Aktualności
2010-07-14
Pierścienie wokół Wrocławia
Piętnaście lat Wrocławskiego Centrum Sieciowo-Superkomputerowego.
WCSS zostało powołane do życia zarządzeniem Rektora Politechniki Wrocławskiej (PWr) 21 grudnia 1994 roku. Zarządzenie Rektora PWr poprzedziło porozumienie wrocławskich uczelni i placówek naukowo-badawczych w sprawie uczestnictwa w budowie i przyszłym korzystaniu z Wrocławskiej Akademickiej Sieci Komputerowej (WASK) i komputerów dużej mocy obliczeniowej (KDM) z 4 maja 1994 roku. Jako samodzielna jednostka WCSS zaczęło działalność czternaście miesięcy później.

Główne zadania WCSS to eksploatacja i rozwój WASK i KDM będących częścią infrastruktury informatycznej polskiej nauki. W chwili powstania WCSS większość jego kadry stanowiła grupa osób, która zajmowała się eksploatacją tzw. zasobów ogólnouczelnianych w Centrum Informatycznym PWr. Korzenie tych osób sięgają aż Centrum Obliczeniowego, które powstało w 1972 roku. W 1995 roku WCSS rozpoczęło działalność od eksploatacji WASK, która była budowana i eksploatowana przez Instytut Telekomunikacji i Akustyki Politechniki Wrocławskiej od 1993 roku. W grudniu 1995 roku WCSS oddało do eksploatacji pierwszy superkomputer SP2 firmy IBM, który rok później znalazł się nawet na liście TOP 500. Od tego czasu do chwili obecnej, zarówno WASK, jak i zasoby sieciowe (usługi internetowe i obliczeniowe) były modernizowane wielokrotnie. WCSS jest operatorem WASK – jednej z 21 miejskich akademickich sieci komputerowych. Jest też jednym z pięciu centrów komputerów dużej mocy.

WASK

Eksploatacja WASK rozpoczęła się w 1993 roku. Jej konfigurację stanowił pierścień FDDI o przepustowości 100 Mb/s. Do węzłów WASK były podłączone sieci lokalne portami typu Ethernet o przepustowości 10 Mb/s. Później przepustowość całego pierścienia wraz z połączeniem zewnętrznym zwiększano przez instalację przełączników ATM o przepustowości 155 Mb/s (1995 r.) i 622 Mb/s (1996 r.). Były one eksploatowane aż do czerwca 2008 roku. Wcześniej, w 2002 roku, pętlę/pierścień FDDI zastąpiono pętlami o przepustowości 1 Gb/s instalując przełączniki z portami GbEthernet. W 2009 roku WASK przeszła kolejną modernizację – przełączniki CISCO 3550/60 zastąpiono ruterami z portami o przepustowości 10 Gb/s. Wdrożone w 2009 roku urządzenia SR 7750 pozwoliły na duży skok technologiczny na wielu płaszczyznach. WCSS wyszło tą decyzją nieco przed szereg, gdyż rutery podobnej klasy i w takich ilościach (niemal kompletna wymiana wykorzystywanego sprzętu) będą wdrażane w innych sieciach akademickich w Polsce w ramach realizowanego właśnie projektu „NEWMAN”.

Każdy z ruterów jest wyposażony w interfejsy 10 GBit Ethernet. Zapewni to w najbliższych latach wystarczające pasmo dla wszelkich usług uruchamianych w szkielecie WASK. Ze względu na wielopierścieniową topologię WASK, w której wszystkie pierścienie są spinane przez pierścień główny, część ruterów wyposażonych jest w 6 interfejsów 10GE, pozostałe posiadają 2 interfejsy 10GE. Do połączeń w stronę użytkowników wykorzystywane są interfejsy 1GE, jednak w przyszłości możliwe będzie zwiększenie tych przepływności do 10GE.

Kolejną rewolucyjną zmianą było uruchomienie nowego protokołu transportowego MPLS. Zastąpił on stosowane dotychczas wirtualne sieci LAN (IEEE 802.1q) wspierane protokołem STP. MPLS uzupełniany funkcjonalnie przez Fast Rerouting zapewnia dobrą protekcję połączeń szkieletowych, w których czasy przełączania poszczególnych ścieżek nie przekraczają 50ms. Przy okazji prowadzonych zmian przygotowane zostało przedpole do wdrożenia protokołu IP kolejnej generacji (IPv6). Wykorzystywany do tej pory jako protokół IGP - protokół OSPF zastąpiony został przez ISIS, który wspiera wymianę informacji rutingowej nie tylko dla protokołu IPv4, ale również IPv6. Pozwoli to na rezygnację z uruchamiania kolejnego protokołu - OSPFv3, który umożliwiłby ruting IPv6.

KDM

Wraz z rozwojem WASK modernizowane były zasoby sieciowe i obliczeniowe WCSS. Obecna moc obliczeniowa KDM zainstalowanych w WCSS wynosi około 20 TFlops (komputer SGI 3700Bx2, klaster Nova). Moc klastra Nova zostanie rozbudowana do około 60 TFlops, co może umożliwić WCSS powrót na listę TOP 500.

Wdrożony w WCSS LUSTRE jest sieciowym rozproszonym systemem plików dedykowanym dla klastrów. Często nazywany jest obiektowym systemem plików ze względu na sposób zapisu i przechowywania danych. LUSTRE jest systemem wysoce skalowalnym; największe światowe instalacje obsługują setki tysięcy klientów jednocześnie i oferują przestrzeń dyskową mierzoną w petabajtach zachowując przy tym wysoką wydajność.

Ważną zaletą LUSTRE jest wysoka odporność i niezawodność. Dane są rozproszone pomiędzy serwerami obiektów i duplikowane, podobnie jak w systemach RAID. W przypadku awarii jednego OST inne serwery przejmują jego funkcję i system może kontynuować pracę. Rozproszenie i duplikacja danych zapewniają również wysoką wydajność. W prawidłowo skonfigurowanych instalacjach LUSTRE przesyła dane z pełną przepustowością sieci. LUSTRE obsługuje większość technologii LAN i SAN, w tym Gigabit i 10Gig Ethernet, InfiniBand i MyriNet. Jeżeli użyta sieć na to pozwala, stosuje Remote DMA dla zwiększenia wydajności i pomija warstwę IP. Efektem jest nie tylko wysoka przepustowość, ale również niewielkie opóźnienie (latencja).

System usług sieciowych

W ramach swojej działalności Wrocławskie Centrum Sieciowo-Superkomputerowe świadczy dla szerokiego grona użytkowników podstawowe usługi sieciowe, takie jak poczta elektroniczna, utrzymanie stron WWW, dostęp do baz danych, udostępnianie serwerów aplikacji JAVA, dostęp do grup dyskusyjnych UseNet, serwery ProxyCache, serwery FTP oraz dedykowane serwery wirtualne.

Najlepiej rozwiniętą i rozpoznawalną wśród użytkowników usługą świadczoną przez WCSS jest poczta elektroniczna. Stale rozbudowywana infrastruktura sprzętowa i programowa zapewnia wysoką wydajność, dostępność, a przede wszystkim zadowolenie użytkownika. Usługi pocztowe uruchomione są na sześciu serwerach działających pod kontrolą systemu Solaris, gwarantując stabilność rozwiązania. Dzienny wolumin przetwarzanych przez system listów wynosi 220-280 tys., z czego 200- 260 tys. klasyfikowanych jest jako spam, a 1-3 tys. jest klasyfikowanych jako wirusy. System ten, mimo swojego zaawansowania, jest przezroczysty dla użytkownika, przez co jest wygodny w użyciu. Jego zalety to m.in.: obsługa wielodomenowości, spójny system adresowania, automatyczna odpowiedź, kontrola antywirusowa poczty wychodzącej i przychodzącej, ograniczająca rozprzestrzenianie się wirusów i robaków internetowych.

W zakresie usług utrzymania stron internetowych (m.in. mulihosting) dostępnych jest kilka platform sprzętowych oraz programowych. W zależności od stawianych wymagań udostępniany jest odpowiedni serwer z określonymi zasobami komputera, tj. przestrzeń dyskowa, ilość procesorów, dostępne aplikacje, bądź oprogramowanie usługowe (obsługa aplikacji JAVA, PHP, Python, Ruby, PERL, C). Usługa ta często wykorzystywana jest w powiązaniu z bazami danych. Na serwerach WCSS utrzymywane są różne systemy baz danych, począwszy od popularnego MySQL’a, poprzez półprofesjonalny PostgreSQL, kończąc na w pełni profesjonalnym systemie ORACLE. WCSS jest także operatorem jednego z największych w Polsce serwerów FTP, udostępniającego wolne oprogramowanie, będąc podstawowym serwerem lustrzanym.

Specyfika

Między wszystkimi sieciami metropolitalnymi istnieje wiele podobieństw. To samo można powiedzieć o zasobach sieciowych i obliczeniowych. Jednak każde centrum sieciowe lub sieciowo-superkomputerowe posiada specyficzny fragment struktury, którego nie ma w innych centrach lub występuje w niewielkim zakresie. Dla wrocławskiego ośrodka takim specyficznym rozwiązaniem jest klaster Nova wraz z systemem plików oraz sieć WASK - technologicznie jedna z najbardziej zaawansowanych nie tylko w środowisku akademickim, ale w całym sektorze telekomunikacyjnym. Szeroki zakres funkcjonalności oraz znaczne możliwości rozbudowy posiadanych ruterów pozwolą na świadczenie wysokiej jakości usług przez kilka następnych lat.

Józef Janyszek, WCSS
Łukasz Dudziński, WCSS
Bartłomiej Balcerek, WCSS
Dorota Sadowska, WCSS