Progress
Projekt celowy PROGRESS miał na celu budowę zaawansowanego środowiska obliczeniowego opartego o klaster komputerów zanurzony w sieci optycznej. Projekt realizowany był przez Poznańskie Centrum Superkomputerowo-Sieciowe, Akademickie Centrum Komputerowe Cyfronet i Centrum Komputerowe Politechniki Łódzkiej we współpracy z Sun Microsystems. W ramach projektu opracowano nowatorską architekturę środowiska gridowo-portalowego, które zostało pilotowo uruchomione na klastrze komputerów Sun zainstalowanych w Poznaniu i Krakowie w środowisku sieci PIONIER. Projekt współfinansowany był przez Komitet Badań Naukowych i Sun Microsystems.
Data rozpoczęcia: 2002-12-01
Data zakończenia: 2003-12-31
więcej
Środowisko PROGRESS miało wspierać zdalne uruchamianie zadań obliczeniowych na klastrze komputerów Sun połączonych siecią optyczną(serwery rozmieszczone w Poznaniu i Krakowie). Dostępne miały być dwie drogi zgłaszania zadań na klaster: środowisko portalowe i środowisko migrującego desktopu. Całość wspomagana miała być zaawansowanymi narzędziami wizualizacyjnymi oraz narzędziami zwiększenia bezpieczeństwa ochrony danych (punkty kontrolne i detekcja intruzów).
więcej
Projekt celowy pn. „Stworzenie środowiska dostępu do usług obliczeniowych realizowanych przez klaster komputerów SUN” miał na celu przygotowanie środowiska, w którym w wygodny sposób można prowadzić obliczenia i eksperymenty naukowe z wykorzystaniem zasobów komputerowych i sieciowych połączonych w infrastrukturę typu Grid.
W celu realizacji tak postawionego zadania w toku przeprowadzonych badań opracowano architekturę środowiska gridowo-portalowego oraz zbudowano pilotową instalację klastra w środowisku sieci optycznej PIONIER.
więcej
W toku prac projektowych wykonano i wdrożono, jako PROGRESS HPC Portal, prototyp środowiska gridowo-portalowego udostępniającego obliczeniowe zasoby oraz usługi gridowe. Architektura środowiska oraz funkcjonalność zaprojektowanych narzędzi, które posłużyły do jego budowy, umożliwiła udostępnianie złożonych aplikacji obliczeniowych i prowadzenie eksperymentów naukowych w wygodny sposób z poziomu przeglądarki internetowej. Wykonane narzędzia udostępniane były w postaci licencji typu Open Source do ich wykorzystania w innych zastosowaniach.
W szczególności wynikami projektu były:
- architektura oraz narzędzia środowiska gridowo-portalowego;
- baza danych sekwencji (SRS-Sequence Retrieval System);
- utworzenie referencyjnego centrum doskonałości SUN;
- testowe wdrożenie światowego gridu Sun Global Grid;
- mechanizm punktów kontrolnych dla systemu operacyjnego Solaris;
- system detekcji intruzów VALKYRIE.
więcej
Projekt celowy PROGRESS opracował nowatorską architekturę środowisk gridowo-portalowych. W środowisku tym zasoby obliczeniowe są zarządzanie przez instalację Globus Toolkit i dostarczane przez Brokera Zasobów Gridowych. Z Brokerem tym współpracuje dostawca usług gridowych, który kontaktuje się z Brokerem każdorazowo, gdy użytkownik zgłosi żądanie wykonania zadania obliczeniowego w gridzie. Broker decyduje, gdzie i w jaki sposób uruchomić aplikację powiązaną ze zgłoszonym zadaniem na podstawie wymagań przedstawionych przez użytkownika i aktualnego stanu zasobów w gridzie.
Usługi gridowe zgrupowane są w postaci dostawcy usług gridowych i są dostępne w środowisku portalu webowego, a także środowisku migrującego desktopu. Cała infrastruktura wspomagana jest Systemem Zarządzania Danymi, który używany jest jako źródło danych wejściowych i miejsce przeznaczenia dla wyników eksperymentów obliczeniowych realizowanych w gridzie. Według wiedzy projektantów systemu, w momencie projektowania środowiska PROGRESS, podobne systemy na świecie wykonywane były w postaci 3-warstwowej architektury składającej się z zasobów obliczeniowych, systemu zarządzania zasobami gridowymi i portali.
Projekt PROGRESS zwiększył elastyczność tego środowiska, w szczególności z punktu widzenia wdrażania niezależnych portali, czy zastosowań biznesowych, wprowadzając dodatkową warstwę Dostawcy Usług Gridowych. Warstwa ta grupuje funkcje logicznej warstwy dotychczasowych portali (ze szczególnym uwzględnieniem zarządzania aplikacjami), sprawiając, iż portale w nowej architekturze stanowią rzeczywiście tylko interfejs użytkownika końcowego i implementują jedynie funkcje warstwy prezentacji: dane uzyskiwane są z dostawcy usług gridowych.
więcej
Funkcjonalność zrealizowanego środowiska gridowo-portalowego jest szeroka i obejmuje wszystkie warstwy począwszy od warstwy systemu operacyjnego, poprzez warstwę oprogramowania zarządzania rozproszonym środowiskiem gridowym, przez system zarządzania danymi i nowowprowadzony element dostawcy usług gridowych po interfejsy użytkownika.
Na funkcjonalność systemu składają się następujące moduły:
- system zarządzania usługami środowiska gridowego, który udostępnia funkcjonalność zgłaszania zadań obliczeniowych i ich zarządzania od strony użytkownika oraz funkcjonalność wynajdywania odpowiednich do realizacji zgłoszonego zadania zasobów z drugiej strony;
- system aktywnej detekcji intruzów, którego głównym celem działania jest dostarczanie informacji o wszelkich incydentach mających miejsce w sieci chronionej, takich jak próby uzyskania nieautoryzowanego dostępu bądź przełamania zabezpieczeń chronionych zasobów;
- moduł punktów kontrolnych dla systemu Solaris OS, który rozszerza system operacyjny o usługę „punktów kontrolnych” zaimplementowaną na poziomie jądra;
- system zarządzania danymi, którego podstawowym zadaniem jest przechowywanie i udostępnianie danych w środowisku gridowympod postacią wirtualnego systemu plików przechowującego dane zorganizowane w strukturę drzewiastą, przy czym dane przechowywane są na rozproszonych w sieci zasobach;
- dostawca usług gridowych, który umożliwia zarządzanie aplikacjami obliczeniowymi, w tym aplikacjami złożonymi z wielu modułów wykonawczych oraz umożliwia dokonanie wirtualizacji zasobów obliczeniowych na wyższym poziomie granulacji;
- portal obliczeniowy, który umożliwia tworzenie, zlecanie i monitorowanie zadań obliczeniowych z poziomu przeglądarki webowej;
- migrujący desktop, który stanowi mobilne środowisko graficzne do pracy z zasobami gridowymi umożliwiając dostęp do gridowych aplikacji obliczeniowych, dostęp do plików zdalnych, monitorowanie stanu uruchomionych zadań, jednokrotną autentykację, zarządzanie środowiskiem pracy;
- prezentacji wyników obliczeń, gdzie wyniki zakończonych zadań obliczeniowych prezentowane są w postaci graficznej (w ramach projektu zrealizowano przykładowe aplikacje wizualizacyjne dla obszaru bioinformatyki).
więcej
Innowacyjność zrealizowanego środowiska gridowo-portalowego przejawiała się przede wszystkim w pierwszym na taką skalę użyciu nowoczesnej technologii Web Services, która wykorzystana została do udostępnienia usług na wszystkich poziomach realizowanego środowiska. Nowatorskim rozwiązaniem było także zaproponowanie 4-warstwowej architektury środowiska gridowo-portalowego z dodatkowym pośredniczącym modułem dostawcy usług gridowych.
Innowacyjność tego rozwiązania została wyróżniona podczas konferencji International Conference on Computing Science ICWS’03 w Sankt Petersburgu i Melbourne, gdzie publikacja opisująca ideę wprowadzenia warstwy dostawcy usług gridowych wybrana została jako jedna z kilkunastu najlepszych publikacji przedstawionych na konferencji. Również współfinansująca projekt firma Sun Mircosystems doceniła innowacyjność rozwiązań opracowanych w ramach projektu PROGRESS.
Przejawiło się w następujących działaniach:
- utworzenie w PCSS Centrum Doskonałości Sun w zakresie sieci nowych generacji, gridów i portali;
- włączenie demonstracji wyników projektu PROGRESS w ramach stoisk firm Sun Microsystems na wystawach Supercomputing 2003 w Baltimore i Supercomputing 2004 w Phoenix;
- włączenie rozwiązań opracowanych przez projekt do oferty firmy Sun na dostarczenie rozproszonych środowisk obliczeniowych w Kanadzie i Turcji.
Kontakt:
PCSS
Michał Kosiedowski
ul. Dąbrowskiego 79a, 60-529 Poznań
0-61 858 2160