Aktualności
2014-04-09
ICEOTOPE - serwery chłodzone wodą

W ostatnim czasie w PCSS zainstalowany został prototypowy klaster serwerów chłodzonych cieczą, stworzony przez brytyjską firmę ICEOTOPE. Jest to unikalny na skalę światową klaster o najprawdopodobniej najlepszym na świecie wskaźniku PUE (Power Usage Effectiveness), wynoszącym 1,018.

Serwery, każdy w osobnej obudowie, zanurzone są w nieprzewądzącym płynie Novec. W efekcie cały serwer - procesory, zasilcze, karty GPU - chłodzone są cieczą. Komplementarną częścią prototypu jest układ chłodzenia, w całości zaprojektowany i zbudowany przez polską firmę. Połączenie nietypowego systemu chłodzenia oraz dedykowanego układu chłodzenia pozwoliło na 15-20 krotną redukcję kosztów chłodzenia serwerów i osiągnięcie PuE w granicach 1.02. Jest to pierwsza tego typu instalacja w Polsce (być może w Europie).

 

Konfiguracja składa się z 40 serwerów 2x Xeon E5 6 rdzeni, 2.0 GHz, 32/64 GB ram, siec 1Gb eth + InfiniBand QDR. Dodatkowo zainstalowanych jest 6 modułów GPU w każdym z nich znajdują się dwie karty AMD FirePro S9000. Połączenie pomiędzy serwerem a kartami GPU realizowane jest za pomocą PCI extendera (karty nie zmieściły się do obudowy serwera). Teoretyczna moc obliczeniowa procesorów to około 7,7 TFlops, dla kart to 12TFlops. Na razie w testach linpack udało uzyskać się niecałe 7 TFlops z procesorów, prace nad GPU trwają.

Całość rozwiązania można chłodzić wodą o temperaturze pomiedzy 15 a 45 stopni Celsjusza dzięki czemu możliwe jest zarówno odzyskiwanie energii jak i minimalizacja kosztów chłodzenia - nie ma potrzeby instalować kompresorów, co zdecydownie zmniejsza koszty użytkowania całości infrastruktury, upraszcza układ chłodzący i zmniejsza koszt samej instalacji chłodzącej. Całość chłodzona jest przez 2 obiegi - wewnętrzny w szafie z serwerami i zewnętrzny odrowadzającym ciepło na zewnatrz serwerowni. Zamiast tego drugiego teoretycznie można by użyć np. wody z kranu ale nie jest to zbyt ekonomiczne rozwiazanie. Wewnetrznie każdy serwer zamknięty jest w module wypełnionym Noveciem, w ściance modułu znajduje się wężownica z wodą z wewnetrznego obiegu szafy, która odbiera ciepło i transferuje je do wymienników znajdujących się na dole szafy. Oczywiście serwery można wymieniać "w locie" - wkładając serwer do chassis automatycznie podłączane są obiegi wodne oraz zasilanie. Reszta złączy (Ethernet, InfiniBand znajdują sie na froncie modułu).

Koncepcja obiegu zewnętrznego jest dość prosta - mamy główny obieg wody (z glikolem, aby nie zamarzała zimą) która jest tłoczona przez wymienniki w szafie skąd ciepło jest pobierane, a następnie transportowane do wymiennika na dachu. Układ automatyki steruje przepływem cieczy (za pomocą zaworów i nastaw pompy) tak, aby utrzymać żądaną temperaturę na wlocie i wylocie wymienników serwera. W przypadku problemów z uzyskaniem odpowiednich temperatur możliwe jest posiłkowanie się standardowym układem wody lodowej, ale okazało się, że nawet w gorące letnie dni nie było to konieczne. Dodatkowo w przypadku gorących dni automatycznie włącza się zraszanie wymiennika na dachu, co zwiększa wydajność oddawania ciepła.

 

Zapraszamy do śledzenia zmian zachodzących w systemie - http://brassica.man.poznan.pl.

 

Radosław Januszewski

 

Kalendarium
<< wrzesień 2017 >>
Po
Wt
Śr
Cz
Pi
So
Ni
  
  
  
  
  1
  2
  3
  4
  5
  6
  7
  8
  9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
  

Sieć PIONIER
mapa PIONIER