(prepisivanje iz:
- https://www.lumi-supercomputer.eu/lumi_supercomputer/
- https://docs.lumi-supercomputer.eu/hardware/
- HPE_Cray EX Supercomputer.pdf
- HPE_Cray ClusterStor E1000 Storage Sytems.pdf
- S&T izvedbeno rješenje)
Uvod
Glavnina procesorske snage Supeka temelji se na tehnologiji HPE Cray EX; superračunalnim sustavima hlađenim tekućinom. Ova vrsta hlađenja omogućuje efikasno odstranjivanje topline vodom putem sistema cijevi i izmjenjivača topline tzv. cooling distribution unit (CDU) . Superračunalo Supek sastoji se od više komponenata koje tipično nalazimo na računalnim klasterima:
- Procesori - Superračunalni dio koji sadrži procesorske jezgre
- Spremište - Centralni spremišni dio koji je dostupan cijeloj mreži
- Međuveza - Mreža visoke učinkovitosti koja povezuje sve dijelove
- Pristup - Poslužitelji namijenjeni korisničkoj interakciji s cijelim klasterom
Procesori
Svi poslužitelji na klasteru Supek sadrže jedan ili dva AMD EPYC 7763 CPU-a.
AMD EPYC 7763 je dio serije procesora Epyc 7003 Milan razvijen od kompanije AMD, izgrađen na arhitekturi Zen 3, koja omogućava bolju energetsku učinkovitost i povećava ukupne performanse u odnosu na prethodne generacije. Procesor je izgrađen na 7-nanometarskoj proizvodnoj tehnologiji, što ga čini vrlo učinkovitim u potrošnji energije i toplinskom upravljanju. AMD EPYC 7763 procesor također ima mogućnosti dinamičke prilagodbe snage koja prilagođava radnu snagu procesora kako bi se optimizirala energetska učinkovitost. To je korisno za okruženja poslužitelja koja trebaju optimalnu snagu obrade, ali i žele smanjiti potrošnju energije.
Procesor se sastoji od 64 jezgre, a jezgre su u potpunosti kompatibilne sa X86-64 arhitekturom i podržavaju AVX2 256-bit vektorske instrukcije sa maksimalnom propusnosti od 16 "double precision" FLOP-a/takt (AVX2 FMA operacije) ili ukupno 2,5 teraFLOPS-a pri osnovnom radnom taktu od 2,45 GHz po jednom procesoru.
Specifikacije procesora AMD EPYC 7763 su sljedeće:
- Broj jezgara: 64
- Broj dretvi: 128
- Osnovni takt: 2,45 GHz
- Maksimalni takt: 3,5 GHz
- Cache memorija: L3 - 256 MB, L2 - 512 kB, L1 - 32 kB
- TDP: 280 W
- Podržava DDR4 memorijske module do 3200 MHz
- Podržava do osam kanala DDR4 memorije
- PCIe verzija: PCIe 4.0
Poslužitelji
Specifična izvedba koja čini Supek je HPE Cray EX2500 i sastoji se od više poslužitelja:
| Namjena | Broj | CPU | GPU | RAM (GB) |
|---|---|---|---|---|
| CPU pristupni poslužitelj | 1 | 2 x AMD EPYC 7763 | - | 256 |
| GPU pristupni poslužitelj | 1 | 1 x AMD EPYC 7763 | 1 x NVIDIA A100 (PCI) | 128 |
| CPU radni poslužitelj | 52 | 2 x AMD EPYC 7763 | - | 256 |
| GPU radni poslužitelj | 20 | 1 X AMD EPYC 7763 | 4 X NVIDIA A100 (SXM) | 512 |
| Poslužitelji velikog mem. kapac. | 2 | 2 X AMD EPYC 7763 | - | 4096 |
Pristupni poslužitelji
Na klasteru Supek su dostupna 2 pristupna poslužitelja/čvora.
Prvi pristupni čvor HPE Proliant DL385 Gen10 Plus v2 (CPU pristupni poslužitelj) ne sadrži grafički procesor ali sadrži 2 AMD EPYC 7763 procesora sa 64 jezgre (128 jezgri), matične ploče sa 8 memorijskih utora po procesoru maksimalne brzine prijenosa od 3200MT/s i ukupno 16 DDR4 memorijska modula od 16GB radne memorije (256GB ukupno).
Drugi pristupni čvor (GPU pristupni poslužitelj) je sustav HPE Apollo 6500 Gen10 Plus sa čvorom HPE Proliant XL645d Gen10 Plus. Poslužitel je opremljen sa jednim grafičkim procesorom NVIDIA A100 u izvedbi PCI i jednim procesorom AMD EPYC 7763 sa 64 procesorske jezgre. Matična ploča poslužitelja sadrži 8 memorijskih utora po procesoru i podržava brzinu prijenosa od 3200MT/s. Poslužitelj je opremljen sa 8 DDR4 memorijskih modula kapaciteta 16GB radne memorije (128 GB ukupno).
CPU radni poslužitelj
HPE Cray EX425 bladeovi služe za smještaj procesorskih računalnih čvorova ili poslužitelje. Svaki blade sadrži 4 računalna poslužitelja. Klaster Supek sadrži ukupno 52 CPU poslužitelja smještenih u 13 računalnih bladeova. Svaki CPU poslužitelj sastoji se od 2 AMD EPYC 7763 procesora sa 64 jezgre (128 jezgri po poslužitelju odnosno 6656 na svim CPU poslužiteljima), matične ploče sa 8 memorijskih utora po procesoru maksimalne brzine prijenosa od 3200MT/s i ukupno 16 DDR4 memorijska modula od 16GB radne memorije (256GB po poslužitelju).
GPU radni poslužitelj
HPE Cray EX235 bladeovi sadrže po dva GPU poslužitelja. Na klasteru se nalazi ukupno 20 GPU poslužitelja u 10 računalnih bladeova. Svaki čvor sadrži 1 AMD EPYC 7763 procesor sa 64 jezgre i 4 grafička procesora nVidia HGX A100 u izvedbi SXM sa 40 GB ugrađene memorije. GPU poslužitelji opremljeni su sa matičnom pločom sa 8 memorijskih utora po procesoru maksimalne brzine prijenosa od 3200MT/s i sa 8 DDR4 memorijska modula kapaciteta 64GB radne memorije (512GB po poslužitelju).
Poslužitelji s velikim memorijskim kapacitetom
Supek sadrži 2 poslužitelja HPE Proliant DL385 Gen 10 Plus v2. Svaki od poslužitelje opremljen je sa 2 AMD EPYC 7763 procesora. Matična ploča poslužitelja sadrži 16 memorijskih utora po procesoru i podržava brzinu prijenosa od 3200MT/s. 32 DDR4 memorijskih modula kapaciteta 128GB radne memorije, osiguravaju svakom čvoru ukupno 4096 GB radne memorije.
Međuveza
Procesorski i spremišni dio superračunala Supek povezani su najnovijom inačicom Crayeve međuveze Slingshot, namijenjenoj tipičnim radnim opterećenjima u HPC okruženjima fokusiranim na obradu i razmjenu velike količine podataka.
Glavna stavka u performansama Slingshota je brzina od 200 Gbps koja u kombinaciji s 64 porta dostupnih na svakom preklopniku i mrežnom topologijom Dragonfly postiže iznimne brzine prijenosa (trebalo bi staviti podatak koji/ako smo izmjerili).
Osim visokih performansi na nivou hardvera, Slingshot međuveza optimizira mrežni prijenos podataka prilagodljivim usmjeravanjem paketa (s obzirom na opterećenje ostalih preklopnika) i kontrolom zagušenja (pojačanjem ili smanjivanjem propusnosti poslužitelja koji generiraju promet).
Mrežna topologija Dragonfly: Čvorovi (kružići) su putem preklopnika (kvadratići)
povezani u lokalne grupe (putem električnih signala), a grupe čvorova putem
globalnih veza (optički kablovi) u mrežu (Izvor)