Specifiche Tecniche

L’architettura hardware di TeraStat2 include:

  • 12+12 nodi di calcolo
  • un server con funzioni di storage e di virtualizzatore per alcune macchine per servizi di supporto al sistema
  • un'infrastruttura di rete ethernet a 1 Gb/s per le funzioni di controllo
  • un’infrastruttura di rete InfiniBand a 40Gb/s per il traffico (circa 10Gb/s per i nodi della generazione precedente)
  • un firewall per regolare l’accesso al sistema e le comunicazioni di questo con l’esterno

Il software su cui si basa il sostema è invece:

  • Linux CentOS 7 (Kernel 3.10)  è il sistema operativo di gran parte dei server e, comunque di tutti quelli accessibili.
  • Per lo storage di rete è stato utilizzato Lustre (2.12)
  • I sistema di schedulazione dei job è Slurm (20.11)

Nodi di calcolo

Il sistema dispone di 

  • 12 nodi di calcolo dotati di due processori AMD EPYC 7452 a 32-Core (64 core virtuali) e 256GB di RAM.
  • 12 nodi di calcolo dotati di due processori Intel Xeon E5-2630 a 8-Core (16 core virtuali) e 64GB di RAM. Uno di questi nodi è dotato di 512GB di RAM. Questi nodi sono inoltre conenssi con una versione più vecchia della rete InfiniBand che supporta circa 10Gb/s.

I job eseguiti dagli utenti, qundi,  possono utilizzare, su singolo nodo, sino a 128 core e sino a 240GB di memoria RAM: eventuali job con requisiti maggiori devono suddividere il carico tra più nodi.

Server Storage

Il server storage dispone di un’area dati di  76TB, sulla quale è montata il filesystem lustre. Ciascun utente ha a disposizione una home directory abilitata a contenere sino a 100GB di dati. 

Nel caso sia necessario, è possibile richiedere un aumento della propria quota di spazio su disco, scrivendo a supercalcolo.dss@uniroma1.it. La richiesta dovrà essere motivata e dovrà includere una indicazione della durata dell’esigenza. 

Infrastruttura di rete

TeraStat 2 dispone di una doppia infrastruttura di rete:

  • InfiniBand QDR: 40Gb/s (Network: 172.19.10.0/24, dominio: terastast.ib). Rete in fibra ottica a bassa latenza e banda larga viene utilizzata per l’esecuzione degli esperimenti e per l’accesso allo storage di rete.
  • Ethernet: 1Gb/s (Network: 172.19.1.0/24, dominio: terastat.prod). Rete su rame per le comunicazioni di controllo del cluster .

Nota: nella sua configurazione standard, gli esperimenti multi-nodo condotti su TeraStat2 e basati sulla libreria MPI adoperano, per default, la connessione di rete in fibra ottica. Nel caso si effettuino esperimenti multinodo usando una diversa tecnologia, occorre assicurarsi di utilizzare questa stessa connessione di rete per evitare di incorrere in un degradamento delle prestazioni.