Date post: | 01-May-2015 |
Category: |
Documents |
Upload: | santuzza-fabris |
View: | 212 times |
Download: | 0 times |
1
IL PROGETTO SCoPE
Slides in progress – 14-2-2008 L. Merola, G. Russo
2
Soggetto Proponente
L’Università degli Studi Napoli Federico II è il secondo ateneo italiano per estensione, con oltre 3.000 tra professori e ricercatori e 100.000 studenti.
Nella linea dell’e-science, l’Università Federico II è impegnata nei principali settori strategici della ricerca fondamentale in particolare nei campi delle Scienze del Microcosmo e del Macrocosmo, delle Scienze della Vita, delle Scienze dei Materiali e dell’Ambiente.
3
Coofinanziamenti PON-MiUR (Avviso 1575/2004)
S.Co.P.E.: Progetto di Ateneo coofinaziato dal MiUR su fondi Europei
Programma Operativo Nazionale“Ricerca Scientifica, Sviluppo Tecnologico, Alta
Formazione” per le regioni dell’Obiettivo 1
4
Sistema Cooperativo Distribuito ad alte Prestazioni per Elaborazioni Scientifiche
Multidisciplinari (S.CO.P.E.)
Il Progetto S.Co.P.E.
5
OBIETTIVI
Realizzazione di un’infrastruttura di calcolo ad alte prestazioni basata sul GRID, Aperta e Multidisciplinare
Realizzazione di codici innovativi nei settori strategici della ricerca fondamentale.
Il Progetto S.Co.P.E.
6
CAMPUSGRID
MEDICINE
ENGINEERING
CSI
NETWORK2.4 Gbit/s
COLLECTIVEAND SITE SERVICES
SITE SERVICES
SITE SERVICES
SITE SERVICES
Il Progetto S.Co.P.E.
L’infrastruttura di calcolo SCoPE prevede l’integrazione, sotto il paradigma del Grid Computing, di nuovo hardware ad alte prestazioni con le maggiori risorse di calcolo preesistenti e distribuite su area metropolitana nei principali siti dell’ateneo.
Tutte le sedi sono interconnesse mediante un anello in fibra ottica di proprietà dell’Università Federico II.
7
CAMPUS-GRID
MEDICINE
CSI
ENGINEERING
ENGINEERING
ASTRONOMICALOBSERVATORY
Fiber Optic Already Connected Work in Progress
Il Progetto S.Co.P.E.
8
Il Progetto S.Co.P.E.
RICERCA FONDAMENTALECon l’ausilio della infrastruttura SCoPE si intende svolgere ricerche nei seguenti settori strategici della ricerca fondamentale:
•Scienze del Microcosmo e del Macrocosmo•Scienze dei Materiali e dell’ambiente•Scienze della Vita•Scienze Sociali•Middleware
9
Comunità attive nel campo delle scienze computazionali
Gruppo di Astrofisica: impiegato nella ricerca per la rivelazione delle onde gravitazionali e nello studio di tecniche avanzate di data-mining e visualizzazione di immagini su massivi data-set Astronomici ( http://virgo.infn.it e http://www.eurovotech.org/).
Gruppo di Bioinformatica: impegnato in applicazioni che richiedono un accesso massivo a grandi database, studio di clustering methods con differenti approcci computazionali per genome sequence analysis e image analyses per lo studio di cell motility ed altri fenomeni dinamici (http://bioinfo.ceinge.unina.it/ e http://www.ceinge.unina.it ).
10
Comunità attive nel campo delle scienze computazionali
Gruppo di Ingegneria Elettromagnetica: impegnato nella modellizzazione, simulazione e studio di procedure di misura del campo elettromagnetico a livello urbano.
(http://www.diet.unina.it/gruppoCE/GruppoEl.html).
Gruppo di Scienze dei Materiali, impegnato nello studio di dinamiche molecolare e meccanica molecolare, codici tight binding per lo studio di proprietà ottiche di materiali nano strutturati, metodi ab initio e metodi DFT. ( http://lsdm.campusgrid.unina.it/ and http://www1.na.infn.it/cmg/ ).
Gruppo di Matematica Numerica e Calcolo scientifico: design ed analisi di algoritmi per la risoluzione di problemi di matematica di base per applicazioni scientifiche distribuite ed implementazione di tali algoritmi su infrastrutture di HPC
11
Comunità attive nel campo delle scienze computazionali
Gruppo di Fisica delle Particelle, impegnato in attività fortemente connesse con il TIER 2 di ATLAS che prevede l’utilizzo di infrastrutture di calcolo per applicazioni large-scale e data-intesive, simulationi Montecarlo ed attività di data anslysis. (http://lxatlas.na.infn.it )
Gruppo di fisca teorica, fortemente attivo in applicazioni di meccanica statistica con uso massivo di tecniche di calcolo parallelo e di strumenti avanzati di HPC ( http://smcs.na.infn.it/ ).
12
Il Progetto SCoPE – Organizzazione WP1 - PROGETTAZIONE, REALIZZAZIONE E TEST
DELL'INFRASTRUTTURA DI CALCOLO E GRID
WP2 - IMPLEMENTAZIONE DEL MIDDLEWARE DI BASE DELLA PIATTAFORMA GRID
WP3 - REALIZZAZIONE E GESTIONE DELLA VO E DELLE RISORSE E SUPPORTO AGLI UTENTI
WP4 - PROGETTAZIONE E SVILUPPO DI MIDDLEWARE APPLICATIVO E SVILUPPO DELLE APPLICAZIONI SCIENTIFICHE
WP5 - INTEGRAZIONE DELLA GRID SCOPE NELL'INFRASTRUTTURA NAZIONALE ED INTERNAZIONALE
WP6 - DIFFUSIONE DEI RISULTATI E TRAINING AGLI UTENTI
13
I Lavori – WP1 Opere Edili
COSTRUZIONE DI UN CAPANNONE PER OSPITARE IL NUOVO HARDWARE
14
I Lavori – WP1 Opere Edili
15
I Lavori – WP1 Opere Edili
Nuova cabina elettica da 1 Mwatt
16
Obiettivi delle forniture
• INTEGRAZIONE DELLE PREESISTENZE
• ACQUISTO DI HARDWARE ETEROGENEO PER LE DIFFERENTI APPLICAZIONI
• SOLUZIONE CHIAVI IN MANO
17
Le Attrezzature: Il prototipo
Sala infrastrutturaSala infrastrutturaPrincipale Campus GridPrincipale Campus Grid
Sala Sala Tier-2 ATLASTier-2 ATLAS
Prototipo SCoPE Prototipo SCoPE Servizi Core - GSCServizi Core - GSC
Prototipo SCoPE Prototipo SCoPE Servizi CollectiveServizi Collective
Tier-2 ATLASTier-2 ATLAS
Servizi Core Servizi Core GSCGSC
Campus GridCampus Grid
Servizi Servizi CollectiveCollective
18
Le Attrezzature: Nuovo Hardware
• Circa 2000 Core in soluzione Blade
• Connessioni Infiniband tra i nodi
• Oltre 130 TByte disponibile su Storage Element
• Sistema di Storage Remoto Oltre 50 TByte
• Farm Multiprocessore
19
collectivecollective10 srv
worker nodeworker nodeworker node
TIPO A 96
blade
worker nodeworker nodeworker nodeworker node
TIPO B 128
blade
Storage elementStorage element
10 srv
SCSI SATA
Computing element
UI & test nodeUI & test node10 srv
2 srv
Sw
itch
giga
bit
ethe
rnet
Sw
itch
fas
t et
her
net
Sw
itch
In
fin
iban
d
worker nodeworker nodeworker nodeworker node
Servizi collettivie di Infrastruttura Grid
Nodi di CalcoloBiprocessori ed SMP
Grid Storage Element
Sistemi di Storage
Le Attrezzature: Hardware del nuovo CED
20
Le Attrezzature: Nuovo Hardware
In corso le prime installazioni delle nuove forniture:
• Cluster Multiprocessore
• Sistema di storage 50TB
La consegna e l’installazione completadi tutte le apparecchiatureentro maggio 2008.
21
Le Attrezzature: La rete LAN e WAN• LAN• Dorsale di rete a 10 Gbit/sec• Rete ridondata (2x Gbit/sec, 4x Gbit/sec)• Rete a bassa latenza (1x infiniband)• Rete separata per monitoraggio e management (1x
100 Mbit/sec)
• WAN• Collegamenti Intranet a 2.4 Gbit/sec, ridondati• Collegamenti Internet a 1 Gbit/sec, ridondati
22
La nuova sede: Sala di controllo SCoPE
2333 POSTAZIONI
La nuova sede: Sala di controllo SCoPE
24
Middleware• INFNGRID gLite 3.0
– Il middleware INFNGRID garantisce piena compatibilità con il middleware EGEE (gLite/LCG)
• release e aggiornamenti/bugfix frequenti
– Update 37 - 05/12/2007
• semplicità di integrazione con l'infrastruttura Grid italiana (Grid.it) ed europea (EGEE)
• S.O. Scientific Linux 3 (SL3)
• Prevista migrazione a
• INFNGRID gLite 3.1 (SL4)
25
Servizi Collective
• Servizio di autenticazione/autorizzazione• Servizi di allocazione dei job• Servizio informativo• Servizio di gestione proxy• Servizio di catalogazione file• Servizio di monitoring• Repository Middleware
RB - II
WMS-LB
MyProxy
VOMS
LFC
GridICE
YAIM
26
Servizi Collective - VOMS
• VOMS (Autenticazione / Autorizzazione)– Il servizio VOMS (Virtual Organization Membership
Service) estende le informazioni presenti nel certificato proxy di un utente con:
• VO membership• gruppo• ruolo• privilegi
– Gestione degli utenti della VO scope tramite interfaccia web
collectivecollectiveVOMS
https://scopevoms01.dsf.unina.it:8443/voms/scope/
27
Servizi Collective – RB, WMS-LB
• Resource Broker (allocazione dei job)– Il Resource Broker consente di abbinare un job
(seriale o parallelo) ad una risorsa di computing e/o storage; tale abbinamento prende il nome di matchmaking e avviene tramite l'elaborazione di• requirement del job• stato della Grid
– WMS (Workload Management System) LB (Logging & Bookeeping): RB gLite
collectivecollectiveRB, WMS-LB
28
Servizi Collective - GridICE
• GridICE (servizio di monitoring)– Il servizio si occupa del monitoring delle risorse
presenti nell’infrastruttura SCoPE– attività strategica per il calcolo distribuito
• analisi delle prestazioni• controllo delle risorse• statistiche sull'utilizzo delle risorse
– basato sul contenuto del servizio informativo– consultabile tramite interfaccia web
collectivecollectiveGridICE
http://scopegridice01.dsf.unina.it/
29
Servizi Collective - GridICEcollectivecollectiveGridICE
http://scopegridice01.dsf.unina.it/
30
Servizi Core
• Sito UNINA-SCOPE-GSC– Raffreddamento ad acqua dei rack, con unità
LCP e chiller esterno– Impianto antincendio interno ai rack– Monitoraggio e telecontrollo– Sensori su tutto (apertura porte rack,
allagamento, umidità aria, etc)
• Servizi di computing• Servizio di storage• User Interface
UI
SE
WN
CE
31
Il Portale – Obiettivo WP6
Nell’ambito del WP6 il progetto S.Co.P.E. si impegna per la massima diffusione dei risultati ottenuti e promouove
treaning per gli utenti inesperti all’utilizzo del grid computing.
STRUMENTI DI DIFFUSIONE
Portale, Forume di discussione
32
Il Portale
http://www.scope.unina.it
Portale attivo conInformazioni sul progetto e in costanteaggironamento
33
STATO AVANZAMENTO (1)
• Prototipo completo (20 blade, 1 multiCPU, 20 server 1U/2U): operativo dal 30.09.2007
• Attrezzature sito remoto 1 (CSI) operative dal 30.07.2007
• Attrezzature sito remoto 2 (multi CPU) (Dipartimento di Chimica) installate; in esercizio dal 01.03.08
34
STATO AVANZAMENTO (2)
• Attrezzature sito remoto 3 (Centro di Eccellenza in Malattie Genetiche) installate; in esercizio dal 10.03.08
• Attrezzature di rete siti remoti: gara in corso
35
Sito centrale a Monte S. Angelo (1)
• Sito fisico centrale (locale Data Center, impianto elettrico 1 Mwatt): realizzato
• 33 rack, 20 “occupati” e 13 “liberi” per espansioni
• 256 blade (2 CPU quad core), connessi con Infiniband + Gigabit
• 40 server per servizi collective
36
Sito centrale a Monte S. Angelo (2)
• Sito Control Room: realizzato
• Attrezzature Control Room: gara in corso
• Cablaggio passivo Gigabit + Infiniband: inizio il 18.02.2008
• Installazione rack raffreddati nel sito centrale: inizio il 02.04.2008
37
Middleware
• VO SCopE operativa
• Adottato gLITE
• Servizi “collective” attivati sul prototipo
• Servizi “core” attivati sul prototipo
• Servizi di secondo livello (monitoring, accounting, ticketing)
• Tutti testati per l’interoperabilità
38
Applicativi
• Codice nuovo sviluppato in tutte le aree tematiche – Astrofisica– Bioinformatica– HEP – Scienze dei Materiali
• Adattamento delle applicazioni esistenti per Grid computing: in completamento
• Presentazione a numerosi convegni worldwide