CRESCO, Workshop GRISU, Catania 13/12/2005
ITALIAN NATIONAL AGENCYFOR NEW TECNOLOGY, ENERGY
AND THE ENVIRONMENT
CRESCO, Workshop GRISU, Catania 13/12/2005
workshop per la promozione di collaborazioni tra i Progetti CRESCO, CYBERSAR, PI2S2, e SCOPE, recentemente finanziati dal bando
PON n. 1575
Centro computazionale di RicErca sui Sistemi COmplessi
CRESCO
S. Migliori, A. Quintiliani, V. Rosato, S. Bologna, S. Taglienti
ENEA GRID TEAM
R. Guadagni, G. Bracco, S. Podda, P. D’Angelo, G. Mencuccini, F. Simoni, A. Perozziello, A. De Gaetano, S. Pecoraro, D. Giammattei, M. De Rosa, M.
Caiazzo, A. Palumbo, G. Elmo, S. Pierattini,G. Furini, C. Zini, V. Guastella, M Steffè
ENEA INFO [Servizio Centralizzato Informatica e Reti], Roma
CRESCO, Workshop GRISU, Catania 13/12/2005
Agenda
L’ENEA & GRID – Cenni storici– L’infrastruttura attuale– I progetti Telegrid & Campus
Il progetto CRESCO– Principali Obiettivi– La struttura del progetto & Partner– Le aree applicative
Coordinamento con gli altri progetti
CRESCO, Workshop GRISU, Catania 13/12/2005
ENEAItalian Agency for New Tecnologies, Energy and Environment. 12 research centers in Italy A Central Computer and Network Service (INFO)6 Computer CentresCasaccia, Frascati, Bologna,Trisaia, Portici, BrindisiMultiplatform resources for serial & parallel computation and graphical post-processing.
Others computer resources in ENEA:departments & individuals
Centrodi Brindisi
CRESCO, Workshop GRISU, Catania 13/12/2005
ENEA computational resources are distributed over WAN, connected by GARR, the Italian Academic & Research Network
ENEA Network connection
ENEA-GARR 9 PoP, 4-32 Mbps
BrindisiBolognaCasacciaFrascatiPorticiTrisaiaPalermoPisaRoma Sede
CRESCO, Workshop GRISU, Catania 13/12/2005
ENEA GRID è un sistema integrato capace di rispondere ai seguenti obbiettivi:
•mettere a disposizione un sistema di produzione capace di offrire i servizi necessari al calcolo scientifico
•integrare l'insieme di risorse informatiche di ENEA-INFO, distribuite su WAN
•fornire un ambiente di lavoro unificato e metodi di accesso omogenei per tutti i ricercatori dell'ENEA indipendentemente dalla loro sede di lavoro.
•mettere a disposizione strumenti capaci di permettere l'integrazione delle risorse informatiche dipartimentali ed individuali e di fornire supporto alle attività sperimentali
ENEA GRID
CRESCO, Workshop GRISU, Catania 13/12/2005
CitrixMetafra
me
CitrixNfuse
ICA
WEB(ICA)
power3.frascati.enea.it
boquad.bologna.enea.it
dafne.casaccia.enea.it
Kleos.portici.enea.it
GEANT
infocal.trisia.enea.it
hermes.brindisi.enea.it
CRESCO, Workshop GRISU, Catania 13/12/2005
Servizi per il calcolo scientifico:
• Sistemi paralleli/seriali multipiattaforma
• AIX, Linux (Alpha,x86,x86_64,IA64), IRIX, Mac OS X, Solaris
• Risorse 3D e il post-processamento grafico
• SGI + 3D immersivo
• Risorse Software:
• Codici commerciali: Fluent, Gambit, Abacus, Catia, Ansys
• Codici di “ricerca”: mcnp/x, eranos, fluka,....
• Ambienti di sviluppo & analisi: IDL, Matlab, Mathematica, SAS
• Applicazioni Windows
I servizi di ENEA GRID
CRESCO, Workshop GRISU, Catania 13/12/2005
Risorse di Calcolo in ENEA-GRID
Le risorse di Portici, Brindisi & Trisaia sono state aumentate nel quadro del progetto PON TELEGRID
Frascati(6), Portici(4),Trisaia(4), Brindisi(4)
5018Windows
Frascati(1), Trisaia(13)10027Mac OS X
Trisaia(4), Casaccia(2), Bologna(?)108Solaris
Frascati(8), Casaccia(4), Portici(1),Trisaia(8), Brindisi(1), Bologna(5)
4027IRIX
Casaccia4030Linux Alpha
Frascati(28), Casaccia(54), Portici(4),Trisaia(4), Brindisi(4)
20096Linux x86 32/64
Frascati(160),Bologna(8), Portici(18), Brindisi (2)
~1000188AIX
Gflops#cpu OS
CRESCO, Workshop GRISU, Catania 13/12/2005
L'architettura di ENEA GRID
La scelta di componenti maturi come garanzia di affidabilità e semplicità di gestione:
File system distribuito: AFS/OpenAFS
Gestore delle risorse: LSF Multicluster
Interfaccia grafica: Java and Citrix Technologies
Sistema di monitoring: Patrol
Server di licenze
Strumenti per l'integrazione delle risorse dipartimentali ed individuali
File sistem distribuito: AFS per software e dati
Condivisione del parco licenze
CRESCO, Workshop GRISU, Catania 13/12/2005
Architettura di ENEA GRID
CRESCO, Workshop GRISU, Catania 13/12/2005
Struttura Software concettuale
Load Leveler LSF
Graphic User Interface LSF multi-cluster as integrator
Telnet
User programs & commercial code
ICAWEB
Cluster 5° ( Portici)
& File System
Load Leveler LSF
Graphic User Interface
Telnet
ICAWEB
Cluster 6° ( Brindisi)
AFS Geographical cross platform& File System
Load Leveler LSF
Graphic User Interface LSF multi-cluster as integrator
Telnet
User programs & commercial code
ICAWEB
Cluster 2° (Casaccia)
AFS Geographical cross platform& File System
Load Leveler LSF
Graphic User Interface LSF multi-cluster as integrator
Telnet
User programs & commercial code
ICAWEB
Cluster 4° (Trisaia )
AFS Geographical cross platform& File System
Load Leveler LSF
Graphic User Interface LSF multi-cluster as integrator
Telnet
User programs & commercial code
ICAWEB
Cluster 3° (Frascati)
AFS Geographical cross platform& File System
Load Leveler LSF
Graphic User Interface LSF multi-cluster as integrator
Telnet
User programs & commercial code
ICAWEB
Cluster 1° ( Bologna)
CRESCO, Workshop GRISU, Catania 13/12/2005
Interfaccia utenteAccesso utente unificato tramite Citrix Presentation Center [ex Metaframe], java e script di shell:
Prestazioni ottimizate su WAN e metodi di comunicazione sicuri
Accesso gestito da 6 server Citrix UNIX [ Bologna, Casaccia, Frascati, Trisaia, Portici, Brindisi]
4 server Citrix Windows forniscono accesso alle applicazioni Windows tramite Web(Frascati, Portici, Trisaia, Brindisi).
CRESCO, Workshop GRISU, Catania 13/12/2005
DB_1
CPUSENEA GRID
WEBICASSH
DNA Sequence system
( ABI Prism 3700)Trisaia
DB_3
DB_2
Electron Microscope (Brindisi)
300 KeV (sept. 2004)
ENEA GRID and experimental facilities
Controlled Nuclear Fusion:
FTUFrascati Tokamak
UpgradeVideo Acquisition
CRESCO, Workshop GRISU, Catania 13/12/2005
Schema di integrazione di apparati sperimentali nel GRID ENEA
Electronic Microscope (Brindisi)300 KeV (sept. 2004)
RemoteLocal
Operation
TEM Room
Local Operation
Remote ControlledWeb-cam
Remote User
Local DataAFS Data Integration
> 4 TByte
Mtaframe
AFS
Special Driver for TEM
Local GRID Cluster
CRESCO, Workshop GRISU, Catania 13/12/2005
Integrazione con altri progetti di GRID
L'obbiettivo della partecipazione di ENEA INFO in altri progetti di GRID è concentrato sulla interoperabilità.
Ogni progetto di GRID è caratterizzato da una propria architettura/middleware e l'accesso alle risorse deve risultare compatibile con l'infrastruttura interna:
==> realizzazione di gateway
Progetti:
● Datagrid
● FIRB/Grid.it : WP13 Chimica Computazionale
● EGEE
● EGEE-2 E-DAISA ( In corso di approvazione )
CRESCO, Workshop GRISU, Catania 13/12/2005
ENEA GRID e il progetto DATAGRID ENEA ha partecipato (unfunded) in DATAGRID (finito 2004) collaborando con ESRIN [ESA] Frascati dove è stato realizzato un gateway DATAGRID ==> ENEA-GRID con funzionalità limitate [sottomissione, pubblicazione dei risultati]
Test con l'analisi dei dati satellitari di GOME (livelli di Ozono)
[IDL/multicase/multipiattaforma]
ENEA-Geographic SUBMISSION PROCEDURE
Input FilesLIV1
List of pathInput File
LIV1
IDL Program“GOME”
Output FileLIV2
Input FileLIV1
List of pathInput FileLIV1
Case-1
Case_2
Case n
WEB
User afs/home
CRESCO, Workshop GRISU, Catania 13/12/2005
ENEA-GRID e il WP13 GRID.it/Chemgrid
Il progetto FIRB GRID.IT nel suo WP13, Chimica Computazionale, comprende un gruppo di ricercatori di ENEA Casaccia. WP13 ha realizzato una piccola GRID sperimentale basata su Globus 3.2 che comprende siti a PG, MI, BO, PD, BA e ENEA Frascati.
Il contributo ENEA: un gateway [chemgrid.frascati.enea.it] che permette l'accesso a 16 nodi Linux condivisi con ENEA-GRID.
I componenti installati:
Server: gatekeeper [compatibile con AFS ed LSF; MPICH-G2]
gsiftp [compatibile con AFS]
gssklogd [traduce certificato X509 in token kerberos AFS]
Client: globus 3.2 installato in AFS ed utilizzabile da ogni server
Linux di ENEA-GRID
CRESCO, Workshop GRISU, Catania 13/12/2005
EGEE/ENEA Linux Cluster
LCG 2.6 Middle-ware has been patched for compatibility with ENEA-GRID architecture, AFS and LSF:
•Pool account users are pre-defined as standard AFS user of ENEA GRID with AFS homes: e.g. for dteam VO $HOME=/afs/enea.it/grd_egee/user/dteam001...•lcmaps has been modified to acquire an AFS token using gssklog.•gssklogd daemon has been modified for compatibility with VO security.•lsf job manager is used and JobManager.pm and lsf.pm have been modified for compatibility with AFS file system and ENEA LSF configuration.
In this approach CE and WN share the same file system via AFS.Jobs can be submitted by edg-job-submit using INFN certification RB and setting explicitly CE: egce.frascati.enea.it.
Implementing the gateway: one of the Linux WNs was modified and tested
● 1) /etc/grid-security and /opt/ directories were completely removed.● 2) a new /opt/globus has been created with 2 subdirectories: bin and etc.● 3) /opt/globus/etc/globus-user-env.sh is a link to the usual file in an AFS location● 4) /opt/globus/bin/globus-url-copy & grid-proxy-info are links to wrappers in AFS
● e.g.: globus-url-copy -> wrapper ● wrapper: lsrun -m egce.frascati.enea.it globus-url-copy $*
CRESCO, Workshop GRISU, Catania 13/12/2005
where lsrun is the LSF command for immediate execution on a remote host. As a result all data transfer between WN and RB are effectively done by the CE which shares $HOME with WN (AFS).
EGEE/ENEA gateway to AIX
With the described approach, a similar /opt/globus has been created on IBM SP hosts and the CE egceaix.frascati.enea.it differs from the Linux CE only for the name of the resource where LSF submits are performed.
Successful tests have been performed with the same approach also with submissions to SGI/Irix 6.5 , to Apple/MacOSX and SGI/Altix IA64 : hosts located at 3 different sites Frascati , Trisaia (Southern Italy), Casaccia
Advantage of this approach: easy WN firewall configuration!Limitations: on WN monitoring and accounting middle-ware is not yet availableENEA-INFO site status: site certification in progress
Conclusion: successful job submission and result retrieval to AIX, MacOSX,IRIX and Altix IA64 Worker Nodes has been demonstrated using a Linux gateway between EGEE LCG 2.6 and ENEA-GRID.
CRESCO, Workshop GRISU, Catania 13/12/2005
ENEA ENEA
Main activities & Main activities & resources for EGEEfor EGEE
•Integration of EGEE-GRID to ENEA-GRID;Integration of EGEE-GRID to ENEA-GRID;
•100 CPUs at 20% of time100 CPUs at 20% of time
DataGrid at
ESA\ESRIN
Globus
Based g
ateway
GigaBit-
Link
EGEE GRID
Globus Based gateway
Glo
bu
s B
ased
gate
way
ENEA-GRID
S-PACIGRID
CRESCO, Workshop GRISU, Catania 13/12/2005
Gestione & Erogazione della formazione Sincrona, Asincrona e Mista
Servizi Base
Accesso Scelta Pianificazione
Fruizione
Corsi on Line
Aule Virtuali
Corsi Aula
Brreze
CRESCO, Workshop GRISU, Catania 13/12/2005
Accesso software applicativi e risorse di calcolo
Servizi GRID
Accesso Scelta Fruizione
Software
Supercomputing
Lavoro Collaborativo
Brreze
CRESCO, Workshop GRISU, Catania 13/12/2005
Il Progetto CRESCOCentro computazionale di RicErca sui Sistemi COmplessi
Principali Obiettivi Realizzazione del Polo di calcolo e sviluppo di
nuove funzionalità di GRID Computing Sviluppo di tecnologie e modelli computazionali
per la descrizione di sistemi complessi di origine biologica e di materiali innovativi
Sviluppo di modelli di simulazione ed analisi delle Reti Tecnologiche complesse e delle loro interdipendenze
CRESCO, Workshop GRISU, Catania 13/12/2005
Il Progetto CRESCOCentro computazionale di RicErca sui Sistemi COmplessi
Potenziamento delle funzioni tradizionali dell’ENEA la ricerca – sarà fornito supporto (di tipo sia capacity che
capability), attraverso l’utilizzo dell’infrastruttura di calcolo, ad attività di ricerca già in corso di svolgimento nell’Ente nell’ambito delle linee programmatiche esistenti; tali attività potranno anche avere una focalizzazione di natura industriale;
la formazione – potranno essere potenziate le attività di formazione, in collaborazione con alcune sedi universitarie, al fine di supportare la diffusione delle metodologie sviluppate all’interno del Polo Multidisciplinare negli ambiti tematici oggetto di studio e ricerca, con positive ricadute anche nella creazione di percorsi formativi adatti al successivo reclutamento di personale;
il trasferimento tecnologico – verranno istituiti percorsi ed attivati idonei strumenti per favorire l’applicazione industriale delle tecnologie sviluppate, anche ricorrendo alla collaborazione di idonei partner (“industrial-exploitation partner”).
CRESCO, Workshop GRISU, Catania 13/12/2005
Schema Concettuale NEW ?
CRESCO, Workshop GRISU, Catania 13/12/2005
Il Laboratorio VirtualePer le applicazioni finali all’utenza
Li
ENEA
Università e altri Enti di ricerca
Imprese
Schema concettuale dei Laboratori Virtuali di CRESCO inseriti nell’infrastruttura ENEA-GRID
CRESCO, Workshop GRISU, Catania 13/12/2005
Macrostruttura del progetto
Silvio MIGLIORIResp. Scientifico
Comitato Scientifico
Sandro TAGLIENTIDirettore INFO
Andrea QUINTILIANIResp. Amministrativo
Silvio MIGLIORICoord. LA1
Vittorio ROSATO Coord. LA2
Sandro BOLOGNACoord. LA3
Comunicazione e Mktg(TBD)
Prof. Jack DongarraProf. Umberto FerrariProf. Agostino Mathis…TBD LA2….TBD LA3
CRESCO, Workshop GRISU, Catania 13/12/2005
Le tre linee di attività di CRESCOSviluppo software per i servizi finali all’utenza
SP I Realizzazione del Polo di calcolo e sviluppo di nuove funzionalità di GRID Computing
SP II Sviluppo di tecnologie e modelli computazionali per la descrizione di sistemi complessi di origine biologica e di materiali innovativi
SP III Sviluppo di modelli di simulazione ed analisi delle Reti Tecnologiche complesse e delle loro interdipendenze
CRESCO, Workshop GRISU, Catania 13/12/2005
SP I Realizzazione del Polo di calcolo e sviluppo di nuove funzionalità di GRID Computing.
SottoprogettiSP I.1 Realizzazione dell’infrastruttura HPCN
SP I.2 Sviluppo ed integrazione dell’architettura GRID e di grafica 3D
SP I.3 Sviluppo ed ottimizzazione di codici applicativi in settori di R&S di punta.
SP I.4 Progettazione e sviluppo di librerie per l’implementazione efficiente e parallela di nuclei computazionali su dispositivi “Field Programmable Gate Arrays” (FPGA) integrati in un ambiente GRID.
SP I.5 Web archivi
CRESCO, Workshop GRISU, Catania 13/12/2005
SP II Sviluppo di tecnologie e modelli computazionali per la descrizione di sistemi complessi di origine biologica e di materiali innovativi
Sottoprogetti
SP II.1 Simulazioni di reti biochimiche
SP II.2 Bioinformatica PTPS
SP II.3 Ricerca polimorfismi
SP II.4 Sviluppo di modelli numerici per analisi strutturali complesse e processi di sinterizzazione
SP II.5 Modelling molecolare
CRESCO, Workshop GRISU, Catania 13/12/2005
SP III Sviluppo di modelli di simulazione ed analisi delle Reti Tecnologiche complesse e delle loro interdipendenze
Sottoprogetti SP II.1 Fisica delle Reti ComplesseSP II.2 Analisi di Vulnerabilità delle Reti ComplesseSP II.3 Modelli e Strumenti di Supporto alla
Ottimizzazione e Riconfigurazione delle Reti SP II.4 Modellistica delle Reti Complesse viste come
aggregati Socio-TecnologiciSP II.5 Interdipendenza tra Reti ComplesseSP II.6 Sistema Informativo per la Salvaguardia delle
Infrastrutture e della Popolazione
CRESCO, Workshop GRISU, Catania 13/12/2005
Partner Partner:
Università di Salerno Università di Catania Università di Lecce Università di Palermo Università del Sannio Università del Piemonte Orientale Università di Roma “Tor Vergata” Università di Roma “La Sapienza” Cons. Interuniversitario ECONA CRIAI – Consorzio Campano di Ricerca per l’Informatica e l’Automazione
Industriale Consorzio BioTekNet (Centro Regionale di Competenza in Biotecnologie
Industriali) Parco Scientifico e Tecnologico della Sicilia Consorzio CETMA Soc. Ylichron (spin-off ENEA)
CRESCO, Workshop GRISU, Catania 13/12/2005
Collaborazioni dichiarate nel progetto
Collaborazioni:
Politecnico di Milano – Dipartimento di Elettrotecnica
United States Department of State, USAOak Ridge National Laboratories, USA
CRESCO, Workshop GRISU, Catania 13/12/2005
Nuove collaborazioni
CYBERSAR ? PI2S2 ? SCOPE ? SPACI ? ………………….
CRESCO, Workshop GRISU, Catania 13/12/2005
Una proposta di armonizzazione Reciproca visibilità sull’evoluzione dei
progetti Costituzione di un comitato di raccordo Una filosofia di integrazione basata su
gateway
Invito al prossimo incontro di GRISU a NAPOLI Aprile 2006
(Organizzato da CRESCO & ..FII)
CRESCO, Workshop GRISU, Catania 13/12/2005
CRESCO, Workshop GRISU, Catania 13/12/2005