CSN1 – 7 febbraio 2006

Francesco Forti, INFN-Pisa

per il gruppo di referaggio

7/2/06

F.Forti - Tier2 2

A cosa servono i Tier-2 ?Computing TDR degli esperimenti:• Tier 0 at CERN:

• 1st pass processing in quasi-real time after rapid calibration• RAW data storage

• Tier 1s (6 for Alice,CMS, LHCb; 10 for Atlas):• Reprocessing; Centrally organized analysis activities• Copy of RAW data; some ESD; all AOD; some SIMU

• Tier 2s (14-30)• User analysis (chaotic analysis); Simulation; detector studies• Some AOD depending on user needs

• Central analysis facility (CAF) at CERN• T1-T2 combination• Detector studies, prompt calibration

7/2/06

F.Forti - Tier2 3

Le proposte degli esperimenti• Presentati i progetti di massima

• Dimensione, infrastruttura, personale

• 10 sedi per 13 centri• Diversi livelli di maturità dei progetti

Bari ALICE CMSCatania ALICECNAF LHCbLNF ATLASLNL ALICE CMSMilano ATLASNapoli ATLASPisa CMSRoma1 ATLAS CMSTorino ALICE

Tier2 MoU

Tier1 MoU

CPU (KSI2k) 11000 11500

Disco (TB) 3500 5800

Tier2 MoU

Tier1 MoU

CPU (KSI2k) 11000 11500

Disco (TB) 3500 5800

Bari (x2)

Catania CNAF LNFLNL (x2)

Milano Napoli PisaRoma1

(x2)Torino Total

CPU (KSI2k) 3700 1500 1150 1565 3800 1565 1565 2250 3065 1500 21660

Disco (TB) 1062 532 3 810 1132 810 810 610 1360 532 7661

Risorse 2010Bari (x2)

Catania CNAF LNFLNL (x2)

Milano Napoli PisaRoma1

(x2)Torino Total

CPU (KSI2k) 3700 1500 1150 1565 3800 1565 1565 2250 3065 1500 21660

Disco (TB) 1062 532 3 810 1132 810 810 610 1360 532 7661

Risorse 2010

1 box oggi = 5 kSI2K1 box 2010 = 20 kSI2K ?

1 box oggi = 5 kSI2K1 box 2010 = 20 kSI2K ?

Fattore ~2 di sicurezzaFattore ~2 di sicurezza

7/2/06

F.Forti - Tier2 4

Piano finanziario

TIER2 (k€)Proposta referee

2006ATLAS 200CMS 200LHCb 100TOTALE CSN1 500ALICE 250TOTALE INFN 750

Nostra proposta di settembre 2005, approvata in commissione con finanziamento 0

Tier2: acquisti per anno (k€)Piani degli esperimenti

2006 2007 2008 2009 2010 TOTALEATLAS 232 381 1182 707 779 3281CMS 221 935 966 639 667 3428LHCb 199 134 118 57 44 551TOTALE CSN1 652 1450 2266 1403 1490 7260ALICE 351 590 819 944 304 3008TOTALE INFN 1003 2040 3085 2347 1794 10268

Tier2: acquisti per anno (k€)Piani degli esperimenti

2006 2007 2008 2009 2010 TOTALEATLAS 232 381 1182 707 779 3281CMS 221 935 966 639 667 3428LHCb 199 134 118 57 44 551TOTALE CSN1 652 1450 2266 1403 1490 7260ALICE 351 590 819 944 304 3008TOTALE INFN 1003 2040 3085 2347 1794 10268

(escluse infrastrutture)

Costi infrastrutturali non chiari: tra >1.5 e <5 M€ ?

Costi infrastrutturali non chiari: tra >1.5 e <5 M€ ?

7/2/06

F.Forti - Tier2 5

Princìpi del Tier2• Il Tier2 serve una comunità di riferimento, ma è una risorsa per

l’intero esperimento• Non è una farm di gruppo• I fisici dell’esperimento devono impegnarsi fortemente per la costruzione

ed il running del Tier2 (come fanno per l’hardware)

• Le risorse del Tier2 devono essere condivise:• Accessibilità tramite Grid per l’esperimento• Sharing con altri esperimenti• Devono essere considerate risorse per tutto l’INFN (e non solo...)

• Il direttore deve impegnarsi a supportare il Tier2:• spazi: un Tier2 medio ospiterà a regime circa 120 Box CPU e 40 box

disco (600TB) per un totale di 6-8 racks• infrastrutture: devono essere già largamente disponibili e supportate

dalla struttura (power+cooling)• manpower: un minimo di 2 FTE spalmati su 4 persone

• deve trattarsi di personale strutturato o strutturabile.

7/2/06

F.Forti - Tier2 6

Percorso di referaggio• Sono state visitate tutte le sedi proposte

• U.Dosselli, F.F., M.Morandin + referee• Incontro con Direttore, Gruppo calcolo, Esperimenti• Visita ai locali presenti e futuri• Molto istruttivo e utile – grazie per l’accoglienza.• Grande variabilità di situazioni

• Elementi principali di indagine• Quantità di risorse di computing richieste: sono giustificate

dalla prevista attività del Tier2 ?• Supporto sistemistico e di manpower degli esperimenti:

esiste un supporto sufficiente da parte del gruppo calcolo, esiste un gruppo sperimentale forte e motivato ?

• Aspetti infrastrutturali (spazio, potenza, raffreddamento): quanto è costosa l’infrastruttura necessaria, e quanto di questi costi è a carico INFN ?

7/2/06

F.Forti - Tier2 7

Percorso successivo • Oggi

• Discussione dei criteri generali

• Febbraio-Marzo • Preparazione di una proposta dettagliata da parte

dei referee• Discussione con gli esperimenti per arrivare ad una

soluzione condivisa

• Aprile-Maggio• Referaggio dei progetti dettagliati• Presentazione in CSN1/CSN3 per l’approvazione

finanziaria

• Sometimes - finanziamento

7/2/06

F.Forti - Tier2 8

Incertezze• Il modello di computing è ancora preliminare

• Target performance non sempre raggiunta• Modello di analisi distribuita untested• La quantità di risorse di calcolo richieste è solo un educated guess

• Lo share INFN del computing non è fissato a priori• Dipenderà dall’effettivo coinvolgimento dei gruppi italiani e dalle risorse

disponibili

• Nessuno sa quanti dati verranno da LHC nei primi anni• Ci potrebbe essere un ridimensionamento iniziale• Per i computer, il tempo (di acquisto) è denaro

• L’evoluzione della tecnologia oltre il 2007-8 è estremamente nebulosa• Fine della corsa al GHz• Avvento dei multi core• Problema della potenza assorbita

7/2/06

F.Forti - Tier2 9

Numero di Tier2• Nessun esperimento è in grado di dimostrare che gli

serve veramente la potenza di calcolo e quantità di storage che chiede

• Nessun esperimento è in grado di dimostrare che gli servono 4 Tier2 INFN

• Tuttavia le richieste non sono irragionevoli• Dimensionamento dei centri in modo da essere gestibili da

una sezione di media grandezza• In linea con i modelli di calcolo degli esperimenti• Però avere molti Tier2 aumenta il livello di duplicazione

infrastrutture e dati• (LHCb è un caso a parte)

• Necessità più contenute: un solo Tier2• Forte collaborazione con il CNAF

7/2/06

F.Forti - Tier2 10

EntusiasmoAbbiamo trovato grande entusiasmo

• Le sedi sono realmente desiderose di creare la base strutturale per il calcolo di LHC

Ampiezza di offerta• Ci fornisce il necessario buffer per far fronte alle

richieste future degli esperimenti

... purchè ...

... ci sia collaborazione• I centri Tier2 e non-Tier2 devono e dovranno

collaborare fattivamente per la costruzione e l’operazione delle strutture

7/2/06

F.Forti - Tier2 11

Princìpi guida• Prudenza

• Partenza alla giusta velocità

• Flessibilità• Prevedere contingenza e scalabilità per adattarsi ai

prevedibili mutamenti

• Adiabaticità• Prevedere una crescita continua e modulare

• Ottimizzazione delle risorse disponibili• Risorse umane distribuite• Strutture esistenti• Finanziamenti esterni all’INFN

7/2/06

F.Forti - Tier2 12

Non tutti• Non vogliamo far partire tutti Tier2 adesso

• Le incertezze di cui sopra impongono prudenza• quantità di calcolo, modello distribuito, quantità dati LHC

• Non esiste una chiara e documentata necessità• I costi non sarebbero assorbibili sul bilancio 2006

• Questioni• Quanti e quali centri iniziano nel 2006 ?

• Con che tempistica e velocità ?

• Cosa succede degli altri centri ?• Bocciati o rimandati ?• Quando si ridiscute ?

• Quali criteri ?

7/2/06

F.Forti - Tier2 13

Criteri• Gli elementi principali sono

• Motivazione del gruppo dell’esperimento e quantità di manpower dedicata

• Esistenza di una chiara e consistente comunità di riferimento nell’esperimento

• Manpower reperibile nel gruppo calcolo• Capacità della sede di gestire il sistema ed esperienza

pregressa su farm e grid• Maturità e completezza del progetto• Complessità e costo dell’intervento infrastrutturale

necessario• Finanziamento infrastrutturale esterno all’INFN

• Seguono alcune riflessioni...

7/2/06

F.Forti - Tier2 14

Tier2 ed esperimento• I Tier2 sono pezzi di esperimento

• Vanno considerati alla stregua di sottorivelatori che i fisici dell’esperimento progettano, costruiscono ed operano avvalendosi del supporto tecnico di sezione

• Non si possono considerare un servizio che il gruppo calcolo fornisce e l’esperimento utilizza

• I Tier2 hanno bisogno di un gruppo di fisici motivati che li costruisca ed operi• Le responsabilità dovrebbero essere assegnate a personale

strutturato• Incoraggiamo a trovare collaborazioni tra sezioni per

costituire i gruppi di supporto ai Tier2• Abbiamo motivato le sezioni non candidate Tier2 a seguire questa

strada non assegnando nessun finanziamento per i Tier3.• Abbiamo notato una certa confusione tra utenti del centro e

persone che lo fanno funzionare: da chiarire

7/2/06

F.Forti - Tier2 15

Comunità di riferimento• I Tier2 devono servire alla comunità dei fisici

INFN ad essere competitivi negli esperimenti• e poi forniscono la potenza di calcolo globalmente

necessaria all’esperimento

• E’ importante identificare la comunità di fisici che fa riferimento ad ogni Tier2:• uso prioritario• contributo al funzionamento del centro• evitare duplicazioni di centri che servono la stessa

comunità

7/2/06

F.Forti - Tier2 16

GRID• D’altra parte i meccanismi di GRID permettono

uno sharing delle risorse su grande scala• I Tier2 sono utilizzabili da una comunità più vasta,

che può persino vantare qualche diritto se ha contribuito a finanziare l’infrastruttura

• Gli esperimenti hanno accesso a risorse finanziate con altri progetti

• Un guadagno per tutti...

• ... se funziona fino in fondo e se al momento del bisogno ottengo quel che mi serve.

7/2/06

F.Forti - Tier2 17

Manpower• Quante persone servono per un Tier2 ?

• Poche ma buone• Non è necessario uno stuolo di persone, ma

servono invece forze specifiche dedicate, con buona esperienza di farm e grid

• Le persone devono essere già strutturate o strutturabili nel piano di sviluppo della sezione

• Non è pensabile avere personale in più per il Tier2• I Tier2 dovranno operare per lungo tempo, ed il personale

a tempo determinato non garantisce la continuità

7/2/06

F.Forti - Tier2 18

Infrastruttura• Coordinamento progetti da parte della CCR

• Workshop 3-4 ottobre 2005• Linee guida per la progettazione• Gruppo di lavoro per la definizione di specifiche

comuni

• Gruppo di esperti nominati dalla CCR• R.Gomezel, R.Pegoraro, L.Pellegrino, R.Stroili,

M.Morandin (chair)

7/2/06

F.Forti - Tier2 19

Infrastruttura• Spazio, Potenza elettrica, UPS, gruppo elettrogeno,

raffreddamento, network.• Casistica tecnica

• Ristrutturazione della sala esistente• Allargamento della sala esistente a locali più o meno vicini• Creazione di una nuova sala macchine distante dalla

esistente• Casistica finanziaria

• Finanziamento integrale INFN• Finanziamento INFN utilizzando in parte fondi di dotazione o

fondi CCR già assegnati• Finanziamento parziale di altri enti o progetti• Finanziamento totale di altri enti o progetti

• Il costo per l’INFN può essere molto diverso nei vari casi

7/2/06

F.Forti - Tier2 20

CatalanoE’ meglio....

.... un Tier2 dove esiste una larga comunità coinvolta, un gruppo calcolo forte e con grossa esperienza di grid, con la sala già pronta ed i cui costi infrastrutturali sono sostenuti integralmente da altri enti ....

...che......un Tier2 con una comunità piccola e non

interessata, un gruppo calcolo sottodimensionato e senza esperienza, una sala calcolo da rifare da capo, ed i cui costi infrastrutturali sono a totale carico INFN.

7/2/06

F.Forti - Tier2 21

Come si decide ?• Stiamo preparando una struttura per il ranking

complessivo delle proposte di Tier2• da discutere poi con gli esperimenti

• Nessuna sede è ovviamente sotto soglia e cancellabile tout court• ma tutte presentano degli elementi di debolezza su cui

lavorare

• Ci sono dubbi sui Tier2 doppi che comportino interventi infrastrutturali più significativi

• Le sedi che sono riuscite a finanziare le infrastrutture sono avvantaggiate• ma non può essere ovviamente l’unico criterio.

7/2/06

F.Forti - Tier2 22

TabellonaServizio Calcolo

Personale a tempo indet.a tempo det.

Utenti servizio dipendenti+ associatidichiarati

FTE dedicati a Tier 2a tempo indet.a tempo det.

Personale dell'esperimento Ricercatori sede

Ricercatori comunita' riferimento

Fisici dirett. coinvolti StaffPost-docAltri

Tecnologi dirett. coinvoltiStaffPos. temp.

Tecnici dirett. coinvoltiStaffPers. Temp.

Attività farming e GRIDmacchine farm esistenti anni di attività in GRIDpersonale GRIDpartecip. SC2partecip. SC3Ricercatori/tecnologi dei gruppi coinvolti

Progetto nuovi impianti KW da rimuovereKW imp. continuita'costo stimato totalefinanziato esternofinanziato INFNda finanziare INFN

Sala calcoloindividuazione locale nuovo localesuperficie per Tier2ristrutturazione localisuperficie per espansioneadeguatezza

Costi funzionamentocosti complessivifinanz. esternoda finanziare INFN

Compilazione quasi completata.Da verificare con gli esperimenti

Compilazione quasi completata.Da verificare con gli esperimenti

7/2/06

F.Forti - Tier2 23

E quelli che rimangono fuori ?• non si tratta nè di una approvazione preventiva nè di

una bocciatura definitiva• si deve fare un piano con gli esperimenti

• momenti di verifica, di cui il primo nel 2007• per far partire ulteriori Tier2 si devono verificare

alcune condizioni, tutte necessarie:• la sede rimane attiva in grid e nei SC, DC, possibilmente

collaborando con i Tier2 alla soluzione dei problemi comuni• i Tier2 finanziati dell’esperimento funzionano con alta

efficienza• si capisce che il modello di analisi distribuita degli

esperimenti LHC funziona• si dimostra che la potenza di calcolo addizionale è

effettivamente necessaria e che conviene far partire nuovi centri piuttosto che utilizzare quelli esistenti

7/2/06

F.Forti - Tier2 24

Conclusioni• Lo sviluppo dell’infrastruttura per i Tier2 è una grande

occasione per l’INFN per:• fornire il calcolo che serve agli esperimenti LHC• sviluppare competenze e costruire un’infrastruttura di calcolo

per tutto l’ente• permettere alle sezioni di partecipare attivamente allo

sviluppo della infrastruttura di GRID• E’ anche una sfida:

• necessità di stretta collaborazione per la scelta delle soluzioni infrastrutturali

• le grandi incertezze rendono difficile l’ottimizzazione delle risorse umane e materiali

• delicato bilancio tra le esigenze locali, di esperimento e complessive

• Bisogna procedere con passo sicuro e regolare, senza fermarsi ma senza correre.