23 Giugno 2003- CSN1P. Capiluppi

CMS Computing2003 e oltre

Stato e richiesteLCG e CMS

Modello di Calcolo CMS

2P. Capiluppi 23 Giugno 2003- CSN1

Data Challenges: DC04 (1/2)Data Challenges: DC04 (1/2)CMS DC04 (Luglio 2003 – Marzo 2004): 5% di “Full Luminosity”

Simulazione, ricostruzione ed analisi di ~50 M eventi “The emphasis ... is on the validation of the deployed grid model on a

sufficient number of T0-1-2....we intend to perform a large-scale test of the computing and analysis models themselves.”(D.Stickland)

Gli eventi verranno usati per preparare il Physics Technical Design Report (P-TDR)

Due fasi: Pre Challenge Production (PCP) : Luglio – Dicembre 2003

Simulazione e digitizzazione degli eventi necessari Trasferimento degli eventi digitizzati al CERN

Challenge vero e proprio (DC04) : ~ Febbraio 2004 [con LCG, 1 mese di run] Ricostruzione degli eventi al CERN (Tier0) Stream degli eventi verso i Tier1 (~ 1 TB/day per ogni Tier1) Ridistribuzione sincrona degli eventi ai Tier2 e analisi “on-line”

Contributo Italiano Partecipazione di tutte le sedi CMS Italia (con precisi commitments) Contribuire con circa 10 M eventi durante il PCP Partecipare all’analisi del DC04

3P. Capiluppi 23 Giugno 2003- CSN1

Data Challenges: DC04 (2/2)Data Challenges: DC04 (2/2)Tier1 - CNAF 3 4 Meventi

Tier2 - Legnaro 2 3 Meventi

Altri Tier2 (Ba, Bo, Pd, Pi, Rm)

0.5 0.6 Meventi/sede

Tier3 (Ct, Fi, Na, Mi, Pg, To)

0.2 0.3 Meventi/sede

Scala:

1 evento simulato = 2 MB

1 evento digi = 1.5 MB

1 evento generato = 0.5 sec

1 evento simulato = 400 sec

1 evento digitizz. = 18 sec

CPU time x 2 con “Oscar”

Periodo Flusso Dimensione

Luglio – Ottobre 2003 da ogni Tier2/3 verso il Tier1 (CNAF) degli eventi prodotti 20 TB

Ottobre – Dicembre 2003 da ogni Tier2/3 verso il CNAF/CERN degli eventi digitizzati (destinazione finale CERN)

15 TB

Luglio – Dicembre 2003 (Archivio dei dati prodotti sui nastri “Castor” del CNAF) 35 TB

Gennaio 2004 test di trasferimenti

Febbraio 2004 1 TB / day verso il CNAF (dal CERN) ~30 TB

Febbraio 2004 Archivio su nastro al CNAF ~30 TB

Febbraio 2004 streams (da definire) verso i Tier2/3 CMS Italia qualche TB

Marzo (+Aprile?) 2004 distribuzione degli eventi da analizzare “off-line” a tutti i Tier2/3

qualche TB

4P. Capiluppi 23 Giugno 2003- CSN1

DC04 Analysis challenge

DC04 Calibration challenge

T0

T1T2

T2

T1

T2

T2

Fake DAQ(CERN)

DC04 T0challenge

SUSYBackground

DST

HLTFilter ?

CERN disk pool~40 TByte(~20 days

data)

TAG/AOD(replica)

TAG/AOD(replica)

TAG/AOD(20

kB/evt)

ReplicaConditions

DB

ReplicaConditions

DB

HiggsDST

Eventstreams

Calibrationsample

CalibrationJobs

MASTERConditions DB

1st passRecon-

struction

25Hz1.5MB/evt40MByte/s3.2 TB/day

Archivestorage

CERNTape

archive

Disk cache

25Hz1MB/evt

raw

25Hz0.5MB recoDST

Higgs backgroundStudy (requests

New events)

Eventserver

DC04Data Flow

DC04Data Flow

50M events75 Tbyte

1TByte/day2 months

PCP

CERNTape

archive

5P. Capiluppi 23 Giugno 2003- CSN1

Risorse disponibili PCP ItaliaRisorse disponibili PCP Italia

Sezione # Box #CPU #P3-1GHz eq Storage(TB)T1 CNAF 70 140 210 11,00

LNL 82 164 178 18,00BA 15 30 30 2,00BO 14 28 32 3,80PD 27 54 60 1,80PI 14 28 30 3,00

RM 11 22 25 2,00CT 10 20 28 1,90FI 6 12 18 1,60MI 11 20 28 2,00NA 3 6 9 0,50PG 4 8 12 2,40TO 11 22 26 2,80

TOTALE 278 554 686 52,8

6P. Capiluppi 23 Giugno 2003- CSN1

Tabella da riempire….Tabella da riempire….

Sezione#

eventsPartecipa

al PCP"digi"?

Contact di sede

Altre personeSupporto a Legnaro o

CNAF?kevents si/no si/no Nome Nomi LNL/CNAF

Bari 550 si N. De Filippis M. D'AmatoBologna 550 si A. Fanfani C.Grandi CNAFCatania 250 si A.Tricomi S. Costa CNAFFirenze 250 si N. Magini V. CiulliLegnaro 2500 si si M. Biasotto S. FantinelMilano 250 si M. Bonesini F.FerriNapoli 250 si softw

Padova 550 si M. Corvo S. Lacaprara LNLPerugia 250 si L. Servoli M. Mariotti

Pisa 550 si S. Gennai T. BoccaliRoma1 550 si P. Meridiani G. OrgantiniTorino 250 si N. Amapane A. Solano

CNAF 4000 si si D. Bonacorsi

Responsabilita’ di coordinamento:

Luciano Barone con l’ausilio di Claudio Grandi, Massimo Biasotto e Vitaliano Ciulli

7P. Capiluppi 23 Giugno 2003- CSN1

CPU

Disco

CPU (=75%) e Storage (disco) necessari per il PCP di ogni sitoCPU (=75%) e Storage (disco) necessari per il PCP di ogni sito

Sezione #P3-1GHz eqSimEvts/day Num Events DaysT1 CNAF 210 34020 3500000 103

LNL 178 28836 2500000 87BA 30 4860 550000 113BO 32 5184 550000 106PD 60 9720 550000 57PI 30 4860 550000 113

RM 25 4050 550000 136CT 28 4536 250000 55FI 18 2916 250000 86MI 28 4536 250000 55NA 9 1458 250000 171PG 12 1944 250000 129TO 26 4212 250000 59

TOTALE 686 111132 10250000 92

Sezione TB Num EventsSim EvtsSize(TB)

Sim+DigiSize(TB)

T1 CNAF 11,00 3500000 7 10,5LNL 18,00 2500000 5 7,5BA 2,00 550000 1,1 1,65BO 3,80 550000 1,1 1,65PD 1,80 550000 1,1 1,65PI 3,00 550000 1,1 1,65

RM 2,00 550000 1,1 1,65CT 1,90 250000 0,5 0,75FI 1,60 250000 0,5 0,75MI 2,00 250000 0,5 0,75NA 0,50 250000 0,5 0,75PG 2,40 250000 0,5 0,75TO 2,80 250000 0,5 0,75

TOTALE 52,8 10250000 20,5 30,75

8P. Capiluppi 23 Giugno 2003- CSN1

CMS Italy Computing

Network (Mbps)

CMS only

(x3 peak)

Bari 8Bologna 8Catania 4Firenze 4Legnaro 40Milano 4Napoli 4Padova 8Perugia 4Pisa 8Roma1 8Torino 4Tier1 CNAF 155

Netw Boxes CPUs eq. Disk TapesMbps # # TB TB

July 15 70 210 11 10August 15 70 210 15 20September 20 70 210 20 30October 35 70 210 30 40November 25 20 50 30 50*December 25 20 50 30 50*January 15 20 50 20 100February 150 20 50 20 100March 20 20 50 20 100

Dettaglio Tier1

Richieste aggiornate 2003Network e Tier1

Richieste aggiornate 2003Network e Tier1

9P. Capiluppi 23 Giugno 2003- CSN1

Il Tier 2 di LegnaroIl Tier 2 di Legnaro

Risorse: 82 box, 178 CPU (P3-eq), 18TB disk in RAID-5, compatibili con il commitment previstoNetwork: al momento solo 34Mbps totali. E’ stata assegnata ed e’ in fase di approvazione la gara per la stesura di una fibra da LNL a PD (pronta forse per settembre)Legnaro e’ anche prototipo LCG-1

50 cpu e 4TB teoricamente riservati a LCG (saranno comunque utilizzati per PCP-04)

possbile impatto sul manpower Primo Tier2 in LCG !

Manpower: 4 persone (2 FTE) + 1 per luglio/agosto

10P. Capiluppi 23 Giugno 2003- CSN1

CPU usata a LNL per CMSCPU usata a LNL per CMS

Spring Prod Analisi Prod +Stress test Test Run Cont RH7.3

Start PCP

11P. Capiluppi 23 Giugno 2003- CSN1

Richieste 2003Richieste 2003Sblocchi sub judice

Napoli: inv 15 kEuroRichieste aggiuntive (tasca calcolo 2003)

Roma1 (2TB), Padova (2TB), Bari (2TB): 3x8 kEuro = 24 kEuro LNL (30 licenze LSF): 3 kEuro (consumo) Padova (licenze LSF): 3 kEuro (consumo) Roma1 (3 box CPU): 3x2.2 kEuro = 6.6 kEuro Milano B. (sost gateway farm obsoleto) = 2.2 kEuro

Totale = 38.8 kEuroMissioni Estero

Bo (P.C., C.G.) = 20 kEuro /2 Roma1 (L.B.) = 8 kEuro /2 LNL (M.B.) = 8 kEuro /2 Firenze (V.C.) = 8 kEuro /2 Bari (L.S.) = 7 kEuro

Totale = 29 kEuroTier1-CNAF

Dischi (20 TB) = 80 kEuro Nastri (500 cartucce) = 35 kEuro Box CPU (20-30) = 30-40 kEuro

12P. Capiluppi 23 Giugno 2003- CSN1

Data Challenges: DC05 - DC06Data Challenges: DC05 - DC06CMS DC05 (Luglio 2004 – Marzo 2005): 10% di “Full Luminosity”

Simulazione, ricostruzione ed analisi di ~100 M eventi Saranno piu’ complessi (demanding dal punto di vista computazionale) di

quelli del DC04 Gli eventi verranno usati per preparare il Computing Technical Design

Report (TDR) di CMS/LCG Ancora due fasi:

Pre Challenge Production (PCP) : Luglio – Dicembre 2004 Challenge vero e proprio (DC05) : ~ Febbraio 2005

Contributo Italiano Partecipazione di tutte le sedi CMS Italia (con precisi commitments) Contribuire con circa 20 M eventi durante il PCP Partecipare all’analisi del DC05

CMS DC06 (Luglio 2005 – Luglio 2006): 20% di “Full Luminosity” Preparazione al commissioning….

13P. Capiluppi 23 Giugno 2003- CSN1

Calcolo 2004Calcolo 2004I DC di CMS non sono sincronizzati con i tempi della CSN1

Fare le richieste ora per la pre-challenge-production DC05 (che sara’ nel 2004) e’ complicato:

Non abbiamo ancora risultati dalla PCP del DC04 (contiamo a Settembre 03 di avere delle indicazioni)

Le richieste per il 2004 si baseranno sulle stime delle risorse necessarie per “produrre” in Italia 20 M eventi + “svecchiamenti” di macchine con 4 anni di vita (fuori manutenzione)

LCG sta partendo ora Sia per il software (Application Area) Che per il deployment delle risorse con Grid (Grid Deployment Area)

14P. Capiluppi 23 Giugno 2003- CSN1

LHC Computing Grid ProjectLHC Computing Grid Project

The job of the LHC Computing Grid Project – LCG – is to prepare the computing infrastructure for the simulation, processing and analysis of LHC data for all four of the LHC collaborations.

LCG Manpower (April 2003)

49

54.9

20.5

9.55.8

ApplicationsFabricGrid DeploymentGrid TechnologyManagement

15P. Capiluppi 23 Giugno 2003- CSN1

LCG application areaLCG application area

Application Area manpower provenance

Experiments26%

LCG41%

CERN33%

Application Area Projects

POOL

SPI

SEAL

PI

Math Libraries

Grid interfacing

Architecture

Management

Simulation

ROOT

Gli esperimenti contribuiscono a LCG con un considerevole numero di persone (circa 4 FTE da CMS…)

Total of 49 FTE’s

16P. Capiluppi 23 Giugno 2003- CSN1

What is CMS/LCG-0 (LCG-pre1)What is CMS/LCG-0 (LCG-pre1) CMS/LCG-0 is a CMS-wide testbed based on the LCG pilot

distribution, owned by CMS Red Hat 7.3 (7.3.2 with CERN kernel recommended) Components from VDT 1.1.6 and EDG 1.4.X (LCG pilot) Components from DataTAG (GLUE schemas and info providers)

Additional components installed: Virtual Organization Management: VOMS RLS in place of the replica catalogue Monitoring: GridICE

Additional components that will be installed soon: R-GMA (as BOSS transport layer) VOX extensions to VOMS?

Dynamic: install+test new components useful to CMS Support (outside CMS)

DataTAG WP4 LCG Experiment Integration and Support (EIS) team

17P. Capiluppi 23 Giugno 2003- CSN1

Motivations of CMS/LCG-0/1Motivations of CMS/LCG-0/1Evolution of 2002 CMS grid testbeds:

IGT productions in US using VDT CMS/EDG stress test

Develop CMS applications in an environment as close as possible to LCG-1 ones...

The LCG packaging allows to have both VDT and EDG on resources: still using VDT 1.1.6... will evolve to latest VDT version when LCG-1 will be

deployed EDG components from EDG 1.4.X but using a few new components: VOMS,

RLS, ...

Permette a CMS di essere “pronto” appena LCG deliveraPer il PCP e per il DC04 vero e proprio (Analisi)

18P. Capiluppi 23 Giugno 2003- CSN1

SiteSite RedHatRedHat Certif.Certif. UIUI CECE SESE WNWN MDS/MDS/GlueGlue

testingtesting

CERN CNAF 1+ Bari 1 Bologna 1+

Bristol 1 Imperial College (CE) 5

Islamabad-NCP E.Polytechnique

Legnaro Padova 8 NCU/Taiwan 8

US Iowa

done!

working…

purchasing machines… CNAF services

Deployment status of CMS/LCG-0/1

Deployment status of CMS/LCG-0/1

19P. Capiluppi 23 Giugno 2003- CSN1

Octopus

Hybrid model for CMS ProductionsHybrid model for CMS Productions

Site Manager startsan assignment

RefDBPhys.Group asks for

an official dataset

User starts aprivate production

Production Managerdefines assignments

DAG

job job

job

job

JDL

shellscripts

DAGMan(MOP)

LocalBatch Manager

EDG Resource Broker

Computer farm

GRID

User’s Site (or grid UI) Resources

ChimeraVDL

Virtual DataCatalogue

Planner

20P. Capiluppi 23 Giugno 2003- CSN1

Modello di CMS Italia: non e’ cambiato!

Modello di CMS Italia: non e’ cambiato!

CMS Italia ha scelto fin dall’inizio di avere una propria Sede di riferimento (con le competenze e interessi locali): Tier2 di riferimento a Legnaro

50% delle produzioni 2002

Il Disegno globale a breve termine:Ruolo del Tier1 (comune per l’INFN)

~40% del commitment italiano Assorbimento dei picchi di CPU (shared con gli altri Esperimenti) Mass Storage e accentramento dei dati di simulazione e analisi Riferimento core software (supporto)

Ruolo dei Tier2 (incluso il Tier2 di riferimento) ~40% del commitment italiano CPU e storage (solo dischi e/o archive) per l’analisi (distributa, non solo

plots!) Dimensionamento delle attivita’ in funzione delle competenze ed

interessi locali (dal farming alla analisi)Ruolo dei Tier3

~20% del commitment italiano Punto di forza in item specifici sia di analisi che di software e/o supporto

e/o middleware

CSN1 Novembre 2002

21P. Capiluppi 23 Giugno 2003- CSN1

Dimostrazione della validita’ del Modello

Dimostrazione della validita’ del Modello

Alcuni esempi: Legnaro ha gia’ generato oggi piu’ di 3 M eventi per il PCP (DC04) Bari sta generando 500 k eventi per il PCP ed e’ “leading” per i tools di

trasferimento dati Napoli sta testando e contribuendo allo sviluppo del nuovo software Padova e’ leading nella introduzione dei tools di Grid per il PCP e per

l’analisi Bologna e’ leading per i tools di produzione su LCG e sulla selezione

eventi PCP/DC04 muoni Pisa e Firenze sono leading per i tools di analisi Roma e’ leading nelle produzioni e nei tools di management Milano, Catania, Torino, Perugia hanno specifiche competenze e

commitments nel PCP Bologna e Catania supportano il Tier1 Padova aiuta il Tier2 di riferimento (LNL) Il Tier1 e’ “validato” per la produzione PCP e “pronto” a partire

Tutti partecipano allo sviluppo software in preparazione all’analisi

22P. Capiluppi 23 Giugno 2003- CSN1

ConclusioniConclusioniCMS Calcolo Italia partecipa ai Data Challenges con:

Contributo sostanziale Coordinamento e ruoli definiti

Il Modello di calcolo permette: L’uso degli strumenti Grid L’utilizzo delle risorse (umane e non) con buona efficienza Adottare LCG appena disponibile La condivisione delle risorse, purche’ pianificata

Necessari altri investimenti: Nello spazio disco nei Tier2/3 Sulle risorse di calcolo del Tier1 (nastri inclusi) Nella potenza di calcolo per il DC05