Background

Meeting tra HEPCCC e funzionari EU (12/11/99) Finanziamento EU per un progetto di

computational and data grid per HEPMeeting tra CERN (coordinatore) e

rappresentanti Stati (11/1/00)

Project

Main focus: computing per LHCPossibile partecipazione di altri esperimenti HEPPartecipazione di comunita` scientifiche non

HEPCollaborazioni con progetti GRID americani

(PPDG, GriPhyn, ...)Collaborazione con partner industriali3-5 anniDefinizione di 2 working group (politico, tecnico)

per definire un project proposal

Timescale

Chep2000: Project outlineWorkshop 7/3: Draft project proposalMay 10: submission to EU

Aims of Tech. WG

What’s there already ? Study of current work, proposed

projectsWhat do we need in preparation for

LHC ?What is missing ?

What’s there already ?

Grid Forum, The European Grid Forum Globus Legion NASA Information Power Grid PPDG Apogee Griphyn China Clipper Univ. of Adelaide Distributed and High Performance

Computing Grid ...

INFN & “Grid Related Projects”

Sperimentazioni GlobusCondorMonarc

What is needed for LHC ?

Qual e` il modello di computing da considerare ?

Quali sono le esigenze in termini di calcolo e data management ?

Che tipo di processing si devono considerare ?

Quali sono i servizi necessari ?V. “Testbed for LHC Computing: Computing

Fabrics and Regional Centres”

Cosa ci serve/ci interessa ?

Distributed processing (si muove l’applicazione dove stanno i dati) ?

Distributed caching (i dati vengono spostati dove sta l’applicazione) ?

Entrambi ?? XX

Cosa ci serve/ci interessa ?

Elaborazioni: Schedulate ? “Caotiche” ? Entrambi ? XX

Cosa ci serve/ci interessa ?

Possibilita` di usare diversi sistemi di storage per i dati (Unix file systems, nastri, MSS, http servers, ecc...) ? NO Necessaria interfaccia unifome per

lettura, scrittura, copia, ...Namespace unico per i dati (naming

indipendente dalla locazione e dal sistema di storage usato) ? SI

Cosa ci serve/ci interessa ?

Accesso trasparente ai dati da parte dell’utente ? SI L’utente non sa:

Dove sono Lo storage system usatoCome e dove vengono spostati

Network Data Replication ? SINetwork Data Caching ? SISincronizzazione tra le varie repliche

dello stesso dato ? SI, loose

Cosa ci serve/ci interessa ?

Wide Area Data mover tra diversi storage systems ? Per bulk data transfer ? SI Per analisi interattive ? SI

A che livello ? NON SAPPIAMO DIRLO File ? Oggetto ? DB ? Sequenza di bytes ? NO

Cosa ci serve/ci interessa ?

Modulo per trovare la replica piu` “vicina”, e ne stima il costo di accesso ? SI

Modulo per stimare il costo necessario per creare una nuova replica ? SI

Parametri dimensione dei dati costo di accesso agli storage storage systems stato della rete possibilita` di riservare network bandwidth ...

Cosa si serve/ci interessa ?

Application metadata ? SI Descrizione dei dati (cosa contiene un certo dato, in che

circostanze e` stato generato, ecc...) Servizio usato dalle applicazioni per queries, per definire

i dati da elaborare, ecc... Mapping tra “nomi logici” (usati dalle applicazioni) e

istanze fisiche Possibilita` di definire collezioni, gerarchie, ecc...

Serve ??? SI O si usano i meccanismi di astrazione del DBMS ???

Cosa ci serve/ci interessa ?

Tertiary storage (nastri) solo per archiving/backup o anche per i dati “attivi” ARCH/BAC

Mass Storage Systems (HPSS, Enstore, ecc...) ? NO, ALMENO ADESSO

Cosa ci serve/ci interessa ?

Network Workload Management ? SIAccesso trasparente ai processori da parte

dell’utente SI L’utente non sa:

Dove sono i processoriCome vengono allocati

Matchmaking basato su: Requirement e profilo dell’applicazione Stato dei sistemi Stato del networking Wide area data location ...

Cosa ci serve/ci interessa ?

Integrazione di diversi resource manager locali ? SI

Standard language per definire e sottomettere al sistema i job ? SI

Cosa ci serve/ci interessa ?

Risorse computazionali eterogenee ? SIPossibilita`di definire priorita`, policies

sull’uso delle risorse (in base al tipo di applicazione, all’utente, ecc...), ecc... ? SI

CpuS solo dedicate o necessita` di sfruttare anche risorse “general purpose” ? ???

Cosa ci serve/ci interessa ?

Networking Meccanismi di QoS per poter gestire

diversi tipi di traffico, con diverse caratteristiche, con diverse priorita` ? SI

Meccanismi per allocare bandwidth ? SI Studio delle configurazioni ottimali dei

protocolli di rete ? Storage Area Networkin Wide Area

Cosa ci serve/ci interessa ?

Installazione e update automatico del sw su centinaia/migliaia di ws ? SI Remote Installations Version Management Management of application installation

dependecies ...

Cosa ci serve/ci interessa ?

Monitoring ? SI servizi host cluster networking applicazioni

Individuazione di fault, di congestioni, ... ? SI SI

Cosa ci serve/ci interessa ?

Allarmi SIServizi per il “recupero” automatico

da situazioni di failure SIAccounting sull’utilizzo delle risorse

SI

Cosa ci serve/ci interessa ?

Problem management ? SI Sistemi di identificazione automatica

delle cause di malfunzionamenti o degrado delle prestazioni

Cosa ci serve/ci interessa ?

Gestione delle autenticazioni ? SI Singola autenticazione per tutta la GRID

Gestione delle autorizzazioni ? SI Possibilita` di definire autorizzazioni per i vari

tipi di accesso alle varie risorse da parte degli utenti

Protezione della GRID infrastructure da: SI intrusioni ? compromissione dell’integrita` e/o privacy delle

informazioni ? ...

Cosa ci serve/ci interessa ?

Information service ? SI Caratteristiche, stato, allocazione,

policies d’uso, performance, ecc... di:HostsStorage systemsNetworking

Attributi statici e dinamici Popolato e aggiornato automaticamente

Cosa ci serve/ci interessa ?

Bookkeeping ? SI Informazioni da registare per ogni

processingdati di input dati di outputesito del processing...informazioni “application dependent”

Cosa ci serve/ci interessa ?

Web User Interface per la definizione dell’applicazione da

parte dell’utente ? SI, NON GRAFICAPer definire interdipendenze tra diversi task

(time dependencies, data dependencies, ...) NO

per il submit dei job al sistema ? SI per il monitoring dell’applicazione ? SI ...

Cosa ci serve/ci interessa ?

Applicazioni parallele ? NOMessage passing libraries ? NO

MPI PVM ?

Cosa ci serve/ci interessa ?

... ???... ???