L’ AGILE Data Center (ADC) @ ASDC Carlotta Pittori, 2-3 Luglio 2007, ASDC-ESRIN L’ AGILE Data Center è la parte scientifica dell' AGILE Ground Segment basato a ASDC/ESRIN. ADC è costituito da due entità: • l’ AGILE Team Processing Group (personale del Team) • l’ AGILE Science Support Center (personale di ASDC). ADC ha la responsabilità di tutte le attività scientifiche relative all’utilizzo dei dati di AGILE: processamento, archiviazione e distribuzione di tutti i dati scientifici. INPUT: Row data (TM Level-0) Preprocessing : Level-1 data Scientific analysis: Level-3 data OUTPUT : High level data produc (count maps, spectra, light curv …) Primary data generation: Quicklook & Standard analysis Level-2 data (photon list and logfile )
Transcript
L’ AGILE Data Center (ADC) @ ASDC
Carlotta Pittori, 2-3 Luglio 2007, ASDC-ESRIN
L’ AGILE Data Center è la parte scientifica dell' AGILE Ground Segment basato a ASDC/ESRIN. ADC è costituito da due entità:
• l’ AGILE Team Processing Group (personale del Team) • l’ AGILE Science Support Center (personale di ASDC).
ADC ha la responsabilità di tutte le attività scientifiche relative all’utilizzo dei dati di AGILE: processamento, archiviazione e distribuzione di tutti i dati scientifici. INPUT: Row data
(TM Level-0)
Preprocessing: Level-1 data
Scientific analysis:Level-3 data
OUTPUT: High level data products(count maps, spectra, light curves…)
Primary data generation: Quicklook &Standard analysis Level-2 data
(photon list and logfile)
Paolo Giommi ASDC DirectorGruppo AGILE Science Support Center ad ASDC:
A. Antonelli, G. Fanari, B. Preger, C. Pittori, F. Verrecchia, D. Gasparrini, F. Acerra, S. Stellato
M. E. Pennisi, S. Cutini, P. Santolamazza, R. Primavera (assente)
(ASDC-INAF + DATASPAZIO)
F. Tamburelli
(AGILE in calibrazione @ LNF)
AGILE GS Architecture
ASINet ASINet
Command, HK, Sci raw data
ASI MalindiGround Station
Kenya
ASINetFucino Gateway
Fucino, Italy
Command, HK, Sci raw data
ASINetFucino Gateway
Fucino, Italy
S-Band
AGILE Operation Control Center
SatelliteControl Center
FlightDynamics Center
AGILE Data Center
TM L0 &Aux Data
Long Term PlanObs Planning File
AGILEDATA
CENTER@ASDC
internetinternet Agile
Team
Calibration, SW for data analysis, ...
Data
ScientificCommunity
AO/GOP
Productsand SW
internetinternet
AGILE Team Processing Group
AGILE Science Support Center at ASDC
APPCAgile Pointing Program
MissionControl Center
Fucino, ItalyFrascati, Italy
AGILE Data Center
Agile Data Center
TM, L0, Aux Data
Long Term Plan/Obs Planning File
AGILE Team
Calibration, SW for data analysis
Product, Catalogues,SW for Data Analysis
Scientific Community
AOCC
Agile Pointing Program
ASINetASINet internet
internetData Archive
System
Data Analysis System
Mission Planning System
TM, L0, Aux Data
L1, L2, L3 Products,
Data analysis SW
SW Development and Integration
System
Data and SW Distribution System
APPC
Data (Aux, L0,L1, L1cor)
AO/Guest Observer ProgramGOP
AO
ADC schema fase operativa:
1.GS Activity
& MCC Interface
2.
Data Processing&
Archiving
2.3 Interactive Data
Analysis
2.1 Automatic Pipeline
Monitoring
3.AO/GOP
5.Payload
Configuration Control
TM PPS Branch(LV0 LV1)
AUX BranchAPP Manag(& OB status)
LTP/OPF Nominal
1.1
Mission
Planning
1.2
Data Flow
Monitoring
1.3
Contingency
Management
TOO/PRR
OSM Manag
TM LV0
Auxiliary
Correction & Health Monit. (HM)
2.2 Archive
Management and Data Backup
GRID QL: QLSTD (T Bricks) & QLSCI (Incremental)
GRID Standard Analysis on OB(LV2 LV3)
GRID QLUSR
Scientific Analysis(LV3 refinement)
GRB Alert
Manag
SuperAGILE pipeline
AO Data RequestManag
GO Data & SWDistribution
GO Help Desk
4.Public WEB Pages
&User Support
AGILE GRID & SACatalogs
FAQ & Scientific Help Desk
Documentation
Calibration CALDBUpdates
OB BricksValidation
On-line archivein MMIA and VO
HM Alert Manag.
Quick ScientificMonitoring
Interfaccia Web interna all’archivio e al DataBase AGILE @ ASDC:
1.GS Activity
& MCC Interface
2.
Data Processing&
Archiving
3.AO/GOP
(Sara’ resa in parte accessibile all’esterno all’apertura delle AO, vedi Antonelli talk)
AGILE Services @ ASDC
1. Mission Planning Interface
2. Data Processing Interface
1.1
Agile Pointing Program Tool
1.2 LTP/OPF
Tool
1.3
OSM Tool
1.4
Scientific Observations, Observation
Blocks Database & Archive
3. AO/GOP
Interface
1.5
ADC Operation Plan Document &
Planning Tools User Manual
4.Public WEB
Pages
1/4
1.GS Activity
& MCC Interface
1.1.1. Planning nominale: Agile Pointing Program (APP) input da APPC + MD. Scambi operativi ASDC-MCC di Long Term Plan/Observation Planning File LTP/OPF (Normal):
LTP: Numero intero di SO, Copertura circa un mese, Cadenza circa ogni due settimane, Emissione con anticipo di circa una settimana, Overlap yes.
OPF: Numero intero di OB, Copertura circa due settimane, Cadenza circa ogni una/due settimane, Risposta LTP+2gg (~ 16 working hours) con anticipo di circa 5 gg, Overlap yes.
1.1.2 LTP/OPF in caso di Target of Opportunity /Partial Repointing Request (TOO/PRR)
LTP/PRR: LTP Nominale con nuovo OB PRR con start date entro qualche orbita (~ 90 working minutes). In una prima fase di training di operatori le richieste di PRR saranno effettuate da TPZ entro 1 gg lavorativo.
LTP/TOO: LTP Nominale con nuova SO TOO con start date entro 1 gg lavorativo.
1.GS Activity
& MCC Interface
1.2.1. Interfacce Auxiliary previste da ICD
Formati file AUX tutti testati in AIV. Pipeline di ricezione, check e archiviazione I/F AUX attiva gia’ dall’inizio del Commissioning.
1.2.2 Installazione e Test Rete ASInet tratta Fucino-ASDC (M. Ricci).
1.2.3 Trasferimenti TM LV0 Fucino/ASDC ok fin dal primo contatto. Gestione casi non nominali via OSM.
1.3 Contingency Management: I/F Contingency. Test Formati OK. Operativita’ sotto la responsabilita’ del MD con supporto Payload Config Control System (Team).
AGILE Services @ ASDC
1. Mission Planning Interface
2. Data Processing Interface & Archives
3. AO/GOP
Interface
4.Public WEB
Pages
2.1
Auxiliary pipeline branch
2.2
TM PPS pipeline branch
2.3
Correction & HM
pipeline branch
2.4
GRID QuickLook pipeline branch
2.5
GRID Standard Analysis pipeline
branch
2.7
Piattaforme HW in configurazione
target & documentazione
2.6
SuperAGILE pipeline branch
2/4
Level-0 TM data(binary)
Level-1 cor TMdata (FITS)
Data pre-processing
& Correction
GRID QLA
( ~ )t few orbits
SuperAGILE QLA
( )orbit
GRID StandardAnalysis
( )Observation Block
-2 Level QL data
SuperAGILEStandardAnalysis
-2 Standard Level data( + GRID photon listlogfile)
-3 and Level data( / / )imaging spectral timing
QLA results available to the community
GOP SuperAGILEstandard monitoring results available to the community
Level 1
(TM in FITS)
PREPROCESSING
HEALTHMONITORING
INTERACTIVEANALYSIS
STANDARDANALYSIS
QUICK LOOKANALYSIS
PrimaryData
CalibrationResults
CALIBRATION &RESPONSE ANALYSIS
SCIENTIFICANALYSIS
High level data products
DATA DISTRIBUTION
USERSPROPOSALMANAGEMENT
PLANNING
AOCC
CorrectedData
CORRECTION
P/L CONFIGUR.CONTROL
Ground CalibrationsArchive
AUX. DATA RECEIPT & PROCESSING
AGILE SW Structure & Data Flow:
ADC HW Architecture Responsabile HW ASDC: M. Ricci, Sistemista ASDC: P. D’Angeli
• 6 Computing Server by ASDC
• 1 WEB server + Storage by ASDC
• 3 Computing Server by INAF
Processamenti e Data Management @ ASDC:
Rami attivi della pipeline di processamento automatico
Sessioni di analisi dati interattiva
Pipeline di analisi e archiviazione dati automatica + sessioni analisi interattiva:
Link to data and Logs
Shell script export tool
Accesso e Visualizzazione (Java Applet) ai Data Files:
Riassunto principali attività ADC@ASDC pre-Lancio e Lancio:
Ottimizzazione della ricezione, gestione e archiviazione Telemetria (TM) e Auxiliary files provenienti dal Ground Segment di Telespazio (TPZ) al Fucino. Assembly and Integration Validation (AIV) e System Validation Test (SVT4) con TPZ Test end-to-end con TPZ Fucino tramite rete ASINET Sviluppo e integrazione pipeline di analisi dati a ASDC con moduli SW forniti dal Team
Rami: TM-PPS (Team), Auxiliary, Correction, QL automatica e interattiva, Health & Performance Monitoring, Standard & Scientific Analysis. Data Analysis Test pre-lancio in collaborazione con l’AGILE Team Database dei processamenti e struttura archivi dati. Sviluppo interfaccia WEB interna all’archivio e al DB degli Agile Services Standardizzazione formati delle photon list e dei prodotti scientifici di alto livello e del database di calibrazione (CALDB) secondo gli standard multimissione OGIP
Attività ADC@ASDC di Commissioning (in corso) e Science Verification Phase:
Supporto attività di Commissioning: planning, ricezione, analisi e archiviazione dati
Completamento e test pipeline di analisi dati standard di GRID (build 10) Supporto installazione SuperAGILE pipeline (v1) e integazione col sistema Agile Services @ ASDC Definizione e sviluppo interfaccia WEB dedicata per validazione e distribuzione dei prodotti scientifici
Fase operativa (minimo 2 anni):
Completamento di tutti i rami della pipeline
Completamento LV3 e archivi
Standardizzazione del SW da distribuire agli utenti e relativo User Manual
Supporto alle attività ADC:
planning, manutenzione e supporto SW, archiviazione e data backup, scientific health monitoring, pipeline monitoring, analisi interattiva, aggiornamento calibrazione, AO management, punto di contatto per multiwavelenght observations, FAQ, etc.
![Untitled-2 [] · Title: Untitled-2 Author: asdc Created Date: 2/7/2017 2:28:39 PM](https://static.documents.pub/doc/80x56/601c980fac7b4809982da504/untitled-2-title-untitled-2-author-asdc-created-date-272017-22839-pm.jpg)
