8/18/2019 farina-130325191435-phpapp01

http://slidepdf.com/reader/full/farina-130325191435-phpapp01 1/30

Workshop «Big Data e la forza degli eventi»Università degli Studi di Milano-Bicocca, 1 marzo 2013

Speaker: Fabio Farina (fabio.farina@garr.it)Contributi di: Massimo Carboni, Mauro Campanella,

Pasquale Mandato, Cristiano Valli

Big Data e il monitoraggio diinfrastrutture di rete geograficheL’esperienza di GARR 

8/18/2019 farina-130325191435-phpapp01

http://slidepdf.com/reader/full/farina-130325191435-phpapp01 2/30

Fabio Farina - GARR 

2

WS Big Data, Univ. Milano-Bicocca, 01.03.2013

Outline

Presentazione di GARR  I servizi

La dorsale GARR-X

Monitoring nelle reti backbone Perché e come Stato degli apparati di rete

Raccolta e analisi del traffico a flussi

Il monitoring nell’era della virtualizzazione L’esperienza del progetto FEDERICA

8/18/2019 farina-130325191435-phpapp01

http://slidepdf.com/reader/full/farina-130325191435-phpapp01 3/30

Consortium GARR 

Consortium GARR è la rete Italiana della Ricerca

È un’organizzazione non-profit sotto l’egida del Ministero dell’Istruzionedell’Università e della Ricerca I Soci fondatori sono:

Consiglio Nazionale delle Ricerche, CNR  Ente Nazionale per le Energie Alternative, ENEA Congrega dei Rettori delle Università Italiane, Fondazione CRUI

Istituto Nazionale di Fisica Nucleare, INFN

La sua missione è la gestione e l’evoluzione della dorsale a bandaultra-larga nazionale per la Ricerca, l’Università e i servizi associati

GARR partecipa anche a progetto Nazionali e Europei R&D di networking, Future Internet Progetti legati alla comunità biomedica, ai beni culturali, ai conservatori,…

3

Fabio Farina - GARR WS Big Data, Univ. Milano-Bicocca, 01.03.2013

8/18/2019 farina-130325191435-phpapp01

http://slidepdf.com/reader/full/farina-130325191435-phpapp01 4/30

La dorsale in fibra GARR-X

4

Fabio Farina - GARR WS Big Data, Univ. Milano-Bicocca, 01.03.2013

I numeri di GARR-X 50 Punti di Presenza 500 Gbps aggregati di backbone 280 Gbps aggregati degli accessi 6.500 km backbone e 2.000 di accesso

Prestazioni di banda minimo 10 Mbps per l’accesso degli enti soci

minimo 10 Gbps per i link di backbone 100 Gbps max su singolo link di backbone

La comunità oltre 500 le sedi connesse alla rete 2,5 milioni di docenti, ricercatori, studenti

100 Petabyte il volume totale di traffico nel 2012 Un approccio BigData «puro» non è applicabile

 Velocità e Volume, minore Variabilità

8/18/2019 farina-130325191435-phpapp01

http://slidepdf.com/reader/full/farina-130325191435-phpapp01 5/30

I servizi di GARR  www.servizi.garr.it

Funzionamento della rete

GARR-NOC: Network Operations Center GINS: Monitoring della rete GARR GARR-NIC/LIR: assegnazione nomi di dominio e IP

Sicurezza

GARR CERT: Servizi di sicurezza di rete

SCARR: Scansioni Ripetute a Richiesta Gestione di identità e mobilità

eduROAM: supporto alla mobilità degli utenti GARR IDEM: Autenticazione e Autorizzazione federata

Servizi applicativi

FileSender: il servizio GARR per l'invio di file grandi GARR-VCONF: servizio di multi-videoconferenza GARR MIRROR 5

Fabio Farina - GARR WS Big Data, Univ. Milano-Bicocca, 01.03.2013

8/18/2019 farina-130325191435-phpapp01

http://slidepdf.com/reader/full/farina-130325191435-phpapp01 6/30

Cosa è il monitoring? A cosa serve?

8/18/2019 farina-130325191435-phpapp01

http://slidepdf.com/reader/full/farina-130325191435-phpapp01 7/30

Chi? Cosa? Dove? Come? Quando? Chi sta accedendo la rete?

Studenti, Professori, Personale, Visitatori o altro

Motivi dell’accesso alla rete? Studi Accademici, Informazioni Generali, Affari, Uso Illegale

Da dove stanno accedendo alla rete? Interno, Esterno

Come stanno accedendo alla rete? Utenza Remota, LAN, WAN, Wi-Fi, VPN, IPSec/SSL

Quando hanno acceduto alla rete? Oggi, Ieri, da una settimana, da un mese …

7

Fabio Farina - GARR WS Big Data, Univ. Milano-Bicocca, 01.03.2013

8/18/2019 farina-130325191435-phpapp01

http://slidepdf.com/reader/full/farina-130325191435-phpapp01 8/30

Chi gestisce la rete è interessato a:

Gateway 2Gateway 1 Gateway 2Gateway 1

Protocolli di routingProtocolli di routing

Qualità del servizio

Protocolli di routingQualità del servizio

Diagnostica dei Guasti

Protocolli di routingQualità del servizio

Diagnostica dei Guasti

Gestione dei Servizi

PrecisioneEfficienza

Asimmetrie

PrecisioneEfficienzaPrecisione

Efficienza Asimmetrie

Fattibilità

8

Fabio Farina - GARR WS Big Data, Univ. Milano-Bicocca, 01.03.2013

8/18/2019 farina-130325191435-phpapp01

http://slidepdf.com/reader/full/farina-130325191435-phpapp01 9/30

Fornitore Utente

 Agreement Verifica

Servizio

9

Fabio Farina - GARR WS Big Data, Univ. Milano-Bicocca, 01.03.2013

8/18/2019 farina-130325191435-phpapp01

http://slidepdf.com/reader/full/farina-130325191435-phpapp01 10/30

La necessità di misurare

Ogni volta che si vuole dare una valutazione oggettiva

Requisito vs Misura Per ogni servizio ci sono delle grandezze che ne determinano

caratteristiche, obiettivi e successo Non si parla di assenza di servizio ma di misura della

CONFORMITÀ rispetto a quanto richiesto

Quindi con la misura si possono ottenere  Valutazione del servizio erogato Ma anche supporto alla pianificazione

per chi gestisce la rete per l'utenza, comprendere meglio come gestire le applicazioni

10

Fabio Farina - GARR WS Big Data, Univ. Milano-Bicocca, 01.03.2013

8/18/2019 farina-130325191435-phpapp01

http://slidepdf.com/reader/full/farina-130325191435-phpapp01 11/30

 Active | Passive Monitoring

 Active Monitoring

Spedizione di dati rappresentativi deltraffico di rete

Si misura il comportamento  Vengono definite metriche End-to-End Proactive troubleshooting

Passive Monitoring

Si osserva il traffico reale

Da un punto di rete

No traffic   No conclusion

11

Fabio Farina - GARR WS Big Data, Univ. Milano-Bicocca, 01.03.2013

8/18/2019 farina-130325191435-phpapp01

http://slidepdf.com/reader/full/farina-130325191435-phpapp01 12/30

Il strumenti di monitoring in GARR-X

12

Fabio Farina - GARR WS Big Data, Univ. Milano-Bicocca, 01.03.2013

8/18/2019 farina-130325191435-phpapp01

http://slidepdf.com/reader/full/farina-130325191435-phpapp01 13/30

Misure: uso e tecnologie Il punto di vista di chi amministra la rete, il NOC

 Assicurarsi che i dispositivi funzionino come atteso Sfruttare al meglio e bilanciare le potenzialità delle risorse disponibili Investigare e risolvere rapidamente incidenti o eventuali attacchi

Il punto di vista di usa la rete Richieste fortemente dipendenti dalla applicazione Per i data transfer massivi massimizzare la banda è il goal Per le video-conferenze, lo streaming e la telemedicina sono sensibili alle

latenze

Strumenti devono Permettere di misurare ciò che è rilevante Presentare le informazioni in armonia al modus operandi di chi le osserva

Nome Cognome

13

Occasione, Luogo, gg.mm.anno

8/18/2019 farina-130325191435-phpapp01

http://slidepdf.com/reader/full/farina-130325191435-phpapp01 14/30

Stato degli apparati di rete

14

Fabio Farina - GARR WS Big Data, Univ. Milano-Bicocca, 01.03.2013

 Vitale prima di tutto percepire lo stato di salute degli apparati di rete

614 dispositivi a tutti i livelli: ottico WDM, switching, routing Lambda, peering BGP, MPLS/LSP e relativi servizi di VPN

 Architettura di monitoring basata su Splunk  Monitoring passivo raccolto ai server della Direzione Sonde remote syslog con datagrammi UDP

8/18/2019 farina-130325191435-phpapp01

http://slidepdf.com/reader/full/farina-130325191435-phpapp01 15/30

GARR Integrated Networking Suite - GINS Suite software sviluppata ad hoc: parte integrante del sistema

informativo di GARR 

Strumenti di monitoring/statistica/diagnostica e tracking dei problemi Stato e prestazioni costantemente monitorati Garanzia di efficienza per l’Università e della Ricerca italiana Strumento di indagine e di pianificazione

Sistemi di acquisizione e visualizzazione delle statistiche di traffico Statistiche accessi utente, ordinate per PoP di Livello 3 e 2 Backbone, Peering e Weathermap

Reportistica dell’attività di rete Report specifici su richiesta Report periodici sullo stato e l’utilizzo della rete

15

Fabio Farina - GARR WS Big Data, Univ. Milano-Bicocca, 01.03.2013

8/18/2019 farina-130325191435-phpapp01

http://slidepdf.com/reader/full/farina-130325191435-phpapp01 16/30

GARR Integrated Networking Suite - GINS

16

Fabio Farina - GARR WS Big Data, Univ. Milano-Bicocca, 01.03.2013

8/18/2019 farina-130325191435-phpapp01

http://slidepdf.com/reader/full/farina-130325191435-phpapp01 17/30

GARR Integrated Networking Suite - GINS

Fabio Farina - GARR WS Big Data, Univ. Milano-Bicocca, 01.03.2013

17

8/18/2019 farina-130325191435-phpapp01

http://slidepdf.com/reader/full/farina-130325191435-phpapp01 18/30

Tecnologie abilitanti: misure passive

Raccolta, aggregazione e analisi del traffico in transito

 Visione mediata nel tempo: SNMP

Campionamento statistico: Netflow  Visione parziale della reltà Potenziali problemi di scalabilità nell’analisi Concetto di flusso

18

Fabio Farina - GARR WS Big Data, Univ. Milano-Bicocca, 01.03.2013

Source IP Dest IP Source Port Dest Port TCP/UDPflag

ToS bitsType of Service

Logical InterfaceIndex

8/18/2019 farina-130325191435-phpapp01

http://slidepdf.com/reader/full/farina-130325191435-phpapp01 19/30

GINS e il monitoring a flussi

19

Fabio Farina - GARR WS Big Data, Univ. Milano-Bicocca, 01.03.2013

8/18/2019 farina-130325191435-phpapp01

http://slidepdf.com/reader/full/farina-130325191435-phpapp01 20/30

Tecnologie abilitanti: misure attive  Attività di tipo intrusivo, ovvero si mescola con il traffico di

produzione (pregiato)

È un modello di monitoring di tipo perturbativo Bisogna avere l'accortezza di non diventare motivo di disservizio  Auto-Denial of Service

Cosa possiamo misurare in questo modo? Informazioni temporali

Delay // Jitter // Drop Misura della banda disponibile verso punti prestabiliti di rete

 Valutare la reale disponibilità di banda ad un istante determinato Nessuna capacità predittiva solo verifica puntuale

20

Fabio Farina - GARR WS Big Data, Univ. Milano-Bicocca, 01.03.2013

8/18/2019 farina-130325191435-phpapp01

http://slidepdf.com/reader/full/farina-130325191435-phpapp01 21/30

Reaction Trigger to Events

21

Fabio Farina - GARR WS Big Data, Univ. Milano-Bicocca, 01.03.2013

Il sistema manda messaggi di Trap scatenati da alcuni eventi:

Connection Loss and Timeout Round Trip Time Threshold  Average Jitter Threshold Unidirectional packet loss, latency, jitter

ThresholdViolation

Thresholdviolation

No Alert

100 ms

50 ms

Time

 Alert Alert

Resolution

ThresholdViolation

Trigger 

• Immediate

• Consecutive

• X of Y times

• Average Exceeded

8/18/2019 farina-130325191435-phpapp01

http://slidepdf.com/reader/full/farina-130325191435-phpapp01 22/30

Il monitoring nelle cloudL’esperienza nel progetto FEDERICA

22

Fabio Farina - GARR WS Big Data, Univ. Milano-Bicocca, 01.03.2013

8/18/2019 farina-130325191435-phpapp01

http://slidepdf.com/reader/full/farina-130325191435-phpapp01 23/30

Il progetto FEDERICA http://www.fp7-federica.eu

23

Fabio Farina - GARR WS Big Data, Univ. Milano-Bicocca, 01.03.2013

FEDERICA = Federated E-infrastructure Dedicated to European

Researchers Innovating in Computing network Architectures

Deploy and manage an e-Infrastructure based on virtualization in both

computers and network elements as a fundamental tool/playground for

researchers on current and Future Internet, its uses and technologies.

Researchers has complete control

of their set of resources (a “slice”)with minimal of constraints to enables

disruptive experiments at all

communication layers over

a realistic substrate.

Router/Switch

Host for Virtual nodes

Ethernet 1 Gbps

Focus on reproducibility of

the experiments and

in the avoidance of

complexity.

8/18/2019 farina-130325191435-phpapp01

http://slidepdf.com/reader/full/farina-130325191435-phpapp01 24/30

La facility FEDERICA Ogni PoP è equipaggiato con device con supporto alla virtualizzazione

Nodi Macchine Virtuali su Vmware 5.0 Router Logici su Juniper MX480

Circuiti fra PoP 1Gbps (IP/MPLS)

Circuiti virtuali Una VLAN di management per

ogni slice User Access Gateway VM Numero VLAN variabile per il

traffico dati a discrezione dello

esperimento

24

Fabio Farina - GARR WS Big Data, Univ. Milano-Bicocca, 01.03.2013

8/18/2019 farina-130325191435-phpapp01

http://slidepdf.com/reader/full/farina-130325191435-phpapp01 25/30

FEDERICA come servizio FEDERICA è sia una infrastruttura sia un servizio

Molteplici punti di vista: il gestore, gli utenti, i servizi di provisioning

Il NOC Garantire il corretto funzionamento della facility Soddisfare richieste di progetti con esigenze peculiari

I ricercatori della comunità Future Internet Topologia scelta dall’utente Garanzie di banda, latenza e jitter a seconda dell’esperimento Riproducibilità e isolamento, se richiesti

Il sistema di provisioning delle slice Trovare la mappatura ottimale delle slice sul substrato bilanciando lerisorse ed evitando overlap

25

Fabio Farina - GARR WS Big Data, Univ. Milano-Bicocca, 01.03.2013

8/18/2019 farina-130325191435-phpapp01

http://slidepdf.com/reader/full/farina-130325191435-phpapp01 26/30

Prospettive differenti In FEDERICA esistono sempre due prospettive

Il piano di substrato fisico e quello virtuale delle slice Conseguentemente si hanno due piani di monitoring

26

Fabio Farina - GARR WS Big Data, Univ. Milano-Bicocca, 01.03.2013

8/18/2019 farina-130325191435-phpapp01

http://slidepdf.com/reader/full/farina-130325191435-phpapp01 27/30

Il monitoring in FEDERICA

L`effetto della virtualizzazione è un fattore moltiplicativo sul volumedi dati prodotti dall’infrastruttura

Piattaforma G3 (CESNET) aggregazione e presenta de dati Del substrato fisico

Monitoring passivo: SNMP, VMware monitoring rCLI, Netflow Monitoring attivo: tool ad hoc HADES per il NOC

Delle risorse virtuali in ogni slice Consumo CPU, RAM, disco e rete di ogni VM Flusso di rete di ogni virtual router e consumo di banda

27

Fabio Farina - GARR WS Big Data, Univ. Milano-Bicocca, 01.03.2013

8/18/2019 farina-130325191435-phpapp01

http://slidepdf.com/reader/full/farina-130325191435-phpapp01 28/30

FEDERICA: i numeri di G3 Entità osservate: 9 parametri per ogni entità

Strato fisico: 9 PoP collegati con 13 circuiti, 9 device di rete dedicati, 14hypervisor, 1049 interfacce

Strato virtuale: 11 slice statiche, 66 VM, circa 15 slice dinamiche (30 VM e15 logical router)

Granularità e scala

20 sec, periodo 5 min Misure distribuite nel giorno

per evitare sovraccarichi

Resultati – Grafici RRD +6’000 grafici di substrato

126 grafici sugli hypevisor 600-800 grafici per le slice

degli utenti28

Fabio Farina - GARR WS Big Data, Univ. Milano-Bicocca, 01.03.2013

8/18/2019 farina-130325191435-phpapp01

http://slidepdf.com/reader/full/farina-130325191435-phpapp01 29/30

Conclusioni GARR fa convergere al meglio i requisiti posti dalla comunità e le

risorse disponibili definendo e mantenendo i propri servizi

Profonda comprensione di cosa misurare e come ottenerlo Ci permette di offrire una rete ottima per le esigenze delle comunità della

Ricerca e dell’Università Italiana Pieno controllo della rete

La complessità Deriva dai differenti punti di vista che i servizi devono considerare e

privilegiare Solo in seguito arrivano le tecnologie per la raccolta e l’aggregazione

La mole delle informazioni, il Big Data, è una conseguenza dellacomplessità degli obiettivi e della collaborazione tra le persone

29

Fabio Farina - GARR WS Big Data, Univ. Milano-Bicocca, 01.03.2013

8/18/2019 farina-130325191435-phpapp01

http://slidepdf.com/reader/full/farina-130325191435-phpapp01 30/30

Conclusioni

Grazie per l’attenzione

Domande?

Per maggiori informazioni: fabio.farina@garr.it30

Fabio Farina - GARR WS Big Data, Univ. Milano-Bicocca, 01.03.2013