Smart Cities and Communities and Social InnovationBando MIUR

D.D. 391/Ric. del 5 luglio 2012

“Open City Platform: una piattaforma cloud di valenza generale evolutiva aperta e innovativa per l’offerta e l’erogazione in cloud di servizi per la Pubblica Amministrazione”

Mirco MazzucatoOCP Project Manager

(Mirco.mazzucato@pd.infn.it)

Outline

• Introduzione a OCP, strategie e focus

• Piattaforma IaaS

• Piattaforma PaaS

• Open Data Engine

• Application Store

• Service Toolkit

• Citizen Marketplace

• Security

• Deliverable e Tempi

Informazioni generali

Progetto di Ricerca Industriale finanziato dal MIUR

Durata: 30 mesi (1 gennaio 2014 – 30 giugno 2016 -> Dic. 2016)

Personale Coinvolto: oltre 100 unità

Mesi uomo: oltre 2000

Obiettivi Realizzativi: 11

Deliverable: 63 (tra ricerche e prototipi)

Budget Progetto: 11.949.448,89 euro

Totale Agevolazioni: 10.688.786,90 euro

Cofinanziamento: 1.260.662,00 euro

Sfrutta risultati Progetto PON PRISMA: 22 Meuro agevolazione

Oltre 9.000.000 di cittadini potenzialmente coinvolti dalle sperimentazioni regionali e comunali

ATI Toscana/E.R.

Visione d’insieme

Open City Platform secondo il bando Smart Cities collabora formalmente con:3 Regioni (Emilia Romagna, Marche e Toscana) Decine di comuni e ANCI

e on best effort con un gruppo crescente di altre regioni: Umbria, Basilicata, Lazio e Pugliaper fornire una Piattaforma Cloud Open Source mirata per i Data Centers della PA che:

• Fornisca un’implementazione di riferimento per arrivare a stabilire a livello nazionale un’infrastruttura cloud federata che permetta alle PA, cittadini e imprese l’accesso e la condivisione di servizi e dati disponibili nei vari CED cloud privati della PA

• Permetta di fornire una base tecnologica avanzata per richieste di finanziamento a livello Europeo al mondo della Ricerca, Università, Industrie e PA

• Sviluppi competenze e nuovi modelli di business secondo le potenzialità dei territori

I Driver principali del progetto

- Per eliminare il lock in e la mancanza di trasparenza delle piattaforme proprietarie

- Per ridurre i costi per la PA e porre il paese alla frontiera mondiale in questo campo

- Per poter sviluppare una strategia industriale che sviluppi competenze e occupazione

- Per sfruttare tempestivamente un trend di mercato ormai consolidato

- Per anticipare le aspettative degli utenti e accelerare la trasformazione dell’Italia in un paese a cittadinanza digitale

- Per facilitare lo sviluppo e il riuso digitale di applicazioni relative ai settori d’interesse delle PA (Salute, eGov, Ambiente, Mobilità …)

- Per definire per le PA nuovi modelli organizzativi sostenibili nel tempo che permettano d’innovare l’erogazione di servizi in modo nativamente digitale

Cloud Open Source: La scelta si è rivelata vincente

Da DZone Cloud Report 2014

Cloud: Cosa interessa di più oggi?

Da Dzone Cloud Report 2014

Una significativa evoluzione recente anticipata da OCP

  

Perchè puntare sul cloud aperto per la PA?

• Lo sviluppo del Cloud Open Source è recente (2010), ma impressionante!

• Ha già permesso di realizzare una nuova piattaforma tecnologica innovativa, allo stato dell’arte a livello mondiale, robusta e flessibile e configurabile per rispondere alle regole specifiche di un paese (ad es. SPID…) che abilita lo sviluppo di un’infrastruttura nazionale federata di Data Centers della PA ed è molto competitiva perchè realizzata dalle imprese e dal mondo della ricerca sotto la guida diretta delle esigenze delle PA (Security, Privacy..)

• Permette di abilitare tempestivamente lo sviluppo/di nuove applicazioni relative ai settori d’interesse delle PA (Salute, eGov, Ambiente, Mobilità …) nativamente predisposte e sostenute da tools specifici per poter essere attivate e riutilizzate in modo digitale nei CED cloud delle PA

• Permette di realizzare nuovi modelli organizzativi sostenibili nel tempo per le PA che abilitano l’erogazione di servizi in modo nativamente digitale da parte delle Pubbliche Amministrazioni Locali e Regionali a cittadini, imprese e altre amministrazioni a costi ridotti e di raccogliere il feedback degli utenti sulla qualità dei servizi.

Focus sulla PA: gli asset della piattaforma OCP

SPID

La strategia di OCP per la Piattaforma Cloud per la PA

• Rendere disponibile una Piattaforma Cloud allo stato dell’arte, completamente Open Source per la parte infrastrutturale, di valenza generale per la PA che comprende i tre livelli: Infrastructure as a Service- IaaS , Platform as a Service - PaaS e Software as a Service –SaaS

• Ottenerla selezionando, integrando e valorizzando:- I migliori prodotti che la vasta community internazionale open source ha reso disponibili

in questi anni e continuerà a sviluppare e a mantenere : Openstack, Zabbix, Cloudfoundry, WSO2 OpenShift

- Le customizzazioni già prodotte dai progetti pionieristici come PRISMA (progetto MIUR PON 22 con MEuro di finanziamento), Marche Cloud, INFN Cloud

• Completare la piattaforma aggiungere/integrando in questa con attività di Ricerca e Sviluppo nuovi servizi innovativi specifici per la PA

- AppStore, Open Data Engine, Security federata, Service Toolkit, Market Place per il cittadino

• Fornire con la PaaS la base per lo sviluppo piattaforme specifiche di settore: Sanità, eGov, Ambiente…

L’architettura della piattaforma è stata disegnata considerando:

• integrazione IaaS e PaaS• scalabilità• multilayer• interoperabilità• riuso delle componenti• robustezza

Include al suo interno macro componenti particolarmente rilevanti:

• modulo orchestrator/automation• modulo monitoring/billing• PaaS layer/services• IaaS layer/services• Open Data e Open Service Engine• Application Store e Toolkit

Repository • Citizen’s Marketplace

L’architettura generale della Piattaforma OCP

Au

the

nti

ca

tio

n -

Au

tho

riza

tio

n -

acc

ou

nti

ng

L’Architettura originale di Monitoring di OCP

Monitoring PillarOrchestrator

OpenstackENV

Openstack Hypervisor

CloudifyENV

Zabbix watcher

Zabbix metric

Zabbix Infrastructure

Zabbix Wrapper

BIZ

Orchestrator (jBPM)BIZ Library

HEAT REST API

CLOUDIFYREST API

PRISMA MODEL

Billing

Policy engine

Rules

Price List

Billing Pillar

Static info from platform:

• Flavour• Service

type

Get metering data

Get static data

• Invoice Sytem

• notification

VMVM

+ script

Monitoraggio infrastruttura di

servizio

Metriche billing e di servizio E di monitoraggio

raggiungibilità servizio PAAS

[PRISMA]Ceilometer/script python custom

[ZCP]zabbix ceilometer proxy

Storicizzate su DB Zabbix

Metriche utente con frequenza di update

maggiore

Metriche per capire stato del servizio deployato (agent

Zabbix)

Lo IaaS di OCP è OpenStack

• Cloud pubbliche:o Amazon o OpenStack

• Cloud private OpenStack

OpenStack

• Openstack è oggi la piattaforma più usata al mondo per la costruzione di cloud private e compete con Amazon per quelle pubbliche

OpenStack vs. Amazon

• Nel 2013 Amazon domina ancora il mondo del Cloud• Ma il trend sta cambiando:

IaaS di PRISMA: Layout architetturale

Le caratteristiche generali della IaaS di OCP

• HA: Tutti i servizi di OpenStack offerti alla PA in HA con tool d’installazione e configurazione automatici basati su Puppet e Foreman

• Monitoring di tutti i servizi integrato • Fault-tolerance

o Soluzioni pronte per gestire i fallimenti dei servizi Core di OpenStacko E per gestire il fault dei servizi utente ospitati su OpenStack

• Disaster Recoveryo Soluzioni di Cold-disaster-recovery direttamente integrate nell’infrastruttura IaaSo Sia per i dati che per i servizi

• Performance e QoSo Gestione automatica (a livello di IaaS) del QoS e autoscaling per gestire picchi di carico

• Security: SPID compliant

Le strategie di OCP per la PaaS

• Fornire alla PA automazione per l’attivazione di servizi su IaaS a livello di piattaforma eliminando dall’utente la necessità di gestire la complessità delle componenti dell’infrastruttura e delle configurazioni non solo per OpenStack ma per cloud eterogenee

• Continuare il focus sull’integrazione di soluzioni Open Source ma fornire la massima apertura alla possibilità di usare tecnologie e infrastrutture cloud proprietarie

• Fare scelte sempre guidate dagli Use Case della PA + standard di mercato

• Basare il core della piattaforma su soluzioni Open Source che sono o stanno diventando leader di mercato e rendere disponibile un ambiente di sviluppo state of the art che renda più facile, veloce e trasparente agli sviluppatori la gestione delle varie fasi del ciclo di sviluppo di vita di un’applicazione

Le Piattaforme PaaS di OCP

API

API

API API API

«OCP ha condotto test e sperimentazioni estese su quattro diverse piattaforme PaaS leader di mercato»

«E’ stato scelto di far coesistere nella PaaS di OCP Cloudify e OPENSHIFT per risolvere problemi diversi… ben integrate e di mantenere sotto osservazione CLOUD FOUNDRY »

«Lo strato di integrazione e l’orchestrator giocheranno un ruolo fondamentale nella gestione delle diverse piattaforme e delle ‘’RICETTE’’ relative ai servizi erogati»

• Restfull interface

• Basate su ricette o cartridge

• Openstack enabled

I servizi PaaS di basso livello offerti da OCP

Identity access management

Database

Application deployment

Queue system Business intelligence

Business Process Manager

Open Data framework

Tecnologie offerte as a Service derivate da PRISMA

Desktop as a service

OCP offre già servizi di tipologia PaaS progettati per essere erogati rispettando concetti chiave del Cloud Computing:

• Monitoraggio• Raccolta metriche - Billing• Elasticità• Scalabilità• Self service• Affidabilità• Restful access

Ognuno di questi elementi è già parte fondante della piattaforma cloud di OCP

Messaging(mail + sms)

Personal storage

OCP e Open Data

La piattaforma di OCP include un “ Open Data Engine” che permette di sostenere la diffusione dello sfruttamento degli Open Data e in particolare degli Open Services e linked open data

Questo fornisce tre funzionalità principali:

• Due dei tool open source molto popolari oggi utilizzati per la realizzazione di portali Open Data: CKAN E SPOD

• Un insieme di servizi per permettere alla Applicazioni attivate dall’AppStore di archiviare su storage i dati raw generati durante l’esecuzione per poi ricuperarli e trasformarli in dati con un livello crescente di strutturazione

• Un insieme di open services per permettere ad un’applicazione di sfruttare linked open data disponibili sullo stesso CED o in CED diversi

OCP offrirà anche open service per usufrire di dati disponibili in

formato proprietario su applicazioni legacy già in uso

presso la PA

Open Data: Scouting Soluzioni Tecnologiche per Portale

• Socrata OpenData Portal, è una soluzione “chiavi in mano” (SaaS) per la realizzazione di portali Open Data fornita dalla compagnia Socrata.

• Comprehensive Knowledge Archive Network (CKAN), al momento è la soluzione open-source più utilizzata ma anche la più essenziale; promossa da Open Knowledge Fundation.

• Open Government Data Initiative (OGDI), è una piattaforma open source cloud based sviluppata da Microsoft.

• StatPortal OpenData, è una piattaforma open source sviluppata interamente in Italia da Sistemi Territoriali S.r.l. Consente di realizzare portali di open data con funzionalità avanzate.

OCP ha fatto estesa valutazione dei i migliori tool oggi utilizzati per la realizzazione di portali Open Data:

CKAN E SPOD sono I tool scelti per essere parte dell’Open Data Engine di OCP

OCP Open Data Engine : Architettura• Ha una componente di data storage nativa in grado di gestire

dati alfanumerici, geografici e triple RDF (Linked Open Data), consentendo quindi la gestione di informazioni di vario tipo

• Ha un avanzato modulo di data visualization grazie al quale i dati catalogati non sono solo scaricabili ma possono anche essere fruiti sul web con tabelle, grafici e mappe interattive generate automaticamente dal sistema e personalizzate

• Consente l’esposizione del catalogo e dei dati con molteplici formati e protocolli (es. XML, JSON, ODATA, RDF, endpoint SPARQL) agevolando quindi il possibile riuso dei dati

• Grazie al protocollo ODATA consente la realizzazione di reti di portali federati che condividono non solo i metadati ma anche i dati senza che questi siano copiati da un database ad un altro

• La piattaforma espone le API CKAN sia per CKAN che per SPOD , rendendola quindi pienamente compatibile e federabile con altri portali realizzati con tale tecnologia, DatiGov.it compreso.

Stat Portal

L’Application Store di OCP

Tramite l’Application Store

le Pubbliche Amministrazioni che agiscono da Stazione Appaltante ( Regioni, Consip, AgID…) potranno abilitare i provider a rendere disponibili in questo i prodotti acquisiti via gara

Le Pubbliche Amministrazioni Locali Acquirenti potranno acquisire e abilitare l’erogazione dei servizi applicativi disponibili verso il cittadino/impresa in infrastrutture Cloud.

Il processo di attivazione - automatizzato nella Piattaforma Cloud di OCP (o altre) – renderà disponibili via cloud le risorse Software ed Hardware (virtuale) e i sistemi di monitoring e billing necessari al corretto utilizzo dei Prodotti “acquistati”.

L’ Application Store

• E’ la base per attivare un vero “e-commerce” specifico per il software per la PA

• Diviso in aree tematiche (eHealth, eGov…)

• Con Elementi Tecnologici (Service Toolkit)

• Best practices

• Opendata services

• Citizen Market Place

Citizen's Marketplace

Reusable components

Service Toolkit(REST services)

App Open Data Services

(REST services)App

App

e-Gov e-Health infomobility

Scelta tecnologica di OCP per l’Application Store

Dopo una valutazione approfondita la scelta tecnologica si è orientata nella selezione di WSO2 Enterprise Store come artefatto base su cui costruire l’Application Store.

La scelta è stata determinata da questi fattori:

• Soluzione completamente Open Source disponibile con licenza Apache 2.0

• Buona parte dei requisiti già disponibili out of the box.

• L’architettura di base a plugin permette una semplice e solida estensione delle funzionalità.

• Soluzione fortemente personalizzabile.• Soluzione nativamente multi-tenant• Architettura scalabile e coerente con i paradigmi

Cloud.

Il Service Market Place con i servizi riutilizzabili del Service Toolkit

di componenti software (OCP Reusable components) o di servizi applicativi riutilizzabili pubblicati sull’AppStore di OCP nella sezione Market Place .

Questi servizi costituiscono un Service Toolkit popolato inzialmente con i prodotti delle imprese di OCP che si può allargare per permettere di diminuire il time to market dei prodotti

I produttori infatti potranno concentrarsi solo nello sviluppo delle nuove componenti applicative, senza dovere sempre riprogettare sempre i servizi di base più generali e standard che possono trovare già disponibili nel Market Place .

I produttori di software per la PA (e per i Cittadini e Imprese) potranno trarre vantaggio dal riuso

Servizi di messaggistica e persoluzioni VOIP

Servizi per Gateway Multicanale

Servizi di integrazione storage

Servizi per la classificazionesemantica

Servizi di accesso a dati catastali

Il Service Toolkit dei componenti riutilizzabili

Servizi cartografici

Servizi per l'Identità Digitale

Servizi di accesso a gateway Billing, Accounting e Pagamenti

Gli Applicativi in OCP

Consultazione pratiche edilizieGestione pratiche SUEGestione pratiche SUAPEstrazione dati catastali SigmaTerServizi geografici catastali SigmaTerAccesso ai dati cartografici catastaliVisura catastale ai fini IMU/ICIPagamento Tassa rifiuti urbani Pagamento IMUDichiarazione di variazione IMUDenuncia IMU

Mobilità categorie diversamente abiliServizi raccolta informazioni territorialiApplicativi client per la creazione di archivi recordServizi di condivisione datiServizi multicanale di interrogazione informazioniAnalisi Flussi VeicolariTracciabilità mezzi/persone/assetGestione Accessi-ZTLCodice della Strada-VeloxCodice della Strada-ViperControllo ambientaleVideosorveglianzaIntegrazione BIG DATAGestione parcheggi

TEnder Opportunities for SMEs (TEO)Tassa automobilistica

Applicativi pilota

SmartGov, Territorio e Fiscalità

Infomobilità e videosorveglianza

Salute

Autocertificazione Stato di FamigliaAutocertificazione di MatrimonioIscrizione Albo ScrutatoriIscrizione Albo Presidenti di SeggioVariazioni domiciliariConsultazioni dati AnagraficiRichiesta di ImmigrazioneCancellazione dagli Albi elettoraliAutocertificazioni PrecompilateConsultazione atti amministrativiGestione bandi, gare e concorsi

Cartella Clinica del cittadinoHealth Directory Service

Il Citizen’s Marketplace

Il Citizen’s Marketplace è un luogo unico nel quale la PA e le Aziende selezionate con una gara di acquisto possono esporre i propri Servizi ai Cittadini.

Il Cittadino potrà scegliere quali dei servizi proposti utilizzare e avere a disposizione un’area tramite la quale – in un unico contesto – potrà verificare amministrativamente in tempo reale tutti i consumi e i costi a lui riferiti riguardanti tutti i propri contratti di servizio in essere con i vari fornitori di Servizi.

Il Cittadino potrà anche interfacciarsi nella stessa area con i nuovi servizi applicativi che le PA attivano per lui sul Cloud e fornire il proprio feedback sulla qualità dei servizi offerti

Citizens are welcome

29

La piattaforma di OCP inclde un’implementazione open source di riferimento dei componenti dell’architettura di sicurezza prevista dal Sistema Pubblico per la gestione federata delle Identità Digitali di cittadini e imprese (SPID ) per I settori del cloud computing quali:

o Platform as a Service (PaaS)o Software as a Service (SaaS)

E’ costituita da 5 componenti:

• Identity Provider SAML2 SPID (componente esterno fornito da IdP SPID non da OCP)• Attribute Autority – AA SAML2 SPID (implementazione open source di riferimento fornita da OCP)• Policy Enforcement framework costituito da 3 componenti :• Policy Decision Point – PDP ( Implementazione open source di riferimento fornita da OCP)• Policy Autorization Point – PAP ( Implementazione open source di riferimento fornita da OCP)• Policy Enforcement Point – PEP ( Implementazione open source di riferimento fornita da OCP)

La security di OCP: SPID compliant

Schema architetturale

Attribute Authority (AA) VOMS-based

Caratteristiche AA

• compatibile con quanto riportato nella sezione “Regole tecniche per il gestore di attributi qualificati” della specifica SPID

• E’ una evoluzione di Virtual Organization Membership Service (VOMS) usato in ambito grid in centinaia di CED per l’autorizzazione distribuita e sviluppato nei progetti europei EGEE ed EMI

• La sicurezza dell’accesso al servizio è garantita dall’adozione dello standard TLS 1.2

Policy enforcement framework: PDP, PEP e PAP

Oggi: modello legacy web application con PEP inserito in ogni applicazione: difficile da gestire !

Basato sullo standard “eXtensible Access Control Markup Language v.2.0Farà leva sul know how acquisito da Almaviva, INFN e FIWARE

OCP: PEP come servizio WEBgenerale esterno alle applicazioni

Deliverables : quali e quando

COMPONENTI TEMPO

Piattaforma IaaS con tutti servizi in HA e MonitoringAvviata installazione nei testbed di Regione ToscanaEmilia Romagna e Toscana + …Umbria e Basilicata

Disponibile

Piattaforma PaaS con Orchestrator, Cloudify , Tecnologie

Disponibile as a Service e Monitoring multi-layer integratoInstallata a seguire nei testbed delle tre Regioni

Disponibile

Prototipo I con altre PaaS e Billing Luglio 2015 Open Data Engine (Prototipo I) Luglio 2015 Application Store (Prototipo I) Luglio 2015 Service Toolkit (Prototipo I) Luglio 2015 Citizen Marketplace (Prototipo I) Luglio 2015 Security (Prototipo I) Luglio 2015 Primo Porting Applicazioni Luglio 2015 Release finale dopo sperimentazione con PA Prototipi I Ottobre 2015