Big Data
Ik zie, ik zie wat jij niet ziet…
22 april 2014
Technology Update
Big Data Visualisatie
Oscar Wijsman [email protected] @oscarwijsman AlmereDataCapital.nl BDVC.nl @bdvcalmere @Datacapital
Big Data in de Gartner hype cycle
Big Data
Big – Bigger – Biggest Data?
• Gartner: “We have reached the point that collecting and storing data is cheaper than throwing it away”
De klassieke 3 V’s van Doug Laney (2001)
Volume
Velocity
Variety
En 3 S voor de infrastructuur (HP, 2011)
Scale
Speed
Sources
3 Primaire Big Data bronnen
Human
Software
Things
Voorbeelden bronnen
• Elk bedrijf en instelling verzamelt data
• De overheid verzamelt allerhande data
• Geavanceerde telescopen, smart infra
• Research data, zorgdata
• Sociaal Media
• Online data
• Sensors – Internet of Things
• Mobile Smart Devices vindt je overal
• Iedereen verzamelt data…
Big Data in alle vormen
• Ruwe data vs. bewerkte (“schone”) data
• Bronnen: zowel interne als externe (open) datasets
• Data kan veel structuur hebben of in het geheel niet
• Oude data of real-time
• Data kan incompleet zijn
• Altijd één of meer van de 3 V’s
• Betrouwbaarheid kan sterk variëren
Van wie is al die Big Data?
• Beheer en eigendom van data
• Wet en regelgeving – ook Europese wetgeving
• Doelbinding versus algemeen gebruik
• Ruwe data versus bewerkte data
• Hoe persoonlijk is data uit een machine?
• Privacy: Governance van data of consent op gebruik?
Big Data en Open Data
Open Data
Structuur
Big Data
Geen Structuur
Big Data & Analytics
”Predicting events is difficult,
especially when it’s about the future”
A.J.P. Taylor, historian (1909 – 1990)
Predictive analytics – Algoritme intuïtie?
Big Data Analytics
• Diversiteit aan nieuwe tools + eigengemaakte algoritmes
• Specifieke strategie, mindset en vaardigheden Data Scientist
• Zoeken naar verborgen patronen – data mining
• Zowel correlaties als causaal of semantisch verband
• Nieuwe of verbeterde inzichten
• Besluitvorming op basis feiten i.p.v. gevoel / aannames
• Vaak visualisatie nodig: beeld krijgen – c.q. het uit te leggen
Mythes over Big Data
• Big Data is nieuw
• Big Data is alleen voor Social Media en sentiment analyse
• Big Data is een hype en gaat wel weer over
• Big Data is altijd veel data
• Big Data betekent Hadoop gebruiken
• Big Data is alleen ongestructureerde data
• Big Data en NoSQL betekent No SQL
• Big Data kun je alleen maar visualiseren
• Big Data is slechts een ICT issue
De toekomstige Business met Big Data
Voorbeelden van meerwaarde van Big Data
• Betere besluitvorming
• Kostenbesparing
• Nieuwe en snellere inzichten
• Nieuwe producten, diensten en business modellen
• Cijfers in plaats van onderbuik gevoel
• Combinaties maken die eerder niet mogelijk waren
• Beter onderzoek
Stappenplan
• Bepaal het doel – wat wil je bereiken / afbakening
• Wat wil je aan data gebruiken – wat is je omgeving
• Ideevorming
• Provable concept
• Proof of concept
• Pilot in beschermde omgeving
• Naar productie
Data / Omgeving
Doel
Idee
Provable
Concept
Proof of Concept
Pilot
Productie
Big Data Value Center
• Creëer een Big Data Ecosysteem
• Doel: meer waarde met data
• Toegepaste ‘Big Data Factory’ aanpak
• Help Big Data (start-up) MKB
• Onafhankelijk, pre-competitief & open innovatie
• Leren, experimenteren, realiseren
• Haal waarde uit crossovers
LEARN
MATCH
DO
Vragen?
Wat moet de Mediasector met Big Data?
Advisering & Opleiding Strategie &
Transformatie
Inzicht & Analyse
Platforms &
Infrastructuur
Big Data Competenties
Advisering & Opleiding
• Awareness & advocating
• Business kansen
• Ideevorming
• Assessments
• Training
• Provable Concept
• Proof of Concept
Strategie & Transformatie
• Strategie
• Architectuur
• Roadmap
• Nieuwe business modellen
• Mindshift binnen de organisatie
• Verandermanagement –organisatorische impact
Inzicht & Analyse
• Big Data Analytics – Advanced BI
• Big Data patronen
• Machine learning / algoritmes
• Causaal verband - > Correlaties
• Visualisaties
• Rol van de Data Scientist
Platforms & Infrastructuur
• Implementaties nieuwe technologie (Hadoop, Spark, Hive etc.)
• Integratie van data
• Koppelingen – intern & extern
• Deployment nieuwe tools en vormen van data-opslag
• Data crunching
• Hosting / cloud oplossingen
• File systems
• Streaming van data