Dell - Internal Use - Confidential2
BigData: Arquitecturas dereferencia y buenas prácticas(Lessons Learned)
Ponente: José Alberto Martínez
Dell - Internal Use - Conf idential3
Agenda
• Dos modelos de big data
• Prácticas no recomendadas
• Buenas prácticas, elastic Big Data
• ¿Y por dónde empiezo?
Dell - Internal Use - Conf idential4
Dos modelos de big data
Análisis Exploratorio
• Data set completo – batch
• Explorar, probar, afinar, repetir
• La salida de datos es unalgoritmo que será integrado enlas nuevas aplicaciones o enlas existentes.
Operacionalización
• Data set limitado – streaming
• El algoritmo se integra enaplicaciones que conducen adecisiones de negocio
Dell - Internal Use - Conf idential
Demasiados HadoopRecursos Humanos Finanzas Marketing Desarrollo
Silos
Mi Tesoro…
Dell - Internal Use - Conf idential
Demasiado “Governance”
STOP
Políticas de Acceso y Anonimización¿Big data?
Dell - Internal Use - Conf idential
Data Scientist
Power User Explora
los datos
Ingesta nuevos datos Desarrolla Scripts
desde la consola de comandos
me:~>_
Analista de negocio
Lite User
Sabelo que
se necesita
Hace Queriessobre los datos
Usa herramientas
Gráficas
CONTINUUM
Dell - Internal Use - Conf idential
HadoopSparkTableauPython
CATÁLOGO DEHERRAMIENTAS
ClientesAlertasFacturasSocial
CATÁLOGODE DATOS
Duración
RendimientoAlto Bajo
Normal
Meta Data
Chargeback Engine
Portal de peticiones de Analytics
NONSampleData
SampleData
Dell - Internal Use - Conf idential
Data Lake
Discover/MapTransform
Organize/Tag
CATALOG AND PROVISIONSTREAM
CEP
ENTERPRISE LOG ANALYSIS
Applications Statistical Modeling/NLP Search/Index Exploration BI
Data Warehouse
Hadoop SQL
Virtualization
Dell - Internal Use - Conf idential
Meta Data
ETL
Batch/Stream Ingest
Master Data (Read-Only)
Data Pool
Met
a-da
ta T
aggi
ng
GovernanceAnonymiseEncryptionPooln
Pooln
Pooln
Copy
Dell - Internal Use - Conf idential20
Servicio de consultoría de Big Data
Desarrollo deAplicaciones
Analytics
ModeladoEstadístico/
Natural LanguageProcessing/
Machine Learning
Exploración/Visualización
de datos
Búsqueda/IndexadoEnterprise
BusinessIntelligence
Data Warehousing
Transformación dedatos
Descubrir datos
Data Tagging /Gestión deMetadatos
Hadoop / SQL enHadoop
Análisis Enterprisede logs
Ingestión de datos
• Desarrolla una arquitectura y un plan para implementar capacidades Big Data
• Repaso de objetivos de alto nivel deBig Data
• Identificar capacidades y retos deBig Data
• Auditoría del estado actual delentorno de IT
• Determinar arquitecturas, procesosy perfiles necesarios para el estadofuturo
• Análisis de “gaps”
• Desarrollo de un roadmap y un planpara llegar al estado futuro