Marzo, 2016

Universidad Central de Venezuela

Escuela de Computación - Facultad de Ciencias

Introducción a Ciencia de los Datos

¿Qué se está haciendo en el mundo del Big Data

y hacia dónde vamos?...

Manuel Carrero Daniel Romero Jean Akchar

Data Science Team

Agenda

Salarios

Mejores empleadores

¿Panorama Actual?

Big Data Week Iniciativa

Ediciones anteriores

Big Data en Números

● Futbol y Big Data

● Fórmula 1 y Big Data

Deportes y Big

Data

● IBM WatsonRedes Sociales

10 Tendencias(2015-2016)

Un recorrido por 10 Tendencias

● Oportunidades

● Barreras

● Estado actual

Sector Financiero

● Contribuyentes

● BeneficiosSector Salud

● Sistema de Gestión Sector Educativo

Big Data y las

Naciones Unidas

● Cómo mejorar la calidad de vida

● 5 reglas para mejorar los

servicios públicos

Gobiernos y Big

Data

● Definición

● ¿Qué necesita pasar y

qué se necesita hacer?

Internet de las

Cosas (IoT)

Preguntas

4

Big Data en Números

5

La cantidad de datos generados en el planeta Tierra está creciendo de

manera exponencial

01010101010101011010101010101010101010101011010

1010101010101010101010101010101

1010101010110100

6

$8 millonesPromedio estimado empleado por los negocios durante 2015, para proyectos de

Big Data y relacionados, según ATKearney (consultora con oficinas en más de 40

países de América, Europa, Asia, Oriente Medio y África).

4.4 millonesPuestos de trabajo para la Tecnología de la Información (TI) estimados en 2012,

que serían creados en todo el mundo para el 2015, (1,9 millones solo en los

Estados Unidos) con el fin de apoyar las operaciones de Big Data, según Gartner

(compañía líder en TI a nivel mundial).

7

$48.6 mil millonesInversión estimada a finales del 2015, para el mercado del Big Data en el 2019,

según International Data Corporation (IDC, consultora y principal proveedor mundial

de inteligencia de mercado, con oficinas en más de 70 países en América Latina,

Oriente Medio y África, América Central y Europa del Este, Europa, Asia / Pacífico y

el U.S, incluyendo Venezuela).

$144 millonesInversión destinada para movilidad, cloud y Big Data en el 2015, de un total de

$455 millones para TI en España, según un informe de IDC, en donde además se

indica que de ser así, se pasará de representar el 25 % del gasto TI en 2015 a

cerca del 30% en 2019.

8

$13 mil millonesInversión de Big Data en América Latina estimada para 2014.

$820 millonesInversión estimada por parte de México y Brasil para 2014, quienes lideraban el

crecimiento de la inversión en la región.

Cifras suministradas por César Longa, Gerente de Programa de Software para IDC

Latinoamérica, en el marco del evento Big Data & Analytics de IDC 2014

9

¿Cuánto gana un Científico de Datos?

10

Salario promedio para un científico de datos

11Herramientas Utilizadas, Experiencia y Tipo de Compañía

$140.000Anuales en Estados

Unidos (2015)

€50-60.000Anuales en España, según

la Universitat Oberta de

Catalunya (2016)

$7-10.000Mensuales en América

Latina (México, Brasil,

Colombia, Ecuador),

según SAS (2015)

Promedios

¿Quiénes son los mejores empleadores de datos de hoy en día?

12

Top 10: Empleadores de datos y el número de puestos de trabajo de Big Data añadidos durante el último año

13A la fecha del 16 de Noviembre de 2015

¿Panorama actual?

14

15

16

Big Data Week

Big Data Week

17

Algunos Patrocinadores

Es una iniciativa creada por Stewart Townsend y Andrew Gregson en el 2011

como un modo de unir las comunidades de datos globales a través de una serie

de eventos y reuniones.

Big Data Week

18

Edición 2013

3.000 Participantes

Edición 2015

30.000 Participantes

Ciudades principales de este año: Londres, Barcelona y Madrid

19

10 Tendencias en Big Data (2015-2016)

Tendencias

20

Big Data + Cloud Computing

Big data está impulsando gran parte del

crecimiento de la nube: los ingresos de

los 50 principales proveedores de nube

públicos se dispararon un 47% en el

último trimestre del 2013 alcanzando

los $6,2 mil millones según

Technology Business Research.

1. Se consolida el

big data en la

nube

21

2. Los ETL se

vuelven

personales

22

23

2. Los ETL se vuelven personales: Alterys

24

2. Los ETL se vuelven personales: Alterys

25

2. Los ETL se vuelven personales: Trifacta y Paxata

26

2. Los ETL se vuelven personales: Trifacta y Paxata

3. ¿NoSQL o

NewSQL?

NewSQL: Sistemas de bases de datos

relacionales capaces de escalar de la

misma manera que un NoSQL pero

manteniendo las propiedades ACID de

sistemas tradicionales.

27

3. ¿NoSQL o NewSQL?

Context

SQL NoSQL NewSQL

Relational

SQL

Transacciones

ACID

Escalabilidad

Horizontal

Grandes

volúmenes de

datos

Sin Esquema28

¿Panorama

actual?

29

30

Bases de Datos No

Relacionales

Bases de Datos Relacionales

4. Hadoop: parte

de la nueva

norma en

almacenamiento

de datos

31

5. Spark:

evolución

tecnológica

32

Hadoop Map Reduce vs Spark

33

Hadoop vs Spark: Velocidad y Tiempo Real

34

Un programa en Spark se ejecuta

hasta 100 veces más rápido que

Hadoop en memoria y 10 veces

más rápido si el acceso es desde

disco.

Equivalentes en Hadoop

Hive Storm Mahout Giraph

Hadoop inicialmente estuvo orientado a procesos batchs. Spark permite trabajar tanto en

modo batch como en modo stream-tiempo real (Spark Streaming). Un mismo framework para

unificar 2 mundos.

Es un repositorio de almacenamiento

masivo que puede almacenar todo tipo de

datos en su formato nativo, hasta que se

necesite para el análisis de negocios o

minería de datos y además es relativamente

barato.

EMC Elastic

Cloud Storage

6. Data lakes

35

EMC Isilon

6. Data Lakes vs Dwh

36

Snowflake: proporciona la potencia de almacenamiento de

datos, la flexibilidad de las plataformas de Big Data y la

elasticidad de la nube a un costo más bajo que otros

almacenes de datos (ganador Strata + Hadoop 2015).

BigQuery: servicio de

análisis de datos

completamente gestionado

en la nube.

Almacenamiento ilimitado.

Análisis interactivo en

conjunto de datos de

múltiples terabytes.

7. El gran ecosistema

de datos comenzará a

cambiar de forma

37

Amazon RedShift:

plataforma de

almacenamiento de datos en

la nube más grande de

Amazon Web Services.

Capaz de manejar grandes

volúmenes de datos,

haciendo uso del

procesamiento paralelo

masivo (MPP).

Procesamiento Paralelo Masivo (MPP)

8. Más exigencia

del Tiempo Real

38

39

8. Más exigencia del Tiempo Real

9. La seguridad se

complementará

con Data Masking

40

“ Para el año 2017 la organización de

TI típica gastará hasta el 30% de su

presupuesto en riesgo, la seguridad y el

cumplimiento, y destinará el 10% de su

población a estas funciones de

seguridad. Eso es el triple de los

niveles de 2011.”Gartner Symposium/ITxpo (5 de Octubre de 2015), la

reunión más importante del mundo de los CIOs (director de

TI) y ejecutivos de alto nivel de TI .

9. La seguridad se complementará con Data Masking

41

● Usada por IBM

● Funciona con Hadoop, Spark

entre otros.

● Información de Identificación

Personal (PII siglas en inglés)

Ej: Nombre completo, dirección,

correo, código postal, pasaporte,

números de tarjeta de crédito, etc.

10. El Internet de las

cosas (IoT):

continuará creciendo

e impulsando

nuevas soluciones

de datos

42

“IoT será un mercado de $ 400 mil

millones para el año 2019. Cisco

ha dicho que será mucho más

grande, un mercado de $ 19 de

billones de dólares en una

década.”CEO de IBM, Ginni Rometty (25 de Febrero de 2016)

43

Internet de las Cosas (IoT)

Internet de las Cosas (IoT)

Definición

Es la interconexión de objetos, personas, ubicaciones y el Internet. Objetos

inanimados apoyados con Big Data se vuelven inteligentes y pueden ‘hablar’ entre sí y

al consumidor.

44

¿Qué necesita pasar primero?

45

Todos deben jugar bajo las reglas

Todas las cosas deberán volverse inteligentes

¿Qué se necesita hacer?

46

Mejorar la recolección y guardado de datos

Educar a los empleados

Grandes

posibilidades

47

Crecimiento exponencial de datos

48

49

Ver Video

https://www.youtube.com/watch?v=6AQMMx4OkjM&feature=youtu.be

50

Deportes y Big Data

Fútbol y Big

Data

51

Copa mundial

de Brasil

52

Fórmula 1

53

54

Redes Sociales

IBM Watson

56

Analiza data no estructurada

Entiende preguntas complejas

Presenta respuestas y soluciones

57

Gobiernos y Big Data

58

¿Cómo los poderes públicos pueden

utilizar la información para

mejorar la calidad de vida de los

ciudadanos?

5 Reglas para mejorar los servicios públicos

59

2. Utilizar

información no

estructurada

3. Centrarse en la

información

4. Servicios

Transparentes

5. Registros de

usuario

1. Conocer la

información que se

tiene

60

Big data y el sector financiero español

Oportunidades

61

Segmentación

de clientes

Fidelización

de clientesOmnicanalidad

Falta de

conocimiento

sobre Big

Data

Procesar

data no

estructurada

Falta de

presupuesto

Falta de

capacidad

tecnológica

Barreras

62

Estado Actual

63

64

Big data y el sector salud de Corea del Sur

Contribuyentes

65

Beneficios

66

Pacientes Industria médica

67

Big data y el sector educativo de Estados Unidos

Sistema de Gestión del Aprendizaje en Línea

68

69

Big data y las Naciones Unidas

Global Pulse: Big Data Climate Challenge 2014

70

Gracias!¿Alguna Pregunta...?

71

Marzo, 2016

Universidad Central de Venezuela

Escuela de Computación - Facultad de Ciencias

Introducción a Ciencia de los Datos

¿Qué se está haciendo en el mundo del Big Data

y hacia dónde vamos?...