SPARK - RDD“Resilient Distributed Datasets: A Fault-Tolerant Abstraction for In-Memory Cluster Computing”

Carmen Alonso MartínezManuel Bazaga FortesJavier de la Rosa FernándezAlexandra Conde HernoDanilo Alencar

SPARK

● Introducción● RDD’s● Interfaz de programación● Representación de los RDD’s● Implementación● Evaluación● Comentarios y trabajo actual● Conclusión

Introducción

Framework especializado para computación iterativa y minería de datos interactiva.

¿Reutilizar resultados intermedios para varios cálculos?

-Queremos crear subconjuntos de datos y realizar varias ‘queries’ sobre ellosRETO: tolerancia a fallos

RDD - Definición

Colección particionada de datos de sólo lectura.Se crean a partir de operaciones deterministas sobre:● Almacenamiento estable● Otros RDDsPermiten a los usuarios elegir la estrategia de almacenamiento.

Interfaz de programación Spark

Cada colección de datos se representa como un objeto, y las transformaciones se invocan utilizando métodos sobre estos objetos.

Los RDDs son calculados la primera vez que se ejecuta una acción sobre ellos.

Si no hay suficiente RAM, Spark puede pasar los RDDs a disco.

Ejemplo - Console log mining

lines = spark.textFile("hdfs://...")errors = lines.filter(_.startsWith("ERROR"))errors.persist()errors.count()

errors.filter(_.contains("MySQL")).count()errors.filter(_.contains("HDFS")) .map(_.split(’\t’)(3)) .collect()

Ventajas del modelo RDD

Diferencia RDDs vs DSM:RDD-transf. de granularidad gruesaDSM-permiten R/W de granularidad fina

● Recuperación: linaje● Mitigación de nodos lentos● Programación de tareas● Degradación gradual cuando falta memoria

Aplicaciones no adecuadas para RDDs

Actualizaciones asíncronas de granularidad finaie: web crawler, almacenamiento para aplicaciones web

Misma operación a todos los elementos del datasetAnálisis masivos

SPARK

● Introducción● RDD’s● Interfaz de programación● Representación de los RDD’s● Implementación● Evaluación● Comentarios y trabajo actual● Conclusión

Spark Programming Interface

● Spark proporciona una API similar a DryadLINQ y a Flume.

● Los programadores definen los RDD a través de transformaciones o de datos de almacenamiento estables.

● A estos RDDs se les aplican accioneso Acciones: operaciones que devuelven un valor a la

aplicación o exportan datos al sistema de almacenamiento.

Spark Programming Interface

Spark maneja los RDD de forma perezosa, una transformación no se realiza hasta que una acción no se ejecuta por primera vez.Mediante el método persist se puede indicar a Spark que datos serán reusadosSpark permite almacenar también en disco los RDD en lugar de en memoria (por defecto).

También se puede establecer prioridades de persistencia

Ejemplo de aplicaciones

Logistic Regression

Al aplicar el algoritmo al mismo conjunto de datos y estar estos datos en memoria puede aumentar la velocidad 20x.

Ejemplo de aplicaciones

PageRank

SPARK

● Introducción● RDD’s● Interfaz de programación● Representación de los RDD’s● Implementación● Evaluación● Comentarios y trabajo actual● Conclusión

Representando RDDs

Cada interfaz RDD expone: ● Un conjunto de particiones, que son piezas

atómicas de la base de datos.● Un conjunto de dependencias de los padres RDDs; ● Una función para calcular el conjunto de datos en

función de sus padres.● Metadatos sobre su esquema de partición y la

colocación de los datos.

Representando RDDs

Existen dos tipos de dependencias RDD: ● Dependencias estrechas, donde cada partición de

la matriz RDD es utilizada como máximo por una particion hija.

● Dependencias anchas, donde múltiples particiones secundarias pueden depender de ella.

Representando RDDs

Dependencias estrechas vs anchas

● EstrechasPermite la ejecución en Pipeline y calcula todas las particiones del padre (segmentar).Recuperación tras fallo más

eficienteEj: map

● AnchasRequieren que los datos de todas las particiones de los padres estén disponibles.Podría requerir una re-ejecución

Ej: join

Algunas implementaciones RDD

● HDFS: Una posible entrada RDD podría ser un HDFS. Devuelve una partición por bloque de fichero.

● Map: Devuelve un objeto MappedRDD con las mismas particiones y preferencias de localización que su padre.

● Union: La función unión aplicada a dos RDD devuelve un RDD cuya particiones son la unión de los dos padres.

Algunas implementaciones RDD

● sample: Función similar a la función map. El RDD guarda un número aleatorio generado por una semilla para cada partición.

● join: La unión de dos RDD puede conducir a:o Dos dependencias estrechaso Dos dependencias anchaso Combinación de ambasPero en cualquier caso la salida es un RDD.

SPARK

● Introducción● RDD’s● Interfaz de programación● Representación de los RDD’s● Implementación● Evaluación● Comentarios y trabajo actual● Conclusión

Implementación

- Implementan Spark en 14000 líneas de Scala- El sistema se ejecuta sobre el administrador de Cluster Mestos

permitiendo compartir recursos con Hadoop, MPI y otras aplicaciones

- Cada programa de Spark funciona con una aplicación separada de Mesos, con su propio driver y workers y recursos comparti- dos entre estas aplicaciones que está manejada por Mesos

- Spark puede leer cualquier datos de entrada de Hadoop usando APIs del propio Hadoop y ejecutar una versión de Scala sin cambios

Planificación de Tareas

Usa representación de RDDs, es similar al Dryads pero añade cuales particiones persistentes están disponibles en memoria.

Si el usuario ejecuta una acción (count o save) en el RDD, el planificador examina cual línea gráfica del RDD para construir el DAG de stages para ser ejecutado

Planificación de Tareas

El planificador:● Ejecuta las tareas de particiones faltosas para cada stage hasta que

esté computada con el objetivo de RDD

● Asigna tarea para cada máquina basada en los datos locales usando un delay, es decir, si la tarea necesita que la partición sea procesada en la memoria disponible en un nodo, enviaremos para este nodo, de lo contrario, si una tarea procesa una partición para algún RDD que proporcione ubicaciones preferidas (ej.: un archivo de HDFS), nosotros le enviamos a este.

Integración Intérprete

- Shell interactivo similares al de Ruby y Python- Usuarios ejecutarán Spark interactivamente desde el intérprete para

consultar grandes conjuntos de datos- El intérprete opera compilando la clase para cada línea tecleada por el

usuario, cargando en el JVM e invocando una función a él- Esta clase incluye un objeto semifallo que contiene las variables o

funciones en esta línea e que ejecuta el código de línea en el método de inicialización.

Integración IntérpreteUsuario teclea var x = 5 println (x) y el intérprete define Class Line1 que contiene x y causa que la segunda línea compile como println(Line1.getInstance().x)1- Envío de Clase – deja que los nodos worker traigan el bytecode para las clases creadas en la cada línea usando HTTP.2- Generación de código modificado - como el objeto creado de semifallo se accede por método estático en su clase correspondiente, Java no se traza a través del gráfico de objeto para enviar la instancia la Línea 1 envolver alrededor del x. Pero los nodos workers tampoco recibirán la x. Cambiamos que el código lógico referencie la instancia para cada línea de objeto directamente.

Administración de memoria

Provee 3 opciones para almacenamiento persistentes de RDDs:

- En memoria como objeto Java deserializados - En memoria como datos deserializados - Almacenamiento en disco

Soporte para Checkpointing

- Es útil para estabilizar el almacenamiento- Es útil para RDD tenga linaje de grafos de

dependencias anchas como los datasets de PageRank- Spark provee API para este Soporte de Checkpointing

pero deja la decisión de soporte para el usuario.

SPARK

● Introducción● RDD’s● Interfaz de programación● Representación de los RDD’s● Implementación● Evaluación● Comentarios y trabajo actual● Conclusión

Evaluación

● Se realizan una serie de experimentos para evaluar Spark y los RDD,:○ velocidad con respecto a otros sistemas (Hadoop y HadoopBM)○ evaluación de la escalabilidad○ tolerancia a fallos

● Amazon EC2:○ Máquinas xlarge con 4 cores y 15 GB de RAM ○ Hemos usado HDFS con 256 MB de tamaño bloque

Aplicaciones iterativas de Machine Learning

Sistemas:● Hadoop 0.20.2 ( ahora

va por el 2.60)● HadoopBinMem● Spark

Datos:● 100 GB de datos● Cluster de 100 nodos

Mejora de 20x

Ejemplo - Pagerank

Datos:● 54 GB de Wikipedia● 10 iteraciones ● 4 millones de artículos

Sistemas:● Hadoop● Spark● Spark + Particiones

Controladas

Mejora de 7.4 X

Recuperación de Fallos

Datos:● K-menas● 75 nodos ● 100 GB datos

Comportamiento con Memoria Insuficiente

Datos:● 100GB de datos● 25 nodos● Regresión Lógica

Otras aplicaciones implementadas en Spark

Traffic Modeling:● 10000 link● 600000 ejemplos de tramos de

viajeSpam en Twitter:

● 50GB datos● 250000 URLs

Ejemplo - Minería de Datos

Datos:● 1TB de logs de Wikipedia ● 2 años de datos)● 100 4xlarge instancias EC2● 8 cores y 68GB de RAM

Evaluación - conclusiones

● Spark llega a ser hasta 20x en aplicaciones de Machine Learning Iterativas.

● Aplicaciones de usuarios (video, tráfico,...) llegan a ser 40x más rápidas que con Hadoop.

● Si un nodo falla, Spark puede recuperarse rápidamente reconstruyendo sólo los RDDs perdidos.

● Spark puede ser usado para hacer consultas a un conjunto de datos de 1TB con una latencia de unos 5-7 segundos.

SPARK

● Introducción● RDD’s● Interfaz de programación● Representación de los RDD’s● Implementación● Evaluación● Comentarios y trabajo actual● Conclusión

Discusión

Aunque las RDDs parecen ofrecer una interfaz de programación limitada debido a su naturaleza inmutable y transformaciones de granularidad gruesa, hemos encontrado que son adecuadas para una amplia clase de aplicaciones.

Pueden expresar un sorprendente número de modelos de programación de clúster que hasta el momento se han propuesto como frameworks separados, lo que permite a los usuarios componer estos modelos en un programa y compartir datos entre ellos.

Expresando Modelos Existentes

● MapReduce● DryadLINQ SQL.● Pregel.● MapReduce iterativo.● Procesamiento de flujo por lotes.

Aprovechamiento para la depuración

Diseño determinista recomputable para tolerancia a fallos, esta propiedad también facilita la depuración:

1. Reconstruir estos RDD después y permitir al usuario consultar de forma interactiva.

2. Volver a ejecutar cualquier tarea desde el trabajo en un depurador de un solo proceso

Trabajo Relacionado

Modelos de Programación de clúster

● A diferencia de MapReduce, Dryad y Ciel representa un intercambio más eficiente de la abstracción de datos que el almacenamiento estable porque evitan el costo de replicación de datos, I/O y serialization.

● DryadLINQ y FlumeJava proporcionan un API de lenguaje integrado donde el usuario manipula "colecciones paralelas" a través de operadores como map y join, no pueden compartir eficientemente datos a través de consultas.

Trabajo Relacionado

● Aplicaciones que requieren el intercambio de datos, Pregel es compatible con aplicaciones de gráficos iterativos, mientras que en Twister y HaLoop son los tiempos de ejecución de MapReduce iterativos. RDDs proporcionan una abstracción de almacenamiento distribuido de forma explícita y por lo tanto pueden soportar aplicaciones que estos sistemas especializados no capturan, como la minería de datos interactiva

Trabajo Relacionado

● Algunos sistemas exponen un estado mutable compartido para permitir al usuario realizar la computación en memoria. Por ejemplo, Piccolo permite a los usuarios ejecutar funciones paralelas que leen y actualizan celdas en una tabla hash distribuida, similar a los sistemas Distribuidos de Memoria Compartida (DSM) y las stores de clave valor como RAMCloud. RDDs proporcionan una interfaz de programación de alto nivel basado en operadores como map, sort y join. Y recuperación de datos basados en linaje(Piccolo y DSM). también proporcionan otras ventajas sobre DSM, como la mitigación rezagada

Trabajo Relacionado

Sistemas de almacenamiento en caché

● Nectar puede reutilizar los resultados intermedios a través de trabajos DryadLINQ identificando sub expresiones comunes con el análisis del programa. No proporciona el almacenamiento en memoria caché (se coloca los datos en una sistema de datos distribuido), ni permite a los usuarios controlar de forma explícita qué conjuntos de datos para persistir y cómo particionarlos

● Ciel y FlumeJava no proporcionan control sobre lo que se almacena en memoria caché o que datos son cacheados.

Trabajo Relacionado

Linaje

● El mecanismo de recuperación basado en el linaje es similar al mecanismo de recuperación que se utiliza dentro de un cómputo (Job) en MapReduce y Dryad, que registra las dependencias entre un DAG de tareas. en estos sistemas, la información se pierde después que termina un trabajo, lo que requiere el uso de un sistema de almacenamiento replicado para compartir datos a través de cálculos. RDD aplican linaje para persistir en la memoria los datos eficientemente a través de cálculos, sin costo de replicación e I/O de disco.

Trabajo Relacionado

Bases de datos relacionales

● RDD persistentes asemejan vistas materializadas. Sin embargo, al igual que los sistemas de DSM, las bases de datos suelen permitir acceso de grano-fino de lectura y escritura a todos los registros, lo que requiere el registro de las operaciones y datos para la tolerancia a fallos y la sobrecarga adicional para mantener la consistencia. Estos gastos no son necesarios con el modelo de transformación de grano grueso de RDD

SPARK

● Introducción● RDD’s● Interfaz de programación● Representación de los RDD’s● Implementación● Evaluación● Comentarios y trabajo actual● Conclusión

Conclusión

● Son eficientes, de uso general y con tolerancia a fallos para el intercambio de datos en las aplicaciones del clúster.

● RDD puede expresar una amplia gama de aplicaciones paralelas (modelos de programación especializados que se han propuesto para el cálculo iterativo)

● RDD ofrecen una API basada en las transformaciones de granuralidad gruesa que les permite recuperar datos eficientemente usando linaje.

● Implementaron RDD en Spark que supera a Hadoop hasta en un 20 × y se puede utilizar de forma interactiva para consultar cientos de gigabytes de datos.