Date post: | 14-Jan-2017 |
Category: |
Technology |
Upload: | ambiente-livre |
View: | 2,024 times |
Download: | 1 times |
Big Data & Analytics - Do MapReduce ao Dashboard com Hadoop e Pentaho.
Palestrante: Marcio Junior [email protected]
Marcio Junior Vieira
● 15 anos de experiência em informática, vivência em desenvolvimento e análise de sistemas de Gestão empresarial.
● Trabalhando com Software Livre desde 2000 com serviços de consultoria e treinamento.
● Graduado em Tecnologia em Informática(2004) e pós-graduado em Software Livre(2005) ambos pela UFPR.
● Palestrante em diversos Congressos relacionados a Software Livre tais como: CONISLI, SOLISC, FISL, LATINOWARE, SFD, JDBR, Campus Party, Pentaho Day.
● Organizador Geral do Pentaho Day 2015 e apoio nas edições 2013 e 2014.● Fundador da Ambiente Livre Tecnologia.● Instrutor de Big Data - Hadoop e Pentaho
Ecosistema da Ambiente Livre
Colaborações com Eventos
Big Data - Muito se fala...
2005 na apresentação do Papa Bento XVI
2013 na apresentação do Papa Francisco
Big Data
● É um novo conceito se consolidando.● Grande armazenamento de dados e maior
velocidade
Big Data
Os 4 V's
● Velocidade, Volume, Variedade e Valor
O momento é agora
Onde usar Big Data ?● Sistemas de
recomendação
● Redes Sociais
Onde usar Big Data ?
● Analise de Risco (Crédito, Seguros , Mercado Financeiro)
● Dados Espaciais ( Clima , Imagens, Trafego, Monitoramento)
● Energia Fotovoltaica(Medições , Estudos, Resultados )
Cases
Ferramentas
Software Livre
Muitos das melhores e mais conhecidas ferramentas de dados disponíveis são grandes projetos de código aberto. O mais conhecido deles é o Hadoop, o que está gerando toda uma indústria de serviços e produtos relacionados.
Hadoop
● O Apache Hadoop é um projeto de software open-source escrito em Java. Escalável, confiável e com processamento distribuído.
● Filesystem Distribuído● Inspirado Originalmente pelo GFS e MapReduce da Google
( Modelo de programação MapReduce)● Utiliza-se de Hardware Comum ( Commodity cluster computing )● Framework para computação distribuída● infraestrutura confiável capaz de lidar com falhas ( hardware,
software, rede )
Distribuições Hadoop
● Open Source Apache
● Comercial Open Source- Cloudera- HortonWorks- MapR- AWS MapReduce
Ecosistema - Hadoop
Fonte: http://hadoop.apache.org/docs/r1.2.1/hdfs_design.html
HDFS - Replicação
● Dados de entrada é copiado para HDFS é dividido em blocos e cada blocos de dados é replicado para várias máquinas
MapReduce
● É um modelo de programação desenhado para processar grandes volumes de dados em paralelo, dividindo o trabalho em um conjunto de tarefas independentes.
Programação Distribuída
MapReduceMap Reduce
Java MapReduce● package org.myorg;● 2. ● 3. import java.io.IOException;● 4. import java.util.*;● 5. ● 6. import org.apache.hadoop.fs.Path;● 7. import org.apache.hadoop.conf.*;● 8. import org.apache.hadoop.io.*;● 9. import org.apache.hadoop.mapred.*;● 10. import org.apache.hadoop.util.*;● 11. ● 12. public class WordCount {● 13. ● 14. public static class Map extends MapReduceBase implements Mapper<LongWritable, Text, Text, IntWritable> {● 15. private final static IntWritable one = new IntWritable(1);● 16. private Text word = new Text();● 17. ● 18. public void map(LongWritable key, Text value, OutputCollector<Text, IntWritable> output, Reporter reporter) throws
IOException {
Business Analitycs
● É a prática interativa de exploração, metódica de dados de uma organização com ênfase na análise estatística
● Obter conhecimento e conduzir o planejamento de negócios● Em contraste, ao BI centra-se em usar um conjunto
consistente de métricas para ambas medida do planejamento de desempenho passado.
● Intimamente relacionada com a Ciência da Administração● Pode ser usado como entrada para as decisões humanas
ou tomar decisões totalmente automatizados
Tomada de Decisão
● 1 em cada 3 gestores tomam decisão com base em informações que não confiam ou não tem
● 56% sentem sobrecarregados com a quantidade de dados que gerenciam
● 60% acreditam que precisam melhorar captura e entender informações rapidamente.
● 83% apontam que BI & analytics fazem parte de seus planos para aumentar a competitividade
fonte : Survey KPMG.
● Solução de Business Intelligence e Business Analytics Open Source.
● Community Edition● Solução completa com ETL, Reporting, Data
Mining, Analise Preditiva, OLAP, Dashbards e Big Data Analytics.
Pentaho● É uma plataforma abrangente para integração
de dados e Business Analytics.
Comunidade Brasileira
Comunidade Brasileira● Maior comunidade do Mundo!● Lista de Discussão com + de 1700 membros● Organiza a 5 anos o Pentaho Day Brasil● Composta por desenvolvedores, usuários , empresas e
acadêmia.● Utilizado em mais de 185 países.● +10.000 Produtos desenvolvidos sobre a plataforma Pentaho. ● + 4 milhões de Downloads● Em 2015 +- 60.000 downloads dia
Pentaho Orquestrando Hadoop
Modelo tradicional de Uso
Fluxo Big Data
Pentaho Data Integration
● Ferramenta Completa de ETL● “Programação e Fluxo Visual”● Aproximadamente 350 steps diferentes
Pentaho Report Designer
Mondrian OLAP + Saiku Analytics
Pentaho Data Mining
● Solução completa para Machine Learning
Ctools - Dashboards
● CTools – Tem um conjunto de Ferramentas para Desenvolvimento de Dashboars
CDE ( Ctools )
● Editor de Dashboards
CTools Dashboards
Exemplo Big Data em D3.js
Data Lake
O Profissional“data scientist”
Novo profissional: Cientista de Dados
Competências
● Fonte http://www.datascientist.com.br/Artigo.aspx?ID=Competencia_de_um_cientista_de_dados_um_breve_exemplo_de_uma_analise_de_redes
Empresa Usando Hadoop
● Amazon● Facebook● Google● IBM● Yahoo● Linkedin
● Joost● Last.fm● New York Times● PowerSet● Veoh● Twitter● Ebay
Tendências
TendênciasCitizen Data Scientist
Principais desafios
● O Big Data não envolve só mudança de tecnologia, envolve adaptação de processos e treinamento relacionado à mudança de gestão e analise de dados ( MERITALK BIG DATA EXCHANGE, 2013)
● A maioria dos lideres não seba lidar com essa grande variedade e quantidade de informações, e não tem conhecimento dos benefícios que uma analise bem feita destas dados poderia trazer ao seu negocio( COMPUTERWORLD, 2012)
● Falta da cultura: a maioria das empresas não fazem um bom trabalho com as informações que já tem.
● Desafios dos Os 5 V !● Privacidade, A identidade do usuário, mesmo preservada pode ser
buscada... ( Marco Civil da Internet )
Recomendações
● Comece com o problema , e não com os dados
● Compartilhe dados para receber dados● Suporte gerencial e executivo● Orçamento suficiente● Melhores parceiros e fornecedores
Big Data
● “Big Data hoje é o que era a Linux em 1991.
● Sabemos que será algo revolucionário, mas não sabemos o quanto...”
Contatos
● e-mail: ● marcio @ ambientelivre.com.br ● http://twitter.com/ambientelivre● @ambientelivre● @marciojvieira● Blog
blogs.ambientelivre.com.br/marcio● Facebook/ambientelivre