Deep Learning meets Big Data

Juliano Viana - CTOZunnit Technologies

AgendaO que é Deep Learning?

Redes Neuronais

Deep Learning

…meets Big Data

Conclusão

2

Deep Learning?

Fonte: “Delving Deep into Rectifiers:Surpassing Human-Level Performance on ImageNet Classification" Microsoft Research http://arxiv.org/pdf/1502.01852v1.pdf

Interpretação de Imagens

4

Fonte: “Delving Deep into Rectifiers:Surpassing Human-Level Performance on ImageNet Classification" Microsoft Research http://arxiv.org/pdf/1502.01852v1.pdf

Reconhecimento de Objetos em Tempo

Real5

Fonte: http://deeplearning.cs.toronto.edu/i2t

Descrição(!!) de Imagens

6

Fonte: http://deeplearning.cs.toronto.edu/i2t

Aprendizado dinâmico7

Deep Learning e Redes Neuronais Artificiais

Input layer

Hidden layer

Output layer

Redes Neuronais9

Input layer

Hidden layer

Output layer

Idade

Gênero

Localidade

Preço do Produto

Hora do dia

Fraude?

inputs weights

transfer activation

i1 w1

i2 w2

... w3

iN w4

Bias w5

Σ φ Output

Neurônios10

Input layer

Hidden layer

Output layer

Redes Neuronais: Treinamento

11

Y

Error Function

dE/dY

dE/dW

Feature 1 Feature 2 Feature 3 Feature 4 Feature 5 Label ( )

Input layer

Hidden layer 1 Hidden layer 2 Hidden layer 3 Hidden layer 4

Output layer

O que uma rede neuronal aprende?

12

Linhas Cores

Gradientes

Listras Texturas

Contornos

Olhos Boca

Orelhas

Felinos Primatas Répteis

(c) Koshy Koshy/Flickr

Tigre

O que uma rede neuronal aprende?

13

Source: “Intriguing properties of neural networks” http://arxiv.org/pdf/1312.6199v4.pdf

Deep Learning

1943 1975

Treshold Logic

Restricted Boltzmann Machines

20002006

15

Deep Learning: Histórico1958

Perceptrons Backpropagation

1980

Primeiras redes “Deep”1990

“Dark Age” “Dark Age”2007

Autoencoders

2015

Enormes Avanços em diversas áreas: reconhecimento de voz, tradução automática, reconhecimento de imagens, processamento de linguagem…

• Não se sabia como treinar redes neuronais com uma profundidade muito grande (>3 camadas)

• A quantidade de dados disponíveis para treino era relativamente pequena

• O baixo poder de processamento do hardware impedia o treinamento de modelos muito complexos

O que havia de errado com as Redes

Neuronais?

16

Unsupervised Learning

17

TrainPre-train

Finetune

DataData

Data

Pré-treinamento18

Input layer

Hidden layer

Output layer

Input layer

Hidden layer

Output layer

Exemplo: Reconhecimento de Escrita

19

Input Layer

NL LayerLinear Layer

NL Layer

Output Layer

78450250

784

Exemplo: Reconhecimento de Escrita

20

Demo

… meets Big Data

22

Big Data

Volume Complexidade

23

The Curse of Dimensionality

24

The Curse of Dimensionality

Volume

25

The Curse of Dimensionality

Volume

26

Reduzindo dimensionalidae

• 10 dimensões • 90000 instâncias

Vetorização Autoencoder

(treinamento)Autoencoder

(redução) Clusterização

Conclusões (precipitadas?)

Para conhecer ou usar

https://www.coursera.org/course/neuralnetsNeural Networks for Machine Learning

28

http://deeplearning4j.org/DeepLearning4J

http://torch.ch/Torch

http://www.zunnit.com

www.vizualus.com // +385 2132 231

@jjviana zunnit.com

#QCONBIGDATA