IBM RESEARCH BRASIL

MATHEUS VIANA

DEEP LEARNINGANÁLISE DE IMAGENS COM

ANÁLISE DE IMAGENS COM DEEP LEARNING - MATHEUS VIANA

IBM RESEARCH NO MUNDO

ANÁLISE DE IMAGENS COM DEEP LEARNING - MATHEUS VIANA

IBM RESEARCH NO MUNDOCIÊNCIA DO

COMPORTAMENTO QUÍMICACIÊNCIA DA

COMPUTAÇÃOENGENHARIA

ELÉTRICA

CIÊNCIA DOS MATERIAIS MATEMÁTICA FÍSICA

BIOLOGIA COMPUTACIONAL

ANÁLISE DE IMAGENS COM DEEP LEARNING - MATHEUS VIANA

IBM RESEARCH NO BRASILVISUAL ANALYTICS AND

COMPREHENSIONINDUSTRIAL TECHNOLOGIES

NATURAL RESOURCES SOCIAL DATA ANALYTICS

ANÁLISE DE IMAGENS COM DEEP LEARNING - MATHEUS VIANA

ROADMAP

▸ Redes neuronais

▸ Transição para deep learning

▸ Aplicação 1: encoder-decoder

▸ Aplicação 2: rede residual

▸ Aplicação 3: VGG

▸ Conclusões

ANÁLISE DE IMAGENS COM DEEP LEARNING - MATHEUS VIANA

NÃO VOU FALAR SOBRE

▸ Memória associativa

▸ Modelos de spin em redes neuronais

▸ Máquinas de Boltzman

ANÁLISE DE IMAGENS COM DEEP LEARNING - MATHEUS VIANA

1958 - PERCEPTRON DE ROSENBLATT

Frank Rosenblatt (right) and Charles W. Wightman (left)

f (x) = �

X

i

wixi

!

f (x)

x1

x2

x3

padrões linearmente separáveis

ANÁLISE DE IMAGENS COM DEEP LEARNING - MATHEUS VIANA

1958 - PERCEPTRON DE ROSENBLATT

Frank Rosenblatt (right) and Charles W. Wightman (left)

f (x) = �

X

i

wixi

!

f (x)

x1

x2

x3

padrões linearmente separáveis

AND XOR

ANÁLISE DE IMAGENS COM DEEP LEARNING - MATHEUS VIANA

1972 - MULTILAYER PERCEPTRON

MLPs com uma única camada podem aproximar qualquer função booleana

MLPs com duas camadas podem aproximar qualquer função com precisão arbitrária

COMO ENCONTRAR OS VALORES ?wi

ANÁLISE DE IMAGENS COM DEEP LEARNING - MATHEUS VIANA

1974 - PAUL WERBOS E O BACKPROPAGATIONO método de backpropagation era conhecido desde 1960 em áreas como teoria de controle e programação dinâmica.

Paul Werbos sugeriu o uso de backpropagation em redes neuronais

Senso comum: método utilizado para treinar redes neuronais

Método para atualização dos pesos da rede que trabalha em conjunto com um algoritmo de optimização.

(j, `� 1)wi,j,`

(i, `)

x

y

ANÁLISE DE IMAGENS COM DEEP LEARNING - MATHEUS VIANA

1974 - PAUL WERBOS E O BACKPROPAGATION

�(z) =1

1 + e�z

@z� = � (1� �)Oi,` = � (Ii,`)

Ii,` =X

j

wi,j,`Oj,`�1 E = 12

X

s

||y⇤s � ys||2

ANÁLISE DE IMAGENS COM DEEP LEARNING - MATHEUS VIANA

1974 - PAUL WERBOS E O BACKPROPAGATION

E

w1,1,2w1,2,2

�rE

wt+1 = wt � ↵rE

rE =X

i,j,`

@E@wi,j,`

ŵi,j,`

wi,j,`

(i, `)

Oi,`

@E@wi,j,`

=@E

@Oi,`@Oi,`@wi,j,`

Oi,` = � (Ii,`)@E@wi,j,` =@E

@Oi,`@Oi,`@Ii,`

@Ii,`@wi,j,`

ANÁLISE DE IMAGENS COM DEEP LEARNING - MATHEUS VIANA

1974 - PAUL WERBOS E O BACKPROPAGATION

E

w1,1,2w1,2,2

�rE

@E@wi,j,`

=@E

@Oi,`@Oi,`@Ii,`

@Ii,`@wi,j,`

Ii,` =X

j

wi,j,`Oj,`�1

Oj,`�1

Oi,` = � (Ii,`)Ii,` (1� Ii,`)

@E@wi,j,`

= Oj,`�1Ii,` (1� Ii,`) @E@Oi,`

ANÁLISE DE IMAGENS COM DEEP LEARNING - MATHEUS VIANA

1974 - PAUL WERBOS E O BACKPROPAGATION

E

w1,1,2w1,2,2

�rE

@E@wi,j,`

= Oj,`�1Ii,` (1� Ii,`) @E@Oi,`

@E@Oi,` =

X

j

@E@Ij,`+1

@Ij,`+1@Oi,`

(i, `)

Oi,` (m, `+ 1)

(n, `+ 1)

@E@Oi,` =

X

j

@E@Ij,`+1wj,i,`+1

ANÁLISE DE IMAGENS COM DEEP LEARNING - MATHEUS VIANA

1974 - PAUL WERBOS E O BACKPROPAGATION

E

w1,1,2w1,2,2

�rE

@E@Oi,` =

X

j

@E@Ij,`+1wj,i,`+1

@E@Oi,` =

X

j

@E@Oj,`+1

@Oj,`+1@Ij,`+1 wj,i,`+1

@E@Oi,` =

X

j

@E@Oj,`+1 Ij,`+1 (1� Ij,`+1)wj,i,`+1

@E@wi,j,`

= Ii,` (1� Ii,`)Oj,`�18<

:X

j

@E@Oj,`+1 Ij,`+1 (1� Ij,`+1)wj,i,`+1

9=

;

ANÁLISE DE IMAGENS COM DEEP LEARNING - MATHEUS VIANA

1974 - PAUL WERBOS E O BACKPROPAGATION

E

w1,1,2w1,2,2

�rE

(i, `)

Oi,` = y

@E@Oi,` =

X

s

(y⇤s � ys)

ANÁLISE DE IMAGENS COM DEEP LEARNING - MATHEUS VIANA

EXEMPLO: ENCODER-DECODER

E = 12

X

s

||y⇤s � ys||2

ANÁLISE DE IMAGENS COM DEEP LEARNING - MATHEUS VIANA

EXEMPLO: ENCODER-DECODER

ANÁLISE DE IMAGENS COM DEEP LEARNING - MATHEUS VIANA

EXEMPLO: ENCODER

y1y2

y1

y2

Redes neuronais artificiais são implementações de PCA não linear.

Por que redes neuronais artificiais multicamadas são poderosas?

CAIXA PRETA X

REPRESENTAÇÕES SEMÂNTICAS NAS CAMADAS

ANÁLISE DE IMAGENS COM DEEP LEARNING - MATHEUS VIANA

REPRESENTAÇÃO SEMÂNTICA EM CAMADAS

Editora

Ano

Tema

Qualidade

‣ Livros de Física da Springer

‣ Livros de Antigos de Cálculo

‣ Livros Recentes da Oxford

‣ Livros de Antigos de Cálculo da Oxford

‣ Livros Recentes de Física da Springer

ANÁLISE DE IMAGENS COM DEEP LEARNING - MATHEUS VIANA

TRANSIÇÃO PARA DEEP LEARNING▸ 2010 MIT estava prestes a remover disciplina de redes

▸ 2012 Geoffrey Hinton (Toronto): Erro 15% na Imagenet (2nd: 26%)

▸ 15M imagens anotadas em 22K categorias

▸ 60M de parâmetros

classe

ANÁLISE DE IMAGENS COM DEEP LEARNING - MATHEUS VIANA

TRANSIÇÃO PARA DEEP LEARNING▸ 2010 MIT estava prestes a remover disciplina de redes

▸ 2012 Geoffrey Hinton (Toronto): Erro 15% na Imagenet (2nd: 26%)

▸ 15M imagens anotadas em 22K categorias

▸ 60M de parâmetros

classe

Camadas de convolução

ANÁLISE DE IMAGENS COM DEEP LEARNING - MATHEUS VIANA

TRANSIÇÃO PARA DEEP LEARNING▸ 2010 MIT estava prestes a remover disciplina de redes

▸ 2012 Geoffrey Hinton (Toronto): Erro 15% na Imagenet (2nd: 26%)

▸ 15M imagens anotadas em 22K categorias

▸ 60M de parâmetros

classe

Camadas de convolução

ANÁLISE DE IMAGENS COM DEEP LEARNING - MATHEUS VIANA

TRANSIÇÃO PARA DEEP LEARNING

▸ Representação semântica no problema de reconhecimento facial:

ANÁLISE DE IMAGENS COM DEEP LEARNING - MATHEUS VIANA

TRANSIÇÃO PARA DEEP LEARNING

▸ Arquitetura da rede depende do problema:

ANÁLISE DE IMAGENS COM DEEP LEARNING - MATHEUS VIANA

DEEP LEARNING NA IBM RESEARCH BRASIL

ANÁLISE DE IMAGENS COM DEEP LEARNING - MATHEUS VIANA

APLICAÇÃO 1: DEEP ENCODER-DECODER

▸ Problema: avaliação da proliferação tumoral

▸ Avaliação baseada no número de células em processo de divisão

BIÓPSIA AVALIAÇÃO TRATAMENTODIGITALIZAÇÃO

0 1 2 3 4 5 6 7 8 9 10 11+#células em divisão:

prognóstico: BOM MÉDIO RUIM

ANÁLISE DE IMAGENS COM DEEP LEARNING - MATHEUS VIANA

▸ Problema: avaliação da proliferação tumoral

▸ Avaliação baseada no número de células em processo de divisão

BIÓPSIA AVALIAÇÃO TRATAMENTO

REGIÕES DE INTERESSE

1Gb ~ 20K x 20K pixels

DIGITALIZAÇÃO

APLICAÇÃO 1: DEEP ENCODER-DECODER

ANÁLISE DE IMAGENS COM DEEP LEARNING - MATHEUS VIANA

▸ Problema: avaliação da proliferação tumoral

▸ Avaliação baseada no número de células em processo de divisão

BIÓPSIA AVALIAÇÃO TRATAMENTODIGITALIZAÇÃO

ROI 2 ROI 3ROI 1

• Total:~178 Exames (3 ROIs)

+ + =2µm2

NÃO É UM PROBLEMA DE CLASSIFICAÇÃO

APLICAÇÃO 1: DEEP ENCODER-DECODER

ANÁLISE DE IMAGENS COM DEEP LEARNING - MATHEUS VIANA

▸ Problema: avaliação da proliferação tumoral

▸ Avaliação baseada no número de células em processo de divisão

BIÓPSIA AVALIAÇÃO TRATAMENTODIGITALIZAÇÃO

APLICAÇÃO 1: DEEP ENCODER-DECODER

ANÁLISE DE IMAGENS COM DEEP LEARNING - MATHEUS VIANA

E = 12||y⇤ � y||2

APLICAÇÃO 1: DEEP ENCODER-DECODER

ANÁLISE DE IMAGENS COM DEEP LEARNING - MATHEUS VIANA

APLICAÇÃO 1: DEEP ENCODER-DECODER

ANÁLISE DE IMAGENS COM DEEP LEARNING - MATHEUS VIANA

APLICAÇÃO 2: RESIDUAL NETWORK

▸ Problema: avaliação da proliferação tumoral

▸ Avaliação baseada no número de células em processo de divisão

BIÓPSIA AVALIAÇÃO TRATAMENTODIGITALIZAÇÃO

Normal: Em divisão:

ANÁLISE DE IMAGENS COM DEEP LEARNING - MATHEUS VIANA

APLICAÇÃO 2: RESIDUAL NETWORK

▸ Problema: avaliação da proliferação tumoral

▸ Avaliação baseada no número de células em processo de divisão

BIÓPSIA AVALIAÇÃO TRATAMENTODIGITALIZAÇÃO

classe

(probabilidade)

ACURÁCIA:94%Expansão dos dados:

ANÁLISE DE IMAGENS COM DEEP LEARNING - MATHEUS VIANA

APLICAÇÃO 2: RESIDUAL NETWORK

▸ Problema: avaliação da proliferação tumoral

▸ Avaliação baseada no número de células em processo de divisão

BIÓPSIA AVALIAÇÃO TRATAMENTODIGITALIZAÇÃO

probabilidade

probabilidade

ANÁLISE DE IMAGENS COM DEEP LEARNING - MATHEUS VIANA

APLICAÇÃO 2: RESIDUAL NETWORK

▸ Problema: avaliação da proliferação tumoral

▸ Avaliação baseada no número de células em processo de divisão

BIÓPSIA AVALIAÇÃO TRATAMENTODIGITALIZAÇÃO

ANÁLISE DE IMAGENS COM DEEP LEARNING - MATHEUS VIANA

APLICAÇÃO 3: REDE VGG

▸ Problema: detecção de nódulos pulmonaresCT PULMÃO AVALIAÇÃO TRATAMENTOCANDIDATOS

ANÁLISE DE IMAGENS COM DEEP LEARNING - MATHEUS VIANA

APLICAÇÃO 2: REDE VGG

▸ Problema: detecção de nódulos pulmonaresCT PULMÃO AVALIAÇÃO TRATAMENTOCANDIDATOS

É POSSÍVEL USAR UMA REDE NEURONAL PARA FILTRAR A LISTA DE CANDIDATOS?

~1000 CANDIDATOS

ANÁLISE DE IMAGENS COM DEEP LEARNING - MATHEUS VIANA

APLICAÇÃO 2: REDE VGG

▸ Problema: detecção de nódulos pulmonaresCT PULMÃO AVALIAÇÃO TRATAMENTOCANDIDATOS

classe

(probabilidade)

CONVOLUÇÃO 3D

ANÁLISE DE IMAGENS COM DEEP LEARNING - MATHEUS VIANA

APLICAÇÃO 2: REDE VGG

▸ Problema: detecção de nódulos pulmonaresCT PULMÃO AVALIAÇÃO TRATAMENTOCANDIDATOS

ANÁLISE DE IMAGENS COM DEEP LEARNING - MATHEUS VIANA

APLICAÇÃO 2: REDE VGG

▸ Problema: detecção de nódulos pulmonaresCT PULMÃO AVALIAÇÃO TRATAMENTOCANDIDATOS

ANÁLISE DE IMAGENS COM DEEP LEARNING - MATHEUS VIANA

APLICAÇÃO 2: REDE VGG

▸ Problema: detecção de nódulos pulmonaresCT PULMÃO AVALIAÇÃO TRATAMENTOCANDIDATOS

classe

(probabilidade)

4 CANDIDATOS POR EXAME

3D ACURÁCIA: 90% 2D: ACURÁCIA: 85%

SPEED UP: 127X

ANÁLISE DE IMAGENS COM DEEP LEARNING - MATHEUS VIANA

CONCLUSÕES▸ Deep learning é o estado da arte nas áreas de visão

computacional, reconhecimento de voz, predição de séries temporais e outras.

▸ Muito para ser feito

ANÁLISE DE IMAGENS COM DEEP LEARNING - MATHEUS VIANA

CONCLUSÕES

ANÁLISE DE IMAGENS COM DEEP LEARNING - MATHEUS VIANA

OBRIGADO

▸ [1] - Müller, Berndt, Joachim Reinhardt, and Michael T. Strickland. Neural networks: an introduction. Springer Science & Business Media, 2012.

▸ [2] - Jordan, Michael I., and Tom M. Mitchell. "Machine learning: Trends, perspectives, and prospects." Science 349.6245 (2015): 255-260.