Laboratório de Automação e Robótica - A. Bauchspiess – Soft Computing - Neural Networks and Fuzzy Logic – SVM 1/47

ICIN SVM – Support Vector Machine

Ø  Introduction

Ø  Application to Indoor Localization (MLP x LVQ x SVM)

Laboratório de Automação e Robótica - A. Bauchspiess – Soft Computing - Neural Networks and Fuzzy Logic – SVM 2/47

ICIN SVM – Support Vector Machine

Optimality – Maximum margin to the Separating Hyperplane

Linear Separable Classes Non Linear Separable Classes

Features transformation – Linear in the output space!

K(x,y) = <φ(x),φ(y)>

Laboratório de Automação e Robótica - A. Bauchspiess – Soft Computing - Neural Networks and Fuzzy Logic – SVM 3/47

ICIN SVM – Support Vector Machine

Optimality – Maximum margin to the Separating Hyperplane

Linear Separable Classes Classes Optimal hyperplane Distance to the optimal hyperplane

Laboratório de Automação e Robótica - A. Bauchspiess – Soft Computing - Neural Networks and Fuzzy Logic – SVM 4/47

ICIN SVM for non separable patterns

Laboratório de Automação e Robótica - A. Bauchspiess – Soft Computing - Neural Networks and Fuzzy Logic – SVM 5/47

ICIN SVM for pattern recognition – feature space

Laboratório de Automação e Robótica - A. Bauchspiess – Soft Computing - Neural Networks and Fuzzy Logic – SVM 6/47

ICIN Architecture of a SVM

Laboratório de Automação e Robótica - A. Bauchspiess – Soft Computing - Neural Networks and Fuzzy Logic – SVM 7/47

ICIN X-Or using SVM

Laboratório de Automação e Robótica - A. Bauchspiess – Soft Computing - Neural Networks and Fuzzy Logic – SVM 8/47

ICIN SVM ‘Double Moon’ classification

Laboratório de Automação e Robótica - A. Bauchspiess – Soft Computing - Neural Networks and Fuzzy Logic – SVM 9/47

ICIN SVM ‘Double Moon’ classification

Laboratório de Automação e Robótica - A. Bauchspiess – Soft Computing - Neural Networks and Fuzzy Logic – SVM 10/47

ICIN Train the SVM Classifier cl = fitcsvm(data3,theclass,'KernelFunction','rbf',... 'BoxConstraint',Inf,'ClassNames',[-1,1]);

data3 = [data1;data2]; theclass = ones(200,1); theclass(1:100) = -1;

Laboratório de Automação e Robótica - A. Bauchspiess – Soft Computing - Neural Networks and Fuzzy Logic – SVM 11/47

ICIN SVM

Training with the default parameters makes a more nearly circular classification boundary, but one that misclassifies some training data. Also, the default value of BoxConstraint is 1, and, therefore, there are more support vectors.

Laboratório de Automação e Robótica - A. Bauchspiess – Soft Computing - Neural Networks and Fuzzy Logic – SVM 12/47

ICIN SVM

This example shows how to use a custom kernel function, such as the sigmoid kernel, to train SVM classifiers, and adjust custom kernel function parameters.

Laboratório de Automação e Robótica - A. Bauchspiess – Soft Computing - Neural Networks and Fuzzy Logic – SVM 13/47

ICIN SVM

Laboratório de Automação e Robótica - A. Bauchspiess – Soft Computing - Neural Networks and Fuzzy Logic – SVM 14/47

ICIN SVM

Laboratório de Automação e Robótica - A. Bauchspiess – Soft Computing - Neural Networks and Fuzzy Logic – SVM 15/47

ICIN Train and Cross Validate SVM Classifiers

Laboratório de Automação e Robótica - A. Bauchspiess – Soft Computing - Neural Networks and Fuzzy Logic – SVM 16/47

ICIN Train and Cross Validate SVM Classifiers

Laboratório de Automação e Robótica - A. Bauchspiess – Soft Computing - Neural Networks and Fuzzy Logic – SVM 17/47

ICIN Train and Cross Validate SVM Classifiers

Laboratório de Automação e Robótica - A. Bauchspiess – Soft Computing - Neural Networks and Fuzzy Logic – SVM 18/47

ICIN Train and Cross Validate SVM Classifiers

Laboratório de Automação e Robótica - A. Bauchspiess – Soft Computing - Neural Networks and Fuzzy Logic – SVM 19/47

ICIN Train and Cross Validate SVM Classifiers

Laboratório de Automação e Robótica - A. Bauchspiess – Soft Computing - Neural Networks and Fuzzy Logic – SVM 20/47

ICIN Train and Cross Validate SVM Classifiers

Laboratório de Automação e Robótica - A. Bauchspiess – Soft Computing - Neural Networks and Fuzzy Logic – SVM 21/47

ICIN Indoor Localization

-  Indoor Localization

-  Ambient Intelligence (Occupancy dependent services) -  Thermal Load Estimation

Energy Efficiency (mainly Air conditioning)

Credits: Next slides are mainly based on: -  Lucas O. Fonseca, 2011, Sistema de Identificação de Usuários utilizando RFID para Racionalização de Energia em Ambientes Inteligentes. -  Gabriel Figueiró Oliveir e André Luiz Gama de Souza, 2011, Sistema de Localização para Robótica Móvel com RFID. -  Cristovam A. Silva Jr., 2012, Classificação de Ambientes Prediais para usuários utilizanod tags RFID ativas e Filtro de Kalman.

Laboratório de Automação e Robótica - A. Bauchspiess – Soft Computing - Neural Networks and Fuzzy Logic – SVM 22/47

ICIN RFID occupancy identification (GPS indoor) for thermal load estimation

Laboratório de Automação e Robótica - A. Bauchspiess – Soft Computing - Neural Networks and Fuzzy Logic – SVM 23/47

ICIN

RFID occupancy identification for thermal load estimation

Laboratório de Automação e Robótica - A. Bauchspiess – Soft Computing - Neural Networks and Fuzzy Logic – SVM 24/47

ICIN

Interpolated from measured RSSI

RFID occupancy

identification for thermal load

estimation

(Lucas Fonseca, 2011)

Laboratório de Automação e Robótica - A. Bauchspiess – Soft Computing - Neural Networks and Fuzzy Logic – SVM 25/47

ICIN Indoor RFID

Localization

in the Context of Mobile Robotics with Application in Ambient Intelligence

Augmented Reality Localization

(Gabriel Figueiró e André Luiz Gama, 2011)

Laboratório de Automação e Robótica - A. Bauchspiess – Soft Computing - Neural Networks and Fuzzy Logic – SVM 26/47

ICIN

Red – odometry Black – odometry + vision (augmented reality) Green – odometry + vision + ANN RFID RSSI

Indoor Localization

(Gabriel Figueiró e André Luiz Gama, 2011)

Laboratório de Automação e Robótica - A. Bauchspiess – Soft Computing - Neural Networks and Fuzzy Logic – SVM 27/47

ICIN

Identification of users in areas by RFID – RSSI classificators

(Cristovam Silva Jr., 2012)

Thermal Load Influence Areas

Laboratório de Automação e Robótica - A. Bauchspiess – Soft Computing - Neural Networks and Fuzzy Logic – SVM 28/47

ICIN Sistemas de Localização Indoor

RSSI – Received Signal Strength Indicator

n  valor adimensional n  influenciado pelo efeito de Caminhos Múltiplos

Laboratório de Automação e Robótica - A. Bauchspiess – Soft Computing - Neural Networks and Fuzzy Logic – SVM 29/47

ICIN Sistemas de Localização Indoor

OUTROS SISTEMAS DE LOCALIZAÇÃO

n  GPS-Indoor n  A-GPS n  Repetidores n  LOCATA

n  UWB – Principio de funcionamento de um radar n  WIFI – Localização baseada em RSSI n  WSN – Localização baseada em RSSI n  Bluetooth – Localização baseada em RSSI

Laboratório de Automação e Robótica - A. Bauchspiess – Soft Computing - Neural Networks and Fuzzy Logic – SVM 30/47

ICIN Classificação

MULTI LAYER PERCEPTRON - MLP

n  Reconhecedor de padrões de ampla aplicação; n  Sua arquitetura permite atuar em problemas não lineares e

complexos;

Laboratório de Automação e Robótica - A. Bauchspiess – Soft Computing - Neural Networks and Fuzzy Logic – SVM 31/47

ICIN Classificação

LEARNING VECTOR QUANTIZATION - LVQ

n  Rede do tipo Mapa Auto Organizável com aprendizagem

supervisionada; n  Possui uma camada competitiva e outra linear; n  Quantidade de saídas igual a quantidade de classes do

problema;

Laboratório de Automação e Robótica - A. Bauchspiess – Soft Computing - Neural Networks and Fuzzy Logic – SVM 32/47

ICIN Classificação

SUPPORT VECTOR MACHINE - SVM

n  Classificador de padrões binários; n  Vetores de Suporte definem hiperplano que separa as

classes; n  Definição de classe vem da comparação com os vetores de

suporte; n  Consegue fazer multiclassificação dividindo o problema em

várias classificações.

Laboratório de Automação e Robótica - A. Bauchspiess – Soft Computing - Neural Networks and Fuzzy Logic – SVM 33/47

ICIN Materiais e Métodos Aplicados

Hardware do Sistema RFID Ativo

Laboratório de Automação e Robótica - A. Bauchspiess – Soft Computing - Neural Networks and Fuzzy Logic – SVM 34/47

ICIN Materiais e Métodos Aplicados

MIDDLEWARE DO SISTEMA RFID

Laboratório de Automação e Robótica - A. Bauchspiess – Soft Computing - Neural Networks and Fuzzy Logic – SVM 35/47

ICIN Materiais e Métodos Aplicados

NEURAL NETWORK TOOLBOX DO MATLAB

n  Ferramenta completa para Redes Neurais; n  Interfaces gráficas facilitam o acompanhamento dos

processos de treinamento e teste das redes neurais;

Laboratório de Automação e Robótica - A. Bauchspiess – Soft Computing - Neural Networks and Fuzzy Logic – SVM 36/47

ICIN Materiais e Métodos Aplicados

PACOTE DE APLICATIVOS LIBSVM

n  Biblioteca de Software Livre; n  Aplicativos de treinamento gera conjunto de Vetores de

Suporte; n  Permite várias configurações de função de núcleo da SVM

(Linear, RBF, Polinomial, Sigmoides)

Laboratório de Automação e Robótica - A. Bauchspiess – Soft Computing - Neural Networks and Fuzzy Logic – SVM 37/47

ICIN Materiais e Métodos Aplicados

CONFIGURAÇÃO FÍSICA DOS EXPERIMENTOS

Localização das leitoras nos ambientes delimitados

Laboratório de Automação e Robótica - A. Bauchspiess – Soft Computing - Neural Networks and Fuzzy Logic – SVM 38/47

ICIN Materiais e Métodos Aplicados

CONFIGURAÇÃO FÍSICA DOS EXPERIMENTOS

Leitoras instaladas nos ambientes delimitados

Laboratório de Automação e Robótica - A. Bauchspiess – Soft Computing - Neural Networks and Fuzzy Logic – SVM 39/47

ICIN Materiais e Métodos Aplicados

CONFIGURAÇÃO FÍSICA DOS EXPERIMENTOS

Pontos de coleta de dados nos ambientes delimitados

Laboratório de Automação e Robótica - A. Bauchspiess – Soft Computing - Neural Networks and Fuzzy Logic – SVM 40/47

ICIN Materiais e Métodos Aplicados

PROCEDIMENTOS DE LEITURA DOS DADOS

n  Tempo de coleta de 30 minutos por ponto; n  Usuário portando a Tag como crachá; n  Liberdade de movimento em torno do eixo vertical; n  Dados armazenados em planilhas eletrônicas;

n  Correção manual de erros de registro do middleware.

Laboratório de Automação e Robótica - A. Bauchspiess – Soft Computing - Neural Networks and Fuzzy Logic – SVM 41/47

ICIN

Metodologia Formulação

Método_1 Sem alteração (Dados conforme coleta)

Método_1E Método_1 + Filtragem EKF

Método_2 RSSI nulo = 71

Método_2E Método_2 + Filtragem EKF

Método_3 RSSI nulo = RSSI anterior

Método_3E Método_3 + Filtragem EKF

Pré-Tratamento e Filtragem dos Dados (Como lidar com a ausência de alguma leitura das antenas)

Laboratório de Automação e Robótica - A. Bauchspiess – Soft Computing - Neural Networks and Fuzzy Logic – SVM 42/47

ICIN

n  Rotulação das amostras quanto aos ambientes; n  Aglutinação das amostras em uma única planilha; n  Embaralhamento das amostras; n  Separação de amostras para teste e validação;

Arquivos de Treinamento dos Classificadores

Laboratório de Automação e Robótica - A. Bauchspiess – Soft Computing - Neural Networks and Fuzzy Logic – SVM 43/47

ICIN Resultados

Testes em relação à Orientação das Antenas

Laboratório de Automação e Robótica - A. Bauchspiess – Soft Computing - Neural Networks and Fuzzy Logic – SVM 44/47

ICIN Resultados

DESEMPENHO DO TREINAMENTO DAS REDES MLP

Laboratório de Automação e Robótica - A. Bauchspiess – Soft Computing - Neural Networks and Fuzzy Logic – SVM 45/47

ICIN

DESEMPENHO DO TREINAMENTO DAS REDES LVQ

Resultados

Laboratório de Automação e Robótica - A. Bauchspiess – Soft Computing - Neural Networks and Fuzzy Logic – SVM 46/47

ICIN

DESEMPENHO DO TREINAMENTO DAS SVM

Resultados

Laboratório de Automação e Robótica - A. Bauchspiess – Soft Computing - Neural Networks and Fuzzy Logic – SVM 47/47

ICIN

MELHOR DESEMPENHO DENTRE OS CLASSIFICADORES PARA CADA BASE DE DADOS

Resultados