Incremental Unsupervised Name Disambiguation in Cleaned Digital Libraries

Victoria J. Hodge and Jim Austin

Dept. of Computer Science,University of York,A Survey of Outlier Detection Methodologies (2004).Artificial Intelligence Review - Qualis B1 (2012) 586 citationsOutliers

DefiniesGrubbs (Grubbs, 1969)Uma observao perifrica, ou outlier, uma que parece desviar-se acentuadamente a partir de outros membros da amostra em que ela ocorre .Barnett & Lewis (Barnett e Lewis, 1994)Uma observao (ou subconjunto de observaes), que parece ser incompatvel com o restante do conjunto de dados.AplicaesDeteco de Fraude - deteco de aplicaes fraudulentas de cartes de crdito,etc.Deteco de Intruso - deteco de acesso no autorizado em redes de computadores.Monitoramento de Atividades - deteco de fraudes telemvel atividade de monitoramento de telefone ou operaes suspeitas nos mercados de aes.Desempenho de rede - monitorar o desempenho das redes de computadores, por exemplo, para detectar os gargalos da rede.Diagnstico de falhas - os processos de monitorizao para detectar falhas em motores, geradores, oleodutos ou instrumentos espaciais em naves espaciais, por exemplo.AplicaesAnlise de imagens de satlite - identificar caractersticas novas ou recursos erroneamente classificadas.Deteco de novidades em imagens - para neotaxis robs ou sistemas de vigilncia.Segmentao de movimento - recursos de imagem de deteco se movendo independentemente do fundo.Monitoramento em srie temporal - aplicaes de monitoramento de segurana crticos, tais como perfurao ou de alta velocidade de moagem.Monitoramento de condies mdicas - tais como monitores de freqncia cardaca.Tipos de Abordagens Tipo 1 Determinando outliers em agrupamentos de forma no supervisionados.

Topo 2 - Esta abordagem anloga classificao supervisionada e requer que os dados sjam pr-rotulados.

Tipo 3 - anlogo a uma tarefa de reconhecimento ou de deteco semi-supervisionada. A classe normal ensinada mas o algoritmo aprende a reconhecer os outliersMtodos - Modelo EstatsticoPrimeiras tcnicas. Sensvel ao volume dos dados.Tcnicas baseadas em proximidadeK-NN (Vizinho mais prximo)K-Means K-MedoidsMtodos ParamtricosMinimum Volume Ellipsoid Estimation (MVE)Convex PeelingPrincipal Component Analysis (PCA)Expectation Maximization (EM).Mtodos No Paramtricos Usado para deteco de problemas na operao de mquinas.Mtodos - Modelo EstatsticoMtodos Semi ParamtricosCombinam a velocidade dos mtodos paramtricos com a flexibilidade dos mtodos no-paramtricos.Gaussian Mixture Models (GMM) Extreme Value Theory (EVT) EVT ideal para reconhecimento novidade onde as amostras anormais so difceis e caras de se obter, como raros casos mdicos ou mau funcionamento de mquinas caras.Support Vector Machines (SVM)Alguns Exemplos

PCA

CONVEX PEELING

MVEEXEMPLO: K-MEANS

Mtodos Redes neuraisMtodos Neurais SupervisionadosMultilayer Perceptron(MLP)Auto-associative Neural NetworkHopfield NetworksRadial Basis Function (RBF) Mtodos Neurais No-SupervisionadosSelf Organising Maps (SOMs)Grow When Required (GWR)Adaptive Resonance Theory (ART) Monitoramento de sries temporaisMtodos Machine LearningDecision TreesRule-based SystemsSimilarity-based MatchingBIRCH (Balanced Iterative Reducing and Clustering Using Hierarchies)DBSCAN (Density-BasedSpatialClustering ofApplications withNoise)

Mtodos Sistemas HbridosMLP + Parzen Window Novelty RecogniserMLP + K-Means usado em deteco de falha em motores de aeronavesMLP + HMM (Hidden Markov Model)HMM+EM Deteco de fraudes em celularesGaussian basis function networks (GBFN) and Principal Components AnalysisConsensus votingJAM system (Java Agents for Meta-learning)EXEMPLO: DBSCAN

ConclusesAprensenta apenas uma amostra dos mtodos para deteco de outliers.Deve-se ecolher o algortmo adequado ao seu conjunto de dados considerando a sua massa de dadosDeve-se decidir se os outliers sero removidos, classificados como novos valores ou se sero marcados como anomalias.A combinao de vrias classificadores deve ser feita de forma criteriosa. QUESTIONS???

CreditosApresentao realizada na disciplina: Reconhecimento de Padres em 04/10/2012

Professor: David Menotti

Estudante: Luciano Vilas Boas EspiridioMestrando em Cincia da ComputaoDepartamento de Computao DECOMInstituto de Cincias Exatas e Biolgicas ICEBUniversidade Federal de Ouro Preto UFOP