ART 인공신경망

2007152025 신요섭

한국산업기술대학교 인공지능연구실

* 이파일은 RGB 파일이기 때문에 홈페이지 제작용으로만 사용해야 한다.

한국산업기술대학교 인공지능연구실

* 이파일은 RGB 파일이기 때문에 홈페이지 제작용으로만 사용해야 한다.

비교사(Unsupervised)학습 인공신경망

안정성과 유연성의 딜레마

ART란?

ART 신경망의 핵심

ART 신경망의 구조

ART 신경망의 학습과정

ART 신경망의 종류

ART 신경망을 이용한 응용

00Contents

한국산업기술대학교 인공지능연구실

* 이파일은 RGB 파일이기 때문에 홈페이지 제작용으로만 사용해야 한다.

일반적으로 2-layer로 이루어짐

입력 데이터만 주어짐> 입력값에 대한 목표치가 주어지지 않음

인공신경망을 통해 출력값을 자동으로 결정

대표적인 모델> Kohonen의 SOM, Grossberg의 ART

클러스터링 응용

01Unsupervised ANN

output layer

input layer

한국산업기술대학교 인공지능연구실

* 이파일은 RGB 파일이기 때문에 홈페이지 제작용으로만 사용해야 한다.

안정성 Stability비정상 데이터가 입력되어도 시스템의 동작이 변해서는 안된다.

유연성 Plasticity 의미있는 데이터significant data가 입력되었을 때

시스템은 이를 받아들여 동작을 변화시켜야 한다.

딜레마 Dilemma유연성과 안정성 사이에 어떻게 균형을 잡아야 하는가?

새로운 데이터에 대한 학습이 지속적으로 가능해야 하고 동시에 기존에 학습된 데이터는 보존되어야 한다.

02Stability-Plasticity Dilemma

한국산업기술대학교 인공지능연구실

* 이파일은 RGB 파일이기 때문에 홈페이지 제작용으로만 사용해야 한다.

이 딜레마는 모든 학습 시스템이 가지고 있는 문제

해결해야 하는 문제:

•기존에 학습된 데이터가 손실되기 전에 새로운 데이터를 빠르게 학습하는 방법

•비정상적인 값이 입력될 때의 안정성은 유지하지만 중요한 값이 입력되었을 때에는 학습

시스템을 유연하게 작동시키는 방법

•기존에 학습된 패턴이 대한 안정성을 유지하면서 새로운 패턴을 학습하기에 충분한 유연

성을 갖게 하는 방법

•유연성 모드와 안전성모드를 언제 변경해야 하는지 알아내는 방법

02Stability-Plasticity Dilemma

한국산업기술대학교 인공지능연구실

* 이파일은 RGB 파일이기 때문에 홈페이지 제작용으로만 사용해야 한다.

• ART : Adaptive Resonance Theory (적응형 공명 이론)

• 1976년 Stephen Grossberg 이 제안한 방법

• ART는 비슷한 형태의 신경망 그룹을 대표하는 이름

• ART 시스템은 기본적으로 비교사형 학습모델 (Unsupervised Learning)

03What is ART?

한국산업기술대학교 인공지능연구실

* 이파일은 RGB 파일이기 때문에 홈페이지 제작용으로만 사용해야 한다.

ART 알고리즘의 가장 중요한 특징은 ‘예측’이다.

신경망에 새로운 값이 입력되면, 바로 prototype vector와 비교 과정을 거친다.

(prototype vector - 신경망에 의해 예측된 값과의 유사도)

prototype vector와 입력 vector간의 유사도가 기준치보다 낮으면 기존 prototype은 비

활성화되고 새로운 prototype이 설정된다. 따라서 기존에 학습된 데이터 (prototype)은

파괴되지 않는다.

04Key Innovation

한국산업기술대학교 인공지능연구실

* 이파일은 RGB 파일이기 때문에 홈페이지 제작용으로만 사용해야 한다.

orienting subsystem

(적응 서브시스템)

reset

Layer1 Layer2

Gain Control

Expectation

Input

05ART architecture

한국산업기술대학교 인공지능연구실

* 이파일은 RGB 파일이기 때문에 홈페이지 제작용으로만 사용해야 한다.

orienting subsystem

(적응 서브시스템)

reset

Layer1 Layer2

Gain Control

Expectation

Input

05ART architecture

input layer comparison field

output layer recognition field

bottom-up layer

top-down layer

input node

output node

Vigilance Parameter (threshold)

한국산업기술대학교 인공지능연구실

* 이파일은 RGB 파일이기 때문에 홈페이지 제작용으로만 사용해야 한다.

05ART architecture

한국산업기술대학교 인공지능연구실

* 이파일은 RGB 파일이기 때문에 홈페이지 제작용으로만 사용해야 한다.

✴ ART신경망에서의 학습은 Layer2에서 Layer1으로의 ‘feedback 연결’을 발생시킨다.

✴ 이 연결은 Layer1으로 전파된다.

✴ Layer2에 있는 노드가 활성화되면, Layer1으로 프로토타입 패턴 (예측값)을 전파한다.

✴ Layer1은 전파된 예측 값과 입력패턴의 비교를 수행한다.

✴ 기대값과 입력값의 유사도가 낮을 경우, orienting subsystem은 layer2에 reset을 수행

하여 현재 prototype vector를 Layer1 에 전파하고 있는 node를 Layer2에서 제외시킨

다.

06ART networks 의 학습과정

한국산업기술대학교 인공지능연구실

* 이파일은 RGB 파일이기 때문에 홈페이지 제작용으로만 사용해야 한다.

✴ reset 모드는 현재 Layer1으로 예측 vector를 전파하고 있는 Layer2의 winning neuron

을 비활성화시키고 전파된 예측값을 제거한다.

✴ winning neuron이 비활성화되어있는 동안 Layer2에서 새로운 winning neuron이 결

정된다.

✴ Layer2의 새로운 winning neuron이 L2-L1간의 연결을 통해 Layer1에 새로운 예측값

을 전파한다.

✴ L2-L1로 전송되는 예측 vector가 입력 vector와 기준치 이상의 유사도를 보일 때까지

반복한다.

06ART networks 의 학습과정

한국산업기술대학교 인공지능연구실

* 이파일은 RGB 파일이기 때문에 홈페이지 제작용으로만 사용해야 한다.

ART-1

바이너리 형태의 데이터만 입력 가능 (0, 1)

일정 기준치 이상의 유사도에 따라 학습되는 비교사 방식

ART-2

아날로그 형태의 데이터 입력 가능

이를 위해서 comparison layer를 여러 층 중첩하여 사용

ART-3

시냅스의 화학적 구성을 모방한 시스템

07ART 신경망의 종류

한국산업기술대학교 인공지능연구실

* 이파일은 RGB 파일이기 때문에 홈페이지 제작용으로만 사용해야 한다.

08ART 신경망을 이용한 응용

✴ Mobile Robot Control

✴ Facial Recognition

✴ Land Cover Classification

✴ Object Recognition

✴ Medical Diagnosis

✴ Signature Verification

한국산업기술대학교 인공지능연구실

* 이파일은 RGB 파일이기 때문에 홈페이지 제작용으로만 사용해야 한다.

09결론

✴ ART 인공신경망은 목표값이 정해진 상태에서 과정을 찾아가는 것이 아니고

Unsupervised Leaning 을 통해 입력된 데이터를 비슷한 데이터끼리 군집화

(Clusturing) 시키는데 목적이 있다.

✴ 따라서 철도의 결함 중 체결구가 비어있는 등 일정한 모양이 있는 결함을 검출할

경우에는 굳이 신경망을 사용하지 않아도 될 것이다.

✴ 단, 침목에 생긴 다양한 형태의 크랙 결함을 추출하기 위해서는 이와 같은 방식의

신경망을 통해 분류한 뒤에 결함이 없는 침목 영상을 템플릿으로 설정한 뒤 매칭을

시도하여 정상인 경우를 걸러내는 과정을 통해 결함 여부를 알아낼 수 있을 것이다.

한국산업기술대학교 인공지능연구실

* 이파일은 RGB 파일이기 때문에 홈페이지 제작용으로만 사용해야 한다.

10Reference

✴ Wikipedia : “Adaptive Resonance Theory”

✴ 신경망 이론과 응용, 김대수 (1992)

✴ ART2 신경회로망을 이용한 특징영역기반 얼굴 인식 시스템 (박미경, 강영미, 정성환, 1997)

✴ Adaptive Resonance Theory (Gail A. Carpenter & Stephen Grossberg, 2002)

✴ ART 2: self-organization of stable category recognition codes for analog input patterns (Gail A.

Carpenter and Stephen Grossberg, 1987)

✴ 인지이론과 ART 신경회로망에 기반한 한글 문자 분류 모델 (장재혁, 박중양, 박재흥, 2005)