제7장 멀티미디어 검색 -...

Computer Vision &

Pattern Recognition Lab.

Computer Vision & Pattern Recognition Lab.

제7장 멀티미디어 정보 검색

Computer Vision & Pattern Recognition Lab. 2 /27 2014-02-13

멀티미디어 정보 검색

멀티미디어 검색의 필요성

다양한 종류의 멀티미디어 자료를 사용자의 입장에서 효율적으로 검색할 필요성이 증대함

대용량 멀티미디어 정보를 효과적으로 검색하기 위해서는 효율적인 색인 및 관리가 필수적임

멀티미디어 검색의 종류

Text 기반(Text-Based) 검색

내용 기반(Content-Based) 검색


Text 기반의 검색 멀티미디어에 포함된 내용을 text로 색인하고 검색

장점 기존의 Query Language(예:SQL)를 사용하여 주제어로 DB 검색

단점 방대한 멀티미디어 데이터에 대해 사람이 직접 수작업으로 색인(manual indexing)

시간과 비용이 많이 들며, 효율성이 낮음

멀티미디어(영상/비디오)의 내용을 객관적으로 색인하기 어려움

내용 기반 색인/검색(객관적, 자동적 색인)


내용 기반 멀티미디어 검색

내용 기반 검색

멀티미디어 데이터를 대표하는 특징 추출

색상, 형태, 질감, 움직임, 등

추출된 특징을 기반으로 색인 및 검색

DB 구축의 시간 및 인력의 소모를 줄임

멀티미디어 정보를 효과적으로 정량화하는 작업이 중요함


百聞不如一見

-하늘

-구름

-해

-숲

-호수

내용 기반 멀티미디어(영상) 검색

-새


MPEG-7 표준화 작업

멀티미디어 컨텐츠를 효율적으로 검색하기 위한 표준화된 기술자(Descriptor)의 제정

MPEG-7의 Visual Descriptor: 컨텐츠를 정량적으로 표현 색상 (Color)

형태 (Shape)

질감 (Texture)

움직임 (Motion)

내용기반 검색의 응용 분야 Digital T.V

Video on Demand

Home shopping

DMB(Digital Multimedia Broadcasting)

Smart phone


Scanner 특징 추출 영상 DB

특징 추출 매칭

데이터베이스 생성

데이터베이스 검색

Query

입력

영상자료 입력

내용 기반 영상 검색 시스템의 구성도

• 중요 issue : 특징 추출 (Feature extraction).

즉, 영상의 내용을 어떻게 정량화 하느냐?


대표적인 Feature의 종류

색상 (Color ) 영상 내의 pixel들이 가지고 있는 색상 정보를 사용

Histogram을 이용한 방법이 많이 사용됨

형태 (Shape) 영상 내 물체들의 윤곽선이 나타내는 형태의 특성을 사용

질감 (Texture) 벽지, 옷감, 곡물, 대리석 영상 같은 특정한 질감의 특성을 사용

움직임 (Motion) 카메라 또는 객체들의 움직임 특성을 사용


영상 내의 pixel들이 가지고 있는 색상 정보를 사용

=> Histogram을 이용

Idea

- 유사한 영상은 유사한 color histogram을 가짐

(Histogram이 같다고 영상이 같은 것은 아님에 유의)

Color histogram의 matching에 근거를 둔 matching 방식

크기가 다른 영상에 대해서 histogram normalize가 필요

Color 기반 검색


[1] Histogram difference

1. Database의 모든 영상에 대한 Normalized color histogram 를 계산함

2. Query 영상에 대한 Normalized color histogram 를 계산함

3. Query 영상과 Database의 모든 영상과의 Histogram 차이를 계산함

4. 의 값이 작은 순서에 따라 유사도를 결정함

)(iH d

)(iH q

n

j

dq jHjHDQDiff1

|)()(|),(

),( DQDiff

Color 기반 검색


[2] Histogram Intersection

1. Database의 모든 영상에 대한 Normalized color histogram 를 계산함

2. Query 영상에 대한 Normalized color histogram 를 계산함

3. Query 영상과 Database의 모든 영상과의 Histogram 의 공통부분을 계산함

4. 의 값이 큰 순서에 따라 유사도를 결정함

),( DQSim

Color 기반 검색

])(),(min[),(1

n

j

dq jHjHDQSim

)( jHd

)( jHq


Histogram

Q D

dHqH


Color histogram을 이용하여 영상 간의 유사도를 측정

영상 검색에서 가장 많이 쓰이는 방법

구현이 용이함

Histogram을 사용하면, 공간 정보가 없어 진다는 단점

Color 기반 검색의 Issue들

- Color model : RGB, HSV, YCrCb, …

- Color quantization : Bin의 개수 Linear, Nonlinear, LUT

- 유사도의 측정 방법

- 공간 정보의 손실을 어떻게 보상하는가?

예: 영상을 분할하여 영역별 히스토그램을 이용


Histogram 기반 방법의 특징

Histogram bin 간의 거리 산출에 의한 비교

장점 구현이 간단함

빠른 속도로 영상의 유사도 산출

회전과 이동에 강건함

단점 복잡한 구성의 영상 검색에는 부적당

영상의 공간 정보를 반영하지 못함


Shape 기반 검색

가정: 영상 내에 한 개의 object만 존재


Shape 기반 검색

Curvature scale-space(CSS)

물체 윤곽선의 곡률(Curvature) 정보를 이용

Descriptor 계산 방법

1. 윤곽선 상의 임의점에서 시작

2. 윤곽선을 정의하는 함수 x(u) , y(u)를 생성 u: 윤곽선 상에서 시작점으로부터의 곡선 거리

(총 거리는 1로 normalize 함)

x (u), y (u): 윤곽선 상의 점의 x 좌표, y 좌표

3. x(u) , y(u)를 sampling 함 (256 points) : X(i), Y(i)

4. Curvature를 계산

5. Curvature 함수의 최대값과 그 위치를 저장


Example

원

타원

삼각형

사각형


매칭 방법 (형태의 유사도 측정 방법) Curvature 함수값 계산 방법

예: 원에 대한 Curvature 계산

위치, 회전, 크기변화에 불변하도록

시작점 위치에 따라 함수가 변화 함

=> 불변하도록 하는 방법?

Curvature 함수를 이용한 형태 유사도 측정 방법?

=> 유사한 형태일수록 유사도 값이 커지도록

)()()()()( uyuxuyuxuk

)()()()()(

)sin()(),cos()(

)cos()(),sin()(

)sin()(),cos()(

uyuxuyuxuk

uuyuux

uuyuux

uuyuux


Texture 기반 검색

Texture 정의

Homogeneous patterns or spatial arrangements of pixels

that regional intensity or color alone does not sufficiently

describe

Texture의 예 (가정: 영상 내에 한 개의 texture만 존재)

Texture => 반복성 (반복의 방향과 주기)


Fourier Transform 이용

Fourier Transform

특징 Texture의 Orientation(방향)을 측정하는 measure

Texture의 Coarseness(주기)를 측정하는 measure

dxdyvyjuxjyxfv)F(uy)}{f(x )]2exp()2exp(),([,,

]2

)12(cos[]

2

)12(cos[),(),(

1

0

1

0 N

vy

N

uxyxfvuF

N

x

N

y


2D DCT

]2

)12(cos[]

2

)12(cos[),()()(),(

1

0

1

0 N

vy

N

uxyxfvuvuF

N

x

N

y

]2

)12(cos[]

2

)12(cos[),()()(),(

1

0

1

0 N

vy

N

uxvuCvuyxf

N

u

N

v

For v=0 to N-1 For u= 0 to N-1 sum=0; For y= 0 to N-1 For x= 0 to N-1 sum += f[x, y] * cos((2*x+1)*u* / 2N) * cos((2*y+1)*v* / 2N) Endfor Endfor if (u==0) sum = sum/sqrt(N); else sum = sum*sqrt(2) /sqrt(N); if (v==0) sum = sum/sqrt(N); else sum = sum*sqrt(2) /sqrt(N); F[u,v]=sum; Endfor Endfor


Fourier Transform


FT 계수를 정량화하여 Descriptor를 계산

Annular ring filter: coarseness(주기)

Wedge filter: orientation(방향성)

High frequency

Low frequency

Annular ring filter Wedge filter


Motion 기반 검색

[1] Motion activity

Block motion vector 의 angle과 magnitude 분석

Descriptor 계산 과정

(1) 모든 블록에 대해서 움직임 벡터의 각도와 크기를 계산

(2) 움직임 벡터의 각도와 크기에 대한 히스토그램을 계산

(3) 8개의 descriptor를 계산

움직임 벡터

각도 히스토그램 크기 히스토그램

)(rH

r

1.0

0.5

0.0

1 2 3 4 5 6 7 8

)(H

1.0

0.5

0.0

0 45 90 135 180 225 270 315

T

MeanDevIntIntensityDevsqrt

DevDevInt

T

IntensityDev

MeanDevInt

T

MeanAvgIntIntensityAvgsqrt

DevAvgInt

T

intensityAvg

MeanAvgInt

T

leMeanDevAngangleDevsqrt

DevDevAng

T

angleDev

MeanDevAng

T

leMeanAvgAngangleAvgsqrt

DevAvgAng

T

angleAvg

MeanAvgAng

T

i

i

T

i

i

T

i

i

T

i

i

T

i

i

T

i

i

T

i

i

T

i

i

))_((

_

))_((

_

))_((

_

))_((

_

2

2

2

2


[2] Motion Trajectory

동기 객체 움직임의 궤적을 특징값으로 표현

응용 분야 Surveillance

Object-based video search and retrieval

Hyper-linking an object to relevant information

가정 Object segmentation

Fixed camera

Actually this is a BIG Issue


검색 기법의 성능 평가

성능 평가를 위한 척도

||

||

B

BArecall

||

||

A

BAprecision

A B

A : 검색 시스템이 사용자에게 출력한 결과의 집합 B : 데이터베이스에 저장되어 있는 데이터 중 찾아내야 할 데이터의 집합


향후 과제

영상의 특징을 정량적, 효과적으로 기술하는 방안

검색의 효율성을 높이기 위해 두 가지 이상의 방법을 혼합 사용

색상이나 질감 같은 하위 수준의 특징으로 영상의 내용을 정확히 표현하기 어려움

영상 내에 존재하는 객체를 추출하고 인식하는 object segmentation 기술에 대한 연구가 필요

Date post:	23-Jan-2021
Category:	Documents
Upload:	others
View:	0 times
Download:	0 times

제7장 멀티미디어 검색 -...

Documents