Gājēju meklēšanas telpas sašaurināšana izmantojot projektīvo ģeometriju viedo automobiļu drošības sistēmās
Search Space Reduction in Pedestrian Detection for Driver Assistance System Based on Projective Geometry
利用投影幾何減少駕駛輔助系統中行人偵測之搜尋空間
Kārlis Dimza06.08.2012
2
Saturs1. Ievads 2. Literatūras pārskats3. Attēlveidošana
– Nakts redzamība– NIR nakts redzamība
• Filtri• Filtru mērījumu rezultāti
– Attēluzlabošana4. Gājēju meklēšanas telpas sašaurināšana
– Gadījums ar zināmiem kameras kalibrācijas parametriem– Gadījums ar nezināmiem kameras kalibrācijas parametriem
5. Eksperimenti– Prognozētā gājēju izmēru kartes izveide– Gājēju meklēšana
• Izmantojot publiskus datus (Daimler)• NTHU CVLAB Day-Night monocular pedestrian dataset
6. Secinājumi un turpmākie darbi
3
1. Ievads (1/7). Auto industrijas attīstība
• Mūsdienu automašīnās sastopams liels daudzums elektronikas, kas uzlabo braukšanas drošību un komfortu
Pirmās automašīnas:nekādas inteliģences
Stanford University in DARPA Challenge 2007: Autonomās automašīnas prototips
Zirgu pajūgs:transports ar zināmu
inteliģences devu
4
1. Ievads (2/7). Gājēju aizsardzība
• Mazaizsargātie satiksmes dalībnieki sastāda 2/3 no visiem nāves gadījumiem uz ceļa
• Izšķir aktīvo un pasīvo gājēju aizsardzību• ADAS1 cenšas uzlabot pasīvo gājēju
aizsardzību• Mērķis ir noteikt gājēju pēc iespējas agrāk un
dot brīdinājuma signālu vadītājam• Liela daļa letālo gadījumu notiek naktī
1 ADAS-Advanced Driver Assistance System
5
1. Ievads (3/7). Gājēju meklēšana
• Pašreiz viens no visvairāk citētajiem cilvēku klasifikatoriem ir HOG ar SVM
• Pateicoties labajai veiktspējai lielākajā daļā moderno cilvēku meklētāju ir izmantotas idejas no HOG
• Šajā darbā mēs izmantojam klasisko HOG• Ilustratīvs piemērs HOG1:
1 Dalal and Triggs - Histograms of Oriented Gradients for Human Detection, CVPR 2006
6
1. Ievads(4/7). Perspektīva– sirreāls gadījums
• Meklēšanas telpa ir svarīga!
7
1.Ievads(5/7). Lokalizācija• Slīdošā maska ir tradicionāls veids kā meklēt objektus
attēlā• Parasti slīdošās maskas izmērus un pozīcijas izvēlas t.s.
Vienmērīgā sadalījuma principa
8
1.Ievads(6/7). Perspektīva – pareizs gadījums
9
1.Ievads (7/7). Adaptīvā maska- princips
10
2. Literatūras pārskats(1/4).
• Nakts redzamība– FIR un NIR salīdzinājums
– IR-PASS filtra dizains• Meklēšanas telpas ierobežošana
– Putting objects in perspective (CVPR2006)
– Camera calibration toolkit (CVPRW2011)
11
2. Literatūras pārskats(2/4). • Nakts redzamība
– Near infrared system (NIR)– Far infrared system (FIR), dažreiz tiek saukta par
termālo sistēmu
Material from [8]
12
2. Literatūras pārskats(3/4). WDR CMOS.
• Lai izbēgtu no kameras «apžilbšanas» efekta naktī, tika izvēlēta WDR tipa kamera
Bez WDR Ar WDR
The sample images are taken from WDR manufacturer proposal
13
2. Literatūras pārskats– Meklēšanas telpas sašaurināšana(4/4).
• Perspektīvas informācijas nozīme tika pierādīta objektu meklēšanā, bet metode ir limitēta tajā, ka nepieciešams zināt kameras parametrus
• Ar nelielu lietotāja līdzdalību kameras parametru aproksimācija var tikt atrasta– Piedāvātā metode tika modificēta, lai izslēgtu kļūdainu
lietotāja ievadu.
14
Pamatveikums.
• NIR nakts redzamības sistēmas izveide– Apmēram 320GB ar ievāktiem datiem– Izveidota datubāze ar atzīmētiem gājējiem
balstoties uz ievāktajiem datiem• Cilvēka augstuma prognozēšana
– Atrisināts gadījums ar kļūdainu saplūšanas punktu noteikšanu
15
3.Attēlveidošana (1/6). NIR princips.• Uzbūvētā NIR gaismekļa princips
– Redzamā gaisma tiek bloķēta ar trīsslāņu filtru– Zilais, zaļais un sarkanais filtrs ir kombinēts, lai
iegūtu redzamo gaismu necaurlaidīgu filtru
16
3. Attēlveidošana (2/6). Instalācija.WDR image sensor NIR illuminator side view
NIR illuminator (front view) NIR illuminator (view from top)
17
3. Attēlveidošana (3/6). Gaismas avota intensitātes spektrālais sadalījums un IR-PASS Filtra mērījumi.
– Mērīts ar BWTEK BRC111A CCD Array Spectrometer
18
3. Attēlveidošana (4/6). NIR nozīme.
With NIR camera With conventional USB color camera
19
3. Attēlveidošana (5/6). Piemērs WDR.
• Piemēri no iegūtajiem datiem, kuros redzams WDR nozīmes efekts.
On coming vehicle
On coming vehicle
WDR1 WDR2
20
3. Attēlveidošana (6/6). Attēluzlabošana (NLM)
Pirms Pēc
• Lai uzlabotu nakts redzamības attēlu kvalitāti, trokšņa filtrācija tika pielietota
21
4. Meklēšanas telpas sašaurināšana(1/11).
• Procesu var sadalīt 3 galvenajās daļās:– Priekšapstrāde
• Darba galvenā daļa– Klasifikācija
• Izmantota validācijai– Pēcapstrāde
• Nav lietota
Preprocessing Classification Post processing
Scene geometry estimation
Set of projected humanheights estimation
22
Do we havecamera parameters or
projection matrixfor this scene?
Estimate projectionmetrix
User input:1. Z direction parallel lines2. X direction parallel lines3. Y direction parallel lines4. Human reference object
Justify:1. X vanishing point2. Y vanishing point
Compute set of projected human heights by Algorithm 3
Compute reprojections by assuming:1. Y=0
2. Height=1.8m
Compute set of projectedhuman heights
Yes
No
SVM Classification
4. Meklēšanas telpas sašaurināšana(2/11). Cilvēka projekcijas lieluma noteikšana.
Scenegeometry withunknowncameraparameters
Scenegeometry withknowncameraparameters
23
4. Meklēšanas telpas sašaurināšana(3/11). Cilvēka projekcijas lieluma noteikšana ar zināmiem kameras
kalibrācijas parametriem.
=> Projekcijas matrica
=> bezgalīgi daudz atrisinājumu!
=> viens atrisinājums!
=> Project back to image, by assuming human metric height is 1,8m
Y=0 (zemes plakne)
24
4. Meklēšanas telpas sašaurināšana(4/11). Saplūšanas punkti.
• Pamatideja ir balstīta uz paralēlām līnijām, kuras krustojas saplūšanas punktos (Vanishing Point(VP))
• Trīs savstarpēji perpendikulāri saplūšanas punkti ir nepieciešami attēla analīzei– Parasti tiek lietoti kalibrācijas objekti, lai noteiktu trīs VP– Bet parasti uz ceļa šādi objekti nav pieejami
25
4. Meklēšanas telpas sašaurināšana(5/11). Saplūšanas punktu atrašana.
Metodes tips Pozitīvās īpašības Ierobežojumi
Automātiskā Mazāk darba lietotājam Rezultāts iespējams neuzticams
Lietotāja līdzdalība Lielāka uzticamība Ierobežots informācijas apjoms
• Metode ar lietotāja līdzdalību pielietota:– Lietotājam jāievada:
• 3 pāri ar savstarpēji perpendikulārām paralēlajām līnijām• Viens cilvēka lieluma objekts
– Līnijas X un Y virzienā nepieciešams automātiski pielabot jo:• Līnijām savstarpējais leņķis uz projekcijas attēla ir ļoti neliels• VP trijstūra ortocentrs ir optiskais centrs attēlā• Attēla optiskais centrs tiek pieņemts atrodamies attēla centrā, kas ir
patiesi jebkurai modernai kamerai.
26
Orthocenter
Principal point
4. Meklēšanas telpas sašaurināšana(6/11). Optiskais centrs, attēla centrs, ortocentrs
• Ortocentrs sakrīt ar optisko centru attēlam• Optiskais centrs atrodas attēla centrā
(every modern camera is built to have principal point at center of image)
• Attiecīgi optiskais centrs var tikt pieņemts, kā zināms mainīgais, ko varam izmantot ortocentra validācijā
27
Large mutual slope of vanishing lines
Small mutual slope of vanishing lines
User interactionerror = ε
User interactionerror = ε
Error in vanishingpoint estimation
Error in vanishingpoint estimation
4. Meklēšanas telpas sašaurināšana(7/11). Saplūšanas punkts pie dažāda slīpuma paralēlo
līniju projekcijas.
28
4. Meklēšanas telpas sašaurināšana(8/11). VP noteikšana.
Region to pick random new endpoint from X direction parallel linesY direction parallel linesZ direction parallel lines
Principal point
Current orthocenter of VP triangle
29
Initialize image center
Initialize 16 random values
New X vanishing point;Random new 8 coordinatesfrom defined small range
New Y vanishing point
Compute the new orthocenter;While orthocenter is not in image center
4. Meklēšanas telpas sašaurināšana (9/11). VP
estimation. Computeinitial orthocenter
30
4. Meklēšanas telpas sašaurināšana(10/11). Cilvēka izmēra
projekcijas noteikšana.
Horizonline
Z VP
Y VP
Human referenceUnknown
human
height
Line from point of interest (foot) to Y VP
Line from reference
head to Vn
X VP
Line through reference foot and
point of interest foot
Intersection of Horizon line and line through
reference foot and point of interest foot
Estimated human height
31
4. Meklēšanas telpas sašaurināšana(11/11). Projected human height estimation from VP and reference.
Convert points to 3Dvectors
Compute cross product
Human height isdifference between head and foot points
32
Eksperimenti(1/10).• Cilvēka izmēra noteikšana• Adaptīvās maskas efekts gājēju noteikšanā
– Publiskos datos– NTHU CVLAB Day monocular pedestrian dataset– NTHU CVLAB Night monocular pedestrian datasets
33
Eksperimenti(2/8). Cilvēka izmēra noteikšana.
34
Eksperimenti(3/8). Rezultāti uz publiskiem datiem.
* - Results from:
0 2 4 6 8 100
0.05
0.1
0.15
0.2
0.25
0.3
0.35Daimler Optional Pedestrians
UniformAdaptive
Average False positive per frame
Dete
ctio
n ra
te
0 2 4 6 8 100
0.10.20.30.40.50.60.70.80.9
1Daimler Required pedestrians
UniformAdaptiveGavrila NN/LRF*Gavrila Cascade*Gavrila HOG*
Average False positive per frame
Dete
ctio
n ra
te
35
Eksperimenti(4/8). NTHU CVLAB Day monocular pedestrian dataset.
Rezultāti
0 10 20 30 40 50 600
0.10.20.30.40.50.60.70.80.9
1
Daytime sequence
UniformAdaptive
Average False Positive per frame
Dete
ctio
n Ra
te
36
Eksperimenti(5/8). NTHU CVLAB Night monocular pedestrian dataset Rezultāti.
0 5 10 15 20 25 30 35 400
0.10.20.30.40.50.60.70.80.9
1
UniformAdaptive
Dete
ctio
n Ra
te
0 2 4 6 8 10 12 14 16 180
0.10.20.30.40.50.60.70.80.9
1
Uniform
Adaptive
Dete
ctio
n ra
te
0 20 40 60 80 100 120 1400
0.10.20.30.40.50.60.70.80.9
UniformAdaptive
Average False Positive per frame
Dete
ctio
n Ra
te
Night1
Night2
Night3
37
Eksperimenti(6/8). NTHU CVLAB Day monocular pedestrian dataset.
ParaugrezultātiUniform scan Adaptive
Daimler
NTHU Daytime
38
Eksperimenti(7/8). NTHU CVLAB Night monocular pedestrian dataset. Lietotāja ievads
HumanreferenceZ VP
Y VP
X VP
Humanreference
Z VP
X VP
Y VP
Humanreference
Z VP
X VP
Y VP
Night1
Night2
Night3
39
Eksperimenti(8/8). NTHU CVLAB Night monocular pedestrian dataset. Paraugrezultāti.
Dense Adaptive
Night1
Night2
Night3
40
Secinājumi un nākotnes pētījumi
• Izstrādāta metode lai samazinātu gājēju meklēšanas telpu
• Gājēju datubāzes izveide• Metodes efektivitāte pierādīta eksperimentos• GPU daudzkodolu iegultās sistēmas implementācija
ir plānotais nākotnes darbs• Nepieciešams izveidot reģionu grupēšanas metodi,
kura ir saderīga ar adaptīvo masku• Rezultātu kombinēšana no vairāka tipa sensoriem kā
arī stereo informācijas pielietojumi.
41
Paldies par uzmanību!
