Karma Kamera Sistemleri için Otomatik Nokta Eşleştirme ve Gürbüz Temel Matris Kestirimi

Automatic Point Matching and Robust Fundamental Matrix Estimation for Hybrid Camera Scenarios

Yalın Baştanlar, Alptekin Temizel, Yasemin Yardımcı

Enformatik Enstitüsü, Orta Doğu Teknik Üniversitesi {yalinb,atemizel,yardimy}@ii.metu.edu.tr

Özetçe

Bu bildiride farklı tipte kameralar içeren sistemlerde temel

matrisin gürbüz kestirimi için bir yöntem önerilmektedir.

Çalışmamızda karma imge çiftleri bir katadioptrik tümyönlü

kamera bir de normal perspektif kamera ile alınmıştır.

Otomatik nokta eşleştirme için ölçekten bağımsız öznitelik

dönüşümünü (SIFT) kullandık ve önerdiğimiz imge önişleme

ile eşleştirme sonuçlarını belirgin miktarda iyileştirdik.

Ayrıca, tümyönlü imgelerden bükme sonucu elde edilen ve

perspektif imge özellikleri taşıyan sanal kamera düzlemi

(VCP) görüntülerini kullanarak da eşleştirme yaptık. Her iki

yaklaşım da başarılı sonuçlar üretebilmesine rağmen VCP-

perspektif eşleştirmenin tümyönlü-perspektif eşleştirmeye göre

özellikle artan kameralar arası uzalığa karşı daha gürbüz

olduğunu gözlemledik. Nokta eşleştirmenin ardından, hem

temel matrisin gürbüz bir şekilde kestirimi hem de yanlış eşleştirmelerin elenmesi amacıyla karma epipolar geometriye

dayalı rasgele örnek onaylaşımı (RANSAC) gerçekleştirdik.

Abstract

In this paper, we propose a method to estimate the

fundamental matrix for hybrid cameras robustly. In our study

a catadioptric omnidirectional camera and a perspective

camera were used to obtain hybrid image pairs. For

automatic feature point matching, we employed Scale

Invariant Feature Transform (SIFT) and improved matching

results with the proposed image preprocessing. We also

performed matching using virtual camera plane (VCP)

images, which are unwarped from the omnidirectional image

and carries perspective image properties. Although both

approaches are able to produce succesful results, we observed

that VCP-perspective matching is more robust to increasing

baseline when compared to direct omnidirectional-perspective

matching. We implemented RANSAC based on the hybrid

epipolar geometry which enables robust estimation of the

fundamental matrix as well as elimination of false matches.

1. Giriş

Tek bir imgede 360˚ görüntüleme sağlayan tümyönlü kameraların kullanımı özellikle son on yılda önemli bir artış göstererek, güvenlik [1] ve 3B geriçatım [2] da dahil çeşitli alanlarında yaygın olarak kullanılmaya başlanmıştır. Tümyönlü imge elde etmek için en sık kullanılan yöntem

kamera önüne dışbükey aynalı aparatlar yerleştirmektir. Bu sistemler ulaşılabilir fiyatlıdır ve çoğunlukla kolay modellenebilir imge oluşturma geometrileri vardır [3,4]. Kamera merceği ve aynadan oluşan bu görüntüleme sistemleri için katadioptrik (catadioptric) sıfatı kullanılır. Tümyönlü kameralar ile perspektif kameraları beraber kullanarak 3B yapı çıkarımı yapılırsa, tümyönlü kameraların sağladığı geniş görüş açısı avantajı korunup, tümyönlü imgelerin çözünürlük problemi normal kameralar ile giderilebilecektir. Ancak karma kamera sistemleriyle 3B yapı çıkarımı yapmak için nokta eşleştirme, epipolar geometri kestirimi ve üçgenleme gibi basamaklar için yeni yaklaşımlar geliştirilmesi gerekmektedir. Sunulan çalışma nokta eşleştirme ve gürbüz temel matris kestirimi basamakları üzerinedir. Nokta eşleştirme için karesel mesafelerin toplamı (sum of squared differences, SSD) veya düzgeli karşılıklı ilinti (normalized cross-correlation, NCC) gibi klasik yöntemler karma kameralar için kullanılamaz. Ölçekten ve dönmeden bağımsız yöntemler (ör: SIFT [5], MSER [6]) ise bir miktar doğru eşleştirme yapabilmekle beraber sadece perspektif kameralar için uygulandığındaki başarıya ulaşamamaktadır. Çalışmamızda bir katadioptrik tümyönlü kamera bir de normal perspektif kamera imgeleri ile SIFT’i kullanan ve daha yüksek eşleştirme başarımı elde eden bir yöntem öneriyoruz. Ayrıca, tümyönlü imgelerden elde edilebilen sanal kamera düzlemi (VCP) görüntülerini kullanarak da eşleştirme yaptık. VCP (virtual camera plane) imgeleri yaklaşık kalibrasyon bilgisi kullanarak tümyönlü imgenin belirli bir bölümünün bükülmesi ile oluşturulur (ayrıntılar Bölüm 2’de verilmiştir). Bu sayede katadioptrik kameranın merkezinden perspektif kamera ile alınmış bir imgeye yakınsanılmış olur. İlgili literatür incelendiğinde, Ramalingam ve diğ. [7] karma kameralar için hareketten yapı çıkarımı üzerine çalışmışlar, nokta eşleştirme için SIFT deneyip başarısız bulduklarından eşleniklerini elle saptamışlardır. Chen ve Yang [8] karma kamera imgeleri için düzlemsel homografiye dayanan ve imgedeki bölgeleri eşleştiren bir yöntem geliştirmişlerdir. Karma kameralar için değilse de VCP kullanan bir çalışma Mauther ve diğ.[9] tarafından yapılmıştır. Kalibre edilmiş iki tümyönlü kamera imgesi arasındaki eşlenikleri saptamak için SIFT [5], MSER [6] ve Harris [10] de içeren bir dizi yöntem kullanmışlardır. Bildiğimiz kadarıyla karma imgeler için otomatik eşleştirme üzerine literatürdeki tek çalışma Puig ve diğ. [11] tarafından yapılmıştır. Tümyönlü imgeden panoramik imge elde edip panoramik-perspektif SIFT eşleştirmesi yapmışlar ve performansın arttığını gözlemlemişlerdir.

Biz bu çalışmamızda, önerdiğimiz imge önişleme yolu ile katadioptrik-perspektif SIFT eşleştirme başarımının, panoramik veya VCP çevrimi yapılmadan bile, önemli miktarda artırılabileceğini gösterdik. Katadioptrik imgeden elde edilecek VCP imgeleriyle yapılan VCP-perspektif eşleştirmesinin ise özellikle kameralar arası uzaklığın arttığı durumlarda daha iyi sonuçlar verdiğini gözlemledik. Ayrıca karma imgeler için temel matris kestiriminde koordinat normalizasyonu ve ceza fonksiyonu üzerine incelemeler yaptık ve gürbüz kestirim için karma epipolar geometriye [17] dayalı rasgele örnek onaylaşımı (RANSAC, [12]) gerçekleştirdik. Bunu aynı zamanda SIFT çıktısındaki yanlış eşleştirmeleri elemek için de kullandık (Bölüm 4). Deneylerimizin detaylarını ve sonuçlarını Bölüm 5’te, değerlendirmemizi ise Bölüm 6’da aktardık.

2. Sanal Kamera Görüntüsü Yaratma

Tümyönlü imgeden sanal perspektif imge oluşturmak için VCP (virtual camera plane) kullandık. İşlemi, tümyönlü imgedeki pikselleri kullanarak imgeyi oluşturan ışınlar sanal bir kamera düzlemine düşmüş gibi yeni bir imge oluşturma olarak özetleyebiliriz. Bu işlem, kamera içsel parametreleri varolan yöntemlerle [13-15] tespit edilerek doğrudan yapılabilir. Eğer kalibrasyon mümkün değilse de yaklaşık bir imge yaratmak mümkündür ve bu çalışmamızda da gösterdiğimiz gibi önerdiğimiz yöntem için yeterlidir. Bu durumda görüntü merkezi (principal point) tümyönlü imge çemberinin merkezi kabul edilir. Eğer ayna parabolik ise bir ayna parametresi vardır (h) ve sadece ölçeği etkilemektedir. Bu parametre piksel cinsinden sahnede ayna ile aynı yükseklikte bir objenin imgedeki yerinin görüntü merkezine olan uzaklığına eşittir. Eğer ayna hiperbolik ise parametreler üretici tarafından verilebilir1 ya da şekli paraboliğe yakın ise öyle varsayılabilir. Sanal perspektif imgeyi oluşturmak için ayna odak noktasından (orijin) belirli bir mesafede ve belirli doğrultuda bir düzlem tanımlanmalıdır (Şekil 1). Bu düzlemde oluşacak imgedeki bir pikselin (xv , yv) katadioptrik imgedeki karşılığı (xi , yi) parabolik ayna için aşağıdaki şekilde bulunur [16]:

S

SSSS

i XZYXZ

hx ⋅

+++

=222

2 2 2

i S

S S S S

hy Y

Z X Y Z= ⋅

+ + +

(1)

Burada (XS,YS,ZS) sanal imgedeki pikselin orijine göre 3B koordinatlarıdır. Şekil 4’te sol-üst köşedeki imgede beyaz çemberin yarıçapı h parametresini vermektedir. Aynı sahne için alınan perspektif imgelerle eşleştirme yapılacağından o imgelerin kapsadığı bakış açısını içerecek şekilde bir azimut, dikey açı, mesafe ve büyüklük tanımlanarak VCP bükümü yapılır ve sağ-üst köşedeki imge elde edilir.

3. Nokta Eşleştirme

Nokta tespiti ve eşleştirme için Andrea Vedaldi’nin SIFT gerçekleştirimini kullandık 2 . Uygulamamızda birebir eşleştirme için bir değişiklik yaptık. Orijinal algoritmada ilk imgedeki bir nokta için ikinci imgedeki en iyi eşlenik bulunup

1 NeoVision ürünün ayna parametreleri için: http://www.neovision.cz 2 http://vision.ucla.edu/~vedaldi/code/sift/sift.html

Şekil 1: Parabolik aynalı bir katadioptrik kamerada VCP ile sanal perspektif imge oluşturma. ‘eş’ olarak atanmaktadır. Bu şekliyle ikinci imgedeki bir nokta için ilk imgede birden fazla ‘eş’ çıkması mümkündür. Ayrıca bu yaklaşımla imgeler algoritmaya verilirken hangi sıra ile verildiğine bağlı olarak farklılık oluşmaktadır. Bu dezavantajı ortadan kaldırmak için SIFT’i çift yönlü çalıştırarak bir eşleştirmeyi ancak iki yönde de tespit edildiyse onaylamayı uygun bulduk. Katadioptrik kamera imgesi bir aynadan yansıyarak oluştuğundan imge tersyüz edilmiştir. Bu etkiyi, imgeyi görüntü merkezinden geçecek bir çizgiye göre tekrar tersyüz ederek giderdik. Sahnedeki objeler için perspektif imgenin çözünürlüğü tümyönlü imgeye göre fazladır. SIFT ölçek uzayında ifade etmek gerekirse tümyönlü imgenin birinci oktavında tespit edilen noktaların doğru eşlenikleri, perspektif imgenin bulanıklaştırılmış ve küçültülmüş daha ileri oktavlarında bulunmaktadır. Doğrudan katadioptrik-perspektif eşlemesi yapıldığında SIFT’in perspektif imgenin ilk oktavlarında çok sayıda nokta tespit ettiğini ve bunların bir kısmının yanlış bir şekilde tümyönlü imgede tespit edilmiş noktalarla eşlendiğini gözlemledik. Yine deneylerimizde gördük ki, eğer perspektif imge ancak tümyönlü imgenin içerdiği detayları (yüksek frekansları) içerecek şekilde bir Gauss filtresi ile bulanıklaştırılırsa, ilk oktavlarda tespit edilen nokta sayısı düşerek yanlış eşleştirmeler önemli ölçüde azalmaktadır. Bulanıklaştırma ile ilgili detaylar Bölüm 5’te verilmektedir.

4. Gürbüz Temel Matris Kestirimi

Karma imgeler arasındaki epipolar geometri para-katadioptrik (parabolik aynalı katadioptrik) kameralar için Sturm [17] tarafından anlatılmıştır. Barreto ise aynı yaklaşımın lens bozunumlu kameralar için de kullanılabileceğini göstererek kapsamını genişletmiştir [18]. Bu çalışmalara göre bir perspektif kamera ve bir para-katadioptrik kamera arasındaki bağıntı 3x4’lük bir temel matris (Fpc) ile açıklanır. Perspektif ve katadioptrik imgedeki eşlenik noktalar sırasıyla qp ve qc olsun ve homojen 2B koordinatlar olarak 3-vektör ile gösterilsin. Katadioptrik imgedeki eşlenik nokta bir konik (eğri) üzerinde bulunmaktadır. Bu ilişkiyi doğrusal olarak ifade edebilmek için katadioptrik imgedeki eşlenikler için ‘yükseltilmiş koordinatlar’ kullanılır. Para-katadioptrik imgelerde (x,y) pikseli için yükseltilmiş koordinatlar:

)1,,,(ˆ 22yxyxqc += (2)

xv

tümyönlü imge düzlemi

sanal kamera düzlemi (VCP)

ayna yüzeyi

odak noktası (0,0,0)

X

Y

Z

(xi ,yi) 3B sahnede bir nokta

P(X,Y,Z)

y

x

S (XS,YS,ZS) P noktasının VCP üzerine izdüşümü

h

yv

Omni1

masa

pano

1 m.

1 m.

Omni2 2 m.

2 m.

Pers1

Pers2 Pers3

Pers4

Yine para-katadioptrik imgelerde epipolar konik bir çemberdir ve dört parametre ile belirlenip bir 4-vektör ile gösterilebilir: cc=(c1,c2,c3,c4)

T. Buradan hareketle noktaların eşlenik konik ve doğru üzerinde olmaları sırasıyla

ˆ 0Tc cq c = 0T

p pq l = (3)

şeklinde gösterilip geometrik bağıntılar şu şekilde yazılabilir:

cpcp qFl ˆ= p

Tpcc qFc = ˆ 0T

p pc cq F q = (4)

İlk nokta eşlenik kümesi elde edildikten sonra temel matris, RANSAC [12] algoritması uygulanarak gürbüz bir şekilde kestirilebilir. Şekil 2’de örnek bir imge çifti için bulunan temel matris ile çizilen epipolar doğru ve konikler gösterilmektedir. Bir eşleniğin doğru olup olmadığına karar vermek için bir ceza fonksiyonuna ihtiyaç duymaktayız. Noktaların üzerinde bulunmaları gereken epipolar eğriye ve doğruya olan uzaklıkları sırasıyla dl ve dc olursa toplam değer d = dl + dc kabul edilerek, ‘d > eşik değeri’ olan eşlenikler elenir. Ceza fonksiyonunun ağırlıklı olarak dl ’ye veya dc ’ye bağlı olması durumlarında belirgin bir fark gözlemlemediğimizden dolayı eşit ağırlık değerleri kullandık. Eşlenik nokta koordinatlarının temel matris kestirimi öncesi normalize edilmesinin önemi perspektif imgeler için bilinmektedir [19]. Karma imgelerde normalizasyonun önemi ve nasıl yapılması gerektiğini inceledik. Koordinatları yükseltmeden önce normalize ettik ve perspektif kameralarda olduğu gibi önce orijini noktaların ağırlık merkezine taşımanın ve ardından noktaların orijine olan uzaklıkları ortalaması √2 olacak şekilde ölçeklendirmenin en uygun sonucu verdiğini tespit ettik. Tablo 1’de farklı sayıda nokta ile normalize edilerek ve edilmeden temel matris hesaplanması sonucu çıkan hata (ceza fonksiyonu) değerleri verilmiştir. Tablo 1: Temel matrisin farklı normalizasyon durumları ve farklı sayıda nokta ile hesaplandığında ceza fonksiyonu ortanca değerleri (nokta seti değiştirilerek yapılan 30 tekrarın ortalaması).

12 nokta ile 24 nokta ile 36 nokta ile Normalizasyon yok 239 piksel 216 piksel 193 piksel Normalizasyon var 10.3 piksel 2.25 piksel 2.13 piksel

Şekil 2: Karma epipolar geometri, epipolar doğrular/konikler.

5. Deneyler

5.1. SIFT Eşleştirme Sonuçları

Şekil 3’te resmedildiği gibi bir laboratuvar ortamı oluşturduk ve belirtilen noktalardan alınan perspektif ve tümyönlü imgelerle deneyler yaptık. Bu kurulum ile kameralar arası mesafe (baseline) sahneye göre yatay veya dikey yönde arttığındaki etkileri de gözlemleyebildik. Örnek imgeler Şekil 4’te verilmiştir. Karşılaştırmada belirli bir çift için eşleştirilen nokta sayısını sabit tuttuk. Bunu SIFT’in, eşleştirmenin

sağlamlığını ikinci adayla eşleştirmenin sağlamlığına oranlayan eş seçme eşik değerini değiştirerek yaptık. Sonuçlar doğru/toplam eşleştirme oranı olarak Şekil 5a ve 5b’de Omni1 ve Omni2 tümyönlü imgeleri için sunulmuştur.

Şekil 3: Deneylerde kullanılan imgelerin alındığı kameraların konum ve yönelimleri

Şekil 4: Deneyde kullanılan imgeler. En üstte Omni1 ve ondan elde edilen sanal perspektif imge (VCP1), altında Omni2 ve ondan elde edilen sanal perspektif imge (VCP2), en altta Pers1 ve Pers4. Eşleştirme performansı ile ilgili birinci bulgumuz eğer perspektif imge bulanıklaştırılırsa SIFT performansının önemli ölçüde artması oldu. Şekil 5’te düz ve kesikli çizgileri karşılaştırınız. Bulanıklaştırma miktarını parametreye bağlamak için kullandığımız Gauss filtresinin standart sapmasını (σ) sahnenin aynı bölümünün perspektif ve tümyönlü imgede kapladığı alanın oranı ile ilişkilendirdik. Örneğin perspektif imgemizin yüksekliği 800 piksel ise ve sahnenin aynı bölümünün tümyönlü imgede temsil edildiği alanın yüksekliği 400 piksel ise σ =800/400=2 piksel olarak atadık. Şekil 5’te PersNg2, σ = 2 Gauss filtresi ile, PersNg4 de σ = 4 Gauss filtresi ile bulanıklaştırılmış N sayılı perspektif imgeyi ifade eder.

VCP için de iki tür imge kullandık. N sayılı tümyönlü imgeden çift-kübik aradeğerleme ile elde edilenleri VCPNbi3, çift-doğrusal aradeğerleme ile elde edilenleri VCPNbi2 ile kodladık. Bulanıklaştırılmamış perspektif imgeler çift-doğrusal aradeğerlemeli VCP ile daha iyi sonuç verdiğinden grafikte o değerleri kullandık. Şekil 5’te Pers1’den Pers4’e kadar kameralar arası mesafe (baseline) artmaktadır. Mesafe arttıkça problemin doğasından dolayı eşleştirme başarısı düşmektedir. İkinci önemli bulgumuz VCP-perspektif eşleştirmesinin artan kameralar arası mesafeyle beraber tümyönlü-perspektif eşleştirmesine göre daha başarılı kalması oldu. Şekilde düz üçgenli çizgi ile düz kareli çizgiyi karşılaştırınız. Bu nedenle VCP yöntemini tercih etmenin daha uygun olduğu kanısındayız.

Şekil 5: Omni1-PersN (a) ve Omni2-PersN (b) imge çiftleri için doğru/toplam eşleştirme oranı (yüzde olarak)

5.2. RANSAC Sonuçları

Temel matrisin gürbüz tespiti ve beraberinde yanlış nokta eşleniklerinin elenmesi için uygulanan RANSAC sonucu, kameralar arası uzaklığı nispeten fazla olan imge çiftleri için Tablo 2’de verilmiştir. Görüldüğü üzere ilk kümede bulunan yanlış eşleştirmeler RANSAC sonrası büyük oranda elenmiş ve temel matrisin hesaplanmasında kullanılmamıştır. Yanlış eşlerle beraber, ‘d > eşik değeri’ olan birkaç doğru eşleştirme de RANSAC ile elenmiştir. Halen bir ya da iki yanlış eş var ise bu söz konusu noktaların eşlenik epipolar doğruya/koniğe tesadüfen yakın olması nedeniyledir. Belirtmek gerekir ki RANSAC’ı her zaman orijinal imgeler üzerinde uyguladık. Yani VCP yaklaşımında önce eşlenen noktaların tümyönlü görüntüdeki koordinatlarını hesapladık. Bu sayede her iki yaklaşımda d için aynı eşik değerini kullanabildik. Tablo 2: RANSAC sonuçları. Ceza fonkisyonu değeri d=10 piksel.

İlk eşleştirme RANSAC İmge çiftleri Toplam D/Y (D/toplam%) D/Y Pers3g2 - Omni1 75 69/6 (92%) 64/1 Pers3g2 - VCP1bi3 75 73/2 (97%) 69/0 Pers4g2 - Omni1 60 50/10 (83%) 46/0 Pers4g2 - VCP1bi3 60 54/6 (90%) 51/0 Pers3g2 - Omni2 60 52/8 (87%) 49/1 Pers3g4- VCP2bi3 60 56/4 (93%) 54/0 Pers4g2 - Omni2 45 31/14 (69%) 26/2 Pers4g4 - VCP2bi3 45 41/4 (91%) 40/1

6. Değerlendirme

Bazı geçmiş çalışmalarda karma kamera imgeleri için SIFT kullanmanın iyi sonuçlar vermediği belirtilmiştir [7, 11].

Çalışmamızda SIFT’in, önerdiğimiz imge önişleme yolu ile tümyönlü-perspektif nokta eşleştirme için kullanılabileceğini deneylerle gösterdik. Ayrıca, VCP-perspektif eşleştirmesini değerlendirip özellikle artan kameralar arası uzaklık için doğrudan tümyönlü-perspektif eşleştirmeye göre daha başarılı olduğunu tespit ettik. Karma imgeler için temel matris kestiriminde koordinat normalizasyonu ve ceza fonksiyonu üzerine incelemeler yaptık ve gürbüz kestirim için rasgele örnek onaylaşımı (RANSAC) gerçekleştirdik. Sonuç olarak, 3B geriçatımın ilk adımları olan otomatik nokta eşleştirme ve gürbüz temel matris kestirimini karma kamera imgeleri için gerçekleştirmiş olduk.

7. Kaynakça

[1] G. Scotti, L. Marcenaro, C. Coelho, F. Selvaggi, C. Regazzoni, “Dual camera intelligent sensor for high definition 360 degrees surveillance”, IEE Proc. Vision Image

Signal Processing, 152(2), 2005. [2] M. Lhuillier, “Toward flexible 3d modeling using a

catadioptric camera”, Proc. of CVPR, 2007. [3] S. Baker, S.K. Nayar, “A Theory of Single-Viewpoint

Catadioptric Image Formation”, Int. Journal of Computer

Vision 35(2), 175–196, 1999. [4] Y. Baştanlar, Y. Yardımcı, “Hiperbolik Aynalı Katadioptrik

Tümyönlü Kameralar için Parametre Çıkarımı”, Sinyal

İşleme ve Uygulamaları Kurultayı (SIU), 2005. [5] D. Lowe, “Distinctive image features from scale invariant

keypoints”, IJCV, 60:91–110, 2004. [6] J. Matas, O. Chum, M. Urban, T. Pajdla, “Robust wide

baseline stereo from maximally stable extremal regions”, Proc. British Machine Vision Conference (BMVC), 2002.

[7] S. Ramalingam, S. Lodha, P. Sturm, “A generic structure-from-motion algorithm for cross-camera scenarios”, Omnidirectional Vision Workshop (OmniVis), 2004.

[8] D. Chen, J. Yang, “Image registration with uncalibrated cameras in hybrid vision systems”, Workshop on the

Applications of Computer Vision, 2005. [9] T. Mauthner, F. Fraundorfer, H. Bischof, “Region matching

for omnidirectional images using virtual camera planes,” Proc. of Computer Vision Winter Workshop, 2006.

[10] C.G. Harris, M. Stephens, “A combined corner and edge detector,” Proc. of 4th Alley Vision Conference, 1988.

[11] L. Puig, J. Guerrero, P. Sturm, “Matching of omnidirectional and perspective images using the hybrid fundamental matrix”,Omnidirectional Vision Workshop (OmniVis), 2008.

[12] M. Fischler, R. Bolles, “Random sample consensus: A paradigm for model fitting with applications to image analysis and automated cartography”, Communications of

the ACM, 24(6), 1981. [13] J. Kannala, S. Brandt, “A generic camera calibration method

for fish-eye lenses”, Proc. of ICPR, 2004. [14] D. Scaramuzza, A. Martinelli, R. Siegwart, “A toolbox for

easily calibrating omnidirectional cameras”, IROS, 2006. [15] C. Mei, P. Rives, “Single viewpoint omnidirectional camera

calibration from planar grids”, Proc. of ICPR, 2007. [16] V. Peri, S. Nayar, “Catadioptric omnidirectional camera”,

Proc. of DARPA Image Understanding Workshop, 1997. [17] P. Sturm, “Mixing catadioptric and perspective cameras”,

Omnidirectional Vision Workshop (OmniVis), 2002. [18] J. Barreto, K. Daniilidis, “Epipolar geometry of central

projection systems using veronese maps”, Proc. of Computer

Vision and Pattern Recognition (CVPR), 2006. [19] R. Hartley, A. Zisserman, Multiple View Geometry in

Computer Vision, Cambridge Univ. Press, 2nd ed., 2004.