物体境界情報を失わないSemi-Global Matching

○吉田裕 (東工大) 実吉敬二 (東工大)

1. はじめに

ステレオビジョンの分野において、二枚の画像ペアから視差マップを得るための様々なアルゴリズムは今日まで数多く提案されてきている。Semi-Global

Matching[2](以下、SGMと呼ぶ)は精度と計算量のコストパフォーマンスに優れたピクセルワイズ視差計算アルゴリズムであり（図 1）、広く用いられている手法である。しかし、その一方で物体境界が曖昧になってしまうという問題を抱えている。本稿では SGMの現在抱えている物体境界が曖昧になるという問題を解決し、更に物体の内部についても詳細に視差を得られる手法を提案する。

図 1精度と速度の関係

図 2基準画像 (右)と比較画像 (左)

図 3 SAD(3×3 ウィンドウ) による視差マップ (左)、SGMによる視差マップ (右)

2. SGM

2.1 概要

この手法は視差マップを生成するためのコスト関数を一次元のパス上で最適化計算することで得るという手法である。計算の手順を次に示す。図 4のように画像の端からピクセル pへ向かってあ

るパス rを取ったとき、r̂を長さが 1で rと平行なベクトルとすると次のような漸化式Lrによりパス r上でのエネルギーが計算される。

Lr(p, d) = C(p, d) + min{Lr(p− r̂, d),

Lr(p− r̂, d− 1) + P1, Lr(p− r̂, d+ 1) + P1, (1)

miniLr(p− r̂, i) + P2} −min

iLr(p− r̂, i)

P1 = const. (2)

P2 = P ′2/(I(p)− I(p− r̂)) (3)

(I(p) : pにおける輝度)

図 4 SGM：任意のパス r 図 5 8方向から計算を行う

Lr に r上の前のピクセルの Lr の値が選択されて加えられる漸化式になっていることで最適化が行われている。第二項の選択肢の中で前のピクセルとの視差の差が

1である場合には P1、1より大きい場合には P2というペナルティーを科している。この２つのペナルティーにより物体の内部では平滑化が行われ、物体の境界では一度平滑化が中断し再スタートするようになっている。第三項は漸化式計算を行っていくときに式の値が際限なく大きくなってしまうことを防ぐため項である。この計算を図 5のように８方向から行うことで近似

的に全体最適化を実現する。各方向の Lrの和をとったものを新たなコスト S として定義し視差を求めることで図 3の右のような視差マップが得られる。図 2はその元となった画像である。

S(p, d) =∑r

Lr(p, d) (4)

なお、図 3の左の画像は中心となるピクセルの周囲に3×3の大きさのウィンドウを作り、SADによりコストを計算し求めた視差マップである。そして、右の画像は左の画像を生成する際に得られた SADの値を初期コストとし SGMを行った結果得られた視差マップである。ペナルティーの値はそれぞれ P1 = 5, P ′

2 = 30であ

RSJ2014AC2J2-05

第32回日本ロボット学会学術講演会（2014年9月4日～6日）

る。それぞれの画像で黒くなっている部分は基準画像と比較画像を入れ替えて得られた視差マップとの比較から計算したミスマッチングおよびオクルージョンである。SGMによる平滑化処理が行われたことで SAD

の視差マップでは多くあったミスマッチングが消えていることがわかる。

3. SGMの問題点現在、SGMが抱える問題として物体境界が膨らんで

しまうということがある。

図 6元画像に重ねた SAD

図 7 元画像に重ねた SGM（図 6のコストを使用、P1 =5, P ′

2 = 30）

図 6、7は図 3の視差画像をそれぞれ元画像の上に重ねたものである。図 7では図 6と比べて手前にある物体の視差が背景方向へと膨らんでいる部分がいくつか見られる。特に左側のボトル（白線で囲んだ部分）では視差が背景側に広がっていることがわかる。これはパス上で漸化式計算を行っていくときに、始めの仮定に反して物体境界においても平滑化が継続して行われてしまうことに起因している。すなわち、式 2の第二項で四番目の項が選択されることで平滑化が一度中断され、そこから再スタートするという仕組みになっていた部分がうまくいっていないということである。その原因として次のことが挙げられる。

1. 輝度差の小さい物体境界ではP2の軽減が弱くなる

2. 輝度差の逆数を掛けることによる P2 の軽減よりも C(p, d)、C(p − r̂, d)の差による影響の方が支配的である

3. 背景部分にテクスチャが少なくコストの信頼性が低い（コストの起伏が弱い）

1番目の原因については最初の仮定の綻びと言えるが、現実の環境においては物体境界であっても輝度差のない部分が存在するために起こる。2番目の原因は式 2の計算において P ′

2 を適切な大きさに設定するとLr(p− r̂)の影響が大きくなってしまうということである。P ′

2を Lr(p− r̂)と同等の重みにしようと設定すると今度は平滑化のリスタートが行われなくなってしまうということが起こる。3番目の原因については、SGM

はコストという情報を平滑化する手法であるためその信頼性に偏りがあると一方が強くなりすぎてしまうということになる。従って、物体境界は手前にある物体の視差になっている状態で背景のコストの起伏が弱く信頼性が低い場合には手前の物体の視差が背景側に流れ込んでしまうということが起こる。図 8は左から右に向かうパス上で平滑化がリスター

トした点を赤色で塗ったものである。概ね正しい位置でリスタートが行われているように見えるが、拡大すると上で述べた現象が起きていることがわかる。

図 8水平右向きのパスにおける平滑化リセットの様子

図 9クッションの境界部分の拡大図

4.章ではこれらの問題の解決策を提案し、5.章では解決案の実現に向けたアプローチについて説明する。

4. 提案手法についてこの章では前章での SGMの問題点に関する考察か

ら改善策を提案し、その改善策の結果を検証した。

4.1 概要

前章での SGMの物体境界の問題は式 2において輝度差による P2の軽減だけで平滑化のリスタートを行おうとしていたことにある。理想的な視差平滑化は視差空間において連続した面を持つ領域内だけで行われる

RSJ2014AC2J2-05

第32回日本ロボット学会学術講演会（2014年9月4日～6日）

ことである。そのため、画像内で物体境界のみを抽出することが出来れば理想的な平滑化が可能となり、また、連続した面内であることが保証されれていることにより平滑化の正確性が高まることが期待される。図10は元画像からCanny法で輝度エッジ画像を作成したものである。Canny法によるエッジ画像では輝度差の小さいところも抽出することが出来、物体境界のエッジをよく抽出出来ている。

図 10 Canny法を用いたエッジの抽出

このようなエッジ画像から物体境界のみを抽出し、SGMに取り入れることで理想的な平滑化を行うことが出来ると考えられる。次章で物体境界情報を得る手法について現在進めている段階まで説明するが、ここでは物体境界情報が得られたと仮定して話を進めていく。

図 11提案手法の概要

4.2 詳細

物体境界情報がどちらが背景でどちらが物体であるかという向き情報を値として持った画像という形で得られたとき、B を次のような関数として定義する。

B(p) =

0 (p = ObjectBoundary)

1 (otherwise)(5)

ただし、物体境界のピクセルは物体側に属するものとする。このとき、SGMのLrを次のように定義し直す。

1. 背景から物体へ入り込むパスの場合

Lr(p, d) = C(p, d)

+B(p)(min{Lr(p− r̂, d), Lr(p− r̂, d− 1) + P1, (6)

Lr(p− r̂, d+ 1) + P1} −miniLr(p− r̂, i)

)2. 物体から背景へ出ていくパスの場合

α を 1～5程度の間で任意に決める正の定数として

(1) B(p− r̂) = 0を含めた α ピクセルの間

Lr(p, d) = 0 (7)

(2) B(p− r̂) = 0から α 先のピクセル

Lr(p, d) = C(p, d) (8)

(3) それ以降 B(p) = 0となる直前まで

Lr(p, d) = C(p, d)

+min{Lr(p− r̂, d), Lr(p− r̂, d− 1) + P1, (9)

Lr(p− r̂, d+ 1) + P1} −miniLr(p− r̂, i)

背景から物体に入り込むパスの場合は物体境界でB(p) = 0となることで平滑化のリスタートが行われる。物体から背景へ出ていくパスの場合は、初期コストの段階から元々ある視差のはみ出しを考慮して定数α分だけ離れた位置から平滑化のリスタートが行われるように定義している。

4.3 検証結果

エッジ画像から物体境界に相当するエッジのみを抽出する方法はまだ確立出来ていないため、ここではマニュアルで作成したエッジ画像を用意し、提案する手法の効果を検証した。図 12はその結果である。初期コストとして 3×3SADを使用している。また、α = 3とした。

図 12物体境界情報を取り入れた SGMの結果

黒い線は物体境界エッジ画像のエッジを示している。オクルージョンを消去する処理については検討中であ

RSJ2014AC2J2-05

第32回日本ロボット学会学術講演会（2014年9月4日～6日）

るため右側の物体境界についてはオクルージョンが原因のミスマッチングが大きく出てしまっているが、籠やスプレーなどの物体の左側の境界については元の境界情報をよく保持できていることが確認できる。物体の右側の境界についても既に境界位置がわかっているのでうまく処理をすることで左側の境界と同様に出すことが出来ると考えられる。初期コストとして 3 × 3

ウィンドウの SADを使用しているため元々物体境界が若干膨らんでいた部分についても平滑化されて修正されている。

5. Snakeを用いた物体境界の取得この章では現在進めている物体境界のエッジを取得

する手法について説明する。現在は動的輪郭抽出アルゴリズムである Snakeを用いて物体境界を抽出することを目指している。

5.1 Snake[3]

Snakeは物体の周囲に取った包括線を縮めていくことで動的に輪郭を抽出アルゴリズムである。線と線を繋ぐ点を設定したエネルギーに従って動かすことで包括線を縮めていく仕組みになっている [3]。一般的に Snake

は包括線の初期値を任意に設定する必要があるが、今回は視差画像から抽出した物体境界（図 11の右中段）を初期包括線として用いる。図 14は Snakeを行った結果の例である。黄色が視差画像から取得した初期輪郭、赤色の点が動かす点、青色の線が Snakeによる輪郭である。初期輪郭と比較して実際に近い輪郭を得られていることがわかる。しかし、このままの精度では SGM

に用いる物体境界情報としてはまだ足りていないので改良が必要である。

図 13 Snakeのイメージ

図 14 Snakeの結果

5.2 Snakeの改良

図 14で右下、下部分の輪郭が膨らんでしまっていることの原因は背景のエッジに点が嵌ってしまっていることである。そこで次のように条件を付けくわえた。

1. ループを最初に少し（3回程度）回した後、一度包括線を線分に区切り、方向の似た輝度エッジがある位置へと線分を移動させる。その後、Snakeのループを再び開始する

2. 包括線と同じ向きのエッジにだけ嵌る

1つ目の条件を付けることにより、大きくはずれた位置にあった点を正しい輪郭へ収まることの出来る範囲に持ってくることが出来る。最初にループを少し回すのは包括線の形を整えるためである。そして、1つ目の条件でおおよその正しい位置まで移動した点群に対し、2つ目の条件を付けることで背景部分のエッジの影響を更に抑え物体の輪郭を正しく捉えられる確率が高まる。この２つの条件をつけて Snakeを行った結果が図 15である。

図 15条件を加えた結果

左下の角の部分が中に入り込んでしまっているがほぼ正確に輪郭を捉えることが出来ている。左下の角が中に入り込んでしまっている原因の一つとしては角の部分ではエッジの向きが曖昧になっていることがあると考えられる。

6. まとめと今後の展望今回、高い精度で視差マップを生成出来、精度に対す

る速度の面で優れた手法である Semi-Global Matching

の抱える物体境界の曖昧性の問題を解決し精度を向上することを目的として、物体境界情報を事前に取得する方法を提案し結果の検証を行った。事前に物体境界情報を取得しておくことで正しい領域内で平滑化が行われ物体境界の精度を高められることが確認出来た。Snakeを用いた物体境界の抽出は一定の成果をあげられており、今後も研究を進めていく予定である。

参考文献

[1] K.Saneyoshi, K.Hanawa, K.Kise: ”Image RecognitionSystem for Active Drive Assist”, AVEC‘ 92, 280-285(1992)

[2] Hirschmuller, Heiko: ”Accurate and efficient stereoprocessing by semi-global matching and mutual infor-mation”, Computer Vision and Pattern Recognition,2005. CVPR 2005. IEEE Computer So-ciety Confer-ence on, Vol. 2, pp.807 - 814, 2005.

[3] Michael Kass, Andrew Witkin, Demetri Terzopoulos:”Snakes: Active contour models”, International Jour-nal of Computer Vision Volume 1, Issue 4 , pp.321-331, 1988.

RSJ2014AC2J2-05

第32回日本ロボット学会学術講演会（2014年9月4日～6日）