Fast 3D Reconstruction by Direct Stereo Image Alingment
ダイレクトステレオイメージアライメントによる高速3次元再構成（3次元サーフェス生成）

研究目的

実物体の3次元サーフェスモデルの生成は，CGによる実物体の描画や，イメージベースドレンダリング， CADデータ作成などの分野で利用されています．サーフェスモデルを生成するための代表的な手法として， レンジファインダやステレオ計測などによって得られたレンジデータを，ポリゴンメッシュやB-スプラインなどの サーフェスモデルに当てはめる手法があります．しかし，ステレオ計測をベースにした場合，計測データには誤差が 含まれているため，このような手法を用いた場合には，非常に複雑な計算を必要とします． このようなモデルあてはめを行う手法とは別に，画像からより直接的にサーフェスを生成する方法として， ステレオ画像間の輝度差をコスト関数に組み込んだ手法もいくつか提案されていますが， フォトリアリスティックなCG作成を目的としているため，これらの手法も計算時間についてはほとんど考慮されていません．

実物体のサーフェスモデル生成は，CG作成のためだけでなく，平面検出や物体認識など， さまざまなアプリケーションへの応用が可能であり，保持するデータ量の低減が必要な場合にも有効な技術です． 特に，ロボットの歩行や宇宙船の着陸などでは，歩行や着陸のための地表面の平坦領域検出や， 姿勢制御のための接地点の法線計測が必要不可欠といえ，サーフェス作成技術はこのような目的においても有力な手段です． サーフェス生成をさまざまなアプリケーションに応用するためには，より効率的なアルゴリズムが必要といえます．

本研究は，ステレオ画像から直接的かつ効率的に3次元サーフェス生成を行うことを目的としたものです．

概要

対象が平面である場合，ステレオ画像間の変形は，平面射影変換で関連づけられます． よって，対象形状を三角ポリゴンメッシュによって表現した場合，全ての平面射影変換を求めることができれば， ステレオ画像間の対応が得られ，対象物体の3次元サーフェスがモデル化できます．

本研究におけるサーフェス生成では，まず，上図に示すように，一方のステレオ画像（基準画像）上に 複数の三角パッチによって構成された固定メッシュを描き，全てのパッチに関する平面射影変換推定の問題を， 三角メッシュの全頂点の奥行き推定の問題に置き換えます．そして，全頂点の奥行きを，ステレオ画像間の輝度差(SSD)を コスト関数とした最適化問題として解きます．さらに，このコスト関数を， 高速平面パラメータ推定(Fast Plane Parameter Estimation) の場合と同様に Inverse Compositional 形式で定式化することにより，繰り返しごとの計算コストが小さい効率的なアルゴリズムを 実現しています．

また，最初は粗いメッシュを用いてラフなサーフェス生成を行い， その結果を初期値にしてより細かいメッシュに対する推定を行うという階層的メッシュによる推定を行うことにより， 初期値に依存しない安定な推定を行っています．

従来のさまざまなサーフェス生成手法では，数分〜数時間もの計算時間が必要となるのに対し， この方法では，1秒程度でのサーフェス生成を可能にしており，提案手法は画期的に高速なサーフェス生成アルゴリズムであるといえます．

実験結果

(1)合成画像実験

上の画像は滑らかな球体の表面にテクスチャを張ることで生成したステレオ画像です． （単なる平面に見えますが，実際の形状は大きな球体の一部です（下の結果を参照））．

初期状態（平面）から最適化手法による繰り返し計算を行うと，その形状は実形状に近づいていきます．その様子を表したものが上図です． Pentium IV 2.8GHz の Linux 上で C言語にてプログラムした場合，20回の繰り返し計算を行う間の時間は約0.6秒です． 非常に高速なアルゴリズムであることがわかります．

(2)　実画像実験

上の画像は，月面を模擬した砂場を撮影したステレオ画像です． この実験では，階層的メッシュを用いたサーフェス生成を行っています． 最初は一辺464画素サイズの正三角形で構成されたメッシュから推定を始め， メッシュの一辺を半分にしつつ推定を行い，最終的に一辺29画素サイズのメッシュによる サーフェスを求めました(初期メッシュをレベル0，最終メッシュをレベル4としています)． 同図左の基準画像上に示したメッシュは，最終メッシュを示しています．

上の図は，それぞれのメッシュレベルにおけるサーフェス生成結果を示しています．レベル4では，中央部の谷や，左上部のクレータなど，ほぼ良好にモデル化できていることがわかります．

このように推定された3次元サーフェスは，宇宙船が着陸するときに，着陸可能な平坦な領域を探索したり，その場所の勾配から姿勢制御を行ったりする場合の情報として役立つことがわかるでしょう．

発表論文

杉本茂樹, 奥富正敏, "ステレオ画像を利用した平面姿勢推定手法と多眼カメラへの拡張",
情報処理学会研究報告, 2005-CVIM-151, Vol.2005, No.112, pp.131-138, November, 2005. (CVIM研究会推薦論文).

杉本茂樹, 奥富正敏, "ステレオ画像からの直接的かつ高速な微小平面3Dサーフェス生成法",
情報処理学会研究報告, 2006-CVIM-156, Vol.2006, No.115, pp.109-116, November, 2006.

杉本茂樹, 奥富正敏，"ステレオ画像を用いた高速な平面パラメータ推定法",
情報処理学会論文誌：コンピュータビジョンとイメージメディア, Vol.48, No.SIG1(CVIM17), pp.24-34, February, 2007.

Shigeki Sugimoto and Masatoshi Okutomi, "Fast Plane Parameter Estimation From Stereo Images",
Proceedings of the IAPR Conference on Machine Vision Applications (MVA2007), pp.567-570, May, 2007.

八重田岳, 杉本茂樹, 奥富正敏, 坂野肇, "リアルタイム平面パラメータ計測システム",
第13回画像センシングシンポジウム（SSII2007）講演論文集, pp.LD1-01-1-2, June, 2007.

杉本茂樹, 奥富正敏, "ステレオ画像を利用した高速な微小平面3Dサーフェス直接生成",
第13回画像センシングシンポジウム（SSII2007）講演論文集, pp.IN3-01-1-8, June, 2007.

Shigeki Sugimoto and Masatoshi Okutomi, "A Direct and Efficient Method for Piecewise-Planar Surface Reconstruction from Stereo Images",
Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR2007), pp.1-8, June, 2007.

杉本茂樹, 奥富正敏，"ステレオ画像からの高速な微小平面3Dサーフェス直接生成法",
情報処理学会論文誌:コンピュータビジョンとイメージメディア, Vol.48, No.SIG16(CVIM19), pp.38-50, November, 2007

杉本茂樹, 大久保淳司, 奥富正敏，"ダイレクトステレオイメージアライメントによる3 次元実時間推定",
第16回画像センシングシンポジウム（SSII2010）講演論文集, June 2010 （発表予定）．

解説

杉本茂樹, 奥富正敏, "ステレオ画像からの微小平面サーフェス生成 -- 三角ポリゴンメッシュを直接生成するステレオ3次元再構成 --",
画像ラボ, 日本工業出版, Vol.18, No.12, pp.42-47, December, 2007

プロジェクトメンバ: 奥富 正敏, 杉本 茂樹, 大久保 淳司

2010年5月24日 更新