Okutomi lab

Unified Optimization of Stereo and Sequencial Images

研究概要

本手法の目的は，ステレオ動画像から，対象の3次元位置とその3次元モーションを推定する手法です．ステレオカメラから得られる時系列ステレオ画像から，動的なシーンにおける各点の3次元位置と3次元モーションを推定するには，通常，ステレオ対応点探索とトラッキングを別々に行なう必要がありました．本手法では，図1に示すように，ステレオ対応点探索とトラッキングに相当する作業(同図A～C)を一緒に行なうことで， 3次元位置とモーションを同時に推定する手法となっています．さらに本手法では，3次元位置とモーションを同時に推定するため，物体のモーションによる見え方の変化を考慮することができます．		図1 ステレオ画像と時系列画像のマッチング

図2 非同期ステレオ画像と時系列画像のマッチング		非同期ステレオカメラ※への適用本手法を非同期ステレオカメラに対しても拡張して適用することで，図2に示すように各画像間の対応点を同時に推定することが出来，非同期ステレオカメラを使ったステレオ計測と3次元モーション推定を行うことができます．本手法では，カメラ間の撮影タイミングズレ(図2中ではΔt)をも併せて最適化するため，あらかじめ時間ずれのキャリブレーションを行う必要がありません． ※非同期ステレオカメラステレオカメラ同士が同時に撮影できないステレオ装置のことです．一般に市販されているホームビデオカメラやWebカメラやネットワークカメラ，形式の異なるカメラなどを使って，ステレオ装置を構成すると，大部分で非同期ステレオカメラとなってしまいます．

実験結果

同期ステレオカメラ

図3 同期ステレオ画像の例		同期ステレオ画像は，図3のように移動カメラに対向車(バス)が近づいてくるシーンとしました．
図4 3次元位置とモーション推定結果		図4は，推定された3次元位置に推定された3次元モーションを矢印を使って表現したものです．矢印の長さはモーションの大きさに，方向はモーションの方向に対応しています．バスや，カメラの運動によるモーションが正確に推定されていることがわかります．

非同期ステレオカメラ

図5 非同期ステレオ画像の例

非同期ステレオ画像は，図5のように模型自動車と熊のぬいぐるみが動いているシーンを2台の異種カメラで撮影し，取得しました．これらのカメラは，同期できる仕組みがないため，非同期ステレオであり，かつ真の撮影時間ずれを知ることができません．

図6 3次元復元結果

図7 3次元位置とモーション推定結果
(図6の右図とほぼ同じ視点から見た様子)

これシーンに対して，本手法を適用した結果が，図6と図7です．図6は，推定された3次元位置にテクスチャを貼って表示した結果です．図7は，推定された3次元モーションを，図6の右側に相当する視点から観測した様子です．模型自動車や，熊のぬいぐるみの3次元モーションが推定されており，置物にはモーションが無いことがわかります．

応用案

本手法を利用することで，例えば，車載カメラの映像から，障害物のモーションの3次元的な運動を推定したり，監視カメラなどの映像からの3次元復元や3次元モーションの推定を行ったりすることができると考えられます．

発表文献

同期ステレオカメラ

ステレオ動画像を用いた動的シーンのモーションと奥行きの同時推定

関晃仁, 奥富正敏

画像の認識・理解シンポジウム(MIRU2006)論文集, pp.352-357, July, 2006

非同期ステレオカメラ

非同期ステレオ動画像を用いた動的シーンの位置とモーションの同時推定

関晃仁, 奥富正敏

情報処理学会研究報告(コンピュータビジョンとイメージメディア 2007-CVIM-157), Vol.2007, No.1, pp.177-184, January, 2007
Simultaneous Optimization of Structure and Motion in Dynamic Scenes Using Unsynchronized Stereo Cameras

Akihito Seki and Masatoshi Okutomi

Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR2007), June, 2007 (to appear)

Back to Page Top

Last Update 2007.1.19