カメラ運動情報取得装置、カメラ運動情報取得方法および記録媒体
【課題】ビデオカメラ等の時系列画像入力装置により撮影された、ロングシーケンス画像列の全ての画像について、その画像を撮影した際のカメラの三次元位置及び姿勢を自動的に求めることができるカメラ運動情報取得装置を提供する。
【解決手段】移動する画像入力装置により観測された画像列を取得する移動観測画像列取得手段１１と、前記取得した移動観測画像列を、各サブ画像列間で複数の画像を重複させながら複数のサブ画像列に分割する移動観測画像列の分割手段１２と、前記サブ画像列間で異なる座標系を共通の世界座標系に統合する座標系の統合手段１３と、前記共通の世界座標系でのカメラ運動を再推定するカメラ運動情報の再推定手段１４とを備える。
【解決手段】移動する画像入力装置により観測された画像列を取得する移動観測画像列取得手段１１と、前記取得した移動観測画像列を、各サブ画像列間で複数の画像を重複させながら複数のサブ画像列に分割する移動観測画像列の分割手段１２と、前記サブ画像列間で異なる座標系を共通の世界座標系に統合する座標系の統合手段１３と、前記共通の世界座標系でのカメラ運動を再推定するカメラ運動情報の再推定手段１４とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオカメラ等の時系列画像入力装置によって得られた移動観測画像列の、各画像を撮影した際のカメラの三次元位置及び姿勢を表す、カメラ運動情報を取得する方法および装置に関するものである。
【背景技術】
【０００２】
移動する画像入力装置により観測された画像列、（以下、移動観測画像列と呼ぶ）からのカメラ運動情報の推定は、三次元モデル復元、物体認識、ロボットナビゲーション、複合現実感など、様々な分野への応用が可能である。代表的な手法に因子分解法がある。移動観測画像列の任意の画像上で発生させた特徴点を移動観測画像列の他の全ての画像上で対応付けを行って（以下、特徴点追跡と呼ぶ）、線形解法によって撮影対象の形状とカメラの運動情報を同時に復元することができる。例えば、下記非特許文献１では、透視投影カメラモデルで頑健にカメラの運動情報を取得している。
【０００３】
尚、本発明に関連する、バンドル調整については下記非特許文献２に、クォータニオンについては下記非特許文献３に各々記載されている。
【非特許文献１】Ｓ．Ｃｈｒｉｓｔｙ ａｎｄ Ｒ．Ｈｏｒａｕｄ“Ｅｕｃｌｉｄｅａｎ ｓｈａｐｅ ａｎｄ ｍｏｔｉｏｎ ｆｒｏｍ ｍｕｌｔｉｐｌｅ ｐｅｒｓｐｅｃｔｉｖｅ ｖｉｅｗｓ ｂｙ ａｆｆｉｎｅ ｉｔｅｒａｔｉｏｎｓ”ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，１８（１１）：１０９８−１１０４，１９９６．
【非特許文献２】Ｂ．Ｔｒｉｇｇｓ，Ｐ．ＭｃＬａｕｃｈｌａｎ，Ｒ．Ｈａｒｔｌｅｙ ａｎｄ Ａ．Ｆｉｔｚｇｉｂｂｏｎ．Ｂｕｎｄｌｅ Ａｄｊｕｓｔｍｅｎｔ−Ａ ｍｏｄｅｒｎ ｓｙｎｔｈｅｓｉｓ．Ｖｉｓｉｏｎ Ａｌｇｏｒｉｔｈｍｓ’９９，ＬＮＣＳ １８８３，ｐｐ．２９８−３７２，２０００．
【非特許文献３】Ｂ．Ｋ．Ｐ．Ｈｏｒｎ．Ｃｌｏｓｅｄ−ｆｏｒｍ ｓｏｌｕｔｉｏｎ ｏｆ ａｂｓｏｌｕｔｅ ｏｒｉｅｎｔａｔｉｏｎ ｕｓｉｎｇ ｕｎｉｔ ｑｕａｔｅｒｎｉｏｎｓ．Ｊｏｕｒｎａｌ ｏｆ ｔｈｅ Ｏｐｔｉｃａｌ Ｓｏｃｉｅｔｙ ｏｆ Ａｍｅｒｉｃａ Ａ，ｖｏｌ．〜４，ｐｐ．〜６２９−−６４２，１９８７．
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら因子分解法では移動観測画像列の全ての画像で特徴点を対応付けなくてはならない。移動距離が長いシーケンスの移動観測画像列（以下、ロングシーケンス画像列と呼ぶ）では、特徴点のフレームアウトが発生するために、カメラ運動を推定することが不可能となってしまう。
【０００５】
本発明は、上述のような従来技術の問題点を解決するためになされたものであり、その目的は、ビデオカメラ等の時系列画像入力装置により撮影された、ロングシーケンス画像列の全ての画像について、その画像を撮影した際のカメラの三次元位置及び姿勢を自動的に求めることができるカメラ運動情報取得装置、カメラ運動情報取得方法および記録媒体を提供することにある。
【課題を解決するための手段】
【０００６】
上記課題を解決するために本発明は、ビデオカメラなどの時系列画像入力装置を用いて、移動観測画像列を取得し、これを処理することで、移動観測画像列の各画像撮影時のカメラの三次元位置および姿勢を表すカメラ運動情報を取得する方法および装置であって、移動観測画像列を取得する手段と、前記取得した移動観測画像列を複数のサブ画像列に分割する手段と、前記分割された各サブ画像列を用いて独立にカメラ運動情報を推定する手段と、前記推定された各サブ画像列のカメラ運動情報を用いて、各サブ画像列で独立に推定されたカメラ運動情報を共通の世界座標系に統合する手段と、前記統合されたカメラ運動情報を全移動観測画像列で最適化を行って、統合されたカメラ運動情報を再推定する手段を備えることを特徴とする。
【０００７】
すなわち、請求項１に記載のカメラ運動情報取得装置は、移動する画像入力装置により観測された画像列から、画像撮影時のカメラの三次元位置および姿勢を表すカメラ運動情報を取得するカメラ運動情報取得装置であって、移動する画像入力装置により観測された画像列を取得する移動観測画像列取得手段と、前記取得した移動観測画像列を、各サブ画像列間で複数の画像を重複させながら複数のサブ画像列に分割する移動観測画像列の分割手段と、前記サブ画像列間で異なる座標系を共通の世界座標系に統合する座標系の統合手段と、前記共通の世界座標系でのカメラ運動を再推定するカメラ運動情報の再推定手段とを備えることを特徴としている。
【０００８】
また請求項２に記載のカメラ運動情報取得装置は、請求項１に記載のカメラ運動情報取得装置において、前記移動観測画像列の分割手段は、特徴点追跡の結果を利用してサブ画像列を決定し、前記特徴点追跡結果を用いて計測行列を作成し、因子分解法によりカメラ運動を推定することを特徴としている。
【０００９】
また請求項３に記載のカメラ運動情報取得装置は、請求項１に記載のカメラ運動情報取得装置において、前記移動観測画像列の分割手段は、特徴点追跡の結果を利用してサブ画像列を決定し、前記特徴点追跡結果を用いて逐次的に射影復元を行ってカメラ運動を推定することを特徴としている。
【００１０】
また請求項４に記載のカメラ運動情報取得装置は、請求項１乃至３に記載のカメラ運動情報取得装置において、前記座標系の統合手段は、サブ画像列間の重複フレームを利用してステレオ処理により三次元対応点テーブルを作成し、前記三次元対応点テーブルを利用してサブ画像列間の座標変換行列を計算し、座標系を統合することを特徴としている。
【００１１】
また請求項５に記載のカメラ運動情報取得方法は、移動する画像入力装置により観測された画像列から、画像撮影時のカメラの三次元位置および姿勢を表すカメラ運動情報を取得するカメラ運動情報取得方法であって、移動観測画像列取得手段が、移動する画像入力装置により観測された画像列を取得するステップと、移動観測画像列の分割手段が、前記取得した移動観測画像列を、各サブ画像列間で複数の画像を重複させながら複数のサブ画像列に分割する分割ステップと、座標系の統合手段が、前記サブ画像列間で異なる座標系を共通の世界座標系に統合する統合ステップと、カメラ運動情報の再推定手段が、前記共通の世界座標系でのカメラ運動を再推定するステップとを備えることを特徴としている。
【００１２】
また請求項６に記載のカメラ運動情報取得方法は、請求項５に記載のカメラ運動情報取得方法において、前記分割ステップは、特徴点追跡の結果を利用してサブ画像列を決定するステップと、前記特徴点追跡結果を用いて計測行列を作成し、因子分解法によりカメラ運動を推定するステップと、推定されたカメラ運動を最適化するステップと、移動観測画像列の分割が終了か否かを判定するステップと、重複するフレーム数を決定するステップとを有することを特徴としている。
【００１３】
また請求項７に記載のカメラ運動情報取得方法は、請求項５に記載のカメラ運動情報取得方法において、前記分割ステップは、特徴点追跡の結果を利用してサブ画像列を決定するステップと、前記特徴点追跡結果を用いて逐次的に射影復元を行ってカメラ運動を推定するステップと、推定されたカメラ運動を最適化するステップと、移動観測画像列の分割が終了か否かを判定するステップと、重複するフレーム数を決定するステップとを有することを特徴としている。
【００１４】
また請求項８に記載のカメラ運動情報取得方法は、請求項５乃至７に記載のカメラ運動情報取得方法において、前記統合ステップは、サブ画像列間の重複フレームを利用してステレオ処理により三次元対応点テーブルを作成するステップと、前記三次元対応点テーブルを利用してサブ画像列間の座標変換行列を計算し、座標系を統合するステップとを有することを特徴としている。
【００１５】
また請求項９に記載の記録媒体は、請求項５乃至８のいずれかに記載のカメラ運動情報取得方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体である。
【００１６】
上記構成において、分割されたサブ画像列には重複部分が存在し、この重複部分を利用して３次元対応点の関係が決まる。このため１つのローカル座標系を基準とした世界座標系に変換することで、カメラ運動情報を得ることができる。
【発明の効果】
【００１７】
本発明によれば、従来不可能であった、特徴点追跡が全フレームで不可能なロングシーケンス画像列から座標系の統一されたカメラ運動情報を取得することができる。このようにして得られたカメラ運動情報により、ステレオ法、シルエット法など目的にあった様々な画像からの三次元復元方法を用いて広域の三次元モデルを安定的に、しかも精度良く復元することが可能となる。
【発明を実施するための最良の形態】
【００１８】
以下、図面を参照しながら本発明の実施の形態を説明するが、本発明は下記の実施形態例に限定されるものではない。図１は、本発明の実施形態例によるカメラ運動情報取得装置の構成を示している。本発明のカメラ運動情報取得装置は、移動観測画像列取得手段１１と、移動観測画像列の分割手段１２と、座標系の統合手段１３と、カメラ運動情報の再推定手段１４で構成される。
【００１９】
移動観測画像列取得手段１１は、画像入力装置を移動させながら時系列画像データを取得する手段であり、一例として、手持ちカメラによる歩行撮影や車に取り付けたカメラなどが考えられる。
【００２０】
移動観測画像列の分割手段１２は、前記移動観測画像列を複数のサブ画像列に、各サブ画像列間で複数の画像を重複させながら分割すると同時に、各サブ画像列を用いて、各サブ画像列に固有の座標系で表されたカメラ運動を推定する手段である。
【００２１】
座標系の統合手段１３は、隣接するサブ画像列の重複画像部分を用いて、各サブ画像列で推定されたカメラ運動情報を共通の世界座標系に統合する手段である。
【００２２】
カメラ運動情報の再推定手段１４は、前記世界座標系に統一されたカメラ運動情報を移動観測画像列の全ての画像を用いて最適化を行い、カメラ運動情報を再推定する手段である。
【００２３】
次に本発明の実施形態例を詳細に説明する。本発明の目的は、移動するカメラ等の画像入力装置によって観測された移動観測画像列から、移動観測画像列を構成する各フレーム撮影時のカメラの三次元位置および姿勢を取得することである。
【００２４】
本実施形態例では、図２のように移動するビデオカメラにより時系列画像列を撮影して、各画像撮影時のカメラの三次元位置と姿勢を推定する例を説明する。
【００２５】
本実施形態例において使用するビデオカメラのカメラ内部パラメータは事前に校正を行っておく。
【００２６】
図３は本実施形態例の動作を示すフローチャートである。処理が開始されると、移動観測画像列取得手段１１により、カメラを移動させながら観測した移動観測画像列Ｎを取得する（ステップＳ２０１）。
【００２７】
次に移動観測画像列の分割手段１２により、図４のように移動観測画像列Ｎを隣接サブ画像列間で重複させながらＫ個のサブ画像列に分割する（ステップＳ２０２）。この分割処理のステップＳ２０２は、図５に示すフローチャートに沿って実行される。
【００２８】
図５において、まずサブ画像列の通し番号を表すｎを、ｎ＝１として処理が開始される。
【００２９】
次にサブ画像列＃ｎを構成する画像の決定を行う（ステップＳ３０１）。
【００３０】
各サブ画像列を構成する画像数は安定したカメラ運動推定という観点ではより多くの画像数が必要であるが、あまりに画像数が多いと特徴点の消失により、特徴点追跡を行うことが出来ない。そこで各サブ画像列の画像数は安定的に特徴点追跡が行える画像数として決定することが望ましい。例えば、以下の手順で行うことが可能である。
【００３１】
特徴点追跡とは画像列中の任意のフレームで発生させた特徴点の画像座標値とその他の全ての画像で対応する画像座標値を求めることである。特徴点追跡はある画像で検出した特徴点を時系列方向及び時系列逆方向の双方向で追跡を行う。
【００３２】
まず特徴点を検出する画像を選択するために、時系列上で二番目の画像から順に選択をしていき、それぞれの画像で特徴点を検出し、時系列逆方向にサブ画像列最初の画像まで特徴点の追跡を行う。検出した特徴点がある閾値以上追跡に失敗した場合、新たな画像を選択するのを中止し、その前に選択された画像を特徴点を検出する画像として採用する。
【００３３】
次にその同じ特徴点を時系列方向に追跡を行っていき、検出した特徴点がある閾値以上追跡に失敗した画像の時系列一つ手前の画像をサブ画像列最後の画像として決定する。
【００３４】
このようにすることでサブ画像列は安定した特徴点追跡を可能な最大の画像数として決定することが出来る。
【００３５】
次に決定されたサブ画像列の各画像を撮影したときのカメラ運動、すなわちサブ画像列の第ｉフレームにおけるカメラの三次元位置(ｘｉ，ｙｉ，ｚｉ)と姿勢（φｉ，θｉ，γｉ）を求める（ステップＳ３０２）。
【００３６】
以下、本実施例では、カメラ運動の推定に因子分解法を用いる例で説明を行うが、逐次射影復元などを用いても実現可能であることは自明である。
【００３７】
ステップＳ３０１で行った特徴点追跡の結果を用いて因子分解法を適用する。まず特徴点を追跡した結果から計測行列を作成する。計測行列とはサブ画像列のフレーム数をＦ、特徴点数をＮとすると以下の式（１）で表されるＦ行Ｎ列の行列となる。
【００３８】
【数１】
【００３９】
ただし、（ｕij，ｖij）はｉフレーム目のｊ番目の特徴点の画像座標値を表す。
【００４０】
因子分解法は式（１）で表される計測行列から、例えば特異値分解などにより、各特徴点の三次元位置とカメラ運動（図４で示される各フレーム毎の三次元位置(ｘｉ，ｙｉ，ｚｉ)、姿勢（φｉ，θｉ，γｉ））を求める方法であり、例えば非特許文献１の方法を用いれば透視投影モデルで頑健にカメラ運動を推定することが出来る。
【００４１】
次に推定されたカメラ運動の最適化を行う（ステップＳ３０３）。
【００４２】
ステップＳ３０２で推定されたカメラ運動及び特徴点の三次元位置を初期解として、最適化を行うことで、より精度の良いカメラ運動を得ることが出来る。これは例えばよく知られたバンドル調整（非特許文献２）によって実現可能である。
【００４３】
次に分割が終了か否かの判断を行う（ステップＳ３０４）。もし現在処理しているサブ画像列が移動観測画像列Ｎの最終フレームに到達していれば、これ以上の分割は必要ないので、処理を終了とする。逆にまだ処理されていないフレームが残されている場合には、ステップＳ３０５の処理に進む。
【００４４】
ステップＳ３０５では、隣接サブ画像列間の重複フレーム数を決定する。この重複フレームは各サブ画像列で推定された座標系の異なるカメラ運動を統合するのに利用する。後述するが、この統合にはステレオ処理により復元した三次元点群を利用する。そのため重複フレームを利用したステレオ処理によって三次元点群が精度良く復元されることが重要である。
【００４５】
ステレオ処理を利用した三次元点群の精度は利用する画像ペアを撮影した際のカメラ光学中心の三次元位置を結んだ距離、すなわちベースラインが長いほど復元される精度が良い。しかしながらベースラインが長すぎるとステレオ処理自体が困難になる。そこでこのベースラインの長さを利用して、重複フレーム数を決定する。
【００４６】
ステップＳ３０３で求めたカメラ運動の最適化の結果を利用する。サブ画像列の最終フレームを撮影したときのカメラの三次元位置を(Ｘｆ，Ｙｆ，Ｚｆ)とする。時系列で最終フレームの前のフレームより逆時系列順にフレームを選択し、選択されたフレームを撮影したときのカメラの三次元位置（Ｘｓ，Ｙｓ，Ｚｓ）を用いて、ベースライン距離Ｂを以下の式（２）にて計算する。
【００４７】
【数２】
【００４８】
例えば、ある閾値Ｔを用意しておき、ＢがＴを初めて超えた際に、最終フレームからそのフレームまでを重複するフレームとして決定する。閾値Ｔは経験的に任意の値として決定することが出来る。
【００４９】
重複フレームが決定したら次のサブ画像列を決定するためにサブ画像列番号ｎをｎ＝ｎ＋１としてステップＳ３０１の処理に戻る。以上述べた処理を繰り返すことで移動観測画像列Ｎを分割する。
【００５０】
以上のように移動観測画像列の分割処理の終了後、座標系の統合手段１３により、サブ画像列間の座標変換行列を計算し、座標系を共通の世界座標系に統合する。
【００５１】
まず重複フレーム部分を用いて、同一の三次元点を隣接サブ画像列間に由来している二つの座標系で表した対応関係を表す、三次元対応点テーブルを作成する（ステップＳ２０３）。
【００５２】
本実施例では、この三次元対応点テーブルを作成するのにステレオ処理を用いる。ステレオ処理に用いる基準画像と比較画像は重複フレームの中から任意に選ぶことが可能である。例えば、重複フレーム部分の最初のフレームと最終フレームをそれぞれ基準画像、比較画像とすることができる。ステレオ処理を行うことで、この基準画像の各画素（ｕ，ｖ）と比較画像の各画素（ｕ’，ｖ’）の対応付けを行って、対応点データを得る。
【００５３】
次に前記対応点データを用いて三次元点の復元を行う。三次元点の復元は一つの対応点について、重複フレームを含む隣接する二つのサブ画像列から推定された二つのカメラ運動データを用いて計算を行う。つまり基準画像の各画素（ｕ，ｖ）について二つの座標系で表された三次元点が計算されることになる。
【００５４】
三次元点復元は、基準画像の投影行列をＰ、比較画像の投影行列Ｐ’とすると、投影行列Ｐは３行４列の行列で、推定されたカメラ運動（三次元位置(ｘ，ｙ，ｚ)、姿勢（φ，θ，γ））とカメラ内部行列Ａから以下の式（３）のように計算できる。すなわち、
【００５５】
【数３】
【００５６】
であり、Ａ行列の各要素はカメラ校正により既知である。
【００５７】
式（３）により、基準画像の投影行列Ｐおよび比較画像の投影行列Ｐ’をまず計算する。
【００５８】
次に対応点データと投影行列ＰおよびＰ’を使って三次元点を復元する。基準画像の画像座標（ｕ，ｖ）と比較画像の画像座標（ｕ’，ｖ’）が対応しているとすると、三次元点Ｍ＝(Ｘ，Ｙ，Ｚ)は以下の式（４）により復元される。すなわち、
【００５９】
【数４】
【００６０】
であり、ｐｉｊおよびｐ’ｉｊはＰおよびＰ’のｉ行ｊ列の要素を表し、Ｂ+はＢ行列の疑似逆行列である。
【００６１】
これを二つのカメラ運動を用いることで、二つの座標系で表された三次元点を得ることが出来る。これを基準画像の全画素について行うことで、図６のような三次元対応点テーブルを作成することが出来る。
【００６２】
以上の処理を全ての隣接サブ画像列間の重複フレームで行う。次に得られた三次元対応点テーブルを用いて、統合されたカメラ運動を再推定するために、ステップＳ２０１で因子分解法により得た特徴点の三次元点と移動観測画像列の全てのフレームの投影行列を共通の座標系に統合する（ステップＳ２０４）。
【００６３】
共通の世界座標系は任意のサブ画像列のローカル座標系とすることができる。例えば、時系列上で中央のサブ画像列のローカル座標系を共通の世界座標系とすることができる。以下では図７のように、時系列上で中央のサブ画像列のローカル座標系を共通の世界座標系とし、このサブ画像列の番号をＷ、Ｔｉは座標変換行列で、ｉ＜ＷならＴｉはサブ画像列番号ｉからサブ画像列番号ｉ＋１の座標系へ変換する行列であり、ｉ≧ＷならＴｉはサブ画像列番号ｉ＋１からサブ画像列番号ｉの座標系へ変換する行列である。
【００６４】
このような行列ＴｉはステップＳ２０３で求めた三次元対応点テーブルを用いて、例えば非特許文献３に記載のクオータニオンを利用した方法で計算することが出来る。全ての隣接サブ画像列間において行列Ｔｉの計算を行う。
【００６５】
次に求めたＴｉを用いて共通の世界座標系での各サブ画像列で因子分解法により獲得した特徴点の三次元点を世界座標系に変換する。これは以下の式（５）を用いて計算できる。
【００６６】
【数５】
【００６７】
ただし、(Ｘｉ，Ｙｉ，Ｚｉ)はサブ画像列番号ｉより因子分解法により計算された特徴点の三次元座標値、(Ｘｗ，Ｙｗ，Ｚｗ)は(Ｘｉ，Ｙｉ，Ｚｉ)を世界座標系にて表した三次元座標値である。この変換を全てのサブ画像列において因子分解法によって得られた三次元点全てに対し行う。
また同様にして世界座標系で表された投影行列の計算も行う。これは以下の式（６）で計算することができる。
【００６８】
【数６】
【００６９】
ただし、Ｐｉはサブ画像列番号ｉの各画像の投影行列を表し、Ｐｗは変換されて世界座標系で表された投影行列を表す。この変換を各サブ画像列の全ての画像の投影行列に対して行う。以上の処理にて各サブ画像列毎のカメラ運動を推定するのに利用した特徴点の三次元点と移動観測画像列の全ての画像の投影行列を共通の世界座標系へと変換することができる。
【００７０】
最後に前記得られた共通の世界座標系で表された特徴点の三次元座標値を用いてカメラ運動情報の再推定手段１４により世界座標系で統一されたカメラ運動の再推定を行う（ステップＳ２０５）。
【００７１】
カメラ運動の再推定は前記ステップＳ３０２でも説明したようにバンドル調整により行うことができる。ステップＳ２０４で得られた共通の世界座標系で表された特徴点の三次元座標値および投影行列とステップＳ２０２で各サブ画像列にて特徴点追跡を行った計測行列を用いて、特徴点の三次元座標値の最投影誤差を最小とするように最適化を行って、これを世界座標系に統合されたカメラ運動情報とする。
【００７２】
本実施形態例では移動観測画像列の分割手段１２においてカメラ運動の推定に因子分解法を用いる例を説明したが、移動観測画像の特徴点追跡結果からカメラ運動を推定する手段であれば、何を用いても実現可能であり、例えば、逐次射影復元を用いても構わない。
【００７３】
本実施形態例では、座標系の統合手段１３において、ステレオ処理により復元した三次元点群を利用してクォータニオンを用いて統合を行ったが、これに限るものではなく、単純な最小二乗近似などによって変換行列の推定を行っても構わない。
【００７４】
また、前記カメラのパラメータや、途中の３次元座標は、例えばメモリに格納して利用するように構成するものである。
【００７５】
尚、図１で示した装置における各手段の一部もしくは全部の機能をコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行して本発明を実現することができること、図３で示した処理の手順をコンピュータのプログラムで構成し、そのプログラムをコンピュータに実行させることができることは言うまでもなく、コンピュータでその機能を実現するためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えばＦＤや、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録して、保存したり、配布したりすることが可能である。また、上記のプログラムをインターネットや電子メールなど、ネットワークを通して提供することも可能である。
【００７６】
（実施例）
以下に、上述のカメラ運動情報取得装置を用いて、移動する１台のビデオカメラから取得した移動観測画像を処理した結果を図３に示した処理フローを用いて述べる。
【００７７】
まず処理が開始されると、移動観測画像列の取得を行う（ステップＳ２０１）。図８は取得した移動観測画像列の一例の一部である（８０１〜８０６）。これはビデオカメラを手に持って歩きながら撮影を行って取得したもので、時系列順に番号が振ってある。最初のフレーム（８０１）で見えていた箇所は最後のフレーム（８０６）ではすでに見えなくなっており、全てのフレームでの特徴点追跡が不可能なロングシーケンス画像列であることが分かる。
【００７８】
次にステップＳ２０２では移動観測画像列の分割を行う。これは図５の処理フロー図を用いて説明する。ステップＳ３０１はサブ画像列の決定を行う。これは特徴点追跡が安定して行える画像数として決定する。図９はあるサブ画像列における特徴点追跡の結果の一例の一部（９０１〜９０３）であり、９０１から撮影した時系列順に並んでいる。中央の画像（９０２）はサブ画像列の丁度時系列順で中央に位置する画像であり、画像中の四角い枠の中にＨａｒｒｉｓ特徴を用いた特徴点を発生させた。ここで発生した特徴点を時系列逆方向、順方向ともに追跡して、サブ画像列の全てのフレームで対応付けを行う。特徴点の消失がなく、安定した追跡がされていることを確認することができる。
【００７９】
ステップＳ３０２では特徴点追跡結果を用いて因子分解法によりカメラ運動を推定し、ステップＳ３０３ではこれを初期解として最適化を行う。図１０に、推定されたカメラ運動及び復元した特徴点の三次元位置の一例を示す。なお図１０の各軸はＸ，Ｙ，Ｚ軸をそれぞれ表しており、特徴点の三次元位置とカメラ位置の相対的な位置関係を表している。以後、図１１、図１２も同様である。
【００８０】
ステップＳ３０４では分割終了か否かの判定が行われる。現在処理しているサブ画像列が移動観測画像列の最終フレームまで入っていれば、分割を終了とする。そうでなければ重複フレーム数の決定処理（ステップＳ３０５）に進む。ここでは推定されたカメラ運動を用いて最適な重複フレーム数を決定する。重複フレーム間のベースライン距離を利用してステレオ処理により三次元点群が精度良く復元できるようにする。処理を終えたら処理するサブ画像列の番号ｎをｎ＝ｎ＋１として、ステップＳ３０１へ戻る。
【００８１】
以上の処理を繰り返し、移動観測画像列の分割処理（ステップＳ２０２）が終了したら、三次元対応点テーブル作成を行う（ステップＳ２０３）。これは重複フレーム部でステレオ処理を行い、得られた対応点データから隣接するサブ画像列から推定した二つのカメラ運動で三次元点を復元することで実現する。
【００８２】
図１１はステレオ処理による視差画像（対応点データ）と二つのカメラ運動を用いた三次元点群の復元結果の一例である。復元された三次元点群は座標系が異なるために、二つに分離されていることが確認できる。この三次元点群一点一点について対応関係が求められている。この処理を全ての隣接サブ画像列間で行う。
【００８３】
次にステップＳ２０４では得られた三次元対応点テーブルを用いてステップＳ２０２で因子分解法によってサブ画像列毎に得られた特徴点の三次元位置と移動観測画像列の全画像の投影行列を共通の世界座標系に統合する。
【００８４】
最後にステップＳ２０５ではステップＳ２０４で求めた共通の世界座標系に統合された特徴点の三次元位置、投影行列、特徴点追跡結果を用いてバンドル調整により三次元点の再投影誤差を最小化するように最適化を行って、統合されたカメラ運動を推定する。図１２は全てのサブ画像列毎に復元した特徴点の三次元位置を共通の世界座標系に統合した三次元点群と統合されたカメラ運動の一例を示した図である。この図１２によれば、シームレスにカメラ運動が復元されている様子が確認できる。
【００８５】
以上述べた処理により、本実施形態例ではロングシーケンス画像列からカメラ運動情報が推定できる。
【図面の簡単な説明】
【００８６】
【図１】本発明の一実施形態例によるカメラ運動情報取得装置の構成図である。
【図２】本発明の一実施形態例によるカメラ運動情報取得装置におけるデータ取得の様子を示す説明図である。
【図３】本発明の一実施形態例におけるカメラ運動情報取得方法の処理手順を示すフローチャートである。
【図４】本発明の一実施形態例における移動観測画像列の分割の様子を示した説明図である。
【図５】本発明の一実施形態例における移動観測画像列の分割の処理手順を示すフローチャートである。
【図６】本発明の一実施形態例における異なる座標系で表された三次元点の対応点テーブルの例を示す説明図である。
【図７】本発明の一実施形態例における世界座標系への座標系統合の方法を示す説明図である。
【図８】本発明の一実施形態例における移動観測画像の一例を示す説明図である。
【図９】本発明の一実施形態例のサブ画像列における特徴点追跡の結果の一例を示す説明図である。
【図１０】本発明の一実施形態例において、特徴点追跡結果を用いて因子分解により、特徴点の三次元復元結果と推定したカメラ運動の一例を示す説明図である。
【図１１】本発明の一実施形態例において、ステレオ処理結果を示す視差画像および視差画像と二つのカメラ運動を用いて三次元点群を復元した結果の一例を示す説明図である。
【図１２】本発明の一実施形態例において、世界座標系に三次元点群およびカメラ運動を統合した結果の一例を示す説明図である。
【符号の説明】
【００８７】
１１…移動観測画像列取得手段、１２…移動観測画像列の分割手段、１３…座標系の統合手段、１４…カメラ運動情報の再推定手段。
【技術分野】
【０００１】
本発明は、ビデオカメラ等の時系列画像入力装置によって得られた移動観測画像列の、各画像を撮影した際のカメラの三次元位置及び姿勢を表す、カメラ運動情報を取得する方法および装置に関するものである。
【背景技術】
【０００２】
移動する画像入力装置により観測された画像列、（以下、移動観測画像列と呼ぶ）からのカメラ運動情報の推定は、三次元モデル復元、物体認識、ロボットナビゲーション、複合現実感など、様々な分野への応用が可能である。代表的な手法に因子分解法がある。移動観測画像列の任意の画像上で発生させた特徴点を移動観測画像列の他の全ての画像上で対応付けを行って（以下、特徴点追跡と呼ぶ）、線形解法によって撮影対象の形状とカメラの運動情報を同時に復元することができる。例えば、下記非特許文献１では、透視投影カメラモデルで頑健にカメラの運動情報を取得している。
【０００３】
尚、本発明に関連する、バンドル調整については下記非特許文献２に、クォータニオンについては下記非特許文献３に各々記載されている。
【非特許文献１】Ｓ．Ｃｈｒｉｓｔｙ ａｎｄ Ｒ．Ｈｏｒａｕｄ“Ｅｕｃｌｉｄｅａｎ ｓｈａｐｅ ａｎｄ ｍｏｔｉｏｎ ｆｒｏｍ ｍｕｌｔｉｐｌｅ ｐｅｒｓｐｅｃｔｉｖｅ ｖｉｅｗｓ ｂｙ ａｆｆｉｎｅ ｉｔｅｒａｔｉｏｎｓ”ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，１８（１１）：１０９８−１１０４，１９９６．
【非特許文献２】Ｂ．Ｔｒｉｇｇｓ，Ｐ．ＭｃＬａｕｃｈｌａｎ，Ｒ．Ｈａｒｔｌｅｙ ａｎｄ Ａ．Ｆｉｔｚｇｉｂｂｏｎ．Ｂｕｎｄｌｅ Ａｄｊｕｓｔｍｅｎｔ−Ａ ｍｏｄｅｒｎ ｓｙｎｔｈｅｓｉｓ．Ｖｉｓｉｏｎ Ａｌｇｏｒｉｔｈｍｓ’９９，ＬＮＣＳ １８８３，ｐｐ．２９８−３７２，２０００．
【非特許文献３】Ｂ．Ｋ．Ｐ．Ｈｏｒｎ．Ｃｌｏｓｅｄ−ｆｏｒｍ ｓｏｌｕｔｉｏｎ ｏｆ ａｂｓｏｌｕｔｅ ｏｒｉｅｎｔａｔｉｏｎ ｕｓｉｎｇ ｕｎｉｔ ｑｕａｔｅｒｎｉｏｎｓ．Ｊｏｕｒｎａｌ ｏｆ ｔｈｅ Ｏｐｔｉｃａｌ Ｓｏｃｉｅｔｙ ｏｆ Ａｍｅｒｉｃａ Ａ，ｖｏｌ．〜４，ｐｐ．〜６２９−−６４２，１９８７．
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら因子分解法では移動観測画像列の全ての画像で特徴点を対応付けなくてはならない。移動距離が長いシーケンスの移動観測画像列（以下、ロングシーケンス画像列と呼ぶ）では、特徴点のフレームアウトが発生するために、カメラ運動を推定することが不可能となってしまう。
【０００５】
本発明は、上述のような従来技術の問題点を解決するためになされたものであり、その目的は、ビデオカメラ等の時系列画像入力装置により撮影された、ロングシーケンス画像列の全ての画像について、その画像を撮影した際のカメラの三次元位置及び姿勢を自動的に求めることができるカメラ運動情報取得装置、カメラ運動情報取得方法および記録媒体を提供することにある。
【課題を解決するための手段】
【０００６】
上記課題を解決するために本発明は、ビデオカメラなどの時系列画像入力装置を用いて、移動観測画像列を取得し、これを処理することで、移動観測画像列の各画像撮影時のカメラの三次元位置および姿勢を表すカメラ運動情報を取得する方法および装置であって、移動観測画像列を取得する手段と、前記取得した移動観測画像列を複数のサブ画像列に分割する手段と、前記分割された各サブ画像列を用いて独立にカメラ運動情報を推定する手段と、前記推定された各サブ画像列のカメラ運動情報を用いて、各サブ画像列で独立に推定されたカメラ運動情報を共通の世界座標系に統合する手段と、前記統合されたカメラ運動情報を全移動観測画像列で最適化を行って、統合されたカメラ運動情報を再推定する手段を備えることを特徴とする。
【０００７】
すなわち、請求項１に記載のカメラ運動情報取得装置は、移動する画像入力装置により観測された画像列から、画像撮影時のカメラの三次元位置および姿勢を表すカメラ運動情報を取得するカメラ運動情報取得装置であって、移動する画像入力装置により観測された画像列を取得する移動観測画像列取得手段と、前記取得した移動観測画像列を、各サブ画像列間で複数の画像を重複させながら複数のサブ画像列に分割する移動観測画像列の分割手段と、前記サブ画像列間で異なる座標系を共通の世界座標系に統合する座標系の統合手段と、前記共通の世界座標系でのカメラ運動を再推定するカメラ運動情報の再推定手段とを備えることを特徴としている。
【０００８】
また請求項２に記載のカメラ運動情報取得装置は、請求項１に記載のカメラ運動情報取得装置において、前記移動観測画像列の分割手段は、特徴点追跡の結果を利用してサブ画像列を決定し、前記特徴点追跡結果を用いて計測行列を作成し、因子分解法によりカメラ運動を推定することを特徴としている。
【０００９】
また請求項３に記載のカメラ運動情報取得装置は、請求項１に記載のカメラ運動情報取得装置において、前記移動観測画像列の分割手段は、特徴点追跡の結果を利用してサブ画像列を決定し、前記特徴点追跡結果を用いて逐次的に射影復元を行ってカメラ運動を推定することを特徴としている。
【００１０】
また請求項４に記載のカメラ運動情報取得装置は、請求項１乃至３に記載のカメラ運動情報取得装置において、前記座標系の統合手段は、サブ画像列間の重複フレームを利用してステレオ処理により三次元対応点テーブルを作成し、前記三次元対応点テーブルを利用してサブ画像列間の座標変換行列を計算し、座標系を統合することを特徴としている。
【００１１】
また請求項５に記載のカメラ運動情報取得方法は、移動する画像入力装置により観測された画像列から、画像撮影時のカメラの三次元位置および姿勢を表すカメラ運動情報を取得するカメラ運動情報取得方法であって、移動観測画像列取得手段が、移動する画像入力装置により観測された画像列を取得するステップと、移動観測画像列の分割手段が、前記取得した移動観測画像列を、各サブ画像列間で複数の画像を重複させながら複数のサブ画像列に分割する分割ステップと、座標系の統合手段が、前記サブ画像列間で異なる座標系を共通の世界座標系に統合する統合ステップと、カメラ運動情報の再推定手段が、前記共通の世界座標系でのカメラ運動を再推定するステップとを備えることを特徴としている。
【００１２】
また請求項６に記載のカメラ運動情報取得方法は、請求項５に記載のカメラ運動情報取得方法において、前記分割ステップは、特徴点追跡の結果を利用してサブ画像列を決定するステップと、前記特徴点追跡結果を用いて計測行列を作成し、因子分解法によりカメラ運動を推定するステップと、推定されたカメラ運動を最適化するステップと、移動観測画像列の分割が終了か否かを判定するステップと、重複するフレーム数を決定するステップとを有することを特徴としている。
【００１３】
また請求項７に記載のカメラ運動情報取得方法は、請求項５に記載のカメラ運動情報取得方法において、前記分割ステップは、特徴点追跡の結果を利用してサブ画像列を決定するステップと、前記特徴点追跡結果を用いて逐次的に射影復元を行ってカメラ運動を推定するステップと、推定されたカメラ運動を最適化するステップと、移動観測画像列の分割が終了か否かを判定するステップと、重複するフレーム数を決定するステップとを有することを特徴としている。
【００１４】
また請求項８に記載のカメラ運動情報取得方法は、請求項５乃至７に記載のカメラ運動情報取得方法において、前記統合ステップは、サブ画像列間の重複フレームを利用してステレオ処理により三次元対応点テーブルを作成するステップと、前記三次元対応点テーブルを利用してサブ画像列間の座標変換行列を計算し、座標系を統合するステップとを有することを特徴としている。
【００１５】
また請求項９に記載の記録媒体は、請求項５乃至８のいずれかに記載のカメラ運動情報取得方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体である。
【００１６】
上記構成において、分割されたサブ画像列には重複部分が存在し、この重複部分を利用して３次元対応点の関係が決まる。このため１つのローカル座標系を基準とした世界座標系に変換することで、カメラ運動情報を得ることができる。
【発明の効果】
【００１７】
本発明によれば、従来不可能であった、特徴点追跡が全フレームで不可能なロングシーケンス画像列から座標系の統一されたカメラ運動情報を取得することができる。このようにして得られたカメラ運動情報により、ステレオ法、シルエット法など目的にあった様々な画像からの三次元復元方法を用いて広域の三次元モデルを安定的に、しかも精度良く復元することが可能となる。
【発明を実施するための最良の形態】
【００１８】
以下、図面を参照しながら本発明の実施の形態を説明するが、本発明は下記の実施形態例に限定されるものではない。図１は、本発明の実施形態例によるカメラ運動情報取得装置の構成を示している。本発明のカメラ運動情報取得装置は、移動観測画像列取得手段１１と、移動観測画像列の分割手段１２と、座標系の統合手段１３と、カメラ運動情報の再推定手段１４で構成される。
【００１９】
移動観測画像列取得手段１１は、画像入力装置を移動させながら時系列画像データを取得する手段であり、一例として、手持ちカメラによる歩行撮影や車に取り付けたカメラなどが考えられる。
【００２０】
移動観測画像列の分割手段１２は、前記移動観測画像列を複数のサブ画像列に、各サブ画像列間で複数の画像を重複させながら分割すると同時に、各サブ画像列を用いて、各サブ画像列に固有の座標系で表されたカメラ運動を推定する手段である。
【００２１】
座標系の統合手段１３は、隣接するサブ画像列の重複画像部分を用いて、各サブ画像列で推定されたカメラ運動情報を共通の世界座標系に統合する手段である。
【００２２】
カメラ運動情報の再推定手段１４は、前記世界座標系に統一されたカメラ運動情報を移動観測画像列の全ての画像を用いて最適化を行い、カメラ運動情報を再推定する手段である。
【００２３】
次に本発明の実施形態例を詳細に説明する。本発明の目的は、移動するカメラ等の画像入力装置によって観測された移動観測画像列から、移動観測画像列を構成する各フレーム撮影時のカメラの三次元位置および姿勢を取得することである。
【００２４】
本実施形態例では、図２のように移動するビデオカメラにより時系列画像列を撮影して、各画像撮影時のカメラの三次元位置と姿勢を推定する例を説明する。
【００２５】
本実施形態例において使用するビデオカメラのカメラ内部パラメータは事前に校正を行っておく。
【００２６】
図３は本実施形態例の動作を示すフローチャートである。処理が開始されると、移動観測画像列取得手段１１により、カメラを移動させながら観測した移動観測画像列Ｎを取得する（ステップＳ２０１）。
【００２７】
次に移動観測画像列の分割手段１２により、図４のように移動観測画像列Ｎを隣接サブ画像列間で重複させながらＫ個のサブ画像列に分割する（ステップＳ２０２）。この分割処理のステップＳ２０２は、図５に示すフローチャートに沿って実行される。
【００２８】
図５において、まずサブ画像列の通し番号を表すｎを、ｎ＝１として処理が開始される。
【００２９】
次にサブ画像列＃ｎを構成する画像の決定を行う（ステップＳ３０１）。
【００３０】
各サブ画像列を構成する画像数は安定したカメラ運動推定という観点ではより多くの画像数が必要であるが、あまりに画像数が多いと特徴点の消失により、特徴点追跡を行うことが出来ない。そこで各サブ画像列の画像数は安定的に特徴点追跡が行える画像数として決定することが望ましい。例えば、以下の手順で行うことが可能である。
【００３１】
特徴点追跡とは画像列中の任意のフレームで発生させた特徴点の画像座標値とその他の全ての画像で対応する画像座標値を求めることである。特徴点追跡はある画像で検出した特徴点を時系列方向及び時系列逆方向の双方向で追跡を行う。
【００３２】
まず特徴点を検出する画像を選択するために、時系列上で二番目の画像から順に選択をしていき、それぞれの画像で特徴点を検出し、時系列逆方向にサブ画像列最初の画像まで特徴点の追跡を行う。検出した特徴点がある閾値以上追跡に失敗した場合、新たな画像を選択するのを中止し、その前に選択された画像を特徴点を検出する画像として採用する。
【００３３】
次にその同じ特徴点を時系列方向に追跡を行っていき、検出した特徴点がある閾値以上追跡に失敗した画像の時系列一つ手前の画像をサブ画像列最後の画像として決定する。
【００３４】
このようにすることでサブ画像列は安定した特徴点追跡を可能な最大の画像数として決定することが出来る。
【００３５】
次に決定されたサブ画像列の各画像を撮影したときのカメラ運動、すなわちサブ画像列の第ｉフレームにおけるカメラの三次元位置(ｘｉ，ｙｉ，ｚｉ)と姿勢（φｉ，θｉ，γｉ）を求める（ステップＳ３０２）。
【００３６】
以下、本実施例では、カメラ運動の推定に因子分解法を用いる例で説明を行うが、逐次射影復元などを用いても実現可能であることは自明である。
【００３７】
ステップＳ３０１で行った特徴点追跡の結果を用いて因子分解法を適用する。まず特徴点を追跡した結果から計測行列を作成する。計測行列とはサブ画像列のフレーム数をＦ、特徴点数をＮとすると以下の式（１）で表されるＦ行Ｎ列の行列となる。
【００３８】
【数１】
【００３９】
ただし、（ｕij，ｖij）はｉフレーム目のｊ番目の特徴点の画像座標値を表す。
【００４０】
因子分解法は式（１）で表される計測行列から、例えば特異値分解などにより、各特徴点の三次元位置とカメラ運動（図４で示される各フレーム毎の三次元位置(ｘｉ，ｙｉ，ｚｉ)、姿勢（φｉ，θｉ，γｉ））を求める方法であり、例えば非特許文献１の方法を用いれば透視投影モデルで頑健にカメラ運動を推定することが出来る。
【００４１】
次に推定されたカメラ運動の最適化を行う（ステップＳ３０３）。
【００４２】
ステップＳ３０２で推定されたカメラ運動及び特徴点の三次元位置を初期解として、最適化を行うことで、より精度の良いカメラ運動を得ることが出来る。これは例えばよく知られたバンドル調整（非特許文献２）によって実現可能である。
【００４３】
次に分割が終了か否かの判断を行う（ステップＳ３０４）。もし現在処理しているサブ画像列が移動観測画像列Ｎの最終フレームに到達していれば、これ以上の分割は必要ないので、処理を終了とする。逆にまだ処理されていないフレームが残されている場合には、ステップＳ３０５の処理に進む。
【００４４】
ステップＳ３０５では、隣接サブ画像列間の重複フレーム数を決定する。この重複フレームは各サブ画像列で推定された座標系の異なるカメラ運動を統合するのに利用する。後述するが、この統合にはステレオ処理により復元した三次元点群を利用する。そのため重複フレームを利用したステレオ処理によって三次元点群が精度良く復元されることが重要である。
【００４５】
ステレオ処理を利用した三次元点群の精度は利用する画像ペアを撮影した際のカメラ光学中心の三次元位置を結んだ距離、すなわちベースラインが長いほど復元される精度が良い。しかしながらベースラインが長すぎるとステレオ処理自体が困難になる。そこでこのベースラインの長さを利用して、重複フレーム数を決定する。
【００４６】
ステップＳ３０３で求めたカメラ運動の最適化の結果を利用する。サブ画像列の最終フレームを撮影したときのカメラの三次元位置を(Ｘｆ，Ｙｆ，Ｚｆ)とする。時系列で最終フレームの前のフレームより逆時系列順にフレームを選択し、選択されたフレームを撮影したときのカメラの三次元位置（Ｘｓ，Ｙｓ，Ｚｓ）を用いて、ベースライン距離Ｂを以下の式（２）にて計算する。
【００４７】
【数２】
【００４８】
例えば、ある閾値Ｔを用意しておき、ＢがＴを初めて超えた際に、最終フレームからそのフレームまでを重複するフレームとして決定する。閾値Ｔは経験的に任意の値として決定することが出来る。
【００４９】
重複フレームが決定したら次のサブ画像列を決定するためにサブ画像列番号ｎをｎ＝ｎ＋１としてステップＳ３０１の処理に戻る。以上述べた処理を繰り返すことで移動観測画像列Ｎを分割する。
【００５０】
以上のように移動観測画像列の分割処理の終了後、座標系の統合手段１３により、サブ画像列間の座標変換行列を計算し、座標系を共通の世界座標系に統合する。
【００５１】
まず重複フレーム部分を用いて、同一の三次元点を隣接サブ画像列間に由来している二つの座標系で表した対応関係を表す、三次元対応点テーブルを作成する（ステップＳ２０３）。
【００５２】
本実施例では、この三次元対応点テーブルを作成するのにステレオ処理を用いる。ステレオ処理に用いる基準画像と比較画像は重複フレームの中から任意に選ぶことが可能である。例えば、重複フレーム部分の最初のフレームと最終フレームをそれぞれ基準画像、比較画像とすることができる。ステレオ処理を行うことで、この基準画像の各画素（ｕ，ｖ）と比較画像の各画素（ｕ’，ｖ’）の対応付けを行って、対応点データを得る。
【００５３】
次に前記対応点データを用いて三次元点の復元を行う。三次元点の復元は一つの対応点について、重複フレームを含む隣接する二つのサブ画像列から推定された二つのカメラ運動データを用いて計算を行う。つまり基準画像の各画素（ｕ，ｖ）について二つの座標系で表された三次元点が計算されることになる。
【００５４】
三次元点復元は、基準画像の投影行列をＰ、比較画像の投影行列Ｐ’とすると、投影行列Ｐは３行４列の行列で、推定されたカメラ運動（三次元位置(ｘ，ｙ，ｚ)、姿勢（φ，θ，γ））とカメラ内部行列Ａから以下の式（３）のように計算できる。すなわち、
【００５５】
【数３】
【００５６】
であり、Ａ行列の各要素はカメラ校正により既知である。
【００５７】
式（３）により、基準画像の投影行列Ｐおよび比較画像の投影行列Ｐ’をまず計算する。
【００５８】
次に対応点データと投影行列ＰおよびＰ’を使って三次元点を復元する。基準画像の画像座標（ｕ，ｖ）と比較画像の画像座標（ｕ’，ｖ’）が対応しているとすると、三次元点Ｍ＝(Ｘ，Ｙ，Ｚ)は以下の式（４）により復元される。すなわち、
【００５９】
【数４】
【００６０】
であり、ｐｉｊおよびｐ’ｉｊはＰおよびＰ’のｉ行ｊ列の要素を表し、Ｂ+はＢ行列の疑似逆行列である。
【００６１】
これを二つのカメラ運動を用いることで、二つの座標系で表された三次元点を得ることが出来る。これを基準画像の全画素について行うことで、図６のような三次元対応点テーブルを作成することが出来る。
【００６２】
以上の処理を全ての隣接サブ画像列間の重複フレームで行う。次に得られた三次元対応点テーブルを用いて、統合されたカメラ運動を再推定するために、ステップＳ２０１で因子分解法により得た特徴点の三次元点と移動観測画像列の全てのフレームの投影行列を共通の座標系に統合する（ステップＳ２０４）。
【００６３】
共通の世界座標系は任意のサブ画像列のローカル座標系とすることができる。例えば、時系列上で中央のサブ画像列のローカル座標系を共通の世界座標系とすることができる。以下では図７のように、時系列上で中央のサブ画像列のローカル座標系を共通の世界座標系とし、このサブ画像列の番号をＷ、Ｔｉは座標変換行列で、ｉ＜ＷならＴｉはサブ画像列番号ｉからサブ画像列番号ｉ＋１の座標系へ変換する行列であり、ｉ≧ＷならＴｉはサブ画像列番号ｉ＋１からサブ画像列番号ｉの座標系へ変換する行列である。
【００６４】
このような行列ＴｉはステップＳ２０３で求めた三次元対応点テーブルを用いて、例えば非特許文献３に記載のクオータニオンを利用した方法で計算することが出来る。全ての隣接サブ画像列間において行列Ｔｉの計算を行う。
【００６５】
次に求めたＴｉを用いて共通の世界座標系での各サブ画像列で因子分解法により獲得した特徴点の三次元点を世界座標系に変換する。これは以下の式（５）を用いて計算できる。
【００６６】
【数５】
【００６７】
ただし、(Ｘｉ，Ｙｉ，Ｚｉ)はサブ画像列番号ｉより因子分解法により計算された特徴点の三次元座標値、(Ｘｗ，Ｙｗ，Ｚｗ)は(Ｘｉ，Ｙｉ，Ｚｉ)を世界座標系にて表した三次元座標値である。この変換を全てのサブ画像列において因子分解法によって得られた三次元点全てに対し行う。
また同様にして世界座標系で表された投影行列の計算も行う。これは以下の式（６）で計算することができる。
【００６８】
【数６】
【００６９】
ただし、Ｐｉはサブ画像列番号ｉの各画像の投影行列を表し、Ｐｗは変換されて世界座標系で表された投影行列を表す。この変換を各サブ画像列の全ての画像の投影行列に対して行う。以上の処理にて各サブ画像列毎のカメラ運動を推定するのに利用した特徴点の三次元点と移動観測画像列の全ての画像の投影行列を共通の世界座標系へと変換することができる。
【００７０】
最後に前記得られた共通の世界座標系で表された特徴点の三次元座標値を用いてカメラ運動情報の再推定手段１４により世界座標系で統一されたカメラ運動の再推定を行う（ステップＳ２０５）。
【００７１】
カメラ運動の再推定は前記ステップＳ３０２でも説明したようにバンドル調整により行うことができる。ステップＳ２０４で得られた共通の世界座標系で表された特徴点の三次元座標値および投影行列とステップＳ２０２で各サブ画像列にて特徴点追跡を行った計測行列を用いて、特徴点の三次元座標値の最投影誤差を最小とするように最適化を行って、これを世界座標系に統合されたカメラ運動情報とする。
【００７２】
本実施形態例では移動観測画像列の分割手段１２においてカメラ運動の推定に因子分解法を用いる例を説明したが、移動観測画像の特徴点追跡結果からカメラ運動を推定する手段であれば、何を用いても実現可能であり、例えば、逐次射影復元を用いても構わない。
【００７３】
本実施形態例では、座標系の統合手段１３において、ステレオ処理により復元した三次元点群を利用してクォータニオンを用いて統合を行ったが、これに限るものではなく、単純な最小二乗近似などによって変換行列の推定を行っても構わない。
【００７４】
また、前記カメラのパラメータや、途中の３次元座標は、例えばメモリに格納して利用するように構成するものである。
【００７５】
尚、図１で示した装置における各手段の一部もしくは全部の機能をコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行して本発明を実現することができること、図３で示した処理の手順をコンピュータのプログラムで構成し、そのプログラムをコンピュータに実行させることができることは言うまでもなく、コンピュータでその機能を実現するためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えばＦＤや、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録して、保存したり、配布したりすることが可能である。また、上記のプログラムをインターネットや電子メールなど、ネットワークを通して提供することも可能である。
【００７６】
（実施例）
以下に、上述のカメラ運動情報取得装置を用いて、移動する１台のビデオカメラから取得した移動観測画像を処理した結果を図３に示した処理フローを用いて述べる。
【００７７】
まず処理が開始されると、移動観測画像列の取得を行う（ステップＳ２０１）。図８は取得した移動観測画像列の一例の一部である（８０１〜８０６）。これはビデオカメラを手に持って歩きながら撮影を行って取得したもので、時系列順に番号が振ってある。最初のフレーム（８０１）で見えていた箇所は最後のフレーム（８０６）ではすでに見えなくなっており、全てのフレームでの特徴点追跡が不可能なロングシーケンス画像列であることが分かる。
【００７８】
次にステップＳ２０２では移動観測画像列の分割を行う。これは図５の処理フロー図を用いて説明する。ステップＳ３０１はサブ画像列の決定を行う。これは特徴点追跡が安定して行える画像数として決定する。図９はあるサブ画像列における特徴点追跡の結果の一例の一部（９０１〜９０３）であり、９０１から撮影した時系列順に並んでいる。中央の画像（９０２）はサブ画像列の丁度時系列順で中央に位置する画像であり、画像中の四角い枠の中にＨａｒｒｉｓ特徴を用いた特徴点を発生させた。ここで発生した特徴点を時系列逆方向、順方向ともに追跡して、サブ画像列の全てのフレームで対応付けを行う。特徴点の消失がなく、安定した追跡がされていることを確認することができる。
【００７９】
ステップＳ３０２では特徴点追跡結果を用いて因子分解法によりカメラ運動を推定し、ステップＳ３０３ではこれを初期解として最適化を行う。図１０に、推定されたカメラ運動及び復元した特徴点の三次元位置の一例を示す。なお図１０の各軸はＸ，Ｙ，Ｚ軸をそれぞれ表しており、特徴点の三次元位置とカメラ位置の相対的な位置関係を表している。以後、図１１、図１２も同様である。
【００８０】
ステップＳ３０４では分割終了か否かの判定が行われる。現在処理しているサブ画像列が移動観測画像列の最終フレームまで入っていれば、分割を終了とする。そうでなければ重複フレーム数の決定処理（ステップＳ３０５）に進む。ここでは推定されたカメラ運動を用いて最適な重複フレーム数を決定する。重複フレーム間のベースライン距離を利用してステレオ処理により三次元点群が精度良く復元できるようにする。処理を終えたら処理するサブ画像列の番号ｎをｎ＝ｎ＋１として、ステップＳ３０１へ戻る。
【００８１】
以上の処理を繰り返し、移動観測画像列の分割処理（ステップＳ２０２）が終了したら、三次元対応点テーブル作成を行う（ステップＳ２０３）。これは重複フレーム部でステレオ処理を行い、得られた対応点データから隣接するサブ画像列から推定した二つのカメラ運動で三次元点を復元することで実現する。
【００８２】
図１１はステレオ処理による視差画像（対応点データ）と二つのカメラ運動を用いた三次元点群の復元結果の一例である。復元された三次元点群は座標系が異なるために、二つに分離されていることが確認できる。この三次元点群一点一点について対応関係が求められている。この処理を全ての隣接サブ画像列間で行う。
【００８３】
次にステップＳ２０４では得られた三次元対応点テーブルを用いてステップＳ２０２で因子分解法によってサブ画像列毎に得られた特徴点の三次元位置と移動観測画像列の全画像の投影行列を共通の世界座標系に統合する。
【００８４】
最後にステップＳ２０５ではステップＳ２０４で求めた共通の世界座標系に統合された特徴点の三次元位置、投影行列、特徴点追跡結果を用いてバンドル調整により三次元点の再投影誤差を最小化するように最適化を行って、統合されたカメラ運動を推定する。図１２は全てのサブ画像列毎に復元した特徴点の三次元位置を共通の世界座標系に統合した三次元点群と統合されたカメラ運動の一例を示した図である。この図１２によれば、シームレスにカメラ運動が復元されている様子が確認できる。
【００８５】
以上述べた処理により、本実施形態例ではロングシーケンス画像列からカメラ運動情報が推定できる。
【図面の簡単な説明】
【００８６】
【図１】本発明の一実施形態例によるカメラ運動情報取得装置の構成図である。
【図２】本発明の一実施形態例によるカメラ運動情報取得装置におけるデータ取得の様子を示す説明図である。
【図３】本発明の一実施形態例におけるカメラ運動情報取得方法の処理手順を示すフローチャートである。
【図４】本発明の一実施形態例における移動観測画像列の分割の様子を示した説明図である。
【図５】本発明の一実施形態例における移動観測画像列の分割の処理手順を示すフローチャートである。
【図６】本発明の一実施形態例における異なる座標系で表された三次元点の対応点テーブルの例を示す説明図である。
【図７】本発明の一実施形態例における世界座標系への座標系統合の方法を示す説明図である。
【図８】本発明の一実施形態例における移動観測画像の一例を示す説明図である。
【図９】本発明の一実施形態例のサブ画像列における特徴点追跡の結果の一例を示す説明図である。
【図１０】本発明の一実施形態例において、特徴点追跡結果を用いて因子分解により、特徴点の三次元復元結果と推定したカメラ運動の一例を示す説明図である。
【図１１】本発明の一実施形態例において、ステレオ処理結果を示す視差画像および視差画像と二つのカメラ運動を用いて三次元点群を復元した結果の一例を示す説明図である。
【図１２】本発明の一実施形態例において、世界座標系に三次元点群およびカメラ運動を統合した結果の一例を示す説明図である。
【符号の説明】
【００８７】
１１…移動観測画像列取得手段、１２…移動観測画像列の分割手段、１３…座標系の統合手段、１４…カメラ運動情報の再推定手段。
【特許請求の範囲】
【請求項１】
移動する画像入力装置により観測された画像列から、画像撮影時のカメラの三次元位置および姿勢を表すカメラ運動情報を取得するカメラ運動情報取得装置であって、
移動する画像入力装置により観測された画像列を取得する移動観測画像列取得手段と、
前記取得した移動観測画像列を、各サブ画像列間で複数の画像を重複させながら複数のサブ画像列に分割する移動観測画像列の分割手段と、
前記サブ画像列間で異なる座標系を共通の世界座標系に統合する座標系の統合手段と、
前記共通の世界座標系でのカメラ運動を再推定するカメラ運動情報の再推定手段とを備える
ことを特徴とするカメラ運動情報取得装置。
【請求項２】
請求項１に記載のカメラ運動情報取得装置において、
前記移動観測画像列の分割手段は、
特徴点追跡の結果を利用してサブ画像列を決定し、前記特徴点追跡結果を用いて計測行列を作成し、因子分解法によりカメラ運動を推定する
ことを特徴とするカメラ運動情報取得装置。
【請求項３】
請求項１に記載のカメラ運動情報取得装置において、
前記移動観測画像列の分割手段は、
特徴点追跡の結果を利用してサブ画像列を決定し、前記特徴点追跡結果を用いて逐次的に射影復元を行ってカメラ運動を推定する
ことを特徴とするカメラ運動情報取得装置。
【請求項４】
請求項１乃至３に記載のカメラ運動情報取得装置において、
前記座標系の統合手段は、
サブ画像列間の重複フレームを利用してステレオ処理により三次元対応点テーブルを作成し、前記三次元対応点テーブルを利用してサブ画像列間の座標変換行列を計算し、座標系を統合することを特徴とするカメラ運動情報取得装置。
【請求項５】
移動する画像入力装置により観測された画像列から、画像撮影時のカメラの三次元位置および姿勢を表すカメラ運動情報を取得するカメラ運動情報取得方法であって、
移動観測画像列取得手段が、移動する画像入力装置により観測された画像列を取得するステップと、
移動観測画像列の分割手段が、前記取得した移動観測画像列を、各サブ画像列間で複数の画像を重複させながら複数のサブ画像列に分割する分割ステップと、
座標系の統合手段が、前記サブ画像列間で異なる座標系を共通の世界座標系に統合する統合ステップと、
カメラ運動情報の再推定手段が、前記共通の世界座標系でのカメラ運動を再推定するステップとを備える
ことを特徴とするカメラ運動情報取得方法。
【請求項６】
請求項５に記載のカメラ運動情報取得方法において、
前記分割ステップは、
特徴点追跡の結果を利用してサブ画像列を決定するステップと、前記特徴点追跡結果を用いて計測行列を作成し、因子分解法によりカメラ運動を推定するステップと、推定されたカメラ運動を最適化するステップと、移動観測画像列の分割が終了か否かを判定するステップと、重複するフレーム数を決定するステップとを有する
ことを特徴とするカメラ運動情報取得方法。
【請求項７】
請求項５に記載のカメラ運動情報取得方法において、
前記分割ステップは、
特徴点追跡の結果を利用してサブ画像列を決定するステップと、前記特徴点追跡結果を用いて逐次的に射影復元を行ってカメラ運動を推定するステップと、推定されたカメラ運動を最適化するステップと、移動観測画像列の分割が終了か否かを判定するステップと、重複するフレーム数を決定するステップとを有する
ことを特徴とするカメラ運動情報取得方法。
【請求項８】
請求項５乃至７に記載のカメラ運動情報取得方法において、
前記統合ステップは、サブ画像列間の重複フレームを利用してステレオ処理により三次元対応点テーブルを作成するステップと、前記三次元対応点テーブルを利用してサブ画像列間の座標変換行列を計算し、座標系を統合するステップとを有する
ことを特徴とするカメラ運動情報取得方法。
【請求項９】
請求項５乃至８のいずれかに記載のカメラ運動情報取得方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１】
移動する画像入力装置により観測された画像列から、画像撮影時のカメラの三次元位置および姿勢を表すカメラ運動情報を取得するカメラ運動情報取得装置であって、
移動する画像入力装置により観測された画像列を取得する移動観測画像列取得手段と、
前記取得した移動観測画像列を、各サブ画像列間で複数の画像を重複させながら複数のサブ画像列に分割する移動観測画像列の分割手段と、
前記サブ画像列間で異なる座標系を共通の世界座標系に統合する座標系の統合手段と、
前記共通の世界座標系でのカメラ運動を再推定するカメラ運動情報の再推定手段とを備える
ことを特徴とするカメラ運動情報取得装置。
【請求項２】
請求項１に記載のカメラ運動情報取得装置において、
前記移動観測画像列の分割手段は、
特徴点追跡の結果を利用してサブ画像列を決定し、前記特徴点追跡結果を用いて計測行列を作成し、因子分解法によりカメラ運動を推定する
ことを特徴とするカメラ運動情報取得装置。
【請求項３】
請求項１に記載のカメラ運動情報取得装置において、
前記移動観測画像列の分割手段は、
特徴点追跡の結果を利用してサブ画像列を決定し、前記特徴点追跡結果を用いて逐次的に射影復元を行ってカメラ運動を推定する
ことを特徴とするカメラ運動情報取得装置。
【請求項４】
請求項１乃至３に記載のカメラ運動情報取得装置において、
前記座標系の統合手段は、
サブ画像列間の重複フレームを利用してステレオ処理により三次元対応点テーブルを作成し、前記三次元対応点テーブルを利用してサブ画像列間の座標変換行列を計算し、座標系を統合することを特徴とするカメラ運動情報取得装置。
【請求項５】
移動する画像入力装置により観測された画像列から、画像撮影時のカメラの三次元位置および姿勢を表すカメラ運動情報を取得するカメラ運動情報取得方法であって、
移動観測画像列取得手段が、移動する画像入力装置により観測された画像列を取得するステップと、
移動観測画像列の分割手段が、前記取得した移動観測画像列を、各サブ画像列間で複数の画像を重複させながら複数のサブ画像列に分割する分割ステップと、
座標系の統合手段が、前記サブ画像列間で異なる座標系を共通の世界座標系に統合する統合ステップと、
カメラ運動情報の再推定手段が、前記共通の世界座標系でのカメラ運動を再推定するステップとを備える
ことを特徴とするカメラ運動情報取得方法。
【請求項６】
請求項５に記載のカメラ運動情報取得方法において、
前記分割ステップは、
特徴点追跡の結果を利用してサブ画像列を決定するステップと、前記特徴点追跡結果を用いて計測行列を作成し、因子分解法によりカメラ運動を推定するステップと、推定されたカメラ運動を最適化するステップと、移動観測画像列の分割が終了か否かを判定するステップと、重複するフレーム数を決定するステップとを有する
ことを特徴とするカメラ運動情報取得方法。
【請求項７】
請求項５に記載のカメラ運動情報取得方法において、
前記分割ステップは、
特徴点追跡の結果を利用してサブ画像列を決定するステップと、前記特徴点追跡結果を用いて逐次的に射影復元を行ってカメラ運動を推定するステップと、推定されたカメラ運動を最適化するステップと、移動観測画像列の分割が終了か否かを判定するステップと、重複するフレーム数を決定するステップとを有する
ことを特徴とするカメラ運動情報取得方法。
【請求項８】
請求項５乃至７に記載のカメラ運動情報取得方法において、
前記統合ステップは、サブ画像列間の重複フレームを利用してステレオ処理により三次元対応点テーブルを作成するステップと、前記三次元対応点テーブルを利用してサブ画像列間の座標変換行列を計算し、座標系を統合するステップとを有する
ことを特徴とするカメラ運動情報取得方法。
【請求項９】
請求項５乃至８のいずれかに記載のカメラ運動情報取得方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２００７−２９２６５７（Ｐ２００７−２９２６５７Ａ）
【公開日】平成１９年１１月８日（２００７．１１．８）
【国際特許分類】
【出願番号】特願２００６−１２２１８６（Ｐ２００６−１２２１８６）
【出願日】平成１８年４月２６日（２００６．４．２６）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成１９年１１月８日（２００７．１１．８）
【国際特許分類】
【出願日】平成１８年４月２６日（２００６．４．２６）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]