カメラポーズ推定装置、カメラポーズ推定方法及びカメラポーズ推定プログラム
【課題】移動物体が含まれる場合においても正確にカメラポーズを算出する。
【解決手段】実空間中の点の３次元座標と、３次元座標が有するテクスチャ情報と、３次元座標が移動物体上か否かを示す移動物体フラグとを３次元点ＩＤに関連付けた３次元リスト情報を記憶する手段と、移動物体フラグが０である３次元点の対応付けを行う３次元点対応付け手段と、最適カメラポーズ情報を出力するカメラポーズ算出手段と、最適カメラポーズ情報を用いてアウトライヤ対応点リスト情報内の３次元座標がフレーム画像に射影される再射影点を決定し、該再射影点とアウトライヤ対応点リスト情報内の対応点座標から算出する動きベクトルを用いて対象の３次元座標が移動物体上か否か判定し、移動物体と判定された場合は、処理対象のアウトライヤ対応点リスト情報内の３次元点ＩＤに対応する移動物体フラグを１に更新して、最終的な最適カメラポーズを出力する。
【解決手段】実空間中の点の３次元座標と、３次元座標が有するテクスチャ情報と、３次元座標が移動物体上か否かを示す移動物体フラグとを３次元点ＩＤに関連付けた３次元リスト情報を記憶する手段と、移動物体フラグが０である３次元点の対応付けを行う３次元点対応付け手段と、最適カメラポーズ情報を出力するカメラポーズ算出手段と、最適カメラポーズ情報を用いてアウトライヤ対応点リスト情報内の３次元座標がフレーム画像に射影される再射影点を決定し、該再射影点とアウトライヤ対応点リスト情報内の対応点座標から算出する動きベクトルを用いて対象の３次元座標が移動物体上か否か判定し、移動物体と判定された場合は、処理対象のアウトライヤ対応点リスト情報内の３次元点ＩＤに対応する移動物体フラグを１に更新して、最終的な最適カメラポーズを出力する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、実空間を移動する物体を含むシーンを撮像するカメラによって入力されたフレーム画像列から、実空間におけるカメラの位置・姿勢を示すカメラポーズを算出するカメラポーズ推定装置、カメラポーズ推定方法及びカメラポーズ推定プログラムに関する。
【背景技術】
【０００２】
実空間を撮像するカメラによって入力されたフレーム画像から、実空間におけるカメラの位置・姿勢を示すカメラポーズを算出するカメラポーズ推定装置では、算出したカメラポーズを用いて、例えばフレーム画像中にコンピュータグラフィクス等を合成することを可能にしている。
【０００３】
従来のカメラポーズ推定装置では、撮影対象である実空間が静止していることを前提に、例えば、最新時刻のフレーム画像と、撮影対象である実空間の３次元座標情報、最新時刻以前のカメラポーズ列から算出した仮のカメラポーズを入力し、（１）実空間の３次元点がフレーム画像で観測された画像点を決定、（２）３次元点の３次元座標と画像点の座標の組から非線形最小自乗法によってカメラポーズ算出、を時々刻々繰り返すことによって長時間に亘っても正確にカメラポーズを算出し続ける方法について記載されている（例えば、非特許文献１参照）。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】Parallel Tracking and Mapping for Small AR Workspaces，Georg Klein and David Murray，In Proc. International Symposium on Mixed and Augmented Reality (ISMAR'07, Nara)，pp. 225-234，2007
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら従来の方法では、撮影対象である実空間が静止していることが前提としてカメラポーズ算出を行うため、実空間に移動物体が含まれる場合にはカメラポーズ精度が低下するという問題がある。その理由は、時々刻々に亘ってカメラポーズ算出を行っている間に、実際の実空間と、カメラポーズ推定装置に入力される実空間の３次元座標情報との間に乖離が生じ、３次元点の３次元座標と画像点の座標の組から非線形最小自乗法によって算出されるカメラポーズが正確性に欠けるからである。
【０００６】
本発明は、このような事情に鑑みてなされたもので、カメラポーズ推定装置において、実空間中に移動物体が含まれる場合においても正確にカメラポーズを算出することができるカメラポーズ推定装置、カメラポーズ推定方法及びカメラポーズ推定プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、実空間中の点の３次元座標と、３次元座標が有するテクスチャ情報と、３次元座標が移動物体上か否かを示す移動物体フラグとが３次元点ＩＤに関連付けられた３次元リスト情報を記憶する３次元リスト記憶手段と、フレーム画像と、暫定カメラポーズ情報とを入力するとともに、前記３次元リスト情報を３次元リスト記憶手段から読み込み、前記３次元リスト情報内の前記移動物体フラグが０である３次元座標に対応する点をフレーム画像から決定し、決定した対応点座標と３次元座標とのペアを３次元点ＩＤに関連付けた対応点リスト情報を生成し、前記対応点リスト情報と前記暫定カメラポーズ情報とを出力する３次元点対応付け手段と、前記対応点リスト情報と前記暫定カメラポーズ情報とを入力し、前記対応点リスト情報の３次元座標と対応点座標のペア全てからロバスト推定法を用いて最適カメラポーズ情報を算出し、ロバスト推定時に外れ値に判断された全てについて、３次元座標と対応点座標のペアと、該ペアの３次元点ＩＤをペアＩＤに関連付けたアウトライヤ対応点リスト情報と、前記最適カメラポーズ情報を出力するカメラポーズ算出手段と、前記最適カメラポーズ情報と前記アウトライヤ対応点リスト情報とを入力するとともに、前記３次元リスト情報を前記３次元リスト記憶手段から読み込み、前記最適カメラポーズ情報を用いてアウトライヤ対応点リスト情報内の３次元座標が前記フレーム画像に射影される再射影点を決定し、該再射影点とアウトライヤ対応点リスト情報内の対応点座標から算出する動きベクトルを用いて対象の３次元座標が移動物体上か否か判定し、移動物体と判定された場合は、処理対象のアウトライヤ対応点リスト情報内の３次元点ＩＤに対応する３次元リスト情報の移動物体フラグを１に更新して、最終的な前記最適カメラポーズを出力する３次元リスト更新手段とを備えることを特徴とする。
【０００８】
本発明は、実空間中の点の３次元座標と、３次元座標が有するテクスチャ情報と、３次元座標が移動物体上か否かを示す移動物体フラグとが３次元点ＩＤに関連付けられた３次元リスト情報を記憶する３次元リスト記憶手段と、３次元点対応付け手段と、カメラポーズ算出手段と、３次元リスト更新手段とを備えるカメラポーズ推定装置におけるカメラポーズ推定方法であって、前記３次元点対応付け手段が、フレーム画像と、暫定カメラポーズ情報とを入力するとともに、前記３次元リスト情報を３次元リスト記憶手段から読み込み、前記３次元リスト情報内の前記移動物体フラグが０である３次元座標に対応する点をフレーム画像から決定し、決定した対応点座標と３次元座標とのペアを３次元点ＩＤに関連付けた対応点リスト情報を生成し、前記対応点リスト情報と前記暫定カメラポーズ情報とを出力する３次元点対応付けステップと、前記カメラポーズ算出手段が、前記対応点リスト情報と前記暫定カメラポーズ情報とを入力し、前記対応点リスト情報の３次元座標と対応点座標のペア全てからロバスト推定法を用いて最適カメラポーズ情報を算出し、ロバスト推定時に外れ値に判断された全てについて、３次元座標と対応点座標のペアと、該ペアの３次元点ＩＤをペアＩＤに関連付けたアウトライヤ対応点リスト情報と、前記最適カメラポーズ情報を出力するカメラポーズ算出ステップと、前記３次元リスト更新手段が、前記最適カメラポーズ情報と前記アウトライヤ対応点リスト情報とを入力するとともに、前記３次元リスト情報を前記３次元リスト記憶手段から読み込み、前記最適カメラポーズ情報を用いてアウトライヤ対応点リスト情報内の３次元座標が前記フレーム画像に射影される再射影点を決定し、該再射影点とアウトライヤ対応点リスト情報内の対応点座標から算出する動きベクトルを用いて対象の３次元座標が移動物体上か否か判定し、移動物体と判定された場合は、処理対象のアウトライヤ対応点リスト情報内の３次元点ＩＤに対応する３次元リスト情報の移動物体フラグを１に更新して、最終的な前記最適カメラポーズを出力する３次元リスト更新ステップとを有することを特徴とする。
【０００９】
本発明は、実空間中の点の３次元座標と、３次元座標が有するテクスチャ情報と、３次元座標が移動物体上か否かを示す移動物体フラグとが３次元点ＩＤに関連付けられた３次元リスト情報を記憶する３次元リスト記憶手段を備えるカメラポーズ推定装置上のコンピュータにカメラポーズ推定処理を行わせるカメラポーズ推定プログラムであって、フレーム画像と、暫定カメラポーズ情報とを入力するとともに、前記３次元リスト情報を３次元リスト記憶手段から読み込み、前記３次元リスト情報内の前記移動物体フラグが０である３次元座標に対応する点をフレーム画像から決定し、決定した対応点座標と３次元座標とのペアを３次元点ＩＤに関連付けた対応点リスト情報を生成し、前記対応点リスト情報と前記暫定カメラポーズ情報とを出力する３次元点対応付けステップと、前記対応点リスト情報と前記暫定カメラポーズ情報とを入力し、前記対応点リスト情報の３次元座標と対応点座標のペア全てからロバスト推定法を用いて最適カメラポーズ情報を算出し、ロバスト推定時に外れ値に判断された全てについて、３次元座標と対応点座標のペアと、該ペアの３次元点ＩＤをペアＩＤに関連付けたアウトライヤ対応点リスト情報と、前記最適カメラポーズ情報を出力するカメラポーズ算出ステップと、前記最適カメラポーズ情報と前記アウトライヤ対応点リスト情報とを入力するとともに、前記３次元リスト情報を前記３次元リスト記憶手段から読み込み、前記最適カメラポーズ情報を用いてアウトライヤ対応点リスト情報内の３次元座標が前記フレーム画像に射影される再射影点を決定し、該再射影点とアウトライヤ対応点リスト情報内の対応点座標から算出する動きベクトルを用いて対象の３次元座標が移動物体上か否か判定し、移動物体と判定された場合は、処理対象のアウトライヤ対応点リスト情報内の３次元点ＩＤに対応する３次元リスト情報の移動物体フラグを１に更新して、最終的な前記最適カメラポーズを出力する３次元リスト更新ステップとを前記コンピュータに行わせることを特徴とする。
【発明の効果】
【００１０】
本発明によれば、実空間内に移動物体が含まれる場合においても、ある時刻におけるカメラポーズを算出後、算出したカメラポーズと、カメラポーズ算出時に決定されたアウトライヤから実空間中の移動物体上がフレーム画像において撮像された点を検出し、検出した点に対応する３次元座標情報を除去するため、次時刻以降で入力される３次元座標情報と実際の実空間との乖離が解消され、時々刻々に亘って正確に移動物体上の動きベクトルを検出することができるという効果が得られる。
【図面の簡単な説明】
【００１１】
【図１】本発明の一実施形態の構成を示すブロック図である。
【図２】図１に示す３次元点対応付け部１１の動作を示すフローチャートである。
【図３】図１に示すカメラポーズ算出部１２の動作を示すフローチャートである。
【図４】図１に示す３次元リスト更新部１３の動作を示すフローチャートである。
【図５】カメラポーズ推定処理を示す説明図である。
【図６】３次元点対応付け処理を示す説明図である。
【図７】３次元点対応付け処理を示す説明図である。
【図８】３次元リスト更新処理を示す説明図である。
【図９】３次元リスト更新処理を示す説明図である。
【図１０】３次元リスト更新処理を示す説明図である。
【図１１】３次元リストの一例を示す説明図である。
【図１２】対応点リストの一例を示す説明図である。
【図１３】アウトライヤ対応点リストの一例を示す説明図である。
【図１４】３次元リストの一例を示す説明図である。
【発明を実施するための形態】
【００１２】
以下、図面を参照して、本発明の一実施形態によるカメラポーズ推定装置を説明する。図１は同実施形態の構成を示すブロック図である。この図において、符号１は、コンピュータ装置で構成するカメラポーズ推定装置であり、暫定カメラポーズの情報とフレーム画像を入力し、最適カメラポーズの情報を出力する。符号２は、３次元リストの情報を記憶する３次元リスト記憶部である。ここでいう「カメラポーズ」とは、実空間の三次元空間において予め設定したワールド座標系に対するカメラの併進、回転を示す姿勢情報である。カメラポーズ推定装置１は、３次元点対応付け部１１と、カメラポーズ算出部１２と、３次元リスト更新部１３とを備える。
【００１３】
３次元点対応付け部１１は、最新時刻のフレーム画像と、前時刻から算出された暫定カメラポーズを入力するとともに、実空間中の点の３次元座標、及び３次元座標が有するテクスチャ情報、及び３次元座標が移動物体上か否かを示す移動物体フラグが唯一に付与された３次元点ＩＤに関連付けられて記録された３次元リストを３次元リスト記憶部２から読み込み、３次元リスト内の３次元座標に対応する点をフレーム画像から決定し、決定した対応点座標と３次元座標とのペアを３次元点ＩＤに関連付けて記録した対応点リストを生成し、暫定カメラポーズと併せて出力する。
【００１４】
カメラポーズ算出部１２は、３次元点対応付け部１１から出力される対応点リストと暫定カメラポーズを入力し、対応点リストの３次元座標と対応点座標のペア全てからロバスト推定法を用いて最適カメラポーズを算出し、ロバスト推定時に外れ値を示すアウトライヤに判断された全てについて、３次元座標と対応点座標のペアと、このペアの３次元点ＩＤを、唯一に付与されたペアＩＤに関連付けてアウトライヤ対応点リストとして記録し、このアウトライヤ対応点リストと、最適カメラポーズを出力する。
【００１５】
３次元リスト更新部１３は、カメラポーズ算出部１２が出力する最適カメラポーズ及びアウトライヤ対応点リストを入力し、３次元リストを３次元リスト記憶部２から読み込み、最適カメラポーズを用いてアウトライヤ対応点リスト内の３次元座標がフレーム画像に射影される点を再射影点を決定し、当該再射影点とアウトライヤ対応点リスト内の対応点座標から算出する動きベクトルを用いて対象の３次元座標が移動物体上か否か判定し、移動物体と判定された場合は、処理対象のアウトライヤ対応点リスト内の３次元点ＩＤに対応する３次元リストの移動物体フラグを１に更新するとともに、最終的に最適カメラポーズを出力する。
【００１６】
次に、図５、図１１を参照して、図１に示すカメラポーズ推定装置１で実行される処理動作について説明する。図５は、カメラポーズ推定処理を示す説明図である。図１１は、３次元リストの一例を示す説明図である。ここではカメラポーズ推定装置１が時刻ｔに起動されたものとする。暫定カメラポーズは、時刻ｔ以前のカメラポーズ列の遷移から予測した時刻ｔにおけるカメラポーズの仮値であり、例えば時刻ｔ以前のカメラポーズ列から加速度、速度を算出しておき、当該加速度、速度から時刻ｔ−１のカメラポーズを算出することで決定する（図５参照）。フレーム画像は、対象となる実空間を時刻ｔにおいて撮像したカメラから出力される画像である（図５参照）。３次元リスト記憶部２の３次元リストは、時刻ｔより以前のカメラポーズ推定によって出力された実空間の３次元点情報（図５参照）に関するリストであり、唯一に付与された３次元点ＩＤに関連付けられて、少なくとも３次元座標、当該３次元座標近辺のテクスチャ情報、移動物体フラグが記録されている（図１１参照）。
【００１７】
次に、図２を参照して、図１に示す３次元点対応付け部１１の処理動作を説明する。カメラポーズ推定装置１は、まず３次元点対応付け部１１が起動される。３次元点対応付け部１１は、暫定カメラポーズとフレーム画像を入力する（ステップＳ１）。続いて、３次元点対応付け部１１は、３次元リスト記憶部２から３次元リストを読み込み（ステップＳ２）、３次元リストの移動物体上フラグが０である３次元点ＩＤ全てについて処理済みであるか否かを判定し（ステップＳ３）、処理済みでなければ、３次元点対応付け部１１は、３次元リストで移動物体フラグが０のものうち、未だ処理を行っていない３次元点ＩＤを１つ選択し、選択した３次元点ＩＤに関連付けられた３次元座標を暫定カメラポーズを用いフレーム画像に射影することで射影点を決定する（ステップＳ４）。
【００１８】
ここで、射影点を決定する射影方法について説明する。実空間の３次元空間の座標（Ｘｗ，Ｙｗ，Ｚｗ）とカメラのフレーム画像への射影点の座標（ｕ，ｖ）とは、（１）式に示すように、ｐ１１からｐ３４の１２個のパラメータによって関係付けられる（例えば、文献「ディジタル画像処理編集委員会著，「ディジタル画像処理」，ＣＧ−ＡＲＴＳ協会，２００４年，ｐ．２５２〜２５６．」参照）。ただし、演算子〜は、その両辺が定数倍の違いを許して等しいことを表している。
【数１】
【００１９】
ここで、（１）式は、非特許文献２に示されるように、（２）式のように分解できる。
【数２】
ただし、Ａは、（３）式に示すカメラの内部パラメータからなる３×３の行列である。また、ｆはカメラの焦点距離であり、δｕとδｖは、カメラの撮像素子の横方向と縦方向の画素の物理的な間隔である。
【数３】
【００２０】
また、（２）式に示すＲとｔはそれぞれ３×３の回転行列と３次元の平行移動ベクトルである。カメラポーズ推定装置１の３次元点対応付け部１１においては、入力された暫定カメラポーズをＲ、ｔとして、３次元点ＩＤに関連付けられた３次元座標を￣ｘｗ（￣はｘの頭に付く）として、それぞれ（２）式に代入することで、射影点の座標（ｕ，ｖ）を決定する。なお、カメラの内部パラメータＡは、予め定められた値がカメラポーズ推定装置１に入力されているものとする。
【００２１】
ここで注意すべきは、暫定カメラポーズは時刻ｔ以前のカメラポーズ列の遷移から予測した時刻ｔにおけるカメラポーズの仮値であり、真値と異なることである。このため、３次元座標に対応するフレーム画像上での実際の観測点と射影点の位置は異なる可能性がある。そこで、３次元点対応付け部１１は、決定した射影点近傍で、３次元点ＩＤに関連付けられた３次元座標に対応するフレーム画像上での実際の観測点である対応点をテンプレートマッチングを用いることで検出する。この処理を図２、図６、図７、図１２を参照して説明する。
【００２２】
図２に戻り、３次元点対応付け部１１は、３次元点ＩＤに関連付けられたテクスチャ情報をテンプレートとして設定し（ステップＳ５）、続いて、図６の×印で示す射影点近傍にテンプレートマッチング処理におけるテンプレートの走査範囲を示す対応点探索領域を設定する。当該対応点探索領域のサイズ・形状は予め決められているものとし、サイズについては前記探索ウィンドウより大きいものとする。例えば、図６に示すとおり、半径が所定のサイズの円形を対応点探索領域として用いることができる。
【００２３】
次に、３次元点対応付け部１１は、対応点探索領域内の画像データに対するテンプレートマッチング処理を行うことで、この対応点探索領域内から設定したテンプレートに類似する点を対応点として決定する（ステップＳ７）。この類似する点の決定処理はテンプレートマッチングで算出される各点の類似度のうち、最も類似度が高い点を選択することで実現できる。
【００２４】
次に、３次元点対応付け部１１は、３次元点ＩＤに関連付けられた３次元座標と決定した対応点座標のペアを３次元点ＩＤと関連付けて対応点リストとして記録する（ステップＳ８）。そして、前述のステップＳ４〜Ｓ８の処理を、読み込んだ３次元リストで移動物体フラグが０の３次元点ＩＤ全てに亘って行なう。ここでは、最終的に例えば図７に●印で示すように対応点がそれぞれ決定され、図１２に示す対応点リストが生成されることになる。最後に３次元点対応付け部１１は、この対応点リストを、暫定カメラポーズと併せて出力し処理を終える（ステップＳ９）。
【００２５】
次に、図３を参照して、図１に示すカメラポーズ算出部１２の処理動作を説明する。まず、カメラポーズ算出部１２は、３次元点対応付け部１１から出力される暫定カメラポーズの情報と、対応点リストとを入力する（ステップＳ１１）。続いて、カメラポーズ算出部１２は、対応点リストの３次元座標と対応点座標のペア全てから、暫定カメラポーズを初期値とした再投影誤差と重みで表現されるエラー関数をロバスト推定の枠組みで最小化することによって最適カメラポーズを算出する（ステップＳ１２）。このカメラポーズ算出処理は公知の処理方法を用いることができるため、ここでは詳細な説明を省略する。例えば非特許文献１に記載されている方法を適用可能である。
【００２６】
再投影誤差とは、あるカメラポーズを用いて３次元座標値をフレーム画像上に射影した点の位置と、実際の観測点の位置のずれを示す値であり、本実施形態における最適カメラポーズの算出処理の初期段階では暫定カメラポーズを用いて処理対象ペアの３次元座標を射影した点の座標と、処理対象ペアの対応点座標のユークリッド距離によって表現される。また、重みとは測定データに対するモデル当て嵌め問題において、測定データに含まれる誤差の影響をできるだけ受けないようにする手法の一つであるロバスト推定法で用いられる重み関数によって決定される値であり、例えば非特許文献１では、（４）式で示す重み関数ｗ（ｄ）を用いている。
【数４】
【００２７】
ただし、Ｗは予め定められた誤差の許容範囲、ｄは３次元座標と対応点座標のペア毎の再投影誤差値をそれぞれ示す。誤差の許容範囲Ｗを小さくしながら、重みと再投影誤差で表現されるエラー関数値が小さくなるまで繰り返すことで最適なカメラポーズが算出される。またカメラポーズ算出に（４）式で示す重み関数を用いた場合は、最終的な最適カメラポーズを算出した際の重みｗ（ｄ）の値が０である３次元座標と対応点座標のペアがアウトライヤとして判定できる。
【００２８】
次に、カメラポーズ算出部１２は、ロバスト推定時にアウトライヤと判断された３次元座標と対応点座標のペア全てについて、このペアの３次元点ＩＤを、唯一に付与されたペアＩＤに関連付けて３次元座標と対応点座標とともにアウトライヤ対応点リストとして記録する（ステップＳ１３）。ここでは、最終的に例えば図１３に示すアウトライヤ対応点リストが生成されたものとする。そして、最後にカメラポーズ算出部１２は、最適カメラポーズ及びアウトライヤ対応点リストを出力して処理を終了する（ステップＳ１４）。
【００２９】
次に、図４を参照して、図１に示す３次元リスト更新部１３の処理動作を説明する。ここでは、図８に示すとおり、カメラで観測する実空間の３次元空間内の複数の点が移動物体上に属しており、時刻ｔ−１から時刻ｔにおいてこの点群が移動しているものとして説明する。まず、３次元リスト更新部１３は、最適カメラポーズ、アウトライヤ対応点リストを入力し（ステップＳ２１）、続いて、３次元リスト記憶部２から３次元リストを読み込む（ステップＳ２２）。
【００３０】
次に、３次元リスト更新部１３は、アウトライヤ対応点リストの全ペアＩＤについて処理済みか否かを判定する（ステップＳ２３）。この判定の結果、処理済みでなければ、３次元リスト更新部１３は、アウトライヤ対応点リストのうち、未だ処理を行っていないペアＩＤを１つ選択し、選択したペアＩＤに関連付けられた３次元座標を最適カメラポーズとして用いフレーム画像に射影することで再射影点を決定する（ステップＳ２４）。この射影方法については、３次元点対応付け部１１における処理（ステップＳ３）と同様に、入力された最適カメラポーズをＲとｔとして、ペアＩＤに関連付けられた３次元座標を￣ｘｗ（￣はｘの頭に付く）として、それぞれ（２）式に代入することで、再射影点の座標（ｕ’，ｖ’）を決定する。
【００３１】
次に、３次元リスト更新部１３は、再射影点の座標（ｕ’，ｖ’）とペアＩＤに関連付けられた対応点座標を用い動きベクトルを算出する（ステップＳ２５）。この処理は、例えば再射影点ｐが（ｕ’，ｖ’）、対応点座標ｑが （ｌ’，ｍ’）であったとすると、動きベクトルｖ＝（ｕ’−ｌ，ｖ’−ｍ）Ｔとすることで実現できる。ここでＴは転置を意味する。続いて、３次元リスト更新部１３は、ペアＩＤに関連付けられた３次元座標で表現される３次元点が移動物体か否かを算出した動きベクトルを用いて判定する（ステップＳ２６、Ｓ２７）。この判定処理は、例えば動きベクトルの大きさ｜ｖ｜を算出し、この大きさ｜ｖ｜が所定値（例えば１）より大きければ移動物体上を示す移動物体上動きベクトルであると判定することによって実現できる。この判定の結果、移動物体上でなければ、ステップＳ２３に戻り、一方、処理対象のペアＩＤに関連付けられた３次元座標で表現される３次元点が移動物体上と判定された場合、このペアＩＤに関連付けられた３次元点ＩＤに対応する３次元リストの移動物体フラグを１に更新する（ステップＳ２８）。
【００３２】
次に、３次元リスト更新部１３は、ステップＳ２３〜Ｓ２８の処理を、アウトライヤ対応点リストのペアＩＤ全てに亘って行なう。ここでは、最終的に例えば図９に示す×印に示すよう再射影点が、図１０に示すように移動物体上動きベクトルがそれぞれ決定され、移動物体上動きベクトルと判定された処理対象のペアＩＤに関連付けられた３次元点ＩＤに対応する３次元リストの移動物体フラグを１に更新した結果、図１４に示す３次元リストが生成されることになる。最後に、３次元リスト更新部１３は、最適カメラポーズを出力し、更新した３次元リストを３次元リスト記憶部２に書き出して処理を終了する（ステップＳ２９）。
【００３３】
以上、本発明を実施形態に基づき具体的に説明したが、上記実施の形態の説明は、本発明を説明するためのものであって、特許請求の範囲に記載の発明を限定し、或は範囲を減縮する様に解すべきではない。また、本発明の各手段構成は上記実施の形態に限らず、特許請求の範囲に記載の技術的範囲内で種々の変形が可能であることは勿論である。
【００３４】
例えば、対応点リストは３次元ＩＤ、対応点座標のみ保持し、３次元座標は３次元リストに記載の値を前記３次元ＩＤをもとに参照することとしても良い。またアウトライヤ対応点リストは３次元ＩＤのみ保持し、３次元座標は３次元リストに記載の値を、対応点座標は対応点リストの値を、３次元ＩＤをもとにそれぞれ参照することとしても良い。
【００３５】
以上説明したように、実空間内に移動物体が含まれる場合においても、時刻ｔにおける最適カメラポーズを算出後、この最適カメラポーズと、最適カメラポーズ算出時に決定されたアウトライヤから実空間中の移動物体上が時刻ｔにおけるフレーム画像において撮像された点を検出し、検出した点に対応する３次元座標情報を次時刻以降の処理で利用しないように３次元リスト上で移動物体フラグを立てることによって、次時刻以降で入力される３次元座標情報と実際の実空間との乖離が解消され、時々刻々に亘って正確に移動物体上の動きベクトルを検出することができる。
【００３６】
なお、図１における各処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによりカメラポーズ推定処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【００３７】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【産業上の利用可能性】
【００３８】
実空間を移動する物体を含むシーンを撮像するカメラによって入力されたフレーム画像列から、実空間におけるカメラの位置・姿勢を示すカメラポーズを算出することが不可欠な用途に適用できる。
【符号の説明】
【００３９】
１・・・カメラポーズ推定装置、１１・・・３次元点対応付け部、１２・・・カメラポーズ算出部、１３・・・３次元リスト更新部、２・・・３次元リスト記憶部
【技術分野】
【０００１】
本発明は、実空間を移動する物体を含むシーンを撮像するカメラによって入力されたフレーム画像列から、実空間におけるカメラの位置・姿勢を示すカメラポーズを算出するカメラポーズ推定装置、カメラポーズ推定方法及びカメラポーズ推定プログラムに関する。
【背景技術】
【０００２】
実空間を撮像するカメラによって入力されたフレーム画像から、実空間におけるカメラの位置・姿勢を示すカメラポーズを算出するカメラポーズ推定装置では、算出したカメラポーズを用いて、例えばフレーム画像中にコンピュータグラフィクス等を合成することを可能にしている。
【０００３】
従来のカメラポーズ推定装置では、撮影対象である実空間が静止していることを前提に、例えば、最新時刻のフレーム画像と、撮影対象である実空間の３次元座標情報、最新時刻以前のカメラポーズ列から算出した仮のカメラポーズを入力し、（１）実空間の３次元点がフレーム画像で観測された画像点を決定、（２）３次元点の３次元座標と画像点の座標の組から非線形最小自乗法によってカメラポーズ算出、を時々刻々繰り返すことによって長時間に亘っても正確にカメラポーズを算出し続ける方法について記載されている（例えば、非特許文献１参照）。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】Parallel Tracking and Mapping for Small AR Workspaces，Georg Klein and David Murray，In Proc. International Symposium on Mixed and Augmented Reality (ISMAR'07, Nara)，pp. 225-234，2007
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら従来の方法では、撮影対象である実空間が静止していることが前提としてカメラポーズ算出を行うため、実空間に移動物体が含まれる場合にはカメラポーズ精度が低下するという問題がある。その理由は、時々刻々に亘ってカメラポーズ算出を行っている間に、実際の実空間と、カメラポーズ推定装置に入力される実空間の３次元座標情報との間に乖離が生じ、３次元点の３次元座標と画像点の座標の組から非線形最小自乗法によって算出されるカメラポーズが正確性に欠けるからである。
【０００６】
本発明は、このような事情に鑑みてなされたもので、カメラポーズ推定装置において、実空間中に移動物体が含まれる場合においても正確にカメラポーズを算出することができるカメラポーズ推定装置、カメラポーズ推定方法及びカメラポーズ推定プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、実空間中の点の３次元座標と、３次元座標が有するテクスチャ情報と、３次元座標が移動物体上か否かを示す移動物体フラグとが３次元点ＩＤに関連付けられた３次元リスト情報を記憶する３次元リスト記憶手段と、フレーム画像と、暫定カメラポーズ情報とを入力するとともに、前記３次元リスト情報を３次元リスト記憶手段から読み込み、前記３次元リスト情報内の前記移動物体フラグが０である３次元座標に対応する点をフレーム画像から決定し、決定した対応点座標と３次元座標とのペアを３次元点ＩＤに関連付けた対応点リスト情報を生成し、前記対応点リスト情報と前記暫定カメラポーズ情報とを出力する３次元点対応付け手段と、前記対応点リスト情報と前記暫定カメラポーズ情報とを入力し、前記対応点リスト情報の３次元座標と対応点座標のペア全てからロバスト推定法を用いて最適カメラポーズ情報を算出し、ロバスト推定時に外れ値に判断された全てについて、３次元座標と対応点座標のペアと、該ペアの３次元点ＩＤをペアＩＤに関連付けたアウトライヤ対応点リスト情報と、前記最適カメラポーズ情報を出力するカメラポーズ算出手段と、前記最適カメラポーズ情報と前記アウトライヤ対応点リスト情報とを入力するとともに、前記３次元リスト情報を前記３次元リスト記憶手段から読み込み、前記最適カメラポーズ情報を用いてアウトライヤ対応点リスト情報内の３次元座標が前記フレーム画像に射影される再射影点を決定し、該再射影点とアウトライヤ対応点リスト情報内の対応点座標から算出する動きベクトルを用いて対象の３次元座標が移動物体上か否か判定し、移動物体と判定された場合は、処理対象のアウトライヤ対応点リスト情報内の３次元点ＩＤに対応する３次元リスト情報の移動物体フラグを１に更新して、最終的な前記最適カメラポーズを出力する３次元リスト更新手段とを備えることを特徴とする。
【０００８】
本発明は、実空間中の点の３次元座標と、３次元座標が有するテクスチャ情報と、３次元座標が移動物体上か否かを示す移動物体フラグとが３次元点ＩＤに関連付けられた３次元リスト情報を記憶する３次元リスト記憶手段と、３次元点対応付け手段と、カメラポーズ算出手段と、３次元リスト更新手段とを備えるカメラポーズ推定装置におけるカメラポーズ推定方法であって、前記３次元点対応付け手段が、フレーム画像と、暫定カメラポーズ情報とを入力するとともに、前記３次元リスト情報を３次元リスト記憶手段から読み込み、前記３次元リスト情報内の前記移動物体フラグが０である３次元座標に対応する点をフレーム画像から決定し、決定した対応点座標と３次元座標とのペアを３次元点ＩＤに関連付けた対応点リスト情報を生成し、前記対応点リスト情報と前記暫定カメラポーズ情報とを出力する３次元点対応付けステップと、前記カメラポーズ算出手段が、前記対応点リスト情報と前記暫定カメラポーズ情報とを入力し、前記対応点リスト情報の３次元座標と対応点座標のペア全てからロバスト推定法を用いて最適カメラポーズ情報を算出し、ロバスト推定時に外れ値に判断された全てについて、３次元座標と対応点座標のペアと、該ペアの３次元点ＩＤをペアＩＤに関連付けたアウトライヤ対応点リスト情報と、前記最適カメラポーズ情報を出力するカメラポーズ算出ステップと、前記３次元リスト更新手段が、前記最適カメラポーズ情報と前記アウトライヤ対応点リスト情報とを入力するとともに、前記３次元リスト情報を前記３次元リスト記憶手段から読み込み、前記最適カメラポーズ情報を用いてアウトライヤ対応点リスト情報内の３次元座標が前記フレーム画像に射影される再射影点を決定し、該再射影点とアウトライヤ対応点リスト情報内の対応点座標から算出する動きベクトルを用いて対象の３次元座標が移動物体上か否か判定し、移動物体と判定された場合は、処理対象のアウトライヤ対応点リスト情報内の３次元点ＩＤに対応する３次元リスト情報の移動物体フラグを１に更新して、最終的な前記最適カメラポーズを出力する３次元リスト更新ステップとを有することを特徴とする。
【０００９】
本発明は、実空間中の点の３次元座標と、３次元座標が有するテクスチャ情報と、３次元座標が移動物体上か否かを示す移動物体フラグとが３次元点ＩＤに関連付けられた３次元リスト情報を記憶する３次元リスト記憶手段を備えるカメラポーズ推定装置上のコンピュータにカメラポーズ推定処理を行わせるカメラポーズ推定プログラムであって、フレーム画像と、暫定カメラポーズ情報とを入力するとともに、前記３次元リスト情報を３次元リスト記憶手段から読み込み、前記３次元リスト情報内の前記移動物体フラグが０である３次元座標に対応する点をフレーム画像から決定し、決定した対応点座標と３次元座標とのペアを３次元点ＩＤに関連付けた対応点リスト情報を生成し、前記対応点リスト情報と前記暫定カメラポーズ情報とを出力する３次元点対応付けステップと、前記対応点リスト情報と前記暫定カメラポーズ情報とを入力し、前記対応点リスト情報の３次元座標と対応点座標のペア全てからロバスト推定法を用いて最適カメラポーズ情報を算出し、ロバスト推定時に外れ値に判断された全てについて、３次元座標と対応点座標のペアと、該ペアの３次元点ＩＤをペアＩＤに関連付けたアウトライヤ対応点リスト情報と、前記最適カメラポーズ情報を出力するカメラポーズ算出ステップと、前記最適カメラポーズ情報と前記アウトライヤ対応点リスト情報とを入力するとともに、前記３次元リスト情報を前記３次元リスト記憶手段から読み込み、前記最適カメラポーズ情報を用いてアウトライヤ対応点リスト情報内の３次元座標が前記フレーム画像に射影される再射影点を決定し、該再射影点とアウトライヤ対応点リスト情報内の対応点座標から算出する動きベクトルを用いて対象の３次元座標が移動物体上か否か判定し、移動物体と判定された場合は、処理対象のアウトライヤ対応点リスト情報内の３次元点ＩＤに対応する３次元リスト情報の移動物体フラグを１に更新して、最終的な前記最適カメラポーズを出力する３次元リスト更新ステップとを前記コンピュータに行わせることを特徴とする。
【発明の効果】
【００１０】
本発明によれば、実空間内に移動物体が含まれる場合においても、ある時刻におけるカメラポーズを算出後、算出したカメラポーズと、カメラポーズ算出時に決定されたアウトライヤから実空間中の移動物体上がフレーム画像において撮像された点を検出し、検出した点に対応する３次元座標情報を除去するため、次時刻以降で入力される３次元座標情報と実際の実空間との乖離が解消され、時々刻々に亘って正確に移動物体上の動きベクトルを検出することができるという効果が得られる。
【図面の簡単な説明】
【００１１】
【図１】本発明の一実施形態の構成を示すブロック図である。
【図２】図１に示す３次元点対応付け部１１の動作を示すフローチャートである。
【図３】図１に示すカメラポーズ算出部１２の動作を示すフローチャートである。
【図４】図１に示す３次元リスト更新部１３の動作を示すフローチャートである。
【図５】カメラポーズ推定処理を示す説明図である。
【図６】３次元点対応付け処理を示す説明図である。
【図７】３次元点対応付け処理を示す説明図である。
【図８】３次元リスト更新処理を示す説明図である。
【図９】３次元リスト更新処理を示す説明図である。
【図１０】３次元リスト更新処理を示す説明図である。
【図１１】３次元リストの一例を示す説明図である。
【図１２】対応点リストの一例を示す説明図である。
【図１３】アウトライヤ対応点リストの一例を示す説明図である。
【図１４】３次元リストの一例を示す説明図である。
【発明を実施するための形態】
【００１２】
以下、図面を参照して、本発明の一実施形態によるカメラポーズ推定装置を説明する。図１は同実施形態の構成を示すブロック図である。この図において、符号１は、コンピュータ装置で構成するカメラポーズ推定装置であり、暫定カメラポーズの情報とフレーム画像を入力し、最適カメラポーズの情報を出力する。符号２は、３次元リストの情報を記憶する３次元リスト記憶部である。ここでいう「カメラポーズ」とは、実空間の三次元空間において予め設定したワールド座標系に対するカメラの併進、回転を示す姿勢情報である。カメラポーズ推定装置１は、３次元点対応付け部１１と、カメラポーズ算出部１２と、３次元リスト更新部１３とを備える。
【００１３】
３次元点対応付け部１１は、最新時刻のフレーム画像と、前時刻から算出された暫定カメラポーズを入力するとともに、実空間中の点の３次元座標、及び３次元座標が有するテクスチャ情報、及び３次元座標が移動物体上か否かを示す移動物体フラグが唯一に付与された３次元点ＩＤに関連付けられて記録された３次元リストを３次元リスト記憶部２から読み込み、３次元リスト内の３次元座標に対応する点をフレーム画像から決定し、決定した対応点座標と３次元座標とのペアを３次元点ＩＤに関連付けて記録した対応点リストを生成し、暫定カメラポーズと併せて出力する。
【００１４】
カメラポーズ算出部１２は、３次元点対応付け部１１から出力される対応点リストと暫定カメラポーズを入力し、対応点リストの３次元座標と対応点座標のペア全てからロバスト推定法を用いて最適カメラポーズを算出し、ロバスト推定時に外れ値を示すアウトライヤに判断された全てについて、３次元座標と対応点座標のペアと、このペアの３次元点ＩＤを、唯一に付与されたペアＩＤに関連付けてアウトライヤ対応点リストとして記録し、このアウトライヤ対応点リストと、最適カメラポーズを出力する。
【００１５】
３次元リスト更新部１３は、カメラポーズ算出部１２が出力する最適カメラポーズ及びアウトライヤ対応点リストを入力し、３次元リストを３次元リスト記憶部２から読み込み、最適カメラポーズを用いてアウトライヤ対応点リスト内の３次元座標がフレーム画像に射影される点を再射影点を決定し、当該再射影点とアウトライヤ対応点リスト内の対応点座標から算出する動きベクトルを用いて対象の３次元座標が移動物体上か否か判定し、移動物体と判定された場合は、処理対象のアウトライヤ対応点リスト内の３次元点ＩＤに対応する３次元リストの移動物体フラグを１に更新するとともに、最終的に最適カメラポーズを出力する。
【００１６】
次に、図５、図１１を参照して、図１に示すカメラポーズ推定装置１で実行される処理動作について説明する。図５は、カメラポーズ推定処理を示す説明図である。図１１は、３次元リストの一例を示す説明図である。ここではカメラポーズ推定装置１が時刻ｔに起動されたものとする。暫定カメラポーズは、時刻ｔ以前のカメラポーズ列の遷移から予測した時刻ｔにおけるカメラポーズの仮値であり、例えば時刻ｔ以前のカメラポーズ列から加速度、速度を算出しておき、当該加速度、速度から時刻ｔ−１のカメラポーズを算出することで決定する（図５参照）。フレーム画像は、対象となる実空間を時刻ｔにおいて撮像したカメラから出力される画像である（図５参照）。３次元リスト記憶部２の３次元リストは、時刻ｔより以前のカメラポーズ推定によって出力された実空間の３次元点情報（図５参照）に関するリストであり、唯一に付与された３次元点ＩＤに関連付けられて、少なくとも３次元座標、当該３次元座標近辺のテクスチャ情報、移動物体フラグが記録されている（図１１参照）。
【００１７】
次に、図２を参照して、図１に示す３次元点対応付け部１１の処理動作を説明する。カメラポーズ推定装置１は、まず３次元点対応付け部１１が起動される。３次元点対応付け部１１は、暫定カメラポーズとフレーム画像を入力する（ステップＳ１）。続いて、３次元点対応付け部１１は、３次元リスト記憶部２から３次元リストを読み込み（ステップＳ２）、３次元リストの移動物体上フラグが０である３次元点ＩＤ全てについて処理済みであるか否かを判定し（ステップＳ３）、処理済みでなければ、３次元点対応付け部１１は、３次元リストで移動物体フラグが０のものうち、未だ処理を行っていない３次元点ＩＤを１つ選択し、選択した３次元点ＩＤに関連付けられた３次元座標を暫定カメラポーズを用いフレーム画像に射影することで射影点を決定する（ステップＳ４）。
【００１８】
ここで、射影点を決定する射影方法について説明する。実空間の３次元空間の座標（Ｘｗ，Ｙｗ，Ｚｗ）とカメラのフレーム画像への射影点の座標（ｕ，ｖ）とは、（１）式に示すように、ｐ１１からｐ３４の１２個のパラメータによって関係付けられる（例えば、文献「ディジタル画像処理編集委員会著，「ディジタル画像処理」，ＣＧ−ＡＲＴＳ協会，２００４年，ｐ．２５２〜２５６．」参照）。ただし、演算子〜は、その両辺が定数倍の違いを許して等しいことを表している。
【数１】
【００１９】
ここで、（１）式は、非特許文献２に示されるように、（２）式のように分解できる。
【数２】
ただし、Ａは、（３）式に示すカメラの内部パラメータからなる３×３の行列である。また、ｆはカメラの焦点距離であり、δｕとδｖは、カメラの撮像素子の横方向と縦方向の画素の物理的な間隔である。
【数３】
【００２０】
また、（２）式に示すＲとｔはそれぞれ３×３の回転行列と３次元の平行移動ベクトルである。カメラポーズ推定装置１の３次元点対応付け部１１においては、入力された暫定カメラポーズをＲ、ｔとして、３次元点ＩＤに関連付けられた３次元座標を￣ｘｗ（￣はｘの頭に付く）として、それぞれ（２）式に代入することで、射影点の座標（ｕ，ｖ）を決定する。なお、カメラの内部パラメータＡは、予め定められた値がカメラポーズ推定装置１に入力されているものとする。
【００２１】
ここで注意すべきは、暫定カメラポーズは時刻ｔ以前のカメラポーズ列の遷移から予測した時刻ｔにおけるカメラポーズの仮値であり、真値と異なることである。このため、３次元座標に対応するフレーム画像上での実際の観測点と射影点の位置は異なる可能性がある。そこで、３次元点対応付け部１１は、決定した射影点近傍で、３次元点ＩＤに関連付けられた３次元座標に対応するフレーム画像上での実際の観測点である対応点をテンプレートマッチングを用いることで検出する。この処理を図２、図６、図７、図１２を参照して説明する。
【００２２】
図２に戻り、３次元点対応付け部１１は、３次元点ＩＤに関連付けられたテクスチャ情報をテンプレートとして設定し（ステップＳ５）、続いて、図６の×印で示す射影点近傍にテンプレートマッチング処理におけるテンプレートの走査範囲を示す対応点探索領域を設定する。当該対応点探索領域のサイズ・形状は予め決められているものとし、サイズについては前記探索ウィンドウより大きいものとする。例えば、図６に示すとおり、半径が所定のサイズの円形を対応点探索領域として用いることができる。
【００２３】
次に、３次元点対応付け部１１は、対応点探索領域内の画像データに対するテンプレートマッチング処理を行うことで、この対応点探索領域内から設定したテンプレートに類似する点を対応点として決定する（ステップＳ７）。この類似する点の決定処理はテンプレートマッチングで算出される各点の類似度のうち、最も類似度が高い点を選択することで実現できる。
【００２４】
次に、３次元点対応付け部１１は、３次元点ＩＤに関連付けられた３次元座標と決定した対応点座標のペアを３次元点ＩＤと関連付けて対応点リストとして記録する（ステップＳ８）。そして、前述のステップＳ４〜Ｓ８の処理を、読み込んだ３次元リストで移動物体フラグが０の３次元点ＩＤ全てに亘って行なう。ここでは、最終的に例えば図７に●印で示すように対応点がそれぞれ決定され、図１２に示す対応点リストが生成されることになる。最後に３次元点対応付け部１１は、この対応点リストを、暫定カメラポーズと併せて出力し処理を終える（ステップＳ９）。
【００２５】
次に、図３を参照して、図１に示すカメラポーズ算出部１２の処理動作を説明する。まず、カメラポーズ算出部１２は、３次元点対応付け部１１から出力される暫定カメラポーズの情報と、対応点リストとを入力する（ステップＳ１１）。続いて、カメラポーズ算出部１２は、対応点リストの３次元座標と対応点座標のペア全てから、暫定カメラポーズを初期値とした再投影誤差と重みで表現されるエラー関数をロバスト推定の枠組みで最小化することによって最適カメラポーズを算出する（ステップＳ１２）。このカメラポーズ算出処理は公知の処理方法を用いることができるため、ここでは詳細な説明を省略する。例えば非特許文献１に記載されている方法を適用可能である。
【００２６】
再投影誤差とは、あるカメラポーズを用いて３次元座標値をフレーム画像上に射影した点の位置と、実際の観測点の位置のずれを示す値であり、本実施形態における最適カメラポーズの算出処理の初期段階では暫定カメラポーズを用いて処理対象ペアの３次元座標を射影した点の座標と、処理対象ペアの対応点座標のユークリッド距離によって表現される。また、重みとは測定データに対するモデル当て嵌め問題において、測定データに含まれる誤差の影響をできるだけ受けないようにする手法の一つであるロバスト推定法で用いられる重み関数によって決定される値であり、例えば非特許文献１では、（４）式で示す重み関数ｗ（ｄ）を用いている。
【数４】
【００２７】
ただし、Ｗは予め定められた誤差の許容範囲、ｄは３次元座標と対応点座標のペア毎の再投影誤差値をそれぞれ示す。誤差の許容範囲Ｗを小さくしながら、重みと再投影誤差で表現されるエラー関数値が小さくなるまで繰り返すことで最適なカメラポーズが算出される。またカメラポーズ算出に（４）式で示す重み関数を用いた場合は、最終的な最適カメラポーズを算出した際の重みｗ（ｄ）の値が０である３次元座標と対応点座標のペアがアウトライヤとして判定できる。
【００２８】
次に、カメラポーズ算出部１２は、ロバスト推定時にアウトライヤと判断された３次元座標と対応点座標のペア全てについて、このペアの３次元点ＩＤを、唯一に付与されたペアＩＤに関連付けて３次元座標と対応点座標とともにアウトライヤ対応点リストとして記録する（ステップＳ１３）。ここでは、最終的に例えば図１３に示すアウトライヤ対応点リストが生成されたものとする。そして、最後にカメラポーズ算出部１２は、最適カメラポーズ及びアウトライヤ対応点リストを出力して処理を終了する（ステップＳ１４）。
【００２９】
次に、図４を参照して、図１に示す３次元リスト更新部１３の処理動作を説明する。ここでは、図８に示すとおり、カメラで観測する実空間の３次元空間内の複数の点が移動物体上に属しており、時刻ｔ−１から時刻ｔにおいてこの点群が移動しているものとして説明する。まず、３次元リスト更新部１３は、最適カメラポーズ、アウトライヤ対応点リストを入力し（ステップＳ２１）、続いて、３次元リスト記憶部２から３次元リストを読み込む（ステップＳ２２）。
【００３０】
次に、３次元リスト更新部１３は、アウトライヤ対応点リストの全ペアＩＤについて処理済みか否かを判定する（ステップＳ２３）。この判定の結果、処理済みでなければ、３次元リスト更新部１３は、アウトライヤ対応点リストのうち、未だ処理を行っていないペアＩＤを１つ選択し、選択したペアＩＤに関連付けられた３次元座標を最適カメラポーズとして用いフレーム画像に射影することで再射影点を決定する（ステップＳ２４）。この射影方法については、３次元点対応付け部１１における処理（ステップＳ３）と同様に、入力された最適カメラポーズをＲとｔとして、ペアＩＤに関連付けられた３次元座標を￣ｘｗ（￣はｘの頭に付く）として、それぞれ（２）式に代入することで、再射影点の座標（ｕ’，ｖ’）を決定する。
【００３１】
次に、３次元リスト更新部１３は、再射影点の座標（ｕ’，ｖ’）とペアＩＤに関連付けられた対応点座標を用い動きベクトルを算出する（ステップＳ２５）。この処理は、例えば再射影点ｐが（ｕ’，ｖ’）、対応点座標ｑが （ｌ’，ｍ’）であったとすると、動きベクトルｖ＝（ｕ’−ｌ，ｖ’−ｍ）Ｔとすることで実現できる。ここでＴは転置を意味する。続いて、３次元リスト更新部１３は、ペアＩＤに関連付けられた３次元座標で表現される３次元点が移動物体か否かを算出した動きベクトルを用いて判定する（ステップＳ２６、Ｓ２７）。この判定処理は、例えば動きベクトルの大きさ｜ｖ｜を算出し、この大きさ｜ｖ｜が所定値（例えば１）より大きければ移動物体上を示す移動物体上動きベクトルであると判定することによって実現できる。この判定の結果、移動物体上でなければ、ステップＳ２３に戻り、一方、処理対象のペアＩＤに関連付けられた３次元座標で表現される３次元点が移動物体上と判定された場合、このペアＩＤに関連付けられた３次元点ＩＤに対応する３次元リストの移動物体フラグを１に更新する（ステップＳ２８）。
【００３２】
次に、３次元リスト更新部１３は、ステップＳ２３〜Ｓ２８の処理を、アウトライヤ対応点リストのペアＩＤ全てに亘って行なう。ここでは、最終的に例えば図９に示す×印に示すよう再射影点が、図１０に示すように移動物体上動きベクトルがそれぞれ決定され、移動物体上動きベクトルと判定された処理対象のペアＩＤに関連付けられた３次元点ＩＤに対応する３次元リストの移動物体フラグを１に更新した結果、図１４に示す３次元リストが生成されることになる。最後に、３次元リスト更新部１３は、最適カメラポーズを出力し、更新した３次元リストを３次元リスト記憶部２に書き出して処理を終了する（ステップＳ２９）。
【００３３】
以上、本発明を実施形態に基づき具体的に説明したが、上記実施の形態の説明は、本発明を説明するためのものであって、特許請求の範囲に記載の発明を限定し、或は範囲を減縮する様に解すべきではない。また、本発明の各手段構成は上記実施の形態に限らず、特許請求の範囲に記載の技術的範囲内で種々の変形が可能であることは勿論である。
【００３４】
例えば、対応点リストは３次元ＩＤ、対応点座標のみ保持し、３次元座標は３次元リストに記載の値を前記３次元ＩＤをもとに参照することとしても良い。またアウトライヤ対応点リストは３次元ＩＤのみ保持し、３次元座標は３次元リストに記載の値を、対応点座標は対応点リストの値を、３次元ＩＤをもとにそれぞれ参照することとしても良い。
【００３５】
以上説明したように、実空間内に移動物体が含まれる場合においても、時刻ｔにおける最適カメラポーズを算出後、この最適カメラポーズと、最適カメラポーズ算出時に決定されたアウトライヤから実空間中の移動物体上が時刻ｔにおけるフレーム画像において撮像された点を検出し、検出した点に対応する３次元座標情報を次時刻以降の処理で利用しないように３次元リスト上で移動物体フラグを立てることによって、次時刻以降で入力される３次元座標情報と実際の実空間との乖離が解消され、時々刻々に亘って正確に移動物体上の動きベクトルを検出することができる。
【００３６】
なお、図１における各処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによりカメラポーズ推定処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【００３７】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【産業上の利用可能性】
【００３８】
実空間を移動する物体を含むシーンを撮像するカメラによって入力されたフレーム画像列から、実空間におけるカメラの位置・姿勢を示すカメラポーズを算出することが不可欠な用途に適用できる。
【符号の説明】
【００３９】
１・・・カメラポーズ推定装置、１１・・・３次元点対応付け部、１２・・・カメラポーズ算出部、１３・・・３次元リスト更新部、２・・・３次元リスト記憶部
【特許請求の範囲】
【請求項１】
実空間中の点の３次元座標と、３次元座標が有するテクスチャ情報と、３次元座標が移動物体上か否かを示す移動物体フラグとが３次元点ＩＤに関連付けられた３次元リスト情報を記憶する３次元リスト記憶手段と、
フレーム画像と、暫定カメラポーズ情報とを入力するとともに、前記３次元リスト情報を３次元リスト記憶手段から読み込み、前記３次元リスト情報内の前記移動物体フラグが０である３次元座標に対応する点をフレーム画像から決定し、決定した対応点座標と３次元座標とのペアを３次元点ＩＤに関連付けた対応点リスト情報を生成し、前記対応点リスト情報と前記暫定カメラポーズ情報とを出力する３次元点対応付け手段と、
前記対応点リスト情報と前記暫定カメラポーズ情報とを入力し、前記対応点リスト情報の３次元座標と対応点座標のペア全てからロバスト推定法を用いて最適カメラポーズ情報を算出し、ロバスト推定時に外れ値に判断された全てについて、３次元座標と対応点座標のペアと、該ペアの３次元点ＩＤをペアＩＤに関連付けたアウトライヤ対応点リスト情報と、前記最適カメラポーズ情報を出力するカメラポーズ算出手段と、
前記最適カメラポーズ情報と前記アウトライヤ対応点リスト情報とを入力するとともに、前記３次元リスト情報を前記３次元リスト記憶手段から読み込み、前記最適カメラポーズ情報を用いてアウトライヤ対応点リスト情報内の３次元座標が前記フレーム画像に射影される再射影点を決定し、該再射影点とアウトライヤ対応点リスト情報内の対応点座標から算出する動きベクトルを用いて対象の３次元座標が移動物体上か否か判定し、移動物体と判定された場合は、処理対象のアウトライヤ対応点リスト情報内の３次元点ＩＤに対応する３次元リスト情報の移動物体フラグを１に更新して、最終的な前記最適カメラポーズを出力する３次元リスト更新手段と
を備えることを特徴とするカメラポーズ推定装置。
【請求項２】
実空間中の点の３次元座標と、３次元座標が有するテクスチャ情報と、３次元座標が移動物体上か否かを示す移動物体フラグとが３次元点ＩＤに関連付けられた３次元リスト情報を記憶する３次元リスト記憶手段と、３次元点対応付け手段と、カメラポーズ算出手段と、３次元リスト更新手段とを備えるカメラポーズ推定装置におけるカメラポーズ推定方法であって、
前記３次元点対応付け手段が、フレーム画像と、暫定カメラポーズ情報とを入力するとともに、前記３次元リスト情報を３次元リスト記憶手段から読み込み、前記３次元リスト情報内の前記移動物体フラグが０である３次元座標に対応する点をフレーム画像から決定し、決定した対応点座標と３次元座標とのペアを３次元点ＩＤに関連付けた対応点リスト情報を生成し、前記対応点リスト情報と前記暫定カメラポーズ情報とを出力する３次元点対応付けステップと、
前記カメラポーズ算出手段が、前記対応点リスト情報と前記暫定カメラポーズ情報とを入力し、前記対応点リスト情報の３次元座標と対応点座標のペア全てからロバスト推定法を用いて最適カメラポーズ情報を算出し、ロバスト推定時に外れ値に判断された全てについて、３次元座標と対応点座標のペアと、該ペアの３次元点ＩＤをペアＩＤに関連付けたアウトライヤ対応点リスト情報と、前記最適カメラポーズ情報を出力するカメラポーズ算出ステップと、
前記３次元リスト更新手段が、前記最適カメラポーズ情報と前記アウトライヤ対応点リスト情報とを入力するとともに、前記３次元リスト情報を前記３次元リスト記憶手段から読み込み、前記最適カメラポーズ情報を用いてアウトライヤ対応点リスト情報内の３次元座標が前記フレーム画像に射影される再射影点を決定し、該再射影点とアウトライヤ対応点リスト情報内の対応点座標から算出する動きベクトルを用いて対象の３次元座標が移動物体上か否か判定し、移動物体と判定された場合は、処理対象のアウトライヤ対応点リスト情報内の３次元点ＩＤに対応する３次元リスト情報の移動物体フラグを１に更新して、最終的な前記最適カメラポーズを出力する３次元リスト更新ステップと
を有することを特徴とするカメラポーズ推定方法。
【請求項３】
実空間中の点の３次元座標と、３次元座標が有するテクスチャ情報と、３次元座標が移動物体上か否かを示す移動物体フラグとが３次元点ＩＤに関連付けられた３次元リスト情報を記憶する３次元リスト記憶手段を備えるカメラポーズ推定装置上のコンピュータにカメラポーズ推定処理を行わせるカメラポーズ推定プログラムであって、
フレーム画像と、暫定カメラポーズ情報とを入力するとともに、前記３次元リスト情報を３次元リスト記憶手段から読み込み、前記３次元リスト情報内の前記移動物体フラグが０である３次元座標に対応する点をフレーム画像から決定し、決定した対応点座標と３次元座標とのペアを３次元点ＩＤに関連付けた対応点リスト情報を生成し、前記対応点リスト情報と前記暫定カメラポーズ情報とを出力する３次元点対応付けステップと、
前記対応点リスト情報と前記暫定カメラポーズ情報とを入力し、前記対応点リスト情報の３次元座標と対応点座標のペア全てからロバスト推定法を用いて最適カメラポーズ情報を算出し、ロバスト推定時に外れ値に判断された全てについて、３次元座標と対応点座標のペアと、該ペアの３次元点ＩＤをペアＩＤに関連付けたアウトライヤ対応点リスト情報と、前記最適カメラポーズ情報を出力するカメラポーズ算出ステップと、
前記最適カメラポーズ情報と前記アウトライヤ対応点リスト情報とを入力するとともに、前記３次元リスト情報を前記３次元リスト記憶手段から読み込み、前記最適カメラポーズ情報を用いてアウトライヤ対応点リスト情報内の３次元座標が前記フレーム画像に射影される再射影点を決定し、該再射影点とアウトライヤ対応点リスト情報内の対応点座標から算出する動きベクトルを用いて対象の３次元座標が移動物体上か否か判定し、移動物体と判定された場合は、処理対象のアウトライヤ対応点リスト情報内の３次元点ＩＤに対応する３次元リスト情報の移動物体フラグを１に更新して、最終的な前記最適カメラポーズを出力する３次元リスト更新ステップと
を前記コンピュータに行わせることを特徴とするカメラポーズ推定プログラム。
【請求項１】
実空間中の点の３次元座標と、３次元座標が有するテクスチャ情報と、３次元座標が移動物体上か否かを示す移動物体フラグとが３次元点ＩＤに関連付けられた３次元リスト情報を記憶する３次元リスト記憶手段と、
フレーム画像と、暫定カメラポーズ情報とを入力するとともに、前記３次元リスト情報を３次元リスト記憶手段から読み込み、前記３次元リスト情報内の前記移動物体フラグが０である３次元座標に対応する点をフレーム画像から決定し、決定した対応点座標と３次元座標とのペアを３次元点ＩＤに関連付けた対応点リスト情報を生成し、前記対応点リスト情報と前記暫定カメラポーズ情報とを出力する３次元点対応付け手段と、
前記対応点リスト情報と前記暫定カメラポーズ情報とを入力し、前記対応点リスト情報の３次元座標と対応点座標のペア全てからロバスト推定法を用いて最適カメラポーズ情報を算出し、ロバスト推定時に外れ値に判断された全てについて、３次元座標と対応点座標のペアと、該ペアの３次元点ＩＤをペアＩＤに関連付けたアウトライヤ対応点リスト情報と、前記最適カメラポーズ情報を出力するカメラポーズ算出手段と、
前記最適カメラポーズ情報と前記アウトライヤ対応点リスト情報とを入力するとともに、前記３次元リスト情報を前記３次元リスト記憶手段から読み込み、前記最適カメラポーズ情報を用いてアウトライヤ対応点リスト情報内の３次元座標が前記フレーム画像に射影される再射影点を決定し、該再射影点とアウトライヤ対応点リスト情報内の対応点座標から算出する動きベクトルを用いて対象の３次元座標が移動物体上か否か判定し、移動物体と判定された場合は、処理対象のアウトライヤ対応点リスト情報内の３次元点ＩＤに対応する３次元リスト情報の移動物体フラグを１に更新して、最終的な前記最適カメラポーズを出力する３次元リスト更新手段と
を備えることを特徴とするカメラポーズ推定装置。
【請求項２】
実空間中の点の３次元座標と、３次元座標が有するテクスチャ情報と、３次元座標が移動物体上か否かを示す移動物体フラグとが３次元点ＩＤに関連付けられた３次元リスト情報を記憶する３次元リスト記憶手段と、３次元点対応付け手段と、カメラポーズ算出手段と、３次元リスト更新手段とを備えるカメラポーズ推定装置におけるカメラポーズ推定方法であって、
前記３次元点対応付け手段が、フレーム画像と、暫定カメラポーズ情報とを入力するとともに、前記３次元リスト情報を３次元リスト記憶手段から読み込み、前記３次元リスト情報内の前記移動物体フラグが０である３次元座標に対応する点をフレーム画像から決定し、決定した対応点座標と３次元座標とのペアを３次元点ＩＤに関連付けた対応点リスト情報を生成し、前記対応点リスト情報と前記暫定カメラポーズ情報とを出力する３次元点対応付けステップと、
前記カメラポーズ算出手段が、前記対応点リスト情報と前記暫定カメラポーズ情報とを入力し、前記対応点リスト情報の３次元座標と対応点座標のペア全てからロバスト推定法を用いて最適カメラポーズ情報を算出し、ロバスト推定時に外れ値に判断された全てについて、３次元座標と対応点座標のペアと、該ペアの３次元点ＩＤをペアＩＤに関連付けたアウトライヤ対応点リスト情報と、前記最適カメラポーズ情報を出力するカメラポーズ算出ステップと、
前記３次元リスト更新手段が、前記最適カメラポーズ情報と前記アウトライヤ対応点リスト情報とを入力するとともに、前記３次元リスト情報を前記３次元リスト記憶手段から読み込み、前記最適カメラポーズ情報を用いてアウトライヤ対応点リスト情報内の３次元座標が前記フレーム画像に射影される再射影点を決定し、該再射影点とアウトライヤ対応点リスト情報内の対応点座標から算出する動きベクトルを用いて対象の３次元座標が移動物体上か否か判定し、移動物体と判定された場合は、処理対象のアウトライヤ対応点リスト情報内の３次元点ＩＤに対応する３次元リスト情報の移動物体フラグを１に更新して、最終的な前記最適カメラポーズを出力する３次元リスト更新ステップと
を有することを特徴とするカメラポーズ推定方法。
【請求項３】
実空間中の点の３次元座標と、３次元座標が有するテクスチャ情報と、３次元座標が移動物体上か否かを示す移動物体フラグとが３次元点ＩＤに関連付けられた３次元リスト情報を記憶する３次元リスト記憶手段を備えるカメラポーズ推定装置上のコンピュータにカメラポーズ推定処理を行わせるカメラポーズ推定プログラムであって、
フレーム画像と、暫定カメラポーズ情報とを入力するとともに、前記３次元リスト情報を３次元リスト記憶手段から読み込み、前記３次元リスト情報内の前記移動物体フラグが０である３次元座標に対応する点をフレーム画像から決定し、決定した対応点座標と３次元座標とのペアを３次元点ＩＤに関連付けた対応点リスト情報を生成し、前記対応点リスト情報と前記暫定カメラポーズ情報とを出力する３次元点対応付けステップと、
前記対応点リスト情報と前記暫定カメラポーズ情報とを入力し、前記対応点リスト情報の３次元座標と対応点座標のペア全てからロバスト推定法を用いて最適カメラポーズ情報を算出し、ロバスト推定時に外れ値に判断された全てについて、３次元座標と対応点座標のペアと、該ペアの３次元点ＩＤをペアＩＤに関連付けたアウトライヤ対応点リスト情報と、前記最適カメラポーズ情報を出力するカメラポーズ算出ステップと、
前記最適カメラポーズ情報と前記アウトライヤ対応点リスト情報とを入力するとともに、前記３次元リスト情報を前記３次元リスト記憶手段から読み込み、前記最適カメラポーズ情報を用いてアウトライヤ対応点リスト情報内の３次元座標が前記フレーム画像に射影される再射影点を決定し、該再射影点とアウトライヤ対応点リスト情報内の対応点座標から算出する動きベクトルを用いて対象の３次元座標が移動物体上か否か判定し、移動物体と判定された場合は、処理対象のアウトライヤ対応点リスト情報内の３次元点ＩＤに対応する３次元リスト情報の移動物体フラグを１に更新して、最終的な前記最適カメラポーズを出力する３次元リスト更新ステップと
を前記コンピュータに行わせることを特徴とするカメラポーズ推定プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１２−２２１０４２（Ｐ２０１２−２２１０４２Ａ）
【公開日】平成２４年１１月１２日（２０１２．１１．１２）
【国際特許分類】
【出願番号】特願２０１１−８３７００（Ｐ２０１１−８３７００）
【出願日】平成２３年４月５日（２０１１．４．５）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成２４年１１月１２日（２０１２．１１．１２）
【国際特許分類】
【出願日】平成２３年４月５日（２０１１．４．５）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]