非固定カメラの動的パラメータ推定方法およびプログラム
【課題】非固定カメラ映像中の２次元座標と、対象空間における特定平面上の世界座標間で成立する射影関係（平面射影行列）を、時間軸方向の相関に基づき動的に推定する。
【解決手段】特定フレームに関する射影行列を推定し、射影行列が推定済みのフレームと未推定のフレーム間の対応点を複数抽出し、抽出された対応点に基づいて、未推定のフレームでの射影行列を推定することで、非固定カメラ画像中の２次元座標と、対象空間の３次元世界座標との間で成立する射影行列を推定する。
【解決手段】特定フレームに関する射影行列を推定し、射影行列が推定済みのフレームと未推定のフレーム間の対応点を複数抽出し、抽出された対応点に基づいて、未推定のフレームでの射影行列を推定することで、非固定カメラ画像中の２次元座標と、対象空間の３次元世界座標との間で成立する射影行列を推定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自由視点映像の合成において最も重要な処理の一つである、非固定カメラの動的パラメータを推定する方法およびプログラムに関する。
【背景技術】
【０００２】
非特許文献１は、サッカー等の屋外大空間で実施されるスポーツ映像を対象に、固定カメラで推定される特定被写体の３次元位置をもとに、パン・チルトおよびズーム・フォーカス値の変更を伴う非固定ズームカメラのパラメータを推定する手法を開示する。
【０００３】
非特許文献１で提案されている手法は、推定対象である非固定カメラ映像中に存在する特定被写体について、当該被写体を捉えた他の固定カメラ映像中での対応をもとに非固定カメラの射影行列を推定していた。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】三功浩嗣他：「ズームカメラを用いた自由視点映像の合成画質高精度化の一検討」 IEICE2011 D-11-51 2011年
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、非固定カメラおよび固定カメラ間における特定被写体の対応付けを自動化することが困難であるため、手作業による対応付けを前提としていた。そのため、動画フレームに対する自動処理を実現することができず、特定の静止フレームにしか適用できないという課題があった。
【０００６】
したがって、本発明は、非固定カメラのパラメータ（非固定カメラ映像中の２次元座標と、対象空間における特定平面上の世界座標間で成立する射影関係（平面射影行列））を、時間軸方向の相関に基づき動的に推定する方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を実現するため本発明による非固定カメラの射影行列を推定する方法は、非固定カメラ画像中の２次元座標と、対象空間の３次元世界座標との間で成立する射影行列を推定する方法であって、特定フレームに関する前記射影行列を推定するステップと、前記射影行列が推定済みのフレームと未推定のフレーム間の対応点を複数抽出するステップと、前記抽出された対応点に基づいて、前記未推定のフレームでの射影行列を推定するステップとを含む。
【０００８】
また、前記射影行列は、非固定カメラ画像中の２次元座標と、対象空間における特定平面上の世界座標との間で成立する平面射影行列であることも好ましい。
【０００９】
また、特定フレームに関する前記射影行列を推定するステップは、特定平面上の世界座標が既知の特徴点について、特定フレーム画像中の画素を４点以上与え、最小２乗法により前記射影行列を推定することも好ましい。
【００１０】
また、前記射影行列が推定済みのフレームと未推定のフレーム間の対応点を複数抽出するステップは、当該フレーム間で特徴量をもとに対応点を抽出し、前記推定済みの平面射影行列を用いて前記特定平面上のラインを投影した領域にある対応点を抽出することも好ましい。
【００１１】
また、前記抽出された対応点に基づいて、前記未推定のフレームでの射影行列を推定するステップは、前記射影行列が推定済みのフレームでの対応点に、前記推定済みの平面射影行列を用いて対象空間における特定平面上の世界座標を算出し、前記特定平面上の世界座標と、未推定フレームにおける対応点の２次元座標の組を複数与えることで、最小２乗法により射影行列を推定することも好ましい。
【００１２】
上記目的を実現するため本発明による非固定カメラの射影行列を推定するプログラムは、非固定カメラ画像中の２次元座標と、対象空間の３次元世界座標との間で成立する射影行列を推定するためのコンピュータを、特定フレームに関する前記射影行列を推定する手段と、前記射影行列が推定済みのフレームと未推定のフレーム間の対応点を複数抽出する手段と、前記抽出された対応点に基づいて、前記未推定のフレームでの射影行列を推定する手段として機能させる。
【発明の効果】
【００１３】
本発明により、非特許文献１で提案されている手法と同等の画質を保ったまま、手作業による特定被写体の対応付けを必要とせずに非固定カメラの射影行列が推定可能となる。このため、動画フレームに対する自動処理が実現され、動画による自由視点映像の作成が可能となる。
【図面の簡単な説明】
【００１４】
【図１】本発明によるフレーム毎のカメラパラメータを動的に推定する方法を示すフローチャートである。
【図２】初期フレームでのフィールド平面とカメラ画像間の対応点を示す
【図３】フレームｔ−１とフレームｔ間で対応点マッチングを示す。
【図４】抽出されたフィールド平面上の対応点を示す。
【図５】本発明の実施例での入力カメラ画像の例を示す。
【図６】各フレームで推定された平面射影行列を用いて、フィールド平面上のラインをカメラ画像上に投影した結果を示す。
【発明を実施するための形態】
【００１５】
本発明を実施するための最良の実施形態について、以下では図面を用いて詳細に説明する。図１は、本発明によるフレーム毎のカメラパラメータを動的に推定する方法を示すフローチャートである。以下、本フローチャートに基づいて説明する。本実施形態は、ある特定フレームにおいて、予め世界座標が既知の特徴点を４組以上与えることで平面射影行列を算出し、後続フレームでは、フレーム間における特徴点マッチングに基づき対応点を複数抽出することで、フィールド平面に対する平面射影行列を自動生成する。
【００１６】
開始：複数（Ｔ）フレーム分の非固定カメラ映像を入力する。つまり、非固定カメラで撮影された複数フレームのカメラ画像が入力される。
【００１７】
ステップ１：初期フレーム（ｔ＝０）の特定平面に対する平面射影行列を推定する。フィールド平面上の世界座標（ｕ，ｖ）と、初期フレームの画素（ｕ０，ｖ０）を対応づける平面射影行列Ｈ０
s（ｕ、ｖ、１）Ｔ＝Ｈ０（ｕ０、ｖ０、１）Ｔ
を手動で推定する。なお、ｓは規格化のためのスカラーである。
【００１８】
例えば、平面射影行列Ｈ０の自由度は８であるため、カメラ画像とフィールド平面間の対応点を４組以上与え、最小二乗法により導出ことができる（参考：特願２０１０−０３２１３６）。図２は、初期フレームでのフィールド平面とカメラ画像間の対応点を示す。図２の左図がフィールド平面であり、右図がカメラ画像である。フィールド平面およびカメラ画像において、図２の中で番号（１、２、３）が付けら、丸で囲まれた点が対応点である。
【００１９】
なお、本実施形態では、平面射影行列Ｈ０を手動で推定するフレームを初期フレームとしたが、必ずしも初期フレームである必要は無い。ある任意のフレーム（Ｔ＝ｔ）で平面射影行列Ｈｔを手動で推定するものであっても良い。
【００２０】
ステップ２：フレームｔ−１とフレームｔ間で対応点マッチングを行う。フレームｔとフレームｔ−１間で対応点候補を取得する。対応点は、例えば、ＳＩＦＴ（Scale Invariant Feature Transform）特徴量に基づいて取得する。ＳＩＦＴ特徴量は、画像の回転や拡大・縮小にロバストな対応点探索が可能であり、パン・チルト・ズーム等のカメラ操作に伴うフレーム間のマッチングを行うのに適している。図３は、フレームｔ−１とフレームｔ間で対応点マッチングを示す。ここでは、対応点間に線が引かれている。
【００２１】
なお、本実施形態では、フレームｔ−１とフレームｔ間でマッチングを行っているが、必ずしも連続フレーム間でマッチングを行う必要は無い。
【００２２】
ステップ３：フィールド平面上の対応点のみを抽出する。フレームｔでの平面射影行列Ｈｔを求める際に必要な特徴点の絞り込みを以下のように行う。フィールド平面上のラインを平面射影行列Ｈｔ−１を用いて射影することにより、フレームｔ−１上のラインを特定する。このラインの近傍に存在する特徴点をフィールド平面上の対応点として抽出する。フィールド平面上にラインが複数ある場合は、同じことを繰り返す。例えば、図２左のハーフウェアラインを平面射影行列Ｈｔ−１を用いて射影することにより、フレームｔ−１上のハーフウェアラインが特定される。このハーフウェアラインの近傍に存在する特徴点を抽出する。図４は、抽出されたフィールド平面上の対応点を示す。図３と比較すると縦方向のライン、横方向のラインの近傍の特徴点のみが抽出されていることが分かる。
【００２３】
ステップ４：フレームｔの平面射影行列を算出する。前記ステップで、対応点がｎ個抽出され、フレームｔ−１での対応点の画素を（ｕｔ−１（ｉ），ｖｔ−１（ｉ））とし、フレームｔでの対応点の画素を（ｕｔ（ｉ），ｖｔ（ｉ））とする（ｉ＝１、・・・、ｎ）。
【００２４】
Ｈｔ−１を用いることにより（ｕｔ−１（ｉ），ｖｔ−１（ｉ））からフィール平面上の座標（ｕ（ｉ），ｖ（ｉ））が、
s’（ｕ（ｉ）、ｖ（ｉ）、１）Ｔ＝Ｈｔ−１（ｕｔ−１（ｉ）、ｖｔ−１（ｉ）、１）Ｔ
より算出される。
【００２５】
これにより、フレームｔにおいて、画素（ｕｔ（ｉ），ｖｔ（ｉ））とフィールド平面上の座標（ｕ（ｉ），ｖ（ｉ））の組が求まる。カメラ画像とフィールド平面間の対応点が複数組与えられるため、最小二乗法によりフレームｔでの平面射影行列Ｈｔを算出することができる。また、対応点の数を増やすことで、誤検出による影響を緩和することができる。
【００２６】
以上のように、フレーム０での平面射影行列Ｈ０からフレーム１での平面射影行列Ｈ１を算出し、同様のことをフレームＴまで進めることによりフレームＴでの平面射影行列ＨＴを算出することができる。
【００２７】
次に、本発明の実施例を示す。本実施例は、入力データとして、解像度が１９２０×１０８０であり、フレームレートが３０ｆｐｓであるパン・チルト、ズームのカメラ操作を伴うズームカメラ映像を用いて、ｔ＝０の初期フレームからｔ＝３５のフレームまでの平面射影行列Ｈ３５を算出した。図５は、本発明の実施例での入力カメラ画像の例を示す。左図が初期フレームであり、右図がｔ＝３０でのフレームを示す。
【００２８】
図６は、各フレームで推定された平面射影行列を用いて、フィールド平面上のラインをカメラ画像上に投影した結果を示す。上図がｔ＝２０フレームでの結果を示し。下図がｔ＝３５フレームでの結果を示す。それぞれ、黒い線が投影された結果であり、フィールド平面上ライン（白い線）とほぼ一致して、正しく平面射影行列が推定されていることが分かる。
【００２９】
また、以上述べた実施形態は全て本発明を例示的に示すものであって限定的に示すものではなく、本発明は他の種々の変形態様および変更態様で実施することができる。従って本発明の範囲は特許請求の範囲およびその均等範囲によってのみ規定されるものである。
【技術分野】
【０００１】
本発明は、自由視点映像の合成において最も重要な処理の一つである、非固定カメラの動的パラメータを推定する方法およびプログラムに関する。
【背景技術】
【０００２】
非特許文献１は、サッカー等の屋外大空間で実施されるスポーツ映像を対象に、固定カメラで推定される特定被写体の３次元位置をもとに、パン・チルトおよびズーム・フォーカス値の変更を伴う非固定ズームカメラのパラメータを推定する手法を開示する。
【０００３】
非特許文献１で提案されている手法は、推定対象である非固定カメラ映像中に存在する特定被写体について、当該被写体を捉えた他の固定カメラ映像中での対応をもとに非固定カメラの射影行列を推定していた。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】三功浩嗣他：「ズームカメラを用いた自由視点映像の合成画質高精度化の一検討」 IEICE2011 D-11-51 2011年
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、非固定カメラおよび固定カメラ間における特定被写体の対応付けを自動化することが困難であるため、手作業による対応付けを前提としていた。そのため、動画フレームに対する自動処理を実現することができず、特定の静止フレームにしか適用できないという課題があった。
【０００６】
したがって、本発明は、非固定カメラのパラメータ（非固定カメラ映像中の２次元座標と、対象空間における特定平面上の世界座標間で成立する射影関係（平面射影行列））を、時間軸方向の相関に基づき動的に推定する方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を実現するため本発明による非固定カメラの射影行列を推定する方法は、非固定カメラ画像中の２次元座標と、対象空間の３次元世界座標との間で成立する射影行列を推定する方法であって、特定フレームに関する前記射影行列を推定するステップと、前記射影行列が推定済みのフレームと未推定のフレーム間の対応点を複数抽出するステップと、前記抽出された対応点に基づいて、前記未推定のフレームでの射影行列を推定するステップとを含む。
【０００８】
また、前記射影行列は、非固定カメラ画像中の２次元座標と、対象空間における特定平面上の世界座標との間で成立する平面射影行列であることも好ましい。
【０００９】
また、特定フレームに関する前記射影行列を推定するステップは、特定平面上の世界座標が既知の特徴点について、特定フレーム画像中の画素を４点以上与え、最小２乗法により前記射影行列を推定することも好ましい。
【００１０】
また、前記射影行列が推定済みのフレームと未推定のフレーム間の対応点を複数抽出するステップは、当該フレーム間で特徴量をもとに対応点を抽出し、前記推定済みの平面射影行列を用いて前記特定平面上のラインを投影した領域にある対応点を抽出することも好ましい。
【００１１】
また、前記抽出された対応点に基づいて、前記未推定のフレームでの射影行列を推定するステップは、前記射影行列が推定済みのフレームでの対応点に、前記推定済みの平面射影行列を用いて対象空間における特定平面上の世界座標を算出し、前記特定平面上の世界座標と、未推定フレームにおける対応点の２次元座標の組を複数与えることで、最小２乗法により射影行列を推定することも好ましい。
【００１２】
上記目的を実現するため本発明による非固定カメラの射影行列を推定するプログラムは、非固定カメラ画像中の２次元座標と、対象空間の３次元世界座標との間で成立する射影行列を推定するためのコンピュータを、特定フレームに関する前記射影行列を推定する手段と、前記射影行列が推定済みのフレームと未推定のフレーム間の対応点を複数抽出する手段と、前記抽出された対応点に基づいて、前記未推定のフレームでの射影行列を推定する手段として機能させる。
【発明の効果】
【００１３】
本発明により、非特許文献１で提案されている手法と同等の画質を保ったまま、手作業による特定被写体の対応付けを必要とせずに非固定カメラの射影行列が推定可能となる。このため、動画フレームに対する自動処理が実現され、動画による自由視点映像の作成が可能となる。
【図面の簡単な説明】
【００１４】
【図１】本発明によるフレーム毎のカメラパラメータを動的に推定する方法を示すフローチャートである。
【図２】初期フレームでのフィールド平面とカメラ画像間の対応点を示す
【図３】フレームｔ−１とフレームｔ間で対応点マッチングを示す。
【図４】抽出されたフィールド平面上の対応点を示す。
【図５】本発明の実施例での入力カメラ画像の例を示す。
【図６】各フレームで推定された平面射影行列を用いて、フィールド平面上のラインをカメラ画像上に投影した結果を示す。
【発明を実施するための形態】
【００１５】
本発明を実施するための最良の実施形態について、以下では図面を用いて詳細に説明する。図１は、本発明によるフレーム毎のカメラパラメータを動的に推定する方法を示すフローチャートである。以下、本フローチャートに基づいて説明する。本実施形態は、ある特定フレームにおいて、予め世界座標が既知の特徴点を４組以上与えることで平面射影行列を算出し、後続フレームでは、フレーム間における特徴点マッチングに基づき対応点を複数抽出することで、フィールド平面に対する平面射影行列を自動生成する。
【００１６】
開始：複数（Ｔ）フレーム分の非固定カメラ映像を入力する。つまり、非固定カメラで撮影された複数フレームのカメラ画像が入力される。
【００１７】
ステップ１：初期フレーム（ｔ＝０）の特定平面に対する平面射影行列を推定する。フィールド平面上の世界座標（ｕ，ｖ）と、初期フレームの画素（ｕ０，ｖ０）を対応づける平面射影行列Ｈ０
s（ｕ、ｖ、１）Ｔ＝Ｈ０（ｕ０、ｖ０、１）Ｔ
を手動で推定する。なお、ｓは規格化のためのスカラーである。
【００１８】
例えば、平面射影行列Ｈ０の自由度は８であるため、カメラ画像とフィールド平面間の対応点を４組以上与え、最小二乗法により導出ことができる（参考：特願２０１０−０３２１３６）。図２は、初期フレームでのフィールド平面とカメラ画像間の対応点を示す。図２の左図がフィールド平面であり、右図がカメラ画像である。フィールド平面およびカメラ画像において、図２の中で番号（１、２、３）が付けら、丸で囲まれた点が対応点である。
【００１９】
なお、本実施形態では、平面射影行列Ｈ０を手動で推定するフレームを初期フレームとしたが、必ずしも初期フレームである必要は無い。ある任意のフレーム（Ｔ＝ｔ）で平面射影行列Ｈｔを手動で推定するものであっても良い。
【００２０】
ステップ２：フレームｔ−１とフレームｔ間で対応点マッチングを行う。フレームｔとフレームｔ−１間で対応点候補を取得する。対応点は、例えば、ＳＩＦＴ（Scale Invariant Feature Transform）特徴量に基づいて取得する。ＳＩＦＴ特徴量は、画像の回転や拡大・縮小にロバストな対応点探索が可能であり、パン・チルト・ズーム等のカメラ操作に伴うフレーム間のマッチングを行うのに適している。図３は、フレームｔ−１とフレームｔ間で対応点マッチングを示す。ここでは、対応点間に線が引かれている。
【００２１】
なお、本実施形態では、フレームｔ−１とフレームｔ間でマッチングを行っているが、必ずしも連続フレーム間でマッチングを行う必要は無い。
【００２２】
ステップ３：フィールド平面上の対応点のみを抽出する。フレームｔでの平面射影行列Ｈｔを求める際に必要な特徴点の絞り込みを以下のように行う。フィールド平面上のラインを平面射影行列Ｈｔ−１を用いて射影することにより、フレームｔ−１上のラインを特定する。このラインの近傍に存在する特徴点をフィールド平面上の対応点として抽出する。フィールド平面上にラインが複数ある場合は、同じことを繰り返す。例えば、図２左のハーフウェアラインを平面射影行列Ｈｔ−１を用いて射影することにより、フレームｔ−１上のハーフウェアラインが特定される。このハーフウェアラインの近傍に存在する特徴点を抽出する。図４は、抽出されたフィールド平面上の対応点を示す。図３と比較すると縦方向のライン、横方向のラインの近傍の特徴点のみが抽出されていることが分かる。
【００２３】
ステップ４：フレームｔの平面射影行列を算出する。前記ステップで、対応点がｎ個抽出され、フレームｔ−１での対応点の画素を（ｕｔ−１（ｉ），ｖｔ−１（ｉ））とし、フレームｔでの対応点の画素を（ｕｔ（ｉ），ｖｔ（ｉ））とする（ｉ＝１、・・・、ｎ）。
【００２４】
Ｈｔ−１を用いることにより（ｕｔ−１（ｉ），ｖｔ−１（ｉ））からフィール平面上の座標（ｕ（ｉ），ｖ（ｉ））が、
s’（ｕ（ｉ）、ｖ（ｉ）、１）Ｔ＝Ｈｔ−１（ｕｔ−１（ｉ）、ｖｔ−１（ｉ）、１）Ｔ
より算出される。
【００２５】
これにより、フレームｔにおいて、画素（ｕｔ（ｉ），ｖｔ（ｉ））とフィールド平面上の座標（ｕ（ｉ），ｖ（ｉ））の組が求まる。カメラ画像とフィールド平面間の対応点が複数組与えられるため、最小二乗法によりフレームｔでの平面射影行列Ｈｔを算出することができる。また、対応点の数を増やすことで、誤検出による影響を緩和することができる。
【００２６】
以上のように、フレーム０での平面射影行列Ｈ０からフレーム１での平面射影行列Ｈ１を算出し、同様のことをフレームＴまで進めることによりフレームＴでの平面射影行列ＨＴを算出することができる。
【００２７】
次に、本発明の実施例を示す。本実施例は、入力データとして、解像度が１９２０×１０８０であり、フレームレートが３０ｆｐｓであるパン・チルト、ズームのカメラ操作を伴うズームカメラ映像を用いて、ｔ＝０の初期フレームからｔ＝３５のフレームまでの平面射影行列Ｈ３５を算出した。図５は、本発明の実施例での入力カメラ画像の例を示す。左図が初期フレームであり、右図がｔ＝３０でのフレームを示す。
【００２８】
図６は、各フレームで推定された平面射影行列を用いて、フィールド平面上のラインをカメラ画像上に投影した結果を示す。上図がｔ＝２０フレームでの結果を示し。下図がｔ＝３５フレームでの結果を示す。それぞれ、黒い線が投影された結果であり、フィールド平面上ライン（白い線）とほぼ一致して、正しく平面射影行列が推定されていることが分かる。
【００２９】
また、以上述べた実施形態は全て本発明を例示的に示すものであって限定的に示すものではなく、本発明は他の種々の変形態様および変更態様で実施することができる。従って本発明の範囲は特許請求の範囲およびその均等範囲によってのみ規定されるものである。
【特許請求の範囲】
【請求項１】
非固定カメラ画像中の２次元座標と、対象空間の３次元世界座標との間で成立する射影行列を推定する方法であって、
特定フレームに関する前記射影行列を推定するステップと、
前記射影行列が推定済みのフレームと未推定のフレーム間の対応点を複数抽出するステップと、
前記抽出された対応点に基づいて、前記未推定のフレームでの射影行列を推定するステップと、
を含むことを特徴とする非固定カメラの射影行列を推定する方法。
【請求項２】
前記射影行列は、非固定カメラ画像中の２次元座標と、対象空間における特定平面上の世界座標との間で成立する平面射影行列であることを特徴とする請求項１に記載の非固定カメラの射影行列を推定する方法。
【請求項３】
特定フレームに関する前記射影行列を推定するステップは、
特定平面上の世界座標が既知の特徴点について、特定フレーム画像中の画素を４点以上与え、最小２乗法により前記射影行列を推定することを特徴とする請求項２に記載の非固定カメラの射影行列を推定する方法。
【請求項４】
前記射影行列が推定済みのフレームと未推定のフレーム間の対応点を複数抽出するステップは、
当該フレーム間で特徴量をもとに対応点を抽出し、
前記推定済みの平面射影行列を用いて前記特定平面上のラインを投影した領域にある対応点を抽出することを特徴とする請求項２または３に記載の非固定カメラの射影行列を推定する方法。
【請求項５】
前記抽出された対応点に基づいて、前記未推定のフレームでの射影行列を推定するステップは、
前記射影行列が推定済みのフレームでの対応点に、前記推定済みの平面射影行列を用いて対象空間における特定平面上の世界座標を算出し、
前記特定平面上の世界座標と、未推定フレームにおける対応点の２次元座標の組を複数与えることで、最小２乗法により射影行列を推定することを特徴とする請求項２から４のいずれか１項に記載の非固定カメラの射影行列を推定する方法。
【請求項６】
非固定カメラ画像中の２次元座標と、対象空間の３次元世界座標との間で成立する射影行列を推定するためのコンピュータを、
特定フレームに関する前記射影行列を推定する手段と、
前記射影行列が推定済みのフレームと未推定のフレーム間の対応点を複数抽出する手段と、
前記抽出された対応点に基づいて、前記未推定のフレームでの射影行列を推定する手段と、
して機能させ、非固定カメラの射影行列を推定することを特徴とするプログラム。
【請求項１】
非固定カメラ画像中の２次元座標と、対象空間の３次元世界座標との間で成立する射影行列を推定する方法であって、
特定フレームに関する前記射影行列を推定するステップと、
前記射影行列が推定済みのフレームと未推定のフレーム間の対応点を複数抽出するステップと、
前記抽出された対応点に基づいて、前記未推定のフレームでの射影行列を推定するステップと、
を含むことを特徴とする非固定カメラの射影行列を推定する方法。
【請求項２】
前記射影行列は、非固定カメラ画像中の２次元座標と、対象空間における特定平面上の世界座標との間で成立する平面射影行列であることを特徴とする請求項１に記載の非固定カメラの射影行列を推定する方法。
【請求項３】
特定フレームに関する前記射影行列を推定するステップは、
特定平面上の世界座標が既知の特徴点について、特定フレーム画像中の画素を４点以上与え、最小２乗法により前記射影行列を推定することを特徴とする請求項２に記載の非固定カメラの射影行列を推定する方法。
【請求項４】
前記射影行列が推定済みのフレームと未推定のフレーム間の対応点を複数抽出するステップは、
当該フレーム間で特徴量をもとに対応点を抽出し、
前記推定済みの平面射影行列を用いて前記特定平面上のラインを投影した領域にある対応点を抽出することを特徴とする請求項２または３に記載の非固定カメラの射影行列を推定する方法。
【請求項５】
前記抽出された対応点に基づいて、前記未推定のフレームでの射影行列を推定するステップは、
前記射影行列が推定済みのフレームでの対応点に、前記推定済みの平面射影行列を用いて対象空間における特定平面上の世界座標を算出し、
前記特定平面上の世界座標と、未推定フレームにおける対応点の２次元座標の組を複数与えることで、最小２乗法により射影行列を推定することを特徴とする請求項２から４のいずれか１項に記載の非固定カメラの射影行列を推定する方法。
【請求項６】
非固定カメラ画像中の２次元座標と、対象空間の３次元世界座標との間で成立する射影行列を推定するためのコンピュータを、
特定フレームに関する前記射影行列を推定する手段と、
前記射影行列が推定済みのフレームと未推定のフレーム間の対応点を複数抽出する手段と、
前記抽出された対応点に基づいて、前記未推定のフレームでの射影行列を推定する手段と、
して機能させ、非固定カメラの射影行列を推定することを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１３−７３３１６（Ｐ２０１３−７３３１６Ａ）
【公開日】平成２５年４月２２日（２０１３．４．２２）
【国際特許分類】
【出願番号】特願２０１１−２１０４６７（Ｐ２０１１−２１０４６７）
【出願日】平成２３年９月２７日（２０１１．９．２７）
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【Ｆターム（参考）】
【公開日】平成２５年４月２２日（２０１３．４．２２）
【国際特許分類】
【出願日】平成２３年９月２７日（２０１１．９．２７）
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【Ｆターム（参考）】
[ Back to top ]