カメラパラメータ推定装置、カメラパラメータ推定方法、カメラパラメータ推定プログラムおよびそのプログラムを記録した記録媒体
【課題】カメラパラメータが微小に変化したとき、参照物体を利用することなく、その時間変化量を推定することができるカメラパラメータ推定装置を提供する。
【解決手段】空間中のある位置Ｘに用意した被写体上の３次元点をカメラで取得した画像中に投影したときの、当該カメラ固有の内部情報に対する画像座標上での変化量を得る勾配係数処理部３と、時系列中のある時刻ｔでの画像上における濃淡変化を反映した空間勾配と、時刻ｔの画像と時刻ｔ＋Δｔの画像との間の時間的濃淡変化を反映した時間勾配を得る時空間勾配処理部２と、前記空間勾配と時間勾配、並びに画像座標上での変化量が満たす時間間隔Δｔの間の拘束条件を使って、カメラ固有の内部変数をパラメータとした投票空間の、その拘束条件を満たすパラメータが示す場所に投票し、得票値が極大となるパラメータをカメラ固有の内部情報の時間的変化量とするカメラパラメータ推定部４とを備える。
【解決手段】空間中のある位置Ｘに用意した被写体上の３次元点をカメラで取得した画像中に投影したときの、当該カメラ固有の内部情報に対する画像座標上での変化量を得る勾配係数処理部３と、時系列中のある時刻ｔでの画像上における濃淡変化を反映した空間勾配と、時刻ｔの画像と時刻ｔ＋Δｔの画像との間の時間的濃淡変化を反映した時間勾配を得る時空間勾配処理部２と、前記空間勾配と時間勾配、並びに画像座標上での変化量が満たす時間間隔Δｔの間の拘束条件を使って、カメラ固有の内部変数をパラメータとした投票空間の、その拘束条件を満たすパラメータが示す場所に投票し、得票値が極大となるパラメータをカメラ固有の内部情報の時間的変化量とするカメラパラメータ推定部４とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、監視カメラなどの固定カメラで撮影した静的シーンの時系列画像に利用可能で、その時系列においてカメラ固有の内部情報またはカメラの姿勢またはカメラの位置（視点）が微小に変化したとき、そのパラメータの時間的変化量を推定する、カメラパラメータ推定装置、カメラパラメータ推定方法、カメラパラメータ推定プログラムおよびそのプログラムを記録した記録媒体に関する。
【背景技術】
【０００２】
カメラ内部の固有情報として焦点距離や画像中心などの内部パラメータ、並びに、カメラ配置時の姿勢や位置情報という外部パラメータを得るにはカメラキャリブレーション（カメラ校正）が行われる。従来の方法では、校正したいカメラに対して図１９のようにパターンなどの模様を描いた参照物体を撮影し、その参照物体に関する情報とカメラで観測した画像上での投影情報から、カメラ内部、外部パラメータ（両者を合わせてカメラパラメータと呼ぶ）を推定する（非特許文献１参照）。元々カメラ校正には時間と作業コストがかかるため、より簡単な参照物体を使った例もある。例として、図２０のように長さの既知な１次元物体を使い、点Ａを固定したまま撮影しその画像からカメラを校正する方法も公開されている（非特許文献２参照）。
【０００３】
一方、コンピュータビジョンではＳｔｒｕｃｔｕｒｅ Ｆｒｏｍ Ｍｏｔｉｏｎと呼ばれている基本原理があり、静止した被写体に対してカメラが相対的に運動することにより被写体の３次元形状とカメラの運動を復元する方法がある（運動する被写体に対してカメラが静止していても原理は同じ）。セルフキャリブレーション（あるいはオートキャリブレーションとも呼ばれる）はこの原理に基づく一つであり、上記のような既知の参照物体を必要とせず、静的な映像シーンから観測した特徴点からカメラパラメータを推定することができる。他にも、非特許文献３に記載の方法によりカメラ運動と各剛体の３次元形状とその速度を同時に復元することができるため、この方法をカメラ校正に応用することも考えられる。
【０００４】
また、非特許文献４にはオプティカルフローについての記載がある。
【非特許文献１】Ｚ．Ｚｈａｎｇ，“Ａ ｆｌｅｘｉｂｌｅ ｎｅｗ ｔｅｃｈｎｉｑｕｅ ｆｏｒ ｃａｍｅｒａ ｃａｌｉｂｒａｔｉｏｎ”，ＩＥＥＥ Ｔｒａｎｓ．ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，Ｖｏｌ．２２，Ｎｏ．１１，ｐｐ．１３３０−１３３４，２０００．
【非特許文献２】Ｚ．Ｚｈａｎｇ，“Ｃａｍｅｒａ ｃａｌｉｂｒａｔｉｏｎ ｗｉｔｈ ｏｎｅ−ｄｉｍｅｎｓｉｏｎａｌ ｏｂｊｅｃｔｓ”，ＩＥＥＥ Ｔｒａｎｓ．ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，Ｖｏｌ．２６，Ｎｏ．７，ｐｐ．８９２−８９９，２００４．
【非特許文献３】Ｍ．Ｈａｎ ＆ Ｔ．Ｋａｎａｄｅ，“Ｍｕｌｔｉｐｌｅ Ｍｏｔｉｏｎ Ｓｃｅｎｅ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｗｉｔｈ Ｕｎｃａｌｉｂｒａｔｅｄ Ｃａｍｅｒａｓ，”ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，Ｖｏｌ．２５，Ｎｏ．７，ｐｐ．８８４−８９４，２００３．
【非特許文献４】Ｈｏｒｎ，“ロボットビジョン”，朝倉書店，ｐｐ．３０５−３１２，１９９３．
【発明の開示】
【発明が解決しようとする課題】
【０００５】
従来のカメラキャリブレーション法（非特許文献１，２）では参照物体を使ったものが多く、図１９では平面パターンの２次元座標を既知としており、図２０では１次元物体の長さＬと点Ａから点Ｃまでの距離と点Ｂから点Ｃまでの距離の比が既知であることが前提である。カメラ校正作業は前処理の作業として行われることが多いが、仮にカメラ撮影中にカメラパラメータが変化した場合でも、その時点で、適宜、参照物体を設置することができる状況では、参照物体を使ったカメラ校正手段をとることができる。ところが、運用中の監視カメラや固定カメラでは、常時、参照物体を設置することができるとは限らない。このような場合、稼動中に何らかの原因でカメラパラメータが変化しても、参照物体を適宜使用することは現実的ではないという問題がある。これに対して、セルフキャリブレーションによれば、既知の参照物体を必要とせず、静的な映像シーンから観測した特徴点からカメラを校正することができるが、カメラ校正に十分な特徴点を時系列画像において追跡しその画像座標を測定する必要があり、測定誤差が多少混入するだけでカメラ校正の精度が劣化するという問題がある。
【０００６】
また、非特許文献３などのＳｔｒｕｃｔｕｒｅ Ｆｒｏｍ Ｍｏｔｉｏｎ原理に基づく３次元復元手法は、特徴点として明確な特徴点を時系列画像において高精度に追跡しなければならないため、セルフキャリブレーションと同様に、特徴点の観測精度によってカメラ校正の精度が左右される。そのような明確な特徴点を時系列画像全体で追跡できない場合には、非特許文献３の方法を応用することができない。
【０００７】
本発明は上記課題を解決するものであり、その目的は、一旦カメラ校正作業等によりカメラパラメータが得られている状況で、その後に、何らかの原因でカメラパラメータが微小に変化したとき、そのカメラパラメータの時間変化量を推定することができるカメラパラメータ推定装置、カメラパラメータ推定方法、カメラパラメータ推定プログラムおよびそのプログラムを記録した記録媒体を提供することにある。
【課題を解決するための手段】
【０００８】
本発明におけるカメラで撮影するシーンは静的（照明変動が小さく、被写体はすべて静止している状態）であり、変化する前の状態ではカメラパラメータが既知であること（初期状態ではカメラキャリブレーションが行われていること）を前提とする。
【０００９】
本発明では、カメラパラメータの微小変化に起因する時系列画像中の変化を捉えるために、オプティカルフロー（非特許文献４参照）と同様の原理を利用する。この手法を簡単に説明しておく。時刻ｔでの画像座標（ｘ，ｙ）での濃淡値をＩ（ｘ，ｙ，ｔ）とすると、時刻ｔ＋Δｔでの画像はＩ（ｘ，ｙ，ｔ＋Δｔ）と表現される。ここで、時間間隔Δｔの濃淡変化に対して、式（１）に示すように時刻ｔでの画像の濃淡値が、時刻ｔ＋Δｔでの画像上でのｘｙ座標を（ｘ＋Δｘ，ｙ＋Δｙ）と平行移動したとき近似的に同じ濃淡値になると仮定する。式（１）右辺をＴａｙｌｏｒ展開して第一次項まで求めると式（２）が得られ、Δｔが十分に小さいと仮定すると式（３）にまとめることができる。
【００１０】
【数１】
【００１１】
式（３）はオプティカルフロー（非特許文献４に記載の手法）として知られている拘束条件であり、時刻ｔの画像と時刻ｔ＋Δｔでの画像の間において時間勾配：ｄＩ／ｄｔと画像座標に対する空間勾配：∂Ｉ／∂ｘ，∂Ｉ／∂ｙが得られれば、画像座標上での時間的変化量（ｄｘ／ｄｔ，ｄｙ／ｄｔ）が得られる。
【００１２】
本発明の基本原理では、画像座標（ｘ，ｙ）は時間ｔの関数とするだけでなく、式（４）に示すようにその投影の元となるカメラパラメータα，β，ｕ0，ｖ0，あるいは、式（５）、式（６）に示すようにカメラ外部パラメータＲｘ，Ｒｙ，Ｔｘ，Ｔｙの関数と考える。
【００１３】
【数２】
【００１４】
以降では主に式（４）の関数形について述べるが、式（５）や式（６）の関数形の場合も本発明の基本原理を応用することができる（実施例２，３にて詳細を記述する）。
【００１５】
図１に世界座標系とカメラの関係を図示する。この図では世界座標系をＸｗＹｗＺｗとし、カメラ視点の位置を（Ｔｘ，Ｔｙ，Ｔｚ）とし、その視点を原点としたカメラ座標系ＸＹＺを設ける。カメラで観測した画像において、空間中の３次元点（Ｘj，Ｙj，Ｚj）がピンホールカメラ型の透視投影により画像座標（ｘj，ｙj）へ投影されると仮定すると、その画像座標（ｘj，ｙj）と３次元点（Ｘj，Ｙj，Ｚj）は、カメラパラメータを介して式（７）〜式（９）の関係にある。
【００１６】
【数３】
【００１７】
本発明で扱うカメラパラメータは、内部パラメータとして焦点距離α、アスペクト比β／α、画像中心（ｕ0，ｖ0）、外部パラメータとしてＸＹＺ軸周りの回転角Ｒｘ，Ｒｙ，Ｒｚとカメラ視点位置（Ｔｘ，Ｔｙ，Ｔｚ）である。
【００１８】
対象とする時系列画像において被写体は静止しており、カメラ内部パラメータが時間的に微小に変化すると考える。すなわち、時系列画像中の被写体を投影した画像座標（ｘ，ｙ）が式（４）に示すカメラ内部パラメータα，β，ｕ0，ｖ0の関数とすると、式（３）から式（１０）に展開することができ、式（１１）に示すような関係に表現することができる。ここで、便宜上、式（１２）に示すように置換する。
【００１９】
【数４】
【００２０】
したがって、静的シーンを撮影した時系列画像においてカメラ内部パラメータに時間変化がある場合、式（１１）の拘束式が成立する。もちろん、カメラ内部パラメータに時間変化が無い場合も式（１１）が成立することは明らかである。
【００２１】
本発明は、式（１１）の関係に基づいた処理構成となっている。空間勾配∂Ｉ／∂ｘ，∂Ｉ／∂ｙと時間勾配ｄＩ／ｄｔは、時系列画像から取り出した時刻ｔの画像と時刻ｔ＋Δｔの画像から求めることができる。これに対して、カメラ内部パラメータに対する画像座標上での変化量∂ｘ／∂α，∂ｙ／∂β，∂ｘ／∂ｕ0，∂ｙ／∂ｖ0は、カメラパラメータと３次元点から構成される式（４）の具体的な関係式が与えられれば、事前に計算することができる。
【００２２】
上記課題を解決するための請求項１に記載のカメラパラメータ推定装置は、画像入力装置を使って取得した映像において、ある時刻ｔでの画像から時刻ｔ＋Δｔでの画像までの時間変化における画像入力装置固有の内部情報を推定する装置であって、空間中のある位置Ｘに用意した被写体上の３次元点を前記画像入力装置で取得した画像中に投影したときの、当該画像入力装置固有の内部情報に対する画像座標上での変化量を得る勾配係数処理手段と、時系列中のある時刻ｔでの画像上における水平方向と垂直方向の濃淡変化を反映した空間勾配と、時間間隔Δｔとして時刻ｔの画像と時刻ｔ＋Δｔの画像との間の時間的濃淡変化を反映した時間勾配を得る時空間勾配処理手段と、前記時空間勾配処理手段により得られた空間勾配と時間勾配、並びに、前記勾配係数処理手段により得られた画像座標上での変化量が満たす時間間隔Δｔの間の拘束条件を使って、画像入力装置固有の内部変数をパラメータとした投票空間において、あるパラメータがその拘束条件を満たす場合に該投票空間中のそのパラメータが示す場所に投票を行い、全ての投票処理の後に、投票空間においてその得票値が極大となるパラメータを画像入力装置固有の内部情報の時間的変化量と決定するカメラパラメータ推定手段と、を備えることを特徴としている。
【００２３】
また請求項２に記載のカメラパラメータ推定装置は、画像入力装置を使って取得した映像において、ある時刻ｔでの画像から時刻ｔ＋Δｔでの画像までの時間変化における画像入力装置の姿勢情報を推定する装置であって、空間中のある位置Ｘに用意した被写体上の３次元点を前記画像入力装置で取得した画像中に投影したときの、当該画像入力装置の姿勢情報に対する画像座標上での変化量を得る勾配係数処理手段と、時系列中のある時刻ｔでの画像上における水平方向と垂直方向の濃淡変化を反映した空間勾配と、時間間隔Δｔとして時刻ｔの画像と時刻ｔ＋Δｔの画像との間の時間的濃淡変化を反映した時間勾配を得る時空間勾配処理手段と、前記時空間勾配処理手段により得られた空間勾配と時間勾配、並びに、前記勾配係数処理手段により得られた画像座標上での変化量が満たす時間間隔Δｔの間の拘束条件を使って、画像入力装置の姿勢情報をパラメータとした投票空間において、あるパラメータがその拘束条件を満たす場合に該投票空間中のそのパラメータが示す場所に投票を行い、全ての投票処理の後に、投票空間においてその得票値が極大となるパラメータを画像入力装置の姿勢情報の時間的変化量と決定するカメラパラメータ推定手段と、を備えることを特徴としている。
【００２４】
また請求項３に記載のカメラパラメータ推定装置は、画像入力装置を使って取得した映像において、ある時刻ｔでの画像から時刻ｔ＋Δｔでの画像までの時間変化における画像入力装置の位置情報を推定する装置であって、空間中のある位置Ｘに用意した被写体上の３次元点を前記画像入力装置で取得した画像中に投影したときの、当該画像入力装置の位置情報に対する画像座標上での変化量を得る勾配係数処理手段と、時系列中のある時刻ｔでの画像上における水平方向と垂直方向の濃淡変化を反映した空間勾配と、時間間隔Δｔとして時刻ｔの画像と時刻ｔ＋Δｔの画像との間の時間的濃淡変化を反映した時間勾配を得る時空間勾配処理手段と、前記時空間勾配処理手段により得られた空間勾配と時間勾配、並びに、前記勾配係数処理手段により得られた画像座標上での変化量が満たす時間間隔Δｔの間の拘束条件を使って、画像入力装置の位置情報をパラメータとした投票空間において、あるパラメータがその拘束条件を満たす場合に該投票空間中のそのパラメータが示す場所に投票を行い、全ての投票処理の後に、投票空間においてその得票値が極大となるパラメータを画像入力装置の位置情報の時間的変化量と決定するカメラパラメータ推定手段と、を備えることを特徴としている。
【００２５】
また請求項４に記載のカメラパラメータ推定装置は、請求項１ないし３のいずれか１項において、前記カメラパラメータ推定手段は、投票空間で処理するパラメータをパラメータＡとパラメータＢに分け、パラメータＡを投票処理によって求める間はパラメータＢをある値に固定しておき、パラメータＢを投票処理によって求める間はパラメータＡをある値に固定しておき、交互にパラメータを決定する処理を反復することにより、全てのパラメータが同時に前記拘束条件を満たすように求めることを特徴としている。
【００２６】
また請求項５に記載のカメラパラメータ推定方法は、画像入力装置を使って取得した映像において、ある時刻ｔでの画像から時刻ｔ＋Δｔでの画像までの時間変化における画像入力装置固有の内部情報を推定する方法であって、勾配係数処理手段が、空間中のある位置Ｘに用意した被写体上の３次元点を前記画像入力装置で取得した画像中に投影したときの、当該画像入力装置固有の内部情報に対する画像座標上での変化量を得る勾配係数処理ステップと、時空間勾配処理手段が、時系列中のある時刻ｔでの画像上における水平方向と垂直方向の濃淡変化を反映した空間勾配と、時間間隔Δｔとして時刻ｔの画像と時刻ｔ＋Δｔの画像との間の時間的濃淡変化を反映した時間勾配を得る時空間勾配処理ステップと、カメラパラメータ推定手段が、前記時空間勾配処理ステップにより得られた空間勾配と時間勾配、並びに、前記勾配係数処理ステップにより得られた画像座標上での変化量が満たす時間間隔Δｔの間の拘束条件を使って、画像入力装置固有の内部変数をパラメータとした投票空間において、あるパラメータがその拘束条件を満たす場合に該投票空間中のそのパラメータが示す場所に投票を行い、全ての投票処理の後に、投票空間においてその得票値が極大となるパラメータを画像入力装置固有の内部情報の時間的変化量と決定するカメラパラメータ推定ステップと、を備えることを特徴としている。
【００２７】
また請求項６に記載のカメラパラメータ推定方法は、画像入力装置を使って取得した映像において、ある時刻ｔでの画像から時刻ｔ＋Δｔでの画像までの時間変化における画像入力装置の姿勢情報を推定する方法であって、勾配係数処理手段が、空間中のある位置Ｘに用意した被写体上の３次元点を前記画像入力装置で取得した画像中に投影したときの、当該画像入力装置の姿勢情報に対する画像座標上での変化量を得る勾配係数処理ステップと、時空間勾配処理手段が、時系列中のある時刻ｔでの画像上における水平方向と垂直方向の濃淡変化を反映した空間勾配と、時間間隔Δｔとして時刻ｔの画像と時刻ｔ＋Δｔの画像との間の時間的濃淡変化を反映した時間勾配を得る時空間勾配処理ステップと、カメラパラメータ推定手段が、前記時空間勾配処理ステップにより得られた空間勾配と時間勾配、並びに、前記勾配係数処理ステップにより得られた画像座標上での変化量が満たす時間間隔Δｔの間の拘束条件を使って、画像入力装置の姿勢情報をパラメータとした投票空間において、あるパラメータがその拘束条件を満たす場合に該投票空間中のそのパラメータが示す場所に投票を行い、全ての投票処理の後に、投票空間においてその得票値が極大となるパラメータを画像入力装置の姿勢情報の時間的変化量と決定するカメラパラメータ推定ステップと、を備えることを特徴としている。
【００２８】
また請求項７に記載のカメラパラメータ推定方法は、画像入力装置を使って取得した映像において、ある時刻ｔでの画像から時刻ｔ＋Δｔでの画像までの時間変化における画像入力装置の位置情報を推定する方法であって、勾配係数処理手段が、空間中のある位置Ｘに用意した被写体上の３次元点を前記画像入力装置で取得した画像中に投影したときの、当該画像入力装置の位置情報に対する画像座標上での変化量を得る勾配係数処理ステップと、時空間勾配処理手段が、時系列中のある時刻ｔでの画像上における水平方向と垂直方向の濃淡変化を反映した空間勾配と、時間間隔Δｔとして時刻ｔの画像と時刻ｔ＋Δｔの画像との間の時間的濃淡変化を反映した時間勾配を得る時空間勾配処理ステップと、カメラパラメータ推定手段が、前記時空間勾配処理ステップにより得られた空間勾配と時間勾配、並びに、前記勾配係数処理ステップにより得られた画像座標上での変化量が満たす時間間隔Δｔの間の拘束条件を使って、画像入力装置の姿勢情報をパラメータとした投票空間において、あるパラメータがその拘束条件を満たす場合に該投票空間中のそのパラメータが示す場所に投票を行い、全ての投票処理の後に、投票空間においてその得票値が極大となるパラメータを画像入力装置の位置情報の時間的変化量と決定するカメラパラメータ推定ステップと、を備えることを特徴としている。
【００２９】
また請求項８に記載のカメラパラメータ推定方法は、請求項５ないし７のいずれか１項において、前記カメラパラメータ推定ステップは、投票空間で処理するパラメータをパラメータＡとパラメータＢに分け、パラメータＡを投票処理によって求める間はパラメータＢをある値に固定しておき、パラメータＢを投票処理によって求める間はパラメータＡをある値に固定しておき、交互にパラメータを決定する処理を反復することにより、全てのパラメータが同時に前記拘束条件を満たすように求めることを特徴としている。
【００３０】
また請求項９に記載のカメラパラメータ推定プログラムは、コンピュータに、請求項５ないし請求項８のいずれか１項に記載の各ステップを実行させるプログラムとしたことを特徴としている。
【００３１】
また請求項１０に記載の記録媒体は、請求項９に記載のカメラパラメータ推定プログラムを記録したコンピュータ読み取り可能な記録媒体である。
【００３２】
上記構成によれば、従来のカメラキャリブレーション作業のように参照物体を適宜撮影できない場合、カメラパラメータに起因する画像上での時間変化をオプティカルフローの原理を利用して、そのカメラパラメータの時間的変化量を推定することができる。
【発明の効果】
【００３３】
（１）請求項１〜１０に記載の発明によれば、従来のカメラキャリブレーション（非特許文献１，２）のように既知の参照物体を必要としないため、カメラキャリブレーション作業において参照物体を撮影する手間を省くことができる。また、本発明は時系列画像間の特徴点座標に依存しない方法なので、Ｓｔｒｕｃｔｕｒｅ Ｆｒｏｍ Ｍｏｔｉｏｎ原理に基づく３次元復元手法（非特許文献３）のように時系列画像での特徴点の正確な画像座標を測定する必要がなく、カメラキャリブレーション作業を簡易化することができる。さらに、従来のカメラキャリブレーション作業のように参照物体を適宜撮影できない場合において、本発明はカメラパラメータの時間的変化量を推定できる効果がある。
（２）請求項４、８に記載の発明によれば、バランスのとれたパラメータの当てはめが行われ、より洗練されたカメラパラメータを得ることができる。
【発明を実施するための最良の形態】
【００３４】
以下、図面を参照しながら本発明の実施の形態を説明するが、本発明は下記の実施形態例に限定されるものではない。
【００３５】
（実施例１）
図３は請求項１に記載のカメラパラメータ推定の発明に関する基本構成図であり、本実施例を図３にそって説明する。本発明は、時系列画像を蓄積した時系列画像データベース１、各画像上での各画像座標点（ｘj，ｙj）における時間勾配：ｄＩ／ｄｔと空間勾配：∂Ｉ／∂ｘj，∂Ｉ／∂ｙjを計算する時空間勾配処理手段としての時空間勾配処理部２、カメラ内部パラメータを変数とした各画像上での各画像座標点（ｘj，ｙj）の偏微分係数：∂ｘj／∂α，∂ｙj／∂βを計算する勾配係数処理手段としての勾配係数処理部３、並びに、時空間勾配処理部２からの時間勾配、空間勾配、並びに勾配係数処理部３からの各偏微分係数を使ってカメラパラメータの時間変化を検出するカメラパラメータ推定手段としてのカメラパラメータ推定部４から構成される。
【００３６】
前記時空間勾配処理部２、勾配係数処理部３およびカメラパラメータ推定部４が行う各処理は例えばコンピュータが実行する。
【００３７】
上記構成において、時系列画像データベース１には、ハードディスク、ＲＡＩＤ装置、ＣＤ−ＲＯＭなどの記録媒体を利用する、または、ネットワークを介してリモートのデータ資源を利用する形態でもどちらでも構わない。さらに、図４はリアルタイムで処理する場合の処理構成図であり、本発明は必ずしも各データベース部などの記憶装置を必要としない。
【００３８】
図４におい図３と異なる点は、時系列画像データベース１の代わりに画像入力部１１を設けた点にあり、その他の部分は図３と同一に構成されている。
【００３９】
本実施例では、空間中の３次元点を獲得するために、図１のＸｗＹｗ平面上での位置（Ｘm，Ｙm）に３次元モデルを設置する。３次元モデルとは楕円体（立方体や円柱を設定しても構わない）のことであり、楕円体パラメータとしてＸｗＹｗＺｗ軸方向の半径をそれぞれＡ，Ｂ，Ｃとすると、位置（Ｘm，Ｙn，Ｃ）を中心とした楕円体は式（１３）と表現できる。
【００４０】
【数５】
【００４１】
Ａ，Ｂ，Ｃは適当な大きさを設定しておく。この楕円体上の標本点を適当にサンプリングしてＱ個の３次元点を（Ｘj，Ｙj，Ｚj），ｊ＝１，２，…，Ｑを抽出する。これらの３次元点はカメラパラメータを通して、カメラで取得した画像上へ投影される。図１のカメラは時間的に変化する前の状態では事前の校正作業が行われているものとし、初期状態でのカメラパラメータとして、内部パラメータ：焦点距離α、アスペクト比β／α、画像中心（ｕ0，ｖ0）、外部パラメータ：並進（Ｔｘ，Ｔｙ，Ｔｚ）、回転角Ｒｘ，Ｒｙ，Ｒｚを保持しておく。初期状態で保有しているカメラパラメータと標本化によって３次元点が与えられれば、画像上への投影は式（７）、式（８）に従って計算することができ、投影されたＱ個の画像座標（ｘj，ｙj），ｊ＝１，２，…，Ｑが得られる。
【００４２】
この各画像座標点（ｘj，ｙj）に対する偏微分係数：∂ｘj／∂α，∂ｙj／∂β（∂ｘj／∂ｕo，∂ｙj／∂ｖoは画像座標に依存せず定数値になるため省略する）はカメラ外部パラメータと用意した３次元点によって決定される物理量であり時系列画像とは独立に計算することができる。したがって、図２の各時系列画像を処理する前に、予め図３の勾配係数処理部３においてこれらの偏微分係数を計算しておき勾配係数データとして格納しておく。
【００４３】
次に、勾配係数処理部３の動作を図５の処理フローを使って説明する。勾配係数データは、例えば、図６のような形式のテーブルで保持する。このテーブルの第１列目に３次元モデル上の３次元点が投影された点の画像座標（ｘj，ｙj）が並べられ、その画像座標に対する偏微分係数の値が第２列目から第３列目の欄に並ぶ形式になっている。図５の処理フローでは、計算によって得た偏微分係数値がこのテーブルに逐次書き込まれる。
【００４４】
テーブル生成の前に図６の第２列目から第３列目の欄を０にセットする（ステップＳ１；テーブルの初期化）。３次元モデルは各位置で同じ形状であり、中心位置（Ｘm，Ｙn，Ｃ）がインデックスｍとｎに沿って変更されるだけである。インデックスｍ，ｎと位置（Ｘm，Ｙn，Ｃ）の関係は式（１４）、式（１５）であり、インデックスｍ，ｎは、図１のＸｗＹｗ平面においてＷｘ×Ｗｙのエリアを撮影領域の対象とした場合、そのエリアをＸｗ軸，Ｙｗ軸にそれぞれＭ，Ｎに等分割（処理の便宜上、Ｍ，Ｎは奇数とする）したときの空間位置を示す目盛り（指標）である。
【００４５】
【数６】
【００４６】
処理を開始したとき、ｍ＝１、ｎ＝１にセットし、３次元モデルの中心位置（Ｘm，Ｙn，Ｃ）が設定される（ステップＳ２）。次に、位置（Ｘm，Ｙn，Ｃ）を中心とした３次元楕円体を用意し（ステップＳ３）、その楕円体上のＱ個の３次元点を標本化して３次元データを得る（ステップＳ４）。
【００４７】
この３次元点（Ｘj，Ｙj，Ｚj）を初期状態でのカメラの内部・外部パラメータを使って式（７）、（８）に従い透視投影での画像座標（ｘj，ｙj）を得る（ステップＳ５、Ｓ６）。図５の投影座標とは計算で得た画像座標（ｘj，ｙj）であり、この座標値が６４０×４８０画素（本実施例ではこの画像サイズを例にする）の内部、すなわち、ｘj＞＝１かつｘj＜＝６４０かつｙj＞＝１かつｙj＜＝４８０のときにだけ、偏微分係数を求める（ステップＳ７）。もし、画像外、すなわち、ｘj＜１またはｘj＞６４０またはｙj＜１またはｙj＞４８０のときは偏微分係数を求めない。偏微分係数∂ｘj／∂α，∂ｙj／∂βは、それぞれ式（１６）、式（１７）から計算する。（なお、画像中心（ｕ0，ｖ0）に対する偏微分係数∂ｘj／∂ｕoと∂ｙj／∂ｖoは式（１８）、式（１９）となり定数であるため図６のテーブルに記録しない）。
【００４８】
【数７】
【００４９】
これらの偏微分係数を図６のテーブルの第２列目から第３列目の該当欄に書き込む（ステップＳ８）。一連の更新が終わると（ステップＳ９）、インデックスｍ→ｍ＋１あるいはｎ→ｎ＋１と増分して（ステップＳ２）、同様の処理（ステップＳ３〜Ｓ９）を行いテーブルを作成する。この処理フローは全ての位置（Ｘm，Ｙn，Ｃ）に対して行うため、３次元モデルを設置した位置（ＭＮ箇所）に応じた数のテーブルを生成する。なお、図６のテーブルの列方向に用意した全ての画像座標の偏微分係数が更新されるわけではなく、標本点から透視投影計算によって得た投影座標が画像内部と判断された点に対してのみ偏微分係数を計算する。また、３次元点を設定しても画像内に投影されない点は更新されず値０のままである。
【００５０】
図３に戻り、時空間勾配処理部２において、時系列画像を逐次的に取り出し、各画像上での時間勾配：ｄＩ（ｘ，ｙ）／ｄｔと、空間勾配：∂Ｉ（ｘ，ｙ）／∂ｘ，∂Ｉ（ｘ，ｙ）／∂ｙを求める。ここでは、必要に応じて各画像座標（ｘj，ｙj）に対して時間勾配と空間勾配を求めるか、あるいは画像全体に対して求め、後のカメラパラメータ推定部の処理において各画像座標（ｘj，ｙj）に該当するところだけを取り出して使うかどちらの手段をとってもよい（以降では、便宜上、時間勾配をｄＩ（ｘ，ｙ）／ｄｔ、空間勾配を∂Ｉ（ｘ，ｙ）／∂ｘ，∂Ｉ（ｘ，ｙ）／∂ｙと表記する）。
【００５１】
時間勾配は、図２に示すように対象とする時刻ｔの画像と時刻ｔ＋Δｔの画像を取り出し、それらの画像間で差分画像ΔＩ（ｘ，ｙ）＝Ｉ（ｘ，ｙ，ｔ＋Δｔ）−Ｉ（ｘ，ｙ，ｔ）を求める。次に、差分画像ΔＩ（ｘ，ｙ）の各画素（ｘ，ｙ）に対して図７に示す３×３のマスクを使ってフィルタ処理を行う（各画素での平均化処理に相当する）。この処理によって得た値をΔｔで除算して各画像座標での時間勾配ｄＩ（ｘ，ｙ）／ｄｔを得る。一方、空間勾配は、図２に示すように各時刻ｔでの画像上での各画素に対して、図８または図９に示す３×３のマスクを使ってフィルタ処理を行う。ｘ方向の空間勾配には図８（ａ）のマスク、ｙ方向の空間勾配には図８（ｂ）のマスクをそれぞれ使う（図９でもｘ方向、ｙ方向の空間勾配には（ａ），（ｂ）のマスクをそれぞれ使う）。このフィルタ処理により、図２に示す時刻ｔの画像における各画像座標（ｘ，ｙ）での空間勾配：∂Ｉ（ｘ，ｙ）／∂ｘ，∂Ｉ（ｘ，ｙ）／∂ｙを得る。このように、時空間勾配処理部２では、各時系列画像から画像処理によって時空間勾配を得る。
【００５２】
次に時空間勾配処理部２の動作を図１０の処理フローを使って説明する。図１０のステップＳ１１ａ〜Ｓ１１ｆは各画像座標での時間勾配を得る処理を示し、ステップＳ１２ａ〜Ｓ１２ｆは各画像座標での空間勾配を得る処理を示している。
【００５３】
まず処理対象が有ると判断された（ステップＳ１０）場合、ステップＳ１１ａにおいて、図２の時刻ｔ＋Δｔの画像を取出し、時刻ｔの画像との間で差分画像ΔＩを求める（ステップＳ１１ｂ）。次に前記画像中の各画素を指定し（ステップＳ１１ｃ）、図７の３×３マスクを使ってフィルタ処理し（ステップＳ１１ｄ）、それによって得た値をΔｔで除算して時間勾配ｄＩ（ｘ，ｙ）／ｄｔを求める（ステップＳ１１ｅ）。これらステップＳ１１ｃ〜Ｓ１１ｅの処理は差分画像の各画素に対して行う（ステップＳ１１ｆ）。
【００５４】
また空間勾配を得る処理は、ステップＳ１２ａにおいて、図２の時刻ｔの画像Ｉ（ｔ）を取出す。次に前記画像中の各画素を指定し（ステップＳ１２ｃ）、図８、図９の３×３マスクを使ってフィルタ処理し（ステップＳ１２ｄ）、各画像座標（ｘ，ｙ）での空間勾配∂Ｉ（ｘ，ｙ）／∂ｘ，∂Ｉ（ｘ，ｙ）／∂ｙを求める（ステップＳ１２ｅ）。これらステップＳ１２ｃ〜Ｓ１２ｅの処理は各画素に対して行う（ステップＳ１２ｆ）。
【００５５】
続いて、図３のカメラパラメータ推定部４では、インデックスｍ，ｎの順に従いＸｗＹｗ平面位置（Ｘm，Ｙn）での３次元モデル上の点が投影された画像座標（ｘj，ｙj）に対して、その画像座標での時間勾配値ｄＩ（ｘj，ｙj）／ｄｔ、空間勾配値∂Ｉ（ｘj，ｙj）／∂ｘj，∂Ｉ（ｘj，ｙj）／∂ｙj，並びに、勾配係数データとして保持したテーブルからその画像座標に該当する勾配係数データ：∂ｘj／∂α，∂ｙj／∂βをそれぞれ取り出す。以上のデータとカメラ内部パラメータに関する時間変化量は、式（１１）に示す拘束条件を満たさなければならない。
【００５６】
【数８】
【００５７】
【数９】
【００５８】
【数１０】
【００５９】
【数１１】
【００６０】
【数１２】
【００６１】
【数１３】
【００６２】
【数１４】
【００６３】
【数１５】
【００６４】
次に上記のように構成された実施例１全体の動作を図１６の処理フローとともに説明する。図１６において、ステップＳ５０〜Ｓ５２は時空間勾配処理部２の処理を示し、ステップＳ５３〜Ｓ５７は勾配係数処理部３の処理を示し、ステップＳ５８〜Ｓ６１はカメラパラメータ推定部４の処理を示している。
【００６５】
まずステップＳ５０では、図２に示す時刻ｔの画像および時刻ｔ＋Δｔの画像を取出し、それらの間の差分画像を求める（図１０のステップＳ１１ａ，Ｓ１１ｂ，Ｓ１２ａ）。
【００６６】
次にステップＳ５１において、図１０のステップＳ１１ｃ〜Ｓ１１ｆで述べた時間勾配を求める処理を行い、ステップＳ５２において、図１０のステップＳ１２ｃ〜Ｓ１２ｆで述べた空間勾配を求める処理を行う。
【００６７】
勾配係数処理部３では、まずステップＳ５３において、図１の３次元モデルの中心位置を設定し、その位置を中心とした３次元楕円体を用意し、その楕円体上のＱ個の３次元点を標本化して３次元データを得る（図５のステップＳ２〜Ｓ４）。
【００６８】
次にステップＳ５４，Ｓ５５において、前記３次元点をカメラの内部・外部パラメータを用いてカメラの撮像系へ透視投影し、該透視投影での画像座標を求める（図５のステップＳ５，Ｓ６）。
【００６９】
次にステップＳ５６，Ｓ５７において、前記透視投影での画像座標に対する偏微分係数を求め、それをテーブルに書き込んで図６の勾配係数テーブルを生成する（図５のステップＳ７，Ｓ８）。
【００７０】
次にカメラパラメータ推定部４では、前述した図１１、図１２の処理が行われる。まずステップＳ５８において、図１２のステップＳ４０〜Ｓ４２で述べたように、投票空間上の各格子点（α，β）の値を式（２０）の左辺に代入して拘束値を求める。
【００７１】
次にステップＳ５９において、前記拘束値が許容値以下であれば投票空間上のその格子点へ投票を行って図１５に示す得票マップを生成する（図１２のステップＳ４３，Ｓ４４）。
【００７２】
次にステップＳ６０，Ｓ６１において、前記生成した得票マップの極大点を検出し（図１２のステップＳ４５）、その箇所を前記式（２１）の拘束条件を満たす（α，β）として決定し、最適パラメータとする（図１２のステップＳ４６）。
【００７３】
さらにパラメータ（ｕ0，ｖ0）についても前記と同様の手順に従って最適パラメータが算出される。
【００７４】
（実施例２）
請求項２に記載のカメラパラメータ推定の発明に関する基本構成図は図３、図４と同じであり、本実施例は図１で図示したＸ軸とＹ軸周りの回転に関する時間変化量を推定する。
【００７５】
対象とする時系列画像において被写体は静止しており、図１で図示したＸ軸周りの回転ＲｘとＹ軸周りの回転Ｒｙ（カメラ姿勢パラメータ）が時間的に微小に変化すると仮定する。すなわち、時系列画像中の被写体を投影した画像座標（ｘ，ｙ）が式（５）に示すカメラ姿勢パラメータＲｘ，Ｒｙの関数とすると、式（３）から式（２９）に展開することができ、式（３０）に示すような関係に表現することができる。ここで、便宜上、式（３１）で置換する。
【００７６】
【数１６】
【００７７】
本実施例２は、前記実施例１で記載したカメラパラメータα，βの時間変化を扱う場合において、カメラ姿勢パラメータＲｘ，Ｒｙと置き換えたものであり、処理の大まかなフローは同じである。以降では、その差分を中心に説明する。
【００７８】
図３の勾配係数処理部３の処理フロー（図５）では、偏微分係数の計算に式（３２）〜式（３５）を用いる（変数の置換をしているので、式（３６）〜式（４４）も関連する）。
【００７９】
【数１７】
【００８０】
【数１８】
【００８１】
これに伴い、図６のテーブルは第２列から第５列の欄が用意され、各投影座標に該当する箇所に計算した偏微分係数の値が書き込まれる。
【００８２】
【数１９】
【００８３】
【数２０】
【００８４】
次に上記のように構成された実施例２全体の動作を図１７の処理フローとともに説明する。図１７において、ステップＳ７０〜Ｓ７２は時空間勾配処理部２の処理を示し、ステップＳ７３〜Ｓ７７は勾配係数処理部３の処理を示し、ステップＳ７８〜Ｓ８１はカメラパラメータ推定部４の処理を示している。
【００８５】
まずステップＳ７０では、図２に示す時刻ｔの画像および時刻ｔ＋Δｔの画像を取出し、それらの間の差分画像を求める（図１０のステップＳ１１ａ，Ｓ１１ｂ，Ｓ１２ａ）。
【００８６】
次にステップＳ７１において、図１０のステップＳ１１ｃ〜Ｓ１１ｆで述べた時間勾配を求める処理を行い、ステップＳ７２において、図１０のステップＳ１２ｃ〜Ｓ１２ｆで述べた空間勾配を求める処理を行う。
【００８７】
勾配係数処理部３では、まずステップＳ７３において、図１の３次元モデルの中心位置を設定し、その位置を中心とした３次元楕円体を用意し、その楕円体上のＱ個の３次元点を標本化して３次元データを得る（図５のステップＳ２〜Ｓ４）。
【００８８】
次にステップＳ７４，Ｓ７５において、前記３次元点をカメラの内部・外部パラメータを用いてカメラの撮像系へ透視投影し、該透視投影での画像座標を求める（図５のステップＳ５，Ｓ６）。
【００８９】
次にステップＳ７６，Ｓ７７において、前記透視投影での画像座標に対する偏微分係数を式（３２）〜式（３５）により求め、それをテーブルに書き込んで図６の勾配係数テーブルを生成する（図５のステップＳ７，Ｓ８）。
【００９０】
次にカメラパラメータ推定部４では、前述した図１１、図１２の処理が行われる。まずステップＳ７８において、図１２のステップＳ４０〜Ｓ４２で述べたように、投票空間上の各格子点（Ｒｘ，Ｒｙ）の値を式（４５）、（４６）の左辺に代入して拘束値を求める。
【００９１】
次にステップＳ７９において、前記拘束値が許容値以下であれば投票空間上のその格子点（姿勢パラメータマップ）へ投票を行って図１５に示す得票マップを生成する（図１２のステップＳ４３，Ｓ４４）。
【００９２】
次にステップＳ８０，Ｓ８１において、前記生成した得票マップの極大点を検出し（図１２のステップＳ４５）、その箇所を前記式（４７）の拘束条件を満たす（Ｒｘ，Ｒｙ）として決定し、最適パラメータとする（図１２のステップＳ４６）。
【００９３】
（実施例３）
請求項３に記載のカメラパラメータ推定の発明に関する基本構成図は図３、図４と同じであり、本実施例は図１で図示したＸｗ軸とＹｗ軸方向に関する並進の時間変化量を推定する。
【００９４】
対象とする時系列画像において被写体は静止しており、図１で図示したＸｗ軸方向の並進ＴｘとＹｗ軸方向の並進Ｔｙ（カメラ位置パラメータ）が時間的に微小に変化すると仮定する。すなわち、時系列画像中の被写体を投影した画像座標（ｘ，ｙ）が式（６）に示すカメラ位置パラメータＴｘ，Ｔｙの関数とすると、式（３）から式（５０）に展開することができ、式（５１）に示すような関係に表現することができる。
【００９５】
【数２１】
【００９６】
本実施例３は、前記実施例２で記載したカメラ位置パラメータＲｘ，Ｒｙの時間変化を扱う場合において、カメラ位置パラメータＴｘ，Ｔｙと置き換えたものであり、処理の大まかなフローは同じである。以降では、その差分を中心に説明する。
【００９７】
図３の勾配係数処理部３の処理フロー（図５）では、偏微分係数の計算に式（５３）〜式（５６）を用いる。
【００９８】
【数２２】
【００９９】
これに伴い、図６のテーブルは第２列から第５列の欄が用意され、各投影座標に該当する箇所に計算した偏微分係数の値が書き込まれる。
【０１００】
【数２３】
【０１０１】
【数２４】
【０１０２】
次に上記のように構成された実施例３全体の動作を図１８の処理フローとともに説明する。図１８において、ステップＳ９０〜Ｓ９２は時空間勾配処理部２の処理を示し、ステップＳ９３〜Ｓ９７は勾配係数処理部３の処理を示し、ステップＳ９８〜Ｓ１０１はカメラパラメータ推定部４の処理を示している。
【０１０３】
まずステップＳ９０では、図２に示す時刻ｔの画像および時刻ｔ＋Δｔの画像を取出し、それらの間の差分画像を求める（図１０のステップＳ１１ａ，Ｓ１１ｂ，Ｓ１２ａ）。
【０１０４】
次にステップＳ９１において、図１０のステップＳ１１ｃ〜Ｓ１１ｆで述べた時間勾配を求める処理を行い、ステップＳ９２において、図１０のステップＳ１２ｃ〜Ｓ１２ｆで述べた空間勾配を求める処理を行う。
【０１０５】
勾配係数処理部３では、まずステップＳ９３において、図１の３次元モデルの中心位置を設定し、その位置を中心とした３次元楕円体を用意し、その楕円体上のＱ個の３次元点を標本化して３次元データを得る（図５のステップＳ２〜Ｓ４）。
【０１０６】
次にステップＳ９４，Ｓ９５において、前記３次元点をカメラの内部・外部パラメータを用いてカメラの撮像系へ透視投影し、該透視投影での画像座標を求める（図５のステップＳ５，Ｓ６）。
【０１０７】
次にステップＳ９６，Ｓ９７において、前記透視投影での画像座標に対する偏微分係数を式（５３）〜式（５６）により求め、それをテーブルに書き込んで図６の勾配係数テーブルを生成する（図５のステップＳ７，Ｓ８）。
【０１０８】
次にカメラパラメータ推定部４では、前述した図１１、図１２の処理が行われる。まずステップＳ９８において、図１２のステップＳ４０〜Ｓ４２で述べたように、投票空間上の各格子点（Ｔｘ，Ｔｙ）の値を式（５７）の左辺に代入して拘束値を求める。
【０１０９】
次にステップＳ９９において、前記拘束値が許容値以下であれば投票空間上のその格子点（位置パラメータマップ）へ投票を行って図１５に示す得票マップを生成する（図１２のステップＳ４３，Ｓ４４）。
【０１１０】
次にステップＳ１００，Ｓ１０１において、前記生成した得票マップの極大点を検出し（図１２のステップＳ４５）、その箇所を前記式（５８）の拘束条件を満たす（Ｔｘ，Ｔｙ）として決定し、最適パラメータとする（図１２のステップＳ４６）。
【０１１１】
また、本実施形態のカメラパラメータ推定装置における各手段の一部もしくは全部の機能をコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行して本発明を実現することができること、本実施形態のカメラパラメータ推定方法における手順をコンピュータのプログラムで構成し、そのプログラムをコンピュータに実行させることができることは言うまでもなく、コンピュータでその機能を実現するためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えばＦＤ（Ｆｌｏｐｐｙ（登録商標） Ｄｉｓｋ）や、ＭＯ（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ ｄｉｓｋ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、メモリカード、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｋ）−ＲＯＭ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）−ＲＯＭ、ＣＤ−Ｒ，、ＣＤ−ＲＷ，ＨＤＤ，リムーバブルディスクなどに記録して、保存したり、配布したりすることが可能である。また、上記のプログラムをインターネットや電子メールなど、ネットワークを通して提供することも可能である。
【図面の簡単な説明】
【０１１２】
【図１】本発明の実施形態例における空間中の点と固定カメラの位置関係を示す説明図である。
【図２】本発明の実施形態例における時間勾配と空間勾配の例を示す説明図である。
【図３】本発明の実施例１の画像蓄積型の基本構成を示すブロック図である。
【図４】本発明の実施例１のリアルタイム処理型の基本構成を示すブロック図である。
【図５】本発明の実施例１における勾配係数処理部でのテーブル生成の処理を示すフローチャートである。
【図６】本発明の実施形態例における勾配係数処理部でのテーブルの例を示す説明図である。
【図７】本発明の実施形態例において、時間勾配を求めるときに用いる３×３マスクの例を示す説明図である。
【図８】本発明の実施形態例において、空間勾配を求めるときに用いる３×３マスクの一例を示す説明図である。
【図９】本発明の実施形態例において、空間勾配を求めるときに用いる３×３マスクの他の例を示す説明図である。
【図１０】本発明の実施形態例における時空間勾配処理部の処理を示すフローチャートである。
【図１１】本発明の実施形態例における、パラメータを算出する処理を示すフローチャートである。
【図１２】本発明の実施形態例において、カメラパラメータを投票処理により求める処理を示すフローチャートである。
【図１３】本発明の実施形態例において、用意する投票空間の例を示す説明図である。
【図１４】本発明の実施形態例において、投票空間上での投票処理の例を示す説明図である。
【図１５】本発明の実施形態例における投票空間での処理結果の例を示す説明図である。
【図１６】本発明の実施例１の全体の処理を示すフローチャートである。
【図１７】本発明の実施例２の全体の処理を示すフローチャートである。
【図１８】本発明の実施例３の全体の処理を示すフローチャートである。
【図１９】従来の２次元物体を使ったカメラ校正作業の例を示す説明図である。
【図２０】従来の１次元物体を使ったカメラ校正作業の例を示す説明図である。
【符号の説明】
【０１１３】
１…時系列画像データベース、２…時空間勾配処理部、３…勾配係数処理部、４…カメラパラメータ推定部、１１…画像入力部。
【技術分野】
【０００１】
本発明は、監視カメラなどの固定カメラで撮影した静的シーンの時系列画像に利用可能で、その時系列においてカメラ固有の内部情報またはカメラの姿勢またはカメラの位置（視点）が微小に変化したとき、そのパラメータの時間的変化量を推定する、カメラパラメータ推定装置、カメラパラメータ推定方法、カメラパラメータ推定プログラムおよびそのプログラムを記録した記録媒体に関する。
【背景技術】
【０００２】
カメラ内部の固有情報として焦点距離や画像中心などの内部パラメータ、並びに、カメラ配置時の姿勢や位置情報という外部パラメータを得るにはカメラキャリブレーション（カメラ校正）が行われる。従来の方法では、校正したいカメラに対して図１９のようにパターンなどの模様を描いた参照物体を撮影し、その参照物体に関する情報とカメラで観測した画像上での投影情報から、カメラ内部、外部パラメータ（両者を合わせてカメラパラメータと呼ぶ）を推定する（非特許文献１参照）。元々カメラ校正には時間と作業コストがかかるため、より簡単な参照物体を使った例もある。例として、図２０のように長さの既知な１次元物体を使い、点Ａを固定したまま撮影しその画像からカメラを校正する方法も公開されている（非特許文献２参照）。
【０００３】
一方、コンピュータビジョンではＳｔｒｕｃｔｕｒｅ Ｆｒｏｍ Ｍｏｔｉｏｎと呼ばれている基本原理があり、静止した被写体に対してカメラが相対的に運動することにより被写体の３次元形状とカメラの運動を復元する方法がある（運動する被写体に対してカメラが静止していても原理は同じ）。セルフキャリブレーション（あるいはオートキャリブレーションとも呼ばれる）はこの原理に基づく一つであり、上記のような既知の参照物体を必要とせず、静的な映像シーンから観測した特徴点からカメラパラメータを推定することができる。他にも、非特許文献３に記載の方法によりカメラ運動と各剛体の３次元形状とその速度を同時に復元することができるため、この方法をカメラ校正に応用することも考えられる。
【０００４】
また、非特許文献４にはオプティカルフローについての記載がある。
【非特許文献１】Ｚ．Ｚｈａｎｇ，“Ａ ｆｌｅｘｉｂｌｅ ｎｅｗ ｔｅｃｈｎｉｑｕｅ ｆｏｒ ｃａｍｅｒａ ｃａｌｉｂｒａｔｉｏｎ”，ＩＥＥＥ Ｔｒａｎｓ．ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，Ｖｏｌ．２２，Ｎｏ．１１，ｐｐ．１３３０−１３３４，２０００．
【非特許文献２】Ｚ．Ｚｈａｎｇ，“Ｃａｍｅｒａ ｃａｌｉｂｒａｔｉｏｎ ｗｉｔｈ ｏｎｅ−ｄｉｍｅｎｓｉｏｎａｌ ｏｂｊｅｃｔｓ”，ＩＥＥＥ Ｔｒａｎｓ．ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，Ｖｏｌ．２６，Ｎｏ．７，ｐｐ．８９２−８９９，２００４．
【非特許文献３】Ｍ．Ｈａｎ ＆ Ｔ．Ｋａｎａｄｅ，“Ｍｕｌｔｉｐｌｅ Ｍｏｔｉｏｎ Ｓｃｅｎｅ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｗｉｔｈ Ｕｎｃａｌｉｂｒａｔｅｄ Ｃａｍｅｒａｓ，”ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，Ｖｏｌ．２５，Ｎｏ．７，ｐｐ．８８４−８９４，２００３．
【非特許文献４】Ｈｏｒｎ，“ロボットビジョン”，朝倉書店，ｐｐ．３０５−３１２，１９９３．
【発明の開示】
【発明が解決しようとする課題】
【０００５】
従来のカメラキャリブレーション法（非特許文献１，２）では参照物体を使ったものが多く、図１９では平面パターンの２次元座標を既知としており、図２０では１次元物体の長さＬと点Ａから点Ｃまでの距離と点Ｂから点Ｃまでの距離の比が既知であることが前提である。カメラ校正作業は前処理の作業として行われることが多いが、仮にカメラ撮影中にカメラパラメータが変化した場合でも、その時点で、適宜、参照物体を設置することができる状況では、参照物体を使ったカメラ校正手段をとることができる。ところが、運用中の監視カメラや固定カメラでは、常時、参照物体を設置することができるとは限らない。このような場合、稼動中に何らかの原因でカメラパラメータが変化しても、参照物体を適宜使用することは現実的ではないという問題がある。これに対して、セルフキャリブレーションによれば、既知の参照物体を必要とせず、静的な映像シーンから観測した特徴点からカメラを校正することができるが、カメラ校正に十分な特徴点を時系列画像において追跡しその画像座標を測定する必要があり、測定誤差が多少混入するだけでカメラ校正の精度が劣化するという問題がある。
【０００６】
また、非特許文献３などのＳｔｒｕｃｔｕｒｅ Ｆｒｏｍ Ｍｏｔｉｏｎ原理に基づく３次元復元手法は、特徴点として明確な特徴点を時系列画像において高精度に追跡しなければならないため、セルフキャリブレーションと同様に、特徴点の観測精度によってカメラ校正の精度が左右される。そのような明確な特徴点を時系列画像全体で追跡できない場合には、非特許文献３の方法を応用することができない。
【０００７】
本発明は上記課題を解決するものであり、その目的は、一旦カメラ校正作業等によりカメラパラメータが得られている状況で、その後に、何らかの原因でカメラパラメータが微小に変化したとき、そのカメラパラメータの時間変化量を推定することができるカメラパラメータ推定装置、カメラパラメータ推定方法、カメラパラメータ推定プログラムおよびそのプログラムを記録した記録媒体を提供することにある。
【課題を解決するための手段】
【０００８】
本発明におけるカメラで撮影するシーンは静的（照明変動が小さく、被写体はすべて静止している状態）であり、変化する前の状態ではカメラパラメータが既知であること（初期状態ではカメラキャリブレーションが行われていること）を前提とする。
【０００９】
本発明では、カメラパラメータの微小変化に起因する時系列画像中の変化を捉えるために、オプティカルフロー（非特許文献４参照）と同様の原理を利用する。この手法を簡単に説明しておく。時刻ｔでの画像座標（ｘ，ｙ）での濃淡値をＩ（ｘ，ｙ，ｔ）とすると、時刻ｔ＋Δｔでの画像はＩ（ｘ，ｙ，ｔ＋Δｔ）と表現される。ここで、時間間隔Δｔの濃淡変化に対して、式（１）に示すように時刻ｔでの画像の濃淡値が、時刻ｔ＋Δｔでの画像上でのｘｙ座標を（ｘ＋Δｘ，ｙ＋Δｙ）と平行移動したとき近似的に同じ濃淡値になると仮定する。式（１）右辺をＴａｙｌｏｒ展開して第一次項まで求めると式（２）が得られ、Δｔが十分に小さいと仮定すると式（３）にまとめることができる。
【００１０】
【数１】
【００１１】
式（３）はオプティカルフロー（非特許文献４に記載の手法）として知られている拘束条件であり、時刻ｔの画像と時刻ｔ＋Δｔでの画像の間において時間勾配：ｄＩ／ｄｔと画像座標に対する空間勾配：∂Ｉ／∂ｘ，∂Ｉ／∂ｙが得られれば、画像座標上での時間的変化量（ｄｘ／ｄｔ，ｄｙ／ｄｔ）が得られる。
【００１２】
本発明の基本原理では、画像座標（ｘ，ｙ）は時間ｔの関数とするだけでなく、式（４）に示すようにその投影の元となるカメラパラメータα，β，ｕ0，ｖ0，あるいは、式（５）、式（６）に示すようにカメラ外部パラメータＲｘ，Ｒｙ，Ｔｘ，Ｔｙの関数と考える。
【００１３】
【数２】
【００１４】
以降では主に式（４）の関数形について述べるが、式（５）や式（６）の関数形の場合も本発明の基本原理を応用することができる（実施例２，３にて詳細を記述する）。
【００１５】
図１に世界座標系とカメラの関係を図示する。この図では世界座標系をＸｗＹｗＺｗとし、カメラ視点の位置を（Ｔｘ，Ｔｙ，Ｔｚ）とし、その視点を原点としたカメラ座標系ＸＹＺを設ける。カメラで観測した画像において、空間中の３次元点（Ｘj，Ｙj，Ｚj）がピンホールカメラ型の透視投影により画像座標（ｘj，ｙj）へ投影されると仮定すると、その画像座標（ｘj，ｙj）と３次元点（Ｘj，Ｙj，Ｚj）は、カメラパラメータを介して式（７）〜式（９）の関係にある。
【００１６】
【数３】
【００１７】
本発明で扱うカメラパラメータは、内部パラメータとして焦点距離α、アスペクト比β／α、画像中心（ｕ0，ｖ0）、外部パラメータとしてＸＹＺ軸周りの回転角Ｒｘ，Ｒｙ，Ｒｚとカメラ視点位置（Ｔｘ，Ｔｙ，Ｔｚ）である。
【００１８】
対象とする時系列画像において被写体は静止しており、カメラ内部パラメータが時間的に微小に変化すると考える。すなわち、時系列画像中の被写体を投影した画像座標（ｘ，ｙ）が式（４）に示すカメラ内部パラメータα，β，ｕ0，ｖ0の関数とすると、式（３）から式（１０）に展開することができ、式（１１）に示すような関係に表現することができる。ここで、便宜上、式（１２）に示すように置換する。
【００１９】
【数４】
【００２０】
したがって、静的シーンを撮影した時系列画像においてカメラ内部パラメータに時間変化がある場合、式（１１）の拘束式が成立する。もちろん、カメラ内部パラメータに時間変化が無い場合も式（１１）が成立することは明らかである。
【００２１】
本発明は、式（１１）の関係に基づいた処理構成となっている。空間勾配∂Ｉ／∂ｘ，∂Ｉ／∂ｙと時間勾配ｄＩ／ｄｔは、時系列画像から取り出した時刻ｔの画像と時刻ｔ＋Δｔの画像から求めることができる。これに対して、カメラ内部パラメータに対する画像座標上での変化量∂ｘ／∂α，∂ｙ／∂β，∂ｘ／∂ｕ0，∂ｙ／∂ｖ0は、カメラパラメータと３次元点から構成される式（４）の具体的な関係式が与えられれば、事前に計算することができる。
【００２２】
上記課題を解決するための請求項１に記載のカメラパラメータ推定装置は、画像入力装置を使って取得した映像において、ある時刻ｔでの画像から時刻ｔ＋Δｔでの画像までの時間変化における画像入力装置固有の内部情報を推定する装置であって、空間中のある位置Ｘに用意した被写体上の３次元点を前記画像入力装置で取得した画像中に投影したときの、当該画像入力装置固有の内部情報に対する画像座標上での変化量を得る勾配係数処理手段と、時系列中のある時刻ｔでの画像上における水平方向と垂直方向の濃淡変化を反映した空間勾配と、時間間隔Δｔとして時刻ｔの画像と時刻ｔ＋Δｔの画像との間の時間的濃淡変化を反映した時間勾配を得る時空間勾配処理手段と、前記時空間勾配処理手段により得られた空間勾配と時間勾配、並びに、前記勾配係数処理手段により得られた画像座標上での変化量が満たす時間間隔Δｔの間の拘束条件を使って、画像入力装置固有の内部変数をパラメータとした投票空間において、あるパラメータがその拘束条件を満たす場合に該投票空間中のそのパラメータが示す場所に投票を行い、全ての投票処理の後に、投票空間においてその得票値が極大となるパラメータを画像入力装置固有の内部情報の時間的変化量と決定するカメラパラメータ推定手段と、を備えることを特徴としている。
【００２３】
また請求項２に記載のカメラパラメータ推定装置は、画像入力装置を使って取得した映像において、ある時刻ｔでの画像から時刻ｔ＋Δｔでの画像までの時間変化における画像入力装置の姿勢情報を推定する装置であって、空間中のある位置Ｘに用意した被写体上の３次元点を前記画像入力装置で取得した画像中に投影したときの、当該画像入力装置の姿勢情報に対する画像座標上での変化量を得る勾配係数処理手段と、時系列中のある時刻ｔでの画像上における水平方向と垂直方向の濃淡変化を反映した空間勾配と、時間間隔Δｔとして時刻ｔの画像と時刻ｔ＋Δｔの画像との間の時間的濃淡変化を反映した時間勾配を得る時空間勾配処理手段と、前記時空間勾配処理手段により得られた空間勾配と時間勾配、並びに、前記勾配係数処理手段により得られた画像座標上での変化量が満たす時間間隔Δｔの間の拘束条件を使って、画像入力装置の姿勢情報をパラメータとした投票空間において、あるパラメータがその拘束条件を満たす場合に該投票空間中のそのパラメータが示す場所に投票を行い、全ての投票処理の後に、投票空間においてその得票値が極大となるパラメータを画像入力装置の姿勢情報の時間的変化量と決定するカメラパラメータ推定手段と、を備えることを特徴としている。
【００２４】
また請求項３に記載のカメラパラメータ推定装置は、画像入力装置を使って取得した映像において、ある時刻ｔでの画像から時刻ｔ＋Δｔでの画像までの時間変化における画像入力装置の位置情報を推定する装置であって、空間中のある位置Ｘに用意した被写体上の３次元点を前記画像入力装置で取得した画像中に投影したときの、当該画像入力装置の位置情報に対する画像座標上での変化量を得る勾配係数処理手段と、時系列中のある時刻ｔでの画像上における水平方向と垂直方向の濃淡変化を反映した空間勾配と、時間間隔Δｔとして時刻ｔの画像と時刻ｔ＋Δｔの画像との間の時間的濃淡変化を反映した時間勾配を得る時空間勾配処理手段と、前記時空間勾配処理手段により得られた空間勾配と時間勾配、並びに、前記勾配係数処理手段により得られた画像座標上での変化量が満たす時間間隔Δｔの間の拘束条件を使って、画像入力装置の位置情報をパラメータとした投票空間において、あるパラメータがその拘束条件を満たす場合に該投票空間中のそのパラメータが示す場所に投票を行い、全ての投票処理の後に、投票空間においてその得票値が極大となるパラメータを画像入力装置の位置情報の時間的変化量と決定するカメラパラメータ推定手段と、を備えることを特徴としている。
【００２５】
また請求項４に記載のカメラパラメータ推定装置は、請求項１ないし３のいずれか１項において、前記カメラパラメータ推定手段は、投票空間で処理するパラメータをパラメータＡとパラメータＢに分け、パラメータＡを投票処理によって求める間はパラメータＢをある値に固定しておき、パラメータＢを投票処理によって求める間はパラメータＡをある値に固定しておき、交互にパラメータを決定する処理を反復することにより、全てのパラメータが同時に前記拘束条件を満たすように求めることを特徴としている。
【００２６】
また請求項５に記載のカメラパラメータ推定方法は、画像入力装置を使って取得した映像において、ある時刻ｔでの画像から時刻ｔ＋Δｔでの画像までの時間変化における画像入力装置固有の内部情報を推定する方法であって、勾配係数処理手段が、空間中のある位置Ｘに用意した被写体上の３次元点を前記画像入力装置で取得した画像中に投影したときの、当該画像入力装置固有の内部情報に対する画像座標上での変化量を得る勾配係数処理ステップと、時空間勾配処理手段が、時系列中のある時刻ｔでの画像上における水平方向と垂直方向の濃淡変化を反映した空間勾配と、時間間隔Δｔとして時刻ｔの画像と時刻ｔ＋Δｔの画像との間の時間的濃淡変化を反映した時間勾配を得る時空間勾配処理ステップと、カメラパラメータ推定手段が、前記時空間勾配処理ステップにより得られた空間勾配と時間勾配、並びに、前記勾配係数処理ステップにより得られた画像座標上での変化量が満たす時間間隔Δｔの間の拘束条件を使って、画像入力装置固有の内部変数をパラメータとした投票空間において、あるパラメータがその拘束条件を満たす場合に該投票空間中のそのパラメータが示す場所に投票を行い、全ての投票処理の後に、投票空間においてその得票値が極大となるパラメータを画像入力装置固有の内部情報の時間的変化量と決定するカメラパラメータ推定ステップと、を備えることを特徴としている。
【００２７】
また請求項６に記載のカメラパラメータ推定方法は、画像入力装置を使って取得した映像において、ある時刻ｔでの画像から時刻ｔ＋Δｔでの画像までの時間変化における画像入力装置の姿勢情報を推定する方法であって、勾配係数処理手段が、空間中のある位置Ｘに用意した被写体上の３次元点を前記画像入力装置で取得した画像中に投影したときの、当該画像入力装置の姿勢情報に対する画像座標上での変化量を得る勾配係数処理ステップと、時空間勾配処理手段が、時系列中のある時刻ｔでの画像上における水平方向と垂直方向の濃淡変化を反映した空間勾配と、時間間隔Δｔとして時刻ｔの画像と時刻ｔ＋Δｔの画像との間の時間的濃淡変化を反映した時間勾配を得る時空間勾配処理ステップと、カメラパラメータ推定手段が、前記時空間勾配処理ステップにより得られた空間勾配と時間勾配、並びに、前記勾配係数処理ステップにより得られた画像座標上での変化量が満たす時間間隔Δｔの間の拘束条件を使って、画像入力装置の姿勢情報をパラメータとした投票空間において、あるパラメータがその拘束条件を満たす場合に該投票空間中のそのパラメータが示す場所に投票を行い、全ての投票処理の後に、投票空間においてその得票値が極大となるパラメータを画像入力装置の姿勢情報の時間的変化量と決定するカメラパラメータ推定ステップと、を備えることを特徴としている。
【００２８】
また請求項７に記載のカメラパラメータ推定方法は、画像入力装置を使って取得した映像において、ある時刻ｔでの画像から時刻ｔ＋Δｔでの画像までの時間変化における画像入力装置の位置情報を推定する方法であって、勾配係数処理手段が、空間中のある位置Ｘに用意した被写体上の３次元点を前記画像入力装置で取得した画像中に投影したときの、当該画像入力装置の位置情報に対する画像座標上での変化量を得る勾配係数処理ステップと、時空間勾配処理手段が、時系列中のある時刻ｔでの画像上における水平方向と垂直方向の濃淡変化を反映した空間勾配と、時間間隔Δｔとして時刻ｔの画像と時刻ｔ＋Δｔの画像との間の時間的濃淡変化を反映した時間勾配を得る時空間勾配処理ステップと、カメラパラメータ推定手段が、前記時空間勾配処理ステップにより得られた空間勾配と時間勾配、並びに、前記勾配係数処理ステップにより得られた画像座標上での変化量が満たす時間間隔Δｔの間の拘束条件を使って、画像入力装置の姿勢情報をパラメータとした投票空間において、あるパラメータがその拘束条件を満たす場合に該投票空間中のそのパラメータが示す場所に投票を行い、全ての投票処理の後に、投票空間においてその得票値が極大となるパラメータを画像入力装置の位置情報の時間的変化量と決定するカメラパラメータ推定ステップと、を備えることを特徴としている。
【００２９】
また請求項８に記載のカメラパラメータ推定方法は、請求項５ないし７のいずれか１項において、前記カメラパラメータ推定ステップは、投票空間で処理するパラメータをパラメータＡとパラメータＢに分け、パラメータＡを投票処理によって求める間はパラメータＢをある値に固定しておき、パラメータＢを投票処理によって求める間はパラメータＡをある値に固定しておき、交互にパラメータを決定する処理を反復することにより、全てのパラメータが同時に前記拘束条件を満たすように求めることを特徴としている。
【００３０】
また請求項９に記載のカメラパラメータ推定プログラムは、コンピュータに、請求項５ないし請求項８のいずれか１項に記載の各ステップを実行させるプログラムとしたことを特徴としている。
【００３１】
また請求項１０に記載の記録媒体は、請求項９に記載のカメラパラメータ推定プログラムを記録したコンピュータ読み取り可能な記録媒体である。
【００３２】
上記構成によれば、従来のカメラキャリブレーション作業のように参照物体を適宜撮影できない場合、カメラパラメータに起因する画像上での時間変化をオプティカルフローの原理を利用して、そのカメラパラメータの時間的変化量を推定することができる。
【発明の効果】
【００３３】
（１）請求項１〜１０に記載の発明によれば、従来のカメラキャリブレーション（非特許文献１，２）のように既知の参照物体を必要としないため、カメラキャリブレーション作業において参照物体を撮影する手間を省くことができる。また、本発明は時系列画像間の特徴点座標に依存しない方法なので、Ｓｔｒｕｃｔｕｒｅ Ｆｒｏｍ Ｍｏｔｉｏｎ原理に基づく３次元復元手法（非特許文献３）のように時系列画像での特徴点の正確な画像座標を測定する必要がなく、カメラキャリブレーション作業を簡易化することができる。さらに、従来のカメラキャリブレーション作業のように参照物体を適宜撮影できない場合において、本発明はカメラパラメータの時間的変化量を推定できる効果がある。
（２）請求項４、８に記載の発明によれば、バランスのとれたパラメータの当てはめが行われ、より洗練されたカメラパラメータを得ることができる。
【発明を実施するための最良の形態】
【００３４】
以下、図面を参照しながら本発明の実施の形態を説明するが、本発明は下記の実施形態例に限定されるものではない。
【００３５】
（実施例１）
図３は請求項１に記載のカメラパラメータ推定の発明に関する基本構成図であり、本実施例を図３にそって説明する。本発明は、時系列画像を蓄積した時系列画像データベース１、各画像上での各画像座標点（ｘj，ｙj）における時間勾配：ｄＩ／ｄｔと空間勾配：∂Ｉ／∂ｘj，∂Ｉ／∂ｙjを計算する時空間勾配処理手段としての時空間勾配処理部２、カメラ内部パラメータを変数とした各画像上での各画像座標点（ｘj，ｙj）の偏微分係数：∂ｘj／∂α，∂ｙj／∂βを計算する勾配係数処理手段としての勾配係数処理部３、並びに、時空間勾配処理部２からの時間勾配、空間勾配、並びに勾配係数処理部３からの各偏微分係数を使ってカメラパラメータの時間変化を検出するカメラパラメータ推定手段としてのカメラパラメータ推定部４から構成される。
【００３６】
前記時空間勾配処理部２、勾配係数処理部３およびカメラパラメータ推定部４が行う各処理は例えばコンピュータが実行する。
【００３７】
上記構成において、時系列画像データベース１には、ハードディスク、ＲＡＩＤ装置、ＣＤ−ＲＯＭなどの記録媒体を利用する、または、ネットワークを介してリモートのデータ資源を利用する形態でもどちらでも構わない。さらに、図４はリアルタイムで処理する場合の処理構成図であり、本発明は必ずしも各データベース部などの記憶装置を必要としない。
【００３８】
図４におい図３と異なる点は、時系列画像データベース１の代わりに画像入力部１１を設けた点にあり、その他の部分は図３と同一に構成されている。
【００３９】
本実施例では、空間中の３次元点を獲得するために、図１のＸｗＹｗ平面上での位置（Ｘm，Ｙm）に３次元モデルを設置する。３次元モデルとは楕円体（立方体や円柱を設定しても構わない）のことであり、楕円体パラメータとしてＸｗＹｗＺｗ軸方向の半径をそれぞれＡ，Ｂ，Ｃとすると、位置（Ｘm，Ｙn，Ｃ）を中心とした楕円体は式（１３）と表現できる。
【００４０】
【数５】
【００４１】
Ａ，Ｂ，Ｃは適当な大きさを設定しておく。この楕円体上の標本点を適当にサンプリングしてＱ個の３次元点を（Ｘj，Ｙj，Ｚj），ｊ＝１，２，…，Ｑを抽出する。これらの３次元点はカメラパラメータを通して、カメラで取得した画像上へ投影される。図１のカメラは時間的に変化する前の状態では事前の校正作業が行われているものとし、初期状態でのカメラパラメータとして、内部パラメータ：焦点距離α、アスペクト比β／α、画像中心（ｕ0，ｖ0）、外部パラメータ：並進（Ｔｘ，Ｔｙ，Ｔｚ）、回転角Ｒｘ，Ｒｙ，Ｒｚを保持しておく。初期状態で保有しているカメラパラメータと標本化によって３次元点が与えられれば、画像上への投影は式（７）、式（８）に従って計算することができ、投影されたＱ個の画像座標（ｘj，ｙj），ｊ＝１，２，…，Ｑが得られる。
【００４２】
この各画像座標点（ｘj，ｙj）に対する偏微分係数：∂ｘj／∂α，∂ｙj／∂β（∂ｘj／∂ｕo，∂ｙj／∂ｖoは画像座標に依存せず定数値になるため省略する）はカメラ外部パラメータと用意した３次元点によって決定される物理量であり時系列画像とは独立に計算することができる。したがって、図２の各時系列画像を処理する前に、予め図３の勾配係数処理部３においてこれらの偏微分係数を計算しておき勾配係数データとして格納しておく。
【００４３】
次に、勾配係数処理部３の動作を図５の処理フローを使って説明する。勾配係数データは、例えば、図６のような形式のテーブルで保持する。このテーブルの第１列目に３次元モデル上の３次元点が投影された点の画像座標（ｘj，ｙj）が並べられ、その画像座標に対する偏微分係数の値が第２列目から第３列目の欄に並ぶ形式になっている。図５の処理フローでは、計算によって得た偏微分係数値がこのテーブルに逐次書き込まれる。
【００４４】
テーブル生成の前に図６の第２列目から第３列目の欄を０にセットする（ステップＳ１；テーブルの初期化）。３次元モデルは各位置で同じ形状であり、中心位置（Ｘm，Ｙn，Ｃ）がインデックスｍとｎに沿って変更されるだけである。インデックスｍ，ｎと位置（Ｘm，Ｙn，Ｃ）の関係は式（１４）、式（１５）であり、インデックスｍ，ｎは、図１のＸｗＹｗ平面においてＷｘ×Ｗｙのエリアを撮影領域の対象とした場合、そのエリアをＸｗ軸，Ｙｗ軸にそれぞれＭ，Ｎに等分割（処理の便宜上、Ｍ，Ｎは奇数とする）したときの空間位置を示す目盛り（指標）である。
【００４５】
【数６】
【００４６】
処理を開始したとき、ｍ＝１、ｎ＝１にセットし、３次元モデルの中心位置（Ｘm，Ｙn，Ｃ）が設定される（ステップＳ２）。次に、位置（Ｘm，Ｙn，Ｃ）を中心とした３次元楕円体を用意し（ステップＳ３）、その楕円体上のＱ個の３次元点を標本化して３次元データを得る（ステップＳ４）。
【００４７】
この３次元点（Ｘj，Ｙj，Ｚj）を初期状態でのカメラの内部・外部パラメータを使って式（７）、（８）に従い透視投影での画像座標（ｘj，ｙj）を得る（ステップＳ５、Ｓ６）。図５の投影座標とは計算で得た画像座標（ｘj，ｙj）であり、この座標値が６４０×４８０画素（本実施例ではこの画像サイズを例にする）の内部、すなわち、ｘj＞＝１かつｘj＜＝６４０かつｙj＞＝１かつｙj＜＝４８０のときにだけ、偏微分係数を求める（ステップＳ７）。もし、画像外、すなわち、ｘj＜１またはｘj＞６４０またはｙj＜１またはｙj＞４８０のときは偏微分係数を求めない。偏微分係数∂ｘj／∂α，∂ｙj／∂βは、それぞれ式（１６）、式（１７）から計算する。（なお、画像中心（ｕ0，ｖ0）に対する偏微分係数∂ｘj／∂ｕoと∂ｙj／∂ｖoは式（１８）、式（１９）となり定数であるため図６のテーブルに記録しない）。
【００４８】
【数７】
【００４９】
これらの偏微分係数を図６のテーブルの第２列目から第３列目の該当欄に書き込む（ステップＳ８）。一連の更新が終わると（ステップＳ９）、インデックスｍ→ｍ＋１あるいはｎ→ｎ＋１と増分して（ステップＳ２）、同様の処理（ステップＳ３〜Ｓ９）を行いテーブルを作成する。この処理フローは全ての位置（Ｘm，Ｙn，Ｃ）に対して行うため、３次元モデルを設置した位置（ＭＮ箇所）に応じた数のテーブルを生成する。なお、図６のテーブルの列方向に用意した全ての画像座標の偏微分係数が更新されるわけではなく、標本点から透視投影計算によって得た投影座標が画像内部と判断された点に対してのみ偏微分係数を計算する。また、３次元点を設定しても画像内に投影されない点は更新されず値０のままである。
【００５０】
図３に戻り、時空間勾配処理部２において、時系列画像を逐次的に取り出し、各画像上での時間勾配：ｄＩ（ｘ，ｙ）／ｄｔと、空間勾配：∂Ｉ（ｘ，ｙ）／∂ｘ，∂Ｉ（ｘ，ｙ）／∂ｙを求める。ここでは、必要に応じて各画像座標（ｘj，ｙj）に対して時間勾配と空間勾配を求めるか、あるいは画像全体に対して求め、後のカメラパラメータ推定部の処理において各画像座標（ｘj，ｙj）に該当するところだけを取り出して使うかどちらの手段をとってもよい（以降では、便宜上、時間勾配をｄＩ（ｘ，ｙ）／ｄｔ、空間勾配を∂Ｉ（ｘ，ｙ）／∂ｘ，∂Ｉ（ｘ，ｙ）／∂ｙと表記する）。
【００５１】
時間勾配は、図２に示すように対象とする時刻ｔの画像と時刻ｔ＋Δｔの画像を取り出し、それらの画像間で差分画像ΔＩ（ｘ，ｙ）＝Ｉ（ｘ，ｙ，ｔ＋Δｔ）−Ｉ（ｘ，ｙ，ｔ）を求める。次に、差分画像ΔＩ（ｘ，ｙ）の各画素（ｘ，ｙ）に対して図７に示す３×３のマスクを使ってフィルタ処理を行う（各画素での平均化処理に相当する）。この処理によって得た値をΔｔで除算して各画像座標での時間勾配ｄＩ（ｘ，ｙ）／ｄｔを得る。一方、空間勾配は、図２に示すように各時刻ｔでの画像上での各画素に対して、図８または図９に示す３×３のマスクを使ってフィルタ処理を行う。ｘ方向の空間勾配には図８（ａ）のマスク、ｙ方向の空間勾配には図８（ｂ）のマスクをそれぞれ使う（図９でもｘ方向、ｙ方向の空間勾配には（ａ），（ｂ）のマスクをそれぞれ使う）。このフィルタ処理により、図２に示す時刻ｔの画像における各画像座標（ｘ，ｙ）での空間勾配：∂Ｉ（ｘ，ｙ）／∂ｘ，∂Ｉ（ｘ，ｙ）／∂ｙを得る。このように、時空間勾配処理部２では、各時系列画像から画像処理によって時空間勾配を得る。
【００５２】
次に時空間勾配処理部２の動作を図１０の処理フローを使って説明する。図１０のステップＳ１１ａ〜Ｓ１１ｆは各画像座標での時間勾配を得る処理を示し、ステップＳ１２ａ〜Ｓ１２ｆは各画像座標での空間勾配を得る処理を示している。
【００５３】
まず処理対象が有ると判断された（ステップＳ１０）場合、ステップＳ１１ａにおいて、図２の時刻ｔ＋Δｔの画像を取出し、時刻ｔの画像との間で差分画像ΔＩを求める（ステップＳ１１ｂ）。次に前記画像中の各画素を指定し（ステップＳ１１ｃ）、図７の３×３マスクを使ってフィルタ処理し（ステップＳ１１ｄ）、それによって得た値をΔｔで除算して時間勾配ｄＩ（ｘ，ｙ）／ｄｔを求める（ステップＳ１１ｅ）。これらステップＳ１１ｃ〜Ｓ１１ｅの処理は差分画像の各画素に対して行う（ステップＳ１１ｆ）。
【００５４】
また空間勾配を得る処理は、ステップＳ１２ａにおいて、図２の時刻ｔの画像Ｉ（ｔ）を取出す。次に前記画像中の各画素を指定し（ステップＳ１２ｃ）、図８、図９の３×３マスクを使ってフィルタ処理し（ステップＳ１２ｄ）、各画像座標（ｘ，ｙ）での空間勾配∂Ｉ（ｘ，ｙ）／∂ｘ，∂Ｉ（ｘ，ｙ）／∂ｙを求める（ステップＳ１２ｅ）。これらステップＳ１２ｃ〜Ｓ１２ｅの処理は各画素に対して行う（ステップＳ１２ｆ）。
【００５５】
続いて、図３のカメラパラメータ推定部４では、インデックスｍ，ｎの順に従いＸｗＹｗ平面位置（Ｘm，Ｙn）での３次元モデル上の点が投影された画像座標（ｘj，ｙj）に対して、その画像座標での時間勾配値ｄＩ（ｘj，ｙj）／ｄｔ、空間勾配値∂Ｉ（ｘj，ｙj）／∂ｘj，∂Ｉ（ｘj，ｙj）／∂ｙj，並びに、勾配係数データとして保持したテーブルからその画像座標に該当する勾配係数データ：∂ｘj／∂α，∂ｙj／∂βをそれぞれ取り出す。以上のデータとカメラ内部パラメータに関する時間変化量は、式（１１）に示す拘束条件を満たさなければならない。
【００５６】
【数８】
【００５７】
【数９】
【００５８】
【数１０】
【００５９】
【数１１】
【００６０】
【数１２】
【００６１】
【数１３】
【００６２】
【数１４】
【００６３】
【数１５】
【００６４】
次に上記のように構成された実施例１全体の動作を図１６の処理フローとともに説明する。図１６において、ステップＳ５０〜Ｓ５２は時空間勾配処理部２の処理を示し、ステップＳ５３〜Ｓ５７は勾配係数処理部３の処理を示し、ステップＳ５８〜Ｓ６１はカメラパラメータ推定部４の処理を示している。
【００６５】
まずステップＳ５０では、図２に示す時刻ｔの画像および時刻ｔ＋Δｔの画像を取出し、それらの間の差分画像を求める（図１０のステップＳ１１ａ，Ｓ１１ｂ，Ｓ１２ａ）。
【００６６】
次にステップＳ５１において、図１０のステップＳ１１ｃ〜Ｓ１１ｆで述べた時間勾配を求める処理を行い、ステップＳ５２において、図１０のステップＳ１２ｃ〜Ｓ１２ｆで述べた空間勾配を求める処理を行う。
【００６７】
勾配係数処理部３では、まずステップＳ５３において、図１の３次元モデルの中心位置を設定し、その位置を中心とした３次元楕円体を用意し、その楕円体上のＱ個の３次元点を標本化して３次元データを得る（図５のステップＳ２〜Ｓ４）。
【００６８】
次にステップＳ５４，Ｓ５５において、前記３次元点をカメラの内部・外部パラメータを用いてカメラの撮像系へ透視投影し、該透視投影での画像座標を求める（図５のステップＳ５，Ｓ６）。
【００６９】
次にステップＳ５６，Ｓ５７において、前記透視投影での画像座標に対する偏微分係数を求め、それをテーブルに書き込んで図６の勾配係数テーブルを生成する（図５のステップＳ７，Ｓ８）。
【００７０】
次にカメラパラメータ推定部４では、前述した図１１、図１２の処理が行われる。まずステップＳ５８において、図１２のステップＳ４０〜Ｓ４２で述べたように、投票空間上の各格子点（α，β）の値を式（２０）の左辺に代入して拘束値を求める。
【００７１】
次にステップＳ５９において、前記拘束値が許容値以下であれば投票空間上のその格子点へ投票を行って図１５に示す得票マップを生成する（図１２のステップＳ４３，Ｓ４４）。
【００７２】
次にステップＳ６０，Ｓ６１において、前記生成した得票マップの極大点を検出し（図１２のステップＳ４５）、その箇所を前記式（２１）の拘束条件を満たす（α，β）として決定し、最適パラメータとする（図１２のステップＳ４６）。
【００７３】
さらにパラメータ（ｕ0，ｖ0）についても前記と同様の手順に従って最適パラメータが算出される。
【００７４】
（実施例２）
請求項２に記載のカメラパラメータ推定の発明に関する基本構成図は図３、図４と同じであり、本実施例は図１で図示したＸ軸とＹ軸周りの回転に関する時間変化量を推定する。
【００７５】
対象とする時系列画像において被写体は静止しており、図１で図示したＸ軸周りの回転ＲｘとＹ軸周りの回転Ｒｙ（カメラ姿勢パラメータ）が時間的に微小に変化すると仮定する。すなわち、時系列画像中の被写体を投影した画像座標（ｘ，ｙ）が式（５）に示すカメラ姿勢パラメータＲｘ，Ｒｙの関数とすると、式（３）から式（２９）に展開することができ、式（３０）に示すような関係に表現することができる。ここで、便宜上、式（３１）で置換する。
【００７６】
【数１６】
【００７７】
本実施例２は、前記実施例１で記載したカメラパラメータα，βの時間変化を扱う場合において、カメラ姿勢パラメータＲｘ，Ｒｙと置き換えたものであり、処理の大まかなフローは同じである。以降では、その差分を中心に説明する。
【００７８】
図３の勾配係数処理部３の処理フロー（図５）では、偏微分係数の計算に式（３２）〜式（３５）を用いる（変数の置換をしているので、式（３６）〜式（４４）も関連する）。
【００７９】
【数１７】
【００８０】
【数１８】
【００８１】
これに伴い、図６のテーブルは第２列から第５列の欄が用意され、各投影座標に該当する箇所に計算した偏微分係数の値が書き込まれる。
【００８２】
【数１９】
【００８３】
【数２０】
【００８４】
次に上記のように構成された実施例２全体の動作を図１７の処理フローとともに説明する。図１７において、ステップＳ７０〜Ｓ７２は時空間勾配処理部２の処理を示し、ステップＳ７３〜Ｓ７７は勾配係数処理部３の処理を示し、ステップＳ７８〜Ｓ８１はカメラパラメータ推定部４の処理を示している。
【００８５】
まずステップＳ７０では、図２に示す時刻ｔの画像および時刻ｔ＋Δｔの画像を取出し、それらの間の差分画像を求める（図１０のステップＳ１１ａ，Ｓ１１ｂ，Ｓ１２ａ）。
【００８６】
次にステップＳ７１において、図１０のステップＳ１１ｃ〜Ｓ１１ｆで述べた時間勾配を求める処理を行い、ステップＳ７２において、図１０のステップＳ１２ｃ〜Ｓ１２ｆで述べた空間勾配を求める処理を行う。
【００８７】
勾配係数処理部３では、まずステップＳ７３において、図１の３次元モデルの中心位置を設定し、その位置を中心とした３次元楕円体を用意し、その楕円体上のＱ個の３次元点を標本化して３次元データを得る（図５のステップＳ２〜Ｓ４）。
【００８８】
次にステップＳ７４，Ｓ７５において、前記３次元点をカメラの内部・外部パラメータを用いてカメラの撮像系へ透視投影し、該透視投影での画像座標を求める（図５のステップＳ５，Ｓ６）。
【００８９】
次にステップＳ７６，Ｓ７７において、前記透視投影での画像座標に対する偏微分係数を式（３２）〜式（３５）により求め、それをテーブルに書き込んで図６の勾配係数テーブルを生成する（図５のステップＳ７，Ｓ８）。
【００９０】
次にカメラパラメータ推定部４では、前述した図１１、図１２の処理が行われる。まずステップＳ７８において、図１２のステップＳ４０〜Ｓ４２で述べたように、投票空間上の各格子点（Ｒｘ，Ｒｙ）の値を式（４５）、（４６）の左辺に代入して拘束値を求める。
【００９１】
次にステップＳ７９において、前記拘束値が許容値以下であれば投票空間上のその格子点（姿勢パラメータマップ）へ投票を行って図１５に示す得票マップを生成する（図１２のステップＳ４３，Ｓ４４）。
【００９２】
次にステップＳ８０，Ｓ８１において、前記生成した得票マップの極大点を検出し（図１２のステップＳ４５）、その箇所を前記式（４７）の拘束条件を満たす（Ｒｘ，Ｒｙ）として決定し、最適パラメータとする（図１２のステップＳ４６）。
【００９３】
（実施例３）
請求項３に記載のカメラパラメータ推定の発明に関する基本構成図は図３、図４と同じであり、本実施例は図１で図示したＸｗ軸とＹｗ軸方向に関する並進の時間変化量を推定する。
【００９４】
対象とする時系列画像において被写体は静止しており、図１で図示したＸｗ軸方向の並進ＴｘとＹｗ軸方向の並進Ｔｙ（カメラ位置パラメータ）が時間的に微小に変化すると仮定する。すなわち、時系列画像中の被写体を投影した画像座標（ｘ，ｙ）が式（６）に示すカメラ位置パラメータＴｘ，Ｔｙの関数とすると、式（３）から式（５０）に展開することができ、式（５１）に示すような関係に表現することができる。
【００９５】
【数２１】
【００９６】
本実施例３は、前記実施例２で記載したカメラ位置パラメータＲｘ，Ｒｙの時間変化を扱う場合において、カメラ位置パラメータＴｘ，Ｔｙと置き換えたものであり、処理の大まかなフローは同じである。以降では、その差分を中心に説明する。
【００９７】
図３の勾配係数処理部３の処理フロー（図５）では、偏微分係数の計算に式（５３）〜式（５６）を用いる。
【００９８】
【数２２】
【００９９】
これに伴い、図６のテーブルは第２列から第５列の欄が用意され、各投影座標に該当する箇所に計算した偏微分係数の値が書き込まれる。
【０１００】
【数２３】
【０１０１】
【数２４】
【０１０２】
次に上記のように構成された実施例３全体の動作を図１８の処理フローとともに説明する。図１８において、ステップＳ９０〜Ｓ９２は時空間勾配処理部２の処理を示し、ステップＳ９３〜Ｓ９７は勾配係数処理部３の処理を示し、ステップＳ９８〜Ｓ１０１はカメラパラメータ推定部４の処理を示している。
【０１０３】
まずステップＳ９０では、図２に示す時刻ｔの画像および時刻ｔ＋Δｔの画像を取出し、それらの間の差分画像を求める（図１０のステップＳ１１ａ，Ｓ１１ｂ，Ｓ１２ａ）。
【０１０４】
次にステップＳ９１において、図１０のステップＳ１１ｃ〜Ｓ１１ｆで述べた時間勾配を求める処理を行い、ステップＳ９２において、図１０のステップＳ１２ｃ〜Ｓ１２ｆで述べた空間勾配を求める処理を行う。
【０１０５】
勾配係数処理部３では、まずステップＳ９３において、図１の３次元モデルの中心位置を設定し、その位置を中心とした３次元楕円体を用意し、その楕円体上のＱ個の３次元点を標本化して３次元データを得る（図５のステップＳ２〜Ｓ４）。
【０１０６】
次にステップＳ９４，Ｓ９５において、前記３次元点をカメラの内部・外部パラメータを用いてカメラの撮像系へ透視投影し、該透視投影での画像座標を求める（図５のステップＳ５，Ｓ６）。
【０１０７】
次にステップＳ９６，Ｓ９７において、前記透視投影での画像座標に対する偏微分係数を式（５３）〜式（５６）により求め、それをテーブルに書き込んで図６の勾配係数テーブルを生成する（図５のステップＳ７，Ｓ８）。
【０１０８】
次にカメラパラメータ推定部４では、前述した図１１、図１２の処理が行われる。まずステップＳ９８において、図１２のステップＳ４０〜Ｓ４２で述べたように、投票空間上の各格子点（Ｔｘ，Ｔｙ）の値を式（５７）の左辺に代入して拘束値を求める。
【０１０９】
次にステップＳ９９において、前記拘束値が許容値以下であれば投票空間上のその格子点（位置パラメータマップ）へ投票を行って図１５に示す得票マップを生成する（図１２のステップＳ４３，Ｓ４４）。
【０１１０】
次にステップＳ１００，Ｓ１０１において、前記生成した得票マップの極大点を検出し（図１２のステップＳ４５）、その箇所を前記式（５８）の拘束条件を満たす（Ｔｘ，Ｔｙ）として決定し、最適パラメータとする（図１２のステップＳ４６）。
【０１１１】
また、本実施形態のカメラパラメータ推定装置における各手段の一部もしくは全部の機能をコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行して本発明を実現することができること、本実施形態のカメラパラメータ推定方法における手順をコンピュータのプログラムで構成し、そのプログラムをコンピュータに実行させることができることは言うまでもなく、コンピュータでその機能を実現するためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えばＦＤ（Ｆｌｏｐｐｙ（登録商標） Ｄｉｓｋ）や、ＭＯ（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ ｄｉｓｋ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、メモリカード、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｋ）−ＲＯＭ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）−ＲＯＭ、ＣＤ−Ｒ，、ＣＤ−ＲＷ，ＨＤＤ，リムーバブルディスクなどに記録して、保存したり、配布したりすることが可能である。また、上記のプログラムをインターネットや電子メールなど、ネットワークを通して提供することも可能である。
【図面の簡単な説明】
【０１１２】
【図１】本発明の実施形態例における空間中の点と固定カメラの位置関係を示す説明図である。
【図２】本発明の実施形態例における時間勾配と空間勾配の例を示す説明図である。
【図３】本発明の実施例１の画像蓄積型の基本構成を示すブロック図である。
【図４】本発明の実施例１のリアルタイム処理型の基本構成を示すブロック図である。
【図５】本発明の実施例１における勾配係数処理部でのテーブル生成の処理を示すフローチャートである。
【図６】本発明の実施形態例における勾配係数処理部でのテーブルの例を示す説明図である。
【図７】本発明の実施形態例において、時間勾配を求めるときに用いる３×３マスクの例を示す説明図である。
【図８】本発明の実施形態例において、空間勾配を求めるときに用いる３×３マスクの一例を示す説明図である。
【図９】本発明の実施形態例において、空間勾配を求めるときに用いる３×３マスクの他の例を示す説明図である。
【図１０】本発明の実施形態例における時空間勾配処理部の処理を示すフローチャートである。
【図１１】本発明の実施形態例における、パラメータを算出する処理を示すフローチャートである。
【図１２】本発明の実施形態例において、カメラパラメータを投票処理により求める処理を示すフローチャートである。
【図１３】本発明の実施形態例において、用意する投票空間の例を示す説明図である。
【図１４】本発明の実施形態例において、投票空間上での投票処理の例を示す説明図である。
【図１５】本発明の実施形態例における投票空間での処理結果の例を示す説明図である。
【図１６】本発明の実施例１の全体の処理を示すフローチャートである。
【図１７】本発明の実施例２の全体の処理を示すフローチャートである。
【図１８】本発明の実施例３の全体の処理を示すフローチャートである。
【図１９】従来の２次元物体を使ったカメラ校正作業の例を示す説明図である。
【図２０】従来の１次元物体を使ったカメラ校正作業の例を示す説明図である。
【符号の説明】
【０１１３】
１…時系列画像データベース、２…時空間勾配処理部、３…勾配係数処理部、４…カメラパラメータ推定部、１１…画像入力部。
【特許請求の範囲】
【請求項１】
画像入力装置を使って取得した映像において、ある時刻ｔでの画像から時刻ｔ＋Δｔでの画像までの時間変化における画像入力装置固有の内部情報を推定する装置であって、
空間中のある位置Ｘに用意した被写体上の３次元点を前記画像入力装置で取得した画像中に投影したときの、当該画像入力装置固有の内部情報に対する画像座標上での変化量を得る勾配係数処理手段と、
時系列中のある時刻ｔでの画像上における水平方向と垂直方向の濃淡変化を反映した空間勾配と、時間間隔Δｔとして時刻ｔの画像と時刻ｔ＋Δｔの画像との間の時間的濃淡変化を反映した時間勾配を得る時空間勾配処理手段と、
前記時空間勾配処理手段により得られた空間勾配と時間勾配、並びに、前記勾配係数処理手段により得られた画像座標上での変化量が満たす時間間隔Δｔの間の拘束条件を使って、画像入力装置固有の内部変数をパラメータとした投票空間において、あるパラメータがその拘束条件を満たす場合に該投票空間中のそのパラメータが示す場所に投票を行い、全ての投票処理の後に、投票空間においてその得票値が極大となるパラメータを画像入力装置固有の内部情報の時間的変化量と決定するカメラパラメータ推定手段と、
を備えることを特徴とするカメラパラメータ推定装置。
【請求項２】
画像入力装置を使って取得した映像において、ある時刻ｔでの画像から時刻ｔ＋Δｔでの画像までの時間変化における画像入力装置の姿勢情報を推定する装置であって、
空間中のある位置Ｘに用意した被写体上の３次元点を前記画像入力装置で取得した画像中に投影したときの、当該画像入力装置の姿勢情報に対する画像座標上での変化量を得る勾配係数処理手段と、
時系列中のある時刻ｔでの画像上における水平方向と垂直方向の濃淡変化を反映した空間勾配と、時間間隔Δｔとして時刻ｔの画像と時刻ｔ＋Δｔの画像との間の時間的濃淡変化を反映した時間勾配を得る時空間勾配処理手段と、
前記時空間勾配処理手段により得られた空間勾配と時間勾配、並びに、前記勾配係数処理手段により得られた画像座標上での変化量が満たす時間間隔Δｔの間の拘束条件を使って、画像入力装置の姿勢情報をパラメータとした投票空間において、あるパラメータがその拘束条件を満たす場合に該投票空間中のそのパラメータが示す場所に投票を行い、全ての投票処理の後に、投票空間においてその得票値が極大となるパラメータを画像入力装置の姿勢情報の時間的変化量と決定するカメラパラメータ推定手段と、
を備えることを特徴とするカメラパラメータ推定装置。
【請求項３】
画像入力装置を使って取得した映像において、ある時刻ｔでの画像から時刻ｔ＋Δｔでの画像までの時間変化における画像入力装置の位置情報を推定する装置であって、
空間中のある位置Ｘに用意した被写体上の３次元点を前記画像入力装置で取得した画像中に投影したときの、当該画像入力装置の位置情報に対する画像座標上での変化量を得る勾配係数処理手段と、
時系列中のある時刻ｔでの画像上における水平方向と垂直方向の濃淡変化を反映した空間勾配と、時間間隔Δｔとして時刻ｔの画像と時刻ｔ＋Δｔの画像との間の時間的濃淡変化を反映した時間勾配を得る時空間勾配処理手段と、
前記時空間勾配処理手段により得られた空間勾配と時間勾配、並びに、前記勾配係数処理手段により得られた画像座標上での変化量が満たす時間間隔Δｔの間の拘束条件を使って、画像入力装置の位置情報をパラメータとした投票空間において、あるパラメータがその拘束条件を満たす場合に該投票空間中のそのパラメータが示す場所に投票を行い、全ての投票処理の後に、投票空間においてその得票値が極大となるパラメータを画像入力装置の位置情報の時間的変化量と決定するカメラパラメータ推定手段と、
を備えることを特徴とするカメラパラメータ推定装置。
【請求項４】
請求項１ないし３のいずれか１項において、前記カメラパラメータ推定手段は、
投票空間で処理するパラメータをパラメータＡとパラメータＢに分け、パラメータＡを投票処理によって求める間はパラメータＢをある値に固定しておき、パラメータＢを投票処理によって求める間はパラメータＡをある値に固定しておき、交互にパラメータを決定する処理を反復することにより、全てのパラメータが同時に前記拘束条件を満たすように求める
ことを特徴とするカメラパラメータ推定装置。
【請求項５】
画像入力装置を使って取得した映像において、ある時刻ｔでの画像から時刻ｔ＋Δｔでの画像までの時間変化における画像入力装置固有の内部情報を推定する方法であって、
勾配係数処理手段が、空間中のある位置Ｘに用意した被写体上の３次元点を前記画像入力装置で取得した画像中に投影したときの、当該画像入力装置固有の内部情報に対する画像座標上での変化量を得る勾配係数処理ステップと、
時空間勾配処理手段が、時系列中のある時刻ｔでの画像上における水平方向と垂直方向の濃淡変化を反映した空間勾配と、時間間隔Δｔとして時刻ｔの画像と時刻ｔ＋Δｔの画像との間の時間的濃淡変化を反映した時間勾配を得る時空間勾配処理ステップと、
カメラパラメータ推定手段が、前記時空間勾配処理ステップにより得られた空間勾配と時間勾配、並びに、前記勾配係数処理ステップにより得られた画像座標上での変化量が満たす時間間隔Δｔの間の拘束条件を使って、画像入力装置固有の内部変数をパラメータとした投票空間において、あるパラメータがその拘束条件を満たす場合に該投票空間中のそのパラメータが示す場所に投票を行い、全ての投票処理の後に、投票空間においてその得票値が極大となるパラメータを画像入力装置固有の内部情報の時間的変化量と決定するカメラパラメータ推定ステップと、
を備えることを特徴とするカメラパラメータ推定方法。
【請求項６】
画像入力装置を使って取得した映像において、ある時刻ｔでの画像から時刻ｔ＋Δｔでの画像までの時間変化における画像入力装置の姿勢情報を推定する方法であって、
勾配係数処理手段が、空間中のある位置Ｘに用意した被写体上の３次元点を前記画像入力装置で取得した画像中に投影したときの、当該画像入力装置の姿勢情報に対する画像座標上での変化量を得る勾配係数処理ステップと、
時空間勾配処理手段が、時系列中のある時刻ｔでの画像上における水平方向と垂直方向の濃淡変化を反映した空間勾配と、時間間隔Δｔとして時刻ｔの画像と時刻ｔ＋Δｔの画像との間の時間的濃淡変化を反映した時間勾配を得る時空間勾配処理ステップと、
カメラパラメータ推定手段が、前記時空間勾配処理ステップにより得られた空間勾配と時間勾配、並びに、前記勾配係数処理ステップにより得られた画像座標上での変化量が満たす時間間隔Δｔの間の拘束条件を使って、画像入力装置の姿勢情報をパラメータとした投票空間において、あるパラメータがその拘束条件を満たす場合に該投票空間中のそのパラメータが示す場所に投票を行い、全ての投票処理の後に、投票空間においてその得票値が極大となるパラメータを画像入力装置の姿勢情報の時間的変化量と決定するカメラパラメータ推定ステップと、
を備えることを特徴とするカメラパラメータ推定方法。
【請求項７】
画像入力装置を使って取得した映像において、ある時刻ｔでの画像から時刻ｔ＋Δｔでの画像までの時間変化における画像入力装置の位置情報を推定する方法であって、
勾配係数処理手段が、空間中のある位置Ｘに用意した被写体上の３次元点を前記画像入力装置で取得した画像中に投影したときの、当該画像入力装置の位置情報に対する画像座標上での変化量を得る勾配係数処理ステップと、
時空間勾配処理手段が、時系列中のある時刻ｔでの画像上における水平方向と垂直方向の濃淡変化を反映した空間勾配と、時間間隔Δｔとして時刻ｔの画像と時刻ｔ＋Δｔの画像との間の時間的濃淡変化を反映した時間勾配を得る時空間勾配処理ステップと、
カメラパラメータ推定手段が、前記時空間勾配処理ステップにより得られた空間勾配と時間勾配、並びに、前記勾配係数処理ステップにより得られた画像座標上での変化量が満たす時間間隔Δｔの間の拘束条件を使って、画像入力装置の姿勢情報をパラメータとした投票空間において、あるパラメータがその拘束条件を満たす場合に該投票空間中のそのパラメータが示す場所に投票を行い、全ての投票処理の後に、投票空間においてその得票値が極大となるパラメータを画像入力装置の位置情報の時間的変化量と決定するカメラパラメータ推定ステップと、
を備えることを特徴とするカメラパラメータ推定方法。
【請求項８】
請求項５ないし７のいずれか１項において、前記カメラパラメータ推定ステップは、
投票空間で処理するパラメータをパラメータＡとパラメータＢに分け、パラメータＡを投票処理によって求める間はパラメータＢをある値に固定しておき、パラメータＢを投票処理によって求める間はパラメータＡをある値に固定しておき、交互にパラメータを決定する処理を反復することにより、全てのパラメータが同時に前記拘束条件を満たすように求める
ことを特徴とするカメラパラメータ推定方法。
【請求項９】
コンピュータに、請求項５ないし請求項８のいずれか１項に記載の各ステップを実行させるプログラムとしたことを特徴とするカメラパラメータ推定プログラム。
【請求項１０】
請求項９に記載のカメラパラメータ推定プログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１】
画像入力装置を使って取得した映像において、ある時刻ｔでの画像から時刻ｔ＋Δｔでの画像までの時間変化における画像入力装置固有の内部情報を推定する装置であって、
空間中のある位置Ｘに用意した被写体上の３次元点を前記画像入力装置で取得した画像中に投影したときの、当該画像入力装置固有の内部情報に対する画像座標上での変化量を得る勾配係数処理手段と、
時系列中のある時刻ｔでの画像上における水平方向と垂直方向の濃淡変化を反映した空間勾配と、時間間隔Δｔとして時刻ｔの画像と時刻ｔ＋Δｔの画像との間の時間的濃淡変化を反映した時間勾配を得る時空間勾配処理手段と、
前記時空間勾配処理手段により得られた空間勾配と時間勾配、並びに、前記勾配係数処理手段により得られた画像座標上での変化量が満たす時間間隔Δｔの間の拘束条件を使って、画像入力装置固有の内部変数をパラメータとした投票空間において、あるパラメータがその拘束条件を満たす場合に該投票空間中のそのパラメータが示す場所に投票を行い、全ての投票処理の後に、投票空間においてその得票値が極大となるパラメータを画像入力装置固有の内部情報の時間的変化量と決定するカメラパラメータ推定手段と、
を備えることを特徴とするカメラパラメータ推定装置。
【請求項２】
画像入力装置を使って取得した映像において、ある時刻ｔでの画像から時刻ｔ＋Δｔでの画像までの時間変化における画像入力装置の姿勢情報を推定する装置であって、
空間中のある位置Ｘに用意した被写体上の３次元点を前記画像入力装置で取得した画像中に投影したときの、当該画像入力装置の姿勢情報に対する画像座標上での変化量を得る勾配係数処理手段と、
時系列中のある時刻ｔでの画像上における水平方向と垂直方向の濃淡変化を反映した空間勾配と、時間間隔Δｔとして時刻ｔの画像と時刻ｔ＋Δｔの画像との間の時間的濃淡変化を反映した時間勾配を得る時空間勾配処理手段と、
前記時空間勾配処理手段により得られた空間勾配と時間勾配、並びに、前記勾配係数処理手段により得られた画像座標上での変化量が満たす時間間隔Δｔの間の拘束条件を使って、画像入力装置の姿勢情報をパラメータとした投票空間において、あるパラメータがその拘束条件を満たす場合に該投票空間中のそのパラメータが示す場所に投票を行い、全ての投票処理の後に、投票空間においてその得票値が極大となるパラメータを画像入力装置の姿勢情報の時間的変化量と決定するカメラパラメータ推定手段と、
を備えることを特徴とするカメラパラメータ推定装置。
【請求項３】
画像入力装置を使って取得した映像において、ある時刻ｔでの画像から時刻ｔ＋Δｔでの画像までの時間変化における画像入力装置の位置情報を推定する装置であって、
空間中のある位置Ｘに用意した被写体上の３次元点を前記画像入力装置で取得した画像中に投影したときの、当該画像入力装置の位置情報に対する画像座標上での変化量を得る勾配係数処理手段と、
時系列中のある時刻ｔでの画像上における水平方向と垂直方向の濃淡変化を反映した空間勾配と、時間間隔Δｔとして時刻ｔの画像と時刻ｔ＋Δｔの画像との間の時間的濃淡変化を反映した時間勾配を得る時空間勾配処理手段と、
前記時空間勾配処理手段により得られた空間勾配と時間勾配、並びに、前記勾配係数処理手段により得られた画像座標上での変化量が満たす時間間隔Δｔの間の拘束条件を使って、画像入力装置の位置情報をパラメータとした投票空間において、あるパラメータがその拘束条件を満たす場合に該投票空間中のそのパラメータが示す場所に投票を行い、全ての投票処理の後に、投票空間においてその得票値が極大となるパラメータを画像入力装置の位置情報の時間的変化量と決定するカメラパラメータ推定手段と、
を備えることを特徴とするカメラパラメータ推定装置。
【請求項４】
請求項１ないし３のいずれか１項において、前記カメラパラメータ推定手段は、
投票空間で処理するパラメータをパラメータＡとパラメータＢに分け、パラメータＡを投票処理によって求める間はパラメータＢをある値に固定しておき、パラメータＢを投票処理によって求める間はパラメータＡをある値に固定しておき、交互にパラメータを決定する処理を反復することにより、全てのパラメータが同時に前記拘束条件を満たすように求める
ことを特徴とするカメラパラメータ推定装置。
【請求項５】
画像入力装置を使って取得した映像において、ある時刻ｔでの画像から時刻ｔ＋Δｔでの画像までの時間変化における画像入力装置固有の内部情報を推定する方法であって、
勾配係数処理手段が、空間中のある位置Ｘに用意した被写体上の３次元点を前記画像入力装置で取得した画像中に投影したときの、当該画像入力装置固有の内部情報に対する画像座標上での変化量を得る勾配係数処理ステップと、
時空間勾配処理手段が、時系列中のある時刻ｔでの画像上における水平方向と垂直方向の濃淡変化を反映した空間勾配と、時間間隔Δｔとして時刻ｔの画像と時刻ｔ＋Δｔの画像との間の時間的濃淡変化を反映した時間勾配を得る時空間勾配処理ステップと、
カメラパラメータ推定手段が、前記時空間勾配処理ステップにより得られた空間勾配と時間勾配、並びに、前記勾配係数処理ステップにより得られた画像座標上での変化量が満たす時間間隔Δｔの間の拘束条件を使って、画像入力装置固有の内部変数をパラメータとした投票空間において、あるパラメータがその拘束条件を満たす場合に該投票空間中のそのパラメータが示す場所に投票を行い、全ての投票処理の後に、投票空間においてその得票値が極大となるパラメータを画像入力装置固有の内部情報の時間的変化量と決定するカメラパラメータ推定ステップと、
を備えることを特徴とするカメラパラメータ推定方法。
【請求項６】
画像入力装置を使って取得した映像において、ある時刻ｔでの画像から時刻ｔ＋Δｔでの画像までの時間変化における画像入力装置の姿勢情報を推定する方法であって、
勾配係数処理手段が、空間中のある位置Ｘに用意した被写体上の３次元点を前記画像入力装置で取得した画像中に投影したときの、当該画像入力装置の姿勢情報に対する画像座標上での変化量を得る勾配係数処理ステップと、
時空間勾配処理手段が、時系列中のある時刻ｔでの画像上における水平方向と垂直方向の濃淡変化を反映した空間勾配と、時間間隔Δｔとして時刻ｔの画像と時刻ｔ＋Δｔの画像との間の時間的濃淡変化を反映した時間勾配を得る時空間勾配処理ステップと、
カメラパラメータ推定手段が、前記時空間勾配処理ステップにより得られた空間勾配と時間勾配、並びに、前記勾配係数処理ステップにより得られた画像座標上での変化量が満たす時間間隔Δｔの間の拘束条件を使って、画像入力装置の姿勢情報をパラメータとした投票空間において、あるパラメータがその拘束条件を満たす場合に該投票空間中のそのパラメータが示す場所に投票を行い、全ての投票処理の後に、投票空間においてその得票値が極大となるパラメータを画像入力装置の姿勢情報の時間的変化量と決定するカメラパラメータ推定ステップと、
を備えることを特徴とするカメラパラメータ推定方法。
【請求項７】
画像入力装置を使って取得した映像において、ある時刻ｔでの画像から時刻ｔ＋Δｔでの画像までの時間変化における画像入力装置の位置情報を推定する方法であって、
勾配係数処理手段が、空間中のある位置Ｘに用意した被写体上の３次元点を前記画像入力装置で取得した画像中に投影したときの、当該画像入力装置の位置情報に対する画像座標上での変化量を得る勾配係数処理ステップと、
時空間勾配処理手段が、時系列中のある時刻ｔでの画像上における水平方向と垂直方向の濃淡変化を反映した空間勾配と、時間間隔Δｔとして時刻ｔの画像と時刻ｔ＋Δｔの画像との間の時間的濃淡変化を反映した時間勾配を得る時空間勾配処理ステップと、
カメラパラメータ推定手段が、前記時空間勾配処理ステップにより得られた空間勾配と時間勾配、並びに、前記勾配係数処理ステップにより得られた画像座標上での変化量が満たす時間間隔Δｔの間の拘束条件を使って、画像入力装置の姿勢情報をパラメータとした投票空間において、あるパラメータがその拘束条件を満たす場合に該投票空間中のそのパラメータが示す場所に投票を行い、全ての投票処理の後に、投票空間においてその得票値が極大となるパラメータを画像入力装置の位置情報の時間的変化量と決定するカメラパラメータ推定ステップと、
を備えることを特徴とするカメラパラメータ推定方法。
【請求項８】
請求項５ないし７のいずれか１項において、前記カメラパラメータ推定ステップは、
投票空間で処理するパラメータをパラメータＡとパラメータＢに分け、パラメータＡを投票処理によって求める間はパラメータＢをある値に固定しておき、パラメータＢを投票処理によって求める間はパラメータＡをある値に固定しておき、交互にパラメータを決定する処理を反復することにより、全てのパラメータが同時に前記拘束条件を満たすように求める
ことを特徴とするカメラパラメータ推定方法。
【請求項９】
コンピュータに、請求項５ないし請求項８のいずれか１項に記載の各ステップを実行させるプログラムとしたことを特徴とするカメラパラメータ推定プログラム。
【請求項１０】
請求項９に記載のカメラパラメータ推定プログラムを記録したコンピュータ読み取り可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【公開番号】特開２００９−２５１９９１（Ｐ２００９−２５１９９１Ａ）
【公開日】平成２１年１０月２９日（２００９．１０．２９）
【国際特許分類】
【出願番号】特願２００８−１０００２７（Ｐ２００８−１０００２７）
【出願日】平成２０年４月８日（２００８．４．８）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成２１年１０月２９日（２００９．１０．２９）
【国際特許分類】
【出願日】平成２０年４月８日（２００８．４．８）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]