カメラ校正装置、カメラ校正方法、カメラ校正プログラムおよびそのプログラムを記録した記録媒体。
【課題】カメラの内部・外部パラメータの計測を容易化する。
【解決手段】シルエット画像作成手段１２は、カメラなどの画像取得手段１１から入力された画像から物体の写っている領域を抽出したシルエット画像を作成する。パラメータ推定手段１４は、予め用意された物体の変化タイプを任意の確率に従って選択し、該選択された変化タイプに応じた状態候補を生成する。この状態候補に基づいて、該状態候補と同じカメラ内部・外部パラメータを有する仮想カメラに投影し、前記シルエット画像をシミュレートしたシミュレーション画像を生成する。この両画像の比較結果と、事前知識に基づく対象自体の確からしさの判定結果とを積演算した評価値を求める。この評価値から状態候補を最終的な変化状態として受け入れるか否かを判断する。受け入れた変化状態からカメラの内部・外部パラメータを推定する。
【解決手段】シルエット画像作成手段１２は、カメラなどの画像取得手段１１から入力された画像から物体の写っている領域を抽出したシルエット画像を作成する。パラメータ推定手段１４は、予め用意された物体の変化タイプを任意の確率に従って選択し、該選択された変化タイプに応じた状態候補を生成する。この状態候補に基づいて、該状態候補と同じカメラ内部・外部パラメータを有する仮想カメラに投影し、前記シルエット画像をシミュレートしたシミュレーション画像を生成する。この両画像の比較結果と、事前知識に基づく対象自体の確からしさの判定結果とを積演算した評価値を求める。この評価値から状態候補を最終的な変化状態として受け入れるか否かを判断する。受け入れた変化状態からカメラの内部・外部パラメータを推定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人物・動物を含む物体をカメラで撮影した画像を利用してカメラの内部・外部パラメータを推定する技術に関する。
【背景技術】
【０００２】
コンピュータビジョン分野では、カメラの撮影情報を利用して人物などの動く対象の追跡に関する研究が多く行われている。この人物追跡技術は、主に映像監視技術などに応用されている。ここでは例えば次の処理が実現されている。
【０００３】
すなわち、カメラなどの画像取得装置を利用して対象物体を観測し、画像上における対象の領域（シルエット）を抽出したシルエット画像を用意する。予め追跡に利用するカメラの内部・外部パラメータを予め計測して求めておき、三次元空間中に人物モデルを配置し、先に算出したパラメータを持つ仮想のカメラでこのシーンを撮影すると、シルエット画像のシミュレーションを行うことができる。
【０００４】
そして、人物モデルに楕円体を用いて生成したシミュレーション画像とシルエット画像を比較することで、複数の人物の追跡を行う方法が提案されている。この一例として非特許文献１の技術が知られている。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】大澤 達哉，数藤 恭子，新井 啓之，小池 秀樹 “単眼動画像を用いた近接する複数対象の追跡” 信学技報 Ｖｏｌ．１０８ Ｎｏ．９３ ２００８年６月１２日発行 Ｐ１〜Ｐ６
【発明の概要】
【発明が解決しようとする課題】
【０００６】
非特許文献１人物の方法によれば、三次元空間上での位置を直接予測し、予測した結果を実際に設置されているカメラと同じ内部・外部パラメータを持つ仮想のカメラで撮影し、シルエット画像のシミュレーションを行い、実際に撮影された画像と整合性を比較することで、一台のカメラ情報のみを用いて、人物の三次元空間上での位置の追跡が行われる。
【０００７】
しかしながら、シルエット画像のシミュレーションを行うには事前に撮影に用いるカメラの内部・外部パラメータを計測しておく必要がある。ところが、カメラの内部・外部パラメータの計測には専門知識を必要とするので、訓練を受けた熟練者にしか計測ができないおそれがあった。
【０００８】
本発明は、上述のような従来技術の問題点を解決するためになされたものであり、カメラの内部・外部パラメータを容易に計測可能な技術を提供することを解決課題としている。
【課題を解決するための手段】
【０００９】
そこで、本発明は、前記課題を解決するために、物体の変化状態（物体数・物体の大きさ・物体の位置）の予測結果を評価することで、カメラの内部・外部パラメータを自動的に推定している。
【００１０】
本発明の一態様は、物体の撮影画像から撮影に利用しているカメラの内部・外部パラメータを求めるカメラ校正装置であって、前記カメラの撮影画像から物体の写っている領域を抽出したシルエット画像を作成するシルエット画像作成手段と、前記物体の変化タイプに応じて予測した状態を、前記シルエット画像を利用して評価することで、前記カメラの内部・外部パラメータを推定するパラメータ推定手段と、を備える。
【００１１】
本発明の他の態様は、物体の撮影画像から撮影に利用しているカメラの内部・外部パラメータを求めるカメラ校正方法であって、シルエット画像作成手段が、前記カメラの撮影画像から物体の写っている領域を抽出したシルエット画像を作成する第１ステップと、パラメータ推定手段が、前記物体の変化タイプに応じて予測した状態を、前記シルエット画像を利用して評価することで、前記カメラの内部・外部パラメータを推定する第２ステップと、を有する。
【００１２】
前記両態様においては、前記物体の状態を、楕円体モデルの集合で表し、モデル頭頂部の画像上での二次元座標値と、頭部に近似する楕円体の短軸と、身体に近似する楕円体の短軸と、身長を示すモデルの高さで人物を表すことが好ましい。
【００１３】
なお、本発明は、前記カメラ校正装置としてコンピュータを機能させるプログラムの態様で提供してもよく、また該プログラムを記録した記録媒体の態様で提供してもよい。
【発明の効果】
【００１４】
本発明によれば、カメラの内部・外部パラメータが自動的に推定されることから、該パラメータの計測が容易となる。
【図面の簡単な説明】
【００１５】
【図１】カメラの撮影状況を示す概略図。
【図２】カメラの位置・姿勢を表す座標図。
【図３】三次元モデルを示す楕円体モデルの概略図。
【図４】本発明の実施形態に係るカメラ構成装置の構成図。
【図５】同 カメラ校正装置の処理を示すチャート図。
【図６】（ａ）は入力画像、（ｂ）はシルエット画像。
【図７】（ａ）は入力画像、（ｂ）は垂直エッジ画像、（ｃ）は水平エッジ画像。
【図８】同 パラメータの推定の処理ステップを示すフローチャート。
【図９】同 シルエット画像から計算した水平方向の頭部位置の確率分布図。
【図１０】同 エッジ検出画像から計算した垂直方向の頭部位置の確率分布図。
【図１１】（ａ）は実施例の入力画像、（ｂ）は実施例のシルエット画像、（ｃ）は実施例のエッジ画像（水平）、（ｄ）は実施例のエッジ画像（垂直）、（ｅ）は実施例のシミュレーション画像、（ｆ）は実施例で推定された対象の三次元位置
【発明を実施するための形態】
【００１６】
（１）基本原理
まず本発明の基本原理を以下に説明する。本発明は、三次元空間中に存在する１又は複数の物体（人物・動物を含む）を撮影することで、各々の物体の変化状態、即ち物体数・物体位置・物体の大きさ、及び撮影に利用した画像取得手段のカメラ内部・外部パラメータを推定している。
【００１７】
ここでは撮影される１又は複数の対象物は同一平面上に存在しているものと仮定する。一例として図１に示すように、平面上を歩行する複数の人物を対象とし、位置と姿勢を固定されたカメラ１（例えばデジタルカメラやビデオカメラなど）を用いてもよい。この場合に三次元空間を定義する座標は任意に設定することが可能であるため、ＸＹ平面を人物が歩行している平面とし、Ｚ軸を床面からの高さを表すように設定することが可能である。
【００１８】
図２に示すように、Ｘ軸およびＹ軸の原点にカメラ１を置けば、カメラ１の三次元位置は（０，０，Ｔｚ）と平面上からの高さを示す一つの変数で表すことができ、またカメラ１の姿勢についてもＸ軸、Ｙ軸周りの回転角（φ，θ）を用いた二変数で表すことができる。これら３つの変数（Ｔｚ，φ，θ）がカメラ１の外部パラメータを示している。
【００１９】
つぎにカメラ１の内部パラメータは、カメラレンズの歪を無視し、投影中心が画像の中心を示していることを仮定すると、レンズの焦点距離ｆのみで表すことが可能である。
【００２０】
これらカメラ１の内部・外部パラメータを用いると、三次元空間上の点が二次元画像上のどこに投影されるかを計算するのに必要な投影行列Ｐを、以下の式１により計算することが可能である。この式１において行列Ｉは３×３の単位行列である。
【００２１】
【数１】
【００２２】
また、対象物体を表すために図３に示すように、２つの楕円体Ｐ．Ｑを用いて人物の形状に近似したモデルを定義した。ここではモデル頭頂部の画像上での二次元座標値（ｘ，ｙ），頭部に近似する楕円体Ｐの短軸ｒ１，身体に近似する楕円体Ｑの短軸ｒ２，身長を表すモデルの高さｈで人物を表している。なお、前記楕円体Ｐの長軸と短軸は一定の比率を保っていると考え、長軸半径ｒ＝ｋ１×ｒ１とした。ここでｋ１は任意の定数であり、例えば１．５という数値を使ってもよい。また、前記楕円体Ｑの長軸に関しても同様に長軸半径ｒ＝ｈ−ｋ２×ｒ１とした。ｋ２は任意の定数であり、例えば１．２という数値を使ってもよい。
【００２３】
したがって、一人の人物の状態は、（ｘ，ｙ，ｒ１，ｒ２，ｈ）の５つのパラメータにより表すことができる。また、複数の人物の状態を表す対象状態は、各人物の位置、大きさを表すベクトルＭ（人物モデル）を並べたものによって表すことも可能である。すなわち、カメラ１の内部・外部パラメータと複数の人物の状態を含んだ状態Ｓは、以下の式２で表される。
【００２４】
【数２】
【００２５】
ここで状態Ｓを構成する人物ｋの位置、大きさ、形を表す人物モデルＭkは、以下の式３で表される５次元ベクトルである。
【００２６】
【数３】
【００２７】
ただし、ここで人物モデルＭkを構成する５つのパラメータは、前述の人物の形状を近似したモデルのパラメータである。
【００２８】
以上により、もしカメラ１の内部・外部パラメータおよび複数の対象の状態を含む状態Ｓが既知であるならば、非特許文献１の方法と同様にしてシルエット画像のシミュレーションを行うことが可能であることは自明である。
【００２９】
本発明は、この状態Ｓを予測し、シルエット画像のシミュレーションを行い、実際のシルエット画像と比較し、整合性を評価することで、予測された状態Ｓの評価を行う。
【００３０】
本発明の基本原理は、以上の処理を確率統計状態分布推定法の一種であるＭＣＭＣ（Ｍａｒｋｏｖ Ｃｈａｉｎ Ｍｏｎｔｅ Ｃａｒｌｏ）法を用いることで、正しいパラメータの組み合わせを表す状態Ｓを推定することである。この基本原理は、本発明の実施形態に係るカメラ校正装置に反映されている。
【００３１】
（２）具体的な実施形態
つぎに図４〜図１０に基づき本発明の実施形態を説明する。図４は、本発明の実施形態に係るカメラ構成装置１０の構成例を示している。このカメラ構成装置１０は、物体の画像を取得する画像取得手段１１とネットワーク接続されているものとする。
【００３２】
この画像取得手段１１は、各時刻に撮影された画像データを取得する手段、即ち前記カメラ１に相当する。詳細に述べれば、デジタルカメラやビデオカメラなどでとらえた物体の画像をデジタル信号に変換する画像センサなどで構成されている。ここでも撮影対象の物体（１又は複数の人物・動物など）は、同一平面上に存在しているものとする。
【００３３】
具体的には、前記カメラ校正装置１０は、コンピュータにより構成され、前記画像取得手段１１から時系列に画像データが入力される。ここでは前記カメラ校正装置１０は、コンピュータのハードウェア資源（ＣＰＵ，メモリ，ハードディスクドライブ装置，通信インタフェースなど）とソフトウェアとの協働の結果、シルエット画像作成手段１２，エッジ画像作成手段１３，パラメータ推定手段１４として機能している。
【００３４】
前記シルエット画像作成手段１２は、入力された画像データから対象物体の写っている領域だけを抽出したシルエット画像を作成する。前記エッジ画像作成手段１３は、入力された画像データからエッジを抽出したエッジ画像を作成する。
【００３５】
前記パラメータ推定手段１４は、前記シルエット画像の作成手段１２によって作成されたシルエット画像を用いて、前記状態Ｓを推定する。すなわち、シルエット画像中に存在する物体数・物体の大きさ・物体の三次元位置と、前記画像取得手段１１の内部・外部パラメータ（焦点距離ｆ・三次元位置（０，０，Ｔｚ）およびＸ軸とＹ軸周りの回転角で表される姿勢（φ，θ））とを推定する。この推定結果は、モニタやプリンタなどに出力される。以下、図５のチャートに基づき前記カメラ校正装置１０の処理ステップ（Ｓ５０１〜Ｓ５０４）を説明する。
【００３６】
Ｓ５０１：処理が開始されると、前記画像取得手段１１から撮影画像のデータ（Ｉｍ）が通信インタフェース経由で入力される（Ｓ５０１）。この実施形態では一例としてネットワーク経由で入力されることを前提に説明するが、前記画像データ（Ｉｍ）を取得できれば取得手段の如何は問わないものとする。
【００３７】
Ｓ５０２：前記シルエット画像作成手段１２によって、Ｓ５０１で入力された画像データ（Ｉｍ）に対し、シルエット画像（Ｓｉｌ）を作成する。シルエット画像は、撮影した画像の対象物体が写っている領域の輝度値が１、他の領域が０である２値画像であり、図６（ａ）は入力画像の一例を示し、図６（ｂ）はシルエット画像の一例を示している。このようなシルエット画像は、背景差分法やフレーム間差分法などの周知な方法を利用することで簡単に生成することができる。
【００３８】
Ｓ５０３：前記エッジ画像作成手段１３によって、Ｓ５０１で入力された画像データ（Ｉｍ）に対し、エッジ画像を作成する。ここではエッジは垂直方向、水平方向を検出し、垂直方向Ｅｈおよび水平方向Ｅｖを成分とする（Ｅｈ，Ｅｖ）を各画素ごと保存し、これをエッジ画像とする。
【００３９】
このエッジ画像の生成はよく知られたＳｏｂｅｌオペレータ等を用いて簡単に生成することができる。一例として図７（ａ）は入力画像を示し、図７（ｂ）は垂直エッジ検出画像を示し、図７（ｃ）は水平エッジ検出画像を示している。なお、Ｓ５０２．Ｓ５０３で作成したシルエット画像・エッジ画像はメモリ（ＲＡＭ）やハードディスクドライブ装置に記憶・保存してもよい。
【００４０】
Ｓ５０４：前記パラメータ推定手段１４によって、Ｓ５０２で作成されたシルエット画像（Ｓｉｌ）を用いて、画像中に存在する物体の数、三次元位置、大きさ、前記画像取得手段１１におけるカメラの内部・外部パラメータ[カメラの焦点距離ｆ、三次元位置（０，０，Ｔｚ）、Ｘ軸・Ｙ軸周りの回転角で表される姿勢（φ，θ）]を含む状態Ｓを推定する。
【００４１】
以下、図８のフローチャートに基づきＳ５０４の具体的な処理内容（Ｓ６０１〜Ｓ６０７）を説明する。ここでは状態Ｓの推定は、複数回、（Ｂ＋Ｐ）回の反復計算によって生成される（Ｂ＋Ｐ）個の状態候補を用いて行われる。また、初期状態をＳ’0，ｎ回目の反復計算において生成された状態候補をＳ’nと表すことにする。最初のＢ回に生成された状態候補は捨て、最後のＰ回に得られた状態候補は全て等確率で起こりうると考えパラメータを推定する。これは最初のほうに生成された状態候補は初期状態Ｓ’0に大きく依存していると考えられるためである。
【００４２】
そして、更新回数（ｎ＝１）として処理が開始される。Ｓの初期状態は、任意であるが、例えば、次のように設定することができる。（ｆ，Ｔｚ，φ，θ）＝（Ｘ＿ＳＩＺＥ，２００，０．０，０．０）、人物の状態を空集合とする。すなわちＳ＝（Ｘ＿ＳＩＺＥ，２００，０．０，０．０）である。ただし、Ｘ＿ＳＩＺＥは入力画像の水平方向の大きさである。
【００４３】
Ｓ６０１：変化タイプの選択を行う。変化タイプとは対象状態を変化させる処理のタイプを表すものであり、次の７種類から成る。
【００４４】
１：人物の追加，２：人物の消去，３：人物の位置変更，４：人物の大きさ変更，５：焦点距離変更，６：カメラ位置変更，７：カメラ姿勢変更。
【００４５】
まず現在の状態として人物が含まれていない場合には必ず（１：人物の追加）が選択される。それ以外の場合には各タイプが選ばれる確率を予め任意に設定しておき、確率的に４つのタイプから選択を行う。例えば（ｐ１，ｐ２，ｐ３，ｐ４，ｐ５，ｐ６，ｐ７）＝（０．０５，０．０５，０．２，０．２，０．１，０．２，０．２）というように設定することができる（ｐｉはタイプｉが選択される確率）。
【００４６】
Ｓ６０２：Ｓ６０１において選択された変化タイプに従い、状態候補Ｓ*を生成する。以下で変化タイプ別に処理を説明する。
【００４７】
＜１：人物の追加＞
人物の追加が選ばれた場合には新たにモデルパラメータの設定を行う必要がある。例えばこれは文献１に記載の次の方法を用いてもよい。
【００４８】
まず人物に近似する楕円体の大きさを表すパラメータｒ１、ｒ２およびｈに関しては、人物の大きさに関する経験的な事前知識（３ｍを超える身長の人はいないなど）から取り得る値の範囲を制限することができる。ここではこの範囲を
ｒ１：ｒ１min≦ｒ１≦ｒ１max
ｒ２：ｒ２min≦ｒ２≦ｒ２max
ｈ：ｈmin≦ｈ≦ｈmax
とし、この条件下で一様乱数を発生させることで、ｒ１、ｒ２、ｈのパラメータを新たに生成することができる。
【００４９】
頭部位置（ｘ，ｙ）に関するパラメータは、以下のようにして生成することが可能である。まず水平方向の頭部位置ｘを生成する。図９に示すように人物は画像上で垂直方向に立っているように撮影されていることを仮定すると、ある位置ｘにおいて垂直方向に対象だけが写っているシルエット画像（Ｓｉｌ）を足し合わせれば人物の頭部が存在する位置において、この値Ｖが高くなる。ある位置ｘにおける足し合わせ量Ｖ（ｘ）は、以下の式４で表され、これを画像上の全てのｘにおいて計算する。
【００５０】
【数４】
【００５１】
ただし、Ｓｉｌ（ｘ，ｙ）はシルエット画像のｘ行ｙ列成分、Ｙは画像の垂直方向サイズを示す。このＶ（ｘ）を水平方向の頭部位置確率分布とするために、画像上の全てのｘのＶ（ｘ）の総和が１．０となるように正規化を行い、生成された水平方向の頭部位置確率分布Ｖ（ｘ）に従った位置ｘを抽出する。これは例えば次のようにして実現可能である。すなわち、０．０〜１．０の間の一様乱数を利用して、値ｖａｌを得る。そして、Ｖ（ｘ）をｘ＝０から順に値ｓｕｍに足し合わせていき、初めてｓｕｍ≧ｖａｌとなったときのｘを抽出することで実現可能である。
【００５２】
つぎに垂直方向の頭部位置ｙを生成する。すでに人物に近似する楕円体の大きさを表すパラメータは生成されているので、これとカメラの内部・外部パラメータ（ｆ，Ｔｚ，，φ，θ）を用いて投影行列Ｐを計算し、人物頭部を表す部分の楕円体（以下、頭部モデルとする。）を画像上に投影することができる。図１０に示すように頭部モデル上におけるエッジ検出画像（Ｅｖ，Ｅｈ）の値を足し合わせて平均を取った値をＷ（ｙ）とすると、人物頭部付近で大きくなる。Ｗ（ｙ）の計算は、以下の式５で計算する。
【００５３】
【数５】
【００５４】
ただし、ＨＬは頭部輪郭長、ｎ（ｉ）は頭部モデルの法線ベクトル、ｇ（ｉ）＝（Ｅｖ（ｉ），Ｅｈ（ｉ））で頭部輪郭におけるエッジ検出画像の値を要素とする勾配ベクトルである。
【００５５】
画像上の全てのｙでＷ（ｙ）を計算し、最後にこれを位置ｘにおける垂直方向の頭部位置確率分布となるように、Ｗ（ｙ）の総和を１．０とする正規化を行い、垂直方向の頭部位置確率分布Ｗ（ｙ）に従って位置ｙを抽出する。これは水平方向と同様の方法で抽出することが可能である。
【００５６】
以上のようにして新しいモデルパラメータＭnを生成することができる。暫定的な状態候補Ｓ*はＳ’n-1に新たな対象状態Ｍnを追加した状態となる。
【００５７】
＜２：人物の消去＞
人物の消去が選択された場合には、まず前回生成された状態候補Ｓ’n-1からランダムに対象を選択する。すなわち、Ｋ個の対象があった場合には各々の対象が１／Ｋの確率で選択されることになる。つぎに選択された対象Ｍkを消去する。暫定的な状態候補Ｓ*はＳ’n-1から対象状態Ｍkを消去した状態となる。
【００５８】
＜３：人物の位置変更＞
人物の位置変更が選択された場合には、まず前回生成された状態候補Ｓ’n-1からランダムに対象を選択する。すなわち、Ｋ個の対象があった場合には各々の対象が１／Ｋの確率で選択されることになる。つぎに選択されたＭkの要素の内、人物の二次元平面上での位置（ｘk，ｙk）から、次の式６に従って変化させた暫定的な位置（ｘ’k，ｙ’k）を計算する。
【００５９】
【数６】
【００６０】
ただし、δx，δyはそれぞれ一次元のガウスノイズであり、そのパラメータは実験的に任意の値に決めることができる。Ｍ’kを以下の式７のように定義する。
【００６１】
【数７】
【００６２】
暫定的な状態候補Ｓ*はＳ’n-1の対象状態ＭkをＭ’kに更新した状態となる。
【００６３】
＜４：人物の大きさ変更＞
人物の大きさ変更が選択された場合には、まず前回生成された状態候補Ｓ’n-1からランダムに対象を選択する。すなわち、Ｋ個の対象があった場合には各々の対象が１／Ｋの確率で選択されることになる。つぎに選択されたＭkの要素の内、人物に近似する楕円体の半径ｒ１、半径ｒ２および高さｈを表す（ｒ１k，ｒ２k，ｈk）から次の式８に従って変化させた暫定的な形、大きさのパラメータ（ｒ１’k，ｒ２’k，ｈ’k）を計算する。
【００６４】
【数８】
【００６５】
ただし、δr1，δr2，δhはそれぞれ一次元のガウスノイズであり、そのパラメータは実験的に任意の値に決めることができる。この暫定的な形、大きさのパラメータを用いてＭ’kを以下の式９のように定義する。
【００６６】
【数９】
【００６７】
暫定的な状態候補Ｓ*はＳ’n-1の対象状態ＭkをＭ’kに更新した状態となる。
【００６８】
＜５：焦点距離変更＞
焦点距離変更が選択された場合には、カメラの焦点距離パラメータをｆから次の式１０に従って変化させた暫定的な焦点距離ｆ’に更新する。
【００６９】
【数１０】
【００７０】
ただし、δfは一次元のガウスノイズであり、そのパラメータは実験的に任意の値に決めることができる。
【００７１】
＜６：カメラ位置変更＞
カメラ位置変更が選択された場合には、カメラの位置パラメータをＴｚから次の式１１に従って変化させた暫定的なカメラ位置Ｔｚ’に更新する。
【００７２】
【数１１】
【００７３】
ただし、δTzは一次元のガウスノイズであり、そのパラメータは実験的に任意の値に決めることができる。
【００７４】
＜７：カメラ姿勢変更＞
カメラ姿勢変更が選択された場合には、カメラの姿勢パラメータを（φ，θ）から次の式１２に従って変化させた暫定的なカメラ姿勢回転角（φ’，θ’）で更新する。
【００７５】
【数１２】
【００７６】
ただし、δΦ，δΘはそれぞれ一次元のガウスノイズであり、そのパラメータは実験的に任意の値に決めることができる。
【００７７】
Ｓ６０３：Ｓ６０２の暫定的な状態候補Ｓ*を用いて、Ｓ５０３において作成されたシルエット画像（Ｓｉｌ）をシミュレートした画像、即ちシミュレーション画像（Ｓｉｍ）を作成する。ここで三次元空間に存在する物体のカメラ画像上への投影関係を表す投影行列Ｐはパラメータ（ｆ，Ｔｚ，φ，θ）より計算できる。
【００７８】
この関係を利用すると画像上の二次元座標値（ｘ，ｙ）に投影される平面上に直立する高さｈの物体の平面上の二次元座標値（Ｘ，Ｙ）を計算することが可能である。これにより三次元空間内にＳ６０２で計算された暫定的な対象状態Ｓ*に基づいた楕円体で構成された三次元モデルを複数配置することができる。
【００７９】
以上のように生成された仮想シーンを仮想カメラへ投影することで、シミュレーション画像を作成する。画像上の楕円体領域の値を１、それ以外の領域の値を０とする２値画像とすることで、シルエット画像（Ｓｉｌ）をシミュレートしたシミュレーション画像（Ｓｉｍ）を作成することができる。
【００８０】
Ｓ６０４：Ｓ６０２の暫定的な対象状態Ｓ*が、尤もらしいか否かを判断するために、尤度Ｌを計算する。これは事前知識による対象状態自体の確からしさの判定およびＳ５０３で作成されたシルエット画像（Ｓｉｌ）とＳ６０３で生成されたシミュレーション画像（Ｓｉｍ）の比較により行う。
【００８１】
ここで事前知識による対象状態自体の確からしさの判定は、人物同士が三次元空間上で重なることがないという条件である。いま、人物を楕円体モデルで近似しているため、個々の楕円体が重ならない条件、即ち異なる二つの楕円体の中心同士の距離が、二つの楕円体の半径の和より大きいことを満たす必要がある。
【００８２】
二人の人物同士が三次元空間上で重ならないようにするために、次の式１３で表された距離Ｒ、即ち二人の人物を表す楕円体の中心同士の距離に応じたペナルティ関数Ｅ（Ｓ*）を設定する。
【００８３】
【数１３】
【００８４】
ただし、Ｘk，Ｙkはシミュレーション画像生成の際に計算した三次元空間上での人物ｋの平面上の位置Ｘ座標、Ｙ座標を示す。楕円体の距離が近くなるとペナルティを与える関数Ｅは、例えば以下の式１４のように設定できる。ただしαは定数で、実験的に任意に設定可能である。
【００８５】
【数１４】
【００８６】
つぎにシルエット画像（Ｓｉｌ）とＳ６０３で生成されたシミュレーション画像（Ｓｉｍ）の比較について説明する。これは例えば以下の式１５の評価式によって計算を行うことができる。ただし、（ｕ，ｖ）は画像のｕ行ｖ列成分を示す。
【００８７】
【数１５】
【００８８】
最終的に暫定状態Ｓ*の尤度Ｌは、式１６によって表される積演算によって計算される。
【００８９】
【数１６】
【００９０】
このような尤度を用いることで、三次元空間上での人物位置の確からしさと二次元画像上での追跡を融合することが可能となる。
【００９１】
Ｓ６０５：Ｓ６０４で計算された尤度Ｌを用いて、暫定状態候補Ｓ*を受け入れるか、もしくは拒否するかの演算を行う。これは受け入れ拒否判断確率Ａの計算によって決定する。受け入れ拒否判断確率Ａは、例えば以下の式１２により計算することが可能である。
【００９２】
【数１７】
【００９３】
ここで現在ｎ回目の更新だとすると、Ｌ’はｎ−１回目の候補状態Ｓ’n-1の尤度を表す。すなわち、前回の状態よりも今回の状態のほうが、尤度が高ければ必ず受け入れ、もし前回の状態よりも尤度が低ければ、Ｌ／Ｌ’の確率で暫定状態Ｓ*を採用する。
【００９４】
ここで暫定状態Ｓ*が採用されれば、Ｓ’n＝Ｓ*とし、採用が拒否されればＳ’n＝Ｓ’t,n-1として、Ｓ６０６の条件判断ステップへと進む。
【００９５】
Ｓ６０６：更新処理が規定の回数行われたかの判断が行われる。更新回数ｎが任意に決定できる定数ＢとＰの和で表されるＢ＋Ｐ回を超えていれば反復計算処理を終了し、Ｓ６０７の対象状態の推定ステップへと進む。
【００９６】
逆に更新回数ｎが、Ｂ＋Ｐ回を越えていなければＳ６０１に戻って再度処理を繰り返す。なお、更新処理の規定回数はプログラムなどに定義されているものとする。
【００９７】
Ｓ６０７：最大確率を持つ状態の計算を行う。反復計算により生成された状態候補のうち、最後のＰ個の状態は全て等確率で起こると仮定しているため、最大確率を持つ状態Ｓは、以下の式１８によって計算することができる。
【００９８】
【数１８】
【００９９】
このようにして計算した状態Ｓが、三次元空間中に存在する１又は複数の物体や人物を撮影することで各々の物体の数、位置、大きさと、撮影に利用された前記画像取得手段１１におけるカメラの内部・外部パラメータとを含む推定結果である。
【０１００】
この推定結果には、カメラの内部・外部パラメータを含んでいることから、該パラメータの計測が容易となる。また、ここで計算された状態Ｓは、三次元空間上での人物位置の確からしさが最も高いことから、ここに含まれたカメラの内部・外部パラメータは、適切なパラメータとしてカメラキャリブレーションなどに利用され、作業の簡素化などに役立てることができる。
【０１０１】
特に、これまではカメラの内部・外部パラメータの計測には、訓練を受けた熟練者にしか計測ができないといった問題点があったが、前記カメラ構成装置１０によれば、画像から自動的に推定されることから、カメラなどの画像取得手段１１を設置するだけで、画像に写る対象の三次元位置の推定や追跡といった応用が可能となる。
【０１０２】
なお、Ｓ６０１〜Ｓ６０６の際の中間データは、適宜にメモリ（ＲＡＭ）やハードディスクドライブ装置に記憶・保存され、また式４〜式１８はプログラムなどに定義されているものとする。
【０１０３】
本発明は、前記実施形態に限定されるものではなく、例えばＳ６０４のシルエット画像とシミュレーション画像の比較に式１５ではなく、画像間の類似度を取る評価関数を用いてもよい。この評価関数には単純な積演算を利用しても同様にＳ６０４の処理が実現できる。
【０１０４】
また、本発明は、前記カメラ校正装置１０の各手段１２〜１４の一部もしくは全部として、コンピュータを機能させるプログラムとしても構成することができる。この場合には、Ｓ５０１〜Ｓ５０４．Ｓ６０１〜Ｓ６０７の全てのステップあるいは一部のステップをコンピュータに実行させる。
【０１０５】
このプログラムは、Ｗｅｂサイトや電子メールなどネットワークを通じて提供することができる。また、前記プログラムは、ＣＤ−ＲＯＭ，ＤＶＤ−ＲＯＭ，ＣＤ−Ｒ，ＣＤ−ＲＷ，ＤＶＤ−Ｒ，ＤＶＤ−ＲＷ，ＭＯ，ＨＤＤ，Ｂｌｕ−ｒａｙ Ｄｉｓｋ（登録商標）などの記録媒体１０に記録して、保存・配布することも可能である。この記録媒体１０は、記録媒体駆動装置を利用して読み出され、そのプログラムコード自体が前記実施形態の処理を実現するので、該記録媒体も本発明を構成する。
（３）実施例
以下、前記カメラ校正装置１０を用いて、ビデオカメラから得られた映像を処理して、撮影された人物を利用して、追跡した結果を図５の処理フローを用いて述べる。まず処理が開始されると、カメラ画像の取得を行い（Ｓ５０１）、シルエット画像とエッジ画像とを作成する（Ｓ５０２，Ｓ５０３）。図１１（ａ）はビデオカメラからの入力画像を示し、図１１（ｂ）は背景差分法を用いて作成したシルエット画像を示し、図１１（ｃ）（ｄ）はＳｏｂｅｌオペレータを用いて作成したエッジ画像を示している。
【０１０６】
つぎにＳ５０４にてパラメータの推定を行う。ここでは状態候補を逐次生成させながらその状態をシミュレートしたシミュレーション画像の作成を行って、その評価を行う。図１１（ｅ）は計算された最大確率を取る対象状態を表現したシミュレーション画像を示し、図１１（ｆ）はその対象状態を俯瞰した図を示している。図１１（ｆ）によれば、人物の三次元的な位置関係が正しく推定されていることが分かる。ここではカメラの内部・外部パラメータが正確に推定されていなければ、人物の三次元的な位置関係も正しく推定できないため、カメラの内部・外部パラメータの推定結果の正確性も示している。
【０１０７】
以上述べた処理により本実施例では人物が撮影された画像から自動的に人物の三次元位置・物体数・物体の大きさおよびビデオカメラの焦点距離、位置、姿勢といったパラメータの推定結果が出力される。
【符号の説明】
【０１０８】
１．１１…画像の取得手段（カメラ）
１０…カメラ校正装置
１２…シルエット画像作成手段
１３…エッジ画像作成手段
１４…パラメータ推定手段
【技術分野】
【０００１】
本発明は、人物・動物を含む物体をカメラで撮影した画像を利用してカメラの内部・外部パラメータを推定する技術に関する。
【背景技術】
【０００２】
コンピュータビジョン分野では、カメラの撮影情報を利用して人物などの動く対象の追跡に関する研究が多く行われている。この人物追跡技術は、主に映像監視技術などに応用されている。ここでは例えば次の処理が実現されている。
【０００３】
すなわち、カメラなどの画像取得装置を利用して対象物体を観測し、画像上における対象の領域（シルエット）を抽出したシルエット画像を用意する。予め追跡に利用するカメラの内部・外部パラメータを予め計測して求めておき、三次元空間中に人物モデルを配置し、先に算出したパラメータを持つ仮想のカメラでこのシーンを撮影すると、シルエット画像のシミュレーションを行うことができる。
【０００４】
そして、人物モデルに楕円体を用いて生成したシミュレーション画像とシルエット画像を比較することで、複数の人物の追跡を行う方法が提案されている。この一例として非特許文献１の技術が知られている。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】大澤 達哉，数藤 恭子，新井 啓之，小池 秀樹 “単眼動画像を用いた近接する複数対象の追跡” 信学技報 Ｖｏｌ．１０８ Ｎｏ．９３ ２００８年６月１２日発行 Ｐ１〜Ｐ６
【発明の概要】
【発明が解決しようとする課題】
【０００６】
非特許文献１人物の方法によれば、三次元空間上での位置を直接予測し、予測した結果を実際に設置されているカメラと同じ内部・外部パラメータを持つ仮想のカメラで撮影し、シルエット画像のシミュレーションを行い、実際に撮影された画像と整合性を比較することで、一台のカメラ情報のみを用いて、人物の三次元空間上での位置の追跡が行われる。
【０００７】
しかしながら、シルエット画像のシミュレーションを行うには事前に撮影に用いるカメラの内部・外部パラメータを計測しておく必要がある。ところが、カメラの内部・外部パラメータの計測には専門知識を必要とするので、訓練を受けた熟練者にしか計測ができないおそれがあった。
【０００８】
本発明は、上述のような従来技術の問題点を解決するためになされたものであり、カメラの内部・外部パラメータを容易に計測可能な技術を提供することを解決課題としている。
【課題を解決するための手段】
【０００９】
そこで、本発明は、前記課題を解決するために、物体の変化状態（物体数・物体の大きさ・物体の位置）の予測結果を評価することで、カメラの内部・外部パラメータを自動的に推定している。
【００１０】
本発明の一態様は、物体の撮影画像から撮影に利用しているカメラの内部・外部パラメータを求めるカメラ校正装置であって、前記カメラの撮影画像から物体の写っている領域を抽出したシルエット画像を作成するシルエット画像作成手段と、前記物体の変化タイプに応じて予測した状態を、前記シルエット画像を利用して評価することで、前記カメラの内部・外部パラメータを推定するパラメータ推定手段と、を備える。
【００１１】
本発明の他の態様は、物体の撮影画像から撮影に利用しているカメラの内部・外部パラメータを求めるカメラ校正方法であって、シルエット画像作成手段が、前記カメラの撮影画像から物体の写っている領域を抽出したシルエット画像を作成する第１ステップと、パラメータ推定手段が、前記物体の変化タイプに応じて予測した状態を、前記シルエット画像を利用して評価することで、前記カメラの内部・外部パラメータを推定する第２ステップと、を有する。
【００１２】
前記両態様においては、前記物体の状態を、楕円体モデルの集合で表し、モデル頭頂部の画像上での二次元座標値と、頭部に近似する楕円体の短軸と、身体に近似する楕円体の短軸と、身長を示すモデルの高さで人物を表すことが好ましい。
【００１３】
なお、本発明は、前記カメラ校正装置としてコンピュータを機能させるプログラムの態様で提供してもよく、また該プログラムを記録した記録媒体の態様で提供してもよい。
【発明の効果】
【００１４】
本発明によれば、カメラの内部・外部パラメータが自動的に推定されることから、該パラメータの計測が容易となる。
【図面の簡単な説明】
【００１５】
【図１】カメラの撮影状況を示す概略図。
【図２】カメラの位置・姿勢を表す座標図。
【図３】三次元モデルを示す楕円体モデルの概略図。
【図４】本発明の実施形態に係るカメラ構成装置の構成図。
【図５】同 カメラ校正装置の処理を示すチャート図。
【図６】（ａ）は入力画像、（ｂ）はシルエット画像。
【図７】（ａ）は入力画像、（ｂ）は垂直エッジ画像、（ｃ）は水平エッジ画像。
【図８】同 パラメータの推定の処理ステップを示すフローチャート。
【図９】同 シルエット画像から計算した水平方向の頭部位置の確率分布図。
【図１０】同 エッジ検出画像から計算した垂直方向の頭部位置の確率分布図。
【図１１】（ａ）は実施例の入力画像、（ｂ）は実施例のシルエット画像、（ｃ）は実施例のエッジ画像（水平）、（ｄ）は実施例のエッジ画像（垂直）、（ｅ）は実施例のシミュレーション画像、（ｆ）は実施例で推定された対象の三次元位置
【発明を実施するための形態】
【００１６】
（１）基本原理
まず本発明の基本原理を以下に説明する。本発明は、三次元空間中に存在する１又は複数の物体（人物・動物を含む）を撮影することで、各々の物体の変化状態、即ち物体数・物体位置・物体の大きさ、及び撮影に利用した画像取得手段のカメラ内部・外部パラメータを推定している。
【００１７】
ここでは撮影される１又は複数の対象物は同一平面上に存在しているものと仮定する。一例として図１に示すように、平面上を歩行する複数の人物を対象とし、位置と姿勢を固定されたカメラ１（例えばデジタルカメラやビデオカメラなど）を用いてもよい。この場合に三次元空間を定義する座標は任意に設定することが可能であるため、ＸＹ平面を人物が歩行している平面とし、Ｚ軸を床面からの高さを表すように設定することが可能である。
【００１８】
図２に示すように、Ｘ軸およびＹ軸の原点にカメラ１を置けば、カメラ１の三次元位置は（０，０，Ｔｚ）と平面上からの高さを示す一つの変数で表すことができ、またカメラ１の姿勢についてもＸ軸、Ｙ軸周りの回転角（φ，θ）を用いた二変数で表すことができる。これら３つの変数（Ｔｚ，φ，θ）がカメラ１の外部パラメータを示している。
【００１９】
つぎにカメラ１の内部パラメータは、カメラレンズの歪を無視し、投影中心が画像の中心を示していることを仮定すると、レンズの焦点距離ｆのみで表すことが可能である。
【００２０】
これらカメラ１の内部・外部パラメータを用いると、三次元空間上の点が二次元画像上のどこに投影されるかを計算するのに必要な投影行列Ｐを、以下の式１により計算することが可能である。この式１において行列Ｉは３×３の単位行列である。
【００２１】
【数１】
【００２２】
また、対象物体を表すために図３に示すように、２つの楕円体Ｐ．Ｑを用いて人物の形状に近似したモデルを定義した。ここではモデル頭頂部の画像上での二次元座標値（ｘ，ｙ），頭部に近似する楕円体Ｐの短軸ｒ１，身体に近似する楕円体Ｑの短軸ｒ２，身長を表すモデルの高さｈで人物を表している。なお、前記楕円体Ｐの長軸と短軸は一定の比率を保っていると考え、長軸半径ｒ＝ｋ１×ｒ１とした。ここでｋ１は任意の定数であり、例えば１．５という数値を使ってもよい。また、前記楕円体Ｑの長軸に関しても同様に長軸半径ｒ＝ｈ−ｋ２×ｒ１とした。ｋ２は任意の定数であり、例えば１．２という数値を使ってもよい。
【００２３】
したがって、一人の人物の状態は、（ｘ，ｙ，ｒ１，ｒ２，ｈ）の５つのパラメータにより表すことができる。また、複数の人物の状態を表す対象状態は、各人物の位置、大きさを表すベクトルＭ（人物モデル）を並べたものによって表すことも可能である。すなわち、カメラ１の内部・外部パラメータと複数の人物の状態を含んだ状態Ｓは、以下の式２で表される。
【００２４】
【数２】
【００２５】
ここで状態Ｓを構成する人物ｋの位置、大きさ、形を表す人物モデルＭkは、以下の式３で表される５次元ベクトルである。
【００２６】
【数３】
【００２７】
ただし、ここで人物モデルＭkを構成する５つのパラメータは、前述の人物の形状を近似したモデルのパラメータである。
【００２８】
以上により、もしカメラ１の内部・外部パラメータおよび複数の対象の状態を含む状態Ｓが既知であるならば、非特許文献１の方法と同様にしてシルエット画像のシミュレーションを行うことが可能であることは自明である。
【００２９】
本発明は、この状態Ｓを予測し、シルエット画像のシミュレーションを行い、実際のシルエット画像と比較し、整合性を評価することで、予測された状態Ｓの評価を行う。
【００３０】
本発明の基本原理は、以上の処理を確率統計状態分布推定法の一種であるＭＣＭＣ（Ｍａｒｋｏｖ Ｃｈａｉｎ Ｍｏｎｔｅ Ｃａｒｌｏ）法を用いることで、正しいパラメータの組み合わせを表す状態Ｓを推定することである。この基本原理は、本発明の実施形態に係るカメラ校正装置に反映されている。
【００３１】
（２）具体的な実施形態
つぎに図４〜図１０に基づき本発明の実施形態を説明する。図４は、本発明の実施形態に係るカメラ構成装置１０の構成例を示している。このカメラ構成装置１０は、物体の画像を取得する画像取得手段１１とネットワーク接続されているものとする。
【００３２】
この画像取得手段１１は、各時刻に撮影された画像データを取得する手段、即ち前記カメラ１に相当する。詳細に述べれば、デジタルカメラやビデオカメラなどでとらえた物体の画像をデジタル信号に変換する画像センサなどで構成されている。ここでも撮影対象の物体（１又は複数の人物・動物など）は、同一平面上に存在しているものとする。
【００３３】
具体的には、前記カメラ校正装置１０は、コンピュータにより構成され、前記画像取得手段１１から時系列に画像データが入力される。ここでは前記カメラ校正装置１０は、コンピュータのハードウェア資源（ＣＰＵ，メモリ，ハードディスクドライブ装置，通信インタフェースなど）とソフトウェアとの協働の結果、シルエット画像作成手段１２，エッジ画像作成手段１３，パラメータ推定手段１４として機能している。
【００３４】
前記シルエット画像作成手段１２は、入力された画像データから対象物体の写っている領域だけを抽出したシルエット画像を作成する。前記エッジ画像作成手段１３は、入力された画像データからエッジを抽出したエッジ画像を作成する。
【００３５】
前記パラメータ推定手段１４は、前記シルエット画像の作成手段１２によって作成されたシルエット画像を用いて、前記状態Ｓを推定する。すなわち、シルエット画像中に存在する物体数・物体の大きさ・物体の三次元位置と、前記画像取得手段１１の内部・外部パラメータ（焦点距離ｆ・三次元位置（０，０，Ｔｚ）およびＸ軸とＹ軸周りの回転角で表される姿勢（φ，θ））とを推定する。この推定結果は、モニタやプリンタなどに出力される。以下、図５のチャートに基づき前記カメラ校正装置１０の処理ステップ（Ｓ５０１〜Ｓ５０４）を説明する。
【００３６】
Ｓ５０１：処理が開始されると、前記画像取得手段１１から撮影画像のデータ（Ｉｍ）が通信インタフェース経由で入力される（Ｓ５０１）。この実施形態では一例としてネットワーク経由で入力されることを前提に説明するが、前記画像データ（Ｉｍ）を取得できれば取得手段の如何は問わないものとする。
【００３７】
Ｓ５０２：前記シルエット画像作成手段１２によって、Ｓ５０１で入力された画像データ（Ｉｍ）に対し、シルエット画像（Ｓｉｌ）を作成する。シルエット画像は、撮影した画像の対象物体が写っている領域の輝度値が１、他の領域が０である２値画像であり、図６（ａ）は入力画像の一例を示し、図６（ｂ）はシルエット画像の一例を示している。このようなシルエット画像は、背景差分法やフレーム間差分法などの周知な方法を利用することで簡単に生成することができる。
【００３８】
Ｓ５０３：前記エッジ画像作成手段１３によって、Ｓ５０１で入力された画像データ（Ｉｍ）に対し、エッジ画像を作成する。ここではエッジは垂直方向、水平方向を検出し、垂直方向Ｅｈおよび水平方向Ｅｖを成分とする（Ｅｈ，Ｅｖ）を各画素ごと保存し、これをエッジ画像とする。
【００３９】
このエッジ画像の生成はよく知られたＳｏｂｅｌオペレータ等を用いて簡単に生成することができる。一例として図７（ａ）は入力画像を示し、図７（ｂ）は垂直エッジ検出画像を示し、図７（ｃ）は水平エッジ検出画像を示している。なお、Ｓ５０２．Ｓ５０３で作成したシルエット画像・エッジ画像はメモリ（ＲＡＭ）やハードディスクドライブ装置に記憶・保存してもよい。
【００４０】
Ｓ５０４：前記パラメータ推定手段１４によって、Ｓ５０２で作成されたシルエット画像（Ｓｉｌ）を用いて、画像中に存在する物体の数、三次元位置、大きさ、前記画像取得手段１１におけるカメラの内部・外部パラメータ[カメラの焦点距離ｆ、三次元位置（０，０，Ｔｚ）、Ｘ軸・Ｙ軸周りの回転角で表される姿勢（φ，θ）]を含む状態Ｓを推定する。
【００４１】
以下、図８のフローチャートに基づきＳ５０４の具体的な処理内容（Ｓ６０１〜Ｓ６０７）を説明する。ここでは状態Ｓの推定は、複数回、（Ｂ＋Ｐ）回の反復計算によって生成される（Ｂ＋Ｐ）個の状態候補を用いて行われる。また、初期状態をＳ’0，ｎ回目の反復計算において生成された状態候補をＳ’nと表すことにする。最初のＢ回に生成された状態候補は捨て、最後のＰ回に得られた状態候補は全て等確率で起こりうると考えパラメータを推定する。これは最初のほうに生成された状態候補は初期状態Ｓ’0に大きく依存していると考えられるためである。
【００４２】
そして、更新回数（ｎ＝１）として処理が開始される。Ｓの初期状態は、任意であるが、例えば、次のように設定することができる。（ｆ，Ｔｚ，φ，θ）＝（Ｘ＿ＳＩＺＥ，２００，０．０，０．０）、人物の状態を空集合とする。すなわちＳ＝（Ｘ＿ＳＩＺＥ，２００，０．０，０．０）である。ただし、Ｘ＿ＳＩＺＥは入力画像の水平方向の大きさである。
【００４３】
Ｓ６０１：変化タイプの選択を行う。変化タイプとは対象状態を変化させる処理のタイプを表すものであり、次の７種類から成る。
【００４４】
１：人物の追加，２：人物の消去，３：人物の位置変更，４：人物の大きさ変更，５：焦点距離変更，６：カメラ位置変更，７：カメラ姿勢変更。
【００４５】
まず現在の状態として人物が含まれていない場合には必ず（１：人物の追加）が選択される。それ以外の場合には各タイプが選ばれる確率を予め任意に設定しておき、確率的に４つのタイプから選択を行う。例えば（ｐ１，ｐ２，ｐ３，ｐ４，ｐ５，ｐ６，ｐ７）＝（０．０５，０．０５，０．２，０．２，０．１，０．２，０．２）というように設定することができる（ｐｉはタイプｉが選択される確率）。
【００４６】
Ｓ６０２：Ｓ６０１において選択された変化タイプに従い、状態候補Ｓ*を生成する。以下で変化タイプ別に処理を説明する。
【００４７】
＜１：人物の追加＞
人物の追加が選ばれた場合には新たにモデルパラメータの設定を行う必要がある。例えばこれは文献１に記載の次の方法を用いてもよい。
【００４８】
まず人物に近似する楕円体の大きさを表すパラメータｒ１、ｒ２およびｈに関しては、人物の大きさに関する経験的な事前知識（３ｍを超える身長の人はいないなど）から取り得る値の範囲を制限することができる。ここではこの範囲を
ｒ１：ｒ１min≦ｒ１≦ｒ１max
ｒ２：ｒ２min≦ｒ２≦ｒ２max
ｈ：ｈmin≦ｈ≦ｈmax
とし、この条件下で一様乱数を発生させることで、ｒ１、ｒ２、ｈのパラメータを新たに生成することができる。
【００４９】
頭部位置（ｘ，ｙ）に関するパラメータは、以下のようにして生成することが可能である。まず水平方向の頭部位置ｘを生成する。図９に示すように人物は画像上で垂直方向に立っているように撮影されていることを仮定すると、ある位置ｘにおいて垂直方向に対象だけが写っているシルエット画像（Ｓｉｌ）を足し合わせれば人物の頭部が存在する位置において、この値Ｖが高くなる。ある位置ｘにおける足し合わせ量Ｖ（ｘ）は、以下の式４で表され、これを画像上の全てのｘにおいて計算する。
【００５０】
【数４】
【００５１】
ただし、Ｓｉｌ（ｘ，ｙ）はシルエット画像のｘ行ｙ列成分、Ｙは画像の垂直方向サイズを示す。このＶ（ｘ）を水平方向の頭部位置確率分布とするために、画像上の全てのｘのＶ（ｘ）の総和が１．０となるように正規化を行い、生成された水平方向の頭部位置確率分布Ｖ（ｘ）に従った位置ｘを抽出する。これは例えば次のようにして実現可能である。すなわち、０．０〜１．０の間の一様乱数を利用して、値ｖａｌを得る。そして、Ｖ（ｘ）をｘ＝０から順に値ｓｕｍに足し合わせていき、初めてｓｕｍ≧ｖａｌとなったときのｘを抽出することで実現可能である。
【００５２】
つぎに垂直方向の頭部位置ｙを生成する。すでに人物に近似する楕円体の大きさを表すパラメータは生成されているので、これとカメラの内部・外部パラメータ（ｆ，Ｔｚ，，φ，θ）を用いて投影行列Ｐを計算し、人物頭部を表す部分の楕円体（以下、頭部モデルとする。）を画像上に投影することができる。図１０に示すように頭部モデル上におけるエッジ検出画像（Ｅｖ，Ｅｈ）の値を足し合わせて平均を取った値をＷ（ｙ）とすると、人物頭部付近で大きくなる。Ｗ（ｙ）の計算は、以下の式５で計算する。
【００５３】
【数５】
【００５４】
ただし、ＨＬは頭部輪郭長、ｎ（ｉ）は頭部モデルの法線ベクトル、ｇ（ｉ）＝（Ｅｖ（ｉ），Ｅｈ（ｉ））で頭部輪郭におけるエッジ検出画像の値を要素とする勾配ベクトルである。
【００５５】
画像上の全てのｙでＷ（ｙ）を計算し、最後にこれを位置ｘにおける垂直方向の頭部位置確率分布となるように、Ｗ（ｙ）の総和を１．０とする正規化を行い、垂直方向の頭部位置確率分布Ｗ（ｙ）に従って位置ｙを抽出する。これは水平方向と同様の方法で抽出することが可能である。
【００５６】
以上のようにして新しいモデルパラメータＭnを生成することができる。暫定的な状態候補Ｓ*はＳ’n-1に新たな対象状態Ｍnを追加した状態となる。
【００５７】
＜２：人物の消去＞
人物の消去が選択された場合には、まず前回生成された状態候補Ｓ’n-1からランダムに対象を選択する。すなわち、Ｋ個の対象があった場合には各々の対象が１／Ｋの確率で選択されることになる。つぎに選択された対象Ｍkを消去する。暫定的な状態候補Ｓ*はＳ’n-1から対象状態Ｍkを消去した状態となる。
【００５８】
＜３：人物の位置変更＞
人物の位置変更が選択された場合には、まず前回生成された状態候補Ｓ’n-1からランダムに対象を選択する。すなわち、Ｋ個の対象があった場合には各々の対象が１／Ｋの確率で選択されることになる。つぎに選択されたＭkの要素の内、人物の二次元平面上での位置（ｘk，ｙk）から、次の式６に従って変化させた暫定的な位置（ｘ’k，ｙ’k）を計算する。
【００５９】
【数６】
【００６０】
ただし、δx，δyはそれぞれ一次元のガウスノイズであり、そのパラメータは実験的に任意の値に決めることができる。Ｍ’kを以下の式７のように定義する。
【００６１】
【数７】
【００６２】
暫定的な状態候補Ｓ*はＳ’n-1の対象状態ＭkをＭ’kに更新した状態となる。
【００６３】
＜４：人物の大きさ変更＞
人物の大きさ変更が選択された場合には、まず前回生成された状態候補Ｓ’n-1からランダムに対象を選択する。すなわち、Ｋ個の対象があった場合には各々の対象が１／Ｋの確率で選択されることになる。つぎに選択されたＭkの要素の内、人物に近似する楕円体の半径ｒ１、半径ｒ２および高さｈを表す（ｒ１k，ｒ２k，ｈk）から次の式８に従って変化させた暫定的な形、大きさのパラメータ（ｒ１’k，ｒ２’k，ｈ’k）を計算する。
【００６４】
【数８】
【００６５】
ただし、δr1，δr2，δhはそれぞれ一次元のガウスノイズであり、そのパラメータは実験的に任意の値に決めることができる。この暫定的な形、大きさのパラメータを用いてＭ’kを以下の式９のように定義する。
【００６６】
【数９】
【００６７】
暫定的な状態候補Ｓ*はＳ’n-1の対象状態ＭkをＭ’kに更新した状態となる。
【００６８】
＜５：焦点距離変更＞
焦点距離変更が選択された場合には、カメラの焦点距離パラメータをｆから次の式１０に従って変化させた暫定的な焦点距離ｆ’に更新する。
【００６９】
【数１０】
【００７０】
ただし、δfは一次元のガウスノイズであり、そのパラメータは実験的に任意の値に決めることができる。
【００７１】
＜６：カメラ位置変更＞
カメラ位置変更が選択された場合には、カメラの位置パラメータをＴｚから次の式１１に従って変化させた暫定的なカメラ位置Ｔｚ’に更新する。
【００７２】
【数１１】
【００７３】
ただし、δTzは一次元のガウスノイズであり、そのパラメータは実験的に任意の値に決めることができる。
【００７４】
＜７：カメラ姿勢変更＞
カメラ姿勢変更が選択された場合には、カメラの姿勢パラメータを（φ，θ）から次の式１２に従って変化させた暫定的なカメラ姿勢回転角（φ’，θ’）で更新する。
【００７５】
【数１２】
【００７６】
ただし、δΦ，δΘはそれぞれ一次元のガウスノイズであり、そのパラメータは実験的に任意の値に決めることができる。
【００７７】
Ｓ６０３：Ｓ６０２の暫定的な状態候補Ｓ*を用いて、Ｓ５０３において作成されたシルエット画像（Ｓｉｌ）をシミュレートした画像、即ちシミュレーション画像（Ｓｉｍ）を作成する。ここで三次元空間に存在する物体のカメラ画像上への投影関係を表す投影行列Ｐはパラメータ（ｆ，Ｔｚ，φ，θ）より計算できる。
【００７８】
この関係を利用すると画像上の二次元座標値（ｘ，ｙ）に投影される平面上に直立する高さｈの物体の平面上の二次元座標値（Ｘ，Ｙ）を計算することが可能である。これにより三次元空間内にＳ６０２で計算された暫定的な対象状態Ｓ*に基づいた楕円体で構成された三次元モデルを複数配置することができる。
【００７９】
以上のように生成された仮想シーンを仮想カメラへ投影することで、シミュレーション画像を作成する。画像上の楕円体領域の値を１、それ以外の領域の値を０とする２値画像とすることで、シルエット画像（Ｓｉｌ）をシミュレートしたシミュレーション画像（Ｓｉｍ）を作成することができる。
【００８０】
Ｓ６０４：Ｓ６０２の暫定的な対象状態Ｓ*が、尤もらしいか否かを判断するために、尤度Ｌを計算する。これは事前知識による対象状態自体の確からしさの判定およびＳ５０３で作成されたシルエット画像（Ｓｉｌ）とＳ６０３で生成されたシミュレーション画像（Ｓｉｍ）の比較により行う。
【００８１】
ここで事前知識による対象状態自体の確からしさの判定は、人物同士が三次元空間上で重なることがないという条件である。いま、人物を楕円体モデルで近似しているため、個々の楕円体が重ならない条件、即ち異なる二つの楕円体の中心同士の距離が、二つの楕円体の半径の和より大きいことを満たす必要がある。
【００８２】
二人の人物同士が三次元空間上で重ならないようにするために、次の式１３で表された距離Ｒ、即ち二人の人物を表す楕円体の中心同士の距離に応じたペナルティ関数Ｅ（Ｓ*）を設定する。
【００８３】
【数１３】
【００８４】
ただし、Ｘk，Ｙkはシミュレーション画像生成の際に計算した三次元空間上での人物ｋの平面上の位置Ｘ座標、Ｙ座標を示す。楕円体の距離が近くなるとペナルティを与える関数Ｅは、例えば以下の式１４のように設定できる。ただしαは定数で、実験的に任意に設定可能である。
【００８５】
【数１４】
【００８６】
つぎにシルエット画像（Ｓｉｌ）とＳ６０３で生成されたシミュレーション画像（Ｓｉｍ）の比較について説明する。これは例えば以下の式１５の評価式によって計算を行うことができる。ただし、（ｕ，ｖ）は画像のｕ行ｖ列成分を示す。
【００８７】
【数１５】
【００８８】
最終的に暫定状態Ｓ*の尤度Ｌは、式１６によって表される積演算によって計算される。
【００８９】
【数１６】
【００９０】
このような尤度を用いることで、三次元空間上での人物位置の確からしさと二次元画像上での追跡を融合することが可能となる。
【００９１】
Ｓ６０５：Ｓ６０４で計算された尤度Ｌを用いて、暫定状態候補Ｓ*を受け入れるか、もしくは拒否するかの演算を行う。これは受け入れ拒否判断確率Ａの計算によって決定する。受け入れ拒否判断確率Ａは、例えば以下の式１２により計算することが可能である。
【００９２】
【数１７】
【００９３】
ここで現在ｎ回目の更新だとすると、Ｌ’はｎ−１回目の候補状態Ｓ’n-1の尤度を表す。すなわち、前回の状態よりも今回の状態のほうが、尤度が高ければ必ず受け入れ、もし前回の状態よりも尤度が低ければ、Ｌ／Ｌ’の確率で暫定状態Ｓ*を採用する。
【００９４】
ここで暫定状態Ｓ*が採用されれば、Ｓ’n＝Ｓ*とし、採用が拒否されればＳ’n＝Ｓ’t,n-1として、Ｓ６０６の条件判断ステップへと進む。
【００９５】
Ｓ６０６：更新処理が規定の回数行われたかの判断が行われる。更新回数ｎが任意に決定できる定数ＢとＰの和で表されるＢ＋Ｐ回を超えていれば反復計算処理を終了し、Ｓ６０７の対象状態の推定ステップへと進む。
【００９６】
逆に更新回数ｎが、Ｂ＋Ｐ回を越えていなければＳ６０１に戻って再度処理を繰り返す。なお、更新処理の規定回数はプログラムなどに定義されているものとする。
【００９７】
Ｓ６０７：最大確率を持つ状態の計算を行う。反復計算により生成された状態候補のうち、最後のＰ個の状態は全て等確率で起こると仮定しているため、最大確率を持つ状態Ｓは、以下の式１８によって計算することができる。
【００９８】
【数１８】
【００９９】
このようにして計算した状態Ｓが、三次元空間中に存在する１又は複数の物体や人物を撮影することで各々の物体の数、位置、大きさと、撮影に利用された前記画像取得手段１１におけるカメラの内部・外部パラメータとを含む推定結果である。
【０１００】
この推定結果には、カメラの内部・外部パラメータを含んでいることから、該パラメータの計測が容易となる。また、ここで計算された状態Ｓは、三次元空間上での人物位置の確からしさが最も高いことから、ここに含まれたカメラの内部・外部パラメータは、適切なパラメータとしてカメラキャリブレーションなどに利用され、作業の簡素化などに役立てることができる。
【０１０１】
特に、これまではカメラの内部・外部パラメータの計測には、訓練を受けた熟練者にしか計測ができないといった問題点があったが、前記カメラ構成装置１０によれば、画像から自動的に推定されることから、カメラなどの画像取得手段１１を設置するだけで、画像に写る対象の三次元位置の推定や追跡といった応用が可能となる。
【０１０２】
なお、Ｓ６０１〜Ｓ６０６の際の中間データは、適宜にメモリ（ＲＡＭ）やハードディスクドライブ装置に記憶・保存され、また式４〜式１８はプログラムなどに定義されているものとする。
【０１０３】
本発明は、前記実施形態に限定されるものではなく、例えばＳ６０４のシルエット画像とシミュレーション画像の比較に式１５ではなく、画像間の類似度を取る評価関数を用いてもよい。この評価関数には単純な積演算を利用しても同様にＳ６０４の処理が実現できる。
【０１０４】
また、本発明は、前記カメラ校正装置１０の各手段１２〜１４の一部もしくは全部として、コンピュータを機能させるプログラムとしても構成することができる。この場合には、Ｓ５０１〜Ｓ５０４．Ｓ６０１〜Ｓ６０７の全てのステップあるいは一部のステップをコンピュータに実行させる。
【０１０５】
このプログラムは、Ｗｅｂサイトや電子メールなどネットワークを通じて提供することができる。また、前記プログラムは、ＣＤ−ＲＯＭ，ＤＶＤ−ＲＯＭ，ＣＤ−Ｒ，ＣＤ−ＲＷ，ＤＶＤ−Ｒ，ＤＶＤ−ＲＷ，ＭＯ，ＨＤＤ，Ｂｌｕ−ｒａｙ Ｄｉｓｋ（登録商標）などの記録媒体１０に記録して、保存・配布することも可能である。この記録媒体１０は、記録媒体駆動装置を利用して読み出され、そのプログラムコード自体が前記実施形態の処理を実現するので、該記録媒体も本発明を構成する。
（３）実施例
以下、前記カメラ校正装置１０を用いて、ビデオカメラから得られた映像を処理して、撮影された人物を利用して、追跡した結果を図５の処理フローを用いて述べる。まず処理が開始されると、カメラ画像の取得を行い（Ｓ５０１）、シルエット画像とエッジ画像とを作成する（Ｓ５０２，Ｓ５０３）。図１１（ａ）はビデオカメラからの入力画像を示し、図１１（ｂ）は背景差分法を用いて作成したシルエット画像を示し、図１１（ｃ）（ｄ）はＳｏｂｅｌオペレータを用いて作成したエッジ画像を示している。
【０１０６】
つぎにＳ５０４にてパラメータの推定を行う。ここでは状態候補を逐次生成させながらその状態をシミュレートしたシミュレーション画像の作成を行って、その評価を行う。図１１（ｅ）は計算された最大確率を取る対象状態を表現したシミュレーション画像を示し、図１１（ｆ）はその対象状態を俯瞰した図を示している。図１１（ｆ）によれば、人物の三次元的な位置関係が正しく推定されていることが分かる。ここではカメラの内部・外部パラメータが正確に推定されていなければ、人物の三次元的な位置関係も正しく推定できないため、カメラの内部・外部パラメータの推定結果の正確性も示している。
【０１０７】
以上述べた処理により本実施例では人物が撮影された画像から自動的に人物の三次元位置・物体数・物体の大きさおよびビデオカメラの焦点距離、位置、姿勢といったパラメータの推定結果が出力される。
【符号の説明】
【０１０８】
１．１１…画像の取得手段（カメラ）
１０…カメラ校正装置
１２…シルエット画像作成手段
１３…エッジ画像作成手段
１４…パラメータ推定手段
【特許請求の範囲】
【請求項１】
物体の撮影画像から撮影に利用しているカメラの内部・外部パラメータを求めるカメラ校正装置であって、
前記カメラの撮影画像から物体の写っている領域を抽出したシルエット画像を作成するシルエット画像作成手段と、
前記物体の変化タイプに応じて予測した状態を、前記シルエット画像を利用して評価することで、前記カメラの内部・外部パラメータを推定するパラメータ推定手段と、
を備えることを特徴とするカメラ校正装置。
【請求項２】
前記パラメータ推定手段は、予め用意された物体の変化タイプを任意の確率に従って選択し、該選択された変化タイプに応じた状態候補を生成する手段と、
前記状態候補に基づいて、該状態候補と同じカメラ内部・外部パラメータを有する仮想カメラに投影し、前記シルエット画像をシミュレートしたシミュレーション画像を生成する手段と、
前記シルエット画像と前記シミュレーション画像の比較結果および事前知識に基づく対象状態自体の確からしさの判定結果から前記状態候補を評価する手段と、
を備えたことを特徴とする請求項１記載のカメラ校正装置。
【請求項３】
前記状態候補を評価する手段は、前記比較結果と前記判定結果とを演算した評価値を求める手段と、
前記評価値を基準に前記状態候補を最終的な変化状態として受け入れるか否かを判断する手段と、を備え、
前記最終的な変化状態から前記カメラの内部・外部パラメータを推定することを特徴とする請求項２記載のカメラ校正装置。
【請求項４】
前記物体の状態を楕円体モデルの集合で表し、モデル頭頂部の画像上での二次元座標値と、頭部に近似する楕円体の短軸と、身体に近似する楕円体の短軸と、身長を示すモデルの高さで人物を表すことを特徴とする請求項１〜３のいずれか１項に記載のカメラ校正装置。
【請求項５】
物体の撮影画像から撮影に利用しているカメラの内部・外部パラメータを求めるカメラ校正方法であって、
シルエット画像作成手段が、前記カメラの撮影画像から物体の写っている領域を抽出したシルエット画像を作成する第１ステップと、
パラメータ推定手段が、前記物体の変化タイプに応じて予測した状態を、前記シルエット画像を利用して評価することで、前記カメラの内部・外部パラメータを推定する第２ステップと、
を有することを特徴とするカメラ校正方法。
【請求項６】
前記第２ステップは、予め用意された物体の変化タイプを任意の確率に従って選択し、該選択された変化タイプに応じた状態候補を生成するステップと、
前記状態候補に基づいて、該状態候補と同じカメラ内部・外部パラメータを有する仮想カメラに投影し、前記シルエット画像をシミュレートしたシミュレーション画像を生成するステップと、
前記シルエット画像と前記シミュレーション画像の比較結果および事前知識に基づく対象状態自体の確からしさの判定結果から前記状態候補を評価するステップと、
を有することを特徴とする請求項５記載のカメラ校正方法。
【請求項７】
前記状態候補を評価するステップは、前記比較結果と前記判定結果とを演算した評価値を求めるステップと、
前記評価値を基準に前記状態候補を最終的な変化状態として受け入れるか否かを判断するステップと、を有し、
前記最終的な変化状態から前記カメラの内部・外部パラメータを推定することを特徴とする請求項６記載のカメラ校正方法。
【請求項８】
前記物体の状態を楕円体モデルの集合で表し、モデル頭頂部の画像上での二次元座標値と、頭部に近似する楕円体の短軸と、身体に近似する楕円体の短軸と、身長を示すモデルの高さで人物を表すことを特徴とする請求項５〜７のいずれか１項に記載のカメラ校正方法。
【請求項９】
請求項１〜４のいずれか１項に記載のカメラ校正装置として、コンピュータを機能させることを特徴とするカメラ校正プログラム。
【請求項１０】
請求項９記載のカメラ校正プログラムを記録したことを特徴とする記録媒体。
【請求項１】
物体の撮影画像から撮影に利用しているカメラの内部・外部パラメータを求めるカメラ校正装置であって、
前記カメラの撮影画像から物体の写っている領域を抽出したシルエット画像を作成するシルエット画像作成手段と、
前記物体の変化タイプに応じて予測した状態を、前記シルエット画像を利用して評価することで、前記カメラの内部・外部パラメータを推定するパラメータ推定手段と、
を備えることを特徴とするカメラ校正装置。
【請求項２】
前記パラメータ推定手段は、予め用意された物体の変化タイプを任意の確率に従って選択し、該選択された変化タイプに応じた状態候補を生成する手段と、
前記状態候補に基づいて、該状態候補と同じカメラ内部・外部パラメータを有する仮想カメラに投影し、前記シルエット画像をシミュレートしたシミュレーション画像を生成する手段と、
前記シルエット画像と前記シミュレーション画像の比較結果および事前知識に基づく対象状態自体の確からしさの判定結果から前記状態候補を評価する手段と、
を備えたことを特徴とする請求項１記載のカメラ校正装置。
【請求項３】
前記状態候補を評価する手段は、前記比較結果と前記判定結果とを演算した評価値を求める手段と、
前記評価値を基準に前記状態候補を最終的な変化状態として受け入れるか否かを判断する手段と、を備え、
前記最終的な変化状態から前記カメラの内部・外部パラメータを推定することを特徴とする請求項２記載のカメラ校正装置。
【請求項４】
前記物体の状態を楕円体モデルの集合で表し、モデル頭頂部の画像上での二次元座標値と、頭部に近似する楕円体の短軸と、身体に近似する楕円体の短軸と、身長を示すモデルの高さで人物を表すことを特徴とする請求項１〜３のいずれか１項に記載のカメラ校正装置。
【請求項５】
物体の撮影画像から撮影に利用しているカメラの内部・外部パラメータを求めるカメラ校正方法であって、
シルエット画像作成手段が、前記カメラの撮影画像から物体の写っている領域を抽出したシルエット画像を作成する第１ステップと、
パラメータ推定手段が、前記物体の変化タイプに応じて予測した状態を、前記シルエット画像を利用して評価することで、前記カメラの内部・外部パラメータを推定する第２ステップと、
を有することを特徴とするカメラ校正方法。
【請求項６】
前記第２ステップは、予め用意された物体の変化タイプを任意の確率に従って選択し、該選択された変化タイプに応じた状態候補を生成するステップと、
前記状態候補に基づいて、該状態候補と同じカメラ内部・外部パラメータを有する仮想カメラに投影し、前記シルエット画像をシミュレートしたシミュレーション画像を生成するステップと、
前記シルエット画像と前記シミュレーション画像の比較結果および事前知識に基づく対象状態自体の確からしさの判定結果から前記状態候補を評価するステップと、
を有することを特徴とする請求項５記載のカメラ校正方法。
【請求項７】
前記状態候補を評価するステップは、前記比較結果と前記判定結果とを演算した評価値を求めるステップと、
前記評価値を基準に前記状態候補を最終的な変化状態として受け入れるか否かを判断するステップと、を有し、
前記最終的な変化状態から前記カメラの内部・外部パラメータを推定することを特徴とする請求項６記載のカメラ校正方法。
【請求項８】
前記物体の状態を楕円体モデルの集合で表し、モデル頭頂部の画像上での二次元座標値と、頭部に近似する楕円体の短軸と、身体に近似する楕円体の短軸と、身長を示すモデルの高さで人物を表すことを特徴とする請求項５〜７のいずれか１項に記載のカメラ校正方法。
【請求項９】
請求項１〜４のいずれか１項に記載のカメラ校正装置として、コンピュータを機能させることを特徴とするカメラ校正プログラム。
【請求項１０】
請求項９記載のカメラ校正プログラムを記録したことを特徴とする記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１０−１８７１３０（Ｐ２０１０−１８７１３０Ａ）
【公開日】平成２２年８月２６日（２０１０．８．２６）
【国際特許分類】
【出願番号】特願２００９−２９０８２（Ｐ２００９−２９０８２）
【出願日】平成２１年２月１０日（２００９．２．１０）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成２２年８月２６日（２０１０．８．２６）
【国際特許分類】
【出願日】平成２１年２月１０日（２００９．２．１０）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]