画像処理装置、方法、及び画像表示装置
【課題】対象物の三次元位置を高精度で算出する。
【解決手段】実施形態の画像処理装置は、実施形態の画像処理装置は、第１取得部、第２取得部、第１設定部、第２設定部、第１算出部、及び第２算出部を備える。第１取得部は、対象物が複数の位置から撮像された複数の撮像画像を取得する。第２取得部は、前記対象物の仮三次元位置と、前記対象物の仮サイズを取得する。第１設定部は、実空間における前記仮三次元位置の近傍に少なくとも１つの探索候補点を設定する。第２設定部は、前記探索候補点を前記撮像画像に射影した射影位置毎に、前記対象物を探索するための探索窓であって、前記探索候補点の位置と前記仮サイズとに基づくサイズの前記探索窓を設定する。第１算出部は、前記探索窓内において、前記対象物が含まれるかどうかを示す評価値を算出する。第２算出部は、前記評価値に基づいて前記対象物の三次元位置を算出する。
【解決手段】実施形態の画像処理装置は、実施形態の画像処理装置は、第１取得部、第２取得部、第１設定部、第２設定部、第１算出部、及び第２算出部を備える。第１取得部は、対象物が複数の位置から撮像された複数の撮像画像を取得する。第２取得部は、前記対象物の仮三次元位置と、前記対象物の仮サイズを取得する。第１設定部は、実空間における前記仮三次元位置の近傍に少なくとも１つの探索候補点を設定する。第２設定部は、前記探索候補点を前記撮像画像に射影した射影位置毎に、前記対象物を探索するための探索窓であって、前記探索候補点の位置と前記仮サイズとに基づくサイズの前記探索窓を設定する。第１算出部は、前記探索窓内において、前記対象物が含まれるかどうかを示す評価値を算出する。第２算出部は、前記評価値に基づいて前記対象物の三次元位置を算出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、画像処理装置、方法、及び画像表示装置に関する。
【背景技術】
【０００２】
撮像画像における対象物の位置を検出し、検出位置から対象物の三次元位置を推定する方法として、パーティクルフィルタを用いた技術が知られている。パーティクルフィルタでは、追跡対象を、状態量と尤度を持つ多数の仮設群により離散的な確率密度として表現する。そして、状態遷移モデルを用いて伝播させることで、動きの変動やノイズの影響を抑制した追跡を実現する。
【０００３】
パーティクルフィルタを用いた方法では、ステレオ画像から局所特徴の三次元座標を算出し、その三次元座標の近傍に仮設群となる三次元座標サンプル点を設定する。そして、三次元座標サンプル点をステレオ画像上に射影した二次元座標サンプル点を仮説群として評価することで、局所特徴の三次元位置を推定している。
【０００４】
また、三次元位置に三次元座標サンプル点を仮設群として生成するパーティクルフィルタを用い、人物頭部を一定の大きさの楕円体モデルと仮定する方法が開示されている。この開示では、この楕円体を各撮像画像上に射影した際の大きさを探索窓とし、探索窓内に人物頭部が存在する確率を示す尤度を各仮説の尤度として算出する。そして、各仮説の尤度から、人物頭部の三次元位置を推定している。また、探索窓を使用した探索方法が知られている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１１−９０４６５公報
【０００６】
【非特許文献１】小林貴訓、他６名、「カスケード型識別機を用いたパーティクルフィルタによる人物三次元追跡」画像の認識・理解シンポジウム（ＭＩＲＵ２００６）、２００６年７月
【非特許文献２】Ｐａｕｌ Ｖｉｏｌａ ａｎｄ Ｍｉｃｈａｅｌ Ｊｏｎｅｓ，“Ｒａｐｉｄ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ ｕｓｉｎｇ ａ Ｂｏｏｓｔｅｄ Ｃａｓｃａｄｅ ｏｆ Ｓｉｍｐｌｅ Ｆｅａｔｕｒｅｓ”ＩＥＥＥ ｃｏｎｆ． ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ（ＣＶＰＲ ２００１）
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、単にパーティクルフィルタを用いた方法では、探索窓サイズを得ることができず、探索法を適用することができない。また、楕円体モデルを用いる方法では、探索窓サイズが一定の人物から定まるサイズであるため、対象物の個体差を吸収することができなかった。
【０００８】
本発明が解決しようとする課題は、対象物の三次元位置を高精度で算出することができる、画像処理装置、方法、及び画像表示装置を提供することである。
【課題を解決するための手段】
【０００９】
実施の形態の画像処理装置は、第１取得部、第２取得部、第１設定部、第２設定部、第１算出部、及び第２算出部を備える。第１取得部は、対象物が複数の位置から撮像された複数の撮像画像を取得する。第２取得部は、前記対象物の仮三次元位置と、前記対象物の仮サイズを取得する。第１設定部は、実空間における前記仮三次元位置の近傍に少なくとも１つの探索候補点を設定する。第２設定部は、前記探索候補点を前記撮像画像に射影した射影位置毎に、前記対象物を探索するための探索窓であって、前記探索候補点の位置と前記仮サイズとに基づくサイズの前記探索窓を設定する。第１算出部は、前記探索窓内において、前記対象物が含まれるかどうかを示す評価値を算出する。第２算出部は、前記評価値に基づいて前記対象物の三次元位置を算出する。
【図面の簡単な説明】
【００１０】
【図１】実施の形態１の画像表示装置の図。
【図２】実施の形態１の表示装置の図。
【図３】実施の形態１の表示部の模式図。
【図４】実施の形態１の三次元座標系を示す図。
【図５】実施の形態１の画像処理装置の図。
【図６】実施の形態１の取得処理のフローチャート。
【図７】実施の形態１のピンホールカメラモデルを示す図。
【図８】実施の形態１の探索窓と対象物の幅の一例の図。
【図９】実施の形態１の算出処理のフローチャート。
【図１０】実施の形態１の算出手順の図。
【図１１】実施の形態２の画像処理装置の図。
【図１２】実施の形態２の算出処理のフローチャート。
【図１３】実施の形態３の視域の設定位置及び設定範囲の制御の図。
【図１４】実施の形態３の視域の設定位置及び設定範囲の制御の図。
【図１５】実施の形態３の視域の設定位置及び設定範囲の制御の図。
【図１６】実施の形態３の視域の設定位置及び設定範囲の制御の図。
【図１７】実施の形態３の画像表示装置の図。
【発明を実施するための形態】
【００１１】
（実施の形態１）
本実施の形態の画像処理装置は、視聴者が裸眼で立体画像を観察可能なＴＶ（テレビ）、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、スマートフォン、デジタルフォトフレーム等の画像表示装置に用いられ得る。立体画像とは、互いに視差を有する複数の視差画像を含む画像である。なお、実施の形態で述べる画像とは、静止画又は動画のいずれであってもよい。
【００１２】
図１は、本実施の形態の画像表示装置１０の概略図である。画像表示装置１０は、表示装置１４、撮像装置１６、及び画像処理装置１２を備える。
【００１３】
図２は、表示装置１４の概略図である。図２に示すように、表示装置１４は、立体画像を表示する表示部２１を備える。立体画像とは、互いに視差を有する複数の視差画像を含む画像である。表示部２１は、例えば、インテグラル・イメージング方式（ＩＩ方式）や多眼方式等の３Ｄディスプレイ方式を採用する。
【００１４】
表示部２１は、表示パネル２０と、光線制御部２２と、を備える。表示パネル２０は、色成分を有する複数のサブ画素（例えば、Ｒ、Ｇ、Ｂ）を、第１方向（例えば、図１における行方向（左右））と第２方向（例えば、図１における列方向（上下））とに、マトリクス状に配列した液晶パネルである。この場合、第１方向に並ぶＲＧＢ各色のサブ画素が１画素を構成する。また、隣接する画素を視差の数だけ第１方向に並べた画素群に表示される画像を要素画像２４と称する。表示装置１４のサブ画素の配列は、他の公知の配列であっても構わない。また、サブ画素は、ＲＧＢの３色に限定されない。例えば、４色以上であってもよい。
【００１５】
表示パネル２０には、直視型２次元ディスプレイ、例えば、有機ＥＬ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）やＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＰＤＰ（Ｐｌａｓｍａ Ｄｉｓｐｌａｙ Ｐａｎｅｌ）、投射型ディスプレイなどを用いる。また、表示パネル２０は、バックライトを備えた構成でもよい。
【００１６】
光線制御部２２は、表示パネル２０に対して間隔を隔てて対向して配置されている。光線制御部２２は、表示パネル２０の各サブ画素からの光線の出射方向を制御する。光線制御部２２は、光線を出射するための光学的開口部が直線状に延伸し、当該光学的開口部が第１方向に複数配列されたものである。光線制御部２２には、例えば、シリンドリカルレンズが複数配列されたレンチキュラーシート、スリットが複数配列されたパララックスバリア等を用いる。光学的開口部は、表示パネル２０の各要素画像２４に対応して配置される。
【００１７】
図３は、表示部２１を視聴者が視認した状態を示す模式図である。表示パネル２０に複数の要素画像２４を表示する。すると、表示パネル２０には、複数の視差方向に対応した視差画像群（多視差画像）が表示される。この多視差画像による光線は、光線制御部２２の各光学的開口部を透過する。そして、視域内に位置する視聴者２６は、要素画像２４に含まれる異なる画素を、左目２６Ａおよび右目２６Ｂでそれぞれ観察することになる。このように、視聴者２６の左目２６Ａおよび右目２６Ｂに対し、視差の異なる画像をそれぞれ表示させることで、視聴者２６が立体画像を観察することができる。
【００１８】
図１に戻り、撮像装置１６は、実空間に位置する対象物を撮像する。対象物は、後述する画像処理装置１２において三次元位置及びサイズの算出対象とする物体である。
【００１９】
撮像装置１６には、公知の撮像装置を用いる。本実施の形態では、画像表示装置１０は、複数の撮像装置１６を備える。これらの撮像装置１６は、互いに異なる位置に設置されている。本実施の形態では、例えば、表示部２１の水平方向一端部に撮像装置１６Ａを設置し、表示部２１の水平方向他端部に撮像装置１６Ｂを設置する。また、表示部２１の水平方向中央部に撮像装置１６Ｃを設置する。なお、各撮像装置１６Ａ〜撮像装置１６Ｃの設置位置は、これらの位置に限られない。また、画像表示装置１０の備える撮像装置１６の数は、複数であればよく、３個に限られない。また、本実施の形態では、撮像装置１６Ａ〜撮像装置１６Ｃを総称して説明する場合には、単に撮像装置１６と称して説明する。
【００２０】
画像処理装置１２は、対象物の実空間における三次元位置、及びサイズを算出する。本実施の形態において、三次元位置とは、実空間における三次元位置座標を示す。また、後述する二次元位置とは、二次元位置座標を示す。
【００２１】
なお、本実施の形態では、実空間上における三次元座標系を、以下のように定義する。図４は、本実施の形態における三次元座標系を示す模式図である。図４に示すように、本実施の形態では、実空間上における、画像表示装置１０に設けられた複数の撮像装置１６の位置の重心位置を原点Ｏとする。そして、原点Ｏを通る水平方向をＸ軸とする。また、原点Ｏを通り且つ撮像装置１６の撮像方向を正とする方向をＺ軸とする。また、Ｘ軸Ｚ軸平面に対して垂直で且つ原点Ｏを通り、撮像装置１６の反重力方向を正とする方向をＹ軸とする。これらのＸ軸、Ｚ軸、及びＹ軸によって定まる座標系を、本実施の形態では、実空間上における三次元座標系として説明する。なお、実空間上における座標の設定方法はこれに限定されない。また、撮影画像の左上を原点とし、水平右方向に正とするｘ軸、垂直下方向に正とするｙ軸を設定する。
【００２２】
また、画像処理装置１２では、探索法を用いて、対象物の仮三次元位置、仮サイズ、三次元位置、及びサイズを算出する。対象物の三次元位置とは、対象物の実空間上における実際の位置を示す。対象物のサイズとは、対象物の実際のサイズを示す。対象物の仮三次元位置とは、後述する三次元位置の算出方法とは異なる方法で得た対象物の仮の位置である。対象物の仮サイズとは、後述するサイズの算出方法とは異なる方法で得た対象物の仮のサイズである。なお、対象物の仮三次元位置、仮サイズ、三次元位置、及びサイズの算出方法の詳細は後述する。
【００２３】
本実施の形態では、対象物が人物の正面顔であり、対象物の撮像画像が人物の顔を正面側から撮像した顔画像であるとする。この場合には、探索法として、Ｐａｕｌ Ｖｉｏｌａ ａｎｄ Ｍｉｃｈａｅｌ Ｊｏｎｅｓ，“Ｒａｐｉｄ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ ｕｓｉｎｇ ａ Ｂｏｏｓｔｅｄ Ｃａｓｃａｄｅ ｏｆ Ｓｉｍｐｌｅ Ｆｅａｔｕｒｅｓ”ＩＥＥＥ ｃｏｎｆ． ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ（ＣＶＰＲ ２００１）（上記、非特許文献２）に開示された探索法を用いる。
【００２４】
この探索法は、探索窓内の画像に対していくつかの矩形特徴を求め、それぞれの特徴に対する弱識別器を直列につないだ強識別器によって、正面顔であるかどうかを判定する方法である。
【００２５】
画像処理装置１２で探索法を用いる場合には、探索法を行う各機能部（詳細後述）に、パターン識別器（図示省略）を備えた構成とすればよい。パターン識別器は、複数の弱識別器を直列に接続したカスケード構造の識別器であって、非特許文献２に開示されたカスケード型ＡｄａＢｏｏｓｔベース識別器である。
【００２６】
具体的には、パターン識別器は、入力された撮像画像に対して、カスケードの各段の弱識別器で顔、非顔の判定を行い、顔と判定された画像のみを次段の弱識別器へと進める。そして、最後の弱識別器を通過した画像を最終的に顔画像と判定する。
【００２７】
カスケードの各段を構成する強識別器は、複数の弱識別器を直列につないだ構成である。各弱識別器では、探索窓内の画像に対して求めた矩形特徴を用いて評価を行う。
【００２８】
ここで、ｘを探索窓の画像内における２次元座標位置ベクトルとしたときの、位置ベクトルｘにおいての、ある弱識別器ｎの出力は、下記式（１）によって示される。
【００２９】
【数１】
【００３０】
式（１）中、ｈｎ（ｘ）は弱識別器ｎの出力を示し、ｆｎ（ｘ）は弱識別器ｎの判定関数を示す。また、式（１）中、ｐｎは不等号の等号の向きを定めるために、１またはー１となる数を示し、θｎは各弱識別器ｎに対して予め定められている閾値を示す。例えばθｎは、識別器作成の際の学習において設定される。
【００３１】
また、Ｎ個の弱識別器を直列につないだ構成の強識別器の出力は、下記式（２）によって示される。
【００３２】
【数２】
【００３３】
式（２）中、Ｈ（ｘ）は、Ｎ個の弱識別器を直列につないだ構成の強識別器の出力を示す。また、式（２）中、αｎは予め定められている弱識別器ｎの重みを示し、ｈｎは式（１）で表した弱識別器ｎの出力を示す。例えばαｎは、識別器作成の際の学習において設定される。
【００３４】
なお、パターン識別器を通過した画像について、顔らしさを表す尤度ｌ（ｘ）を算出するためには、下記式（３）を用いる。
【００３５】
【数３】
【００３６】
式（３）中、ａは、識別器作成の際の学習において生成される重みを表す定数である。また、式（３）中、Ｈ（ｘ）は、強識別器の出力を示す。
【００３７】
なお、対象物は必ずしも一定の方向から撮影されるわけではない。例えば、横方向や斜め方向から撮影する場合も考えられる。このような場合には、画像処理装置１２を、横顔を検出するためのパターン識別器を備えた構成とする。なお、画像処理装置１２において探索法を用いる各機能部は、対象物の１つないし複数の姿勢の各々に対応するパターン識別器を備えた構成であるものとする。
【００３８】
次に、画像処理装置１２について詳細に説明する。図５は、画像処理装置１２の機能的構成を示すブロック図である。
【００３９】
図５に示すように、画像処理装置１２は、第１取得部３０、第２取得部３２、第１設定部３４、及び推定部３６を備える。
【００４０】
第１取得部３０は、複数の撮像装置１６の各々から、対象物の撮像画像を取得する。第１取得部３０は取得した複数の撮像画像を、推定部３６へ出力する。
【００４１】
第２取得部３２は、実空間における対象物の仮の三次元位置座標である仮三次元位置と、実空間における対象物の仮のサイズである仮サイズを取得する。
【００４２】
第２取得部３２による、対象物の仮三次元位置、及び対象物の仮サイズの取得方法は、対象物の三次元位置及びサイズを取得する公知の方法であればよい。
【００４３】
例えば、第２取得部３２は、撮像装置１６による撮像画像を用いて、探索法により、対象物の仮三次元位置、及び対象物の仮サイズを取得する。
【００４４】
一例として、第２取得部３２が、ステレオカメラによる撮像画像を用いて、対象物の仮三次元位置及び仮サイズを取得する。なお、ステレオカメラによる撮像画像として、本実施の形態では、表示部２１の水平方向の両端部に設けられた撮像装置１６Ａの撮像画像と、撮像装置１６Ｂの撮像画像を用いる場合を説明する。また、説明の便宜上、撮像装置１６Ａをメインカメラ、撮像装置１６Ｂをサブカメラと称して説明する。なお、メインカメラ及びサブカメラの選定方法は、任意でよく、この選定に限られない。
【００４５】
図６は、第２取得部３２が実行する、対象物の仮三次元位置及び仮サイズの取得処理の手順の一例を示すフローチャートである。
【００４６】
第２取得部３２は、まず、メインカメラである撮像装置１６Ａから取得した撮像画像から、該撮像画像上における対象物の位置を検出する（ステップＳ１００）。この対象物の位置の検出には、上述した探索法を用いる。具体的には、第２取得部３２を、上記パターン識別器を備えた構成とする。そして、第２取得部３２では、撮像装置１６Ａから取得した撮像画像における、ある探索窓サイズの探索窓内の画像が対象物を含む画像であるかどうかをパターン識別器によって判定する。この探索窓サイズは、予め設定したサイズであってよい。また、この探索窓サイズは、予め第２取得部３２に記憶しておけばよい。そして、該探索窓を、撮像装置１６Ａから取得した撮像画像内で該画像全体に渡って走査し、各走査位置における判定結果を得る。また、第２取得部３２では、この走査を、サイズの異なる複数の探索窓サイズの探索窓を用いて行う。なお、このサイズの異なる複数の探索窓サイズは、予め設定し第２取得部３２に記憶しておけばよい。
【００４７】
そして、第２取得部３２は、撮像装置１６Ａから取得した撮像画像内の、各探索窓サイズで走査した各走査位置ベクトルｘにおける判定結果である強識別器の出力値Ｈ（ｘ）から、各探索窓サイズ及び各走査位置ベクトルｘにおける尤度ｌ（ｘ）を求める。この強識別器の出力値Ｈ（ｘ）及び、各探索窓サイズ及び各走査位置ｘベクトルにおける尤度ｌ（ｘ）は、上記式（２）及び式（３）を用いて算出する。さらに、第２取得部３２は、最も尤度ｌ（ｘ）の高い走査位置ベクトルｘの探索窓サイズの探索窓内の中心位置を、撮像装置１６Ａから取得した撮像画像上における対象物の位置、すなわち二次元位置座標として検出する。
【００４８】
次に、第２取得部３２は、サブカメラである撮像装置１６Ｂから取得した撮像画像から、該撮像画像上における対象物の位置を検出する（ステップＳ１０２）。この検出には、上述した探索法を用いる。すなわち、撮像装置１６Ｂから取得した撮像画像を用いる以外は、ステップＳ１００と同様にして対象物の該撮像画像上における対象物の位置を検出する。
【００４９】
なお、ステップＳ１０２における探索窓による撮像画像の走査は、撮像画像全体の走査に限られない。例えば、サブカメラの撮像画像において、メインカメラ（撮像装置１６Ａ）と対象物とを結ぶ直線をサブカメラ（撮像装置１６Ｂ）の撮像画像に投影したエピポーラ線状に、対象物が撮像されているとする。この場合には、上記ステップＳ１０２における探索窓の走査範囲は、エピポーラ線上のみであってもよい。
【００５０】
次に、第２取得部３２は、対象物の仮三次元位置を算出する（ステップＳ１０４）。
【００５１】
ステップＳ１０４において、第２取得部３２は、メインカメラ（撮像装置１６Ａ）から取得した撮像画像上における対象物ｉの位置である二次元位置と、サブカメラ（撮像装置１６Ｂ）から取得した撮像画像上における対象物ｉの位置である二次元位置と、から、三角測量により、対象物の仮三次元位置を算出する。
【００５２】
なお、対象物ｉの仮三次元位置は、下記式（４）によって示される。
【００５３】
【数４】
【００５４】
メインカメラ（撮像装置１６Ａ）から取得した撮像画像上における対象物ｉの位置ベクトルｕｉ,ｌを、下記式（５）で示す。また、サブカメラ（撮像装置１６Ｂ）から取得した撮像画像上における対象物ｉの位置ベクトルｕｉ,ｒを、下記式（６）で示す。そして、対象物ｉの実空間上における位置座標を、下記式（７）のように同次座標系で表現する。すると、下記式（８）及び式（９）の関係式が得られる。
【００５５】
【数５】
【００５６】
【数６】
【００５７】
【数７】
【００５８】
なお、式（５）〜（７）中、Ｔは、転置を示す。また、式（５）中、ｘｌは、メインカメラ（撮像装置１６Ａ）の撮像画像における対象物ｉの二次元座標のｘ座標値を示す。また、式（５）中、ｙｌは、メインカメラ（撮像装置１６Ａ）の撮像画像における対象物ｉの二次元座標のｙ座標値を示す。
【００５９】
また、式（６）中、ｘｒは、サブカメラ（撮像装置１６Ｂ）の撮像画像における対象物ｉの二次元座標のｘ座標値を示す。また、式（６）中、ｙｒは、サブカメラ（撮像装置１６Ｂ）の撮像画像における対象物ｉの二次元座標のｙ座標値を示す。
【００６０】
また、式（８）中のαは、メインカメラ（撮像装置１６Ａ）の撮像時のカメラスケールを示す。式（９）中のβは、サブカメラ（撮像装置１６Ｂ）の撮像時のカメラスケールを示す。また、式（８）中のＰは、実空間（三次元座標系）上の点からメインカメラ（撮像装置１６Ａ）の撮像画像への射影行列を示す。また、式（９）中のＱは、実空間（三次元座標系）上の点からサブカメラ（撮像装置１６Ｂ）の撮像画像への射影行列を示す。なお、これらの射影行列は、事前に撮像装置１６のキャリブレーションを行う事で得られ、画像処理装置１２に予め記憶する。
【００６１】
そして、上記式（８）及び式（９）からα及びβを消去すると、下記式（１０）に示す連立方程式が得られる。
【００６２】
【数８】
【００６３】
そして、第２取得部３２は、式（１０）の左辺の行列の擬似逆行列を最小二乗法によって求めることで、対象物ｉの仮三次元位置を算出する。
【００６４】
次に、第２取得部３２は、ステップＳ１０４で算出した、対象物ｉの仮三次元位置と、ステップ１００において、もっとも尤度が大きくなった探索窓のサイズから、対象物ｉの仮サイズを算出する（ステップＳ１０６）。
【００６５】
第２取得部３２は、ステップＳ１０６の処理において、例えば、ピンホールカメラモデルを用いて対象物ｉの仮サイズを算出する。
【００６６】
図７は、ピンホールカメラモデルを示す模式図である。撮像装置１６のＸ軸方向の画角をθｘとし、撮像装置１６によって得られた撮像画像のＺ軸方向の焦点位置をＦとし、対象物ｉのＺ軸方向の位置をＺとする。すると、対象物ｉのＺ軸方向の位置と画角の端部とのＸ軸方向の距離であるＺＺ’は、下記式（１１）によって示される。また、ＺＺ’の範囲にピンホールカメラの撮影画像の水平解像度ｗｃの半分の画像が投影されていることを考えると、１画素当たりのＺＺ’上の長さは、下記式（１２）によって示される。
【００６７】
【数９】
【００６８】
式（１１）中、ＯＺは、撮像装置１６から対象物ｉまでのＺ軸方向の最短距離を示す。また、式（１２）中、ｗｃは、ピンホールカメラの撮影画像の水平解像度を示す。
【００６９】
すなわち、対象物ｉの仮三次元位置のＺ座標Ｚ~ｉと、ピンホールカメラの撮影画像の水平解像度ｗｃと、を用いて、第２取得部３２は、対象物ｉのＸ軸方向の仮サイズであるＷＸを、下記式（１３）によって算出する。同様にして、第２取得部３２は、対象物ｉのＹ軸方向の仮サイズであるＷＹを、下記式（１４）によって算出する。ここで、式（１３）の右辺ｗｘは、ステップ１００において、もっとも尤度が大きくなった探索窓のｘ軸方向の画素数を示す。をた、式（１４）の右辺ｗｙは、ステップ１００において、もっとも尤度が大きくなった探索窓のサイズのｙ軸方向の画素数を示す。
【００７０】
【数１０】
【００７１】
なお、上記では、撮像装置１６から対象物ｉまでのＺ軸方向の仮三次元位置のＺ座標値Ｚ〜ｉを、ステレオカメラを用いた三角測量によって求めた。しかし、撮像装置１６から対象物ｉまでのＺ軸方向の距離の算出方法は、この方法に限られない。例えば、撮像装置１６から対象物ｉまでのＺ軸方向の距離は、レーダーやセンサ等の他の機器を用いて計測してもよいし、公知の複数の方法によって得た計測値の平均値を用いてもよい。
【００７２】
図６に戻り、そして、第２取得部３２は、上記ステップＳ１０４で算出した、対象物ｉの仮三次元位置、及びステップＳ１０６で算出した、対象物ｉの仮サイズを、第１設定部３４へ出力し（ステップＳ１０８）、本ルーチンを終了する。
【００７３】
第２取得部３２が上記ステップＳ１００〜ステップＳ１０８の処理を実行することによって、第２取得部３２は、対象物ｉの仮三次元位置及び仮サイズを取得し、第１設定部３４へ出力する。
【００７４】
なお、第２取得部３２による仮三次元位置及び仮サイズの取得方法は、図６に示す処理に限られない。
【００７５】
例えば、１つの撮像装置１６から取得した撮像画像を用いた方法を採用してもよい。一例として、表示部２１の水平方向中央部に設けられた撮像装置１６Ｃの撮像画像を用いる場合を説明する。
【００７６】
この場合には、第２取得部３２は、まず、撮像装置１６Ｃの撮像画像上で、複数種類の探索窓サイズの探索窓を走査し、該撮像画像上における対象物の位置を検出する。この対象物の位置の検出方法は、上記ステップ１００及びステップＳ１０２と同様にして行えばよい。
【００７７】
図８は、Ｘ軸とＺ軸によって構成されるＸＺ平面上で検出された対象物の探索窓と、実空間上での対象物のＸ軸上の幅を示す図である。撮像装置１６ＣのＸ軸方向の画角をθｘとし、撮像装置１６Ｃによって得られた撮像画像のＺ軸方向の焦点位置をＦとし、対象物ｉのＺ軸方向の位置をＺとする。すると、図８中、ＡＡ’、ＢＢ’、ＯＦ、及びＯＺは、相似関係により、ＡＡ’：ＢＢ’＝ＯＦ：ＯＺの関係がある。なお、ＡＡ’は、撮像装置１６Ｃの撮像画像における探索窓のＸ軸方向の幅を示す。ＢＢ’は、対象物のＸ軸方向の実際の幅を示す。ＯＦは、撮像装置１６Ｃから焦点位置Ｆまでの距離を示す。ＯＺは、撮像装置１６Ｃから対象物の位置Ｚまでの距離を示す。
【００７８】
ここで、焦点位置Ｆから撮像画像の端部までの距離であるＦＦ’を、単眼カメラ（撮像装置１６Ｃ）の水平解像度の半分の値ｗｃ／２とする。すると、ＯＦ＝ＦＦ’／tan(θＸ／２）となる。
【００７９】
そして、撮像装置１６Ｃの撮像画像における探索窓のＸ軸方向の幅であるＡＡ’を、探索窓のｘ軸方向の画素数とする。ＢＢ’は、対象物のＸ軸方向の実際の幅であるが、対象物の平均的な大きさを仮定する。例えば、顔であれば、平均的な顔の横幅は、１４ｃｍと言われている。
【００８０】
よって、第２取得部３２は、撮像装置１６Ｃから対象物までの距離であるＯＺを、下記式（１５）によって算出する。
【００８１】
【数１１】
【００８２】
すなわち、第２取得部３２は、対象物の仮の三次元位置のＺ座標を、撮像装置１６Ｃの撮像画像における探索窓の画素数によって示される幅に基づいて求める。
【００８３】
また、図８中、ＡＦ、ＢＺ、ＯＦ、及びＯＺは、相似関係により、ＡＦ：ＢＺ＝ＯＦ：ＯＺの関係を示す。なお、ＡＦは、撮像装置１６Ｃの撮像画像における探索窓のＸ軸方向端部Ａから焦点位置Ｆまでの距離を示す。また、ＢＺは、対象物のＸ軸方向の端部Ｂから対象物のＺ軸方向における位置Ｚまでの距離を示す。
【００８４】
このため、第２取得部３２は、ＢＺを求めることで、対象物の仮の三次元位置のＸ座標を求める。そして、Ｙ軸Ｚ軸によるＹＺ平面についても同様にして、第２取得部３２は、対象物の仮の三次元位置のＹ座標を求める。
【００８５】
このようにして、第２取得部３２は、１つの撮像装置１６Ｃから取得した撮像画像を用いて、対象物の仮三次元位置を得てもよい。
【００８６】
なお、１つの撮像装置１６Ｃから取得した撮像画像を用いる場合には、上記のように、対象物の平均的な大きさを予め設定する必要がある。このため、１つの撮像装置１６Ｃから取得した撮像画像を用いて対象物の仮サイズを算出する方法は、ステレオカメラによる撮像画像を用いる場合に比べて算出精度が低い。そこで、１つの撮像装置１６Ｃから取得した撮像画像を用いて対象物の仮サイズを算出する場合には、画像表示装置１０にさらに測距離計を備えた構成とすればよい。そして、測距計を用いて対象物のＺ座標を用いれば、対象物の平均的な大きさを予め設定する必要がないため、高精度の仮サイズを得ることができる。
【００８７】
なお、第２取得部３２における、対象物の仮サイズ及び仮三次元位置の取得方法は、上記方法に限られない。
【００８８】
図５に戻り、第２取得部３２は、対象物の仮三次元位置及び対象部の仮サイズを第１設定部３４へ出力する。
【００８９】
第１設定部３４は、第２取得部３２から、対象物の仮三次元位置及び対象物の仮サイズを取得する。そして、第１設定部３４は、実空間における仮三次元位置の近傍に、１または複数の探索候補点を設定する。探索候補点とは、実空間における対象物の実際の位置を推定する候補となる点である。そして、第１設定部３４は、設定した探索候補点と、第２取得部３２から受け付けた対象物の仮三次元位置及び仮サイズを、推定部３６へ出力する。なお、実空間における仮三次元位置の近傍とは、仮三次元位置の周辺の予め定めた範囲内を示す。
【００９０】
第１設定部３４は、例えば、ガウシアンによって定義されるランダムウォークモデルに従って、第２取得部３２から取得した仮三次元位置の近傍に探索候補点を設定する。
【００９１】
具体的には、第１設定部３４は、三次元ガウス分布Ｎ（μ、Ｓ）に従った乱数によって、第２取得部３２から取得した仮三次元位置の近傍に探索候補点を設定する。ここで、μは対象物の仮三次元位置を表す三次元ベクトルである。Ｓは、上記乱数の発生範囲を示す。具体的には、この範囲Ｓは、式（１６）で示す行列で示される。
【００９２】
【数１２】
【００９３】
式（１６）中、σＸは、３次元ガウス分布のＸ軸方向への広がり度合い（Ｘ軸方向の標準偏差）を示し、σＹは、３次元ガウス分布のＹ軸方向への広がり度合い（Ｙ軸方向の標準偏差）を示し、σＺは、３次元ガウス分布のＺ軸方向への広がり度合い（Ｚ軸方向の標準偏差）を示す。
【００９４】
式（１６）中、σＸが大きい値であるほど、ガウシアンのＸ軸方向の広がりが大きくなる。すなわち、σＸが大きい値であるほど、Ｘ軸方向への探索候補点の出現範囲が広がるため、対象物の早い動きに対応できる。しかし、σＸが大きい値であるほど、探索候補点が疎になるため、対象物の位置推定精度が低下するおそれがある。σＹ、σＺについても同様である。
【００９５】
そこで、本実施の形態では、第１設定部３４は、第１取得部３０で取得する撮像画像のフレームレートが小さければ小さいほど、式（１６）中のσＸ、σＹ、σＺとして、より小さな値を設定する。これは、第１取得部３０で取得する撮像画像のフレームレートが小さければ小さいほど、撮影間隔が短く対象物の移動が小さいと考えられるためである。この場合には、第１取得部３０から、撮像画像のフレームレートを示す情報を第１設定部３４で取得すればよい。また、第１設定部３４では、撮像画像のフレームレートに対応づけて、フレームレートが小さいほど小さい値のσＸ、σＹ、σＺを示す情報を予め記憶すればよい。
【００９６】
または、第１設定部３４は、第２取得部３２で取得した仮三次元位置の推定精度が低ければ低いほど、式（１６）中のσＸ、σＹ、σＺとして、より大きな値を設定する。仮三次元位置の推定精度が低いとは、例えば、仮三次元位置の推定方法として、精度の低い推定精度を用いた場合である。また、仮三次元位置の推定精度が低いとは、撮像画像の検出環境が悪い、すなわち撮像画像にノイズが含まれる場合も挙げられる。撮像画像にノイズが含まれる場合とは、例えば、対象物を暗い環境下で撮像した場合等である。また、仮三次元位置の推定精度が低いとは、対象物の高速移動により、対象物に焦点のあっていない撮像画像を取得した場合も挙げられる。そこで、第２取得部３２は、予め、仮三次元位置の推定精度に寄与するこれらの因子に対応する、σＸ、σＹ、σＺの値を予め記憶する。そして、これらの因子の１または複数を得るための検知装置等の取得部を更に設けた構成とし、該取得部から得られた情報に基づいて該因子を特定し、特定した因子に対応するσＸ、σＹ、σＺを用いればよい。
【００９７】
または、第１設定部３４は、上記式（１６）におけるσＸ、σＹを、各々ＷＸ、ＷＹとしてもよい。ＷＸとは、対象物の仮のサイズのＸ軸上での大きさを示す。またＷＹとは、対象物の仮のサイズのＹ軸上での大きさを示す。
【００９８】
また、上記例では、第１設定部３４は、第２取得部３２から取得した対象物の仮三次元位置μを中心とした範囲Ｓに、探索候補点を設定する場合を説明した。しかし、探索候補点の設定方法は、この方法に限られない。例えば、第１設定部３４は、第２取得部３２から取得した対象物の仮三次元位置μにランダム値を加算した１または複数の位置を仮三次元位置とし、これらの仮三次元位置を中心として、範囲Ｓ内に探索候補点を設定してもよい。また、上記では、対象物の動きは、ランダムウォークに従うとして説明したが、動きに関する前提知識があれば、その動きモデルに従った探索候補点を設定してもよく、ランダムウォークに限られない。
【００９９】
推定部３６は、対象物の複数の撮像画像を第１取得部３０から取得する。また、推定部３６は、１つないし複数の三次元位置座標を示す探索候補点と、第２取得部で得た対象物の仮サイズを含むサンプル点データを第１設定部３４から取得する。そして、推定部３６は、対象物の三次元位置及び対象物のサイズを算出し、表示装置１４へ出力する。
【０１００】
推定部３６は、第２設定部３８、第１算出部４０、第２算出部４２、及び第３算出部４４を備える。
【０１０１】
第２設定部３８は、第１取得部３０から取得した各撮像画像に対して探索候補点を射影した射影位置（二次元位置）毎に、対象物を探索するための探索窓であって、該探索候補点の位置と前記仮サイズとに基づくサイズの該探索窓を設定する。
【０１０２】
第１算出部４０は、第１取得部３０から取得した撮像画像の各々における、探索候補点ｉを射影した射影位置毎に、設定した探索窓内に対象物が含まれるかどうかの度合を示す評価値を算出する。なお本実施の形態では、この評価値として、探索窓内に対象物が含まれているか否かを示す探索候補点ｉの尤度ｌｉ（第１尤度）を用いる。
【０１０３】
第３算出部４４は、複数の撮像画像の各々における、探索候補点ｉを射影した射影位置毎に算出した評価値に基づいて、該射影位置に対応する実空間上の探索候補点ｉに対象物が存在する度合を示す尤度Ｌｉ（第２尤度）を算出する。
【０１０４】
第２算出部４２は、実空間上の探索候補点毎に算出した第２尤度に基づいて、実空間上における対象物の三次元位置、及び対象物のサイズを算出する。
【０１０５】
次に、推定部３６が実行する、対象物の三次元位置及び対象物のサイズの算出処理の手順を説明する。図９は、推定部３６が実行する、対象物の三次元位置及び対象物のサイズの算出処理の手順を示すフローチャートである。
【０１０６】
推定部３６は、ステップＳ２００〜ステップＳ２０８の処理を、第１設定部３４から受け付けた探索候補点の数分、繰り返し実行する。
【０１０７】
まず、第２設定部３８が、１つの探索候補点（以下、探索候補点ｉと称する）を、第１取得部３０から取得した複数の撮像画像の各々上に射影した射影探索候補点ｊの射影位置を算出する（ステップＳ２００）。なお、各々の撮像装置１６では、カメラキャリブレーションが予めおこなわれており、三次元位置を撮像画像上に射影する射影行列は、予め第２設定部３８に記憶されているものとする。
【０１０８】
そして、第２設定部３８は、探索候補点ｉのＺ座標、及び対象物の仮サイズから、射影探索候補点ｊの射影位置毎に探索窓サイズを算出する（ステップＳ２０２）。
【０１０９】
第２設定部３８によるステップＳ２０２の探索窓サイズの算出処理を、図８を用いて説明する。まず、対象物の仮サイズを撮像画像上に射影した場合の大きさを（以下、基準探索窓サイズ）求める。上述したように、相似関係から、図８中におけるＡＡ’：ＢＢ’＝ＯＦ：ＯＺの関係を用いる。ここで、ＢＢ’は、対象物の仮サイズを示す。ＯＦは、上述したように、撮像装置１６の解像度と画角から算出する。また、ＯＺは、探索候補点ｉのＺ座標である。このため、これらの値から、第２設定部３８は、基準探索窓サイズであるＡＡ’を算出する。この基準探索窓サイズを、探索候補点ｉの探索窓サイズとする。
【０１１０】
また、第２設定部３８は、探索候補点ｉの探索窓サイズを求める際に、対象物の基準探索窓サイズを用いて、以下の式（１７）によって示される確率密度関数に従った乱数によって探索窓サイズを求める。
【０１１１】
【数１３】
【０１１２】
式（１７）中、ｗＯは基準探索窓サイズである。また、式（１７）中、σＷは、上記乱数のちらばりの大きさを示し、第２取得部３２による仮サイズの推定精度が高いほど、小さい値を予め設定する。
【０１１３】
第２取得部３２による仮サイズの推定精度が高いとは、例えば、仮サイズの推定方法として、精度の高い推定精度を用いた場合である。また、仮サイズの推定精度が高いとは、撮像画像の検出環境が良好、すなわち撮像画像に含まれるノイズが少ない場合である。撮像画像に含まれるノイズが少ない場合とは、例えば、対象物を明るい環境下で撮像した場合等である。また、仮サイズの推定精度が高い場合には、対象物に焦点のあった撮像画像を取得した場合も含まれる。そこで、第２取得部３２は、予め、仮サイズの推定精度に寄与するこれらの因子に対応する、σＷの値を予め記憶する。そして、これらの因子の１または複数を得るための検知装置等の取得部を更に設けた構成とし、該取得部から得られた情報に基づいて該因子を特定し、特定した因子に対応するσＷを用いればよい。
【０１１４】
そして、第２設定部３８では、上記と同様にして、生成した１つないし複数の乱数の探索窓を求める。つまり、探索候補点ｉの三次元位置座標を持ち、探索窓サイズが異なる探索候補点ｉ−１〜ｉ−ｎが新たに生成されることになる（ｎは１以上の整数）。
【０１１５】
図９に戻り、推定部３６では、これらのｎ個のサンプル点ｉ−ｎそれぞれに対して、下記ステップＳ２０４〜ステップＳ２０８の処理を行えばよい。
【０１１６】
次に、第１算出部４０が、第１取得部３０から取得した撮像画像の各々における、探索候補点ｉを射影した射影探索候補点ｊの射影位置毎に評価値を算出する（ステップＳ２０４）。本実施の形態では、上述のように、第１算出部４０は、評価値として尤度ｌｉ、ｊを算出する。第１算出部４０は、この尤度ｌｉ、ｊの算出を、第１取得部３０から取得したすべての撮像画像、つまりすべてのｊに対して行う。
【０１１７】
第１算出部４０は、具体的には、この尤度ｌｉ−ｊを、上記探索法を用いて算出する。すなわち、第１算出部４０は、上記式（１）〜式（３）を用いて尤度ｌｉを算出する。
【０１１８】
次に、第３算出部４４が、上記ステップＳ２０４で射影位置毎に算出された評価値（尤度ｌｉ−ｊ）に基づいて、射影位置に対応する実空間上の探索候補点ｉに対象物が存在する度合を示す尤度Ｌｉを算出する（ステップＳ２０６）。
【０１１９】
第３算出部４４は、尤度Ｌｉの算出方法として、種々の算出方法を用いる。例えば、第３算出部４４は、下記式（１８）を用いて、尤度Ｌｉを算出する。
【０１２０】
【数１４】
【０１２１】
式（１８）中、Πは総乗を示し、Ｍは画像表示装置１０に搭載された撮像装置１６の台数を示す。
【０１２２】
このとき、ある射影探索候補点ｊにおける尤度ｌｉ−ｊがゼロであったときには、第３算出部４４は、探索候補点ｉにおける尤度Ｌｉをゼロとして出力する。これにより、第３算出部４４は、まだ計算していない尤度算出処理を省略することが可能である。
【０１２３】
また、第３算出部４４は、尤度ｌｉ−ｊの平均値を尤度Ｌｉとして算出してもよい。
【０１２４】
【数１５】
【０１２５】
式（１９）中、Ｍは画像表示装置１０に搭載された撮像装置１６の台数を示す。
【０１２６】
また、第３算出部４４は、尤度ｌｉ−ｊの最大値、尤度ｌｉ−ｊの中央値、または尤度ｌｉ−ｊの重み付け中央値を、尤度Ｌｉとして算出してもよい。また、第３算出部４４は、上記尤度Ｌｉの複数種類の算出方法を組み合わせ、各種類の算出方法によって得た値の平均値や、各種類の算出方法によって得た値の中央値を、尤度Ｌｉとして算出してもよい。
【０１２７】
また、第３算出部４４では、尤度Ｌｉとして、実空間上の探索候補点ｉに対象物が存在する度合を示す尤度Ｌｉを算出したが、逆に対象物でない尤度を計算し１から減算することによって対象物らしさの尤度Ｌｉとしてもよい。
【０１２８】
次に、第３算出部４４が、探索候補点ｉの尤度Ｌｉを求める際に使用した探索窓サイズλｉ、及び探索候補点ｉの三次元位置Ｐｉを記憶する（ステップＳ２０８）。なお、Ｐは、三次元位置を表すベクトルである。
【０１２９】
すべての探索候補点について、上記ステップＳ２００〜ステップＳ２０８の処理を行うと、第２算出部４２が、対象物の三次元位置Ｐ、及び対象物のサイズを算出する（ステップＳ２１０）。
【０１３０】
ステップＳ２１０の処理において、第２算出部４２は、上記ステップＳ２０８で記憶された、対象物の探索候補点ｉの三次元位置Ｐｉ、尤度Ｌｉ、及び尤度Ｌｉを求める際に使用した探索窓サイズλｉを用いて、対象物の三次元位置Ｐ、及び対象物のサイズを算出する。
【０１３１】
第２算出部４２が、対象物の三次元位置Ｐを求める方法は複数ある。例えば、第２算出部４２は、各探索候補点の尤度Ｌｉを重みとし、各探索候補点の三次元位置の重み付き平均として、対象物の三次元位置Ｐを算出する。この場合、第２算出部４２は、対象物の三次元位置Ｐを、下記式（２０）を用いて算出する。
【０１３２】
【数１６】
【０１３３】
式（２０）中、Ｋは、正規化定数であり、式（２１）で示される。また、それぞれの式中のＩは、探索候補点すべてを含む集合を表す。
【０１３４】
【数１７】
【０１３５】
なお、第２算出部４２が、対象物の三次元位置Ｐを算出する方法は、上記方法に限られない。例えば、下記方法Ａ〜方法Ｆが挙げられる。
【０１３６】
方法Ａは、すべての探索候補点のうち、尤度Ｌｉが最大になる探索候補点の三次元座標を、対象物の三次元位置Ｐとして算出する方法である。方法Ｂは、すべての探索候補点のうち、尤度Ｌｉが中央値となる探索候補点の三次元座標を、対象物の三次元位置Ｐとして算出する方法である。方法Ｃは、すべての探索候補点の内、これらの探索候補点の尤度Ｌｉの平均値に最も近い探索候補点の三次元座標を、対象物の三次元位置Ｐとして算出する方法である。方法Ｄは、すべての探索候補点の尤度Ｌｉの内、予め定めた閾値以上の尤度Ｌｉの探索候補点を抽出し、抽出した探索候補点の尤度Ｌｉの平均値を、対象物の三次元位置Ｐとして算出する方法である。方法Ｅは、すべての探索候補点の尤度Ｌｉの内、予め定めた閾値以上の尤度Ｌｉの探索候補点を抽出し、抽出した探索候補点の尤度Ｌｉを重みとした探索候補点の座標の重み付き平均を、対象物の三次元位置Ｐとして算出する方法である。方法Ｆは、すべての探索候補点の尤度Ｌｉの内、予め定めた閾値以上の尤度Ｌｉの探索候補点を抽出し、抽出した探索候補点の尤度Ｌｉの中央値に対応する探索候補点の三次元座標を、対象物の三次元位置Ｐとして算出する方法である。
【０１３７】
また、第２算出部４２は、上記方法を組み合わせて、その平均や中央値等を、対象物の三次元位置Ｐとして算出してもよい。
【０１３８】
第２算出部４２が、対象物のサイズを算出する方法についても、複数の方法が挙げられる。例えば、下記方法Ｇ〜方法Ｍが挙げられる。
【０１３９】
方法Ｇは、対象物のサイズλを、第１設定部３４で設定した探索候補点の尤度Ｌｉの重みとし、各探索候補点の探索窓サイズの重み付き平均として求める方法である。この場合、λは、下記式（２２）によって算出する。
【０１４０】
【数１８】
【０１４１】
式（２２）中、Ｉは、探索候補単すべてを含む集合を表す。また、式（２２）中、Ｋは、正規化定数であり、上記式（２１）で示される。
【０１４２】
また、方法Ｈは、第１設定部３４が設定した全ての探索候補点の内、尤度Ｌｉが最大の探索候補点の探索窓サイズを、対象物のサイズλとする方法である。方法Ｉは、第１設定部３４が設定した全ての探索候補点の内、尤度Ｌｉが中央値の探索候補点の探索窓サイズを対象物のサイズλとする方法である。方法Ｊは、第１設定部３４が設定した全ての探索候補点の内、尤度Ｌｉの平均値に最も近い探索候補点の探索窓サイズを対象物のサイズλとする方法である。また、方法Ｋは、第１設定部３４が設定した全ての探索候補点の内、予め定めた閾値以上の尤度Ｌｉを有する探索候補点を抽出し、抽出した探索候補点の探索窓サイズの平均を対象物のサイズλとする方法である。方法Ｌは、第１設定部３４が設定した全ての探索候補点の内、予め定めた閾値以上の尤度Ｌｉを有する探索候補点を抽出し、抽出した探索候補点の探索窓サイズの重み付き平均値を対象物のサイズλとする方法である。方法Ｍは、第１設定部３４が設定した全ての探索候補点の内、予め定めた閾値以上の尤度Ｌｉを有する探索候補点を抽出し、抽出した探索候補点の尤度Ｌｉの中央値を示す探索候補点の探索窓サイズを対象物のサイズλとする方法である。
【０１４３】
次に、推定部３６は、上記ステップＳ２１０で算出した、対象物の三次元位置、及び対象物のサイズを、表示装置１４へ出力した後に（ステップＳ２１２）、本ルーチンを終了する。
【０１４４】
なお、ステップＳ２１０で算出した、対象物の三次元位置、及び対象物のサイズの出力先は、表示装置１４に限られない。例えば、画像処理装置１２を、有線通信網または無線通信網を介して、各種外部装置と接続した構成とする。各種外部装置としては、例えば、公知の記憶媒体や、パーソナルコンピュータや、携帯端末等が挙げられる。そして、推定部３６は、上記ステップＳ２１０で算出した、対象物の三次元位置及び対象物のサイズを、この各種外部装置に出力してもよい。
【０１４５】
図１０は、尤度Ｌｉの算出手順の模式図である。第２取得部３２が対象物の仮三次元位置及び仮サイズを取得することによって、図１０（Ａ）に示すように、画像処理装置１２は、実空間における、対象物Ｑの仮三次元位置Ｚ及び仮サイズを取得する。第１設定部３４は、仮三次元位置Ｚの周辺の予め定められた領域Ｓ内に、１または複数の探索候補点Ｉを設定する。図１０（Ｂ）に示すように、推定部３６の第２設定部３８では、１つの探索候補点Ｉに対応する、撮像画像９０１〜撮像画像９０３上の射影位置ｉ毎の探索窓５０１〜５０３の探索窓サイズを算出する。そして、第１算出部４０が、射影位置ｉ毎の評価値である尤度ｌ１〜ｌ３を設定する。第３算出部４４は、算出された尤度ｌ１〜ｌ３に基づいて、仮三次元位置Ｚの尤度Ｌｉを算出する。そして、第２算出部４２が、対象物の三次元位置及びサイズを算出する。
【０１４６】
以上説明したように、本実施の形態の画像処理装置１２では、第１取得部３０、第２取得部３２、第１設定部３４、第２設定部３８、第１算出部４０、第２算出部４２を備える。第１取得部３０は、対象物の複数の撮像画像を取得する。第２取得部３２は、対象物の仮三次元位置及び対象物の仮サイズを取得する。第１設定部３４は、実空間における仮三次元位置の周辺の予め定めた範囲内に探索候補点を設定する。第２設定部３８は、複数の撮像画像の各々について、撮像画像上の探索候補点に対応する射影位置と仮サイズとから、該射影位置毎の探索窓サイズを設定する。そして、第１算出部４０は、複数の撮像画像の各々における該射影位置毎に、設定した探索窓サイズの探索窓内に対象物が含まれる度合を示す評価値を算出する。第２算出部４２は、複数の撮像画像の各々における、該射影位置毎の評価値に基づいて、対象物の三次元位置を算出する。
【０１４７】
このように、本実施の形態の画像処理装置１２では、探索法によって撮像画像内の対象物を探索するときに、第２設定部３８が、複数の撮像画像の各々について、対象物の仮三次元位置の近傍の探索候補点に対応する、撮像画像上の射影位置と、仮サイズとから、該射影位置毎の探索窓サイズを設定する。このように、探索候補点を撮像画像上に射影した射影位置と、対象物の仮サイズとから、該射影位置毎の探索窓サイズを設定するので、対象物の個体差による三次元位置算出精度の低下を抑制することができる。
【０１４８】
従って、本実施の形態の画像処理装置１２は、精度よく、対象物の三次元位置を算出することができる。また、画像処理装置１２は、精度よく、対象物のサイズを算出することができる。
【０１４９】
さらに、本実施の形態の画像処理装置１２では、探索候補点を撮像画像上に射影した射影位置と、対象物の仮サイズとから、該射影位置毎の探索窓サイズを設定するので、より高速かつ効率的に、対象物の三次元位置及びサイズを算出することができる。
【０１５０】
（実施の形態２）
本実施の形態では、本実施の形態では、推定部３６で前に算出した対象物の三次元位置及び対象物のサイズを、次の算出時の仮三次元位置及び仮サイズとして用いる。
【０１５１】
図１１は、本実施の形態の画像処理装置１２Ａの機能的構成を示すブロック図である。
【０１５２】
画像処理装置１２Ａは、第１取得部３０、第２取得部３２、第１設定部３５、切替部３９、及び推定部３７を備える。推定部３７は、第２設定部３８、第１算出部４０、第２算出部４２、及び第３算出部４４を備える。
【０１５３】
なお、第１取得部３０、第２取得部３２、第２設定部３８、第１算出部４０、第２算出部４２、及び第３算出部４４は、実施の形態１で説明した画像処理装置１２と同様であるため説明を省略する。
【０１５４】
なお、本実施の形態では、第２取得部３２は、対象物の仮サイズ及び対象物の仮三次元位置を、第１設定部３４に代えて切替部３９へ出力する。また、本実施の形態では、推定部３７は、第２算出部４２で算出した対象物の三次元位置及び対象物のサイズを、表示装置１４へ出力する。また、推定部３７は、対象物の仮のサイズとして第２算出部４２で算出した対象物のサイズと、推定部３７で新たに生成し直したすべての探索候補点の三次元位置および探索サイズと、を含むサンプル点データを切替部３９へ出力する。
【０１５５】
切替部３９は、対象物の仮三次元位置及び仮サイズを含む第１データを第２取得部３２から取得する。また、切替部３９は、推定部３７からサンプル点データを取得する。そして、切替部３９は、第２取得部３２から取得した第１データ、及び推定部３７から取得したサンプル点データの何れか一方を選択し、第１設定部３５へ出力する。
【０１５６】
切替部３９は、下記方法により、第２取得部３２から取得した第１データ、及び推定部３７から取得したサンプル点データの何れか一方を選択する。
【０１５７】
例えば、切替部３９は、内部タイマーを備える。そして、切替部３９は、予め測定しておいた第２取得部３２の処理時間内に第２取得部３２から第１データを受け付けなかったときに、推定部３７から取得したサンプル点データを第１設定部３５へ出力する。
【０１５８】
また、切替部３９は、予め設定した時間内に推定部３７からサンプル点データを受け付けなかったときに、第２取得部３２から取得した第１データを第１設定部３５へ出力する。これは、対象物が検出されない状態では、推定部３７からの出力は無いためである。
【０１５９】
また、切替部３９は、上記２つの場合以外は、推定部３７から受け付けたサンプル点データを第１設定部３５へ出力する。
【０１６０】
第１設定部３５は、切替部３９から、第１データまたはサンプル点データを受け付ける。第１設定部３５では、切替部３９から受け付けたデータが第１データであるかサンプル点データであるかによって異なる処理を行う。
【０１６１】
第１設定部３５は、受け付けたデータが、第２取得部３２から出力された第１データである場合には、実施の形態１で説明した第１設定部３４と同様にして、探索候補点を設定する。そして、設定した探索候補点と、第２取得部３２から切替部３９を介して取得した対象物の仮サイズと、を含むサンプル点データを生成し、推定部３７へ出力する。
【０１６２】
また、第１設定部３５は、切替部３９から受け付けたデータが、推定部３７から出力されたサンプル点データである場合には、受け付けたサンプル点データに含まれる探索候補点の三次元位置を修正した後に、推定部３７へ出力する。
【０１６３】
第１設定部３５は、切替部３９から受け付けたデータが、推定部３７から出力されたサンプル点データである場合には、受け付けたサンプル点データに含まれる対象物の探索候補点の三次元位置は、時間的には過去の三次元位置となる。このため、第１設定部３５では、受け付けたサンプル点データに含まれる探索候補点の三次元位置を、以下の運動モデルに従って修正する。
【０１６４】
一例として、時刻ｔにおける探索候補点の三次元位置Ｘｔ、Ｙｔ、Ｚｔに、Ｘ軸Ｙ軸Ｚ軸のそれぞれの方向の速度を加えた（文字の上のドットで表記）６次元ベクトルＰｔを下記式（２３）で示す。
【０１６５】
【数１９】
【０１６６】
また、推定部３７から切替部３９を介してサンプル点データを受け付けた時刻ｔ−１における、対象物の仮三次元位置を６次元ベクトルＰｔ−１で表す。そして、対象物が等速直線運動をしていると仮定し、第１設定部３５は、６次元ベクトルＰｔを式（２４）によって算出する。
【０１６７】
【数２０】
【０１６８】
式（２４）中、なお、該Ｓは、上記式（１６）と同じである。また、式（２４）中、Ｆは、下記式（２５）で示す。
【０１６９】
【数２１】
【０１７０】
なお、共分散行列は、上述した式（１６）に従う。また、速度を表す要素は、三次元ガウス分布Ｎ（０、Ｓ）とする。このほか、定加速度運動をしていると仮定したモデルに従って、ベクトルＰｔを求めてもよい。また、行列Ｆを単位行列にしてもよい。この場合、速度についてはベクトルＰｔに反映されなく、ランダムウォークモデルと同一になる。
【０１７１】
推定部３７は、対象物の複数の撮像画像を第１取得部３０から取得する。また、推定部３７は、サンプル点データを第１設定部３５から受け付ける。そして、推定部３７は、実施の形態１の推定部３６と同様にして、対象物の三次元位置及び対象物のサイズを算出し、出力する。また、上述したように、推定部３７は、更に、第２算出部４２で算出した対象物の三次元位置及び対象物のサイズと、第３算出部４４で算出した各探索候補点の尤度Ｌｉと、を含むサンプル点データを切替部３９へ出力する。
【０１７２】
次に、推定部３７が実行する、対象物の三次元位置及び対象物のサイズの算出処理の手順を説明する。図１２は、推定部３７が実行する、対象物の三次元位置及び対象物のサイズの算出処理の手順を示すフローチャートである。
【０１７３】
推定部３７は、ステップＳ２００〜ステップＳ２０８の処理を、第１設定部３５から受け付けた探索候補点の数分、繰り返し実行する。なお、ステップＳ２００〜ステップＳ２０８の処理は、実施の形態１で説明した推定部３６の算出処理（図９のステップＳ２００〜ステップ２０８）と同様であるため、詳細な説明を省略する。
【０１７４】
推定部３７が、すべての探索候補点について、上記ステップＳ２００〜ステップＳ２０８の処理を行うと、第２算出部４２が、対象物の三次元位置Ｐ、及び対象物のサイズを算出する（ステップＳ２１０）。なお、ステップＳ２１０の処理は、図９のステップＳ２１０の処理と同様である。
【０１７５】
次に、推定部３７は、上記ステップＳ２０８で算出した尤度Ｌｉの高い探索候補点の近傍に、次の推定部３７による算出時に用いる探索候補点が多くなるように、次の算出時に用いる探索候補点を設定する（ステップＳ２１４）。
【０１７６】
推定部３７によるステップＳ２１４の処理は、時刻ｔにおいての推定部３７の処理によって得られたそれぞれの探索候補点の尤度Ｌｉの高い探索候補点ｉの近傍に時刻ｔ＋１の探索候補点を設定すればよい。ここで、新たに設定された探索候補点の持つ探索サイズは、コピーしてもよいし、式（１７）において、基準探索窓サイズを、コピーされる時刻ｔの探索候補点の探索窓サイズと設定した確率密度関数に基づく乱数によって指定してもよい。
【０１７７】
なお、尤度Ｌｉの高い探索候補点の近傍に、次の時刻ｔ＋１における推定部３７による算出時に用いる探索候補点が多くなるように、次の算出時に用いる探索候補点を設定する方法は、具体的には、次のように行う。
【０１７８】
時刻ｔにおいての探索候補点の総数をＳｔとする。また、すべての探索候補点のＳ２０６で求めた尤度の総和Φｔに対する、時刻ｔにおける探索候補点ｉの尤度の割合をφｉ，ｔとする。この探索候補点ｉ、ｔの３次元位置と同位置に、（φｉ、ｔ／Φｔ×Ｓｔ）個の時刻ｔ＋１における探索候補点を生成する。つまり、尤度が低い時刻ｔの探索候補点であれば、１個も時刻ｔ＋１における探索候補点が生成されなくなり、尤度の低い探索候補点は時刻ｔ＋１で消滅する。また、尤度の高い時刻ｔの探索候補点は、複数コピーされることになり、同位置を探索するように見えるが、上述したように、第１設定部３５で、サンプル点データを受け付けた場合、それに含まれる複数の探索候補点は、それぞれ修正されるため、それぞれ別の位置の探索候補点となる。これにより、時刻ｔで尤度の高い探索候補点であればあるほど、その近傍に時刻ｔ＋１の探索候補点が設定されることになる。
【０１７９】
たとえば、時刻ｔにおける探索候補点の総数を１００、尤度の総和を１とする。時刻ｔの探索候補点ｉの尤度を０．５とすると、尤度の割合φωは０．５になる。つまり、探索候補点ｉと同位置には、５０個の時刻ｔ＋１における探索候補点が生成される。尤度０．０１の探索候補点ならば、同位置に１個の時刻ｔ＋１の探索候補点が生成される。尤度０．０１よりも低い探索候補点であれば、消滅する。
【０１８０】
次に、推定部３７は、出力処理を行った後に（ステップＳ２１６）、本ルーチンを終了する。ステップＳ２１６において、推定部３７は、上記ステップＳ２１４で設定した探索候補点、上記ステップＳ２１０で算出した対象物の三次元位置及び対象物のサイズを含む、サンプル点データを切替部３９へ出力する。また、推定部３７は、上記ステップＳ２１０で算出した対象物の三次元位置及び対象物のサイズを、表示装置１４へ出力する。
【０１８１】
なお、ステップＳ２１６における、対象物の三次元位置、及び対象物のサイズの出力先は、表示装置１４に限られない。例えば、画像処理装置１２Ａを、有線通信網または無線通信網を介して、各種外部装置と接続した構成とする。各種外部装置としては、例えば、公知の記憶媒体や、パーソナルコンピュータや、携帯端末等が挙げられる。そして、推定部３７は、上記ステップＳ２１０で算出した、対象物の三次元位置及び対象物のサイズを、この各種外部装置に出力してもよい。
【０１８２】
以上説明したように、本実施の形態の画像処理装置１２Ａでは、前に算出した、対象物の三次元位置及びサイズを、次に対象物の三次元位置及びサイズを算出するときの仮三次元位置及び仮サイズとして用いる。
【０１８３】
このため、第１取得部３０、第２取得部３２、及び第１設定部３５による処理が終了してから、第１取得部３０から取得した撮像画像及び第１設定部３５から取得した仮サイズ及び仮三次元位置に基づいて、推定部３７で対象物の三次元位置及び対象物のサイズを算出する場合に比べて、画像処理装置１２Ａにおける処理時間の短縮を図ることができる。
【０１８４】
具体的には、第１取得部３０の処理時間と、第２取得部３２及び第１設定部３５の処理時間と、が異なる場合には、遅い方の処理の完了を待ってから推定部３７で処理を行う必要があった。特に、第２取得部３２では、例えばステレオカメラを使用した探索方法を行う場合、撮像画像全体を複数サイズの探索窓を走査させることで、撮像画像内の各走査位置に対象物が存在するかどうかを判定する必要があった。このため、対象物の仮三次元位置および仮サイズを取得するまでの時間間隔が大きくなっていた。一方、第１取得部３０は、撮像画像を撮像装置１６から取得するだけであるので、その処理時間は第２取得部３２より短い。
【０１８５】
一方、本実施の形態では、前に算出した、対象物の三次元位置及びサイズを、次に対象物の三次元位置及びサイズを算出するときの仮三次元位置及び仮サイズとして用いるので、画像処理装置１２Ａにおける処理時間の短縮を図ることができる。
【０１８６】
（実施の形態３）
本実施の形態では、画像処理装置１２または画像処理装置１２Ａで算出した、対象物の三次元位置及びサイズに基づいて、表示部２１の視域を調整する形態を説明する。
【０１８７】
視域とは、表示装置１４の表示部２１に表示された立体画像を視聴者が観察可能な範囲を示す。この観察可能な範囲は、実空間における範囲である。この視域は、表示部２１の表示パラメータの組み合わせによって定まる。このため、表示部２１の表示パラメータを設定することで、視域を設定することができる。
【０１８８】
図１３〜図１６は、表示部２１の各表示パラメータの調整による、視域８０の設定位置や設定範囲の制御の説明図である。
【０１８９】
図１３〜図１６には、表示部２１における表示パネル２０及び光線制御部２２と視域８０の関係を示した。また、図１３〜図１６中には、適宜、各要素画像２４部分を拡大した図を示した。
【０１９０】
図１３（Ａ）に示すように、表示パラメータとしては、表示パネル２０と光線制御部２２との相対位置、表示パネル２０と光線制御部２２との距離、表示部２１の角度、表示部２１の変形、及び表示パネル２０における画素のピッチ等がある。
【０１９１】
表示パネル２０と光線制御部２２との相対位置とは、光線制御部２２の光学的開口部の中心に対する、対応する要素画像２４の位置を示す。表示パネル２０と光線制御部２２との距離は、光線制御部２２の開口部と対応する要素画像２４との最短距離を示す。表示部２１の角度とは、表示部２１を、垂直方向を回転軸として回転させたときの、予め定めた基準位置に対する回転角度を示す。表示部２１の変形とは、表示部２１本体を変形させることを示す。表示パネル２０における画素のピッチとは、表示パネル２０の各要素画像２４の画素の間隔を示す。これらの表示パラメータの組み合わせによって、実空間において視域８０が設定される領域が一意に定まる。
【０１９２】
まず、図１３を用いて、表示パネル２０と光線制御部２２との距離や、表示パネル２０と光線制御部２２との相対位置を調整することによって、視域８０の設定される位置等を制御する場合を説明する。
【０１９３】
図１３（Ａ）は、表示部２１とその視域８０の基本的な位置関係を示す。図１３（Ｂ）は、表示パネル２０と光線制御部２２との距離を図１３（Ａ）に比べて短くした場合を示している。
【０１９４】
図１３（Ａ）及び図１３（Ｂ）に示すように、表示パネル２０と光線制御部２２との距離を短くするほど、表示部２１により近い位置に視域８０を設定することができる（図１３（Ａ）中、視域８０Ａ、及び図１３（Ｂ）中、視域８０Ｂ参照）。逆に、表示パネル２０と光線制御部２２との距離を長くするほど、表示部２１からより離れた位置に視域８０を設定することができる。なお、視域８０が表示部２１の近い位置に設定されるほど、光線密度は減る。
【０１９５】
図１３（Ｃ）は、表示パネル２０の光線制御部２２に対する相対位置を、図１３（Ａ）に比べて右方向（図１３（Ｃ）中、矢印Ｒ方向参照）に移動させた場合を示している。図１３（Ａ）及び図１３（Ｃ）に示すように、表示パネル２０を光線制御部２２に対して相対的に右方向へ移動させると、視域８０は左方向（図１３（Ｃ）中、矢印Ｌ方向）に移動する（図１３（Ｃ）中、視域８０Ｃ参照）。逆に、表示パネル２０の光線制御部２２に対する相対位置を、図１３（Ａ）に比べて左方向に移動させると、視域８０は右方向に移動する（不図示）。
【０１９６】
次に、図１４及び図１５を用いて、表示パネル２０に表示する画素のピッチ（画素の並び）を調整することによって、視域８０が設定される位置等を制御する場合を説明する。
【０１９７】
図１４は、表示部２１における、表示パネル２０の各画素と光線制御部２２とを拡大して示す。図１５（Ａ）は、表示部２１とその視域８０（視域８０Ａ）との基本的な位置関係を示す。表示パネル２０の画面の端（右端（図１４中、矢印Ｒ方向端部）、左端（図１４中、矢印Ｌ方向端部））ほど、表示パネル２０の各画素と光線制御部２２との位置を相対的に大きくずらす。すると、視域８０は、より表示部２１に近い位置に移動し、かつ視域８０の幅がより狭くなる（図１５（Ｂ）中、視域８０Ｄ参照）。なお、視域８０の幅とは、各視域８０における水平方向の最大長を示す。この視域８０の幅は、視域設定距離と称される場合がある。
【０１９８】
一方、表示パネル２０の画面の端ほど、表示パネル２０の各画素と光線制御部２２との位置を相対的にずらす量を小さくする。すると、視域８０は、より表示部２１から遠い位置に移動し、かつ視域８０の幅がより広くなる（図１５（Ｃ）中、視域８０Ｅ参照）。
【０１９９】
次に、図１６を用いて、表示部２１の角度、表示部２１の変形、表示パネル２０と光線制御部２２との相対位置の調整によって、視域８０の設定される位置等を制御する場合を説明する。
【０２００】
図１６（Ａ）は、表示部２１とその視域８０（視域８０Ａ）の基本的な位置関係を示す。図１６（Ｂ）は、表示部２１を回転（図１６中、矢印Ｖ方向）させた状態を示す。図１６（Ａ）及び図１６（Ｂ）に示すように、表示部２１を回転して表示部２１の角度を調整すると、視域８０の位置は、視域８０Ａから視域８０Ｆへ移動する。
【０２０１】
図１６（Ｃ）は、光線制御部２２に対する表示パネル２０の位置及び方向を調整した状態を示す。図１６（Ｃ）に示すように、光線制御部２２に対する表示パネル２０の位置及び方向を変更すると、視域８０は視域８０Ａから視域８０Ｇに移動する。
【０２０２】
図１６（Ｄ）は、表示部２１全体を変形させた状態を示す。図１６（Ａ）及び図１６（Ｄ）に示すように、表示部２１を変形させることによって、視域８０は、視域８０Ａから視域８０Ｈへ変化する。
【０２０３】
上述のように、表示部２１の表示パラメータの組み合わせによって、実空間において視域８０の設定される領域（位置や大きさ等）が一意に定まる。
【０２０４】
次に、画像表示装置１０の機能的構成について説明する。
【０２０５】
図１７は、画像表示装置１０の機能的構成を示すブロック図である。画像表示装置１０は、画像処理装置１２及び表示装置１４を備える。画像処理装置１２の構成は、上記実施の形態１で説明したため、詳細な説明を省略する。
【０２０６】
表示装置１４は、決定部２８、制御部２９、及び表示部２１を備える。表示部２１は、実施の形態１で説明したため詳細な説明を省略する。
【０２０７】
決定部２８は、画像処理装置１２から、対象物の三次元位置及び対象物のサイズを受け付ける。なお、決定部２８は、画像処理装置１２から少なくとも対象物の三次元位置を受け付ければよい。決定部２８は、受け付けた三次元位置において立体画像を観察可能な視域を示す視域情報を算出する。この視域情報の算出は、たとえば、予めメモリ（不図示）内に、各表示パラメータの組み合わせに対応する視域を示す視域情報を記憶しておく。そして、決定部２８は、画像処理装置１２から取得した三次元位置を視域に含む視域情報を該メモリから検索することによって、視域情報を算出する。
【０２０８】
また、決定部２８は、画像処理装置１２から取得した該三次元位置を含む、画像処理装置１２から取得した対象物のサイズに相当する領域を算出し、該領域を含む視域の視域情報を該メモリから検索することによって、視域情報を算出してもよい。
【０２０９】
制御部２９は、決定部２８が算出した視域情報に応じた視域を設定するように、表示部２１を制御する、表示制御処理を行う。すなわち、制御部２９は、表示部２１の表示パラメータを調整し、該視域を設定する。具体的には、表示部２１には、各表示パラメータを調整するための不図示の駆動部が設けられている。また、制御部２９は、予めメモリ（不図示）内に、各表示パラメータの組み合わせに対応する視域を示す視域情報を記憶している。そして、制御部２９は、決定部２８で算出した視域情報に対応する表示パラメータの組み合わせを該メモリから読み取り、読み取った各表示パラメータに対応する駆動部を制御する。
【０２１０】
これにより、表示部２１は、画像処理装置１２から受け付けた対象物の三次元位置を含む領域を視域とした立体画像を表示する。
【０２１１】
上述のように、画像処理装置１２で算出する対象物の三次元位置は、高精度に対象物の位置を特定した三次元位置である。このため、表示装置１４は、精度よく、対象物の三次元位置に視域を設定することができる。また、視域内に位置するように視聴者が自ら場所を移動する必要がなくなるので、利便性も向上する。
【０２１２】
なお、本実施の形態では、表示装置１４が、決定部２８及び制御部２９を備えた構成である場合を説明したが、画像処理装置１２が、決定部２８及び制御部２９を備えた構成であってもよい。
【０２１３】
また、本実施の形態では、画像表示装置１０は、画像処理装置１２及び表示装置１４を備えた構成である場合を説明したが、画像処理装置１２に代えて、実施の形態２で説明した画像処理装置１２Ａを備えた構成であってもよい。
【０２１４】
なお、実施の形態１〜３における画像処理装置１２及び画像処理装置１２Ａで実行する取得処理、及び算出処理、並びに表示装置１４で実行する表示制御処理の各々を実行するためのプログラムは、ＲＯＭ等に予め組み込まれて提供される。
【０２１５】
実施の形態１〜３における画像処理装置１２及び画像処理装置１２Ａで実行する取得処理、及び算出処理、並びに表示装置１４で実行する表示制御処理の各々を実行するためのプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
【０２１６】
さらに、実施の形態１〜３における画像処理装置１２及び画像処理装置１２Ａで実行する取得処理、及び算出処理、並びに表示装置１４で実行する表示制御処理の各々を実行するためのプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、実施の形態１〜３における画像処理装置１２及び画像処理装置１２Ａで実行する取得処理、及び算出処理、並びに表示装置１４で実行する表示制御処理の各々を実行するためのプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。
【０２１７】
実施の形態１〜３における画像処理装置１２及び画像処理装置１２Ａで実行する取得処理、及び算出処理、並びに表示装置１４で実行する表示制御処理の各々を実行するためのプログラムは、上述した各部（第１取得部３０、第２取得部３２、第１設定部３４、第１設定部３５、推定部３６、推定部３７、第２設定部３８、切替部３９、第２算出部４２、第１算出部４０、第３算出部４４）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記ＲＯＭからプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、これらの各機能部が主記憶装置上に生成されるようになっている。
【０２１８】
なお、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【０２１９】
１０ 画像表示装置
１２、１２Ａ 画像処理装置
１４ 表示装置
２８ 決定部
２９ 制御部
２１ 表示部
３０ 第１取得部
３２ 第２取得部
３４、３５ 第１設定部
３６、３７ 推定部
３８ 第２設定部
３９ 切替部
４０ 第１算出部
４２ 第２算出部
４４ 第３算出部
【技術分野】
【０００１】
本発明の実施形態は、画像処理装置、方法、及び画像表示装置に関する。
【背景技術】
【０００２】
撮像画像における対象物の位置を検出し、検出位置から対象物の三次元位置を推定する方法として、パーティクルフィルタを用いた技術が知られている。パーティクルフィルタでは、追跡対象を、状態量と尤度を持つ多数の仮設群により離散的な確率密度として表現する。そして、状態遷移モデルを用いて伝播させることで、動きの変動やノイズの影響を抑制した追跡を実現する。
【０００３】
パーティクルフィルタを用いた方法では、ステレオ画像から局所特徴の三次元座標を算出し、その三次元座標の近傍に仮設群となる三次元座標サンプル点を設定する。そして、三次元座標サンプル点をステレオ画像上に射影した二次元座標サンプル点を仮説群として評価することで、局所特徴の三次元位置を推定している。
【０００４】
また、三次元位置に三次元座標サンプル点を仮設群として生成するパーティクルフィルタを用い、人物頭部を一定の大きさの楕円体モデルと仮定する方法が開示されている。この開示では、この楕円体を各撮像画像上に射影した際の大きさを探索窓とし、探索窓内に人物頭部が存在する確率を示す尤度を各仮説の尤度として算出する。そして、各仮説の尤度から、人物頭部の三次元位置を推定している。また、探索窓を使用した探索方法が知られている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１１−９０４６５公報
【０００６】
【非特許文献１】小林貴訓、他６名、「カスケード型識別機を用いたパーティクルフィルタによる人物三次元追跡」画像の認識・理解シンポジウム（ＭＩＲＵ２００６）、２００６年７月
【非特許文献２】Ｐａｕｌ Ｖｉｏｌａ ａｎｄ Ｍｉｃｈａｅｌ Ｊｏｎｅｓ，“Ｒａｐｉｄ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ ｕｓｉｎｇ ａ Ｂｏｏｓｔｅｄ Ｃａｓｃａｄｅ ｏｆ Ｓｉｍｐｌｅ Ｆｅａｔｕｒｅｓ”ＩＥＥＥ ｃｏｎｆ． ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ（ＣＶＰＲ ２００１）
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、単にパーティクルフィルタを用いた方法では、探索窓サイズを得ることができず、探索法を適用することができない。また、楕円体モデルを用いる方法では、探索窓サイズが一定の人物から定まるサイズであるため、対象物の個体差を吸収することができなかった。
【０００８】
本発明が解決しようとする課題は、対象物の三次元位置を高精度で算出することができる、画像処理装置、方法、及び画像表示装置を提供することである。
【課題を解決するための手段】
【０００９】
実施の形態の画像処理装置は、第１取得部、第２取得部、第１設定部、第２設定部、第１算出部、及び第２算出部を備える。第１取得部は、対象物が複数の位置から撮像された複数の撮像画像を取得する。第２取得部は、前記対象物の仮三次元位置と、前記対象物の仮サイズを取得する。第１設定部は、実空間における前記仮三次元位置の近傍に少なくとも１つの探索候補点を設定する。第２設定部は、前記探索候補点を前記撮像画像に射影した射影位置毎に、前記対象物を探索するための探索窓であって、前記探索候補点の位置と前記仮サイズとに基づくサイズの前記探索窓を設定する。第１算出部は、前記探索窓内において、前記対象物が含まれるかどうかを示す評価値を算出する。第２算出部は、前記評価値に基づいて前記対象物の三次元位置を算出する。
【図面の簡単な説明】
【００１０】
【図１】実施の形態１の画像表示装置の図。
【図２】実施の形態１の表示装置の図。
【図３】実施の形態１の表示部の模式図。
【図４】実施の形態１の三次元座標系を示す図。
【図５】実施の形態１の画像処理装置の図。
【図６】実施の形態１の取得処理のフローチャート。
【図７】実施の形態１のピンホールカメラモデルを示す図。
【図８】実施の形態１の探索窓と対象物の幅の一例の図。
【図９】実施の形態１の算出処理のフローチャート。
【図１０】実施の形態１の算出手順の図。
【図１１】実施の形態２の画像処理装置の図。
【図１２】実施の形態２の算出処理のフローチャート。
【図１３】実施の形態３の視域の設定位置及び設定範囲の制御の図。
【図１４】実施の形態３の視域の設定位置及び設定範囲の制御の図。
【図１５】実施の形態３の視域の設定位置及び設定範囲の制御の図。
【図１６】実施の形態３の視域の設定位置及び設定範囲の制御の図。
【図１７】実施の形態３の画像表示装置の図。
【発明を実施するための形態】
【００１１】
（実施の形態１）
本実施の形態の画像処理装置は、視聴者が裸眼で立体画像を観察可能なＴＶ（テレビ）、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、スマートフォン、デジタルフォトフレーム等の画像表示装置に用いられ得る。立体画像とは、互いに視差を有する複数の視差画像を含む画像である。なお、実施の形態で述べる画像とは、静止画又は動画のいずれであってもよい。
【００１２】
図１は、本実施の形態の画像表示装置１０の概略図である。画像表示装置１０は、表示装置１４、撮像装置１６、及び画像処理装置１２を備える。
【００１３】
図２は、表示装置１４の概略図である。図２に示すように、表示装置１４は、立体画像を表示する表示部２１を備える。立体画像とは、互いに視差を有する複数の視差画像を含む画像である。表示部２１は、例えば、インテグラル・イメージング方式（ＩＩ方式）や多眼方式等の３Ｄディスプレイ方式を採用する。
【００１４】
表示部２１は、表示パネル２０と、光線制御部２２と、を備える。表示パネル２０は、色成分を有する複数のサブ画素（例えば、Ｒ、Ｇ、Ｂ）を、第１方向（例えば、図１における行方向（左右））と第２方向（例えば、図１における列方向（上下））とに、マトリクス状に配列した液晶パネルである。この場合、第１方向に並ぶＲＧＢ各色のサブ画素が１画素を構成する。また、隣接する画素を視差の数だけ第１方向に並べた画素群に表示される画像を要素画像２４と称する。表示装置１４のサブ画素の配列は、他の公知の配列であっても構わない。また、サブ画素は、ＲＧＢの３色に限定されない。例えば、４色以上であってもよい。
【００１５】
表示パネル２０には、直視型２次元ディスプレイ、例えば、有機ＥＬ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）やＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＰＤＰ（Ｐｌａｓｍａ Ｄｉｓｐｌａｙ Ｐａｎｅｌ）、投射型ディスプレイなどを用いる。また、表示パネル２０は、バックライトを備えた構成でもよい。
【００１６】
光線制御部２２は、表示パネル２０に対して間隔を隔てて対向して配置されている。光線制御部２２は、表示パネル２０の各サブ画素からの光線の出射方向を制御する。光線制御部２２は、光線を出射するための光学的開口部が直線状に延伸し、当該光学的開口部が第１方向に複数配列されたものである。光線制御部２２には、例えば、シリンドリカルレンズが複数配列されたレンチキュラーシート、スリットが複数配列されたパララックスバリア等を用いる。光学的開口部は、表示パネル２０の各要素画像２４に対応して配置される。
【００１７】
図３は、表示部２１を視聴者が視認した状態を示す模式図である。表示パネル２０に複数の要素画像２４を表示する。すると、表示パネル２０には、複数の視差方向に対応した視差画像群（多視差画像）が表示される。この多視差画像による光線は、光線制御部２２の各光学的開口部を透過する。そして、視域内に位置する視聴者２６は、要素画像２４に含まれる異なる画素を、左目２６Ａおよび右目２６Ｂでそれぞれ観察することになる。このように、視聴者２６の左目２６Ａおよび右目２６Ｂに対し、視差の異なる画像をそれぞれ表示させることで、視聴者２６が立体画像を観察することができる。
【００１８】
図１に戻り、撮像装置１６は、実空間に位置する対象物を撮像する。対象物は、後述する画像処理装置１２において三次元位置及びサイズの算出対象とする物体である。
【００１９】
撮像装置１６には、公知の撮像装置を用いる。本実施の形態では、画像表示装置１０は、複数の撮像装置１６を備える。これらの撮像装置１６は、互いに異なる位置に設置されている。本実施の形態では、例えば、表示部２１の水平方向一端部に撮像装置１６Ａを設置し、表示部２１の水平方向他端部に撮像装置１６Ｂを設置する。また、表示部２１の水平方向中央部に撮像装置１６Ｃを設置する。なお、各撮像装置１６Ａ〜撮像装置１６Ｃの設置位置は、これらの位置に限られない。また、画像表示装置１０の備える撮像装置１６の数は、複数であればよく、３個に限られない。また、本実施の形態では、撮像装置１６Ａ〜撮像装置１６Ｃを総称して説明する場合には、単に撮像装置１６と称して説明する。
【００２０】
画像処理装置１２は、対象物の実空間における三次元位置、及びサイズを算出する。本実施の形態において、三次元位置とは、実空間における三次元位置座標を示す。また、後述する二次元位置とは、二次元位置座標を示す。
【００２１】
なお、本実施の形態では、実空間上における三次元座標系を、以下のように定義する。図４は、本実施の形態における三次元座標系を示す模式図である。図４に示すように、本実施の形態では、実空間上における、画像表示装置１０に設けられた複数の撮像装置１６の位置の重心位置を原点Ｏとする。そして、原点Ｏを通る水平方向をＸ軸とする。また、原点Ｏを通り且つ撮像装置１６の撮像方向を正とする方向をＺ軸とする。また、Ｘ軸Ｚ軸平面に対して垂直で且つ原点Ｏを通り、撮像装置１６の反重力方向を正とする方向をＹ軸とする。これらのＸ軸、Ｚ軸、及びＹ軸によって定まる座標系を、本実施の形態では、実空間上における三次元座標系として説明する。なお、実空間上における座標の設定方法はこれに限定されない。また、撮影画像の左上を原点とし、水平右方向に正とするｘ軸、垂直下方向に正とするｙ軸を設定する。
【００２２】
また、画像処理装置１２では、探索法を用いて、対象物の仮三次元位置、仮サイズ、三次元位置、及びサイズを算出する。対象物の三次元位置とは、対象物の実空間上における実際の位置を示す。対象物のサイズとは、対象物の実際のサイズを示す。対象物の仮三次元位置とは、後述する三次元位置の算出方法とは異なる方法で得た対象物の仮の位置である。対象物の仮サイズとは、後述するサイズの算出方法とは異なる方法で得た対象物の仮のサイズである。なお、対象物の仮三次元位置、仮サイズ、三次元位置、及びサイズの算出方法の詳細は後述する。
【００２３】
本実施の形態では、対象物が人物の正面顔であり、対象物の撮像画像が人物の顔を正面側から撮像した顔画像であるとする。この場合には、探索法として、Ｐａｕｌ Ｖｉｏｌａ ａｎｄ Ｍｉｃｈａｅｌ Ｊｏｎｅｓ，“Ｒａｐｉｄ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ ｕｓｉｎｇ ａ Ｂｏｏｓｔｅｄ Ｃａｓｃａｄｅ ｏｆ Ｓｉｍｐｌｅ Ｆｅａｔｕｒｅｓ”ＩＥＥＥ ｃｏｎｆ． ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ（ＣＶＰＲ ２００１）（上記、非特許文献２）に開示された探索法を用いる。
【００２４】
この探索法は、探索窓内の画像に対していくつかの矩形特徴を求め、それぞれの特徴に対する弱識別器を直列につないだ強識別器によって、正面顔であるかどうかを判定する方法である。
【００２５】
画像処理装置１２で探索法を用いる場合には、探索法を行う各機能部（詳細後述）に、パターン識別器（図示省略）を備えた構成とすればよい。パターン識別器は、複数の弱識別器を直列に接続したカスケード構造の識別器であって、非特許文献２に開示されたカスケード型ＡｄａＢｏｏｓｔベース識別器である。
【００２６】
具体的には、パターン識別器は、入力された撮像画像に対して、カスケードの各段の弱識別器で顔、非顔の判定を行い、顔と判定された画像のみを次段の弱識別器へと進める。そして、最後の弱識別器を通過した画像を最終的に顔画像と判定する。
【００２７】
カスケードの各段を構成する強識別器は、複数の弱識別器を直列につないだ構成である。各弱識別器では、探索窓内の画像に対して求めた矩形特徴を用いて評価を行う。
【００２８】
ここで、ｘを探索窓の画像内における２次元座標位置ベクトルとしたときの、位置ベクトルｘにおいての、ある弱識別器ｎの出力は、下記式（１）によって示される。
【００２９】
【数１】
【００３０】
式（１）中、ｈｎ（ｘ）は弱識別器ｎの出力を示し、ｆｎ（ｘ）は弱識別器ｎの判定関数を示す。また、式（１）中、ｐｎは不等号の等号の向きを定めるために、１またはー１となる数を示し、θｎは各弱識別器ｎに対して予め定められている閾値を示す。例えばθｎは、識別器作成の際の学習において設定される。
【００３１】
また、Ｎ個の弱識別器を直列につないだ構成の強識別器の出力は、下記式（２）によって示される。
【００３２】
【数２】
【００３３】
式（２）中、Ｈ（ｘ）は、Ｎ個の弱識別器を直列につないだ構成の強識別器の出力を示す。また、式（２）中、αｎは予め定められている弱識別器ｎの重みを示し、ｈｎは式（１）で表した弱識別器ｎの出力を示す。例えばαｎは、識別器作成の際の学習において設定される。
【００３４】
なお、パターン識別器を通過した画像について、顔らしさを表す尤度ｌ（ｘ）を算出するためには、下記式（３）を用いる。
【００３５】
【数３】
【００３６】
式（３）中、ａは、識別器作成の際の学習において生成される重みを表す定数である。また、式（３）中、Ｈ（ｘ）は、強識別器の出力を示す。
【００３７】
なお、対象物は必ずしも一定の方向から撮影されるわけではない。例えば、横方向や斜め方向から撮影する場合も考えられる。このような場合には、画像処理装置１２を、横顔を検出するためのパターン識別器を備えた構成とする。なお、画像処理装置１２において探索法を用いる各機能部は、対象物の１つないし複数の姿勢の各々に対応するパターン識別器を備えた構成であるものとする。
【００３８】
次に、画像処理装置１２について詳細に説明する。図５は、画像処理装置１２の機能的構成を示すブロック図である。
【００３９】
図５に示すように、画像処理装置１２は、第１取得部３０、第２取得部３２、第１設定部３４、及び推定部３６を備える。
【００４０】
第１取得部３０は、複数の撮像装置１６の各々から、対象物の撮像画像を取得する。第１取得部３０は取得した複数の撮像画像を、推定部３６へ出力する。
【００４１】
第２取得部３２は、実空間における対象物の仮の三次元位置座標である仮三次元位置と、実空間における対象物の仮のサイズである仮サイズを取得する。
【００４２】
第２取得部３２による、対象物の仮三次元位置、及び対象物の仮サイズの取得方法は、対象物の三次元位置及びサイズを取得する公知の方法であればよい。
【００４３】
例えば、第２取得部３２は、撮像装置１６による撮像画像を用いて、探索法により、対象物の仮三次元位置、及び対象物の仮サイズを取得する。
【００４４】
一例として、第２取得部３２が、ステレオカメラによる撮像画像を用いて、対象物の仮三次元位置及び仮サイズを取得する。なお、ステレオカメラによる撮像画像として、本実施の形態では、表示部２１の水平方向の両端部に設けられた撮像装置１６Ａの撮像画像と、撮像装置１６Ｂの撮像画像を用いる場合を説明する。また、説明の便宜上、撮像装置１６Ａをメインカメラ、撮像装置１６Ｂをサブカメラと称して説明する。なお、メインカメラ及びサブカメラの選定方法は、任意でよく、この選定に限られない。
【００４５】
図６は、第２取得部３２が実行する、対象物の仮三次元位置及び仮サイズの取得処理の手順の一例を示すフローチャートである。
【００４６】
第２取得部３２は、まず、メインカメラである撮像装置１６Ａから取得した撮像画像から、該撮像画像上における対象物の位置を検出する（ステップＳ１００）。この対象物の位置の検出には、上述した探索法を用いる。具体的には、第２取得部３２を、上記パターン識別器を備えた構成とする。そして、第２取得部３２では、撮像装置１６Ａから取得した撮像画像における、ある探索窓サイズの探索窓内の画像が対象物を含む画像であるかどうかをパターン識別器によって判定する。この探索窓サイズは、予め設定したサイズであってよい。また、この探索窓サイズは、予め第２取得部３２に記憶しておけばよい。そして、該探索窓を、撮像装置１６Ａから取得した撮像画像内で該画像全体に渡って走査し、各走査位置における判定結果を得る。また、第２取得部３２では、この走査を、サイズの異なる複数の探索窓サイズの探索窓を用いて行う。なお、このサイズの異なる複数の探索窓サイズは、予め設定し第２取得部３２に記憶しておけばよい。
【００４７】
そして、第２取得部３２は、撮像装置１６Ａから取得した撮像画像内の、各探索窓サイズで走査した各走査位置ベクトルｘにおける判定結果である強識別器の出力値Ｈ（ｘ）から、各探索窓サイズ及び各走査位置ベクトルｘにおける尤度ｌ（ｘ）を求める。この強識別器の出力値Ｈ（ｘ）及び、各探索窓サイズ及び各走査位置ｘベクトルにおける尤度ｌ（ｘ）は、上記式（２）及び式（３）を用いて算出する。さらに、第２取得部３２は、最も尤度ｌ（ｘ）の高い走査位置ベクトルｘの探索窓サイズの探索窓内の中心位置を、撮像装置１６Ａから取得した撮像画像上における対象物の位置、すなわち二次元位置座標として検出する。
【００４８】
次に、第２取得部３２は、サブカメラである撮像装置１６Ｂから取得した撮像画像から、該撮像画像上における対象物の位置を検出する（ステップＳ１０２）。この検出には、上述した探索法を用いる。すなわち、撮像装置１６Ｂから取得した撮像画像を用いる以外は、ステップＳ１００と同様にして対象物の該撮像画像上における対象物の位置を検出する。
【００４９】
なお、ステップＳ１０２における探索窓による撮像画像の走査は、撮像画像全体の走査に限られない。例えば、サブカメラの撮像画像において、メインカメラ（撮像装置１６Ａ）と対象物とを結ぶ直線をサブカメラ（撮像装置１６Ｂ）の撮像画像に投影したエピポーラ線状に、対象物が撮像されているとする。この場合には、上記ステップＳ１０２における探索窓の走査範囲は、エピポーラ線上のみであってもよい。
【００５０】
次に、第２取得部３２は、対象物の仮三次元位置を算出する（ステップＳ１０４）。
【００５１】
ステップＳ１０４において、第２取得部３２は、メインカメラ（撮像装置１６Ａ）から取得した撮像画像上における対象物ｉの位置である二次元位置と、サブカメラ（撮像装置１６Ｂ）から取得した撮像画像上における対象物ｉの位置である二次元位置と、から、三角測量により、対象物の仮三次元位置を算出する。
【００５２】
なお、対象物ｉの仮三次元位置は、下記式（４）によって示される。
【００５３】
【数４】
【００５４】
メインカメラ（撮像装置１６Ａ）から取得した撮像画像上における対象物ｉの位置ベクトルｕｉ,ｌを、下記式（５）で示す。また、サブカメラ（撮像装置１６Ｂ）から取得した撮像画像上における対象物ｉの位置ベクトルｕｉ,ｒを、下記式（６）で示す。そして、対象物ｉの実空間上における位置座標を、下記式（７）のように同次座標系で表現する。すると、下記式（８）及び式（９）の関係式が得られる。
【００５５】
【数５】
【００５６】
【数６】
【００５７】
【数７】
【００５８】
なお、式（５）〜（７）中、Ｔは、転置を示す。また、式（５）中、ｘｌは、メインカメラ（撮像装置１６Ａ）の撮像画像における対象物ｉの二次元座標のｘ座標値を示す。また、式（５）中、ｙｌは、メインカメラ（撮像装置１６Ａ）の撮像画像における対象物ｉの二次元座標のｙ座標値を示す。
【００５９】
また、式（６）中、ｘｒは、サブカメラ（撮像装置１６Ｂ）の撮像画像における対象物ｉの二次元座標のｘ座標値を示す。また、式（６）中、ｙｒは、サブカメラ（撮像装置１６Ｂ）の撮像画像における対象物ｉの二次元座標のｙ座標値を示す。
【００６０】
また、式（８）中のαは、メインカメラ（撮像装置１６Ａ）の撮像時のカメラスケールを示す。式（９）中のβは、サブカメラ（撮像装置１６Ｂ）の撮像時のカメラスケールを示す。また、式（８）中のＰは、実空間（三次元座標系）上の点からメインカメラ（撮像装置１６Ａ）の撮像画像への射影行列を示す。また、式（９）中のＱは、実空間（三次元座標系）上の点からサブカメラ（撮像装置１６Ｂ）の撮像画像への射影行列を示す。なお、これらの射影行列は、事前に撮像装置１６のキャリブレーションを行う事で得られ、画像処理装置１２に予め記憶する。
【００６１】
そして、上記式（８）及び式（９）からα及びβを消去すると、下記式（１０）に示す連立方程式が得られる。
【００６２】
【数８】
【００６３】
そして、第２取得部３２は、式（１０）の左辺の行列の擬似逆行列を最小二乗法によって求めることで、対象物ｉの仮三次元位置を算出する。
【００６４】
次に、第２取得部３２は、ステップＳ１０４で算出した、対象物ｉの仮三次元位置と、ステップ１００において、もっとも尤度が大きくなった探索窓のサイズから、対象物ｉの仮サイズを算出する（ステップＳ１０６）。
【００６５】
第２取得部３２は、ステップＳ１０６の処理において、例えば、ピンホールカメラモデルを用いて対象物ｉの仮サイズを算出する。
【００６６】
図７は、ピンホールカメラモデルを示す模式図である。撮像装置１６のＸ軸方向の画角をθｘとし、撮像装置１６によって得られた撮像画像のＺ軸方向の焦点位置をＦとし、対象物ｉのＺ軸方向の位置をＺとする。すると、対象物ｉのＺ軸方向の位置と画角の端部とのＸ軸方向の距離であるＺＺ’は、下記式（１１）によって示される。また、ＺＺ’の範囲にピンホールカメラの撮影画像の水平解像度ｗｃの半分の画像が投影されていることを考えると、１画素当たりのＺＺ’上の長さは、下記式（１２）によって示される。
【００６７】
【数９】
【００６８】
式（１１）中、ＯＺは、撮像装置１６から対象物ｉまでのＺ軸方向の最短距離を示す。また、式（１２）中、ｗｃは、ピンホールカメラの撮影画像の水平解像度を示す。
【００６９】
すなわち、対象物ｉの仮三次元位置のＺ座標Ｚ~ｉと、ピンホールカメラの撮影画像の水平解像度ｗｃと、を用いて、第２取得部３２は、対象物ｉのＸ軸方向の仮サイズであるＷＸを、下記式（１３）によって算出する。同様にして、第２取得部３２は、対象物ｉのＹ軸方向の仮サイズであるＷＹを、下記式（１４）によって算出する。ここで、式（１３）の右辺ｗｘは、ステップ１００において、もっとも尤度が大きくなった探索窓のｘ軸方向の画素数を示す。をた、式（１４）の右辺ｗｙは、ステップ１００において、もっとも尤度が大きくなった探索窓のサイズのｙ軸方向の画素数を示す。
【００７０】
【数１０】
【００７１】
なお、上記では、撮像装置１６から対象物ｉまでのＺ軸方向の仮三次元位置のＺ座標値Ｚ〜ｉを、ステレオカメラを用いた三角測量によって求めた。しかし、撮像装置１６から対象物ｉまでのＺ軸方向の距離の算出方法は、この方法に限られない。例えば、撮像装置１６から対象物ｉまでのＺ軸方向の距離は、レーダーやセンサ等の他の機器を用いて計測してもよいし、公知の複数の方法によって得た計測値の平均値を用いてもよい。
【００７２】
図６に戻り、そして、第２取得部３２は、上記ステップＳ１０４で算出した、対象物ｉの仮三次元位置、及びステップＳ１０６で算出した、対象物ｉの仮サイズを、第１設定部３４へ出力し（ステップＳ１０８）、本ルーチンを終了する。
【００７３】
第２取得部３２が上記ステップＳ１００〜ステップＳ１０８の処理を実行することによって、第２取得部３２は、対象物ｉの仮三次元位置及び仮サイズを取得し、第１設定部３４へ出力する。
【００７４】
なお、第２取得部３２による仮三次元位置及び仮サイズの取得方法は、図６に示す処理に限られない。
【００７５】
例えば、１つの撮像装置１６から取得した撮像画像を用いた方法を採用してもよい。一例として、表示部２１の水平方向中央部に設けられた撮像装置１６Ｃの撮像画像を用いる場合を説明する。
【００７６】
この場合には、第２取得部３２は、まず、撮像装置１６Ｃの撮像画像上で、複数種類の探索窓サイズの探索窓を走査し、該撮像画像上における対象物の位置を検出する。この対象物の位置の検出方法は、上記ステップ１００及びステップＳ１０２と同様にして行えばよい。
【００７７】
図８は、Ｘ軸とＺ軸によって構成されるＸＺ平面上で検出された対象物の探索窓と、実空間上での対象物のＸ軸上の幅を示す図である。撮像装置１６ＣのＸ軸方向の画角をθｘとし、撮像装置１６Ｃによって得られた撮像画像のＺ軸方向の焦点位置をＦとし、対象物ｉのＺ軸方向の位置をＺとする。すると、図８中、ＡＡ’、ＢＢ’、ＯＦ、及びＯＺは、相似関係により、ＡＡ’：ＢＢ’＝ＯＦ：ＯＺの関係がある。なお、ＡＡ’は、撮像装置１６Ｃの撮像画像における探索窓のＸ軸方向の幅を示す。ＢＢ’は、対象物のＸ軸方向の実際の幅を示す。ＯＦは、撮像装置１６Ｃから焦点位置Ｆまでの距離を示す。ＯＺは、撮像装置１６Ｃから対象物の位置Ｚまでの距離を示す。
【００７８】
ここで、焦点位置Ｆから撮像画像の端部までの距離であるＦＦ’を、単眼カメラ（撮像装置１６Ｃ）の水平解像度の半分の値ｗｃ／２とする。すると、ＯＦ＝ＦＦ’／tan(θＸ／２）となる。
【００７９】
そして、撮像装置１６Ｃの撮像画像における探索窓のＸ軸方向の幅であるＡＡ’を、探索窓のｘ軸方向の画素数とする。ＢＢ’は、対象物のＸ軸方向の実際の幅であるが、対象物の平均的な大きさを仮定する。例えば、顔であれば、平均的な顔の横幅は、１４ｃｍと言われている。
【００８０】
よって、第２取得部３２は、撮像装置１６Ｃから対象物までの距離であるＯＺを、下記式（１５）によって算出する。
【００８１】
【数１１】
【００８２】
すなわち、第２取得部３２は、対象物の仮の三次元位置のＺ座標を、撮像装置１６Ｃの撮像画像における探索窓の画素数によって示される幅に基づいて求める。
【００８３】
また、図８中、ＡＦ、ＢＺ、ＯＦ、及びＯＺは、相似関係により、ＡＦ：ＢＺ＝ＯＦ：ＯＺの関係を示す。なお、ＡＦは、撮像装置１６Ｃの撮像画像における探索窓のＸ軸方向端部Ａから焦点位置Ｆまでの距離を示す。また、ＢＺは、対象物のＸ軸方向の端部Ｂから対象物のＺ軸方向における位置Ｚまでの距離を示す。
【００８４】
このため、第２取得部３２は、ＢＺを求めることで、対象物の仮の三次元位置のＸ座標を求める。そして、Ｙ軸Ｚ軸によるＹＺ平面についても同様にして、第２取得部３２は、対象物の仮の三次元位置のＹ座標を求める。
【００８５】
このようにして、第２取得部３２は、１つの撮像装置１６Ｃから取得した撮像画像を用いて、対象物の仮三次元位置を得てもよい。
【００８６】
なお、１つの撮像装置１６Ｃから取得した撮像画像を用いる場合には、上記のように、対象物の平均的な大きさを予め設定する必要がある。このため、１つの撮像装置１６Ｃから取得した撮像画像を用いて対象物の仮サイズを算出する方法は、ステレオカメラによる撮像画像を用いる場合に比べて算出精度が低い。そこで、１つの撮像装置１６Ｃから取得した撮像画像を用いて対象物の仮サイズを算出する場合には、画像表示装置１０にさらに測距離計を備えた構成とすればよい。そして、測距計を用いて対象物のＺ座標を用いれば、対象物の平均的な大きさを予め設定する必要がないため、高精度の仮サイズを得ることができる。
【００８７】
なお、第２取得部３２における、対象物の仮サイズ及び仮三次元位置の取得方法は、上記方法に限られない。
【００８８】
図５に戻り、第２取得部３２は、対象物の仮三次元位置及び対象部の仮サイズを第１設定部３４へ出力する。
【００８９】
第１設定部３４は、第２取得部３２から、対象物の仮三次元位置及び対象物の仮サイズを取得する。そして、第１設定部３４は、実空間における仮三次元位置の近傍に、１または複数の探索候補点を設定する。探索候補点とは、実空間における対象物の実際の位置を推定する候補となる点である。そして、第１設定部３４は、設定した探索候補点と、第２取得部３２から受け付けた対象物の仮三次元位置及び仮サイズを、推定部３６へ出力する。なお、実空間における仮三次元位置の近傍とは、仮三次元位置の周辺の予め定めた範囲内を示す。
【００９０】
第１設定部３４は、例えば、ガウシアンによって定義されるランダムウォークモデルに従って、第２取得部３２から取得した仮三次元位置の近傍に探索候補点を設定する。
【００９１】
具体的には、第１設定部３４は、三次元ガウス分布Ｎ（μ、Ｓ）に従った乱数によって、第２取得部３２から取得した仮三次元位置の近傍に探索候補点を設定する。ここで、μは対象物の仮三次元位置を表す三次元ベクトルである。Ｓは、上記乱数の発生範囲を示す。具体的には、この範囲Ｓは、式（１６）で示す行列で示される。
【００９２】
【数１２】
【００９３】
式（１６）中、σＸは、３次元ガウス分布のＸ軸方向への広がり度合い（Ｘ軸方向の標準偏差）を示し、σＹは、３次元ガウス分布のＹ軸方向への広がり度合い（Ｙ軸方向の標準偏差）を示し、σＺは、３次元ガウス分布のＺ軸方向への広がり度合い（Ｚ軸方向の標準偏差）を示す。
【００９４】
式（１６）中、σＸが大きい値であるほど、ガウシアンのＸ軸方向の広がりが大きくなる。すなわち、σＸが大きい値であるほど、Ｘ軸方向への探索候補点の出現範囲が広がるため、対象物の早い動きに対応できる。しかし、σＸが大きい値であるほど、探索候補点が疎になるため、対象物の位置推定精度が低下するおそれがある。σＹ、σＺについても同様である。
【００９５】
そこで、本実施の形態では、第１設定部３４は、第１取得部３０で取得する撮像画像のフレームレートが小さければ小さいほど、式（１６）中のσＸ、σＹ、σＺとして、より小さな値を設定する。これは、第１取得部３０で取得する撮像画像のフレームレートが小さければ小さいほど、撮影間隔が短く対象物の移動が小さいと考えられるためである。この場合には、第１取得部３０から、撮像画像のフレームレートを示す情報を第１設定部３４で取得すればよい。また、第１設定部３４では、撮像画像のフレームレートに対応づけて、フレームレートが小さいほど小さい値のσＸ、σＹ、σＺを示す情報を予め記憶すればよい。
【００９６】
または、第１設定部３４は、第２取得部３２で取得した仮三次元位置の推定精度が低ければ低いほど、式（１６）中のσＸ、σＹ、σＺとして、より大きな値を設定する。仮三次元位置の推定精度が低いとは、例えば、仮三次元位置の推定方法として、精度の低い推定精度を用いた場合である。また、仮三次元位置の推定精度が低いとは、撮像画像の検出環境が悪い、すなわち撮像画像にノイズが含まれる場合も挙げられる。撮像画像にノイズが含まれる場合とは、例えば、対象物を暗い環境下で撮像した場合等である。また、仮三次元位置の推定精度が低いとは、対象物の高速移動により、対象物に焦点のあっていない撮像画像を取得した場合も挙げられる。そこで、第２取得部３２は、予め、仮三次元位置の推定精度に寄与するこれらの因子に対応する、σＸ、σＹ、σＺの値を予め記憶する。そして、これらの因子の１または複数を得るための検知装置等の取得部を更に設けた構成とし、該取得部から得られた情報に基づいて該因子を特定し、特定した因子に対応するσＸ、σＹ、σＺを用いればよい。
【００９７】
または、第１設定部３４は、上記式（１６）におけるσＸ、σＹを、各々ＷＸ、ＷＹとしてもよい。ＷＸとは、対象物の仮のサイズのＸ軸上での大きさを示す。またＷＹとは、対象物の仮のサイズのＹ軸上での大きさを示す。
【００９８】
また、上記例では、第１設定部３４は、第２取得部３２から取得した対象物の仮三次元位置μを中心とした範囲Ｓに、探索候補点を設定する場合を説明した。しかし、探索候補点の設定方法は、この方法に限られない。例えば、第１設定部３４は、第２取得部３２から取得した対象物の仮三次元位置μにランダム値を加算した１または複数の位置を仮三次元位置とし、これらの仮三次元位置を中心として、範囲Ｓ内に探索候補点を設定してもよい。また、上記では、対象物の動きは、ランダムウォークに従うとして説明したが、動きに関する前提知識があれば、その動きモデルに従った探索候補点を設定してもよく、ランダムウォークに限られない。
【００９９】
推定部３６は、対象物の複数の撮像画像を第１取得部３０から取得する。また、推定部３６は、１つないし複数の三次元位置座標を示す探索候補点と、第２取得部で得た対象物の仮サイズを含むサンプル点データを第１設定部３４から取得する。そして、推定部３６は、対象物の三次元位置及び対象物のサイズを算出し、表示装置１４へ出力する。
【０１００】
推定部３６は、第２設定部３８、第１算出部４０、第２算出部４２、及び第３算出部４４を備える。
【０１０１】
第２設定部３８は、第１取得部３０から取得した各撮像画像に対して探索候補点を射影した射影位置（二次元位置）毎に、対象物を探索するための探索窓であって、該探索候補点の位置と前記仮サイズとに基づくサイズの該探索窓を設定する。
【０１０２】
第１算出部４０は、第１取得部３０から取得した撮像画像の各々における、探索候補点ｉを射影した射影位置毎に、設定した探索窓内に対象物が含まれるかどうかの度合を示す評価値を算出する。なお本実施の形態では、この評価値として、探索窓内に対象物が含まれているか否かを示す探索候補点ｉの尤度ｌｉ（第１尤度）を用いる。
【０１０３】
第３算出部４４は、複数の撮像画像の各々における、探索候補点ｉを射影した射影位置毎に算出した評価値に基づいて、該射影位置に対応する実空間上の探索候補点ｉに対象物が存在する度合を示す尤度Ｌｉ（第２尤度）を算出する。
【０１０４】
第２算出部４２は、実空間上の探索候補点毎に算出した第２尤度に基づいて、実空間上における対象物の三次元位置、及び対象物のサイズを算出する。
【０１０５】
次に、推定部３６が実行する、対象物の三次元位置及び対象物のサイズの算出処理の手順を説明する。図９は、推定部３６が実行する、対象物の三次元位置及び対象物のサイズの算出処理の手順を示すフローチャートである。
【０１０６】
推定部３６は、ステップＳ２００〜ステップＳ２０８の処理を、第１設定部３４から受け付けた探索候補点の数分、繰り返し実行する。
【０１０７】
まず、第２設定部３８が、１つの探索候補点（以下、探索候補点ｉと称する）を、第１取得部３０から取得した複数の撮像画像の各々上に射影した射影探索候補点ｊの射影位置を算出する（ステップＳ２００）。なお、各々の撮像装置１６では、カメラキャリブレーションが予めおこなわれており、三次元位置を撮像画像上に射影する射影行列は、予め第２設定部３８に記憶されているものとする。
【０１０８】
そして、第２設定部３８は、探索候補点ｉのＺ座標、及び対象物の仮サイズから、射影探索候補点ｊの射影位置毎に探索窓サイズを算出する（ステップＳ２０２）。
【０１０９】
第２設定部３８によるステップＳ２０２の探索窓サイズの算出処理を、図８を用いて説明する。まず、対象物の仮サイズを撮像画像上に射影した場合の大きさを（以下、基準探索窓サイズ）求める。上述したように、相似関係から、図８中におけるＡＡ’：ＢＢ’＝ＯＦ：ＯＺの関係を用いる。ここで、ＢＢ’は、対象物の仮サイズを示す。ＯＦは、上述したように、撮像装置１６の解像度と画角から算出する。また、ＯＺは、探索候補点ｉのＺ座標である。このため、これらの値から、第２設定部３８は、基準探索窓サイズであるＡＡ’を算出する。この基準探索窓サイズを、探索候補点ｉの探索窓サイズとする。
【０１１０】
また、第２設定部３８は、探索候補点ｉの探索窓サイズを求める際に、対象物の基準探索窓サイズを用いて、以下の式（１７）によって示される確率密度関数に従った乱数によって探索窓サイズを求める。
【０１１１】
【数１３】
【０１１２】
式（１７）中、ｗＯは基準探索窓サイズである。また、式（１７）中、σＷは、上記乱数のちらばりの大きさを示し、第２取得部３２による仮サイズの推定精度が高いほど、小さい値を予め設定する。
【０１１３】
第２取得部３２による仮サイズの推定精度が高いとは、例えば、仮サイズの推定方法として、精度の高い推定精度を用いた場合である。また、仮サイズの推定精度が高いとは、撮像画像の検出環境が良好、すなわち撮像画像に含まれるノイズが少ない場合である。撮像画像に含まれるノイズが少ない場合とは、例えば、対象物を明るい環境下で撮像した場合等である。また、仮サイズの推定精度が高い場合には、対象物に焦点のあった撮像画像を取得した場合も含まれる。そこで、第２取得部３２は、予め、仮サイズの推定精度に寄与するこれらの因子に対応する、σＷの値を予め記憶する。そして、これらの因子の１または複数を得るための検知装置等の取得部を更に設けた構成とし、該取得部から得られた情報に基づいて該因子を特定し、特定した因子に対応するσＷを用いればよい。
【０１１４】
そして、第２設定部３８では、上記と同様にして、生成した１つないし複数の乱数の探索窓を求める。つまり、探索候補点ｉの三次元位置座標を持ち、探索窓サイズが異なる探索候補点ｉ−１〜ｉ−ｎが新たに生成されることになる（ｎは１以上の整数）。
【０１１５】
図９に戻り、推定部３６では、これらのｎ個のサンプル点ｉ−ｎそれぞれに対して、下記ステップＳ２０４〜ステップＳ２０８の処理を行えばよい。
【０１１６】
次に、第１算出部４０が、第１取得部３０から取得した撮像画像の各々における、探索候補点ｉを射影した射影探索候補点ｊの射影位置毎に評価値を算出する（ステップＳ２０４）。本実施の形態では、上述のように、第１算出部４０は、評価値として尤度ｌｉ、ｊを算出する。第１算出部４０は、この尤度ｌｉ、ｊの算出を、第１取得部３０から取得したすべての撮像画像、つまりすべてのｊに対して行う。
【０１１７】
第１算出部４０は、具体的には、この尤度ｌｉ−ｊを、上記探索法を用いて算出する。すなわち、第１算出部４０は、上記式（１）〜式（３）を用いて尤度ｌｉを算出する。
【０１１８】
次に、第３算出部４４が、上記ステップＳ２０４で射影位置毎に算出された評価値（尤度ｌｉ−ｊ）に基づいて、射影位置に対応する実空間上の探索候補点ｉに対象物が存在する度合を示す尤度Ｌｉを算出する（ステップＳ２０６）。
【０１１９】
第３算出部４４は、尤度Ｌｉの算出方法として、種々の算出方法を用いる。例えば、第３算出部４４は、下記式（１８）を用いて、尤度Ｌｉを算出する。
【０１２０】
【数１４】
【０１２１】
式（１８）中、Πは総乗を示し、Ｍは画像表示装置１０に搭載された撮像装置１６の台数を示す。
【０１２２】
このとき、ある射影探索候補点ｊにおける尤度ｌｉ−ｊがゼロであったときには、第３算出部４４は、探索候補点ｉにおける尤度Ｌｉをゼロとして出力する。これにより、第３算出部４４は、まだ計算していない尤度算出処理を省略することが可能である。
【０１２３】
また、第３算出部４４は、尤度ｌｉ−ｊの平均値を尤度Ｌｉとして算出してもよい。
【０１２４】
【数１５】
【０１２５】
式（１９）中、Ｍは画像表示装置１０に搭載された撮像装置１６の台数を示す。
【０１２６】
また、第３算出部４４は、尤度ｌｉ−ｊの最大値、尤度ｌｉ−ｊの中央値、または尤度ｌｉ−ｊの重み付け中央値を、尤度Ｌｉとして算出してもよい。また、第３算出部４４は、上記尤度Ｌｉの複数種類の算出方法を組み合わせ、各種類の算出方法によって得た値の平均値や、各種類の算出方法によって得た値の中央値を、尤度Ｌｉとして算出してもよい。
【０１２７】
また、第３算出部４４では、尤度Ｌｉとして、実空間上の探索候補点ｉに対象物が存在する度合を示す尤度Ｌｉを算出したが、逆に対象物でない尤度を計算し１から減算することによって対象物らしさの尤度Ｌｉとしてもよい。
【０１２８】
次に、第３算出部４４が、探索候補点ｉの尤度Ｌｉを求める際に使用した探索窓サイズλｉ、及び探索候補点ｉの三次元位置Ｐｉを記憶する（ステップＳ２０８）。なお、Ｐは、三次元位置を表すベクトルである。
【０１２９】
すべての探索候補点について、上記ステップＳ２００〜ステップＳ２０８の処理を行うと、第２算出部４２が、対象物の三次元位置Ｐ、及び対象物のサイズを算出する（ステップＳ２１０）。
【０１３０】
ステップＳ２１０の処理において、第２算出部４２は、上記ステップＳ２０８で記憶された、対象物の探索候補点ｉの三次元位置Ｐｉ、尤度Ｌｉ、及び尤度Ｌｉを求める際に使用した探索窓サイズλｉを用いて、対象物の三次元位置Ｐ、及び対象物のサイズを算出する。
【０１３１】
第２算出部４２が、対象物の三次元位置Ｐを求める方法は複数ある。例えば、第２算出部４２は、各探索候補点の尤度Ｌｉを重みとし、各探索候補点の三次元位置の重み付き平均として、対象物の三次元位置Ｐを算出する。この場合、第２算出部４２は、対象物の三次元位置Ｐを、下記式（２０）を用いて算出する。
【０１３２】
【数１６】
【０１３３】
式（２０）中、Ｋは、正規化定数であり、式（２１）で示される。また、それぞれの式中のＩは、探索候補点すべてを含む集合を表す。
【０１３４】
【数１７】
【０１３５】
なお、第２算出部４２が、対象物の三次元位置Ｐを算出する方法は、上記方法に限られない。例えば、下記方法Ａ〜方法Ｆが挙げられる。
【０１３６】
方法Ａは、すべての探索候補点のうち、尤度Ｌｉが最大になる探索候補点の三次元座標を、対象物の三次元位置Ｐとして算出する方法である。方法Ｂは、すべての探索候補点のうち、尤度Ｌｉが中央値となる探索候補点の三次元座標を、対象物の三次元位置Ｐとして算出する方法である。方法Ｃは、すべての探索候補点の内、これらの探索候補点の尤度Ｌｉの平均値に最も近い探索候補点の三次元座標を、対象物の三次元位置Ｐとして算出する方法である。方法Ｄは、すべての探索候補点の尤度Ｌｉの内、予め定めた閾値以上の尤度Ｌｉの探索候補点を抽出し、抽出した探索候補点の尤度Ｌｉの平均値を、対象物の三次元位置Ｐとして算出する方法である。方法Ｅは、すべての探索候補点の尤度Ｌｉの内、予め定めた閾値以上の尤度Ｌｉの探索候補点を抽出し、抽出した探索候補点の尤度Ｌｉを重みとした探索候補点の座標の重み付き平均を、対象物の三次元位置Ｐとして算出する方法である。方法Ｆは、すべての探索候補点の尤度Ｌｉの内、予め定めた閾値以上の尤度Ｌｉの探索候補点を抽出し、抽出した探索候補点の尤度Ｌｉの中央値に対応する探索候補点の三次元座標を、対象物の三次元位置Ｐとして算出する方法である。
【０１３７】
また、第２算出部４２は、上記方法を組み合わせて、その平均や中央値等を、対象物の三次元位置Ｐとして算出してもよい。
【０１３８】
第２算出部４２が、対象物のサイズを算出する方法についても、複数の方法が挙げられる。例えば、下記方法Ｇ〜方法Ｍが挙げられる。
【０１３９】
方法Ｇは、対象物のサイズλを、第１設定部３４で設定した探索候補点の尤度Ｌｉの重みとし、各探索候補点の探索窓サイズの重み付き平均として求める方法である。この場合、λは、下記式（２２）によって算出する。
【０１４０】
【数１８】
【０１４１】
式（２２）中、Ｉは、探索候補単すべてを含む集合を表す。また、式（２２）中、Ｋは、正規化定数であり、上記式（２１）で示される。
【０１４２】
また、方法Ｈは、第１設定部３４が設定した全ての探索候補点の内、尤度Ｌｉが最大の探索候補点の探索窓サイズを、対象物のサイズλとする方法である。方法Ｉは、第１設定部３４が設定した全ての探索候補点の内、尤度Ｌｉが中央値の探索候補点の探索窓サイズを対象物のサイズλとする方法である。方法Ｊは、第１設定部３４が設定した全ての探索候補点の内、尤度Ｌｉの平均値に最も近い探索候補点の探索窓サイズを対象物のサイズλとする方法である。また、方法Ｋは、第１設定部３４が設定した全ての探索候補点の内、予め定めた閾値以上の尤度Ｌｉを有する探索候補点を抽出し、抽出した探索候補点の探索窓サイズの平均を対象物のサイズλとする方法である。方法Ｌは、第１設定部３４が設定した全ての探索候補点の内、予め定めた閾値以上の尤度Ｌｉを有する探索候補点を抽出し、抽出した探索候補点の探索窓サイズの重み付き平均値を対象物のサイズλとする方法である。方法Ｍは、第１設定部３４が設定した全ての探索候補点の内、予め定めた閾値以上の尤度Ｌｉを有する探索候補点を抽出し、抽出した探索候補点の尤度Ｌｉの中央値を示す探索候補点の探索窓サイズを対象物のサイズλとする方法である。
【０１４３】
次に、推定部３６は、上記ステップＳ２１０で算出した、対象物の三次元位置、及び対象物のサイズを、表示装置１４へ出力した後に（ステップＳ２１２）、本ルーチンを終了する。
【０１４４】
なお、ステップＳ２１０で算出した、対象物の三次元位置、及び対象物のサイズの出力先は、表示装置１４に限られない。例えば、画像処理装置１２を、有線通信網または無線通信網を介して、各種外部装置と接続した構成とする。各種外部装置としては、例えば、公知の記憶媒体や、パーソナルコンピュータや、携帯端末等が挙げられる。そして、推定部３６は、上記ステップＳ２１０で算出した、対象物の三次元位置及び対象物のサイズを、この各種外部装置に出力してもよい。
【０１４５】
図１０は、尤度Ｌｉの算出手順の模式図である。第２取得部３２が対象物の仮三次元位置及び仮サイズを取得することによって、図１０（Ａ）に示すように、画像処理装置１２は、実空間における、対象物Ｑの仮三次元位置Ｚ及び仮サイズを取得する。第１設定部３４は、仮三次元位置Ｚの周辺の予め定められた領域Ｓ内に、１または複数の探索候補点Ｉを設定する。図１０（Ｂ）に示すように、推定部３６の第２設定部３８では、１つの探索候補点Ｉに対応する、撮像画像９０１〜撮像画像９０３上の射影位置ｉ毎の探索窓５０１〜５０３の探索窓サイズを算出する。そして、第１算出部４０が、射影位置ｉ毎の評価値である尤度ｌ１〜ｌ３を設定する。第３算出部４４は、算出された尤度ｌ１〜ｌ３に基づいて、仮三次元位置Ｚの尤度Ｌｉを算出する。そして、第２算出部４２が、対象物の三次元位置及びサイズを算出する。
【０１４６】
以上説明したように、本実施の形態の画像処理装置１２では、第１取得部３０、第２取得部３２、第１設定部３４、第２設定部３８、第１算出部４０、第２算出部４２を備える。第１取得部３０は、対象物の複数の撮像画像を取得する。第２取得部３２は、対象物の仮三次元位置及び対象物の仮サイズを取得する。第１設定部３４は、実空間における仮三次元位置の周辺の予め定めた範囲内に探索候補点を設定する。第２設定部３８は、複数の撮像画像の各々について、撮像画像上の探索候補点に対応する射影位置と仮サイズとから、該射影位置毎の探索窓サイズを設定する。そして、第１算出部４０は、複数の撮像画像の各々における該射影位置毎に、設定した探索窓サイズの探索窓内に対象物が含まれる度合を示す評価値を算出する。第２算出部４２は、複数の撮像画像の各々における、該射影位置毎の評価値に基づいて、対象物の三次元位置を算出する。
【０１４７】
このように、本実施の形態の画像処理装置１２では、探索法によって撮像画像内の対象物を探索するときに、第２設定部３８が、複数の撮像画像の各々について、対象物の仮三次元位置の近傍の探索候補点に対応する、撮像画像上の射影位置と、仮サイズとから、該射影位置毎の探索窓サイズを設定する。このように、探索候補点を撮像画像上に射影した射影位置と、対象物の仮サイズとから、該射影位置毎の探索窓サイズを設定するので、対象物の個体差による三次元位置算出精度の低下を抑制することができる。
【０１４８】
従って、本実施の形態の画像処理装置１２は、精度よく、対象物の三次元位置を算出することができる。また、画像処理装置１２は、精度よく、対象物のサイズを算出することができる。
【０１４９】
さらに、本実施の形態の画像処理装置１２では、探索候補点を撮像画像上に射影した射影位置と、対象物の仮サイズとから、該射影位置毎の探索窓サイズを設定するので、より高速かつ効率的に、対象物の三次元位置及びサイズを算出することができる。
【０１５０】
（実施の形態２）
本実施の形態では、本実施の形態では、推定部３６で前に算出した対象物の三次元位置及び対象物のサイズを、次の算出時の仮三次元位置及び仮サイズとして用いる。
【０１５１】
図１１は、本実施の形態の画像処理装置１２Ａの機能的構成を示すブロック図である。
【０１５２】
画像処理装置１２Ａは、第１取得部３０、第２取得部３２、第１設定部３５、切替部３９、及び推定部３７を備える。推定部３７は、第２設定部３８、第１算出部４０、第２算出部４２、及び第３算出部４４を備える。
【０１５３】
なお、第１取得部３０、第２取得部３２、第２設定部３８、第１算出部４０、第２算出部４２、及び第３算出部４４は、実施の形態１で説明した画像処理装置１２と同様であるため説明を省略する。
【０１５４】
なお、本実施の形態では、第２取得部３２は、対象物の仮サイズ及び対象物の仮三次元位置を、第１設定部３４に代えて切替部３９へ出力する。また、本実施の形態では、推定部３７は、第２算出部４２で算出した対象物の三次元位置及び対象物のサイズを、表示装置１４へ出力する。また、推定部３７は、対象物の仮のサイズとして第２算出部４２で算出した対象物のサイズと、推定部３７で新たに生成し直したすべての探索候補点の三次元位置および探索サイズと、を含むサンプル点データを切替部３９へ出力する。
【０１５５】
切替部３９は、対象物の仮三次元位置及び仮サイズを含む第１データを第２取得部３２から取得する。また、切替部３９は、推定部３７からサンプル点データを取得する。そして、切替部３９は、第２取得部３２から取得した第１データ、及び推定部３７から取得したサンプル点データの何れか一方を選択し、第１設定部３５へ出力する。
【０１５６】
切替部３９は、下記方法により、第２取得部３２から取得した第１データ、及び推定部３７から取得したサンプル点データの何れか一方を選択する。
【０１５７】
例えば、切替部３９は、内部タイマーを備える。そして、切替部３９は、予め測定しておいた第２取得部３２の処理時間内に第２取得部３２から第１データを受け付けなかったときに、推定部３７から取得したサンプル点データを第１設定部３５へ出力する。
【０１５８】
また、切替部３９は、予め設定した時間内に推定部３７からサンプル点データを受け付けなかったときに、第２取得部３２から取得した第１データを第１設定部３５へ出力する。これは、対象物が検出されない状態では、推定部３７からの出力は無いためである。
【０１５９】
また、切替部３９は、上記２つの場合以外は、推定部３７から受け付けたサンプル点データを第１設定部３５へ出力する。
【０１６０】
第１設定部３５は、切替部３９から、第１データまたはサンプル点データを受け付ける。第１設定部３５では、切替部３９から受け付けたデータが第１データであるかサンプル点データであるかによって異なる処理を行う。
【０１６１】
第１設定部３５は、受け付けたデータが、第２取得部３２から出力された第１データである場合には、実施の形態１で説明した第１設定部３４と同様にして、探索候補点を設定する。そして、設定した探索候補点と、第２取得部３２から切替部３９を介して取得した対象物の仮サイズと、を含むサンプル点データを生成し、推定部３７へ出力する。
【０１６２】
また、第１設定部３５は、切替部３９から受け付けたデータが、推定部３７から出力されたサンプル点データである場合には、受け付けたサンプル点データに含まれる探索候補点の三次元位置を修正した後に、推定部３７へ出力する。
【０１６３】
第１設定部３５は、切替部３９から受け付けたデータが、推定部３７から出力されたサンプル点データである場合には、受け付けたサンプル点データに含まれる対象物の探索候補点の三次元位置は、時間的には過去の三次元位置となる。このため、第１設定部３５では、受け付けたサンプル点データに含まれる探索候補点の三次元位置を、以下の運動モデルに従って修正する。
【０１６４】
一例として、時刻ｔにおける探索候補点の三次元位置Ｘｔ、Ｙｔ、Ｚｔに、Ｘ軸Ｙ軸Ｚ軸のそれぞれの方向の速度を加えた（文字の上のドットで表記）６次元ベクトルＰｔを下記式（２３）で示す。
【０１６５】
【数１９】
【０１６６】
また、推定部３７から切替部３９を介してサンプル点データを受け付けた時刻ｔ−１における、対象物の仮三次元位置を６次元ベクトルＰｔ−１で表す。そして、対象物が等速直線運動をしていると仮定し、第１設定部３５は、６次元ベクトルＰｔを式（２４）によって算出する。
【０１６７】
【数２０】
【０１６８】
式（２４）中、なお、該Ｓは、上記式（１６）と同じである。また、式（２４）中、Ｆは、下記式（２５）で示す。
【０１６９】
【数２１】
【０１７０】
なお、共分散行列は、上述した式（１６）に従う。また、速度を表す要素は、三次元ガウス分布Ｎ（０、Ｓ）とする。このほか、定加速度運動をしていると仮定したモデルに従って、ベクトルＰｔを求めてもよい。また、行列Ｆを単位行列にしてもよい。この場合、速度についてはベクトルＰｔに反映されなく、ランダムウォークモデルと同一になる。
【０１７１】
推定部３７は、対象物の複数の撮像画像を第１取得部３０から取得する。また、推定部３７は、サンプル点データを第１設定部３５から受け付ける。そして、推定部３７は、実施の形態１の推定部３６と同様にして、対象物の三次元位置及び対象物のサイズを算出し、出力する。また、上述したように、推定部３７は、更に、第２算出部４２で算出した対象物の三次元位置及び対象物のサイズと、第３算出部４４で算出した各探索候補点の尤度Ｌｉと、を含むサンプル点データを切替部３９へ出力する。
【０１７２】
次に、推定部３７が実行する、対象物の三次元位置及び対象物のサイズの算出処理の手順を説明する。図１２は、推定部３７が実行する、対象物の三次元位置及び対象物のサイズの算出処理の手順を示すフローチャートである。
【０１７３】
推定部３７は、ステップＳ２００〜ステップＳ２０８の処理を、第１設定部３５から受け付けた探索候補点の数分、繰り返し実行する。なお、ステップＳ２００〜ステップＳ２０８の処理は、実施の形態１で説明した推定部３６の算出処理（図９のステップＳ２００〜ステップ２０８）と同様であるため、詳細な説明を省略する。
【０１７４】
推定部３７が、すべての探索候補点について、上記ステップＳ２００〜ステップＳ２０８の処理を行うと、第２算出部４２が、対象物の三次元位置Ｐ、及び対象物のサイズを算出する（ステップＳ２１０）。なお、ステップＳ２１０の処理は、図９のステップＳ２１０の処理と同様である。
【０１７５】
次に、推定部３７は、上記ステップＳ２０８で算出した尤度Ｌｉの高い探索候補点の近傍に、次の推定部３７による算出時に用いる探索候補点が多くなるように、次の算出時に用いる探索候補点を設定する（ステップＳ２１４）。
【０１７６】
推定部３７によるステップＳ２１４の処理は、時刻ｔにおいての推定部３７の処理によって得られたそれぞれの探索候補点の尤度Ｌｉの高い探索候補点ｉの近傍に時刻ｔ＋１の探索候補点を設定すればよい。ここで、新たに設定された探索候補点の持つ探索サイズは、コピーしてもよいし、式（１７）において、基準探索窓サイズを、コピーされる時刻ｔの探索候補点の探索窓サイズと設定した確率密度関数に基づく乱数によって指定してもよい。
【０１７７】
なお、尤度Ｌｉの高い探索候補点の近傍に、次の時刻ｔ＋１における推定部３７による算出時に用いる探索候補点が多くなるように、次の算出時に用いる探索候補点を設定する方法は、具体的には、次のように行う。
【０１７８】
時刻ｔにおいての探索候補点の総数をＳｔとする。また、すべての探索候補点のＳ２０６で求めた尤度の総和Φｔに対する、時刻ｔにおける探索候補点ｉの尤度の割合をφｉ，ｔとする。この探索候補点ｉ、ｔの３次元位置と同位置に、（φｉ、ｔ／Φｔ×Ｓｔ）個の時刻ｔ＋１における探索候補点を生成する。つまり、尤度が低い時刻ｔの探索候補点であれば、１個も時刻ｔ＋１における探索候補点が生成されなくなり、尤度の低い探索候補点は時刻ｔ＋１で消滅する。また、尤度の高い時刻ｔの探索候補点は、複数コピーされることになり、同位置を探索するように見えるが、上述したように、第１設定部３５で、サンプル点データを受け付けた場合、それに含まれる複数の探索候補点は、それぞれ修正されるため、それぞれ別の位置の探索候補点となる。これにより、時刻ｔで尤度の高い探索候補点であればあるほど、その近傍に時刻ｔ＋１の探索候補点が設定されることになる。
【０１７９】
たとえば、時刻ｔにおける探索候補点の総数を１００、尤度の総和を１とする。時刻ｔの探索候補点ｉの尤度を０．５とすると、尤度の割合φωは０．５になる。つまり、探索候補点ｉと同位置には、５０個の時刻ｔ＋１における探索候補点が生成される。尤度０．０１の探索候補点ならば、同位置に１個の時刻ｔ＋１の探索候補点が生成される。尤度０．０１よりも低い探索候補点であれば、消滅する。
【０１８０】
次に、推定部３７は、出力処理を行った後に（ステップＳ２１６）、本ルーチンを終了する。ステップＳ２１６において、推定部３７は、上記ステップＳ２１４で設定した探索候補点、上記ステップＳ２１０で算出した対象物の三次元位置及び対象物のサイズを含む、サンプル点データを切替部３９へ出力する。また、推定部３７は、上記ステップＳ２１０で算出した対象物の三次元位置及び対象物のサイズを、表示装置１４へ出力する。
【０１８１】
なお、ステップＳ２１６における、対象物の三次元位置、及び対象物のサイズの出力先は、表示装置１４に限られない。例えば、画像処理装置１２Ａを、有線通信網または無線通信網を介して、各種外部装置と接続した構成とする。各種外部装置としては、例えば、公知の記憶媒体や、パーソナルコンピュータや、携帯端末等が挙げられる。そして、推定部３７は、上記ステップＳ２１０で算出した、対象物の三次元位置及び対象物のサイズを、この各種外部装置に出力してもよい。
【０１８２】
以上説明したように、本実施の形態の画像処理装置１２Ａでは、前に算出した、対象物の三次元位置及びサイズを、次に対象物の三次元位置及びサイズを算出するときの仮三次元位置及び仮サイズとして用いる。
【０１８３】
このため、第１取得部３０、第２取得部３２、及び第１設定部３５による処理が終了してから、第１取得部３０から取得した撮像画像及び第１設定部３５から取得した仮サイズ及び仮三次元位置に基づいて、推定部３７で対象物の三次元位置及び対象物のサイズを算出する場合に比べて、画像処理装置１２Ａにおける処理時間の短縮を図ることができる。
【０１８４】
具体的には、第１取得部３０の処理時間と、第２取得部３２及び第１設定部３５の処理時間と、が異なる場合には、遅い方の処理の完了を待ってから推定部３７で処理を行う必要があった。特に、第２取得部３２では、例えばステレオカメラを使用した探索方法を行う場合、撮像画像全体を複数サイズの探索窓を走査させることで、撮像画像内の各走査位置に対象物が存在するかどうかを判定する必要があった。このため、対象物の仮三次元位置および仮サイズを取得するまでの時間間隔が大きくなっていた。一方、第１取得部３０は、撮像画像を撮像装置１６から取得するだけであるので、その処理時間は第２取得部３２より短い。
【０１８５】
一方、本実施の形態では、前に算出した、対象物の三次元位置及びサイズを、次に対象物の三次元位置及びサイズを算出するときの仮三次元位置及び仮サイズとして用いるので、画像処理装置１２Ａにおける処理時間の短縮を図ることができる。
【０１８６】
（実施の形態３）
本実施の形態では、画像処理装置１２または画像処理装置１２Ａで算出した、対象物の三次元位置及びサイズに基づいて、表示部２１の視域を調整する形態を説明する。
【０１８７】
視域とは、表示装置１４の表示部２１に表示された立体画像を視聴者が観察可能な範囲を示す。この観察可能な範囲は、実空間における範囲である。この視域は、表示部２１の表示パラメータの組み合わせによって定まる。このため、表示部２１の表示パラメータを設定することで、視域を設定することができる。
【０１８８】
図１３〜図１６は、表示部２１の各表示パラメータの調整による、視域８０の設定位置や設定範囲の制御の説明図である。
【０１８９】
図１３〜図１６には、表示部２１における表示パネル２０及び光線制御部２２と視域８０の関係を示した。また、図１３〜図１６中には、適宜、各要素画像２４部分を拡大した図を示した。
【０１９０】
図１３（Ａ）に示すように、表示パラメータとしては、表示パネル２０と光線制御部２２との相対位置、表示パネル２０と光線制御部２２との距離、表示部２１の角度、表示部２１の変形、及び表示パネル２０における画素のピッチ等がある。
【０１９１】
表示パネル２０と光線制御部２２との相対位置とは、光線制御部２２の光学的開口部の中心に対する、対応する要素画像２４の位置を示す。表示パネル２０と光線制御部２２との距離は、光線制御部２２の開口部と対応する要素画像２４との最短距離を示す。表示部２１の角度とは、表示部２１を、垂直方向を回転軸として回転させたときの、予め定めた基準位置に対する回転角度を示す。表示部２１の変形とは、表示部２１本体を変形させることを示す。表示パネル２０における画素のピッチとは、表示パネル２０の各要素画像２４の画素の間隔を示す。これらの表示パラメータの組み合わせによって、実空間において視域８０が設定される領域が一意に定まる。
【０１９２】
まず、図１３を用いて、表示パネル２０と光線制御部２２との距離や、表示パネル２０と光線制御部２２との相対位置を調整することによって、視域８０の設定される位置等を制御する場合を説明する。
【０１９３】
図１３（Ａ）は、表示部２１とその視域８０の基本的な位置関係を示す。図１３（Ｂ）は、表示パネル２０と光線制御部２２との距離を図１３（Ａ）に比べて短くした場合を示している。
【０１９４】
図１３（Ａ）及び図１３（Ｂ）に示すように、表示パネル２０と光線制御部２２との距離を短くするほど、表示部２１により近い位置に視域８０を設定することができる（図１３（Ａ）中、視域８０Ａ、及び図１３（Ｂ）中、視域８０Ｂ参照）。逆に、表示パネル２０と光線制御部２２との距離を長くするほど、表示部２１からより離れた位置に視域８０を設定することができる。なお、視域８０が表示部２１の近い位置に設定されるほど、光線密度は減る。
【０１９５】
図１３（Ｃ）は、表示パネル２０の光線制御部２２に対する相対位置を、図１３（Ａ）に比べて右方向（図１３（Ｃ）中、矢印Ｒ方向参照）に移動させた場合を示している。図１３（Ａ）及び図１３（Ｃ）に示すように、表示パネル２０を光線制御部２２に対して相対的に右方向へ移動させると、視域８０は左方向（図１３（Ｃ）中、矢印Ｌ方向）に移動する（図１３（Ｃ）中、視域８０Ｃ参照）。逆に、表示パネル２０の光線制御部２２に対する相対位置を、図１３（Ａ）に比べて左方向に移動させると、視域８０は右方向に移動する（不図示）。
【０１９６】
次に、図１４及び図１５を用いて、表示パネル２０に表示する画素のピッチ（画素の並び）を調整することによって、視域８０が設定される位置等を制御する場合を説明する。
【０１９７】
図１４は、表示部２１における、表示パネル２０の各画素と光線制御部２２とを拡大して示す。図１５（Ａ）は、表示部２１とその視域８０（視域８０Ａ）との基本的な位置関係を示す。表示パネル２０の画面の端（右端（図１４中、矢印Ｒ方向端部）、左端（図１４中、矢印Ｌ方向端部））ほど、表示パネル２０の各画素と光線制御部２２との位置を相対的に大きくずらす。すると、視域８０は、より表示部２１に近い位置に移動し、かつ視域８０の幅がより狭くなる（図１５（Ｂ）中、視域８０Ｄ参照）。なお、視域８０の幅とは、各視域８０における水平方向の最大長を示す。この視域８０の幅は、視域設定距離と称される場合がある。
【０１９８】
一方、表示パネル２０の画面の端ほど、表示パネル２０の各画素と光線制御部２２との位置を相対的にずらす量を小さくする。すると、視域８０は、より表示部２１から遠い位置に移動し、かつ視域８０の幅がより広くなる（図１５（Ｃ）中、視域８０Ｅ参照）。
【０１９９】
次に、図１６を用いて、表示部２１の角度、表示部２１の変形、表示パネル２０と光線制御部２２との相対位置の調整によって、視域８０の設定される位置等を制御する場合を説明する。
【０２００】
図１６（Ａ）は、表示部２１とその視域８０（視域８０Ａ）の基本的な位置関係を示す。図１６（Ｂ）は、表示部２１を回転（図１６中、矢印Ｖ方向）させた状態を示す。図１６（Ａ）及び図１６（Ｂ）に示すように、表示部２１を回転して表示部２１の角度を調整すると、視域８０の位置は、視域８０Ａから視域８０Ｆへ移動する。
【０２０１】
図１６（Ｃ）は、光線制御部２２に対する表示パネル２０の位置及び方向を調整した状態を示す。図１６（Ｃ）に示すように、光線制御部２２に対する表示パネル２０の位置及び方向を変更すると、視域８０は視域８０Ａから視域８０Ｇに移動する。
【０２０２】
図１６（Ｄ）は、表示部２１全体を変形させた状態を示す。図１６（Ａ）及び図１６（Ｄ）に示すように、表示部２１を変形させることによって、視域８０は、視域８０Ａから視域８０Ｈへ変化する。
【０２０３】
上述のように、表示部２１の表示パラメータの組み合わせによって、実空間において視域８０の設定される領域（位置や大きさ等）が一意に定まる。
【０２０４】
次に、画像表示装置１０の機能的構成について説明する。
【０２０５】
図１７は、画像表示装置１０の機能的構成を示すブロック図である。画像表示装置１０は、画像処理装置１２及び表示装置１４を備える。画像処理装置１２の構成は、上記実施の形態１で説明したため、詳細な説明を省略する。
【０２０６】
表示装置１４は、決定部２８、制御部２９、及び表示部２１を備える。表示部２１は、実施の形態１で説明したため詳細な説明を省略する。
【０２０７】
決定部２８は、画像処理装置１２から、対象物の三次元位置及び対象物のサイズを受け付ける。なお、決定部２８は、画像処理装置１２から少なくとも対象物の三次元位置を受け付ければよい。決定部２８は、受け付けた三次元位置において立体画像を観察可能な視域を示す視域情報を算出する。この視域情報の算出は、たとえば、予めメモリ（不図示）内に、各表示パラメータの組み合わせに対応する視域を示す視域情報を記憶しておく。そして、決定部２８は、画像処理装置１２から取得した三次元位置を視域に含む視域情報を該メモリから検索することによって、視域情報を算出する。
【０２０８】
また、決定部２８は、画像処理装置１２から取得した該三次元位置を含む、画像処理装置１２から取得した対象物のサイズに相当する領域を算出し、該領域を含む視域の視域情報を該メモリから検索することによって、視域情報を算出してもよい。
【０２０９】
制御部２９は、決定部２８が算出した視域情報に応じた視域を設定するように、表示部２１を制御する、表示制御処理を行う。すなわち、制御部２９は、表示部２１の表示パラメータを調整し、該視域を設定する。具体的には、表示部２１には、各表示パラメータを調整するための不図示の駆動部が設けられている。また、制御部２９は、予めメモリ（不図示）内に、各表示パラメータの組み合わせに対応する視域を示す視域情報を記憶している。そして、制御部２９は、決定部２８で算出した視域情報に対応する表示パラメータの組み合わせを該メモリから読み取り、読み取った各表示パラメータに対応する駆動部を制御する。
【０２１０】
これにより、表示部２１は、画像処理装置１２から受け付けた対象物の三次元位置を含む領域を視域とした立体画像を表示する。
【０２１１】
上述のように、画像処理装置１２で算出する対象物の三次元位置は、高精度に対象物の位置を特定した三次元位置である。このため、表示装置１４は、精度よく、対象物の三次元位置に視域を設定することができる。また、視域内に位置するように視聴者が自ら場所を移動する必要がなくなるので、利便性も向上する。
【０２１２】
なお、本実施の形態では、表示装置１４が、決定部２８及び制御部２９を備えた構成である場合を説明したが、画像処理装置１２が、決定部２８及び制御部２９を備えた構成であってもよい。
【０２１３】
また、本実施の形態では、画像表示装置１０は、画像処理装置１２及び表示装置１４を備えた構成である場合を説明したが、画像処理装置１２に代えて、実施の形態２で説明した画像処理装置１２Ａを備えた構成であってもよい。
【０２１４】
なお、実施の形態１〜３における画像処理装置１２及び画像処理装置１２Ａで実行する取得処理、及び算出処理、並びに表示装置１４で実行する表示制御処理の各々を実行するためのプログラムは、ＲＯＭ等に予め組み込まれて提供される。
【０２１５】
実施の形態１〜３における画像処理装置１２及び画像処理装置１２Ａで実行する取得処理、及び算出処理、並びに表示装置１４で実行する表示制御処理の各々を実行するためのプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
【０２１６】
さらに、実施の形態１〜３における画像処理装置１２及び画像処理装置１２Ａで実行する取得処理、及び算出処理、並びに表示装置１４で実行する表示制御処理の各々を実行するためのプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、実施の形態１〜３における画像処理装置１２及び画像処理装置１２Ａで実行する取得処理、及び算出処理、並びに表示装置１４で実行する表示制御処理の各々を実行するためのプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。
【０２１７】
実施の形態１〜３における画像処理装置１２及び画像処理装置１２Ａで実行する取得処理、及び算出処理、並びに表示装置１４で実行する表示制御処理の各々を実行するためのプログラムは、上述した各部（第１取得部３０、第２取得部３２、第１設定部３４、第１設定部３５、推定部３６、推定部３７、第２設定部３８、切替部３９、第２算出部４２、第１算出部４０、第３算出部４４）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記ＲＯＭからプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、これらの各機能部が主記憶装置上に生成されるようになっている。
【０２１８】
なお、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【０２１９】
１０ 画像表示装置
１２、１２Ａ 画像処理装置
１４ 表示装置
２８ 決定部
２９ 制御部
２１ 表示部
３０ 第１取得部
３２ 第２取得部
３４、３５ 第１設定部
３６、３７ 推定部
３８ 第２設定部
３９ 切替部
４０ 第１算出部
４２ 第２算出部
４４ 第３算出部
【特許請求の範囲】
【請求項１】
対象物が複数の位置から撮像された複数の撮像画像を取得する第１取得部と、
前記対象物の仮三次元位置と、前記対象物の仮サイズとを取得する第２取得部と、
前記仮三次元位置の近傍に少なくとも１つの探索候補点を設定する第１設定部と、
前記探索候補点を前記撮像画像に射影した射影位置毎に、前記対象物を探索するための探索窓であって、前記探索候補点の位置と前記仮サイズとに基づくサイズの前記探索窓を設定する第２設定部と、
前記探索窓内において、前記対象物が含まれるかどうかを示す評価値を算出する第１算出部と、
前記評価値に基づいて、前記対象物の三次元位置を算出する第２算出部と、
を備えた画像処理装置。
【請求項２】
前記第２設定部は、前記仮サイズに基づいて、前記対象物の１または複数の仮サイズを新たに算出し、新たに算出した該仮サイズと前記射影位置とから、前記射影位置毎に前記探索窓サイズを設定する、請求項１に記載の画像処理装置。
【請求項３】
前記第１算出部は、前記撮像画像上の前記探索窓サイズの探索窓内の画素値に基づいて、前記探索窓内に前記対象物が含まれているか否かを示す第１尤度を前記評価値として算出する、請求項２に記載の画像処理装置。
【請求項４】
前記第１設定部は、前記第２算出部によって算出された前記三次元位置を前記仮三次元位置として、前記探索候補点を設定する、請求項３に記載の画像処理装置。
【請求項５】
前記第１算出部は、前記対象物の予め定めた姿勢に基づいて前記評価値を算出する請求項１に記載の画像処理装置。
【請求項６】
前記第１設定部は、前記対象物の予め定めた運動モデルに応じて前記探索候補点を設定する、請求項１に記載の画像処理装置。
【請求項７】
前記評価値に基づいて、前記射影位置に対応する前記探索候補点に前記対象物が存在する度合を示す第２尤度を算出する第３算出部を更に備え、
前記第２算出部は、前記第２尤度に基づいて前記三次元位置を算出する、
請求項１に記載の画像処理装置。
【請求項８】
表示部に表示される立体画像を視聴者が観察可能な視域を前記三次元位置に決定する決定部と、
前記視域が設定されるよう、前記表示部を制御する制御部と、
備えた請求項１に記載の画像処理装置。
【請求項９】
対象物が複数の位置から撮像された複数の撮像画像を取得し、
前記対象物の仮三次元位置と、前記対象物の仮サイズを取得し、
実空間における前記仮三次元位置の近傍に少なくとも１つの探索候補点を設定し、
前記探索候補点を前記撮像画像に射影した射影位置毎に、前記対象物を探索するための探索窓であって、前記探索候補点の位置と前記仮サイズとに基づくサイズの前記探索窓を設定し、
前記探索窓内において、前記対象物が含まれるかどうかを示す評価値を算出し、
前記評価値に基づいて前記対象物の三次元位置を算出する、
画像処理方法。
【請求項１０】
対象物が複数の位置から撮像された複数の撮像画像を取得する第１取得部と、
前記対象物の仮三次元位置と、前記対象物の仮サイズを取得する第２取得部と、
実空間における前記仮三次元位置の近傍に少なくとも１つの探索候補点を設定する第１設定部と、
前記探索候補点を前記撮像画像に射影した射影位置毎に、前記対象物を探索するための探索窓であって、前記探索候補点の位置と前記仮サイズとに基づくサイズの前記探索窓を設定する第２設定部と、
前記探索窓内において、前記対象物が含まれるかどうかを示す評価値を算出する第１算出部と、
前記評価値に基づいて前記対象物の三次元位置を算出する第２算出部と、
立体画像を表示可能な表示部と、
前記立体画像を視聴者が観察可能な視域を前記三次元位置に決定する決定部と、
前記視域が設定されるよう、前記表示部を制御する制御部と、
備えた画像表示装置。
【請求項１】
対象物が複数の位置から撮像された複数の撮像画像を取得する第１取得部と、
前記対象物の仮三次元位置と、前記対象物の仮サイズとを取得する第２取得部と、
前記仮三次元位置の近傍に少なくとも１つの探索候補点を設定する第１設定部と、
前記探索候補点を前記撮像画像に射影した射影位置毎に、前記対象物を探索するための探索窓であって、前記探索候補点の位置と前記仮サイズとに基づくサイズの前記探索窓を設定する第２設定部と、
前記探索窓内において、前記対象物が含まれるかどうかを示す評価値を算出する第１算出部と、
前記評価値に基づいて、前記対象物の三次元位置を算出する第２算出部と、
を備えた画像処理装置。
【請求項２】
前記第２設定部は、前記仮サイズに基づいて、前記対象物の１または複数の仮サイズを新たに算出し、新たに算出した該仮サイズと前記射影位置とから、前記射影位置毎に前記探索窓サイズを設定する、請求項１に記載の画像処理装置。
【請求項３】
前記第１算出部は、前記撮像画像上の前記探索窓サイズの探索窓内の画素値に基づいて、前記探索窓内に前記対象物が含まれているか否かを示す第１尤度を前記評価値として算出する、請求項２に記載の画像処理装置。
【請求項４】
前記第１設定部は、前記第２算出部によって算出された前記三次元位置を前記仮三次元位置として、前記探索候補点を設定する、請求項３に記載の画像処理装置。
【請求項５】
前記第１算出部は、前記対象物の予め定めた姿勢に基づいて前記評価値を算出する請求項１に記載の画像処理装置。
【請求項６】
前記第１設定部は、前記対象物の予め定めた運動モデルに応じて前記探索候補点を設定する、請求項１に記載の画像処理装置。
【請求項７】
前記評価値に基づいて、前記射影位置に対応する前記探索候補点に前記対象物が存在する度合を示す第２尤度を算出する第３算出部を更に備え、
前記第２算出部は、前記第２尤度に基づいて前記三次元位置を算出する、
請求項１に記載の画像処理装置。
【請求項８】
表示部に表示される立体画像を視聴者が観察可能な視域を前記三次元位置に決定する決定部と、
前記視域が設定されるよう、前記表示部を制御する制御部と、
備えた請求項１に記載の画像処理装置。
【請求項９】
対象物が複数の位置から撮像された複数の撮像画像を取得し、
前記対象物の仮三次元位置と、前記対象物の仮サイズを取得し、
実空間における前記仮三次元位置の近傍に少なくとも１つの探索候補点を設定し、
前記探索候補点を前記撮像画像に射影した射影位置毎に、前記対象物を探索するための探索窓であって、前記探索候補点の位置と前記仮サイズとに基づくサイズの前記探索窓を設定し、
前記探索窓内において、前記対象物が含まれるかどうかを示す評価値を算出し、
前記評価値に基づいて前記対象物の三次元位置を算出する、
画像処理方法。
【請求項１０】
対象物が複数の位置から撮像された複数の撮像画像を取得する第１取得部と、
前記対象物の仮三次元位置と、前記対象物の仮サイズを取得する第２取得部と、
実空間における前記仮三次元位置の近傍に少なくとも１つの探索候補点を設定する第１設定部と、
前記探索候補点を前記撮像画像に射影した射影位置毎に、前記対象物を探索するための探索窓であって、前記探索候補点の位置と前記仮サイズとに基づくサイズの前記探索窓を設定する第２設定部と、
前記探索窓内において、前記対象物が含まれるかどうかを示す評価値を算出する第１算出部と、
前記評価値に基づいて前記対象物の三次元位置を算出する第２算出部と、
立体画像を表示可能な表示部と、
前記立体画像を視聴者が観察可能な視域を前記三次元位置に決定する決定部と、
前記視域が設定されるよう、前記表示部を制御する制御部と、
備えた画像表示装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２０１３−１０５３４３（Ｐ２０１３−１０５３４３Ａ）
【公開日】平成２５年５月３０日（２０１３．５．３０）
【国際特許分類】
【出願番号】特願２０１１−２４９１６４（Ｐ２０１１−２４９１６４）
【出願日】平成２３年１１月１４日（２０１１．１１．１４）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２５年５月３０日（２０１３．５．３０）
【国際特許分類】
【出願日】平成２３年１１月１４日（２０１１．１１．１４）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]