画像処理装置および方法、記録媒体並びにプログラム
【課題】正確に３次元座標を検出できるようにする。
【解決手段】取得部が、魚眼レンズを介して撮影した画像である魚眼画像を取得し、変換部が、魚眼画像を変換して、変換画像を生成し、認識部が、変換画像から認識対象の画像を認識する。本発明は画像処理装置に適用することができる。
【解決手段】取得部が、魚眼レンズを介して撮影した画像である魚眼画像を取得し、変換部が、魚眼画像を変換して、変換画像を生成し、認識部が、変換画像から認識対象の画像を認識する。本発明は画像処理装置に適用することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は画像処理装置および方法、記録媒体並びにプログラムに関し、特に正確に３次元座標を検出することができるようにした画像処理装置および方法、記録媒体並びにプログラムに関する。
【背景技術】
【０００２】
カメラにおいて魚眼レンズが使用される場合がある。魚眼レンズは３６０度の範囲の画像を撮像できるため、例えば周囲を全体的に監視するのに好適である。
【０００３】
このような魚眼レンズを有するカメラをロボットの頭上に配置し、周囲を観察することが提案されている（例えば特許文献１）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−２１０４０３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、魚眼レンズを用いたカメラにより撮像された画像はひずみが大きいので、その画像から、そこに写されている被写体の３次元位置を正確に推定することは困難である。
【０００６】
本技術はこのような状況に鑑みてなされたものであり、正確に３次元座標を検出できるようにする。
【課題を解決するための手段】
【０００７】
本技術の一側面は、魚眼レンズを介して撮影した画像である魚眼画像を取得する取得部と、前記魚眼画像を変換して、変換画像を生成する変換部と、前記変換画像から認識対象の画像を認識する認識部とを備える画像処理装置である。
【０００８】
前記変換画像は、前記魚眼画像を円筒面上に展開した展開画像とすることができる。
【０００９】
前記展開画像上の前記認識対象の画像の大きさを検出する検出部をさらに備えることができる。
【００１０】
前記認識対象までの距離を、前記認識対象の画像の大きさから演算する演算部をさらに備えることができる。
【００１１】
前記演算部は、前記距離と大きさの関係を規定する関係式から、前記認識対象の画像の大きさに対応する前記認識対象までの距離を演算することができる。
【００１２】
異なる大きさの複数の前記認識対象について用意されている複数の前記関係式から１つを選択する選択部をさらに備えることができる。
【００１３】
１つの前記関係式を選択するために距離を測定する測定部をさらに備えることができる。
【００１４】
１つの前記関係式を選択するために特定の前記認識対象を特定する特定部をさらに備えることができる。
【００１５】
前記演算部はさらに、新たな前記関係式を演算し、追加することができる。
【００１６】
前記関係式を更新する更新部をさらに備えることができる。
【００１７】
前記関係式から検出された前記認識対象までの距離をパラメータとして、前記魚眼画像の座標系を、世界座標系に変換する座標変換部をさらに備えることができる。
【００１８】
本技術の一側面の画像処理方法、記録媒体及びプログラムは、上述した本技術の一側面の画像処理装置に対応する画像処理方法、記録媒体及びプログラムである。
【００１９】
本技術の一側面においては、魚眼レンズを介して撮影した画像である魚眼画像が取得され、魚眼画像を変換して、変換画像が生成され、変換画像から認識対象の画像が検出される。
【発明の効果】
【００２０】
以上のように、本技術の一側面によれば、正確に３次元座標を検出することができる。
【図面の簡単な説明】
【００２１】
【図１】本技術の画像処理装置の構成を示すブロック図である。
【図２】本技術の画像処理装置の３次元位置推定処理を説明するフローチャートである。
【図３】本技術の画像処理装置の３次元位置推定処理を説明する図である。
【図４】被写体の画像の大きさと距離の関係を説明する図である。
【図５】被写体の画像の大きさと距離の関係を示すグラフである。
【図６】魚眼画像の座標系を説明する図である。
【図７】世界座標系を説明する図である。
【図８】学習処理を説明するフローチャートである。
【図９】被写体の画像の大きさと距離の関係を表す式を説明する図である。
【図１０】本技術の画像処理装置の３次元位置推定処理を説明するフローチャートである。
【図１１】本技術の画像処理装置の３次元位置推定処理を説明するフローチャートである。
【図１２】関係式選択処理を説明するフローチャートである。
【図１３】被写体の画像の大きさから距離を求める原理を説明する図である。
【図１４】関係式選択処理を説明するフローチャートである。
【図１５】本技術の画像処理装置の３次元位置推定処理を説明するフローチャートである。
【図１６】本技術の画像処理装置の３次元位置推定処理を説明するフローチャートである。
【図１７】本技術の画像処理装置の３次元位置推定処理を説明するフローチャートである。
【図１８】本技術の画像処理装置の３次元位置推定処理を説明するフローチャートである。
【図１９】画像の展開を説明する図である。
【図２０】パーソナルコンピュータの構成を示すブロック図である。
【発明を実施するための形態】
【００２２】
以下、技術を実施するための形態（以下、実施の形態と称する）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態
２．第２の実施の形態
３．第３の実施の形態
４．第４の実施の形態
５．変形例
６．本技術のプログラムへの適用
７．その他
【００２３】
＜１．第１の実施の形態＞
［画像処理装置の構成］
【００２４】
図１は、本技術の画像処理装置１の構成を示すブロック図である。画像処理装置１は、カメラ１１、モータ１２、マイクロプロセッサ１３、入力部１４、出力部１５、通信部１６、メモリ１７、およびステレオカメラ１８を有している。
【００２５】
カメラ１１は魚眼レンズ１１Ａを有し、所定の範囲の監視領域の被写体を撮像する。モータ１２は、カメラ１１を駆動し、その方向を所定の方向に指向させる。マイクロプロセッサ１３は各部を制御する。入力部１４はキーボード、マウス、スイッチ等により構成され、ユーザにより操作され、操作に対応する信号をマイクロプロセッサ１３に出力する。出力部１５は、LCD(Liquid Crystal Display)、スピーカなどにより構成され、所定の画像やメッセージを表示したり、音声を出力する。
【００２６】
通信部１６は、インターネットその他のネットワークを介して他の装置と通信する。メモリ１７は、各種の情報やプログラムを記憶する。ステレオカメラ１８は必要に応じて付加され、測距のための画像を撮像する。
【００２７】
マイクロプロセッサ１３は、撮像部３１、画像変換部３２、顔認識部３３、判定部３４、検出部３５、演算部３６、座標変換部３７、指示部３８、選択部３９、測定部４０、記憶部４１、更新部４２、制御部４３の機能ブロックを有している。
【００２８】
撮像部３１は、カメラ１１とステレオカメラ１８により被写体を撮像する。画像変換部３２は、魚眼レンズ１１Ａによる画像を、変換画像に変換する。顔認識部３３は、変換画像から認識対象としての人の顔を認識する。判定部３４は、各種の判定処理を実行する。検出部３５は、顔、顔のサイズ等の検出処理を行う。演算部３６は、距離、関係式、顔の特定のための演算を行う。
【００２９】
座標変換部３７は、座標変換の演算を行う。指示部３８は、距離の変更、顔の大きさの変更などの指示を行う。選択部３９は、関係式を選択する。測定部４０は、距離を測定する。記憶部４１は、距離と顔のサイズを記憶する。更新部４２は、距離と顔のサイズの関係式を更新する。制御部４３は、モータ１２を駆動し、カメラ１１とステレオカメラ１８の向きを制御する。
【００３０】
＜１．第１の実施の形態＞
［３次元位置推定処理１］
【００３１】
次に、画像処理装置１の３次元位置推定処理を説明する。図２は、本技術の画像処理装置１の３次元位置推定処理を説明するフローチャートである。この処理は、画像処理装置１の電源をオンしたとき開始される。
【００３２】
ステップＳ１において撮像部３１は、カメラ１１で撮影する。カメラ１１により魚眼レンズ１１Ａを介して周囲の被写体が撮影され、その画像が魚眼画像として取得される。
【００３３】
図３は、本技術の画像処理装置１の３次元位置推定処理を説明する図である。カメラ１１による撮影処理により、図３の左上に示されている魚眼画像Ｐ１が取得される。
【００３４】
ステップＳ２において、画像変換部３２は、画像を変換する。具体的には、ステップＳ１で取得された魚眼画像Ｐ１が、変換画像Ｐ２に変換される。この実施の形態における変換画像Ｐ２は、魚眼画像Ｐ１を円筒面上に展開した展開画像とされている。図３の右上に、この変換画像Ｐ２が示されている。
【００３５】
ステップＳ３において顔認識部３３は、顔認識処理を実行する。すなわち、図３の右下の図に示されるように、ステップＳ２で得られた変換画像に含まれる人の顔の画像５１が変換画像Ｐ２から認識される。この認識処理は、例えば肌色、目、口、耳、鼻などの特徴を有する領域を検索することで行うことができる。
【００３６】
ステップＳ１の撮像処理で得られた魚眼画像Ｐ１においては、３次元空間における上方向が画像の中心となる。そのため、３次元空間における上方向が画像の上方向であることを前提としている検出器で顔を検出し、そのサイズを迅速かつ正確に検出することが困難である。そこで本実施の形態においては、変換画像Ｐ２が生成される。これにより３次元空間における上方向の検出が容易となり、その結果、顔を検出することが容易となる。つまり、図３の右下に示されているように、変換画像Ｐ２から顔の画像５１が検出される。
【００３７】
ステップＳ４において判定部３４は、顔が認識されたかを判定する。顔が認識されない場合、処理はステップＳ１に戻り、顔が認識されるまで、ステップＳ１乃至Ｓ４の処理が繰り返される。
【００３８】
ステップＳ４において顔が認識されたと判定された場合、ステップＳ５において検出部３５は、認識された顔を魚眼画像の座標系から検出する。すなわち、図３の左側の中央に示されるように、魚眼画像Ｐ１上における顔の画像５１が検出される。
【００３９】
ステップＳ６において検出部３５は、顔のサイズ、つまり大きさを検出する。具体的には、図３の左側の中央に示される魚眼画像Ｐ１上における顔の画像５１の大きさが検出される。
【００４０】
図４は、被写体の画像の大きさと距離の関係を説明する図である。図４に示されるように、ＸＹＺの世界座標系において、カメラ１１からより遠い距離Ｒ１の位置に顔の画像５１−１が存在し、より近い距離Ｒ２の位置に顔の画像５１−２が存在するとする。この場合、魚眼画像Ｐ１上の顔の画像５１−１と、顔の画像５１−２の大きさを比較すると、距離が近い顔の画像５１−２の方が、距離が遠い顔の画像５１−１より大きくなる。
【００４１】
図５は、被写体の画像の大きさと距離の関係を示すグラフである。図５において、横軸は顔の画像５１の大きさ（すなわち、顔のサイズ）を表し、縦軸は、カメラ１１と顔の距離Ｒを表す。図５に曲線Ｌで示されるように、顔のサイズＳと距離Ｒの間には負の相関がある。つまり、距離Ｒが大きくなるほど、顔のサイズＳは小さくなる。曲線Ｌは下に突の形状となる。曲線Ｌは、次の式で表される。
Ｒ＝ｆs（Ｓ） （１）
【００４２】
ステップＳ７において演算部３６は、関係式に基づき、顔のサイズから距離を求める。ここで関係式とは、図５において曲線Ｌで表される式、すなわち顔のサイズＳと距離Ｒの関係を表す式（１）である。ステップＳ６の処理で検出された顔のサイズＳに対応する距離Ｒが、式（１）から求められる。式（１）はメモリ１７に予め記憶されている。
【００４３】
ステップＳ８において座標変換部３７は、座標系を世界座標系に変換する。
【００４４】
図６は、魚眼レンズ１１Ａにより撮像された魚眼画像の座標系を説明する図である。図６の魚眼画像の座標系ｘｙにおいて、座標（ｘＣ，ｙＣ）はカメラ１１が存在する座標である。ｒＣは、魚眼レンズ１１Ａの視野半径である。世界座標系でカメラ１１から距離Ｒに位置する顔の画像５１が、魚眼画像の座標系において、座標（ｘ，ｙ）に位置するものとする。座標（ｘＣ，ｙＣ）と座標（ｘ，ｙ）とを結ぶ直線の、ｙ座標軸に対する時計回転方向の角度をθとする。そして、顔の画像５１の、世界座標系のＸＹ面上のカメラ１１からの仰角、つまり水平面からの仰角をφとする。このとき、次式が成立する。
【００４５】
ｘ＝ｘＣ−ｒＣ×cosφ×sinθ （２）
ｙ＝ｙＣ＋ｒＣ×cosφ×cosθ （３）
【００４６】
上記式（２），（３）から次式が求められる。
ｒＣ×cosφ＝（ｘＣ−ｘ）／sinθ （４）
ｙ＝ｙＣ＋（（ｘＣ−ｘ）／sinθ）×cosθ （５）
ｙ＝ｙＣ＋（ｘＣ−ｘ）／tanθ （６）
θ＝tan−１（（ｘＣ−ｘ）／（ｙ−ｙＣ）） （７）
ｒＣ×cosφ×sinθ＝ｘＣ−ｘ （８）
cosφ＝（ｘＣ−ｘ）／（ｒＣ×sinθ） （９）
φ＝cos−１（（ｘＣ−ｘ）／（ｒＣ×sinθ）） （１０）
【００４７】
上記式に基づいて、演算部３６は、顔の画像５１の座標（ｘ，ｙ）から、角度θ，φを求めることができる。
【００４８】
図７は、世界座標系を説明する図である。図７（並びに、図３の左側の下の図）に示されるように、顔の画像５１の世界座標系における座標（Ｘ，Ｙ，Ｚ）は、次式で表される。
Ｘ＝Ｒcosφ×cosθ （１１）
Ｙ＝Ｒcosφ×sinθ （１２）
Ｚ＝Ｒsinφ （１３）
【００４９】
座標変換部３７は上記式（１１）乃至（１３）に基づき、ステップＳ７の処理で求められた距離Ｒをパラメータとして、顔の画像５１の座標（Ｘ，Ｙ，Ｚ）を演算することができる。角度θ，φは、上記式（７）と式（１０）で演算することができる。
【００５０】
ステップＳ９において判定部３４は、推定処理を終了するかを判定する。ユーザから処理の終了が指示されていない場合、処理はステップＳ１に戻り、それ以降の処理が繰り返される。
【００５１】
ステップＳ９において、ユーザから処理の終了が指示されたと判定された場合、推定処理は終了される。
【００５２】
以上のようにして、１個の魚眼レンズ１１Ａを有する１台のカメラ１１の画像から、迅速かつ正確に、世界座標を求めることができる。その結果、顔の画像５１の世界座標系における移動軌跡を予測したり、顔の画像５１をより認識し易い方向にカメラ１１を指向させたりすることができる。
【００５３】
＜１．第１の実施の形態＞
［学習処理］
【００５４】
上述したように、図２の３次元位置推定処理を実行する場合、距離と顔のサイズの関係が予め判っている必要がある。つまり、関係式を予め求めておく必要がある。そこで次に、距離と顔のサイズの関係式を予め学習し、求めておく方法について、図８と図９を参照して説明する。なお、図８と図９の実施の形態においては、異なる大きさの複数の顔についての複数の関係式を学習するものとする。
【００５５】
図８は、学習処理を説明するフローチャートである。なお、図８のステップＳ４１，Ｓ４２，Ｓ４４、Ｓ４５の処理は、図２のステップＳ１，Ｓ２，Ｓ３，Ｓ６の処理と同様の処理であり、これらの処理については繰り返しになるので簡単に説明する。
【００５６】
ステップＳ４１において撮像部３１は、カメラ１１で撮影する。カメラ１１により魚眼レンズ１１Ａを介して周囲の被写体が撮影され、その画像が魚眼画像として取得される。
【００５７】
ステップＳ４２において、画像変換部３２は、画像を変換する。すなわち、ステップＳ４１で取得された魚眼画像Ｐ１が変換画像Ｐ２に変換される。
【００５８】
ステップＳ４３において検出部３５は、所定の大きさの顔が配置された距離を検出する。つまり、ステレオカメラ１８または別途設けられた測距装置により、顔までの距離が測定され、その結果が取得される。
【００５９】
ステップＳ４４において顔認識部３３は、顔認識処理を実行する。すなわち、ステップＳ４２で得られた変換画像に含まれる人の顔の画像が認識される。
【００６０】
ステップＳ４５において検出部３５は、顔のサイズを検出する。
【００６１】
次にステップＳ４６において記憶部４１は、距離と顔のサイズとの関係を記憶する。つまり、ステップＳ４３で検出された距離と、ステップＳ４５で検出された顔のサイズが、対応づけられてメモリ１７に記憶される。
【００６２】
ステップＳ４７において判定部３４は、必要な範囲を測定したかを判定する。つまり、監視する範囲についての測定が完了したかが判定される。
【００６３】
まだ必要な範囲の測定が完了していない場合、ステップＳ４８において指示部３８は、距離の変更を指示する。例えば出力部１５に距離の変更を指示するメッセージが表示される。ユーザはこの指示に従って、顔の位置を変更する。
【００６４】
その後、処理はステップＳ４１に戻り、新たに位置に配置された顔について、同様の処理が実行される。
【００６５】
ステップＳ４７において必要な範囲の測定が完了したと判定された場合、ステップＳ４９において判定部３４は、全ての大きさを測定したかを判定する。まだ全ての大きさの顔を測定していない場合、ステップＳ５０において指示部３８は、顔の大きさの変更を指示する。例えば、出力部１５に顔の大きさの変更を指示するメッセージが表示される。ユーザはこの指示に従って、顔の大きさを変更する。
【００６６】
その後、処理はステップＳ４１に戻り、新たな大きさの顔について、同様の処理が実行される。
【００６７】
ステップＳ４９において全ての大きさの顔が測定されたと判定された場合、ステップＳ６１において演算部３６は、各サイズの顔と距離の関係式を演算する。
【００６８】
図９は、被写体の画像の大きさと距離の関係を表す式を説明する図である。以上のようにして、例えばサイズが大きい顔の画像５１Ｌについての距離と顔のサイズの関係を表す曲線Ｌ１が、最小自乗法などにより求められ、それを表す関数である関係式Ｒ＝ｆＬ（Ｓ）が求められる。
【００６９】
同様に、サイズが中程度の大きさの顔の画像５１Ｍについての距離と顔のサイズの関係を表す曲線Ｌ２が、最小自乗法などにより求められ、それを表す関係式Ｒ＝ｆＭ（Ｓ）が求められる。さらにサイズが小さい顔の画像５１Ｓについての距離と顔のサイズの関係を表す曲線Ｌ３が、最小自乗法などにより求められ、それを表す関係式Ｒ＝ｆＳ（Ｓ）が求められる。
【００７０】
求められた関係式は、メモリ１７に記憶される。
【００７１】
＜２．第２の実施の形態＞
［３次元位置推定処理２］
【００７２】
図２の３次元位置推定処理は、関係式が１つである場合の処理であるが、関係式が複数存在する場合の処理について、図１０乃至図１４を参照して説明する。
【００７３】
図１０と図１１は、本技術の画像処理装置１の３次元位置推定処理を説明するフローチャートである。なお、図１０と図１１のステップＳ８１乃至Ｓ８６と、ステップＳ８８乃至Ｓ９０の処理は、図２のステップＳ１乃至Ｓ９の処理と同様の処理であり、ステップＳ８７と、ステップＳ９１乃至Ｓ９６の処理が、図２の３次元位置推定処理と異なっている。以下においては、主に図２における場合と異なる処理を中心に説明する。
【００７４】
すなわち図２における場合と同様に、ステップＳ８１乃至Ｓ８６において、カメラ１１で撮影して得られた魚眼画像が変換画像に変換され、変換画像から顔が認識され、認識された顔の魚眼画像上のサイズが検出される。
【００７５】
魚眼画像上の顔のサイズが検出された後、ステップＳ８７において関係式選択処理が実行される。この関係式選択処理の詳細について、図１２のフローチャートを参照して説明する。この実施の形態の場合、魚眼レンズ１１Ａを有するカメラ１１以外に、ステレオカメラ１８が設けられている。
【００７６】
図１２は、関係式選択処理を説明するフローチャートである。ステップＳ１１１において測定部４０は、ステレオカメラ１８により距離を測定する。すなわち、ステレオカメラ１８が顔を撮像し、測定部４０はその画像から顔までの距離を演算する。
【００７７】
ステップＳ１１２において選択部３９は、距離と顔のサイズから関係式を選択する。
【００７８】
図１３は、被写体の画像の大きさから距離を求める原理を説明する図である。いま、図１３に示されるように、３つの関係式Ｒ＝ｆＬ（Ｓ），Ｒ＝ｆＭ（Ｓ），Ｒ＝ｆＳ（Ｓ）が記憶されているものとする。ステップＳ８５の処理で検出された顔のサイズをＳ１とするとき、関係式Ｒ＝ｆＬ（Ｓ）上において、顔のサイズＳ１と対応する距離はＲ１となる。関係式Ｒ＝ｆＭ（Ｓ）上において、顔のサイズＳ１と対応する距離はＲ２となり、関係式Ｒ＝ｆＳ（Ｓ）上において、顔のサイズＳ１と対応する距離はＲ３となる。
【００７９】
選択部３９は、距離Ｒ１乃至Ｒ３のうち、ステップＳ１１１で測定された距離Ｒ０に最も近い値に対応する関係式を選択する。例えば距離Ｒ１の値が距離Ｒ０の値に最も近い場合、関係式Ｒ＝ｆＬ（Ｓ）が選択される。すなわち、この場合、撮影されている被写体の人物の顔のサイズは、大きいサイズであると判断される。
【００８０】
以上のようにして、１つの関係式が選択されると、その後、ステップＳ８８乃至Ｓ９６において、図２のステップＳ７乃至Ｓ９，Ｓ１乃至Ｓ６の処理と同様の処理が実行される。すなわち、ステップＳ８８，Ｓ８９において、選択された関係式に基づいて顔のサイズから距離が求められ、さらに魚眼画像の座標系が世界座標系に変換される。
【００８１】
ステップＳ９０で、まだ推定処理の終了が指示されていないと判定された場合、ステップＳ９１乃至Ｓ９６で、ステップＳ８１乃至Ｓ８６と同様の処理が実行される。すなわち、カメラ１１で新たに撮影された魚眼画像が変換画像に変換される。そして変換画像から顔が認識されるまで顔認識処理が行われ、顔が認識されると、顔のサイズが検出される。さらに検出された顔のサイズに基づいて、ステップＳ８７で選択された関係式から距離が求められる。以下同様の処理が繰り返される。
【００８２】
こように、１度関係式が選択されると、以後、その選択された関係式が使用される。複数の顔が存在する場合、検出された顔がトラッキングされ、同じ顔については同じ関係式が使用される。
【００８３】
以上のようにして、この実施の形態の場合、ステレオカメラ１８による測定結果に基づいて、１つの関係式が選択され、選択された関係式に基づいて、距離が求められる。
【００８４】
ステレオカメラ１８を用いる場合、ステップＳ８８の距離を求める処理でも、ステレオカメラ１８による測定結果をそのまま用いることが可能である。しかし、カメラ１１で撮影できてもステレオカメラ１８で撮影できない範囲が存在することもある。そこで、ステレオカメラ１８による測定結果は関係式の選択にのみ用い、距離は関係式から検出するようにした方が、全体としてのバラツキを少なくし、統一のとれた検出を行うことが可能となる。
【００８５】
図１２の実施の形態の場合、ステレオカメラ１８による測定結果に基づいて、１つの関係式が選択されたが、他の方法で関係式を選択することも可能である。図１４を参照して、他の方法で関係式を選択する例を説明する。
【００８６】
図１４は、関係式選択処理を説明するフローチャートである。この処理は、図１０のステップＳ８７の関係式選択処理の他の例を表す。この実施の形態の場合、顔からその人物を特定することができ、その特定された人物の顔のサイズがメモリ１７に予め登録されている。
【００８７】
上述した場合と同様に、ステップＳ８１乃至Ｓ８６において、カメラ１１で撮影して得られた魚眼画像が変換画像に変換され、変換画像から顔が認識され、認識された顔の魚眼画像上のサイズが検出される。
【００８８】
魚眼画像上の顔のサイズが検出された後、ステップＳ８７において、図１４の関係式選択処理が実行される。
【００８９】
図１４のステップＳ１３１において検出部３５は特定部として機能し、顔を特定する。すなわち、メモリ１７には、監視対象の人物の顔とその顔のサイズが予め登録されており、ステップＳ８３の処理で認識された顔が、予め登録されている顔と比較され、特定される。
【００９０】
ステップＳ１３２において選択部３９は、特定された顔のサイズに対応する関係式を選択する。例えば各人物の顔のサイズは、図１３のサイズが大きい顔の画像５１Ｌ、サイズが中程度の顔の画像５１Ｍ、およびサイズが小さい顔の画像５１Ｓのいずれかに分類されており、特定された人物の顔のサイズに対応する関係式が選択される。特定された顔のサイズが小さい顔の画像５１Ｓである場合には、関係式Ｒ＝ｆＳ（Ｓ）が選択される。
【００９１】
以上のようにして、１つの関係式が選択されると、図１１のステップＳ８８乃至Ｓ９６において、上述した場合と同様の処理が実行される。
【００９２】
この実施の形態の場合、ステレオカメラ１８が不要なので、ステレオカメラ１８を設ける場合に比べて、構成を簡略化し、低コスト化することができる。また、装置を取り付ける空間も狭くてよい。
【００９３】
＜３．第３の実施の形態＞
［３次元位置推定処理３］
【００９４】
図２の実施の形態、並びに図１０と図１１の実施の形態においては、関係式を予め用意しておく必要があったが、関係式を適宜追加するようにすることも可能である。以下、図１５と図１６を参照して、この場合の実施の形態について説明する。この実施の形態の場合にも、魚眼レンズ１１Ａを有するカメラ１１以外に、ステレオカメラ１８が設けられている。
【００９５】
図１５と図１６は、本技術の画像処理装置１の３次元位置推定処理を説明するフローチャートである。図１５と図１６のステップＳ１６１乃至Ｓ１６６、ステップＳ１７０乃至Ｓ１７２の処理は、図２のステップＳ１乃至Ｓ９の処理と同様の処理である。ステップＳ１６７乃至Ｓ１６９、ステップＳ１７３乃至Ｓ１８１の処理が、図２における場合と異なっている。以下、主に、異なっている処理について説明する。
【００９６】
ステップＳ１６１乃至Ｓ１６６において、カメラ１１で撮影して得られた魚眼画像が変換画像に変換され、変換画像から顔が認識され、認識された魚眼画像上の顔のサイズが検出される。
【００９７】
魚眼画像上の顔のサイズが検出された後、ステップＳ１６７，Ｓ１６８において、図１２のステップＳ１１１，Ｓ１１２における場合と同様の処理が実行される。すなわち、ステップＳ１６７において測定部４０は、ステレオカメラ１８により距離を測定する。このとき、ステレオカメラ１８が顔を撮像し、測定部４０はその画像から顔までの距離を演算する。
【００９８】
ステップＳ１６８において選択部３９は、距離と顔のサイズから関係式を選択する。すなわち図１３を参照して上述したように、選択部３９は、距離Ｒ１乃至Ｒ３のうち、ステップＳ１６６で測定された距離Ｒ０に最も近い値に対応する関係式を選択する。例えば距離Ｒ１の値が距離Ｒ０の値に最も近い場合、関係式Ｒ＝ｆＬ（Ｓ）が選択される。
【００９９】
以上のようにして、１つの関係式が選択されると、ステップＳ１６９において判定部３４は、適切な関係式があるかを判定する。つまり、ステップＳ１６８の処理で、適切な関係式が選択されたかが判定される。例えばステップＳ１６６で検出された顔のサイズと各関係式の顔のサイズとの差が、所定の閾値以内であるかが判定され、差が閾値以内である関係式が存在する場合、適切な関係式が存在すると判定される。
【０１００】
ステップＳ１６９において適切な関係式が存在すると判定された場合、ステップＳ１７０乃至Ｓ１７２において、図２のステップＳ７乃至Ｓ９の処理と同様の処理が実行される。すなわち、ステップＳ１７０,Ｓ１７１において、選択された関係式に基づいて顔のサイズから距離が求められ、さらに魚眼画像の座標系が世界座標系に変換される。
【０１０１】
ステップＳ１７２において判定部３４は、推定処理の終了が指示されたかを判定する。ステップＳ１７２で、まだ推定処理の終了が指示されていないと判定された場合、ステップＳ１７３乃至Ｓ１７８、ステップＳ１７０乃至Ｓ１７２の処理が実行される。ステップＳ１７３乃至Ｓ１７８の処理は、ステップＳ１６１乃至Ｓ１６６の処理と同様の処理である。
【０１０２】
すなわち、新たな魚眼画像が取得され、変換画像に変換される。変換画像から顔が認識されるまで顔認識処理が行われ、顔が認識されると、魚眼画像上の顔のサイズが検出される。
【０１０３】
ステップＳ１７０において演算部３６は、ステップＳ１６８の処理で選択されている関係式に基づいて、ステップＳ１７８の処理で検出された顔のサイズに対応する距離を求める。ステップＳ１７１において座標変換部３７は、座標系を世界座標系に変換する。
【０１０４】
ステップＳ１７２において推定処理を終了するかが判定され、まだ終了が指示されていない場合、処理はステップＳ１７３に戻り、それ以降の処理が繰り返される。
【０１０５】
ステップＳ１６９において、適切な関係式が存在しないと判定された場合、つまり、ステップＳ１６６で検出された顔のサイズと各関係式の顔のサイズとの差が閾値以内ではない場合、ステップＳ１７９以降の処理が実行される。ステップＳ１７９において記憶部４１は、距離と顔のサイズを記憶する。すなわち、ステップＳ１６６で検出された顔のサイズと、ステップＳ１６７の処理でステレオカメラ１８により測定された距離が、対応づけてメモリ１７に記憶される。
【０１０６】
ステップＳ１８０において判定部３４は、データが十分記憶されたかを判定する。距離と顔のサイズのデータが、関係式を演算するのに十分なデータであるかは、例えば次のように判定することができる。例えば、図１３に示される各顔のサイズの関係式を表す曲線Ｌ１乃至Ｌ３は、それぞれほぼ相似と考えることができる。この場合、所定の値の距離と顔のサイズで規定される１点の座標が決まれば、そこを通る相似の曲線は一義的に特定することができる。このように考える場合、１つのデータが十分なデータとなる。
【０１０７】
また、複数の座標の平均値を演算し、その平均値で表される１つの点を通る相似の曲線を求めることもできる。この場合、平均値を求めるための任意の数のデータが十分なデータとなる。
【０１０８】
さらに、複数のデータから最小自乗法により１つの関係式を演算する場合には、最小自乗法により１つの関係式を演算するのに必要な数のデータが、十分なデータとなる。
【０１０９】
ステップＳ１８０においてデータが十分記憶されたと判定された場合、ステップＳ１８１において演算部３６は、所定の距離と顔のサイズの関係式を演算し、追加する。すなわち、新たな関係式がメモリ１７に記憶される。
【０１１０】
ステップＳ１８１の処理の後、ステップＳ１７２において、推定処理の終了が指示されたかが判定され、まだ終了が指示されていない場合、処理はステップＳ１７３に進み、それ以降の処理が実行される。ステップＳ１７２において、推定処理の終了が指示されたと判定された場合、処理は終了される。
【０１１１】
一方、ステップＳ１８０においてまだデータが十分記憶されていないと判定された場合、ステップＳ１８１の処理をスキップし、ステップＳ１７２の処理に移行してもよい。しかしこの実施の形態においては、ステップＳ１８０でまだデータが十分記憶されていないと判定された場合、ステップＳ１８２において、最も近い関係式を選択する処理が実行される。つまり、いまの場合、ステップＳ１６６で検出された顔のサイズと各関係式の顔のサイズとの差が閾値を超えている（ステップＳ１６９でそのように判定されている）のであるが、その差が最も小さい関係式が選択される。その後、ステップＳ１６９で適切な関係式が存在すると判定された場合と同様に、処理はステップＳ１７０に進み、それ以降の処理が実行される。
【０１１２】
以上のようにして、この実施の形態の場合、新たな関係式が適宜追加される。
【０１１３】
＜４．第４の実施の形態＞
［３次元位置推定処理４］
【０１１４】
次に、図１７と図１８を参照して、関係式を更新する実施の形態について説明する。この実施の形態の場合にも、魚眼レンズ１１Ａを有するカメラ１１以外に、ステレオカメラ１８が設けられている。また、この実施の形態においては、メモリ１７に顔のサイズが既知の特定の顔が予め記憶されている。
【０１１５】
図１７と図１８は、本技術の画像処理装置１の３次元位置推定処理を説明するフローチャートである。図１７と図１８のステップＳ２０１乃至Ｓ２０６、ステップＳ２１２乃至Ｓ２１４の処理は、図２のステップＳ１乃至Ｓ９の処理と同様の処理である。ステップＳ２０７乃至Ｓ２１１、ステップＳ２１５乃至Ｓ２２２の処理が、図２における場合と異なっている。以下、主に、異なっている処理について説明する。
【０１１６】
ステップＳ２０１乃至Ｓ２０６において、カメラ１１で撮影して得られた魚眼画像が変換画像に変換され、変換画像から顔が認識され、認識された魚眼画像上の顔のサイズが検出される。
【０１１７】
魚眼画像上の顔のサイズが検出された後、ステップＳ２０７において、図１２のステップＳ１１１における場合と同様の処理が実行される。すなわち、ステップＳ２０７において測定部４０は、ステレオカメラ１８により距離を測定する。このとき、ステレオカメラ１８が顔を撮像し、測定部４０はその画像から顔までの距離を演算する。
【０１１８】
ステップＳ２０８において判定部３４は、ステップＳ２０３の処理で認識された顔が、特定の顔であるかを判定する。ステップＳ２０３の処理で認識された顔が、特定の顔ではない場合、ステップＳ２１１において、図１２のステップＳ１１２における場合と同様の処理が実行される。すなわち、選択部３９は、距離と顔のサイズから関係式を選択する。図１３を参照して上述したように、選択部３９は、距離Ｒ１乃至Ｒ３のうち、ステップＳ２０７で測定された距離Ｒ０に最も近い値に対応する関係式を選択する。例えば距離Ｒ１の値が距離Ｒ０の値に最も近い場合、関係式Ｒ＝ｆＬ（Ｓ）が選択される。
【０１１９】
以上のようにして、１つの関係式が選択されると、ステップＳ２１２乃至Ｓ２１４において、図２のステップＳ７乃至Ｓ９の処理と同様の処理が実行される。すなわち、ステップＳ２１２乃至Ｓ２１４において、選択された関係式に基づいて顔のサイズから距離が求められ、さらに魚眼画像の座標系が世界座標系に変換される。
【０１２０】
ステップＳ２１４において判定部３４は、推定処理の終了が指示されたかを判定する。ステップＳ２１４で、まだ推定処理の終了が指示されていないと判定された場合、ステップＳ２１５乃至Ｓ２２０、ステップＳ２１２乃至Ｓ２１４の処理が実行される。ステップＳ２１５乃至Ｓ２２０の処理は、ステップＳ２０１乃至Ｓ２０６の処理と同様の処理である。
【０１２１】
すなわち、新たな魚眼画像が取得され、変換画像に変換される。変換画像から顔が認識されるまで顔認識処理が行われ、顔が認識されると、顔のサイズが検出される。
【０１２２】
ステップＳ２１２において演算部３６は、ステップＳ２１１の処理で選択されている関係式に基づいて、ステップＳ２２０の処理で検出された顔のサイズに対応する距離を求める。ステップＳ２１３において座標変換部３７は、座標系を世界座標系に変換する。
【０１２３】
ステップＳ２１４において推定処理を終了するかが判定され、まだ終了が指示されていない場合、処理はステップＳ２１５に戻り、それ以降の処理が繰り返される。
【０１２４】
一方ステップＳ２０８において、認識された顔が予め登録されている特定の顔であると判定された場合、ステップＳ２０９において記憶部４１は、距離と顔のサイズを記憶する。つまり、ステップＳ２０６で検出された顔のサイズと、ステップＳ２０７で測定された距離が、対応づけてメモリ１７に記憶される。
【０１２５】
ステップＳ２１０において判定部３４は、データが十分記憶されたかを判定する。距離と顔のサイズのデータが、関係式を演算するのに十分なデータであるかは、例えば図１５のステップＳ１８０における場合と同様に判定することができる。
【０１２６】
すなわち、例えば、図１３に示される各顔のサイズの関係式を表す曲線Ｌ１乃至Ｌ３は、それぞれほぼ相似と考える場合、所定の値の距離と顔のサイズで規定される１点の座標が決まれば、そこを通る相似の曲線は一義的に特定することができる。このように考える場合、１つのデータが十分なデータとなる。
【０１２７】
また、複数の座標の平均値を演算し、その平均値で表される１つの点を通る相似の曲線を求めることもできる。この場合、平均値を求めるための任意の数のデータが十分なデータとなる。
【０１２８】
さらに、複数のデータから最小自乗法により１つの関係式を演算する場合には、最小自乗法により１つの関係式を演算するのに必要な数のデータが、十分なデータとなる。
【０１２９】
ステップＳ２１０においてデータが十分であると判定された場合、ステップＳ２２１において更新部４２は、特定の距離と顔のサイズの関係式を演算し、更新する。特定の顔のサイズの正確な値は、メモリ１７に予め登録されている。そこで、ステップＳ２０６で検出された顔のサイズが、予め登録されている顔のサイズに対応づけられる。この顔のサイズと、ステップＳ２０７においてステレオカメラ１８により測定された距離とに基づいて演算を行うことで、正確な関係式を得ることができる。
【０１３０】
関係式が更新されると、ステップＳ２２２において選択部３９は、更新した関係式を選択する。すなわちステップＳ２２１でいま更新された関係式が選択される。
【０１３１】
その後、処理はステップＳ２１２に進み、それ以降の処理が実行される。
【０１３２】
ステップＳ２１０においてデータがまだ十分記憶されていないと判定された場合、ステップＳ２２１，Ｓ２２２の処理はスキップされる。この場合は、ステップＳ２１１において、距離と顔のサイズから関係式が選択される。つまりこの場合には関係式は更新されず、ステップＳ２０６で検出された顔のサイズと、ステップＳ２０７で測定された距離にもとづき特定される従前の関係式が選択される。その後、処理はステップＳ２１２に進み、それ以降の処理が実行される。
【０１３３】
このように、この実施の形態においてはサイズが既知の顔が検出されると、関係式が更新されるので、関係式をより正確なものとし、それに基づいて正確な位置を検出することが可能になる。
【０１３４】
［５．変形例］
【０１３５】
魚眼画像の他の変換画像の例について説明する。図１９は、画像の展開を説明する図である。図１９の例では、１枚の魚眼画像が、その中心を通る水平方向の仮想的な線と垂直方向の仮想的な線により、左上、右上、左下、および右下の４つの領域Ａ１乃至Ａ４に区分される。そして１枚の魚眼画像が、左右または上下に隣接する２つの領域を含む処理対象の変換画像に変換される。つまり、領域Ａ３と領域Ａ４の変換画像、領域Ａ４と領域Ａ２の変換画像、領域Ａ２と領域Ａ１の変換画像、および領域Ａ１と領域Ａ３の変換画像に変換される。
【０１３６】
このように変換した変換画像から顔を認識することでも、１枚の魚眼画像自体から顔を認識する場合に比べれば、容易に顔を認識することが可能になる。
【０１３７】
ただしこの場合、各変換画像において、顔は最大±４５度に傾斜する。そこで、顔の認識器は、±４５度に傾斜する顔を認識できる性能を有する必要がある。
【０１３８】
以上においてはステレオカメラ１８により距離を測定するようにしたが、他の測距手段を用いることも可能である。
【０１３９】
また、魚眼画像を平面展開することも考えられる。
【０１４０】
本技術は、例えば所定の空間を監視する監視装置、ロボットにより周囲を視認する装置、その他の画像処理装置に適用することができる。また認識対象は人の顔に限られない。動物、各種の物体などを認識対象とすることができる。
【０１４１】
[６．本技術のプログラムへの適用]
【０１４２】
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【０１４３】
図２０は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータの構成を示すブロック図である。
【０１４４】
コンピュータにおいて、CPU（Central Processing Unit）２２１，ROM（Read Only Memory）２２２，RAM（Random Access Memory）２２３は、バス２２４により相互に接続されている。
【０１４５】
バス２２４には、さらに、入出力インタフェース２２５が接続されている。入出力インタフェース２２５には、入力部２２６、出力部２２７、記憶部２２８、通信部２２９、及びドライブ２３０が接続されている。
【０１４６】
入力部２２６は、キーボード、マウス、マイクロフォンなどよりなる。出力部２２７は、ディスプレイ、スピーカなどよりなる。記憶部２２８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２２９は、ネットワークインタフェースなどよりなる。ドライブ２３０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア２３１を駆動する。
【０１４７】
以上のように構成されるコンピュータでは、CPU２２１が、例えば、記憶部２２８に記憶されているプログラムを、入出力インタフェース２２５及びバス２２４を介して、RAM２２３にロードして実行することにより、上述した一連の処理が行われる。
【０１４８】
コンピュータ（CPU２２１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２３１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０１４９】
コンピュータでは、プログラムは、リムーバブルメディア２３１をドライブ２３０に装着することにより、入出力インタフェース２２５を介して、記憶部２２８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２２９で受信し、記憶部２２８にインストールすることができる。その他、プログラムは、ROM２２２や記憶部２２８に、あらかじめインストールしておくことができる。
【０１５０】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１５１】
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１５２】
［７．その他］
【０１５３】
本技術は、以下のような構成もとることができる。
（１）
魚眼レンズを介して撮影した画像である魚眼画像を取得する取得部と、
前記魚眼画像を変換して、変換画像を生成する変換部と、
前記変換画像から認識対象の画像を認識する認識部と
を備える画像処理装置。
（２）
前記変換画像は、前記魚眼画像を円筒面上に展開した展開画像である
前記（１）に記載の画像処理装置。
（３）
前記展開画像上の前記認識対象の画像の大きさを検出する検出部をさらに備える
前記（１）または（２）に記載の画像処理装置。
（４）
前記認識対象までの距離を、前記認識対象の画像の大きさから演算する演算部をさらに備える
前記（３）に記載の画像処理装置。
（５）
前記演算部は、前記距離と大きさの関係を規定する関係式から、前記認識対象の画像の大きさに対応する前記認識対象までの距離を演算する
前記（４）に記載の画像処理装置。
（６）
異なる大きさの複数の前記認識対象について用意されている複数の前記関係式から１つを選択する選択部をさらに備える
前記（５）に記載の画像処理装置。
（７）
１つの前記関係式を選択するために距離を測定する測定部をさらに備える
前記（６）に記載の画像処理装置。
（８）
１つの前記関係式を選択するために特定の前記認識対象を特定する特定部をさらに備える
前記（６）に記載の画像処理装置。
（９）
前記演算部はさらに、新たな前記関係式を演算し、追加する
前記（５）乃至（８）のいずれかに記載の画像処理装置。
（１０）
前記関係式を更新する更新部をさらに備える
前記（５）乃至（９）のいずれかに記載の画像処理装置。
（１１）
前記関係式から検出された前記認識対象までの距離をパラメータとして、前記魚眼画像の座標系を、世界座標系に変換する座標変換部をさらに備える
前記（５）乃至（１０）のいずれかに記載の画像処理装置。
（１２）
魚眼レンズを介して撮影した画像である魚眼画像を取得する取得ステップと、
前記魚眼画像を変換して、変換画像を生成する変換ステップと、
前記変換画像から認識対象の画像を認識する認識ステップと
を含む画像処理方法。
（１３）
コンピュータに、
魚眼レンズを介して撮影した画像である魚眼画像を取得する取得ステップと、
前記魚眼画像を変換して、変換画像を生成する変換ステップと、
前記変換画像から認識対象の画像を認識する認識ステップと
を実行させるプログラムが記録されているコンピュータが読み取り可能な記録媒体。
（１４）
コンピュータに、
魚眼レンズを介して撮影した画像である魚眼画像を取得する取得ステップと、
前記魚眼画像を変換して、変換画像を生成する変換ステップと、
前記変換画像から認識対象の画像を認識する認識ステップと
を実行させるプログラム。
【符号の説明】
【０１５４】
１ 画像処理装置， １１ カメラ， １１Ａ 魚眼レンズ， １３ マイクロプロセッサ， ３１ 撮像部， ３２ 画像変換部， ３３ 顔認識部， ３４ 判定部， ３５ 検出部， ３６ 演算部， ３７ 座標変換部， ３８ 指示部， ３９ 選択部， ４０ 測定部， ４１ 記憶部， ４２ 更新部， ４３ 制御部
【技術分野】
【０００１】
本技術は画像処理装置および方法、記録媒体並びにプログラムに関し、特に正確に３次元座標を検出することができるようにした画像処理装置および方法、記録媒体並びにプログラムに関する。
【背景技術】
【０００２】
カメラにおいて魚眼レンズが使用される場合がある。魚眼レンズは３６０度の範囲の画像を撮像できるため、例えば周囲を全体的に監視するのに好適である。
【０００３】
このような魚眼レンズを有するカメラをロボットの頭上に配置し、周囲を観察することが提案されている（例えば特許文献１）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−２１０４０３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、魚眼レンズを用いたカメラにより撮像された画像はひずみが大きいので、その画像から、そこに写されている被写体の３次元位置を正確に推定することは困難である。
【０００６】
本技術はこのような状況に鑑みてなされたものであり、正確に３次元座標を検出できるようにする。
【課題を解決するための手段】
【０００７】
本技術の一側面は、魚眼レンズを介して撮影した画像である魚眼画像を取得する取得部と、前記魚眼画像を変換して、変換画像を生成する変換部と、前記変換画像から認識対象の画像を認識する認識部とを備える画像処理装置である。
【０００８】
前記変換画像は、前記魚眼画像を円筒面上に展開した展開画像とすることができる。
【０００９】
前記展開画像上の前記認識対象の画像の大きさを検出する検出部をさらに備えることができる。
【００１０】
前記認識対象までの距離を、前記認識対象の画像の大きさから演算する演算部をさらに備えることができる。
【００１１】
前記演算部は、前記距離と大きさの関係を規定する関係式から、前記認識対象の画像の大きさに対応する前記認識対象までの距離を演算することができる。
【００１２】
異なる大きさの複数の前記認識対象について用意されている複数の前記関係式から１つを選択する選択部をさらに備えることができる。
【００１３】
１つの前記関係式を選択するために距離を測定する測定部をさらに備えることができる。
【００１４】
１つの前記関係式を選択するために特定の前記認識対象を特定する特定部をさらに備えることができる。
【００１５】
前記演算部はさらに、新たな前記関係式を演算し、追加することができる。
【００１６】
前記関係式を更新する更新部をさらに備えることができる。
【００１７】
前記関係式から検出された前記認識対象までの距離をパラメータとして、前記魚眼画像の座標系を、世界座標系に変換する座標変換部をさらに備えることができる。
【００１８】
本技術の一側面の画像処理方法、記録媒体及びプログラムは、上述した本技術の一側面の画像処理装置に対応する画像処理方法、記録媒体及びプログラムである。
【００１９】
本技術の一側面においては、魚眼レンズを介して撮影した画像である魚眼画像が取得され、魚眼画像を変換して、変換画像が生成され、変換画像から認識対象の画像が検出される。
【発明の効果】
【００２０】
以上のように、本技術の一側面によれば、正確に３次元座標を検出することができる。
【図面の簡単な説明】
【００２１】
【図１】本技術の画像処理装置の構成を示すブロック図である。
【図２】本技術の画像処理装置の３次元位置推定処理を説明するフローチャートである。
【図３】本技術の画像処理装置の３次元位置推定処理を説明する図である。
【図４】被写体の画像の大きさと距離の関係を説明する図である。
【図５】被写体の画像の大きさと距離の関係を示すグラフである。
【図６】魚眼画像の座標系を説明する図である。
【図７】世界座標系を説明する図である。
【図８】学習処理を説明するフローチャートである。
【図９】被写体の画像の大きさと距離の関係を表す式を説明する図である。
【図１０】本技術の画像処理装置の３次元位置推定処理を説明するフローチャートである。
【図１１】本技術の画像処理装置の３次元位置推定処理を説明するフローチャートである。
【図１２】関係式選択処理を説明するフローチャートである。
【図１３】被写体の画像の大きさから距離を求める原理を説明する図である。
【図１４】関係式選択処理を説明するフローチャートである。
【図１５】本技術の画像処理装置の３次元位置推定処理を説明するフローチャートである。
【図１６】本技術の画像処理装置の３次元位置推定処理を説明するフローチャートである。
【図１７】本技術の画像処理装置の３次元位置推定処理を説明するフローチャートである。
【図１８】本技術の画像処理装置の３次元位置推定処理を説明するフローチャートである。
【図１９】画像の展開を説明する図である。
【図２０】パーソナルコンピュータの構成を示すブロック図である。
【発明を実施するための形態】
【００２２】
以下、技術を実施するための形態（以下、実施の形態と称する）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態
２．第２の実施の形態
３．第３の実施の形態
４．第４の実施の形態
５．変形例
６．本技術のプログラムへの適用
７．その他
【００２３】
＜１．第１の実施の形態＞
［画像処理装置の構成］
【００２４】
図１は、本技術の画像処理装置１の構成を示すブロック図である。画像処理装置１は、カメラ１１、モータ１２、マイクロプロセッサ１３、入力部１４、出力部１５、通信部１６、メモリ１７、およびステレオカメラ１８を有している。
【００２５】
カメラ１１は魚眼レンズ１１Ａを有し、所定の範囲の監視領域の被写体を撮像する。モータ１２は、カメラ１１を駆動し、その方向を所定の方向に指向させる。マイクロプロセッサ１３は各部を制御する。入力部１４はキーボード、マウス、スイッチ等により構成され、ユーザにより操作され、操作に対応する信号をマイクロプロセッサ１３に出力する。出力部１５は、LCD(Liquid Crystal Display)、スピーカなどにより構成され、所定の画像やメッセージを表示したり、音声を出力する。
【００２６】
通信部１６は、インターネットその他のネットワークを介して他の装置と通信する。メモリ１７は、各種の情報やプログラムを記憶する。ステレオカメラ１８は必要に応じて付加され、測距のための画像を撮像する。
【００２７】
マイクロプロセッサ１３は、撮像部３１、画像変換部３２、顔認識部３３、判定部３４、検出部３５、演算部３６、座標変換部３７、指示部３８、選択部３９、測定部４０、記憶部４１、更新部４２、制御部４３の機能ブロックを有している。
【００２８】
撮像部３１は、カメラ１１とステレオカメラ１８により被写体を撮像する。画像変換部３２は、魚眼レンズ１１Ａによる画像を、変換画像に変換する。顔認識部３３は、変換画像から認識対象としての人の顔を認識する。判定部３４は、各種の判定処理を実行する。検出部３５は、顔、顔のサイズ等の検出処理を行う。演算部３６は、距離、関係式、顔の特定のための演算を行う。
【００２９】
座標変換部３７は、座標変換の演算を行う。指示部３８は、距離の変更、顔の大きさの変更などの指示を行う。選択部３９は、関係式を選択する。測定部４０は、距離を測定する。記憶部４１は、距離と顔のサイズを記憶する。更新部４２は、距離と顔のサイズの関係式を更新する。制御部４３は、モータ１２を駆動し、カメラ１１とステレオカメラ１８の向きを制御する。
【００３０】
＜１．第１の実施の形態＞
［３次元位置推定処理１］
【００３１】
次に、画像処理装置１の３次元位置推定処理を説明する。図２は、本技術の画像処理装置１の３次元位置推定処理を説明するフローチャートである。この処理は、画像処理装置１の電源をオンしたとき開始される。
【００３２】
ステップＳ１において撮像部３１は、カメラ１１で撮影する。カメラ１１により魚眼レンズ１１Ａを介して周囲の被写体が撮影され、その画像が魚眼画像として取得される。
【００３３】
図３は、本技術の画像処理装置１の３次元位置推定処理を説明する図である。カメラ１１による撮影処理により、図３の左上に示されている魚眼画像Ｐ１が取得される。
【００３４】
ステップＳ２において、画像変換部３２は、画像を変換する。具体的には、ステップＳ１で取得された魚眼画像Ｐ１が、変換画像Ｐ２に変換される。この実施の形態における変換画像Ｐ２は、魚眼画像Ｐ１を円筒面上に展開した展開画像とされている。図３の右上に、この変換画像Ｐ２が示されている。
【００３５】
ステップＳ３において顔認識部３３は、顔認識処理を実行する。すなわち、図３の右下の図に示されるように、ステップＳ２で得られた変換画像に含まれる人の顔の画像５１が変換画像Ｐ２から認識される。この認識処理は、例えば肌色、目、口、耳、鼻などの特徴を有する領域を検索することで行うことができる。
【００３６】
ステップＳ１の撮像処理で得られた魚眼画像Ｐ１においては、３次元空間における上方向が画像の中心となる。そのため、３次元空間における上方向が画像の上方向であることを前提としている検出器で顔を検出し、そのサイズを迅速かつ正確に検出することが困難である。そこで本実施の形態においては、変換画像Ｐ２が生成される。これにより３次元空間における上方向の検出が容易となり、その結果、顔を検出することが容易となる。つまり、図３の右下に示されているように、変換画像Ｐ２から顔の画像５１が検出される。
【００３７】
ステップＳ４において判定部３４は、顔が認識されたかを判定する。顔が認識されない場合、処理はステップＳ１に戻り、顔が認識されるまで、ステップＳ１乃至Ｓ４の処理が繰り返される。
【００３８】
ステップＳ４において顔が認識されたと判定された場合、ステップＳ５において検出部３５は、認識された顔を魚眼画像の座標系から検出する。すなわち、図３の左側の中央に示されるように、魚眼画像Ｐ１上における顔の画像５１が検出される。
【００３９】
ステップＳ６において検出部３５は、顔のサイズ、つまり大きさを検出する。具体的には、図３の左側の中央に示される魚眼画像Ｐ１上における顔の画像５１の大きさが検出される。
【００４０】
図４は、被写体の画像の大きさと距離の関係を説明する図である。図４に示されるように、ＸＹＺの世界座標系において、カメラ１１からより遠い距離Ｒ１の位置に顔の画像５１−１が存在し、より近い距離Ｒ２の位置に顔の画像５１−２が存在するとする。この場合、魚眼画像Ｐ１上の顔の画像５１−１と、顔の画像５１−２の大きさを比較すると、距離が近い顔の画像５１−２の方が、距離が遠い顔の画像５１−１より大きくなる。
【００４１】
図５は、被写体の画像の大きさと距離の関係を示すグラフである。図５において、横軸は顔の画像５１の大きさ（すなわち、顔のサイズ）を表し、縦軸は、カメラ１１と顔の距離Ｒを表す。図５に曲線Ｌで示されるように、顔のサイズＳと距離Ｒの間には負の相関がある。つまり、距離Ｒが大きくなるほど、顔のサイズＳは小さくなる。曲線Ｌは下に突の形状となる。曲線Ｌは、次の式で表される。
Ｒ＝ｆs（Ｓ） （１）
【００４２】
ステップＳ７において演算部３６は、関係式に基づき、顔のサイズから距離を求める。ここで関係式とは、図５において曲線Ｌで表される式、すなわち顔のサイズＳと距離Ｒの関係を表す式（１）である。ステップＳ６の処理で検出された顔のサイズＳに対応する距離Ｒが、式（１）から求められる。式（１）はメモリ１７に予め記憶されている。
【００４３】
ステップＳ８において座標変換部３７は、座標系を世界座標系に変換する。
【００４４】
図６は、魚眼レンズ１１Ａにより撮像された魚眼画像の座標系を説明する図である。図６の魚眼画像の座標系ｘｙにおいて、座標（ｘＣ，ｙＣ）はカメラ１１が存在する座標である。ｒＣは、魚眼レンズ１１Ａの視野半径である。世界座標系でカメラ１１から距離Ｒに位置する顔の画像５１が、魚眼画像の座標系において、座標（ｘ，ｙ）に位置するものとする。座標（ｘＣ，ｙＣ）と座標（ｘ，ｙ）とを結ぶ直線の、ｙ座標軸に対する時計回転方向の角度をθとする。そして、顔の画像５１の、世界座標系のＸＹ面上のカメラ１１からの仰角、つまり水平面からの仰角をφとする。このとき、次式が成立する。
【００４５】
ｘ＝ｘＣ−ｒＣ×cosφ×sinθ （２）
ｙ＝ｙＣ＋ｒＣ×cosφ×cosθ （３）
【００４６】
上記式（２），（３）から次式が求められる。
ｒＣ×cosφ＝（ｘＣ−ｘ）／sinθ （４）
ｙ＝ｙＣ＋（（ｘＣ−ｘ）／sinθ）×cosθ （５）
ｙ＝ｙＣ＋（ｘＣ−ｘ）／tanθ （６）
θ＝tan−１（（ｘＣ−ｘ）／（ｙ−ｙＣ）） （７）
ｒＣ×cosφ×sinθ＝ｘＣ−ｘ （８）
cosφ＝（ｘＣ−ｘ）／（ｒＣ×sinθ） （９）
φ＝cos−１（（ｘＣ−ｘ）／（ｒＣ×sinθ）） （１０）
【００４７】
上記式に基づいて、演算部３６は、顔の画像５１の座標（ｘ，ｙ）から、角度θ，φを求めることができる。
【００４８】
図７は、世界座標系を説明する図である。図７（並びに、図３の左側の下の図）に示されるように、顔の画像５１の世界座標系における座標（Ｘ，Ｙ，Ｚ）は、次式で表される。
Ｘ＝Ｒcosφ×cosθ （１１）
Ｙ＝Ｒcosφ×sinθ （１２）
Ｚ＝Ｒsinφ （１３）
【００４９】
座標変換部３７は上記式（１１）乃至（１３）に基づき、ステップＳ７の処理で求められた距離Ｒをパラメータとして、顔の画像５１の座標（Ｘ，Ｙ，Ｚ）を演算することができる。角度θ，φは、上記式（７）と式（１０）で演算することができる。
【００５０】
ステップＳ９において判定部３４は、推定処理を終了するかを判定する。ユーザから処理の終了が指示されていない場合、処理はステップＳ１に戻り、それ以降の処理が繰り返される。
【００５１】
ステップＳ９において、ユーザから処理の終了が指示されたと判定された場合、推定処理は終了される。
【００５２】
以上のようにして、１個の魚眼レンズ１１Ａを有する１台のカメラ１１の画像から、迅速かつ正確に、世界座標を求めることができる。その結果、顔の画像５１の世界座標系における移動軌跡を予測したり、顔の画像５１をより認識し易い方向にカメラ１１を指向させたりすることができる。
【００５３】
＜１．第１の実施の形態＞
［学習処理］
【００５４】
上述したように、図２の３次元位置推定処理を実行する場合、距離と顔のサイズの関係が予め判っている必要がある。つまり、関係式を予め求めておく必要がある。そこで次に、距離と顔のサイズの関係式を予め学習し、求めておく方法について、図８と図９を参照して説明する。なお、図８と図９の実施の形態においては、異なる大きさの複数の顔についての複数の関係式を学習するものとする。
【００５５】
図８は、学習処理を説明するフローチャートである。なお、図８のステップＳ４１，Ｓ４２，Ｓ４４、Ｓ４５の処理は、図２のステップＳ１，Ｓ２，Ｓ３，Ｓ６の処理と同様の処理であり、これらの処理については繰り返しになるので簡単に説明する。
【００５６】
ステップＳ４１において撮像部３１は、カメラ１１で撮影する。カメラ１１により魚眼レンズ１１Ａを介して周囲の被写体が撮影され、その画像が魚眼画像として取得される。
【００５７】
ステップＳ４２において、画像変換部３２は、画像を変換する。すなわち、ステップＳ４１で取得された魚眼画像Ｐ１が変換画像Ｐ２に変換される。
【００５８】
ステップＳ４３において検出部３５は、所定の大きさの顔が配置された距離を検出する。つまり、ステレオカメラ１８または別途設けられた測距装置により、顔までの距離が測定され、その結果が取得される。
【００５９】
ステップＳ４４において顔認識部３３は、顔認識処理を実行する。すなわち、ステップＳ４２で得られた変換画像に含まれる人の顔の画像が認識される。
【００６０】
ステップＳ４５において検出部３５は、顔のサイズを検出する。
【００６１】
次にステップＳ４６において記憶部４１は、距離と顔のサイズとの関係を記憶する。つまり、ステップＳ４３で検出された距離と、ステップＳ４５で検出された顔のサイズが、対応づけられてメモリ１７に記憶される。
【００６２】
ステップＳ４７において判定部３４は、必要な範囲を測定したかを判定する。つまり、監視する範囲についての測定が完了したかが判定される。
【００６３】
まだ必要な範囲の測定が完了していない場合、ステップＳ４８において指示部３８は、距離の変更を指示する。例えば出力部１５に距離の変更を指示するメッセージが表示される。ユーザはこの指示に従って、顔の位置を変更する。
【００６４】
その後、処理はステップＳ４１に戻り、新たに位置に配置された顔について、同様の処理が実行される。
【００６５】
ステップＳ４７において必要な範囲の測定が完了したと判定された場合、ステップＳ４９において判定部３４は、全ての大きさを測定したかを判定する。まだ全ての大きさの顔を測定していない場合、ステップＳ５０において指示部３８は、顔の大きさの変更を指示する。例えば、出力部１５に顔の大きさの変更を指示するメッセージが表示される。ユーザはこの指示に従って、顔の大きさを変更する。
【００６６】
その後、処理はステップＳ４１に戻り、新たな大きさの顔について、同様の処理が実行される。
【００６７】
ステップＳ４９において全ての大きさの顔が測定されたと判定された場合、ステップＳ６１において演算部３６は、各サイズの顔と距離の関係式を演算する。
【００６８】
図９は、被写体の画像の大きさと距離の関係を表す式を説明する図である。以上のようにして、例えばサイズが大きい顔の画像５１Ｌについての距離と顔のサイズの関係を表す曲線Ｌ１が、最小自乗法などにより求められ、それを表す関数である関係式Ｒ＝ｆＬ（Ｓ）が求められる。
【００６９】
同様に、サイズが中程度の大きさの顔の画像５１Ｍについての距離と顔のサイズの関係を表す曲線Ｌ２が、最小自乗法などにより求められ、それを表す関係式Ｒ＝ｆＭ（Ｓ）が求められる。さらにサイズが小さい顔の画像５１Ｓについての距離と顔のサイズの関係を表す曲線Ｌ３が、最小自乗法などにより求められ、それを表す関係式Ｒ＝ｆＳ（Ｓ）が求められる。
【００７０】
求められた関係式は、メモリ１７に記憶される。
【００７１】
＜２．第２の実施の形態＞
［３次元位置推定処理２］
【００７２】
図２の３次元位置推定処理は、関係式が１つである場合の処理であるが、関係式が複数存在する場合の処理について、図１０乃至図１４を参照して説明する。
【００７３】
図１０と図１１は、本技術の画像処理装置１の３次元位置推定処理を説明するフローチャートである。なお、図１０と図１１のステップＳ８１乃至Ｓ８６と、ステップＳ８８乃至Ｓ９０の処理は、図２のステップＳ１乃至Ｓ９の処理と同様の処理であり、ステップＳ８７と、ステップＳ９１乃至Ｓ９６の処理が、図２の３次元位置推定処理と異なっている。以下においては、主に図２における場合と異なる処理を中心に説明する。
【００７４】
すなわち図２における場合と同様に、ステップＳ８１乃至Ｓ８６において、カメラ１１で撮影して得られた魚眼画像が変換画像に変換され、変換画像から顔が認識され、認識された顔の魚眼画像上のサイズが検出される。
【００７５】
魚眼画像上の顔のサイズが検出された後、ステップＳ８７において関係式選択処理が実行される。この関係式選択処理の詳細について、図１２のフローチャートを参照して説明する。この実施の形態の場合、魚眼レンズ１１Ａを有するカメラ１１以外に、ステレオカメラ１８が設けられている。
【００７６】
図１２は、関係式選択処理を説明するフローチャートである。ステップＳ１１１において測定部４０は、ステレオカメラ１８により距離を測定する。すなわち、ステレオカメラ１８が顔を撮像し、測定部４０はその画像から顔までの距離を演算する。
【００７７】
ステップＳ１１２において選択部３９は、距離と顔のサイズから関係式を選択する。
【００７８】
図１３は、被写体の画像の大きさから距離を求める原理を説明する図である。いま、図１３に示されるように、３つの関係式Ｒ＝ｆＬ（Ｓ），Ｒ＝ｆＭ（Ｓ），Ｒ＝ｆＳ（Ｓ）が記憶されているものとする。ステップＳ８５の処理で検出された顔のサイズをＳ１とするとき、関係式Ｒ＝ｆＬ（Ｓ）上において、顔のサイズＳ１と対応する距離はＲ１となる。関係式Ｒ＝ｆＭ（Ｓ）上において、顔のサイズＳ１と対応する距離はＲ２となり、関係式Ｒ＝ｆＳ（Ｓ）上において、顔のサイズＳ１と対応する距離はＲ３となる。
【００７９】
選択部３９は、距離Ｒ１乃至Ｒ３のうち、ステップＳ１１１で測定された距離Ｒ０に最も近い値に対応する関係式を選択する。例えば距離Ｒ１の値が距離Ｒ０の値に最も近い場合、関係式Ｒ＝ｆＬ（Ｓ）が選択される。すなわち、この場合、撮影されている被写体の人物の顔のサイズは、大きいサイズであると判断される。
【００８０】
以上のようにして、１つの関係式が選択されると、その後、ステップＳ８８乃至Ｓ９６において、図２のステップＳ７乃至Ｓ９，Ｓ１乃至Ｓ６の処理と同様の処理が実行される。すなわち、ステップＳ８８，Ｓ８９において、選択された関係式に基づいて顔のサイズから距離が求められ、さらに魚眼画像の座標系が世界座標系に変換される。
【００８１】
ステップＳ９０で、まだ推定処理の終了が指示されていないと判定された場合、ステップＳ９１乃至Ｓ９６で、ステップＳ８１乃至Ｓ８６と同様の処理が実行される。すなわち、カメラ１１で新たに撮影された魚眼画像が変換画像に変換される。そして変換画像から顔が認識されるまで顔認識処理が行われ、顔が認識されると、顔のサイズが検出される。さらに検出された顔のサイズに基づいて、ステップＳ８７で選択された関係式から距離が求められる。以下同様の処理が繰り返される。
【００８２】
こように、１度関係式が選択されると、以後、その選択された関係式が使用される。複数の顔が存在する場合、検出された顔がトラッキングされ、同じ顔については同じ関係式が使用される。
【００８３】
以上のようにして、この実施の形態の場合、ステレオカメラ１８による測定結果に基づいて、１つの関係式が選択され、選択された関係式に基づいて、距離が求められる。
【００８４】
ステレオカメラ１８を用いる場合、ステップＳ８８の距離を求める処理でも、ステレオカメラ１８による測定結果をそのまま用いることが可能である。しかし、カメラ１１で撮影できてもステレオカメラ１８で撮影できない範囲が存在することもある。そこで、ステレオカメラ１８による測定結果は関係式の選択にのみ用い、距離は関係式から検出するようにした方が、全体としてのバラツキを少なくし、統一のとれた検出を行うことが可能となる。
【００８５】
図１２の実施の形態の場合、ステレオカメラ１８による測定結果に基づいて、１つの関係式が選択されたが、他の方法で関係式を選択することも可能である。図１４を参照して、他の方法で関係式を選択する例を説明する。
【００８６】
図１４は、関係式選択処理を説明するフローチャートである。この処理は、図１０のステップＳ８７の関係式選択処理の他の例を表す。この実施の形態の場合、顔からその人物を特定することができ、その特定された人物の顔のサイズがメモリ１７に予め登録されている。
【００８７】
上述した場合と同様に、ステップＳ８１乃至Ｓ８６において、カメラ１１で撮影して得られた魚眼画像が変換画像に変換され、変換画像から顔が認識され、認識された顔の魚眼画像上のサイズが検出される。
【００８８】
魚眼画像上の顔のサイズが検出された後、ステップＳ８７において、図１４の関係式選択処理が実行される。
【００８９】
図１４のステップＳ１３１において検出部３５は特定部として機能し、顔を特定する。すなわち、メモリ１７には、監視対象の人物の顔とその顔のサイズが予め登録されており、ステップＳ８３の処理で認識された顔が、予め登録されている顔と比較され、特定される。
【００９０】
ステップＳ１３２において選択部３９は、特定された顔のサイズに対応する関係式を選択する。例えば各人物の顔のサイズは、図１３のサイズが大きい顔の画像５１Ｌ、サイズが中程度の顔の画像５１Ｍ、およびサイズが小さい顔の画像５１Ｓのいずれかに分類されており、特定された人物の顔のサイズに対応する関係式が選択される。特定された顔のサイズが小さい顔の画像５１Ｓである場合には、関係式Ｒ＝ｆＳ（Ｓ）が選択される。
【００９１】
以上のようにして、１つの関係式が選択されると、図１１のステップＳ８８乃至Ｓ９６において、上述した場合と同様の処理が実行される。
【００９２】
この実施の形態の場合、ステレオカメラ１８が不要なので、ステレオカメラ１８を設ける場合に比べて、構成を簡略化し、低コスト化することができる。また、装置を取り付ける空間も狭くてよい。
【００９３】
＜３．第３の実施の形態＞
［３次元位置推定処理３］
【００９４】
図２の実施の形態、並びに図１０と図１１の実施の形態においては、関係式を予め用意しておく必要があったが、関係式を適宜追加するようにすることも可能である。以下、図１５と図１６を参照して、この場合の実施の形態について説明する。この実施の形態の場合にも、魚眼レンズ１１Ａを有するカメラ１１以外に、ステレオカメラ１８が設けられている。
【００９５】
図１５と図１６は、本技術の画像処理装置１の３次元位置推定処理を説明するフローチャートである。図１５と図１６のステップＳ１６１乃至Ｓ１６６、ステップＳ１７０乃至Ｓ１７２の処理は、図２のステップＳ１乃至Ｓ９の処理と同様の処理である。ステップＳ１６７乃至Ｓ１６９、ステップＳ１７３乃至Ｓ１８１の処理が、図２における場合と異なっている。以下、主に、異なっている処理について説明する。
【００９６】
ステップＳ１６１乃至Ｓ１６６において、カメラ１１で撮影して得られた魚眼画像が変換画像に変換され、変換画像から顔が認識され、認識された魚眼画像上の顔のサイズが検出される。
【００９７】
魚眼画像上の顔のサイズが検出された後、ステップＳ１６７，Ｓ１６８において、図１２のステップＳ１１１，Ｓ１１２における場合と同様の処理が実行される。すなわち、ステップＳ１６７において測定部４０は、ステレオカメラ１８により距離を測定する。このとき、ステレオカメラ１８が顔を撮像し、測定部４０はその画像から顔までの距離を演算する。
【００９８】
ステップＳ１６８において選択部３９は、距離と顔のサイズから関係式を選択する。すなわち図１３を参照して上述したように、選択部３９は、距離Ｒ１乃至Ｒ３のうち、ステップＳ１６６で測定された距離Ｒ０に最も近い値に対応する関係式を選択する。例えば距離Ｒ１の値が距離Ｒ０の値に最も近い場合、関係式Ｒ＝ｆＬ（Ｓ）が選択される。
【００９９】
以上のようにして、１つの関係式が選択されると、ステップＳ１６９において判定部３４は、適切な関係式があるかを判定する。つまり、ステップＳ１６８の処理で、適切な関係式が選択されたかが判定される。例えばステップＳ１６６で検出された顔のサイズと各関係式の顔のサイズとの差が、所定の閾値以内であるかが判定され、差が閾値以内である関係式が存在する場合、適切な関係式が存在すると判定される。
【０１００】
ステップＳ１６９において適切な関係式が存在すると判定された場合、ステップＳ１７０乃至Ｓ１７２において、図２のステップＳ７乃至Ｓ９の処理と同様の処理が実行される。すなわち、ステップＳ１７０,Ｓ１７１において、選択された関係式に基づいて顔のサイズから距離が求められ、さらに魚眼画像の座標系が世界座標系に変換される。
【０１０１】
ステップＳ１７２において判定部３４は、推定処理の終了が指示されたかを判定する。ステップＳ１７２で、まだ推定処理の終了が指示されていないと判定された場合、ステップＳ１７３乃至Ｓ１７８、ステップＳ１７０乃至Ｓ１７２の処理が実行される。ステップＳ１７３乃至Ｓ１７８の処理は、ステップＳ１６１乃至Ｓ１６６の処理と同様の処理である。
【０１０２】
すなわち、新たな魚眼画像が取得され、変換画像に変換される。変換画像から顔が認識されるまで顔認識処理が行われ、顔が認識されると、魚眼画像上の顔のサイズが検出される。
【０１０３】
ステップＳ１７０において演算部３６は、ステップＳ１６８の処理で選択されている関係式に基づいて、ステップＳ１７８の処理で検出された顔のサイズに対応する距離を求める。ステップＳ１７１において座標変換部３７は、座標系を世界座標系に変換する。
【０１０４】
ステップＳ１７２において推定処理を終了するかが判定され、まだ終了が指示されていない場合、処理はステップＳ１７３に戻り、それ以降の処理が繰り返される。
【０１０５】
ステップＳ１６９において、適切な関係式が存在しないと判定された場合、つまり、ステップＳ１６６で検出された顔のサイズと各関係式の顔のサイズとの差が閾値以内ではない場合、ステップＳ１７９以降の処理が実行される。ステップＳ１７９において記憶部４１は、距離と顔のサイズを記憶する。すなわち、ステップＳ１６６で検出された顔のサイズと、ステップＳ１６７の処理でステレオカメラ１８により測定された距離が、対応づけてメモリ１７に記憶される。
【０１０６】
ステップＳ１８０において判定部３４は、データが十分記憶されたかを判定する。距離と顔のサイズのデータが、関係式を演算するのに十分なデータであるかは、例えば次のように判定することができる。例えば、図１３に示される各顔のサイズの関係式を表す曲線Ｌ１乃至Ｌ３は、それぞれほぼ相似と考えることができる。この場合、所定の値の距離と顔のサイズで規定される１点の座標が決まれば、そこを通る相似の曲線は一義的に特定することができる。このように考える場合、１つのデータが十分なデータとなる。
【０１０７】
また、複数の座標の平均値を演算し、その平均値で表される１つの点を通る相似の曲線を求めることもできる。この場合、平均値を求めるための任意の数のデータが十分なデータとなる。
【０１０８】
さらに、複数のデータから最小自乗法により１つの関係式を演算する場合には、最小自乗法により１つの関係式を演算するのに必要な数のデータが、十分なデータとなる。
【０１０９】
ステップＳ１８０においてデータが十分記憶されたと判定された場合、ステップＳ１８１において演算部３６は、所定の距離と顔のサイズの関係式を演算し、追加する。すなわち、新たな関係式がメモリ１７に記憶される。
【０１１０】
ステップＳ１８１の処理の後、ステップＳ１７２において、推定処理の終了が指示されたかが判定され、まだ終了が指示されていない場合、処理はステップＳ１７３に進み、それ以降の処理が実行される。ステップＳ１７２において、推定処理の終了が指示されたと判定された場合、処理は終了される。
【０１１１】
一方、ステップＳ１８０においてまだデータが十分記憶されていないと判定された場合、ステップＳ１８１の処理をスキップし、ステップＳ１７２の処理に移行してもよい。しかしこの実施の形態においては、ステップＳ１８０でまだデータが十分記憶されていないと判定された場合、ステップＳ１８２において、最も近い関係式を選択する処理が実行される。つまり、いまの場合、ステップＳ１６６で検出された顔のサイズと各関係式の顔のサイズとの差が閾値を超えている（ステップＳ１６９でそのように判定されている）のであるが、その差が最も小さい関係式が選択される。その後、ステップＳ１６９で適切な関係式が存在すると判定された場合と同様に、処理はステップＳ１７０に進み、それ以降の処理が実行される。
【０１１２】
以上のようにして、この実施の形態の場合、新たな関係式が適宜追加される。
【０１１３】
＜４．第４の実施の形態＞
［３次元位置推定処理４］
【０１１４】
次に、図１７と図１８を参照して、関係式を更新する実施の形態について説明する。この実施の形態の場合にも、魚眼レンズ１１Ａを有するカメラ１１以外に、ステレオカメラ１８が設けられている。また、この実施の形態においては、メモリ１７に顔のサイズが既知の特定の顔が予め記憶されている。
【０１１５】
図１７と図１８は、本技術の画像処理装置１の３次元位置推定処理を説明するフローチャートである。図１７と図１８のステップＳ２０１乃至Ｓ２０６、ステップＳ２１２乃至Ｓ２１４の処理は、図２のステップＳ１乃至Ｓ９の処理と同様の処理である。ステップＳ２０７乃至Ｓ２１１、ステップＳ２１５乃至Ｓ２２２の処理が、図２における場合と異なっている。以下、主に、異なっている処理について説明する。
【０１１６】
ステップＳ２０１乃至Ｓ２０６において、カメラ１１で撮影して得られた魚眼画像が変換画像に変換され、変換画像から顔が認識され、認識された魚眼画像上の顔のサイズが検出される。
【０１１７】
魚眼画像上の顔のサイズが検出された後、ステップＳ２０７において、図１２のステップＳ１１１における場合と同様の処理が実行される。すなわち、ステップＳ２０７において測定部４０は、ステレオカメラ１８により距離を測定する。このとき、ステレオカメラ１８が顔を撮像し、測定部４０はその画像から顔までの距離を演算する。
【０１１８】
ステップＳ２０８において判定部３４は、ステップＳ２０３の処理で認識された顔が、特定の顔であるかを判定する。ステップＳ２０３の処理で認識された顔が、特定の顔ではない場合、ステップＳ２１１において、図１２のステップＳ１１２における場合と同様の処理が実行される。すなわち、選択部３９は、距離と顔のサイズから関係式を選択する。図１３を参照して上述したように、選択部３９は、距離Ｒ１乃至Ｒ３のうち、ステップＳ２０７で測定された距離Ｒ０に最も近い値に対応する関係式を選択する。例えば距離Ｒ１の値が距離Ｒ０の値に最も近い場合、関係式Ｒ＝ｆＬ（Ｓ）が選択される。
【０１１９】
以上のようにして、１つの関係式が選択されると、ステップＳ２１２乃至Ｓ２１４において、図２のステップＳ７乃至Ｓ９の処理と同様の処理が実行される。すなわち、ステップＳ２１２乃至Ｓ２１４において、選択された関係式に基づいて顔のサイズから距離が求められ、さらに魚眼画像の座標系が世界座標系に変換される。
【０１２０】
ステップＳ２１４において判定部３４は、推定処理の終了が指示されたかを判定する。ステップＳ２１４で、まだ推定処理の終了が指示されていないと判定された場合、ステップＳ２１５乃至Ｓ２２０、ステップＳ２１２乃至Ｓ２１４の処理が実行される。ステップＳ２１５乃至Ｓ２２０の処理は、ステップＳ２０１乃至Ｓ２０６の処理と同様の処理である。
【０１２１】
すなわち、新たな魚眼画像が取得され、変換画像に変換される。変換画像から顔が認識されるまで顔認識処理が行われ、顔が認識されると、顔のサイズが検出される。
【０１２２】
ステップＳ２１２において演算部３６は、ステップＳ２１１の処理で選択されている関係式に基づいて、ステップＳ２２０の処理で検出された顔のサイズに対応する距離を求める。ステップＳ２１３において座標変換部３７は、座標系を世界座標系に変換する。
【０１２３】
ステップＳ２１４において推定処理を終了するかが判定され、まだ終了が指示されていない場合、処理はステップＳ２１５に戻り、それ以降の処理が繰り返される。
【０１２４】
一方ステップＳ２０８において、認識された顔が予め登録されている特定の顔であると判定された場合、ステップＳ２０９において記憶部４１は、距離と顔のサイズを記憶する。つまり、ステップＳ２０６で検出された顔のサイズと、ステップＳ２０７で測定された距離が、対応づけてメモリ１７に記憶される。
【０１２５】
ステップＳ２１０において判定部３４は、データが十分記憶されたかを判定する。距離と顔のサイズのデータが、関係式を演算するのに十分なデータであるかは、例えば図１５のステップＳ１８０における場合と同様に判定することができる。
【０１２６】
すなわち、例えば、図１３に示される各顔のサイズの関係式を表す曲線Ｌ１乃至Ｌ３は、それぞれほぼ相似と考える場合、所定の値の距離と顔のサイズで規定される１点の座標が決まれば、そこを通る相似の曲線は一義的に特定することができる。このように考える場合、１つのデータが十分なデータとなる。
【０１２７】
また、複数の座標の平均値を演算し、その平均値で表される１つの点を通る相似の曲線を求めることもできる。この場合、平均値を求めるための任意の数のデータが十分なデータとなる。
【０１２８】
さらに、複数のデータから最小自乗法により１つの関係式を演算する場合には、最小自乗法により１つの関係式を演算するのに必要な数のデータが、十分なデータとなる。
【０１２９】
ステップＳ２１０においてデータが十分であると判定された場合、ステップＳ２２１において更新部４２は、特定の距離と顔のサイズの関係式を演算し、更新する。特定の顔のサイズの正確な値は、メモリ１７に予め登録されている。そこで、ステップＳ２０６で検出された顔のサイズが、予め登録されている顔のサイズに対応づけられる。この顔のサイズと、ステップＳ２０７においてステレオカメラ１８により測定された距離とに基づいて演算を行うことで、正確な関係式を得ることができる。
【０１３０】
関係式が更新されると、ステップＳ２２２において選択部３９は、更新した関係式を選択する。すなわちステップＳ２２１でいま更新された関係式が選択される。
【０１３１】
その後、処理はステップＳ２１２に進み、それ以降の処理が実行される。
【０１３２】
ステップＳ２１０においてデータがまだ十分記憶されていないと判定された場合、ステップＳ２２１，Ｓ２２２の処理はスキップされる。この場合は、ステップＳ２１１において、距離と顔のサイズから関係式が選択される。つまりこの場合には関係式は更新されず、ステップＳ２０６で検出された顔のサイズと、ステップＳ２０７で測定された距離にもとづき特定される従前の関係式が選択される。その後、処理はステップＳ２１２に進み、それ以降の処理が実行される。
【０１３３】
このように、この実施の形態においてはサイズが既知の顔が検出されると、関係式が更新されるので、関係式をより正確なものとし、それに基づいて正確な位置を検出することが可能になる。
【０１３４】
［５．変形例］
【０１３５】
魚眼画像の他の変換画像の例について説明する。図１９は、画像の展開を説明する図である。図１９の例では、１枚の魚眼画像が、その中心を通る水平方向の仮想的な線と垂直方向の仮想的な線により、左上、右上、左下、および右下の４つの領域Ａ１乃至Ａ４に区分される。そして１枚の魚眼画像が、左右または上下に隣接する２つの領域を含む処理対象の変換画像に変換される。つまり、領域Ａ３と領域Ａ４の変換画像、領域Ａ４と領域Ａ２の変換画像、領域Ａ２と領域Ａ１の変換画像、および領域Ａ１と領域Ａ３の変換画像に変換される。
【０１３６】
このように変換した変換画像から顔を認識することでも、１枚の魚眼画像自体から顔を認識する場合に比べれば、容易に顔を認識することが可能になる。
【０１３７】
ただしこの場合、各変換画像において、顔は最大±４５度に傾斜する。そこで、顔の認識器は、±４５度に傾斜する顔を認識できる性能を有する必要がある。
【０１３８】
以上においてはステレオカメラ１８により距離を測定するようにしたが、他の測距手段を用いることも可能である。
【０１３９】
また、魚眼画像を平面展開することも考えられる。
【０１４０】
本技術は、例えば所定の空間を監視する監視装置、ロボットにより周囲を視認する装置、その他の画像処理装置に適用することができる。また認識対象は人の顔に限られない。動物、各種の物体などを認識対象とすることができる。
【０１４１】
[６．本技術のプログラムへの適用]
【０１４２】
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【０１４３】
図２０は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータの構成を示すブロック図である。
【０１４４】
コンピュータにおいて、CPU（Central Processing Unit）２２１，ROM（Read Only Memory）２２２，RAM（Random Access Memory）２２３は、バス２２４により相互に接続されている。
【０１４５】
バス２２４には、さらに、入出力インタフェース２２５が接続されている。入出力インタフェース２２５には、入力部２２６、出力部２２７、記憶部２２８、通信部２２９、及びドライブ２３０が接続されている。
【０１４６】
入力部２２６は、キーボード、マウス、マイクロフォンなどよりなる。出力部２２７は、ディスプレイ、スピーカなどよりなる。記憶部２２８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２２９は、ネットワークインタフェースなどよりなる。ドライブ２３０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア２３１を駆動する。
【０１４７】
以上のように構成されるコンピュータでは、CPU２２１が、例えば、記憶部２２８に記憶されているプログラムを、入出力インタフェース２２５及びバス２２４を介して、RAM２２３にロードして実行することにより、上述した一連の処理が行われる。
【０１４８】
コンピュータ（CPU２２１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２３１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０１４９】
コンピュータでは、プログラムは、リムーバブルメディア２３１をドライブ２３０に装着することにより、入出力インタフェース２２５を介して、記憶部２２８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２２９で受信し、記憶部２２８にインストールすることができる。その他、プログラムは、ROM２２２や記憶部２２８に、あらかじめインストールしておくことができる。
【０１５０】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１５１】
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１５２】
［７．その他］
【０１５３】
本技術は、以下のような構成もとることができる。
（１）
魚眼レンズを介して撮影した画像である魚眼画像を取得する取得部と、
前記魚眼画像を変換して、変換画像を生成する変換部と、
前記変換画像から認識対象の画像を認識する認識部と
を備える画像処理装置。
（２）
前記変換画像は、前記魚眼画像を円筒面上に展開した展開画像である
前記（１）に記載の画像処理装置。
（３）
前記展開画像上の前記認識対象の画像の大きさを検出する検出部をさらに備える
前記（１）または（２）に記載の画像処理装置。
（４）
前記認識対象までの距離を、前記認識対象の画像の大きさから演算する演算部をさらに備える
前記（３）に記載の画像処理装置。
（５）
前記演算部は、前記距離と大きさの関係を規定する関係式から、前記認識対象の画像の大きさに対応する前記認識対象までの距離を演算する
前記（４）に記載の画像処理装置。
（６）
異なる大きさの複数の前記認識対象について用意されている複数の前記関係式から１つを選択する選択部をさらに備える
前記（５）に記載の画像処理装置。
（７）
１つの前記関係式を選択するために距離を測定する測定部をさらに備える
前記（６）に記載の画像処理装置。
（８）
１つの前記関係式を選択するために特定の前記認識対象を特定する特定部をさらに備える
前記（６）に記載の画像処理装置。
（９）
前記演算部はさらに、新たな前記関係式を演算し、追加する
前記（５）乃至（８）のいずれかに記載の画像処理装置。
（１０）
前記関係式を更新する更新部をさらに備える
前記（５）乃至（９）のいずれかに記載の画像処理装置。
（１１）
前記関係式から検出された前記認識対象までの距離をパラメータとして、前記魚眼画像の座標系を、世界座標系に変換する座標変換部をさらに備える
前記（５）乃至（１０）のいずれかに記載の画像処理装置。
（１２）
魚眼レンズを介して撮影した画像である魚眼画像を取得する取得ステップと、
前記魚眼画像を変換して、変換画像を生成する変換ステップと、
前記変換画像から認識対象の画像を認識する認識ステップと
を含む画像処理方法。
（１３）
コンピュータに、
魚眼レンズを介して撮影した画像である魚眼画像を取得する取得ステップと、
前記魚眼画像を変換して、変換画像を生成する変換ステップと、
前記変換画像から認識対象の画像を認識する認識ステップと
を実行させるプログラムが記録されているコンピュータが読み取り可能な記録媒体。
（１４）
コンピュータに、
魚眼レンズを介して撮影した画像である魚眼画像を取得する取得ステップと、
前記魚眼画像を変換して、変換画像を生成する変換ステップと、
前記変換画像から認識対象の画像を認識する認識ステップと
を実行させるプログラム。
【符号の説明】
【０１５４】
１ 画像処理装置， １１ カメラ， １１Ａ 魚眼レンズ， １３ マイクロプロセッサ， ３１ 撮像部， ３２ 画像変換部， ３３ 顔認識部， ３４ 判定部， ３５ 検出部， ３６ 演算部， ３７ 座標変換部， ３８ 指示部， ３９ 選択部， ４０ 測定部， ４１ 記憶部， ４２ 更新部， ４３ 制御部
【特許請求の範囲】
【請求項１】
魚眼レンズを介して撮影した画像である魚眼画像を取得する取得部と、
前記魚眼画像を変換して、変換画像を生成する変換部と、
前記変換画像から認識対象の画像を認識する認識部と
を備える画像処理装置。
【請求項２】
前記変換画像は、前記魚眼画像を円筒面上に展開した展開画像である
請求項１に記載の画像処理装置。
【請求項３】
前記展開画像上の前記認識対象の画像の大きさを検出する検出部をさらに備える
請求項２に記載の画像処理装置。
【請求項４】
前記認識対象までの距離を、前記認識対象の画像の大きさから演算する演算部をさらに備える
請求項３に記載の画像処理装置。
【請求項５】
前記演算部は、前記距離と大きさの関係を規定する関係式から、前記認識対象の画像の大きさに対応する前記認識対象までの距離を演算する
請求項４に記載の画像処理装置。
【請求項６】
異なる大きさの複数の前記認識対象について用意されている複数の前記関係式から１つを選択する選択部をさらに備える
請求項５に記載の画像処理装置。
【請求項７】
１つの前記関係式を選択するために距離を測定する測定部をさらに備える
請求項６に記載の画像処理装置。
【請求項８】
１つの前記関係式を選択するために特定の前記認識対象を特定する特定部をさらに備える
請求項６に記載の画像処理装置。
【請求項９】
前記演算部はさらに、新たな前記関係式を演算し、追加する
請求項６に記載の画像処理装置。
【請求項１０】
前記関係式を更新する更新部をさらに備える
請求項６に記載の画像処理装置。
【請求項１１】
前記関係式から検出された前記認識対象までの距離をパラメータとして、前記魚眼画像の座標系を、世界座標系に変換する座標変換部をさらに備える
請求項５に記載の画像処理装置。
【請求項１２】
魚眼レンズを介して撮影した画像である魚眼画像を取得する取得ステップと、
前記魚眼画像を変換して、変換画像を生成する変換ステップと、
前記変換画像から認識対象の画像を認識する認識ステップと
を含む画像処理方法。
【請求項１３】
コンピュータに、
魚眼レンズを介して撮影した画像である魚眼画像を取得する取得ステップと、
前記魚眼画像を変換して、変換画像を生成する変換ステップと、
前記変換画像から認識対象の画像を認識する認識ステップと
を実行させるプログラムが記録されているコンピュータが読み取り可能な記録媒体。
【請求項１４】
コンピュータに、
魚眼レンズを介して撮影した画像である魚眼画像を取得する取得ステップと、
前記魚眼画像を変換して、変換画像を生成する変換ステップと、
前記変換画像から認識対象の画像を認識する認識ステップと
を実行させるプログラム。
【請求項１】
魚眼レンズを介して撮影した画像である魚眼画像を取得する取得部と、
前記魚眼画像を変換して、変換画像を生成する変換部と、
前記変換画像から認識対象の画像を認識する認識部と
を備える画像処理装置。
【請求項２】
前記変換画像は、前記魚眼画像を円筒面上に展開した展開画像である
請求項１に記載の画像処理装置。
【請求項３】
前記展開画像上の前記認識対象の画像の大きさを検出する検出部をさらに備える
請求項２に記載の画像処理装置。
【請求項４】
前記認識対象までの距離を、前記認識対象の画像の大きさから演算する演算部をさらに備える
請求項３に記載の画像処理装置。
【請求項５】
前記演算部は、前記距離と大きさの関係を規定する関係式から、前記認識対象の画像の大きさに対応する前記認識対象までの距離を演算する
請求項４に記載の画像処理装置。
【請求項６】
異なる大きさの複数の前記認識対象について用意されている複数の前記関係式から１つを選択する選択部をさらに備える
請求項５に記載の画像処理装置。
【請求項７】
１つの前記関係式を選択するために距離を測定する測定部をさらに備える
請求項６に記載の画像処理装置。
【請求項８】
１つの前記関係式を選択するために特定の前記認識対象を特定する特定部をさらに備える
請求項６に記載の画像処理装置。
【請求項９】
前記演算部はさらに、新たな前記関係式を演算し、追加する
請求項６に記載の画像処理装置。
【請求項１０】
前記関係式を更新する更新部をさらに備える
請求項６に記載の画像処理装置。
【請求項１１】
前記関係式から検出された前記認識対象までの距離をパラメータとして、前記魚眼画像の座標系を、世界座標系に変換する座標変換部をさらに備える
請求項５に記載の画像処理装置。
【請求項１２】
魚眼レンズを介して撮影した画像である魚眼画像を取得する取得ステップと、
前記魚眼画像を変換して、変換画像を生成する変換ステップと、
前記変換画像から認識対象の画像を認識する認識ステップと
を含む画像処理方法。
【請求項１３】
コンピュータに、
魚眼レンズを介して撮影した画像である魚眼画像を取得する取得ステップと、
前記魚眼画像を変換して、変換画像を生成する変換ステップと、
前記変換画像から認識対象の画像を認識する認識ステップと
を実行させるプログラムが記録されているコンピュータが読み取り可能な記録媒体。
【請求項１４】
コンピュータに、
魚眼レンズを介して撮影した画像である魚眼画像を取得する取得ステップと、
前記魚眼画像を変換して、変換画像を生成する変換ステップと、
前記変換画像から認識対象の画像を認識する認識ステップと
を実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【公開番号】特開２０１２−２２６６４５（Ｐ２０１２−２２６６４５Ａ）
【公開日】平成２４年１１月１５日（２０１２．１１．１５）
【国際特許分類】
【出願番号】特願２０１１−９４９３８（Ｐ２０１１−９４９３８）
【出願日】平成２３年４月２１日（２０１１．４．２１）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２４年１１月１５日（２０１２．１１．１５）
【国際特許分類】
【出願日】平成２３年４月２１日（２０１１．４．２１）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]