対象認識装置及びそれを用いた制御装置、並びに対象認識方法

【課題】装置の大型化及びコストの上昇を抑えつつ、画像から正確に対象を認識できる対象認識装置を提供する。
【解決手段】肌色を有する対象（手）を認識するための対象認識装置１００は、撮影によりカラー画像を生成するカラーカメラ１１と、カラー画像における肌色領域を検出する肌色領域検出部１２と、対象に赤外線を照射するための赤外線ランプと、入射する赤外線の強度に応じた赤外線画像を生成する赤外線カメラ１５と、赤外線画像に基づいて、赤外線強度の強い領域を検出する赤外線領域検出部１６と、肌色領域検出部１２における領域検出の結果及び赤外線領域検出部１６における領域検出の結果に基づいて、対象の認識結果を出力する認識部１９とを備えている。

【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、認識対象の位置、形状、数等を認識する対象認識装置及びそれを用いた制御装置、並びに対象認識方法に関する。
【背景技術】
【０００２】
従来から、カメラで撮影された画像に対して画像認識を行って、その画像から特定の領域を抽出して認識対象の位置や形状等を認識する対象認識装置が知られている。例えば、カメラで人の手を撮影して、そのカラー画像から手や指の領域を抽出して手の向きや形状、指の位置等を認識し、その認識結果に応じた制御信号をコンピュータに入力する対象認識装置がある。この対象認識装置により、ユーザは、キーボードやマウスといった入力デバイスを用いることなく、空中で手の動かすという自然な動作でコンピュータに対して所望の入力を行うことができる。
【０００３】
この種の対象認識装置では、カメラがユーザの手を撮像してカラー画像を生成し、このカラー画像から、まず肌色領域を抽出し、次にその肌色領域の輪郭線を抽出して、指の検出や手の向きの推定を行っている（例えば、非特許文献１参照）。
【０００４】
また、カメラと３次元スキャナを用いて、手の画像及び３次元情報を取得して、手の形状等を認識する装置もある（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−２４１８３３号公報
【非特許文献】
【０００６】
【非特許文献１】Taehee Lee; Tobias Hollerer, “Handy AR: Markerless Inspection of Augmented Reality Objects Using Fingertip Tracking”, IEEE ISWC 2007 (11th Int’l Symposium on Wearable Computers), Boston, MA Oct. 11-13, 2007
【非特許文献２】平成１８年度情報科学科知識情報科学講座卒業論文発表会予稿、「幾何学的特徴を用いる顔領域のモデル化」、山形大学情報科学科古閑研究室、遠藤力
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記の非特許文献１の認識装置では、カラー画像から肌色領域を抽出することで、画像中の手の領域を抽出しているので、例えば背景に肌色に近い領域が含まれる場合には、そのような背景までも手の領域として抽出されていまい、手の形状や方向等の認識ができないことがある。また、照明等の影響によって、画像中の手の領域が肌色になっていない場合（例えば逆光で黒っぽくなっている場合など）には、手の領域を抽出できない。
【０００８】
一方、上記の特許文献１の認識装置のように３次元スキャナを利用すれば上記の問題を解消でき、背景を排除しつつ手が画像中でどのような色に撮影されているかにかかわらず手の形状等を認識できる。しかしながら、特許文献１の認識装置では、３次元スキャナを必要とするため、装置が大掛かりになり、製造コストも高くなるという問題がある。
【０００９】
そこで、本発明は、装置の大型化及びコストの上昇を抑えつつ、画像から正確に対象を認識できる対象認識装置を提供する。
【課題を解決するための手段】
【００１０】
本発明の一態様は、特定色を有する対象を認識する対象認識装置であって、この対象認識装置は、撮影によりカラー画像を生成するカラーカメラと、前記カラー画像における前記特定色の領域を検出する特定色検出部と、対象に赤外線を照射するための赤外線ランプと、入射する赤外線の強度に応じた赤外線画像を生成する赤外線カメラと、前記赤外線画像に基づいて、赤外線強度の強い領域を検出する赤外線領域検出部と、前記特定色検出部における領域検出の結果及び前記赤外線領域検出部における領域検出の結果に基づいて、前記対象の認識結果を出力する認識部とを備えている。
【００１１】
この構成により、対象認識装置は、カラーカメラと赤外線カメラを備えるので、カラー画像から特定色を検出するのみでは認識できない対象ついても、赤外線画像から当該対象の数、形状、位置等を認識できるので、対象の認識精度を向上できる。また、このような認識精度の向上をカラーカメラと赤外線カメラという安価な構成で実現できるので、装置の大型化及びコストの上昇を抑えることができる。
【００１２】
本発明の対象認識装置は、前記特定色検出部にて検出された領域の輪郭を求め、求めた輪郭に基づいて前記対象の輪郭を抽出する輪郭抽出部をさらに備え、前記認識部は、前記輪郭抽出部にて抽出された輪郭に基づいて、前記対象の形状、位置及び数の少なくともいずれかの情報を含む認識結果を出力する。
【００１３】
この構成により、輪郭の特徴（例えば全長）に基づいて、対象以外のものを排除できるので、認識精度が向上する。また、認識結果として、対象の形状、位置及び数の少なくともいずれかの情報が得られる。
【００１４】
本発明の対象認識装置において、前記認識部は、前記輪郭抽出部にて抽出された輪郭内の所定の条件を満たす特定部分の数の情報を含む認識結果を出力する。
【００１５】
この構成により、対象の特定部分（例えば手の指先）がいくつあるかを認識できる。
【００１６】
本発明の対象認識装置において、前記対象は人の手であり、前記特定色は肌色である。
【００１７】
この構成により、ユーザの手の位置や形状を認識できる。
【００１８】
本発明の対象認識装置において、前記対象は人の手であり、前記特定色は肌色であり、前記特定部分は指先である。
【００１９】
この構成により、ユーザの手の指が何本立っているか等の状態を認識できる。
【００２０】
本発明の別の態様は、特定色を有する対象を認識する対象認識装置であって、この対象認識装置は、撮影により第１のカラー画像を生成する第１のカラーカメラと、前記第１のカラー画像における前記特定色の領域を検出する特定色検出部と、撮影により第２のカラー画像を生成する第２のカラーカメラと、前記第１のカラー画像及び前記第２のカラー画像の視差に基づいて、距離画像を生成する距離推定部と、前記特定色検出部における領域検出の結果及び前記距離推定部にて生成された距離画像に基づいて、前記対象の認識結果を出力する認識部とを備えている。
【００２１】
この構成により、対象認識装置は、２台のカラーカメラを備えてそれらのカラー画像から距離画像を生成するので、第１のカラー画像から特定色を検出するのみでは認識できない対象物の形状や位置についても、距離画像に基づいて対象を正しく認識できるので、対象の認識精度を向上できる。また、このような認識精度の向上を２台のカラーカメラという安価な構成で実現できるので、装置の大型化及びコストの上昇を抑えることができる。
【００２２】
本発明の対象認識装置は、前記特定色検出部にて検出された領域の輪郭を求め、求めた輪郭に基づいて前記対象の輪郭を抽出する輪郭抽出部をさらに備え、前記認識部は、前記輪郭抽出部にて抽出された輪郭に基づいて、前記対象の形状、位置及び数の少なくともいずれかの情報を含む認識結果を出力する。
【００２３】
この構成により、輪郭の特徴（例えば全長）に基づいて、対象の輪郭以外の輪郭を排除できるので、認識精度が向上する。
【００２４】
本発明の対象認識装置において、前記特定色検出部は、前記距離推定部で生成された距離画像に基づいて、前記特定色の領域ではあるが前記対象の領域ではない領域を除いて、前記領域検出の結果とし、前記輪郭抽出部は、前記対象の領域ではない領域が除かれた前記領域検出の結果について、領域の輪郭を求めて、その輪郭を抽出する。
【００２５】
この構成により、特定色検出部は、カラー画像の色の情報のみで判断した領域から、距離から判断して対象ではないと判断される部分を除くので、より正確に対象の領域を検出できる。
【００２６】
本発明の対象認識装置において、前記認識部は、前記輪郭抽出部にて抽出された輪郭内の所定の条件を満たす特定部分の数の情報を含む認識結果を出力する。
【００２７】
この構成により、対象の特定部分（例えば手の指先）がいくつあるかを認識できる。
【００２８】
本発明のさらに別の態様は、対象を認識する対象認識装置であって、この対象認識装置は、対象に赤外線を照射するための赤外線ランプと、入射する赤外線の強度に応じた第１の赤外線画像を生成する第１の赤外線カメラと、前記第１の赤外線画像に基づいて、赤外線強度の強い領域を検出する赤外線領域検出部と、入射する赤外線の強度に応じた第２の赤外線画像を生成する第２の赤外線カメラと、前記第１の赤外線画像及び前記第２の赤外線画像の視差に基づいて、前記対象までの距離を推定する距離推定部と、前記赤外線領域検出部における領域検出の結果及び前記距離推定部における距離推定の結果に基づいて、前記対象の認識結果を出力する認識部とを備えている。
【００２９】
この構成により、対象認識装置は、２台の赤外線カメラを備えて、それらの視差画像から対象までの距離を推定するので、第１の赤外線画像から赤外線強度の強い領域を検出するのみでは認識できない対象物の形状や位置についても、推定された距離に基づいて対象を正しく認識できるので、対象の認識精度を向上できる。また、このような認識精度の向上を２台の赤外線カメラという安価な構成で実現できるので、装置の大型化及びコストの上昇を抑えることができる。
【００３０】
本発明の対象認識装置は、前記赤外線領域検出部にて検出された領域の輪郭を求め、求めた輪郭に基づいて前記対象の輪郭を抽出する輪郭抽出部をさらに備え、前記認識部は、前記輪郭抽出部にて抽出された輪郭に基づいて、前記対象の形状、位置及び数の少なくともいずれかの情報を含む認識結果を出力する。
【００３１】
この構成により、輪郭の特徴（例えば全長）に基づいて、対象以外のものを排除できるので、認識精度が向上する。
【００３２】
本発明の対象認識装置において、前記赤外線領域検出部は、前記距離推定部で推定された前記対象までの距離に基づいて、赤外線の強度が強い領域であるが前記対象の領域ではない領域を除いて、前記領域検出の結果とし、前記輪郭抽出部は、前記対象の領域ではない領域が除かれた前記領域検出の結果について、領域の輪郭を求めて、その輪郭を抽出する。
【００３３】
この構成により、赤外線領域検出部は、第１の赤外線画像から得られた赤外線強度の強い領域から、距離から判断して対象ではないと判断される部分を除くので、より正確に対象の領域を検出できる。
【００３４】
本発明の対象認識装置において、前記認識部は、前記輪郭抽出部にて抽出された輪郭内の所定の条件を満たす特定部分の数の情報を含む認識結果を出力する。
【００３５】
この構成により、対象の特定部分（例えば手の指先）がいくつあるかを認識できる。
【００３６】
本発明のさらに別の態様は、制御装置であって、この制御装置は、上記のいずれかの対象認識装置と、前記認識部における認識結果に基づいて、制御信号を生成する制部とを備えている。
【００３７】
この構成により、対象の位置、形状、数等を正確に反映した制御信号を生成できる。
【００３８】
本発明のさらに別の態様は、特定色を有する対象を認識する対象認識方法であって、この方法は、撮影により対象のカラー画像を生成するとともに、対象に赤外線を照射して、入射する赤外線の強度に応じた赤外線画像を生成する画像生成ステップと、前記カラー画像における前記特定色の領域を検出する特定色検出ステップと、前記赤外線画像に基づいて、赤外線強度の強い領域を検出する赤外線領域検出ステップと、前記特定色検出ステップにおける領域検出の結果及び前記領域検出ステップにおける領域検出の結果に基づいて、前記対象の認識結果を出力する認識ステップとを含んでいる。
【００３９】
本発明のさらに別の態様は、特定色を有する対象を認識する対象認識方法であって、この方法は、第１のカラーカメラ及び第２のカラーカメラによりそれぞれ撮影して、第１のカラー画像及び第２のカラー画像を生成する画像生成ステップと、前記第１のカラー画像における前記特定色の領域を検出する特定色検出ステップと、前記第１のカラー画像及び前記第２のカラー画像の視差に基づいて、距離画像を生成する距離推定ステップと、前記特定色検出ステップにおける領域検出の結果及び前記距離推定ステップにて生成された距離画像に基づいて、前記対象の認識結果を出力する認識ステップとを含んでいる。
【００４０】
本発明のさらに別の態様は、対象を認識する対象認識方法であって、この方法は、対象に赤外線を照射して、第１の赤外線カメラ及び第２の赤外線カメラを用いて、それぞれ入射する赤外線の強度に応じた第１の赤外線画像及び第２の赤外線画像を生成する画像生成ステップと、前記第１の赤外線画像に基づいて、赤外線強度の強い領域を検出する赤外線領域検出ステップと、前記第１の赤外線画像及び前記第２の赤外線画像の視差に基づいて、距離画像を生成する距離推定ステップと、前記特定色検出ステップにおける領域検出の結果及び前記距離推定ステップにて生成された距離画像に基づいて、前記対象の認識結果を出力する認識ステップとを含んでいる。
【００４１】
本発明のさらに別の態様は、プログラムであって、このプログラムは、コンピュータにて実行されることにより、コンピュータに、上記のいずれかの方法を行わせる。
【発明の効果】
【００４２】
本発明によれば、装置の大型化及びコストの上昇を抑えつつ、画像から正確に対象を認識できる。
【図面の簡単な説明】
【００４３】
【図１】本発明の第１の実施の形態における制御装置の全体構成を示すブロック図
【図２】本発明の第１の実施の形態における対象認識装置の撮像部の外観正面図
【図３Ａ】本発明の第１の実施の形態におけるカラー画像の例を示す図
【図３Ｂ】本発明の第１の実施の形態における検出された肌色領域の例を示す図
【図３Ｃ】本発明の第１の実施の形態における輪郭抽出処理を行って得られた輪郭を示す図
【図３Ｄ】本発明の第１の実施の形態における抽出された輪郭を示す図
【図３Ｅ】本発明の第１の実施の形態における指抽出の結果を示す図
【図４Ａ】本発明の第１の実施の形態における指を抽出する処理を説明するための図
【図４Ｂ】本発明の第１の実施の形態における指の判定を行った結果を示す図
【図４Ｃ】本発明の第１の実施の形態における指先に楕円をフィッティングした結果を示す図
【図５】本発明の第１の実施の形態における手の輪郭を構成する画素を走査したときの角度Θｉの変化を示すグラフ
【図６Ａ】本発明の第１の実施の形態における赤外線画像の例を示す図
【図６Ｂ】本発明の第１の実施の形態における検出された赤外線領域の例を示す図
【図６Ｃ】本発明の第１の実施の形態における輪郭抽出処理を行って得られた輪郭を示す図
【図６Ｄ】本発明の第１の実施の形態における抽出された輪郭を示す図
【図６Ｅ】本発明の第１の実施の形態における指抽出の結果を示す図
【図７】本発明の第２の実施の形態の制御装置の全体構成を示すブロック図
【図８】本発明の第３の実施の形態の制御装置の全体構成を示すブロック図
【図９】本発明の第３の実施の形態における対象認識装置の撮像部の外観正面図
【図１０Ａ】本発明の第３の実施の形態における第１のカラー画像の例を示す図
【図１０Ｂ】本発明の第３の実施の形態における検出された肌色領域の例を示す図
【図１０Ｃ】本発明の第３の実施の形態における肌色領域のうち距離の遠い領域を排除した結果を示す図
【図１１】本発明の第４の実施の形態の制御装置の全体構成を示すブロック図
【図１２】本発明の第４の実施の形態における対象認識装置の撮像部の外観正面図
【図１３Ａ】本発明の第４の実施の形態における第１の赤外線画像の例を示す図
【図１３Ｂ】本発明の第４の実施の形態における検出された赤外線領域の例を示す図
【図１３Ｃ】本発明の第４の実施の形態における赤外線領域のうち距離の遠い領域を排除した結果を示す図
【発明を実施するための形態】
【００４４】
以下、本発明の実施の形態の対象認識装置及びそれを備えた制御装置について、図面を参照しながら説明する。以下では、人の手の指の数を認識する対象認識装置と、対象認識装置の認識結果に基づいてコンピュータを操作するための制御信号を生成する制御部とを備えた制御装置を例として説明する。この制御装置は、コンピュータに対するインターフェースとして用いることができる。
【００４５】
（第１の実施の形態）
図１は、第１の実施の形態の制御装置の全体構成を示すブロック図である。制御装置１は、対象認識装置１００と制御部５０とからなる。対象認識装置１００は、肌色の人の手を認識する。対象認識装置１００は、カラーカメラ１１と、肌色領域検出部１２と、輪郭抽出部１３と、指抽出部１４とを備えている。この構成により、カラーカメラ１１で撮影して得られたカラー画像から手の指を抽出する。対象認識装置１００は、さらに、赤外線ランプ２０と、赤外線カメラ１５と、赤外線領域検出部１６と、輪郭検出部１７と、指抽出部１８とを備えている。この構成により、赤外線カメラ１５で撮影して得られた赤外線画像から手の指を抽出する。
【００４６】
図２は、対象認識装置１００の撮像部２１の外観正面図である。図２において、レンズ２０１は、カラーカメラ１１のレンズであり、レンズ２０２は、赤外線カメラ１５のレンズである。赤外線カメラ１５のレンズ２０２には、可視光カットフィルタが被せられる。赤外線カメラ１５のレンズ２０２の周囲には、赤外光を発光する複数の赤外線ランプ２０としての赤外線ＬＥＤ２０３が配置されている。図２に示すように、対象認識装置１００において、カラーカメラ１１と赤外線カメラ１５とは、近接して設けられている。これにより、カラーカメラ１１の撮像画像と赤外線カメラ１５の撮像画像とでは、画像内のほぼ同一の位置において同一の被写体部分を撮像したものとなる。ユーザは、撮像部２１が自らの手を撮影できるように、撮像部２１に対して手をかざす。
【００４７】
図１に戻って、カラーカメラ１１は、ユーザの手を撮影することによりカラー画像を生成する。このために、カラーカメラ１１は、光電変換素子が２次元配列された撮像素子を有している。撮像素子には、レンズ等を介して外部の光が入射する。カラーカメラ１１は、各画素について、入射した光を光電変換して、ＲＢＧデータを生成し、これをカラー画像として出力する。図３Ａは、カラー画像の例を示す図である。図３Ａの例では、ユーザは、撮像部２１に右手をかざしている。また、図３Ａの例では、ユーザの手の他に、ユーザの顔や首、及び背景も撮影されている。
【００４８】
肌色領域検出部１２は、カラーカメラ１１にて生成されたカラー画像における肌色の領域を検出する。具体的には、肌色領域検出部１２は、非特許文献２にあるように、カラーカメラ１１から出力されたカラー画像であるＲＧＢデータをＬＵＶデータに変換し、ＬＵＶ空間において所定の閾値の範囲内にある値を持つ領域を肌色領域として検出する。図３Ｂは、図３Ａのカラー画像に対して、肌色領域検出部１２において肌色検出を行った結果、検出された肌色領域の例を示す図である。図３Ｂの例では、ユーザの手の人差し指部分は背景の肌色部分と一体となって肌色領域として検出されている。また、図３Ｂの例では、ユーザの手のほか、ユーザの顔や首、及び背景の肌色の物体も肌色領域として検出されている。
【００４９】
輪郭抽出部１３は、肌色領域検出部１２にて検出された肌色領域の輪郭を求め、そこから手の輪郭を抽出する。ここで、輪郭を示すデータは、輪郭を構成する画素が順序付けされたデータである。このデータにおいて、任意の一の画素と順序が連続する画素は、当該一の画素を取り囲む８つの画素のいずれかである。なお、輪郭を示すデータは、輪郭を構成する画素の座標値を順序に従って並べたベクトルの形式で表される。
【００５０】
図３Ｃは、肌色領域検出部１２にて検出された図３Ｂの肌色領域について、輪郭抽出処理を行って得られた輪郭を示す図である。図３Ｂの例では、一部に背景を含む手、顔及び首、及び背景の物体がそれぞれ肌色領域として検出されているので、これに従って輪郭抽出部１３においても肌色領域として検出された一部に背景を含む手、顔及び首、及び背景の物体の領域の輪郭が求められる。
【００５１】
輪郭抽出部１３は、このようにして求められた輪郭から、手の領域の輪郭以外の輪郭を排除するために、まず、各輪郭の全長を求める。そして、全長が最も長いものを手の輪郭として抽出する。図３Ｄは、全長が最も長いものとして抽出された輪郭を示す図である。即ち、図３Ｄでは、一部に背景を含む手の輪郭が抽出されており、この段階で、顔及び首や背景の一部の肌色領域は排除されている。輪郭抽出部１３は、図３Ｄの輪郭を示すデータを指抽出部１４に出力する。
【００５２】
指抽出部１４は、輪郭抽出部１３にて抽出された手の輪郭に基づいて、指の形状及び位置の情報を含む抽出結果を出力する。図４Ａ〜図４Ｃ及び図５は、指を抽出する処理を説明するための図である。図４Ａ〜図４Ｃは、輪郭抽出部１３にて抽出された手の輪郭の指先部分を拡大したものである。図４Ａ〜図４Ｃにおいて、１つの点は、１つの画素を示している。上記のように、輪郭を示すデータでは、画素の座標値が順序付けられて並んでいる。指抽出部１４は、輪郭を構成する画素をこの順序に従って順に走査していく。図４Ａに示すように、指抽出部１４は、注目する第ｉ番目の画素Ｃ_ｉと、その画素から一定の数ｄ（図４Ａの例では、ｄ＝３０）だけ前の順序の画素Ｃ_ｉ−ｄとを結ぶ線と、画素Ｃ_ｉと、その画素からｄだけ後の順序の画素Ｃ_ｉ＋ｄとを結ぶ線とがなす角の角度Θ_ｉを求める。
【００５３】
そして、指抽出部１４は、角度Θ_ｉが所定の閾値（例えば、７０度）を下回る否かを判定する。図４Ｂは、このようにして角度Θ_ｉを順に判定していった結果を示す図である。図４Ｂの例では、上部の合計１１個の画素（点を○で囲んだ画素）が上記の条件を満たしている。指抽出部１４は、このようにして注目画素Ｃ_ｉの角度Θ_ｉが閾値を下回るか否かを判定しながら輪郭を走査していき、最終的に角度Θ_ｉが閾値を下回る画素Ｃ_ｉが５以上連続した箇所があればその箇所を指先であると判断する。図４Ｂの例では、上記の条件を満たす画素が１１個連続しているので、この部分を指先と判断する。なお、本実施の形態では、指先と判断するための角度Θ_ｉが閾値を下回る連続した画素Ｃ_ｉの数を５としたが、この数は５に限られない。
【００５４】
図５は、手の輪郭を構成する画素Ｃ_ｉを順次走査しながら５本の指を検出したときの、角度Θ_ｉの変化を示すグラフである。このグラフでは、横軸に輪郭における位置ｉをとり、縦軸に角度Θ_ｉをとってある。図５の例では、閾値を８５度としてある。この閾値を下回る５つの谷部分（図５中の○で囲った部分）が指の先端部分に相当する。なお、輪郭線は１周する閉曲線であるので、図５のグラフの左隅と右隅とは輪郭線上の同一点を表している。
【００５５】
指抽出部１４は、指先を見つけ出すと、指先と判断された部分で楕円のフィッティングを行う。具体的には、指抽出部１４は、角度Θ_ｉが閾値を下回る連続する画素Ｃ_ｉ及びその周囲の何点かと最もよくフィッティングする楕円を設定する。図４Ｃは、楕円をフィッティングした結果を示す図である。指抽出部１４は、フィッティングされた楕円の長辺、短辺の長さ及びそれらの比が所定の閾値の範囲内にある場合に、この楕円がフィッティングされた部分を指（の先端）であると判断する。楕円が大きすぎたり、扁平しすぎていたりする場合には、指でない部分を誤検出した可能性が高いため、この場合は指とは判断しない。
【００５６】
指抽出部１４は、上記の処理をすべての指について行う。図３Ｅは、指抽出部１４による指抽出の結果を示す図である。図３Ｅに示すように、人差し指の輪郭が背景の長方形領域に吸収されてしまっている部分については、角度Θ_ｉが閾値を下回る画素Ｃ_ｉが５以上連続するという上記の条件を満たさないので、指とは検出されていない。指抽出部１４は、指先にフィッティングした楕円の位置（中心の座標）と形状（長軸及び短軸の長さ及び方向）を表すデータを認識部１９に出力する。
【００５７】
対象認識装置１００は、さらに、赤外線カメラ１５と、赤外線領域検出部１６と、輪郭抽出部１７と、指抽出部１８とを備えている。赤外線カメラ１５は、赤外線ランプ２０が、赤外線カメラ１５の撮影方向に向けて赤外線を照射している状態で、入射する赤外線の強度に応じた赤外線画像を生成する。赤外線カメラ１５は、カラーカメラ１１と同じサイズ、同じ画素数の撮像素子を有しており、カラーカメラ１１と同時に被写体を撮影する。カラーカメラ１１と同様に、赤外線カメラ１５はレンズを備えており、レンズを通過した赤外線が撮像素子に入射するように構成されている。赤外線カメラ１５は、さらにレンズの前面に可視光カットフィルタを有しており、可視光はレンズを通して撮像素子に至らないように構成されている。撮像素子は、入射した赤外線を光電変換して、赤外線強度に応じた画素値を持つ各画素のデータを赤外線画像として出力する。
【００５８】
図６Ａは、図３のカラー画像と同時に撮像された赤外線画像を示す図である。図６Ａの例では、ユーザの手、腕の一部、背景の一部（部屋に入り込んだ外光に照らされた壁）の領域において赤外線強度が比較的強い赤外線画像が得られている。なお、図６Ａの例では便宜上、比較的赤外線強度の強い領域を輪郭で囲って示したが、実際には赤外線画像における各画素は赤外線強度に応じた画素値を持っている。なお、赤外線強度に対して色温度を定義して、赤外線画像を色温度で表現すると理解しやすくなる。また、上述のように、赤外線カメラ１５の付近からは赤外線の撮像方向に赤外光が発光されているが、この赤外光はそれほど強くなく、ある程度の距離だけ離れれば、そこからの反射赤外光は、撮像素子でほとんど感知されなくなる。
【００５９】
赤外線領域検出部１６は、赤外線カメラ１５で生成された赤外線画像に基づいて、赤外線強度の強い領域（以下、「赤外線領域」という）を検出する。具体的には、赤外線領域検出部１６は、赤外線画像において画素値が所定の閾値を超える領域を赤外線領域として検出する。図６Ｂは、図６Ａの赤外線画像に対して、赤外線領域検出を行った結果、検出された赤外線領域の例を示す図である。図６Ｂの例では、ユーザの手のほか、ユーザの腕の一部、背景の一部（外光に照らされた壁）が赤外線領域として検出されている。
【００６０】
輪郭抽出部１７は、赤外線領域検出部１６にて検出された領域の輪郭を求め、そこから手の輪郭を抽出する。輪郭抽出部１７における処理は、輪郭抽出部１３における処理と同じである。図６Ｃは、赤外線領域検出部１６にて検出された図６Ｂの赤外線領域について、輪郭抽出処理を行って得られた輪郭を示す図である。図６Ｄは、輪郭抽出部１７が、求めた輪郭のうち、全長の短い輪郭を排除して抽出された輪郭を示す図である。腕部分及び背景の一部の赤外線領域は、その輪郭の全長が比較的短いので、手の輪郭としては抽出されていない。輪郭抽出部１７は、図６Ｄの輪郭を示すデータを指抽出部１８に出力する。
【００６１】
指抽出部１８は、輪郭抽出部１７にて抽出された手の輪郭に基づいて、指の形状及び位置の情報を含む抽出結果を出力する。指抽出部１８が指を抽出する処理も、指抽出部１４における処理と同じであるので、説明を省略する。図６Ｅは、指抽出部１８による指抽出の結果を示す図である。なお、ここでは、人差し指の先に楕円がフィッティングされている。指抽出部１８は、指先にフィッティングした楕円の位置（中心の座標）と形状（長軸及び短軸の長さ及び向き）を表すデータを認識部１９に出力する。
【００６２】
認識部１９は、指抽出部１４における抽出結果及び指抽出部１８における抽出結果を考慮して、最終的な指の認識を行い、認識結果として指の数の情報を出力する。認識部１９が２つの抽出結果に基づいて認識結果を得る方法は様々考えられる。例えば、上記の例では、人差し指を除く他の４本の指については、カラーカメラ１１のカラー画像から検出された指と、赤外線カメラ１５の赤外線画像から検出された指とは、ほぼ一致しているが、人差し指については、赤外線画像のみで抽出され、カラー画像では抽出されていない。このような場合には、本実施の形態の認識部１９は、少なくとも一方の抽出結果で抽出されている指をユーザの指であると認識する。他の例の認識部１９は、両方の抽出結果で抽出されている指のみをユーザの指であると認識する。さらに他の例の認識部１９は、両方の抽出結果で抽出されている指をユーザの指であると認識するとともに、一方の抽出結果でしか抽出されていない指については、それが所定の条件を満たした場合に、それを指であると認識する。例えば、両方の検出結果で検出されている他の指先と当該一方の抽出結果のみで抽出されている指先との位置関係が所定の条件を満たすときに、それをユーザの指であると認識する。
【００６３】
また、認識部１９は、キャリブレーション機能を用いて、２つの抽出結果に基づいて認識結果を得てもよい。この場合は、予め、ユーザに指を１本から５本まで順に提示してもらって、また、複数の制御信号の各々に応じた形状及び位置で手を提示してもらい、これらをカラーカメラ１１及び赤外線カメラ１５でそれぞれ撮影して、カラー画像及び赤外線画像を生成する。そして、認識部１９は、これらのカラー画像及び赤外線画像を所定の指の本数に対応する標準の情報として記憶しておく。認識部１９は、２つの抽出結果に基づいて指の認識を行う場合には、２つの抽出結果をそれぞれの標準の情報と比較して、より標準の情報に近いほうの検出結果を採用する。認識部１９は、以上で説明した方法以外の方法で２つの抽出結果に基づいて指の認識を行ってよい。
【００６４】
制御部５０は、指の本数に応じた制御信号を生成して出力する。この制御信号はコンピュータに送られて、コンピュータの操作を制御することになる。例えば、制御部５０は、指の本数がゼロ（手を握り締めている状態）の場合は、マウスをホールドする制御信号を出力し、指の本数が５本の場合はマウスをリリースする制御信号を出力する。このような指の本数と制御信号との対応付けも種々の実施の形態が考えられる。
【００６５】
なお、認識部１９が指の本数と指先に設定した楕円の位置の情報を含む認識結果を出力して、制御部５０がその認識結果に応じた制御信号を出力してもよい。この場合は、手を広げて縦にする場合と横にする場合とで異なる制御信号を生成できることになる。
【００６６】
以上のように、本実施の形態の対象認識装置１００によれば、１つのカラーカメラと１つの赤外線カメラという安価かつ簡易な構造で、背景色等に係らず、正確に手の指を検出でき、制御装置１は、ユーザの手の形状や位置を正確に反映させた制御信号を生成できる。
【００６７】
（第２の実施の形態）
次に、本発明の第２の実施の形態を説明する。図７は、本発明の第２の実施の形態の制御装置の全体構成を示すブロック図である。本実施の形態の制御装置２において、第１の実施の形態の制御装置１と同一の構成については、同一の符号を付して、適宜説明を省略する。
【００６８】
制御装置２は、対象認識装置２００と制御部５０とからなる。対象認識装置２００は、カラーカメラ１１と、肌色領域検出部１２と、赤外線カメラ１５と、赤外線領域検出部１６とを備えている。これらの構成は、第１の実施の形態の対応する部分の構成と同じである。本実施の形態の対象認識装置２００は、肌色領域検出部１２の検出結果と、赤外線領域検出部１６の検出結果とに基づいて、ユーザの手の領域を検出する手領域検出部２２を備えている。即ち、第１の実施の形態の対象認識装置１００では、カラー画像と赤外線画像のそれぞれについて指を抽出した上で、認識部１９にて２つの指抽出の結果を考慮して最終的な指の認識結果を得ていたが、本実施の形態では、カラー画像から肌色領域を検出して、赤外線画像から赤外線領域を検出して、それらの結果に基づいて、手領域を検出した上で、輪郭抽出、指抽出、認識という後続の処理を行う。
【００６９】
手領域検出部２２には、肌色領域検出部１２にて検出された肌色の領域と、赤外線領域検出部１６で検出された赤外線領域とがオーバラップする領域を手領域として検出する。即ち、手領域検出部２２は、カラー画像及び赤外線画像のいずれにおいても検出された領域を手領域とする。なお、オーバラップする領域が複数ある場合には、面積の大きい方の領域のみを残して、面積の小さい方の領域を無視してもよいし、複数の領域をそのまま手領域として出力してもよい。
【００７０】
輪郭抽出部１３は、第１の実施の形態の輪郭抽出部１３、１７と同様にして、手領域について輪郭を求め、それをユーザの手の輪郭として抽出する。ここで、手領域検出部２２にて手領域として検出された領域が複数ある場合には、第１の実施の形態と同様に、全長が最も長い輪郭をユーザの手の輪郭として抽出する。指抽出部１４も、第１の実施の形態の指抽出部１４、１８と同様にして指の検出を行い、検出された指に楕円をフィッティングして、指にフィッティングした楕円の情報を出力する。認識部２３は、指抽出部１４から得た楕円の情報に基づいて、認識結果として、指の数を含む情報を制御部５０に出力する。但し、本実施の形態の認識部２３は、第１の実施の形態の認識部１９と異なり、複数の指抽出の結果から指の数等を判断する必要はなく、１つの指抽出の結果に基づいて、上記のキャリブレーション機能を利用するなどして指の数を認識する。制御部５０は、第１の実施の形態と同様である。
【００７１】
本実施の形態によっても、対象認識装置２００は、１つのカラーカメラと１つの赤外線カメラという安価かつ簡易な構造で、背景色等に係らず、正確に手の指を検出でき、制御装置２は、ユーザの手の形状や位置を正確に反映させた制御信号を生成できる。また、本実施の形態では、輪郭抽出や指抽出の処理をカラー画像及び赤外線画像のそれぞれについて行う必要がないので、少ないリソースで対象を認識できる。
【００７２】
（第３の実施の形態）
次に、本発明の第３の実施の形態を説明する。図８は、本発明の第３の実施の形態の制御装置の全体構成を示すブロック図である。本実施の形態の制御装置３において、第１、第２の実施の形態の制御装置１、２と同一の構成については、同一の符号を付して、適宜説明を省略する。
【００７３】
制御装置３は、対象認識装置３００と制御部５０とからなる。対象認識装置３００は、第１のカラーカメラ１１−１と、手領域検出部２４と、第２のカラーカメラ１１−２と、距離推定部２５とを備えている。第１のカラーカメラ１１−１と第２のカラーカメラ１１−２は一体的に構成されている。
【００７４】
図９は、対象認識装置３００の撮像部２６の外観正面図である。レンズ２０１−１は、第１のカラーカメラ１１−１のレンズであり、レンズ２０１−２は、第２のカラーカメラのレンズである。図９に示すように、対象認識装置３００において、第１のカラーカメラ１１−１と第２のからーカメラ１１−２とは、近接して設けられている。これにより、第１のカラーカメラ１１−１で得られたカラー画像（第１のカラー画像）と第２のカラーカメラ１１−２で得られたカラー画像（第２のカラー画像）とでは、画像内のほぼ同一の位置において同一の被写体部分を撮像したものとなる。
【００７５】
第１のカラーカメラ１１−１にて得られた第１のカラー画像は、手領域検出部２４及び距離推定部２５に入力される。第２のカラーカメラ１１−２にて得られた第２のカラー画像は、距離推定部２５に入力される。距離推定部２５は、第１のカラー画像及び第２のカラー画像の視差に基づいて、ステレオ法により被写体までの距離を求めて、距離画像を生成する。距離画像とは、各画素の画素値がその画素に現れている被写体までの距離を表している画像である。
【００７６】
図１０Ａは、第１のカラーカメラ１１−１にて撮像された第１のカラー画像の例を示す図である。このカラー画像には、ユーザの手と、その背景として天井（画像の上側）及び後方の壁（画像の下側）が写りこんでいる。手領域検出部２４は、この第１のカラー画像に対して肌色の検出処理を行う。肌色の検出は、第１の実施例で説明したのと同様の方法で行う。図１０Ｂは、手領域検出部２４にて検出された肌色領域を示す図である。図１０Ｂの例では、天井がユーザの手と重なって肌色領域として検出されている。
【００７７】
手領域検出部２４は、距離推測部２５にて得られた距離画像を用いて、検出された肌色領域から手の部分のみを検出する。このために、手領域検出部２４は、肌色領域として検出された領域のうち、距離画像における距離が閾値以上である領域を排除する。図１０Ｂの例では、肌色として検出されている天井は距離が閾値以上であるため、排除される。図１０Ｃは、肌色の領域のうち距離の遠い領域を排除した結果を示す図である。図１０Ｃに示すように、肌色として検出された領域から、距離の遠い領域を排除した結果、ユーザの手の領域が天井の領域と切り離されて検出されている。
【００７８】
手領域検出部２４は、上記のようにして、検出された手の部分のみの肌色領域を輪郭抽出部１３に出力する。輪郭抽出部１３は、この肌色領域から輪郭を抽出して、指抽出部１４に出力する。指抽出部１４は、手の輪郭から指の先端を抽出して、指の先端に楕円をフィッティングして、手の輪郭及び楕円の情報を認識部２３に出力する。認識部２３は、指抽出部１４から得た情報を元に、指の数を認識して、認識結果を制御部５０に出力する。
【００７９】
本実施の形態の対象認識装置３００によれば、２つのカラーカメラという安価かつ簡易な構造で、背景色等に係らず、正確に手の指を検出でき、制御装置３は、ユーザの手の形や位置を正確に反映させた制御信号を生成できる。
【００８０】
（第４の実施の形態）
次に、本発明の第４の実施の形態を説明する。図１１は、本発明の第４の実施の形態の制御装置の全体構成を示すブロック図である。本実施の形態の制御装置４において、第１、第２、第３の実施の形態の制御装置１、２、３と同一の構成については、同一の符号を付して、適宜説明を省略する。図１１と図８とを比較して分かるように、本実施の形態の制御装置４は、第３の実施の形態の制御装置３の第１及び第２のカラーカメラ１１−１、１１−２が、第１及び第２の赤外線カメラ１５−１、１５−２に置き換わったものである。
【００８１】
制御装置４は、対象認識装置４００と制御部５０とからなる。対象認識装置４００は、第１の赤外線カメラ１５−１と、手領域検出部２７と、第２の赤外線カメラ１５−２と、距離推定部２５とを備えている。第１の赤外線カメラ１５−１と第２の赤外線カメラ１５−２は一体的に構成されている。
【００８２】
図１２は、対象認識装置３００の撮像部２８の外観正面図である。レンズ２０２−１は、第１の赤外線カメラ１５−１のレンズであり、レンズ２０２−２は、第２の赤外線カメラ１５−２のレンズである。レンズ２０２−１及びレンズ２０２−２の周りには複数の赤外線ＬＥＤ２０３が配置されている。図１２に示すように、対象認識装置３００において、第１の赤外線カメラ１５−１と第２の赤外線カメラ１５−２とは、近接して設けられている。これにより、第１の赤外線カメラ１５−１で得られた赤外線画像（第１の赤外線画像）と第２の赤外線カメラ１５−２で得られた赤外線画像（第２の赤外線画像）とでは、画像内のほぼ同一の位置において同一の被写体部分を撮像したものとなる。
【００８３】
第１の赤外線カメラ１５−１にて得られた第１の赤外線画像は、手領域検出部２７及び距離推定部２５に入力される。第２の赤外線カメラ１５−２にて得られた第２の赤外線画像は、距離推定部２５に入力される。距離推定部２５は、第１のカラー画像及び第２のカラー画像の視差に基づいて、ステレオ法により被写体までの距離を求めて、距離画像を生成する。
【００８４】
図１３Ａは、第１の赤外線カメラ１５−１にて撮像された第１の赤外線画像の例を示す図である。この赤外線画像では、ユーザの手と、顔と、上半身とが赤外線の強度の強い領域として撮像されている。図１３Ａでは、第１の実施の形態で説明した図６Ａと同様に、便宜上、比較的赤外線強度の強い領域を輪郭で囲って示したが、実際には赤外線画像における各画素は赤外線強度に応じた画素値を持っている。
【００８５】
手領域検出部２７は、この第１の赤外線画像に対して赤外線領域の検出処理を行う。赤外線領域の検出は、第１の実施例で説明したのと同様の方法で行う。図１３Ｂは、手領域検出部２７にて検出された赤外線領域を示す図である。図１３Ｂの例では、ユーザの手と、顔の一部と上半身の一部とがすべて一体となって赤外線領域として検出されている。
【００８６】
手領域検出部２７は、距離推定部２５にて得られた距離画像を用いて、検出された赤外線領域から手の部分のみを検出する。このために、手領域検出部２７は、赤外線領域として検出された領域のうち、距離画像における距離が閾値以上である領域を排除する。図１３Ｂの例では、赤外線領域として検出されている顔及び上半身は距離が閾値以上であるため、排除される。図１３Ｃは、赤外線領域のうち距離の遠い領域を排除した結果を示す図である。図１３Ｃに示すように、赤外線領域として検出された領域から距離の遠い領域を排除した結果、ユーザの手の領域が顔や上半身の領域と切り離されて検出されている。
【００８７】
手領域検出部２７は、上記のようにして、検出された手の部分のみの赤外線領域を輪郭抽出部１３に出力する。輪郭抽出部１３は、この赤外線領域から輪郭を抽出して、指抽出部１４に出力する。指抽出部１４は、手の輪郭から指の先端を抽出して、指の先端に楕円をフィッティングして、手の輪郭及び楕円の情報を認識部２３に出力する。認識部２３は、指抽出部１４から得た情報を元に、指の数や位置等を認識して、認識結果を制御部５０に出力する。
【００８８】
本実施の形態の対象認識装置４００によれば、２つの赤外線カメラという安価かつ簡易な構造で、背景色に係らず、正確に手の指を検出でき、制御装置４は、ユーザの手の形状や位置を正確に反映させた制御信号を生成できる。
【００８９】
以上、本発明の実施の形態を説明したが、上記の説明は例示に過ぎず、本発明は他の実施の形態でも実施される。
【００９０】
例えば、上記の実施の形態の対象認識装置は、認識結果として指の数の情報を出力したが、対象認識装置が認識結果として出力する情報は、指の数に限られない。例えば、対象認識装置が、指抽出部で得られた指の形状や位置の情報を認識結果として出力してもよい。さらに、対象認識装置が、輪郭抽出部で抽出された手の輪郭の情報を認識結果として出力してもよい。また、対象認識装置が、肌色領域検出部や赤外線領域検出部で検出した領域の情報を認識結果として出力してもよい。また、対象認識装置が、これらの情報を加工した情報を認識結果として出力してもよい。例えば、対象認識装置が、輪郭抽出部で抽出された手の輪郭の長さの情報を認識結果として出力してもよい。また、例えば、対象認識装置が、肌色領域検出部や赤外線領域検出部で検出した領域の面積の情報を認識結果として出力してもよい。さらに、第３及び第４の実施の形態のように、対象認識装置が、手までの距離を推定する構成を有している場合には、この距離の情報を認識結果の情報に付加して出力してもよい。
【００９１】
また、上記の実施の形態では、対象認識装置は、１つのカラーカメラと１つの赤外線カメラ（第１及び第２の実施の形態）、又は２台のカラーカメラ（第３の実施の形態）、又は２台の赤外線カメラ（第４の実施の形態）という合計２台のカメラを備えていたが、合計３台以上のカメラを備えていてもよい。
【００９２】
さらに、上記の実施の形態では、カラー画像から肌色の領域を検出する例を説明したが、認識対象が他の色を有している場合には、当該他の色を検出してよい。
【産業上の利用可能性】
【００９３】
本発明は、装置の大型化及びコストの上昇を抑えつつ、画像から正確に対象を認識できるという優れた効果を有し、認識対象の数、位置、形状等を認識する対象認識装置等に適用することができる。
【符号の説明】
【００９４】
１、２、３、４制御装置
１００、２００、３００、４００対象認識装置
１１、１１−１、１１−２カラーカメラ
１２肌色領域検出部
１３輪郭抽出部
１４指抽出部
１５、１５−１、１５−２赤外線カメラ
１６赤外線領域検出部
１７輪郭抽出部
１８指抽出部
１９、２３認識部
２０赤外線ランプ
２１、２６、２８撮像部
２２、２４、２７手領域検出部
２５距離推定部
５０制御部

【特許請求の範囲】
【請求項１】
特定色を有する対象を認識する対象認識装置であって、
撮影によりカラー画像を生成するカラーカメラと、
前記カラー画像における前記特定色の領域を検出する特定色検出部と、
対象に赤外線を照射するための赤外線ランプと、
入射する赤外線の強度に応じた赤外線画像を生成する赤外線カメラと、
前記赤外線画像に基づいて、赤外線強度の強い領域を検出する赤外線領域検出部と、
前記特定色検出部における領域検出の結果及び前記赤外線領域検出部における領域検出の結果に基づいて、前記対象の認識結果を出力する認識部と、
を備えたことを特徴とする対象認識装置。
【請求項２】
前記特定色検出部にて検出された領域の輪郭を求め、求めた輪郭に基づいて前記対象の輪郭を抽出する輪郭抽出部をさらに備え、
前記認識部は、前記輪郭抽出部にて抽出された輪郭に基づいて、前記対象の形状、位置及び数の少なくともいずれかの情報を含む認識結果を出力する請求項１に記載の対象認識装置。
【請求項３】
前記認識部は、前記輪郭抽出部にて抽出された輪郭内の所定の条件を満たす特定部分の数の情報を含む認識結果を出力する請求項２に記載の対象認識装置。
【請求項４】
前記対象は人の手であり、前記特定色は肌色である請求項１又は２に記載の対象認識装置。
【請求項５】
前記対象は人の手であり、前記特定色は肌色であり、前記特定部分は指先である請求項３に記載の対象認識装置。
【請求項６】
特定色を有する対象を認識する対象認識装置であって、
撮影により第１のカラー画像を生成する第１のカラーカメラと、
前記第１のカラー画像における前記特定色の領域を検出する特定色検出部と、
撮影により第２のカラー画像を生成する第２のカラーカメラと、
前記第１のカラー画像及び前記第２のカラー画像の視差に基づいて、距離画像を生成する距離推定部と、
前記特定色検出部における領域検出の結果及び前記距離推定部にて生成された距離画像に基づいて、前記対象の認識結果を出力する認識部と、
を備えたことを特徴とする対象認識装置。
【請求項７】
前記特定色検出部にて検出された領域の輪郭を求め、求めた輪郭に基づいて前記対象の輪郭を抽出する輪郭抽出部をさらに備え、
前記認識部は、前記輪郭抽出部にて抽出された輪郭に基づいて、前記対象の形状、位置及び数の少なくともいずれかの情報を含む認識結果を出力する請求項６に記載の対象認識装置。
【請求項８】
前記特定色検出部は、前記距離推定部で生成された距離画像に基づいて、前記特定色の領域ではあるが前記対象の領域ではない領域を除いて、前記領域検出の結果とし、
前記輪郭抽出部は、前記対象の領域ではない領域が除かれた前記領域検出の結果について、領域の輪郭を求めて、その輪郭を抽出する請求項７に記載の対象認識装置。
【請求項９】
前記認識部は、前記輪郭抽出部にて抽出された輪郭内の所定の条件を満たす特定部分の数の情報を含む認識結果を出力する請求項７又は８に記載の対象認識装置。
【請求項１０】
対象を認識する対象認識装置であって、
対象に赤外線を照射するための赤外線ランプと、
入射する赤外線の強度に応じた第１の赤外線画像を生成する第１の赤外線カメラと、
前記第１の赤外線画像に基づいて、赤外線強度の強い領域を検出する赤外線領域検出部と、
入射する赤外線の強度に応じた第２の赤外線画像を生成する第２の赤外線カメラと、
前記第１の赤外線画像及び前記第２の赤外線画像の視差に基づいて、距離画像を生成する距離推定部と、
前記赤外線領域検出部における領域検出の結果及び前記距離推定部にて生成された距離画像に基づいて、前記対象の認識結果を出力する認識部と、
を備えたことを特徴とする対象認識装置。
【請求項１１】
前記赤外線領域検出部にて検出された領域の輪郭を求め、求めた輪郭に基づいて前記対象の輪郭を抽出する輪郭抽出部をさらに備え、
前記認識部は、前記輪郭抽出部にて抽出された輪郭に基づいて、前記対象の形状、位置及び数の少なくともいずれかの情報を含む認識結果を出力する請求項１０に記載の対象認識装置。
【請求項１２】
前記赤外線領域検出部は、前記距離推定部で生成された距離画像に基づいて、赤外線の強度が強い領域であるが前記対象の領域ではない領域を除いて、前記領域検出の結果とし、
前記輪郭抽出部は、前記対象の領域ではない領域が除かれた前記領域検出の結果について、領域の輪郭を求めて、その輪郭を抽出する請求項１１に記載の対象認識装置。
【請求項１３】
前記認識部は、前記輪郭抽出部にて抽出された輪郭内の所定の条件を満たす特定部分の数の情報を含む認識結果を出力する請求項１１又は１２に記載の対象認識装置。
【請求項１４】
請求項１ないし請求項１３のいずれかに記載の対象認識装置と、
前記認識部における認識結果に応じた制御信号を生成する制御部と、
を備えたことを特徴とする制御装置。
【請求項１５】
特定色を有する対象を認識する対象認識方法であって、
撮影により対象のカラー画像を生成すると同時に、対象に赤外線を照射して、入射する赤外線の強度に応じた赤外線画像を生成する画像生成ステップと、
前記カラー画像における前記特定色の領域を検出する特定色検出ステップと、
前記赤外線画像に基づいて、赤外線強度の強い領域を検出する赤外線領域検出ステップと、
前記特定色検出ステップにおける領域検出の結果及び前記領域検出ステップにおける領域検出の結果に基づいて、前記対象の認識結果を出力する認識ステップと、
を含むことを特徴とする対象認識方法。
【請求項１６】
特定色を有する対象を認識する対象認識方法であって、
第１のカラーカメラ及び第２のカラーカメラによりそれぞれ同時に撮影をして、第１のカラー画像及び第２のカラー画像を生成する画像生成ステップと、
前記第１のカラー画像における前記特定色の領域を検出する特定色検出ステップと、
前記第１のカラー画像及び前記第２のカラー画像の視差に基づいて、距離画像を生成する距離推定ステップと、
前記特定色検出ステップにおける領域検出の結果及び前記距離推定ステップにて生成された距離画像に基づいて、前記対象の認識結果を出力する認識ステップと、
を含むことを特徴とする対象認識方法。
【請求項１７】
対象を認識する対象認識方法であって、
対象に赤外線を照射して、第１の赤外線カメラ及び第２の赤外線カメラを用いて、それぞれ入射する赤外線の強度に応じた第１の赤外線画像及び第２の赤外線画像を同時に生成する画像生成ステップと、
前記第１の赤外線画像に基づいて、赤外線強度の強い領域を検出する赤外線領域検出ステップと、
前記第１の赤外線画像及び前記第２の赤外線画像の視差に基づいて、距離画像を生成する距離推定ステップと、
前記特定色検出ステップにおける領域検出の結果及び前記距離推定ステップにて生成された距離画像に基づいて、前記対象の認識結果を出力する認識ステップと、
を含むことを特徴とする対象認識方法。
【請求項１８】
コンピュータにて実行されることにより、コンピュータに、請求項１５ないし請求項１７のいずれかに記載の方法を行わせることを特徴とするプログラム。

【図１】