手画像認識装置
【課題】撮影された手の肌色の色調や手の背景の影響を受けることなく、伸ばした手指の本数を認識する。
【解決手段】顔とともに手指の画像を撮影して画像データを取得する画像入力部１１と、その画像データにおける顔の位置を基準とした手指を認識する領域の位置を表す情報および該領域の大きさを表す情報からなる手認識領域情報を予め記憶する記憶部１３と、画像データから顔を検出し、該画像データ内の顔の位置を検出する顔検出部１４と、顔検出部１４が検出した顔の特徴に基づいて手指の大きさの基準値を算出する制御部１２と、画像データ内の顔の位置および手認識情報から手指を認識する領域を抽出し、該領域から制御部１２が算出した基準値に基づいて手指を検出する指検出部１５とを設けた。
【解決手段】顔とともに手指の画像を撮影して画像データを取得する画像入力部１１と、その画像データにおける顔の位置を基準とした手指を認識する領域の位置を表す情報および該領域の大きさを表す情報からなる手認識領域情報を予め記憶する記憶部１３と、画像データから顔を検出し、該画像データ内の顔の位置を検出する顔検出部１４と、顔検出部１４が検出した顔の特徴に基づいて手指の大きさの基準値を算出する制御部１２と、画像データ内の顔の位置および手認識情報から手指を認識する領域を抽出し、該領域から制御部１２が算出した基準値に基づいて手指を検出する指検出部１５とを設けた。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影された画像から手指を認識する手画像認識装置に関し、特に顔とともに手指が撮影されている画像から伸ばした手指を認識する手画像認識装置に関する。
【背景技術】
【０００２】
従来の手画像認識装置は、まず、カラー画像の肌色情報に基づいて撮影した画像を２値化し、ノイズを除去して抽出した手領域を細線画像化する。次に、手領域の細線画像から手の方向を検出し、検出された手の方向に対して垂直方向に走査して手領域上にかかるラン長を計測し、計測したラン長の頻度の分布を求め、頻度が最大となるラン長を指の幅の閾値として設定する。次に、手の方向に対して垂直方向に走査して計測したラン長が閾値より短い領域を指領域画像として抽出し、細線画像と抽出した指領域画像との論理積から指に対応する指領域を抽出する。なお、２値化した画像からノイズを除去する際に、２値化画像の平滑化された輪郭線を抽出し、その輪郭線の形状からも指本数を推定し、この推定値を利用して前記指に対応する線として抽出した線のうち、ノイズに対応する線を除去する。このようにして手の形状を認識するようにしているものがある（例えば、特許文献１参照）。
【０００３】
また、入力画像から顔を検出し、さらに検出した顔の領域の肌色を検出して入力画像から手を検出するための検出条件を設定し、この検出条件にしたがって手の領域の検出を行うようにしているものもある（例えば、特許文献２参照）。
【０００４】
さらに、撮像した画像から掌を検出し、その掌の幅から指の太さの基準値を設定し、エッジライン画像取得手段により抽出したエッジラインにおけるエッジ強度が正の値を持つ正のエッジラインと交差し、かつ同じ走査線上に次に現れるエッジラインが負のエッジ強度を持つエッジラインである場合に、正のエッジラインと負のエッジラインとの間隔を計測し、計測した間隔と設定した指の太さの基準値との差分を求め、この差分が小さければ２本のエッジラインの間に対応する領域を指領域として指を認識するようにしているものもある（例えば、特許文献３参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００３−３４６１６２号公報（段落「０００６」〜段落「００２５」、図２）
【特許文献２】特開２００２−１５３１９号公報（段落「００６８」〜段落「００７２」、図７）
【特許文献３】特開２００６−１６３６６２号公報（段落「０００８」〜段落「００２４」、図１）
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述した従来の技術において、カラー画像の肌色情報に基づいて手領域を抽出する場合、光源や撮影カメラによる環境条件の違い、人による肌色の違いや手の背景の色等により様々な条件下によって抽出される肌色に差異が生じ、肌色を正しく抽出できないことにより、手領域を抽出することができない場合があるという問題がある。例えば、手の背景の色が肌色に近いという条件下では、背景と人肌との差異があまりないため、人間の肌色を正確に抽出できず、また手の輪郭を抽出しようとしても手の背景部分に何が撮影されているか分からない環境では、どこが手や指のエッジなのか正確に判定できないため手の輪郭を抽出できないという問題がある。
【０００７】
また、検出した顔より肌色を抽出する場合も、化粧や日焼け、掌、手の甲の色など手の色と顔の色が同じでない場合が多々あり、顔の色に基づいて手領域を抽出することができない場合があるという問題がある。
【０００８】
さらに、掌の幅を基準にして指を検出する場合、手の背景が輝度の差がない平坦な画像でないと掌のエッジを検出することが難しく指を検出するための基準を導き出すことができないという問題がある。
【０００９】
本発明は、このような問題を解決することを課題とし、撮影された手の肌色の色調や手の背景の影響を受けることなく、伸ばした手指を認識できるようにすることを目的とする。
【課題を解決するための手段】
【００１０】
そのため、本発明は、撮影した画像から伸ばした手指を認識する手画像認識装置において、顔とともに手指の画像を撮影して画像データを取得する画像入力手段と、前記画像入力手段が取得する画像データにおける顔の位置を基準とした手指を認識する領域の位置を表す情報および該領域の大きさを表す情報からなる手認識領域情報を予め記憶する記憶手段と、前記画像入力手段が取得した画像データから顔を検出し、該画像データ内の顔の位置を検出する顔検出手段と、前記顔検出手段が検出した顔の特徴に基づいて手指の大きさの基準値を算出する指基準サイズ算出手段と、前記顔検出手段が検出した画像データ内の顔の位置および前記記憶手段に記憶された手認識情報から手指を認識する領域を抽出し、該領域から前記指基準サイズ算出手段が算出した基準値に基づいて手指を検出する指検出手段とを設けたことを特徴とする。
【発明の効果】
【００１１】
このようにした本発明は、撮影された手の肌色の色調や手の背景の影響を受けることなく、伸ばした手指を認識できるという効果が得られる。
【図面の簡単な説明】
【００１２】
【図１】第１の実施例における手画像認識装置の構成を示すブロック図
【図２】第１の実施例における手画像認識処理を示すフローチャート
【図３】第１の実施例における手画像認識領域の説明図
【図４】第１の実施例における特徴抽出の説明図
【図５】第１の実施例における特徴抽出結果の説明図
【図６】第１の実施例における指候補絞込み結果の説明図
【発明を実施するための形態】
【００１３】
以下、図面を参照して本発明による手画像認識装置の実施例を説明する。
【実施例１】
【００１４】
図１は実施例における手画像認識装置の構成を示すブロック図である。
【００１５】
手画像認識装置１は、画像入力部１１、制御部１２、記憶部１３、顔検出部１４、指検出部１５、および入出力部１６等により構成され、撮影した画像から伸ばした手指の本数および方向を認識するものである。
【００１６】
画像入力手段としての画像入力部１１は、レンズなどの光学系にはピントや絞りなどの機構やＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）などの撮像素子を有するいわゆるデジタルカメラであり、撮影した画像を画像データ（デジタルデータ）として取得することができるものである。本実施例では、画像入力部１１は、被写体としての人の顔とともに伸ばした手指を撮影するものとする。
【００１７】
記憶手段としての記憶部１３は、半導体メモリ等で構成され、画像入力部１１で撮影した画像データ、その画像データから顔や手指を認識するための情報および手画像認識装置１全体の動作を制御するためのプログラム（ソフトウェア）等を記憶するものである。
【００１８】
この記憶部１３は、画像データから手指を認識するための情報として画像入力部１１が取得する画像データにおける顔の位置を基準とした手指を認識する領域の位置を表す情報およびその領域の大きさを表す情報からなる手認識領域情報を初期設定において予め記憶する。
【００１９】
顔検出手段としての顔検出部１４は、画像入力部１１で撮影した画像データおよび記憶部１３に記憶された顔を認識するための情報から人の顔を検出し、その画像データ内における顔の位置（座標）を検出するものである。なお、本実施例において顔検出部１４は、公知の技術を利用して画像データから人の顔を検出するものとする。
【００２０】
指検出手段としての指検出部１５は、画像入力部１１で撮影した画像データおよび記憶部１３に記憶された手指を認識するための情報から伸ばした人の手指の本数および方向（例えば、手指の付け根から指先の方向）を検出するものである。
【００２１】
この指検出部１５は、顔検出部１４が検出した画像データ内の顔の位置および記憶部１３に記憶された手認識情報から手指を認識する領域を抽出し、その領域から指基準サイズ算出手段が算出した基準値に基づいて手指を検出する。
【００２２】
入出力部１６は、キーボードやマウス等の入力手段、ディスプレイ等の出力手段、および他の装置との間で通信回線を介して通信を行う通信手段等で構成されたものである。
【００２３】
制御部１２は、演算手段および制御手段としての中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）で構成され、記憶部１３に記憶されたプログラム（ソフトウェア）に基づいて手画像認識装置１全体の動作を制御する。
【００２４】
また、制御部１２は、顔検出部１４が検出した顔の目、鼻ならびに口の大きさおよび目の間隔のうち少なくともひとつを顔の特徴とし、その顔の特徴から推定した手指の大きさの基準値を算出する指基準サイズ算出手段としての機能を備えている。
【００２５】
上述した構成の作用について図１および図２の実施例における手画像認識処理を示すフローチャートの図中Ｓで表すステップにしたがって説明する。
【００２６】
Ｓ１：手画像認識装置１の制御部１２は、画像入力部１１で入力する画像において被写体の顔を検出する顔検出領域およびその顔検出領域の位置に対し、被写体の手を認識する手認識領域、すなわち手が存在する領域の位置および大きさを設定する操作者の操作を入出力部１６で受付け、入力された手認識領域を手認識領域情報として記憶部１３に記憶させる初期設定を行う。例えば、図３は、顔検出領域３１の右側（被写体の左側）に顔検出領域３１の約２倍の領域を手認識領域３２に設定した例を示している。なお、顔検出領域３１および手認識領域３２の設定は、入出力部１６のマウスやキーボードを操作して入力するものとする。
【００２７】
このように、手認識領域３２は、顔検出領域３１に対して通常の姿勢では手が存在しない領域に設定することにより、手を認識させる場合に、操作者は自身が設定した手認識領域３２内へ手を明示的に移動することが可能になる。本実施例では、顔検出領域３１の前後でなく、顔検出領域３１の横に手認識領域３２を設定したものとして説明する。なお、手認識領域３２は、顔検出領域３１に対して通常の姿勢では手が存在しない領域であれば、横に限られることなく、顔検出領域３１の上下等であってもよい。
【００２８】
Ｓ２：制御部１２は、画像入力部１１により被写体を撮影し画像データとして入力し、その画像データを記憶部１３に記憶させる。
【００２９】
Ｓ３：顔検出部１４は、制御部１２の指示により記憶部１３に記憶された画像データから顔を検出する。なお、入力した画像データから人物の顔を検出する処理は公知のものであり、例えば特開２００１−３０９２２５号公報、特開２００４−１２８７１５号公報に記載されている。
【００３０】
Ｓ４：Ｓ３において顔検出部１４が画像データから顔を検出でき、かつ検出された顔の目、鼻、口などの部位の輪郭が鮮明であると判定した場合、処理をＳ５へ移行する。
【００３１】
一方、画像データから顔を検出できなかった場合、および顔検出部１４が画像データから顔を検出できたが、検出された顔の目、鼻、口などの部位の輪郭が鮮明でないと判定された場合、処理をＳ２へ移行し、輪郭がより鮮明になるように、制御部１２は画像入力部１１に対してレンズのピントや絞り等の調整を繰返し、顔の部位が最も鮮明な輪郭の状態になるまで画像取得（Ｓ２）、顔検出（Ｓ３）を繰り返す。
【００３２】
ここで、鮮明な輪郭とは、画像データにおける隣接する画素の輝度の変化が最も大きい状態をいい、顔検出部１４が画像データの隣接する画素の輝度情報を比較して判定するものとする。
【００３３】
顔検出部１４が画像データから顔を検出すると、画像入力部１１と手認識領域３２との距離および画像入力部１１と顔検出領域３１との距離が異なるように初期設定された場合、設定されている画像入力部１１と手認識領域３２との距離に応じて手認識領域３２で鮮明な輪郭の画像が取得できるように画像入力部１１のピント（焦点）や絞り等を調整し直して画像取得（Ｓ２）を実行する。
【００３４】
画像入力部１１は、手認識領域３２で鮮明な画像を取得できる範囲でレンズの絞りを開いた状態にすることにより、被写体深度を狭くし、設定された画像入力部１１と手認識領域３２までの距離以外の被写体物のピントをぼかすことができ、後述する指特徴抽出（Ｓ８）において指以外の物を指として誤って検出してしまうことを防止することができるようになる。
【００３５】
Ｓ５：顔検出部１４が画像データから顔を検出でき、かつ検出された顔の目、鼻、口などの部位の輪郭が鮮明であると判定すると制御部１２は、Ｓ３における顔検出結果および記憶部１３に記憶された手認識領域情報から手認識領域を抽出する。
【００３６】
この手認識領域の抽出は、Ｓ１において初期設定された手認識領域３２の位置ならびに大きさおよびＳ３の顔検出結果に基づいて画像データから抽出する。例えば、Ｓ３の顔検出結果から画像データ内に存在する顔の座標を特定し、その顔の座標からの相対的な位置（手認識領域３２の位置）および大きさ（手認識領域３２の大きさ）から手認識領域を抽出する。
【００３７】
なお、このとき、Ｓ３の顔検出結果から顔の大きさを抽出し、その顔の大きさに応じて手認識領域の大きさを変化させるようにしても良い。
【００３８】
また、手認識領域３２が、入力した画像データからはみ出したり、または小さすぎたりするとき、画像入力部１１に光学ズーム機能を有する場合は、その光学ズーム機能を用いて拡大／縮小するようにしても良い。
【００３９】
Ｓ６：次に、制御部１２は、抽出した手認識領域の手指の画像に基づいて指を認識するための指の太さおよび指の長さ（指の大きさ）の基準値となる指基準サイズを算出する。この指基準サイズは、顔検出結果として検出された顔の大きさに基づいて算出されるものであり、例えば左右の目の間隔の５分の１程度の距離を指の太さ、左右の目の間隔程度の距離を指の長さとして算出され、手認識領域３２の画面上に存在しうる手指の大きさを推定する数値である。なお、指基準サイズは、目、鼻、口などの大きさに基づいて算出するようにしても良い。
【００４０】
Ｓ７：指基準サイズを算出した制御部１２の指示により指検出部１５は、抽出した手認識領域から指基準サイズに基づいて手指の特徴を抽出して手指を検出する。
【００４１】
ここで、手指の検出方法を図４の実施例における特徴抽出の説明図に基づいて説明する。
【００４２】
図４（ａ）は、手指４０が鉛直方向（図４（ａ）における縦方向）に立っている状態を示している。
【００４３】
指検出部１５は、破線４４が示す水平方向に手認識領域を走査し、隣り合う画素の輝度情報を比較し、その輝度差が予め記憶部１３に記憶された閾値を超えている領域を手指の輪郭候補４１、４２として抽出する。次に、指検出部１５は、抽出した手指の輪郭候補４１と輪郭候補４２との間隔と、指基準サイズの指の太さの基準値とを比較し、その差が予め記憶部１３に記憶された閾値以下であると判定した場合、輪郭候補４１と輪郭候補４２を手指の輪郭の候補として残す。
【００４４】
さらに、指検出部１５は、破線４４が示す水平方向に手認識領域を走査し、輪郭候補４１と輪郭候補４２との間の画素の輝度情報を比較し、図４（ｂ）に示すように輪郭候補４１と輪郭候補４２との間の輝度の変化を取得して手指の特徴を抽出する。
【００４５】
手指は略円柱形状になっているため、輪郭候補４１と輪郭候補４２との間が、画像入力部１１に対して光が正反射する部分が多く存在することにより、輪郭候補４１および輪郭候補４２より明るくなる画素の領域４３となる特徴がある。
【００４６】
ただし、手指に対して逆光の場合、領域４３は特徴として抽出し難くなるため、輪郭候補４１と輪郭候補４２との間の輝度情報が輪郭候補４１や輪郭候補４２の輝度情報に基づいて比較した結果、明らかに暗い場合、手指に対して逆光であると判定し、輪郭候補４１および輪郭候補４２より明るい領域は手指の特徴抽出の判定から除外するものとする。したがって、逆光にならないように光源を画像入力部１１から手に向けて照らすことが望ましい。
【００４７】
Ｓ８：指検出部１５は、このようにして抽出した輪郭候補（図５に例示する）の隣接する部分を平滑化しながら繋ぎ合わせて指の太さおよび指の長さを算出し、算出した指の太さおよび指の長さと指基準サイズの指の太さおよび指の長さとを比較し、その差が予め記憶部１３に記憶された閾値以下であると判定した場合、その輪郭候補を手指の輪郭の候補として絞り込む。なお、絞り込んだ手指の輪郭の候補６１、６２を図６に例示する。
【００４８】
Ｓ９：指検出部１５は、図４における破線４４が示す水平方向に対する角度を変化（例えば、３０度ずつ変化）させて手認識領域を走査してＳ７およびＳ８の処理を繰返し、３６０度（例えば、１２方向）の全方向に対して手指の輪郭の候補を絞り込む。これは、手認識領域における手指の長手方向に対して直交する方向に走査して手指の輪郭の候補を絞り込むためである。
【００４９】
Ｓ１０：指検出部１５は、全方向に対する手認識領域の走査が完了すると各走査方向で絞り込まれた手指の輪郭の候補から手指の本数および手指の方向を決定し、その結果を制御部１２へ出力する。
【００５０】
Ｓ１１、Ｓ１２：制御部１２は、Ｓ２からＳ１０の処理を繰返し、指検出部１５から入力した手指の本数および手指の方向の結果が一致して出力され、安定することを検知すると操作者が手指の入力操作を完了したと判断し、安定した手指の本数および手指の方向を入出力部１６に出力して手画像認識処理を終了する。
【００５１】
このように撮影した顔の位置に対する手指を認識する領域を予め定め、その領域に操作者が手指を配置させることにより、手認識領域の手指にピントが合い、手指の背景がぼやけた画像を取得することができるようになり、手指の輪郭を抽出する際に手指の背景を誤って手指の輪郭として抽出することを抑制することができる。
【００５２】
また、このように撮影した画像データから検出した顔の大きさから手指の基準サイズを算出し、その基準サイズに基づいて手指の輪郭を抽出するようにしたことにより、手指の本数および方向を高精度に認識することができる。
【００５３】
したがって、撮影された手の肌色の色調や手の背景の影響を受けることなく、手指の本数および方向を高精度に認識することができる。
【００５４】
さらに、撮影した画像における顔の位置に対して手指を認識する領域を定めているため、操作者の画像内の位置に依存することなく、操作者の手指の本数および方向を認識することができるとともに操作者が手指による入力操作を行うときにのみ、顔に対する手認識領域に手指を移動して認識処理の開始および終了を明確に指示することができるようになる。
【００５５】
以上説明したように、第１の実施例では、撮影した顔の位置に対する手指を認識する領域を予め定め、その領域に操作者が手指を配置させることにより、手認識領域の手指にピントが合い、手指の背景がぼやけた画像を取得することができるようになり、手指の輪郭を抽出する際に手指の背景を誤って手指の輪郭として抽出することを抑制することができるとともに撮影した画像データから検出した顔の大きさから手指の基準サイズを算出し、その基準サイズに基づいて手指の輪郭を抽出するようにしたことにより、手指の本数および方向を高精度に認識することができるという効果が得られる。
【実施例２】
【００５６】
第２の実施例は、第１の実施例の図２のＳ１における初期設定で操作者の顔の特徴情報（以下、「顔特徴情報」という。）として目、鼻、口などの認識対象の大きさや位置の情報を辞書として登録し、Ｓ３における顔検出においてその顔特徴情報から操作者の顔を検出するようにしたものである。
【００５７】
詳述すると記憶部１３は、手認識領域情報に加え、顔の認識対象となる目、鼻ならびに口のうち少なくともひとつの大きさおよび位置の情報を顔特徴情報として操作者（手画像認識対象者）毎に予め辞書として記憶（登録）する。
【００５８】
顔検出部１４は、記憶部１３に登録された顔特徴情報に基づいて画像入力部１１が取得した画像データから操作者（手画像認識対象者）の顔を検出する。
【００５９】
なお、その他の第２の実施例の構成は、第１の実施例の構成と同様なので同一の符号を付してその説明を省略する。
【００６０】
第２の実施例の動作を図２に基づいて説明する。
【００６１】
Ｓ１：手画像認識装置１の制御部１２は、第１の実施例と同様に、画像入力部１１で入力する画像において被写体の顔を検出する顔検出領域の位置に対し、被写体の手を認識する手認識領域を設定する。
【００６２】
第２の実施例では、さらに画像入力部１１で操作者の顔を撮影し、制御部１２は操作者の顔特徴情報として目、鼻、口などの認識対象の大きさや位置の情報を辞書として記憶部１３に記憶させて登録する。
【００６３】
Ｓ３：顔検出部１４は、制御部１２の指示により記憶部１３に記憶された画像データおよび顔特徴情報から顔を検出する。
【００６４】
なお、Ｓ２，Ｓ４〜Ｓ１２の処理は第１の実施例と同様なのでその説明を省略する。
【００６５】
以上説明したように、第２の実施例では、顔特徴情報を予め登録するようにしたことにより、第１の実施例の効果に加え、特定の操作者の手指のみを認識することが可能になり、ひとつの画像の中に複数人が存在する場合であっても特定の操作者のみの手指を認識することができるという効果が得られる。
【００６６】
また、登録されていない人物の手指の認識を防止することができるという効果が得られる。
【００６７】
さらに、顔検出部で検出された結果と、登録された顔特徴情報の認識対象の位置情報とを比較し、予め記憶部に記憶された閾値の範囲外となる小さい顔(遠い顔)や大きい顔(近い顔)を認識対象外とすることにより、特定の距離の操作者のみの手指を認識対象とすることができるという効果が得られる。
【００６８】
またさらに、目、鼻、口などの位置関係や形状など、ウインクした状態や首を傾げた状態を辞書として記憶部１３に記憶させて登録することにより、操作者がウインクした場合や、首を傾げた場合など特定の顔の表情や動作に連動して手指を認識することができるという効果が得られる。
【００６９】
なお、第１の実施例および第２の実施例で説明した本手画像認識装置は、認識される手指の本数や方向に関連付けて動作を予め記憶部に登録しておくことにより、手指の画像による入力操作が可能になる。例えば、テレビやビデオデッキ等の家電製品のいわゆるリモコンの変りに本装置を用いて家電製品を遠隔から操作することができるようになる。テレビにカメラ（画像入力部）を組み合わせ、カメラによって取得された画像から顔の横に５本の指を広げた手を認識してリモコン画面を表示した後、さらに認識した手指が１本の場合はボリューム変更、手指が２本の場合はチャネル変更というようにテレビを遠隔から操作することができるようになる。
【００７０】
また、従来、デジタルカメラでセルフタイマを使用して撮影する場合、撮影者がそのセルフタイマを起動した後、デジタルカメラの撮影先に移動して撮影するようにしていたが、デジタルカメラに本装置を用いた場合、セルフタイマを使用することなく、撮影者が撮影先に移動し、撮影の準備が完了した時点で、３本の指を広げた手を顔の横に上げることにより、３秒後に撮影を行うようにすることもできる。
【符号の説明】
【００７１】
１ 手画像認識装置
１１ 画像入力部
１２ 制御部
１３ 記憶部
１４ 顔検出部
１５ 指検出部
１６ 入出力部
【技術分野】
【０００１】
本発明は、撮影された画像から手指を認識する手画像認識装置に関し、特に顔とともに手指が撮影されている画像から伸ばした手指を認識する手画像認識装置に関する。
【背景技術】
【０００２】
従来の手画像認識装置は、まず、カラー画像の肌色情報に基づいて撮影した画像を２値化し、ノイズを除去して抽出した手領域を細線画像化する。次に、手領域の細線画像から手の方向を検出し、検出された手の方向に対して垂直方向に走査して手領域上にかかるラン長を計測し、計測したラン長の頻度の分布を求め、頻度が最大となるラン長を指の幅の閾値として設定する。次に、手の方向に対して垂直方向に走査して計測したラン長が閾値より短い領域を指領域画像として抽出し、細線画像と抽出した指領域画像との論理積から指に対応する指領域を抽出する。なお、２値化した画像からノイズを除去する際に、２値化画像の平滑化された輪郭線を抽出し、その輪郭線の形状からも指本数を推定し、この推定値を利用して前記指に対応する線として抽出した線のうち、ノイズに対応する線を除去する。このようにして手の形状を認識するようにしているものがある（例えば、特許文献１参照）。
【０００３】
また、入力画像から顔を検出し、さらに検出した顔の領域の肌色を検出して入力画像から手を検出するための検出条件を設定し、この検出条件にしたがって手の領域の検出を行うようにしているものもある（例えば、特許文献２参照）。
【０００４】
さらに、撮像した画像から掌を検出し、その掌の幅から指の太さの基準値を設定し、エッジライン画像取得手段により抽出したエッジラインにおけるエッジ強度が正の値を持つ正のエッジラインと交差し、かつ同じ走査線上に次に現れるエッジラインが負のエッジ強度を持つエッジラインである場合に、正のエッジラインと負のエッジラインとの間隔を計測し、計測した間隔と設定した指の太さの基準値との差分を求め、この差分が小さければ２本のエッジラインの間に対応する領域を指領域として指を認識するようにしているものもある（例えば、特許文献３参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００３−３４６１６２号公報（段落「０００６」〜段落「００２５」、図２）
【特許文献２】特開２００２−１５３１９号公報（段落「００６８」〜段落「００７２」、図７）
【特許文献３】特開２００６−１６３６６２号公報（段落「０００８」〜段落「００２４」、図１）
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述した従来の技術において、カラー画像の肌色情報に基づいて手領域を抽出する場合、光源や撮影カメラによる環境条件の違い、人による肌色の違いや手の背景の色等により様々な条件下によって抽出される肌色に差異が生じ、肌色を正しく抽出できないことにより、手領域を抽出することができない場合があるという問題がある。例えば、手の背景の色が肌色に近いという条件下では、背景と人肌との差異があまりないため、人間の肌色を正確に抽出できず、また手の輪郭を抽出しようとしても手の背景部分に何が撮影されているか分からない環境では、どこが手や指のエッジなのか正確に判定できないため手の輪郭を抽出できないという問題がある。
【０００７】
また、検出した顔より肌色を抽出する場合も、化粧や日焼け、掌、手の甲の色など手の色と顔の色が同じでない場合が多々あり、顔の色に基づいて手領域を抽出することができない場合があるという問題がある。
【０００８】
さらに、掌の幅を基準にして指を検出する場合、手の背景が輝度の差がない平坦な画像でないと掌のエッジを検出することが難しく指を検出するための基準を導き出すことができないという問題がある。
【０００９】
本発明は、このような問題を解決することを課題とし、撮影された手の肌色の色調や手の背景の影響を受けることなく、伸ばした手指を認識できるようにすることを目的とする。
【課題を解決するための手段】
【００１０】
そのため、本発明は、撮影した画像から伸ばした手指を認識する手画像認識装置において、顔とともに手指の画像を撮影して画像データを取得する画像入力手段と、前記画像入力手段が取得する画像データにおける顔の位置を基準とした手指を認識する領域の位置を表す情報および該領域の大きさを表す情報からなる手認識領域情報を予め記憶する記憶手段と、前記画像入力手段が取得した画像データから顔を検出し、該画像データ内の顔の位置を検出する顔検出手段と、前記顔検出手段が検出した顔の特徴に基づいて手指の大きさの基準値を算出する指基準サイズ算出手段と、前記顔検出手段が検出した画像データ内の顔の位置および前記記憶手段に記憶された手認識情報から手指を認識する領域を抽出し、該領域から前記指基準サイズ算出手段が算出した基準値に基づいて手指を検出する指検出手段とを設けたことを特徴とする。
【発明の効果】
【００１１】
このようにした本発明は、撮影された手の肌色の色調や手の背景の影響を受けることなく、伸ばした手指を認識できるという効果が得られる。
【図面の簡単な説明】
【００１２】
【図１】第１の実施例における手画像認識装置の構成を示すブロック図
【図２】第１の実施例における手画像認識処理を示すフローチャート
【図３】第１の実施例における手画像認識領域の説明図
【図４】第１の実施例における特徴抽出の説明図
【図５】第１の実施例における特徴抽出結果の説明図
【図６】第１の実施例における指候補絞込み結果の説明図
【発明を実施するための形態】
【００１３】
以下、図面を参照して本発明による手画像認識装置の実施例を説明する。
【実施例１】
【００１４】
図１は実施例における手画像認識装置の構成を示すブロック図である。
【００１５】
手画像認識装置１は、画像入力部１１、制御部１２、記憶部１３、顔検出部１４、指検出部１５、および入出力部１６等により構成され、撮影した画像から伸ばした手指の本数および方向を認識するものである。
【００１６】
画像入力手段としての画像入力部１１は、レンズなどの光学系にはピントや絞りなどの機構やＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）などの撮像素子を有するいわゆるデジタルカメラであり、撮影した画像を画像データ（デジタルデータ）として取得することができるものである。本実施例では、画像入力部１１は、被写体としての人の顔とともに伸ばした手指を撮影するものとする。
【００１７】
記憶手段としての記憶部１３は、半導体メモリ等で構成され、画像入力部１１で撮影した画像データ、その画像データから顔や手指を認識するための情報および手画像認識装置１全体の動作を制御するためのプログラム（ソフトウェア）等を記憶するものである。
【００１８】
この記憶部１３は、画像データから手指を認識するための情報として画像入力部１１が取得する画像データにおける顔の位置を基準とした手指を認識する領域の位置を表す情報およびその領域の大きさを表す情報からなる手認識領域情報を初期設定において予め記憶する。
【００１９】
顔検出手段としての顔検出部１４は、画像入力部１１で撮影した画像データおよび記憶部１３に記憶された顔を認識するための情報から人の顔を検出し、その画像データ内における顔の位置（座標）を検出するものである。なお、本実施例において顔検出部１４は、公知の技術を利用して画像データから人の顔を検出するものとする。
【００２０】
指検出手段としての指検出部１５は、画像入力部１１で撮影した画像データおよび記憶部１３に記憶された手指を認識するための情報から伸ばした人の手指の本数および方向（例えば、手指の付け根から指先の方向）を検出するものである。
【００２１】
この指検出部１５は、顔検出部１４が検出した画像データ内の顔の位置および記憶部１３に記憶された手認識情報から手指を認識する領域を抽出し、その領域から指基準サイズ算出手段が算出した基準値に基づいて手指を検出する。
【００２２】
入出力部１６は、キーボードやマウス等の入力手段、ディスプレイ等の出力手段、および他の装置との間で通信回線を介して通信を行う通信手段等で構成されたものである。
【００２３】
制御部１２は、演算手段および制御手段としての中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）で構成され、記憶部１３に記憶されたプログラム（ソフトウェア）に基づいて手画像認識装置１全体の動作を制御する。
【００２４】
また、制御部１２は、顔検出部１４が検出した顔の目、鼻ならびに口の大きさおよび目の間隔のうち少なくともひとつを顔の特徴とし、その顔の特徴から推定した手指の大きさの基準値を算出する指基準サイズ算出手段としての機能を備えている。
【００２５】
上述した構成の作用について図１および図２の実施例における手画像認識処理を示すフローチャートの図中Ｓで表すステップにしたがって説明する。
【００２６】
Ｓ１：手画像認識装置１の制御部１２は、画像入力部１１で入力する画像において被写体の顔を検出する顔検出領域およびその顔検出領域の位置に対し、被写体の手を認識する手認識領域、すなわち手が存在する領域の位置および大きさを設定する操作者の操作を入出力部１６で受付け、入力された手認識領域を手認識領域情報として記憶部１３に記憶させる初期設定を行う。例えば、図３は、顔検出領域３１の右側（被写体の左側）に顔検出領域３１の約２倍の領域を手認識領域３２に設定した例を示している。なお、顔検出領域３１および手認識領域３２の設定は、入出力部１６のマウスやキーボードを操作して入力するものとする。
【００２７】
このように、手認識領域３２は、顔検出領域３１に対して通常の姿勢では手が存在しない領域に設定することにより、手を認識させる場合に、操作者は自身が設定した手認識領域３２内へ手を明示的に移動することが可能になる。本実施例では、顔検出領域３１の前後でなく、顔検出領域３１の横に手認識領域３２を設定したものとして説明する。なお、手認識領域３２は、顔検出領域３１に対して通常の姿勢では手が存在しない領域であれば、横に限られることなく、顔検出領域３１の上下等であってもよい。
【００２８】
Ｓ２：制御部１２は、画像入力部１１により被写体を撮影し画像データとして入力し、その画像データを記憶部１３に記憶させる。
【００２９】
Ｓ３：顔検出部１４は、制御部１２の指示により記憶部１３に記憶された画像データから顔を検出する。なお、入力した画像データから人物の顔を検出する処理は公知のものであり、例えば特開２００１−３０９２２５号公報、特開２００４−１２８７１５号公報に記載されている。
【００３０】
Ｓ４：Ｓ３において顔検出部１４が画像データから顔を検出でき、かつ検出された顔の目、鼻、口などの部位の輪郭が鮮明であると判定した場合、処理をＳ５へ移行する。
【００３１】
一方、画像データから顔を検出できなかった場合、および顔検出部１４が画像データから顔を検出できたが、検出された顔の目、鼻、口などの部位の輪郭が鮮明でないと判定された場合、処理をＳ２へ移行し、輪郭がより鮮明になるように、制御部１２は画像入力部１１に対してレンズのピントや絞り等の調整を繰返し、顔の部位が最も鮮明な輪郭の状態になるまで画像取得（Ｓ２）、顔検出（Ｓ３）を繰り返す。
【００３２】
ここで、鮮明な輪郭とは、画像データにおける隣接する画素の輝度の変化が最も大きい状態をいい、顔検出部１４が画像データの隣接する画素の輝度情報を比較して判定するものとする。
【００３３】
顔検出部１４が画像データから顔を検出すると、画像入力部１１と手認識領域３２との距離および画像入力部１１と顔検出領域３１との距離が異なるように初期設定された場合、設定されている画像入力部１１と手認識領域３２との距離に応じて手認識領域３２で鮮明な輪郭の画像が取得できるように画像入力部１１のピント（焦点）や絞り等を調整し直して画像取得（Ｓ２）を実行する。
【００３４】
画像入力部１１は、手認識領域３２で鮮明な画像を取得できる範囲でレンズの絞りを開いた状態にすることにより、被写体深度を狭くし、設定された画像入力部１１と手認識領域３２までの距離以外の被写体物のピントをぼかすことができ、後述する指特徴抽出（Ｓ８）において指以外の物を指として誤って検出してしまうことを防止することができるようになる。
【００３５】
Ｓ５：顔検出部１４が画像データから顔を検出でき、かつ検出された顔の目、鼻、口などの部位の輪郭が鮮明であると判定すると制御部１２は、Ｓ３における顔検出結果および記憶部１３に記憶された手認識領域情報から手認識領域を抽出する。
【００３６】
この手認識領域の抽出は、Ｓ１において初期設定された手認識領域３２の位置ならびに大きさおよびＳ３の顔検出結果に基づいて画像データから抽出する。例えば、Ｓ３の顔検出結果から画像データ内に存在する顔の座標を特定し、その顔の座標からの相対的な位置（手認識領域３２の位置）および大きさ（手認識領域３２の大きさ）から手認識領域を抽出する。
【００３７】
なお、このとき、Ｓ３の顔検出結果から顔の大きさを抽出し、その顔の大きさに応じて手認識領域の大きさを変化させるようにしても良い。
【００３８】
また、手認識領域３２が、入力した画像データからはみ出したり、または小さすぎたりするとき、画像入力部１１に光学ズーム機能を有する場合は、その光学ズーム機能を用いて拡大／縮小するようにしても良い。
【００３９】
Ｓ６：次に、制御部１２は、抽出した手認識領域の手指の画像に基づいて指を認識するための指の太さおよび指の長さ（指の大きさ）の基準値となる指基準サイズを算出する。この指基準サイズは、顔検出結果として検出された顔の大きさに基づいて算出されるものであり、例えば左右の目の間隔の５分の１程度の距離を指の太さ、左右の目の間隔程度の距離を指の長さとして算出され、手認識領域３２の画面上に存在しうる手指の大きさを推定する数値である。なお、指基準サイズは、目、鼻、口などの大きさに基づいて算出するようにしても良い。
【００４０】
Ｓ７：指基準サイズを算出した制御部１２の指示により指検出部１５は、抽出した手認識領域から指基準サイズに基づいて手指の特徴を抽出して手指を検出する。
【００４１】
ここで、手指の検出方法を図４の実施例における特徴抽出の説明図に基づいて説明する。
【００４２】
図４（ａ）は、手指４０が鉛直方向（図４（ａ）における縦方向）に立っている状態を示している。
【００４３】
指検出部１５は、破線４４が示す水平方向に手認識領域を走査し、隣り合う画素の輝度情報を比較し、その輝度差が予め記憶部１３に記憶された閾値を超えている領域を手指の輪郭候補４１、４２として抽出する。次に、指検出部１５は、抽出した手指の輪郭候補４１と輪郭候補４２との間隔と、指基準サイズの指の太さの基準値とを比較し、その差が予め記憶部１３に記憶された閾値以下であると判定した場合、輪郭候補４１と輪郭候補４２を手指の輪郭の候補として残す。
【００４４】
さらに、指検出部１５は、破線４４が示す水平方向に手認識領域を走査し、輪郭候補４１と輪郭候補４２との間の画素の輝度情報を比較し、図４（ｂ）に示すように輪郭候補４１と輪郭候補４２との間の輝度の変化を取得して手指の特徴を抽出する。
【００４５】
手指は略円柱形状になっているため、輪郭候補４１と輪郭候補４２との間が、画像入力部１１に対して光が正反射する部分が多く存在することにより、輪郭候補４１および輪郭候補４２より明るくなる画素の領域４３となる特徴がある。
【００４６】
ただし、手指に対して逆光の場合、領域４３は特徴として抽出し難くなるため、輪郭候補４１と輪郭候補４２との間の輝度情報が輪郭候補４１や輪郭候補４２の輝度情報に基づいて比較した結果、明らかに暗い場合、手指に対して逆光であると判定し、輪郭候補４１および輪郭候補４２より明るい領域は手指の特徴抽出の判定から除外するものとする。したがって、逆光にならないように光源を画像入力部１１から手に向けて照らすことが望ましい。
【００４７】
Ｓ８：指検出部１５は、このようにして抽出した輪郭候補（図５に例示する）の隣接する部分を平滑化しながら繋ぎ合わせて指の太さおよび指の長さを算出し、算出した指の太さおよび指の長さと指基準サイズの指の太さおよび指の長さとを比較し、その差が予め記憶部１３に記憶された閾値以下であると判定した場合、その輪郭候補を手指の輪郭の候補として絞り込む。なお、絞り込んだ手指の輪郭の候補６１、６２を図６に例示する。
【００４８】
Ｓ９：指検出部１５は、図４における破線４４が示す水平方向に対する角度を変化（例えば、３０度ずつ変化）させて手認識領域を走査してＳ７およびＳ８の処理を繰返し、３６０度（例えば、１２方向）の全方向に対して手指の輪郭の候補を絞り込む。これは、手認識領域における手指の長手方向に対して直交する方向に走査して手指の輪郭の候補を絞り込むためである。
【００４９】
Ｓ１０：指検出部１５は、全方向に対する手認識領域の走査が完了すると各走査方向で絞り込まれた手指の輪郭の候補から手指の本数および手指の方向を決定し、その結果を制御部１２へ出力する。
【００５０】
Ｓ１１、Ｓ１２：制御部１２は、Ｓ２からＳ１０の処理を繰返し、指検出部１５から入力した手指の本数および手指の方向の結果が一致して出力され、安定することを検知すると操作者が手指の入力操作を完了したと判断し、安定した手指の本数および手指の方向を入出力部１６に出力して手画像認識処理を終了する。
【００５１】
このように撮影した顔の位置に対する手指を認識する領域を予め定め、その領域に操作者が手指を配置させることにより、手認識領域の手指にピントが合い、手指の背景がぼやけた画像を取得することができるようになり、手指の輪郭を抽出する際に手指の背景を誤って手指の輪郭として抽出することを抑制することができる。
【００５２】
また、このように撮影した画像データから検出した顔の大きさから手指の基準サイズを算出し、その基準サイズに基づいて手指の輪郭を抽出するようにしたことにより、手指の本数および方向を高精度に認識することができる。
【００５３】
したがって、撮影された手の肌色の色調や手の背景の影響を受けることなく、手指の本数および方向を高精度に認識することができる。
【００５４】
さらに、撮影した画像における顔の位置に対して手指を認識する領域を定めているため、操作者の画像内の位置に依存することなく、操作者の手指の本数および方向を認識することができるとともに操作者が手指による入力操作を行うときにのみ、顔に対する手認識領域に手指を移動して認識処理の開始および終了を明確に指示することができるようになる。
【００５５】
以上説明したように、第１の実施例では、撮影した顔の位置に対する手指を認識する領域を予め定め、その領域に操作者が手指を配置させることにより、手認識領域の手指にピントが合い、手指の背景がぼやけた画像を取得することができるようになり、手指の輪郭を抽出する際に手指の背景を誤って手指の輪郭として抽出することを抑制することができるとともに撮影した画像データから検出した顔の大きさから手指の基準サイズを算出し、その基準サイズに基づいて手指の輪郭を抽出するようにしたことにより、手指の本数および方向を高精度に認識することができるという効果が得られる。
【実施例２】
【００５６】
第２の実施例は、第１の実施例の図２のＳ１における初期設定で操作者の顔の特徴情報（以下、「顔特徴情報」という。）として目、鼻、口などの認識対象の大きさや位置の情報を辞書として登録し、Ｓ３における顔検出においてその顔特徴情報から操作者の顔を検出するようにしたものである。
【００５７】
詳述すると記憶部１３は、手認識領域情報に加え、顔の認識対象となる目、鼻ならびに口のうち少なくともひとつの大きさおよび位置の情報を顔特徴情報として操作者（手画像認識対象者）毎に予め辞書として記憶（登録）する。
【００５８】
顔検出部１４は、記憶部１３に登録された顔特徴情報に基づいて画像入力部１１が取得した画像データから操作者（手画像認識対象者）の顔を検出する。
【００５９】
なお、その他の第２の実施例の構成は、第１の実施例の構成と同様なので同一の符号を付してその説明を省略する。
【００６０】
第２の実施例の動作を図２に基づいて説明する。
【００６１】
Ｓ１：手画像認識装置１の制御部１２は、第１の実施例と同様に、画像入力部１１で入力する画像において被写体の顔を検出する顔検出領域の位置に対し、被写体の手を認識する手認識領域を設定する。
【００６２】
第２の実施例では、さらに画像入力部１１で操作者の顔を撮影し、制御部１２は操作者の顔特徴情報として目、鼻、口などの認識対象の大きさや位置の情報を辞書として記憶部１３に記憶させて登録する。
【００６３】
Ｓ３：顔検出部１４は、制御部１２の指示により記憶部１３に記憶された画像データおよび顔特徴情報から顔を検出する。
【００６４】
なお、Ｓ２，Ｓ４〜Ｓ１２の処理は第１の実施例と同様なのでその説明を省略する。
【００６５】
以上説明したように、第２の実施例では、顔特徴情報を予め登録するようにしたことにより、第１の実施例の効果に加え、特定の操作者の手指のみを認識することが可能になり、ひとつの画像の中に複数人が存在する場合であっても特定の操作者のみの手指を認識することができるという効果が得られる。
【００６６】
また、登録されていない人物の手指の認識を防止することができるという効果が得られる。
【００６７】
さらに、顔検出部で検出された結果と、登録された顔特徴情報の認識対象の位置情報とを比較し、予め記憶部に記憶された閾値の範囲外となる小さい顔(遠い顔)や大きい顔(近い顔)を認識対象外とすることにより、特定の距離の操作者のみの手指を認識対象とすることができるという効果が得られる。
【００６８】
またさらに、目、鼻、口などの位置関係や形状など、ウインクした状態や首を傾げた状態を辞書として記憶部１３に記憶させて登録することにより、操作者がウインクした場合や、首を傾げた場合など特定の顔の表情や動作に連動して手指を認識することができるという効果が得られる。
【００６９】
なお、第１の実施例および第２の実施例で説明した本手画像認識装置は、認識される手指の本数や方向に関連付けて動作を予め記憶部に登録しておくことにより、手指の画像による入力操作が可能になる。例えば、テレビやビデオデッキ等の家電製品のいわゆるリモコンの変りに本装置を用いて家電製品を遠隔から操作することができるようになる。テレビにカメラ（画像入力部）を組み合わせ、カメラによって取得された画像から顔の横に５本の指を広げた手を認識してリモコン画面を表示した後、さらに認識した手指が１本の場合はボリューム変更、手指が２本の場合はチャネル変更というようにテレビを遠隔から操作することができるようになる。
【００７０】
また、従来、デジタルカメラでセルフタイマを使用して撮影する場合、撮影者がそのセルフタイマを起動した後、デジタルカメラの撮影先に移動して撮影するようにしていたが、デジタルカメラに本装置を用いた場合、セルフタイマを使用することなく、撮影者が撮影先に移動し、撮影の準備が完了した時点で、３本の指を広げた手を顔の横に上げることにより、３秒後に撮影を行うようにすることもできる。
【符号の説明】
【００７１】
１ 手画像認識装置
１１ 画像入力部
１２ 制御部
１３ 記憶部
１４ 顔検出部
１５ 指検出部
１６ 入出力部
【特許請求の範囲】
【請求項１】
撮影した画像から伸ばした手指を認識する手画像認識装置において、
顔とともに手指の画像を撮影して画像データを取得する画像入力手段と、
前記画像入力手段が取得する画像データにおける顔の位置を基準とした手指を認識する領域の位置を表す情報および該領域の大きさを表す情報からなる手認識領域情報を予め記憶する記憶手段と、
前記画像入力手段が取得した画像データから顔を検出し、該画像データ内の顔の位置を検出する顔検出手段と、
前記顔検出手段が検出した顔の特徴に基づいて手指の大きさの基準値を算出する指基準サイズ算出手段と、
前記顔検出手段が検出した画像データ内の顔の位置および前記記憶手段に記憶された手認識情報から手指を認識する領域を抽出し、該領域から前記指基準サイズ算出手段が算出した基準値に基づいて手指を検出する指検出手段とを設けたことを特徴とする手画像認識装置。
【請求項２】
請求項１の手画像認識装置において、
前記指基準サイズ算出手段は、前記顔検出手段が検出した顔の目、鼻ならびに口の大きさおよび目の間隔のうち少なくともひとつを前記顔の特徴として手指の大きさの基準値を算出するようにしたことを特徴とする手画像認識装置。
【請求項３】
請求項１または請求項２の手画像認識装置において、
前記指検出手段は、前記手指を認識する領域の画像データを走査して手指の輪郭を抽出し、その手指の輪郭の間隔から算出した手指の大きさと前記基準値との差が予め記憶部に記憶された閾値以下となる手指の輪郭をさらに抽出して手指を検出することを特徴とする手画像認識装置。
【請求項４】
請求項１、請求項２または請求項３の手画像認識装置において、
前記記憶手段は、前記手認識領域情報に加え、顔の認識対象となる目、鼻ならびに口のうち少なくともひとつの大きさおよび位置の情報を顔特徴情報として手画像認識対象者毎に予め記憶し、
前記顔検出手段は、前記記憶手段に登録された前記顔特徴情報に基づいて前記画像入力手段が取得した画像データから手画像認識対象者の顔を検出するようにしたことを特徴とする手画像認識装置。
【請求項５】
請求項１から請求項４のいずれか1項の手画像認識装置において、
前記画像入力手段は、前記顔検出手段が顔を検出した後、前記手指を認識する領域に焦点を合わせるようにしたことを特徴とする手画像認識装置。
【請求項６】
請求項１から請求項５のいずれか1項の手画像認識装置において、
前記画像入力手段は、前記手指を認識する領域を光学的に拡大または縮小して撮影するようにしたことを特徴とする手画像認識装置。
【請求項７】
請求項１から請求項４のいずれか1項の手画像認識装置において、
前記記憶手段は、前記手認識領域情報に加え、予め記憶された閾値の範囲外となる小さい顔(遠い顔)や大きい顔(近い顔)を認識対象外とする範囲情報を予め記憶し、
前記顔検出手段は、前記記憶手段に登録された前記範囲情報に基づいて前記画像入力手段が取得した画像データから手画像認識対象者の顔を検出するようにしたことを特徴とする手画像認識装置。
【請求項８】
請求項１から請求項３のいずれか1項の手画像認識装置において、
前記記憶手段は、前記手認識領域情報に加え、予め記憶部に記憶されたウインクの表情や顔を傾けるなどの目、鼻、口などの位置関係や形状などの顔特徴情報を予め記憶し、
前記顔検出手段は、前記記憶手段に登録された前記顔特徴情報に基づいて前記画像入力手段が取得した画像データから手画像認識対象者の顔を検出するようにしたことを特徴とする手画像認識装置。
【請求項１】
撮影した画像から伸ばした手指を認識する手画像認識装置において、
顔とともに手指の画像を撮影して画像データを取得する画像入力手段と、
前記画像入力手段が取得する画像データにおける顔の位置を基準とした手指を認識する領域の位置を表す情報および該領域の大きさを表す情報からなる手認識領域情報を予め記憶する記憶手段と、
前記画像入力手段が取得した画像データから顔を検出し、該画像データ内の顔の位置を検出する顔検出手段と、
前記顔検出手段が検出した顔の特徴に基づいて手指の大きさの基準値を算出する指基準サイズ算出手段と、
前記顔検出手段が検出した画像データ内の顔の位置および前記記憶手段に記憶された手認識情報から手指を認識する領域を抽出し、該領域から前記指基準サイズ算出手段が算出した基準値に基づいて手指を検出する指検出手段とを設けたことを特徴とする手画像認識装置。
【請求項２】
請求項１の手画像認識装置において、
前記指基準サイズ算出手段は、前記顔検出手段が検出した顔の目、鼻ならびに口の大きさおよび目の間隔のうち少なくともひとつを前記顔の特徴として手指の大きさの基準値を算出するようにしたことを特徴とする手画像認識装置。
【請求項３】
請求項１または請求項２の手画像認識装置において、
前記指検出手段は、前記手指を認識する領域の画像データを走査して手指の輪郭を抽出し、その手指の輪郭の間隔から算出した手指の大きさと前記基準値との差が予め記憶部に記憶された閾値以下となる手指の輪郭をさらに抽出して手指を検出することを特徴とする手画像認識装置。
【請求項４】
請求項１、請求項２または請求項３の手画像認識装置において、
前記記憶手段は、前記手認識領域情報に加え、顔の認識対象となる目、鼻ならびに口のうち少なくともひとつの大きさおよび位置の情報を顔特徴情報として手画像認識対象者毎に予め記憶し、
前記顔検出手段は、前記記憶手段に登録された前記顔特徴情報に基づいて前記画像入力手段が取得した画像データから手画像認識対象者の顔を検出するようにしたことを特徴とする手画像認識装置。
【請求項５】
請求項１から請求項４のいずれか1項の手画像認識装置において、
前記画像入力手段は、前記顔検出手段が顔を検出した後、前記手指を認識する領域に焦点を合わせるようにしたことを特徴とする手画像認識装置。
【請求項６】
請求項１から請求項５のいずれか1項の手画像認識装置において、
前記画像入力手段は、前記手指を認識する領域を光学的に拡大または縮小して撮影するようにしたことを特徴とする手画像認識装置。
【請求項７】
請求項１から請求項４のいずれか1項の手画像認識装置において、
前記記憶手段は、前記手認識領域情報に加え、予め記憶された閾値の範囲外となる小さい顔(遠い顔)や大きい顔(近い顔)を認識対象外とする範囲情報を予め記憶し、
前記顔検出手段は、前記記憶手段に登録された前記範囲情報に基づいて前記画像入力手段が取得した画像データから手画像認識対象者の顔を検出するようにしたことを特徴とする手画像認識装置。
【請求項８】
請求項１から請求項３のいずれか1項の手画像認識装置において、
前記記憶手段は、前記手認識領域情報に加え、予め記憶部に記憶されたウインクの表情や顔を傾けるなどの目、鼻、口などの位置関係や形状などの顔特徴情報を予め記憶し、
前記顔検出手段は、前記記憶手段に登録された前記顔特徴情報に基づいて前記画像入力手段が取得した画像データから手画像認識対象者の顔を検出するようにしたことを特徴とする手画像認識装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１１−２２９２７（Ｐ２０１１−２２９２７Ａ）
【公開日】平成２３年２月３日（２０１１．２．３）
【国際特許分類】
【出願番号】特願２００９−１６９２７９（Ｐ２００９−１６９２７９）
【出願日】平成２１年７月１７日（２００９．７．１７）
【出願人】（５９１０８９５５６）株式会社 沖情報システムズ (276)
【Ｆターム（参考）】
【公開日】平成２３年２月３日（２０１１．２．３）
【国際特許分類】
【出願日】平成２１年７月１７日（２００９．７．１７）
【出願人】（５９１０８９５５６）株式会社 沖情報システムズ (276)
【Ｆターム（参考）】
[ Back to top ]