入力装置、入力認識方法
【課題】ユーザのジェスチャー等による操作入力を検知する入力装置において簡易な処理で精度の高い入力認識を行うようにする。
【解決手段】 赤外線カメラによって所定の時間間隔で撮像された温度分布画像を順次取り込み、取り込まれた複数の温度分布画像のそれぞれについて、人の肌の温度に相当する肌温度画像部を検出する。さらに検出した肌温度画像部のうちで、動きが観測される肌温度画像部を検出対象画像とする。そして検出対象画像の動き状態から操作入力を認識する。
【解決手段】 赤外線カメラによって所定の時間間隔で撮像された温度分布画像を順次取り込み、取り込まれた複数の温度分布画像のそれぞれについて、人の肌の温度に相当する肌温度画像部を検出する。さらに検出した肌温度画像部のうちで、動きが観測される肌温度画像部を検出対象画像とする。そして検出対象画像の動き状態から操作入力を認識する。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は入力装置、入力認識方法に関し、例えばユーザのジェスチャー操作等を検知する装置及びその入力認識の技術に関する。
【先行技術文献】
【特許文献】
【０００２】
【特許文献１】特開２００１−２８２４５６号公報
【背景技術】
【０００３】
上記特許文献１では、机上でのマンマシンインターフェースを実現する技術として、机上の手を赤外線カメラで撮像した画像から、指先形状の特徴を利用したパターンマッチングを行って指先位置を特定し、その座標を求め機器を操作する手法が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本開示では、テレビジョン受像器などの電子機器に対して、ユーザが空間で手を移動させたり手を振ったりするような動作（以下、このような動作を「ジェスチャー」と総称する）を行うことで、操作入力を行うことができるようにすること考える。
この場合、テレビジョン受像器等にカメラを設置し、ユーザを撮像して、その撮像画像からユーザの手の動きを判定するということが考えられる。しかしながら、上記特許文献１の技術のように机上を観察対象とするものでない場合、多様な物体が観察されることとなる。例えばユーザの手以外に、顔、身体、周囲の家具、電灯などである。
【０００５】
このような状況を想定した場合、カメラに撮像される多様の物体の中からユーザのジェスチャーとしての例えば手の動きを判定し、それを操作入力に反映させなければならない。
例えば特許文献１の技術では赤外線カメラで撮像された画像から、人の体温を基に手の画像を抽出することとしているが、机上ではなく空間での操作を想定すると、顔の部分なども同じく抽出されてしまう。
従って手の部分を抽出するには、多様な物体の中から手の形状的な特徴を抽出するなどの複雑な画像処理が必要となり、処理装置が複雑となり処理時間が増大してしまう。これは赤外線カメラを用いて簡便に検出対象物を抜き出すという利点に反する。
また赤外線カメラの撮像範囲内に、体温と同等もしくは温度が高い物体（暖房器具、電球等）が有った場合も同様な課題が生じる。
【０００６】
そこで本開示では、赤外線カメラを用いた入力装置において、複雑な処理を行うことなく、ユーザが空間で行うジェスチャーを的確に操作として認識できるようにすることを目的とする。
【課題を解決するための手段】
【０００７】
本開示の入力装置は、赤外線カメラと、所定の時間間隔で上記赤外線カメラで撮像された温度分布画像を順次取り込む画像取込部と、上記画像取込部に取り込まれた複数の温度分布画像のそれぞれについて、人の肌の温度に相当する肌温度画像部を検出し、さらに検出した肌温度画像部のうちで動きが観測される肌温度画像部を検出対象画像とし、該検出対象画像の動き状態から操作入力を認識する入力認識部とを備える。
【０００８】
本開示の入力認識方法は、赤外線カメラによって所定の時間間隔で撮像された温度分布画像を順次取り込み、取り込まれた複数の温度分布画像のそれぞれについて、人の肌の温度に相当する肌温度画像部を検出し、さらに検出した肌温度画像部のうちで動きが観測される肌温度画像部を検出対象画像とし、該検出対象画像の動き状態から操作入力を認識する入力認識方法である。
【０００９】
即ち本開示では、赤外線カメラで撮像される温度分布画像により、人の肌の温度に相当する肌温度画像部を検出することで、容易に操作入力のためのジェスチャーを行った「手」等を認識できるようにする。但し、肌の温度を基準とするのみでは、人の顔などジェスチャー操作をしていない部分も肌温度画像部として認識されてしまう。そこで肌温度画像部のうちで、動きが観測される部分を検出対象画像（ジェスチャー操作を行っている手などの検出対象物の画像）として認識するようにする。そしてその検出対象画像の動き状態で操作入力を認識する。
【発明の効果】
【００１０】
本開示によれば、ユーザの空間でのジェスチャー操作を、赤外線カメラを用いた撮像画像から、簡易な処理で精度良く認識できるようになるという効果がある。
【図面の簡単な説明】
【００１１】
【図１】本開示の実施の形態の操作方式において電子機器と対向する操作者の様子の説明図である。
【図２】実施の形態のジェスチャー操作の例の説明図である。
【図３】実施の形態の入力装置のブロック図である。
【図４】実施の形態の入力装置の機能構成を示したブロック図である。
【図５】実施の形態の赤外線カメラで撮像される温度分布画像の説明図である。
【図６】実施の形態の画像メモリエリア及び重心座標メモリエリアの説明図である。
【図７】赤外線カメラで撮像される温度分布画像とその２値化画像の説明図である。
【図８】実施の形態の温度分布画像と２値化画像の説明図である。
【図９】実施の形態の差分画像と重心計算の説明図である。
【図１０】実施の形態の２値化処理の説明図である。
【図１１】実施の形態の差分画像の処理の説明図である。
【図１２】第１の実施の形態の入力認識処理のフローチャートである。
【図１３】赤外線カメラの位置が機器の下方にある場合の説明図である。
【図１４】赤外線カメラの位置が機器の上方にある場合の説明図である。
【図１５】第２の実施の形態の入力認識処理のフローチャートである。
【図１６】第２の実施の形態の変形例の入力認識処理のフローチャートである。
【図１７】第３の実施の形態の動き判定の説明図である。
【図１８】第３の実施の形態の動き判定処理のフローチャートである。
【図１９】第４の実施の形態の肌温度画像部の抽出の説明図である。
【図２０】第４の実施の形態の閾値調整処理のフローチャートである。
【図２１】第５の実施の形態の検出対象範囲設定の説明図である。
【図２２】第５の実施の形態の入力認識処理のフローチャートである。
【図２３】第５の実施の形態の検出対象範囲算出処理のフローチャートである。
【図２４】第６の実施の形態の差分画像で検出対象画像が認識できなくなる場合の説明図である。
【図２５】第６の実施の形態のメッセージ表示を行う場合の入力認識処理のフローチャートである。
【図２６】第７の実施の形態の複数の検出対象画像が存在する場合の処理の説明図である。
【図２７】第７の実施の形態の入力認識処理のフローチャートである。
【発明を実施するための形態】
【００１２】
以下、実施の形態を次の順序で説明する。
＜１．ジェスチャー入力概要＞
＜２．入力装置の構成＞
＜３．第１の実施の形態＞
［３−１：入力認識の手法］
［３−２：入力認識処理］
［３−３：赤外線カメラの位置］
＜４．第２の実施の形態＞
＜５．第３の実施の形態＞
＜６．第４の実施の形態＞
＜７．第５の実施の形態＞
＜８．第６の実施の形態＞
＜９．第７の実施の形態＞
＜１０．変形例＞
なお、実施の形態では、テレビジョン受像器に内蔵される入力装置の例とし、該入力装置は、ユーザの手の動きによるジェスチャー操作を認識する。テレビジョン受像器の制御部は、入力装置が認識した操作に応じて、各種機能の制御を行う例とする。
また、実施の形態で用いる用語は、以下の意味とする。
・温度分布画像・・・赤外線カメラで撮像される画像であり、各画素が被写体の温度に応じた画素値を持つ画像をいう。
・肌温度画像部・・・温度分布画像内で、人の肌の温度に相当する画像部分（画素領域）をいう。
・検出対象画像・・・肌温度画像部のうちで、動き状況を判断する対象、即ちジェスチャー操作の認識を行う対象物の画像である。本実施の形態の場合、操作者の手の画像となる。なお検出対象画像として温度分布画像等の画像上に表れているもの（例えばユーザの手）を「検出対象物」という。
【００１３】
＜１．ジェスチャー入力概要＞
図１は本例の入力装置を備えたテレビジョン受像器２０と、テレビジョン受像器２０を視聴するユーザを示している。
テレビジョン受像器２０の例えば筐体上方には、赤外線カメラ１が配置されている。この赤外線カメラ１は本例の入力装置の一部となる。
赤外線カメラ１によってユーザが撮像される。テレビジョン受像器２０に内蔵された本例の入力装置は、赤外線カメラ１によって連続的に撮像される各フレームの撮像画像（温度分布画像）から、ユーザのジェスチャーを検出し、ジェスチャーの内容に応じて、ユーザの操作を認識する。
【００１４】
図２はジェスチャー操作の例を示している。
図２Ａはジェスチャー操作により、音量やチャンネルの操作を行う例を示している。例えばユーザがテレビジョン受像器２０側（つまり赤外線カメラ１側）に向かって、手を上方に移動させると、音量アップ操作、手を下方に移動させると音量ダウン操作とする。また、手を左方に移動させるとチャンネルアップ、右方に移動させるとチャンネルダウンとする。
このように、各種のジェスチャー態様に対して操作内容を予め割り当てておき、入力装置は、ユーザのジェスチャーが、このいずれかに該当すると認識した場合に、それを該当する操作内容（音量操作やチャンネル操作）と認識する。
【００１５】
もちろん、図２Ａは一例に過ぎず、ジェスチャーの態様や操作内容は多様に考えられる。図２Ｂは、ユーザが手を右回りに回したり、左回りに回す例を示しているが、このようなジェスチャーの態様に、特定の操作内容、例えば音量アップ／ダウン等を割り当てても良い。
さらに図示しないが、手を左右に振る、手を前後に振る、手を三角形を描くように移動させる、手をＺ次状に移動させる等、多様なジェスチャーの態様を特定の操作に割り当てることも当然に考えられる。
【００１６】
＜２．入力装置の構成＞
テレビジョン受像器２０に内蔵される本例の入力装置１０の構成を図３に示す。
図３はテレビジョン受像器２０の内部構成において、特に入力装置１０に相当する部分を主に示したものである。
図示のようにテレビジョン受像器２０内には、赤外線カメラ１、ＣＰＵ（Central Processing Unit）２、ＲＡＭ（Random Access Memory）３、ＲＯＭ（Read Only Memory）４、インプット・アウトプットポート（Ｉ・Ｏポート）５、主機能部６と、それぞれを接続するバスＢＵＳが設けられる。
【００１７】
赤外線カメラ１は、図１に示したように例えばテレビジョン受像器２０の筐体上方に装備され、ユーザ側を被写体として撮像する。これによりユーザ側の温度分布画像を得る。
主機能部６とは、テレビジョン受像器２０の主たる機能部位を包括的に示したものである。即ち、チューナ部、受信した放送信号についてのデコード部、デコードした映像・音声信号についての処理部、表示駆動部、表示部、音声出力部等、通常のテレビジョン受像器２０に設けられる構成要素を含む。
【００１８】
ＣＰＵ２、ＲＡＭ３、ＲＯＭ４は、テレビジョン受像器２０の制御部としての各種処理を実行するために設けられるが、本例の入力装置１０を構成する要素ともなる。
ＣＰＵ２は、例えばＲＯＭ４に記憶されたプログラムを実行することで、テレビジョン受像器２０の全体を統括的に制御する。即ちＣＰＵ２は、ユーザ操作やプログラムに応じて、Ｉ・Ｏポート５を介して主機能部６に制御コマンドや制御データを送り、主機能部６において必要な動作が実行されるように制御する。その上でＣＰＵ２は、本例の入力装置１０を実現するためにジェスチャー操作を認識する機能も有する。
【００１９】
ＲＡＭ３は各種データや処理係数の記憶、プログラムの展開、ワーク領域等、ＣＰＵ２の各種処理に必要な記憶領域として用いられる。また入力装置１０の機能として赤外線カメラ１で撮像される温度分布画像や、入力認識処理の過程で生成される画像、重心座標値等の記憶も行う。
ＲＯＭ４は例えばＣＰＵ２が実行するプログラム、固定の係数値、調整値等の記憶を行う。
【００２０】
入力装置１０の構成を機能という点に注目してＣＰＵ２、ＲＡＭ３、ＲＯＭ４による機能を示したものが図４である。
ＣＰＵ２、ＲＡＭ３、ＲＯＭ４によって、画像取込部１１、入力認識部１２、機器制御部１３が形成される。
【００２１】
画像取込部１１は、赤外線カメラ１で所定の時間間隔で撮像される温度分布画像の取込を行う。例えば１フレーム間隔で温度分布画像を取り込む。
具体的には、赤外線カメラ１で撮像されたフレーム単位の撮像画像データ（温度分布画像）は、Ｉ・Ｏポート５を介してＲＡＭ３に記憶され、ＣＰＵ２が温度分布画像に対して必要な処理を行うことができる状態とされる。画像取込部１１とは、このようなＲＡＭ３及びＣＰＵ２で実現される機能部位を示している。
図５には、赤外線カメラ１で撮像される各フレーム（Ｎ−１、Ｎ、Ｎ＋１、Ｎ＋２）の温度分布画像の例を示している。
【００２２】
入力認識部１２は、画像取込部１１により取り込まれた、時間的に連続した複数の温度分布画像のそれぞれについて、人の肌の温度に相当する肌温度画像部を検出し、さらに検出した肌温度画像部のうちで動きが観測される肌温度画像部を検出対象画像とし、該検出対象画像の動き状態から操作入力を認識する処理を行う。
具体的にはＣＰＵ２が、各フレームの温度分布画像について後述する２値化処理や差分画像処理を行い、ユーザのジェスチャー操作を認識する処理のことであり、ＲＯＭ４に記憶されたプログラムに基づいて、ＣＰＵ２がＲＡＭ３を用いて実行する処理として、入力認識部１２が実現される。
【００２３】
機器制御部１３は、入力認識部１２で認識されたジェスチャー操作に応じて、主機能部６に対して必要な制御を行う。例えば音量アップのジェスチャー操作を認識した場合、機器制御部１３は音量アップのコマンドを主機能部６に送信し、音量アップを実行させる。具体的には、ジェスチャー操作の認識に応じてＣＰＵ２が実行するコマンド発行動作として、機器制御部１３が実現される。
【００２４】
本例の入力装置１０は、図４に示すように、少なくとも赤外線カメラ１、画像取込部１１、入力認識部１２を備えた構成となる。
入力認識部１２として、機器制御部１３を加えた構成としてもよい。
【００２５】
なお、具体的な処理例は後述するが、入力認識部１２の処理においては、ＲＡＭ３で各種データ記憶が行われる。このために、入力認識部１２を構成する要素として、ＲＡＭ３に図６Ａのようなメモリエリアが用意される。
即ち画像メモリエリアＡＲ−ａ，ＡＲ−ｂ，ＡＲ−ｃ，ＡＲ−ｄ、及び重心座標メモリエリアＡＲＧである。
詳しくは後述するが、画像メモリエリアＡＲ−ａ，ＡＲ−ｂには、赤外線カメラ１で撮像された温度分布画像の２値化画像が記憶される。
画像メモリエリアＡＲ−ｃには、画像メモリエリアＡＲ−ａ，ＡＲ−ｂにおける２つの２値化画像の差分として求めた差分画像が記憶される。
画像メモリエリアＡＲ−ｄには、差分画像からさらに微小領域を消去した後の差分画像が記憶される。
【００２６】
重心座標メモリエリアＡＲＧには、画像メモリエリアＡＲ−ｄに記憶された画像の重心位置が記憶される。
重心座標メモリエリアＡＲＧは図６Ｂのように、各時点で画像メモリエリアＡＲ−ｄに記憶された画像の重心位置の座標（Ｘ値、Ｙ値）が記憶されていく。この重心座標メモリエリアＡＲＧには、１つの検出対象画像について時間的に連続するｎ個の重心位置座標が記憶可能とされる。重心座標メモリエリアＡＲＧはリングメモリ形式で用いられｎ個の重心位置座標を記憶した後は、古い重心座標から上書き消去されていくようにされてもよい。
なお、図６Ｂは、１つの検出対象画像についての重心位置座標の記憶領域を示している。場合によっては、複数の検出対象画像について重心位置座標を記憶していくことも有り、その場合、図６Ｂのような記憶領域が複数用意されることとなる。
【００２７】
＜３．第１の実施の形態＞
［３−１：入力認識の手法］
以上の構成を有する本例の入力装置１０において実行される第１の実施の形態としての入力認識処理について説明する。
【００２８】
まず実施の形態の入力認識処理の開発に至る事情を簡単に説明する。
赤外線カメラ１を用いて温度分布画像を得ることによれば、その温度分布からユーザの肌（手）の部分を検出できる。これは、画像解析等の複雑な処理を行うことなくユーザの手を判別し、ジェスチャー検出を行うという点で有用である。
【００２９】
但し次の点で正確な検出が困難になるという事情があった。
赤外線カメラ１で撮像された画像は、上記の図５の様に連続した画像になっている。このような温度分布画像に対して、人の肌の部分を検出するには、所定の閾値で周囲温度より高い温度の部分を検出する。例えば、３０℃を閾値として、画像を２値化する。
図７Ａは赤外線カメラ１で撮像されるあるフレームの撮像画像（温度分布画像）であり、図７Ｂは、例えば３０℃を閾値として２値化した画像である。
２値化により手の部分が検出されるのであるが、この図７Ｂからわかるように、手以外の部分、例えばユーザの顔の部分も検出されてしまう。また、体温よりも温度が高い物体、例えば照明器具等も、同様に検出されてしまい、結局、手、顔、その他温度が高い物体が同一に検出されてしまうことになる。
このように単純に２値化したのみでは、本来検出したい部分（例えば手の部分）のみが正確に検出できない。そこで本実施の形態では、赤外線カメラ１による温度分布画像を用いた上で、以下説明するように手の部分の検出、及びそれによる入力認識を行う。
【００３０】
図８、図９、図１０、図１１で説明する。
図８は、赤外線カメラ１で撮像されたフレームＮの温度分布画像と、その２値化画像Ｐｉｃ−ａを示しており、また時間的に連続する次のフレームＮ＋１の温度分布画像と、その２値化画像Ｐｉｃ−ｂを示している。
【００３１】
本例の場合、温度分布画像についての２値化には２つの閾値を用いる。すなわち、まずは、体温よりも温度が低い物体と高い物体を排除して、体温に近い物のみ検出する為、体温より若干低い第１の閾値と、体温より若干高い第２の閾値を設定する。
図１０Ｂは、フレームＮとフレームＮ＋１における画面上の或る水平ラインの画素毎の温度値を示している。これは図１０Ａの画像における一点鎖線で示した水平ラインの画素と考えればよい。水平ライン上の各画素の温度値は、概ね図１０Ｂに実線で示したようになっている。つまり、手、顔、後方の照明の部分で温度が高くなっている。
図１０Ｂにおける横軸は、１フレームの水平ラインの画素数を６４０画素とした場合の画素数で、縦軸は温度である。
そして、この或る水平ラインの各画素におけるフレームＮの温度値を実線で示し、フレームＮ＋１の温度値を破線で示している。
この図１０Ｂにおいて温度が高くなっている領域は、手の部分（領域ＨＤ）と、顔の部分（領域ＦＣ）と、照明等の高温物体部分（領域ＨＴ）である。
【００３２】
フレームＮ、Ｎ＋１は、ユーザが手を動かしているときの撮像画像であり、このため手の画像に相当する領域ＨＤでは、フレームＮ、Ｎ＋１で高温となる画素がずれている。一方、顔や照明等は殆ど動きがないため、領域ＦＣや領域ＨＴでは、フレームＮ、Ｎ＋１で高温となる画素はほぼ一致している。
【００３３】
ここで上記のように、２つの閾値ｔｈ１、ｔｈ２により、温度分布画像の２値化を行う。
例えば３２℃程度の、体温より若干低い第１の閾値ｔｈ１と、体温より若干高い例えば３８℃程度の第２の閾値ｔｈ２である。
図１０Ｃには、フレームＮとフレームＮ＋１について、それぞれ２値化をした状態を示している。即ち閾値ｔｈ１〜閾値ｔｈ２の温度範囲に含まれる画素を「１」とし、閾値ｔｈ１以下、及び閾値ｔｈ２以上の画素を「０」とする処理である。
閾値ｔｈ１，ｔｈ２を用いた２値化は、人の肌の温度に相当する部分を抽出し、人の肌より低温又は高温の部分を除外することを目的とする。
これにより、図１０Ｃのように、フレームＮ、Ｎ＋１でそれぞれ、手に相当する部分と顔に相当する部分で、「１」の領域が観測されることになる。つまり、２値化により肌温度画像部を抽出する。
なお、図１０Ｃの例では、領域ＨＴの照明等の部分も、わずかに「１」の領域が存在する。これは温度変化のエッジ部分に相当する画素部分などによる。
図８における２値化画像Ｐｉｃ−ａ、Ｐｉｃ−ｂは、以上のように２値化を行った結果の画像であり、肌温度画像部を抽出した画像となっている。（「１」の部分を白、「０」の部分を黒で示している）。
但し、肌以外の照明等のエッジ部分も、わずかに「１」の画素が存在する。
【００３４】
ここまでは、主に肌温度画像部を抽出するために２値化を行ったが、続いて、連続する２つの２値化画像の差分を取ることで、動きが観測される肌温度画像部としての検出対象画像を示す差分画像を生成する。
【００３５】
図１１Ａ、図１１Ｂは、図１０Ｃに示したフレームＮ、Ｎ＋１の２値化画像の或る水平ラインを示しているが、この２値化画像の各画素について排他的論理和をとる。この排他的論理和の結果を図１１Ｃに示している。これが差分画像Ｐｉｃ−ｃとなる。
差分画像Ｐｉｃ−ｃでは、元の撮像画像であるフレームＮ、Ｎ＋１で動きのある手の部分である程度の「１」の領域が発生する。なお、顔の部分も、微小な動きが存在することで、わずかに「１」の領域が発生している。
差分画像Ｐｉｃ−ｃの例を図９Ａに示す。図示のように、手の部分の比較的明らかな動き、及び顔の部分の微小な動きが、差分画像Ｐｉｃ−ｃに表れることになる。
なお、照明等の他の物体については、動きがないことから、差分画像Ｐｉｃ−ｃの時点で消失する。
【００３６】
以降、差分画像Ｐｉｃ−ｃを用いて、検出対象画像を判定し、その動き状態を検出する。
このため、図９Ａ及び図１１Ｃの差分画像Ｐｉｃ−ｃについて、動きが微小と判定される画像部分を消去した後に示される肌温度画像部を、検出対象画像とする。
例えば差分画像Ｐｉｃ−ｃから、画素数（＝画面上の面積）が微小の領域を消去する。これにより図９Ｂ及び図１１Ｄに示すように、微小領域消去後の差分画像Ｐｉｃ−ｄを得る。
この微小領域消去後の差分画像Ｐｉｃ−ｄに表れている画像部分が、即ちユーザがジェスチャー操作のために動かした手の部分である検出対象画像となる。
なお、体温よりも温度が高い物体の部分で残っていた部分は、フレーム間で動きが無かったために、上記のように差分画像Ｐｉｃ−ｃの段階で無くなるが、例えば蝋燭の火のようにわずかな動きがあると、差分画像Ｐｉｃ−ｃにおいて微小領域として表れる。しかし、さらに微小領域を消去した差分画像Ｐｉｃ−ｄでは、そのような部分も消去され、ジェスチャー操作としての明らかな手の動き部分のみが残る可能性は非常に高くなる。
【００３７】
画像Ｐｉｃ−ｄとして検出対象画像が抽出されたら、その検出対象画像（手）の特徴点として典型的には重心位置座標を判定する。
図９Ｃに示すように、動きのある画像としての検出対象画像の重心ｇを判定し、その画像上のＸ座標値（Ｘｇ）とＹ座標値（Ｙｇ）を求める。
この重心座標が、ジェスチャー操作にかかる手の、１つの位置座標とされ、上述した図６Ｂの重心座標メモリエリアＡＲＧに記憶される。
【００３８】
手の動きは、以降、同様に求められる重心位置座標の変化、つまり順次重心座標メモリエリアＡＲＧに記憶されていく重心座標から求められる動きベクトルで判定される。
即ち、以上のようにフレームＮ、Ｎ＋１の２値化後の差分画像から１つの重心座標が求められたら、例えば次にフレームＮ＋１、Ｎ＋２について同様に差分画像を生成して重心座標を求め、重心座標メモリエリアＡＲＧに記憶する。
さらにフレームＮ＋２とＮ＋３、フレームＮ＋３とＮ＋４・・・と、同様に差分画像から求めた重心座標を求め、重心座標メモリエリアＡＲＧに記憶する。
このような動作の過程で、ＣＰＵ２（入力認識部１２）は、重心座標メモリエリアＡＲＧに記憶された座標値の変化から、手の動きを判定することができる。
なお、ここでは検出対象画像（手）の特徴点として典型的な例として重心位置座標を用いて説明するが、特徴点としてはこれに限定されず、指先に相当する最上部の座標や、重心と最上部の中間部の座標などを用いてもよい。ジェスチャー操作に割り当てる手の動きによっては、手首よりも指先の方が大きく動きやすい場合もあるため、特徴点は適宜選択すればよい。
【００３９】
［３−２：入力認識処理］
以上の入力認識処理を行うＣＰＵ２の具体的な処理例を、図１２により説明する。図１２の処理は、図４の構成でいえば、画像取込部１１が順次取り込む赤外線カメラ１からの温度分布画像について、入力認識部１２がステップＦ１０１〜Ｆ１０９の処理を行ってジェスチャー操作を認識し、それに応じて機器制御部１３がステップＦ１１０で、操作に応じた制御を行うものとなる。以下、ＣＰＵ２の処理として説明する。
【００４０】
ＣＰＵ２は、まずステップＦ１０１で、初期処理として、図６で説明した画像メモリエリアＡＲ−ａ，ＡＲ−ｂをクリアする。
以降ＣＰＵ２は、ジェスチャー操作の入力認識を終了するまで、赤外線カメラ１の撮像画像を取り込む毎に、ステップＦ１０２〜Ｆ１１０の処理を継続して行うこととなる。
【００４１】
ＲＡＭ３に確保される画像メモリエリアＡＲ−ａ，ＡＲ−ｂは、図８に示したような２値化画像Ｐｉｃ−ａ、Ｐｉｃ−ｂを記憶するエリアとされる。赤外線カメラ１からの各フレームの撮像画像（温度分布画像）は、順次２値化された後、差分画像Ｐｉｃ−ｃの生成のために画像メモリエリアＡＲ−ａ、ＡＲ−ｂに記憶される。
このためＣＰＵ２は、ステップＦ１０２では、画像メモリエリアＡＲ−ｂの画像データを、画像メモリエリアＡＲ−ａに移動させる。
またＣＰＵ２はステップＦ１０３で、今回取り込んだフレームの撮像画像（温度分布画像）を、閾値ｔｈ１，ｔｈ２を用いて２値化し、画像メモリエリアＡＲ−ｂに記憶する。
ステップＦ１０４でＣＰＵ２は、画像メモリエリアＡＲ−ａに２値化画像が記憶されているか否かを確認し、記憶されていなければ、ステップＦ１０２に戻る。
【００４２】
以上の処理は、順次撮像されるフレームとして、今回のフレーム（フレームＮ＋１）に係る２値化画像が画像メモリエリアＡＲ−ｂに記憶され、前回のフレーム（フレームＮ）に係る２値化画像が画像メモリエリアＡＲ−ａに記憶されるようにする処理となる。
つまり処理開始後の最初のフレームの撮像画像に関しては、まずステップＦ１０３で２値化画像とされて画像メモリエリアＡＲ−ｂに記憶される。
次のフレームが取り込まれた時点では、ステップＦ１０２で、前のフレームの２値化画像が画像メモリエリアＡＲ−ａに移動され、今回のフレームの２値化画像が画像メモリエリアＡＲ−ｂに記憶される。
従って、今回のフレームに係る２値化画像Ｐｉｃ−ｂが画像メモリエリアＡＲ−ｂに記憶され、前回のフレームに係る２値化画像Ｐｉｃ−ａが画像メモリエリアＡＲ−ａに記憶される。ステップＦ１０２，Ｆ１０３では、これが以降のフレームの取込時にも継続されることになる。
【００４３】
撮像画像の２フレーム目以降の取込時点の処理は、画像メモリエリアＡＲ−ａ、ＡＲ−ｂに、今回の２値化画像Ｐｉｃ−ｂと前回の２値化画像Ｐｉｃ−ａが記憶されている状態となっている。その場合は、ステップＦ１０４からＦ１０５に進む。
ＣＰＵ２は、ステップＦ１０５で、画像メモリエリアＡＲ−ａ、ＡＲ−ｂに記憶されている２値化画像Ｐｉｃ−ａ、Ｐｉｃ−ｂの各画素値の排他的論理和を計算し、差分画像Ｐｉｃ−ｃを生成する。そして差分画像Ｐｉｃ−ｃを画像メモリエリアＡＲ−ｃに記憶する。
【００４４】
次にＣＰＵ２はステップＦ１０６で、差分画像Ｐｉｃ−ｃのうちで微小領域を消去し、例えば図９Ｂに示したような、微小領域が消去された差分画像Ｐｉｃ−ｄを生成して、それを画像メモリエリアＡＲ−ｄに記憶する。
具体的には、差分画像Ｐｉｃ−ｃのうちで「１」の画素が連続する領域のうちで、その領域の面積が、所定値（所定画素数）以下である領域について、画素値を「０」に置き換えれば良い。
【００４５】
これにより、画像Ｐｉｃ−ｄは、ユーザの手などの検出対象物に相当する検出対象画像が残された差分画像となる。そこでＣＰＵ２はステップＦ１０７で、画像Ｐｉｃ−ｄに表れている検出対象画像について、重心計算を行う。そして求めた重心座標値を、重心座標メモリエリアＡＲＧに記憶する。
【００４６】
ステップＦ１０８では、ＣＰＵ２は、その時点で重心座標メモリエリアＡＲＧに保持されている座標値を解析し、検出対象画像の動き状態を判定する。
具体的には、重心座標メモリエリアＡＲＧに複数の重心座標が存在している場合に、その重心座標の変化のベクトル（方向及び変化量）を求める。
求められた１又は複数のベクトルから、検出対象画像がどのような動き（画像上での位置変動）を行っているかを判定する。
なお、このような処理のため、動き状態を判定するのは、重心座標メモリエリアＡＲＧに、少なくとも２以上の座標値が格納された以降となる。つまり少なくとも第３フレーム目の撮像画像の取込後に、ステップＦ１０２〜Ｆ１０７の処理が行われた後に、動き状態が判定可能となる。第２フレームの取込後に、第１，第２のフレームについての差分画像に基づいて１つ目の重心座標が判定でき、第２，第３のフレームについての差分画像について２つ目の重心座標が判定できるためである。
【００４７】
ＣＰＵ２は、ステップＦ１０９では、ステップＦ１０８での動き状態の解析の結果により、或るジェスチャー操作が行われたか否かを判定し、まだ動き状態が解析できない第２フレーム目までの時点、或いは動き状態が検出できるが、それが特定のジェスチャー操作に該当する動きではないと判定された場合は、ステップＦ１０２に戻って、次の取込画像に応じた上記処理を継続する。
一方、或る時点で、ステップＦ１０８で判定された検出対象画像の動き状態が、或るジェスチャー操作の動きに該当すると判定した場合は、ＣＰＵ２はステップＦ１１０に進み、当該ジェスチャー操作に応じた制御コマンドを主機能部６に送信する。
例えば図２Ａに示したうちで、ユーザの手の動きとして、左方に移動させるという動き状態を認識した場合、ＣＰＵ２は、チャンネルアップの制御コマンドを主機能部６に送信し、チャンネルアップ動作を実行させることとなる。
【００４８】
以上の処理により、ＣＰＵ２は赤外線カメラ１の撮像画像から、ユーザの手（検出対象物）の画像（検出対象画像）の動き状態を判定し、その動き状態が予め設定されたジェスチャー操作の動きに該当している場合、当該操作に応じた機器動作が実行されるように制御を行うこととなる。
このような第１の実施の形態の入力認識処理によれば、次のような効果が得られる。
【００４９】
まず、赤外線カメラ１の画像を人の肌の温度範囲を示す閾値ｔｈ１，ｔｈ２を用いて２値化することで、人の肌の温度とは異なる温度のものを、検出対象から排除できる。例えば照明、暖房器具等の高温の物、及び通常は体温より温度の低い家具等である。従って、赤外線撮像された温度分布画像の２値化で、人の肌の部分、即ち肌温度画像部を容易に抽出できる。
その上で、差分画像として動きのある肌温度画像部を抽出する。これによって、手を検出対象物とする場合に、顔など、肌温度ではあるが検出対象物ではない部分を除外できる。
即ち、２値化及び差分画像の生成により、画像のパターンマッチングによる形状解析等の複雑な処理を行うことなく、検出対象画像を抽出できる。
【００５０】
また、このような処理では、差分画像上には、微小領域として、検出対象画像以外の画像もわずかに残される場合があるが、そのような微小領域、例えば連続画素領域の面積（画素数）が所定以下の部分を消去することで（画像Ｐｉｃ−ｄ）、より正確に動きのある部分としての検出対象画像を判定できる。
なお、微小領域の消去は、例えばテレビジョン受像器２０から離れた場所にいる人の手の動きなど、ジェスチャー操作に関係のない人の動きを、ジェスチャー操作と誤認定しないようにするという効果も生ずる。即ち遠くに居る人の肌の部分の画像は、小さい面積の画像部分となり、差分画像Ｐｉｃ−ｃに表れていても、画像Ｐｉｃ−ｄでは消去されている部分となるからである。
【００５１】
以上のように画像Ｐｉｃ−ｄで検出対象画像を検出したら、検出対象画像の重心座標を求め、重心座標の変化から、検出対象画像の位置変動、つまり動きの量や方向性による動き状態を判定する。これも単純な重心位置間のベクトル計算で可能となる。
このような本例の処理では、容易な演算処理で、正確にジェスチャー操作を認識でき、ジェスチャー操作に応じた制御が可能となる。これによってジェスチャー操作によるヒューマンインターフェースを簡易かつ正確に実現できる。
提供できる。
【００５２】
なお赤外線カメラ１を用いることによれば、照明の消えた暗い場所でも操作者のジェスチャー操作に用いる肌の部位を検出することができるため、室内が暗い場合でも入力認識を適切に実行できるという利点もある。
【００５３】
［３−３：赤外線カメラの位置］
ところでテレビジョン受像器２０に配置する赤外線カメラ１については、図１に示したように、なるべく機器の上方に配置することが好ましい。
図１３Ａは、仮に、テレビジョン受像器２０の筐体の下方位置に赤外線カメラ１を配置した状態を示している。
この場合、赤外線カメラ１の撮像視野角度は、図示のようにある程度の仰角をもって設定される。通常、ユーザは、手によるジェスチャー操作は、自分の胸の前方位置で行うと考えられ、そのジェスチャー操作が行われる空間を適切に撮像できるようにするためである。
ところがこの場合、図１３Ｂのように、撮像画像として手の部分のバックに顔の部分が重なることが多くなると考えられる。
このような撮像画像では、２値化すると手と顔の部分が同一の領域となり、差分画像Ｐｉｃ−ｃ上に手の動きが表れなく場合が発生しやすい。
【００５４】
これに対して図１４Ａのように、赤外線カメラ１をなるべく上方に配置すると、撮像画像上では図１４Ｂのように顔の部分と手の部分が明確に分かれて撮像されやすくなる。
つまりこの場合は、差分画像Ｐｉｃ−ｃ上で、手の動きが顔に隠れてしまうということが殆どなくなり、手の動きが明確に判定できることとなる。
以上のことから理解されるように、通常は、ユーザの顔よりも手の位置の方が低いことを考慮し、手によるジェスチャー操作を検出する入力装置とする場合は、赤外線カメラ１は、なるべく高い位置（撮像画面上で手と顔が重なりにくい位置）から撮像を行うようにすることが好ましい。
このため機器筐体の上方部位に赤外線カメラ１を内蔵したり、或いは機器筐体とは別体で、上方に赤外線カメラ１が位置されるようにするとよい。
【００５５】
＜４．第２の実施の形態＞
続いて第２の実施の形態としての入力認識処理例を図１５で説明する。図１５は上述の図１２と同様にＣＰＵ２の処理を示したものである。なお、図１５において図１２と同一の処理は同一のステップ番号を付し、説明を省略する。
【００５６】
この処理例は、ＣＰＵ２（入力認識部１２）は、赤外線カメラ１で撮像された温度分布画像の２値化画像において、所定以上の面積を持つ肌温度画像部から、検出対象画像を選定するようにするものである。
図１５の処理例は、図１２と同様のステップＦ１０１〜Ｆ１０４の後に、ステップＦ１４０を加えたものである。
ステップＦ１４０はＣＰＵ２が、画像メモリエリアＡＲ−ａ、ＡＲ−ｂに記憶された２値化画像Ｐｉｃ−ａ、Ｐｉｃ−ｂに、所定面積以上の「１」の画素領域が存在するかを確認する処理となる。上述の第１の実施の形態の説明のとおり、「１」の画素とは、閾値ｔｈ１，ｔｈ２の間の温度である手や顔などに相当する肌温度画像部である。
ＣＰＵ２は、「１」の画素が連続する画素領域を確認し、その面積（＝画素数）を求める。そして、２値化画像Ｐｉｃ−ａ、Ｐｉｃ−ｂに、それぞれ面積（画素数）が所定値以上の肌温度画像部が存在する場合に、ステップＦ１０５以降に進むようにする。ステップＦ１０５〜Ｆ１１０の処理は図１２と同様である。
またＣＰＵ２は、ステップＦ１４０の処理で、２値化画像Ｐｉｃ−ａ、Ｐｉｃ−ｂの一方でも、面積が所定以上の肌温度画像部が存在しなければ、ステップＦ１０２に戻る。つまりその場合は差分画像Ｐｉｃ−ｃの生成や座標計算は行わない。
【００５７】
この処理例は、不要な演算処理の不実行による処理の効率化と、操作者たるユーザの手以外の動きをジェスチャー操作と誤認する可能性を低くする点で有用である。
すなわち、ステップＦ１４０で所定面積以上の肌温度画像部が存在しないとされるのは、操作者たるユーザのジェスチャー操作が行われていないと考えられることに着目した処理となる。
【００５８】
通常、ジェスチャー操作を行うユーザは、図１のようにテレビジョン受像器２０の正面側で比較的近い位置に居る。従って、操作者の手や顔は、赤外線カメラ１での撮像画像において比較的大きな面積（画素領域）を占めることとなる。
一方、操作者がテレビジョン受像器２０の前から席を外した場合は、そのような操作者の手や顔は、温度分布画像に撮像されない。また或る人が通常はジェスチャー操作を行わないような離れた位置にいる場合は、赤外線カメラ１でその人の手や顔が撮像されたとしても、それによる肌温度画像部は面積の小さいものとなる。
これらのことから、２値化画像において肌温度画像部が表れていたとしても、その面積が小さい画像は、「ジェスチャー操作の可能性のあるユーザの手の部分」ではないと判断し、ステップＦ１４０から処理を抜ける（ステップＦ１０５以降を行わない）ようにする。
【００５９】
これによって、遠くの人の動きをジェスチャー操作と誤認することを防止したり、また人が居ないときに無駄な差分画像生成や座標演算を行わないといった処理の効率化を実現できる。
【００６０】
ところで、同じ目的の処理として図１６のような処理も考えられる。図１６は、図１２の処理にステップＦ１４１を加えたものである。
ステップＦ１０１〜Ｆ１０５は図１２と同様である。
【００６１】
ＣＰＵ２は、ステップＦ１４１では、ステップＦ１０５で差分画像Ｐｉｃ−ｃを生成した時点で、差分画像Ｐｉｃ−ｃに所定面積以上の「１」の画素が連続した領域が存在するか否かを確認する。
そして差分画像Ｐｉｃ−ｃに、面積（画素数）が所定値以上の「１」画素部分が存在する場合に、ステップＦ１０６以降に進むようにする。ステップＦ１０６〜Ｆ１１０の処理は図１２と同様である。
またＣＰＵ２は、ステップＦ１４１の処理で、差分画像Ｐｉｃ−ｃに、面積が所定以上の「１」画素部分が存在しなければ、ステップＦ１０２に戻る。つまりその場合は座標計算は行わない。
【００６２】
差分画像Ｐｉｃ−ｃにおける「１」の画素とは、肌温度画像部のうち、動きのある部分を示すものである。従ってステップＦ１４１で差分画像Ｐｉｃ−ｃにおいて連続した「１」画素の面積が所定以上である場合とは、手や顔に相当する肌温度画像部のうちで、ある程度はっきりした動きが認められる領域があると判定できる場合となる。
第１の実施の形態で説明したように、ステップＦ１０６では差分画像Ｐｉｃ−ｃにおいて微小領域を消去するが、この図１６においてステップＦ１４１で、所定面積以上の「１」画素領域が存在しない場合とは、ジェスチャー操作としての有効な動きが検出されない場合となる。
【００６３】
例えばステップＦ１４１の面積判定の閾値と、ステップＦ１０６の微小領域の判定の閾値を同一値とした場合は、ステップＦ１４１で、所定面積以上の「１」画素領域が存在しない場合とは、もしステップＦ１０６で微小領域を消去した時点で、画像Ｐｉｃ−ｄには「１」画素が存在しなくなる状況となる。つまり、ジェスチャー操作に係る動きのある画像が元々存在していない状況である。
また例えばステップＦ１４１の面積判定の閾値を、ステップＦ１０６の微小領域の判定の閾値よりも大きい値とした場合は、ステップＦ１４１で、所定面積以上の「１」画素領域が存在しない場合とは、もしステップＦ１０６で微小領域を消去した後の画像Ｐｉｃ−ｄにおける「１」画素は、さほど動きが大きくない画像に対応した情報となっている場合である。つまりその場合の「１」画素は、ジェスチャー操作に対応した情報であるという可能性は低い。
【００６４】
これらのことから差分画像Ｐｉｃ−ｃにおいて所定面積以上の「１」画素領域が存在しない場合とは、それはジェスチャー操作に係る画像である確率は極めて低い。そこでそのような場合は、座標値の計算を行わずにステップＦ１４１からＦ１０２に戻るようにすることで処理の効率化を図り、また微小な動きをジェスチャー操作の一部として誤認することを解消する。
【００６５】
＜５．第３の実施の形態＞
第３の実施の形態の処理を図１７，図１８で説明する。
この例は、ＣＰＵ２（入力認識部１２）が、検出対象画像の動き状態を示す位置の変化が所定回数以上連続して所定量以上であることを条件として、操作入力の認識処理を行うものである。
【００６６】
図１７はフレームＮ、Ｎ＋１、Ｎ＋２の２値化画像としてユーザの手の部分のみを示している。ジェスチャー操作が行われた場合、ユーザの手は各フレームで連続してある程度以上の量の動きが観測される。例えば図示のようにフレームＮ、Ｎ＋１、Ｎ＋２・・・と連続して画像上の手の位置の変動が観測される。
一方、手の画像が２値化画像に表れたとしても、連続したフレーム間でほぼ同じ位置である場合は、手は動いておらず、ジェスチャー操作を行っているものではないと判断できる。
そこで、検出対象画像である手の画像の動き状態を示す位置の変化が所定フレーム以上連続して所定量以上であることを条件とすることで、的確にジェスチャー操作に係る動きを判定できる。
【００６７】
具体的な例としてはＣＰＵ２は、図１２の処理のステップＦ１０８において、図１８に示す処理を含むようにすればよい。
第１の実施の形態で説明したように図１２のステップＦ１０８では、重心座標メモリエリアＡＲＧの座標値を解析して動き状態を判定する。このときにＣＰＵ２は、図１８の動き判定処理を行う。
なお、図１８の処理例は、動きが２回連続して所定量以上であることを条件とする例である。
【００６８】
まずステップＦ１５０でＣＰＵ２は、フレームＮとフレームＮ＋１間の検出対象物の動きベクトルを求め、これを動きベクトルＶ１とする。
またステップＦ１５１でＣＰＵ２は、フレームＮ＋１とフレームＮ＋２間の検出対象物の動きベクトルを求め、これを動きベクトルＶ２とする。
【００６９】
なお図１７では模式的に２値化画像でフレームＮとフレームＮ＋１間の検出対象物の動きベクトルＶ１とし、フレームＮ＋１とフレームＮ＋２間の検出対象物の動きベクトルＶ２としているが、図１２の処理例に則していえば多少異なる点がある。
図１２の処理例では、実際には座標値は微小領域消去後の差分画像Ｐｉｃ−ｄから求めているため、動きベクトルＶ１は、フレームＮとフレームＮ＋１から生成した画像Ｐｉｃ−ｄから求められる座標値と、フレームＮ＋１とフレームＮ＋２から生成した画像Ｐｉｃ−ｄから求められる座標値から求められるものとなる。同様に、動きベクトルＶ２は、フレームＮ＋１とフレームＮ＋２から生成した画像Ｐｉｃ−ｄから求められる座標値と、フレームＮ＋２とフレームＮ＋３から生成した画像Ｐｉｃ−ｄから求められる座標値から求められるものとなる。
つまり、動きベクトルＶ１、Ｖ２は、座標メモリエリアＡＲＧに順次記憶された座標値の差分として求めれば良い。
【００７０】
ＣＰＵ２は、ステップＦ１５２で、動きベクトルＶ１、Ｖ２が、それぞれ動き量の閾値Ｖｓより大きいか否かを判定する。
そしてＶ１＞Ｖｓ、かつＶ２＞ＶｓであればステップＦ１５３に進み、動き有りと判定する。一方、Ｖ１＞Ｖｓ、かつＶ２＞ＶｓでなければステップＦ１５４に進み、動き無しと判定する。
【００７１】
この図１８はステップＦ１０８内の処理の一部（動き判定）のみを示しているが、ＣＰＵ２は、動き有りと判定した場合は、さらに座標メモリエリアＡＲＧの各座標値から動き状態を判定し、それがジェスチャー操作に該当するか否かを判断することになる。
一方、動き無しと判定した場合は、動き状態がジェスチャー操作に該当するか否かの判断を行わずに、即座に操作入力は行われていないと判定できる。
【００７２】
このように、検出対象画像の動き状態を示す位置の変化が所定回数以上連続して所定量以上であること、つまり動きベクトルで求められる動きの量が連続して所定量以上であることを条件として動き状態の判断を行うことで、ユーザの一瞬の動きや微小な動きにむやみに反応してしまうことによる誤動作を防止すると共に、処理の効率化を実現できる。
なお、図１８の例では２回連続してＶｓ以上の動きという条件の例としたが、もちろん回数については３回連続、４回連続などを条件としても良い。
例えば３回連続の場合は、さらに続くフレームに関しての動きベクトルＶ３を求め、Ｖ１＞Ｖｓ、かつＶ２＞Ｖｓ、かつＶ３＞Ｖｓを条件とすれば良い。
【００７３】
また、上記例は図１８の処理を図１２のステップＦ１０８内で行うものとしたが、このような例に限られない。例えば図１７に示したように各フレームの２値化画像からベクトルＶ１、Ｖ２・・・を求めるようにして、その段階で所定回数、所定量の条件を満たしているか否かを判断しても良い。
【００７４】
＜６．第４の実施の形態＞
第４の実施の形態の処理例を図１９，図２０で説明する。
これは２値化画像の生成において、はじめに第１の閾値ｔｈ１と第２の閾値ｔｈ２を用いて、対象となる例えば手の部分を検出した後、検出対象物の温度が絞り込めた場合、第１の閾値より高い第３の閾値ｔｈ３と第２の閾値より低い第４の閾値ｔｈ４を設定し、検出範囲を狭め、より肌温度画像部を特定し易くするものである。
【００７５】
ＣＰＵ２（入力認識部１２）は、図１９Ａに示すように、人の肌の温度範囲として設定した閾値ｔｈ１、ｔｈ２に対して、温度分布画像の各画素の温度値を比較することで、温度分布画像内での肌温度画像部の検出を行う。これは第１の実施の形態で説明したとおりである。
その後ＣＰＵ２は、検出対象画像とされた肌温度画像部の温度値に基づいて、閾値ｔｈ１、ｔｈ２で示される温度範囲より狭い温度範囲を示す閾値ｔｈ３、ｔｈ４（図１９Ａ参照）を設定し、以降、閾値ｔｈ３，ｔｈ４を用いて、温度分布画像内での肌温度画像部の検出、つまり２値化画像の生成を行うようにする。赤外線による温度検出は分解能が高く、０．１度未満の差でも検出できるため、ユーザの顔と手の温度差や、体温の個人差等も十分検出が可能であり、このようにすることでジェスチャー操作の認識精度を向上できるからである。
【００７６】
このためにはＣＰＵ２は、入力認識処理については例えば図１２と同様に行えば良い。ＣＰＵ２（入力認識部１２）は図１２の処理と並行して、例えば図２０のような閾値調整処理を実行するようにする。
【００７７】
ＣＰＵ２はステップＦ２０１で、初期設定として温度幅Ｔｄの設定を行う。温度幅Ｔｄとは、図１９Ｂに示す、目的温度Ｔｇからの閾値ｔｈ３，ｔｈ４までの温度幅である。目的温度Ｔｇとは、例えば検出対象物たる手の温度である。
【００７８】
ＣＰＵ２は、ステップＦ２０２で、まずは人の肌を検出するための一般的な温度範囲として閾値ｔｈ１，ｔｈ２を、図１２のステップＦ１０３で使用する閾値として設定する。
これにより、図１２の処理は、第１の実施の形態で説明したように実行される状態となる。
【００７９】
その後ＣＰＵ２は、ステップＦ２０３で検出対象物の温度（目的温度Ｔｇ）の測定を行う。この処理は図１２の処理の実行中に、或る時点で検出対象画像が特定された際に可能となる。例えば図１２のステップＦ１０６で微小領域消去後の差分画像Ｐｉｃ−ｄが得られた時点で、検出対象画像が特定される。
差分画像上で特定される検出対象画像に相当する２値化画像の画素位置（座標値）を求め、該２値化画像の元となった温度分布画像において、該当の画素位置における温度値を検出すれば、それが検出対象物（例えば操作者たるユーザの手）の温度、つまり目的温度Ｔｇとして検出できる。
【００８０】
ＣＰＵ２は、目的温度Ｔｇの測定を完了したらステップＦ２０４からＦ２０５に進み、先に設定した温度幅Ｔｄと目的温度Ｔｇを用いて閾値ｔｈ３，ｔｈ４を次のように決定する。
閾値ｔｈ３＝Ｔｇ−Ｔｄ
閾値ｔｈ４＝Ｔｇ＋Ｔｄ
このように閾値ｔｈ３、ｔｈ４を決定したら、ＣＰＵ２はステップＦ２０６で、閾値ｔｈ３、ｔｈ４を図１２のステップＦ１０３で使用する閾値として設定する。
これにより、以降も継続される図１２の処理は、ステップＦ１０３において閾値ｔｈ３、ｔｈ４を用いての２値化処理が行われることになる。
【００８１】
閾値ｔｈ３，ｔｈ４を用いて２値化画像が生成されることで、２値化画像では、操作者の肌の部分以外の排除能力が高まり、２値化画像に表れる肌温度画像部は、操作者の肌の部分である可能性を一層高くできる。
従って、図１２等の処理によるジェスチャー操作の認識の確度が高まることとなる。即ち２値化画像として肌温度画像部をより正確に判定できるためである。
また、複数の人が居る場合に、操作者ではない人の肌の部分の画像を２値化画像から排除できる可能性も高められることからも、ジェスチャー操作認識の確度を向上できる。
さらには、例えば操作者の手の温度と顔の温度が多少異なる場合に、手の部分のみを２値化画像で抽出できる場合もあり、その場合もジェスチャー操作の認識確度を高めることとなる。すなわち操作者が手を動かす範囲のうちの一部が顔と重なっていたとしても、手の動きだけを確実に認識する等の効果がある。
【００８２】
閾値ｔｈ３、ｔｈ４を用いる状態は、その後、ジェスチャー追尾が終了とされるまで継続され、ジェスチャー追尾が終了とされたら、ステップＦ２０２に戻って、閾値ｔｈ１，ｔｈ２を使用する状態にセットする。
【００８３】
ステップＦ２０７でいうジェスチャー追尾の終了の判断は各種の例が考えられる。
例えば図１２の処理で１つのジェスチャー操作が認識され、ステップＦ１１０で操作コマンドが発行された時点をジェスチャー追尾の終了としてもよい。このようにした場合、１回のジェスチャー操作に関しての各フレームの処理において、閾値ｔｈ３、ｔｈ４をセットした後の２値化画像の精度を高めることができ、ジェスチャー操作としての動き状態の認識の精度を向上させることができる。
また或るユーザの肌温度を目的温度Ｔｇとして閾値ｔｈ３、ｔｈ４を設定すると、他のユーザのジェスチャー操作が認識できない場合が生ずる。そのため、１回のジェスチャー操作の完了で閾値ｔｈ３、ｔｈ４の設定を解除して、閾値ｔｈ１，ｔｈ２の使用状態に戻すこととすれば、複数の人のジェスチャー操作に対応するという意味で好適である。
【００８４】
一方、ある程度の時間間隔で、ジェスチャー操作が認識されなかったら、ジェスチャー追尾の終了と判断しても良い。
例えば或る一人のユーザが、続けてジェスチャー操作を行うことが通常に考えられる。その場合、一旦或るユーザの肌の温度を目的温度Ｔｇとして閾値ｔｈ３、ｔｈ４を使用設定した場合、以降、その閾値ｔｈ３、ｔｈ４を用いることが好ましいともいえる。そこで、短い時間間隔で繰り返し何らかのジェスチャー操作が行われている間は、同一人が操作していると仮定して、閾値ｔｈ３、ｔｈ４の使用設定を継続するとよい。
またこのように、ある程度継続して閾値ｔｈ３、ｔｈ４の使用状態を継続するものとする場合は、ステップＦ２０３での目的温度Ｔｇの測定は、少なくとも１回のジェスチャー操作を検知した後に行うようにしてもよい。ジェスチャー操作と認識された場合に、その際の該当する画像を検出対象画像とすることで、検出対象物の温度を正確に検出でき、もって閾値ｔｈ３、ｔｈ４の精度を高めることができるためである。
また、同様の目的で、閾値ｔｈ３、ｔｈ４の設定を行った後、一定時間を経たらジェスチャー追尾の終了と判断しても良い。
さらには、特定のジェスチャー操作を、閾値ｔｈ３、ｔｈ４の設定解除操作とし、ユーザの指示でジェスチャー追尾の終了とするようにしてもよい。
【００８５】
なお、以上の図２０の処理は図１２の入力認識処理と並行して行うとしたが、例えば設定モードとして、閾値ｔｈ３、ｔｈ４の設定を行うことも考えられる。
例えば設定モードとして、閾値ｔｈ１，ｔｈ２の使用状態でユーザに手を赤外線カメラ１の前にかざしてもらったり、ジェスチャー操作を行ってもらう。そしてその状態で肌温度画像部を検出し、温度分布画像における該当部分の画素の温度を目的温度Ｔｇとする。目的温度Ｔｇを求めたら、閾値ｔｈ３、ｔｈ４を設定し、以降は常時、閾値ｔｈ３、ｔｈ４を図１２のステップＦ１０３で使用する閾値とする。
ジェスチャー操作に関しては特定ユーザが常に使用するような場合、このように予めそのユーザの体温に合わせた閾値ｔｈ３、ｔｈ４を設定しておくことも精度向上に好適である。
【００８６】
ところで閾値ｔｈ３、ｔｈ４は目的温度Ｔｇから求める値としたが、閾値ｔｈ１，ｔｈ２よりも狭い温度範囲を示す値としての固定値を用いることも考えられる。例えば検出対象物であるユーザの手の温度が、閾値ｔｈ３、ｔｈ４の範囲内にある場合は、閾値ｔｈ３、ｔｈ４の使用に切り換える等の処理が考えられる。
【００８７】
＜７．第５の実施の形態＞
第５の実施の形態の処理を図２１，図２２，図２３で説明する。
この第５の実施の形態は、ＣＰＵ２（入力認識部１２）が、検出対象画像の特定の動きを検出した場合、該特定の動きの際の検出対象画像の温度分布画像や２値化画像における位置に基づいて検出対象範囲を設定し、以降、その検出対象範囲内で、検出対象画像の検出を行うようにする例である。
【００８８】
図２１に例を示す。図２１Ａは２値化画像においてユーザの手の部分である領域ＨＤと顔の部分である領域ＦＣが表れている状態で示している。
ここで、入力認識処理の過程で、ユーザが範囲設定動作としての特定の動きとして、破線矢印ＲＤのように手で円を描くような動作を行ったとする。
このような特定の動きを検出した場合、当該動きの画像上の位置に基づいて、図２１Ｂに示すように検出対象範囲Ａｄｅｔを設定する。
以降は、この検出対象範囲Ａｄｅｔ内で、検出対象画像の検出及び動き状態の判定を行うものとする。
【００８９】
ＣＰＵ２の処理例を図２２に示す。なおステップＦ１０１〜Ｆ１１０は図１２と同様であり、説明を省略する。
この図２２は、基本的な処理は図１２と同様となるが、例えば上記の図２１のように、円を描くようなジェスチャーを特定のジェスチャーとして予め設定しておく。そして、ユーザがこの特定のジェスチャーを行った場合は、検出対象範囲Ａｄｅｔの設定を行う。
即ちＣＰＵ２は、ステップＦ１０８での検出対象画像の動き状態の判定によって、ジェスチャー操作としての動きが認められた場合は、ステップＦ１０９からＦ１１０に進んで対応したコマンドの発行を行うが、本例の場合、ステップＦ１０８での動き判定において、ジェスチャー操作の動きであるか否かの判定と共に、例えば円を描くような範囲設定動作としての「特定のジェスチャー」に相当する動きであるか否かの判定も行うようにする。
そして範囲設定動作としての特定のジェスチャーが認められた場合は、ステップＦ１２０からＦ１２１に進み、ＣＰＵ２は、検出対象範囲Ａｄｅｔの算出処理を行う。
【００９０】
このステップＦ１２１の検出対象範囲Ａｄｅｔの算出処理の例を図２３に示している。
図２１Ａに示したようにユーザが破線矢印ＲＤのように円弧を描く動作を行ったことに応じて、ＣＰＵ２はステップＦ３０１で、画像上における円弧の中心座標ＣＰと、直径Ｄを求める。
なお、各フレームでの手の画像の重心座標は、図２２のステップＦ１０７で求められ、順次重心座標メモリエリアＡＲＧに記憶されている。従って、図２２のステップＦ１０８では重心座標値の変位（動きベクトルの方向）から、円を描くようなジェスチャーを認識できる。さらに図２３のステップＦ３０１では、重心座標メモリエリアＡＲＧに記憶された各重心座標の軌跡で形成される円について、その中心座標ＣＰ及び直径Ｄを、その各重心座標値から求めることができる。
【００９１】
次にＣＰＵ２はステップＦ３０２で、検出対象物（手）の高さＨと幅Ｗを求める。検出対象物の高さＨと幅Ｗは、或るフレームの２値化画像における手の部分の高さ方向と幅方向の画素数から求めることができる。
【００９２】
そしてＣＰＵ２はステップＦ３０３で、中心座標ＣＰを中心にして、幅Ｗ＋Ｄ、高さＨ＋Ｄの範囲を、検出対象範囲Ａｄｅｔとして設定する。即ち図２１Ｂに示すように、手の画像が通常撮されるであろう範囲が、検出対象範囲Ａｄｅｔとされる。
図２２のステップＦ１２１で以上のように検出対象範囲Ａｄｅｔを算出したら、ＣＰＵ２はステップＦ１２２で、当該検出対象範囲Ａｄｅｔに限定した入力認識処理を開始して、ステップＦ１０２からの処理を行う。
従って以降は、検出対象範囲Ａｄｅｔのみを対象として、ステップＦ１０２〜Ｆ１０８の処理が実行される。
例えば検出対象範囲Ａｄｅｔについて、２値化画像が生成される。そして複数の２値化画像の差分画像が生成され、微小領域の消去が行われ、検出対象画像が特定されて、その重心位置が記憶される。そして重心位置の変化状況から、検出対象画像の動き状態が判定される。
なお、２値化画像については画面全体で通常に行い、その後、差分画像Ｐｉｃ−ｃの生成範囲を、検出対象範囲Ａｄｅｔ内のみに限定してもよい。
【００９３】
以上のような処理例によれば、撮像画像上での範囲として、ユーザの手のジェスチャー操作が位置する範囲が限定されて入力認識が行われる。このため、顔の部分や他の物を除外して入力認識を行う確立を高めることができ、ジェスチャー操作認識の確度を，高めることができる。
【００９４】
なお、以上の例では図２２の入力認識処理の過程で、ユーザが特定のジェスチャーを行うことに応じて検出対象範囲Ａｄｅｔを設定するものとしたが、入力認識処理とは独立した設定モード等で検出対象範囲Ａｄｅｔの設定を行っても良い。
例えば設定モード状態においてユーザに特定のジェスチャーを実行してもらい、ＣＰＵ２は、それを認識して図２３のような処理で検出対象範囲Ａｄｅｔを設定する。以降は検出対象範囲Ａｄｅｔにおいて入力認識処理を行うようにしても良いし、ユーザの操作により検出対象範囲Ａｄｅｔが有効化されるようにしてもよい。
【００９５】
また、特定のジェスチャーは、円を描くようなジェスチャー以外に多様に考えられることは言うまでもない。
また、検出対象範囲Ａｄｅｔの設定手法も多様に考えられる。
例えばユーザに手を四角形や円形に動かすような「特定のジェスチャー」を実行してもらい、その移動軌跡を元に、移動軌跡外縁より若干広い画像上の範囲を検出対象範囲Ａｄｅｔとすることなども考えられる。
【００９６】
＜８．第６の実施の形態＞
第６の実施の形態を図２４，図２５で説明する。これは、ＣＰＵ２（入力認識部１２）が、差分画像で動きが観測される肌温度画像部が所定の時間内に検出できない場合に、メッセージ出力を実行させる処理を行う例である。
【００９７】
図２４Ａ，図２４Ｂに、或る連続するフレームの２値化画像Ｐｉｃ−ａ、Ｐｉｃ−ｂを示している。この場合に撮像画像にはユーザの顔と手が写されており、２値化画像Ｐｉｃ−ａ、Ｐｉｃ−ｂには、ユーザの顔に相当する領域ＦＣと手に相当する領域ＨＤが表れているとしている。ところが図示のように手の領域ＨＤが顔の領域ＦＣと重なっており、手の領域ＨＤのみを抽出できない状況にある。換言すれば、手の動きが、背後の顔の領域ＦＣに隠れて検出できない。
ＣＰＵ２から見れば、この２値化画像Ｐｉｃ−ａ、Ｐｉｃ−ｂの差分画像Ｐｉｃ−ｃは図２４Ｃのように、動きを表す差分画素が表れない状態となってしまう。
ユーザが顔の前で手を動かすようなジェスチャー操作を行うと、このような状況が発生することがある。そしてこのような状況が続くと、ジェスチャー操作を的確に検出できない。
【００９８】
そこでＣＰＵ２は、このような状況において、ユーザにメッセージを出力する処理を行うようにする。
例えばＣＰＵ２は、図１２のステップＦ１０５の処理として、図２５に示すような処理を行うようにする。
【００９９】
図１２においてステップＦ１０５に進む場合は、画像メモリエリアＡＲ−ａ，ＡＲ−ｂに２値化画像Ｐｉｃ−ａ、Ｐｉｃ−ｂが格納され、これらの差分画像Ｐｉｃ−ｃを生成する場合である。
この際にＣＰＵ２は、図２５のステップＦ４０１として、２値化画像Ｐｉｃ−ａ、Ｐｉｃ−ｂに肌温度画像部があるか否かを確認する。肌温度画像部は、即ち閾値ｔｈ１，ｔｈ２による２値化で「１」となる画素の領域である。
もし２値化画像Ｐｉｃ−ａ、Ｐｉｃ−ｂに肌温度画像部が存在しなければ、差分画像Ｐｉｃ−ｃを生成する必要はないため、図１２のステップＦ１０２に戻る。
【０１００】
２値化画像Ｐｉｃ−ａ、Ｐｉｃ−ｂに肌温度画像部がある場合は、ＣＰＵ２はステップＦ４０２に進んで、２値化画像Ｐｉｃ−ａ、Ｐｉｃ−ｂの各画素について排他的論理和を演算し、差分画像Ｐｉｃ−ｃを生成する。
この場合にＣＰＵ２は、ステップＦ４０３で、有効な差分画像Ｐｉｃ−ｃが生成できたか否かを確認する。有効な差分画像とは、動きのある肌温度画像部が存在している差分画像と考えればよい。例えば差分画像Ｐｉｃ−ｃにおいて「１」の画素として所定面積以上の連続領域が存在していれば、有効な差分画像Ｐｉｃ−ｃと判定する。一方、図２４Ｃのように「１」画素が存在しない場合、あるいは存在しても微小な領域の場合は、有効な差分画像Ｐｉｃ−ｃではないとする。
【０１０１】
有効な差分画像Ｐｉｃ−ｃが得られた場合は、ステップＦ４０４に進んで、差分画像Ｐｉｃ−ｃを画像メモリエリアＡＲ−ｃに記憶する。これにより図１２のステップＦ１０５の処理を完了し、ステップＦ１０６に進む。
【０１０２】
一方、有効な差分画像Ｐｉｃ−ｃが生成できなかった場合は、ステップＦ４０５にすすみ、無効差分画像生成の連続回数をカウントする変数ＣＴをインクリメントする。
そしてステップＦ４０６で変数ＣＴが、カウント閾値ＣＴｔｈ以上となっているか否かを判断し、ＣＴ＜ＣＴｔｈであれば、そのまま図１２のステップＦ１０２に進む。
赤外線カメラ１の撮像画像のフレーム取込毎に行われる図１２の処理の過程で、２値化画像に肌温度画像部が存在するにもかかわらず、有効な差分画像Ｐｉｃ−ｃが生成できない状態が、長時間継続すると、或る時点でステップＦ４０６で変数ＣＴ≧カウント閾値ＣＴｔｈとなる。
この場合、ＣＰＵ２はステップＦ４０６からＦ４０７に進み、メッセージ表示制御を行う。即ち図２４で説明したような状況で、ジェスチャー操作が良好に検出できない状態であると推定し、それに応じて主機能部６に例えば「ジェスチャー操作の手の位置を変えて下さい」等の表示出力を実行させる。例えば、一定時間、当該メッセージ表示を実行するように制御すれば良い。
そしてステップＦ４０８で変数ＣＴを０リセットして、図１２のステップＦ１０２に戻る。
【０１０３】
例えばこのような処理を行うことで、ユーザの手の位置の都合などで長時間ジェスチャー操作が検出できない場合に、ユーザにジェスチャー操作を行う位置の是正を求めることができる。メッセージ表示に応じて、ユーザが手の位置を下げるなどすれば、その後は有効な差分画像Ｐｉｃ−ｃが得られる状態となり、ジェスチャー操作認識が正常に可能となる。
【０１０４】
以上はユーザのジェスチャー位置の変更を求めるメッセージ表示を行う処理例であるが、どのようなタイミングや条件でメッセージ表示を行うかは多様に考えられる。
例えば、テレビジョン受像器２０の前に人が居て、２値化画像に肌温度画像部が表れていたとしても、その人が全くジェスチャー操作を行っていない場合は、長時間、有効な差分画像Ｐｉｃ−ｃが得られないといった判定が為される可能性がある。
そこで、テレビジョン受像機２０がジェスチャー操作を待っているモードにもかかわらず、ジェスチャー操作が所定の時間検出されない場合にメッセージ表示を行うようにしてもよい。
またジェスチャー操作を行っている場合には、手以外の顔なども多少の動きが生ずることなどに着目して、顔に相当する部分で微小な動きが表れているが、手の動きが表れていない差分画像Ｐｉｃ−ｃを、有効ではない差分画像Ｐｉｃ−ｃと判断するなどの手法も考えられる。
即ち、ジェスチャー操作を行っているであろうと推定されるにもかかわらず、手の動きが観測できないというような場合に、メッセージ表示を行うことが適切である。
【０１０５】
＜９．第７の実施の形態＞
第７の実施の形態を図２６，図２７で説明する。
これはＣＰＵ２（入力認識部１２）が、検出対象画像が複数検出された場合、一の検出対象画像を選定し、該選定した検出対象画像に合致する検出条件を設定して、以降の検出対象画像の検出を行う例である。
例えば検出条件としては、選定した検出対象画像に応じた温度範囲の条件（温度条件）と、選定した検出対象画像の画像位置に基づいて設定した検出対象範囲Ａｄｅｔの条件（位置条件）とする。
またＣＰＵ２（入力認識部１２）は、検出対象画像が複数検出された場合、特定の動きが検出された検出対象画像を、一の検出対象画像として選定する。
【０１０６】
図２６に概要を示す。
例えばテレビジョン受像器２０の前に３人の人が居たとする。そして図２６Ａに示すように、例えば２値化画像において３人のそれぞれの手の領域ＨＤ１，ＨＤ２，ＨＤ３が肌温度画像部として表れているとする。
なお、ここでは３人の手の温度は、３５．５℃（領域ＨＤ１）、３５．７℃（領域ＨＤ２）、３４．９℃（領域ＨＤ３）であったとする。
【０１０７】
このように複数の人の手が撮像される場合、どの手の動きがジェスチャー操作を行ったかを特定してジェスチャー操作認識を行うことが必要になる。
そこで本例では、ジェスチャー操作を行う人は、予め特定の動作（特定ジェスチャー）を行った人（手）を操作者の手とし、その手の動きを検出してジェスチャー操作認識を行うこととする。
例えば特定ジェスチャーを、図２６Ａに破線矢印ＲＤで示すように円を描くような手振りであるとする。
ＣＰＵ２は、このような特定ジェスチャーを検知した場合、その手の温度に合わせて２値化のための閾値ｔｈ３、ｔｈ４の設定を行い、かつ、例えば図２６Ｂに示すように検出対象範囲Ａｄｅｔを設定する。検出対象範囲Ａｄｅｔの設定は例えば上記第５の実施の形態で説明した処理と同様とする。
以降は、閾値ｔｈ３、ｔｈ４による温度条件と、検出対象範囲Ａｄｅｔによる画像上での位置の条件の上で、ジェスチャー操作の検出対象画像を特定し、操作認識を行う。
例えば温度条件として閾値ｔｈ３＝３５．０℃、閾値ｔｈ４＝３６．０℃とした場合、図２６Ａのうちで、領域ＨＤ１，ＨＤ２としての手の画像が該当する。つまり閾値ｔｈ３、ｔｈ４で２値化を行うと、図２６Ｂのように２値化画像には領域ＨＤ１，ＨＤ２としての手の画像が抽出される。さらに位置条件として検出対象範囲Ａｄｅｔでの検出を行うものとすると、領域ＨＤ１の手の画像のみが該当する。このような状況の場合、ＣＰＵ２は領域ＨＤ１の画像について、動き状態を検出してジェスチャー操作認識を行うものとする。
なお、温度条件による検出対象画像の特定と、画像上の位置の条件による検出対象画像の特定は、どちらか一方のみを用いてもよい。
【０１０８】
ＣＰＵ２の具体的な処理例を図２７に示す。図２７は、図１２の処理を変形したものとして、図１２のステップＦ１０７，Ｆ１０８の内容を示すと共に、図１２の処理に追加する処理として、ステップＦ５０１〜Ｆ５０５を加えたものである。図１２と共に説明する。
【０１０９】
ＣＰＵ２は、図１２のステップＦ１０１〜Ｆ１０６は上述同様に実行する。なお当初は、ステップＦ１０３で使用する閾値は、閾値ｔｈ１，ｔｈ２としている。
ＣＰＵ２はステップＦ１０６で微小領域消去後の差分画像Ｐｉｃ−ｄを生成した後は、ステップＦ１０７として、検出対象画像の重心算出を行うことになる。
【０１１０】
本例の場合、このステップＦ１０７を図２７に示すように実行する。
まずＣＰＵ２はステップＦ１０７ａで、微小領域消去後の差分画像Ｐｉｃ−ｄに、複数の検出対象画像が存在するか否かを確認する。
検出対象画像が１つであれば、ＣＰＵ２はステップＦ１０７ｂに進み、その検出対象画像の重心計算を行って、重心座標メモリエリアＡＲＧに記憶する。これは図１２のステップＦ１０７として説明したとおりの処理である。
一方、検出対象画像が複数存在する場合、ＣＰＵ２はステップＦ１０７ｃに進み、各検出対象画像について、それぞれ重心計算を行い、重心座標メモリエリアＡＲＧに記憶する。なおこのため、重心座標メモリエリアＡＲＧには、複数の検出対象画像に対応して、それぞれ重心座標値が順次フレーム期間毎に記憶していくことができるように記憶領域が用意される。例えば図６Ｂのような記憶領域が、検出対象画像の数に応じて複数単位用意される。
【０１１１】
続く図１２のステップＦ１０８では、重心座標メモリエリアＡＲＧの内容から重心座標変化を解析し、検出対象画像の動き状態を判定する。本例の場合、このステップＦ１０８で、図２７に示す処理を行う。
まずＣＰＵ２は、ステップＦ１０８ａで、検出対象画像が複数であったか否かで処理を分岐する。検出対象画像が１つの場合、ステップＦ１０８ｂで重心座標メモリエリアＡＲＧに記憶された一連の重心座標値から、動き状態を解析する。これは図１２で述べたとおりの処理である。
この処理でジェスチャー操作に相当する動きが検出された場合は、ＣＰＵ２は図１２のステップＦ１０９→Ｆ１１０と進み、対応する制御コマンドを主機能部６に対して発行することとなる。
【０１１２】
一方、検出対象画像が複数で、それぞれについて重心座標メモリエリアＡＲＧに一連の重心座標値が記憶されている場合、ＣＰＵ２はステップＦ１０８ａからＦ１０８ｃに進み、各検出対象画像について重心座標の変化を解析して動き状態を判定する。
この場合の動き状態の判定は、上述の円弧を描く動きのような、特定ジェスチャーが合ったか否かの判定である。
そしていずれの検出対象画像にも特定の動き（特定ジェスチャー）が検出されなければ、ステップＦ５０１から図１２のステップＦ１０９に進み、さらにステップＦ１０２に戻ることになる。
【０１１３】
赤外線カメラ１から順次供給されるフレームについて、図１２（及び図２７）の処理を継続していくことで、或る時点で、ステップＦ５０１で特定の動きがあると判定されることがある。
例えば図２６Ａのように３つの手の画像が撮像されて、それらが微小領域消去後の差分画像Ｐｉｃ−ｄにおいて動きのある部分（つまり検出対象画像）として表れている場合を例に挙げる。各フレームに対する処理期間において、上記ステップＦ１０７ｃでは、それぞれの検出対象画像について重心座標が求められて記憶される。
重心座標メモリエリアＡＲＧに、それぞれの検出対象画像について、それぞれ所要数の重心座標値が記憶された時点で、或る検出対象画像の動き状態が、円弧を描くような動きであると判定されることがある。
【０１１４】
例えば図２６Ａの領域ＨＤの手の画像に相当するユーザが、手で円弧を描くと、その特定ジェスチャーが、或る時点でのステップＦ１０８ｃでの解析により検出される。
その場合、ＣＰＵ２はステップＦ５０１からＦ５０２に処理を進め、一の検出対象画像を特定する。即ち領域ＨＤ１に相当する微小領域消去後の差分画像Ｐｉｃ−ｄ上の画像を、検出対象画像として特定する。
そしてＣＰＵ２はステップＦ５０３で、当該領域ＨＤ１に相当する温度分布画像から求められる温度（領域ＨＤ１に相当する手の温度）を用いて、閾値ｔｈ３、ｔｈ４を求める。例えば第４の実施の形態で説明したように、領域ＨＤ１に相当する温度値を目的温度Ｔｇとして、閾値ｔｈ３＝Ｔｇ−Ｔｄ、閾値ｔｈ４＝Ｔｇ＋Ｔｄ等の演算で決定すればよい。閾値ｔｈ３、ｔｈ４を決定したら、これを図１２のステップＦ１０３で閾値ｔｈ１，ｔｈ２に代えて使用する閾値とする。
【０１１５】
さらにＣＰＵ２はステップＦ５０４で、検出対象範囲Ａｄｅｔを算出する。検出対象範囲Ａｄｅｔの算出は第５の実施の形態で述べた図２３の処理を実行すればよい。
検出対象範囲Ａｄｅｔを算出したら、ＣＰＵ２はステップＦ５０５で、検出対象範囲Ａｄｅｔを対象としての入力認識処理を開始させて図１２のステップＦ１０１に戻る。
【０１１６】
このステップＦ５０２〜Ｆ５０５の処理を経た後は、複数の検出対象画像が検知される場合でも、そのうちの１つが検出対象画像として特定され、ジェスチャー操作の監視が行われる状態となる。
即ち、２値化画像は閾値ｔｈ３（例えば３５．０℃）、閾値ｔｈ４（例えば３６．０℃）による温度条件で生成されることで、図２６Ａの例の場合、２値化画像に領域ＨＤ３に相当する部分は肌温度画像部としては表れず、除外される。
さらに図２６Ｂのような検出対象範囲Ａｄｅｔで差分画像Ｐｉｃ−ｃの生成が行われることで、差分画像Ｐｉｃ−ｃ、Ｐｉｃ−ｄには、領域ＨＤ２に相当する部分の動き成分は除外される。結局、ステップＦ１０７では、領域ＨＤ１に対応する部分について、ステップＦ１０７ｂの処理が行われ、またステップＦ１０８では、ステップＦ１０８ｂの処理が行われる状態となる。
これによって、先に特定ジェスチャーを行った或る一人のユーザの手の動きが監視されて、その後のジェスチャー操作の認識が行われることとなる。
【０１１７】
以上のように本例では、例えばテレビジョン受像器２０の前に複数の人が居るような場合に、特定ジェスチャーを行った人の手を特定してジェスチャー操作認識を行うことで、複数の人の多様な動きによって認識処理が不安定になることはなく、操作者のジェスチャー操作を的確に検知できる。
【０１１８】
なお、特定のジェスチャーは、もちろん円弧を描くような動きに限るものではない。
また、一旦、１つの検出対象画像を特定して温度条件、位置条件を設定した後は、その状態を、１回のジェスチャー操作の完了まで維持することとしてもよいし、特定の時間だけ継続して維持するようにしてもよい。
【０１１９】
１回のジェスチャー操作の完了で温度条件、位置条件を解除することとすれば、複数の人のジェスチャー操作に対応するという意味で好適である。
一方、或る一人のユーザが、続けてジェスチャー操作を行うことを想定すれば、一旦或るユーザの手の温度や位置に対応して温度条件、位置条件を設定した後は、その条件をある程度の時間維持することが好適となる。
また、温度条件、位置条件の解除は、テレビジョン受像器２０がオフされた場合としてもよい。
また、他の特定のジェスチャー（例えば円弧の描き方が反対周り）を解除指示と認識するようにして、操作者が当該解除指示を行ったら、温度条件、位置条件を解除するようにしてもよい。
また他の人が、特定のジェスチャーを行うことを検出できるようにし、その場合に、その人の手を対象に、新たに温度条件、位置条件を設定し直すということも考えられる。
【０１２０】
なお、上記例では検出条件としては、温度条件と位置条件のＡＮＤ条件としたが、温度条件のみ、或いは位置条件のみを設定するという処理例も考えられる。
【０１２１】
また、特定のジェスチャーを行ったユーザの手の画像を検出対象画像として特定するとしたが、特定手法は多様に考えられる。
例えば複数の検出対象画像のうちで、或るジェスチャー操作に相当する動きが最初に観測された検出対象画像を、操作者の手の画像として特定し、それに応じてジェスチャー操作に係るコマンド発行とともに、図２７のステップＦ５０３〜Ｆ５０５のような、以降の処理における条件設定を行っても良い。
また、複数の肌温度画像部が２値化画像上で表れている場合に、最初に動きが検出された画像領域（最初に差分画像Ｐｉｃ−ｃ上で動きが観測される領域）を、検出対象画像として特定して、当該画像部分に対応して、図２７のステップＦ５０３〜Ｆ５０５のような条件設定を行っても良い。
また、複数の肌温度画像部が２値化画像上で表れている場合に、動き量が最も大きい画像領域（差分画像Ｐｉｃ−ｃ上で最も大きい動き量が観測される領域）を、検出対象画像として特定して、当該画像部分に対応して、図２７のステップＦ５０３〜Ｆ５０５のような条件設定を行っても良い。
【０１２２】
＜１０．変形例＞
以上、各種実施の形態の処理例を説明してきたが、処理例はさらに多様に考えられる。
第１の実施の形態で述べた図１２の処理例では、差分画像Ｐｉｃ−ｃを生成した後、微小領域を消去した差分画像Ｐｉｃ−ｄを生成して、その差分画像Ｐｉｃ−ｄの重心を求めた。これに対して、微小領域消去処理を行わずに差分画像Ｐｉｃ−ｃから重心を求めてもよい。例えば所定面積以上の「１」領域を検出対象画像として扱って、その検出対象画像の重心座標値を求めることもできる。
【０１２３】
また手に相当する部分の重心座標の変化によって動き状態を判定するものとしたが、例えば差分画像Ｐｉｃ−ｃ（又はＰｉｃ−ｄ）における「１」画素位置の中心座標の変位や、或いは画像エッジ部分の位置変位によって動き状態を判定してもよい。
【０１２４】
また各実施の形態の処理は、赤外線カメラ１の撮像画像の１フレーム毎の取込に応じて実行する例を挙げたが、ｎフレームおきというように間欠的に撮像画像のフレームを取り込んで処理を行うようにしてもよい。
【０１２５】
また各実施の形態では、ユーザの手を対象としてジェスチャー操作を認識する例で延べたが、手に限られない。例えば顔の動きとしてのジェスチャー操作に対応するようにすることも当然可能である。
【０１２６】
実施の形態ではテレビジョン受像器２０に搭載される入力装置１０の例で述べたが、本開示に係る入力装置、入力認識方法は多様な電子機器に搭載することができる。例えばビデオ機器、オーディオ機器、カメラ機器、コンピュータ機器、通信機器、家電機器などにおいて本開示の入力装置を搭載したり、入力認識方法を採用できる。
さらに、本開示の入力装置は、機器に接続する独立の機器として構成することもできる。
【０１２７】
また赤外線カメラ１による温度分布画像を得ることで、ユーザの肌の温度が通常より高温となっていることも検出可能とすることができる。例えば第５の閾値を設け、ユーザの肌の温度が第５の閾値より高い場合に、健康上の危険性を通知するなどの動作を実行するようにすることも考えられる。
【０１２８】
なお本技術は以下のような構成も採ることができる。
（１）赤外線カメラと、
所定の時間間隔で上記赤外線カメラで撮像された温度分布画像を順次取り込む画像取込部と、
上記画像取込部により取り込まれた複数の温度分布画像のそれぞれについて、人の肌の温度に相当する肌温度画像部を検出し、さらに検出した肌温度画像部のうちで動きが観測される肌温度画像部を検出対象画像とし、該検出対象画像の動き状態から操作入力を認識する入力認識部と、
を備えた入力装置。
（２）上記入力認識部は、人の肌の温度範囲として設定した第１の閾値と第２の閾値に対して、温度分布画像の各画素の温度値を比較することで、温度分布画像内での上記肌温度画像部の検出を行う上記（１）に記載の入力装置。
（３）上記入力認識部は、温度分布画像の各画素の温度値が、上記第１の閾値と第２の閾値による温度範囲に含まれるか否かにより２値化を行って上記肌温度画像部が示される２値化画像を生成し、
さらに、複数の温度分布画像のそれぞれの２値化画像の差分を取ることで、動きが観測される肌温度画像部としての検出対象画像を示す差分画像を生成し、
上記差分画像を用いて、検出対象画像の動き状態を判定する上記（２）に記載の入力装置。
（４）上記入力認識部は、上記差分画像について、動きが微小と判定される画像部分を消去した後に示される肌温度画像部を、検出対象画像とする上記（３）に記載の入力装置。
（５）上記入力認識部は、上記差分画像から検出対象画像の特徴点の位置を求め、特徴点の位置の変化から、検出対象画像の動き状態を判定する上記（３）又は（４）に記載の入力装置。
（６）上記所定の時間間隔は、上記赤外線カメラの撮像動作の１フレーム間隔である上記（１）乃至（５）のいずれかに記載の入力装置。
（７）上記入力認識部は、所定以上の面積を持つ上記肌温度画像部から、検出対象画像を選定する上記（１）乃至（６）のいずれかに記載の入力装置。
（８）上記入力認識部は、検出対象画像の動き状態を示す位置の変化が所定回数以上連続して所定量以上であることを条件として、操作入力の認識処理を行う上記（１）乃至（７）のいずれかに記載の入力装置。
（９）上記入力認識部は、人の肌の温度範囲として設定した上記第１の閾値と上記第２の閾値に対して、温度分布画像の各画素の温度値を比較することで、温度分布画像内での上記肌温度画像部の検出を行った後、検出対象画像とされた肌温度画像部の温度値に基づいて、上記第１の閾値と上記第２の閾値で示される温度範囲より狭い温度範囲を示す第３の閾値と第４の閾値を設定し、以降、上記第３の閾値と上記第４の閾値を用いて、温度分布画像内での肌温度画像部の検出を行う上記（２）乃至（５）のいずれかに記載の入力装置。
（１０）上記入力認識部は、検出対象画像の特定の動きを検出した場合、該特定の動きの際の検出対象画像の画像位置に基づいて検出対象範囲を設定し、以降、上記検出対象範囲内で、検出対象画像の検出を行う上記（１）乃至（９）のいずれかに記載の入力装置。
（１１）上記入力認識部は、上記差分画像で動きが観測される肌温度画像部が所定の時間内に検出できない場合に、メッセージ出力を実行させる処理を行う上記（３）乃至（５）のいずれかに記載の入力装置。
（１２）上記入力認識部は、検出対象画像が複数検出された場合、一の検出対象画像を選定し、該選定した検出対象画像に合致する検出条件を設定して、以降の検出対象画像の検出を行う上記（１）乃至（１１）のいずれかに記載の入力装置。
（１３）上記検出条件は、選定した検出対象画像に応じた温度範囲の条件、又は、選定した検出対象画像の画像位置に基づいて設定した検出対象範囲の条件である上記（１２）に記載の入力装置。
（１４）上記入力認識部は、検出対象画像が複数検出された場合、特定の動きが検出された検出対象画像を、上記一の検出対象画像として選定する上記（１２）又は（１３）に記載の入力装置。
（１５）上記入力認識部が認識した操作入力に応じて、制御を行う機器制御部をさらに備えた上記（１）乃至（１４）のいずれかに記載の入力装置。
【符号の説明】
【０１２９】
１ 赤外線カメラ、２ ＣＰＵ、３ ＲＡＭ、４ ＲＯＭ、５ Ｉ・Ｏポート、６ 主機能部、１０ 入力装置、１１ 画像取込部、１２ 入力認識部、１３ 機器制御部、２０ テレビジョン受像器
【技術分野】
【０００１】
本開示は入力装置、入力認識方法に関し、例えばユーザのジェスチャー操作等を検知する装置及びその入力認識の技術に関する。
【先行技術文献】
【特許文献】
【０００２】
【特許文献１】特開２００１−２８２４５６号公報
【背景技術】
【０００３】
上記特許文献１では、机上でのマンマシンインターフェースを実現する技術として、机上の手を赤外線カメラで撮像した画像から、指先形状の特徴を利用したパターンマッチングを行って指先位置を特定し、その座標を求め機器を操作する手法が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本開示では、テレビジョン受像器などの電子機器に対して、ユーザが空間で手を移動させたり手を振ったりするような動作（以下、このような動作を「ジェスチャー」と総称する）を行うことで、操作入力を行うことができるようにすること考える。
この場合、テレビジョン受像器等にカメラを設置し、ユーザを撮像して、その撮像画像からユーザの手の動きを判定するということが考えられる。しかしながら、上記特許文献１の技術のように机上を観察対象とするものでない場合、多様な物体が観察されることとなる。例えばユーザの手以外に、顔、身体、周囲の家具、電灯などである。
【０００５】
このような状況を想定した場合、カメラに撮像される多様の物体の中からユーザのジェスチャーとしての例えば手の動きを判定し、それを操作入力に反映させなければならない。
例えば特許文献１の技術では赤外線カメラで撮像された画像から、人の体温を基に手の画像を抽出することとしているが、机上ではなく空間での操作を想定すると、顔の部分なども同じく抽出されてしまう。
従って手の部分を抽出するには、多様な物体の中から手の形状的な特徴を抽出するなどの複雑な画像処理が必要となり、処理装置が複雑となり処理時間が増大してしまう。これは赤外線カメラを用いて簡便に検出対象物を抜き出すという利点に反する。
また赤外線カメラの撮像範囲内に、体温と同等もしくは温度が高い物体（暖房器具、電球等）が有った場合も同様な課題が生じる。
【０００６】
そこで本開示では、赤外線カメラを用いた入力装置において、複雑な処理を行うことなく、ユーザが空間で行うジェスチャーを的確に操作として認識できるようにすることを目的とする。
【課題を解決するための手段】
【０００７】
本開示の入力装置は、赤外線カメラと、所定の時間間隔で上記赤外線カメラで撮像された温度分布画像を順次取り込む画像取込部と、上記画像取込部に取り込まれた複数の温度分布画像のそれぞれについて、人の肌の温度に相当する肌温度画像部を検出し、さらに検出した肌温度画像部のうちで動きが観測される肌温度画像部を検出対象画像とし、該検出対象画像の動き状態から操作入力を認識する入力認識部とを備える。
【０００８】
本開示の入力認識方法は、赤外線カメラによって所定の時間間隔で撮像された温度分布画像を順次取り込み、取り込まれた複数の温度分布画像のそれぞれについて、人の肌の温度に相当する肌温度画像部を検出し、さらに検出した肌温度画像部のうちで動きが観測される肌温度画像部を検出対象画像とし、該検出対象画像の動き状態から操作入力を認識する入力認識方法である。
【０００９】
即ち本開示では、赤外線カメラで撮像される温度分布画像により、人の肌の温度に相当する肌温度画像部を検出することで、容易に操作入力のためのジェスチャーを行った「手」等を認識できるようにする。但し、肌の温度を基準とするのみでは、人の顔などジェスチャー操作をしていない部分も肌温度画像部として認識されてしまう。そこで肌温度画像部のうちで、動きが観測される部分を検出対象画像（ジェスチャー操作を行っている手などの検出対象物の画像）として認識するようにする。そしてその検出対象画像の動き状態で操作入力を認識する。
【発明の効果】
【００１０】
本開示によれば、ユーザの空間でのジェスチャー操作を、赤外線カメラを用いた撮像画像から、簡易な処理で精度良く認識できるようになるという効果がある。
【図面の簡単な説明】
【００１１】
【図１】本開示の実施の形態の操作方式において電子機器と対向する操作者の様子の説明図である。
【図２】実施の形態のジェスチャー操作の例の説明図である。
【図３】実施の形態の入力装置のブロック図である。
【図４】実施の形態の入力装置の機能構成を示したブロック図である。
【図５】実施の形態の赤外線カメラで撮像される温度分布画像の説明図である。
【図６】実施の形態の画像メモリエリア及び重心座標メモリエリアの説明図である。
【図７】赤外線カメラで撮像される温度分布画像とその２値化画像の説明図である。
【図８】実施の形態の温度分布画像と２値化画像の説明図である。
【図９】実施の形態の差分画像と重心計算の説明図である。
【図１０】実施の形態の２値化処理の説明図である。
【図１１】実施の形態の差分画像の処理の説明図である。
【図１２】第１の実施の形態の入力認識処理のフローチャートである。
【図１３】赤外線カメラの位置が機器の下方にある場合の説明図である。
【図１４】赤外線カメラの位置が機器の上方にある場合の説明図である。
【図１５】第２の実施の形態の入力認識処理のフローチャートである。
【図１６】第２の実施の形態の変形例の入力認識処理のフローチャートである。
【図１７】第３の実施の形態の動き判定の説明図である。
【図１８】第３の実施の形態の動き判定処理のフローチャートである。
【図１９】第４の実施の形態の肌温度画像部の抽出の説明図である。
【図２０】第４の実施の形態の閾値調整処理のフローチャートである。
【図２１】第５の実施の形態の検出対象範囲設定の説明図である。
【図２２】第５の実施の形態の入力認識処理のフローチャートである。
【図２３】第５の実施の形態の検出対象範囲算出処理のフローチャートである。
【図２４】第６の実施の形態の差分画像で検出対象画像が認識できなくなる場合の説明図である。
【図２５】第６の実施の形態のメッセージ表示を行う場合の入力認識処理のフローチャートである。
【図２６】第７の実施の形態の複数の検出対象画像が存在する場合の処理の説明図である。
【図２７】第７の実施の形態の入力認識処理のフローチャートである。
【発明を実施するための形態】
【００１２】
以下、実施の形態を次の順序で説明する。
＜１．ジェスチャー入力概要＞
＜２．入力装置の構成＞
＜３．第１の実施の形態＞
［３−１：入力認識の手法］
［３−２：入力認識処理］
［３−３：赤外線カメラの位置］
＜４．第２の実施の形態＞
＜５．第３の実施の形態＞
＜６．第４の実施の形態＞
＜７．第５の実施の形態＞
＜８．第６の実施の形態＞
＜９．第７の実施の形態＞
＜１０．変形例＞
なお、実施の形態では、テレビジョン受像器に内蔵される入力装置の例とし、該入力装置は、ユーザの手の動きによるジェスチャー操作を認識する。テレビジョン受像器の制御部は、入力装置が認識した操作に応じて、各種機能の制御を行う例とする。
また、実施の形態で用いる用語は、以下の意味とする。
・温度分布画像・・・赤外線カメラで撮像される画像であり、各画素が被写体の温度に応じた画素値を持つ画像をいう。
・肌温度画像部・・・温度分布画像内で、人の肌の温度に相当する画像部分（画素領域）をいう。
・検出対象画像・・・肌温度画像部のうちで、動き状況を判断する対象、即ちジェスチャー操作の認識を行う対象物の画像である。本実施の形態の場合、操作者の手の画像となる。なお検出対象画像として温度分布画像等の画像上に表れているもの（例えばユーザの手）を「検出対象物」という。
【００１３】
＜１．ジェスチャー入力概要＞
図１は本例の入力装置を備えたテレビジョン受像器２０と、テレビジョン受像器２０を視聴するユーザを示している。
テレビジョン受像器２０の例えば筐体上方には、赤外線カメラ１が配置されている。この赤外線カメラ１は本例の入力装置の一部となる。
赤外線カメラ１によってユーザが撮像される。テレビジョン受像器２０に内蔵された本例の入力装置は、赤外線カメラ１によって連続的に撮像される各フレームの撮像画像（温度分布画像）から、ユーザのジェスチャーを検出し、ジェスチャーの内容に応じて、ユーザの操作を認識する。
【００１４】
図２はジェスチャー操作の例を示している。
図２Ａはジェスチャー操作により、音量やチャンネルの操作を行う例を示している。例えばユーザがテレビジョン受像器２０側（つまり赤外線カメラ１側）に向かって、手を上方に移動させると、音量アップ操作、手を下方に移動させると音量ダウン操作とする。また、手を左方に移動させるとチャンネルアップ、右方に移動させるとチャンネルダウンとする。
このように、各種のジェスチャー態様に対して操作内容を予め割り当てておき、入力装置は、ユーザのジェスチャーが、このいずれかに該当すると認識した場合に、それを該当する操作内容（音量操作やチャンネル操作）と認識する。
【００１５】
もちろん、図２Ａは一例に過ぎず、ジェスチャーの態様や操作内容は多様に考えられる。図２Ｂは、ユーザが手を右回りに回したり、左回りに回す例を示しているが、このようなジェスチャーの態様に、特定の操作内容、例えば音量アップ／ダウン等を割り当てても良い。
さらに図示しないが、手を左右に振る、手を前後に振る、手を三角形を描くように移動させる、手をＺ次状に移動させる等、多様なジェスチャーの態様を特定の操作に割り当てることも当然に考えられる。
【００１６】
＜２．入力装置の構成＞
テレビジョン受像器２０に内蔵される本例の入力装置１０の構成を図３に示す。
図３はテレビジョン受像器２０の内部構成において、特に入力装置１０に相当する部分を主に示したものである。
図示のようにテレビジョン受像器２０内には、赤外線カメラ１、ＣＰＵ（Central Processing Unit）２、ＲＡＭ（Random Access Memory）３、ＲＯＭ（Read Only Memory）４、インプット・アウトプットポート（Ｉ・Ｏポート）５、主機能部６と、それぞれを接続するバスＢＵＳが設けられる。
【００１７】
赤外線カメラ１は、図１に示したように例えばテレビジョン受像器２０の筐体上方に装備され、ユーザ側を被写体として撮像する。これによりユーザ側の温度分布画像を得る。
主機能部６とは、テレビジョン受像器２０の主たる機能部位を包括的に示したものである。即ち、チューナ部、受信した放送信号についてのデコード部、デコードした映像・音声信号についての処理部、表示駆動部、表示部、音声出力部等、通常のテレビジョン受像器２０に設けられる構成要素を含む。
【００１８】
ＣＰＵ２、ＲＡＭ３、ＲＯＭ４は、テレビジョン受像器２０の制御部としての各種処理を実行するために設けられるが、本例の入力装置１０を構成する要素ともなる。
ＣＰＵ２は、例えばＲＯＭ４に記憶されたプログラムを実行することで、テレビジョン受像器２０の全体を統括的に制御する。即ちＣＰＵ２は、ユーザ操作やプログラムに応じて、Ｉ・Ｏポート５を介して主機能部６に制御コマンドや制御データを送り、主機能部６において必要な動作が実行されるように制御する。その上でＣＰＵ２は、本例の入力装置１０を実現するためにジェスチャー操作を認識する機能も有する。
【００１９】
ＲＡＭ３は各種データや処理係数の記憶、プログラムの展開、ワーク領域等、ＣＰＵ２の各種処理に必要な記憶領域として用いられる。また入力装置１０の機能として赤外線カメラ１で撮像される温度分布画像や、入力認識処理の過程で生成される画像、重心座標値等の記憶も行う。
ＲＯＭ４は例えばＣＰＵ２が実行するプログラム、固定の係数値、調整値等の記憶を行う。
【００２０】
入力装置１０の構成を機能という点に注目してＣＰＵ２、ＲＡＭ３、ＲＯＭ４による機能を示したものが図４である。
ＣＰＵ２、ＲＡＭ３、ＲＯＭ４によって、画像取込部１１、入力認識部１２、機器制御部１３が形成される。
【００２１】
画像取込部１１は、赤外線カメラ１で所定の時間間隔で撮像される温度分布画像の取込を行う。例えば１フレーム間隔で温度分布画像を取り込む。
具体的には、赤外線カメラ１で撮像されたフレーム単位の撮像画像データ（温度分布画像）は、Ｉ・Ｏポート５を介してＲＡＭ３に記憶され、ＣＰＵ２が温度分布画像に対して必要な処理を行うことができる状態とされる。画像取込部１１とは、このようなＲＡＭ３及びＣＰＵ２で実現される機能部位を示している。
図５には、赤外線カメラ１で撮像される各フレーム（Ｎ−１、Ｎ、Ｎ＋１、Ｎ＋２）の温度分布画像の例を示している。
【００２２】
入力認識部１２は、画像取込部１１により取り込まれた、時間的に連続した複数の温度分布画像のそれぞれについて、人の肌の温度に相当する肌温度画像部を検出し、さらに検出した肌温度画像部のうちで動きが観測される肌温度画像部を検出対象画像とし、該検出対象画像の動き状態から操作入力を認識する処理を行う。
具体的にはＣＰＵ２が、各フレームの温度分布画像について後述する２値化処理や差分画像処理を行い、ユーザのジェスチャー操作を認識する処理のことであり、ＲＯＭ４に記憶されたプログラムに基づいて、ＣＰＵ２がＲＡＭ３を用いて実行する処理として、入力認識部１２が実現される。
【００２３】
機器制御部１３は、入力認識部１２で認識されたジェスチャー操作に応じて、主機能部６に対して必要な制御を行う。例えば音量アップのジェスチャー操作を認識した場合、機器制御部１３は音量アップのコマンドを主機能部６に送信し、音量アップを実行させる。具体的には、ジェスチャー操作の認識に応じてＣＰＵ２が実行するコマンド発行動作として、機器制御部１３が実現される。
【００２４】
本例の入力装置１０は、図４に示すように、少なくとも赤外線カメラ１、画像取込部１１、入力認識部１２を備えた構成となる。
入力認識部１２として、機器制御部１３を加えた構成としてもよい。
【００２５】
なお、具体的な処理例は後述するが、入力認識部１２の処理においては、ＲＡＭ３で各種データ記憶が行われる。このために、入力認識部１２を構成する要素として、ＲＡＭ３に図６Ａのようなメモリエリアが用意される。
即ち画像メモリエリアＡＲ−ａ，ＡＲ−ｂ，ＡＲ−ｃ，ＡＲ−ｄ、及び重心座標メモリエリアＡＲＧである。
詳しくは後述するが、画像メモリエリアＡＲ−ａ，ＡＲ−ｂには、赤外線カメラ１で撮像された温度分布画像の２値化画像が記憶される。
画像メモリエリアＡＲ−ｃには、画像メモリエリアＡＲ−ａ，ＡＲ−ｂにおける２つの２値化画像の差分として求めた差分画像が記憶される。
画像メモリエリアＡＲ−ｄには、差分画像からさらに微小領域を消去した後の差分画像が記憶される。
【００２６】
重心座標メモリエリアＡＲＧには、画像メモリエリアＡＲ−ｄに記憶された画像の重心位置が記憶される。
重心座標メモリエリアＡＲＧは図６Ｂのように、各時点で画像メモリエリアＡＲ−ｄに記憶された画像の重心位置の座標（Ｘ値、Ｙ値）が記憶されていく。この重心座標メモリエリアＡＲＧには、１つの検出対象画像について時間的に連続するｎ個の重心位置座標が記憶可能とされる。重心座標メモリエリアＡＲＧはリングメモリ形式で用いられｎ個の重心位置座標を記憶した後は、古い重心座標から上書き消去されていくようにされてもよい。
なお、図６Ｂは、１つの検出対象画像についての重心位置座標の記憶領域を示している。場合によっては、複数の検出対象画像について重心位置座標を記憶していくことも有り、その場合、図６Ｂのような記憶領域が複数用意されることとなる。
【００２７】
＜３．第１の実施の形態＞
［３−１：入力認識の手法］
以上の構成を有する本例の入力装置１０において実行される第１の実施の形態としての入力認識処理について説明する。
【００２８】
まず実施の形態の入力認識処理の開発に至る事情を簡単に説明する。
赤外線カメラ１を用いて温度分布画像を得ることによれば、その温度分布からユーザの肌（手）の部分を検出できる。これは、画像解析等の複雑な処理を行うことなくユーザの手を判別し、ジェスチャー検出を行うという点で有用である。
【００２９】
但し次の点で正確な検出が困難になるという事情があった。
赤外線カメラ１で撮像された画像は、上記の図５の様に連続した画像になっている。このような温度分布画像に対して、人の肌の部分を検出するには、所定の閾値で周囲温度より高い温度の部分を検出する。例えば、３０℃を閾値として、画像を２値化する。
図７Ａは赤外線カメラ１で撮像されるあるフレームの撮像画像（温度分布画像）であり、図７Ｂは、例えば３０℃を閾値として２値化した画像である。
２値化により手の部分が検出されるのであるが、この図７Ｂからわかるように、手以外の部分、例えばユーザの顔の部分も検出されてしまう。また、体温よりも温度が高い物体、例えば照明器具等も、同様に検出されてしまい、結局、手、顔、その他温度が高い物体が同一に検出されてしまうことになる。
このように単純に２値化したのみでは、本来検出したい部分（例えば手の部分）のみが正確に検出できない。そこで本実施の形態では、赤外線カメラ１による温度分布画像を用いた上で、以下説明するように手の部分の検出、及びそれによる入力認識を行う。
【００３０】
図８、図９、図１０、図１１で説明する。
図８は、赤外線カメラ１で撮像されたフレームＮの温度分布画像と、その２値化画像Ｐｉｃ−ａを示しており、また時間的に連続する次のフレームＮ＋１の温度分布画像と、その２値化画像Ｐｉｃ−ｂを示している。
【００３１】
本例の場合、温度分布画像についての２値化には２つの閾値を用いる。すなわち、まずは、体温よりも温度が低い物体と高い物体を排除して、体温に近い物のみ検出する為、体温より若干低い第１の閾値と、体温より若干高い第２の閾値を設定する。
図１０Ｂは、フレームＮとフレームＮ＋１における画面上の或る水平ラインの画素毎の温度値を示している。これは図１０Ａの画像における一点鎖線で示した水平ラインの画素と考えればよい。水平ライン上の各画素の温度値は、概ね図１０Ｂに実線で示したようになっている。つまり、手、顔、後方の照明の部分で温度が高くなっている。
図１０Ｂにおける横軸は、１フレームの水平ラインの画素数を６４０画素とした場合の画素数で、縦軸は温度である。
そして、この或る水平ラインの各画素におけるフレームＮの温度値を実線で示し、フレームＮ＋１の温度値を破線で示している。
この図１０Ｂにおいて温度が高くなっている領域は、手の部分（領域ＨＤ）と、顔の部分（領域ＦＣ）と、照明等の高温物体部分（領域ＨＴ）である。
【００３２】
フレームＮ、Ｎ＋１は、ユーザが手を動かしているときの撮像画像であり、このため手の画像に相当する領域ＨＤでは、フレームＮ、Ｎ＋１で高温となる画素がずれている。一方、顔や照明等は殆ど動きがないため、領域ＦＣや領域ＨＴでは、フレームＮ、Ｎ＋１で高温となる画素はほぼ一致している。
【００３３】
ここで上記のように、２つの閾値ｔｈ１、ｔｈ２により、温度分布画像の２値化を行う。
例えば３２℃程度の、体温より若干低い第１の閾値ｔｈ１と、体温より若干高い例えば３８℃程度の第２の閾値ｔｈ２である。
図１０Ｃには、フレームＮとフレームＮ＋１について、それぞれ２値化をした状態を示している。即ち閾値ｔｈ１〜閾値ｔｈ２の温度範囲に含まれる画素を「１」とし、閾値ｔｈ１以下、及び閾値ｔｈ２以上の画素を「０」とする処理である。
閾値ｔｈ１，ｔｈ２を用いた２値化は、人の肌の温度に相当する部分を抽出し、人の肌より低温又は高温の部分を除外することを目的とする。
これにより、図１０Ｃのように、フレームＮ、Ｎ＋１でそれぞれ、手に相当する部分と顔に相当する部分で、「１」の領域が観測されることになる。つまり、２値化により肌温度画像部を抽出する。
なお、図１０Ｃの例では、領域ＨＴの照明等の部分も、わずかに「１」の領域が存在する。これは温度変化のエッジ部分に相当する画素部分などによる。
図８における２値化画像Ｐｉｃ−ａ、Ｐｉｃ−ｂは、以上のように２値化を行った結果の画像であり、肌温度画像部を抽出した画像となっている。（「１」の部分を白、「０」の部分を黒で示している）。
但し、肌以外の照明等のエッジ部分も、わずかに「１」の画素が存在する。
【００３４】
ここまでは、主に肌温度画像部を抽出するために２値化を行ったが、続いて、連続する２つの２値化画像の差分を取ることで、動きが観測される肌温度画像部としての検出対象画像を示す差分画像を生成する。
【００３５】
図１１Ａ、図１１Ｂは、図１０Ｃに示したフレームＮ、Ｎ＋１の２値化画像の或る水平ラインを示しているが、この２値化画像の各画素について排他的論理和をとる。この排他的論理和の結果を図１１Ｃに示している。これが差分画像Ｐｉｃ−ｃとなる。
差分画像Ｐｉｃ−ｃでは、元の撮像画像であるフレームＮ、Ｎ＋１で動きのある手の部分である程度の「１」の領域が発生する。なお、顔の部分も、微小な動きが存在することで、わずかに「１」の領域が発生している。
差分画像Ｐｉｃ−ｃの例を図９Ａに示す。図示のように、手の部分の比較的明らかな動き、及び顔の部分の微小な動きが、差分画像Ｐｉｃ−ｃに表れることになる。
なお、照明等の他の物体については、動きがないことから、差分画像Ｐｉｃ−ｃの時点で消失する。
【００３６】
以降、差分画像Ｐｉｃ−ｃを用いて、検出対象画像を判定し、その動き状態を検出する。
このため、図９Ａ及び図１１Ｃの差分画像Ｐｉｃ−ｃについて、動きが微小と判定される画像部分を消去した後に示される肌温度画像部を、検出対象画像とする。
例えば差分画像Ｐｉｃ−ｃから、画素数（＝画面上の面積）が微小の領域を消去する。これにより図９Ｂ及び図１１Ｄに示すように、微小領域消去後の差分画像Ｐｉｃ−ｄを得る。
この微小領域消去後の差分画像Ｐｉｃ−ｄに表れている画像部分が、即ちユーザがジェスチャー操作のために動かした手の部分である検出対象画像となる。
なお、体温よりも温度が高い物体の部分で残っていた部分は、フレーム間で動きが無かったために、上記のように差分画像Ｐｉｃ−ｃの段階で無くなるが、例えば蝋燭の火のようにわずかな動きがあると、差分画像Ｐｉｃ−ｃにおいて微小領域として表れる。しかし、さらに微小領域を消去した差分画像Ｐｉｃ−ｄでは、そのような部分も消去され、ジェスチャー操作としての明らかな手の動き部分のみが残る可能性は非常に高くなる。
【００３７】
画像Ｐｉｃ−ｄとして検出対象画像が抽出されたら、その検出対象画像（手）の特徴点として典型的には重心位置座標を判定する。
図９Ｃに示すように、動きのある画像としての検出対象画像の重心ｇを判定し、その画像上のＸ座標値（Ｘｇ）とＹ座標値（Ｙｇ）を求める。
この重心座標が、ジェスチャー操作にかかる手の、１つの位置座標とされ、上述した図６Ｂの重心座標メモリエリアＡＲＧに記憶される。
【００３８】
手の動きは、以降、同様に求められる重心位置座標の変化、つまり順次重心座標メモリエリアＡＲＧに記憶されていく重心座標から求められる動きベクトルで判定される。
即ち、以上のようにフレームＮ、Ｎ＋１の２値化後の差分画像から１つの重心座標が求められたら、例えば次にフレームＮ＋１、Ｎ＋２について同様に差分画像を生成して重心座標を求め、重心座標メモリエリアＡＲＧに記憶する。
さらにフレームＮ＋２とＮ＋３、フレームＮ＋３とＮ＋４・・・と、同様に差分画像から求めた重心座標を求め、重心座標メモリエリアＡＲＧに記憶する。
このような動作の過程で、ＣＰＵ２（入力認識部１２）は、重心座標メモリエリアＡＲＧに記憶された座標値の変化から、手の動きを判定することができる。
なお、ここでは検出対象画像（手）の特徴点として典型的な例として重心位置座標を用いて説明するが、特徴点としてはこれに限定されず、指先に相当する最上部の座標や、重心と最上部の中間部の座標などを用いてもよい。ジェスチャー操作に割り当てる手の動きによっては、手首よりも指先の方が大きく動きやすい場合もあるため、特徴点は適宜選択すればよい。
【００３９】
［３−２：入力認識処理］
以上の入力認識処理を行うＣＰＵ２の具体的な処理例を、図１２により説明する。図１２の処理は、図４の構成でいえば、画像取込部１１が順次取り込む赤外線カメラ１からの温度分布画像について、入力認識部１２がステップＦ１０１〜Ｆ１０９の処理を行ってジェスチャー操作を認識し、それに応じて機器制御部１３がステップＦ１１０で、操作に応じた制御を行うものとなる。以下、ＣＰＵ２の処理として説明する。
【００４０】
ＣＰＵ２は、まずステップＦ１０１で、初期処理として、図６で説明した画像メモリエリアＡＲ−ａ，ＡＲ−ｂをクリアする。
以降ＣＰＵ２は、ジェスチャー操作の入力認識を終了するまで、赤外線カメラ１の撮像画像を取り込む毎に、ステップＦ１０２〜Ｆ１１０の処理を継続して行うこととなる。
【００４１】
ＲＡＭ３に確保される画像メモリエリアＡＲ−ａ，ＡＲ−ｂは、図８に示したような２値化画像Ｐｉｃ−ａ、Ｐｉｃ−ｂを記憶するエリアとされる。赤外線カメラ１からの各フレームの撮像画像（温度分布画像）は、順次２値化された後、差分画像Ｐｉｃ−ｃの生成のために画像メモリエリアＡＲ−ａ、ＡＲ−ｂに記憶される。
このためＣＰＵ２は、ステップＦ１０２では、画像メモリエリアＡＲ−ｂの画像データを、画像メモリエリアＡＲ−ａに移動させる。
またＣＰＵ２はステップＦ１０３で、今回取り込んだフレームの撮像画像（温度分布画像）を、閾値ｔｈ１，ｔｈ２を用いて２値化し、画像メモリエリアＡＲ−ｂに記憶する。
ステップＦ１０４でＣＰＵ２は、画像メモリエリアＡＲ−ａに２値化画像が記憶されているか否かを確認し、記憶されていなければ、ステップＦ１０２に戻る。
【００４２】
以上の処理は、順次撮像されるフレームとして、今回のフレーム（フレームＮ＋１）に係る２値化画像が画像メモリエリアＡＲ−ｂに記憶され、前回のフレーム（フレームＮ）に係る２値化画像が画像メモリエリアＡＲ−ａに記憶されるようにする処理となる。
つまり処理開始後の最初のフレームの撮像画像に関しては、まずステップＦ１０３で２値化画像とされて画像メモリエリアＡＲ−ｂに記憶される。
次のフレームが取り込まれた時点では、ステップＦ１０２で、前のフレームの２値化画像が画像メモリエリアＡＲ−ａに移動され、今回のフレームの２値化画像が画像メモリエリアＡＲ−ｂに記憶される。
従って、今回のフレームに係る２値化画像Ｐｉｃ−ｂが画像メモリエリアＡＲ−ｂに記憶され、前回のフレームに係る２値化画像Ｐｉｃ−ａが画像メモリエリアＡＲ−ａに記憶される。ステップＦ１０２，Ｆ１０３では、これが以降のフレームの取込時にも継続されることになる。
【００４３】
撮像画像の２フレーム目以降の取込時点の処理は、画像メモリエリアＡＲ−ａ、ＡＲ−ｂに、今回の２値化画像Ｐｉｃ−ｂと前回の２値化画像Ｐｉｃ−ａが記憶されている状態となっている。その場合は、ステップＦ１０４からＦ１０５に進む。
ＣＰＵ２は、ステップＦ１０５で、画像メモリエリアＡＲ−ａ、ＡＲ−ｂに記憶されている２値化画像Ｐｉｃ−ａ、Ｐｉｃ−ｂの各画素値の排他的論理和を計算し、差分画像Ｐｉｃ−ｃを生成する。そして差分画像Ｐｉｃ−ｃを画像メモリエリアＡＲ−ｃに記憶する。
【００４４】
次にＣＰＵ２はステップＦ１０６で、差分画像Ｐｉｃ−ｃのうちで微小領域を消去し、例えば図９Ｂに示したような、微小領域が消去された差分画像Ｐｉｃ−ｄを生成して、それを画像メモリエリアＡＲ−ｄに記憶する。
具体的には、差分画像Ｐｉｃ−ｃのうちで「１」の画素が連続する領域のうちで、その領域の面積が、所定値（所定画素数）以下である領域について、画素値を「０」に置き換えれば良い。
【００４５】
これにより、画像Ｐｉｃ−ｄは、ユーザの手などの検出対象物に相当する検出対象画像が残された差分画像となる。そこでＣＰＵ２はステップＦ１０７で、画像Ｐｉｃ−ｄに表れている検出対象画像について、重心計算を行う。そして求めた重心座標値を、重心座標メモリエリアＡＲＧに記憶する。
【００４６】
ステップＦ１０８では、ＣＰＵ２は、その時点で重心座標メモリエリアＡＲＧに保持されている座標値を解析し、検出対象画像の動き状態を判定する。
具体的には、重心座標メモリエリアＡＲＧに複数の重心座標が存在している場合に、その重心座標の変化のベクトル（方向及び変化量）を求める。
求められた１又は複数のベクトルから、検出対象画像がどのような動き（画像上での位置変動）を行っているかを判定する。
なお、このような処理のため、動き状態を判定するのは、重心座標メモリエリアＡＲＧに、少なくとも２以上の座標値が格納された以降となる。つまり少なくとも第３フレーム目の撮像画像の取込後に、ステップＦ１０２〜Ｆ１０７の処理が行われた後に、動き状態が判定可能となる。第２フレームの取込後に、第１，第２のフレームについての差分画像に基づいて１つ目の重心座標が判定でき、第２，第３のフレームについての差分画像について２つ目の重心座標が判定できるためである。
【００４７】
ＣＰＵ２は、ステップＦ１０９では、ステップＦ１０８での動き状態の解析の結果により、或るジェスチャー操作が行われたか否かを判定し、まだ動き状態が解析できない第２フレーム目までの時点、或いは動き状態が検出できるが、それが特定のジェスチャー操作に該当する動きではないと判定された場合は、ステップＦ１０２に戻って、次の取込画像に応じた上記処理を継続する。
一方、或る時点で、ステップＦ１０８で判定された検出対象画像の動き状態が、或るジェスチャー操作の動きに該当すると判定した場合は、ＣＰＵ２はステップＦ１１０に進み、当該ジェスチャー操作に応じた制御コマンドを主機能部６に送信する。
例えば図２Ａに示したうちで、ユーザの手の動きとして、左方に移動させるという動き状態を認識した場合、ＣＰＵ２は、チャンネルアップの制御コマンドを主機能部６に送信し、チャンネルアップ動作を実行させることとなる。
【００４８】
以上の処理により、ＣＰＵ２は赤外線カメラ１の撮像画像から、ユーザの手（検出対象物）の画像（検出対象画像）の動き状態を判定し、その動き状態が予め設定されたジェスチャー操作の動きに該当している場合、当該操作に応じた機器動作が実行されるように制御を行うこととなる。
このような第１の実施の形態の入力認識処理によれば、次のような効果が得られる。
【００４９】
まず、赤外線カメラ１の画像を人の肌の温度範囲を示す閾値ｔｈ１，ｔｈ２を用いて２値化することで、人の肌の温度とは異なる温度のものを、検出対象から排除できる。例えば照明、暖房器具等の高温の物、及び通常は体温より温度の低い家具等である。従って、赤外線撮像された温度分布画像の２値化で、人の肌の部分、即ち肌温度画像部を容易に抽出できる。
その上で、差分画像として動きのある肌温度画像部を抽出する。これによって、手を検出対象物とする場合に、顔など、肌温度ではあるが検出対象物ではない部分を除外できる。
即ち、２値化及び差分画像の生成により、画像のパターンマッチングによる形状解析等の複雑な処理を行うことなく、検出対象画像を抽出できる。
【００５０】
また、このような処理では、差分画像上には、微小領域として、検出対象画像以外の画像もわずかに残される場合があるが、そのような微小領域、例えば連続画素領域の面積（画素数）が所定以下の部分を消去することで（画像Ｐｉｃ−ｄ）、より正確に動きのある部分としての検出対象画像を判定できる。
なお、微小領域の消去は、例えばテレビジョン受像器２０から離れた場所にいる人の手の動きなど、ジェスチャー操作に関係のない人の動きを、ジェスチャー操作と誤認定しないようにするという効果も生ずる。即ち遠くに居る人の肌の部分の画像は、小さい面積の画像部分となり、差分画像Ｐｉｃ−ｃに表れていても、画像Ｐｉｃ−ｄでは消去されている部分となるからである。
【００５１】
以上のように画像Ｐｉｃ−ｄで検出対象画像を検出したら、検出対象画像の重心座標を求め、重心座標の変化から、検出対象画像の位置変動、つまり動きの量や方向性による動き状態を判定する。これも単純な重心位置間のベクトル計算で可能となる。
このような本例の処理では、容易な演算処理で、正確にジェスチャー操作を認識でき、ジェスチャー操作に応じた制御が可能となる。これによってジェスチャー操作によるヒューマンインターフェースを簡易かつ正確に実現できる。
提供できる。
【００５２】
なお赤外線カメラ１を用いることによれば、照明の消えた暗い場所でも操作者のジェスチャー操作に用いる肌の部位を検出することができるため、室内が暗い場合でも入力認識を適切に実行できるという利点もある。
【００５３】
［３−３：赤外線カメラの位置］
ところでテレビジョン受像器２０に配置する赤外線カメラ１については、図１に示したように、なるべく機器の上方に配置することが好ましい。
図１３Ａは、仮に、テレビジョン受像器２０の筐体の下方位置に赤外線カメラ１を配置した状態を示している。
この場合、赤外線カメラ１の撮像視野角度は、図示のようにある程度の仰角をもって設定される。通常、ユーザは、手によるジェスチャー操作は、自分の胸の前方位置で行うと考えられ、そのジェスチャー操作が行われる空間を適切に撮像できるようにするためである。
ところがこの場合、図１３Ｂのように、撮像画像として手の部分のバックに顔の部分が重なることが多くなると考えられる。
このような撮像画像では、２値化すると手と顔の部分が同一の領域となり、差分画像Ｐｉｃ−ｃ上に手の動きが表れなく場合が発生しやすい。
【００５４】
これに対して図１４Ａのように、赤外線カメラ１をなるべく上方に配置すると、撮像画像上では図１４Ｂのように顔の部分と手の部分が明確に分かれて撮像されやすくなる。
つまりこの場合は、差分画像Ｐｉｃ−ｃ上で、手の動きが顔に隠れてしまうということが殆どなくなり、手の動きが明確に判定できることとなる。
以上のことから理解されるように、通常は、ユーザの顔よりも手の位置の方が低いことを考慮し、手によるジェスチャー操作を検出する入力装置とする場合は、赤外線カメラ１は、なるべく高い位置（撮像画面上で手と顔が重なりにくい位置）から撮像を行うようにすることが好ましい。
このため機器筐体の上方部位に赤外線カメラ１を内蔵したり、或いは機器筐体とは別体で、上方に赤外線カメラ１が位置されるようにするとよい。
【００５５】
＜４．第２の実施の形態＞
続いて第２の実施の形態としての入力認識処理例を図１５で説明する。図１５は上述の図１２と同様にＣＰＵ２の処理を示したものである。なお、図１５において図１２と同一の処理は同一のステップ番号を付し、説明を省略する。
【００５６】
この処理例は、ＣＰＵ２（入力認識部１２）は、赤外線カメラ１で撮像された温度分布画像の２値化画像において、所定以上の面積を持つ肌温度画像部から、検出対象画像を選定するようにするものである。
図１５の処理例は、図１２と同様のステップＦ１０１〜Ｆ１０４の後に、ステップＦ１４０を加えたものである。
ステップＦ１４０はＣＰＵ２が、画像メモリエリアＡＲ−ａ、ＡＲ−ｂに記憶された２値化画像Ｐｉｃ−ａ、Ｐｉｃ−ｂに、所定面積以上の「１」の画素領域が存在するかを確認する処理となる。上述の第１の実施の形態の説明のとおり、「１」の画素とは、閾値ｔｈ１，ｔｈ２の間の温度である手や顔などに相当する肌温度画像部である。
ＣＰＵ２は、「１」の画素が連続する画素領域を確認し、その面積（＝画素数）を求める。そして、２値化画像Ｐｉｃ−ａ、Ｐｉｃ−ｂに、それぞれ面積（画素数）が所定値以上の肌温度画像部が存在する場合に、ステップＦ１０５以降に進むようにする。ステップＦ１０５〜Ｆ１１０の処理は図１２と同様である。
またＣＰＵ２は、ステップＦ１４０の処理で、２値化画像Ｐｉｃ−ａ、Ｐｉｃ−ｂの一方でも、面積が所定以上の肌温度画像部が存在しなければ、ステップＦ１０２に戻る。つまりその場合は差分画像Ｐｉｃ−ｃの生成や座標計算は行わない。
【００５７】
この処理例は、不要な演算処理の不実行による処理の効率化と、操作者たるユーザの手以外の動きをジェスチャー操作と誤認する可能性を低くする点で有用である。
すなわち、ステップＦ１４０で所定面積以上の肌温度画像部が存在しないとされるのは、操作者たるユーザのジェスチャー操作が行われていないと考えられることに着目した処理となる。
【００５８】
通常、ジェスチャー操作を行うユーザは、図１のようにテレビジョン受像器２０の正面側で比較的近い位置に居る。従って、操作者の手や顔は、赤外線カメラ１での撮像画像において比較的大きな面積（画素領域）を占めることとなる。
一方、操作者がテレビジョン受像器２０の前から席を外した場合は、そのような操作者の手や顔は、温度分布画像に撮像されない。また或る人が通常はジェスチャー操作を行わないような離れた位置にいる場合は、赤外線カメラ１でその人の手や顔が撮像されたとしても、それによる肌温度画像部は面積の小さいものとなる。
これらのことから、２値化画像において肌温度画像部が表れていたとしても、その面積が小さい画像は、「ジェスチャー操作の可能性のあるユーザの手の部分」ではないと判断し、ステップＦ１４０から処理を抜ける（ステップＦ１０５以降を行わない）ようにする。
【００５９】
これによって、遠くの人の動きをジェスチャー操作と誤認することを防止したり、また人が居ないときに無駄な差分画像生成や座標演算を行わないといった処理の効率化を実現できる。
【００６０】
ところで、同じ目的の処理として図１６のような処理も考えられる。図１６は、図１２の処理にステップＦ１４１を加えたものである。
ステップＦ１０１〜Ｆ１０５は図１２と同様である。
【００６１】
ＣＰＵ２は、ステップＦ１４１では、ステップＦ１０５で差分画像Ｐｉｃ−ｃを生成した時点で、差分画像Ｐｉｃ−ｃに所定面積以上の「１」の画素が連続した領域が存在するか否かを確認する。
そして差分画像Ｐｉｃ−ｃに、面積（画素数）が所定値以上の「１」画素部分が存在する場合に、ステップＦ１０６以降に進むようにする。ステップＦ１０６〜Ｆ１１０の処理は図１２と同様である。
またＣＰＵ２は、ステップＦ１４１の処理で、差分画像Ｐｉｃ−ｃに、面積が所定以上の「１」画素部分が存在しなければ、ステップＦ１０２に戻る。つまりその場合は座標計算は行わない。
【００６２】
差分画像Ｐｉｃ−ｃにおける「１」の画素とは、肌温度画像部のうち、動きのある部分を示すものである。従ってステップＦ１４１で差分画像Ｐｉｃ−ｃにおいて連続した「１」画素の面積が所定以上である場合とは、手や顔に相当する肌温度画像部のうちで、ある程度はっきりした動きが認められる領域があると判定できる場合となる。
第１の実施の形態で説明したように、ステップＦ１０６では差分画像Ｐｉｃ−ｃにおいて微小領域を消去するが、この図１６においてステップＦ１４１で、所定面積以上の「１」画素領域が存在しない場合とは、ジェスチャー操作としての有効な動きが検出されない場合となる。
【００６３】
例えばステップＦ１４１の面積判定の閾値と、ステップＦ１０６の微小領域の判定の閾値を同一値とした場合は、ステップＦ１４１で、所定面積以上の「１」画素領域が存在しない場合とは、もしステップＦ１０６で微小領域を消去した時点で、画像Ｐｉｃ−ｄには「１」画素が存在しなくなる状況となる。つまり、ジェスチャー操作に係る動きのある画像が元々存在していない状況である。
また例えばステップＦ１４１の面積判定の閾値を、ステップＦ１０６の微小領域の判定の閾値よりも大きい値とした場合は、ステップＦ１４１で、所定面積以上の「１」画素領域が存在しない場合とは、もしステップＦ１０６で微小領域を消去した後の画像Ｐｉｃ−ｄにおける「１」画素は、さほど動きが大きくない画像に対応した情報となっている場合である。つまりその場合の「１」画素は、ジェスチャー操作に対応した情報であるという可能性は低い。
【００６４】
これらのことから差分画像Ｐｉｃ−ｃにおいて所定面積以上の「１」画素領域が存在しない場合とは、それはジェスチャー操作に係る画像である確率は極めて低い。そこでそのような場合は、座標値の計算を行わずにステップＦ１４１からＦ１０２に戻るようにすることで処理の効率化を図り、また微小な動きをジェスチャー操作の一部として誤認することを解消する。
【００６５】
＜５．第３の実施の形態＞
第３の実施の形態の処理を図１７，図１８で説明する。
この例は、ＣＰＵ２（入力認識部１２）が、検出対象画像の動き状態を示す位置の変化が所定回数以上連続して所定量以上であることを条件として、操作入力の認識処理を行うものである。
【００６６】
図１７はフレームＮ、Ｎ＋１、Ｎ＋２の２値化画像としてユーザの手の部分のみを示している。ジェスチャー操作が行われた場合、ユーザの手は各フレームで連続してある程度以上の量の動きが観測される。例えば図示のようにフレームＮ、Ｎ＋１、Ｎ＋２・・・と連続して画像上の手の位置の変動が観測される。
一方、手の画像が２値化画像に表れたとしても、連続したフレーム間でほぼ同じ位置である場合は、手は動いておらず、ジェスチャー操作を行っているものではないと判断できる。
そこで、検出対象画像である手の画像の動き状態を示す位置の変化が所定フレーム以上連続して所定量以上であることを条件とすることで、的確にジェスチャー操作に係る動きを判定できる。
【００６７】
具体的な例としてはＣＰＵ２は、図１２の処理のステップＦ１０８において、図１８に示す処理を含むようにすればよい。
第１の実施の形態で説明したように図１２のステップＦ１０８では、重心座標メモリエリアＡＲＧの座標値を解析して動き状態を判定する。このときにＣＰＵ２は、図１８の動き判定処理を行う。
なお、図１８の処理例は、動きが２回連続して所定量以上であることを条件とする例である。
【００６８】
まずステップＦ１５０でＣＰＵ２は、フレームＮとフレームＮ＋１間の検出対象物の動きベクトルを求め、これを動きベクトルＶ１とする。
またステップＦ１５１でＣＰＵ２は、フレームＮ＋１とフレームＮ＋２間の検出対象物の動きベクトルを求め、これを動きベクトルＶ２とする。
【００６９】
なお図１７では模式的に２値化画像でフレームＮとフレームＮ＋１間の検出対象物の動きベクトルＶ１とし、フレームＮ＋１とフレームＮ＋２間の検出対象物の動きベクトルＶ２としているが、図１２の処理例に則していえば多少異なる点がある。
図１２の処理例では、実際には座標値は微小領域消去後の差分画像Ｐｉｃ−ｄから求めているため、動きベクトルＶ１は、フレームＮとフレームＮ＋１から生成した画像Ｐｉｃ−ｄから求められる座標値と、フレームＮ＋１とフレームＮ＋２から生成した画像Ｐｉｃ−ｄから求められる座標値から求められるものとなる。同様に、動きベクトルＶ２は、フレームＮ＋１とフレームＮ＋２から生成した画像Ｐｉｃ−ｄから求められる座標値と、フレームＮ＋２とフレームＮ＋３から生成した画像Ｐｉｃ−ｄから求められる座標値から求められるものとなる。
つまり、動きベクトルＶ１、Ｖ２は、座標メモリエリアＡＲＧに順次記憶された座標値の差分として求めれば良い。
【００７０】
ＣＰＵ２は、ステップＦ１５２で、動きベクトルＶ１、Ｖ２が、それぞれ動き量の閾値Ｖｓより大きいか否かを判定する。
そしてＶ１＞Ｖｓ、かつＶ２＞ＶｓであればステップＦ１５３に進み、動き有りと判定する。一方、Ｖ１＞Ｖｓ、かつＶ２＞ＶｓでなければステップＦ１５４に進み、動き無しと判定する。
【００７１】
この図１８はステップＦ１０８内の処理の一部（動き判定）のみを示しているが、ＣＰＵ２は、動き有りと判定した場合は、さらに座標メモリエリアＡＲＧの各座標値から動き状態を判定し、それがジェスチャー操作に該当するか否かを判断することになる。
一方、動き無しと判定した場合は、動き状態がジェスチャー操作に該当するか否かの判断を行わずに、即座に操作入力は行われていないと判定できる。
【００７２】
このように、検出対象画像の動き状態を示す位置の変化が所定回数以上連続して所定量以上であること、つまり動きベクトルで求められる動きの量が連続して所定量以上であることを条件として動き状態の判断を行うことで、ユーザの一瞬の動きや微小な動きにむやみに反応してしまうことによる誤動作を防止すると共に、処理の効率化を実現できる。
なお、図１８の例では２回連続してＶｓ以上の動きという条件の例としたが、もちろん回数については３回連続、４回連続などを条件としても良い。
例えば３回連続の場合は、さらに続くフレームに関しての動きベクトルＶ３を求め、Ｖ１＞Ｖｓ、かつＶ２＞Ｖｓ、かつＶ３＞Ｖｓを条件とすれば良い。
【００７３】
また、上記例は図１８の処理を図１２のステップＦ１０８内で行うものとしたが、このような例に限られない。例えば図１７に示したように各フレームの２値化画像からベクトルＶ１、Ｖ２・・・を求めるようにして、その段階で所定回数、所定量の条件を満たしているか否かを判断しても良い。
【００７４】
＜６．第４の実施の形態＞
第４の実施の形態の処理例を図１９，図２０で説明する。
これは２値化画像の生成において、はじめに第１の閾値ｔｈ１と第２の閾値ｔｈ２を用いて、対象となる例えば手の部分を検出した後、検出対象物の温度が絞り込めた場合、第１の閾値より高い第３の閾値ｔｈ３と第２の閾値より低い第４の閾値ｔｈ４を設定し、検出範囲を狭め、より肌温度画像部を特定し易くするものである。
【００７５】
ＣＰＵ２（入力認識部１２）は、図１９Ａに示すように、人の肌の温度範囲として設定した閾値ｔｈ１、ｔｈ２に対して、温度分布画像の各画素の温度値を比較することで、温度分布画像内での肌温度画像部の検出を行う。これは第１の実施の形態で説明したとおりである。
その後ＣＰＵ２は、検出対象画像とされた肌温度画像部の温度値に基づいて、閾値ｔｈ１、ｔｈ２で示される温度範囲より狭い温度範囲を示す閾値ｔｈ３、ｔｈ４（図１９Ａ参照）を設定し、以降、閾値ｔｈ３，ｔｈ４を用いて、温度分布画像内での肌温度画像部の検出、つまり２値化画像の生成を行うようにする。赤外線による温度検出は分解能が高く、０．１度未満の差でも検出できるため、ユーザの顔と手の温度差や、体温の個人差等も十分検出が可能であり、このようにすることでジェスチャー操作の認識精度を向上できるからである。
【００７６】
このためにはＣＰＵ２は、入力認識処理については例えば図１２と同様に行えば良い。ＣＰＵ２（入力認識部１２）は図１２の処理と並行して、例えば図２０のような閾値調整処理を実行するようにする。
【００７７】
ＣＰＵ２はステップＦ２０１で、初期設定として温度幅Ｔｄの設定を行う。温度幅Ｔｄとは、図１９Ｂに示す、目的温度Ｔｇからの閾値ｔｈ３，ｔｈ４までの温度幅である。目的温度Ｔｇとは、例えば検出対象物たる手の温度である。
【００７８】
ＣＰＵ２は、ステップＦ２０２で、まずは人の肌を検出するための一般的な温度範囲として閾値ｔｈ１，ｔｈ２を、図１２のステップＦ１０３で使用する閾値として設定する。
これにより、図１２の処理は、第１の実施の形態で説明したように実行される状態となる。
【００７９】
その後ＣＰＵ２は、ステップＦ２０３で検出対象物の温度（目的温度Ｔｇ）の測定を行う。この処理は図１２の処理の実行中に、或る時点で検出対象画像が特定された際に可能となる。例えば図１２のステップＦ１０６で微小領域消去後の差分画像Ｐｉｃ−ｄが得られた時点で、検出対象画像が特定される。
差分画像上で特定される検出対象画像に相当する２値化画像の画素位置（座標値）を求め、該２値化画像の元となった温度分布画像において、該当の画素位置における温度値を検出すれば、それが検出対象物（例えば操作者たるユーザの手）の温度、つまり目的温度Ｔｇとして検出できる。
【００８０】
ＣＰＵ２は、目的温度Ｔｇの測定を完了したらステップＦ２０４からＦ２０５に進み、先に設定した温度幅Ｔｄと目的温度Ｔｇを用いて閾値ｔｈ３，ｔｈ４を次のように決定する。
閾値ｔｈ３＝Ｔｇ−Ｔｄ
閾値ｔｈ４＝Ｔｇ＋Ｔｄ
このように閾値ｔｈ３、ｔｈ４を決定したら、ＣＰＵ２はステップＦ２０６で、閾値ｔｈ３、ｔｈ４を図１２のステップＦ１０３で使用する閾値として設定する。
これにより、以降も継続される図１２の処理は、ステップＦ１０３において閾値ｔｈ３、ｔｈ４を用いての２値化処理が行われることになる。
【００８１】
閾値ｔｈ３，ｔｈ４を用いて２値化画像が生成されることで、２値化画像では、操作者の肌の部分以外の排除能力が高まり、２値化画像に表れる肌温度画像部は、操作者の肌の部分である可能性を一層高くできる。
従って、図１２等の処理によるジェスチャー操作の認識の確度が高まることとなる。即ち２値化画像として肌温度画像部をより正確に判定できるためである。
また、複数の人が居る場合に、操作者ではない人の肌の部分の画像を２値化画像から排除できる可能性も高められることからも、ジェスチャー操作認識の確度を向上できる。
さらには、例えば操作者の手の温度と顔の温度が多少異なる場合に、手の部分のみを２値化画像で抽出できる場合もあり、その場合もジェスチャー操作の認識確度を高めることとなる。すなわち操作者が手を動かす範囲のうちの一部が顔と重なっていたとしても、手の動きだけを確実に認識する等の効果がある。
【００８２】
閾値ｔｈ３、ｔｈ４を用いる状態は、その後、ジェスチャー追尾が終了とされるまで継続され、ジェスチャー追尾が終了とされたら、ステップＦ２０２に戻って、閾値ｔｈ１，ｔｈ２を使用する状態にセットする。
【００８３】
ステップＦ２０７でいうジェスチャー追尾の終了の判断は各種の例が考えられる。
例えば図１２の処理で１つのジェスチャー操作が認識され、ステップＦ１１０で操作コマンドが発行された時点をジェスチャー追尾の終了としてもよい。このようにした場合、１回のジェスチャー操作に関しての各フレームの処理において、閾値ｔｈ３、ｔｈ４をセットした後の２値化画像の精度を高めることができ、ジェスチャー操作としての動き状態の認識の精度を向上させることができる。
また或るユーザの肌温度を目的温度Ｔｇとして閾値ｔｈ３、ｔｈ４を設定すると、他のユーザのジェスチャー操作が認識できない場合が生ずる。そのため、１回のジェスチャー操作の完了で閾値ｔｈ３、ｔｈ４の設定を解除して、閾値ｔｈ１，ｔｈ２の使用状態に戻すこととすれば、複数の人のジェスチャー操作に対応するという意味で好適である。
【００８４】
一方、ある程度の時間間隔で、ジェスチャー操作が認識されなかったら、ジェスチャー追尾の終了と判断しても良い。
例えば或る一人のユーザが、続けてジェスチャー操作を行うことが通常に考えられる。その場合、一旦或るユーザの肌の温度を目的温度Ｔｇとして閾値ｔｈ３、ｔｈ４を使用設定した場合、以降、その閾値ｔｈ３、ｔｈ４を用いることが好ましいともいえる。そこで、短い時間間隔で繰り返し何らかのジェスチャー操作が行われている間は、同一人が操作していると仮定して、閾値ｔｈ３、ｔｈ４の使用設定を継続するとよい。
またこのように、ある程度継続して閾値ｔｈ３、ｔｈ４の使用状態を継続するものとする場合は、ステップＦ２０３での目的温度Ｔｇの測定は、少なくとも１回のジェスチャー操作を検知した後に行うようにしてもよい。ジェスチャー操作と認識された場合に、その際の該当する画像を検出対象画像とすることで、検出対象物の温度を正確に検出でき、もって閾値ｔｈ３、ｔｈ４の精度を高めることができるためである。
また、同様の目的で、閾値ｔｈ３、ｔｈ４の設定を行った後、一定時間を経たらジェスチャー追尾の終了と判断しても良い。
さらには、特定のジェスチャー操作を、閾値ｔｈ３、ｔｈ４の設定解除操作とし、ユーザの指示でジェスチャー追尾の終了とするようにしてもよい。
【００８５】
なお、以上の図２０の処理は図１２の入力認識処理と並行して行うとしたが、例えば設定モードとして、閾値ｔｈ３、ｔｈ４の設定を行うことも考えられる。
例えば設定モードとして、閾値ｔｈ１，ｔｈ２の使用状態でユーザに手を赤外線カメラ１の前にかざしてもらったり、ジェスチャー操作を行ってもらう。そしてその状態で肌温度画像部を検出し、温度分布画像における該当部分の画素の温度を目的温度Ｔｇとする。目的温度Ｔｇを求めたら、閾値ｔｈ３、ｔｈ４を設定し、以降は常時、閾値ｔｈ３、ｔｈ４を図１２のステップＦ１０３で使用する閾値とする。
ジェスチャー操作に関しては特定ユーザが常に使用するような場合、このように予めそのユーザの体温に合わせた閾値ｔｈ３、ｔｈ４を設定しておくことも精度向上に好適である。
【００８６】
ところで閾値ｔｈ３、ｔｈ４は目的温度Ｔｇから求める値としたが、閾値ｔｈ１，ｔｈ２よりも狭い温度範囲を示す値としての固定値を用いることも考えられる。例えば検出対象物であるユーザの手の温度が、閾値ｔｈ３、ｔｈ４の範囲内にある場合は、閾値ｔｈ３、ｔｈ４の使用に切り換える等の処理が考えられる。
【００８７】
＜７．第５の実施の形態＞
第５の実施の形態の処理を図２１，図２２，図２３で説明する。
この第５の実施の形態は、ＣＰＵ２（入力認識部１２）が、検出対象画像の特定の動きを検出した場合、該特定の動きの際の検出対象画像の温度分布画像や２値化画像における位置に基づいて検出対象範囲を設定し、以降、その検出対象範囲内で、検出対象画像の検出を行うようにする例である。
【００８８】
図２１に例を示す。図２１Ａは２値化画像においてユーザの手の部分である領域ＨＤと顔の部分である領域ＦＣが表れている状態で示している。
ここで、入力認識処理の過程で、ユーザが範囲設定動作としての特定の動きとして、破線矢印ＲＤのように手で円を描くような動作を行ったとする。
このような特定の動きを検出した場合、当該動きの画像上の位置に基づいて、図２１Ｂに示すように検出対象範囲Ａｄｅｔを設定する。
以降は、この検出対象範囲Ａｄｅｔ内で、検出対象画像の検出及び動き状態の判定を行うものとする。
【００８９】
ＣＰＵ２の処理例を図２２に示す。なおステップＦ１０１〜Ｆ１１０は図１２と同様であり、説明を省略する。
この図２２は、基本的な処理は図１２と同様となるが、例えば上記の図２１のように、円を描くようなジェスチャーを特定のジェスチャーとして予め設定しておく。そして、ユーザがこの特定のジェスチャーを行った場合は、検出対象範囲Ａｄｅｔの設定を行う。
即ちＣＰＵ２は、ステップＦ１０８での検出対象画像の動き状態の判定によって、ジェスチャー操作としての動きが認められた場合は、ステップＦ１０９からＦ１１０に進んで対応したコマンドの発行を行うが、本例の場合、ステップＦ１０８での動き判定において、ジェスチャー操作の動きであるか否かの判定と共に、例えば円を描くような範囲設定動作としての「特定のジェスチャー」に相当する動きであるか否かの判定も行うようにする。
そして範囲設定動作としての特定のジェスチャーが認められた場合は、ステップＦ１２０からＦ１２１に進み、ＣＰＵ２は、検出対象範囲Ａｄｅｔの算出処理を行う。
【００９０】
このステップＦ１２１の検出対象範囲Ａｄｅｔの算出処理の例を図２３に示している。
図２１Ａに示したようにユーザが破線矢印ＲＤのように円弧を描く動作を行ったことに応じて、ＣＰＵ２はステップＦ３０１で、画像上における円弧の中心座標ＣＰと、直径Ｄを求める。
なお、各フレームでの手の画像の重心座標は、図２２のステップＦ１０７で求められ、順次重心座標メモリエリアＡＲＧに記憶されている。従って、図２２のステップＦ１０８では重心座標値の変位（動きベクトルの方向）から、円を描くようなジェスチャーを認識できる。さらに図２３のステップＦ３０１では、重心座標メモリエリアＡＲＧに記憶された各重心座標の軌跡で形成される円について、その中心座標ＣＰ及び直径Ｄを、その各重心座標値から求めることができる。
【００９１】
次にＣＰＵ２はステップＦ３０２で、検出対象物（手）の高さＨと幅Ｗを求める。検出対象物の高さＨと幅Ｗは、或るフレームの２値化画像における手の部分の高さ方向と幅方向の画素数から求めることができる。
【００９２】
そしてＣＰＵ２はステップＦ３０３で、中心座標ＣＰを中心にして、幅Ｗ＋Ｄ、高さＨ＋Ｄの範囲を、検出対象範囲Ａｄｅｔとして設定する。即ち図２１Ｂに示すように、手の画像が通常撮されるであろう範囲が、検出対象範囲Ａｄｅｔとされる。
図２２のステップＦ１２１で以上のように検出対象範囲Ａｄｅｔを算出したら、ＣＰＵ２はステップＦ１２２で、当該検出対象範囲Ａｄｅｔに限定した入力認識処理を開始して、ステップＦ１０２からの処理を行う。
従って以降は、検出対象範囲Ａｄｅｔのみを対象として、ステップＦ１０２〜Ｆ１０８の処理が実行される。
例えば検出対象範囲Ａｄｅｔについて、２値化画像が生成される。そして複数の２値化画像の差分画像が生成され、微小領域の消去が行われ、検出対象画像が特定されて、その重心位置が記憶される。そして重心位置の変化状況から、検出対象画像の動き状態が判定される。
なお、２値化画像については画面全体で通常に行い、その後、差分画像Ｐｉｃ−ｃの生成範囲を、検出対象範囲Ａｄｅｔ内のみに限定してもよい。
【００９３】
以上のような処理例によれば、撮像画像上での範囲として、ユーザの手のジェスチャー操作が位置する範囲が限定されて入力認識が行われる。このため、顔の部分や他の物を除外して入力認識を行う確立を高めることができ、ジェスチャー操作認識の確度を，高めることができる。
【００９４】
なお、以上の例では図２２の入力認識処理の過程で、ユーザが特定のジェスチャーを行うことに応じて検出対象範囲Ａｄｅｔを設定するものとしたが、入力認識処理とは独立した設定モード等で検出対象範囲Ａｄｅｔの設定を行っても良い。
例えば設定モード状態においてユーザに特定のジェスチャーを実行してもらい、ＣＰＵ２は、それを認識して図２３のような処理で検出対象範囲Ａｄｅｔを設定する。以降は検出対象範囲Ａｄｅｔにおいて入力認識処理を行うようにしても良いし、ユーザの操作により検出対象範囲Ａｄｅｔが有効化されるようにしてもよい。
【００９５】
また、特定のジェスチャーは、円を描くようなジェスチャー以外に多様に考えられることは言うまでもない。
また、検出対象範囲Ａｄｅｔの設定手法も多様に考えられる。
例えばユーザに手を四角形や円形に動かすような「特定のジェスチャー」を実行してもらい、その移動軌跡を元に、移動軌跡外縁より若干広い画像上の範囲を検出対象範囲Ａｄｅｔとすることなども考えられる。
【００９６】
＜８．第６の実施の形態＞
第６の実施の形態を図２４，図２５で説明する。これは、ＣＰＵ２（入力認識部１２）が、差分画像で動きが観測される肌温度画像部が所定の時間内に検出できない場合に、メッセージ出力を実行させる処理を行う例である。
【００９７】
図２４Ａ，図２４Ｂに、或る連続するフレームの２値化画像Ｐｉｃ−ａ、Ｐｉｃ−ｂを示している。この場合に撮像画像にはユーザの顔と手が写されており、２値化画像Ｐｉｃ−ａ、Ｐｉｃ−ｂには、ユーザの顔に相当する領域ＦＣと手に相当する領域ＨＤが表れているとしている。ところが図示のように手の領域ＨＤが顔の領域ＦＣと重なっており、手の領域ＨＤのみを抽出できない状況にある。換言すれば、手の動きが、背後の顔の領域ＦＣに隠れて検出できない。
ＣＰＵ２から見れば、この２値化画像Ｐｉｃ−ａ、Ｐｉｃ−ｂの差分画像Ｐｉｃ−ｃは図２４Ｃのように、動きを表す差分画素が表れない状態となってしまう。
ユーザが顔の前で手を動かすようなジェスチャー操作を行うと、このような状況が発生することがある。そしてこのような状況が続くと、ジェスチャー操作を的確に検出できない。
【００９８】
そこでＣＰＵ２は、このような状況において、ユーザにメッセージを出力する処理を行うようにする。
例えばＣＰＵ２は、図１２のステップＦ１０５の処理として、図２５に示すような処理を行うようにする。
【００９９】
図１２においてステップＦ１０５に進む場合は、画像メモリエリアＡＲ−ａ，ＡＲ−ｂに２値化画像Ｐｉｃ−ａ、Ｐｉｃ−ｂが格納され、これらの差分画像Ｐｉｃ−ｃを生成する場合である。
この際にＣＰＵ２は、図２５のステップＦ４０１として、２値化画像Ｐｉｃ−ａ、Ｐｉｃ−ｂに肌温度画像部があるか否かを確認する。肌温度画像部は、即ち閾値ｔｈ１，ｔｈ２による２値化で「１」となる画素の領域である。
もし２値化画像Ｐｉｃ−ａ、Ｐｉｃ−ｂに肌温度画像部が存在しなければ、差分画像Ｐｉｃ−ｃを生成する必要はないため、図１２のステップＦ１０２に戻る。
【０１００】
２値化画像Ｐｉｃ−ａ、Ｐｉｃ−ｂに肌温度画像部がある場合は、ＣＰＵ２はステップＦ４０２に進んで、２値化画像Ｐｉｃ−ａ、Ｐｉｃ−ｂの各画素について排他的論理和を演算し、差分画像Ｐｉｃ−ｃを生成する。
この場合にＣＰＵ２は、ステップＦ４０３で、有効な差分画像Ｐｉｃ−ｃが生成できたか否かを確認する。有効な差分画像とは、動きのある肌温度画像部が存在している差分画像と考えればよい。例えば差分画像Ｐｉｃ−ｃにおいて「１」の画素として所定面積以上の連続領域が存在していれば、有効な差分画像Ｐｉｃ−ｃと判定する。一方、図２４Ｃのように「１」画素が存在しない場合、あるいは存在しても微小な領域の場合は、有効な差分画像Ｐｉｃ−ｃではないとする。
【０１０１】
有効な差分画像Ｐｉｃ−ｃが得られた場合は、ステップＦ４０４に進んで、差分画像Ｐｉｃ−ｃを画像メモリエリアＡＲ−ｃに記憶する。これにより図１２のステップＦ１０５の処理を完了し、ステップＦ１０６に進む。
【０１０２】
一方、有効な差分画像Ｐｉｃ−ｃが生成できなかった場合は、ステップＦ４０５にすすみ、無効差分画像生成の連続回数をカウントする変数ＣＴをインクリメントする。
そしてステップＦ４０６で変数ＣＴが、カウント閾値ＣＴｔｈ以上となっているか否かを判断し、ＣＴ＜ＣＴｔｈであれば、そのまま図１２のステップＦ１０２に進む。
赤外線カメラ１の撮像画像のフレーム取込毎に行われる図１２の処理の過程で、２値化画像に肌温度画像部が存在するにもかかわらず、有効な差分画像Ｐｉｃ−ｃが生成できない状態が、長時間継続すると、或る時点でステップＦ４０６で変数ＣＴ≧カウント閾値ＣＴｔｈとなる。
この場合、ＣＰＵ２はステップＦ４０６からＦ４０７に進み、メッセージ表示制御を行う。即ち図２４で説明したような状況で、ジェスチャー操作が良好に検出できない状態であると推定し、それに応じて主機能部６に例えば「ジェスチャー操作の手の位置を変えて下さい」等の表示出力を実行させる。例えば、一定時間、当該メッセージ表示を実行するように制御すれば良い。
そしてステップＦ４０８で変数ＣＴを０リセットして、図１２のステップＦ１０２に戻る。
【０１０３】
例えばこのような処理を行うことで、ユーザの手の位置の都合などで長時間ジェスチャー操作が検出できない場合に、ユーザにジェスチャー操作を行う位置の是正を求めることができる。メッセージ表示に応じて、ユーザが手の位置を下げるなどすれば、その後は有効な差分画像Ｐｉｃ−ｃが得られる状態となり、ジェスチャー操作認識が正常に可能となる。
【０１０４】
以上はユーザのジェスチャー位置の変更を求めるメッセージ表示を行う処理例であるが、どのようなタイミングや条件でメッセージ表示を行うかは多様に考えられる。
例えば、テレビジョン受像器２０の前に人が居て、２値化画像に肌温度画像部が表れていたとしても、その人が全くジェスチャー操作を行っていない場合は、長時間、有効な差分画像Ｐｉｃ−ｃが得られないといった判定が為される可能性がある。
そこで、テレビジョン受像機２０がジェスチャー操作を待っているモードにもかかわらず、ジェスチャー操作が所定の時間検出されない場合にメッセージ表示を行うようにしてもよい。
またジェスチャー操作を行っている場合には、手以外の顔なども多少の動きが生ずることなどに着目して、顔に相当する部分で微小な動きが表れているが、手の動きが表れていない差分画像Ｐｉｃ−ｃを、有効ではない差分画像Ｐｉｃ−ｃと判断するなどの手法も考えられる。
即ち、ジェスチャー操作を行っているであろうと推定されるにもかかわらず、手の動きが観測できないというような場合に、メッセージ表示を行うことが適切である。
【０１０５】
＜９．第７の実施の形態＞
第７の実施の形態を図２６，図２７で説明する。
これはＣＰＵ２（入力認識部１２）が、検出対象画像が複数検出された場合、一の検出対象画像を選定し、該選定した検出対象画像に合致する検出条件を設定して、以降の検出対象画像の検出を行う例である。
例えば検出条件としては、選定した検出対象画像に応じた温度範囲の条件（温度条件）と、選定した検出対象画像の画像位置に基づいて設定した検出対象範囲Ａｄｅｔの条件（位置条件）とする。
またＣＰＵ２（入力認識部１２）は、検出対象画像が複数検出された場合、特定の動きが検出された検出対象画像を、一の検出対象画像として選定する。
【０１０６】
図２６に概要を示す。
例えばテレビジョン受像器２０の前に３人の人が居たとする。そして図２６Ａに示すように、例えば２値化画像において３人のそれぞれの手の領域ＨＤ１，ＨＤ２，ＨＤ３が肌温度画像部として表れているとする。
なお、ここでは３人の手の温度は、３５．５℃（領域ＨＤ１）、３５．７℃（領域ＨＤ２）、３４．９℃（領域ＨＤ３）であったとする。
【０１０７】
このように複数の人の手が撮像される場合、どの手の動きがジェスチャー操作を行ったかを特定してジェスチャー操作認識を行うことが必要になる。
そこで本例では、ジェスチャー操作を行う人は、予め特定の動作（特定ジェスチャー）を行った人（手）を操作者の手とし、その手の動きを検出してジェスチャー操作認識を行うこととする。
例えば特定ジェスチャーを、図２６Ａに破線矢印ＲＤで示すように円を描くような手振りであるとする。
ＣＰＵ２は、このような特定ジェスチャーを検知した場合、その手の温度に合わせて２値化のための閾値ｔｈ３、ｔｈ４の設定を行い、かつ、例えば図２６Ｂに示すように検出対象範囲Ａｄｅｔを設定する。検出対象範囲Ａｄｅｔの設定は例えば上記第５の実施の形態で説明した処理と同様とする。
以降は、閾値ｔｈ３、ｔｈ４による温度条件と、検出対象範囲Ａｄｅｔによる画像上での位置の条件の上で、ジェスチャー操作の検出対象画像を特定し、操作認識を行う。
例えば温度条件として閾値ｔｈ３＝３５．０℃、閾値ｔｈ４＝３６．０℃とした場合、図２６Ａのうちで、領域ＨＤ１，ＨＤ２としての手の画像が該当する。つまり閾値ｔｈ３、ｔｈ４で２値化を行うと、図２６Ｂのように２値化画像には領域ＨＤ１，ＨＤ２としての手の画像が抽出される。さらに位置条件として検出対象範囲Ａｄｅｔでの検出を行うものとすると、領域ＨＤ１の手の画像のみが該当する。このような状況の場合、ＣＰＵ２は領域ＨＤ１の画像について、動き状態を検出してジェスチャー操作認識を行うものとする。
なお、温度条件による検出対象画像の特定と、画像上の位置の条件による検出対象画像の特定は、どちらか一方のみを用いてもよい。
【０１０８】
ＣＰＵ２の具体的な処理例を図２７に示す。図２７は、図１２の処理を変形したものとして、図１２のステップＦ１０７，Ｆ１０８の内容を示すと共に、図１２の処理に追加する処理として、ステップＦ５０１〜Ｆ５０５を加えたものである。図１２と共に説明する。
【０１０９】
ＣＰＵ２は、図１２のステップＦ１０１〜Ｆ１０６は上述同様に実行する。なお当初は、ステップＦ１０３で使用する閾値は、閾値ｔｈ１，ｔｈ２としている。
ＣＰＵ２はステップＦ１０６で微小領域消去後の差分画像Ｐｉｃ−ｄを生成した後は、ステップＦ１０７として、検出対象画像の重心算出を行うことになる。
【０１１０】
本例の場合、このステップＦ１０７を図２７に示すように実行する。
まずＣＰＵ２はステップＦ１０７ａで、微小領域消去後の差分画像Ｐｉｃ−ｄに、複数の検出対象画像が存在するか否かを確認する。
検出対象画像が１つであれば、ＣＰＵ２はステップＦ１０７ｂに進み、その検出対象画像の重心計算を行って、重心座標メモリエリアＡＲＧに記憶する。これは図１２のステップＦ１０７として説明したとおりの処理である。
一方、検出対象画像が複数存在する場合、ＣＰＵ２はステップＦ１０７ｃに進み、各検出対象画像について、それぞれ重心計算を行い、重心座標メモリエリアＡＲＧに記憶する。なおこのため、重心座標メモリエリアＡＲＧには、複数の検出対象画像に対応して、それぞれ重心座標値が順次フレーム期間毎に記憶していくことができるように記憶領域が用意される。例えば図６Ｂのような記憶領域が、検出対象画像の数に応じて複数単位用意される。
【０１１１】
続く図１２のステップＦ１０８では、重心座標メモリエリアＡＲＧの内容から重心座標変化を解析し、検出対象画像の動き状態を判定する。本例の場合、このステップＦ１０８で、図２７に示す処理を行う。
まずＣＰＵ２は、ステップＦ１０８ａで、検出対象画像が複数であったか否かで処理を分岐する。検出対象画像が１つの場合、ステップＦ１０８ｂで重心座標メモリエリアＡＲＧに記憶された一連の重心座標値から、動き状態を解析する。これは図１２で述べたとおりの処理である。
この処理でジェスチャー操作に相当する動きが検出された場合は、ＣＰＵ２は図１２のステップＦ１０９→Ｆ１１０と進み、対応する制御コマンドを主機能部６に対して発行することとなる。
【０１１２】
一方、検出対象画像が複数で、それぞれについて重心座標メモリエリアＡＲＧに一連の重心座標値が記憶されている場合、ＣＰＵ２はステップＦ１０８ａからＦ１０８ｃに進み、各検出対象画像について重心座標の変化を解析して動き状態を判定する。
この場合の動き状態の判定は、上述の円弧を描く動きのような、特定ジェスチャーが合ったか否かの判定である。
そしていずれの検出対象画像にも特定の動き（特定ジェスチャー）が検出されなければ、ステップＦ５０１から図１２のステップＦ１０９に進み、さらにステップＦ１０２に戻ることになる。
【０１１３】
赤外線カメラ１から順次供給されるフレームについて、図１２（及び図２７）の処理を継続していくことで、或る時点で、ステップＦ５０１で特定の動きがあると判定されることがある。
例えば図２６Ａのように３つの手の画像が撮像されて、それらが微小領域消去後の差分画像Ｐｉｃ−ｄにおいて動きのある部分（つまり検出対象画像）として表れている場合を例に挙げる。各フレームに対する処理期間において、上記ステップＦ１０７ｃでは、それぞれの検出対象画像について重心座標が求められて記憶される。
重心座標メモリエリアＡＲＧに、それぞれの検出対象画像について、それぞれ所要数の重心座標値が記憶された時点で、或る検出対象画像の動き状態が、円弧を描くような動きであると判定されることがある。
【０１１４】
例えば図２６Ａの領域ＨＤの手の画像に相当するユーザが、手で円弧を描くと、その特定ジェスチャーが、或る時点でのステップＦ１０８ｃでの解析により検出される。
その場合、ＣＰＵ２はステップＦ５０１からＦ５０２に処理を進め、一の検出対象画像を特定する。即ち領域ＨＤ１に相当する微小領域消去後の差分画像Ｐｉｃ−ｄ上の画像を、検出対象画像として特定する。
そしてＣＰＵ２はステップＦ５０３で、当該領域ＨＤ１に相当する温度分布画像から求められる温度（領域ＨＤ１に相当する手の温度）を用いて、閾値ｔｈ３、ｔｈ４を求める。例えば第４の実施の形態で説明したように、領域ＨＤ１に相当する温度値を目的温度Ｔｇとして、閾値ｔｈ３＝Ｔｇ−Ｔｄ、閾値ｔｈ４＝Ｔｇ＋Ｔｄ等の演算で決定すればよい。閾値ｔｈ３、ｔｈ４を決定したら、これを図１２のステップＦ１０３で閾値ｔｈ１，ｔｈ２に代えて使用する閾値とする。
【０１１５】
さらにＣＰＵ２はステップＦ５０４で、検出対象範囲Ａｄｅｔを算出する。検出対象範囲Ａｄｅｔの算出は第５の実施の形態で述べた図２３の処理を実行すればよい。
検出対象範囲Ａｄｅｔを算出したら、ＣＰＵ２はステップＦ５０５で、検出対象範囲Ａｄｅｔを対象としての入力認識処理を開始させて図１２のステップＦ１０１に戻る。
【０１１６】
このステップＦ５０２〜Ｆ５０５の処理を経た後は、複数の検出対象画像が検知される場合でも、そのうちの１つが検出対象画像として特定され、ジェスチャー操作の監視が行われる状態となる。
即ち、２値化画像は閾値ｔｈ３（例えば３５．０℃）、閾値ｔｈ４（例えば３６．０℃）による温度条件で生成されることで、図２６Ａの例の場合、２値化画像に領域ＨＤ３に相当する部分は肌温度画像部としては表れず、除外される。
さらに図２６Ｂのような検出対象範囲Ａｄｅｔで差分画像Ｐｉｃ−ｃの生成が行われることで、差分画像Ｐｉｃ−ｃ、Ｐｉｃ−ｄには、領域ＨＤ２に相当する部分の動き成分は除外される。結局、ステップＦ１０７では、領域ＨＤ１に対応する部分について、ステップＦ１０７ｂの処理が行われ、またステップＦ１０８では、ステップＦ１０８ｂの処理が行われる状態となる。
これによって、先に特定ジェスチャーを行った或る一人のユーザの手の動きが監視されて、その後のジェスチャー操作の認識が行われることとなる。
【０１１７】
以上のように本例では、例えばテレビジョン受像器２０の前に複数の人が居るような場合に、特定ジェスチャーを行った人の手を特定してジェスチャー操作認識を行うことで、複数の人の多様な動きによって認識処理が不安定になることはなく、操作者のジェスチャー操作を的確に検知できる。
【０１１８】
なお、特定のジェスチャーは、もちろん円弧を描くような動きに限るものではない。
また、一旦、１つの検出対象画像を特定して温度条件、位置条件を設定した後は、その状態を、１回のジェスチャー操作の完了まで維持することとしてもよいし、特定の時間だけ継続して維持するようにしてもよい。
【０１１９】
１回のジェスチャー操作の完了で温度条件、位置条件を解除することとすれば、複数の人のジェスチャー操作に対応するという意味で好適である。
一方、或る一人のユーザが、続けてジェスチャー操作を行うことを想定すれば、一旦或るユーザの手の温度や位置に対応して温度条件、位置条件を設定した後は、その条件をある程度の時間維持することが好適となる。
また、温度条件、位置条件の解除は、テレビジョン受像器２０がオフされた場合としてもよい。
また、他の特定のジェスチャー（例えば円弧の描き方が反対周り）を解除指示と認識するようにして、操作者が当該解除指示を行ったら、温度条件、位置条件を解除するようにしてもよい。
また他の人が、特定のジェスチャーを行うことを検出できるようにし、その場合に、その人の手を対象に、新たに温度条件、位置条件を設定し直すということも考えられる。
【０１２０】
なお、上記例では検出条件としては、温度条件と位置条件のＡＮＤ条件としたが、温度条件のみ、或いは位置条件のみを設定するという処理例も考えられる。
【０１２１】
また、特定のジェスチャーを行ったユーザの手の画像を検出対象画像として特定するとしたが、特定手法は多様に考えられる。
例えば複数の検出対象画像のうちで、或るジェスチャー操作に相当する動きが最初に観測された検出対象画像を、操作者の手の画像として特定し、それに応じてジェスチャー操作に係るコマンド発行とともに、図２７のステップＦ５０３〜Ｆ５０５のような、以降の処理における条件設定を行っても良い。
また、複数の肌温度画像部が２値化画像上で表れている場合に、最初に動きが検出された画像領域（最初に差分画像Ｐｉｃ−ｃ上で動きが観測される領域）を、検出対象画像として特定して、当該画像部分に対応して、図２７のステップＦ５０３〜Ｆ５０５のような条件設定を行っても良い。
また、複数の肌温度画像部が２値化画像上で表れている場合に、動き量が最も大きい画像領域（差分画像Ｐｉｃ−ｃ上で最も大きい動き量が観測される領域）を、検出対象画像として特定して、当該画像部分に対応して、図２７のステップＦ５０３〜Ｆ５０５のような条件設定を行っても良い。
【０１２２】
＜１０．変形例＞
以上、各種実施の形態の処理例を説明してきたが、処理例はさらに多様に考えられる。
第１の実施の形態で述べた図１２の処理例では、差分画像Ｐｉｃ−ｃを生成した後、微小領域を消去した差分画像Ｐｉｃ−ｄを生成して、その差分画像Ｐｉｃ−ｄの重心を求めた。これに対して、微小領域消去処理を行わずに差分画像Ｐｉｃ−ｃから重心を求めてもよい。例えば所定面積以上の「１」領域を検出対象画像として扱って、その検出対象画像の重心座標値を求めることもできる。
【０１２３】
また手に相当する部分の重心座標の変化によって動き状態を判定するものとしたが、例えば差分画像Ｐｉｃ−ｃ（又はＰｉｃ−ｄ）における「１」画素位置の中心座標の変位や、或いは画像エッジ部分の位置変位によって動き状態を判定してもよい。
【０１２４】
また各実施の形態の処理は、赤外線カメラ１の撮像画像の１フレーム毎の取込に応じて実行する例を挙げたが、ｎフレームおきというように間欠的に撮像画像のフレームを取り込んで処理を行うようにしてもよい。
【０１２５】
また各実施の形態では、ユーザの手を対象としてジェスチャー操作を認識する例で延べたが、手に限られない。例えば顔の動きとしてのジェスチャー操作に対応するようにすることも当然可能である。
【０１２６】
実施の形態ではテレビジョン受像器２０に搭載される入力装置１０の例で述べたが、本開示に係る入力装置、入力認識方法は多様な電子機器に搭載することができる。例えばビデオ機器、オーディオ機器、カメラ機器、コンピュータ機器、通信機器、家電機器などにおいて本開示の入力装置を搭載したり、入力認識方法を採用できる。
さらに、本開示の入力装置は、機器に接続する独立の機器として構成することもできる。
【０１２７】
また赤外線カメラ１による温度分布画像を得ることで、ユーザの肌の温度が通常より高温となっていることも検出可能とすることができる。例えば第５の閾値を設け、ユーザの肌の温度が第５の閾値より高い場合に、健康上の危険性を通知するなどの動作を実行するようにすることも考えられる。
【０１２８】
なお本技術は以下のような構成も採ることができる。
（１）赤外線カメラと、
所定の時間間隔で上記赤外線カメラで撮像された温度分布画像を順次取り込む画像取込部と、
上記画像取込部により取り込まれた複数の温度分布画像のそれぞれについて、人の肌の温度に相当する肌温度画像部を検出し、さらに検出した肌温度画像部のうちで動きが観測される肌温度画像部を検出対象画像とし、該検出対象画像の動き状態から操作入力を認識する入力認識部と、
を備えた入力装置。
（２）上記入力認識部は、人の肌の温度範囲として設定した第１の閾値と第２の閾値に対して、温度分布画像の各画素の温度値を比較することで、温度分布画像内での上記肌温度画像部の検出を行う上記（１）に記載の入力装置。
（３）上記入力認識部は、温度分布画像の各画素の温度値が、上記第１の閾値と第２の閾値による温度範囲に含まれるか否かにより２値化を行って上記肌温度画像部が示される２値化画像を生成し、
さらに、複数の温度分布画像のそれぞれの２値化画像の差分を取ることで、動きが観測される肌温度画像部としての検出対象画像を示す差分画像を生成し、
上記差分画像を用いて、検出対象画像の動き状態を判定する上記（２）に記載の入力装置。
（４）上記入力認識部は、上記差分画像について、動きが微小と判定される画像部分を消去した後に示される肌温度画像部を、検出対象画像とする上記（３）に記載の入力装置。
（５）上記入力認識部は、上記差分画像から検出対象画像の特徴点の位置を求め、特徴点の位置の変化から、検出対象画像の動き状態を判定する上記（３）又は（４）に記載の入力装置。
（６）上記所定の時間間隔は、上記赤外線カメラの撮像動作の１フレーム間隔である上記（１）乃至（５）のいずれかに記載の入力装置。
（７）上記入力認識部は、所定以上の面積を持つ上記肌温度画像部から、検出対象画像を選定する上記（１）乃至（６）のいずれかに記載の入力装置。
（８）上記入力認識部は、検出対象画像の動き状態を示す位置の変化が所定回数以上連続して所定量以上であることを条件として、操作入力の認識処理を行う上記（１）乃至（７）のいずれかに記載の入力装置。
（９）上記入力認識部は、人の肌の温度範囲として設定した上記第１の閾値と上記第２の閾値に対して、温度分布画像の各画素の温度値を比較することで、温度分布画像内での上記肌温度画像部の検出を行った後、検出対象画像とされた肌温度画像部の温度値に基づいて、上記第１の閾値と上記第２の閾値で示される温度範囲より狭い温度範囲を示す第３の閾値と第４の閾値を設定し、以降、上記第３の閾値と上記第４の閾値を用いて、温度分布画像内での肌温度画像部の検出を行う上記（２）乃至（５）のいずれかに記載の入力装置。
（１０）上記入力認識部は、検出対象画像の特定の動きを検出した場合、該特定の動きの際の検出対象画像の画像位置に基づいて検出対象範囲を設定し、以降、上記検出対象範囲内で、検出対象画像の検出を行う上記（１）乃至（９）のいずれかに記載の入力装置。
（１１）上記入力認識部は、上記差分画像で動きが観測される肌温度画像部が所定の時間内に検出できない場合に、メッセージ出力を実行させる処理を行う上記（３）乃至（５）のいずれかに記載の入力装置。
（１２）上記入力認識部は、検出対象画像が複数検出された場合、一の検出対象画像を選定し、該選定した検出対象画像に合致する検出条件を設定して、以降の検出対象画像の検出を行う上記（１）乃至（１１）のいずれかに記載の入力装置。
（１３）上記検出条件は、選定した検出対象画像に応じた温度範囲の条件、又は、選定した検出対象画像の画像位置に基づいて設定した検出対象範囲の条件である上記（１２）に記載の入力装置。
（１４）上記入力認識部は、検出対象画像が複数検出された場合、特定の動きが検出された検出対象画像を、上記一の検出対象画像として選定する上記（１２）又は（１３）に記載の入力装置。
（１５）上記入力認識部が認識した操作入力に応じて、制御を行う機器制御部をさらに備えた上記（１）乃至（１４）のいずれかに記載の入力装置。
【符号の説明】
【０１２９】
１ 赤外線カメラ、２ ＣＰＵ、３ ＲＡＭ、４ ＲＯＭ、５ Ｉ・Ｏポート、６ 主機能部、１０ 入力装置、１１ 画像取込部、１２ 入力認識部、１３ 機器制御部、２０ テレビジョン受像器
【特許請求の範囲】
【請求項１】
赤外線カメラと、
所定の時間間隔で上記赤外線カメラで撮像された温度分布画像を順次取り込む画像取込部と、
上記画像取込部により取り込まれた複数の温度分布画像のそれぞれについて、人の肌の温度に相当する肌温度画像部を検出し、さらに検出した肌温度画像部のうちで動きが観測される肌温度画像部を検出対象画像とし、該検出対象画像の動き状態から操作入力を認識する入力認識部と、
を備えた入力装置。
【請求項２】
上記入力認識部は、人の肌の温度範囲として設定した第１の閾値と第２の閾値に対して、温度分布画像の各画素の温度値を比較することで、温度分布画像内での上記肌温度画像部の検出を行う請求項１に記載の入力装置。
【請求項３】
上記入力認識部は、温度分布画像の各画素の温度値が、上記第１の閾値と第２の閾値による温度範囲に含まれるか否かにより２値化を行って上記肌温度画像部が示される２値化画像を生成し、
さらに、複数の温度分布画像のそれぞれの２値化画像の差分を取ることで、動きが観測される肌温度画像部としての検出対象画像を示す差分画像を生成し、
上記差分画像を用いて、検出対象画像の動き状態を判定する請求項２に記載の入力装置。
【請求項４】
上記入力認識部は、上記差分画像について、動きが微小と判定される画像部分を消去した後に示される肌温度画像部を、検出対象画像とする請求項３に記載の入力装置。
【請求項５】
上記入力認識部は、上記差分画像から検出対象画像の特徴点の位置を求め、特徴点の位置の変化から、検出対象画像の動き状態を判定する請求項３に記載の入力装置。
【請求項６】
上記所定の時間間隔は、上記赤外線カメラの撮像動作の１フレーム間隔である請求項１に記載の入力装置。
【請求項７】
上記入力認識部は、所定以上の面積を持つ上記肌温度画像部から、検出対象画像を選定する請求項１に記載の入力装置。
【請求項８】
上記入力認識部は、検出対象画像の動き状態を示す位置の変化が所定回数以上連続して所定量以上であることを条件として、操作入力の認識処理を行う請求項１に記載の入力装置。
【請求項９】
上記入力認識部は、人の肌の温度範囲として設定した上記第１の閾値と上記第２の閾値に対して、温度分布画像の各画素の温度値を比較することで、温度分布画像内での上記肌温度画像部の検出を行った後、検出対象画像とされた肌温度画像部の温度値に基づいて、上記第１の閾値と上記第２の閾値で示される温度範囲より狭い温度範囲を示す第３の閾値と第４の閾値を設定し、以降、上記第３の閾値と上記第４の閾値を用いて、温度分布画像内での肌温度画像部の検出を行う請求項２に記載の入力装置。
【請求項１０】
上記入力認識部は、検出対象画像の特定の動きを検出した場合、該特定の動きの際の検出対象画像の画像位置に基づいて検出対象範囲を設定し、以降、上記検出対象範囲内で、検出対象画像の検出を行う請求項１に記載の入力装置。
【請求項１１】
上記入力認識部は、上記差分画像で動きが観測される肌温度画像部が所定の時間内に検出できない場合に、メッセージ出力を実行させる処理を行う請求項３に記載の入力装置。
【請求項１２】
上記入力認識部は、検出対象画像が複数検出された場合、一の検出対象画像を選定し、該選定した検出対象画像に合致する検出条件を設定して、以降の検出対象画像の検出を行う請求項１に記載の入力装置。
【請求項１３】
上記検出条件は、選定した検出対象画像に応じた温度範囲の条件、又は、選定した検出対象画像の画像位置に基づいて設定した検出対象範囲の条件である請求項１２に記載の入力装置。
【請求項１４】
上記入力認識部は、検出対象画像が複数検出された場合、特定の動きが検出された検出対象画像を、上記一の検出対象画像として選定する請求項１２に記載の入力装置。
【請求項１５】
上記入力認識部が認識した操作入力に応じて、制御を行う機器制御部をさらに備えた請求項１に記載の入力装置。
【請求項１６】
赤外線カメラによって所定の時間間隔で撮像された温度分布画像を順次取り込み、
取り込まれた複数の温度分布画像のそれぞれについて、人の肌の温度に相当する肌温度画像部を検出し、さらに検出した肌温度画像部のうちで動きが観測される肌温度画像部を検出対象画像とし、
該検出対象画像の動き状態から操作入力を認識する入力認識方法。
【請求項１】
赤外線カメラと、
所定の時間間隔で上記赤外線カメラで撮像された温度分布画像を順次取り込む画像取込部と、
上記画像取込部により取り込まれた複数の温度分布画像のそれぞれについて、人の肌の温度に相当する肌温度画像部を検出し、さらに検出した肌温度画像部のうちで動きが観測される肌温度画像部を検出対象画像とし、該検出対象画像の動き状態から操作入力を認識する入力認識部と、
を備えた入力装置。
【請求項２】
上記入力認識部は、人の肌の温度範囲として設定した第１の閾値と第２の閾値に対して、温度分布画像の各画素の温度値を比較することで、温度分布画像内での上記肌温度画像部の検出を行う請求項１に記載の入力装置。
【請求項３】
上記入力認識部は、温度分布画像の各画素の温度値が、上記第１の閾値と第２の閾値による温度範囲に含まれるか否かにより２値化を行って上記肌温度画像部が示される２値化画像を生成し、
さらに、複数の温度分布画像のそれぞれの２値化画像の差分を取ることで、動きが観測される肌温度画像部としての検出対象画像を示す差分画像を生成し、
上記差分画像を用いて、検出対象画像の動き状態を判定する請求項２に記載の入力装置。
【請求項４】
上記入力認識部は、上記差分画像について、動きが微小と判定される画像部分を消去した後に示される肌温度画像部を、検出対象画像とする請求項３に記載の入力装置。
【請求項５】
上記入力認識部は、上記差分画像から検出対象画像の特徴点の位置を求め、特徴点の位置の変化から、検出対象画像の動き状態を判定する請求項３に記載の入力装置。
【請求項６】
上記所定の時間間隔は、上記赤外線カメラの撮像動作の１フレーム間隔である請求項１に記載の入力装置。
【請求項７】
上記入力認識部は、所定以上の面積を持つ上記肌温度画像部から、検出対象画像を選定する請求項１に記載の入力装置。
【請求項８】
上記入力認識部は、検出対象画像の動き状態を示す位置の変化が所定回数以上連続して所定量以上であることを条件として、操作入力の認識処理を行う請求項１に記載の入力装置。
【請求項９】
上記入力認識部は、人の肌の温度範囲として設定した上記第１の閾値と上記第２の閾値に対して、温度分布画像の各画素の温度値を比較することで、温度分布画像内での上記肌温度画像部の検出を行った後、検出対象画像とされた肌温度画像部の温度値に基づいて、上記第１の閾値と上記第２の閾値で示される温度範囲より狭い温度範囲を示す第３の閾値と第４の閾値を設定し、以降、上記第３の閾値と上記第４の閾値を用いて、温度分布画像内での肌温度画像部の検出を行う請求項２に記載の入力装置。
【請求項１０】
上記入力認識部は、検出対象画像の特定の動きを検出した場合、該特定の動きの際の検出対象画像の画像位置に基づいて検出対象範囲を設定し、以降、上記検出対象範囲内で、検出対象画像の検出を行う請求項１に記載の入力装置。
【請求項１１】
上記入力認識部は、上記差分画像で動きが観測される肌温度画像部が所定の時間内に検出できない場合に、メッセージ出力を実行させる処理を行う請求項３に記載の入力装置。
【請求項１２】
上記入力認識部は、検出対象画像が複数検出された場合、一の検出対象画像を選定し、該選定した検出対象画像に合致する検出条件を設定して、以降の検出対象画像の検出を行う請求項１に記載の入力装置。
【請求項１３】
上記検出条件は、選定した検出対象画像に応じた温度範囲の条件、又は、選定した検出対象画像の画像位置に基づいて設定した検出対象範囲の条件である請求項１２に記載の入力装置。
【請求項１４】
上記入力認識部は、検出対象画像が複数検出された場合、特定の動きが検出された検出対象画像を、上記一の検出対象画像として選定する請求項１２に記載の入力装置。
【請求項１５】
上記入力認識部が認識した操作入力に応じて、制御を行う機器制御部をさらに備えた請求項１に記載の入力装置。
【請求項１６】
赤外線カメラによって所定の時間間隔で撮像された温度分布画像を順次取り込み、
取り込まれた複数の温度分布画像のそれぞれについて、人の肌の温度に相当する肌温度画像部を検出し、さらに検出した肌温度画像部のうちで動きが観測される肌温度画像部を検出対象画像とし、
該検出対象画像の動き状態から操作入力を認識する入力認識方法。
【図１】
【図２】
【図３】
【図４】
【図６】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図５】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図６】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図５】
【図７】
【図８】
【図９】
【公開番号】特開２０１３−８０４１３（Ｐ２０１３−８０４１３Ａ）
【公開日】平成２５年５月２日（２０１３．５．２）
【国際特許分類】
【出願番号】特願２０１１−２２０７７１（Ｐ２０１１−２２０７７１）
【出願日】平成２３年１０月５日（２０１１．１０．５）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２５年５月２日（２０１３．５．２）
【国際特許分類】
【出願日】平成２３年１０月５日（２０１１．１０．５）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]