電子機器
【課題】画像認識を用いて電子機器を制御するに際に、認識のための単純な動作をノイズなどの影響を受けることなく更に正しく検出できる、電子機器を提供する。
【解決手段】ビデオカメラ２より出力された画像の画面を水平方向にＮ分割、垂直方向にＭ分割した複数の検出領域に、それぞれ対応して設けられた複数の検出器を有する検出部１９は、操作者が行う動作に基づいた第１の検出信号を発生させる。生成器は第１の検出信号に基づいて第２の検出信号を生成する。第２の検出信号を累積加算した値が閾値を超え、フラグが生成された検出器を少なくとも含む複数の検出器に対して、タイミングパルス発生器１２は、選択的にタイミングパルスを供給する。
【解決手段】ビデオカメラ２より出力された画像の画面を水平方向にＮ分割、垂直方向にＭ分割した複数の検出領域に、それぞれ対応して設けられた複数の検出器を有する検出部１９は、操作者が行う動作に基づいた第１の検出信号を発生させる。生成器は第１の検出信号に基づいて第２の検出信号を生成する。第２の検出信号を累積加算した値が閾値を超え、フラグが生成された検出器を少なくとも含む複数の検出器に対して、タイミングパルス発生器１２は、選択的にタイミングパルスを供給する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオカメラを搭載したテレビジョン受像機などの電子機器に関し、人の手などの動作の画像を認識して、電子機器の遠隔操作を行うための電子機器に関する。
【０００２】
１９８０年代に赤外線リモートコントローラ（通称リモコン）がテレビジョン受像機をはじめとする家電機器に付属するようになり、手元で制御できるユーザインターフェースが広く普及し、家電製品の利用形態を大きく変貌させた。現在においてもこの操作形態が主流であるが、リモコンは一機能を一押しで実行する仕組みが基本となっており、例えばテレビジョン受像機では、「電源」「チャンネル」「音量」「入力切替」などのキーがそれに該当し、これまでのテレビジョン受像機にとって大変便利な遠隔の操作方法であった。
【０００３】
しかしながら、リモコンが手元にない場合やリモコンの所在が不明な場合、大変不自由を強いられることを経験させられる。これに対して画像の動きや形状を認識して、電源のＯＮ／ＯＦＦなどの切替操作をする方式が検討されている。例えば手の動きや形状を認識して機器の操作に応用する技術が特開平１１−３３８６１４号公報（特許文献１）に開示されている。これには手の動きや形状を検出するための検出装置として、専用の赤外線センサやイメージセンサを用いている。
【０００４】
一方、最近始まったデータ放送は、所望のメニュー画面を選択するためには、リモコンの「上」「下」「左」「右」や「決定」キーを何度も押下する必要があり、リモコンでの操作は煩雑で使いづらくなっている。また、ＥＰＧ（電子プログラムガイド）は、マトリクスに配列された案内画面から所望の位置を選択して、キーを押下するため、データ放送と同様の課題を有している。そして、このきめ細かな選択操作に対しても同様に画像の動きや形状の認識を活用し、多様な操作に対応できる方式が望まれている。
【０００５】
特開２００３−２８３８６６号公報（特許文献２）には、このような課題を解決するために、マウスまたはこれに類似した位置指定操作装置を使って得られる位置指定情報を、キー押下信号の時系列パターンであるキー押下時系列符号に符号化し、そのキー押下時系列符号をテレビジョン受像機に送信するようにした制御装置が提案されている。
【特許文献１】特開平１１−３３８６１４号公報
【特許文献２】特開２００３−２８３８６６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
テレビジョン受像機など一般民生用ＡＶ機器（オーディオ機器やビデオ機器）では、従来リモコンを活用して遠隔操作を実現している。従って、リモコンが手元にない場合、例えば電源をＯＮにする時は、リモコンの所在を確認してリモコンを取得し、該当するキーを選択操作する動作が必要であり、ユーザは不便を感じる。またリモコンの所在が分からない場合は、テレビジョン受像機本体の主電源のスイッチで電源をＯＮにしなければならない。これらは往々にしてよく経験するリモコン操作に関する問題点である。
【０００７】
一方電源をＯＦＦにすることについても、リモコンがすでに手元にある場合はリモコンを大変便利に活用し、テレビジョン受像機の電源をＯＦＦにできる。しかし、席を少し離れた場合などでリモコンが手元にない場合は、電源をＯＮにする時と同様の課題がある。
【０００８】
特許文献１に記載された制御方式に利用される動作は、円運動、上下運動、左右運動といった容易な動作であり、画像認識による操作が実現出来れば大変使い勝手の良い操作方法である。しかしながら、動作が容易である分、誤認識に対する耐性の問題のほか、妥当な規模での装置の実現や、他の画像認識処理装置との共通化の面で困難な課題を持っている。
【０００９】
特許文献２に示された制御装置は、パーソナルコンピュータ（パソコン）の操作と酷似したポインティングを操作することにより、テレビジョン受像機を遠隔操作するものである。従って、パソコンを利用しない人にとっては使いづらいものとなり、情報リテラシー（情報を使いこなす能力）の観点から、パソコンの使い勝手をそのまま電子機器に導入することには無理がある。そこで、遠隔操作が求められる今日のテレビジョン受像機の利用形態にマッチした新たな操作手段が必要になっている。
【００１０】
電源のＯＮ／ＯＦＦから２段階の選択操作の画像認識やメニュー画面選択などの多様な選択操作が求められる画像認識にまで、同じ手段を使い且つ妥当な装置規模で新たな操作手段が実現できることは、低廉な民生機器を提供する上で重要な課題である。また簡単な画像認識動作は、誤認識を生みやすく、例えばテレビを見ているさなかに認識動作に似た振る舞いで電源がＯＦＦになるような致命的な誤作動を起こす可能性を含んでいる。
【００１１】
本発明はこのような課題をふまえてなされたもので、画像認識を用いて電子機器を制御するに際に、認識のための単純な動作をノイズなどの影響を受けることなく更に正しく検出できる、電子機器を提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記した課題を解決するために本発明は、次の（ａ）〜（ｆ）の電子機器を提供するものである。
（ａ）電子機器において、表示装置２３と、前記表示装置の前に位置する操作者３を撮影するビデオカメラ２と、前記ビデオカメラより出力された画像の画面を水平方向にＮ（Ｎは２以上の整数）分割、垂直方向にＭ（Ｍは２以上の整数）分割した複数の検出領域それぞれに対応して設けた複数の検出器を有し、前記複数の検出器を用いて前記ビデオカメラによって撮影された前記操作者が行う動作に基づいた第１の検出信号を発生する検出部１９と、前記複数の検出器それぞれを前記複数の検出領域に対応させて動作させるためのタイミングパルスを供給するタイミングパルス発生器１２と、前記第１の検出信号に基づいて第２の検出信号を生成する生成器２０−１〜２０−５と、前記第２の検出信号それぞれを所定の期間累積加算した加算値が、予め定めた閾値を超えるとフラグを生成するフラグ生成器２０と前記複数の検出器の内、前記複数の検出領域の内の一部の検出領域に対応する検出器から出力された第１の検出信号に基づく第２の検出信号を有効とすると共に、他の検出器から出力された第１の検出信号に基づく第２の検出信号を無効とするよう制御する制御器２０とを備え、前記タイミングパルス発生器は、前記フラグ生成器が前記フラグを生成した後の所定の期間、前記複数の検出器の内、前記フラグが生成された特定の検出器と、前記特定の検出器に対応した特定の検出領域に隣接する検出領域を少なくとも含む前記特定の検出領域の近傍の検出領域に対応する検出器とに対して選択的に前記タイミングパルスを供給することを特徴とする電子機器。
（ｂ）前記ビデオカメラより出力された画像の画面を水平方向にＮ分割した検出領域に対応したＮ個の第１の検出器３１７〜３２５と、垂直方向にＭ分割した検出領域に対応したＭ個の第２の検出器３０１〜３１６とを備え、前記タイミングパルス発生器は、前記フラグ生成器が前記フラグを生成した後の所定の期間、前記制御器の制御に基づいて前記Ｎ個の第１の検出器または前記Ｍ個の第２の検出器に供給するタイミングパルスの幅を前記操作者が行う動作に応じて狭くすることを特徴とする（ａ）記載の電子機器。
（ｃ）前記ビデオカメラより出力された画像の画面を水平方向にＮ分割、垂直方向にＭ分割して設けたＮ×Ｍ個の検出領域に対応したＮ×Ｍ個の検出器を備え、前記制御器は、前記フラグ生成器が前記フラグを生成した後の所定の期間、前記Ｎ×Ｍ個の検出器の内、前記フラグが生成された特定の検出器から出力された第１の検出信号に基づく第２の検出信号と、前記特定の検出器に対応した特定の検出領域に隣接する検出領域を少なくとも含む前記特定の検出領域の近傍の検出領域に対応する検出器から出力された第１の検出信号に基づく第２の検出信号とを有効とし、他の検出器から出力された第１の検出信号に基づく第２の検出信号を無効とするように制御することを特徴とする（ａ）記載の電子機器。
（ｄ）前記電子機器は、前記ビデオカメラで撮影された画像の鏡像変換を行う鏡像変換器１４と、少なくとも１つの操作用画像を生成する操作用画像生成器１６と、前記鏡像変換器より出力された鏡像変換画像信号と前記操作用画像生成器より出力された操作用画像信号とを混合する混合器１７とを備え、前記検出部は、前記混合器により混合された画像を前記表示装置に表示させた状態で、前記表示装置に表示された前記操作者が前記操作用画像を操作する所定の動作に対応した前記第１の検出信号を発生することを特徴とする（ａ）ないし（ｃ）のいずれか一項に記載の電子機器。
（ｅ）前記検出部は、前記ビデオカメラによって撮影された対象物を縦方向に移動させる第１の動作を検出した際に生成される第１の基準信号波形に対応するタップ係数と前記第２の検出信号とを乗算するデジタルフィルタｋｎと、前記デジタルフィルタより出力される信号波形に基づいて前記操作者が行う動作が前記第１の動作であるか否かを検出する動作検出器２０−１〜２０−５とを備えることを特徴とする（ａ）ないし（ｄ）のいずれか一項に記載の電子機器。
（ｆ）前記検出部は、前記ビデオカメラによって撮影された対象物を横方向に移動させる第２の動作を検出した際に生成される第２の基準信号波形に対応するタップ係数と前記第２の検出信号とを乗算するデジタルフィルタｋｎと、前記デジタルフィルタより出力される信号波形に基づいて前記操作者が行う動作が前記第２の動作であるか否かを検出する動作検出器２０−１〜２０−５とを備えることを特徴とする（ａ）ないし（ｄ）のいずれか一項に記載の電子機器。
【発明の効果】
【００１３】
本発明によれば、画像認識を用いて電子機器を制御するに際に、認識のための単純な動作をノイズなどの影響を受けることなく更に確実に検出できる。
【発明を実施するための最良の形態】
【００１４】
本発明の一実施形態を図面を参照して以下に説明する。
図１は、従来のリモコン装置による操作形態と、本発明の操作形態との違いを説明するための図である。ユーザ（操作者）３が、テレビジョン受像機１を操作する場合、従来はユーザ３がリモコン装置４を手に持って所望の機能を働かせるキーをテレビジョン受像機１に向けて押下することによって操作がなされる。従って、リモコン装置４が無ければ操作が出来ず、不便を強いられる場合を時々経験する。
【００１５】
本実施形態では、図１に示すようにテレビジョン受像機１にビデオカメラ２が設けられており、ビデオカメラ２によりユーザ３が撮影され、ビデオカメラ２の画像からユーザ３の動作を検出して、テレビジョン受像機１及びそれに関連する機器の操作が行われる。
検出されるユーザ３の動作とは、具体的にはテレビジョン受像機１の電源ＯＮ／ＯＦＦ制御やメニュー画面の表示／非表示の制御、メニュー画面から所望のボタンを選択する制御に対応した、ユーザ３の身体（手、足、顔など）を使った特定の動作であり、この特定の動作を検出することで電子機器の操作を行う。本実施形態ではもっとも現実的な手の動きで操作する方法について、説明する。
【００１６】
図２は、テレビジョン受像機１の構成を示すブロック図である。テレビジョン受像機１は、基準同期発生器１１、タイミングパルス発生器１２、グラフィックス生成器１６、ビデオカメラ２、鏡像変換器１４、スケーラ１５、第１の混合器１７、画素数変換器２１、第２の混合器２２、表示装置２３、検出部１９、及び制御情報判断器（ＣＰＵ）２０を備えている。
【００１７】
基準同期発生器１１は、テレビジョン受像機１の基準になる水平周期パルスと垂直周期パルスを発生させる。テレビジョン放送受信時や外部の機器から映像信号が入力されている場合は、その入力信号の同期信号に同期するパルスを生成する。タイミングパルス発生器１２は、後述する図４に示す各検出ブロック（検出領域）で必要とする水平方向と垂直方向の任意の位相と幅を有するパルスを生成する。
ビデオカメラ２は、図１に示すようにテレビジョン受像機１の前面に位置してユーザ（操作者）３、またはテレビジョン受像機１の前の映像を撮影する。ビデオカメラ２の出力信号は、輝度（Ｙ）信号、及び色差（Ｒ−Ｙ、Ｂ−Ｙ）信号で、基準同期発生器１１から出力される水平周期パルス及び垂直周期パルスに同期している。また、本実施形態では、ビデオカメラ２で撮像される画像の画素数は、表示装置２３の画素数と一致しているものとする。なお、画素数が一致していない場合は画素数変換器を挿入し画素数を一致させればよい。
【００１８】
鏡像変換器１４は、ビデオカメラ２で撮影した被写体像（ユーザ３）を表示装置２３上に鏡と同じように左右を反転して表示するためのものである。従って、文字を表示する場合は鏡と同じように左右が反転することになる。本実施形態では、メモリを活用して水平方向の画像を反転させる手法により鏡像変換が行われる。
表示装置２３としてＣＲＴ（Cathode Ray Tube、陰極線管）を用いる場合には、水平偏向を逆に操作することで同様の効果が得られる。その場合には、グラフィックスやその他混合する側の画像をあらかじめ水平方向に左右逆転しておく必要がある。
【００１９】
スケーラ１５は、ビデオカメラ２により撮影した被写体像の大きさを調整するもので、制御情報判断器（ＣＰＵ）２０の制御で拡大率と縮小率を２次元で調整する。また、拡大縮小を行わずに、水平と垂直の位相調整を行うこともできる。
【００２０】
グラフィックス生成器１６は、制御情報判断器（ＣＰＵ）２０から転送されるメニュー画面を展開するもので、メモリ上の信号がＲ（赤）信号、Ｇ（緑）信号、Ｂ（青）信号の原色信号で展開されていても、後段で映像信号と合成または混合される出力信号は、輝度（Ｙ）信号と色差（Ｒ−Ｙ、Ｂ−Ｙ）信号とする。また生成されるグラフィックスのプレーン数は限定するものではないが、説明に要するものは１プレーンである。
画素数は、本実施形態では表示装置２３の画素数に一致させるようにしている。一致していない場合は、画素数変換器を入れて一致させる必要がある。
【００２１】
第１の混合器１７は、グラフィックス生成器１６の出力信号Ｇｓと、スケーラ１５の出力信号Ｓ１とを、制御値α１により混合割合を制御して混合する。具体的には、下記式で出力信号Ｍ１oが表される。
Ｍ１ｏ＝α１・Ｓ１＋（１−α１）・Ｇｓ
制御値α１は、「０」から「１」の間の値に設定され、制御値α１を大きくするとスケーラ１４の出力信号Ｓ１の割合が大きくなり、グラフィックス生成器１６の出力信号Ｇｓの割合が小さくなる。混合器の例としてはこれに限らないが、本実施形態では、入力される２系統の信号情報が入っていれば同様の効果が得られる。
【００２２】
検出部１９は、第１の検出器３０１、第２の検出器３０２、第３の検出器３０３、…、第ｎの検出器（３００＋ｎ）からなる。検出部１９に含まれる検出器は数を特定するものではないが、本発明の第１実施形態においては２５個の検出器を備え、それらは後述する水平方向のタイミングで機能する第１の検出器３０１〜第１６の検出器３１６の１６個と、垂直方向のタイミングで機能する第１７の検出器３１７〜第２５の検出器３２５の９個からなる。
検出器の数はこれに限定されるものではなく、検出精度を上げるためには検出器の数は多いほどよいが、処理規模との関係で数を調整することが好ましい。第１実施形態では２５個、第２実施形態では１４４個の検出器を用いる。
【００２３】
制御情報判断器（ＣＰＵ）２０は、検出部１９から出力されるデータの解析を行い、各種制御信号を出力する。制御情報判断器２０の処理内容は、ソフトウェアで実現するものとなり、アルゴリズムについては詳細に後述する。本実施形態では、ハードウェア（各機能ブロック）による処理と、ソフトウェア（ＣＰＵ２０上で展開）による処理が混在するが、特にここで示す切り分けに限定するものではない。
【００２４】
画素数変換器２１は、外部から入力される外部入力信号の画素数と表示装置２３の画素数を合わせるための画素数変換を行う。外部入力信号は、放送されているテレビ信号（データ放送なども含む）やビデオ（ＶＴＲ）入力など、テレビジョン受像機の外部から入力されてくる信号を想定している。外部入力信号の同期系については、ここでの説明から省いてあるが、同期信号（水平及び垂直）を取得し、基準同期発生器１１にて同期を一致させている。
【００２５】
第２の混合器２２は、第１の混合器１７と同様の機能を有する。すなわち、第１の混合器１７の出力信号Ｍ１ｏと、画素数変換器２１の出力信号Ｓ２とを制御値α２で混合割合を制御して混合する。具体的には、下記式で出力信号Ｍ２ｏが表される。
Ｍ２ｏ＝α２・Ｍ１ｏ＋（１−α２）・Ｓ２
制御値α２は、「０」から「１」の間の値に設定され、制御値α２を大きくすると第１の混合器１７の出力信号Ｍ１ｏの割合が大きくなり、画素数変換器２１の出力信号Ｓ２の割合が小さくなる。混合器の例としてはこれに限らないが、本実施形態では、入力される２系統の信号情報が入っていれば同様の効果が得られる。
【００２６】
表示装置２３は、ＣＲＴ、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ（ＰＤＰ）、あるいはプロジェクションディスプレイなどを想定しているが、ディスプレイの表示方式を限定するものではない。表示装置２３の入力信号は、輝度信号と、色差信号であり、表示装置２３の内部にてＲＧＢ原色信号にマトリクス変換されて表示される。
【００２７】
以上のように構成されたテレビジョン受像機１の動作を、ユーザ３の動作を交えて説明する。図３はユーザ３が行う手の動作と、その動作に対応するテレビジョン受像機１の制御内容について説明するための図である。図３（Ａ）には、テレビジョン受像機１の前に立ったユーザ３が行う手の動作のイメージが矢印で示されている。本実施形態ではユーザ３が行う動作を、「手を縦（上下）に振る」、「手を横（左右）に振る」の２つの動作とする。
図３（Ｂ）（１）〜（Ｂ）（３）（以降、（Ｂ）（１）をＢ−１と示す。他も同様）は、ユーザ３が行う手の動作に対応した制御が実行されたテレビジョン受像機１の、表示装置２３に表示される内容の移り変わりをそれぞれ示す。本実施形態の場合、テレビジョン受像機１に対する制御内容は、「電源をＯＦＦからＯＮにする」、「メニュー画面を表示させる」、「メニュー画面を消す」、「電源をＯＮからＯＦＦにする」の３つの制御である。
ユーザ３が行う手の動作とテレビジョン受像機１の制御内容との対応関係は、ユーザ３が「手を縦に振る」動作は、「テレビジョン受像機１の電源がＯＦＦの場合、電源がＯＮになる」及び「テレビジョン受像機１の電源がＯＮの場合、メニュー画面が表示される」制御に対応する。「手を横に振る」動作は、「テレビジョン受像機１がどのような画面状態であっても電源をＯＦＦにする」制御に対応する。
【００２８】
図３（Ｂ−１）は、テレビジョン受像機１の電源がＯＦＦのままで、表示装置２３には何も表示されていない状態を示している。この状態でユーザ３が手を縦（上下）に振ると、その動作がビデオカメラ２によってとらえられ、テレビジョン受像機１の電源がＯＮになり、表示装置２３には図３（Ｂ−２）に示すようにテレビ画面（番組）が表示される。
最初、図３（Ｂ−１）に示すとおり、表示装置２３には何も表示されていないので、ユーザ３はビデオカメラ２によって撮影された自身の映像を確認することができない。そのためユーザ３は、ビデオカメラ２に必ず写る位置に立っていることが必須であり、テレビジョン受像機１は、ビデオカメラ２によって撮影されたビデオ画像内のどこにユーザ３がとらえられても、ユーザ３の動作を認識できる必要がある。この場合、表示装置２３とグラフィックス生成器１６は無くても支障はない。
【００２９】
さらに、表示装置２３に図３（Ｂ−２）に示すテレビ画面が表示されている状態（視聴状態）で、ユーザ３が手を縦（上下）に振ると、表示装置２３の表示内容は図３（Ｂ−３）に示すメニュー画面に変わり、ここからチャンネル変更などの選択動作に移ることになる。この場合も、表示装置２３は初めはテレビ画面を表示しているだけであり、ユーザ３がビデオカメラ２によって撮られた自分の映像を表示装置２３に表示させて確認することはできない。従って上記同様、テレビジョン受像機１はユーザ３がビデオカメラ２によって撮影された画像のどこにいても、ユーザ３の動作を認識しなくてはならない。
表示装置２３がテレビ画面を表示している状態（図３（Ｂ−２））で、ユーザ３が手を横（左右）に振った時は、テレビジョン受像機１の電源がＯＦＦになり、図３（Ｂ−１）に示す状態になる。メニュー・データ放送・ＥＰＧなどのあらゆる画面を表示している状態（図３（Ｂ−３））で、ユーザ３が手を横に振った時は、図３（Ｂ−２）に示す状態、あるいは図３（Ｂ−１）に示す状態になる。
【００３０】
本実施形態で採用する手を縦や横に振る動作は、人が日常に行う動作内容であり、縦に手を振る動作は一般に「来い来い（コイコイ）」と呼びかける意味を持っており、先に述べたように次の状態に入る（移る）という意味づけにおいても適切な動作と言える。また、横に手を振る動作は「バイバイ」と別れるときの動作であり、これについても特定の状態から抜け出るという意味づけにおいて適切な動作と言える。この動作の意味づけは国や人種によって異なるために、他の動作を採用する場合も考えられるが、出来るだけ動作の意味づけにそっていることが使いやすさの面から好ましい。
【００３１】
ここでは簡単な分かりやすいテレビジョン受像機１の制御例をあげたが、テレビジョン受像機１の有する機能に基づいて、商品企画に合わせて適宜制御内容を変えればよい。
また、ビデオカメラ２の撮影範囲は、テレビジョン受像機１の電源をＯＦＦからＯＮにさせる場合は、ユーザ３が最適視聴ポイントから離れている場合を考慮し、広角にして出来るだけ動作を認識する範囲を広くすることが好ましい。そしてテレビ番組を視聴している状態からメニュー画面などに表示画面を変えるときは、ユーザ３は最適視聴ポジションに近い位置に位置していることが考えられるので、ビデオカメラ２の撮影範囲はある程度絞ることが可能である。
【００３２】
図４は、ユーザ３の手の動作を検出する検出領域を説明するための図である。図４は、ビデオカメラ２にて撮影されたユーザ３の映像と、水平方向ｘ及び垂直方向ｙの座標とを示す。本実施形態では、ビデオカメラ２より出力された画像の画面を水平方向に１６分割、垂直方向に９分割して設けた複数の検出領域で、ユーザ３の手の動作を認識する。図４に示すとおり、画像を表示装置２３に表示させた水平：垂直が１６：９のアスペクト比であるテレビジョン受像機１では、既述したように画面を水平１６、垂直９に分割すると、垂直（ｙ軸）方向と水平（ｘ軸）方向との分割によって形成される１つの区画は正方形になる。各分割数は２以上の整数で、適宜設定すればよい。
ユーザ３による手の動作を検出する際に、画面をｘ軸方向に分割して設けた１６個の検出領域と、ｙ軸方向に分割して設けた９個の検出領域との、全２５個の検出領域（１次元）を用いる場合と、画面をｘ軸方向に１６分割、ｙ軸方向に９分割して、これらの分割によって形成された１つの区画を１つの検出領域とする、全１４４個の検出領域（２次元）を用いる場合とが考えられる。検出領域が２５個であれば、ハードの規模を削減でき好ましい。また、検出領域を１４４個として処理する場合でも、各検出領域からの情報をｘ軸とｙ軸それぞれの情報に変換すれば検出領域が２５個のときと同様な処理が適応できる。
【００３３】
まず、本発明の第１実施形態として、画面に全２５個の検出領域を設ける場合について説明する。図５は、ビデオカメラ２より出力された画像の画面をｙ軸方向に９個に分割した検出領域について説明するための図である。図５は、ビデオカメラ２で撮影されたユーザ３の手の画像と、ｙ軸方向に分割された破線の四角形で示す９個の検出領域と、タイミングパルスとを示し、更に各検出領域それぞれに対応する第１７の検出器３１７〜第２５の検出器３２５（ｙ軸検出器）を示す。
各検出領域にはｙ軸方向の画面の中心を０として、−４〜＋４までの位置関係を示す座標が付されている。ｙ軸の座標が−４の検出領域には第１７の検出器３１７、−３の検出領域には第１８の検出器３１８、−２の検出領域には第１９の検出器３１９がそれぞれ対応し、ｙ軸の座標が−１〜＋４の各検出領域には、第２０の検出器３２０〜第２５の検出器３２５がそれぞれ対応する。各ｙ軸検出器３１７〜３２５は、ユーザ３が行う手の動作に基づいた検出信号を発生する検出器である。
【００３４】
各ｙ軸検出器３１７〜３２５は、タイミングパルス発生器１２から供給されるタイミングパルスによって動作する。図５には、第１９の検出器３１９をｙ軸の座標が−２の検出領域に対応させて動作させるためのタイミングパルスと、第２５の検出器３２５をｙ軸の座標が４の検出領域に対応させて動作させるためのタイミングパルスとのそれぞれを、ｙ軸（垂直）方向とｘ軸（水平）方向共に示す。
ｘ軸方向に示すタイミングパルスは有効映像期間の水平方向の幅に相当する幅を有するパルスとなり、ｙ軸方向に示すタイミングパルスは有効映像期間の垂直方向の幅を９個に分割した幅に相当するパルスである。その他の各ｙ軸検出器にも、同様のタイミングパルスがそれぞれ入力される。
【００３５】
図６は、ビデオカメラ２より出力された画像の画面をｘ軸方向に１６個に分割した検出領域について説明するための図である。図６は、ビデオカメラ２で撮影されたユーザ３の手の画像と、ｘ軸方向に分割された破線の四角形で示す１６個の検出領域と、タイミングパルスとを示し、更に各検出領域それぞれに対応する第１の検出器３０１〜第１６の検出器３１６（ｘ軸検出器）を示す。
各検出領域にはｘ軸方向の画面のほぼ中心を０として、−８〜＋７までの位置関係を示す座標が付されている。ｘ軸の座標が−８の検出領域には第１の検出器３０１、−７の検出領域には第２の検出器３０２、−６の検出領域には第３の検出器３０３がそれぞれ対応し、ｘ軸の座標が−５〜＋７の各検出領域には、第４の検出器３０４〜第１６の検出器３１６がそれぞれ対応する。各ｘ軸検出器３０１〜３１６は、ユーザ３が行う手の動作に基づいた検出信号を発生する検出器である。
【００３６】
各ｘ軸検出器３０１〜３１６は、タイミングパルス発生器１２から供給されるタイミングパルスによって動作する。図６には、第２の検出器３０２をｘ軸の座標が−７の検出領域に対応させて動作させるためのタイミングパルスと、第１６の検出器３１６をｘ軸の座標が７の検出領域に対応させて動作させるためのタイミングパルスとのそれぞれを、ｘ軸（水平）方向とｙ軸（垂直）方向共に示す。ｙ軸に示すタイミングパルスは有効映像期間の垂直方向の幅に相当する幅を有するパルスとなり、ｘ軸に示すタイミングパルスは有効映像期間の水平方向の幅を１６個に分割した幅に相当するパルスである。その他のｘ軸検出器にも、同様のタイミングパルスがそれぞれ入力される。
【００３７】
第１の検出器３０１〜第２５の検出器３２５は、図７に示すように、それぞれ第１のオブジェクト抽出器５１と、タイミングゲート器５２と、オブジェクト特徴データ検出部５３とを備えている。タイミングゲート器５２は、図５及び図６に示したようなタイミングパルスに従い、ビデオカメラ２からの画像信号の通過を制御する。
画像信号が通過する領域は、図５及び図６に破線の四角形で示す各検出領域内になる。この検出領域内に限定した信号に、後述するさまざまなフィルタ処理を行い、ビデオカメラ２で捉えたユーザ３の手を抽出する。
【００３８】
第１のオブジェクト抽出器５１は、画像の特徴に添ったフィルタを備えており、本実施形態ではユーザ３の手を検出するために、特に肌色に着目したフィルタ処理及び動きを検出する動作検出フィルタ処理を行う。第１のオブジェクト抽出器５１は、具体的には、図８に示すように、特定色フィルタ７１と、階調限定器７２と、動作検出フィルタ７５と、合成器７３と、オブジェクトゲート器７４とを備えている。
特定色フィルタ７１について図９を参照して説明する。図９は、色差平面図で、縦軸をＲ−Ｙ、横軸をＢ−Ｙとしたものである。テレビ信号のすべての色信号はこの座標上のベクトルで表すことができ、極座標で評価することができる。特定色フィルタ７１は、色差信号で入力される色信号の色相と色の濃さ（飽和度）を限定するものである。これを特定するために色相は、第１象限のＢ−Ｙ軸を基準（０度）として左回りの角度で表現するものとする。また飽和度は、ベクトルのスカラ量となり、色差平面の原点が飽和度０（零）で色がない状態となり、原点から離れるにしたがい飽和度が大きくなり色が濃いことを示す。
【００３９】
図９では、特定色フィルタ７１により抽出される範囲は、等色相線Ｌ１に対応する角度θ１より小さくかつ等色相線Ｌ２に対応する角度θ２の範囲に設定され、また色の濃さは等飽和度線Ｌ３より大きくＬ４より小さい範囲に設定されている。第２象限のこの範囲は、本実施形態で抽出する人間の手の色である肌色の領域に相当するが、抽出する色の領域は特にこれに限定するものではない。
特定色フィルタ７１は、ビデオカメラ２から入力される色差信号（Ｒ−Ｙ、Ｂ−Ｙ）から角度と飽和度を算出し、色差信号が等色相線と等飽和度線で囲まれた領域に入っているか否かを検出する。
【００４０】
角度算出は、一例として図１０にフローチャートで示すような角度算出処理によって、入力画素それぞれについて、図９に示す色差平面上でなす角度を算出する。本実施形態では、角度算出処理をハードウェアで実現しているが、ソフトウェア、ハードウェアのいずれで実現してもよい。
初めに図１０に示すステップＳ４０１にて、入力画素それぞれの色差信号Ｒ−Ｙ，Ｂ−Ｙ成分の符号より、入力画素の色相が、色差平面上の第何象限に位置しているかを検出する。
次にステップＳ４０２にて、色差信号Ｒ−Ｙ，Ｂ−Ｙ成分それぞれの絶対値｜Ｒ−Ｙ｜、｜Ｂ−Ｙ｜を比較して、大きいほうをＡ、小さいほうをＢとして算出する。
【００４１】
そして、ステップＳ４０３にて、Ｂ／Ａより角度Ｔ１を検出する。この角度Ｔ１は、ステップＳ４０２での処理より明らかなように、０°〜４５°となる。角度Ｔ１は、折れ線近似やＲＯＭテーブルによって算出することができる。
ステップＳ４０４にて、Ａが｜Ｒ−Ｙ｜であるか、即ち、｜Ｒ−Ｙ｜＞｜Ｂ−Ｙ｜であるか否かを判定する。判定がＮＯ、つまり｜Ｒ−Ｙ｜＞｜Ｂ−Ｙ｜でなければ、そのままステップＳ４０６に進む。判定がＹＥＳ、つまり｜Ｒ−Ｙ｜＞｜Ｂ−Ｙ｜であれば、ステップＳ４０５に進み、角度Ｔ１を、（９０−Ｔ１）なる角度Ｔに置き換える。これによって、ｔａｎ-1（（Ｒ−Ｙ）／（Ｂ−Ｙ））が求められる。
【００４２】
ステップＳ４０３において検出する角度Ｔ１を０°〜４５°としているのは、ｔａｎ-1（（Ｒ−Ｙ）／（Ｂ−Ｙ））のカーブは４５°を超えると急激に勾配が大きくなり、角度の算出に不適であるからである。
さらに、ステップＳ４０６にて、ステップＳ４０１にて検出した象限のデータを用いて第２象限か否かを判定し、第２象限であれば、ステップＳ４０７に進み、Ｔ＝１８０−Ｔ１を算出する。第２象限でなければ、ステップＳ４０８に進み、第３象限か否かを判定し、第３象限であれば、ステップＳ４０９に進み、Ｔ＝１８０＋Ｔ１を算出する。
第３象限でなければ、ステップＳ４１０に進み、第４象限か否かを判定し、第４象限であれば、ステップＳ４１１に進み、Ｔ＝３６０−Ｔ１を算出する。第４象限でもない、すなわち第１象限であるときは、ステップＳ４１２にて角度ＴをＴ１とする。そして、最終的に、ステップＳ４１３にて、入力画素それぞれの図９の色差平面上でなす角度Ｔを出力する。
【００４３】
以上の処理により、入力された色差信号Ｒ−Ｙ，Ｂ−Ｙの色差平面上での角度を０°〜３６０°の範囲で求めることができる。ステップＳ４０４〜Ｓ４１１は、ステップＳ４０３にて検出した角度Ｔ１を角度Ｔに補正する処理である。また、ステップＳ４０４〜Ｓ４１１は、角度Ｔ１を、第１象限〜第４象限に応じて補正している。
【００４４】
次に色の濃さである飽和度の算出は、下記の式により行われる。
Ｖｃ＝ｓｑｒｔ（Ｃｒ×Ｃｒ＋Ｃｂ×Ｃｂ）
Ｖｃはベクトルのスカラ量であり、ここでは飽和度を表す。Ｃｒは、図９に示すように色信号の（Ｒ−Ｙ）軸成分であり、Ｃｂは（Ｂ−Ｙ）軸成分である。またｓｑｒｔ（ ）は平方根の演算を行う演算子である。
【００４５】
ここでの処理はソフトウェアまたはハードウェアを特定するものではないが、乗算と平方根はハードウェアでは実現が容易でなく、またソフトウェアでも演算のステップが多く、好ましくないので以下のように近似することもできる。
Ｖｃ＝ｍａｘ（｜Ｃｒ｜，｜Ｃｂ｜）＋０．４×ｍｉｎ（｜Ｃｒ｜，｜Ｃｂ｜）
ただし、ｍａｘ（｜Ｃｒ｜，｜Ｃｂ｜）は、｜Ｃｒ｜と｜Ｃｂ｜のうち、大きいほうを選択する演算処理であり、ｍｉｎ（｜Ｃｒ｜，｜Ｃｂ｜）は、｜Ｃｒ｜と｜Ｃｂ｜のうち、小さいほうを選択する演算処理である。
【００４６】
以上より求めた角度（色相）Ｔと飽和度Ｖｃが、等色相線の角度θ１からθ２の範囲、色の濃さは等飽和度線Ｌ４より小さくかつＬ３より大きい範囲に入っているか否かを評価する。この範囲に入っている信号を通過させるのが、図８に示す特定色フィルタ７１の役割である。
【００４７】
図８の階調限定器７２は、図１１に示すように、輝度信号の特定の階調の範囲を限定する。８ビットデジタル信号の場合、０〜２５５までの２５６階調において階調の最大レベルＬｍａｘ及び最小レベルＬｍｉｎを任意に設定し、ＬｍａｘからＬｍｉｎの間に含まれる階調レベルの輝度信号を出力する。
【００４８】
図８の動作検出フィルタ７５について、図１２及び図１３を使って説明する。動作検出フィルタ７５は、図１２に示すように、１フレーム遅延器７５−１と、減算器７５−２と、絶対値器７５−３と、非線形処理器７５−４と、量子化器７５−５とを備えており、入力される輝度信号から画像の動きを検出する。
１フレーム遅延器７５−１でビデオカメラ２からの画像信号は１フレーム遅延され、減算器７５−２に入力される。減算器７５−２は、ビデオカメラ２からの画像信号と１フレーム遅延器７５−１からの画像信号との差分を算出し、絶対値器７５−３に出力する。減算の符号の向きは、特に規定するものではない。差分信号は信号のレベルによって正負の両方の値が出力されるため、絶対値器７５−３は、減算器７５−２から入力される差分値を絶対値化して、非線形処理器７５−４に出力する。
【００４９】
非線形処理器７５−４は、入力された絶対値化された差分信号に対して、図１３に示す入出力特性に基づいて非線形処理を施す。図１３（Ａ）において、横軸は絶対値器７５−３から入力された絶対値化された差分信号を、縦軸は非線形処理器７５−４から出力される信号を示す。ａ値及びｂ値は、それぞれ範囲Ｒ１及びＲ２の範囲内で可変できる。
非線形処理器７５−４の出力信号は量子化器７５−５に入力され、図１３（Ｂ）に示す所定の閾値に基づいて２値化される。
【００５０】
図８の合成器７３は、特定色フィルタ７１と階調限定器７２と動作検出フィルタ７５とから入力される信号を合成し、領域パルスに変換する。本実施形態では、特定色フィルタ７１を通過した信号と階調限定器７２を通過した信号と動作検出フィルタ７５を通過した信号とが全て存在する場合に、ハイレベルとなる領域パルスを出力する。
【００５１】
合成器７３で生成された領域パルスは、オブジェクトゲート器７４に供給される。オブジェクトゲート器７４は、領域パルスがハイレベルであるとき、輝度信号と色差信号を通過させる。領域パルスがローレベル（領域パルス外の範囲）であるときは、入力信号（輝度信号及び色差信号）を通過させず、規定した値の信号を出力する。本実施形態では、黒レベルの輝度信号及び飽和度０の色差信号を出力する。
【００５２】
特定色フィルタ７１は、色差信号で入力される色信号の色相（角度）と飽和度を限定し、階調限定器７２は輝度信号の特定の階調の範囲を限定し、動作検出フィルタ７５は輝度信号を画像の動きに応じて限定する。
特定色フィルタ７１で色相と飽和度を限定することで、人の肌色に絞ることはできるが、人の肌は日焼け具合で変化し、また人種によっても異なるため、肌色といってもさまざまである。従って、制御情報判断器２０より入力される制御信号によって、特定色フィルタ７１で色相、飽和度を調整し、階調限定器７２で輝度信号の階調限定の範囲を調整すれば、槻ね人の手を検出することができる。更に、動作検出フィルタ７５によって、画像の動きに基づいて人の手を抽出し、識別することができる。
【００５３】
図１４（Ａ）は、第１のオブジェクト抽出器５１の出力信号が、表示装置２３に表示されている図である。ビデオカメラ２で撮影された画像において、手の画像は第１のオブジェクト抽出器５１によって抽出された信号に基づいて表示され、手の画像以外のところは輝度信号を黒レベルとしたため、何も表示されていない。この抽出された信号から、画像の持つ特徴と画面上の位置及び動作の内容を分析し、ユーザ３が意図的な動作をしたことを認識する。
図１４（Ｂ）には、各検出領域に対応して設けられた各検出器を動作させるためのタイミングパルスに基づいて、図７のタイミングゲート器５２でゲートされた映像信号による映像を示す。ここには代表例として、ｙ軸座標が０（零）の検出領域に対応する第２１の検出器３２１と、ｙ軸座標が−１の検出領域に対応する第２０の検出器３２０それぞれの、タイミングゲート器５２からの出力信号を示す。
【００５４】
図１４（Ａ）に示す画像の信号から、さらにその特徴を検出するフィルタ処理を、オブジェクト特徴データ検出部５３が行う。オブジェクト特徴データ検出部５３は、図１５に示すように、画像からさまざまな特徴を検出する機能ブロック、すなわちヒストグラム検出器６１、平均輝度（ＡＰＬ）検出器６２、高域発生量検出器６３、最小値検出器６４及び最大値検出器６５を備える。この他にも画像を特徴づける要件はあるが、本実施形態ではこれらの検出器６１〜６５より発生される検出信号に基づいて、第１の動作検出器２０−１〜第５の動作検出器２０−５によって検出領域において検出された手の領域を示す検出信号を生成し、映像信号が手を映したものであることを判別すると共に、その手の動作を認識する。
【００５５】
ヒストグラム検出器６１、平均輝度（ＡＰＬ）検出器６２、高域発生量検出器６３、最小値検出器６４及び最大値検出器６５は、本実施形態ではハードウェアにて構成され、空間内の検出領域内の各特徴を表すデータ（検出信号）を画面単位（フィールド及びフレーム単位：垂直周期単位）で生成して、ＣＰＵバスを介して制御情報判断器２０へと送出する。
制御情報判断器２０は、各検出器６１〜６５から送られたデータをソフトウェア上で変数として格納し、データ処理を行う。
【００５６】
ヒストグラム検出器６１は、タイミングゲート器５２から出力された輝度信号の階調を例えば８ステップに区切って各ステップに存在する画素の数をカウントし、１画面（１フィールドまたは１フレーム画面）ごとにヒストグラムを示すデータを第１の動作検出器２０−１へ出力する。平均輝度検出器６２は、同様に１画面内の輝度レベルを加算し、全画素数で割った１画面の平均輝度値を第２の動作検出器２０−２へ出力する。
高域発生量検出器６３は、空間フィルタ（２次元フィルタ）にて高域成分を抽出し、１画面内における高域成分の発生量を第３の動作検出器２０−３に出力する。最小値検出器６４は、１画面の輝度信号の最小階調値を、また最大値検出器６５は１画面内の輝度信号の最大階調値をそれぞれ、第４の動作検出器２０−４，第５の動作検出器２０−５へ出力する。
【００５７】
第１の動作検出器２０−１〜第５の動作検出器２０−５は、受け取ったデータを変数として格納し、ソフトウェアにてデータを処理する。後述する手の動作を検出する処理は、本実施形態ではソフトウェアによる処理となる。制御情報判断器２０は、更に第１の動作検出器２０−１〜第５の動作検出器２０−５からの検出信号を基に、制御信号を発生する制御情報発生器２０−１０を備える。
【００５８】
図１６には、オブジェクト特徴データ検出部５３のうち、ヒストグラム検出器６１と平均輝度検出器６２から出力されるデータをモデル化したものを示す。図１６は横軸を０〜７までの８ステップに区切った階調（明るさ）とし、縦紬を頻度としたヒストグラムである。平均輝度（ＡＰＬ）は、大きさが感覚的に分かるように矢印で示した。
図１６（Ａ）は、図１４（Ｂ）の第２０の検出器３２０を構成するヒストグラム検出器６１と平均輝度検出器６２の出力を示す。図１４（Ｂ）に示すとおり、第２０の検出器３２０では検出領域に手がかざされていないため、第１のオブジェクト抽出器５１で手が検出されず、第１のオブジェクト抽出器５１から出力された信号は黒レベルでマスキングされている。従って、図１６（Ａ）に示すヒストグラムは最低階調（０）の部分のみのデータとなっている。また基本的に信号が黒なのでＡＰＬは０（零）であるが、信号レベルの低さを明示するために短い矢印とした。
【００５９】
図１６（Ｂ）は、図１４（Ｂ）の第２１の検出器３２１を構成するヒストグラム検出器６１と平均輝度検出器６２の出力を示す。図１４（Ａ）に示すとおり、第２１の検出器３２１では検出領域にかざされた手を第１のオブジェクト抽出器５１で検出しているので、図１６（Ｂ）に示すヒストグラム検出器６１の出力はマスキングされている黒レベルの階調０以外に、手の明るさの階調に頻度が分布する。またＡＰＬについても、手の信号成分により平均輝度が上昇するため長い矢印で示した。
本実施形態では、ヒストグラム検出器６１から出力されるデータの、最低階調（０）以外の総和を求めて、検出領域にかざされている手の領域を示すデータとする。すなわち、検出領域に対応して設けられた検出器のオブジェクト抽出器５１が動作している手を抽出した出力信号を基にヒストグラム検出器６１が第１の検出データを発生させ、第１の動作検出器２０−１が第１の検出データに基づいて、検出領域から抽出された手の領域を示す第２の検出データを生成する。
またヒストグラム検出器６１によって、黒とそれ以外の成分とを分けた２段階の階調から頻度を算出することでも、所定の動作を行うことで検出領域にかざされた手を抽出できる。従って、０階調とそれ以外の２階調に簡略化したヒストグラム検出器６１からの第１の検出データに基づいて手の領域を示す第２の検出データを求めてもよい。
更に本実施形態では、ヒストグラム検出器６１から出力された第１の検出データに基づいて第１の動作検出器２０−１において第２の検出データを生成したが、これに限らず、各検出器３０１〜３２５が備えるオブジェクト特徴データ検出部５３から出力された第１の検出データに基づいて、制御情報判断器２０において第２の検出データを生成すればよい。
【００６０】
図１７は、ビデオカメラ２で撮影される領域内でユーザ３が手を縦（上下）に動かした場合のビデオカメラ２で撮影された手の画像の一例である。手が動く方向を示す矢印及び、画面内に配置された検出領域のｘｙ座標を共に示す。図１７（Ａ）、（Ｂ）、（Ｃ）、（Ｄ）に、動いている手の４つの位置を抜き出して示す。図１７（Ａ）は最も手が上に存在する場合、図１７（Ｂ）は手を少し振り下ろした場合、図１７（Ｃ）はさらに手を振り下ろした場合、図１７（Ｄ）は最も手が下に存在する場合である。
本実施形態では手を４回上下に動かした。すなわち手を、図１７の、（Ａ）（Ｂ）（Ｃ）（Ｄ）（Ｄ）（Ｃ）（Ｂ）（Ａ）を１サイクルとし、４サイクル動かした。このような上下運動の場合、ｘ軸については手はほとんど動かず、同一の座標上にある。一方、ｙ軸については手の座標は上下に変動する。従って、検出されるデータは上下のピークを繰り返した４サイクルになり、各座標の検出領域に対応して設けられた各検出器からの出力データの変動値になって現れる。
【００６１】
図１８は、図１７に示す手の上下運動の検出結果のうち、各検出器３０１〜３２５の各ヒストグラム検出器６１が出力するデータ値と、それを処理した内容を表にして示す。この表の一番左の列は項目名であり、項目名列の右側には時間の経過と共に変化する各項目のデータ値が示されている。
項目のＣｙｃｌｅは上記した手の上下運動の周期（サイクル）を示し、この表では全４サイクルのうち初めの２サイクルまでを書き出して示している。項目のｎは画像のフレーム番号を示し、一般的なビデオ信号の場合は６０Ｈｚ周期となり、インターレースの場合は２フィールドで１フレームとなり１垂直周期を６０Ｈｚ周期とする。
項目のｐｈは上下運動をしている手が、どのポジションにあるかを示しており、Ａ、Ｂ、Ｃ、Ｄはそれぞれ図１７の（Ａ）、（Ｂ）、（Ｃ）、（Ｄ）に対応している。項目のｘ（ｉ）（ｉ＝−８〜＋７）は、第１の検出器３０１〜第１６の検出器３１６のヒストグラム検出器６１から前述したように得られた、対応する検出領域における第１の検出データに基づく、手の領域を示す第２の検出データをそれぞれ示している。同様に項目のｙ（ｊ）（ｊ＝−４〜＋４）は、第１７の検出器３１７〜第２５の検出器３２５のヒストグラム検出器６１から得られた、各検出器３０１〜３２５に対応する検出領域において抽出された手による第１の検出データに基づく手の領域を示す第２の検出データを示している。なお、項目ＸＶＳ、ＸＶＳＧ、ＸＧ、ＹＶＳ、ＹＶＳＧ、ＹＧについては各検出器３０１〜３２５から得られたデータを処理した内容であり、後で詳細に記述する。
【００６２】
図１７（Ａ）〜（Ｄ）に示した一例では、手は上下方向に動かされており、ｘ軸に関しては動いている手の位置に変化は無いため、項目ｘ（ｉ）のデータは変動しない。図１７（Ａ）〜（Ｄ）に示すとおり、手はｘ座標５を中心にｘ座標４〜６上にあり、図１８の表の項目ｘ（４）、ｘ（５）、及びｘ（６）に手を検出した値が示されている。その他の項目ｘ（ｉ）は、第１のオブジェクト抽出器５１でマスキングされているので値は０（零）となっている（フレーム番号１１の項目ｘ（１）、ｙ（−２）、ｙ（−３）を除く）。
これはあくまでも理想的な場合で、もしユーザ３の手以外で肌色を示すものが動いていると、手がかざされている検出領域の座標以外の座標においても検出された値が生じ、手の動きの検出にとってはノイズとなる。このようなノイズをいかに抑圧して、手の動作を操作情報として認識するかがポイントとなる。
ｙ軸に関しては、上下に手を動かしているので項目ｙ（ｊ）のデータが変動する。図１７（Ａ）では、手はｙ座標２及び３上にあるため、図１８の項目ｙ（２）及びｙ（３）のフレーム番号０の欄に検出された値が示されている。同様に図１７（Ｂ）、（Ｃ）、及び（Ｄ）についても、それぞれの手がかざされているｙ座標に対応する項目ｙ（ｊ）に、検出されたそれぞれの値が示されている。
【００６３】
図１８に示す項目ｘ（ｉ）、ｙ（ｊ）のデータ（第２の検出データ）の値は、ヒストグラム検出器６１が検出した信号に基づいたものである。本実施形態では画面をｘ軸方向は１６、ｙ軸方向は９に分割して設けた、２５個の検出領域が交差する区画の１つを１００（領域）という値とし、第１の検出データのスケール調整をした。第２の検出データは、検出領域にかざされた手を抽出した出力信号より生成した第１の検出データに基づいた、検出領域にかざされた手の領域の大きさを示すデータである。
本実施形態では、時間経過に伴う各項目に示されている値の変動、つまり第１の検出器３０１〜第２５の検出器３２５それぞれの出力に基づく第２の検出データの変動よりも、複数の検出器によって出力された第１の検出データに基づく第２の検出データの総和を基に求める、重心の移動を示すデータの変動が重要となる。従って、かざされた手により複数の検出領域それぞれから抽出される出力信号を基にして、手がかざされている複数の検出領域全体の重心（以下単に「手の重心」という）を求め、それを評価した。
【００６４】
フレーム番号をｎとするｘ座標上の手の重心ＸＧは、下記の（１）式で求めることができる。ＸＶＳは、各ｘ軸検出器（第１の検出器３０１〜第１６の検出器３１６）の第２の検出データの総和であり、動作をしている手によって複数の検出領域において第１のオブジェクト抽出器５１によって抽出される出力信号に基づいた値である。ＸＶＳＧは、各ｘ軸検出器の第２の検出データに、対応する検出領域のｘ座標を掛けて重み付けをした検出データの総和である。
【数１】
【００６５】
本実施形態では、図１８の項目ＸＧはほとんどのフレームで５になっており（フレーム番号１１は除く）、従って手の重心のｘ座標は５であり、ｘ座標５を中心にデータが広がっている。
【００６６】
フレーム番号をｎとするｙ座標上の手の重心ＹＧは、下記の（２）式で求められる。ＹＶＳは、各ｙ軸検出器（第１７の検出器３１７〜第２５の検出器３２５）の第２の検出データの総和であり、ＹＶＳＧは、各ｙ軸検出器の第２の検出データに、対応する検出領域のｙ座標を掛けて重み付けをした検出データの総和である。
【数２】
【００６７】
本実施形態では、図１８の項目ＹＧはフレーム番号０において２．５である。これは手の重心のｙ座標が、２．５であることを示している。その他のフレームについても、項目ＹＧの値がそのフレームにおける手の重心のｙ座標を示している。本実施形態では項目ＹＧの値は０〜２．５の範囲の値になっており（フレーム番号１１は除く）、項目ＹＧの値の変動が座標上の手の上下運動を示している。
【００６８】
本実施形態では重心ＹＧの変動を分析して、手の動作を操作情報として認識する。図１９は、手の重心の座標の変動を時間の経過にそって表したタイムチャートである。図１９（Ａ）が手の重心のｙ座標の変動、つまり図１８の項目ＹＧの値の変動を表しており、０〜２．５の間で４サイクルに渡って波打っていることが示されている。図１９（Ｂ）が手の重心のｘ座標の変動、つまり図１８の項目ＸＧの値の変動を表している。図１７に示すようにｘ座標５を重心として手は縦に振られており、横方向に変動はないため、原理的には図１９（Ｂ）に示すとおり一定レベルの直線になる。
【００６９】
このｘ及びｙの両軸の波形を分析するわけであるが、これに先だって誤認識に対する保護について説明する。図１８に示す表の第１サイクルは、縦に手を振る場合の理想的なデータとなっている。手が抽出されているｘ座標４、５、及び６以外のｘ座標の項目ｘ（ｉ）は、データが０（零）である。ｙ座標についても同様に、手が抽出される検出領域以外はデータが０（零）である。しかし、実際は第１のオブジェクト抽出器５１でさまざまなフィルタ処理をしてもそれを潜り抜けてきて、手の動作以外の意図しないデータ（ノイズ）が発生する場合が考えられる。
第２サイクルのフレーム番号１１では、手に関するデータ以外に、ｘ（１）に対応する検出器に領域１００、ｙ（−２）に対応する検出器に領域５０、及びｙ（−３）に対応する検出器に領域５０に相当する手（オブジェクト）の領域が各検出領域において検出されたことを示す第２の検出データがある。これらのデータは検出された手の重心座標を狂わせることになる。図１７（Ａ）〜（Ｄ）に示すように手の重心のｘ座標は５で一定であるにもかかわらず、フレーム番号１１の項目ＸＧの値は３．３６１を示している。またフレーム番号１１の手の重心のｙ座標は、フレーム番号３と同様に項目ＹＧの値が０（零）であるはずが、−１．０２になっており、ｘ軸ｙ軸共にノイズに影響をうけた値となっている。
ノイズは単発であれば、デジタル信号処理でよく活用される孤立点除去フィルタ（メディアンフィルタ）で抑圧することが可能であるが、そのフィルタを潜り抜けるような成分であったり、ノイズの数や量が大きい場合には認識率を低下させる要因になる。
【００７０】
本実施形態ではこのノイズを効果的に抑圧するために、不必要な検出器のタイミングゲート器５２を閉じる処理を行う。図１８に示す表において、ｘ軸検出器３０１〜３１６、ｙ軸検出器３１７〜３２５それぞれの検出器からの出力に基づく第２の検出データを所定の期間累積加算した加算値が、最初に一定値（ｘ軸検出器であれば閾値ｔｈ１ｘ、ｙ軸検出器であれば閾値ｔｈ１ｙ）を超える検出器、すなわち最大値を示す検出器を制御情報判断器２０が確認する。
図１８の表に示すように、ｙ軸検出器３１７〜３２５から出力された第１の検出データに基づく第２の検出データ（出力信号）は変動し、閾値ｔｈ１ｙを超える検出器はない。一方でｘ軸検出器３０１〜３１６から出力された第１の検出データに基づく第２の検出データは、ｘ座標５に対応する第１４の検出器３１４からの出力に基づく第２の検出データｘ（５）が最大値を示し、ある時点で累積加算の結果の値が閾値ｔｈ１ｘを超え、該当する検出器であると判断される。これにより手の動作が上下に振る動作であることが判明する。なお、これ以降簡便のため、所定の検出器から出力された第１の検出データに基づく第２の検出データを単に、所定の検出器の第２の検出データ、と示す。
【００７１】
図１９（Ｃ）は、ｘ座標５に対応する第１４の検出器３１４の第２の検出データｘ（５）を累積加算した経過を表している。累積加算した加算値が閾値ｔｈ１ｘを超えた時点（フレーム９）で活性化フラグＦｌｇ＿ｘが０（零）から、所定の期間１となる。加算値が閾値ｔｈ１ｘを超えると、制御情報判断器２０がフラグ生成器として活性化フラグＦｌｇ＿ｘを生成する。活性化フラグＦｌｇ＿ｘが１となっている期間、後述するように不必要な区画や検出領域における手（オブジェクト）は検出しない。なお、ここでは累積加算値は閾値ｔｈ１ｘをフレーム９で超えたが、所定の期間で閾値ｔｈ１ｘを超えればよい。
活性化フラグＦｌｇ＿ｘが立ち上がる所定の期間のことを活性化期間とし、その長さは手の動作を認識することに要する、４サイクル程度の期間を設定する。図１９（Ｄ）については後述する。
【００７２】
図２１は、画面上のどの位置にある検出領域を有効とするかについて説明するための図である。本実施形態では、検出領域（区画）が、かざされた手の動作を検出するために用いられることを、有効とする。図２１には、ビデオカメラ２がとらえたｘ座標５上を縦に動く手の画像と、黒枠で示すノイズ成分、及び第２１の検出器３２１を制御するために供給されるタイミングパルスが描かれている。
ｘ軸方向に一点鎖線で描かれている第１のｘ軸タイミングパルスは、有効映像期間の水平方向の幅に相当する幅を有するパルスであり、ユーザ３が手を振り始めた時点では、全てのｙ軸検出器（第１７の検出器３１７〜第２５の検出器３２５）に供給されている。
振っている手が抽出された検出領域に対応する検出器の、出力信号を所定の期間累積加算した加算値に基づいて活性化フラグＦｌｇ＿ｘが生成される（１となる）と、実線で描かれている第２のｘ軸タイミングパルスが生成される。第２のｘ軸タイミングパルスは、有効映像期間の水平方向の所定の幅に相当する幅を有するパルスであり、全てのｙ軸検出器３１７〜３２５に供給される。各ｙ軸検出器３１７〜３２５は、第２のｘ軸タイミングパルスに基づいて、検出領域にかざされている手を検出するために必要最小限の検出領域の検出信号のみを出力する。
【００７３】
第２のｘ軸タイミングパルスの生成方法を、図２２を用いて説明する。各ｙ軸検出器３１７〜３２５に最初に供給されるｘ軸タイミングパルスは、第１のｘ軸タイミングパルスである。第１のｘ軸タイミングパルスは、各ｙ軸検出器３１７〜３２５に対応する各検出領域のｘ軸方向の幅全てを有効にするものである。
図２１に示す手の動きによってｘ座標５の検出領域において手が抽出されると、先に述べたように本実施形態では、ｘ軸の座標５に対応する第１４の検出器３１４の第２の検出データが、他の検出器の第２の検出データと比較すると連続して最大値を取る（図１８参照）。第１４の検出器３１４の第２の検出データを累積加算した値が閾値ｔｈ１ｘを超えると、活性化フラグＦｌｇ＿ｘが生成される（１となる）。制御情報判断器２０は活性化フラグＦｌｇ＿ｘが生成されたことを確認し、ｘ座標５の検出領域のｘ軸制御データを１とする。
【００７４】
本実施形態では、テレビジョン受像機１（ビデオカメラ２）とユーザ３との距離によって画面上の手の大きさが少し変わるのを考慮して、活性化フラグＦｌｇ＿ｘが生成された検出器に対応する検出領域と、この検出領域に隣接する検出領域とを少なくとも含む近傍の検出領域のｘ軸制御データを１とする。例えば、ｘ座標４と６の検出領域のｘ軸制御データを１とする。また、これ以外の検出領域のｘ軸制御データを０とする。
制御情報判断器２０は、上述したようなｘ軸制御データをタイミングパルス発生器１２に供給し、タイミングパルス発生器１２内のｘ軸タイミングパルス活性化制御器１２ｘは、入力されたｘ軸制御データに基づいて、第２のｘ軸タイミングパルスを生成し、全てのｙ軸検出器３１７〜３２５に供給する。従って、図２１に示す状態であれば、ｘ座標が４から６の検出領域の幅に相当する幅を有する、第２のｘ軸タイミングパルスが生成される。すなわちタイミングパルス器１２は、第１のｘ軸タイミングパルスの幅を狭めた第２のｘ軸タイミングパルスを生成する。第２のｘ軸タイミングパルスが供給された各ｙ軸検出器３１７〜３２５は、対応する各検出領域のｘ座標が４から６の区画からのみ検出信号を出力する。この結果、図２１に示した座標（ｘ，ｙ）＝（１，−２）、（１，−３）で発生したノイズ成分は検出されない。
第２のｘ軸タイミングパルスが生成されると、制御情報判断器２０は各ｙ軸検出器３１７〜３２５からの出力に基づいて、これ以降の制御を行う。各ｘ軸検出器３０１〜３１６から検出された検出信号については、参照しない。なお、各ｘ軸検出器３０１〜３１６のタイミングゲート器５２にタイミングパルスを供給せず、検出信号の出力を止めてもよい。
【００７５】
図２３は、ｙ軸検出器の第１７の検出器３１７〜第２５の検出器３２５に供給される第２のｘ軸タイミングパルス及び、各ｙ軸検出器３１７〜３２５が対応する検出領域のためのタイミングパルス（ｙ軸方向）を示す。各ｙ軸検出器３１７〜３２５は、対応する検出領域と、第２のｘ軸タイミングパルスに基づくｘ座標４〜６に対応する検出領域とが重なる、３つの区画から検出した信号のみを出力すればよい。こうすることで、検出領域の内、手が抽出されず、検出に不必要な区画について検出しないことが可能である。
なお、本実施形態では、図２２及び図２３に示すように検出領域単位でパルス幅を制御する方法を採用しているが、パルスのスタートポイントとパルス幅を指定する方法など、パルス幅を柔軟に制御する回路手法を用いてもよい。
【００７６】
図２４に示す表は、図１８に示す表とほぼ同じ内容であるが、図１９（Ｃ）に示した第１４の検出器３１４の活性化フラグＦｌｇ＿ｘが１になった後生成される第２のｘ軸タイミングパルスによって、検出が不要となった区画や検出領域からの検出を制限して得られた、各検出器３０１〜３２５からの出力信号に基づく第２の検出データを示す。図１９（Ｃ）において閾値ｔｈ１ｘを超えた、フレーム番号１０以降の第２の検出データがこれに該当し、図１８の表でノイズ成分として存在していたフレーム番号１１のｘ（１）、ｙ（−３）及びｙ（−２）が０となっている。座標（ｘ，ｙ）＝（１，−２）、（１，−３）の区画は、対応して設けられている第１８の検出器３１８と第１９の検出器３１９の各タイミングゲート器５２に第２のｘ軸タイミングパルスが供給されることで、検出されないためである。
ノイズ成分の除去により重心ＸＧとＹＧの値の乱れは無くなり、各ｙ軸検出器３１７〜３２５の後段の第１の動作検出器２０−１〜第５の動作検出器２０−５による認識率が向上する。また本実施形態では、フレーム９まではノイズ成分の影響を受けるが、この時点までは活性化フラグＦｌｇ＿ｘを立てることが目的となっており、累積加算した加算値の最大値が変動しない程度のノイズ成分は検出に影響しない。
【００７７】
制御情報判断器２０内の第１の動作検出器２０−１〜第５の動作検出器２０−５は、図２４に示すデータを受け取り、処理する。図１９に戻り、手がどのような動作をしているか検出するための処理を説明する。
図１９（Ａ）は重心のｙ座標ＹＧの変動を示し、図１９（Ｂ）は重心のｘ座標ＸＧの変動を示しており、それぞれノイズの無い波形を示している。図１９（Ｃ）に示すｘ軸検出器（第１４の検出器３１４）の出力信号を累積加算した値が、閾値ｔｈ１ｘ以上になった時点で活性化フラグＦｌｇ＿ｘが１となる。活性化フラグＦｌｇ＿ｘが生成された検出器に対応する検出領域と隣接する検出領域を少なくとも含む近傍のｘ軸方向の検出領域と、各ｙ軸方向の検出領域とが交差して形成される複数の区画以外の各ｙ軸方向の区画は、各ｙ軸検出器３１７〜３２５に供給される第２のｘ軸タイミングパルスによって無効とされる。すなわち、手の検出に用いられない。従って、ノイズの影響を受けない。
図１９（Ｃ）の波形が継続的に閾値ｔｈ１ｘ以上であれば、第２のｘ軸タイミングパルスが各ｙ軸検出器３１７〜３２５に供給され続けるため、不必要な区画が無効である期間も続き、ノイズによる影響を受けないという効果が持続する。図１９（Ｃ）の波形が閾値ｔｈ１ｘ以下になると累積加算値はリセットされる。ただし、リセットの基準となる値は閾値ｔｈ１ｘに限るものではない。
【００７８】
さて次に、図１９（Ａ）の波形のＤＣオフセットを抑圧する処理を行い、波形の平均値がほぼ０（零）となるようにする。この処理には図２０に示す高域通過フィルタを使う。
図２０の遅延器８１は、本実施形態では４フレーム（時間Ｔｍ）の遅延を行う。減算器８２は、遅延した信号と遅延されていない信号との差分を求める。ここで符号は重要でなく最終的な結果には影響しない。最後に１／２乗算器８３でスケールの調整を行う。図１９（Ａ）の波形は、図２０の高域通過フィルタを通すことで結果として図１９（Ｄ）に示すように、波形の平均値がほぼ０（零）となる。これにより、手が振られているｙ軸上の位置情報が排除され、手の動作内容の分析に適した波形が得られる。なお、図１９（Ｄ）の縦軸に示す重心ＹＧＨは、図１９（Ａ）の縦軸に示す重心ＹＧを高域通過フィルタ処理した値である。
【００７９】
次に図１５に戻り、第１の動作検出器２０−１〜第５の動作検出器２０−５について説明する。第１の動作検出器２０−１〜第５の動作検出器２０−５は、図示していない相互相関デジタルフィルタを備える。本実施形態では、手の動作による操作情報の認識には最高４回手を上下あるいは左右に振ればよいとしている。すなわち事前にどのような動作を認識するかが決まっているため、相互相関デジタルフィルタは、予め決めてある所定の動作（縦振り動作）の代表的な検出信号波形と、各検出器３０１〜３２５から出力される実際の動作による検出信号に基づいて第１の動作検出器２０−１〜第５の動作検出器２０−５において生成される検出信号波形との相互相関をとり、その一致度を評価することで、手の動作による操作情報の認識を行う。
本実施形態では図２５（Ｇ）に示す波形を縦振り動作の基準信号波形（所定の動作の代表的な検出信号波形）とし、図２５（Ｆ）に示す相互相関デジタルフィルタのｋ０〜ｋ４０のタップ係数値には、この基準信号波形に対応する値を使用する。また図２５（Ｄ）には、相互相関デジタルフィルタｋｎに入力される実際の動作による検出信号波形が示されているが、これは図１９（Ｄ）の信号波形と同じものである。相互相関デジタルフィルタは、タップ係数と実際の動作を検出した信号に基づく第２の検出信号とを乗算し、第１の動作検出器２０−１〜第５の動作検出器２０−５は相互相関デジタルフィルタより出力される信号波形に基づいて、ユーザ３が行った動作が縦振り動作であるかを検出する。相互相関デジタルフィルタｋｎの出力信号ｗｖ（ｎ）は下記の（３）式によって求められる。
【数３】
【００８０】
Ｎはデジタルフィルタのタップ数で、ここでは４１タップ（０〜４０）である。ｙ（ｎ＋ｉ）は図２５（Ｄ）の縦軸に示すフィルタ処理された重心ＹＧＨである。相互相関デジタルフィルタｋｎは、活性化フラグＦｌｇ＿ｘが１になっているときのみ動作させることでその機能を果たす。
【００８１】
相互相関デジタルフィルタ出力信号ｗｖ（ｎ）は、図２６（Ｅ）に示す波形になり、相互相関の一致度が増すとともに振幅が大きくなる。なお、図２６（Ｄ）は図１９（Ｄ）及び図２５（Ｄ）と同じもので、図２６（Ｅ）の比較対照として示している。出力信号ｗｖ（ｎ）の絶対値を取って累積積分し、その値が閾値ｔｈ２ｖ以上に達したところで基準信号波形との相互相関が充分あると判断され、所定の動作（ここでは、縦振り動作）がなされたことが認識される。第１の動作検出器２０−１〜第５の動作検出器２０−５は、検出部１９より出力される検出信号に基づいて、ユーザ３による動作が所定の動作であるか否かを検出する動作検出器である。
この動作の認識とともに、縦振り動作であることを示し且つ保護窓の役割を担う活性化フラグＦｌｇ＿ｘが「１」であることが確認され、手の縦振り操作が確定となり、テレビジョン受像機１の状態に応じたイベント（制御）が行われる。このイベントは、図１５に示す複数の動作検出器２０−１〜２０−５のいずれかが確定となったことを、制御情報発生器２０−１０が論理判定して出力する信号に従って行われる。
【００８２】
次に、手を横に振る（バイバイ）動作について説明する。本実施形態では、縦と横の動作は自動的に区別され、同時に機能する。図２７は、ビデオカメラ２で撮影される領域内でユーザ３が手を横（左右）に動かした場合のビデオカメラ２で撮影された手の画像の一例である。手が動く方向を示す矢印及び、画面内に配置された検出領域のｘｙ座標を共に示す。図２７（Ａ）、（Ｂ）、（Ｃ）、（Ｄ）に動いている手の４つの位置を抜き出して示す。図２７（Ａ）は手が最も左に位置する場合、図２７（Ｂ）は手を少し右へ移動した場合、図２７（Ｃ）はさらに手を右に移動した場合、図２７（Ｄ）は最も手が右に位置する場合である。
本実施形態では手を４回左右に動かした。すなわち手を、図２７の、（Ａ）（Ｂ）（Ｃ）（Ｄ）（Ｄ）（Ｃ）（Ｂ）（Ａ）を１サイクルとし、４サイクル動かした。このような左右運動の場合、ｙ軸については手はほとんど動かず、同一の座標上にある。一方、ｘ軸については手の座標は左右に変動する。従って、検出されるデータは左右のピークを繰り返した４サイクルになり、各座標の検出領域に対応して設けられた各検出器からの出力データの変動値になって現れる。
【００８３】
図２８は、図２７に示す手の左右運動の検出結果のうち、各検出器３０１〜３２５の各ヒストグラム検出器６１が出力するデータ値と、それを処理した内容を表にして示す。この表は図１８の表と同一形式で作成してあり、データ値は手の左右運動に対応している。
【００８４】
図２７（Ａ）〜（Ｄ）に示した一例では、手は左右方向に動かされており、ｙ軸に関しては動いている手の位置に変化は無いため、項目ｙ（ｊ）（ｊ＝−４〜＋４）のデータは変動しない。図２７（Ａ）〜（Ｄ）に示すとおり、手はｙ座標２を中心にｙ座標１〜３上にあり、図２８の項目ｙ（１）、ｙ（２）、及びｙ（３）に手を検出した値が示されている。その他の項目ｙ（ｊ）は、第１のオブジェクト抽出器５１でマスキングされているので値は０（零）となっている（フレーム番号１１の項目ｘ（７）、ｘ（４）、ｙ（−１）を除く）。
ｘ軸に関しては、左右に手を動かしているので項目ｘ（ｉ）のデータが変動する。図２７（Ａ）では、手はｘ座標−６、−５、−４上にあり、図２８の項目ｘ（−６）、ｘ（−５）、及びｘ（−４）のフレーム番号０の欄に、検出された値が示されている。同様に図２７（Ｂ）、（Ｃ）、及び（Ｄ）についても、それぞれの手がかざされているｘ座標に対応する項目ｘ（ｉ）に、検出されたそれぞれの値が示されている。
【００８５】
フレーム番号をｎとするｘ座標上の手の重心ＸＧは、前述した（１）式で求められる。
本実施形態では、図２８の項目ＸＧはフレーム番号０において−５．３である。これは手の重心のｘ座標が、−５．３であることを示している。その他のフレームについても、項目ＸＧの値がそのフレームにおける手の重心のｘ座標を示している。本実施形態では項目ＸＧの値は−５．３〜−２．３の範囲の値になっており（フレーム番号１１は除く）、項目ＸＧの値の変動が座標上の手の左右運動を示している。
【００８６】
フレーム番号をｎとするｙ座標上の手の重心ＹＧは、前述した（２）式で求められる。本実施形態では、図２８の項目ＹＧはほとんどのフレームで２．１９になっており（フレーム番号１１は除く）、従って手の重心のｙ座標は２．１９であり、ｙ座標２．１９を中心にデータが広がっている。
【００８７】
図２９は、手の重心の座標の変動を時間の経過にそって表したタイムチャートである。図２９（Ａ）が手の重心のｙ座標の変動、つまり図２８の項目ＹＧの値の変動を表しており、図２７に示すようにｙ座標２．１９を重心として手を横に振っているため、縦方向に変動はなく原理的には図２９（Ａ）に示すとおり一定レベルの直線になる。図２９（Ｂ）は手の重心のｘ座標の変動、つまり図２８の項目ＸＧの値の変動を表しており、−５．３〜−２．３の間で４サイクルに渡って波打っていることが示されている。
【００８８】
このｘ及びｙの両軸の波形を分析するわけであるが、図２８に示す表の第１サイクルは、横に手を振る場合の理想的なデータとなっている。手が抽出されているｙ軸座標１、２、及び３以外のｙ座標の項目ｙ（ｊ）はデータが０（零）である。ｘ座標についても同様に、手が抽出される検出領域以外はデータが０（零）である。
しかし、第２サイクルのフレーム番号１１では、手に関するデータ以外に、ｙ（−１）に対応する検出器に領域１２０、ｘ（４）に対応する検出器に領域５０、ｘ（７）に対応する検出器に領域７０に相当する手の領域が各検出領域において検出されたことを示す第２の検出データがある。これらのデータは検出された手の重心座標を狂わせることになる。図２８（Ａ）〜（Ｄ）に示すように手の重心のｙ座標は２．１９で一定であるにもかかわらず、フレーム番号１１の項目ＹＧの値は１．３５１を示している。またフレーム番号１１の手の重心のｘ座標は、フレーム番号３と同様に項目ＸＧの値が−２．３であるはずが、−０．４５になっており、ｘ軸ｙ軸共にノイズに影響を受けた値となっている。
【００８９】
横に手を振る場合も縦に手を振る場合と同様に、不要な検出器のタイミングゲート器５２を閉じる処理を行う。図２８に示す表において、ｘ軸検出器３０１〜３１６、ｙ軸検出器３１７〜３２５それぞれの検出器から出力された第１の検出データに基づく第２の検出データを所定の期間累積加算した加算値が、最初に一定値（ｘ軸検出器であれば閾値ｔｈ１ｘ、ｙ軸検出器であればｔｈ１ｙ）を超える検出器、すなわち最大値を示す検出器を確認する。
図２８の表に示すように、ｘ軸検出器３０１〜３１６は第２の検出データ（出力信号）が変動し、閾値ｔｈ１ｘを超える検出器はない。一方でｙ軸検出器３１７〜３２５では、ｙ座標２に対応する第２３の検出器３２３による第２の検出データ（ｙ（２））が最大値を示し、ある時点で累積加算の加算値が閾値ｔｈ１ｙを超え、該当する検出器として判断される。これにより手の動作が左右に振る動作であることが判明する。
【００９０】
図２９（Ｃ）は、ｙ座標２に対応する第２３の検出器３２３の第２の検出データｙ（２）を累積加算した経過を表している。累積加算した加算値が閾値ｔｈ１ｙを超えた時点（フレーム９）で、活性化フラグＦｌｇ＿ｙが０（零）から所定の期間１となる。加算値が閾値ｔｈ１ｙを超えると、制御情報判断器２０がフラグ生成器として活性化フラグＦｌｇ＿ｙを生成する。活性化フラグＦｌｇ＿ｙが１となっている期間、後述するように不必要な区画や検出領域における手は検出しない。なお、ここでは累積加算値は閾値ｔｈ１ｘをフレーム９で超えたが、所定の期間で閾値ｔｈ１ｘを超えればよい。
活性化フラグＦｌｇ＿ｙが立ち上がる所定の期間のことを活性化期間とし、その長さは手の動作を認識することに要する、４サイクル程度の期間を設定する。図２９（Ｄ）については後述する。
【００９１】
図３０は、画面上のどの位置にある検出領域を有効とするかについて説明するための図である。図３０には、ビデオカメラ２がとらえたｙ座標２．１９上を横に動く手の画像と、黒枠で示す２つのノイズ成分、及び第６の検出器３０６を制御するために供給されるタイミングパルスが描かれている。ｙ軸方向に一点鎖線で描かれている第１のｙ軸タイミングパルスは、有効映像期間の垂直方向の幅に相当する幅を有するパルスであり、ユーザ３が手を振り始めた時点では、全てのｘ軸検出器（第１の検出器３０１〜第１６の検出器３１６）に供給されている。
振っている手が抽出された検出領域に対応する検出器の、出力信号を所定の期間累積加算した加算値に基づいて活性化フラグＦｌｇ＿ｙが生成される（１となる）と、実線で描かれている第２のｙ軸タイミングパルスが生成される。第２のｙ軸タイミングパルスは、有効映像期間の垂直方向の所定の幅に相当する幅を有するパルスであり、全てのｘ軸検出器３０１〜３１６に供給される。各ｘ軸検出器３０１〜３１６は、第２のｙ軸タイミングパルスに基づいて、検出領域にかざされている手を検出するために必要最小限の検出領域の検出信号のみを出力する。
【００９２】
第２のｙ軸タイミングパルスの生成方法を、図３１を用いて説明する。各ｙ軸検出器３０１〜３１６に最初に供給されるｙ軸タイミングパルスは、第１のｙ軸タイミングパルスである。第１のｙ軸タイミングパルスは、各ｘ軸検出器３０１〜３１６に対応する各検出領域のｙ軸方向の幅全てを有効にするものである。
図３０に示す手の動きによってｙ座標２の検出領域において手が抽出されると、先に述べたように本実施形態では、ｙ軸の座標２に対応する第２３の検出器３２３の第２の検出データが、他の検出器の第２の検出データと比較すると連続して最大値を取る（図２８参照）。第２３の検出器３２３の第２の検出データを累積加算した値が閾値ｔｈ１ｙを超えると、活性化フラグＦｌｇ＿ｙが生成される（１となる）。制御情報判断器２０は活性化フラグＦｌｇ＿ｙが生成されたことを確認し、ｙ座標２の検出領域のｙ軸制御データを１とする。
【００９３】
本実施形態では、テレビジョン受像機１（ビデオカメラ２）とユーザ３との距離によって画面上の手の大きさが少し変わるのを考慮して、活性化フラグＦｌｇ＿ｙが生成された検出器に対応する検出領域と、この検出領域に隣接する検出領域とを少なくとも含む近傍の検出領域のｙ軸制御データを１とする。例えば、ｙ座標１と３の検出領域のｙ軸制御データを１とする。また、これ以外の検出領域のｙ軸制御データを０とする。
制御情報判断器２０は、上述したようなｙ軸制御データをタイミングパルス発生器１２に供給し、タイミングパルス発生器１２内のｙ軸タイミングパルス活性化制御器１２ｙは、入力されたｙ軸制御データに基づいて、第２のｙ軸タイミングパルスを生成し、全てのｘ軸検出器３０１〜３１６に供給する。従って、図３０に示す状態であれば、ｙ座標が１から３の検出領域の幅に相当する幅を有する、第２のｙ軸タイミングパルスが生成される。すなわちタイミングパルス器１２は、第１のｙ軸タイミングパルスの幅を狭めた第２のｙ軸タイミングパルスを生成する。第２のｙ軸タイミングパルスが供給された各ｘ軸検出器３０１〜３１６は、対応する各検出領域のｙ座標が１から３の区画からのみ検出信号を出力する。この結果、図３０に示した座標（ｘ，ｙ）＝（４，−１）、（７，−１）で発生したノイズ成分は検出されない。
第２のｙ軸タイミングパルスが生成されると、制御情報判断器２０は各ｘ軸検出器３０１〜３１６からの出力に基づいて、これ以降の制御を行う。各ｙ軸検出器３１７〜３２５から検出された検出信号については、参照しない。なお、各ｙ軸検出器３１７〜３２５のタイミングゲート器５２にタイミングパルスを供給せず、検出信号の出力を止めてもよい。
【００９４】
図３２は、ｘ軸検出器の第１の検出器３０１〜第１６の検出器３１６に供給される第２のｙ軸タイミングパルス及び、各ｘ軸検出器３０１〜３１６が対応する検出領域のためのタイミングパルス（ｘ軸方向）を示す。各x軸検出器３０１〜３１６は、対応する検出領域と、第２のｙ軸タイミングパルスに基づくｙ座標１〜３に対応する検出領域とが重なる、３つの区画から検出した信号のみを出力すればよい。こうすることで、検出領域の内、手が抽出されず、検出に不必要な区画について検出しないことが可能である。
なお、本実施形態では、図３１及び図３２に示すように検出領域単位でパルス幅を制御する方法を採用しているが、パルスのスタートポイントとパルス幅を指定する方法など、パルス幅を柔軟に制御する回路手法を用いてもよい。
【００９５】
図３３に示す表は、図２８に示す表の内容とほぼ同じであるが、図２９（Ｃ）に示した第２３の検出器３２３の活性化フラグＦｌｇ＿ｙが１になった後生成される第２のｙ軸タイミングパルスによって、検出が不要となった区画や検出領域からの検出を制限して得られた、各検出器３０１〜３２５からの第２の検出データを示す。
図２９（Ｃ）において閾値ｔｈ１ｙを超えた、フレーム番号１０以降の第２の検出データがこれに該当し、図２８の表でノイズ成分として存在していたフレーム番号１１のｘ（４）、ｘ（７）、ｙ（−１）が０となっている。これは、座標（ｘ，ｙ）＝（４，−１）、（７，−１）の区画は、対応して設けられている第１３の検出器３１３と第１６の検出器３１６の各タイミングゲート器５２に第２のｙ軸タイミングパルスが供給されることで、検出されないためである。ノイズ成分の除去により重心ＸＧとＹＧの値の乱れは無くなり、各ｘ軸検出器３０１〜３１６の後段の第１の動作検出器２０−１〜第５の動作検出器２０−５による認識率が向上する。
【００９６】
制御情報判断器２０内の第１の動作検出器２０−１〜第５の動作検出器２０−５は、図３３に示すデータを受け取り、処理する。図２９に戻り、手がどのような動作をしているか検出するための処理を説明する。
図２９（Ａ）は重心のｙ座標ＹＧの変動を示し、図２９（Ｂ）は重心のｘ座標ＸＧの変動を示しており、それぞれノイズの無い波形を示している。図２９（Ｃ）に示すｙ軸検出器（第２３の検出器３２３）の出力信号を累積加算した値が、閾値ｔｈ１ｙ以上になった時点で活性化フラグＦｌｇ＿ｙが１となる。活性化フラグＦｌｇ＿ｙが生成された検出器に対応する検出領域と隣接する検出領域を少なくとも含む近傍のｙ軸方向の検出領域と、各ｘ軸方向の検出領域とが交差して形成される複数の区画以外の各ｘ軸方向の区画は、各ｘ軸検出器３０１〜３１６に供給される第２のｙ軸タイミングパルスによって無効とされる。すなわち、手の検出に用いられない。従って、ノイズの影響を受けない。
図２９（Ｃ）の波形が継続的に閾値ｔｈ１ｙ以上であれば、第２のｙ軸タイミングパルスが各ｘ軸検出器３０１〜３１６に供給され続けるため、不必要な区画が無効である期間も続き、ノイズによる影響を受けないという効果が持続する。図２９（Ｃ）の波形が閾値ｔｈ１ｙ以下になると累積加算値はリセットされる。ただし、リセットの基準となる値は閾値ｔｈ１ｙに限るものではない。
【００９７】
さて次に、図２９（Ｂ）の波形のＤＣオフセットを抑圧する処理を行い、波形の平均値がほぼ０（零）となるようにする。この処理には図２０に示す高域通過フィルタを使う。
図２９（Ｂ）の波形は、図２０の高域通過フィルタを通すことで結果として図２９（Ｄ）に示すように、波形の平均値がほぼ０（零）となる。これにより、手が振られているｘ軸上の位置情報が排除され、手の動作内容の分析に適した波形が得られる。なお、図２９（Ｄ）の縦軸に示す重心ＸＧＨは、図２９（Ｂ）の縦軸に示す重心ＸＧを高域通過フィルタ処理した値である。
【００９８】
横に振られている手の動作内容の分析には、手の縦振り動作の時と同様に、事前に決められている所定の動作（横振り動作）の代表的な検出信号波形と、各検出器３０１〜３２５から出力される実際の動作による検出信号波形との相互相関をとって一致度を評価する。
本実施形態では図３４（Ｇ）に示す波形を横振り動作の基準信号波形（所定の動作の代表的な検出信号波形）とし、図３４（Ｆ）に示す相互相関デジタルフィルタのｋ０〜ｋ４０までのタップ係数値には、この基準信号波形に対応する値を使用する。また図３４（Ｄ）には、相互相関デジタルフィルタｋｎに入力される実際の検出信号波形が示されているが、これは図２９（Ｄ）の信号波形と同じものである。相互相関デジタルフィルタは、タップ係数と実際の動作を検出した信号に基づく第２の検出信号とを乗算し、第１の動作検出器２０−１〜第５の動作検出器２０−５は相互相関デジタルフィルタより出力される信号波形に基づいて、ユーザ３が行った動作が横振り動作であるかを検出する。相互相関デジタルフィルタｋｎの出力信号ｗｈ（ｎ）は下記の（４）式によって求められる。
【数４】
【００９９】
Ｎはデジタルフィルタのタップ数でここでは４１タップ（０〜４０）である。ｘ（ｎ＋ｉ）は図３４（Ｄ）の縦軸に示すフィルタ処理された重心ＸＧＨである。相互相関デジタルフィルタｋｎは、活性化フラグＦｌｇ＿ｙが１になっているときのみ動作させることでその機能を果たす。
なお、本実施形態では縦振り動作に対応するタップ係数を備える相互相関デジタルフィルタと、横振り動作に対応するタップ係数を備える相互相関デジタルフィルタとを使用したが、縦振り動作に対応するタップ係数と、横振り動作に対応するタップ係数とを制御情報判断器２０等に記憶させ、動作に応じて１つの相互相関デジタルフィルタに切り換えて供給してもよい。ただし、縦振り動作と横振り動作とが同じ動作であるとする場合には、同じタップ係数とすればよい。
【０１００】
次に、手の動作の速さとフレーム数について説明する。手の動作の速さとフレーム数の関係については、手の振り方が縦（上下）であっても、横（左右）であっても違いはない。
本実施形態では１秒間に６０フレームとし、手の上下または左右に４回振る動作を、説明や図面の簡略化を目的に３２フレームとした。相関計算のタップ係数も少なくなる。
しかしながら、３２フレームを時間に換算すると約０．５秒となり、現実の人間の動作としては速すぎる。実際の手の動作はもう少し遅くなると考えられ、例えば、手を４回振るのに２秒かかるとすれば、１２０フレーム必要となる。これを検出するためには相関計算においてタップ数を増やせばよく、動作にかかる時間に合わせて適宜タップ数を調整すればよい。
【０１０１】
手の横振りに関しての相互相関デジタルフィルタ出力信号ｗｈ（ｎ）は、図３５（Ｅ）に示す波形になり、相互相関の一致度が増すとともに振幅が大きくなる。なお、図３５（Ｄ）は図２９（Ｄ）及び図３４（Ｄ）と同じもので、図３５（Ｅ）の比較対照として示している。出力信号ｗｈ（ｎ）の絶対値を取って累積積分し、その値が閾値ｔｈ２ｈ以上に達したところで基準信号波形との相互相関が充分であると判断され、所定動作がなされたことが認識される。第１の動作検出器２０−１〜第５の動作検出器２０−５は、検出部１９より出力される検出信号に基づいて、ユーザ３による動作が所定の動作であるか否かを検出する動作検出器である。
この動作の認識とともに、横振り動作であることを示し且つ保護窓の役割を担う活性化フラグＦｌｇ＿ｙが「１」であることが確認され、手の横振り操作が確定となり、テレビジョン受像機１の状態に応じたイベントが行われる。このイベントは、図１５に示す複数の動作検出器２０−１〜２０−５のいずれかが確定となったことを、制御情報発生器２０−１０が論理判定して出力する信号に従って行われる。
【０１０２】
図３６は、上述した手の縦振りと横振りの動作を検出する方法の処理手順を示すフローチャートである。図３６のフローチャートに示す各ステップにおける処理については、既に詳細に記述しているので、ここでは各ステップが全体の中でどのような機能を果たしているかについて説明し、手の縦振り及び横振り動作が操作情報としてテレビジョン受像機１に認識され、制御（イベント）内容が実行されるところまでを説明する。
【０１０３】
図３６に示すフローチャートは、ユーザ３が行う手を振る動作によって縦振り処理系と横振り処理系の２つに分けられる。縦振り処理系のＸ軸スタートには、各ｘ軸検出器３０１〜３１６から出力された第１の検出データに基づく１６個の第２の検出データｘ（−８）〜ｘ（７）が入力される。まず、ステップＡ５０１において、各ｘ軸検出器３０１〜３１６の出力に基づく各第２の検出データｘ（−８）〜ｘ（７）が、それぞれフレーム毎に累積加算される。
次にステップＡ５０２に進み、累積加算された各値ｍｓｘ（ｉ）（ｉ＝−８〜＋７）が閾値ｔｈ１ｘ以上であるか否かを判定する。ステップＡ５０２の答えがＮＯのとき、すなわちいずれの加算値ｍｓｘ（ｉ）も閾値ｔｈ１ｘ未満の時はステップＡ５０１にもどり、累積加算を行う。ステップＡ５０２の答えがＹＥＳになったとき、すなわちいずれかの加算値ｍｓｘ（ｉ）が閾値ｔｈ１ｘ以上になったときは、次のステップＡ５０３に進む。
いずれかのｘ軸検出器からの加算値ｍｓｘ（ｉ）が閾値ｔｈ１ｘ以上を示すことは、手が縦に振られている動作を意味するので、ステップＡ５０３において活性化フラグＦｌｇ＿ｘを０（零）から１とし、第２のｘ軸タイミングパルスを各ｘ軸検出器３０１〜３１６に供給する。これによって、各ｘ軸検出器３０１〜３１６の出力が制御され、不要な検出領域や区画においてオブジェクト（手）を抽出しない処理（マスク処理）が行われるので、ノイズに対する耐性を高めることができる。
【０１０４】
横振り処理系についても同様に、Ｙ軸スタートには、ｙ軸検出器３１７〜３２５の出力に基づく９個の第２の検出データｙ（−４）〜ｙ（４）が入力され、ステップＢ５０１〜Ｂ５０３までは縦振り処理系のステップＡ５０１〜Ａ５０３と全く同様の処理がなされる。
そしてステップＢ５０２で、いずれかのｙ軸検出器において累積加算された値ｍｓｙ（ｊ）（ｊ＝−４〜＋４）が閾値ｔｈ１ｙ以上に達すると、活性化フラグＦｌｇ＿ｙが０（零）から１となって手の動作が横振りであることを認識する。
【０１０５】
本実施形態では活性化フラグＦｌｇ＿ｘまたはＦｌｇ＿ｙのどちらか一方が１となった時点で、もう一方の活性化フラグは抑圧される。ステップＡ５０４またはＢ５０４において、活性化フラグの判定を行う。例えば縦振り処理系では、活性化フラグＦｌｇ＿ｘが１となった時点でステップＡ５０４に進み、同時に横振り処理系の活性化フラグＦｌｇ＿ｙが０（零）であるか否かを判定する。
ステップＡ５０４の答えがＹＥＳのとき、すなわち活性化フラグＦｌｇ＿ｙが０（零）であれば、これ以降の処理は縦振り処理系になることを確定し、ステップＡ５０５に進む。一方で、ステップＡ５０４の答えがＮＯ、すなわち横振り処理系が活性化されていて、活性化フラグＦｌｇ＿ｙが１ならば、ステップＡ５０９に進み、縦振り処理系を進めるための累積加算値ｍｓｘ（ｉ）及び活性化フラグＦｌｇ＿ｘを０（零）にリセットし、ステップＡ５０１に戻る。
【０１０６】
また横振り処理系においては、ステップＢ５０３で活性化フラグＦｌｇ＿ｙが１となった時点でステップＢ５０４に進み、同時に縦振り処理系の活性化フラグＦｌｇ＿ｘが０（零）であるか否かを判定する。
ステップＢ５０４の答えがＹＥＳのとき、すなわち活性化フラグＦｌｇ＿ｘが０（零）であれば、これ以降の処理は横振り処理系になることを確定し、ステップＢ５０５に進む。一方で、ステップＢ５０４の答えがＮＯ、すなわち縦振り処理系が活性化されていて、活性化フラグＦｌｇ＿ｘが１ならば、ステップＢ５０９に進み、横振り処理系を進めるための累積加算値ｍｓｙ（ｊ）及び活性化フラグＦｌｇ＿ｙをそれぞれ０（零）にリセットし、ステップＢ５０１に戻る。
【０１０７】
ステップＡ５０４の答えがＹＥＳ、またはステップＢ５０４の答えがＹＥＳとなったとき、それぞれステップＡ５０５またはＢ５０５に進み、ｙ軸重心計算またはｘ軸重心計算を行う。ｘ軸重心計算またはｙ軸重心計算は上記の（１）式または（２）式を使い、図２４に示した表の項目ＹＧまたは図３３に示した表の項目ＸＧを求める。求められた重心（ＸＧ、ＹＧ）の値はステップＡ５０６またはＢ５０６の相互相関計算にて相互相関デジタルフィルタ処理され、相互相関デジタルフィルタ出力信号ｗｖ（ｎ）またはｗｈ（ｎ）を算出する。
ステップＡ５０７またはＢ５０７では、相互相関デジタルフィルタ出力信号ｗｖ（ｎ）またはｗｈ（ｎ）を絶対値化して累積加算し、ｗｖ（ｎ）の累積加算ｓｗｖまたはｗｈ（ｎ）の累積加算ｓｗｈを算出する。
【０１０８】
次に、ステップＡ５０８またはＢ５０８において累積加算ｓｗｖの値が閾値ｔｈ２ｖより大きいか否か、またはｓｗｈの値が閾値ｔｈ２ｈより大きいか否か判定する。ステップＡ５０８またはＢ５０８の答えがＹＥＳとなった場合に、縦振りイベントまたは横振りイベントが起動される。なお、ここでステップＡ５０４〜Ａ５０８とＢ５０４〜Ｂ５０８とを同時に説明したが、前述したとおり縦振り処理系と横振り処理系とが同時に処理されることはなく、どちらか一方のみの処理となる。
また、ステップＡ５０６またはＢ５０６の相互相関計算処理より先の処理は、図３６では説明の分かり易さを考慮して処理を２系統に分離しているが、ステップＡ５０４またはＢ５０４において活性化フラグＦｌｇ＿ｘまたはＦｌｇ＿ｙを評価し、検出された動作が縦振りか横振りかが判明しているので、処理を１系統にすることができる。なお、ステップＡ５０４またはＢ５０４、及びステップＡ５０８またはＢ５０８の判定で答えがＮＯとなったときはステップＡ５０９またはＢ５０９に進み、累積加算値ｍｓｘ（ｉ）及びＦｌｇ＿ｘ、または累積加算値ｍｓｙ（ｊ）及びＦｌｇ＿ｙをそれぞれ０（零）にリセットしてスタートの時点に戻る。
【０１０９】
このように本実施形態では、手を縦に振る操作と横に振る操作は同時に処理されて区別されて認識される。これの応用例としては、図３に示す手の縦振り「コイコイ」動作であれば、それに対応したイベント（制御）として例えば電源ＯＮやメニュー画面が起動される。また手の横振り「バイバイ」動作であれば電源をＯＦＦにすることに応用できる。
また、縦振り動作と横振り動作のどちらか一方のみを電子機器を制御するための所定の動作としてもよく、その際は、ステップＡ５０４またはＢ５０４を省略すればよい。
【０１１０】
以上で説明した第１実施形態では、図５、図６に示すように画面に設けられた検出領域は、水平方向に１６、垂直方向に９分割して設けた合計２５であった。それぞれの検出領域に対応する検出器は、第１の検出器３０１から第２５の検出器３２５の２５個であり、第１実施形態はハードウェアの規模が少なくて済む利点がある。
一方、より高度で複雑な認識操作を考えると、以下に説明するような検出領域を用いる第２実施形態が考えられる。第２実施形態についても図３６のフローチャートにて説明したアルゴリズムが同様に機能することについて詳述する。なお、第２実施形態については、第１実施形態と異なる部分についてのみ説明する。
【０１１１】
図３７は、ビデオカメラ２より出力された画像の画面を、水平方向に１６分割、垂直方向に９分割し、水平方向に分割された領域と垂直方向に分割された領域とが交差して形成される、合計１４４個（１６×９）の検出領域を設けた第２実施形態を示す。従って、検出部１９を構成する検出器も１４４個必要とし、制御情報判断器２０に入力されるデータ数も１４４となる。第１の検出器３０１は、図３７において（ｘ、ｙ）＝（−８，４）座標に位置する検出領域と対応し、この検出領域から検出された第１の検出データを出力する。
第２実施形態では、１画面毎（１垂直周期毎）に各検出領域から抽出される出力信号を得ることが目的であり、各検出領域に各検出器を割り当て、各検出領域のデータが制御情報判断器２０に入力され、ソフトウェアで処理されるものとして説明する。なお、各検出器はバッファメモリを設けることにより、ハードウェアの構成上必要とするデータ数以下で実現することもできる。
【０１１２】
図３８は、１４４個の検出領域上に、ビデオカメラ２で撮影された縦振りする手のイメージを重ねて描いた画面を示す。手の動きによってフレーム差分が発生する検出領域に、ハッチングを入れて表した（手の領域もハッチングが入っているとして説明する。）。第１実施形態では、このハッチングの入っている検出領域を、図７に示すオブジェクト特徴データ検出部５３のヒストグラム検出器６１などによりデータに変換し、ＣＰＵバスを経由して制御情報判断器２０へ出力した。
第２実施形態においても、同様の構成も適応できるが、各検出器から得られるデータが１４４個あるため、ハードウェアの規模が大きくなること及びバスのトラフィックを考慮して、データを簡略化する。なお、比較説明をするため図３８の手の動作の位置は図１７に示した第１実施形態と同じ位置とする。
【０１１３】
図３９は、第２実施形態の検出部１９と制御情報判断器２００のブロック図である。検出部１９を構成する第１の検出器３０１から第１４４の検出器４４４が、制御情報判断器２００の第６の動作検出器２０−６へオブジェクトのデータを加工して転送する。第１のオブジェクト抽出器５１の出力は図８に示すように、特定色フィルタ７１、階調限定器７２、動作検出フィルタ７５を合成した信号で、ビデオカメラ２の出力画像からオブジェクトを抽出した出力信号である。
合成の仕方は様々な論理演算が考えられるが、ここでは論理積として考える。オブジェクトゲート器７４の出力は、図３８のハッチングした部分の検出領域だけが階調を持ち、その他の検出領域はオブジェクトが抽出されず階調が０である（マスクレベル）とする。この場合のビデオカメラ２の黒レベルは０レベル以上にあるものとする。
【０１１４】
オブジェクト特徴データ検出部５３０は、ブロックカウンタ６６とブロック量子化器６７とを備える。更にヒストグラム検出器６１やＡＰＬ検出器６２などを、必要に応じて備えてもよい。
ブロックカウンタ６６とブロック量子化器６７は、図３８の画面内にハッチングで示した、第１のオブジェクト抽出器５１による出力信号が得られる検出領域の情報を１ビット化して出力する。ブロックカウンタ６６は、全検出領域のうちマスクレベル以外の検出領域をカウントするものである。ブロックカウンタ６６でカウントされた検出領域における第１のオブジェクト抽出器５１より出力された出力信号は、ブロック量子化器６７にて設定される閾置と比較され、ブロック量子化器６７は閾置以上であるとき１を、以下であるとき０を出力する。
【０１１５】
例えば閾置を、検出領域全体の１／２の領域で第１のオブジェクト抽出器５１からの出力信号が得られた場合に設定し、この閾値に基づいて図３８のハッチング部分の検出領域からの出力信号をブロック量子化器６７に入力すると、図４０に示すハッチングをした検出領域が信号を出力することとなる。すなわち、検出領域の座標（ｘ，ｙ）が（５，３）、（５，２）である２つの検出領域が１を出力し、その他の検出領域は０を出力する。
このように閾値を設定することで、ブロックカウンタ６６とブロック量子化器６７による、検出部１９からの出力は１４４ビットとなり、最小限ですませることができる。
【０１１６】
制御情報判断器２０には、１画面（１垂直周期毎）で１４４のデータが変数として格納され、動作の認識アルゴリズムに添って処理される。図４１にこれを示す。項目ｘ（−８）からｘ（７）はそれぞれ、各ｘ軸における縦（ｙ軸）方向の全検出領域に対応する全検出器の出力の総和となる。例えば項目ｘ（０）は、検出領域座標（ｘ，ｙ）の（０，−４）（０，−３）（０，−２）（０，−１）（０，０）（０，１）（０，２）（０，３）（０，４）の検出領域に対応する各検出器から出力された第１の検出データに基づいた第２の検出データの合計値となる。検出領域がｙ軸方向に９つに分割されているので、最大値は９を取ることになる。
項目ｙ（−４）〜ｙ（４）も同様で、各ｙ軸における横（ｘ軸）方向の全検出領域に対応する全検出器の出力の総和であり、最大値は１６となる。これより図３８に示した手の動作は結果として、図１８に示したものと重心の変動は同一となり、同様のアルゴリズムで処理して動作の認識が可能である。
【０１１７】
図４１の表と図１８の表とを比較すると、最初のフレームｎ＝０の列では、図１８の各項目ｘ（６）＝ｘ（４）＝１２，ｘ（５）＝１２０，ｙ（３）＝ｙ（２）＝７２が、図４１の各項目ｘ（６）＝ｘ（４）＝０，ｘ（５）＝２，ｙ（３）＝ｙ（２）＝１に相当する。
図４１は、量子化されて２値にまるめられた値で且つスケールが図１８とは異なっている。しかし、位置を表す重心は同一となる。従って、第２実施形態の第６の動作検出器２０−６は、第１実施形態の第１の動作検出器２０−１〜第５の動作検出器２０−５と同様のアルゴリズムで手の動作を認識することが可能である。第６の動作検出器２０−６のアルゴリズムは、（１）式、（２）式による重心計算、（３）式の相関デジタルフィルタの計算、そして不要な検出領域に対応する検出器にタイミングパルスを供給せず、タイミングゲート器５２を閉じる処理などで、そのアルゴリズムを表現するフローチャートが図３６である。第６の動作検出器２０−６は、検出部１９より出力される検出信号に基づいて、ユーザ３による動作が所定の動作であるか否かを検出する動作検出器である。
ここで、第２実施形態の各検出領域に対応する各検出器の、ゲートタイミング器５２を閉じる処理をマスク処理とし、後述する。
【０１１８】
第２実施形態では、各検出器３０１〜４４４が対応する検出領域が第１実施形態で説明した区画に相当するため、タイミングゲート器５２を閉じる方法は第１実施形態と同様であるが、不要な検出領域を無効とする方法は異なる。
図４２は、図３８と同じ手を上下に繰り返し振る動作を示す。この動作を操作として認識するために、第１のオブジェクト抽出器５１が手の動作を検出するように機能するが、意図しないものの動作が混入してくる。例えば、図４２に示す検出領域において、（ｘ、ｙ）＝（１，−２）、（１，−３）に黒丸で示すノイズが発生している。
図４１の表では、ｎ＝１１のフレームにおいて項目ｘ（１）＝２，ｙ（−２）＝１，ｙ（−３）＝１となっている。これはｘ軸とｙ軸の重心を乱し、手の動作を検出する際に妨害となる。これは重心の値に影響するため、重心の変動を用いて手の動作を検出する本発明において、問題となる。
【０１１９】
このノイズは、手の上下運動を検出している検出領域以外の検出領域をマスク処理することで抑制・除去する。
マスク処理は第１実施形態と同様で、ｘ軸の各項目ｘ（−８）〜ｘ（７）の値をそれぞれ所定の期間累積加算して、図１９（Ｃ）に示すように閾置ｔｈ１ｘを超えたとき、活性化フラグｆｌｇ＿ｘを立てればよい。従って第２実施形態では、各ｘ座標における縦（ｙ軸）方向の全検出領域に対応する全検出器の出力の総和、あるいは各ｙ座標における横（ｘ軸）方向の全検出領域に対応する全検出器の出力の総和が、それぞれ閾値ｔｈ１ｘあるいはｔｈ１ｙを超えたときに活性化フラグｆｌｇ＿ｘあるいはｆｌｇ＿ｙを生成すればよい。なお、累積加算した値は、所定の値を超えたらリミットをかけてもよい。
図１９（Ｃ）では、ｘ軸座標５を有する各検出領域に対応する各検出器の出力信号（ｘ（５））を累積加算した加算値が、所定の期間（フレーム１０）に経て閾置ｔｈ１ｘを超えたことを検出した。従ってｘ座標５を有する各検出領域の少なくとも一部で、振られている手が検出されている。
検出器から出力される信号が閾値ｔｈ１ｘを超えてから、活性化フラグｆｌｇ＿ｘを所定の期間立て、図１９（Ａ）に示す縦（ｙ軸）方向の重心ＹＧの変動を相関デジタルフィルタにて相関性を評価することで、手の動作を操作として認識する。
【０１２０】
第２実施形態では、ビデオカメラ２より出力された画像の画面を縦方向と横方向とに分割して各検出領域を設け、かつ各検出領域の第１の検出データを制御情報判断器２０に供給し、２次元配列化された変数として取り扱えるため、マスク処理はその変数を零に操作することで実現できる。当然タイミングゲート器５２に入力されるタイミングパルスを、タイミングパルス発生器１２にて制御することも可能である。
本実施形態では、１０フレーム目以降はマスク処理が施されるので、図４１の表に示したノイズ成分（フレーム番号１１）は抑圧できる。このようにマスク処理は手以外の動作を抑圧して、所定の動作のみを引き出す効果がある。
【０１２１】
図４２のハッチングされた部分は、以上で詳述したようにマスク処理された検出領域である。図４１の表に基づき、ｘ軸座標５を有する検出領域以外の検出領域に対応する検出器に対してマスク処理すればよいが、本実施形態では手がふらつくことを考慮して、ｘ軸座標５である全検出領域及びｘ軸座標が５±１の各検出領域に対応する各検出器に対してマスク処理せず、検出信号を出力するよう制御している。
すなわち、活性化フラグＦｌｇ＿ｘが１となったｘ座標５の各検出領域に対応する各検出器と、ｘ座標５の各検出領域に隣接するｘ座標４と６の各検出領域に対応する各検出器とに対して、タイミングパルス発生器１２よりタイミングパルスを供給させる。
【０１２２】
また図４１の表を基に、手の上下運動が及ばないｘ軸座標が４〜６でｙ軸座標が−４，−３，−２，４である各検出領域に対応する各検出器には、タイミングパルスを供給せず、マスク処理を施す。マスク処理された検出領域を図４２に×印で示す。これにより、ノイズの影響を更に抑制できる。
このマスク処理は、図１９（Ｃ）において活性化フラグｆｌｇ＿ｘが立った時点で、この時点から前の図１９（Ａ）に示す重心ＹＧを評価して行う。制御情報判断器２０内のメモリ（図示せず）に所定の期間の重心ＹＧを記録し、活性化フラグｆｌｇ＿ｘが発生した時点でその前までに記録された重心ＹＧを参照する。本実施形態では、図１９（Ａ）に矢印１で示す範囲を参照した。ｙ軸座標が−４，−３，−２，４である検出領域には、手がかざされていないと判断でき、手の動作はｙ軸座標が−４，−３，−２，４である検出領域の範囲外で生じているとして、上述したようにマスク処理する。
すなわち、所定の動作を行うために手が動くと、かざされている手が抽出された検出領域が判別されて、検出信号が通過する通過領域となる。それ以外の検出領域は、タイミングゲート器５２にタイミングパルスが供給されないので、検出された信号は通過しない。更に、各検出器の出力信号を累積加算した加算値が閾置ｔｈ１ｘを超えると、閾値ｔｈ１ｘを超えた時点より過去の所定期間の第２の検出データを参照し、手がかざされている検出領域以外の検出領域に対応する検出器に対してマスク処理し検出信号を出力させないことで、ノイズを抑制する。
【０１２３】
第２実施形態は、ビデオカメラ２より出力された画像の画面に設けた個々の検出領域に、対応する検出器を設けてブロック状の検出領域より手の動作を検出するものである。２次元平面でのマスク処理が可能であるため、動作している手が抽出された検出領域を第１実施形態より絞り込むことができ、ノイズに対する耐性が向上する。また、第２実施形態ではソフトウェア処理でマスク処理ができるため、マスク処理されてないデータと並行した処理も可能となり、処理の自由度が増すという利点も有する。
そして図３６に示した第２の検出データから手の動作を認識するアルゴリズムは、検出領域の実施形態に係わらず同様に機能するもので、認識操作を確定させてテレビ受像機を制御することができるものである。
【０１２４】
図４３は第２のオブジェクト抽出器５１０を示す図で、第２のオブジェクト抽出器５１０は図８に示す第１のオブジェクト抽出器５１の他の実施形態である。第２のオブジェクト抽出器５１０は、特定色フィルタ７１と階調限定器７２から出力された信号を合成器７３で合成して、その後段に動作検出フィルタ７５を直列に配置し、ビデオカメラ２からの信号をオブジェクトゲート器７４でゲート処理を加える。
また第２実施形態では、タイミングパルスが供給された検出器に対応する検出領域のみ、オブジェクト特徴データ検出部５３０のブロックカウント６６でカウントするので、図４１の動作検出フィルタ７５の出力を図３９のオブジェクト特徴データ検出部５３０のブロックカウンタに直接入れても、同様にブロック量子化器６７の出力検出領域単位の手の動き情報が得られる。
【０１２５】
図４４は、本発明の一実施形態を応用した一実施例を説明するための図である。図４４（Ａ）にはグラフィックス生成器１６で描いたメニュー画像（操作用画像）が示されており、その画像は（１−１）〜（１−５）の５つの領域に分けられている。これらの５つの領域に対してユーザ３は所定の動作を行う。図４４（Ｂ）は、ビデオカメラ２で撮影されたユーザ３の画像が鏡像変換された画像を示す。
図４４（Ｃ）は、図４４（Ａ）と（Ｂ）の画像を混合したものが表示装置２３に映し出されている様子を示し、メニュー画像とユーザ３の位置関係が分かるものとなっている。この第２実施形態の構成には、図２に示す表示装置２３とグラフィックス生成器１６は必須の機能ブロックである。
【０１２６】
図４５は、図４４（Ｃ）に示すメニュー画面とユーザ３の鏡像画像とが混合された画面を見て、ユーザ３がテレビジョン受像機１を操作している状態を示している。図４５（Ａ）には、ユーザ３が手を縦に振って複数のメニュー画像のうち所望のメニュー内容を示す画像、すなわち所望の操作ボタンを選択する状態を示している。図４５（Ａ）は例えば、ユーザ３は「映画」の操作ボタンを選択している。
第１実施形態で説明したとおり、縦に手を振るとｘ軸検出器のうちどの検出器が最大値を示して活性化フラグＦｌｇ＿ｘが「１」となったかが分かる。そこで、メニュー画像を生成したグラフィックス生成器１６と各座標の検出領域に対応する検出器とを対応させておけば、ユーザ３が選択した操作ボタンに対応する制御を起動することができる。
【０１２７】
上述した本発明の各実施形態に示したテレビジョン受像機１によれば、以下のような効果を奏する。テレビジョン受像機１の電源を入れる際、手の動作がビデオカメラ２の撮像範囲内であれば、電源のＯＮ／ＯＦＦやグラフィックスメニュー表示の制御をさせることができる。このときの手を縦または横に振る動作は、人にとって無理のない動作である。また縦の動作は「コイコイ」、横の動作は「バイバイ」と人にとって意味のある動作であり、これらの動作をその意味に添った形でテレビジョン受像機１の制御に利用することは、大変分かり易く使い勝手の良いものである。
また、ビデオカメラ２の撮像範囲内のどの位置にユーザ３がいても動作検出が可能であり、さらに活性化フラグによる制御で極めて誤認識の少ない正確な検出を行うことができる。またグラフィックス生成器１６で生成したメニュー画像とビデオカメラ２が撮影したユーザ自身の映像を混合した画面上において所望のメニューを選択する操作方法にも応用ができ、同一の回路及びソフト処理で多様な活用が可能である。
【０１２８】
上述した本発明の各実施形態では、電子機器をテレビジョン受像機１とした例を示したが、これに特定するものでなく、電子機器に他のさまざまな電子機器にビデオカメラ２を搭載することで、応用することができる。またグラフィックメニュー画像にビデオカメラ２の画像を混合させたメニュー画面から、ユーザ３が所望の制御内容を示すメニュー画像を選択操作する方法については、ディスプレイ（表示装置）を有する電子機器であれば応用することができる。本発明は、リモコンが無くても電子機器を操作する世界を構築する上で有用な装置を提供することができる。
【図面の簡単な説明】
【０１２９】
【図１】本発明の電子機器操作方法の概要を説明するための図である。
【図２】本発明の一実施形態にかかるテレビジョン受像機の要部の構成を示すブロック図である。
【図３】操作者の動作が認識識されてテレビジョン受像機が制御される例を説明する図である。
【図４】ビデオカメラに撮影されたユーザの様子を表す図である。
【図５】ｙ軸検出器と画面内の検出領域とそれを制御するタイミングパルスの関係を説明するための図である。
【図６】ｘ軸検出器と画面内の検出領域とそれを制御するタイミングパルスの関係を説明するための図である。
【図７】図２に示す検出器の構成を示すブロック図である。
【図８】図７に示すオブジェクト抽出器の構成を示すブロック図である。
【図９】図８に示す特定色フィルタで抽出する対象物の色相及び飽和度を説明するための図である。
【図１０】色差信号から色相を算出する処理のフローチャートである。
【図１１】図８に示す階調限定器で抽出する対象物の輝度信号レベルを示す図である。
【図１２】図８に示す動作検出フィルタの構成を示すブロック図である。
【図１３】動作検出フィルタの特性を表す図である。
【図１４】オブジェクト抽出器の出力が画面に映し出されているようすを描いた図である。
【図１５】制御情報判断器（ＣＰＵ）の構成を示すブロック図である。
【図１６】オブジェクト特徴データ検出部内のヒストグラム検出器及び平均輝度検出器の出力信号をモデル化して描いた図である。
【図１７】画面上に映された縦に動作する手と検出領域を表す座標との関係を説明するための図である。
【図１８】ｘ軸検出器及びｙ軸検出器の検出データと検出データから計算された重心の値を示す表である（手の動作が縦振りの場合）。
【図１９】手のポジションの重心座標の変動を示すタイムチャートである（手の動作が縦振りの場合）。
【図２０】高域通過フィルタの構成を示すブロック図である。
【図２１】活性化フラグ（Ｆｌｇ＿ｘ）により検出領域を制限したときの画面とタイミングパルスを描いた図である。
【図２２】ｙ軸検出器のｘ軸タイミングパルスの生成方法を説明するための図である。
【図２３】ｙ軸検出器のｘ軸及びｙ軸両タイミングパルスによる制御内容を説明するための図である。
【図２４】活性化フラグ（Ｆｌｇ＿ｘ）によって不要な検出器のデータが除かれたｘ軸検出器及びｙ軸検出器の検出データと検出データから計算された重心の値を示す表である（手の動作が縦振りの場合）。
【図２５】相互相関デジタルフィルタの内容を説明するための図である（手の動作が縦振りの場合）。
【図２６】相互相関デジタルフィルタ出力の変動を示すタイムチャートである（手の動作が縦振りの場合）。
【図２７】画面上に映された横に動作する手と検出領域を表す座標との関係を説明するための図である。
【図２８】ｘ軸検出器及びｙ軸検出器の検出データと検出データから計算された重心の値を示す表である（手の動作が横振りの場合）。
【図２９】手のポジションの重心座標の変動を示すタイムチャートである（手の動作が横振りの場合）。
【図３０】活性化フラグ（Ｆｌｇ＿ｙ）により検出領域を制限したときの画面とタイミングパルスを描いた図である。
【図３１】ｘ軸検出器のｙ軸タイミングパルスの生成方法を説明するための図である。
【図３２】ｘ軸検出器のｘ軸及びｙ軸両タイミングパルスによる制御内容を説明するための図である。
【図３３】活性化フラグ（Ｆｌｇ＿ｙ）によって不要な検出器のデータが除かれたｘ軸検出器及びｙ軸検出器の検出データと検出データから計算された重心の値を示す表である（手の動作が横振りの場合）。
【図３４】相互相関デジタルフィルタの内容を説明するための図である（手の動作が横振りの場合）。
【図３５】相互相関デジタルフィルタ出力の変動を示すタイムチャートである（手の動作が横振りの場合）。
【図３６】動作検出方法の処理手順を示すフローチャートである。
【図３７】第２実施形態の検出領域と対応する検出器とを示す図である。
【図３８】第２実施形態の検出領域上に縦振り動作をする手を示した図である。
【図３９】オブジェクト特徴データ検出部５３０を有する第２実施形態の検出器のブロック図である。
【図４０】第２実施形態において差分が発生した検出領域を示す図である。
【図４１】第２のオブジェクト抽出器５１０を示す図である。
【図４２】第２実施形態におけるｘ軸検出器及びｙ軸検出器からの検出データを示す表である。
【図４３】第２実施形態においてマスク処理された検出領域を示す図である。
【図４４】本発明の一実施形態における操作者の画像とメニュー画像が混合されたメニュー画面の一実施例を描いた図である。
【図４５】メニュー画面に対して動作する操作者のようすを描いた図である。
【符号の説明】
【０１３０】
１ テレビジョン受像器（電子機器）
２ ビデオカメラ
３ ユーザ（操作者）
１２ タイミングパルス発生器
１９ 検出部
２０ 制御情報判断器（フラグ生成器、制御器）
２０−１〜２０−５ 第１〜第５の動作検出器（生成器）
２３ 表示装置
３０１〜（３００＋ｎ） 検出器
【技術分野】
【０００１】
本発明は、ビデオカメラを搭載したテレビジョン受像機などの電子機器に関し、人の手などの動作の画像を認識して、電子機器の遠隔操作を行うための電子機器に関する。
【０００２】
１９８０年代に赤外線リモートコントローラ（通称リモコン）がテレビジョン受像機をはじめとする家電機器に付属するようになり、手元で制御できるユーザインターフェースが広く普及し、家電製品の利用形態を大きく変貌させた。現在においてもこの操作形態が主流であるが、リモコンは一機能を一押しで実行する仕組みが基本となっており、例えばテレビジョン受像機では、「電源」「チャンネル」「音量」「入力切替」などのキーがそれに該当し、これまでのテレビジョン受像機にとって大変便利な遠隔の操作方法であった。
【０００３】
しかしながら、リモコンが手元にない場合やリモコンの所在が不明な場合、大変不自由を強いられることを経験させられる。これに対して画像の動きや形状を認識して、電源のＯＮ／ＯＦＦなどの切替操作をする方式が検討されている。例えば手の動きや形状を認識して機器の操作に応用する技術が特開平１１−３３８６１４号公報（特許文献１）に開示されている。これには手の動きや形状を検出するための検出装置として、専用の赤外線センサやイメージセンサを用いている。
【０００４】
一方、最近始まったデータ放送は、所望のメニュー画面を選択するためには、リモコンの「上」「下」「左」「右」や「決定」キーを何度も押下する必要があり、リモコンでの操作は煩雑で使いづらくなっている。また、ＥＰＧ（電子プログラムガイド）は、マトリクスに配列された案内画面から所望の位置を選択して、キーを押下するため、データ放送と同様の課題を有している。そして、このきめ細かな選択操作に対しても同様に画像の動きや形状の認識を活用し、多様な操作に対応できる方式が望まれている。
【０００５】
特開２００３−２８３８６６号公報（特許文献２）には、このような課題を解決するために、マウスまたはこれに類似した位置指定操作装置を使って得られる位置指定情報を、キー押下信号の時系列パターンであるキー押下時系列符号に符号化し、そのキー押下時系列符号をテレビジョン受像機に送信するようにした制御装置が提案されている。
【特許文献１】特開平１１−３３８６１４号公報
【特許文献２】特開２００３−２８３８６６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
テレビジョン受像機など一般民生用ＡＶ機器（オーディオ機器やビデオ機器）では、従来リモコンを活用して遠隔操作を実現している。従って、リモコンが手元にない場合、例えば電源をＯＮにする時は、リモコンの所在を確認してリモコンを取得し、該当するキーを選択操作する動作が必要であり、ユーザは不便を感じる。またリモコンの所在が分からない場合は、テレビジョン受像機本体の主電源のスイッチで電源をＯＮにしなければならない。これらは往々にしてよく経験するリモコン操作に関する問題点である。
【０００７】
一方電源をＯＦＦにすることについても、リモコンがすでに手元にある場合はリモコンを大変便利に活用し、テレビジョン受像機の電源をＯＦＦにできる。しかし、席を少し離れた場合などでリモコンが手元にない場合は、電源をＯＮにする時と同様の課題がある。
【０００８】
特許文献１に記載された制御方式に利用される動作は、円運動、上下運動、左右運動といった容易な動作であり、画像認識による操作が実現出来れば大変使い勝手の良い操作方法である。しかしながら、動作が容易である分、誤認識に対する耐性の問題のほか、妥当な規模での装置の実現や、他の画像認識処理装置との共通化の面で困難な課題を持っている。
【０００９】
特許文献２に示された制御装置は、パーソナルコンピュータ（パソコン）の操作と酷似したポインティングを操作することにより、テレビジョン受像機を遠隔操作するものである。従って、パソコンを利用しない人にとっては使いづらいものとなり、情報リテラシー（情報を使いこなす能力）の観点から、パソコンの使い勝手をそのまま電子機器に導入することには無理がある。そこで、遠隔操作が求められる今日のテレビジョン受像機の利用形態にマッチした新たな操作手段が必要になっている。
【００１０】
電源のＯＮ／ＯＦＦから２段階の選択操作の画像認識やメニュー画面選択などの多様な選択操作が求められる画像認識にまで、同じ手段を使い且つ妥当な装置規模で新たな操作手段が実現できることは、低廉な民生機器を提供する上で重要な課題である。また簡単な画像認識動作は、誤認識を生みやすく、例えばテレビを見ているさなかに認識動作に似た振る舞いで電源がＯＦＦになるような致命的な誤作動を起こす可能性を含んでいる。
【００１１】
本発明はこのような課題をふまえてなされたもので、画像認識を用いて電子機器を制御するに際に、認識のための単純な動作をノイズなどの影響を受けることなく更に正しく検出できる、電子機器を提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記した課題を解決するために本発明は、次の（ａ）〜（ｆ）の電子機器を提供するものである。
（ａ）電子機器において、表示装置２３と、前記表示装置の前に位置する操作者３を撮影するビデオカメラ２と、前記ビデオカメラより出力された画像の画面を水平方向にＮ（Ｎは２以上の整数）分割、垂直方向にＭ（Ｍは２以上の整数）分割した複数の検出領域それぞれに対応して設けた複数の検出器を有し、前記複数の検出器を用いて前記ビデオカメラによって撮影された前記操作者が行う動作に基づいた第１の検出信号を発生する検出部１９と、前記複数の検出器それぞれを前記複数の検出領域に対応させて動作させるためのタイミングパルスを供給するタイミングパルス発生器１２と、前記第１の検出信号に基づいて第２の検出信号を生成する生成器２０−１〜２０−５と、前記第２の検出信号それぞれを所定の期間累積加算した加算値が、予め定めた閾値を超えるとフラグを生成するフラグ生成器２０と前記複数の検出器の内、前記複数の検出領域の内の一部の検出領域に対応する検出器から出力された第１の検出信号に基づく第２の検出信号を有効とすると共に、他の検出器から出力された第１の検出信号に基づく第２の検出信号を無効とするよう制御する制御器２０とを備え、前記タイミングパルス発生器は、前記フラグ生成器が前記フラグを生成した後の所定の期間、前記複数の検出器の内、前記フラグが生成された特定の検出器と、前記特定の検出器に対応した特定の検出領域に隣接する検出領域を少なくとも含む前記特定の検出領域の近傍の検出領域に対応する検出器とに対して選択的に前記タイミングパルスを供給することを特徴とする電子機器。
（ｂ）前記ビデオカメラより出力された画像の画面を水平方向にＮ分割した検出領域に対応したＮ個の第１の検出器３１７〜３２５と、垂直方向にＭ分割した検出領域に対応したＭ個の第２の検出器３０１〜３１６とを備え、前記タイミングパルス発生器は、前記フラグ生成器が前記フラグを生成した後の所定の期間、前記制御器の制御に基づいて前記Ｎ個の第１の検出器または前記Ｍ個の第２の検出器に供給するタイミングパルスの幅を前記操作者が行う動作に応じて狭くすることを特徴とする（ａ）記載の電子機器。
（ｃ）前記ビデオカメラより出力された画像の画面を水平方向にＮ分割、垂直方向にＭ分割して設けたＮ×Ｍ個の検出領域に対応したＮ×Ｍ個の検出器を備え、前記制御器は、前記フラグ生成器が前記フラグを生成した後の所定の期間、前記Ｎ×Ｍ個の検出器の内、前記フラグが生成された特定の検出器から出力された第１の検出信号に基づく第２の検出信号と、前記特定の検出器に対応した特定の検出領域に隣接する検出領域を少なくとも含む前記特定の検出領域の近傍の検出領域に対応する検出器から出力された第１の検出信号に基づく第２の検出信号とを有効とし、他の検出器から出力された第１の検出信号に基づく第２の検出信号を無効とするように制御することを特徴とする（ａ）記載の電子機器。
（ｄ）前記電子機器は、前記ビデオカメラで撮影された画像の鏡像変換を行う鏡像変換器１４と、少なくとも１つの操作用画像を生成する操作用画像生成器１６と、前記鏡像変換器より出力された鏡像変換画像信号と前記操作用画像生成器より出力された操作用画像信号とを混合する混合器１７とを備え、前記検出部は、前記混合器により混合された画像を前記表示装置に表示させた状態で、前記表示装置に表示された前記操作者が前記操作用画像を操作する所定の動作に対応した前記第１の検出信号を発生することを特徴とする（ａ）ないし（ｃ）のいずれか一項に記載の電子機器。
（ｅ）前記検出部は、前記ビデオカメラによって撮影された対象物を縦方向に移動させる第１の動作を検出した際に生成される第１の基準信号波形に対応するタップ係数と前記第２の検出信号とを乗算するデジタルフィルタｋｎと、前記デジタルフィルタより出力される信号波形に基づいて前記操作者が行う動作が前記第１の動作であるか否かを検出する動作検出器２０−１〜２０−５とを備えることを特徴とする（ａ）ないし（ｄ）のいずれか一項に記載の電子機器。
（ｆ）前記検出部は、前記ビデオカメラによって撮影された対象物を横方向に移動させる第２の動作を検出した際に生成される第２の基準信号波形に対応するタップ係数と前記第２の検出信号とを乗算するデジタルフィルタｋｎと、前記デジタルフィルタより出力される信号波形に基づいて前記操作者が行う動作が前記第２の動作であるか否かを検出する動作検出器２０−１〜２０−５とを備えることを特徴とする（ａ）ないし（ｄ）のいずれか一項に記載の電子機器。
【発明の効果】
【００１３】
本発明によれば、画像認識を用いて電子機器を制御するに際に、認識のための単純な動作をノイズなどの影響を受けることなく更に確実に検出できる。
【発明を実施するための最良の形態】
【００１４】
本発明の一実施形態を図面を参照して以下に説明する。
図１は、従来のリモコン装置による操作形態と、本発明の操作形態との違いを説明するための図である。ユーザ（操作者）３が、テレビジョン受像機１を操作する場合、従来はユーザ３がリモコン装置４を手に持って所望の機能を働かせるキーをテレビジョン受像機１に向けて押下することによって操作がなされる。従って、リモコン装置４が無ければ操作が出来ず、不便を強いられる場合を時々経験する。
【００１５】
本実施形態では、図１に示すようにテレビジョン受像機１にビデオカメラ２が設けられており、ビデオカメラ２によりユーザ３が撮影され、ビデオカメラ２の画像からユーザ３の動作を検出して、テレビジョン受像機１及びそれに関連する機器の操作が行われる。
検出されるユーザ３の動作とは、具体的にはテレビジョン受像機１の電源ＯＮ／ＯＦＦ制御やメニュー画面の表示／非表示の制御、メニュー画面から所望のボタンを選択する制御に対応した、ユーザ３の身体（手、足、顔など）を使った特定の動作であり、この特定の動作を検出することで電子機器の操作を行う。本実施形態ではもっとも現実的な手の動きで操作する方法について、説明する。
【００１６】
図２は、テレビジョン受像機１の構成を示すブロック図である。テレビジョン受像機１は、基準同期発生器１１、タイミングパルス発生器１２、グラフィックス生成器１６、ビデオカメラ２、鏡像変換器１４、スケーラ１５、第１の混合器１７、画素数変換器２１、第２の混合器２２、表示装置２３、検出部１９、及び制御情報判断器（ＣＰＵ）２０を備えている。
【００１７】
基準同期発生器１１は、テレビジョン受像機１の基準になる水平周期パルスと垂直周期パルスを発生させる。テレビジョン放送受信時や外部の機器から映像信号が入力されている場合は、その入力信号の同期信号に同期するパルスを生成する。タイミングパルス発生器１２は、後述する図４に示す各検出ブロック（検出領域）で必要とする水平方向と垂直方向の任意の位相と幅を有するパルスを生成する。
ビデオカメラ２は、図１に示すようにテレビジョン受像機１の前面に位置してユーザ（操作者）３、またはテレビジョン受像機１の前の映像を撮影する。ビデオカメラ２の出力信号は、輝度（Ｙ）信号、及び色差（Ｒ−Ｙ、Ｂ−Ｙ）信号で、基準同期発生器１１から出力される水平周期パルス及び垂直周期パルスに同期している。また、本実施形態では、ビデオカメラ２で撮像される画像の画素数は、表示装置２３の画素数と一致しているものとする。なお、画素数が一致していない場合は画素数変換器を挿入し画素数を一致させればよい。
【００１８】
鏡像変換器１４は、ビデオカメラ２で撮影した被写体像（ユーザ３）を表示装置２３上に鏡と同じように左右を反転して表示するためのものである。従って、文字を表示する場合は鏡と同じように左右が反転することになる。本実施形態では、メモリを活用して水平方向の画像を反転させる手法により鏡像変換が行われる。
表示装置２３としてＣＲＴ（Cathode Ray Tube、陰極線管）を用いる場合には、水平偏向を逆に操作することで同様の効果が得られる。その場合には、グラフィックスやその他混合する側の画像をあらかじめ水平方向に左右逆転しておく必要がある。
【００１９】
スケーラ１５は、ビデオカメラ２により撮影した被写体像の大きさを調整するもので、制御情報判断器（ＣＰＵ）２０の制御で拡大率と縮小率を２次元で調整する。また、拡大縮小を行わずに、水平と垂直の位相調整を行うこともできる。
【００２０】
グラフィックス生成器１６は、制御情報判断器（ＣＰＵ）２０から転送されるメニュー画面を展開するもので、メモリ上の信号がＲ（赤）信号、Ｇ（緑）信号、Ｂ（青）信号の原色信号で展開されていても、後段で映像信号と合成または混合される出力信号は、輝度（Ｙ）信号と色差（Ｒ−Ｙ、Ｂ−Ｙ）信号とする。また生成されるグラフィックスのプレーン数は限定するものではないが、説明に要するものは１プレーンである。
画素数は、本実施形態では表示装置２３の画素数に一致させるようにしている。一致していない場合は、画素数変換器を入れて一致させる必要がある。
【００２１】
第１の混合器１７は、グラフィックス生成器１６の出力信号Ｇｓと、スケーラ１５の出力信号Ｓ１とを、制御値α１により混合割合を制御して混合する。具体的には、下記式で出力信号Ｍ１oが表される。
Ｍ１ｏ＝α１・Ｓ１＋（１−α１）・Ｇｓ
制御値α１は、「０」から「１」の間の値に設定され、制御値α１を大きくするとスケーラ１４の出力信号Ｓ１の割合が大きくなり、グラフィックス生成器１６の出力信号Ｇｓの割合が小さくなる。混合器の例としてはこれに限らないが、本実施形態では、入力される２系統の信号情報が入っていれば同様の効果が得られる。
【００２２】
検出部１９は、第１の検出器３０１、第２の検出器３０２、第３の検出器３０３、…、第ｎの検出器（３００＋ｎ）からなる。検出部１９に含まれる検出器は数を特定するものではないが、本発明の第１実施形態においては２５個の検出器を備え、それらは後述する水平方向のタイミングで機能する第１の検出器３０１〜第１６の検出器３１６の１６個と、垂直方向のタイミングで機能する第１７の検出器３１７〜第２５の検出器３２５の９個からなる。
検出器の数はこれに限定されるものではなく、検出精度を上げるためには検出器の数は多いほどよいが、処理規模との関係で数を調整することが好ましい。第１実施形態では２５個、第２実施形態では１４４個の検出器を用いる。
【００２３】
制御情報判断器（ＣＰＵ）２０は、検出部１９から出力されるデータの解析を行い、各種制御信号を出力する。制御情報判断器２０の処理内容は、ソフトウェアで実現するものとなり、アルゴリズムについては詳細に後述する。本実施形態では、ハードウェア（各機能ブロック）による処理と、ソフトウェア（ＣＰＵ２０上で展開）による処理が混在するが、特にここで示す切り分けに限定するものではない。
【００２４】
画素数変換器２１は、外部から入力される外部入力信号の画素数と表示装置２３の画素数を合わせるための画素数変換を行う。外部入力信号は、放送されているテレビ信号（データ放送なども含む）やビデオ（ＶＴＲ）入力など、テレビジョン受像機の外部から入力されてくる信号を想定している。外部入力信号の同期系については、ここでの説明から省いてあるが、同期信号（水平及び垂直）を取得し、基準同期発生器１１にて同期を一致させている。
【００２５】
第２の混合器２２は、第１の混合器１７と同様の機能を有する。すなわち、第１の混合器１７の出力信号Ｍ１ｏと、画素数変換器２１の出力信号Ｓ２とを制御値α２で混合割合を制御して混合する。具体的には、下記式で出力信号Ｍ２ｏが表される。
Ｍ２ｏ＝α２・Ｍ１ｏ＋（１−α２）・Ｓ２
制御値α２は、「０」から「１」の間の値に設定され、制御値α２を大きくすると第１の混合器１７の出力信号Ｍ１ｏの割合が大きくなり、画素数変換器２１の出力信号Ｓ２の割合が小さくなる。混合器の例としてはこれに限らないが、本実施形態では、入力される２系統の信号情報が入っていれば同様の効果が得られる。
【００２６】
表示装置２３は、ＣＲＴ、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ（ＰＤＰ）、あるいはプロジェクションディスプレイなどを想定しているが、ディスプレイの表示方式を限定するものではない。表示装置２３の入力信号は、輝度信号と、色差信号であり、表示装置２３の内部にてＲＧＢ原色信号にマトリクス変換されて表示される。
【００２７】
以上のように構成されたテレビジョン受像機１の動作を、ユーザ３の動作を交えて説明する。図３はユーザ３が行う手の動作と、その動作に対応するテレビジョン受像機１の制御内容について説明するための図である。図３（Ａ）には、テレビジョン受像機１の前に立ったユーザ３が行う手の動作のイメージが矢印で示されている。本実施形態ではユーザ３が行う動作を、「手を縦（上下）に振る」、「手を横（左右）に振る」の２つの動作とする。
図３（Ｂ）（１）〜（Ｂ）（３）（以降、（Ｂ）（１）をＢ−１と示す。他も同様）は、ユーザ３が行う手の動作に対応した制御が実行されたテレビジョン受像機１の、表示装置２３に表示される内容の移り変わりをそれぞれ示す。本実施形態の場合、テレビジョン受像機１に対する制御内容は、「電源をＯＦＦからＯＮにする」、「メニュー画面を表示させる」、「メニュー画面を消す」、「電源をＯＮからＯＦＦにする」の３つの制御である。
ユーザ３が行う手の動作とテレビジョン受像機１の制御内容との対応関係は、ユーザ３が「手を縦に振る」動作は、「テレビジョン受像機１の電源がＯＦＦの場合、電源がＯＮになる」及び「テレビジョン受像機１の電源がＯＮの場合、メニュー画面が表示される」制御に対応する。「手を横に振る」動作は、「テレビジョン受像機１がどのような画面状態であっても電源をＯＦＦにする」制御に対応する。
【００２８】
図３（Ｂ−１）は、テレビジョン受像機１の電源がＯＦＦのままで、表示装置２３には何も表示されていない状態を示している。この状態でユーザ３が手を縦（上下）に振ると、その動作がビデオカメラ２によってとらえられ、テレビジョン受像機１の電源がＯＮになり、表示装置２３には図３（Ｂ−２）に示すようにテレビ画面（番組）が表示される。
最初、図３（Ｂ−１）に示すとおり、表示装置２３には何も表示されていないので、ユーザ３はビデオカメラ２によって撮影された自身の映像を確認することができない。そのためユーザ３は、ビデオカメラ２に必ず写る位置に立っていることが必須であり、テレビジョン受像機１は、ビデオカメラ２によって撮影されたビデオ画像内のどこにユーザ３がとらえられても、ユーザ３の動作を認識できる必要がある。この場合、表示装置２３とグラフィックス生成器１６は無くても支障はない。
【００２９】
さらに、表示装置２３に図３（Ｂ−２）に示すテレビ画面が表示されている状態（視聴状態）で、ユーザ３が手を縦（上下）に振ると、表示装置２３の表示内容は図３（Ｂ−３）に示すメニュー画面に変わり、ここからチャンネル変更などの選択動作に移ることになる。この場合も、表示装置２３は初めはテレビ画面を表示しているだけであり、ユーザ３がビデオカメラ２によって撮られた自分の映像を表示装置２３に表示させて確認することはできない。従って上記同様、テレビジョン受像機１はユーザ３がビデオカメラ２によって撮影された画像のどこにいても、ユーザ３の動作を認識しなくてはならない。
表示装置２３がテレビ画面を表示している状態（図３（Ｂ−２））で、ユーザ３が手を横（左右）に振った時は、テレビジョン受像機１の電源がＯＦＦになり、図３（Ｂ−１）に示す状態になる。メニュー・データ放送・ＥＰＧなどのあらゆる画面を表示している状態（図３（Ｂ−３））で、ユーザ３が手を横に振った時は、図３（Ｂ−２）に示す状態、あるいは図３（Ｂ−１）に示す状態になる。
【００３０】
本実施形態で採用する手を縦や横に振る動作は、人が日常に行う動作内容であり、縦に手を振る動作は一般に「来い来い（コイコイ）」と呼びかける意味を持っており、先に述べたように次の状態に入る（移る）という意味づけにおいても適切な動作と言える。また、横に手を振る動作は「バイバイ」と別れるときの動作であり、これについても特定の状態から抜け出るという意味づけにおいて適切な動作と言える。この動作の意味づけは国や人種によって異なるために、他の動作を採用する場合も考えられるが、出来るだけ動作の意味づけにそっていることが使いやすさの面から好ましい。
【００３１】
ここでは簡単な分かりやすいテレビジョン受像機１の制御例をあげたが、テレビジョン受像機１の有する機能に基づいて、商品企画に合わせて適宜制御内容を変えればよい。
また、ビデオカメラ２の撮影範囲は、テレビジョン受像機１の電源をＯＦＦからＯＮにさせる場合は、ユーザ３が最適視聴ポイントから離れている場合を考慮し、広角にして出来るだけ動作を認識する範囲を広くすることが好ましい。そしてテレビ番組を視聴している状態からメニュー画面などに表示画面を変えるときは、ユーザ３は最適視聴ポジションに近い位置に位置していることが考えられるので、ビデオカメラ２の撮影範囲はある程度絞ることが可能である。
【００３２】
図４は、ユーザ３の手の動作を検出する検出領域を説明するための図である。図４は、ビデオカメラ２にて撮影されたユーザ３の映像と、水平方向ｘ及び垂直方向ｙの座標とを示す。本実施形態では、ビデオカメラ２より出力された画像の画面を水平方向に１６分割、垂直方向に９分割して設けた複数の検出領域で、ユーザ３の手の動作を認識する。図４に示すとおり、画像を表示装置２３に表示させた水平：垂直が１６：９のアスペクト比であるテレビジョン受像機１では、既述したように画面を水平１６、垂直９に分割すると、垂直（ｙ軸）方向と水平（ｘ軸）方向との分割によって形成される１つの区画は正方形になる。各分割数は２以上の整数で、適宜設定すればよい。
ユーザ３による手の動作を検出する際に、画面をｘ軸方向に分割して設けた１６個の検出領域と、ｙ軸方向に分割して設けた９個の検出領域との、全２５個の検出領域（１次元）を用いる場合と、画面をｘ軸方向に１６分割、ｙ軸方向に９分割して、これらの分割によって形成された１つの区画を１つの検出領域とする、全１４４個の検出領域（２次元）を用いる場合とが考えられる。検出領域が２５個であれば、ハードの規模を削減でき好ましい。また、検出領域を１４４個として処理する場合でも、各検出領域からの情報をｘ軸とｙ軸それぞれの情報に変換すれば検出領域が２５個のときと同様な処理が適応できる。
【００３３】
まず、本発明の第１実施形態として、画面に全２５個の検出領域を設ける場合について説明する。図５は、ビデオカメラ２より出力された画像の画面をｙ軸方向に９個に分割した検出領域について説明するための図である。図５は、ビデオカメラ２で撮影されたユーザ３の手の画像と、ｙ軸方向に分割された破線の四角形で示す９個の検出領域と、タイミングパルスとを示し、更に各検出領域それぞれに対応する第１７の検出器３１７〜第２５の検出器３２５（ｙ軸検出器）を示す。
各検出領域にはｙ軸方向の画面の中心を０として、−４〜＋４までの位置関係を示す座標が付されている。ｙ軸の座標が−４の検出領域には第１７の検出器３１７、−３の検出領域には第１８の検出器３１８、−２の検出領域には第１９の検出器３１９がそれぞれ対応し、ｙ軸の座標が−１〜＋４の各検出領域には、第２０の検出器３２０〜第２５の検出器３２５がそれぞれ対応する。各ｙ軸検出器３１７〜３２５は、ユーザ３が行う手の動作に基づいた検出信号を発生する検出器である。
【００３４】
各ｙ軸検出器３１７〜３２５は、タイミングパルス発生器１２から供給されるタイミングパルスによって動作する。図５には、第１９の検出器３１９をｙ軸の座標が−２の検出領域に対応させて動作させるためのタイミングパルスと、第２５の検出器３２５をｙ軸の座標が４の検出領域に対応させて動作させるためのタイミングパルスとのそれぞれを、ｙ軸（垂直）方向とｘ軸（水平）方向共に示す。
ｘ軸方向に示すタイミングパルスは有効映像期間の水平方向の幅に相当する幅を有するパルスとなり、ｙ軸方向に示すタイミングパルスは有効映像期間の垂直方向の幅を９個に分割した幅に相当するパルスである。その他の各ｙ軸検出器にも、同様のタイミングパルスがそれぞれ入力される。
【００３５】
図６は、ビデオカメラ２より出力された画像の画面をｘ軸方向に１６個に分割した検出領域について説明するための図である。図６は、ビデオカメラ２で撮影されたユーザ３の手の画像と、ｘ軸方向に分割された破線の四角形で示す１６個の検出領域と、タイミングパルスとを示し、更に各検出領域それぞれに対応する第１の検出器３０１〜第１６の検出器３１６（ｘ軸検出器）を示す。
各検出領域にはｘ軸方向の画面のほぼ中心を０として、−８〜＋７までの位置関係を示す座標が付されている。ｘ軸の座標が−８の検出領域には第１の検出器３０１、−７の検出領域には第２の検出器３０２、−６の検出領域には第３の検出器３０３がそれぞれ対応し、ｘ軸の座標が−５〜＋７の各検出領域には、第４の検出器３０４〜第１６の検出器３１６がそれぞれ対応する。各ｘ軸検出器３０１〜３１６は、ユーザ３が行う手の動作に基づいた検出信号を発生する検出器である。
【００３６】
各ｘ軸検出器３０１〜３１６は、タイミングパルス発生器１２から供給されるタイミングパルスによって動作する。図６には、第２の検出器３０２をｘ軸の座標が−７の検出領域に対応させて動作させるためのタイミングパルスと、第１６の検出器３１６をｘ軸の座標が７の検出領域に対応させて動作させるためのタイミングパルスとのそれぞれを、ｘ軸（水平）方向とｙ軸（垂直）方向共に示す。ｙ軸に示すタイミングパルスは有効映像期間の垂直方向の幅に相当する幅を有するパルスとなり、ｘ軸に示すタイミングパルスは有効映像期間の水平方向の幅を１６個に分割した幅に相当するパルスである。その他のｘ軸検出器にも、同様のタイミングパルスがそれぞれ入力される。
【００３７】
第１の検出器３０１〜第２５の検出器３２５は、図７に示すように、それぞれ第１のオブジェクト抽出器５１と、タイミングゲート器５２と、オブジェクト特徴データ検出部５３とを備えている。タイミングゲート器５２は、図５及び図６に示したようなタイミングパルスに従い、ビデオカメラ２からの画像信号の通過を制御する。
画像信号が通過する領域は、図５及び図６に破線の四角形で示す各検出領域内になる。この検出領域内に限定した信号に、後述するさまざまなフィルタ処理を行い、ビデオカメラ２で捉えたユーザ３の手を抽出する。
【００３８】
第１のオブジェクト抽出器５１は、画像の特徴に添ったフィルタを備えており、本実施形態ではユーザ３の手を検出するために、特に肌色に着目したフィルタ処理及び動きを検出する動作検出フィルタ処理を行う。第１のオブジェクト抽出器５１は、具体的には、図８に示すように、特定色フィルタ７１と、階調限定器７２と、動作検出フィルタ７５と、合成器７３と、オブジェクトゲート器７４とを備えている。
特定色フィルタ７１について図９を参照して説明する。図９は、色差平面図で、縦軸をＲ−Ｙ、横軸をＢ−Ｙとしたものである。テレビ信号のすべての色信号はこの座標上のベクトルで表すことができ、極座標で評価することができる。特定色フィルタ７１は、色差信号で入力される色信号の色相と色の濃さ（飽和度）を限定するものである。これを特定するために色相は、第１象限のＢ−Ｙ軸を基準（０度）として左回りの角度で表現するものとする。また飽和度は、ベクトルのスカラ量となり、色差平面の原点が飽和度０（零）で色がない状態となり、原点から離れるにしたがい飽和度が大きくなり色が濃いことを示す。
【００３９】
図９では、特定色フィルタ７１により抽出される範囲は、等色相線Ｌ１に対応する角度θ１より小さくかつ等色相線Ｌ２に対応する角度θ２の範囲に設定され、また色の濃さは等飽和度線Ｌ３より大きくＬ４より小さい範囲に設定されている。第２象限のこの範囲は、本実施形態で抽出する人間の手の色である肌色の領域に相当するが、抽出する色の領域は特にこれに限定するものではない。
特定色フィルタ７１は、ビデオカメラ２から入力される色差信号（Ｒ−Ｙ、Ｂ−Ｙ）から角度と飽和度を算出し、色差信号が等色相線と等飽和度線で囲まれた領域に入っているか否かを検出する。
【００４０】
角度算出は、一例として図１０にフローチャートで示すような角度算出処理によって、入力画素それぞれについて、図９に示す色差平面上でなす角度を算出する。本実施形態では、角度算出処理をハードウェアで実現しているが、ソフトウェア、ハードウェアのいずれで実現してもよい。
初めに図１０に示すステップＳ４０１にて、入力画素それぞれの色差信号Ｒ−Ｙ，Ｂ−Ｙ成分の符号より、入力画素の色相が、色差平面上の第何象限に位置しているかを検出する。
次にステップＳ４０２にて、色差信号Ｒ−Ｙ，Ｂ−Ｙ成分それぞれの絶対値｜Ｒ−Ｙ｜、｜Ｂ−Ｙ｜を比較して、大きいほうをＡ、小さいほうをＢとして算出する。
【００４１】
そして、ステップＳ４０３にて、Ｂ／Ａより角度Ｔ１を検出する。この角度Ｔ１は、ステップＳ４０２での処理より明らかなように、０°〜４５°となる。角度Ｔ１は、折れ線近似やＲＯＭテーブルによって算出することができる。
ステップＳ４０４にて、Ａが｜Ｒ−Ｙ｜であるか、即ち、｜Ｒ−Ｙ｜＞｜Ｂ−Ｙ｜であるか否かを判定する。判定がＮＯ、つまり｜Ｒ−Ｙ｜＞｜Ｂ−Ｙ｜でなければ、そのままステップＳ４０６に進む。判定がＹＥＳ、つまり｜Ｒ−Ｙ｜＞｜Ｂ−Ｙ｜であれば、ステップＳ４０５に進み、角度Ｔ１を、（９０−Ｔ１）なる角度Ｔに置き換える。これによって、ｔａｎ-1（（Ｒ−Ｙ）／（Ｂ−Ｙ））が求められる。
【００４２】
ステップＳ４０３において検出する角度Ｔ１を０°〜４５°としているのは、ｔａｎ-1（（Ｒ−Ｙ）／（Ｂ−Ｙ））のカーブは４５°を超えると急激に勾配が大きくなり、角度の算出に不適であるからである。
さらに、ステップＳ４０６にて、ステップＳ４０１にて検出した象限のデータを用いて第２象限か否かを判定し、第２象限であれば、ステップＳ４０７に進み、Ｔ＝１８０−Ｔ１を算出する。第２象限でなければ、ステップＳ４０８に進み、第３象限か否かを判定し、第３象限であれば、ステップＳ４０９に進み、Ｔ＝１８０＋Ｔ１を算出する。
第３象限でなければ、ステップＳ４１０に進み、第４象限か否かを判定し、第４象限であれば、ステップＳ４１１に進み、Ｔ＝３６０−Ｔ１を算出する。第４象限でもない、すなわち第１象限であるときは、ステップＳ４１２にて角度ＴをＴ１とする。そして、最終的に、ステップＳ４１３にて、入力画素それぞれの図９の色差平面上でなす角度Ｔを出力する。
【００４３】
以上の処理により、入力された色差信号Ｒ−Ｙ，Ｂ−Ｙの色差平面上での角度を０°〜３６０°の範囲で求めることができる。ステップＳ４０４〜Ｓ４１１は、ステップＳ４０３にて検出した角度Ｔ１を角度Ｔに補正する処理である。また、ステップＳ４０４〜Ｓ４１１は、角度Ｔ１を、第１象限〜第４象限に応じて補正している。
【００４４】
次に色の濃さである飽和度の算出は、下記の式により行われる。
Ｖｃ＝ｓｑｒｔ（Ｃｒ×Ｃｒ＋Ｃｂ×Ｃｂ）
Ｖｃはベクトルのスカラ量であり、ここでは飽和度を表す。Ｃｒは、図９に示すように色信号の（Ｒ−Ｙ）軸成分であり、Ｃｂは（Ｂ−Ｙ）軸成分である。またｓｑｒｔ（ ）は平方根の演算を行う演算子である。
【００４５】
ここでの処理はソフトウェアまたはハードウェアを特定するものではないが、乗算と平方根はハードウェアでは実現が容易でなく、またソフトウェアでも演算のステップが多く、好ましくないので以下のように近似することもできる。
Ｖｃ＝ｍａｘ（｜Ｃｒ｜，｜Ｃｂ｜）＋０．４×ｍｉｎ（｜Ｃｒ｜，｜Ｃｂ｜）
ただし、ｍａｘ（｜Ｃｒ｜，｜Ｃｂ｜）は、｜Ｃｒ｜と｜Ｃｂ｜のうち、大きいほうを選択する演算処理であり、ｍｉｎ（｜Ｃｒ｜，｜Ｃｂ｜）は、｜Ｃｒ｜と｜Ｃｂ｜のうち、小さいほうを選択する演算処理である。
【００４６】
以上より求めた角度（色相）Ｔと飽和度Ｖｃが、等色相線の角度θ１からθ２の範囲、色の濃さは等飽和度線Ｌ４より小さくかつＬ３より大きい範囲に入っているか否かを評価する。この範囲に入っている信号を通過させるのが、図８に示す特定色フィルタ７１の役割である。
【００４７】
図８の階調限定器７２は、図１１に示すように、輝度信号の特定の階調の範囲を限定する。８ビットデジタル信号の場合、０〜２５５までの２５６階調において階調の最大レベルＬｍａｘ及び最小レベルＬｍｉｎを任意に設定し、ＬｍａｘからＬｍｉｎの間に含まれる階調レベルの輝度信号を出力する。
【００４８】
図８の動作検出フィルタ７５について、図１２及び図１３を使って説明する。動作検出フィルタ７５は、図１２に示すように、１フレーム遅延器７５−１と、減算器７５−２と、絶対値器７５−３と、非線形処理器７５−４と、量子化器７５−５とを備えており、入力される輝度信号から画像の動きを検出する。
１フレーム遅延器７５−１でビデオカメラ２からの画像信号は１フレーム遅延され、減算器７５−２に入力される。減算器７５−２は、ビデオカメラ２からの画像信号と１フレーム遅延器７５−１からの画像信号との差分を算出し、絶対値器７５−３に出力する。減算の符号の向きは、特に規定するものではない。差分信号は信号のレベルによって正負の両方の値が出力されるため、絶対値器７５−３は、減算器７５−２から入力される差分値を絶対値化して、非線形処理器７５−４に出力する。
【００４９】
非線形処理器７５−４は、入力された絶対値化された差分信号に対して、図１３に示す入出力特性に基づいて非線形処理を施す。図１３（Ａ）において、横軸は絶対値器７５−３から入力された絶対値化された差分信号を、縦軸は非線形処理器７５−４から出力される信号を示す。ａ値及びｂ値は、それぞれ範囲Ｒ１及びＲ２の範囲内で可変できる。
非線形処理器７５−４の出力信号は量子化器７５−５に入力され、図１３（Ｂ）に示す所定の閾値に基づいて２値化される。
【００５０】
図８の合成器７３は、特定色フィルタ７１と階調限定器７２と動作検出フィルタ７５とから入力される信号を合成し、領域パルスに変換する。本実施形態では、特定色フィルタ７１を通過した信号と階調限定器７２を通過した信号と動作検出フィルタ７５を通過した信号とが全て存在する場合に、ハイレベルとなる領域パルスを出力する。
【００５１】
合成器７３で生成された領域パルスは、オブジェクトゲート器７４に供給される。オブジェクトゲート器７４は、領域パルスがハイレベルであるとき、輝度信号と色差信号を通過させる。領域パルスがローレベル（領域パルス外の範囲）であるときは、入力信号（輝度信号及び色差信号）を通過させず、規定した値の信号を出力する。本実施形態では、黒レベルの輝度信号及び飽和度０の色差信号を出力する。
【００５２】
特定色フィルタ７１は、色差信号で入力される色信号の色相（角度）と飽和度を限定し、階調限定器７２は輝度信号の特定の階調の範囲を限定し、動作検出フィルタ７５は輝度信号を画像の動きに応じて限定する。
特定色フィルタ７１で色相と飽和度を限定することで、人の肌色に絞ることはできるが、人の肌は日焼け具合で変化し、また人種によっても異なるため、肌色といってもさまざまである。従って、制御情報判断器２０より入力される制御信号によって、特定色フィルタ７１で色相、飽和度を調整し、階調限定器７２で輝度信号の階調限定の範囲を調整すれば、槻ね人の手を検出することができる。更に、動作検出フィルタ７５によって、画像の動きに基づいて人の手を抽出し、識別することができる。
【００５３】
図１４（Ａ）は、第１のオブジェクト抽出器５１の出力信号が、表示装置２３に表示されている図である。ビデオカメラ２で撮影された画像において、手の画像は第１のオブジェクト抽出器５１によって抽出された信号に基づいて表示され、手の画像以外のところは輝度信号を黒レベルとしたため、何も表示されていない。この抽出された信号から、画像の持つ特徴と画面上の位置及び動作の内容を分析し、ユーザ３が意図的な動作をしたことを認識する。
図１４（Ｂ）には、各検出領域に対応して設けられた各検出器を動作させるためのタイミングパルスに基づいて、図７のタイミングゲート器５２でゲートされた映像信号による映像を示す。ここには代表例として、ｙ軸座標が０（零）の検出領域に対応する第２１の検出器３２１と、ｙ軸座標が−１の検出領域に対応する第２０の検出器３２０それぞれの、タイミングゲート器５２からの出力信号を示す。
【００５４】
図１４（Ａ）に示す画像の信号から、さらにその特徴を検出するフィルタ処理を、オブジェクト特徴データ検出部５３が行う。オブジェクト特徴データ検出部５３は、図１５に示すように、画像からさまざまな特徴を検出する機能ブロック、すなわちヒストグラム検出器６１、平均輝度（ＡＰＬ）検出器６２、高域発生量検出器６３、最小値検出器６４及び最大値検出器６５を備える。この他にも画像を特徴づける要件はあるが、本実施形態ではこれらの検出器６１〜６５より発生される検出信号に基づいて、第１の動作検出器２０−１〜第５の動作検出器２０−５によって検出領域において検出された手の領域を示す検出信号を生成し、映像信号が手を映したものであることを判別すると共に、その手の動作を認識する。
【００５５】
ヒストグラム検出器６１、平均輝度（ＡＰＬ）検出器６２、高域発生量検出器６３、最小値検出器６４及び最大値検出器６５は、本実施形態ではハードウェアにて構成され、空間内の検出領域内の各特徴を表すデータ（検出信号）を画面単位（フィールド及びフレーム単位：垂直周期単位）で生成して、ＣＰＵバスを介して制御情報判断器２０へと送出する。
制御情報判断器２０は、各検出器６１〜６５から送られたデータをソフトウェア上で変数として格納し、データ処理を行う。
【００５６】
ヒストグラム検出器６１は、タイミングゲート器５２から出力された輝度信号の階調を例えば８ステップに区切って各ステップに存在する画素の数をカウントし、１画面（１フィールドまたは１フレーム画面）ごとにヒストグラムを示すデータを第１の動作検出器２０−１へ出力する。平均輝度検出器６２は、同様に１画面内の輝度レベルを加算し、全画素数で割った１画面の平均輝度値を第２の動作検出器２０−２へ出力する。
高域発生量検出器６３は、空間フィルタ（２次元フィルタ）にて高域成分を抽出し、１画面内における高域成分の発生量を第３の動作検出器２０−３に出力する。最小値検出器６４は、１画面の輝度信号の最小階調値を、また最大値検出器６５は１画面内の輝度信号の最大階調値をそれぞれ、第４の動作検出器２０−４，第５の動作検出器２０−５へ出力する。
【００５７】
第１の動作検出器２０−１〜第５の動作検出器２０−５は、受け取ったデータを変数として格納し、ソフトウェアにてデータを処理する。後述する手の動作を検出する処理は、本実施形態ではソフトウェアによる処理となる。制御情報判断器２０は、更に第１の動作検出器２０−１〜第５の動作検出器２０−５からの検出信号を基に、制御信号を発生する制御情報発生器２０−１０を備える。
【００５８】
図１６には、オブジェクト特徴データ検出部５３のうち、ヒストグラム検出器６１と平均輝度検出器６２から出力されるデータをモデル化したものを示す。図１６は横軸を０〜７までの８ステップに区切った階調（明るさ）とし、縦紬を頻度としたヒストグラムである。平均輝度（ＡＰＬ）は、大きさが感覚的に分かるように矢印で示した。
図１６（Ａ）は、図１４（Ｂ）の第２０の検出器３２０を構成するヒストグラム検出器６１と平均輝度検出器６２の出力を示す。図１４（Ｂ）に示すとおり、第２０の検出器３２０では検出領域に手がかざされていないため、第１のオブジェクト抽出器５１で手が検出されず、第１のオブジェクト抽出器５１から出力された信号は黒レベルでマスキングされている。従って、図１６（Ａ）に示すヒストグラムは最低階調（０）の部分のみのデータとなっている。また基本的に信号が黒なのでＡＰＬは０（零）であるが、信号レベルの低さを明示するために短い矢印とした。
【００５９】
図１６（Ｂ）は、図１４（Ｂ）の第２１の検出器３２１を構成するヒストグラム検出器６１と平均輝度検出器６２の出力を示す。図１４（Ａ）に示すとおり、第２１の検出器３２１では検出領域にかざされた手を第１のオブジェクト抽出器５１で検出しているので、図１６（Ｂ）に示すヒストグラム検出器６１の出力はマスキングされている黒レベルの階調０以外に、手の明るさの階調に頻度が分布する。またＡＰＬについても、手の信号成分により平均輝度が上昇するため長い矢印で示した。
本実施形態では、ヒストグラム検出器６１から出力されるデータの、最低階調（０）以外の総和を求めて、検出領域にかざされている手の領域を示すデータとする。すなわち、検出領域に対応して設けられた検出器のオブジェクト抽出器５１が動作している手を抽出した出力信号を基にヒストグラム検出器６１が第１の検出データを発生させ、第１の動作検出器２０−１が第１の検出データに基づいて、検出領域から抽出された手の領域を示す第２の検出データを生成する。
またヒストグラム検出器６１によって、黒とそれ以外の成分とを分けた２段階の階調から頻度を算出することでも、所定の動作を行うことで検出領域にかざされた手を抽出できる。従って、０階調とそれ以外の２階調に簡略化したヒストグラム検出器６１からの第１の検出データに基づいて手の領域を示す第２の検出データを求めてもよい。
更に本実施形態では、ヒストグラム検出器６１から出力された第１の検出データに基づいて第１の動作検出器２０−１において第２の検出データを生成したが、これに限らず、各検出器３０１〜３２５が備えるオブジェクト特徴データ検出部５３から出力された第１の検出データに基づいて、制御情報判断器２０において第２の検出データを生成すればよい。
【００６０】
図１７は、ビデオカメラ２で撮影される領域内でユーザ３が手を縦（上下）に動かした場合のビデオカメラ２で撮影された手の画像の一例である。手が動く方向を示す矢印及び、画面内に配置された検出領域のｘｙ座標を共に示す。図１７（Ａ）、（Ｂ）、（Ｃ）、（Ｄ）に、動いている手の４つの位置を抜き出して示す。図１７（Ａ）は最も手が上に存在する場合、図１７（Ｂ）は手を少し振り下ろした場合、図１７（Ｃ）はさらに手を振り下ろした場合、図１７（Ｄ）は最も手が下に存在する場合である。
本実施形態では手を４回上下に動かした。すなわち手を、図１７の、（Ａ）（Ｂ）（Ｃ）（Ｄ）（Ｄ）（Ｃ）（Ｂ）（Ａ）を１サイクルとし、４サイクル動かした。このような上下運動の場合、ｘ軸については手はほとんど動かず、同一の座標上にある。一方、ｙ軸については手の座標は上下に変動する。従って、検出されるデータは上下のピークを繰り返した４サイクルになり、各座標の検出領域に対応して設けられた各検出器からの出力データの変動値になって現れる。
【００６１】
図１８は、図１７に示す手の上下運動の検出結果のうち、各検出器３０１〜３２５の各ヒストグラム検出器６１が出力するデータ値と、それを処理した内容を表にして示す。この表の一番左の列は項目名であり、項目名列の右側には時間の経過と共に変化する各項目のデータ値が示されている。
項目のＣｙｃｌｅは上記した手の上下運動の周期（サイクル）を示し、この表では全４サイクルのうち初めの２サイクルまでを書き出して示している。項目のｎは画像のフレーム番号を示し、一般的なビデオ信号の場合は６０Ｈｚ周期となり、インターレースの場合は２フィールドで１フレームとなり１垂直周期を６０Ｈｚ周期とする。
項目のｐｈは上下運動をしている手が、どのポジションにあるかを示しており、Ａ、Ｂ、Ｃ、Ｄはそれぞれ図１７の（Ａ）、（Ｂ）、（Ｃ）、（Ｄ）に対応している。項目のｘ（ｉ）（ｉ＝−８〜＋７）は、第１の検出器３０１〜第１６の検出器３１６のヒストグラム検出器６１から前述したように得られた、対応する検出領域における第１の検出データに基づく、手の領域を示す第２の検出データをそれぞれ示している。同様に項目のｙ（ｊ）（ｊ＝−４〜＋４）は、第１７の検出器３１７〜第２５の検出器３２５のヒストグラム検出器６１から得られた、各検出器３０１〜３２５に対応する検出領域において抽出された手による第１の検出データに基づく手の領域を示す第２の検出データを示している。なお、項目ＸＶＳ、ＸＶＳＧ、ＸＧ、ＹＶＳ、ＹＶＳＧ、ＹＧについては各検出器３０１〜３２５から得られたデータを処理した内容であり、後で詳細に記述する。
【００６２】
図１７（Ａ）〜（Ｄ）に示した一例では、手は上下方向に動かされており、ｘ軸に関しては動いている手の位置に変化は無いため、項目ｘ（ｉ）のデータは変動しない。図１７（Ａ）〜（Ｄ）に示すとおり、手はｘ座標５を中心にｘ座標４〜６上にあり、図１８の表の項目ｘ（４）、ｘ（５）、及びｘ（６）に手を検出した値が示されている。その他の項目ｘ（ｉ）は、第１のオブジェクト抽出器５１でマスキングされているので値は０（零）となっている（フレーム番号１１の項目ｘ（１）、ｙ（−２）、ｙ（−３）を除く）。
これはあくまでも理想的な場合で、もしユーザ３の手以外で肌色を示すものが動いていると、手がかざされている検出領域の座標以外の座標においても検出された値が生じ、手の動きの検出にとってはノイズとなる。このようなノイズをいかに抑圧して、手の動作を操作情報として認識するかがポイントとなる。
ｙ軸に関しては、上下に手を動かしているので項目ｙ（ｊ）のデータが変動する。図１７（Ａ）では、手はｙ座標２及び３上にあるため、図１８の項目ｙ（２）及びｙ（３）のフレーム番号０の欄に検出された値が示されている。同様に図１７（Ｂ）、（Ｃ）、及び（Ｄ）についても、それぞれの手がかざされているｙ座標に対応する項目ｙ（ｊ）に、検出されたそれぞれの値が示されている。
【００６３】
図１８に示す項目ｘ（ｉ）、ｙ（ｊ）のデータ（第２の検出データ）の値は、ヒストグラム検出器６１が検出した信号に基づいたものである。本実施形態では画面をｘ軸方向は１６、ｙ軸方向は９に分割して設けた、２５個の検出領域が交差する区画の１つを１００（領域）という値とし、第１の検出データのスケール調整をした。第２の検出データは、検出領域にかざされた手を抽出した出力信号より生成した第１の検出データに基づいた、検出領域にかざされた手の領域の大きさを示すデータである。
本実施形態では、時間経過に伴う各項目に示されている値の変動、つまり第１の検出器３０１〜第２５の検出器３２５それぞれの出力に基づく第２の検出データの変動よりも、複数の検出器によって出力された第１の検出データに基づく第２の検出データの総和を基に求める、重心の移動を示すデータの変動が重要となる。従って、かざされた手により複数の検出領域それぞれから抽出される出力信号を基にして、手がかざされている複数の検出領域全体の重心（以下単に「手の重心」という）を求め、それを評価した。
【００６４】
フレーム番号をｎとするｘ座標上の手の重心ＸＧは、下記の（１）式で求めることができる。ＸＶＳは、各ｘ軸検出器（第１の検出器３０１〜第１６の検出器３１６）の第２の検出データの総和であり、動作をしている手によって複数の検出領域において第１のオブジェクト抽出器５１によって抽出される出力信号に基づいた値である。ＸＶＳＧは、各ｘ軸検出器の第２の検出データに、対応する検出領域のｘ座標を掛けて重み付けをした検出データの総和である。
【数１】
【００６５】
本実施形態では、図１８の項目ＸＧはほとんどのフレームで５になっており（フレーム番号１１は除く）、従って手の重心のｘ座標は５であり、ｘ座標５を中心にデータが広がっている。
【００６６】
フレーム番号をｎとするｙ座標上の手の重心ＹＧは、下記の（２）式で求められる。ＹＶＳは、各ｙ軸検出器（第１７の検出器３１７〜第２５の検出器３２５）の第２の検出データの総和であり、ＹＶＳＧは、各ｙ軸検出器の第２の検出データに、対応する検出領域のｙ座標を掛けて重み付けをした検出データの総和である。
【数２】
【００６７】
本実施形態では、図１８の項目ＹＧはフレーム番号０において２．５である。これは手の重心のｙ座標が、２．５であることを示している。その他のフレームについても、項目ＹＧの値がそのフレームにおける手の重心のｙ座標を示している。本実施形態では項目ＹＧの値は０〜２．５の範囲の値になっており（フレーム番号１１は除く）、項目ＹＧの値の変動が座標上の手の上下運動を示している。
【００６８】
本実施形態では重心ＹＧの変動を分析して、手の動作を操作情報として認識する。図１９は、手の重心の座標の変動を時間の経過にそって表したタイムチャートである。図１９（Ａ）が手の重心のｙ座標の変動、つまり図１８の項目ＹＧの値の変動を表しており、０〜２．５の間で４サイクルに渡って波打っていることが示されている。図１９（Ｂ）が手の重心のｘ座標の変動、つまり図１８の項目ＸＧの値の変動を表している。図１７に示すようにｘ座標５を重心として手は縦に振られており、横方向に変動はないため、原理的には図１９（Ｂ）に示すとおり一定レベルの直線になる。
【００６９】
このｘ及びｙの両軸の波形を分析するわけであるが、これに先だって誤認識に対する保護について説明する。図１８に示す表の第１サイクルは、縦に手を振る場合の理想的なデータとなっている。手が抽出されているｘ座標４、５、及び６以外のｘ座標の項目ｘ（ｉ）は、データが０（零）である。ｙ座標についても同様に、手が抽出される検出領域以外はデータが０（零）である。しかし、実際は第１のオブジェクト抽出器５１でさまざまなフィルタ処理をしてもそれを潜り抜けてきて、手の動作以外の意図しないデータ（ノイズ）が発生する場合が考えられる。
第２サイクルのフレーム番号１１では、手に関するデータ以外に、ｘ（１）に対応する検出器に領域１００、ｙ（−２）に対応する検出器に領域５０、及びｙ（−３）に対応する検出器に領域５０に相当する手（オブジェクト）の領域が各検出領域において検出されたことを示す第２の検出データがある。これらのデータは検出された手の重心座標を狂わせることになる。図１７（Ａ）〜（Ｄ）に示すように手の重心のｘ座標は５で一定であるにもかかわらず、フレーム番号１１の項目ＸＧの値は３．３６１を示している。またフレーム番号１１の手の重心のｙ座標は、フレーム番号３と同様に項目ＹＧの値が０（零）であるはずが、−１．０２になっており、ｘ軸ｙ軸共にノイズに影響をうけた値となっている。
ノイズは単発であれば、デジタル信号処理でよく活用される孤立点除去フィルタ（メディアンフィルタ）で抑圧することが可能であるが、そのフィルタを潜り抜けるような成分であったり、ノイズの数や量が大きい場合には認識率を低下させる要因になる。
【００７０】
本実施形態ではこのノイズを効果的に抑圧するために、不必要な検出器のタイミングゲート器５２を閉じる処理を行う。図１８に示す表において、ｘ軸検出器３０１〜３１６、ｙ軸検出器３１７〜３２５それぞれの検出器からの出力に基づく第２の検出データを所定の期間累積加算した加算値が、最初に一定値（ｘ軸検出器であれば閾値ｔｈ１ｘ、ｙ軸検出器であれば閾値ｔｈ１ｙ）を超える検出器、すなわち最大値を示す検出器を制御情報判断器２０が確認する。
図１８の表に示すように、ｙ軸検出器３１７〜３２５から出力された第１の検出データに基づく第２の検出データ（出力信号）は変動し、閾値ｔｈ１ｙを超える検出器はない。一方でｘ軸検出器３０１〜３１６から出力された第１の検出データに基づく第２の検出データは、ｘ座標５に対応する第１４の検出器３１４からの出力に基づく第２の検出データｘ（５）が最大値を示し、ある時点で累積加算の結果の値が閾値ｔｈ１ｘを超え、該当する検出器であると判断される。これにより手の動作が上下に振る動作であることが判明する。なお、これ以降簡便のため、所定の検出器から出力された第１の検出データに基づく第２の検出データを単に、所定の検出器の第２の検出データ、と示す。
【００７１】
図１９（Ｃ）は、ｘ座標５に対応する第１４の検出器３１４の第２の検出データｘ（５）を累積加算した経過を表している。累積加算した加算値が閾値ｔｈ１ｘを超えた時点（フレーム９）で活性化フラグＦｌｇ＿ｘが０（零）から、所定の期間１となる。加算値が閾値ｔｈ１ｘを超えると、制御情報判断器２０がフラグ生成器として活性化フラグＦｌｇ＿ｘを生成する。活性化フラグＦｌｇ＿ｘが１となっている期間、後述するように不必要な区画や検出領域における手（オブジェクト）は検出しない。なお、ここでは累積加算値は閾値ｔｈ１ｘをフレーム９で超えたが、所定の期間で閾値ｔｈ１ｘを超えればよい。
活性化フラグＦｌｇ＿ｘが立ち上がる所定の期間のことを活性化期間とし、その長さは手の動作を認識することに要する、４サイクル程度の期間を設定する。図１９（Ｄ）については後述する。
【００７２】
図２１は、画面上のどの位置にある検出領域を有効とするかについて説明するための図である。本実施形態では、検出領域（区画）が、かざされた手の動作を検出するために用いられることを、有効とする。図２１には、ビデオカメラ２がとらえたｘ座標５上を縦に動く手の画像と、黒枠で示すノイズ成分、及び第２１の検出器３２１を制御するために供給されるタイミングパルスが描かれている。
ｘ軸方向に一点鎖線で描かれている第１のｘ軸タイミングパルスは、有効映像期間の水平方向の幅に相当する幅を有するパルスであり、ユーザ３が手を振り始めた時点では、全てのｙ軸検出器（第１７の検出器３１７〜第２５の検出器３２５）に供給されている。
振っている手が抽出された検出領域に対応する検出器の、出力信号を所定の期間累積加算した加算値に基づいて活性化フラグＦｌｇ＿ｘが生成される（１となる）と、実線で描かれている第２のｘ軸タイミングパルスが生成される。第２のｘ軸タイミングパルスは、有効映像期間の水平方向の所定の幅に相当する幅を有するパルスであり、全てのｙ軸検出器３１７〜３２５に供給される。各ｙ軸検出器３１７〜３２５は、第２のｘ軸タイミングパルスに基づいて、検出領域にかざされている手を検出するために必要最小限の検出領域の検出信号のみを出力する。
【００７３】
第２のｘ軸タイミングパルスの生成方法を、図２２を用いて説明する。各ｙ軸検出器３１７〜３２５に最初に供給されるｘ軸タイミングパルスは、第１のｘ軸タイミングパルスである。第１のｘ軸タイミングパルスは、各ｙ軸検出器３１７〜３２５に対応する各検出領域のｘ軸方向の幅全てを有効にするものである。
図２１に示す手の動きによってｘ座標５の検出領域において手が抽出されると、先に述べたように本実施形態では、ｘ軸の座標５に対応する第１４の検出器３１４の第２の検出データが、他の検出器の第２の検出データと比較すると連続して最大値を取る（図１８参照）。第１４の検出器３１４の第２の検出データを累積加算した値が閾値ｔｈ１ｘを超えると、活性化フラグＦｌｇ＿ｘが生成される（１となる）。制御情報判断器２０は活性化フラグＦｌｇ＿ｘが生成されたことを確認し、ｘ座標５の検出領域のｘ軸制御データを１とする。
【００７４】
本実施形態では、テレビジョン受像機１（ビデオカメラ２）とユーザ３との距離によって画面上の手の大きさが少し変わるのを考慮して、活性化フラグＦｌｇ＿ｘが生成された検出器に対応する検出領域と、この検出領域に隣接する検出領域とを少なくとも含む近傍の検出領域のｘ軸制御データを１とする。例えば、ｘ座標４と６の検出領域のｘ軸制御データを１とする。また、これ以外の検出領域のｘ軸制御データを０とする。
制御情報判断器２０は、上述したようなｘ軸制御データをタイミングパルス発生器１２に供給し、タイミングパルス発生器１２内のｘ軸タイミングパルス活性化制御器１２ｘは、入力されたｘ軸制御データに基づいて、第２のｘ軸タイミングパルスを生成し、全てのｙ軸検出器３１７〜３２５に供給する。従って、図２１に示す状態であれば、ｘ座標が４から６の検出領域の幅に相当する幅を有する、第２のｘ軸タイミングパルスが生成される。すなわちタイミングパルス器１２は、第１のｘ軸タイミングパルスの幅を狭めた第２のｘ軸タイミングパルスを生成する。第２のｘ軸タイミングパルスが供給された各ｙ軸検出器３１７〜３２５は、対応する各検出領域のｘ座標が４から６の区画からのみ検出信号を出力する。この結果、図２１に示した座標（ｘ，ｙ）＝（１，−２）、（１，−３）で発生したノイズ成分は検出されない。
第２のｘ軸タイミングパルスが生成されると、制御情報判断器２０は各ｙ軸検出器３１７〜３２５からの出力に基づいて、これ以降の制御を行う。各ｘ軸検出器３０１〜３１６から検出された検出信号については、参照しない。なお、各ｘ軸検出器３０１〜３１６のタイミングゲート器５２にタイミングパルスを供給せず、検出信号の出力を止めてもよい。
【００７５】
図２３は、ｙ軸検出器の第１７の検出器３１７〜第２５の検出器３２５に供給される第２のｘ軸タイミングパルス及び、各ｙ軸検出器３１７〜３２５が対応する検出領域のためのタイミングパルス（ｙ軸方向）を示す。各ｙ軸検出器３１７〜３２５は、対応する検出領域と、第２のｘ軸タイミングパルスに基づくｘ座標４〜６に対応する検出領域とが重なる、３つの区画から検出した信号のみを出力すればよい。こうすることで、検出領域の内、手が抽出されず、検出に不必要な区画について検出しないことが可能である。
なお、本実施形態では、図２２及び図２３に示すように検出領域単位でパルス幅を制御する方法を採用しているが、パルスのスタートポイントとパルス幅を指定する方法など、パルス幅を柔軟に制御する回路手法を用いてもよい。
【００７６】
図２４に示す表は、図１８に示す表とほぼ同じ内容であるが、図１９（Ｃ）に示した第１４の検出器３１４の活性化フラグＦｌｇ＿ｘが１になった後生成される第２のｘ軸タイミングパルスによって、検出が不要となった区画や検出領域からの検出を制限して得られた、各検出器３０１〜３２５からの出力信号に基づく第２の検出データを示す。図１９（Ｃ）において閾値ｔｈ１ｘを超えた、フレーム番号１０以降の第２の検出データがこれに該当し、図１８の表でノイズ成分として存在していたフレーム番号１１のｘ（１）、ｙ（−３）及びｙ（−２）が０となっている。座標（ｘ，ｙ）＝（１，−２）、（１，−３）の区画は、対応して設けられている第１８の検出器３１８と第１９の検出器３１９の各タイミングゲート器５２に第２のｘ軸タイミングパルスが供給されることで、検出されないためである。
ノイズ成分の除去により重心ＸＧとＹＧの値の乱れは無くなり、各ｙ軸検出器３１７〜３２５の後段の第１の動作検出器２０−１〜第５の動作検出器２０−５による認識率が向上する。また本実施形態では、フレーム９まではノイズ成分の影響を受けるが、この時点までは活性化フラグＦｌｇ＿ｘを立てることが目的となっており、累積加算した加算値の最大値が変動しない程度のノイズ成分は検出に影響しない。
【００７７】
制御情報判断器２０内の第１の動作検出器２０−１〜第５の動作検出器２０−５は、図２４に示すデータを受け取り、処理する。図１９に戻り、手がどのような動作をしているか検出するための処理を説明する。
図１９（Ａ）は重心のｙ座標ＹＧの変動を示し、図１９（Ｂ）は重心のｘ座標ＸＧの変動を示しており、それぞれノイズの無い波形を示している。図１９（Ｃ）に示すｘ軸検出器（第１４の検出器３１４）の出力信号を累積加算した値が、閾値ｔｈ１ｘ以上になった時点で活性化フラグＦｌｇ＿ｘが１となる。活性化フラグＦｌｇ＿ｘが生成された検出器に対応する検出領域と隣接する検出領域を少なくとも含む近傍のｘ軸方向の検出領域と、各ｙ軸方向の検出領域とが交差して形成される複数の区画以外の各ｙ軸方向の区画は、各ｙ軸検出器３１７〜３２５に供給される第２のｘ軸タイミングパルスによって無効とされる。すなわち、手の検出に用いられない。従って、ノイズの影響を受けない。
図１９（Ｃ）の波形が継続的に閾値ｔｈ１ｘ以上であれば、第２のｘ軸タイミングパルスが各ｙ軸検出器３１７〜３２５に供給され続けるため、不必要な区画が無効である期間も続き、ノイズによる影響を受けないという効果が持続する。図１９（Ｃ）の波形が閾値ｔｈ１ｘ以下になると累積加算値はリセットされる。ただし、リセットの基準となる値は閾値ｔｈ１ｘに限るものではない。
【００７８】
さて次に、図１９（Ａ）の波形のＤＣオフセットを抑圧する処理を行い、波形の平均値がほぼ０（零）となるようにする。この処理には図２０に示す高域通過フィルタを使う。
図２０の遅延器８１は、本実施形態では４フレーム（時間Ｔｍ）の遅延を行う。減算器８２は、遅延した信号と遅延されていない信号との差分を求める。ここで符号は重要でなく最終的な結果には影響しない。最後に１／２乗算器８３でスケールの調整を行う。図１９（Ａ）の波形は、図２０の高域通過フィルタを通すことで結果として図１９（Ｄ）に示すように、波形の平均値がほぼ０（零）となる。これにより、手が振られているｙ軸上の位置情報が排除され、手の動作内容の分析に適した波形が得られる。なお、図１９（Ｄ）の縦軸に示す重心ＹＧＨは、図１９（Ａ）の縦軸に示す重心ＹＧを高域通過フィルタ処理した値である。
【００７９】
次に図１５に戻り、第１の動作検出器２０−１〜第５の動作検出器２０−５について説明する。第１の動作検出器２０−１〜第５の動作検出器２０−５は、図示していない相互相関デジタルフィルタを備える。本実施形態では、手の動作による操作情報の認識には最高４回手を上下あるいは左右に振ればよいとしている。すなわち事前にどのような動作を認識するかが決まっているため、相互相関デジタルフィルタは、予め決めてある所定の動作（縦振り動作）の代表的な検出信号波形と、各検出器３０１〜３２５から出力される実際の動作による検出信号に基づいて第１の動作検出器２０−１〜第５の動作検出器２０−５において生成される検出信号波形との相互相関をとり、その一致度を評価することで、手の動作による操作情報の認識を行う。
本実施形態では図２５（Ｇ）に示す波形を縦振り動作の基準信号波形（所定の動作の代表的な検出信号波形）とし、図２５（Ｆ）に示す相互相関デジタルフィルタのｋ０〜ｋ４０のタップ係数値には、この基準信号波形に対応する値を使用する。また図２５（Ｄ）には、相互相関デジタルフィルタｋｎに入力される実際の動作による検出信号波形が示されているが、これは図１９（Ｄ）の信号波形と同じものである。相互相関デジタルフィルタは、タップ係数と実際の動作を検出した信号に基づく第２の検出信号とを乗算し、第１の動作検出器２０−１〜第５の動作検出器２０−５は相互相関デジタルフィルタより出力される信号波形に基づいて、ユーザ３が行った動作が縦振り動作であるかを検出する。相互相関デジタルフィルタｋｎの出力信号ｗｖ（ｎ）は下記の（３）式によって求められる。
【数３】
【００８０】
Ｎはデジタルフィルタのタップ数で、ここでは４１タップ（０〜４０）である。ｙ（ｎ＋ｉ）は図２５（Ｄ）の縦軸に示すフィルタ処理された重心ＹＧＨである。相互相関デジタルフィルタｋｎは、活性化フラグＦｌｇ＿ｘが１になっているときのみ動作させることでその機能を果たす。
【００８１】
相互相関デジタルフィルタ出力信号ｗｖ（ｎ）は、図２６（Ｅ）に示す波形になり、相互相関の一致度が増すとともに振幅が大きくなる。なお、図２６（Ｄ）は図１９（Ｄ）及び図２５（Ｄ）と同じもので、図２６（Ｅ）の比較対照として示している。出力信号ｗｖ（ｎ）の絶対値を取って累積積分し、その値が閾値ｔｈ２ｖ以上に達したところで基準信号波形との相互相関が充分あると判断され、所定の動作（ここでは、縦振り動作）がなされたことが認識される。第１の動作検出器２０−１〜第５の動作検出器２０−５は、検出部１９より出力される検出信号に基づいて、ユーザ３による動作が所定の動作であるか否かを検出する動作検出器である。
この動作の認識とともに、縦振り動作であることを示し且つ保護窓の役割を担う活性化フラグＦｌｇ＿ｘが「１」であることが確認され、手の縦振り操作が確定となり、テレビジョン受像機１の状態に応じたイベント（制御）が行われる。このイベントは、図１５に示す複数の動作検出器２０−１〜２０−５のいずれかが確定となったことを、制御情報発生器２０−１０が論理判定して出力する信号に従って行われる。
【００８２】
次に、手を横に振る（バイバイ）動作について説明する。本実施形態では、縦と横の動作は自動的に区別され、同時に機能する。図２７は、ビデオカメラ２で撮影される領域内でユーザ３が手を横（左右）に動かした場合のビデオカメラ２で撮影された手の画像の一例である。手が動く方向を示す矢印及び、画面内に配置された検出領域のｘｙ座標を共に示す。図２７（Ａ）、（Ｂ）、（Ｃ）、（Ｄ）に動いている手の４つの位置を抜き出して示す。図２７（Ａ）は手が最も左に位置する場合、図２７（Ｂ）は手を少し右へ移動した場合、図２７（Ｃ）はさらに手を右に移動した場合、図２７（Ｄ）は最も手が右に位置する場合である。
本実施形態では手を４回左右に動かした。すなわち手を、図２７の、（Ａ）（Ｂ）（Ｃ）（Ｄ）（Ｄ）（Ｃ）（Ｂ）（Ａ）を１サイクルとし、４サイクル動かした。このような左右運動の場合、ｙ軸については手はほとんど動かず、同一の座標上にある。一方、ｘ軸については手の座標は左右に変動する。従って、検出されるデータは左右のピークを繰り返した４サイクルになり、各座標の検出領域に対応して設けられた各検出器からの出力データの変動値になって現れる。
【００８３】
図２８は、図２７に示す手の左右運動の検出結果のうち、各検出器３０１〜３２５の各ヒストグラム検出器６１が出力するデータ値と、それを処理した内容を表にして示す。この表は図１８の表と同一形式で作成してあり、データ値は手の左右運動に対応している。
【００８４】
図２７（Ａ）〜（Ｄ）に示した一例では、手は左右方向に動かされており、ｙ軸に関しては動いている手の位置に変化は無いため、項目ｙ（ｊ）（ｊ＝−４〜＋４）のデータは変動しない。図２７（Ａ）〜（Ｄ）に示すとおり、手はｙ座標２を中心にｙ座標１〜３上にあり、図２８の項目ｙ（１）、ｙ（２）、及びｙ（３）に手を検出した値が示されている。その他の項目ｙ（ｊ）は、第１のオブジェクト抽出器５１でマスキングされているので値は０（零）となっている（フレーム番号１１の項目ｘ（７）、ｘ（４）、ｙ（−１）を除く）。
ｘ軸に関しては、左右に手を動かしているので項目ｘ（ｉ）のデータが変動する。図２７（Ａ）では、手はｘ座標−６、−５、−４上にあり、図２８の項目ｘ（−６）、ｘ（−５）、及びｘ（−４）のフレーム番号０の欄に、検出された値が示されている。同様に図２７（Ｂ）、（Ｃ）、及び（Ｄ）についても、それぞれの手がかざされているｘ座標に対応する項目ｘ（ｉ）に、検出されたそれぞれの値が示されている。
【００８５】
フレーム番号をｎとするｘ座標上の手の重心ＸＧは、前述した（１）式で求められる。
本実施形態では、図２８の項目ＸＧはフレーム番号０において−５．３である。これは手の重心のｘ座標が、−５．３であることを示している。その他のフレームについても、項目ＸＧの値がそのフレームにおける手の重心のｘ座標を示している。本実施形態では項目ＸＧの値は−５．３〜−２．３の範囲の値になっており（フレーム番号１１は除く）、項目ＸＧの値の変動が座標上の手の左右運動を示している。
【００８６】
フレーム番号をｎとするｙ座標上の手の重心ＹＧは、前述した（２）式で求められる。本実施形態では、図２８の項目ＹＧはほとんどのフレームで２．１９になっており（フレーム番号１１は除く）、従って手の重心のｙ座標は２．１９であり、ｙ座標２．１９を中心にデータが広がっている。
【００８７】
図２９は、手の重心の座標の変動を時間の経過にそって表したタイムチャートである。図２９（Ａ）が手の重心のｙ座標の変動、つまり図２８の項目ＹＧの値の変動を表しており、図２７に示すようにｙ座標２．１９を重心として手を横に振っているため、縦方向に変動はなく原理的には図２９（Ａ）に示すとおり一定レベルの直線になる。図２９（Ｂ）は手の重心のｘ座標の変動、つまり図２８の項目ＸＧの値の変動を表しており、−５．３〜−２．３の間で４サイクルに渡って波打っていることが示されている。
【００８８】
このｘ及びｙの両軸の波形を分析するわけであるが、図２８に示す表の第１サイクルは、横に手を振る場合の理想的なデータとなっている。手が抽出されているｙ軸座標１、２、及び３以外のｙ座標の項目ｙ（ｊ）はデータが０（零）である。ｘ座標についても同様に、手が抽出される検出領域以外はデータが０（零）である。
しかし、第２サイクルのフレーム番号１１では、手に関するデータ以外に、ｙ（−１）に対応する検出器に領域１２０、ｘ（４）に対応する検出器に領域５０、ｘ（７）に対応する検出器に領域７０に相当する手の領域が各検出領域において検出されたことを示す第２の検出データがある。これらのデータは検出された手の重心座標を狂わせることになる。図２８（Ａ）〜（Ｄ）に示すように手の重心のｙ座標は２．１９で一定であるにもかかわらず、フレーム番号１１の項目ＹＧの値は１．３５１を示している。またフレーム番号１１の手の重心のｘ座標は、フレーム番号３と同様に項目ＸＧの値が−２．３であるはずが、−０．４５になっており、ｘ軸ｙ軸共にノイズに影響を受けた値となっている。
【００８９】
横に手を振る場合も縦に手を振る場合と同様に、不要な検出器のタイミングゲート器５２を閉じる処理を行う。図２８に示す表において、ｘ軸検出器３０１〜３１６、ｙ軸検出器３１７〜３２５それぞれの検出器から出力された第１の検出データに基づく第２の検出データを所定の期間累積加算した加算値が、最初に一定値（ｘ軸検出器であれば閾値ｔｈ１ｘ、ｙ軸検出器であればｔｈ１ｙ）を超える検出器、すなわち最大値を示す検出器を確認する。
図２８の表に示すように、ｘ軸検出器３０１〜３１６は第２の検出データ（出力信号）が変動し、閾値ｔｈ１ｘを超える検出器はない。一方でｙ軸検出器３１７〜３２５では、ｙ座標２に対応する第２３の検出器３２３による第２の検出データ（ｙ（２））が最大値を示し、ある時点で累積加算の加算値が閾値ｔｈ１ｙを超え、該当する検出器として判断される。これにより手の動作が左右に振る動作であることが判明する。
【００９０】
図２９（Ｃ）は、ｙ座標２に対応する第２３の検出器３２３の第２の検出データｙ（２）を累積加算した経過を表している。累積加算した加算値が閾値ｔｈ１ｙを超えた時点（フレーム９）で、活性化フラグＦｌｇ＿ｙが０（零）から所定の期間１となる。加算値が閾値ｔｈ１ｙを超えると、制御情報判断器２０がフラグ生成器として活性化フラグＦｌｇ＿ｙを生成する。活性化フラグＦｌｇ＿ｙが１となっている期間、後述するように不必要な区画や検出領域における手は検出しない。なお、ここでは累積加算値は閾値ｔｈ１ｘをフレーム９で超えたが、所定の期間で閾値ｔｈ１ｘを超えればよい。
活性化フラグＦｌｇ＿ｙが立ち上がる所定の期間のことを活性化期間とし、その長さは手の動作を認識することに要する、４サイクル程度の期間を設定する。図２９（Ｄ）については後述する。
【００９１】
図３０は、画面上のどの位置にある検出領域を有効とするかについて説明するための図である。図３０には、ビデオカメラ２がとらえたｙ座標２．１９上を横に動く手の画像と、黒枠で示す２つのノイズ成分、及び第６の検出器３０６を制御するために供給されるタイミングパルスが描かれている。ｙ軸方向に一点鎖線で描かれている第１のｙ軸タイミングパルスは、有効映像期間の垂直方向の幅に相当する幅を有するパルスであり、ユーザ３が手を振り始めた時点では、全てのｘ軸検出器（第１の検出器３０１〜第１６の検出器３１６）に供給されている。
振っている手が抽出された検出領域に対応する検出器の、出力信号を所定の期間累積加算した加算値に基づいて活性化フラグＦｌｇ＿ｙが生成される（１となる）と、実線で描かれている第２のｙ軸タイミングパルスが生成される。第２のｙ軸タイミングパルスは、有効映像期間の垂直方向の所定の幅に相当する幅を有するパルスであり、全てのｘ軸検出器３０１〜３１６に供給される。各ｘ軸検出器３０１〜３１６は、第２のｙ軸タイミングパルスに基づいて、検出領域にかざされている手を検出するために必要最小限の検出領域の検出信号のみを出力する。
【００９２】
第２のｙ軸タイミングパルスの生成方法を、図３１を用いて説明する。各ｙ軸検出器３０１〜３１６に最初に供給されるｙ軸タイミングパルスは、第１のｙ軸タイミングパルスである。第１のｙ軸タイミングパルスは、各ｘ軸検出器３０１〜３１６に対応する各検出領域のｙ軸方向の幅全てを有効にするものである。
図３０に示す手の動きによってｙ座標２の検出領域において手が抽出されると、先に述べたように本実施形態では、ｙ軸の座標２に対応する第２３の検出器３２３の第２の検出データが、他の検出器の第２の検出データと比較すると連続して最大値を取る（図２８参照）。第２３の検出器３２３の第２の検出データを累積加算した値が閾値ｔｈ１ｙを超えると、活性化フラグＦｌｇ＿ｙが生成される（１となる）。制御情報判断器２０は活性化フラグＦｌｇ＿ｙが生成されたことを確認し、ｙ座標２の検出領域のｙ軸制御データを１とする。
【００９３】
本実施形態では、テレビジョン受像機１（ビデオカメラ２）とユーザ３との距離によって画面上の手の大きさが少し変わるのを考慮して、活性化フラグＦｌｇ＿ｙが生成された検出器に対応する検出領域と、この検出領域に隣接する検出領域とを少なくとも含む近傍の検出領域のｙ軸制御データを１とする。例えば、ｙ座標１と３の検出領域のｙ軸制御データを１とする。また、これ以外の検出領域のｙ軸制御データを０とする。
制御情報判断器２０は、上述したようなｙ軸制御データをタイミングパルス発生器１２に供給し、タイミングパルス発生器１２内のｙ軸タイミングパルス活性化制御器１２ｙは、入力されたｙ軸制御データに基づいて、第２のｙ軸タイミングパルスを生成し、全てのｘ軸検出器３０１〜３１６に供給する。従って、図３０に示す状態であれば、ｙ座標が１から３の検出領域の幅に相当する幅を有する、第２のｙ軸タイミングパルスが生成される。すなわちタイミングパルス器１２は、第１のｙ軸タイミングパルスの幅を狭めた第２のｙ軸タイミングパルスを生成する。第２のｙ軸タイミングパルスが供給された各ｘ軸検出器３０１〜３１６は、対応する各検出領域のｙ座標が１から３の区画からのみ検出信号を出力する。この結果、図３０に示した座標（ｘ，ｙ）＝（４，−１）、（７，−１）で発生したノイズ成分は検出されない。
第２のｙ軸タイミングパルスが生成されると、制御情報判断器２０は各ｘ軸検出器３０１〜３１６からの出力に基づいて、これ以降の制御を行う。各ｙ軸検出器３１７〜３２５から検出された検出信号については、参照しない。なお、各ｙ軸検出器３１７〜３２５のタイミングゲート器５２にタイミングパルスを供給せず、検出信号の出力を止めてもよい。
【００９４】
図３２は、ｘ軸検出器の第１の検出器３０１〜第１６の検出器３１６に供給される第２のｙ軸タイミングパルス及び、各ｘ軸検出器３０１〜３１６が対応する検出領域のためのタイミングパルス（ｘ軸方向）を示す。各x軸検出器３０１〜３１６は、対応する検出領域と、第２のｙ軸タイミングパルスに基づくｙ座標１〜３に対応する検出領域とが重なる、３つの区画から検出した信号のみを出力すればよい。こうすることで、検出領域の内、手が抽出されず、検出に不必要な区画について検出しないことが可能である。
なお、本実施形態では、図３１及び図３２に示すように検出領域単位でパルス幅を制御する方法を採用しているが、パルスのスタートポイントとパルス幅を指定する方法など、パルス幅を柔軟に制御する回路手法を用いてもよい。
【００９５】
図３３に示す表は、図２８に示す表の内容とほぼ同じであるが、図２９（Ｃ）に示した第２３の検出器３２３の活性化フラグＦｌｇ＿ｙが１になった後生成される第２のｙ軸タイミングパルスによって、検出が不要となった区画や検出領域からの検出を制限して得られた、各検出器３０１〜３２５からの第２の検出データを示す。
図２９（Ｃ）において閾値ｔｈ１ｙを超えた、フレーム番号１０以降の第２の検出データがこれに該当し、図２８の表でノイズ成分として存在していたフレーム番号１１のｘ（４）、ｘ（７）、ｙ（−１）が０となっている。これは、座標（ｘ，ｙ）＝（４，−１）、（７，−１）の区画は、対応して設けられている第１３の検出器３１３と第１６の検出器３１６の各タイミングゲート器５２に第２のｙ軸タイミングパルスが供給されることで、検出されないためである。ノイズ成分の除去により重心ＸＧとＹＧの値の乱れは無くなり、各ｘ軸検出器３０１〜３１６の後段の第１の動作検出器２０−１〜第５の動作検出器２０−５による認識率が向上する。
【００９６】
制御情報判断器２０内の第１の動作検出器２０−１〜第５の動作検出器２０−５は、図３３に示すデータを受け取り、処理する。図２９に戻り、手がどのような動作をしているか検出するための処理を説明する。
図２９（Ａ）は重心のｙ座標ＹＧの変動を示し、図２９（Ｂ）は重心のｘ座標ＸＧの変動を示しており、それぞれノイズの無い波形を示している。図２９（Ｃ）に示すｙ軸検出器（第２３の検出器３２３）の出力信号を累積加算した値が、閾値ｔｈ１ｙ以上になった時点で活性化フラグＦｌｇ＿ｙが１となる。活性化フラグＦｌｇ＿ｙが生成された検出器に対応する検出領域と隣接する検出領域を少なくとも含む近傍のｙ軸方向の検出領域と、各ｘ軸方向の検出領域とが交差して形成される複数の区画以外の各ｘ軸方向の区画は、各ｘ軸検出器３０１〜３１６に供給される第２のｙ軸タイミングパルスによって無効とされる。すなわち、手の検出に用いられない。従って、ノイズの影響を受けない。
図２９（Ｃ）の波形が継続的に閾値ｔｈ１ｙ以上であれば、第２のｙ軸タイミングパルスが各ｘ軸検出器３０１〜３１６に供給され続けるため、不必要な区画が無効である期間も続き、ノイズによる影響を受けないという効果が持続する。図２９（Ｃ）の波形が閾値ｔｈ１ｙ以下になると累積加算値はリセットされる。ただし、リセットの基準となる値は閾値ｔｈ１ｙに限るものではない。
【００９７】
さて次に、図２９（Ｂ）の波形のＤＣオフセットを抑圧する処理を行い、波形の平均値がほぼ０（零）となるようにする。この処理には図２０に示す高域通過フィルタを使う。
図２９（Ｂ）の波形は、図２０の高域通過フィルタを通すことで結果として図２９（Ｄ）に示すように、波形の平均値がほぼ０（零）となる。これにより、手が振られているｘ軸上の位置情報が排除され、手の動作内容の分析に適した波形が得られる。なお、図２９（Ｄ）の縦軸に示す重心ＸＧＨは、図２９（Ｂ）の縦軸に示す重心ＸＧを高域通過フィルタ処理した値である。
【００９８】
横に振られている手の動作内容の分析には、手の縦振り動作の時と同様に、事前に決められている所定の動作（横振り動作）の代表的な検出信号波形と、各検出器３０１〜３２５から出力される実際の動作による検出信号波形との相互相関をとって一致度を評価する。
本実施形態では図３４（Ｇ）に示す波形を横振り動作の基準信号波形（所定の動作の代表的な検出信号波形）とし、図３４（Ｆ）に示す相互相関デジタルフィルタのｋ０〜ｋ４０までのタップ係数値には、この基準信号波形に対応する値を使用する。また図３４（Ｄ）には、相互相関デジタルフィルタｋｎに入力される実際の検出信号波形が示されているが、これは図２９（Ｄ）の信号波形と同じものである。相互相関デジタルフィルタは、タップ係数と実際の動作を検出した信号に基づく第２の検出信号とを乗算し、第１の動作検出器２０−１〜第５の動作検出器２０−５は相互相関デジタルフィルタより出力される信号波形に基づいて、ユーザ３が行った動作が横振り動作であるかを検出する。相互相関デジタルフィルタｋｎの出力信号ｗｈ（ｎ）は下記の（４）式によって求められる。
【数４】
【００９９】
Ｎはデジタルフィルタのタップ数でここでは４１タップ（０〜４０）である。ｘ（ｎ＋ｉ）は図３４（Ｄ）の縦軸に示すフィルタ処理された重心ＸＧＨである。相互相関デジタルフィルタｋｎは、活性化フラグＦｌｇ＿ｙが１になっているときのみ動作させることでその機能を果たす。
なお、本実施形態では縦振り動作に対応するタップ係数を備える相互相関デジタルフィルタと、横振り動作に対応するタップ係数を備える相互相関デジタルフィルタとを使用したが、縦振り動作に対応するタップ係数と、横振り動作に対応するタップ係数とを制御情報判断器２０等に記憶させ、動作に応じて１つの相互相関デジタルフィルタに切り換えて供給してもよい。ただし、縦振り動作と横振り動作とが同じ動作であるとする場合には、同じタップ係数とすればよい。
【０１００】
次に、手の動作の速さとフレーム数について説明する。手の動作の速さとフレーム数の関係については、手の振り方が縦（上下）であっても、横（左右）であっても違いはない。
本実施形態では１秒間に６０フレームとし、手の上下または左右に４回振る動作を、説明や図面の簡略化を目的に３２フレームとした。相関計算のタップ係数も少なくなる。
しかしながら、３２フレームを時間に換算すると約０．５秒となり、現実の人間の動作としては速すぎる。実際の手の動作はもう少し遅くなると考えられ、例えば、手を４回振るのに２秒かかるとすれば、１２０フレーム必要となる。これを検出するためには相関計算においてタップ数を増やせばよく、動作にかかる時間に合わせて適宜タップ数を調整すればよい。
【０１０１】
手の横振りに関しての相互相関デジタルフィルタ出力信号ｗｈ（ｎ）は、図３５（Ｅ）に示す波形になり、相互相関の一致度が増すとともに振幅が大きくなる。なお、図３５（Ｄ）は図２９（Ｄ）及び図３４（Ｄ）と同じもので、図３５（Ｅ）の比較対照として示している。出力信号ｗｈ（ｎ）の絶対値を取って累積積分し、その値が閾値ｔｈ２ｈ以上に達したところで基準信号波形との相互相関が充分であると判断され、所定動作がなされたことが認識される。第１の動作検出器２０−１〜第５の動作検出器２０−５は、検出部１９より出力される検出信号に基づいて、ユーザ３による動作が所定の動作であるか否かを検出する動作検出器である。
この動作の認識とともに、横振り動作であることを示し且つ保護窓の役割を担う活性化フラグＦｌｇ＿ｙが「１」であることが確認され、手の横振り操作が確定となり、テレビジョン受像機１の状態に応じたイベントが行われる。このイベントは、図１５に示す複数の動作検出器２０−１〜２０−５のいずれかが確定となったことを、制御情報発生器２０−１０が論理判定して出力する信号に従って行われる。
【０１０２】
図３６は、上述した手の縦振りと横振りの動作を検出する方法の処理手順を示すフローチャートである。図３６のフローチャートに示す各ステップにおける処理については、既に詳細に記述しているので、ここでは各ステップが全体の中でどのような機能を果たしているかについて説明し、手の縦振り及び横振り動作が操作情報としてテレビジョン受像機１に認識され、制御（イベント）内容が実行されるところまでを説明する。
【０１０３】
図３６に示すフローチャートは、ユーザ３が行う手を振る動作によって縦振り処理系と横振り処理系の２つに分けられる。縦振り処理系のＸ軸スタートには、各ｘ軸検出器３０１〜３１６から出力された第１の検出データに基づく１６個の第２の検出データｘ（−８）〜ｘ（７）が入力される。まず、ステップＡ５０１において、各ｘ軸検出器３０１〜３１６の出力に基づく各第２の検出データｘ（−８）〜ｘ（７）が、それぞれフレーム毎に累積加算される。
次にステップＡ５０２に進み、累積加算された各値ｍｓｘ（ｉ）（ｉ＝−８〜＋７）が閾値ｔｈ１ｘ以上であるか否かを判定する。ステップＡ５０２の答えがＮＯのとき、すなわちいずれの加算値ｍｓｘ（ｉ）も閾値ｔｈ１ｘ未満の時はステップＡ５０１にもどり、累積加算を行う。ステップＡ５０２の答えがＹＥＳになったとき、すなわちいずれかの加算値ｍｓｘ（ｉ）が閾値ｔｈ１ｘ以上になったときは、次のステップＡ５０３に進む。
いずれかのｘ軸検出器からの加算値ｍｓｘ（ｉ）が閾値ｔｈ１ｘ以上を示すことは、手が縦に振られている動作を意味するので、ステップＡ５０３において活性化フラグＦｌｇ＿ｘを０（零）から１とし、第２のｘ軸タイミングパルスを各ｘ軸検出器３０１〜３１６に供給する。これによって、各ｘ軸検出器３０１〜３１６の出力が制御され、不要な検出領域や区画においてオブジェクト（手）を抽出しない処理（マスク処理）が行われるので、ノイズに対する耐性を高めることができる。
【０１０４】
横振り処理系についても同様に、Ｙ軸スタートには、ｙ軸検出器３１７〜３２５の出力に基づく９個の第２の検出データｙ（−４）〜ｙ（４）が入力され、ステップＢ５０１〜Ｂ５０３までは縦振り処理系のステップＡ５０１〜Ａ５０３と全く同様の処理がなされる。
そしてステップＢ５０２で、いずれかのｙ軸検出器において累積加算された値ｍｓｙ（ｊ）（ｊ＝−４〜＋４）が閾値ｔｈ１ｙ以上に達すると、活性化フラグＦｌｇ＿ｙが０（零）から１となって手の動作が横振りであることを認識する。
【０１０５】
本実施形態では活性化フラグＦｌｇ＿ｘまたはＦｌｇ＿ｙのどちらか一方が１となった時点で、もう一方の活性化フラグは抑圧される。ステップＡ５０４またはＢ５０４において、活性化フラグの判定を行う。例えば縦振り処理系では、活性化フラグＦｌｇ＿ｘが１となった時点でステップＡ５０４に進み、同時に横振り処理系の活性化フラグＦｌｇ＿ｙが０（零）であるか否かを判定する。
ステップＡ５０４の答えがＹＥＳのとき、すなわち活性化フラグＦｌｇ＿ｙが０（零）であれば、これ以降の処理は縦振り処理系になることを確定し、ステップＡ５０５に進む。一方で、ステップＡ５０４の答えがＮＯ、すなわち横振り処理系が活性化されていて、活性化フラグＦｌｇ＿ｙが１ならば、ステップＡ５０９に進み、縦振り処理系を進めるための累積加算値ｍｓｘ（ｉ）及び活性化フラグＦｌｇ＿ｘを０（零）にリセットし、ステップＡ５０１に戻る。
【０１０６】
また横振り処理系においては、ステップＢ５０３で活性化フラグＦｌｇ＿ｙが１となった時点でステップＢ５０４に進み、同時に縦振り処理系の活性化フラグＦｌｇ＿ｘが０（零）であるか否かを判定する。
ステップＢ５０４の答えがＹＥＳのとき、すなわち活性化フラグＦｌｇ＿ｘが０（零）であれば、これ以降の処理は横振り処理系になることを確定し、ステップＢ５０５に進む。一方で、ステップＢ５０４の答えがＮＯ、すなわち縦振り処理系が活性化されていて、活性化フラグＦｌｇ＿ｘが１ならば、ステップＢ５０９に進み、横振り処理系を進めるための累積加算値ｍｓｙ（ｊ）及び活性化フラグＦｌｇ＿ｙをそれぞれ０（零）にリセットし、ステップＢ５０１に戻る。
【０１０７】
ステップＡ５０４の答えがＹＥＳ、またはステップＢ５０４の答えがＹＥＳとなったとき、それぞれステップＡ５０５またはＢ５０５に進み、ｙ軸重心計算またはｘ軸重心計算を行う。ｘ軸重心計算またはｙ軸重心計算は上記の（１）式または（２）式を使い、図２４に示した表の項目ＹＧまたは図３３に示した表の項目ＸＧを求める。求められた重心（ＸＧ、ＹＧ）の値はステップＡ５０６またはＢ５０６の相互相関計算にて相互相関デジタルフィルタ処理され、相互相関デジタルフィルタ出力信号ｗｖ（ｎ）またはｗｈ（ｎ）を算出する。
ステップＡ５０７またはＢ５０７では、相互相関デジタルフィルタ出力信号ｗｖ（ｎ）またはｗｈ（ｎ）を絶対値化して累積加算し、ｗｖ（ｎ）の累積加算ｓｗｖまたはｗｈ（ｎ）の累積加算ｓｗｈを算出する。
【０１０８】
次に、ステップＡ５０８またはＢ５０８において累積加算ｓｗｖの値が閾値ｔｈ２ｖより大きいか否か、またはｓｗｈの値が閾値ｔｈ２ｈより大きいか否か判定する。ステップＡ５０８またはＢ５０８の答えがＹＥＳとなった場合に、縦振りイベントまたは横振りイベントが起動される。なお、ここでステップＡ５０４〜Ａ５０８とＢ５０４〜Ｂ５０８とを同時に説明したが、前述したとおり縦振り処理系と横振り処理系とが同時に処理されることはなく、どちらか一方のみの処理となる。
また、ステップＡ５０６またはＢ５０６の相互相関計算処理より先の処理は、図３６では説明の分かり易さを考慮して処理を２系統に分離しているが、ステップＡ５０４またはＢ５０４において活性化フラグＦｌｇ＿ｘまたはＦｌｇ＿ｙを評価し、検出された動作が縦振りか横振りかが判明しているので、処理を１系統にすることができる。なお、ステップＡ５０４またはＢ５０４、及びステップＡ５０８またはＢ５０８の判定で答えがＮＯとなったときはステップＡ５０９またはＢ５０９に進み、累積加算値ｍｓｘ（ｉ）及びＦｌｇ＿ｘ、または累積加算値ｍｓｙ（ｊ）及びＦｌｇ＿ｙをそれぞれ０（零）にリセットしてスタートの時点に戻る。
【０１０９】
このように本実施形態では、手を縦に振る操作と横に振る操作は同時に処理されて区別されて認識される。これの応用例としては、図３に示す手の縦振り「コイコイ」動作であれば、それに対応したイベント（制御）として例えば電源ＯＮやメニュー画面が起動される。また手の横振り「バイバイ」動作であれば電源をＯＦＦにすることに応用できる。
また、縦振り動作と横振り動作のどちらか一方のみを電子機器を制御するための所定の動作としてもよく、その際は、ステップＡ５０４またはＢ５０４を省略すればよい。
【０１１０】
以上で説明した第１実施形態では、図５、図６に示すように画面に設けられた検出領域は、水平方向に１６、垂直方向に９分割して設けた合計２５であった。それぞれの検出領域に対応する検出器は、第１の検出器３０１から第２５の検出器３２５の２５個であり、第１実施形態はハードウェアの規模が少なくて済む利点がある。
一方、より高度で複雑な認識操作を考えると、以下に説明するような検出領域を用いる第２実施形態が考えられる。第２実施形態についても図３６のフローチャートにて説明したアルゴリズムが同様に機能することについて詳述する。なお、第２実施形態については、第１実施形態と異なる部分についてのみ説明する。
【０１１１】
図３７は、ビデオカメラ２より出力された画像の画面を、水平方向に１６分割、垂直方向に９分割し、水平方向に分割された領域と垂直方向に分割された領域とが交差して形成される、合計１４４個（１６×９）の検出領域を設けた第２実施形態を示す。従って、検出部１９を構成する検出器も１４４個必要とし、制御情報判断器２０に入力されるデータ数も１４４となる。第１の検出器３０１は、図３７において（ｘ、ｙ）＝（−８，４）座標に位置する検出領域と対応し、この検出領域から検出された第１の検出データを出力する。
第２実施形態では、１画面毎（１垂直周期毎）に各検出領域から抽出される出力信号を得ることが目的であり、各検出領域に各検出器を割り当て、各検出領域のデータが制御情報判断器２０に入力され、ソフトウェアで処理されるものとして説明する。なお、各検出器はバッファメモリを設けることにより、ハードウェアの構成上必要とするデータ数以下で実現することもできる。
【０１１２】
図３８は、１４４個の検出領域上に、ビデオカメラ２で撮影された縦振りする手のイメージを重ねて描いた画面を示す。手の動きによってフレーム差分が発生する検出領域に、ハッチングを入れて表した（手の領域もハッチングが入っているとして説明する。）。第１実施形態では、このハッチングの入っている検出領域を、図７に示すオブジェクト特徴データ検出部５３のヒストグラム検出器６１などによりデータに変換し、ＣＰＵバスを経由して制御情報判断器２０へ出力した。
第２実施形態においても、同様の構成も適応できるが、各検出器から得られるデータが１４４個あるため、ハードウェアの規模が大きくなること及びバスのトラフィックを考慮して、データを簡略化する。なお、比較説明をするため図３８の手の動作の位置は図１７に示した第１実施形態と同じ位置とする。
【０１１３】
図３９は、第２実施形態の検出部１９と制御情報判断器２００のブロック図である。検出部１９を構成する第１の検出器３０１から第１４４の検出器４４４が、制御情報判断器２００の第６の動作検出器２０−６へオブジェクトのデータを加工して転送する。第１のオブジェクト抽出器５１の出力は図８に示すように、特定色フィルタ７１、階調限定器７２、動作検出フィルタ７５を合成した信号で、ビデオカメラ２の出力画像からオブジェクトを抽出した出力信号である。
合成の仕方は様々な論理演算が考えられるが、ここでは論理積として考える。オブジェクトゲート器７４の出力は、図３８のハッチングした部分の検出領域だけが階調を持ち、その他の検出領域はオブジェクトが抽出されず階調が０である（マスクレベル）とする。この場合のビデオカメラ２の黒レベルは０レベル以上にあるものとする。
【０１１４】
オブジェクト特徴データ検出部５３０は、ブロックカウンタ６６とブロック量子化器６７とを備える。更にヒストグラム検出器６１やＡＰＬ検出器６２などを、必要に応じて備えてもよい。
ブロックカウンタ６６とブロック量子化器６７は、図３８の画面内にハッチングで示した、第１のオブジェクト抽出器５１による出力信号が得られる検出領域の情報を１ビット化して出力する。ブロックカウンタ６６は、全検出領域のうちマスクレベル以外の検出領域をカウントするものである。ブロックカウンタ６６でカウントされた検出領域における第１のオブジェクト抽出器５１より出力された出力信号は、ブロック量子化器６７にて設定される閾置と比較され、ブロック量子化器６７は閾置以上であるとき１を、以下であるとき０を出力する。
【０１１５】
例えば閾置を、検出領域全体の１／２の領域で第１のオブジェクト抽出器５１からの出力信号が得られた場合に設定し、この閾値に基づいて図３８のハッチング部分の検出領域からの出力信号をブロック量子化器６７に入力すると、図４０に示すハッチングをした検出領域が信号を出力することとなる。すなわち、検出領域の座標（ｘ，ｙ）が（５，３）、（５，２）である２つの検出領域が１を出力し、その他の検出領域は０を出力する。
このように閾値を設定することで、ブロックカウンタ６６とブロック量子化器６７による、検出部１９からの出力は１４４ビットとなり、最小限ですませることができる。
【０１１６】
制御情報判断器２０には、１画面（１垂直周期毎）で１４４のデータが変数として格納され、動作の認識アルゴリズムに添って処理される。図４１にこれを示す。項目ｘ（−８）からｘ（７）はそれぞれ、各ｘ軸における縦（ｙ軸）方向の全検出領域に対応する全検出器の出力の総和となる。例えば項目ｘ（０）は、検出領域座標（ｘ，ｙ）の（０，−４）（０，−３）（０，−２）（０，−１）（０，０）（０，１）（０，２）（０，３）（０，４）の検出領域に対応する各検出器から出力された第１の検出データに基づいた第２の検出データの合計値となる。検出領域がｙ軸方向に９つに分割されているので、最大値は９を取ることになる。
項目ｙ（−４）〜ｙ（４）も同様で、各ｙ軸における横（ｘ軸）方向の全検出領域に対応する全検出器の出力の総和であり、最大値は１６となる。これより図３８に示した手の動作は結果として、図１８に示したものと重心の変動は同一となり、同様のアルゴリズムで処理して動作の認識が可能である。
【０１１７】
図４１の表と図１８の表とを比較すると、最初のフレームｎ＝０の列では、図１８の各項目ｘ（６）＝ｘ（４）＝１２，ｘ（５）＝１２０，ｙ（３）＝ｙ（２）＝７２が、図４１の各項目ｘ（６）＝ｘ（４）＝０，ｘ（５）＝２，ｙ（３）＝ｙ（２）＝１に相当する。
図４１は、量子化されて２値にまるめられた値で且つスケールが図１８とは異なっている。しかし、位置を表す重心は同一となる。従って、第２実施形態の第６の動作検出器２０−６は、第１実施形態の第１の動作検出器２０−１〜第５の動作検出器２０−５と同様のアルゴリズムで手の動作を認識することが可能である。第６の動作検出器２０−６のアルゴリズムは、（１）式、（２）式による重心計算、（３）式の相関デジタルフィルタの計算、そして不要な検出領域に対応する検出器にタイミングパルスを供給せず、タイミングゲート器５２を閉じる処理などで、そのアルゴリズムを表現するフローチャートが図３６である。第６の動作検出器２０−６は、検出部１９より出力される検出信号に基づいて、ユーザ３による動作が所定の動作であるか否かを検出する動作検出器である。
ここで、第２実施形態の各検出領域に対応する各検出器の、ゲートタイミング器５２を閉じる処理をマスク処理とし、後述する。
【０１１８】
第２実施形態では、各検出器３０１〜４４４が対応する検出領域が第１実施形態で説明した区画に相当するため、タイミングゲート器５２を閉じる方法は第１実施形態と同様であるが、不要な検出領域を無効とする方法は異なる。
図４２は、図３８と同じ手を上下に繰り返し振る動作を示す。この動作を操作として認識するために、第１のオブジェクト抽出器５１が手の動作を検出するように機能するが、意図しないものの動作が混入してくる。例えば、図４２に示す検出領域において、（ｘ、ｙ）＝（１，−２）、（１，−３）に黒丸で示すノイズが発生している。
図４１の表では、ｎ＝１１のフレームにおいて項目ｘ（１）＝２，ｙ（−２）＝１，ｙ（−３）＝１となっている。これはｘ軸とｙ軸の重心を乱し、手の動作を検出する際に妨害となる。これは重心の値に影響するため、重心の変動を用いて手の動作を検出する本発明において、問題となる。
【０１１９】
このノイズは、手の上下運動を検出している検出領域以外の検出領域をマスク処理することで抑制・除去する。
マスク処理は第１実施形態と同様で、ｘ軸の各項目ｘ（−８）〜ｘ（７）の値をそれぞれ所定の期間累積加算して、図１９（Ｃ）に示すように閾置ｔｈ１ｘを超えたとき、活性化フラグｆｌｇ＿ｘを立てればよい。従って第２実施形態では、各ｘ座標における縦（ｙ軸）方向の全検出領域に対応する全検出器の出力の総和、あるいは各ｙ座標における横（ｘ軸）方向の全検出領域に対応する全検出器の出力の総和が、それぞれ閾値ｔｈ１ｘあるいはｔｈ１ｙを超えたときに活性化フラグｆｌｇ＿ｘあるいはｆｌｇ＿ｙを生成すればよい。なお、累積加算した値は、所定の値を超えたらリミットをかけてもよい。
図１９（Ｃ）では、ｘ軸座標５を有する各検出領域に対応する各検出器の出力信号（ｘ（５））を累積加算した加算値が、所定の期間（フレーム１０）に経て閾置ｔｈ１ｘを超えたことを検出した。従ってｘ座標５を有する各検出領域の少なくとも一部で、振られている手が検出されている。
検出器から出力される信号が閾値ｔｈ１ｘを超えてから、活性化フラグｆｌｇ＿ｘを所定の期間立て、図１９（Ａ）に示す縦（ｙ軸）方向の重心ＹＧの変動を相関デジタルフィルタにて相関性を評価することで、手の動作を操作として認識する。
【０１２０】
第２実施形態では、ビデオカメラ２より出力された画像の画面を縦方向と横方向とに分割して各検出領域を設け、かつ各検出領域の第１の検出データを制御情報判断器２０に供給し、２次元配列化された変数として取り扱えるため、マスク処理はその変数を零に操作することで実現できる。当然タイミングゲート器５２に入力されるタイミングパルスを、タイミングパルス発生器１２にて制御することも可能である。
本実施形態では、１０フレーム目以降はマスク処理が施されるので、図４１の表に示したノイズ成分（フレーム番号１１）は抑圧できる。このようにマスク処理は手以外の動作を抑圧して、所定の動作のみを引き出す効果がある。
【０１２１】
図４２のハッチングされた部分は、以上で詳述したようにマスク処理された検出領域である。図４１の表に基づき、ｘ軸座標５を有する検出領域以外の検出領域に対応する検出器に対してマスク処理すればよいが、本実施形態では手がふらつくことを考慮して、ｘ軸座標５である全検出領域及びｘ軸座標が５±１の各検出領域に対応する各検出器に対してマスク処理せず、検出信号を出力するよう制御している。
すなわち、活性化フラグＦｌｇ＿ｘが１となったｘ座標５の各検出領域に対応する各検出器と、ｘ座標５の各検出領域に隣接するｘ座標４と６の各検出領域に対応する各検出器とに対して、タイミングパルス発生器１２よりタイミングパルスを供給させる。
【０１２２】
また図４１の表を基に、手の上下運動が及ばないｘ軸座標が４〜６でｙ軸座標が−４，−３，−２，４である各検出領域に対応する各検出器には、タイミングパルスを供給せず、マスク処理を施す。マスク処理された検出領域を図４２に×印で示す。これにより、ノイズの影響を更に抑制できる。
このマスク処理は、図１９（Ｃ）において活性化フラグｆｌｇ＿ｘが立った時点で、この時点から前の図１９（Ａ）に示す重心ＹＧを評価して行う。制御情報判断器２０内のメモリ（図示せず）に所定の期間の重心ＹＧを記録し、活性化フラグｆｌｇ＿ｘが発生した時点でその前までに記録された重心ＹＧを参照する。本実施形態では、図１９（Ａ）に矢印１で示す範囲を参照した。ｙ軸座標が−４，−３，−２，４である検出領域には、手がかざされていないと判断でき、手の動作はｙ軸座標が−４，−３，−２，４である検出領域の範囲外で生じているとして、上述したようにマスク処理する。
すなわち、所定の動作を行うために手が動くと、かざされている手が抽出された検出領域が判別されて、検出信号が通過する通過領域となる。それ以外の検出領域は、タイミングゲート器５２にタイミングパルスが供給されないので、検出された信号は通過しない。更に、各検出器の出力信号を累積加算した加算値が閾置ｔｈ１ｘを超えると、閾値ｔｈ１ｘを超えた時点より過去の所定期間の第２の検出データを参照し、手がかざされている検出領域以外の検出領域に対応する検出器に対してマスク処理し検出信号を出力させないことで、ノイズを抑制する。
【０１２３】
第２実施形態は、ビデオカメラ２より出力された画像の画面に設けた個々の検出領域に、対応する検出器を設けてブロック状の検出領域より手の動作を検出するものである。２次元平面でのマスク処理が可能であるため、動作している手が抽出された検出領域を第１実施形態より絞り込むことができ、ノイズに対する耐性が向上する。また、第２実施形態ではソフトウェア処理でマスク処理ができるため、マスク処理されてないデータと並行した処理も可能となり、処理の自由度が増すという利点も有する。
そして図３６に示した第２の検出データから手の動作を認識するアルゴリズムは、検出領域の実施形態に係わらず同様に機能するもので、認識操作を確定させてテレビ受像機を制御することができるものである。
【０１２４】
図４３は第２のオブジェクト抽出器５１０を示す図で、第２のオブジェクト抽出器５１０は図８に示す第１のオブジェクト抽出器５１の他の実施形態である。第２のオブジェクト抽出器５１０は、特定色フィルタ７１と階調限定器７２から出力された信号を合成器７３で合成して、その後段に動作検出フィルタ７５を直列に配置し、ビデオカメラ２からの信号をオブジェクトゲート器７４でゲート処理を加える。
また第２実施形態では、タイミングパルスが供給された検出器に対応する検出領域のみ、オブジェクト特徴データ検出部５３０のブロックカウント６６でカウントするので、図４１の動作検出フィルタ７５の出力を図３９のオブジェクト特徴データ検出部５３０のブロックカウンタに直接入れても、同様にブロック量子化器６７の出力検出領域単位の手の動き情報が得られる。
【０１２５】
図４４は、本発明の一実施形態を応用した一実施例を説明するための図である。図４４（Ａ）にはグラフィックス生成器１６で描いたメニュー画像（操作用画像）が示されており、その画像は（１−１）〜（１−５）の５つの領域に分けられている。これらの５つの領域に対してユーザ３は所定の動作を行う。図４４（Ｂ）は、ビデオカメラ２で撮影されたユーザ３の画像が鏡像変換された画像を示す。
図４４（Ｃ）は、図４４（Ａ）と（Ｂ）の画像を混合したものが表示装置２３に映し出されている様子を示し、メニュー画像とユーザ３の位置関係が分かるものとなっている。この第２実施形態の構成には、図２に示す表示装置２３とグラフィックス生成器１６は必須の機能ブロックである。
【０１２６】
図４５は、図４４（Ｃ）に示すメニュー画面とユーザ３の鏡像画像とが混合された画面を見て、ユーザ３がテレビジョン受像機１を操作している状態を示している。図４５（Ａ）には、ユーザ３が手を縦に振って複数のメニュー画像のうち所望のメニュー内容を示す画像、すなわち所望の操作ボタンを選択する状態を示している。図４５（Ａ）は例えば、ユーザ３は「映画」の操作ボタンを選択している。
第１実施形態で説明したとおり、縦に手を振るとｘ軸検出器のうちどの検出器が最大値を示して活性化フラグＦｌｇ＿ｘが「１」となったかが分かる。そこで、メニュー画像を生成したグラフィックス生成器１６と各座標の検出領域に対応する検出器とを対応させておけば、ユーザ３が選択した操作ボタンに対応する制御を起動することができる。
【０１２７】
上述した本発明の各実施形態に示したテレビジョン受像機１によれば、以下のような効果を奏する。テレビジョン受像機１の電源を入れる際、手の動作がビデオカメラ２の撮像範囲内であれば、電源のＯＮ／ＯＦＦやグラフィックスメニュー表示の制御をさせることができる。このときの手を縦または横に振る動作は、人にとって無理のない動作である。また縦の動作は「コイコイ」、横の動作は「バイバイ」と人にとって意味のある動作であり、これらの動作をその意味に添った形でテレビジョン受像機１の制御に利用することは、大変分かり易く使い勝手の良いものである。
また、ビデオカメラ２の撮像範囲内のどの位置にユーザ３がいても動作検出が可能であり、さらに活性化フラグによる制御で極めて誤認識の少ない正確な検出を行うことができる。またグラフィックス生成器１６で生成したメニュー画像とビデオカメラ２が撮影したユーザ自身の映像を混合した画面上において所望のメニューを選択する操作方法にも応用ができ、同一の回路及びソフト処理で多様な活用が可能である。
【０１２８】
上述した本発明の各実施形態では、電子機器をテレビジョン受像機１とした例を示したが、これに特定するものでなく、電子機器に他のさまざまな電子機器にビデオカメラ２を搭載することで、応用することができる。またグラフィックメニュー画像にビデオカメラ２の画像を混合させたメニュー画面から、ユーザ３が所望の制御内容を示すメニュー画像を選択操作する方法については、ディスプレイ（表示装置）を有する電子機器であれば応用することができる。本発明は、リモコンが無くても電子機器を操作する世界を構築する上で有用な装置を提供することができる。
【図面の簡単な説明】
【０１２９】
【図１】本発明の電子機器操作方法の概要を説明するための図である。
【図２】本発明の一実施形態にかかるテレビジョン受像機の要部の構成を示すブロック図である。
【図３】操作者の動作が認識識されてテレビジョン受像機が制御される例を説明する図である。
【図４】ビデオカメラに撮影されたユーザの様子を表す図である。
【図５】ｙ軸検出器と画面内の検出領域とそれを制御するタイミングパルスの関係を説明するための図である。
【図６】ｘ軸検出器と画面内の検出領域とそれを制御するタイミングパルスの関係を説明するための図である。
【図７】図２に示す検出器の構成を示すブロック図である。
【図８】図７に示すオブジェクト抽出器の構成を示すブロック図である。
【図９】図８に示す特定色フィルタで抽出する対象物の色相及び飽和度を説明するための図である。
【図１０】色差信号から色相を算出する処理のフローチャートである。
【図１１】図８に示す階調限定器で抽出する対象物の輝度信号レベルを示す図である。
【図１２】図８に示す動作検出フィルタの構成を示すブロック図である。
【図１３】動作検出フィルタの特性を表す図である。
【図１４】オブジェクト抽出器の出力が画面に映し出されているようすを描いた図である。
【図１５】制御情報判断器（ＣＰＵ）の構成を示すブロック図である。
【図１６】オブジェクト特徴データ検出部内のヒストグラム検出器及び平均輝度検出器の出力信号をモデル化して描いた図である。
【図１７】画面上に映された縦に動作する手と検出領域を表す座標との関係を説明するための図である。
【図１８】ｘ軸検出器及びｙ軸検出器の検出データと検出データから計算された重心の値を示す表である（手の動作が縦振りの場合）。
【図１９】手のポジションの重心座標の変動を示すタイムチャートである（手の動作が縦振りの場合）。
【図２０】高域通過フィルタの構成を示すブロック図である。
【図２１】活性化フラグ（Ｆｌｇ＿ｘ）により検出領域を制限したときの画面とタイミングパルスを描いた図である。
【図２２】ｙ軸検出器のｘ軸タイミングパルスの生成方法を説明するための図である。
【図２３】ｙ軸検出器のｘ軸及びｙ軸両タイミングパルスによる制御内容を説明するための図である。
【図２４】活性化フラグ（Ｆｌｇ＿ｘ）によって不要な検出器のデータが除かれたｘ軸検出器及びｙ軸検出器の検出データと検出データから計算された重心の値を示す表である（手の動作が縦振りの場合）。
【図２５】相互相関デジタルフィルタの内容を説明するための図である（手の動作が縦振りの場合）。
【図２６】相互相関デジタルフィルタ出力の変動を示すタイムチャートである（手の動作が縦振りの場合）。
【図２７】画面上に映された横に動作する手と検出領域を表す座標との関係を説明するための図である。
【図２８】ｘ軸検出器及びｙ軸検出器の検出データと検出データから計算された重心の値を示す表である（手の動作が横振りの場合）。
【図２９】手のポジションの重心座標の変動を示すタイムチャートである（手の動作が横振りの場合）。
【図３０】活性化フラグ（Ｆｌｇ＿ｙ）により検出領域を制限したときの画面とタイミングパルスを描いた図である。
【図３１】ｘ軸検出器のｙ軸タイミングパルスの生成方法を説明するための図である。
【図３２】ｘ軸検出器のｘ軸及びｙ軸両タイミングパルスによる制御内容を説明するための図である。
【図３３】活性化フラグ（Ｆｌｇ＿ｙ）によって不要な検出器のデータが除かれたｘ軸検出器及びｙ軸検出器の検出データと検出データから計算された重心の値を示す表である（手の動作が横振りの場合）。
【図３４】相互相関デジタルフィルタの内容を説明するための図である（手の動作が横振りの場合）。
【図３５】相互相関デジタルフィルタ出力の変動を示すタイムチャートである（手の動作が横振りの場合）。
【図３６】動作検出方法の処理手順を示すフローチャートである。
【図３７】第２実施形態の検出領域と対応する検出器とを示す図である。
【図３８】第２実施形態の検出領域上に縦振り動作をする手を示した図である。
【図３９】オブジェクト特徴データ検出部５３０を有する第２実施形態の検出器のブロック図である。
【図４０】第２実施形態において差分が発生した検出領域を示す図である。
【図４１】第２のオブジェクト抽出器５１０を示す図である。
【図４２】第２実施形態におけるｘ軸検出器及びｙ軸検出器からの検出データを示す表である。
【図４３】第２実施形態においてマスク処理された検出領域を示す図である。
【図４４】本発明の一実施形態における操作者の画像とメニュー画像が混合されたメニュー画面の一実施例を描いた図である。
【図４５】メニュー画面に対して動作する操作者のようすを描いた図である。
【符号の説明】
【０１３０】
１ テレビジョン受像器（電子機器）
２ ビデオカメラ
３ ユーザ（操作者）
１２ タイミングパルス発生器
１９ 検出部
２０ 制御情報判断器（フラグ生成器、制御器）
２０−１〜２０−５ 第１〜第５の動作検出器（生成器）
２３ 表示装置
３０１〜（３００＋ｎ） 検出器
【特許請求の範囲】
【請求項１】
電子機器において、
表示装置と、
前記表示装置の前に位置する操作者を撮影するビデオカメラと、
前記ビデオカメラより出力された画像の画面を水平方向にＮ（Ｎは２以上の整数）分割、垂直方向にＭ（Ｍは２以上の整数）分割した複数の検出領域それぞれに対応して設けた複数の検出器を有し、前記複数の検出器を用いて前記ビデオカメラによって撮影された前記操作者が行う動作に基づいた第１の検出信号を発生する検出部と、
前記複数の検出器それぞれを前記複数の検出領域に対応させて動作させるためのタイミングパルスを供給するタイミングパルス発生器と、
前記第１の検出信号に基づいて第２の検出信号を生成する生成器と、
前記第２の検出信号それぞれを所定の期間累積加算した加算値が、予め定めた閾値を超えるとフラグを生成するフラグ生成器と、
前記複数の検出器の内、前記複数の検出領域の内の一部の検出領域に対応する検出器から出力された第１の検出信号に基づく第２の検出信号を有効とすると共に、他の検出器から出力された第１の検出信号に基づく第２の検出信号を無効とするよう制御する制御器とを備え、
前記タイミングパルス発生器は、前記フラグ生成器が前記フラグを生成した後の所定の期間、前記複数の検出器の内、前記フラグが生成された特定の検出器と、前記特定の検出器に対応した特定の検出領域に隣接する検出領域を少なくとも含む前記特定の検出領域の近傍の検出領域に対応する検出器とに対して選択的に前記タイミングパルスを供給することを特徴とする電子機器。
【請求項２】
前記ビデオカメラより出力された画像の画面を水平方向にＮ分割した検出領域に対応したＮ個の第１の検出器と、垂直方向にＭ分割した検出領域に対応したＭ個の第２の検出器とを備え、
前記タイミングパルス発生器は、前記フラグ生成器が前記フラグを生成した後の所定の期間、前記制御器の制御に基づいて前記Ｎ個の第１の検出器または前記Ｍ個の第２の検出器に供給するタイミングパルスの幅を前記操作者が行う動作に応じて狭くすることを特徴とする請求項１記載の電子機器。
【請求項３】
前記ビデオカメラより出力された画像の画面を水平方向にＮ分割、垂直方向にＭ分割して設けたＮ×Ｍ個の検出領域に対応したＮ×Ｍ個の検出器を備え、
前記制御器は、前記フラグ生成器が前記フラグを生成した後の所定の期間、前記Ｎ×Ｍ個の検出器の内、前記フラグが生成された特定の検出器から出力された第１の検出信号に基づく第２の検出信号と、前記特定の検出器に対応した特定の検出領域に隣接する検出領域を少なくとも含む前記特定の検出領域の近傍の検出領域に対応する検出器から出力された第１の検出信号に基づく第２の検出信号とを有効とし、他の検出器から出力された第１の検出信号に基づく第２の検出信号を無効とするように制御することを特徴とする請求項１記載の電子機器。
【請求項４】
前記電子機器は、
前記ビデオカメラで撮影された画像の鏡像変換を行う鏡像変換器と、
少なくとも１つの操作用画像を生成する操作用画像生成器と、
前記鏡像変換器より出力された鏡像変換画像信号と前記操作用画像生成器より出力された操作用画像信号とを混合する混合器とを備え、
前記検出部は、前記混合器により混合された画像を前記表示装置に表示させた状態で、前記表示装置に表示された前記操作者が前記操作用画像を操作する所定の動作に対応した前記第１の検出信号を発生することを特徴とする請求項１ないし３いずれか一項に記載の電子機器。
【請求項５】
前記検出部は、
前記ビデオカメラによって撮影された対象物を縦方向に移動させる第１の動作を検出した際に生成される第１の基準信号波形に対応するタップ係数と前記第２の検出信号とを乗算するデジタルフィルタと、
前記デジタルフィルタより出力される信号波形に基づいて前記操作者が行う動作が前記第１の動作であるか否かを検出する動作検出器とを備えることを特徴とする請求項１ないし４のいずれか一項に記載の電子機器。
【請求項６】
前記検出部は、
前記ビデオカメラによって撮影された対象物を横方向に移動させる第２の動作を検出した際に生成される第２の基準信号波形に対応するタップ係数と前記第２の検出信号とを乗算するデジタルフィルタと、
前記デジタルフィルタより出力される信号波形に基づいて前記操作者が行う動作が前記第２の動作であるか否かを検出する動作検出器とを備えることを特徴とする請求項１ないし４のいずれか一項に記載の電子機器。
【請求項１】
電子機器において、
表示装置と、
前記表示装置の前に位置する操作者を撮影するビデオカメラと、
前記ビデオカメラより出力された画像の画面を水平方向にＮ（Ｎは２以上の整数）分割、垂直方向にＭ（Ｍは２以上の整数）分割した複数の検出領域それぞれに対応して設けた複数の検出器を有し、前記複数の検出器を用いて前記ビデオカメラによって撮影された前記操作者が行う動作に基づいた第１の検出信号を発生する検出部と、
前記複数の検出器それぞれを前記複数の検出領域に対応させて動作させるためのタイミングパルスを供給するタイミングパルス発生器と、
前記第１の検出信号に基づいて第２の検出信号を生成する生成器と、
前記第２の検出信号それぞれを所定の期間累積加算した加算値が、予め定めた閾値を超えるとフラグを生成するフラグ生成器と、
前記複数の検出器の内、前記複数の検出領域の内の一部の検出領域に対応する検出器から出力された第１の検出信号に基づく第２の検出信号を有効とすると共に、他の検出器から出力された第１の検出信号に基づく第２の検出信号を無効とするよう制御する制御器とを備え、
前記タイミングパルス発生器は、前記フラグ生成器が前記フラグを生成した後の所定の期間、前記複数の検出器の内、前記フラグが生成された特定の検出器と、前記特定の検出器に対応した特定の検出領域に隣接する検出領域を少なくとも含む前記特定の検出領域の近傍の検出領域に対応する検出器とに対して選択的に前記タイミングパルスを供給することを特徴とする電子機器。
【請求項２】
前記ビデオカメラより出力された画像の画面を水平方向にＮ分割した検出領域に対応したＮ個の第１の検出器と、垂直方向にＭ分割した検出領域に対応したＭ個の第２の検出器とを備え、
前記タイミングパルス発生器は、前記フラグ生成器が前記フラグを生成した後の所定の期間、前記制御器の制御に基づいて前記Ｎ個の第１の検出器または前記Ｍ個の第２の検出器に供給するタイミングパルスの幅を前記操作者が行う動作に応じて狭くすることを特徴とする請求項１記載の電子機器。
【請求項３】
前記ビデオカメラより出力された画像の画面を水平方向にＮ分割、垂直方向にＭ分割して設けたＮ×Ｍ個の検出領域に対応したＮ×Ｍ個の検出器を備え、
前記制御器は、前記フラグ生成器が前記フラグを生成した後の所定の期間、前記Ｎ×Ｍ個の検出器の内、前記フラグが生成された特定の検出器から出力された第１の検出信号に基づく第２の検出信号と、前記特定の検出器に対応した特定の検出領域に隣接する検出領域を少なくとも含む前記特定の検出領域の近傍の検出領域に対応する検出器から出力された第１の検出信号に基づく第２の検出信号とを有効とし、他の検出器から出力された第１の検出信号に基づく第２の検出信号を無効とするように制御することを特徴とする請求項１記載の電子機器。
【請求項４】
前記電子機器は、
前記ビデオカメラで撮影された画像の鏡像変換を行う鏡像変換器と、
少なくとも１つの操作用画像を生成する操作用画像生成器と、
前記鏡像変換器より出力された鏡像変換画像信号と前記操作用画像生成器より出力された操作用画像信号とを混合する混合器とを備え、
前記検出部は、前記混合器により混合された画像を前記表示装置に表示させた状態で、前記表示装置に表示された前記操作者が前記操作用画像を操作する所定の動作に対応した前記第１の検出信号を発生することを特徴とする請求項１ないし３いずれか一項に記載の電子機器。
【請求項５】
前記検出部は、
前記ビデオカメラによって撮影された対象物を縦方向に移動させる第１の動作を検出した際に生成される第１の基準信号波形に対応するタップ係数と前記第２の検出信号とを乗算するデジタルフィルタと、
前記デジタルフィルタより出力される信号波形に基づいて前記操作者が行う動作が前記第１の動作であるか否かを検出する動作検出器とを備えることを特徴とする請求項１ないし４のいずれか一項に記載の電子機器。
【請求項６】
前記検出部は、
前記ビデオカメラによって撮影された対象物を横方向に移動させる第２の動作を検出した際に生成される第２の基準信号波形に対応するタップ係数と前記第２の検出信号とを乗算するデジタルフィルタと、
前記デジタルフィルタより出力される信号波形に基づいて前記操作者が行う動作が前記第２の動作であるか否かを検出する動作検出器とを備えることを特徴とする請求項１ないし４のいずれか一項に記載の電子機器。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【図４０】
【図４１】
【図４２】
【図４３】
【図４４】
【図４５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【図４０】
【図４１】
【図４２】
【図４３】
【図４４】
【図４５】
【公開番号】特開２００７−１８９６６４（Ｐ２００７−１８９６６４Ａ）
【公開日】平成１９年７月２６日（２００７．７．２６）
【国際特許分類】
【出願番号】特願２００６−２９７４３２（Ｐ２００６−２９７４３２）
【出願日】平成１８年１１月１日（２００６．１１．１）
【出願人】（０００００４３２９）日本ビクター株式会社 (3,896)
【Ｆターム（参考）】
【公開日】平成１９年７月２６日（２００７．７．２６）
【国際特許分類】
【出願日】平成１８年１１月１日（２００６．１１．１）
【出願人】（０００００４３２９）日本ビクター株式会社 (3,896)
【Ｆターム（参考）】
[ Back to top ]