電子機器の制御装置
【課題】ユーザの動きの画像をディスプレイ上のメニューに重ねて電子機器の遠隔操作を行う場合、操作メニュー上のユーザ画像のサイズ、位置が最適ではないときは操作しにくい。ユーザ画像のサイズ、位置を補正する場合は、操作が煩雑になる。
【解決手段】検出部１３は表示装置２１の表示画面の表示領域を縦方向９個、横方向に１６個の計１４４個の検出領域に分割し、これら分割検出領域毎にユーザ画像の手の動きの画像を検出する。制御情報判断器（ＣＰＵ）２０は、検出部１３からの検出信号の最大幅に基づいて、スケーラ１５から出力される鏡像変換画像信号によるユーザ画像の画像サイズを所定のサイズとし、かつ、検出信号の重心座標を求め、その重心座標がグラフィックス生成器１６で生成される操作用画像の中心位置にくるように、スケーラ１５を制御する。
【解決手段】検出部１３は表示装置２１の表示画面の表示領域を縦方向９個、横方向に１６個の計１４４個の検出領域に分割し、これら分割検出領域毎にユーザ画像の手の動きの画像を検出する。制御情報判断器（ＣＰＵ）２０は、検出部１３からの検出信号の最大幅に基づいて、スケーラ１５から出力される鏡像変換画像信号によるユーザ画像の画像サイズを所定のサイズとし、かつ、検出信号の重心座標を求め、その重心座標がグラフィックス生成器１６で生成される操作用画像の中心位置にくるように、スケーラ１５を制御する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は電子機器の制御装置に係り、特に人の手などの動作の画像を認識して、テレビジョン受像機などの電子機器の遠隔操作を行うための電子機器の制御装置に関する。
【背景技術】
【０００２】
１９８０年代に赤外線リモートコントローラ（通称リモコン）がテレビジョン受像機をはじめとする家電機器に付属するようになり、手元で家電機器を遠隔制御できるユーザインターフェースが広く普及し、家電製品の操作形態を大きく変貌させた。現在においてもこの操作形態が主流である。リモコンは一機能をその機能に割り当てられた一つのキーを押下することで実行する仕組みが基本となっている操作装置である。例えば、テレビジョン受像機に付属するリモコンでは、「電源」、「チャンネル」、「音量」、「入力切替」などの機能を遠隔操作するためのキーが存在する。このリモコンによる遠隔操作方法は、これまでのテレビジョン受像機にとって大変便利な遠隔の操作方法であった。
【０００３】
しかしながら、リモコンが手元にない場合やリモコンの所在が不明な場合、大変不自由を強いられることを経験させられる。これに対して、画像の動きや形状を認識して、電子機器の電源のオン／オフ（ＯＮ／ＯＦＦ）などの切替操作をする方式が検討されており、例えば、手の動きや形状を認識して機器の操作に応用する技術が従来開示されている（例えば、特許文献１参照）。この特許文献１記載の発明では、専用の赤外線センサやイメージセンサを用いてユーザの手の動きや形状を検出し、その検出した動きや形状に基づいて、制御対象の電子機器を遠隔操作するようにしており、ユーザ自身の手を用いるので、リモコンを不要にでき、いつでも操作することができる。
【０００４】
一方、最近始まったデータ放送を受信するテレビジョン受像機において、所望のメニュー画面を選択するためには、リモコンの「上」、「下」、「左」、「右」や「決定」キーを何度も押下する必要があり、リモコンでの操作は煩雑で使いづらくなっている。また、ＥＰＧ（電子プログラムガイド）を用いて操作する場合は、マトリクスに配列された案内画面から所望の位置を選択して、リモコンのキーを押下する必要があるため、データ放送受信用テレビジョン受像機と同様にきめ細かな選択操作が必要であるという課題を有している。従って、これらのきめ細かな選択操作に対しても、ユーザの手の動きや形状の認識を活用して、多様な操作に対応できる方式が望まれている。
【０００５】
一方、このような課題を解決するために、マウスまたはこれに類似した位置指定操作装置を使って得られる位置指定情報を、リモコンキーのキー押下信号の時系列パターンであるキー押下時系列符号に符号化し、そのキー押下時系列符号をテレビジョン受像機に送信するようにした制御装置が提案されている（例えば、特許文献２参照）。
【０００６】
【特許文献１】特開平１１−３３８６１４号公報
【特許文献２】特開２００３−２８３８６６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１記載の方法でテレビジョン受像機などの電子機器に表示されたメニューの操作を行う時に、ユーザ自身の画像、または動作をディスプレイ上のメニューに重ねて行う場合に、被制御機器である電子機器に対するユーザの位置や距離によって、操作メニュー上のユーザ画像のサイズ、位置が最適ではないような場合がある。そのため、操作メニュー上のユーザ画像のサイズ、位置を補正するために、操作メニューを表示させた後に操作メニューの特定のボタンを操作することによって調整する必要があり、操作が煩雑になるという問題がある。
【０００８】
また、特許文献２記載の制御装置は、パーソナルコンピュータ（パソコン）の操作と酷似したポインティングの操作により、テレビジョン受像機を遠隔操作するものであるため、パソコンを利用しない人にとっては使いづらいという問題がある。
【０００９】
本発明は以上の点に鑑みなされたもので、ユーザの画像とメニューの位置関係及びユーザの画像サイズを自動的に調整することにより、操作性を向上し得る電子機器の制御装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記の目的を達成するため、本発明は、表示装置と、その表示装置の前方に位置する操作者を撮影するビデオカメラとを備えた電子機器の操作を、ビデオカメラで撮影して得た操作者の画像の動きに応じて制御する電子機器の制御装置において、ビデオカメラで撮影された画像を鏡像変換して、第１の鏡像変換画像信号を生成し、この生成した第１の鏡像変換画像信号を出力する鏡像変換手段と、入力されるサイズ制御信号に応じた拡大率又は縮小率で第１の鏡像変換画像信号の画像サイズを制御し、かつ、入力される位置制御信号に応じて第１の鏡像変換画像信号の表示される画面における画像位置を制御した第２の鏡像変換画像信号を出力する画像変換手段と、複数の操作検出領域を含んだ操作用画像に対応した操作用画像信号を生成する操作用画像信号生成手段と、第２の鏡像変換画像信号と操作用画像信号とを混合して表示装置へ出力する混合手段と、第２の鏡像変換画像信号を表示する画面を水平方向にＮ分割（Ｎは２以上の自然数）し、かつ、垂直方向にＭ分割（Ｍは２以上の自然数）することにより得られる計Ｎ×Ｍ分割された分割画像領域のそれぞれについて、操作者の所定の部位の動作を示す画像信号を検出する検出手段と、検出手段で検出された動作を示す画像信号により得られる動き画像と分割画像領域との位置関係とから当該動き画像の重心座標を求め、その重心座標が操作用画像の所定操作検出領域に位置するように当該動き画像の位置を制御する位置制御信号を生成すると共に、当該動き画像の最大幅に応じて画像サイズを決定してサイズ制御信号を生成し、これら生成した位置制御信号とサイズ制御信号とを画像変換手段に出力する制御信号生成手段とを有する構成としたものである。
【発明の効果】
【００１１】
本発明によれば、操作者（ユーザ）の動きを示す画像の位置と制御対象の電子機器の表示部に表示されている操作用画像との相対位置、及び操作者（ユーザ）の画像サイズを最適位置及び最適な大きさに自動で調整することができ、より短い手数で操作でき、操作性を向上することができる。
【発明を実施するための最良の形態】
【００１２】
次に、発明を実施するための最良の形態について図面と共に説明する。図１は従来のリモコンによる操作形態と、本発明の操作形態との違いを説明するための図である。視聴者（ユーザ）３が、テレビジョン受像機１を操作する場合、従来はユーザ３がリモコン４を手に持って所望の機能を働かせるキーをテレビジョン受像機１に向けて押下することによって操作がなされる。従って、リモコン４が無ければ操作ができず、不便を強いられる場合を時々経験する。
【００１３】
これに対し、本実施の形態では、図１に示すようにテレビジョン受像機１に設けられているビデオカメラ２により、テレビジョン受像機１の前方にいるユーザ３を撮影し、ビデオカメラ２の撮影画像からユーザ３の動作を検出して、テレビジョン受像機１及びそれに関連する機器の操作が行われる。検出されるユーザ３の動作とは、具体的にはテレビジョン受像機１の電源オン／オフ（ＯＮ／ＯＦＦ）制御やメニュー画面の表示／非表示の制御、メニュー画面から所望のボタンを選択する制御に対応した、ユーザ３の身体（手、足、顔など）を使った特定の動作のことであり、この特定の動作を検出することでテレビジョン受像機１及びそれに関連する機器の操作を行う。
【００１４】
図２は本発明になる電子機器の制御装置の一実施の形態に係るテレビジョン受像機の要部のブロック図を示す。同図において、テレビジョン受像機１は、ビデオカメラ２、基準同期発生器１１、タイミングパルス発生器１２、検出部１３、鏡像変換器１４、スケーラ１５、グラフィックス生成器１６、第１の混合器１７、画素数変換器１８、第２の混合器１９、制御情報判断器（ＣＰＵ）２０、及び表示装置２１を備えている。
【００１５】
基準同期発生器１１は、テレビジョン受像機１の基準になる水平周期パルスと垂直周期パルスとを発生し、テレビジョン放送受信時や外部の機器から映像信号が入力されている場合は、その入力映像信号の同期信号に同期するパルスを生成する。タイミングパルス発生器１２は、基準同期発生器１１から出力される水平周期パルス及び垂直周期パルスに同期して、図２に示す各ブロックで必要とする水平方向と垂直方向の任意の位相と幅を有するタイミングパルスを生成する。
【００１６】
ビデオカメラ２は、図１に示すようにテレビジョン受像機１の前方に位置する視聴者（ユーザ）３、またはテレビジョン受像機１の前方の映像を撮影する。ビデオカメラ２により撮影して得られた出力撮像信号は、輝度（Ｙ）信号、及び色差（Ｒ−Ｙ、Ｂ−Ｙ）信号からなり、基準同期発生器１１から出力される水平周期パルス及び垂直周期パルスに同期している。また、本実施の形態では、ビデオカメラ２で撮像される画像の画素数は、表示装置２１の画素数と一致しているものとする。なお、画素数が一致していない場合は画素数変換器を挿入すればよい。
【００１７】
検出部１３は、ここでは１４４個の検出器、すなわち第１の検出器３０１，第２の検出器３０２，第３の検出器３０３，・・・，第１４４の検出器４４４からなる。検出部１３に含まれる検出器の数は特定するものではなく、グラフィックス生成器１６で生成されるメニュー画面と連携した制御内容を表すプッシュボタン（パソコンではマウスでクリック操作する操作ボタンに該当）の数に対応して変動する。図２では後述する理由から検出器の数を最大１４４個用意した場合を示す。検出部１３は、１４４個に分割された画面領域のそれぞれについて、被写体像であるユーザの所定の部位（手や指）の動きを示す動き画像を検出する。
【００１８】
鏡像変換器１４は、ビデオカメラ２で撮影した被写体像を表示装置２１上に鏡と同じように左右を反転して表示するためのものである。従って、文字を表示する場合は鏡と同じように左右が反転することになる。本実施の形態では、メモリを活用して水平方向の画像を反転させる手法を想定しているが、表示装置２１として陰極線管（ＣＲＴ;Cathode Ray Tube）を用いる場合には、水平偏向を逆に操作することで同様の効果が得られる。その場合には、グラフィックスやその他混合する側の画像を予め水平方向に左右逆転しておく必要がある。
【００１９】
スケーラ１５は、ビデオカメラ２により撮影した被写体像（ユーザの画像）の大きさと位置とを調整する。すなわち、スケーラ１５は、検出部１３からの動き画像から、制御情報判断器（ＣＰＵ）２０がその最大幅や重心座標に基づいて生成した制御信号に基づいて、入力鏡像変換画像信号の拡大率や縮小率を２次元で調整すると共に、グラフィックス生成器１６により生成される操作ボタン等の操作用画像に対する相対的な位置を移動調整する。また、スケーラ１５は被写体画像から動き画像だけを切り出すことも行う。なお、スケーラ１５は拡大率や縮小率の調整を行わずに、水平と垂直の位相調整を行うこともできる。このスケーラ１５の利用の仕方については後で詳しく述べる。
【００２０】
グラフィックス生成器１６は、制御情報判断器（ＣＰＵ）２０から転送されるメニュー画面を展開するもので、メモリ上の信号がＲ（赤）信号、Ｇ（緑）信号、Ｂ（青）信号の原色信号で展開されていても、後段で映像信号と合成または混合される信号として、Ｙ（輝度）信号と色差信号（Ｒ−Ｙ、Ｂ−Ｙ）を出力する。このグラフィックス生成器１６は操作メニューや操作ボタン等の操作用画像信号を生成する。また、生成されるグラフィックスのプレーン数は限定するものではないが、説明に要するものは１プレーンである。グラフィックス生成器１６が出力する信号の画素数は、本実施の形態では表示装置２１の画素数に一致させるようにしている。一致していない場合は、画素数変換器を入れて一致させる必要がある。
【００２１】
第１の混合器１７は、グラフィックス生成器１６の出力信号Ｇｓと、スケーラ１５の出力信号Ｓ１とを、制御値α１により混合割合を制御して混合する。具体的には、第１の混合器１７は下記式で表される信号Ｍ１ｏを出力する。
【００２２】
Ｍ１ｏ＝α１・Ｓ１＋（１−α１）・Ｇｓ （１）
制御値α１は、「０」から「１」の間の値に設定され、制御値α１を大きくするとスケーラ出力信号Ｓ１の割合が大きくなり、グラフィックス生成器出力信号Ｇｓの割合が小さくなる。混合器１７の例としてはこれに限らないが、本実施の形態では、入力される２系統の信号情報が入っていれば同様の効果が得られる。
【００２３】
画素数変換器１８は、外部から入力される外部入力信号の画素数と表示装置２１の画素数を合わせるための画素数変換を行う。外部入力信号は、放送されているテレビ信号（データ放送なども含む）やビデオ（ＶＴＲ）入力などテレビジョン受像機の外部から入力されてくる信号を想定している。外部入力信号の同期系については、ここでの説明から省いてあるが、同期信号（水平及び垂直）を取得し、基準同期発生器１１にて同期を一致させている。
【００２４】
第２の混合器１９は、第１の混合器１７と同様の機能を有する。すなわち、第１の混合器１７の出力信号Ｍ１ｏと、画素数変換器１８の出力信号Ｓ２とを制御値α２で混合割合を制御して混合する。具体的には、第２の混合器１９は下記式で表される信号Ｍ２ｏを出力する。
【００２５】
Ｍ２ｏ＝α２・Ｍ１ｏ＋（１−α２）・Ｓ２ （２）
制御値α２は、「０」から「１」の間の値に設定され、制御値α２を大きくすると第１の混合器出力信号Ｍ１ｏの割合が大きくなり、画素数変換器出力信号Ｓ２の割合が小さくなる。混合器１９の例としてはこれに限らないが、本実施の形態では、入力される２系統の信号情報が入っていれば同様の効果が得られる。
【００２６】
制御情報判断器（ＣＰＵ）２０は、検出部１３から出力されるデータの解析を行い、各種制御信号を出力する。制御情報判断器（ＣＰＵ）２０の処理内容は、ソフトウェアで実現するものとなり、アルゴリズムの詳細は後述する。本実施の形態では、ハードウェア（各機能ブロック）による処理と、ソフトウェア（ＣＰＵ上で展開）による処理とが混在するが、特にここで示す切り分けに限定するものではない。
【００２７】
表示装置２１は、ＣＲＴ（陰極線管）、ＬＣＤ（液晶ディスプレイ）、ＰＤＰ（プラズマディスプレイ）、あるいはプロジェクションディスプレイなどを想定しているが、ディスプレイの表示方式を限定するものではない。表示装置２１の入力信号は、第２の混合器１９から出力された信号Ｍ２ｏであり、これは輝度信号Ｙと、色差信号Ｒ−Ｙ及びＢ−Ｙであるが、表示装置２１の内部にてＲＧＢの三原色信号にマトリクス変換された後、表示される。
【００２８】
次に、以上のように構成されたテレビジョン受像機１の動作を、視聴者（ユーザ）３の動作を交えて説明する。図３は、本実施の形態が実際に使用されている状態の一例を示すイメージ図である。同図に示すように、表示装置２１の画面には機器の操作メニューに、これを操作するユーザをビデオカメラ２で撮影したカメラ画像が鏡像変換機１４で鏡像変換して重ねて表示されている。水平方向と垂直方向のそれぞれに示された格子上の線は、図２の検出部１３がユーザのジェスチャーを捉えるために便宜的に画像を区切って検出を行っていることを示すものである。
【００２９】
ユーザが被制御対象の電子機器（ここでは、テレビジョン受像機１）の操作を行おうとする場合は、その電子機器に対するユーザの位置はできるだけ限定されずに広いことが望ましい。従って、図３に示すように、テレビジョン受像機１の操作を表示装置２１の画面上に表示される操作メニューとこれを操作するユーザの画像とを重ね合わせて行わせようとした場合、図４に示すように、位置固定のビデオカメラ２に対して、ユーザが３Ａで示す位置Ａにいる場合には、図３に示したように操作メニューとユーザ画像との位置関係が最適で操作がし易い。
【００３０】
しかし、ユーザが３Ｂで示す位置Ｂにいる場合は、位置３Ａよりも遠いために、ビデオカメラ２のズームが一定のままでは表示装置２１の画面上に表示される操作メニューとこれを操作するユーザの画像とは図５に示すようになって、操作メニューの操作の為にはユーザの大きな動作を必要とする位置関係となり、操作メニューとユーザの関係が最適にはならず操作がしにくいという状況が発生する。そこで、本実施の形態では、ユーザの動きを基にユーザが操作メニューがし易い位置に画像のサイズと位置を自動的に調整するものである。
【００３１】
次に、ユーザの操作する手の画像のサイズと位置を自動的に調整する方法について説明する。図６はｙ軸方向に９個、ｘ軸方向に１６個に分割された検出ブロックについて説明するための図である。図２の検出部１３内にはビデオカメラ２で撮影されたユーザの手の画像を、図６に示したｙ軸方向に９個、ｘ軸方向に１６個に分割された計１４４個の検出ブロック（領域）を各検出ブロック毎に互いに独立して検出する計１４４個の検出器３０１〜４４４が存在する。各検出器３０１〜４４４は手の動作を検出する検出器として機能する。
【００３２】
図２の検出器３０１〜４４４はそれぞれ同一構成であり、代表して検出器３０１の構成を図７に示す。図７に示すように、検出器３０１は特定色フィルタ３１と、階調限定器３２と、動作検出フィルタ３３と、合成器３４と、オブジェクトゲート器３４とを備えている。
【００３３】
特定色フィルタ３１について図８を参照して説明する。図８は色差平面図で、縦軸を色差信号Ｒ−Ｙの値、横軸を色差信号Ｂ−Ｙの値としたものである。テレビ信号のすべての色信号はこの色差平面図上のベクトルで表すことができ、極座標で評価することができる。特定色フィルタ３１は、色差信号で入力される色信号の色相と色の濃さ（飽和度）を特定するフィルタである。色信号の色相と色の濃さ（飽和度）を特定するために色相は、図８の色差平面図の第１象限のＢ−Ｙ軸を基準（零度）として左回りの角度で表現するものとする。また、飽和度は、色差平面図でベクトルのスカラ量で表される。色差平面図の原点が飽和度０（零）で色がない状態を示し、原点から離れるに従い飽和度が大きくなり色が濃いことを示す。
【００３４】
図８では、特定色フィルタ３１により抽出される範囲は、等色相線Ｌ１に対応する角度θ１より小さく、かつ、等色相線Ｌ２に対応する角度θ２より大きな角度範囲に設定され、また色の濃さは等飽和度線Ｌ４より小さく、かつ、等飽和度線Ｌ３より大きいベクトル長さ範囲に設定されている。色差平面図の第２象限のこの検出範囲は本実施の形態で抽出する人間の手の色である肌色の領域に相当するが、特にこれに限定するものではない。特定色フィルタ３１は、ビデオカメラ２から入力される色差信号（Ｒ−Ｙ、Ｂ−Ｙ）が上記の等色相線Ｌ１とＬ２の角度範囲と等飽和度線Ｌ３とＬ４の範囲とで囲まれた領域に入っているか否かを検出する。そのためには特定色フィルタ３１は色差信号から角度と飽和度を算出して判定を行う。
【００３５】
角度算出は、一例として図９に示すような処理によって、入力画素それぞれについて行われ、図８に示す色差平面図上でなす角度が算出される。図９は角度算出処理をフローチャートとして図示しているが、角度算出処理はソフトウェア、ハードウェアのいずれで実現してもよい。本実施の形態では、ハードウェアで実現するようにしている。
【００３６】
角度算出動作について説明するに、まず、入力画素それぞれの色差信号Ｒ−Ｙ，Ｂ−Ｙ成分の符号を判断し、入力画素の色相が、色差平面図上の第何象限に位置しているかが検出される（図９のステップＳ１０１）。続いて、色差信号Ｒ−Ｙ，Ｂ−Ｙ成分それぞれの絶対値の大きい方をＡとし、小さい方をＢとして算出する（図９のステップＳ１０２）。次に、Ｂ／Ａより角度Ｔ１を検出する（図９のステップＳ１０３）。この角度Ｔ１は、ステップＳ１０２での処理より明らかなように、０°〜４５°となる。角度Ｔ１は、折れ線近似やＲＯＭテーブルによって算出することができる。
【００３７】
続いて、Ａが｜Ｒ−Ｙ｜であるか、即ち、｜Ｒ−Ｙ｜＞｜Ｂ−Ｙ｜であるか否かが判定される（図９のステップＳ１０４）。ステップＳ１０４の判定がＮＯつまり、｜Ｒ−Ｙ｜＞｜Ｂ−Ｙ｜でなければ、そのままステップＳ１０６に進む。ステップＳ１０４の判定がＹＥＳつまり、｜Ｒ−Ｙ｜＞｜Ｂ−Ｙ｜であれば、ステップＳ１０５に進み、角度Ｔ１を、（９０−Ｔ１）に置き換える。これによって、ｔａｎ−１（（Ｒ−Ｙ）／（Ｂ−Ｙ））が求められる。ステップＳ１０３において検出する角度Ｔ１を０°〜４５°としているのは、ｔａｎ−１（（Ｒ−Ｙ）／（Ｂ−Ｙ））のカーブは４５°を超えると急激に勾配が大きくなり、角度の算出に不適であるからである。
【００３８】
更に、ステップＳ１０６にて、ステップＳ１０１にて検出した象限のデータを用いて角度Ｔ１又はＴが、色差平面図上の第２象限か否かを判定し、第２象限であれば、ステップＳ１０７に進み、Ｔ＝１８０−Ｔ１を算出する。第２象限でなければ、ステップＳ１０８に進み、第３象限か否かを判定し、第３象限であれば、ステップＳ１０９に進み、Ｔ＝１８０＋Ｔ１を算出する。角度Ｔ１又はＴが、色差平面図上の第３象限でなければ、ステップＳ１１０に進み、第４象限か否かを判定し、第４象限であれば、ステップＳ１１１に進み、Ｔ＝３６０−Ｔ１を算出する。第４象限でもない、すなわち第１象限であるときは、角度ＴをＴ１とする（図９のステップＳ１１２）。そして、最終的に、ステップＳ１１２にて、入力画素それぞれの図８の色差平面図上でなす角度Ｔ（図８ではθｓ）が出力される。
【００３９】
以上の処理により、入力された色差信号Ｒ−Ｙ，Ｂ−Ｙの色差平面図上での角度を０°〜３６０°の範囲で求めることができる。ステップＳ１０４〜Ｓ１１１は、ステップＳ１０３にて検出した角度Ｔ１を角度Ｔに補正する処理である。また、ステップＳ１０４〜Ｓ１１１は、角度Ｔ１を、色差平面図の第１〜第４象限に応じて補正している。
【００４０】
次に色の濃さである飽和度の算出は、下記の式により行われる。
【００４１】
Ｖｃ＝ｓｑｒｔ（Ｃｒ×Ｃｒ＋Ｇｂ）（Ｃｂ） （３）
但し、上式中、Ｃｒは、図８に示すように色信号の（Ｒ−Ｙ）軸成分であり、Ｃｂは（Ｂ−Ｙ）軸成分である。またｓｑｒｔ（）は平方根の演算を行う演算子である。
【００４２】
ここでの処理はソフトウェアまたはハードウェアを特定するものではないが、乗算と平方根はハードウェアでは実現が容易でなく、またソフトウェアでも演算のステップが多く、好ましくないので以下のように近似することもできる。
【００４３】
Ｖｃ＝ｍａｘ（｜Ｃｒ｜，｜Ｃｂ｜）
＋０.４・ｍｉｎ（｜Ｃｒ｜，｜Ｃｂ｜） （４）
但し、上式中、ｍａｘ（｜Ｃｒ｜，｜Ｃｂ｜）は、｜Ｃｒ｜と｜Ｃｂ｜のうち、大きい値の方を選択する演算処理であり、ｍｉｎ（｜Ｃｒ｜，｜Ｃｂ｜）は、｜Ｃｒ｜と｜Ｃｂ｜のうち、小さい値の方を選択する演算処理である。またＶｃはベクトルのスカラ量であり、ここでは飽和度を表す。
【００４４】
以上より求めた角度（色相）Ｔと飽和度Ｖｃが等色相線の角度θ１からθ２の範囲に入っているか否か、また、色の濃さが等飽和度線Ｌ４より小さく、かつ、等飽和度線Ｌ３より大きい範囲に入っているか否かを評価する。この範囲に入っている信号を通過させるのが、図７に示す特定色フィルタ３１の役割である。
【００４５】
図７の階調限定器３２は、図１０に示すように、輝度信号の特定の階調を限定するものである。６ビットデジタル信号の場合、０〜２５５までの２５６階調を有するが、この範囲の階調を限定する最大レベルＬｍａｘ及び最小レベルＬｍｉｎを設定し、レベルがその間にある輝度信号を出力する。この階調限定器３２は、人間の手の階調レベルの輝度信号を通過させるものである。
【００４６】
次に、図７の動作検出フィルタ３３について図１１及び図１２を併せ参照して説明する。動作検出フィルタ３３は、図１１に示すように、１フレーム遅延器４１と、減算器４２と、絶対値器４３と、非線形処理器４４と、量子化器４５とから構成されており、入力される輝度信号から画像の動きを検出する。図１１において、まず、１フレーム遅延器４１でビデオカメラ２からの輝度信号は１フレーム遅延された後、減算器４２に入力される。減算器４２ではビデオカメラ２からの輝度信号と１フレーム遅延器４１からの輝度信号との差分信号を算出し、絶対値器４３に出力する。差分信号は信号のレベルによって正又は負の値で出力されるため、動作検出フィルタ４は、絶対値器４３にて差分信号を絶対値化して正側の信号だけで差分信号を扱う。
【００４７】
非線形処理器４４は正の値のみの差分信号が入力され、非線形処理による感度調整を行う。図１２（Ａ）にはこの非線形処理の特性が示されている。図１２（Ａ）の横軸は入力信号（ここでは絶対値器４３からの絶対値化された正の差分信号）のレベル、縦軸は出力信号のレベルを示す。入力信号がａ以下のレベルではノイズとみなして、出力信号は０レベルとする。折れ線Iは入力信号がレベルａ以上レベルｂ１未満のレベル範囲では入力信号レベルに応じたレベルの出力信号を出力し、レベルｂ１以上ではリミット値ＬIMに制限される入出力特性を示す。また、折れ線IIは入力信号がレベルａ以上レベルｂ２未満のレベル範囲では入力信号レベルに応じたレベルの出力信号を出力し、レベルｂ２以上ではリミット値ＬIMに制限される入出力特性を示す。更に、折れ線IIIは入力信号がレベルａ以上レベルｂ３未満のレベル範囲では入力信号レベルに応じたレベルの出力信号を出力し、レベルｂ３以上ではリミット値ＬIMに制限される入出力特性を示す。
【００４８】
非線形処理器４４の上記の折れ線I〜IIIで示すような入出力特性は、範囲Ｒ１及びＲ２の範囲内で可変され感度調整が行われ、その結果が量子化器４５に出力される。量子化器４５は非線形処理器４４で非線形処理された信号を閾値と大小比較して２値化する。図１２（Ｂ）に２値化された非線形の差分信号が示されている。
【００４９】
再び図７に戻って説明する。図７において、合成器３４は、特定色フィルタ３１、階調限定器３２及び動作検出フィルタ３３からそれぞれ出力された信号を合成して領域パルスに変換する。すなわち、合成器３４は、特定色フィルタ３１を通過した信号、階調限定器３２を通過した信号、及び動作検出フィルタ３３を通過した信号が全て高レベルである場合に、高レベルの領域パルスを出力する。
【００５０】
合成器３４で生成された領域パルスは、オブジェクトゲート３５に供給される。オブジェクトゲート３５は、領域パルスが高レベルであるとき、輝度信号と色差信号を通過させ、領域パルスが低レベルであるときは（すなわち、領域パルス外の範囲であるときは）、入力された輝度信号と色差信号は通過させず、規定した値の信号を出力する。本実施の形態では、通過させない範囲では、黒レベルの輝度信号及び飽和度ゼロの色差信号を規定した値の信号として出力する。
【００５１】
この図７に示される検出器３０１（検出器３０２〜４４４も同様）の働きは、特定色フィルタ３１で色信号の色相（角度）と飽和度を限定した範囲を通過した信号と、階調限定器３２により輝度信号レベルで限定した範囲を通過した信号と、動作検出フィルタ３３で動作を検出して動きがあるときの映像信号とを通過させるものである。特定色フィルタ３１で色相と飽和度を限定することで人の肌色に絞ることはできるが、人の肌色は日焼け具合で変化し、また人種によっても異なる。これら肌色といっても様々であるが、色相、飽和度、輝度信号の階調限定の範囲を調整すれば概ね人の手の画像を検出することができる。
【００５２】
また、本実施の形態では動作検出フィルタ３３により縦または横に手を振る動作を認識しているが、これは静止しているものと動作しているものを区別することである。これにより、検出器３０１〜４４４の処理で手が動作している信号のみを後段に送ることができる。
【００５３】
図１３には検出器３０１〜４４４の出力信号の内容をモデル化したものが描かれている。図１３にはビデオカメラ２で撮影された手の画像の中で肌色が動いている部分のブロックが抽出されて描かれている。ここでは、この抽出された部分のブロックをハンドブロックと呼ぶことにする。このハンドブロックが上下に移動して、あたかもコイコイ（来い来い）というような動作をした場合に、ユーザが機器の操作を可能とするメニューが画面上に表れるとする。
【００５４】
このハンドブロックの重心座標をＧ（Ｘｇ，Ｙｇ）とする時、図１３に示すハンドブロックＡの座標は前述した１４４個の検出ブロック（領域）のうち下記のようにハンドブロックＡを構成する個々の検出ブロックの座標を加算して、構成する検出ブロックの数で除算して求められる。いま、ｎ行目の検出ブロックのＸ座標をＸｎ、ｍ列目の検出ブロックのＹ座標をＹｍとすると、ハンドブロックの重心座標（Ｘｇ，Ｙｇ）は下記のように求められる。
【００５５】
Ｘｇ＝ΣΣＸｎ／ＴＯＴＡＬ （５）
Ｙｇ＝ΣΣＹｍ／ＴＯＴＡＬ （６）
ここで、ＴＯＴＡＬは、ハンドブロックを構成する検出ブロックの個数とする。
【００５６】
このようにして求められるハンドブロックの重心座標のＹｇの時間変化を表したのが図１４である。図１４中、Ｔで表される１周期が手の上下運動１回に相当する。そして、例えばこの動作が３回あった場合にメニューを表示させるというようにしておく。ここで、図１のユーザ３とビデオカメラ２との距離が近い場合には、図１３に示されるようにハンドブロックＡ、上記距離が遠い場合にはハンドブロックＢのように抽出される。ハンドブロックＡは図４のユーザ位置３Ａで抽出された手、ハンドブロックＢは図４のユーザ位置３Ｂで抽出された手に相当する。
【００５７】
この状態で画面中央にメニューが表示されている場合には、図４のユーザ位置３Ａからの操作が想定されたメニューとユーザの大きさ、位置関係は図３のようになり、図４のユーザ位置３Ｂからの操作ではユーザが小さく画面上に映るため、メニューとユーザの大きさ、位置関係は図５のようになる。図３に比べ図５では、ユーザの大きさがメニューに対して小さく、かつ、離れているためメニュー操作のために大きな動作が必要となる。
【００５８】
ここで、図１３に示すハンドブロックＢを構成するブロックは座標（３,１）、（３,０）、（３,−１）、（２,０）、（２,−１）の計５つであるので、重心座標は（Ｘｇ,Ｙｇ）＝（２.６,−０,２）と表せる。一方、図１３に示すハンドブロックＡを構成するブロックは座標（−４,１）、（−４,０）、（−４,−１）、（−５,０）、（−５,−１）、（−６,０）、（−６,−１）の計７つであるので、重心座標は（Ｘｇ,Ｙｇ）＝（−４.９,−０.３）と表せる。
【００５９】
従って、メニューの中心が座標（ｘ,ｙ）＝（０,０）としたならば、ハンドブロックＡ、Ｂの重心座標を中心にカメラ画像から切り出して、座標（ｘ,ｙ）に重ねるようにすれば、ユーザの手がメニューの中央になるため、メニュー上のどのボタンに対しても等距離となり操作に最適な位置となる。
【００６０】
また、図１３に示すハンドブロックのｘ軸方向に占めるブロック数の最大幅をハンドブロックＡとＢで比較すると、ハンドブロックＡの方が大きいことがわかる。これは即ち、図４との関係からも分かるように操作対象機器とユーザの距離を表すと考えることもできる。また、ハンドブロックＢは幅が小さいためにユーザは子供であり、ハンドブロックＡは幅が大きいために大人であると考えることもできる。
【００６１】
いずれにせよ、ハンドブロックの最大幅が小さい場合には図５に示されるように、画面上でのユーザとメニューの大きさが画面上のメニュー操作に対して最適ではなく、大きな動作が必要となることが予想される。従って、このハンドブロックの最大幅に応じて、その幅が所定の幅となるようにユーザのカメラ画像をズームして捉えることで、カメラ画像を図３に示したような最適な大きさとする。上記のズームは、ビデオカメラ２がズーム機能を有している場合はそのズーム機能を制御して実現し、ズーム機能を有しない場合はスケーラ１５により電気信号処理により拡大率や縮小率の調整を行うことで実現する。
【００６２】
ここで、ズームの倍率を求める方法について説明する。図１３のように検出されたハンドブロックに関して、操作をするために望ましいハンドブロックのＸ軸方向の幅をＸrefとし、実際に検出されたハンドブロックのＸ軸方向の幅をｘとすると、行うべきズームの倍率Ｋzは下記の式で求められる。
【００６３】
Ｋz＝Ｘref／ｘ
実際には、図１３で表わすハンドブロックは１フレームの検出結果に過ぎず、ユーザが意識して行った操作であるとすると検出するまでには数フレームを要する。この間に、検出すべき手の陰影の変化などにより必ずしも正確な幅が求められるとは限らない。従って、上記式の右辺に表わす幅ｘは数フレームにわたって検出されるハンドブロックのＸ軸方向の幅の平均ないし最大値、あるいは最大値と最小値を除いた平均値を使用する。
【００６４】
このように、本実施の形態によれば、ユーザの手の画像の画像位置及び画像の大きさを最適な画像位置及び画像サイズに自動調整するようにしたため、ユーザの手の画像位置を、図３のようにメニュー画面の中心位置で所定の大きさで表示することができ、これによりユーザは少ない距離の動きにより所望の操作ができ、操作性を向上することができる。なお、スケーラ１５で切り出したユーザの画像を基にユーザの手による遠隔操作が完了した後には、再びビデオカメラ２が広い範囲を捉えるべく、その切り出し位置を広げる動作を行うことは当然のことである。
【００６５】
なお、本発明は以上の実施の形態に限定されるものではなく、例えば操作する電子機器としては、テレビジョン受像機以外の電子機器も可能である。
【図面の簡単な説明】
【００６６】
【図１】従来のリモコンによる操作形態と、本発明の操作形態との違いを説明するための図である。
【図２】本発明の電子機器の制御装置の一実施の形態に係るテレビジョン受像機の要部のブロック図である。
【図３】本発明の一実施の形態が実際に使用されている状態の一例を示すイメージ図である。
【図４】ユーザのビデオカメラに対する距離の違いによるビデオカメラへの捉えられ方を説明する図である。
【図５】本発明の一実施の形態が実際に使用されている状態の他の例（図３よりもユーザ位置が遠い場合の例）を示すイメージ図である。
【図６】本発明の一実施の形態における検出ブロックの一例の構成をビデオカメラに撮影されたユーザと共に示す図である。
【図７】図２中の検出部を構成する検出器の一例の構成を示すブロック図である。
【図８】図７に示す特定色フィルタで抽出する対象物の色相及び飽和度を説明するための図である。
【図９】色差信号から色相を算出する処理の一例のフローチャートである。
【図１０】図７に示す階調限定器で抽出する対象物の輝度信号レベルを説明するための図である。
【図１１】図７に示す動作検出フィルタの一例の構成を示すブロック図である。
【図１２】図１１中の非線形処理器の一例の特性図である。
【図１３】図２中の検出部の出力信号の一例が画面に映し出されている様子をモデル化して描いた図である。
【図１４】図１３に示すハンドブロックの重心座標Ｙｇの時間変化の一例を表した図である。
【符号の説明】
【００６７】
１ テレビジョン受像機（電子機器）
２ ビデオカメラ
３ ユーザ（視聴者）
４ リモートコントローラ（リモコン）
１１ 基準同期発生器
１２ タイミングパルス発生器
１３ 検出部
１４ 鏡像変換器
１５ スケーラ
１６ グラフィックス生成器
１７ 第１の混合器
１８ 画素数変換器
１９ 第２の混合器
２０ 制御情報判断器（ＣＰＵ）
２１ 表示装置
３１ 特定色フィルタ
３２ 階調限定器
３３ 動作検出フィルタ
３４ 合成器
３５ オブジェクトゲート
４１ １フレーム遅延器
４２ 減算器
４３ 絶対値器
４４ 非線形処理器
４５ 量子化器
３０１〜４４４ 検出器
【技術分野】
【０００１】
本発明は電子機器の制御装置に係り、特に人の手などの動作の画像を認識して、テレビジョン受像機などの電子機器の遠隔操作を行うための電子機器の制御装置に関する。
【背景技術】
【０００２】
１９８０年代に赤外線リモートコントローラ（通称リモコン）がテレビジョン受像機をはじめとする家電機器に付属するようになり、手元で家電機器を遠隔制御できるユーザインターフェースが広く普及し、家電製品の操作形態を大きく変貌させた。現在においてもこの操作形態が主流である。リモコンは一機能をその機能に割り当てられた一つのキーを押下することで実行する仕組みが基本となっている操作装置である。例えば、テレビジョン受像機に付属するリモコンでは、「電源」、「チャンネル」、「音量」、「入力切替」などの機能を遠隔操作するためのキーが存在する。このリモコンによる遠隔操作方法は、これまでのテレビジョン受像機にとって大変便利な遠隔の操作方法であった。
【０００３】
しかしながら、リモコンが手元にない場合やリモコンの所在が不明な場合、大変不自由を強いられることを経験させられる。これに対して、画像の動きや形状を認識して、電子機器の電源のオン／オフ（ＯＮ／ＯＦＦ）などの切替操作をする方式が検討されており、例えば、手の動きや形状を認識して機器の操作に応用する技術が従来開示されている（例えば、特許文献１参照）。この特許文献１記載の発明では、専用の赤外線センサやイメージセンサを用いてユーザの手の動きや形状を検出し、その検出した動きや形状に基づいて、制御対象の電子機器を遠隔操作するようにしており、ユーザ自身の手を用いるので、リモコンを不要にでき、いつでも操作することができる。
【０００４】
一方、最近始まったデータ放送を受信するテレビジョン受像機において、所望のメニュー画面を選択するためには、リモコンの「上」、「下」、「左」、「右」や「決定」キーを何度も押下する必要があり、リモコンでの操作は煩雑で使いづらくなっている。また、ＥＰＧ（電子プログラムガイド）を用いて操作する場合は、マトリクスに配列された案内画面から所望の位置を選択して、リモコンのキーを押下する必要があるため、データ放送受信用テレビジョン受像機と同様にきめ細かな選択操作が必要であるという課題を有している。従って、これらのきめ細かな選択操作に対しても、ユーザの手の動きや形状の認識を活用して、多様な操作に対応できる方式が望まれている。
【０００５】
一方、このような課題を解決するために、マウスまたはこれに類似した位置指定操作装置を使って得られる位置指定情報を、リモコンキーのキー押下信号の時系列パターンであるキー押下時系列符号に符号化し、そのキー押下時系列符号をテレビジョン受像機に送信するようにした制御装置が提案されている（例えば、特許文献２参照）。
【０００６】
【特許文献１】特開平１１−３３８６１４号公報
【特許文献２】特開２００３−２８３８６６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１記載の方法でテレビジョン受像機などの電子機器に表示されたメニューの操作を行う時に、ユーザ自身の画像、または動作をディスプレイ上のメニューに重ねて行う場合に、被制御機器である電子機器に対するユーザの位置や距離によって、操作メニュー上のユーザ画像のサイズ、位置が最適ではないような場合がある。そのため、操作メニュー上のユーザ画像のサイズ、位置を補正するために、操作メニューを表示させた後に操作メニューの特定のボタンを操作することによって調整する必要があり、操作が煩雑になるという問題がある。
【０００８】
また、特許文献２記載の制御装置は、パーソナルコンピュータ（パソコン）の操作と酷似したポインティングの操作により、テレビジョン受像機を遠隔操作するものであるため、パソコンを利用しない人にとっては使いづらいという問題がある。
【０００９】
本発明は以上の点に鑑みなされたもので、ユーザの画像とメニューの位置関係及びユーザの画像サイズを自動的に調整することにより、操作性を向上し得る電子機器の制御装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記の目的を達成するため、本発明は、表示装置と、その表示装置の前方に位置する操作者を撮影するビデオカメラとを備えた電子機器の操作を、ビデオカメラで撮影して得た操作者の画像の動きに応じて制御する電子機器の制御装置において、ビデオカメラで撮影された画像を鏡像変換して、第１の鏡像変換画像信号を生成し、この生成した第１の鏡像変換画像信号を出力する鏡像変換手段と、入力されるサイズ制御信号に応じた拡大率又は縮小率で第１の鏡像変換画像信号の画像サイズを制御し、かつ、入力される位置制御信号に応じて第１の鏡像変換画像信号の表示される画面における画像位置を制御した第２の鏡像変換画像信号を出力する画像変換手段と、複数の操作検出領域を含んだ操作用画像に対応した操作用画像信号を生成する操作用画像信号生成手段と、第２の鏡像変換画像信号と操作用画像信号とを混合して表示装置へ出力する混合手段と、第２の鏡像変換画像信号を表示する画面を水平方向にＮ分割（Ｎは２以上の自然数）し、かつ、垂直方向にＭ分割（Ｍは２以上の自然数）することにより得られる計Ｎ×Ｍ分割された分割画像領域のそれぞれについて、操作者の所定の部位の動作を示す画像信号を検出する検出手段と、検出手段で検出された動作を示す画像信号により得られる動き画像と分割画像領域との位置関係とから当該動き画像の重心座標を求め、その重心座標が操作用画像の所定操作検出領域に位置するように当該動き画像の位置を制御する位置制御信号を生成すると共に、当該動き画像の最大幅に応じて画像サイズを決定してサイズ制御信号を生成し、これら生成した位置制御信号とサイズ制御信号とを画像変換手段に出力する制御信号生成手段とを有する構成としたものである。
【発明の効果】
【００１１】
本発明によれば、操作者（ユーザ）の動きを示す画像の位置と制御対象の電子機器の表示部に表示されている操作用画像との相対位置、及び操作者（ユーザ）の画像サイズを最適位置及び最適な大きさに自動で調整することができ、より短い手数で操作でき、操作性を向上することができる。
【発明を実施するための最良の形態】
【００１２】
次に、発明を実施するための最良の形態について図面と共に説明する。図１は従来のリモコンによる操作形態と、本発明の操作形態との違いを説明するための図である。視聴者（ユーザ）３が、テレビジョン受像機１を操作する場合、従来はユーザ３がリモコン４を手に持って所望の機能を働かせるキーをテレビジョン受像機１に向けて押下することによって操作がなされる。従って、リモコン４が無ければ操作ができず、不便を強いられる場合を時々経験する。
【００１３】
これに対し、本実施の形態では、図１に示すようにテレビジョン受像機１に設けられているビデオカメラ２により、テレビジョン受像機１の前方にいるユーザ３を撮影し、ビデオカメラ２の撮影画像からユーザ３の動作を検出して、テレビジョン受像機１及びそれに関連する機器の操作が行われる。検出されるユーザ３の動作とは、具体的にはテレビジョン受像機１の電源オン／オフ（ＯＮ／ＯＦＦ）制御やメニュー画面の表示／非表示の制御、メニュー画面から所望のボタンを選択する制御に対応した、ユーザ３の身体（手、足、顔など）を使った特定の動作のことであり、この特定の動作を検出することでテレビジョン受像機１及びそれに関連する機器の操作を行う。
【００１４】
図２は本発明になる電子機器の制御装置の一実施の形態に係るテレビジョン受像機の要部のブロック図を示す。同図において、テレビジョン受像機１は、ビデオカメラ２、基準同期発生器１１、タイミングパルス発生器１２、検出部１３、鏡像変換器１４、スケーラ１５、グラフィックス生成器１６、第１の混合器１７、画素数変換器１８、第２の混合器１９、制御情報判断器（ＣＰＵ）２０、及び表示装置２１を備えている。
【００１５】
基準同期発生器１１は、テレビジョン受像機１の基準になる水平周期パルスと垂直周期パルスとを発生し、テレビジョン放送受信時や外部の機器から映像信号が入力されている場合は、その入力映像信号の同期信号に同期するパルスを生成する。タイミングパルス発生器１２は、基準同期発生器１１から出力される水平周期パルス及び垂直周期パルスに同期して、図２に示す各ブロックで必要とする水平方向と垂直方向の任意の位相と幅を有するタイミングパルスを生成する。
【００１６】
ビデオカメラ２は、図１に示すようにテレビジョン受像機１の前方に位置する視聴者（ユーザ）３、またはテレビジョン受像機１の前方の映像を撮影する。ビデオカメラ２により撮影して得られた出力撮像信号は、輝度（Ｙ）信号、及び色差（Ｒ−Ｙ、Ｂ−Ｙ）信号からなり、基準同期発生器１１から出力される水平周期パルス及び垂直周期パルスに同期している。また、本実施の形態では、ビデオカメラ２で撮像される画像の画素数は、表示装置２１の画素数と一致しているものとする。なお、画素数が一致していない場合は画素数変換器を挿入すればよい。
【００１７】
検出部１３は、ここでは１４４個の検出器、すなわち第１の検出器３０１，第２の検出器３０２，第３の検出器３０３，・・・，第１４４の検出器４４４からなる。検出部１３に含まれる検出器の数は特定するものではなく、グラフィックス生成器１６で生成されるメニュー画面と連携した制御内容を表すプッシュボタン（パソコンではマウスでクリック操作する操作ボタンに該当）の数に対応して変動する。図２では後述する理由から検出器の数を最大１４４個用意した場合を示す。検出部１３は、１４４個に分割された画面領域のそれぞれについて、被写体像であるユーザの所定の部位（手や指）の動きを示す動き画像を検出する。
【００１８】
鏡像変換器１４は、ビデオカメラ２で撮影した被写体像を表示装置２１上に鏡と同じように左右を反転して表示するためのものである。従って、文字を表示する場合は鏡と同じように左右が反転することになる。本実施の形態では、メモリを活用して水平方向の画像を反転させる手法を想定しているが、表示装置２１として陰極線管（ＣＲＴ;Cathode Ray Tube）を用いる場合には、水平偏向を逆に操作することで同様の効果が得られる。その場合には、グラフィックスやその他混合する側の画像を予め水平方向に左右逆転しておく必要がある。
【００１９】
スケーラ１５は、ビデオカメラ２により撮影した被写体像（ユーザの画像）の大きさと位置とを調整する。すなわち、スケーラ１５は、検出部１３からの動き画像から、制御情報判断器（ＣＰＵ）２０がその最大幅や重心座標に基づいて生成した制御信号に基づいて、入力鏡像変換画像信号の拡大率や縮小率を２次元で調整すると共に、グラフィックス生成器１６により生成される操作ボタン等の操作用画像に対する相対的な位置を移動調整する。また、スケーラ１５は被写体画像から動き画像だけを切り出すことも行う。なお、スケーラ１５は拡大率や縮小率の調整を行わずに、水平と垂直の位相調整を行うこともできる。このスケーラ１５の利用の仕方については後で詳しく述べる。
【００２０】
グラフィックス生成器１６は、制御情報判断器（ＣＰＵ）２０から転送されるメニュー画面を展開するもので、メモリ上の信号がＲ（赤）信号、Ｇ（緑）信号、Ｂ（青）信号の原色信号で展開されていても、後段で映像信号と合成または混合される信号として、Ｙ（輝度）信号と色差信号（Ｒ−Ｙ、Ｂ−Ｙ）を出力する。このグラフィックス生成器１６は操作メニューや操作ボタン等の操作用画像信号を生成する。また、生成されるグラフィックスのプレーン数は限定するものではないが、説明に要するものは１プレーンである。グラフィックス生成器１６が出力する信号の画素数は、本実施の形態では表示装置２１の画素数に一致させるようにしている。一致していない場合は、画素数変換器を入れて一致させる必要がある。
【００２１】
第１の混合器１７は、グラフィックス生成器１６の出力信号Ｇｓと、スケーラ１５の出力信号Ｓ１とを、制御値α１により混合割合を制御して混合する。具体的には、第１の混合器１７は下記式で表される信号Ｍ１ｏを出力する。
【００２２】
Ｍ１ｏ＝α１・Ｓ１＋（１−α１）・Ｇｓ （１）
制御値α１は、「０」から「１」の間の値に設定され、制御値α１を大きくするとスケーラ出力信号Ｓ１の割合が大きくなり、グラフィックス生成器出力信号Ｇｓの割合が小さくなる。混合器１７の例としてはこれに限らないが、本実施の形態では、入力される２系統の信号情報が入っていれば同様の効果が得られる。
【００２３】
画素数変換器１８は、外部から入力される外部入力信号の画素数と表示装置２１の画素数を合わせるための画素数変換を行う。外部入力信号は、放送されているテレビ信号（データ放送なども含む）やビデオ（ＶＴＲ）入力などテレビジョン受像機の外部から入力されてくる信号を想定している。外部入力信号の同期系については、ここでの説明から省いてあるが、同期信号（水平及び垂直）を取得し、基準同期発生器１１にて同期を一致させている。
【００２４】
第２の混合器１９は、第１の混合器１７と同様の機能を有する。すなわち、第１の混合器１７の出力信号Ｍ１ｏと、画素数変換器１８の出力信号Ｓ２とを制御値α２で混合割合を制御して混合する。具体的には、第２の混合器１９は下記式で表される信号Ｍ２ｏを出力する。
【００２５】
Ｍ２ｏ＝α２・Ｍ１ｏ＋（１−α２）・Ｓ２ （２）
制御値α２は、「０」から「１」の間の値に設定され、制御値α２を大きくすると第１の混合器出力信号Ｍ１ｏの割合が大きくなり、画素数変換器出力信号Ｓ２の割合が小さくなる。混合器１９の例としてはこれに限らないが、本実施の形態では、入力される２系統の信号情報が入っていれば同様の効果が得られる。
【００２６】
制御情報判断器（ＣＰＵ）２０は、検出部１３から出力されるデータの解析を行い、各種制御信号を出力する。制御情報判断器（ＣＰＵ）２０の処理内容は、ソフトウェアで実現するものとなり、アルゴリズムの詳細は後述する。本実施の形態では、ハードウェア（各機能ブロック）による処理と、ソフトウェア（ＣＰＵ上で展開）による処理とが混在するが、特にここで示す切り分けに限定するものではない。
【００２７】
表示装置２１は、ＣＲＴ（陰極線管）、ＬＣＤ（液晶ディスプレイ）、ＰＤＰ（プラズマディスプレイ）、あるいはプロジェクションディスプレイなどを想定しているが、ディスプレイの表示方式を限定するものではない。表示装置２１の入力信号は、第２の混合器１９から出力された信号Ｍ２ｏであり、これは輝度信号Ｙと、色差信号Ｒ−Ｙ及びＢ−Ｙであるが、表示装置２１の内部にてＲＧＢの三原色信号にマトリクス変換された後、表示される。
【００２８】
次に、以上のように構成されたテレビジョン受像機１の動作を、視聴者（ユーザ）３の動作を交えて説明する。図３は、本実施の形態が実際に使用されている状態の一例を示すイメージ図である。同図に示すように、表示装置２１の画面には機器の操作メニューに、これを操作するユーザをビデオカメラ２で撮影したカメラ画像が鏡像変換機１４で鏡像変換して重ねて表示されている。水平方向と垂直方向のそれぞれに示された格子上の線は、図２の検出部１３がユーザのジェスチャーを捉えるために便宜的に画像を区切って検出を行っていることを示すものである。
【００２９】
ユーザが被制御対象の電子機器（ここでは、テレビジョン受像機１）の操作を行おうとする場合は、その電子機器に対するユーザの位置はできるだけ限定されずに広いことが望ましい。従って、図３に示すように、テレビジョン受像機１の操作を表示装置２１の画面上に表示される操作メニューとこれを操作するユーザの画像とを重ね合わせて行わせようとした場合、図４に示すように、位置固定のビデオカメラ２に対して、ユーザが３Ａで示す位置Ａにいる場合には、図３に示したように操作メニューとユーザ画像との位置関係が最適で操作がし易い。
【００３０】
しかし、ユーザが３Ｂで示す位置Ｂにいる場合は、位置３Ａよりも遠いために、ビデオカメラ２のズームが一定のままでは表示装置２１の画面上に表示される操作メニューとこれを操作するユーザの画像とは図５に示すようになって、操作メニューの操作の為にはユーザの大きな動作を必要とする位置関係となり、操作メニューとユーザの関係が最適にはならず操作がしにくいという状況が発生する。そこで、本実施の形態では、ユーザの動きを基にユーザが操作メニューがし易い位置に画像のサイズと位置を自動的に調整するものである。
【００３１】
次に、ユーザの操作する手の画像のサイズと位置を自動的に調整する方法について説明する。図６はｙ軸方向に９個、ｘ軸方向に１６個に分割された検出ブロックについて説明するための図である。図２の検出部１３内にはビデオカメラ２で撮影されたユーザの手の画像を、図６に示したｙ軸方向に９個、ｘ軸方向に１６個に分割された計１４４個の検出ブロック（領域）を各検出ブロック毎に互いに独立して検出する計１４４個の検出器３０１〜４４４が存在する。各検出器３０１〜４４４は手の動作を検出する検出器として機能する。
【００３２】
図２の検出器３０１〜４４４はそれぞれ同一構成であり、代表して検出器３０１の構成を図７に示す。図７に示すように、検出器３０１は特定色フィルタ３１と、階調限定器３２と、動作検出フィルタ３３と、合成器３４と、オブジェクトゲート器３４とを備えている。
【００３３】
特定色フィルタ３１について図８を参照して説明する。図８は色差平面図で、縦軸を色差信号Ｒ−Ｙの値、横軸を色差信号Ｂ−Ｙの値としたものである。テレビ信号のすべての色信号はこの色差平面図上のベクトルで表すことができ、極座標で評価することができる。特定色フィルタ３１は、色差信号で入力される色信号の色相と色の濃さ（飽和度）を特定するフィルタである。色信号の色相と色の濃さ（飽和度）を特定するために色相は、図８の色差平面図の第１象限のＢ−Ｙ軸を基準（零度）として左回りの角度で表現するものとする。また、飽和度は、色差平面図でベクトルのスカラ量で表される。色差平面図の原点が飽和度０（零）で色がない状態を示し、原点から離れるに従い飽和度が大きくなり色が濃いことを示す。
【００３４】
図８では、特定色フィルタ３１により抽出される範囲は、等色相線Ｌ１に対応する角度θ１より小さく、かつ、等色相線Ｌ２に対応する角度θ２より大きな角度範囲に設定され、また色の濃さは等飽和度線Ｌ４より小さく、かつ、等飽和度線Ｌ３より大きいベクトル長さ範囲に設定されている。色差平面図の第２象限のこの検出範囲は本実施の形態で抽出する人間の手の色である肌色の領域に相当するが、特にこれに限定するものではない。特定色フィルタ３１は、ビデオカメラ２から入力される色差信号（Ｒ−Ｙ、Ｂ−Ｙ）が上記の等色相線Ｌ１とＬ２の角度範囲と等飽和度線Ｌ３とＬ４の範囲とで囲まれた領域に入っているか否かを検出する。そのためには特定色フィルタ３１は色差信号から角度と飽和度を算出して判定を行う。
【００３５】
角度算出は、一例として図９に示すような処理によって、入力画素それぞれについて行われ、図８に示す色差平面図上でなす角度が算出される。図９は角度算出処理をフローチャートとして図示しているが、角度算出処理はソフトウェア、ハードウェアのいずれで実現してもよい。本実施の形態では、ハードウェアで実現するようにしている。
【００３６】
角度算出動作について説明するに、まず、入力画素それぞれの色差信号Ｒ−Ｙ，Ｂ−Ｙ成分の符号を判断し、入力画素の色相が、色差平面図上の第何象限に位置しているかが検出される（図９のステップＳ１０１）。続いて、色差信号Ｒ−Ｙ，Ｂ−Ｙ成分それぞれの絶対値の大きい方をＡとし、小さい方をＢとして算出する（図９のステップＳ１０２）。次に、Ｂ／Ａより角度Ｔ１を検出する（図９のステップＳ１０３）。この角度Ｔ１は、ステップＳ１０２での処理より明らかなように、０°〜４５°となる。角度Ｔ１は、折れ線近似やＲＯＭテーブルによって算出することができる。
【００３７】
続いて、Ａが｜Ｒ−Ｙ｜であるか、即ち、｜Ｒ−Ｙ｜＞｜Ｂ−Ｙ｜であるか否かが判定される（図９のステップＳ１０４）。ステップＳ１０４の判定がＮＯつまり、｜Ｒ−Ｙ｜＞｜Ｂ−Ｙ｜でなければ、そのままステップＳ１０６に進む。ステップＳ１０４の判定がＹＥＳつまり、｜Ｒ−Ｙ｜＞｜Ｂ−Ｙ｜であれば、ステップＳ１０５に進み、角度Ｔ１を、（９０−Ｔ１）に置き換える。これによって、ｔａｎ−１（（Ｒ−Ｙ）／（Ｂ−Ｙ））が求められる。ステップＳ１０３において検出する角度Ｔ１を０°〜４５°としているのは、ｔａｎ−１（（Ｒ−Ｙ）／（Ｂ−Ｙ））のカーブは４５°を超えると急激に勾配が大きくなり、角度の算出に不適であるからである。
【００３８】
更に、ステップＳ１０６にて、ステップＳ１０１にて検出した象限のデータを用いて角度Ｔ１又はＴが、色差平面図上の第２象限か否かを判定し、第２象限であれば、ステップＳ１０７に進み、Ｔ＝１８０−Ｔ１を算出する。第２象限でなければ、ステップＳ１０８に進み、第３象限か否かを判定し、第３象限であれば、ステップＳ１０９に進み、Ｔ＝１８０＋Ｔ１を算出する。角度Ｔ１又はＴが、色差平面図上の第３象限でなければ、ステップＳ１１０に進み、第４象限か否かを判定し、第４象限であれば、ステップＳ１１１に進み、Ｔ＝３６０−Ｔ１を算出する。第４象限でもない、すなわち第１象限であるときは、角度ＴをＴ１とする（図９のステップＳ１１２）。そして、最終的に、ステップＳ１１２にて、入力画素それぞれの図８の色差平面図上でなす角度Ｔ（図８ではθｓ）が出力される。
【００３９】
以上の処理により、入力された色差信号Ｒ−Ｙ，Ｂ−Ｙの色差平面図上での角度を０°〜３６０°の範囲で求めることができる。ステップＳ１０４〜Ｓ１１１は、ステップＳ１０３にて検出した角度Ｔ１を角度Ｔに補正する処理である。また、ステップＳ１０４〜Ｓ１１１は、角度Ｔ１を、色差平面図の第１〜第４象限に応じて補正している。
【００４０】
次に色の濃さである飽和度の算出は、下記の式により行われる。
【００４１】
Ｖｃ＝ｓｑｒｔ（Ｃｒ×Ｃｒ＋Ｇｂ）（Ｃｂ） （３）
但し、上式中、Ｃｒは、図８に示すように色信号の（Ｒ−Ｙ）軸成分であり、Ｃｂは（Ｂ−Ｙ）軸成分である。またｓｑｒｔ（）は平方根の演算を行う演算子である。
【００４２】
ここでの処理はソフトウェアまたはハードウェアを特定するものではないが、乗算と平方根はハードウェアでは実現が容易でなく、またソフトウェアでも演算のステップが多く、好ましくないので以下のように近似することもできる。
【００４３】
Ｖｃ＝ｍａｘ（｜Ｃｒ｜，｜Ｃｂ｜）
＋０.４・ｍｉｎ（｜Ｃｒ｜，｜Ｃｂ｜） （４）
但し、上式中、ｍａｘ（｜Ｃｒ｜，｜Ｃｂ｜）は、｜Ｃｒ｜と｜Ｃｂ｜のうち、大きい値の方を選択する演算処理であり、ｍｉｎ（｜Ｃｒ｜，｜Ｃｂ｜）は、｜Ｃｒ｜と｜Ｃｂ｜のうち、小さい値の方を選択する演算処理である。またＶｃはベクトルのスカラ量であり、ここでは飽和度を表す。
【００４４】
以上より求めた角度（色相）Ｔと飽和度Ｖｃが等色相線の角度θ１からθ２の範囲に入っているか否か、また、色の濃さが等飽和度線Ｌ４より小さく、かつ、等飽和度線Ｌ３より大きい範囲に入っているか否かを評価する。この範囲に入っている信号を通過させるのが、図７に示す特定色フィルタ３１の役割である。
【００４５】
図７の階調限定器３２は、図１０に示すように、輝度信号の特定の階調を限定するものである。６ビットデジタル信号の場合、０〜２５５までの２５６階調を有するが、この範囲の階調を限定する最大レベルＬｍａｘ及び最小レベルＬｍｉｎを設定し、レベルがその間にある輝度信号を出力する。この階調限定器３２は、人間の手の階調レベルの輝度信号を通過させるものである。
【００４６】
次に、図７の動作検出フィルタ３３について図１１及び図１２を併せ参照して説明する。動作検出フィルタ３３は、図１１に示すように、１フレーム遅延器４１と、減算器４２と、絶対値器４３と、非線形処理器４４と、量子化器４５とから構成されており、入力される輝度信号から画像の動きを検出する。図１１において、まず、１フレーム遅延器４１でビデオカメラ２からの輝度信号は１フレーム遅延された後、減算器４２に入力される。減算器４２ではビデオカメラ２からの輝度信号と１フレーム遅延器４１からの輝度信号との差分信号を算出し、絶対値器４３に出力する。差分信号は信号のレベルによって正又は負の値で出力されるため、動作検出フィルタ４は、絶対値器４３にて差分信号を絶対値化して正側の信号だけで差分信号を扱う。
【００４７】
非線形処理器４４は正の値のみの差分信号が入力され、非線形処理による感度調整を行う。図１２（Ａ）にはこの非線形処理の特性が示されている。図１２（Ａ）の横軸は入力信号（ここでは絶対値器４３からの絶対値化された正の差分信号）のレベル、縦軸は出力信号のレベルを示す。入力信号がａ以下のレベルではノイズとみなして、出力信号は０レベルとする。折れ線Iは入力信号がレベルａ以上レベルｂ１未満のレベル範囲では入力信号レベルに応じたレベルの出力信号を出力し、レベルｂ１以上ではリミット値ＬIMに制限される入出力特性を示す。また、折れ線IIは入力信号がレベルａ以上レベルｂ２未満のレベル範囲では入力信号レベルに応じたレベルの出力信号を出力し、レベルｂ２以上ではリミット値ＬIMに制限される入出力特性を示す。更に、折れ線IIIは入力信号がレベルａ以上レベルｂ３未満のレベル範囲では入力信号レベルに応じたレベルの出力信号を出力し、レベルｂ３以上ではリミット値ＬIMに制限される入出力特性を示す。
【００４８】
非線形処理器４４の上記の折れ線I〜IIIで示すような入出力特性は、範囲Ｒ１及びＲ２の範囲内で可変され感度調整が行われ、その結果が量子化器４５に出力される。量子化器４５は非線形処理器４４で非線形処理された信号を閾値と大小比較して２値化する。図１２（Ｂ）に２値化された非線形の差分信号が示されている。
【００４９】
再び図７に戻って説明する。図７において、合成器３４は、特定色フィルタ３１、階調限定器３２及び動作検出フィルタ３３からそれぞれ出力された信号を合成して領域パルスに変換する。すなわち、合成器３４は、特定色フィルタ３１を通過した信号、階調限定器３２を通過した信号、及び動作検出フィルタ３３を通過した信号が全て高レベルである場合に、高レベルの領域パルスを出力する。
【００５０】
合成器３４で生成された領域パルスは、オブジェクトゲート３５に供給される。オブジェクトゲート３５は、領域パルスが高レベルであるとき、輝度信号と色差信号を通過させ、領域パルスが低レベルであるときは（すなわち、領域パルス外の範囲であるときは）、入力された輝度信号と色差信号は通過させず、規定した値の信号を出力する。本実施の形態では、通過させない範囲では、黒レベルの輝度信号及び飽和度ゼロの色差信号を規定した値の信号として出力する。
【００５１】
この図７に示される検出器３０１（検出器３０２〜４４４も同様）の働きは、特定色フィルタ３１で色信号の色相（角度）と飽和度を限定した範囲を通過した信号と、階調限定器３２により輝度信号レベルで限定した範囲を通過した信号と、動作検出フィルタ３３で動作を検出して動きがあるときの映像信号とを通過させるものである。特定色フィルタ３１で色相と飽和度を限定することで人の肌色に絞ることはできるが、人の肌色は日焼け具合で変化し、また人種によっても異なる。これら肌色といっても様々であるが、色相、飽和度、輝度信号の階調限定の範囲を調整すれば概ね人の手の画像を検出することができる。
【００５２】
また、本実施の形態では動作検出フィルタ３３により縦または横に手を振る動作を認識しているが、これは静止しているものと動作しているものを区別することである。これにより、検出器３０１〜４４４の処理で手が動作している信号のみを後段に送ることができる。
【００５３】
図１３には検出器３０１〜４４４の出力信号の内容をモデル化したものが描かれている。図１３にはビデオカメラ２で撮影された手の画像の中で肌色が動いている部分のブロックが抽出されて描かれている。ここでは、この抽出された部分のブロックをハンドブロックと呼ぶことにする。このハンドブロックが上下に移動して、あたかもコイコイ（来い来い）というような動作をした場合に、ユーザが機器の操作を可能とするメニューが画面上に表れるとする。
【００５４】
このハンドブロックの重心座標をＧ（Ｘｇ，Ｙｇ）とする時、図１３に示すハンドブロックＡの座標は前述した１４４個の検出ブロック（領域）のうち下記のようにハンドブロックＡを構成する個々の検出ブロックの座標を加算して、構成する検出ブロックの数で除算して求められる。いま、ｎ行目の検出ブロックのＸ座標をＸｎ、ｍ列目の検出ブロックのＹ座標をＹｍとすると、ハンドブロックの重心座標（Ｘｇ，Ｙｇ）は下記のように求められる。
【００５５】
Ｘｇ＝ΣΣＸｎ／ＴＯＴＡＬ （５）
Ｙｇ＝ΣΣＹｍ／ＴＯＴＡＬ （６）
ここで、ＴＯＴＡＬは、ハンドブロックを構成する検出ブロックの個数とする。
【００５６】
このようにして求められるハンドブロックの重心座標のＹｇの時間変化を表したのが図１４である。図１４中、Ｔで表される１周期が手の上下運動１回に相当する。そして、例えばこの動作が３回あった場合にメニューを表示させるというようにしておく。ここで、図１のユーザ３とビデオカメラ２との距離が近い場合には、図１３に示されるようにハンドブロックＡ、上記距離が遠い場合にはハンドブロックＢのように抽出される。ハンドブロックＡは図４のユーザ位置３Ａで抽出された手、ハンドブロックＢは図４のユーザ位置３Ｂで抽出された手に相当する。
【００５７】
この状態で画面中央にメニューが表示されている場合には、図４のユーザ位置３Ａからの操作が想定されたメニューとユーザの大きさ、位置関係は図３のようになり、図４のユーザ位置３Ｂからの操作ではユーザが小さく画面上に映るため、メニューとユーザの大きさ、位置関係は図５のようになる。図３に比べ図５では、ユーザの大きさがメニューに対して小さく、かつ、離れているためメニュー操作のために大きな動作が必要となる。
【００５８】
ここで、図１３に示すハンドブロックＢを構成するブロックは座標（３,１）、（３,０）、（３,−１）、（２,０）、（２,−１）の計５つであるので、重心座標は（Ｘｇ,Ｙｇ）＝（２.６,−０,２）と表せる。一方、図１３に示すハンドブロックＡを構成するブロックは座標（−４,１）、（−４,０）、（−４,−１）、（−５,０）、（−５,−１）、（−６,０）、（−６,−１）の計７つであるので、重心座標は（Ｘｇ,Ｙｇ）＝（−４.９,−０.３）と表せる。
【００５９】
従って、メニューの中心が座標（ｘ,ｙ）＝（０,０）としたならば、ハンドブロックＡ、Ｂの重心座標を中心にカメラ画像から切り出して、座標（ｘ,ｙ）に重ねるようにすれば、ユーザの手がメニューの中央になるため、メニュー上のどのボタンに対しても等距離となり操作に最適な位置となる。
【００６０】
また、図１３に示すハンドブロックのｘ軸方向に占めるブロック数の最大幅をハンドブロックＡとＢで比較すると、ハンドブロックＡの方が大きいことがわかる。これは即ち、図４との関係からも分かるように操作対象機器とユーザの距離を表すと考えることもできる。また、ハンドブロックＢは幅が小さいためにユーザは子供であり、ハンドブロックＡは幅が大きいために大人であると考えることもできる。
【００６１】
いずれにせよ、ハンドブロックの最大幅が小さい場合には図５に示されるように、画面上でのユーザとメニューの大きさが画面上のメニュー操作に対して最適ではなく、大きな動作が必要となることが予想される。従って、このハンドブロックの最大幅に応じて、その幅が所定の幅となるようにユーザのカメラ画像をズームして捉えることで、カメラ画像を図３に示したような最適な大きさとする。上記のズームは、ビデオカメラ２がズーム機能を有している場合はそのズーム機能を制御して実現し、ズーム機能を有しない場合はスケーラ１５により電気信号処理により拡大率や縮小率の調整を行うことで実現する。
【００６２】
ここで、ズームの倍率を求める方法について説明する。図１３のように検出されたハンドブロックに関して、操作をするために望ましいハンドブロックのＸ軸方向の幅をＸrefとし、実際に検出されたハンドブロックのＸ軸方向の幅をｘとすると、行うべきズームの倍率Ｋzは下記の式で求められる。
【００６３】
Ｋz＝Ｘref／ｘ
実際には、図１３で表わすハンドブロックは１フレームの検出結果に過ぎず、ユーザが意識して行った操作であるとすると検出するまでには数フレームを要する。この間に、検出すべき手の陰影の変化などにより必ずしも正確な幅が求められるとは限らない。従って、上記式の右辺に表わす幅ｘは数フレームにわたって検出されるハンドブロックのＸ軸方向の幅の平均ないし最大値、あるいは最大値と最小値を除いた平均値を使用する。
【００６４】
このように、本実施の形態によれば、ユーザの手の画像の画像位置及び画像の大きさを最適な画像位置及び画像サイズに自動調整するようにしたため、ユーザの手の画像位置を、図３のようにメニュー画面の中心位置で所定の大きさで表示することができ、これによりユーザは少ない距離の動きにより所望の操作ができ、操作性を向上することができる。なお、スケーラ１５で切り出したユーザの画像を基にユーザの手による遠隔操作が完了した後には、再びビデオカメラ２が広い範囲を捉えるべく、その切り出し位置を広げる動作を行うことは当然のことである。
【００６５】
なお、本発明は以上の実施の形態に限定されるものではなく、例えば操作する電子機器としては、テレビジョン受像機以外の電子機器も可能である。
【図面の簡単な説明】
【００６６】
【図１】従来のリモコンによる操作形態と、本発明の操作形態との違いを説明するための図である。
【図２】本発明の電子機器の制御装置の一実施の形態に係るテレビジョン受像機の要部のブロック図である。
【図３】本発明の一実施の形態が実際に使用されている状態の一例を示すイメージ図である。
【図４】ユーザのビデオカメラに対する距離の違いによるビデオカメラへの捉えられ方を説明する図である。
【図５】本発明の一実施の形態が実際に使用されている状態の他の例（図３よりもユーザ位置が遠い場合の例）を示すイメージ図である。
【図６】本発明の一実施の形態における検出ブロックの一例の構成をビデオカメラに撮影されたユーザと共に示す図である。
【図７】図２中の検出部を構成する検出器の一例の構成を示すブロック図である。
【図８】図７に示す特定色フィルタで抽出する対象物の色相及び飽和度を説明するための図である。
【図９】色差信号から色相を算出する処理の一例のフローチャートである。
【図１０】図７に示す階調限定器で抽出する対象物の輝度信号レベルを説明するための図である。
【図１１】図７に示す動作検出フィルタの一例の構成を示すブロック図である。
【図１２】図１１中の非線形処理器の一例の特性図である。
【図１３】図２中の検出部の出力信号の一例が画面に映し出されている様子をモデル化して描いた図である。
【図１４】図１３に示すハンドブロックの重心座標Ｙｇの時間変化の一例を表した図である。
【符号の説明】
【００６７】
１ テレビジョン受像機（電子機器）
２ ビデオカメラ
３ ユーザ（視聴者）
４ リモートコントローラ（リモコン）
１１ 基準同期発生器
１２ タイミングパルス発生器
１３ 検出部
１４ 鏡像変換器
１５ スケーラ
１６ グラフィックス生成器
１７ 第１の混合器
１８ 画素数変換器
１９ 第２の混合器
２０ 制御情報判断器（ＣＰＵ）
２１ 表示装置
３１ 特定色フィルタ
３２ 階調限定器
３３ 動作検出フィルタ
３４ 合成器
３５ オブジェクトゲート
４１ １フレーム遅延器
４２ 減算器
４３ 絶対値器
４４ 非線形処理器
４５ 量子化器
３０１〜４４４ 検出器
【特許請求の範囲】
【請求項１】
表示装置と、その表示装置の前方に位置する操作者を撮影するビデオカメラとを備えた電子機器の操作を、前記ビデオカメラで撮影して得た前記操作者の画像の動きに応じて制御する電子機器の制御装置において、
前記ビデオカメラで撮影された画像を鏡像変換して、第１の鏡像変換画像信号を生成し、この生成した第１の鏡像変換画像信号を出力する鏡像変換手段と、
入力されるサイズ制御信号に応じた拡大率又は縮小率で前記第１の鏡像変換画像信号の画像サイズを制御し、かつ、入力される位置制御信号に応じて前記第１の鏡像変換画像信号の表示される画面における画像位置を制御した第２の鏡像変換画像信号を出力する画像変換手段と、
複数の操作検出領域を含んだ操作用画像に対応した操作用画像信号を生成する操作用画像信号生成手段と、
前記第２の鏡像変換画像信号と前記操作用画像信号とを混合して前記表示装置へ出力する混合手段と、
前記第２の鏡像変換画像信号を表示する画面を水平方向にＮ分割（Ｎは２以上の自然数）し、かつ、垂直方向にＭ分割（Ｍは２以上の自然数）することにより得られる計Ｎ×Ｍ分割された分割画像領域のそれぞれについて、前記操作者の所定の部位の動作を示す画像信号を検出する検出手段と、
前記検出手段で検出された前記動作を示す画像信号により得られる動き画像と前記分割画像領域との位置関係とから当該動き画像の重心座標を求め、その重心座標が前記操作用画像の所定操作検出領域に位置するように当該動き画像の位置を制御する前記位置制御信号を生成すると共に、当該動き画像の最大幅に応じて前記画像サイズを決定して前記サイズ制御信号を生成し、これら生成した前記位置制御信号と前記サイズ制御信号とを前記画像変換手段に出力する制御信号生成手段と
を有することを特徴とする電子機器の制御装置。
【請求項１】
表示装置と、その表示装置の前方に位置する操作者を撮影するビデオカメラとを備えた電子機器の操作を、前記ビデオカメラで撮影して得た前記操作者の画像の動きに応じて制御する電子機器の制御装置において、
前記ビデオカメラで撮影された画像を鏡像変換して、第１の鏡像変換画像信号を生成し、この生成した第１の鏡像変換画像信号を出力する鏡像変換手段と、
入力されるサイズ制御信号に応じた拡大率又は縮小率で前記第１の鏡像変換画像信号の画像サイズを制御し、かつ、入力される位置制御信号に応じて前記第１の鏡像変換画像信号の表示される画面における画像位置を制御した第２の鏡像変換画像信号を出力する画像変換手段と、
複数の操作検出領域を含んだ操作用画像に対応した操作用画像信号を生成する操作用画像信号生成手段と、
前記第２の鏡像変換画像信号と前記操作用画像信号とを混合して前記表示装置へ出力する混合手段と、
前記第２の鏡像変換画像信号を表示する画面を水平方向にＮ分割（Ｎは２以上の自然数）し、かつ、垂直方向にＭ分割（Ｍは２以上の自然数）することにより得られる計Ｎ×Ｍ分割された分割画像領域のそれぞれについて、前記操作者の所定の部位の動作を示す画像信号を検出する検出手段と、
前記検出手段で検出された前記動作を示す画像信号により得られる動き画像と前記分割画像領域との位置関係とから当該動き画像の重心座標を求め、その重心座標が前記操作用画像の所定操作検出領域に位置するように当該動き画像の位置を制御する前記位置制御信号を生成すると共に、当該動き画像の最大幅に応じて前記画像サイズを決定して前記サイズ制御信号を生成し、これら生成した前記位置制御信号と前記サイズ制御信号とを前記画像変換手段に出力する制御信号生成手段と
を有することを特徴とする電子機器の制御装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２００８−２８２１３１（Ｐ２００８−２８２１３１Ａ）
【公開日】平成２０年１１月２０日（２００８．１１．２０）
【国際特許分類】
【出願番号】特願２００７−１２４３７２（Ｐ２００７−１２４３７２）
【出願日】平成１９年５月９日（２００７．５．９）
【出願人】（０００００４３２９）日本ビクター株式会社 (3,896)
【Ｆターム（参考）】
【公開日】平成２０年１１月２０日（２００８．１１．２０）
【国際特許分類】
【出願日】平成１９年５月９日（２００７．５．９）
【出願人】（０００００４３２９）日本ビクター株式会社 (3,896)
【Ｆターム（参考）】
[ Back to top ]