電子機器の制御装置、制御方法及び制御プログラム
【課題】表示装置に表示された操作ボタンに手などをかざして操作ボタンを操作する電子機器において、ユーザーの手などの認識対象物に対する操作ボタンの表示位置を適切なものとし、その操作性を向上させる。
【解決手段】
認識情報生成部２３により、ビデオカメラ２によって撮影されたユーザー３の身体の一部又はユーザー３が保持する物体である対象物を認識し、認識対象物の属性、個数、画面内における位置などを含む認識対象物情報を生成し、ビデオカメラ２によって撮影した画像を鏡像変換し、認識対象物情報に応じて、拡大、縮小又は位置の調整を行うとともに、操作用画像を生成し、操作ボタンの表示位置又は範囲を調整し、これらの混合画像を表示装置２１の画面上に表示させ、画面に表示された操作者が認識対象物を用いて操作ボタンを選択する所定の選択動作を検出して、操作ボタンに対応する制御動作を行う。
【解決手段】
認識情報生成部２３により、ビデオカメラ２によって撮影されたユーザー３の身体の一部又はユーザー３が保持する物体である対象物を認識し、認識対象物の属性、個数、画面内における位置などを含む認識対象物情報を生成し、ビデオカメラ２によって撮影した画像を鏡像変換し、認識対象物情報に応じて、拡大、縮小又は位置の調整を行うとともに、操作用画像を生成し、操作ボタンの表示位置又は範囲を調整し、これらの混合画像を表示装置２１の画面上に表示させ、画面に表示された操作者が認識対象物を用いて操作ボタンを選択する所定の選択動作を検出して、操作ボタンに対応する制御動作を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、テレビジョン受像機やパーソナルコンピュータのように表示装置を有する電子機器の遠隔操作を行うための電子機器の制御装置、制御方法及び制御プログラムに関する。
【背景技術】
【０００２】
テレビジョン受像機をはじめとする家電機器を手元で制御するためのユーザーインターフェースが広く普及し、家電製品の利用形態を大きく変貌させた。現在においてもこの操作形態が主流であるが、リモコンは１機能を１押しで実行する仕組みが基本となっており、例えばテレビジョン受像機では、「電源」「チャンネル」「音量」「入力切替」などのキーがそれに該当し、これまでのテレビジョン受像機にとって大変便利な遠隔の操作方法であった。
【０００３】
ところで、最近始まったデータ放送は、所望のメニュー画面を選択するために、リモコンの「上下左右」や「決定」キーを何度も押下することになり、煩雑で使いづらくなっている。また、ＥＰＧ（電子プログラムガイド）は、マトリクスに配列された案内画面から所望の位置を選択してキーを押下するため、同様の課題を有していた。
【０００４】
本出願人による先願である特開２００６−０９１９４８号公報（特許文献１）には、多様な電子機器に対する柔軟性と遠隔操作の利便性を両立させるとともに、リモコンのような遠隔操作用機器を手元で利用することを不要とした電子機器が提案されている。特許文献１に記載の電子機器はユーザーの手の動作をビデオカメラで撮影して、その動作から表示装置に表示されている操作ボタンに対する操作内容を識別するものである。
【特許文献１】特開２００３−２８３８６６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述した特許文献１に記載の電子機器においては、ユーザーの手などの対象物を認識し、表示装置に表示されているユーザーが操作ボタンに手をかざすなど、操作ボタンに対する対象物の挙動を検出して、操作内容を識別するものであるが、例えば操作ボタンの表示位置が、認識されたユーザーの手の位置に対して適当ではなく、操作ボタンが操作しづらいことがある。
【０００６】
本発明はこの点に着目してなされたものであり、表示装置に表示された操作ボタンに手などをかざして操作ボタンを操作する電子機器において、ユーザーの手などの認識対象物に対する操作ボタンの表示位置を適切なものとし、その操作性を向上させることのできる電子機器の制御装置、制御方法及び制御プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、請求項１に係る発明は、表示装置を有する電子機器の制御装置であって、操作者を撮影するビデオカメラと、前記ビデオカメラによって撮影された前記操作者の身体の一部又は操作者が保持する物体である対象物を認識し、この認識された認識対象物の属性、個数、前記表示装置の画面内における位置、又は画面内に占める面積の割合のうちの少なくとも一つを含む認識対象物情報を生成する認識情報生成部と、前記ビデオカメラによって撮影した画像を、鏡像変換し、前記認識対象物情報に応じて、前記画面上に表示された前記認識対象物の拡大、縮小又は位置の調整を行う鏡像画像調整部と、少なくとも１つの操作ボタンを含む操作用画像を生成し、前記認識対象物情報に応じて、前記操作ボタンの表示位置又は範囲を調整する操作用画像生成部と、前記鏡像画像調整部を経た画像と、前記操作用画像とを混合して混合画像を形成し、この混合画像を前記画面上に表示させる画像信号混合部と、前記画像信号混合部により混合された画像を前記画面上に表示させた状態において、前記ビデオカメラによって撮影され、前記画面に表示された操作者が、前記認識対象物を用いて前記操作ボタンを選択する所定の選択動作を検出する動作検出部と、前記動作検出部により前記所定選択動作が検出された操作ボタンに対応する制御動作を行う機器制御部とを備えることを特徴とする電子機器の制御装置である。
【０００８】
このような発明によれば、操作者の画像と、操作ボタンを含む操作用画像とを混合した混合画像を表示させ、画面内における操作者の操作ボタンに対する動作を検出して電子機器に対する制御動作を実行する際に、対象物の属性、個数、測定領域内における位置、又は所定の面積に占める面積の割合に応じて、画面上の操作者の大きさや位置、操作ボタンの表示位置や範囲を調整するため、操作（動作）を行う操作者の手や顔などの表示位置に合わせて、適切な位置や範囲に操作ボタンを表示することができ、操作性を向上させることができる。
【０００９】
請求項２に係る発明は、請求項１に係る発明において、前記操作用画像生成部が、前記認識対象物情報に含まれる認識対象物の属性が操作者の手であり、且つ該認識対象物の個数が一つである場合に、画面上に表示された認識対象物の周囲に前記操作ボタンを集合させて配置させ、前記認識対象物の属性が操作者の手であり、且つ前記認識対象物の個数が２個以上である場合には、画面上に表示された認識対象物それぞれの周囲に、前記操作ボタンを分散させて配置することを特徴とする。
【００１０】
この場合には、操作者の手を認識対象物とした際に、その個数を判断することにより、片手での操作を前提として操作ボタンを、片手の周囲に集中させて表示したり、両手での操作を前提として操作ボタンを、両手に分配させて表示させることができ、操作者の好みに応じたインターフェースを提供することができる。
【００１１】
請求項３に係る発明は、請求項１に係る発明において、前記操作用画像生成部が、前記認識対象物情報に含まれる認識対象物の属性が操作者の顔である場合に、画面上に表示された該認識対象物の周囲に前記操作ボタンを配置することを特徴とする。
【００１２】
この場合には、手よりも認識が確実な顔を認識対象とすることにより認識動作の精度を高めることができるとともに、顔の周辺（左右上下のいずれかに集中、周囲や両側に分散など）に操作ボタンを表示させることにより、操作者は必要最低限の大きさの動作で操作ボタンに対する操作が可能となり、動作の精度を高めつつ、操作性を高めることができる。
【００１３】
なお、この顔を認識する手法では、例えば、複数の顔を認識可能とし、認識された各顔の周辺に、操作ボタンをそれぞれ表示させるようにしてもよい。この場合には、複数人で視聴しているような場合であっても、各人がそれぞれ自分の周囲の操作ボタンを操作することができるため、各人が必要最低限の動作で操作を行うことができる。
【００１４】
請求項４に係る発明は、請求項１乃至３のいずれかにかかる発明において、 前記操作用画像生成部が、前記認識対象物情報に含まれる認識対象物の属性及び個数に応じて、前記操作ボタンの表示位置を切り替えることを特徴とする。
【００１５】
この場合には、手や顔など複数種を認識対象物とすることにより、より確実に認識が可能な対象物を優先させて認識したり、ユーザー操作で任意の認識対象物を選択したりするなど、適宜認識対象物を切り替える動作を行い、その切り替えられた認識対象物の種別に応じて操作ボタンの配置を適宜切り替えることによって、操作動作の認識手法及びユーザーインターフェースの多様化を図り、使用環境やユーザー趣向に適切に対応することができる。
【００１６】
請求項５に係る発明は、請求項１乃至４のいずれかにかかる発明において、 前記操作ボタンが、その属性に従ってグループ分けにされており、前記操作用画面では、前記操作ボタンがグループ単位で表示されるとともに、操作者の選択操作に応じて、グループ単位で活性化又は非活性化が切り替えられ、前記活性化されたグループの表示範囲には、前記鏡像画像調整部を経た画像と、前記操作用画像とが混合され、前記非活性化されたグループについては、少なくともそのグループの属性に関する情報が該グループの表示範囲内に表示されることを特徴とする。
【００１７】
この場合には、例えば、地上波放送や衛星放送（BSやCS等）、入力端子などの放送方式や入力種別に応じて操作ボタンがグルーピングされることから、ユーザーが所望する操作ボタンへのアクセスが容易となる。また、グルーピングの表示に際し、操作可能なグループを活性化（アクティブ化）させ、そこに操作者画像を混合することから、操作者は操作可能な操作ボタンを直感的に把握することができる。一方、他のグループについては非活性化（非アクティブ化）するが、少なくともその非活性化されているグループの属性情報については表示されているため、操作者は、現在操作できないまでも他の選択肢としてのグループが存在することを直感的に把握することができる。
【００１８】
請求項６に係る発明は、請求項１乃至５のいずれかにかかる発明において、 前記操作用画像生成部が、前記動作検出部による前記選択動作の検出に基づいて、操作に関する情報を図形又は文字により表示するガイダンスアイコンを生成する機能を有することを特徴とする。
【００１９】
この場合には、操作者の操作ボタンに対する動作が検出された際に、次の操作（動作）に関する情報（ガイダンスやヒント）を表示することができるため、操作者の円滑な操作を誘導することができ、操作性を向上させることができる。
【００２０】
請求項７に係る発明は、操作者を撮影するビデオカメラと、表示装置とを有する電子機器の制御方法であって、認識情報生成部により、前記ビデオカメラによって撮影された前記操作者の身体の一部又は操作者が保持する物体である対象物を認識し、この認識された認識対象物の属性、個数、前記表示装置の画面内における位置、又は該画面内に占める面積の割合のうちの少なくとも一つを含む認識対象物情報を生成する認識情報生成ステップと、鏡像画像調整部により、前記ビデオカメラによって撮影した画像を鏡像変換し、前記認識対象物情報に応じて、前記画面上に表示された前記認識対象物の拡大、縮小又は位置の調整を行う鏡像画像調整ステップと、操作用画像生成部により、少なくとも１つの操作ボタンを含む操作用画像を生成し、前記認識対象物情報に応じて、前記操作ボタンの表示位置又は範囲を調整する操作用画像生成ステップと、前記鏡像画像調整部を経た画像と、前記操作用画像とを画像信号混合部において混合して混合画像を形成し、この混合画像を前記画面上に表示させる画像信号混合ステップと、前記画像信号混合部により混合された画像を前記画面上に表示させた状態において、前記ビデオカメラによって撮影され、前記画面に表示された操作者が、前記認識対象物を用いて前記操作ボタンを選択する所定の選択動作を動作検出部により検出する動作検出ステップと、前記動作検出部により前記所定選択動作が検出された操作ボタンに対応する制御動作を機器制御部により行う機器制御ステップとを含むことを特徴とする電子機器の制御方法である。
【００２１】
このような発明によれば、操作者の画像と、操作ボタンを含む操作用画像とを混合した混合画像を表示させ、画面内における操作者の操作ボタンに対する動作を検出して電子機器に対する制御動作を実行する際に、対象物の属性、個数、測定領域内における位置、又は所定の面積に占める面積の割合に応じて、画面上の操作者の大きさや位置、操作ボタンの表示位置や範囲を調整するため、操作（動作）を行う操作者の手や顔などの表示位置に合わせて、適切な位置や範囲に操作ボタンを表示することができ、操作性を向上させることができる。
【００２２】
請求項８に係る発明は、請求項７に係る発明において、前記画像生成ステップで、前記操作用画像生成部が、前記認識対象物情報に含まれる認識対象物の属性が操作者の手であり、且つ 該認識対象物の個数が一つである場合に、前記画面上に表示された認識対象物の周囲に前記操作ボタンを集合させて配置させ、前記認識対象物の属性が操作者の手であり、且つ前記認識対象物の個数が２個以上である場合には、画面上に表示された認識対象物それぞれの周囲に、前記操作ボタンを分散させて配置することを特徴とする。
【００２３】
この場合には、操作者の手を認識対象物とした際に、その個数を判断することにより、片手での操作を前提として操作ボタンを、片手の周囲に集中させて表示したり、両手での操作を前提として操作ボタンを、両手に分配させて表示させることができ、操作者の好みに応じたインターフェースを提供することができる。
【００２４】
請求項９に係る発明は、請求項７に係る発明において、前記画像生成ステップで前記操作用画像生成部が、前記認識対象物情報に含まれる認識対象物の属性が操作者の顔である場合に、画面上に表示された該認識対象物の周辺に前記操作ボタンを配置することを特徴とする。
【００２５】
この場合には、手よりも認識が確実な顔を認識対象とすることにより認識動作の精度を高めることができるとともに、顔の周辺（左右上下のいずれかに集中、周囲や両側に分散など）に操作ボタンを表示させることにより、操作者は必要最低限の大きさの動作で操作ボタンに対する操作が可能となり、動作の精度を高めつつ、操作性を高めることができる。
【００２６】
なお、この顔を認識する手法では、例えば、複数の顔を認識可能とし、認識された各顔の周辺に、操作ボタンをそれぞれ表示させるようにしてもよい。この場合には、複数人で視聴しているような場合であっても、各人がそれぞれ自分の周囲の操作ボタンを操作することができるため、各人が必要最低限の動作で操作を行うことができる。
【００２７】
請求項１０に係る発明は、請求項７乃至９のいずれかに係る発明において、前記画像生成ステップで前記操作用画像生成部が、前記認識対象物情報に含まれる認識対象物の属性及び個数に応じて、前記操作ボタンの表示位置を切り替えることを特徴とする。
【００２８】
この場合には、手や顔など複数種を認識対象物とすることにより、より確実に認識が可能な対象物を優先させて認識したり、ユーザー操作で任意の認識対象物を選択したりするなど、適宜認識対象物を切り替える動作を行い、その切り替えられた認識対象物の種別に応じて操作ボタンの配置を適宜切り替えることによって、操作動作の認識手法及びユーザーインターフェースの多様化を図り、使用環境やユーザー趣向に適切に対応することができる。
【００２９】
請求項１１に係る発明は、請求項７乃至１０のいずれかに係る発明において、 操作用画像生成ステップで生成される前記操作ボタンが、その属性に従ってグループ分けにされており、前記操作用画像生成ステップで生成される前記操作用画面では、前記操作ボタンがグループ単位で表示されるとともに、操作者の選択操作に応じて、グループ単位で活性化又は非活性化が切り替えられ、画像信号混合ステップにおいて、前記活性化されたグループの表示範囲には、前記鏡像画像調整部を経た画像と、前記操作用画像とが混合されるとともに、前記非活性化されたグループについては、少なくともそのグループの属性に関する情報が該グループの表示範囲内に表示されることを特徴とする。
【００３０】
この場合には、例えば、地上波放送や衛星放送（BSやCS等）、入力端子などの放送方式や入力種別に応じて操作ボタンがグルーピングされることから、ユーザーが所望する操作ボタンへのアクセスが容易となる。また、グルーピングの表示に際し、操作可能なグループを活性化（アクティブ化）させ、そこに操作者画像を混合することから、操作者は操作可能な操作ボタンを直感的に把握することができる。一方、他のグループについては非活性化（非アクティブ化）するが、少なくともその非活性化されているグループの属性情報については表示されているため、操作者は、現在操作できないまでも他の選択肢としてのグループが存在することを直感的に把握することができる。
【００３１】
請求項１２に係る発明は、請求項７乃至１１のいずれかに係る発明において、動作検出ステップで、前記操作用画像生成部は、前記動作検出部による前記選択動作の検出に基づいて、操作に関する情報を図形又は文字により表示するガイダンスアイコンを生成する機能を有することを特徴とする。
【００３２】
この場合には、操作者の操作ボタンに対する動作が検出された際に、次の操作（動作）に関する情報（ガイダンスやヒント）を表示することができるため、操作者の円滑な操作を誘導することができ、操作性を向上させることができる。
【００３３】
請求項１３に係る発明は、操作者を撮影するビデオカメラと、表示装置とを有する電子機器の制御をコンピュータを用いて行わせる制御プログラムであって、前記コンピューターに、認識情報生成部により、前記ビデオカメラによって撮影された前記操作者の身体の一部又は操作者が保持する物体である対象物を認識し、この認識された認識対象物の属性、個数、前記表示装置の画面内における位置、又は該画面内に占める面積の割合のうちの少なくとも一つを含む認識対象物情報を生成する認識情報生成ステップと、鏡像画像調整部により、前記ビデオカメラによって撮影した画像を鏡像変換し、前記認識対象物情報に応じて、前記画面上に表示された前記認識対象物の拡大、縮小又は位置の調整を行う鏡像画像調整ステップと、操作用画像生成部により、少なくとも１つの操作ボタンを含む操作用画像を生成し、前記認識対象物情報に応じて、前記操作ボタンの表示位置又は範囲を調整する操作用画像生成ステップと、前記鏡像画像調整部を経た画像と、前記操作用画像とを画像信号混合部において混合して混合画像を形成し、この混合画像を前記画面上に表示させる画像信号混合ステップと、前記画像信号混合部により混合された画像を前記画面上に表示させた状態において、前記ビデオカメラによって撮影され、前記画面に表示された操作者が、前記認識対象物を用いて前記操作ボタンを選択する所定の選択動作を動作検出部により検出する動作検出ステップと、前記動作検出部により前記所定選択動作が検出された操作ボタンに対応する制御動作を機器制御部により行う機器制御ステップとを実行させることを特徴とする。
【００３４】
このような発明によれば、汎用のコンピューターや専用コンピューターを用いて、上述した装置や方法を実施することが可能となるとともに、このプログラムをコンピューター読み取り可能な記録媒体に記録することにより、プログラムの保存、運搬及びインストールを容易に行うことができる。
【発明の効果】
【００３５】
本発明によれば、表示装置に表示された操作ボタンに手などをかざして操作ボタンを操作する電子機器において、ユーザーの手などの認識対象物に対する操作ボタンの表示位置を適切なものとし、その操作性を向上させることができる。
【発明を実施するための最良の形態】
【００３６】
（電子機器の制御方法の概要）
図１は、本実施形態において、電子機器（テレビジョン受像機１）を制御する方法を示す説明図である。
【００３７】
本実施形態の操作方法では、テレビジョン受像機１に、ビデオカメラ２が設けられており、ビデオカメラ２によりユーザ３が撮影され、ビデオカメラ２の画像からユーザ３の動作を認識し、その認識された動作に応じてテレビジョン受像機１及びそれに関連する機器の操作が行われる。ここで、ユーザ３の動作とは、具体的にはテレビジョン受像機１に表示されるメニュー画面から所望のボタンを選択する身体（手、足、顔など）の動きのことである。本実施形態では、後述するように最も実用的である手の動きで操作する手法を採用している。またテレビジョン受像機１の周囲が暗いときは、自発光機能を具備した遠隔操作用機器（手元制御機器）を用いることにより、手の動作と同様の効果を得るようにしてもよい。
【００３８】
図２及び図３は、テレビジョン受像機１の画面構成を示す説明図である。同図に示すように、本実施形態に係る画面は、通常の映像信号Ｓ２上に、第１の混合画像Ｍ１ｏを混合して生成した第２の混合画像Ｍ２ｏを表示したものである。第１の混合画像Ｍ１ｏは、ユーザーインターフェースである操作用画像Ｇｓに、ビデオカメラ２で撮影した操作者画像Ｓ１を混合して形成される。ここで、通常の映像信号Ｓ２は、例えば地上波放送や衛星放送、外部入力端子から入力されたビデオデッキやＤＶＤプレイヤー等からの映像信号であり、操作者画像は、ビデオカメラ２で撮影されたユーザ３及びその背後にある風景である。
【００３９】
操作用画像Ｇｓは、テレビのチャンネルやページ遷移、メディア（放送方式）の切り替えを操作するための操作ボタン４０，４１が配列されている。この画面内において、操作者は、認識対象物Ｏｂｊである手を、操作ボタン４０，４１中の任意の操作ボタン（任意の放送局など）上にかざし、所定の動作（例えば、指を折り曲げたり、手を開いたり閉じたり等のサイン）をすることによって、所望する操作ボタンに対する操作を行うことができる。
【００４０】
（制御装置の構成）
図４は、テレビジョン受像機１の制御装置の構成を示すブロック図であり、テレビジョン受像機１は、ビデオカメラ２、基準同期発生器１１、タイミングパルス発生器１２、鏡像変換器１３、スケーラ１４、グラフィックス生成器１５、第１の混合器１６、検出部１７、制御情報判断器（ＣＰＵ）１８、画素数変換器１９、第２の混合器２０、及び表示装置２１を備えている。なお、説明中で用いられる「モジュール」とは、装置や機器等のハードウェア、或いはその機能を持ったソフトウェア、又はこれらの組み合わせなどによって構成され、所定の動作を達成するための機能単位を示す。
【００４１】
基準同期発生器１１は、入力される同期信号に基づいて、テレビジョン受像機１の基準になる水平周期パルスと垂直周期パルスを発生するモジュールである。ここで、同期信号は画素数変換器１９に入力される映像信号の水平及び垂直同期信号である。テレビジョン放送受信時や外部の機器から映像信号が入力されている場合は、基準同期発生器１１はその入力信号の同期信号に同期するパルスを生成する。タイミングパルス発生器１２は、各モジュールで必要とする水平方向と垂直方向の任意の位相と幅を有するパルスを生成する。
【００４２】
ビデオカメラ２は、図１に示すようにテレビジョン受像機１の前面に位置してユーザ３、またはテレビジョン受像機１の前の映像を撮影する装置であり、例えばＣＣＤカメラなどを採用することができる。ビデオカメラ２の出力信号は、輝度（Ｙ）信号、及び色差（Ｒ−Ｙ、Ｂ−Ｙ）信号であり、基準同期発生器１１から出力される水平周期パルス及び垂直周期パルスに同期している。
【００４３】
鏡像変換器１３及びスケーラ１４は、ビデオカメラによって撮影した画像信号を鏡像変換するとともに、後述する認識対象物情報に応じて、表示装置の画面上に表示された操作者の拡大、縮小又は位置の調整を行う鏡像画像調整部を構成するモジュールである。
【００４４】
鏡像変換器１３は、ビデオカメラ２で撮影したユーザ３の画像（被写体像）を表示装置２１上に鏡と同じように左右を反転して表示するためのモジュールである。従って、文字を表示する場合は鏡と同じように左右が反転することになる。本実施形態では、メモリを活用して水平方向の画像を反転させる方法により鏡像変換が行われる。表示装置２１として陰極線管（ＣＲＴ（CathodeRayTube））を用いる場合には、水平偏向を逆に操作することで同様の効果が得られる。その場合には、グラフィックスやその他混合する側の画像をあらかじめ水平方向に左右逆転させておく必要がある。
【００４５】
スケーラ１４は、例えばデジタル処理等により、図８及び図９に示すように、ビデオカメラ２により撮影した被写体像の大きさを拡大又は縮小したり、表示位置を調整する画像調整器で、制御情報判断器１８の制御で拡大率と縮小率を２次元で調整するモジュールである。また、このスケーラ１４は、拡大縮小を行わずに、水平と垂直の位相調整を行うこともできる。
【００４６】
なお、本実施形態では、図４に示すようにスケーラ１４は鏡像変換器１３の後段に設け、鏡像変換器１３により鏡像変換された画像を調整するが、ビデオカメラ２と鏡像変換器１３の間にスケーラ１４を設け、ビデオカメラ２より出力された画像を調整させてもよい。
【００４７】
グラフィックス生成器１５は、制御情報判断器１８から供給されるメニュー画面（操作用画像）を生成するための認識対象物情報に基づいてメニュー画面を生成する操作用画像生成部であり、メモリ上の信号がＲ（赤）信号、Ｇ（緑）信号、Ｂ（青）信号の原色信号で展開されていても、後段で映像信号と合成または混合される出力信号は、輝度（Ｙ）信号と色差（Ｒ−Ｙ、Ｂ−Ｙ）信号とする。また生成されるグラフィックスのプレーン数は限定するものではないが、本実施形態では１プレーンでよい。
【００４８】
なお、メニュー画面を構成するグラフィックスの画素数（解像度）は、本実施形態では表示装置２１の画素数（解像度）に一致させるようにしている。一致していない場合は、グラフィックス生成器１５内またはグラフィックス生成器１５の後段に画素数変換器を設けて、互いの画素数を一致させればよい。
【００４９】
また、本実施形態に係るグラフィックス生成器１５は、操作用画像制御部１５ａを備えており、この操作用画像制御部１５ａは、前記認識対象物情報に応じて、操作用画像の操作ボタンの表示位置又は範囲を調整するモジュールである。この操作ボタンの表示切り替えとしては、図２や図９（ａ）に示すように、認識対象物情報に含まれる認識対象物の属性が操作者の手であり、且つ、手の個数が一つである場合には、画面上に表示された片手の周囲に操作ボタンを集合させて配置させ、図９（ｂ）に示すように、手の個数が２個以上である場合には、画面上に表示された両手のそれぞれの周囲に、前記操作用画像を分散させて配置する。また、認識対象物情報に含まれる認識対象物の属性が操作者の顔である場合に、図９（ｃ）や（ｄ）に示すように、画面上に表示された１つ又は複数の顔の周囲（両側や円状）に操作ボタンを配置してもよい。さらには、前記グラフィックス生成器１５は、認識対象物の属性及び個数を判断し、より確実に認識が可能な対象物を優先させて認識したり、ユーザー操作で任意の認識対象物を選択したりするなど、適宜認識対象物を切り替える動作を行い、その切り替えられた認識対象物の種別や位置に応じて操作ボタンの配置形態を適宜切り替えるようにしてもよい。
【００５０】
さらに、グラフィックス生成器１５で生成される操作用画像において、前記操作ボタンは、その属性（地上波放送や衛星放送（BSやCS等）、入力端子などの放送方式や入力種別）に従ってグループ分けされ、グループ単位で表示されるとともに、操作者の選択操作に応じて、グループ単位で活性化（アクティブ化）又は非活性化（非アクティブ化）が切り替えられるようになっている。具体的には、図１０に示すように、操作用画像において、グループ毎に、操作ボタンが各操作用ウィンドウにまとめられ、その操作用ウィンドウはページのように捲れるイメージで表現されており、最前面にあるページ（操作用ウィンドウ）Ｗ１がアクティブ化され、操作者画像が混合されるとともに、操作ボタンが操作可能となる。一方、最前面の背後にある他のページＷ２〜Ｗ５は、ページの枠組とそのグループの属性に関する情報を表示するタグのみとしてもよい。
【００５１】
また、グラフィックス生成器１５は、検出部１７による選択動作の検出に基づいて、図１１及び１２（ａ）及び（ｂ）に示すような、操作に関する情報を図形又は文字により表示するガイダンスアイコンを生成する機能を有する。
【００５２】
第１の混合器１６は、スケーラ１４の出力信号（操作者画像Ｓ１）とグラフィックス生成器１５の出力信号（操作用画像Ｇｓ）とを、制御値α１により混合割合を制御して混合する画像信号混合部である。具体的には、下記（１）式で出力信号（第１の混合画像Ｍ１ｏ）が表される。
Ｍ１ｏ＝α１×Ｓ１＋（１−α１）×Ｇｓ…（１）
制御値α１は、「０」から「１」の間の値に設定され、制御値α１を大きくするとスケーラ１４の出力信号（操作者画像Ｓ１）の割合が大きくなり、グラフィックス生成器１５の出力信号（操作用画像Ｇｓ）の割合が小さくなる。混合器の例としてはこれに限らないが、本実施形態では、入力される２系統の信号情報が入っていれば同様の効果が得られる。なお、既述したようにビデオカメラ２と鏡像変換器１３の間にスケーラ１４を設けた場合には、鏡像変換器１３から出力される信号を出力信号（操作者画像Ｓ１）とすればよい。
【００５３】
また、本実施形態に係る第１の混合器１６は、図３にも示したように、鏡像変換器１３及びスケーラ１４を経た操作者画像Ｓ１の面積及び形状と、操作用画像Ｇｓのうちの最前面にありアクティブ化されているページＷ１の面積及び形状とをほぼ等しくし、さらにその座標位置をほぼ一致させた状態で混合する。そして、これにより生成された混合画像は、第２の混合器２０において、通常の映像信号とさらに混合され、表示装置２１の画面上に表示される。
【００５４】
検出部１７は、第１の混合器１６，第２の混合器２０により混合された画像を表示装置２１の画面上に表示させた状態において、画面に表示された操作者が操作ボタンを選択する所定の選択動作を検出する動作検出部であり、第１の検出器１７１、第２の検出器１７２、…第ｎの検出器１７ｎを備える。これらの検出部１７に含まれる検出器は数を特定するものではなく、グラフィックス生成器１５で生成されるメニュー画面と連携した制御内容を表す後述する操作ボタンの数に対応して変動する。なお、操作ボタンとはパソコンにおいてマウスでクリック操作する操作ボタンに該当するものである。
【００５５】
制御情報判断器１８は、検出部１７から出力されるデータ（検出信号）の解析を行い、各種制御信号を出力する。制御情報判断器１８は、入力されるデータに基づいて操作された操作ボタンに対応する制御信号を生成し、自機各部及び外部の電子機器の制御動作を行う。制御情報判断器１８はソフトウェアで各種の処理を行うモジュールである。本実施形態では、ハードウェア（各機能ブロック）による処理と、ソフトウェア（制御情報判断器１８のＣＰＵ）による処理とが混在するモジュールとして取り扱われ、特にここで示す区分けに限定するものではなく、ハードウェアとソフトウェアとをどのように用いてもよい。
【００５６】
特に、本実施形態において制御情報判断器１８は、前記ビデオカメラによって撮影された対象物を認識し、認識された対象物の属性、個数、画面内における位置、又は画面内に占める面積の割合のうちの少なくとも一つを含む認識対象物情報を生成する認識情報生成部２３を備えている。
【００５７】
具体的には、図６に示すように、認識情報生成部２３は、例えば手や顔の形状や色などの認識特徴を記憶する認識特徴記憶部２３１と、画像信号中から前記認識特徴を検出する認識対象検出部２３２と、検出された認識特徴に基づいて、その属性や位置・サイズ、個数を判別する属性判別部２３３，位置・サイズ判別部２３４，個数判別部２３５とを有している。そして、この認識情報生成部２３による対象物の認識は、ビデオカメラによって撮影された映像の中から、認識特徴記憶部２３１に記憶されている手や顔の形状や色などの特徴に基づいて対象物を抽出し、その属性等のデータは、認識対象物情報としてグラフィックス生成器１５及びスケーラ１４に送出される。
【００５８】
なお、この制御情報判断器１８には、マイク等の音声入力デバイスから入力される音声を認識する音声認識部２２が接続されており、ビデオカメラ２からの映像による操作と併せて、例えば、命令音声や拍手、その他の音響による操作を取入れることができるようになっている。
【００５９】
画素数変換器１９は、入力される映像信号の画素数（解像度）と表示装置２１の画素数（解像度）を合わせるための画素数変換を行う。入力映像信号は、図示を省略している内蔵のチューナにて受信したテレビジョン信号（データ放送なども含む）による映像信号やビデオデッキからの映像信号などテレビジョン受像機１の外部から入力される映像信号である。ここでは図示を省略するが、入力映像信号から水平及び垂直同期信号を抽出して、基準同期発生器１１によって各部を入力映像信号の水平及び垂直同期信号に同期させるようにしている。
【００６０】
第２の混合器２０は、第１の混合器１６と同様の機能を有する。すなわち、第１の混合器１６の出力信号（第１の混合画像Ｍ１ｏ）と、画素数変換器１９の映像信号Ｓ２とを制御値α２で混合割合を制御して混合する。具体的には、下記（２）式で出力信号Ｍ２ｏが表される。
Ｍ２ｏ＝α２×Ｍ１ｏ＋（１−α２）×Ｓ２…（２）
制御値α２は、「０」から「１」の間の値に設定され、制御値α２を大きくすると第１の混合器１６の出力信号Ｍ１ｏの割合が大きくなり、画素数変換器１９の出力信号Ｓ２の割合が小さくなる。混合器の例としてはこれに限らないが、本実施形態では、入力される２系統の信号情報が入っていれば同様の効果が得られる。
【００６１】
表示装置２１は、ＣＲＴ、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ（ＰＤＰ）あるいはプロジェクションディスプレイなどを想定しているが、ディスプレイの表示方式を限定するものではない。表示装置２１の入力信号は、輝度信号Ｙと、色差信号Ｒ−Ｙ及びＢ−Ｙであり、表示装置２１の内部にてＲＧＢ原色信号にマトリクス変換されて表示される。
【００６２】
各検出器１７１〜１７ｎは、図５（ａ）に示すように、オブジェクト抽出器３０と、タイミングゲート器３１と、オブジェクト特徴データ検出部３２とを備えている。オブジェクト抽出器３０は、画像の特徴に添ったフィルタを備えており、フィルタ処理をした画像信号をタイミングゲート器３１に出力する。
【００６３】
タイミングゲート器３１は、タイミングパルスに基づいてビデオカメラ２からの画像信号の通過を制御する。通過する領域は後述する検出エリア内である。この検出エリア内に限定した信号に対して、オブジェクト特徴データ検出部３２は種々のフィルタ処理を施してビデオカメラ２で撮影したユーザ３の手の画像を抽出する。
【００６４】
オブジェクト特徴データ検出部３２は、抽出されたユーザ３の手（対象物）の画像信号から、様々な特徴を検出し検出信号を発生するための機能ブロックを備える。本実施形態では、ヒストグラム検出器３３、平均輝度（ＡＰＬ）検出器３４、高域発生量検出器３５、最小値検出器３６、最大値検出器３７を備える。この他にも画像を特徴づける要件はあるが、本実施形態ではこれらの検出器より発生される検出信号を用い、制御情報判断器１８によって手であることを判別すると共にその動作を認識する。
【００６５】
図５（ｂ）に、オブジェクト抽出器３０の詳細ブロック図を示す。本実施形態ではユーザ３の手を検出するために、特に肌色に着目したフィルタ処理を行う。すなわち、本実施形態のオブジェクト抽出器３０は、特定色フィルタ７１と、階調限定器７２と、時間差分フィルタ７５と、合成器７３と、オブジェクトゲート器７４とを備えている。
【００６６】
特定色フィルタ７１、階調限定器７２及び時間差分フィルタ７５は、それぞれオブジェクトを特定するフィルタである。特定色フィルタ７１は、色差信号で入力される色信号の色相と色の濃さ（飽和度）を限定し、階調限定器７２は、輝度信号の特定の階調の範囲を限定する。時間差分フィルタ７５は、人の手の背景が肌色であっても、わずかな輝度の差などを基に手の領域を抽出し、人の手を識別する。本実施形態では人の手を、後述する操作ボタンを操作する対象物としているが、パラメータである色相や階調を調整し最適化することにより、オブジェクト抽出器３０は手以外の対象物も検出することができる。
【００６７】
合成器７３は、特定色フィルタ７１と階調限定器７２と時間差分フィルタ７５から入力される信号を合成し、領域パルスに変換する。本実施形態では、特定色フィルタ７１を通過した信号と階調限定器７２を通過した信号と時間差分フィルタ７５を通過した信号とが全て存在（ＡＮＤ）する場合に、ハイレベルとなる領域パルスを出力する。なお、特定色フィルタ７１と階調限定器７２と時間差分フィルタ７５のうち１つまたは２つを通過した信号が存在すれば、ハイレベルとなる領域パルスを出力するようにしてもよい。
【００６８】
特定色フィルタ７１と階調限定器７２と時間差分フィルタ７５のうちの、２つを通過した信号が存在すればハイレベルとなるようにすれば誤検出しにくく、３つを通過した信号が存在すればハイレベルとなるようにすれば更に誤検出しにくくなる。
【００６９】
合成器７３で生成された領域パルスは、オブジェクトゲート器７４に供給される。オブジェクトゲート器７４は、領域パルスがハイレベルであるとき、輝度信号と色差信号を通過させる。領域パルスがローレベル（領域パルス外の範囲）であるときは、輝度信号も色差信号も通過させず、規定した値の信号を出力する。本実施形態では、黒レベルの輝度信号及び飽和度０の色差信号を出力する。
【００７０】
（電子機器の制御方法）
以上の構成を有する制御装置を動作させることによって、本発明の制御方法を実施することができる。図７は、本実施形態に係る制御装置の動作を示すフローチャート図である。
【００７１】
先ず、ビデオカメラ２による操作者画像Ｓ１を、鏡像変換器１３で鏡像変換し、スケーラ１４により拡大・縮小及び位置調整を行う（Ｓ１０１〜Ｓ１０３）。これと並行して通常の映像信号の受信若しくは入力を行う（Ｓ１１２）。
【００７２】
そして、この操作者画像Ｓ１について、認識情報生成部２３により、認識対象物Ｏｂｊを認識し、認識された対象物Ｏｂｊの属性、個数、前記表示装置の画面内における位置、又は該画面内に占める面積の割合のうちの少なくとも一つを含む認識対象物情報を生成する（Ｓ１０４）。この認証対象物情報により、操作者が画像中において小さすぎたり、大きすぎたり、又は偏った位置にいるようなときには、操作者画像の調整要と判断し、拡大・縮小、位置調整をやり直す（Ｓ１０５における”Ｙ”）。例えば、ビデオカメラの撮影の画角に対して、人の位置によっては手の大きさが小さかったり、プッシュボタンの位置まで届かなかったりすることが考えられる。この場合は、スケーラ１４で画像を「拡大」「縮小」「位相（位置）」を調整して人を画面上に適切な大きさにする。すなわち、図８（ａ）や（ｂ）に示すように、操作者が遠方（或いは近距離）にいたり、画面の端にいる場合、スケーラ１４を制御して「拡大」（或いは「縮小」）し、画面の中心に人が位置するように「位相」を調整することにより、図８（ｂ）の（Ｅ）のように適切な大きさで適切な位置にユーザを表示させる。
【００７３】
また、認証対象物情報に基づいて、操作用画像の操作ボタンの配置位置などの調整が必要か否か判断し（Ｓ１０６）、調整要と判断した場合は（Ｓ１０６における”Ｙ”）、対象物の位置や属性に応じて、操作ボタンの表示形態を決定し（Ｓ１０７）、この決定に基づいて操作用画像Ｇｓを生成（変更）する（Ｓ１０８）。なお、本実施形態における装置のデフォルト設定では、図２に示すように、ユーザーの手を認識対象とし、認識された手が画面中央に位置するように、操作者画像が調整され、その中央に表示された手に整合させるように、操作ボタンが画面中央に配置されるように、操作用画像が生成・変更されるようになっている。
【００７４】
次いで、このようにして生成された操作用画像Ｇｓが、操作者画像Ｓ１と、第１の混合器１６で混合され、第２の混合器２０で、映像信号Ｓ２と混合される。かかる第１の混合器１６における混合処理は、操作用画像Ｇｓと、操作者画像Ｓ１との混合画像であるＭ１ｏを制御値α１に対応する混合割合で混合して生成し、また、第２の混合器２０における混合処理は、混合画像Ｍ１ｏと、映像信号Ｓ２とを制御値α２に対応する混合割合で混合して生成する（Ｓ１０９）。
【００７５】
操作用画像Ｇｓは、制御を行うためのメニュー画面を形成しており、四角形のプッシュボタン式に操作される操作ボタンが配列されている。一方の操作者画像Ｓ１は、ユーザが撮影され鏡像変換され、鏡と同じように表示される。
【００７６】
操作者画像Ｓ１の中の操作ボタンには、複数の検出器１７１〜１７ｎ等からなる検出部１７の検出エリアが対応づけられており、各検出エリア上で動作を行うことによって、検出器１７１〜１７ｎがその動作を検出し、対応した操作ボタンに対する操作であることを判別する。
【００７７】
このようにして表示装置２１には、ユーザの画像が鏡と同様に映ると共に、制御のメニュー画面も重畳されて表示される。これによりユーザ本人は、自分の動きと制御メニューの位置を認識することができる。制御は、ユーザが画面を見て、画面上の操作ボタンに触れるように手（身体）を動かすことにより行う。言い換えれば手を操作ボタン上に位置するように画面を見てユーザが動作することにより、制御を行うことができる。
【００７８】
具体的には、各検出器１７１〜１７ｎは、ビデオカメラ２からの画像信号の通過を制御し、通過する領域は、各操作ボタンに対応した検出エリア内である。この検出エリア内に限定した信号を、さらに様々なフィルタ処理してビデオカメラ２で捉えたユーザの手を抽出し、その動作を検出する（Ｓ１１０）。
【００７９】
オブジェクト抽出器３０は、画像の特徴に添ったフィルタを備えており、本実施形態ではユーザの手を検出するために、特に肌色に着目したフィルタ処理を行う。また、このオブジェクト抽出器３０では、特定色フィルタ７１で色信号の色相（角度）と飽和度を限定したものをさらに輝度信号レベルで限定する。特定色フィルタ７１で色相と飽和度を限定することで人の肌色に絞ることができ、日焼け具合や人種によって異なる人の肌の色相、飽和度、輝度信号の階調限定の範囲で調整し、ユーザーの手を検出する。本実施形態では人（ユーザー）の手を対象にしているが、その他の色相と階調を適切に調整すれば、本実施形態におけるパラメータの変更の範疇で同様にして他のものと区別することができる。
【００８０】
そして、手を触れた（該当する）操作ボタンに対応する検出エリア内の手の動作を検出し、該当する操作ボタンが押されたことを認識する（Ｓ１１０における”Ｙ”）。本実施形態では、かざした手の指を折り曲げる動作を２度繰り返すことで操作ボタンが押されたことを認識するようにしている。
【００８１】
なお、この操作ボタンに手を触れた段階で、本実施形態では、触れられたボタンの色を変えるなどして強調表示するとともに、図１１及び図１２に示したガイダンスアイコンを表示させ、ユーザーに対して次の動作（操作）を誘導する。例えば、図１２（ａ）に示した例では、ユーザーの手が操作ボタンに触れたときに、吹出しが表示され、手の形をしたガイダンスアイコンが、指を折り曲げる動作をするようにしている。また、図１２（ｂ）に示すように、吹出しではなく、ユーザーの手が触れてアクティブとなった操作ボタン上に直接、ガイダンスアイコンを表示させてもよい。
【００８２】
さらに、このガイダンスアイコン内またはその周辺に、対応する操作ボタンの機能に関わる詳細情報を表示してもよい。詳細情報としては、例えば、番組名や番組内容等の番組情報などが考えられる。
【００８３】
この動作の認識により、該当操作ボタンの制御内容に相当する制御信号を制御情報判断器（ＣＰＵ）１８から出力し、動作制御を行う（Ｓ１１１）。その際グラフィック状のメニュー画面の操作ボタンは形状及び／または色を変化させて、動作を認識したことを表示上に表す。例えば操作ボタンが押されたように画像を変化させてもよい。
【００８４】
また、ユーザーの操作動作としては、画面に表示したメニュー（操作ボタン群）の表示形態の切り替えも含まれる。例えば、図１０に示したような、操作ボタンがグルーピングされて表示され、そのグループ毎にアクティブと非アクティブが切り替えられるようなときには、ページをめくる操作を行うことにより、アクティブになっているページ（操作ボタンのグループ）を順次切り替えていくことができる。
【００８５】
（電子機器の制御プログラム）
上述した本実施形態係る電子機器の制御装置及び制御方法は、所定の言語で記述されたプログラムをコンピュータ上で実行することにより実現することができる。すなわち、このプログラムを、ユーザー端末やＷｅｂサーバ等のコンピュータやＩＣチップにインストールし、ＣＰＵ上で実行することにより、上述した各機能を有する制御装置を容易に構築することができる。このプログラムは、例えば、通信回線を通じて配布することが可能であり、またスタンドアローンの計算機上で動作するパッケージアプリケーションとして譲渡することができる。
【００８６】
そして、このようなプログラムは、汎用コンピュータで読み取り可能な記録媒体に記録することができる。具体的には、フレキシブルディスクやカセットテープ等の磁気記録媒体、若しくはＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等の光ディスクの他、ＲＡＭカードなど、種々の記録媒体に記録することができる。
【００８７】
そして、このプログラムを記録したコンピュータ読み取り可能な記録媒体によれば、汎用のコンピュータや専用コンピュータを用いて、上述した装置や方法を実施することが可能となるとともに、プログラムの保存、運搬及びインストールを容易に行うことができる。
【００８８】
（変更例）
なお、上述した実施形態では、表示装置に映されたグラフィックス上に展開される操作用画像を、それに重ね合わされた自分の鏡像を見ながら操作するものであるが、画像を重ね合わせるので見にくい場合がある。その場合は、検出器の画面上の領域を特定するタイミングパルス（水平垂直）で、第１の混合器１６または第２の混合器２０の混合割合を制御して見やすいようにする。例えば制御画像である操作ボタンを見やすくするためには第１の混合器１６にて、制御値α１の値を小さくするようにタイミングパルスで制御すればよい。このように混合器をきめ細かく制御することによって視聴者と、制御画像（操作ボタン）の関係を分かり易くすることができる。
【００８９】
また、本実施形態の操作方法は、人の手を使って対称となるグラフィックス上に描かれた操作ボタンを触れるように操作するものであり、その対象となる操作内容は、「電源」「チャンネル」「音量」「入力切替」「上」「下」「左」「右」「決定」など従来のリモコンが備えていたものはすべて置き換えることが可能である。
【００９０】
なお本発明は上述した実施形態に限るものではなく、種々の変形が可能である。例えば、図４に示した第１の混合器１６及び第２の混合器２０の混合割合を、レベル方向、空間方向、時間方向に効果的に組み合わせるようにしてもよい。これにより、ビデオカメラ２からの画像と生成されるグラフィックスのメニュー画面と、放送番組の映像の多様な組み合わせ方が可能となり、同時に多様な情報のやり取りが出来る。 また本発明の操作対象となる電子機器は、テレビジョン受像機に限るものではなく、パーソナルコンピュータや、テレビジョン受像機とビデオディスク録画装置の組み合わせや、テレビジョン受像機とビデオテープレコーダとの組み合わせなど、表示装置を有するものであればよい。
【００９１】
（作用・効果）
以上のような操作方法を用いることにより、リモコンのような制御機器を用いることなく制御対象の制御が可能となる。したがって電池切れや接点不良などのリモコンに関するトラブルが解消される。また複数の機器のリモコンがある場合、被制御機器のリモコンを探さなければならなかったが、本発明の操作方法では、人の身体があればよく、このような問題も解消される。
【００９２】
また画面上に制御内容が示されるので、様々な制御機器の取り扱いが可能となる。これはネットワーク化された環境では重要であり、表示装置を有する機器を通じてネットワーク機器を制御する、言い換えれば、ネットワークにつながる機器の制御画面をネットワークを通じて表示装置を有する機器に転送することにより、表示装置の画面が制御画面になるため、どのような制御画面であっても対応できる。
【００９３】
そして特に、本実施形態では、操作者画像Ｓ１と、操作ボタンを含む操作用画像Ｇｓとを混合した混合画像Ｍ１ｏを表示させ、画面内における操作者の操作ボタンに対する動作を検出して電子機器に対する制御動作を実行する際に、対象物の属性、個数、測定領域内における位置、又は所定の面積に占める面積の割合に応じて、画面上の操作者の大きさや位置、操作ボタンの表示位置や範囲を調整するため、操作（動作）を行う操作者の手や顔などの表示位置に合わせて、適切な位置や範囲に操作ボタンを表示することができ、操作性を向上させることができる。
【００９４】
また、本実施形態では、操作者画像Ｓ１と操作用画像Ｇｓのうちの最前面にあるアクティブ化されているページＷ１とを、面積及び形状、さらに座標位置をほぼ一致させて混合するため、操作用画像Ｇｓのうちの最前面にあるアクティブ化されているページＷ１と、その周縁の映像Ｓ２との境界における視覚的な段差による違和感を解消することができる。
【００９５】
さらに、本実施形態では、操作ボタンが、その放送方式や放送局などの属性に従ってグループ分けにされており、ページをめくるように、グループ単位で活性化又は非活性化が切り替えることができるため、ユーザーが所望する操作ボタンへのアクセスが容易となり、操作者は操作可能な操作ボタンを直感的に把握することができる。一方、他のグループについては非活性化（非アクティブ化）するとともに、局のタイトルなどの属性情報については表示されているため、操作者は、現在操作できないまでも他の選択肢としてのグループが存在することを直感的に把握することができる。
【００９６】
また、本実施形態では、操作者の操作ボタンに対する動作が検出された際に、次の操作（動作）に関する情報（ガイダンスやヒント）を表示するため、操作者の円滑な操作を誘導することができ、操作性を向上させることができる。
【図面の簡単な説明】
【００９７】
【図１】実施形態に係る電子機器（テレビジョン受像機１）を制御する方法を示す説明図である。
【図２】実施形態に係るテレビジョン受像機１の画面構成を示す説明図である。
【図３】実施形態に係るテレビジョン受像機１の画面構成を分解して示す説明図である。
【図４】実施形態に係るテレビジョン受像機１の構成を示すブロック図である。
【図５】（ａ）は、実施形態に係る検出器１７１〜１７ｎの構成を示すブロック図であり、（ｂ）は、オブジェクト抽出器３０の構成を示すブロック図である。
【図６】実施形態に係る認識情報生成部２３の構成を示すブロック図である。
【図７】実施形態に係る制御装置の動作を示すフローチャート図である。
【図８】実施形態に係る操作者画像の調整（拡大・縮小・位置）についての説明図である。
【図９】実施形態に係る操作用画像の調整についての説明図である。
【図１０】実施形態に係る操作用画像における操作ボタンのグルーピングについての説明図である。
【図１１】実施形態に係る操作用画像におけるガイダンスアイコンの説明図である。
【図１２】実施形態に係るガイダンスアイコンの動作を示す説明図である。
【符号の説明】
【００９８】
Ｏｂｊ…認識対象物
α１，α２…制御値
Ｇｓ…操作用画像
Ｍ１ｏ…第１の混合画像
Ｍ２ｏ…第２の混合画像
Ｓ１…操作者画像
Ｓ２…通常の映像信号
Ｗ１〜Ｗ５…ページ
１…テレビジョン受像機
２…ビデオカメラ
３…ユーザー
１１…基準同期発生器
１２…タイミングパルス発生器
１３…鏡像変換器
１４…スケーラ
１５…グラフィックス生成器
１５ａ…操作用画像制御部
１６…第１の混合器
１７…検出部
１８…制御情報判断器
１９…画素数変換器
２０…第２の混合器
２１…表示装置
２２…音声認識部
２３…認識情報生成部
３０…オブジェクト抽出器
３１…タイミングゲート器
３２…オブジェクト特徴データ検出部
３３…ヒストグラム検出器
３４…平均輝度検出器
３５…高域発生量検出器
３６…最小値検出器
３７…最大値検出器
４０，４１…操作ボタン
２３１…認識特徴記憶部
２３２…認識対象検出部
２３３…属性判別部
２３４…位置・サイズ判別部
２３５…個数判別部
７１…特定色フィルタ
７２…階調限定器
７３…合成器
７４…オブジェクトゲート器
７５…時間差分フィルタ
１７１〜１７ｎ…検出器
【技術分野】
【０００１】
本発明は、テレビジョン受像機やパーソナルコンピュータのように表示装置を有する電子機器の遠隔操作を行うための電子機器の制御装置、制御方法及び制御プログラムに関する。
【背景技術】
【０００２】
テレビジョン受像機をはじめとする家電機器を手元で制御するためのユーザーインターフェースが広く普及し、家電製品の利用形態を大きく変貌させた。現在においてもこの操作形態が主流であるが、リモコンは１機能を１押しで実行する仕組みが基本となっており、例えばテレビジョン受像機では、「電源」「チャンネル」「音量」「入力切替」などのキーがそれに該当し、これまでのテレビジョン受像機にとって大変便利な遠隔の操作方法であった。
【０００３】
ところで、最近始まったデータ放送は、所望のメニュー画面を選択するために、リモコンの「上下左右」や「決定」キーを何度も押下することになり、煩雑で使いづらくなっている。また、ＥＰＧ（電子プログラムガイド）は、マトリクスに配列された案内画面から所望の位置を選択してキーを押下するため、同様の課題を有していた。
【０００４】
本出願人による先願である特開２００６−０９１９４８号公報（特許文献１）には、多様な電子機器に対する柔軟性と遠隔操作の利便性を両立させるとともに、リモコンのような遠隔操作用機器を手元で利用することを不要とした電子機器が提案されている。特許文献１に記載の電子機器はユーザーの手の動作をビデオカメラで撮影して、その動作から表示装置に表示されている操作ボタンに対する操作内容を識別するものである。
【特許文献１】特開２００３−２８３８６６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述した特許文献１に記載の電子機器においては、ユーザーの手などの対象物を認識し、表示装置に表示されているユーザーが操作ボタンに手をかざすなど、操作ボタンに対する対象物の挙動を検出して、操作内容を識別するものであるが、例えば操作ボタンの表示位置が、認識されたユーザーの手の位置に対して適当ではなく、操作ボタンが操作しづらいことがある。
【０００６】
本発明はこの点に着目してなされたものであり、表示装置に表示された操作ボタンに手などをかざして操作ボタンを操作する電子機器において、ユーザーの手などの認識対象物に対する操作ボタンの表示位置を適切なものとし、その操作性を向上させることのできる電子機器の制御装置、制御方法及び制御プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、請求項１に係る発明は、表示装置を有する電子機器の制御装置であって、操作者を撮影するビデオカメラと、前記ビデオカメラによって撮影された前記操作者の身体の一部又は操作者が保持する物体である対象物を認識し、この認識された認識対象物の属性、個数、前記表示装置の画面内における位置、又は画面内に占める面積の割合のうちの少なくとも一つを含む認識対象物情報を生成する認識情報生成部と、前記ビデオカメラによって撮影した画像を、鏡像変換し、前記認識対象物情報に応じて、前記画面上に表示された前記認識対象物の拡大、縮小又は位置の調整を行う鏡像画像調整部と、少なくとも１つの操作ボタンを含む操作用画像を生成し、前記認識対象物情報に応じて、前記操作ボタンの表示位置又は範囲を調整する操作用画像生成部と、前記鏡像画像調整部を経た画像と、前記操作用画像とを混合して混合画像を形成し、この混合画像を前記画面上に表示させる画像信号混合部と、前記画像信号混合部により混合された画像を前記画面上に表示させた状態において、前記ビデオカメラによって撮影され、前記画面に表示された操作者が、前記認識対象物を用いて前記操作ボタンを選択する所定の選択動作を検出する動作検出部と、前記動作検出部により前記所定選択動作が検出された操作ボタンに対応する制御動作を行う機器制御部とを備えることを特徴とする電子機器の制御装置である。
【０００８】
このような発明によれば、操作者の画像と、操作ボタンを含む操作用画像とを混合した混合画像を表示させ、画面内における操作者の操作ボタンに対する動作を検出して電子機器に対する制御動作を実行する際に、対象物の属性、個数、測定領域内における位置、又は所定の面積に占める面積の割合に応じて、画面上の操作者の大きさや位置、操作ボタンの表示位置や範囲を調整するため、操作（動作）を行う操作者の手や顔などの表示位置に合わせて、適切な位置や範囲に操作ボタンを表示することができ、操作性を向上させることができる。
【０００９】
請求項２に係る発明は、請求項１に係る発明において、前記操作用画像生成部が、前記認識対象物情報に含まれる認識対象物の属性が操作者の手であり、且つ該認識対象物の個数が一つである場合に、画面上に表示された認識対象物の周囲に前記操作ボタンを集合させて配置させ、前記認識対象物の属性が操作者の手であり、且つ前記認識対象物の個数が２個以上である場合には、画面上に表示された認識対象物それぞれの周囲に、前記操作ボタンを分散させて配置することを特徴とする。
【００１０】
この場合には、操作者の手を認識対象物とした際に、その個数を判断することにより、片手での操作を前提として操作ボタンを、片手の周囲に集中させて表示したり、両手での操作を前提として操作ボタンを、両手に分配させて表示させることができ、操作者の好みに応じたインターフェースを提供することができる。
【００１１】
請求項３に係る発明は、請求項１に係る発明において、前記操作用画像生成部が、前記認識対象物情報に含まれる認識対象物の属性が操作者の顔である場合に、画面上に表示された該認識対象物の周囲に前記操作ボタンを配置することを特徴とする。
【００１２】
この場合には、手よりも認識が確実な顔を認識対象とすることにより認識動作の精度を高めることができるとともに、顔の周辺（左右上下のいずれかに集中、周囲や両側に分散など）に操作ボタンを表示させることにより、操作者は必要最低限の大きさの動作で操作ボタンに対する操作が可能となり、動作の精度を高めつつ、操作性を高めることができる。
【００１３】
なお、この顔を認識する手法では、例えば、複数の顔を認識可能とし、認識された各顔の周辺に、操作ボタンをそれぞれ表示させるようにしてもよい。この場合には、複数人で視聴しているような場合であっても、各人がそれぞれ自分の周囲の操作ボタンを操作することができるため、各人が必要最低限の動作で操作を行うことができる。
【００１４】
請求項４に係る発明は、請求項１乃至３のいずれかにかかる発明において、 前記操作用画像生成部が、前記認識対象物情報に含まれる認識対象物の属性及び個数に応じて、前記操作ボタンの表示位置を切り替えることを特徴とする。
【００１５】
この場合には、手や顔など複数種を認識対象物とすることにより、より確実に認識が可能な対象物を優先させて認識したり、ユーザー操作で任意の認識対象物を選択したりするなど、適宜認識対象物を切り替える動作を行い、その切り替えられた認識対象物の種別に応じて操作ボタンの配置を適宜切り替えることによって、操作動作の認識手法及びユーザーインターフェースの多様化を図り、使用環境やユーザー趣向に適切に対応することができる。
【００１６】
請求項５に係る発明は、請求項１乃至４のいずれかにかかる発明において、 前記操作ボタンが、その属性に従ってグループ分けにされており、前記操作用画面では、前記操作ボタンがグループ単位で表示されるとともに、操作者の選択操作に応じて、グループ単位で活性化又は非活性化が切り替えられ、前記活性化されたグループの表示範囲には、前記鏡像画像調整部を経た画像と、前記操作用画像とが混合され、前記非活性化されたグループについては、少なくともそのグループの属性に関する情報が該グループの表示範囲内に表示されることを特徴とする。
【００１７】
この場合には、例えば、地上波放送や衛星放送（BSやCS等）、入力端子などの放送方式や入力種別に応じて操作ボタンがグルーピングされることから、ユーザーが所望する操作ボタンへのアクセスが容易となる。また、グルーピングの表示に際し、操作可能なグループを活性化（アクティブ化）させ、そこに操作者画像を混合することから、操作者は操作可能な操作ボタンを直感的に把握することができる。一方、他のグループについては非活性化（非アクティブ化）するが、少なくともその非活性化されているグループの属性情報については表示されているため、操作者は、現在操作できないまでも他の選択肢としてのグループが存在することを直感的に把握することができる。
【００１８】
請求項６に係る発明は、請求項１乃至５のいずれかにかかる発明において、 前記操作用画像生成部が、前記動作検出部による前記選択動作の検出に基づいて、操作に関する情報を図形又は文字により表示するガイダンスアイコンを生成する機能を有することを特徴とする。
【００１９】
この場合には、操作者の操作ボタンに対する動作が検出された際に、次の操作（動作）に関する情報（ガイダンスやヒント）を表示することができるため、操作者の円滑な操作を誘導することができ、操作性を向上させることができる。
【００２０】
請求項７に係る発明は、操作者を撮影するビデオカメラと、表示装置とを有する電子機器の制御方法であって、認識情報生成部により、前記ビデオカメラによって撮影された前記操作者の身体の一部又は操作者が保持する物体である対象物を認識し、この認識された認識対象物の属性、個数、前記表示装置の画面内における位置、又は該画面内に占める面積の割合のうちの少なくとも一つを含む認識対象物情報を生成する認識情報生成ステップと、鏡像画像調整部により、前記ビデオカメラによって撮影した画像を鏡像変換し、前記認識対象物情報に応じて、前記画面上に表示された前記認識対象物の拡大、縮小又は位置の調整を行う鏡像画像調整ステップと、操作用画像生成部により、少なくとも１つの操作ボタンを含む操作用画像を生成し、前記認識対象物情報に応じて、前記操作ボタンの表示位置又は範囲を調整する操作用画像生成ステップと、前記鏡像画像調整部を経た画像と、前記操作用画像とを画像信号混合部において混合して混合画像を形成し、この混合画像を前記画面上に表示させる画像信号混合ステップと、前記画像信号混合部により混合された画像を前記画面上に表示させた状態において、前記ビデオカメラによって撮影され、前記画面に表示された操作者が、前記認識対象物を用いて前記操作ボタンを選択する所定の選択動作を動作検出部により検出する動作検出ステップと、前記動作検出部により前記所定選択動作が検出された操作ボタンに対応する制御動作を機器制御部により行う機器制御ステップとを含むことを特徴とする電子機器の制御方法である。
【００２１】
このような発明によれば、操作者の画像と、操作ボタンを含む操作用画像とを混合した混合画像を表示させ、画面内における操作者の操作ボタンに対する動作を検出して電子機器に対する制御動作を実行する際に、対象物の属性、個数、測定領域内における位置、又は所定の面積に占める面積の割合に応じて、画面上の操作者の大きさや位置、操作ボタンの表示位置や範囲を調整するため、操作（動作）を行う操作者の手や顔などの表示位置に合わせて、適切な位置や範囲に操作ボタンを表示することができ、操作性を向上させることができる。
【００２２】
請求項８に係る発明は、請求項７に係る発明において、前記画像生成ステップで、前記操作用画像生成部が、前記認識対象物情報に含まれる認識対象物の属性が操作者の手であり、且つ 該認識対象物の個数が一つである場合に、前記画面上に表示された認識対象物の周囲に前記操作ボタンを集合させて配置させ、前記認識対象物の属性が操作者の手であり、且つ前記認識対象物の個数が２個以上である場合には、画面上に表示された認識対象物それぞれの周囲に、前記操作ボタンを分散させて配置することを特徴とする。
【００２３】
この場合には、操作者の手を認識対象物とした際に、その個数を判断することにより、片手での操作を前提として操作ボタンを、片手の周囲に集中させて表示したり、両手での操作を前提として操作ボタンを、両手に分配させて表示させることができ、操作者の好みに応じたインターフェースを提供することができる。
【００２４】
請求項９に係る発明は、請求項７に係る発明において、前記画像生成ステップで前記操作用画像生成部が、前記認識対象物情報に含まれる認識対象物の属性が操作者の顔である場合に、画面上に表示された該認識対象物の周辺に前記操作ボタンを配置することを特徴とする。
【００２５】
この場合には、手よりも認識が確実な顔を認識対象とすることにより認識動作の精度を高めることができるとともに、顔の周辺（左右上下のいずれかに集中、周囲や両側に分散など）に操作ボタンを表示させることにより、操作者は必要最低限の大きさの動作で操作ボタンに対する操作が可能となり、動作の精度を高めつつ、操作性を高めることができる。
【００２６】
なお、この顔を認識する手法では、例えば、複数の顔を認識可能とし、認識された各顔の周辺に、操作ボタンをそれぞれ表示させるようにしてもよい。この場合には、複数人で視聴しているような場合であっても、各人がそれぞれ自分の周囲の操作ボタンを操作することができるため、各人が必要最低限の動作で操作を行うことができる。
【００２７】
請求項１０に係る発明は、請求項７乃至９のいずれかに係る発明において、前記画像生成ステップで前記操作用画像生成部が、前記認識対象物情報に含まれる認識対象物の属性及び個数に応じて、前記操作ボタンの表示位置を切り替えることを特徴とする。
【００２８】
この場合には、手や顔など複数種を認識対象物とすることにより、より確実に認識が可能な対象物を優先させて認識したり、ユーザー操作で任意の認識対象物を選択したりするなど、適宜認識対象物を切り替える動作を行い、その切り替えられた認識対象物の種別に応じて操作ボタンの配置を適宜切り替えることによって、操作動作の認識手法及びユーザーインターフェースの多様化を図り、使用環境やユーザー趣向に適切に対応することができる。
【００２９】
請求項１１に係る発明は、請求項７乃至１０のいずれかに係る発明において、 操作用画像生成ステップで生成される前記操作ボタンが、その属性に従ってグループ分けにされており、前記操作用画像生成ステップで生成される前記操作用画面では、前記操作ボタンがグループ単位で表示されるとともに、操作者の選択操作に応じて、グループ単位で活性化又は非活性化が切り替えられ、画像信号混合ステップにおいて、前記活性化されたグループの表示範囲には、前記鏡像画像調整部を経た画像と、前記操作用画像とが混合されるとともに、前記非活性化されたグループについては、少なくともそのグループの属性に関する情報が該グループの表示範囲内に表示されることを特徴とする。
【００３０】
この場合には、例えば、地上波放送や衛星放送（BSやCS等）、入力端子などの放送方式や入力種別に応じて操作ボタンがグルーピングされることから、ユーザーが所望する操作ボタンへのアクセスが容易となる。また、グルーピングの表示に際し、操作可能なグループを活性化（アクティブ化）させ、そこに操作者画像を混合することから、操作者は操作可能な操作ボタンを直感的に把握することができる。一方、他のグループについては非活性化（非アクティブ化）するが、少なくともその非活性化されているグループの属性情報については表示されているため、操作者は、現在操作できないまでも他の選択肢としてのグループが存在することを直感的に把握することができる。
【００３１】
請求項１２に係る発明は、請求項７乃至１１のいずれかに係る発明において、動作検出ステップで、前記操作用画像生成部は、前記動作検出部による前記選択動作の検出に基づいて、操作に関する情報を図形又は文字により表示するガイダンスアイコンを生成する機能を有することを特徴とする。
【００３２】
この場合には、操作者の操作ボタンに対する動作が検出された際に、次の操作（動作）に関する情報（ガイダンスやヒント）を表示することができるため、操作者の円滑な操作を誘導することができ、操作性を向上させることができる。
【００３３】
請求項１３に係る発明は、操作者を撮影するビデオカメラと、表示装置とを有する電子機器の制御をコンピュータを用いて行わせる制御プログラムであって、前記コンピューターに、認識情報生成部により、前記ビデオカメラによって撮影された前記操作者の身体の一部又は操作者が保持する物体である対象物を認識し、この認識された認識対象物の属性、個数、前記表示装置の画面内における位置、又は該画面内に占める面積の割合のうちの少なくとも一つを含む認識対象物情報を生成する認識情報生成ステップと、鏡像画像調整部により、前記ビデオカメラによって撮影した画像を鏡像変換し、前記認識対象物情報に応じて、前記画面上に表示された前記認識対象物の拡大、縮小又は位置の調整を行う鏡像画像調整ステップと、操作用画像生成部により、少なくとも１つの操作ボタンを含む操作用画像を生成し、前記認識対象物情報に応じて、前記操作ボタンの表示位置又は範囲を調整する操作用画像生成ステップと、前記鏡像画像調整部を経た画像と、前記操作用画像とを画像信号混合部において混合して混合画像を形成し、この混合画像を前記画面上に表示させる画像信号混合ステップと、前記画像信号混合部により混合された画像を前記画面上に表示させた状態において、前記ビデオカメラによって撮影され、前記画面に表示された操作者が、前記認識対象物を用いて前記操作ボタンを選択する所定の選択動作を動作検出部により検出する動作検出ステップと、前記動作検出部により前記所定選択動作が検出された操作ボタンに対応する制御動作を機器制御部により行う機器制御ステップとを実行させることを特徴とする。
【００３４】
このような発明によれば、汎用のコンピューターや専用コンピューターを用いて、上述した装置や方法を実施することが可能となるとともに、このプログラムをコンピューター読み取り可能な記録媒体に記録することにより、プログラムの保存、運搬及びインストールを容易に行うことができる。
【発明の効果】
【００３５】
本発明によれば、表示装置に表示された操作ボタンに手などをかざして操作ボタンを操作する電子機器において、ユーザーの手などの認識対象物に対する操作ボタンの表示位置を適切なものとし、その操作性を向上させることができる。
【発明を実施するための最良の形態】
【００３６】
（電子機器の制御方法の概要）
図１は、本実施形態において、電子機器（テレビジョン受像機１）を制御する方法を示す説明図である。
【００３７】
本実施形態の操作方法では、テレビジョン受像機１に、ビデオカメラ２が設けられており、ビデオカメラ２によりユーザ３が撮影され、ビデオカメラ２の画像からユーザ３の動作を認識し、その認識された動作に応じてテレビジョン受像機１及びそれに関連する機器の操作が行われる。ここで、ユーザ３の動作とは、具体的にはテレビジョン受像機１に表示されるメニュー画面から所望のボタンを選択する身体（手、足、顔など）の動きのことである。本実施形態では、後述するように最も実用的である手の動きで操作する手法を採用している。またテレビジョン受像機１の周囲が暗いときは、自発光機能を具備した遠隔操作用機器（手元制御機器）を用いることにより、手の動作と同様の効果を得るようにしてもよい。
【００３８】
図２及び図３は、テレビジョン受像機１の画面構成を示す説明図である。同図に示すように、本実施形態に係る画面は、通常の映像信号Ｓ２上に、第１の混合画像Ｍ１ｏを混合して生成した第２の混合画像Ｍ２ｏを表示したものである。第１の混合画像Ｍ１ｏは、ユーザーインターフェースである操作用画像Ｇｓに、ビデオカメラ２で撮影した操作者画像Ｓ１を混合して形成される。ここで、通常の映像信号Ｓ２は、例えば地上波放送や衛星放送、外部入力端子から入力されたビデオデッキやＤＶＤプレイヤー等からの映像信号であり、操作者画像は、ビデオカメラ２で撮影されたユーザ３及びその背後にある風景である。
【００３９】
操作用画像Ｇｓは、テレビのチャンネルやページ遷移、メディア（放送方式）の切り替えを操作するための操作ボタン４０，４１が配列されている。この画面内において、操作者は、認識対象物Ｏｂｊである手を、操作ボタン４０，４１中の任意の操作ボタン（任意の放送局など）上にかざし、所定の動作（例えば、指を折り曲げたり、手を開いたり閉じたり等のサイン）をすることによって、所望する操作ボタンに対する操作を行うことができる。
【００４０】
（制御装置の構成）
図４は、テレビジョン受像機１の制御装置の構成を示すブロック図であり、テレビジョン受像機１は、ビデオカメラ２、基準同期発生器１１、タイミングパルス発生器１２、鏡像変換器１３、スケーラ１４、グラフィックス生成器１５、第１の混合器１６、検出部１７、制御情報判断器（ＣＰＵ）１８、画素数変換器１９、第２の混合器２０、及び表示装置２１を備えている。なお、説明中で用いられる「モジュール」とは、装置や機器等のハードウェア、或いはその機能を持ったソフトウェア、又はこれらの組み合わせなどによって構成され、所定の動作を達成するための機能単位を示す。
【００４１】
基準同期発生器１１は、入力される同期信号に基づいて、テレビジョン受像機１の基準になる水平周期パルスと垂直周期パルスを発生するモジュールである。ここで、同期信号は画素数変換器１９に入力される映像信号の水平及び垂直同期信号である。テレビジョン放送受信時や外部の機器から映像信号が入力されている場合は、基準同期発生器１１はその入力信号の同期信号に同期するパルスを生成する。タイミングパルス発生器１２は、各モジュールで必要とする水平方向と垂直方向の任意の位相と幅を有するパルスを生成する。
【００４２】
ビデオカメラ２は、図１に示すようにテレビジョン受像機１の前面に位置してユーザ３、またはテレビジョン受像機１の前の映像を撮影する装置であり、例えばＣＣＤカメラなどを採用することができる。ビデオカメラ２の出力信号は、輝度（Ｙ）信号、及び色差（Ｒ−Ｙ、Ｂ−Ｙ）信号であり、基準同期発生器１１から出力される水平周期パルス及び垂直周期パルスに同期している。
【００４３】
鏡像変換器１３及びスケーラ１４は、ビデオカメラによって撮影した画像信号を鏡像変換するとともに、後述する認識対象物情報に応じて、表示装置の画面上に表示された操作者の拡大、縮小又は位置の調整を行う鏡像画像調整部を構成するモジュールである。
【００４４】
鏡像変換器１３は、ビデオカメラ２で撮影したユーザ３の画像（被写体像）を表示装置２１上に鏡と同じように左右を反転して表示するためのモジュールである。従って、文字を表示する場合は鏡と同じように左右が反転することになる。本実施形態では、メモリを活用して水平方向の画像を反転させる方法により鏡像変換が行われる。表示装置２１として陰極線管（ＣＲＴ（CathodeRayTube））を用いる場合には、水平偏向を逆に操作することで同様の効果が得られる。その場合には、グラフィックスやその他混合する側の画像をあらかじめ水平方向に左右逆転させておく必要がある。
【００４５】
スケーラ１４は、例えばデジタル処理等により、図８及び図９に示すように、ビデオカメラ２により撮影した被写体像の大きさを拡大又は縮小したり、表示位置を調整する画像調整器で、制御情報判断器１８の制御で拡大率と縮小率を２次元で調整するモジュールである。また、このスケーラ１４は、拡大縮小を行わずに、水平と垂直の位相調整を行うこともできる。
【００４６】
なお、本実施形態では、図４に示すようにスケーラ１４は鏡像変換器１３の後段に設け、鏡像変換器１３により鏡像変換された画像を調整するが、ビデオカメラ２と鏡像変換器１３の間にスケーラ１４を設け、ビデオカメラ２より出力された画像を調整させてもよい。
【００４７】
グラフィックス生成器１５は、制御情報判断器１８から供給されるメニュー画面（操作用画像）を生成するための認識対象物情報に基づいてメニュー画面を生成する操作用画像生成部であり、メモリ上の信号がＲ（赤）信号、Ｇ（緑）信号、Ｂ（青）信号の原色信号で展開されていても、後段で映像信号と合成または混合される出力信号は、輝度（Ｙ）信号と色差（Ｒ−Ｙ、Ｂ−Ｙ）信号とする。また生成されるグラフィックスのプレーン数は限定するものではないが、本実施形態では１プレーンでよい。
【００４８】
なお、メニュー画面を構成するグラフィックスの画素数（解像度）は、本実施形態では表示装置２１の画素数（解像度）に一致させるようにしている。一致していない場合は、グラフィックス生成器１５内またはグラフィックス生成器１５の後段に画素数変換器を設けて、互いの画素数を一致させればよい。
【００４９】
また、本実施形態に係るグラフィックス生成器１５は、操作用画像制御部１５ａを備えており、この操作用画像制御部１５ａは、前記認識対象物情報に応じて、操作用画像の操作ボタンの表示位置又は範囲を調整するモジュールである。この操作ボタンの表示切り替えとしては、図２や図９（ａ）に示すように、認識対象物情報に含まれる認識対象物の属性が操作者の手であり、且つ、手の個数が一つである場合には、画面上に表示された片手の周囲に操作ボタンを集合させて配置させ、図９（ｂ）に示すように、手の個数が２個以上である場合には、画面上に表示された両手のそれぞれの周囲に、前記操作用画像を分散させて配置する。また、認識対象物情報に含まれる認識対象物の属性が操作者の顔である場合に、図９（ｃ）や（ｄ）に示すように、画面上に表示された１つ又は複数の顔の周囲（両側や円状）に操作ボタンを配置してもよい。さらには、前記グラフィックス生成器１５は、認識対象物の属性及び個数を判断し、より確実に認識が可能な対象物を優先させて認識したり、ユーザー操作で任意の認識対象物を選択したりするなど、適宜認識対象物を切り替える動作を行い、その切り替えられた認識対象物の種別や位置に応じて操作ボタンの配置形態を適宜切り替えるようにしてもよい。
【００５０】
さらに、グラフィックス生成器１５で生成される操作用画像において、前記操作ボタンは、その属性（地上波放送や衛星放送（BSやCS等）、入力端子などの放送方式や入力種別）に従ってグループ分けされ、グループ単位で表示されるとともに、操作者の選択操作に応じて、グループ単位で活性化（アクティブ化）又は非活性化（非アクティブ化）が切り替えられるようになっている。具体的には、図１０に示すように、操作用画像において、グループ毎に、操作ボタンが各操作用ウィンドウにまとめられ、その操作用ウィンドウはページのように捲れるイメージで表現されており、最前面にあるページ（操作用ウィンドウ）Ｗ１がアクティブ化され、操作者画像が混合されるとともに、操作ボタンが操作可能となる。一方、最前面の背後にある他のページＷ２〜Ｗ５は、ページの枠組とそのグループの属性に関する情報を表示するタグのみとしてもよい。
【００５１】
また、グラフィックス生成器１５は、検出部１７による選択動作の検出に基づいて、図１１及び１２（ａ）及び（ｂ）に示すような、操作に関する情報を図形又は文字により表示するガイダンスアイコンを生成する機能を有する。
【００５２】
第１の混合器１６は、スケーラ１４の出力信号（操作者画像Ｓ１）とグラフィックス生成器１５の出力信号（操作用画像Ｇｓ）とを、制御値α１により混合割合を制御して混合する画像信号混合部である。具体的には、下記（１）式で出力信号（第１の混合画像Ｍ１ｏ）が表される。
Ｍ１ｏ＝α１×Ｓ１＋（１−α１）×Ｇｓ…（１）
制御値α１は、「０」から「１」の間の値に設定され、制御値α１を大きくするとスケーラ１４の出力信号（操作者画像Ｓ１）の割合が大きくなり、グラフィックス生成器１５の出力信号（操作用画像Ｇｓ）の割合が小さくなる。混合器の例としてはこれに限らないが、本実施形態では、入力される２系統の信号情報が入っていれば同様の効果が得られる。なお、既述したようにビデオカメラ２と鏡像変換器１３の間にスケーラ１４を設けた場合には、鏡像変換器１３から出力される信号を出力信号（操作者画像Ｓ１）とすればよい。
【００５３】
また、本実施形態に係る第１の混合器１６は、図３にも示したように、鏡像変換器１３及びスケーラ１４を経た操作者画像Ｓ１の面積及び形状と、操作用画像Ｇｓのうちの最前面にありアクティブ化されているページＷ１の面積及び形状とをほぼ等しくし、さらにその座標位置をほぼ一致させた状態で混合する。そして、これにより生成された混合画像は、第２の混合器２０において、通常の映像信号とさらに混合され、表示装置２１の画面上に表示される。
【００５４】
検出部１７は、第１の混合器１６，第２の混合器２０により混合された画像を表示装置２１の画面上に表示させた状態において、画面に表示された操作者が操作ボタンを選択する所定の選択動作を検出する動作検出部であり、第１の検出器１７１、第２の検出器１７２、…第ｎの検出器１７ｎを備える。これらの検出部１７に含まれる検出器は数を特定するものではなく、グラフィックス生成器１５で生成されるメニュー画面と連携した制御内容を表す後述する操作ボタンの数に対応して変動する。なお、操作ボタンとはパソコンにおいてマウスでクリック操作する操作ボタンに該当するものである。
【００５５】
制御情報判断器１８は、検出部１７から出力されるデータ（検出信号）の解析を行い、各種制御信号を出力する。制御情報判断器１８は、入力されるデータに基づいて操作された操作ボタンに対応する制御信号を生成し、自機各部及び外部の電子機器の制御動作を行う。制御情報判断器１８はソフトウェアで各種の処理を行うモジュールである。本実施形態では、ハードウェア（各機能ブロック）による処理と、ソフトウェア（制御情報判断器１８のＣＰＵ）による処理とが混在するモジュールとして取り扱われ、特にここで示す区分けに限定するものではなく、ハードウェアとソフトウェアとをどのように用いてもよい。
【００５６】
特に、本実施形態において制御情報判断器１８は、前記ビデオカメラによって撮影された対象物を認識し、認識された対象物の属性、個数、画面内における位置、又は画面内に占める面積の割合のうちの少なくとも一つを含む認識対象物情報を生成する認識情報生成部２３を備えている。
【００５７】
具体的には、図６に示すように、認識情報生成部２３は、例えば手や顔の形状や色などの認識特徴を記憶する認識特徴記憶部２３１と、画像信号中から前記認識特徴を検出する認識対象検出部２３２と、検出された認識特徴に基づいて、その属性や位置・サイズ、個数を判別する属性判別部２３３，位置・サイズ判別部２３４，個数判別部２３５とを有している。そして、この認識情報生成部２３による対象物の認識は、ビデオカメラによって撮影された映像の中から、認識特徴記憶部２３１に記憶されている手や顔の形状や色などの特徴に基づいて対象物を抽出し、その属性等のデータは、認識対象物情報としてグラフィックス生成器１５及びスケーラ１４に送出される。
【００５８】
なお、この制御情報判断器１８には、マイク等の音声入力デバイスから入力される音声を認識する音声認識部２２が接続されており、ビデオカメラ２からの映像による操作と併せて、例えば、命令音声や拍手、その他の音響による操作を取入れることができるようになっている。
【００５９】
画素数変換器１９は、入力される映像信号の画素数（解像度）と表示装置２１の画素数（解像度）を合わせるための画素数変換を行う。入力映像信号は、図示を省略している内蔵のチューナにて受信したテレビジョン信号（データ放送なども含む）による映像信号やビデオデッキからの映像信号などテレビジョン受像機１の外部から入力される映像信号である。ここでは図示を省略するが、入力映像信号から水平及び垂直同期信号を抽出して、基準同期発生器１１によって各部を入力映像信号の水平及び垂直同期信号に同期させるようにしている。
【００６０】
第２の混合器２０は、第１の混合器１６と同様の機能を有する。すなわち、第１の混合器１６の出力信号（第１の混合画像Ｍ１ｏ）と、画素数変換器１９の映像信号Ｓ２とを制御値α２で混合割合を制御して混合する。具体的には、下記（２）式で出力信号Ｍ２ｏが表される。
Ｍ２ｏ＝α２×Ｍ１ｏ＋（１−α２）×Ｓ２…（２）
制御値α２は、「０」から「１」の間の値に設定され、制御値α２を大きくすると第１の混合器１６の出力信号Ｍ１ｏの割合が大きくなり、画素数変換器１９の出力信号Ｓ２の割合が小さくなる。混合器の例としてはこれに限らないが、本実施形態では、入力される２系統の信号情報が入っていれば同様の効果が得られる。
【００６１】
表示装置２１は、ＣＲＴ、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ（ＰＤＰ）あるいはプロジェクションディスプレイなどを想定しているが、ディスプレイの表示方式を限定するものではない。表示装置２１の入力信号は、輝度信号Ｙと、色差信号Ｒ−Ｙ及びＢ−Ｙであり、表示装置２１の内部にてＲＧＢ原色信号にマトリクス変換されて表示される。
【００６２】
各検出器１７１〜１７ｎは、図５（ａ）に示すように、オブジェクト抽出器３０と、タイミングゲート器３１と、オブジェクト特徴データ検出部３２とを備えている。オブジェクト抽出器３０は、画像の特徴に添ったフィルタを備えており、フィルタ処理をした画像信号をタイミングゲート器３１に出力する。
【００６３】
タイミングゲート器３１は、タイミングパルスに基づいてビデオカメラ２からの画像信号の通過を制御する。通過する領域は後述する検出エリア内である。この検出エリア内に限定した信号に対して、オブジェクト特徴データ検出部３２は種々のフィルタ処理を施してビデオカメラ２で撮影したユーザ３の手の画像を抽出する。
【００６４】
オブジェクト特徴データ検出部３２は、抽出されたユーザ３の手（対象物）の画像信号から、様々な特徴を検出し検出信号を発生するための機能ブロックを備える。本実施形態では、ヒストグラム検出器３３、平均輝度（ＡＰＬ）検出器３４、高域発生量検出器３５、最小値検出器３６、最大値検出器３７を備える。この他にも画像を特徴づける要件はあるが、本実施形態ではこれらの検出器より発生される検出信号を用い、制御情報判断器１８によって手であることを判別すると共にその動作を認識する。
【００６５】
図５（ｂ）に、オブジェクト抽出器３０の詳細ブロック図を示す。本実施形態ではユーザ３の手を検出するために、特に肌色に着目したフィルタ処理を行う。すなわち、本実施形態のオブジェクト抽出器３０は、特定色フィルタ７１と、階調限定器７２と、時間差分フィルタ７５と、合成器７３と、オブジェクトゲート器７４とを備えている。
【００６６】
特定色フィルタ７１、階調限定器７２及び時間差分フィルタ７５は、それぞれオブジェクトを特定するフィルタである。特定色フィルタ７１は、色差信号で入力される色信号の色相と色の濃さ（飽和度）を限定し、階調限定器７２は、輝度信号の特定の階調の範囲を限定する。時間差分フィルタ７５は、人の手の背景が肌色であっても、わずかな輝度の差などを基に手の領域を抽出し、人の手を識別する。本実施形態では人の手を、後述する操作ボタンを操作する対象物としているが、パラメータである色相や階調を調整し最適化することにより、オブジェクト抽出器３０は手以外の対象物も検出することができる。
【００６７】
合成器７３は、特定色フィルタ７１と階調限定器７２と時間差分フィルタ７５から入力される信号を合成し、領域パルスに変換する。本実施形態では、特定色フィルタ７１を通過した信号と階調限定器７２を通過した信号と時間差分フィルタ７５を通過した信号とが全て存在（ＡＮＤ）する場合に、ハイレベルとなる領域パルスを出力する。なお、特定色フィルタ７１と階調限定器７２と時間差分フィルタ７５のうち１つまたは２つを通過した信号が存在すれば、ハイレベルとなる領域パルスを出力するようにしてもよい。
【００６８】
特定色フィルタ７１と階調限定器７２と時間差分フィルタ７５のうちの、２つを通過した信号が存在すればハイレベルとなるようにすれば誤検出しにくく、３つを通過した信号が存在すればハイレベルとなるようにすれば更に誤検出しにくくなる。
【００６９】
合成器７３で生成された領域パルスは、オブジェクトゲート器７４に供給される。オブジェクトゲート器７４は、領域パルスがハイレベルであるとき、輝度信号と色差信号を通過させる。領域パルスがローレベル（領域パルス外の範囲）であるときは、輝度信号も色差信号も通過させず、規定した値の信号を出力する。本実施形態では、黒レベルの輝度信号及び飽和度０の色差信号を出力する。
【００７０】
（電子機器の制御方法）
以上の構成を有する制御装置を動作させることによって、本発明の制御方法を実施することができる。図７は、本実施形態に係る制御装置の動作を示すフローチャート図である。
【００７１】
先ず、ビデオカメラ２による操作者画像Ｓ１を、鏡像変換器１３で鏡像変換し、スケーラ１４により拡大・縮小及び位置調整を行う（Ｓ１０１〜Ｓ１０３）。これと並行して通常の映像信号の受信若しくは入力を行う（Ｓ１１２）。
【００７２】
そして、この操作者画像Ｓ１について、認識情報生成部２３により、認識対象物Ｏｂｊを認識し、認識された対象物Ｏｂｊの属性、個数、前記表示装置の画面内における位置、又は該画面内に占める面積の割合のうちの少なくとも一つを含む認識対象物情報を生成する（Ｓ１０４）。この認証対象物情報により、操作者が画像中において小さすぎたり、大きすぎたり、又は偏った位置にいるようなときには、操作者画像の調整要と判断し、拡大・縮小、位置調整をやり直す（Ｓ１０５における”Ｙ”）。例えば、ビデオカメラの撮影の画角に対して、人の位置によっては手の大きさが小さかったり、プッシュボタンの位置まで届かなかったりすることが考えられる。この場合は、スケーラ１４で画像を「拡大」「縮小」「位相（位置）」を調整して人を画面上に適切な大きさにする。すなわち、図８（ａ）や（ｂ）に示すように、操作者が遠方（或いは近距離）にいたり、画面の端にいる場合、スケーラ１４を制御して「拡大」（或いは「縮小」）し、画面の中心に人が位置するように「位相」を調整することにより、図８（ｂ）の（Ｅ）のように適切な大きさで適切な位置にユーザを表示させる。
【００７３】
また、認証対象物情報に基づいて、操作用画像の操作ボタンの配置位置などの調整が必要か否か判断し（Ｓ１０６）、調整要と判断した場合は（Ｓ１０６における”Ｙ”）、対象物の位置や属性に応じて、操作ボタンの表示形態を決定し（Ｓ１０７）、この決定に基づいて操作用画像Ｇｓを生成（変更）する（Ｓ１０８）。なお、本実施形態における装置のデフォルト設定では、図２に示すように、ユーザーの手を認識対象とし、認識された手が画面中央に位置するように、操作者画像が調整され、その中央に表示された手に整合させるように、操作ボタンが画面中央に配置されるように、操作用画像が生成・変更されるようになっている。
【００７４】
次いで、このようにして生成された操作用画像Ｇｓが、操作者画像Ｓ１と、第１の混合器１６で混合され、第２の混合器２０で、映像信号Ｓ２と混合される。かかる第１の混合器１６における混合処理は、操作用画像Ｇｓと、操作者画像Ｓ１との混合画像であるＭ１ｏを制御値α１に対応する混合割合で混合して生成し、また、第２の混合器２０における混合処理は、混合画像Ｍ１ｏと、映像信号Ｓ２とを制御値α２に対応する混合割合で混合して生成する（Ｓ１０９）。
【００７５】
操作用画像Ｇｓは、制御を行うためのメニュー画面を形成しており、四角形のプッシュボタン式に操作される操作ボタンが配列されている。一方の操作者画像Ｓ１は、ユーザが撮影され鏡像変換され、鏡と同じように表示される。
【００７６】
操作者画像Ｓ１の中の操作ボタンには、複数の検出器１７１〜１７ｎ等からなる検出部１７の検出エリアが対応づけられており、各検出エリア上で動作を行うことによって、検出器１７１〜１７ｎがその動作を検出し、対応した操作ボタンに対する操作であることを判別する。
【００７７】
このようにして表示装置２１には、ユーザの画像が鏡と同様に映ると共に、制御のメニュー画面も重畳されて表示される。これによりユーザ本人は、自分の動きと制御メニューの位置を認識することができる。制御は、ユーザが画面を見て、画面上の操作ボタンに触れるように手（身体）を動かすことにより行う。言い換えれば手を操作ボタン上に位置するように画面を見てユーザが動作することにより、制御を行うことができる。
【００７８】
具体的には、各検出器１７１〜１７ｎは、ビデオカメラ２からの画像信号の通過を制御し、通過する領域は、各操作ボタンに対応した検出エリア内である。この検出エリア内に限定した信号を、さらに様々なフィルタ処理してビデオカメラ２で捉えたユーザの手を抽出し、その動作を検出する（Ｓ１１０）。
【００７９】
オブジェクト抽出器３０は、画像の特徴に添ったフィルタを備えており、本実施形態ではユーザの手を検出するために、特に肌色に着目したフィルタ処理を行う。また、このオブジェクト抽出器３０では、特定色フィルタ７１で色信号の色相（角度）と飽和度を限定したものをさらに輝度信号レベルで限定する。特定色フィルタ７１で色相と飽和度を限定することで人の肌色に絞ることができ、日焼け具合や人種によって異なる人の肌の色相、飽和度、輝度信号の階調限定の範囲で調整し、ユーザーの手を検出する。本実施形態では人（ユーザー）の手を対象にしているが、その他の色相と階調を適切に調整すれば、本実施形態におけるパラメータの変更の範疇で同様にして他のものと区別することができる。
【００８０】
そして、手を触れた（該当する）操作ボタンに対応する検出エリア内の手の動作を検出し、該当する操作ボタンが押されたことを認識する（Ｓ１１０における”Ｙ”）。本実施形態では、かざした手の指を折り曲げる動作を２度繰り返すことで操作ボタンが押されたことを認識するようにしている。
【００８１】
なお、この操作ボタンに手を触れた段階で、本実施形態では、触れられたボタンの色を変えるなどして強調表示するとともに、図１１及び図１２に示したガイダンスアイコンを表示させ、ユーザーに対して次の動作（操作）を誘導する。例えば、図１２（ａ）に示した例では、ユーザーの手が操作ボタンに触れたときに、吹出しが表示され、手の形をしたガイダンスアイコンが、指を折り曲げる動作をするようにしている。また、図１２（ｂ）に示すように、吹出しではなく、ユーザーの手が触れてアクティブとなった操作ボタン上に直接、ガイダンスアイコンを表示させてもよい。
【００８２】
さらに、このガイダンスアイコン内またはその周辺に、対応する操作ボタンの機能に関わる詳細情報を表示してもよい。詳細情報としては、例えば、番組名や番組内容等の番組情報などが考えられる。
【００８３】
この動作の認識により、該当操作ボタンの制御内容に相当する制御信号を制御情報判断器（ＣＰＵ）１８から出力し、動作制御を行う（Ｓ１１１）。その際グラフィック状のメニュー画面の操作ボタンは形状及び／または色を変化させて、動作を認識したことを表示上に表す。例えば操作ボタンが押されたように画像を変化させてもよい。
【００８４】
また、ユーザーの操作動作としては、画面に表示したメニュー（操作ボタン群）の表示形態の切り替えも含まれる。例えば、図１０に示したような、操作ボタンがグルーピングされて表示され、そのグループ毎にアクティブと非アクティブが切り替えられるようなときには、ページをめくる操作を行うことにより、アクティブになっているページ（操作ボタンのグループ）を順次切り替えていくことができる。
【００８５】
（電子機器の制御プログラム）
上述した本実施形態係る電子機器の制御装置及び制御方法は、所定の言語で記述されたプログラムをコンピュータ上で実行することにより実現することができる。すなわち、このプログラムを、ユーザー端末やＷｅｂサーバ等のコンピュータやＩＣチップにインストールし、ＣＰＵ上で実行することにより、上述した各機能を有する制御装置を容易に構築することができる。このプログラムは、例えば、通信回線を通じて配布することが可能であり、またスタンドアローンの計算機上で動作するパッケージアプリケーションとして譲渡することができる。
【００８６】
そして、このようなプログラムは、汎用コンピュータで読み取り可能な記録媒体に記録することができる。具体的には、フレキシブルディスクやカセットテープ等の磁気記録媒体、若しくはＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等の光ディスクの他、ＲＡＭカードなど、種々の記録媒体に記録することができる。
【００８７】
そして、このプログラムを記録したコンピュータ読み取り可能な記録媒体によれば、汎用のコンピュータや専用コンピュータを用いて、上述した装置や方法を実施することが可能となるとともに、プログラムの保存、運搬及びインストールを容易に行うことができる。
【００８８】
（変更例）
なお、上述した実施形態では、表示装置に映されたグラフィックス上に展開される操作用画像を、それに重ね合わされた自分の鏡像を見ながら操作するものであるが、画像を重ね合わせるので見にくい場合がある。その場合は、検出器の画面上の領域を特定するタイミングパルス（水平垂直）で、第１の混合器１６または第２の混合器２０の混合割合を制御して見やすいようにする。例えば制御画像である操作ボタンを見やすくするためには第１の混合器１６にて、制御値α１の値を小さくするようにタイミングパルスで制御すればよい。このように混合器をきめ細かく制御することによって視聴者と、制御画像（操作ボタン）の関係を分かり易くすることができる。
【００８９】
また、本実施形態の操作方法は、人の手を使って対称となるグラフィックス上に描かれた操作ボタンを触れるように操作するものであり、その対象となる操作内容は、「電源」「チャンネル」「音量」「入力切替」「上」「下」「左」「右」「決定」など従来のリモコンが備えていたものはすべて置き換えることが可能である。
【００９０】
なお本発明は上述した実施形態に限るものではなく、種々の変形が可能である。例えば、図４に示した第１の混合器１６及び第２の混合器２０の混合割合を、レベル方向、空間方向、時間方向に効果的に組み合わせるようにしてもよい。これにより、ビデオカメラ２からの画像と生成されるグラフィックスのメニュー画面と、放送番組の映像の多様な組み合わせ方が可能となり、同時に多様な情報のやり取りが出来る。 また本発明の操作対象となる電子機器は、テレビジョン受像機に限るものではなく、パーソナルコンピュータや、テレビジョン受像機とビデオディスク録画装置の組み合わせや、テレビジョン受像機とビデオテープレコーダとの組み合わせなど、表示装置を有するものであればよい。
【００９１】
（作用・効果）
以上のような操作方法を用いることにより、リモコンのような制御機器を用いることなく制御対象の制御が可能となる。したがって電池切れや接点不良などのリモコンに関するトラブルが解消される。また複数の機器のリモコンがある場合、被制御機器のリモコンを探さなければならなかったが、本発明の操作方法では、人の身体があればよく、このような問題も解消される。
【００９２】
また画面上に制御内容が示されるので、様々な制御機器の取り扱いが可能となる。これはネットワーク化された環境では重要であり、表示装置を有する機器を通じてネットワーク機器を制御する、言い換えれば、ネットワークにつながる機器の制御画面をネットワークを通じて表示装置を有する機器に転送することにより、表示装置の画面が制御画面になるため、どのような制御画面であっても対応できる。
【００９３】
そして特に、本実施形態では、操作者画像Ｓ１と、操作ボタンを含む操作用画像Ｇｓとを混合した混合画像Ｍ１ｏを表示させ、画面内における操作者の操作ボタンに対する動作を検出して電子機器に対する制御動作を実行する際に、対象物の属性、個数、測定領域内における位置、又は所定の面積に占める面積の割合に応じて、画面上の操作者の大きさや位置、操作ボタンの表示位置や範囲を調整するため、操作（動作）を行う操作者の手や顔などの表示位置に合わせて、適切な位置や範囲に操作ボタンを表示することができ、操作性を向上させることができる。
【００９４】
また、本実施形態では、操作者画像Ｓ１と操作用画像Ｇｓのうちの最前面にあるアクティブ化されているページＷ１とを、面積及び形状、さらに座標位置をほぼ一致させて混合するため、操作用画像Ｇｓのうちの最前面にあるアクティブ化されているページＷ１と、その周縁の映像Ｓ２との境界における視覚的な段差による違和感を解消することができる。
【００９５】
さらに、本実施形態では、操作ボタンが、その放送方式や放送局などの属性に従ってグループ分けにされており、ページをめくるように、グループ単位で活性化又は非活性化が切り替えることができるため、ユーザーが所望する操作ボタンへのアクセスが容易となり、操作者は操作可能な操作ボタンを直感的に把握することができる。一方、他のグループについては非活性化（非アクティブ化）するとともに、局のタイトルなどの属性情報については表示されているため、操作者は、現在操作できないまでも他の選択肢としてのグループが存在することを直感的に把握することができる。
【００９６】
また、本実施形態では、操作者の操作ボタンに対する動作が検出された際に、次の操作（動作）に関する情報（ガイダンスやヒント）を表示するため、操作者の円滑な操作を誘導することができ、操作性を向上させることができる。
【図面の簡単な説明】
【００９７】
【図１】実施形態に係る電子機器（テレビジョン受像機１）を制御する方法を示す説明図である。
【図２】実施形態に係るテレビジョン受像機１の画面構成を示す説明図である。
【図３】実施形態に係るテレビジョン受像機１の画面構成を分解して示す説明図である。
【図４】実施形態に係るテレビジョン受像機１の構成を示すブロック図である。
【図５】（ａ）は、実施形態に係る検出器１７１〜１７ｎの構成を示すブロック図であり、（ｂ）は、オブジェクト抽出器３０の構成を示すブロック図である。
【図６】実施形態に係る認識情報生成部２３の構成を示すブロック図である。
【図７】実施形態に係る制御装置の動作を示すフローチャート図である。
【図８】実施形態に係る操作者画像の調整（拡大・縮小・位置）についての説明図である。
【図９】実施形態に係る操作用画像の調整についての説明図である。
【図１０】実施形態に係る操作用画像における操作ボタンのグルーピングについての説明図である。
【図１１】実施形態に係る操作用画像におけるガイダンスアイコンの説明図である。
【図１２】実施形態に係るガイダンスアイコンの動作を示す説明図である。
【符号の説明】
【００９８】
Ｏｂｊ…認識対象物
α１，α２…制御値
Ｇｓ…操作用画像
Ｍ１ｏ…第１の混合画像
Ｍ２ｏ…第２の混合画像
Ｓ１…操作者画像
Ｓ２…通常の映像信号
Ｗ１〜Ｗ５…ページ
１…テレビジョン受像機
２…ビデオカメラ
３…ユーザー
１１…基準同期発生器
１２…タイミングパルス発生器
１３…鏡像変換器
１４…スケーラ
１５…グラフィックス生成器
１５ａ…操作用画像制御部
１６…第１の混合器
１７…検出部
１８…制御情報判断器
１９…画素数変換器
２０…第２の混合器
２１…表示装置
２２…音声認識部
２３…認識情報生成部
３０…オブジェクト抽出器
３１…タイミングゲート器
３２…オブジェクト特徴データ検出部
３３…ヒストグラム検出器
３４…平均輝度検出器
３５…高域発生量検出器
３６…最小値検出器
３７…最大値検出器
４０，４１…操作ボタン
２３１…認識特徴記憶部
２３２…認識対象検出部
２３３…属性判別部
２３４…位置・サイズ判別部
２３５…個数判別部
７１…特定色フィルタ
７２…階調限定器
７３…合成器
７４…オブジェクトゲート器
７５…時間差分フィルタ
１７１〜１７ｎ…検出器
【特許請求の範囲】
【請求項１】
表示装置を有する電子機器の制御装置であって、
操作者を撮影するビデオカメラと、
前記ビデオカメラによって撮影された前記操作者の身体の一部又は操作者が保持する物体である対象物を認識し、この認識された認識対象物の属性、個数、前記表示装置の画面内における位置、又は画面内に占める面積の割合のうちの少なくとも一つを含む認識対象物情報を生成する認識情報生成部と、
前記ビデオカメラによって撮影した画像を、鏡像変換し、前記認識対象物情報に応じて、前記画面上に表示された前記認識対象物の拡大、縮小又は位置の調整を行う鏡像画像調整部と、
少なくとも１つの操作ボタンを含む操作用画像を生成し、前記認識対象物情報に応じて、前記操作ボタンの表示位置又は範囲を調整する操作用画像生成部と、
前記鏡像画像調整部を経た画像と、前記操作用画像とを混合して混合画像を形成し、この混合画像を前記画面上に表示させる画像信号混合部と、
前記画像信号混合部により混合された画像を前記画面上に表示させた状態において、前記ビデオカメラによって撮影され、前記画面に表示された操作者が、前記認識対象物を用いて前記操作ボタンを選択する所定の選択動作を検出する動作検出部と、
前記動作検出部により前記所定選択動作が検出された操作ボタンに対応する制御動作を行う機器制御部と
を備えることを特徴とする電子機器の制御装置。
【請求項２】
前記操作用画像生成部は、
前記認識対象物情報に含まれる認識対象物の属性が操作者の手であり、且つ 該認識対象物の個数が一つである場合に、画面上に表示された認識対象物の周囲に前記操作ボタンを集合させて配置させ、
前記認識対象物の属性が操作者の手であり、且つ前記認識対象物の個数が２個以上である場合には、画面上に表示された認識対象物それぞれの周囲に、前記操作ボタンを分散させて配置する
ことを特徴とする請求項１に記載の電子機器の制御装置。
【請求項３】
前記操作用画像生成部は、
前記認識対象物情報に含まれる認識対象物の属性が操作者の顔である場合に、画面上に表示された該認識対象物の周囲に前記操作ボタンを配置する
ことを特徴とする請求項１に記載の電子機器の制御装置。
【請求項４】
前記操作用画像生成部は、前記認識対象物情報に含まれる認識対象物の属性及び個数に応じて、前記操作ボタンの表示位置を切り替える
ことを特徴とする請求項１乃至３のいずれかに記載の電子機器の制御装置。
【請求項５】
前記操作ボタンは、その属性に従ってグループ分けにされており、
前記操作用画面では、前記操作ボタンがグループ単位で表示されるとともに、操作者の選択操作に応じて、グループ単位で活性化又は非活性化が切り替えられ、
前記活性化されたグループの表示範囲には、前記鏡像画像調整部を経た画像と、前記操作用画像とが混合され、
前記非活性化されたグループについては、少なくともそのグループの属性に関する情報が該グループの表示範囲内に表示される
ことを特徴とする請求項１乃至４のいずれかに記載の電子機器の制御装置。
【請求項６】
前記操作用画像生成部は、前記動作検出部による前記選択動作の検出に基づいて、操作に関する情報を図形又は文字により表示するガイダンスアイコンを生成する機能を有することを特徴とする請求項１乃至５のいずれかに記載の電子機器の制御装置。
【請求項７】
操作者を撮影するビデオカメラと、表示装置とを有する電子機器の制御方法であって、
認識情報生成部により、前記ビデオカメラによって撮影された前記操作者の身体の一部又は操作者が保持する物体である対象物を認識し、この認識された認識対象物の属性、個数、前記表示装置の画面内における位置、又は該画面内に占める面積の割合のうちの少なくとも一つを含む認識対象物情報を生成する認識情報生成ステップと、
鏡像画像調整部により、前記ビデオカメラによって撮影した画像を鏡像変換し、前記認識対象物情報に応じて、前記画面上に表示された前記認識対象物の拡大、縮小又は位置の調整を行う鏡像画像調整ステップと、
操作用画像生成部により、少なくとも１つの操作ボタンを含む操作用画像を生成し、前記認識対象物情報に応じて、前記操作ボタンの表示位置又は範囲を調整する操作用画像生成ステップと、
前記鏡像画像調整部を経た画像と、前記操作用画像とを画像信号混合部において混合して混合画像を形成し、この混合画像を前記画面上に表示させる画像信号混合ステップと、
前記画像信号混合部により混合された画像を前記画面上に表示させた状態において、前記ビデオカメラによって撮影され、前記画面に表示された操作者が、前記認識対象物を用いて前記操作ボタンを選択する所定の選択動作を動作検出部により検出する動作検出ステップと、
前記動作検出部により前記所定選択動作が検出された操作ボタンに対応する制御動作を機器制御部により行う機器制御ステップと
を含むことを特徴とする電子機器の制御方法。
【請求項８】
前記画像生成ステップにおいて前記操作用画像生成部は、
前記認識対象物情報に含まれる認識対象物の属性が操作者の手であり、且つ 該認識対象物の個数が一つである場合に、前記画面上に表示された認識対象物の周囲に前記操作ボタンを集合させて配置させ、
前記認識対象物の属性が操作者の手であり、且つ前記認識対象物の個数が２個以上である場合には、画面上に表示された認識対象物それぞれの周囲に、前記操作ボタンを分散させて配置する
ことを特徴とする請求項７に記載の電子機器の制御方法。
【請求項９】
前記画像生成ステップにおいて前記操作用画像生成部は、
前記認識対象物情報に含まれる認識対象物の属性が操作者の顔である場合に、画面上に表示された該認識対象物の周辺に前記操作ボタンを配置する
ことを特徴とする請求項７に記載の電子機器の制御方法。
【請求項１０】
前記画像生成ステップにおいて前記操作用画像生成部は、前記認識対象物情報に含まれる認識対象物の属性及び個数に応じて、前記操作ボタンの表示位置を切り替える
ことを特徴とする請求項７乃至９のいずれかに記載の電子機器の制御方法。
【請求項１１】
操作用画像生成ステップで生成される前記操作ボタンは、その属性に従ってグループ分けにされており、
前記操作用画像生成ステップで生成される前記操作用画面では、前記操作ボタンがグループ単位で表示されるとともに、操作者の選択操作に応じて、グループ単位で活性化又は非活性化が切り替えられ、
画像信号混合ステップにおいて、前記活性化されたグループの表示範囲には、前記鏡像画像調整部を経た画像と、前記操作用画像とが混合されるとともに、前記非活性化されたグループについては、少なくともそのグループの属性に関する情報が該グループの表示範囲内に表示される
ことを特徴とする請求項７乃至１０のいずれかに記載の電子機器の制御方法。
【請求項１２】
動作検出ステップにおいて、前記操作用画像生成部は、前記動作検出部による前記選択動作の検出に基づいて、操作に関する情報を図形又は文字により表示するガイダンスアイコンを生成する機能を有することを特徴とする請求項７乃至１１のいずれかに記載の電子機器の制御方法。
【請求項１３】
操作者を撮影するビデオカメラと、表示装置とを有する電子機器の制御をコンピュータを用いて行わせる制御プログラムであって、前記コンピューターに、
認識情報生成部により、前記ビデオカメラによって撮影された前記操作者の身体の一部又は操作者が保持する物体である対象物を認識し、この認識された認識対象物の属性、個数、前記表示装置の画面内における位置、又は該画面内に占める面積の割合のうちの少なくとも一つを含む認識対象物情報を生成する認識情報生成ステップと、
鏡像画像調整部により、前記ビデオカメラによって撮影した画像を鏡像変換し、前記認識対象物情報に応じて、前記画面上に表示された前記認識対象物の拡大、縮小又は位置の調整を行う鏡像画像調整ステップと、
操作用画像生成部により、少なくとも１つの操作ボタンを含む操作用画像を生成し、前記認識対象物情報に応じて、前記操作ボタンの表示位置又は範囲を調整する操作用画像生成ステップと、
前記鏡像画像調整部を経た画像と、前記操作用画像とを画像信号混合部において混合して混合画像を形成し、この混合画像を前記画面上に表示させる画像信号混合ステップと、
前記画像信号混合部により混合された画像を前記画面上に表示させた状態において、前記ビデオカメラによって撮影され、前記画面に表示された操作者が、前記認識対象物を用いて前記操作ボタンを選択する所定の選択動作を動作検出部により検出する動作検出ステップと、
前記動作検出部により前記所定選択動作が検出された操作ボタンに対応する制御動作を機器制御部により行う機器制御ステップと
を実行させることを特徴とする電子機器の制御プログラム。
【請求項１】
表示装置を有する電子機器の制御装置であって、
操作者を撮影するビデオカメラと、
前記ビデオカメラによって撮影された前記操作者の身体の一部又は操作者が保持する物体である対象物を認識し、この認識された認識対象物の属性、個数、前記表示装置の画面内における位置、又は画面内に占める面積の割合のうちの少なくとも一つを含む認識対象物情報を生成する認識情報生成部と、
前記ビデオカメラによって撮影した画像を、鏡像変換し、前記認識対象物情報に応じて、前記画面上に表示された前記認識対象物の拡大、縮小又は位置の調整を行う鏡像画像調整部と、
少なくとも１つの操作ボタンを含む操作用画像を生成し、前記認識対象物情報に応じて、前記操作ボタンの表示位置又は範囲を調整する操作用画像生成部と、
前記鏡像画像調整部を経た画像と、前記操作用画像とを混合して混合画像を形成し、この混合画像を前記画面上に表示させる画像信号混合部と、
前記画像信号混合部により混合された画像を前記画面上に表示させた状態において、前記ビデオカメラによって撮影され、前記画面に表示された操作者が、前記認識対象物を用いて前記操作ボタンを選択する所定の選択動作を検出する動作検出部と、
前記動作検出部により前記所定選択動作が検出された操作ボタンに対応する制御動作を行う機器制御部と
を備えることを特徴とする電子機器の制御装置。
【請求項２】
前記操作用画像生成部は、
前記認識対象物情報に含まれる認識対象物の属性が操作者の手であり、且つ 該認識対象物の個数が一つである場合に、画面上に表示された認識対象物の周囲に前記操作ボタンを集合させて配置させ、
前記認識対象物の属性が操作者の手であり、且つ前記認識対象物の個数が２個以上である場合には、画面上に表示された認識対象物それぞれの周囲に、前記操作ボタンを分散させて配置する
ことを特徴とする請求項１に記載の電子機器の制御装置。
【請求項３】
前記操作用画像生成部は、
前記認識対象物情報に含まれる認識対象物の属性が操作者の顔である場合に、画面上に表示された該認識対象物の周囲に前記操作ボタンを配置する
ことを特徴とする請求項１に記載の電子機器の制御装置。
【請求項４】
前記操作用画像生成部は、前記認識対象物情報に含まれる認識対象物の属性及び個数に応じて、前記操作ボタンの表示位置を切り替える
ことを特徴とする請求項１乃至３のいずれかに記載の電子機器の制御装置。
【請求項５】
前記操作ボタンは、その属性に従ってグループ分けにされており、
前記操作用画面では、前記操作ボタンがグループ単位で表示されるとともに、操作者の選択操作に応じて、グループ単位で活性化又は非活性化が切り替えられ、
前記活性化されたグループの表示範囲には、前記鏡像画像調整部を経た画像と、前記操作用画像とが混合され、
前記非活性化されたグループについては、少なくともそのグループの属性に関する情報が該グループの表示範囲内に表示される
ことを特徴とする請求項１乃至４のいずれかに記載の電子機器の制御装置。
【請求項６】
前記操作用画像生成部は、前記動作検出部による前記選択動作の検出に基づいて、操作に関する情報を図形又は文字により表示するガイダンスアイコンを生成する機能を有することを特徴とする請求項１乃至５のいずれかに記載の電子機器の制御装置。
【請求項７】
操作者を撮影するビデオカメラと、表示装置とを有する電子機器の制御方法であって、
認識情報生成部により、前記ビデオカメラによって撮影された前記操作者の身体の一部又は操作者が保持する物体である対象物を認識し、この認識された認識対象物の属性、個数、前記表示装置の画面内における位置、又は該画面内に占める面積の割合のうちの少なくとも一つを含む認識対象物情報を生成する認識情報生成ステップと、
鏡像画像調整部により、前記ビデオカメラによって撮影した画像を鏡像変換し、前記認識対象物情報に応じて、前記画面上に表示された前記認識対象物の拡大、縮小又は位置の調整を行う鏡像画像調整ステップと、
操作用画像生成部により、少なくとも１つの操作ボタンを含む操作用画像を生成し、前記認識対象物情報に応じて、前記操作ボタンの表示位置又は範囲を調整する操作用画像生成ステップと、
前記鏡像画像調整部を経た画像と、前記操作用画像とを画像信号混合部において混合して混合画像を形成し、この混合画像を前記画面上に表示させる画像信号混合ステップと、
前記画像信号混合部により混合された画像を前記画面上に表示させた状態において、前記ビデオカメラによって撮影され、前記画面に表示された操作者が、前記認識対象物を用いて前記操作ボタンを選択する所定の選択動作を動作検出部により検出する動作検出ステップと、
前記動作検出部により前記所定選択動作が検出された操作ボタンに対応する制御動作を機器制御部により行う機器制御ステップと
を含むことを特徴とする電子機器の制御方法。
【請求項８】
前記画像生成ステップにおいて前記操作用画像生成部は、
前記認識対象物情報に含まれる認識対象物の属性が操作者の手であり、且つ 該認識対象物の個数が一つである場合に、前記画面上に表示された認識対象物の周囲に前記操作ボタンを集合させて配置させ、
前記認識対象物の属性が操作者の手であり、且つ前記認識対象物の個数が２個以上である場合には、画面上に表示された認識対象物それぞれの周囲に、前記操作ボタンを分散させて配置する
ことを特徴とする請求項７に記載の電子機器の制御方法。
【請求項９】
前記画像生成ステップにおいて前記操作用画像生成部は、
前記認識対象物情報に含まれる認識対象物の属性が操作者の顔である場合に、画面上に表示された該認識対象物の周辺に前記操作ボタンを配置する
ことを特徴とする請求項７に記載の電子機器の制御方法。
【請求項１０】
前記画像生成ステップにおいて前記操作用画像生成部は、前記認識対象物情報に含まれる認識対象物の属性及び個数に応じて、前記操作ボタンの表示位置を切り替える
ことを特徴とする請求項７乃至９のいずれかに記載の電子機器の制御方法。
【請求項１１】
操作用画像生成ステップで生成される前記操作ボタンは、その属性に従ってグループ分けにされており、
前記操作用画像生成ステップで生成される前記操作用画面では、前記操作ボタンがグループ単位で表示されるとともに、操作者の選択操作に応じて、グループ単位で活性化又は非活性化が切り替えられ、
画像信号混合ステップにおいて、前記活性化されたグループの表示範囲には、前記鏡像画像調整部を経た画像と、前記操作用画像とが混合されるとともに、前記非活性化されたグループについては、少なくともそのグループの属性に関する情報が該グループの表示範囲内に表示される
ことを特徴とする請求項７乃至１０のいずれかに記載の電子機器の制御方法。
【請求項１２】
動作検出ステップにおいて、前記操作用画像生成部は、前記動作検出部による前記選択動作の検出に基づいて、操作に関する情報を図形又は文字により表示するガイダンスアイコンを生成する機能を有することを特徴とする請求項７乃至１１のいずれかに記載の電子機器の制御方法。
【請求項１３】
操作者を撮影するビデオカメラと、表示装置とを有する電子機器の制御をコンピュータを用いて行わせる制御プログラムであって、前記コンピューターに、
認識情報生成部により、前記ビデオカメラによって撮影された前記操作者の身体の一部又は操作者が保持する物体である対象物を認識し、この認識された認識対象物の属性、個数、前記表示装置の画面内における位置、又は該画面内に占める面積の割合のうちの少なくとも一つを含む認識対象物情報を生成する認識情報生成ステップと、
鏡像画像調整部により、前記ビデオカメラによって撮影した画像を鏡像変換し、前記認識対象物情報に応じて、前記画面上に表示された前記認識対象物の拡大、縮小又は位置の調整を行う鏡像画像調整ステップと、
操作用画像生成部により、少なくとも１つの操作ボタンを含む操作用画像を生成し、前記認識対象物情報に応じて、前記操作ボタンの表示位置又は範囲を調整する操作用画像生成ステップと、
前記鏡像画像調整部を経た画像と、前記操作用画像とを画像信号混合部において混合して混合画像を形成し、この混合画像を前記画面上に表示させる画像信号混合ステップと、
前記画像信号混合部により混合された画像を前記画面上に表示させた状態において、前記ビデオカメラによって撮影され、前記画面に表示された操作者が、前記認識対象物を用いて前記操作ボタンを選択する所定の選択動作を動作検出部により検出する動作検出ステップと、
前記動作検出部により前記所定選択動作が検出された操作ボタンに対応する制御動作を機器制御部により行う機器制御ステップと
を実行させることを特徴とする電子機器の制御プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２００９−８７０９５（Ｐ２００９−８７０９５Ａ）
【公開日】平成２１年４月２３日（２００９．４．２３）
【国際特許分類】
【出願番号】特願２００７−２５６６２６（Ｐ２００７−２５６６２６）
【出願日】平成１９年９月２８日（２００７．９．２８）
【出願人】（０００００４３２９）日本ビクター株式会社 (3,896)
【Ｆターム（参考）】
【公開日】平成２１年４月２３日（２００９．４．２３）
【国際特許分類】
【出願日】平成１９年９月２８日（２００７．９．２８）
【出願人】（０００００４３２９）日本ビクター株式会社 (3,896)
【Ｆターム（参考）】
[ Back to top ]