電気機器、及びその制御方法とプログラム
【課題】使用者による意図的な遠隔操作のみを受け付ける。
【解決手段】
リモコンを不要とした遠隔操作機能を備えた電気機器１である。ＣＰＵ１３は、内蔵カメラ１８が使用者を撮影した撮影画像に基づいて、使用者を撮影した撮影画像に基づいて、使用者が機器本体を見ているか否かを判断し、さらに前記撮影画像に基づいて、使用者における予め決められている特定の動作を検出する。ＣＰＵは、使用者が機器本体を見ていると判断した条件下で、前記撮影画像に基づいて前記特定の動作を検出した場合にのみ、前記特定の動作に対応した内容の制御処理を実行する。
【解決手段】
リモコンを不要とした遠隔操作機能を備えた電気機器１である。ＣＰＵ１３は、内蔵カメラ１８が使用者を撮影した撮影画像に基づいて、使用者を撮影した撮影画像に基づいて、使用者が機器本体を見ているか否かを判断し、さらに前記撮影画像に基づいて、使用者における予め決められている特定の動作を検出する。ＣＰＵは、使用者が機器本体を見ていると判断した条件下で、前記撮影画像に基づいて前記特定の動作を検出した場合にのみ、前記特定の動作に対応した内容の制御処理を実行する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、リモコンを不要とした遠隔操作機能を備えた電気機器に関するものである。
【背景技術】
【０００２】
従来、一般家庭で使用されている所謂エアコン、テレビジョン受信機、ビデオレコーダー等の家庭用の電気機器においては、使用者の操作に応じて所定の赤外線信号を発光するリモートコントロールユニット（以下、リモコンと略す。）を用いることにより遠隔操作が可能なものが多い。また、例えばテレビジョン受信機では、マルチチャンネル、デジタルサービス放送、ブロードバンドネットワーク等の普及に伴い多機能化が進んでおり、多くの機能を有するテレビジョン受信機ではリモコンによる操作を前提とした構造や、機能が設けられているもの一般的である。
【０００３】
リモコンの使用を前提とした電気機器では、リモコンを駆動する電池が消耗した場合や、リモコンが故障したり、紛失した場合には、使用者が、機器本体に設けられているスイッチを操作したりすることによって電気機器を操作することを余儀なくされる。特に身体の不自由な人には負担になる。
【０００４】
一方、例えば下記特許文献１には、表示装置の前方に配設されたテレビカメラによって撮像された人物の指先位置等を検出することにより、各種の指令を入力可能する技術が記載されている。係る技術を用いれば、リモコンを使用することなく指先の動作によって電気機器を遠隔操作することが可能となる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０００−１８７５５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記の技術においては、例えば使用者が電気機器の操作を意図していないとき、たまたま指先の動作が検出された場合には、使用者の意図に反して電気機器が特定の動作を行うこととなる。そのため、使用者の意図しない操作に応答した誤動作が生じる可能性が高いという問題がある。
【０００７】
本発明は、かかる従来の課題に鑑みてなされたものであり、使用者による意図的な遠隔操作のみを受け付けることができる電気機器を提供することを目的とする。
【課題を解決するための手段】
【０００８】
前記課題を解決するため、請求項１記載の発明に係る電気機器にあっては、遠隔操作機能を備えた電気機器において、使用者を撮影する撮影手段と、前記撮影手段により撮影された撮影画像に基づいて、使用者が機器本体を見ているか否かを判断する判断手段と、前記撮影手段により撮影された撮影画像に基づいて、使用者における予め決められている特定の動作を検出する検出手段と、前記判断手段により使用者が機器本体を見ていると判断されている条件下で、前記検出手段により使用者における前記特定の動作が検出されたことに応答し、前記特定の動作に対応した内容の制御処理を実行する制御手段とを備えたことを特徴とする。
【０００９】
また、請求項２記載の発明に係る電気機器にあっては、前記制御手段が実行する前記特定の動作に対応した内容の制御処理には、受信局の切り替え制御が含まれることを特徴とする。
【００１０】
また、請求項３記載の発明に係る電気機器にあっては、前記撮影手段により撮影された撮影画像を対象として、予め登録されている人物の顔を認識する顔認識手段を備え、前記制御手段は、前記判断手段により使用者が機器本体を見ていると判断されており、かつ前記顔認識手段によって予め登録されている人物の顔が検出されていることを条件として、前記検出手段により使用者における前記特定の動作が検出されたことに応答し、前記特定の動作に対応した内容の制御処理を実行することを特徴とする。
【００１１】
また、請求項４記載の発明に係る電気機器にあっては、前記判断手段は、前記顔認識手段により認識された予め登録されている人物の顔部分の画像から視線の方向を表す視線情報を取得し、取得した視線情報に基づいて使用者が機器本体を見ているか否かを判断することを特徴とする。
【００１２】
また、請求項５記載の発明に係る電気機器にあっては、前記判断手段は、前記撮影手段により撮影された撮影画像に基づいて使用者が目を開けているか否かを判断し、使用者が目を開けていると判断できるとき、前記顔部分の画像から前記視線情報を取得し、取得した視線情報に基づいて使用者が機器本体を見ているか否かを判断することを特徴とする。
【００１３】
また、請求項６記載の発明に係る電気機器にあっては、前記制御手段は、前記判断手段により使用者が機器本体を見ていると判断されている条件下で、前記検出手段により使用者における前記特定の動作が検出されたことに応答し、前記特定の動作に対応した内容の制御処理であって、前記予め登録されている人物によって事前に設定されている内容の制御処理を実行することを特徴とする。
【００１４】
また、請求項７記載の発明に係る制御方法にあっては、遠隔操作機能を備えた電気機器の制御方法であって、使用者を撮影した撮影画像に基づいて、使用者が機器本体を見ているか否かを判断する工程と、前記撮影画像に基づいて、使用者における予め決められている特定の動作を検出する工程と、使用者が機器本体を見ていると判断した条件下で、前記撮影画像に基づいて前記特定の動作を検出した場合に、前記特定の動作に対応した内容の制御処理を実行する工程とを含むことを特徴とする。
【００１５】
また、請求項８記載の発明に係るプログラムにあっては、遠隔操作機能を備えた電気機器が有するコンピュータを、使用者を撮影した撮影画像に基づいて、使用者が機器本体を見ているか否かを判断する判断手段と、前記撮影画像に基づいて、使用者における予め決められている特定の動作を検出する検出手段と、前記判断手段により使用者が機器本体を見ていると判断されている条件下で、前記検出手段により使用者における前記特定の動作が検出されたことに応答し、前記特定の動作に対応した内容の制御処理を実行する制御手段として機能させることを特徴とする。
【発明の効果】
【００１６】
本発明によれば、ユーザによる意図的な遠隔操作のみを受け付けることができる電気機器を提供することが可能となる。
【図面の簡単な説明】
【００１７】
【図１】本発明に係るデジタルテレビ受信装置の外観斜視図である。
【図２】デジタルテレビ受信機の電気的構成を示すブロック図である。
【図３】主記憶装置のメモリ領域を示す概念図である。
【図４】（ａ）はコマンドテーブルを示す概念図、（ｂ）は手の操作姿勢を示す図である。
【図５】登録データを示す概念図である。
【図６】ＣＰＵによるユーザ登録処理を示すフローチャートである。
【図７】視線基準データを示す説明図である。
【図８】ＣＰＵによる遠隔操作機能に関する処理を示すフローチャートである。
【図９】図８に続くフローチャートである。
【図１０】顔領域の画像データにより表される画像の例を便宜的に示した図である。
【図１１】視聴者の顔が表示画面に正対したときの視線基準データと、視聴者の顔が上下左右を向いたときの実際の視線基準データとの関係を示した図である。
【図１２】チャンネル選択に使用される手の操作姿勢の例、及び手の動作を示す説明図である。
【図１３】音量調整に使用される手の操作姿勢の例、及び手の動作を示す説明図である。
【発明を実施するための形態】
【００１８】
以下、本発明の実施形態について説明する。本実施形態は、ユーザがリモコンを使用することなく、特定の動作を遠隔操作することができる機能（以下、遠隔操作機能という。）を備えたデジタルテレビ受信機（以下、単にテレビ受信機という。）に関するものである。より具体的には、ユーザが自分の手を予め決められている操作姿勢として動かすだけで、チャンネル選択と音量調整とが遠隔操作可能なテレビ受信機に関するものである。
【００１９】
図１は、本実施形態のテレビ受信機１の外観図である。図１に示したように、テレビ受信機１の本体２には、本体２の正面のほぼ全域を占める表示画面を構成する液晶ディスプレイやプラズマディスプレー等の表示パネル３が保持されている。また、本体２の下辺部分の中央には撮影レンズ４が設けられている。撮影レンズ４は、後述する内蔵カメラ１８によってテレビ受信機１の正面側の状況を広範囲に撮影するために設けられたものであり、例えば焦点距離が２０ｍｍ程度の広角レンズである。
【００２０】
図２は、テレビ受信機１の電気的構成の要部を示したブロック図である。テレビ受信機１は、主としてチューナ１２と、ＣＰＵ１３、映像デコーダ１４、音声デコーダ１５、表示装置１６、内蔵カメラ１８、主記憶装置１９、補助記憶装置２０、操作キー部２１から構成される。
【００２１】
チューナ１２は、デジタル放送の放送電波をアンテナ１１を介して受信するデジタルチューナである。表示装置１６は、前述した表示パネル３、及び表示パネル３の駆動回路等から構成されている。音声出力装置１７は、オーディオアンプやスピーカー等から構成されている。操作キー部２１は、電源のオンオフや選局等の各種操作を行うために本体２に設けられた複数の操作キー（図示せず）から構成され、ユーザによるキー操作に応じた操作信号をＣＰＵ１３へ送る。
【００２２】
内蔵カメラ１８は、図１に示した撮影レンズ４によって結像された被写体の光学像を撮像するＣＣＤ（Charge Coupled Device）やＭＯＳ（Complementary Meta1 0xide Semiconductor）型の撮像素子３１と、撮像素子３１から出力される撮像信号に種々の信号処理を施して画像データを生成し、ＣＰＵ１３へ供給する信号処理回路３２から構成されている。
【００２３】
信号処理回路３２には、撮像信号を増幅するＡＧＣ回路、増幅された撮像信号をデジタルの画像信号に変換するＡ／Ｄコンバータが含まれており、信号処理回路２２は、デジタルに変換された撮像部信号に対して輝度信号処理や、色信号処理、補間処理等を行うことによって画像データを生成する。
【００２４】
そして、内蔵カメラ１８は、信号処理回路３２が生成した画像データをＣＰＵ１３へ供給することにより撮影手段として機能する。なお、以下の説明においては、内蔵カメラ１８がＣＰＵ１３へ供給する画像データにより表される画像を撮影画像という。
【００２５】
任意のテレビ放送を受信しているとき、ＣＰＵ１３は、主記憶装置１９に記憶されている制御プログラムに基づき動作し、チューナ１２から送出されたトランスポートストリーム信号をＭＰＥＧ２システム（オーディオ、ビデオのストリームフォーマット）に則り映像信号と音声信号とに振り分け、映像デコーダ１４と音声デコーダ１５に送る。映像デコーダ１４は圧縮されたビデオデータを復号化して表示装置１６へ送り、音声デコーダ１５は圧縮されたオーディオデータを復号化し音声出力装置１７へ送る。
【００２６】
また、ＣＰＵ１３は、必要に応じて、チューナ１２により受信した放送の映像データ、音声データ等の番組データを補助記憶装置２０に記録する。つまり番組録画を行う。補助記憶装置２０は記憶容量の大きなハードディスク等の記憶装置である。
【００２７】
主記憶装置１９は、ＥＥＰＲＯＭやフラッシュメモリ等の記憶データの書き換えが可能なメモリである。主記憶装置１９の内部には、図３に示したようにプログラムデータ格納領域１９ａと、ユーザにより登録されたデータを記憶するための登録データ格納領域１９ｂとが確保されている。
【００２８】
プログラムデータ格納領域１９ａには、種々のプログラムからなる前記制御プログラムと、放送局の周波数等のテレビ放送の受信に使用される各種のデータが記憶されている。さらに、プログラムデータ格納領域１９ａには、図４（ａ）に示したコマンドテーブル１００が記憶されている。コマンドテーブル１００は、ＣＰＵ１３が前記制御プログラムに従って、テレビ受信機１が有する前述した遠隔操作機能に関する処理を行う際に使用されるデータである。すなわちコマンドテーブル１００は、内蔵カメラ１８によって取得された撮影画像から認識すべき、人物の手の操作姿勢と、制御内容との基本的な組合せを示すデータである。
【００２９】
手の操作姿勢は、撮影画像からパターン認識等の画像認識技術により認識可能な操作姿勢であり、図４（ｂ）にそれぞれ示した、手のひらを略垂直にした状態の第１の姿勢Ａと、手のひらを略水平にした状態の第２の姿勢Ｂとの２種類である。また、制御内容は、遠隔操作機能により制御すべき動作であって、先に述べたように「チャンネル選択」と「音量調整」との２種類である。そして、コマンドテーブル１００には、「チャンネル選択」に対応する操作姿勢として第１の姿勢Ａが設定されており、「音量調整」に対応する操作姿勢として第２の姿勢Ｂが設定されている。なお、プログラムデータ格納領域１９ａには、撮影画像から第１及び第２の姿勢Ａ，Ｂを認識する際に使用されるモデルパターン等のデータも記憶されている。
【００３０】
一方、登録データ格納領域１９ｂには、図５に示した登録データ２００が記憶されている。登録データ２００は、ユーザ番号で管理されている各ユーザに対応する顔画像データと、視線基準データと、チャンネル選択用の手の操作姿勢、及び音量調整用の手の操作姿勢をそれぞれ示す設定データとから構成されている。顔画像データは、ユーザである特定人物の顔部分の画像データである。視線基準データは、ＣＰＵ１３が、ユーザの顔の向きを判断する際に使用される基準となる基準となる視線情報である。視線基準データの詳細については後述する。
【００３１】
登録データ２００を構成するユーザ毎のデータは、ユーザが、テレビ受信機１に予め用意されているユーザ登録機能を用いて所定の登録作業を行うことにより記憶されている。登録作業は、ユーザがテレビ受信機１の表示画面に正対した状態で所定のキー操作を行うことにより可能である。
【００３２】
図６は、所定のキー操作によってユーザから登録要求があったとき、ＣＰＵ１３が主記憶装置１９（プログラムデータ格納領域１９ａ）に記憶されている制御プログラムに従い実行するユーザ登録処理を示したフローチャートである。
【００３３】
ＣＰＵ１３は、ユーザから登録要求があったときには、直ちに所定のキー操作による撮影指示の有無を確認する（ステップＳＡ１）。なお、ユーザには、テレビ受信機１の表示画面に顔を向けた状態（表示画面に正対した状態）で撮影指示を行わせるものとする。
【００３４】
その後、ＣＰＵ１３は、撮影指示（所定のキー操作）があった時点で（ステップＳＡ１：ＹＥＳ）、内蔵カメラ１８に撮影動作を行わせて撮影画像を取得する（ステップＳＡ２）。次に、ＣＰＵ１３は、取得した撮影画像から任意の人物の顔部分に相当する顔領域を検出し、検出した顔領域を表す画像データ、つまり顔画像データを取得する（ステップＳＡ３）。なお、顔画像データの取得に際してＣＰＵ１３は、撮影画像を対象として二値化や輪郭抽出、パターンマッチング等の画像認識処理を行うことによって、一定範囲の位置関係にある目や鼻や口が存在する特定領域を顔領域として検出する。
【００３５】
次に、ＣＰＵ１３は、以下のデータを視線基準データとして取得する（ステップＳＡ４）。視線基準データは、ステップＳＡ３の処理に際して顔領域を検出する際に認識した目（左右の目）と口のそれぞれの中心位置を頂点とする、図７に示した逆三角形Ｄに関するデータである。すなわち逆三角形Ｄの底辺の長さ（左右の目の間の距離）をａ（＝Ｅ＋Ｅ'）、逆三角形Ｄの高さ（左右の目を繋いだ線から口までの距離）をｂとしたときの底辺の長さと高さとの比率ｃ（＝ｂ／ａ）である。
【００３６】
さらに、ＣＰＵ１３は、ユーザにチャンネル選択と音量調整との操作方法を設定させる（ステップＳＡ５）。ステップＳＡ５においてＣＰＵ１３は、先に述べた制御内容との手の操作姿勢（第１及び第２の姿勢Ａ，Ｂ）との基本的な組合せをデフォルト状態で示す所定の設定画面を表示装置１６に表示させ、キー操作によって上記組合せの変更の有無をユーザに選択させる。
【００３７】
しかる後、ＣＰＵ１３は、ステップＳＡ３，ＳＡ４で取得した顔画像データ、及び視線基準データと、操作方法の設定データとを、新たなユーザ番号に対応させて登録データ２００に追記する。なお、図５に例示したデータのうち、ユーザ番号１，３に対応する操作方法の設定データが、ユーザによって制御内容との手の操作姿勢との組合せが変更されなかった場合のデータである。また、ユーザ番号２に対応する操作方法の設定データが、ユーザによって制御内容との手の操作姿勢との組合せが変更された場合のデータである。
【００３８】
次に、本実施形態テレビ受像機１において、任意の放送を受信して間にＣＰＵ１３が主記憶装置１９（プログラムデータ格納領域１９ａ）に記憶されている制御プログラムに従い実行する遠隔操作機能に関する処理について説明する。図８及び図９は、ＣＰＵ１３における遠隔操作機能に関する処理を示すフローチャートである。
【００３９】
テレビ受像機１に電源が投入されて任意の放送を受信している間、ＣＰＵ１３は内蔵カメラ１８に周期的（例えば１５ｆｐｓ〜３０ｆｐｓ）に撮影動作を行わせるとともに、以下の処理を行う。
【００４０】
ＣＰＵ１３は、内蔵カメラ１８によって新たな撮影画像を取得すると（ステップＳＢ１：ＹＥＳ）、まず、取得した撮影画像から任意の人物の顔部分に相当する顔領域を検出する顔検出処理を行う（ステップＳＢ２）。顔検出処理は、ユーザ登録時に顔画像データを取得する場合の処理と同様である。顔領域が検出できない場合（ステップＳＢ３：ＮＯ）、ＣＰＵ１３はステップＳＢ１の処理に戻って、新たな撮影画像を取得するまで待機する。
【００４１】
一方、撮影画像において顔領域が検出できた場合（ステップＳＢ３：ＹＥＳ）、ＣＰＵ１１は、引き続き、ステップＳＢ２の顔検出処理で検出した顔領域の画像データを対象として、ユーザ（以下、視聴者という。）が目を開けているか否かを判断する（ステップＳＢ４）。ステップＳＢ４の処理に際してＣＰＵ１３は、顔領域の画像データに二値化や輪郭抽出等のフィルタ処理（画像処理）を施し、フィルタ処理後の画像において目に相当する領域を特定する。しかる後、特定した領域において黒目に相当する部分が認識できるか否かによって、目を開けているか否かを判断する。
【００４２】
図１０（ａ）は、視聴者が目を開けている場合に顔領域の画像データにより表される画像の例を便宜的に示した図、図１０（ｂ）は、視聴者が目を閉じている場合に顔領域の画像データにより表される画像の例を便宜的に示した図である。なお、図１０（ａ）、図１０（ｂ）において、それぞれ左側に示したものがフィルタ処理前の画像、図で右側に示したものがフィルタ処理後の画像の例である。また、フィルタ処理後の画像（右側の画像）に丸で囲んだ部分が目に相当する領域Ａである。
【００４３】
ＣＰＵ１３は、視聴者が目を閉じていると判断した場合には（ステップＳＢ４：ＮＯ）、何もせずステップＳＢ１の処理に戻って、新たな撮影画像を取得するまで待機する。
【００４４】
一方、ＣＰＵ１３は、視聴者が目を開けていると判断した場合（ステップＳＢ４：ＹＥＳ）、ステップＳＢ２の顔検出処理で検出した顔領域の顔が、登録されているユーザの顔であるか否かを確認する（ステップＳＢ５）。つまり現在の視聴者が登録されているユーザであるか否かを確認する。
【００４５】
ステップＳＢ５の処理においてＣＰＵ１３は、まず、登録データ２００として記憶されている複数の顔画像データの各々を対象として、ステップＳＢ２の顔検出処理で検出した顔領域の画像データとの一致度を取得する。一致度は、目や鼻や口の大きさや、相互の位置関係等の複数の特徴点に関する個々の一致度を平均化したものである。
【００４６】
そして、ＣＰＵ１３は、平均化した一致度が基準以上である顔画像データが登録データ２００に存在していれば、現在の視聴者が登録されているユーザであるとし、逆に平均化した一致度が基準以上である顔画像データが登録データ２００に存在しなければ、現在の視聴者が登録されているユーザではないと判断する。ここで、現在の視聴者が登録されているユーザでなければ（ステップＳＢ５：ＮＯ）、ＣＰＵ１３はステップＳＢ１の処理に戻って、新たな撮影画像を取得する。
【００４７】
一方、現在の視聴者が登録されているユーザであるとき、つまり撮影画像において登録されているユーザの顔が認識できたとき（ステップＳＢ５：ＹＥＳ）、ＣＰＵ１３は、まず現在の視聴者であるユーザを特定する（ステップＳＢ６）。すなわちＣＰＵ１３は、登録データ２００に前述した一致度が最も高い顔画像データが記憶されているユーザを現在の視聴者として特定する。
【００４８】
さらに、ＣＰＵ１３は、登録データ２００を参照して、特定したユーザ、つまり現在の視聴者によって設定されている制御内容との手の操作姿勢との組合せを確認し、確認した内容を内部メモリに記憶する（ステップＳＢ７）。
【００４９】
次に、ＣＰＵ１３は、ステップＳＢ２の顔検出処理で検出した顔領域の画像データから視線データを取得する（ステップＳＢ８）。顔領域の画像データから取得する視線データは、既説したユーザ登録処理（図６）におけるステップＳＡ４の処理で視線基準データとして取得するデータと同一である。つまりステップＳＢ２の顔検出処理で検出した顔領域における、目（左右の目）と口のそれぞれの中心位置を頂点とする逆三角形Ｄの高さｂと、逆三角形Ｄの底辺の長さａとの比率ｃ（＝ｂ／ａ）である（図７参照）。
【００５０】
しかる後、ＣＰＵ１３は、ステップＳＢ８の処理で取得した比率ｃ（以下、実際の比率という。）と、現在の視聴者（ステップＳＢ６の処理において特定したユーザ）について登録データ２００に視線基準データとして記憶されている比率ｃ（以下、基準比率という。）とを比較することにより、視聴者がテレビ受信機１の表示画面に顔を向けているか否かを判断する（ステップＳＢ９）。つまり、ＣＰＵ１３は、係る処理において視聴者が表示画面を見ているか否かを最終的に判断する。
【００５１】
図１１は、視聴者の顔が表示画面に正対したときの基準比率ｃと、視聴者の顔が上下左右を向いたときの実際の比率ｃ（図ではｃ'と標記する。）との関係を示した図である。ここで、図１１（ａ）に示したように視聴者の顔が表示画面に正対したときを基準とすると、図１１（ｂ）、図１１（ｃ）に示したように視聴者の顔が左右を向いた場合には、逆三角形Ｄの底辺の長さａは相対的に小さくなる。そのため、実際の比率ｃ'は基準比率ｃよりも大きくなる。また、図１１（ｄ）、図１１（ｅ）に示したように視聴者の顔が上下を向いた場合には、逆三角形Ｄの高さｂは相対的に小さくなる。そのため、実際の比率ｃ'は基準比率ｃよりも小さくなる。
【００５２】
以上の観点から、ステップＳＢ９の処理においてＣＰＵ１３は、視線データとして取得した比率ｃと、視線基準データとして記憶されている比率ｃとの差が予め決められている閾値以下であるときには、視聴者がテレビ受信機１の表示画面に顔を向けていると判断する。また、ＣＰＵ１３は、上記比率ｃの差が閾値を超えているときには、視聴者がテレビ受信機１の表示画面に顔を向けていないと判断する。なお、閾値は、視聴者とテレビ受信機１との距離が、テレビ受信機１の表示画面サイズに応じて予め想定されている視聴距離に対応して決められている値である。
【００５３】
そして、視聴者がテレビ受信機１の表示画面に顔を向けていないと判断した場合（ステップＳＢ９：ＮＯ）、ＣＰＵ１３は何もせずステップＳＢ１の処理に戻って、新たな撮影画像を取得するまで待機する。
【００５４】
一方、視聴者がテレビ受信機１の表示画面に顔を向けていると判断した場合、つまり視聴者が表示画面を見ていると判断できる場合（ステップＳＢ９：ＹＥＳ）、ＣＰＵ１３は引き続き図９に示した以下の処理を実行する。
【００５５】
すなわちＣＰＵ１３は、ステップＳＢ１で取得した撮影画像を対象として手の操作姿勢を認識する（ステップＳＢ１０）。ＣＰＵ１３が認識する手の操作姿勢は、先に説明したように、図４（ｂ）に示した手のひらを略垂直にした状態の第１の姿勢Ａ、及び手のひらを略水平にした状態の第２の姿勢Ｂである。
【００５６】
そして、ＣＰＵ１３は、撮影画像において第１の姿勢Ａ、又は第２の姿勢Ｂの認識に成功したときには（ステップＳＢ１１：ＹＥＳ）、後述するステップＳＢ１２以降の処理を行った後、新たに撮影画像を取得する毎に（ステップＳＢ２３：ＹＥＳ）、手の操作姿勢を認識する（ステップＳＢ１０）。以後、ＣＰＵ１３は、新たな撮影画像において手の操作姿勢（第１の姿勢Ａ、又は第２の姿勢Ｂ）の認識に成功している間、ステップＳＢ１２以降の処理を繰り返す。
【００５７】
以下、ステップＳＢ１２〜ステップＳＢ２２の処理について説明する。すなわち手の操作姿勢の認識に成功している間、ＣＰＵ１３は、まず、ステップＳＢ７の処理で内部メモリに記憶しておいた、現在の視聴者によって設定されている制御内容との手の操作姿勢との組合せ内容から、認識した手の操作姿勢が、現在の視聴者においてチャンネル選択用として設定されている操作姿勢であるか否かを確認する（ステップＳＢ１２）。
【００５８】
そして、ＣＰＵ１３は、認識した手の操作姿勢がチャンネル選択用として設定されている操作姿勢である間には（ステップＳＢ１２：ＹＥＳ）、以下の処理を繰り返す。なお、以下の説明では、現在の視聴者により設定されている制御内容との手の操作姿勢との組合せが図４（ａ）に示した基本的な組合せであって、ステップＳＢ１０の処理で認識した手の操作姿勢が第１の姿勢Ａであるものとする。
【００５９】
操作姿勢がチャンネル選択用として設定されている操作姿勢である間、ＣＰＵ１３は、新たに取得した撮影画像内における手の位置（例えば画像内における手の中心位置）を逐次取得して内部メモリに記憶する（ステップＳＢ１３）。しかる後、ＣＰＵ１３は、それまでの手の位置の変化に基づいて、視聴者によってチャンネルの順送り、又はチャンネルの逆送りが指示されたか否かを確認する（ステップＳＢ１４、ステップＳＢ１６）。
【００６０】
すなわちＣＰＵ１３は、第１の姿勢Ａにある手の位置が、図１２（ａ）に示したように、任意の初期位置Ｐ１から右方向へ移動した後、任意の位置Ｐ２で反転して初期位置Ｐ１に戻る順送り動作が確認できたときには、チャンネルの順送りが指示されたと判断する。またＣＰＵ１３は、第１の姿勢Ａにある手の位置が、図１２（ｂ）に示したように、任意の初期位置Ｐ１から左方向へ移動した後、任意の位置Ｐ２'で反転して初期位置Ｐ１に戻る逆送り動作が確認できたとき、チャンネルの逆送りが指示されたと判断する。
【００６１】
そして、ＣＰＵ１３は、視聴者によってチャンネルの順送りが指示されたと判断した（順送り動作が確認できた）ときには（ステップＳＢ１４：ＹＥＳ）、チャンネルを１チャンネル分順送りする（ステップＳＢ１５）。また、ＣＰＵ１３は、視聴者によってチャンネルの逆送りが指示されたと判断した（逆送り動作が確認できた）ときには（ステップＳＢ１４：ＮＯ、ステップＳＢ１６：ＹＥＳ）、チャンネルを１チャンネル分逆送りする（ステップＳＢ１７）。
【００６２】
ただし、第１の姿勢Ａにある手の順送り動作、又は逆送り動作が連続して行われる連続選択動作中、ステップＳＢ１３以降の処理に際してＣＰＵ１３は、以下の処理を行う。すなわち、ＣＰＵ１３は、最初に確認した動作が順送り動作であった後には、第１の姿勢Ａにある手が１往復移動する毎にチャンネルを１チャンネル分順送りする。
【００６３】
図１２（ｃ）は、最初の動作が順送り動作であった場合における第１の姿勢Ａにある手の連続選択動作の例を示した図である。係る連続選択動作中においてＣＰＵ１３は、第１の姿勢Ａにある手が初期位置Ｐ１と任意の位置Ｐ２と間を往復した時点でチャンネルを１チャンネル分順送りし、さらに、第１の姿勢Ａにある手が初期位置Ｐ１と任意の位置Ｐ３と間を往復した時点でチャンネルを１チャンネル分順送りする。
【００６４】
また、上記とは逆にＣＰＵ１３は、最初に確認した動作が逆送り動作であった後には、第１の姿勢Ａにある手が１往復移動する毎にチャンネルを１チャンネル分逆送りする。
【００６５】
また、ＣＰＵ１３は、上記の順送り動作及び逆送り動作とのいずれもが確認できなかったときには（ステップＳＢ１６：ＮＯ）、その時点では何もせずに、次回の撮影画像を取得した後に、上記と同様の処理を行う。
【００６６】
したがって、ユーザにおいては、第１の姿勢Ａにある手を左右に移動させれば、リモコンを使用することなく、テレビ受信機１から離れた場所でも表示チャンネルの選択（切り替え）を行うことができる。
【００６７】
一方、ＣＰＵ１３は、ステップＳＢ１０で認識した手の操作姿勢がチャンネル選択用ではなく、音量調整用として設定されている操作姿勢である間には（ステップＳＢ１２：ＮＯ）、以下の処理を繰り返す。なお、以下の説明においても、現在の視聴者により設定されている制御内容との手の操作姿勢との組合せが図４（ａ）に示した基本的な組合せであって、ステップＳＢ１０の処理で認識した手の操作姿勢が第２の姿勢Ｂであるものとする。
【００６８】
操作姿勢が音量調整用として設定されている操作姿勢である間、ＣＰＵ１３は、新たに取得した撮影画像内における手の位置（例えば画像内における手の中心位置）を逐次取得して内部メモリに記憶する（ステップＳＢ１８）。しかる後、ＣＰＵ１３は、それまでの手の位置の変化に基づいて、視聴者によって音量アップ、又は音量ダウンが指示されたか否かを確認する（ステップＳＢ１９、ステップＳＢ２１）。
【００６９】
すなわちＣＰＵ１３は、第２の姿勢Ｂにある手の位置が、図１３（ａ）に示したように、任意の初期位置Ｐ１から上方向へ所定の距離Ｌを移動する音量アップ動作が確認できたときには、音量アップが指示されたと判断する。またＣＰＵ１３は、第２の姿勢Ｂにある手の位置が、図１３（ｂ）に示したように、任意の初期位置Ｐ１から下方向へ所定の距離Ｌを移動する音量ダウン動作が確認できたときには、音量ダウンが指示されたと判断する。
【００７０】
そして、ＣＰＵ１３は、視聴者によって音量アップが指示されたと判断した（音量アップ動作が確認できた）ときには（ステップＳＢ１９：ＹＥＳ）、音量を１段階上げる（ステップＳＢ２０）。また、ＣＰＵ１３は、視聴者によって音量ダウンが指示されたと判断した（音量ダウン動作が確認できた）ときには（ステップＳＢ１９：ＮＯ、ステップＳＢ２１：ＹＥＳ）、音量を１段階下げる（ステップＳＢ２２）。
【００７１】
ただし、第２の姿勢Ｂにある手の音量アップ動作、又は音量ダウン動作が連続して行われる連続調整動作中、ステップＳＢ１９以降の処理に際してＣＰＵ１３は、以下の処理を行う。すなわち、ＣＰＵ１３は、最初に確認した動作が音量アップ動作であった後には、第２の姿勢Ｂにある手が、移動方向に関係なく所定の距離Ｌだけ移動する毎に音量を１段階上げる。
【００７２】
図１３（ｃ）は、最初の動作が音量アップ動作であった場合における第２の姿勢Ｂにある手の連続選択動作の例を示した図である。係る連続選択動作中においてＣＰＵ１３は、第２の姿勢Ｂにある手が初期位置Ｐ１から所定の距離Ｌ離れた位置Ｐ２に達した時点で音量を１段階上げ、さらに、第２の姿勢Ｂにある手が初期位置Ｐ１へ戻った時点で音量を１段階上げる。
【００７３】
また、上記とは逆にＣＰＵ１３は、最初に確認した動作が音量ダウン動作であった後には、第２の姿勢Ｂにある手が移動方向に関係なく所定の距離Ｌだけ移動する毎に音量を１段階下げる。
【００７４】
また、ＣＰＵ１３は、上記の音量アップ動作及び音量ダウン動作とのいずれもが確認できなかったときには（ステップＳＢ２１：ＮＯ）、その時点では何もせずに、次回の撮影画像を取得した後に、上記と同様の処理を行う。
【００７５】
したがって、ユーザにおいては、第２の姿勢Ｂにある手を上下に移動させれば、リモコンを使用することなく、テレビ受信機１から離れた場所でも音量調整を行うことができる。
【００７６】
なお、図には示さないが、現在の視聴者により設定されている制御内容との手の操作姿勢との組合せが基本的な組合せと逆である場合、つまり「チャンネル選択」に対応する操作姿勢として第２の姿勢Ｂが設定され、かつ「音量調整」に対応する操作姿勢として第１の姿勢Ａが設定されている場合、ＣＰＵ１３はステップＳＢ１２〜ステップＳＢ２２では以下の処理を行う。
【００７７】
すなわち、ＣＰＵ１３は、第２の姿勢Ｂにある手が任意の初期位置から上方向へ移動した後、任意の位置で反転して初期位置に戻る順送り動作を確認したときには、チャンネルの逆送りが指示されたと判断し（ステップＳＢ１４：ＹＥＳ）、チャンネルを１チャンネル分順送りする（ステップＳＢ１５）。また、ＣＰＵ１３は、第２の姿勢Ｂにある手が任意の初期位置から下方向へ移動した後、任意の位置で反転して初期位置に戻る順送り動作を確認したときには、チャンネルの逆送りが指示されたと判断し（ステップＳＢ１６：ＹＥＳ）、チャンネルを１チャンネル分逆送りする（ステップＳＢ１７）。
【００７８】
なお、ＣＰＵ１３は、第２の姿勢Ｂにある手の順送り動作、又は逆送り動作が連続して行われる連続選択動作中には、最初の動作が順送り動作であれば、第２の姿勢Ｂにある手が１往復移動する毎にチャンネルを１チャンネル分順送りする。逆に、最初の動作が逆送り動作であれば、ＣＰＵ１３は、第２の姿勢Ｂにある手が１往復移動する毎にチャンネルを１チャンネル分逆送りする。
【００７９】
さらに、ＣＰＵ１３は、第１の姿勢Ａにある手が任意の初期位置から右方向へ所定の距離を移動する音量アップ動作を確認したときには、音量アップが指示されたと判断し（ステップＳＢ１９：ＹＥＳ）、音量を１段階上げる（ステップＳＢ２０）。また、ＣＰＵ１３は、第１の姿勢Ａにある手が任意の初期位置から左方向へ所定の距離を移動する音量ダウン動作を確認したときには、音量ダウンが指示されたと判断し（ステップＳＢ２１：ＹＥＳ）、音量を１段階下げる。
【００８０】
なお、ＣＰＵ１３は、第１の姿勢Ａにある手の音量アップ動作、又は音量ダウン動作が連続して行われる連続調整動作中には、最初の動作が音量アップ動作であれば、第１の姿勢Ａにある手が所定の距離だけ移動する毎に音量を１段階上げる。逆に、最初の動作が音量ダウン動作であれば、ＣＰＵ１３は、第１の姿勢Ａにある手が所定の距離だけ移動する毎に音量を１段階下げる。
【００８１】
一方、ＣＰＵ１３は、上述したように第１の姿勢Ａ、又は第２の姿勢Ｂにある手の動作に応じてチャンネルや音量の制御を繰り返す間、新たに取得した撮影画像において手の操作姿勢（第１の姿勢Ａ、又は第２の姿勢Ｂ）が認識できなくなったら（ステップＳＢ１１：ＮＯ）、それまでに記憶していた手の位置を初期化（クリア）した後（ステップＳＢ２４）、いったん図８のステップＳＢ１の処理に戻る。以後、ＣＰＵ１３は、前述した処理を繰り返す。
【００８２】
以上説明したように本実施形態のテレビ受信機１においては、任意の放送を受信して間、ＣＰＵ１３が、視聴者が表示画面を見ていることを条件として、第１の姿勢Ａにある手の左右方向への移動、又は第２の姿勢Ｂにある手の上下方向への移動といった特定の動作を随時検出し、それが検出できたことをトリガとしてチャンネル（受信局）や音量を制御する。
【００８３】
そのため、テレビ受信機１においては、視聴者が表示画面を見ていないとき、たまたま第１の姿勢Ａや第２の姿勢Ｂにあるユーザの手が左右や上下に移動した場合であっても、チャンネルが変更されたり、音量が変化したりすることがない。つまりユーザの意図しない操作に応答した誤動作が生じる可能性がない。よって、ユーザによる意図的な遠隔操作のみを受け付けることができる。
【００８４】
また、本実施形態のテレビ受信機１においては、ＣＰＵ１３が、撮影画像から予め登録されているユーザの顔が認識できたことを条件として、チャンネル（受信局）や音量を制御する。したがって、より確実にユーザによる意図的な遠隔操作のみを受け付けることができる。
【００８５】
また、本実施形態のテレビ受信機１においては、ＣＰＵ１３が、視聴者が目を開けており、かつテレビ受信機１の表示画面に顔を向けていると判断できる場合に、視聴者が表示画面を見ていると最終的に判断する。したがって、視聴者が表示画面を見ている滋養対を正確に判断することができ、これによっても、より確実にユーザによる意図的な遠隔操作のみを受け付けることができる。
【００８６】
なお、本実施形態においては、ＣＰＵ１３が、視聴者が目を開けており、かつテレビ受信機１の表示画面に顔を向けていると判断できる場合に、視聴者が表示画面を見ていると最終的に判断する構成について説明した。しかし、本発明の実施に際しては、視聴者が表示画面を見ているか否かの判断を、視聴者がテレビ受信機１の表示画面に顔を向けているか否かのみに基づいて行う構成としてもよい。
【００８７】
また、本実施形態においては、視聴者がテレビ受信機１の表示画面に顔を向けているか否かの判断を、事前に登録されている視線基準データを用いて行う構成について説明したが、上記判断は事前に登録されている視線基準データを用いることなく行う構成としてもよい。例えば、視聴者を撮影した撮影画像を取得する毎に、図７に示した逆三角形Ｄの高さｂと、逆三角形Ｄの底辺の長さａとの比率ｃ（視線情報）を繰り返し取得するともに、随時取得する比率ｃのうちで最小の比率ｃを視線基準データとして随時更新し、係る視線基準データを用いる構成としてもよい。
【００８８】
なお、上記のように随時更新する視線基準データを用いて、視聴者がテレビ受信機１の表示画面に顔を向けているか否かを判断する場合、ＣＰＵ１３に、例えば事前に登録されていないユーザについても前述した手の動作（特定の動作）を検知し、それをトリガとしてチャンネル（受信局）や音量を制御させる構成としてもよい。
【００８９】
また、本実施形態においては、ＣＰＵ１３が撮影画像から検出する視聴者における特定の動作が、第１の姿勢Ａにある手の左右方向への移動、又は第２の姿勢Ｂにある手の上下方向への移動である場合について説明したが、撮影画像から検出する特定の動作は、予め決められている動作であれば他の動作に適宜変更することができる。
【００９０】
また、撮影画像から特定の動作を検出したことをトリガとしてＣＰＵ１３が制御する内容がチャンネルや音量である場合について説明したが、制御内容についても適宜変更することができる。
【００９１】
また、本実施形態においては、本発明をデジタルテレビ受信機に適用した場合について説明したが、本発明は、デジタルテレビ受信機に限らず、放送番組の記録に使用されるビデオレコーダーや、ラジオ放送を受信するラジオ受信機等の他の電気機器にも適用することができる。
【符号の説明】
【００９２】
１ テレビ
２ 本体
３ 表示パネル
４ 撮影レンズ
１１ アンテナ
１２ チューナ
１３ ＣＰＵ
１４ 映像デコーダ
１５ 音声デコーダ
１６ 表示装置
１７ 音声出力装置
１８ 内蔵カメラ
１９ 主記憶装置
２０ 補助記憶装置
２１ 操作キー部
２２ 信号処理回路
３１ 撮像素子
３２ 信号処理回路
【技術分野】
【０００１】
本発明は、リモコンを不要とした遠隔操作機能を備えた電気機器に関するものである。
【背景技術】
【０００２】
従来、一般家庭で使用されている所謂エアコン、テレビジョン受信機、ビデオレコーダー等の家庭用の電気機器においては、使用者の操作に応じて所定の赤外線信号を発光するリモートコントロールユニット（以下、リモコンと略す。）を用いることにより遠隔操作が可能なものが多い。また、例えばテレビジョン受信機では、マルチチャンネル、デジタルサービス放送、ブロードバンドネットワーク等の普及に伴い多機能化が進んでおり、多くの機能を有するテレビジョン受信機ではリモコンによる操作を前提とした構造や、機能が設けられているもの一般的である。
【０００３】
リモコンの使用を前提とした電気機器では、リモコンを駆動する電池が消耗した場合や、リモコンが故障したり、紛失した場合には、使用者が、機器本体に設けられているスイッチを操作したりすることによって電気機器を操作することを余儀なくされる。特に身体の不自由な人には負担になる。
【０００４】
一方、例えば下記特許文献１には、表示装置の前方に配設されたテレビカメラによって撮像された人物の指先位置等を検出することにより、各種の指令を入力可能する技術が記載されている。係る技術を用いれば、リモコンを使用することなく指先の動作によって電気機器を遠隔操作することが可能となる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０００−１８７５５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記の技術においては、例えば使用者が電気機器の操作を意図していないとき、たまたま指先の動作が検出された場合には、使用者の意図に反して電気機器が特定の動作を行うこととなる。そのため、使用者の意図しない操作に応答した誤動作が生じる可能性が高いという問題がある。
【０００７】
本発明は、かかる従来の課題に鑑みてなされたものであり、使用者による意図的な遠隔操作のみを受け付けることができる電気機器を提供することを目的とする。
【課題を解決するための手段】
【０００８】
前記課題を解決するため、請求項１記載の発明に係る電気機器にあっては、遠隔操作機能を備えた電気機器において、使用者を撮影する撮影手段と、前記撮影手段により撮影された撮影画像に基づいて、使用者が機器本体を見ているか否かを判断する判断手段と、前記撮影手段により撮影された撮影画像に基づいて、使用者における予め決められている特定の動作を検出する検出手段と、前記判断手段により使用者が機器本体を見ていると判断されている条件下で、前記検出手段により使用者における前記特定の動作が検出されたことに応答し、前記特定の動作に対応した内容の制御処理を実行する制御手段とを備えたことを特徴とする。
【０００９】
また、請求項２記載の発明に係る電気機器にあっては、前記制御手段が実行する前記特定の動作に対応した内容の制御処理には、受信局の切り替え制御が含まれることを特徴とする。
【００１０】
また、請求項３記載の発明に係る電気機器にあっては、前記撮影手段により撮影された撮影画像を対象として、予め登録されている人物の顔を認識する顔認識手段を備え、前記制御手段は、前記判断手段により使用者が機器本体を見ていると判断されており、かつ前記顔認識手段によって予め登録されている人物の顔が検出されていることを条件として、前記検出手段により使用者における前記特定の動作が検出されたことに応答し、前記特定の動作に対応した内容の制御処理を実行することを特徴とする。
【００１１】
また、請求項４記載の発明に係る電気機器にあっては、前記判断手段は、前記顔認識手段により認識された予め登録されている人物の顔部分の画像から視線の方向を表す視線情報を取得し、取得した視線情報に基づいて使用者が機器本体を見ているか否かを判断することを特徴とする。
【００１２】
また、請求項５記載の発明に係る電気機器にあっては、前記判断手段は、前記撮影手段により撮影された撮影画像に基づいて使用者が目を開けているか否かを判断し、使用者が目を開けていると判断できるとき、前記顔部分の画像から前記視線情報を取得し、取得した視線情報に基づいて使用者が機器本体を見ているか否かを判断することを特徴とする。
【００１３】
また、請求項６記載の発明に係る電気機器にあっては、前記制御手段は、前記判断手段により使用者が機器本体を見ていると判断されている条件下で、前記検出手段により使用者における前記特定の動作が検出されたことに応答し、前記特定の動作に対応した内容の制御処理であって、前記予め登録されている人物によって事前に設定されている内容の制御処理を実行することを特徴とする。
【００１４】
また、請求項７記載の発明に係る制御方法にあっては、遠隔操作機能を備えた電気機器の制御方法であって、使用者を撮影した撮影画像に基づいて、使用者が機器本体を見ているか否かを判断する工程と、前記撮影画像に基づいて、使用者における予め決められている特定の動作を検出する工程と、使用者が機器本体を見ていると判断した条件下で、前記撮影画像に基づいて前記特定の動作を検出した場合に、前記特定の動作に対応した内容の制御処理を実行する工程とを含むことを特徴とする。
【００１５】
また、請求項８記載の発明に係るプログラムにあっては、遠隔操作機能を備えた電気機器が有するコンピュータを、使用者を撮影した撮影画像に基づいて、使用者が機器本体を見ているか否かを判断する判断手段と、前記撮影画像に基づいて、使用者における予め決められている特定の動作を検出する検出手段と、前記判断手段により使用者が機器本体を見ていると判断されている条件下で、前記検出手段により使用者における前記特定の動作が検出されたことに応答し、前記特定の動作に対応した内容の制御処理を実行する制御手段として機能させることを特徴とする。
【発明の効果】
【００１６】
本発明によれば、ユーザによる意図的な遠隔操作のみを受け付けることができる電気機器を提供することが可能となる。
【図面の簡単な説明】
【００１７】
【図１】本発明に係るデジタルテレビ受信装置の外観斜視図である。
【図２】デジタルテレビ受信機の電気的構成を示すブロック図である。
【図３】主記憶装置のメモリ領域を示す概念図である。
【図４】（ａ）はコマンドテーブルを示す概念図、（ｂ）は手の操作姿勢を示す図である。
【図５】登録データを示す概念図である。
【図６】ＣＰＵによるユーザ登録処理を示すフローチャートである。
【図７】視線基準データを示す説明図である。
【図８】ＣＰＵによる遠隔操作機能に関する処理を示すフローチャートである。
【図９】図８に続くフローチャートである。
【図１０】顔領域の画像データにより表される画像の例を便宜的に示した図である。
【図１１】視聴者の顔が表示画面に正対したときの視線基準データと、視聴者の顔が上下左右を向いたときの実際の視線基準データとの関係を示した図である。
【図１２】チャンネル選択に使用される手の操作姿勢の例、及び手の動作を示す説明図である。
【図１３】音量調整に使用される手の操作姿勢の例、及び手の動作を示す説明図である。
【発明を実施するための形態】
【００１８】
以下、本発明の実施形態について説明する。本実施形態は、ユーザがリモコンを使用することなく、特定の動作を遠隔操作することができる機能（以下、遠隔操作機能という。）を備えたデジタルテレビ受信機（以下、単にテレビ受信機という。）に関するものである。より具体的には、ユーザが自分の手を予め決められている操作姿勢として動かすだけで、チャンネル選択と音量調整とが遠隔操作可能なテレビ受信機に関するものである。
【００１９】
図１は、本実施形態のテレビ受信機１の外観図である。図１に示したように、テレビ受信機１の本体２には、本体２の正面のほぼ全域を占める表示画面を構成する液晶ディスプレイやプラズマディスプレー等の表示パネル３が保持されている。また、本体２の下辺部分の中央には撮影レンズ４が設けられている。撮影レンズ４は、後述する内蔵カメラ１８によってテレビ受信機１の正面側の状況を広範囲に撮影するために設けられたものであり、例えば焦点距離が２０ｍｍ程度の広角レンズである。
【００２０】
図２は、テレビ受信機１の電気的構成の要部を示したブロック図である。テレビ受信機１は、主としてチューナ１２と、ＣＰＵ１３、映像デコーダ１４、音声デコーダ１５、表示装置１６、内蔵カメラ１８、主記憶装置１９、補助記憶装置２０、操作キー部２１から構成される。
【００２１】
チューナ１２は、デジタル放送の放送電波をアンテナ１１を介して受信するデジタルチューナである。表示装置１６は、前述した表示パネル３、及び表示パネル３の駆動回路等から構成されている。音声出力装置１７は、オーディオアンプやスピーカー等から構成されている。操作キー部２１は、電源のオンオフや選局等の各種操作を行うために本体２に設けられた複数の操作キー（図示せず）から構成され、ユーザによるキー操作に応じた操作信号をＣＰＵ１３へ送る。
【００２２】
内蔵カメラ１８は、図１に示した撮影レンズ４によって結像された被写体の光学像を撮像するＣＣＤ（Charge Coupled Device）やＭＯＳ（Complementary Meta1 0xide Semiconductor）型の撮像素子３１と、撮像素子３１から出力される撮像信号に種々の信号処理を施して画像データを生成し、ＣＰＵ１３へ供給する信号処理回路３２から構成されている。
【００２３】
信号処理回路３２には、撮像信号を増幅するＡＧＣ回路、増幅された撮像信号をデジタルの画像信号に変換するＡ／Ｄコンバータが含まれており、信号処理回路２２は、デジタルに変換された撮像部信号に対して輝度信号処理や、色信号処理、補間処理等を行うことによって画像データを生成する。
【００２４】
そして、内蔵カメラ１８は、信号処理回路３２が生成した画像データをＣＰＵ１３へ供給することにより撮影手段として機能する。なお、以下の説明においては、内蔵カメラ１８がＣＰＵ１３へ供給する画像データにより表される画像を撮影画像という。
【００２５】
任意のテレビ放送を受信しているとき、ＣＰＵ１３は、主記憶装置１９に記憶されている制御プログラムに基づき動作し、チューナ１２から送出されたトランスポートストリーム信号をＭＰＥＧ２システム（オーディオ、ビデオのストリームフォーマット）に則り映像信号と音声信号とに振り分け、映像デコーダ１４と音声デコーダ１５に送る。映像デコーダ１４は圧縮されたビデオデータを復号化して表示装置１６へ送り、音声デコーダ１５は圧縮されたオーディオデータを復号化し音声出力装置１７へ送る。
【００２６】
また、ＣＰＵ１３は、必要に応じて、チューナ１２により受信した放送の映像データ、音声データ等の番組データを補助記憶装置２０に記録する。つまり番組録画を行う。補助記憶装置２０は記憶容量の大きなハードディスク等の記憶装置である。
【００２７】
主記憶装置１９は、ＥＥＰＲＯＭやフラッシュメモリ等の記憶データの書き換えが可能なメモリである。主記憶装置１９の内部には、図３に示したようにプログラムデータ格納領域１９ａと、ユーザにより登録されたデータを記憶するための登録データ格納領域１９ｂとが確保されている。
【００２８】
プログラムデータ格納領域１９ａには、種々のプログラムからなる前記制御プログラムと、放送局の周波数等のテレビ放送の受信に使用される各種のデータが記憶されている。さらに、プログラムデータ格納領域１９ａには、図４（ａ）に示したコマンドテーブル１００が記憶されている。コマンドテーブル１００は、ＣＰＵ１３が前記制御プログラムに従って、テレビ受信機１が有する前述した遠隔操作機能に関する処理を行う際に使用されるデータである。すなわちコマンドテーブル１００は、内蔵カメラ１８によって取得された撮影画像から認識すべき、人物の手の操作姿勢と、制御内容との基本的な組合せを示すデータである。
【００２９】
手の操作姿勢は、撮影画像からパターン認識等の画像認識技術により認識可能な操作姿勢であり、図４（ｂ）にそれぞれ示した、手のひらを略垂直にした状態の第１の姿勢Ａと、手のひらを略水平にした状態の第２の姿勢Ｂとの２種類である。また、制御内容は、遠隔操作機能により制御すべき動作であって、先に述べたように「チャンネル選択」と「音量調整」との２種類である。そして、コマンドテーブル１００には、「チャンネル選択」に対応する操作姿勢として第１の姿勢Ａが設定されており、「音量調整」に対応する操作姿勢として第２の姿勢Ｂが設定されている。なお、プログラムデータ格納領域１９ａには、撮影画像から第１及び第２の姿勢Ａ，Ｂを認識する際に使用されるモデルパターン等のデータも記憶されている。
【００３０】
一方、登録データ格納領域１９ｂには、図５に示した登録データ２００が記憶されている。登録データ２００は、ユーザ番号で管理されている各ユーザに対応する顔画像データと、視線基準データと、チャンネル選択用の手の操作姿勢、及び音量調整用の手の操作姿勢をそれぞれ示す設定データとから構成されている。顔画像データは、ユーザである特定人物の顔部分の画像データである。視線基準データは、ＣＰＵ１３が、ユーザの顔の向きを判断する際に使用される基準となる基準となる視線情報である。視線基準データの詳細については後述する。
【００３１】
登録データ２００を構成するユーザ毎のデータは、ユーザが、テレビ受信機１に予め用意されているユーザ登録機能を用いて所定の登録作業を行うことにより記憶されている。登録作業は、ユーザがテレビ受信機１の表示画面に正対した状態で所定のキー操作を行うことにより可能である。
【００３２】
図６は、所定のキー操作によってユーザから登録要求があったとき、ＣＰＵ１３が主記憶装置１９（プログラムデータ格納領域１９ａ）に記憶されている制御プログラムに従い実行するユーザ登録処理を示したフローチャートである。
【００３３】
ＣＰＵ１３は、ユーザから登録要求があったときには、直ちに所定のキー操作による撮影指示の有無を確認する（ステップＳＡ１）。なお、ユーザには、テレビ受信機１の表示画面に顔を向けた状態（表示画面に正対した状態）で撮影指示を行わせるものとする。
【００３４】
その後、ＣＰＵ１３は、撮影指示（所定のキー操作）があった時点で（ステップＳＡ１：ＹＥＳ）、内蔵カメラ１８に撮影動作を行わせて撮影画像を取得する（ステップＳＡ２）。次に、ＣＰＵ１３は、取得した撮影画像から任意の人物の顔部分に相当する顔領域を検出し、検出した顔領域を表す画像データ、つまり顔画像データを取得する（ステップＳＡ３）。なお、顔画像データの取得に際してＣＰＵ１３は、撮影画像を対象として二値化や輪郭抽出、パターンマッチング等の画像認識処理を行うことによって、一定範囲の位置関係にある目や鼻や口が存在する特定領域を顔領域として検出する。
【００３５】
次に、ＣＰＵ１３は、以下のデータを視線基準データとして取得する（ステップＳＡ４）。視線基準データは、ステップＳＡ３の処理に際して顔領域を検出する際に認識した目（左右の目）と口のそれぞれの中心位置を頂点とする、図７に示した逆三角形Ｄに関するデータである。すなわち逆三角形Ｄの底辺の長さ（左右の目の間の距離）をａ（＝Ｅ＋Ｅ'）、逆三角形Ｄの高さ（左右の目を繋いだ線から口までの距離）をｂとしたときの底辺の長さと高さとの比率ｃ（＝ｂ／ａ）である。
【００３６】
さらに、ＣＰＵ１３は、ユーザにチャンネル選択と音量調整との操作方法を設定させる（ステップＳＡ５）。ステップＳＡ５においてＣＰＵ１３は、先に述べた制御内容との手の操作姿勢（第１及び第２の姿勢Ａ，Ｂ）との基本的な組合せをデフォルト状態で示す所定の設定画面を表示装置１６に表示させ、キー操作によって上記組合せの変更の有無をユーザに選択させる。
【００３７】
しかる後、ＣＰＵ１３は、ステップＳＡ３，ＳＡ４で取得した顔画像データ、及び視線基準データと、操作方法の設定データとを、新たなユーザ番号に対応させて登録データ２００に追記する。なお、図５に例示したデータのうち、ユーザ番号１，３に対応する操作方法の設定データが、ユーザによって制御内容との手の操作姿勢との組合せが変更されなかった場合のデータである。また、ユーザ番号２に対応する操作方法の設定データが、ユーザによって制御内容との手の操作姿勢との組合せが変更された場合のデータである。
【００３８】
次に、本実施形態テレビ受像機１において、任意の放送を受信して間にＣＰＵ１３が主記憶装置１９（プログラムデータ格納領域１９ａ）に記憶されている制御プログラムに従い実行する遠隔操作機能に関する処理について説明する。図８及び図９は、ＣＰＵ１３における遠隔操作機能に関する処理を示すフローチャートである。
【００３９】
テレビ受像機１に電源が投入されて任意の放送を受信している間、ＣＰＵ１３は内蔵カメラ１８に周期的（例えば１５ｆｐｓ〜３０ｆｐｓ）に撮影動作を行わせるとともに、以下の処理を行う。
【００４０】
ＣＰＵ１３は、内蔵カメラ１８によって新たな撮影画像を取得すると（ステップＳＢ１：ＹＥＳ）、まず、取得した撮影画像から任意の人物の顔部分に相当する顔領域を検出する顔検出処理を行う（ステップＳＢ２）。顔検出処理は、ユーザ登録時に顔画像データを取得する場合の処理と同様である。顔領域が検出できない場合（ステップＳＢ３：ＮＯ）、ＣＰＵ１３はステップＳＢ１の処理に戻って、新たな撮影画像を取得するまで待機する。
【００４１】
一方、撮影画像において顔領域が検出できた場合（ステップＳＢ３：ＹＥＳ）、ＣＰＵ１１は、引き続き、ステップＳＢ２の顔検出処理で検出した顔領域の画像データを対象として、ユーザ（以下、視聴者という。）が目を開けているか否かを判断する（ステップＳＢ４）。ステップＳＢ４の処理に際してＣＰＵ１３は、顔領域の画像データに二値化や輪郭抽出等のフィルタ処理（画像処理）を施し、フィルタ処理後の画像において目に相当する領域を特定する。しかる後、特定した領域において黒目に相当する部分が認識できるか否かによって、目を開けているか否かを判断する。
【００４２】
図１０（ａ）は、視聴者が目を開けている場合に顔領域の画像データにより表される画像の例を便宜的に示した図、図１０（ｂ）は、視聴者が目を閉じている場合に顔領域の画像データにより表される画像の例を便宜的に示した図である。なお、図１０（ａ）、図１０（ｂ）において、それぞれ左側に示したものがフィルタ処理前の画像、図で右側に示したものがフィルタ処理後の画像の例である。また、フィルタ処理後の画像（右側の画像）に丸で囲んだ部分が目に相当する領域Ａである。
【００４３】
ＣＰＵ１３は、視聴者が目を閉じていると判断した場合には（ステップＳＢ４：ＮＯ）、何もせずステップＳＢ１の処理に戻って、新たな撮影画像を取得するまで待機する。
【００４４】
一方、ＣＰＵ１３は、視聴者が目を開けていると判断した場合（ステップＳＢ４：ＹＥＳ）、ステップＳＢ２の顔検出処理で検出した顔領域の顔が、登録されているユーザの顔であるか否かを確認する（ステップＳＢ５）。つまり現在の視聴者が登録されているユーザであるか否かを確認する。
【００４５】
ステップＳＢ５の処理においてＣＰＵ１３は、まず、登録データ２００として記憶されている複数の顔画像データの各々を対象として、ステップＳＢ２の顔検出処理で検出した顔領域の画像データとの一致度を取得する。一致度は、目や鼻や口の大きさや、相互の位置関係等の複数の特徴点に関する個々の一致度を平均化したものである。
【００４６】
そして、ＣＰＵ１３は、平均化した一致度が基準以上である顔画像データが登録データ２００に存在していれば、現在の視聴者が登録されているユーザであるとし、逆に平均化した一致度が基準以上である顔画像データが登録データ２００に存在しなければ、現在の視聴者が登録されているユーザではないと判断する。ここで、現在の視聴者が登録されているユーザでなければ（ステップＳＢ５：ＮＯ）、ＣＰＵ１３はステップＳＢ１の処理に戻って、新たな撮影画像を取得する。
【００４７】
一方、現在の視聴者が登録されているユーザであるとき、つまり撮影画像において登録されているユーザの顔が認識できたとき（ステップＳＢ５：ＹＥＳ）、ＣＰＵ１３は、まず現在の視聴者であるユーザを特定する（ステップＳＢ６）。すなわちＣＰＵ１３は、登録データ２００に前述した一致度が最も高い顔画像データが記憶されているユーザを現在の視聴者として特定する。
【００４８】
さらに、ＣＰＵ１３は、登録データ２００を参照して、特定したユーザ、つまり現在の視聴者によって設定されている制御内容との手の操作姿勢との組合せを確認し、確認した内容を内部メモリに記憶する（ステップＳＢ７）。
【００４９】
次に、ＣＰＵ１３は、ステップＳＢ２の顔検出処理で検出した顔領域の画像データから視線データを取得する（ステップＳＢ８）。顔領域の画像データから取得する視線データは、既説したユーザ登録処理（図６）におけるステップＳＡ４の処理で視線基準データとして取得するデータと同一である。つまりステップＳＢ２の顔検出処理で検出した顔領域における、目（左右の目）と口のそれぞれの中心位置を頂点とする逆三角形Ｄの高さｂと、逆三角形Ｄの底辺の長さａとの比率ｃ（＝ｂ／ａ）である（図７参照）。
【００５０】
しかる後、ＣＰＵ１３は、ステップＳＢ８の処理で取得した比率ｃ（以下、実際の比率という。）と、現在の視聴者（ステップＳＢ６の処理において特定したユーザ）について登録データ２００に視線基準データとして記憶されている比率ｃ（以下、基準比率という。）とを比較することにより、視聴者がテレビ受信機１の表示画面に顔を向けているか否かを判断する（ステップＳＢ９）。つまり、ＣＰＵ１３は、係る処理において視聴者が表示画面を見ているか否かを最終的に判断する。
【００５１】
図１１は、視聴者の顔が表示画面に正対したときの基準比率ｃと、視聴者の顔が上下左右を向いたときの実際の比率ｃ（図ではｃ'と標記する。）との関係を示した図である。ここで、図１１（ａ）に示したように視聴者の顔が表示画面に正対したときを基準とすると、図１１（ｂ）、図１１（ｃ）に示したように視聴者の顔が左右を向いた場合には、逆三角形Ｄの底辺の長さａは相対的に小さくなる。そのため、実際の比率ｃ'は基準比率ｃよりも大きくなる。また、図１１（ｄ）、図１１（ｅ）に示したように視聴者の顔が上下を向いた場合には、逆三角形Ｄの高さｂは相対的に小さくなる。そのため、実際の比率ｃ'は基準比率ｃよりも小さくなる。
【００５２】
以上の観点から、ステップＳＢ９の処理においてＣＰＵ１３は、視線データとして取得した比率ｃと、視線基準データとして記憶されている比率ｃとの差が予め決められている閾値以下であるときには、視聴者がテレビ受信機１の表示画面に顔を向けていると判断する。また、ＣＰＵ１３は、上記比率ｃの差が閾値を超えているときには、視聴者がテレビ受信機１の表示画面に顔を向けていないと判断する。なお、閾値は、視聴者とテレビ受信機１との距離が、テレビ受信機１の表示画面サイズに応じて予め想定されている視聴距離に対応して決められている値である。
【００５３】
そして、視聴者がテレビ受信機１の表示画面に顔を向けていないと判断した場合（ステップＳＢ９：ＮＯ）、ＣＰＵ１３は何もせずステップＳＢ１の処理に戻って、新たな撮影画像を取得するまで待機する。
【００５４】
一方、視聴者がテレビ受信機１の表示画面に顔を向けていると判断した場合、つまり視聴者が表示画面を見ていると判断できる場合（ステップＳＢ９：ＹＥＳ）、ＣＰＵ１３は引き続き図９に示した以下の処理を実行する。
【００５５】
すなわちＣＰＵ１３は、ステップＳＢ１で取得した撮影画像を対象として手の操作姿勢を認識する（ステップＳＢ１０）。ＣＰＵ１３が認識する手の操作姿勢は、先に説明したように、図４（ｂ）に示した手のひらを略垂直にした状態の第１の姿勢Ａ、及び手のひらを略水平にした状態の第２の姿勢Ｂである。
【００５６】
そして、ＣＰＵ１３は、撮影画像において第１の姿勢Ａ、又は第２の姿勢Ｂの認識に成功したときには（ステップＳＢ１１：ＹＥＳ）、後述するステップＳＢ１２以降の処理を行った後、新たに撮影画像を取得する毎に（ステップＳＢ２３：ＹＥＳ）、手の操作姿勢を認識する（ステップＳＢ１０）。以後、ＣＰＵ１３は、新たな撮影画像において手の操作姿勢（第１の姿勢Ａ、又は第２の姿勢Ｂ）の認識に成功している間、ステップＳＢ１２以降の処理を繰り返す。
【００５７】
以下、ステップＳＢ１２〜ステップＳＢ２２の処理について説明する。すなわち手の操作姿勢の認識に成功している間、ＣＰＵ１３は、まず、ステップＳＢ７の処理で内部メモリに記憶しておいた、現在の視聴者によって設定されている制御内容との手の操作姿勢との組合せ内容から、認識した手の操作姿勢が、現在の視聴者においてチャンネル選択用として設定されている操作姿勢であるか否かを確認する（ステップＳＢ１２）。
【００５８】
そして、ＣＰＵ１３は、認識した手の操作姿勢がチャンネル選択用として設定されている操作姿勢である間には（ステップＳＢ１２：ＹＥＳ）、以下の処理を繰り返す。なお、以下の説明では、現在の視聴者により設定されている制御内容との手の操作姿勢との組合せが図４（ａ）に示した基本的な組合せであって、ステップＳＢ１０の処理で認識した手の操作姿勢が第１の姿勢Ａであるものとする。
【００５９】
操作姿勢がチャンネル選択用として設定されている操作姿勢である間、ＣＰＵ１３は、新たに取得した撮影画像内における手の位置（例えば画像内における手の中心位置）を逐次取得して内部メモリに記憶する（ステップＳＢ１３）。しかる後、ＣＰＵ１３は、それまでの手の位置の変化に基づいて、視聴者によってチャンネルの順送り、又はチャンネルの逆送りが指示されたか否かを確認する（ステップＳＢ１４、ステップＳＢ１６）。
【００６０】
すなわちＣＰＵ１３は、第１の姿勢Ａにある手の位置が、図１２（ａ）に示したように、任意の初期位置Ｐ１から右方向へ移動した後、任意の位置Ｐ２で反転して初期位置Ｐ１に戻る順送り動作が確認できたときには、チャンネルの順送りが指示されたと判断する。またＣＰＵ１３は、第１の姿勢Ａにある手の位置が、図１２（ｂ）に示したように、任意の初期位置Ｐ１から左方向へ移動した後、任意の位置Ｐ２'で反転して初期位置Ｐ１に戻る逆送り動作が確認できたとき、チャンネルの逆送りが指示されたと判断する。
【００６１】
そして、ＣＰＵ１３は、視聴者によってチャンネルの順送りが指示されたと判断した（順送り動作が確認できた）ときには（ステップＳＢ１４：ＹＥＳ）、チャンネルを１チャンネル分順送りする（ステップＳＢ１５）。また、ＣＰＵ１３は、視聴者によってチャンネルの逆送りが指示されたと判断した（逆送り動作が確認できた）ときには（ステップＳＢ１４：ＮＯ、ステップＳＢ１６：ＹＥＳ）、チャンネルを１チャンネル分逆送りする（ステップＳＢ１７）。
【００６２】
ただし、第１の姿勢Ａにある手の順送り動作、又は逆送り動作が連続して行われる連続選択動作中、ステップＳＢ１３以降の処理に際してＣＰＵ１３は、以下の処理を行う。すなわち、ＣＰＵ１３は、最初に確認した動作が順送り動作であった後には、第１の姿勢Ａにある手が１往復移動する毎にチャンネルを１チャンネル分順送りする。
【００６３】
図１２（ｃ）は、最初の動作が順送り動作であった場合における第１の姿勢Ａにある手の連続選択動作の例を示した図である。係る連続選択動作中においてＣＰＵ１３は、第１の姿勢Ａにある手が初期位置Ｐ１と任意の位置Ｐ２と間を往復した時点でチャンネルを１チャンネル分順送りし、さらに、第１の姿勢Ａにある手が初期位置Ｐ１と任意の位置Ｐ３と間を往復した時点でチャンネルを１チャンネル分順送りする。
【００６４】
また、上記とは逆にＣＰＵ１３は、最初に確認した動作が逆送り動作であった後には、第１の姿勢Ａにある手が１往復移動する毎にチャンネルを１チャンネル分逆送りする。
【００６５】
また、ＣＰＵ１３は、上記の順送り動作及び逆送り動作とのいずれもが確認できなかったときには（ステップＳＢ１６：ＮＯ）、その時点では何もせずに、次回の撮影画像を取得した後に、上記と同様の処理を行う。
【００６６】
したがって、ユーザにおいては、第１の姿勢Ａにある手を左右に移動させれば、リモコンを使用することなく、テレビ受信機１から離れた場所でも表示チャンネルの選択（切り替え）を行うことができる。
【００６７】
一方、ＣＰＵ１３は、ステップＳＢ１０で認識した手の操作姿勢がチャンネル選択用ではなく、音量調整用として設定されている操作姿勢である間には（ステップＳＢ１２：ＮＯ）、以下の処理を繰り返す。なお、以下の説明においても、現在の視聴者により設定されている制御内容との手の操作姿勢との組合せが図４（ａ）に示した基本的な組合せであって、ステップＳＢ１０の処理で認識した手の操作姿勢が第２の姿勢Ｂであるものとする。
【００６８】
操作姿勢が音量調整用として設定されている操作姿勢である間、ＣＰＵ１３は、新たに取得した撮影画像内における手の位置（例えば画像内における手の中心位置）を逐次取得して内部メモリに記憶する（ステップＳＢ１８）。しかる後、ＣＰＵ１３は、それまでの手の位置の変化に基づいて、視聴者によって音量アップ、又は音量ダウンが指示されたか否かを確認する（ステップＳＢ１９、ステップＳＢ２１）。
【００６９】
すなわちＣＰＵ１３は、第２の姿勢Ｂにある手の位置が、図１３（ａ）に示したように、任意の初期位置Ｐ１から上方向へ所定の距離Ｌを移動する音量アップ動作が確認できたときには、音量アップが指示されたと判断する。またＣＰＵ１３は、第２の姿勢Ｂにある手の位置が、図１３（ｂ）に示したように、任意の初期位置Ｐ１から下方向へ所定の距離Ｌを移動する音量ダウン動作が確認できたときには、音量ダウンが指示されたと判断する。
【００７０】
そして、ＣＰＵ１３は、視聴者によって音量アップが指示されたと判断した（音量アップ動作が確認できた）ときには（ステップＳＢ１９：ＹＥＳ）、音量を１段階上げる（ステップＳＢ２０）。また、ＣＰＵ１３は、視聴者によって音量ダウンが指示されたと判断した（音量ダウン動作が確認できた）ときには（ステップＳＢ１９：ＮＯ、ステップＳＢ２１：ＹＥＳ）、音量を１段階下げる（ステップＳＢ２２）。
【００７１】
ただし、第２の姿勢Ｂにある手の音量アップ動作、又は音量ダウン動作が連続して行われる連続調整動作中、ステップＳＢ１９以降の処理に際してＣＰＵ１３は、以下の処理を行う。すなわち、ＣＰＵ１３は、最初に確認した動作が音量アップ動作であった後には、第２の姿勢Ｂにある手が、移動方向に関係なく所定の距離Ｌだけ移動する毎に音量を１段階上げる。
【００７２】
図１３（ｃ）は、最初の動作が音量アップ動作であった場合における第２の姿勢Ｂにある手の連続選択動作の例を示した図である。係る連続選択動作中においてＣＰＵ１３は、第２の姿勢Ｂにある手が初期位置Ｐ１から所定の距離Ｌ離れた位置Ｐ２に達した時点で音量を１段階上げ、さらに、第２の姿勢Ｂにある手が初期位置Ｐ１へ戻った時点で音量を１段階上げる。
【００７３】
また、上記とは逆にＣＰＵ１３は、最初に確認した動作が音量ダウン動作であった後には、第２の姿勢Ｂにある手が移動方向に関係なく所定の距離Ｌだけ移動する毎に音量を１段階下げる。
【００７４】
また、ＣＰＵ１３は、上記の音量アップ動作及び音量ダウン動作とのいずれもが確認できなかったときには（ステップＳＢ２１：ＮＯ）、その時点では何もせずに、次回の撮影画像を取得した後に、上記と同様の処理を行う。
【００７５】
したがって、ユーザにおいては、第２の姿勢Ｂにある手を上下に移動させれば、リモコンを使用することなく、テレビ受信機１から離れた場所でも音量調整を行うことができる。
【００７６】
なお、図には示さないが、現在の視聴者により設定されている制御内容との手の操作姿勢との組合せが基本的な組合せと逆である場合、つまり「チャンネル選択」に対応する操作姿勢として第２の姿勢Ｂが設定され、かつ「音量調整」に対応する操作姿勢として第１の姿勢Ａが設定されている場合、ＣＰＵ１３はステップＳＢ１２〜ステップＳＢ２２では以下の処理を行う。
【００７７】
すなわち、ＣＰＵ１３は、第２の姿勢Ｂにある手が任意の初期位置から上方向へ移動した後、任意の位置で反転して初期位置に戻る順送り動作を確認したときには、チャンネルの逆送りが指示されたと判断し（ステップＳＢ１４：ＹＥＳ）、チャンネルを１チャンネル分順送りする（ステップＳＢ１５）。また、ＣＰＵ１３は、第２の姿勢Ｂにある手が任意の初期位置から下方向へ移動した後、任意の位置で反転して初期位置に戻る順送り動作を確認したときには、チャンネルの逆送りが指示されたと判断し（ステップＳＢ１６：ＹＥＳ）、チャンネルを１チャンネル分逆送りする（ステップＳＢ１７）。
【００７８】
なお、ＣＰＵ１３は、第２の姿勢Ｂにある手の順送り動作、又は逆送り動作が連続して行われる連続選択動作中には、最初の動作が順送り動作であれば、第２の姿勢Ｂにある手が１往復移動する毎にチャンネルを１チャンネル分順送りする。逆に、最初の動作が逆送り動作であれば、ＣＰＵ１３は、第２の姿勢Ｂにある手が１往復移動する毎にチャンネルを１チャンネル分逆送りする。
【００７９】
さらに、ＣＰＵ１３は、第１の姿勢Ａにある手が任意の初期位置から右方向へ所定の距離を移動する音量アップ動作を確認したときには、音量アップが指示されたと判断し（ステップＳＢ１９：ＹＥＳ）、音量を１段階上げる（ステップＳＢ２０）。また、ＣＰＵ１３は、第１の姿勢Ａにある手が任意の初期位置から左方向へ所定の距離を移動する音量ダウン動作を確認したときには、音量ダウンが指示されたと判断し（ステップＳＢ２１：ＹＥＳ）、音量を１段階下げる。
【００８０】
なお、ＣＰＵ１３は、第１の姿勢Ａにある手の音量アップ動作、又は音量ダウン動作が連続して行われる連続調整動作中には、最初の動作が音量アップ動作であれば、第１の姿勢Ａにある手が所定の距離だけ移動する毎に音量を１段階上げる。逆に、最初の動作が音量ダウン動作であれば、ＣＰＵ１３は、第１の姿勢Ａにある手が所定の距離だけ移動する毎に音量を１段階下げる。
【００８１】
一方、ＣＰＵ１３は、上述したように第１の姿勢Ａ、又は第２の姿勢Ｂにある手の動作に応じてチャンネルや音量の制御を繰り返す間、新たに取得した撮影画像において手の操作姿勢（第１の姿勢Ａ、又は第２の姿勢Ｂ）が認識できなくなったら（ステップＳＢ１１：ＮＯ）、それまでに記憶していた手の位置を初期化（クリア）した後（ステップＳＢ２４）、いったん図８のステップＳＢ１の処理に戻る。以後、ＣＰＵ１３は、前述した処理を繰り返す。
【００８２】
以上説明したように本実施形態のテレビ受信機１においては、任意の放送を受信して間、ＣＰＵ１３が、視聴者が表示画面を見ていることを条件として、第１の姿勢Ａにある手の左右方向への移動、又は第２の姿勢Ｂにある手の上下方向への移動といった特定の動作を随時検出し、それが検出できたことをトリガとしてチャンネル（受信局）や音量を制御する。
【００８３】
そのため、テレビ受信機１においては、視聴者が表示画面を見ていないとき、たまたま第１の姿勢Ａや第２の姿勢Ｂにあるユーザの手が左右や上下に移動した場合であっても、チャンネルが変更されたり、音量が変化したりすることがない。つまりユーザの意図しない操作に応答した誤動作が生じる可能性がない。よって、ユーザによる意図的な遠隔操作のみを受け付けることができる。
【００８４】
また、本実施形態のテレビ受信機１においては、ＣＰＵ１３が、撮影画像から予め登録されているユーザの顔が認識できたことを条件として、チャンネル（受信局）や音量を制御する。したがって、より確実にユーザによる意図的な遠隔操作のみを受け付けることができる。
【００８５】
また、本実施形態のテレビ受信機１においては、ＣＰＵ１３が、視聴者が目を開けており、かつテレビ受信機１の表示画面に顔を向けていると判断できる場合に、視聴者が表示画面を見ていると最終的に判断する。したがって、視聴者が表示画面を見ている滋養対を正確に判断することができ、これによっても、より確実にユーザによる意図的な遠隔操作のみを受け付けることができる。
【００８６】
なお、本実施形態においては、ＣＰＵ１３が、視聴者が目を開けており、かつテレビ受信機１の表示画面に顔を向けていると判断できる場合に、視聴者が表示画面を見ていると最終的に判断する構成について説明した。しかし、本発明の実施に際しては、視聴者が表示画面を見ているか否かの判断を、視聴者がテレビ受信機１の表示画面に顔を向けているか否かのみに基づいて行う構成としてもよい。
【００８７】
また、本実施形態においては、視聴者がテレビ受信機１の表示画面に顔を向けているか否かの判断を、事前に登録されている視線基準データを用いて行う構成について説明したが、上記判断は事前に登録されている視線基準データを用いることなく行う構成としてもよい。例えば、視聴者を撮影した撮影画像を取得する毎に、図７に示した逆三角形Ｄの高さｂと、逆三角形Ｄの底辺の長さａとの比率ｃ（視線情報）を繰り返し取得するともに、随時取得する比率ｃのうちで最小の比率ｃを視線基準データとして随時更新し、係る視線基準データを用いる構成としてもよい。
【００８８】
なお、上記のように随時更新する視線基準データを用いて、視聴者がテレビ受信機１の表示画面に顔を向けているか否かを判断する場合、ＣＰＵ１３に、例えば事前に登録されていないユーザについても前述した手の動作（特定の動作）を検知し、それをトリガとしてチャンネル（受信局）や音量を制御させる構成としてもよい。
【００８９】
また、本実施形態においては、ＣＰＵ１３が撮影画像から検出する視聴者における特定の動作が、第１の姿勢Ａにある手の左右方向への移動、又は第２の姿勢Ｂにある手の上下方向への移動である場合について説明したが、撮影画像から検出する特定の動作は、予め決められている動作であれば他の動作に適宜変更することができる。
【００９０】
また、撮影画像から特定の動作を検出したことをトリガとしてＣＰＵ１３が制御する内容がチャンネルや音量である場合について説明したが、制御内容についても適宜変更することができる。
【００９１】
また、本実施形態においては、本発明をデジタルテレビ受信機に適用した場合について説明したが、本発明は、デジタルテレビ受信機に限らず、放送番組の記録に使用されるビデオレコーダーや、ラジオ放送を受信するラジオ受信機等の他の電気機器にも適用することができる。
【符号の説明】
【００９２】
１ テレビ
２ 本体
３ 表示パネル
４ 撮影レンズ
１１ アンテナ
１２ チューナ
１３ ＣＰＵ
１４ 映像デコーダ
１５ 音声デコーダ
１６ 表示装置
１７ 音声出力装置
１８ 内蔵カメラ
１９ 主記憶装置
２０ 補助記憶装置
２１ 操作キー部
２２ 信号処理回路
３１ 撮像素子
３２ 信号処理回路
【特許請求の範囲】
【請求項１】
遠隔操作機能を備えた電気機器において、
使用者を撮影する撮影手段と、
前記撮影手段により撮影された撮影画像に基づいて、使用者が機器本体を見ているか否かを判断する判断手段と、
前記撮影手段により撮影された撮影画像に基づいて、使用者における予め決められている特定の動作を検出する検出手段と、
前記判断手段により使用者が機器本体を見ていると判断されている条件下で、前記検出手段により使用者における前記特定の動作が検出されたことに応答し、前記特定の動作に対応した内容の制御処理を実行する制御手段と
を備えたことを特徴とする電気機器。
【請求項２】
前記制御手段が実行する前記特定の動作に対応した内容の制御処理には、受信局の切り替え制御が含まれることを特徴とする請求項１記載の電気機器。
【請求項３】
前記撮影手段により撮影された撮影画像を対象として、予め登録されている人物の顔を認識する顔認識手段を備え、
前記制御手段は、前記判断手段により使用者が機器本体を見ていると判断されており、かつ前記顔認識手段によって予め登録されている人物の顔が検出されていることを条件として、前記検出手段により使用者における前記特定の動作が検出されたことに応答し、前記特定の動作に対応した内容の制御処理を実行する
ことを特徴とする請求項１又は２記載の電気機器。
【請求項４】
前記判断手段は、前記顔認識手段により認識された予め登録されている人物の顔部分の画像から視線の方向を表す視線情報を取得し、取得した視線情報に基づいて使用者が機器本体を見ているか否かを判断する
ことを特徴とする請求項３記載の電気機器。
【請求項５】
前記判断手段は、前記撮影手段により撮影された撮影画像に基づいて使用者が目を開けているか否かを判断し、使用者が目を開けていると判断できるとき、前記顔部分の画像から前記視線情報を取得し、取得した視線情報に基づいて使用者が機器本体を見ているか否かを判断する
ことを特徴とする請求項４記載の電気機器。
【請求項６】
前記制御手段は、前記判断手段により使用者が機器本体を見ていると判断されている条件下で、前記検出手段により使用者における前記特定の動作が検出されたことに応答し、前記特定の動作に対応した内容の制御処理であって、前記予め登録されている人物によって事前に設定されている内容の制御処理を実行する
ことを特徴とする請求項５記載の電気機器。
【請求項７】
遠隔操作機能を備えた電気機器の制御方法であって、
使用者を撮影した撮影画像に基づいて、使用者が機器本体を見ているか否かを判断する工程と、
前記撮影画像に基づいて、使用者における予め決められている特定の動作を検出する工程と、
使用者が機器本体を見ていると判断した条件下で、前記撮影画像に基づいて前記特定の動作を検出した場合に、前記特定の動作に対応した内容の制御処理を実行する工程と
を含むことを特徴とする制御方法。
【請求項８】
遠隔操作機能を備えた電気機器が有するコンピュータを、
使用者を撮影した撮影画像に基づいて、使用者が機器本体を見ているか否かを判断する判断手段と、
前記撮影画像に基づいて、使用者における予め決められている特定の動作を検出する検出手段と、
前記判断手段により使用者が機器本体を見ていると判断されている条件下で、前記検出手段により使用者における前記特定の動作が検出されたことに応答し、前記特定の動作に対応した内容の制御処理を実行する制御手段と
して機能させることを特徴とするプログラム。
【請求項１】
遠隔操作機能を備えた電気機器において、
使用者を撮影する撮影手段と、
前記撮影手段により撮影された撮影画像に基づいて、使用者が機器本体を見ているか否かを判断する判断手段と、
前記撮影手段により撮影された撮影画像に基づいて、使用者における予め決められている特定の動作を検出する検出手段と、
前記判断手段により使用者が機器本体を見ていると判断されている条件下で、前記検出手段により使用者における前記特定の動作が検出されたことに応答し、前記特定の動作に対応した内容の制御処理を実行する制御手段と
を備えたことを特徴とする電気機器。
【請求項２】
前記制御手段が実行する前記特定の動作に対応した内容の制御処理には、受信局の切り替え制御が含まれることを特徴とする請求項１記載の電気機器。
【請求項３】
前記撮影手段により撮影された撮影画像を対象として、予め登録されている人物の顔を認識する顔認識手段を備え、
前記制御手段は、前記判断手段により使用者が機器本体を見ていると判断されており、かつ前記顔認識手段によって予め登録されている人物の顔が検出されていることを条件として、前記検出手段により使用者における前記特定の動作が検出されたことに応答し、前記特定の動作に対応した内容の制御処理を実行する
ことを特徴とする請求項１又は２記載の電気機器。
【請求項４】
前記判断手段は、前記顔認識手段により認識された予め登録されている人物の顔部分の画像から視線の方向を表す視線情報を取得し、取得した視線情報に基づいて使用者が機器本体を見ているか否かを判断する
ことを特徴とする請求項３記載の電気機器。
【請求項５】
前記判断手段は、前記撮影手段により撮影された撮影画像に基づいて使用者が目を開けているか否かを判断し、使用者が目を開けていると判断できるとき、前記顔部分の画像から前記視線情報を取得し、取得した視線情報に基づいて使用者が機器本体を見ているか否かを判断する
ことを特徴とする請求項４記載の電気機器。
【請求項６】
前記制御手段は、前記判断手段により使用者が機器本体を見ていると判断されている条件下で、前記検出手段により使用者における前記特定の動作が検出されたことに応答し、前記特定の動作に対応した内容の制御処理であって、前記予め登録されている人物によって事前に設定されている内容の制御処理を実行する
ことを特徴とする請求項５記載の電気機器。
【請求項７】
遠隔操作機能を備えた電気機器の制御方法であって、
使用者を撮影した撮影画像に基づいて、使用者が機器本体を見ているか否かを判断する工程と、
前記撮影画像に基づいて、使用者における予め決められている特定の動作を検出する工程と、
使用者が機器本体を見ていると判断した条件下で、前記撮影画像に基づいて前記特定の動作を検出した場合に、前記特定の動作に対応した内容の制御処理を実行する工程と
を含むことを特徴とする制御方法。
【請求項８】
遠隔操作機能を備えた電気機器が有するコンピュータを、
使用者を撮影した撮影画像に基づいて、使用者が機器本体を見ているか否かを判断する判断手段と、
前記撮影画像に基づいて、使用者における予め決められている特定の動作を検出する検出手段と、
前記判断手段により使用者が機器本体を見ていると判断されている条件下で、前記検出手段により使用者における前記特定の動作が検出されたことに応答し、前記特定の動作に対応した内容の制御処理を実行する制御手段と
して機能させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１１−２３２９６４（Ｐ２０１１−２３２９６４Ａ）
【公開日】平成２３年１１月１７日（２０１１．１１．１７）
【国際特許分類】
【出願番号】特願２０１０−１０２７８１（Ｐ２０１０−１０２７８１）
【出願日】平成２２年４月２８日（２０１０．４．２８）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
【公開日】平成２３年１１月１７日（２０１１．１１．１７）
【国際特許分類】
【出願日】平成２２年４月２８日（２０１０．４．２８）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
[ Back to top ]