リモコン装置及びプログラム
【課題】複数の機器を１台のリモコン装置で効率的に操作可能にするリモコン装置及びプログラム等の提供。
【解決手段】リモコン装置は、機器をリモコン操作するための操作画面であるリモコン操作画面を表示する表示部と、機器の認識処理を行う認識部と、機器をリモコン操作するためのリモコン処理を行うリモコン処理部を含む。リモコン処理部は、リモコン装置が第ｍの機器に対応する方向に向けられたと判断された場合には、第ｍの機器をリモコン操作するための第ｍのリモコン操作画面を表示部に表示する制御を行い、リモコン装置が第ｎの機器に対応する方向に向けられたと判断された場合には、第ｎの機器をリモコン操作するための第ｎのリモコン操作画面を表示部に表示する制御を行う。
【解決手段】リモコン装置は、機器をリモコン操作するための操作画面であるリモコン操作画面を表示する表示部と、機器の認識処理を行う認識部と、機器をリモコン操作するためのリモコン処理を行うリモコン処理部を含む。リモコン処理部は、リモコン装置が第ｍの機器に対応する方向に向けられたと判断された場合には、第ｍの機器をリモコン操作するための第ｍのリモコン操作画面を表示部に表示する制御を行い、リモコン装置が第ｎの機器に対応する方向に向けられたと判断された場合には、第ｎの機器をリモコン操作するための第ｎのリモコン操作画面を表示部に表示する制御を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、リモコン装置及びプログラム等に関する。
【背景技術】
【０００２】
ＴＶ、ＤＶＤプレーヤー等の機器をリモコン操作するリモコン装置としては、機器専用のリモコン装置、マルチリモコン装置、学習型マルチリモコン装置などがある。
【０００３】
ここで、機器専用のリモコン装置では、機器ごとにリモコン装置を取り替える必要があり、ユーザーにとって煩雑であるという課題がある。また、家庭内にある機器１台に対してリモコン装置１台が必要となり、リモコン装置の台数が増えてしまう。
【０００４】
マルチリモコン装置は、一般的にＴＶ用マルチリモコン装置、エアコン用マルチリモコン装置のように、同一製品分野でメーカーごとに異なる制御信号に対応したものである。しかしながら、このマルチリモコン装置においても、やはり、家庭内にある機器ごとにリモコン装置が必要になるという問題がある。また、予め操作対象機器のメーカー名、機種情報をリモコン装置に設定する必要があり、ユーザーにとって煩雑である。
【０００５】
学習型マルチリモコン装置では、前述の機器専用のリモコン装置から送信される赤外線信号を記憶させることで、複数の機器を一台のリモコン装置で操作可能になる。しかしながら、この学習型マルチリモコン装置では、複数の機器の全てのリモコン操作を記憶させる設定入力が、ユーザーにとって煩雑である。また、多くのリモコン操作をリモコン装置に記憶させるためには、リモコン装置本体の操作ボタン数が膨大になってしまう。その上、リモコン装置に搭載される操作ボタンの配列は固定であるため、各操作と操作ボタンの意味づけが分かりにくく、ユーザーにとって使いにくいという問題がある。
【０００６】
なお特許文献１には、カメラが搭載されるリモコン装置が開示されている。この特許文献１の従来技術では、機器側から発せられる光の点滅で機器を識別している。しかしながら、この従来技術では、リモコン操作の対象となる機器側に、赤外線ＬＥＤなどの情報伝達デバイスを設け、リモコン装置が、個々の個別情報を受け取って機器のリモコン操作を行う。このため、このような情報伝達デバイスを持たない既存の機器に対しては、この従来技術の手法を適用することが難しいという課題がある。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００７−２８０８７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明の幾つかの態様によれば、複数の機器を１台のリモコン装置で効率的に操作可能にするリモコン装置及びプログラム等を提供できる。
【課題を解決するための手段】
【０００９】
本発明の一態様は、機器をリモコン操作するための操作画面であるリモコン操作画面を表示する表示部と、機器の認識処理を行う認識部と、機器をリモコン操作するためのリモコン処理を行うリモコン処理部とを含み、前記リモコン処理部は、リモコン装置が、複数の機器のうちの第ｍの機器に対応する方向に向けられたと判断された場合には、前記第ｍの機器をリモコン操作するための第ｍのリモコン操作画面を、前記表示部に表示する制御を行い、リモコン装置が、前記複数の機器のうちの第ｎの機器（ｍ、ｎは自然数）に対応する方向に向けられたと判断された場合には、前記第ｎの機器をリモコン操作するための第ｎのリモコン操作画面を、前記表示部に表示する制御を行うリモコン装置に関係する。
【００１０】
本発明の一態様によれば、リモコン装置が、第ｍの機器に対応する方向に向けられたと判断されると、その第ｍの機器をリモコン操作するための第ｍのリモコン操作画面が表示部に表示される。一方、リモコン装置が、第ｍの機器とは異なる第ｎの機器に対応する方向に向けられたと判断された場合には、その第ｎの機器をリモコン操作するための第ｎのリモコン操作画面が表示部に表示される。従って、リモコン装置が向けられた方向に対応する機器のリモコン操作画面がリモコン装置の表示部に表示されるようになり、複数の機器を１台のリモコン装置で効率的に操作可能にするリモコン装置の提供が可能になる。
【００１１】
また本発明の一態様では、リモコン装置の動きを検出するモーションセンサーを含み、前記リモコン処理部は、前記複数の機器のうちの第ｉの機器がリモコン操作対象機器として選択された後、前記モーションセンサーからのセンサー情報に基づいてリモコン装置の動きが検出された場合には、前記第ｉの機器とは異なる第ｊの機器（ｉ、ｊは自然数）をリモコン操作対象機器として選択してもよい。
【００１２】
このようにすれば、モーションセンサーによりリモコン装置の動きを検出して、第ｉの機器の次の第ｊの機器を選択できるようになるため、ユーザーの意思等を反映させた機器の選択処理を実現できる。
【００１３】
また本発明の一態様では、前記リモコン処理部は、前記第ｉの機器がリモコン操作対象機器として選択された後、前記モーションセンサーからのセンサー情報に基づいてリモコン装置の動きが検出された場合に、リモコン装置が動かされた方向に対応する方向に存在する機器を、前記第ｊの機器として選択してもよい。
【００１４】
このようにすれば、リモコン装置が動かされた方向をモーションセンサーにより検出して、その方向に対応する機器を、第ｊの機器として選択できるようになり、モーションセンサーを有効活用した機器の選択処理を実現できる。
【００１５】
また本発明の一態様では、機器の配置情報を記憶する記憶部を含み、前記リモコン処理部は、前記モーションセンサーからのセンサー情報と、前記記憶部に記憶される前記配置情報に基づいて、前記第ｊの機器をリモコン操作対象機器として選択してもよい。
【００１６】
このようにすれば、モーションセンサーによりリモコン装置の動きを検出し、検出された動きと、記憶部に記憶される配置情報に基づいて、リモコン操作対象機器を選択できるようになり、より正確で適切な機器選択処理を実現できる。
【００１７】
また本発明の一態様では、前記記憶部は、機器の配置領域を分割した複数の区画領域の各区間領域に対して、前記各区画領域に配置される機器の機器情報が関連づけられた情報を、前記配置情報として記憶し、前記リモコン処理部は、前記複数の区画領域のうち、前記モーションセンサーからのセンサー情報に基づき特定された区画領域に関連づけられた機器を、前記第ｊの機器として選択してもよい。
【００１８】
このようにすれば、モーションセンサーにより配置情報の区画領域を特定して、機器を選択できるようになり、モーションセンサーと配置情報を連動させた効率的な機器選択処理を実現できる。
【００１９】
また本発明の一態様では、前記記憶部は、機器の識別情報と機器のリモコンコマンド情報を、前記機器情報として記憶してもよい。
【００２０】
このようにすれば、モーションセンサーにより区画領域を特定し、その区画領域に関連づけられた機器情報を読み出すことで、機器の識別情報や機器のリモコンコマンド情報を取得できるようになる。
【００２１】
また本発明の一態様では、前記リモコン処理部は、前記第ｊの機器がリモコン操作対象機器として選択された後、前記モーションセンサーからのセンサー情報に基づいてリモコン装置の動きが検出された場合には、前記第ｊの機器とは異なる第ｋの機器（ｋは自然数）をリモコン操作対象機器として選択してもよい。
【００２２】
このようにすれば、例えば第ｊの機器がユーザーが所望する機器ではなく、ユーザーがリモコン装置を動かすと、モーションセンサーによりその動きを検出して、次の第ｋの機器を選択できるようになり、ユーザーの意思を反映させた機器選択処理を実現できる。
【００２３】
また本発明の一態様では、前記リモコン処理部は、基準機器選択モードにおいて、前記第ｉの機器を、操作対象機器の選択基準となる基準機器として選択してもよい。
【００２４】
このようにすれば、まず第ｉの機器を基準機器として選択し、この基準機器を基準として他の機器を選択できるようになり、効率的な機器選択処理を実現できる。
【００２５】
また本発明の一態様では、前記リモコン処理部は、リモコン装置がスリープモードであるときに、前記モーションセンサーからのセンサー情報に基づいてリモコン装置の動きが検出された場合に、動作モードを前記スリープモードから前記基準機器選択モードに移行させて、前記基準機器の選択を行ってもよい。
【００２６】
このようにすれば、例えばリモコン装置が静止状態である場合には、リモコン装置をスリープモードに設定し、静止状態からリモコン装置が動かされると、その動きをモーションセンサーにより検出して、基準機器選択モードに移行できるようになる。
【００２７】
また本発明の一態様では、機器を撮像する撮像部を含み、前記認識部は、前記撮像部からの撮像画像に対して画像認識処理を行うことで、機器の認識処理を行い、前記リモコン処理部は、前記画像認識処理の結果に基づいて、前記第ｉの機器を選択してもよい。
【００２８】
このようにすれば、モーションセンサーが相対的な動きしか検出できない場合にも、撮像画像に基づいて機器の画像認識処理を行うことで、第ｉの機器を選択できるようになる。
【００２９】
また本発明の一態様では、前記リモコン処理部は、前記モーションセンサーからのセンサー情報に基づいて、前記第ｉの機器を選択してもよい。
【００３０】
このようにすれば、モーションセンサーだけを用いて機器を選択できるようになり、処理の効率化等を図れる。
【００３１】
また本発明の一態様では、前記表示部は、前記複数の機器に対応する複数のアイコン画像又は前記複数の機器の複数の機器画像を表示し、前記リモコン処理部は、前記複数のアイコン画像又は前記複数の機器画像の中からユーザーにより選択されたアイコン画像又は機器画像に対応する機器を、前記第ｉの機器として選択してもよい。
【００３２】
このようにすれば、ユーザーが、表示部に表示されたアイコン画像又は機器画像を選択することで、それに対応する機器が選択されるようになり、処理負荷の少ない機器選択処理を実現できる。
【００３３】
また本発明の一態様では、機器を撮像する撮像部を含み、前記認識部は、前記撮像部からの撮像画像に対して画像認識処理を行うことで、機器の認識処理を行い、前記リモコン処理部は、前記画像認識処理の結果に基づいて、リモコン装置が前記第ｍの機器に対応する方向に向けられたと判断された場合には、前記第ｍのリモコン操作画面を前記表示部に表示する制御を行い、前記画像認識処理の結果に基づいて、リモコン装置が前記第ｎの機器に対応する方向に向けられたと判断された場合には、前記第ｎのリモコン操作画面を前記表示部に表示する制御を行ってもよい。
【００３４】
このようにすれば、画像認識処理だけを用いて、リモコン装置が向いた方向に対応する機器を選択して、選択された機器のリモコン操作画面を表示部に表示することが可能になる。
【００３５】
また本発明の他の態様は、機器の認識処理を行う認識部と、機器をリモコン操作するためのリモコン処理を行うリモコン処理部として、コンピューターを機能させ、前記リモコン処理部は、リモコン装置が、複数の機器のうちの第ｍの機器に対応する方向に向けられたと判断された場合には、前記第ｍの機器をリモコン操作するための第ｍのリモコン操作画面を、表示部に表示する制御を行い、リモコン装置が、前記複数の機器のうちの第ｎの機器（ｍ、ｎは自然数）に対応する方向に向けられたと判断された場合には、前記第ｎの機器をリモコン操作するための第ｎのリモコン操作画面を、前記表示部に表示する制御を行うプログラムに関する。
【図面の簡単な説明】
【００３６】
【図１】図１（Ａ）〜図１（Ｃ）は本実施形態のリモコン装置の外観図。
【図２】本実施形態のリモコン装置の構成例を示すブロック図。
【図３】本実施形態の手法の説明図。
【図４】図４（Ａ）、図４（Ｂ）はスリープモード、基準機器選択モードの説明図。
【図５】図５（Ａ）〜図５（Ｃ）はモーションセンサーを用いた機器選択手法の説明図。
【図６】図６（Ａ）〜図６（Ｃ）はモーションセンサーを用いた機器選択において表示部に表示される画面の例。
【図７】本実施形態で使用される機器の配置情報の例。
【図８】図８（Ａ）、図８（Ｂ）は基準機器を用いたユーザーの位置の特定手法の説明図。
【図９】図９（Ａ）はリモコンデータベースのデータ構造の例であり、図９（Ｂ）はリモコンデータベースへの登録情報の登録手法の説明図。
【図１０】図１０（Ａ）、図１０（Ｂ）は画像認識処理により機器を認識する手法の説明図。
【図１１】図１１（Ａ）〜図１１（Ｄ）は基準機器の選択手法の説明図。
【図１２】図１２（Ａ）、図１２（Ｂ）は機器選択画面により基準機器を選択する手法の説明図。
【図１３】本実施形態の詳細な動作を説明するためのフローチャート。
【発明を実施するための形態】
【００３７】
以下、本発明の好適な実施の形態について詳細に説明する。なお以下に説明する本実施形態は特許請求の範囲に記載された本発明の内容を不当に限定するものではなく、本実施形態で説明される構成の全てが本発明の解決手段として必須であるとは限らない。
【００３８】
１．構成例
図１（Ａ）〜図１（Ｃ）に本実施形態のリモコン装置（リモートコントロール装置）の外観構成図を示す。図１（Ｂ）、図１（Ｃ）は、各々、図１（Ａ）のＡ１方向、Ａ２方向から見た側面図である。図１（Ａ）〜図１（Ｃ）に示すように本実施形態のリモコン装置には、撮像部１０（カメラ）、モーションセンサー２０、表示部３０、赤外線発光部４０が設けられている。具体的には、図１（Ｃ）に示すように撮像部１０、赤外線発光部４０は、リモコン装置の上部側面に設けられる。またモーションセンサー２０は、リモコン装置の内部に設けられる。表示部３０はリモコン装置の操作側の面に設けられる。
【００３９】
図２に本実施形態のリモコン装置の詳細な構成ブロック図を示す。リモコン装置は撮像部１０、モーションセンサー２０、操作部２８、表示部３０、赤外線発光部４０、記憶部５０、情報記憶媒体６０、外部Ｉ／Ｆ（インターフェース）部６２、処理部１００を含む。なお、本実施形態のリモコン装置は図２の構成には限定されず、これらの構成要素の一部を省略したり、他の構成要素を追加する等の種々の変形実施が可能である。
【００４０】
撮像部１０は、機器等を撮像するものであり、光学系１２や撮像素子１４を含む。光学系１２はレンズ等により実現され、撮像素子１４はＣＭＯＳセンサーやＣＣＤセンサーなどによる実現される。
【００４１】
モーションセンサー２０は、リモコン装置の動きを検出するデバイスであり、例えば加速度センサー２２、ジャイロセンサー２４（角速度センサー）を含む。
【００４２】
加速度センサー２２としては、梁構造で支えられた可動部での位置変化を静電容量の変化として検出する静電容量型のセンサーや、ダイヤフラムの位置変化をピエゾ抵抗素子によって検出するピエゾ抵抗型のセンサーや、ガス温度分布型のセンサーなどを採用できる。ジャイロセンサー２４としては、振動子が回転することによるコリオリ力から角速度を検出する振動型などの角速度センサーや、静電容量の変化や慣性力の変化から角加速度を検出する角加速度センサーなどを採用できる。
【００４３】
加速度センサー２２を用いることで、Ｘ軸、Ｙ軸、Ｚ軸方向でのリモコン装置の動きの加速度を検出できる。ジャイロセンサー２４を用いることで、例えばＸ軸回り、Ｙ軸回りでのリモコン装置の動きの角速度を検出できる。なおＸ軸は例えば図１（Ａ）のリモコン装置の左右方向に沿った座標軸であり、Ｚ軸は例えばリモコン装置の上下方向に沿った座標軸であり、Ｙ軸はＸ軸及びＺ軸に直交する座標軸である。なおジャイロセンサー２４はＺ軸回りでの角速度も検出できる３軸ジャイロセンサーであってもよい。
【００４４】
操作部２８は、ユーザーがリモコン装置の操作情報を入力するためのものであり、例えば操作ボタンや電源ボタンなどにより実現できる。
【００４５】
表示部３０は各種の画像を表示するためのものであり、例えばＬＣＤや有機ＥＬディスプレイなどにより実現される。例えば本実施形態では表示部３０は、機器をリモコン操作するための操作画面であるリモコン操作画面を表示する。
【００４６】
表示部３０は、例えばタッチパネルディスプレイにより実現することが望ましい。タッチパネルディスプレイとしては、例えば抵抗膜方式、静電容量方式、電磁誘導方式などの種々の方式のものを採用できる。なお、表示部３０としてタッチパネルディスプレイを用いた場合には、操作部２８の一部又は全部の機能はこのタッチパネルディスプレイにより実現されることになる。
【００４７】
赤外線発光部４０（リモコン信号出力部）は、赤外線によりリモコン信号を機器に出力するものであり、例えば赤外線発光ダイオード（ＬＥＤ）により実現される。例えば機器を操作するためのリモコン信号は、赤外線の点灯時間と消灯時間の長さの組み合わせによりビット値が表されるパルス位相変調信号（ＰＰＭ信号）等により実現できる。この場合に、自然放射されている赤外線とリモコン装置の赤外線を区別するために、赤外線発光部４０は特定のキャリア周波数（例えば３８〜４２ＫＨｚ）で変調した赤外線を発光する。
【００４８】
記憶部５０は、リモコン装置の動作等に必要な種々の情報を記憶するものであり、例えばＲＡＭ等の半導体メモリーにより実現される。本実施形態では記憶部５０は後述する登録情報や配置情報を記憶する。
【００４９】
情報記憶媒体６０は、例えばメモリーカードなどの各種のメモリーメディアにより実現されるものであり、例えばリモコン装置からの脱着や装着が自在となっている。本実施形態の各部をコンピューターとして実現するためのプログラムは、この情報記憶媒体６０に記憶される。
【００５０】
外部Ｉ／Ｆ部６２は、外部（外部デバイス）と情報を通信するためのインターフェース処理を行うものである。外部との情報通信は有線、無線を問わない。
【００５１】
処理部１００は、リモコン装置の動作に必要な各種の処理を行うものである。この処理部１００の機能は、各種プロセッサー（ＣＰＵ等）、ＡＳＩＣ（ゲートアレイ等）などのハードウェアや、プログラムにより実現できる。例えば処理部１００は、情報記憶媒体６０に格納されるプログラムに基づいて本実施形態の種々の処理を行う。即ち情報記憶媒体６０には、本実施形態の各部としてコンピューター（操作部、処理部、記憶部、出力部を備える装置）を機能させるためのプログラム（各部の処理をコンピューターに実行させるためのプログラム）が記憶される。
【００５２】
なお本実施形態のリモコン装置は専用のリモコン装置である必要はなく、例えば携帯電話機等の携帯型情報端末をリモコン装置として機能させてもよい。この場合には、本実施形態の各部を実行させるためのプログラムを携帯型情報端末において実行することで、携帯型情報端末をリモコン装置として機能させることができる。
【００５３】
処理部１００は、認識部１１０、センサー情報取得部１２０、リモコン処理部１３０を含む。なお、これらの構成要素の一部を省略したり、他の構成要素を追加する等の種々の変形実施が可能である。
【００５４】
認識部（特定部）１１０は機器の認識処理（特定処理）を行う。例えば機器の形状認識処理やマーカー認識処理などの認識処理を行う。形状認識処理は形状認識部１１２が行い、マーカー認識処理はマーカー認識部１１４が行う。これらの認識処理の詳細については後述する。
【００５５】
センサー情報取得部１２０は、モーションセンサー２０からのセンサー情報（加速度情報、角速度情報、角加速度情報等）を取得する。そして例えばセンサー情報の検出処理やセンサー情報に基づく演算処理などの種々の処理を行う。
【００５６】
リモコン処理部１３０は、機器をリモコン操作するためのリモコン処理を行う。リモコン処理部１３０は、機器選択部１３２、リモコン信号生成部１３４、表示制御部１３６、通信処理部１３８を含む。機器選択部１３２は、リモコン操作対象機器の選択処理を行う。リモコン信号生成部１３４は、リモコン操作対象機器をリモコン操作するためのリモコン信号生成用情報の生成処理を行う。そして赤外線発光部４０は、このリモコン信号生成用情報に基づいて、赤外線によるリモコン信号を生成して機器に送信する。なおリモコン信号生成用情報をネットワークを介してリモコン操作対象機器に送信してもよい。表示制御部１３６は表示部３０の表示制御を行う。具体的には、リモコン操作対象機器をリモコン操作するためのリモコン操作画面を表示部３０に表示する制御を行う。通信処理部１３８は、例えば外部Ｉ／Ｆ部６２を介して外部（外部デバイス）との間で各種の情報を通信する処理を行う。なおリモコン処理部１３０の処理の詳細については後述する。
【００５７】
２．本実施形態の手法
さて、様々な機器をリモコン操作するリモコン機能を一台のリモコン装置に集約させる多機能リモコン装置については、従来より知られている。このようなリモコン装置では、ハードウェア（物理層）の違いの解消や、操作対象機器ごとの操作コマンドや制御データの違いの解消や、複数の操作対象機器の制御データの保存及び呼び出し機能を設けるなどの対応が必要になる。これらの対応を行えば、家庭内で必要なリモコン機能を一台のリモコン装置にまとめることが可能になる。
【００５８】
しかしながら、多機能リモコン装置によりこのような対応を実現するためには、複数の操作対象機器に関してリモコン装置の物理的相性を合わせ込むことが必要になる。また１つにまとめたいリモコン機能を、多機能リモコン装置に学習させる必要がある。また、多機能リモコン装置側で操作対象機器を選択し、操作キーに機能を割り当てて、目的の操作対象機器をリモコン操作するというような煩雑な操作が必要になる。従って、リモコン操作を行う際に、多くの制約をユーザーに強いる結果となってしまう。
【００５９】
そこで本実施形態では、このような煩雑な操作を省き、ユーザーが直感的に使用できるように、操作対象機器をリモコン装置が選択・提示して、ユーザーの利便性を向上できるようにする。
【００６０】
具体的には本実施形態では、複数の機器（電子機器）を一台のリモコン装置で遠隔操作できるようにする。これにより、操作対象となる機器ごとにリモコン装置を取り替える必要が無くなり、ユーザーの利便性を向上できる。
【００６１】
そして本実施形態では、操作対象機器を画像認識などにより自動認識し、機器に合致したリモコンコード（リモコン信号）の自動設定を行う。このようにすれば、複雑な初期設定や機能切換の操作が不要となり、ユーザーの利便性を更に向上できる。また、操作対象機器側に新たな機能を付加をすることが不要であるため、既に発売されている既存の機器にも対応が可能となり、機器側のコストアップも抑制できる。
【００６２】
また本実施形態では、カメラ（撮像部）で取得した撮像画像により操作対象機器を特定し、操作対象機器のリモコン操作画面を、タッチパネルディスプレイで実現される表示部に表示する。これにより、最適な操作ボタン数と、操作機能とが関連づけされた判りやすい操作インターフェース環境をユーザーに提供できる。
【００６３】
具体的には、リモコン装置に対して、既存の機器のリモコン操作機能を可能な限り搭載しておく。そして新規分については、２次元バーコードなどの識別マーカーや、有線・無線の通信や、メモリーメディアなどを用いて登録・呼び出し可能にする。また、搭載されるカメラや、ジャイロセンサー、加速度センサーなどのモーションセンサーにより、リモコン装置の現在位置からユーザーが使用することを所望する操作対象機器を、リモコン装置と操作対象機器を関連づけた配置情報（マトリックス情報）により類推選択・提示し、ユーザーの選択の利便性を向上する。
【００６４】
また、類推選択した操作対象機器がユーザーの望むものではない場合には、例えばリモコン装置を上下左右に振るというジェスチャー動作により、目的の操作対象機器を簡単に選択できるようにする。
【００６５】
なお、搭載カメラは、２次元バーコードなどの識別マーカーの読み込みと、リモコン装置の位置情報を得るために使用する。また加速度センサーは、重力方向と移動方向、上下左右の振りを検出するために使用する。ジャイロセンサーは、搭載カメラで認識された位置からの上下左右の振り角度を求めるために使用する。メモリーメディアは、リモコン装置に登録された登録情報や配置情報等を、ＰＣ（パソコン）上で簡単に登録・移動・削除ができるようにするために使用する。
【００６６】
次に図３〜図６（Ｃ）を用いて本実施形態の手法について更に詳細に説明する。図３に示すように本実施形態では、リモコン装置ＲＭを機器に向けると、その機器のリモコン操作画面が表示部３０に表示される。
【００６７】
具体的には図２のリモコン処理部１３０（表示制御部１３６）は、リモコン装置ＲＭが、複数の機器のうちの第ｍの機器（例えば機器ＥＤ１）に対応する方向に向けられたと判断された場合には、第ｍの機器をリモコン操作するための第ｍのリモコン操作画面（機器ＥＤ１のリモコン操作画面）を、表示部３０に表示する制御を行う。一方、リモコン装置ＲＭが、複数の機器のうちの第ｎの機器（例えば機器ＥＤ２。なおｍ、ｎは自然数）に対応する方向に向けられたと判断された場合には、第ｎの機器をリモコン操作するための第ｎのリモコン操作画面（機器ＥＤ２のリモコン操作画面）を、表示部３０に表示する制御を行う。
【００６８】
例えば図３において、ＴＶである機器ＥＤ１の方にリモコン装置ＲＭが向けられると、ＴＶ用の操作アイコン（操作ボタンのアイコン）が表示されたＴＶ用のリモコン操作画面が表示部３０に表示される。またＤＶＤプレーヤーである機器ＥＤ２の方にリモコン装置ＲＭが向けられると、ＤＶＤプレーヤー用の操作アイコン等が表示されたＤＶＤプレーヤー用のリモコン操作画面が表示部３０に表示される。エアコンである機器ＥＤ３や照明器具である機器ＥＤ４に対してリモコン装置ＲＭが向けられた場合も同様である。
【００６９】
そして表示部３０は例えばタッチパネルディスプレイにより構成される。従って、例えば図３に示すようにユーザーがリモコン装置ＲＭを機器ＥＤ１（ＴＶ）の方に向け、リモコン操作画面に表示される機器ＥＤ１用の操作アイコンにタッチすると、その操作アイコンに対応するリモコン信号が生成されて機器ＥＤ１に送信される。同様にユーザーがリモコン装置ＲＭを機器ＥＤ２（ＤＶＤプレーヤー）の方に向け、リモコン操作画面に表示される機器ＥＤ２用の操作アイコンにタッチすると、その操作アイコンに対応するリモコン信号が生成されて機器ＥＤ２に送信される。機器ＥＤ３、ＥＤ４についても同様である。
【００７０】
従って、ユーザーは、一台のリモコン装置ＲＭを用いて複数の機器ＥＤ１〜ＥＤ４を効率的にリモコン操作できるようになる。また、操作対象機器の選択処理は、ユーザーが所望する機器にリモコン装置を向けるだけで自動的に行われるため、従来の多機能リモコン装置に比べてユーザーの利便性を格段に向上できる。
【００７１】
また本実施形態では図２に示すように、リモコン装置ＲＭにモーションセンサー２０を内蔵させている。そして図４（Ａ）に示すようにリモコン装置ＲＭは、電池寿命を長くするために、静止状態（動かされずに配置されている状態）ではスリープモードに設定される。そして図４（Ｂ）に示すように、例えば加速度センサー２２により、リモコン装置がユーザーの手に取られたことが感知されると、スリープモードが解除される。これにより、撮像部１０、認識部１１０、リモコン処理部１３０などが起動し、システムが通常動作モードに移行する。そして、その後、撮像部１０からの撮像画像やモーションセンサー２０からのセンサー情報に基づいて、リモコン操作対象機器の選択処理が行われる。
【００７２】
具体的には、リモコン装置ＲＭがスリープモードであるときに、モーションセンサー２０からのセンサー情報に基づいてリモコン装置の動きが検出された場合に、リモコン処理部１３０は、動作モードをスリープモードから基準機器選択モードに移行させて、基準機器の選択を行う。リモコン処理部１３０は、後に詳述するように、この基準機器選択モードにおいて、第ｉの機器（例えば機器ＥＤ１）を、操作対象機器の選択基準となる基準機器（配置情報における配置の基準となる機器）として選択する。
【００７３】
次に図５（Ａ）〜図５（Ｃ）に示すように、リモコン処理部１３０はモーションセンサー２０からのセンサー情報に基づいてリモコン操作対象機器の選択処理を行う。
【００７４】
例えば複数の機器のうちの第ｉの機器がリモコン操作対象機器として選択された後、モーションセンサー２０からのセンサー情報に基づいてリモコン装置ＲＭの動きが検出されたとする。例えば図５（Ａ）では、第ｉの機器である機器ＥＤ１が選択された後、図５（Ｂ）に示すようにモーションセンサー２０によりリモコン装置ＲＭの動きが検出されている。
【００７５】
この場合にはリモコン処理部１３０は、第ｉの機器とは異なる第ｊの機器（ｉ、ｊは自然数）を、リモコン操作対象機器として選択する。具体的には、リモコン装置ＲＭが動かされた方向に対応する方向に存在する機器を、第ｊの機器として選択する。例えば図５（Ｂ）では、リモコン装置ＲＭが右方向に動かされたことがモーションセンサー２０により検出されたため、右方向に対応する方向に存在する機器ＥＤ２が、第ｊの機器として選択される。これにより、図３で説明したように、第ｊの機器用の第ｊのリモコン操作画面を表示部３０に表示できるようになる。例えば第ｉの機器がＴＶであり、第ｊの機器がＤＶＤプレーヤーである場合には、図５（Ａ）ではＴＶ用のリモコン操作画面が表示され、図５（Ｂ）ではＤＶＤプレーヤー用のリモコン操作画面が表示される。
【００７６】
この場合に、図２の記憶部５０は機器の配置情報を記憶している。そしてリモコン処理部１３０は、モーションセンサー２０からのセンサー情報と、記憶部５０に記憶される配置情報に基づいて、第ｊの機器（機器ＥＤ２）をリモコン操作対象機器として選択する。
【００７７】
具体的には記憶部５０は、後述するマトリックス化された配置情報のように、機器の配置領域を分割した複数の区画領域の各区間領域に対して、各区画領域に配置される機器の機器情報が関連づけられた情報を、配置情報として記憶する。そしてリモコン処理部１３０は、複数の区画領域のうち、モーションセンサー２０からのセンサー情報に基づき特定された区画領域に関連づけられた機器を、第ｊの機器として選択する。
【００７８】
更に記憶部５０は、機器の識別情報と機器のリモコンコマンド情報を、機器情報として記憶する。ここで機器の識別情報は機種名やメーカー名などの機器を識別・特定するための情報である。またリモコンコマンド情報は、機器のリモコン操作処理のために必要なコマンド情報であり、機器に対してコマンドを送信するリモコン信号を生成するために使用される情報である。
【００７９】
また、第ｊの機器がリモコン操作対象機器として選択された後、モーションセンサー２０からのセンサー情報に基づいてリモコン装置の動きが検出されたとする。この場合にはリモコン処理部１３０は、第ｊの機器とは異なる第ｋの機器（ｋは自然数）を、リモコン操作対象機器として選択する。
【００８０】
例えば図５（Ｃ）では、第ｊの機器である機器ＥＤ２が選択された後、モーションセンサーによりリモコン装置ＲＭの動きが検出されたため、第ｋの機器である機器ＥＤ３が選択される。そして図３で説明したように、第ｋの機器用の第ｋのリモコン操作画面が表示部３０に表示される。例えば第ｋの機器がエアコンである場合には、図５（Ｃ）ではエアコン用のリモコン操作画面が表示される。
【００８１】
図６（Ａ）〜図６（Ｃ）は、機器の選択状態をユーザーに知らせる機器選択画面の例である。例えば図５（Ａ）のように機器ＥＤ１が操作対象機器（基準機器）として選択された場合には、図６（Ａ）に示すように、機器ＥＤ１が選択状態（選択候補）であることをユーザーに知らせる機器選択画面が表示部３０に表示される。また図５（Ｂ）のように機器ＥＤ２が操作対象機器として選択された場合には、図６（Ｂ）に示すように、機器ＥＤ２が選択状態であることをユーザーに知らせる機器選択画面が表示される。また図５（Ｃ）のように機器ＥＤ３が操作対象機器として選択された場合には、図６（Ｃ）に示すように、機器ＥＤ３が選択状態であることをユーザーに知らせる機器選択画面が表示される。このようにすれば、ユーザーは、画像認識処理やリモコン装置の動き検出により、複数の機器のうちのどの機器が選択されているのかを、図６（Ａ）〜図６（Ｃ）の機器選択画面で確認できるようになり、ユーザーの利便性を向上できる。
【００８２】
以上のように本実施形態では、例えば画像認識処理により基準機器となる機器ＥＤ１（第ｉの機器）が選択された後は、ユーザーがリモコン装置ＲＭを動かすことで、機器ＥＤ２、ＥＤ３が選択されるようになる。
【００８３】
例えば撮像部１０の撮像画像内に複数の機器が映っている場合に、ユーザーがどの機器を選択しているのかを、画像認識処理だけで判別するのは難しい。この点、図５（Ａ）〜図６（Ｃ）では、ユーザーがリモコン装置ＲＭを動かすことで、動かした方向に対応する機器が順次選択されるようになる。従って、画像認識処理により基準機器が選択された後は、ユーザーの意思が反映されたリモコン装置ＲＭの動きをモーションセンサー２０により検出して、最終的な操作対象機器を選択できるようになる。従って、全ての機器選択を画像認識処理だけで実現する手法に比べて、少ない処理負荷で機器選択処理を実現することが可能になる。
【００８４】
３．具体的な処理例
次に本実施形態の具体的な処理例について説明する。まず、リモコン装置の操作コマンド・データなどの登録情報の登録手法と、リモコン装置の操作対象機器の選択・提示手法とジェスチャー動作対応について、順に説明する。なお、前述の物理層の差異解消については、キャリア周波数や赤外線波長が異なる場合があり得るため、必要に応じて複数の赤外ＬＥＤを準備することで、これに対応できる。或いは、これらを取り付けオプションとすることも可能である。
【００８５】
リモコン装置の操作コマンドやデータなどの登録情報の登録手法については、メモリーメディア経由で入手した機種名（広義には機器の識別情報）やコマンド体系情報（広義にはリモコンコマンド情報）を、マトリックス化された配置情報（マトリックス情報）として登録する。
【００８６】
マトリックス化された配置情報は、リモコン装置の基準点の位置に基づいて、リモコン操作対象機器の上下左右配置位置をマトリックス管理した情報である。機種名やコマンド体系情報は、リモコン装置の撮像部による２次元バーコード（識別マーカー）の読み込みなどにより入手する。
【００８７】
即ち本実施形態のリモコン装置は、機種名とコマンド体系情報（操作情報）とがリモコンデータベースとして登録される。リモコン装置の居室での位置を使用時に認識することにより、リモコン操作対象機器のそれぞれの機器配置情報をマトリックス化された配置情報として登録しておく。
【００８８】
例えば図７にマトリックス化された配置情報の例を示す。配置情報は、居室が４角形であることを前提として、前面、右側面、背面、左側面、上面、下面が設定される。前面は、基準機器が配置される基準面である。上面及び下面に対しては、リモコン装置の上下の振りによって、前面、右側面、背面、左側面のどの４面に向いていても選択可能にする。１つの面における区画領域数は図７では３×３になっている。但し、５×５等やそれ以上であっても構わない。
【００８９】
前面である基準面の中央に、基準機器を設定する。図７では機器ＥＤ１が基準機器になる。例えば図７では、前面には、機器ＥＤ１の他に機器ＥＤ２、ＥＤ３が配置されている。また左側面には機器ＥＤ４、ＥＤ５が配置されている。同様に右側面、背面、上面、下面にも機器ＥＤ６〜ＥＤ１０が配置されている。そして、これらのＥＤ１〜ＥＤ１０の各機器の区画領域にはその機器情報が関連づけられる。
【００９０】
居室のほぼ中心から１．５ｍ程度離れた位置から基準機器の選択を行うことで、リモコン装置の現在位置や向きを限定する。以降のリモコン操作対象機器の選択は、リモコン装置の上下左右の振りを、加速度センサーやジャイロセンサーから読み取り、図７の配置情報と比較して、最近傍の機器を選択・提示するようにする。
【００９１】
リモコン装置のリモコン操作対象機器の選択・提示手法とユーザーのジェスチャー動作の対応については、以下の通りである。例えば撮像部となるカメラは１０万画素以上のモノクロ或いはカラーカメラにより実現される。そして撮像画像に対して画像処理を行い、基準点を検出する。例えば基準機器の形状認識等の画像認識処理を行って、基準機器が配置される基準点を検出する。
【００９２】
そして検出された基準点と、リモコン装置に内蔵されている３軸加速度センサーと、２軸ジャイロセンサーにより基準点からの相対位置を演算し、身近にあるリモコン操作対象機器を１個又は数個に限定する。
【００９３】
ユーザーによって向きを変えたリモコン装置の表示部３０に、上述のように限定されたリモコン操作対象の機器のうち、ユーザーが示していると思われる可能性の最も高いものを、図６（Ａ）〜図６（Ｃ）に示すように表示する。そのままユーザーがリモコン操作入力を行えば、選択された機器はユーザーが操作したい機器であると考えられる。
【００９４】
もし、選択された機器が、ユーザーが操作したい機器とは異なる場合には、現在選択されている機器の上下左右のいずれかにリモコン操作対象機器が存在するはずである。従って、上下左右方向にリモコン装置を振るというユーザーのジェスチャー動作を、モーションセンサーで検出することで、最終的なリモコン操作対象機器を特定する。
【００９５】
撮像部からの撮像画像に対して画像認識処理を行うことで、複数の機器が配置されている部屋の基準となる壁面から１．５ｍ程度離れた位置から、基準となる矩形を検出する。この矩形が操作対象機器の相対位置を決める基準点となる。そして撮像部の撮像時における基準となる矩形の変形度合いにより、部屋の中でのリモコン装置の位置を特定可能である。
【００９６】
例えば図８（Ａ）においてＥＤ１〜ＥＤ８は部屋に配置される機器である。また顔マークはユーザーの位置を表している。Ｂ１に示す中央の顔マークは、基準点を設定する場合の位置を示し、基準機器を機器ＥＤ１とした場合、壁面から約１．５ｍ位置において機器ＥＤ１をほぼ中央に撮影する。
【００９７】
リモコン装置の操作者であるユーザーが、図８（Ａ）に示す顔マークの位置の何処でリモコン装置を操作するかは限定できないため、ユーザーの現在位置から、基準機器ＥＤ１（基準位置）を最初に指定する。
【００９８】
例えば図８（Ａ）のＢ１に示す顔マークの位置にユーザーが居た場合には、基準機器ＥＤ１は図８（Ｂ）のＣ１に示すような矩形に見える。一方、Ｂ２に示す顔マークの位置にユーザーが居た場合には、基準機器ＥＤ１はＣ２に示すような矩形に見える。従って、基準機器ＥＤ１の矩形の形状により、ユーザーの位置を特定できる。そして、基準点が特定できれば、基準点に基づいて各操作対象機器の相対位置が特定できるので、ユーザーがリモコン装置を向けている方向等をモーションセンサーにより検出することで、操作対象機器を推定できる。
【００９９】
以上のように本実施形態の多機能リモコン装置では、まず最初に、使用する居室において基準点を特定する。そして、前面の上下左右方向にどのような操作対象機器が配置されているかをリモコン装置に登録する。例えば図７では機器ＥＤ１、ＥＤ２、ＥＤ３が前面に配置される機器として登録される。登録にはリモコン装置のタッチパネルディスプレイやキーパッドを活用する。或いはメモリーメディアを使用して、ＰＣ上で編集し登録することも可能である。同様の方法で、残りの５面（右側面・背面・左側面・上面・下面）について機器の登録を行う。
【０１００】
このように登録情報の登録処理後は、基準面（前面）を撮像して行う基準点の特定処理を最初に行って、リモコン装置の位置を特定した後は、ユーザーの手にリモコン装置が保持されている限りリモコン操作が可能となる。
【０１０１】
そして、一定時間以上、ユーザーがリモコン装置を平面に置いて操作を行わないと、基準点の位置情報が不確かになるので、基準面を撮像して行う基準点の特定処理が必要になる。基準点の特定処理については、ユーザーがリモコン装置を取り上げて基準面に向け、確認ボタンなどで入力することで確定可能である。或いは、リモコン装置を基準面に向けた後、一定時間の経過で確定するようにしてもよい。
【０１０２】
図９（Ａ）にリモコンデータベースのデータ構造の例を示す。リモコンデータベースには、各機器の機器情報等が登録情報として登録される。このリモコンデータベースはリモコン装置の記憶部５０に記憶される。
【０１０３】
機器情報は、例えば機器識別情報やリモコンコマンド情報である。機器識別情報は、機種名やメーカー名などの機器を識別するための情報である。リモコンコマンド情報は、リモコンコマンドのコマンド体系情報であり、コマンド名、機種別ボタンの定義情報、リモコン信号情報などである。また、各機器識別情報には、後述する機器の登録特徴量情報が関連づけられ、登録情報としてリモコンデータベースに登録される。
【０１０４】
リモコン装置のリモコンデータベースへの登録情報の登録手法としては種々の手法を想定できる。例えば図９（Ｂ）において、機器情報などが埋め込まれた２次元バーコード（識別マーカー）を、ＰＣ（パソコン）や携帯型情報端末の画面に表示する。そして、表示された２次元バーコードをリモコン装置の撮像部１０で撮影することで、機器情報等の登録情報をリモコン装置のリモコンデータベースに登録する。或いは、ＰＣにおいて、ネットワークを介し機器の製造メーカー等から機器情報等をダウンロードし、メモリーメディアを介してリモコン装置のリモコンデータベースに登録してもよい。この際に、例えば図７のようなマトリックス化された配置情報を、ＰＣ上で編集して作成し、作成された配置情報をメモリーメディア等を介してリモコン装置のリモコンデータベースに登録してもよい。
【０１０５】
以上のように本実施形態では、記憶部５０が図７に示すような機器の配置情報を記憶する。そしてリモコン処理部１３０は、モーションセンサー２０からのセンサー情報と、記憶部５０に記憶される配置情報に基づいて、リモコン操作対象機器の選択処理を行う。ここで配置情報は、図７に示すように、機器の配置領域を分割した複数の区画領域の各区間領域に対して、各区画領域に配置される機器の機器情報が関連づけられた情報になっている。例えば図７の前面に対応する配置領域は、３×３の区画領域に分割されている。そして、真ん中の区画領域には、基準機器となる機器ＥＤ１の機器情報が関連づけられる。また機器ＥＤ１の区画領域の右側、右上側の区画領域には、各々、機器ＥＤ２、ＥＤ３の機器情報が関連づけられる。
【０１０６】
そしてリモコン処理部１３０は、モーションセンサー２０からのセンサー情報に基づき特定された区画領域に関連づけられた機器を、リモコン操作対象機器として選択する。例えば図５（Ａ）のように基準機器となる機器ＥＤ１が選択された後、図５（Ｂ）のようにユーザーがリモコン装置を右方向に振る動作を行ったとする。すると、この時のリモコン装置の動きがモーションセンサー２０（加速度センサー）により検出され、このモーションセンサー２０からのセンサー情報と、図７の配置情報に基づいて、機器ＥＤ１の右側の機器ＥＤ２が選択される。
【０１０７】
その後、例えばユーザーが、リモコン装置を上方向に振る動作を行ったとする。すると、この時のリモコン装置の動きがモーションセンサー２０により検出され、このモーションセンサー２０からのセンサー情報と、図７の配置情報に基づいて、機器ＥＤ２の上側の機器ＥＤ３が選択されることになる。そして、このように機器ＥＤ３が選択された後、ユーザーがリモコン操作画面の表示指示操作を行うと、機器ＥＤ３のリモコン操作画面がリモコン装置の表示部３０に表示されるようになる。
【０１０８】
図１０（Ａ）、図１０（Ｂ）は、画像認識処理により機器を認識する手法の説明図である。例えば本実施形態では、図２の認識部１１０が、撮像部１０からの撮像画像に対する画像認識処理により、撮像画像に映る機器の形状認識処理を行う。そしてリモコン処理部１３０が、形状認識処理の結果に基づいて、リモコン操作対象機器の選択処理を行う。例えば認識部１１０は、形状認識処理により機器の特徴量情報を抽出し、この特徴量情報に基づいて機器を認識する。具体的には図１０（Ａ）に示すように、撮像画像に映る機器のエッジ抽出処理を行い、機器のエッジ情報を特徴量情報として抽出する。図１０（Ａ）では機器のエッジを表す矩形の縦・横の大きさ情報などが特徴量情報になる。
【０１０９】
そして図１０（Ｂ）に示すように、リモコン処理部１３０は、機器登録モードにおいて、形状認識処理により得られた機器の特徴量情報を、機器の登録特徴量情報として登録する処理を行う。即ち各機器の登録特徴量情報にその機器情報を関連づけて、リモコンデータベースに登録する。
【０１１０】
次に、リモコン処理部１３０は、リモコン操作モードにおいて、リモコン操作モードでの形状認識処理により得られた特徴量情報である機器特徴量情報と、登録特徴量情報との比較処理を行う。そしてこの比較処理により、リモコン操作対象機器の選択処理を行う。例えばリモコン操作モードにおいて、撮像部１０の撮像画像に機器ＥＤ１が映っており、この機器ＥＤ１の機器特徴量情報が、リモコンデータベースの登録特徴量情報に一致した場合には、ユーザーにより機器ＥＤ１が選択されたと判断する。
【０１１１】
そして図９（Ａ）、図１０（Ｂ）に示すように、記憶部５０のリモコンデータベースには、機器の機器情報と登録特徴量情報とが関連づけられ、登録情報として記憶されている。リモコン処理部１３０は、リモコン操作モードにおいて、機器特徴量情報が登録特徴量情報に一致した機器の機器情報を、記憶部５０から読み出すことで、リモコン操作対象機器の機器情報を取得する。例えば、リモコン操作モードにおいて撮像画像に映る機器ＥＤ１の機器特徴量情報が登録特徴量情報に一致した場合には、この登録特徴量情報に関連づけられた機器ＥＤ１の機器情報を取得する。そしてリモコン処理部１３０は、取得された機器情報の機器識別情報やリモコンコマンド情報に基づいてリモコン処理を実行する。例えばリモコン操作対象機器をリモコン操作するためのリモコン信号生成用情報の生成処理や、リモコン操作対象機器をリモコン操作するためのリモコン操作画面を表示部３０に表示する制御などを行う。
【０１１２】
なお本実施形態では、図４（Ａ）、図４（Ｂ）のようにリモコン装置がユーザーの手に取られたことが感知されると、スリープモードが解除されて、基準機器選択モードに移行する。この基準機器選択モードでは、例えば図５（Ａ）の機器ＥＤ１が、操作対象機器の選択基準となる基準機器として選択される。
【０１１３】
この場合に基準機器の選択処理は、図１０（Ａ）、図１０（Ｂ）で説明した画像認識処理（形状認識処理）により行われる。即ち図１１（Ａ）に示すように、認識部１１０は、撮像部１０からの撮像画像に対して画像認識処理を行うことで、機器の認識処理を行い、リモコン処理部１３０は、画像認識処理の結果に基づいて、基準機器ＥＤ１（第ｉの機器）を選択する。
【０１１４】
このように基準機器ＥＤ１については、画像認識処理（形状認識処理）により選択し、基準機器選択後の機器ＥＤ２、ＥＤ３については、図５（Ｂ）、図５（Ｃ）に示すように、モーションセンサー２０からのセンサー情報に基づいて選択する。このようにすれば、処理負荷が大きな画像認識処理については、基準機器ＥＤ１についてだけ行えば済むようになるため、全体的な処理負荷を軽減できる。
【０１１５】
なお図１１（Ｂ）に示すようにリモコン処理部１３０は、モーションセンサー２０からのセンサー情報に基づいて、基準機器ＥＤ１（第ｉの機器）を選択してもよい。即ち、機器ＥＤ２、ＥＤ３のみならず、基準機器ＥＤ１の選択についてもモーションセンサー２０からのセンサー情報に基づいて行う。こうすることで、画像認識処理による機器の選択処理が不要になるため、処理負荷を更に軽減できる。
【０１１６】
或いは、モーションセンサー２０からのセンサー情報は用いずに、撮像画像の画像認識処理だけで機器の選択処理を行ってもよい。この場合には認識部１１０は、撮像部１０からの撮像画像に対して画像認識処理（形状認識処理）を行うことで、機器の認識処理を行う。そしてリモコン処理部１３０は、図１１（Ｃ）に示すように、画像認識処理の結果に基づいて、リモコン装置が機器ＥＤ１（第ｍの機器）に対応する方向に向けられたと判断された場合には、機器ＥＤ１のリモコン操作画面（第ｍのリモコン操作画面）を表示部３０に表示する制御を行う。一方、図１１（Ｄ）に示すように、画像認識処理の結果に基づいて、リモコン装置が機器ＥＤ２（第ｎの機器）に対応する方向に向けられたと判断された場合には、機器ＥＤ２のリモコン操作画面（第ｎのリモコン操作画面）を表示部３０に表示する制御を行う。
【０１１７】
このように画像認識処理により機器の選択処理を行えば、モーションセンサー２０を用いる場合に比べて、より正確に機器を特定して選択できるようになる。また、ユーザーにジェスチャー動作を強いる必要がなくなるため、ユーザーの選択操作を簡素化できるという利点もある。
【０１１８】
或いは図１２（Ａ）、図１２（Ｂ）に示すような機器選択画面を表示部３０に表示して、この機器選択画面でのユーザーの選択操作により、機器の選択処理を行うようにしてもよい。
【０１１９】
例えば図１２（Ａ）では、複数の機器に対応する複数のアイコン画像が表示される。このアイコン画像は、各機器を、それを象徴する絵や記号で表した画像である。そして図１２（Ｂ）では、ユーザーは、複数のアイコン画像の中から所望する機器のアイコン画像を、タッチ操作等により選択している。すると、リモコン処理部１３０は、複数のアイコン画像の中からユーザーにより選択されたアイコン画像に対応する機器を、リモコン操作対象機器（第ｉの機器）として選択する。このようにすれば、画像認識処理などの負荷の重い処理を実行しなくても、ユーザーが所望する機器を簡素な処理で特定して選択できるようになる。
【０１２０】
なお、図１２（Ａ）、図１２（Ｂ）では、複数のアイコン画像が表示されているが、このようなアイコン画像ではなく、複数の機器画像を表示するようにしてもよい。そしてリモコン処理部１３０は、複数の機器画像の中からユーザーにより選択された機器画像に対応する機器を、リモコン操作対象機器（第ｉの機器）として選択する。この機器画像は、撮像部１０で撮像された機器の画像であり、例えば撮像部１０の撮像画像を、そのまま表示部３０に表示する。そして、この撮像画像である機器選択画面において、ユーザーが所望の機器画像をタッチ操作等で選択すると、その機器画像に対応する機器が選択されて、その機器についてのリモコン操作画面の表示制御等が行われるようになる。
【０１２１】
また図１２（Ａ）、図１２（Ｂ）のような機器選択画面を用いた機器の選択は、基準機器についてだけ行い、基準機器の選択後の機器の選択処理については、モーションセンサー２０からのセンサー情報に基づいて行うようにしてもよい。
【０１２２】
４．動作
次に本実施形態の詳細な動作について図１３のフローチャートを用いて説明する。
【０１２３】
まず、図４（Ａ）で説明したスリープモードにおいて、モーションセンサー２０によりリモコン装置の動きが検出されたか否かを判断する（ステップＳ１、Ｓ２）。即ち加速度センサー２２によりリモコン装置の静止状態からの動きが検出されたか否かを判断する。そして、動きが検出された場合には図４（Ｂ）で説明したように基準機器選択モードに移行する（ステップＳ３）。
【０１２４】
次に、記憶部５０から機器の登録情報、配置情報の読み出す（ステップＳ４）。即ち図９（Ａ）で説明したような登録情報や図７で説明したような配置情報を記憶部５０（リモコンデータベース）から読み出す。
【０１２５】
次に、撮像部１０からの撮像画像に基づく機器の画像認識処理を行い、基準機器が画像認識されたか否かを判断する（ステップＳ５、Ｓ６）。そして基準機器が画像認識された場合には、例えばその基準機器のリモコン操作画面を表示する（ステップＳ７）。
【０１２６】
次に、モーションセンサー２０によりリモコン装置の動きが検出されたか否かを判断し、リモコン装置の動きが検出された場合には、動かされた方向に対応する機器を選択する（ステップＳ８、Ｓ９）。例えば図５（Ａ）で基準機器ＥＤ１が選択された後、図５（Ｂ）のようにモーションセンサー２０によりリモコン装置の動きが検出されると、動かされた方向に対応する機器ＥＤ２を選択する。
【０１２７】
次に、ユーザーにより表示指示操作が行われたか否かを判断する（ステップＳ１０）。即ちリモコン操作画面の表示を指示する操作が行われたか否かを判断する。そして表示指示操作が行われた場合には、選択された機器のリモコン操作画面を表示する（ステップＳ１１）。例えば図５（Ｂ）、図６（Ｂ）のように機器ＥＤ２が選択された状態で、ユーザーが表示指示操作を行うと、機器ＥＤ２を操作するためのリモコン操作画面が表示される。また図５（Ｃ）、図６（Ｃ）のように機器ＥＤ３が選択された状態で、ユーザーが表示指示操作を行うと、機器ＥＤ３を操作するためのリモコン操作画面が表示される。このようにすることで図３に示すように、ユーザーがリモコン装置を向けた方向に対応する機器のリモコン操作画面を表示することが可能になる。
【０１２８】
なお、以上のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。またリモコン装置の構成、動作も本実施形態で説明したものに限定されず、種々の変形実施が可能である。
【符号の説明】
【０１２９】
ＲＭ リモコン装置、ＥＤ１〜ＥＤ１０ 機器、
１０ 撮像部、１２ 光学系、１４ 撮像素子、２０ モーションセンサー、
２２ 加速度センサー、２４ ジャイロセンサー、２８ 操作部、３０ 表示部、
４０ 赤外線発光部、５０ 記憶部、６０ 情報記憶媒体、６２ 外部Ｉ／Ｆ部、
１００ 処理部、１１０ 認識部、１１２ 形状認識部、１１４ マーカー認識部、
１２０ センサー情報取得部、１３０ リモコン処理部、１３２ 機器選択部、
１３４ リモコン信号生成部、１３６ 表示制御部、１３８ 通信処理部
【技術分野】
【０００１】
本発明は、リモコン装置及びプログラム等に関する。
【背景技術】
【０００２】
ＴＶ、ＤＶＤプレーヤー等の機器をリモコン操作するリモコン装置としては、機器専用のリモコン装置、マルチリモコン装置、学習型マルチリモコン装置などがある。
【０００３】
ここで、機器専用のリモコン装置では、機器ごとにリモコン装置を取り替える必要があり、ユーザーにとって煩雑であるという課題がある。また、家庭内にある機器１台に対してリモコン装置１台が必要となり、リモコン装置の台数が増えてしまう。
【０００４】
マルチリモコン装置は、一般的にＴＶ用マルチリモコン装置、エアコン用マルチリモコン装置のように、同一製品分野でメーカーごとに異なる制御信号に対応したものである。しかしながら、このマルチリモコン装置においても、やはり、家庭内にある機器ごとにリモコン装置が必要になるという問題がある。また、予め操作対象機器のメーカー名、機種情報をリモコン装置に設定する必要があり、ユーザーにとって煩雑である。
【０００５】
学習型マルチリモコン装置では、前述の機器専用のリモコン装置から送信される赤外線信号を記憶させることで、複数の機器を一台のリモコン装置で操作可能になる。しかしながら、この学習型マルチリモコン装置では、複数の機器の全てのリモコン操作を記憶させる設定入力が、ユーザーにとって煩雑である。また、多くのリモコン操作をリモコン装置に記憶させるためには、リモコン装置本体の操作ボタン数が膨大になってしまう。その上、リモコン装置に搭載される操作ボタンの配列は固定であるため、各操作と操作ボタンの意味づけが分かりにくく、ユーザーにとって使いにくいという問題がある。
【０００６】
なお特許文献１には、カメラが搭載されるリモコン装置が開示されている。この特許文献１の従来技術では、機器側から発せられる光の点滅で機器を識別している。しかしながら、この従来技術では、リモコン操作の対象となる機器側に、赤外線ＬＥＤなどの情報伝達デバイスを設け、リモコン装置が、個々の個別情報を受け取って機器のリモコン操作を行う。このため、このような情報伝達デバイスを持たない既存の機器に対しては、この従来技術の手法を適用することが難しいという課題がある。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００７−２８０８７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明の幾つかの態様によれば、複数の機器を１台のリモコン装置で効率的に操作可能にするリモコン装置及びプログラム等を提供できる。
【課題を解決するための手段】
【０００９】
本発明の一態様は、機器をリモコン操作するための操作画面であるリモコン操作画面を表示する表示部と、機器の認識処理を行う認識部と、機器をリモコン操作するためのリモコン処理を行うリモコン処理部とを含み、前記リモコン処理部は、リモコン装置が、複数の機器のうちの第ｍの機器に対応する方向に向けられたと判断された場合には、前記第ｍの機器をリモコン操作するための第ｍのリモコン操作画面を、前記表示部に表示する制御を行い、リモコン装置が、前記複数の機器のうちの第ｎの機器（ｍ、ｎは自然数）に対応する方向に向けられたと判断された場合には、前記第ｎの機器をリモコン操作するための第ｎのリモコン操作画面を、前記表示部に表示する制御を行うリモコン装置に関係する。
【００１０】
本発明の一態様によれば、リモコン装置が、第ｍの機器に対応する方向に向けられたと判断されると、その第ｍの機器をリモコン操作するための第ｍのリモコン操作画面が表示部に表示される。一方、リモコン装置が、第ｍの機器とは異なる第ｎの機器に対応する方向に向けられたと判断された場合には、その第ｎの機器をリモコン操作するための第ｎのリモコン操作画面が表示部に表示される。従って、リモコン装置が向けられた方向に対応する機器のリモコン操作画面がリモコン装置の表示部に表示されるようになり、複数の機器を１台のリモコン装置で効率的に操作可能にするリモコン装置の提供が可能になる。
【００１１】
また本発明の一態様では、リモコン装置の動きを検出するモーションセンサーを含み、前記リモコン処理部は、前記複数の機器のうちの第ｉの機器がリモコン操作対象機器として選択された後、前記モーションセンサーからのセンサー情報に基づいてリモコン装置の動きが検出された場合には、前記第ｉの機器とは異なる第ｊの機器（ｉ、ｊは自然数）をリモコン操作対象機器として選択してもよい。
【００１２】
このようにすれば、モーションセンサーによりリモコン装置の動きを検出して、第ｉの機器の次の第ｊの機器を選択できるようになるため、ユーザーの意思等を反映させた機器の選択処理を実現できる。
【００１３】
また本発明の一態様では、前記リモコン処理部は、前記第ｉの機器がリモコン操作対象機器として選択された後、前記モーションセンサーからのセンサー情報に基づいてリモコン装置の動きが検出された場合に、リモコン装置が動かされた方向に対応する方向に存在する機器を、前記第ｊの機器として選択してもよい。
【００１４】
このようにすれば、リモコン装置が動かされた方向をモーションセンサーにより検出して、その方向に対応する機器を、第ｊの機器として選択できるようになり、モーションセンサーを有効活用した機器の選択処理を実現できる。
【００１５】
また本発明の一態様では、機器の配置情報を記憶する記憶部を含み、前記リモコン処理部は、前記モーションセンサーからのセンサー情報と、前記記憶部に記憶される前記配置情報に基づいて、前記第ｊの機器をリモコン操作対象機器として選択してもよい。
【００１６】
このようにすれば、モーションセンサーによりリモコン装置の動きを検出し、検出された動きと、記憶部に記憶される配置情報に基づいて、リモコン操作対象機器を選択できるようになり、より正確で適切な機器選択処理を実現できる。
【００１７】
また本発明の一態様では、前記記憶部は、機器の配置領域を分割した複数の区画領域の各区間領域に対して、前記各区画領域に配置される機器の機器情報が関連づけられた情報を、前記配置情報として記憶し、前記リモコン処理部は、前記複数の区画領域のうち、前記モーションセンサーからのセンサー情報に基づき特定された区画領域に関連づけられた機器を、前記第ｊの機器として選択してもよい。
【００１８】
このようにすれば、モーションセンサーにより配置情報の区画領域を特定して、機器を選択できるようになり、モーションセンサーと配置情報を連動させた効率的な機器選択処理を実現できる。
【００１９】
また本発明の一態様では、前記記憶部は、機器の識別情報と機器のリモコンコマンド情報を、前記機器情報として記憶してもよい。
【００２０】
このようにすれば、モーションセンサーにより区画領域を特定し、その区画領域に関連づけられた機器情報を読み出すことで、機器の識別情報や機器のリモコンコマンド情報を取得できるようになる。
【００２１】
また本発明の一態様では、前記リモコン処理部は、前記第ｊの機器がリモコン操作対象機器として選択された後、前記モーションセンサーからのセンサー情報に基づいてリモコン装置の動きが検出された場合には、前記第ｊの機器とは異なる第ｋの機器（ｋは自然数）をリモコン操作対象機器として選択してもよい。
【００２２】
このようにすれば、例えば第ｊの機器がユーザーが所望する機器ではなく、ユーザーがリモコン装置を動かすと、モーションセンサーによりその動きを検出して、次の第ｋの機器を選択できるようになり、ユーザーの意思を反映させた機器選択処理を実現できる。
【００２３】
また本発明の一態様では、前記リモコン処理部は、基準機器選択モードにおいて、前記第ｉの機器を、操作対象機器の選択基準となる基準機器として選択してもよい。
【００２４】
このようにすれば、まず第ｉの機器を基準機器として選択し、この基準機器を基準として他の機器を選択できるようになり、効率的な機器選択処理を実現できる。
【００２５】
また本発明の一態様では、前記リモコン処理部は、リモコン装置がスリープモードであるときに、前記モーションセンサーからのセンサー情報に基づいてリモコン装置の動きが検出された場合に、動作モードを前記スリープモードから前記基準機器選択モードに移行させて、前記基準機器の選択を行ってもよい。
【００２６】
このようにすれば、例えばリモコン装置が静止状態である場合には、リモコン装置をスリープモードに設定し、静止状態からリモコン装置が動かされると、その動きをモーションセンサーにより検出して、基準機器選択モードに移行できるようになる。
【００２７】
また本発明の一態様では、機器を撮像する撮像部を含み、前記認識部は、前記撮像部からの撮像画像に対して画像認識処理を行うことで、機器の認識処理を行い、前記リモコン処理部は、前記画像認識処理の結果に基づいて、前記第ｉの機器を選択してもよい。
【００２８】
このようにすれば、モーションセンサーが相対的な動きしか検出できない場合にも、撮像画像に基づいて機器の画像認識処理を行うことで、第ｉの機器を選択できるようになる。
【００２９】
また本発明の一態様では、前記リモコン処理部は、前記モーションセンサーからのセンサー情報に基づいて、前記第ｉの機器を選択してもよい。
【００３０】
このようにすれば、モーションセンサーだけを用いて機器を選択できるようになり、処理の効率化等を図れる。
【００３１】
また本発明の一態様では、前記表示部は、前記複数の機器に対応する複数のアイコン画像又は前記複数の機器の複数の機器画像を表示し、前記リモコン処理部は、前記複数のアイコン画像又は前記複数の機器画像の中からユーザーにより選択されたアイコン画像又は機器画像に対応する機器を、前記第ｉの機器として選択してもよい。
【００３２】
このようにすれば、ユーザーが、表示部に表示されたアイコン画像又は機器画像を選択することで、それに対応する機器が選択されるようになり、処理負荷の少ない機器選択処理を実現できる。
【００３３】
また本発明の一態様では、機器を撮像する撮像部を含み、前記認識部は、前記撮像部からの撮像画像に対して画像認識処理を行うことで、機器の認識処理を行い、前記リモコン処理部は、前記画像認識処理の結果に基づいて、リモコン装置が前記第ｍの機器に対応する方向に向けられたと判断された場合には、前記第ｍのリモコン操作画面を前記表示部に表示する制御を行い、前記画像認識処理の結果に基づいて、リモコン装置が前記第ｎの機器に対応する方向に向けられたと判断された場合には、前記第ｎのリモコン操作画面を前記表示部に表示する制御を行ってもよい。
【００３４】
このようにすれば、画像認識処理だけを用いて、リモコン装置が向いた方向に対応する機器を選択して、選択された機器のリモコン操作画面を表示部に表示することが可能になる。
【００３５】
また本発明の他の態様は、機器の認識処理を行う認識部と、機器をリモコン操作するためのリモコン処理を行うリモコン処理部として、コンピューターを機能させ、前記リモコン処理部は、リモコン装置が、複数の機器のうちの第ｍの機器に対応する方向に向けられたと判断された場合には、前記第ｍの機器をリモコン操作するための第ｍのリモコン操作画面を、表示部に表示する制御を行い、リモコン装置が、前記複数の機器のうちの第ｎの機器（ｍ、ｎは自然数）に対応する方向に向けられたと判断された場合には、前記第ｎの機器をリモコン操作するための第ｎのリモコン操作画面を、前記表示部に表示する制御を行うプログラムに関する。
【図面の簡単な説明】
【００３６】
【図１】図１（Ａ）〜図１（Ｃ）は本実施形態のリモコン装置の外観図。
【図２】本実施形態のリモコン装置の構成例を示すブロック図。
【図３】本実施形態の手法の説明図。
【図４】図４（Ａ）、図４（Ｂ）はスリープモード、基準機器選択モードの説明図。
【図５】図５（Ａ）〜図５（Ｃ）はモーションセンサーを用いた機器選択手法の説明図。
【図６】図６（Ａ）〜図６（Ｃ）はモーションセンサーを用いた機器選択において表示部に表示される画面の例。
【図７】本実施形態で使用される機器の配置情報の例。
【図８】図８（Ａ）、図８（Ｂ）は基準機器を用いたユーザーの位置の特定手法の説明図。
【図９】図９（Ａ）はリモコンデータベースのデータ構造の例であり、図９（Ｂ）はリモコンデータベースへの登録情報の登録手法の説明図。
【図１０】図１０（Ａ）、図１０（Ｂ）は画像認識処理により機器を認識する手法の説明図。
【図１１】図１１（Ａ）〜図１１（Ｄ）は基準機器の選択手法の説明図。
【図１２】図１２（Ａ）、図１２（Ｂ）は機器選択画面により基準機器を選択する手法の説明図。
【図１３】本実施形態の詳細な動作を説明するためのフローチャート。
【発明を実施するための形態】
【００３７】
以下、本発明の好適な実施の形態について詳細に説明する。なお以下に説明する本実施形態は特許請求の範囲に記載された本発明の内容を不当に限定するものではなく、本実施形態で説明される構成の全てが本発明の解決手段として必須であるとは限らない。
【００３８】
１．構成例
図１（Ａ）〜図１（Ｃ）に本実施形態のリモコン装置（リモートコントロール装置）の外観構成図を示す。図１（Ｂ）、図１（Ｃ）は、各々、図１（Ａ）のＡ１方向、Ａ２方向から見た側面図である。図１（Ａ）〜図１（Ｃ）に示すように本実施形態のリモコン装置には、撮像部１０（カメラ）、モーションセンサー２０、表示部３０、赤外線発光部４０が設けられている。具体的には、図１（Ｃ）に示すように撮像部１０、赤外線発光部４０は、リモコン装置の上部側面に設けられる。またモーションセンサー２０は、リモコン装置の内部に設けられる。表示部３０はリモコン装置の操作側の面に設けられる。
【００３９】
図２に本実施形態のリモコン装置の詳細な構成ブロック図を示す。リモコン装置は撮像部１０、モーションセンサー２０、操作部２８、表示部３０、赤外線発光部４０、記憶部５０、情報記憶媒体６０、外部Ｉ／Ｆ（インターフェース）部６２、処理部１００を含む。なお、本実施形態のリモコン装置は図２の構成には限定されず、これらの構成要素の一部を省略したり、他の構成要素を追加する等の種々の変形実施が可能である。
【００４０】
撮像部１０は、機器等を撮像するものであり、光学系１２や撮像素子１４を含む。光学系１２はレンズ等により実現され、撮像素子１４はＣＭＯＳセンサーやＣＣＤセンサーなどによる実現される。
【００４１】
モーションセンサー２０は、リモコン装置の動きを検出するデバイスであり、例えば加速度センサー２２、ジャイロセンサー２４（角速度センサー）を含む。
【００４２】
加速度センサー２２としては、梁構造で支えられた可動部での位置変化を静電容量の変化として検出する静電容量型のセンサーや、ダイヤフラムの位置変化をピエゾ抵抗素子によって検出するピエゾ抵抗型のセンサーや、ガス温度分布型のセンサーなどを採用できる。ジャイロセンサー２４としては、振動子が回転することによるコリオリ力から角速度を検出する振動型などの角速度センサーや、静電容量の変化や慣性力の変化から角加速度を検出する角加速度センサーなどを採用できる。
【００４３】
加速度センサー２２を用いることで、Ｘ軸、Ｙ軸、Ｚ軸方向でのリモコン装置の動きの加速度を検出できる。ジャイロセンサー２４を用いることで、例えばＸ軸回り、Ｙ軸回りでのリモコン装置の動きの角速度を検出できる。なおＸ軸は例えば図１（Ａ）のリモコン装置の左右方向に沿った座標軸であり、Ｚ軸は例えばリモコン装置の上下方向に沿った座標軸であり、Ｙ軸はＸ軸及びＺ軸に直交する座標軸である。なおジャイロセンサー２４はＺ軸回りでの角速度も検出できる３軸ジャイロセンサーであってもよい。
【００４４】
操作部２８は、ユーザーがリモコン装置の操作情報を入力するためのものであり、例えば操作ボタンや電源ボタンなどにより実現できる。
【００４５】
表示部３０は各種の画像を表示するためのものであり、例えばＬＣＤや有機ＥＬディスプレイなどにより実現される。例えば本実施形態では表示部３０は、機器をリモコン操作するための操作画面であるリモコン操作画面を表示する。
【００４６】
表示部３０は、例えばタッチパネルディスプレイにより実現することが望ましい。タッチパネルディスプレイとしては、例えば抵抗膜方式、静電容量方式、電磁誘導方式などの種々の方式のものを採用できる。なお、表示部３０としてタッチパネルディスプレイを用いた場合には、操作部２８の一部又は全部の機能はこのタッチパネルディスプレイにより実現されることになる。
【００４７】
赤外線発光部４０（リモコン信号出力部）は、赤外線によりリモコン信号を機器に出力するものであり、例えば赤外線発光ダイオード（ＬＥＤ）により実現される。例えば機器を操作するためのリモコン信号は、赤外線の点灯時間と消灯時間の長さの組み合わせによりビット値が表されるパルス位相変調信号（ＰＰＭ信号）等により実現できる。この場合に、自然放射されている赤外線とリモコン装置の赤外線を区別するために、赤外線発光部４０は特定のキャリア周波数（例えば３８〜４２ＫＨｚ）で変調した赤外線を発光する。
【００４８】
記憶部５０は、リモコン装置の動作等に必要な種々の情報を記憶するものであり、例えばＲＡＭ等の半導体メモリーにより実現される。本実施形態では記憶部５０は後述する登録情報や配置情報を記憶する。
【００４９】
情報記憶媒体６０は、例えばメモリーカードなどの各種のメモリーメディアにより実現されるものであり、例えばリモコン装置からの脱着や装着が自在となっている。本実施形態の各部をコンピューターとして実現するためのプログラムは、この情報記憶媒体６０に記憶される。
【００５０】
外部Ｉ／Ｆ部６２は、外部（外部デバイス）と情報を通信するためのインターフェース処理を行うものである。外部との情報通信は有線、無線を問わない。
【００５１】
処理部１００は、リモコン装置の動作に必要な各種の処理を行うものである。この処理部１００の機能は、各種プロセッサー（ＣＰＵ等）、ＡＳＩＣ（ゲートアレイ等）などのハードウェアや、プログラムにより実現できる。例えば処理部１００は、情報記憶媒体６０に格納されるプログラムに基づいて本実施形態の種々の処理を行う。即ち情報記憶媒体６０には、本実施形態の各部としてコンピューター（操作部、処理部、記憶部、出力部を備える装置）を機能させるためのプログラム（各部の処理をコンピューターに実行させるためのプログラム）が記憶される。
【００５２】
なお本実施形態のリモコン装置は専用のリモコン装置である必要はなく、例えば携帯電話機等の携帯型情報端末をリモコン装置として機能させてもよい。この場合には、本実施形態の各部を実行させるためのプログラムを携帯型情報端末において実行することで、携帯型情報端末をリモコン装置として機能させることができる。
【００５３】
処理部１００は、認識部１１０、センサー情報取得部１２０、リモコン処理部１３０を含む。なお、これらの構成要素の一部を省略したり、他の構成要素を追加する等の種々の変形実施が可能である。
【００５４】
認識部（特定部）１１０は機器の認識処理（特定処理）を行う。例えば機器の形状認識処理やマーカー認識処理などの認識処理を行う。形状認識処理は形状認識部１１２が行い、マーカー認識処理はマーカー認識部１１４が行う。これらの認識処理の詳細については後述する。
【００５５】
センサー情報取得部１２０は、モーションセンサー２０からのセンサー情報（加速度情報、角速度情報、角加速度情報等）を取得する。そして例えばセンサー情報の検出処理やセンサー情報に基づく演算処理などの種々の処理を行う。
【００５６】
リモコン処理部１３０は、機器をリモコン操作するためのリモコン処理を行う。リモコン処理部１３０は、機器選択部１３２、リモコン信号生成部１３４、表示制御部１３６、通信処理部１３８を含む。機器選択部１３２は、リモコン操作対象機器の選択処理を行う。リモコン信号生成部１３４は、リモコン操作対象機器をリモコン操作するためのリモコン信号生成用情報の生成処理を行う。そして赤外線発光部４０は、このリモコン信号生成用情報に基づいて、赤外線によるリモコン信号を生成して機器に送信する。なおリモコン信号生成用情報をネットワークを介してリモコン操作対象機器に送信してもよい。表示制御部１３６は表示部３０の表示制御を行う。具体的には、リモコン操作対象機器をリモコン操作するためのリモコン操作画面を表示部３０に表示する制御を行う。通信処理部１３８は、例えば外部Ｉ／Ｆ部６２を介して外部（外部デバイス）との間で各種の情報を通信する処理を行う。なおリモコン処理部１３０の処理の詳細については後述する。
【００５７】
２．本実施形態の手法
さて、様々な機器をリモコン操作するリモコン機能を一台のリモコン装置に集約させる多機能リモコン装置については、従来より知られている。このようなリモコン装置では、ハードウェア（物理層）の違いの解消や、操作対象機器ごとの操作コマンドや制御データの違いの解消や、複数の操作対象機器の制御データの保存及び呼び出し機能を設けるなどの対応が必要になる。これらの対応を行えば、家庭内で必要なリモコン機能を一台のリモコン装置にまとめることが可能になる。
【００５８】
しかしながら、多機能リモコン装置によりこのような対応を実現するためには、複数の操作対象機器に関してリモコン装置の物理的相性を合わせ込むことが必要になる。また１つにまとめたいリモコン機能を、多機能リモコン装置に学習させる必要がある。また、多機能リモコン装置側で操作対象機器を選択し、操作キーに機能を割り当てて、目的の操作対象機器をリモコン操作するというような煩雑な操作が必要になる。従って、リモコン操作を行う際に、多くの制約をユーザーに強いる結果となってしまう。
【００５９】
そこで本実施形態では、このような煩雑な操作を省き、ユーザーが直感的に使用できるように、操作対象機器をリモコン装置が選択・提示して、ユーザーの利便性を向上できるようにする。
【００６０】
具体的には本実施形態では、複数の機器（電子機器）を一台のリモコン装置で遠隔操作できるようにする。これにより、操作対象となる機器ごとにリモコン装置を取り替える必要が無くなり、ユーザーの利便性を向上できる。
【００６１】
そして本実施形態では、操作対象機器を画像認識などにより自動認識し、機器に合致したリモコンコード（リモコン信号）の自動設定を行う。このようにすれば、複雑な初期設定や機能切換の操作が不要となり、ユーザーの利便性を更に向上できる。また、操作対象機器側に新たな機能を付加をすることが不要であるため、既に発売されている既存の機器にも対応が可能となり、機器側のコストアップも抑制できる。
【００６２】
また本実施形態では、カメラ（撮像部）で取得した撮像画像により操作対象機器を特定し、操作対象機器のリモコン操作画面を、タッチパネルディスプレイで実現される表示部に表示する。これにより、最適な操作ボタン数と、操作機能とが関連づけされた判りやすい操作インターフェース環境をユーザーに提供できる。
【００６３】
具体的には、リモコン装置に対して、既存の機器のリモコン操作機能を可能な限り搭載しておく。そして新規分については、２次元バーコードなどの識別マーカーや、有線・無線の通信や、メモリーメディアなどを用いて登録・呼び出し可能にする。また、搭載されるカメラや、ジャイロセンサー、加速度センサーなどのモーションセンサーにより、リモコン装置の現在位置からユーザーが使用することを所望する操作対象機器を、リモコン装置と操作対象機器を関連づけた配置情報（マトリックス情報）により類推選択・提示し、ユーザーの選択の利便性を向上する。
【００６４】
また、類推選択した操作対象機器がユーザーの望むものではない場合には、例えばリモコン装置を上下左右に振るというジェスチャー動作により、目的の操作対象機器を簡単に選択できるようにする。
【００６５】
なお、搭載カメラは、２次元バーコードなどの識別マーカーの読み込みと、リモコン装置の位置情報を得るために使用する。また加速度センサーは、重力方向と移動方向、上下左右の振りを検出するために使用する。ジャイロセンサーは、搭載カメラで認識された位置からの上下左右の振り角度を求めるために使用する。メモリーメディアは、リモコン装置に登録された登録情報や配置情報等を、ＰＣ（パソコン）上で簡単に登録・移動・削除ができるようにするために使用する。
【００６６】
次に図３〜図６（Ｃ）を用いて本実施形態の手法について更に詳細に説明する。図３に示すように本実施形態では、リモコン装置ＲＭを機器に向けると、その機器のリモコン操作画面が表示部３０に表示される。
【００６７】
具体的には図２のリモコン処理部１３０（表示制御部１３６）は、リモコン装置ＲＭが、複数の機器のうちの第ｍの機器（例えば機器ＥＤ１）に対応する方向に向けられたと判断された場合には、第ｍの機器をリモコン操作するための第ｍのリモコン操作画面（機器ＥＤ１のリモコン操作画面）を、表示部３０に表示する制御を行う。一方、リモコン装置ＲＭが、複数の機器のうちの第ｎの機器（例えば機器ＥＤ２。なおｍ、ｎは自然数）に対応する方向に向けられたと判断された場合には、第ｎの機器をリモコン操作するための第ｎのリモコン操作画面（機器ＥＤ２のリモコン操作画面）を、表示部３０に表示する制御を行う。
【００６８】
例えば図３において、ＴＶである機器ＥＤ１の方にリモコン装置ＲＭが向けられると、ＴＶ用の操作アイコン（操作ボタンのアイコン）が表示されたＴＶ用のリモコン操作画面が表示部３０に表示される。またＤＶＤプレーヤーである機器ＥＤ２の方にリモコン装置ＲＭが向けられると、ＤＶＤプレーヤー用の操作アイコン等が表示されたＤＶＤプレーヤー用のリモコン操作画面が表示部３０に表示される。エアコンである機器ＥＤ３や照明器具である機器ＥＤ４に対してリモコン装置ＲＭが向けられた場合も同様である。
【００６９】
そして表示部３０は例えばタッチパネルディスプレイにより構成される。従って、例えば図３に示すようにユーザーがリモコン装置ＲＭを機器ＥＤ１（ＴＶ）の方に向け、リモコン操作画面に表示される機器ＥＤ１用の操作アイコンにタッチすると、その操作アイコンに対応するリモコン信号が生成されて機器ＥＤ１に送信される。同様にユーザーがリモコン装置ＲＭを機器ＥＤ２（ＤＶＤプレーヤー）の方に向け、リモコン操作画面に表示される機器ＥＤ２用の操作アイコンにタッチすると、その操作アイコンに対応するリモコン信号が生成されて機器ＥＤ２に送信される。機器ＥＤ３、ＥＤ４についても同様である。
【００７０】
従って、ユーザーは、一台のリモコン装置ＲＭを用いて複数の機器ＥＤ１〜ＥＤ４を効率的にリモコン操作できるようになる。また、操作対象機器の選択処理は、ユーザーが所望する機器にリモコン装置を向けるだけで自動的に行われるため、従来の多機能リモコン装置に比べてユーザーの利便性を格段に向上できる。
【００７１】
また本実施形態では図２に示すように、リモコン装置ＲＭにモーションセンサー２０を内蔵させている。そして図４（Ａ）に示すようにリモコン装置ＲＭは、電池寿命を長くするために、静止状態（動かされずに配置されている状態）ではスリープモードに設定される。そして図４（Ｂ）に示すように、例えば加速度センサー２２により、リモコン装置がユーザーの手に取られたことが感知されると、スリープモードが解除される。これにより、撮像部１０、認識部１１０、リモコン処理部１３０などが起動し、システムが通常動作モードに移行する。そして、その後、撮像部１０からの撮像画像やモーションセンサー２０からのセンサー情報に基づいて、リモコン操作対象機器の選択処理が行われる。
【００７２】
具体的には、リモコン装置ＲＭがスリープモードであるときに、モーションセンサー２０からのセンサー情報に基づいてリモコン装置の動きが検出された場合に、リモコン処理部１３０は、動作モードをスリープモードから基準機器選択モードに移行させて、基準機器の選択を行う。リモコン処理部１３０は、後に詳述するように、この基準機器選択モードにおいて、第ｉの機器（例えば機器ＥＤ１）を、操作対象機器の選択基準となる基準機器（配置情報における配置の基準となる機器）として選択する。
【００７３】
次に図５（Ａ）〜図５（Ｃ）に示すように、リモコン処理部１３０はモーションセンサー２０からのセンサー情報に基づいてリモコン操作対象機器の選択処理を行う。
【００７４】
例えば複数の機器のうちの第ｉの機器がリモコン操作対象機器として選択された後、モーションセンサー２０からのセンサー情報に基づいてリモコン装置ＲＭの動きが検出されたとする。例えば図５（Ａ）では、第ｉの機器である機器ＥＤ１が選択された後、図５（Ｂ）に示すようにモーションセンサー２０によりリモコン装置ＲＭの動きが検出されている。
【００７５】
この場合にはリモコン処理部１３０は、第ｉの機器とは異なる第ｊの機器（ｉ、ｊは自然数）を、リモコン操作対象機器として選択する。具体的には、リモコン装置ＲＭが動かされた方向に対応する方向に存在する機器を、第ｊの機器として選択する。例えば図５（Ｂ）では、リモコン装置ＲＭが右方向に動かされたことがモーションセンサー２０により検出されたため、右方向に対応する方向に存在する機器ＥＤ２が、第ｊの機器として選択される。これにより、図３で説明したように、第ｊの機器用の第ｊのリモコン操作画面を表示部３０に表示できるようになる。例えば第ｉの機器がＴＶであり、第ｊの機器がＤＶＤプレーヤーである場合には、図５（Ａ）ではＴＶ用のリモコン操作画面が表示され、図５（Ｂ）ではＤＶＤプレーヤー用のリモコン操作画面が表示される。
【００７６】
この場合に、図２の記憶部５０は機器の配置情報を記憶している。そしてリモコン処理部１３０は、モーションセンサー２０からのセンサー情報と、記憶部５０に記憶される配置情報に基づいて、第ｊの機器（機器ＥＤ２）をリモコン操作対象機器として選択する。
【００７７】
具体的には記憶部５０は、後述するマトリックス化された配置情報のように、機器の配置領域を分割した複数の区画領域の各区間領域に対して、各区画領域に配置される機器の機器情報が関連づけられた情報を、配置情報として記憶する。そしてリモコン処理部１３０は、複数の区画領域のうち、モーションセンサー２０からのセンサー情報に基づき特定された区画領域に関連づけられた機器を、第ｊの機器として選択する。
【００７８】
更に記憶部５０は、機器の識別情報と機器のリモコンコマンド情報を、機器情報として記憶する。ここで機器の識別情報は機種名やメーカー名などの機器を識別・特定するための情報である。またリモコンコマンド情報は、機器のリモコン操作処理のために必要なコマンド情報であり、機器に対してコマンドを送信するリモコン信号を生成するために使用される情報である。
【００７９】
また、第ｊの機器がリモコン操作対象機器として選択された後、モーションセンサー２０からのセンサー情報に基づいてリモコン装置の動きが検出されたとする。この場合にはリモコン処理部１３０は、第ｊの機器とは異なる第ｋの機器（ｋは自然数）を、リモコン操作対象機器として選択する。
【００８０】
例えば図５（Ｃ）では、第ｊの機器である機器ＥＤ２が選択された後、モーションセンサーによりリモコン装置ＲＭの動きが検出されたため、第ｋの機器である機器ＥＤ３が選択される。そして図３で説明したように、第ｋの機器用の第ｋのリモコン操作画面が表示部３０に表示される。例えば第ｋの機器がエアコンである場合には、図５（Ｃ）ではエアコン用のリモコン操作画面が表示される。
【００８１】
図６（Ａ）〜図６（Ｃ）は、機器の選択状態をユーザーに知らせる機器選択画面の例である。例えば図５（Ａ）のように機器ＥＤ１が操作対象機器（基準機器）として選択された場合には、図６（Ａ）に示すように、機器ＥＤ１が選択状態（選択候補）であることをユーザーに知らせる機器選択画面が表示部３０に表示される。また図５（Ｂ）のように機器ＥＤ２が操作対象機器として選択された場合には、図６（Ｂ）に示すように、機器ＥＤ２が選択状態であることをユーザーに知らせる機器選択画面が表示される。また図５（Ｃ）のように機器ＥＤ３が操作対象機器として選択された場合には、図６（Ｃ）に示すように、機器ＥＤ３が選択状態であることをユーザーに知らせる機器選択画面が表示される。このようにすれば、ユーザーは、画像認識処理やリモコン装置の動き検出により、複数の機器のうちのどの機器が選択されているのかを、図６（Ａ）〜図６（Ｃ）の機器選択画面で確認できるようになり、ユーザーの利便性を向上できる。
【００８２】
以上のように本実施形態では、例えば画像認識処理により基準機器となる機器ＥＤ１（第ｉの機器）が選択された後は、ユーザーがリモコン装置ＲＭを動かすことで、機器ＥＤ２、ＥＤ３が選択されるようになる。
【００８３】
例えば撮像部１０の撮像画像内に複数の機器が映っている場合に、ユーザーがどの機器を選択しているのかを、画像認識処理だけで判別するのは難しい。この点、図５（Ａ）〜図６（Ｃ）では、ユーザーがリモコン装置ＲＭを動かすことで、動かした方向に対応する機器が順次選択されるようになる。従って、画像認識処理により基準機器が選択された後は、ユーザーの意思が反映されたリモコン装置ＲＭの動きをモーションセンサー２０により検出して、最終的な操作対象機器を選択できるようになる。従って、全ての機器選択を画像認識処理だけで実現する手法に比べて、少ない処理負荷で機器選択処理を実現することが可能になる。
【００８４】
３．具体的な処理例
次に本実施形態の具体的な処理例について説明する。まず、リモコン装置の操作コマンド・データなどの登録情報の登録手法と、リモコン装置の操作対象機器の選択・提示手法とジェスチャー動作対応について、順に説明する。なお、前述の物理層の差異解消については、キャリア周波数や赤外線波長が異なる場合があり得るため、必要に応じて複数の赤外ＬＥＤを準備することで、これに対応できる。或いは、これらを取り付けオプションとすることも可能である。
【００８５】
リモコン装置の操作コマンドやデータなどの登録情報の登録手法については、メモリーメディア経由で入手した機種名（広義には機器の識別情報）やコマンド体系情報（広義にはリモコンコマンド情報）を、マトリックス化された配置情報（マトリックス情報）として登録する。
【００８６】
マトリックス化された配置情報は、リモコン装置の基準点の位置に基づいて、リモコン操作対象機器の上下左右配置位置をマトリックス管理した情報である。機種名やコマンド体系情報は、リモコン装置の撮像部による２次元バーコード（識別マーカー）の読み込みなどにより入手する。
【００８７】
即ち本実施形態のリモコン装置は、機種名とコマンド体系情報（操作情報）とがリモコンデータベースとして登録される。リモコン装置の居室での位置を使用時に認識することにより、リモコン操作対象機器のそれぞれの機器配置情報をマトリックス化された配置情報として登録しておく。
【００８８】
例えば図７にマトリックス化された配置情報の例を示す。配置情報は、居室が４角形であることを前提として、前面、右側面、背面、左側面、上面、下面が設定される。前面は、基準機器が配置される基準面である。上面及び下面に対しては、リモコン装置の上下の振りによって、前面、右側面、背面、左側面のどの４面に向いていても選択可能にする。１つの面における区画領域数は図７では３×３になっている。但し、５×５等やそれ以上であっても構わない。
【００８９】
前面である基準面の中央に、基準機器を設定する。図７では機器ＥＤ１が基準機器になる。例えば図７では、前面には、機器ＥＤ１の他に機器ＥＤ２、ＥＤ３が配置されている。また左側面には機器ＥＤ４、ＥＤ５が配置されている。同様に右側面、背面、上面、下面にも機器ＥＤ６〜ＥＤ１０が配置されている。そして、これらのＥＤ１〜ＥＤ１０の各機器の区画領域にはその機器情報が関連づけられる。
【００９０】
居室のほぼ中心から１．５ｍ程度離れた位置から基準機器の選択を行うことで、リモコン装置の現在位置や向きを限定する。以降のリモコン操作対象機器の選択は、リモコン装置の上下左右の振りを、加速度センサーやジャイロセンサーから読み取り、図７の配置情報と比較して、最近傍の機器を選択・提示するようにする。
【００９１】
リモコン装置のリモコン操作対象機器の選択・提示手法とユーザーのジェスチャー動作の対応については、以下の通りである。例えば撮像部となるカメラは１０万画素以上のモノクロ或いはカラーカメラにより実現される。そして撮像画像に対して画像処理を行い、基準点を検出する。例えば基準機器の形状認識等の画像認識処理を行って、基準機器が配置される基準点を検出する。
【００９２】
そして検出された基準点と、リモコン装置に内蔵されている３軸加速度センサーと、２軸ジャイロセンサーにより基準点からの相対位置を演算し、身近にあるリモコン操作対象機器を１個又は数個に限定する。
【００９３】
ユーザーによって向きを変えたリモコン装置の表示部３０に、上述のように限定されたリモコン操作対象の機器のうち、ユーザーが示していると思われる可能性の最も高いものを、図６（Ａ）〜図６（Ｃ）に示すように表示する。そのままユーザーがリモコン操作入力を行えば、選択された機器はユーザーが操作したい機器であると考えられる。
【００９４】
もし、選択された機器が、ユーザーが操作したい機器とは異なる場合には、現在選択されている機器の上下左右のいずれかにリモコン操作対象機器が存在するはずである。従って、上下左右方向にリモコン装置を振るというユーザーのジェスチャー動作を、モーションセンサーで検出することで、最終的なリモコン操作対象機器を特定する。
【００９５】
撮像部からの撮像画像に対して画像認識処理を行うことで、複数の機器が配置されている部屋の基準となる壁面から１．５ｍ程度離れた位置から、基準となる矩形を検出する。この矩形が操作対象機器の相対位置を決める基準点となる。そして撮像部の撮像時における基準となる矩形の変形度合いにより、部屋の中でのリモコン装置の位置を特定可能である。
【００９６】
例えば図８（Ａ）においてＥＤ１〜ＥＤ８は部屋に配置される機器である。また顔マークはユーザーの位置を表している。Ｂ１に示す中央の顔マークは、基準点を設定する場合の位置を示し、基準機器を機器ＥＤ１とした場合、壁面から約１．５ｍ位置において機器ＥＤ１をほぼ中央に撮影する。
【００９７】
リモコン装置の操作者であるユーザーが、図８（Ａ）に示す顔マークの位置の何処でリモコン装置を操作するかは限定できないため、ユーザーの現在位置から、基準機器ＥＤ１（基準位置）を最初に指定する。
【００９８】
例えば図８（Ａ）のＢ１に示す顔マークの位置にユーザーが居た場合には、基準機器ＥＤ１は図８（Ｂ）のＣ１に示すような矩形に見える。一方、Ｂ２に示す顔マークの位置にユーザーが居た場合には、基準機器ＥＤ１はＣ２に示すような矩形に見える。従って、基準機器ＥＤ１の矩形の形状により、ユーザーの位置を特定できる。そして、基準点が特定できれば、基準点に基づいて各操作対象機器の相対位置が特定できるので、ユーザーがリモコン装置を向けている方向等をモーションセンサーにより検出することで、操作対象機器を推定できる。
【００９９】
以上のように本実施形態の多機能リモコン装置では、まず最初に、使用する居室において基準点を特定する。そして、前面の上下左右方向にどのような操作対象機器が配置されているかをリモコン装置に登録する。例えば図７では機器ＥＤ１、ＥＤ２、ＥＤ３が前面に配置される機器として登録される。登録にはリモコン装置のタッチパネルディスプレイやキーパッドを活用する。或いはメモリーメディアを使用して、ＰＣ上で編集し登録することも可能である。同様の方法で、残りの５面（右側面・背面・左側面・上面・下面）について機器の登録を行う。
【０１００】
このように登録情報の登録処理後は、基準面（前面）を撮像して行う基準点の特定処理を最初に行って、リモコン装置の位置を特定した後は、ユーザーの手にリモコン装置が保持されている限りリモコン操作が可能となる。
【０１０１】
そして、一定時間以上、ユーザーがリモコン装置を平面に置いて操作を行わないと、基準点の位置情報が不確かになるので、基準面を撮像して行う基準点の特定処理が必要になる。基準点の特定処理については、ユーザーがリモコン装置を取り上げて基準面に向け、確認ボタンなどで入力することで確定可能である。或いは、リモコン装置を基準面に向けた後、一定時間の経過で確定するようにしてもよい。
【０１０２】
図９（Ａ）にリモコンデータベースのデータ構造の例を示す。リモコンデータベースには、各機器の機器情報等が登録情報として登録される。このリモコンデータベースはリモコン装置の記憶部５０に記憶される。
【０１０３】
機器情報は、例えば機器識別情報やリモコンコマンド情報である。機器識別情報は、機種名やメーカー名などの機器を識別するための情報である。リモコンコマンド情報は、リモコンコマンドのコマンド体系情報であり、コマンド名、機種別ボタンの定義情報、リモコン信号情報などである。また、各機器識別情報には、後述する機器の登録特徴量情報が関連づけられ、登録情報としてリモコンデータベースに登録される。
【０１０４】
リモコン装置のリモコンデータベースへの登録情報の登録手法としては種々の手法を想定できる。例えば図９（Ｂ）において、機器情報などが埋め込まれた２次元バーコード（識別マーカー）を、ＰＣ（パソコン）や携帯型情報端末の画面に表示する。そして、表示された２次元バーコードをリモコン装置の撮像部１０で撮影することで、機器情報等の登録情報をリモコン装置のリモコンデータベースに登録する。或いは、ＰＣにおいて、ネットワークを介し機器の製造メーカー等から機器情報等をダウンロードし、メモリーメディアを介してリモコン装置のリモコンデータベースに登録してもよい。この際に、例えば図７のようなマトリックス化された配置情報を、ＰＣ上で編集して作成し、作成された配置情報をメモリーメディア等を介してリモコン装置のリモコンデータベースに登録してもよい。
【０１０５】
以上のように本実施形態では、記憶部５０が図７に示すような機器の配置情報を記憶する。そしてリモコン処理部１３０は、モーションセンサー２０からのセンサー情報と、記憶部５０に記憶される配置情報に基づいて、リモコン操作対象機器の選択処理を行う。ここで配置情報は、図７に示すように、機器の配置領域を分割した複数の区画領域の各区間領域に対して、各区画領域に配置される機器の機器情報が関連づけられた情報になっている。例えば図７の前面に対応する配置領域は、３×３の区画領域に分割されている。そして、真ん中の区画領域には、基準機器となる機器ＥＤ１の機器情報が関連づけられる。また機器ＥＤ１の区画領域の右側、右上側の区画領域には、各々、機器ＥＤ２、ＥＤ３の機器情報が関連づけられる。
【０１０６】
そしてリモコン処理部１３０は、モーションセンサー２０からのセンサー情報に基づき特定された区画領域に関連づけられた機器を、リモコン操作対象機器として選択する。例えば図５（Ａ）のように基準機器となる機器ＥＤ１が選択された後、図５（Ｂ）のようにユーザーがリモコン装置を右方向に振る動作を行ったとする。すると、この時のリモコン装置の動きがモーションセンサー２０（加速度センサー）により検出され、このモーションセンサー２０からのセンサー情報と、図７の配置情報に基づいて、機器ＥＤ１の右側の機器ＥＤ２が選択される。
【０１０７】
その後、例えばユーザーが、リモコン装置を上方向に振る動作を行ったとする。すると、この時のリモコン装置の動きがモーションセンサー２０により検出され、このモーションセンサー２０からのセンサー情報と、図７の配置情報に基づいて、機器ＥＤ２の上側の機器ＥＤ３が選択されることになる。そして、このように機器ＥＤ３が選択された後、ユーザーがリモコン操作画面の表示指示操作を行うと、機器ＥＤ３のリモコン操作画面がリモコン装置の表示部３０に表示されるようになる。
【０１０８】
図１０（Ａ）、図１０（Ｂ）は、画像認識処理により機器を認識する手法の説明図である。例えば本実施形態では、図２の認識部１１０が、撮像部１０からの撮像画像に対する画像認識処理により、撮像画像に映る機器の形状認識処理を行う。そしてリモコン処理部１３０が、形状認識処理の結果に基づいて、リモコン操作対象機器の選択処理を行う。例えば認識部１１０は、形状認識処理により機器の特徴量情報を抽出し、この特徴量情報に基づいて機器を認識する。具体的には図１０（Ａ）に示すように、撮像画像に映る機器のエッジ抽出処理を行い、機器のエッジ情報を特徴量情報として抽出する。図１０（Ａ）では機器のエッジを表す矩形の縦・横の大きさ情報などが特徴量情報になる。
【０１０９】
そして図１０（Ｂ）に示すように、リモコン処理部１３０は、機器登録モードにおいて、形状認識処理により得られた機器の特徴量情報を、機器の登録特徴量情報として登録する処理を行う。即ち各機器の登録特徴量情報にその機器情報を関連づけて、リモコンデータベースに登録する。
【０１１０】
次に、リモコン処理部１３０は、リモコン操作モードにおいて、リモコン操作モードでの形状認識処理により得られた特徴量情報である機器特徴量情報と、登録特徴量情報との比較処理を行う。そしてこの比較処理により、リモコン操作対象機器の選択処理を行う。例えばリモコン操作モードにおいて、撮像部１０の撮像画像に機器ＥＤ１が映っており、この機器ＥＤ１の機器特徴量情報が、リモコンデータベースの登録特徴量情報に一致した場合には、ユーザーにより機器ＥＤ１が選択されたと判断する。
【０１１１】
そして図９（Ａ）、図１０（Ｂ）に示すように、記憶部５０のリモコンデータベースには、機器の機器情報と登録特徴量情報とが関連づけられ、登録情報として記憶されている。リモコン処理部１３０は、リモコン操作モードにおいて、機器特徴量情報が登録特徴量情報に一致した機器の機器情報を、記憶部５０から読み出すことで、リモコン操作対象機器の機器情報を取得する。例えば、リモコン操作モードにおいて撮像画像に映る機器ＥＤ１の機器特徴量情報が登録特徴量情報に一致した場合には、この登録特徴量情報に関連づけられた機器ＥＤ１の機器情報を取得する。そしてリモコン処理部１３０は、取得された機器情報の機器識別情報やリモコンコマンド情報に基づいてリモコン処理を実行する。例えばリモコン操作対象機器をリモコン操作するためのリモコン信号生成用情報の生成処理や、リモコン操作対象機器をリモコン操作するためのリモコン操作画面を表示部３０に表示する制御などを行う。
【０１１２】
なお本実施形態では、図４（Ａ）、図４（Ｂ）のようにリモコン装置がユーザーの手に取られたことが感知されると、スリープモードが解除されて、基準機器選択モードに移行する。この基準機器選択モードでは、例えば図５（Ａ）の機器ＥＤ１が、操作対象機器の選択基準となる基準機器として選択される。
【０１１３】
この場合に基準機器の選択処理は、図１０（Ａ）、図１０（Ｂ）で説明した画像認識処理（形状認識処理）により行われる。即ち図１１（Ａ）に示すように、認識部１１０は、撮像部１０からの撮像画像に対して画像認識処理を行うことで、機器の認識処理を行い、リモコン処理部１３０は、画像認識処理の結果に基づいて、基準機器ＥＤ１（第ｉの機器）を選択する。
【０１１４】
このように基準機器ＥＤ１については、画像認識処理（形状認識処理）により選択し、基準機器選択後の機器ＥＤ２、ＥＤ３については、図５（Ｂ）、図５（Ｃ）に示すように、モーションセンサー２０からのセンサー情報に基づいて選択する。このようにすれば、処理負荷が大きな画像認識処理については、基準機器ＥＤ１についてだけ行えば済むようになるため、全体的な処理負荷を軽減できる。
【０１１５】
なお図１１（Ｂ）に示すようにリモコン処理部１３０は、モーションセンサー２０からのセンサー情報に基づいて、基準機器ＥＤ１（第ｉの機器）を選択してもよい。即ち、機器ＥＤ２、ＥＤ３のみならず、基準機器ＥＤ１の選択についてもモーションセンサー２０からのセンサー情報に基づいて行う。こうすることで、画像認識処理による機器の選択処理が不要になるため、処理負荷を更に軽減できる。
【０１１６】
或いは、モーションセンサー２０からのセンサー情報は用いずに、撮像画像の画像認識処理だけで機器の選択処理を行ってもよい。この場合には認識部１１０は、撮像部１０からの撮像画像に対して画像認識処理（形状認識処理）を行うことで、機器の認識処理を行う。そしてリモコン処理部１３０は、図１１（Ｃ）に示すように、画像認識処理の結果に基づいて、リモコン装置が機器ＥＤ１（第ｍの機器）に対応する方向に向けられたと判断された場合には、機器ＥＤ１のリモコン操作画面（第ｍのリモコン操作画面）を表示部３０に表示する制御を行う。一方、図１１（Ｄ）に示すように、画像認識処理の結果に基づいて、リモコン装置が機器ＥＤ２（第ｎの機器）に対応する方向に向けられたと判断された場合には、機器ＥＤ２のリモコン操作画面（第ｎのリモコン操作画面）を表示部３０に表示する制御を行う。
【０１１７】
このように画像認識処理により機器の選択処理を行えば、モーションセンサー２０を用いる場合に比べて、より正確に機器を特定して選択できるようになる。また、ユーザーにジェスチャー動作を強いる必要がなくなるため、ユーザーの選択操作を簡素化できるという利点もある。
【０１１８】
或いは図１２（Ａ）、図１２（Ｂ）に示すような機器選択画面を表示部３０に表示して、この機器選択画面でのユーザーの選択操作により、機器の選択処理を行うようにしてもよい。
【０１１９】
例えば図１２（Ａ）では、複数の機器に対応する複数のアイコン画像が表示される。このアイコン画像は、各機器を、それを象徴する絵や記号で表した画像である。そして図１２（Ｂ）では、ユーザーは、複数のアイコン画像の中から所望する機器のアイコン画像を、タッチ操作等により選択している。すると、リモコン処理部１３０は、複数のアイコン画像の中からユーザーにより選択されたアイコン画像に対応する機器を、リモコン操作対象機器（第ｉの機器）として選択する。このようにすれば、画像認識処理などの負荷の重い処理を実行しなくても、ユーザーが所望する機器を簡素な処理で特定して選択できるようになる。
【０１２０】
なお、図１２（Ａ）、図１２（Ｂ）では、複数のアイコン画像が表示されているが、このようなアイコン画像ではなく、複数の機器画像を表示するようにしてもよい。そしてリモコン処理部１３０は、複数の機器画像の中からユーザーにより選択された機器画像に対応する機器を、リモコン操作対象機器（第ｉの機器）として選択する。この機器画像は、撮像部１０で撮像された機器の画像であり、例えば撮像部１０の撮像画像を、そのまま表示部３０に表示する。そして、この撮像画像である機器選択画面において、ユーザーが所望の機器画像をタッチ操作等で選択すると、その機器画像に対応する機器が選択されて、その機器についてのリモコン操作画面の表示制御等が行われるようになる。
【０１２１】
また図１２（Ａ）、図１２（Ｂ）のような機器選択画面を用いた機器の選択は、基準機器についてだけ行い、基準機器の選択後の機器の選択処理については、モーションセンサー２０からのセンサー情報に基づいて行うようにしてもよい。
【０１２２】
４．動作
次に本実施形態の詳細な動作について図１３のフローチャートを用いて説明する。
【０１２３】
まず、図４（Ａ）で説明したスリープモードにおいて、モーションセンサー２０によりリモコン装置の動きが検出されたか否かを判断する（ステップＳ１、Ｓ２）。即ち加速度センサー２２によりリモコン装置の静止状態からの動きが検出されたか否かを判断する。そして、動きが検出された場合には図４（Ｂ）で説明したように基準機器選択モードに移行する（ステップＳ３）。
【０１２４】
次に、記憶部５０から機器の登録情報、配置情報の読み出す（ステップＳ４）。即ち図９（Ａ）で説明したような登録情報や図７で説明したような配置情報を記憶部５０（リモコンデータベース）から読み出す。
【０１２５】
次に、撮像部１０からの撮像画像に基づく機器の画像認識処理を行い、基準機器が画像認識されたか否かを判断する（ステップＳ５、Ｓ６）。そして基準機器が画像認識された場合には、例えばその基準機器のリモコン操作画面を表示する（ステップＳ７）。
【０１２６】
次に、モーションセンサー２０によりリモコン装置の動きが検出されたか否かを判断し、リモコン装置の動きが検出された場合には、動かされた方向に対応する機器を選択する（ステップＳ８、Ｓ９）。例えば図５（Ａ）で基準機器ＥＤ１が選択された後、図５（Ｂ）のようにモーションセンサー２０によりリモコン装置の動きが検出されると、動かされた方向に対応する機器ＥＤ２を選択する。
【０１２７】
次に、ユーザーにより表示指示操作が行われたか否かを判断する（ステップＳ１０）。即ちリモコン操作画面の表示を指示する操作が行われたか否かを判断する。そして表示指示操作が行われた場合には、選択された機器のリモコン操作画面を表示する（ステップＳ１１）。例えば図５（Ｂ）、図６（Ｂ）のように機器ＥＤ２が選択された状態で、ユーザーが表示指示操作を行うと、機器ＥＤ２を操作するためのリモコン操作画面が表示される。また図５（Ｃ）、図６（Ｃ）のように機器ＥＤ３が選択された状態で、ユーザーが表示指示操作を行うと、機器ＥＤ３を操作するためのリモコン操作画面が表示される。このようにすることで図３に示すように、ユーザーがリモコン装置を向けた方向に対応する機器のリモコン操作画面を表示することが可能になる。
【０１２８】
なお、以上のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。またリモコン装置の構成、動作も本実施形態で説明したものに限定されず、種々の変形実施が可能である。
【符号の説明】
【０１２９】
ＲＭ リモコン装置、ＥＤ１〜ＥＤ１０ 機器、
１０ 撮像部、１２ 光学系、１４ 撮像素子、２０ モーションセンサー、
２２ 加速度センサー、２４ ジャイロセンサー、２８ 操作部、３０ 表示部、
４０ 赤外線発光部、５０ 記憶部、６０ 情報記憶媒体、６２ 外部Ｉ／Ｆ部、
１００ 処理部、１１０ 認識部、１１２ 形状認識部、１１４ マーカー認識部、
１２０ センサー情報取得部、１３０ リモコン処理部、１３２ 機器選択部、
１３４ リモコン信号生成部、１３６ 表示制御部、１３８ 通信処理部
【特許請求の範囲】
【請求項１】
機器をリモコン操作するための操作画面であるリモコン操作画面を表示する表示部と、
機器の認識処理を行う認識部と、
機器をリモコン操作するためのリモコン処理を行うリモコン処理部と、
を含み、
前記リモコン処理部は、
リモコン装置が、複数の機器のうちの第ｍの機器に対応する方向に向けられたと判断された場合には、前記第ｍの機器をリモコン操作するための第ｍのリモコン操作画面を、前記表示部に表示する制御を行い、
リモコン装置が、前記複数の機器のうちの第ｎの機器（ｍ、ｎは自然数）に対応する方向に向けられたと判断された場合には、前記第ｎの機器をリモコン操作するための第ｎのリモコン操作画面を、前記表示部に表示する制御を行うことを特徴とするリモコン装置。
【請求項２】
請求項１において、
リモコン装置の動きを検出するモーションセンサーを含み、
前記リモコン処理部は、
前記複数の機器のうちの第ｉの機器がリモコン操作対象機器として選択された後、前記モーションセンサーからのセンサー情報に基づいてリモコン装置の動きが検出された場合には、前記第ｉの機器とは異なる第ｊの機器（ｉ、ｊは自然数）をリモコン操作対象機器として選択することを特徴とするリモコン装置。
【請求項３】
請求項２において、
前記リモコン処理部は、
前記第ｉの機器がリモコン操作対象機器として選択された後、前記モーションセンサーからのセンサー情報に基づいてリモコン装置の動きが検出された場合に、リモコン装置が動かされた方向に対応する方向に存在する機器を、前記第ｊの機器として選択することを特徴とするリモコン装置。
【請求項４】
請求項２又は３において、
機器の配置情報を記憶する記憶部を含み、
前記リモコン処理部は、
前記モーションセンサーからのセンサー情報と、前記記憶部に記憶される前記配置情報に基づいて、前記第ｊの機器をリモコン操作対象機器として選択することを特徴とするリモコン装置。
【請求項５】
請求項４において、
前記記憶部は、
機器の配置領域を分割した複数の区画領域の各区間領域に対して、前記各区画領域に配置される機器の機器情報が関連づけられた情報を、前記配置情報として記憶し、
前記リモコン処理部は、
前記複数の区画領域のうち、前記モーションセンサーからのセンサー情報に基づき特定された区画領域に関連づけられた機器を、前記第ｊの機器として選択することを特徴とするリモコン装置。
【請求項６】
請求項５において、
前記記憶部は、
機器の識別情報と機器のリモコンコマンド情報を、前記機器情報として記憶することを特徴とするリモコン装置。
【請求項７】
請求項２乃至６のいずれかにおいて、
前記リモコン処理部は、
前記第ｊの機器がリモコン操作対象機器として選択された後、前記モーションセンサーからのセンサー情報に基づいてリモコン装置の動きが検出された場合には、前記第ｊの機器とは異なる第ｋの機器（ｋは自然数）をリモコン操作対象機器として選択することを特徴とするリモコン装置。
【請求項８】
請求項２乃至７のいずれかにおいて、
前記リモコン処理部は、
基準機器選択モードにおいて、前記第ｉの機器を、操作対象機器の選択基準となる基準機器として選択することを特徴とするリモコン装置。
【請求項９】
請求項８において、
前記リモコン処理部は、
リモコン装置がスリープモードであるときに、前記モーションセンサーからのセンサー情報に基づいてリモコン装置の動きが検出された場合に、動作モードを前記スリープモードから前記基準機器選択モードに移行させて、前記基準機器の選択を行うことを特徴とするリモコン装置。
【請求項１０】
請求項２乃至９のいずれかにおいて、
機器を撮像する撮像部を含み、
前記認識部は、
前記撮像部からの撮像画像に対して画像認識処理を行うことで、機器の認識処理を行い、
前記リモコン処理部は、
前記画像認識処理の結果に基づいて、前記第ｉの機器を選択することを特徴とするリモコン装置。
【請求項１１】
請求項２乃至９のいずれかにおいて、
前記リモコン処理部は、
前記モーションセンサーからのセンサー情報に基づいて、前記第ｉの機器を選択することを特徴とするリモコン装置。
【請求項１２】
請求項２乃至９のいずれかにおいて、
前記表示部は、
前記複数の機器に対応する複数のアイコン画像又は前記複数の機器の複数の機器画像を表示し、
前記リモコン処理部は、
前記複数のアイコン画像又は前記複数の機器画像の中からユーザーにより選択されたアイコン画像又は機器画像に対応する機器を、前記第ｉの機器として選択することを特徴とするリモコン装置。
【請求項１３】
請求項１において、
機器を撮像する撮像部を含み、
前記認識部は、
前記撮像部からの撮像画像に対して画像認識処理を行うことで、機器の認識処理を行い、
前記リモコン処理部は、
前記画像認識処理の結果に基づいて、リモコン装置が前記第ｍの機器に対応する方向に向けられたと判断された場合には、前記第ｍのリモコン操作画面を前記表示部に表示する制御を行い、
前記画像認識処理の結果に基づいて、リモコン装置が前記第ｎの機器に対応する方向に向けられたと判断された場合には、前記第ｎのリモコン操作画面を前記表示部に表示する制御を行うことを特徴とするリモコン装置。
【請求項１４】
機器の認識処理を行う認識部と、
機器をリモコン操作するためのリモコン処理を行うリモコン処理部として、
コンピューターを機能させ、
前記リモコン処理部は、
リモコン装置が、複数の機器のうちの第ｍの機器に対応する方向に向けられたと判断された場合には、前記第ｍの機器をリモコン操作するための第ｍのリモコン操作画面を、表示部に表示する制御を行い、
リモコン装置が、前記複数の機器のうちの第ｎの機器（ｍ、ｎは自然数）に対応する方向に向けられたと判断された場合には、前記第ｎの機器をリモコン操作するための第ｎのリモコン操作画面を、前記表示部に表示する制御を行うことを特徴とするプログラム。
【請求項１】
機器をリモコン操作するための操作画面であるリモコン操作画面を表示する表示部と、
機器の認識処理を行う認識部と、
機器をリモコン操作するためのリモコン処理を行うリモコン処理部と、
を含み、
前記リモコン処理部は、
リモコン装置が、複数の機器のうちの第ｍの機器に対応する方向に向けられたと判断された場合には、前記第ｍの機器をリモコン操作するための第ｍのリモコン操作画面を、前記表示部に表示する制御を行い、
リモコン装置が、前記複数の機器のうちの第ｎの機器（ｍ、ｎは自然数）に対応する方向に向けられたと判断された場合には、前記第ｎの機器をリモコン操作するための第ｎのリモコン操作画面を、前記表示部に表示する制御を行うことを特徴とするリモコン装置。
【請求項２】
請求項１において、
リモコン装置の動きを検出するモーションセンサーを含み、
前記リモコン処理部は、
前記複数の機器のうちの第ｉの機器がリモコン操作対象機器として選択された後、前記モーションセンサーからのセンサー情報に基づいてリモコン装置の動きが検出された場合には、前記第ｉの機器とは異なる第ｊの機器（ｉ、ｊは自然数）をリモコン操作対象機器として選択することを特徴とするリモコン装置。
【請求項３】
請求項２において、
前記リモコン処理部は、
前記第ｉの機器がリモコン操作対象機器として選択された後、前記モーションセンサーからのセンサー情報に基づいてリモコン装置の動きが検出された場合に、リモコン装置が動かされた方向に対応する方向に存在する機器を、前記第ｊの機器として選択することを特徴とするリモコン装置。
【請求項４】
請求項２又は３において、
機器の配置情報を記憶する記憶部を含み、
前記リモコン処理部は、
前記モーションセンサーからのセンサー情報と、前記記憶部に記憶される前記配置情報に基づいて、前記第ｊの機器をリモコン操作対象機器として選択することを特徴とするリモコン装置。
【請求項５】
請求項４において、
前記記憶部は、
機器の配置領域を分割した複数の区画領域の各区間領域に対して、前記各区画領域に配置される機器の機器情報が関連づけられた情報を、前記配置情報として記憶し、
前記リモコン処理部は、
前記複数の区画領域のうち、前記モーションセンサーからのセンサー情報に基づき特定された区画領域に関連づけられた機器を、前記第ｊの機器として選択することを特徴とするリモコン装置。
【請求項６】
請求項５において、
前記記憶部は、
機器の識別情報と機器のリモコンコマンド情報を、前記機器情報として記憶することを特徴とするリモコン装置。
【請求項７】
請求項２乃至６のいずれかにおいて、
前記リモコン処理部は、
前記第ｊの機器がリモコン操作対象機器として選択された後、前記モーションセンサーからのセンサー情報に基づいてリモコン装置の動きが検出された場合には、前記第ｊの機器とは異なる第ｋの機器（ｋは自然数）をリモコン操作対象機器として選択することを特徴とするリモコン装置。
【請求項８】
請求項２乃至７のいずれかにおいて、
前記リモコン処理部は、
基準機器選択モードにおいて、前記第ｉの機器を、操作対象機器の選択基準となる基準機器として選択することを特徴とするリモコン装置。
【請求項９】
請求項８において、
前記リモコン処理部は、
リモコン装置がスリープモードであるときに、前記モーションセンサーからのセンサー情報に基づいてリモコン装置の動きが検出された場合に、動作モードを前記スリープモードから前記基準機器選択モードに移行させて、前記基準機器の選択を行うことを特徴とするリモコン装置。
【請求項１０】
請求項２乃至９のいずれかにおいて、
機器を撮像する撮像部を含み、
前記認識部は、
前記撮像部からの撮像画像に対して画像認識処理を行うことで、機器の認識処理を行い、
前記リモコン処理部は、
前記画像認識処理の結果に基づいて、前記第ｉの機器を選択することを特徴とするリモコン装置。
【請求項１１】
請求項２乃至９のいずれかにおいて、
前記リモコン処理部は、
前記モーションセンサーからのセンサー情報に基づいて、前記第ｉの機器を選択することを特徴とするリモコン装置。
【請求項１２】
請求項２乃至９のいずれかにおいて、
前記表示部は、
前記複数の機器に対応する複数のアイコン画像又は前記複数の機器の複数の機器画像を表示し、
前記リモコン処理部は、
前記複数のアイコン画像又は前記複数の機器画像の中からユーザーにより選択されたアイコン画像又は機器画像に対応する機器を、前記第ｉの機器として選択することを特徴とするリモコン装置。
【請求項１３】
請求項１において、
機器を撮像する撮像部を含み、
前記認識部は、
前記撮像部からの撮像画像に対して画像認識処理を行うことで、機器の認識処理を行い、
前記リモコン処理部は、
前記画像認識処理の結果に基づいて、リモコン装置が前記第ｍの機器に対応する方向に向けられたと判断された場合には、前記第ｍのリモコン操作画面を前記表示部に表示する制御を行い、
前記画像認識処理の結果に基づいて、リモコン装置が前記第ｎの機器に対応する方向に向けられたと判断された場合には、前記第ｎのリモコン操作画面を前記表示部に表示する制御を行うことを特徴とするリモコン装置。
【請求項１４】
機器の認識処理を行う認識部と、
機器をリモコン操作するためのリモコン処理を行うリモコン処理部として、
コンピューターを機能させ、
前記リモコン処理部は、
リモコン装置が、複数の機器のうちの第ｍの機器に対応する方向に向けられたと判断された場合には、前記第ｍの機器をリモコン操作するための第ｍのリモコン操作画面を、表示部に表示する制御を行い、
リモコン装置が、前記複数の機器のうちの第ｎの機器（ｍ、ｎは自然数）に対応する方向に向けられたと判断された場合には、前記第ｎの機器をリモコン操作するための第ｎのリモコン操作画面を、前記表示部に表示する制御を行うことを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１２−１５６８３４（Ｐ２０１２−１５６８３４Ａ）
【公開日】平成２４年８月１６日（２０１２．８．１６）
【国際特許分類】
【出願番号】特願２０１１−１４８６３（Ｐ２０１１−１４８６３）
【出願日】平成２３年１月２７日（２０１１．１．２７）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
【公開日】平成２４年８月１６日（２０１２．８．１６）
【国際特許分類】
【出願日】平成２３年１月２７日（２０１１．１．２７）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
[ Back to top ]