拡張現実感技術を利用した情報家電操作システム
【課題】ネットワークに接続された複数の情報家電の統合的な遠隔操作を簡単かつ的確に行う。
【解決手段】情報家電14にマーカ1が備えられる。情報家電と通信する通信部13と、カメラ2と、Ａ／Ｄ変換器3と、フレームメモリ4と、フレームメモリの画像データを出力する画像データ出力部5と、Ｄ／Ａ変換器6と、ディスプレイ7と、フレーム毎の画像データを解析し、マーカのＩＤ及び位置を検出するマーカ検出部8と、マーカ検出時に、対応する情報家電のステータス情報及び／又はコンテンツ情報を取得する情報取得部10と、マーカ検出時に、フレームメモリの画像データに、対応する情報家電のステータス情報及び又はコンテンツ情報を含む操作インターフェースの画像データを合成する画像合成部9と、操作インターフェースを通じて入力された動作パラメータ値及び／又はコンテンツ選択情報を対応する情報家電に送信する操作部12を備える。
【解決手段】情報家電14にマーカ1が備えられる。情報家電と通信する通信部13と、カメラ2と、Ａ／Ｄ変換器3と、フレームメモリ4と、フレームメモリの画像データを出力する画像データ出力部5と、Ｄ／Ａ変換器6と、ディスプレイ7と、フレーム毎の画像データを解析し、マーカのＩＤ及び位置を検出するマーカ検出部8と、マーカ検出時に、対応する情報家電のステータス情報及び／又はコンテンツ情報を取得する情報取得部10と、マーカ検出時に、フレームメモリの画像データに、対応する情報家電のステータス情報及び又はコンテンツ情報を含む操作インターフェースの画像データを合成する画像合成部9と、操作インターフェースを通じて入力された動作パラメータ値及び／又はコンテンツ選択情報を対応する情報家電に送信する操作部12を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、拡張現実感技術を利用した情報家電操作システム、特に、ホームネットワークに接続された複数の情報家電を、拡張現実感技術を利用して遠隔操作するためのシステムに関するものである。
【背景技術】
【０００２】
近年、テレビ、ＨＤＤ／ＤＶＤレコーダ、デジタルビデオカメラ等、ネットワークに接続可能な情報家電が普及しつつある。そして、異なるメーカーの情報家電が互換性を有し、ホームネットワークに相互接続可能な環境を実現し、それによってユーザが快適にデジタル生活を享受できるようにすべく、業界団体であるＤＬＮＡ（Digital Living Network Alliance）によってガイドラインが定められている（例えば、特許文献１、非特許文献１参照）。
【０００３】
ＤＬＮＡでは、ネットワーク接続される情報家電の種別として、主として次の４種類のデバイスクラスが規定されている。
・ＤＭＳ（Digital Media Server）：コンテンツを保存し、ネットワークに接続しているクライアント（ＤＭＲやＤＭＰ）にコンテンツを配信してそれらを再生できるようにするサーバーの機能（例：ＨＤＤレコーダ等）
・ＤＭＲ（Digital Media Renderer）:ＤＭＳから配信されたコンテンツを表示する機能（例：ビデオモニタやオーディオレシーバ等）
・ＤＭＣ（Digital Media Controller）：ＤＭＣに保存されているコンテンツを検索し、ＤＭＲに配信させる等の制御を行う機能（例：リモコン等）
・ＤＭＰ（Digital Media Player）：ＤＭＣとＤＭＲの機能を合わせた機能（例：ホームシアターや家庭用ゲーム機等）
【０００４】
こうして、ユーザによる複雑な設定なしに、ＤＬＮＡ対応情報家電を、ＤＬＮＡガイドラインに準拠したプロトコルに従ってホームネットワークに相互接続し、例えば、図６に示すように、単一のＤＭＣを用いて、ネットワークに接続されたすべてのＤＬＮＡ対応情報家電（ＤＭＳ、ＤＭＲ１〜ＤＭＲ３）を統合的に遠隔操作することが可能となる。すなわち、図示のシステムにおいては、ネットワーク接続されたＤＭＲ（ＤＭＲ１〜ＤＭＲ３）のリストがＤＭＣのディスプレイ画面に表示され、また、ＤＭＳに保存されたコンテンツのリストがＤＭＣのディスプレイ画面に表示される。そして、ユーザが、ＤＭＣによって所望のＤＭＲとコンテンツを選択すると、選択されたコンテンツが選択されたＤＭＲに表示される。
【０００５】
しかし、このネットワークに接続されるＤＬＮＡ対応情報家電はいずれもネットワーク上のアドレスによって識別されているだけであるから、ＤＭＣのディスプレイ画面に表示されるＤＭＲのリストには、各ＤＭＲの設置場所を識別するためのいかなる情報を含まれていない。このため、ネットワークに接続されるＤＬＮＡ対応情報家電が増加すると、ユーザは、各情報家電がどの場所に設置されているかを容易に判別できなくなり、その結果、ＤＭＣによる操作を意図した情報家電とは異なる情報家電を操作してしまう等の、誤操作が生じやすくなるという問題があった。
【０００６】
例えば、図６において、ＤＭＲ１はベッドルームに、ＤＭＲ２はダイニングルームに、ＤＭＲ３はリビングルームに設置されており、ユーザはリビングルームにいるものとすると、この場合、ＤＭＣのディスプレイ画面に表示されるＤＭＲのリストには、各ＤＭＲの設置場所を識別するための情報が含まれていないので、ユーザは、ＤＭＲ１〜ＤＭＲ３のうちのどれを選べばコンテンツを視聴できるのかをＤＭＣのディスプレイ画面上で容易に判断できず、実際はリビングルームにあるＤＭＲ３を操作するはずが、ベッドルームにあるＤＭＲ１を操作してしまうといった誤操作が生じやすかった。
同様に、複数の操作可能なアンプ・スピーカがある場合に、ユーザがいる部屋で音量を上げたいとき、どのアンプ・スピーカを操作すればよいのかをＤＭＣのディスプレイ画面上で容易に判断できず、別の部屋にあるアンプ・スピーカを操作してしまうといった誤操作が生じやすかった。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００８−３１０４５１号公報
【非特許文献】
【０００８】
【非特許文献１】”ＤＬＮＡ Networked Device Interoperability Guidelines”,expanded: March 2006
【発明の概要】
【発明が解決しようとする課題】
【０００９】
したがって、本発明の課題は、ネットワークに接続された複数の情報家電の統合的な遠隔操作を、より簡単かつ的確に行えるようにすることある。
【課題を解決するための手段】
【００１０】
上記課題を解決するため、第１発明によれば、ネットワークに接続された複数の情報家電を、拡張現実感技術を利用して遠隔操作するシステムであって、前記情報家電に備えられ、少なくとも前記情報家電のＭＡＣアドレスまたはＩＰアドレスを表示するマーカと、前記ネットワークに接続され、前記情報家電と通信を行う通信部と、操作すべき前記情報家電の前記マーカを含むエリアのビデオ画像を取得するカメラと、前記カメラのビデオ信号をデジタル信号に変換するＡ／Ｄ変換器と、前記Ａ／Ｄ変換器から出力される１フレーム毎の画像データを格納するフレームメモリと、前記フレームメモリに新たな１フレームの画像データが格納されるたびに、最先に格納された１フレームの画像データを出力する画像データ出力部と、前記画像データ出力部の出力端子に接続されたＤ／Ａ変換器と、前記Ｄ／Ａ変換器から出力されたビデオ信号に基づいて画像を表示するディスプレイと、前記Ａ／Ｄ変換器から出力される１フレーム毎の画像データを解析し、当該画像データ中に含まれる前記マーカのＭＡＣアドレスまたはＩＰアドレスと、当該画像データ中の当該マーカの位置を検出するマーカ検出部と、前記マーカ検出部が前記マーカを検出したとき、当該マーカのＭＡＣアドレスまたはＩＰアドレスに基づき、対応する情報家電のステータス情報またはコンテンツ情報またはその両方を、前記通信部を通じて取得する情報取得部と、前記マーカ検出部が前記マーカを検出したとき、前記フレームメモリに格納された画像データ中の当該マーカの位置に、対応する前記情報家電のステータス情報またはコンテンツ情報またはその両方を含む操作インターフェースの画像データを合成する画像合成部と、前記操作インターフェースを通じて入力された動作パラメータ値またはコンテンツ選択情報またはその両方を、前記通信部を通じて、対応する情報家電に送信する操作部と、を備えたことを特徴とするシステムが提供される。
【００１１】
第１発明の好ましい実施例によれば、前記マーカが、少なくとも１個の光源と、前記光源を点滅させる光源駆動部と、からなり、前記光源の点滅パターンによって、前記ＭＡＣアドレスまたは前記ＩＰアドレスが表示され、また、別の好ましい実施例によれば、前記光源は、ＬＥＤからなっている。
【００１２】
第１発明のさらに別の好ましい実施例によれば、前記マーカは互いに異なる発光色の複数個の光源を有し、前記ＭＡＣアドレスまたは前記ＩＰアドレスは前記光源の個数に応じて複数の部分に分割され、前記光源の色毎に、その点滅パターンによって前記ＭＡＣアドレスまたは前記ＩＰアドレスの異なる部分が表示され、前記マーカ検出部は、前記光源がそれぞれ表示する前記ＭＡＣアドレスまたは前記ＩＰアドレスの部分を検出し、検出した前記ＭＡＣアドレスまたは前記ＩＰアドレスの部分をそれぞれ所定の順序で組み合わせたものを前記ＭＡＣアドレスまたは前記ＩＰアドレスとして検出する。
【００１３】
第１発明のさらに別の好ましい実施例によれば、前記マーカは互いに異なる発光色の３個の光源を有し、前記３個の光源はそれぞれ三角形の頂点に位置する配置で前記情報家電に備えられ、前記マーカ検出部は、前記情報家電上の前記３個の光源の相対位置に関する参照情報を予め格納した参照位置情報格納部を有し、前記マーカ検出部は、前記画像データ中の前記３個の光源の相対位置を検出し、検出した相対位置の情報を前記参照位置情報格納部から読み出した前記参照情報と比較することにより、前記カメラから前記情報家電までの距離、および前記カメラに対する前記情報家電の向きを検出し、前記画像合成部は、前記操作インターフェースの画像データを、前記情報家電までの距離および前記情報家電の向きに応じてデータ変換した後、前記フレームメモリに格納された画像データに合成する。
【００１４】
第１発明のさらに別の好ましい実施例によれば、前記通信部、前記カメラ、前記Ａ／Ｄ変換器、前記フレームメモリ、前記画像データ出力部、前記Ｄ／Ａ変換器、前記ディスプレイ、前記マーカ検出部、前記情報取得部、前記画像合成部、および前記操作部が、携帯可能な単体のケーシングに組み込まれている。
【００１５】
上記課題を解決するため、第２発明によれば、ネットワークに接続された複数の情報家電を、拡張現実感技術を利用して遠隔操作するシステムであって、前記情報家電に備えられ、少なくとも前記情報家電のＩＤを表示するマーカと、前記ネットワークに接続され、前記情報家電と通信を行う通信部と、操作すべき前記情報家電の前記マーカを含むエリアのビデオ画像を取得するカメラと、前記カメラのビデオ信号をデジタル信号に変換するＡ／Ｄ変換器と、前記Ａ／Ｄ変換器から出力される１フレーム毎の画像データを格納するフレームメモリと、前記フレームメモリに新たな１フレームの画像データが格納されるたびに、最先に格納された１フレームの画像データを出力する画像データ出力部と、前記画像データ出力部の出力端子に接続されたＤ／Ａ変換器と、前記Ｄ／Ａ変換器から出力されたビデオ信号に基づいて画像を表示するディスプレイと、前記Ａ／Ｄ変換器から出力される１フレーム毎の画像データを解析し、当該画像データ中に含まれる前記マーカのＩＤ、および当該画像データ中の当該マーカの位置を検出するマーカ検出部と、前記ＩＤと前記情報家電のネットワーク上のアドレスとの対応関係を記録したテーブルと、前記マーカ検出部が前記マーカを検出したとき、前記テーブルを参照して当該マーカのＩＤに対応する情報家電を特定し、当該情報家電のステータス情報またはコンテンツ情報またはその両方を、前記通信部を通じて取得する情報取得部と、前記マーカ検出部が前記マーカを検出したとき、前記フレームメモリに格納された画像データ中の当該マーカの位置に、対応する前記情報家電のステータス情報またはコンテンツ情報またはその両方を含む操作インターフェースの画像データを合成する画像合成部と、前記操作インターフェースを通じて入力された動作パラメータ値またはコンテンツ選択情報またはその両方を、前記通信部を通じて、対応する情報家電に送信する操作部と、を備えたことを特徴とするシステムが提供される。
【００１６】
第２発明の好ましい実施例によれば、前記マーカが、少なくとも１個の光源と、前記光源を点滅させる光源駆動部と、からなり、前記ＩＤが、前記光源の点滅パターンによって決定され、また、別の好ましい実施例によれば、前記光源は、ＬＥＤからなっている。
【００１７】
第２発明のさらに別の好ましい実施例によれば、前記マーカは互いに異なる発光色の複数個の光源を有し、前記ＩＤは前記光源の個数に応じて複数の部分に分割され、前記光源の色毎に、その点滅パターンによって前記ＩＤの異なる部分が表示され、前記マーカ検出部は、前記光源がそれぞれ表示する前記ＩＤの部分を検出し、検出した前記ＩＤをそれぞれ所定の順序で組み合わせたものを前記ＩＤとして検出する。
【００１８】
第２発明のさらに別の好ましい実施例によれば、前記マーカは互いに異なる発光色の３個の光源を有し、前記３個の光源はそれぞれ三角形の頂点に位置する配置で前記情報家電に備えられ、前記マーカ検出部は、前記情報家電上の前記３個の光源の相対位置に関する参照情報を予め格納した参照位置情報格納部を有し、前記マーカ検出部は、前記画像データ中の前記３個の光源の相対位置を検出し、検出した相対位置の情報を前記参照位置情報格納部から読み出した前記参照情報と比較することにより、前記カメラから前記情報家電までの距離、および前記カメラに対する前記情報家電の向きを検出し、前記画像合成部は、前記操作インターフェースの画像データを、前記情報家電までの距離および前記情報家電の向きに応じてデータ変換した後、前記フレームメモリに格納された画像データに合成する。
【００１９】
第２発明のさらに別の好ましい実施例によれば、前記通信部、前記カメラ、前記Ａ／Ｄ変換器、前記フレームメモリ、前記画像データ出力部、前記Ｄ／Ａ変換器、前記ディスプレイ、前記マーカ検出部、前記テーブル、前記情報取得部、前記画像合成部、および前記操作部が、携帯可能な単体のケーシングに組み込まれている。
【００２０】
第１および第２発明のさらに別の好ましい実施例によれば、前記ネットワークが、ＤＬＮＡ（Digital Living Network Alliance）ガイドラインに準拠したネットワークからなっている。
【発明の効果】
【００２１】
本発明によれば、拡張現実感技術を利用することにより、操作すべき情報家電をカメラで撮影し、撮影したビデオ画像をディスプレイ表示するとともに、当該情報家電が有するマーカを検出し、ビデオ画像中の情報家電の位置に、当該情報家電のステータス情報やコンテンツ情報を操作インターフェースと一緒に合成表示するようにした。したがって、ユーザは、操作すべき情報家電をカメラで撮影し、ディスプレイに表示することで、実際に操作すべき情報家電を目で確認しながら、非常に簡単に遠隔操作することができるので、誤って別の場所にある情報家電を操作してしまうことがない。
【図面の簡単な説明】
【００２２】
【図１】本発明の１実施例による拡張現実感技術を利用した情報家電操作システムの構成を示すブロック図である。
【図２】ＬＥＤの点滅パターンの１例を示す図である。
【図３】携帯可能なリモコンの形態の実施例を示す図である。
【図４】本発明のシステムのディスプレイに表示されたビデオ画像の１例を示す写真である。
【図５】本発明のシステムのディスプレイに表示されたビデオ画像の１例を示す写真である。
【図６】ＤＬＮＡ対応情報家電を相互接続したホームネットワークの１例を示す図である。
【発明を実施するための形態】
【００２３】
以下、添付図面を参照して本発明の好ましい実施例を説明する。図１は、本発明の１実施例による拡張現実感技術を利用した情報家電操作システムの構成を示すブロック図である。図１を参照して、本発明によれば、ネットワーク１５に相互接続された複数の情報家電１４のそれぞれに、少なくとも情報家電１４のＩＤを表示するマーカ１が備えられる。
ネットワーク１５は、この実施例では、ＤＬＮＡ（Digital Living Network Alliance）ガイドラインに準拠したネットワークからなっているが、それとは異なるネットワークであってもよい。
【００２４】
情報家電１４のＩＤは、各情報家電１４を識別可能であれば、どのような構成であってもよく、例えば、互いに異なる数字や文字や記号、あるいは、情報家電１４のＭＡＣアドレスまたは当該ＭＡＣアドレスの一部、またはＩＰアドレスまたは当該ＩＰアドレスの一部から構成することができる。
【００２５】
マーカ１は、この実施例では、単一の光源１ａと、光源１ａを点滅させる光源駆動部１ｂとからなり、光源１ａの点滅パターンによって情報家電１４のＩＤが表示されるようになっている。この場合、光源１ａは、ＬＥＤからなっていることが好ましい。
このように、マーカ１を、点滅するＬＥＤ等の光源１ａから構成することで、暗闇でもマーカ１の検出をすることができ、また、各情報家電１４に大きなマーカを付着する必要がなく、美観も向上する。
【００２６】
光源１ａの点滅は、プリアンブル情報を示す点滅に続いて、ＩＤを表示するパターンで点滅させることによってなされる。例えば、図２に示すように、光源１ａの点灯を「１」、消灯を「０」として、１と０を所定回数繰り返した後に最後に「１」を２回送る点滅パターンＰ１でプリアンブル情報が発信され、プリアンブル情報が送信に続いて、ＩＤを表示する点滅パターンＰ２でＩＤ情報が発信される。
【００２７】
光源１ａの点滅の時間間隔は、後述のカメラ２によって取得されるビデオ画像のビットレートとの関係で最適になるように決定される。すなわち、今、ビデオ画像のビットレートを３０ｆｐｓとすると、光源１ａの点滅の時間間隔は、少なくとも１／３０ｓ以上の長さになるように決定される。例えば、この実施例では、カメラ撮影時のフレームレート（ビデオ画像のビットレート）が１／３０ｓとなり、光源１ａが１／１５ｓ間隔で点滅するよう設定され、それによって、２フレームに１回の割合で光源１ａの点滅状態が検出される。この場合、奇数フレームまたは偶数フレームのどちらを検出対象とするかが、プリアンブル情報を表示する点滅状態が明確に検出される方のフレームがどちらであるかによって決定される。
【００２８】
本発明によれば、ネットワーク１５に接続され、情報家電１４と通信を行う通信部１３が備えられる。通信部１３は、ネットワーク１５に無線接続されることが好ましい。本発明によれば、また、操作すべき情報家電１４のマーカ１を含むエリアのビデオ画像を取得するカメラ２と、カメラ２のビデオ信号をデジタル信号に変換するＡ／Ｄ変換器３と、Ａ／Ｄ変換器３から出力される１フレーム毎の画像データを格納するフレームメモリ４と、フレームメモリ４に新たな１フレームの画像データが格納されるたびに、最先に格納された１フレームの画像データを出力する画像出力部５と、画像出力部５の出力端子に接続されたＤ／Ａ変換器６と、Ｄ／Ａ変換器６から出力されたビデオ信号に基づいて画像を表示するディスプレイ７が備えられる。
【００２９】
さらに、本発明によれば、Ａ／Ｄ変換器３から出力される１フレーム毎の画像データを解析し、当該画像データ中にマーカ１を検出したとき、当該マーカ１のＩＤおよび当該画像データ中の当該マーカ１の位置を検出するマーカ検出部８が備えられる。
【００３０】
マーカ検出部８による画像データの解析は、次のようにしてなされる。まず、１フレーム毎の画像データがモノクロ化された後に比較され、公知の画像認識技術における特徴点抽出アルゴリズムを用いて、それらの画像データ中の変化点が抽出される。この場合、ビデオ画像の撮影中にカメラが移動する場合があるので、画像データ中の予め決定された特徴的な部分が検出され、それらの特徴的な部分が重ね合わされることによって、光源１ａの点滅の変化点が検出される。そして、マーカ１の候補となる画像データ中の複数の検出された変化点がプリアンブル情報に一致したとき、それらの変化点がマーカとして認識され、それに続くＩＤの点滅パターンが検出される。
【００３１】
本発明によれば、また、ＩＤと情報家電１４のネットワーク上のアドレスとの対応関係を記録したテーブル１１と、マーカ検出部８がマーカ１を検出したとき、テーブル１１を参照して、当該マーカ１のＩＤに対応する情報家電１４を特定し、当該情報家電１４のステータス情報またはコンテンツ情報またはその両方を、通信部１３を通じて取得する情報取得部１０と、マーカ検出部８がマーカ１を検出したとき、フレームメモリ４に格納された画像データ中の当該マーカの位置に、対応する情報家電１４のステータス情報またはコンテンツ情報またはその両方を含む操作インターフェース（図３の１６参照）の画像データを合成する画像合成部９が備えられる。
この場合、情報家電１４のＩＤが、ＭＡＣアドレスまたはＩＰアドレスからなっている場合には、テーブル１１は不要でり、情報取得部１０は、マーカ検出部８によって検出された当該マーカのＭＡＣアドレスまたはＩＰアドレスに基づき、対応する情報家電のステータス情報またはコンテンツ情報またはその両方を、通信部１３を通じて取得する。
【００３２】
また、情報家電１４のステータス情報は、情報家電１４の動作状態を示す情報であり、例えば、情報家電１４の現在の動作モードや、情報家電１４の音量レベルおよび音質レベル等が含まれる。また、コンテンツ情報には、情報家電１４に保存された動画や楽曲等のタイトルや再生時間等が含まれる。
【００３３】
さらに、本発明によれば、操作インターフェースを通じて入力された動作パラメータ値またはコンテンツ選択情報またはその両方を、通信部１３を通じて、対応する情報家電１４に送信する操作部１２が備えられる。操作部１２は、押しボタンまたはジョイスティックまたはディスプレイ７に組み込まれたタッチパネルまたはそれらの２以上の組合せを含んでいる。
【００３４】
この実施例では、情報家電１４に備えられるマーカ１を除く全ての構成要素が、図３に示すように、携帯可能な単体のケーシング１７に組み込まれ、１つのリモコンを形成する。それによって、家庭内で必要とする部屋まで手軽に持ち運び、使用することができる。
また、マーカ１を除く全ての構成要素を、市販の携帯電話機やＰＤＡに組み込むこともできる。
【００３５】
こうして、ユーザは、操作すべき情報家電１４をカメラ２で撮影する。このとき、当該情報家電１４に備えられたＬＥＤが必ず撮影されるようにする。このとき、情報家電１４のＬＥＤは、繰り返し点滅し、プリアンブル情報とＩＤを継続的に発信している。
カメラのビデオ信号は、Ａ／Ｄ変換器３によってデジタル信号に変換され、Ａ／Ｄ変換器３から出力される１フレーム毎の画像データがフレームメモリ４に格納される。新たな１フレームの画像データがフレームメモリ４に格納される毎に、画像データ出力部５によって最先に格納された１フレームの画像データがＤ／Ａ変換器６に出力され、Ｄ／Ａ変換器６から出力されたビデオ信号に基づいて、撮影されたビデオ画像がディスプレイ７に表示される。
【００３６】
また、Ａ／Ｄ変換器３から出力される１フレーム毎の画像データがマーカ検出部８によって解析され、情報家電１４のマーカ（光源１ａの点滅パターン）が検出され、マーカのＩＤと画像データ中の位置が検出される。このとき、情報取得部１０によって、当該ＩＤに対応する情報家電（操作すべき情報家電）１４のステータス情報および／またはコンテンツ情報が、通信部１３を通じて取得される。そして、画像合成部９によって、フレームメモリ４に格納された画像データ中の当該ＬＥＤの位置に、操作すべき情報家電１４のステータス情報および／またはコンテンツ情報を含む操作インターフェースの画像データが合成される。その結果、ディスプレイ７画面上のビデオ画像に操作インターフェースが合成表示される。
【００３７】
そして、ユーザは、ディスプレイ７に表示された操作インターフェースを通じ、操作部１２によって、操作すべき情報家電１４の動作パラメータおよび／またはコンテンツ選択情報を入力する。入力された動作パラメータおよび／またはコンテンツ選択情報は、通信部１３を通じて操作すべき情報家電１４に送信され、操作が完了する。
本発明によれば、ユーザは、操作すべき情報家電１４をカメラ２で撮影し、ディスプレイ７に表示することで、実際に操作すべき情報家電を目で確認しながら、非常に簡単に遠隔操作することができるので、誤って別の場所にある情報家電１４を操作してしまうことがない。
【００３８】
以上、本発明の１実施例について説明したが、本発明の構成は上述の実施例に限定されず、特許請求の範囲の記載範囲内で種々の変形例を創作することができる。
例えば、別の好ましい実施例によれば、マーカ１が互いに異なる発光色の複数個の光源１ａから構成され、情報家電１４のＩＤが光源１ａの個数に応じて複数の部分に分割されるとともに、光源１ａの色毎に、その点滅パターンによってＩＤの異なる部分が表示される。そして、マーカ検出部８は、光源１ａがそれぞれ表示するＩＤの部分を検出し、検出したＩＤをそれぞれ所定の順序で組み合わせたものをＩＤとして検出する。この場合、マーカ検出部８は、画像データを、ＲＧＢのチャンネル毎に、上記実施例で単一光源の場合に適用したのと同様の手法で画像解析することによって、各光源１ａの色、画像データ中の各光源１ａの位置、および各光源１ａのＩＤを検出する。
【００３９】
この実施例によれば、１つのＩＤを複数個に分割し、それぞれを同時並行で発信することができ、それによって、ＩＤの送信時間を短縮することができ（例えば、光源１ａが３個であれば、送信時間は１／３に短縮される）、カメラ２による撮影の開始からディスプレイ７上への操作インターフェースの表示までの時間が短縮される。この実施例は、ＩＤとしてＭＡＣアドレス（４８ビット）またはＩＰアドレス（３２ビット）を用いる場合に好適である。
【００４０】
また、別の好ましい実施例によれば、マーカ１が互いに異なる発光色の３個の光源１ａから構成され、それらの光源１ａはそれぞれ三角形の頂点に位置する配置で情報家電１４に備えられる。そして、マーカ検出部８は、情報家電１４上の３個の光源１ａの相対位置に関する参照情報を予め格納した参照位置情報格納部を有する。さらに、マーカ検出部８は、画像データ中の３個の光源１ａの相対位置を検出し、検出した相対位置の情報を参照位置情報格納部から読み出した参照情報と比較することにより、カメラ２から情報家電１４までの距離、およびカメラ２に対する情報家電１４の向きを検出する。
【００４１】
この場合、マーカ検出部８は、画像データを、ＲＧＢのチャンネル毎に、上記実施例で単一光源の場合に適用したのと同様の手法で画像解析することによって、各光源１ａの色、画像データ中の各光源１ａの位置、および各光源１ａのＩＤを検出し、さらに、各光源１ａの相対位置（光源間の距離）を検出する。そして、情報家電１４上における各光源１ａの光源間距離（参照情報）と、撮影画像中の各光源１ａの光源間距離（検出した相対位置の情報）との比較に基づき、カメラ２から情報家電１４までの距離、およびカメラ２に対する情報家電１４の向きが検出される。
そして、画像合成部９は、操作インターフェースの画像データを、情報家電１４までの距離および情報家電１４の向きに応じてデータ変換した後、フレームメモリに格納された画像データに合成する。
【００４２】
この実施例によれば、操作インターフェースを、カメラ撮影された情報家電の映像によりマッチした態様でディスプレイ表示することができ（情報家電が正面を向かず、斜め向きの場合には、それに対応する向きに操作インターフェースも表示され、近くの情報家電の操作インターフェースは遠くの操作インターフェースよりも大きく表示される等。）、それによって、ディスプレイ７を見ながらのより現実感を伴った操作が可能となり、操作性が向上する。
【００４３】
また、マーカ１を光源１ａから構成する代わりに、マーカ１として、例えば、拡張現実感技術において一般に使用されるARToolKit等のマーカを用いてもよい。
【００４４】
［実施例］
次に、本発明の効果を確認すべく、実証実験を行った。実験では、ＤＭＳとしてＤＬＮＡ対応ＨＤＤレコーダを、また、ＤＭＲとして２個のＤＬＮＡ対応スピーカをそれぞれ使用し、これらをネットワークに相互接続し、２個のＤＭＲをＤＭＳの左右に設置した。そして、ＤＭＳおよび２個のＤＭＲのそれぞれに、ＩＤを表示する二次元のマーカを付けた。
また、マーカ以外の本発明の全ての構成要素を備えたＰＤＡをＤＭＣとして使用し、ネットワークに無線接続できるようにした。
【００４５】
そして、ＤＭＣのカメラを作動させ、ＤＭＳ並びにそれに付着したマーカＭ１を撮影し、ＤＭＣのディスプレイにビデオ画像Ｉ１を表示した（図４Ａ参照）。すると、次の瞬間には、ＤＭＣのディスプレイ画面上のＤＭＳのマーカＭ１の位置に、ＤＭＳに保存されたコンテンツのリストＧ１が合成表示された（図４Ｂ参照）。
【００４６】
次に、ＤＭＣのカメラによって、右側のＤＭＲ並びにそれに付着したマーカＭ２を撮影すると、ＤＭＣのディスプレイに表示されたビデオ画像Ｉ２の当該ＤＭＲのマーカＭ２の位置に、現在の音量レベルの表示を含む、音量レベルの変更のための操作インターフェースを含む画像Ｇ２が合成表示された（図５参照）。そして、この操作インターフェースを通じて実際に右側のＤＭＲの音量レベルを変更することができた。左側のＤＭＲについても、同様にして、音量レベルを変更することができた。
【符号の説明】
【００４７】
１ マーカ
１ａ 光源
１ｂ 光源駆動部
２ カメラ
３ Ａ／Ｄ変換器
４ フレームメモリ
５ 画像データ出力部
６ Ｄ／Ａ変換器
７ ディスプレイ
８ マーカ検出部
９ 画像合成部
１０ 情報取得部
１１ テーブル
１２ 操作部
１３ 通信部
１４ 情報家電
１５ ネットワーク
１６ 操作インターフェース
１７ ケーシング
【技術分野】
【０００１】
本発明は、拡張現実感技術を利用した情報家電操作システム、特に、ホームネットワークに接続された複数の情報家電を、拡張現実感技術を利用して遠隔操作するためのシステムに関するものである。
【背景技術】
【０００２】
近年、テレビ、ＨＤＤ／ＤＶＤレコーダ、デジタルビデオカメラ等、ネットワークに接続可能な情報家電が普及しつつある。そして、異なるメーカーの情報家電が互換性を有し、ホームネットワークに相互接続可能な環境を実現し、それによってユーザが快適にデジタル生活を享受できるようにすべく、業界団体であるＤＬＮＡ（Digital Living Network Alliance）によってガイドラインが定められている（例えば、特許文献１、非特許文献１参照）。
【０００３】
ＤＬＮＡでは、ネットワーク接続される情報家電の種別として、主として次の４種類のデバイスクラスが規定されている。
・ＤＭＳ（Digital Media Server）：コンテンツを保存し、ネットワークに接続しているクライアント（ＤＭＲやＤＭＰ）にコンテンツを配信してそれらを再生できるようにするサーバーの機能（例：ＨＤＤレコーダ等）
・ＤＭＲ（Digital Media Renderer）:ＤＭＳから配信されたコンテンツを表示する機能（例：ビデオモニタやオーディオレシーバ等）
・ＤＭＣ（Digital Media Controller）：ＤＭＣに保存されているコンテンツを検索し、ＤＭＲに配信させる等の制御を行う機能（例：リモコン等）
・ＤＭＰ（Digital Media Player）：ＤＭＣとＤＭＲの機能を合わせた機能（例：ホームシアターや家庭用ゲーム機等）
【０００４】
こうして、ユーザによる複雑な設定なしに、ＤＬＮＡ対応情報家電を、ＤＬＮＡガイドラインに準拠したプロトコルに従ってホームネットワークに相互接続し、例えば、図６に示すように、単一のＤＭＣを用いて、ネットワークに接続されたすべてのＤＬＮＡ対応情報家電（ＤＭＳ、ＤＭＲ１〜ＤＭＲ３）を統合的に遠隔操作することが可能となる。すなわち、図示のシステムにおいては、ネットワーク接続されたＤＭＲ（ＤＭＲ１〜ＤＭＲ３）のリストがＤＭＣのディスプレイ画面に表示され、また、ＤＭＳに保存されたコンテンツのリストがＤＭＣのディスプレイ画面に表示される。そして、ユーザが、ＤＭＣによって所望のＤＭＲとコンテンツを選択すると、選択されたコンテンツが選択されたＤＭＲに表示される。
【０００５】
しかし、このネットワークに接続されるＤＬＮＡ対応情報家電はいずれもネットワーク上のアドレスによって識別されているだけであるから、ＤＭＣのディスプレイ画面に表示されるＤＭＲのリストには、各ＤＭＲの設置場所を識別するためのいかなる情報を含まれていない。このため、ネットワークに接続されるＤＬＮＡ対応情報家電が増加すると、ユーザは、各情報家電がどの場所に設置されているかを容易に判別できなくなり、その結果、ＤＭＣによる操作を意図した情報家電とは異なる情報家電を操作してしまう等の、誤操作が生じやすくなるという問題があった。
【０００６】
例えば、図６において、ＤＭＲ１はベッドルームに、ＤＭＲ２はダイニングルームに、ＤＭＲ３はリビングルームに設置されており、ユーザはリビングルームにいるものとすると、この場合、ＤＭＣのディスプレイ画面に表示されるＤＭＲのリストには、各ＤＭＲの設置場所を識別するための情報が含まれていないので、ユーザは、ＤＭＲ１〜ＤＭＲ３のうちのどれを選べばコンテンツを視聴できるのかをＤＭＣのディスプレイ画面上で容易に判断できず、実際はリビングルームにあるＤＭＲ３を操作するはずが、ベッドルームにあるＤＭＲ１を操作してしまうといった誤操作が生じやすかった。
同様に、複数の操作可能なアンプ・スピーカがある場合に、ユーザがいる部屋で音量を上げたいとき、どのアンプ・スピーカを操作すればよいのかをＤＭＣのディスプレイ画面上で容易に判断できず、別の部屋にあるアンプ・スピーカを操作してしまうといった誤操作が生じやすかった。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００８−３１０４５１号公報
【非特許文献】
【０００８】
【非特許文献１】”ＤＬＮＡ Networked Device Interoperability Guidelines”,expanded: March 2006
【発明の概要】
【発明が解決しようとする課題】
【０００９】
したがって、本発明の課題は、ネットワークに接続された複数の情報家電の統合的な遠隔操作を、より簡単かつ的確に行えるようにすることある。
【課題を解決するための手段】
【００１０】
上記課題を解決するため、第１発明によれば、ネットワークに接続された複数の情報家電を、拡張現実感技術を利用して遠隔操作するシステムであって、前記情報家電に備えられ、少なくとも前記情報家電のＭＡＣアドレスまたはＩＰアドレスを表示するマーカと、前記ネットワークに接続され、前記情報家電と通信を行う通信部と、操作すべき前記情報家電の前記マーカを含むエリアのビデオ画像を取得するカメラと、前記カメラのビデオ信号をデジタル信号に変換するＡ／Ｄ変換器と、前記Ａ／Ｄ変換器から出力される１フレーム毎の画像データを格納するフレームメモリと、前記フレームメモリに新たな１フレームの画像データが格納されるたびに、最先に格納された１フレームの画像データを出力する画像データ出力部と、前記画像データ出力部の出力端子に接続されたＤ／Ａ変換器と、前記Ｄ／Ａ変換器から出力されたビデオ信号に基づいて画像を表示するディスプレイと、前記Ａ／Ｄ変換器から出力される１フレーム毎の画像データを解析し、当該画像データ中に含まれる前記マーカのＭＡＣアドレスまたはＩＰアドレスと、当該画像データ中の当該マーカの位置を検出するマーカ検出部と、前記マーカ検出部が前記マーカを検出したとき、当該マーカのＭＡＣアドレスまたはＩＰアドレスに基づき、対応する情報家電のステータス情報またはコンテンツ情報またはその両方を、前記通信部を通じて取得する情報取得部と、前記マーカ検出部が前記マーカを検出したとき、前記フレームメモリに格納された画像データ中の当該マーカの位置に、対応する前記情報家電のステータス情報またはコンテンツ情報またはその両方を含む操作インターフェースの画像データを合成する画像合成部と、前記操作インターフェースを通じて入力された動作パラメータ値またはコンテンツ選択情報またはその両方を、前記通信部を通じて、対応する情報家電に送信する操作部と、を備えたことを特徴とするシステムが提供される。
【００１１】
第１発明の好ましい実施例によれば、前記マーカが、少なくとも１個の光源と、前記光源を点滅させる光源駆動部と、からなり、前記光源の点滅パターンによって、前記ＭＡＣアドレスまたは前記ＩＰアドレスが表示され、また、別の好ましい実施例によれば、前記光源は、ＬＥＤからなっている。
【００１２】
第１発明のさらに別の好ましい実施例によれば、前記マーカは互いに異なる発光色の複数個の光源を有し、前記ＭＡＣアドレスまたは前記ＩＰアドレスは前記光源の個数に応じて複数の部分に分割され、前記光源の色毎に、その点滅パターンによって前記ＭＡＣアドレスまたは前記ＩＰアドレスの異なる部分が表示され、前記マーカ検出部は、前記光源がそれぞれ表示する前記ＭＡＣアドレスまたは前記ＩＰアドレスの部分を検出し、検出した前記ＭＡＣアドレスまたは前記ＩＰアドレスの部分をそれぞれ所定の順序で組み合わせたものを前記ＭＡＣアドレスまたは前記ＩＰアドレスとして検出する。
【００１３】
第１発明のさらに別の好ましい実施例によれば、前記マーカは互いに異なる発光色の３個の光源を有し、前記３個の光源はそれぞれ三角形の頂点に位置する配置で前記情報家電に備えられ、前記マーカ検出部は、前記情報家電上の前記３個の光源の相対位置に関する参照情報を予め格納した参照位置情報格納部を有し、前記マーカ検出部は、前記画像データ中の前記３個の光源の相対位置を検出し、検出した相対位置の情報を前記参照位置情報格納部から読み出した前記参照情報と比較することにより、前記カメラから前記情報家電までの距離、および前記カメラに対する前記情報家電の向きを検出し、前記画像合成部は、前記操作インターフェースの画像データを、前記情報家電までの距離および前記情報家電の向きに応じてデータ変換した後、前記フレームメモリに格納された画像データに合成する。
【００１４】
第１発明のさらに別の好ましい実施例によれば、前記通信部、前記カメラ、前記Ａ／Ｄ変換器、前記フレームメモリ、前記画像データ出力部、前記Ｄ／Ａ変換器、前記ディスプレイ、前記マーカ検出部、前記情報取得部、前記画像合成部、および前記操作部が、携帯可能な単体のケーシングに組み込まれている。
【００１５】
上記課題を解決するため、第２発明によれば、ネットワークに接続された複数の情報家電を、拡張現実感技術を利用して遠隔操作するシステムであって、前記情報家電に備えられ、少なくとも前記情報家電のＩＤを表示するマーカと、前記ネットワークに接続され、前記情報家電と通信を行う通信部と、操作すべき前記情報家電の前記マーカを含むエリアのビデオ画像を取得するカメラと、前記カメラのビデオ信号をデジタル信号に変換するＡ／Ｄ変換器と、前記Ａ／Ｄ変換器から出力される１フレーム毎の画像データを格納するフレームメモリと、前記フレームメモリに新たな１フレームの画像データが格納されるたびに、最先に格納された１フレームの画像データを出力する画像データ出力部と、前記画像データ出力部の出力端子に接続されたＤ／Ａ変換器と、前記Ｄ／Ａ変換器から出力されたビデオ信号に基づいて画像を表示するディスプレイと、前記Ａ／Ｄ変換器から出力される１フレーム毎の画像データを解析し、当該画像データ中に含まれる前記マーカのＩＤ、および当該画像データ中の当該マーカの位置を検出するマーカ検出部と、前記ＩＤと前記情報家電のネットワーク上のアドレスとの対応関係を記録したテーブルと、前記マーカ検出部が前記マーカを検出したとき、前記テーブルを参照して当該マーカのＩＤに対応する情報家電を特定し、当該情報家電のステータス情報またはコンテンツ情報またはその両方を、前記通信部を通じて取得する情報取得部と、前記マーカ検出部が前記マーカを検出したとき、前記フレームメモリに格納された画像データ中の当該マーカの位置に、対応する前記情報家電のステータス情報またはコンテンツ情報またはその両方を含む操作インターフェースの画像データを合成する画像合成部と、前記操作インターフェースを通じて入力された動作パラメータ値またはコンテンツ選択情報またはその両方を、前記通信部を通じて、対応する情報家電に送信する操作部と、を備えたことを特徴とするシステムが提供される。
【００１６】
第２発明の好ましい実施例によれば、前記マーカが、少なくとも１個の光源と、前記光源を点滅させる光源駆動部と、からなり、前記ＩＤが、前記光源の点滅パターンによって決定され、また、別の好ましい実施例によれば、前記光源は、ＬＥＤからなっている。
【００１７】
第２発明のさらに別の好ましい実施例によれば、前記マーカは互いに異なる発光色の複数個の光源を有し、前記ＩＤは前記光源の個数に応じて複数の部分に分割され、前記光源の色毎に、その点滅パターンによって前記ＩＤの異なる部分が表示され、前記マーカ検出部は、前記光源がそれぞれ表示する前記ＩＤの部分を検出し、検出した前記ＩＤをそれぞれ所定の順序で組み合わせたものを前記ＩＤとして検出する。
【００１８】
第２発明のさらに別の好ましい実施例によれば、前記マーカは互いに異なる発光色の３個の光源を有し、前記３個の光源はそれぞれ三角形の頂点に位置する配置で前記情報家電に備えられ、前記マーカ検出部は、前記情報家電上の前記３個の光源の相対位置に関する参照情報を予め格納した参照位置情報格納部を有し、前記マーカ検出部は、前記画像データ中の前記３個の光源の相対位置を検出し、検出した相対位置の情報を前記参照位置情報格納部から読み出した前記参照情報と比較することにより、前記カメラから前記情報家電までの距離、および前記カメラに対する前記情報家電の向きを検出し、前記画像合成部は、前記操作インターフェースの画像データを、前記情報家電までの距離および前記情報家電の向きに応じてデータ変換した後、前記フレームメモリに格納された画像データに合成する。
【００１９】
第２発明のさらに別の好ましい実施例によれば、前記通信部、前記カメラ、前記Ａ／Ｄ変換器、前記フレームメモリ、前記画像データ出力部、前記Ｄ／Ａ変換器、前記ディスプレイ、前記マーカ検出部、前記テーブル、前記情報取得部、前記画像合成部、および前記操作部が、携帯可能な単体のケーシングに組み込まれている。
【００２０】
第１および第２発明のさらに別の好ましい実施例によれば、前記ネットワークが、ＤＬＮＡ（Digital Living Network Alliance）ガイドラインに準拠したネットワークからなっている。
【発明の効果】
【００２１】
本発明によれば、拡張現実感技術を利用することにより、操作すべき情報家電をカメラで撮影し、撮影したビデオ画像をディスプレイ表示するとともに、当該情報家電が有するマーカを検出し、ビデオ画像中の情報家電の位置に、当該情報家電のステータス情報やコンテンツ情報を操作インターフェースと一緒に合成表示するようにした。したがって、ユーザは、操作すべき情報家電をカメラで撮影し、ディスプレイに表示することで、実際に操作すべき情報家電を目で確認しながら、非常に簡単に遠隔操作することができるので、誤って別の場所にある情報家電を操作してしまうことがない。
【図面の簡単な説明】
【００２２】
【図１】本発明の１実施例による拡張現実感技術を利用した情報家電操作システムの構成を示すブロック図である。
【図２】ＬＥＤの点滅パターンの１例を示す図である。
【図３】携帯可能なリモコンの形態の実施例を示す図である。
【図４】本発明のシステムのディスプレイに表示されたビデオ画像の１例を示す写真である。
【図５】本発明のシステムのディスプレイに表示されたビデオ画像の１例を示す写真である。
【図６】ＤＬＮＡ対応情報家電を相互接続したホームネットワークの１例を示す図である。
【発明を実施するための形態】
【００２３】
以下、添付図面を参照して本発明の好ましい実施例を説明する。図１は、本発明の１実施例による拡張現実感技術を利用した情報家電操作システムの構成を示すブロック図である。図１を参照して、本発明によれば、ネットワーク１５に相互接続された複数の情報家電１４のそれぞれに、少なくとも情報家電１４のＩＤを表示するマーカ１が備えられる。
ネットワーク１５は、この実施例では、ＤＬＮＡ（Digital Living Network Alliance）ガイドラインに準拠したネットワークからなっているが、それとは異なるネットワークであってもよい。
【００２４】
情報家電１４のＩＤは、各情報家電１４を識別可能であれば、どのような構成であってもよく、例えば、互いに異なる数字や文字や記号、あるいは、情報家電１４のＭＡＣアドレスまたは当該ＭＡＣアドレスの一部、またはＩＰアドレスまたは当該ＩＰアドレスの一部から構成することができる。
【００２５】
マーカ１は、この実施例では、単一の光源１ａと、光源１ａを点滅させる光源駆動部１ｂとからなり、光源１ａの点滅パターンによって情報家電１４のＩＤが表示されるようになっている。この場合、光源１ａは、ＬＥＤからなっていることが好ましい。
このように、マーカ１を、点滅するＬＥＤ等の光源１ａから構成することで、暗闇でもマーカ１の検出をすることができ、また、各情報家電１４に大きなマーカを付着する必要がなく、美観も向上する。
【００２６】
光源１ａの点滅は、プリアンブル情報を示す点滅に続いて、ＩＤを表示するパターンで点滅させることによってなされる。例えば、図２に示すように、光源１ａの点灯を「１」、消灯を「０」として、１と０を所定回数繰り返した後に最後に「１」を２回送る点滅パターンＰ１でプリアンブル情報が発信され、プリアンブル情報が送信に続いて、ＩＤを表示する点滅パターンＰ２でＩＤ情報が発信される。
【００２７】
光源１ａの点滅の時間間隔は、後述のカメラ２によって取得されるビデオ画像のビットレートとの関係で最適になるように決定される。すなわち、今、ビデオ画像のビットレートを３０ｆｐｓとすると、光源１ａの点滅の時間間隔は、少なくとも１／３０ｓ以上の長さになるように決定される。例えば、この実施例では、カメラ撮影時のフレームレート（ビデオ画像のビットレート）が１／３０ｓとなり、光源１ａが１／１５ｓ間隔で点滅するよう設定され、それによって、２フレームに１回の割合で光源１ａの点滅状態が検出される。この場合、奇数フレームまたは偶数フレームのどちらを検出対象とするかが、プリアンブル情報を表示する点滅状態が明確に検出される方のフレームがどちらであるかによって決定される。
【００２８】
本発明によれば、ネットワーク１５に接続され、情報家電１４と通信を行う通信部１３が備えられる。通信部１３は、ネットワーク１５に無線接続されることが好ましい。本発明によれば、また、操作すべき情報家電１４のマーカ１を含むエリアのビデオ画像を取得するカメラ２と、カメラ２のビデオ信号をデジタル信号に変換するＡ／Ｄ変換器３と、Ａ／Ｄ変換器３から出力される１フレーム毎の画像データを格納するフレームメモリ４と、フレームメモリ４に新たな１フレームの画像データが格納されるたびに、最先に格納された１フレームの画像データを出力する画像出力部５と、画像出力部５の出力端子に接続されたＤ／Ａ変換器６と、Ｄ／Ａ変換器６から出力されたビデオ信号に基づいて画像を表示するディスプレイ７が備えられる。
【００２９】
さらに、本発明によれば、Ａ／Ｄ変換器３から出力される１フレーム毎の画像データを解析し、当該画像データ中にマーカ１を検出したとき、当該マーカ１のＩＤおよび当該画像データ中の当該マーカ１の位置を検出するマーカ検出部８が備えられる。
【００３０】
マーカ検出部８による画像データの解析は、次のようにしてなされる。まず、１フレーム毎の画像データがモノクロ化された後に比較され、公知の画像認識技術における特徴点抽出アルゴリズムを用いて、それらの画像データ中の変化点が抽出される。この場合、ビデオ画像の撮影中にカメラが移動する場合があるので、画像データ中の予め決定された特徴的な部分が検出され、それらの特徴的な部分が重ね合わされることによって、光源１ａの点滅の変化点が検出される。そして、マーカ１の候補となる画像データ中の複数の検出された変化点がプリアンブル情報に一致したとき、それらの変化点がマーカとして認識され、それに続くＩＤの点滅パターンが検出される。
【００３１】
本発明によれば、また、ＩＤと情報家電１４のネットワーク上のアドレスとの対応関係を記録したテーブル１１と、マーカ検出部８がマーカ１を検出したとき、テーブル１１を参照して、当該マーカ１のＩＤに対応する情報家電１４を特定し、当該情報家電１４のステータス情報またはコンテンツ情報またはその両方を、通信部１３を通じて取得する情報取得部１０と、マーカ検出部８がマーカ１を検出したとき、フレームメモリ４に格納された画像データ中の当該マーカの位置に、対応する情報家電１４のステータス情報またはコンテンツ情報またはその両方を含む操作インターフェース（図３の１６参照）の画像データを合成する画像合成部９が備えられる。
この場合、情報家電１４のＩＤが、ＭＡＣアドレスまたはＩＰアドレスからなっている場合には、テーブル１１は不要でり、情報取得部１０は、マーカ検出部８によって検出された当該マーカのＭＡＣアドレスまたはＩＰアドレスに基づき、対応する情報家電のステータス情報またはコンテンツ情報またはその両方を、通信部１３を通じて取得する。
【００３２】
また、情報家電１４のステータス情報は、情報家電１４の動作状態を示す情報であり、例えば、情報家電１４の現在の動作モードや、情報家電１４の音量レベルおよび音質レベル等が含まれる。また、コンテンツ情報には、情報家電１４に保存された動画や楽曲等のタイトルや再生時間等が含まれる。
【００３３】
さらに、本発明によれば、操作インターフェースを通じて入力された動作パラメータ値またはコンテンツ選択情報またはその両方を、通信部１３を通じて、対応する情報家電１４に送信する操作部１２が備えられる。操作部１２は、押しボタンまたはジョイスティックまたはディスプレイ７に組み込まれたタッチパネルまたはそれらの２以上の組合せを含んでいる。
【００３４】
この実施例では、情報家電１４に備えられるマーカ１を除く全ての構成要素が、図３に示すように、携帯可能な単体のケーシング１７に組み込まれ、１つのリモコンを形成する。それによって、家庭内で必要とする部屋まで手軽に持ち運び、使用することができる。
また、マーカ１を除く全ての構成要素を、市販の携帯電話機やＰＤＡに組み込むこともできる。
【００３５】
こうして、ユーザは、操作すべき情報家電１４をカメラ２で撮影する。このとき、当該情報家電１４に備えられたＬＥＤが必ず撮影されるようにする。このとき、情報家電１４のＬＥＤは、繰り返し点滅し、プリアンブル情報とＩＤを継続的に発信している。
カメラのビデオ信号は、Ａ／Ｄ変換器３によってデジタル信号に変換され、Ａ／Ｄ変換器３から出力される１フレーム毎の画像データがフレームメモリ４に格納される。新たな１フレームの画像データがフレームメモリ４に格納される毎に、画像データ出力部５によって最先に格納された１フレームの画像データがＤ／Ａ変換器６に出力され、Ｄ／Ａ変換器６から出力されたビデオ信号に基づいて、撮影されたビデオ画像がディスプレイ７に表示される。
【００３６】
また、Ａ／Ｄ変換器３から出力される１フレーム毎の画像データがマーカ検出部８によって解析され、情報家電１４のマーカ（光源１ａの点滅パターン）が検出され、マーカのＩＤと画像データ中の位置が検出される。このとき、情報取得部１０によって、当該ＩＤに対応する情報家電（操作すべき情報家電）１４のステータス情報および／またはコンテンツ情報が、通信部１３を通じて取得される。そして、画像合成部９によって、フレームメモリ４に格納された画像データ中の当該ＬＥＤの位置に、操作すべき情報家電１４のステータス情報および／またはコンテンツ情報を含む操作インターフェースの画像データが合成される。その結果、ディスプレイ７画面上のビデオ画像に操作インターフェースが合成表示される。
【００３７】
そして、ユーザは、ディスプレイ７に表示された操作インターフェースを通じ、操作部１２によって、操作すべき情報家電１４の動作パラメータおよび／またはコンテンツ選択情報を入力する。入力された動作パラメータおよび／またはコンテンツ選択情報は、通信部１３を通じて操作すべき情報家電１４に送信され、操作が完了する。
本発明によれば、ユーザは、操作すべき情報家電１４をカメラ２で撮影し、ディスプレイ７に表示することで、実際に操作すべき情報家電を目で確認しながら、非常に簡単に遠隔操作することができるので、誤って別の場所にある情報家電１４を操作してしまうことがない。
【００３８】
以上、本発明の１実施例について説明したが、本発明の構成は上述の実施例に限定されず、特許請求の範囲の記載範囲内で種々の変形例を創作することができる。
例えば、別の好ましい実施例によれば、マーカ１が互いに異なる発光色の複数個の光源１ａから構成され、情報家電１４のＩＤが光源１ａの個数に応じて複数の部分に分割されるとともに、光源１ａの色毎に、その点滅パターンによってＩＤの異なる部分が表示される。そして、マーカ検出部８は、光源１ａがそれぞれ表示するＩＤの部分を検出し、検出したＩＤをそれぞれ所定の順序で組み合わせたものをＩＤとして検出する。この場合、マーカ検出部８は、画像データを、ＲＧＢのチャンネル毎に、上記実施例で単一光源の場合に適用したのと同様の手法で画像解析することによって、各光源１ａの色、画像データ中の各光源１ａの位置、および各光源１ａのＩＤを検出する。
【００３９】
この実施例によれば、１つのＩＤを複数個に分割し、それぞれを同時並行で発信することができ、それによって、ＩＤの送信時間を短縮することができ（例えば、光源１ａが３個であれば、送信時間は１／３に短縮される）、カメラ２による撮影の開始からディスプレイ７上への操作インターフェースの表示までの時間が短縮される。この実施例は、ＩＤとしてＭＡＣアドレス（４８ビット）またはＩＰアドレス（３２ビット）を用いる場合に好適である。
【００４０】
また、別の好ましい実施例によれば、マーカ１が互いに異なる発光色の３個の光源１ａから構成され、それらの光源１ａはそれぞれ三角形の頂点に位置する配置で情報家電１４に備えられる。そして、マーカ検出部８は、情報家電１４上の３個の光源１ａの相対位置に関する参照情報を予め格納した参照位置情報格納部を有する。さらに、マーカ検出部８は、画像データ中の３個の光源１ａの相対位置を検出し、検出した相対位置の情報を参照位置情報格納部から読み出した参照情報と比較することにより、カメラ２から情報家電１４までの距離、およびカメラ２に対する情報家電１４の向きを検出する。
【００４１】
この場合、マーカ検出部８は、画像データを、ＲＧＢのチャンネル毎に、上記実施例で単一光源の場合に適用したのと同様の手法で画像解析することによって、各光源１ａの色、画像データ中の各光源１ａの位置、および各光源１ａのＩＤを検出し、さらに、各光源１ａの相対位置（光源間の距離）を検出する。そして、情報家電１４上における各光源１ａの光源間距離（参照情報）と、撮影画像中の各光源１ａの光源間距離（検出した相対位置の情報）との比較に基づき、カメラ２から情報家電１４までの距離、およびカメラ２に対する情報家電１４の向きが検出される。
そして、画像合成部９は、操作インターフェースの画像データを、情報家電１４までの距離および情報家電１４の向きに応じてデータ変換した後、フレームメモリに格納された画像データに合成する。
【００４２】
この実施例によれば、操作インターフェースを、カメラ撮影された情報家電の映像によりマッチした態様でディスプレイ表示することができ（情報家電が正面を向かず、斜め向きの場合には、それに対応する向きに操作インターフェースも表示され、近くの情報家電の操作インターフェースは遠くの操作インターフェースよりも大きく表示される等。）、それによって、ディスプレイ７を見ながらのより現実感を伴った操作が可能となり、操作性が向上する。
【００４３】
また、マーカ１を光源１ａから構成する代わりに、マーカ１として、例えば、拡張現実感技術において一般に使用されるARToolKit等のマーカを用いてもよい。
【００４４】
［実施例］
次に、本発明の効果を確認すべく、実証実験を行った。実験では、ＤＭＳとしてＤＬＮＡ対応ＨＤＤレコーダを、また、ＤＭＲとして２個のＤＬＮＡ対応スピーカをそれぞれ使用し、これらをネットワークに相互接続し、２個のＤＭＲをＤＭＳの左右に設置した。そして、ＤＭＳおよび２個のＤＭＲのそれぞれに、ＩＤを表示する二次元のマーカを付けた。
また、マーカ以外の本発明の全ての構成要素を備えたＰＤＡをＤＭＣとして使用し、ネットワークに無線接続できるようにした。
【００４５】
そして、ＤＭＣのカメラを作動させ、ＤＭＳ並びにそれに付着したマーカＭ１を撮影し、ＤＭＣのディスプレイにビデオ画像Ｉ１を表示した（図４Ａ参照）。すると、次の瞬間には、ＤＭＣのディスプレイ画面上のＤＭＳのマーカＭ１の位置に、ＤＭＳに保存されたコンテンツのリストＧ１が合成表示された（図４Ｂ参照）。
【００４６】
次に、ＤＭＣのカメラによって、右側のＤＭＲ並びにそれに付着したマーカＭ２を撮影すると、ＤＭＣのディスプレイに表示されたビデオ画像Ｉ２の当該ＤＭＲのマーカＭ２の位置に、現在の音量レベルの表示を含む、音量レベルの変更のための操作インターフェースを含む画像Ｇ２が合成表示された（図５参照）。そして、この操作インターフェースを通じて実際に右側のＤＭＲの音量レベルを変更することができた。左側のＤＭＲについても、同様にして、音量レベルを変更することができた。
【符号の説明】
【００４７】
１ マーカ
１ａ 光源
１ｂ 光源駆動部
２ カメラ
３ Ａ／Ｄ変換器
４ フレームメモリ
５ 画像データ出力部
６ Ｄ／Ａ変換器
７ ディスプレイ
８ マーカ検出部
９ 画像合成部
１０ 情報取得部
１１ テーブル
１２ 操作部
１３ 通信部
１４ 情報家電
１５ ネットワーク
１６ 操作インターフェース
１７ ケーシング
【特許請求の範囲】
【請求項１】
ネットワークに接続された複数の情報家電を、拡張現実感技術を利用して遠隔操作するシステムであって、
前記情報家電に備えられ、少なくとも前記情報家電のＭＡＣアドレスまたはＩＰアドレスを表示するマーカと、
前記ネットワークに接続され、前記情報家電と通信を行う通信部と、
操作すべき前記情報家電の前記マーカを含むエリアのビデオ画像を取得するカメラと、
前記カメラのビデオ信号をデジタル信号に変換するＡ／Ｄ変換器と、
前記Ａ／Ｄ変換器から出力される１フレーム毎の画像データを格納するフレームメモリと、
前記フレームメモリに新たな１フレームの画像データが格納されるたびに、最先に格納された１フレームの画像データを出力する画像データ出力部と、
前記画像データ出力部の出力端子に接続されたＤ／Ａ変換器と、
前記Ｄ／Ａ変換器から出力されたビデオ信号に基づいて画像を表示するディスプレイと、
前記Ａ／Ｄ変換器から出力される１フレーム毎の画像データを解析し、当該画像データ中に含まれる前記マーカのＭＡＣアドレスまたはＩＰアドレスと、当該画像データ中の当該マーカの位置を検出するマーカ検出部と、
前記マーカ検出部が前記マーカを検出したとき、当該マーカのＭＡＣアドレスまたはＩＰアドレスに基づき、対応する情報家電のステータス情報またはコンテンツ情報またはその両方を、前記通信部を通じて取得する情報取得部と、
前記マーカ検出部が前記マーカを検出したとき、前記フレームメモリに格納された画像データ中の当該マーカの位置に、対応する前記情報家電のステータス情報またはコンテンツ情報またはその両方を含む操作インターフェースの画像データを合成する画像合成部と、
前記操作インターフェースを通じて入力された動作パラメータ値またはコンテンツ選択情報またはその両方を、前記通信部を通じて、対応する情報家電に送信する操作部と、を備えたことを特徴とするシステム。
【請求項２】
前記マーカが、
少なくとも１個の光源と、
前記光源を点滅させる光源駆動部と、からなり、
前記光源の点滅パターンによって、前記ＭＡＣアドレスまたは前記ＩＰアドレスが表示されることを特徴とする請求項１に記載のシステム。
【請求項３】
前記光源は、ＬＥＤからなっていることを特徴とする請求項２に記載のシステム。
【請求項４】
前記マーカは互いに異なる発光色の複数個の光源を有し、前記ＭＡＣアドレスまたは前記ＩＰアドレスは前記光源の個数に応じて複数の部分に分割され、前記光源の色毎に、その点滅パターンによって前記ＭＡＣアドレスまたは前記ＩＰアドレスの異なる部分が表示され、前記マーカ検出部は、前記光源がそれぞれ表示する前記ＭＡＣアドレスまたは前記ＩＰアドレスの部分を検出し、検出した前記ＭＡＣアドレスまたは前記ＩＰアドレスの部分をそれぞれ所定の順序で組み合わせたものを前記ＭＡＣアドレスまたは前記ＩＰアドレスとして検出することを特徴とする請求項１〜請求項３のいずれかに記載のシステム。
【請求項５】
前記マーカは互いに異なる発光色の３個の光源を有し、前記３個の光源はそれぞれ三角形の頂点に位置する配置で前記情報家電に備えられ、前記マーカ検出部は、前記情報家電上の前記３個の光源の相対位置に関する参照情報を予め格納した参照位置情報格納部を有し、前記マーカ検出部は、前記画像データ中の前記３個の光源の相対位置を検出し、検出した相対位置の情報を前記参照位置情報格納部から読み出した前記参照情報と比較することにより、前記カメラから前記情報家電までの距離、および前記カメラに対する前記情報家電の向きを検出し、前記画像合成部は、前記操作インターフェースの画像データを、前記情報家電までの距離および前記情報家電の向きに応じてデータ変換した後、前記フレームメモリに格納された画像データに合成することを特徴とする請求項１〜請求項４のいずれかに記載のシステム。
【請求項６】
前記通信部、前記カメラ、前記Ａ／Ｄ変換器、前記フレームメモリ、前記画像データ出力部、前記Ｄ／Ａ変換器、前記ディスプレイ、前記マーカ検出部、前記情報取得部、前記画像合成部、および前記操作部が、携帯可能な単体のケーシングに組み込まれていることを特徴とする請求項１〜請求項５のいずれかに記載のシステム。
【請求項７】
ネットワークに接続された複数の情報家電を、拡張現実感技術を利用して遠隔操作するシステムであって、
前記情報家電に備えられ、少なくとも前記情報家電のＩＤを表示するマーカと、
前記ネットワークに接続され、前記情報家電と通信を行う通信部と、
操作すべき前記情報家電の前記マーカを含むエリアのビデオ画像を取得するカメラと、
前記カメラのビデオ信号をデジタル信号に変換するＡ／Ｄ変換器と、
前記Ａ／Ｄ変換器から出力される１フレーム毎の画像データを格納するフレームメモリと、
前記フレームメモリに新たな１フレームの画像データが格納されるたびに、最先に格納された１フレームの画像データを出力する画像データ出力部と、
前記画像データ出力部の出力端子に接続されたＤ／Ａ変換器と、
前記Ｄ／Ａ変換器から出力されたビデオ信号に基づいて画像を表示するディスプレイと、
前記Ａ／Ｄ変換器から出力される１フレーム毎の画像データを解析し、当該画像データ中に含まれる前記マーカのＩＤ、および当該画像データ中の当該マーカの位置を検出するマーカ検出部と、
前記ＩＤと前記情報家電のネットワーク上のアドレスとの対応関係を記録したテーブルと、
前記マーカ検出部が前記マーカを検出したとき、前記テーブルを参照して当該マーカのＩＤに対応する情報家電を特定し、当該情報家電のステータス情報またはコンテンツ情報またはその両方を、前記通信部を通じて取得する情報取得部と、
前記マーカ検出部が前記マーカを検出したとき、前記フレームメモリに格納された画像データ中の当該マーカの位置に、対応する前記情報家電のステータス情報またはコンテンツ情報またはその両方を含む操作インターフェースの画像データを合成する画像合成部と、
前記操作インターフェースを通じて入力された動作パラメータ値またはコンテンツ選択情報またはその両方を、前記通信部を通じて、対応する情報家電に送信する操作部と、を備えたことを特徴とするシステム。
【請求項８】
前記マーカが、
少なくとも１個の光源と、
前記光源を点滅させる光源駆動部と、からなり、
前記ＩＤが、前記光源の点滅パターンによって決定されることを特徴とする請求項７に記載のシステム。
【請求項９】
前記光源は、ＬＥＤからなっていることを特徴とする請求項８に記載のシステム。
【請求項１０】
前記マーカは互いに異なる発光色の複数個の光源を有し、前記ＩＤは前記光源の個数に応じて複数の部分に分割され、前記光源の色毎に、その点滅パターンによって前記ＩＤの異なる部分が表示され、前記マーカ検出部は、前記光源がそれぞれ表示する前記ＩＤの部分を検出し、検出した前記ＩＤをそれぞれ所定の順序で組み合わせたものを前記ＩＤとして検出することを特徴とする請求項８または請求項９に記載のシステム。
【請求項１１】
前記マーカは互いに異なる発光色の３個の光源を有し、前記３個の光源はそれぞれ三角形の頂点に位置する配置で前記情報家電に備えられ、前記マーカ検出部は、前記情報家電上の前記３個の光源の相対位置に関する参照情報を予め格納した参照位置情報格納部を有し、前記マーカ検出部は、前記画像データ中の前記３個の光源の相対位置を検出し、検出した相対位置の情報を前記参照位置情報格納部から読み出した前記参照情報と比較することにより、前記カメラから前記情報家電までの距離、および前記カメラに対する前記情報家電の向きを検出し、前記画像合成部は、前記操作インターフェースの画像データを、前記情報家電までの距離および前記情報家電の向きに応じてデータ変換した後、前記フレームメモリに格納された画像データに合成することを特徴とする請求項８〜請求項１０のいずれかに記載のシステム。
【請求項１２】
前記通信部、前記カメラ、前記Ａ／Ｄ変換器、前記フレームメモリ、前記画像データ出力部、前記Ｄ／Ａ変換器、前記ディスプレイ、前記マーカ検出部、前記テーブル、前記情報取得部、前記画像合成部、および前記操作部が、携帯可能な単体のケーシングに組み込まれていることを特徴とする請求項７〜請求項１１のいずれかに記載のシステム。
【請求項１３】
前記ネットワークが、ＤＬＮＡ（Digital Living Network Alliance）ガイドラインに準拠したネットワークからなっていることを特徴とする請求項１〜請求項１２のいずれかに記載のシステム。
【請求項１】
ネットワークに接続された複数の情報家電を、拡張現実感技術を利用して遠隔操作するシステムであって、
前記情報家電に備えられ、少なくとも前記情報家電のＭＡＣアドレスまたはＩＰアドレスを表示するマーカと、
前記ネットワークに接続され、前記情報家電と通信を行う通信部と、
操作すべき前記情報家電の前記マーカを含むエリアのビデオ画像を取得するカメラと、
前記カメラのビデオ信号をデジタル信号に変換するＡ／Ｄ変換器と、
前記Ａ／Ｄ変換器から出力される１フレーム毎の画像データを格納するフレームメモリと、
前記フレームメモリに新たな１フレームの画像データが格納されるたびに、最先に格納された１フレームの画像データを出力する画像データ出力部と、
前記画像データ出力部の出力端子に接続されたＤ／Ａ変換器と、
前記Ｄ／Ａ変換器から出力されたビデオ信号に基づいて画像を表示するディスプレイと、
前記Ａ／Ｄ変換器から出力される１フレーム毎の画像データを解析し、当該画像データ中に含まれる前記マーカのＭＡＣアドレスまたはＩＰアドレスと、当該画像データ中の当該マーカの位置を検出するマーカ検出部と、
前記マーカ検出部が前記マーカを検出したとき、当該マーカのＭＡＣアドレスまたはＩＰアドレスに基づき、対応する情報家電のステータス情報またはコンテンツ情報またはその両方を、前記通信部を通じて取得する情報取得部と、
前記マーカ検出部が前記マーカを検出したとき、前記フレームメモリに格納された画像データ中の当該マーカの位置に、対応する前記情報家電のステータス情報またはコンテンツ情報またはその両方を含む操作インターフェースの画像データを合成する画像合成部と、
前記操作インターフェースを通じて入力された動作パラメータ値またはコンテンツ選択情報またはその両方を、前記通信部を通じて、対応する情報家電に送信する操作部と、を備えたことを特徴とするシステム。
【請求項２】
前記マーカが、
少なくとも１個の光源と、
前記光源を点滅させる光源駆動部と、からなり、
前記光源の点滅パターンによって、前記ＭＡＣアドレスまたは前記ＩＰアドレスが表示されることを特徴とする請求項１に記載のシステム。
【請求項３】
前記光源は、ＬＥＤからなっていることを特徴とする請求項２に記載のシステム。
【請求項４】
前記マーカは互いに異なる発光色の複数個の光源を有し、前記ＭＡＣアドレスまたは前記ＩＰアドレスは前記光源の個数に応じて複数の部分に分割され、前記光源の色毎に、その点滅パターンによって前記ＭＡＣアドレスまたは前記ＩＰアドレスの異なる部分が表示され、前記マーカ検出部は、前記光源がそれぞれ表示する前記ＭＡＣアドレスまたは前記ＩＰアドレスの部分を検出し、検出した前記ＭＡＣアドレスまたは前記ＩＰアドレスの部分をそれぞれ所定の順序で組み合わせたものを前記ＭＡＣアドレスまたは前記ＩＰアドレスとして検出することを特徴とする請求項１〜請求項３のいずれかに記載のシステム。
【請求項５】
前記マーカは互いに異なる発光色の３個の光源を有し、前記３個の光源はそれぞれ三角形の頂点に位置する配置で前記情報家電に備えられ、前記マーカ検出部は、前記情報家電上の前記３個の光源の相対位置に関する参照情報を予め格納した参照位置情報格納部を有し、前記マーカ検出部は、前記画像データ中の前記３個の光源の相対位置を検出し、検出した相対位置の情報を前記参照位置情報格納部から読み出した前記参照情報と比較することにより、前記カメラから前記情報家電までの距離、および前記カメラに対する前記情報家電の向きを検出し、前記画像合成部は、前記操作インターフェースの画像データを、前記情報家電までの距離および前記情報家電の向きに応じてデータ変換した後、前記フレームメモリに格納された画像データに合成することを特徴とする請求項１〜請求項４のいずれかに記載のシステム。
【請求項６】
前記通信部、前記カメラ、前記Ａ／Ｄ変換器、前記フレームメモリ、前記画像データ出力部、前記Ｄ／Ａ変換器、前記ディスプレイ、前記マーカ検出部、前記情報取得部、前記画像合成部、および前記操作部が、携帯可能な単体のケーシングに組み込まれていることを特徴とする請求項１〜請求項５のいずれかに記載のシステム。
【請求項７】
ネットワークに接続された複数の情報家電を、拡張現実感技術を利用して遠隔操作するシステムであって、
前記情報家電に備えられ、少なくとも前記情報家電のＩＤを表示するマーカと、
前記ネットワークに接続され、前記情報家電と通信を行う通信部と、
操作すべき前記情報家電の前記マーカを含むエリアのビデオ画像を取得するカメラと、
前記カメラのビデオ信号をデジタル信号に変換するＡ／Ｄ変換器と、
前記Ａ／Ｄ変換器から出力される１フレーム毎の画像データを格納するフレームメモリと、
前記フレームメモリに新たな１フレームの画像データが格納されるたびに、最先に格納された１フレームの画像データを出力する画像データ出力部と、
前記画像データ出力部の出力端子に接続されたＤ／Ａ変換器と、
前記Ｄ／Ａ変換器から出力されたビデオ信号に基づいて画像を表示するディスプレイと、
前記Ａ／Ｄ変換器から出力される１フレーム毎の画像データを解析し、当該画像データ中に含まれる前記マーカのＩＤ、および当該画像データ中の当該マーカの位置を検出するマーカ検出部と、
前記ＩＤと前記情報家電のネットワーク上のアドレスとの対応関係を記録したテーブルと、
前記マーカ検出部が前記マーカを検出したとき、前記テーブルを参照して当該マーカのＩＤに対応する情報家電を特定し、当該情報家電のステータス情報またはコンテンツ情報またはその両方を、前記通信部を通じて取得する情報取得部と、
前記マーカ検出部が前記マーカを検出したとき、前記フレームメモリに格納された画像データ中の当該マーカの位置に、対応する前記情報家電のステータス情報またはコンテンツ情報またはその両方を含む操作インターフェースの画像データを合成する画像合成部と、
前記操作インターフェースを通じて入力された動作パラメータ値またはコンテンツ選択情報またはその両方を、前記通信部を通じて、対応する情報家電に送信する操作部と、を備えたことを特徴とするシステム。
【請求項８】
前記マーカが、
少なくとも１個の光源と、
前記光源を点滅させる光源駆動部と、からなり、
前記ＩＤが、前記光源の点滅パターンによって決定されることを特徴とする請求項７に記載のシステム。
【請求項９】
前記光源は、ＬＥＤからなっていることを特徴とする請求項８に記載のシステム。
【請求項１０】
前記マーカは互いに異なる発光色の複数個の光源を有し、前記ＩＤは前記光源の個数に応じて複数の部分に分割され、前記光源の色毎に、その点滅パターンによって前記ＩＤの異なる部分が表示され、前記マーカ検出部は、前記光源がそれぞれ表示する前記ＩＤの部分を検出し、検出した前記ＩＤをそれぞれ所定の順序で組み合わせたものを前記ＩＤとして検出することを特徴とする請求項８または請求項９に記載のシステム。
【請求項１１】
前記マーカは互いに異なる発光色の３個の光源を有し、前記３個の光源はそれぞれ三角形の頂点に位置する配置で前記情報家電に備えられ、前記マーカ検出部は、前記情報家電上の前記３個の光源の相対位置に関する参照情報を予め格納した参照位置情報格納部を有し、前記マーカ検出部は、前記画像データ中の前記３個の光源の相対位置を検出し、検出した相対位置の情報を前記参照位置情報格納部から読み出した前記参照情報と比較することにより、前記カメラから前記情報家電までの距離、および前記カメラに対する前記情報家電の向きを検出し、前記画像合成部は、前記操作インターフェースの画像データを、前記情報家電までの距離および前記情報家電の向きに応じてデータ変換した後、前記フレームメモリに格納された画像データに合成することを特徴とする請求項８〜請求項１０のいずれかに記載のシステム。
【請求項１２】
前記通信部、前記カメラ、前記Ａ／Ｄ変換器、前記フレームメモリ、前記画像データ出力部、前記Ｄ／Ａ変換器、前記ディスプレイ、前記マーカ検出部、前記テーブル、前記情報取得部、前記画像合成部、および前記操作部が、携帯可能な単体のケーシングに組み込まれていることを特徴とする請求項７〜請求項１１のいずれかに記載のシステム。
【請求項１３】
前記ネットワークが、ＤＬＮＡ（Digital Living Network Alliance）ガイドラインに準拠したネットワークからなっていることを特徴とする請求項１〜請求項１２のいずれかに記載のシステム。
【図１】
【図２】
【図３】
【図６】
【図４】
【図５】
【図２】
【図３】
【図６】
【図４】
【図５】
【公開番号】特開２０１２−３７９１９（Ｐ２０１２−３７９１９Ａ）
【公開日】平成２４年２月２３日（２０１２．２．２３）
【国際特許分類】
【出願番号】特願２０１０−１７４３８３（Ｐ２０１０−１７４３８３）
【出願日】平成２２年８月３日（２０１０．８．３）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り （発表１）２０１０年６月３０日に下記アドレスを通じて発表 ｈｔｔｐｓ：／／ｗｗｗ．ｉｐｓｊ．ｏｒ．ｊｐ／０９ｓｉｇ／ｋａｉｋｏｋｕ／２０１０／ＤＩＣＯＭＯ２０１０．ｈｔｍｌ ｈｔｔｐ：／／ｗｗｗ．ｄｉｃｏｍｏ．ｏｒｇ／２０１０／ ｈｔｔｐ：／／ｗｗｗ２．ｉｎｆｏｎｅｔｓ．ｈｉｒｏｓｈｉｍａ−ｕ．ａｃ．ｊｐ／ｄｉｃｏｍｏ／ｐｒｏｇｒａｍ／ｉｎｄｅｘ＿ａｂｓｔ．ｈｔｍｌ ｈｔｔｐ：／／ｗｗｗ２．ｉｎｆｏｎｅｔｓ．ｈｉｒｏｓｈｉｍａ−ｕ．ａｃ．ｊｐ／ｄｉｃｏｍｏ／ｐｒｏｇｒａｍ／２Ｃ＿ａｂｓｔ．ｈｔｍｌ （発表２）２０１０年６月３０日 社団法人情報処理学会発行の「マルチメディア，分散，協調とモバイル（ＤＩＣＯＭＯ２０１０）シンポジウム アブストラクト集」に発表 （発表３）２０１０年６月３０日 社団法人情報処理学会発行の「マルチメディア，分散，協調とモバイル（ＤＩＣＯＭＯ２０１０）シンポジウム論文集」に発表
【出願人】（５０３０２７９３１）学校法人同志社 (346)
【Ｆターム（参考）】
【公開日】平成２４年２月２３日（２０１２．２．２３）
【国際特許分類】
【出願日】平成２２年８月３日（２０１０．８．３）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り （発表１）２０１０年６月３０日に下記アドレスを通じて発表 ｈｔｔｐｓ：／／ｗｗｗ．ｉｐｓｊ．ｏｒ．ｊｐ／０９ｓｉｇ／ｋａｉｋｏｋｕ／２０１０／ＤＩＣＯＭＯ２０１０．ｈｔｍｌ ｈｔｔｐ：／／ｗｗｗ．ｄｉｃｏｍｏ．ｏｒｇ／２０１０／ ｈｔｔｐ：／／ｗｗｗ２．ｉｎｆｏｎｅｔｓ．ｈｉｒｏｓｈｉｍａ−ｕ．ａｃ．ｊｐ／ｄｉｃｏｍｏ／ｐｒｏｇｒａｍ／ｉｎｄｅｘ＿ａｂｓｔ．ｈｔｍｌ ｈｔｔｐ：／／ｗｗｗ２．ｉｎｆｏｎｅｔｓ．ｈｉｒｏｓｈｉｍａ−ｕ．ａｃ．ｊｐ／ｄｉｃｏｍｏ／ｐｒｏｇｒａｍ／２Ｃ＿ａｂｓｔ．ｈｔｍｌ （発表２）２０１０年６月３０日 社団法人情報処理学会発行の「マルチメディア，分散，協調とモバイル（ＤＩＣＯＭＯ２０１０）シンポジウム アブストラクト集」に発表 （発表３）２０１０年６月３０日 社団法人情報処理学会発行の「マルチメディア，分散，協調とモバイル（ＤＩＣＯＭＯ２０１０）シンポジウム論文集」に発表
【出願人】（５０３０２７９３１）学校法人同志社 (346)
【Ｆターム（参考）】
[ Back to top ]