情報処理装置および情報処理方法
【課題】立体映像として表示された仮想リモコンに対するユーザの直感的な動作内容に応じて所定の処理を実行することにより、ユーザの機器操作に関する利便性を向上させることが可能な、新規かつ改良された情報処理装置を提供する。
【解決手段】遠隔操作装置の立体映像を仮想リモコンとして表示させる画像送出部と、ユーザを撮像する少なくとも１以上の撮像部と、撮像部によって撮像された映像に基づいてユーザの動きを検出する立体画像検出部と、立体画像検出部による検出結果および画像送出部によって表示されている仮想リモコンに配置されている所定の操作ボタンの位置に基づいて、ユーザが仮想リモコンに配置されている所定の操作ボタンを押す動作をしたか否かを判断する命令検出部と、命令検出部による判断結果に基づいて、ユーザが仮想リモコンに対して押す動作をした操作ボタンに対応する所定の処理を実行する命令実行部と、を備えた。
【解決手段】遠隔操作装置の立体映像を仮想リモコンとして表示させる画像送出部と、ユーザを撮像する少なくとも１以上の撮像部と、撮像部によって撮像された映像に基づいてユーザの動きを検出する立体画像検出部と、立体画像検出部による検出結果および画像送出部によって表示されている仮想リモコンに配置されている所定の操作ボタンの位置に基づいて、ユーザが仮想リモコンに配置されている所定の操作ボタンを押す動作をしたか否かを判断する命令検出部と、命令検出部による判断結果に基づいて、ユーザが仮想リモコンに対して押す動作をした操作ボタンに対応する所定の処理を実行する命令実行部と、を備えた。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置および情報処理方法に関する。
【背景技術】
【０００２】
近年、電気機器の機能向上に伴って、電気機器の遠隔操作装置（リモートコントローラ：以下、リモコンと称する）に配置されるボタンも複雑化している。例えば、テレビの場合、単にチャンネルや音声・電源の操作に対応したものに限られず、番組表操作、録画操作、画質・音質切替、お好み設定等、テレビや接続される外部機器の各種機能に対応した操作ボタンが配置されることが多い。また、最低限必要な機能に対応した操作ボタンのみが配置される簡易リモコンもあるが、他の機能を利用する場合には、結局別のリモコンを操作する必要がある。したがって、多種多様な機能を備える電気機器のリモコンは、ユーザにとって利便性に欠けるという問題がある。
【０００３】
ここで、ユーザがリモコンを使用しなくても電気機器に所定の処理を指示することができる技術が、例えば、特許文献１などに開示されている。特許文献１には、ユーザの動作を撮像装置によって捕捉し、ユーザの動作に応じた所定の処理を実行することができる情報処理装置が開示されている。例えば、ＥＹＥＴＯＹ ＰＬＡＹ（ソニー株式会社登録商標）などのようなゲーム機器において、この技術が既に利用されている。ユーザは、リモコンを使用しなくても、希望する処理に対応する動作を身振り手振りで行うことにより、所定の処理をゲーム機器に対して指示することができる。
【０００４】
【特許文献１】特開２００６−０１４８７５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、特許文献１に記載の技術をテレビやパーソナルコンピュータなどのＡＶ機器に応用しても、必ずしもユーザの利便性が向上するとは限らない。なぜなら、ユーザは、機器が備えるすべての機能に対応する複雑な動作をすべて把握しておかなければ、所望する処理を機器に対して指示することができないからである。また、例えば、テレビのように複数の外部機器と接続される電気機器の場合、ユーザに対して、すべての外部機器が備える機能に対応する動作を把握することを要求するのは極めて困難である。すなわち、ユーザは、物理的なリモコンを操作する場合と同様の直感的な動作で機器に対して所定の処理を指示することができない。この結果、ユーザにとっては、結局物理的なリモコンを操作する方が便利であり、上述した技術を効率よく利用することができないという問題があった。
【０００６】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、立体映像として表示された仮想リモコンに対するユーザの直感的な動作内容に応じて所定の処理を実行することにより、ユーザの機器操作に関する利便性を向上させることが可能な、新規かつ改良された情報処理装置および情報処理方法を提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明のある観点によれば、遠隔操作装置の立体映像を仮想リモコンとして表示させる画像送出部と、ユーザを撮像する少なくとも１以上の撮像部と、前記撮像部によって撮像された映像に基づいてユーザの動きを検出する立体画像検出部と、前記立体画像検出部による検出結果および前記画像送出部によって表示されている前記仮想リモコンに配置されている所定の操作ボタンの位置に基づいて、前記ユーザが前記仮想リモコンに配置されている所定の操作ボタンを押す動作をしたか否かを判断する命令検出部と、前記命令検出部による判断結果に基づいて、前記ユーザが前記仮想リモコンに対して押す動作をした操作ボタンに対応する所定の処理を実行する命令実行部と、を備える情報処理装置が提供される。
【０００８】
係る構成により、情報処理装置は、画像送出部により、遠隔操作装置の立体映像を仮想リモコンとして表示させることができる。また、情報処理装置は、少なくとも１以上の撮像部により、ユーザを撮像することができる。また、情報処理装置は、立体画像検出部により、前記撮像部によって撮像された映像に基づいてユーザの動きを検出することができる。また、情報処理装置は、命令検出部により、前記立体画像検出部による検出結果および前記画像送出部によって表示されている前記仮想リモコンに配置されている所定の操作ボタンの位置に基づいて、前記ユーザが前記仮想リモコンに配置されている所定の操作ボタンを押す動作をしたか否かを判断することができる。さらに、情報処理装置は、命令実行部により、前記ユーザが前記仮想リモコンに対して押す動作をした操作ボタンに対応する所定の処理を実行することができる。
【０００９】
また、情報処理装置は、前記撮像部によって撮像された映像に基づいてユーザの体の一部を検出し、あらかじめ登録されたユーザの体の一部に関する情報と比較することにより、前記撮像部の撮像領域にいるユーザを特定する形状検出部をさらに備えてもよい。この場合において、前記画像送出部は、前記形状検出部によって特定されたユーザに適合するあらかじめ登録された仮想リモコンを表示させることもできる。
【００１０】
また、情報処理装置は、音声を集音するマイクロホンを含む集音部と、前記集音部によって集音された音声と、あらかじめ登録されたユーザの音声に関する情報と、を比較することにより、前記集音部によって集音された音声を発生したユーザを特定する音声検出部と、をさらに備えてもよい。この場合において、前記画像送出部は、前記音声検出部によって特定されたユーザに適合するあらかじめ登録された仮想リモコンを表示させることもできる。
【００１１】
また、前記画像送出部は、前記命令検出部による判断結果に基づいて、前記仮想リモコンの形状、該仮想リモコンに配置される操作ボタンの種類や位置を変更することもできる。
【００１２】
また、前記画像送出部は、前記仮想リモコンに配置された操作ボタンのうち、前記命令検出部によってユーザが押す動作をしたと判断された操作ボタンのみの色および／または形状を変更して表示させることもできる。
【００１３】
また、前記画像送出部は、前記立体画像検出部によって検出されたユーザの手元に前記仮想リモコンが表示されるように、前記ユーザの動きにあわせて前記仮想リモコンの表示位置を変更することもできる。
【００１４】
また、前記画像送出部は、前記立体画像検出部によって検出されたユーザの動作が、仮想リモコンの表示位置変更指示に対応するあらかじめ登録された所定の動作と一致した場合、前記ユーザの動作に応じて前記仮想リモコンの表示位置を変更することもできる。
【００１５】
また、前記命令実行部は、前記立体画像検出部によって検出されたユーザの動作が、電源投入指示に対応するあらかじめ登録された所定の動作と一致した場合、前記情報処理装置の電源を投入することもできる。
【００１６】
また、前記命令実行部は、前記音声検出部によって検出された音が、電源投入指示に対応するあらかじめ登録された所定の音と一致した場合、前記情報処理装置の電源を投入することもできる。
【００１７】
また、情報処理装置は、前記情報処理装置と連動して動作する外部機器のリモコン仕様に関する情報を取得する外部機器リモコン仕様入力部をさらに備えてもよい。この場合において、前記画像送出部は、前記外部機器のリモコン仕様に関する情報に基づいて、前記外部機器が備える所定の機能に対応する操作ボタンが配置されている仮想リモコンを表示させることもできる。
【００１８】
また、前記画像送出部は、前記撮像部の撮像領域に複数のユーザがいる場合において、１のユーザの手元のみに該ユーザに適合するあらかじめ登録された仮想リモコンを表示させることもできる。
【００１９】
また、前記画像送出部は、前記撮像部の撮像領域に複数のユーザがいる場合において、各ユーザに適合するあらかじめ登録された仮想リモコンを、各ユーザの手元にそれぞれ同時に表示させることもできる。
【００２０】
また、上記課題を解決するために、本発明の別の観点によれば、遠隔操作装置の立体映像を仮想リモコンとして表示させる画像送出ステップと、少なくとも１以上の撮像部により継続的にユーザを撮像する撮像ステップと、前記撮像ステップによって撮像された映像に基づいてユーザの動きを検出する立体画像検出ステップと、前記立体画像検出ステップによる検出結果および前記画像送出ステップによって表示されている前記仮想リモコンに配置されている所定の操作ボタンの位置に基づいて、前記ユーザが前記仮想リモコンに配置されている所定の操作ボタンを押す動作をしたか否かを判断する命令検出ステップと、前記命令検出ステップによる判断結果に基づいて、前記ユーザが前記仮想リモコンに対して押す動作をした操作ボタンに対応する所定の処理を実行する命令実行ステップと、を含む情報処理方法が提供される。
【発明の効果】
【００２１】
以上説明したように本発明によれば、立体映像として表示された仮想リモコンに対するユーザの直感的な動作内容に応じて所定の処理を実行することにより、ユーザの機器操作に関する利便性を向上させることが可能である。
【発明を実施するための最良の形態】
【００２２】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。また、説明は以下の順序で行うものとする。
１．本発明の実施形態の概要
２．実施形態の１つに係るテレビ１００の機能構成
３．テレビ１００による処理フロー
４．テレビ１００の利用例
５．情報処理装置のハードウェア構成
６．まとめ
【００２３】
（１．本発明の実施形態の概要）
本発明の実施形態の１つに係る情報処理装置の詳細を説明するにあたり、まず本実施形態の概要について説明する。なお、以下の説明においては、本発明の実施形態に係る情報処理装置の一例としてテレビジョン受像機１００（以下、テレビ１００という）について説明するが、本発明はこれに限定されるものではない。本実施形態に係るテレビ１００は、例えば、パーソナルコンピュータ、モニタ装置、ゲーム機器などのように、リモコンを利用して操作指示することが可能な電気機器であれば、特定の情報処理装置に限定されるものではない。
【００２４】
上述したように、近年においては、テレビ、録画再生機器、パーソナルコンピュータなどの各種情報処理装置では機能の多様化に伴い、リモコンに配置される操作ボタンも複雑化している。例えば、テレビなどのように複数の外部機器と接続される電気機器の場合、テレビのリモコンには、テレビが備える多くの機能に対応する操作ボタンのみならず、外部機器が備える各種機能に対応する操作ボタンが配置されることも多い。このような場合、ユーザにとっては、不要な操作ボタンも多く存在し、機器操作に関する利便性が悪いという問題があった。また、ユーザにとって必要な操作ボタンは、情報処理装置を利用するユーザによっても様々であり一律に決定されるものではない。例えば、お年寄りにとって利便性の良いリモコンと、子供にとって利便性の良いリモコンとは異なる。また、テレビと外部接続された再生機器を頻繁に利用するユーザにとって利便性の良いリモコンと、テレビの特定のチャンネルを頻繁に視聴するユーザにとって利便性の良いリモコンとも異なる。
【００２５】
このような問題を解決するには、個々のユーザに適合する物理的なリモコン本体を各ユーザに提供する必要があるが、現実的には困難である。
【００２６】
一方、上述した特許文献１に記載された技術を利用することにより、ユーザの動作を撮像装置で捕捉し、動作に対応した所定の処理を実行することで、物理的なリモコン本体を不要とすることも考えられる。しかしながら、ユーザは、機器が備える機能に対応する動作をすべて把握しておく必要があり、すべてのユーザにとって利便性が良いものではない。例えば、使用する機器のメーカや種類などによってユーザが必要な動作は異なる。したがって、ユーザは、通常の物理的なリモコン本体を操作する時と同じような直感的な動作で、機器に対して所定の処理を指示することができない。この結果、例えば、テレビやパーソナルコンピュータなどのように広く普及している情報処理装置に当該技術を適用しても、機器操作に関する利便性を向上させることはできないという問題があった。
【００２７】
本発明の実施形態の１つに係るテレビ１００はこのような問題を解決することができる。すなわち、本実施形態にかかるテレビ１００は、立体映像として表示された仮想リモコン２００に対するユーザの直感的な動作内容に応じて所定の処理を実行することにより、ユーザの機器操作に関する利便性を向上させることを可能とする。具体的には、テレビ１００は、擬似的なリモコンの立体映像（以下、仮想リモコン２００という）を表示し、撮像装置を備えることにより仮想リモコン２００に配置された操作ボタンに対するユーザの動作を認識し、ユーザの動作に応じた所定の処理を実行する。
【００２８】
より詳細には、テレビ１００は、各種機器に対応した操作ボタンが配置されたリモコンの立体映像を表示し、仮想リモコン２００としてユーザに呈示する。ユーザに対して仮想リモコン２００を呈示する方法としては、例えば、特開２００２−３００６０８号公報に記載のユーザが左右の偏光特性の異なる眼鏡を装着する方法や、特開２００４−７７７７８号公報に記載の眼鏡を必要としない方法などが挙げられる。また、ホログラムの技術を利用することも考えられる。しかしながら、本実施形態においては、リモコンの立体画像をユーザに見せることが可能であれば、立体画像の表示方法は特定の方法に限定されるものではない。
【００２９】
テレビ１００はさらに、撮像装置を備えることによりユーザの動作を撮像することができる。これにより、テレビ１００は、仮想リモコン２００の表示位置におけるユーザの動作を認識することができる。したがって、テレビ１００は、ユーザの動作を撮像することにより、ユーザによる仮想リモコン２００の操作を認識することができる。この結果、テレビ１００は、ユーザによる仮想リモコン２００の操作内容に応じて、所定の処理を実行することができる。すなわち、ユーザは、物理的なリモコン本体を操作する場合と同様の直感的な動作で、テレビ１００に対して所定の処理を指示することが可能である。
【００３０】
ここで、ユーザに呈示される仮想リモコン２００はあくまで擬似的な立体映像であるため、テレビ１００は、各ユーザに適した操作ボタンのみが配置された仮想リモコン２００を表示させることができる。すなわち、テレビ１００は、装置を利用するユーザに応じた仮想リモコン２００を各ユーザに呈示することができる。例えば、お年寄りや子供に対しては単純な操作ボタンのみが配置された仮想リモコン２００を表示させ、外部接続された再生装置を利用するユーザに対しては再生装置が備える機能に対応する操作ボタンのみが配置された仮想リモコン２００を表示させることができる。
【００３１】
また、ユーザの仮想リモコン２００に対する操作内容に応じて、テレビ１００は、ユーザに呈示する仮想リモコン２００を動的に変更させることもできる。例えば、ユーザがテレビのある番組を視聴している場合において再生装置の電源投入ボタンを押す動作をした場合、テレビ１００は、テレビ用の仮想リモコン２００から再生装置用の仮想リモコン２００に自動で表示を切り替えることもできる。
【００３２】
この結果、ユーザは、自分の嗜好や希望する操作に応じた仮想リモコン２００に対して指などを動かすことにより、テレビ１００を操作することができる。すなわち、ユーザは、通常の物理的なリモコンを操作する場合と同様の直感的な動作によってテレビ１００を操作することが可能である。
【００３３】
図１は、このような特徴を有するテレビ１００のユーザによる利用概念を示す説明図である。図１を参照すると、テレビ１００は、ユーザの手元に仮想リモコン２００を表示させていることがわかる。したがって、ユーザは、あたかも実際の物理的なリモコンを操作するのと同じように、直感的に仮想リモコン２００に対して指を動かすことで、テレビ１００に対して所定の処理の実行を指示することができる。
【００３４】
以下、このような特徴を有するテレビ１００の詳細について説明する。
【００３５】
（２．実施形態の１つに係るテレビ１００の機能構成）
次に、本発明の実施形態の１つに係るテレビ１００の機能構成について説明する。図２は、本実施形態に係るテレビ１００の機能構成の一例を示すブロック図である。
【００３６】
図２に示すように、テレビ１００は主に、第１撮像部１０２と、第２撮像部１０４と、形状検出部１０６と、立体画像検出部１０８と、命令検出部１１０と、仮想リモコン造形部１１２と、命令実行部１１４と、画像送出部１１６と、を含んで構成される。また、テレビ１００は、音声認識に関する機能として、集音部１１８と、音声検出部１２０と、をさらに含んで構成される。また、テレビ１００は、外部機器１２４のリモコン仕様を取得する機能として外部機器リモコン仕様入力部１２２をさらに含んで構成される。
【００３７】
テレビ１００を構成するこれらの各機能部は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）によって制御されることにより各種機能を実行する。また、図２に示したテレビ１００の機能構成は、本実施形態を説明する上での一例であり、本発明はこれらに限定されるものではない。すなわち、テレビ１００は、図２に示した機能構成以外にも、例えば、放送受信機能、通信機能、音声出力機能、外部入出力機能、録画機能などの各種機能をさらに備えることも当然に可能である。なお、以下の説明においては、本実施形態の特徴である、仮想リモコン２００に関する処理を中心に、図２に示した各機能構成部の詳細について説明する。
【００３８】
（第１撮像部１０２、第２撮像部１０４）
上述したように、本実施形態に係るテレビ１００は、撮像装置によりユーザの動作を撮像し、ユーザの動作内容に応じた処理を実行する。第１撮像部１０２および第２撮像部１０４は、テレビ１００に備えられる撮像装置である。
【００３９】
第１撮像部１０２および第２撮像部１０４（以下、単に撮像部１０５ともいう）は、被写体からの光を撮像面に結像させるレンズ等の光学系と、撮像面を有するＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）などの撮像素子などからなる。撮像部１０５は、レンズを通して捉えた被写体像を電気信号に変換して出力する。なお、撮像部１０５が備える撮像素子は、ＣＣＤに限定されず、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などであってもよい。また、撮像部１０５により撮像された映像信号は、ＡＤ変換機（図示せず）によりデジタル信号に変換された後に、形状検出部１０６や立体画像検出部１０８へ転送される。
【００４０】
なお、本実施形態に係るテレビ１００は、２つの撮像装置を備えるが、本発明はこれらに限定されるものではない。上述したように、テレビ１００は、撮像部１０５により撮像されたユーザの仮想リモコン２００に対する動作を検出して、動作に応じた処理を実行する。したがって、本実施形態においては、仮想リモコン２００に対するユーザの小さな動きをより正確に認識するために２つの撮像装置を設けている。したがって、テレビ１００は、要求される品質やスペックなどに応じて、１または３以上の撮像装置を備えてもよい。
【００４１】
（形状検出部１０６）
形状検出部１０６は、撮像部１０５によって撮像された映像領域に含まれるユーザの体の一部として、例えば顔を検出する。上述したように、本実施形態に係るテレビ１００は、ユーザに応じて最適な仮想リモコン２００を呈示することを特徴の１つとしている。したがって、テレビ１００は、撮像部１０５によって撮像された映像に含まれるユーザの顔を認識し、認識したユーザに適した仮想リモコン２００を呈示する。
【００４２】
形状検出部１０６は、例えば、撮像部１０５によって撮像された映像に含まれる顔領域を検出し、あらかじめ登録されたユーザの顔と一致するか否かを判断することができる。顔検出の手法としては、例えば、サポートベクターマシン、ブースティング（Ｂｏｏｓｔｉｎｇ）、ニューラルネットワーク、固有顔法（Ｅｉｇｅｎ−Ｆａｃｅｓ）などを用いることができるが、特定の手法に限定されるものではない。また、形状検出部１０６は、肌色検出や赤外線センサなどを利用することにより、撮像画像に含まれるユーザの顔を検出する精度を高めてもよい。
【００４３】
形状検出部１０６によるユーザの顔検出に関する結果は、後述する仮想リモコン造形部１１２へ転送される。これを受けて、仮想リモコン造形部１１２は、形状検出部１０６によって特定されたユーザに適合する仮想リモコン２００を、画像送出部１１６を介してユーザに呈示することができる。
【００４４】
（立体画像検出部１０８）
立体画像検出部１０８は、撮像部１０５によって撮像された映像に基づいて、ユーザの仮想リモコン２００に対する動作を検出する。上述したように、本実施形態に係るテレビ１００は、立体映像として表示された仮想リモコン２００に対するユーザの直感的な動作に応じて、ユーザの仮想リモコン２００に対する操作内容に応じた処理を実行することを特徴の１つとしている。したがって、テレビ１００は、撮像部１０５によって撮像された映像に基づいてユーザの仮想リモコン２００に対する動作を検出し、検出結果に応じて仮想リモコン２００の表示を変更したり、チャンネル変更などのテレビ１００が備える各種機能を実行したりする。
【００４５】
立体画像検出部１０８は、例えば、撮像部１０５によって撮像された所定のフレームと、当該フレームの１つ前に撮像されたフレームと、の映像差分を抽出する、いわゆるフレーム差分法に基づいて、ユーザの手の動きを検出することができる。また、上述したようにテレビ１００は２つの撮像装置を備えている。したがって、立体画像検出部１０８は、例えば、２つの光学系（レンズ）で２つのセンサに対象物を結像させ、センサ上のどの位置に対象物が結像したかにより、対象物までの距離を算出することもできる。
【００４６】
なお、立体画像検出部１０８は、より複雑な検出機能を備えることにより、より正確にユーザの動きを認識することも可能であるが、本発明はユーザの動きの検出精度を向上させることを目的としているわけではないため、詳細は省略する。すなわち、立体画像検出部１０８によるユーザの動き検出方法は、撮像部１０５による撮像領域内のユーザの動きを検出することができるものであれば、特定の検出方法に限定されるものではない。
【００４７】
立体画像検出部１０８によるユーザの動き検出に関する結果は、後述する命令検出部１１０へ転送される。
【００４８】
（命令検出部１１０）
命令検出部１１０は、立体画像検出部１０８から転送されたユーザの動き検出結果に基づいて、仮想リモコン２００に対するユーザの操作内容を認識し、認識結果を命令実行部１１４や仮想リモコン造形部１１２に転送する。
【００４９】
命令検出部１１０は、例えば、ユーザの動きと、ユーザに呈示している仮想リモコン２００の位置関係と、に基づいて、仮想リモコン２００に対するユーザの操作内容を認識することができる。命令検出部１１０は、例えば、ユーザが仮想リモコン２００に配置された所定のチャンネルボタンを押す動作をしたと認識した場合、当該チャンネルへの切り替えを命令実行部１１４に指示する。これを受けて、命令実行部１１４は、チャンネルの切替命令をテレビ１００が備える各機能構成部に対して送信することができる。
【００５０】
また、命令検出部１１０は、仮想リモコン２００に対するユーザの操作内容に応じてユーザに呈示する仮想リモコン２００を変更する必要があると判断した場合、仮想リモコン２００の表示切替を仮想リモコン造形部１１２に指示する。これを受けて仮想リモコン造形部１１２は、ユーザが押す動作をした仮想リモコン２００のボタンの色や形状を変更したり、ユーザが希望するテレビ１００の機能に最も適合した形状の仮想リモコン２００に表示を変更したりすることができる。
【００５１】
（仮想リモコン造形部１１２）
仮想リモコン造形部１１２は、ユーザに呈示する仮想リモコン２００の種類、仮想リモコン２００に配置する操作ボタンの種類や位置などを決定し、画像送出部１１６に対して仮想リモコン２００の表示を指示する。上述したように、本実施形態に係るテレビ１００は、テレビ１００を利用するユーザに適合する仮想リモコン２００を呈示したり、仮想リモコン２００に対するユーザの動作に応じてユーザに呈示する仮想リモコン２００を適宜変更したりすることができる。したがって、テレビ１００は、形状検出部１０６により特定されたユーザに適合する仮想リモコン２００を立体表示させたり、命令検出部１１０による指示に応じて仮想リモコン２００の表示を適宜更新したりする。
【００５２】
ユーザは、例えば、あらかじめ自分に最適なリモコンをテレビ１００に登録しておくことができる。例えば、お年寄りや子供は、チャンネル変更や音量調整などに対応した単純な操作ボタンのみが配置されたリモコン形状をテレビ１００に登録しておくことができる。また、特定のチャンネルを頻繁に視聴するユーザは、おき入りのチャンネルに対応した操作ボタンのみが配置されたリモコン形状をテレビ１００にあらかじめ登録しておいてもよい。仮想リモコン造形部１１２は、形状検出部１０６から転送された検出結果に応じて、形状検出部１０６により特定されたユーザがあらかじめ登録したリモコン形状からなる仮想リモコン２００を生成し、画像送出部１１６を介してユーザに呈示することができる。
【００５３】
また、ユーザは、テレビ１００により呈示された仮想リモコン２００に対して通常の物理的なリモコン本体を操作するのと同じように直感的に指などを動かすことにより、テレビ１００に対して所定の処理を指示することができる。ユーザは、例えば、仮想リモコン２００に配置されているチャンネルボタンを押す動作をすることにより、テレビ１００に対してチャンネル変更を指示することができる。しかしながら、本実施形態においては、仮想リモコン２００は、あくまで実体を持たない擬似的な立体画像であるため、ユーザは仮想リモコン２００の操作内容がテレビ１００に伝わったか否かを判断することが難しいという問題が発生するおそれがある。
【００５４】
本実施形態に係るテレビ１００は、このような問題点も解消することができる。上述したように、立体画像検出部１０８によってユーザの仮想リモコン２００に対する動作が検出された後、命令検出部１１０によってユーザの動作内容に応じた処理の命令が仮想リモコン造形部１１２へ転送される。仮想リモコン造形部１１２は、命令検出部１１０から転送された命令内容に応じて、ユーザに呈示している仮想リモコン２００の表示を変更する。仮想リモコン造形部１１２は、例えば、ユーザが操作したボタンの色や形状を変更したリモコン画像を生成し、ユーザに呈示している仮想リモコン２００の表示を変更することができる。これにより、ユーザは、自分が仮想リモコン２００に対して操作した内容が確実にテレビ１００に伝わったことを認識することができる。
【００５５】
また、ユーザは、仮想リモコン２００に配置されている所定のモードボタンを押す動作をすることにより、テレビ１００に対して所定のモードに対応した仮想リモコン２００への切り替えを指示することもできる。このような場合、仮想リモコン造形部１１２は、命令検出部１１０から転送された命令内容に応じて、ユーザに呈示している仮想リモコン２００の表示を、ユーザによって選択されたモードに対応したリモコン形状からなる仮想リモコン２００へ変更することができる。すなわち、テレビ１００は、仮想リモコン２００に対するユーザの操作に応じて、ユーザが現在利用しているテレビ１００の機能に最も適合したリモコン形状からなる仮想リモコン２００をユーザに呈示することができる。
【００５６】
（命令実行部１１４）
命令実行部１１４は、命令検出部１１０からの指示に応じて、テレビ１００が備える各種機能の実行を各機能構成部に指示する。上述したように、本実施形態に係るテレビ１００は、立体映像として表示された仮想リモコン２００に対するユーザの直感的な動作に応じて、ユーザの仮想リモコン２００に対する操作内容に応じた処理を実行することを特徴の１つとしている。また、上述した撮像部１０５、立体画像検出部１０８および命令検出部１１０などによってユーザによる仮想リモコン２００の操作内容が判断された後、所定の処理の実効命令が命令検出部１１０から命令実行部１１４へ転送される。
【００５７】
これを受けて、命令実行部１１４は、ユーザの仮想リモコン２００に対する操作内容に応じた各種処理の実行をテレビ１００の各機能構成部に指示することができる。命令実行部１１４は、例えば、ユーザによる仮想リモコン２００の操作内容に応じて、チャンネル変更、音量調整、電源オフ、モード切替、データ再生、録画予約、番組表取得、ページ送り等の各種処理の実行を各機能構成部に指示することができる。また、処理の実行に伴ってディスプレイの表示を変更する場合には、命令実行部１１４は、表示切替を画像送出部１１６に指示することもできる。
【００５８】
（画像送出部１１６）
画像送出部１１６は、ユーザが視聴する番組、再生データ、仮想リモコン２００などを立体的に表示する。すなわち、画像送出部１１６は、撮像部１０５によって撮像されたユーザに対して、仮想リモコン造形部１１２によって生成されたリモコン形状からなる立体的な仮想リモコン２００の映像を表示する。また、画像送出部１１６は、例えば、番組や外部接続された再生機器による再生映像などをユーザに対して立体的に表示させてもよく、画像送出部１１６によって表示される映像の種類は特定の映像に限定されるものではない。
【００５９】
また、上述したように、ユーザに対して立体的な映像を呈示する方法としては、ユーザが左右の偏光特性の異なる眼鏡を装着する方法や、視差バリア、レンチキュラ・レンズ、ホログラフィ方式などを利用することにより眼鏡を必要としない方法などが挙げられる。しかしながら、本実施形態においては、リモコンの立体画像をユーザに見せることが可能であれば、立体画像の表示方法は特定の方法に限定されるものではない。
【００６０】
（集音部１１８）
集音部１１８は、テレビ１００の周辺の音声を集音して、音声を電気信号に変換して出力するマイクロホンなどから構成される。上述したように、本実施形態に係るテレビ１００は、形状検出部１０６による顔検出結果に応じて、ユーザに適合する仮想リモコン２００を表示することができる。しかしながら、例えば、ユーザが自分の声などをテレビ１００に登録している場合には、テレビ１００は、集音部１１８によって集音された音声からユーザを特定し、特定したユーザに適合する仮想リモコン２００を表示させてもよい。なお、マイクロホンで集音された音声データはデジタル信号に変換された後、音声検出部１２０へ転送される。
【００６１】
（音声検出部１２０）
音声検出部１２０は、集音部１１８から転送された音声データと、テレビ１００にあらかじめ登録されたユーザの音声データと、を比較することにより、テレビ１００を利用するユーザを特定する。音声検出部１２０は、集音部１１８から転送された音声データに対して、例えば、所定の時間間隔で周波数分析などを行い、スペクトルやその他の音響的特徴量（パラメータ）を抽出する。音声検出部１２０は、抽出したパラメータなどと、あらかじめ登録されたユーザの音声パターンなどとに基づいて、集音部１１８によって集音された音声を認識する。なお、音声検出部１２０による音声認識結果は、仮想リモコン造形部１１２へ転送される。これを受けて、仮想リモコン造形部１１２は、音声検出部１２０によって特定されたユーザに適合する仮想リモコン２００を表示させることができる。
【００６２】
また、テレビ１００の電源が遮断されている場合には、仮想リモコン２００はユーザに呈示されていない状態である。したがって、ユーザは、仮想リモコン２００を操作することができないため仮想リモコン２００を利用してテレビ１００の電源を投入することができない。このような場合、ユーザは、例えば、テレビ１００本体に備えられた主電源ボタン１３０を押すことによりテレビ１００の電源を投入させることもできるが、ユーザにとっては煩わしい動作が必要となる。
【００６３】
このような場合、音声検出部１２０は、テレビ１００の電源投入指示に対応するあらかじめ決定された音声を検出した際に、命令実行部１１４に対してテレビ１００の電源を投入するように指示してもよい。この結果、ユーザは、例えば、両手を「パン・パン」と叩いたり、「電源オン」というフレーズを発生したりすることにより、テレビ１００の電源を投入することができる。なお、音声検出部１２０によって検出された音声に応じて実行される処理は、テレビ１００の電源投入処理に限られない。すなわち、テレビ１００は、音声検出部１２０によって検出された音声に応じて、テレビ１００が備える各種処理を実行してもよい。
【００６４】
なお、音声検出部１２０による音声認識は、特定の認識方法に限定されるものではなく、音声検出部１２０に転送される音声データと、あらかじめ登録されたユーザの音声データとを比較認識することが可能な種々の方式を用いることができる。
【００６５】
（外部機器リモコン仕様入力部１２２）
外部機器リモコン仕様入力部１２２は、テレビ１００と外部接続される外部機器１２４のリモコン仕様に関する情報を取得して、仮想リモコン造形部１１２へ転送する。上述したように、テレビ１００は、テレビ１００が備える各種機能に対応した操作ボタンが配置された仮想リモコン２００をユーザに呈示することができる。しかしながら、近年においては、テレビには、例えば、録画再生装置、衛星放送受信チューナ、スピーカシステム等の複数の外部機器が接続されて、お互いの機器が連動して動作することが多い。また、テレビと接続されるこれらの外部機器にはそれぞれのリモコンが用意されており、ユーザは、利用する機器に応じて適切なリモコンを選択しなければならず煩雑であるという問題があった。また、テレビのリモコンには、録画再生装置の機能に対応する操作ボタンが併せて配置されているものもあるが、１つのリモコンに多くの操作ボタンが配置されているためユーザにとって利便性が良くないという問題もあった。
【００６６】
本実施形態に係るテレビ１００は、このような問題も解消することができる。すなわち、本実施形態に係るテレビ１００は、仮想リモコン２００を立体映像としてユーザに呈示するため、仮想リモコン２００の形状やボタン配置などを自由に変更することができる。すなわち、テレビ１００は、ユーザが録画再生装置を操作したい場合には録画再生装置に対応する仮想リモコン２００を表示し、ユーザがスピーカシステムを操作したい場合にはスピーカシステムに対応する仮想リモコン２００を表示すればよい。
【００６７】
外部機器リモコン仕様入力部１２２は、テレビ１００と接続される外部機器１２４から、テレビ１００と連動して実行可能な機能に関する情報を取得して、仮想リモコン造形部１１２へ転送する。これを受けて、仮想リモコン造形部１１２は、テレビ１００と連動して実行可能な外部機器１２４の機能に対応する操作ボタンが配置された仮想リモコン２００をユーザに呈示することができる。したがって、テレビ１００は、ユーザによる外部機器１２４に対応する仮想リモコン２００に対する操作内容に応じて、外部機器１２４が備える所定の機能をテレビ１００と連動して実行することができる。すなわち、ユーザは、複数の物理的なリモコンを使用することなく、通常のリモコンを操作するのと同じように直感的に指を動かすだけで、テレビ１００および外部機器１２４を操作することができる。
【００６８】
なお、外部機器リモコン仕様入力部１２２は、例えば、外部機器１２４からリモコンに関する情報を取得したり、リモコン仕様をダウンロードしたり、ソフトウェアを更新することによりリモコン仕様を更新したりすることもできる。したがって、テレビ１００に新しい外部機器１２４が接続された場合でも、外部機器リモコン仕様入力部１２２が外部機器１２４のリモコン仕様を取得するだけで、テレビ１００は、外部機器１２４に対応する仮想リモコン２００をユーザに呈示することができる。
【００６９】
以上、本実施形態に係るテレビ１００の機能構成の詳細について説明した。
【００７０】
（３．テレビ１００による処理フロー）
次に、上記のように構成されるテレビ１００によって行われる処理の流れについて図３のフロー図を参照に説明する。図３は、テレビ１００によって行われる処理の流れの一例を示すフロー図である。なお、図に示す処理フローは、テレビ１００の主電源がコンセントに接続された後に、継続的に行われる処理の流れである。
【００７１】
図３に示すように、テレビ１００は、主電源がコンセントに接続された後、ステップ３００において、ユーザから電源投入指示があったか否かを判断する。上述したように、テレビ１００の電源が投入されていない場合、仮想リモコン２００は表示されていない。したがって、ユーザは、仮想リモコン２００を利用してテレビ１００の電源投入を指示することができない。したがって、テレビ１００は、あらかじめ設定された所定の条件をトリガーとしてユーザからの電源投入指示を判断することができる。
【００７２】
例えば、テレビ１００は、単純にテレビ１００に備えられる物理的な主電源ボタン１３０がユーザによって押された場合に、ユーザから電源投入指示があったと判断することができる。しかしながら、このような動作はユーザにとっては煩雑であるため、テレビ１００は、他の手法により、ユーザからの電源投入指示を判断してもよい。
【００７３】
例えば、テレビ１００は、上述した音声検出部１２０による音声検出により、ユーザからの電源投入指示を判断してもよい。テレビ１００は、例えば、「パン・パン」といった手拍子の音や、「電源オン」といったユーザの声を、あらかじめ電源投入指示に対応する音声として登録しておくことができる。この場合、音声検出部１２０は、集音部１１８を介して集音した音声が、「パン・パン」や「電源オン」といった音声であると判断した場合、ユーザからの電源投入指示があったと判断して、命令実行部１１４に対してテレビ１００の電源投入を指示する。
【００７４】
また、テレビ１００は、例えば、上述した形状検出部１０６による形状検出により、ユーザからの電源投入指示を判断してもよい。テレビ１００は、例えば、ユーザの顔や、手を振るなどの所定の動作を、あらかじめ電源投入指示に対応する映像として登録しておくことができる。この場合、形状検出部１０６は、撮像部１０５によって撮像された映像から、登録されているユーザの顔や所定の動作を検出した場合、ユーザからの電源投入指示があったと判断して、命令実行部１１４に対してテレビ１００の電源投入を指示する。
【００７５】
したがって、テレビ１００は、ステップ３００により電源投入指示があったと判断されるまでは、電源投入待機状態となる。一方、ステップ３００により電源投入指示があったと判断された場合、テレビ１００は、ステップ３０２において、電源を投入する。
【００７６】
次に、テレビ１００は、ステップ３０４において、ユーザに呈示する仮想リモコン２００の画像を生成する。なお、仮想リモコン２００の画像生成処理は、上述した仮想リモコン造形部１１２によって行われる。
【００７７】
また、仮想リモコン造形部１１２は、例えば、電源投入指示を行ったユーザに適合する仮想リモコン２００の画像を生成してもよい。上述したステップ３００において、音声検出部１２０による音声検出や形状検出部１０６による検出結果によりユーザを特定できる場合、仮想リモコン造形部１１２は、特定したユーザに適合する仮想リモコン２００の画像を生成することができる。なお、テレビ１００は、あらかじめユーザ毎に適合するリモコン形状や種類を登録して電源投入時に表示してもよいし、前回使用した仮想リモコン２００の形状や種類を次回の電源投入時にユーザに適合する仮想リモコン２００として表示してもよい。
【００７８】
次に、ステップ３０６において、テレビ１００は、画像送出部１１６を介して仮想リモコン造形部１１２で生成された仮想リモコン２００の画像を立体表示させてユーザに呈示する。このとき、画像送出部１１６は、撮像部１０５によって撮像された映像に基づいて検出されたユーザの手元に仮想リモコン２００を表示させてもよい。ユーザの手元に仮想リモコン２００が表示された後は、以下説明するステップ３０８〜ステップ３２２の処理が継続的に行われる。
【００７９】
まず、ステップ３０８において、テレビ１００は、撮像部１０５によって撮像された映像を解析する。具体的には、立体画像検出部１０８は、撮像部１０５によって撮像された映像に基づいて、ユーザの動作を検出し、検出結果を命令検出部１１０へ転送する。
【００８０】
これを受けて命令検出部１１０は、ステップ３１０において、ユーザの動作が仮想リモコン２００に配置された所定の操作ボタンを押す動作であるか否かを判断する。命令検出部１１０は、立体画像検出部１０８によって検出されたユーザの動きや、画像送出部１１６によって表示されている仮想リモコン２００の位置などに基づいて、ユーザが仮想リモコン２００に配置された所定の操作ボタンを押す動作をしたか否かを判断する。
【００８１】
テレビ１００は、ステップ３１０によりユーザが仮想リモコン２００に配置された所定の操作ボタンを押す動作をしたと判断されるまで、撮像画像の解析を継続的に行う。すなわち、仮想リモコン２００の操作待機状態となる。
【００８２】
ステップ３１０によりユーザが仮想リモコン２００に配置された所定の操作ボタンを押す動作をしたと判断された場合、ステップ３１２において、命令検出部１１０は、ユーザの操作内容を認識する。上述したように、命令検出部１１０は、立体画像検出部１０８によって検出されたユーザの動きと、表示されている仮想リモコン２００に配置されている操作ボタンの位置などに基づいて、ユーザがどの操作ボタンを押す動作をしたかを認識することができる。
【００８３】
次に、ステップ３１４において、命令検出部１１０は、ステップ３１２により認識したユーザの操作内容が、電源遮断命令であるか否かを判断する。ユーザは、仮想リモコン２００を操作することによりテレビ１００の電源を遮断することも当然に可能である。したがって、命令検出部１１０は、ユーザによる仮想リモコン２００に対する操作内容が電源遮断命令に関する操作であると判断した場合、命令実行部１１４に対してテレビ１００の電源投入を指示する。
【００８４】
これを受けて命令実行部１１４は、ステップ３２８において、テレビ１００の電源を遮断する。その後は、上述したステップ３００により電源投入指示があったと判断されるまでは、電源投入待機状態となる。
【００８５】
一方、ステップ３１４により電源遮断命令でないと判断された場合、命令検出部１１０は、ステップ３１６において、ステップ３１２により認識したユーザの操作内容が、仮想リモコン２００の消去命令であるか否かを判断する。ユーザは、仮想リモコン２００を操作することにより仮想リモコン２００の表示を消去させることも当然に可能である。ユーザは、例えば、所定のチャンネルを選択して番組を視聴する場合などには、仮想リモコン２００の表示を消去させることができる。したがって、命令検出部１１０は、ユーザによる仮想リモコン２００に対する操作内容が仮想リモコン２００の表示消去命令に関する操作であると判断した場合、命令実行部１１４に対して仮想リモコン２００の表示消去を指示する。
【００８６】
これを受けて命令実行部１１４は、ステップ３２４において、画像送出部１１６を介して仮想リモコン２００の表示を消去する。このとき、テレビ１００は、例えば、消去時の仮想リモコン２００の形状やボタン配置などを記憶しておいてもよい。これにより、テレビ１００は、次回同一ユーザが仮想リモコン２００の表示を指示した際に、前回仮想リモコン２００の表示を消去した際の仮想リモコンを表示させることができる。
【００８７】
一方、ステップ３１６により仮想リモコン２００の消去命令でないと判断された場合、命令検出部１１０は、ステップ３１２による認識結果に関する情報を命令実行部１１４および仮想リモコン造形部１１２へ転送する。
【００８８】
これを受けて命令実行部１１４は、ステップ３１８において、命令検出部１１０から転送された認識結果に基づいて、テレビ１００および外部機器１２４が備える所定の処理の実行を、各機能構成部に指示する。例えば、命令検出部１１０が、ユーザがチャンネル変更の操作ボタンを押す動作をしたと認識した場合、命令実行部１１４は、画像送出部１１６に対してユーザが選択したチャンネルの番組表示を指示する。その他、命令実行部１１４は、ユーザによる仮想リモコン２００に対する操作内容に応じて、テレビ１００および外部機器１２４が備える各種機能に関する処理を各機能構成部に指示することができる。この結果、ユーザは、手元に表示された仮想リモコン２００に配置された操作ボタンを押す動作をすることにより、テレビ１００や外部機器１２４に対して所定の処理を指示することができる。
【００８９】
さらに、ステップ３２０において、仮想リモコン造形部１１２は、命令検出部１１０から転送された認識結果に基づいて、ユーザに呈示する新しい仮想リモコン２００の画像を生成する。例えば、命令検出部１１０が、ユーザがチャンネル変更の操作ボタンを押す動作をしたと認識した場合、仮想リモコン造形部１１２は、ユーザが押す動作をした操作ボタンの色や形状を変更した仮想リモコン２００の画像を生成し、画像送出部１１６を介して表示する。これにより、ユーザは、自分の動作内容が確実にテレビ１００に伝達されたことを視覚的に認識することができる。
【００９０】
また、命令検出部１１０が、ユーザが外部機器１２４の操作モード切替に関する操作ボタンを押す動作をしたと認識した場合、仮想リモコン造形部１１２は、外部機器１２４の操作ボタンが配置された仮想リモコン２００を、画像送出部１１６を介して表示する。これにより、ユーザは、テレビ１００のみならず、外部機器１２４の操作についても、直感的に仮想リモコン２００に配置された操作ボタンを押す動作をすることで操作することができる。
【００９１】
その後、テレビ１００は、ステップ３２２において、ユーザによる仮想リモコン２００に対する操作が、あらかじめ設定された処理時間検出されなかったか否かを判断する。テレビ１００は、例えば、ユーザが一定時間仮想リモコン２００を操作しない場合、自動で仮想リモコン２００を消去してもよい。したがって、ステップ３２２により所定時間ユーザが仮想リモコン２００を操作していないと判断された場合、テレビ１００は、ステップ３２４において、画像送出部１１６を介して仮想リモコン２００の表示を消去する。
【００９２】
一方、ステップ３２２によりユーザが仮想リモコン２００を操作していない時間が、あらかじめ設定された所定時間を経過していないと判断された場合、仮想リモコン２００が継続的に表示され、上述したステップ３０８〜ステップ３２０の処理が繰り返される。
【００９３】
なお、仮想リモコン２００の自動消去処理の有無や、仮想リモコン２００を消去するまでの時間などは、ユーザによって任意に設定・変更することができるものである。したがって、ステップ３２２の処理は任意的な処理であり必ずしも必要な処理ではなく、判断対象となる時間も特定の時間に限定されるものではない。
【００９４】
ここで、ステップ３２４により仮想リモコン２００が消去された場合、テレビ１００は、ステップ３２６において、ユーザから仮想リモコン２００の表示指示があったか否かを判断する。上述したように、ユーザは、番組の視聴中などのように仮想リモコン２００を使用しない場合に仮想リモコン２００の表示を消去させることができる。したがって、ユーザは、仮想リモコン２００を再度利用してテレビ１００に所定の処理を指示したい場合、再度仮想リモコン２００の表示をテレビ１００に対して指示する必要がある。この場合、テレビ１００は、上述したステップ３００による電源投入指示の判断と同様に、あらかじめ設定された所定の条件をトリガーとしてユーザからの仮想リモコン２００の表示指示を判断することができる。
【００９５】
例えば、テレビ１００は、音声検出部１２０による音声検出により、ユーザからの仮想リモコン２００の表示指示を判断したり、形状検出部１０６による形状検出により、ユーザからの仮想リモコン２００の表示指示を判断したりすることができる。
【００９６】
ステップ３２６により仮想リモコン２００の表示指示があったと判断された場合、ステップ３０４〜ステップ３０６により、再度仮想リモコン２００がユーザに呈示される。このとき、テレビ１００は、音声検出または形状検出により特定したユーザに適合した仮想リモコン２００を表示させてもよい。
【００９７】
以上、テレビ１００の主電源がコンセントに接続された後に、継続的に行われる処理の流れの詳細について説明した。テレビ１００は、上記処理を継続的に実行することにより、テレビ１００の電源投入状態において継続的にユーザからの操作指示を受け付けて、仮想リモコン２００の表示を適宜更新したり、ユーザの操作内容に応じた所定の処理を実行したりすることができる。
【００９８】
（４．テレビ１００の利用例）
上述したように、テレビ１００は、物理的なリモコンを一切使用することなく、仮想リモコン２００を表示させることにより、ユーザによる直感的な動作に応じて所定の処理を実行することができる。したがって、テレビ１００は、仮想リモコン２００の種類や表示位置などを工夫することにより、ユーザの操作性に関する利便性をさらに向上させることもできる。以下、本実施形態に係るテレビ１００の特徴を利用することにより、ユーザの機器操作に関する利便性をさらに向上させることが可能な利用例について説明する。
【００９９】
上述したように、テレビ１００は、仮想リモコン２００を立体映像として表示させるため、適宜表示する仮想リモコン２００の種類や、配置される操作ボタンの種類を変更することができる。したがって、ユーザは、仮想リモコン２００に表示されているモード切替ボタンを押す動作をすることにより、容易に仮想リモコン２００の形状やボタン配置を変更させることができる。
【０１００】
図４は、仮想リモコン２００の表示がユーザによって適宜変更されていく様子を示す説明図である。図４に示す例では、例えば、（ｂ）に示すような通常のテレビ１００が備える機能に対応する操作ボタンが配置された仮想リモコン２００が表示されている。ここで、ユーザが、例えば、仮想リモコン２００の左下に配置されている「簡易モード」への切替ボタンを押す動作をした場合、テレビ１００は、上述した処理により、（ａ）に示すような簡易モードに対応した仮想リモコン２００に表示を切り替える。また、ユーザが、例えば、仮想リモコン２００の右下に配置されている「再生モード」への切替ボタンを押す動作をした場合、テレビ１００は、上述した処理により、（ｃ）に示すような外部機器１２４の再生機能に対応した仮想リモコン２００に表示を切り替える。
【０１０１】
このように、ユーザは、希望する操作内容に応じて仮想リモコン２００の表示を適宜切り替えることができる。したがって、従来のように、複数の物理的なリモコンを所持する必要がないため、本実施形態に係るテレビ１００は、ユーザの機器操作に関する利便性を向上させることが可能である。
【０１０２】
また、図４（ｃ）に示した再生モードに対応した仮想リモコン２００に表示される操作ボタンは、テレビ１００と連動して動作する外部機器１２４の仕様によって異なるものである。従来は、新しい外部機器が接続された場合、テレビとは異なる新しい物理的なリモコンが必要となり、ユーザにとっても煩わしいという問題があった。これに対して本実施形態に係るテレビ１００の場合、外部機器１２４のリモコン仕様に関する情報さえ取得すれば、新しく接続された外部機器１２４に対応する仮想リモコン２００も容易に表示させることができる。また、テレビ１００に複数の外部機器１２４が接続される場合であっても、接続されているすべての外部機器１２４のリモコン仕様に関する情報さえ取得すれば、すべての外部機器１２４に対応する仮想リモコン２００を表示させることができる。
【０１０３】
したがって、ユーザは、テレビ１００に複数の外部機器１２４が接続されている場合においても、複数の物理的なリモコンを一切使用する必要がない。すなわち、ユーザは、操作を希望する機器に対応する仮想リモコン２００の表示をテレビ１００に指示し、表示された仮想リモコン２００を押す動作をすることで、外部機器１２４に対しても所定の処理を指示することができる。
【０１０４】
また、仮想リモコン２００の表示を適宜変更することができるという特徴を利用して、テレビ１００は、利用するユーザに適合した仮想リモコン２００を表示させることで、ユーザの機器操作に関する利便性をさらに向上させることが可能である。
【０１０５】
ユーザは、例えば、自己に適合した仮想リモコン２００の形状や、配置される操作ボタンを自由にカスタマイズしてテレビ１００に登録しておくことができる。また、テレビ１００は、上述したように、音声検出や形状検出により、撮像部１０５によって撮像された映像からテレビ１００を利用するユーザを特定することができる。したがって、テレビ１００は、特定したユーザが仮想リモコン２００を登録している場合、登録されている仮想リモコン２００を表示させればよい。
【０１０６】
これにより、ユーザは、自分にとって使い勝手の良いオリジナルの仮想リモコン２００を使用することができる。従来は、複雑な操作ボタンが配置された物理的なリモコンと、簡易な操作ボタンのみが配置された物理的なリモコンとが用意され、機器に詳しいユーザは前者を利用し、お年寄りや子供は後者を利用するなど、ユーザによって複数のリモコンを使い分けていた。また、従来の物理的なリモコンでは、ユーザの嗜好にあわせてお好みチャンネルなどを設定することができた。しかしながら、１つのリモコンを家族などの複数のユーザが使用する場合、リモコンには他人のお好みチャンネルなども設定されているため、ユーザにとって利便性が悪いという問題があった。
【０１０７】
これに対して、本実施形態に係るテレビ１００は、テレビ１００を利用するユーザ毎に異なる仮想リモコン２００を表示させることができる。すなわち、１台のテレビ１００を複数のユーザで使用する場合においても、テレビ１００を使用するユーザ毎に最適の仮想リモコン２００を表示させることができる。この結果、従来のように、複数のユーザが同じ物理的なリモコンを使用する必要がないため、本実施形態に係るテレビ１００は、ユーザの機器操作に関する利便性をさらに向上させることが可能である。
【０１０８】
また、複数のユーザが同時にテレビ１００を使用する場合、テレビ１００は特定のユーザに対してのみ仮想リモコン２００を呈示してもよい。例えば、テレビ１００は、撮像部１０５によって撮像された映像から複数のユーザが検出された場合、１のユーザのみを選出して、該ユーザにのみ仮想リモコン２００を呈示する。
【０１０９】
図５は、複数のユーザのうち１のユーザの手元にのみ仮想リモコン２００を表示させる概念を示す説明図である。図５を参照すると、撮像部１０５の撮像領域には３人のユーザが存在するが、中央に座っているユーザの手元のみに仮想リモコン２００が表示されていることがわかる。したがって、中央に座っているユーザのみが仮想リモコン２００を押す動作をすることにより、テレビ１００に対して所定の処理を指示することができる。また、他のユーザやテレビ１００の前に座っているがテレビ１００を視聴していないユーザの手元には仮想リモコン２００が表示されない。すなわち、テレビ１００は、仮想リモコン２００の利用を希望するユーザに対してのみ仮想リモコン２００を手元に表示させることができ、ユーザの機器操作に関する利便性をさらに向上させることが可能である。
【０１１０】
なお、仮想リモコン２００を表示させるユーザを選出する方法は、特定の方法に限定されるものではなく、テレビ１００は、種々の観点から仮想リモコン２００を表示させるユーザを選出することができる。テレビ１００は、例えば、撮像画像の中心に映っているユーザや、特定の動作をしたユーザや、あらかじめ登録されているユーザと一致したユーザを、仮想リモコン２００を表示させるユーザとして選出してもよい。
【０１１１】
また、複数のユーザが同時にテレビ１００を使用する場合、テレビ１００はユーザ毎に異なる仮想リモコン２００を同時に呈示してもよい。上述したように、テレビ１００は、形状検出部１０６や音声検出部１２０による検出結果と、あらかじめ登録されたユーザ情報と、に基づいて、テレビ１００を使用しているユーザを特定することができる。また、テレビ１００は、ユーザ毎にカスタマイズされた仮想リモコン２００を登録したり、該ユーザが最後に使用した仮想リモコン２００の形状等を記憶したりしておくことができる。したがって、テレビ１００は、撮像部１０５の撮像領域で特定された複数のユーザそれぞれに対して最適な仮想リモコン２００を手元に表示させることができる。
【０１１２】
図６は、テレビ１００を視聴している複数のユーザの手元にそれぞれ異なる仮想リモコン２００を同時に表示させる概念を示す説明図である。図６を参照すると、撮像部１０５の撮像領域には２人のユーザが存在するが、各ユーザの手元には異なる仮想リモコン２００が表示されていることがわかる。これらの仮想リモコン２００は、例えば、各ユーザがテレビ１００に対してあらかじめ登録しておいたカスタマイズされた仮想リモコン２００や、各ユーザが最後に使用した仮想リモコン２００であってもよい。
【０１１３】
このように、テレビ１００は、複数のユーザに対してそれぞれ異なる仮想リモコン２００を同時に表示することができる。したがって、テレビ１００は、例えば、家族でテレビ１００を視聴する場合などにおいても、各ユーザに最も適合した仮想リモコン２００を各ユーザの手元に同時に呈示することができる。この結果、従来のように１の物理的なリモコンに複数のユーザがお好みチャンネルなどを設定する必要がなく、各ユーザは、自分にとって最も操作しやすい形状やボタン配置の仮想リモコン２００を使用することができる。すなわち、本実施形態に係るテレビ１００は、物理的なリモコンなしで複数のユーザそれぞれに最適な仮想リモコン２００を同時に呈示することができ、ユーザの機器操作に関する利便性をさらに向上させることが可能である。
【０１１４】
また、上述したように、テレビ１００がユーザに呈示する仮想リモコン２００はあくまで擬似的な立体映像であって物理的なリモコンではない。したがって、テレビ１００は、仮想リモコン２００の表示位置を自由に変更することもできる。例えば、従来の物理的なリモコンの場合、ユーザはリモコンを手に持って移動しなければ移動先でテレビに対して所定の処理を指示することができなかった。これに対して、本実施形態に係るテレビ１００は、ユーザの位置や動作に応じて、適宜仮想リモコン２００を表示させる位置を変更することができる。
【０１１５】
テレビ１００は、例えば、撮像部１０５の撮像領域内で移動するユーザの手の位置に合わせて仮想リモコン２００の表示位置を適宜変更してもよい。これにより、ユーザがテレビ１００を視聴する位置を変更した場合においても、常にユーザの手元に仮想リモコン２００が表示されることとなる。また、テレビ１００は、例えば、ユーザの動作に合わせて仮想リモコン２００を表示する位置を変更してもよい。テレビ１００は、例えば、ユーザが手を右から左に動かした場合に、仮想リモコン２００の表示を右から左に移動させてもよい。また、テレビ１００は、例えば、ユーザが仮想リモコン２００を手で掴む動作をした場合に、その後のユーザの手の動きに合わせて仮想リモコン２００の表示位置を変更してもよい。また、テレビ１００は、仮想リモコン２００に表示位置変更用の操作ボタンなどを配置することにより、ユーザが当該操作ボタンを押す動作をした場合に、操作内容に応じて仮想リモコン２００の表示位置を変更してもよい。
【０１１６】
このように、テレビ１００は、擬似的な立体映像である仮想リモコン２００の表示位置を適宜変更することができるため、ユーザの機器操作に関する利便性をさらに向上させることが可能である。
【０１１７】
（５．情報処理装置のハードウェア構成）
次に、図７を参照しながら、本実施形態に係る情報処理装置のハードウェア構成について、詳細に説明する。図７は、本実施形態に係る情報処理装置のハードウェア構成を説明するためのブロック図である。
【０１１８】
本実施形態に係る情報処理装置は主に、ＣＰＵ９０１、ＲＯＭ９０３、ＲＡＭ９０５、ブリッジ９０９、インターフェース９１３、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２３、および通信装置９２５を備える。
【０１１９】
ＣＰＵ９０１は、演算処理装置および制御装置として機能し、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１９、またはリムーバブル記録媒体９２７に記録された各種プログラムに従って、情報処理装置内の動作全般またはその一部を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０５は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一次記憶する。これらはＣＰＵバス等の内部バスにより構成されるホストバス９０７により相互に接続されている。
【０１２０】
入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなどユーザが操作する操作手段である。さらに、入力装置９１５は、例えば、上記の操作手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などから構成されている。
【０１２１】
出力装置９１７は、上述した仮想リモコン２００などを立体的に表示させることができ、例えば、ＣＲＴディスプレイ、液晶ディスプレイ、プラズマディスプレイ、ＥＬディスプレイなどの表示装置などを含んで構成される。また、出力装置９１７は、スピーカなどの音声出力装置など、取得した情報をユーザに対して聴覚的に通知することが可能な装置も含んで構成される。
【０１２２】
ストレージ装置９１９は、本実施形態に係る情報処理装置の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイス等により構成される。
【０１２３】
ドライブ９２１は、記録媒体用リーダライタであり、本実施形態に係る情報処理装置に内蔵、あるいは外付けされる。ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０５に出力する。また、ドライブ９２１は、装着されているリムーバブル記録媒体９２７にデータなどを書き込むことも可能である。
【０１２４】
接続ポート９２３は、例えば、ＵＳＢポート、光オーディオ端子、ＩＥＥＥ１３９４ポート、ＳＣＳＩポート、ＨＤＭＩポート等の、外部機器１２４に直接接続するためのポートである。この接続ポート９２３に外部機器１２４を接続することで、上述したテレビ１００は、外部機器１２４からリモコン仕様に関する情報などを取得することができる。
【０１２５】
通信装置９２５は、例えば、通信網９３１に接続するための通信デバイス等で構成された通信インターフェースである。通信装置９２５は、例えば、有線または無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ、光通信用のルータ、ＡＤＳＬ用のルータ、または各種通信用のモデム等である。また、通信装置９２５に接続される通信網９３１は、有線または無線によって接続されたネットワーク等により構成され、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信または衛星通信等であってもよい。
【０１２６】
以上、本発明の実施形態の１つに係る情報処理装置の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
【０１２７】
（６．まとめ）
以上、本発明の実施形態の１つに係る情報処理装置として、テレビ１００の例を中心に説明した。上述したように、本実施形態に係る情報処理装置は、情報処理装置が備える各種機能に対応した操作ボタンが配置されたリモコンの擬似的な立体映像を仮想リモコンとしてユーザに呈示することができる。これにより、ユーザは、物理的なリモコンを使用する必要がなくなる。また、本実施形態に係る情報処理装置は、撮像装置を備えることによりユーザの仮想リモコンに対する動作を検出することができる。これにより、ユーザは、物理的なリモコンを操作するのと同じように、直感的に仮想リモコンに配置された操作ボタンを押す動作をすることにより、情報処理装置に対して所定の処理の実行を指示することができる。また、本実施形態に係る情報処理装置は、表示する仮想リモコンの種類や位置などを適宜変更することができる。すなわち、本実施形態に係る情報処理装置は、ユーザ毎に最適な仮想リモコンを表示したり、特定のユーザのみに仮想リモコンを表示したり、複数のユーザに同時に異なる仮想リモコンを表示したり、ユーザの位置に応じて仮想リモコンの位置を変更したりできる。以上のように、本実施形態に係る情報処理装置は、立体映像として表示された仮想リモコンに対するユーザの直感的な動作内容に応じて所定の処理を実行することにより、ユーザの機器操作に関する利便性を向上させることが可能である。
【０１２８】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【０１２９】
例えば、上記実施形態において例示した仮想リモコン２００の形状、ボタンの種類や配置などは、上述した実施形態を説明する上での一例であって、本発明はこれらに限定されるものではない。すなわち、情報処理装置は、ユーザによるカスタマイズ設定などに応じて自由に仮想リモコン２００の形状、ボタンの種類や配置などを変更したり、外部機器のリモコン仕様を取得することにより新しい仮想リモコン２００を表示させたりすることができる。これは、本発明の特徴の１つである仮想リモコン２００が、あくまで擬似的な立体映像であることを利用したものであり、従来の物理的なリモコンでは実現し得なかったことである。
【０１３０】
また、例えば、上記実施形態では、形状検出部１０６によるユーザの特定方法としてユーザの顔検出を例に説明したが、本発明はこれに限定されるものではない。例えば、形状検出部１０６は、ユーザの手の映像などをあらかじめ登録しておき、撮像部１０５によって撮像された手と比較することにより、テレビ１００を利用するユーザを特定してもよい。このように、形状検出部１０６は、あらかじめ登録された形状と、撮像部１０５により撮像された映像に含まれるユーザの体の一部の形状と、を比較することによりユーザを特定することが可能であれば、判断対象となる形状は特定の形状に限定されるものではない。
【０１３１】
また、上記実施形態において例示したユーザに立体映像を表示させる方法や、撮像データに基づく動き検出方法や、音声認識方法などは、上記実施形態を説明する上での一例であり、本発明はこれらに限定されるものではない。すなわち、ユーザに対して立体映像を表示させることが可能であれば眼鏡の利用の有無などは限定されるものではない。また、ユーザの動きや音声を認識することが可能であれば特定の手法に限定されるものではなく、情報処理装置に要求されるスペックなどに応じて種々の検出方法や認識方法を利用することができる。
【０１３２】
また、本明細書において、フロー図またはシーケンス図に記述されたステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的に又は個別的に実行される処理をも含む。また時系列的に処理されるステップでも、場合によっては適宜順序を変更することが可能であることは言うまでもない。
【図面の簡単な説明】
【０１３３】
【図１】本発明の実施形態の１つに係るテレビ１００のユーザによる利用概念を示す説明図である。
【図２】同実施形態に係るテレビ１００の機能構成の一例を示すブロック図である
【図３】同実施形態に係るテレビ１００によって行われる処理の流れの一例を示すフロー図である。
【図４】同実施形態において、仮想リモコン２００の表示がユーザによって適宜変更されていく様子を示す説明図である。
【図５】同実施形態において、複数のユーザのうち１のユーザの手元にのみ仮想リモコン２００を表示させる概念を示す説明図である。
【図６】同実施形態において、テレビ１００を視聴している複数のユーザの手元にそれぞれ異なる仮想リモコン２００を同時に表示させる概念を示す説明図である。
【図７】同実施形態に係るテレビ１００のハードウェア構成の一例を示すブロック図である。
【符号の説明】
【０１３４】
１００ テレビ
１０２ 第１撮像部
１０４ 第２撮像部
１０５ 撮像部
１０６ 形状検出部
１０８ 立体画像検出部
１１０ 命令検出部
１１２ 仮想リモコン造形部
１１４ 命令実行部
１１６ 画像送出部
１１８ 集音部
１２０ 音声検出部
１２２ 外部機器リモコン仕様入力部
１２４ 外部機器
１３０ 主電源ボタン
２００ 仮想リモコン
【技術分野】
【０００１】
本発明は、情報処理装置および情報処理方法に関する。
【背景技術】
【０００２】
近年、電気機器の機能向上に伴って、電気機器の遠隔操作装置（リモートコントローラ：以下、リモコンと称する）に配置されるボタンも複雑化している。例えば、テレビの場合、単にチャンネルや音声・電源の操作に対応したものに限られず、番組表操作、録画操作、画質・音質切替、お好み設定等、テレビや接続される外部機器の各種機能に対応した操作ボタンが配置されることが多い。また、最低限必要な機能に対応した操作ボタンのみが配置される簡易リモコンもあるが、他の機能を利用する場合には、結局別のリモコンを操作する必要がある。したがって、多種多様な機能を備える電気機器のリモコンは、ユーザにとって利便性に欠けるという問題がある。
【０００３】
ここで、ユーザがリモコンを使用しなくても電気機器に所定の処理を指示することができる技術が、例えば、特許文献１などに開示されている。特許文献１には、ユーザの動作を撮像装置によって捕捉し、ユーザの動作に応じた所定の処理を実行することができる情報処理装置が開示されている。例えば、ＥＹＥＴＯＹ ＰＬＡＹ（ソニー株式会社登録商標）などのようなゲーム機器において、この技術が既に利用されている。ユーザは、リモコンを使用しなくても、希望する処理に対応する動作を身振り手振りで行うことにより、所定の処理をゲーム機器に対して指示することができる。
【０００４】
【特許文献１】特開２００６−０１４８７５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、特許文献１に記載の技術をテレビやパーソナルコンピュータなどのＡＶ機器に応用しても、必ずしもユーザの利便性が向上するとは限らない。なぜなら、ユーザは、機器が備えるすべての機能に対応する複雑な動作をすべて把握しておかなければ、所望する処理を機器に対して指示することができないからである。また、例えば、テレビのように複数の外部機器と接続される電気機器の場合、ユーザに対して、すべての外部機器が備える機能に対応する動作を把握することを要求するのは極めて困難である。すなわち、ユーザは、物理的なリモコンを操作する場合と同様の直感的な動作で機器に対して所定の処理を指示することができない。この結果、ユーザにとっては、結局物理的なリモコンを操作する方が便利であり、上述した技術を効率よく利用することができないという問題があった。
【０００６】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、立体映像として表示された仮想リモコンに対するユーザの直感的な動作内容に応じて所定の処理を実行することにより、ユーザの機器操作に関する利便性を向上させることが可能な、新規かつ改良された情報処理装置および情報処理方法を提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明のある観点によれば、遠隔操作装置の立体映像を仮想リモコンとして表示させる画像送出部と、ユーザを撮像する少なくとも１以上の撮像部と、前記撮像部によって撮像された映像に基づいてユーザの動きを検出する立体画像検出部と、前記立体画像検出部による検出結果および前記画像送出部によって表示されている前記仮想リモコンに配置されている所定の操作ボタンの位置に基づいて、前記ユーザが前記仮想リモコンに配置されている所定の操作ボタンを押す動作をしたか否かを判断する命令検出部と、前記命令検出部による判断結果に基づいて、前記ユーザが前記仮想リモコンに対して押す動作をした操作ボタンに対応する所定の処理を実行する命令実行部と、を備える情報処理装置が提供される。
【０００８】
係る構成により、情報処理装置は、画像送出部により、遠隔操作装置の立体映像を仮想リモコンとして表示させることができる。また、情報処理装置は、少なくとも１以上の撮像部により、ユーザを撮像することができる。また、情報処理装置は、立体画像検出部により、前記撮像部によって撮像された映像に基づいてユーザの動きを検出することができる。また、情報処理装置は、命令検出部により、前記立体画像検出部による検出結果および前記画像送出部によって表示されている前記仮想リモコンに配置されている所定の操作ボタンの位置に基づいて、前記ユーザが前記仮想リモコンに配置されている所定の操作ボタンを押す動作をしたか否かを判断することができる。さらに、情報処理装置は、命令実行部により、前記ユーザが前記仮想リモコンに対して押す動作をした操作ボタンに対応する所定の処理を実行することができる。
【０００９】
また、情報処理装置は、前記撮像部によって撮像された映像に基づいてユーザの体の一部を検出し、あらかじめ登録されたユーザの体の一部に関する情報と比較することにより、前記撮像部の撮像領域にいるユーザを特定する形状検出部をさらに備えてもよい。この場合において、前記画像送出部は、前記形状検出部によって特定されたユーザに適合するあらかじめ登録された仮想リモコンを表示させることもできる。
【００１０】
また、情報処理装置は、音声を集音するマイクロホンを含む集音部と、前記集音部によって集音された音声と、あらかじめ登録されたユーザの音声に関する情報と、を比較することにより、前記集音部によって集音された音声を発生したユーザを特定する音声検出部と、をさらに備えてもよい。この場合において、前記画像送出部は、前記音声検出部によって特定されたユーザに適合するあらかじめ登録された仮想リモコンを表示させることもできる。
【００１１】
また、前記画像送出部は、前記命令検出部による判断結果に基づいて、前記仮想リモコンの形状、該仮想リモコンに配置される操作ボタンの種類や位置を変更することもできる。
【００１２】
また、前記画像送出部は、前記仮想リモコンに配置された操作ボタンのうち、前記命令検出部によってユーザが押す動作をしたと判断された操作ボタンのみの色および／または形状を変更して表示させることもできる。
【００１３】
また、前記画像送出部は、前記立体画像検出部によって検出されたユーザの手元に前記仮想リモコンが表示されるように、前記ユーザの動きにあわせて前記仮想リモコンの表示位置を変更することもできる。
【００１４】
また、前記画像送出部は、前記立体画像検出部によって検出されたユーザの動作が、仮想リモコンの表示位置変更指示に対応するあらかじめ登録された所定の動作と一致した場合、前記ユーザの動作に応じて前記仮想リモコンの表示位置を変更することもできる。
【００１５】
また、前記命令実行部は、前記立体画像検出部によって検出されたユーザの動作が、電源投入指示に対応するあらかじめ登録された所定の動作と一致した場合、前記情報処理装置の電源を投入することもできる。
【００１６】
また、前記命令実行部は、前記音声検出部によって検出された音が、電源投入指示に対応するあらかじめ登録された所定の音と一致した場合、前記情報処理装置の電源を投入することもできる。
【００１７】
また、情報処理装置は、前記情報処理装置と連動して動作する外部機器のリモコン仕様に関する情報を取得する外部機器リモコン仕様入力部をさらに備えてもよい。この場合において、前記画像送出部は、前記外部機器のリモコン仕様に関する情報に基づいて、前記外部機器が備える所定の機能に対応する操作ボタンが配置されている仮想リモコンを表示させることもできる。
【００１８】
また、前記画像送出部は、前記撮像部の撮像領域に複数のユーザがいる場合において、１のユーザの手元のみに該ユーザに適合するあらかじめ登録された仮想リモコンを表示させることもできる。
【００１９】
また、前記画像送出部は、前記撮像部の撮像領域に複数のユーザがいる場合において、各ユーザに適合するあらかじめ登録された仮想リモコンを、各ユーザの手元にそれぞれ同時に表示させることもできる。
【００２０】
また、上記課題を解決するために、本発明の別の観点によれば、遠隔操作装置の立体映像を仮想リモコンとして表示させる画像送出ステップと、少なくとも１以上の撮像部により継続的にユーザを撮像する撮像ステップと、前記撮像ステップによって撮像された映像に基づいてユーザの動きを検出する立体画像検出ステップと、前記立体画像検出ステップによる検出結果および前記画像送出ステップによって表示されている前記仮想リモコンに配置されている所定の操作ボタンの位置に基づいて、前記ユーザが前記仮想リモコンに配置されている所定の操作ボタンを押す動作をしたか否かを判断する命令検出ステップと、前記命令検出ステップによる判断結果に基づいて、前記ユーザが前記仮想リモコンに対して押す動作をした操作ボタンに対応する所定の処理を実行する命令実行ステップと、を含む情報処理方法が提供される。
【発明の効果】
【００２１】
以上説明したように本発明によれば、立体映像として表示された仮想リモコンに対するユーザの直感的な動作内容に応じて所定の処理を実行することにより、ユーザの機器操作に関する利便性を向上させることが可能である。
【発明を実施するための最良の形態】
【００２２】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。また、説明は以下の順序で行うものとする。
１．本発明の実施形態の概要
２．実施形態の１つに係るテレビ１００の機能構成
３．テレビ１００による処理フロー
４．テレビ１００の利用例
５．情報処理装置のハードウェア構成
６．まとめ
【００２３】
（１．本発明の実施形態の概要）
本発明の実施形態の１つに係る情報処理装置の詳細を説明するにあたり、まず本実施形態の概要について説明する。なお、以下の説明においては、本発明の実施形態に係る情報処理装置の一例としてテレビジョン受像機１００（以下、テレビ１００という）について説明するが、本発明はこれに限定されるものではない。本実施形態に係るテレビ１００は、例えば、パーソナルコンピュータ、モニタ装置、ゲーム機器などのように、リモコンを利用して操作指示することが可能な電気機器であれば、特定の情報処理装置に限定されるものではない。
【００２４】
上述したように、近年においては、テレビ、録画再生機器、パーソナルコンピュータなどの各種情報処理装置では機能の多様化に伴い、リモコンに配置される操作ボタンも複雑化している。例えば、テレビなどのように複数の外部機器と接続される電気機器の場合、テレビのリモコンには、テレビが備える多くの機能に対応する操作ボタンのみならず、外部機器が備える各種機能に対応する操作ボタンが配置されることも多い。このような場合、ユーザにとっては、不要な操作ボタンも多く存在し、機器操作に関する利便性が悪いという問題があった。また、ユーザにとって必要な操作ボタンは、情報処理装置を利用するユーザによっても様々であり一律に決定されるものではない。例えば、お年寄りにとって利便性の良いリモコンと、子供にとって利便性の良いリモコンとは異なる。また、テレビと外部接続された再生機器を頻繁に利用するユーザにとって利便性の良いリモコンと、テレビの特定のチャンネルを頻繁に視聴するユーザにとって利便性の良いリモコンとも異なる。
【００２５】
このような問題を解決するには、個々のユーザに適合する物理的なリモコン本体を各ユーザに提供する必要があるが、現実的には困難である。
【００２６】
一方、上述した特許文献１に記載された技術を利用することにより、ユーザの動作を撮像装置で捕捉し、動作に対応した所定の処理を実行することで、物理的なリモコン本体を不要とすることも考えられる。しかしながら、ユーザは、機器が備える機能に対応する動作をすべて把握しておく必要があり、すべてのユーザにとって利便性が良いものではない。例えば、使用する機器のメーカや種類などによってユーザが必要な動作は異なる。したがって、ユーザは、通常の物理的なリモコン本体を操作する時と同じような直感的な動作で、機器に対して所定の処理を指示することができない。この結果、例えば、テレビやパーソナルコンピュータなどのように広く普及している情報処理装置に当該技術を適用しても、機器操作に関する利便性を向上させることはできないという問題があった。
【００２７】
本発明の実施形態の１つに係るテレビ１００はこのような問題を解決することができる。すなわち、本実施形態にかかるテレビ１００は、立体映像として表示された仮想リモコン２００に対するユーザの直感的な動作内容に応じて所定の処理を実行することにより、ユーザの機器操作に関する利便性を向上させることを可能とする。具体的には、テレビ１００は、擬似的なリモコンの立体映像（以下、仮想リモコン２００という）を表示し、撮像装置を備えることにより仮想リモコン２００に配置された操作ボタンに対するユーザの動作を認識し、ユーザの動作に応じた所定の処理を実行する。
【００２８】
より詳細には、テレビ１００は、各種機器に対応した操作ボタンが配置されたリモコンの立体映像を表示し、仮想リモコン２００としてユーザに呈示する。ユーザに対して仮想リモコン２００を呈示する方法としては、例えば、特開２００２−３００６０８号公報に記載のユーザが左右の偏光特性の異なる眼鏡を装着する方法や、特開２００４−７７７７８号公報に記載の眼鏡を必要としない方法などが挙げられる。また、ホログラムの技術を利用することも考えられる。しかしながら、本実施形態においては、リモコンの立体画像をユーザに見せることが可能であれば、立体画像の表示方法は特定の方法に限定されるものではない。
【００２９】
テレビ１００はさらに、撮像装置を備えることによりユーザの動作を撮像することができる。これにより、テレビ１００は、仮想リモコン２００の表示位置におけるユーザの動作を認識することができる。したがって、テレビ１００は、ユーザの動作を撮像することにより、ユーザによる仮想リモコン２００の操作を認識することができる。この結果、テレビ１００は、ユーザによる仮想リモコン２００の操作内容に応じて、所定の処理を実行することができる。すなわち、ユーザは、物理的なリモコン本体を操作する場合と同様の直感的な動作で、テレビ１００に対して所定の処理を指示することが可能である。
【００３０】
ここで、ユーザに呈示される仮想リモコン２００はあくまで擬似的な立体映像であるため、テレビ１００は、各ユーザに適した操作ボタンのみが配置された仮想リモコン２００を表示させることができる。すなわち、テレビ１００は、装置を利用するユーザに応じた仮想リモコン２００を各ユーザに呈示することができる。例えば、お年寄りや子供に対しては単純な操作ボタンのみが配置された仮想リモコン２００を表示させ、外部接続された再生装置を利用するユーザに対しては再生装置が備える機能に対応する操作ボタンのみが配置された仮想リモコン２００を表示させることができる。
【００３１】
また、ユーザの仮想リモコン２００に対する操作内容に応じて、テレビ１００は、ユーザに呈示する仮想リモコン２００を動的に変更させることもできる。例えば、ユーザがテレビのある番組を視聴している場合において再生装置の電源投入ボタンを押す動作をした場合、テレビ１００は、テレビ用の仮想リモコン２００から再生装置用の仮想リモコン２００に自動で表示を切り替えることもできる。
【００３２】
この結果、ユーザは、自分の嗜好や希望する操作に応じた仮想リモコン２００に対して指などを動かすことにより、テレビ１００を操作することができる。すなわち、ユーザは、通常の物理的なリモコンを操作する場合と同様の直感的な動作によってテレビ１００を操作することが可能である。
【００３３】
図１は、このような特徴を有するテレビ１００のユーザによる利用概念を示す説明図である。図１を参照すると、テレビ１００は、ユーザの手元に仮想リモコン２００を表示させていることがわかる。したがって、ユーザは、あたかも実際の物理的なリモコンを操作するのと同じように、直感的に仮想リモコン２００に対して指を動かすことで、テレビ１００に対して所定の処理の実行を指示することができる。
【００３４】
以下、このような特徴を有するテレビ１００の詳細について説明する。
【００３５】
（２．実施形態の１つに係るテレビ１００の機能構成）
次に、本発明の実施形態の１つに係るテレビ１００の機能構成について説明する。図２は、本実施形態に係るテレビ１００の機能構成の一例を示すブロック図である。
【００３６】
図２に示すように、テレビ１００は主に、第１撮像部１０２と、第２撮像部１０４と、形状検出部１０６と、立体画像検出部１０８と、命令検出部１１０と、仮想リモコン造形部１１２と、命令実行部１１４と、画像送出部１１６と、を含んで構成される。また、テレビ１００は、音声認識に関する機能として、集音部１１８と、音声検出部１２０と、をさらに含んで構成される。また、テレビ１００は、外部機器１２４のリモコン仕様を取得する機能として外部機器リモコン仕様入力部１２２をさらに含んで構成される。
【００３７】
テレビ１００を構成するこれらの各機能部は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）によって制御されることにより各種機能を実行する。また、図２に示したテレビ１００の機能構成は、本実施形態を説明する上での一例であり、本発明はこれらに限定されるものではない。すなわち、テレビ１００は、図２に示した機能構成以外にも、例えば、放送受信機能、通信機能、音声出力機能、外部入出力機能、録画機能などの各種機能をさらに備えることも当然に可能である。なお、以下の説明においては、本実施形態の特徴である、仮想リモコン２００に関する処理を中心に、図２に示した各機能構成部の詳細について説明する。
【００３８】
（第１撮像部１０２、第２撮像部１０４）
上述したように、本実施形態に係るテレビ１００は、撮像装置によりユーザの動作を撮像し、ユーザの動作内容に応じた処理を実行する。第１撮像部１０２および第２撮像部１０４は、テレビ１００に備えられる撮像装置である。
【００３９】
第１撮像部１０２および第２撮像部１０４（以下、単に撮像部１０５ともいう）は、被写体からの光を撮像面に結像させるレンズ等の光学系と、撮像面を有するＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）などの撮像素子などからなる。撮像部１０５は、レンズを通して捉えた被写体像を電気信号に変換して出力する。なお、撮像部１０５が備える撮像素子は、ＣＣＤに限定されず、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などであってもよい。また、撮像部１０５により撮像された映像信号は、ＡＤ変換機（図示せず）によりデジタル信号に変換された後に、形状検出部１０６や立体画像検出部１０８へ転送される。
【００４０】
なお、本実施形態に係るテレビ１００は、２つの撮像装置を備えるが、本発明はこれらに限定されるものではない。上述したように、テレビ１００は、撮像部１０５により撮像されたユーザの仮想リモコン２００に対する動作を検出して、動作に応じた処理を実行する。したがって、本実施形態においては、仮想リモコン２００に対するユーザの小さな動きをより正確に認識するために２つの撮像装置を設けている。したがって、テレビ１００は、要求される品質やスペックなどに応じて、１または３以上の撮像装置を備えてもよい。
【００４１】
（形状検出部１０６）
形状検出部１０６は、撮像部１０５によって撮像された映像領域に含まれるユーザの体の一部として、例えば顔を検出する。上述したように、本実施形態に係るテレビ１００は、ユーザに応じて最適な仮想リモコン２００を呈示することを特徴の１つとしている。したがって、テレビ１００は、撮像部１０５によって撮像された映像に含まれるユーザの顔を認識し、認識したユーザに適した仮想リモコン２００を呈示する。
【００４２】
形状検出部１０６は、例えば、撮像部１０５によって撮像された映像に含まれる顔領域を検出し、あらかじめ登録されたユーザの顔と一致するか否かを判断することができる。顔検出の手法としては、例えば、サポートベクターマシン、ブースティング（Ｂｏｏｓｔｉｎｇ）、ニューラルネットワーク、固有顔法（Ｅｉｇｅｎ−Ｆａｃｅｓ）などを用いることができるが、特定の手法に限定されるものではない。また、形状検出部１０６は、肌色検出や赤外線センサなどを利用することにより、撮像画像に含まれるユーザの顔を検出する精度を高めてもよい。
【００４３】
形状検出部１０６によるユーザの顔検出に関する結果は、後述する仮想リモコン造形部１１２へ転送される。これを受けて、仮想リモコン造形部１１２は、形状検出部１０６によって特定されたユーザに適合する仮想リモコン２００を、画像送出部１１６を介してユーザに呈示することができる。
【００４４】
（立体画像検出部１０８）
立体画像検出部１０８は、撮像部１０５によって撮像された映像に基づいて、ユーザの仮想リモコン２００に対する動作を検出する。上述したように、本実施形態に係るテレビ１００は、立体映像として表示された仮想リモコン２００に対するユーザの直感的な動作に応じて、ユーザの仮想リモコン２００に対する操作内容に応じた処理を実行することを特徴の１つとしている。したがって、テレビ１００は、撮像部１０５によって撮像された映像に基づいてユーザの仮想リモコン２００に対する動作を検出し、検出結果に応じて仮想リモコン２００の表示を変更したり、チャンネル変更などのテレビ１００が備える各種機能を実行したりする。
【００４５】
立体画像検出部１０８は、例えば、撮像部１０５によって撮像された所定のフレームと、当該フレームの１つ前に撮像されたフレームと、の映像差分を抽出する、いわゆるフレーム差分法に基づいて、ユーザの手の動きを検出することができる。また、上述したようにテレビ１００は２つの撮像装置を備えている。したがって、立体画像検出部１０８は、例えば、２つの光学系（レンズ）で２つのセンサに対象物を結像させ、センサ上のどの位置に対象物が結像したかにより、対象物までの距離を算出することもできる。
【００４６】
なお、立体画像検出部１０８は、より複雑な検出機能を備えることにより、より正確にユーザの動きを認識することも可能であるが、本発明はユーザの動きの検出精度を向上させることを目的としているわけではないため、詳細は省略する。すなわち、立体画像検出部１０８によるユーザの動き検出方法は、撮像部１０５による撮像領域内のユーザの動きを検出することができるものであれば、特定の検出方法に限定されるものではない。
【００４７】
立体画像検出部１０８によるユーザの動き検出に関する結果は、後述する命令検出部１１０へ転送される。
【００４８】
（命令検出部１１０）
命令検出部１１０は、立体画像検出部１０８から転送されたユーザの動き検出結果に基づいて、仮想リモコン２００に対するユーザの操作内容を認識し、認識結果を命令実行部１１４や仮想リモコン造形部１１２に転送する。
【００４９】
命令検出部１１０は、例えば、ユーザの動きと、ユーザに呈示している仮想リモコン２００の位置関係と、に基づいて、仮想リモコン２００に対するユーザの操作内容を認識することができる。命令検出部１１０は、例えば、ユーザが仮想リモコン２００に配置された所定のチャンネルボタンを押す動作をしたと認識した場合、当該チャンネルへの切り替えを命令実行部１１４に指示する。これを受けて、命令実行部１１４は、チャンネルの切替命令をテレビ１００が備える各機能構成部に対して送信することができる。
【００５０】
また、命令検出部１１０は、仮想リモコン２００に対するユーザの操作内容に応じてユーザに呈示する仮想リモコン２００を変更する必要があると判断した場合、仮想リモコン２００の表示切替を仮想リモコン造形部１１２に指示する。これを受けて仮想リモコン造形部１１２は、ユーザが押す動作をした仮想リモコン２００のボタンの色や形状を変更したり、ユーザが希望するテレビ１００の機能に最も適合した形状の仮想リモコン２００に表示を変更したりすることができる。
【００５１】
（仮想リモコン造形部１１２）
仮想リモコン造形部１１２は、ユーザに呈示する仮想リモコン２００の種類、仮想リモコン２００に配置する操作ボタンの種類や位置などを決定し、画像送出部１１６に対して仮想リモコン２００の表示を指示する。上述したように、本実施形態に係るテレビ１００は、テレビ１００を利用するユーザに適合する仮想リモコン２００を呈示したり、仮想リモコン２００に対するユーザの動作に応じてユーザに呈示する仮想リモコン２００を適宜変更したりすることができる。したがって、テレビ１００は、形状検出部１０６により特定されたユーザに適合する仮想リモコン２００を立体表示させたり、命令検出部１１０による指示に応じて仮想リモコン２００の表示を適宜更新したりする。
【００５２】
ユーザは、例えば、あらかじめ自分に最適なリモコンをテレビ１００に登録しておくことができる。例えば、お年寄りや子供は、チャンネル変更や音量調整などに対応した単純な操作ボタンのみが配置されたリモコン形状をテレビ１００に登録しておくことができる。また、特定のチャンネルを頻繁に視聴するユーザは、おき入りのチャンネルに対応した操作ボタンのみが配置されたリモコン形状をテレビ１００にあらかじめ登録しておいてもよい。仮想リモコン造形部１１２は、形状検出部１０６から転送された検出結果に応じて、形状検出部１０６により特定されたユーザがあらかじめ登録したリモコン形状からなる仮想リモコン２００を生成し、画像送出部１１６を介してユーザに呈示することができる。
【００５３】
また、ユーザは、テレビ１００により呈示された仮想リモコン２００に対して通常の物理的なリモコン本体を操作するのと同じように直感的に指などを動かすことにより、テレビ１００に対して所定の処理を指示することができる。ユーザは、例えば、仮想リモコン２００に配置されているチャンネルボタンを押す動作をすることにより、テレビ１００に対してチャンネル変更を指示することができる。しかしながら、本実施形態においては、仮想リモコン２００は、あくまで実体を持たない擬似的な立体画像であるため、ユーザは仮想リモコン２００の操作内容がテレビ１００に伝わったか否かを判断することが難しいという問題が発生するおそれがある。
【００５４】
本実施形態に係るテレビ１００は、このような問題点も解消することができる。上述したように、立体画像検出部１０８によってユーザの仮想リモコン２００に対する動作が検出された後、命令検出部１１０によってユーザの動作内容に応じた処理の命令が仮想リモコン造形部１１２へ転送される。仮想リモコン造形部１１２は、命令検出部１１０から転送された命令内容に応じて、ユーザに呈示している仮想リモコン２００の表示を変更する。仮想リモコン造形部１１２は、例えば、ユーザが操作したボタンの色や形状を変更したリモコン画像を生成し、ユーザに呈示している仮想リモコン２００の表示を変更することができる。これにより、ユーザは、自分が仮想リモコン２００に対して操作した内容が確実にテレビ１００に伝わったことを認識することができる。
【００５５】
また、ユーザは、仮想リモコン２００に配置されている所定のモードボタンを押す動作をすることにより、テレビ１００に対して所定のモードに対応した仮想リモコン２００への切り替えを指示することもできる。このような場合、仮想リモコン造形部１１２は、命令検出部１１０から転送された命令内容に応じて、ユーザに呈示している仮想リモコン２００の表示を、ユーザによって選択されたモードに対応したリモコン形状からなる仮想リモコン２００へ変更することができる。すなわち、テレビ１００は、仮想リモコン２００に対するユーザの操作に応じて、ユーザが現在利用しているテレビ１００の機能に最も適合したリモコン形状からなる仮想リモコン２００をユーザに呈示することができる。
【００５６】
（命令実行部１１４）
命令実行部１１４は、命令検出部１１０からの指示に応じて、テレビ１００が備える各種機能の実行を各機能構成部に指示する。上述したように、本実施形態に係るテレビ１００は、立体映像として表示された仮想リモコン２００に対するユーザの直感的な動作に応じて、ユーザの仮想リモコン２００に対する操作内容に応じた処理を実行することを特徴の１つとしている。また、上述した撮像部１０５、立体画像検出部１０８および命令検出部１１０などによってユーザによる仮想リモコン２００の操作内容が判断された後、所定の処理の実効命令が命令検出部１１０から命令実行部１１４へ転送される。
【００５７】
これを受けて、命令実行部１１４は、ユーザの仮想リモコン２００に対する操作内容に応じた各種処理の実行をテレビ１００の各機能構成部に指示することができる。命令実行部１１４は、例えば、ユーザによる仮想リモコン２００の操作内容に応じて、チャンネル変更、音量調整、電源オフ、モード切替、データ再生、録画予約、番組表取得、ページ送り等の各種処理の実行を各機能構成部に指示することができる。また、処理の実行に伴ってディスプレイの表示を変更する場合には、命令実行部１１４は、表示切替を画像送出部１１６に指示することもできる。
【００５８】
（画像送出部１１６）
画像送出部１１６は、ユーザが視聴する番組、再生データ、仮想リモコン２００などを立体的に表示する。すなわち、画像送出部１１６は、撮像部１０５によって撮像されたユーザに対して、仮想リモコン造形部１１２によって生成されたリモコン形状からなる立体的な仮想リモコン２００の映像を表示する。また、画像送出部１１６は、例えば、番組や外部接続された再生機器による再生映像などをユーザに対して立体的に表示させてもよく、画像送出部１１６によって表示される映像の種類は特定の映像に限定されるものではない。
【００５９】
また、上述したように、ユーザに対して立体的な映像を呈示する方法としては、ユーザが左右の偏光特性の異なる眼鏡を装着する方法や、視差バリア、レンチキュラ・レンズ、ホログラフィ方式などを利用することにより眼鏡を必要としない方法などが挙げられる。しかしながら、本実施形態においては、リモコンの立体画像をユーザに見せることが可能であれば、立体画像の表示方法は特定の方法に限定されるものではない。
【００６０】
（集音部１１８）
集音部１１８は、テレビ１００の周辺の音声を集音して、音声を電気信号に変換して出力するマイクロホンなどから構成される。上述したように、本実施形態に係るテレビ１００は、形状検出部１０６による顔検出結果に応じて、ユーザに適合する仮想リモコン２００を表示することができる。しかしながら、例えば、ユーザが自分の声などをテレビ１００に登録している場合には、テレビ１００は、集音部１１８によって集音された音声からユーザを特定し、特定したユーザに適合する仮想リモコン２００を表示させてもよい。なお、マイクロホンで集音された音声データはデジタル信号に変換された後、音声検出部１２０へ転送される。
【００６１】
（音声検出部１２０）
音声検出部１２０は、集音部１１８から転送された音声データと、テレビ１００にあらかじめ登録されたユーザの音声データと、を比較することにより、テレビ１００を利用するユーザを特定する。音声検出部１２０は、集音部１１８から転送された音声データに対して、例えば、所定の時間間隔で周波数分析などを行い、スペクトルやその他の音響的特徴量（パラメータ）を抽出する。音声検出部１２０は、抽出したパラメータなどと、あらかじめ登録されたユーザの音声パターンなどとに基づいて、集音部１１８によって集音された音声を認識する。なお、音声検出部１２０による音声認識結果は、仮想リモコン造形部１１２へ転送される。これを受けて、仮想リモコン造形部１１２は、音声検出部１２０によって特定されたユーザに適合する仮想リモコン２００を表示させることができる。
【００６２】
また、テレビ１００の電源が遮断されている場合には、仮想リモコン２００はユーザに呈示されていない状態である。したがって、ユーザは、仮想リモコン２００を操作することができないため仮想リモコン２００を利用してテレビ１００の電源を投入することができない。このような場合、ユーザは、例えば、テレビ１００本体に備えられた主電源ボタン１３０を押すことによりテレビ１００の電源を投入させることもできるが、ユーザにとっては煩わしい動作が必要となる。
【００６３】
このような場合、音声検出部１２０は、テレビ１００の電源投入指示に対応するあらかじめ決定された音声を検出した際に、命令実行部１１４に対してテレビ１００の電源を投入するように指示してもよい。この結果、ユーザは、例えば、両手を「パン・パン」と叩いたり、「電源オン」というフレーズを発生したりすることにより、テレビ１００の電源を投入することができる。なお、音声検出部１２０によって検出された音声に応じて実行される処理は、テレビ１００の電源投入処理に限られない。すなわち、テレビ１００は、音声検出部１２０によって検出された音声に応じて、テレビ１００が備える各種処理を実行してもよい。
【００６４】
なお、音声検出部１２０による音声認識は、特定の認識方法に限定されるものではなく、音声検出部１２０に転送される音声データと、あらかじめ登録されたユーザの音声データとを比較認識することが可能な種々の方式を用いることができる。
【００６５】
（外部機器リモコン仕様入力部１２２）
外部機器リモコン仕様入力部１２２は、テレビ１００と外部接続される外部機器１２４のリモコン仕様に関する情報を取得して、仮想リモコン造形部１１２へ転送する。上述したように、テレビ１００は、テレビ１００が備える各種機能に対応した操作ボタンが配置された仮想リモコン２００をユーザに呈示することができる。しかしながら、近年においては、テレビには、例えば、録画再生装置、衛星放送受信チューナ、スピーカシステム等の複数の外部機器が接続されて、お互いの機器が連動して動作することが多い。また、テレビと接続されるこれらの外部機器にはそれぞれのリモコンが用意されており、ユーザは、利用する機器に応じて適切なリモコンを選択しなければならず煩雑であるという問題があった。また、テレビのリモコンには、録画再生装置の機能に対応する操作ボタンが併せて配置されているものもあるが、１つのリモコンに多くの操作ボタンが配置されているためユーザにとって利便性が良くないという問題もあった。
【００６６】
本実施形態に係るテレビ１００は、このような問題も解消することができる。すなわち、本実施形態に係るテレビ１００は、仮想リモコン２００を立体映像としてユーザに呈示するため、仮想リモコン２００の形状やボタン配置などを自由に変更することができる。すなわち、テレビ１００は、ユーザが録画再生装置を操作したい場合には録画再生装置に対応する仮想リモコン２００を表示し、ユーザがスピーカシステムを操作したい場合にはスピーカシステムに対応する仮想リモコン２００を表示すればよい。
【００６７】
外部機器リモコン仕様入力部１２２は、テレビ１００と接続される外部機器１２４から、テレビ１００と連動して実行可能な機能に関する情報を取得して、仮想リモコン造形部１１２へ転送する。これを受けて、仮想リモコン造形部１１２は、テレビ１００と連動して実行可能な外部機器１２４の機能に対応する操作ボタンが配置された仮想リモコン２００をユーザに呈示することができる。したがって、テレビ１００は、ユーザによる外部機器１２４に対応する仮想リモコン２００に対する操作内容に応じて、外部機器１２４が備える所定の機能をテレビ１００と連動して実行することができる。すなわち、ユーザは、複数の物理的なリモコンを使用することなく、通常のリモコンを操作するのと同じように直感的に指を動かすだけで、テレビ１００および外部機器１２４を操作することができる。
【００６８】
なお、外部機器リモコン仕様入力部１２２は、例えば、外部機器１２４からリモコンに関する情報を取得したり、リモコン仕様をダウンロードしたり、ソフトウェアを更新することによりリモコン仕様を更新したりすることもできる。したがって、テレビ１００に新しい外部機器１２４が接続された場合でも、外部機器リモコン仕様入力部１２２が外部機器１２４のリモコン仕様を取得するだけで、テレビ１００は、外部機器１２４に対応する仮想リモコン２００をユーザに呈示することができる。
【００６９】
以上、本実施形態に係るテレビ１００の機能構成の詳細について説明した。
【００７０】
（３．テレビ１００による処理フロー）
次に、上記のように構成されるテレビ１００によって行われる処理の流れについて図３のフロー図を参照に説明する。図３は、テレビ１００によって行われる処理の流れの一例を示すフロー図である。なお、図に示す処理フローは、テレビ１００の主電源がコンセントに接続された後に、継続的に行われる処理の流れである。
【００７１】
図３に示すように、テレビ１００は、主電源がコンセントに接続された後、ステップ３００において、ユーザから電源投入指示があったか否かを判断する。上述したように、テレビ１００の電源が投入されていない場合、仮想リモコン２００は表示されていない。したがって、ユーザは、仮想リモコン２００を利用してテレビ１００の電源投入を指示することができない。したがって、テレビ１００は、あらかじめ設定された所定の条件をトリガーとしてユーザからの電源投入指示を判断することができる。
【００７２】
例えば、テレビ１００は、単純にテレビ１００に備えられる物理的な主電源ボタン１３０がユーザによって押された場合に、ユーザから電源投入指示があったと判断することができる。しかしながら、このような動作はユーザにとっては煩雑であるため、テレビ１００は、他の手法により、ユーザからの電源投入指示を判断してもよい。
【００７３】
例えば、テレビ１００は、上述した音声検出部１２０による音声検出により、ユーザからの電源投入指示を判断してもよい。テレビ１００は、例えば、「パン・パン」といった手拍子の音や、「電源オン」といったユーザの声を、あらかじめ電源投入指示に対応する音声として登録しておくことができる。この場合、音声検出部１２０は、集音部１１８を介して集音した音声が、「パン・パン」や「電源オン」といった音声であると判断した場合、ユーザからの電源投入指示があったと判断して、命令実行部１１４に対してテレビ１００の電源投入を指示する。
【００７４】
また、テレビ１００は、例えば、上述した形状検出部１０６による形状検出により、ユーザからの電源投入指示を判断してもよい。テレビ１００は、例えば、ユーザの顔や、手を振るなどの所定の動作を、あらかじめ電源投入指示に対応する映像として登録しておくことができる。この場合、形状検出部１０６は、撮像部１０５によって撮像された映像から、登録されているユーザの顔や所定の動作を検出した場合、ユーザからの電源投入指示があったと判断して、命令実行部１１４に対してテレビ１００の電源投入を指示する。
【００７５】
したがって、テレビ１００は、ステップ３００により電源投入指示があったと判断されるまでは、電源投入待機状態となる。一方、ステップ３００により電源投入指示があったと判断された場合、テレビ１００は、ステップ３０２において、電源を投入する。
【００７６】
次に、テレビ１００は、ステップ３０４において、ユーザに呈示する仮想リモコン２００の画像を生成する。なお、仮想リモコン２００の画像生成処理は、上述した仮想リモコン造形部１１２によって行われる。
【００７７】
また、仮想リモコン造形部１１２は、例えば、電源投入指示を行ったユーザに適合する仮想リモコン２００の画像を生成してもよい。上述したステップ３００において、音声検出部１２０による音声検出や形状検出部１０６による検出結果によりユーザを特定できる場合、仮想リモコン造形部１１２は、特定したユーザに適合する仮想リモコン２００の画像を生成することができる。なお、テレビ１００は、あらかじめユーザ毎に適合するリモコン形状や種類を登録して電源投入時に表示してもよいし、前回使用した仮想リモコン２００の形状や種類を次回の電源投入時にユーザに適合する仮想リモコン２００として表示してもよい。
【００７８】
次に、ステップ３０６において、テレビ１００は、画像送出部１１６を介して仮想リモコン造形部１１２で生成された仮想リモコン２００の画像を立体表示させてユーザに呈示する。このとき、画像送出部１１６は、撮像部１０５によって撮像された映像に基づいて検出されたユーザの手元に仮想リモコン２００を表示させてもよい。ユーザの手元に仮想リモコン２００が表示された後は、以下説明するステップ３０８〜ステップ３２２の処理が継続的に行われる。
【００７９】
まず、ステップ３０８において、テレビ１００は、撮像部１０５によって撮像された映像を解析する。具体的には、立体画像検出部１０８は、撮像部１０５によって撮像された映像に基づいて、ユーザの動作を検出し、検出結果を命令検出部１１０へ転送する。
【００８０】
これを受けて命令検出部１１０は、ステップ３１０において、ユーザの動作が仮想リモコン２００に配置された所定の操作ボタンを押す動作であるか否かを判断する。命令検出部１１０は、立体画像検出部１０８によって検出されたユーザの動きや、画像送出部１１６によって表示されている仮想リモコン２００の位置などに基づいて、ユーザが仮想リモコン２００に配置された所定の操作ボタンを押す動作をしたか否かを判断する。
【００８１】
テレビ１００は、ステップ３１０によりユーザが仮想リモコン２００に配置された所定の操作ボタンを押す動作をしたと判断されるまで、撮像画像の解析を継続的に行う。すなわち、仮想リモコン２００の操作待機状態となる。
【００８２】
ステップ３１０によりユーザが仮想リモコン２００に配置された所定の操作ボタンを押す動作をしたと判断された場合、ステップ３１２において、命令検出部１１０は、ユーザの操作内容を認識する。上述したように、命令検出部１１０は、立体画像検出部１０８によって検出されたユーザの動きと、表示されている仮想リモコン２００に配置されている操作ボタンの位置などに基づいて、ユーザがどの操作ボタンを押す動作をしたかを認識することができる。
【００８３】
次に、ステップ３１４において、命令検出部１１０は、ステップ３１２により認識したユーザの操作内容が、電源遮断命令であるか否かを判断する。ユーザは、仮想リモコン２００を操作することによりテレビ１００の電源を遮断することも当然に可能である。したがって、命令検出部１１０は、ユーザによる仮想リモコン２００に対する操作内容が電源遮断命令に関する操作であると判断した場合、命令実行部１１４に対してテレビ１００の電源投入を指示する。
【００８４】
これを受けて命令実行部１１４は、ステップ３２８において、テレビ１００の電源を遮断する。その後は、上述したステップ３００により電源投入指示があったと判断されるまでは、電源投入待機状態となる。
【００８５】
一方、ステップ３１４により電源遮断命令でないと判断された場合、命令検出部１１０は、ステップ３１６において、ステップ３１２により認識したユーザの操作内容が、仮想リモコン２００の消去命令であるか否かを判断する。ユーザは、仮想リモコン２００を操作することにより仮想リモコン２００の表示を消去させることも当然に可能である。ユーザは、例えば、所定のチャンネルを選択して番組を視聴する場合などには、仮想リモコン２００の表示を消去させることができる。したがって、命令検出部１１０は、ユーザによる仮想リモコン２００に対する操作内容が仮想リモコン２００の表示消去命令に関する操作であると判断した場合、命令実行部１１４に対して仮想リモコン２００の表示消去を指示する。
【００８６】
これを受けて命令実行部１１４は、ステップ３２４において、画像送出部１１６を介して仮想リモコン２００の表示を消去する。このとき、テレビ１００は、例えば、消去時の仮想リモコン２００の形状やボタン配置などを記憶しておいてもよい。これにより、テレビ１００は、次回同一ユーザが仮想リモコン２００の表示を指示した際に、前回仮想リモコン２００の表示を消去した際の仮想リモコンを表示させることができる。
【００８７】
一方、ステップ３１６により仮想リモコン２００の消去命令でないと判断された場合、命令検出部１１０は、ステップ３１２による認識結果に関する情報を命令実行部１１４および仮想リモコン造形部１１２へ転送する。
【００８８】
これを受けて命令実行部１１４は、ステップ３１８において、命令検出部１１０から転送された認識結果に基づいて、テレビ１００および外部機器１２４が備える所定の処理の実行を、各機能構成部に指示する。例えば、命令検出部１１０が、ユーザがチャンネル変更の操作ボタンを押す動作をしたと認識した場合、命令実行部１１４は、画像送出部１１６に対してユーザが選択したチャンネルの番組表示を指示する。その他、命令実行部１１４は、ユーザによる仮想リモコン２００に対する操作内容に応じて、テレビ１００および外部機器１２４が備える各種機能に関する処理を各機能構成部に指示することができる。この結果、ユーザは、手元に表示された仮想リモコン２００に配置された操作ボタンを押す動作をすることにより、テレビ１００や外部機器１２４に対して所定の処理を指示することができる。
【００８９】
さらに、ステップ３２０において、仮想リモコン造形部１１２は、命令検出部１１０から転送された認識結果に基づいて、ユーザに呈示する新しい仮想リモコン２００の画像を生成する。例えば、命令検出部１１０が、ユーザがチャンネル変更の操作ボタンを押す動作をしたと認識した場合、仮想リモコン造形部１１２は、ユーザが押す動作をした操作ボタンの色や形状を変更した仮想リモコン２００の画像を生成し、画像送出部１１６を介して表示する。これにより、ユーザは、自分の動作内容が確実にテレビ１００に伝達されたことを視覚的に認識することができる。
【００９０】
また、命令検出部１１０が、ユーザが外部機器１２４の操作モード切替に関する操作ボタンを押す動作をしたと認識した場合、仮想リモコン造形部１１２は、外部機器１２４の操作ボタンが配置された仮想リモコン２００を、画像送出部１１６を介して表示する。これにより、ユーザは、テレビ１００のみならず、外部機器１２４の操作についても、直感的に仮想リモコン２００に配置された操作ボタンを押す動作をすることで操作することができる。
【００９１】
その後、テレビ１００は、ステップ３２２において、ユーザによる仮想リモコン２００に対する操作が、あらかじめ設定された処理時間検出されなかったか否かを判断する。テレビ１００は、例えば、ユーザが一定時間仮想リモコン２００を操作しない場合、自動で仮想リモコン２００を消去してもよい。したがって、ステップ３２２により所定時間ユーザが仮想リモコン２００を操作していないと判断された場合、テレビ１００は、ステップ３２４において、画像送出部１１６を介して仮想リモコン２００の表示を消去する。
【００９２】
一方、ステップ３２２によりユーザが仮想リモコン２００を操作していない時間が、あらかじめ設定された所定時間を経過していないと判断された場合、仮想リモコン２００が継続的に表示され、上述したステップ３０８〜ステップ３２０の処理が繰り返される。
【００９３】
なお、仮想リモコン２００の自動消去処理の有無や、仮想リモコン２００を消去するまでの時間などは、ユーザによって任意に設定・変更することができるものである。したがって、ステップ３２２の処理は任意的な処理であり必ずしも必要な処理ではなく、判断対象となる時間も特定の時間に限定されるものではない。
【００９４】
ここで、ステップ３２４により仮想リモコン２００が消去された場合、テレビ１００は、ステップ３２６において、ユーザから仮想リモコン２００の表示指示があったか否かを判断する。上述したように、ユーザは、番組の視聴中などのように仮想リモコン２００を使用しない場合に仮想リモコン２００の表示を消去させることができる。したがって、ユーザは、仮想リモコン２００を再度利用してテレビ１００に所定の処理を指示したい場合、再度仮想リモコン２００の表示をテレビ１００に対して指示する必要がある。この場合、テレビ１００は、上述したステップ３００による電源投入指示の判断と同様に、あらかじめ設定された所定の条件をトリガーとしてユーザからの仮想リモコン２００の表示指示を判断することができる。
【００９５】
例えば、テレビ１００は、音声検出部１２０による音声検出により、ユーザからの仮想リモコン２００の表示指示を判断したり、形状検出部１０６による形状検出により、ユーザからの仮想リモコン２００の表示指示を判断したりすることができる。
【００９６】
ステップ３２６により仮想リモコン２００の表示指示があったと判断された場合、ステップ３０４〜ステップ３０６により、再度仮想リモコン２００がユーザに呈示される。このとき、テレビ１００は、音声検出または形状検出により特定したユーザに適合した仮想リモコン２００を表示させてもよい。
【００９７】
以上、テレビ１００の主電源がコンセントに接続された後に、継続的に行われる処理の流れの詳細について説明した。テレビ１００は、上記処理を継続的に実行することにより、テレビ１００の電源投入状態において継続的にユーザからの操作指示を受け付けて、仮想リモコン２００の表示を適宜更新したり、ユーザの操作内容に応じた所定の処理を実行したりすることができる。
【００９８】
（４．テレビ１００の利用例）
上述したように、テレビ１００は、物理的なリモコンを一切使用することなく、仮想リモコン２００を表示させることにより、ユーザによる直感的な動作に応じて所定の処理を実行することができる。したがって、テレビ１００は、仮想リモコン２００の種類や表示位置などを工夫することにより、ユーザの操作性に関する利便性をさらに向上させることもできる。以下、本実施形態に係るテレビ１００の特徴を利用することにより、ユーザの機器操作に関する利便性をさらに向上させることが可能な利用例について説明する。
【００９９】
上述したように、テレビ１００は、仮想リモコン２００を立体映像として表示させるため、適宜表示する仮想リモコン２００の種類や、配置される操作ボタンの種類を変更することができる。したがって、ユーザは、仮想リモコン２００に表示されているモード切替ボタンを押す動作をすることにより、容易に仮想リモコン２００の形状やボタン配置を変更させることができる。
【０１００】
図４は、仮想リモコン２００の表示がユーザによって適宜変更されていく様子を示す説明図である。図４に示す例では、例えば、（ｂ）に示すような通常のテレビ１００が備える機能に対応する操作ボタンが配置された仮想リモコン２００が表示されている。ここで、ユーザが、例えば、仮想リモコン２００の左下に配置されている「簡易モード」への切替ボタンを押す動作をした場合、テレビ１００は、上述した処理により、（ａ）に示すような簡易モードに対応した仮想リモコン２００に表示を切り替える。また、ユーザが、例えば、仮想リモコン２００の右下に配置されている「再生モード」への切替ボタンを押す動作をした場合、テレビ１００は、上述した処理により、（ｃ）に示すような外部機器１２４の再生機能に対応した仮想リモコン２００に表示を切り替える。
【０１０１】
このように、ユーザは、希望する操作内容に応じて仮想リモコン２００の表示を適宜切り替えることができる。したがって、従来のように、複数の物理的なリモコンを所持する必要がないため、本実施形態に係るテレビ１００は、ユーザの機器操作に関する利便性を向上させることが可能である。
【０１０２】
また、図４（ｃ）に示した再生モードに対応した仮想リモコン２００に表示される操作ボタンは、テレビ１００と連動して動作する外部機器１２４の仕様によって異なるものである。従来は、新しい外部機器が接続された場合、テレビとは異なる新しい物理的なリモコンが必要となり、ユーザにとっても煩わしいという問題があった。これに対して本実施形態に係るテレビ１００の場合、外部機器１２４のリモコン仕様に関する情報さえ取得すれば、新しく接続された外部機器１２４に対応する仮想リモコン２００も容易に表示させることができる。また、テレビ１００に複数の外部機器１２４が接続される場合であっても、接続されているすべての外部機器１２４のリモコン仕様に関する情報さえ取得すれば、すべての外部機器１２４に対応する仮想リモコン２００を表示させることができる。
【０１０３】
したがって、ユーザは、テレビ１００に複数の外部機器１２４が接続されている場合においても、複数の物理的なリモコンを一切使用する必要がない。すなわち、ユーザは、操作を希望する機器に対応する仮想リモコン２００の表示をテレビ１００に指示し、表示された仮想リモコン２００を押す動作をすることで、外部機器１２４に対しても所定の処理を指示することができる。
【０１０４】
また、仮想リモコン２００の表示を適宜変更することができるという特徴を利用して、テレビ１００は、利用するユーザに適合した仮想リモコン２００を表示させることで、ユーザの機器操作に関する利便性をさらに向上させることが可能である。
【０１０５】
ユーザは、例えば、自己に適合した仮想リモコン２００の形状や、配置される操作ボタンを自由にカスタマイズしてテレビ１００に登録しておくことができる。また、テレビ１００は、上述したように、音声検出や形状検出により、撮像部１０５によって撮像された映像からテレビ１００を利用するユーザを特定することができる。したがって、テレビ１００は、特定したユーザが仮想リモコン２００を登録している場合、登録されている仮想リモコン２００を表示させればよい。
【０１０６】
これにより、ユーザは、自分にとって使い勝手の良いオリジナルの仮想リモコン２００を使用することができる。従来は、複雑な操作ボタンが配置された物理的なリモコンと、簡易な操作ボタンのみが配置された物理的なリモコンとが用意され、機器に詳しいユーザは前者を利用し、お年寄りや子供は後者を利用するなど、ユーザによって複数のリモコンを使い分けていた。また、従来の物理的なリモコンでは、ユーザの嗜好にあわせてお好みチャンネルなどを設定することができた。しかしながら、１つのリモコンを家族などの複数のユーザが使用する場合、リモコンには他人のお好みチャンネルなども設定されているため、ユーザにとって利便性が悪いという問題があった。
【０１０７】
これに対して、本実施形態に係るテレビ１００は、テレビ１００を利用するユーザ毎に異なる仮想リモコン２００を表示させることができる。すなわち、１台のテレビ１００を複数のユーザで使用する場合においても、テレビ１００を使用するユーザ毎に最適の仮想リモコン２００を表示させることができる。この結果、従来のように、複数のユーザが同じ物理的なリモコンを使用する必要がないため、本実施形態に係るテレビ１００は、ユーザの機器操作に関する利便性をさらに向上させることが可能である。
【０１０８】
また、複数のユーザが同時にテレビ１００を使用する場合、テレビ１００は特定のユーザに対してのみ仮想リモコン２００を呈示してもよい。例えば、テレビ１００は、撮像部１０５によって撮像された映像から複数のユーザが検出された場合、１のユーザのみを選出して、該ユーザにのみ仮想リモコン２００を呈示する。
【０１０９】
図５は、複数のユーザのうち１のユーザの手元にのみ仮想リモコン２００を表示させる概念を示す説明図である。図５を参照すると、撮像部１０５の撮像領域には３人のユーザが存在するが、中央に座っているユーザの手元のみに仮想リモコン２００が表示されていることがわかる。したがって、中央に座っているユーザのみが仮想リモコン２００を押す動作をすることにより、テレビ１００に対して所定の処理を指示することができる。また、他のユーザやテレビ１００の前に座っているがテレビ１００を視聴していないユーザの手元には仮想リモコン２００が表示されない。すなわち、テレビ１００は、仮想リモコン２００の利用を希望するユーザに対してのみ仮想リモコン２００を手元に表示させることができ、ユーザの機器操作に関する利便性をさらに向上させることが可能である。
【０１１０】
なお、仮想リモコン２００を表示させるユーザを選出する方法は、特定の方法に限定されるものではなく、テレビ１００は、種々の観点から仮想リモコン２００を表示させるユーザを選出することができる。テレビ１００は、例えば、撮像画像の中心に映っているユーザや、特定の動作をしたユーザや、あらかじめ登録されているユーザと一致したユーザを、仮想リモコン２００を表示させるユーザとして選出してもよい。
【０１１１】
また、複数のユーザが同時にテレビ１００を使用する場合、テレビ１００はユーザ毎に異なる仮想リモコン２００を同時に呈示してもよい。上述したように、テレビ１００は、形状検出部１０６や音声検出部１２０による検出結果と、あらかじめ登録されたユーザ情報と、に基づいて、テレビ１００を使用しているユーザを特定することができる。また、テレビ１００は、ユーザ毎にカスタマイズされた仮想リモコン２００を登録したり、該ユーザが最後に使用した仮想リモコン２００の形状等を記憶したりしておくことができる。したがって、テレビ１００は、撮像部１０５の撮像領域で特定された複数のユーザそれぞれに対して最適な仮想リモコン２００を手元に表示させることができる。
【０１１２】
図６は、テレビ１００を視聴している複数のユーザの手元にそれぞれ異なる仮想リモコン２００を同時に表示させる概念を示す説明図である。図６を参照すると、撮像部１０５の撮像領域には２人のユーザが存在するが、各ユーザの手元には異なる仮想リモコン２００が表示されていることがわかる。これらの仮想リモコン２００は、例えば、各ユーザがテレビ１００に対してあらかじめ登録しておいたカスタマイズされた仮想リモコン２００や、各ユーザが最後に使用した仮想リモコン２００であってもよい。
【０１１３】
このように、テレビ１００は、複数のユーザに対してそれぞれ異なる仮想リモコン２００を同時に表示することができる。したがって、テレビ１００は、例えば、家族でテレビ１００を視聴する場合などにおいても、各ユーザに最も適合した仮想リモコン２００を各ユーザの手元に同時に呈示することができる。この結果、従来のように１の物理的なリモコンに複数のユーザがお好みチャンネルなどを設定する必要がなく、各ユーザは、自分にとって最も操作しやすい形状やボタン配置の仮想リモコン２００を使用することができる。すなわち、本実施形態に係るテレビ１００は、物理的なリモコンなしで複数のユーザそれぞれに最適な仮想リモコン２００を同時に呈示することができ、ユーザの機器操作に関する利便性をさらに向上させることが可能である。
【０１１４】
また、上述したように、テレビ１００がユーザに呈示する仮想リモコン２００はあくまで擬似的な立体映像であって物理的なリモコンではない。したがって、テレビ１００は、仮想リモコン２００の表示位置を自由に変更することもできる。例えば、従来の物理的なリモコンの場合、ユーザはリモコンを手に持って移動しなければ移動先でテレビに対して所定の処理を指示することができなかった。これに対して、本実施形態に係るテレビ１００は、ユーザの位置や動作に応じて、適宜仮想リモコン２００を表示させる位置を変更することができる。
【０１１５】
テレビ１００は、例えば、撮像部１０５の撮像領域内で移動するユーザの手の位置に合わせて仮想リモコン２００の表示位置を適宜変更してもよい。これにより、ユーザがテレビ１００を視聴する位置を変更した場合においても、常にユーザの手元に仮想リモコン２００が表示されることとなる。また、テレビ１００は、例えば、ユーザの動作に合わせて仮想リモコン２００を表示する位置を変更してもよい。テレビ１００は、例えば、ユーザが手を右から左に動かした場合に、仮想リモコン２００の表示を右から左に移動させてもよい。また、テレビ１００は、例えば、ユーザが仮想リモコン２００を手で掴む動作をした場合に、その後のユーザの手の動きに合わせて仮想リモコン２００の表示位置を変更してもよい。また、テレビ１００は、仮想リモコン２００に表示位置変更用の操作ボタンなどを配置することにより、ユーザが当該操作ボタンを押す動作をした場合に、操作内容に応じて仮想リモコン２００の表示位置を変更してもよい。
【０１１６】
このように、テレビ１００は、擬似的な立体映像である仮想リモコン２００の表示位置を適宜変更することができるため、ユーザの機器操作に関する利便性をさらに向上させることが可能である。
【０１１７】
（５．情報処理装置のハードウェア構成）
次に、図７を参照しながら、本実施形態に係る情報処理装置のハードウェア構成について、詳細に説明する。図７は、本実施形態に係る情報処理装置のハードウェア構成を説明するためのブロック図である。
【０１１８】
本実施形態に係る情報処理装置は主に、ＣＰＵ９０１、ＲＯＭ９０３、ＲＡＭ９０５、ブリッジ９０９、インターフェース９１３、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２３、および通信装置９２５を備える。
【０１１９】
ＣＰＵ９０１は、演算処理装置および制御装置として機能し、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１９、またはリムーバブル記録媒体９２７に記録された各種プログラムに従って、情報処理装置内の動作全般またはその一部を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０５は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一次記憶する。これらはＣＰＵバス等の内部バスにより構成されるホストバス９０７により相互に接続されている。
【０１２０】
入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなどユーザが操作する操作手段である。さらに、入力装置９１５は、例えば、上記の操作手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などから構成されている。
【０１２１】
出力装置９１７は、上述した仮想リモコン２００などを立体的に表示させることができ、例えば、ＣＲＴディスプレイ、液晶ディスプレイ、プラズマディスプレイ、ＥＬディスプレイなどの表示装置などを含んで構成される。また、出力装置９１７は、スピーカなどの音声出力装置など、取得した情報をユーザに対して聴覚的に通知することが可能な装置も含んで構成される。
【０１２２】
ストレージ装置９１９は、本実施形態に係る情報処理装置の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイス等により構成される。
【０１２３】
ドライブ９２１は、記録媒体用リーダライタであり、本実施形態に係る情報処理装置に内蔵、あるいは外付けされる。ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０５に出力する。また、ドライブ９２１は、装着されているリムーバブル記録媒体９２７にデータなどを書き込むことも可能である。
【０１２４】
接続ポート９２３は、例えば、ＵＳＢポート、光オーディオ端子、ＩＥＥＥ１３９４ポート、ＳＣＳＩポート、ＨＤＭＩポート等の、外部機器１２４に直接接続するためのポートである。この接続ポート９２３に外部機器１２４を接続することで、上述したテレビ１００は、外部機器１２４からリモコン仕様に関する情報などを取得することができる。
【０１２５】
通信装置９２５は、例えば、通信網９３１に接続するための通信デバイス等で構成された通信インターフェースである。通信装置９２５は、例えば、有線または無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ、光通信用のルータ、ＡＤＳＬ用のルータ、または各種通信用のモデム等である。また、通信装置９２５に接続される通信網９３１は、有線または無線によって接続されたネットワーク等により構成され、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信または衛星通信等であってもよい。
【０１２６】
以上、本発明の実施形態の１つに係る情報処理装置の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
【０１２７】
（６．まとめ）
以上、本発明の実施形態の１つに係る情報処理装置として、テレビ１００の例を中心に説明した。上述したように、本実施形態に係る情報処理装置は、情報処理装置が備える各種機能に対応した操作ボタンが配置されたリモコンの擬似的な立体映像を仮想リモコンとしてユーザに呈示することができる。これにより、ユーザは、物理的なリモコンを使用する必要がなくなる。また、本実施形態に係る情報処理装置は、撮像装置を備えることによりユーザの仮想リモコンに対する動作を検出することができる。これにより、ユーザは、物理的なリモコンを操作するのと同じように、直感的に仮想リモコンに配置された操作ボタンを押す動作をすることにより、情報処理装置に対して所定の処理の実行を指示することができる。また、本実施形態に係る情報処理装置は、表示する仮想リモコンの種類や位置などを適宜変更することができる。すなわち、本実施形態に係る情報処理装置は、ユーザ毎に最適な仮想リモコンを表示したり、特定のユーザのみに仮想リモコンを表示したり、複数のユーザに同時に異なる仮想リモコンを表示したり、ユーザの位置に応じて仮想リモコンの位置を変更したりできる。以上のように、本実施形態に係る情報処理装置は、立体映像として表示された仮想リモコンに対するユーザの直感的な動作内容に応じて所定の処理を実行することにより、ユーザの機器操作に関する利便性を向上させることが可能である。
【０１２８】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【０１２９】
例えば、上記実施形態において例示した仮想リモコン２００の形状、ボタンの種類や配置などは、上述した実施形態を説明する上での一例であって、本発明はこれらに限定されるものではない。すなわち、情報処理装置は、ユーザによるカスタマイズ設定などに応じて自由に仮想リモコン２００の形状、ボタンの種類や配置などを変更したり、外部機器のリモコン仕様を取得することにより新しい仮想リモコン２００を表示させたりすることができる。これは、本発明の特徴の１つである仮想リモコン２００が、あくまで擬似的な立体映像であることを利用したものであり、従来の物理的なリモコンでは実現し得なかったことである。
【０１３０】
また、例えば、上記実施形態では、形状検出部１０６によるユーザの特定方法としてユーザの顔検出を例に説明したが、本発明はこれに限定されるものではない。例えば、形状検出部１０６は、ユーザの手の映像などをあらかじめ登録しておき、撮像部１０５によって撮像された手と比較することにより、テレビ１００を利用するユーザを特定してもよい。このように、形状検出部１０６は、あらかじめ登録された形状と、撮像部１０５により撮像された映像に含まれるユーザの体の一部の形状と、を比較することによりユーザを特定することが可能であれば、判断対象となる形状は特定の形状に限定されるものではない。
【０１３１】
また、上記実施形態において例示したユーザに立体映像を表示させる方法や、撮像データに基づく動き検出方法や、音声認識方法などは、上記実施形態を説明する上での一例であり、本発明はこれらに限定されるものではない。すなわち、ユーザに対して立体映像を表示させることが可能であれば眼鏡の利用の有無などは限定されるものではない。また、ユーザの動きや音声を認識することが可能であれば特定の手法に限定されるものではなく、情報処理装置に要求されるスペックなどに応じて種々の検出方法や認識方法を利用することができる。
【０１３２】
また、本明細書において、フロー図またはシーケンス図に記述されたステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的に又は個別的に実行される処理をも含む。また時系列的に処理されるステップでも、場合によっては適宜順序を変更することが可能であることは言うまでもない。
【図面の簡単な説明】
【０１３３】
【図１】本発明の実施形態の１つに係るテレビ１００のユーザによる利用概念を示す説明図である。
【図２】同実施形態に係るテレビ１００の機能構成の一例を示すブロック図である
【図３】同実施形態に係るテレビ１００によって行われる処理の流れの一例を示すフロー図である。
【図４】同実施形態において、仮想リモコン２００の表示がユーザによって適宜変更されていく様子を示す説明図である。
【図５】同実施形態において、複数のユーザのうち１のユーザの手元にのみ仮想リモコン２００を表示させる概念を示す説明図である。
【図６】同実施形態において、テレビ１００を視聴している複数のユーザの手元にそれぞれ異なる仮想リモコン２００を同時に表示させる概念を示す説明図である。
【図７】同実施形態に係るテレビ１００のハードウェア構成の一例を示すブロック図である。
【符号の説明】
【０１３４】
１００ テレビ
１０２ 第１撮像部
１０４ 第２撮像部
１０５ 撮像部
１０６ 形状検出部
１０８ 立体画像検出部
１１０ 命令検出部
１１２ 仮想リモコン造形部
１１４ 命令実行部
１１６ 画像送出部
１１８ 集音部
１２０ 音声検出部
１２２ 外部機器リモコン仕様入力部
１２４ 外部機器
１３０ 主電源ボタン
２００ 仮想リモコン
【特許請求の範囲】
【請求項１】
遠隔操作装置の立体映像を仮想リモコンとして表示させる画像送出部と、
ユーザを撮像する少なくとも１以上の撮像部と、
前記撮像部によって撮像された映像に基づいてユーザの動きを検出する立体画像検出部と、
前記立体画像検出部による検出結果および前記画像送出部によって表示されている前記仮想リモコンに配置されている所定の操作ボタンの位置に基づいて、前記ユーザが前記仮想リモコンに配置されている所定の操作ボタンを押す動作をしたか否かを判断する命令検出部と、
前記命令検出部による判断結果に基づいて、前記ユーザが前記仮想リモコンに対して押す動作をした操作ボタンに対応する所定の処理を実行する命令実行部と、
を備える情報処理装置。
【請求項２】
前記撮像部によって撮像された映像に基づいてユーザの体の一部を検出し、あらかじめ登録されたユーザの体の一部に関する情報と比較することにより、前記撮像部の撮像領域にいるユーザを特定する形状検出部をさらに備え、
前記画像送出部は、前記形状検出部によって特定されたユーザに適合するあらかじめ登録された仮想リモコンを表示させる、請求項１に記載の情報処理装置。
【請求項３】
音声を集音するマイクロホンを含む集音部と、
前記集音部によって集音された音声と、あらかじめ登録されたユーザの音声に関する情報と、を比較することにより、前記集音部によって集音された音声を発生したユーザを特定する音声検出部と、
をさらに備え、
前記画像送出部は、前記音声検出部によって特定されたユーザに適合するあらかじめ登録された仮想リモコンを表示させる、請求項２に記載の情報処理装置。
【請求項４】
前記画像送出部は、前記命令検出部による判断結果に基づいて、前記仮想リモコンの形状、該仮想リモコンに配置される操作ボタンの種類や位置を変更する、請求項３に記載の情報処理装置。
【請求項５】
前記画像送出部は、前記仮想リモコンに配置された操作ボタンのうち、前記命令検出部によってユーザが押す動作をしたと判断された操作ボタンのみの色および／または形状を変更して表示させる、請求項４に記載の画像処理装置。
【請求項６】
前記画像送出部は、前記立体画像検出部によって検出されたユーザの手元に前記仮想リモコンが表示されるように、前記ユーザの動きにあわせて前記仮想リモコンの表示位置を変更する、請求項５に記載の情報処理装置。
【請求項７】
前記画像送出部は、前記立体画像検出部によって検出されたユーザの動作が、仮想リモコンの表示位置変更指示に対応するあらかじめ登録された所定の動作と一致した場合、前記ユーザの動作に応じて前記仮想リモコンの表示位置を変更する、請求項６に記載の情報処理装置。
【請求項８】
前記命令実行部は、前記立体画像検出部によって検出されたユーザの動作が、電源投入指示に対応するあらかじめ登録された所定の動作と一致した場合、前記情報処理装置の電源を投入する、請求項７に記載の情報処理装置。
【請求項９】
前記命令実行部は、前記音声検出部によって検出された音が、電源投入指示に対応するあらかじめ登録された所定の音と一致した場合、前記情報処理装置の電源を投入する、請求項８に記載の情報処理装置。
【請求項１０】
前記情報処理装置と連動して動作する外部機器のリモコン仕様に関する情報を取得する外部機器リモコン仕様入力部をさらに備え、
前記画像送出部は、前記外部機器のリモコン仕様に関する情報に基づいて、前記外部機器が備える所定の機能に対応する操作ボタンが配置されている仮想リモコンを表示させる、請求項９に記載の情報処理装置。
【請求項１１】
前記画像送出部は、前記撮像部の撮像領域に複数のユーザがいる場合において、１のユーザの手元のみに該ユーザに適合するあらかじめ登録された仮想リモコンを表示させる、請求項１〜１０に記載の情報処理装置。
【請求項１２】
前記画像送出部は、前記撮像部の撮像領域に複数のユーザがいる場合において、各ユーザに適合するあらかじめ登録された仮想リモコンを、各ユーザの手元にそれぞれ同時に表示させる、請求項１〜１０に記載の情報処理装置。
【請求項１３】
遠隔操作装置の立体映像を仮想リモコンとして表示させる画像送出ステップと、
少なくとも１以上の撮像部により継続的にユーザを撮像する撮像ステップと、
前記撮像ステップによって撮像された映像に基づいてユーザの動きを検出する立体画像検出ステップと、
前記立体画像検出ステップによる検出結果および前記画像送出ステップによって表示されている前記仮想リモコンに配置されている所定の操作ボタンの位置に基づいて、前記ユーザが前記仮想リモコンに配置されている所定の操作ボタンを押す動作をしたか否かを判断する命令検出ステップと、
前記命令検出ステップによる判断結果に基づいて、前記ユーザが前記仮想リモコンに対して押す動作をした操作ボタンに対応する所定の処理を実行する命令実行ステップと、
を含む情報処理方法。
【請求項１】
遠隔操作装置の立体映像を仮想リモコンとして表示させる画像送出部と、
ユーザを撮像する少なくとも１以上の撮像部と、
前記撮像部によって撮像された映像に基づいてユーザの動きを検出する立体画像検出部と、
前記立体画像検出部による検出結果および前記画像送出部によって表示されている前記仮想リモコンに配置されている所定の操作ボタンの位置に基づいて、前記ユーザが前記仮想リモコンに配置されている所定の操作ボタンを押す動作をしたか否かを判断する命令検出部と、
前記命令検出部による判断結果に基づいて、前記ユーザが前記仮想リモコンに対して押す動作をした操作ボタンに対応する所定の処理を実行する命令実行部と、
を備える情報処理装置。
【請求項２】
前記撮像部によって撮像された映像に基づいてユーザの体の一部を検出し、あらかじめ登録されたユーザの体の一部に関する情報と比較することにより、前記撮像部の撮像領域にいるユーザを特定する形状検出部をさらに備え、
前記画像送出部は、前記形状検出部によって特定されたユーザに適合するあらかじめ登録された仮想リモコンを表示させる、請求項１に記載の情報処理装置。
【請求項３】
音声を集音するマイクロホンを含む集音部と、
前記集音部によって集音された音声と、あらかじめ登録されたユーザの音声に関する情報と、を比較することにより、前記集音部によって集音された音声を発生したユーザを特定する音声検出部と、
をさらに備え、
前記画像送出部は、前記音声検出部によって特定されたユーザに適合するあらかじめ登録された仮想リモコンを表示させる、請求項２に記載の情報処理装置。
【請求項４】
前記画像送出部は、前記命令検出部による判断結果に基づいて、前記仮想リモコンの形状、該仮想リモコンに配置される操作ボタンの種類や位置を変更する、請求項３に記載の情報処理装置。
【請求項５】
前記画像送出部は、前記仮想リモコンに配置された操作ボタンのうち、前記命令検出部によってユーザが押す動作をしたと判断された操作ボタンのみの色および／または形状を変更して表示させる、請求項４に記載の画像処理装置。
【請求項６】
前記画像送出部は、前記立体画像検出部によって検出されたユーザの手元に前記仮想リモコンが表示されるように、前記ユーザの動きにあわせて前記仮想リモコンの表示位置を変更する、請求項５に記載の情報処理装置。
【請求項７】
前記画像送出部は、前記立体画像検出部によって検出されたユーザの動作が、仮想リモコンの表示位置変更指示に対応するあらかじめ登録された所定の動作と一致した場合、前記ユーザの動作に応じて前記仮想リモコンの表示位置を変更する、請求項６に記載の情報処理装置。
【請求項８】
前記命令実行部は、前記立体画像検出部によって検出されたユーザの動作が、電源投入指示に対応するあらかじめ登録された所定の動作と一致した場合、前記情報処理装置の電源を投入する、請求項７に記載の情報処理装置。
【請求項９】
前記命令実行部は、前記音声検出部によって検出された音が、電源投入指示に対応するあらかじめ登録された所定の音と一致した場合、前記情報処理装置の電源を投入する、請求項８に記載の情報処理装置。
【請求項１０】
前記情報処理装置と連動して動作する外部機器のリモコン仕様に関する情報を取得する外部機器リモコン仕様入力部をさらに備え、
前記画像送出部は、前記外部機器のリモコン仕様に関する情報に基づいて、前記外部機器が備える所定の機能に対応する操作ボタンが配置されている仮想リモコンを表示させる、請求項９に記載の情報処理装置。
【請求項１１】
前記画像送出部は、前記撮像部の撮像領域に複数のユーザがいる場合において、１のユーザの手元のみに該ユーザに適合するあらかじめ登録された仮想リモコンを表示させる、請求項１〜１０に記載の情報処理装置。
【請求項１２】
前記画像送出部は、前記撮像部の撮像領域に複数のユーザがいる場合において、各ユーザに適合するあらかじめ登録された仮想リモコンを、各ユーザの手元にそれぞれ同時に表示させる、請求項１〜１０に記載の情報処理装置。
【請求項１３】
遠隔操作装置の立体映像を仮想リモコンとして表示させる画像送出ステップと、
少なくとも１以上の撮像部により継続的にユーザを撮像する撮像ステップと、
前記撮像ステップによって撮像された映像に基づいてユーザの動きを検出する立体画像検出ステップと、
前記立体画像検出ステップによる検出結果および前記画像送出ステップによって表示されている前記仮想リモコンに配置されている所定の操作ボタンの位置に基づいて、前記ユーザが前記仮想リモコンに配置されている所定の操作ボタンを押す動作をしたか否かを判断する命令検出ステップと、
前記命令検出ステップによる判断結果に基づいて、前記ユーザが前記仮想リモコンに対して押す動作をした操作ボタンに対応する所定の処理を実行する命令実行ステップと、
を含む情報処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１０−１３４６２９（Ｐ２０１０−１３４６２９Ａ）
【公開日】平成２２年６月１７日（２０１０．６．１７）
【国際特許分類】
【出願番号】特願２００８−３０８７９９（Ｐ２００８−３０８７９９）
【出願日】平成２０年１２月３日（２００８．１２．３）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．Ｂｌｕｅｔｏｏｔｈ
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２２年６月１７日（２０１０．６．１７）
【国際特許分類】
【出願日】平成２０年１２月３日（２００８．１２．３）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．Ｂｌｕｅｔｏｏｔｈ
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]