表示システム、表示方法およびプログラム
【課題】コンピュータ等を直接操作することなく、実空間内の物体の外観をコピーして、実空間内の任意の位置に表示する。
【解決手段】実空間を撮像する撮像装置と、実空間に画像を表示する表示装置と、実空間を撮像した画像に基づきユーザの動作を検出する動作検出部と、実空間内における機器のうち、ユーザの動作により指定されたコピー対象機器を特定する特定部と、表示装置を制御して、コピー対象機器を表す機器画像を表示する表示制御部と、コピー対象機器が有する少なくとも一部の機能を実行する機能実行部と、を備える表示システムを提供する。
【解決手段】実空間を撮像する撮像装置と、実空間に画像を表示する表示装置と、実空間を撮像した画像に基づきユーザの動作を検出する動作検出部と、実空間内における機器のうち、ユーザの動作により指定されたコピー対象機器を特定する特定部と、表示装置を制御して、コピー対象機器を表す機器画像を表示する表示制御部と、コピー対象機器が有する少なくとも一部の機能を実行する機能実行部と、を備える表示システムを提供する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示システム、表示方法およびプログラムに関する。
【背景技術】
【０００２】
特許文献１には、コピー対象を正確に選択するための方法が記載されている。特許文献２には、マルチタッチパネルにおいて、指のジェスチャーにより情報を入力する方法が記載されている。特許文献３には、対象物を含む領域に注釈画像を表示する方法が記載されている。
特許文献１ 特許第４０５６４７７号明細書
特許文献２ 特表２０１０−５３２０５５号公報（ＷＯ２００９／００２７５８）
特許文献３ 特開２００９−２９０４８８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００３】
しかし、従来、例えば時計およびテレビジョン装置等の機器の外観をコピーして、実空間内のユーザの任意の位置に表示させることはできなかった。
【課題を解決するための手段】
【０００４】
本発明の第１の態様においては、実空間を撮像した画像に基づきユーザの動作を検出する動作検出部と、実空間内における機器のうち、前記ユーザの動作により指定されたコピー対象機器を特定する特定部と、表示装置を制御して、前記コピー対象機器を表す機器画像を表示する表示制御部と、前記コピー対象機器が有する少なくとも一部の機能を実行する機能実行部と、を備える表示システム、および、このような表示システムに関連する表示方法およびプログラムを提供する。
【０００５】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【図面の簡単な説明】
【０００６】
【図１】本実施形態に係る表示システム１０の構成を示す。
【図２】本実施形態に係る制御装置３０の機能構成、および、時計１４をコピー対象とした場合において表示される機器画像２０の一例を示す。
【図３】本実施形態に係る制御装置３０における、コピーアンドペースト時の処理フローを示す。
【図４】本実施形態に係る制御装置３０における、機器画像２０に対する操作時の処理フローを示す。
【図５】テレビジョン装置６６のリモートコントローラ６８をコピー対象とした場合における、表示システム１０により表示される機器画像２０の一例を示す。
【図６】カメラ７０をコピー対象とした場合における、表示システム１０により表示される機器画像２０の一例を示す。
【図７】本実施形態に係るコンピュータ１９００のハードウェア構成の一例を示す。
【発明を実施するための形態】
【０００７】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【０００８】
図１は、本実施形態に係る表示システム１０の構成を示す。表示システム１０は、ユーザが予め定められた動作（コピー操作）により実空間内における機器をコピー対象機器として特定する。その後、表示システム１０は、ユーザが予め定められた動作（ペースト操作）により実空間内における任意の位置を指定したことに応じて、コピー対象機器を表す画像を指定した位置に表示する。
【０００９】
例えば、図１に示されるように、表示システム１０は、部屋１２内において、ユーザが時計１４に触ることにより当該時計１４をコピー対象機器として特定する。その後、表示システム１０は、ユーザが机１６の上を指定することにより、時計１４を撮像した機器画像２０を机１６の上に表示する。これにより、表示システム１０は、指定した機器の機能を指定した位置にコピーアンドペースとしているように、ユーザに感じさせることができる。
【００１０】
表示システム１０は、１または複数の撮像装置２２と、１または複数の表示装置２４と、制御装置３０とを備える。本実施形態において、表示システム１０は、部屋１２内に設けられる。なお、表示システム１０は、一つの部屋内のみならず、複数の部屋にまたがって設けられてもよい。
【００１１】
１または複数の撮像装置２２のそれぞれは、実空間を撮像する。本実施形態においては、１または複数の撮像装置２２は、部屋１２内に存在する１または複数の機器（例えば、時計、テレビジョン装置、リモートコントローラ、カメラ等）のそれぞれを撮像する。
【００１２】
１または複数の表示装置２４のそれぞれは、実空間に画像を表示する。１または複数の表示装置２４のそれぞれは、例えばプロジェクターである。すなわち、１または複数の表示装置２４のそれぞれは、部屋１２の物体に画像を投影して、物体上に画像を表示する。本実施形態においては、１または複数の表示装置２４は、部屋１２内におけるユーザが指定した箇所（例えば、机の上、デスクの上、壁、ベッドの頭の部分、床、天井等）に画像を表示する。
【００１３】
制御装置３０は、コンピュータであって、１または複数の撮像装置２２のそれぞれ、および、１または複数の表示装置２４のそれぞれの動作を制御する。より具体的には、制御装置３０は、１または複数の撮像装置２２のそれぞれを制御して、各撮像装置２２により撮像された撮像画像を取得する。また、制御装置３０は、１または複数の表示装置２４を制御して、ユーザにより指定された位置に画像を表示する。
【００１４】
また、制御装置３０は、実空間内に存在する機器の少なくとも一部の機能を実行する。制御装置３０は、一例として、部屋１２内に存在する機器（例えば、時計、テレビジョン装置、リモート、カメラ等）と通信をして、これらの機器を制御または調整等する。
【００１５】
また、表示システム１０は、実空間における物体の３次元位置を検出する位置検出装置を更に備えてもよい。位置検出装置は、一例として、右側カメラと左側カメラとを有するステレオカメラである。このような位置検出装置は、右側カメラにより撮像された画像と左側カメラにより撮像された画像との間の視差により、画面内の各物体までの被写体距離を表すことができる。
【００１６】
図２は、本実施形態に係る制御装置３０の機能構成、および、時計１４をコピー対象とした場合において表示される機器画像２０の一例を示す。制御装置３０は、画像取得部４２と、動作検出部４４と、特定部４６と、表示制御部５０と、機能実行部５２とを有する。画像取得部４２は、１または複数の撮像装置２２のそれぞれにより撮像された画像を取得する。
【００１７】
動作検出部４４は、画像取得部４２により取得された実空間を撮像した画像に基づき、ユーザの動作を検出する。動作検出部４４は、当該表示システム１０が位置検出装置を備える場合には、位置検出装置により検出されたユーザの身体の位置を更に利用して、ユーザの動作を検出してもよい。
【００１８】
動作検出部４４は、一例として、ユーザが機器を指定する動作をしたか否かを検出する。動作検出部４４は、一例として、ユーザが機器に触れる動作をしたことを検出する。さらに、動作検出部４４は、一例として、ユーザが機器を触れるとともに、コピー動作を表す予め定められたジェスチャー等の動作をしたことを検出してもよい。
【００１９】
動作検出部４４は、一例として、ユーザが画像の表示位置を指定する動作をしたか否かを検出する。動作検出部４４は、一例として、ユーザが何れかの物体の表面に触れる動作をしたことを検出する。さらに、動作検出部４４は、一例として、ユーザが表示位置を触れるとともに、ペースト動作を表す予め定められたジェスチャー等の動作をしたことを検出してもよい。
【００２０】
また、動作検出部４４は、一例として、機器を表す機器画像２０に対してユーザが何らかの操作をする動作したか否かを検出する。動作検出部４４は、一例として、機器を表す機器画像２０上のボタンおよびスイッチ等に触れて、触れたスイッチを操作する動作をしたか否かを検出する。
【００２１】
特定部４６は、実空間内における機器のうち、ユーザが動作により指定した機器をコピー対象機器として特定する。特定部４６は、ユーザが機器を指定する動作をした場合において、部屋１２内に存在する複数の機器（時計、テレビジョン装置、リモートコントローラ、カメラ等）のうち、ユーザが触れた機器をコピー対象機器として特定する。
【００２２】
この場合において、特定部４６は、一例として、コピー対象機器を撮像した画像に対して認識処理をして、コピー対象機器の種別を判別する。また、特定部４６は、一例として、コピー対象機器に描かれた識別コードを認識して、コピー対象機器の種別を判別してもよい。これにより、特定部４６は、確実に機器を特定することができる。
【００２３】
表示制御部５０は、１または複数の表示装置２４を制御して、コピー対象機器を表す機器画像２０を、ユーザが動作により指定した位置に表示する。表示制御部５０は、一例として、１または複数の撮像装置２２が撮像した画像からコピー対象機器の範囲を切り出して、機器画像２０を生成して表示する。これに代えて、表示制御部５０は、一例として、コピー対象機器を表す画像をコンピュータグラフィックスにより生成して表示してもよい。
【００２４】
機能実行部５２は、特定部４６により特定されたコピー対象機器が有する少なくとも一部の機能を実行する。機能実行部５２は、一例として、特定部４６によりコピー対象機器が特定されたことに応じて、コピー対象機器に含まれる機能の実行を開始する。
【００２５】
機能実行部５２は、一例として、ユーザが機器画像２０のボタンまたはスイッチ等に対して操作をする動作をしたことに応じて、その操作内容に応じた処理または制御を実行する。さらに、機能実行部５２は、時計１４と通信して遠隔操作によりコピー対象機器を制御する。また、機能実行部５２は、コンピュータグラフィックスにより表されたコピー対象機器を表示する場合、指定された機器の主機能を実行して、機器画像２０に反映してもよい。
【００２６】
図２においては、表示システム１０は、実空間（部屋１２の壁）に設けられた時計１４の機能をコピーして、机１６上にペーストする例を示している。この場合、特定部４６は、実空間内に設けられた時計１４をコピー対象機器として特定する。また、表示制御部５０は、時計１４を表す画像を撮像装置２２が撮像した画像から切り出して機器画像２０を生成し、机１６の上に表示する。そして、機能実行部５２は、機器画像２０に対するユーザの操作に応じて、時計１４に対してアラーム設定および時刻設定をする機能を実行する。
【００２７】
これにより、表示システム１０は、例えばユーザが壁に設けられた時計１４を見ることができない位置にいたしても、時計１４により表される時刻を確認することができる。さらに、表示システム１０は、時計１４を遠隔操作して、時刻およびアラーム等の設定をすることができる。
【００２８】
図３は、本実施形態に係る制御装置３０における、コピーアンドペースト時の処理フローを示す。制御装置３０は、コピーアンドペースト時において、図３のステップＳ１１からステップＳ１６の処理を実行する。
【００２９】
まず、ステップＳ１１において、制御装置３０は、ユーザが機器を指定する動作をしたか否かを判断する。制御装置３０は、一例として、ユーザが部屋１２内の何れかの機器に手で触れるとともに、予め定められたジェスチャーをしたか否かを、撮像装置２２により撮像された画像に基づき判断する。制御装置３０は、ユーザが機器の指定をしていないと判断する場合には（ステップＳ１１のＮｏ）、処理をステップＳ１１で待機する。制御装置３０は、ユーザが機器の指定をしたと判断する場合には（ステップＳ１１のＹｅｓ）、処理をステップＳ１２に進める。
【００３０】
続いて、ステップＳ１２において、制御装置３０は、ユーザが指定した機器を判別して、判別した機器をコピー対象機器として特定する。制御装置３０は、一例として、部屋１２内に存在する複数の機器のうち、ユーザが指定した機器が何れの種別の機器であるのかを判別する。より具体的には、制御装置３０は、ユーザが指定した機器が、壁に設けられた時計であるのか、テレビジョン装置であるのか、または、テレビジョン装置のリモートコントローラであるのか、カメラであるのか等を判別する。
【００３１】
続いて、ステップＳ１３において、制御装置３０は、ユーザが表示位置を指定したか否かを判断する。制御装置３０は、一例として、ユーザが、部屋１２内の何れかの表示位置に手で触れるとともに、予め定められたジェスチャーをしたか否かを、撮像装置２２により撮像された画像に基づき判断する。制御装置３０は、ユーザが表示位置の指定をしていないと判断する場合には（ステップＳ１３のＮｏ）、処理をステップＳ１３で待機する。制御装置３０は、ユーザが表示位置の指定をしたと判断する場合には（ステップＳ１３のＹｅｓ）、処理をステップＳ１４に進める。
【００３２】
続いて、ステップＳ１４において、制御装置３０は、コピー対象機器を表す機器画像２０を生成する。制御装置３０は、一例として、撮像装置２２からの画像を切り出して、機器画像２０を生成する。また、制御装置３０は、一例として、撮像装置２２を制御して、ユーザが指定した機器にズームアップした画像を取得して、機器画像２０を生成してもよい。また、制御装置３０は、コピー対象機器と同様の機能を有する機器の画像をコンピュータグラフィックスにより生成してもよい。
【００３３】
続いて、ステップＳ１５において、制御装置３０は、１または複数の表示装置２４の何れかを制御して、ステップＳ１４で生成した機器画像２０をユーザが指定した位置に表示する。以上により、制御装置３０によれば、部屋１２内の何れかの機器を表す機器画像２０を、部屋１２内における任意の位置に表示することができる。
【００３４】
図４は、本実施形態に係る制御装置３０における、機器画像２０に対する操作時の処理フローを示す。制御装置３０は、図３のコピーアンドペーストが終了後、図４のステップＳ２１からステップＳ２３の処理を実行する。
【００３５】
まず、ステップＳ２１において、制御装置３０は、ユーザが機器画像２０に対して操作をする動作をしたか否かを判断する。制御装置３０は、一例として、機器画像２０における、ボタンまたはスイッチ等の表示位置に触れて、ボタンまたはスイッチ等を操作する動きをしたか否かを判断する。制御装置３０は、ユーザが機器画像２０に対して操作をする動作をしていないと判断する場合には（ステップＳ２１のＮｏ）、処理をステップＳ２１で待機する。制御装置３０は、ユーザが機器画像２０に対して操作をする動作をしたと判断する場合には（ステップＳ２１のＹｅｓ）、処理をステップＳ２２に進める。
【００３６】
続いて、ステップＳ２２において、制御装置３０は、ユーザによる機器画像２０に対する操作内容を判別する。制御装置３０は、一例として、ユーザの手または指先と機器画像２０との位置関係から、ユーザが機器画像２０における何れのボタンまたはスイッチ等を触れているのかを判別するとともに、触れているボタンまたはスイッチ等をどのように操作しているのかを判別する。
【００３７】
続いて、ステップＳ２３において、制御装置３０は、ステップＳ２２で判別された操作内容に応じた機能を実行する。制御装置３０は、一例として、ユーザが操作したボタンまたはスイッチ等に対応した処理を実行させるべく、コピー対象機器を通信により制御する。制御装置３０は、一例として、コピー対象機器が時計１４である場合において、アラーム設定ボタンが操作された場合には、時計１４を遠隔操作してアラーム設定を行う。また、制御装置３０は、一例として、コピー対象機器が時計１４である場合において、アラームの停止ボタンが操作された場合には、時計１４のアラームを停止させる。
【００３８】
そして、制御装置３０は、ステップＳ２３の処理を終えると、処理をステップＳ２１に戻し、次の操作があるまで処理を待機する。以上により、制御装置３０によれば、機器画像２０に対するユーザの操作に応じて、コピー対象機器を制御することができる。
【００３９】
図５は、テレビジョン装置６６のリモートコントローラ６８をコピー対象とした場合における、表示システム１０により表示される機器画像２０の一例を示す。表示システム１０は、一例として、テレビジョン装置６６等の機器を遠隔制御するためのリモートコントローラ６８の機能をコピーアンドペーストしてもよい。
【００４０】
この場合、制御装置３０の特定部４６は、ユーザの動作によりリモートコントローラ６８が指定されたことに応じて、当該リモートコントローラ６８をコピー対象機器として特定する。続いて、制御装置３０の表示制御部５０は、機器画像２０として、リモートコントローラ６８を表す画像を、例えば机１６上に表示する。
【００４１】
そして、制御装置３０の機能実行部５２は、機器画像２０に対するユーザの操作に応じて、リモートコントローラ６８の制御対象となる機器（例えばテレビジョン装置６６）を遠隔制御する機能を実行する。すなわち、この場合、制御装置３０の機能実行部５２は、リモートコントローラ６８を制御することに代えて、リモートコントローラ６８の制御対象となる機器を制御する。また、この場合において、制御装置３０の機能実行部５２は、リモートコントローラ６８の制御対象となる機器を制御できない場合には、一例として、機器画像２０に対して電源のスイッチング操作が行われたことに応じて、コピー対象機器が制御する制御対象の機器に電源を供給する電源ラインのスイッチを制御してもよい。
【００４２】
以上のように、制御装置３０によれば、リモートコントローラ６８を表す画像を、ユーザの希望する位置に表示させることができる。さらに、制御装置３０によれば、表示したリモートコントローラ６８の画像に対する操作に応じて、リモートコントローラ６８の制御対象の機器を遠隔操作することができる。
【００４３】
図６は、カメラ７０をコピー対象とした場合における、表示システム１０により表示される機器画像２０の一例を示す。表示システム１０は、一例として、カメラ７０の機能をコピーアンドペーストしてもよい。カメラ７０は屋外等に設けられてもよい。
【００４４】
また、この場合において、１または複数の撮像装置２２は、一例として、カメラ７０の操作面およびカメラ７０の表示面の画像を撮像する。制御装置３０の特定部４６は、実空間内に設けられたカメラ７０をコピー対象機器として特定する。
【００４５】
制御装置３０の表示制御部５０は、撮像装置２２により撮像された画像に基づき、機器画像２０として、カメラ７０の操作面を表す画像を表示する。表示制御部５０は、一例として、カメラ７０のシャッタボタンが設けられた操作面（例えば上面）を表す機器画像２０−１を表示する。
【００４６】
さらに、制御装置３０の表示制御部５０は、撮像装置２２により撮像された画像に基づき、機器画像２０として、カメラ７０の表示面を表す画像を表示する。表示制御部５０は、一例として、カメラ７０の表示パネルが設けられた表示面（例えば裏面）を表す機器画像２０−２を表示する。
【００４７】
そして、制御装置３０の機能実行部５２は、機器画像２０に対するユーザの操作に応じて、カメラ７０を遠隔制御する機能を実行する。例えば、機能実行部５２は、機器画像２０−１に対してシャッタボタンを押す操作がされた場合には、カメラ７０を遠隔制御してカメラ７０に被写体を撮像させる。以上により、制御装置３０によれば、カメラ７０の表示画面を見ながら、カメラ７０を遠隔操作することができる。
【００４８】
図７は、本実施形態に係るコンピュータ１９００のハードウェア構成の一例を示す。本実施形態に係るコンピュータ１９００は、ホスト・コントローラ２０８２により相互に接続されるＣＰＵ２０００、ＲＡＭ２０２０、グラフィック・コントローラ２０７５、及び表示装置２０８０を有するＣＰＵ周辺部と、入出力コントローラ２０８４によりホスト・コントローラ２０８２に接続される通信インターフェイス２０３０、ハードディスクドライブ２０４０、及びＣＤ−ＲＯＭドライブ２０６０を有する入出力部と、入出力コントローラ２０８４に接続されるＲＯＭ２０１０、フレキシブルディスク・ドライブ２０５０、及び入出力チップ２０７０を有するレガシー入出力部とを備える。
【００４９】
ホスト・コントローラ２０８２は、ＲＡＭ２０２０と、高い転送レートでＲＡＭ２０２０をアクセスするＣＰＵ２０００及びグラフィック・コントローラ２０７５とを接続する。ＣＰＵ２０００は、ＲＯＭ２０１０及びＲＡＭ２０２０に格納されたプログラムに基づいて動作し、各部の制御を行う。グラフィック・コントローラ２０７５は、ＣＰＵ２０００等がＲＡＭ２０２０内に設けたフレーム・バッファ上に生成する画像データを取得し、表示装置２０８０上に表示させる。これに代えて、グラフィック・コントローラ２０７５は、ＣＰＵ２０００等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。
【００５０】
入出力コントローラ２０８４は、ホスト・コントローラ２０８２と、比較的高速な入出力装置である通信インターフェイス２０３０、ハードディスクドライブ２０４０、ＣＤ−ＲＯＭドライブ２０６０を接続する。通信インターフェイス２０３０は、ネットワークを介して他の装置と通信する。ハードディスクドライブ２０４０は、コンピュータ１９００内のＣＰＵ２０００が使用するプログラム及びデータを格納する。ＣＤ−ＲＯＭドライブ２０６０は、ＣＤ−ＲＯＭ２０９５からプログラム又はデータを読み取り、ＲＡＭ２０２０を介してハードディスクドライブ２０４０に提供する。
【００５１】
また、入出力コントローラ２０８４には、ＲＯＭ２０１０と、フレキシブルディスク・ドライブ２０５０、及び入出力チップ２０７０の比較的低速な入出力装置とが接続される。ＲＯＭ２０１０は、コンピュータ１９００が起動時に実行するブート・プログラム、及び／又は、コンピュータ１９００のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ２０５０は、フレキシブルディスク２０９０からプログラム又はデータを読み取り、ＲＡＭ２０２０を介してハードディスクドライブ２０４０に提供する。入出力チップ２０７０は、フレキシブルディスク・ドライブ２０５０を入出力コントローラ２０８４へと接続すると共に、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を入出力コントローラ２０８４へと接続する。
【００５２】
ＲＡＭ２０２０を介してハードディスクドライブ２０４０に提供されるプログラムは、フレキシブルディスク２０９０、ＣＤ−ＲＯＭ２０９５、又はＩＣカード等の記録媒体に格納されて利用者によって提供される。プログラムは、記録媒体から読み出され、ＲＡＭ２０２０を介してコンピュータ１９００内のハードディスクドライブ２０４０にインストールされ、ＣＰＵ２０００において実行される。
【００５３】
コンピュータ１９００にインストールされ、コンピュータ１９００を制御装置３０として機能させるプログラムは、画像取得モジュールと、動作検出モジュールと、特定モジュールと、表示制御モジュールと、機能実行モジュールとを備える。これらのプログラム又はモジュールは、ＣＰＵ２０００等に働きかけて、コンピュータ１９００を、画像取得部４２、動作検出部４４、特定部４６、表示制御部５０および機能実行部５２としてそれぞれ機能させる。
【００５４】
これらのプログラムに記述された情報処理は、コンピュータ１９００に読込まれることにより、ソフトウェアと上述した各種のハードウェア資源とが協働した具体的手段である画像取得部４２、動作検出部４４、特定部４６、表示制御部５０および機能実行部５２として機能する。そして、これらの具体的手段によって、本実施形態におけるコンピュータ１９００の使用目的に応じた情報の演算又は加工を実現することにより、使用目的に応じた特有の制御装置３０が構築される。
【００５５】
一例として、コンピュータ１９００と外部の装置等との間で通信を行う場合には、ＣＰＵ２０００は、ＲＡＭ２０２０上にロードされた通信プログラムを実行し、通信プログラムに記述された処理内容に基づいて、通信インターフェイス２０３０に対して通信処理を指示する。通信インターフェイス２０３０は、ＣＰＵ２０００の制御を受けて、ＲＡＭ２０２０、ハードディスクドライブ２０４０、フレキシブルディスク２０９０、又はＣＤ−ＲＯＭ２０９５等の記憶装置上に設けた送信バッファ領域等に記憶された送信データを読み出してネットワークへと送信し、もしくは、ネットワークから受信した受信データを記憶装置上に設けた受信バッファ領域等へと書き込む。このように、通信インターフェイス２０３０は、ＤＭＡ（ダイレクト・メモリ・アクセス）方式により記憶装置との間で送受信データを転送してもよく、これに代えて、ＣＰＵ２０００が転送元の記憶装置又は通信インターフェイス２０３０からデータを読み出し、転送先の通信インターフェイス２０３０又は記憶装置へとデータを書き込むことにより送受信データを転送してもよい。
【００５６】
また、ＣＰＵ２０００は、ハードディスクドライブ２０４０、ＣＤ−ＲＯＭドライブ２０６０（ＣＤ−ＲＯＭ２０９５）、フレキシブルディスク・ドライブ２０５０（フレキシブルディスク２０９０）等の外部記憶装置に格納されたファイルまたはデータベース等の中から、全部または必要な部分をＤＭＡ転送等によりＲＡＭ２０２０へと読み込ませ、ＲＡＭ２０２０上のデータに対して各種の処理を行う。そして、ＣＰＵ２０００は、処理を終えたデータを、ＤＭＡ転送等により外部記憶装置へと書き戻す。このような処理において、ＲＡＭ２０２０は、外部記憶装置の内容を一時的に保持するものとみなせるから、本実施形態においてはＲＡＭ２０２０および外部記憶装置等をメモリ、記憶部、または記憶装置等と総称する。本実施形態における各種のプログラム、データ、テーブル、データベース等の各種の情報は、このような記憶装置上に格納されて、情報処理の対象となる。なお、ＣＰＵ２０００は、ＲＡＭ２０２０の一部をキャッシュメモリに保持し、キャッシュメモリ上で読み書きを行うこともできる。このような形態においても、キャッシュメモリはＲＡＭ２０２０の機能の一部を担うから、本実施形態においては、区別して示す場合を除き、キャッシュメモリもＲＡＭ２０２０、メモリ、及び／又は記憶装置に含まれるものとする。
【００５７】
また、ＣＰＵ２０００は、ＲＡＭ２０２０から読み出したデータに対して、プログラムの命令列により指定された、本実施形態中に記載した各種の演算、情報の加工、条件判断、情報の検索・置換等を含む各種の処理を行い、ＲＡＭ２０２０へと書き戻す。例えば、ＣＰＵ２０００は、条件判断を行う場合においては、本実施形態において示した各種の変数が、他の変数または定数と比較して、大きい、小さい、以上、以下、等しい等の条件を満たすかどうかを判断し、条件が成立した場合（又は不成立であった場合）に、異なる命令列へと分岐し、またはサブルーチンを呼び出す。
【００５８】
また、ＣＰＵ２０００は、記憶装置内のファイルまたはデータベース等に格納された情報を検索することができる。例えば、第１属性の属性値に対し第２属性の属性値がそれぞれ対応付けられた複数のエントリが記憶装置に格納されている場合において、ＣＰＵ２０００は、記憶装置に格納されている複数のエントリの中から第１属性の属性値が指定された条件と一致するエントリを検索し、そのエントリに格納されている第２属性の属性値を読み出すことにより、所定の条件を満たす第１属性に対応付けられた第２属性の属性値を得ることができる。
【００５９】
以上に示したプログラム又はモジュールは、外部の記録媒体に格納されてもよい。記録媒体としては、フレキシブルディスク２０９０、ＣＤ−ＲＯＭ２０９５の他に、ＤＶＤ又はＣＤ等の光学記録媒体、ＭＯ等の光磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、専用通信ネットワーク又はインターネットに接続されたサーバシステムに設けたハードディスク又はＲＡＭ等の記憶装置を記録媒体として使用し、ネットワークを介してプログラムをコンピュータ１９００に提供してもよい。
【００６０】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【００６１】
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【符号の説明】
【００６２】
１０ 表示システム、１２ 部屋、１４ 時計、１６ 机、２０ 機器画像、２２ 撮像装置、２４ 表示装置、３０ 制御装置、４２ 画像取得部、４４ 動作検出部、４６ 特定部、５０ 表示制御部、５２ 機能実行部、６６ テレビジョン装置、６８ リモートコントローラ、７０ カメラ、１９００ コンピュータ、２０００ ＣＰＵ、２０１０ ＲＯＭ、２０２０ ＲＡＭ、２０３０ 通信インターフェイス、２０４０ ハードディスクドライブ、２０５０ フレキシブルディスク・ドライブ、２０６０ ＣＤ−ＲＯＭドライブ、２０７０ 入出力チップ、２０７５ グラフィック・コントローラ、２０８０ 表示装置、２０８２ ホスト・コントローラ、２０８４ 入出力コントローラ、２０９０ フレキシブルディスク、２０９５ ＣＤ−ＲＯＭ
【技術分野】
【０００１】
本発明は、表示システム、表示方法およびプログラムに関する。
【背景技術】
【０００２】
特許文献１には、コピー対象を正確に選択するための方法が記載されている。特許文献２には、マルチタッチパネルにおいて、指のジェスチャーにより情報を入力する方法が記載されている。特許文献３には、対象物を含む領域に注釈画像を表示する方法が記載されている。
特許文献１ 特許第４０５６４７７号明細書
特許文献２ 特表２０１０−５３２０５５号公報（ＷＯ２００９／００２７５８）
特許文献３ 特開２００９−２９０４８８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００３】
しかし、従来、例えば時計およびテレビジョン装置等の機器の外観をコピーして、実空間内のユーザの任意の位置に表示させることはできなかった。
【課題を解決するための手段】
【０００４】
本発明の第１の態様においては、実空間を撮像した画像に基づきユーザの動作を検出する動作検出部と、実空間内における機器のうち、前記ユーザの動作により指定されたコピー対象機器を特定する特定部と、表示装置を制御して、前記コピー対象機器を表す機器画像を表示する表示制御部と、前記コピー対象機器が有する少なくとも一部の機能を実行する機能実行部と、を備える表示システム、および、このような表示システムに関連する表示方法およびプログラムを提供する。
【０００５】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【図面の簡単な説明】
【０００６】
【図１】本実施形態に係る表示システム１０の構成を示す。
【図２】本実施形態に係る制御装置３０の機能構成、および、時計１４をコピー対象とした場合において表示される機器画像２０の一例を示す。
【図３】本実施形態に係る制御装置３０における、コピーアンドペースト時の処理フローを示す。
【図４】本実施形態に係る制御装置３０における、機器画像２０に対する操作時の処理フローを示す。
【図５】テレビジョン装置６６のリモートコントローラ６８をコピー対象とした場合における、表示システム１０により表示される機器画像２０の一例を示す。
【図６】カメラ７０をコピー対象とした場合における、表示システム１０により表示される機器画像２０の一例を示す。
【図７】本実施形態に係るコンピュータ１９００のハードウェア構成の一例を示す。
【発明を実施するための形態】
【０００７】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【０００８】
図１は、本実施形態に係る表示システム１０の構成を示す。表示システム１０は、ユーザが予め定められた動作（コピー操作）により実空間内における機器をコピー対象機器として特定する。その後、表示システム１０は、ユーザが予め定められた動作（ペースト操作）により実空間内における任意の位置を指定したことに応じて、コピー対象機器を表す画像を指定した位置に表示する。
【０００９】
例えば、図１に示されるように、表示システム１０は、部屋１２内において、ユーザが時計１４に触ることにより当該時計１４をコピー対象機器として特定する。その後、表示システム１０は、ユーザが机１６の上を指定することにより、時計１４を撮像した機器画像２０を机１６の上に表示する。これにより、表示システム１０は、指定した機器の機能を指定した位置にコピーアンドペースとしているように、ユーザに感じさせることができる。
【００１０】
表示システム１０は、１または複数の撮像装置２２と、１または複数の表示装置２４と、制御装置３０とを備える。本実施形態において、表示システム１０は、部屋１２内に設けられる。なお、表示システム１０は、一つの部屋内のみならず、複数の部屋にまたがって設けられてもよい。
【００１１】
１または複数の撮像装置２２のそれぞれは、実空間を撮像する。本実施形態においては、１または複数の撮像装置２２は、部屋１２内に存在する１または複数の機器（例えば、時計、テレビジョン装置、リモートコントローラ、カメラ等）のそれぞれを撮像する。
【００１２】
１または複数の表示装置２４のそれぞれは、実空間に画像を表示する。１または複数の表示装置２４のそれぞれは、例えばプロジェクターである。すなわち、１または複数の表示装置２４のそれぞれは、部屋１２の物体に画像を投影して、物体上に画像を表示する。本実施形態においては、１または複数の表示装置２４は、部屋１２内におけるユーザが指定した箇所（例えば、机の上、デスクの上、壁、ベッドの頭の部分、床、天井等）に画像を表示する。
【００１３】
制御装置３０は、コンピュータであって、１または複数の撮像装置２２のそれぞれ、および、１または複数の表示装置２４のそれぞれの動作を制御する。より具体的には、制御装置３０は、１または複数の撮像装置２２のそれぞれを制御して、各撮像装置２２により撮像された撮像画像を取得する。また、制御装置３０は、１または複数の表示装置２４を制御して、ユーザにより指定された位置に画像を表示する。
【００１４】
また、制御装置３０は、実空間内に存在する機器の少なくとも一部の機能を実行する。制御装置３０は、一例として、部屋１２内に存在する機器（例えば、時計、テレビジョン装置、リモート、カメラ等）と通信をして、これらの機器を制御または調整等する。
【００１５】
また、表示システム１０は、実空間における物体の３次元位置を検出する位置検出装置を更に備えてもよい。位置検出装置は、一例として、右側カメラと左側カメラとを有するステレオカメラである。このような位置検出装置は、右側カメラにより撮像された画像と左側カメラにより撮像された画像との間の視差により、画面内の各物体までの被写体距離を表すことができる。
【００１６】
図２は、本実施形態に係る制御装置３０の機能構成、および、時計１４をコピー対象とした場合において表示される機器画像２０の一例を示す。制御装置３０は、画像取得部４２と、動作検出部４４と、特定部４６と、表示制御部５０と、機能実行部５２とを有する。画像取得部４２は、１または複数の撮像装置２２のそれぞれにより撮像された画像を取得する。
【００１７】
動作検出部４４は、画像取得部４２により取得された実空間を撮像した画像に基づき、ユーザの動作を検出する。動作検出部４４は、当該表示システム１０が位置検出装置を備える場合には、位置検出装置により検出されたユーザの身体の位置を更に利用して、ユーザの動作を検出してもよい。
【００１８】
動作検出部４４は、一例として、ユーザが機器を指定する動作をしたか否かを検出する。動作検出部４４は、一例として、ユーザが機器に触れる動作をしたことを検出する。さらに、動作検出部４４は、一例として、ユーザが機器を触れるとともに、コピー動作を表す予め定められたジェスチャー等の動作をしたことを検出してもよい。
【００１９】
動作検出部４４は、一例として、ユーザが画像の表示位置を指定する動作をしたか否かを検出する。動作検出部４４は、一例として、ユーザが何れかの物体の表面に触れる動作をしたことを検出する。さらに、動作検出部４４は、一例として、ユーザが表示位置を触れるとともに、ペースト動作を表す予め定められたジェスチャー等の動作をしたことを検出してもよい。
【００２０】
また、動作検出部４４は、一例として、機器を表す機器画像２０に対してユーザが何らかの操作をする動作したか否かを検出する。動作検出部４４は、一例として、機器を表す機器画像２０上のボタンおよびスイッチ等に触れて、触れたスイッチを操作する動作をしたか否かを検出する。
【００２１】
特定部４６は、実空間内における機器のうち、ユーザが動作により指定した機器をコピー対象機器として特定する。特定部４６は、ユーザが機器を指定する動作をした場合において、部屋１２内に存在する複数の機器（時計、テレビジョン装置、リモートコントローラ、カメラ等）のうち、ユーザが触れた機器をコピー対象機器として特定する。
【００２２】
この場合において、特定部４６は、一例として、コピー対象機器を撮像した画像に対して認識処理をして、コピー対象機器の種別を判別する。また、特定部４６は、一例として、コピー対象機器に描かれた識別コードを認識して、コピー対象機器の種別を判別してもよい。これにより、特定部４６は、確実に機器を特定することができる。
【００２３】
表示制御部５０は、１または複数の表示装置２４を制御して、コピー対象機器を表す機器画像２０を、ユーザが動作により指定した位置に表示する。表示制御部５０は、一例として、１または複数の撮像装置２２が撮像した画像からコピー対象機器の範囲を切り出して、機器画像２０を生成して表示する。これに代えて、表示制御部５０は、一例として、コピー対象機器を表す画像をコンピュータグラフィックスにより生成して表示してもよい。
【００２４】
機能実行部５２は、特定部４６により特定されたコピー対象機器が有する少なくとも一部の機能を実行する。機能実行部５２は、一例として、特定部４６によりコピー対象機器が特定されたことに応じて、コピー対象機器に含まれる機能の実行を開始する。
【００２５】
機能実行部５２は、一例として、ユーザが機器画像２０のボタンまたはスイッチ等に対して操作をする動作をしたことに応じて、その操作内容に応じた処理または制御を実行する。さらに、機能実行部５２は、時計１４と通信して遠隔操作によりコピー対象機器を制御する。また、機能実行部５２は、コンピュータグラフィックスにより表されたコピー対象機器を表示する場合、指定された機器の主機能を実行して、機器画像２０に反映してもよい。
【００２６】
図２においては、表示システム１０は、実空間（部屋１２の壁）に設けられた時計１４の機能をコピーして、机１６上にペーストする例を示している。この場合、特定部４６は、実空間内に設けられた時計１４をコピー対象機器として特定する。また、表示制御部５０は、時計１４を表す画像を撮像装置２２が撮像した画像から切り出して機器画像２０を生成し、机１６の上に表示する。そして、機能実行部５２は、機器画像２０に対するユーザの操作に応じて、時計１４に対してアラーム設定および時刻設定をする機能を実行する。
【００２７】
これにより、表示システム１０は、例えばユーザが壁に設けられた時計１４を見ることができない位置にいたしても、時計１４により表される時刻を確認することができる。さらに、表示システム１０は、時計１４を遠隔操作して、時刻およびアラーム等の設定をすることができる。
【００２８】
図３は、本実施形態に係る制御装置３０における、コピーアンドペースト時の処理フローを示す。制御装置３０は、コピーアンドペースト時において、図３のステップＳ１１からステップＳ１６の処理を実行する。
【００２９】
まず、ステップＳ１１において、制御装置３０は、ユーザが機器を指定する動作をしたか否かを判断する。制御装置３０は、一例として、ユーザが部屋１２内の何れかの機器に手で触れるとともに、予め定められたジェスチャーをしたか否かを、撮像装置２２により撮像された画像に基づき判断する。制御装置３０は、ユーザが機器の指定をしていないと判断する場合には（ステップＳ１１のＮｏ）、処理をステップＳ１１で待機する。制御装置３０は、ユーザが機器の指定をしたと判断する場合には（ステップＳ１１のＹｅｓ）、処理をステップＳ１２に進める。
【００３０】
続いて、ステップＳ１２において、制御装置３０は、ユーザが指定した機器を判別して、判別した機器をコピー対象機器として特定する。制御装置３０は、一例として、部屋１２内に存在する複数の機器のうち、ユーザが指定した機器が何れの種別の機器であるのかを判別する。より具体的には、制御装置３０は、ユーザが指定した機器が、壁に設けられた時計であるのか、テレビジョン装置であるのか、または、テレビジョン装置のリモートコントローラであるのか、カメラであるのか等を判別する。
【００３１】
続いて、ステップＳ１３において、制御装置３０は、ユーザが表示位置を指定したか否かを判断する。制御装置３０は、一例として、ユーザが、部屋１２内の何れかの表示位置に手で触れるとともに、予め定められたジェスチャーをしたか否かを、撮像装置２２により撮像された画像に基づき判断する。制御装置３０は、ユーザが表示位置の指定をしていないと判断する場合には（ステップＳ１３のＮｏ）、処理をステップＳ１３で待機する。制御装置３０は、ユーザが表示位置の指定をしたと判断する場合には（ステップＳ１３のＹｅｓ）、処理をステップＳ１４に進める。
【００３２】
続いて、ステップＳ１４において、制御装置３０は、コピー対象機器を表す機器画像２０を生成する。制御装置３０は、一例として、撮像装置２２からの画像を切り出して、機器画像２０を生成する。また、制御装置３０は、一例として、撮像装置２２を制御して、ユーザが指定した機器にズームアップした画像を取得して、機器画像２０を生成してもよい。また、制御装置３０は、コピー対象機器と同様の機能を有する機器の画像をコンピュータグラフィックスにより生成してもよい。
【００３３】
続いて、ステップＳ１５において、制御装置３０は、１または複数の表示装置２４の何れかを制御して、ステップＳ１４で生成した機器画像２０をユーザが指定した位置に表示する。以上により、制御装置３０によれば、部屋１２内の何れかの機器を表す機器画像２０を、部屋１２内における任意の位置に表示することができる。
【００３４】
図４は、本実施形態に係る制御装置３０における、機器画像２０に対する操作時の処理フローを示す。制御装置３０は、図３のコピーアンドペーストが終了後、図４のステップＳ２１からステップＳ２３の処理を実行する。
【００３５】
まず、ステップＳ２１において、制御装置３０は、ユーザが機器画像２０に対して操作をする動作をしたか否かを判断する。制御装置３０は、一例として、機器画像２０における、ボタンまたはスイッチ等の表示位置に触れて、ボタンまたはスイッチ等を操作する動きをしたか否かを判断する。制御装置３０は、ユーザが機器画像２０に対して操作をする動作をしていないと判断する場合には（ステップＳ２１のＮｏ）、処理をステップＳ２１で待機する。制御装置３０は、ユーザが機器画像２０に対して操作をする動作をしたと判断する場合には（ステップＳ２１のＹｅｓ）、処理をステップＳ２２に進める。
【００３６】
続いて、ステップＳ２２において、制御装置３０は、ユーザによる機器画像２０に対する操作内容を判別する。制御装置３０は、一例として、ユーザの手または指先と機器画像２０との位置関係から、ユーザが機器画像２０における何れのボタンまたはスイッチ等を触れているのかを判別するとともに、触れているボタンまたはスイッチ等をどのように操作しているのかを判別する。
【００３７】
続いて、ステップＳ２３において、制御装置３０は、ステップＳ２２で判別された操作内容に応じた機能を実行する。制御装置３０は、一例として、ユーザが操作したボタンまたはスイッチ等に対応した処理を実行させるべく、コピー対象機器を通信により制御する。制御装置３０は、一例として、コピー対象機器が時計１４である場合において、アラーム設定ボタンが操作された場合には、時計１４を遠隔操作してアラーム設定を行う。また、制御装置３０は、一例として、コピー対象機器が時計１４である場合において、アラームの停止ボタンが操作された場合には、時計１４のアラームを停止させる。
【００３８】
そして、制御装置３０は、ステップＳ２３の処理を終えると、処理をステップＳ２１に戻し、次の操作があるまで処理を待機する。以上により、制御装置３０によれば、機器画像２０に対するユーザの操作に応じて、コピー対象機器を制御することができる。
【００３９】
図５は、テレビジョン装置６６のリモートコントローラ６８をコピー対象とした場合における、表示システム１０により表示される機器画像２０の一例を示す。表示システム１０は、一例として、テレビジョン装置６６等の機器を遠隔制御するためのリモートコントローラ６８の機能をコピーアンドペーストしてもよい。
【００４０】
この場合、制御装置３０の特定部４６は、ユーザの動作によりリモートコントローラ６８が指定されたことに応じて、当該リモートコントローラ６８をコピー対象機器として特定する。続いて、制御装置３０の表示制御部５０は、機器画像２０として、リモートコントローラ６８を表す画像を、例えば机１６上に表示する。
【００４１】
そして、制御装置３０の機能実行部５２は、機器画像２０に対するユーザの操作に応じて、リモートコントローラ６８の制御対象となる機器（例えばテレビジョン装置６６）を遠隔制御する機能を実行する。すなわち、この場合、制御装置３０の機能実行部５２は、リモートコントローラ６８を制御することに代えて、リモートコントローラ６８の制御対象となる機器を制御する。また、この場合において、制御装置３０の機能実行部５２は、リモートコントローラ６８の制御対象となる機器を制御できない場合には、一例として、機器画像２０に対して電源のスイッチング操作が行われたことに応じて、コピー対象機器が制御する制御対象の機器に電源を供給する電源ラインのスイッチを制御してもよい。
【００４２】
以上のように、制御装置３０によれば、リモートコントローラ６８を表す画像を、ユーザの希望する位置に表示させることができる。さらに、制御装置３０によれば、表示したリモートコントローラ６８の画像に対する操作に応じて、リモートコントローラ６８の制御対象の機器を遠隔操作することができる。
【００４３】
図６は、カメラ７０をコピー対象とした場合における、表示システム１０により表示される機器画像２０の一例を示す。表示システム１０は、一例として、カメラ７０の機能をコピーアンドペーストしてもよい。カメラ７０は屋外等に設けられてもよい。
【００４４】
また、この場合において、１または複数の撮像装置２２は、一例として、カメラ７０の操作面およびカメラ７０の表示面の画像を撮像する。制御装置３０の特定部４６は、実空間内に設けられたカメラ７０をコピー対象機器として特定する。
【００４５】
制御装置３０の表示制御部５０は、撮像装置２２により撮像された画像に基づき、機器画像２０として、カメラ７０の操作面を表す画像を表示する。表示制御部５０は、一例として、カメラ７０のシャッタボタンが設けられた操作面（例えば上面）を表す機器画像２０−１を表示する。
【００４６】
さらに、制御装置３０の表示制御部５０は、撮像装置２２により撮像された画像に基づき、機器画像２０として、カメラ７０の表示面を表す画像を表示する。表示制御部５０は、一例として、カメラ７０の表示パネルが設けられた表示面（例えば裏面）を表す機器画像２０−２を表示する。
【００４７】
そして、制御装置３０の機能実行部５２は、機器画像２０に対するユーザの操作に応じて、カメラ７０を遠隔制御する機能を実行する。例えば、機能実行部５２は、機器画像２０−１に対してシャッタボタンを押す操作がされた場合には、カメラ７０を遠隔制御してカメラ７０に被写体を撮像させる。以上により、制御装置３０によれば、カメラ７０の表示画面を見ながら、カメラ７０を遠隔操作することができる。
【００４８】
図７は、本実施形態に係るコンピュータ１９００のハードウェア構成の一例を示す。本実施形態に係るコンピュータ１９００は、ホスト・コントローラ２０８２により相互に接続されるＣＰＵ２０００、ＲＡＭ２０２０、グラフィック・コントローラ２０７５、及び表示装置２０８０を有するＣＰＵ周辺部と、入出力コントローラ２０８４によりホスト・コントローラ２０８２に接続される通信インターフェイス２０３０、ハードディスクドライブ２０４０、及びＣＤ−ＲＯＭドライブ２０６０を有する入出力部と、入出力コントローラ２０８４に接続されるＲＯＭ２０１０、フレキシブルディスク・ドライブ２０５０、及び入出力チップ２０７０を有するレガシー入出力部とを備える。
【００４９】
ホスト・コントローラ２０８２は、ＲＡＭ２０２０と、高い転送レートでＲＡＭ２０２０をアクセスするＣＰＵ２０００及びグラフィック・コントローラ２０７５とを接続する。ＣＰＵ２０００は、ＲＯＭ２０１０及びＲＡＭ２０２０に格納されたプログラムに基づいて動作し、各部の制御を行う。グラフィック・コントローラ２０７５は、ＣＰＵ２０００等がＲＡＭ２０２０内に設けたフレーム・バッファ上に生成する画像データを取得し、表示装置２０８０上に表示させる。これに代えて、グラフィック・コントローラ２０７５は、ＣＰＵ２０００等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。
【００５０】
入出力コントローラ２０８４は、ホスト・コントローラ２０８２と、比較的高速な入出力装置である通信インターフェイス２０３０、ハードディスクドライブ２０４０、ＣＤ−ＲＯＭドライブ２０６０を接続する。通信インターフェイス２０３０は、ネットワークを介して他の装置と通信する。ハードディスクドライブ２０４０は、コンピュータ１９００内のＣＰＵ２０００が使用するプログラム及びデータを格納する。ＣＤ−ＲＯＭドライブ２０６０は、ＣＤ−ＲＯＭ２０９５からプログラム又はデータを読み取り、ＲＡＭ２０２０を介してハードディスクドライブ２０４０に提供する。
【００５１】
また、入出力コントローラ２０８４には、ＲＯＭ２０１０と、フレキシブルディスク・ドライブ２０５０、及び入出力チップ２０７０の比較的低速な入出力装置とが接続される。ＲＯＭ２０１０は、コンピュータ１９００が起動時に実行するブート・プログラム、及び／又は、コンピュータ１９００のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ２０５０は、フレキシブルディスク２０９０からプログラム又はデータを読み取り、ＲＡＭ２０２０を介してハードディスクドライブ２０４０に提供する。入出力チップ２０７０は、フレキシブルディスク・ドライブ２０５０を入出力コントローラ２０８４へと接続すると共に、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を入出力コントローラ２０８４へと接続する。
【００５２】
ＲＡＭ２０２０を介してハードディスクドライブ２０４０に提供されるプログラムは、フレキシブルディスク２０９０、ＣＤ−ＲＯＭ２０９５、又はＩＣカード等の記録媒体に格納されて利用者によって提供される。プログラムは、記録媒体から読み出され、ＲＡＭ２０２０を介してコンピュータ１９００内のハードディスクドライブ２０４０にインストールされ、ＣＰＵ２０００において実行される。
【００５３】
コンピュータ１９００にインストールされ、コンピュータ１９００を制御装置３０として機能させるプログラムは、画像取得モジュールと、動作検出モジュールと、特定モジュールと、表示制御モジュールと、機能実行モジュールとを備える。これらのプログラム又はモジュールは、ＣＰＵ２０００等に働きかけて、コンピュータ１９００を、画像取得部４２、動作検出部４４、特定部４６、表示制御部５０および機能実行部５２としてそれぞれ機能させる。
【００５４】
これらのプログラムに記述された情報処理は、コンピュータ１９００に読込まれることにより、ソフトウェアと上述した各種のハードウェア資源とが協働した具体的手段である画像取得部４２、動作検出部４４、特定部４６、表示制御部５０および機能実行部５２として機能する。そして、これらの具体的手段によって、本実施形態におけるコンピュータ１９００の使用目的に応じた情報の演算又は加工を実現することにより、使用目的に応じた特有の制御装置３０が構築される。
【００５５】
一例として、コンピュータ１９００と外部の装置等との間で通信を行う場合には、ＣＰＵ２０００は、ＲＡＭ２０２０上にロードされた通信プログラムを実行し、通信プログラムに記述された処理内容に基づいて、通信インターフェイス２０３０に対して通信処理を指示する。通信インターフェイス２０３０は、ＣＰＵ２０００の制御を受けて、ＲＡＭ２０２０、ハードディスクドライブ２０４０、フレキシブルディスク２０９０、又はＣＤ−ＲＯＭ２０９５等の記憶装置上に設けた送信バッファ領域等に記憶された送信データを読み出してネットワークへと送信し、もしくは、ネットワークから受信した受信データを記憶装置上に設けた受信バッファ領域等へと書き込む。このように、通信インターフェイス２０３０は、ＤＭＡ（ダイレクト・メモリ・アクセス）方式により記憶装置との間で送受信データを転送してもよく、これに代えて、ＣＰＵ２０００が転送元の記憶装置又は通信インターフェイス２０３０からデータを読み出し、転送先の通信インターフェイス２０３０又は記憶装置へとデータを書き込むことにより送受信データを転送してもよい。
【００５６】
また、ＣＰＵ２０００は、ハードディスクドライブ２０４０、ＣＤ−ＲＯＭドライブ２０６０（ＣＤ−ＲＯＭ２０９５）、フレキシブルディスク・ドライブ２０５０（フレキシブルディスク２０９０）等の外部記憶装置に格納されたファイルまたはデータベース等の中から、全部または必要な部分をＤＭＡ転送等によりＲＡＭ２０２０へと読み込ませ、ＲＡＭ２０２０上のデータに対して各種の処理を行う。そして、ＣＰＵ２０００は、処理を終えたデータを、ＤＭＡ転送等により外部記憶装置へと書き戻す。このような処理において、ＲＡＭ２０２０は、外部記憶装置の内容を一時的に保持するものとみなせるから、本実施形態においてはＲＡＭ２０２０および外部記憶装置等をメモリ、記憶部、または記憶装置等と総称する。本実施形態における各種のプログラム、データ、テーブル、データベース等の各種の情報は、このような記憶装置上に格納されて、情報処理の対象となる。なお、ＣＰＵ２０００は、ＲＡＭ２０２０の一部をキャッシュメモリに保持し、キャッシュメモリ上で読み書きを行うこともできる。このような形態においても、キャッシュメモリはＲＡＭ２０２０の機能の一部を担うから、本実施形態においては、区別して示す場合を除き、キャッシュメモリもＲＡＭ２０２０、メモリ、及び／又は記憶装置に含まれるものとする。
【００５７】
また、ＣＰＵ２０００は、ＲＡＭ２０２０から読み出したデータに対して、プログラムの命令列により指定された、本実施形態中に記載した各種の演算、情報の加工、条件判断、情報の検索・置換等を含む各種の処理を行い、ＲＡＭ２０２０へと書き戻す。例えば、ＣＰＵ２０００は、条件判断を行う場合においては、本実施形態において示した各種の変数が、他の変数または定数と比較して、大きい、小さい、以上、以下、等しい等の条件を満たすかどうかを判断し、条件が成立した場合（又は不成立であった場合）に、異なる命令列へと分岐し、またはサブルーチンを呼び出す。
【００５８】
また、ＣＰＵ２０００は、記憶装置内のファイルまたはデータベース等に格納された情報を検索することができる。例えば、第１属性の属性値に対し第２属性の属性値がそれぞれ対応付けられた複数のエントリが記憶装置に格納されている場合において、ＣＰＵ２０００は、記憶装置に格納されている複数のエントリの中から第１属性の属性値が指定された条件と一致するエントリを検索し、そのエントリに格納されている第２属性の属性値を読み出すことにより、所定の条件を満たす第１属性に対応付けられた第２属性の属性値を得ることができる。
【００５９】
以上に示したプログラム又はモジュールは、外部の記録媒体に格納されてもよい。記録媒体としては、フレキシブルディスク２０９０、ＣＤ−ＲＯＭ２０９５の他に、ＤＶＤ又はＣＤ等の光学記録媒体、ＭＯ等の光磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、専用通信ネットワーク又はインターネットに接続されたサーバシステムに設けたハードディスク又はＲＡＭ等の記憶装置を記録媒体として使用し、ネットワークを介してプログラムをコンピュータ１９００に提供してもよい。
【００６０】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【００６１】
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【符号の説明】
【００６２】
１０ 表示システム、１２ 部屋、１４ 時計、１６ 机、２０ 機器画像、２２ 撮像装置、２４ 表示装置、３０ 制御装置、４２ 画像取得部、４４ 動作検出部、４６ 特定部、５０ 表示制御部、５２ 機能実行部、６６ テレビジョン装置、６８ リモートコントローラ、７０ カメラ、１９００ コンピュータ、２０００ ＣＰＵ、２０１０ ＲＯＭ、２０２０ ＲＡＭ、２０３０ 通信インターフェイス、２０４０ ハードディスクドライブ、２０５０ フレキシブルディスク・ドライブ、２０６０ ＣＤ−ＲＯＭドライブ、２０７０ 入出力チップ、２０７５ グラフィック・コントローラ、２０８０ 表示装置、２０８２ ホスト・コントローラ、２０８４ 入出力コントローラ、２０９０ フレキシブルディスク、２０９５ ＣＤ−ＲＯＭ
【特許請求の範囲】
【請求項１】
実空間を撮像した画像に基づきユーザの動作を検出する動作検出部と、
実空間内における機器のうち、前記ユーザの動作により指定されたコピー対象機器を特定する特定部と、
表示装置を制御して、前記コピー対象機器を表す機器画像を表示する表示制御部と、
前記コピー対象機器が有する少なくとも一部の機能を実行する機能実行部と、
を備える表示システム。
【請求項２】
実空間を撮像する撮像装置と、
前記実空間に画像を表示する表示装置と、
を更に備える請求項１に記載の表示システム。
【請求項３】
前記表示制御部は、
前記撮像装置が撮像した画像から前記コピー対象機器の部分を切り出して、前記機器画像として表示する
請求項２に記載の表示システム。
【請求項４】
前記表示制御部は、ユーザの動作によって指定された位置に前記機器画像を表示する
請求項１に記載の表示システム。
【請求項５】
前記特定部は、前記コピー対象機器を撮像した画像に対して認識処理をして、前記コピー対象機器の種別を判別し、
前記機能実行部は、判別された種別の機器の機能を実行する
請求項１から４の何れか１項に記載の表示システム。
【請求項６】
前記特定部は、前記コピー対象機器に描かれた識別コードを認識して、前記コピー対象機器の種別を判別する
請求項５に記載の表示システム。
【請求項７】
前記機能実行部は、前記機器画像に対して電源のスイッチング操作が行われたことに応じて、前記コピー対象機器が制御する制御対象の機器に電源を供給する電源ラインのスイッチを制御する
請求項１から６の何れか１項に記載の表示システム。
【請求項８】
前記特定部は、前記実空間内に設けられた時計を前記コピー対象機器として特定し、
前記表示制御部は、前記機器画像として、前記時計を表す画像を表示し、
前記機能実行部は、前記機器画像に対するユーザの操作に応じて、前記時計に対して設定をする機能を実行する
請求項１から６の何れか１項に記載の表示システム。
【請求項９】
前記特定部は、機器を遠隔制御するためのリモートコントローラを前記コピー対象機器として特定し、
前記表示制御部は、前記機器画像として、前記リモートコントローラを表す画像を表示し、
前記機能実行部は、前記機器画像に対するユーザの操作に応じて、前記リモートコントローラの制御対象となる機器を遠隔制御する機能を実行する
請求項１から６の何れか１項に記載の表示システム。
【請求項１０】
前記特定部は、前記実空間内に設けられたカメラを前記コピー対象機器として特定し、
前記表示制御部は、前記機器画像として、前記カメラの操作面を表す画像を表示し、
前記機能実行部は、前記機器画像に対するユーザの操作に応じて、前記カメラを遠隔制御する機能を実行する
請求項１から６の何れか１項に記載の表示システム。
【請求項１１】
前記実空間における物体の３次元位置を検出する位置検出装置を更に備え、
前記動作検出部は、前記位置検出装置により検出されたユーザの身体の位置に基づき、前記ユーザの動作を検出する
請求項１から１０の何れか１項に記載の表示システム。
【請求項１２】
実空間を撮像した画像に基づきユーザの動作を検出する動作検出ステップと、
実空間内における機器のうち、前記ユーザの動作により指定されたコピー対象機器を特定する特定ステップと、
表示装置を制御して、前記コピー対象機器を表す機器画像を表示する表示制御ステップと、
前記コピー対象機器が有する少なくとも一部の機能を実行する機能実行ステップと、
を備える表示方法。
【請求項１３】
コンピュータを、
実空間を撮像した画像に基づきユーザの動作を検出する動作検出部と、
実空間内における機器のうち、前記ユーザの動作により指定されたコピー対象機器を特定する特定部と、
表示装置を制御して、前記コピー対象機器を表す機器画像を表示する表示制御部と、
前記コピー対象機器が有する少なくとも一部の機能を実行する機能実行部と、
を備える制御装置として機能させるためのプログラム。
【請求項１】
実空間を撮像した画像に基づきユーザの動作を検出する動作検出部と、
実空間内における機器のうち、前記ユーザの動作により指定されたコピー対象機器を特定する特定部と、
表示装置を制御して、前記コピー対象機器を表す機器画像を表示する表示制御部と、
前記コピー対象機器が有する少なくとも一部の機能を実行する機能実行部と、
を備える表示システム。
【請求項２】
実空間を撮像する撮像装置と、
前記実空間に画像を表示する表示装置と、
を更に備える請求項１に記載の表示システム。
【請求項３】
前記表示制御部は、
前記撮像装置が撮像した画像から前記コピー対象機器の部分を切り出して、前記機器画像として表示する
請求項２に記載の表示システム。
【請求項４】
前記表示制御部は、ユーザの動作によって指定された位置に前記機器画像を表示する
請求項１に記載の表示システム。
【請求項５】
前記特定部は、前記コピー対象機器を撮像した画像に対して認識処理をして、前記コピー対象機器の種別を判別し、
前記機能実行部は、判別された種別の機器の機能を実行する
請求項１から４の何れか１項に記載の表示システム。
【請求項６】
前記特定部は、前記コピー対象機器に描かれた識別コードを認識して、前記コピー対象機器の種別を判別する
請求項５に記載の表示システム。
【請求項７】
前記機能実行部は、前記機器画像に対して電源のスイッチング操作が行われたことに応じて、前記コピー対象機器が制御する制御対象の機器に電源を供給する電源ラインのスイッチを制御する
請求項１から６の何れか１項に記載の表示システム。
【請求項８】
前記特定部は、前記実空間内に設けられた時計を前記コピー対象機器として特定し、
前記表示制御部は、前記機器画像として、前記時計を表す画像を表示し、
前記機能実行部は、前記機器画像に対するユーザの操作に応じて、前記時計に対して設定をする機能を実行する
請求項１から６の何れか１項に記載の表示システム。
【請求項９】
前記特定部は、機器を遠隔制御するためのリモートコントローラを前記コピー対象機器として特定し、
前記表示制御部は、前記機器画像として、前記リモートコントローラを表す画像を表示し、
前記機能実行部は、前記機器画像に対するユーザの操作に応じて、前記リモートコントローラの制御対象となる機器を遠隔制御する機能を実行する
請求項１から６の何れか１項に記載の表示システム。
【請求項１０】
前記特定部は、前記実空間内に設けられたカメラを前記コピー対象機器として特定し、
前記表示制御部は、前記機器画像として、前記カメラの操作面を表す画像を表示し、
前記機能実行部は、前記機器画像に対するユーザの操作に応じて、前記カメラを遠隔制御する機能を実行する
請求項１から６の何れか１項に記載の表示システム。
【請求項１１】
前記実空間における物体の３次元位置を検出する位置検出装置を更に備え、
前記動作検出部は、前記位置検出装置により検出されたユーザの身体の位置に基づき、前記ユーザの動作を検出する
請求項１から１０の何れか１項に記載の表示システム。
【請求項１２】
実空間を撮像した画像に基づきユーザの動作を検出する動作検出ステップと、
実空間内における機器のうち、前記ユーザの動作により指定されたコピー対象機器を特定する特定ステップと、
表示装置を制御して、前記コピー対象機器を表す機器画像を表示する表示制御ステップと、
前記コピー対象機器が有する少なくとも一部の機能を実行する機能実行ステップと、
を備える表示方法。
【請求項１３】
コンピュータを、
実空間を撮像した画像に基づきユーザの動作を検出する動作検出部と、
実空間内における機器のうち、前記ユーザの動作により指定されたコピー対象機器を特定する特定部と、
表示装置を制御して、前記コピー対象機器を表す機器画像を表示する表示制御部と、
前記コピー対象機器が有する少なくとも一部の機能を実行する機能実行部と、
を備える制御装置として機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１３−１１４４６６（Ｐ２０１３−１１４４６６Ａ）
【公開日】平成２５年６月１０日（２０１３．６．１０）
【国際特許分類】
【出願番号】特願２０１１−２６０２３５（Ｐ２０１１−２６０２３５）
【出願日】平成２３年１１月２９日（２０１１．１１．２９）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２５年６月１０日（２０１３．６．１０）
【国際特許分類】
【出願日】平成２３年１１月２９日（２０１１．１１．２９）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]