画像処理装置、画像処理方法
【課題】 複合現実空間を観察する観察者が装着する表示装置や、別個に設けられた表示装置に対して提供する画像を、観察者の操作を介することなく適宜切り替える為の技術を提供すること。
【解決手段】 三次元ＣＧソフト１０１は、仮想空間の画像を生成し、画像出力部１０２は、この画像をＨＭＤ１０７に対して出力する。自動モード切替部２００は、ＨＭＤ１０７が使用状態にあるか否かを判断し、ＨＭＤ１０７が使用状態にある場合には、三次元ＣＧソフト１０１を動作させる。
【解決手段】 三次元ＣＧソフト１０１は、仮想空間の画像を生成し、画像出力部１０２は、この画像をＨＭＤ１０７に対して出力する。自動モード切替部２００は、ＨＭＤ１０７が使用状態にあるか否かを判断し、ＨＭＤ１０７が使用状態にある場合には、三次元ＣＧソフト１０１を動作させる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複合現実感提示技術に関するものである。
【背景技術】
【０００２】
従来、機械設計の分野では三次元ＣＡＤシステムが用いられており、機構及び機構の構成部品を立体的に表示しながら設計を行うことが可能になっている。通常、三次元ＣＡＤシステムでは、表示装置として二次元ディスプレイを利用し、入力装置としてマウスやキーボードを利用するのが一般的である。
【０００３】
一方、近年では三次元データを立体的に表示する表示装置が実用化されている。このような表示装置では、視差のついた映像に偏光をかけて表示し、体験者は偏光眼鏡を使って立体を知覚することが可能である。
【０００４】
さらに、現実空間に三次元データなどの仮想情報を重畳して提示する複合現実感技術を使った表示装置なども実用化されている。複合現実感の提示を行う表示装置は、例えば次のような構成を有する装置である。即ち、ビデオカメラ等の撮像装置が撮像した現実空間の画像上に、撮像装置の位置及び姿勢に応じて生成した仮想空間の画像（例えばコンピュータグラフィックスにより描画された仮想物体や文字情報等）を重畳描画した画像を表示する装置である。このような装置には、例えば、ＨＭＤ（ヘッドマウントディスプレイ、頭部装着型表示装置）を用いることができる。また、係る表示装置は、観察者の頭部に装着された光学シースルー型ディスプレイに、観察者の視点の位置及び姿勢に応じて生成した仮想空間の画像を表示する光学シースルー方式によっても実現されている。
【０００５】
このように、三次元ＣＡＤシステムで設計された三次元データを、立体表示可能な表示装置を使って観察するシステムはいくつか存在している。例えば特許文献１がその例である。この方法を用いれば、三次元ＣＡＤシステムを複合現実感システムとしても利用することが出来る。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００７−２９９０６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
三次元ＣＡＤシステムで作成した三次元データを複合現実感システムで観察するシステムでは、観察者の任意の操作に基づいて表示部を切り替えるのが一般的である。例えば、画面上のボタンをマウスでクリックすることで、二次元ディスプレイの表示から複合現実感システムによる表示へと切り替える方法などが一般的である。しかし、通常の三次元ＣＡＤシステムの操作部（二次元ディスプレイ、マウス、キーボード）による操作と、複合現実感システムでの操作では、操作部や操作方法は異なる。然るに、双方のモードを切り替えるためには、それぞれのシステムで異なる操作法を習得する必要があった。観察者にとっては、システムの操作は出来るだけ簡単な操作が望まれ、出来ることなら双方のモードを自動的に切り替える仕組みが望まれる。
【０００８】
本発明は以上の問題に鑑みてなされたものであり、複合現実空間を観察する観察者が装着する表示装置や、別個に設けられた表示装置に対して提供する画像を、観察者の操作を介することなく適宜切り替える為の技術を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の目的を達成するために、例えば、本発明の画像処理装置は以下の構成を備える。即ち、仮想空間の画像を生成し、該画像を観察する観察者が装着する表示装置に対して出力する生成手段と、前記表示装置が使用状態にあるか否かを判断する判断手段と、前記表示装置が使用状態にあると前記判断手段が判断した場合に前記生成手段を動作させる制御手段とを備えることを特徴とする。
【発明の効果】
【００１０】
本発明の構成によれば、複合現実空間を観察する観察者が装着する表示装置や、別個に設けられた表示装置に対して提供する画像を、観察者の操作を介することなく適宜切り替えることができる。
【図面の簡単な説明】
【００１１】
【図１】従来のシステムの構成を示すブロック図。
【図２】ＨＭＤ１０７が使用状態ではない場合に三次元ＣＧソフト１０１に行わせる処理のフローチャート。
【図３】システムの動作を示すフローチャート。
【図４】システムの機能構成例を示すブロック図。
【図５】システムの機能構成例を示すブロック図。
【図６】コンピュータ４００に適用可能な装置の構成例を示すブロック図。
【発明を実施するための形態】
【００１２】
以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載の構成の具体的な実施例の１つである。
【００１３】
［第１の実施形態］
仮想空間の画像と現実空間の画像との合成画像である複合現実空間の画像を生成して観察者に提示するための従来のシステムの構成について、図１のブロック図を用いて説明する。もちろん、複合現実空間の画像を生成して観察者に提示するための構成については様々なものが従来から提案されているが、ここではその一例について触れる。
【００１４】
係るシステムは図１に示す如く、ＨＭＤ１０７と、コンピュータ１００と、で構成されている。ＨＭＤ１０７は、ＨＭＤ１０７を頭部に装着する観察者の左眼に対応する現実空間の画像を撮像する画像撮像装置左１０８と、ＨＭＤ１０７を頭部に装着する観察者の右眼に対応する現実空間の画像を撮像する画像撮像装置右１０９と、を有する。画像撮像装置左１０８及び画像撮像装置右１０９のそれぞれは、現実空間の動画像を撮像するもので、撮像した各フレームの画像（現実空間の画像）はコンピュータ１００に対して送出される。
【００１５】
また、ＨＭＤ１０７は、ＨＭＤ１０７を頭部に装着する観察者の左眼に対して画像を提供する表示装置左１１０と、ＨＭＤ１０７を頭部に装着する観察者の右眼に対して画像を提供する表示装置右１１１と、を有する。表示装置左１１０及び表示装置右１１１のそれぞれは、観察者がＨＭＤ１０７を自身の頭部に装着した場合に、この観察者の左眼、右眼の眼前に位置するようにＨＭＤ１０７に対して取り付けられたものである。表示装置左１１０には、コンピュータ１００から送出される左目用の画像が表示され、表示装置右１１１には、コンピュータ１００から送出される右目用の画像が表示される。これにより、観察者の左眼の眼前には左目用の画像が表示され、右眼の眼前には右目用の画像が表示されることになるので、観察者はそれぞれの目で対応する画像を観察することで、立体視を実現できる。
【００１６】
次に、画像処理装置として機能するコンピュータ１００について説明する。画像撮像装置左１０８、画像撮像装置右１０９のそれぞれから送出された現実空間の画像は画像入力部１０６が取得し、画像入力部１０６は取得したそれぞれの現実空間の画像を三次元ＣＧソフト１０１に供給する。
【００１７】
位置姿勢計測部１０５は、画像撮像装置左１０８及び画像撮像装置右１０９の位置姿勢を求めるために必要な情報を収集する。この収集する情報には様々なものが考え得る。
【００１８】
例えば、画像撮像装置左１０８及び画像撮像装置右１０９は、それらの間の位置関係が固定されたままＨＭＤ１０７に取り付けられているので、一方の画像撮像装置の位置姿勢を計測すれば、他方の画像撮像装置の位置姿勢は計算可能である。然るにこの場合、位置姿勢計測部１０５は、画像撮像装置左１０８、画像撮像装置右１０９の何れか一方の位置姿勢を計測すればよいことになる。
【００１９】
また、画像撮像装置左１０８との位置関係が既知であるＨＭＤ１０７上の１点の位置姿勢を計測すれば、画像撮像装置左１０８の位置姿勢は計算可能である。これは画像撮像装置右１０９の場合も同様である。
【００２０】
このように、計測対象の位置姿勢さえ計測することができるのであれば、どの部分の位置姿勢を計測し、計測した位置姿勢をどのように用いて画像撮像装置左１０８及び画像撮像装置右１０９の位置姿勢を求めるのかについては特に限定するものではない。
【００２１】
また、計測対象の位置姿勢の計測方法については従来から様々な方法が提案されており、何れの方法を用いても良い。例えば、磁気センサを用いる場合、計測対象位置に磁気のレシーバを取り付け、現実空間中に配した磁気の発信源からの磁気の変化をこのレシーバにより計測し、計測した磁気の変化から、このレシーバの位置姿勢を求める。また、ＨＭＤ１０７の動画像を撮像するカメラを現実空間中に設け、このカメラにより撮像された各フレームの画像から、このＨＭＤ１０７の位置姿勢を推定する方法を用いても良い。
【００２２】
このように、本実施形態では、画像撮像装置左１０８及び画像撮像装置右１０９の位置姿勢さえ取得することができるのであれば、如何なる技術を採用しても良い。そして採用した技術を実現するための構成が位置姿勢計測部１０５となる。もちろん、構成によっては、この位置姿勢計測部１０５は、コンピュータ１００の外部に設けても良いし、何らかの装置に組み込んでも良い。
【００２３】
何れにせよ、位置姿勢計測部１０５により取得した位置姿勢は三次元ＣＧソフト１０１に供給される。そして三次元ＣＧソフト１０１は、この位置姿勢から、画像撮像装置左１０８及び画像撮像装置右１０９の位置姿勢を確定させる。確定させる方法は、上記の通り、計測した位置姿勢がどの部分の位置姿勢であるのかに応じて異なる。
【００２４】
三次元ＣＧソフト１０１は、この確定させた画像撮像装置左１０８の位置姿勢を有する視点から見える仮想空間の画像を、コンピュータ１００内に保持している若しくは外部装置から取得した仮想空間のデータを用いて生成する。そして三次元ＣＧソフト１０１は、この生成した仮想空間の画像を、画像入力部１０６から取得した、画像撮像装置左１０８により撮像された現実空間の画像上に合成することで、左目用の複合現実空間の画像を生成する。同様に、三次元ＣＧソフト１０１は、この確定させた画像撮像装置右１０９の位置姿勢を有する視点から見える仮想空間の画像を、上記の仮想空間のデータを用いて生成する。そして三次元ＣＧソフト１０１は、この生成した仮想空間の画像を、画像入力部１０６から取得した、画像撮像装置右１０９により撮像された現実空間の画像上に合成することで、右目用の複合現実空間の画像を生成する。
【００２５】
画像出力部１０２は、三次元ＣＧソフト１０１が生成した左目用の複合現実空間の画像を表示装置左１１０に対して送出すると共に、三次元ＣＧソフト１０１が生成した右目用の複合現実空間の画像を表示装置右１１１に対して送出する。
【００２６】
入力デバイス１０４は、マウスやキーボードなど、コンピュータ１００の操作者がコンピュータ１００に対して指示入力を行うために操作するものである。例えば、表示装置左１１０及び表示装置右１１１のそれぞれに表示する内容を切り替えるための指示を入力するために使用する。
【００２７】
以上説明したシステムの動作について、図３のフローチャートを用いて説明する。ステップＳ２００１では、画像撮像装置左１０８及び画像撮像装置右１０９のそれぞれは、左目用の現実空間の画像、右目用の現実空間の画像を撮像し、撮像した画像をコンピュータ１００に対して送出する。画像入力部１０６は、このそれぞれの画像を三次元ＣＧソフト１０１に供給する。
【００２８】
ステップＳ２００１と並行してステップＳ２００２では、位置姿勢計測部１０５は計測対象の位置姿勢を計測し、計測した位置姿勢を三次元ＣＧソフト１０１に対して供給する。
【００２９】
ステップＳ２００３では、三次元ＣＧソフト１０１は、位置姿勢計測部１０５から供給された位置姿勢から、画像撮像装置左１０８及び画像撮像装置右１０９の位置姿勢を確定させる。そして三次元ＣＧソフト１０１は、この確定させた画像撮像装置左１０８の位置姿勢を有する視点から見える仮想空間の画像を、上記の仮想空間のデータを用いて生成する。そして三次元ＣＧソフト１０１は、この生成した仮想空間の画像を、画像入力部１０６から取得した、画像撮像装置左１０８により撮像された現実空間の画像上に合成することで、左目用の複合現実空間の画像を生成する。同様に、三次元ＣＧソフト１０１は、この確定させた画像撮像装置右１０９の位置姿勢を有する視点から見える仮想空間の画像を、上記の仮想空間のデータを用いて生成する。そして三次元ＣＧソフト１０１は、この生成した仮想空間の画像を、画像入力部１０６から取得した、画像撮像装置右１０９により撮像された現実空間の画像上に合成することで、右目用の複合現実空間の画像を生成する。
【００３０】
ステップＳ２００４では、画像出力部１０２は、三次元ＣＧソフト１０１が生成した左目用の複合現実空間の画像を表示装置左１１０に送出すると共に、三次元ＣＧソフト１０１が生成した右目用の複合現実空間の画像を表示装置右１１１に送出する。
【００３１】
以上説明した構成が、複合現実空間を観察者に対して提示するための従来のシステムの構成である。本実施形態では、表示装置左１１０及び表示装置右１１１に表示する内容を、ＨＭＤ１０７の使用状態に応じて切り替える為の構成をコンピュータ１００に加えたシステムについて説明する。
【００３２】
先ず、本実施形態に係るシステムの機能構成例について、図４のブロック図を用いて説明する。図４において図１に示した構成用件と同じ構成用件には同じ参照番号を付しており、その説明は省略する。
【００３３】
コンピュータ４００には、コンピュータ１００が有する構成に加え、自動モード切替部２００が搭載されている。自動モード切替部２００は、ＨＭＤ１０７の状態を監視しており、ＨＭＤ１０７が使用状態にあるか否かを判断する。そしてその判断結果に応じて、三次元ＣＧソフト１０１の動作を許可したり、停止させたりする動作制御を行う。
【００３４】
ここで、ＨＭＤ１０７の状態の監視には様々なものがある。例えば、自動モード切替部２００は、ＨＭＤ１０７の電源がオンになっているかオフになっているかを監視する。この監視のタイミングは定期的に行うことが好ましい。そして、自動モード切替部２００は、ＨＭＤ１０７の電源がオンになっていれば、ＨＭＤ１０７は使用状態にあると判断し、ＨＭＤ１０７の電源がオフになっていれば、ＨＭＤ１０７は使用状態にはないと判断する。
【００３５】
また、例えば、観察者が自身の頭部にＨＭＤ１０７を装着した場合に、ＨＭＤ１０７においてこの頭部と接触するような位置に接触センサを設けておき、自動モード切替部２００はこの接触センサからの信号（接触したか否かを示す信号）を受けるようにする。そして自動モード切替部２００は、この信号を監視（ＨＭＤ１０７が観察者の頭部に装着されているか否かを監視）する。そして自動モード切替部２００は、この信号が「ＨＭＤ１０７が観察者の頭部に装着されている」ことを示す場合には、ＨＭＤ１０７が使用状態にあると判断する。一方、自動モード切替部２００は、この信号が「ＨＭＤ１０７が観察者の頭部に装着されていない」ことを示す場合には、ＨＭＤ１０７は使用状態にはないと判断する。
【００３６】
このように、自動モード切替部２００は、現在ＨＭＤ１０７が使用状態にあるか否かを、様々な方法でもって判断する。もちろん、判断する方法はこれに限るものではなく、様々な方法が考え得る。そして自動モード切替部２００は、現在ＨＭＤ１０７が使用状態にあると判断している間は三次元ＣＧソフト１０１の実行を許可し、現在ＨＭＤ１０７が使用状態にはないと判断した場合には、三次元ＣＧソフト１０１の実行を禁止する。
【００３７】
これにより、現在ＨＭＤ１０７が使用状態にはない場合には、複合現実空間の画像の生成及びＨＭＤ１０７への出力は行われないので、無駄な画像生成処理、画像出力処理を省くことができる。
【００３８】
ここで、コンピュータ４００に適用可能な装置の構成例について、図６のブロック図を用いて説明する。もちろん、コンピュータ４００に適用可能な装置の構成についてはこれ以外にも考えられ、図６の構成に限るものではない。
【００３９】
ＣＰＵ８０１は、ＲＡＭ８０２やＲＯＭ８０３に格納されているコンピュータプログラムやデータを用いて処理を実行することで、コンピュータ４００全体の動作制御を行うと共に、コンピュータ４００が行うものとして上述した各処理を実行する。
【００４０】
ＲＡＭ８０２は、外部記憶装置８０５から読み出したコンピュータプログラムやデータを一時的に記憶するためのエリア、Ｉ／Ｆ８０７を介して外部から受信した様々なデータを一時的に記憶するためのエリア、を有する。更にＲＡＭ８０２は、ＣＰＵ８０１が各種の処理を実行する際に用いるワークエリアも有する。即ち、ＲＡＭ８０２は、各種のエリアを適宜提供することができる。ＲＯＭ８０３には、コンピュータ４００の設定データや、ブートプログラムなどが格納されている。
【００４１】
入力デバイス８０４は、上記の入力デバイス１０４に相当するもので、マウスやキーボードなどにより構成されており、コンピュータ４００の操作者が操作することで、各種の指示をＣＰＵ８０１に対して入力することができる。
【００４２】
外部記憶装置８０５は、ハードディスクドライブ装置などの大容量情報記憶装置である。外部記憶装置８０５には、ＯＳ（オペレーティングシステム）、上記の三次元ＣＧソフト１０１を含む様々なコンピュータプログラム、仮想空間のデータを含む様々なデータ等、上記の各処理をＣＰＵ８０１が行うために必要な情報が保存されている。外部記憶装置８０５に保存されているコンピュータプログラムやデータは、ＣＰＵ８０１による制御に従って適宜ＲＡＭ８０２にロードされ、ＣＰＵ８０１による処理対象となる。然るに、上記の説明では、三次元ＣＧソフト１０１を処理の主体として説明しているが、実際には、ＣＰＵ８０１が三次元ＣＧソフト１０１を実行することで、三次元ＣＧソフト１０１が行うものとして上述した処理をＣＰＵ８０１が実行することになる。
【００４３】
表示装置８０６は、ＣＲＴや液晶画面などにより構成されており、ＣＰＵ８０１による処理結果を画像や文字などでもって表示することができる。Ｉ／Ｆ８０７は、ＨＭＤ１０７を接続する為のもので、上記の画像入力部１０６や画像出力部１０２に相当する。また、このＩ／Ｆ８０７には、上記の位置姿勢計測部１０５を接続するようにしても良い。上記の各部はバス８０９に接続されている。
【００４４】
なお、図４において自動モード切替部２００は、ハードウェアとして実装しても良いが、コンピュータプログラムとして外部記憶装置８０５に保存させても良い。この場合、このコンピュータプログラムをＣＰＵ８０１が実行することで、ＣＰＵ８０１は、自動モード切替部２００が行うものとして上述した各処理を実行することになる。
【００４５】
なお、本実施形態では、観察者が装着する表示装置としてＨＭＤ１０７のような頭部装着型表示装置を用いたが、他のタイプの表示装置を用いても良い。例えば、ハンドヘルドタイプの表示装置をＨＭＤ１０７の変わりに用いても良い。また、三次元ディスプレイやディスプレイとカメラが一体となったモバイル用端末でも良い。
【００４６】
また本実施形態では、現実空間の画像を撮像する装置として、左目用と右目用の２つを設けたが、１つの撮像装置で撮像した現実空間の画像に視差を付け、視差を付けたそれぞれの画像を左目用の仮想空間の画像、右目用の仮想空間の画像に合成しても良い。
【００４７】
また、本実施形態では、ＨＭＤ１０７はビデオシースルー型のものを用いたが、光学シースルー型のものを用いても良い。その場合のＨＭＤは、ＨＭＤ１０７から画像撮像装置左１０８及び画像撮像装置右１０９を省いた構成を有し、表示装置左１１０及び表示装置右１１１のそれぞれには、それぞれの目に対応した仮想空間の画像が表示されることになる。
【００４８】
［第２の実施形態］
本実施形態に係るシステムの機能構成例について、図５のブロック図を用いて説明する。図５において、図１に示した構成用件と同じ構成用件には同じ参照番号を付しており、その説明は省略する。
【００４９】
コンピュータ５００には、コンピュータ１００が有する構成に加えて、自動環境切替部５１０が搭載されている。また、画像出力部１０２には、二次元表示装置１０３が接続されている。なお、図６に示した構成を有する装置は、コンピュータ５００にも適用可能である。
【００５０】
二次元表示装置１０３は、ＣＲＴや液晶画面などにより構成されている一般のディスプレイ装置であり、ＨＭＤ１０７とは別個に現実空間中に配したディスプレイ装置である。
【００５１】
自動環境切替部５１０は、ＨＭＤ１０７の状態を監視しており、ＨＭＤ１０７が使用状態にあるか否かを判断する。そしてその判断結果に応じて、三次元ＣＧソフト１０１の動作を制御する。
【００５２】
ここで、ＨＭＤ１０７の状態の監視には様々なものがある。例えば、自動環境切替部５１０は、ＨＭＤ１０７の電源がオンになっているかオフになっているかを監視する。この監視のタイミングは定期的に行うことが好ましい。そして、自動環境切替部５１０は、ＨＭＤ１０７の電源がオンになっていれば、ＨＭＤ１０７は使用状態にあると判断し、ＨＭＤ１０７の電源がオフになっていれば、ＨＭＤ１０７は使用状態にはないと判断する。
【００５３】
また、例えば、観察者が自身の頭部にＨＭＤ１０７を装着した場合に、ＨＭＤ１０７においてこの頭部と接触するような位置に接触センサを設けておき、自動環境切替部５１０はこの接触センサからの信号（接触したか否かを示す信号）を受けるようにする。そして自動環境切替部５１０は、この信号を監視（ＨＭＤ１０７が観察者の頭部に装着されているか否かを監視）する。そして自動環境切替部５１０は、この信号が「ＨＭＤ１０７が観察者の頭部に装着されている」ことを示す場合には、ＨＭＤ１０７が使用状態にあると判断する。一方、自動環境切替部５１０は、この信号が「ＨＭＤ１０７が観察者の頭部に装着されていない」ことを示す場合には、ＨＭＤ１０７は使用状態にはないと判断する。
【００５４】
また、例えば、自動環境切替部５１０は、位置姿勢計測部１０５が計測する位置姿勢を監視することで、位置姿勢が変化したか否かを検知する。ＨＭＤ１０７が動けば当然ながらこの計測した位置姿勢も変化するので、自動環境切替部５１０は、ＨＭＤ１０７の位置姿勢の変化を監視していることになる。そして自動環境切替部５１０は、位置姿勢の変化を検知してから規定時間内に次の変化を検知している限りはＨＭＤ１０７が使用状態にあると判断する。一方、自動環境切替部５１０は、位置姿勢の変化を検知してから規定時間内に次の変化を検知しなかった場合には、ＨＭＤ１０７は使用状態にはないと判断する。
【００５５】
また、例えば、自動環境切替部５１０は、三次元ＣＧソフト１０１が求めた画像撮像装置左１０８や画像撮像装置右１０９やＨＭＤ１０７の姿勢を監視する。位置姿勢計測部１０５が直接、画像撮像装置左１０８や画像撮像装置右１０９やＨＭＤ１０７の位置姿勢を計測している場合には、自動環境切替部５１０はこの計測している姿勢を監視する。そして自動環境切替部５１０は、監視している姿勢が、二次元表示装置１０３の表示面（表示面の向きは予め測定し、データとしてコンピュータ５００内に保存しているものとする）に向いていることを検知した場合、ＨＭＤ１０７が使用状態にあると判断する。一方、自動環境切替部５１０は、監視している姿勢が、二次元表示装置１０３の表示面に向いていないことを検知した場合、ＨＭＤ１０７は使用状態にはないと判断する。「向いている」と判断するための方法については様々な方法が考え得るが、例えば、監視している姿勢が示す方向ベクトルと表示面の法線ベクトルとが為す角度が１８０度±α（α＞０）であれば「向いている」と判断する。
【００５６】
このように、自動環境切替部５１０は、現在ＨＭＤ１０７が使用状態にあるか否かを、様々な方法でもって判断する。もちろん、判断する方法はこれに限るものではなく、様々な方法が考え得る。そして自動環境切替部５１０は、現在ＨＭＤ１０７が使用状態にあると判断している間は第１の実施形態と同様に三次元ＣＧソフト１０１の実行を許可する。一方、自動環境切替部５１０は、現在ＨＭＤ１０７が使用状態にはないと判断した場合には、仮想空間の画像を生成して二次元表示装置１０３に出力させるように三次元ＣＧソフト１０１を制御する。
【００５７】
なお、この自動環境切替部５１０は、ハードウェアとして実装しても良いが、コンピュータプログラムとして外部記憶装置８０５に保存させても良い。この場合、このコンピュータプログラムをＣＰＵ８０１が実行することで、ＣＰＵ８０１は、自動環境切替部５１０が行うものとして上述した各処理を実行することになる。
【００５８】
自動環境切替部５１０が現在ＨＭＤ１０７が使用状態にはないと判断した場合に、三次元ＣＧソフト１０１に行わせる処理について、同処理のフローチャートを示す図２を用いて説明する。
【００５９】
ステップＳ１００１では、三次元ＣＧソフト１０１は、予め設定された位置姿勢、入力デバイス１０４等を用いて指示された位置姿勢、アプリケーションプログラムなどでもって指定された位置姿勢、等の様々な方法で指定された位置姿勢を取得する。そして三次元ＣＧソフト１０１は、この取得した位置姿勢を有する視点から見える仮想空間の画像を生成する。ステップＳ１００２では、画像出力部１０２は、三次元ＣＧソフト１０１が生成した仮想空間の画像を二次元表示装置１０３に送出する。なお、上記の各実施形態で説明したそれぞれの技術は適宜組み合わせて用いても良い。
【００６０】
（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【技術分野】
【０００１】
本発明は、複合現実感提示技術に関するものである。
【背景技術】
【０００２】
従来、機械設計の分野では三次元ＣＡＤシステムが用いられており、機構及び機構の構成部品を立体的に表示しながら設計を行うことが可能になっている。通常、三次元ＣＡＤシステムでは、表示装置として二次元ディスプレイを利用し、入力装置としてマウスやキーボードを利用するのが一般的である。
【０００３】
一方、近年では三次元データを立体的に表示する表示装置が実用化されている。このような表示装置では、視差のついた映像に偏光をかけて表示し、体験者は偏光眼鏡を使って立体を知覚することが可能である。
【０００４】
さらに、現実空間に三次元データなどの仮想情報を重畳して提示する複合現実感技術を使った表示装置なども実用化されている。複合現実感の提示を行う表示装置は、例えば次のような構成を有する装置である。即ち、ビデオカメラ等の撮像装置が撮像した現実空間の画像上に、撮像装置の位置及び姿勢に応じて生成した仮想空間の画像（例えばコンピュータグラフィックスにより描画された仮想物体や文字情報等）を重畳描画した画像を表示する装置である。このような装置には、例えば、ＨＭＤ（ヘッドマウントディスプレイ、頭部装着型表示装置）を用いることができる。また、係る表示装置は、観察者の頭部に装着された光学シースルー型ディスプレイに、観察者の視点の位置及び姿勢に応じて生成した仮想空間の画像を表示する光学シースルー方式によっても実現されている。
【０００５】
このように、三次元ＣＡＤシステムで設計された三次元データを、立体表示可能な表示装置を使って観察するシステムはいくつか存在している。例えば特許文献１がその例である。この方法を用いれば、三次元ＣＡＤシステムを複合現実感システムとしても利用することが出来る。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００７−２９９０６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
三次元ＣＡＤシステムで作成した三次元データを複合現実感システムで観察するシステムでは、観察者の任意の操作に基づいて表示部を切り替えるのが一般的である。例えば、画面上のボタンをマウスでクリックすることで、二次元ディスプレイの表示から複合現実感システムによる表示へと切り替える方法などが一般的である。しかし、通常の三次元ＣＡＤシステムの操作部（二次元ディスプレイ、マウス、キーボード）による操作と、複合現実感システムでの操作では、操作部や操作方法は異なる。然るに、双方のモードを切り替えるためには、それぞれのシステムで異なる操作法を習得する必要があった。観察者にとっては、システムの操作は出来るだけ簡単な操作が望まれ、出来ることなら双方のモードを自動的に切り替える仕組みが望まれる。
【０００８】
本発明は以上の問題に鑑みてなされたものであり、複合現実空間を観察する観察者が装着する表示装置や、別個に設けられた表示装置に対して提供する画像を、観察者の操作を介することなく適宜切り替える為の技術を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の目的を達成するために、例えば、本発明の画像処理装置は以下の構成を備える。即ち、仮想空間の画像を生成し、該画像を観察する観察者が装着する表示装置に対して出力する生成手段と、前記表示装置が使用状態にあるか否かを判断する判断手段と、前記表示装置が使用状態にあると前記判断手段が判断した場合に前記生成手段を動作させる制御手段とを備えることを特徴とする。
【発明の効果】
【００１０】
本発明の構成によれば、複合現実空間を観察する観察者が装着する表示装置や、別個に設けられた表示装置に対して提供する画像を、観察者の操作を介することなく適宜切り替えることができる。
【図面の簡単な説明】
【００１１】
【図１】従来のシステムの構成を示すブロック図。
【図２】ＨＭＤ１０７が使用状態ではない場合に三次元ＣＧソフト１０１に行わせる処理のフローチャート。
【図３】システムの動作を示すフローチャート。
【図４】システムの機能構成例を示すブロック図。
【図５】システムの機能構成例を示すブロック図。
【図６】コンピュータ４００に適用可能な装置の構成例を示すブロック図。
【発明を実施するための形態】
【００１２】
以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載の構成の具体的な実施例の１つである。
【００１３】
［第１の実施形態］
仮想空間の画像と現実空間の画像との合成画像である複合現実空間の画像を生成して観察者に提示するための従来のシステムの構成について、図１のブロック図を用いて説明する。もちろん、複合現実空間の画像を生成して観察者に提示するための構成については様々なものが従来から提案されているが、ここではその一例について触れる。
【００１４】
係るシステムは図１に示す如く、ＨＭＤ１０７と、コンピュータ１００と、で構成されている。ＨＭＤ１０７は、ＨＭＤ１０７を頭部に装着する観察者の左眼に対応する現実空間の画像を撮像する画像撮像装置左１０８と、ＨＭＤ１０７を頭部に装着する観察者の右眼に対応する現実空間の画像を撮像する画像撮像装置右１０９と、を有する。画像撮像装置左１０８及び画像撮像装置右１０９のそれぞれは、現実空間の動画像を撮像するもので、撮像した各フレームの画像（現実空間の画像）はコンピュータ１００に対して送出される。
【００１５】
また、ＨＭＤ１０７は、ＨＭＤ１０７を頭部に装着する観察者の左眼に対して画像を提供する表示装置左１１０と、ＨＭＤ１０７を頭部に装着する観察者の右眼に対して画像を提供する表示装置右１１１と、を有する。表示装置左１１０及び表示装置右１１１のそれぞれは、観察者がＨＭＤ１０７を自身の頭部に装着した場合に、この観察者の左眼、右眼の眼前に位置するようにＨＭＤ１０７に対して取り付けられたものである。表示装置左１１０には、コンピュータ１００から送出される左目用の画像が表示され、表示装置右１１１には、コンピュータ１００から送出される右目用の画像が表示される。これにより、観察者の左眼の眼前には左目用の画像が表示され、右眼の眼前には右目用の画像が表示されることになるので、観察者はそれぞれの目で対応する画像を観察することで、立体視を実現できる。
【００１６】
次に、画像処理装置として機能するコンピュータ１００について説明する。画像撮像装置左１０８、画像撮像装置右１０９のそれぞれから送出された現実空間の画像は画像入力部１０６が取得し、画像入力部１０６は取得したそれぞれの現実空間の画像を三次元ＣＧソフト１０１に供給する。
【００１７】
位置姿勢計測部１０５は、画像撮像装置左１０８及び画像撮像装置右１０９の位置姿勢を求めるために必要な情報を収集する。この収集する情報には様々なものが考え得る。
【００１８】
例えば、画像撮像装置左１０８及び画像撮像装置右１０９は、それらの間の位置関係が固定されたままＨＭＤ１０７に取り付けられているので、一方の画像撮像装置の位置姿勢を計測すれば、他方の画像撮像装置の位置姿勢は計算可能である。然るにこの場合、位置姿勢計測部１０５は、画像撮像装置左１０８、画像撮像装置右１０９の何れか一方の位置姿勢を計測すればよいことになる。
【００１９】
また、画像撮像装置左１０８との位置関係が既知であるＨＭＤ１０７上の１点の位置姿勢を計測すれば、画像撮像装置左１０８の位置姿勢は計算可能である。これは画像撮像装置右１０９の場合も同様である。
【００２０】
このように、計測対象の位置姿勢さえ計測することができるのであれば、どの部分の位置姿勢を計測し、計測した位置姿勢をどのように用いて画像撮像装置左１０８及び画像撮像装置右１０９の位置姿勢を求めるのかについては特に限定するものではない。
【００２１】
また、計測対象の位置姿勢の計測方法については従来から様々な方法が提案されており、何れの方法を用いても良い。例えば、磁気センサを用いる場合、計測対象位置に磁気のレシーバを取り付け、現実空間中に配した磁気の発信源からの磁気の変化をこのレシーバにより計測し、計測した磁気の変化から、このレシーバの位置姿勢を求める。また、ＨＭＤ１０７の動画像を撮像するカメラを現実空間中に設け、このカメラにより撮像された各フレームの画像から、このＨＭＤ１０７の位置姿勢を推定する方法を用いても良い。
【００２２】
このように、本実施形態では、画像撮像装置左１０８及び画像撮像装置右１０９の位置姿勢さえ取得することができるのであれば、如何なる技術を採用しても良い。そして採用した技術を実現するための構成が位置姿勢計測部１０５となる。もちろん、構成によっては、この位置姿勢計測部１０５は、コンピュータ１００の外部に設けても良いし、何らかの装置に組み込んでも良い。
【００２３】
何れにせよ、位置姿勢計測部１０５により取得した位置姿勢は三次元ＣＧソフト１０１に供給される。そして三次元ＣＧソフト１０１は、この位置姿勢から、画像撮像装置左１０８及び画像撮像装置右１０９の位置姿勢を確定させる。確定させる方法は、上記の通り、計測した位置姿勢がどの部分の位置姿勢であるのかに応じて異なる。
【００２４】
三次元ＣＧソフト１０１は、この確定させた画像撮像装置左１０８の位置姿勢を有する視点から見える仮想空間の画像を、コンピュータ１００内に保持している若しくは外部装置から取得した仮想空間のデータを用いて生成する。そして三次元ＣＧソフト１０１は、この生成した仮想空間の画像を、画像入力部１０６から取得した、画像撮像装置左１０８により撮像された現実空間の画像上に合成することで、左目用の複合現実空間の画像を生成する。同様に、三次元ＣＧソフト１０１は、この確定させた画像撮像装置右１０９の位置姿勢を有する視点から見える仮想空間の画像を、上記の仮想空間のデータを用いて生成する。そして三次元ＣＧソフト１０１は、この生成した仮想空間の画像を、画像入力部１０６から取得した、画像撮像装置右１０９により撮像された現実空間の画像上に合成することで、右目用の複合現実空間の画像を生成する。
【００２５】
画像出力部１０２は、三次元ＣＧソフト１０１が生成した左目用の複合現実空間の画像を表示装置左１１０に対して送出すると共に、三次元ＣＧソフト１０１が生成した右目用の複合現実空間の画像を表示装置右１１１に対して送出する。
【００２６】
入力デバイス１０４は、マウスやキーボードなど、コンピュータ１００の操作者がコンピュータ１００に対して指示入力を行うために操作するものである。例えば、表示装置左１１０及び表示装置右１１１のそれぞれに表示する内容を切り替えるための指示を入力するために使用する。
【００２７】
以上説明したシステムの動作について、図３のフローチャートを用いて説明する。ステップＳ２００１では、画像撮像装置左１０８及び画像撮像装置右１０９のそれぞれは、左目用の現実空間の画像、右目用の現実空間の画像を撮像し、撮像した画像をコンピュータ１００に対して送出する。画像入力部１０６は、このそれぞれの画像を三次元ＣＧソフト１０１に供給する。
【００２８】
ステップＳ２００１と並行してステップＳ２００２では、位置姿勢計測部１０５は計測対象の位置姿勢を計測し、計測した位置姿勢を三次元ＣＧソフト１０１に対して供給する。
【００２９】
ステップＳ２００３では、三次元ＣＧソフト１０１は、位置姿勢計測部１０５から供給された位置姿勢から、画像撮像装置左１０８及び画像撮像装置右１０９の位置姿勢を確定させる。そして三次元ＣＧソフト１０１は、この確定させた画像撮像装置左１０８の位置姿勢を有する視点から見える仮想空間の画像を、上記の仮想空間のデータを用いて生成する。そして三次元ＣＧソフト１０１は、この生成した仮想空間の画像を、画像入力部１０６から取得した、画像撮像装置左１０８により撮像された現実空間の画像上に合成することで、左目用の複合現実空間の画像を生成する。同様に、三次元ＣＧソフト１０１は、この確定させた画像撮像装置右１０９の位置姿勢を有する視点から見える仮想空間の画像を、上記の仮想空間のデータを用いて生成する。そして三次元ＣＧソフト１０１は、この生成した仮想空間の画像を、画像入力部１０６から取得した、画像撮像装置右１０９により撮像された現実空間の画像上に合成することで、右目用の複合現実空間の画像を生成する。
【００３０】
ステップＳ２００４では、画像出力部１０２は、三次元ＣＧソフト１０１が生成した左目用の複合現実空間の画像を表示装置左１１０に送出すると共に、三次元ＣＧソフト１０１が生成した右目用の複合現実空間の画像を表示装置右１１１に送出する。
【００３１】
以上説明した構成が、複合現実空間を観察者に対して提示するための従来のシステムの構成である。本実施形態では、表示装置左１１０及び表示装置右１１１に表示する内容を、ＨＭＤ１０７の使用状態に応じて切り替える為の構成をコンピュータ１００に加えたシステムについて説明する。
【００３２】
先ず、本実施形態に係るシステムの機能構成例について、図４のブロック図を用いて説明する。図４において図１に示した構成用件と同じ構成用件には同じ参照番号を付しており、その説明は省略する。
【００３３】
コンピュータ４００には、コンピュータ１００が有する構成に加え、自動モード切替部２００が搭載されている。自動モード切替部２００は、ＨＭＤ１０７の状態を監視しており、ＨＭＤ１０７が使用状態にあるか否かを判断する。そしてその判断結果に応じて、三次元ＣＧソフト１０１の動作を許可したり、停止させたりする動作制御を行う。
【００３４】
ここで、ＨＭＤ１０７の状態の監視には様々なものがある。例えば、自動モード切替部２００は、ＨＭＤ１０７の電源がオンになっているかオフになっているかを監視する。この監視のタイミングは定期的に行うことが好ましい。そして、自動モード切替部２００は、ＨＭＤ１０７の電源がオンになっていれば、ＨＭＤ１０７は使用状態にあると判断し、ＨＭＤ１０７の電源がオフになっていれば、ＨＭＤ１０７は使用状態にはないと判断する。
【００３５】
また、例えば、観察者が自身の頭部にＨＭＤ１０７を装着した場合に、ＨＭＤ１０７においてこの頭部と接触するような位置に接触センサを設けておき、自動モード切替部２００はこの接触センサからの信号（接触したか否かを示す信号）を受けるようにする。そして自動モード切替部２００は、この信号を監視（ＨＭＤ１０７が観察者の頭部に装着されているか否かを監視）する。そして自動モード切替部２００は、この信号が「ＨＭＤ１０７が観察者の頭部に装着されている」ことを示す場合には、ＨＭＤ１０７が使用状態にあると判断する。一方、自動モード切替部２００は、この信号が「ＨＭＤ１０７が観察者の頭部に装着されていない」ことを示す場合には、ＨＭＤ１０７は使用状態にはないと判断する。
【００３６】
このように、自動モード切替部２００は、現在ＨＭＤ１０７が使用状態にあるか否かを、様々な方法でもって判断する。もちろん、判断する方法はこれに限るものではなく、様々な方法が考え得る。そして自動モード切替部２００は、現在ＨＭＤ１０７が使用状態にあると判断している間は三次元ＣＧソフト１０１の実行を許可し、現在ＨＭＤ１０７が使用状態にはないと判断した場合には、三次元ＣＧソフト１０１の実行を禁止する。
【００３７】
これにより、現在ＨＭＤ１０７が使用状態にはない場合には、複合現実空間の画像の生成及びＨＭＤ１０７への出力は行われないので、無駄な画像生成処理、画像出力処理を省くことができる。
【００３８】
ここで、コンピュータ４００に適用可能な装置の構成例について、図６のブロック図を用いて説明する。もちろん、コンピュータ４００に適用可能な装置の構成についてはこれ以外にも考えられ、図６の構成に限るものではない。
【００３９】
ＣＰＵ８０１は、ＲＡＭ８０２やＲＯＭ８０３に格納されているコンピュータプログラムやデータを用いて処理を実行することで、コンピュータ４００全体の動作制御を行うと共に、コンピュータ４００が行うものとして上述した各処理を実行する。
【００４０】
ＲＡＭ８０２は、外部記憶装置８０５から読み出したコンピュータプログラムやデータを一時的に記憶するためのエリア、Ｉ／Ｆ８０７を介して外部から受信した様々なデータを一時的に記憶するためのエリア、を有する。更にＲＡＭ８０２は、ＣＰＵ８０１が各種の処理を実行する際に用いるワークエリアも有する。即ち、ＲＡＭ８０２は、各種のエリアを適宜提供することができる。ＲＯＭ８０３には、コンピュータ４００の設定データや、ブートプログラムなどが格納されている。
【００４１】
入力デバイス８０４は、上記の入力デバイス１０４に相当するもので、マウスやキーボードなどにより構成されており、コンピュータ４００の操作者が操作することで、各種の指示をＣＰＵ８０１に対して入力することができる。
【００４２】
外部記憶装置８０５は、ハードディスクドライブ装置などの大容量情報記憶装置である。外部記憶装置８０５には、ＯＳ（オペレーティングシステム）、上記の三次元ＣＧソフト１０１を含む様々なコンピュータプログラム、仮想空間のデータを含む様々なデータ等、上記の各処理をＣＰＵ８０１が行うために必要な情報が保存されている。外部記憶装置８０５に保存されているコンピュータプログラムやデータは、ＣＰＵ８０１による制御に従って適宜ＲＡＭ８０２にロードされ、ＣＰＵ８０１による処理対象となる。然るに、上記の説明では、三次元ＣＧソフト１０１を処理の主体として説明しているが、実際には、ＣＰＵ８０１が三次元ＣＧソフト１０１を実行することで、三次元ＣＧソフト１０１が行うものとして上述した処理をＣＰＵ８０１が実行することになる。
【００４３】
表示装置８０６は、ＣＲＴや液晶画面などにより構成されており、ＣＰＵ８０１による処理結果を画像や文字などでもって表示することができる。Ｉ／Ｆ８０７は、ＨＭＤ１０７を接続する為のもので、上記の画像入力部１０６や画像出力部１０２に相当する。また、このＩ／Ｆ８０７には、上記の位置姿勢計測部１０５を接続するようにしても良い。上記の各部はバス８０９に接続されている。
【００４４】
なお、図４において自動モード切替部２００は、ハードウェアとして実装しても良いが、コンピュータプログラムとして外部記憶装置８０５に保存させても良い。この場合、このコンピュータプログラムをＣＰＵ８０１が実行することで、ＣＰＵ８０１は、自動モード切替部２００が行うものとして上述した各処理を実行することになる。
【００４５】
なお、本実施形態では、観察者が装着する表示装置としてＨＭＤ１０７のような頭部装着型表示装置を用いたが、他のタイプの表示装置を用いても良い。例えば、ハンドヘルドタイプの表示装置をＨＭＤ１０７の変わりに用いても良い。また、三次元ディスプレイやディスプレイとカメラが一体となったモバイル用端末でも良い。
【００４６】
また本実施形態では、現実空間の画像を撮像する装置として、左目用と右目用の２つを設けたが、１つの撮像装置で撮像した現実空間の画像に視差を付け、視差を付けたそれぞれの画像を左目用の仮想空間の画像、右目用の仮想空間の画像に合成しても良い。
【００４７】
また、本実施形態では、ＨＭＤ１０７はビデオシースルー型のものを用いたが、光学シースルー型のものを用いても良い。その場合のＨＭＤは、ＨＭＤ１０７から画像撮像装置左１０８及び画像撮像装置右１０９を省いた構成を有し、表示装置左１１０及び表示装置右１１１のそれぞれには、それぞれの目に対応した仮想空間の画像が表示されることになる。
【００４８】
［第２の実施形態］
本実施形態に係るシステムの機能構成例について、図５のブロック図を用いて説明する。図５において、図１に示した構成用件と同じ構成用件には同じ参照番号を付しており、その説明は省略する。
【００４９】
コンピュータ５００には、コンピュータ１００が有する構成に加えて、自動環境切替部５１０が搭載されている。また、画像出力部１０２には、二次元表示装置１０３が接続されている。なお、図６に示した構成を有する装置は、コンピュータ５００にも適用可能である。
【００５０】
二次元表示装置１０３は、ＣＲＴや液晶画面などにより構成されている一般のディスプレイ装置であり、ＨＭＤ１０７とは別個に現実空間中に配したディスプレイ装置である。
【００５１】
自動環境切替部５１０は、ＨＭＤ１０７の状態を監視しており、ＨＭＤ１０７が使用状態にあるか否かを判断する。そしてその判断結果に応じて、三次元ＣＧソフト１０１の動作を制御する。
【００５２】
ここで、ＨＭＤ１０７の状態の監視には様々なものがある。例えば、自動環境切替部５１０は、ＨＭＤ１０７の電源がオンになっているかオフになっているかを監視する。この監視のタイミングは定期的に行うことが好ましい。そして、自動環境切替部５１０は、ＨＭＤ１０７の電源がオンになっていれば、ＨＭＤ１０７は使用状態にあると判断し、ＨＭＤ１０７の電源がオフになっていれば、ＨＭＤ１０７は使用状態にはないと判断する。
【００５３】
また、例えば、観察者が自身の頭部にＨＭＤ１０７を装着した場合に、ＨＭＤ１０７においてこの頭部と接触するような位置に接触センサを設けておき、自動環境切替部５１０はこの接触センサからの信号（接触したか否かを示す信号）を受けるようにする。そして自動環境切替部５１０は、この信号を監視（ＨＭＤ１０７が観察者の頭部に装着されているか否かを監視）する。そして自動環境切替部５１０は、この信号が「ＨＭＤ１０７が観察者の頭部に装着されている」ことを示す場合には、ＨＭＤ１０７が使用状態にあると判断する。一方、自動環境切替部５１０は、この信号が「ＨＭＤ１０７が観察者の頭部に装着されていない」ことを示す場合には、ＨＭＤ１０７は使用状態にはないと判断する。
【００５４】
また、例えば、自動環境切替部５１０は、位置姿勢計測部１０５が計測する位置姿勢を監視することで、位置姿勢が変化したか否かを検知する。ＨＭＤ１０７が動けば当然ながらこの計測した位置姿勢も変化するので、自動環境切替部５１０は、ＨＭＤ１０７の位置姿勢の変化を監視していることになる。そして自動環境切替部５１０は、位置姿勢の変化を検知してから規定時間内に次の変化を検知している限りはＨＭＤ１０７が使用状態にあると判断する。一方、自動環境切替部５１０は、位置姿勢の変化を検知してから規定時間内に次の変化を検知しなかった場合には、ＨＭＤ１０７は使用状態にはないと判断する。
【００５５】
また、例えば、自動環境切替部５１０は、三次元ＣＧソフト１０１が求めた画像撮像装置左１０８や画像撮像装置右１０９やＨＭＤ１０７の姿勢を監視する。位置姿勢計測部１０５が直接、画像撮像装置左１０８や画像撮像装置右１０９やＨＭＤ１０７の位置姿勢を計測している場合には、自動環境切替部５１０はこの計測している姿勢を監視する。そして自動環境切替部５１０は、監視している姿勢が、二次元表示装置１０３の表示面（表示面の向きは予め測定し、データとしてコンピュータ５００内に保存しているものとする）に向いていることを検知した場合、ＨＭＤ１０７が使用状態にあると判断する。一方、自動環境切替部５１０は、監視している姿勢が、二次元表示装置１０３の表示面に向いていないことを検知した場合、ＨＭＤ１０７は使用状態にはないと判断する。「向いている」と判断するための方法については様々な方法が考え得るが、例えば、監視している姿勢が示す方向ベクトルと表示面の法線ベクトルとが為す角度が１８０度±α（α＞０）であれば「向いている」と判断する。
【００５６】
このように、自動環境切替部５１０は、現在ＨＭＤ１０７が使用状態にあるか否かを、様々な方法でもって判断する。もちろん、判断する方法はこれに限るものではなく、様々な方法が考え得る。そして自動環境切替部５１０は、現在ＨＭＤ１０７が使用状態にあると判断している間は第１の実施形態と同様に三次元ＣＧソフト１０１の実行を許可する。一方、自動環境切替部５１０は、現在ＨＭＤ１０７が使用状態にはないと判断した場合には、仮想空間の画像を生成して二次元表示装置１０３に出力させるように三次元ＣＧソフト１０１を制御する。
【００５７】
なお、この自動環境切替部５１０は、ハードウェアとして実装しても良いが、コンピュータプログラムとして外部記憶装置８０５に保存させても良い。この場合、このコンピュータプログラムをＣＰＵ８０１が実行することで、ＣＰＵ８０１は、自動環境切替部５１０が行うものとして上述した各処理を実行することになる。
【００５８】
自動環境切替部５１０が現在ＨＭＤ１０７が使用状態にはないと判断した場合に、三次元ＣＧソフト１０１に行わせる処理について、同処理のフローチャートを示す図２を用いて説明する。
【００５９】
ステップＳ１００１では、三次元ＣＧソフト１０１は、予め設定された位置姿勢、入力デバイス１０４等を用いて指示された位置姿勢、アプリケーションプログラムなどでもって指定された位置姿勢、等の様々な方法で指定された位置姿勢を取得する。そして三次元ＣＧソフト１０１は、この取得した位置姿勢を有する視点から見える仮想空間の画像を生成する。ステップＳ１００２では、画像出力部１０２は、三次元ＣＧソフト１０１が生成した仮想空間の画像を二次元表示装置１０３に送出する。なお、上記の各実施形態で説明したそれぞれの技術は適宜組み合わせて用いても良い。
【００６０】
（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【特許請求の範囲】
【請求項１】
仮想空間の画像を生成し、該画像を観察する観察者が装着する表示装置に対して出力する生成手段と、
前記表示装置が使用状態にあるか否かを判断する判断手段と、
前記表示装置が使用状態にあると前記判断手段が判断した場合に前記生成手段を動作させる制御手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記判断手段は、前記表示装置の電源がオンになっているかオフになっているかを監視しており、前記表示装置の電源がオンになっていれば前記表示装置が使用状態にあると判断し、前記表示装置の電源がオフになっていれば前記表示装置は使用状態にはないと判断することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記判断手段は、前記表示装置が前記観察者の頭部に装着されているか否かを監視しており、前記表示装置が前記観察者の頭部に装着されていれば前記表示装置が使用状態にあると判断し、前記表示装置が前記観察者の頭部に装着されていなければ前記表示装置は使用状態にはないと判断することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記判断手段は、前記表示装置の位置姿勢の変化を検知してから規定時間内に次の変化を検知している限りは前記表示装置が使用状態にあると判断し、位置姿勢の変化を検知してから規定時間内に次の変化を検知しなかった場合には前記表示装置は使用状態にはないと判断することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記判断手段は、前記表示装置の姿勢が、前記表示装置とは別個に現実空間中に配されている表示装置の表示面に向いていることを検知した場合には、前記表示装置が使用状態にあると判断し、向いていないことを検知した場合には、前記表示装置は使用状態にはないと判断することを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記制御手段は、前記表示装置が使用状態にあると前記判断手段が判断した場合は、前記生成手段に前記仮想空間の画像を生成させ、該仮想空間の画像を現実空間の画像上に合成して前記表示装置に出力させることを特徴とする請求項１乃至５の何れか１項に記載の画像処理装置。
【請求項７】
前記制御手段は、前記表示装置が使用状態にないと前記判断手段が判断した場合には、前記生成手段の動作を停止させることを特徴とする請求項１乃至６の何れか１項に記載の画像処理装置。
【請求項８】
前記制御手段は、前記表示装置が使用状態にないと前記判断手段が判断した場合には、前記生成手段に前記仮想空間の画像を生成させ、該仮想空間の画像を、前記表示装置とは別個に現実空間中に配されている表示装置に対して出力させることを特徴とする請求項１乃至６の何れか１項に記載の画像処理装置。
【請求項９】
前記観察者が装着する表示装置は、頭部装着型表示装置であることを特徴とする請求項１乃至８の何れか１項に記載の画像処理装置。
【請求項１０】
画像処理装置が行う画像処理方法であって、
前記画像処理装置の生成手段が、仮想空間の画像を生成し、該画像を観察する観察者が装着する表示装置に対して出力する生成工程と、
前記画像処理装置の判断手段が、前記表示装置が使用状態にあるか否かを判断する判断工程と、
前記画像処理装置の制御手段が、前記表示装置が使用状態にあると前記判断工程で判断した場合に前記生成工程を実行させる制御工程と
を備えることを特徴とする画像処理方法。
【請求項１１】
コンピュータを、請求項１乃至９の何れか１項に記載の画像処理装置が有する各手段として機能させるためのコンピュータプログラム。
【請求項１】
仮想空間の画像を生成し、該画像を観察する観察者が装着する表示装置に対して出力する生成手段と、
前記表示装置が使用状態にあるか否かを判断する判断手段と、
前記表示装置が使用状態にあると前記判断手段が判断した場合に前記生成手段を動作させる制御手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記判断手段は、前記表示装置の電源がオンになっているかオフになっているかを監視しており、前記表示装置の電源がオンになっていれば前記表示装置が使用状態にあると判断し、前記表示装置の電源がオフになっていれば前記表示装置は使用状態にはないと判断することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記判断手段は、前記表示装置が前記観察者の頭部に装着されているか否かを監視しており、前記表示装置が前記観察者の頭部に装着されていれば前記表示装置が使用状態にあると判断し、前記表示装置が前記観察者の頭部に装着されていなければ前記表示装置は使用状態にはないと判断することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記判断手段は、前記表示装置の位置姿勢の変化を検知してから規定時間内に次の変化を検知している限りは前記表示装置が使用状態にあると判断し、位置姿勢の変化を検知してから規定時間内に次の変化を検知しなかった場合には前記表示装置は使用状態にはないと判断することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記判断手段は、前記表示装置の姿勢が、前記表示装置とは別個に現実空間中に配されている表示装置の表示面に向いていることを検知した場合には、前記表示装置が使用状態にあると判断し、向いていないことを検知した場合には、前記表示装置は使用状態にはないと判断することを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記制御手段は、前記表示装置が使用状態にあると前記判断手段が判断した場合は、前記生成手段に前記仮想空間の画像を生成させ、該仮想空間の画像を現実空間の画像上に合成して前記表示装置に出力させることを特徴とする請求項１乃至５の何れか１項に記載の画像処理装置。
【請求項７】
前記制御手段は、前記表示装置が使用状態にないと前記判断手段が判断した場合には、前記生成手段の動作を停止させることを特徴とする請求項１乃至６の何れか１項に記載の画像処理装置。
【請求項８】
前記制御手段は、前記表示装置が使用状態にないと前記判断手段が判断した場合には、前記生成手段に前記仮想空間の画像を生成させ、該仮想空間の画像を、前記表示装置とは別個に現実空間中に配されている表示装置に対して出力させることを特徴とする請求項１乃至６の何れか１項に記載の画像処理装置。
【請求項９】
前記観察者が装着する表示装置は、頭部装着型表示装置であることを特徴とする請求項１乃至８の何れか１項に記載の画像処理装置。
【請求項１０】
画像処理装置が行う画像処理方法であって、
前記画像処理装置の生成手段が、仮想空間の画像を生成し、該画像を観察する観察者が装着する表示装置に対して出力する生成工程と、
前記画像処理装置の判断手段が、前記表示装置が使用状態にあるか否かを判断する判断工程と、
前記画像処理装置の制御手段が、前記表示装置が使用状態にあると前記判断工程で判断した場合に前記生成工程を実行させる制御工程と
を備えることを特徴とする画像処理方法。
【請求項１１】
コンピュータを、請求項１乃至９の何れか１項に記載の画像処理装置が有する各手段として機能させるためのコンピュータプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１２−４８６５９（Ｐ２０１２−４８６５９Ａ）
【公開日】平成２４年３月８日（２０１２．３．８）
【国際特許分類】
【出願番号】特願２０１０−１９２７１１（Ｐ２０１０−１９２７１１）
【出願日】平成２２年８月３０日（２０１０．８．３０）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年３月８日（２０１２．３．８）
【国際特許分類】
【出願日】平成２２年８月３０日（２０１０．８．３０）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]