画像表示システム
【課題】 画像表示システムを構成する各装置の処理負荷を軽減し、かつシステムのトータルスループットを向上することができる画像表示システムを提供できる。
【解決手段】 入力された制御情報に応じて、撮像した現実空間画像と、入力した画像と、選択したＯＳＤ表示画像の内、いずれか２つを選択して合成する。設定された動作モードに応じて、ＯＳＤ制御手段及び第１合成手段に対する制御情報を生成し、ＯＳＤ制御手段及び第１合成手段の動作を制御する。前記現実空間画像に重畳して合成するための仮想空間画像をメモリ上に描画する。入力された制御情報に応じて、前記現実空間画像と、前記仮想空間画像を合成する。入力された制御情報に応じて生成されたＯＳＤ表示画像を、撮像機能付表示装置に送信する画像に重畳する。設定された動作モードに応じて、第２合成手段及び重畳手段に対する制御情報を生成し、第２合成手段及び重畳手段の動作を制御する、撮像機能付表示装置と画像処理装置の少なくとも一方に前記動作モードを設定するためのモード入力手段を備える。
【解決手段】 入力された制御情報に応じて、撮像した現実空間画像と、入力した画像と、選択したＯＳＤ表示画像の内、いずれか２つを選択して合成する。設定された動作モードに応じて、ＯＳＤ制御手段及び第１合成手段に対する制御情報を生成し、ＯＳＤ制御手段及び第１合成手段の動作を制御する。前記現実空間画像に重畳して合成するための仮想空間画像をメモリ上に描画する。入力された制御情報に応じて、前記現実空間画像と、前記仮想空間画像を合成する。入力された制御情報に応じて生成されたＯＳＤ表示画像を、撮像機能付表示装置に送信する画像に重畳する。設定された動作モードに応じて、第２合成手段及び重畳手段に対する制御情報を生成し、第２合成手段及び重畳手段の動作を制御する、撮像機能付表示装置と画像処理装置の少なくとも一方に前記動作モードを設定するためのモード入力手段を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像機能付表示装置と画像処理装置から構成される画像表示システムに関するものである。
【背景技術】
【０００２】
現実世界と仮想世界をリアルタイムかつシームレスに融合させる技術として複合現実感、いわゆるＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）技術が知られている。従来、撮像機能付表示装置であるＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）を利用したＭＲシステムでは、ＨＭＤの撮像ユニットによって取得した撮像画像をＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）に取り込む。そして、ＰＣ内で生成したＣＧ画像と合成し、必要に応じてＯＳＤ（Ｏｎ Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）表示の重畳を行った後、ＨＭＤの表示ユニットで画像の表示を行っている。
【０００３】
尚、撮像機能付表示装置であるＨＭＤは、双眼鏡のような手持ちタイプの装置でもよく、頭部装着型の装置に限定されない。
【０００４】
図９は、ＨＭＤを利用した一般的なＭＲシステムの機能ブロック図である。この図を使用して、ＭＲシステムの概要を説明する。
【０００５】
ＨＭＤ９０は、撮像ユニット９０１、表示ユニット９０２、画像処理装置９１とのＩ／Ｆ９０３から構成される。
【０００６】
撮像ユニット９０１は、ＨＭＤ装着者の視線位置と略一致する外界の観察画像を撮像する。一般にはステレオ画像を生成するために右目用、左目用の２つの撮像素子と光学系及び後段の画像処理を行うためのＤＳＰから構成される。ここで、ＤＳＰは、Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒの略称である。
【０００７】
表示ユニット９０２は、合成画像を表示するための表示ユニットであり、こちらも右目用、左目用の２つの表示デバイスと光学系から構成される。表示デバイスは小型の液晶ディスプレイやＭＥＭＳによる網膜スキャンタイプのデバイスが使用される。ここで、ＭＥＭＳは、Ｍｉｃｒｏ Ｅｌｅｃｔｒｏ Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍｓの略称である。
【０００８】
Ｉ／Ｆ９０３は、撮像ユニット９０１で取得された撮像画像を画像処理装置９１に伝送し、また画像処理装置９１から受信した合成画像をＨＭＤ９０へ伝送するためのＩ／Ｆである。このＩ／Ｆ９０３には、リアルタイム性がありかつ大容量のデータ伝送が可能なＵＳＢやＩＥＥＥ１３９４のメタル線、ＧｉｇａｂｉｔＥｔｈｅｒｎｅｔ（登録商標）等の光ファイバが使用される。
【０００９】
画像処理装置９１は、ＨＭＤ９０とのＩ／Ｆ９０４、位置情報生成部９０５、ＣＧ画像描画部９０６、画像合成部９０７、ＯＳＤ表示重畳部９０８、ＯＳＤ表示データ生成部９０９、セレクタ９１０から構成される。この画像処理装置９１は、一般にはＰＣやワークステーション等の高性能な演算処理機能やグラフィック表示機能を有する装置で実現される。
【００１０】
Ｉ／Ｆ９０４は、ＨＭＤ９０のＩ／Ｆ９０３に対応する、画像処理装置９１のＩ／Ｆであり、ＨＭＤ９０のＩ／Ｆ９０３と同様の仕様を有する。位置情報生成部９０５は、ＨＭＤ９０から受信した撮像画像に基づいて、ＨＭＤ装着者の位置姿勢情報を生成する。位置姿勢情報の生成は、例えば、ＨＭＤ９０の撮像ユニット９０１で取得した撮像画像から算出する手法がある。その他には、周囲に設置した客観視点カメラで取得した撮像画像から算出する手法や、ＨＭＤに取り付けたジャイロセンサや加速度センサ等の各種センサ情報を用いて算出する手法もある。また、上記の各手法を組み合わせて利用することにより、より精度の高い位置姿勢情報を生成することも可能となる。
【００１１】
ＣＧ画像描画部９０６は、位置情報生成部９０５で算出された位置姿勢情報に基づいてＣＧを描画する。画像合成部９０７は、撮像画像とＣＧ画像を合成する。ＯＳＤ表示データ生成部９０９は、設定情報、使用時間等の各種ステータス情報や、システム内でエラーが発生した際のエラー内容、警告等をＨＭＤ装着者に通知するためのメッセージを生成する。ＯＳＤ表示重畳部９０８は、ＯＳＤ表示データ生成部９０９で生成したメッセージを、ＯＳＤ表示として画像合成部９０７で合成した合成画像に重畳する。セレクタ９１０は、撮像画像とＣＧ画像を合成した合成画像、あるいはその合成画像にＯＳＤ表示を重畳した画像のいずれかを切り替えて出力する。
【特許文献１】特開平１１−８８９１３号
【発明の開示】
【発明が解決しようとする課題】
【００１２】
しかしながら、このような従来のＭＲシステム（特許文献１等）では、画像処理装置の撮像画像の取込時にフレーム遅延が発生することで、ＨＭＤ装着者に提示する観察画像に違和感を与えてしまう。また、画像取込、位置情報生成、ＣＧ画像生成、画像合成、ＯＳＤ表示重畳と多くの処理を画像処理装置内で同時に実行する構成であるため、画像処理装置の処理負荷が増大する。これにより、画像処理装置内で処理遅延が発生し、ＨＭＤで撮像を行ってからＨＭＤ装着者に対して合成画像が表示されるまでの時間遅れが更に大きくなるという問題が生じている。
【００１３】
また、このような構成では、画像処理装置側でＯＳＤ表示を行うため、ＨＭＤ側においてエラーが発生した際には、ＰＣ側にエラー内容を通知する必要がある。加えて、ＨＭＤとＰＣ間との通信途絶時には、ＯＳＤ表示が行えなくなる。そのため、ＨＭＤ側にもＯＳＤ表示機能を追加することが望ましいが、回路規模の増大を招くだけでなく、双方のＯＳＤ表示を制御することで煩雑性が増すという新たな問題も生じることになる。
【００１４】
本発明はかかる問題に鑑みなされたものであり、画像表示システムを構成する各装置の処理負荷を軽減し、かつシステムのトータルスループットを向上することができる画像表示システムを提供することを目的とする。
【課題を解決するための手段】
【００１５】
上記の目的を達成するための本発明による画像表示システムは以下の構成を備える。即ち、
撮像機能付表示装置と画像処理装置から構成される画像表示システムであって、
前記撮像機能付表示装置は、
現実空間を撮像する撮像手段と、
画像を表示する表示手段と、
前記画像処理装置と通信を行うための第１通信手段と、
前記表示手段で表示する画像に重畳するための複数種類のＯＳＤ表示画像を格納する格納手段と、
入力された制御情報に応じて、前記複数種類のＯＳＤ表示画像の中から、前記ＯＳＤ表示画像を選択するＯＳＤ制御手段と、
入力された制御情報に応じて、前記撮像手段で撮像した現実空間画像と、前記第１通信手段を介して前記画像処理装置より入力した画像と、ＯＳＤ制御手段で選択したＯＳＤ表示画像の内、いずれか２つを選択して合成する第１合成手段と、
設定された動作モードに応じて、前記ＯＳＤ制御手段及び前記第１合成手段に対する制御情報を生成し、前記ＯＳＤ制御手段及び前記第１合成手段の動作を制御する第１モード制御手段とを備え、
前記画像処理装置は、
前記撮像機能付表示装置と通信を行うための第２通信手段と、
前記現実空間画像に重畳して合成するための仮想空間画像をメモリ上に描画する画像描画手段と、
入力された制御情報に応じて、前記第２通信手段を介して前記撮像機能付表示装置から入力した前記現実空間画像と、前記画像描画手段で描画された仮想空間画像を合成する第２合成手段と、
入力された制御情報に応じて生成されたＯＳＤ表示画像を、前記撮像機能付表示装置に送信する画像に重畳する重畳手段と、
設定された動作モードに応じて、前記第２合成手段及び前記重畳手段に対する制御情報を生成し、前記第２合成手段及び前記重畳手段の動作を制御する第２モード制御手段とを備え、
前記撮像機能付表示装置と前記画像処理装置の少なくとも一方に前記動作モードを設定するためのモード入力手段と
を備える。
【００１６】
また、好ましくは、前記動作モードの一つは、前記撮像機能付表示装置の前記撮像手段で撮像した現実空間画像を、前記表示手段で直接表示するモードである。
【００１７】
また、好ましくは、前記動作モードの一つは、前記撮像機能付表示装置の前記第１合成手段において、前記現実空間画像と前記仮想空間画像とを合成し、前記表示手段で表示するモードである。
【００１８】
また、好ましくは、前記動作モードの一つは、前記画像処理装置の前記第２合成手段において、前記現実空間画像と前記仮想空間画像とを合成し、前記表示手段で表示するモードである。
【００１９】
また、好ましくは、前記動作モードの一つは、前記画像処理装置の前記重畳手段において、前記入力された制御情報に応じて生成されたＯＳＤ表示画像を前記撮像機能付表示装置に送信する画像に重畳するモードである。
【００２０】
また、好ましくは、前記動作モードの一つは、前記撮像機能付表示装置の前記第１合成手段において、ＯＳＤ表示画像を重畳するモードである。
【００２１】
また、好ましくは、前記動作モードの一つは、前記画像処理装置の前記重畳手段と、前記撮像機能付表示装置の第１合成手段の両方で、ＯＳＤ表示画像を重畳するモードである。
【００２２】
また、好ましくは、前記画像処理装置の前記重畳手段と、前記撮像機能付表示装置の第１合成手段の両方で、ＯＳＤ表示画像を重畳するモードが選択された場合、各手段で重畳するＯＳＤ表示画像が互いに重ならないように表示位置制御する制御手段を更に備える。
【００２３】
また、好ましくは、前記画像処理装置の前記重畳手段は、前記ＯＳＤ表示画像を重畳した場合、該ＯＳＤ表示画像の表示位置情報を含むＯＳＤ表示情報を、前記撮像機能付表示装置の前記ＯＳＤ制御手段に送信し、
前記撮像機能付表示装置の前記ＯＳＤ制御手段は、前記画像処理装置から受信したＯＳＤ表示情報の中の表示位置情報に基づいて、前記撮像機能付表示装置の前記第１合成手段で合成する前記ＯＳＤ表示画像の表示位置を決定する。
【００２４】
また、好ましくは、前記ＯＳＤ表示情報は、表示内容の優先度に関する情報、重畳した装置名に関する情報、使用しているフォントに関する情報、カラーに関する情報、またはサイズに関する情報のいずれか、またはそれらのうちの複数の情報を含み、
前記撮像機能付表示装置でＯＳＤ表示を行う際に、前記画像処理装置で行われたＯＳＤ表示方法とは異なる表示方法でＯＳＤ表示を行うように制御することで、前記画像処理装置と前記撮像機能付表示装置で同時にＯＳＤ表示を重畳した場合にも、使用者が各装置の状態を容易に認識できるようにする。
【００２５】
また、好ましくは、前記モード入力手段による前記動作モードの設定時に、前記撮像機能付表示装置と前記画像処理装置でネゴシエーションを行い、それぞれの装置がＯＳＤ表示を行う表示位置を事前に決定する。
【発明の効果】
【００２６】
本発明によれば、画像表示システムを構成する各装置の処理負荷を軽減し、かつシステムのトータルスループットを向上することができる画像表示システムを提供できる。
【発明を実施するための最良の形態】
【００２７】
以下、本発明の実施の形態について図面を用いて詳細に説明する。
【００２８】
本発明は、撮像機能付表示装置であるＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）を用いる複合現実感提示技術に関するものである。本発明は、特に、ＨＭＤと画像処理装置が有するそれぞれの画像合成機能及びＯＳＤ表示機能の制御を行い、複数の動作モードを実行することを可能とする画像表示システムに関するものである。
【００２９】
本発明では、ＨＭＤ内にＯＳＤ重畳が可能な画像合成機能を追加することで、ＨＭＤ側での画像合成を可能とする。これにより、画像処理装置側での撮像画像の取込によるフレーム遅延や、画像処理装置側での処理遅延（撮像から表示までの時間遅れ）を低減するとともに、最小限度の回路規模でＨＭＤ側でのＯＳＤ表示を行うことが可能な画像表示システムを実現する。
【００３０】
（実施形態１）
図１は本発明の実施形態１の画像表示システムの構成を示す図である。
【００３１】
ビデオシースルー型のＨＭＤ２０１（撮像機能付表示装置）は、ＨＭＤ装着者の観察している現実空間の画像を取得するための撮像ユニットを有する。また、ＨＭＤ２０１は、現実空間画像に画像処理装置２０３で生成したＣＧ画像（仮想空間画像）を重畳した合成画像（ＭＲ画像）、撮像した現実空間画像、画像処理装置２０３からの出力画像等の表示画像をＨＭＤ装着者に提供するための表示ユニットを有する。
【００３２】
ＨＭＤ２０１は、有線接続されたコントローラ２０２と通信を行う。ＨＭＤ２０１とコントローラ２０２間は有線による通信に限定されない。例えば、ＷＬＡＮ（Ｗｉｒｅｌｅｓｓ Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やＷＰＡＮ（Ｗｉｒｅｌｅｓｓ Ｐｅｒｓｏｎａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）のような、小規模ネットワークを構成する無線通信方式を利用してもよい。ＨＭＤ２０１は、コントローラ２０２からの電源供給を受けて駆動することも、バッテリーで駆動することも可能である。
【００３３】
コントローラ２０２と有線接続された画像処理装置２０３は、ＣＧ画像の描画を行う画像処理部を有する。画像処理装置２０３はコントローラ２０２を介し、ＨＭＤ２０１と通信を行う。ＨＭＤ２０１では、受信したＣＧ画像とＨＭＤ２０１内の撮像ユニットによって撮像した現実空間画像を合成し、合成された合成画像（ＭＲ画像）を表示ユニットによりＨＭＤ装着者に表示する。
【００３４】
図１では、画像処理装置２０３とコントローラ２０２を別々のハードウェア構成として示しているが、これに限定されない。例えば、コントローラ２０２の有する機能をすべて画像処理装置２０３内に実装して一体化することや、画像処理装置２０３とコントローラ２０２がそれぞれ有する機能を集約して、専用の画像処理装置を構成することも可能である。また、画像合成機能は、必ずしもＨＭＤ２０１側で有している必要はなく、画像処理装置２０３、またはコントローラ２０２側に実装する構成も可能である。
【００３５】
尚、画像処理装置２０３は、汎用コンピュータに搭載される標準的な構成要素（例えば、ＣＰＵ、メモリ（ＲＡＭ、ＲＯＭ等）、ハードディスク、外部記憶装置、ネットワークインタフェース、ディスプレイ、キーボード、マウス等）によって実現される。
【００３６】
以降の説明では、機能的な観点から、ＨＭＤ２０１とコントローラ２０２がそれぞれ有する機能を組み合わせたものをＨＭＤとして表記して説明する。
【００３７】
次に、実施形態１の画像表示システムの機能構成について、図２を用いて説明する。
【００３８】
図２は本発明の実施形態１の画像表示システムの機能構成を示すブロック図である。
【００３９】
実施形態１の画像表示システムは、ＨＭＤ１０と画像処理装置１１で構成される。
【００４０】
ＨＭＤ１０は、撮像ユニット１０１、表示ユニット１０２、Ｉ／Ｆ１０３、クロマキー合成部１０４、ＯＳＤ表示データ格納部１０５、モード制御部１０６、ＯＳＤ制御部１１５、セレクタ１１６を有する。
【００４１】
画像処理装置１１は、Ｉ／Ｆ１０７、位置情報生成部１０８、ＣＧ画像描画部１０９、画像合成部１１０、ＯＳＤ表示データ生成部１１７、ＯＳＤ表示重畳部１１１、セレクタ１１２、モード入力部１１３、モード制御部１１４を有する。
【００４２】
ＨＭＤ１０の撮像ユニット１０１は、ＨＭＤ装着者の視点における現実空間の撮像画像を取得する。表示ユニット１０２は、ＨＭＤ装着者に画像を表示する。Ｉ／Ｆ１０３（第１通信部）及び画像処理装置１１のＩ／Ｆ１０７（第２通信部）は、ＨＭＤ１０と画像処理装置１１間の通信Ｉ／Ｆである。
【００４３】
クロマキー合成部１０４（第１合成部）は、入力された２つの画像データのうち一方の画像データから特定の背景色を抽出し、背景色部分を他方の画像データに置き換えるクロマキー合成を行う。クロマキー合成部１０４への入力は、撮像ユニット１０１で取得した撮像画像、画像処理装置１１から送信される合成画像またはＣＧ画像、ＯＳＤ制御部１１５から送信されるＯＳＤ表示画像の３つの入力がある。クロマキー合成部１０４では、設定されたモードに応じて、これら３つの画像の入力の内、２つの画像を選択して合成する処理を行う。
【００４４】
ＯＳＤ表示データ格納部１０５は、ＨＭＤ１０で行うＯＳＤ表示のための複数種類のＯＳＤ表示データを格納する。ＯＳＤ制御部１１５は、ＨＭＤ１０の状態に応じて、ＯＳＤ表示データ格納部１０５に格納されたＯＳＤ表示データの中から、ＨＭＤ装着者に対して通知すべきメッセージ画像（ＯＳＤ表示画像）に対応するＯＳＤ表示データを選択する。そして、ＯＳＤ制御部１１５は、選択したＯＳＤ表示データをクロマキー合成部１０４に出力する制御を行う。
【００４５】
モード制御部１０６（第１モード制御部）は、画像処理装置１１のモード入力部１１３で入力された設定に応じて、ＨＭＤ１０の機能の制御を行う。設定の内容については後述する。セレクタ１１６は、設定されたモードに応じて表示ユニット１０２に出力する画像を選択する。
【００４６】
画像処理装置１１の位置情報生成部１０８は、ＨＭＤ１０の撮像ユニット１０１で取得された現実空間の画像データから、ＨＭＤ装着者の位置及び姿勢を算出し、三次元位置姿勢情報を生成する。ＣＧ画像描画部１０９は、位置情報生成部１０８で生成された三次元位置姿勢情報に基づいて、撮像画像に合成するためのＣＧ画像の描画をメモリ上に行う。ここで、ＣＧ画像をより概念的に言えば、現実空間画像である撮像画像上に仮想的に定義される仮想空間に、人工的に生成した画像を重畳して合成するための仮想空間画像である。
【００４７】
画像合成部１１０（第２合成部）は、撮像ユニット１０１で取得された撮像画像とＣＧ画像描画部１０９で生成されたＣＧ画像を合成する。ＯＳＤ表示データ生成部１１７は、ＯＳＤ表示するためのＯＳＤ表示データを生成する。ＯＳＤ表示重畳部１１１は、ＨＭＤ１０に送信する画像に対して、ＯＳＤ表示データ生成部１１７で生成したＯＳＤ表示データの重畳を行う。
【００４８】
セレクタ１１２は、設定されたモードに応じて出力画像を選択し、Ｉ／Ｆ１０７に出力する。モード入力部１１３は、画像合成及びＯＳＤ機能の制御を行うモードを選択するための入力部である。モード制御部１１４（第２モード制御部）は、モード入力部１１３で入力された設定に応じて、画像処理装置１１の機能の制御を行う。
【００４９】
実施形態１の画像表示システムは、モード入力部１１３で入力された設定に応じて、クロマキー合成部１０４、ＯＳＤ表示データ格納部１０５、ＣＧ画像描画部１０９、画像合成部１１０、ＯＳＤ表示重畳部、セレクタ１１２の制御を行う。そして、この制御により、以降で説明する機能を実行することが可能となる。
【００５０】
また、実施形態１では、モード入力部１１３を画像処理装置１１に設ける構成としているが、これに限定されない。例えば、モード入力部１１３をＨＭＤ１０に設け、ＨＭＤ１０のモード制御部１０６、Ｉ／Ｆ１０３、画像処理装置１１のＩ／Ｆ１０７を介して、画像処理装置１１のモード制御部１１４に設定情報を送信することもできる。また、ＨＭＤ１０、または画像処理装置１１に設定用Ｉ／Ｆを設け、外部装置から設定を行う構成も考えられる。
【００５１】
次に、実施形態１の画像表示システムにおける表示画像の一例について、図３を用いて説明する。
【００５２】
図３は本発明の実施形態１の画像表示システムにおける表示画像の一例を説明するための図である。
【００５３】
撮像画像３０１は、ＨＭＤ装着者が観察している現実空間を、ＨＭＤ２０１の撮像ユニット１０１で撮像した画像である。撮像画像３０１において、現実空間内に設置されたマーカ３０２には、予めＭＲ空間内における絶対位置姿勢情報、あるいは任意の絶対位置姿勢に対する相対位置姿勢情報が与えられているものとする。
【００５４】
画像表示システム内の位置情報生成部１０８では、撮像画像３０１中からマーカ３０２を検出する。次に、位置情報生成部１０８では、マーカ３０２のマーカ情報から、マーカ３０２の持つ位置姿勢情報を基準としたＨＭＤ１０本体の相対的位置関係、及びＨＭＤ装着者がマーカ３０２を観察している向きに関する三次元位置姿勢情報を算出することができる。ここで、マーカ情報は、例えば、マーカ３０２の大きさや形状、塗りつぶしのパターン等がマーカに関する情報である。
【００５５】
マーカは複数を同時に用いることが可能であり、複数のマーカを用いることにより、位置姿勢情報を算出可能な領域を拡大することが可能となる。また、複数のマーカを同時に用いる場合、マーカ同士の相対的な位置姿勢の関係を予め算出し、それぞれのマーカの位置姿勢情報を登録しておくことによって、より精度の高いＨＭＤの三次元位置姿勢情報の算出が可能となる。
【００５６】
複数のマーカを同時に使用する場合、図３に示したような内部の塗りつぶしパターンによって方向まで識別が可能なマーカではなく、例えば、特定色を用いたカラーマーカーや、ＬＥＤ等の発光素子のような方向性を持たないマーカを利用することもできる。また、事前に用意されたマーカではなく、画像中のテーブルや壁、床等の輪郭線や特徴点、または、任意の色を抽出し、それらの自然特徴をマーカの代わりの指標として用いて、三次元位置姿勢情報を生成することもできる。
【００５７】
更に、同一種類のマーカを複数用いたり、数種類のマーカを同時に用いたり、マーカ情報と画像中の自然特徴の情報を組み合わせて用いたりすることによって、より高い精度で三次元位置姿勢情報を生成することもできる。また、複数のマーカや自然特徴は相対的な位置関係を把握し、システムに登録することによって、全てのマーカや特徴点が画像内に表示されていなくても、それぞれのマーカや自然特徴の位置姿勢を推定することも可能となる。
【００５８】
画像表示システムにおけるＨＭＤの三次元位置姿勢情報の生成には、ＨＭＤ１０に内蔵された撮像ユニット１０１（主観カメラ）で撮像した画像情報を用いる方法の他に、各種センシングデバイスによるセンシング情報を用いる方法がある。センシングデバイスの例としては、磁気センサ、ジャイロセンサ、加速度センサ等のように、ＨＭＤ１０自身に取り付けて使用するタイプのデバイスがある。あるいは、赤外カメラ（客観カメラ）等のように、ＨＭＤ１０以外の周囲の環境に設置して使用するタイプのデバイスが挙げられる。
【００５９】
客観カメラを使用する場合は、ＨＭＤ１０本体にもマーカを取り付けて検出対象とする。これらのセンシングデバイスは一種類のみで使用することも、複数種類のデバイスを組み合わせて使用することも可能である。また、ＨＭＤ１０に内蔵された主観カメラで撮像した画像情報と、センシングデバイスで取得したセンシング情報を組み合わせて利用することができる。このような構成の場合、主観カメラでマーカを捉えていないときも、センシングデバイスのセンシング情報で補うことで、途切れなく三次元位置姿勢情報の生成を行うことができる。
【００６０】
ＣＧ画像３０３は、撮像画像３０１あるいはセンシング情報に基づいて生成された三次元位置姿勢情報に基づいて描画されたＣＧ画像である。ＣＧ画像３０３中のＣＧオブジェクト３０４は、ＨＭＤ装着者の位置姿勢に応じて大きさや向き等が決定され、ＣＧ画像描画部１０９で描画される。ＣＧオブジェクト３０４以外の部分は、背景色として定められた色で塗りつぶされている。
【００６１】
合成画像３０５は、撮像画像３０１とＣＧ画像３０３を合成した後の画像であり、ＨＭＤ装着者はＨＭＤ１０で表示された合成画像を見ることでＭＲ空間を体験することができる。画像表示システムでは、表示画像を切り換えることが可能であり、ＨＭＤ装着者は合成画像３０５だけでなく、撮像画像３０１やＣＧ画像３０３をＨＭＤ１０で観察することもできる。
【００６２】
更に、撮像画像３０１、ＣＧ画像３０３、合成画像３０５のそれぞれに対して、ＨＭＤ装着者に通知するためのメッセージ画像をＯＳＤ表示画像として重畳し、それらの画像をＨＭＤ１０で表示することも可能である。ここで、メッセージ画像とは、設定情報、使用時間等の各種ステータス情報や、画像表示システム内でエラーが発生した際のエラー内容、警告等がある。
【００６３】
撮像画像３０１、ＣＧ画像３０３、合成画像３０５のそれぞれに対して、ＨＭＤ装着者に通知したいメッセージ画像をＯＳＤ表示として重畳した画像がそれぞれＯＳＤ重畳画像３０６、３０７、３０８となる。図３では、格納された複数のＯＳＤ表示画像（文字画像）の中から、「使」、「用」、「時」、「間」、「３」、「０」、「分」、「経」、「過」の各ＯＳＤ表示画像（文字画像）を選択し、それらを組み合わせて「使用時間３０分経過」と表示されるＯＳＤ表示画像を生成している。
【００６４】
次に、画像表示システムにおけるモードの一例について、図４を用いて説明する。
【００６５】
図４は本発明の実施形態１の画像表示システムのモードを示す図である。
【００６６】
「合成」の欄は、ＨＭＤ１０のクロマキー合成部１０４、画像処理装置１１の画像合成部１１０のどちらを用いて撮像画像とＣＧ画像の画像合成を行うかを示す欄である。合成の欄が「ナシ」と記載されている設定は、ＨＭＤ１０の撮像ユニット１０１で撮像した画像を直接、表示ユニット１０２で表示する系を示している。
【００６７】
また、「ＯＳＤ表示」の欄は、ＨＭＤ１０、画像処理装置１１がそれぞれ有しているＯＳＤ表示の重畳機能を用いるか否かを示している。
【００６８】
以上の合成機能の有無、及び機能を実行する装置の違いに加え、更に、それらの中でＯＳＤ表示の有無、及び機能を実行する装置の違いによって、画像表示システムのモードが分かれている。ここで、このモードとは、画像合成機能、及びＯＳＤ表示機能を制御するための画像表示システムの動作モードである。
【００６９】
次に、画像表示システムの各モードで扱う画像の一例について、図５を用いて説明する。
【００７０】
図５は本発明の実施形態１の画像表示システムの各モードで扱う画像の例を示す図である。
【００７１】
以下で、図４に示した各モードについて、図２の機能ブロック図、及び図５の画像の例を用いて動作を説明する。また、説明するモード２、６及び８の表示例は、他のモードの表示例から明らかなため、図５では省略する。
【００７２】
モード１、２は、ＨＭＤ１０の撮像ユニット１０１で撮像した撮像画像５０１に対して、画像合成を行わずに、表示ユニット１０２で直接表示する系を示している。
【００７３】
モード１は、ＨＭＤ１０の撮像ユニット１０１で取得した撮像画像に対して、クロマキー合成部１０４によってＯＳＤ表示画像５０２の重畳を行い、ＯＳＤ表示付の撮像画像５０３を生成し、表示ユニット１０２で表示する。撮像画像５０１に重畳するＯＳＤ表示画像５０２は、ＨＭＤ１０内のＯＳＤ表示データ格納部１０５に格納されているデータの中から、ＨＭＤ１０の状態に応じて、ＨＭＤ装着者に通知すべき内容を選択して利用する。
【００７４】
モード２（不図示）は、ＯＳＤ表示画像５０２の重畳を行わずに、表示ユニット１０２で撮像画像５０１を直接表示する。
【００７５】
モード３からモード６までは、ＨＭＤ１０の撮像ユニット１０１で撮像した撮像画像と、画像処理装置１１のＣＧ画像描画部１０９で生成したＣＧ画像を画像処理装置１１の画像合成部１１０で合成し、表示ユニット１０２で表示する系を示している。
【００７６】
モード３は、画像処理装置１１の画像合成部１１０で生成した合成画像に対して、ＯＳＤ表示重畳部１１１でＯＳＤ表示画像を重畳する。そして、ＯＳＤ表示が重畳された合成画像５０４に対して、更にＨＭＤ１０のクロマキー合成部１０４によってＯＳＤ表示画像５０５と合成を行い、ＯＳＤ表示付の合成画像５０６を表示ユニット１０２で表示する。モード３では、画像処理装置１１とＨＭＤ１０でそれぞれの状態に応じて、ＯＳＤ表示を行うことができる。
【００７７】
モード４は、画像処理装置１１の画像合成部１１０で生成した合成画像５０７に対して、ＨＭＤ１０のクロマキー合成部１０４によってＯＳＤ表示画像５０８と合成を行い、ＯＳＤ表示付の合成画像５０９を表示ユニット１０２で表示する。
【００７８】
モード５は、画像処理装置１１の画像合成部１１０で生成した合成画像に対して、ＯＳＤ表示重畳部１１１でＯＳＤ表示画像を重畳して合成画像５１０を生成する。一方、ＨＭＤ１０では合成やＯＳＤ表示を行わずに、ＯＳＤ表示付の合成画像５１２（合成画像５１０と同じ画像）を表示ユニット１０２で表示する。
【００７９】
モード６（不図示）は、画像処理装置１１の画像合成部１１０で生成した合成画像５０７に対して、画像処理装置１１及びＨＭＤ１０でＯＳＤ表示を行わずに、表示ユニット１０２で合成画像５０７を直接表示する。
【００８０】
モード７、８は、ＨＭＤ１０の撮像ユニット１０１で撮像した撮像画像と、画像処理装置１１のＣＧ画像描画部１０９で生成したＣＧ画像をＨＭＤ１０のクロマキー合成部１０４で合成し、表示ユニット１０２で表示する系を示している。
【００８１】
モード７は、画像処理装置１１のＣＧ画像描画部１０９で生成したＣＧ画像に対して、ＯＳＤ表示重畳部１１１でＯＳＤ表示画像を重畳する。ＯＳＤ表示が重畳されたＣＧ画像５１３に対して、ＨＭＤ１０のクロマキー合成部１０４によって撮像画像５１４と合成を行い、ＯＳＤ表示付の合成画像５１５を表示ユニット１０２で表示する。
【００８２】
モード８（不図示）は、画像処理装置１１のＣＧ画像描画部１０９で生成したＣＧ画像に対して、画像処理装置１１でＯＳＤ表示を行わずに、ＨＭＤ１０のクロマキー合成部１０４によって撮像画像と合成を行い、合成画像を表示ユニット１０２で表示する。
【００８３】
次に、画像表示システムのモード設定時の処理フローについて、図６を用いて説明する。
【００８４】
図６は本発明の実施形態１の画像表示システムのモード設定時の処理フローを説明するフローチャートである。
【００８５】
画像処理装置１１は電源が投入されると、まず、ＨＭＤ１０と接続されているか否かを確認するために、接続要求をＨＭＤ１０に送信する（ステップＳ６０１）。ＨＭＤ１０では接続要求を受信すると、画像処理装置１１と接続されていることを通知するために接続完了通知を画像処理装置１１に送信する（ステップＳ６０２）。
【００８６】
画像処理装置１１は、ＨＭＤ１０からの接続完了通知を受信して、ＨＭＤ１０との接続を確認すると、モード入力待ち状態に移行する（ステップＳ６０３）。モード入力待ち状態の時に、モード入力部１１３よりモード入力が行われると（ステップＳ６０４）、モード制御部１１４は、モード設定情報をＨＭＤ１０に送信する（ステップＳ６０５）。続いて、モード制御部１０６は、入力されたモードに応じた制御情報を、画像処理装置１１内のＣＧ画像描画部１０９、画像合成部１１０、ＯＳＤ表示重畳部１１１、セレクタ１１２の各機能ブロックに送信する（ステップＳ６０６）。
【００８７】
制御情報に応じて、モード制御部１１４は、画像処理装置１１内の各機能ブロックの設定を行う（ステップＳ６０７）。その後、各機能ブロックは設定完了通知をモード制御部１１４に送信する（ステップＳ６０８）。各機能ブロックからの設定完了通知を受信すると、モード制御部１１４は、ＨＭＤ１０からのモード設定完了通知を受信するまで、モード設定完了通知待ち状態に移行する（ステップＳ６０９）。
【００８８】
一方、ＨＭＤ１０はモード設定情報を画像処理装置１１から受信する。これを受けて、モード制御部１０６は、受信したモード設定情報に応じた制御情報を、クロマキー合成部１０４、ＯＳＤ制御部１１５及びセレクタ１１６の各機能ブロックに送信する（ステップＳ６１０）。モード制御部１０６は、制御情報に応じてＨＭＤ１０内の各機能ブロックの設定を行う（ステップＳ６１１）。
【００８９】
その後、各機能ブロックは、設定完了通知をモード制御部１０６に送信する（ステップＳ６１２）。設定完了通知を受信すると、モード制御部１０６は、モード設定完了通知を画像処理装置１１に送信する（ステップＳ６１３）。画像処理装置１１は、ＨＭＤ１０からのモード設定完了通知を受信すると、モード設定完了通知待ち状態を抜け、モード設定を終了する（ステップＳ６１４）。
【００９０】
以上説明したように、実施形態１によれば、回路規模の増大を最小限に抑えつつ、ＨＭＤ側で画像合成機能とＯＳＤ表示重畳機能を付加することが可能となる。また、ＨＭＤ側で画像合成を行うことにより、撮像から表示までの時間遅延の少ない画像表示システムを実現することができる。
【００９１】
また、クロマキー合成部を用いてＨＭＤ側でＯＳＤ表示機能を実行することにより、単純にクロマキー合成機能とＯＳＤ表示機能を別々にＨＭＤに追加する場合に比べ、回路規模を抑え、サイズ、消費電力を抑えることができる。
【００９２】
（実施形態２）
実施形態２の画像表示システムは、実施形態１の画像表示システムと比較して、位置情報生成部をＨＭＤ側に有している点、画像処理装置のＯＳＤ表示重畳部からＨＭＤのＯＳＤ制御部へ、画像処理装置側のＯＳＤ表示情報を送信することを特徴としている。
【００９３】
図７は本発明の実施形態２の画像表示システムの機能構成を示すブロック図である。
【００９４】
実施形態２の画像表示システムは、ＨＭＤ７０と画像処理装置７１で構成される。
【００９５】
ＨＭＤ７０は、撮像ユニット７０１、表示ユニット７０２、Ｉ／Ｆ７０３、クロマキー合成部７０４、ＯＳＤ表示データ格納部７０５、ＯＳＤ制御部７０６、位置情報生成部７０７、モード制御部７０８、セレクタ７０９、位置姿勢センサ７１７を有する。
【００９６】
画像処理装置７１は、Ｉ／Ｆ７１０、ＣＧ画像描画部７１１、画像合成部７１２、ＯＳＤ表示重畳部７１３、セレクタ７１４、モード入力部７１５、モード制御部７１６、ＯＳＤ表示データ生成部７１８、ＯＳＤ制御部７１９を有する。
【００９７】
尚、図７において、図２と同一の名称を有する機能ブロックについては、その詳細説明を省略する。そのため、以下では、実施形態２において新規に追加された機能ブロックと、その機能が異なる部分の説明を行う。
【００９８】
位置姿勢センサ７１７は、ＨＭＤ７０の三次元位置姿勢情報を生成するためのセンシング情報を取得する。位置情報生成部７０７は、撮像ユニット７０１で取得した撮像画像及びセンシング情報を用いて、ＨＭＤ装着者の位置及び姿勢を算出し、三次元位置姿勢情報を生成する。そして、位置情報生成部７０７は、その三次元位置姿勢情報を、ＨＭＤ７０のＯＳＤ制御部７０６、及び画像処理装置７１のＯＳＤ制御部７１９とＣＧ画像描画部７１１に送信する。
【００９９】
次に、ＨＭＤ７０のＯＳＤ制御部７０６は、ＨＭＤ７０の状態に応じて、ＯＳＤ表示データ格納部７０５に格納された複数種類のＯＳＤ表示データの中から、ＨＭＤ装着者に対して通知すべきメッセージ画像に対応するＯＳＤ表示データを選択する。次に、ＯＳＤ制御部７０６は、画像処理装置７１のＯＳＤ制御部７１９から送信されたＯＳＤ表示情報、位置情報生成部７０７で生成した三次元位置姿勢情報、ＣＧ画像描画部７１１から送信されたＣＧ描画範囲情報を参照する。そして、ＯＳＤ制御部７０６は、参照した各種情報に基づいて、選択したＯＳＤ表示データを制御して、そのＯＳＤ表示データをクロマキー合成部７０４に送信する。
【０１００】
尚、ＯＳＤ表示情報は、画像処理装置７１で実行されたＯＳＤ表示の表示位置を含むＯＳＤ表示情報である。
【０１０１】
画像処理装置７１のＣＧ画像描画部７１１は、ＨＭＤ７０の位置情報生成部７０７で生成された三次元位置姿勢情報に基づいて、撮像画像に合成するためのＣＧ画像の描画を実行する。次に、ＣＧ画像描画部７１１は、描画したＣＧ画像を画像合成部７１２に送信し、また、ＣＧ描画範囲情報をＯＳＤ制御部７１９及びＨＭＤ７０のＯＳＤ制御部７０６に送信する。
【０１０２】
画像処理装置７１のＯＳＤ制御部７１９は、位置情報生成部７０７で生成された三次元位置姿勢情報とＣＧ画像描画部７１１からのＣＧ描画範囲情報を参照し、ＯＳＤ表示データ生成部７１８で生成したＯＳＤ表示データの重畳位置を制御する。ＯＳＤ表示データの重畳位置は、ＯＳＤ表示データとＣＧ画像とが互い重ならない位置に表示位置制御することが望ましい。但し、フレーム毎にＣＧ描画範囲が頻繁に変化するような場合には、ＯＳＤ表示の位置がフレームごとに大きく変化することになるため、この表示位置制御方法については、この限りではない。
【０１０３】
ＯＳＤ制御部７１９は、表示位置制御を行った表示データをＯＳＤ表示重畳部７１３に、ＯＳＤ表示情報をＩ／Ｆ７１０及び７０３を介して、ＨＭＤ７０のＯＳＤ制御部７０６にそれぞれ送信する。
【０１０４】
以上のシステム構成を有することにより、実施形態２の画像表示システムも実施形態１と同様に、図４で示したモードのすべての動作が可能である。
【０１０５】
実施形態２の画像表示システムは、位置情報生成部７０７をＨＭＤ７０で有しているため、例えば、モード７やモード８での動作時に、ＨＭＤ７０から画像処理装置７１に位置情報生成に用いる撮像画像を送信する必要がない。また、モード３やモード４のようなＨＭＤ７０でＯＳＤ表示を行うモードでの動作時に、画像処理装置７１からＨＭＤ７０へ位置姿勢情報を送信する必要がない。このように、実施形態２の画像表示システムでは、ＨＭＤ７０と画像処理装置７１間で送受信するデータ量を削減できるという効果が生じる。
【０１０６】
更に、ＨＭＤ７０と画像処理装置７１間で通信が途絶した際にも、ＨＭＤ７０で自身の位置を把握することができるため、ＨＭＤ装着者の位置に応じたＯＳＤ表示を行うことが可能である。例えば、ＨＭＤ７０と画像処理装置７１間が有線Ｉ／Ｆの場合は、ＨＭＤ装着者がケーブルの長さ以上に画像処理装置から離れる方向に移動しようとしていることを検出し、ＯＳＤ表示でその旨を通知すること等が可能である。また、無線Ｉ／Ｆの場合は、無線通信範囲外に移動しようとしていることを検出し、ＯＳＤ表示でその旨を通知すること等が可能である。
【０１０７】
続いて、画像処理装置７１からＯＳＤ表示情報を送信することによる効果について、以下に説明する。
【０１０８】
図８は本発明の実施形態２の画像表示システムにおける表示画像の一例を説明するための図である。
【０１０９】
図４に示したモードの内、モード３はＨＭＤ７０と画像処理装置７１の両方でＯＳＤ表示を行うことができるモードである。この場合、ＨＭＤ７０ではＨＭＤ７０の状態を、画像処理装置７１では画像処理装置７１の状態を監視して、必要に応じてそれぞれの装置がＯＳＤ表示を行える。そのため、エラーによってＨＭＤ７０と画像処理装置７１間で通信が行えなくなった場合でも、ＨＭＤ７０でＯＳＤ表示を行って、ＨＭＤ装着者に対してエラーが発生したことを通知することが可能となる。
【０１１０】
しかしながら、画像処理装置７１とＨＭＤ７０が同じ１枚の画像に対してＯＳＤ表示を行った場合、画像８０１のようにＯＳＤ表示が重なってしまい、ＨＭＤ装着者がメッセージを認識できなくなる可能性がある。
【０１１１】
そこで、実施形態２では、画像処理装置７１内のＯＳＤ表示重畳部７１３でＯＳＤ表示を行った際には、表示位置情報を含むＯＳＤ表示情報をＨＭＤ７０に送信する。そして、ＨＭＤ７０内のＯＳＤ制御部７０６で、その表示位置情報を参照して、表示が重ならない位置にＯＳＤ表示を行うように制御することで、この問題を解決している。
【０１１２】
その他の方法としては、起動後のモード設定時に、ＨＭＤ７０と画像処理装置７１の両方でＯＳＤ表示を実行するモード（モード３）が設定された場合、ＨＭＤ７０と画像処理装置７１間でネゴシエーションを行う。そして、そのネゴシエーションに基づいて、ＯＳＤ表示を行う表示位置が重ならないように、それぞれが実行するＯＳＤ表示の表示位置を事前に決定する制御方法も考えられる。
【０１１３】
以上のような表示位置制御を行うことにより、画像８０２に示すように、それぞれの装置のＯＳＤ表示が重ならないように表示を行うことが可能となる。更に、ＯＳＤ表示情報に表示位置情報以外の情報として、通知メッセージ（ＯＳＤ表示画像）の優先度や、通知メッセージを通知した装置名、フォントのカラーやサイズ等の情報を含めることが可能である。
【０１１４】
つまり、ＯＳＤ表示情報には、表示内容の優先度に関する情報、重畳した装置名に関する情報、使用しているフォントに関する情報、カラーに関する情報、またはサイズに関する情報のいずれか、またはそれらのうちの複数の情報を含んでいる。
【０１１５】
これによって、画像８０３、８０４、８０５のようなＯＳＤ重畳画像の表示を実現することができ、ＨＭＤ装着者は各装置の状態を使用者が容易に認識することが可能となる。
【０１１６】
以上説明したように、実施形態２によれば、ＨＭＤ側で画像合成機能とＯＳＤ表示重畳機能を付加することが可能となる。更に、位置情報生成部をＨＭＤ側に有することによって、一部のモードにおいてではあるが、装置間の伝送データ量を削減することができる。また、ＨＭＤと画像処理装置で同時にＯＳＤ表示を重畳するモード（モード３）において、ＯＳＤ表示の重なりを防ぐことができる。それと同時に、メッセージの優先度や、どちらの装置が通知しているメッセージであるかを、ＨＭＤ装着者が容易に認識できるＯＳＤ表示を実現することが可能である。
【０１１７】
以上、実施形態例を詳述したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
【０１１８】
尚、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図に示すフローチャートに対応したプログラム）を、システムあるいは装置に直接あるいは遠隔から供給する。そして、そのシステムあるいは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。
【０１１９】
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【０１２０】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であっても良い。
【０１２１】
プログラムを供給するための記録媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスクがある。また、更に、記録媒体としては、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などがある。
【０１２２】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、その接続先のホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。
【０１２３】
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【０１２４】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。また、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。
【０１２５】
更に、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現される。
【図面の簡単な説明】
【０１２６】
【図１】本発明の実施形態１の画像表示システムの構成を示す図である。
【図２】本発明の実施形態１の画像表示システムの機能構成を示すブロック図である。
【図３】本発明の実施形態１の画像表示システムにおける表示画像の一例を説明するための図である。
【図４】本発明の実施形態１の画像表示システムのモードを示す図である。
【図５】本発明の実施形態１の画像表示システムの各モードで扱う画像の例を示す図である。
【図６】本発明の実施形態１の画像表示システムのモード設定時の処理フローを説明するフローチャートである。
【図７】本発明の実施形態２の画像表示システムの機能構成を示すブロック図である。
【図８】本発明の実施形態２の画像表示システムにおける表示画像の一例を説明するための図である。
【図９】従来のＭＲシステムのシステム構成を示す機能ブロック図である。
【符号の説明】
【０１２７】
１０ ＨＭＤ
１１ 画像処理装置
１０１ 撮像ユニット
１０２ 表示ユニット
１０３ Ｉ／Ｆ（ＨＭＤ）
１０４ クロマキー合成部
１０５ ＯＳＤ表示データ格納部
１０６ モード制御部（ＨＭＤ）
１０７ Ｉ／Ｆ（画像処理装置）
１０８ 位置情報生成部
１０９ ＣＧ画像描画部
１１０ 画像合成部
１１１ ＯＳＤ表示重畳部
１１２ セレクタ（画像処理装置）
１１３ モード入力部
１１４ モード制御部（画像処理装置）
１１５ ＯＳＤ制御部
１１６ セレクタ（ＨＭＤ）
１１７ ＯＳＤ表示データ生成部
【技術分野】
【０００１】
本発明は、撮像機能付表示装置と画像処理装置から構成される画像表示システムに関するものである。
【背景技術】
【０００２】
現実世界と仮想世界をリアルタイムかつシームレスに融合させる技術として複合現実感、いわゆるＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）技術が知られている。従来、撮像機能付表示装置であるＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）を利用したＭＲシステムでは、ＨＭＤの撮像ユニットによって取得した撮像画像をＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）に取り込む。そして、ＰＣ内で生成したＣＧ画像と合成し、必要に応じてＯＳＤ（Ｏｎ Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）表示の重畳を行った後、ＨＭＤの表示ユニットで画像の表示を行っている。
【０００３】
尚、撮像機能付表示装置であるＨＭＤは、双眼鏡のような手持ちタイプの装置でもよく、頭部装着型の装置に限定されない。
【０００４】
図９は、ＨＭＤを利用した一般的なＭＲシステムの機能ブロック図である。この図を使用して、ＭＲシステムの概要を説明する。
【０００５】
ＨＭＤ９０は、撮像ユニット９０１、表示ユニット９０２、画像処理装置９１とのＩ／Ｆ９０３から構成される。
【０００６】
撮像ユニット９０１は、ＨＭＤ装着者の視線位置と略一致する外界の観察画像を撮像する。一般にはステレオ画像を生成するために右目用、左目用の２つの撮像素子と光学系及び後段の画像処理を行うためのＤＳＰから構成される。ここで、ＤＳＰは、Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒの略称である。
【０００７】
表示ユニット９０２は、合成画像を表示するための表示ユニットであり、こちらも右目用、左目用の２つの表示デバイスと光学系から構成される。表示デバイスは小型の液晶ディスプレイやＭＥＭＳによる網膜スキャンタイプのデバイスが使用される。ここで、ＭＥＭＳは、Ｍｉｃｒｏ Ｅｌｅｃｔｒｏ Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍｓの略称である。
【０００８】
Ｉ／Ｆ９０３は、撮像ユニット９０１で取得された撮像画像を画像処理装置９１に伝送し、また画像処理装置９１から受信した合成画像をＨＭＤ９０へ伝送するためのＩ／Ｆである。このＩ／Ｆ９０３には、リアルタイム性がありかつ大容量のデータ伝送が可能なＵＳＢやＩＥＥＥ１３９４のメタル線、ＧｉｇａｂｉｔＥｔｈｅｒｎｅｔ（登録商標）等の光ファイバが使用される。
【０００９】
画像処理装置９１は、ＨＭＤ９０とのＩ／Ｆ９０４、位置情報生成部９０５、ＣＧ画像描画部９０６、画像合成部９０７、ＯＳＤ表示重畳部９０８、ＯＳＤ表示データ生成部９０９、セレクタ９１０から構成される。この画像処理装置９１は、一般にはＰＣやワークステーション等の高性能な演算処理機能やグラフィック表示機能を有する装置で実現される。
【００１０】
Ｉ／Ｆ９０４は、ＨＭＤ９０のＩ／Ｆ９０３に対応する、画像処理装置９１のＩ／Ｆであり、ＨＭＤ９０のＩ／Ｆ９０３と同様の仕様を有する。位置情報生成部９０５は、ＨＭＤ９０から受信した撮像画像に基づいて、ＨＭＤ装着者の位置姿勢情報を生成する。位置姿勢情報の生成は、例えば、ＨＭＤ９０の撮像ユニット９０１で取得した撮像画像から算出する手法がある。その他には、周囲に設置した客観視点カメラで取得した撮像画像から算出する手法や、ＨＭＤに取り付けたジャイロセンサや加速度センサ等の各種センサ情報を用いて算出する手法もある。また、上記の各手法を組み合わせて利用することにより、より精度の高い位置姿勢情報を生成することも可能となる。
【００１１】
ＣＧ画像描画部９０６は、位置情報生成部９０５で算出された位置姿勢情報に基づいてＣＧを描画する。画像合成部９０７は、撮像画像とＣＧ画像を合成する。ＯＳＤ表示データ生成部９０９は、設定情報、使用時間等の各種ステータス情報や、システム内でエラーが発生した際のエラー内容、警告等をＨＭＤ装着者に通知するためのメッセージを生成する。ＯＳＤ表示重畳部９０８は、ＯＳＤ表示データ生成部９０９で生成したメッセージを、ＯＳＤ表示として画像合成部９０７で合成した合成画像に重畳する。セレクタ９１０は、撮像画像とＣＧ画像を合成した合成画像、あるいはその合成画像にＯＳＤ表示を重畳した画像のいずれかを切り替えて出力する。
【特許文献１】特開平１１−８８９１３号
【発明の開示】
【発明が解決しようとする課題】
【００１２】
しかしながら、このような従来のＭＲシステム（特許文献１等）では、画像処理装置の撮像画像の取込時にフレーム遅延が発生することで、ＨＭＤ装着者に提示する観察画像に違和感を与えてしまう。また、画像取込、位置情報生成、ＣＧ画像生成、画像合成、ＯＳＤ表示重畳と多くの処理を画像処理装置内で同時に実行する構成であるため、画像処理装置の処理負荷が増大する。これにより、画像処理装置内で処理遅延が発生し、ＨＭＤで撮像を行ってからＨＭＤ装着者に対して合成画像が表示されるまでの時間遅れが更に大きくなるという問題が生じている。
【００１３】
また、このような構成では、画像処理装置側でＯＳＤ表示を行うため、ＨＭＤ側においてエラーが発生した際には、ＰＣ側にエラー内容を通知する必要がある。加えて、ＨＭＤとＰＣ間との通信途絶時には、ＯＳＤ表示が行えなくなる。そのため、ＨＭＤ側にもＯＳＤ表示機能を追加することが望ましいが、回路規模の増大を招くだけでなく、双方のＯＳＤ表示を制御することで煩雑性が増すという新たな問題も生じることになる。
【００１４】
本発明はかかる問題に鑑みなされたものであり、画像表示システムを構成する各装置の処理負荷を軽減し、かつシステムのトータルスループットを向上することができる画像表示システムを提供することを目的とする。
【課題を解決するための手段】
【００１５】
上記の目的を達成するための本発明による画像表示システムは以下の構成を備える。即ち、
撮像機能付表示装置と画像処理装置から構成される画像表示システムであって、
前記撮像機能付表示装置は、
現実空間を撮像する撮像手段と、
画像を表示する表示手段と、
前記画像処理装置と通信を行うための第１通信手段と、
前記表示手段で表示する画像に重畳するための複数種類のＯＳＤ表示画像を格納する格納手段と、
入力された制御情報に応じて、前記複数種類のＯＳＤ表示画像の中から、前記ＯＳＤ表示画像を選択するＯＳＤ制御手段と、
入力された制御情報に応じて、前記撮像手段で撮像した現実空間画像と、前記第１通信手段を介して前記画像処理装置より入力した画像と、ＯＳＤ制御手段で選択したＯＳＤ表示画像の内、いずれか２つを選択して合成する第１合成手段と、
設定された動作モードに応じて、前記ＯＳＤ制御手段及び前記第１合成手段に対する制御情報を生成し、前記ＯＳＤ制御手段及び前記第１合成手段の動作を制御する第１モード制御手段とを備え、
前記画像処理装置は、
前記撮像機能付表示装置と通信を行うための第２通信手段と、
前記現実空間画像に重畳して合成するための仮想空間画像をメモリ上に描画する画像描画手段と、
入力された制御情報に応じて、前記第２通信手段を介して前記撮像機能付表示装置から入力した前記現実空間画像と、前記画像描画手段で描画された仮想空間画像を合成する第２合成手段と、
入力された制御情報に応じて生成されたＯＳＤ表示画像を、前記撮像機能付表示装置に送信する画像に重畳する重畳手段と、
設定された動作モードに応じて、前記第２合成手段及び前記重畳手段に対する制御情報を生成し、前記第２合成手段及び前記重畳手段の動作を制御する第２モード制御手段とを備え、
前記撮像機能付表示装置と前記画像処理装置の少なくとも一方に前記動作モードを設定するためのモード入力手段と
を備える。
【００１６】
また、好ましくは、前記動作モードの一つは、前記撮像機能付表示装置の前記撮像手段で撮像した現実空間画像を、前記表示手段で直接表示するモードである。
【００１７】
また、好ましくは、前記動作モードの一つは、前記撮像機能付表示装置の前記第１合成手段において、前記現実空間画像と前記仮想空間画像とを合成し、前記表示手段で表示するモードである。
【００１８】
また、好ましくは、前記動作モードの一つは、前記画像処理装置の前記第２合成手段において、前記現実空間画像と前記仮想空間画像とを合成し、前記表示手段で表示するモードである。
【００１９】
また、好ましくは、前記動作モードの一つは、前記画像処理装置の前記重畳手段において、前記入力された制御情報に応じて生成されたＯＳＤ表示画像を前記撮像機能付表示装置に送信する画像に重畳するモードである。
【００２０】
また、好ましくは、前記動作モードの一つは、前記撮像機能付表示装置の前記第１合成手段において、ＯＳＤ表示画像を重畳するモードである。
【００２１】
また、好ましくは、前記動作モードの一つは、前記画像処理装置の前記重畳手段と、前記撮像機能付表示装置の第１合成手段の両方で、ＯＳＤ表示画像を重畳するモードである。
【００２２】
また、好ましくは、前記画像処理装置の前記重畳手段と、前記撮像機能付表示装置の第１合成手段の両方で、ＯＳＤ表示画像を重畳するモードが選択された場合、各手段で重畳するＯＳＤ表示画像が互いに重ならないように表示位置制御する制御手段を更に備える。
【００２３】
また、好ましくは、前記画像処理装置の前記重畳手段は、前記ＯＳＤ表示画像を重畳した場合、該ＯＳＤ表示画像の表示位置情報を含むＯＳＤ表示情報を、前記撮像機能付表示装置の前記ＯＳＤ制御手段に送信し、
前記撮像機能付表示装置の前記ＯＳＤ制御手段は、前記画像処理装置から受信したＯＳＤ表示情報の中の表示位置情報に基づいて、前記撮像機能付表示装置の前記第１合成手段で合成する前記ＯＳＤ表示画像の表示位置を決定する。
【００２４】
また、好ましくは、前記ＯＳＤ表示情報は、表示内容の優先度に関する情報、重畳した装置名に関する情報、使用しているフォントに関する情報、カラーに関する情報、またはサイズに関する情報のいずれか、またはそれらのうちの複数の情報を含み、
前記撮像機能付表示装置でＯＳＤ表示を行う際に、前記画像処理装置で行われたＯＳＤ表示方法とは異なる表示方法でＯＳＤ表示を行うように制御することで、前記画像処理装置と前記撮像機能付表示装置で同時にＯＳＤ表示を重畳した場合にも、使用者が各装置の状態を容易に認識できるようにする。
【００２５】
また、好ましくは、前記モード入力手段による前記動作モードの設定時に、前記撮像機能付表示装置と前記画像処理装置でネゴシエーションを行い、それぞれの装置がＯＳＤ表示を行う表示位置を事前に決定する。
【発明の効果】
【００２６】
本発明によれば、画像表示システムを構成する各装置の処理負荷を軽減し、かつシステムのトータルスループットを向上することができる画像表示システムを提供できる。
【発明を実施するための最良の形態】
【００２７】
以下、本発明の実施の形態について図面を用いて詳細に説明する。
【００２８】
本発明は、撮像機能付表示装置であるＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）を用いる複合現実感提示技術に関するものである。本発明は、特に、ＨＭＤと画像処理装置が有するそれぞれの画像合成機能及びＯＳＤ表示機能の制御を行い、複数の動作モードを実行することを可能とする画像表示システムに関するものである。
【００２９】
本発明では、ＨＭＤ内にＯＳＤ重畳が可能な画像合成機能を追加することで、ＨＭＤ側での画像合成を可能とする。これにより、画像処理装置側での撮像画像の取込によるフレーム遅延や、画像処理装置側での処理遅延（撮像から表示までの時間遅れ）を低減するとともに、最小限度の回路規模でＨＭＤ側でのＯＳＤ表示を行うことが可能な画像表示システムを実現する。
【００３０】
（実施形態１）
図１は本発明の実施形態１の画像表示システムの構成を示す図である。
【００３１】
ビデオシースルー型のＨＭＤ２０１（撮像機能付表示装置）は、ＨＭＤ装着者の観察している現実空間の画像を取得するための撮像ユニットを有する。また、ＨＭＤ２０１は、現実空間画像に画像処理装置２０３で生成したＣＧ画像（仮想空間画像）を重畳した合成画像（ＭＲ画像）、撮像した現実空間画像、画像処理装置２０３からの出力画像等の表示画像をＨＭＤ装着者に提供するための表示ユニットを有する。
【００３２】
ＨＭＤ２０１は、有線接続されたコントローラ２０２と通信を行う。ＨＭＤ２０１とコントローラ２０２間は有線による通信に限定されない。例えば、ＷＬＡＮ（Ｗｉｒｅｌｅｓｓ Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やＷＰＡＮ（Ｗｉｒｅｌｅｓｓ Ｐｅｒｓｏｎａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）のような、小規模ネットワークを構成する無線通信方式を利用してもよい。ＨＭＤ２０１は、コントローラ２０２からの電源供給を受けて駆動することも、バッテリーで駆動することも可能である。
【００３３】
コントローラ２０２と有線接続された画像処理装置２０３は、ＣＧ画像の描画を行う画像処理部を有する。画像処理装置２０３はコントローラ２０２を介し、ＨＭＤ２０１と通信を行う。ＨＭＤ２０１では、受信したＣＧ画像とＨＭＤ２０１内の撮像ユニットによって撮像した現実空間画像を合成し、合成された合成画像（ＭＲ画像）を表示ユニットによりＨＭＤ装着者に表示する。
【００３４】
図１では、画像処理装置２０３とコントローラ２０２を別々のハードウェア構成として示しているが、これに限定されない。例えば、コントローラ２０２の有する機能をすべて画像処理装置２０３内に実装して一体化することや、画像処理装置２０３とコントローラ２０２がそれぞれ有する機能を集約して、専用の画像処理装置を構成することも可能である。また、画像合成機能は、必ずしもＨＭＤ２０１側で有している必要はなく、画像処理装置２０３、またはコントローラ２０２側に実装する構成も可能である。
【００３５】
尚、画像処理装置２０３は、汎用コンピュータに搭載される標準的な構成要素（例えば、ＣＰＵ、メモリ（ＲＡＭ、ＲＯＭ等）、ハードディスク、外部記憶装置、ネットワークインタフェース、ディスプレイ、キーボード、マウス等）によって実現される。
【００３６】
以降の説明では、機能的な観点から、ＨＭＤ２０１とコントローラ２０２がそれぞれ有する機能を組み合わせたものをＨＭＤとして表記して説明する。
【００３７】
次に、実施形態１の画像表示システムの機能構成について、図２を用いて説明する。
【００３８】
図２は本発明の実施形態１の画像表示システムの機能構成を示すブロック図である。
【００３９】
実施形態１の画像表示システムは、ＨＭＤ１０と画像処理装置１１で構成される。
【００４０】
ＨＭＤ１０は、撮像ユニット１０１、表示ユニット１０２、Ｉ／Ｆ１０３、クロマキー合成部１０４、ＯＳＤ表示データ格納部１０５、モード制御部１０６、ＯＳＤ制御部１１５、セレクタ１１６を有する。
【００４１】
画像処理装置１１は、Ｉ／Ｆ１０７、位置情報生成部１０８、ＣＧ画像描画部１０９、画像合成部１１０、ＯＳＤ表示データ生成部１１７、ＯＳＤ表示重畳部１１１、セレクタ１１２、モード入力部１１３、モード制御部１１４を有する。
【００４２】
ＨＭＤ１０の撮像ユニット１０１は、ＨＭＤ装着者の視点における現実空間の撮像画像を取得する。表示ユニット１０２は、ＨＭＤ装着者に画像を表示する。Ｉ／Ｆ１０３（第１通信部）及び画像処理装置１１のＩ／Ｆ１０７（第２通信部）は、ＨＭＤ１０と画像処理装置１１間の通信Ｉ／Ｆである。
【００４３】
クロマキー合成部１０４（第１合成部）は、入力された２つの画像データのうち一方の画像データから特定の背景色を抽出し、背景色部分を他方の画像データに置き換えるクロマキー合成を行う。クロマキー合成部１０４への入力は、撮像ユニット１０１で取得した撮像画像、画像処理装置１１から送信される合成画像またはＣＧ画像、ＯＳＤ制御部１１５から送信されるＯＳＤ表示画像の３つの入力がある。クロマキー合成部１０４では、設定されたモードに応じて、これら３つの画像の入力の内、２つの画像を選択して合成する処理を行う。
【００４４】
ＯＳＤ表示データ格納部１０５は、ＨＭＤ１０で行うＯＳＤ表示のための複数種類のＯＳＤ表示データを格納する。ＯＳＤ制御部１１５は、ＨＭＤ１０の状態に応じて、ＯＳＤ表示データ格納部１０５に格納されたＯＳＤ表示データの中から、ＨＭＤ装着者に対して通知すべきメッセージ画像（ＯＳＤ表示画像）に対応するＯＳＤ表示データを選択する。そして、ＯＳＤ制御部１１５は、選択したＯＳＤ表示データをクロマキー合成部１０４に出力する制御を行う。
【００４５】
モード制御部１０６（第１モード制御部）は、画像処理装置１１のモード入力部１１３で入力された設定に応じて、ＨＭＤ１０の機能の制御を行う。設定の内容については後述する。セレクタ１１６は、設定されたモードに応じて表示ユニット１０２に出力する画像を選択する。
【００４６】
画像処理装置１１の位置情報生成部１０８は、ＨＭＤ１０の撮像ユニット１０１で取得された現実空間の画像データから、ＨＭＤ装着者の位置及び姿勢を算出し、三次元位置姿勢情報を生成する。ＣＧ画像描画部１０９は、位置情報生成部１０８で生成された三次元位置姿勢情報に基づいて、撮像画像に合成するためのＣＧ画像の描画をメモリ上に行う。ここで、ＣＧ画像をより概念的に言えば、現実空間画像である撮像画像上に仮想的に定義される仮想空間に、人工的に生成した画像を重畳して合成するための仮想空間画像である。
【００４７】
画像合成部１１０（第２合成部）は、撮像ユニット１０１で取得された撮像画像とＣＧ画像描画部１０９で生成されたＣＧ画像を合成する。ＯＳＤ表示データ生成部１１７は、ＯＳＤ表示するためのＯＳＤ表示データを生成する。ＯＳＤ表示重畳部１１１は、ＨＭＤ１０に送信する画像に対して、ＯＳＤ表示データ生成部１１７で生成したＯＳＤ表示データの重畳を行う。
【００４８】
セレクタ１１２は、設定されたモードに応じて出力画像を選択し、Ｉ／Ｆ１０７に出力する。モード入力部１１３は、画像合成及びＯＳＤ機能の制御を行うモードを選択するための入力部である。モード制御部１１４（第２モード制御部）は、モード入力部１１３で入力された設定に応じて、画像処理装置１１の機能の制御を行う。
【００４９】
実施形態１の画像表示システムは、モード入力部１１３で入力された設定に応じて、クロマキー合成部１０４、ＯＳＤ表示データ格納部１０５、ＣＧ画像描画部１０９、画像合成部１１０、ＯＳＤ表示重畳部、セレクタ１１２の制御を行う。そして、この制御により、以降で説明する機能を実行することが可能となる。
【００５０】
また、実施形態１では、モード入力部１１３を画像処理装置１１に設ける構成としているが、これに限定されない。例えば、モード入力部１１３をＨＭＤ１０に設け、ＨＭＤ１０のモード制御部１０６、Ｉ／Ｆ１０３、画像処理装置１１のＩ／Ｆ１０７を介して、画像処理装置１１のモード制御部１１４に設定情報を送信することもできる。また、ＨＭＤ１０、または画像処理装置１１に設定用Ｉ／Ｆを設け、外部装置から設定を行う構成も考えられる。
【００５１】
次に、実施形態１の画像表示システムにおける表示画像の一例について、図３を用いて説明する。
【００５２】
図３は本発明の実施形態１の画像表示システムにおける表示画像の一例を説明するための図である。
【００５３】
撮像画像３０１は、ＨＭＤ装着者が観察している現実空間を、ＨＭＤ２０１の撮像ユニット１０１で撮像した画像である。撮像画像３０１において、現実空間内に設置されたマーカ３０２には、予めＭＲ空間内における絶対位置姿勢情報、あるいは任意の絶対位置姿勢に対する相対位置姿勢情報が与えられているものとする。
【００５４】
画像表示システム内の位置情報生成部１０８では、撮像画像３０１中からマーカ３０２を検出する。次に、位置情報生成部１０８では、マーカ３０２のマーカ情報から、マーカ３０２の持つ位置姿勢情報を基準としたＨＭＤ１０本体の相対的位置関係、及びＨＭＤ装着者がマーカ３０２を観察している向きに関する三次元位置姿勢情報を算出することができる。ここで、マーカ情報は、例えば、マーカ３０２の大きさや形状、塗りつぶしのパターン等がマーカに関する情報である。
【００５５】
マーカは複数を同時に用いることが可能であり、複数のマーカを用いることにより、位置姿勢情報を算出可能な領域を拡大することが可能となる。また、複数のマーカを同時に用いる場合、マーカ同士の相対的な位置姿勢の関係を予め算出し、それぞれのマーカの位置姿勢情報を登録しておくことによって、より精度の高いＨＭＤの三次元位置姿勢情報の算出が可能となる。
【００５６】
複数のマーカを同時に使用する場合、図３に示したような内部の塗りつぶしパターンによって方向まで識別が可能なマーカではなく、例えば、特定色を用いたカラーマーカーや、ＬＥＤ等の発光素子のような方向性を持たないマーカを利用することもできる。また、事前に用意されたマーカではなく、画像中のテーブルや壁、床等の輪郭線や特徴点、または、任意の色を抽出し、それらの自然特徴をマーカの代わりの指標として用いて、三次元位置姿勢情報を生成することもできる。
【００５７】
更に、同一種類のマーカを複数用いたり、数種類のマーカを同時に用いたり、マーカ情報と画像中の自然特徴の情報を組み合わせて用いたりすることによって、より高い精度で三次元位置姿勢情報を生成することもできる。また、複数のマーカや自然特徴は相対的な位置関係を把握し、システムに登録することによって、全てのマーカや特徴点が画像内に表示されていなくても、それぞれのマーカや自然特徴の位置姿勢を推定することも可能となる。
【００５８】
画像表示システムにおけるＨＭＤの三次元位置姿勢情報の生成には、ＨＭＤ１０に内蔵された撮像ユニット１０１（主観カメラ）で撮像した画像情報を用いる方法の他に、各種センシングデバイスによるセンシング情報を用いる方法がある。センシングデバイスの例としては、磁気センサ、ジャイロセンサ、加速度センサ等のように、ＨＭＤ１０自身に取り付けて使用するタイプのデバイスがある。あるいは、赤外カメラ（客観カメラ）等のように、ＨＭＤ１０以外の周囲の環境に設置して使用するタイプのデバイスが挙げられる。
【００５９】
客観カメラを使用する場合は、ＨＭＤ１０本体にもマーカを取り付けて検出対象とする。これらのセンシングデバイスは一種類のみで使用することも、複数種類のデバイスを組み合わせて使用することも可能である。また、ＨＭＤ１０に内蔵された主観カメラで撮像した画像情報と、センシングデバイスで取得したセンシング情報を組み合わせて利用することができる。このような構成の場合、主観カメラでマーカを捉えていないときも、センシングデバイスのセンシング情報で補うことで、途切れなく三次元位置姿勢情報の生成を行うことができる。
【００６０】
ＣＧ画像３０３は、撮像画像３０１あるいはセンシング情報に基づいて生成された三次元位置姿勢情報に基づいて描画されたＣＧ画像である。ＣＧ画像３０３中のＣＧオブジェクト３０４は、ＨＭＤ装着者の位置姿勢に応じて大きさや向き等が決定され、ＣＧ画像描画部１０９で描画される。ＣＧオブジェクト３０４以外の部分は、背景色として定められた色で塗りつぶされている。
【００６１】
合成画像３０５は、撮像画像３０１とＣＧ画像３０３を合成した後の画像であり、ＨＭＤ装着者はＨＭＤ１０で表示された合成画像を見ることでＭＲ空間を体験することができる。画像表示システムでは、表示画像を切り換えることが可能であり、ＨＭＤ装着者は合成画像３０５だけでなく、撮像画像３０１やＣＧ画像３０３をＨＭＤ１０で観察することもできる。
【００６２】
更に、撮像画像３０１、ＣＧ画像３０３、合成画像３０５のそれぞれに対して、ＨＭＤ装着者に通知するためのメッセージ画像をＯＳＤ表示画像として重畳し、それらの画像をＨＭＤ１０で表示することも可能である。ここで、メッセージ画像とは、設定情報、使用時間等の各種ステータス情報や、画像表示システム内でエラーが発生した際のエラー内容、警告等がある。
【００６３】
撮像画像３０１、ＣＧ画像３０３、合成画像３０５のそれぞれに対して、ＨＭＤ装着者に通知したいメッセージ画像をＯＳＤ表示として重畳した画像がそれぞれＯＳＤ重畳画像３０６、３０７、３０８となる。図３では、格納された複数のＯＳＤ表示画像（文字画像）の中から、「使」、「用」、「時」、「間」、「３」、「０」、「分」、「経」、「過」の各ＯＳＤ表示画像（文字画像）を選択し、それらを組み合わせて「使用時間３０分経過」と表示されるＯＳＤ表示画像を生成している。
【００６４】
次に、画像表示システムにおけるモードの一例について、図４を用いて説明する。
【００６５】
図４は本発明の実施形態１の画像表示システムのモードを示す図である。
【００６６】
「合成」の欄は、ＨＭＤ１０のクロマキー合成部１０４、画像処理装置１１の画像合成部１１０のどちらを用いて撮像画像とＣＧ画像の画像合成を行うかを示す欄である。合成の欄が「ナシ」と記載されている設定は、ＨＭＤ１０の撮像ユニット１０１で撮像した画像を直接、表示ユニット１０２で表示する系を示している。
【００６７】
また、「ＯＳＤ表示」の欄は、ＨＭＤ１０、画像処理装置１１がそれぞれ有しているＯＳＤ表示の重畳機能を用いるか否かを示している。
【００６８】
以上の合成機能の有無、及び機能を実行する装置の違いに加え、更に、それらの中でＯＳＤ表示の有無、及び機能を実行する装置の違いによって、画像表示システムのモードが分かれている。ここで、このモードとは、画像合成機能、及びＯＳＤ表示機能を制御するための画像表示システムの動作モードである。
【００６９】
次に、画像表示システムの各モードで扱う画像の一例について、図５を用いて説明する。
【００７０】
図５は本発明の実施形態１の画像表示システムの各モードで扱う画像の例を示す図である。
【００７１】
以下で、図４に示した各モードについて、図２の機能ブロック図、及び図５の画像の例を用いて動作を説明する。また、説明するモード２、６及び８の表示例は、他のモードの表示例から明らかなため、図５では省略する。
【００７２】
モード１、２は、ＨＭＤ１０の撮像ユニット１０１で撮像した撮像画像５０１に対して、画像合成を行わずに、表示ユニット１０２で直接表示する系を示している。
【００７３】
モード１は、ＨＭＤ１０の撮像ユニット１０１で取得した撮像画像に対して、クロマキー合成部１０４によってＯＳＤ表示画像５０２の重畳を行い、ＯＳＤ表示付の撮像画像５０３を生成し、表示ユニット１０２で表示する。撮像画像５０１に重畳するＯＳＤ表示画像５０２は、ＨＭＤ１０内のＯＳＤ表示データ格納部１０５に格納されているデータの中から、ＨＭＤ１０の状態に応じて、ＨＭＤ装着者に通知すべき内容を選択して利用する。
【００７４】
モード２（不図示）は、ＯＳＤ表示画像５０２の重畳を行わずに、表示ユニット１０２で撮像画像５０１を直接表示する。
【００７５】
モード３からモード６までは、ＨＭＤ１０の撮像ユニット１０１で撮像した撮像画像と、画像処理装置１１のＣＧ画像描画部１０９で生成したＣＧ画像を画像処理装置１１の画像合成部１１０で合成し、表示ユニット１０２で表示する系を示している。
【００７６】
モード３は、画像処理装置１１の画像合成部１１０で生成した合成画像に対して、ＯＳＤ表示重畳部１１１でＯＳＤ表示画像を重畳する。そして、ＯＳＤ表示が重畳された合成画像５０４に対して、更にＨＭＤ１０のクロマキー合成部１０４によってＯＳＤ表示画像５０５と合成を行い、ＯＳＤ表示付の合成画像５０６を表示ユニット１０２で表示する。モード３では、画像処理装置１１とＨＭＤ１０でそれぞれの状態に応じて、ＯＳＤ表示を行うことができる。
【００７７】
モード４は、画像処理装置１１の画像合成部１１０で生成した合成画像５０７に対して、ＨＭＤ１０のクロマキー合成部１０４によってＯＳＤ表示画像５０８と合成を行い、ＯＳＤ表示付の合成画像５０９を表示ユニット１０２で表示する。
【００７８】
モード５は、画像処理装置１１の画像合成部１１０で生成した合成画像に対して、ＯＳＤ表示重畳部１１１でＯＳＤ表示画像を重畳して合成画像５１０を生成する。一方、ＨＭＤ１０では合成やＯＳＤ表示を行わずに、ＯＳＤ表示付の合成画像５１２（合成画像５１０と同じ画像）を表示ユニット１０２で表示する。
【００７９】
モード６（不図示）は、画像処理装置１１の画像合成部１１０で生成した合成画像５０７に対して、画像処理装置１１及びＨＭＤ１０でＯＳＤ表示を行わずに、表示ユニット１０２で合成画像５０７を直接表示する。
【００８０】
モード７、８は、ＨＭＤ１０の撮像ユニット１０１で撮像した撮像画像と、画像処理装置１１のＣＧ画像描画部１０９で生成したＣＧ画像をＨＭＤ１０のクロマキー合成部１０４で合成し、表示ユニット１０２で表示する系を示している。
【００８１】
モード７は、画像処理装置１１のＣＧ画像描画部１０９で生成したＣＧ画像に対して、ＯＳＤ表示重畳部１１１でＯＳＤ表示画像を重畳する。ＯＳＤ表示が重畳されたＣＧ画像５１３に対して、ＨＭＤ１０のクロマキー合成部１０４によって撮像画像５１４と合成を行い、ＯＳＤ表示付の合成画像５１５を表示ユニット１０２で表示する。
【００８２】
モード８（不図示）は、画像処理装置１１のＣＧ画像描画部１０９で生成したＣＧ画像に対して、画像処理装置１１でＯＳＤ表示を行わずに、ＨＭＤ１０のクロマキー合成部１０４によって撮像画像と合成を行い、合成画像を表示ユニット１０２で表示する。
【００８３】
次に、画像表示システムのモード設定時の処理フローについて、図６を用いて説明する。
【００８４】
図６は本発明の実施形態１の画像表示システムのモード設定時の処理フローを説明するフローチャートである。
【００８５】
画像処理装置１１は電源が投入されると、まず、ＨＭＤ１０と接続されているか否かを確認するために、接続要求をＨＭＤ１０に送信する（ステップＳ６０１）。ＨＭＤ１０では接続要求を受信すると、画像処理装置１１と接続されていることを通知するために接続完了通知を画像処理装置１１に送信する（ステップＳ６０２）。
【００８６】
画像処理装置１１は、ＨＭＤ１０からの接続完了通知を受信して、ＨＭＤ１０との接続を確認すると、モード入力待ち状態に移行する（ステップＳ６０３）。モード入力待ち状態の時に、モード入力部１１３よりモード入力が行われると（ステップＳ６０４）、モード制御部１１４は、モード設定情報をＨＭＤ１０に送信する（ステップＳ６０５）。続いて、モード制御部１０６は、入力されたモードに応じた制御情報を、画像処理装置１１内のＣＧ画像描画部１０９、画像合成部１１０、ＯＳＤ表示重畳部１１１、セレクタ１１２の各機能ブロックに送信する（ステップＳ６０６）。
【００８７】
制御情報に応じて、モード制御部１１４は、画像処理装置１１内の各機能ブロックの設定を行う（ステップＳ６０７）。その後、各機能ブロックは設定完了通知をモード制御部１１４に送信する（ステップＳ６０８）。各機能ブロックからの設定完了通知を受信すると、モード制御部１１４は、ＨＭＤ１０からのモード設定完了通知を受信するまで、モード設定完了通知待ち状態に移行する（ステップＳ６０９）。
【００８８】
一方、ＨＭＤ１０はモード設定情報を画像処理装置１１から受信する。これを受けて、モード制御部１０６は、受信したモード設定情報に応じた制御情報を、クロマキー合成部１０４、ＯＳＤ制御部１１５及びセレクタ１１６の各機能ブロックに送信する（ステップＳ６１０）。モード制御部１０６は、制御情報に応じてＨＭＤ１０内の各機能ブロックの設定を行う（ステップＳ６１１）。
【００８９】
その後、各機能ブロックは、設定完了通知をモード制御部１０６に送信する（ステップＳ６１２）。設定完了通知を受信すると、モード制御部１０６は、モード設定完了通知を画像処理装置１１に送信する（ステップＳ６１３）。画像処理装置１１は、ＨＭＤ１０からのモード設定完了通知を受信すると、モード設定完了通知待ち状態を抜け、モード設定を終了する（ステップＳ６１４）。
【００９０】
以上説明したように、実施形態１によれば、回路規模の増大を最小限に抑えつつ、ＨＭＤ側で画像合成機能とＯＳＤ表示重畳機能を付加することが可能となる。また、ＨＭＤ側で画像合成を行うことにより、撮像から表示までの時間遅延の少ない画像表示システムを実現することができる。
【００９１】
また、クロマキー合成部を用いてＨＭＤ側でＯＳＤ表示機能を実行することにより、単純にクロマキー合成機能とＯＳＤ表示機能を別々にＨＭＤに追加する場合に比べ、回路規模を抑え、サイズ、消費電力を抑えることができる。
【００９２】
（実施形態２）
実施形態２の画像表示システムは、実施形態１の画像表示システムと比較して、位置情報生成部をＨＭＤ側に有している点、画像処理装置のＯＳＤ表示重畳部からＨＭＤのＯＳＤ制御部へ、画像処理装置側のＯＳＤ表示情報を送信することを特徴としている。
【００９３】
図７は本発明の実施形態２の画像表示システムの機能構成を示すブロック図である。
【００９４】
実施形態２の画像表示システムは、ＨＭＤ７０と画像処理装置７１で構成される。
【００９５】
ＨＭＤ７０は、撮像ユニット７０１、表示ユニット７０２、Ｉ／Ｆ７０３、クロマキー合成部７０４、ＯＳＤ表示データ格納部７０５、ＯＳＤ制御部７０６、位置情報生成部７０７、モード制御部７０８、セレクタ７０９、位置姿勢センサ７１７を有する。
【００９６】
画像処理装置７１は、Ｉ／Ｆ７１０、ＣＧ画像描画部７１１、画像合成部７１２、ＯＳＤ表示重畳部７１３、セレクタ７１４、モード入力部７１５、モード制御部７１６、ＯＳＤ表示データ生成部７１８、ＯＳＤ制御部７１９を有する。
【００９７】
尚、図７において、図２と同一の名称を有する機能ブロックについては、その詳細説明を省略する。そのため、以下では、実施形態２において新規に追加された機能ブロックと、その機能が異なる部分の説明を行う。
【００９８】
位置姿勢センサ７１７は、ＨＭＤ７０の三次元位置姿勢情報を生成するためのセンシング情報を取得する。位置情報生成部７０７は、撮像ユニット７０１で取得した撮像画像及びセンシング情報を用いて、ＨＭＤ装着者の位置及び姿勢を算出し、三次元位置姿勢情報を生成する。そして、位置情報生成部７０７は、その三次元位置姿勢情報を、ＨＭＤ７０のＯＳＤ制御部７０６、及び画像処理装置７１のＯＳＤ制御部７１９とＣＧ画像描画部７１１に送信する。
【００９９】
次に、ＨＭＤ７０のＯＳＤ制御部７０６は、ＨＭＤ７０の状態に応じて、ＯＳＤ表示データ格納部７０５に格納された複数種類のＯＳＤ表示データの中から、ＨＭＤ装着者に対して通知すべきメッセージ画像に対応するＯＳＤ表示データを選択する。次に、ＯＳＤ制御部７０６は、画像処理装置７１のＯＳＤ制御部７１９から送信されたＯＳＤ表示情報、位置情報生成部７０７で生成した三次元位置姿勢情報、ＣＧ画像描画部７１１から送信されたＣＧ描画範囲情報を参照する。そして、ＯＳＤ制御部７０６は、参照した各種情報に基づいて、選択したＯＳＤ表示データを制御して、そのＯＳＤ表示データをクロマキー合成部７０４に送信する。
【０１００】
尚、ＯＳＤ表示情報は、画像処理装置７１で実行されたＯＳＤ表示の表示位置を含むＯＳＤ表示情報である。
【０１０１】
画像処理装置７１のＣＧ画像描画部７１１は、ＨＭＤ７０の位置情報生成部７０７で生成された三次元位置姿勢情報に基づいて、撮像画像に合成するためのＣＧ画像の描画を実行する。次に、ＣＧ画像描画部７１１は、描画したＣＧ画像を画像合成部７１２に送信し、また、ＣＧ描画範囲情報をＯＳＤ制御部７１９及びＨＭＤ７０のＯＳＤ制御部７０６に送信する。
【０１０２】
画像処理装置７１のＯＳＤ制御部７１９は、位置情報生成部７０７で生成された三次元位置姿勢情報とＣＧ画像描画部７１１からのＣＧ描画範囲情報を参照し、ＯＳＤ表示データ生成部７１８で生成したＯＳＤ表示データの重畳位置を制御する。ＯＳＤ表示データの重畳位置は、ＯＳＤ表示データとＣＧ画像とが互い重ならない位置に表示位置制御することが望ましい。但し、フレーム毎にＣＧ描画範囲が頻繁に変化するような場合には、ＯＳＤ表示の位置がフレームごとに大きく変化することになるため、この表示位置制御方法については、この限りではない。
【０１０３】
ＯＳＤ制御部７１９は、表示位置制御を行った表示データをＯＳＤ表示重畳部７１３に、ＯＳＤ表示情報をＩ／Ｆ７１０及び７０３を介して、ＨＭＤ７０のＯＳＤ制御部７０６にそれぞれ送信する。
【０１０４】
以上のシステム構成を有することにより、実施形態２の画像表示システムも実施形態１と同様に、図４で示したモードのすべての動作が可能である。
【０１０５】
実施形態２の画像表示システムは、位置情報生成部７０７をＨＭＤ７０で有しているため、例えば、モード７やモード８での動作時に、ＨＭＤ７０から画像処理装置７１に位置情報生成に用いる撮像画像を送信する必要がない。また、モード３やモード４のようなＨＭＤ７０でＯＳＤ表示を行うモードでの動作時に、画像処理装置７１からＨＭＤ７０へ位置姿勢情報を送信する必要がない。このように、実施形態２の画像表示システムでは、ＨＭＤ７０と画像処理装置７１間で送受信するデータ量を削減できるという効果が生じる。
【０１０６】
更に、ＨＭＤ７０と画像処理装置７１間で通信が途絶した際にも、ＨＭＤ７０で自身の位置を把握することができるため、ＨＭＤ装着者の位置に応じたＯＳＤ表示を行うことが可能である。例えば、ＨＭＤ７０と画像処理装置７１間が有線Ｉ／Ｆの場合は、ＨＭＤ装着者がケーブルの長さ以上に画像処理装置から離れる方向に移動しようとしていることを検出し、ＯＳＤ表示でその旨を通知すること等が可能である。また、無線Ｉ／Ｆの場合は、無線通信範囲外に移動しようとしていることを検出し、ＯＳＤ表示でその旨を通知すること等が可能である。
【０１０７】
続いて、画像処理装置７１からＯＳＤ表示情報を送信することによる効果について、以下に説明する。
【０１０８】
図８は本発明の実施形態２の画像表示システムにおける表示画像の一例を説明するための図である。
【０１０９】
図４に示したモードの内、モード３はＨＭＤ７０と画像処理装置７１の両方でＯＳＤ表示を行うことができるモードである。この場合、ＨＭＤ７０ではＨＭＤ７０の状態を、画像処理装置７１では画像処理装置７１の状態を監視して、必要に応じてそれぞれの装置がＯＳＤ表示を行える。そのため、エラーによってＨＭＤ７０と画像処理装置７１間で通信が行えなくなった場合でも、ＨＭＤ７０でＯＳＤ表示を行って、ＨＭＤ装着者に対してエラーが発生したことを通知することが可能となる。
【０１１０】
しかしながら、画像処理装置７１とＨＭＤ７０が同じ１枚の画像に対してＯＳＤ表示を行った場合、画像８０１のようにＯＳＤ表示が重なってしまい、ＨＭＤ装着者がメッセージを認識できなくなる可能性がある。
【０１１１】
そこで、実施形態２では、画像処理装置７１内のＯＳＤ表示重畳部７１３でＯＳＤ表示を行った際には、表示位置情報を含むＯＳＤ表示情報をＨＭＤ７０に送信する。そして、ＨＭＤ７０内のＯＳＤ制御部７０６で、その表示位置情報を参照して、表示が重ならない位置にＯＳＤ表示を行うように制御することで、この問題を解決している。
【０１１２】
その他の方法としては、起動後のモード設定時に、ＨＭＤ７０と画像処理装置７１の両方でＯＳＤ表示を実行するモード（モード３）が設定された場合、ＨＭＤ７０と画像処理装置７１間でネゴシエーションを行う。そして、そのネゴシエーションに基づいて、ＯＳＤ表示を行う表示位置が重ならないように、それぞれが実行するＯＳＤ表示の表示位置を事前に決定する制御方法も考えられる。
【０１１３】
以上のような表示位置制御を行うことにより、画像８０２に示すように、それぞれの装置のＯＳＤ表示が重ならないように表示を行うことが可能となる。更に、ＯＳＤ表示情報に表示位置情報以外の情報として、通知メッセージ（ＯＳＤ表示画像）の優先度や、通知メッセージを通知した装置名、フォントのカラーやサイズ等の情報を含めることが可能である。
【０１１４】
つまり、ＯＳＤ表示情報には、表示内容の優先度に関する情報、重畳した装置名に関する情報、使用しているフォントに関する情報、カラーに関する情報、またはサイズに関する情報のいずれか、またはそれらのうちの複数の情報を含んでいる。
【０１１５】
これによって、画像８０３、８０４、８０５のようなＯＳＤ重畳画像の表示を実現することができ、ＨＭＤ装着者は各装置の状態を使用者が容易に認識することが可能となる。
【０１１６】
以上説明したように、実施形態２によれば、ＨＭＤ側で画像合成機能とＯＳＤ表示重畳機能を付加することが可能となる。更に、位置情報生成部をＨＭＤ側に有することによって、一部のモードにおいてではあるが、装置間の伝送データ量を削減することができる。また、ＨＭＤと画像処理装置で同時にＯＳＤ表示を重畳するモード（モード３）において、ＯＳＤ表示の重なりを防ぐことができる。それと同時に、メッセージの優先度や、どちらの装置が通知しているメッセージであるかを、ＨＭＤ装着者が容易に認識できるＯＳＤ表示を実現することが可能である。
【０１１７】
以上、実施形態例を詳述したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
【０１１８】
尚、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図に示すフローチャートに対応したプログラム）を、システムあるいは装置に直接あるいは遠隔から供給する。そして、そのシステムあるいは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。
【０１１９】
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【０１２０】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であっても良い。
【０１２１】
プログラムを供給するための記録媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスクがある。また、更に、記録媒体としては、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などがある。
【０１２２】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、その接続先のホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。
【０１２３】
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【０１２４】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。また、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。
【０１２５】
更に、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現される。
【図面の簡単な説明】
【０１２６】
【図１】本発明の実施形態１の画像表示システムの構成を示す図である。
【図２】本発明の実施形態１の画像表示システムの機能構成を示すブロック図である。
【図３】本発明の実施形態１の画像表示システムにおける表示画像の一例を説明するための図である。
【図４】本発明の実施形態１の画像表示システムのモードを示す図である。
【図５】本発明の実施形態１の画像表示システムの各モードで扱う画像の例を示す図である。
【図６】本発明の実施形態１の画像表示システムのモード設定時の処理フローを説明するフローチャートである。
【図７】本発明の実施形態２の画像表示システムの機能構成を示すブロック図である。
【図８】本発明の実施形態２の画像表示システムにおける表示画像の一例を説明するための図である。
【図９】従来のＭＲシステムのシステム構成を示す機能ブロック図である。
【符号の説明】
【０１２７】
１０ ＨＭＤ
１１ 画像処理装置
１０１ 撮像ユニット
１０２ 表示ユニット
１０３ Ｉ／Ｆ（ＨＭＤ）
１０４ クロマキー合成部
１０５ ＯＳＤ表示データ格納部
１０６ モード制御部（ＨＭＤ）
１０７ Ｉ／Ｆ（画像処理装置）
１０８ 位置情報生成部
１０９ ＣＧ画像描画部
１１０ 画像合成部
１１１ ＯＳＤ表示重畳部
１１２ セレクタ（画像処理装置）
１１３ モード入力部
１１４ モード制御部（画像処理装置）
１１５ ＯＳＤ制御部
１１６ セレクタ（ＨＭＤ）
１１７ ＯＳＤ表示データ生成部
【特許請求の範囲】
【請求項１】
撮像機能付表示装置と画像処理装置から構成される画像表示システムであって、
前記撮像機能付表示装置は、
現実空間を撮像する撮像手段と、
画像を表示する表示手段と、
前記画像処理装置と通信を行うための第１通信手段と、
前記表示手段で表示する画像に重畳するための複数種類のＯＳＤ表示画像を格納する格納手段と、
入力された制御情報に応じて、前記複数種類のＯＳＤ表示画像の中から、前記ＯＳＤ表示画像を選択するＯＳＤ制御手段と、
入力された制御情報に応じて、前記撮像手段で撮像した現実空間画像と、前記第１通信手段を介して前記画像処理装置より入力した画像と、ＯＳＤ制御手段で選択したＯＳＤ表示画像の内、いずれか２つを選択して合成する第１合成手段と、
設定された動作モードに応じて、前記ＯＳＤ制御手段及び前記第１合成手段に対する制御情報を生成し、前記ＯＳＤ制御手段及び前記第１合成手段の動作を制御する第１モード制御手段とを備え、
前記画像処理装置は、
前記撮像機能付表示装置と通信を行うための第２通信手段と、
前記現実空間画像に重畳して合成するための仮想空間画像をメモリ上に描画する画像描画手段と、
入力された制御情報に応じて、前記第２通信手段を介して前記撮像機能付表示装置から入力した前記現実空間画像と、前記画像描画手段で描画された仮想空間画像を合成する第２合成手段と、
入力された制御情報に応じて生成されたＯＳＤ表示画像を、前記撮像機能付表示装置に送信する画像に重畳する重畳手段と、
設定された動作モードに応じて、前記第２合成手段及び前記重畳手段に対する制御情報を生成し、前記第２合成手段及び前記重畳手段の動作を制御する第２モード制御手段とを備え、
前記撮像機能付表示装置と前記画像処理装置の少なくとも一方に前記動作モードを設定するためのモード入力手段と
を備えることを特徴とする画像表示システム。
【請求項２】
前記動作モードの一つは、前記撮像機能付表示装置の前記撮像手段で撮像した現実空間画像を、前記表示手段で直接表示するモードである
ことを特徴とする請求項１に記載の画像表示システム。
【請求項３】
前記動作モードの一つは、前記撮像機能付表示装置の前記第１合成手段において、前記現実空間画像と前記仮想空間画像とを合成し、前記表示手段で表示するモードである
ことを特徴とする請求項１に記載の画像表示システム。
【請求項４】
前記動作モードの一つは、前記画像処理装置の前記第２合成手段において、前記現実空間画像と前記仮想空間画像とを合成し、前記表示手段で表示するモードである
ことを特徴とする請求項１に記載の画像表示システム。
【請求項５】
前記動作モードの一つは、前記画像処理装置の前記重畳手段において、前記入力された制御情報に応じて生成されたＯＳＤ表示画像を前記撮像機能付表示装置に送信する画像に重畳するモードである
ことを特徴とする請求項２乃至請求項４のいずれか１項に記載の画像表示システム。
【請求項６】
前記動作モードの一つは、前記撮像機能付表示装置の前記第１合成手段において、ＯＳＤ表示画像を重畳するモードである
ことを特徴とする請求項２または請求項４に記載の画像表示システム。
【請求項７】
前記動作モードの一つは、前記画像処理装置の前記重畳手段と、前記撮像機能付表示装置の第１合成手段の両方で、ＯＳＤ表示画像を重畳するモードである
ことを特徴とする請求項４に記載の画像表示システム。
【請求項８】
前記画像処理装置の前記重畳手段と、前記撮像機能付表示装置の第１合成手段の両方で、ＯＳＤ表示画像を重畳するモードが選択された場合、各手段で重畳するＯＳＤ表示画像が互いに重ならないように表示位置制御する制御手段を更に備える
ことを特徴とする請求項７に記載の画像表示システム。
【請求項９】
前記画像処理装置の前記重畳手段は、前記ＯＳＤ表示画像を重畳した場合、該ＯＳＤ表示画像の表示位置情報を含むＯＳＤ表示情報を、前記撮像機能付表示装置の前記ＯＳＤ制御手段に送信し、
前記撮像機能付表示装置の前記ＯＳＤ制御手段は、前記画像処理装置から受信したＯＳＤ表示情報の中の表示位置情報に基づいて、前記撮像機能付表示装置の前記第１合成手段で合成する前記ＯＳＤ表示画像の表示位置を決定する
ことを特徴とする請求項８に記載の画像表示システム。
【請求項１０】
前記ＯＳＤ表示情報は、表示内容の優先度に関する情報、重畳した装置名に関する情報、使用しているフォントに関する情報、カラーに関する情報、またはサイズに関する情報のいずれか、またはそれらのうちの複数の情報を含み、
前記撮像機能付表示装置でＯＳＤ表示を行う際に、前記画像処理装置で行われたＯＳＤ表示方法とは異なる表示方法でＯＳＤ表示を行うように制御することで、前記画像処理装置と前記撮像機能付表示装置で同時にＯＳＤ表示を重畳した場合にも、使用者が各装置の状態を容易に認識できるようにする
ことを特徴とする請求項９に記載の画像表示システム。
【請求項１１】
前記モード入力手段による前記動作モードの設定時に、前記撮像機能付表示装置と前記画像処理装置でネゴシエーションを行い、それぞれの装置がＯＳＤ表示を行う表示位置を事前に決定する
ことを特徴とする請求項８に記載の画像表示システム。
【請求項１】
撮像機能付表示装置と画像処理装置から構成される画像表示システムであって、
前記撮像機能付表示装置は、
現実空間を撮像する撮像手段と、
画像を表示する表示手段と、
前記画像処理装置と通信を行うための第１通信手段と、
前記表示手段で表示する画像に重畳するための複数種類のＯＳＤ表示画像を格納する格納手段と、
入力された制御情報に応じて、前記複数種類のＯＳＤ表示画像の中から、前記ＯＳＤ表示画像を選択するＯＳＤ制御手段と、
入力された制御情報に応じて、前記撮像手段で撮像した現実空間画像と、前記第１通信手段を介して前記画像処理装置より入力した画像と、ＯＳＤ制御手段で選択したＯＳＤ表示画像の内、いずれか２つを選択して合成する第１合成手段と、
設定された動作モードに応じて、前記ＯＳＤ制御手段及び前記第１合成手段に対する制御情報を生成し、前記ＯＳＤ制御手段及び前記第１合成手段の動作を制御する第１モード制御手段とを備え、
前記画像処理装置は、
前記撮像機能付表示装置と通信を行うための第２通信手段と、
前記現実空間画像に重畳して合成するための仮想空間画像をメモリ上に描画する画像描画手段と、
入力された制御情報に応じて、前記第２通信手段を介して前記撮像機能付表示装置から入力した前記現実空間画像と、前記画像描画手段で描画された仮想空間画像を合成する第２合成手段と、
入力された制御情報に応じて生成されたＯＳＤ表示画像を、前記撮像機能付表示装置に送信する画像に重畳する重畳手段と、
設定された動作モードに応じて、前記第２合成手段及び前記重畳手段に対する制御情報を生成し、前記第２合成手段及び前記重畳手段の動作を制御する第２モード制御手段とを備え、
前記撮像機能付表示装置と前記画像処理装置の少なくとも一方に前記動作モードを設定するためのモード入力手段と
を備えることを特徴とする画像表示システム。
【請求項２】
前記動作モードの一つは、前記撮像機能付表示装置の前記撮像手段で撮像した現実空間画像を、前記表示手段で直接表示するモードである
ことを特徴とする請求項１に記載の画像表示システム。
【請求項３】
前記動作モードの一つは、前記撮像機能付表示装置の前記第１合成手段において、前記現実空間画像と前記仮想空間画像とを合成し、前記表示手段で表示するモードである
ことを特徴とする請求項１に記載の画像表示システム。
【請求項４】
前記動作モードの一つは、前記画像処理装置の前記第２合成手段において、前記現実空間画像と前記仮想空間画像とを合成し、前記表示手段で表示するモードである
ことを特徴とする請求項１に記載の画像表示システム。
【請求項５】
前記動作モードの一つは、前記画像処理装置の前記重畳手段において、前記入力された制御情報に応じて生成されたＯＳＤ表示画像を前記撮像機能付表示装置に送信する画像に重畳するモードである
ことを特徴とする請求項２乃至請求項４のいずれか１項に記載の画像表示システム。
【請求項６】
前記動作モードの一つは、前記撮像機能付表示装置の前記第１合成手段において、ＯＳＤ表示画像を重畳するモードである
ことを特徴とする請求項２または請求項４に記載の画像表示システム。
【請求項７】
前記動作モードの一つは、前記画像処理装置の前記重畳手段と、前記撮像機能付表示装置の第１合成手段の両方で、ＯＳＤ表示画像を重畳するモードである
ことを特徴とする請求項４に記載の画像表示システム。
【請求項８】
前記画像処理装置の前記重畳手段と、前記撮像機能付表示装置の第１合成手段の両方で、ＯＳＤ表示画像を重畳するモードが選択された場合、各手段で重畳するＯＳＤ表示画像が互いに重ならないように表示位置制御する制御手段を更に備える
ことを特徴とする請求項７に記載の画像表示システム。
【請求項９】
前記画像処理装置の前記重畳手段は、前記ＯＳＤ表示画像を重畳した場合、該ＯＳＤ表示画像の表示位置情報を含むＯＳＤ表示情報を、前記撮像機能付表示装置の前記ＯＳＤ制御手段に送信し、
前記撮像機能付表示装置の前記ＯＳＤ制御手段は、前記画像処理装置から受信したＯＳＤ表示情報の中の表示位置情報に基づいて、前記撮像機能付表示装置の前記第１合成手段で合成する前記ＯＳＤ表示画像の表示位置を決定する
ことを特徴とする請求項８に記載の画像表示システム。
【請求項１０】
前記ＯＳＤ表示情報は、表示内容の優先度に関する情報、重畳した装置名に関する情報、使用しているフォントに関する情報、カラーに関する情報、またはサイズに関する情報のいずれか、またはそれらのうちの複数の情報を含み、
前記撮像機能付表示装置でＯＳＤ表示を行う際に、前記画像処理装置で行われたＯＳＤ表示方法とは異なる表示方法でＯＳＤ表示を行うように制御することで、前記画像処理装置と前記撮像機能付表示装置で同時にＯＳＤ表示を重畳した場合にも、使用者が各装置の状態を容易に認識できるようにする
ことを特徴とする請求項９に記載の画像表示システム。
【請求項１１】
前記モード入力手段による前記動作モードの設定時に、前記撮像機能付表示装置と前記画像処理装置でネゴシエーションを行い、それぞれの装置がＯＳＤ表示を行う表示位置を事前に決定する
ことを特徴とする請求項８に記載の画像表示システム。
【図１】
【図２】
【図４】
【図６】
【図７】
【図９】
【図３】
【図５】
【図８】
【図２】
【図４】
【図６】
【図７】
【図９】
【図３】
【図５】
【図８】
【公開番号】特開２００９−１２２５４７（Ｐ２００９−１２２５４７Ａ）
【公開日】平成２１年６月４日（２００９．６．４）
【国際特許分類】
【出願番号】特願２００７−２９８５８６（Ｐ２００７−２９８５８６）
【出願日】平成１９年１１月１６日（２００７．１１．１６）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２１年６月４日（２００９．６．４）
【国際特許分類】
【出願日】平成１９年１１月１６日（２００７．１１．１６）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]