画像合成装置及び画像合成方法
【課題】操作者が認識する必要がある物体が非表示領域に存在していれば、その旨を操作者に知らせることができるようにする。
【解決手段】非表示領域内情報検索部１５により操作者が認識する必要がある物体が存在していると判別された場合、物体が存在している旨を知らせるＣＧ画像を生成するＣＧ画像生成部１６を設け、画像合成部１７が、表示画像生成部１３により生成された表示画像から非表示領域内の画像を削除し、ＣＧ画像生成部１６によりＣＧ画像が生成されていれば、非表示領域内の画像を削除した表示画像に当該ＣＧ画像を合成し、その合成画像を透過式表示装置１に表示する。
【解決手段】非表示領域内情報検索部１５により操作者が認識する必要がある物体が存在していると判別された場合、物体が存在している旨を知らせるＣＧ画像を生成するＣＧ画像生成部１６を設け、画像合成部１７が、表示画像生成部１３により生成された表示画像から非表示領域内の画像を削除し、ＣＧ画像生成部１６によりＣＧ画像が生成されていれば、非表示領域内の画像を削除した表示画像に当該ＣＧ画像を合成し、その合成画像を透過式表示装置１に表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、操作者の視線方向に応じて、例えば、現実世界の映像とＣＧ画像などが重畳されている合成画像をＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）などの透過式表示装置に表示する画像合成装置及び画像合成方法に関するものである。
【背景技術】
【０００２】
例えば、医療の分野では、手術風景の映像に、手術に関する付加情報（例えば、手術の手順を示す情報）が重畳されている合成画像を透過式表示装置に表示する画像合成装置などが想定される。
また、産業の分野では、工業製品の組み立て風景の映像に、作業内容などを示す情報が重畳されている合成画像を透過式表示装置に表示する画像合成装置などが想定される。
【０００３】
このとき、一般的な画像合成装置では、現実世界の映像にＣＧ画像を重畳する際、ＣＧ画像を重畳する領域を指定する機能を備えていないため、操作者が注目している領域にＣＧ画像が重畳されてしまって、注目している領域の映像が見難くなることがある。
以下の特許文献１には、操作者が注目する領域を非表示領域に設定する手段を備え、非表示領域内にはＣＧ画像が重畳されないようにしている画像合成装置が開示されている。
例えば、操作者が注目する領域として、操作者の作業に影響を及ぼす領域（例えば、計器類が存在している領域）などが想定され、このような領域にはＣＧ画像が重畳されなくなる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−１７８５５４号公報（段落番号［０００９］）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従来の画像合成装置は以上のように構成されているので、設定された非表示領域にはＣＧ画像が重畳されず、ＣＧ画像の重畳によって注目している領域の映像が見難くなることを防止することができる。しかし、操作者が認識する必要がある物体が非表示領域に存在していても、その物体の存在を操作者に知らせることができないなどの課題があった。
【０００６】
この発明は上記のような課題を解決するためになされたもので、操作者が認識する必要がある物体が非表示領域に存在していれば、その旨を操作者に知らせることができる画像合成装置及び画像合成方法を得ることを目的とする。
【課題を解決するための手段】
【０００７】
この発明に係る画像合成装置は、操作者の位置と視線方向を示す位置視線情報を取得する位置視線情報取得手段と、透過式表示装置内で画像を表示しない非表示領域を設定する非表示領域設定手段と、位置視線情報取得手段により取得された位置視線情報が示す操作者の位置を視点として、蓄積されている表示画像データから位置視線情報が示す視線方向の表示画像を生成する表示画像生成手段と、表示画像生成手段により生成された表示画像における非表示領域内の画像の中に、操作者が認識する必要がある物体が存在していれば、上記物体が存在している旨を知らせるＣＧ画像を生成するＣＧ画像生成手段とを設け、画像合成手段が、表示画像生成手段により生成された表示画像から非表示領域内の画像を削除し、ＣＧ画像生成手段によりＣＧ画像が生成されていなければ、非表示領域内の画像を削除した表示画像を透過式表示装置に表示し、ＣＧ画像生成手段によりＣＧ画像が生成されていれば、非表示領域内の画像を削除した表示画像に上記ＣＧ画像を合成し、その合成画像を透過式表示装置に表示するようにしたものである。
【発明の効果】
【０００８】
この発明によれば、操作者の位置と視線方向を示す位置視線情報を取得する位置視線情報取得手段と、透過式表示装置内で画像を表示しない非表示領域を設定する非表示領域設定手段と、位置視線情報取得手段により取得された位置視線情報が示す操作者の位置を視点として、蓄積されている表示画像データから位置視線情報が示す視線方向の表示画像を生成する表示画像生成手段と、表示画像生成手段により生成された表示画像における非表示領域内の画像の中に、操作者が認識する必要がある物体が存在していれば、上記物体が存在している旨を知らせるＣＧ画像を生成するＣＧ画像生成手段とを設け、画像合成手段が、表示画像生成手段により生成された表示画像から非表示領域内の画像を削除し、ＣＧ画像生成手段によりＣＧ画像が生成されていなければ、非表示領域内の画像を削除した表示画像を透過式表示装置に表示し、ＣＧ画像生成手段によりＣＧ画像が生成されていれば、非表示領域内の画像を削除した表示画像に上記ＣＧ画像を合成し、その合成画像を透過式表示装置に表示するように構成したので、操作者が認識する必要がある物体が非表示領域に存在していれば、その旨を操作者に知らせることができる効果がある。
【図面の簡単な説明】
【０００９】
【図１】この発明の実施の形態１による画像合成装置を示す構成図である。
【図２】この発明の実施の形態１による画像合成装置の処理内容（画像合成方法）を示すフローチャートである。
【図３】非表示領域内に操作者が認識する必要がある物体が存在している場合の一例を示す説明図である。
【図４】操作者が認識する必要がある物体が非表示領域内にある例を示す説明図である。
【図５】物体が存在している位置を中心とする円の画像の一例を示す説明図である。
【図６】物体が存在している位置で交差する複数の直線の画像の一例を示す説明図である。
【図７】物体の大きさを把握可能なＣＧ画像の一例を示す説明図である。
【発明を実施するための形態】
【００１０】
実施の形態１．
図１はこの発明の実施の形態１による画像合成装置を示す構成図である。
図１において、透過式表示装置１は例えばＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）などが該当し、画像合成装置４により生成された合成画像等を表示する表示機器である。
位置・姿勢計測装置２は透過式表示装置１に内蔵されており、操作者の位置と視線方向を検出して、操作者の位置と視線方向を示す位置視線情報を画像合成装置４に出力する装置である。
位置・姿勢計測装置２は、例えば、地磁気センサ、ジャイロや光学式のセンサなどから構成されている。
【００１１】
表示画像データ蓄積部３は例えばＲＡＭやハードディスクなどの記憶装置から構成されており、画像合成装置４が表示画像を生成する際に用いる表示画像データ（例えば、ＣＧの３次元データ、複数のカメラにより撮影された操作者を中心とする全周囲画像データなど）を蓄積している。
画像合成装置４は操作者の視線方向の表示画像を生成し、その表示画像を透過式表示装置１に表示する装置である。
【００１２】
画像合成装置４の位置視線情報取得部１１は外部から情報を入手するインタフェース（例えば、ＵＳＢポート）を備えており、位置・姿勢計測装置２から出力された位置視線情報を取得する処理を実施する。なお、位置視線情報取得部１１は位置視線情報取得手段を構成している。
【００１３】
非表示領域設定部１２は例えばキーボードやマウスなどのマンマシンインタフェースなどから構成されており、操作者の設定操作にしたがって透過式表示装置１内で画像を表示しない非表示領域の設定を受け付け、非表示領域の位置を示す座標情報を非表示領域算出部１４に出力する処理を実施する。なお、非表示領域設定部１２は非表示領域設定手段を構成している。
この実施の形態１では、非表示領域設定部１２が、キーボードやマウスなどのマンマシンインタフェースなどから構成されているものを想定しているが、外部から送信された設定情報を受信する通信インタフェースなどから構成されていてもよく、この場合には、その設定情報にしたがって透過式表示装置１内で画像を表示しない非表示領域の設定処理を実施する。
【００１４】
表示画像生成部１３は例えばＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などから構成されており、位置視線情報取得部１１により取得された位置視線情報が示す操作者の位置を視点として、表示画像データ蓄積部３により蓄積されている表示画像データから上記位置視線情報が示す視線方向の表示画像を生成する処理を実施する。なお、表示画像生成部１３は表示画像生成手段を構成している。
【００１５】
非表示領域算出部１４は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、位置視線情報取得部１１により取得された位置視線情報と非表示領域設定部１２により設定された座標情報から、透過式表示装置１の非表示領域を算出する処理を実施する。
非表示領域内情報検索部１５は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、表示画像生成部１３より生成された表示画像における非表示領域内の画像の中に、操作者が認識する必要がある物体が存在しているか否かを判別する処理を実施する。
【００１６】
ＣＧ画像生成部１６は例えばＧＰＵなどから構成されており、非表示領域内情報検索部１５により操作者が認識する必要がある物体が存在していると判別された場合、上記物体が存在している旨を知らせるＣＧ画像を生成する処理を実施する。
なお、非表示領域算出部１４、非表示領域内情報検索部１５及びＣＧ画像生成部１６からＣＧ画像生成手段が構成されている。
【００１７】
画像合成部１７は例えばＧＰＵ、ＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、表示画像生成部１３により生成された表示画像から非表示領域算出部１４により算出された非表示領域内の画像を削除し、ＣＧ画像生成部１６によりＣＧ画像が生成されていなければ、非表示領域内の画像を削除した表示画像を透過式表示装置１に表示する処理を実施する。ＣＧ画像生成部１６によりＣＧ画像が生成されていれば、非表示領域内の画像を削除した表示画像に上記ＣＧ画像を合成し、その合成画像を透過式表示装置１に表示する処理を実施する。なお、画像合成部１７は画像合成手段を構成している。
【００１８】
図１の例では、画像合成装置４の構成要素である位置視線情報取得部１１、非表示領域設定部１２、表示画像生成部１３、非表示領域算出部１４、非表示領域内情報検索部１５、ＣＧ画像生成部１６及び画像合成部１７のそれぞれが専用のハードウェアで構成されているものを想定しているが、画像合成装置４の全部又は一部がコンピュータで構成されていてもよい。
画像合成装置４の全部がコンピュータで構成されている場合、位置視線情報取得部１１、非表示領域設定部１２、表示画像生成部１３、非表示領域算出部１４、非表示領域内情報検索部１５、ＣＧ画像生成部１６及び画像合成部１７の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにすればよい。
図２はこの発明の実施の形態１による画像合成装置の処理内容（画像合成方法）を示すフローチャートである。
【００１９】
次に動作について説明する。
位置・姿勢計測装置２は、操作者の位置と視線方向を検出して、操作者の位置と視線方向を示す位置視線情報を画像合成装置４に出力する。
位置・姿勢計測装置２における位置と視線方向の検出処理自体は公知の技術であるため詳細な説明を省略する。
画像合成装置４の位置視線情報取得部１１は、位置・姿勢計測装置２から出力された位置視線情報を取得し、その位置視線情報を表示画像生成部１３及び非表示領域算出部１４に出力する（ステップＳＴ１）。
【００２０】
非表示領域設定部１２は、例えば、操作者の設定操作にしたがって透過式表示装置１内で画像を表示しない非表示領域の設定を受け付け、非表示領域の位置を示す座標情報を非表示領域算出部１４に出力する（ステップＳＴ２）。
図２の例では、位置視線情報取得部１１が、位置・姿勢計測装置２から出力された位置視線情報を取得してから、非表示領域設定部１２が、非表示領域の設定を受け付けるようにしているが、位置視線情報取得部１１が、位置・姿勢計測装置２から出力された位置視線情報を取得する前に、非表示領域設定部１２が、非表示領域の設定を受け付けるようにしてもよい。
【００２１】
表示画像生成部１３は、位置視線情報取得部１１から位置視線情報を受けると、その位置視線情報が示す操作者の位置を視点として、表示画像データ蓄積部３により蓄積されている表示画像データから、その位置視線情報が示す視線方向の表示画像を生成する（ステップＳＴ３）。
操作者の位置を視点とする視線方向の表示画像を生成する処理自体は公知の技術であるが、例えば、表示画像データ蓄積部３により蓄積されている表示画像データがＣＧの３次元データであれば、操作者の位置と視線方向をＣＧの３次元データに設定することで、操作者の位置を視点とする視線方向の表示画像を生成することができる。
また、表示画像データ蓄積部３により蓄積されている表示画像データが、複数のカメラにより撮影された操作者を中心とする全周囲画像データであれば、操作者の位置を視点として、その全周囲画像データから視線方向の画像を切り出すことで、操作者の位置を視点とする視線方向の表示画像を生成することができる。
【００２２】
非表示領域算出部１４は、位置視線情報取得部１１から位置視線情報を受け、非表示領域設定部１２から座標情報を受けると、その位置視線情報と座標情報から、透過式表示装置１の非表示領域を算出する。
例えば、非表示領域設定部１２が非表示領域を設定する際の操作者の位置及び視線方向（非表示領域設定時の操作者の位置及び視線方向は、例えば、位置・姿勢計測装置２から非表示領域の設定時に計測された位置視線情報を取得することで把握することができる）が、位置視線情報取得部１１から出力された位置視線情報が示す操作者の位置及び視線方向と同じであれば（非表示領域設定時の操作者の位置及び視線方向と、位置・姿勢計測装置２による計測時の位置及び視線方向とが一致している場合）、非表示領域設定部１２から出力された座標情報が示す位置が、透過式表示装置１の非表示領域の位置となるので、その座標情報が示す位置を透過式表示装置１の非表示領域を示す位置として非表示領域内情報検索部１５及び画像合成部１７に出力する。
【００２３】
一方、非表示領域設定部１２が非表示領域を設定する際の操作者の位置及び視線方向が、位置視線情報取得部１１から出力された位置視線情報が示す操作者の位置及び視線方向と異なれば（非表示領域設定時の操作者の位置及び視線方向と、位置・姿勢計測装置２による計測時の位置及び視線方向とが一致していない場合）、位置視線情報取得部１１から出力された位置視線情報にしたがって、非表示領域設定部１２から出力された座標情報を補正する。
例えば、位置視線情報取得部１１から出力された位置視線情報が示す位置と非表示領域設定時の操作者の位置との差分に応じて、非表示領域設定部１２から出力された座標情報を平行移動させる処理や、その位置視線情報が示す視線方向と非表示領域設定時の操作者の視線方向との差分に応じて、その座標情報を回転させる処理などを実施することで、非表示領域設定部１２から出力された座標情報を補正する。
【００２４】
非表示領域内情報検索部１５は、表示画像生成部１３が視線方向の表示画像を生成し、非表示領域算出部１４が非表示領域を算出すると、その表示画像における非表示領域内の画像の中に、操作者が認識する必要がある物体が存在しているか否かを判別する（ステップＳＴ４）。
例えば、表示画像データ蓄積部３により蓄積されている表示画像データがＣＧの３次元データであれば、その３次元データを参照して、表示画像内にあるＮ個のオブジェクトの位置を特定し（Ｎは０以上の整数）、Ｎ個のオブジェクトの中に、非表示領域内に位置しているオブジェクトがあれば、そのオブジェクトは操作者が認識する必要がある物体であると考え、非表示領域内の画像の中に、操作者が認識する必要がある物体が存在していると判断する。
【００２５】
例えば、表示画像データ蓄積部３により蓄積されている表示画像データが複数のカメラにより撮影された操作者を中心とする全周囲画像データであれば、最新の全周囲画像データと１フレーム前の全周囲画像データとを比較することで移動物体等を検出し、非表示領域内に移動物体等が現れていれば、その移動物体等は操作者が認識する必要がある物体であると考え、非表示領域内の画像の中に、操作者が認識する必要がある物体が存在していると判断する。
なお、図３は非表示領域内に操作者が認識する必要がある物体が存在している場合の一例を示す説明図である。
【００２６】
ＣＧ画像生成部１６は、非表示領域内情報検索部１５により操作者が認識する必要がある物体が存在していると判別された場合、物体が存在している旨を知らせるＣＧ画像を生成する（ステップＳＴ５）。
例えば、物体が存在している旨を知らせるＣＧ画像として、その物体が存在している位置を中心とする円の画像を生成する。
ここで、図４は操作者が認識する必要がある物体が非表示領域内にある例を示す説明図であり、図４の例では、操作者が認識する必要がある物体が、点線の○の位置に存在していることを表している。ただし、点線の○は、説明の便宜上、図４の中に表しているが、表示画像として描画されることはない。
図５は物体が存在している位置を中心とする円の画像の一例を示す説明図であり、図５の例では、点線の○の位置を中心とする円の画像が、非表示領域以外の領域に描画されている。
【００２７】
ここでは、物体が存在している旨を知らせるＣＧ画像として、その物体が存在している位置を中心とする円の画像を生成する例を示したが、物体が存在している旨を知らせることが可能なＣＧ画像であれば、円の画像に限るものではない。
例えば、図６に示すように、非表示領域内にある物体が存在している位置で交差する複数の直線（図６の例では、２本の直線）の画像を生成するようにしてもよい。
図６の例では、物体が存在している位置で交差する複数の直線の画像が、非表示領域以外の領域に描画されている。
【００２８】
画像合成部１７は、表示画像生成部１３が視線方向の表示画像を生成し、非表示領域算出部１４が非表示領域を算出すると、視線方向の表示画像から非表示領域内の画像を削除する（ステップＳＴ６，ＳＴ８）。以下、視線方向の表示画像から非表示領域内の画像を削除した画像を「削除後表示画像」と称する。
なお、非表示領域内の画像を削除する場合、例えば、非表示領域を黒で塗りつぶすなどの処理を実施する。
【００２９】
画像合成部１７は、ＣＧ画像生成部１６によりＣＧ画像が生成されている場合（非表示領域内の画像の中に、操作者が認識する必要がある物体が存在している場合）、その削除後表示画像とＣＧ画像を合成し（ステップＳＴ７）、図５又は図６に示すように、その合成画像を透過式表示装置１に表示する（ステップＳＴ９）。
一方、ＣＧ画像生成部１６によりＣＧ画像が生成されていない場合（非表示領域内の画像の中に、操作者が認識する必要がある物体が存在していない場合）、その削除後表示画像を透過式表示装置１に表示する（ステップＳＴ９）。
なお、非表示領域内の画像は、上記の通り、透過式表示装置１に表示されないが、透過式表示装置１は透過式の表示機器であるため、非表示領域内の物体が透けて見えることはある。ただし、他の物体等に隠れているなどの状況化では確認することができない。
【００３０】
以上で明らかなように、この実施の形態１によれば、操作者の位置と視線方向を示す位置視線情報を取得する位置視線情報取得部１１と、透過式表示装置１内で画像を表示しない非表示領域を設定する非表示領域設定部１２と、位置視線情報取得部１１により取得された位置視線情報が示す操作者の位置を視点として、表示画像データ蓄積部３により蓄積されている表示画像データから位置視線情報が示す視線方向の表示画像を生成する表示画像生成部１３と、表示画像生成部１３により生成された表示画像における非表示領域内の画像の中に、操作者が認識する必要がある物体が存在しているか否かを判別する非表示領域内情報検索部１５と、非表示領域内情報検索部１５により操作者が認識する必要がある物体が存在していると判別された場合、物体が存在している旨を知らせるＣＧ画像を生成するＣＧ画像生成部１６とを設け、画像合成部１７が、表示画像生成部１３により生成された表示画像から非表示領域内の画像を削除し、ＣＧ画像生成部１６によりＣＧ画像が生成されていなければ、非表示領域内の画像を削除した表示画像を透過式表示装置１に表示し、ＣＧ画像生成部１６によりＣＧ画像が生成されていれば、非表示領域内の画像を削除した表示画像に上記ＣＧ画像を合成し、その合成画像を透過式表示装置１に表示するように構成したので、操作者が認識する必要がある物体が非表示領域に存在していれば、その旨を操作者に知らせることができる効果を奏する。
【００３１】
また、この実施の形態１によれば、ＣＧ画像生成部１６が、物体が存在している旨を知らせるＣＧ画像として、上記物体が存在している位置を中心とする円の画像を生成し、画像合成部１７が、ＣＧ画像生成部１６により生成された円の画像を非表示領域以外の領域で表示画像と合成するように構成したので、非表示領域内に存在している物体の位置を操作者に知らせることができる効果を奏する。
【００３２】
また、この実施の形態１によれば、ＣＧ画像生成部１６が、物体が存在している旨を知らせるＣＧ画像として、上記物体が存在している位置で交差する複数の直線の画像を生成し、画像合成部１７が、ＣＧ画像生成部１６により生成された複数の直線の画像を非表示領域以外の領域で表示画像と合成するように構成したので、非表示領域内に存在している物体の位置を操作者に知らせることができる効果を奏する。
【００３３】
なお、この実施の形態１では、非表示領域算出部１４が、３次元的な情報（位置視線情報取得部１１により取得された位置視線情報、非表示領域設定部１２により設定された座標情報）を用いて、透過式表示装置１の非表示領域を算出するものを示したが、操作者が非表示としたい領域にマーカーを設置し、ＨＭＤである透過式表示装置１にカメラを装着して、画像処理的に非表示領域の視野方向を求めるようにしてもよい。
【００３４】
実施の形態２．
上記実施の形態１では、ＣＧ画像生成部１６が、物体が存在している旨を知らせるＣＧ画像として、上記物体が存在している位置を中心とする円の画像（または、上記物体が存在している位置で交差する複数の直線の画像）を生成するものを示したが、上記物体の大きさを把握可能なＣＧ画像を生成するようにしてもよい。
【００３５】
図７は物体の大きさを把握可能なＣＧ画像の一例を示す説明図である。
図７の例では、非表示領域内に存在している物体の水平方向（図中、横方向）の長さと一致する幅を有する矩形を非表示領域の上下に表示し、その物体の垂直方向（図中、縦方向）の長さと一致する高さを有する矩形を非表示領域の左右に表示している。
なお、４つの矩形は、非表示領域内に存在している物体の位置に対応する位置に配置されており、上下にある矩形の幅と、左右にある矩形の高さから、非表示領域内に存在している物体の大きさを把握することができる。
【００３６】
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
【符号の説明】
【００３７】
１ 透過式表示装置、２ 位置・姿勢計測装置、３ 表示画像データ蓄積部、４ 画像合成装置、１１ 位置視線情報取得部（位置視線情報取得手段）、１２ 非表示領域設定部（非表示領域設定手段）、１３ 表示画像生成部（表示画像生成手段）、１４ 非表示領域算出部（ＣＧ画像生成手段）、１５ 非表示領域内情報検索部（ＣＧ画像生成手段）、１６ ＣＧ画像生成部（ＣＧ画像生成手段）、１７ 画像合成部（画像合成手段）。
【技術分野】
【０００１】
この発明は、操作者の視線方向に応じて、例えば、現実世界の映像とＣＧ画像などが重畳されている合成画像をＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）などの透過式表示装置に表示する画像合成装置及び画像合成方法に関するものである。
【背景技術】
【０００２】
例えば、医療の分野では、手術風景の映像に、手術に関する付加情報（例えば、手術の手順を示す情報）が重畳されている合成画像を透過式表示装置に表示する画像合成装置などが想定される。
また、産業の分野では、工業製品の組み立て風景の映像に、作業内容などを示す情報が重畳されている合成画像を透過式表示装置に表示する画像合成装置などが想定される。
【０００３】
このとき、一般的な画像合成装置では、現実世界の映像にＣＧ画像を重畳する際、ＣＧ画像を重畳する領域を指定する機能を備えていないため、操作者が注目している領域にＣＧ画像が重畳されてしまって、注目している領域の映像が見難くなることがある。
以下の特許文献１には、操作者が注目する領域を非表示領域に設定する手段を備え、非表示領域内にはＣＧ画像が重畳されないようにしている画像合成装置が開示されている。
例えば、操作者が注目する領域として、操作者の作業に影響を及ぼす領域（例えば、計器類が存在している領域）などが想定され、このような領域にはＣＧ画像が重畳されなくなる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−１７８５５４号公報（段落番号［０００９］）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従来の画像合成装置は以上のように構成されているので、設定された非表示領域にはＣＧ画像が重畳されず、ＣＧ画像の重畳によって注目している領域の映像が見難くなることを防止することができる。しかし、操作者が認識する必要がある物体が非表示領域に存在していても、その物体の存在を操作者に知らせることができないなどの課題があった。
【０００６】
この発明は上記のような課題を解決するためになされたもので、操作者が認識する必要がある物体が非表示領域に存在していれば、その旨を操作者に知らせることができる画像合成装置及び画像合成方法を得ることを目的とする。
【課題を解決するための手段】
【０００７】
この発明に係る画像合成装置は、操作者の位置と視線方向を示す位置視線情報を取得する位置視線情報取得手段と、透過式表示装置内で画像を表示しない非表示領域を設定する非表示領域設定手段と、位置視線情報取得手段により取得された位置視線情報が示す操作者の位置を視点として、蓄積されている表示画像データから位置視線情報が示す視線方向の表示画像を生成する表示画像生成手段と、表示画像生成手段により生成された表示画像における非表示領域内の画像の中に、操作者が認識する必要がある物体が存在していれば、上記物体が存在している旨を知らせるＣＧ画像を生成するＣＧ画像生成手段とを設け、画像合成手段が、表示画像生成手段により生成された表示画像から非表示領域内の画像を削除し、ＣＧ画像生成手段によりＣＧ画像が生成されていなければ、非表示領域内の画像を削除した表示画像を透過式表示装置に表示し、ＣＧ画像生成手段によりＣＧ画像が生成されていれば、非表示領域内の画像を削除した表示画像に上記ＣＧ画像を合成し、その合成画像を透過式表示装置に表示するようにしたものである。
【発明の効果】
【０００８】
この発明によれば、操作者の位置と視線方向を示す位置視線情報を取得する位置視線情報取得手段と、透過式表示装置内で画像を表示しない非表示領域を設定する非表示領域設定手段と、位置視線情報取得手段により取得された位置視線情報が示す操作者の位置を視点として、蓄積されている表示画像データから位置視線情報が示す視線方向の表示画像を生成する表示画像生成手段と、表示画像生成手段により生成された表示画像における非表示領域内の画像の中に、操作者が認識する必要がある物体が存在していれば、上記物体が存在している旨を知らせるＣＧ画像を生成するＣＧ画像生成手段とを設け、画像合成手段が、表示画像生成手段により生成された表示画像から非表示領域内の画像を削除し、ＣＧ画像生成手段によりＣＧ画像が生成されていなければ、非表示領域内の画像を削除した表示画像を透過式表示装置に表示し、ＣＧ画像生成手段によりＣＧ画像が生成されていれば、非表示領域内の画像を削除した表示画像に上記ＣＧ画像を合成し、その合成画像を透過式表示装置に表示するように構成したので、操作者が認識する必要がある物体が非表示領域に存在していれば、その旨を操作者に知らせることができる効果がある。
【図面の簡単な説明】
【０００９】
【図１】この発明の実施の形態１による画像合成装置を示す構成図である。
【図２】この発明の実施の形態１による画像合成装置の処理内容（画像合成方法）を示すフローチャートである。
【図３】非表示領域内に操作者が認識する必要がある物体が存在している場合の一例を示す説明図である。
【図４】操作者が認識する必要がある物体が非表示領域内にある例を示す説明図である。
【図５】物体が存在している位置を中心とする円の画像の一例を示す説明図である。
【図６】物体が存在している位置で交差する複数の直線の画像の一例を示す説明図である。
【図７】物体の大きさを把握可能なＣＧ画像の一例を示す説明図である。
【発明を実施するための形態】
【００１０】
実施の形態１．
図１はこの発明の実施の形態１による画像合成装置を示す構成図である。
図１において、透過式表示装置１は例えばＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）などが該当し、画像合成装置４により生成された合成画像等を表示する表示機器である。
位置・姿勢計測装置２は透過式表示装置１に内蔵されており、操作者の位置と視線方向を検出して、操作者の位置と視線方向を示す位置視線情報を画像合成装置４に出力する装置である。
位置・姿勢計測装置２は、例えば、地磁気センサ、ジャイロや光学式のセンサなどから構成されている。
【００１１】
表示画像データ蓄積部３は例えばＲＡＭやハードディスクなどの記憶装置から構成されており、画像合成装置４が表示画像を生成する際に用いる表示画像データ（例えば、ＣＧの３次元データ、複数のカメラにより撮影された操作者を中心とする全周囲画像データなど）を蓄積している。
画像合成装置４は操作者の視線方向の表示画像を生成し、その表示画像を透過式表示装置１に表示する装置である。
【００１２】
画像合成装置４の位置視線情報取得部１１は外部から情報を入手するインタフェース（例えば、ＵＳＢポート）を備えており、位置・姿勢計測装置２から出力された位置視線情報を取得する処理を実施する。なお、位置視線情報取得部１１は位置視線情報取得手段を構成している。
【００１３】
非表示領域設定部１２は例えばキーボードやマウスなどのマンマシンインタフェースなどから構成されており、操作者の設定操作にしたがって透過式表示装置１内で画像を表示しない非表示領域の設定を受け付け、非表示領域の位置を示す座標情報を非表示領域算出部１４に出力する処理を実施する。なお、非表示領域設定部１２は非表示領域設定手段を構成している。
この実施の形態１では、非表示領域設定部１２が、キーボードやマウスなどのマンマシンインタフェースなどから構成されているものを想定しているが、外部から送信された設定情報を受信する通信インタフェースなどから構成されていてもよく、この場合には、その設定情報にしたがって透過式表示装置１内で画像を表示しない非表示領域の設定処理を実施する。
【００１４】
表示画像生成部１３は例えばＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などから構成されており、位置視線情報取得部１１により取得された位置視線情報が示す操作者の位置を視点として、表示画像データ蓄積部３により蓄積されている表示画像データから上記位置視線情報が示す視線方向の表示画像を生成する処理を実施する。なお、表示画像生成部１３は表示画像生成手段を構成している。
【００１５】
非表示領域算出部１４は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、位置視線情報取得部１１により取得された位置視線情報と非表示領域設定部１２により設定された座標情報から、透過式表示装置１の非表示領域を算出する処理を実施する。
非表示領域内情報検索部１５は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、表示画像生成部１３より生成された表示画像における非表示領域内の画像の中に、操作者が認識する必要がある物体が存在しているか否かを判別する処理を実施する。
【００１６】
ＣＧ画像生成部１６は例えばＧＰＵなどから構成されており、非表示領域内情報検索部１５により操作者が認識する必要がある物体が存在していると判別された場合、上記物体が存在している旨を知らせるＣＧ画像を生成する処理を実施する。
なお、非表示領域算出部１４、非表示領域内情報検索部１５及びＣＧ画像生成部１６からＣＧ画像生成手段が構成されている。
【００１７】
画像合成部１７は例えばＧＰＵ、ＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、表示画像生成部１３により生成された表示画像から非表示領域算出部１４により算出された非表示領域内の画像を削除し、ＣＧ画像生成部１６によりＣＧ画像が生成されていなければ、非表示領域内の画像を削除した表示画像を透過式表示装置１に表示する処理を実施する。ＣＧ画像生成部１６によりＣＧ画像が生成されていれば、非表示領域内の画像を削除した表示画像に上記ＣＧ画像を合成し、その合成画像を透過式表示装置１に表示する処理を実施する。なお、画像合成部１７は画像合成手段を構成している。
【００１８】
図１の例では、画像合成装置４の構成要素である位置視線情報取得部１１、非表示領域設定部１２、表示画像生成部１３、非表示領域算出部１４、非表示領域内情報検索部１５、ＣＧ画像生成部１６及び画像合成部１７のそれぞれが専用のハードウェアで構成されているものを想定しているが、画像合成装置４の全部又は一部がコンピュータで構成されていてもよい。
画像合成装置４の全部がコンピュータで構成されている場合、位置視線情報取得部１１、非表示領域設定部１２、表示画像生成部１３、非表示領域算出部１４、非表示領域内情報検索部１５、ＣＧ画像生成部１６及び画像合成部１７の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにすればよい。
図２はこの発明の実施の形態１による画像合成装置の処理内容（画像合成方法）を示すフローチャートである。
【００１９】
次に動作について説明する。
位置・姿勢計測装置２は、操作者の位置と視線方向を検出して、操作者の位置と視線方向を示す位置視線情報を画像合成装置４に出力する。
位置・姿勢計測装置２における位置と視線方向の検出処理自体は公知の技術であるため詳細な説明を省略する。
画像合成装置４の位置視線情報取得部１１は、位置・姿勢計測装置２から出力された位置視線情報を取得し、その位置視線情報を表示画像生成部１３及び非表示領域算出部１４に出力する（ステップＳＴ１）。
【００２０】
非表示領域設定部１２は、例えば、操作者の設定操作にしたがって透過式表示装置１内で画像を表示しない非表示領域の設定を受け付け、非表示領域の位置を示す座標情報を非表示領域算出部１４に出力する（ステップＳＴ２）。
図２の例では、位置視線情報取得部１１が、位置・姿勢計測装置２から出力された位置視線情報を取得してから、非表示領域設定部１２が、非表示領域の設定を受け付けるようにしているが、位置視線情報取得部１１が、位置・姿勢計測装置２から出力された位置視線情報を取得する前に、非表示領域設定部１２が、非表示領域の設定を受け付けるようにしてもよい。
【００２１】
表示画像生成部１３は、位置視線情報取得部１１から位置視線情報を受けると、その位置視線情報が示す操作者の位置を視点として、表示画像データ蓄積部３により蓄積されている表示画像データから、その位置視線情報が示す視線方向の表示画像を生成する（ステップＳＴ３）。
操作者の位置を視点とする視線方向の表示画像を生成する処理自体は公知の技術であるが、例えば、表示画像データ蓄積部３により蓄積されている表示画像データがＣＧの３次元データであれば、操作者の位置と視線方向をＣＧの３次元データに設定することで、操作者の位置を視点とする視線方向の表示画像を生成することができる。
また、表示画像データ蓄積部３により蓄積されている表示画像データが、複数のカメラにより撮影された操作者を中心とする全周囲画像データであれば、操作者の位置を視点として、その全周囲画像データから視線方向の画像を切り出すことで、操作者の位置を視点とする視線方向の表示画像を生成することができる。
【００２２】
非表示領域算出部１４は、位置視線情報取得部１１から位置視線情報を受け、非表示領域設定部１２から座標情報を受けると、その位置視線情報と座標情報から、透過式表示装置１の非表示領域を算出する。
例えば、非表示領域設定部１２が非表示領域を設定する際の操作者の位置及び視線方向（非表示領域設定時の操作者の位置及び視線方向は、例えば、位置・姿勢計測装置２から非表示領域の設定時に計測された位置視線情報を取得することで把握することができる）が、位置視線情報取得部１１から出力された位置視線情報が示す操作者の位置及び視線方向と同じであれば（非表示領域設定時の操作者の位置及び視線方向と、位置・姿勢計測装置２による計測時の位置及び視線方向とが一致している場合）、非表示領域設定部１２から出力された座標情報が示す位置が、透過式表示装置１の非表示領域の位置となるので、その座標情報が示す位置を透過式表示装置１の非表示領域を示す位置として非表示領域内情報検索部１５及び画像合成部１７に出力する。
【００２３】
一方、非表示領域設定部１２が非表示領域を設定する際の操作者の位置及び視線方向が、位置視線情報取得部１１から出力された位置視線情報が示す操作者の位置及び視線方向と異なれば（非表示領域設定時の操作者の位置及び視線方向と、位置・姿勢計測装置２による計測時の位置及び視線方向とが一致していない場合）、位置視線情報取得部１１から出力された位置視線情報にしたがって、非表示領域設定部１２から出力された座標情報を補正する。
例えば、位置視線情報取得部１１から出力された位置視線情報が示す位置と非表示領域設定時の操作者の位置との差分に応じて、非表示領域設定部１２から出力された座標情報を平行移動させる処理や、その位置視線情報が示す視線方向と非表示領域設定時の操作者の視線方向との差分に応じて、その座標情報を回転させる処理などを実施することで、非表示領域設定部１２から出力された座標情報を補正する。
【００２４】
非表示領域内情報検索部１５は、表示画像生成部１３が視線方向の表示画像を生成し、非表示領域算出部１４が非表示領域を算出すると、その表示画像における非表示領域内の画像の中に、操作者が認識する必要がある物体が存在しているか否かを判別する（ステップＳＴ４）。
例えば、表示画像データ蓄積部３により蓄積されている表示画像データがＣＧの３次元データであれば、その３次元データを参照して、表示画像内にあるＮ個のオブジェクトの位置を特定し（Ｎは０以上の整数）、Ｎ個のオブジェクトの中に、非表示領域内に位置しているオブジェクトがあれば、そのオブジェクトは操作者が認識する必要がある物体であると考え、非表示領域内の画像の中に、操作者が認識する必要がある物体が存在していると判断する。
【００２５】
例えば、表示画像データ蓄積部３により蓄積されている表示画像データが複数のカメラにより撮影された操作者を中心とする全周囲画像データであれば、最新の全周囲画像データと１フレーム前の全周囲画像データとを比較することで移動物体等を検出し、非表示領域内に移動物体等が現れていれば、その移動物体等は操作者が認識する必要がある物体であると考え、非表示領域内の画像の中に、操作者が認識する必要がある物体が存在していると判断する。
なお、図３は非表示領域内に操作者が認識する必要がある物体が存在している場合の一例を示す説明図である。
【００２６】
ＣＧ画像生成部１６は、非表示領域内情報検索部１５により操作者が認識する必要がある物体が存在していると判別された場合、物体が存在している旨を知らせるＣＧ画像を生成する（ステップＳＴ５）。
例えば、物体が存在している旨を知らせるＣＧ画像として、その物体が存在している位置を中心とする円の画像を生成する。
ここで、図４は操作者が認識する必要がある物体が非表示領域内にある例を示す説明図であり、図４の例では、操作者が認識する必要がある物体が、点線の○の位置に存在していることを表している。ただし、点線の○は、説明の便宜上、図４の中に表しているが、表示画像として描画されることはない。
図５は物体が存在している位置を中心とする円の画像の一例を示す説明図であり、図５の例では、点線の○の位置を中心とする円の画像が、非表示領域以外の領域に描画されている。
【００２７】
ここでは、物体が存在している旨を知らせるＣＧ画像として、その物体が存在している位置を中心とする円の画像を生成する例を示したが、物体が存在している旨を知らせることが可能なＣＧ画像であれば、円の画像に限るものではない。
例えば、図６に示すように、非表示領域内にある物体が存在している位置で交差する複数の直線（図６の例では、２本の直線）の画像を生成するようにしてもよい。
図６の例では、物体が存在している位置で交差する複数の直線の画像が、非表示領域以外の領域に描画されている。
【００２８】
画像合成部１７は、表示画像生成部１３が視線方向の表示画像を生成し、非表示領域算出部１４が非表示領域を算出すると、視線方向の表示画像から非表示領域内の画像を削除する（ステップＳＴ６，ＳＴ８）。以下、視線方向の表示画像から非表示領域内の画像を削除した画像を「削除後表示画像」と称する。
なお、非表示領域内の画像を削除する場合、例えば、非表示領域を黒で塗りつぶすなどの処理を実施する。
【００２９】
画像合成部１７は、ＣＧ画像生成部１６によりＣＧ画像が生成されている場合（非表示領域内の画像の中に、操作者が認識する必要がある物体が存在している場合）、その削除後表示画像とＣＧ画像を合成し（ステップＳＴ７）、図５又は図６に示すように、その合成画像を透過式表示装置１に表示する（ステップＳＴ９）。
一方、ＣＧ画像生成部１６によりＣＧ画像が生成されていない場合（非表示領域内の画像の中に、操作者が認識する必要がある物体が存在していない場合）、その削除後表示画像を透過式表示装置１に表示する（ステップＳＴ９）。
なお、非表示領域内の画像は、上記の通り、透過式表示装置１に表示されないが、透過式表示装置１は透過式の表示機器であるため、非表示領域内の物体が透けて見えることはある。ただし、他の物体等に隠れているなどの状況化では確認することができない。
【００３０】
以上で明らかなように、この実施の形態１によれば、操作者の位置と視線方向を示す位置視線情報を取得する位置視線情報取得部１１と、透過式表示装置１内で画像を表示しない非表示領域を設定する非表示領域設定部１２と、位置視線情報取得部１１により取得された位置視線情報が示す操作者の位置を視点として、表示画像データ蓄積部３により蓄積されている表示画像データから位置視線情報が示す視線方向の表示画像を生成する表示画像生成部１３と、表示画像生成部１３により生成された表示画像における非表示領域内の画像の中に、操作者が認識する必要がある物体が存在しているか否かを判別する非表示領域内情報検索部１５と、非表示領域内情報検索部１５により操作者が認識する必要がある物体が存在していると判別された場合、物体が存在している旨を知らせるＣＧ画像を生成するＣＧ画像生成部１６とを設け、画像合成部１７が、表示画像生成部１３により生成された表示画像から非表示領域内の画像を削除し、ＣＧ画像生成部１６によりＣＧ画像が生成されていなければ、非表示領域内の画像を削除した表示画像を透過式表示装置１に表示し、ＣＧ画像生成部１６によりＣＧ画像が生成されていれば、非表示領域内の画像を削除した表示画像に上記ＣＧ画像を合成し、その合成画像を透過式表示装置１に表示するように構成したので、操作者が認識する必要がある物体が非表示領域に存在していれば、その旨を操作者に知らせることができる効果を奏する。
【００３１】
また、この実施の形態１によれば、ＣＧ画像生成部１６が、物体が存在している旨を知らせるＣＧ画像として、上記物体が存在している位置を中心とする円の画像を生成し、画像合成部１７が、ＣＧ画像生成部１６により生成された円の画像を非表示領域以外の領域で表示画像と合成するように構成したので、非表示領域内に存在している物体の位置を操作者に知らせることができる効果を奏する。
【００３２】
また、この実施の形態１によれば、ＣＧ画像生成部１６が、物体が存在している旨を知らせるＣＧ画像として、上記物体が存在している位置で交差する複数の直線の画像を生成し、画像合成部１７が、ＣＧ画像生成部１６により生成された複数の直線の画像を非表示領域以外の領域で表示画像と合成するように構成したので、非表示領域内に存在している物体の位置を操作者に知らせることができる効果を奏する。
【００３３】
なお、この実施の形態１では、非表示領域算出部１４が、３次元的な情報（位置視線情報取得部１１により取得された位置視線情報、非表示領域設定部１２により設定された座標情報）を用いて、透過式表示装置１の非表示領域を算出するものを示したが、操作者が非表示としたい領域にマーカーを設置し、ＨＭＤである透過式表示装置１にカメラを装着して、画像処理的に非表示領域の視野方向を求めるようにしてもよい。
【００３４】
実施の形態２．
上記実施の形態１では、ＣＧ画像生成部１６が、物体が存在している旨を知らせるＣＧ画像として、上記物体が存在している位置を中心とする円の画像（または、上記物体が存在している位置で交差する複数の直線の画像）を生成するものを示したが、上記物体の大きさを把握可能なＣＧ画像を生成するようにしてもよい。
【００３５】
図７は物体の大きさを把握可能なＣＧ画像の一例を示す説明図である。
図７の例では、非表示領域内に存在している物体の水平方向（図中、横方向）の長さと一致する幅を有する矩形を非表示領域の上下に表示し、その物体の垂直方向（図中、縦方向）の長さと一致する高さを有する矩形を非表示領域の左右に表示している。
なお、４つの矩形は、非表示領域内に存在している物体の位置に対応する位置に配置されており、上下にある矩形の幅と、左右にある矩形の高さから、非表示領域内に存在している物体の大きさを把握することができる。
【００３６】
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
【符号の説明】
【００３７】
１ 透過式表示装置、２ 位置・姿勢計測装置、３ 表示画像データ蓄積部、４ 画像合成装置、１１ 位置視線情報取得部（位置視線情報取得手段）、１２ 非表示領域設定部（非表示領域設定手段）、１３ 表示画像生成部（表示画像生成手段）、１４ 非表示領域算出部（ＣＧ画像生成手段）、１５ 非表示領域内情報検索部（ＣＧ画像生成手段）、１６ ＣＧ画像生成部（ＣＧ画像生成手段）、１７ 画像合成部（画像合成手段）。
【特許請求の範囲】
【請求項１】
操作者の位置と視線方向を示す位置視線情報を取得する位置視線情報取得手段と、透過式表示装置内で画像を表示しない非表示領域を設定する非表示領域設定手段と、上記位置視線情報取得手段により取得された位置視線情報が示す操作者の位置を視点として、蓄積されている表示画像データから上記位置視線情報が示す視線方向の表示画像を生成する表示画像生成手段と、上記表示画像生成手段により生成された表示画像における上記非表示領域内の画像の中に、操作者が認識する必要がある物体が存在していれば、上記物体が存在している旨を知らせるＣＧ画像を生成するＣＧ画像生成手段と、上記表示画像生成手段により生成された表示画像から上記非表示領域内の画像を削除し、上記ＣＧ画像生成手段によりＣＧ画像が生成されていなければ、上記非表示領域内の画像を削除した表示画像を上記透過式表示装置に表示し、上記ＣＧ画像生成手段によりＣＧ画像が生成されていれば、上記非表示領域内の画像を削除した表示画像に上記ＣＧ画像を合成し、その合成画像を上記透過式表示装置に表示する画像合成手段とを備えた画像合成装置。
【請求項２】
ＣＧ画像生成手段は、物体が存在している旨を知らせるＣＧ画像として、上記物体が存在している位置を中心とする円の画像を生成し、
画像合成手段は、上記ＣＧ画像生成手段により生成された円の画像を非表示領域以外の領域で表示画像と合成する
ことを特徴とする請求項１記載の画像合成装置。
【請求項３】
ＣＧ画像生成手段は、物体が存在している旨を知らせるＣＧ画像として、上記物体が存在している位置で交差する複数の直線の画像を生成し、
画像合成手段は、上記ＣＧ画像生成手段により生成された複数の直線の画像を非表示領域以外の領域で表示画像と合成する
ことを特徴とする請求項１記載の画像合成装置。
【請求項４】
ＣＧ画像生成手段は、物体の大きさを把握可能なＣＧ画像を生成することを特徴とする請求項１記載の画像合成装置。
【請求項５】
位置視線情報取得手段が、操作者の位置と視線方向を示す位置視線情報を取得する位置視線情報取得処理ステップと、表示画像生成手段が、透過式表示装置内で画像を表示しない非表示領域を設定する非表示領域設定処理ステップと、表示画像生成手段が、上記位置視線情報取得処理ステップで取得された位置視線情報が示す操作者の位置を視点として、蓄積されている表示画像データから上記位置視線情報が示す視線方向の表示画像を生成する表示画像生成処理ステップと、ＣＧ画像生成手段が、上記表示画像生成処理ステップで生成された表示画像における上記非表示領域内の画像の中に、操作者が認識する必要がある物体が存在していれば、上記物体が存在している旨を知らせるＣＧ画像を生成するＣＧ画像生成処理ステップと、画像合成手段が、上記表示画像生成処理ステップで生成された表示画像から上記非表示領域内の画像を削除し、上記ＣＧ画像生成処理ステップでＣＧ画像が生成されていなければ、上記非表示領域内の画像を削除した表示画像を上記透過式表示装置に表示し、上記ＣＧ画像生成処理ステップでＣＧ画像が生成されていれば、上記非表示領域内の画像を削除した表示画像に上記ＣＧ画像を合成し、その合成画像を上記透過式表示装置に表示する画像合成処理ステップとを備えた画像合成方法。
【請求項１】
操作者の位置と視線方向を示す位置視線情報を取得する位置視線情報取得手段と、透過式表示装置内で画像を表示しない非表示領域を設定する非表示領域設定手段と、上記位置視線情報取得手段により取得された位置視線情報が示す操作者の位置を視点として、蓄積されている表示画像データから上記位置視線情報が示す視線方向の表示画像を生成する表示画像生成手段と、上記表示画像生成手段により生成された表示画像における上記非表示領域内の画像の中に、操作者が認識する必要がある物体が存在していれば、上記物体が存在している旨を知らせるＣＧ画像を生成するＣＧ画像生成手段と、上記表示画像生成手段により生成された表示画像から上記非表示領域内の画像を削除し、上記ＣＧ画像生成手段によりＣＧ画像が生成されていなければ、上記非表示領域内の画像を削除した表示画像を上記透過式表示装置に表示し、上記ＣＧ画像生成手段によりＣＧ画像が生成されていれば、上記非表示領域内の画像を削除した表示画像に上記ＣＧ画像を合成し、その合成画像を上記透過式表示装置に表示する画像合成手段とを備えた画像合成装置。
【請求項２】
ＣＧ画像生成手段は、物体が存在している旨を知らせるＣＧ画像として、上記物体が存在している位置を中心とする円の画像を生成し、
画像合成手段は、上記ＣＧ画像生成手段により生成された円の画像を非表示領域以外の領域で表示画像と合成する
ことを特徴とする請求項１記載の画像合成装置。
【請求項３】
ＣＧ画像生成手段は、物体が存在している旨を知らせるＣＧ画像として、上記物体が存在している位置で交差する複数の直線の画像を生成し、
画像合成手段は、上記ＣＧ画像生成手段により生成された複数の直線の画像を非表示領域以外の領域で表示画像と合成する
ことを特徴とする請求項１記載の画像合成装置。
【請求項４】
ＣＧ画像生成手段は、物体の大きさを把握可能なＣＧ画像を生成することを特徴とする請求項１記載の画像合成装置。
【請求項５】
位置視線情報取得手段が、操作者の位置と視線方向を示す位置視線情報を取得する位置視線情報取得処理ステップと、表示画像生成手段が、透過式表示装置内で画像を表示しない非表示領域を設定する非表示領域設定処理ステップと、表示画像生成手段が、上記位置視線情報取得処理ステップで取得された位置視線情報が示す操作者の位置を視点として、蓄積されている表示画像データから上記位置視線情報が示す視線方向の表示画像を生成する表示画像生成処理ステップと、ＣＧ画像生成手段が、上記表示画像生成処理ステップで生成された表示画像における上記非表示領域内の画像の中に、操作者が認識する必要がある物体が存在していれば、上記物体が存在している旨を知らせるＣＧ画像を生成するＣＧ画像生成処理ステップと、画像合成手段が、上記表示画像生成処理ステップで生成された表示画像から上記非表示領域内の画像を削除し、上記ＣＧ画像生成処理ステップでＣＧ画像が生成されていなければ、上記非表示領域内の画像を削除した表示画像を上記透過式表示装置に表示し、上記ＣＧ画像生成処理ステップでＣＧ画像が生成されていれば、上記非表示領域内の画像を削除した表示画像に上記ＣＧ画像を合成し、その合成画像を上記透過式表示装置に表示する画像合成処理ステップとを備えた画像合成方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１３−３００５９（Ｐ２０１３−３００５９Ａ）
【公開日】平成２５年２月７日（２０１３．２．７）
【国際特許分類】
【出願番号】特願２０１１−１６６７７４（Ｐ２０１１−１６６７７４）
【出願日】平成２３年７月２９日（２０１１．７．２９）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
【公開日】平成２５年２月７日（２０１３．２．７）
【国際特許分類】
【出願日】平成２３年７月２９日（２０１１．７．２９）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
[ Back to top ]