ヘッドマウントディスプレイ
【課題】ユーザが外界像と区別してコンテンツ画像を視認し易いシースルー型のヘッドマウントディスプレイを提供することを目的とする。
【解決手段】コンテンツデータによって示されるコンテンツ画像をユーザの眼に視認可能に提示し、コンテンツ画像を視認しているユーザが外界像をこのコンテンツ画像と重ねて視認できるシースルー型のヘッドマウントディスプレイであって、コンテンツ画像と外界像とが類似している場合（Ｓ１０２：類似）、このコンテンツ画像に表示効果を付加し（Ｓ１０６）、表示効果が付加されたコンテンツ画像を、ユーザの眼に提示する（Ｓ１０８）こととした。
【解決手段】コンテンツデータによって示されるコンテンツ画像をユーザの眼に視認可能に提示し、コンテンツ画像を視認しているユーザが外界像をこのコンテンツ画像と重ねて視認できるシースルー型のヘッドマウントディスプレイであって、コンテンツ画像と外界像とが類似している場合（Ｓ１０２：類似）、このコンテンツ画像に表示効果を付加し（Ｓ１０６）、表示効果が付加されたコンテンツ画像を、ユーザの眼に提示する（Ｓ１０８）こととした。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザの眼にコンテンツデータによって示されるコンテンツ画像を視認可能に提示するシースルー型のヘッドマウントディスプレイに関するものである。
【背景技術】
【０００２】
従来から、ユーザの眼にコンテンツデータにより示されるコンテンツ画像を視認可能に提示するシースルー型のヘッドマウントディスプレイに関する技術が提案されている。例えば、画像を表示する透光型の液晶表示パネルを有し、これが目の直前にくるように頭部に装着されるめがね部を持つヘッドマウント型のＡＶ装置と、各作業過程の作業対象物を象って予め作成された各種アニメーション画像を記憶する記憶部と、各作業過程の順番に従って、ＡＶ装置を装着する装着者によって液晶表示パネルを通して視認される作業対象物そのものに対して、記憶部に記憶された対応するアニメーション画像が重なるように、そのアニメーション画像を液晶表示パネルに表示するアニメーション表示処理機能とを備え、各作業過程の順番に従って、アニメーション画像を液晶表示パネルに表示することにより、作業対象物に対して行われるべき作業内容を装着者に示すようにした技術が提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−２１９３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、シースルー型のヘッドマウントディスプレイでは、外界像の上に重ねてコンテンツ画像が提示されるため、ユーザが外界像と区別してコンテンツ画像を視認し、認識することが困難となる場合がある。例えば、特許文献１のように、作業内容を表示するなどの作業支援にヘッドマウントディスプレイが用いられる場合、ユーザ（作業者）の注意がコンテンツ画像に常に向けられているわけではない。ユーザは、コンテンツ画像より作業対象物および／またはその周囲などに十分注意を向ける必要がある。そのため、ユーザにとって、コンテンツ画像と外界像とを区別して視認することが困難となることがあった。このような状態は、コンテンツ画像である部品の画像を実物と勘違いさせ、手を伸ばしても触ることができないなど、作業効率を低下させまたはユーザを困惑させる可能性があった。特に背景が暗い場合、部品が外界の中に存在するように見えてしまう。
【０００５】
本発明は、ユーザが外界像と区別してコンテンツ画像を視認し易いシースルー型のヘッドマウントディスプレイを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記従来の課題に鑑みなされた本発明は、コンテンツデータによって示されるコンテンツ画像をユーザの眼に視認可能に提示し、コンテンツ画像を視認しているユーザが外界像をこのコンテンツ画像と重ねて視認できるシースルー型のヘッドマウントディスプレイであって、コンテンツ画像と外界像とが類似している場合、このコンテンツ画像に表示効果を付加し、表示効果が付加されたコンテンツ画像を、ユーザの眼に提示することとしたものである。
【０００７】
本発明を反映した第１の課題解決手段は、コンテンツデータによって示されるコンテンツ画像をユーザの眼に視認可能に提示し、前記コンテンツ画像を視認しているユーザが外界像を前記コンテンツ画像と重ねて視認できるシースルー型のヘッドマウントディスプレイであって、前記コンテンツ画像と前記外界像との類似について判断する判断手段と、前記判断手段によって前記コンテンツ画像と前記外界像とが類似すると判断された場合、前記コンテンツデータに対して画像処理を実行し、前記コンテンツ画像に表示効果を付加する表示効果付加手段と、前記表示効果付加手段によって前記表示効果が付加された前記コンテンツ画像を、前記ユーザの眼に提示するコンテンツ画像提示手段とを備えることを特徴とするヘッドマウントディスプレイである。これによれば、コンテンツ画像と外界像とが類似する場合に、表示効果を付加したコンテンツ画像をユーザの眼に提示することができる。
【０００８】
第２の課題解決手段は、第１の課題解決手段のヘッドマウントディスプレイであって、前記外界像を撮像する撮像手段を備え、前記判断手段は、前記コンテンツ画像と、前記撮像手段によって撮像された前記外界像との類似について判断することを特徴とする。これによれば、撮像手段によって撮像された外界像を対象として、コンテンツ画像と外界像との類似を判断することができる。
【０００９】
第３の課題解決手段は、第１または第２の課題解決手段のヘッドマウントディスプレイであって、前記表示効果付加手段は、前記コンテンツ画像提示手段が前記コンテンツ画像を提示する範囲を囲む枠を、前記表示効果として付加することを特徴とする。これによれば、ユーザに、コンテンツ画像が提示されている範囲を好適に視認（認識）させることができる。
【００１０】
第４の課題解決手段は、第１または第２の課題解決手段のヘッドマウントディスプレイであって、前記表示効果付加手段は、前記コンテンツ画像に含まれる第１オブジェクトを囲む枠を、前記第１オブジェクトに前記表示効果として付加することを特徴とする。これによれば、ユーザに、コンテンツ画像に含まれる第１オブジェクトを好適に視認（認識）させることができる。
【００１１】
第５の課題解決手段は、第４の課題解決手段のヘッドマウントディスプレイであって、前記判断手段は、前記第１オブジェクトと前記外界像に含まれる第２オブジェクトとを比較して、前記コンテンツ画像と前記外界像との類似について判断し、前記表示効果付加手段は、前記枠を、前記判断手段によって前記第２オブジェクトに類似すると判断された前記第１オブジェクトにのみ前記表示効果として付加することを特徴とする。これによれば、外界像に含まれる第２オブジェクトに類似する、コンテンツ画像に含まれる第１オブジェクトに対して、表示効果としての枠を付加することができる。換言すれば、外界像との区別がつき難いコンテンツ画像の部分（第１オブジェクト）にのみ、表示効果としての枠を付加することができる。
【００１２】
第６の課題解決手段は、第１または第２の課題解決手段のヘッドマウントディスプレイであって、前記表示効果付加手段は、前記コンテンツ画像の色を変化させて、前記コンテンツ画像に前記表示効果を付加することを特徴とする。これによれば、ユーザに、コンテンツ画像の範囲を認識させることができる。
【００１３】
第７の課題解決手段は、第１から第６の課題解決手段のいずれか１つのヘッドマウントディスプレイであって、前記表示効果付加手段は、前記判断手段によって前記コンテンツ画像と前記外界像とが類似していないと判断された場合、前記コンテンツデータに対して前記画像処理を未実行として、前記コンテンツ画像に前記表示効果を付加せず、前記コンテンツ画像提示手段は、前記表示効果付加手段によって前記表示効果が付加されていない前記コンテンツ画像を、前記ユーザの眼に提示することを特徴とする。これによれば、コンテンツ画像と外界像とが類似していない場合、表示効果を付加する画像処理を行わないようにできる。換言すれば、コンテンツ画像と外界像とが類似し、その区別が困難となる可能性がある場合に限り、表示効果を付加する画像処理を実行するようにできる。
【発明の効果】
【００１４】
本発明によれば、ユーザが外界像と区別してコンテンツ画像を視認し易いシースルー型のヘッドマウントディスプレイを得ることができる。
【図面の簡単な説明】
【００１５】
【図１】ヘッドマウントディスプレイを示す図である。
【図２】（ａ）はヘッドマウントディスプレイ本体の上面図であり、（ｂ）は正面図であり、（ｃ）は左側面図である。
【図３】制御ボックスの機能ブロックを示す図である。
【図４】画像提示部の機能ブロックを示す図である。
【図５】メイン処理のフローチャートを示す図である。
【図６】（ａ）はコンテンツ画像に含まれる第１オブジェクトを囲む枠による表示効果が付加された効果付きコンテンツ画像を示し、（ｂ）は外界像を示す図である。
【図７】表示効果付加処理のフローチャートを示す図である。
【図８】（ａ）はコンテンツ画像に含まれる第１オブジェクトを囲む枠による表示効果が付加された効果付きコンテンツ画像を示し、（ｂ）は外界像を示す図である。
【発明を実施するための形態】
【００１６】
本発明を反映した上記課題解決手段を実施するための実施形態について、図面を用いて以下に詳細に説明する。上記課題解決手段は以下に記載の構成に限定されるものではなく、同一の技術的思想において種々の構成を採用することができる。例えば、以下に説明する各構成において、所定の構成を省略することができる。また、以下に説明する各処理において、所定のステップを省略することができる。
【００１７】
（ヘッドマウントディスプレイの概要）
ヘッドマウントディスプレイ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ／以下、「ＨＭＤ」ともいう。）１０について、図１および図２を参照して説明する。ＨＭＤ１０は、ＨＭＤ本体１００と制御ボックス２００とを含む。ＨＭＤ本体１００は、ユーザの顔に装着され、利用される。制御ボックス２００は、ユーザの腰などに取り付けられる。
【００１８】
ＨＭＤ本体１００は、ユーザの耳に当たるモダン１０２Ａ，１０２Ｂが一端に取り付けられたテンプル１０４Ａ，１０４Ｂと、テンプル１０４Ａ，１０４Ｂの他端に蝶番１１２Ａ，１１２Ｂを介して連結されたヨロイ１０６Ａ，１０６Ｂと、ヨロイ１０６Ａ，１０６Ｂを連結するフロントフレーム１０８と、フロントフレーム１０８の中央部に取り付けられ、ユーザの鼻に当接する鼻パッド１１０とを備える。これら各部は、ＨＭＤ本体１００の骨格部を形成する。ヨロイ１０６Ａ，１０６Ｂに形成された蝶番１１２Ａ，１１２Ｂでテンプル１０４Ａ，１０４Ｂを折りたたむことができる。ＨＭＤ本体１００の骨格部の構成は、例えば、通常の眼鏡と同様であり、ＨＭＤ本体１００は、ユーザが装着した状態において、モダン１０２Ａ，１０２Ｂと、鼻パッド１１０とによりユーザの顔に支持される。なお、図２（ｂ）では、モダン１０２Ａ，１０２Ｂおよびテンプル１０４Ａ，１０４Ｂの図示を省略している。
【００１９】
ＨＭＤ本体１００の骨格部には、画像提示部１１４が、ヨロイ１０６Ａ付近に設けられた取付部１２２を介して取り付けられている。画像提示部１１４は、ヨロイ１０６Ａ付近に取付部１２２を介して取り付けられた状態において、ＨＭＤ本体１００を装着したユーザの左眼１１８と略同一の高さとなる位置に配置されている。画像提示部１１４の上面にはＣＣＤセンサ２６０が取り付けられている（図２で図示を省略、図１参照）。画像提示部１１４およびＣＣＤセンサ２６０は、信号ケーブル２５０を介して制御ボックス２００と接続されている。詳細は後述するが、制御ボックス２００は、所定の領域に記憶されたコンテンツデータに対して再生処理（レンダリング処理）を実行し、これによって形成されたコンテンツ画像を含む画像信号を、信号ケーブル２５０を介して画像提示部１１４に出力する。画像提示部１１４は、制御ボックス２００が出力する画像信号を取得し、画像信号に基づくコンテンツ画像を、ハーフミラー１１６に向けて光学的に出射する。
【００２０】
画像提示部１１４から出射されたコンテンツ画像を表す画像光１２０ａは、ハーフミラー１１６で反射し、反射した画像光１２０ｂがユーザの左眼１１８に入射、換言すれば、視認可能に提示（投影）される。これにより、ユーザはコンテンツ画像を視認する。ハーフミラー１１６は、外界像を表す外光を透過する。ユーザは、ＨＭＤ本体１００を装着した状態でハーフミラー１１６を介して左眼１１８で外界像をコンテンツ画像と重ねて視認することができる。
【００２１】
なお、画像提示部１１４は、取得した画像信号に応じた画像光１２０ａ，１２０ｂを２次元方向に走査し、その走査された画像光１２０ａ，１２０ｂをユーザの左眼１１８に導き網膜上にコンテンツ画像を形成する網膜走査型のディスプレイを用いて構成することができる他、液晶ディスプレイ、有機ＥＬ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイその他の装置を用いた構成とすることもできる。
【００２２】
（制御ボックス）
制御ボックス２００について、図３を参照して説明する。制御ボックス２００は、自装置の制御を司るＣＰＵ２０２と、以下に説明するメイン処理および表示効果付加処理を含む各種処理のためのプログラムを記憶するプログラムＲＯＭ２０４と、コンテンツデータその他各種データを記憶する不揮発性のフラッシュＲＯＭ２０６と、作業領域としてのＲＡＭ２０８とを備える。例えば、ＣＰＵ２０２は、ＲＡＭ２０８上で、プログラムＲＯＭ２０４に記憶されているメイン処理（図５参照）のためのプログラムを実行する。また、ＣＰＵ２０２は、メイン処理の中で、再生処理のためのプログラムを実行し、所定の場合に表示効果付加処理（図７参照）のためのプログラムを実行する。ＣＰＵ２０２が、プログラムＲＯＭ２０４に記憶された各種プログラムをＲＡＭ２０８上で実行することにより、各種機能手段が構成される。
【００２３】
制御ボックス２００は、ビデオＲＡＭ２１０と、ＨＭＤ接続Ｉ／Ｆコントローラ２２０と外部装置接続Ｉ／Ｆコントローラ２３０と周辺Ｉ／Ｆ２４０とを備える。ビデオＲＡＭ２１０は、再生処理によって形成されたコンテンツ画像および後述する外部装置４００から入力されたコンテンツ画像などを記憶する。ＨＭＤ接続Ｉ／Ｆコントローラ２２０は、信号ケーブル２５０を介してＨＭＤ本体１００に接続され、ＣＰＵ２０２からの指令に基づき、ＨＭＤ本体１００の画像提示部１１４との間で行われる各種信号の入出力を制御する。具体的に、ＨＭＤ接続Ｉ／Ｆコントローラ２２０は、コンテンツ画像を含む画像信号および画像提示部１１４に対する制御信号などを、画像提示部１１４に出力する。
【００２４】
外部装置接続Ｉ／Ｆコントローラ２３０は、所定のケーブルを介してパーソナルコンピュータなどの外部装置４００に接続され、ＣＰＵ２０２からの指令に基づき、外部装置４００との間の通信を制御する。例えば、外部装置接続Ｉ／Ｆコントローラ２３０は、外部装置４００から入力される画像信号を受信する。なお、外部装置接続Ｉ／Ｆコントローラ２３０は、受信した画像信号によるコンテンツ画像をビデオＲＡＭ２１０に記憶する。
【００２５】
周辺Ｉ／Ｆ２４０は、ＣＣＤセンサ２６０、電源スイッチ２７０および電源ランプ２８０などが接続される接続Ｉ／Ｆである。ＣＰＵ２０２は、ＣＣＤセンサ２６０によって撮像された外界像を周辺Ｉ／Ｆ２４０を介して取得する。ユーザは、電源スイッチ２７０を介して画像提示部１１４および制御ボックス２００のオン、オフを操作する。電源ランプ２８０は、電源スイッチ２７０がオンされたとき点灯し、オフされたとき消灯する。
【００２６】
（画像提示部）
画像提示部１１４について、図４を参照して説明する。画像提示部１１４は、走査画像光生成部３１２１、コリメート光学系３１２２、水平走査部３１２３、垂直走査部３１２４、リレー光学系３１２５、リレー光学系３１２６を有している。
【００２７】
走査画像光生成部３１２１は、ＨＭＤ接続Ｉ／Ｆコントローラ２２０が出力する画像信号を、ドットクロック毎に読み出し、読み出した画像信号に応じて強度変調して走査画像光を生成する装置である。走査画像光生成部３１２１は、信号処理回路３２１１、光源部３２１２、光合成部３２１３を有している。
【００２８】
信号処理回路３２１１は、ＨＭＤ接続Ｉ／Ｆコントローラ２２０と接続している。信号処理回路３２１１は、ＨＭＤ接続Ｉ／Ｆコントローラ２２０から入力された画像信号に基づいて、走査画像光を生成するための要素となるＢ（青）、Ｇ（緑）、Ｒ（赤）の各画像信号３２１４ａ〜３２１４ｃを生成し、光源部３２１２に出力する。また、信号処理回路３２１１は、後述する水平走査部３１２３の水平走査制御回路３１２３ｂと接続している。信号処理回路３２１１は、ＨＭＤ接続Ｉ／Ｆコントローラ２２０から入力された画像信号に基づいて水平駆動信号３２１５を生成し、この水平駆動信号３２１５を水平走査制御回路３１２３ｂに出力する。さらに、信号処理回路３２１１は、後述する垂直走査制御回路３１２４ｂと接続している。信号処理回路３２１１は、ＨＭＤ接続Ｉ／Ｆコントローラ２２０から入力された画像信号に基づいて垂直駆動信号３２１６を生成し、この垂直駆動信号３２１６を垂直走査制御回路３１２４ｂに出力する。
【００２９】
光源部３２１２は、Ｂレーザドライバ３２１２ａ、Ｇレーザドライバ３２１２ｂ、Ｒレーザドライバ３２１２ｃ、Ｂレーザ３２１２ｄ、Ｇレーザ３２１２ｅ、Ｒレーザ３２１２ｆから構成されている。Ｂレーザドライバ３２１２ａは、信号処理回路３２１１からドットクロック毎に出力されたＢ（青）の画像信号３２１４ａに基づき、Ｂレーザ３２１２ｄを駆動させる。Ｂレーザ３２１２ｄは、Ｂ（青）の画像信号３２１４ａに基づき、強度変調された青色のレーザ光を出射する。Ｇレーザ３２１２ｅおよびＲレーザ３２１２ｆも、同様に、それぞれ強度変調された、緑色のレーザ光、赤色のレーザ光を出射する。
【００３０】
各レーザ３２１２ｄ〜３２１２ｆには、半導体レーザや、高調波発生機能付固体レーザが含まれる。なお、半導体レーザを用いる場合には、駆動電流を直接変調して、レーザ光の強度変調を行う。また、高調波発生機能付固体レーザを用いる場合には、各レーザ３２１２ｄ〜３２１２ｆそれぞれに、外部変調器を備えてレーザ光の強度変調を行う。なお、高調波発生の効率は高くなく、さらに外部変調器での損失も加わるため、高調波発生機能付固体レーザの消費電力は大きくなるため、各レーザ３２１２ｄ〜３２１２ｆに半導体レーザを用いることが好ましい。
【００３１】
光合成部３２１３は、コリメート光学系３２１３ａ〜３２１３ｃ、ダイクロイックミラー３２１３ｄ〜３２１３ｆ、結合光学系３２１３ｇとから構成されている。コリメート光学系３２１３ａ〜３２１３ｃは、それぞれ、各レーザ３２１２ｄ〜３２１２ｆの前方に配設されていて、各レーザ３２１２ｄ〜３２１２ｆが出射したレーザ光を、平行光化する。ダイクロイックミラー３２１３ｄ〜３２１３ｆは、それぞれ、コリメート光学系３２１３ａ〜３２１３ｃの前方に配設されていて、各コリメート光学系３２１３ａ〜３２１３ｃが平行化した各レーザ光を、所定の範囲の波長のレーザ光のみを選択的に、反射または透過する。
【００３２】
結合光学系３２１３ｇは、ダイクロイックミラー３２１３ｄの前方に配設されている。ダイクロイックミラー３２１３ｄを透過した青色のレーザ光および、ダイクロイックミラー３２１３ｅ、３２１３ｆでそれぞれ反射された、緑色のレーザ光、赤色のレーザ光が、結合光学系３２１３ｇに入射する。結合光学系３２１３ｇは、各３原色のレーザ光を集光（混合）させて、光ファイバ３１２７に入射させる。なお、青色のレーザ光、緑色のレーザ光、赤色の各レーザ光の強度を均等にすると、白色を表現することができる。
【００３３】
水平走査部３１２３および垂直走査部３１２４は、光ファイバ３１２７に入射されたレーザ光を、画像として照射するために、当該レーザ光を水平方向と垂直方向に走査して走査画像光を生成する。
【００３４】
水平走査部３１２３は、共振型偏向素子３１２３ａ、水平走査制御回路３１２３ｂ、水平走査角検出回路３１２３ｃとから構成されている。光ファイバ３１２７に入射されたレーザ光は、コリメート光学系３１２２で平行光化され、共振型偏向素子３１２３ａに入射される。共振型偏向素子３１２３ａは、水平走査制御回路３１２３ｂで揺動される反射面３１２３ｄを有し、入射されたレーザ光を、揺動する反射面３１２３ｄで反射させて水平方向に走査する。水平走査制御回路３１２３ｂは、信号処理回路３２１１から出力される水平駆動信号３２１５に基づいて、共振型偏向素子３１２３ａの反射面３１２３ｄを揺動させる駆動信号を発生する。水平走査角検出回路３１２３ｃは、共振型偏向素子３１２３ａから出力される変位信号に基づいて、共振型偏向素子３１２３ａの反射面３１２３ｄの揺動範囲および揺動周波数などの揺動状態を検出し、当該揺動状態を示す信号を、ＨＭＤ接続Ｉ／Ｆコントローラ２２０に出力する。
【００３５】
垂直走査部３１２４は、偏向素子３１２４ａ、垂直走査制御回路３１２４ｂ、垂直走査角検出回路３１２４ｃとから構成されている。偏向素子３１２４ａは、垂直走査制御回路３１２４ｂで揺動される反射面３１２４ｄを有し、入射されたレーザ光を、揺動する反射面３１２４ｄで反射させて垂直方向に走査し、２次元的に走査された画像光として、リレー光学系３１２６に出射する。垂直走査制御回路３１２４ｂは、信号処理回路３２１１から出力される垂直駆動信号３２１６に基づいて、偏向素子３１２４ａの反射面３１２４ｄを揺動させる駆動信号を発生する。垂直走査角検出回路３１２４ｃは、偏向素子３１２４ａから出力される変位信号に基づいて、偏向素子３１２４ａの反射面３１２４ｄの揺動範囲および揺動周波数などの揺動状態を検出し、当該揺動状態を示す信号を、ＨＭＤ接続Ｉ／Ｆコントローラ２２０に出力する。
【００３６】
リレー光学系３１２５は、共振型偏向素子３１２３ａと偏向素子３１２４ａの間に配設されている。リレー光学系３１２５は、共振型偏向素子３１２３ａの反射面３１２３ｄで水平方向に走査されたレーザ光を、偏向素子３１２４ａの反射面３１２４ｄに入射させる。
【００３７】
信号処理回路３２１１は、ＨＭＤ接続Ｉ／Ｆコントローラ２２０から入力された画像信号に基づいて、水平駆動信号３２１５と垂直駆動信号３２１６を、それぞれ水平走査制御回路３１２３ｂと垂直走査制御回路３１２４ｂに出力し、反射面３１２３ｄ、３１２４ｄの走査角を変更することにより、画像光を生成する。
【００３８】
こうして変更された反射面３１２３ｄ、３１２４ｄの走査角度は、水平走査角検出回路３１２３ｃおよび垂直走査角検出回路３１２４ｃによって検出信号として検出され、当該検出信号がＨＭＤ接続Ｉ／Ｆコントローラ２２０に入力され、水平駆動信号３２１５および垂直駆動信号３２１６にフィードバックされる。
【００３９】
リレー光学系３１２６は、正の屈折力を持つレンズ系３１２６ａ、３１２６ｂを有している。偏向素子３１２４ａから出射された画像光は、レンズ系３１２６ａによって、それぞれの画像光が、その走査画像光の中心線を相互に略平行にされ、かつそれぞれ収束画像光に変換される。前記収束画像光は、レンズ系３１２６ｂによってそれぞれほぼ平行な走査画像光となるとともに、これらの走査画像光の中心線がユーザの瞳孔Ｅａに収束するように集光される。
【００４０】
なお、本実施形態では、光ファイバ３１２７から入射されたレーザ光を、水平走査部３１２３で水平方向に走査した後、垂直走査部３１２４によって垂直方向に走査することとしたが、水平走査部３１２３と垂直走査部３１２４の配置を入れ替え、垂直走査部３１２４に垂直方向に走査した後、水平走査部３１２３で水平方向に走査するように構成してもよい。
【００４１】
（メイン処理）
メイン処理について、図５を参照して説明する。メイン処理は、制御ボックス２００のＣＰＵ２０２が、ＲＡＭ２０８上で、プログラムＲＯＭ２０４に記憶されたこの処理のためのプログラムを実行することで行われる。ＣＰＵ２０２は、この処理の実行に際し、フラッシュＲＯＭ２０６に記憶されたコンテンツデータ、ＣＣＤセンサ２６０によって撮像された外界像および外部装置接続Ｉ／Ｆコントローラ２３０によって受信されたコンテンツ画像などのデータを用いる。
【００４２】
まず、ユーザは、制御ボックス２００の操作部（図示を省略）を操作して、ＨＭＤ１０によって視認するコンテンツを選択する。ＣＰＵ２０２は、このユーザ選択がなされた場合、選択されたコンテンツに対応するコンテンツデータを対象として、この処理を開始する。この処理を開始したＣＰＵ２０２は、ＣＣＤセンサ２６０を制御し、外界像の撮像を開始する（Ｓ１００）。ここで、ＣＰＵ２０２は、Ｓ１００に合わせ、選択されたコンテンツデータをフラッシュＲＯＭ２０６から読み出してＲＡＭ２０８に記憶し、このコンテンツデータに対して再生処理を実行する。そして、これによって形成されたコンテンツ画像をビデオＲＡＭ２１０に記憶する。外部装置４００から画像信号が入力される場合、外部装置接続Ｉ／Ｆコントローラ２３０は、受信した画像信号によるコンテンツ画像をビデオＲＡＭ２１０に記憶する。
【００４３】
Ｓ１０２でＣＰＵ２０２は、ビデオＲＡＭ２１０に記憶されているコンテンツ画像と、ＣＣＤセンサ２６０によって撮像された外界像とを解析し、コンテンツ画像と外界像との類似を判断する。なお、コンテンツ画像が複数ある場合、ＣＰＵ２０２は、コンテンツ画像それぞれについてＳ１０２の判断を実行する。例えば、コンテンツデータが、複数ページからなる作業指図書を示すものであるとき、各ページに対応するコンテンツ画像それぞれについて、外界像との類似を判断する。なお、類似の判断方法としては、様々な周知の画像処理方法が使用可能である。例えば、エッジ検出によりコンテンツ画像と外界像とから輪郭が抽出される。そして、抽出された両者の輪郭の内側の画像をパターンマッチングにより比較することで、コンテンツ画像と外界像との類似が判断される。また、コンテンツ画像と外界像との間で、色相や彩度のヒストグラムの比較や、空間周波数の比較などを行うことで類似が判断されてもよい。
【００４４】
Ｓ１０２の判断の結果、外界像に類似するコンテンツ画像が含まれていない場合（Ｓ１０２：非類似）、ＣＰＵ２０２は処理をＳ１０４に移行する。一方、外界像に類似するコンテンツ画像が含まれている場合（Ｓ１０２：類似）、ＣＰＵ２０２は処理をＳ１０６に移行する。Ｓ１０４でＣＰＵ２０２は、ビデオＲＡＭ２１０に記憶されているコンテンツ画像を含む画像信号と、コンテンツ画像の提示についての制御信号とを、ＨＭＤ接続Ｉ／Ｆコントローラ２２０を介して画像提示部１１４に出力し、画像提示部１１４からのコンテンツ画像の提示を実行する。これによって、ユーザは、表示効果が付加されていないコンテンツ画像を視認する。
【００４５】
Ｓ１０６でＣＰＵ２０２は、ビデオＲＡＭ２１０に記憶されているコンテンツ画像に対して、表示効果を付加する。ここで、コンテンツ画像が複数ある場合、複数のコンテンツ画像全てに対してＳ１０６の処理を実行する。Ｓ１０２で類似すると判断されたコンテンツ画像の全てを対象として、Ｓ１０６の処理を実行する構成とすることもできる。なお、Ｓ１０６で実行される表示効果付加処理については、後述する。
【００４６】
Ｓ１０８でＣＰＵ２０２は、Ｓ１０４と同じ処理を実行して、Ｓ１０６で表示効果が付加された効果付きコンテンツ画像５０４Ａ（図６（ａ）参照）を含む画像信号を出力し、画像提示部１１４からの効果付きコンテンツ画像５０４Ａの提示を実行する。これによって、ユーザは、例えば、コンテンツ画像に含まれる第１オブジェクト５００を囲む枠５０２が付加された効果付きコンテンツ画像５０４Ａを視認する。具体的には、サーバコンピュータの背面に設けられたコネクタに、所定のケーブルを接続するような組立作業で、ＨＭＤ１０が、この作業の作業指図書を提供するツールとして利用される場合、ユーザは、図６（ａ）に示すように第１オブジェクト５００としてのコネクタ画像を囲む枠５０２が付加された効果付きコンテンツ画像５０４Ａを視認する。
【００４７】
また、ユーザは、図６（ａ）に示す第１オブジェクト５００としてのコネクタ画像を含む効果付きコンテンツ画像５０４Ａを視認しつつ、左眼１１８でハーフミラー１１６を介した自身の視野（図６（ｂ）参照）内の外界像（サーバコンピュータの背面）に含まれる第２オブジェクト５１０としてのコネクタ画像をも視認する（図６（ｂ）参照）。しかし、第１オブジェクト５００としてのコネクタ画像には枠５０２が付加されているため、ユーザは、画像提示部１１４による第１オブジェクト５００としてのコネクタ画像と、第２オブジェクト５１０としてのコネクタ画像とが、仮に類似していたとしても区別することができる。換言すれば、ユーザは、画像提示部１１４から提示されたコンテンツ画像（効果付きコンテンツ画像５０４Ａ）と、外界像とを区別することができる。
【００４８】
Ｓ１０４またはＳ１０８を実行した後、ＣＰＵ２０２は、ユーザが制御ボックス２００の操作部（図示を省略）を操作し、または、電源スイッチ２７０がオフされ、この処理の終了指令が入力されたかを判断する（Ｓ１１０）。判断の結果、終了指令が入力されていない場合（Ｓ１１０：Ｎｏ）、ＣＰＵ２０２は処理をＳ１００に戻し、上記各ステップを繰り返して実行する。一方、終了指令が入力された場合（Ｓ１１０：Ｙｅｓ）、ＣＰＵ２０２はこの処理を終了する。
【００４９】
（表示効果付加処理）
図５に示すメイン処理のＳ１０６で実行される表示効果付加処理について、図７を参照して説明する。この処理を開始したＣＰＵ２０２は、ＣＣＤセンサ２６０によって撮像された外界像から、これに含まれる第２オブジェクト５１０を抽出する（Ｓ２００）。また、ＣＰＵ２０２は、コンテンツ画像から、これに含まれる第１オブジェクト５００を抽出する（Ｓ２０２）。なお、外界像からの第２オブジェクト５１０の抽出と、コンテンツ画像からの第１オブジェクト５００の抽出とに際し、ＣＰＵ２０２は、所定の画像解析を実行する。
【００５０】
Ｓ２００およびＳ２０２を実行した後、ＣＰＵ２０２は、両ステップで抽出された第１オブジェクト５００と第２オブジェクト５１０との中から、それぞれ１つを選択する。そして、ＣＰＵ２０２は、選択した第１オブジェクト５００と第２オブジェクト５１０とを比較し（Ｓ２０４）、両者の類似を判断する（Ｓ２０６）。例えば、ＣＰＵ２０２は、第１オブジェクト５００の輪郭を特定し、また、第２オブジェクト５１０の輪郭を特定し、特定した各輪郭を比較し、類似を判断する。
【００５１】
Ｓ２０６の判断の結果、第１オブジェクト５００と第２オブジェクト５１０とが類似している場合（Ｓ２０６：Ｙｅｓ）、ＣＰＵ２０２は処理をＳ２０８に移行する一方、類似していない場合（Ｓ２０６：Ｎｏ）、Ｓ２０８を実行することなく、処理をＳ２１０に移行する。すなわち、ＣＰＵ２０２は、第１オブジェクト５００と第２オブジェクト５１０とが類似している場合に限りＳ２０８を実行する。
【００５２】
Ｓ２０８でＣＰＵ２０２は、第２オブジェクト５１０に類似する第１オブジェクト５００を囲む枠５０２を付加する処理をコンテンツ画像に対して実行する。これによって、効果付きコンテンツ画像５０４Ａが形成される。Ｓ２１０でＣＰＵ２０２は、Ｓ２００で抽出された第２オブジェクト５１０とＳ２０２で抽出された第１オブジェクト５００とを全て比較したかを判断する。例えば、ＣＰＵ２０２は、Ｓ２０２で抽出された第１オブジェクト５００を順次選択し、その全てについてＳ２００で抽出された第２オブジェクト５１０と比較したかを判断する。
【００５３】
Ｓ２１０の判断の結果、比較されていない第１オブジェクト５００と第２オブジェクト５１０とが存在する場合（Ｓ２１０：Ｎｏ）、ＣＰＵ２０２は、処理をＳ２０４に戻し、未比較の第１オブジェクト５００と第２オブジェクト５１０とを選択し、上記Ｓ２００〜Ｓ２０８を繰り返して実行する。一方、未比較の第１オブジェクト５００と第２オブジェクト５１０が存在しない場合（Ｓ２１０：Ｙｅｓ）、ＣＰＵ２０２はこの処理を終了し、処理を図５に示すメイン処理のＳ１０８に移行する。
【００５４】
（変形例）
上述した本実施形態の構成は、次のようにすることもできる。
【００５５】
（１）上記では、ＨＭＤ本体１００と制御ボックス２００とが別体のＨＭＤ１０を例に説明したが、ＨＭＤ本体１００と制御ボックス２００とを一体で構成したＨＭＤとすることもできる。この場合、制御ボックス２００の各構成（図３参照）は、例えば画像提示部１１４を形成する筐体（カバー）内に収容される。
【００５６】
（２）上記では、図５に示すメイン処理のＳ１０２で「類似」と判断された場合、Ｓ１０６で図７に示す表示効果付加処理を実行し、枠５０２で囲まれた第１オブジェクト５００を含む効果付きコンテンツ画像５０４Ａ（図６（ａ）参照）を形成する構成を例に説明した。このような構成の他、例えば、図５に示すメイン処理のＳ１０２で「類似」と判断された場合、ＣＰＵ２０２は、図８（ａ）に示すように、画像提示部１１４がコンテンツ画像を提示する範囲（最大提示範囲）を囲む枠５２０（最大提示範囲の外縁に一致する枠５２０）をコンテンツ画像に付加し、その後、処理を図５のＳ１０８に移行する構成とすることもできる。
【００５７】
この場合、Ｓ１０８でＣＰＵ２０２は、効果付きコンテンツ画像５０４Ｂを含む画像信号を出力し、画像提示部１１４からの効果付きコンテンツ画像５０４Ｂの提示を実行する。ユーザは、図８（ａ）に示す態様の効果付きコンテンツ画像５０４Ｂを視認するため、画像提示部１１４から提示されたコンテンツ画像（効果付きコンテンツ画像５０４Ｂ）と、図８（ｂ）に示すサーバコンピュータの背面に設けられたコネクタを表す第２オブジェクト５１０としてのコネクタ画像を含む外界像とを区別（第１オブジェクト５００と第２オブジェクト５１０とを区別）することができる。なお、コンテンツ画像の画像サイズが最大提示範囲より小さい場合などにおいては、コンテンツ画像の外縁を枠で囲む構成としてもよい。
【００５８】
（３）上記では、図５に示すメイン処理でＳ１０２を実行する構成とし、その判断結果に応じて、処理をＳ１０４またはＳ１０６に分岐する構成を例に説明した。しかし、このような構成の他、Ｓ１０２を省略し（Ｓ１０４についても省略）、直接、Ｓ１０６に移行して図７に示す表示効果付加処理を実行する構成とすることもできる。この場合、ＣＰＵ２０２は、コンテンツ画像と外界像とが類似しているか否かに関わらず、図７に示す表示効果付加処理を実行する。そして、ＣＰＵ２０２は、コンテンツ画像に含まれる第１オブジェクト５００と、外界像に含まれる第２オブジェクト５１０とを比較し、類似していると判断される場合（Ｓ２０６：Ｙｅｓ）、第２オブジェクト５１０に類似すると判断された第１オブジェクト５００を囲む枠５０２を付加する処理をコンテンツ画像に対して実行し（Ｓ２０８）、これによる効果付きコンテンツ画像５０４Ｂを提示する（Ｓ１０８）。したがって、この変形例（３）の構成によっても、ユーザは、上記同様、コンテンツ画像（効果付きコンテンツ画像５０４Ｂ）と外界像とを区別することができる。なお、類似していると判断される第１オブジェクト５００が存在しない場合（Ｓ２０６：Ｎｏ）、ＣＰＵ２０２は、Ｓ２０８を実行しない。したがって、Ｓ１０８では、コンテンツ画像が、図５のＳ１０４と同様の態様で提示される。
【００５９】
（４）上記では、図７に示す表示効果付加処理で、外界像に含まれる第２オブジェクト５１０を抽出し（Ｓ２００）、これに類似する第１オブジェクト５１０に対し枠５０２を付加する（Ｓ２０６：Ｙｅｓ，Ｓ２０８）構成を例に説明した。しかし、このような構成の他、例えばＳ２００，Ｓ２０４，Ｓ２０６の各ステップを省略し、コンテンツ画像から抽出された第１オブジェクト５００の全てに枠５０２を付加する（Ｓ２０８）構成とすることもできる。この場合、Ｓ２１０は、全ての第１オブジェクト５００に対して枠５０２が付加されたかに基づいて判断される。
【００６０】
（５）上記では、第１オブジェクト５００に枠５０２を付加する構成（例えば本実施形態，図６（ａ）参照）と、画像提示部１１４がコンテンツ画像を提示する範囲（最大提示範囲）を囲む枠５２０を付加する構成（上記変形例（２），図８（ａ）参照）とを説明した。しかし、このような構成の他、コンテンツ画像の色を変化させて、コンテンツ画像に表示効果を付加する構成とすることもできる。具体的に、第１オブジェクト５００またはコンテンツ画像全体を、ハーフミラー１１６を介して視認される外界像の色合いと異なる色、例えば赤味がかった色（色合い）とする。この変形例（５）の構成によっても、ユーザは、コンテンツ画像と外界像とを区別することができる。
【００６１】
（６）上記では、図５に示すメイン処理でコンテンツ画像と外界像との類似を判断し（Ｓ１０２）、このＳ１０２の判断で「類似」と判断された場合、さらに、図７の表示効果付加処理で、第１オブジェクト５００と第２オブジェクト５１０との類似を判断し（Ｓ２０６）、このＳ２０６の判断が肯定された場合（Ｓ２０６：Ｙｅｓ）、第１オブジェクト５００を囲む枠５０２を表示効果として付加する（Ｓ２０８）構成を例に説明した。しかし、このような構成とは異なる構成とすることもできる。
【００６２】
具体的に、ＨＭＤ１０でユーザが視認するコンテンツ画像の種別にしたがい、コンテンツ画像と外界像との類似を判断する構成とすることもできる。例えば、上述したような態様、すなわち、ＨＭＤ１０が、所定の製品の組立作業で、この作業の作業指図書を提供するツールとして利用される場合、ユーザは、外界像として、組立てに用いる部品（図６，図８に基づけば「コネクタ」が対応）などを、ハーフミラー１１６を介して視認する。このような状態で、表示効果が付加されずに、組立てに用いる部品などを含むコンテンツ画像が、ユーザの左眼１１８に提示されると、コンテンツ画像に含まれる部品を、実際の部品と誤って認識してしまうといった事態の発生が想定される。すなわち、提示されるコンテンツ画像の種別を判断し、このような事態が想定される種別のものである場合、本実施形態の上記具体的な判断を行うことなしに、コンテンツ画像と外界像とが類似するとみなすようにしてもよい。
【００６３】
また、外部装置４００から、コンテンツ画像を含む画像信号を外部装置接続Ｉ／Ｆコントローラ２３０を介して受信する場合、外部装置４００側で、本実施形態の上記具体的な判断自体を実行し、その判断結果を示す信号を、画像信号とともに受信し、判断結果を示す信号にしたがってコンテンツ画像と外界像との類似を判断する構成とすることもできる。例えばＨＭＤ１０が上記のように作業指図書を提供するツールとして利用される場合、外部装置４００としては、組立作業を監視するセンターに設置されているコンピュータが想定される。なお、この変形例（６）の構成による場合、ＨＭＤ１０（制御ボックス２００のＣＰＵ２０２）では、本実施形態の上記具体的な判断を行わないため、ＣＣＤセンサ２６０と、図５のメイン処理のＳ１００については、省略することができる。
【００６４】
（本実施形態の構成による有利な効果）
本実施形態の構成によれば、コンテンツ画像に表示効果を付加するため、コンテンツ画像と外界像とを区別（第１オブジェクト５００と第２オブジェクト５１０とを区別）することができる。
【符号の説明】
【００６５】
１０ ヘッドマウントディスプレイ（ＨＭＤ）
１００ ヘッドマウントディスプレイ本体（ＨＭＤ本体）
１１４ 画像提示部
１１６ ハーフミラー
２００ 制御ボックス
２０２ ＣＰＵ
２０４ プログラムＲＯＭ
２０６ フラッシュＲＯＭ
２０８ ＲＡＭ
２６０ ＣＣＤセンサ
５０２，５２０ 枠
【技術分野】
【０００１】
本発明は、ユーザの眼にコンテンツデータによって示されるコンテンツ画像を視認可能に提示するシースルー型のヘッドマウントディスプレイに関するものである。
【背景技術】
【０００２】
従来から、ユーザの眼にコンテンツデータにより示されるコンテンツ画像を視認可能に提示するシースルー型のヘッドマウントディスプレイに関する技術が提案されている。例えば、画像を表示する透光型の液晶表示パネルを有し、これが目の直前にくるように頭部に装着されるめがね部を持つヘッドマウント型のＡＶ装置と、各作業過程の作業対象物を象って予め作成された各種アニメーション画像を記憶する記憶部と、各作業過程の順番に従って、ＡＶ装置を装着する装着者によって液晶表示パネルを通して視認される作業対象物そのものに対して、記憶部に記憶された対応するアニメーション画像が重なるように、そのアニメーション画像を液晶表示パネルに表示するアニメーション表示処理機能とを備え、各作業過程の順番に従って、アニメーション画像を液晶表示パネルに表示することにより、作業対象物に対して行われるべき作業内容を装着者に示すようにした技術が提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−２１９３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、シースルー型のヘッドマウントディスプレイでは、外界像の上に重ねてコンテンツ画像が提示されるため、ユーザが外界像と区別してコンテンツ画像を視認し、認識することが困難となる場合がある。例えば、特許文献１のように、作業内容を表示するなどの作業支援にヘッドマウントディスプレイが用いられる場合、ユーザ（作業者）の注意がコンテンツ画像に常に向けられているわけではない。ユーザは、コンテンツ画像より作業対象物および／またはその周囲などに十分注意を向ける必要がある。そのため、ユーザにとって、コンテンツ画像と外界像とを区別して視認することが困難となることがあった。このような状態は、コンテンツ画像である部品の画像を実物と勘違いさせ、手を伸ばしても触ることができないなど、作業効率を低下させまたはユーザを困惑させる可能性があった。特に背景が暗い場合、部品が外界の中に存在するように見えてしまう。
【０００５】
本発明は、ユーザが外界像と区別してコンテンツ画像を視認し易いシースルー型のヘッドマウントディスプレイを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記従来の課題に鑑みなされた本発明は、コンテンツデータによって示されるコンテンツ画像をユーザの眼に視認可能に提示し、コンテンツ画像を視認しているユーザが外界像をこのコンテンツ画像と重ねて視認できるシースルー型のヘッドマウントディスプレイであって、コンテンツ画像と外界像とが類似している場合、このコンテンツ画像に表示効果を付加し、表示効果が付加されたコンテンツ画像を、ユーザの眼に提示することとしたものである。
【０００７】
本発明を反映した第１の課題解決手段は、コンテンツデータによって示されるコンテンツ画像をユーザの眼に視認可能に提示し、前記コンテンツ画像を視認しているユーザが外界像を前記コンテンツ画像と重ねて視認できるシースルー型のヘッドマウントディスプレイであって、前記コンテンツ画像と前記外界像との類似について判断する判断手段と、前記判断手段によって前記コンテンツ画像と前記外界像とが類似すると判断された場合、前記コンテンツデータに対して画像処理を実行し、前記コンテンツ画像に表示効果を付加する表示効果付加手段と、前記表示効果付加手段によって前記表示効果が付加された前記コンテンツ画像を、前記ユーザの眼に提示するコンテンツ画像提示手段とを備えることを特徴とするヘッドマウントディスプレイである。これによれば、コンテンツ画像と外界像とが類似する場合に、表示効果を付加したコンテンツ画像をユーザの眼に提示することができる。
【０００８】
第２の課題解決手段は、第１の課題解決手段のヘッドマウントディスプレイであって、前記外界像を撮像する撮像手段を備え、前記判断手段は、前記コンテンツ画像と、前記撮像手段によって撮像された前記外界像との類似について判断することを特徴とする。これによれば、撮像手段によって撮像された外界像を対象として、コンテンツ画像と外界像との類似を判断することができる。
【０００９】
第３の課題解決手段は、第１または第２の課題解決手段のヘッドマウントディスプレイであって、前記表示効果付加手段は、前記コンテンツ画像提示手段が前記コンテンツ画像を提示する範囲を囲む枠を、前記表示効果として付加することを特徴とする。これによれば、ユーザに、コンテンツ画像が提示されている範囲を好適に視認（認識）させることができる。
【００１０】
第４の課題解決手段は、第１または第２の課題解決手段のヘッドマウントディスプレイであって、前記表示効果付加手段は、前記コンテンツ画像に含まれる第１オブジェクトを囲む枠を、前記第１オブジェクトに前記表示効果として付加することを特徴とする。これによれば、ユーザに、コンテンツ画像に含まれる第１オブジェクトを好適に視認（認識）させることができる。
【００１１】
第５の課題解決手段は、第４の課題解決手段のヘッドマウントディスプレイであって、前記判断手段は、前記第１オブジェクトと前記外界像に含まれる第２オブジェクトとを比較して、前記コンテンツ画像と前記外界像との類似について判断し、前記表示効果付加手段は、前記枠を、前記判断手段によって前記第２オブジェクトに類似すると判断された前記第１オブジェクトにのみ前記表示効果として付加することを特徴とする。これによれば、外界像に含まれる第２オブジェクトに類似する、コンテンツ画像に含まれる第１オブジェクトに対して、表示効果としての枠を付加することができる。換言すれば、外界像との区別がつき難いコンテンツ画像の部分（第１オブジェクト）にのみ、表示効果としての枠を付加することができる。
【００１２】
第６の課題解決手段は、第１または第２の課題解決手段のヘッドマウントディスプレイであって、前記表示効果付加手段は、前記コンテンツ画像の色を変化させて、前記コンテンツ画像に前記表示効果を付加することを特徴とする。これによれば、ユーザに、コンテンツ画像の範囲を認識させることができる。
【００１３】
第７の課題解決手段は、第１から第６の課題解決手段のいずれか１つのヘッドマウントディスプレイであって、前記表示効果付加手段は、前記判断手段によって前記コンテンツ画像と前記外界像とが類似していないと判断された場合、前記コンテンツデータに対して前記画像処理を未実行として、前記コンテンツ画像に前記表示効果を付加せず、前記コンテンツ画像提示手段は、前記表示効果付加手段によって前記表示効果が付加されていない前記コンテンツ画像を、前記ユーザの眼に提示することを特徴とする。これによれば、コンテンツ画像と外界像とが類似していない場合、表示効果を付加する画像処理を行わないようにできる。換言すれば、コンテンツ画像と外界像とが類似し、その区別が困難となる可能性がある場合に限り、表示効果を付加する画像処理を実行するようにできる。
【発明の効果】
【００１４】
本発明によれば、ユーザが外界像と区別してコンテンツ画像を視認し易いシースルー型のヘッドマウントディスプレイを得ることができる。
【図面の簡単な説明】
【００１５】
【図１】ヘッドマウントディスプレイを示す図である。
【図２】（ａ）はヘッドマウントディスプレイ本体の上面図であり、（ｂ）は正面図であり、（ｃ）は左側面図である。
【図３】制御ボックスの機能ブロックを示す図である。
【図４】画像提示部の機能ブロックを示す図である。
【図５】メイン処理のフローチャートを示す図である。
【図６】（ａ）はコンテンツ画像に含まれる第１オブジェクトを囲む枠による表示効果が付加された効果付きコンテンツ画像を示し、（ｂ）は外界像を示す図である。
【図７】表示効果付加処理のフローチャートを示す図である。
【図８】（ａ）はコンテンツ画像に含まれる第１オブジェクトを囲む枠による表示効果が付加された効果付きコンテンツ画像を示し、（ｂ）は外界像を示す図である。
【発明を実施するための形態】
【００１６】
本発明を反映した上記課題解決手段を実施するための実施形態について、図面を用いて以下に詳細に説明する。上記課題解決手段は以下に記載の構成に限定されるものではなく、同一の技術的思想において種々の構成を採用することができる。例えば、以下に説明する各構成において、所定の構成を省略することができる。また、以下に説明する各処理において、所定のステップを省略することができる。
【００１７】
（ヘッドマウントディスプレイの概要）
ヘッドマウントディスプレイ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ／以下、「ＨＭＤ」ともいう。）１０について、図１および図２を参照して説明する。ＨＭＤ１０は、ＨＭＤ本体１００と制御ボックス２００とを含む。ＨＭＤ本体１００は、ユーザの顔に装着され、利用される。制御ボックス２００は、ユーザの腰などに取り付けられる。
【００１８】
ＨＭＤ本体１００は、ユーザの耳に当たるモダン１０２Ａ，１０２Ｂが一端に取り付けられたテンプル１０４Ａ，１０４Ｂと、テンプル１０４Ａ，１０４Ｂの他端に蝶番１１２Ａ，１１２Ｂを介して連結されたヨロイ１０６Ａ，１０６Ｂと、ヨロイ１０６Ａ，１０６Ｂを連結するフロントフレーム１０８と、フロントフレーム１０８の中央部に取り付けられ、ユーザの鼻に当接する鼻パッド１１０とを備える。これら各部は、ＨＭＤ本体１００の骨格部を形成する。ヨロイ１０６Ａ，１０６Ｂに形成された蝶番１１２Ａ，１１２Ｂでテンプル１０４Ａ，１０４Ｂを折りたたむことができる。ＨＭＤ本体１００の骨格部の構成は、例えば、通常の眼鏡と同様であり、ＨＭＤ本体１００は、ユーザが装着した状態において、モダン１０２Ａ，１０２Ｂと、鼻パッド１１０とによりユーザの顔に支持される。なお、図２（ｂ）では、モダン１０２Ａ，１０２Ｂおよびテンプル１０４Ａ，１０４Ｂの図示を省略している。
【００１９】
ＨＭＤ本体１００の骨格部には、画像提示部１１４が、ヨロイ１０６Ａ付近に設けられた取付部１２２を介して取り付けられている。画像提示部１１４は、ヨロイ１０６Ａ付近に取付部１２２を介して取り付けられた状態において、ＨＭＤ本体１００を装着したユーザの左眼１１８と略同一の高さとなる位置に配置されている。画像提示部１１４の上面にはＣＣＤセンサ２６０が取り付けられている（図２で図示を省略、図１参照）。画像提示部１１４およびＣＣＤセンサ２６０は、信号ケーブル２５０を介して制御ボックス２００と接続されている。詳細は後述するが、制御ボックス２００は、所定の領域に記憶されたコンテンツデータに対して再生処理（レンダリング処理）を実行し、これによって形成されたコンテンツ画像を含む画像信号を、信号ケーブル２５０を介して画像提示部１１４に出力する。画像提示部１１４は、制御ボックス２００が出力する画像信号を取得し、画像信号に基づくコンテンツ画像を、ハーフミラー１１６に向けて光学的に出射する。
【００２０】
画像提示部１１４から出射されたコンテンツ画像を表す画像光１２０ａは、ハーフミラー１１６で反射し、反射した画像光１２０ｂがユーザの左眼１１８に入射、換言すれば、視認可能に提示（投影）される。これにより、ユーザはコンテンツ画像を視認する。ハーフミラー１１６は、外界像を表す外光を透過する。ユーザは、ＨＭＤ本体１００を装着した状態でハーフミラー１１６を介して左眼１１８で外界像をコンテンツ画像と重ねて視認することができる。
【００２１】
なお、画像提示部１１４は、取得した画像信号に応じた画像光１２０ａ，１２０ｂを２次元方向に走査し、その走査された画像光１２０ａ，１２０ｂをユーザの左眼１１８に導き網膜上にコンテンツ画像を形成する網膜走査型のディスプレイを用いて構成することができる他、液晶ディスプレイ、有機ＥＬ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイその他の装置を用いた構成とすることもできる。
【００２２】
（制御ボックス）
制御ボックス２００について、図３を参照して説明する。制御ボックス２００は、自装置の制御を司るＣＰＵ２０２と、以下に説明するメイン処理および表示効果付加処理を含む各種処理のためのプログラムを記憶するプログラムＲＯＭ２０４と、コンテンツデータその他各種データを記憶する不揮発性のフラッシュＲＯＭ２０６と、作業領域としてのＲＡＭ２０８とを備える。例えば、ＣＰＵ２０２は、ＲＡＭ２０８上で、プログラムＲＯＭ２０４に記憶されているメイン処理（図５参照）のためのプログラムを実行する。また、ＣＰＵ２０２は、メイン処理の中で、再生処理のためのプログラムを実行し、所定の場合に表示効果付加処理（図７参照）のためのプログラムを実行する。ＣＰＵ２０２が、プログラムＲＯＭ２０４に記憶された各種プログラムをＲＡＭ２０８上で実行することにより、各種機能手段が構成される。
【００２３】
制御ボックス２００は、ビデオＲＡＭ２１０と、ＨＭＤ接続Ｉ／Ｆコントローラ２２０と外部装置接続Ｉ／Ｆコントローラ２３０と周辺Ｉ／Ｆ２４０とを備える。ビデオＲＡＭ２１０は、再生処理によって形成されたコンテンツ画像および後述する外部装置４００から入力されたコンテンツ画像などを記憶する。ＨＭＤ接続Ｉ／Ｆコントローラ２２０は、信号ケーブル２５０を介してＨＭＤ本体１００に接続され、ＣＰＵ２０２からの指令に基づき、ＨＭＤ本体１００の画像提示部１１４との間で行われる各種信号の入出力を制御する。具体的に、ＨＭＤ接続Ｉ／Ｆコントローラ２２０は、コンテンツ画像を含む画像信号および画像提示部１１４に対する制御信号などを、画像提示部１１４に出力する。
【００２４】
外部装置接続Ｉ／Ｆコントローラ２３０は、所定のケーブルを介してパーソナルコンピュータなどの外部装置４００に接続され、ＣＰＵ２０２からの指令に基づき、外部装置４００との間の通信を制御する。例えば、外部装置接続Ｉ／Ｆコントローラ２３０は、外部装置４００から入力される画像信号を受信する。なお、外部装置接続Ｉ／Ｆコントローラ２３０は、受信した画像信号によるコンテンツ画像をビデオＲＡＭ２１０に記憶する。
【００２５】
周辺Ｉ／Ｆ２４０は、ＣＣＤセンサ２６０、電源スイッチ２７０および電源ランプ２８０などが接続される接続Ｉ／Ｆである。ＣＰＵ２０２は、ＣＣＤセンサ２６０によって撮像された外界像を周辺Ｉ／Ｆ２４０を介して取得する。ユーザは、電源スイッチ２７０を介して画像提示部１１４および制御ボックス２００のオン、オフを操作する。電源ランプ２８０は、電源スイッチ２７０がオンされたとき点灯し、オフされたとき消灯する。
【００２６】
（画像提示部）
画像提示部１１４について、図４を参照して説明する。画像提示部１１４は、走査画像光生成部３１２１、コリメート光学系３１２２、水平走査部３１２３、垂直走査部３１２４、リレー光学系３１２５、リレー光学系３１２６を有している。
【００２７】
走査画像光生成部３１２１は、ＨＭＤ接続Ｉ／Ｆコントローラ２２０が出力する画像信号を、ドットクロック毎に読み出し、読み出した画像信号に応じて強度変調して走査画像光を生成する装置である。走査画像光生成部３１２１は、信号処理回路３２１１、光源部３２１２、光合成部３２１３を有している。
【００２８】
信号処理回路３２１１は、ＨＭＤ接続Ｉ／Ｆコントローラ２２０と接続している。信号処理回路３２１１は、ＨＭＤ接続Ｉ／Ｆコントローラ２２０から入力された画像信号に基づいて、走査画像光を生成するための要素となるＢ（青）、Ｇ（緑）、Ｒ（赤）の各画像信号３２１４ａ〜３２１４ｃを生成し、光源部３２１２に出力する。また、信号処理回路３２１１は、後述する水平走査部３１２３の水平走査制御回路３１２３ｂと接続している。信号処理回路３２１１は、ＨＭＤ接続Ｉ／Ｆコントローラ２２０から入力された画像信号に基づいて水平駆動信号３２１５を生成し、この水平駆動信号３２１５を水平走査制御回路３１２３ｂに出力する。さらに、信号処理回路３２１１は、後述する垂直走査制御回路３１２４ｂと接続している。信号処理回路３２１１は、ＨＭＤ接続Ｉ／Ｆコントローラ２２０から入力された画像信号に基づいて垂直駆動信号３２１６を生成し、この垂直駆動信号３２１６を垂直走査制御回路３１２４ｂに出力する。
【００２９】
光源部３２１２は、Ｂレーザドライバ３２１２ａ、Ｇレーザドライバ３２１２ｂ、Ｒレーザドライバ３２１２ｃ、Ｂレーザ３２１２ｄ、Ｇレーザ３２１２ｅ、Ｒレーザ３２１２ｆから構成されている。Ｂレーザドライバ３２１２ａは、信号処理回路３２１１からドットクロック毎に出力されたＢ（青）の画像信号３２１４ａに基づき、Ｂレーザ３２１２ｄを駆動させる。Ｂレーザ３２１２ｄは、Ｂ（青）の画像信号３２１４ａに基づき、強度変調された青色のレーザ光を出射する。Ｇレーザ３２１２ｅおよびＲレーザ３２１２ｆも、同様に、それぞれ強度変調された、緑色のレーザ光、赤色のレーザ光を出射する。
【００３０】
各レーザ３２１２ｄ〜３２１２ｆには、半導体レーザや、高調波発生機能付固体レーザが含まれる。なお、半導体レーザを用いる場合には、駆動電流を直接変調して、レーザ光の強度変調を行う。また、高調波発生機能付固体レーザを用いる場合には、各レーザ３２１２ｄ〜３２１２ｆそれぞれに、外部変調器を備えてレーザ光の強度変調を行う。なお、高調波発生の効率は高くなく、さらに外部変調器での損失も加わるため、高調波発生機能付固体レーザの消費電力は大きくなるため、各レーザ３２１２ｄ〜３２１２ｆに半導体レーザを用いることが好ましい。
【００３１】
光合成部３２１３は、コリメート光学系３２１３ａ〜３２１３ｃ、ダイクロイックミラー３２１３ｄ〜３２１３ｆ、結合光学系３２１３ｇとから構成されている。コリメート光学系３２１３ａ〜３２１３ｃは、それぞれ、各レーザ３２１２ｄ〜３２１２ｆの前方に配設されていて、各レーザ３２１２ｄ〜３２１２ｆが出射したレーザ光を、平行光化する。ダイクロイックミラー３２１３ｄ〜３２１３ｆは、それぞれ、コリメート光学系３２１３ａ〜３２１３ｃの前方に配設されていて、各コリメート光学系３２１３ａ〜３２１３ｃが平行化した各レーザ光を、所定の範囲の波長のレーザ光のみを選択的に、反射または透過する。
【００３２】
結合光学系３２１３ｇは、ダイクロイックミラー３２１３ｄの前方に配設されている。ダイクロイックミラー３２１３ｄを透過した青色のレーザ光および、ダイクロイックミラー３２１３ｅ、３２１３ｆでそれぞれ反射された、緑色のレーザ光、赤色のレーザ光が、結合光学系３２１３ｇに入射する。結合光学系３２１３ｇは、各３原色のレーザ光を集光（混合）させて、光ファイバ３１２７に入射させる。なお、青色のレーザ光、緑色のレーザ光、赤色の各レーザ光の強度を均等にすると、白色を表現することができる。
【００３３】
水平走査部３１２３および垂直走査部３１２４は、光ファイバ３１２７に入射されたレーザ光を、画像として照射するために、当該レーザ光を水平方向と垂直方向に走査して走査画像光を生成する。
【００３４】
水平走査部３１２３は、共振型偏向素子３１２３ａ、水平走査制御回路３１２３ｂ、水平走査角検出回路３１２３ｃとから構成されている。光ファイバ３１２７に入射されたレーザ光は、コリメート光学系３１２２で平行光化され、共振型偏向素子３１２３ａに入射される。共振型偏向素子３１２３ａは、水平走査制御回路３１２３ｂで揺動される反射面３１２３ｄを有し、入射されたレーザ光を、揺動する反射面３１２３ｄで反射させて水平方向に走査する。水平走査制御回路３１２３ｂは、信号処理回路３２１１から出力される水平駆動信号３２１５に基づいて、共振型偏向素子３１２３ａの反射面３１２３ｄを揺動させる駆動信号を発生する。水平走査角検出回路３１２３ｃは、共振型偏向素子３１２３ａから出力される変位信号に基づいて、共振型偏向素子３１２３ａの反射面３１２３ｄの揺動範囲および揺動周波数などの揺動状態を検出し、当該揺動状態を示す信号を、ＨＭＤ接続Ｉ／Ｆコントローラ２２０に出力する。
【００３５】
垂直走査部３１２４は、偏向素子３１２４ａ、垂直走査制御回路３１２４ｂ、垂直走査角検出回路３１２４ｃとから構成されている。偏向素子３１２４ａは、垂直走査制御回路３１２４ｂで揺動される反射面３１２４ｄを有し、入射されたレーザ光を、揺動する反射面３１２４ｄで反射させて垂直方向に走査し、２次元的に走査された画像光として、リレー光学系３１２６に出射する。垂直走査制御回路３１２４ｂは、信号処理回路３２１１から出力される垂直駆動信号３２１６に基づいて、偏向素子３１２４ａの反射面３１２４ｄを揺動させる駆動信号を発生する。垂直走査角検出回路３１２４ｃは、偏向素子３１２４ａから出力される変位信号に基づいて、偏向素子３１２４ａの反射面３１２４ｄの揺動範囲および揺動周波数などの揺動状態を検出し、当該揺動状態を示す信号を、ＨＭＤ接続Ｉ／Ｆコントローラ２２０に出力する。
【００３６】
リレー光学系３１２５は、共振型偏向素子３１２３ａと偏向素子３１２４ａの間に配設されている。リレー光学系３１２５は、共振型偏向素子３１２３ａの反射面３１２３ｄで水平方向に走査されたレーザ光を、偏向素子３１２４ａの反射面３１２４ｄに入射させる。
【００３７】
信号処理回路３２１１は、ＨＭＤ接続Ｉ／Ｆコントローラ２２０から入力された画像信号に基づいて、水平駆動信号３２１５と垂直駆動信号３２１６を、それぞれ水平走査制御回路３１２３ｂと垂直走査制御回路３１２４ｂに出力し、反射面３１２３ｄ、３１２４ｄの走査角を変更することにより、画像光を生成する。
【００３８】
こうして変更された反射面３１２３ｄ、３１２４ｄの走査角度は、水平走査角検出回路３１２３ｃおよび垂直走査角検出回路３１２４ｃによって検出信号として検出され、当該検出信号がＨＭＤ接続Ｉ／Ｆコントローラ２２０に入力され、水平駆動信号３２１５および垂直駆動信号３２１６にフィードバックされる。
【００３９】
リレー光学系３１２６は、正の屈折力を持つレンズ系３１２６ａ、３１２６ｂを有している。偏向素子３１２４ａから出射された画像光は、レンズ系３１２６ａによって、それぞれの画像光が、その走査画像光の中心線を相互に略平行にされ、かつそれぞれ収束画像光に変換される。前記収束画像光は、レンズ系３１２６ｂによってそれぞれほぼ平行な走査画像光となるとともに、これらの走査画像光の中心線がユーザの瞳孔Ｅａに収束するように集光される。
【００４０】
なお、本実施形態では、光ファイバ３１２７から入射されたレーザ光を、水平走査部３１２３で水平方向に走査した後、垂直走査部３１２４によって垂直方向に走査することとしたが、水平走査部３１２３と垂直走査部３１２４の配置を入れ替え、垂直走査部３１２４に垂直方向に走査した後、水平走査部３１２３で水平方向に走査するように構成してもよい。
【００４１】
（メイン処理）
メイン処理について、図５を参照して説明する。メイン処理は、制御ボックス２００のＣＰＵ２０２が、ＲＡＭ２０８上で、プログラムＲＯＭ２０４に記憶されたこの処理のためのプログラムを実行することで行われる。ＣＰＵ２０２は、この処理の実行に際し、フラッシュＲＯＭ２０６に記憶されたコンテンツデータ、ＣＣＤセンサ２６０によって撮像された外界像および外部装置接続Ｉ／Ｆコントローラ２３０によって受信されたコンテンツ画像などのデータを用いる。
【００４２】
まず、ユーザは、制御ボックス２００の操作部（図示を省略）を操作して、ＨＭＤ１０によって視認するコンテンツを選択する。ＣＰＵ２０２は、このユーザ選択がなされた場合、選択されたコンテンツに対応するコンテンツデータを対象として、この処理を開始する。この処理を開始したＣＰＵ２０２は、ＣＣＤセンサ２６０を制御し、外界像の撮像を開始する（Ｓ１００）。ここで、ＣＰＵ２０２は、Ｓ１００に合わせ、選択されたコンテンツデータをフラッシュＲＯＭ２０６から読み出してＲＡＭ２０８に記憶し、このコンテンツデータに対して再生処理を実行する。そして、これによって形成されたコンテンツ画像をビデオＲＡＭ２１０に記憶する。外部装置４００から画像信号が入力される場合、外部装置接続Ｉ／Ｆコントローラ２３０は、受信した画像信号によるコンテンツ画像をビデオＲＡＭ２１０に記憶する。
【００４３】
Ｓ１０２でＣＰＵ２０２は、ビデオＲＡＭ２１０に記憶されているコンテンツ画像と、ＣＣＤセンサ２６０によって撮像された外界像とを解析し、コンテンツ画像と外界像との類似を判断する。なお、コンテンツ画像が複数ある場合、ＣＰＵ２０２は、コンテンツ画像それぞれについてＳ１０２の判断を実行する。例えば、コンテンツデータが、複数ページからなる作業指図書を示すものであるとき、各ページに対応するコンテンツ画像それぞれについて、外界像との類似を判断する。なお、類似の判断方法としては、様々な周知の画像処理方法が使用可能である。例えば、エッジ検出によりコンテンツ画像と外界像とから輪郭が抽出される。そして、抽出された両者の輪郭の内側の画像をパターンマッチングにより比較することで、コンテンツ画像と外界像との類似が判断される。また、コンテンツ画像と外界像との間で、色相や彩度のヒストグラムの比較や、空間周波数の比較などを行うことで類似が判断されてもよい。
【００４４】
Ｓ１０２の判断の結果、外界像に類似するコンテンツ画像が含まれていない場合（Ｓ１０２：非類似）、ＣＰＵ２０２は処理をＳ１０４に移行する。一方、外界像に類似するコンテンツ画像が含まれている場合（Ｓ１０２：類似）、ＣＰＵ２０２は処理をＳ１０６に移行する。Ｓ１０４でＣＰＵ２０２は、ビデオＲＡＭ２１０に記憶されているコンテンツ画像を含む画像信号と、コンテンツ画像の提示についての制御信号とを、ＨＭＤ接続Ｉ／Ｆコントローラ２２０を介して画像提示部１１４に出力し、画像提示部１１４からのコンテンツ画像の提示を実行する。これによって、ユーザは、表示効果が付加されていないコンテンツ画像を視認する。
【００４５】
Ｓ１０６でＣＰＵ２０２は、ビデオＲＡＭ２１０に記憶されているコンテンツ画像に対して、表示効果を付加する。ここで、コンテンツ画像が複数ある場合、複数のコンテンツ画像全てに対してＳ１０６の処理を実行する。Ｓ１０２で類似すると判断されたコンテンツ画像の全てを対象として、Ｓ１０６の処理を実行する構成とすることもできる。なお、Ｓ１０６で実行される表示効果付加処理については、後述する。
【００４６】
Ｓ１０８でＣＰＵ２０２は、Ｓ１０４と同じ処理を実行して、Ｓ１０６で表示効果が付加された効果付きコンテンツ画像５０４Ａ（図６（ａ）参照）を含む画像信号を出力し、画像提示部１１４からの効果付きコンテンツ画像５０４Ａの提示を実行する。これによって、ユーザは、例えば、コンテンツ画像に含まれる第１オブジェクト５００を囲む枠５０２が付加された効果付きコンテンツ画像５０４Ａを視認する。具体的には、サーバコンピュータの背面に設けられたコネクタに、所定のケーブルを接続するような組立作業で、ＨＭＤ１０が、この作業の作業指図書を提供するツールとして利用される場合、ユーザは、図６（ａ）に示すように第１オブジェクト５００としてのコネクタ画像を囲む枠５０２が付加された効果付きコンテンツ画像５０４Ａを視認する。
【００４７】
また、ユーザは、図６（ａ）に示す第１オブジェクト５００としてのコネクタ画像を含む効果付きコンテンツ画像５０４Ａを視認しつつ、左眼１１８でハーフミラー１１６を介した自身の視野（図６（ｂ）参照）内の外界像（サーバコンピュータの背面）に含まれる第２オブジェクト５１０としてのコネクタ画像をも視認する（図６（ｂ）参照）。しかし、第１オブジェクト５００としてのコネクタ画像には枠５０２が付加されているため、ユーザは、画像提示部１１４による第１オブジェクト５００としてのコネクタ画像と、第２オブジェクト５１０としてのコネクタ画像とが、仮に類似していたとしても区別することができる。換言すれば、ユーザは、画像提示部１１４から提示されたコンテンツ画像（効果付きコンテンツ画像５０４Ａ）と、外界像とを区別することができる。
【００４８】
Ｓ１０４またはＳ１０８を実行した後、ＣＰＵ２０２は、ユーザが制御ボックス２００の操作部（図示を省略）を操作し、または、電源スイッチ２７０がオフされ、この処理の終了指令が入力されたかを判断する（Ｓ１１０）。判断の結果、終了指令が入力されていない場合（Ｓ１１０：Ｎｏ）、ＣＰＵ２０２は処理をＳ１００に戻し、上記各ステップを繰り返して実行する。一方、終了指令が入力された場合（Ｓ１１０：Ｙｅｓ）、ＣＰＵ２０２はこの処理を終了する。
【００４９】
（表示効果付加処理）
図５に示すメイン処理のＳ１０６で実行される表示効果付加処理について、図７を参照して説明する。この処理を開始したＣＰＵ２０２は、ＣＣＤセンサ２６０によって撮像された外界像から、これに含まれる第２オブジェクト５１０を抽出する（Ｓ２００）。また、ＣＰＵ２０２は、コンテンツ画像から、これに含まれる第１オブジェクト５００を抽出する（Ｓ２０２）。なお、外界像からの第２オブジェクト５１０の抽出と、コンテンツ画像からの第１オブジェクト５００の抽出とに際し、ＣＰＵ２０２は、所定の画像解析を実行する。
【００５０】
Ｓ２００およびＳ２０２を実行した後、ＣＰＵ２０２は、両ステップで抽出された第１オブジェクト５００と第２オブジェクト５１０との中から、それぞれ１つを選択する。そして、ＣＰＵ２０２は、選択した第１オブジェクト５００と第２オブジェクト５１０とを比較し（Ｓ２０４）、両者の類似を判断する（Ｓ２０６）。例えば、ＣＰＵ２０２は、第１オブジェクト５００の輪郭を特定し、また、第２オブジェクト５１０の輪郭を特定し、特定した各輪郭を比較し、類似を判断する。
【００５１】
Ｓ２０６の判断の結果、第１オブジェクト５００と第２オブジェクト５１０とが類似している場合（Ｓ２０６：Ｙｅｓ）、ＣＰＵ２０２は処理をＳ２０８に移行する一方、類似していない場合（Ｓ２０６：Ｎｏ）、Ｓ２０８を実行することなく、処理をＳ２１０に移行する。すなわち、ＣＰＵ２０２は、第１オブジェクト５００と第２オブジェクト５１０とが類似している場合に限りＳ２０８を実行する。
【００５２】
Ｓ２０８でＣＰＵ２０２は、第２オブジェクト５１０に類似する第１オブジェクト５００を囲む枠５０２を付加する処理をコンテンツ画像に対して実行する。これによって、効果付きコンテンツ画像５０４Ａが形成される。Ｓ２１０でＣＰＵ２０２は、Ｓ２００で抽出された第２オブジェクト５１０とＳ２０２で抽出された第１オブジェクト５００とを全て比較したかを判断する。例えば、ＣＰＵ２０２は、Ｓ２０２で抽出された第１オブジェクト５００を順次選択し、その全てについてＳ２００で抽出された第２オブジェクト５１０と比較したかを判断する。
【００５３】
Ｓ２１０の判断の結果、比較されていない第１オブジェクト５００と第２オブジェクト５１０とが存在する場合（Ｓ２１０：Ｎｏ）、ＣＰＵ２０２は、処理をＳ２０４に戻し、未比較の第１オブジェクト５００と第２オブジェクト５１０とを選択し、上記Ｓ２００〜Ｓ２０８を繰り返して実行する。一方、未比較の第１オブジェクト５００と第２オブジェクト５１０が存在しない場合（Ｓ２１０：Ｙｅｓ）、ＣＰＵ２０２はこの処理を終了し、処理を図５に示すメイン処理のＳ１０８に移行する。
【００５４】
（変形例）
上述した本実施形態の構成は、次のようにすることもできる。
【００５５】
（１）上記では、ＨＭＤ本体１００と制御ボックス２００とが別体のＨＭＤ１０を例に説明したが、ＨＭＤ本体１００と制御ボックス２００とを一体で構成したＨＭＤとすることもできる。この場合、制御ボックス２００の各構成（図３参照）は、例えば画像提示部１１４を形成する筐体（カバー）内に収容される。
【００５６】
（２）上記では、図５に示すメイン処理のＳ１０２で「類似」と判断された場合、Ｓ１０６で図７に示す表示効果付加処理を実行し、枠５０２で囲まれた第１オブジェクト５００を含む効果付きコンテンツ画像５０４Ａ（図６（ａ）参照）を形成する構成を例に説明した。このような構成の他、例えば、図５に示すメイン処理のＳ１０２で「類似」と判断された場合、ＣＰＵ２０２は、図８（ａ）に示すように、画像提示部１１４がコンテンツ画像を提示する範囲（最大提示範囲）を囲む枠５２０（最大提示範囲の外縁に一致する枠５２０）をコンテンツ画像に付加し、その後、処理を図５のＳ１０８に移行する構成とすることもできる。
【００５７】
この場合、Ｓ１０８でＣＰＵ２０２は、効果付きコンテンツ画像５０４Ｂを含む画像信号を出力し、画像提示部１１４からの効果付きコンテンツ画像５０４Ｂの提示を実行する。ユーザは、図８（ａ）に示す態様の効果付きコンテンツ画像５０４Ｂを視認するため、画像提示部１１４から提示されたコンテンツ画像（効果付きコンテンツ画像５０４Ｂ）と、図８（ｂ）に示すサーバコンピュータの背面に設けられたコネクタを表す第２オブジェクト５１０としてのコネクタ画像を含む外界像とを区別（第１オブジェクト５００と第２オブジェクト５１０とを区別）することができる。なお、コンテンツ画像の画像サイズが最大提示範囲より小さい場合などにおいては、コンテンツ画像の外縁を枠で囲む構成としてもよい。
【００５８】
（３）上記では、図５に示すメイン処理でＳ１０２を実行する構成とし、その判断結果に応じて、処理をＳ１０４またはＳ１０６に分岐する構成を例に説明した。しかし、このような構成の他、Ｓ１０２を省略し（Ｓ１０４についても省略）、直接、Ｓ１０６に移行して図７に示す表示効果付加処理を実行する構成とすることもできる。この場合、ＣＰＵ２０２は、コンテンツ画像と外界像とが類似しているか否かに関わらず、図７に示す表示効果付加処理を実行する。そして、ＣＰＵ２０２は、コンテンツ画像に含まれる第１オブジェクト５００と、外界像に含まれる第２オブジェクト５１０とを比較し、類似していると判断される場合（Ｓ２０６：Ｙｅｓ）、第２オブジェクト５１０に類似すると判断された第１オブジェクト５００を囲む枠５０２を付加する処理をコンテンツ画像に対して実行し（Ｓ２０８）、これによる効果付きコンテンツ画像５０４Ｂを提示する（Ｓ１０８）。したがって、この変形例（３）の構成によっても、ユーザは、上記同様、コンテンツ画像（効果付きコンテンツ画像５０４Ｂ）と外界像とを区別することができる。なお、類似していると判断される第１オブジェクト５００が存在しない場合（Ｓ２０６：Ｎｏ）、ＣＰＵ２０２は、Ｓ２０８を実行しない。したがって、Ｓ１０８では、コンテンツ画像が、図５のＳ１０４と同様の態様で提示される。
【００５９】
（４）上記では、図７に示す表示効果付加処理で、外界像に含まれる第２オブジェクト５１０を抽出し（Ｓ２００）、これに類似する第１オブジェクト５１０に対し枠５０２を付加する（Ｓ２０６：Ｙｅｓ，Ｓ２０８）構成を例に説明した。しかし、このような構成の他、例えばＳ２００，Ｓ２０４，Ｓ２０６の各ステップを省略し、コンテンツ画像から抽出された第１オブジェクト５００の全てに枠５０２を付加する（Ｓ２０８）構成とすることもできる。この場合、Ｓ２１０は、全ての第１オブジェクト５００に対して枠５０２が付加されたかに基づいて判断される。
【００６０】
（５）上記では、第１オブジェクト５００に枠５０２を付加する構成（例えば本実施形態，図６（ａ）参照）と、画像提示部１１４がコンテンツ画像を提示する範囲（最大提示範囲）を囲む枠５２０を付加する構成（上記変形例（２），図８（ａ）参照）とを説明した。しかし、このような構成の他、コンテンツ画像の色を変化させて、コンテンツ画像に表示効果を付加する構成とすることもできる。具体的に、第１オブジェクト５００またはコンテンツ画像全体を、ハーフミラー１１６を介して視認される外界像の色合いと異なる色、例えば赤味がかった色（色合い）とする。この変形例（５）の構成によっても、ユーザは、コンテンツ画像と外界像とを区別することができる。
【００６１】
（６）上記では、図５に示すメイン処理でコンテンツ画像と外界像との類似を判断し（Ｓ１０２）、このＳ１０２の判断で「類似」と判断された場合、さらに、図７の表示効果付加処理で、第１オブジェクト５００と第２オブジェクト５１０との類似を判断し（Ｓ２０６）、このＳ２０６の判断が肯定された場合（Ｓ２０６：Ｙｅｓ）、第１オブジェクト５００を囲む枠５０２を表示効果として付加する（Ｓ２０８）構成を例に説明した。しかし、このような構成とは異なる構成とすることもできる。
【００６２】
具体的に、ＨＭＤ１０でユーザが視認するコンテンツ画像の種別にしたがい、コンテンツ画像と外界像との類似を判断する構成とすることもできる。例えば、上述したような態様、すなわち、ＨＭＤ１０が、所定の製品の組立作業で、この作業の作業指図書を提供するツールとして利用される場合、ユーザは、外界像として、組立てに用いる部品（図６，図８に基づけば「コネクタ」が対応）などを、ハーフミラー１１６を介して視認する。このような状態で、表示効果が付加されずに、組立てに用いる部品などを含むコンテンツ画像が、ユーザの左眼１１８に提示されると、コンテンツ画像に含まれる部品を、実際の部品と誤って認識してしまうといった事態の発生が想定される。すなわち、提示されるコンテンツ画像の種別を判断し、このような事態が想定される種別のものである場合、本実施形態の上記具体的な判断を行うことなしに、コンテンツ画像と外界像とが類似するとみなすようにしてもよい。
【００６３】
また、外部装置４００から、コンテンツ画像を含む画像信号を外部装置接続Ｉ／Ｆコントローラ２３０を介して受信する場合、外部装置４００側で、本実施形態の上記具体的な判断自体を実行し、その判断結果を示す信号を、画像信号とともに受信し、判断結果を示す信号にしたがってコンテンツ画像と外界像との類似を判断する構成とすることもできる。例えばＨＭＤ１０が上記のように作業指図書を提供するツールとして利用される場合、外部装置４００としては、組立作業を監視するセンターに設置されているコンピュータが想定される。なお、この変形例（６）の構成による場合、ＨＭＤ１０（制御ボックス２００のＣＰＵ２０２）では、本実施形態の上記具体的な判断を行わないため、ＣＣＤセンサ２６０と、図５のメイン処理のＳ１００については、省略することができる。
【００６４】
（本実施形態の構成による有利な効果）
本実施形態の構成によれば、コンテンツ画像に表示効果を付加するため、コンテンツ画像と外界像とを区別（第１オブジェクト５００と第２オブジェクト５１０とを区別）することができる。
【符号の説明】
【００６５】
１０ ヘッドマウントディスプレイ（ＨＭＤ）
１００ ヘッドマウントディスプレイ本体（ＨＭＤ本体）
１１４ 画像提示部
１１６ ハーフミラー
２００ 制御ボックス
２０２ ＣＰＵ
２０４ プログラムＲＯＭ
２０６ フラッシュＲＯＭ
２０８ ＲＡＭ
２６０ ＣＣＤセンサ
５０２，５２０ 枠
【特許請求の範囲】
【請求項１】
コンテンツデータによって示されるコンテンツ画像をユーザの眼に視認可能に提示し、前記コンテンツ画像を視認しているユーザが外界像を前記コンテンツ画像と重ねて視認できるシースルー型のヘッドマウントディスプレイであって、
前記コンテンツ画像と前記外界像との類似について判断する判断手段と、
前記判断手段によって前記コンテンツ画像と前記外界像とが類似すると判断された場合、前記コンテンツデータに対して画像処理を実行し、前記コンテンツ画像に表示効果を付加する表示効果付加手段と、
前記表示効果付加手段によって前記表示効果が付加された前記コンテンツ画像を、前記ユーザの眼に提示するコンテンツ画像提示手段とを備えることを特徴とするヘッドマウントディスプレイ。
【請求項２】
前記外界像を撮像する撮像手段を備え、
前記判断手段は、前記コンテンツ画像と、前記撮像手段によって撮像された前記外界像との類似について判断することを特徴とする請求項１に記載のヘッドマウントディスプレイ。
【請求項３】
前記表示効果付加手段は、前記コンテンツ画像提示手段が前記コンテンツ画像を提示する範囲を囲む枠を、前記表示効果として付加することを特徴とする請求項１または請求項２に記載のヘッドマウントディスプレイ。
【請求項４】
前記表示効果付加手段は、前記コンテンツ画像に含まれる第１オブジェクトを囲む枠を、前記第１オブジェクトに前記表示効果として付加することを特徴とする請求項１または請求項２に記載のヘッドマウントディスプレイ。
【請求項５】
前記判断手段は、前記第１オブジェクトと前記外界像に含まれる第２オブジェクトとを比較して、前記コンテンツ画像と前記外界像との類似について判断し、
前記表示効果付加手段は、前記枠を、前記判断手段によって前記第２オブジェクトに類似すると判断された前記第１オブジェクトにのみ前記表示効果として付加することを特徴とする請求項４に記載のヘッドマウントディスプレイ。
【請求項６】
前記表示効果付加手段は、前記コンテンツ画像の色を変化させて、前記コンテンツ画像に前記表示効果を付加することを特徴とする請求項１または請求項２に記載のヘッドマウントディスプレイ。
【請求項７】
前記表示効果付加手段は、前記判断手段によって前記コンテンツ画像と前記外界像とが類似していないと判断された場合、前記コンテンツデータに対して前記画像処理を未実行として、前記コンテンツ画像に前記表示効果を付加せず、
前記コンテンツ画像提示手段は、前記表示効果付加手段によって前記表示効果が付加されていない前記コンテンツ画像を、前記ユーザの眼に提示することを特徴とする請求項１から請求項６のいずれか１項に記載のヘッドマウントディスプレイ。
【請求項１】
コンテンツデータによって示されるコンテンツ画像をユーザの眼に視認可能に提示し、前記コンテンツ画像を視認しているユーザが外界像を前記コンテンツ画像と重ねて視認できるシースルー型のヘッドマウントディスプレイであって、
前記コンテンツ画像と前記外界像との類似について判断する判断手段と、
前記判断手段によって前記コンテンツ画像と前記外界像とが類似すると判断された場合、前記コンテンツデータに対して画像処理を実行し、前記コンテンツ画像に表示効果を付加する表示効果付加手段と、
前記表示効果付加手段によって前記表示効果が付加された前記コンテンツ画像を、前記ユーザの眼に提示するコンテンツ画像提示手段とを備えることを特徴とするヘッドマウントディスプレイ。
【請求項２】
前記外界像を撮像する撮像手段を備え、
前記判断手段は、前記コンテンツ画像と、前記撮像手段によって撮像された前記外界像との類似について判断することを特徴とする請求項１に記載のヘッドマウントディスプレイ。
【請求項３】
前記表示効果付加手段は、前記コンテンツ画像提示手段が前記コンテンツ画像を提示する範囲を囲む枠を、前記表示効果として付加することを特徴とする請求項１または請求項２に記載のヘッドマウントディスプレイ。
【請求項４】
前記表示効果付加手段は、前記コンテンツ画像に含まれる第１オブジェクトを囲む枠を、前記第１オブジェクトに前記表示効果として付加することを特徴とする請求項１または請求項２に記載のヘッドマウントディスプレイ。
【請求項５】
前記判断手段は、前記第１オブジェクトと前記外界像に含まれる第２オブジェクトとを比較して、前記コンテンツ画像と前記外界像との類似について判断し、
前記表示効果付加手段は、前記枠を、前記判断手段によって前記第２オブジェクトに類似すると判断された前記第１オブジェクトにのみ前記表示効果として付加することを特徴とする請求項４に記載のヘッドマウントディスプレイ。
【請求項６】
前記表示効果付加手段は、前記コンテンツ画像の色を変化させて、前記コンテンツ画像に前記表示効果を付加することを特徴とする請求項１または請求項２に記載のヘッドマウントディスプレイ。
【請求項７】
前記表示効果付加手段は、前記判断手段によって前記コンテンツ画像と前記外界像とが類似していないと判断された場合、前記コンテンツデータに対して前記画像処理を未実行として、前記コンテンツ画像に前記表示効果を付加せず、
前記コンテンツ画像提示手段は、前記表示効果付加手段によって前記表示効果が付加されていない前記コンテンツ画像を、前記ユーザの眼に提示することを特徴とする請求項１から請求項６のいずれか１項に記載のヘッドマウントディスプレイ。
【図１】
【図２】
【図３】
【図５】
【図６】
【図７】
【図８】
【図４】
【図２】
【図３】
【図５】
【図６】
【図７】
【図８】
【図４】
【公開番号】特開２０１１−６９８４９（Ｐ２０１１−６９８４９Ａ）
【公開日】平成２３年４月７日（２０１１．４．７）
【国際特許分類】
【出願番号】特願２００９−２１８４８４（Ｐ２００９−２１８４８４）
【出願日】平成２１年９月２４日（２００９．９．２４）
【出願人】（０００００５２６７）ブラザー工業株式会社 (13,856)
【Ｆターム（参考）】
【公開日】平成２３年４月７日（２０１１．４．７）
【国際特許分類】
【出願日】平成２１年９月２４日（２００９．９．２４）
【出願人】（０００００５２６７）ブラザー工業株式会社 (13,856)
【Ｆターム（参考）】
[ Back to top ]