ヘッドマウントディスプレイ
【課題】実物画像と関連画像とを使用者の意思に基づいて簡易に切り替えることができるヘッドマウントディスプレイを提供すること。
【解決手段】ＣＣＤセンサによってヘッドマウントディスプレイの使用者の視野方向を撮影する（Ｓ１１）。撮像された画像からバーコードを抽出する（Ｓ１２）。そのバーコードにて特定することにより自動車を特定する（Ｓ１３）。そして、撮像倍率が閾値倍率以下の場合には（Ｓ１４：ＮＯ）、実物画像を表示し（Ｓ１７）、撮像倍率が閾値倍率より大きい場合には（Ｓ１４：ＹＥＳ）、その実物画像に対応した内部画像を表示する（Ｓ１５）。撮像倍率は使用者が設定可能であり、その撮像倍率に基づいて実物画像又は内部画像がヘッドマウントディスプレイに表示される。
【解決手段】ＣＣＤセンサによってヘッドマウントディスプレイの使用者の視野方向を撮影する（Ｓ１１）。撮像された画像からバーコードを抽出する（Ｓ１２）。そのバーコードにて特定することにより自動車を特定する（Ｓ１３）。そして、撮像倍率が閾値倍率以下の場合には（Ｓ１４：ＮＯ）、実物画像を表示し（Ｓ１７）、撮像倍率が閾値倍率より大きい場合には（Ｓ１４：ＹＥＳ）、その実物画像に対応した内部画像を表示する（Ｓ１５）。撮像倍率は使用者が設定可能であり、その撮像倍率に基づいて実物画像又は内部画像がヘッドマウントディスプレイに表示される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、実物を示した実物画像若しくはその実物に関連した関連画像を表示するヘッドマウントディスプレイに関する。
【背景技術】
【０００２】
従来、実物を示した実物画像若しくはその実物に関連した関連画像を表示するヘッドマウントディスプレイが提案されている（例えば、特許文献１参照。）。特許文献１に記載のヘッドマウントディスプレイでは、ヘッドマウントディスプレイを装着した使用者が、特定の実物の方向に向いた場合には、その実物を示した実物画像を表示するとともに、使用者が、一定時間以上その実物画像を視認していた場合には、その実物に興味があるとして、その実物に関連する関連画像も表示している。こうすることによって、使用者の興味をヘッドマウントディスプレイでの画像表示に反映させている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−３８００８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、一定時間以上、使用者が同じ実物画像を見ているからといって、常にその実物画像で示される実物に興味があるとは限らない。何も考えずに一点を見ていることもある。したがって、特許文献１に記載のヘッドマウントディスプレイでは、使用者が所望しないにもかかわらず関連画像が表示されてしまうことがあり、それが煩わしいという問題点があった。また、視線方向に交差するオブジェクトが複数有る場合に、特定するオブジェクトを選択することができず、所望の画像を見ることができない問題点があった。
【０００５】
本発明は、上記問題点に鑑みてなされたものであり、実物を示した実物画像若しくはその実物に関連した関連画像を表示するヘッドマウントディスプレイにおいて、実物画像と関連画像とを使用者の意思に基づいて簡易に切り替えることができるヘッドマウントディスプレイを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、請求項１のヘッドマウントディスプレイは、使用者の頭部に装着され、当該使用者の目に画像を表示する表示手段を備えたヘッドマウントディスプレイと、当該ヘッドマウントディスプレイを装着する使用者の視野に対応した実物を実物画像として撮像するとともに、前記実物を撮像するときの撮像条件を前記使用者が設定可能な撮像手段と、当該撮像手段によって撮像される実物に関連した画像である関連画像をその実物に対応させて記憶する関連画像記憶手段とを備えるヘッドマウントディスプレイシステムに使用される前記ヘッドマウントディスプレイであって、前記撮像条件に基づいて、前記実物画像と前記関連画像のいずれか一方を選択する選択手段と、当該選択手段によって前記実物画像が選択された場合には、前記実物画像を前記表示手段に表示し、前記関連画像が選択された場合には、前記実物に対応して前記関連画像記憶手段に記憶されている前記関連画像を前記表示手段に表示する表示制御手段とを備えている。
【０００７】
また、請求項２のヘッドマウントディスプレイは、請求項１に記載の発明の構成に加え、前記撮像手段によって撮像された実物画像に含まれている実物を特定する実物特定手段を備え、前記表示制御手段は、当該実物特定手段によって特定された実物に対応して前記関連画像記憶手段に記憶されている前記関連画像を表示することを特徴とする。
【０００８】
また、請求項３のヘッドマウントディスプレイは、請求項２に記載の発明の構成に加え、前記関連画像記憶手段は、前記関連画像として、前記使用者がその実物を見る位置に対応した内部画像を、各位置に対応させて記憶し、前記実物特定手段は、特定した実物を撮像した位置も特定し、前記表示制御手段は、前記関連画像を表示するときには、前記実物特定手段によって特定された位置に対応して前記関連画像記憶手段に記憶されている前記内部画像を前記表示手段に表示することを特徴とする。
【０００９】
また、請求項４のヘッドマウントディスプレイは、請求項１乃至３の何れかに記載の発明の構成に加え、前記撮像条件として、撮像倍率を設定可能であり、前記選択手段は、前記撮像倍率が所定の閾値以下の場合に前記実物画像を選択する一方で、前記撮像倍率が前記所定の閾値より大きい場合に前記関連画像を選択することを特徴とする。
【００１０】
また、請求項５のヘッドマウントディスプレイは、請求項１乃至４の何れかに記載の発明の構成に加え、前記撮像手段によって撮像される実物には、自身を識別する識別情報が付されており、前記実物特定手段は、前記実物画像に含まれている前記識別情報に基づいて、前記撮像手段が撮像した実物を特定することを特徴とする。
【発明の効果】
【００１１】
請求項１に記載のヘッドマウントディスプレイによれば、実物特定手段は、撮像手段によって撮像された実物画像で示される実物を特定する。選択手段は、撮像条件に基づいて、実物画像と関連画像のいずれか一方を選択することができる。そして、表示制御手段は、選択手段によって実物画像が選択された場合には、実物画像を表示する一方で、関連画像が選択された場合には、実物に対応して関連画像記憶手段に記憶されている関連画像を表示することができる。このように、撮像条件は使用者が設定可能であり、その撮像条件に基づいて実物画像又は関連画像がヘッドマウントディスプレイに表示される。したがって、実物画像と関連画像とを使用者の意思に基づいて簡易に切り替えることができる。
【００１２】
請求項２に記載のヘッドマウントディスプレイによれば、実物特定手段により、撮像手段によって撮像された撮像画像に含まれている実物を示した画像がどの実物を示した画像なのかを特定することによって、表示制御手段は、当該実物特定手段によって特定された実物に対応して前記関連画像記憶手段に記憶されている前記関連画像を表示することができる。
【００１３】
請求項３のヘッドマウントディスプレイによれば、使用者は実物の内部画像を視認できる。そして、その内部画像は、使用者がその実物を見る位置に対応した画像である。したがって、使用者は、実物の内部を多方向から把握することができる。
【００１４】
請求項４のヘッドマウントディスプレイによれば、撮像倍率によって、表示させる画像を実物画像又は関連画像に決定しているので、使用者は容易に表示させる画像を切り替えることができる。また、一般的に使用者は、興味がある実物、すなわち関連画像を表示させたい実物ほど直感的に撮像倍率を大きく設定すると考えられる。そこで、選択手段は、撮像倍率が所定値より小さい場合に実物画像を選択する一方で、撮像倍率が所定値以上の場合に関連画像を選択している。その結果、使用者は、どちらの画像を表示させるか決定するための操作がやりやすい。
【００１５】
請求項５のヘッドマウントディスプレイによれば、識別情報に基づいて実物を特定しているので、確実に撮像手段が撮像した実物を特定することができる。
【図面の簡単な説明】
【００１６】
【図１】ヘッドマウントディスプレイ１が適用されるヘッドマウントディスプレイシステム５の概略構成を示した図である。
【図２】ヘッドマウントディスプレイ１の電気的及び光学的構成を示す説明図である。
【図３】記憶装置３００に記憶されているテーブル３０１の概念図である。
【図４】制御部１１０が実行する処理を示したフローチャートである。
【図５】使用者５０が自動車４０１の前方に居る場合における実物画像４０４をヘッドマウントディスプレイ１に表示した図である。
【図６】使用者５０が自動車４０１の側方に居る場合における実物画像４０４をヘッドマウントディスプレイ１に表示した図である。
【図７】使用者５０が自動車４０１の前方に居る場合における内部画像４０３ａ１をヘッドマウントディスプレイ１に表示した図である。
【図８】使用者５０が自動車４０１の側方に居る場合における内部画像４０３ａ２をヘッドマウントディスプレイ１に表示した図である。
【図９】使用者５０が自動車４０１に対してどの位置に居るのかを判定する方法を説明するための図である。
【発明を実施するための形態】
【００１７】
以下、本発明に係るヘッドマウントディスプレイの実施形態について図面を参照して説明する。図１は本実施形態のヘッドマウントディスプレイ１を用いたヘッドマウントディスプレイシステム５の概略構成を示した図である。図１に示すように、ヘッドマウントディスプレイシステム５は、ヘッドマウントディスプレイ１と記憶装置３００とをネットワーク２００を介して接続して構成されている。そして、ヘッドマウントディスプレイ１は使用者５０によって装着される。
【００１８】
使用者５０は、一例として、自動車４０１ａ、４０１ｂ、４０１ｃ（以下、総称して「自動車４０１」ともいう）を視認するものとする。また、本実施形態の自動車４０１ａ、４０１ｂ、４０１ｃはそれぞれ車種が異なっているものとする。各自動車４０１の前面、側面には、バーコード４０２（識別情報）が付してある。詳細には自動車４０１ａの前面にはバーコード４０２ａ１、側面にはバーコード４０２ａ２が付されている。また、自動車４０１ｂの前面にはバーコード４０２ｂ１、側面にはバーコード４０２ｂ２が付されている。また、自動車４０１ｃの前面にはバーコード４０２ｃ１、側面にはバーコード４０２ｃ２が付されている。また、図示外の他の自動車についてもその前面と側面には、固有のバーコードが付されているものとする。従って、バーコード４０２ａ１〜４０２ｃ２は各自動車４０１ａ〜４０１ｃを特定する情報である。また、バーコード４０２ａ１〜４０２ｃ２は、後述するＣＣＤセンサ２にて撮像されたときの撮像位置、すなわち使用者５０は自動車４０１の前面を撮像する位置に居るのか側面を撮像する位置に居るのかを特定する情報でもある。
【００１９】
次に、先ずヘッドマウントディスプレイ１の構造について図１及び図２を参照して説明する。図１及び図２に示すように、ヘッドマウントディスプレイ１は、内部又は外部に記憶されている各種情報を画像信号に変換し、この画像信号に基づいて生成した画像光（以下、「画像光」という。）を使用者５０の眼Ｅに導いて走査する光走査部１０（図２参照）を備えている。このヘッドマウントディスプレイ１では、ヘッドマウントディスプレイ１が使用者５０の頭部に装着された状態で、使用者５０がヘッドマウントディスプレイ１の電源を入れると、光走査部１０が動作を開始する。光走査部１０の動作により、画像光が使用者５０の網膜上で２次元方向に走査されることにより、使用者５０に情報に対応する画像を視認させることができる。また、このヘッドマウントディスプレイ１は、使用者５０が外界を視認できないように構成されている。
【００２０】
また、本実施形態のヘッドマウントディスプレイ１は、使用者５０の視野に対応して自動車４０１を撮像する撮像手段としてのＣＣＤセンサ２を備えている。なお、ヘッドマウントディスプレイ１は、外界の明るさを検出する輝度センサ８と、ＣＣＤセンサ２の撮像範囲を照らすＬＥＤ３とを備えており（図２参照）、輝度センサ８により外界の明るさが所定の明るさを下回ったことが検知されたときに、ＬＥＤ３がＣＣＤセンサ２の撮像範囲を照らす。
【００２１】
図２に示すように、このヘッドマウントディスプレイ１は、当該ヘッドマウントディスプレイ１全体の動作を統括制御する制御部１１０と、この制御部１１０から供給される画像信号に基づいて生成した画像光を２次元的に走査することにより画像を表示することによって、画像信号に応じた画像を視認させる光走査部１０とを備えている。
【００２２】
光走査部１０は、この制御部１１０から供給される画像信号をドットクロック毎に読み出し、読み出した映像信号に応じて強度変調された画像光を生成して出射する画像光生成部２０を備え、さらに、その画像光生成部２０と使用者５０の眼Ｅとの間には、画像光生成部２０で生成され、光ファイバ１００を介して出射されるレーザビーム（画像光）を平行光とするコリメート光学系６１と、このコリメート光学系６１で平行光化された画像光を画像表示のために水平方向（第１方向）に往復走査する第１光走査部として機能する水平走査部７０と、水平走査部７０で水平方向に走査された画像光を垂直方向（第１方向と略直交する第２方向）に往復走査する第２光走査部として機能する垂直走査部８０と、水平走査部７０と垂直走査部８０との間に設けられたリレー光学系７５と、このように水平方向と垂直方向に走査（２次元的に走査）された画像光を瞳孔Ｅａへ出射するためのリレー光学系９０とを備えている。また、使用者５０が外界を視認できないようにするために、使用者５０の目の周りを閉塞する閉塞部材（図示略）を備えている。
【００２３】
また、画像光生成部２０には、パーソナルコンピュータ（図示略）等の外部装置から供給される画像信号が、インターフェース１０４と制御部１１０とを介して入力され、その画像信号に基づいて画像を合成するための要素となる各信号等を発生する信号処理回路２１が設けられている。この信号処理回路２１において、青（Ｂ）、緑（Ｇ）、赤（Ｒ）の各画像信号２２ａ〜２２ｃが生成され、後記する光源部３０へ出力される。また、信号処理回路２１は、水平走査部７０で使用される水平駆動信号２３と、垂直走査部８０で使用される垂直駆動信号２４とをそれぞれ出力する。
【００２４】
さらに、画像光生成部２０は、信号処理回路２１からドットクロック毎に出力される３つの画像信号（Ｂ，Ｇ，Ｒ）２２ａ〜２２ｃに応じた青、緑、赤の画像光を出力する画像光出力部として機能する光源部３０と、これらの３つの画像光を１つの画像光に結合して任意の画像光を生成するための光合成部４０を備えている。
【００２５】
光源部３０は、青色の画像光を発生させるＢレーザ３４及びＢレーザ３４を駆動するＢレーザドライバ３１と、緑色の画像光を発生させるＧレーザ３５及びＧレーザ３５を駆動するＧレーザドライバ３２と、赤色の画像光を発生させるＲレーザ３６及びＲレーザ３６を駆動するＲレーザドライバ３３とを備えている。なお、各レーザ３４、３５、３６は、例えば、半導体レーザや高調波発生機構付き固体レーザとして構成することが可能である。なお、半導体レーザを用いる場合は駆動電流を直接変調して、画像光の強度変調を行うことができるが、固体レーザを用いる場合は、各レーザそれぞれに外部変調器を備えて画像光の強度変調を行う。
【００２６】
光合成部４０は、光源部３０から入射する画像光を平行光にコリメートするように設けられたコリメート光学系４１、４２、４３と、このコリメートされた画像光を合成するためのダイクロイックミラー４４、４５、４６と、合成された画像光を光ファイバ１００に導く結合光学系４７とを備えている。
【００２７】
各レーザ３４、３５、３６から出射したレーザ光は、コリメート光学系４１、４２、４３によってそれぞれ平行化された後に、ダイクロイックミラー４４、４５、４６に入射される。その後、これらのダイクロイックミラー４４、４５、４６により、各画像光が波長に関して選択的に反射・透過される。
【００２８】
具体的には、Ｂレーザ３４から出射した青色画像光は、コリメート光学系４１によって平行光化された後に、ダイクロイックミラー４４に入射される。Ｇレーザ３５から出射した緑色画像光は、コリメート光学系４２を経てダイクロイックミラー４５に入射される。Ｒレーザ３６から出射した赤色画像光は、コリメート光学系４３を経てダイクロイックミラー４６に入射される。
【００２９】
それら３つのダイクロイックミラー４４、４５、４６にそれぞれ入射した３原色の画像光は、波長選択的に反射または透過して結合光学系４７に達し、集光され光ファイバ１００へ出力される。
【００３０】
水平走査部７０及び垂直走査部８０は、光ファイバ１００から入射された画像光を画像として投影可能な状態にするために、水平方向と垂直方向に走査して走査画像光とするものである。
【００３１】
水平走査部７０は、画像光を水平方向に走査するための反射面を有する共振型偏向素子７１と、この共振型偏向素子７１を共振させ、共振型偏向素子７１の反射面を揺動させる駆動信号を発生する駆動信号発生器としての水平走査駆動回路７２と、共振型偏向素子７１から出力される変位信号に基づいて、共振型偏向素子７１の反射面の揺動範囲及び揺動周波数等の揺動状態を検出する水平走査角検出回路７３とを有している。
【００３２】
本実施形態において、水平走査角検出回路７３は、検出した共振型偏向素子７１の揺動状態を示す信号を制御部１１０へ入力するようにしている。
【００３３】
垂直走査部８０は、画像光を垂直方向に走査するための偏向素子８１と、この偏向素子８１を駆動させる垂直走査制御回路８２と、この垂直走査制御回路８２による反射面の揺動範囲及び揺動周波数等の揺動状態を検出する垂直走査角検出回路８３とを備えている。
【００３４】
また、水平走査駆動回路７２と垂直走査制御回路８２は、信号処理回路２１から出力される水平駆動信号２３と垂直駆動信号２４に基づいてそれぞれ駆動し、垂直走査角検出回路８３は、検出した偏向素子８１の揺動状態を示す信号を制御部１１０へ入力するようにしている。
【００３５】
そして、後に詳述する制御部１１０は、信号処理回路２１の動作を制御することによって、これら水平駆動信号２３と垂直駆動信号２４とを調整することによって、水平走査部７０と垂直走査部８０に画像光の走査角を変更させて、表示する画像を形成する。
【００３６】
こうして変更された走査角度は水平走査角検出回路７３および垂直走査角検出回路８３からの検出信号に基づいて制御部１１０により検出され、信号処理回路２１と水平走査駆動回路７２とを介して水平駆動信号２３にフィードバックされると共に、信号処理回路２１と垂直走査制御回路８２とを介して垂直駆動信号２４にフィードバックされる。
【００３７】
また、水平走査部７０と垂直走査部８０との間での画像光を中継するリレー光学系７５は、共振型偏向素子７１によって水平方向に走査された画像光を、偏向素子８１の反射面に入射させる。偏向素子８１に入射した画像光は、偏向素子８１によって垂直方向に走査されて、２次元的に走査された走査画像光として、リレー光学系９０へ出射する。
【００３８】
リレー光学系９０は、正の屈折力を持つレンズ系９１、９４を有している。垂直走査部８０から出射された表示用の走査画像光は、レンズ系９１によって、それぞれの画像光がその画像光の中心線を相互に略平行にされ、かつそれぞれ収束画像光に変換される。そして、走査画像光は、レンズ系９４によってそれぞれほぼ平行な画像光となると共に、これらの画像光の中心線が使用者５０の瞳孔Ｅａに収束するように変換される。
【００３９】
なお、本実施形態においては、光ファイバ１００から出射した画像光は、水平走査部７０によって水平方向に走査された後、垂直走査部８０によって垂直方向に走査される。しかし、水平走査部７０と垂直走査部８０との配置を入れ替え、画像光が垂直走査部８０によって垂直方向に走査された後、水平走査部７０によって水平方向に走査されるようにしても良い。
【００４０】
また、制御部１１０は、ＣＰＵ１０１と、不揮発性メモリであるフラッシュメモリ１０２と、ＲＡＭ１０３とを備えている。そして、これらＣＰＵ１０１、フラッシュメモリ１０２、ＲＡＭ１０３は、データ通信用のバスにそれぞれ接続されており、このデータ通信用のバスを介して各種情報の送受信を行う。
【００４１】
また、この制御部１１０は、当該ヘッドマウントディスプレイ１の電源スイッチＳＷ、自動車４０１を撮像するＣＣＤセンサ２、外界の明るさ（輝度）を検知する輝度センサ８、輝度センサ８により外界の明るさが所定の明るさを下回ったことが検知されたときに、ＣＣＤセンサ２の撮像範囲を照らすＬＥＤ３、使用者５０によって操作可能な操作スイッチ７、他の装置との通信を制御するための通信制御回路９、ＣＣＤセンサ２による撮像倍率を設定する撮像倍率設定部１１、パーソナルコンピュータ等の外部装置と接続可能なインターフェース１０４とも接続されている。なお使用者５０は、撮像倍率設定部１１にて撮像倍率を設定することができる。ここで、撮像倍率設定部１１にて設定される撮像倍率は、デジタルズームを行う場合には、予め決められているズームの範囲、一例として、１倍〜５倍等である。また、ＣＣＤセンサ２に図示外の電動ズームレンズを設けて、光学的ズームを行う場合は、その電動ズームレンズの倍率を設定するようにしても良い。例えば、１倍〜３倍等である。尚、撮像倍率設定部１１にて設定された撮像倍率は、フラッシュメモリ１０２に記憶される。
【００４２】
ＣＰＵ１０１は、フラッシュメモリ１０２に記憶されている各種情報処理プログラムを実行することにより、ヘッドマウントディスプレイ１を構成する図示しない各種回路を動作させて、ヘッドマウントディスプレイ１が備える各種機能を実行させる演算処理装置である。
【００４３】
フラッシュメモリ１０２は、ヘッドマウントディスプレイ１により表示する画像の表示制御を行う際に画像光生成部２０、水平走査部７０、垂直走査部８０等を動作させるための情報処理プログラム等、制御部１１０がヘッドマウントディスプレイ１全体の動作を統括制御するためにＣＰＵ１０１により実行される各種情報処理プログラムを記憶している。
【００４４】
次に、図１及び図３を参照して、記憶装置３００について説明する。この記憶装置３００は、本発明の「関連画像記憶手段」に相当し、記憶装置３００には、ＣＣＤセンサ２によって撮像される可能性がある各自動車４０１に関連した画像である関連画像を含むテーブル３０１が記憶されている。図３に示すようにテーブル３０１は、自動車区分欄３０２、撮像位置欄３０３、バーコード記憶欄３０４及び関連画像記憶欄３０５から構成される。
【００４５】
自動車区分欄３０２には各自動車４０１ａ，４０１ｂ，４０１ｃを示した情報が記憶されている。撮像位置欄３０３には、自動車４０１のどの方向から撮像したのかを示した情報が記憶されている。バーコード記憶欄３０４には、各自動車４０１に予め付されているバーコード４０２ａ１，４０２ａ２，４０２ｂ１，４０２ｂ２，４０２ｃ１，４０２ｃ２が示す数字が各々記憶されている。一例として、日本のＪＩＳ規格、ヨーロッパのＥＡＮ規格又はアメリカのＵＰＣ規格の何れか場合には、１３桁又は８桁の数字が記憶されている。現在、世界で使用されているバーコードの種類は、約１００種類と多いため、バーコード記憶欄３０４には、使用するバーコードに対応した数値を記憶しておけば良い。尚、バーコードそのものの画像を記憶したり、バーコードと数値の両方を記憶しても良い。また、関連画像記憶欄３０５には各バーコード４０２ａ１〜４０２ｃ２に対応した自動車４０１ａ，４０１ｂ，４０１ｃの内部を示した内部画像４０３ａ１，４０３ａ２，４０３ｂ１，４０３ｂ２，４０３ｃ１，４０３ｃ２・・・が関連画像として記憶されている。詳細には、バーコード４０２ａ１に対応付けて、自動車４０１ａを前方から視認したときのその自動車４０１ａの内部画像４０３ａ１が記憶されている。また、バーコード４０２ａ２に対応付けて、自動車４０１ａを側方から視認したときのその自動車４０１ａの内部画像４０３ａ２が記憶されている。また、バーコード４０２ｂ１に対応付けて、自動車４０１ｂを前方から視認したときのその自動車４０１ｂの内部画像４０３ｂ１が記憶されている。また、バーコード４０２ｂ２に対応付けて、自動車４０１ｂを側方から視認したときのその自動車４０１ｂの内部画像４０３ｂ２が記憶されている。また、バーコード４０２ｃ１に対応付けて、自動車４０１ｃを前方から視認したときのその自動車４０１ｃの内部画像４０３ｃ１が記憶されている。また、バーコード４０２ｃ２に対応付けて、自動車４０１ｃを側方から視認したときのその自動車４０１ｃの内部画像４０３ｃ２が記憶されている。ここでは説明を省略するが、他の自動車４０１についても、バーコード４０２に対応付けて内部画像４０３が記憶されている。
【００４６】
次に、制御部１１０が実行する処理について図４のフローチャートを参照して説明する。なお、この処理は使用者５０によって操作スイッチ７に含まれている開始ボタンが操作されたときに開始する。以下「表示」と言ったときには、画像光を使用者５０の網膜上で２次元方向に走査させることにより、使用者５０に情報に対応する画像を視認させることを言う。
【００４７】
先ず、制御部１１０の制御により、ＣＣＤセンサ２が使用者５０の視野に対応した自動車４０１を実物画像４０４（図５及び図６参照）として撮像する（Ｓ１１）。そして、その実物画像４０４からバーコード４０２を抽出する（Ｓ１２）。この抽出方法は、周知の画像認識方により、実物画像４０４からバーコードの特徴を示す部分の画像を切り出し、ノイズ除去等の処理を行い、次いで、バーコード４０２の画像を数値に変換する（Ｓ１２）。その数値が、記憶装置３００に記憶されているテーブル３０１のバーコード記憶欄３０４のバーコード４０２ａ１、４０２ａ２、４０２ｂ１、４０２ｂ２、４０２ｃ１、４０２ｃ２・・・のどれに一致するかを特定する（Ｓ１３）。
【００４８】
一致するバーコードが有った場合には（Ｓ１３：ＹＥＳ）、次いで、使用者５０が撮像倍率設定部１１にて設定した撮像倍率が、所定の閾値倍率（例えば２倍）より大きいか否かを判断する（Ｓ１４）。撮像倍率が閾値倍率以下の場合には（Ｓ１４：ＮＯ）、図５や図６に示すように、Ｓ１１にて撮像した実物画像４０４を表示する（Ｓ１７）。この際、撮像倍率に応じた大きさで実物画像４０４を表示する（Ｓ１７）。このように、使用者５０は、外界を視認することができないので自動車４０１を直接視認することはできないが、実物画像４０４として自動車４０１を視認することができる。
【００４９】
一方、撮像倍率が閾値倍率より大きい場合には（Ｓ１４：ＹＥＳ）、Ｓ１３にて特定したバーコード４０２に対応付けて記憶装置３００に記憶されている内部画像４０３を表示する（Ｓ１５）。この際、撮像倍率に応じた大きさで内部画像を表示する（Ｓ１５）。例えば、Ｓ１３にて特定されたバーコード４０２がバーコード４０２ａ１である場合には、図７に示すように、自動車４０１ａを前方から視認したときのその自動車４０１ａの内部画像４０３ａ１が表示される。また、Ｓ１３にて特定されたバーコード４０２がバーコード４０２ａ２である場合には、図８に示すように、自動車４０１ａを横方向から視認したときのその自動車４０１ａの内部画像４０３ａ２が表示される。このように、使用者５０は自動車４０１の内部を内部画像４０３として視認できる。尚、Ｓ１３の判断処理で、バーコードが特定されない場合には（Ｓ１３：ＮＯ）、実物画像を表示する（Ｓ１７）。
【００５０】
その後、使用者５０によって操作スイッチ７に含まれている終了ボタンが操作されたか否かで、図４のフローチャートで示す処理を終了するか否かを判断する（Ｓ１６）。終了ボタンが操作された場合には（Ｓ１６：ＹＥＳ）、図４のフローチャートで示す処理を終了する。一方、終了ボタンが操作されていない場合には（Ｓ１６：ＮＯ）、Ｓ１１の処理に戻る。したがって、使用者５０が居る位置はそのままで、使用者５０が撮像倍率を所定値以上にしたり、所定値より小さくしたりすることによって、自動車４０１の内部画像４０３と実物画像４０４間で表示が切り替わることになる（Ｓ１１〜Ｓ１７）。また、使用者５０の視線が移動して、ＣＣＤセンサ２が他の自動車４０１を撮像した場合には（Ｓ１１）、他の自動車４０１に付されているバーコード４０２を抽出し（Ｓ１２）、その特徴によりバーコード４０２を特定して（Ｓ１２）、他の自動車４０１を示した実物画像４０４若しくは内部画像４０３を表示することになる（Ｓ１１〜Ｓ１７）。
【００５１】
以上、本実施形態のヘッドマウントディスプレイ１によれば、ＣＣＤセンサ２によって撮像された実物画像４０４で示される自動車４０１をバーコード４０２にて特定する。そして、撮像倍率が所定値より小さい場合には実物画像４０４を表示する一方で、撮像倍率が所定値以上の場合にはその実物画像４０４に対応した内部画像４０３を表示する。
【００５２】
このように、撮像倍率は使用者５０が設定可能であり、その撮像倍率に基づいて実物画像４０４又は内部画像４０３がヘッドマウントディスプレイ１に表示される。したがって、実物画像４０４と内部画像４０３とを使用者５０の意思に基づいて簡易に切り替えることができる。
【００５３】
また、ヘッドマウントディスプレイ１によれば、使用者５０は自動車４０１の内部画像４０３を視認できる。そして、その内部画像４０３は、使用者５０がその自動車４０１を見る位置に対応した画像である。したがって、使用者５０は、自動車４０１の内部を多方向から把握することができる。
【００５４】
また、ヘッドマウントディスプレイ１によれば、撮像倍率によって、表示させる画像を実物画像４０４又は内部画像４０３に決定しているので、使用者５０は容易に表示させる画像を切り替えることができる。また、一般的に使用者５０は、興味がある自動車４０１、すなわち、内部画像４０３を表示させたい自動車４０１ほど直感的に撮像倍率を大きく設定すると考えられる。そこで、撮像倍率が所定値より小さい場合に実物画像４０４を表示する一方で、撮像倍率が所定値以上の場合に内部画像４０３を表示している。その結果、使用者５０は、どちらの画像を表示させるか決定するための操作がやりやすいと考えられる。
【００５５】
また、ヘッドマウントディスプレイ１によれば、バーコード（識別情報）に基づいて自動車４０１を特定しているので、確実にＣＣＤセンサ２が撮像した自動車４０１を特定することができる。
【００５６】
なお、本発明に係るヘッドマウントディスプレイ１は、上記実施形態に限定されるわけではなく、その趣旨を逸脱しない範囲において種々変形しても良い。例えば、上記実施形態では、自動車４０１及び撮像位置を特定するのにバーコード４０２を用いていたが、ＱＲコード（登録商標）や、ＩＣタグなど他の識別情報を自動車４０１に付して、その識別情報に基づいて自動車４０１及び撮像位置を特定しても良い。
【００５７】
また、上記実施形態では、撮像位置として、自動車４０１の前方と側方の２つに限っていたが、後方や斜め前方等、さらに多くの撮像位置を採用して多方向から内部画像４０３を表示するようにしても良い。この場合、各方向に対応する内部画像４０３を用意しておく必要がある。また、使用者５０が自動車４０１に対してどの位置に居るのかを判定する方法として、例えば実物画像４０４に含まれているバーコード４０２の大きさや傾きに基づいて、その位置を判定することもできる。
【００５８】
一例として、図９に示すように、自動車４０１に貼り付けされたバーコード４０２に対して、使用者が正面に位置している場合には、バーコードは、歪まずに撮影される。一方、自動車４０１に貼り付けされたバーコード４０２に対して、使用者が斜めの位置にいる場合には、バーコードは、歪んで撮影される。従って、この歪みを検出することによって、使用者の自動車４０１に対する置関係を判別することができる（図９参照）。
【００５９】
また、各自動車４０１の位置を予め記憶しておき、使用者５０の位置をＧＰＳ受信機によって検出して、自動車４０１の位置と使用者５０の位置に基づいて、使用者５０が自動車４０１に対してどの位置に居るのかを判定しても良い。また、特許公報３４２２３８３号に記載されているように、自動車４０１の四隅に発光体を付しておき、実物画像４０４において、各発光体間の相対位置に基づいて、使用者５０が自動車４０１に対してどの位置に居るのかを判定しても良い。
【００６０】
また、上記実施形態では自動車４０１の内部を示した内部画像４０３を関連画像としていたが、関連画像として、例えば自動車４０１の３次元ＣＡＤ線、車種名、燃費を示した画像等、自動車４０１に関連する画像であるならばその内容は問わない。また、上記実施形態では撮像対象を自動車４０１としていたが、他の実物を撮像対象としてもかまわない。
【００６１】
また、上記実施形態では撮像倍率に基づいて、実物画像４０４と内部画像４０３とを切り替えていたが、使用者５０と撮像される自動車４０１との距離等、他の撮像条件に基づいて実物画像４０４と内部画像４０３とを切り替えても良い。使用者５０と撮像される自動車４０１との距離に基づいて、実物画像４０４と内部画像４０３とを切り替える場合、例えば実物画像４０４の全領域に対する自動車４０１に相当する画像の割合の大小やバーコード４０２の大きさで、あるいはフォーカス調整でその距離を判定するようにしても良い。
【００６２】
また、上記の実施の形態では、記憶装置３００は、ヘッドマウントディスプレイ１と別に設けてネットワーク２００で接続しているが、記憶装置３００をフラッシュメモリ等で構成して、ヘッドマウントディスプレイ１と一体化しても良い。
【符号の説明】
【００６３】
１ ヘッドマウントディスプレイ
２ ＣＣＤセンサ（撮像手段）
５ ヘッドマウントディスプレイシステム
１１ 撮像倍率設定部
１１０ 制御部
３００ 記憶装置（関連画像記憶手段）
４０１ 自動車（実物）
４０２ バーコード（識別情報）
４０３ 内部画像（関連画像）
４０４ 実物画像
Ｓ１３ 実物特定手段
Ｓ１４ 選択手段
【技術分野】
【０００１】
本発明は、実物を示した実物画像若しくはその実物に関連した関連画像を表示するヘッドマウントディスプレイに関する。
【背景技術】
【０００２】
従来、実物を示した実物画像若しくはその実物に関連した関連画像を表示するヘッドマウントディスプレイが提案されている（例えば、特許文献１参照。）。特許文献１に記載のヘッドマウントディスプレイでは、ヘッドマウントディスプレイを装着した使用者が、特定の実物の方向に向いた場合には、その実物を示した実物画像を表示するとともに、使用者が、一定時間以上その実物画像を視認していた場合には、その実物に興味があるとして、その実物に関連する関連画像も表示している。こうすることによって、使用者の興味をヘッドマウントディスプレイでの画像表示に反映させている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−３８００８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、一定時間以上、使用者が同じ実物画像を見ているからといって、常にその実物画像で示される実物に興味があるとは限らない。何も考えずに一点を見ていることもある。したがって、特許文献１に記載のヘッドマウントディスプレイでは、使用者が所望しないにもかかわらず関連画像が表示されてしまうことがあり、それが煩わしいという問題点があった。また、視線方向に交差するオブジェクトが複数有る場合に、特定するオブジェクトを選択することができず、所望の画像を見ることができない問題点があった。
【０００５】
本発明は、上記問題点に鑑みてなされたものであり、実物を示した実物画像若しくはその実物に関連した関連画像を表示するヘッドマウントディスプレイにおいて、実物画像と関連画像とを使用者の意思に基づいて簡易に切り替えることができるヘッドマウントディスプレイを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、請求項１のヘッドマウントディスプレイは、使用者の頭部に装着され、当該使用者の目に画像を表示する表示手段を備えたヘッドマウントディスプレイと、当該ヘッドマウントディスプレイを装着する使用者の視野に対応した実物を実物画像として撮像するとともに、前記実物を撮像するときの撮像条件を前記使用者が設定可能な撮像手段と、当該撮像手段によって撮像される実物に関連した画像である関連画像をその実物に対応させて記憶する関連画像記憶手段とを備えるヘッドマウントディスプレイシステムに使用される前記ヘッドマウントディスプレイであって、前記撮像条件に基づいて、前記実物画像と前記関連画像のいずれか一方を選択する選択手段と、当該選択手段によって前記実物画像が選択された場合には、前記実物画像を前記表示手段に表示し、前記関連画像が選択された場合には、前記実物に対応して前記関連画像記憶手段に記憶されている前記関連画像を前記表示手段に表示する表示制御手段とを備えている。
【０００７】
また、請求項２のヘッドマウントディスプレイは、請求項１に記載の発明の構成に加え、前記撮像手段によって撮像された実物画像に含まれている実物を特定する実物特定手段を備え、前記表示制御手段は、当該実物特定手段によって特定された実物に対応して前記関連画像記憶手段に記憶されている前記関連画像を表示することを特徴とする。
【０００８】
また、請求項３のヘッドマウントディスプレイは、請求項２に記載の発明の構成に加え、前記関連画像記憶手段は、前記関連画像として、前記使用者がその実物を見る位置に対応した内部画像を、各位置に対応させて記憶し、前記実物特定手段は、特定した実物を撮像した位置も特定し、前記表示制御手段は、前記関連画像を表示するときには、前記実物特定手段によって特定された位置に対応して前記関連画像記憶手段に記憶されている前記内部画像を前記表示手段に表示することを特徴とする。
【０００９】
また、請求項４のヘッドマウントディスプレイは、請求項１乃至３の何れかに記載の発明の構成に加え、前記撮像条件として、撮像倍率を設定可能であり、前記選択手段は、前記撮像倍率が所定の閾値以下の場合に前記実物画像を選択する一方で、前記撮像倍率が前記所定の閾値より大きい場合に前記関連画像を選択することを特徴とする。
【００１０】
また、請求項５のヘッドマウントディスプレイは、請求項１乃至４の何れかに記載の発明の構成に加え、前記撮像手段によって撮像される実物には、自身を識別する識別情報が付されており、前記実物特定手段は、前記実物画像に含まれている前記識別情報に基づいて、前記撮像手段が撮像した実物を特定することを特徴とする。
【発明の効果】
【００１１】
請求項１に記載のヘッドマウントディスプレイによれば、実物特定手段は、撮像手段によって撮像された実物画像で示される実物を特定する。選択手段は、撮像条件に基づいて、実物画像と関連画像のいずれか一方を選択することができる。そして、表示制御手段は、選択手段によって実物画像が選択された場合には、実物画像を表示する一方で、関連画像が選択された場合には、実物に対応して関連画像記憶手段に記憶されている関連画像を表示することができる。このように、撮像条件は使用者が設定可能であり、その撮像条件に基づいて実物画像又は関連画像がヘッドマウントディスプレイに表示される。したがって、実物画像と関連画像とを使用者の意思に基づいて簡易に切り替えることができる。
【００１２】
請求項２に記載のヘッドマウントディスプレイによれば、実物特定手段により、撮像手段によって撮像された撮像画像に含まれている実物を示した画像がどの実物を示した画像なのかを特定することによって、表示制御手段は、当該実物特定手段によって特定された実物に対応して前記関連画像記憶手段に記憶されている前記関連画像を表示することができる。
【００１３】
請求項３のヘッドマウントディスプレイによれば、使用者は実物の内部画像を視認できる。そして、その内部画像は、使用者がその実物を見る位置に対応した画像である。したがって、使用者は、実物の内部を多方向から把握することができる。
【００１４】
請求項４のヘッドマウントディスプレイによれば、撮像倍率によって、表示させる画像を実物画像又は関連画像に決定しているので、使用者は容易に表示させる画像を切り替えることができる。また、一般的に使用者は、興味がある実物、すなわち関連画像を表示させたい実物ほど直感的に撮像倍率を大きく設定すると考えられる。そこで、選択手段は、撮像倍率が所定値より小さい場合に実物画像を選択する一方で、撮像倍率が所定値以上の場合に関連画像を選択している。その結果、使用者は、どちらの画像を表示させるか決定するための操作がやりやすい。
【００１５】
請求項５のヘッドマウントディスプレイによれば、識別情報に基づいて実物を特定しているので、確実に撮像手段が撮像した実物を特定することができる。
【図面の簡単な説明】
【００１６】
【図１】ヘッドマウントディスプレイ１が適用されるヘッドマウントディスプレイシステム５の概略構成を示した図である。
【図２】ヘッドマウントディスプレイ１の電気的及び光学的構成を示す説明図である。
【図３】記憶装置３００に記憶されているテーブル３０１の概念図である。
【図４】制御部１１０が実行する処理を示したフローチャートである。
【図５】使用者５０が自動車４０１の前方に居る場合における実物画像４０４をヘッドマウントディスプレイ１に表示した図である。
【図６】使用者５０が自動車４０１の側方に居る場合における実物画像４０４をヘッドマウントディスプレイ１に表示した図である。
【図７】使用者５０が自動車４０１の前方に居る場合における内部画像４０３ａ１をヘッドマウントディスプレイ１に表示した図である。
【図８】使用者５０が自動車４０１の側方に居る場合における内部画像４０３ａ２をヘッドマウントディスプレイ１に表示した図である。
【図９】使用者５０が自動車４０１に対してどの位置に居るのかを判定する方法を説明するための図である。
【発明を実施するための形態】
【００１７】
以下、本発明に係るヘッドマウントディスプレイの実施形態について図面を参照して説明する。図１は本実施形態のヘッドマウントディスプレイ１を用いたヘッドマウントディスプレイシステム５の概略構成を示した図である。図１に示すように、ヘッドマウントディスプレイシステム５は、ヘッドマウントディスプレイ１と記憶装置３００とをネットワーク２００を介して接続して構成されている。そして、ヘッドマウントディスプレイ１は使用者５０によって装着される。
【００１８】
使用者５０は、一例として、自動車４０１ａ、４０１ｂ、４０１ｃ（以下、総称して「自動車４０１」ともいう）を視認するものとする。また、本実施形態の自動車４０１ａ、４０１ｂ、４０１ｃはそれぞれ車種が異なっているものとする。各自動車４０１の前面、側面には、バーコード４０２（識別情報）が付してある。詳細には自動車４０１ａの前面にはバーコード４０２ａ１、側面にはバーコード４０２ａ２が付されている。また、自動車４０１ｂの前面にはバーコード４０２ｂ１、側面にはバーコード４０２ｂ２が付されている。また、自動車４０１ｃの前面にはバーコード４０２ｃ１、側面にはバーコード４０２ｃ２が付されている。また、図示外の他の自動車についてもその前面と側面には、固有のバーコードが付されているものとする。従って、バーコード４０２ａ１〜４０２ｃ２は各自動車４０１ａ〜４０１ｃを特定する情報である。また、バーコード４０２ａ１〜４０２ｃ２は、後述するＣＣＤセンサ２にて撮像されたときの撮像位置、すなわち使用者５０は自動車４０１の前面を撮像する位置に居るのか側面を撮像する位置に居るのかを特定する情報でもある。
【００１９】
次に、先ずヘッドマウントディスプレイ１の構造について図１及び図２を参照して説明する。図１及び図２に示すように、ヘッドマウントディスプレイ１は、内部又は外部に記憶されている各種情報を画像信号に変換し、この画像信号に基づいて生成した画像光（以下、「画像光」という。）を使用者５０の眼Ｅに導いて走査する光走査部１０（図２参照）を備えている。このヘッドマウントディスプレイ１では、ヘッドマウントディスプレイ１が使用者５０の頭部に装着された状態で、使用者５０がヘッドマウントディスプレイ１の電源を入れると、光走査部１０が動作を開始する。光走査部１０の動作により、画像光が使用者５０の網膜上で２次元方向に走査されることにより、使用者５０に情報に対応する画像を視認させることができる。また、このヘッドマウントディスプレイ１は、使用者５０が外界を視認できないように構成されている。
【００２０】
また、本実施形態のヘッドマウントディスプレイ１は、使用者５０の視野に対応して自動車４０１を撮像する撮像手段としてのＣＣＤセンサ２を備えている。なお、ヘッドマウントディスプレイ１は、外界の明るさを検出する輝度センサ８と、ＣＣＤセンサ２の撮像範囲を照らすＬＥＤ３とを備えており（図２参照）、輝度センサ８により外界の明るさが所定の明るさを下回ったことが検知されたときに、ＬＥＤ３がＣＣＤセンサ２の撮像範囲を照らす。
【００２１】
図２に示すように、このヘッドマウントディスプレイ１は、当該ヘッドマウントディスプレイ１全体の動作を統括制御する制御部１１０と、この制御部１１０から供給される画像信号に基づいて生成した画像光を２次元的に走査することにより画像を表示することによって、画像信号に応じた画像を視認させる光走査部１０とを備えている。
【００２２】
光走査部１０は、この制御部１１０から供給される画像信号をドットクロック毎に読み出し、読み出した映像信号に応じて強度変調された画像光を生成して出射する画像光生成部２０を備え、さらに、その画像光生成部２０と使用者５０の眼Ｅとの間には、画像光生成部２０で生成され、光ファイバ１００を介して出射されるレーザビーム（画像光）を平行光とするコリメート光学系６１と、このコリメート光学系６１で平行光化された画像光を画像表示のために水平方向（第１方向）に往復走査する第１光走査部として機能する水平走査部７０と、水平走査部７０で水平方向に走査された画像光を垂直方向（第１方向と略直交する第２方向）に往復走査する第２光走査部として機能する垂直走査部８０と、水平走査部７０と垂直走査部８０との間に設けられたリレー光学系７５と、このように水平方向と垂直方向に走査（２次元的に走査）された画像光を瞳孔Ｅａへ出射するためのリレー光学系９０とを備えている。また、使用者５０が外界を視認できないようにするために、使用者５０の目の周りを閉塞する閉塞部材（図示略）を備えている。
【００２３】
また、画像光生成部２０には、パーソナルコンピュータ（図示略）等の外部装置から供給される画像信号が、インターフェース１０４と制御部１１０とを介して入力され、その画像信号に基づいて画像を合成するための要素となる各信号等を発生する信号処理回路２１が設けられている。この信号処理回路２１において、青（Ｂ）、緑（Ｇ）、赤（Ｒ）の各画像信号２２ａ〜２２ｃが生成され、後記する光源部３０へ出力される。また、信号処理回路２１は、水平走査部７０で使用される水平駆動信号２３と、垂直走査部８０で使用される垂直駆動信号２４とをそれぞれ出力する。
【００２４】
さらに、画像光生成部２０は、信号処理回路２１からドットクロック毎に出力される３つの画像信号（Ｂ，Ｇ，Ｒ）２２ａ〜２２ｃに応じた青、緑、赤の画像光を出力する画像光出力部として機能する光源部３０と、これらの３つの画像光を１つの画像光に結合して任意の画像光を生成するための光合成部４０を備えている。
【００２５】
光源部３０は、青色の画像光を発生させるＢレーザ３４及びＢレーザ３４を駆動するＢレーザドライバ３１と、緑色の画像光を発生させるＧレーザ３５及びＧレーザ３５を駆動するＧレーザドライバ３２と、赤色の画像光を発生させるＲレーザ３６及びＲレーザ３６を駆動するＲレーザドライバ３３とを備えている。なお、各レーザ３４、３５、３６は、例えば、半導体レーザや高調波発生機構付き固体レーザとして構成することが可能である。なお、半導体レーザを用いる場合は駆動電流を直接変調して、画像光の強度変調を行うことができるが、固体レーザを用いる場合は、各レーザそれぞれに外部変調器を備えて画像光の強度変調を行う。
【００２６】
光合成部４０は、光源部３０から入射する画像光を平行光にコリメートするように設けられたコリメート光学系４１、４２、４３と、このコリメートされた画像光を合成するためのダイクロイックミラー４４、４５、４６と、合成された画像光を光ファイバ１００に導く結合光学系４７とを備えている。
【００２７】
各レーザ３４、３５、３６から出射したレーザ光は、コリメート光学系４１、４２、４３によってそれぞれ平行化された後に、ダイクロイックミラー４４、４５、４６に入射される。その後、これらのダイクロイックミラー４４、４５、４６により、各画像光が波長に関して選択的に反射・透過される。
【００２８】
具体的には、Ｂレーザ３４から出射した青色画像光は、コリメート光学系４１によって平行光化された後に、ダイクロイックミラー４４に入射される。Ｇレーザ３５から出射した緑色画像光は、コリメート光学系４２を経てダイクロイックミラー４５に入射される。Ｒレーザ３６から出射した赤色画像光は、コリメート光学系４３を経てダイクロイックミラー４６に入射される。
【００２９】
それら３つのダイクロイックミラー４４、４５、４６にそれぞれ入射した３原色の画像光は、波長選択的に反射または透過して結合光学系４７に達し、集光され光ファイバ１００へ出力される。
【００３０】
水平走査部７０及び垂直走査部８０は、光ファイバ１００から入射された画像光を画像として投影可能な状態にするために、水平方向と垂直方向に走査して走査画像光とするものである。
【００３１】
水平走査部７０は、画像光を水平方向に走査するための反射面を有する共振型偏向素子７１と、この共振型偏向素子７１を共振させ、共振型偏向素子７１の反射面を揺動させる駆動信号を発生する駆動信号発生器としての水平走査駆動回路７２と、共振型偏向素子７１から出力される変位信号に基づいて、共振型偏向素子７１の反射面の揺動範囲及び揺動周波数等の揺動状態を検出する水平走査角検出回路７３とを有している。
【００３２】
本実施形態において、水平走査角検出回路７３は、検出した共振型偏向素子７１の揺動状態を示す信号を制御部１１０へ入力するようにしている。
【００３３】
垂直走査部８０は、画像光を垂直方向に走査するための偏向素子８１と、この偏向素子８１を駆動させる垂直走査制御回路８２と、この垂直走査制御回路８２による反射面の揺動範囲及び揺動周波数等の揺動状態を検出する垂直走査角検出回路８３とを備えている。
【００３４】
また、水平走査駆動回路７２と垂直走査制御回路８２は、信号処理回路２１から出力される水平駆動信号２３と垂直駆動信号２４に基づいてそれぞれ駆動し、垂直走査角検出回路８３は、検出した偏向素子８１の揺動状態を示す信号を制御部１１０へ入力するようにしている。
【００３５】
そして、後に詳述する制御部１１０は、信号処理回路２１の動作を制御することによって、これら水平駆動信号２３と垂直駆動信号２４とを調整することによって、水平走査部７０と垂直走査部８０に画像光の走査角を変更させて、表示する画像を形成する。
【００３６】
こうして変更された走査角度は水平走査角検出回路７３および垂直走査角検出回路８３からの検出信号に基づいて制御部１１０により検出され、信号処理回路２１と水平走査駆動回路７２とを介して水平駆動信号２３にフィードバックされると共に、信号処理回路２１と垂直走査制御回路８２とを介して垂直駆動信号２４にフィードバックされる。
【００３７】
また、水平走査部７０と垂直走査部８０との間での画像光を中継するリレー光学系７５は、共振型偏向素子７１によって水平方向に走査された画像光を、偏向素子８１の反射面に入射させる。偏向素子８１に入射した画像光は、偏向素子８１によって垂直方向に走査されて、２次元的に走査された走査画像光として、リレー光学系９０へ出射する。
【００３８】
リレー光学系９０は、正の屈折力を持つレンズ系９１、９４を有している。垂直走査部８０から出射された表示用の走査画像光は、レンズ系９１によって、それぞれの画像光がその画像光の中心線を相互に略平行にされ、かつそれぞれ収束画像光に変換される。そして、走査画像光は、レンズ系９４によってそれぞれほぼ平行な画像光となると共に、これらの画像光の中心線が使用者５０の瞳孔Ｅａに収束するように変換される。
【００３９】
なお、本実施形態においては、光ファイバ１００から出射した画像光は、水平走査部７０によって水平方向に走査された後、垂直走査部８０によって垂直方向に走査される。しかし、水平走査部７０と垂直走査部８０との配置を入れ替え、画像光が垂直走査部８０によって垂直方向に走査された後、水平走査部７０によって水平方向に走査されるようにしても良い。
【００４０】
また、制御部１１０は、ＣＰＵ１０１と、不揮発性メモリであるフラッシュメモリ１０２と、ＲＡＭ１０３とを備えている。そして、これらＣＰＵ１０１、フラッシュメモリ１０２、ＲＡＭ１０３は、データ通信用のバスにそれぞれ接続されており、このデータ通信用のバスを介して各種情報の送受信を行う。
【００４１】
また、この制御部１１０は、当該ヘッドマウントディスプレイ１の電源スイッチＳＷ、自動車４０１を撮像するＣＣＤセンサ２、外界の明るさ（輝度）を検知する輝度センサ８、輝度センサ８により外界の明るさが所定の明るさを下回ったことが検知されたときに、ＣＣＤセンサ２の撮像範囲を照らすＬＥＤ３、使用者５０によって操作可能な操作スイッチ７、他の装置との通信を制御するための通信制御回路９、ＣＣＤセンサ２による撮像倍率を設定する撮像倍率設定部１１、パーソナルコンピュータ等の外部装置と接続可能なインターフェース１０４とも接続されている。なお使用者５０は、撮像倍率設定部１１にて撮像倍率を設定することができる。ここで、撮像倍率設定部１１にて設定される撮像倍率は、デジタルズームを行う場合には、予め決められているズームの範囲、一例として、１倍〜５倍等である。また、ＣＣＤセンサ２に図示外の電動ズームレンズを設けて、光学的ズームを行う場合は、その電動ズームレンズの倍率を設定するようにしても良い。例えば、１倍〜３倍等である。尚、撮像倍率設定部１１にて設定された撮像倍率は、フラッシュメモリ１０２に記憶される。
【００４２】
ＣＰＵ１０１は、フラッシュメモリ１０２に記憶されている各種情報処理プログラムを実行することにより、ヘッドマウントディスプレイ１を構成する図示しない各種回路を動作させて、ヘッドマウントディスプレイ１が備える各種機能を実行させる演算処理装置である。
【００４３】
フラッシュメモリ１０２は、ヘッドマウントディスプレイ１により表示する画像の表示制御を行う際に画像光生成部２０、水平走査部７０、垂直走査部８０等を動作させるための情報処理プログラム等、制御部１１０がヘッドマウントディスプレイ１全体の動作を統括制御するためにＣＰＵ１０１により実行される各種情報処理プログラムを記憶している。
【００４４】
次に、図１及び図３を参照して、記憶装置３００について説明する。この記憶装置３００は、本発明の「関連画像記憶手段」に相当し、記憶装置３００には、ＣＣＤセンサ２によって撮像される可能性がある各自動車４０１に関連した画像である関連画像を含むテーブル３０１が記憶されている。図３に示すようにテーブル３０１は、自動車区分欄３０２、撮像位置欄３０３、バーコード記憶欄３０４及び関連画像記憶欄３０５から構成される。
【００４５】
自動車区分欄３０２には各自動車４０１ａ，４０１ｂ，４０１ｃを示した情報が記憶されている。撮像位置欄３０３には、自動車４０１のどの方向から撮像したのかを示した情報が記憶されている。バーコード記憶欄３０４には、各自動車４０１に予め付されているバーコード４０２ａ１，４０２ａ２，４０２ｂ１，４０２ｂ２，４０２ｃ１，４０２ｃ２が示す数字が各々記憶されている。一例として、日本のＪＩＳ規格、ヨーロッパのＥＡＮ規格又はアメリカのＵＰＣ規格の何れか場合には、１３桁又は８桁の数字が記憶されている。現在、世界で使用されているバーコードの種類は、約１００種類と多いため、バーコード記憶欄３０４には、使用するバーコードに対応した数値を記憶しておけば良い。尚、バーコードそのものの画像を記憶したり、バーコードと数値の両方を記憶しても良い。また、関連画像記憶欄３０５には各バーコード４０２ａ１〜４０２ｃ２に対応した自動車４０１ａ，４０１ｂ，４０１ｃの内部を示した内部画像４０３ａ１，４０３ａ２，４０３ｂ１，４０３ｂ２，４０３ｃ１，４０３ｃ２・・・が関連画像として記憶されている。詳細には、バーコード４０２ａ１に対応付けて、自動車４０１ａを前方から視認したときのその自動車４０１ａの内部画像４０３ａ１が記憶されている。また、バーコード４０２ａ２に対応付けて、自動車４０１ａを側方から視認したときのその自動車４０１ａの内部画像４０３ａ２が記憶されている。また、バーコード４０２ｂ１に対応付けて、自動車４０１ｂを前方から視認したときのその自動車４０１ｂの内部画像４０３ｂ１が記憶されている。また、バーコード４０２ｂ２に対応付けて、自動車４０１ｂを側方から視認したときのその自動車４０１ｂの内部画像４０３ｂ２が記憶されている。また、バーコード４０２ｃ１に対応付けて、自動車４０１ｃを前方から視認したときのその自動車４０１ｃの内部画像４０３ｃ１が記憶されている。また、バーコード４０２ｃ２に対応付けて、自動車４０１ｃを側方から視認したときのその自動車４０１ｃの内部画像４０３ｃ２が記憶されている。ここでは説明を省略するが、他の自動車４０１についても、バーコード４０２に対応付けて内部画像４０３が記憶されている。
【００４６】
次に、制御部１１０が実行する処理について図４のフローチャートを参照して説明する。なお、この処理は使用者５０によって操作スイッチ７に含まれている開始ボタンが操作されたときに開始する。以下「表示」と言ったときには、画像光を使用者５０の網膜上で２次元方向に走査させることにより、使用者５０に情報に対応する画像を視認させることを言う。
【００４７】
先ず、制御部１１０の制御により、ＣＣＤセンサ２が使用者５０の視野に対応した自動車４０１を実物画像４０４（図５及び図６参照）として撮像する（Ｓ１１）。そして、その実物画像４０４からバーコード４０２を抽出する（Ｓ１２）。この抽出方法は、周知の画像認識方により、実物画像４０４からバーコードの特徴を示す部分の画像を切り出し、ノイズ除去等の処理を行い、次いで、バーコード４０２の画像を数値に変換する（Ｓ１２）。その数値が、記憶装置３００に記憶されているテーブル３０１のバーコード記憶欄３０４のバーコード４０２ａ１、４０２ａ２、４０２ｂ１、４０２ｂ２、４０２ｃ１、４０２ｃ２・・・のどれに一致するかを特定する（Ｓ１３）。
【００４８】
一致するバーコードが有った場合には（Ｓ１３：ＹＥＳ）、次いで、使用者５０が撮像倍率設定部１１にて設定した撮像倍率が、所定の閾値倍率（例えば２倍）より大きいか否かを判断する（Ｓ１４）。撮像倍率が閾値倍率以下の場合には（Ｓ１４：ＮＯ）、図５や図６に示すように、Ｓ１１にて撮像した実物画像４０４を表示する（Ｓ１７）。この際、撮像倍率に応じた大きさで実物画像４０４を表示する（Ｓ１７）。このように、使用者５０は、外界を視認することができないので自動車４０１を直接視認することはできないが、実物画像４０４として自動車４０１を視認することができる。
【００４９】
一方、撮像倍率が閾値倍率より大きい場合には（Ｓ１４：ＹＥＳ）、Ｓ１３にて特定したバーコード４０２に対応付けて記憶装置３００に記憶されている内部画像４０３を表示する（Ｓ１５）。この際、撮像倍率に応じた大きさで内部画像を表示する（Ｓ１５）。例えば、Ｓ１３にて特定されたバーコード４０２がバーコード４０２ａ１である場合には、図７に示すように、自動車４０１ａを前方から視認したときのその自動車４０１ａの内部画像４０３ａ１が表示される。また、Ｓ１３にて特定されたバーコード４０２がバーコード４０２ａ２である場合には、図８に示すように、自動車４０１ａを横方向から視認したときのその自動車４０１ａの内部画像４０３ａ２が表示される。このように、使用者５０は自動車４０１の内部を内部画像４０３として視認できる。尚、Ｓ１３の判断処理で、バーコードが特定されない場合には（Ｓ１３：ＮＯ）、実物画像を表示する（Ｓ１７）。
【００５０】
その後、使用者５０によって操作スイッチ７に含まれている終了ボタンが操作されたか否かで、図４のフローチャートで示す処理を終了するか否かを判断する（Ｓ１６）。終了ボタンが操作された場合には（Ｓ１６：ＹＥＳ）、図４のフローチャートで示す処理を終了する。一方、終了ボタンが操作されていない場合には（Ｓ１６：ＮＯ）、Ｓ１１の処理に戻る。したがって、使用者５０が居る位置はそのままで、使用者５０が撮像倍率を所定値以上にしたり、所定値より小さくしたりすることによって、自動車４０１の内部画像４０３と実物画像４０４間で表示が切り替わることになる（Ｓ１１〜Ｓ１７）。また、使用者５０の視線が移動して、ＣＣＤセンサ２が他の自動車４０１を撮像した場合には（Ｓ１１）、他の自動車４０１に付されているバーコード４０２を抽出し（Ｓ１２）、その特徴によりバーコード４０２を特定して（Ｓ１２）、他の自動車４０１を示した実物画像４０４若しくは内部画像４０３を表示することになる（Ｓ１１〜Ｓ１７）。
【００５１】
以上、本実施形態のヘッドマウントディスプレイ１によれば、ＣＣＤセンサ２によって撮像された実物画像４０４で示される自動車４０１をバーコード４０２にて特定する。そして、撮像倍率が所定値より小さい場合には実物画像４０４を表示する一方で、撮像倍率が所定値以上の場合にはその実物画像４０４に対応した内部画像４０３を表示する。
【００５２】
このように、撮像倍率は使用者５０が設定可能であり、その撮像倍率に基づいて実物画像４０４又は内部画像４０３がヘッドマウントディスプレイ１に表示される。したがって、実物画像４０４と内部画像４０３とを使用者５０の意思に基づいて簡易に切り替えることができる。
【００５３】
また、ヘッドマウントディスプレイ１によれば、使用者５０は自動車４０１の内部画像４０３を視認できる。そして、その内部画像４０３は、使用者５０がその自動車４０１を見る位置に対応した画像である。したがって、使用者５０は、自動車４０１の内部を多方向から把握することができる。
【００５４】
また、ヘッドマウントディスプレイ１によれば、撮像倍率によって、表示させる画像を実物画像４０４又は内部画像４０３に決定しているので、使用者５０は容易に表示させる画像を切り替えることができる。また、一般的に使用者５０は、興味がある自動車４０１、すなわち、内部画像４０３を表示させたい自動車４０１ほど直感的に撮像倍率を大きく設定すると考えられる。そこで、撮像倍率が所定値より小さい場合に実物画像４０４を表示する一方で、撮像倍率が所定値以上の場合に内部画像４０３を表示している。その結果、使用者５０は、どちらの画像を表示させるか決定するための操作がやりやすいと考えられる。
【００５５】
また、ヘッドマウントディスプレイ１によれば、バーコード（識別情報）に基づいて自動車４０１を特定しているので、確実にＣＣＤセンサ２が撮像した自動車４０１を特定することができる。
【００５６】
なお、本発明に係るヘッドマウントディスプレイ１は、上記実施形態に限定されるわけではなく、その趣旨を逸脱しない範囲において種々変形しても良い。例えば、上記実施形態では、自動車４０１及び撮像位置を特定するのにバーコード４０２を用いていたが、ＱＲコード（登録商標）や、ＩＣタグなど他の識別情報を自動車４０１に付して、その識別情報に基づいて自動車４０１及び撮像位置を特定しても良い。
【００５７】
また、上記実施形態では、撮像位置として、自動車４０１の前方と側方の２つに限っていたが、後方や斜め前方等、さらに多くの撮像位置を採用して多方向から内部画像４０３を表示するようにしても良い。この場合、各方向に対応する内部画像４０３を用意しておく必要がある。また、使用者５０が自動車４０１に対してどの位置に居るのかを判定する方法として、例えば実物画像４０４に含まれているバーコード４０２の大きさや傾きに基づいて、その位置を判定することもできる。
【００５８】
一例として、図９に示すように、自動車４０１に貼り付けされたバーコード４０２に対して、使用者が正面に位置している場合には、バーコードは、歪まずに撮影される。一方、自動車４０１に貼り付けされたバーコード４０２に対して、使用者が斜めの位置にいる場合には、バーコードは、歪んで撮影される。従って、この歪みを検出することによって、使用者の自動車４０１に対する置関係を判別することができる（図９参照）。
【００５９】
また、各自動車４０１の位置を予め記憶しておき、使用者５０の位置をＧＰＳ受信機によって検出して、自動車４０１の位置と使用者５０の位置に基づいて、使用者５０が自動車４０１に対してどの位置に居るのかを判定しても良い。また、特許公報３４２２３８３号に記載されているように、自動車４０１の四隅に発光体を付しておき、実物画像４０４において、各発光体間の相対位置に基づいて、使用者５０が自動車４０１に対してどの位置に居るのかを判定しても良い。
【００６０】
また、上記実施形態では自動車４０１の内部を示した内部画像４０３を関連画像としていたが、関連画像として、例えば自動車４０１の３次元ＣＡＤ線、車種名、燃費を示した画像等、自動車４０１に関連する画像であるならばその内容は問わない。また、上記実施形態では撮像対象を自動車４０１としていたが、他の実物を撮像対象としてもかまわない。
【００６１】
また、上記実施形態では撮像倍率に基づいて、実物画像４０４と内部画像４０３とを切り替えていたが、使用者５０と撮像される自動車４０１との距離等、他の撮像条件に基づいて実物画像４０４と内部画像４０３とを切り替えても良い。使用者５０と撮像される自動車４０１との距離に基づいて、実物画像４０４と内部画像４０３とを切り替える場合、例えば実物画像４０４の全領域に対する自動車４０１に相当する画像の割合の大小やバーコード４０２の大きさで、あるいはフォーカス調整でその距離を判定するようにしても良い。
【００６２】
また、上記の実施の形態では、記憶装置３００は、ヘッドマウントディスプレイ１と別に設けてネットワーク２００で接続しているが、記憶装置３００をフラッシュメモリ等で構成して、ヘッドマウントディスプレイ１と一体化しても良い。
【符号の説明】
【００６３】
１ ヘッドマウントディスプレイ
２ ＣＣＤセンサ（撮像手段）
５ ヘッドマウントディスプレイシステム
１１ 撮像倍率設定部
１１０ 制御部
３００ 記憶装置（関連画像記憶手段）
４０１ 自動車（実物）
４０２ バーコード（識別情報）
４０３ 内部画像（関連画像）
４０４ 実物画像
Ｓ１３ 実物特定手段
Ｓ１４ 選択手段
【特許請求の範囲】
【請求項１】
使用者の頭部に装着され、当該使用者の目に画像を表示する表示手段を備えたヘッドマウントディスプレイと、
当該ヘッドマウントディスプレイを装着する使用者の視野に対応した実物を実物画像として撮像するとともに、前記実物を撮像するときの撮像条件を前記使用者が設定可能な撮像手段と、
当該撮像手段によって撮像される実物に関連した画像である関連画像をその実物に対応させて記憶する関連画像記憶手段とを備えるヘッドマウントディスプレイシステムに使用される前記ヘッドマウントディスプレイであって、
前記撮像条件に基づいて、前記実物画像と前記関連画像のいずれか一方を選択する選択手段と、
当該選択手段によって前記実物画像が選択された場合には、前記実物画像を前記表示手段に表示し、前記関連画像が選択された場合には、前記実物に対応して前記関連画像記憶手段に記憶されている前記関連画像を前記表示手段に表示する表示制御手段とを備えたことを特徴とするヘッドマウントディスプレイ。
【請求項２】
前記撮像手段によって撮像された実物画像に含まれている実物を特定する実物特定手段を備え、
前記表示制御手段は、当該実物特定手段によって特定された実物に対応して前記関連画像記憶手段に記憶されている前記関連画像を表示することを特徴とする請求項１に記載のヘッドマウントディスプレイ。
【請求項３】
前記関連画像記憶手段は、前記関連画像として、前記使用者がその実物を見る位置に対応した内部画像を、各位置に対応させて記憶し、
前記実物特定手段は、特定した実物を撮像した位置も特定し、
前記表示制御手段は、前記関連画像を表示するときには、前記実物特定手段によって特定された位置に対応して前記関連画像記憶手段に記憶されている前記内部画像を前記表示手段に表示することを特徴とする請求項２に記載のヘッドマウントディスプレイ。
【請求項４】
前記撮像条件として、撮像倍率を設定可能であり、
前記選択手段は、前記撮像倍率が所定の閾値以下の場合に前記実物画像を選択する一方で、前記撮像倍率が前記所定の閾値より大きい場合に前記関連画像を選択することを特徴とする請求項１乃至３の何れかに記載のヘッドマウントディスプレイ。
【請求項５】
前記撮像手段によって撮像される実物には、自身を識別する識別情報が付されており、
前記実物特定手段は、前記実物画像に含まれている前記識別情報に基づいて、前記撮像手段が撮像した実物を特定することを特徴とする請求項１乃至４の何れかに記載のヘッドマウントディスプレイ。
【請求項１】
使用者の頭部に装着され、当該使用者の目に画像を表示する表示手段を備えたヘッドマウントディスプレイと、
当該ヘッドマウントディスプレイを装着する使用者の視野に対応した実物を実物画像として撮像するとともに、前記実物を撮像するときの撮像条件を前記使用者が設定可能な撮像手段と、
当該撮像手段によって撮像される実物に関連した画像である関連画像をその実物に対応させて記憶する関連画像記憶手段とを備えるヘッドマウントディスプレイシステムに使用される前記ヘッドマウントディスプレイであって、
前記撮像条件に基づいて、前記実物画像と前記関連画像のいずれか一方を選択する選択手段と、
当該選択手段によって前記実物画像が選択された場合には、前記実物画像を前記表示手段に表示し、前記関連画像が選択された場合には、前記実物に対応して前記関連画像記憶手段に記憶されている前記関連画像を前記表示手段に表示する表示制御手段とを備えたことを特徴とするヘッドマウントディスプレイ。
【請求項２】
前記撮像手段によって撮像された実物画像に含まれている実物を特定する実物特定手段を備え、
前記表示制御手段は、当該実物特定手段によって特定された実物に対応して前記関連画像記憶手段に記憶されている前記関連画像を表示することを特徴とする請求項１に記載のヘッドマウントディスプレイ。
【請求項３】
前記関連画像記憶手段は、前記関連画像として、前記使用者がその実物を見る位置に対応した内部画像を、各位置に対応させて記憶し、
前記実物特定手段は、特定した実物を撮像した位置も特定し、
前記表示制御手段は、前記関連画像を表示するときには、前記実物特定手段によって特定された位置に対応して前記関連画像記憶手段に記憶されている前記内部画像を前記表示手段に表示することを特徴とする請求項２に記載のヘッドマウントディスプレイ。
【請求項４】
前記撮像条件として、撮像倍率を設定可能であり、
前記選択手段は、前記撮像倍率が所定の閾値以下の場合に前記実物画像を選択する一方で、前記撮像倍率が前記所定の閾値より大きい場合に前記関連画像を選択することを特徴とする請求項１乃至３の何れかに記載のヘッドマウントディスプレイ。
【請求項５】
前記撮像手段によって撮像される実物には、自身を識別する識別情報が付されており、
前記実物特定手段は、前記実物画像に含まれている前記識別情報に基づいて、前記撮像手段が撮像した実物を特定することを特徴とする請求項１乃至４の何れかに記載のヘッドマウントディスプレイ。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１０−２００２０９（Ｐ２０１０−２００２０９Ａ）
【公開日】平成２２年９月９日（２０１０．９．９）
【国際特許分類】
【出願番号】特願２００９−４５２６０（Ｐ２００９−４５２６０）
【出願日】平成２１年２月２７日（２００９．２．２７）
【出願人】（０００００５２６７）ブラザー工業株式会社 (13,856)
【Ｆターム（参考）】
【公開日】平成２２年９月９日（２０１０．９．９）
【国際特許分類】
【出願日】平成２１年２月２７日（２００９．２．２７）
【出願人】（０００００５２６７）ブラザー工業株式会社 (13,856)
【Ｆターム（参考）】
[ Back to top ]