ヘッドマウントディスプレイ
【課題】表示画面上に定点カメラで撮影された画像を視覚的に分かりやすく表示することができるヘッドマウントディスプレイを提供する。
【解決手段】メイン処理が実行されると、現在位置が取得され（Ｓ１１）、進行方向が取得される（Ｓ１２）。進行方向に変化がない場合（Ｓ１３：ＮＯ）、進行方向が記憶される。そして、定点カメラから位置情報を受信したか否かが判断される（Ｓ１５）。進行方向に変化があった場合（Ｓ１３：ＹＥＳ）、進行方向が記憶され、表示画像テーブルがクリアされる（Ｓ１４）。定点カメラ情報を受信した場合（Ｓ１５：ＹＥＳ）、カメラ画像の撮影方向と進行方向とに基づいて、撮影方向がＲＡＭに記憶される。そして、定点カメラとの距離が算出され（Ｓ２４）、進行方向基準画像テーブル設定処理が行われる（Ｓ２５）。次いで、画像入替処理（Ｓ２６）、画像表示処理が実行される（Ｓ２７）。
【解決手段】メイン処理が実行されると、現在位置が取得され（Ｓ１１）、進行方向が取得される（Ｓ１２）。進行方向に変化がない場合（Ｓ１３：ＮＯ）、進行方向が記憶される。そして、定点カメラから位置情報を受信したか否かが判断される（Ｓ１５）。進行方向に変化があった場合（Ｓ１３：ＹＥＳ）、進行方向が記憶され、表示画像テーブルがクリアされる（Ｓ１４）。定点カメラ情報を受信した場合（Ｓ１５：ＹＥＳ）、カメラ画像の撮影方向と進行方向とに基づいて、撮影方向がＲＡＭに記憶される。そして、定点カメラとの距離が算出され（Ｓ２４）、進行方向基準画像テーブル設定処理が行われる（Ｓ２５）。次いで、画像入替処理（Ｓ２６）、画像表示処理が実行される（Ｓ２７）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ヘッドマウントディスプレイに関するものであり、詳細には、表示画面上に定点カメラで撮影された画像を視覚的に分かりやすく表示することができるヘッドマウントディスプレイに関するものである。
【背景技術】
【０００２】
従来、複数個の定点カメラを道路に沿って設置し、道路の交通状況を撮影し、端末装置に送信する情報通信システムが知られている（例えば、特許文献１参照）。この特許文献１に記載の情報通信システムによると、画像情報提供部が、複数個の定点カメラのそれぞれで撮影された道路の交通状況の画像を収集する。収集した画像情報を、定点カメラの識別情報と、定点カメラの設置位置の情報とに対応させて蓄積して管理すると共に、利用者に、提供可能な定点カメラの候補の情報を提供する。そして、利用者の端末装置の画面上に定点カメラの候補のリストが表示される。利用者は、定点カメラの候補のリストから定点カメラを選択することにより、所望の位置の定点カメラで撮影された撮影画像である道路交通情報を得ることができる。
【特許文献１】特開２００１−１５５２８９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、特許文献１に記載の発明の情報通信システムでは、複数の定点カメラの情報のリストを表示するだけなので、個々の定点カメラの画像が視覚的に分かりづらいという問題点があった。また、ヘッドマウントディスプレイの利用者は、ヘッドマウントディスプレイを装着した状態で、街角を歩くので、歩きながらリストからの選択などの操作はしづらく、歩く速さや方向に応じて視角的にわかりやすく最適な画像の表示が望まれている。
【０００４】
本発明は、上述した問題を解決するためになされたものであり、表示画面上に定点カメラで撮影された画像を視覚的に分かりやすく表示することができるヘッドマウントディスプレイを提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記目的を達成するために、請求項１に係る発明のヘッドマウントディスプレイは、使用者の頭部に装着する頭部装着部と、前記使用者の眼に表示画像の映像光を光学的に導いて視認させる画像表示部とを有するヘッドマウントディスプレイにおいて、前記画像表示部は、外界の外光を透過するハーフミラーを有し、前記ヘッドマウントディスプレイの向いている方向である進行方向を取得する進行方向取得手段と、外部の異なる位置に設けられた定点カメラにより撮影された画像データと、前記画像データの方向である撮影方向とが対応づけられたデータを、前記定点カメラから受信データとして受信するデータ受信手段と、前記受信データを記憶するデータ記憶手段と、前記データ受信手段により受信した前記受信データを前記データ記憶手段に記憶させるデータ記憶制御手段と、前記進行方向取得手段により取得された前記進行方向と、前記データ記憶手段に記憶されている前記受信データの前記撮影方向とが同一の方向である前記画像データを前記画像表示部に表示する表示制御手段とを備えている。
【０００６】
また、請求項２に係る発明のヘッドマウントディスプレイは、請求項１に記載の発明の構成に加え、前記受信データには、前記定点カメラの位置の情報である第一位置情報をさらに含み、前記ヘッドマウントディスプレイの位置の情報である第二位置情報を取得する位置情報取得手段と、前記データ記憶手段に記憶された前記受信データの前記第一位置情報、及び前記位置情報取得手段により取得された前記第二位置情報に基づいて、前記定点カメラと前記ヘッドマウントディスプレイとの間の距離を取得する距離取得手段とを備え、前記表示制御手段は、前記距離取得手段により取得された前記距離が近いほど、前記画像表示部に前記受信データの前記画像データを手前側に表示し、前記距離が遠いほど、前記画像データを奥側に表示することでレイヤ表示をすることを特徴とする。
【０００７】
また、請求項３に係る発明のヘッドマウントディスプレイは、請求項２に記載の発明の構成に加え、前記ヘッドマウントディスプレイの移動する速度を取得する速度取得手段を備え、前記表示制御手段は、前記レイヤ表示の前記画像データの間隔及び表示枚数を、前記速度取得手段により取得された前記速度に応じた所定の間隔及び枚数で表示することを特徴とする
【０００８】
また、請求項４に係る発明のヘッドマウントディスプレイは、請求項１乃至３のいずれかに記載の発明の構成に加え、前記表示制御手段は、前記進行方向に対して右側の方向と同一の方向である前記撮影方向に対応する前記画像データを、前記画像表示部に表示されている前記進行方向に対応する前記画像データの右側に表示し、前記進行方向に対して左側の方向と同一の方向である前記撮影方向に対応する前記画像データを、前記画像表示部に表示されている前記進行方向に対応する前記画像データの左側に表示することを特徴とする。
【０００９】
また、請求項５に係る発明のヘッドマウントディスプレイは、請求項１乃至４のいずれかに記載の発明の構成に加え、前記画像表示部に表示されている複数の前記画像データの内のいずれか１つを選択する画像選択手段と、前記画像選択手段により選択された前記画像データを、前記画像表示部に表示させる画像データ表示制御手段とを備えている。
【００１０】
また、請求項６に係る発明のヘッドマウントディスプレイは、請求項５に記載の発明の構成に加え、前記使用者の眼の動きを検出する検出手段と、前記画像選択手段は、前記検出手段により検出された前記使用者の眼の動きに基づいて、前記画像表示部に表示されている複数の前記画像データの内のいずれか１つを選択することを特徴とする。
【００１１】
また、請求項７に係る発明のヘッドマウントディスプレイは、請求項５に記載の発明の構成に加え、前記使用者から、前記画像表示部に表示されている前記画像データを選択するための入力を受け付ける入力受付手段と、前記画像選択手段は、前記入力受付手段により受け付けられた前記入力に基づいて、前記画像表示部に表示されている複数の前記画像データの内のいずれか１つを選択することを特徴とする。
【発明の効果】
【００１２】
請求項１に係る発明のヘッドマウントディスプレイでは、データ受信手段により、外部の異なる位置に設けられた定点カメラから受信データとして、定点カメラにより撮影された画像データと、撮影方向とが対応づけられたデータを受信し、データ記憶制御手段によりデータ記憶手段に記憶する。また、進行方向取得手段によりヘッドマウントディスプレイの進行方向が取得され、表示制御手段により進行方向と、撮影方向とが同一の方向である画像データを画像表示部に表示する。これにより、ヘッドマウントディスプレイを装着した使用者は、表示させたい画像データを選択することなしに、進行方向に対応した画像を認識することができる。
【００１３】
また、請求項２に係る発明のヘッドマウントディスプレイでは、請求項１に記載の発明の効果に加え、受信データは第一位置情報を含んでいる。また、ヘッドマウントディスプレイの位置の情報である第二位置情報を取得する位置情報取得手段を備え、距離取得手段により第一位置情報と、第二位置情報とに基づいて、定点カメラとヘッドマウントディスプレイとの距離を取得する。そして、表示制御手段により、距離が近いほど、画像データは手前側に表示され、距離が遠いほど、画像データは奥側に表示されるレイヤ表示となる。これにより、ヘッドマウントディスプレイを装着した使用者は、表示させたい画像データを選択することなしに、進行方向に対応した画像を認識することができる。また、定点カメラとの距離に応じてレイヤ表示がされているため、進行方向での画像が撮影された位置を、より詳しく認識できると共に、表示された画像に基づいて外界の状況を立体的に把握できる。
【００１４】
また、請求項３に係る発明のヘッドマウントディスプレイでは、請求項２に記載の発明の効果に加え、ヘッドマウントディスプレイの移動する速度を取得する速度取得手段を備えており、表示制御手段は、速度に応じてレイヤ表示の間隔、及び枚数を変更して表示する。これにより、ヘッドマウントディスプレイを装着した使用者は、移動速度に応じて、より立体的に外界の状況を把握することができる。
【００１５】
また、請求項４に係る発明のヘッドマウントディスプレイでは、請求項１乃至３のいずれかに記載の発明の効果に加え、表示制御手段は、進行方向に対して右側の方向と同一の方向である撮影方向に対応する画像データを、画像表示部に表示されている進行方向に対応する画像データの右側に表示し、進行方向に対して左側の方向と同一の方向である撮影方向に対応する画像データを、画像表示部に表示されている進行方向に対応する画像データの左側に表示する。これにより、ヘッドマウントディスプレイを装着した使用者は、進行方向だけでなく、進行方向に対して左右方向の画像も視認できるため、より立体的に外界の状況を把握することができる。
【００１６】
また、請求項５に係る発明のヘッドマウントディスプレイでは、請求項１乃至４のいずれかに記載の発明の効果に加え、画像選択手段により、画像表示部に表示されている複数の画像データの内のいずれか１つを選択することができる。そして、画像データ表示制御手段により、選択された画像データを画像表示部に表示させることができる。これにより、ヘッドマウントディスプレイを装着した使用者は、複数の内のいずれか１つを自由に選択することができる。そして、選択された画像データのみを表示させ、確認することができる。
【００１７】
また、請求項６に係る発明のヘッドマウントディスプレイでは、請求項５に記載の発明の効果に加え、使用者の眼の動きを検出する検出手段を備えている。そして、画像選択手段は、検出手段により検出された使用者の眼の動きに基づいて、画像表示部に表示されている複数の画像データの内のいずれか１つを選択することができる。これにより、ヘッドマウントディスプレイを装着した使用者は、画像表示部に表示させたい画像データを、眼の視線で容易、且つ素早く選択することができる。そして、選択された画像データのみを表示させ、確認することができる。
【００１８】
また、請求項７に係る発明のヘッドマウントディスプレイでは、請求項５に記載の発明の効果に加え、画像表示部に表示されている画像データを選択するための入力を受け付ける入力受付手段を備えている。そして、画像選択手段は、入力受付手段により受け付けられた入力に基づいて、画像表示部に表示されている複数の画像データの内のいずれか１つを選択することができる。これにより、ヘッドマウントディスプレイを装着した使用者は、入力により、画像表示部に表示されている複数の画像データの内で、画像表示部に表示させたい画像データを確実に選択することができる。そして、選択された画像データのみを表示させ、確認することができる。
【発明を実施するための最良の形態】
【００１９】
以下、本発明を具現化した一実施形態について、図面を参照して説明する。なお、参照する図面は、本発明が採用しうる技術的特徴を説明するために用いられるものであり、記載されている装置の構成、各種処理のフローチャートなどは、それのみに限定する趣旨ではなく、単なる説明例である。
【００２０】
なお、本実施形態では、ヘッドマウントディスプレイとして、画像信号に応じた光束を２次元方向に走査し、その走査された光を眼に導き網膜上に表示画像を形成する網膜走査型ディスプレイを例に挙げて説明するが、これに限定しない。例えば、液晶ディスプレイ、有機ＥＬ（ＥｌｅｃｔｒｏＬｕｍｉｎｅｓｅｎｃｅ）ディスプレイ等、他の画像表示装置を備え、利用者が頭部に装着して画像を鑑賞するヘッドマウントディスプレイであってもよい。
【００２１】
はじめに、図１及び図２を参照し、定点カメラ３００及びヘッドマウントディスプレイ２００の接続形態について説明する。図１は、定点カメラ３００が設けられた街角の一具体例を示す図である。図２は、定点カメラ３００及びヘッドマウントディスプレイ２００の接続形態の一具体例を示す図である。
【００２２】
はじめに、図１を参照して、定点カメラ３００の設置位置等について説明する。図１に示すように、定点カメラ３００は、街角の各交差点に設けられている。この定点カメラ３００は、交差点の東西南北の４方向の映像を所定間隔の時間で撮影する。ここで、例えば、定点カメラ３００は道路の交通状況、歩行者の流れ等を撮影する。
【００２３】
次に、図２を参照して、定点カメラ３００とヘッドマウントディスプレイ２００との接続形態について説明する。図２に示すように、使用者３が装着したヘッドマウントディスプレイ２００には、ネットワーク１を介して定点カメラ３００が接続可能である。ヘッドマウントディスプレイ２００と、定点カメラ３００とは無線によりデータ通信が可能となっており、定点カメラ３００からヘッドマウントディスプレイ２００へ、定点カメラ３００で撮影された画像（以下、「カメラ画像」という）等が送信される。
【００２４】
次に、図３を参照し、ヘッドマウントディスプレイ２００の概略構成について説明する。図３は、ヘッドマウントディスプレイ２００の外観構成を示した図である。
【００２５】
図３に示すように、ヘッドマウントディスプレイ２００は、画像信号に応じて変調されたレーザ光（以下「映像光４」という）を走査させて出射させ、使用者３の少なくとも一方の眼の網膜に画像を直接投影する。これにより、使用者３に画像を視認させる。ヘッドマウントディスプレイ２００は、画像信号に応じて映像光４を出射する出射装置１００と、その出射装置１００から出射された映像光４を導くと共に、その映像光４を使用者３の眼に向かって反射させるハーフミラー１５０と、出射装置１００及びハーフミラー１５０を支持する頭部装着部２１０と、使用者３の眼の動きを撮影するカメラ７とを少なくとも備えている。
【００２６】
出射装置１００は、映像光４をハーフミラー１５０に対し出射する。ハーフミラー１５０は、出射装置１００に対して固定的な位置にあり、その出射装置１００から出射された映像光４を導き、その映像光４を使用者３の眼に向かって反射させる。ハーフミラー１５０は、図示しないビームスプリッタ部を備えており、外界からの外光５を透過させ、使用者３の眼に導く。ハーフミラー１５０は、使用者３の側方から入射された映像光４を使用者３の眼に入射させると共に、外界からの外光５を使用者３の眼に入射させる。これにより、実際の視界はもちろん、出射装置１００から出射された映像光４に基づく画像が視認可能となる。
【００２７】
なお本実施形態においては、ヘッドマウントディスプレイとして、網膜走査を用いたシースルーのヘッドマウントディスプレイを例に挙げて説明したが、本発明はこの例に限定されず、例えば、反射型ＬＣＤを利用したヘッドマウントディスプレイであってもよい。
【００２８】
図４を参照し、ヘッドマウントディスプレイ２００の電気的構成について説明する。図４は、ヘッドマウントディスプレイ２００の電気的構成を示す模式図である。
【００２９】
図４に示すように、ヘッドマウントディスプレイ２００は、使用者３に画像を視認させる表示部４０、各種操作やデータの入力を行うための入力部４１、画像情報等の送受信を行う通信部４３、ヘッドマウントディスプレイ２００で使用する機能の各種設定値等を記憶するフラッシュメモリ４９、表示部４０に表示する画像（グラフィック）やテキストなどのイメージデータが記憶されるビデオＲＡＭ４４、表示部４０に表示するテキストのフォントデータが記憶されるフォントＲＯＭ４５、ヘッドマウントディスプレイ２００全体を制御する制御部４６、外界の映像を撮影するカメラ７の制御を行うカメラ制御部９９、ヘッドマウントディスプレイ２００の位置を取得するためのデータを取得するＧＰＳ受信機８８の制御を行うＧＰＳ制御部８９、ヘッドマウントディスプレイ２００を装着した使用者３の進行方向を取得するための加速度計３８の制御を行う加速度計制御部３９及び電源部４７を備えている。
【００３０】
表示部４０は、使用者３に視認させるための映像の情報（以下「映像情報」という。）を制御部４６より受信し、使用者３の網膜に直接投影させるために必要な各信号に変換する為の映像信号処理部７０、レーザ光を出力するレーザ群７２（青色出力レーザ（Ｂレーザ）７２１、緑色出力レーザ（Ｇレーザ）７２２、赤色出力レーザ（Ｒレーザ）７２３）、及び、レーザよりレーザ光を出力させるための制御を行うレーザドライバ群７１を備えている。そして、映像信号処理部７０の制御により、所望のレーザ光を所望のタイミングで出力させることが可能なように、映像信号処理部７０はレーザドライバ群７１と電気的に接続されている。またレーザドライバ群７１は、Ｂレーザ７２１、Ｇレーザ７２２、及びＲレーザ７２３と其々電気的に接続されている。また、映像信号処理部７０が制御部４６より映像信号を受信することが可能なように、映像信号処理部７０と制御部４６とはバスを介して電気的に接続されている。
【００３１】
また表示部４０は、レーザより出力されたレーザ光を垂直方向に反射させることによって走査を行う垂直走査ミラー８１２及び垂直走査ミラー８１２の駆動制御を行う垂直走査制御回路８１１、レーザより出力されたレーザ光を水平方向に反射させることによって走査を行う水平走査ミラー７９２及び水平走査ミラー７９２の駆動制御を行う水平走査制御回路７９１を備えている。そして、映像信号処理部７０の制御により、所望の方向にレーザ光を反射させることが可能なように、映像信号処理部７０と垂直走査制御回路８１１及び水平走査制御回路７９１とは其々電気的に接続されている。また、垂直走査制御回路８１１は垂直走査ミラー８１２と電気的に接続されている。また、水平走査制御回路７９１は水平走査ミラー７９２と電気的に接続されている。
【００３２】
入力部４１は、各種機能キーなどからなる操作ボタン群５０、操作ボタン群５０のキーが操作されたことを検出し、制御部４６に通知する入力制御回路５１を備えている。そして、操作ボタン群５０のキーに入力された情報を制御部４６（後述）にて認識することが可能なように、操作ボタン群５０は入力制御回路５１と電気的に接続されている。また入力制御回路５１は制御部４６と電気的に接続されている。
【００３３】
通信部４３は、無線電波を使用し、画像信号等の受信を行う通信モジュール５７と、この通信モジュール５７を制御する通信制御回路５８とを備えている。そして、制御部４６にて画像信号を取得することが可能なように、制御部４６と通信制御回路５８とはバスを介して電気的に接続されている。また、通信モジュール５７は通信制御回路５８と電気的に接続されている。
【００３４】
なお、通信モジュール５７の通信方式としては特に限定されず、従来周知の無線通信方式が使用可能である。例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅ Ｂａｎｄ）規格、無線ＬＡＮ（ＩＥＥＥ８０２．１１ｂ，１１ｇ，１１ｎなど）規格、ＷｉｒｅｌｅｓｓＵＳＢ規格などに準拠した無線通信方式が使用可能である。また、赤外線を利用したＩｒＤＡ（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ）規格に準拠した無線通信方式も使用可能である。
【００３５】
カメラ制御部９９は、使用者３の眼の動きを撮影するためのカメラ７、このカメラ７の制御を行うカメラ制御回路８から構成されている。また、カメラ７にて撮影された使用者３の眼の映像を記憶可能なように、バスを介して制御部４６、及びＲＡＭ４８に電気的に接続されている。
【００３６】
ＧＰＳ制御部８９は、ヘッドマウントディスプレイ２００の現在位置のデータを取得するためのＧＰＳ受信機８８、このＧＰＳ受信機８８の制御を行うＧＰＳ制御回路８７から構成されている。また、ＧＰＳ受信機８８にて受信された現在位置のデータを記憶可能なように、バスを介して制御部４６、及びＲＡＭ４８に電気的に接続されている。
【００３７】
加速度計制御部３９は、ヘッドマウントディスプレイ２００を装着した使用者３の進行方向を取得するための加速度計３８、この加速度計３８の制御を行う加速度計制御回路３７から構成されている。また、加速度計３８により計測されたデータに基づいて使用者３の進行方向を記憶可能なように、バスを介して制御部４６、及びＲＡＭ４８に電気的に接続されている。
【００３８】
電源部４７は、ヘッドマウントディスプレイ２００を駆動させるための電源となる充電式の電池５９、及び、電池５９の電力をヘッドマウントディスプレイ２００に供給すると共に、充電用アダプタ（図示せず）から供給される電力を電池５９へ供給して電池５９の充電を行う充電制御回路６０を備えている。
【００３９】
フラッシュメモリ４９、ビデオＲＡＭ４４、及びフォントＲＯＭ４５は、制御部４６より各記憶領域に記憶された情報を参照することが可能なように、それぞれがバスを介して制御部４６と電気的に接続されている。
【００４０】
制御部４６は、ヘッドマウントディスプレイ２００全体を制御する機能を有しており、例えば、所望の情報を表示部４０に表示させたり、使用者３による入力部４１の操作に応じて所定の動作を行ったりする。
【００４１】
制御部４６は、ＣＰＵ６１、各種プログラムを格納したＲＯＭ６２、各種データが一時的に記憶されるＲＡＭ４８などから構成されている。制御部４６では、ＣＰＵ６１がＲＯＭ６２に格納された各種プログラムを読み出すことにより、各処理が実行される。ＲＡＭ４８は、ＣＰＵ６１が各処理を実行する場合に必要な各種フラグやデータの記憶領域を提供する。
【００４２】
表示部４０にて映像光４が形成される過程の概要について、図５を参照して詳説する。図５は、表示部４０において映像光４が形成される過程を説明した模式図である。表示部４０は、図５に示すように、光源ユニット部６５、コリメート光学系７７、水平走査系７９、第一リレー光学系８０、垂直走査系８１、第二リレー光学系８２を備えている。光源ユニット部６５は、映像信号処理部７０、レーザドライバ群７１、レーザ群７２、コリメート光学系７３、ダイクロイックミラー群７４、及び結合光学系７５を備えている。水平走査系７９は、水平走査制御回路７９１及び水平走査ミラー７９２を備えている。垂直走査系８１は、垂直走査制御回路８１１及び垂直走査ミラー８１２を備えている。
【００４３】
光源ユニット部６５の構成について図４、及び図５を参照して詳説する。映像信号処理部７０は、既述のように、ＣＰＵ４６と電気的に接続されている。そして、制御部４６を介して所望の情報を網膜に投影させるためにビデオＲＡＭ４４に展開された映像情報が入力される。映像信号処理部７０には、輝度信号６６（Ｂ輝度信号６６１、Ｇ輝度信号６６２、Ｒ輝度信号６６３）、垂直同期信号６７及び水平同期信号６８が其々入力される。映像信号処理部７０では、入力された映像情報を網膜に投影させるための要素となる各信号（輝度信号、水平同期信号、垂直同期信号）が生成される。生成された各信号は、輝度信号６６、水平同期信号６８、及び垂直同期信号６７に対して画素毎に出力される。
【００４４】
輝度信号６６（Ｂ輝度信号６６１、Ｇ輝度信号６６２、Ｒ輝度信号６６３）は、レーザドライバ群７１（Ｂレーザドライバ７１１、Ｇレーザドライバ７１２、Ｒレーザドライバ７１３）に其々入力される。水平同期信号６８は、水平走査系７９の水平走査制御回路７９１に入力される。垂直同期信号６７は、垂直走査系８１の垂直走査制御回路８１１に入力される。
【００４５】
レーザドライバ群７１は、レーザ群７２（Ｂレーザ７２１、Ｇレーザ７２２、Ｒレーザ７２３）に其々電気的に接続されている。レーザドライバ群７１は、輝度信号６６（Ｂ輝度信号６６１、Ｇ輝度信号６６２、Ｒ輝度信号６６３）を介して伝達された各信号の各輝度信号に基づいて、強度変調されたレーザ光をレーザ群７２より出射させるために、レーザ群７２を駆動する。
【００４６】
レーザドライバ群７１の制御に基づきレーザ群７２より出射された３色（青色、緑色、赤色）のレーザ光を平行光にコリメートさせることが可能なコリメート光学系７３（７３１〜７３３）、コリメート光学系７３にてコリメートされたレーザ光を合波させることが可能なダイクロイックミラー群７４（７４１〜７４３）、合波されたレーザ光を光ファイバ７６に導くための結合光学系７５が其々設けられている。
【００４７】
尚、レーザ群７２（Ｂレーザ７２１、Ｇレーザ７２２、Ｒレーザ７２３）として、レーザダイオード等の半導体レーザや固体レーザを利用してもよい。
【００４８】
表示部４０のうち光源ユニット部６５を除く部分の構成について詳説する。光源ユニット部６５より光ファイバ７６に対して導かれたレーザ光を、水平方向に走査させるための水平走査ミラー７９２が水平走査系７９に設けられている。水平走査ミラー７９２の偏向面７９３に入射されたレーザ光は、水平走査制御回路７９１の制御により、映像信号処理部７０より受信される水平同期信号６８に同期して水平方向に走査される。本実施の形態の水平走査系７９は、表示すべき画像の１走査線毎に、レーザ光を水平方向に水平走査（１次走査の一例）させるための光学系である。
【００４９】
水平走査されたレーザ光を垂直走査系８１に導くための第一リレー光学系８０が表示部４０に設けられている。また、第一リレー光学系８０により導かれたレーザ光を垂直方向に走査させるための垂直走査ミラー８１２が垂直走査系８１に設けられている。垂直走査ミラー８１２の偏向面８１３に入射されたレーザ光は、垂直走査制御回路８１１の制御により、映像信号処理部７０より受信される垂直同期信号６７に同期して垂直方向に走査される。本実施の形態の垂直走査系８１は、表示すべき画像の１フレーム毎に、レーザ光を最初の走査線から最後の走査線に向かって垂直に垂直走査（２次走査の一例）する光学系である。
【００５０】
垂直走査されたレーザ光（映像光４（図１参照））をハーフミラー１５０に導くための第二リレー光学系８２が表示部４０に設けられている。第二リレー光学系８２にて導かれた映像光４は、ハーフミラー１５０に入射される。ハーフミラー１５０は、第二リレー光学系８２と使用者３の瞳孔９０との間に配置される。ハーフミラー１５０は、映像光４を全反射させるなどして、使用者３の瞳孔９０に導く。
【００５１】
上述の表示部４０では、水平走査系７９は、垂直走査系８１より高速にすなわち高周波数でレーザ光を走査するように設計される。また、第一リレー光学系８０は、水平走査系７９の水平走査ミラー７９２と、垂直走査系８１の垂直走査ミラー８１２とが共役となるように構成されている。第二リレー光学系８２は、垂直走査ミラー８１２と、使用者３の瞳孔９０とが共役となるように構成されている。
【００５２】
本発明の一実施形態のヘッドマウントディスプレイ２００が、外部からの映像信号を受けてから、使用者３の網膜上に映像を投影するまでの過程について、図５を参照して説明する。
【００５３】
本実施形態のヘッドマウントディスプレイ２００では、光源ユニット部６５に設けられた映像信号処理部７０が映像信号を受信する。次いで映像信号処理部７０より、青、緑、赤の各色のレーザ光を出力させるためのＢ輝度信号６６１、Ｇ輝度信号６６２、Ｒ輝度信号６６３からなる輝度信号６６と、水平同期信号６８と、垂直同期信号６７とが出力される。
【００５４】
Ｂレーザドライバ７１１、Ｇレーザドライバ７１２、Ｒレーザドライバ７１３は、各々入力されたＢ輝度信号６６１、Ｇ輝度信号６６２、Ｒ輝度信号６６３に基づき、Ｂレーザ７２１、Ｇレーザ７２２、Ｒレーザ７２３に対してそれぞれの駆動信号を出力する。
【００５５】
上述の駆動信号に基づいて、Ｂレーザ７２１、Ｇレーザ７２２、Ｒレーザ７２３は、それぞれ強度変調されたレーザ光を発生させる。発生されたレーザ光は、コリメート光学系７３に出力される。レーザ光は、コリメート光学系７３によってそれぞれが平行光にコリメートされ、更に、ダイクロイックミラー群７４に入射されて１つのレーザ光となるよう合成される。合成されたレーザ光は、結合光学系７５によって光ファイバ７６に入射されるよう導かれる。
【００５６】
光ファイバ７６を伝達したレーザ光は、光ファイバ７６からコリメート光学系７７を介して水平走査系７９に出射される。
【００５７】
水平走査系７９に入射されたレーザ光は、水平走査ミラー７９２の偏向面７９３にて、水平同期信号６８に同期して水平方向に走査される。水平走査ミラー７９２は、水平同期信号６８に同期して、その偏向面７９３が入射光を水平方向に反射するように往復振動をしている。この水平走査ミラー７９２によってレーザ光は水平方向に走査される。水平走査されたレーザ光は、第一リレー光学系８０を介し、垂直走査系８１に出射される。
【００５８】
第一リレー光学系８０では、水平走査ミラー７９２の偏向面７９３と垂直走査ミラー８１２の偏向面８１３とが共役の関係となるように調整され、また、水平走査ミラー７９２の面倒れが補正される。
【００５９】
垂直走査系８１に入射されたレーザ光は、垂直走査ミラー８１２の偏向面８１３にて、垂直同期信号６７に同期して垂直方向に走査される。垂直走査ミラー８１２は、水平走査ミラー７９２が水平同期信号６８に同期することと同様に垂直同期信号６７に同期して、その偏向面８１３が入射光を垂直方向に反射するように往復振動をしている。この垂直走査ミラー８１２によってレーザ光は垂直方向に走査される。
【００６０】
水平走査系７９及び垂直走査系８１によって垂直方向及び水平方向に２次元に走査されたレーザ光（映像光４）は、垂直走査ミラー８１２の偏向面８１３と、ユーザの瞳孔９０とが共役の関係となるように設けられた第二リレー光学系８２、ハーフミラー１５０によりユーザの瞳孔９０へ入射され、網膜上に投影される。
【００６１】
以上説明した過程を経ることにより、使用者３は、２次元走査されて網膜上に投影されたレーザ光による画像を認識することが可能となる。なお、水平走査系７９の水平走査ミラー７９２と、垂直走査系８１の垂直走査ミラー８１２とは、名称を同じように説明したが、光を走査するように其の反射面が揺動（回転）させられるものであれば、共振タイプ、非共振タイプ等、圧電駆動、電磁駆動、静電駆動等いずれの駆動方式によるものであってもよいことは言うまでもない。
【００６２】
次に、図６、図７を参照して、ヘッドマウントディスプレイ２００のメイン処理が実行される際にＲＡＭ４８に作成される進行方向基準画像テーブル１４１０、及び表示画像テーブル１４２０について説明する。図６は、進行方向基準画像テーブル１４１０の構成を示す模式図である。図７は、表示画像テーブル１４２０の構成を示す模式図である。
【００６３】
図６に示す進行方向基準画像テーブル１４１０は、ヘッドマウントディスプレイ２００でメイン処理（図８参照）が実行されると、ＲＡＭ４８の進行方向基準画像テーブル記憶エリア（図示外）に作成されるテーブルである。進行方向基準画像テーブル１４１０は、「前画像」、「右画像」、「左画像」、及び「後画像」の項目を備えており、カメラ画像のファイル名を記憶している。「前画像」は、ヘッドマウントディスプレイ２００を装着した使用者３の進行方向に対して同一の方向で撮影されたカメラ画像のファイル名が記憶され、ヘッドマウントディスプレイ２００からの距離が近い順に「１」〜「５」のエリアに記憶される。また、「右画像」は、進行方向に対して右側の方向で撮影されたカメラ画像のファイル名が記憶され、ヘッドマウントディスプレイ２００からの距離が近い順に「１」〜「５」のエリアに記憶される。また、「左画像」は、進行方向に対して左側の方向で撮影されたカメラ画像のファイル名が記憶され、ヘッドマウントディスプレイ２００からの距離が近い順に「１」〜「５」のエリアに記憶される。「後画像」は、進行方向に対して後側の方向で撮影されたカメラ画像のファイル名が記憶され、ヘッドマウントディスプレイ２００からの距離が近い順に「１」〜「５」のエリアに記憶される。
【００６４】
図７に示す、表示画像テーブル１４２０は、上述した進行方向基準画像テーブル１４１０と同様に、ヘッドマウントディスプレイ２００でメイン処理（図８参照）が実行されると、ＲＡＭ４８の表示画像テーブル記憶エリア（図示外）に作成されるテーブルである。表示画像テーブル１４２０は、「前画像」、「右画像」、「左画像」、及び「後画像」の項目を備えており、カメラ画像のファイル名を記憶している。表示画像テーブル１４２０は、進行方向基準画像テーブル１４１０に記憶されているカメラ画像を、ヘッドマウントディスプレイ２００によって検出された使用者３の顔方向に基づいて方向を変換して記憶したものである。そして、ヘッドマウントディスプレイ２００からの距離が近い順にファイル名が、「１」〜「５」のエリアに記憶される。
【００６５】
次に、図８〜図１３を参照して、ヘッドマウントディスプレイ２００で実行される各処理について説明する。図８は、ヘッドマウントディスプレイ２００で実行されるメイン処理のフローチャートである。図９は、ヘッドマウントディスプレイ２００で実行される進行方向基準画像テーブル設定処理のサブルーチンのフローチャートである。図１０は、ヘッドマウントディスプレイ２００で実行される画像入替処理のサブルーチンのフローチャートである。図１１は、ヘッドマウントディスプレイ２００で実行される画像表示処理のサブルーチンのフローチャートである。図１２は、レイヤ表示されたカメラ画像である。図１３は、移動速度が速い場合のレイヤ表示されたカメラ画像である。なお、メイン処理は、ヘッドマウントディスプレイ２００の電源起動時に実行される処理である。また、ヘッドマウントディスプレイ２００の電源がＯＦＦになった際には、自動的に終了するものとする。また、ヘッドマウントディスプレイ２００で実行される他の処理については、他のプロセスで実行されるものとする。他の処理についての説明は省略する。
【００６６】
はじめに、図８を参照して、ヘッドマウントディスプレイ２００で実行されるメイン処理について説明する。メイン処理が実行されると、ヘッドマウントディスプレイ２００を装着している使用者３の現在位置が取得される（Ｓ１１）。この現在位置は、ヘッドマウントディスプレイ２００に設けられているＧＰＳ受信機８８で受信したＧＰＳデータに基づいて取得される。そして、取得された現在位置の情報（以下、「位置情報」という。）は、ＲＡＭ４８の位置情報記憶エリア（図示外）に記憶される。なお、この位置情報記憶エリアは、少なくとも２以上の異なった時間に取得した位置情報を記憶することが可能な領域である。
【００６７】
次いで、ヘッドマウントディスプレイ２００を装着している使用者３の進行方向が取得される（Ｓ１２）。この進行方向は、ＲＡＭ４８の位置情報記憶エリアに記憶されている異なった時間に取得された位置情報に基づいて、ヘッドマウントディスプレイ２００を装着している使用者３が移動した方向を求めることで決定される。なお、この進行方向は例えば、「東」，「西」，「南」，「北」の４方向やさらに北東、西南などの８方向に分けた内の１方向として決定される。あるいは、北を０度とした角度で表しても良い。そして、進行方向に変化があったか否かが判断される（Ｓ１３）。この判断は、ＲＡＭ４８の進行方向記憶エリア（図示外）に記憶されている進行方向と同一か否かで判断される。進行方向記憶エリアに何も記憶されていない、又は進行方向記憶エリアに記憶されている進行方向と同一の場合、つまり、進行方向に変化がない場合（Ｓ１３：ＮＯ）、Ｓ１２で取得した進行方向が、進行方向記憶エリアに記憶される。そして、街角に設置されている定点カメラ３００からカメラ画像、カメラ画像の撮影方向、及び定点カメラ３００の位置情報（以下、これらを称して「定点カメラ情報」という。）を受信したか否かが判断される（Ｓ１５）。
【００６８】
また、進行方向記憶エリアに記憶されている進行方向と、Ｓ１２で取得した進行方向とが異なっており、使用者３の進行方向に変化があったと判断された場合（Ｓ１３：ＹＥＳ）、Ｓ１２で取得した進行方向が進行方向記憶エリアに記憶される。そして、ＲＡＭ４８に記憶されている進行方向基準画像テーブル１４１０、及び表示画像テーブル１４２０のデータがクリアされ（Ｓ１４）、Ｓ１１へ移行する。
【００６９】
定点カメラ３００から定点カメラ情報を受信していないと判断された場合（Ｓ１５：ＮＯ）、Ｓ１１へ移行する。また、定点カメラ３００から定点カメラ情報が送信され、定点カメラ情報を受信したと判断された場合（Ｓ１５：ＹＥＳ）、受信した定点カメラ情報のカメラ画像が、使用者３の進行方向に対して撮影されたカメラ画像か否かが判断される（Ｓ１６）。この判断処理は、受信した定点カメラ情報の撮影方向が、ＲＡＭ４８の進行方向記憶エリアに記憶されている進行方向と同一か否かで判断される。
【００７０】
受信した定点カメラ情報のカメラ画像が、使用者３の進行方向に対して撮影されたカメラ画像であると判断された場合（Ｓ１６：ＹＥＳ）、つまり、受信した定点カメラ情報の撮影方向が、ＲＡＭ４８の進行方向記憶エリアに記憶されている進行方向と同一である場合、定点カメラ情報がＲＡＭ４８の前画像記憶エリア（図示外）に保存される（Ｓ１７）。なお、前画像記憶エリアには、複数の定点カメラ情報を記憶することができる。そして、定点カメラ３００とヘッドマウントディスプレイ２００との距離が算出される（Ｓ２４）。この距離は、定点カメラ情報の位置情報と、ＲＡＭ４８の位置情報記憶エリアに記憶されている位置情報とに基づいて算出される。
【００７１】
受信した定点カメラ情報のカメラ画像が、使用者３の進行方向に対して撮影されたカメラ画像でないと判断された場合（Ｓ１６：ＮＯ）、つまり、受信した定点カメラ情報の撮影方向が、ＲＡＭ４８の進行方向記憶エリアに記憶されている進行方向と同一でない場合、受信した定点カメラ情報のカメラ画像が、使用者３の進行方向に対して右方向で撮影されたか否かが判断される（Ｓ１８）。この判断処理は、受信した定点カメラ情報の撮影方向が、ＲＡＭ４８の進行方向記憶エリアに記憶されている進行方向に対して右方向か否かで判断される。受信した定点カメラ情報のカメラ画像が、使用者３の進行方向に対して右方向で撮影されたカメラ画像であると判断された場合（Ｓ１８：ＹＥＳ）、定点カメラ情報がＲＡＭ４８の右画像記憶エリア（図示外）に保存される（Ｓ１９）。なお、右画像記憶エリアには、複数の定点カメラ情報を記憶することができる。そして、Ｓ２４へ移行する。
【００７２】
受信した定点カメラ情報のカメラ画像が、使用者３の進行方向に対して右方向で撮影されたカメラ画像でないと判断された場合（Ｓ１８：ＮＯ）、つまり、受信した定点カメラ情報の撮影方向が、ＲＡＭ４８の進行方向記憶エリアに記憶されている進行方向に対して、右方向でないと判断された場合、受信した定点カメラ情報のカメラ画像が、使用者３の進行方向に対して左方向で撮影されたか否かが判断される（Ｓ２０）。この判断処理は、受信した定点カメラ情報の撮影方向が、ＲＡＭ４８の進行方向記憶エリアに記憶されている進行方向に対して左方向か否かで判断される。受信した定点カメラ情報のカメラ画像が、使用者３の進行方向に対して左方向で撮影されたカメラ画像であると判断された場合（Ｓ２０：ＹＥＳ）、定点カメラ情報がＲＡＭ４８の左画像記憶エリア（図示外）に保存される（Ｓ２１）。なお、左画像記憶エリアには、複数の定点カメラ情報を記憶することができる。そして、Ｓ２４へ移行する。
【００７３】
受信した定点カメラ情報のカメラ画像が、使用者３の進行方向に対して左方向で撮影されたカメラ画像でないと判断された場合（Ｓ２０：ＮＯ）、つまり、受信した定点カメラ情報の撮影方向が、ＲＡＭ４８の進行方向記憶エリアに記憶されている進行方向に対して、左方向でないと判断された場合、受信した定点カメラ情報のカメラ画像が、使用者３の進行方向に対して後方向で撮影されたか否かが判断される（Ｓ２２）。この判断処理は、受信した定点カメラ情報の撮影方向が、ＲＡＭ４８の進行方向記憶エリアに記憶されている進行方向に対して後方向か否かで判断される。受信した定点カメラ情報のカメラ画像が、使用者３の進行方向に対して後方向で撮影されたカメラ画像であると判断された場合（Ｓ２２：ＹＥＳ）、定点カメラ情報がＲＡＭ４８の後画像記憶エリア（図示外）に保存される（Ｓ２３）。なお、後画像記憶エリアには、複数の定点カメラ情報を記憶することができる。そして、Ｓ２４へ移行する。
【００７４】
受信した定点カメラ情報のカメラ画像が、使用者３の進行方向に対して後方向で撮影されたカメラ画像でないと判断された場合（Ｓ２２：ＮＯ）、つまり、受信した定点カメラ情報の撮影方向が、ＲＡＭ４８の進行方向記憶エリアに記憶されている進行方向に対して、後方向でないと判断された場合、Ｓ１１へ移行する。
【００７５】
次いで、定点カメラ３００とヘッドマウントディスプレイ２００との距離が算出される（Ｓ２４）。そして、ＲＡＭ４８の進行方向基準画像テーブル記憶エリアに、進行方向基準画像テーブル１４１０が設定される処理である進行方向基準画像テーブル設定処理が行われる（Ｓ２５）。この進行方向基準画像テーブル設定処理についての詳細は後述する。そして、画像入替処理が実行される（Ｓ２６）。この画像入替処理についての詳細は、後述する。次いで、画像表示処理が実行され（Ｓ２７）、Ｓ１１へ戻る。この画像表示処理についての詳細は、後述する。
【００７６】
次に、図９を参照して、進行方向基準画像テーブル設定処理について説明する。この進行方向基準画像テーブル設定処理は、メイン処理（図８参照）から実行される処理である。進行方向基準画像テーブル設定処理が実行されると、進行方向基準画像テーブル１４１０がＲＡＭ４８の進行方向基準画像テーブル記憶エリアに記憶されているか否かが判断される（Ｓ５１）。進行方向基準画像テーブル１４１０が記憶されていると判断された場合（Ｓ５１：ＹＥＳ）、この記憶されている進行方向基準画像テーブル１４１０に、受信したカメラ画像が、ＲＡＭ４８の前画像記憶エリア、右画像記憶エリア、左画像記憶エリア、及び後画像記憶エリアに記憶されている情報に基づいて追加される（Ｓ５３）。一方、進行方向基準画像テーブル１４１０がＲＡＭ４８の進行方向基準画像テーブル記憶エリアに記憶されていないと判断された場合（Ｓ５１：ＮＯ）、進行方向基準画像テーブル１４１０が新たに作成される（Ｓ５２）。次いで、受信した定点カメラ情報のカメラ画像を、ＲＡＭ４８の前画像記憶エリア、右画像記憶エリア、左画像記憶エリア、及び後画像記憶エリアに記憶されている情報に基づいて進行方向基準画像テーブルに追加する（Ｓ５３）。さらに、撮影された定点カメラ３００との距離が近い順に並べ替えられる（Ｓ５４）。
【００７７】
次に、図１０を参照して、画像入替処理について説明する。この画像入替処理は、メイン処理（図８参照）から実行される処理である。画像入替処理が実行されると、ヘッドマウントディスプレイ２００の使用者３の顔が向いている方向（以下、「顔方向」という。）が取得される（Ｓ３１）。この方向は、ヘッドマウントディスプレイ２００に設けられている加速度計３８を使用して取得される。加速度計３８により、使用者３の顔の動きを検出し、動きがあった方向を顔方向として取得する。なお、加速度計の代わりに方位計で東西南北のような方位を直接取得しても良い。
【００７８】
そして、取得された顔方向が、使用者３の進行方向と同一か否かが判断される（Ｓ３２）。この判断は、顔方向がＲＡＭ４８の進行方向記憶エリアに記憶されている進行方向と同一の方向であるか否かで判断される。顔方向が、使用者３の進行方向と同一と判断された場合（Ｓ３２：ＹＥＳ）、ＲＡＭ４８の表示画像テーブル記憶エリアに記憶されている表示画像テーブル１４２０に設定されている情報が、顔方向である進行方向に対しての情報に更新される（Ｓ３３）。ここでは、顔方向と、進行方向とは同一の方向であるため、更新された表示画像テーブル１４２０は、進行方向基準画像テーブル１４１０と同一のテーブルとなる。そして、画像入替処理が終了する。
【００７９】
顔方向が、使用者３の進行方向と同一でないと判断された場合（Ｓ３２：ＮＯ）、つまり、顔方向がＲＡＭ４８の進行方向記憶エリアに記憶されている進行方向と同一の方向でないと判断された場合、顔方向が、使用者３の進行方向に対して右側の方向であるか否かが判断される（Ｓ３４）。この判断処理は、顔方向が、ＲＡＭ４８の進行方向記憶エリアに記憶されている進行方向に対して右側の方向か否かで判断される。顔方向が、使用者３の進行方向に対して右側の方向であると判断された場合（Ｓ３４：ＹＥＳ）、表示画像テーブル１４２０に設定されている情報が、進行方向に対して右側の方向の情報に更新される（Ｓ３５）。つまり、進行方向基準画像テーブル１４１０の「右画像」が表示画像テーブル１４２０の「前画像」に、「後画像」が「右画像」に、「前画像」が「左画像」に、「左画像」が「後画像」にコピーされる。
【００８０】
例えば、図６の進行方向基準画像テーブル１４１０では、「右画像」である「Ｒ１．ｊｐｇ」〜「Ｒ５．ｊｐｇ」が表示画像テーブル１４２０では「前画像」として記憶され、「後画像」である「Ｂ１．ｊｐｇ」〜「Ｂ５．ｊｐｇ」が「右画像」として記憶され、「前画像」である「Ｆ１．ｊｐｇ」〜「Ｆ５．ｊｐｇ」が「左画像」として記憶され、「左画像」である「Ｌ１．ｊｐｇ」〜「Ｌ５．ｊｐｇ」が「後画像」として記憶される。そして、画像入替処理が終了する。なお、図７に示す表示画像テーブル１４２０は、進行方向基準画像テーブル１４１０が図６に示す状態で、顔方向が、使用者３の進行方向に対して右側の方向であると判断され、更新された状態を示している。
【００８１】
顔方向が、使用者３の進行方向に対して右側の方向と同一でないと判断された場合（Ｓ３４：ＮＯ）、つまり、顔方向がＲＡＭ４８の進行方向記憶エリアに記憶されている進行方向に対して右側の方向でないと判断された場合、顔方向が、使用者３の進行方向に対して左側の方向であるか否かが判断される（Ｓ３６）。この判断処理は、顔方向が、ＲＡＭ４８の進行方向記憶エリアに記憶されている進行方向に対して左側の方向か否かで判断される。顔方向が、使用者３の進行方向に対して左側の方向であると判断された場合（Ｓ３６：ＹＥＳ）、表示画像テーブル１４２０に設定されている情報が、進行方向に対して左側の方向の情報に更新される（Ｓ３７）。つまり、進行方向基準画像テーブル１４１０の「左画像」が「前画像」に、「前画像」が「右画像」に、「後画像」が「左画像」に、「右画像」が「後画像」となる。例えば、図６の進行方向基準画像テーブル１４１０では、「左画像」である「Ｌ１．ｊｐｇ」〜「Ｌ５．ｊｐｇ」が表示画像テーブル１４２０では「前画像」として記憶され、「前画像」である「Ｆ１．ｊｐｇ」〜「Ｆ５．ｊｐｇ」が「右画像」として記憶され、「後画像」である「Ｂ１．ｊｐｇ」〜「Ｂ５．ｊｐｇ」が「左画像」として記憶され、「右画像」である「Ｒ１．ｊｐｇ」〜「Ｒ５．ｊｐｇ」が「後画像」として記憶される。そして、画像入替処理が終了する。
【００８２】
また、顔方向が、使用者３の進行方向に対して左側の方向でないと判断された場合（Ｓ３６：ＮＯ）、つまり、顔方向が、ＲＡＭ４８の進行方向記憶エリアに記憶されている進行方向に対して左側の方向でないと判断された場合、画像入替処理を終了する。
【００８３】
次に、図１１〜図１３を参照して、画像表示処理について説明する。この画像表示処理は、メイン処理（図８参照）から実行される処理である。画像表示処理が実行されると、１画像のみ表示（以下、「１画像表示」という。）されているか否かが判断される（Ｓ４１）。
【００８４】
ここで、ヘッドマウントディスプレイ２００で、使用者３に認識される表示画像の表示形態には、レイヤ表示と、１画像表示とがある。レイヤ表示は、図１２に示すように、異なった定点カメラ３００から受信したカメラ画像の内で、撮影方向が同一方向の方向であるカメラ画像を３次元的にレイヤ状に表示した表示方法である。たとえば、図１２におけるレイヤ表示においては、使用者３の進行方向に対して同一の撮影方向であるカメラ画像は、顔の向きが進行方向と同じときは、進行方向画像４００として中央に表示される。進行方向に対して左側の撮影方向であるカメラ画像は、左方向画像５００として進行方向画像４００の左側に表示される。進行方向に対して右側の撮影方向であるカメラ画像は、右方向画像６００として進行方向画像４００の右側に表示される。顔の向きが変わると、図８で説明したように、表示画像テーブル１４２０が並び替えられるので、右を向いたときには、右方向のカメラ画像が正面に表示される。
【００８５】
なお、レイヤ表示の際は、使用者３と距離の近い定点カメラ３００で撮影されたカメラ画像ほど、手前側に表示され、距離の近い定点カメラ３００で撮影されたカメラ画像ほど、奥側に表示されるものとする。さらに、最前列の画像の位置や大きさも使用者との距離に応じて変えても良い。すなわち、遠いほど奥まって見えるよう、表示位置をたとえば図１２の２番目や３番目のレイヤ位置とし、大きさを小さくしても良い。後ろのレイヤの画像も最前列画像に合わせて、位置と大きさが変えられる。
【００８６】
また、１画像表示は、レイヤ表示がされているカメラ画像から、選択されたカメラ画像のみが表示されているものとする。
【００８７】
１画像表示されていると判断された場合（Ｓ４１：ＹＥＳ）、１画像表示されているカメラ画像の選択を解除する指示が行われたか否かが判断される（Ｓ４２）。この判断処理は、ＲＡＭ４８の選択フラグ記憶エリア（図示外）に記憶されている選択フラグの値により判断される。この選択フラグは、レイヤ表示されている状態で、選択ボタン（図示外）が押されると「１」となる。また、１画像表示されている状態で、選択解除ボタン（図示外）が押されると、選択フラグは「０」となる。ここで、選択フラグの初期値は「０」とする。
【００８８】
１画像表示されているカメラ画像の選択を解除する指示が行われなかった場合（Ｓ４２：ＮＯ）、つまり、選択フラグの値が「１」の場合、画像表示処理を終了する。
【００８９】
また、１画像表示されているカメラ画像の選択を解除する指示が行われた場合（Ｓ４２：ＹＥＳ）、つまり、選択フラグの値が「０」の場合、レイヤ表示が行われる（Ｓ４３）。このレイヤ表示は、上述した図１２のように表示される。
【００９０】
また、１画像表示されていないと判断された場合（Ｓ４１：ＮＯ）、つまり、レイヤ表示されている場合、レイヤ表示が再度行われる（Ｓ４３）。
【００９１】
次いで、ヘッドマウントディスプレイ２００を装着する使用者３の移動速度が算出される（Ｓ４４）。この移動速度は、所定時間内の移動距離により算出される。ここで、移動距離は、ヘッドマウントディスプレイ２００に設けられたＧＰＳ受信機８８で受信するＧＰＳデータに基づいて算出される。そして、算出された移動速度に応じてレイヤ表示の表示形態が変更される（Ｓ４５）。ここで、例えば、移動速度が、所定速度より速ければ図１３に示すように表示される。図１３は、図１２の状態と比べて移動速度が速い場合の表示画像である。図１３に示すレイヤ表示では、進行方向画像４００，左方向画像５００，及び右方向画像６００に表示されるカメラ画像の画像数が多くなり、その間隔が狭くなっている点に特徴を有する。
【００９２】
次いで、レイヤ表示されているカメラ画像の１枚を選択するための処理が行われたか否かが判断される（Ｓ４６）。この判断は、ＲＡＭ４８の選択フラグ記憶エリアに記憶されている選択フラグの値により判断される。
【００９３】
レイヤ表示されているカメラ画像の１枚を選択するための指示が行われなかった場合（Ｓ４６：ＮＯ）、つまり、選択ボタンが押されておらず、選択フラグの値が「０」の場合、画像表示処理を終了する。
【００９４】
また、レイヤ表示されているカメラ画像の１枚を選択するための指示が行われた場合（Ｓ４６：ＹＥＳ）、つまり、選択ボタンが押され、選択フラグの値が「１」の場合、使用者３の眼の動作によりレイヤ表示されているカメラ画像の１枚が選択される（Ｓ４７）。この選択処理は、ヘッドマウントディスプレイ２００に設けられているカメラ７により撮影される使用者３の眼の動きにより判断される。例えば、レイヤ表示されているカメラ画像の内で、所定時間の間、特定のカメラ画像の位置に対して、使用者３の視線が向いているか否かで判断される。そして、Ｓ４７で選択されたカメラ画像のみが表示され（Ｓ４８）、画像表示処理を終了する。
【００９５】
以上説明したように、ヘッドマウントディスプレイ２００では、街角の各交差点に設けられた定点カメラ３００から定点カメラ情報を受信する。そして、使用者３の進行方向と、定点カメラ３００の撮影方向とが同一の方向であるカメラ画像を画像表示部に表示する。また、定点カメラ情報の位置情報と、ヘッドマウントディスプレイ２００の位置情報とに基づいて、定点カメラ３００との距離を算出し、定点カメラ３００との距離が近いほど、カメラ画像は手前側に表示され、距離が遠いほど、カメラ画像は奥側に表示されるレイヤ表示がされる。これにより、ヘッドマウントディスプレイ２００を装着した使用者３は、表示させたいカメラ画像を選択することなしに、進行方向に対応したカメラ画像を認識することができる。また、定点カメラ３００との距離に応じてレイヤ表示がされているため、進行方向でのカメラ画像が撮影された位置を、より詳しく認識できると共に、表示されたカメラ画像に基づいて外界の状況を立体的に把握できる。
【００９６】
また、ヘッドマウントディスプレイ２００は、進行方向に対して右側の方向と同一の方向である撮影方向に対応するカメラ画像を、画像進行方向に対応するカメラ画像の右側に表示し、進行方向に対して左側の方向と同一の方向である撮影方向に対応するカメラ画像を、進行方向に対応する画像データの左側に表示する。これにより、ヘッドマウントディスプレイ２００を装着した使用者３は、進行方向だけでなく、進行方向に対して左右方向のカメラ画像も視認できるため、より立体的に外界の状況を把握することができる。
【００９７】
また、ヘッドマウントディスプレイ２００が移動する速度を算出し、速度に応じてレイヤ表示の間隔、及び枚数を変更して表示する。これにより、ヘッドマウントディスプレイ２００を装着した使用者３は、移動速度に応じて、より立体的に外界の状況を把握することができる。
【００９８】
また、ヘッドマウントディスプレイ２００は、カメラ７により、使用者３の眼の動きを検知し、レイヤ表示がされている複数のカメラ画像の内のいずれか１つを選択することができる。これにより、ヘッドマウントディスプレイ２００を装着した使用者３は、表示させたいカメラ画像を、眼の視線で容易、且つ素早く選択することができる。そして、選択されたカメラ画像のみを表示させ、確認することができる。
【００９９】
なお、定点カメラ情報が、「受信データ」に相当する。ＲＡＭ４８の前画像記憶エリア、右画像記憶エリア、左画像記憶エリア、及び後画像記憶エリアが、「データ記憶手段」に相当する。
【０１００】
また、図８のＳ１１の処理を実行するＣＰＵ６１が「位置情報取得手段」に相当し、取得された位置情報が「第一位置情報」に相当する。図８のＳ１５：ＹＥＳを実行するＣＰＵ６１が「データ受信手段」に相当する。図８のＳ１７、Ｓ１９、Ｓ２１、及びＳ２３の処理を実行するＣＰＵ６１が「データ記憶制御手段」に相当する。図８のＳ１２の処理を実行するＣＰＵ６１が「進行方向取得手段」に相当する。図８のＳ２４の処理を実行するＣＰＵ６１が「距離取得手段」に相当する。図１１のＳ４４の処理を実行するＣＰＵ６１が「速度取得手段」に相当する。図１１のＳ４７の処理を実行するＣＰＵ６１が「画像選択手段」に相当する。図１１のＳ４８の処理を実行するＣＰＵ６１が「画像データ表示制御手段」に相当する。カメラ７が「検出手段」に相当する。図１１のＳ４３、Ｓ４５、及びＳ４８の処理を実行するＣＰＵ６１が「表示制御手段」に相当する。定点カメラ情報の位置情報が「第二位置情報」に相当する。
【０１０１】
尚、本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を脱しない範囲内において種々の変更が可能であることは無論である。上述した実施の形態では、使用者３の眼の動作によりレイヤ表示されているカメラ画像の１枚が選択される（図１１：Ｓ４７）が、これに限定しない。例えば、入力部４１のボタン操作により、レイヤ表示されているカメラ画像の１枚が選択されるようにしてもよい。ここで、入力部４１が本発明の「入力受付手段」に相当する。
【図面の簡単な説明】
【０１０２】
【図１】定点カメラ３００が設けられた街角の一具体例を示す図である。
【図２】定点カメラ３００及びヘッドマウントディスプレイ２００の接続形態の一具体例を示す図である。
【図３】ヘッドマウントディスプレイ２００の外観構成を示した図である。
【図４】ヘッドマウントディスプレイ２００の電気的構成を示す模式図である。
【図５】表示部４０において映像光４が形成される過程を説明した模式図である。
【図６】進行方向基準画像テーブル１４１０の構成を示す模式図である。
【図７】表示画像テーブル１４２０の構成を示す模式図である。
【図８】ヘッドマウントディスプレイ２００で実行されるメイン処理のフローチャートである。
【図９】ヘッドマウントディスプレイ２００で実行される進行方向基準画像テーブル設定処理のサブルーチンのフローチャートである。
【図１０】ヘッドマウントディスプレイ２００で実行されるサブルーチンの画像入替処理のフローチャートである。
【図１１】ヘッドマウントディスプレイ２００で実行されるサブルーチンの画像表示処理のフローチャートである。
【図１２】レイヤ表示されたカメラ画像である。
【図１３】移動速度が速い場合のレイヤ表示されたカメラ画像である。
【符号の説明】
【０１０３】
１ ネットワーク
３ 使用者
４ 映像光
５ 外光
７ カメラ
３８ 加速度計
４０ 表示部
４１ 入力部
４８ ＲＡＭ
５０ 操作ボタン群
５７ 通信モジュール
６１ ＣＰＵ
６２ ＲＯＭ
８８ ＧＰＳ受信機
１００ 出射装置
１５０ ハーフミラー
２００ ヘッドマウントディスプレイ
２１０ 頭部装着部
３００ 定点カメラ
４００ 進行方向画像
５００ 左方向画像
６００ 右方向画像
１４１０ 進行方向基準画像テーブル
１４２０ 表示画像テーブル
【技術分野】
【０００１】
本発明は、ヘッドマウントディスプレイに関するものであり、詳細には、表示画面上に定点カメラで撮影された画像を視覚的に分かりやすく表示することができるヘッドマウントディスプレイに関するものである。
【背景技術】
【０００２】
従来、複数個の定点カメラを道路に沿って設置し、道路の交通状況を撮影し、端末装置に送信する情報通信システムが知られている（例えば、特許文献１参照）。この特許文献１に記載の情報通信システムによると、画像情報提供部が、複数個の定点カメラのそれぞれで撮影された道路の交通状況の画像を収集する。収集した画像情報を、定点カメラの識別情報と、定点カメラの設置位置の情報とに対応させて蓄積して管理すると共に、利用者に、提供可能な定点カメラの候補の情報を提供する。そして、利用者の端末装置の画面上に定点カメラの候補のリストが表示される。利用者は、定点カメラの候補のリストから定点カメラを選択することにより、所望の位置の定点カメラで撮影された撮影画像である道路交通情報を得ることができる。
【特許文献１】特開２００１−１５５２８９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、特許文献１に記載の発明の情報通信システムでは、複数の定点カメラの情報のリストを表示するだけなので、個々の定点カメラの画像が視覚的に分かりづらいという問題点があった。また、ヘッドマウントディスプレイの利用者は、ヘッドマウントディスプレイを装着した状態で、街角を歩くので、歩きながらリストからの選択などの操作はしづらく、歩く速さや方向に応じて視角的にわかりやすく最適な画像の表示が望まれている。
【０００４】
本発明は、上述した問題を解決するためになされたものであり、表示画面上に定点カメラで撮影された画像を視覚的に分かりやすく表示することができるヘッドマウントディスプレイを提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記目的を達成するために、請求項１に係る発明のヘッドマウントディスプレイは、使用者の頭部に装着する頭部装着部と、前記使用者の眼に表示画像の映像光を光学的に導いて視認させる画像表示部とを有するヘッドマウントディスプレイにおいて、前記画像表示部は、外界の外光を透過するハーフミラーを有し、前記ヘッドマウントディスプレイの向いている方向である進行方向を取得する進行方向取得手段と、外部の異なる位置に設けられた定点カメラにより撮影された画像データと、前記画像データの方向である撮影方向とが対応づけられたデータを、前記定点カメラから受信データとして受信するデータ受信手段と、前記受信データを記憶するデータ記憶手段と、前記データ受信手段により受信した前記受信データを前記データ記憶手段に記憶させるデータ記憶制御手段と、前記進行方向取得手段により取得された前記進行方向と、前記データ記憶手段に記憶されている前記受信データの前記撮影方向とが同一の方向である前記画像データを前記画像表示部に表示する表示制御手段とを備えている。
【０００６】
また、請求項２に係る発明のヘッドマウントディスプレイは、請求項１に記載の発明の構成に加え、前記受信データには、前記定点カメラの位置の情報である第一位置情報をさらに含み、前記ヘッドマウントディスプレイの位置の情報である第二位置情報を取得する位置情報取得手段と、前記データ記憶手段に記憶された前記受信データの前記第一位置情報、及び前記位置情報取得手段により取得された前記第二位置情報に基づいて、前記定点カメラと前記ヘッドマウントディスプレイとの間の距離を取得する距離取得手段とを備え、前記表示制御手段は、前記距離取得手段により取得された前記距離が近いほど、前記画像表示部に前記受信データの前記画像データを手前側に表示し、前記距離が遠いほど、前記画像データを奥側に表示することでレイヤ表示をすることを特徴とする。
【０００７】
また、請求項３に係る発明のヘッドマウントディスプレイは、請求項２に記載の発明の構成に加え、前記ヘッドマウントディスプレイの移動する速度を取得する速度取得手段を備え、前記表示制御手段は、前記レイヤ表示の前記画像データの間隔及び表示枚数を、前記速度取得手段により取得された前記速度に応じた所定の間隔及び枚数で表示することを特徴とする
【０００８】
また、請求項４に係る発明のヘッドマウントディスプレイは、請求項１乃至３のいずれかに記載の発明の構成に加え、前記表示制御手段は、前記進行方向に対して右側の方向と同一の方向である前記撮影方向に対応する前記画像データを、前記画像表示部に表示されている前記進行方向に対応する前記画像データの右側に表示し、前記進行方向に対して左側の方向と同一の方向である前記撮影方向に対応する前記画像データを、前記画像表示部に表示されている前記進行方向に対応する前記画像データの左側に表示することを特徴とする。
【０００９】
また、請求項５に係る発明のヘッドマウントディスプレイは、請求項１乃至４のいずれかに記載の発明の構成に加え、前記画像表示部に表示されている複数の前記画像データの内のいずれか１つを選択する画像選択手段と、前記画像選択手段により選択された前記画像データを、前記画像表示部に表示させる画像データ表示制御手段とを備えている。
【００１０】
また、請求項６に係る発明のヘッドマウントディスプレイは、請求項５に記載の発明の構成に加え、前記使用者の眼の動きを検出する検出手段と、前記画像選択手段は、前記検出手段により検出された前記使用者の眼の動きに基づいて、前記画像表示部に表示されている複数の前記画像データの内のいずれか１つを選択することを特徴とする。
【００１１】
また、請求項７に係る発明のヘッドマウントディスプレイは、請求項５に記載の発明の構成に加え、前記使用者から、前記画像表示部に表示されている前記画像データを選択するための入力を受け付ける入力受付手段と、前記画像選択手段は、前記入力受付手段により受け付けられた前記入力に基づいて、前記画像表示部に表示されている複数の前記画像データの内のいずれか１つを選択することを特徴とする。
【発明の効果】
【００１２】
請求項１に係る発明のヘッドマウントディスプレイでは、データ受信手段により、外部の異なる位置に設けられた定点カメラから受信データとして、定点カメラにより撮影された画像データと、撮影方向とが対応づけられたデータを受信し、データ記憶制御手段によりデータ記憶手段に記憶する。また、進行方向取得手段によりヘッドマウントディスプレイの進行方向が取得され、表示制御手段により進行方向と、撮影方向とが同一の方向である画像データを画像表示部に表示する。これにより、ヘッドマウントディスプレイを装着した使用者は、表示させたい画像データを選択することなしに、進行方向に対応した画像を認識することができる。
【００１３】
また、請求項２に係る発明のヘッドマウントディスプレイでは、請求項１に記載の発明の効果に加え、受信データは第一位置情報を含んでいる。また、ヘッドマウントディスプレイの位置の情報である第二位置情報を取得する位置情報取得手段を備え、距離取得手段により第一位置情報と、第二位置情報とに基づいて、定点カメラとヘッドマウントディスプレイとの距離を取得する。そして、表示制御手段により、距離が近いほど、画像データは手前側に表示され、距離が遠いほど、画像データは奥側に表示されるレイヤ表示となる。これにより、ヘッドマウントディスプレイを装着した使用者は、表示させたい画像データを選択することなしに、進行方向に対応した画像を認識することができる。また、定点カメラとの距離に応じてレイヤ表示がされているため、進行方向での画像が撮影された位置を、より詳しく認識できると共に、表示された画像に基づいて外界の状況を立体的に把握できる。
【００１４】
また、請求項３に係る発明のヘッドマウントディスプレイでは、請求項２に記載の発明の効果に加え、ヘッドマウントディスプレイの移動する速度を取得する速度取得手段を備えており、表示制御手段は、速度に応じてレイヤ表示の間隔、及び枚数を変更して表示する。これにより、ヘッドマウントディスプレイを装着した使用者は、移動速度に応じて、より立体的に外界の状況を把握することができる。
【００１５】
また、請求項４に係る発明のヘッドマウントディスプレイでは、請求項１乃至３のいずれかに記載の発明の効果に加え、表示制御手段は、進行方向に対して右側の方向と同一の方向である撮影方向に対応する画像データを、画像表示部に表示されている進行方向に対応する画像データの右側に表示し、進行方向に対して左側の方向と同一の方向である撮影方向に対応する画像データを、画像表示部に表示されている進行方向に対応する画像データの左側に表示する。これにより、ヘッドマウントディスプレイを装着した使用者は、進行方向だけでなく、進行方向に対して左右方向の画像も視認できるため、より立体的に外界の状況を把握することができる。
【００１６】
また、請求項５に係る発明のヘッドマウントディスプレイでは、請求項１乃至４のいずれかに記載の発明の効果に加え、画像選択手段により、画像表示部に表示されている複数の画像データの内のいずれか１つを選択することができる。そして、画像データ表示制御手段により、選択された画像データを画像表示部に表示させることができる。これにより、ヘッドマウントディスプレイを装着した使用者は、複数の内のいずれか１つを自由に選択することができる。そして、選択された画像データのみを表示させ、確認することができる。
【００１７】
また、請求項６に係る発明のヘッドマウントディスプレイでは、請求項５に記載の発明の効果に加え、使用者の眼の動きを検出する検出手段を備えている。そして、画像選択手段は、検出手段により検出された使用者の眼の動きに基づいて、画像表示部に表示されている複数の画像データの内のいずれか１つを選択することができる。これにより、ヘッドマウントディスプレイを装着した使用者は、画像表示部に表示させたい画像データを、眼の視線で容易、且つ素早く選択することができる。そして、選択された画像データのみを表示させ、確認することができる。
【００１８】
また、請求項７に係る発明のヘッドマウントディスプレイでは、請求項５に記載の発明の効果に加え、画像表示部に表示されている画像データを選択するための入力を受け付ける入力受付手段を備えている。そして、画像選択手段は、入力受付手段により受け付けられた入力に基づいて、画像表示部に表示されている複数の画像データの内のいずれか１つを選択することができる。これにより、ヘッドマウントディスプレイを装着した使用者は、入力により、画像表示部に表示されている複数の画像データの内で、画像表示部に表示させたい画像データを確実に選択することができる。そして、選択された画像データのみを表示させ、確認することができる。
【発明を実施するための最良の形態】
【００１９】
以下、本発明を具現化した一実施形態について、図面を参照して説明する。なお、参照する図面は、本発明が採用しうる技術的特徴を説明するために用いられるものであり、記載されている装置の構成、各種処理のフローチャートなどは、それのみに限定する趣旨ではなく、単なる説明例である。
【００２０】
なお、本実施形態では、ヘッドマウントディスプレイとして、画像信号に応じた光束を２次元方向に走査し、その走査された光を眼に導き網膜上に表示画像を形成する網膜走査型ディスプレイを例に挙げて説明するが、これに限定しない。例えば、液晶ディスプレイ、有機ＥＬ（ＥｌｅｃｔｒｏＬｕｍｉｎｅｓｅｎｃｅ）ディスプレイ等、他の画像表示装置を備え、利用者が頭部に装着して画像を鑑賞するヘッドマウントディスプレイであってもよい。
【００２１】
はじめに、図１及び図２を参照し、定点カメラ３００及びヘッドマウントディスプレイ２００の接続形態について説明する。図１は、定点カメラ３００が設けられた街角の一具体例を示す図である。図２は、定点カメラ３００及びヘッドマウントディスプレイ２００の接続形態の一具体例を示す図である。
【００２２】
はじめに、図１を参照して、定点カメラ３００の設置位置等について説明する。図１に示すように、定点カメラ３００は、街角の各交差点に設けられている。この定点カメラ３００は、交差点の東西南北の４方向の映像を所定間隔の時間で撮影する。ここで、例えば、定点カメラ３００は道路の交通状況、歩行者の流れ等を撮影する。
【００２３】
次に、図２を参照して、定点カメラ３００とヘッドマウントディスプレイ２００との接続形態について説明する。図２に示すように、使用者３が装着したヘッドマウントディスプレイ２００には、ネットワーク１を介して定点カメラ３００が接続可能である。ヘッドマウントディスプレイ２００と、定点カメラ３００とは無線によりデータ通信が可能となっており、定点カメラ３００からヘッドマウントディスプレイ２００へ、定点カメラ３００で撮影された画像（以下、「カメラ画像」という）等が送信される。
【００２４】
次に、図３を参照し、ヘッドマウントディスプレイ２００の概略構成について説明する。図３は、ヘッドマウントディスプレイ２００の外観構成を示した図である。
【００２５】
図３に示すように、ヘッドマウントディスプレイ２００は、画像信号に応じて変調されたレーザ光（以下「映像光４」という）を走査させて出射させ、使用者３の少なくとも一方の眼の網膜に画像を直接投影する。これにより、使用者３に画像を視認させる。ヘッドマウントディスプレイ２００は、画像信号に応じて映像光４を出射する出射装置１００と、その出射装置１００から出射された映像光４を導くと共に、その映像光４を使用者３の眼に向かって反射させるハーフミラー１５０と、出射装置１００及びハーフミラー１５０を支持する頭部装着部２１０と、使用者３の眼の動きを撮影するカメラ７とを少なくとも備えている。
【００２６】
出射装置１００は、映像光４をハーフミラー１５０に対し出射する。ハーフミラー１５０は、出射装置１００に対して固定的な位置にあり、その出射装置１００から出射された映像光４を導き、その映像光４を使用者３の眼に向かって反射させる。ハーフミラー１５０は、図示しないビームスプリッタ部を備えており、外界からの外光５を透過させ、使用者３の眼に導く。ハーフミラー１５０は、使用者３の側方から入射された映像光４を使用者３の眼に入射させると共に、外界からの外光５を使用者３の眼に入射させる。これにより、実際の視界はもちろん、出射装置１００から出射された映像光４に基づく画像が視認可能となる。
【００２７】
なお本実施形態においては、ヘッドマウントディスプレイとして、網膜走査を用いたシースルーのヘッドマウントディスプレイを例に挙げて説明したが、本発明はこの例に限定されず、例えば、反射型ＬＣＤを利用したヘッドマウントディスプレイであってもよい。
【００２８】
図４を参照し、ヘッドマウントディスプレイ２００の電気的構成について説明する。図４は、ヘッドマウントディスプレイ２００の電気的構成を示す模式図である。
【００２９】
図４に示すように、ヘッドマウントディスプレイ２００は、使用者３に画像を視認させる表示部４０、各種操作やデータの入力を行うための入力部４１、画像情報等の送受信を行う通信部４３、ヘッドマウントディスプレイ２００で使用する機能の各種設定値等を記憶するフラッシュメモリ４９、表示部４０に表示する画像（グラフィック）やテキストなどのイメージデータが記憶されるビデオＲＡＭ４４、表示部４０に表示するテキストのフォントデータが記憶されるフォントＲＯＭ４５、ヘッドマウントディスプレイ２００全体を制御する制御部４６、外界の映像を撮影するカメラ７の制御を行うカメラ制御部９９、ヘッドマウントディスプレイ２００の位置を取得するためのデータを取得するＧＰＳ受信機８８の制御を行うＧＰＳ制御部８９、ヘッドマウントディスプレイ２００を装着した使用者３の進行方向を取得するための加速度計３８の制御を行う加速度計制御部３９及び電源部４７を備えている。
【００３０】
表示部４０は、使用者３に視認させるための映像の情報（以下「映像情報」という。）を制御部４６より受信し、使用者３の網膜に直接投影させるために必要な各信号に変換する為の映像信号処理部７０、レーザ光を出力するレーザ群７２（青色出力レーザ（Ｂレーザ）７２１、緑色出力レーザ（Ｇレーザ）７２２、赤色出力レーザ（Ｒレーザ）７２３）、及び、レーザよりレーザ光を出力させるための制御を行うレーザドライバ群７１を備えている。そして、映像信号処理部７０の制御により、所望のレーザ光を所望のタイミングで出力させることが可能なように、映像信号処理部７０はレーザドライバ群７１と電気的に接続されている。またレーザドライバ群７１は、Ｂレーザ７２１、Ｇレーザ７２２、及びＲレーザ７２３と其々電気的に接続されている。また、映像信号処理部７０が制御部４６より映像信号を受信することが可能なように、映像信号処理部７０と制御部４６とはバスを介して電気的に接続されている。
【００３１】
また表示部４０は、レーザより出力されたレーザ光を垂直方向に反射させることによって走査を行う垂直走査ミラー８１２及び垂直走査ミラー８１２の駆動制御を行う垂直走査制御回路８１１、レーザより出力されたレーザ光を水平方向に反射させることによって走査を行う水平走査ミラー７９２及び水平走査ミラー７９２の駆動制御を行う水平走査制御回路７９１を備えている。そして、映像信号処理部７０の制御により、所望の方向にレーザ光を反射させることが可能なように、映像信号処理部７０と垂直走査制御回路８１１及び水平走査制御回路７９１とは其々電気的に接続されている。また、垂直走査制御回路８１１は垂直走査ミラー８１２と電気的に接続されている。また、水平走査制御回路７９１は水平走査ミラー７９２と電気的に接続されている。
【００３２】
入力部４１は、各種機能キーなどからなる操作ボタン群５０、操作ボタン群５０のキーが操作されたことを検出し、制御部４６に通知する入力制御回路５１を備えている。そして、操作ボタン群５０のキーに入力された情報を制御部４６（後述）にて認識することが可能なように、操作ボタン群５０は入力制御回路５１と電気的に接続されている。また入力制御回路５１は制御部４６と電気的に接続されている。
【００３３】
通信部４３は、無線電波を使用し、画像信号等の受信を行う通信モジュール５７と、この通信モジュール５７を制御する通信制御回路５８とを備えている。そして、制御部４６にて画像信号を取得することが可能なように、制御部４６と通信制御回路５８とはバスを介して電気的に接続されている。また、通信モジュール５７は通信制御回路５８と電気的に接続されている。
【００３４】
なお、通信モジュール５７の通信方式としては特に限定されず、従来周知の無線通信方式が使用可能である。例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅ Ｂａｎｄ）規格、無線ＬＡＮ（ＩＥＥＥ８０２．１１ｂ，１１ｇ，１１ｎなど）規格、ＷｉｒｅｌｅｓｓＵＳＢ規格などに準拠した無線通信方式が使用可能である。また、赤外線を利用したＩｒＤＡ（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ）規格に準拠した無線通信方式も使用可能である。
【００３５】
カメラ制御部９９は、使用者３の眼の動きを撮影するためのカメラ７、このカメラ７の制御を行うカメラ制御回路８から構成されている。また、カメラ７にて撮影された使用者３の眼の映像を記憶可能なように、バスを介して制御部４６、及びＲＡＭ４８に電気的に接続されている。
【００３６】
ＧＰＳ制御部８９は、ヘッドマウントディスプレイ２００の現在位置のデータを取得するためのＧＰＳ受信機８８、このＧＰＳ受信機８８の制御を行うＧＰＳ制御回路８７から構成されている。また、ＧＰＳ受信機８８にて受信された現在位置のデータを記憶可能なように、バスを介して制御部４６、及びＲＡＭ４８に電気的に接続されている。
【００３７】
加速度計制御部３９は、ヘッドマウントディスプレイ２００を装着した使用者３の進行方向を取得するための加速度計３８、この加速度計３８の制御を行う加速度計制御回路３７から構成されている。また、加速度計３８により計測されたデータに基づいて使用者３の進行方向を記憶可能なように、バスを介して制御部４６、及びＲＡＭ４８に電気的に接続されている。
【００３８】
電源部４７は、ヘッドマウントディスプレイ２００を駆動させるための電源となる充電式の電池５９、及び、電池５９の電力をヘッドマウントディスプレイ２００に供給すると共に、充電用アダプタ（図示せず）から供給される電力を電池５９へ供給して電池５９の充電を行う充電制御回路６０を備えている。
【００３９】
フラッシュメモリ４９、ビデオＲＡＭ４４、及びフォントＲＯＭ４５は、制御部４６より各記憶領域に記憶された情報を参照することが可能なように、それぞれがバスを介して制御部４６と電気的に接続されている。
【００４０】
制御部４６は、ヘッドマウントディスプレイ２００全体を制御する機能を有しており、例えば、所望の情報を表示部４０に表示させたり、使用者３による入力部４１の操作に応じて所定の動作を行ったりする。
【００４１】
制御部４６は、ＣＰＵ６１、各種プログラムを格納したＲＯＭ６２、各種データが一時的に記憶されるＲＡＭ４８などから構成されている。制御部４６では、ＣＰＵ６１がＲＯＭ６２に格納された各種プログラムを読み出すことにより、各処理が実行される。ＲＡＭ４８は、ＣＰＵ６１が各処理を実行する場合に必要な各種フラグやデータの記憶領域を提供する。
【００４２】
表示部４０にて映像光４が形成される過程の概要について、図５を参照して詳説する。図５は、表示部４０において映像光４が形成される過程を説明した模式図である。表示部４０は、図５に示すように、光源ユニット部６５、コリメート光学系７７、水平走査系７９、第一リレー光学系８０、垂直走査系８１、第二リレー光学系８２を備えている。光源ユニット部６５は、映像信号処理部７０、レーザドライバ群７１、レーザ群７２、コリメート光学系７３、ダイクロイックミラー群７４、及び結合光学系７５を備えている。水平走査系７９は、水平走査制御回路７９１及び水平走査ミラー７９２を備えている。垂直走査系８１は、垂直走査制御回路８１１及び垂直走査ミラー８１２を備えている。
【００４３】
光源ユニット部６５の構成について図４、及び図５を参照して詳説する。映像信号処理部７０は、既述のように、ＣＰＵ４６と電気的に接続されている。そして、制御部４６を介して所望の情報を網膜に投影させるためにビデオＲＡＭ４４に展開された映像情報が入力される。映像信号処理部７０には、輝度信号６６（Ｂ輝度信号６６１、Ｇ輝度信号６６２、Ｒ輝度信号６６３）、垂直同期信号６７及び水平同期信号６８が其々入力される。映像信号処理部７０では、入力された映像情報を網膜に投影させるための要素となる各信号（輝度信号、水平同期信号、垂直同期信号）が生成される。生成された各信号は、輝度信号６６、水平同期信号６８、及び垂直同期信号６７に対して画素毎に出力される。
【００４４】
輝度信号６６（Ｂ輝度信号６６１、Ｇ輝度信号６６２、Ｒ輝度信号６６３）は、レーザドライバ群７１（Ｂレーザドライバ７１１、Ｇレーザドライバ７１２、Ｒレーザドライバ７１３）に其々入力される。水平同期信号６８は、水平走査系７９の水平走査制御回路７９１に入力される。垂直同期信号６７は、垂直走査系８１の垂直走査制御回路８１１に入力される。
【００４５】
レーザドライバ群７１は、レーザ群７２（Ｂレーザ７２１、Ｇレーザ７２２、Ｒレーザ７２３）に其々電気的に接続されている。レーザドライバ群７１は、輝度信号６６（Ｂ輝度信号６６１、Ｇ輝度信号６６２、Ｒ輝度信号６６３）を介して伝達された各信号の各輝度信号に基づいて、強度変調されたレーザ光をレーザ群７２より出射させるために、レーザ群７２を駆動する。
【００４６】
レーザドライバ群７１の制御に基づきレーザ群７２より出射された３色（青色、緑色、赤色）のレーザ光を平行光にコリメートさせることが可能なコリメート光学系７３（７３１〜７３３）、コリメート光学系７３にてコリメートされたレーザ光を合波させることが可能なダイクロイックミラー群７４（７４１〜７４３）、合波されたレーザ光を光ファイバ７６に導くための結合光学系７５が其々設けられている。
【００４７】
尚、レーザ群７２（Ｂレーザ７２１、Ｇレーザ７２２、Ｒレーザ７２３）として、レーザダイオード等の半導体レーザや固体レーザを利用してもよい。
【００４８】
表示部４０のうち光源ユニット部６５を除く部分の構成について詳説する。光源ユニット部６５より光ファイバ７６に対して導かれたレーザ光を、水平方向に走査させるための水平走査ミラー７９２が水平走査系７９に設けられている。水平走査ミラー７９２の偏向面７９３に入射されたレーザ光は、水平走査制御回路７９１の制御により、映像信号処理部７０より受信される水平同期信号６８に同期して水平方向に走査される。本実施の形態の水平走査系７９は、表示すべき画像の１走査線毎に、レーザ光を水平方向に水平走査（１次走査の一例）させるための光学系である。
【００４９】
水平走査されたレーザ光を垂直走査系８１に導くための第一リレー光学系８０が表示部４０に設けられている。また、第一リレー光学系８０により導かれたレーザ光を垂直方向に走査させるための垂直走査ミラー８１２が垂直走査系８１に設けられている。垂直走査ミラー８１２の偏向面８１３に入射されたレーザ光は、垂直走査制御回路８１１の制御により、映像信号処理部７０より受信される垂直同期信号６７に同期して垂直方向に走査される。本実施の形態の垂直走査系８１は、表示すべき画像の１フレーム毎に、レーザ光を最初の走査線から最後の走査線に向かって垂直に垂直走査（２次走査の一例）する光学系である。
【００５０】
垂直走査されたレーザ光（映像光４（図１参照））をハーフミラー１５０に導くための第二リレー光学系８２が表示部４０に設けられている。第二リレー光学系８２にて導かれた映像光４は、ハーフミラー１５０に入射される。ハーフミラー１５０は、第二リレー光学系８２と使用者３の瞳孔９０との間に配置される。ハーフミラー１５０は、映像光４を全反射させるなどして、使用者３の瞳孔９０に導く。
【００５１】
上述の表示部４０では、水平走査系７９は、垂直走査系８１より高速にすなわち高周波数でレーザ光を走査するように設計される。また、第一リレー光学系８０は、水平走査系７９の水平走査ミラー７９２と、垂直走査系８１の垂直走査ミラー８１２とが共役となるように構成されている。第二リレー光学系８２は、垂直走査ミラー８１２と、使用者３の瞳孔９０とが共役となるように構成されている。
【００５２】
本発明の一実施形態のヘッドマウントディスプレイ２００が、外部からの映像信号を受けてから、使用者３の網膜上に映像を投影するまでの過程について、図５を参照して説明する。
【００５３】
本実施形態のヘッドマウントディスプレイ２００では、光源ユニット部６５に設けられた映像信号処理部７０が映像信号を受信する。次いで映像信号処理部７０より、青、緑、赤の各色のレーザ光を出力させるためのＢ輝度信号６６１、Ｇ輝度信号６６２、Ｒ輝度信号６６３からなる輝度信号６６と、水平同期信号６８と、垂直同期信号６７とが出力される。
【００５４】
Ｂレーザドライバ７１１、Ｇレーザドライバ７１２、Ｒレーザドライバ７１３は、各々入力されたＢ輝度信号６６１、Ｇ輝度信号６６２、Ｒ輝度信号６６３に基づき、Ｂレーザ７２１、Ｇレーザ７２２、Ｒレーザ７２３に対してそれぞれの駆動信号を出力する。
【００５５】
上述の駆動信号に基づいて、Ｂレーザ７２１、Ｇレーザ７２２、Ｒレーザ７２３は、それぞれ強度変調されたレーザ光を発生させる。発生されたレーザ光は、コリメート光学系７３に出力される。レーザ光は、コリメート光学系７３によってそれぞれが平行光にコリメートされ、更に、ダイクロイックミラー群７４に入射されて１つのレーザ光となるよう合成される。合成されたレーザ光は、結合光学系７５によって光ファイバ７６に入射されるよう導かれる。
【００５６】
光ファイバ７６を伝達したレーザ光は、光ファイバ７６からコリメート光学系７７を介して水平走査系７９に出射される。
【００５７】
水平走査系７９に入射されたレーザ光は、水平走査ミラー７９２の偏向面７９３にて、水平同期信号６８に同期して水平方向に走査される。水平走査ミラー７９２は、水平同期信号６８に同期して、その偏向面７９３が入射光を水平方向に反射するように往復振動をしている。この水平走査ミラー７９２によってレーザ光は水平方向に走査される。水平走査されたレーザ光は、第一リレー光学系８０を介し、垂直走査系８１に出射される。
【００５８】
第一リレー光学系８０では、水平走査ミラー７９２の偏向面７９３と垂直走査ミラー８１２の偏向面８１３とが共役の関係となるように調整され、また、水平走査ミラー７９２の面倒れが補正される。
【００５９】
垂直走査系８１に入射されたレーザ光は、垂直走査ミラー８１２の偏向面８１３にて、垂直同期信号６７に同期して垂直方向に走査される。垂直走査ミラー８１２は、水平走査ミラー７９２が水平同期信号６８に同期することと同様に垂直同期信号６７に同期して、その偏向面８１３が入射光を垂直方向に反射するように往復振動をしている。この垂直走査ミラー８１２によってレーザ光は垂直方向に走査される。
【００６０】
水平走査系７９及び垂直走査系８１によって垂直方向及び水平方向に２次元に走査されたレーザ光（映像光４）は、垂直走査ミラー８１２の偏向面８１３と、ユーザの瞳孔９０とが共役の関係となるように設けられた第二リレー光学系８２、ハーフミラー１５０によりユーザの瞳孔９０へ入射され、網膜上に投影される。
【００６１】
以上説明した過程を経ることにより、使用者３は、２次元走査されて網膜上に投影されたレーザ光による画像を認識することが可能となる。なお、水平走査系７９の水平走査ミラー７９２と、垂直走査系８１の垂直走査ミラー８１２とは、名称を同じように説明したが、光を走査するように其の反射面が揺動（回転）させられるものであれば、共振タイプ、非共振タイプ等、圧電駆動、電磁駆動、静電駆動等いずれの駆動方式によるものであってもよいことは言うまでもない。
【００６２】
次に、図６、図７を参照して、ヘッドマウントディスプレイ２００のメイン処理が実行される際にＲＡＭ４８に作成される進行方向基準画像テーブル１４１０、及び表示画像テーブル１４２０について説明する。図６は、進行方向基準画像テーブル１４１０の構成を示す模式図である。図７は、表示画像テーブル１４２０の構成を示す模式図である。
【００６３】
図６に示す進行方向基準画像テーブル１４１０は、ヘッドマウントディスプレイ２００でメイン処理（図８参照）が実行されると、ＲＡＭ４８の進行方向基準画像テーブル記憶エリア（図示外）に作成されるテーブルである。進行方向基準画像テーブル１４１０は、「前画像」、「右画像」、「左画像」、及び「後画像」の項目を備えており、カメラ画像のファイル名を記憶している。「前画像」は、ヘッドマウントディスプレイ２００を装着した使用者３の進行方向に対して同一の方向で撮影されたカメラ画像のファイル名が記憶され、ヘッドマウントディスプレイ２００からの距離が近い順に「１」〜「５」のエリアに記憶される。また、「右画像」は、進行方向に対して右側の方向で撮影されたカメラ画像のファイル名が記憶され、ヘッドマウントディスプレイ２００からの距離が近い順に「１」〜「５」のエリアに記憶される。また、「左画像」は、進行方向に対して左側の方向で撮影されたカメラ画像のファイル名が記憶され、ヘッドマウントディスプレイ２００からの距離が近い順に「１」〜「５」のエリアに記憶される。「後画像」は、進行方向に対して後側の方向で撮影されたカメラ画像のファイル名が記憶され、ヘッドマウントディスプレイ２００からの距離が近い順に「１」〜「５」のエリアに記憶される。
【００６４】
図７に示す、表示画像テーブル１４２０は、上述した進行方向基準画像テーブル１４１０と同様に、ヘッドマウントディスプレイ２００でメイン処理（図８参照）が実行されると、ＲＡＭ４８の表示画像テーブル記憶エリア（図示外）に作成されるテーブルである。表示画像テーブル１４２０は、「前画像」、「右画像」、「左画像」、及び「後画像」の項目を備えており、カメラ画像のファイル名を記憶している。表示画像テーブル１４２０は、進行方向基準画像テーブル１４１０に記憶されているカメラ画像を、ヘッドマウントディスプレイ２００によって検出された使用者３の顔方向に基づいて方向を変換して記憶したものである。そして、ヘッドマウントディスプレイ２００からの距離が近い順にファイル名が、「１」〜「５」のエリアに記憶される。
【００６５】
次に、図８〜図１３を参照して、ヘッドマウントディスプレイ２００で実行される各処理について説明する。図８は、ヘッドマウントディスプレイ２００で実行されるメイン処理のフローチャートである。図９は、ヘッドマウントディスプレイ２００で実行される進行方向基準画像テーブル設定処理のサブルーチンのフローチャートである。図１０は、ヘッドマウントディスプレイ２００で実行される画像入替処理のサブルーチンのフローチャートである。図１１は、ヘッドマウントディスプレイ２００で実行される画像表示処理のサブルーチンのフローチャートである。図１２は、レイヤ表示されたカメラ画像である。図１３は、移動速度が速い場合のレイヤ表示されたカメラ画像である。なお、メイン処理は、ヘッドマウントディスプレイ２００の電源起動時に実行される処理である。また、ヘッドマウントディスプレイ２００の電源がＯＦＦになった際には、自動的に終了するものとする。また、ヘッドマウントディスプレイ２００で実行される他の処理については、他のプロセスで実行されるものとする。他の処理についての説明は省略する。
【００６６】
はじめに、図８を参照して、ヘッドマウントディスプレイ２００で実行されるメイン処理について説明する。メイン処理が実行されると、ヘッドマウントディスプレイ２００を装着している使用者３の現在位置が取得される（Ｓ１１）。この現在位置は、ヘッドマウントディスプレイ２００に設けられているＧＰＳ受信機８８で受信したＧＰＳデータに基づいて取得される。そして、取得された現在位置の情報（以下、「位置情報」という。）は、ＲＡＭ４８の位置情報記憶エリア（図示外）に記憶される。なお、この位置情報記憶エリアは、少なくとも２以上の異なった時間に取得した位置情報を記憶することが可能な領域である。
【００６７】
次いで、ヘッドマウントディスプレイ２００を装着している使用者３の進行方向が取得される（Ｓ１２）。この進行方向は、ＲＡＭ４８の位置情報記憶エリアに記憶されている異なった時間に取得された位置情報に基づいて、ヘッドマウントディスプレイ２００を装着している使用者３が移動した方向を求めることで決定される。なお、この進行方向は例えば、「東」，「西」，「南」，「北」の４方向やさらに北東、西南などの８方向に分けた内の１方向として決定される。あるいは、北を０度とした角度で表しても良い。そして、進行方向に変化があったか否かが判断される（Ｓ１３）。この判断は、ＲＡＭ４８の進行方向記憶エリア（図示外）に記憶されている進行方向と同一か否かで判断される。進行方向記憶エリアに何も記憶されていない、又は進行方向記憶エリアに記憶されている進行方向と同一の場合、つまり、進行方向に変化がない場合（Ｓ１３：ＮＯ）、Ｓ１２で取得した進行方向が、進行方向記憶エリアに記憶される。そして、街角に設置されている定点カメラ３００からカメラ画像、カメラ画像の撮影方向、及び定点カメラ３００の位置情報（以下、これらを称して「定点カメラ情報」という。）を受信したか否かが判断される（Ｓ１５）。
【００６８】
また、進行方向記憶エリアに記憶されている進行方向と、Ｓ１２で取得した進行方向とが異なっており、使用者３の進行方向に変化があったと判断された場合（Ｓ１３：ＹＥＳ）、Ｓ１２で取得した進行方向が進行方向記憶エリアに記憶される。そして、ＲＡＭ４８に記憶されている進行方向基準画像テーブル１４１０、及び表示画像テーブル１４２０のデータがクリアされ（Ｓ１４）、Ｓ１１へ移行する。
【００６９】
定点カメラ３００から定点カメラ情報を受信していないと判断された場合（Ｓ１５：ＮＯ）、Ｓ１１へ移行する。また、定点カメラ３００から定点カメラ情報が送信され、定点カメラ情報を受信したと判断された場合（Ｓ１５：ＹＥＳ）、受信した定点カメラ情報のカメラ画像が、使用者３の進行方向に対して撮影されたカメラ画像か否かが判断される（Ｓ１６）。この判断処理は、受信した定点カメラ情報の撮影方向が、ＲＡＭ４８の進行方向記憶エリアに記憶されている進行方向と同一か否かで判断される。
【００７０】
受信した定点カメラ情報のカメラ画像が、使用者３の進行方向に対して撮影されたカメラ画像であると判断された場合（Ｓ１６：ＹＥＳ）、つまり、受信した定点カメラ情報の撮影方向が、ＲＡＭ４８の進行方向記憶エリアに記憶されている進行方向と同一である場合、定点カメラ情報がＲＡＭ４８の前画像記憶エリア（図示外）に保存される（Ｓ１７）。なお、前画像記憶エリアには、複数の定点カメラ情報を記憶することができる。そして、定点カメラ３００とヘッドマウントディスプレイ２００との距離が算出される（Ｓ２４）。この距離は、定点カメラ情報の位置情報と、ＲＡＭ４８の位置情報記憶エリアに記憶されている位置情報とに基づいて算出される。
【００７１】
受信した定点カメラ情報のカメラ画像が、使用者３の進行方向に対して撮影されたカメラ画像でないと判断された場合（Ｓ１６：ＮＯ）、つまり、受信した定点カメラ情報の撮影方向が、ＲＡＭ４８の進行方向記憶エリアに記憶されている進行方向と同一でない場合、受信した定点カメラ情報のカメラ画像が、使用者３の進行方向に対して右方向で撮影されたか否かが判断される（Ｓ１８）。この判断処理は、受信した定点カメラ情報の撮影方向が、ＲＡＭ４８の進行方向記憶エリアに記憶されている進行方向に対して右方向か否かで判断される。受信した定点カメラ情報のカメラ画像が、使用者３の進行方向に対して右方向で撮影されたカメラ画像であると判断された場合（Ｓ１８：ＹＥＳ）、定点カメラ情報がＲＡＭ４８の右画像記憶エリア（図示外）に保存される（Ｓ１９）。なお、右画像記憶エリアには、複数の定点カメラ情報を記憶することができる。そして、Ｓ２４へ移行する。
【００７２】
受信した定点カメラ情報のカメラ画像が、使用者３の進行方向に対して右方向で撮影されたカメラ画像でないと判断された場合（Ｓ１８：ＮＯ）、つまり、受信した定点カメラ情報の撮影方向が、ＲＡＭ４８の進行方向記憶エリアに記憶されている進行方向に対して、右方向でないと判断された場合、受信した定点カメラ情報のカメラ画像が、使用者３の進行方向に対して左方向で撮影されたか否かが判断される（Ｓ２０）。この判断処理は、受信した定点カメラ情報の撮影方向が、ＲＡＭ４８の進行方向記憶エリアに記憶されている進行方向に対して左方向か否かで判断される。受信した定点カメラ情報のカメラ画像が、使用者３の進行方向に対して左方向で撮影されたカメラ画像であると判断された場合（Ｓ２０：ＹＥＳ）、定点カメラ情報がＲＡＭ４８の左画像記憶エリア（図示外）に保存される（Ｓ２１）。なお、左画像記憶エリアには、複数の定点カメラ情報を記憶することができる。そして、Ｓ２４へ移行する。
【００７３】
受信した定点カメラ情報のカメラ画像が、使用者３の進行方向に対して左方向で撮影されたカメラ画像でないと判断された場合（Ｓ２０：ＮＯ）、つまり、受信した定点カメラ情報の撮影方向が、ＲＡＭ４８の進行方向記憶エリアに記憶されている進行方向に対して、左方向でないと判断された場合、受信した定点カメラ情報のカメラ画像が、使用者３の進行方向に対して後方向で撮影されたか否かが判断される（Ｓ２２）。この判断処理は、受信した定点カメラ情報の撮影方向が、ＲＡＭ４８の進行方向記憶エリアに記憶されている進行方向に対して後方向か否かで判断される。受信した定点カメラ情報のカメラ画像が、使用者３の進行方向に対して後方向で撮影されたカメラ画像であると判断された場合（Ｓ２２：ＹＥＳ）、定点カメラ情報がＲＡＭ４８の後画像記憶エリア（図示外）に保存される（Ｓ２３）。なお、後画像記憶エリアには、複数の定点カメラ情報を記憶することができる。そして、Ｓ２４へ移行する。
【００７４】
受信した定点カメラ情報のカメラ画像が、使用者３の進行方向に対して後方向で撮影されたカメラ画像でないと判断された場合（Ｓ２２：ＮＯ）、つまり、受信した定点カメラ情報の撮影方向が、ＲＡＭ４８の進行方向記憶エリアに記憶されている進行方向に対して、後方向でないと判断された場合、Ｓ１１へ移行する。
【００７５】
次いで、定点カメラ３００とヘッドマウントディスプレイ２００との距離が算出される（Ｓ２４）。そして、ＲＡＭ４８の進行方向基準画像テーブル記憶エリアに、進行方向基準画像テーブル１４１０が設定される処理である進行方向基準画像テーブル設定処理が行われる（Ｓ２５）。この進行方向基準画像テーブル設定処理についての詳細は後述する。そして、画像入替処理が実行される（Ｓ２６）。この画像入替処理についての詳細は、後述する。次いで、画像表示処理が実行され（Ｓ２７）、Ｓ１１へ戻る。この画像表示処理についての詳細は、後述する。
【００７６】
次に、図９を参照して、進行方向基準画像テーブル設定処理について説明する。この進行方向基準画像テーブル設定処理は、メイン処理（図８参照）から実行される処理である。進行方向基準画像テーブル設定処理が実行されると、進行方向基準画像テーブル１４１０がＲＡＭ４８の進行方向基準画像テーブル記憶エリアに記憶されているか否かが判断される（Ｓ５１）。進行方向基準画像テーブル１４１０が記憶されていると判断された場合（Ｓ５１：ＹＥＳ）、この記憶されている進行方向基準画像テーブル１４１０に、受信したカメラ画像が、ＲＡＭ４８の前画像記憶エリア、右画像記憶エリア、左画像記憶エリア、及び後画像記憶エリアに記憶されている情報に基づいて追加される（Ｓ５３）。一方、進行方向基準画像テーブル１４１０がＲＡＭ４８の進行方向基準画像テーブル記憶エリアに記憶されていないと判断された場合（Ｓ５１：ＮＯ）、進行方向基準画像テーブル１４１０が新たに作成される（Ｓ５２）。次いで、受信した定点カメラ情報のカメラ画像を、ＲＡＭ４８の前画像記憶エリア、右画像記憶エリア、左画像記憶エリア、及び後画像記憶エリアに記憶されている情報に基づいて進行方向基準画像テーブルに追加する（Ｓ５３）。さらに、撮影された定点カメラ３００との距離が近い順に並べ替えられる（Ｓ５４）。
【００７７】
次に、図１０を参照して、画像入替処理について説明する。この画像入替処理は、メイン処理（図８参照）から実行される処理である。画像入替処理が実行されると、ヘッドマウントディスプレイ２００の使用者３の顔が向いている方向（以下、「顔方向」という。）が取得される（Ｓ３１）。この方向は、ヘッドマウントディスプレイ２００に設けられている加速度計３８を使用して取得される。加速度計３８により、使用者３の顔の動きを検出し、動きがあった方向を顔方向として取得する。なお、加速度計の代わりに方位計で東西南北のような方位を直接取得しても良い。
【００７８】
そして、取得された顔方向が、使用者３の進行方向と同一か否かが判断される（Ｓ３２）。この判断は、顔方向がＲＡＭ４８の進行方向記憶エリアに記憶されている進行方向と同一の方向であるか否かで判断される。顔方向が、使用者３の進行方向と同一と判断された場合（Ｓ３２：ＹＥＳ）、ＲＡＭ４８の表示画像テーブル記憶エリアに記憶されている表示画像テーブル１４２０に設定されている情報が、顔方向である進行方向に対しての情報に更新される（Ｓ３３）。ここでは、顔方向と、進行方向とは同一の方向であるため、更新された表示画像テーブル１４２０は、進行方向基準画像テーブル１４１０と同一のテーブルとなる。そして、画像入替処理が終了する。
【００７９】
顔方向が、使用者３の進行方向と同一でないと判断された場合（Ｓ３２：ＮＯ）、つまり、顔方向がＲＡＭ４８の進行方向記憶エリアに記憶されている進行方向と同一の方向でないと判断された場合、顔方向が、使用者３の進行方向に対して右側の方向であるか否かが判断される（Ｓ３４）。この判断処理は、顔方向が、ＲＡＭ４８の進行方向記憶エリアに記憶されている進行方向に対して右側の方向か否かで判断される。顔方向が、使用者３の進行方向に対して右側の方向であると判断された場合（Ｓ３４：ＹＥＳ）、表示画像テーブル１４２０に設定されている情報が、進行方向に対して右側の方向の情報に更新される（Ｓ３５）。つまり、進行方向基準画像テーブル１４１０の「右画像」が表示画像テーブル１４２０の「前画像」に、「後画像」が「右画像」に、「前画像」が「左画像」に、「左画像」が「後画像」にコピーされる。
【００８０】
例えば、図６の進行方向基準画像テーブル１４１０では、「右画像」である「Ｒ１．ｊｐｇ」〜「Ｒ５．ｊｐｇ」が表示画像テーブル１４２０では「前画像」として記憶され、「後画像」である「Ｂ１．ｊｐｇ」〜「Ｂ５．ｊｐｇ」が「右画像」として記憶され、「前画像」である「Ｆ１．ｊｐｇ」〜「Ｆ５．ｊｐｇ」が「左画像」として記憶され、「左画像」である「Ｌ１．ｊｐｇ」〜「Ｌ５．ｊｐｇ」が「後画像」として記憶される。そして、画像入替処理が終了する。なお、図７に示す表示画像テーブル１４２０は、進行方向基準画像テーブル１４１０が図６に示す状態で、顔方向が、使用者３の進行方向に対して右側の方向であると判断され、更新された状態を示している。
【００８１】
顔方向が、使用者３の進行方向に対して右側の方向と同一でないと判断された場合（Ｓ３４：ＮＯ）、つまり、顔方向がＲＡＭ４８の進行方向記憶エリアに記憶されている進行方向に対して右側の方向でないと判断された場合、顔方向が、使用者３の進行方向に対して左側の方向であるか否かが判断される（Ｓ３６）。この判断処理は、顔方向が、ＲＡＭ４８の進行方向記憶エリアに記憶されている進行方向に対して左側の方向か否かで判断される。顔方向が、使用者３の進行方向に対して左側の方向であると判断された場合（Ｓ３６：ＹＥＳ）、表示画像テーブル１４２０に設定されている情報が、進行方向に対して左側の方向の情報に更新される（Ｓ３７）。つまり、進行方向基準画像テーブル１４１０の「左画像」が「前画像」に、「前画像」が「右画像」に、「後画像」が「左画像」に、「右画像」が「後画像」となる。例えば、図６の進行方向基準画像テーブル１４１０では、「左画像」である「Ｌ１．ｊｐｇ」〜「Ｌ５．ｊｐｇ」が表示画像テーブル１４２０では「前画像」として記憶され、「前画像」である「Ｆ１．ｊｐｇ」〜「Ｆ５．ｊｐｇ」が「右画像」として記憶され、「後画像」である「Ｂ１．ｊｐｇ」〜「Ｂ５．ｊｐｇ」が「左画像」として記憶され、「右画像」である「Ｒ１．ｊｐｇ」〜「Ｒ５．ｊｐｇ」が「後画像」として記憶される。そして、画像入替処理が終了する。
【００８２】
また、顔方向が、使用者３の進行方向に対して左側の方向でないと判断された場合（Ｓ３６：ＮＯ）、つまり、顔方向が、ＲＡＭ４８の進行方向記憶エリアに記憶されている進行方向に対して左側の方向でないと判断された場合、画像入替処理を終了する。
【００８３】
次に、図１１〜図１３を参照して、画像表示処理について説明する。この画像表示処理は、メイン処理（図８参照）から実行される処理である。画像表示処理が実行されると、１画像のみ表示（以下、「１画像表示」という。）されているか否かが判断される（Ｓ４１）。
【００８４】
ここで、ヘッドマウントディスプレイ２００で、使用者３に認識される表示画像の表示形態には、レイヤ表示と、１画像表示とがある。レイヤ表示は、図１２に示すように、異なった定点カメラ３００から受信したカメラ画像の内で、撮影方向が同一方向の方向であるカメラ画像を３次元的にレイヤ状に表示した表示方法である。たとえば、図１２におけるレイヤ表示においては、使用者３の進行方向に対して同一の撮影方向であるカメラ画像は、顔の向きが進行方向と同じときは、進行方向画像４００として中央に表示される。進行方向に対して左側の撮影方向であるカメラ画像は、左方向画像５００として進行方向画像４００の左側に表示される。進行方向に対して右側の撮影方向であるカメラ画像は、右方向画像６００として進行方向画像４００の右側に表示される。顔の向きが変わると、図８で説明したように、表示画像テーブル１４２０が並び替えられるので、右を向いたときには、右方向のカメラ画像が正面に表示される。
【００８５】
なお、レイヤ表示の際は、使用者３と距離の近い定点カメラ３００で撮影されたカメラ画像ほど、手前側に表示され、距離の近い定点カメラ３００で撮影されたカメラ画像ほど、奥側に表示されるものとする。さらに、最前列の画像の位置や大きさも使用者との距離に応じて変えても良い。すなわち、遠いほど奥まって見えるよう、表示位置をたとえば図１２の２番目や３番目のレイヤ位置とし、大きさを小さくしても良い。後ろのレイヤの画像も最前列画像に合わせて、位置と大きさが変えられる。
【００８６】
また、１画像表示は、レイヤ表示がされているカメラ画像から、選択されたカメラ画像のみが表示されているものとする。
【００８７】
１画像表示されていると判断された場合（Ｓ４１：ＹＥＳ）、１画像表示されているカメラ画像の選択を解除する指示が行われたか否かが判断される（Ｓ４２）。この判断処理は、ＲＡＭ４８の選択フラグ記憶エリア（図示外）に記憶されている選択フラグの値により判断される。この選択フラグは、レイヤ表示されている状態で、選択ボタン（図示外）が押されると「１」となる。また、１画像表示されている状態で、選択解除ボタン（図示外）が押されると、選択フラグは「０」となる。ここで、選択フラグの初期値は「０」とする。
【００８８】
１画像表示されているカメラ画像の選択を解除する指示が行われなかった場合（Ｓ４２：ＮＯ）、つまり、選択フラグの値が「１」の場合、画像表示処理を終了する。
【００８９】
また、１画像表示されているカメラ画像の選択を解除する指示が行われた場合（Ｓ４２：ＹＥＳ）、つまり、選択フラグの値が「０」の場合、レイヤ表示が行われる（Ｓ４３）。このレイヤ表示は、上述した図１２のように表示される。
【００９０】
また、１画像表示されていないと判断された場合（Ｓ４１：ＮＯ）、つまり、レイヤ表示されている場合、レイヤ表示が再度行われる（Ｓ４３）。
【００９１】
次いで、ヘッドマウントディスプレイ２００を装着する使用者３の移動速度が算出される（Ｓ４４）。この移動速度は、所定時間内の移動距離により算出される。ここで、移動距離は、ヘッドマウントディスプレイ２００に設けられたＧＰＳ受信機８８で受信するＧＰＳデータに基づいて算出される。そして、算出された移動速度に応じてレイヤ表示の表示形態が変更される（Ｓ４５）。ここで、例えば、移動速度が、所定速度より速ければ図１３に示すように表示される。図１３は、図１２の状態と比べて移動速度が速い場合の表示画像である。図１３に示すレイヤ表示では、進行方向画像４００，左方向画像５００，及び右方向画像６００に表示されるカメラ画像の画像数が多くなり、その間隔が狭くなっている点に特徴を有する。
【００９２】
次いで、レイヤ表示されているカメラ画像の１枚を選択するための処理が行われたか否かが判断される（Ｓ４６）。この判断は、ＲＡＭ４８の選択フラグ記憶エリアに記憶されている選択フラグの値により判断される。
【００９３】
レイヤ表示されているカメラ画像の１枚を選択するための指示が行われなかった場合（Ｓ４６：ＮＯ）、つまり、選択ボタンが押されておらず、選択フラグの値が「０」の場合、画像表示処理を終了する。
【００９４】
また、レイヤ表示されているカメラ画像の１枚を選択するための指示が行われた場合（Ｓ４６：ＹＥＳ）、つまり、選択ボタンが押され、選択フラグの値が「１」の場合、使用者３の眼の動作によりレイヤ表示されているカメラ画像の１枚が選択される（Ｓ４７）。この選択処理は、ヘッドマウントディスプレイ２００に設けられているカメラ７により撮影される使用者３の眼の動きにより判断される。例えば、レイヤ表示されているカメラ画像の内で、所定時間の間、特定のカメラ画像の位置に対して、使用者３の視線が向いているか否かで判断される。そして、Ｓ４７で選択されたカメラ画像のみが表示され（Ｓ４８）、画像表示処理を終了する。
【００９５】
以上説明したように、ヘッドマウントディスプレイ２００では、街角の各交差点に設けられた定点カメラ３００から定点カメラ情報を受信する。そして、使用者３の進行方向と、定点カメラ３００の撮影方向とが同一の方向であるカメラ画像を画像表示部に表示する。また、定点カメラ情報の位置情報と、ヘッドマウントディスプレイ２００の位置情報とに基づいて、定点カメラ３００との距離を算出し、定点カメラ３００との距離が近いほど、カメラ画像は手前側に表示され、距離が遠いほど、カメラ画像は奥側に表示されるレイヤ表示がされる。これにより、ヘッドマウントディスプレイ２００を装着した使用者３は、表示させたいカメラ画像を選択することなしに、進行方向に対応したカメラ画像を認識することができる。また、定点カメラ３００との距離に応じてレイヤ表示がされているため、進行方向でのカメラ画像が撮影された位置を、より詳しく認識できると共に、表示されたカメラ画像に基づいて外界の状況を立体的に把握できる。
【００９６】
また、ヘッドマウントディスプレイ２００は、進行方向に対して右側の方向と同一の方向である撮影方向に対応するカメラ画像を、画像進行方向に対応するカメラ画像の右側に表示し、進行方向に対して左側の方向と同一の方向である撮影方向に対応するカメラ画像を、進行方向に対応する画像データの左側に表示する。これにより、ヘッドマウントディスプレイ２００を装着した使用者３は、進行方向だけでなく、進行方向に対して左右方向のカメラ画像も視認できるため、より立体的に外界の状況を把握することができる。
【００９７】
また、ヘッドマウントディスプレイ２００が移動する速度を算出し、速度に応じてレイヤ表示の間隔、及び枚数を変更して表示する。これにより、ヘッドマウントディスプレイ２００を装着した使用者３は、移動速度に応じて、より立体的に外界の状況を把握することができる。
【００９８】
また、ヘッドマウントディスプレイ２００は、カメラ７により、使用者３の眼の動きを検知し、レイヤ表示がされている複数のカメラ画像の内のいずれか１つを選択することができる。これにより、ヘッドマウントディスプレイ２００を装着した使用者３は、表示させたいカメラ画像を、眼の視線で容易、且つ素早く選択することができる。そして、選択されたカメラ画像のみを表示させ、確認することができる。
【００９９】
なお、定点カメラ情報が、「受信データ」に相当する。ＲＡＭ４８の前画像記憶エリア、右画像記憶エリア、左画像記憶エリア、及び後画像記憶エリアが、「データ記憶手段」に相当する。
【０１００】
また、図８のＳ１１の処理を実行するＣＰＵ６１が「位置情報取得手段」に相当し、取得された位置情報が「第一位置情報」に相当する。図８のＳ１５：ＹＥＳを実行するＣＰＵ６１が「データ受信手段」に相当する。図８のＳ１７、Ｓ１９、Ｓ２１、及びＳ２３の処理を実行するＣＰＵ６１が「データ記憶制御手段」に相当する。図８のＳ１２の処理を実行するＣＰＵ６１が「進行方向取得手段」に相当する。図８のＳ２４の処理を実行するＣＰＵ６１が「距離取得手段」に相当する。図１１のＳ４４の処理を実行するＣＰＵ６１が「速度取得手段」に相当する。図１１のＳ４７の処理を実行するＣＰＵ６１が「画像選択手段」に相当する。図１１のＳ４８の処理を実行するＣＰＵ６１が「画像データ表示制御手段」に相当する。カメラ７が「検出手段」に相当する。図１１のＳ４３、Ｓ４５、及びＳ４８の処理を実行するＣＰＵ６１が「表示制御手段」に相当する。定点カメラ情報の位置情報が「第二位置情報」に相当する。
【０１０１】
尚、本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を脱しない範囲内において種々の変更が可能であることは無論である。上述した実施の形態では、使用者３の眼の動作によりレイヤ表示されているカメラ画像の１枚が選択される（図１１：Ｓ４７）が、これに限定しない。例えば、入力部４１のボタン操作により、レイヤ表示されているカメラ画像の１枚が選択されるようにしてもよい。ここで、入力部４１が本発明の「入力受付手段」に相当する。
【図面の簡単な説明】
【０１０２】
【図１】定点カメラ３００が設けられた街角の一具体例を示す図である。
【図２】定点カメラ３００及びヘッドマウントディスプレイ２００の接続形態の一具体例を示す図である。
【図３】ヘッドマウントディスプレイ２００の外観構成を示した図である。
【図４】ヘッドマウントディスプレイ２００の電気的構成を示す模式図である。
【図５】表示部４０において映像光４が形成される過程を説明した模式図である。
【図６】進行方向基準画像テーブル１４１０の構成を示す模式図である。
【図７】表示画像テーブル１４２０の構成を示す模式図である。
【図８】ヘッドマウントディスプレイ２００で実行されるメイン処理のフローチャートである。
【図９】ヘッドマウントディスプレイ２００で実行される進行方向基準画像テーブル設定処理のサブルーチンのフローチャートである。
【図１０】ヘッドマウントディスプレイ２００で実行されるサブルーチンの画像入替処理のフローチャートである。
【図１１】ヘッドマウントディスプレイ２００で実行されるサブルーチンの画像表示処理のフローチャートである。
【図１２】レイヤ表示されたカメラ画像である。
【図１３】移動速度が速い場合のレイヤ表示されたカメラ画像である。
【符号の説明】
【０１０３】
１ ネットワーク
３ 使用者
４ 映像光
５ 外光
７ カメラ
３８ 加速度計
４０ 表示部
４１ 入力部
４８ ＲＡＭ
５０ 操作ボタン群
５７ 通信モジュール
６１ ＣＰＵ
６２ ＲＯＭ
８８ ＧＰＳ受信機
１００ 出射装置
１５０ ハーフミラー
２００ ヘッドマウントディスプレイ
２１０ 頭部装着部
３００ 定点カメラ
４００ 進行方向画像
５００ 左方向画像
６００ 右方向画像
１４１０ 進行方向基準画像テーブル
１４２０ 表示画像テーブル
【特許請求の範囲】
【請求項１】
使用者の頭部に装着する頭部装着部と、前記使用者の眼に表示画像の映像光を光学的に導いて視認させる画像表示部とを有するヘッドマウントディスプレイにおいて、
前記画像表示部は、外界の外光を透過するハーフミラーを有し、
前記ヘッドマウントディスプレイの向いている方向である進行方向を取得する進行方向取得手段と、
外部の異なる位置に設けられた定点カメラにより撮影された画像データと、前記画像データの方向である撮影方向とが対応づけられたデータを、前記定点カメラから受信データとして受信するデータ受信手段と、
前記受信データを記憶するデータ記憶手段と、
前記データ受信手段により受信した前記受信データを前記データ記憶手段に記憶させるデータ記憶制御手段と、
前記進行方向取得手段により取得された前記進行方向と、前記データ記憶手段に記憶されている前記受信データの前記撮影方向とが同一の方向である前記画像データを前記画像表示部に表示する表示制御手段と
を備えたことを特徴とするヘッドマウントディスプレイ。
【請求項２】
前記受信データには、前記定点カメラの位置の情報である第一位置情報をさらに含み、
前記ヘッドマウントディスプレイの位置の情報である第二位置情報を取得する位置情報取得手段と、
前記データ記憶手段に記憶された前記受信データの前記第一位置情報、及び前記位置情報取得手段により取得された前記第二位置情報に基づいて、前記定点カメラと前記ヘッドマウントディスプレイとの間の距離を取得する距離取得手段とを備え、
前記表示制御手段は、前記距離取得手段により取得された前記距離が近いほど、前記画像表示部に前記受信データの前記画像データを手前側に表示し、前記距離が遠いほど、前記画像データを奥側に表示することでレイヤ表示をすることを特徴とする請求項１に記載のヘッドマウントディスプレイ。
【請求項３】
前記ヘッドマウントディスプレイの移動する速度を取得する速度取得手段を備え、
前記表示制御手段は、前記レイヤ表示の前記画像データの間隔及び表示枚数を、前記速度取得手段により取得された前記速度に応じた所定の間隔及び枚数で表示することを特徴とする請求項２に記載のヘッドマウントディスプレイ。
【請求項４】
前記表示制御手段は、前記進行方向に対して右側の方向と同一の方向である前記撮影方向に対応する前記画像データを、前記画像表示部に表示されている前記進行方向に対応する前記画像データの右側に表示し、
前記進行方向に対して左側の方向と同一の方向である前記撮影方向に対応する前記画像データを、前記画像表示部に表示されている前記進行方向に対応する前記画像データの左側に表示することを特徴とする請求項１乃至３のいずれかに記載のヘッドマウントディスプレイ。
【請求項５】
前記画像表示部に表示されている複数の前記画像データの内のいずれか１つを選択する画像選択手段と、
前記画像選択手段により選択された前記画像データを、前記画像表示部に表示させる画像データ表示制御手段と
を備えたことを特徴とする請求項１乃至４のいずれかに記載のヘッドマウントディスプレイ。
【請求項６】
前記使用者の眼の動きを検出する検出手段と、
前記画像選択手段は、前記検出手段により検出された前記使用者の眼の動きに基づいて、前記画像表示部に表示されている複数の前記画像データの内のいずれか１つを選択することを特徴とする請求項５に記載のヘッドマウントディスプレイ。
【請求項７】
前記使用者から、前記画像表示部に表示されている前記画像データを選択するための入力を受け付ける入力受付手段と、
前記画像選択手段は、前記入力受付手段により受け付けられた前記入力に基づいて、前記画像表示部に表示されている複数の前記画像データの内のいずれか１つを選択することを特徴とする請求項５に記載のヘッドマウントディスプレイ。
【請求項１】
使用者の頭部に装着する頭部装着部と、前記使用者の眼に表示画像の映像光を光学的に導いて視認させる画像表示部とを有するヘッドマウントディスプレイにおいて、
前記画像表示部は、外界の外光を透過するハーフミラーを有し、
前記ヘッドマウントディスプレイの向いている方向である進行方向を取得する進行方向取得手段と、
外部の異なる位置に設けられた定点カメラにより撮影された画像データと、前記画像データの方向である撮影方向とが対応づけられたデータを、前記定点カメラから受信データとして受信するデータ受信手段と、
前記受信データを記憶するデータ記憶手段と、
前記データ受信手段により受信した前記受信データを前記データ記憶手段に記憶させるデータ記憶制御手段と、
前記進行方向取得手段により取得された前記進行方向と、前記データ記憶手段に記憶されている前記受信データの前記撮影方向とが同一の方向である前記画像データを前記画像表示部に表示する表示制御手段と
を備えたことを特徴とするヘッドマウントディスプレイ。
【請求項２】
前記受信データには、前記定点カメラの位置の情報である第一位置情報をさらに含み、
前記ヘッドマウントディスプレイの位置の情報である第二位置情報を取得する位置情報取得手段と、
前記データ記憶手段に記憶された前記受信データの前記第一位置情報、及び前記位置情報取得手段により取得された前記第二位置情報に基づいて、前記定点カメラと前記ヘッドマウントディスプレイとの間の距離を取得する距離取得手段とを備え、
前記表示制御手段は、前記距離取得手段により取得された前記距離が近いほど、前記画像表示部に前記受信データの前記画像データを手前側に表示し、前記距離が遠いほど、前記画像データを奥側に表示することでレイヤ表示をすることを特徴とする請求項１に記載のヘッドマウントディスプレイ。
【請求項３】
前記ヘッドマウントディスプレイの移動する速度を取得する速度取得手段を備え、
前記表示制御手段は、前記レイヤ表示の前記画像データの間隔及び表示枚数を、前記速度取得手段により取得された前記速度に応じた所定の間隔及び枚数で表示することを特徴とする請求項２に記載のヘッドマウントディスプレイ。
【請求項４】
前記表示制御手段は、前記進行方向に対して右側の方向と同一の方向である前記撮影方向に対応する前記画像データを、前記画像表示部に表示されている前記進行方向に対応する前記画像データの右側に表示し、
前記進行方向に対して左側の方向と同一の方向である前記撮影方向に対応する前記画像データを、前記画像表示部に表示されている前記進行方向に対応する前記画像データの左側に表示することを特徴とする請求項１乃至３のいずれかに記載のヘッドマウントディスプレイ。
【請求項５】
前記画像表示部に表示されている複数の前記画像データの内のいずれか１つを選択する画像選択手段と、
前記画像選択手段により選択された前記画像データを、前記画像表示部に表示させる画像データ表示制御手段と
を備えたことを特徴とする請求項１乃至４のいずれかに記載のヘッドマウントディスプレイ。
【請求項６】
前記使用者の眼の動きを検出する検出手段と、
前記画像選択手段は、前記検出手段により検出された前記使用者の眼の動きに基づいて、前記画像表示部に表示されている複数の前記画像データの内のいずれか１つを選択することを特徴とする請求項５に記載のヘッドマウントディスプレイ。
【請求項７】
前記使用者から、前記画像表示部に表示されている前記画像データを選択するための入力を受け付ける入力受付手段と、
前記画像選択手段は、前記入力受付手段により受け付けられた前記入力に基づいて、前記画像表示部に表示されている複数の前記画像データの内のいずれか１つを選択することを特徴とする請求項５に記載のヘッドマウントディスプレイ。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１０−１５３９６０（Ｐ２０１０−１５３９６０Ａ）
【公開日】平成２２年７月８日（２０１０．７．８）
【国際特許分類】
【出願番号】特願２００８−３２６８６６（Ｐ２００８−３２６８６６）
【出願日】平成２０年１２月２４日（２００８．１２．２４）
【出願人】（０００００５２６７）ブラザー工業株式会社 (13,856)
【Ｆターム（参考）】
【公開日】平成２２年７月８日（２０１０．７．８）
【国際特許分類】
【出願日】平成２０年１２月２４日（２００８．１２．２４）
【出願人】（０００００５２６７）ブラザー工業株式会社 (13,856)
【Ｆターム（参考）】
[ Back to top ]