ヘッドマウントディスプレイ
【課題】外部のカメラが撮影している対象物の通常とは異なる変化を分かりやすく表示することができるヘッドマウントディスプレイを提供する。
【解決手段】カメラ情報を初めての定点カメラから受信していない場合（Ｓ１２：ＮＯ）、カメラ情報が追加される（Ｓ１３）。そして、直前のカメラ画像が存在し（Ｓ１５：ＹＥＳ）、直前のカメラ画像との差分が算出され（Ｓ１６）、差分がある場合（Ｓ１７：ＹＥＳ）、動作フラグが「１」となる（Ｓ１８）。次いで、撮影日時の時刻が含まれる時間帯で、平均画像が存在すると判断された場合（Ｓ１９：ＹＥＳ）、平均画像との差分が算出され（Ｓ２０）、差分がある場合（Ｓ２１：ＹＥＳ）、変化フラグが「１」となる（Ｓ２２）。動作フラグ、又は変化フラグが「１」の場合（Ｓ２３：ＹＥＳ）、表示形態が変更され（Ｓ２４）、平均化処理（Ｓ２７）が行われる。
【解決手段】カメラ情報を初めての定点カメラから受信していない場合（Ｓ１２：ＮＯ）、カメラ情報が追加される（Ｓ１３）。そして、直前のカメラ画像が存在し（Ｓ１５：ＹＥＳ）、直前のカメラ画像との差分が算出され（Ｓ１６）、差分がある場合（Ｓ１７：ＹＥＳ）、動作フラグが「１」となる（Ｓ１８）。次いで、撮影日時の時刻が含まれる時間帯で、平均画像が存在すると判断された場合（Ｓ１９：ＹＥＳ）、平均画像との差分が算出され（Ｓ２０）、差分がある場合（Ｓ２１：ＹＥＳ）、変化フラグが「１」となる（Ｓ２２）。動作フラグ、又は変化フラグが「１」の場合（Ｓ２３：ＹＥＳ）、表示形態が変更され（Ｓ２４）、平均化処理（Ｓ２７）が行われる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ヘッドマウントディスプレイに関するものであり、詳細には、外部のカメラが撮影している対象物の通常とは異なる変化を分かりやすく表示することができるヘッドマウントディスプレイに関するものである。
【背景技術】
【０００２】
従来、走行道路撮影用の撮影装置で撮影された画像を表示するカーナビゲーション装置が知られている（例えば、特許文献１参照）。この特許文献１に記載のカーナビゲーション装置によると、目的地まで経路探索された走行経路を用いて、複数存在する走行道路撮影用の撮影装置の中からユーザが選択する可能性が高い撮影装置を自動的に選択する。そして、選択された撮影装置からの画像が、カーナビゲーション装置に表示される。
【０００３】
また、複数個の定点カメラが道路に沿って設置され、道路の交通状況を撮影し、端末装置に画像情報を送信する情報通信システムが知られている（例えば、特許文献２参照）。この特許文献２に記載の情報通信システムによると、画像情報提供部が、複数個の定点カメラのそれぞれで撮影された道路の交通状況の画像を収集する。収集した画像情報を、定点カメラの識別情報と、定点カメラの設置位置の情報とに対応させて蓄積して管理すると共に、利用者に、提供可能な定点カメラの候補の情報を提供する。そして、利用者の端末装置の画面上に定点カメラの候補のリストが表示される。利用者は、定点カメラの候補のリストから定点カメラを選択することにより、所望の位置の定点カメラで撮影された撮影画像である道路交通情報を得ることができる。
【特許文献１】特開平１１−１６００９０号公報
【特許文献２】特開２００１−１５５２８９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載の発明のカーナビゲーション装置では、複数画像を表示した際に、時間的に変化する混雑度合がユーザに対して分かりづらい、実像と画像とを見比べる必要があるという問題点があった。
【０００５】
また、特許文献２に記載の発明の情報通信システムでは、複数の定点カメラの情報のリストを表示するだけなので、個々の定点カメラの画像が視覚的に分かりづらいという問題点があった。利用者は、普段とは違う映像を見て、その興味に応じて行動を起こしたいと思っている。例えば、普段と異なり人だかりがある場所があればその場所に居合わせたいのであり、普段とは異なり並んでいる人が多ければ、その場所を避ける。しかし、実際には全ての定点カメラの画像をいつも順に表示させていくしかなく、見たい映像にたどり着くまで多大な時間がかかってしまう。また、時間を節約して適当に表示させても見たい映像を見逃してしまうことが多かった。
【０００６】
本発明は、上述した問題を解決するためになされたものであり、外部のカメラが撮影している対象物の通常とは異なる変化を分かりやすく表示することができるヘッドマウントディスプレイを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、請求項１に係る発明のヘッドマウントディスプレイは、使用者の頭部に装着する頭部装着部と、前記使用者の眼に表示画像の映像光を光学的に導いて視認させる画像表示部とを有するヘッドマウントディスプレイにおいて、外部の異なる位置に設けられた、所定距離以内の定点カメラにより撮影された画像データと、前記定点カメラを識別する識別情報と、前記画像データが撮影された日時とが対応づけられたデータを、前記定点カメラから受信データとして受信するデータ受信手段と、前記データ受信手段により受信した前記受信データの前記画像データを前記画像表示部に表示させる表示制御手段と、前記受信データを記憶するデータ記憶手段と、前記データ受信手段により受信した前記受信データを前記データ記憶手段に記憶させる第一データ記憶制御手段と、前記データ記憶手段に記憶された前記受信データの内で、前記識別情報、及び前記画像データが撮影された時刻が同一である複数の前記受信データ中の各画像データの対応する各画素データを平均化して平均画像データを求める画像データ平均化手段と、前記データ受信手段により受信した前記受信データ中の前記画像データの各画素と、前記平均画像データの対応する各画素との間で差分がある割合である第一割合が、第一所定値以上か否かを判断する第一差分判断手段と、前記第一差分判断手段により前記第一割合が前記第一所定値以上と判断された場合、前記画像表示部に表示されている前記画像データの内で、前記第一割合が前記第一所定値以上である前記画像データの表示を所定の形態へ変更する第一表示変更手段とを備えている。
【０００８】
また、請求項２に係る発明のヘッドマウントディスプレイは、請求項１に記載の発明の構成に加え、前記第一表示変更手段は、前記第一差分判断手段により前記第一割合が第一所定値以上と判断された場合、前記画像表示部に表示されている前記画像データの内で、前記第一割合が前記第一所定値以上である前記画像データの表示の形態を、前記第一割合に応じて変更することを特徴とする。
【０００９】
また、請求項３に係る発明のヘッドマウントディスプレイは、請求項１又は２に記載の発明の構成に加え、前記データ受信手段は、前記定点カメラから前記受信データを所定時間間隔で受信し、前記データ受信手段により受信した前記受信データ中の前記画像データの各画素と、前記所定時間前に受信した前記画像データの対応する各画素との間で差分がある割合である第二割合が、第二所定値以上か否かを判断する第二差分判断手段を備え、前記第二差分判断手段により前記第二割合が前記第二所定値以上と判断された場合、前記画像表示部に表示されている前記画像データの内で、前記第二割合が前記第二所定値以上である前記画像データの表示を所定の形態へ変更する第二表示変更手段とを備えている。
【００１０】
また、請求項４に係る発明のヘッドマウントディスプレイは、請求項１乃至３のいずれかに記載の発明の構成に加え、前記平均画像データと、前記識別情報と、平均化に使用した前記画像データの個数とを対応づけて、平均画像情報として前記データ記憶手段に記憶させる第二データ記憶制御手段を備え、前記第一差分判断手段は、前記データ受信手段により受信した前記受信データ中の前記画像データの各画素と、前記平均画像情報の前記平均画像データの対応する各画素との間で差分がある割合が、前記第一所定値以上か否かを判断し、前記画像データ平均化手段は、前記データ記憶手段に記憶された前記平均画像情報と、前記データ受信手段により受信した前記受信データとに基づいて、対応する各画素データを平均化して前記平均画像データを求めることを特徴とする。
【発明の効果】
【００１１】
請求項１に係る発明のヘッドマウントディスプレイでは、所定距離以内に設けられた定点カメラから、撮影された画像データと、定点カメラを識別する識別情報と、画像データが撮影された日時とが対応づけられたデータを受信データとして受信するデータ受信手段を備えており、受信データはデータ記憶手段に記憶される。データ記憶手段に記憶されている受信データの内で、識別情報、及び画像データが撮影された日時が同一である受信データの対応する各画素データが平均化されて平均画像データとして算出される。そして、定点カメラから受信した受信データ中の画像データの各画素データと、平均画像データの各画素データとの間で差分がある割合である第一割合が、第一所定値以上である画像データを取得する。取得された画像データは、第一表示変更手段により表示形態が変更されて画像表示部に表示される。これにより、ヘッドマウントディスプレイを装着した使用者は、定点カメラが設けられている場所の画像を、ヘッドマウントディスプレイを介して認識できる。また、表示された画像の内で、平均化された通常の状況の画像との間で、変化がある画像に対して、表示形態が自動的に変更されるため、使用者は表示形態が変更された画像に注目することでできる。そして、変化のある画像が撮影された場所の混雑状況を把握することができる。
【００１２】
また、請求項２に係る発明のヘッドマウントディスプレイでは、請求項１に記載の発明の効果に加え、第一表示変更手段により、第一差分判断手段により第一割合が第一所定値以上と判断された場合、第一割合が第一所定値以上である画像データの表示の形態を、第一割合に応じて変更する。これにより、ヘッドマウントディスプレイを装着した使用者は、平均化された通常の状況の画像との間で、変化のある画像が撮影された場所の混雑状況を、より詳しく把握することができる。
【００１３】
また、請求項３に係る発明のヘッドマウントディスプレイでは、請求項１又は２に記載の発明の効果に加え、データ受信手段は、定点カメラから受信データを所定時間間隔で受信する。そして、定点カメラから受信した画像データの各画素データと、所定時間前に受信した画像データの各画素データとの間で差分がある割合である第二割合が、第二所定値以上である画像データを取得する。取得された画像データは、第二表示変更手段により表示形態が変更されて画像表示部に表示される。これにより、表示された画像の内で、所定時間前の画像との間で、変化がある画像に対して、表示形態が自動的に変更されるため、ヘッドマウントディスプレイを装着した使用者は、所定時間前に撮影された画像と異なった画像を把握することができる。その結果、所定時間内に混み具合や人の入れ替わりが変化した時刻を確認することができる。
【００１４】
また、請求項４に係る発明のヘッドマウントディスプレイでは、請求項１乃至３のいずれかに記載の発明の効果に加え、第二データ記憶制御手段により、平均画像データと、識別情報と、平均化に使用した画像データとの個数とが対応づけられた平均画像情報が、データ記憶手段に記憶される。そして、画像データ平均化手段は、データ記憶手段に記憶された平均画像情報と、データ受信手段により受信した受信データとに基づいて、対応する各画素データを平均化して平均画像データを求める。これにより、平均画像データを求める処理速度が速くなり、即座に画像データを画像表示部に表示させることができる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明のヘッドマウントディスプレイ２００の一実施の形態について、図面を参照して説明する。なお、これらの図面は、本発明が採用しうる技術的特徴を説明するために用いられるものであり、記載されている装置の構成、各種処理のフローチャートなどは、特に特定的な記載がない限り、それのみに限定する趣旨ではなく、単なる説明例である。
【００１６】
なお、本実施形態では、ヘッドマウントディスプレイとして、画像信号に応じた光束を２次元方向に走査し、その走査された光を眼に導き網膜上に表示画像を形成する網膜走査型ディスプレイを例に挙げて説明するが、これに限定しない。例えば、液晶ディスプレイ、有機ＥＬ（ＥｌｅｃｔｒｏＬｕｍｉｎｅｓｅｎｃｅ）ディスプレイ等、他の画像表示装置を備え、利用者が頭部に装着して画像を鑑賞するヘッドマウントディスプレイであってもよい。
【００１７】
まず、図１を参照して、接続形態について説明する。図１は、定点カメラ３００及びヘッドマウントディスプレイ２００の接続形態の一具体例を示す図である。図１に示すように、使用者３が装着したヘッドマウントディスプレイ２００には、ネットワーク１を介して定点カメラ３００が接続可能である。この定点カメラ３００は、街角に設置され、特定の建物の出入口等を所定時間毎に撮影し、建物の出入口での混雑状態を把握する際に使用される。ここで、所定時間は、建物の出入口での混雑状態を把握できればよく、例えば、一例として、１分とする。また、建物の出入口での混雑状態に限らず、道路を撮影し、交通渋滞等を把握するようにしてもよい。また、ヘッドマウントディスプレイ２００と、定点カメラ３００とは無線によりデータ通信が可能となっており、定点カメラ３００からヘッドマウントディスプレイ２００へ、定点カメラ３００で撮影された画像（以下、「カメラ画像」という。）等が送信される。
【００１８】
次に、図２を参照し、ヘッドマウントディスプレイ２００の概略構成について説明する。図２は、ヘッドマウントディスプレイ２００の外観構成を示した図である。
【００１９】
図２に示すように、ヘッドマウントディスプレイ２００は、画像信号に応じて変調されたレーザ光（以下「映像光４」という。）を走査させて出射させ、使用者３の少なくとも一方の眼の網膜に画像を直接投影する。これにより、使用者３に画像を視認させる。ヘッドマウントディスプレイ２００は、画像信号に応じて映像光４を出射する出射装置１００と、その出射装置１００から出射された映像光４を導くと共に、その映像光４を使用者３の眼に向かって反射させるプリズム１５０と、出射装置１００及びプリズム１５０を支持する頭部装着部２１０とを少なくとも備えている。
【００２０】
出射装置１００は、映像光４をプリズム１５０に対し出射する。プリズム１５０は、出射装置１００に対して固定的な位置にあり、その出射装置１００から出射された映像光４を導き、その映像光４を使用者３の眼に向かって反射させる。プリズム１５０は、図示しないビームスプリッタ部を備えており、外界からの外光５を透過させ、使用者３の眼に導く。プリズム１５０は、使用者３の側方から入射された映像光４を使用者３の眼に入射させると共に、外界からの外光５を使用者３の眼に入射させる。これにより、実際の視界はもちろん、出射装置１００から出射された映像光４に基づく画像が視認可能となる。
【００２１】
なお本実施形態においては、プリズム１５０によって外光５と映像光４とを同時に視認することができるような構成とした。しかしながら本発明はこの構成に限定されず、例えば、プリズム１５０に代えてハーフミラーを用いることもできる。これにより、出射装置１００からの映像光４はハーフミラーに反射させて使用者３の眼に入射させると共に、外光５はハーフミラーを透過させて使用者３の眼に入射させることが可能となる。
【００２２】
また本実施形態においては、ヘッドマウントディスプレイとして、網膜走査を用いたシースルーのヘッドマウントディスプレイを例に挙げて説明したが、本発明はこの例に限定されず、例えば、反射型ＬＣＤを利用したヘッドマウントディスプレイであってもよい。
【００２３】
次に、図３を参照し、ヘッドマウントディスプレイ２００の電気的構成について説明する。図３は、ヘッドマウントディスプレイ２００の電気的構成を示す模式図である。
【００２４】
図３に示すように、ヘッドマウントディスプレイ２００は、使用者３に画像を視認させる表示部４０、各種操作やデータの入力を行うための入力部４１、画像情報等の送受信を行う通信部４３、ヘッドマウントディスプレイ２００で使用する機能の各種設定値等を記憶するフラッシュメモリ４９、表示部４０に表示する画像（グラフィック）やテキストなどのイメージデータが記憶されるビデオＲＡＭ４４、表示部４０に表示するテキストのフォントデータが記憶されるフォントＲＯＭ４５、ヘッドマウントディスプレイ２００全体を制御する制御部４６、及び電源部４７を備えている。
【００２５】
表示部４０は、使用者３に視認させるための映像の情報（以下「映像情報」という。）を制御部４６より受信し、使用者３の網膜に直接投影させるために必要な各信号に変換する為の映像信号処理部７０、レーザ光を出力するレーザ群７２（青色出力レーザ（Ｂレーザ）７２１、緑色出力レーザ（Ｇレーザ）７２２、赤色出力レーザ（Ｒレーザ）７２３）、及び、レーザよりレーザ光を出力させるための制御を行うレーザドライバ群７１を備えている。そして、映像信号処理部７０の制御により、所望のレーザ光を所望のタイミングで出力させることが可能なように、映像信号処理部７０はレーザドライバ群７１と電気的に接続されている。またレーザドライバ群７１は、Ｂレーザ７２１、Ｇレーザ７２２、及びＲレーザ７２３と其々電気的に接続されている。また、映像信号処理部７０が制御部４６より映像信号を受信することが可能なように、映像信号処理部７０と制御部４６とはバスを介して電気的に接続されている。
【００２６】
また表示部４０は、レーザより出力されたレーザ光を垂直方向に反射させることによって走査を行う垂直走査ミラー８１２及び垂直走査ミラー８１２の駆動制御を行う垂直走査制御回路８１１、レーザより出力されたレーザ光を水平方向に反射させることによって走査を行う水平走査ミラー７９２及び水平走査ミラー７９２の駆動制御を行う水平走査制御回路７９１を備えている。そして、映像信号処理部７０の制御により、所望の方向にレーザ光を反射させることが可能なように、映像信号処理部７０と垂直走査制御回路８１１及び水平走査制御回路７９１とは其々電気的に接続されている。また、垂直走査制御回路８１１は垂直走査ミラー８１２と電気的に接続されている。また、水平走査制御回路７９１は水平走査ミラー７９２と電気的に接続されている。
【００２７】
入力部４１は、各種機能キーなどからなる操作ボタン群５０、操作ボタン群５０のキーが操作されたことを検出し、制御部４６に通知する入力制御回路５１を備えている。そして、操作ボタン群５０のキーに入力された情報を制御部４６（後述）にて認識することが可能なように、操作ボタン群５０は入力制御回路５１と電気的に接続されている。また入力制御回路５１は制御部４６と電気的に接続されている。
【００２８】
通信部４３は、無線電波を使用し、画像信号等の受信を行う通信モジュール５７と、この通信モジュール５７を制御する通信制御回路５８とを備えている。そして、制御部４６にて画像信号を取得することが可能なように、制御部４６と通信制御回路５８とはバスを介して電気的に接続されている。また、通信モジュール５７は通信制御回路５８と電気的に接続されている。
【００２９】
なお、通信モジュール５７の通信方式としては特に限定されず、従来周知の無線通信方式が使用可能である。例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅ Ｂａｎｄ）規格、無線ＬＡＮ（ＩＥＥＥ８０２．１１ｂ，１１ｇ，１１ｎなど）規格、ＷｉｒｅｌｅｓｓＵＳＢ規格などに準拠した無線通信方式が使用可能である。また、赤外線を利用したＩｒＤＡ（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ）規格に準拠した無線通信方式も使用可能である。
【００３０】
電源部４７は、ヘッドマウントディスプレイ２００を駆動させるための電源となる充電式の電池５９、及び、電池５９の電力をヘッドマウントディスプレイ２００に供給すると共に、充電用アダプタ（図示せず）から供給される電力を電池５９へ供給して電池５９の充電を行う充電制御回路６０を備えている。
【００３１】
フラッシュメモリ４９、ビデオＲＡＭ４４、及びフォントＲＯＭ４５は、制御部４６より各記憶領域に記憶された情報を参照することが可能なように、それぞれがバスを介して制御部４６と電気的に接続されている。
【００３２】
制御部４６は、ヘッドマウントディスプレイ２００全体を制御する機能を有しており、例えば、所望の情報を表示部４０に表示させたり、使用者３による入力部４１の操作に応じて所定の動作を行ったりする。
【００３３】
制御部４６は、ＣＰＵ６１、各種プログラムを格納したＲＯＭ６２、各種データが一時的に記憶されるＲＡＭ４８などから構成されている。制御部４６では、ＣＰＵ６１がＲＯＭ６２に格納された各種プログラムを読み出すことにより、各処理が実行される。ＲＡＭ４８は、ＣＰＵ６１が各処理を実行する場合に必要な各種フラグやデータの記憶領域を提供する。
【００３４】
表示部４０にて映像光４が形成される過程の概要について、図４を参照して詳説する。図４は、表示部４０において映像光４が形成される過程を説明した模式図である。表示部４０は、図４に示すように、光源ユニット部６５、コリメート光学系７７、水平走査系７９、第一リレー光学系８０、垂直走査系８１、第二リレー光学系８２を備えている。光源ユニット部６５は、映像信号処理部７０、レーザドライバ群７１、レーザ群７２、コリメート光学系７３、ダイクロイックミラー群７４、及び結合光学系７５を備えている。水平走査系７９は、水平走査制御回路７９１及び水平走査ミラー７９２を備えている。垂直走査系８１は、垂直走査制御回路８１１及び垂直走査ミラー８１２を備えている。
【００３５】
光源ユニット部６５の構成について図３、及び図４を参照して詳説する。映像信号処理部７０は、既述のように、制御部４６と電気的に接続されている。そして、制御部４６を介して所望の情報を網膜に投影させるためにビデオＲＡＭ４４に展開された映像情報が入力される。映像信号処理部７０には、輝度信号６６（Ｂ輝度信号６６１、Ｇ輝度信号６６２、Ｒ輝度信号６６３）、垂直同期信号６７及び水平同期信号６８、奥行き信号８４が其々入力される。映像信号処理部７０では、入力された映像情報を網膜に投影させるための要素となる各信号（輝度信号、水平同期信号、垂直同期信号）が生成される。生成された各信号は、輝度信号６６、水平同期信号６８、及び垂直同期信号６７に対して画素毎に出力される。
【００３６】
輝度信号６６（Ｂ輝度信号６６１、Ｇ輝度信号６６２、Ｒ輝度信号６６３）は、レーザドライバ群７１（Ｂレーザドライバ７１１、Ｇレーザドライバ７１２、Ｒレーザドライバ７１３）に其々入力される。水平同期信号６８は、水平走査系７９の水平走査制御回路７９１に入力される。垂直同期信号６７は、垂直走査系８１の垂直走査制御回路８１１に入力される。
【００３７】
レーザドライバ群７１は、レーザ群７２（Ｂレーザ７２１、Ｇレーザ７２２、Ｒレーザ７２３）に其々電気的に接続されている。レーザドライバ群７１は、輝度信号６６（Ｂ輝度信号６６１、Ｇ輝度信号６６２、Ｒ輝度信号６６３）を介して伝達された各信号の各輝度信号に基づいて、強度変調されたレーザ光をレーザ群７２より出射させるために、レーザ群７２を駆動する。
【００３８】
レーザドライバ群７１の制御に基づきレーザ群７２より出射された３色（青色、緑色、赤色）のレーザ光を平行光にコリメートさせることが可能なコリメート光学系７３（７３１〜７３３）、コリメート光学系７３にてコリメートされたレーザ光を合波させることが可能なダイクロイックミラー群７４（７４１〜７４３）、合波されたレーザ光を光ファイバ７６に導くための結合光学系７５が其々設けられている。
【００３９】
尚、レーザ群７２（Ｂレーザ７２１、Ｇレーザ７２２、Ｒレーザ７２３）として、レーザダイオード等の半導体レーザや固体レーザを利用してもよい。
【００４０】
表示部４０のうち光源ユニット部６５を除く部分の構成について詳説する。光源ユニット部６５より光ファイバ７６に対して導かれたレーザ光を水平方向に走査させるための水平走査ミラー７９２が水平走査系７９に設けられている。水平走査ミラー７９２の偏向面７９３に入射されたレーザ光は、水平走査制御回路７９１の制御により、映像信号処理部７０より受信される水平同期信号６８に同期して水平方向に走査される。本実施の形態の水平走査系７９は、表示すべき画像の１走査線毎に、レーザ光を水平方向に水平走査（１次走査の一例）させるための光学系である。
【００４１】
水平走査されたレーザ光を垂直走査系８１に導くための第一リレー光学系８０が表示部４０に設けられている。また、第一リレー光学系８０により導かれたレーザ光を垂直方向に走査させるための垂直走査ミラー８１２が垂直走査系８１に設けられている。垂直走査ミラー８１２の偏向面８１３に入射されたレーザ光は、垂直走査制御回路８１１の制御により、映像信号処理部７０より受信される垂直同期信号６７に同期して垂直方向に走査される。本実施の形態の垂直走査系８１は、表示すべき画像の１フレーム毎に、レーザ光を最初の走査線から最後の走査線に向かって垂直に垂直走査（２次走査の一例）する光学系である。
【００４２】
垂直走査されたレーザ光（映像光４（図２参照））をプリズム１５０に導くための第二リレー光学系８２が表示部４０に設けられている。第二リレー光学系８２にて導かれた映像光４は、プリズム１５０に入射される。プリズム１５０は、第二リレー光学系８２と使用者３の瞳孔９０との間に配置される。プリズム１５０は、映像光４を全反射させるなどして、使用者３の瞳孔９０に導く。
【００４３】
上述の表示部４０では、水平走査系７９は、垂直走査系８１より高速にすなわち高周波数でレーザ光を走査するように設計される。また、第一リレー光学系８０は、水平走査系７９の水平走査ミラー７９２と、垂直走査系８１の垂直走査ミラー８１２とが共役となるように構成されている。第二リレー光学系８２は、垂直走査ミラー８１２と、使用者３の瞳孔９０とが共役となるように構成されている。
【００４４】
本発明の一実施形態のヘッドマウントディスプレイ２００が、外部からの映像信号を受けてから、使用者３の網膜上に映像を投影するまでの過程について、図４を参照して説明する。
【００４５】
本実施形態のヘッドマウントディスプレイ２００では、光源ユニット部６５に設けられた映像信号処理部７０が映像信号を受信する。次いで映像信号処理部７０より、青、緑、赤の各色のレーザ光を出力させるためのＢ輝度信号６６１、Ｇ輝度信号６６２、Ｒ輝度信号６６３からなる輝度信号６６と、水平同期信号６８と、垂直同期信号６７とが出力される。
【００４６】
Ｂレーザドライバ７１１、Ｇレーザドライバ７１２、Ｒレーザドライバ７１３は、各々入力されたＢ輝度信号６６１、Ｇ輝度信号６６２、Ｒ輝度信号６６３に基づき、Ｂレーザ７２１、Ｇレーザ７２２、Ｒレーザ７２３に対してそれぞれの駆動信号を出力する。
【００４７】
上述の駆動信号に基づいて、Ｂレーザ７２１、Ｇレーザ７２２、Ｒレーザ７２３は、それぞれ強度変調されたレーザ光を発生させる。発生されたレーザ光は、コリメート光学系７３に出力される。レーザ光は、コリメート光学系７３によってそれぞれが平行光にコリメートされ、更に、ダイクロイックミラー群７４に入射されて１つのレーザ光となるよう合成される。合成されたレーザ光は、結合光学系７５によって光ファイバ７６に入射されるよう導かれる。
【００４８】
光ファイバ７６を伝達したレーザ光は、光ファイバ７６からコリメート光学系７７を介して水平走査系７９に出射される。
【００４９】
水平走査系７９に入射されたレーザ光は、水平走査ミラー７９２の偏向面７９３にて、水平同期信号６８に同期して水平方向に走査される。水平走査ミラー７９２は、水平同期信号６８に同期して、その偏向面７９３が入射光を水平方向に反射するように往復振動をしている。この水平走査ミラー７９２によってレーザ光は水平方向に走査される。水平走査されたレーザ光は、第一リレー光学系８０を介し、垂直走査系８１に出射される。
【００５０】
第一リレー光学系８０では、水平走査ミラー７９２の偏向面７９３と垂直走査ミラー８１２の偏向面８１３とが共役の関係となるように調整され、また、水平走査ミラー７９２の面倒れが補正される。
【００５１】
垂直走査系８１に入射されたレーザ光は、垂直走査ミラー８１２の偏向面８１３にて、垂直同期信号６７に同期して垂直方向に走査される。垂直走査ミラー８１２は、水平走査ミラー７９２が水平同期信号６８に同期することと同様に垂直同期信号６７に同期して、その偏向面８１３が入射光を垂直方向に反射するように往復振動をしている。この垂直走査ミラー８１２によってレーザ光は垂直方向に走査される。
【００５２】
水平走査系７９及び垂直走査系８１によって垂直方向及び水平方向に２次元に走査されたレーザ光（映像光４）は、垂直走査ミラー８１２の偏向面８１３と、ユーザの瞳孔９０とが共役の関係となるように設けられた第二リレー光学系８２、プリズム１５０によりユーザの瞳孔９０へ入射され、網膜上に投影される。
【００５３】
以上説明した過程を経ることにより、使用者３は、２次元走査されて網膜上に投影されたレーザ光による画像を認識することが可能となる。なお、水平走査系７９の水平走査ミラー７９２と、垂直走査系８１の垂直走査ミラー８１２とは、名称を同じように説明したが、光を走査するように其の反射面が揺動（回転）させられるものであれば、共振タイプ、非共振タイプ等、圧電駆動、電磁駆動、静電駆動等いずれの駆動方式によるものであってもよいことは言うまでもない。
【００５４】
以上のように構成されたヘッドマウントディスプレイ２００のフラッシュメモリ４９の記憶エリアについて、図５を参照して説明する。図５は、ヘッドマウントディスプレイ２００のフラッシュメモリ４９の構成を示す模式図である。
【００５５】
図５に示すように、フラッシュメモリ４９には、カメラ画像テーブル記憶エリア１４０１、カメラ画像記憶エリア１４０２、平均画像テーブル記憶エリア１４０３、及び平均画像記憶エリア１４０４が設けられている。このカメラ画像テーブル記憶エリア１４０１には、カメラ画像テーブル１５００（図６参照）が記憶される。また、カメラ画像記憶エリア１４０２には、定点カメラ３００で撮影され、定点カメラ３００から送信されたカメラ画像が記憶される。また、平均画像テーブル記憶エリア１４０３には、平均画像テーブル１６００（図７参照）が記憶される。また、平均画像記憶エリア１４０４には、平均化されたカメラ画像（以下、「平均画像」という。）が記憶される。ここで、平均化とは、複数のカメラ画像において、各カメラ画像に対応する各画素の画素値の平均値を算出することである。
【００５６】
次に、図６を参照して、フラッシュメモリ４９のカメラ画像テーブル記憶エリア１４０１に記憶されるカメラ画像テーブル１５００について説明する。図６は、カメラ画像テーブル１５００の構成を示す模式図である。このカメラ画像テーブル１５００は、街角に設置されている定点カメラ３００から送信される、定点カメラ３００を識別するＩＤ（以下、「カメラＩＤ」という。）毎に作成されるテーブルである。そして、カメラ画像テーブル１５００は、「撮影日時」、「ファイル名」、「変化フラグ」、及び「動作フラグ」を備えており、各々が対応づけられて記憶される。
【００５７】
「撮影日時」欄には、定点カメラ３００で撮影されたカメラ画像の撮影日時が記憶され、「ファイル名」欄には、定点カメラ３００で撮影されたカメラ画像のファイル名が記憶される。なお、「ファイル名」欄には、カメラ画像テーブル１５００内で重複しないユニークなファイル名が記憶される。一例として、「ファイル名」欄には、カメラＩＤ、カメラ画像が撮影された年月日、及び撮影された時刻に対応したファイル名が記憶される。カメラＩＤが「Ａ」、撮影された年月日が「２０ＸＸ年０１月１３日」、撮影された時刻が、「１１時５０分」であれば、ファイル名は、「Ａ＿２０ＸＸ０１１３＿１１５０．ｊｐｇ」となる。
【００５８】
「変化フラグ」欄には、「１」又は「０」の値が記憶される。「変化フラグ」は、平均画像と、受信したカメラ画像とにおいて、対応する各画素で差分がある割合（以下、「第一割合」という。）が、所定の割合である第一所定値より小さい場合「０」となる。また、第一割合が、第一所定値以上の場合、「１」となる。初期値としての「変化フラグ」の値は、「０」である。なお、本実施の形態では、一例として、第一所定値は２０％とする。
【００５９】
「動作フラグ」欄には、「１」又は「０」の値が記憶される。「動作フラグ」は、直前の時刻に撮影されたカメラ画像と、受信したカメラ画像とにおいて、対応する各画素で差分がある割合（以下、「第二割合」という。）が、所定の割合である第二所定値より小さい場合「０」となる。また、第二割合が、第二所定値以上の場合、「１」となる。初期値としての「動作フラグ」の値は、「０」である。なお、本実施の形態では、一例として、第二所定値は２０％とする。
【００６０】
次に、図７を参照して、フラッシュメモリ４９の平均画像テーブル記憶エリア１４０３に記憶される平均画像テーブル１６００について説明する。図６は、平均画像テーブル１６００の構成を示す模式図である。この平均画像テーブル１６００は、定点カメラ３００から送信されるカメラＩＤ毎に作成されるテーブルである。そして、平均画像テーブル１６００は、「時間帯」、「ファイル名」、「平均化した画像数」、及び「平均化日数」を備えており、それぞれが対応づけられて記憶さている。
【００６１】
「時間帯」欄には、カメラ画像の撮影された時間帯が、３０分毎の範囲で設けられている。また、「ファイル名」欄には、それぞれの「時間帯」欄での平均画像のファイル名が記憶される。なお、「ファイル名」欄には、それぞれの「時間帯」欄で重複しないユニークなファイル名が記憶される。一例として、「ファイル名」には、カメラＩＤ、カメラ画像が撮影された時間帯に対応したファイル名が記憶される。カメラＩＤが「ａ」、時間帯が「１４：００〜１４：２９」であれば、ファイル名は、「ａ＿１４００＿１４２９．ｊｐｇ」となる。また、「平均化した画像数」欄には、それぞれの「時間帯」欄で平均化に使用されたカメラ画像の数が記憶される。また、「平均化日数」欄には、平均化に使用したカメラ画像が撮影された日数が記憶される。
【００６２】
次に、図８〜図１４を参照して、ヘッドマウントディスプレイ２００で実行される各処理について説明する。図８は、ヘッドマウントディスプレイ２００で実行されるメイン処理のフローチャートである。図９は、カメラ画像の単独表示の一具体例を示す図である。図１０は、カメラ画像のサムネイル表示の一具体例を示す図である。図１１は、カメラ画像に動きがある時のサムネイル表示の一具体例を示す図である。図１２は、カメラ画像に変化がある時のサムネイル表示の一具体例を示す図である。図１３は、ヘッドマウントディスプレイ２００で実行される平均化処理のサブルーチンのフローチャートである。図１４は、ヘッドマウントディスプレイ２００で実行される表示切替処理のサブルーチンのフローチャートである。なお、メイン処理は、ヘッドマウントディスプレイ２００の電源起動時に実行される処理である。また、ヘッドマウントディスプレイ２００の電源がＯＦＦになった際には、自動的に終了するものとする。また、ヘッドマウントディスプレイ２００で実行される他の処理については、他のプロセスで実行されるものとする。他の処理についての説明は省略する。
【００６３】
はじめに、図８を参照して、ヘッドマウントディスプレイ２００で実行されるメイン処理について説明する。メイン処理が実行されると、初期設定が行われる（Ｓ１０）。この初期設定は、ＲＡＭ４８に記憶される各種変数を初期化する処理等である。次いで、定点カメラ３００から、カメラ画像、カメラＩＤ、及びカメラ画像が撮影された撮影日時（以下、これらを称して「カメラ情報」という。）を受信したか否かの判断が行われる（Ｓ１１）。図１で示した通り、ヘッドマウントディスプレイ２００と定点カメラ３００との通信は、ネットワーク１を介しているので、ヘッドマウントディスプレイ２００がネットワーク１のアクセスポイントと通信を行い、アクセスポイントからは、アクセスポイントからの距離が所定範囲内の定点カメラ３００の情報が選択されヘッドマウントディスプレイ２００に送られる。
【００６４】
ヘッドマウントディスプレイ２００が定点カメラ３００から、カメラ情報を受信していないと判断された場合（Ｓ１１：ＮＯ）、平均化処理が行われる（Ｓ２７）。この平均化処理についての詳細は後述する。次いで、表示切替処理が行われ（Ｓ２８）、Ｓ１１へ移行する。この表示切替処理についての詳細は後述する。
【００６５】
所定距離以内の定点カメラ３００からカメラ情報が送信され、カメラ情報を受信したと判断された場合（Ｓ１１：ＹＥＳ）、受信したカメラ情報が初めての定点カメラ３００から受信したカメラ情報であるか否かが判断される（Ｓ１２）。この判断処理は、受信したカメラ情報のカメラＩＤに対応したカメラ画像テーブル１５００が、カメラ画像テーブル記憶エリア１４０１に存在するか否かで判断される。初めての定点カメラ３００から受信したカメラ情報であると判断された場合（Ｓ１２：ＹＥＳ）、つまり、カメラ画像テーブル記憶エリア１４０１に、受信したカメラ情報のカメラＩＤに対応したカメラ画像テーブル１５００が存在しない場合、図９に示すように、画像表示領域４００において、受信したカメラ画像が単独に表示（以下、「単独表示」という。）された単独表示画像４１０として表示される（Ｓ２５）。ここで、画像表示領域４００は、使用者３がヘッドマウントディスプレイ２００を装着した際に、使用者３がカメラ画像を認識できる領域である。なお、単独表示画像４１０には、カメラ情報の撮影日時が表示される。
【００６６】
次いで、フラッシュメモリ４９のカメラ画像テーブル記憶エリア１４０１に、カメラ画像テーブル１５００が新しく作成される（Ｓ２６）。ここで、作成されるカメラ画像テーブル１５００は、受信したカメラ情報のカメラＩＤに対応したテーブルである。また、「撮影日時」には、カメラ情報の撮影日時が記憶され、「ファイル名」には、ユニークなファイル名が設定される。また、受信したカメラ画像は、「ファイル名」に記憶されたファイル名で、カメラ画像記憶エリア１４０２に記憶される。また、「変化フラグ」、及び「動作フラグ」には、初期値として「０」が記憶される。そして、Ｓ１１へ移行する。
【００６７】
初めての定点カメラ３００から受信したカメラ情報でないと判断された場合（Ｓ１２：ＮＯ）、つまり、既にカメラ画像テーブル記憶エリア１４０１に、受信したカメラ情報のカメラＩＤに対応したカメラ画像テーブル１５００が存在する場合、カメラ画像テーブル１５００に受信したカメラ情報が追加される（Ｓ１３）。このカメラ画像テーブル１５００は、受信したカメラ情報のカメラＩＤに対応したテーブルである。カメラ画像テーブル１５００の「撮影日時」には、カメラ情報の撮影日時が記憶され、「ファイル名」には、受信したカメラ画像のファイル名が記憶される。また、「変化フラグ」、及び「動作フラグ」には、初期値である「０」が記憶される。そして、受信したカメラ画像が、カメラ画像記憶エリア１４０２に記憶される。
【００６８】
次いで、図１０に示すように、画像表示領域４００において、サムネイル表示がされる（Ｓ１４）。このサムネイル表示は、カメラ画像テーブル１５００に記憶されている全てのファイル名に対応するカメラ画像が、カメラ画像記憶エリア１４０２から取得され、取得されたカメラ画像が画像表示領域４００にサムネイル表示画像４４０として、表示されている状態である。なお、本実施の形態では、画像表示領域４００の一画面に表示されるサムネイル表示画像４４０の個数として、最大６個まで表示することができる。また、サムネイル表示画像４４０が表示される際には、カメラ画像に対応する撮影日時がサムネイル表示画像４４０に合成され、表示される。
【００６９】
また、カメラ画像テーブル１５００に６個より多いファイル名が記憶されている際は、画像表示領域４００内の左側に前ページボタン４２０、右側に次ページボタン４３０が表示される。前ページボタン４２０は、サムネイル表示を前のページに戻す為のボタンであり、次ページボタン４３０は、サムネイル表示を次のページに進める為のボタンである。なお、この前ページボタン４２０、又は次ページボタン４３０は、操作ボタン群５０により操作が可能となっている。また、サムネイル表示において、カメラ画像は、撮影日時の順に並んでいるものとする。また、後述する変化フラグ、動作フラグが「１」のものから順に並べても良い。
【００７０】
サムネイル表示が行われると（Ｓ１４）、同一の定点カメラ３００から受信したカメラ画像の内で、直前のカメラ画像が存在するか否かの判断が行われる（Ｓ１５）。ここで、直前のカメラ画像とは、撮影された日時から所定時間前までに撮影されたカメラ画像のことであり、フラッシュメモリ４９のカメラ画像記憶エリア１４０２に記憶されている。同一のカメラＩＤに対応するカメラ画像テーブル１５００（図６参照）において、直前のカメラ画像に対応するファイル名が取得され、取得されたファイル名のカメラ画像が、カメラ画像記憶エリア１４０２に記憶されているか否かで判断される。ここで、本実施の形態では、一例として、所定時間は３０分とする。
【００７１】
同一の定点カメラ３００から受信したカメラ画像の内で、直前のカメラ画像が存在すると判断された場合（Ｓ１５：ＹＥＳ）、つまり、フラッシュメモリ４９のカメラ画像記憶エリア１４０２に、直前のカメラ画像が記憶されていると判断された場合、直前のカメラ画像と、受信したカメラ画像との差分が算出され（Ｓ１６）、差分があるか否かが判断される（Ｓ１７）。ここで、差分を算出する際には、直前のカメラ画像と、受信したカメラ画像との双方に対して、グレースケール化を行い、輪郭データを算出する。そして、算出された双方の輪郭データの対応する全ての画素に対して、差分を算出し、第二割合が算出される。この第二割合が、第二所定値以上であるか否かで、差分があるか否かが判断される。なお、上述したように、第二所定値は２０％である。従って、差分がある割合である第二割合が２０％以上あれば、差分があると判断される（Ｓ１７：ＹＥＳ）。
【００７２】
ここで、輪郭データを抽出する際は、周知の一次微分法を使用する。一次微分法の輪郭抽出では、各画素における濃度の勾配を求めることによって輪郭の強さと方向とを算出し、濃度値が急激に変化する部分を輪郭データとして抽出する。まず、ｘ方向の微分ｇｘと、ｙ方向の微分ｇｙとを、ｇｘ＝ｐ（ｘ＋１，ｙ）−ｐ（ｘ，ｙ），ｇｙ＝ｐ（ｘ，ｙ＋１）−ｐ（ｘ，ｙ）として求める。ただし、デジタル画像はデータが離散的であるので、隣接画素間の差分をとることで微分を近似する。ここでｐ（ｘ，ｙ）は、画素（ｘ，ｙ）における画素値である。次に、ｇｘ，ｇｙより輪郭の強さをＥ（ｘ，ｙ）＝｜ｇｘ｜＋｜ｇｙ｜として算出する。ここで、ベクトル（ｇｘ，ｇｙ）の方向は、輪郭の方向を示す。
【００７３】
差分があると判断された場合（Ｓ１７：ＹＥＳ）、つまり、直前のカメラ画像と、受信したカメラ画像との第二割合が第二所定値以上であると判断された場合、受信したカメラＩＤに対応するカメラ画像テーブル１５００において、受信したカメラ画像のファイル名に対応した「動作フラグ」の値が「１」となる（Ｓ１８）。
【００７４】
また、同一の定点カメラ３００から受信したカメラ画像の内で、直前のカメラ画像が存在しないと判断された場合（Ｓ１５：ＮＯ）、Ｓ１９へ移行する。また、直前のカメラ画像と、受信したカメラ画像との差分が算出され（Ｓ１６）、第二割合が、第二所定値より小さいと判断された場合（Ｓ１７：ＮＯ）、Ｓ１９へ移行する。
【００７５】
次いで、受信したカメラ情報の撮影日時の時刻が含まれる時間帯で、平均画像が存在するか否かが判断される（Ｓ１９）。受信したカメラＩＤに対応する平均画像テーブル１６００（図７参照）において、「時間帯」が、受信したカメラ情報の撮影日時の時刻と比較される。そして、平均画像テーブル１６００において、受信したカメラ情報の撮影日時の時刻が含まれた「時間帯」に対応した「ファイル名」が存在するか否かで判断される。ここで、例えば、図７において、受信したカメラ情報の撮影日時の時刻を含んだ「時間帯」が「０：００〜０：２９」の場合、「ファイル名」は存在しないため、平均画像が存在しないことを示す。また、受信したカメラ情報の撮影日時の時刻を含んだ「時間帯」が「１４：００〜１４：２９」の場合、「ファイル名」は、「ａ＿１４００＿１４２９．ｊｐｇ」であるため、平均画像が存在することを示す。なお、この平均画像は、フラッシュメモリ４９の平均画像記憶エリア１４０４に記憶されている。
【００７６】
受信したカメラ情報の撮影日時の時刻が含まれる時間帯で、平均画像が存在すると判断された場合（Ｓ１９：ＹＥＳ）、つまり、受信したカメラＩＤに対応する平均画像テーブル１６００（図７参照）において、カメラ情報の撮影日時の時刻が含まれた「時間帯」に対する「ファイル名」があり、平均画像がある場合、受信したカメラ画像と、平均画像との差分が算出される（Ｓ２０）。そして、差分があるか否かが判断される（Ｓ２１）。
【００７７】
ここで、上述したように、差分を算出する際には、平均画像と、受信したカメラ画像との双方に対して、グレースケール化を行い、輪郭データを算出する。そして、算出された双方の輪郭データの対応する全ての画素に対して、差分を算出し、第一割合が算出される。この第一割合が、第一所定値以上であるか否かで、差分があるか否かを判断する。なお、上述したように、第一所定値は２０％である。また、輪郭データを抽出する際は、上述したように、周知の一次微分法を使用する。従って、差分がある割合である第一割合が２０％以上あれば、差分があると判断される（Ｓ２１：ＹＥＳ）。
【００７８】
また、平均画像と、受信したカメラ画像とに差分があると判断された場合（Ｓ２１：ＹＥＳ）、つまり、平均画像と、受信したカメラ画像との第一割合が、第一所定値以上であると判断された場合、受信したカメラＩＤに対応するカメラ画像テーブル１５００において、受信したカメラ画像のファイル名に対応した「変化フラグ」の値が「１」となる（Ｓ２２）。
【００７９】
また、同一の定点カメラ３００から受信したカメラ画像の内で、直前のカメラ画像が存在しないと判断された場合（Ｓ１９：ＮＯ）、Ｓ２３へ移行する。また、受信したカメラ画像と、平均画像との差分が算出され（Ｓ２０）、第一割合が第一所定値より小さいと判断された場合（Ｓ２１：ＮＯ）、Ｓ２３へ移行する。
【００８０】
次いで、受信したカメラＩＤに対応するカメラ画像テーブル１５００において、受信したカメラ画像のファイル名に対応した「動作フラグ」、又は「変化フラグ」の値が「１」か否かが判断される（Ｓ２３）。
【００８１】
受信したカメラＩＤに対応するカメラ画像テーブル１５００において、受信したカメラ画像のファイル名に対応した「動作フラグ」、又は「変化フラグ」の値が「１」であると判断された場合（Ｓ２３：ＹＥＳ）、サムネイル表示の表示形態が変更される（Ｓ２４）。ここで、例えば、図１１又は図１２のように、サムネイル表示の表示形態が変更される。そして、Ｓ２７へ移行する。
【００８２】
図１１のサムネイル表示では、画像表示領域４００に表示されているサムネイル表示画像４４０において、「動作フラグ」の値が「１」であるファイル名に対応したサムネイル表示画像４４０が、強調して表示される。図１１において、例えば、撮影日時が「２０ＸＸ．０１．３０ １１：５０」、及び「２０ＸＸ．０１．３０ １２：１０」のサムネイル表示画像４４０が強調して表示されている状態である。
【００８３】
また、図１２のサムネイル表示では、画像表示領域４００に表示されているサムネイル表示画像４４０において、「変化フラグ」の値が「１」であるファイル名に対応したサムネイル表示画像４４０が、強調して表示される。図１２において、例えば、撮影日時が「２０ＸＸ．０１．１３ １１：５０」、及び「２０ＸＸ．０１．２０ １１：５０」のサムネイル表示画像４４０が、強調して表示されている状態である。なお、図１１，図１２で強調されたサムネイル表示画像４４０は、互いに異なった表示形態とする。
【００８４】
また、受信したカメラＩＤに対応するカメラ画像テーブル１５００において、受信したカメラ画像のファイル名に対応した「動作フラグ」、又は「変化フラグ」の値が「１」でないと判断された場合（Ｓ２３：ＮＯ）、Ｓ２７へ移行する。
【００８５】
次に、図１３を参照して、平均化処理について説明する。平均化処理が実行されると、初めに、平均化する単位時間が経過したか否かが判断される（Ｓ３１）。ここで、単位時間の計測は、ヘッドマウントディスプレイ２００に設けられているタイマ（図示外）により行われる。そして、タイマのカウント値を参照することで単位時間が経過したか否かが判断される。ここで、一例として、単位時間は、平均画像テーブル１６００の「時間帯」の時間間隔である３０分とする。なお、タイマの初期化は、メイン処理の初期設定（図８：Ｓ１０）で行うものとする。
【００８６】
平均化する単位時間が経過していないと判断された場合（Ｓ３１：ＮＯ）、つまり、タイマによる計測値が、単位時間を経過していない場合、平均化処理を終了する。
【００８７】
また、平均化する単位時間が経過したと判断された場合（Ｓ３１：ＹＥＳ）、つまり、タイマによる計測値が単位時間を経過した場合、単位時間が経過するまでに定点カメラ３００から受信したカメラ画像の平均化が行われる（Ｓ３２）。つまり、受信したカメラ情報のカメラＩＤに対応するカメラ画像テーブル１５００において、「撮影日時」の時刻が、単位時間内である全てのファイル名が取得される。そして、取得されたファイル名に基づいて、カメラ画像記憶エリア１４０２からカメラ画像が取得され、取得された全てのカメラ画像を使用して平均化が行われる。その際、平均化に使用したカメラ画像の数が、ＲＡＭ４８の画像数記憶エリア（図示外）に記憶される。ここで、平均化する単位時間が経過したと判断されると同時に、タイマの計測値が初期化され、再度、タイマによる計測が開始される。
【００８８】
次いで、受信したカメラ情報の撮影日時の時刻が含まれる時間帯で、平均画像が存在するか否かが判断される（Ｓ３３）。受信したカメラＩＤに対応する平均画像テーブル１６００において、「時間帯」が、受信したカメラ情報の撮影日時の時刻と比較される。そして、平均画像テーブル１６００において、受信したカメラ情報の撮影日時の時刻が含まれた「時間帯」に対応した「ファイル名」が存在するか否かで判断される。
【００８９】
平均画像が存在しないと判断された場合（Ｓ３３：ＮＯ）、つまり、平均画像テーブル１６００において、受信したカメラ情報の撮影日時の時刻が含まれた「時間帯」に対応した「ファイル名」が存在しない場合、Ｓ３２で平均化されたカメラ画像が、平均画像として平均画像記憶エリア１４０４に記憶される。その際、ユニークなファイル名が決定される。そして、作成された平均画像に関するレコードが、平均画像テーブル１６００に追加される（Ｓ３５）。ここで、該当する「時間帯」に対応する「ファイル名」には、決定されたユニークなファイル名が記憶される。「平均化した画素数」には、平均化に使用したカメラ画像の数が記憶される。この平均化に使用したカメラ画像の数は、画像数記憶エリア（図示外）に記憶されている。「平均化日数」には、「１」が記憶される。
【００９０】
次いで、単位時間内に、別の定点カメラ３００から送信されたカメラ画像が、存在するか否かが判断される（Ｓ３６）。つまり、平均画像テーブル記憶エリア１４０３に記憶されている別の平均画像テーブル１６００において、「時間帯」が、受信したカメラ情報の撮影日時の時刻と比較される。ここで、別の平均画像テーブル１６００とは、受信したカメラＩＤ以外のカメラＩＤに対応した平均画像テーブル１６００である。そして、他の平均画像テーブル１６００において、受信したカメラ情報の撮影日時の時刻が含まれた「時間帯」に対応した「ファイル名」が存在するか否かで判断される。
【００９１】
また、受信したカメラ情報の撮影日時の時刻が含まれる時間帯で、平均画像が存在すると判断された場合（Ｓ３３：ＹＥＳ）、つまり、平均画像テーブル１６００において、受信したカメラ情報の撮影日時の時刻が含まれた「時間帯」に対応した「ファイル名」が存在する場合、過去の平均画像と、受信したカメラ画像とを平均化することで新たな平均画像を作成し、平均画像テーブル１６００を更新する（Ｓ３４）。ここで、平均画像テーブル１６００において、過去の平均画像のファイル名に該当するレコードの「平均化した画像数」、及び「平均化日数」には「１」が加算され記憶される。また、作成された新たな平均画像は、過去の平均画像と同じファイル名で平均画像記憶エリア１４０４に記憶される。次いで、Ｓ３６へ移行する。
【００９２】
単位時間内に、別の定点カメラ３００から送信されたカメラ画像が、存在しないと判断された場合（Ｓ３６：ＮＯ）、つまり、他の平均画像テーブル１６００において、受信したカメラ情報の撮影日時の時刻が含まれた「時間帯」に対応した「ファイル名」が存在しない場合、平均化処理を終了する。
【００９３】
また、単位時間内に、別の定点カメラ３００から送信されたカメラ画像が、存在すると判断された場合（Ｓ３６：ＹＥＳ）、つまり、他の平均画像テーブル１６００において、受信したカメラ情報の撮影日時の時刻が含まれた「時間帯」に対応した「ファイル名」が存在する場合、Ｓ３２へ移行し、Ｓ３２からＳ３６の処理を再度実行する。
【００９４】
次に、図１４を参照して、表示切替処理について説明する。表示切替処理が実行されると、表示切替スイッチが操作されたか否かが判断される（Ｓ４１）。この表示切替スイッチ（図示外）は、ヘッドマウントディスプレイ２００の操作ボタン群５０に設けられている操作ボタンの１つである。表示切替スイッチは、単独表示、又はサムネイル表示を切り替える際に使用される。
【００９５】
表示切替スイッチが操作され、単独表示を表示する操作がされた際には、ＲＡＭ４８に記憶されている表示フラグ（図示外）の値が「１」となる。また、表示切替スイッチが操作され、サムネイル表示を表示する操作がされた際には、表示フラグの値は「０」となる。また、表示切替スイッチが操作されると、ＲＡＭ４８に記憶されている表示切替スイッチフラグ（図示外）の値が「０」から「１」に変更される。
【００９６】
表示切替スイッチスイッチが押されていないと判断された場合（Ｓ４１：ＮＯ）、つまり、表示切替スイッチフラグの値が「０」の場合、表示切替処理が終了する。
【００９７】
また、表示切替スイッチスイッチが押されたと判断された場合（Ｓ４１：ＹＥＳ）、つまり、表示切替スイッチフラグの値が「１」の場合、表示切替スイッチフラグの値が「０」に変更され、単独表示に変更されたか否かが判断される（Ｓ４２）。この判断処理は、表示切替スイッチの値が「１」か否かが判断される。
【００９８】
単独表示に変更されたと判断された場合（Ｓ４２：ＹＥＳ）、つまり、表示切替スイッチの値が「１」の場合、単独表示が行われる（Ｓ４４）。図９に示すように、画像表示領域４００において、受信したカメラ画像が、単独表示画像４１０として表示される。そして、表示切替処理が終了する。
【００９９】
また、単独表示に変更されたと判断されていない場合（Ｓ４２：ＮＯ）、つまり、表示切替スイッチの値が「０」の場合、サムネイル表示がおこなわれる（Ｓ４３）。図１０に示すように、画像表示領域４００において、受信したカメラ画像を含んだサムネイル表示画像４４０が表示される。そして、表示切替処理が終了する。
【０１００】
以上説明したように、ヘッドマウントディスプレイ２００では、街角に設けられた定点カメラ３００から、所定時間毎にカメラ画像を受信する。そして、ヘッドマウントディスプレイ２００を装着した使用者３は、定点カメラ３００が設けられている場所のカメラ画像を認識することができる。また、表示されたカメラ画像の内で、平均化された通常の状況のカメラ画像との間で、変化があるカメラ画像に対して、表示形態が自動的に変更される。これにより、使用者３は表示形態が変更されたカメラ画像に注目することでできる。そして、平均化された通常の状況の画像との間で、変化のあるカメラ画像が撮影された場所の混雑状況を把握することができる。よって、普段とは異なる混雑の仕方をしている場所の状況を容易にすばやく把握することができる。
【０１０１】
また、表示されたカメラ画像の内で、所定時間前のカメラ画像との間で、変化があるカメラ画像に対しても、表示形態が自動的に変更される。これにより、ヘッドマウントディスプレイ２００を装着した使用者３は、所定時間前に撮影されたカメラ画像と異なったカメラ画像を把握することができる。その結果、所定時間内に混み具合が変化した時刻を確認することができる。
【０１０２】
本発明のカメラ情報が「受信データ」に相当し、カメラＩＤが「識別情報」に相当し、フラッシュメモリ４９が「データ記憶手段」に相当する。図８のＳ１１：ＹＥＳを実行するＣＰＵ６１が「データ受信手段」に相当する。図８のＳ１４，Ｓ２５、図１４のＳ４３，Ｓ４４を実行するＣＰＵ６１が「表示制御手段」に相当する。図１３のＳ３２，Ｓ３４を実行するＣＰＵ６１が「画像データ平均化手段」に相当する。図８のＳ１３，Ｓ２６を実行するＣＰＵ６１が「第一データ記憶制御手段」に相当する。図８のＳ２１を実行するＣＰＵ６１が「第一差分判断手段」に相当する。図８のＳ２４を実行するＣＰＵ６１が「第一表示変更手段」に相当する。図１３のＳ３４，Ｓ３６を実行するＣＰＵ６１が「第二データ記憶制御手段」に相当する。図８のＳ１７を実行するＣＰＵ６１が「第二差分判断手段」に相当する。図１３のＳ２４を実行するＣＰＵ６１が「第二表示変更手段」に相当する。
【０１０３】
尚、本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を脱しない範囲内において種々の変更が可能であることは無論である。上述した実施の形態では、サムネイル表示がされているカメラ画像で、「動作フラグ」、又は「変化フラグ」に「１」が設定されているカメラ画像の表示形態を、それぞれ同一の表示形態に変更しているが、これに限定しない。たとえば、算出された差分の割合に応じて、表示形態を変更するようにしてもよい。
【０１０４】
以下、図８，図１５，及び図１６を参照して、変形例のメイン処理について説明する。図１５は、変形例のカメラ画像テーブル１７００の構成を示す模式図である。図１６は、変形例のサムネイル表示の一具体例を示す図である。
【０１０５】
まず、図１５を参照して、変形例のカメラ画像テーブル１７００について説明する。カメラ画像テーブル１７００は、上述した実施の形態のカメラ画像テーブル１５００と同様に、フラッシュメモリ４９のカメラ画像テーブル記憶エリア１４０１に記憶されている。そして、カメラＩＤ毎に「撮影日時」欄、「ファイル名」欄、「変化フラグ」欄、「動作フラグ」欄、「変化差分割合」欄、及び「動作差分割合」欄を備えており、各々が対応づけられて記憶される。「変化差分割合」欄には、第一割合の値が記憶され、「動作差分割合」欄には、第二割合の値が記憶される。なお、「撮影日時」欄、「ファイル名」欄、「変化フラグ」欄、及び「動作フラグ」欄に記憶される内容に関しては、上述した実施の形態と同様である。
【０１０６】
次に、図８を参照して、変形例におけるヘッドマウントディスプレイ２００で実行されるメイン処理について説明する。なお、図８におけるメイン処理で、Ｓ１８，Ｓ２２，及びＳ２４以外の処理は、上述した実施の形態と同様であるため、その説明を省略する。また、変形例におけるメイン処理もヘッドマウントディスプレイ２００の電源起動時に実行される処理であり、ヘッドマウントディスプレイ２００の電源がＯＦＦになった際には、自動的に終了するものとする。また、ヘッドマウントディスプレイ２００で実行される他の処理については、他のプロセスで実行されるものとする。他の処理についての説明は省略する。
【０１０７】
変形例におけるヘッドマウントディスプレイ２００のメイン処理が実行され、直前のカメラ画像と、受信したカメラ画像との差分が算出され、差分があると判断された場合（Ｓ１７：ＹＥＳ）、受信したカメラＩＤに対応するカメラ画像テーブル１７００において、受信したカメラ画像のファイル名に対応した「動作フラグ」の値が「１」となる（Ｓ１８）。また、同時に、受信したカメラ画像のファイル名に対応した「動作差分割合」に、算出された第二割合が記憶される。
【０１０８】
また、平均画像と、受信したカメラ画像とに差分があると判断された場合（Ｓ２１：ＹＥＳ）、つまり、平均画像と、受信したカメラ画像との第一割合が第一所定値以上であると判断された場合、受信したカメラＩＤに対応するカメラ画像テーブル１７００において、受信したカメラ画像のファイル名に対応した「変化フラグ」の値が「１」となる（Ｓ２２）。また、同時に、受信したカメラ画像のファイル名に対応した「変化差分割合」に、算出された第一割合が記憶される。
【０１０９】
ついで、受信したカメラＩＤに対応するカメラ画像テーブル１７００において、受信したカメラ画像のファイル名に対応した「動作フラグ」、又は「変化フラグ」の値が「１」であると判断された場合（Ｓ２３：ＹＥＳ）、サムネイル表示の表示形態が変更される（Ｓ２４）。ここで、変形例における表示形態の変更処理では、受信したカメラＩＤに対応するカメラ画像テーブル１７００において、受信したカメラ画像のファイル名に対応した「動作差分割合」、及び「変化差分割合」の値に応じて、サムネイル表示の表示形態が変更される。
【０１１０】
例えば、一例として、図１６に示すように、「動作フラグ」の値が「１」であるサムネイル表示画像４４０に対して、その「動作差分割合」に応じて、強調するパターンが変更されて表示される。ここで、図１５に示すように、撮影日時が「２０ＸＸ．０１．３０ １１：５０」に対応する「動作差分割合」は、３５％であり、撮影日時が「２０ＸＸ．０１．３０ １２：１０」に対応する「動作差分割合」は、２０％である。このため、図１６に示すように、撮影日時が「２０ＸＸ．０１．３０ １１：５０」に対応したサムネイル表示画像４４０の方が、撮影日時が「２０ＸＸ．０１．３０ １２：１０」に対応したサムネイル表示画像４４０より強調されたパターンで、画像表示領域に４００表示される。
【０１１１】
以上説明したように、変形例のヘッドマウントディスプレイ２００のメイン処理では、カメラ画像テーブル１７００に設けられた「変化差分割合」、及び「動作差分割合」に記憶された差分の割合に応じて、サムネイル表示画像４４０の表示形態を変更する。これにより、ヘッドマウントディスプレイ２００を装着した使用者３は、異常のあるサムネイル表示画像４４０が撮影された場所の混雑状況を、より詳しく把握することができる。
【０１１２】
また、上述した実施の形態では、ヘッドマウントディスプレイ２００と定点カメラ３００との距離が所定距離以内であれば、ヘッドマウントディスプレイ２００は定点カメラ３００からカメラ情報を受信するが、これに限定しない。例えば、ヘッドマウントディスプレイ２００に定点カメラ３００を選択する定点カメラ選択手段を設けて、定点カメラ選択手段により選択された定点カメラ３００からのみ、カメラ情報を受信してもよい。
【図面の簡単な説明】
【０１１３】
【図１】定点カメラ３００及びヘッドマウントディスプレイ２００の接続形態の一具体例を示す図である。
【図２】ヘッドマウントディスプレイ２００の外観構成を示した図である。
【図３】ヘッドマウントディスプレイ２００の電気的構成を示すブロック図である。
【図４】表示部４０において映像光４が形成される過程を説明した模式図である。
【図５】ヘッドマウントディスプレイ２００のフラッシュメモリ４９の構成を示す模式図である。
【図６】カメラ画像テーブル１５００の構成を示す模式図である。
【図７】平均画像テーブル１６００の構成を示す模式図である。
【図８】ヘッドマウントディスプレイ２００で実行されるメイン処理のフローチャートである。
【図９】カメラ画像の単独表示の一具体例を示す図である。
【図１０】カメラ画像のサムネイル表示の一具体例を示す図である。
【図１１】カメラ画像に動きがある時のサムネイル表示の一具体例を示す図である。
【図１２】カメラ画像に変化がある時のサムネイル表示の一具体例を示す図である。
【図１３】ヘッドマウントディスプレイ２００で実行される平均化処理のサブルーチンのフローチャートである。
【図１４】ヘッドマウントディスプレイ２００で実行される表示切替処理のサブルーチンのフローチャートである。
【図１５】変形例のカメラ画像テーブル１７００の構成を示す模式図である。
【図１６】変形例のサムネイル表示の一具体例を示す図である。
【符号の説明】
【０１１４】
１ ネットワーク
３ 使用者
４ 映像光
５ 外光
４１ 入力部
４８ ＲＡＭ
４９ フラッシュメモリ
５０ 操作ボタン群
６１ ＣＰＵ
６２ ＲＯＭ
２００ ヘッドマウントディスプレイ
２１０ 頭部装着部
３００ 定点カメラ
４００ 画像表示領域
４１０ 単独表示画像
４４０ サムネイル表示画像
１５００，１７００ カメラ画像テーブル
１６００ 平均画像テーブル
【技術分野】
【０００１】
本発明は、ヘッドマウントディスプレイに関するものであり、詳細には、外部のカメラが撮影している対象物の通常とは異なる変化を分かりやすく表示することができるヘッドマウントディスプレイに関するものである。
【背景技術】
【０００２】
従来、走行道路撮影用の撮影装置で撮影された画像を表示するカーナビゲーション装置が知られている（例えば、特許文献１参照）。この特許文献１に記載のカーナビゲーション装置によると、目的地まで経路探索された走行経路を用いて、複数存在する走行道路撮影用の撮影装置の中からユーザが選択する可能性が高い撮影装置を自動的に選択する。そして、選択された撮影装置からの画像が、カーナビゲーション装置に表示される。
【０００３】
また、複数個の定点カメラが道路に沿って設置され、道路の交通状況を撮影し、端末装置に画像情報を送信する情報通信システムが知られている（例えば、特許文献２参照）。この特許文献２に記載の情報通信システムによると、画像情報提供部が、複数個の定点カメラのそれぞれで撮影された道路の交通状況の画像を収集する。収集した画像情報を、定点カメラの識別情報と、定点カメラの設置位置の情報とに対応させて蓄積して管理すると共に、利用者に、提供可能な定点カメラの候補の情報を提供する。そして、利用者の端末装置の画面上に定点カメラの候補のリストが表示される。利用者は、定点カメラの候補のリストから定点カメラを選択することにより、所望の位置の定点カメラで撮影された撮影画像である道路交通情報を得ることができる。
【特許文献１】特開平１１−１６００９０号公報
【特許文献２】特開２００１−１５５２８９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載の発明のカーナビゲーション装置では、複数画像を表示した際に、時間的に変化する混雑度合がユーザに対して分かりづらい、実像と画像とを見比べる必要があるという問題点があった。
【０００５】
また、特許文献２に記載の発明の情報通信システムでは、複数の定点カメラの情報のリストを表示するだけなので、個々の定点カメラの画像が視覚的に分かりづらいという問題点があった。利用者は、普段とは違う映像を見て、その興味に応じて行動を起こしたいと思っている。例えば、普段と異なり人だかりがある場所があればその場所に居合わせたいのであり、普段とは異なり並んでいる人が多ければ、その場所を避ける。しかし、実際には全ての定点カメラの画像をいつも順に表示させていくしかなく、見たい映像にたどり着くまで多大な時間がかかってしまう。また、時間を節約して適当に表示させても見たい映像を見逃してしまうことが多かった。
【０００６】
本発明は、上述した問題を解決するためになされたものであり、外部のカメラが撮影している対象物の通常とは異なる変化を分かりやすく表示することができるヘッドマウントディスプレイを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、請求項１に係る発明のヘッドマウントディスプレイは、使用者の頭部に装着する頭部装着部と、前記使用者の眼に表示画像の映像光を光学的に導いて視認させる画像表示部とを有するヘッドマウントディスプレイにおいて、外部の異なる位置に設けられた、所定距離以内の定点カメラにより撮影された画像データと、前記定点カメラを識別する識別情報と、前記画像データが撮影された日時とが対応づけられたデータを、前記定点カメラから受信データとして受信するデータ受信手段と、前記データ受信手段により受信した前記受信データの前記画像データを前記画像表示部に表示させる表示制御手段と、前記受信データを記憶するデータ記憶手段と、前記データ受信手段により受信した前記受信データを前記データ記憶手段に記憶させる第一データ記憶制御手段と、前記データ記憶手段に記憶された前記受信データの内で、前記識別情報、及び前記画像データが撮影された時刻が同一である複数の前記受信データ中の各画像データの対応する各画素データを平均化して平均画像データを求める画像データ平均化手段と、前記データ受信手段により受信した前記受信データ中の前記画像データの各画素と、前記平均画像データの対応する各画素との間で差分がある割合である第一割合が、第一所定値以上か否かを判断する第一差分判断手段と、前記第一差分判断手段により前記第一割合が前記第一所定値以上と判断された場合、前記画像表示部に表示されている前記画像データの内で、前記第一割合が前記第一所定値以上である前記画像データの表示を所定の形態へ変更する第一表示変更手段とを備えている。
【０００８】
また、請求項２に係る発明のヘッドマウントディスプレイは、請求項１に記載の発明の構成に加え、前記第一表示変更手段は、前記第一差分判断手段により前記第一割合が第一所定値以上と判断された場合、前記画像表示部に表示されている前記画像データの内で、前記第一割合が前記第一所定値以上である前記画像データの表示の形態を、前記第一割合に応じて変更することを特徴とする。
【０００９】
また、請求項３に係る発明のヘッドマウントディスプレイは、請求項１又は２に記載の発明の構成に加え、前記データ受信手段は、前記定点カメラから前記受信データを所定時間間隔で受信し、前記データ受信手段により受信した前記受信データ中の前記画像データの各画素と、前記所定時間前に受信した前記画像データの対応する各画素との間で差分がある割合である第二割合が、第二所定値以上か否かを判断する第二差分判断手段を備え、前記第二差分判断手段により前記第二割合が前記第二所定値以上と判断された場合、前記画像表示部に表示されている前記画像データの内で、前記第二割合が前記第二所定値以上である前記画像データの表示を所定の形態へ変更する第二表示変更手段とを備えている。
【００１０】
また、請求項４に係る発明のヘッドマウントディスプレイは、請求項１乃至３のいずれかに記載の発明の構成に加え、前記平均画像データと、前記識別情報と、平均化に使用した前記画像データの個数とを対応づけて、平均画像情報として前記データ記憶手段に記憶させる第二データ記憶制御手段を備え、前記第一差分判断手段は、前記データ受信手段により受信した前記受信データ中の前記画像データの各画素と、前記平均画像情報の前記平均画像データの対応する各画素との間で差分がある割合が、前記第一所定値以上か否かを判断し、前記画像データ平均化手段は、前記データ記憶手段に記憶された前記平均画像情報と、前記データ受信手段により受信した前記受信データとに基づいて、対応する各画素データを平均化して前記平均画像データを求めることを特徴とする。
【発明の効果】
【００１１】
請求項１に係る発明のヘッドマウントディスプレイでは、所定距離以内に設けられた定点カメラから、撮影された画像データと、定点カメラを識別する識別情報と、画像データが撮影された日時とが対応づけられたデータを受信データとして受信するデータ受信手段を備えており、受信データはデータ記憶手段に記憶される。データ記憶手段に記憶されている受信データの内で、識別情報、及び画像データが撮影された日時が同一である受信データの対応する各画素データが平均化されて平均画像データとして算出される。そして、定点カメラから受信した受信データ中の画像データの各画素データと、平均画像データの各画素データとの間で差分がある割合である第一割合が、第一所定値以上である画像データを取得する。取得された画像データは、第一表示変更手段により表示形態が変更されて画像表示部に表示される。これにより、ヘッドマウントディスプレイを装着した使用者は、定点カメラが設けられている場所の画像を、ヘッドマウントディスプレイを介して認識できる。また、表示された画像の内で、平均化された通常の状況の画像との間で、変化がある画像に対して、表示形態が自動的に変更されるため、使用者は表示形態が変更された画像に注目することでできる。そして、変化のある画像が撮影された場所の混雑状況を把握することができる。
【００１２】
また、請求項２に係る発明のヘッドマウントディスプレイでは、請求項１に記載の発明の効果に加え、第一表示変更手段により、第一差分判断手段により第一割合が第一所定値以上と判断された場合、第一割合が第一所定値以上である画像データの表示の形態を、第一割合に応じて変更する。これにより、ヘッドマウントディスプレイを装着した使用者は、平均化された通常の状況の画像との間で、変化のある画像が撮影された場所の混雑状況を、より詳しく把握することができる。
【００１３】
また、請求項３に係る発明のヘッドマウントディスプレイでは、請求項１又は２に記載の発明の効果に加え、データ受信手段は、定点カメラから受信データを所定時間間隔で受信する。そして、定点カメラから受信した画像データの各画素データと、所定時間前に受信した画像データの各画素データとの間で差分がある割合である第二割合が、第二所定値以上である画像データを取得する。取得された画像データは、第二表示変更手段により表示形態が変更されて画像表示部に表示される。これにより、表示された画像の内で、所定時間前の画像との間で、変化がある画像に対して、表示形態が自動的に変更されるため、ヘッドマウントディスプレイを装着した使用者は、所定時間前に撮影された画像と異なった画像を把握することができる。その結果、所定時間内に混み具合や人の入れ替わりが変化した時刻を確認することができる。
【００１４】
また、請求項４に係る発明のヘッドマウントディスプレイでは、請求項１乃至３のいずれかに記載の発明の効果に加え、第二データ記憶制御手段により、平均画像データと、識別情報と、平均化に使用した画像データとの個数とが対応づけられた平均画像情報が、データ記憶手段に記憶される。そして、画像データ平均化手段は、データ記憶手段に記憶された平均画像情報と、データ受信手段により受信した受信データとに基づいて、対応する各画素データを平均化して平均画像データを求める。これにより、平均画像データを求める処理速度が速くなり、即座に画像データを画像表示部に表示させることができる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明のヘッドマウントディスプレイ２００の一実施の形態について、図面を参照して説明する。なお、これらの図面は、本発明が採用しうる技術的特徴を説明するために用いられるものであり、記載されている装置の構成、各種処理のフローチャートなどは、特に特定的な記載がない限り、それのみに限定する趣旨ではなく、単なる説明例である。
【００１６】
なお、本実施形態では、ヘッドマウントディスプレイとして、画像信号に応じた光束を２次元方向に走査し、その走査された光を眼に導き網膜上に表示画像を形成する網膜走査型ディスプレイを例に挙げて説明するが、これに限定しない。例えば、液晶ディスプレイ、有機ＥＬ（ＥｌｅｃｔｒｏＬｕｍｉｎｅｓｅｎｃｅ）ディスプレイ等、他の画像表示装置を備え、利用者が頭部に装着して画像を鑑賞するヘッドマウントディスプレイであってもよい。
【００１７】
まず、図１を参照して、接続形態について説明する。図１は、定点カメラ３００及びヘッドマウントディスプレイ２００の接続形態の一具体例を示す図である。図１に示すように、使用者３が装着したヘッドマウントディスプレイ２００には、ネットワーク１を介して定点カメラ３００が接続可能である。この定点カメラ３００は、街角に設置され、特定の建物の出入口等を所定時間毎に撮影し、建物の出入口での混雑状態を把握する際に使用される。ここで、所定時間は、建物の出入口での混雑状態を把握できればよく、例えば、一例として、１分とする。また、建物の出入口での混雑状態に限らず、道路を撮影し、交通渋滞等を把握するようにしてもよい。また、ヘッドマウントディスプレイ２００と、定点カメラ３００とは無線によりデータ通信が可能となっており、定点カメラ３００からヘッドマウントディスプレイ２００へ、定点カメラ３００で撮影された画像（以下、「カメラ画像」という。）等が送信される。
【００１８】
次に、図２を参照し、ヘッドマウントディスプレイ２００の概略構成について説明する。図２は、ヘッドマウントディスプレイ２００の外観構成を示した図である。
【００１９】
図２に示すように、ヘッドマウントディスプレイ２００は、画像信号に応じて変調されたレーザ光（以下「映像光４」という。）を走査させて出射させ、使用者３の少なくとも一方の眼の網膜に画像を直接投影する。これにより、使用者３に画像を視認させる。ヘッドマウントディスプレイ２００は、画像信号に応じて映像光４を出射する出射装置１００と、その出射装置１００から出射された映像光４を導くと共に、その映像光４を使用者３の眼に向かって反射させるプリズム１５０と、出射装置１００及びプリズム１５０を支持する頭部装着部２１０とを少なくとも備えている。
【００２０】
出射装置１００は、映像光４をプリズム１５０に対し出射する。プリズム１５０は、出射装置１００に対して固定的な位置にあり、その出射装置１００から出射された映像光４を導き、その映像光４を使用者３の眼に向かって反射させる。プリズム１５０は、図示しないビームスプリッタ部を備えており、外界からの外光５を透過させ、使用者３の眼に導く。プリズム１５０は、使用者３の側方から入射された映像光４を使用者３の眼に入射させると共に、外界からの外光５を使用者３の眼に入射させる。これにより、実際の視界はもちろん、出射装置１００から出射された映像光４に基づく画像が視認可能となる。
【００２１】
なお本実施形態においては、プリズム１５０によって外光５と映像光４とを同時に視認することができるような構成とした。しかしながら本発明はこの構成に限定されず、例えば、プリズム１５０に代えてハーフミラーを用いることもできる。これにより、出射装置１００からの映像光４はハーフミラーに反射させて使用者３の眼に入射させると共に、外光５はハーフミラーを透過させて使用者３の眼に入射させることが可能となる。
【００２２】
また本実施形態においては、ヘッドマウントディスプレイとして、網膜走査を用いたシースルーのヘッドマウントディスプレイを例に挙げて説明したが、本発明はこの例に限定されず、例えば、反射型ＬＣＤを利用したヘッドマウントディスプレイであってもよい。
【００２３】
次に、図３を参照し、ヘッドマウントディスプレイ２００の電気的構成について説明する。図３は、ヘッドマウントディスプレイ２００の電気的構成を示す模式図である。
【００２４】
図３に示すように、ヘッドマウントディスプレイ２００は、使用者３に画像を視認させる表示部４０、各種操作やデータの入力を行うための入力部４１、画像情報等の送受信を行う通信部４３、ヘッドマウントディスプレイ２００で使用する機能の各種設定値等を記憶するフラッシュメモリ４９、表示部４０に表示する画像（グラフィック）やテキストなどのイメージデータが記憶されるビデオＲＡＭ４４、表示部４０に表示するテキストのフォントデータが記憶されるフォントＲＯＭ４５、ヘッドマウントディスプレイ２００全体を制御する制御部４６、及び電源部４７を備えている。
【００２５】
表示部４０は、使用者３に視認させるための映像の情報（以下「映像情報」という。）を制御部４６より受信し、使用者３の網膜に直接投影させるために必要な各信号に変換する為の映像信号処理部７０、レーザ光を出力するレーザ群７２（青色出力レーザ（Ｂレーザ）７２１、緑色出力レーザ（Ｇレーザ）７２２、赤色出力レーザ（Ｒレーザ）７２３）、及び、レーザよりレーザ光を出力させるための制御を行うレーザドライバ群７１を備えている。そして、映像信号処理部７０の制御により、所望のレーザ光を所望のタイミングで出力させることが可能なように、映像信号処理部７０はレーザドライバ群７１と電気的に接続されている。またレーザドライバ群７１は、Ｂレーザ７２１、Ｇレーザ７２２、及びＲレーザ７２３と其々電気的に接続されている。また、映像信号処理部７０が制御部４６より映像信号を受信することが可能なように、映像信号処理部７０と制御部４６とはバスを介して電気的に接続されている。
【００２６】
また表示部４０は、レーザより出力されたレーザ光を垂直方向に反射させることによって走査を行う垂直走査ミラー８１２及び垂直走査ミラー８１２の駆動制御を行う垂直走査制御回路８１１、レーザより出力されたレーザ光を水平方向に反射させることによって走査を行う水平走査ミラー７９２及び水平走査ミラー７９２の駆動制御を行う水平走査制御回路７９１を備えている。そして、映像信号処理部７０の制御により、所望の方向にレーザ光を反射させることが可能なように、映像信号処理部７０と垂直走査制御回路８１１及び水平走査制御回路７９１とは其々電気的に接続されている。また、垂直走査制御回路８１１は垂直走査ミラー８１２と電気的に接続されている。また、水平走査制御回路７９１は水平走査ミラー７９２と電気的に接続されている。
【００２７】
入力部４１は、各種機能キーなどからなる操作ボタン群５０、操作ボタン群５０のキーが操作されたことを検出し、制御部４６に通知する入力制御回路５１を備えている。そして、操作ボタン群５０のキーに入力された情報を制御部４６（後述）にて認識することが可能なように、操作ボタン群５０は入力制御回路５１と電気的に接続されている。また入力制御回路５１は制御部４６と電気的に接続されている。
【００２８】
通信部４３は、無線電波を使用し、画像信号等の受信を行う通信モジュール５７と、この通信モジュール５７を制御する通信制御回路５８とを備えている。そして、制御部４６にて画像信号を取得することが可能なように、制御部４６と通信制御回路５８とはバスを介して電気的に接続されている。また、通信モジュール５７は通信制御回路５８と電気的に接続されている。
【００２９】
なお、通信モジュール５７の通信方式としては特に限定されず、従来周知の無線通信方式が使用可能である。例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅ Ｂａｎｄ）規格、無線ＬＡＮ（ＩＥＥＥ８０２．１１ｂ，１１ｇ，１１ｎなど）規格、ＷｉｒｅｌｅｓｓＵＳＢ規格などに準拠した無線通信方式が使用可能である。また、赤外線を利用したＩｒＤＡ（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ）規格に準拠した無線通信方式も使用可能である。
【００３０】
電源部４７は、ヘッドマウントディスプレイ２００を駆動させるための電源となる充電式の電池５９、及び、電池５９の電力をヘッドマウントディスプレイ２００に供給すると共に、充電用アダプタ（図示せず）から供給される電力を電池５９へ供給して電池５９の充電を行う充電制御回路６０を備えている。
【００３１】
フラッシュメモリ４９、ビデオＲＡＭ４４、及びフォントＲＯＭ４５は、制御部４６より各記憶領域に記憶された情報を参照することが可能なように、それぞれがバスを介して制御部４６と電気的に接続されている。
【００３２】
制御部４６は、ヘッドマウントディスプレイ２００全体を制御する機能を有しており、例えば、所望の情報を表示部４０に表示させたり、使用者３による入力部４１の操作に応じて所定の動作を行ったりする。
【００３３】
制御部４６は、ＣＰＵ６１、各種プログラムを格納したＲＯＭ６２、各種データが一時的に記憶されるＲＡＭ４８などから構成されている。制御部４６では、ＣＰＵ６１がＲＯＭ６２に格納された各種プログラムを読み出すことにより、各処理が実行される。ＲＡＭ４８は、ＣＰＵ６１が各処理を実行する場合に必要な各種フラグやデータの記憶領域を提供する。
【００３４】
表示部４０にて映像光４が形成される過程の概要について、図４を参照して詳説する。図４は、表示部４０において映像光４が形成される過程を説明した模式図である。表示部４０は、図４に示すように、光源ユニット部６５、コリメート光学系７７、水平走査系７９、第一リレー光学系８０、垂直走査系８１、第二リレー光学系８２を備えている。光源ユニット部６５は、映像信号処理部７０、レーザドライバ群７１、レーザ群７２、コリメート光学系７３、ダイクロイックミラー群７４、及び結合光学系７５を備えている。水平走査系７９は、水平走査制御回路７９１及び水平走査ミラー７９２を備えている。垂直走査系８１は、垂直走査制御回路８１１及び垂直走査ミラー８１２を備えている。
【００３５】
光源ユニット部６５の構成について図３、及び図４を参照して詳説する。映像信号処理部７０は、既述のように、制御部４６と電気的に接続されている。そして、制御部４６を介して所望の情報を網膜に投影させるためにビデオＲＡＭ４４に展開された映像情報が入力される。映像信号処理部７０には、輝度信号６６（Ｂ輝度信号６６１、Ｇ輝度信号６６２、Ｒ輝度信号６６３）、垂直同期信号６７及び水平同期信号６８、奥行き信号８４が其々入力される。映像信号処理部７０では、入力された映像情報を網膜に投影させるための要素となる各信号（輝度信号、水平同期信号、垂直同期信号）が生成される。生成された各信号は、輝度信号６６、水平同期信号６８、及び垂直同期信号６７に対して画素毎に出力される。
【００３６】
輝度信号６６（Ｂ輝度信号６６１、Ｇ輝度信号６６２、Ｒ輝度信号６６３）は、レーザドライバ群７１（Ｂレーザドライバ７１１、Ｇレーザドライバ７１２、Ｒレーザドライバ７１３）に其々入力される。水平同期信号６８は、水平走査系７９の水平走査制御回路７９１に入力される。垂直同期信号６７は、垂直走査系８１の垂直走査制御回路８１１に入力される。
【００３７】
レーザドライバ群７１は、レーザ群７２（Ｂレーザ７２１、Ｇレーザ７２２、Ｒレーザ７２３）に其々電気的に接続されている。レーザドライバ群７１は、輝度信号６６（Ｂ輝度信号６６１、Ｇ輝度信号６６２、Ｒ輝度信号６６３）を介して伝達された各信号の各輝度信号に基づいて、強度変調されたレーザ光をレーザ群７２より出射させるために、レーザ群７２を駆動する。
【００３８】
レーザドライバ群７１の制御に基づきレーザ群７２より出射された３色（青色、緑色、赤色）のレーザ光を平行光にコリメートさせることが可能なコリメート光学系７３（７３１〜７３３）、コリメート光学系７３にてコリメートされたレーザ光を合波させることが可能なダイクロイックミラー群７４（７４１〜７４３）、合波されたレーザ光を光ファイバ７６に導くための結合光学系７５が其々設けられている。
【００３９】
尚、レーザ群７２（Ｂレーザ７２１、Ｇレーザ７２２、Ｒレーザ７２３）として、レーザダイオード等の半導体レーザや固体レーザを利用してもよい。
【００４０】
表示部４０のうち光源ユニット部６５を除く部分の構成について詳説する。光源ユニット部６５より光ファイバ７６に対して導かれたレーザ光を水平方向に走査させるための水平走査ミラー７９２が水平走査系７９に設けられている。水平走査ミラー７９２の偏向面７９３に入射されたレーザ光は、水平走査制御回路７９１の制御により、映像信号処理部７０より受信される水平同期信号６８に同期して水平方向に走査される。本実施の形態の水平走査系７９は、表示すべき画像の１走査線毎に、レーザ光を水平方向に水平走査（１次走査の一例）させるための光学系である。
【００４１】
水平走査されたレーザ光を垂直走査系８１に導くための第一リレー光学系８０が表示部４０に設けられている。また、第一リレー光学系８０により導かれたレーザ光を垂直方向に走査させるための垂直走査ミラー８１２が垂直走査系８１に設けられている。垂直走査ミラー８１２の偏向面８１３に入射されたレーザ光は、垂直走査制御回路８１１の制御により、映像信号処理部７０より受信される垂直同期信号６７に同期して垂直方向に走査される。本実施の形態の垂直走査系８１は、表示すべき画像の１フレーム毎に、レーザ光を最初の走査線から最後の走査線に向かって垂直に垂直走査（２次走査の一例）する光学系である。
【００４２】
垂直走査されたレーザ光（映像光４（図２参照））をプリズム１５０に導くための第二リレー光学系８２が表示部４０に設けられている。第二リレー光学系８２にて導かれた映像光４は、プリズム１５０に入射される。プリズム１５０は、第二リレー光学系８２と使用者３の瞳孔９０との間に配置される。プリズム１５０は、映像光４を全反射させるなどして、使用者３の瞳孔９０に導く。
【００４３】
上述の表示部４０では、水平走査系７９は、垂直走査系８１より高速にすなわち高周波数でレーザ光を走査するように設計される。また、第一リレー光学系８０は、水平走査系７９の水平走査ミラー７９２と、垂直走査系８１の垂直走査ミラー８１２とが共役となるように構成されている。第二リレー光学系８２は、垂直走査ミラー８１２と、使用者３の瞳孔９０とが共役となるように構成されている。
【００４４】
本発明の一実施形態のヘッドマウントディスプレイ２００が、外部からの映像信号を受けてから、使用者３の網膜上に映像を投影するまでの過程について、図４を参照して説明する。
【００４５】
本実施形態のヘッドマウントディスプレイ２００では、光源ユニット部６５に設けられた映像信号処理部７０が映像信号を受信する。次いで映像信号処理部７０より、青、緑、赤の各色のレーザ光を出力させるためのＢ輝度信号６６１、Ｇ輝度信号６６２、Ｒ輝度信号６６３からなる輝度信号６６と、水平同期信号６８と、垂直同期信号６７とが出力される。
【００４６】
Ｂレーザドライバ７１１、Ｇレーザドライバ７１２、Ｒレーザドライバ７１３は、各々入力されたＢ輝度信号６６１、Ｇ輝度信号６６２、Ｒ輝度信号６６３に基づき、Ｂレーザ７２１、Ｇレーザ７２２、Ｒレーザ７２３に対してそれぞれの駆動信号を出力する。
【００４７】
上述の駆動信号に基づいて、Ｂレーザ７２１、Ｇレーザ７２２、Ｒレーザ７２３は、それぞれ強度変調されたレーザ光を発生させる。発生されたレーザ光は、コリメート光学系７３に出力される。レーザ光は、コリメート光学系７３によってそれぞれが平行光にコリメートされ、更に、ダイクロイックミラー群７４に入射されて１つのレーザ光となるよう合成される。合成されたレーザ光は、結合光学系７５によって光ファイバ７６に入射されるよう導かれる。
【００４８】
光ファイバ７６を伝達したレーザ光は、光ファイバ７６からコリメート光学系７７を介して水平走査系７９に出射される。
【００４９】
水平走査系７９に入射されたレーザ光は、水平走査ミラー７９２の偏向面７９３にて、水平同期信号６８に同期して水平方向に走査される。水平走査ミラー７９２は、水平同期信号６８に同期して、その偏向面７９３が入射光を水平方向に反射するように往復振動をしている。この水平走査ミラー７９２によってレーザ光は水平方向に走査される。水平走査されたレーザ光は、第一リレー光学系８０を介し、垂直走査系８１に出射される。
【００５０】
第一リレー光学系８０では、水平走査ミラー７９２の偏向面７９３と垂直走査ミラー８１２の偏向面８１３とが共役の関係となるように調整され、また、水平走査ミラー７９２の面倒れが補正される。
【００５１】
垂直走査系８１に入射されたレーザ光は、垂直走査ミラー８１２の偏向面８１３にて、垂直同期信号６７に同期して垂直方向に走査される。垂直走査ミラー８１２は、水平走査ミラー７９２が水平同期信号６８に同期することと同様に垂直同期信号６７に同期して、その偏向面８１３が入射光を垂直方向に反射するように往復振動をしている。この垂直走査ミラー８１２によってレーザ光は垂直方向に走査される。
【００５２】
水平走査系７９及び垂直走査系８１によって垂直方向及び水平方向に２次元に走査されたレーザ光（映像光４）は、垂直走査ミラー８１２の偏向面８１３と、ユーザの瞳孔９０とが共役の関係となるように設けられた第二リレー光学系８２、プリズム１５０によりユーザの瞳孔９０へ入射され、網膜上に投影される。
【００５３】
以上説明した過程を経ることにより、使用者３は、２次元走査されて網膜上に投影されたレーザ光による画像を認識することが可能となる。なお、水平走査系７９の水平走査ミラー７９２と、垂直走査系８１の垂直走査ミラー８１２とは、名称を同じように説明したが、光を走査するように其の反射面が揺動（回転）させられるものであれば、共振タイプ、非共振タイプ等、圧電駆動、電磁駆動、静電駆動等いずれの駆動方式によるものであってもよいことは言うまでもない。
【００５４】
以上のように構成されたヘッドマウントディスプレイ２００のフラッシュメモリ４９の記憶エリアについて、図５を参照して説明する。図５は、ヘッドマウントディスプレイ２００のフラッシュメモリ４９の構成を示す模式図である。
【００５５】
図５に示すように、フラッシュメモリ４９には、カメラ画像テーブル記憶エリア１４０１、カメラ画像記憶エリア１４０２、平均画像テーブル記憶エリア１４０３、及び平均画像記憶エリア１４０４が設けられている。このカメラ画像テーブル記憶エリア１４０１には、カメラ画像テーブル１５００（図６参照）が記憶される。また、カメラ画像記憶エリア１４０２には、定点カメラ３００で撮影され、定点カメラ３００から送信されたカメラ画像が記憶される。また、平均画像テーブル記憶エリア１４０３には、平均画像テーブル１６００（図７参照）が記憶される。また、平均画像記憶エリア１４０４には、平均化されたカメラ画像（以下、「平均画像」という。）が記憶される。ここで、平均化とは、複数のカメラ画像において、各カメラ画像に対応する各画素の画素値の平均値を算出することである。
【００５６】
次に、図６を参照して、フラッシュメモリ４９のカメラ画像テーブル記憶エリア１４０１に記憶されるカメラ画像テーブル１５００について説明する。図６は、カメラ画像テーブル１５００の構成を示す模式図である。このカメラ画像テーブル１５００は、街角に設置されている定点カメラ３００から送信される、定点カメラ３００を識別するＩＤ（以下、「カメラＩＤ」という。）毎に作成されるテーブルである。そして、カメラ画像テーブル１５００は、「撮影日時」、「ファイル名」、「変化フラグ」、及び「動作フラグ」を備えており、各々が対応づけられて記憶される。
【００５７】
「撮影日時」欄には、定点カメラ３００で撮影されたカメラ画像の撮影日時が記憶され、「ファイル名」欄には、定点カメラ３００で撮影されたカメラ画像のファイル名が記憶される。なお、「ファイル名」欄には、カメラ画像テーブル１５００内で重複しないユニークなファイル名が記憶される。一例として、「ファイル名」欄には、カメラＩＤ、カメラ画像が撮影された年月日、及び撮影された時刻に対応したファイル名が記憶される。カメラＩＤが「Ａ」、撮影された年月日が「２０ＸＸ年０１月１３日」、撮影された時刻が、「１１時５０分」であれば、ファイル名は、「Ａ＿２０ＸＸ０１１３＿１１５０．ｊｐｇ」となる。
【００５８】
「変化フラグ」欄には、「１」又は「０」の値が記憶される。「変化フラグ」は、平均画像と、受信したカメラ画像とにおいて、対応する各画素で差分がある割合（以下、「第一割合」という。）が、所定の割合である第一所定値より小さい場合「０」となる。また、第一割合が、第一所定値以上の場合、「１」となる。初期値としての「変化フラグ」の値は、「０」である。なお、本実施の形態では、一例として、第一所定値は２０％とする。
【００５９】
「動作フラグ」欄には、「１」又は「０」の値が記憶される。「動作フラグ」は、直前の時刻に撮影されたカメラ画像と、受信したカメラ画像とにおいて、対応する各画素で差分がある割合（以下、「第二割合」という。）が、所定の割合である第二所定値より小さい場合「０」となる。また、第二割合が、第二所定値以上の場合、「１」となる。初期値としての「動作フラグ」の値は、「０」である。なお、本実施の形態では、一例として、第二所定値は２０％とする。
【００６０】
次に、図７を参照して、フラッシュメモリ４９の平均画像テーブル記憶エリア１４０３に記憶される平均画像テーブル１６００について説明する。図６は、平均画像テーブル１６００の構成を示す模式図である。この平均画像テーブル１６００は、定点カメラ３００から送信されるカメラＩＤ毎に作成されるテーブルである。そして、平均画像テーブル１６００は、「時間帯」、「ファイル名」、「平均化した画像数」、及び「平均化日数」を備えており、それぞれが対応づけられて記憶さている。
【００６１】
「時間帯」欄には、カメラ画像の撮影された時間帯が、３０分毎の範囲で設けられている。また、「ファイル名」欄には、それぞれの「時間帯」欄での平均画像のファイル名が記憶される。なお、「ファイル名」欄には、それぞれの「時間帯」欄で重複しないユニークなファイル名が記憶される。一例として、「ファイル名」には、カメラＩＤ、カメラ画像が撮影された時間帯に対応したファイル名が記憶される。カメラＩＤが「ａ」、時間帯が「１４：００〜１４：２９」であれば、ファイル名は、「ａ＿１４００＿１４２９．ｊｐｇ」となる。また、「平均化した画像数」欄には、それぞれの「時間帯」欄で平均化に使用されたカメラ画像の数が記憶される。また、「平均化日数」欄には、平均化に使用したカメラ画像が撮影された日数が記憶される。
【００６２】
次に、図８〜図１４を参照して、ヘッドマウントディスプレイ２００で実行される各処理について説明する。図８は、ヘッドマウントディスプレイ２００で実行されるメイン処理のフローチャートである。図９は、カメラ画像の単独表示の一具体例を示す図である。図１０は、カメラ画像のサムネイル表示の一具体例を示す図である。図１１は、カメラ画像に動きがある時のサムネイル表示の一具体例を示す図である。図１２は、カメラ画像に変化がある時のサムネイル表示の一具体例を示す図である。図１３は、ヘッドマウントディスプレイ２００で実行される平均化処理のサブルーチンのフローチャートである。図１４は、ヘッドマウントディスプレイ２００で実行される表示切替処理のサブルーチンのフローチャートである。なお、メイン処理は、ヘッドマウントディスプレイ２００の電源起動時に実行される処理である。また、ヘッドマウントディスプレイ２００の電源がＯＦＦになった際には、自動的に終了するものとする。また、ヘッドマウントディスプレイ２００で実行される他の処理については、他のプロセスで実行されるものとする。他の処理についての説明は省略する。
【００６３】
はじめに、図８を参照して、ヘッドマウントディスプレイ２００で実行されるメイン処理について説明する。メイン処理が実行されると、初期設定が行われる（Ｓ１０）。この初期設定は、ＲＡＭ４８に記憶される各種変数を初期化する処理等である。次いで、定点カメラ３００から、カメラ画像、カメラＩＤ、及びカメラ画像が撮影された撮影日時（以下、これらを称して「カメラ情報」という。）を受信したか否かの判断が行われる（Ｓ１１）。図１で示した通り、ヘッドマウントディスプレイ２００と定点カメラ３００との通信は、ネットワーク１を介しているので、ヘッドマウントディスプレイ２００がネットワーク１のアクセスポイントと通信を行い、アクセスポイントからは、アクセスポイントからの距離が所定範囲内の定点カメラ３００の情報が選択されヘッドマウントディスプレイ２００に送られる。
【００６４】
ヘッドマウントディスプレイ２００が定点カメラ３００から、カメラ情報を受信していないと判断された場合（Ｓ１１：ＮＯ）、平均化処理が行われる（Ｓ２７）。この平均化処理についての詳細は後述する。次いで、表示切替処理が行われ（Ｓ２８）、Ｓ１１へ移行する。この表示切替処理についての詳細は後述する。
【００６５】
所定距離以内の定点カメラ３００からカメラ情報が送信され、カメラ情報を受信したと判断された場合（Ｓ１１：ＹＥＳ）、受信したカメラ情報が初めての定点カメラ３００から受信したカメラ情報であるか否かが判断される（Ｓ１２）。この判断処理は、受信したカメラ情報のカメラＩＤに対応したカメラ画像テーブル１５００が、カメラ画像テーブル記憶エリア１４０１に存在するか否かで判断される。初めての定点カメラ３００から受信したカメラ情報であると判断された場合（Ｓ１２：ＹＥＳ）、つまり、カメラ画像テーブル記憶エリア１４０１に、受信したカメラ情報のカメラＩＤに対応したカメラ画像テーブル１５００が存在しない場合、図９に示すように、画像表示領域４００において、受信したカメラ画像が単独に表示（以下、「単独表示」という。）された単独表示画像４１０として表示される（Ｓ２５）。ここで、画像表示領域４００は、使用者３がヘッドマウントディスプレイ２００を装着した際に、使用者３がカメラ画像を認識できる領域である。なお、単独表示画像４１０には、カメラ情報の撮影日時が表示される。
【００６６】
次いで、フラッシュメモリ４９のカメラ画像テーブル記憶エリア１４０１に、カメラ画像テーブル１５００が新しく作成される（Ｓ２６）。ここで、作成されるカメラ画像テーブル１５００は、受信したカメラ情報のカメラＩＤに対応したテーブルである。また、「撮影日時」には、カメラ情報の撮影日時が記憶され、「ファイル名」には、ユニークなファイル名が設定される。また、受信したカメラ画像は、「ファイル名」に記憶されたファイル名で、カメラ画像記憶エリア１４０２に記憶される。また、「変化フラグ」、及び「動作フラグ」には、初期値として「０」が記憶される。そして、Ｓ１１へ移行する。
【００６７】
初めての定点カメラ３００から受信したカメラ情報でないと判断された場合（Ｓ１２：ＮＯ）、つまり、既にカメラ画像テーブル記憶エリア１４０１に、受信したカメラ情報のカメラＩＤに対応したカメラ画像テーブル１５００が存在する場合、カメラ画像テーブル１５００に受信したカメラ情報が追加される（Ｓ１３）。このカメラ画像テーブル１５００は、受信したカメラ情報のカメラＩＤに対応したテーブルである。カメラ画像テーブル１５００の「撮影日時」には、カメラ情報の撮影日時が記憶され、「ファイル名」には、受信したカメラ画像のファイル名が記憶される。また、「変化フラグ」、及び「動作フラグ」には、初期値である「０」が記憶される。そして、受信したカメラ画像が、カメラ画像記憶エリア１４０２に記憶される。
【００６８】
次いで、図１０に示すように、画像表示領域４００において、サムネイル表示がされる（Ｓ１４）。このサムネイル表示は、カメラ画像テーブル１５００に記憶されている全てのファイル名に対応するカメラ画像が、カメラ画像記憶エリア１４０２から取得され、取得されたカメラ画像が画像表示領域４００にサムネイル表示画像４４０として、表示されている状態である。なお、本実施の形態では、画像表示領域４００の一画面に表示されるサムネイル表示画像４４０の個数として、最大６個まで表示することができる。また、サムネイル表示画像４４０が表示される際には、カメラ画像に対応する撮影日時がサムネイル表示画像４４０に合成され、表示される。
【００６９】
また、カメラ画像テーブル１５００に６個より多いファイル名が記憶されている際は、画像表示領域４００内の左側に前ページボタン４２０、右側に次ページボタン４３０が表示される。前ページボタン４２０は、サムネイル表示を前のページに戻す為のボタンであり、次ページボタン４３０は、サムネイル表示を次のページに進める為のボタンである。なお、この前ページボタン４２０、又は次ページボタン４３０は、操作ボタン群５０により操作が可能となっている。また、サムネイル表示において、カメラ画像は、撮影日時の順に並んでいるものとする。また、後述する変化フラグ、動作フラグが「１」のものから順に並べても良い。
【００７０】
サムネイル表示が行われると（Ｓ１４）、同一の定点カメラ３００から受信したカメラ画像の内で、直前のカメラ画像が存在するか否かの判断が行われる（Ｓ１５）。ここで、直前のカメラ画像とは、撮影された日時から所定時間前までに撮影されたカメラ画像のことであり、フラッシュメモリ４９のカメラ画像記憶エリア１４０２に記憶されている。同一のカメラＩＤに対応するカメラ画像テーブル１５００（図６参照）において、直前のカメラ画像に対応するファイル名が取得され、取得されたファイル名のカメラ画像が、カメラ画像記憶エリア１４０２に記憶されているか否かで判断される。ここで、本実施の形態では、一例として、所定時間は３０分とする。
【００７１】
同一の定点カメラ３００から受信したカメラ画像の内で、直前のカメラ画像が存在すると判断された場合（Ｓ１５：ＹＥＳ）、つまり、フラッシュメモリ４９のカメラ画像記憶エリア１４０２に、直前のカメラ画像が記憶されていると判断された場合、直前のカメラ画像と、受信したカメラ画像との差分が算出され（Ｓ１６）、差分があるか否かが判断される（Ｓ１７）。ここで、差分を算出する際には、直前のカメラ画像と、受信したカメラ画像との双方に対して、グレースケール化を行い、輪郭データを算出する。そして、算出された双方の輪郭データの対応する全ての画素に対して、差分を算出し、第二割合が算出される。この第二割合が、第二所定値以上であるか否かで、差分があるか否かが判断される。なお、上述したように、第二所定値は２０％である。従って、差分がある割合である第二割合が２０％以上あれば、差分があると判断される（Ｓ１７：ＹＥＳ）。
【００７２】
ここで、輪郭データを抽出する際は、周知の一次微分法を使用する。一次微分法の輪郭抽出では、各画素における濃度の勾配を求めることによって輪郭の強さと方向とを算出し、濃度値が急激に変化する部分を輪郭データとして抽出する。まず、ｘ方向の微分ｇｘと、ｙ方向の微分ｇｙとを、ｇｘ＝ｐ（ｘ＋１，ｙ）−ｐ（ｘ，ｙ），ｇｙ＝ｐ（ｘ，ｙ＋１）−ｐ（ｘ，ｙ）として求める。ただし、デジタル画像はデータが離散的であるので、隣接画素間の差分をとることで微分を近似する。ここでｐ（ｘ，ｙ）は、画素（ｘ，ｙ）における画素値である。次に、ｇｘ，ｇｙより輪郭の強さをＥ（ｘ，ｙ）＝｜ｇｘ｜＋｜ｇｙ｜として算出する。ここで、ベクトル（ｇｘ，ｇｙ）の方向は、輪郭の方向を示す。
【００７３】
差分があると判断された場合（Ｓ１７：ＹＥＳ）、つまり、直前のカメラ画像と、受信したカメラ画像との第二割合が第二所定値以上であると判断された場合、受信したカメラＩＤに対応するカメラ画像テーブル１５００において、受信したカメラ画像のファイル名に対応した「動作フラグ」の値が「１」となる（Ｓ１８）。
【００７４】
また、同一の定点カメラ３００から受信したカメラ画像の内で、直前のカメラ画像が存在しないと判断された場合（Ｓ１５：ＮＯ）、Ｓ１９へ移行する。また、直前のカメラ画像と、受信したカメラ画像との差分が算出され（Ｓ１６）、第二割合が、第二所定値より小さいと判断された場合（Ｓ１７：ＮＯ）、Ｓ１９へ移行する。
【００７５】
次いで、受信したカメラ情報の撮影日時の時刻が含まれる時間帯で、平均画像が存在するか否かが判断される（Ｓ１９）。受信したカメラＩＤに対応する平均画像テーブル１６００（図７参照）において、「時間帯」が、受信したカメラ情報の撮影日時の時刻と比較される。そして、平均画像テーブル１６００において、受信したカメラ情報の撮影日時の時刻が含まれた「時間帯」に対応した「ファイル名」が存在するか否かで判断される。ここで、例えば、図７において、受信したカメラ情報の撮影日時の時刻を含んだ「時間帯」が「０：００〜０：２９」の場合、「ファイル名」は存在しないため、平均画像が存在しないことを示す。また、受信したカメラ情報の撮影日時の時刻を含んだ「時間帯」が「１４：００〜１４：２９」の場合、「ファイル名」は、「ａ＿１４００＿１４２９．ｊｐｇ」であるため、平均画像が存在することを示す。なお、この平均画像は、フラッシュメモリ４９の平均画像記憶エリア１４０４に記憶されている。
【００７６】
受信したカメラ情報の撮影日時の時刻が含まれる時間帯で、平均画像が存在すると判断された場合（Ｓ１９：ＹＥＳ）、つまり、受信したカメラＩＤに対応する平均画像テーブル１６００（図７参照）において、カメラ情報の撮影日時の時刻が含まれた「時間帯」に対する「ファイル名」があり、平均画像がある場合、受信したカメラ画像と、平均画像との差分が算出される（Ｓ２０）。そして、差分があるか否かが判断される（Ｓ２１）。
【００７７】
ここで、上述したように、差分を算出する際には、平均画像と、受信したカメラ画像との双方に対して、グレースケール化を行い、輪郭データを算出する。そして、算出された双方の輪郭データの対応する全ての画素に対して、差分を算出し、第一割合が算出される。この第一割合が、第一所定値以上であるか否かで、差分があるか否かを判断する。なお、上述したように、第一所定値は２０％である。また、輪郭データを抽出する際は、上述したように、周知の一次微分法を使用する。従って、差分がある割合である第一割合が２０％以上あれば、差分があると判断される（Ｓ２１：ＹＥＳ）。
【００７８】
また、平均画像と、受信したカメラ画像とに差分があると判断された場合（Ｓ２１：ＹＥＳ）、つまり、平均画像と、受信したカメラ画像との第一割合が、第一所定値以上であると判断された場合、受信したカメラＩＤに対応するカメラ画像テーブル１５００において、受信したカメラ画像のファイル名に対応した「変化フラグ」の値が「１」となる（Ｓ２２）。
【００７９】
また、同一の定点カメラ３００から受信したカメラ画像の内で、直前のカメラ画像が存在しないと判断された場合（Ｓ１９：ＮＯ）、Ｓ２３へ移行する。また、受信したカメラ画像と、平均画像との差分が算出され（Ｓ２０）、第一割合が第一所定値より小さいと判断された場合（Ｓ２１：ＮＯ）、Ｓ２３へ移行する。
【００８０】
次いで、受信したカメラＩＤに対応するカメラ画像テーブル１５００において、受信したカメラ画像のファイル名に対応した「動作フラグ」、又は「変化フラグ」の値が「１」か否かが判断される（Ｓ２３）。
【００８１】
受信したカメラＩＤに対応するカメラ画像テーブル１５００において、受信したカメラ画像のファイル名に対応した「動作フラグ」、又は「変化フラグ」の値が「１」であると判断された場合（Ｓ２３：ＹＥＳ）、サムネイル表示の表示形態が変更される（Ｓ２４）。ここで、例えば、図１１又は図１２のように、サムネイル表示の表示形態が変更される。そして、Ｓ２７へ移行する。
【００８２】
図１１のサムネイル表示では、画像表示領域４００に表示されているサムネイル表示画像４４０において、「動作フラグ」の値が「１」であるファイル名に対応したサムネイル表示画像４４０が、強調して表示される。図１１において、例えば、撮影日時が「２０ＸＸ．０１．３０ １１：５０」、及び「２０ＸＸ．０１．３０ １２：１０」のサムネイル表示画像４４０が強調して表示されている状態である。
【００８３】
また、図１２のサムネイル表示では、画像表示領域４００に表示されているサムネイル表示画像４４０において、「変化フラグ」の値が「１」であるファイル名に対応したサムネイル表示画像４４０が、強調して表示される。図１２において、例えば、撮影日時が「２０ＸＸ．０１．１３ １１：５０」、及び「２０ＸＸ．０１．２０ １１：５０」のサムネイル表示画像４４０が、強調して表示されている状態である。なお、図１１，図１２で強調されたサムネイル表示画像４４０は、互いに異なった表示形態とする。
【００８４】
また、受信したカメラＩＤに対応するカメラ画像テーブル１５００において、受信したカメラ画像のファイル名に対応した「動作フラグ」、又は「変化フラグ」の値が「１」でないと判断された場合（Ｓ２３：ＮＯ）、Ｓ２７へ移行する。
【００８５】
次に、図１３を参照して、平均化処理について説明する。平均化処理が実行されると、初めに、平均化する単位時間が経過したか否かが判断される（Ｓ３１）。ここで、単位時間の計測は、ヘッドマウントディスプレイ２００に設けられているタイマ（図示外）により行われる。そして、タイマのカウント値を参照することで単位時間が経過したか否かが判断される。ここで、一例として、単位時間は、平均画像テーブル１６００の「時間帯」の時間間隔である３０分とする。なお、タイマの初期化は、メイン処理の初期設定（図８：Ｓ１０）で行うものとする。
【００８６】
平均化する単位時間が経過していないと判断された場合（Ｓ３１：ＮＯ）、つまり、タイマによる計測値が、単位時間を経過していない場合、平均化処理を終了する。
【００８７】
また、平均化する単位時間が経過したと判断された場合（Ｓ３１：ＹＥＳ）、つまり、タイマによる計測値が単位時間を経過した場合、単位時間が経過するまでに定点カメラ３００から受信したカメラ画像の平均化が行われる（Ｓ３２）。つまり、受信したカメラ情報のカメラＩＤに対応するカメラ画像テーブル１５００において、「撮影日時」の時刻が、単位時間内である全てのファイル名が取得される。そして、取得されたファイル名に基づいて、カメラ画像記憶エリア１４０２からカメラ画像が取得され、取得された全てのカメラ画像を使用して平均化が行われる。その際、平均化に使用したカメラ画像の数が、ＲＡＭ４８の画像数記憶エリア（図示外）に記憶される。ここで、平均化する単位時間が経過したと判断されると同時に、タイマの計測値が初期化され、再度、タイマによる計測が開始される。
【００８８】
次いで、受信したカメラ情報の撮影日時の時刻が含まれる時間帯で、平均画像が存在するか否かが判断される（Ｓ３３）。受信したカメラＩＤに対応する平均画像テーブル１６００において、「時間帯」が、受信したカメラ情報の撮影日時の時刻と比較される。そして、平均画像テーブル１６００において、受信したカメラ情報の撮影日時の時刻が含まれた「時間帯」に対応した「ファイル名」が存在するか否かで判断される。
【００８９】
平均画像が存在しないと判断された場合（Ｓ３３：ＮＯ）、つまり、平均画像テーブル１６００において、受信したカメラ情報の撮影日時の時刻が含まれた「時間帯」に対応した「ファイル名」が存在しない場合、Ｓ３２で平均化されたカメラ画像が、平均画像として平均画像記憶エリア１４０４に記憶される。その際、ユニークなファイル名が決定される。そして、作成された平均画像に関するレコードが、平均画像テーブル１６００に追加される（Ｓ３５）。ここで、該当する「時間帯」に対応する「ファイル名」には、決定されたユニークなファイル名が記憶される。「平均化した画素数」には、平均化に使用したカメラ画像の数が記憶される。この平均化に使用したカメラ画像の数は、画像数記憶エリア（図示外）に記憶されている。「平均化日数」には、「１」が記憶される。
【００９０】
次いで、単位時間内に、別の定点カメラ３００から送信されたカメラ画像が、存在するか否かが判断される（Ｓ３６）。つまり、平均画像テーブル記憶エリア１４０３に記憶されている別の平均画像テーブル１６００において、「時間帯」が、受信したカメラ情報の撮影日時の時刻と比較される。ここで、別の平均画像テーブル１６００とは、受信したカメラＩＤ以外のカメラＩＤに対応した平均画像テーブル１６００である。そして、他の平均画像テーブル１６００において、受信したカメラ情報の撮影日時の時刻が含まれた「時間帯」に対応した「ファイル名」が存在するか否かで判断される。
【００９１】
また、受信したカメラ情報の撮影日時の時刻が含まれる時間帯で、平均画像が存在すると判断された場合（Ｓ３３：ＹＥＳ）、つまり、平均画像テーブル１６００において、受信したカメラ情報の撮影日時の時刻が含まれた「時間帯」に対応した「ファイル名」が存在する場合、過去の平均画像と、受信したカメラ画像とを平均化することで新たな平均画像を作成し、平均画像テーブル１６００を更新する（Ｓ３４）。ここで、平均画像テーブル１６００において、過去の平均画像のファイル名に該当するレコードの「平均化した画像数」、及び「平均化日数」には「１」が加算され記憶される。また、作成された新たな平均画像は、過去の平均画像と同じファイル名で平均画像記憶エリア１４０４に記憶される。次いで、Ｓ３６へ移行する。
【００９２】
単位時間内に、別の定点カメラ３００から送信されたカメラ画像が、存在しないと判断された場合（Ｓ３６：ＮＯ）、つまり、他の平均画像テーブル１６００において、受信したカメラ情報の撮影日時の時刻が含まれた「時間帯」に対応した「ファイル名」が存在しない場合、平均化処理を終了する。
【００９３】
また、単位時間内に、別の定点カメラ３００から送信されたカメラ画像が、存在すると判断された場合（Ｓ３６：ＹＥＳ）、つまり、他の平均画像テーブル１６００において、受信したカメラ情報の撮影日時の時刻が含まれた「時間帯」に対応した「ファイル名」が存在する場合、Ｓ３２へ移行し、Ｓ３２からＳ３６の処理を再度実行する。
【００９４】
次に、図１４を参照して、表示切替処理について説明する。表示切替処理が実行されると、表示切替スイッチが操作されたか否かが判断される（Ｓ４１）。この表示切替スイッチ（図示外）は、ヘッドマウントディスプレイ２００の操作ボタン群５０に設けられている操作ボタンの１つである。表示切替スイッチは、単独表示、又はサムネイル表示を切り替える際に使用される。
【００９５】
表示切替スイッチが操作され、単独表示を表示する操作がされた際には、ＲＡＭ４８に記憶されている表示フラグ（図示外）の値が「１」となる。また、表示切替スイッチが操作され、サムネイル表示を表示する操作がされた際には、表示フラグの値は「０」となる。また、表示切替スイッチが操作されると、ＲＡＭ４８に記憶されている表示切替スイッチフラグ（図示外）の値が「０」から「１」に変更される。
【００９６】
表示切替スイッチスイッチが押されていないと判断された場合（Ｓ４１：ＮＯ）、つまり、表示切替スイッチフラグの値が「０」の場合、表示切替処理が終了する。
【００９７】
また、表示切替スイッチスイッチが押されたと判断された場合（Ｓ４１：ＹＥＳ）、つまり、表示切替スイッチフラグの値が「１」の場合、表示切替スイッチフラグの値が「０」に変更され、単独表示に変更されたか否かが判断される（Ｓ４２）。この判断処理は、表示切替スイッチの値が「１」か否かが判断される。
【００９８】
単独表示に変更されたと判断された場合（Ｓ４２：ＹＥＳ）、つまり、表示切替スイッチの値が「１」の場合、単独表示が行われる（Ｓ４４）。図９に示すように、画像表示領域４００において、受信したカメラ画像が、単独表示画像４１０として表示される。そして、表示切替処理が終了する。
【００９９】
また、単独表示に変更されたと判断されていない場合（Ｓ４２：ＮＯ）、つまり、表示切替スイッチの値が「０」の場合、サムネイル表示がおこなわれる（Ｓ４３）。図１０に示すように、画像表示領域４００において、受信したカメラ画像を含んだサムネイル表示画像４４０が表示される。そして、表示切替処理が終了する。
【０１００】
以上説明したように、ヘッドマウントディスプレイ２００では、街角に設けられた定点カメラ３００から、所定時間毎にカメラ画像を受信する。そして、ヘッドマウントディスプレイ２００を装着した使用者３は、定点カメラ３００が設けられている場所のカメラ画像を認識することができる。また、表示されたカメラ画像の内で、平均化された通常の状況のカメラ画像との間で、変化があるカメラ画像に対して、表示形態が自動的に変更される。これにより、使用者３は表示形態が変更されたカメラ画像に注目することでできる。そして、平均化された通常の状況の画像との間で、変化のあるカメラ画像が撮影された場所の混雑状況を把握することができる。よって、普段とは異なる混雑の仕方をしている場所の状況を容易にすばやく把握することができる。
【０１０１】
また、表示されたカメラ画像の内で、所定時間前のカメラ画像との間で、変化があるカメラ画像に対しても、表示形態が自動的に変更される。これにより、ヘッドマウントディスプレイ２００を装着した使用者３は、所定時間前に撮影されたカメラ画像と異なったカメラ画像を把握することができる。その結果、所定時間内に混み具合が変化した時刻を確認することができる。
【０１０２】
本発明のカメラ情報が「受信データ」に相当し、カメラＩＤが「識別情報」に相当し、フラッシュメモリ４９が「データ記憶手段」に相当する。図８のＳ１１：ＹＥＳを実行するＣＰＵ６１が「データ受信手段」に相当する。図８のＳ１４，Ｓ２５、図１４のＳ４３，Ｓ４４を実行するＣＰＵ６１が「表示制御手段」に相当する。図１３のＳ３２，Ｓ３４を実行するＣＰＵ６１が「画像データ平均化手段」に相当する。図８のＳ１３，Ｓ２６を実行するＣＰＵ６１が「第一データ記憶制御手段」に相当する。図８のＳ２１を実行するＣＰＵ６１が「第一差分判断手段」に相当する。図８のＳ２４を実行するＣＰＵ６１が「第一表示変更手段」に相当する。図１３のＳ３４，Ｓ３６を実行するＣＰＵ６１が「第二データ記憶制御手段」に相当する。図８のＳ１７を実行するＣＰＵ６１が「第二差分判断手段」に相当する。図１３のＳ２４を実行するＣＰＵ６１が「第二表示変更手段」に相当する。
【０１０３】
尚、本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を脱しない範囲内において種々の変更が可能であることは無論である。上述した実施の形態では、サムネイル表示がされているカメラ画像で、「動作フラグ」、又は「変化フラグ」に「１」が設定されているカメラ画像の表示形態を、それぞれ同一の表示形態に変更しているが、これに限定しない。たとえば、算出された差分の割合に応じて、表示形態を変更するようにしてもよい。
【０１０４】
以下、図８，図１５，及び図１６を参照して、変形例のメイン処理について説明する。図１５は、変形例のカメラ画像テーブル１７００の構成を示す模式図である。図１６は、変形例のサムネイル表示の一具体例を示す図である。
【０１０５】
まず、図１５を参照して、変形例のカメラ画像テーブル１７００について説明する。カメラ画像テーブル１７００は、上述した実施の形態のカメラ画像テーブル１５００と同様に、フラッシュメモリ４９のカメラ画像テーブル記憶エリア１４０１に記憶されている。そして、カメラＩＤ毎に「撮影日時」欄、「ファイル名」欄、「変化フラグ」欄、「動作フラグ」欄、「変化差分割合」欄、及び「動作差分割合」欄を備えており、各々が対応づけられて記憶される。「変化差分割合」欄には、第一割合の値が記憶され、「動作差分割合」欄には、第二割合の値が記憶される。なお、「撮影日時」欄、「ファイル名」欄、「変化フラグ」欄、及び「動作フラグ」欄に記憶される内容に関しては、上述した実施の形態と同様である。
【０１０６】
次に、図８を参照して、変形例におけるヘッドマウントディスプレイ２００で実行されるメイン処理について説明する。なお、図８におけるメイン処理で、Ｓ１８，Ｓ２２，及びＳ２４以外の処理は、上述した実施の形態と同様であるため、その説明を省略する。また、変形例におけるメイン処理もヘッドマウントディスプレイ２００の電源起動時に実行される処理であり、ヘッドマウントディスプレイ２００の電源がＯＦＦになった際には、自動的に終了するものとする。また、ヘッドマウントディスプレイ２００で実行される他の処理については、他のプロセスで実行されるものとする。他の処理についての説明は省略する。
【０１０７】
変形例におけるヘッドマウントディスプレイ２００のメイン処理が実行され、直前のカメラ画像と、受信したカメラ画像との差分が算出され、差分があると判断された場合（Ｓ１７：ＹＥＳ）、受信したカメラＩＤに対応するカメラ画像テーブル１７００において、受信したカメラ画像のファイル名に対応した「動作フラグ」の値が「１」となる（Ｓ１８）。また、同時に、受信したカメラ画像のファイル名に対応した「動作差分割合」に、算出された第二割合が記憶される。
【０１０８】
また、平均画像と、受信したカメラ画像とに差分があると判断された場合（Ｓ２１：ＹＥＳ）、つまり、平均画像と、受信したカメラ画像との第一割合が第一所定値以上であると判断された場合、受信したカメラＩＤに対応するカメラ画像テーブル１７００において、受信したカメラ画像のファイル名に対応した「変化フラグ」の値が「１」となる（Ｓ２２）。また、同時に、受信したカメラ画像のファイル名に対応した「変化差分割合」に、算出された第一割合が記憶される。
【０１０９】
ついで、受信したカメラＩＤに対応するカメラ画像テーブル１７００において、受信したカメラ画像のファイル名に対応した「動作フラグ」、又は「変化フラグ」の値が「１」であると判断された場合（Ｓ２３：ＹＥＳ）、サムネイル表示の表示形態が変更される（Ｓ２４）。ここで、変形例における表示形態の変更処理では、受信したカメラＩＤに対応するカメラ画像テーブル１７００において、受信したカメラ画像のファイル名に対応した「動作差分割合」、及び「変化差分割合」の値に応じて、サムネイル表示の表示形態が変更される。
【０１１０】
例えば、一例として、図１６に示すように、「動作フラグ」の値が「１」であるサムネイル表示画像４４０に対して、その「動作差分割合」に応じて、強調するパターンが変更されて表示される。ここで、図１５に示すように、撮影日時が「２０ＸＸ．０１．３０ １１：５０」に対応する「動作差分割合」は、３５％であり、撮影日時が「２０ＸＸ．０１．３０ １２：１０」に対応する「動作差分割合」は、２０％である。このため、図１６に示すように、撮影日時が「２０ＸＸ．０１．３０ １１：５０」に対応したサムネイル表示画像４４０の方が、撮影日時が「２０ＸＸ．０１．３０ １２：１０」に対応したサムネイル表示画像４４０より強調されたパターンで、画像表示領域に４００表示される。
【０１１１】
以上説明したように、変形例のヘッドマウントディスプレイ２００のメイン処理では、カメラ画像テーブル１７００に設けられた「変化差分割合」、及び「動作差分割合」に記憶された差分の割合に応じて、サムネイル表示画像４４０の表示形態を変更する。これにより、ヘッドマウントディスプレイ２００を装着した使用者３は、異常のあるサムネイル表示画像４４０が撮影された場所の混雑状況を、より詳しく把握することができる。
【０１１２】
また、上述した実施の形態では、ヘッドマウントディスプレイ２００と定点カメラ３００との距離が所定距離以内であれば、ヘッドマウントディスプレイ２００は定点カメラ３００からカメラ情報を受信するが、これに限定しない。例えば、ヘッドマウントディスプレイ２００に定点カメラ３００を選択する定点カメラ選択手段を設けて、定点カメラ選択手段により選択された定点カメラ３００からのみ、カメラ情報を受信してもよい。
【図面の簡単な説明】
【０１１３】
【図１】定点カメラ３００及びヘッドマウントディスプレイ２００の接続形態の一具体例を示す図である。
【図２】ヘッドマウントディスプレイ２００の外観構成を示した図である。
【図３】ヘッドマウントディスプレイ２００の電気的構成を示すブロック図である。
【図４】表示部４０において映像光４が形成される過程を説明した模式図である。
【図５】ヘッドマウントディスプレイ２００のフラッシュメモリ４９の構成を示す模式図である。
【図６】カメラ画像テーブル１５００の構成を示す模式図である。
【図７】平均画像テーブル１６００の構成を示す模式図である。
【図８】ヘッドマウントディスプレイ２００で実行されるメイン処理のフローチャートである。
【図９】カメラ画像の単独表示の一具体例を示す図である。
【図１０】カメラ画像のサムネイル表示の一具体例を示す図である。
【図１１】カメラ画像に動きがある時のサムネイル表示の一具体例を示す図である。
【図１２】カメラ画像に変化がある時のサムネイル表示の一具体例を示す図である。
【図１３】ヘッドマウントディスプレイ２００で実行される平均化処理のサブルーチンのフローチャートである。
【図１４】ヘッドマウントディスプレイ２００で実行される表示切替処理のサブルーチンのフローチャートである。
【図１５】変形例のカメラ画像テーブル１７００の構成を示す模式図である。
【図１６】変形例のサムネイル表示の一具体例を示す図である。
【符号の説明】
【０１１４】
１ ネットワーク
３ 使用者
４ 映像光
５ 外光
４１ 入力部
４８ ＲＡＭ
４９ フラッシュメモリ
５０ 操作ボタン群
６１ ＣＰＵ
６２ ＲＯＭ
２００ ヘッドマウントディスプレイ
２１０ 頭部装着部
３００ 定点カメラ
４００ 画像表示領域
４１０ 単独表示画像
４４０ サムネイル表示画像
１５００，１７００ カメラ画像テーブル
１６００ 平均画像テーブル
【特許請求の範囲】
【請求項１】
使用者の頭部に装着する頭部装着部と、前記使用者の眼に表示画像の映像光を光学的に導いて視認させる画像表示部とを有するヘッドマウントディスプレイにおいて、
外部の異なる位置に設けられた、所定距離以内の定点カメラにより撮影された画像データと、前記定点カメラを識別する識別情報と、前記画像データが撮影された日時とが対応づけられたデータを、前記定点カメラから受信データとして受信するデータ受信手段と、
前記データ受信手段により受信した前記受信データの前記画像データを前記画像表示部に表示させる表示制御手段と、
前記受信データを記憶するデータ記憶手段と、
前記データ受信手段により受信した前記受信データを前記データ記憶手段に記憶させる第一データ記憶制御手段と、
前記データ記憶手段に記憶された前記受信データの内で、前記識別情報、及び前記画像データが撮影された時刻が同一である複数の前記受信データ中の各画像データの対応する各画素データを平均化して平均画像データを求める画像データ平均化手段と、
前記データ受信手段により受信した前記受信データ中の前記画像データの各画素と、前記平均画像データの対応する各画素との間で差分がある割合である第一割合が、第一所定値以上か否かを判断する第一差分判断手段と、
前記第一差分判断手段により前記第一割合が前記第一所定値以上と判断された場合、前記画像表示部に表示されている前記画像データの内で、前記第一割合が前記第一所定値以上である前記画像データの表示を所定の形態へ変更する第一表示変更手段と
を備えたことを特徴とするヘッドマウントディスプレイ。
【請求項２】
前記第一表示変更手段は、前記第一差分判断手段により前記第一割合が第一所定値以上と判断された場合、前記画像表示部に表示されている前記画像データの内で、前記第一割合が前記第一所定値以上である前記画像データの表示の形態を、前記第一割合に応じて変更することを特徴とする請求項１に記載のヘッドマウントディスプレイ。
【請求項３】
前記データ受信手段は、前記定点カメラから前記受信データを所定時間間隔で受信し、
前記データ受信手段により受信した前記受信データ中の前記画像データの各画素と、前記所定時間前に受信した前記画像データの対応する各画素との間で差分がある割合である第二割合が、第二所定値以上か否かを判断する第二差分判断手段を備え、
前記第二差分判断手段により前記第二割合が前記第二所定値以上と判断された場合、前記画像表示部に表示されている前記画像データの内で、前記第二割合が前記第二所定値以上である前記画像データの表示を所定の形態へ変更する第二表示変更手段と
を備えたことを特徴とする請求項１又は２に記載のヘッドマウントディスプレイ。
【請求項４】
前記平均画像データと、前記識別情報と、平均化に使用した前記画像データの個数とを対応づけて、平均画像情報として前記データ記憶手段に記憶させる第二データ記憶制御手段を備え、
前記第一差分判断手段は、前記データ受信手段により受信した前記受信データ中の前記画像データの各画素と、前記平均画像情報の前記平均画像データの対応する各画素との間で差分がある割合が、前記第一所定値以上か否かを判断し、
前記画像データ平均化手段は、前記データ記憶手段に記憶された前記平均画像情報と、前記データ受信手段により受信した前記受信データとに基づいて、対応する各画素データを平均化して前記平均画像データを求めることを特徴とする請求項１乃至３のいずれかに記載のヘッドマウントディスプレイ。
【請求項１】
使用者の頭部に装着する頭部装着部と、前記使用者の眼に表示画像の映像光を光学的に導いて視認させる画像表示部とを有するヘッドマウントディスプレイにおいて、
外部の異なる位置に設けられた、所定距離以内の定点カメラにより撮影された画像データと、前記定点カメラを識別する識別情報と、前記画像データが撮影された日時とが対応づけられたデータを、前記定点カメラから受信データとして受信するデータ受信手段と、
前記データ受信手段により受信した前記受信データの前記画像データを前記画像表示部に表示させる表示制御手段と、
前記受信データを記憶するデータ記憶手段と、
前記データ受信手段により受信した前記受信データを前記データ記憶手段に記憶させる第一データ記憶制御手段と、
前記データ記憶手段に記憶された前記受信データの内で、前記識別情報、及び前記画像データが撮影された時刻が同一である複数の前記受信データ中の各画像データの対応する各画素データを平均化して平均画像データを求める画像データ平均化手段と、
前記データ受信手段により受信した前記受信データ中の前記画像データの各画素と、前記平均画像データの対応する各画素との間で差分がある割合である第一割合が、第一所定値以上か否かを判断する第一差分判断手段と、
前記第一差分判断手段により前記第一割合が前記第一所定値以上と判断された場合、前記画像表示部に表示されている前記画像データの内で、前記第一割合が前記第一所定値以上である前記画像データの表示を所定の形態へ変更する第一表示変更手段と
を備えたことを特徴とするヘッドマウントディスプレイ。
【請求項２】
前記第一表示変更手段は、前記第一差分判断手段により前記第一割合が第一所定値以上と判断された場合、前記画像表示部に表示されている前記画像データの内で、前記第一割合が前記第一所定値以上である前記画像データの表示の形態を、前記第一割合に応じて変更することを特徴とする請求項１に記載のヘッドマウントディスプレイ。
【請求項３】
前記データ受信手段は、前記定点カメラから前記受信データを所定時間間隔で受信し、
前記データ受信手段により受信した前記受信データ中の前記画像データの各画素と、前記所定時間前に受信した前記画像データの対応する各画素との間で差分がある割合である第二割合が、第二所定値以上か否かを判断する第二差分判断手段を備え、
前記第二差分判断手段により前記第二割合が前記第二所定値以上と判断された場合、前記画像表示部に表示されている前記画像データの内で、前記第二割合が前記第二所定値以上である前記画像データの表示を所定の形態へ変更する第二表示変更手段と
を備えたことを特徴とする請求項１又は２に記載のヘッドマウントディスプレイ。
【請求項４】
前記平均画像データと、前記識別情報と、平均化に使用した前記画像データの個数とを対応づけて、平均画像情報として前記データ記憶手段に記憶させる第二データ記憶制御手段を備え、
前記第一差分判断手段は、前記データ受信手段により受信した前記受信データ中の前記画像データの各画素と、前記平均画像情報の前記平均画像データの対応する各画素との間で差分がある割合が、前記第一所定値以上か否かを判断し、
前記画像データ平均化手段は、前記データ記憶手段に記憶された前記平均画像情報と、前記データ受信手段により受信した前記受信データとに基づいて、対応する各画素データを平均化して前記平均画像データを求めることを特徴とする請求項１乃至３のいずれかに記載のヘッドマウントディスプレイ。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１０−１５３９４６（Ｐ２０１０−１５３９４６Ａ）
【公開日】平成２２年７月８日（２０１０．７．８）
【国際特許分類】
【出願番号】特願２００８−３２６７２５（Ｐ２００８−３２６７２５）
【出願日】平成２０年１２月２３日（２００８．１２．２３）
【出願人】（０００００５２６７）ブラザー工業株式会社 (13,856)
【Ｆターム（参考）】
【公開日】平成２２年７月８日（２０１０．７．８）
【国際特許分類】
【出願日】平成２０年１２月２３日（２００８．１２．２３）
【出願人】（０００００５２６７）ブラザー工業株式会社 (13,856)
【Ｆターム（参考）】
[ Back to top ]