ヘッドマウントディスプレイ装置
【課題】装着者を確実に特定する。
【解決手段】電源をオンすると、カメラ15で外部映像が撮影されLCD18に表示される。CPU20は、HMD10B,10Cまでの距離が50m以内であるときに、ARイラスト画像データを送信し、HMD10B,10Cから送信されたARイラスト画像データを受信する。マーカー読取部27は、各HMD装着者画像31,32内のマーカー16a〜16cを読み取ってIDデータを取得し、HMD装着者画像の位置座標を検出する。画像サイズ算出部28はHMD装着者画像のサイズを算出し、向き検出部29はHMD装着者の向きを検出する。CPU20は、取得したIDデータ内の特定情報と同じ特定情報を含むARイラスト画像データを検索し、HMD装着者画像のサイズ及び向きに基づいてARイラスト画像データを補正し、位置座標に基づいてARイラスト画像36,37を、HMD装着者画像の顔部分に重ねて表示する。
【解決手段】電源をオンすると、カメラ15で外部映像が撮影されLCD18に表示される。CPU20は、HMD10B,10Cまでの距離が50m以内であるときに、ARイラスト画像データを送信し、HMD10B,10Cから送信されたARイラスト画像データを受信する。マーカー読取部27は、各HMD装着者画像31,32内のマーカー16a〜16cを読み取ってIDデータを取得し、HMD装着者画像の位置座標を検出する。画像サイズ算出部28はHMD装着者画像のサイズを算出し、向き検出部29はHMD装着者の向きを検出する。CPU20は、取得したIDデータ内の特定情報と同じ特定情報を含むARイラスト画像データを検索し、HMD装着者画像のサイズ及び向きに基づいてARイラスト画像データを補正し、位置座標に基づいてARイラスト画像36,37を、HMD装着者画像の顔部分に重ねて表示する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、頭部に装着した状態で画像を見ることができるヘッドマウントディスプレイ装置に関するものである。
【背景技術】
【0002】
頭部に装着して装着者の眼前に映像を表示するヘッドマウントディスプレイ装置(以下、HMD)が知られている。このHMDの利用用途には様々なものがあるが、その1つには現実空間(外部の景色)に各種の付加情報(以下、AR情報)を重ねて表示することによって情報を提供するものがある。このような用途で使用されるHMDとしては、光透過型、ビデオ透過型がある。光透過型のHMDでは、現実空間とLCDなどに表示されるAR情報とを、例えばハーフミラーで重ねて観察できるようにしている。一方のビデオ透過型では、使用者の視点からビデオカメラで現実空間を撮影し、その撮影で得られる外部映像にAR情報を合成したものをEVFもしくはLCD等の表示装置(以下、表示装置)に表示して使用者に観察させるようにしている。
【0003】
上記ビデオ透過型のHMDを装着した場合、装着者の眼が隠れてしまう。眼が隠れると、人物を特定することができなくなることがある。特許文献1記載のヘッドマウントディスプレイを装着した人物の顔画像合成方法及びその方法では、カメラにより、HMD越しに装着者の動画を撮影するとともに、予め撮影されたHMD非装着時の画像から、前記動画におけるHMDで隠れる部分と同じ部分を切り取り、この切り取った画像を、前記動画のHMDで隠れる部分に合成している。これにより、HMD装着時にも、隠れる部分がない顔画像を表示することができ、人物を特定することができる。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開平11−096366号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献1では、装着者自身に向けられたHMDに固定されたカメラを用いて顔画像の合成位置を決めた後、合成された顔画像を外部に出力して立体の表面に表示している。外部映像を表示装置に表示するHMDで特許文献1に示すような画像処理を行った場合、HMD装着者同士で合成された顔画像の送受信が行われたときにも、表示装置には合成部分の大きさ、座標、角度等が常に変わり続ける外部映像が表示されているため、最適な合成された顔画像を表示することができない。外部映像では、装着者はHMDを装着した状態の画像であるため、HMD装着者を特定することができない。
【0006】
本発明は、上記課題を解決するためになされたものであり、装着者を確実に特定することができるヘッドマウントディスプレイ装置を提供することを目的とする。
【課題を解決するための手段】
【0007】
上記目的を達成するため、本発明のヘッドマウントディスプレイ装置は、装着者の頭部に装着されて使用され、データを非接触で相互に送受信するシステムを構成するヘッドマウントディスプレイ装置において、装着者の眼の前に配される本体部と、前記本体部に設けられ、装着者と略同一の視点から現実空間を外部映像として撮影する撮影手段と、前記本体部に設けられ、前記外部映像を装着者の眼の前方に表示する表示手段と、予め設定した設定画像データを他のヘッドマウントディスプレイ装置と相互に送受信する通信制御手段と、前記外部映像上の前記他のヘッドマウントディスプレイ装置の位置座標、画像サイズ及び向きを検出する検出手段と、前記検出手段で検出された画像サイズ及び向きに基づいて、受信した前記設定画像データを補正する補正手段と、前記補正手段により補正された補正画像データを、前記検出手段で検出された位置座標に基づいて、前記外部映像上の前記他のヘッドマウントディスプレイ装置の表示部分に重ねて表示する補正画像表示制御手段と、を備えることを特徴とする。
【0008】
また、前記本体部には、自身を特定するマーカーが設けられ、前記外部映像上の前記マーカーを読み取るマーカー読取手段を備え、前記検出手段は、前記マーカー読取手段での読取結果に基づいて、前記他のヘッドマウントディスプレイ装置の位置座標、画像サイズ及び向きを検出することが好ましい。
【0009】
さらに、前記通信制御手段は、装着者のIDデータを前記他のヘッドマウントディスプレイ装置と相互に送受信し、前記外部映像上の前記マーカーが前記マーカー読取手段で読み取り不能であるときに、受信した前記IDデータに基づいて装着者を特定する装着者特定画像を作成し、前記装着者特定画像を、前記外部映像上の前記他のヘッドマウントディスプレイ装置の表示部分の周囲に表示する特定画像表示制御手段を備えることが好ましい。
【0010】
また、前記設定画像データは、前記マーカーに格納された特定情報と同じ特定情報を含み、複数のヘッドマウントディスプレイ装置から複数の前記設定画像データを受信したときに、前記複数の設定画像データの中から、前記マーカー読取手段で読み取った前記マーカーに格納された特定情報と同じ特定情報を有する設定画像データを検索して、前記マーカー読取手段で読み取った前記マーカーが設けられ、前記補正画像データを重ねて表示するヘッドマウントディスプレイ装置を特定する検索特定手段を備えることが好ましい。
【0011】
さらに、前記他のヘッドマウントディスプレイ装置とのデータの相互通信により、前記他のヘッドマウントディスプレイ装置との距離を算出する距離算出手段を備え、前記通信制御手段は、前記距離算出手段で算出された距離が、予め設定された設定距離以内であるときに、前記設定画像データを前記他のヘッドマウントディスプレイ装置と相互に送受信することが好ましい。
【0012】
また、前記検出手段は、前記他のヘッドマウントディスプレイ装置の形状及び色を検出し、この検出結果に基づいて前記他のヘッドマウントディスプレイ装置の位置座標、画像サイズ及び向きを検出することが好ましい。
【0013】
さらに、前記通信制御手段は、装着者のIDデータを前記他のヘッドマウントディスプレイ装置と相互に送受信し、受信した前記IDデータに基づいて、装着者のユーザ認証を行う認証手段を備え、前記補正画像表示制御手段は、前記認証手段で認証されたときには前記補正画像データを表示し、前記認証手段で認証されないときには前記補正画像データを表示しないことが好ましい。
【0014】
また、受信した前記設定画像データの安全性を判定する安全性判定手段を備え、前記補正画像表示制御手段は、前記安全性判定手段で安全であると判定されたときには、前記補正画像データを表示し、前記安全性判定手段で安全でないと判定されたときには前記補正画像データを表示しないことが好ましい。
【発明の効果】
【0015】
本発明によれば、表示手段に表示される外部映像上の他のヘッドマウントディスプレイ装置の画像サイズ及び向きを検出し、この検出したサイズ及び向きに基づいて、他のヘッドマウントディスプレイ装置から送信された設定画像データを補正して、外部映像上に重ねて表示するから、外部映像上のヘッドマウントディスプレイ装置のサイズに応じた設定画像を表示することができる。
【図面の簡単な説明】
【0016】
【図1】本発明を実施したHMDの外観の構成を示す斜視図である。
【図2】HMDの電気的構成を示すブロック図である。
【図3】HMDを装着した状態を示す説明図である。
【図4】(A)は外部映像を表示した状態、(B)は外部映像にAR画像を重ねて表示した状態を示す説明図である。
【図5】AR画像を表示するときの処理の流れを示すフローチャートである。
【図6】HMDまでの距離に応じて表示するAR画像を変える第2実施形態の外部映像を表示した状態と、外部映像にAR画像を重ねて表示した状態とを示す説明図である。
【図7】第2実施形態のAR画像を表示するときの処理の流れを示すフローチャートである。
【図8】AR画像を表示する装着者の認証判定を行う第3実施形態のHMDの電気的構成を示すブロック図である。
【図9】第3実施形態のAR画像を表示するときの処理の流れを示すフローチャートである。
【図10】AR画像の安全性を判定する第4実施形態のHMDの電気的構成を示すブロック図である。
【図11】第4実施形態のAR画像を表示するときの処理の流れを示すフローチャートである。
【図12】HMD自体をマーカーとして検出する第5実施形態のHMDの電気的構成を示すブロック図である。
【図13】第5実施形態のAR画像を表示するときの処理の流れを示すフローチャートである。
【発明を実施するための形態】
【0017】
[第1実施形態]
図1に示すように、HMD(ヘッドマウントディスプレイ装置)10は、ゴーグル形状にされており、眼前ユニット12と、この眼前ユニット12に一体に設けられた一対のテンプル(耳かけ)13とからなる。このHMD10は、テンプル13を用いて使用者の頭部に装着される。
【0018】
眼前ユニット12は、装着者の眼前を覆うように設けられた箱状の本体部14と、本体部14の前面に撮影レンズ15aが露呈されたカメラ15と、本体部14の内部に配された表示部17や画像処理用の各種回路などから構成される。
【0019】
本体部14の前面には、他のHMDに自身を特定させるための特定情報と正面を向いていることを検出させるための向き情報とを含むIDデータを格納した正面正面マーカー16aが貼り付けられている。同様に、本体部14の左側面には、自身の特定情報と左方を向いていることを検出させるための向き情報とを含むIDデータを格納した左マーカー16bが貼り付けられ、右側面には、自身の特定情報と右方を向いていることを検出させるための向き情報とを含むIDデータを格納した右マーカー16cが貼り付けられている。
【0020】
図2〜図4に示すように、カメラ15は、撮影レンズ15aとイメージセンサ15bとからなり、撮影レンズ15aを介して現実空間(外部の景色)を外部映像として撮影する。撮影レンズ15aとしては、大きな撮影画角を有し広い視野を提供できる広角レンズが用いられる。
【0021】
イメージセンサ15bは、CCD型やCMOS型のものが用いられており、撮影レンズ15aによって結像される被写体像を光電変換して外部映像として出力する。このように構成されるカメラ15は、撮影レンズ15aが装着者の前方に向けられており、装着者とほぼ同じ視点から撮影する。
【0022】
表示部17は、いわゆるEVF(電子ビューファインダー)と呼ばれるLCD(液晶ディスプレイ)18や接眼光学系(図示せず)などから構成されている。LCD18には、カメラ15で撮影され、各種画像処理が施された外部映像にAR(拡張現実)画像が重ねて表示される。装着者は、LCD18に表示される画像を、接眼光学系を介して両眼で観察する。なお、両眼に対して1個のLCD18を設けているが、各眼に対してそれぞれLCDを設け、各眼でそれぞれ異なるLCDを観察する構成でもよい。
【0023】
CPU20は、HMD10を統括的に制御する。撮像制御部21は、CPU20からの指令を受けて、イメージセンサ15bを制御する。信号処理部22は、カメラ15からの出力信号に対してノイズ除去、信号増幅、デジタル変換などを行う。また、信号処理部22は、デジタル変換された外部映像に対して、ホワイトバランス処理などの各種処理を行う。
【0024】
通信制御部23は、アンテナ24を介して他のHMDと通信を行う。CPU20は、通信制御部23により応答指令信号(電波)を送信させるとともに、アンテナ24で他のHMDから応答指令信号を受信したときに、通信制御部23により返答信号を送信させる。CPU20は、返答信号を受信したときに、周囲に他のHMDが存在すると判定する。本実施形態では、HMD装着者が3人おり、最も手前のHMD装着者が装着しているHMDをHMD10Aと称し、このHMD10Aの撮影範囲内に位置するHMD装着者が装着している他のHMDを、第1装着者のHMD10B、第2装着者のHMD10Cと称し(図3参照)、以下では、HMD10Aでの制御について説明を行う。なお、マーカー16a〜16cに含まれる特定情報は、各HMD10A〜10cでそれぞれ異なる。
【0025】
HMD10AのLCD18には、第1装着者のHMD10Bを含む第1HMD装着者画像31、第2装着者のHMD10Cを含む第2HMD装着者画像32が外部映像として表示される(図4(A)参照)。
【0026】
距離算出部25は、応答指令信号を送信してから、返答信号を受信するまでの時間に基づいて、他のHMD(第1,第2装着者のHMD10B,10C)までの距離を算出する。CPU20は、距離算出部25で算出された距離が所定距離(例えば、50m)以内であるときに、メモリ26に予め記録されたARイラスト画像データを送信する。また、CPU20は、他のHMDからARイラスト画像データを受信したときにも、ARイラスト画像データを送信する。すなわち、第1,第2装着者のHMD10B,10Cは、HMD10AからARイラスト画像データを受信したときに、自身のARイラスト画像データをHMD10Aに送信する。HMD装着者は、予め気に入ったデザインのイラスト画像データを、ARイラスト画像データとしてメモリ26に記憶しておく。なお、各ARイラスト画像データには、各HMD10A〜10cそれぞれの各マーカー16a〜16cに含まれる特定情報と同じ特定情報が含まれる。
【0027】
マーカー読取部27は、外部映像上のマーカー16a〜16cを検出し、検出されたマーカー16a〜16cを読み取って、マーカー16a〜16cに格納されたIDデータを取得する。また、マーカー読取部27は、読み取ったマーカーの外部映像上での位置に基づいて、そのマーカーを含むHMD装着者画像の位置座標を検出する。
【0028】
マーカー読取部27は、外部映像上の左側から順にマーカーを読み取る。本実施形態では、マーカー読取部27は、第1HMD装着者画像31、第2HMD装着者画像32の順に、マーカーを読み取る。第1HMD装着者画像31は、装着者が正面を向いた画像であり、第2HMD装着者画像32は、装着者が右方を向いた画像である。この場合、マーカー読取部27は、第1HMD装着者画像31から正面マーカー16aを読み取り、第2HMD装着者画像32から右マーカー16cを読み取る。
【0029】
画像サイズ算出部28は、マーカー読取部27で検出されたマーカーのサイズに基づいて、そのマーカーを含むHMDのサイズを算出するとともに、このHMDを装着したHMD装着者画像(顔画像)のサイズを算出する。
【0030】
向き検出部29は、マーカー読取部27で取得されたIDデータ内の向き情報に基づいて、外部映像上のHMD(HMD装着者)の向きを検出する。向き検出部29は、マーカー読取部27で正面マーカー16aのIDデータが取得されたときには、HMD装着者が正面を向いていることを検出し、左マーカー16bのIDデータが取得されたときには、HMD装着者が左方を向いていることを検出し、右マーカー16cのIDデータが取得されたときには、HMD装着者が右方を向いていることを検出する。
【0031】
CPU20は、通信制御部23で受信したARイラスト画像データの中から、マーカー読取部27で取得されたIDデータ内の特定情報と同じ特定情報を含むARイラスト画像データを検索して、ARイラスト画像データを送信したHMDを特定する。そして、図4(B)に示すように、CPU20は、各部28,29で算出及び検出されたHMD装着者画像のサイズ及び向きに基づいて、検索したARイラスト画像データを補正して、補正したARイラスト画像36,37を、特定したHMD装着者画像の顔部分であってマーカー読取部27で検出したHMD装着者画像の位置座標上に重ねて表示する。
【0032】
次に、上記第1実施形態の作用について、図5のフローチャートを用いて説明を行う。HMD10Aの電源をオンすると(ステップ(以下、S)1でY)、カメラ15は、外部映像を撮影する。この外部映像は、信号処理部22で、ノイズ除去、信号増幅、デジタル変換、ホワイトバランス処理が行われた後、LCD18に表示される(S2)。LCD18には、第1HMD装着者画像31、第2HMD装着者画像32が外部映像として表示される。
【0033】
通信制御部23は、他のHMD(第1,第2装着者のHMD10B,10C)に向けて応答指令信号を送信する(S3)。第1,第2装着者のHMD10B,10Cは、HMD10Aからの応答指令信号を受信すると、HMD10Aに返答信号を送信する。
【0034】
通信制御部23で第1,第2装着者のHMD10B,10Cからの返答信号を受信すると、距離算出部25は、応答指令信号を送信してから、返答信号を受信するまでの時間に基づいて、第1,第2装着者のHMD10B,10Cまでの距離を算出する。CPU20は、距離算出部25で算出された距離が50m以内であるとき(S4でY)に、メモリ26に予め記録されたARイラスト画像データを送信する。第1,第2装着者のHMD10B,10Cは、HMD10AからARイラスト画像データを受信したときに、自身のARイラスト画像データを送信する。HMD10Aは、第1,第2装着者のHMD10B,10Cから送信されたARイラスト画像データを受信する(S5)。
【0035】
マーカー読取部27は、各HMD装着者画像31,32内のマーカー16a〜16cの検出を開始し(S6)、各HMD装着者画像31,32にマーカー16a〜16cがある場合(S7でY)、検出したマーカー16a〜16cを読み取ってIDデータを取得する。また、マーカー読取部27は、読み取ったマーカーの外部映像上での位置に基づいて、そのマーカーを含むHMD装着者画像の位置座標を検出する。
【0036】
画像サイズ算出部28は、マーカー読取部27で検出されたマーカーのサイズに基づいて、そのマーカーを含むHMD装着者画像のサイズを算出し、向き検出部29は、マーカー読取部27で取得されたIDデータ内の向き情報に基づいて、外部映像上のHMD装着者の向きを検出する(S8)。
【0037】
CPU20は、通信制御部23で受信したARイラスト画像データの中から、マーカー読取部27で取得したIDデータ内の特定情報と同じ特定情報を含むARイラスト画像データを検索し、各部28,29で算出及び検出されたHMD装着者画像のサイズ及び向きに基づいて、検索したARイラスト画像データを補正する(S9)。
【0038】
第1HMD装着者画像31では、マーカー読取部27で正面マーカー16aのIDデータが取得され、この取得されたIDデータ内の向き情報に基づいて、向き検出部29でHMD装着者が正面を向いていることが検出される。そして、CPU20は、取得したIDデータ内の特定情報と同じ特定情報を含むARイラスト画像データとして、第1装着者のHMD10Bから送信されたARイラスト画像データを検索する。CPU20は、この検索したARイラスト画像を、正面を向き、第1HMD装着者画像31の顔部分とほぼ同じサイズになるARイラスト画像36に補正する。同様に、第2HMD装着者画像32では、右マーカー16cのIDデータが取得され、向き検出部29でHMD装着者が右方を向いていることが検出される。CPU20は、第2装着者のHMD10Cから送信されたARイラスト画像データを検索し、この検索したARイラスト画像を、右方を向き、第2HMD装着者画像32の顔部分とほぼ同じサイズになるARイラスト画像37に補正する。
【0039】
CPU20は、補正したARイラスト画像36,37を、特定したHMD装着者画像の顔部分であってマーカー読取部27で検出したHMD装着者画像の位置座標上に重ねて表示する(S10)。そして、電源がオフされていないとき(S11でN)には、再度(S3)以降を行う。
【0040】
[第2実施形態]
図6及び図7に示す第2実施形態は、外部映像上のHMD装着者までの距離に応じて、表示するAR画像を変える。なお、第1実施形態のものと同様の構成部材には同一の符号を付し、その詳細な説明を省略する。
【0041】
図6(A)に示すように、HMD10AのLCD18には、第1HMD装着者画像31、第2HMD装着者画像32、第3HMD装着者画像43が外部映像として表示される。
【0042】
マーカー読取部27は、各HMD装着者画像31,32,43のマーカー16a〜16cの読み取りを行う。第3HMD装着者画像43の正面マーカー16aは、外部映像において非常に小さいサイズであり、マーカー読取部27で読み取ることができない。
【0043】
CPU20は、マーカーが読み取り不能な第3HMD装着者画像43では、受信したARイラスト画像データの補正は行わない。そして、図6(B)に示すように、CPU20は、受信したARイラスト画像データに含まれるIDデータに基づいて、HMD装着者であることを示す矢印を含むAR文字画像45を作成し、このAR文字画像45を第3HMD装着者画像43の上方に表示する。本実施形態では、IDデータにHMD装着者の名前情報(例えば、「A山」)が含まれ、AR文字画像45として、「↓」と「A山さん」とが表示される。
【0044】
次に、上記第2実施形態の作用について、図7のフローチャートを用いて説明を行う。HMD10Aの電源をオンすると(S101でY)、カメラ15は、外部映像を撮影する。以降、(S102)〜(S110)は、第1実施形態の(S2)〜(S10)と同様なので、説明を簡略化する。本実施形態では、HMD10Aは、第1,第2装着者のHMD10B,10Cから送信されたARイラスト画像データに加えて、第3HMD装着者画像43となる第3装着者のHMD(図示せず)から送信されたARイラスト画像データを受信する
【0045】
50m以内にある全てのHMD装着者への画像表示制御を行っていない場合(S111でN)には、再度(S106)以降を行う。本実施形態では、第1HMD装着者画像31、第2HMD装着者画像32、第3HMD装着者画像43の順に、(S106)以降を行う。
【0046】
第1HMD装着者画像31への画像表示制御((S106)〜(S110))、第2HMD装着者画像32への画像表示制御((S106)〜(S110))を順に行った後、第3HMD装着者画像43に含まれるマーカー16a〜16cの読み取りを行う(S106)。第3HMD装着者画像43の正面マーカー16aは、マーカー読取部27で読み取ることができないため、第3HMD装着者画像43にマーカー16a〜16cがないと判定される(S107でN)。マーカーがないと判定されると、CPU20は、第3装着者のHMDから送信されたARイラスト画像データに含まれるIDデータに基づいて、HMD装着者であることを示すAR文字画像45を作成し、このAR文字画像45を第3HMD装着者画像33の上方に表示する(S113)。これにより、マーカー読取不能な小さい画像であり、ARイラスト画像を重ねて表示してもその画像を認識することができない画像のときにも、HMD装着者であることが容易に認識可能となる。
【0047】
[第3実施形態]
図8及び図9に示す第3実施形態のHMD50は、外部映像上のHMD装着者の認証を行い、認証されたときにAR画像を表示する。なお、第2実施形態のものと同様の構成部材には同一の符号を付し、その詳細な説明を省略する。
【0048】
図8に示すように、HMD50は、装着者認証部51を備える。この装着者認証部51は、受信したARイラスト画像データに含まれるIDデータに基づいて、外部映像上のHMD装着者の認証を行う。
【0049】
メモリ26には、認証用IDデータが予め記録されている。装着者認証部51は、受信したIDデータが、メモリ26に記録された認証用IDデータと一致するか否かを判定し、一致すると判定したときに、そのIDデータを送信したHMD装着者を認証する。本実施形態では、装着者認証部51は、第1HMD10Bを装着した第1装着者、第2HMD10Cを装着した第2装着者、第3HMDを装着した第3装着者の順に、認証判定を行う。
【0050】
次に、上記第3実施形態の作用について、図9のフローチャートを用いて説明を行う。HMD10Aの電源をオンすると(S201でY)、カメラ15は、外部映像を撮影する。以降、(S202)〜(S205)は、第2実施形態の(S102)〜(S105)と同様なので、説明を省略する。
【0051】
通信制御部23が、他のHMDから送信されたARイラスト画像データを受信すると(S205)、装着者認証部51は、受信したARイラスト画像データに含まれるIDデータが、メモリ26に記録された認証用IDデータと一致するか否かを判定する。一致すると判定され、そのIDデータを送信したHMD装着者が認証されると(S206でY)、マーカー読取部27は、マーカー16a〜16cの検出を開始する(S207)。以降、(S208)〜(S214)は、第2実施形態の(S107)〜(S113)と同様なので、説明を省略する。
【0052】
一方、装着者認証部51で、受信したARイラスト画像データに含まれるIDデータが、メモリ26に記録された認証用IDデータと一致しないと判定され、そのIDデータを送信したHMD装着者が認証されないとき(S206でN)には、マーカー16a〜16cの検出を開始せず、(S212)を行う。これにより、認証したHMD装着者に対してのみ、AR画像を表示するから、予め友人のみを認証するようにセットすることにより、友人同士での連帯感が向上する。
【0053】
[第4実施形態]
図10及び図11に示す第4実施形態のHMD60は、他のHMDから受信したAR画像の安全性を判定し、安全であると判定されたときにAR画像を表示する。なお、第2実施形態のものと同様の構成部材には同一の符号を付し、その詳細な説明を省略する。
【0054】
図10に示すように、HMD60は、安全性判定部61を備える。この安全性判定部61は、受信したARイラスト画像を解析し、安全な画像であるか否かを判定する。メモリ26には、安全性を判定するための危険画像データが記録されている。安全性判定部61は、受信したARイラスト画像を解析して特徴点(特徴画像)を抽出し、この特徴点と危険画像データとを比較して、特徴点と一致または類似している画像を含む危険画像データがない場合には、ARイラスト画像が安全な画像であると判定し、特徴点と一致または類似している画像を含む危険画像データがある場合には、ARイラスト画像が危険な画像であると判定する。本実施形態では、安全性判定部61は、第1HMD10BからのARイラスト画像、第2HMD10CからのARイラスト画像、第3HMDからのARイラスト画像の順に安全性判定を行う。
【0055】
次に、上記第4実施形態の作用について、図11のフローチャートを用いて説明を行う。HMD10Aの電源をオンすると(S301でY)、カメラ15は、外部映像を撮影する。以降、(S302)〜(S305)は、第2実施形態の(S102)〜(S105)と同様なので、説明を省略する。
【0056】
通信制御部23が、他のHMDから送信されたARイラスト画像データを受信すると(S305)、安全性判定部61は、受信したARイラスト画像を解析し、安全な画像であるか否かを判定する(S306)。安全性判定部61は、受信したARイラスト画像を解析して特徴点(特徴画像)を抽出し、この特徴点と危険画像データとを比較する。特徴点と一致または類似している画像を含む危険画像データがなく、ARイラスト画像が安全な画像であると判定されると(S307でY)、マーカー読取部27は、マーカー16a〜16cの検出を開始する(S308)。以降、(S309)〜(S315)は、第2実施形態の(S107)〜(S113)と同様なので、説明を省略する。
【0057】
一方、安全性判定部61で、受信したARイラスト画像の特徴点と一致または類似している画像を含む危険画像データがあり、ARイラスト画像が危険な画像であると判定されたとき(S307でN)には、マーカー16a〜16cの検出を開始せず、(S313)を行う。これにより、危険な画像を観させられることがなく、安全性が向上する。
【0058】
[第5実施形態]
図12及び図13に示す第5実施形態のHMD70は、HMD自体をマーカーとし、外部映像上のHMDの形状や色等の特有データを検出する。なお、第1実施形態のものと同様の構成部材には同一の符号を付し、その詳細な説明を省略する。
【0059】
図12に示すように、HMD70には、GPSユニット71が設けられている。このGPSユニット71は、アンテナ72、GPS算出部73を有し、現在地を測位してその位置データを取得する。アンテナ72は、地球を周回している24個のGPS衛星のうち4個以上(例えば、4個)のGPS衛星からの電波を受信する。この受信した電波は、GPS算出部73に送られる。GPS算出部73には、入力された電波に基づき、現在地の位置データ(緯度・経度)を算出する算出プログラムが格納されている。
【0060】
CPU20は、GPS算出部73にプログラム起動信号を出力する。プログラム起動信号が入力されると、GPS算出部73は、算出プログラムを起動して、アンテナ72から入力される電波に基づき、現在地の位置データを算出(4個のGPS衛星からの距離を同時に知ることにより現在位置を算出)する。CPU20は、算出された現在地データを、ARイラスト画像データと一緒に他のHMDに送信する。
【0061】
また、HMD70には、外部映像上の他のHMDを検出するHMD検出部75が設けられている。このHMD検出部75は、他のHMD自体をマーカーとして、その形状や色等の特有データを検出するとともに、外部映像上のHMDの位置座標、サイズ及び向きを検出する。また、HMD検出部75は、検出したHMDの外部映像上での位置に基づいて、外部映像上のHMD装着者画像の位置座標を検出する。なお、ARイラスト画像データには、上記特有データと同じ特有データが含まれる。
【0062】
画像サイズ算出部28は、HMD検出部75で検出されたHMDのサイズに基づいて、HMD装着者画像のサイズを算出し、向き検出部29は、HMD検出部75で検出されたHMDの向きに基づいて、外部映像上のHMD装着者の向きを検出する。
【0063】
CPU20は、通信制御部23で受信したARイラスト画像データの中から、HMD検出部75で検出した特有データと同じ特有データを含むARイラスト画像データを検索する。外部映像上に同じ形状及び色のHMDが複数あるときには、ARイラスト画像データが複数検索される。この場合、CPU20は、他のHMDからの現在地データに基づいて、HMD検出部75で検出したHMDからのARイラスト画像データを特定する。外部映像上の左端のHMDをHMD検出部75で検出しているときには、受信した複数の現在地データのうちの左端となる現在地データと一緒に送信されたARイラスト画像データを、検出しているHMDからのARイラスト画像データとして特定する。これにより、受信したARイラスト画像データが、外部映像上のいずれのHMDから送信されたデータであるかが特定される。
【0064】
CPU20は、各部28,29で算出及び検出されたHMD装着者画像のサイズ及び向きに基づいて、検索したARイラスト画像データを補正して、補正したARイラスト画像を、特定したHMD装着者画像の顔部分であってHMD検出部75で検出したHMD装着者画像の位置座標上に重ねて表示する。
【0065】
次に、上記第5実施形態の作用について、図13のフローチャートを用いて説明を行う。HMD70の電源をオンすると(S401でY)、カメラ15は、外部映像を撮影する。以降、(S402),(S403)は、第1実施形態の(S2),(S3)と同様なので、説明を省略する。
【0066】
CPU20は、プログラム起動信号を出力してGPS算出部73により現在地データを算出させるとともに、距離算出部25で算出された距離が50m以内であるとき(S404でY)に、HMDの形状や色等の特有データを含むARイラスト画像データを、現在地データと一緒に送信する。他のHMDは、HMD70からARイラスト画像データを受信したときに、特有データを含むARイラスト画像データを現在地データと一緒に送信し、HMD70は、他のHMDから送信されたARイラスト画像データ及び現在地データを受信する(S405)。
【0067】
HMD検出部75は、外部映像上の他のHMDの検出を開始し(S406)、外部映像上に他のHMDがある場合(S407でY)、HMDの形状や色等の特有データを検出するとともに、外部映像上のHMDの位置座標、サイズ及び向きを検出する。また、HMD検出部75は、検出したHMDの外部映像上での位置に基づいて、外部映像上のHMD装着者画像の位置座標を検出する。
【0068】
画像サイズ算出部28は、HMD検出部75で検出されたHMDのサイズに基づいて、HMD装着者画像のサイズを算出し、向き検出部29は、HMD検出部75で検出されたHMDの向きに基づいて、外部映像上のHMD装着者の向きを検出する(S408)。
【0069】
CPU20は、通信制御部23で受信したARイラスト画像データの中から、HMD検出部75で検出した特有データと同じ特有データを含むARイラスト画像データを検索し、各部28,29で算出及び検出されたHMD装着者画像のサイズ及び向きに基づいて、検索したARイラスト画像データを補正する(S9)。なお、HMD検出部75で検出した特有データと同じ特有データを含むARイラスト画像データが複数検索された場合には、CPU20は、他のHMDからの現在地データに基づいて、HMD検出部75で検出したHMDからのARイラスト画像データを特定する。
【0070】
CPU20は、補正したARイラスト画像を、特定したHMD装着者画像の顔部分であってHMD検出部75で検出したHMD装着者画像の位置座標上に重ねて表示する(S410)。そして、電源がオフされていないとき(S411でN)には、再度(S403)以降を行う。
【0071】
なお、上記実施形態では、他のHMDまでの距離を算出し、この算出した距離が所定距離内であるときに、ARイラスト画像データを送信しているが、距離を算出せずに、電源オンとともにARイラスト画像データを送信してもよい。
【0072】
また、上記実施形態では、HMDの前面、左側面、右側面それぞれにマーカーを貼り付け、いずれのマーカーを検出したかによりHMDの向きを検出しているが、正面にのみマーカーを貼り付け、そのマーカーの検出サイズに基づいて、HMDの向きを検出してもよい。HMD装着者が斜めを向いているときには、正面を向いているときに比べて、マーカーの幅が小さくなるため、このマーカーの幅に基づいて、HMDの向きを検出する。
【0073】
さらに、上記実施形態では、ARイラスト画像データを他のHMDと相互に送受信し、受信したARイラスト画像データを表示しているが、サーバに複数のARイラスト画像データを記録しておき、HMDを特定したときには、サーバにアクセスして特定したHMDに対応するARイラスト画像データを取得してもよい。
【0074】
さらに、上記実施形態では、AR画像としてイラストを表示しているが、文字や記号を表示してもよい。
【符号の説明】
【0075】
10 HMD
15 カメラ
17 表示部
18 LCD
20 CPU
23 通信制御部
25 距離算出部
27 マーカー読取部
28 画像サイズ算出部
29 向き検出部
31 第1HMD装着者画像
32 第2HMD装着者画像
36 ARイラスト画像
37 ARイラスト画像
【技術分野】
【0001】
本発明は、頭部に装着した状態で画像を見ることができるヘッドマウントディスプレイ装置に関するものである。
【背景技術】
【0002】
頭部に装着して装着者の眼前に映像を表示するヘッドマウントディスプレイ装置(以下、HMD)が知られている。このHMDの利用用途には様々なものがあるが、その1つには現実空間(外部の景色)に各種の付加情報(以下、AR情報)を重ねて表示することによって情報を提供するものがある。このような用途で使用されるHMDとしては、光透過型、ビデオ透過型がある。光透過型のHMDでは、現実空間とLCDなどに表示されるAR情報とを、例えばハーフミラーで重ねて観察できるようにしている。一方のビデオ透過型では、使用者の視点からビデオカメラで現実空間を撮影し、その撮影で得られる外部映像にAR情報を合成したものをEVFもしくはLCD等の表示装置(以下、表示装置)に表示して使用者に観察させるようにしている。
【0003】
上記ビデオ透過型のHMDを装着した場合、装着者の眼が隠れてしまう。眼が隠れると、人物を特定することができなくなることがある。特許文献1記載のヘッドマウントディスプレイを装着した人物の顔画像合成方法及びその方法では、カメラにより、HMD越しに装着者の動画を撮影するとともに、予め撮影されたHMD非装着時の画像から、前記動画におけるHMDで隠れる部分と同じ部分を切り取り、この切り取った画像を、前記動画のHMDで隠れる部分に合成している。これにより、HMD装着時にも、隠れる部分がない顔画像を表示することができ、人物を特定することができる。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開平11−096366号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献1では、装着者自身に向けられたHMDに固定されたカメラを用いて顔画像の合成位置を決めた後、合成された顔画像を外部に出力して立体の表面に表示している。外部映像を表示装置に表示するHMDで特許文献1に示すような画像処理を行った場合、HMD装着者同士で合成された顔画像の送受信が行われたときにも、表示装置には合成部分の大きさ、座標、角度等が常に変わり続ける外部映像が表示されているため、最適な合成された顔画像を表示することができない。外部映像では、装着者はHMDを装着した状態の画像であるため、HMD装着者を特定することができない。
【0006】
本発明は、上記課題を解決するためになされたものであり、装着者を確実に特定することができるヘッドマウントディスプレイ装置を提供することを目的とする。
【課題を解決するための手段】
【0007】
上記目的を達成するため、本発明のヘッドマウントディスプレイ装置は、装着者の頭部に装着されて使用され、データを非接触で相互に送受信するシステムを構成するヘッドマウントディスプレイ装置において、装着者の眼の前に配される本体部と、前記本体部に設けられ、装着者と略同一の視点から現実空間を外部映像として撮影する撮影手段と、前記本体部に設けられ、前記外部映像を装着者の眼の前方に表示する表示手段と、予め設定した設定画像データを他のヘッドマウントディスプレイ装置と相互に送受信する通信制御手段と、前記外部映像上の前記他のヘッドマウントディスプレイ装置の位置座標、画像サイズ及び向きを検出する検出手段と、前記検出手段で検出された画像サイズ及び向きに基づいて、受信した前記設定画像データを補正する補正手段と、前記補正手段により補正された補正画像データを、前記検出手段で検出された位置座標に基づいて、前記外部映像上の前記他のヘッドマウントディスプレイ装置の表示部分に重ねて表示する補正画像表示制御手段と、を備えることを特徴とする。
【0008】
また、前記本体部には、自身を特定するマーカーが設けられ、前記外部映像上の前記マーカーを読み取るマーカー読取手段を備え、前記検出手段は、前記マーカー読取手段での読取結果に基づいて、前記他のヘッドマウントディスプレイ装置の位置座標、画像サイズ及び向きを検出することが好ましい。
【0009】
さらに、前記通信制御手段は、装着者のIDデータを前記他のヘッドマウントディスプレイ装置と相互に送受信し、前記外部映像上の前記マーカーが前記マーカー読取手段で読み取り不能であるときに、受信した前記IDデータに基づいて装着者を特定する装着者特定画像を作成し、前記装着者特定画像を、前記外部映像上の前記他のヘッドマウントディスプレイ装置の表示部分の周囲に表示する特定画像表示制御手段を備えることが好ましい。
【0010】
また、前記設定画像データは、前記マーカーに格納された特定情報と同じ特定情報を含み、複数のヘッドマウントディスプレイ装置から複数の前記設定画像データを受信したときに、前記複数の設定画像データの中から、前記マーカー読取手段で読み取った前記マーカーに格納された特定情報と同じ特定情報を有する設定画像データを検索して、前記マーカー読取手段で読み取った前記マーカーが設けられ、前記補正画像データを重ねて表示するヘッドマウントディスプレイ装置を特定する検索特定手段を備えることが好ましい。
【0011】
さらに、前記他のヘッドマウントディスプレイ装置とのデータの相互通信により、前記他のヘッドマウントディスプレイ装置との距離を算出する距離算出手段を備え、前記通信制御手段は、前記距離算出手段で算出された距離が、予め設定された設定距離以内であるときに、前記設定画像データを前記他のヘッドマウントディスプレイ装置と相互に送受信することが好ましい。
【0012】
また、前記検出手段は、前記他のヘッドマウントディスプレイ装置の形状及び色を検出し、この検出結果に基づいて前記他のヘッドマウントディスプレイ装置の位置座標、画像サイズ及び向きを検出することが好ましい。
【0013】
さらに、前記通信制御手段は、装着者のIDデータを前記他のヘッドマウントディスプレイ装置と相互に送受信し、受信した前記IDデータに基づいて、装着者のユーザ認証を行う認証手段を備え、前記補正画像表示制御手段は、前記認証手段で認証されたときには前記補正画像データを表示し、前記認証手段で認証されないときには前記補正画像データを表示しないことが好ましい。
【0014】
また、受信した前記設定画像データの安全性を判定する安全性判定手段を備え、前記補正画像表示制御手段は、前記安全性判定手段で安全であると判定されたときには、前記補正画像データを表示し、前記安全性判定手段で安全でないと判定されたときには前記補正画像データを表示しないことが好ましい。
【発明の効果】
【0015】
本発明によれば、表示手段に表示される外部映像上の他のヘッドマウントディスプレイ装置の画像サイズ及び向きを検出し、この検出したサイズ及び向きに基づいて、他のヘッドマウントディスプレイ装置から送信された設定画像データを補正して、外部映像上に重ねて表示するから、外部映像上のヘッドマウントディスプレイ装置のサイズに応じた設定画像を表示することができる。
【図面の簡単な説明】
【0016】
【図1】本発明を実施したHMDの外観の構成を示す斜視図である。
【図2】HMDの電気的構成を示すブロック図である。
【図3】HMDを装着した状態を示す説明図である。
【図4】(A)は外部映像を表示した状態、(B)は外部映像にAR画像を重ねて表示した状態を示す説明図である。
【図5】AR画像を表示するときの処理の流れを示すフローチャートである。
【図6】HMDまでの距離に応じて表示するAR画像を変える第2実施形態の外部映像を表示した状態と、外部映像にAR画像を重ねて表示した状態とを示す説明図である。
【図7】第2実施形態のAR画像を表示するときの処理の流れを示すフローチャートである。
【図8】AR画像を表示する装着者の認証判定を行う第3実施形態のHMDの電気的構成を示すブロック図である。
【図9】第3実施形態のAR画像を表示するときの処理の流れを示すフローチャートである。
【図10】AR画像の安全性を判定する第4実施形態のHMDの電気的構成を示すブロック図である。
【図11】第4実施形態のAR画像を表示するときの処理の流れを示すフローチャートである。
【図12】HMD自体をマーカーとして検出する第5実施形態のHMDの電気的構成を示すブロック図である。
【図13】第5実施形態のAR画像を表示するときの処理の流れを示すフローチャートである。
【発明を実施するための形態】
【0017】
[第1実施形態]
図1に示すように、HMD(ヘッドマウントディスプレイ装置)10は、ゴーグル形状にされており、眼前ユニット12と、この眼前ユニット12に一体に設けられた一対のテンプル(耳かけ)13とからなる。このHMD10は、テンプル13を用いて使用者の頭部に装着される。
【0018】
眼前ユニット12は、装着者の眼前を覆うように設けられた箱状の本体部14と、本体部14の前面に撮影レンズ15aが露呈されたカメラ15と、本体部14の内部に配された表示部17や画像処理用の各種回路などから構成される。
【0019】
本体部14の前面には、他のHMDに自身を特定させるための特定情報と正面を向いていることを検出させるための向き情報とを含むIDデータを格納した正面正面マーカー16aが貼り付けられている。同様に、本体部14の左側面には、自身の特定情報と左方を向いていることを検出させるための向き情報とを含むIDデータを格納した左マーカー16bが貼り付けられ、右側面には、自身の特定情報と右方を向いていることを検出させるための向き情報とを含むIDデータを格納した右マーカー16cが貼り付けられている。
【0020】
図2〜図4に示すように、カメラ15は、撮影レンズ15aとイメージセンサ15bとからなり、撮影レンズ15aを介して現実空間(外部の景色)を外部映像として撮影する。撮影レンズ15aとしては、大きな撮影画角を有し広い視野を提供できる広角レンズが用いられる。
【0021】
イメージセンサ15bは、CCD型やCMOS型のものが用いられており、撮影レンズ15aによって結像される被写体像を光電変換して外部映像として出力する。このように構成されるカメラ15は、撮影レンズ15aが装着者の前方に向けられており、装着者とほぼ同じ視点から撮影する。
【0022】
表示部17は、いわゆるEVF(電子ビューファインダー)と呼ばれるLCD(液晶ディスプレイ)18や接眼光学系(図示せず)などから構成されている。LCD18には、カメラ15で撮影され、各種画像処理が施された外部映像にAR(拡張現実)画像が重ねて表示される。装着者は、LCD18に表示される画像を、接眼光学系を介して両眼で観察する。なお、両眼に対して1個のLCD18を設けているが、各眼に対してそれぞれLCDを設け、各眼でそれぞれ異なるLCDを観察する構成でもよい。
【0023】
CPU20は、HMD10を統括的に制御する。撮像制御部21は、CPU20からの指令を受けて、イメージセンサ15bを制御する。信号処理部22は、カメラ15からの出力信号に対してノイズ除去、信号増幅、デジタル変換などを行う。また、信号処理部22は、デジタル変換された外部映像に対して、ホワイトバランス処理などの各種処理を行う。
【0024】
通信制御部23は、アンテナ24を介して他のHMDと通信を行う。CPU20は、通信制御部23により応答指令信号(電波)を送信させるとともに、アンテナ24で他のHMDから応答指令信号を受信したときに、通信制御部23により返答信号を送信させる。CPU20は、返答信号を受信したときに、周囲に他のHMDが存在すると判定する。本実施形態では、HMD装着者が3人おり、最も手前のHMD装着者が装着しているHMDをHMD10Aと称し、このHMD10Aの撮影範囲内に位置するHMD装着者が装着している他のHMDを、第1装着者のHMD10B、第2装着者のHMD10Cと称し(図3参照)、以下では、HMD10Aでの制御について説明を行う。なお、マーカー16a〜16cに含まれる特定情報は、各HMD10A〜10cでそれぞれ異なる。
【0025】
HMD10AのLCD18には、第1装着者のHMD10Bを含む第1HMD装着者画像31、第2装着者のHMD10Cを含む第2HMD装着者画像32が外部映像として表示される(図4(A)参照)。
【0026】
距離算出部25は、応答指令信号を送信してから、返答信号を受信するまでの時間に基づいて、他のHMD(第1,第2装着者のHMD10B,10C)までの距離を算出する。CPU20は、距離算出部25で算出された距離が所定距離(例えば、50m)以内であるときに、メモリ26に予め記録されたARイラスト画像データを送信する。また、CPU20は、他のHMDからARイラスト画像データを受信したときにも、ARイラスト画像データを送信する。すなわち、第1,第2装着者のHMD10B,10Cは、HMD10AからARイラスト画像データを受信したときに、自身のARイラスト画像データをHMD10Aに送信する。HMD装着者は、予め気に入ったデザインのイラスト画像データを、ARイラスト画像データとしてメモリ26に記憶しておく。なお、各ARイラスト画像データには、各HMD10A〜10cそれぞれの各マーカー16a〜16cに含まれる特定情報と同じ特定情報が含まれる。
【0027】
マーカー読取部27は、外部映像上のマーカー16a〜16cを検出し、検出されたマーカー16a〜16cを読み取って、マーカー16a〜16cに格納されたIDデータを取得する。また、マーカー読取部27は、読み取ったマーカーの外部映像上での位置に基づいて、そのマーカーを含むHMD装着者画像の位置座標を検出する。
【0028】
マーカー読取部27は、外部映像上の左側から順にマーカーを読み取る。本実施形態では、マーカー読取部27は、第1HMD装着者画像31、第2HMD装着者画像32の順に、マーカーを読み取る。第1HMD装着者画像31は、装着者が正面を向いた画像であり、第2HMD装着者画像32は、装着者が右方を向いた画像である。この場合、マーカー読取部27は、第1HMD装着者画像31から正面マーカー16aを読み取り、第2HMD装着者画像32から右マーカー16cを読み取る。
【0029】
画像サイズ算出部28は、マーカー読取部27で検出されたマーカーのサイズに基づいて、そのマーカーを含むHMDのサイズを算出するとともに、このHMDを装着したHMD装着者画像(顔画像)のサイズを算出する。
【0030】
向き検出部29は、マーカー読取部27で取得されたIDデータ内の向き情報に基づいて、外部映像上のHMD(HMD装着者)の向きを検出する。向き検出部29は、マーカー読取部27で正面マーカー16aのIDデータが取得されたときには、HMD装着者が正面を向いていることを検出し、左マーカー16bのIDデータが取得されたときには、HMD装着者が左方を向いていることを検出し、右マーカー16cのIDデータが取得されたときには、HMD装着者が右方を向いていることを検出する。
【0031】
CPU20は、通信制御部23で受信したARイラスト画像データの中から、マーカー読取部27で取得されたIDデータ内の特定情報と同じ特定情報を含むARイラスト画像データを検索して、ARイラスト画像データを送信したHMDを特定する。そして、図4(B)に示すように、CPU20は、各部28,29で算出及び検出されたHMD装着者画像のサイズ及び向きに基づいて、検索したARイラスト画像データを補正して、補正したARイラスト画像36,37を、特定したHMD装着者画像の顔部分であってマーカー読取部27で検出したHMD装着者画像の位置座標上に重ねて表示する。
【0032】
次に、上記第1実施形態の作用について、図5のフローチャートを用いて説明を行う。HMD10Aの電源をオンすると(ステップ(以下、S)1でY)、カメラ15は、外部映像を撮影する。この外部映像は、信号処理部22で、ノイズ除去、信号増幅、デジタル変換、ホワイトバランス処理が行われた後、LCD18に表示される(S2)。LCD18には、第1HMD装着者画像31、第2HMD装着者画像32が外部映像として表示される。
【0033】
通信制御部23は、他のHMD(第1,第2装着者のHMD10B,10C)に向けて応答指令信号を送信する(S3)。第1,第2装着者のHMD10B,10Cは、HMD10Aからの応答指令信号を受信すると、HMD10Aに返答信号を送信する。
【0034】
通信制御部23で第1,第2装着者のHMD10B,10Cからの返答信号を受信すると、距離算出部25は、応答指令信号を送信してから、返答信号を受信するまでの時間に基づいて、第1,第2装着者のHMD10B,10Cまでの距離を算出する。CPU20は、距離算出部25で算出された距離が50m以内であるとき(S4でY)に、メモリ26に予め記録されたARイラスト画像データを送信する。第1,第2装着者のHMD10B,10Cは、HMD10AからARイラスト画像データを受信したときに、自身のARイラスト画像データを送信する。HMD10Aは、第1,第2装着者のHMD10B,10Cから送信されたARイラスト画像データを受信する(S5)。
【0035】
マーカー読取部27は、各HMD装着者画像31,32内のマーカー16a〜16cの検出を開始し(S6)、各HMD装着者画像31,32にマーカー16a〜16cがある場合(S7でY)、検出したマーカー16a〜16cを読み取ってIDデータを取得する。また、マーカー読取部27は、読み取ったマーカーの外部映像上での位置に基づいて、そのマーカーを含むHMD装着者画像の位置座標を検出する。
【0036】
画像サイズ算出部28は、マーカー読取部27で検出されたマーカーのサイズに基づいて、そのマーカーを含むHMD装着者画像のサイズを算出し、向き検出部29は、マーカー読取部27で取得されたIDデータ内の向き情報に基づいて、外部映像上のHMD装着者の向きを検出する(S8)。
【0037】
CPU20は、通信制御部23で受信したARイラスト画像データの中から、マーカー読取部27で取得したIDデータ内の特定情報と同じ特定情報を含むARイラスト画像データを検索し、各部28,29で算出及び検出されたHMD装着者画像のサイズ及び向きに基づいて、検索したARイラスト画像データを補正する(S9)。
【0038】
第1HMD装着者画像31では、マーカー読取部27で正面マーカー16aのIDデータが取得され、この取得されたIDデータ内の向き情報に基づいて、向き検出部29でHMD装着者が正面を向いていることが検出される。そして、CPU20は、取得したIDデータ内の特定情報と同じ特定情報を含むARイラスト画像データとして、第1装着者のHMD10Bから送信されたARイラスト画像データを検索する。CPU20は、この検索したARイラスト画像を、正面を向き、第1HMD装着者画像31の顔部分とほぼ同じサイズになるARイラスト画像36に補正する。同様に、第2HMD装着者画像32では、右マーカー16cのIDデータが取得され、向き検出部29でHMD装着者が右方を向いていることが検出される。CPU20は、第2装着者のHMD10Cから送信されたARイラスト画像データを検索し、この検索したARイラスト画像を、右方を向き、第2HMD装着者画像32の顔部分とほぼ同じサイズになるARイラスト画像37に補正する。
【0039】
CPU20は、補正したARイラスト画像36,37を、特定したHMD装着者画像の顔部分であってマーカー読取部27で検出したHMD装着者画像の位置座標上に重ねて表示する(S10)。そして、電源がオフされていないとき(S11でN)には、再度(S3)以降を行う。
【0040】
[第2実施形態]
図6及び図7に示す第2実施形態は、外部映像上のHMD装着者までの距離に応じて、表示するAR画像を変える。なお、第1実施形態のものと同様の構成部材には同一の符号を付し、その詳細な説明を省略する。
【0041】
図6(A)に示すように、HMD10AのLCD18には、第1HMD装着者画像31、第2HMD装着者画像32、第3HMD装着者画像43が外部映像として表示される。
【0042】
マーカー読取部27は、各HMD装着者画像31,32,43のマーカー16a〜16cの読み取りを行う。第3HMD装着者画像43の正面マーカー16aは、外部映像において非常に小さいサイズであり、マーカー読取部27で読み取ることができない。
【0043】
CPU20は、マーカーが読み取り不能な第3HMD装着者画像43では、受信したARイラスト画像データの補正は行わない。そして、図6(B)に示すように、CPU20は、受信したARイラスト画像データに含まれるIDデータに基づいて、HMD装着者であることを示す矢印を含むAR文字画像45を作成し、このAR文字画像45を第3HMD装着者画像43の上方に表示する。本実施形態では、IDデータにHMD装着者の名前情報(例えば、「A山」)が含まれ、AR文字画像45として、「↓」と「A山さん」とが表示される。
【0044】
次に、上記第2実施形態の作用について、図7のフローチャートを用いて説明を行う。HMD10Aの電源をオンすると(S101でY)、カメラ15は、外部映像を撮影する。以降、(S102)〜(S110)は、第1実施形態の(S2)〜(S10)と同様なので、説明を簡略化する。本実施形態では、HMD10Aは、第1,第2装着者のHMD10B,10Cから送信されたARイラスト画像データに加えて、第3HMD装着者画像43となる第3装着者のHMD(図示せず)から送信されたARイラスト画像データを受信する
【0045】
50m以内にある全てのHMD装着者への画像表示制御を行っていない場合(S111でN)には、再度(S106)以降を行う。本実施形態では、第1HMD装着者画像31、第2HMD装着者画像32、第3HMD装着者画像43の順に、(S106)以降を行う。
【0046】
第1HMD装着者画像31への画像表示制御((S106)〜(S110))、第2HMD装着者画像32への画像表示制御((S106)〜(S110))を順に行った後、第3HMD装着者画像43に含まれるマーカー16a〜16cの読み取りを行う(S106)。第3HMD装着者画像43の正面マーカー16aは、マーカー読取部27で読み取ることができないため、第3HMD装着者画像43にマーカー16a〜16cがないと判定される(S107でN)。マーカーがないと判定されると、CPU20は、第3装着者のHMDから送信されたARイラスト画像データに含まれるIDデータに基づいて、HMD装着者であることを示すAR文字画像45を作成し、このAR文字画像45を第3HMD装着者画像33の上方に表示する(S113)。これにより、マーカー読取不能な小さい画像であり、ARイラスト画像を重ねて表示してもその画像を認識することができない画像のときにも、HMD装着者であることが容易に認識可能となる。
【0047】
[第3実施形態]
図8及び図9に示す第3実施形態のHMD50は、外部映像上のHMD装着者の認証を行い、認証されたときにAR画像を表示する。なお、第2実施形態のものと同様の構成部材には同一の符号を付し、その詳細な説明を省略する。
【0048】
図8に示すように、HMD50は、装着者認証部51を備える。この装着者認証部51は、受信したARイラスト画像データに含まれるIDデータに基づいて、外部映像上のHMD装着者の認証を行う。
【0049】
メモリ26には、認証用IDデータが予め記録されている。装着者認証部51は、受信したIDデータが、メモリ26に記録された認証用IDデータと一致するか否かを判定し、一致すると判定したときに、そのIDデータを送信したHMD装着者を認証する。本実施形態では、装着者認証部51は、第1HMD10Bを装着した第1装着者、第2HMD10Cを装着した第2装着者、第3HMDを装着した第3装着者の順に、認証判定を行う。
【0050】
次に、上記第3実施形態の作用について、図9のフローチャートを用いて説明を行う。HMD10Aの電源をオンすると(S201でY)、カメラ15は、外部映像を撮影する。以降、(S202)〜(S205)は、第2実施形態の(S102)〜(S105)と同様なので、説明を省略する。
【0051】
通信制御部23が、他のHMDから送信されたARイラスト画像データを受信すると(S205)、装着者認証部51は、受信したARイラスト画像データに含まれるIDデータが、メモリ26に記録された認証用IDデータと一致するか否かを判定する。一致すると判定され、そのIDデータを送信したHMD装着者が認証されると(S206でY)、マーカー読取部27は、マーカー16a〜16cの検出を開始する(S207)。以降、(S208)〜(S214)は、第2実施形態の(S107)〜(S113)と同様なので、説明を省略する。
【0052】
一方、装着者認証部51で、受信したARイラスト画像データに含まれるIDデータが、メモリ26に記録された認証用IDデータと一致しないと判定され、そのIDデータを送信したHMD装着者が認証されないとき(S206でN)には、マーカー16a〜16cの検出を開始せず、(S212)を行う。これにより、認証したHMD装着者に対してのみ、AR画像を表示するから、予め友人のみを認証するようにセットすることにより、友人同士での連帯感が向上する。
【0053】
[第4実施形態]
図10及び図11に示す第4実施形態のHMD60は、他のHMDから受信したAR画像の安全性を判定し、安全であると判定されたときにAR画像を表示する。なお、第2実施形態のものと同様の構成部材には同一の符号を付し、その詳細な説明を省略する。
【0054】
図10に示すように、HMD60は、安全性判定部61を備える。この安全性判定部61は、受信したARイラスト画像を解析し、安全な画像であるか否かを判定する。メモリ26には、安全性を判定するための危険画像データが記録されている。安全性判定部61は、受信したARイラスト画像を解析して特徴点(特徴画像)を抽出し、この特徴点と危険画像データとを比較して、特徴点と一致または類似している画像を含む危険画像データがない場合には、ARイラスト画像が安全な画像であると判定し、特徴点と一致または類似している画像を含む危険画像データがある場合には、ARイラスト画像が危険な画像であると判定する。本実施形態では、安全性判定部61は、第1HMD10BからのARイラスト画像、第2HMD10CからのARイラスト画像、第3HMDからのARイラスト画像の順に安全性判定を行う。
【0055】
次に、上記第4実施形態の作用について、図11のフローチャートを用いて説明を行う。HMD10Aの電源をオンすると(S301でY)、カメラ15は、外部映像を撮影する。以降、(S302)〜(S305)は、第2実施形態の(S102)〜(S105)と同様なので、説明を省略する。
【0056】
通信制御部23が、他のHMDから送信されたARイラスト画像データを受信すると(S305)、安全性判定部61は、受信したARイラスト画像を解析し、安全な画像であるか否かを判定する(S306)。安全性判定部61は、受信したARイラスト画像を解析して特徴点(特徴画像)を抽出し、この特徴点と危険画像データとを比較する。特徴点と一致または類似している画像を含む危険画像データがなく、ARイラスト画像が安全な画像であると判定されると(S307でY)、マーカー読取部27は、マーカー16a〜16cの検出を開始する(S308)。以降、(S309)〜(S315)は、第2実施形態の(S107)〜(S113)と同様なので、説明を省略する。
【0057】
一方、安全性判定部61で、受信したARイラスト画像の特徴点と一致または類似している画像を含む危険画像データがあり、ARイラスト画像が危険な画像であると判定されたとき(S307でN)には、マーカー16a〜16cの検出を開始せず、(S313)を行う。これにより、危険な画像を観させられることがなく、安全性が向上する。
【0058】
[第5実施形態]
図12及び図13に示す第5実施形態のHMD70は、HMD自体をマーカーとし、外部映像上のHMDの形状や色等の特有データを検出する。なお、第1実施形態のものと同様の構成部材には同一の符号を付し、その詳細な説明を省略する。
【0059】
図12に示すように、HMD70には、GPSユニット71が設けられている。このGPSユニット71は、アンテナ72、GPS算出部73を有し、現在地を測位してその位置データを取得する。アンテナ72は、地球を周回している24個のGPS衛星のうち4個以上(例えば、4個)のGPS衛星からの電波を受信する。この受信した電波は、GPS算出部73に送られる。GPS算出部73には、入力された電波に基づき、現在地の位置データ(緯度・経度)を算出する算出プログラムが格納されている。
【0060】
CPU20は、GPS算出部73にプログラム起動信号を出力する。プログラム起動信号が入力されると、GPS算出部73は、算出プログラムを起動して、アンテナ72から入力される電波に基づき、現在地の位置データを算出(4個のGPS衛星からの距離を同時に知ることにより現在位置を算出)する。CPU20は、算出された現在地データを、ARイラスト画像データと一緒に他のHMDに送信する。
【0061】
また、HMD70には、外部映像上の他のHMDを検出するHMD検出部75が設けられている。このHMD検出部75は、他のHMD自体をマーカーとして、その形状や色等の特有データを検出するとともに、外部映像上のHMDの位置座標、サイズ及び向きを検出する。また、HMD検出部75は、検出したHMDの外部映像上での位置に基づいて、外部映像上のHMD装着者画像の位置座標を検出する。なお、ARイラスト画像データには、上記特有データと同じ特有データが含まれる。
【0062】
画像サイズ算出部28は、HMD検出部75で検出されたHMDのサイズに基づいて、HMD装着者画像のサイズを算出し、向き検出部29は、HMD検出部75で検出されたHMDの向きに基づいて、外部映像上のHMD装着者の向きを検出する。
【0063】
CPU20は、通信制御部23で受信したARイラスト画像データの中から、HMD検出部75で検出した特有データと同じ特有データを含むARイラスト画像データを検索する。外部映像上に同じ形状及び色のHMDが複数あるときには、ARイラスト画像データが複数検索される。この場合、CPU20は、他のHMDからの現在地データに基づいて、HMD検出部75で検出したHMDからのARイラスト画像データを特定する。外部映像上の左端のHMDをHMD検出部75で検出しているときには、受信した複数の現在地データのうちの左端となる現在地データと一緒に送信されたARイラスト画像データを、検出しているHMDからのARイラスト画像データとして特定する。これにより、受信したARイラスト画像データが、外部映像上のいずれのHMDから送信されたデータであるかが特定される。
【0064】
CPU20は、各部28,29で算出及び検出されたHMD装着者画像のサイズ及び向きに基づいて、検索したARイラスト画像データを補正して、補正したARイラスト画像を、特定したHMD装着者画像の顔部分であってHMD検出部75で検出したHMD装着者画像の位置座標上に重ねて表示する。
【0065】
次に、上記第5実施形態の作用について、図13のフローチャートを用いて説明を行う。HMD70の電源をオンすると(S401でY)、カメラ15は、外部映像を撮影する。以降、(S402),(S403)は、第1実施形態の(S2),(S3)と同様なので、説明を省略する。
【0066】
CPU20は、プログラム起動信号を出力してGPS算出部73により現在地データを算出させるとともに、距離算出部25で算出された距離が50m以内であるとき(S404でY)に、HMDの形状や色等の特有データを含むARイラスト画像データを、現在地データと一緒に送信する。他のHMDは、HMD70からARイラスト画像データを受信したときに、特有データを含むARイラスト画像データを現在地データと一緒に送信し、HMD70は、他のHMDから送信されたARイラスト画像データ及び現在地データを受信する(S405)。
【0067】
HMD検出部75は、外部映像上の他のHMDの検出を開始し(S406)、外部映像上に他のHMDがある場合(S407でY)、HMDの形状や色等の特有データを検出するとともに、外部映像上のHMDの位置座標、サイズ及び向きを検出する。また、HMD検出部75は、検出したHMDの外部映像上での位置に基づいて、外部映像上のHMD装着者画像の位置座標を検出する。
【0068】
画像サイズ算出部28は、HMD検出部75で検出されたHMDのサイズに基づいて、HMD装着者画像のサイズを算出し、向き検出部29は、HMD検出部75で検出されたHMDの向きに基づいて、外部映像上のHMD装着者の向きを検出する(S408)。
【0069】
CPU20は、通信制御部23で受信したARイラスト画像データの中から、HMD検出部75で検出した特有データと同じ特有データを含むARイラスト画像データを検索し、各部28,29で算出及び検出されたHMD装着者画像のサイズ及び向きに基づいて、検索したARイラスト画像データを補正する(S9)。なお、HMD検出部75で検出した特有データと同じ特有データを含むARイラスト画像データが複数検索された場合には、CPU20は、他のHMDからの現在地データに基づいて、HMD検出部75で検出したHMDからのARイラスト画像データを特定する。
【0070】
CPU20は、補正したARイラスト画像を、特定したHMD装着者画像の顔部分であってHMD検出部75で検出したHMD装着者画像の位置座標上に重ねて表示する(S410)。そして、電源がオフされていないとき(S411でN)には、再度(S403)以降を行う。
【0071】
なお、上記実施形態では、他のHMDまでの距離を算出し、この算出した距離が所定距離内であるときに、ARイラスト画像データを送信しているが、距離を算出せずに、電源オンとともにARイラスト画像データを送信してもよい。
【0072】
また、上記実施形態では、HMDの前面、左側面、右側面それぞれにマーカーを貼り付け、いずれのマーカーを検出したかによりHMDの向きを検出しているが、正面にのみマーカーを貼り付け、そのマーカーの検出サイズに基づいて、HMDの向きを検出してもよい。HMD装着者が斜めを向いているときには、正面を向いているときに比べて、マーカーの幅が小さくなるため、このマーカーの幅に基づいて、HMDの向きを検出する。
【0073】
さらに、上記実施形態では、ARイラスト画像データを他のHMDと相互に送受信し、受信したARイラスト画像データを表示しているが、サーバに複数のARイラスト画像データを記録しておき、HMDを特定したときには、サーバにアクセスして特定したHMDに対応するARイラスト画像データを取得してもよい。
【0074】
さらに、上記実施形態では、AR画像としてイラストを表示しているが、文字や記号を表示してもよい。
【符号の説明】
【0075】
10 HMD
15 カメラ
17 表示部
18 LCD
20 CPU
23 通信制御部
25 距離算出部
27 マーカー読取部
28 画像サイズ算出部
29 向き検出部
31 第1HMD装着者画像
32 第2HMD装着者画像
36 ARイラスト画像
37 ARイラスト画像
【特許請求の範囲】
【請求項1】
装着者の頭部に装着されて使用され、データを非接触で相互に送受信するシステムを構成するヘッドマウントディスプレイ装置において、
装着者の眼の前に配される本体部と、
前記本体部に設けられ、装着者と略同一の視点から現実空間を外部映像として撮影する撮影手段と、
前記本体部に設けられ、前記外部映像を装着者の眼の前方に表示する表示手段と、
予め設定した設定画像データを他のヘッドマウントディスプレイ装置と相互に送受信する通信制御手段と、
前記外部映像上の前記他のヘッドマウントディスプレイ装置の位置座標、画像サイズ及び向きを検出する検出手段と、
前記検出手段で検出された画像サイズ及び向きに基づいて、受信した前記設定画像データを補正する補正手段と、
前記補正手段により補正された補正画像データを、前記検出手段で検出された位置座標に基づいて、前記外部映像上の前記他のヘッドマウントディスプレイ装置の表示部分に重ねて表示する補正画像表示制御手段と、
を備えることを特徴とするヘッドマウントディスプレイ装置。
【請求項2】
前記本体部には、自身を特定するマーカーが設けられ、
前記外部映像上の前記マーカーを読み取るマーカー読取手段を備え、
前記検出手段は、前記マーカー読取手段での読取結果に基づいて、前記他のヘッドマウントディスプレイ装置の位置座標、画像サイズ及び向きを検出することを特徴とする請求項1記載のヘッドマウントディスプレイ装置。
【請求項3】
前記通信制御手段は、装着者のIDデータを前記他のヘッドマウントディスプレイ装置と相互に送受信し、
前記外部映像上の前記マーカーが前記マーカー読取手段で読み取り不能であるときに、受信した前記IDデータに基づいて装着者を特定する装着者特定画像を作成し、前記装着者特定画像を、前記外部映像上の前記他のヘッドマウントディスプレイ装置の表示部分の周囲に表示する特定画像表示制御手段を備えることを特徴とする請求項2記載のヘッドマウントディスプレイ装置。
【請求項4】
前記設定画像データは、前記マーカーに格納された特定情報と同じ特定情報を含み、
複数のヘッドマウントディスプレイ装置から複数の前記設定画像データを受信したときに、前記複数の設定画像データの中から、前記マーカー読取手段で読み取った前記マーカーに格納された特定情報と同じ特定情報を有する設定画像データを検索して、前記マーカー読取手段で読み取った前記マーカーが設けられ、前記補正画像データを重ねて表示するヘッドマウントディスプレイ装置を特定する検索特定手段を備えることを特徴とする請求項2または3記載のヘッドマウントディスプレイ装置。
【請求項5】
前記他のヘッドマウントディスプレイ装置とのデータの相互通信により、前記他のヘッドマウントディスプレイ装置との距離を算出する距離算出手段を備え、
前記通信制御手段は、前記距離算出手段で算出された距離が、予め設定された設定距離以内であるときに、前記設定画像データを前記他のヘッドマウントディスプレイ装置と相互に送受信することを特徴とする請求項1ないし4いずれか1つ記載のヘッドマウントディスプレイ装置。
【請求項6】
前記検出手段は、前記他のヘッドマウントディスプレイ装置の形状及び色を検出し、この検出結果に基づいて前記他のヘッドマウントディスプレイ装置の位置座標、画像サイズ及び向きを検出することを特徴とする請求項1ないし5いずれか1つ記載のヘッドマウントディスプレイ装置。
【請求項7】
前記通信制御手段は、装着者のIDデータを前記他のヘッドマウントディスプレイ装置と相互に送受信し、
受信した前記IDデータに基づいて、装着者のユーザ認証を行う認証手段を備え、
前記補正画像表示制御手段は、前記認証手段で認証されたときには前記補正画像データを表示し、前記認証手段で認証されないときには前記補正画像データを表示しないことを特徴とする請求項1ないし6いずれか1つ記載のヘッドマウントディスプレイ装置。
【請求項8】
受信した前記設定画像データの安全性を判定する安全性判定手段を備え、
前記補正画像表示制御手段は、前記安全性判定手段で安全であると判定されたときには、前記補正画像データを表示し、前記安全性判定手段で安全でないと判定されたときには前記補正画像データを表示しないことを特徴とする請求項1ないし7いずれか1つ記載のヘッドマウントディスプレイ装置。
【請求項1】
装着者の頭部に装着されて使用され、データを非接触で相互に送受信するシステムを構成するヘッドマウントディスプレイ装置において、
装着者の眼の前に配される本体部と、
前記本体部に設けられ、装着者と略同一の視点から現実空間を外部映像として撮影する撮影手段と、
前記本体部に設けられ、前記外部映像を装着者の眼の前方に表示する表示手段と、
予め設定した設定画像データを他のヘッドマウントディスプレイ装置と相互に送受信する通信制御手段と、
前記外部映像上の前記他のヘッドマウントディスプレイ装置の位置座標、画像サイズ及び向きを検出する検出手段と、
前記検出手段で検出された画像サイズ及び向きに基づいて、受信した前記設定画像データを補正する補正手段と、
前記補正手段により補正された補正画像データを、前記検出手段で検出された位置座標に基づいて、前記外部映像上の前記他のヘッドマウントディスプレイ装置の表示部分に重ねて表示する補正画像表示制御手段と、
を備えることを特徴とするヘッドマウントディスプレイ装置。
【請求項2】
前記本体部には、自身を特定するマーカーが設けられ、
前記外部映像上の前記マーカーを読み取るマーカー読取手段を備え、
前記検出手段は、前記マーカー読取手段での読取結果に基づいて、前記他のヘッドマウントディスプレイ装置の位置座標、画像サイズ及び向きを検出することを特徴とする請求項1記載のヘッドマウントディスプレイ装置。
【請求項3】
前記通信制御手段は、装着者のIDデータを前記他のヘッドマウントディスプレイ装置と相互に送受信し、
前記外部映像上の前記マーカーが前記マーカー読取手段で読み取り不能であるときに、受信した前記IDデータに基づいて装着者を特定する装着者特定画像を作成し、前記装着者特定画像を、前記外部映像上の前記他のヘッドマウントディスプレイ装置の表示部分の周囲に表示する特定画像表示制御手段を備えることを特徴とする請求項2記載のヘッドマウントディスプレイ装置。
【請求項4】
前記設定画像データは、前記マーカーに格納された特定情報と同じ特定情報を含み、
複数のヘッドマウントディスプレイ装置から複数の前記設定画像データを受信したときに、前記複数の設定画像データの中から、前記マーカー読取手段で読み取った前記マーカーに格納された特定情報と同じ特定情報を有する設定画像データを検索して、前記マーカー読取手段で読み取った前記マーカーが設けられ、前記補正画像データを重ねて表示するヘッドマウントディスプレイ装置を特定する検索特定手段を備えることを特徴とする請求項2または3記載のヘッドマウントディスプレイ装置。
【請求項5】
前記他のヘッドマウントディスプレイ装置とのデータの相互通信により、前記他のヘッドマウントディスプレイ装置との距離を算出する距離算出手段を備え、
前記通信制御手段は、前記距離算出手段で算出された距離が、予め設定された設定距離以内であるときに、前記設定画像データを前記他のヘッドマウントディスプレイ装置と相互に送受信することを特徴とする請求項1ないし4いずれか1つ記載のヘッドマウントディスプレイ装置。
【請求項6】
前記検出手段は、前記他のヘッドマウントディスプレイ装置の形状及び色を検出し、この検出結果に基づいて前記他のヘッドマウントディスプレイ装置の位置座標、画像サイズ及び向きを検出することを特徴とする請求項1ないし5いずれか1つ記載のヘッドマウントディスプレイ装置。
【請求項7】
前記通信制御手段は、装着者のIDデータを前記他のヘッドマウントディスプレイ装置と相互に送受信し、
受信した前記IDデータに基づいて、装着者のユーザ認証を行う認証手段を備え、
前記補正画像表示制御手段は、前記認証手段で認証されたときには前記補正画像データを表示し、前記認証手段で認証されないときには前記補正画像データを表示しないことを特徴とする請求項1ないし6いずれか1つ記載のヘッドマウントディスプレイ装置。
【請求項8】
受信した前記設定画像データの安全性を判定する安全性判定手段を備え、
前記補正画像表示制御手段は、前記安全性判定手段で安全であると判定されたときには、前記補正画像データを表示し、前記安全性判定手段で安全でないと判定されたときには前記補正画像データを表示しないことを特徴とする請求項1ないし7いずれか1つ記載のヘッドマウントディスプレイ装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【公開番号】特開2011−242591(P2011−242591A)
【公開日】平成23年12月1日(2011.12.1)
【国際特許分類】
【出願番号】特願2010−114326(P2010−114326)
【出願日】平成22年5月18日(2010.5.18)
【出願人】(306037311)富士フイルム株式会社 (25,513)
【Fターム(参考)】
【公開日】平成23年12月1日(2011.12.1)
【国際特許分類】
【出願日】平成22年5月18日(2010.5.18)
【出願人】(306037311)富士フイルム株式会社 (25,513)
【Fターム(参考)】
[ Back to top ]