ヘッドマウントディスプレイ
【課題】複数の非可視の識別コードの位置を特定でき、その中から任意の識別コードに対応付けられた各種コンテンツを表示するヘッドマウントディスプレイを提供すること。
【解決手段】画像情報に応じた画像光を外光と共にユーザの眼に入射させ、前記画像情報に応じた画像を外景と重ねて表示する表示手段を備えたヘッドマウントディスプレイにおいて、ユーザの視野範囲を撮像する撮像手段と、撮像手段の撮像領域内に存在する非可視の識別コードを検出可能なコード検出手段と、識別コードに対応付けられた対応情報を記憶した記憶手段から検出された識別コードに対応する対応情報を読み出し、当該識別コードに対応させて表示手段に表示する制御を行う表示制御手段と、を備え、表示制御手段は、コード検出手段によって検出された識別コードの位置に対応する表示手段の表示位置に、当該識別コードの位置を示す標識情報を表示する制御を行うこととした。
【解決手段】画像情報に応じた画像光を外光と共にユーザの眼に入射させ、前記画像情報に応じた画像を外景と重ねて表示する表示手段を備えたヘッドマウントディスプレイにおいて、ユーザの視野範囲を撮像する撮像手段と、撮像手段の撮像領域内に存在する非可視の識別コードを検出可能なコード検出手段と、識別コードに対応付けられた対応情報を記憶した記憶手段から検出された識別コードに対応する対応情報を読み出し、当該識別コードに対応させて表示手段に表示する制御を行う表示制御手段と、を備え、表示制御手段は、コード検出手段によって検出された識別コードの位置に対応する表示手段の表示位置に、当該識別コードの位置を示す標識情報を表示する制御を行うこととした。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ヘッドマウントディスプレイに関する。
【背景技術】
【0002】
従来、図柄、文字、静止画像、動画像、あるいはそれらの組み合わせで構成された各種コンテンツを記憶する記録媒体と、それを再生する手段として、例えば、液晶表示装置等の表示手段により各種コンテンツを画像として表示するパーソナルコンピュータ等の情報処理装置が広く知られている。
【0003】
また、近年ではパーソナルコンピュータ等をインターネット等の情報網に接続して、ユーザが望む各種コンテンツを入手して、前記表示手段により画像として表示させることも広く一般に行われている。
【0004】
そして、従来の据え置き式の液晶表示装置等ではなく、ユーザが頭部に装備して、表示手段により表示された画像情報等の各種コンテンツを個人的に楽しむことが可能な、ヘッドマウントディスプレイが開発されている。
【0005】
このようなヘッドマウントディスプレイとしては、小型の液晶を装備して、当該液晶に画像情報を表示することでユーザに各種コンテンツを視認させる方式のHMDや、画像情報に応じた画像光を外光と共にユーザの眼に入射させ、前記画像情報に応じた画像を外景と重ねて表示するシースルー型のヘッドマウントディスプレイなどが開発されている。
【0006】
かかるシースルー型のヘッドマウントディスプレイの使用形態として、例えば、特許文献1に示すように、掲示物等に付された非可視の識別コードに対して赤外線を照射させ、反射させることによって得ることができる識別コードID等に基づき、識別コードに対応付けられた対応情報であるコンテンツが、その識別コードに重ねて対応付けて表示される装置が開示されている。
【0007】
この場合、ユーザがシースルー型のヘッドマウントディスプレイを通して直接掲示物等を確認すると、掲示物等に付された非可視の識別コードID等に基づき、識別コードに対応付けられたコンテンツが自動的に表示されるため、ユーザは、掲示物等の記載と識別コードに対応付けられたコンテンツとを同時に重ねあわせて確認することが可能となっている。
【先行技術文献】
【特許文献】
【0008】
【特許文献1】特開2003−242168号公報
【発明の概要】
【発明が解決しようとする課題】
【0009】
ところが、上記従来の装置では、掲示物等に付された非可視の識別コードに赤外線を照射して、その反射によって非可視の識別コードID等を認識することはできるものの、掲示物等に付された非可視の識別コードの位置を特定することはできなかった。従って、掲示物等に識別コードが付与されているのか、付与されていればどの位置にあるのか特定できずに、本来見えるべきコンテンツを見逃したりした。
【0010】
しかも、複数の非可視の識別コードが同時に検出された場合には、表示されるコンテンツがどの識別コードに対応付けられているのかを明確に認識することができなかった。
【0011】
本発明は、上述したような課題に鑑みてなされたものであり、多数の非可視の識別体が検出された場合であっても、ユーザが非可視の識別コードの位置を特定することが可能であり、また、どの非可視の識別コードに対応付けられたコンテンツが表示されているかを認識することができるヘッドマウントディスプレイを提供することを目的とする。
【課題を解決するための手段】
【0012】
上記目的を達成するために、請求項1に記載の発明は、画像情報に応じた画像光を外光と共にユーザの眼に入射させ、前記画像情報に応じた画像を外景と重ねて表示する表示手段を備えたヘッドマウントディスプレイにおいて、前記ユーザの視野範囲のうち少なくとも前記表示手段による表示領域を含む範囲を撮像する撮像手段と、前記撮像手段の撮像領域内に存在する非可視の識別コードを検出可能なコード検出手段と、識別コードに対応付けられた対応情報を記憶した記憶手段から前記コード検出手段によって検出された識別コードに対応する対応情報を読み出し、当該識別コードに対応させて前記表示手段に表示する制御を行う表示制御手段と、を備え、前記表示制御手段は、前記コード検出手段によって検出された識別コードの位置に対応する前記表示手段の表示位置に、当該識別コードの位置を示す標識情報を表示する制御を行うことを特徴とするものである。
【0013】
また、請求項2に記載の発明は、請求項1に記載のヘッドマウントディスプレイにおいて、ユーザの視線方向を検出する視線方向検出手段を備え、前記表示制御手段は、前記コード検出手段によって検出された識別コードのうち、前記視線方向検出手段により検出したユーザの視線方向にある識別コードを選択し、当該選択した識別コードに応じた対応情報が前記記憶手段にあるときに当該記憶手段から読み取って表示制御を行うことを特徴とするものである。
【0014】
また、請求項3に記載の発明は、請求項2に記載のヘッドマウントディスプレイにおいて、前記表示制御手段は、前記選択した識別コードの位置に、当該識別コードに応じた対応情報が前記記憶手段にある旨を示す情報を前記表示手段により表示することを特徴とするものである。
【0015】
また、請求項4に記載の発明は、請求項2又は請求項3に記載のヘッドマウントディスプレイにおいて、前記表示制御手段は、前記選択した識別コードに応じた対応情報を前記表示手段により表示することを特徴とするものである。
【0016】
また、請求項5に記載の発明は、請求項1〜4のいずれか1項に記載のヘッドマウントディスプレイにおいて、前記表示制御手段は、前記識別コードに対応付けられた対応情報を、図柄、文字、静止画像、動画像の中のいずれかの表示態様で表示することを特徴とするものである。
【0017】
また、請求項6に記載の発明は、請求項1〜5のいずれか1項に記載のヘッドマウントディスプレイにおいて、前記非可視の識別コードは赤外線により形成されることを特徴とするものである。
【0018】
また、請求項7に記載の発明は、請求項1〜6のいずれか1項に記載のヘッドマウントディスプレイにおいて、前記コード検出手段は、前記撮像手段の撮像領域内に存在する可視の識別コードを検出可能としており、前記コード検出手段により前記非可視の識別コードを検出する非可視モードと、前記コード検出手段により可視の識別コードを検出する可視モードとを切り替えるモード切替手段を備えたことを特徴とするものである。
【発明の効果】
【0019】
本発明によれば、非可視の識別コードの位置をユーザが特定することが可能であり、特に多数の非可視の識別コードが検出された場合であっても、どの非可視の識別コードに対応付けられたコンテンツが表示されているかを確実に認識することができる。
【図面の簡単な説明】
【0020】
【図1】本実施形態に係るヘッドマウントディスプレイ(HMD)の使用状態を示す説明図である。
【図2】本実施形態に係るHMDの構成を示す説明図である。
【図3】本実施形態に係るHMDを使用して非可視コードに対応付けられた各種コンテンツの表示例の説明図である。
【図4】本実施形態に係るHMDを使用して非可視コードに対応付けられた各種コンテンツの表示例の説明図である。
【図5】本実施形態に係る非可視コードの説明図である。
【図6】本実施形態に係るHMDの電気的構成及び光学的構成を示したブロック図である。
【図7】本実施形態に係る制御部の構成を示したブロック図である。
【図8】本実施形態に係るCCDカメラを内蔵したカメラユニットの構成の説明図である。
【図9】本実施形態に係るHMDのコンテンツ表示処理を示したフローチャートである。
【図10】本実施形態に係るHMDを使用して可視コードに対応付けられた各種コンテンツの表示例の説明図である。
【図11】本実施形態に係るHMDを使用して非可視コードに対応付けられた各種コンテンツの表示例の説明図である。
【図12】本実施形態に係るHMDを使用して非可視コードに対応付けられた各種コンテンツの表示例の説明図である。
【発明を実施するための形態】
【0021】
以下、本実施形態に係るヘッドマウントディスプレイ(以下、「HMD:Head Mount Display」という。)の一例について、図面を参照して説明する。なお、本実施形態では、HMDを、画像信号に基づいて生成した画像光を2次元的に走査し、その走査された画像光を当該HMDの使用者であるユーザの眼に投射して網膜上に結像させる網膜走査型として説明するが、本発明はこれに限定されるものではなく、画像情報に応じた画像光を外光と共にユーザの眼に入射させ、前記画像情報に応じた画像を外景と重ねて表示する表示手段を備えた構成を有するものであれば全てに適用することができる。
【0022】
[1.HMDの概要]
本実施形態に係るHMDは、図1及び図2に示すように、画像情報に応じた画像光500を外光400と共にユーザ100の左眼101に入射させ、前記画像情報に応じた画像を外景と重ねて表示する表示手段としての表示部1を備えている。
【0023】
また、このHMDは、ユーザ100の視野範囲のうち少なくとも表示部1による表示領域を含む範囲を撮像する撮像手段であるCCDカメラ20を有するカメラユニット2を備えるとともに、HMDの動作全体を制御する制御部30を備えている。この制御部30は、前記CCDカメラ20の撮像領域内に存在する非可視の識別コードを検出可能なコード検出手段としての機能と、識別コードに対応付けられた対応情報を記憶した後述するパーソナルコンピュータ300やサーバ310などが備えるハードディスク等の記憶手段から前記コード検出手段によって検出された識別コードに対応する対応情報を読み出し、当該識別コードに対応させて表示部1により表示する制御を行う表示制御手段としての機能とを担っている。
【0024】
そして、コード検出手段及び表示制御手段として機能する制御部30は、検出した識別コードの位置に対応する表示部1の表示位置に、当該識別コードの位置を示す標識情報を表示する制御を行うようにしている。
【0025】
つまり、HMDは、任意の物体に付された非可視の識別コードを検出可能であり、検出した識別コードに対応付けられた対応情報を読み出し、当該対応情報を表示部1により表示きるようにしたものである。本実施形態では、レンタルビデオ店200においてレンタル品211に非可視の識別コード(以下、「非可視コード250」と表すことがある。)を付した態様を例に挙げて説明するが、これに限定されるものではなく、様々な態様で用いることができるものである。
【0026】
尚、非可視コード250は、実際にはユーザから見えないものであるが、説明を分かりやすくするために、本実施形態において図示する場合は点線の枠で区別して表示している。
【0027】
また、非可視コード250は赤外線により形成されるものとしている。すなわち、非可視コード250としては、非可視光(例えば、赤外線や紫外線)を反射或は出射するバーコードやQRコードなどの他、変調して出射された赤外線などがあるが、本実施形態では、赤外線を反射するQRコードを例に挙げて説明する。
【0028】
識別コードに対応付けられた対応情報は、図柄、文字(以下、「テキスト」とも呼ぶ)、静止画像、動画像の中のいずれかの表示態様で表示するようにしている。また、これら図柄、文字、静止画像、動画像に加えて記号で表示したり、あるいはそれらを組み合わせたりした情報としてもよい。このような識別コードに対応付けられた対応情報が、以下ではテキスト情報230または動画像情報240として表示されることになる。また、本実施形態では対応情報をコンテンツと表示することがあり、かかるコンテンツに、さらに音声情報を含む場合についても説明する。
【0029】
図1に示すように、レンタルビデオ店200において棚210に並べられたレンタル品211には非可視コード250が付されており、この非可視コード250に対応付けられた各種コンテンツの表示を、ユーザ100は所定の動作によりHMDの表示部1によりに画像表示(図4参照)させることができる。これにより、ユーザ100は、表示された各種コンテンツを確認した上で、所望するレンタル品211を決定することができる。
【0030】
レンタルビデオ店200には、貸し出し管理用のパーソナルコンピュータ(以下、「パソコン」と略す)300が設置されており、このパソコン300にレンタル品211に対応付けられた各種コンテンツの情報を記憶している。そして、パソコン300とHMDとを無線LAM301を通して通信可能とし、ユーザ100は非可視コード250に対応付けられた各種コンテンツを表示部1に表示させることができる。
【0031】
また、パソコン300は、インターネット302等の通信回線を通じて、レンタル品211に対応付けられた各種コンテンツの情報を記憶したサーバ310と接続されている。すなわち、レンタルビデオ店200に保管されているレンタル品211に対応付けられた各種コンテンツを、インターネット302を通じてサーバ310からもパソコン300を経由してHMDに供給できる構成としている。
【0032】
本実施形態に係るHMDの表示部1は、図2に示すように、ユーザ100の頭部102に装着される投影ユニット1aと、この投影ユニット1aと伝送ケーブル部4を介して接続された光源ユニット1bとから構成されている。
【0033】
投影ユニット1aは、ユーザ100の頭部102に装着する眼鏡フレーム型の装着部11に、外光400の一部が少なくともユーザ100の左眼101に到達する状態で、画像情報に応じた画像光500をハーフミラー10で反射させてユーザ100の左眼101に投射するように取り付けられている。一方、光源ユニット1bは、投影ユニット1aとは別体のコントロールユニット3に内蔵されている。なお、装着部11は眼鏡フレーム型として形成されているため、あたかも眼鏡のように簡単に装着することができる。
【0034】
また、図2に示すように、本実施形態に係るHMDにはイヤホン16が設けられている。このイヤホン16は、例えば、各種コンテンツに音声情報が含まれている場合に、表示部1に表示される画像にあわせて、または単独で音声を再生してユーザ100に提供するためのものである。
【0035】
さらに、図2に示すように、投影ユニット1aの上部には、ユーザ100の左眼101の視野範囲のうち、少なくとも表示部1により表示される表示領域を含む範囲を撮像するカメラユニット2が取付けられている。
【0036】
また、コントロールユニット3には、カメラユニット2に内蔵されたCCDカメラ20(図7及び図8参照)によって撮像された画像を解析して、レンタル品211に付された非可視コード250を検出するコード検出手段、検出した非可視コード250に対応する対応情報としての各種コンテンツを読み出し、非可視コード250に対応させて表示部1に表示する制御を行う表示制御手段として機能する制御部30を配設した構成としている。ところで、この制御部30は、詳しくは後述するが、投影ユニット1aに配設されたCCDカメラ96と共に、ユーザ100の左眼101の視野範囲のうち、左眼101の視線方向を検知する視線方向検出手段としても機能している。
【0037】
かかる構成により、コード検出手段、表示制御手段、及び視線方向検出手段として機能する制御部30は、検出した識別コードのうち、検出したユーザの視線方向にある識別コードを選択し、当該選択した識別コードに応じた対応情報がパソコン300やサーバ310の記憶手段にあるときに当該記憶手段から読み取って表示部1による表示制御を行うのである。すなわち、制御部30は、検出した非可視コード250の検出位置や、ユーザ100の左眼101の視線方向にある非可視コード250に対応付けられた各種コンテンツを、CCDカメラ20によって撮像された画像に重ねて表示部1により表示させることになる。
【0038】
この制御部30は、詳細は図7を用いて後述するが、CPU40、プログラムROM41、フラッシュR0M42、RAM43などを備えたコンピュータからなり、プログラムROM41に格納された制御プログラムに従ってCPU40が各手段として機能することになる。なお、プログラムROM41に格納された制御プログラムの一部は、例えば、CD−R、DVD―R等の記録媒体に付されているものでもよく、その場合、コントロールユニット3に所定の外部接続端子を設けておき、例えば図示しない記録媒体ドライブをこれに接続し、記録媒体を介して例えばフラッシュR0M42に読み込むようにしてもよい。
【0039】
ここで、図3及び4を参照して、本実施形態に係るHMDによって、レンタルビデオ店200におけるレンタル品211に付された非可視コード250を検出し、当該非可視コード250に対応付けられた各種コンテンツを表示する場合について説明する。
【0040】
本実施形態におけるレンタル品211は、図5に示すように、そのパッケージの背面または前面に複数の非可視コード250が付されているが、当然のことながらユーザ100の肉眼では非可視コード250は見えないため、レンタル品211のパッケージに印刷された題名やそれに関連したデザイン、あるいは各種情報欄等の視認性や美観を損ねることが無い。
【0041】
ユーザ100がHMDを装着していない状態であれば、図3(a)に示すように、ユーザ100は、棚210に陳列されたレンタル品211の現物を視認することになる。この状態でユーザ100が所望するレンタル品211を選択する場合は、従来のようにレンタル品211のパッケージに付されている各種情報を直接視認して決定することになる。
【0042】
一方、ユーザ100がHMDを装着した状態で、棚210に陳列されたレンタル品211を見ると、図3(b)に示すように、ユーザ100の視野範囲には、レンタル品211とともに、レンタル品211に付された非可視コード250の位置を示す標識情報201が、非可視コード250の実際の位置に対応して表示部1により画像表示されることになる。また、このとき、ユーザ100の左眼101の視線方向が、CCDカメラ96を介して制御部30により検出され、かかる視線方向を示す十字マークの視線マーカ202が、表示部1による表示領域中に表示される。このとき、非可視コード250として書かれている情報まで読取れなくても位置だけ判別できれば良い(つまり、ある強度以上の赤外反射光を検知できれば良い)ので、遠くからでも非可視コード250の位置を視認できる。
【0043】
さらに、この状態で、ユーザ100が棚210に接近して、非可視コード250の情報が読取れユーザ100の視野範囲内のレンタル品211が所定数以下になると、図4(a)に示すように、レンタル品211に付された非可視コード250の位置を示す標識情報201に加えて、非可視コード250に対応付けられたコンテンツの一つであるテキスト情報230が表示される。
【0044】
このテキスト情報230は、例えば、HMDのユーザ100の視野範囲に検出されたレンタル品211の概要をユーザ100に説明するための文字情報(例えば、レンタル品211のジャンル、主演又は監督名など)で構成されており、やはり標識情報201の一例である。
【0045】
また、非可視コード250に応じた対応情報であるコンテンツとして、上記文字情報以外に、レンタル品211のサンプル動画データなどの動画データなどのサービスコンテンツが含まれている場合がある。
【0046】
その場合、ユーザ100が、所望のレンタル品211に付されている非可視コード250の位置を示す標識情報201に視線を向けて視線マーカ202を所定時間重ね合わせると、非可視コード250の情報に基づいて図4(b)に示すように、レンタル品211のサンプル動画像データが再生されて動画像情報240がサービスコンテンツとして表示される。
【0047】
すなわち、ユーザ100が見つめることで選択した非可視コード250の位置に、この動画像情報240が、当該非可視コード250に応じたよりサービス度合いの高い対応情報がレンタルビデオ店200のパソコン300や、このパソコン300とインターネット302を介して接続したサーバ310の記憶装置等にある旨を示す情報として表示部1により表示されるのである。
【0048】
他方、非可視コード250に応じた対応情報であるコンテンツとして、上述した動画像データなどのようなサービスコンテンツがパソコン300やサーバ310の記憶装置等に存在しない場合は、図示するように、テキスト情報230aには「NO DATA」と表示されるようになっている。すなわち、本実施形態においては、「NO DATA」の表示が無いテキスト情報230aが、非可視コード250に応じた対応情報としてのサービスコンテンツがパソコン300やサーバ310にある旨を示す情報として、表示部1により表示されることになる。
【0049】
なお、本実施形態においては、レンタル品211の概要を文字情報から構成されたテキスト情報230によって表示するようにしたが、ここでのテキスト情報230とは、文字情報のみで構成されるだけではなく、例えば、主演の静止画像等を文字情報に合わせて表示させる構成も含む概念としている。また、当然のことながら動画像情報240にあわせた音声情報等も前述したイヤホン16から同時に出力される。
【0050】
また、非可視コード250に対応したサンプル動画等のサービスコンテンツがパソコン300またはサーバ310(図1参照)から入手できない場合、動画データに代えて静止画像データを用いた静止画を表示してもよいし、また音声情報等のみを出力してもよい。
【0051】
このように、本実施形態に係るHMDを使用した場合は、複数の非可視コード250が検出された場合であっても、非可視コード250の位置を示す標識情報201により、ユーザ100は視野範囲内におけるレンタル品211に付されている非可視コード250の位置を正確に把握することができる。さらに、非可視コード250に対応付けられ、表示された情報(例えば、テキスト情報230)により、レンタル品211の概要を知ることができ、その上、所望するレンタル品211を見つめて、当該レンタル品211に付されている非可視コード250の位置を示す標識情報201に視線を重ねることで、さらに詳細なレンタル品211のサービスコンテンツ(例えば、動画像情報240)を入手することが可能となっている。
【0052】
〔2.HMDの電気的構成及び光学的構成〕
次に、図6及び図7を参照しながら、HMDの電気的構成及び光学的構成について説明する。
【0053】
図6に示すように、HMDは投影ユニット1a、コントロールユニット3及びカメラユニット2を備え、コントロールユニット3内には、HMD全体の動作を統括制御する制御部30と、この制御部30から供給される画像信号Sから画像情報を画素単位で読み出し、読み出した画素単位の画像情報に基づいてR(赤色),G(緑色),B(青色)の各色毎に強度変調された光束を生成して出射する光源ユニット1bが設けられている。本実施形態では、投影ユニット1aと光源ユニット1bとにより表示手段である表示部1が構成されている。なお、光源ユニット1bをコントロールユニット3内に設けるのではなく、投影ユニット1a内に設けるようにしてもよい。また、本実施形態では表示部1として2次元的に走査したレーザ光をユーザ100の左眼101に入射し網膜101b上に画像を投影する網膜走査型の表示部を例に挙げて説明するが、これに限らず、例えば、液晶型の表示部を用いることもできる。液晶型の表示部としては、例えば、透過型液晶パネルに光源からの光を照射してこの液晶パネルを透過した光を画像光として利用者の眼に入射する透過型のものや、反射型液晶パネルに光源からの光を照射してこの液晶パネルを反射した光を画像光として利用者の眼に入射する反射型のものがある。
【0054】
(光源ユニット1b)
光源ユニット1bには、画像を合成するための要素となる信号等を発生する画像信号供給回路6が設けられている。パソコン300から供給される画像データが制御部30に入力されると、制御部30はその画像データに基づいて画像信号Sを生成して画像信号供給回路6に送る。画像信号供給回路6は、画像信号Sに基づいて、画像を形成するための要素となる各信号を画素単位で生成する。すなわち、画像信号供給回路6からは、R(赤色)画像信号60r,G(緑色)画像信号60g,B(青色)画像信号60bが生成されて出力される。また、画像信号供給回路6は、水平走査部80で使用される水平駆動信号61と、垂直走査部90で使用される垂直駆動信号62とをそれぞれ出力する。
【0055】
また、光源ユニット1bには、画像信号供給回路6から画素単位で出力されるR画像信号60r、G画像信号60g、B画像信号60bの各画像信号60r,60g,60bに応じて、それぞれ強度変調されたレーザ光(「光束」とも呼ぶ。)である画像光500を出射するように、Rレーザ63,Gレーザ64,Bレーザ65をそれぞれ駆動するためのRレーザドライバ66,Gレーザドライバ67,Bレーザドライバ68が設けられている。各レーザ63,64,65は、例えば、半導体レーザや高調波発生機構付き固体レーザとして構成することが可能である。なお、半導体レーザを用いる場合は駆動電流を直接強度変調して、レーザ光の強度変調を行うことができるが、固体レーザを用いる場合は、各レーザそれぞれに外部変調器を備えてレーザ光の強度変調を行う必要がある。
【0056】
さらに、光源ユニット1bは、各レーザ63,64,65より出射されたレーザ光を平行光にコリメートするように設けられたコリメート光学系71,72,73と、このコリメートされたレーザ光を合波するためのダイクロイックミラー74,75,76と、合波されたレーザ光を光ファイバケーブル50に導く結合光学系77とが設けられている。
【0057】
従って、各レーザ63、64、65から出射したレーザ光は、コリメート光学系71,72,73によってそれぞれ平行化された後に、ダイクロイックミラー74,75,76に入射される。その後、これらのダイクロイックミラー74,75,76により、各レーザ光がそれぞれ有する波長に関して選択的に反射・透過される。そして、これら3つのダイクロイックミラー74,75,76にそれぞれ入射した3原色のレーザ光は、波長選択的に反射または透過して結合光学系77に達し、集光されて光ファイバケーブル50へ出力される。
【0058】
(投影ユニット1a)
光源ユニット1bとユーザ100の左眼101との間に位置する投影ユニット1aには、光源ユニット1bで生成され、光ファイバケーブル50を介して出射されるレーザ光を平行光化するコリメート光学系79と、このコリメート光学系79で平行光化されたレーザ光を画像表示のために水平方向に往復走査する水平走査部80と、水平走査部80で水平方向に走査されたレーザ光を垂直方向に走査する垂直走査部90と、水平走査部80と垂直走査部90との間に設けられた第1リレー光学系85と、このように水平方向と垂直方向に走査されたレーザ光を瞳孔101aへ出射するための第2リレー光学系95とが設けられている。
【0059】
水平走査部80及び垂直走査部90は、光ファイバケーブル50から入射されたレーザ光を画像としてユーザ100の網膜101bに投影可能な状態にするために、水平方向と垂直方向に走査して走査光束とする光学系であり、水平走査部80は、レーザ光を水平方向に走査するため偏向面を有する共振型の偏向素子81と、この偏向素子81を共振させて偏向素子81の偏向面を揺動させる駆動信号を水平駆動信号61に基づいて発生する水平走査駆動回路82を備えている。
【0060】
一方、垂直走査部90は、レーザ光を垂直方向に走査するため偏向面を有する非共振型の偏向素子91と、この偏向素子91の偏向面を非共振状態で揺動させる駆動信号を垂直駆動信号62に基づいて発生する垂直走査制御回路92とを備え、表示すべき画像の1フレームごとに、画像を形成するためのレーザ光を最初の水平走査線から最後の水平走査線に向かって垂直に走査する。ここで「水平走査線」とは、水平走査部80による水平方向への1走査を意味する。
【0061】
なお、偏向素子81,91は、ここではガルバノミラーを用いることとするが、レーザ光を走査するようにその偏向面(反射面)を揺動又は回転させられるものであれば、圧電駆動、電磁駆動、静電駆動等いずれの駆動方式によるものであってもよい。また、本実施形態においては、水平走査部80に共振タイプの偏向素子を用い、垂直走査部90を非共振タイプの偏向素子を用いることとしているが、これに限らず、例えば、共振タイプの偏向素子を用いてもよく、どちらも非共振タイプの偏向素子としてもよい。
【0062】
また、水平走査部80と垂直走査部90との間でレーザ光を中継する第1リレー光学系85は、偏向素子81の偏向面によって水平方向に走査されたレーザ光を偏向素子91の偏向面に収束させる。そして、このレーザ光が偏向素子91の偏向面によって垂直方向に走査され、正の屈折力を持つ2つのレンズ95a,95bが直列配置された第2リレー光学系95を介して、左眼101の前方に位置させたハーフミラー10で反射されてユーザ100の瞳孔101aに入射し、網膜101b上に画像信号Sに応じた画像が投影される。これにより、ユーザ100はこのように瞳孔101aに入射する画像光500であるレーザ光を、画像として認識する(図3及び図4を参照)。
【0063】
なお、第2リレー光学系95においては、レンズ95aによって、それぞれのレーザ光がそのレーザ光の中心線を相互に略平行にされ、かつそれぞれ収束レーザ光に変換される。そして、レンズ95bによってそれぞれほぼ平行なレーザ光となると共に、これらのレーザ光の中心線がユーザ100の瞳孔101aに収束するように変換される。
【0064】
また、第2リレー光学系95とハーフミラー10との間には、ハーフミラー97が設けられており、このハーフミラー97によりユーザ100の左眼101及びその周辺で反射した光をCCDカメラ96へ入射するようにしている。制御部30は、CCDカメラ96で撮像した画像からユーザ100の左眼101の虹彩位置に基づいて、ユーザ100の視線方向を検出する。
【0065】
(制御部30)
制御部30は、その内部に記憶されている制御プログラムにしたがって後述する所定の処理を実行することによって、前述したコード検出手段、表示制御手段、及び視線方向検出手段等として機能する。
【0066】
図7に示すように、制御部30は、各コントローラ31,32,34,36と、各VRAM(Video Random Access Memory)33,35,37と、周辺機器インターフェース(図中「I/F」と示し、以下「I/F」とも呼ぶ。)38と、通信I/F39と、を備えている。
【0067】
主コントローラ31は、CPU(Central Processing Unit)40と、プログラムROM(Read Only Memory)41と、不揮発性メモリであるフラッシュROM(フラッシュメモリ)42と、RAM(Random Access Memory)43とを備えており、これらはデータ通信用のバスにそれぞれ接続されており、このデータ通信用のバスを介して各種情報の送受信を行う。
【0068】
CPU40は、プログラムROM41に記憶されている制御プログラムを実行することにより、主コントローラ31としてHMDを構成する各部を動作させて、HMDが備える各種機能を実行させる演算処理装置である。また、フラッシュROM42は、CCDカメラ20,96などから出力される画像データや、画像の輝度の設定値などを記憶する。
【0069】
HMD用コントローラ32は、主コントローラ31からの要求に応じて表示部1を制御し、主コントローラ31によりHMD用VRAM33に記憶された画像データに基づいた画像信号Sを表示部1に供給する。表示部1は、HMD用コントローラ32から画像信号Sが入力されると、この画像信号Sに基づいて強度変調した各色のレーザ光を生成及び走査してユーザ100の左眼101に出射し、ユーザ100の網膜101bに画像信号Sに応じた画像を投影する。これによって、主コントローラ31は、画像を表示させる制御を行う。
【0070】
カメラ用コントローラ34は表示部1内に配置された撮像手段であるCCDカメラ96を制御し、カメラ用VRAM35はCCDカメラ96から出力される画像データを一時的に記憶する。主コントローラ31は、ユーザ100の視線方向を認識するために、カメラ用コントローラ34を介してCCDカメラ96を制御し、ユーザ100の眼及びその周辺をCCDカメラ96により撮像させ、CCDカメラ96から出力される画像データをカメラ用VRAM35を介して取得する。これによって、主コントローラ31は、CCDカメラ96によって撮像された画像を取得することができ、詳しくは後述するが、その画像を解析することによって、ユーザ100の視線方向を認識している。
【0071】
カメラ用コントローラ36はカメラユニット2に内蔵された撮像手段であるCCDカメラ20を制御し、カメラ用VRAM37はCCDカメラ20から出力される画像データを一時的に記憶する。主コントローラ31は、非可視コード250を検出するために、カメラ用コントローラ36を介してCCDカメラ20を制御し、ユーザ100の視野範囲のうち少なくとも表示部1による画像の表示領域を含む範囲をCCDカメラ20により撮像させ、CCDカメラ20から出力される画像データをカメラ用VRAM37を介して取得する。これによって、主コントローラ31は、CCDカメラ20によって撮像された画像を取得することができ、詳しくは後述するが、その画像を解析することによって、レンタル品211に付された非可視コード250を認識している。なお、CCDカメラ20,96によって撮像された画像の処理をするために主コントローラ31内に別途画像処理部をハードウェアで構成することにより画像処理を高速に行うことができる。
【0072】
周辺機器I/F38は、イヤホン16(図2参照)、電源スイッチやランプ類等(図示せず)の周辺機器5をコントロールユニット3に接続するためのインターフェースである。例えば、イヤホン16、電源スイッチやランプ類が周辺機器I/F38に接続されたとき、主コントローラ31は、電源スイッチ等のスイッチ類からの操作情報を周辺機器I/F38から受け取り、周辺機器I/F38を介してランプ類の点灯情報をランプ類に供給するとともに、CPU40からの音声出力指示に基づいて、所定の音声をイヤホン16へ出力する。
【0073】
通信I/F39は、コントロールユニット3とパソコン300とを通信可能に制御する。主コントローラ31は、例えば、通信I/F39を介して画像データの供給をパソコン300に要求し、パソコン300に接続された無線LAM301から通信I/F39を介して無線により供給された画像データに基づいた画像信号SをHMD用コントローラ32により表示部1に供給する。
【0074】
なお、上述においては、撮像手段としてCCDカメラ20,96を用いることとしたが、これに限られず、CMOSカメラなどを用いてもよい。
【0075】
ところで、コード検出手段として機能する制御部30は、詳しくは図10を用いて後述するが、CCDカメラ20の撮像領域内に存在する可視コード260を検出可能としている。そして、非可視コード250を検出する非可視モードと、可視コード260を検出する可視モードとを切り替えるモード切替手段を備えており、本実施形態では、このモード切替手段をカメラユニット2に設けている。
【0076】
[カメラユニット2の構成]
ここで、図8を参照し+ながら、HMDに付設されているカメラユニット2の構成について説明しながら、前述のモード切替手段について説明する。図8(a)は、カメラユニット2の概観を示す図、図8(b)及び図8(c)は、カメラユニット2の内部構成を示す透過図である。
【0077】
図示するように、カメラユニット2は、CCDカメラ20、赤外線照射器21、レンズ22、フィルタ24(赤外線非透過フィルタ24a、赤外線透過フィルタ24b)、切換ボタン23、ソレノイド25を備えている。
【0078】
すなわち、カメラユニット2は、筒状の筐体内に、その筐体の中心軸上にCCDカメラ20を配設するとともに、このCCDカメラ20の上方位置に赤外線照射器21を配設している。そして、CCDカメラ20に対応するように、筐体の前面部中央にレンズ22を配設し、このレンズ22とCCDカメラ20との間に、赤外線非透過フィルタ24a及び赤外線透過フィルタ24bが上下に配置されたフィルタ24を配設している。そして、切換ボタン23と、この切換ボタン23の操作により駆動してフィルタ24を上下に所定の距離で移動させるソレノイド25を収納した構成としている。
【0079】
そして、非可視コード250が付されたレンタル品211(図4参照)に関する情報を取得する非可視モードでは、図8(b)に示すように、ユーザ100は切換ボタン23を操作して、赤外線透過フィルタ24bがCCDカメラ20の前面に位置するように動作させる。これにより、レンズ22から入射する外光が赤外線非透過フィルタ24aを介してCCDカメラ20に入射する。なお、赤外線非透過フィルタ24aに代えて、フィルタ24に単に開口を設け、この開口から全ての光が入射するようにしてもよい。
【0080】
一方、通常の可視コード260(例えば、可視色のQRコード等)が付されたレンタル品211(図10参照)を確認する可視モードでは、図8(c)に示すように、ユーザ100は切換ボタン23を操作して、フィルタ24の赤外線非透過フィルタ24aがCCDカメラ20の前面に位置するように動作させる。これにより、レンズ22から入射する外光は赤外線非透過フィルタ24aを介してCCDカメラ20に入射する。
【0081】
このように、本実施形態におけるHMDでは、非可視コード250(図3参照)または可視コード260(図10参照)のいずれの識別コードがレンタル品211に付されている場合でも、ユーザ100による切換ボタン23の操作に応じて速やかに切換えることができる。このように、カメラユニット2を構成する、切換ボタン23、フィルタ24(赤外線非透過フィルタ24a及び赤外線透過フィルタ24b)、ソレノイド25が本実施形態におけるモード切換手段として機能することとなる。
【0082】
なお、前記赤外線照射器21は、少なくともCCDカメラ20の撮像領域に赤外線を照射可能であり、これにより非可視コード250の検出を容易にしている。また、この赤外線照射器21は、ユーザ100の切換ボタン23の操作に応じたソレノイド25の位置に応じて、赤外線透過フィルタ24bがCCDカメラ20の前方位置にセットされている場合にのみ、ユーザ100の視野範囲内の非可視コード250に対して、赤外線の照射を行うようにしており、これにより余分な消費電力を抑えている。
【0083】
[非可視コード読取制御処理]
ここで、制御部30における主コントローラ31の処理の一例について、図9を参照して説明する。図9は複数の非可視コード250を読み取り、その非可視コード250に対応付けられた各種コンテンツを表示する非可視コード読取制御処理を示したフローチャートである。なお、本フローチャートでは、HMDの電源スイッチ(図示せず)は既にオン操作されており、電源スイッチがオン操作された後の初期設定処理などは全て完了し、さらに、図1に示すように、ユーザ100がHMDを頭部に装着した状態で、レンタルビデオ店200において、レンタル品211が陳列された棚210を確認する場合に実行されるものである。
【0084】
図9に示すように、主コントローラ31のCPU40は、CCDカメラ20によりユーザ100の視野範囲の撮像する(ステップS101)。
【0085】
次いで、CPU40は、CCDカメラ20で撮像した画像を解析して、CCDカメラ20の撮像範囲に非可視コード250を検出したか否かを判定する(ステップS102)。
【0086】
すなわち、前述したように、CPU40は、カメラ用VRAM37を介してCCDカメラ20が撮像した画像データを取得し、その中に、赤外線を反射して識別できる非可視コード250がある場合に、非可視コード250を検出したものと判定しており、かかる非可視コード250が複数検知された場合でも、それぞれの非可視コード250を判別することを可能としている。
【0087】
ステップS102において、CCDカメラ20の撮像範囲に非可視コード250を検出していないと判定した場合(ステップS102:No)は、CPU40は処理をステップS101に移して、再度CCDカメラ20によりユーザ100の視野範囲を撮像する。一方、CCDカメラ20の撮像範囲に非可視コード250を検出したと判定した場合は(ステップS102:Yes)、CPU40はステップS103に処理を移す。
【0088】
そして、CPU40は、検出した非可視コード250に位置に合わせて標識情報201を重畳してHMDに表示する表示制御を実行する(ステップS103)。
【0089】
このCCDカメラ20の撮像範囲で検出した非可視コード250の位置に標識情報201を重ねて表示することで、図4(b)に示すように、通常はユーザ100の肉眼では識別できない非可視コード250の位置が標識情報201により特定されることになる。
【0090】
次いで、CPU40は、CCDカメラ20の撮像範囲で検出した非可視コード250の数が所定数以下か否かを判断する(ステップS104)。そして、検出した非可視コード250の数が所定数以下でないと判別した場合(ステップS104:No)は、CPU40は処理をステップS101に移して、再度非可視コード250の検出処理を行う。一方、検出した非可視コード250の数が所定数以下であると判別した場合(ステップS104:Yes)は、CPU40は、検出した非可視コード250の位置に合わせてテキスト情報230を重畳してHMDに表示する表示制御を実行する(ステップS105)。
【0091】
かかる処理により、図4(a)で示すように、CCDカメラ20の撮像範囲で検出した非可視コード250の位置に対応したテキスト情報230が表示されることになり、ユーザ100は、棚210に陳列されたレンタル品211の概要を、HMDで表示されるテキスト情報230を読むことで知ることが可能となる。
【0092】
次に、CPU40は、ユーザ100がCCDカメラ20の撮像範囲で検出した複数の非可視コード250のうちの一つに視線を向けたか否かを判断する(ステップS106)。そして、一つの非可視コード250に所定時間視線を向けたと判別した場合(ステップS106:Yes)は、CPU40は処理をステップS107に移す。一方、一つの非可視コード250に所定時間視線を向けていないと判別した場合(ステップS106:No)は、CPU40は処理をステップS108に移す。
【0093】
このステップS106の処理においては、CPU40は、図4に示すように、ユーザ100が任意に視線方向を示す十字マークの視線マーカ202を移動させ、CCDカメラ20の撮像範囲で検出した複数の非可視コード250のうちから、任意の非可視コード250を示す標識情報201に視線マーカ202を重ね合わせた(つまり、ユーザ100が任意の非可視コード250に視線を向けた)時間を計測し、計測した時間が所定時間(例えば、3秒)以上の場合に、ユーザ100が当該非可視コード250を選択したものであると判別する。
【0094】
なお、このステップS106の処理において、当該非可視コード250に対応した標識情報201に加えてテキスト情報230にユーザ100の視線方向を示す視線マーカ202を重ねた場合を当該非可視コード250の選択としてもよい。これにより、標識情報201またはテキスト情報230のいずれかに視線マーカ202を重ねることで非可視コード250を選択したと判別されるので、ユーザ100が視線方向を移動させて所望の非可視コード250を選択する作業を容易とすることができる。
【0095】
ステップS107において、CPU40は、視線が向けられた非可視コード250に対応付けられたサービスコンテンツである動画像情報240を重畳してHMDに表示する表示制御を実行する。
【0096】
かかる処理により、図4(b)で示すように、CCDカメラ20の撮像範囲で検出した複数の非可視コード250の中から、ユーザ100が所定時間視線を向けた任意の非可視コード250に対応した動画像情報240がHMDで表示されることになり、ユーザ100は、所望するレンタル品211の詳細を知ることが可能となる。
【0097】
次に、CPU40は、動画像情報240が表示された状態で、決定トリガーを検出したか否かを判断する(ステップS108)。そして、決定トリガーを検出したと判別した場合(ステップS108:Yes)は、CPU40はステップS109に処理を移す。一方、決定トリガーを検出していない判別した場合(ステップS108:No)は、CPU40はステップS110に処理を移す。
【0098】
この決定トリガーの検出は、例えば、所定の決定スイッチ(図示せず)をコントロールユニット3に付設して、ユーザ100による決定スイッチ(図示せず)の操作を検出したときに行われるものであるが、ユーザ100がHMDで表示される動画像情報240を所定時間(例えば、3分)確認したことを検出したときとしてもよい。
【0099】
そして、CPU40は、決定トリガーを検出した場合に、動画像情報240を表示中の非可視コード250の情報(つまり、決定トリガーを検出した場合に選択された非可視コード250を特定するための情報)を、RAM43の所定の領域に記憶する(ステップS109)。この処理で記憶された非可視コード250の情報は、最終的にパソコン300(図1参照)に送信されることにより、当該レンタルビデオ店200におけるユーザ100のレンタル品211の決定に用いられることになる。
【0100】
最後に、CPU40は、非可視コード読取制御処理を終了するか否かを判断する(ステップS110)。そして、非可視コード読取制御処理を終了しない場合は、再度CCDカメラ20によるユーザ100の視野範囲の撮像処理(ステップS101)に処理を移す。
【0101】
この処理において、非可視コード読取制御処理を終了する場合は、ユーザ100が当該レンタルビデオ店200におけるレンタル品211の借り入れ作業を終了又は中止することであり、装備したHMDの電源を切るか、あるいはユーザ100に貸出されたHMDをレンタルビデオ店200のカウンタ等に返却することで、非可視コード読取制御処理は終了することになる。
【0102】
このように、本実施形態に係るHMDでは、複数の非可視コード250が検出された場合であっても、ユーザ100が付されている非可視コード250の位置を特定することが可能であり、また、複数の非可視コード250に対応付けられたコンテンツがそれぞれの非可視コード250に対応して表示されるため、従来のレンタルビデオ店のように、所望するレンタル品211のパッケージ等を確認しながら、借り入れるレンタル品211を決定することなく、HMDに表示された各種コンテンツを確認しながら容易にレンタル品211を決定することができる。また、各種コンテンツの中には、動画像情報240も含まれるため、ユーザ100が既に選択したレンタル品211を見たかどうかが容易に判断できるため、レンタル品211の2重借り入れ等を防止することができる。
【0103】
なお、上述の実施形態では、非可視コード250に対応付けられたコンテンツのうち、テキスト情報230、動画像情報240の順に表示するようにしているが、これに限られるものではなく、表示するコンテンツの種類は適宜選択することが可能である。
【0104】
ここで、図10を参照して、レンタルビデオ店200におけるレンタル品211に付された可視できる識別コード(可視コード260)に対応する可視モードにおける各種コンテンツの表示について説明する。なお、この可視コード260として、例えば、可視色の1次元バーコードやQRコード(2次元バーコード)などがある。
【0105】
図10(a)に示すように、ユーザ100はHMDを装着した状態で、棚210に陳列されたレンタル品211と、レンタル品211の所定の位置に付されている可視コード260を確認することになる。
【0106】
そして、ユーザ100の視野範囲には、レンタル品211とともに、レンタル品211に付された可視コード260と、可視コード260に対応付けられたテキスト情報230が表示部1により重畳して画像表示されることになる。なお、この場合にユーザ100の左眼101の視線方向は、十字マークの視線マーカ202によりユーザ100の視野範囲に表示されている。
【0107】
さらに、この状態では、前述した非可視コード250とは異なり、可視コード260の位置はユーザ100が肉眼で確認できるため、可視コード260の位置を示す標識情報201を表示する必要はなく、可視コード260に対応付けられたテキスト情報230のみが表示されることになる。このテキスト情報230は、例えば、HMDのユーザ100の視野範囲に検出されたレンタル品211の概要をユーザ100に説明するための文字情報(例えば、レンタル品211のジャンル、主演又は監督名など)で構成されている。
【0108】
そして、ユーザ100が、任意のレンタル品211に付されている可視コード260に視線マーカ202を所定時間(例えば、3秒)重ね合わせると、図10(b)に示すように、動画像情報240において、レンタル品211のサンプル動画像が再生されることになる。
【0109】
すなわち、本実施形態に係るHMDを使用した場合は、非可視コード250(図3参照)または可視コード260(図10参照)のいずれの識別コードがレンタル品211に付されている場合でも、カメラユニット2に付設されている切換ボタン23(つまり、モード切換手段)をユーザ100が操作することにより、表示された各種コンテンツにより、レンタル品211の概要を知ることができ、その上、所望するレンタル品211に付されている可視コード260に視線を移動させることで、さらに詳細なレンタル品211のコンテンツを入手することを可能としている。
【0110】
なお、カメラユニット2において、フィルタ24における赤外線非透過フィルタ24aと赤外線透過フィルタ24bとを時分割で交互にCCDカメラ20の前方に配置する機能を設けて、非可視コード250と可視コード260とを検出し、これらの識別コードに対応するコンテンツを表示部1に同時表示させるようにしてもよい。
【0111】
(他の実施形態)
ところで、上述してきた実施形態では、複数の非可視コード250を検出した場合は、検出した複数の非可視コード250に対応した各種コンテンツを、CCDカメラ20の撮像範囲で撮像した画像に重畳してHMDに表示する表示制御を実行していたが、他の実施形態として、図11及び図12に示すように、ユーザ100が所望するジャンルに特定して、レンタル品211の各種コンテンツをCCDカメラ20の撮像範囲で撮像した画像に重畳してHMDに表示する表示制御を実行することもできる。
【0112】
つまり、図11(a)に示すように、CCDカメラ20の撮像範囲で検出した複数の非可視コード250全てに対応させて、標識情報201及びテキスト情報230を表示するのではなく、図11(b)及び図12に示すように、当該レンタルビデオ店200におけるユーザ100のレンタル履歴から、ユーザ100の嗜好に合ったジャンルの標識情報201及びテキスト情報230のみを絞り込んで表示する。
【0113】
図11(b)に表示されている非可視コード250に対応した標識情報201及びテキスト情報230は、当該レンタルビデオ店200におけるユーザ100のレンタル履歴から、ユーザ100は「アクション」のジャンルを主に借り入れているため、その「アクション」のジャンルに特定して、標識情報201及びテキスト情報230を表示させた一例である。
【0114】
同様にして、図12に表示されている非可視コード250に対応した標識情報201及びテキスト情報230は、当該レンタルビデオ店200におけるユーザ100のレンタル履歴から、ユーザ100は「アニメ」のジャンルを主に借り入れているため、その「アニメ」のジャンルに特定して、標識情報201及びテキスト情報230を表示させた一例である。
【0115】
このように、予めユーザ100の嗜好に合ったジャンルの標識情報201及びテキスト情報230のみを表示することで、ユーザ100は、大量に棚210に陳列されているレンタル品211の中から、自分の好みのジャンルにおけるレンタル品211を速やかに見つけ出すことが可能となる。
【0116】
なお、図11(b)及び図12に示すように、当該レンタルビデオ店200におけるユーザ100のレンタル履歴から、ユーザ100の嗜好に合ったジャンルの非可視コード250に対応した標識情報201及びテキスト情報230のみが表示されている場合でも、その後に、ユーザ100が表示されている任意の非可視コード250の位置を示す標識情報201の一つに、ユーザ100の視線方向を示す視線マーカ202を所定時間(例えば、3秒)重ね合わせた場合には、当該非可視コード250に対応付けられた動画像情報240が再生されることになる。
【0117】
また、上述した他の実施形態における当該レンタルビデオ店200におけるユーザ100のレンタル履歴から特定されるジャンルは、一つに限らず複数ジャンルを設定することも可能である。さらに、ユーザ100がジャンルを特定したい場合とそうでない場合の切換えは、例えば、コントロールユニット3に専用の選択ボタン等を設けて、速やか切換えられる構成とすることが望ましい。
【0118】
上述してきたように、本実施形態によれば、以下の効果が期待できる。
【0119】
(1)画像情報に応じた画像光を外光と共にユーザ100の眼に入射させ、画像情報に応じた画像を外景と重ねて表示する表示部1(表示手段)と、ユーザ100の視野範囲のうち少なくとも表示部1による表示領域を含む範囲を撮像するCCDカメラ20(撮像手段)と、このCCDカメラ20によって撮像された画像の撮像領域内に存在する非可視コード250を検出可能であり、かつ非可視コード250に対応付けられた対応情報(テキスト情報230、動画像情報240などのコンテンツ)を記憶した記憶手段から読み出し、当該非可視コード250に対応させて表示部1により表示する制御を行う制御部30(コード検出手段、表示制御手段)と、を備えたHMDにおいて、制御部30は、検出した複数の非可視コード250の位置に対応する表示手段の表示位置に、当該非可視コード250の位置を示す標識情報201を表示する。したがって、例えば、通常はユーザ100の肉眼では認識できない非可視コード250の位置を特定することが可能となる。これにより非可視コード250を見逃さずに容易に読み取って関連コンテンツ情報を取得することができる。
【0120】
(2)ユーザ100の視線方向を検出するCCDカメラ96及び制御部30(視線方向検出手段)を備え、コード検出手段及び表示制御手段として機能する制御部30は、検出した非可視コード250のうち、CCDカメラ96により検出したユーザ100の視線方向にある非可視コード250を選択し、当該選択した非可視コード250に応じた対応情報(テキスト情報230、動画像情報240などのコンテンツ)をパソコン300やサーバ310の記憶手段から読み取って表示するため、ユーザ100は所定の非可視コード250の位置を示す標識情報201に視線方向示す視線マーカ202を重ねるだけで、対応情報を表示させる非可視コード250を選択することが可能となる。
【0121】
(3)制御部30(表示制御手段)は、選択した非可視コード250の位置に、当該非可視コード250に応じた対応情報(テキスト情報230、動画像情報240などのコンテンツ)が記憶手段にある旨を示す情報を表示手段により表示するため、ユーザ100は、当該非可視コード250の対応情報(テキスト情報230、動画像情報240などのコンテンツ)の有無を容易に知ることが可能となる。
【0122】
(4)制御部30(表示制御手段)は、選択した非可視コード250に応じた対応情報(テキスト情報230、動画像情報240)を前記表示手段により表示するため、ユーザ100は、非可視コード250が付された物体(例えば、レンタル品211)に対応付けられた情報により、物体(例えば、レンタル品211)の概要を知ることが可能となる。
【0123】
(5)制御部30(表示制御手段)は、非可視コード250に対応付けられた対応情報(テキスト情報230、動画像情報240などのコンテンツ)を、図柄、文字、静止画像、動画像の中のいずれかの表示態様で表示するため、ユーザ100は、非可視コード250が付された物体(例えば、レンタル品211)に対応付けられた情報を、様々なコンテンツで把握することが可能となる。
【0124】
(6)非可視コード250は赤外線により形成されるため、通常はユーザ100の肉眼では認識できない非可視コード250を、例えば、赤外線を照射して、その反射を赤外線透過フィルタ24bを通して、CCDカメラ20(撮像手段)に撮像することで、非可視コード250を検出することが可能となる。なお、本実施形態に係る非可視コード250は、赤外線を反射するタイプのものだけではなく、例えば、非可視コード250から赤外線を射出するタイプのもの用いることも可能である。
【0125】
(7)制御部30(コード検出手段)は、CCDカメラ20(撮像手段)の撮像領域内に存在する可視コード260を検出可能としており、コード検出手段により非可視コード250を検出する非可視モードと、コード検出手段により可視コード260を検出する可視モードとを切り替えるモード切替手段を備えているため、ユーザ100は、非可視コード250と可視コード260の何れかまたは両方が付された物体(例えば、レンタル品211)であっても、HMDに表示されるその物体に対応付けられた情報(各種コンテンツ)により、物体の概要を把握することが可能となる。
【0126】
なお、上述してきた実施形態では、赤外線照射器21(図8参照)により赤外線を照射して、非可視コード250に反射した赤外線を、CCDカメラ20の前面に設けられた赤外線透過フィルタ24bを通して撮像することで、非可視コード250を検出するようにしたが、本発明はこれに限定されるものではなく、例えば、CCDカメラ20が暗視カメラのように高感度のものであれば、特に赤外線照射器21は必要ではなく、自然光に含まれる赤外線を反射して、非可視コード250を検知することも可能である。
【0127】
また、従来の非可視の識別コードの種類によっては、赤外線を反射するものではなく、例えば、紫外線を反射する透明バーコードなども開発されており、この場合は、赤外線の代わりに紫外線を照射して、さらに、CCDカメラ20の前面に紫外線透過フィルタなどを設けることにより、紫外線を反射することによりCCDカメラ20で撮像された透明バーコードを検出することも可能である。
【0128】
以上、各実施形態を通して本発明を説明してきたが、本発明はこれらに限定されるものではない。また、上述した各効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本実施の形態に記載されたものに限定されるものではない。
【符号の説明】
【0129】
1 表示部(表示手段)
1a 投影ユニット
1b 光源ユニット
2 CCDカメラユニット
20 CCDカメラ
3 コントロールユニット
30 制御部(コード検知手段、表示制御手段、視線方向検出手段)
31 主コントローラ
40 CPU
96 CCDカメラ
100 ユーザ
250 非可視コード
260 可視コード
400 外光
500 画像光
【技術分野】
【0001】
本発明は、ヘッドマウントディスプレイに関する。
【背景技術】
【0002】
従来、図柄、文字、静止画像、動画像、あるいはそれらの組み合わせで構成された各種コンテンツを記憶する記録媒体と、それを再生する手段として、例えば、液晶表示装置等の表示手段により各種コンテンツを画像として表示するパーソナルコンピュータ等の情報処理装置が広く知られている。
【0003】
また、近年ではパーソナルコンピュータ等をインターネット等の情報網に接続して、ユーザが望む各種コンテンツを入手して、前記表示手段により画像として表示させることも広く一般に行われている。
【0004】
そして、従来の据え置き式の液晶表示装置等ではなく、ユーザが頭部に装備して、表示手段により表示された画像情報等の各種コンテンツを個人的に楽しむことが可能な、ヘッドマウントディスプレイが開発されている。
【0005】
このようなヘッドマウントディスプレイとしては、小型の液晶を装備して、当該液晶に画像情報を表示することでユーザに各種コンテンツを視認させる方式のHMDや、画像情報に応じた画像光を外光と共にユーザの眼に入射させ、前記画像情報に応じた画像を外景と重ねて表示するシースルー型のヘッドマウントディスプレイなどが開発されている。
【0006】
かかるシースルー型のヘッドマウントディスプレイの使用形態として、例えば、特許文献1に示すように、掲示物等に付された非可視の識別コードに対して赤外線を照射させ、反射させることによって得ることができる識別コードID等に基づき、識別コードに対応付けられた対応情報であるコンテンツが、その識別コードに重ねて対応付けて表示される装置が開示されている。
【0007】
この場合、ユーザがシースルー型のヘッドマウントディスプレイを通して直接掲示物等を確認すると、掲示物等に付された非可視の識別コードID等に基づき、識別コードに対応付けられたコンテンツが自動的に表示されるため、ユーザは、掲示物等の記載と識別コードに対応付けられたコンテンツとを同時に重ねあわせて確認することが可能となっている。
【先行技術文献】
【特許文献】
【0008】
【特許文献1】特開2003−242168号公報
【発明の概要】
【発明が解決しようとする課題】
【0009】
ところが、上記従来の装置では、掲示物等に付された非可視の識別コードに赤外線を照射して、その反射によって非可視の識別コードID等を認識することはできるものの、掲示物等に付された非可視の識別コードの位置を特定することはできなかった。従って、掲示物等に識別コードが付与されているのか、付与されていればどの位置にあるのか特定できずに、本来見えるべきコンテンツを見逃したりした。
【0010】
しかも、複数の非可視の識別コードが同時に検出された場合には、表示されるコンテンツがどの識別コードに対応付けられているのかを明確に認識することができなかった。
【0011】
本発明は、上述したような課題に鑑みてなされたものであり、多数の非可視の識別体が検出された場合であっても、ユーザが非可視の識別コードの位置を特定することが可能であり、また、どの非可視の識別コードに対応付けられたコンテンツが表示されているかを認識することができるヘッドマウントディスプレイを提供することを目的とする。
【課題を解決するための手段】
【0012】
上記目的を達成するために、請求項1に記載の発明は、画像情報に応じた画像光を外光と共にユーザの眼に入射させ、前記画像情報に応じた画像を外景と重ねて表示する表示手段を備えたヘッドマウントディスプレイにおいて、前記ユーザの視野範囲のうち少なくとも前記表示手段による表示領域を含む範囲を撮像する撮像手段と、前記撮像手段の撮像領域内に存在する非可視の識別コードを検出可能なコード検出手段と、識別コードに対応付けられた対応情報を記憶した記憶手段から前記コード検出手段によって検出された識別コードに対応する対応情報を読み出し、当該識別コードに対応させて前記表示手段に表示する制御を行う表示制御手段と、を備え、前記表示制御手段は、前記コード検出手段によって検出された識別コードの位置に対応する前記表示手段の表示位置に、当該識別コードの位置を示す標識情報を表示する制御を行うことを特徴とするものである。
【0013】
また、請求項2に記載の発明は、請求項1に記載のヘッドマウントディスプレイにおいて、ユーザの視線方向を検出する視線方向検出手段を備え、前記表示制御手段は、前記コード検出手段によって検出された識別コードのうち、前記視線方向検出手段により検出したユーザの視線方向にある識別コードを選択し、当該選択した識別コードに応じた対応情報が前記記憶手段にあるときに当該記憶手段から読み取って表示制御を行うことを特徴とするものである。
【0014】
また、請求項3に記載の発明は、請求項2に記載のヘッドマウントディスプレイにおいて、前記表示制御手段は、前記選択した識別コードの位置に、当該識別コードに応じた対応情報が前記記憶手段にある旨を示す情報を前記表示手段により表示することを特徴とするものである。
【0015】
また、請求項4に記載の発明は、請求項2又は請求項3に記載のヘッドマウントディスプレイにおいて、前記表示制御手段は、前記選択した識別コードに応じた対応情報を前記表示手段により表示することを特徴とするものである。
【0016】
また、請求項5に記載の発明は、請求項1〜4のいずれか1項に記載のヘッドマウントディスプレイにおいて、前記表示制御手段は、前記識別コードに対応付けられた対応情報を、図柄、文字、静止画像、動画像の中のいずれかの表示態様で表示することを特徴とするものである。
【0017】
また、請求項6に記載の発明は、請求項1〜5のいずれか1項に記載のヘッドマウントディスプレイにおいて、前記非可視の識別コードは赤外線により形成されることを特徴とするものである。
【0018】
また、請求項7に記載の発明は、請求項1〜6のいずれか1項に記載のヘッドマウントディスプレイにおいて、前記コード検出手段は、前記撮像手段の撮像領域内に存在する可視の識別コードを検出可能としており、前記コード検出手段により前記非可視の識別コードを検出する非可視モードと、前記コード検出手段により可視の識別コードを検出する可視モードとを切り替えるモード切替手段を備えたことを特徴とするものである。
【発明の効果】
【0019】
本発明によれば、非可視の識別コードの位置をユーザが特定することが可能であり、特に多数の非可視の識別コードが検出された場合であっても、どの非可視の識別コードに対応付けられたコンテンツが表示されているかを確実に認識することができる。
【図面の簡単な説明】
【0020】
【図1】本実施形態に係るヘッドマウントディスプレイ(HMD)の使用状態を示す説明図である。
【図2】本実施形態に係るHMDの構成を示す説明図である。
【図3】本実施形態に係るHMDを使用して非可視コードに対応付けられた各種コンテンツの表示例の説明図である。
【図4】本実施形態に係るHMDを使用して非可視コードに対応付けられた各種コンテンツの表示例の説明図である。
【図5】本実施形態に係る非可視コードの説明図である。
【図6】本実施形態に係るHMDの電気的構成及び光学的構成を示したブロック図である。
【図7】本実施形態に係る制御部の構成を示したブロック図である。
【図8】本実施形態に係るCCDカメラを内蔵したカメラユニットの構成の説明図である。
【図9】本実施形態に係るHMDのコンテンツ表示処理を示したフローチャートである。
【図10】本実施形態に係るHMDを使用して可視コードに対応付けられた各種コンテンツの表示例の説明図である。
【図11】本実施形態に係るHMDを使用して非可視コードに対応付けられた各種コンテンツの表示例の説明図である。
【図12】本実施形態に係るHMDを使用して非可視コードに対応付けられた各種コンテンツの表示例の説明図である。
【発明を実施するための形態】
【0021】
以下、本実施形態に係るヘッドマウントディスプレイ(以下、「HMD:Head Mount Display」という。)の一例について、図面を参照して説明する。なお、本実施形態では、HMDを、画像信号に基づいて生成した画像光を2次元的に走査し、その走査された画像光を当該HMDの使用者であるユーザの眼に投射して網膜上に結像させる網膜走査型として説明するが、本発明はこれに限定されるものではなく、画像情報に応じた画像光を外光と共にユーザの眼に入射させ、前記画像情報に応じた画像を外景と重ねて表示する表示手段を備えた構成を有するものであれば全てに適用することができる。
【0022】
[1.HMDの概要]
本実施形態に係るHMDは、図1及び図2に示すように、画像情報に応じた画像光500を外光400と共にユーザ100の左眼101に入射させ、前記画像情報に応じた画像を外景と重ねて表示する表示手段としての表示部1を備えている。
【0023】
また、このHMDは、ユーザ100の視野範囲のうち少なくとも表示部1による表示領域を含む範囲を撮像する撮像手段であるCCDカメラ20を有するカメラユニット2を備えるとともに、HMDの動作全体を制御する制御部30を備えている。この制御部30は、前記CCDカメラ20の撮像領域内に存在する非可視の識別コードを検出可能なコード検出手段としての機能と、識別コードに対応付けられた対応情報を記憶した後述するパーソナルコンピュータ300やサーバ310などが備えるハードディスク等の記憶手段から前記コード検出手段によって検出された識別コードに対応する対応情報を読み出し、当該識別コードに対応させて表示部1により表示する制御を行う表示制御手段としての機能とを担っている。
【0024】
そして、コード検出手段及び表示制御手段として機能する制御部30は、検出した識別コードの位置に対応する表示部1の表示位置に、当該識別コードの位置を示す標識情報を表示する制御を行うようにしている。
【0025】
つまり、HMDは、任意の物体に付された非可視の識別コードを検出可能であり、検出した識別コードに対応付けられた対応情報を読み出し、当該対応情報を表示部1により表示きるようにしたものである。本実施形態では、レンタルビデオ店200においてレンタル品211に非可視の識別コード(以下、「非可視コード250」と表すことがある。)を付した態様を例に挙げて説明するが、これに限定されるものではなく、様々な態様で用いることができるものである。
【0026】
尚、非可視コード250は、実際にはユーザから見えないものであるが、説明を分かりやすくするために、本実施形態において図示する場合は点線の枠で区別して表示している。
【0027】
また、非可視コード250は赤外線により形成されるものとしている。すなわち、非可視コード250としては、非可視光(例えば、赤外線や紫外線)を反射或は出射するバーコードやQRコードなどの他、変調して出射された赤外線などがあるが、本実施形態では、赤外線を反射するQRコードを例に挙げて説明する。
【0028】
識別コードに対応付けられた対応情報は、図柄、文字(以下、「テキスト」とも呼ぶ)、静止画像、動画像の中のいずれかの表示態様で表示するようにしている。また、これら図柄、文字、静止画像、動画像に加えて記号で表示したり、あるいはそれらを組み合わせたりした情報としてもよい。このような識別コードに対応付けられた対応情報が、以下ではテキスト情報230または動画像情報240として表示されることになる。また、本実施形態では対応情報をコンテンツと表示することがあり、かかるコンテンツに、さらに音声情報を含む場合についても説明する。
【0029】
図1に示すように、レンタルビデオ店200において棚210に並べられたレンタル品211には非可視コード250が付されており、この非可視コード250に対応付けられた各種コンテンツの表示を、ユーザ100は所定の動作によりHMDの表示部1によりに画像表示(図4参照)させることができる。これにより、ユーザ100は、表示された各種コンテンツを確認した上で、所望するレンタル品211を決定することができる。
【0030】
レンタルビデオ店200には、貸し出し管理用のパーソナルコンピュータ(以下、「パソコン」と略す)300が設置されており、このパソコン300にレンタル品211に対応付けられた各種コンテンツの情報を記憶している。そして、パソコン300とHMDとを無線LAM301を通して通信可能とし、ユーザ100は非可視コード250に対応付けられた各種コンテンツを表示部1に表示させることができる。
【0031】
また、パソコン300は、インターネット302等の通信回線を通じて、レンタル品211に対応付けられた各種コンテンツの情報を記憶したサーバ310と接続されている。すなわち、レンタルビデオ店200に保管されているレンタル品211に対応付けられた各種コンテンツを、インターネット302を通じてサーバ310からもパソコン300を経由してHMDに供給できる構成としている。
【0032】
本実施形態に係るHMDの表示部1は、図2に示すように、ユーザ100の頭部102に装着される投影ユニット1aと、この投影ユニット1aと伝送ケーブル部4を介して接続された光源ユニット1bとから構成されている。
【0033】
投影ユニット1aは、ユーザ100の頭部102に装着する眼鏡フレーム型の装着部11に、外光400の一部が少なくともユーザ100の左眼101に到達する状態で、画像情報に応じた画像光500をハーフミラー10で反射させてユーザ100の左眼101に投射するように取り付けられている。一方、光源ユニット1bは、投影ユニット1aとは別体のコントロールユニット3に内蔵されている。なお、装着部11は眼鏡フレーム型として形成されているため、あたかも眼鏡のように簡単に装着することができる。
【0034】
また、図2に示すように、本実施形態に係るHMDにはイヤホン16が設けられている。このイヤホン16は、例えば、各種コンテンツに音声情報が含まれている場合に、表示部1に表示される画像にあわせて、または単独で音声を再生してユーザ100に提供するためのものである。
【0035】
さらに、図2に示すように、投影ユニット1aの上部には、ユーザ100の左眼101の視野範囲のうち、少なくとも表示部1により表示される表示領域を含む範囲を撮像するカメラユニット2が取付けられている。
【0036】
また、コントロールユニット3には、カメラユニット2に内蔵されたCCDカメラ20(図7及び図8参照)によって撮像された画像を解析して、レンタル品211に付された非可視コード250を検出するコード検出手段、検出した非可視コード250に対応する対応情報としての各種コンテンツを読み出し、非可視コード250に対応させて表示部1に表示する制御を行う表示制御手段として機能する制御部30を配設した構成としている。ところで、この制御部30は、詳しくは後述するが、投影ユニット1aに配設されたCCDカメラ96と共に、ユーザ100の左眼101の視野範囲のうち、左眼101の視線方向を検知する視線方向検出手段としても機能している。
【0037】
かかる構成により、コード検出手段、表示制御手段、及び視線方向検出手段として機能する制御部30は、検出した識別コードのうち、検出したユーザの視線方向にある識別コードを選択し、当該選択した識別コードに応じた対応情報がパソコン300やサーバ310の記憶手段にあるときに当該記憶手段から読み取って表示部1による表示制御を行うのである。すなわち、制御部30は、検出した非可視コード250の検出位置や、ユーザ100の左眼101の視線方向にある非可視コード250に対応付けられた各種コンテンツを、CCDカメラ20によって撮像された画像に重ねて表示部1により表示させることになる。
【0038】
この制御部30は、詳細は図7を用いて後述するが、CPU40、プログラムROM41、フラッシュR0M42、RAM43などを備えたコンピュータからなり、プログラムROM41に格納された制御プログラムに従ってCPU40が各手段として機能することになる。なお、プログラムROM41に格納された制御プログラムの一部は、例えば、CD−R、DVD―R等の記録媒体に付されているものでもよく、その場合、コントロールユニット3に所定の外部接続端子を設けておき、例えば図示しない記録媒体ドライブをこれに接続し、記録媒体を介して例えばフラッシュR0M42に読み込むようにしてもよい。
【0039】
ここで、図3及び4を参照して、本実施形態に係るHMDによって、レンタルビデオ店200におけるレンタル品211に付された非可視コード250を検出し、当該非可視コード250に対応付けられた各種コンテンツを表示する場合について説明する。
【0040】
本実施形態におけるレンタル品211は、図5に示すように、そのパッケージの背面または前面に複数の非可視コード250が付されているが、当然のことながらユーザ100の肉眼では非可視コード250は見えないため、レンタル品211のパッケージに印刷された題名やそれに関連したデザイン、あるいは各種情報欄等の視認性や美観を損ねることが無い。
【0041】
ユーザ100がHMDを装着していない状態であれば、図3(a)に示すように、ユーザ100は、棚210に陳列されたレンタル品211の現物を視認することになる。この状態でユーザ100が所望するレンタル品211を選択する場合は、従来のようにレンタル品211のパッケージに付されている各種情報を直接視認して決定することになる。
【0042】
一方、ユーザ100がHMDを装着した状態で、棚210に陳列されたレンタル品211を見ると、図3(b)に示すように、ユーザ100の視野範囲には、レンタル品211とともに、レンタル品211に付された非可視コード250の位置を示す標識情報201が、非可視コード250の実際の位置に対応して表示部1により画像表示されることになる。また、このとき、ユーザ100の左眼101の視線方向が、CCDカメラ96を介して制御部30により検出され、かかる視線方向を示す十字マークの視線マーカ202が、表示部1による表示領域中に表示される。このとき、非可視コード250として書かれている情報まで読取れなくても位置だけ判別できれば良い(つまり、ある強度以上の赤外反射光を検知できれば良い)ので、遠くからでも非可視コード250の位置を視認できる。
【0043】
さらに、この状態で、ユーザ100が棚210に接近して、非可視コード250の情報が読取れユーザ100の視野範囲内のレンタル品211が所定数以下になると、図4(a)に示すように、レンタル品211に付された非可視コード250の位置を示す標識情報201に加えて、非可視コード250に対応付けられたコンテンツの一つであるテキスト情報230が表示される。
【0044】
このテキスト情報230は、例えば、HMDのユーザ100の視野範囲に検出されたレンタル品211の概要をユーザ100に説明するための文字情報(例えば、レンタル品211のジャンル、主演又は監督名など)で構成されており、やはり標識情報201の一例である。
【0045】
また、非可視コード250に応じた対応情報であるコンテンツとして、上記文字情報以外に、レンタル品211のサンプル動画データなどの動画データなどのサービスコンテンツが含まれている場合がある。
【0046】
その場合、ユーザ100が、所望のレンタル品211に付されている非可視コード250の位置を示す標識情報201に視線を向けて視線マーカ202を所定時間重ね合わせると、非可視コード250の情報に基づいて図4(b)に示すように、レンタル品211のサンプル動画像データが再生されて動画像情報240がサービスコンテンツとして表示される。
【0047】
すなわち、ユーザ100が見つめることで選択した非可視コード250の位置に、この動画像情報240が、当該非可視コード250に応じたよりサービス度合いの高い対応情報がレンタルビデオ店200のパソコン300や、このパソコン300とインターネット302を介して接続したサーバ310の記憶装置等にある旨を示す情報として表示部1により表示されるのである。
【0048】
他方、非可視コード250に応じた対応情報であるコンテンツとして、上述した動画像データなどのようなサービスコンテンツがパソコン300やサーバ310の記憶装置等に存在しない場合は、図示するように、テキスト情報230aには「NO DATA」と表示されるようになっている。すなわち、本実施形態においては、「NO DATA」の表示が無いテキスト情報230aが、非可視コード250に応じた対応情報としてのサービスコンテンツがパソコン300やサーバ310にある旨を示す情報として、表示部1により表示されることになる。
【0049】
なお、本実施形態においては、レンタル品211の概要を文字情報から構成されたテキスト情報230によって表示するようにしたが、ここでのテキスト情報230とは、文字情報のみで構成されるだけではなく、例えば、主演の静止画像等を文字情報に合わせて表示させる構成も含む概念としている。また、当然のことながら動画像情報240にあわせた音声情報等も前述したイヤホン16から同時に出力される。
【0050】
また、非可視コード250に対応したサンプル動画等のサービスコンテンツがパソコン300またはサーバ310(図1参照)から入手できない場合、動画データに代えて静止画像データを用いた静止画を表示してもよいし、また音声情報等のみを出力してもよい。
【0051】
このように、本実施形態に係るHMDを使用した場合は、複数の非可視コード250が検出された場合であっても、非可視コード250の位置を示す標識情報201により、ユーザ100は視野範囲内におけるレンタル品211に付されている非可視コード250の位置を正確に把握することができる。さらに、非可視コード250に対応付けられ、表示された情報(例えば、テキスト情報230)により、レンタル品211の概要を知ることができ、その上、所望するレンタル品211を見つめて、当該レンタル品211に付されている非可視コード250の位置を示す標識情報201に視線を重ねることで、さらに詳細なレンタル品211のサービスコンテンツ(例えば、動画像情報240)を入手することが可能となっている。
【0052】
〔2.HMDの電気的構成及び光学的構成〕
次に、図6及び図7を参照しながら、HMDの電気的構成及び光学的構成について説明する。
【0053】
図6に示すように、HMDは投影ユニット1a、コントロールユニット3及びカメラユニット2を備え、コントロールユニット3内には、HMD全体の動作を統括制御する制御部30と、この制御部30から供給される画像信号Sから画像情報を画素単位で読み出し、読み出した画素単位の画像情報に基づいてR(赤色),G(緑色),B(青色)の各色毎に強度変調された光束を生成して出射する光源ユニット1bが設けられている。本実施形態では、投影ユニット1aと光源ユニット1bとにより表示手段である表示部1が構成されている。なお、光源ユニット1bをコントロールユニット3内に設けるのではなく、投影ユニット1a内に設けるようにしてもよい。また、本実施形態では表示部1として2次元的に走査したレーザ光をユーザ100の左眼101に入射し網膜101b上に画像を投影する網膜走査型の表示部を例に挙げて説明するが、これに限らず、例えば、液晶型の表示部を用いることもできる。液晶型の表示部としては、例えば、透過型液晶パネルに光源からの光を照射してこの液晶パネルを透過した光を画像光として利用者の眼に入射する透過型のものや、反射型液晶パネルに光源からの光を照射してこの液晶パネルを反射した光を画像光として利用者の眼に入射する反射型のものがある。
【0054】
(光源ユニット1b)
光源ユニット1bには、画像を合成するための要素となる信号等を発生する画像信号供給回路6が設けられている。パソコン300から供給される画像データが制御部30に入力されると、制御部30はその画像データに基づいて画像信号Sを生成して画像信号供給回路6に送る。画像信号供給回路6は、画像信号Sに基づいて、画像を形成するための要素となる各信号を画素単位で生成する。すなわち、画像信号供給回路6からは、R(赤色)画像信号60r,G(緑色)画像信号60g,B(青色)画像信号60bが生成されて出力される。また、画像信号供給回路6は、水平走査部80で使用される水平駆動信号61と、垂直走査部90で使用される垂直駆動信号62とをそれぞれ出力する。
【0055】
また、光源ユニット1bには、画像信号供給回路6から画素単位で出力されるR画像信号60r、G画像信号60g、B画像信号60bの各画像信号60r,60g,60bに応じて、それぞれ強度変調されたレーザ光(「光束」とも呼ぶ。)である画像光500を出射するように、Rレーザ63,Gレーザ64,Bレーザ65をそれぞれ駆動するためのRレーザドライバ66,Gレーザドライバ67,Bレーザドライバ68が設けられている。各レーザ63,64,65は、例えば、半導体レーザや高調波発生機構付き固体レーザとして構成することが可能である。なお、半導体レーザを用いる場合は駆動電流を直接強度変調して、レーザ光の強度変調を行うことができるが、固体レーザを用いる場合は、各レーザそれぞれに外部変調器を備えてレーザ光の強度変調を行う必要がある。
【0056】
さらに、光源ユニット1bは、各レーザ63,64,65より出射されたレーザ光を平行光にコリメートするように設けられたコリメート光学系71,72,73と、このコリメートされたレーザ光を合波するためのダイクロイックミラー74,75,76と、合波されたレーザ光を光ファイバケーブル50に導く結合光学系77とが設けられている。
【0057】
従って、各レーザ63、64、65から出射したレーザ光は、コリメート光学系71,72,73によってそれぞれ平行化された後に、ダイクロイックミラー74,75,76に入射される。その後、これらのダイクロイックミラー74,75,76により、各レーザ光がそれぞれ有する波長に関して選択的に反射・透過される。そして、これら3つのダイクロイックミラー74,75,76にそれぞれ入射した3原色のレーザ光は、波長選択的に反射または透過して結合光学系77に達し、集光されて光ファイバケーブル50へ出力される。
【0058】
(投影ユニット1a)
光源ユニット1bとユーザ100の左眼101との間に位置する投影ユニット1aには、光源ユニット1bで生成され、光ファイバケーブル50を介して出射されるレーザ光を平行光化するコリメート光学系79と、このコリメート光学系79で平行光化されたレーザ光を画像表示のために水平方向に往復走査する水平走査部80と、水平走査部80で水平方向に走査されたレーザ光を垂直方向に走査する垂直走査部90と、水平走査部80と垂直走査部90との間に設けられた第1リレー光学系85と、このように水平方向と垂直方向に走査されたレーザ光を瞳孔101aへ出射するための第2リレー光学系95とが設けられている。
【0059】
水平走査部80及び垂直走査部90は、光ファイバケーブル50から入射されたレーザ光を画像としてユーザ100の網膜101bに投影可能な状態にするために、水平方向と垂直方向に走査して走査光束とする光学系であり、水平走査部80は、レーザ光を水平方向に走査するため偏向面を有する共振型の偏向素子81と、この偏向素子81を共振させて偏向素子81の偏向面を揺動させる駆動信号を水平駆動信号61に基づいて発生する水平走査駆動回路82を備えている。
【0060】
一方、垂直走査部90は、レーザ光を垂直方向に走査するため偏向面を有する非共振型の偏向素子91と、この偏向素子91の偏向面を非共振状態で揺動させる駆動信号を垂直駆動信号62に基づいて発生する垂直走査制御回路92とを備え、表示すべき画像の1フレームごとに、画像を形成するためのレーザ光を最初の水平走査線から最後の水平走査線に向かって垂直に走査する。ここで「水平走査線」とは、水平走査部80による水平方向への1走査を意味する。
【0061】
なお、偏向素子81,91は、ここではガルバノミラーを用いることとするが、レーザ光を走査するようにその偏向面(反射面)を揺動又は回転させられるものであれば、圧電駆動、電磁駆動、静電駆動等いずれの駆動方式によるものであってもよい。また、本実施形態においては、水平走査部80に共振タイプの偏向素子を用い、垂直走査部90を非共振タイプの偏向素子を用いることとしているが、これに限らず、例えば、共振タイプの偏向素子を用いてもよく、どちらも非共振タイプの偏向素子としてもよい。
【0062】
また、水平走査部80と垂直走査部90との間でレーザ光を中継する第1リレー光学系85は、偏向素子81の偏向面によって水平方向に走査されたレーザ光を偏向素子91の偏向面に収束させる。そして、このレーザ光が偏向素子91の偏向面によって垂直方向に走査され、正の屈折力を持つ2つのレンズ95a,95bが直列配置された第2リレー光学系95を介して、左眼101の前方に位置させたハーフミラー10で反射されてユーザ100の瞳孔101aに入射し、網膜101b上に画像信号Sに応じた画像が投影される。これにより、ユーザ100はこのように瞳孔101aに入射する画像光500であるレーザ光を、画像として認識する(図3及び図4を参照)。
【0063】
なお、第2リレー光学系95においては、レンズ95aによって、それぞれのレーザ光がそのレーザ光の中心線を相互に略平行にされ、かつそれぞれ収束レーザ光に変換される。そして、レンズ95bによってそれぞれほぼ平行なレーザ光となると共に、これらのレーザ光の中心線がユーザ100の瞳孔101aに収束するように変換される。
【0064】
また、第2リレー光学系95とハーフミラー10との間には、ハーフミラー97が設けられており、このハーフミラー97によりユーザ100の左眼101及びその周辺で反射した光をCCDカメラ96へ入射するようにしている。制御部30は、CCDカメラ96で撮像した画像からユーザ100の左眼101の虹彩位置に基づいて、ユーザ100の視線方向を検出する。
【0065】
(制御部30)
制御部30は、その内部に記憶されている制御プログラムにしたがって後述する所定の処理を実行することによって、前述したコード検出手段、表示制御手段、及び視線方向検出手段等として機能する。
【0066】
図7に示すように、制御部30は、各コントローラ31,32,34,36と、各VRAM(Video Random Access Memory)33,35,37と、周辺機器インターフェース(図中「I/F」と示し、以下「I/F」とも呼ぶ。)38と、通信I/F39と、を備えている。
【0067】
主コントローラ31は、CPU(Central Processing Unit)40と、プログラムROM(Read Only Memory)41と、不揮発性メモリであるフラッシュROM(フラッシュメモリ)42と、RAM(Random Access Memory)43とを備えており、これらはデータ通信用のバスにそれぞれ接続されており、このデータ通信用のバスを介して各種情報の送受信を行う。
【0068】
CPU40は、プログラムROM41に記憶されている制御プログラムを実行することにより、主コントローラ31としてHMDを構成する各部を動作させて、HMDが備える各種機能を実行させる演算処理装置である。また、フラッシュROM42は、CCDカメラ20,96などから出力される画像データや、画像の輝度の設定値などを記憶する。
【0069】
HMD用コントローラ32は、主コントローラ31からの要求に応じて表示部1を制御し、主コントローラ31によりHMD用VRAM33に記憶された画像データに基づいた画像信号Sを表示部1に供給する。表示部1は、HMD用コントローラ32から画像信号Sが入力されると、この画像信号Sに基づいて強度変調した各色のレーザ光を生成及び走査してユーザ100の左眼101に出射し、ユーザ100の網膜101bに画像信号Sに応じた画像を投影する。これによって、主コントローラ31は、画像を表示させる制御を行う。
【0070】
カメラ用コントローラ34は表示部1内に配置された撮像手段であるCCDカメラ96を制御し、カメラ用VRAM35はCCDカメラ96から出力される画像データを一時的に記憶する。主コントローラ31は、ユーザ100の視線方向を認識するために、カメラ用コントローラ34を介してCCDカメラ96を制御し、ユーザ100の眼及びその周辺をCCDカメラ96により撮像させ、CCDカメラ96から出力される画像データをカメラ用VRAM35を介して取得する。これによって、主コントローラ31は、CCDカメラ96によって撮像された画像を取得することができ、詳しくは後述するが、その画像を解析することによって、ユーザ100の視線方向を認識している。
【0071】
カメラ用コントローラ36はカメラユニット2に内蔵された撮像手段であるCCDカメラ20を制御し、カメラ用VRAM37はCCDカメラ20から出力される画像データを一時的に記憶する。主コントローラ31は、非可視コード250を検出するために、カメラ用コントローラ36を介してCCDカメラ20を制御し、ユーザ100の視野範囲のうち少なくとも表示部1による画像の表示領域を含む範囲をCCDカメラ20により撮像させ、CCDカメラ20から出力される画像データをカメラ用VRAM37を介して取得する。これによって、主コントローラ31は、CCDカメラ20によって撮像された画像を取得することができ、詳しくは後述するが、その画像を解析することによって、レンタル品211に付された非可視コード250を認識している。なお、CCDカメラ20,96によって撮像された画像の処理をするために主コントローラ31内に別途画像処理部をハードウェアで構成することにより画像処理を高速に行うことができる。
【0072】
周辺機器I/F38は、イヤホン16(図2参照)、電源スイッチやランプ類等(図示せず)の周辺機器5をコントロールユニット3に接続するためのインターフェースである。例えば、イヤホン16、電源スイッチやランプ類が周辺機器I/F38に接続されたとき、主コントローラ31は、電源スイッチ等のスイッチ類からの操作情報を周辺機器I/F38から受け取り、周辺機器I/F38を介してランプ類の点灯情報をランプ類に供給するとともに、CPU40からの音声出力指示に基づいて、所定の音声をイヤホン16へ出力する。
【0073】
通信I/F39は、コントロールユニット3とパソコン300とを通信可能に制御する。主コントローラ31は、例えば、通信I/F39を介して画像データの供給をパソコン300に要求し、パソコン300に接続された無線LAM301から通信I/F39を介して無線により供給された画像データに基づいた画像信号SをHMD用コントローラ32により表示部1に供給する。
【0074】
なお、上述においては、撮像手段としてCCDカメラ20,96を用いることとしたが、これに限られず、CMOSカメラなどを用いてもよい。
【0075】
ところで、コード検出手段として機能する制御部30は、詳しくは図10を用いて後述するが、CCDカメラ20の撮像領域内に存在する可視コード260を検出可能としている。そして、非可視コード250を検出する非可視モードと、可視コード260を検出する可視モードとを切り替えるモード切替手段を備えており、本実施形態では、このモード切替手段をカメラユニット2に設けている。
【0076】
[カメラユニット2の構成]
ここで、図8を参照し+ながら、HMDに付設されているカメラユニット2の構成について説明しながら、前述のモード切替手段について説明する。図8(a)は、カメラユニット2の概観を示す図、図8(b)及び図8(c)は、カメラユニット2の内部構成を示す透過図である。
【0077】
図示するように、カメラユニット2は、CCDカメラ20、赤外線照射器21、レンズ22、フィルタ24(赤外線非透過フィルタ24a、赤外線透過フィルタ24b)、切換ボタン23、ソレノイド25を備えている。
【0078】
すなわち、カメラユニット2は、筒状の筐体内に、その筐体の中心軸上にCCDカメラ20を配設するとともに、このCCDカメラ20の上方位置に赤外線照射器21を配設している。そして、CCDカメラ20に対応するように、筐体の前面部中央にレンズ22を配設し、このレンズ22とCCDカメラ20との間に、赤外線非透過フィルタ24a及び赤外線透過フィルタ24bが上下に配置されたフィルタ24を配設している。そして、切換ボタン23と、この切換ボタン23の操作により駆動してフィルタ24を上下に所定の距離で移動させるソレノイド25を収納した構成としている。
【0079】
そして、非可視コード250が付されたレンタル品211(図4参照)に関する情報を取得する非可視モードでは、図8(b)に示すように、ユーザ100は切換ボタン23を操作して、赤外線透過フィルタ24bがCCDカメラ20の前面に位置するように動作させる。これにより、レンズ22から入射する外光が赤外線非透過フィルタ24aを介してCCDカメラ20に入射する。なお、赤外線非透過フィルタ24aに代えて、フィルタ24に単に開口を設け、この開口から全ての光が入射するようにしてもよい。
【0080】
一方、通常の可視コード260(例えば、可視色のQRコード等)が付されたレンタル品211(図10参照)を確認する可視モードでは、図8(c)に示すように、ユーザ100は切換ボタン23を操作して、フィルタ24の赤外線非透過フィルタ24aがCCDカメラ20の前面に位置するように動作させる。これにより、レンズ22から入射する外光は赤外線非透過フィルタ24aを介してCCDカメラ20に入射する。
【0081】
このように、本実施形態におけるHMDでは、非可視コード250(図3参照)または可視コード260(図10参照)のいずれの識別コードがレンタル品211に付されている場合でも、ユーザ100による切換ボタン23の操作に応じて速やかに切換えることができる。このように、カメラユニット2を構成する、切換ボタン23、フィルタ24(赤外線非透過フィルタ24a及び赤外線透過フィルタ24b)、ソレノイド25が本実施形態におけるモード切換手段として機能することとなる。
【0082】
なお、前記赤外線照射器21は、少なくともCCDカメラ20の撮像領域に赤外線を照射可能であり、これにより非可視コード250の検出を容易にしている。また、この赤外線照射器21は、ユーザ100の切換ボタン23の操作に応じたソレノイド25の位置に応じて、赤外線透過フィルタ24bがCCDカメラ20の前方位置にセットされている場合にのみ、ユーザ100の視野範囲内の非可視コード250に対して、赤外線の照射を行うようにしており、これにより余分な消費電力を抑えている。
【0083】
[非可視コード読取制御処理]
ここで、制御部30における主コントローラ31の処理の一例について、図9を参照して説明する。図9は複数の非可視コード250を読み取り、その非可視コード250に対応付けられた各種コンテンツを表示する非可視コード読取制御処理を示したフローチャートである。なお、本フローチャートでは、HMDの電源スイッチ(図示せず)は既にオン操作されており、電源スイッチがオン操作された後の初期設定処理などは全て完了し、さらに、図1に示すように、ユーザ100がHMDを頭部に装着した状態で、レンタルビデオ店200において、レンタル品211が陳列された棚210を確認する場合に実行されるものである。
【0084】
図9に示すように、主コントローラ31のCPU40は、CCDカメラ20によりユーザ100の視野範囲の撮像する(ステップS101)。
【0085】
次いで、CPU40は、CCDカメラ20で撮像した画像を解析して、CCDカメラ20の撮像範囲に非可視コード250を検出したか否かを判定する(ステップS102)。
【0086】
すなわち、前述したように、CPU40は、カメラ用VRAM37を介してCCDカメラ20が撮像した画像データを取得し、その中に、赤外線を反射して識別できる非可視コード250がある場合に、非可視コード250を検出したものと判定しており、かかる非可視コード250が複数検知された場合でも、それぞれの非可視コード250を判別することを可能としている。
【0087】
ステップS102において、CCDカメラ20の撮像範囲に非可視コード250を検出していないと判定した場合(ステップS102:No)は、CPU40は処理をステップS101に移して、再度CCDカメラ20によりユーザ100の視野範囲を撮像する。一方、CCDカメラ20の撮像範囲に非可視コード250を検出したと判定した場合は(ステップS102:Yes)、CPU40はステップS103に処理を移す。
【0088】
そして、CPU40は、検出した非可視コード250に位置に合わせて標識情報201を重畳してHMDに表示する表示制御を実行する(ステップS103)。
【0089】
このCCDカメラ20の撮像範囲で検出した非可視コード250の位置に標識情報201を重ねて表示することで、図4(b)に示すように、通常はユーザ100の肉眼では識別できない非可視コード250の位置が標識情報201により特定されることになる。
【0090】
次いで、CPU40は、CCDカメラ20の撮像範囲で検出した非可視コード250の数が所定数以下か否かを判断する(ステップS104)。そして、検出した非可視コード250の数が所定数以下でないと判別した場合(ステップS104:No)は、CPU40は処理をステップS101に移して、再度非可視コード250の検出処理を行う。一方、検出した非可視コード250の数が所定数以下であると判別した場合(ステップS104:Yes)は、CPU40は、検出した非可視コード250の位置に合わせてテキスト情報230を重畳してHMDに表示する表示制御を実行する(ステップS105)。
【0091】
かかる処理により、図4(a)で示すように、CCDカメラ20の撮像範囲で検出した非可視コード250の位置に対応したテキスト情報230が表示されることになり、ユーザ100は、棚210に陳列されたレンタル品211の概要を、HMDで表示されるテキスト情報230を読むことで知ることが可能となる。
【0092】
次に、CPU40は、ユーザ100がCCDカメラ20の撮像範囲で検出した複数の非可視コード250のうちの一つに視線を向けたか否かを判断する(ステップS106)。そして、一つの非可視コード250に所定時間視線を向けたと判別した場合(ステップS106:Yes)は、CPU40は処理をステップS107に移す。一方、一つの非可視コード250に所定時間視線を向けていないと判別した場合(ステップS106:No)は、CPU40は処理をステップS108に移す。
【0093】
このステップS106の処理においては、CPU40は、図4に示すように、ユーザ100が任意に視線方向を示す十字マークの視線マーカ202を移動させ、CCDカメラ20の撮像範囲で検出した複数の非可視コード250のうちから、任意の非可視コード250を示す標識情報201に視線マーカ202を重ね合わせた(つまり、ユーザ100が任意の非可視コード250に視線を向けた)時間を計測し、計測した時間が所定時間(例えば、3秒)以上の場合に、ユーザ100が当該非可視コード250を選択したものであると判別する。
【0094】
なお、このステップS106の処理において、当該非可視コード250に対応した標識情報201に加えてテキスト情報230にユーザ100の視線方向を示す視線マーカ202を重ねた場合を当該非可視コード250の選択としてもよい。これにより、標識情報201またはテキスト情報230のいずれかに視線マーカ202を重ねることで非可視コード250を選択したと判別されるので、ユーザ100が視線方向を移動させて所望の非可視コード250を選択する作業を容易とすることができる。
【0095】
ステップS107において、CPU40は、視線が向けられた非可視コード250に対応付けられたサービスコンテンツである動画像情報240を重畳してHMDに表示する表示制御を実行する。
【0096】
かかる処理により、図4(b)で示すように、CCDカメラ20の撮像範囲で検出した複数の非可視コード250の中から、ユーザ100が所定時間視線を向けた任意の非可視コード250に対応した動画像情報240がHMDで表示されることになり、ユーザ100は、所望するレンタル品211の詳細を知ることが可能となる。
【0097】
次に、CPU40は、動画像情報240が表示された状態で、決定トリガーを検出したか否かを判断する(ステップS108)。そして、決定トリガーを検出したと判別した場合(ステップS108:Yes)は、CPU40はステップS109に処理を移す。一方、決定トリガーを検出していない判別した場合(ステップS108:No)は、CPU40はステップS110に処理を移す。
【0098】
この決定トリガーの検出は、例えば、所定の決定スイッチ(図示せず)をコントロールユニット3に付設して、ユーザ100による決定スイッチ(図示せず)の操作を検出したときに行われるものであるが、ユーザ100がHMDで表示される動画像情報240を所定時間(例えば、3分)確認したことを検出したときとしてもよい。
【0099】
そして、CPU40は、決定トリガーを検出した場合に、動画像情報240を表示中の非可視コード250の情報(つまり、決定トリガーを検出した場合に選択された非可視コード250を特定するための情報)を、RAM43の所定の領域に記憶する(ステップS109)。この処理で記憶された非可視コード250の情報は、最終的にパソコン300(図1参照)に送信されることにより、当該レンタルビデオ店200におけるユーザ100のレンタル品211の決定に用いられることになる。
【0100】
最後に、CPU40は、非可視コード読取制御処理を終了するか否かを判断する(ステップS110)。そして、非可視コード読取制御処理を終了しない場合は、再度CCDカメラ20によるユーザ100の視野範囲の撮像処理(ステップS101)に処理を移す。
【0101】
この処理において、非可視コード読取制御処理を終了する場合は、ユーザ100が当該レンタルビデオ店200におけるレンタル品211の借り入れ作業を終了又は中止することであり、装備したHMDの電源を切るか、あるいはユーザ100に貸出されたHMDをレンタルビデオ店200のカウンタ等に返却することで、非可視コード読取制御処理は終了することになる。
【0102】
このように、本実施形態に係るHMDでは、複数の非可視コード250が検出された場合であっても、ユーザ100が付されている非可視コード250の位置を特定することが可能であり、また、複数の非可視コード250に対応付けられたコンテンツがそれぞれの非可視コード250に対応して表示されるため、従来のレンタルビデオ店のように、所望するレンタル品211のパッケージ等を確認しながら、借り入れるレンタル品211を決定することなく、HMDに表示された各種コンテンツを確認しながら容易にレンタル品211を決定することができる。また、各種コンテンツの中には、動画像情報240も含まれるため、ユーザ100が既に選択したレンタル品211を見たかどうかが容易に判断できるため、レンタル品211の2重借り入れ等を防止することができる。
【0103】
なお、上述の実施形態では、非可視コード250に対応付けられたコンテンツのうち、テキスト情報230、動画像情報240の順に表示するようにしているが、これに限られるものではなく、表示するコンテンツの種類は適宜選択することが可能である。
【0104】
ここで、図10を参照して、レンタルビデオ店200におけるレンタル品211に付された可視できる識別コード(可視コード260)に対応する可視モードにおける各種コンテンツの表示について説明する。なお、この可視コード260として、例えば、可視色の1次元バーコードやQRコード(2次元バーコード)などがある。
【0105】
図10(a)に示すように、ユーザ100はHMDを装着した状態で、棚210に陳列されたレンタル品211と、レンタル品211の所定の位置に付されている可視コード260を確認することになる。
【0106】
そして、ユーザ100の視野範囲には、レンタル品211とともに、レンタル品211に付された可視コード260と、可視コード260に対応付けられたテキスト情報230が表示部1により重畳して画像表示されることになる。なお、この場合にユーザ100の左眼101の視線方向は、十字マークの視線マーカ202によりユーザ100の視野範囲に表示されている。
【0107】
さらに、この状態では、前述した非可視コード250とは異なり、可視コード260の位置はユーザ100が肉眼で確認できるため、可視コード260の位置を示す標識情報201を表示する必要はなく、可視コード260に対応付けられたテキスト情報230のみが表示されることになる。このテキスト情報230は、例えば、HMDのユーザ100の視野範囲に検出されたレンタル品211の概要をユーザ100に説明するための文字情報(例えば、レンタル品211のジャンル、主演又は監督名など)で構成されている。
【0108】
そして、ユーザ100が、任意のレンタル品211に付されている可視コード260に視線マーカ202を所定時間(例えば、3秒)重ね合わせると、図10(b)に示すように、動画像情報240において、レンタル品211のサンプル動画像が再生されることになる。
【0109】
すなわち、本実施形態に係るHMDを使用した場合は、非可視コード250(図3参照)または可視コード260(図10参照)のいずれの識別コードがレンタル品211に付されている場合でも、カメラユニット2に付設されている切換ボタン23(つまり、モード切換手段)をユーザ100が操作することにより、表示された各種コンテンツにより、レンタル品211の概要を知ることができ、その上、所望するレンタル品211に付されている可視コード260に視線を移動させることで、さらに詳細なレンタル品211のコンテンツを入手することを可能としている。
【0110】
なお、カメラユニット2において、フィルタ24における赤外線非透過フィルタ24aと赤外線透過フィルタ24bとを時分割で交互にCCDカメラ20の前方に配置する機能を設けて、非可視コード250と可視コード260とを検出し、これらの識別コードに対応するコンテンツを表示部1に同時表示させるようにしてもよい。
【0111】
(他の実施形態)
ところで、上述してきた実施形態では、複数の非可視コード250を検出した場合は、検出した複数の非可視コード250に対応した各種コンテンツを、CCDカメラ20の撮像範囲で撮像した画像に重畳してHMDに表示する表示制御を実行していたが、他の実施形態として、図11及び図12に示すように、ユーザ100が所望するジャンルに特定して、レンタル品211の各種コンテンツをCCDカメラ20の撮像範囲で撮像した画像に重畳してHMDに表示する表示制御を実行することもできる。
【0112】
つまり、図11(a)に示すように、CCDカメラ20の撮像範囲で検出した複数の非可視コード250全てに対応させて、標識情報201及びテキスト情報230を表示するのではなく、図11(b)及び図12に示すように、当該レンタルビデオ店200におけるユーザ100のレンタル履歴から、ユーザ100の嗜好に合ったジャンルの標識情報201及びテキスト情報230のみを絞り込んで表示する。
【0113】
図11(b)に表示されている非可視コード250に対応した標識情報201及びテキスト情報230は、当該レンタルビデオ店200におけるユーザ100のレンタル履歴から、ユーザ100は「アクション」のジャンルを主に借り入れているため、その「アクション」のジャンルに特定して、標識情報201及びテキスト情報230を表示させた一例である。
【0114】
同様にして、図12に表示されている非可視コード250に対応した標識情報201及びテキスト情報230は、当該レンタルビデオ店200におけるユーザ100のレンタル履歴から、ユーザ100は「アニメ」のジャンルを主に借り入れているため、その「アニメ」のジャンルに特定して、標識情報201及びテキスト情報230を表示させた一例である。
【0115】
このように、予めユーザ100の嗜好に合ったジャンルの標識情報201及びテキスト情報230のみを表示することで、ユーザ100は、大量に棚210に陳列されているレンタル品211の中から、自分の好みのジャンルにおけるレンタル品211を速やかに見つけ出すことが可能となる。
【0116】
なお、図11(b)及び図12に示すように、当該レンタルビデオ店200におけるユーザ100のレンタル履歴から、ユーザ100の嗜好に合ったジャンルの非可視コード250に対応した標識情報201及びテキスト情報230のみが表示されている場合でも、その後に、ユーザ100が表示されている任意の非可視コード250の位置を示す標識情報201の一つに、ユーザ100の視線方向を示す視線マーカ202を所定時間(例えば、3秒)重ね合わせた場合には、当該非可視コード250に対応付けられた動画像情報240が再生されることになる。
【0117】
また、上述した他の実施形態における当該レンタルビデオ店200におけるユーザ100のレンタル履歴から特定されるジャンルは、一つに限らず複数ジャンルを設定することも可能である。さらに、ユーザ100がジャンルを特定したい場合とそうでない場合の切換えは、例えば、コントロールユニット3に専用の選択ボタン等を設けて、速やか切換えられる構成とすることが望ましい。
【0118】
上述してきたように、本実施形態によれば、以下の効果が期待できる。
【0119】
(1)画像情報に応じた画像光を外光と共にユーザ100の眼に入射させ、画像情報に応じた画像を外景と重ねて表示する表示部1(表示手段)と、ユーザ100の視野範囲のうち少なくとも表示部1による表示領域を含む範囲を撮像するCCDカメラ20(撮像手段)と、このCCDカメラ20によって撮像された画像の撮像領域内に存在する非可視コード250を検出可能であり、かつ非可視コード250に対応付けられた対応情報(テキスト情報230、動画像情報240などのコンテンツ)を記憶した記憶手段から読み出し、当該非可視コード250に対応させて表示部1により表示する制御を行う制御部30(コード検出手段、表示制御手段)と、を備えたHMDにおいて、制御部30は、検出した複数の非可視コード250の位置に対応する表示手段の表示位置に、当該非可視コード250の位置を示す標識情報201を表示する。したがって、例えば、通常はユーザ100の肉眼では認識できない非可視コード250の位置を特定することが可能となる。これにより非可視コード250を見逃さずに容易に読み取って関連コンテンツ情報を取得することができる。
【0120】
(2)ユーザ100の視線方向を検出するCCDカメラ96及び制御部30(視線方向検出手段)を備え、コード検出手段及び表示制御手段として機能する制御部30は、検出した非可視コード250のうち、CCDカメラ96により検出したユーザ100の視線方向にある非可視コード250を選択し、当該選択した非可視コード250に応じた対応情報(テキスト情報230、動画像情報240などのコンテンツ)をパソコン300やサーバ310の記憶手段から読み取って表示するため、ユーザ100は所定の非可視コード250の位置を示す標識情報201に視線方向示す視線マーカ202を重ねるだけで、対応情報を表示させる非可視コード250を選択することが可能となる。
【0121】
(3)制御部30(表示制御手段)は、選択した非可視コード250の位置に、当該非可視コード250に応じた対応情報(テキスト情報230、動画像情報240などのコンテンツ)が記憶手段にある旨を示す情報を表示手段により表示するため、ユーザ100は、当該非可視コード250の対応情報(テキスト情報230、動画像情報240などのコンテンツ)の有無を容易に知ることが可能となる。
【0122】
(4)制御部30(表示制御手段)は、選択した非可視コード250に応じた対応情報(テキスト情報230、動画像情報240)を前記表示手段により表示するため、ユーザ100は、非可視コード250が付された物体(例えば、レンタル品211)に対応付けられた情報により、物体(例えば、レンタル品211)の概要を知ることが可能となる。
【0123】
(5)制御部30(表示制御手段)は、非可視コード250に対応付けられた対応情報(テキスト情報230、動画像情報240などのコンテンツ)を、図柄、文字、静止画像、動画像の中のいずれかの表示態様で表示するため、ユーザ100は、非可視コード250が付された物体(例えば、レンタル品211)に対応付けられた情報を、様々なコンテンツで把握することが可能となる。
【0124】
(6)非可視コード250は赤外線により形成されるため、通常はユーザ100の肉眼では認識できない非可視コード250を、例えば、赤外線を照射して、その反射を赤外線透過フィルタ24bを通して、CCDカメラ20(撮像手段)に撮像することで、非可視コード250を検出することが可能となる。なお、本実施形態に係る非可視コード250は、赤外線を反射するタイプのものだけではなく、例えば、非可視コード250から赤外線を射出するタイプのもの用いることも可能である。
【0125】
(7)制御部30(コード検出手段)は、CCDカメラ20(撮像手段)の撮像領域内に存在する可視コード260を検出可能としており、コード検出手段により非可視コード250を検出する非可視モードと、コード検出手段により可視コード260を検出する可視モードとを切り替えるモード切替手段を備えているため、ユーザ100は、非可視コード250と可視コード260の何れかまたは両方が付された物体(例えば、レンタル品211)であっても、HMDに表示されるその物体に対応付けられた情報(各種コンテンツ)により、物体の概要を把握することが可能となる。
【0126】
なお、上述してきた実施形態では、赤外線照射器21(図8参照)により赤外線を照射して、非可視コード250に反射した赤外線を、CCDカメラ20の前面に設けられた赤外線透過フィルタ24bを通して撮像することで、非可視コード250を検出するようにしたが、本発明はこれに限定されるものではなく、例えば、CCDカメラ20が暗視カメラのように高感度のものであれば、特に赤外線照射器21は必要ではなく、自然光に含まれる赤外線を反射して、非可視コード250を検知することも可能である。
【0127】
また、従来の非可視の識別コードの種類によっては、赤外線を反射するものではなく、例えば、紫外線を反射する透明バーコードなども開発されており、この場合は、赤外線の代わりに紫外線を照射して、さらに、CCDカメラ20の前面に紫外線透過フィルタなどを設けることにより、紫外線を反射することによりCCDカメラ20で撮像された透明バーコードを検出することも可能である。
【0128】
以上、各実施形態を通して本発明を説明してきたが、本発明はこれらに限定されるものではない。また、上述した各効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本実施の形態に記載されたものに限定されるものではない。
【符号の説明】
【0129】
1 表示部(表示手段)
1a 投影ユニット
1b 光源ユニット
2 CCDカメラユニット
20 CCDカメラ
3 コントロールユニット
30 制御部(コード検知手段、表示制御手段、視線方向検出手段)
31 主コントローラ
40 CPU
96 CCDカメラ
100 ユーザ
250 非可視コード
260 可視コード
400 外光
500 画像光
【特許請求の範囲】
【請求項1】
画像情報に応じた画像光を外光と共にユーザの眼に入射させ、前記画像情報に応じた画像を外景と重ねて表示する表示手段を備えたヘッドマウントディスプレイにおいて、
前記ユーザの視野範囲のうち少なくとも前記表示手段による表示領域を含む範囲を撮像する撮像手段と、
前記撮像手段の撮像領域内に存在する非可視の識別コードを検出可能なコード検出手段と、
識別コードに対応付けられた対応情報を記憶した記憶手段から前記コード検出手段によって検出された識別コードに対応する対応情報を読み出し、当該識別コードに対応させて前記表示手段に表示する制御を行う表示制御手段と、を備え、
前記表示制御手段は、前記コード検出手段によって検出された識別コードの位置に対応する前記表示手段の表示位置に、当該識別コードの位置を示す標識情報を表示する制御を行うことを特徴とするヘッドマウントディスプレイ。
【請求項2】
ユーザの視線方向を検出する視線方向検出手段を備え、
前記表示制御手段は、
前記コード検出手段によって検出された識別コードのうち、前記視線方向検出手段により検出したユーザの視線方向にある識別コードを選択し、当該選択した識別コードに応じた対応情報が前記記憶手段にあるときに当該記憶手段から読み取って表示制御を行う請求項1に記載のヘッドマウントディスプレイ。
【請求項3】
前記表示制御手段は、
前記選択した識別コードの位置に、当該識別コードに応じた対応情報が前記記憶手段にある旨を示す情報を前記表示手段により表示することを特徴とする請求項2に記載のヘッドマウントディスプレイ。
【請求項4】
前記表示制御手段は、
前記選択した識別コードに応じた対応情報を前記表示手段により表示することを特徴とする請求項2又は請求項3に記載のヘッドマウントディスプレイ。
【請求項5】
前記表示制御手段は、
前記識別コードに対応付けられた対応情報を、図柄、文字、静止画像、動画像の中のいずれかの表示態様で表示することを特徴とする請求項1〜4のいずれか1項に記載のヘッドマウントディスプレイ。
【請求項6】
前記非可視の識別コードは赤外線により形成されることを特徴とする請求項1〜5のいずれか1項に記載のヘッドマウントディスプレイ。
【請求項7】
前記コード検出手段は、前記撮像手段の撮像領域内に存在する可視の識別コードを検出可能としており、
前記コード検出手段により前記非可視の識別コードを検出する非可視モードと、前記コード検出手段により可視の識別コードを検出する可視モードとを切り替えるモード切替手段を備えたことを特徴とする請求項1〜6のいずれか1項に記載のヘッドマウントディスプレイ。
【請求項1】
画像情報に応じた画像光を外光と共にユーザの眼に入射させ、前記画像情報に応じた画像を外景と重ねて表示する表示手段を備えたヘッドマウントディスプレイにおいて、
前記ユーザの視野範囲のうち少なくとも前記表示手段による表示領域を含む範囲を撮像する撮像手段と、
前記撮像手段の撮像領域内に存在する非可視の識別コードを検出可能なコード検出手段と、
識別コードに対応付けられた対応情報を記憶した記憶手段から前記コード検出手段によって検出された識別コードに対応する対応情報を読み出し、当該識別コードに対応させて前記表示手段に表示する制御を行う表示制御手段と、を備え、
前記表示制御手段は、前記コード検出手段によって検出された識別コードの位置に対応する前記表示手段の表示位置に、当該識別コードの位置を示す標識情報を表示する制御を行うことを特徴とするヘッドマウントディスプレイ。
【請求項2】
ユーザの視線方向を検出する視線方向検出手段を備え、
前記表示制御手段は、
前記コード検出手段によって検出された識別コードのうち、前記視線方向検出手段により検出したユーザの視線方向にある識別コードを選択し、当該選択した識別コードに応じた対応情報が前記記憶手段にあるときに当該記憶手段から読み取って表示制御を行う請求項1に記載のヘッドマウントディスプレイ。
【請求項3】
前記表示制御手段は、
前記選択した識別コードの位置に、当該識別コードに応じた対応情報が前記記憶手段にある旨を示す情報を前記表示手段により表示することを特徴とする請求項2に記載のヘッドマウントディスプレイ。
【請求項4】
前記表示制御手段は、
前記選択した識別コードに応じた対応情報を前記表示手段により表示することを特徴とする請求項2又は請求項3に記載のヘッドマウントディスプレイ。
【請求項5】
前記表示制御手段は、
前記識別コードに対応付けられた対応情報を、図柄、文字、静止画像、動画像の中のいずれかの表示態様で表示することを特徴とする請求項1〜4のいずれか1項に記載のヘッドマウントディスプレイ。
【請求項6】
前記非可視の識別コードは赤外線により形成されることを特徴とする請求項1〜5のいずれか1項に記載のヘッドマウントディスプレイ。
【請求項7】
前記コード検出手段は、前記撮像手段の撮像領域内に存在する可視の識別コードを検出可能としており、
前記コード検出手段により前記非可視の識別コードを検出する非可視モードと、前記コード検出手段により可視の識別コードを検出する可視モードとを切り替えるモード切替手段を備えたことを特徴とする請求項1〜6のいずれか1項に記載のヘッドマウントディスプレイ。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【公開番号】特開2010−210822(P2010−210822A)
【公開日】平成22年9月24日(2010.9.24)
【国際特許分類】
【出願番号】特願2009−55576(P2009−55576)
【出願日】平成21年3月9日(2009.3.9)
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.QRコード
【出願人】(000005267)ブラザー工業株式会社 (13,856)
【Fターム(参考)】
【公開日】平成22年9月24日(2010.9.24)
【国際特許分類】
【出願日】平成21年3月9日(2009.3.9)
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.QRコード
【出願人】(000005267)ブラザー工業株式会社 (13,856)
【Fターム(参考)】
[ Back to top ]