ヘッドマウントディスプレイ
【課題】作業の邪魔になる領域の参照用画像の視認性を低減して、作業対象を含む外景の視認性を向上させることのできるヘッドマウントディスプレイを提供すること。
【解決手段】ヘッドマウントディスプレイにおいて、ユーザの視野範囲のうち少なくとも表示手段による表示領域を含む範囲を撮像する撮像手段と、前記撮像手段によって撮像された画像を解析して、前記ユーザの手を検知する手検知手段と、前記ユーザが所定の作業を行うときに参照用として使用する参照用画像を前記表示手段により表示させる制御を行う表示制御手段と、前記手検知手段で検知した手のうち一方の手と他方の手との間で形成される領域を判定する判定手段と、を備え、前記表示制御手段は、前記表示手段により表示させる参照用画像のうち前記判定手段で判定した領域の前記ユーザに対する視認性を低減して外景の視認性を向上させることのできるヘッドマウントディスプレイとした。
【解決手段】ヘッドマウントディスプレイにおいて、ユーザの視野範囲のうち少なくとも表示手段による表示領域を含む範囲を撮像する撮像手段と、前記撮像手段によって撮像された画像を解析して、前記ユーザの手を検知する手検知手段と、前記ユーザが所定の作業を行うときに参照用として使用する参照用画像を前記表示手段により表示させる制御を行う表示制御手段と、前記手検知手段で検知した手のうち一方の手と他方の手との間で形成される領域を判定する判定手段と、を備え、前記表示制御手段は、前記表示手段により表示させる参照用画像のうち前記判定手段で判定した領域の前記ユーザに対する視認性を低減して外景の視認性を向上させることのできるヘッドマウントディスプレイとした。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ヘッドマウントディスプレイに関する。
【背景技術】
【0002】
従来、画像情報に応じた画像光を外光と共にユーザの眼に入射させ、前記画像情報に応じた画像を外景と重ねて表示する表示手段を備えたヘッドマウントディスプレイが画像表示装置の一例として知られている。
【0003】
そして、かかるヘッドマウントディスプレイの使用形態として、当該ヘッドマウントディスプレイを装着した状態で、表示手段により参照用画像(例えば、作業マニュアルなど)を表示させながら作業に従事する場合が考えられる。
【0004】
この場合、前記表示手段により表示された参照用画像が、手を使って実際に作業するときには邪魔になる場合があるため、邪魔になると判断される場合には消去できるようにすることが望ましい。
【0005】
他方、画像表示装置の一例として、車両などに搭載することができ、画像情報を反射手段による虚像として表示することができる虚像表示装置がある(例えば特許文献1を参照)。
【0006】
かかる虚像表示装置は、当該虚像表示装置を操作するユーザの視線を特定する視線特定手段と、当該虚像表示装置により表示されている虚像のうち、視線特定手段により特定されたユーザ視線上或いはその近傍にある虚像を、ユーザが注視している注視虚像と特定する虚像特定手段と、当該虚像表示装置による表示を制御するための表示制御指令を検出する表示指令検出手段と、当該表示指令検出手段により検出された表示制御指令が、注視虚像の表示についての指令である場合には、表示制御指令に基づいて、注視虚像の表示を制御する第1表示制御手段と、を備えることを特徴としている。
【0007】
そして、表示指令検出手段は、ユーザの手或いは指の動きを認識し、該認識した動きに基づいて、前記表示制御指令の指令内容を特定するようにして、ユーザが、手或いは指を動かしてジェスチャを行うことにより、虚像表示装置に対して指令を出すことができるようにしている。
【0008】
こうして、特許文献1に係る虚像表示装置では、ユーザは、虚像を注視することによって特定した虚像について、所定のジェスチャによって虚像を消去することが可能となっている。
【先行技術文献】
【特許文献】
【0009】
【特許文献1】特開2005-138755号公報
【発明の概要】
【発明が解決しようとする課題】
【0010】
前述したように、ヘッドマウントディスプレイでは、表示手段により表示される参照用画像が邪魔になると判断された場合に消去する技術は確立されていないため、特許文献1のように、ユーザが特定した参照用画像を所定のジェスチャにより簡単に消去する技術を適用することも考えられる。
【0011】
しかし、作業中は、手を使用することが多いため、かかる手や指のジェスチャにより参照用画像(虚像)を消去するとなれば、作業を中断せざるをえなくなるなど、作業に支障をきたす場合がある。また、画像を特定するための特定手段が必要になるなど、装置が複雑化するおそれもある。
【0012】
そこで、手や指を使う作業に用いられるヘッドマウントディスプレイにおいて、参照用画像を、作業の邪魔にならないように、より簡便に表示制御できる技術が求められている。
【0013】
本発明では、上記課題を解決し、表示手段により表示させる参照用画像のうち、作業の邪魔になる領域の視認性を低減して、作業対象を含む外景の視認性を向上させる表示制御を行えるヘッドマウントディスプレイを提供することを目的としている。
【課題を解決するための手段】
【0014】
上記目的を達成するために、請求項1に記載の発明は、画像情報に応じた画像光を外光と共にユーザの眼に入射させ、前記画像情報に応じた画像を外景と重ねて表示する表示手段を備えたヘッドマウントディスプレイにおいて、前記ユーザの視野範囲のうち少なくとも前記表示手段による表示領域を含む範囲を撮像する撮像手段と、前記撮像手段によって撮像された画像を解析して、前記ユーザの手を検知する手検知手段と、前記ユーザが所定の作業を行うときに参照用として使用する参照用画像を前記表示手段により表示させる制御を行う表示制御手段と、前記手検知手段で検知した手のうち一方の手と他方の手との間で形成される領域を判定する判定手段と、を備え、前記表示制御手段は、前記表示手段により表示させる参照用画像のうち前記判定手段で判定した領域の前記ユーザに対する視認性を低減して外景の視認性を向上させることとした。
【0015】
また、請求項2に記載の発明は、請求項1に記載のヘッドマウントディスプレイにおいて、前記表示制御手段は、前記判定手段判定した領域の画像の輝度を低下させることによって前記視認性の低減を行うことを特徴とする。
【0016】
また、請求項3に記載の発明は、請求項1又は請求項2に記載のヘッドマウントディスプレイにおいて、前記表示制御手段は、前記判定手段で判定した領域の画像の輝度をゼロにすることを特徴とする。
【0017】
また、請求項4に記載の発明は、請求項1又は請求項2に記載のヘッドマウントディスプレイにおいて、前記表示制御手段は、前記判定手段で判定した領域の形態に応じて、当該領域の前記ユーザに対する視認性の低減度合いを変更することを特徴とする。
【0018】
また、請求項5に記載の発明は、請求項1〜4のいずれか1項に記載のヘッドマウントディスプレイにおいて、前記判定手段は、前記手検知手段で検知した前記一方の手の指と前記他方の手の指との間で形成される領域を前記判定する領域とすることを特徴とする。
【0019】
また、請求項6に記載の発明は、請求項1〜5のいずれか1項に記載のヘッドマウントディスプレイにおいて、前記表示制御手段は、前記表示手段による表示制御を行っているときに、前記手検知手段で前記一方の手と前記他方の手とを検知したときであっても、当該検知した手の状態が所定条件を満たすときには、前記視認性の低減を中止することを特徴とする。
【0020】
また、請求項7に記載の発明は、請求項6に記載のヘッドマウントディスプレイにおいて、前記表示制御手段は、前記手検知手段で検知した前記一方の手と前記他方の手との間の距離が所定距離以上のときに前記所定条件を満たすと判定することを特徴とする。
【0021】
また、請求項8に記載の発明は、請求項6又は請求項7に記載のヘッドマウントディスプレイにおいて、前記表示制御手段は、前記手検知手段により検知した手の位置が前記撮像手段の焦点距離を含む所定距離範囲にあるときに前記所定条件を満たすと判定することを特徴とする。
【発明の効果】
【0022】
本発明によれば、表示手段により表示している参照用画像のうち、ユーザの手と手の間の領域における視認性を、スイッチ操作をすることなく自動的に低減して外景の視認性を向上させることができるため、参照用画像が作業の邪魔になることがなくなり、作業効率が上がるとともに、作業の安全性を高めることが可能となる。
【図面の簡単な説明】
【0023】
【図1】本実施形態に係るヘッドマウントディスプレイ(HMD)の光の進路を示す説明図である。
【図2】同HMDの使用状態を示す説明図である。
【図3】参照用画像の説明図である。
【図4】本実施形態に係るHMDを使用して参照用画像を見ながら行う作業の説明図である。
【図5】本実施形態に係るHMDの概要構成図である。
【図6】参照用画像の視認性を低減させる制御の一例を示す説明図である。
【図7】HMDの電気的構成及び光学的構成を示したブロック図である。
【図8】制御部の構成を示したブロック図である。
【図9】本実施形態に係るHMDのコンテンツ表示制御処理を示したフローチャートである。
【図10】変形例に係るコンテンツ表示制御処理の説明図である。
【図11】参照用画像の視認性を低減させる制御の一例を示す説明図である。
【図12】参照用画像の視認性を低減させる制御の例外を示す説明図である。
【発明を実施するための形態】
【0024】
以下、本実施形態に係るヘッドマウントディスプレイ(以下、「HMD:Head Mount Display」という。)の一例について、図面を参照して説明する。なお、本実施形態では、HMDを、画像信号に基づいて生成した画像光を2次元的に走査し、その走査された画像光をユーザの眼に投射して網膜上に結像させる網膜走査型として説明するが、本発明はこれに限定されるものではなく、画像情報に応じた画像光を外光と共にユーザの眼に入射させ、前記画像情報に応じた画像を外景と重ねて表示する表示手段を備えた構成を有するものであれば全てに適用することができる。
【0025】
[1.HMDの概要]
図1に示すように、本実施形態に係るHMDは、コンテンツとなる表示画像として、例えば作業マニュアルのような参照用画像200を表示させることができ、ユーザ100は、図2に示すように、このHMDを装着して参照用画像200を見ながら所定の作業を行うことができるようになっている。本実施形態においては、ユーザ100の作業として、コード111で接続された一対のバナナプラグ110,110を用いて配電盤の配線作業を行う例を説明するが、作業内容としては何ら限定されるものではない。
【0026】
HMDは、図1に示すように、外光400の一部が少なくともユーザ100のいずれかの眼101に到達する状態で、参照用画像情報に応じた画像光500をハーフミラー10で反射させてユーザ100の眼101に投射し、当該ユーザ100に参照用画像200を視認させる表示部1を備えている。
【0027】
この表示部1は、図2に示すように、ユーザ100の頭部102に装着される投影ユニット1aと、この投影ユニット1aと光ファイバケーブル50を介して接続された光源ユニット1bとから構成されている。投影ユニット1aは、ユーザ100の頭部102に装着する眼鏡フレーム型の装着部11に取り付けられ、光源ユニット1bは、投影ユニット1aとは別体のコントロールユニット3に内蔵されている。また、装着部11は眼鏡フレーム型としているため、あたかも眼鏡のように簡単に装着することができる。
【0028】
参照用画像200は、配電盤における配線作業に合わせて予め用意されている。本実施形態では、図3に示すように、配電盤の配線作業部(図2参照)にマトリックス状に設けられた端子群に対応するように、所定の画像表示領域a内に、縦横の座標(A〜G、1〜7)と、作業順番に応じて接続すべき端子同士が表示されるようになっている。
【0029】
図3(a)で示した参照用画像200は、座標(3,C)に位置する端子と座標(5,D)に位置する端子とを配線する作業手順を示すものあり、端子位置を示す座標と、端子に対応する丸マーク201,201と、これら丸マーク201,201同士を線202で結んだ画像が表示されている。
【0030】
また、参照用画像200は、図3(b)に示すように、ユーザ100の視界の中では、作業対象となる配線作業部に重畳された状態で表示される。
【0031】
したがって、図4に示すように、ユーザ100は、実際の配線作業部に参照用画像200を重畳表示させることで、配線すべき端子同士が簡単に特定できるため、たとえ作業に熟練した者でなくとも容易に所定の配線作業が行える。
【0032】
しかし、図4に示すように、端子上に丸マーク201が重なってしまうと、実際の端子の位置が見え難くなることが考えられる。また、ユーザ100の頭部102の位置が動くと参照用画像200と端子位置とが簡単にずれてしまい、逆に誤配線、誤作業を招くおそれがあった。
【0033】
そこで、本実施形態に係るHMDは、図5に示すように、表示部1の他に、ユーザ100の視野範囲のうち、少なくとも表示部1により参照用画像200が表示される表示領域を含む範囲を撮像する撮像手段であるCCDカメラ2と、このCCDカメラ2によって撮像された画像を解析して、ユーザ100の手103を検知する手検知手段と、参照用画像200を表示させる制御を行う表示制御手段と、前記手検知手段で検知した手103のうち一方の手103と他方の手103との間で形成される作業領域b(図6参照)を判定する判定手段として機能する制御部30を備えた構成としている。
【0034】
かかる構成により、表示制御手段は、表示部1により表示させる参照用画像200のうち、前記判定手段で判定した作業領域bのユーザ100に対する視認性を低減して作業対象となる配線作業部の視認性を向上させることができる。
【0035】
すなわち、本実施形態における手検知手段、表示制御手段、及び判定手段は、コントロールユニット3に内蔵された制御部30がその機能を担っており、この制御部30は、図8を用いて後に詳述するが、CPU40、プログラムROM41、フラッシュR0M42、RAM43などを備えたコンピュータからなり、プログラムROM41に格納された制御プログラムに従ってCPU40が各手段として機能することになる。なお、プログラムROM41に格納された制御プログラムの一部は、例えば、CD−R、DVD―R等の記録媒体に記録されているものでもよく、その場合、コントロールユニット3に所定の外部接続端子を設けておき、例えば図示しない記録媒体ドライブをこれに接続し、記録媒体を介して、例えばフラッシュR0M42に読み込まれるようにしてもよい。
【0036】
こうして、制御部30は、図6(a)に示すように手検知手段として機能してユーザ100の手103を検知することができるとともに、判定手段としても機能して、検知した左右の手103,103の間で形成される所定の領域を作業領域bとして判定すると、この作業領域bに重畳表示されている参照用画像200の輝度を低下させることによって視認性の低減を行うのである。
【0037】
ここで、一方の手103と他方の手103との間で形成される作業領域bとは、例えば手103自体は含まずに、手103と手103との間の空間で形成される場合もあるし、手103自体を含んで形成される場合もある。ここでは、図6(a)に示すように、手103自体を含んだ領域としているため、図6(b)に示すように、参照用画像200の一部をなす縦座標A〜Gのうち、左の手103に重なってしまうBCDEは消える。
また、図6(a)では正しい位置からずれていたバナナプラグ110で連結すべき端子を表した丸マーク201,201及び両丸マーク201,201を結んだ線202、さらには端子位置を示す座標も図6(b)では消えてすっきりとした表示となり、配線作業部の視認性が向上して、参照用画像200が邪魔にならず、作業が行い易くなっている。
【0038】
なお、図6(b)で示した例では、表示制御手段として機能する制御部30は、参照用画像200のうち、作業領域bに重畳表示された部分の輝度をゼロにしているため、輝度がゼロとなった部分はユーザ100の視野から消去された状態となっている。しかし、詳しくは後述するが、配線作業部の視認性を向上させるためには、作業領域bに重なる参照用画像200の輝度を必ずしもゼロにしなくてもよく、作業領域bにおけるユーザ100に対する視認性の低減度合いが変更されて作業領域bにおける配線作業部の視認性が向上すればよい。
【0039】
ところで、ユーザ100の手103を検知する方法としては、適宜周知の技術を採用することができる。本実施形態では、ユーザ100の視野範囲のうち少なくとも表示部1による表示領域を含む範囲を撮像可能なCCDカメラ2で撮像した撮像画像中の手103の色(肌色)と、その色が占める面積とにより手103として検知するようにしている。
【0040】
つまり、制御部30は、CCDカメラ2による撮像画像に含まれる各画素のRGB値から色温度を算出し、肌色を示す色温度の画素が集合した領域の面積が所定の値以上であるか否かを判定し、所定値以上の面積を有する領域を手103として検出するのである。
【0041】
なお、手103に手袋をはめて作業するような場合は、肌色ではなく使用する手袋の色を検出することは言うまでもない。
【0042】
[2.HMDの電気的構成及び光学的構成を含む具体的構成]
本実施形態に係るHMDの概要は上述してきた通りであり、前述したように、HMDの投影ユニット1aは、眼鏡フレーム型の装着部11に取り付けられており、図2に示すように、装着部11をユーザ100の頭部102へ装着したとき、ユーザ100の左眼部分と左側こめかみ部分とを被覆するような平面視略L字形状に形成され、この投影ユニット1aの上方位置にCCDカメラ2が配設されている。
【0043】
また、図1及び図2で示したように、投影ユニット1aの先端側には、左の眼101の前方に位置するようにハーフミラー10が取り付けられている。
【0044】
すなわち、本実施形態に係るHMDは、図1に示すように、外光400をハーフミラー10から透過させてユーザ100の左の眼101に入射させ、画像光500はハーフミラー10で反射させてユーザ100の眼101に入射させるようにしている。また、当然ながら、外光400は右の眼101にも入射している。したがって、ユーザ100は、両眼101,101を開けている場合は当然ながら、右の眼101を閉じた状態であっても、参照用画像200を見ながら外界も見ることができる。
【0045】
また、コントロールユニット3はユーザ100が衣服のポケットなどに収納して携行可能であり、このコントロールユニット3に配設された光源ユニット1bは、外部接続ケーブル4(図2参照)を介してPC(パーソナルコンピュータ)300(図8参照)などの外部機器と接続して画像情報を取得可能としており、この光源ユニット1bは、投影ユニット1aと光ファイバケーブル50等を介して接続されている。
【0046】
また、光源ユニット1bは、後述する画像信号供給回路6を備えており、PC300から送信される画像データに応じた画像情報を画素単位で強度変調して画像光500を形成し、この画像光500を光ファイバケーブル50を介して投影ユニット1aへ伝送し、投影ユニット1aでは、伝送された画像光500を走査してユーザ100に参照用画像200を視認させることができる。
【0047】
図7はHMDの電気的構成及び光学的構成を示したブロック図、図8は制御部の構成を示したブロック図であり、図7に示すように、HMDは表示部1及びCCDカメラ2を備えており、表示手段である表示部1は、前述したように装着部11に設けられた投影ユニット1aと、コントロールユニット3に配設された光源ユニット1bとから構成されている。
【0048】
このコントロールユニット3には、HMD全体の動作を統括制御する制御部30も配設されており、光源ユニット1bは、この制御部30から供給される画像信号Sから画像情報を画素単位で読み出し、読み出した画素単位の画像情報に基づいてR(赤色),G(緑色),B(青色)の各色毎に強度変調された光束を生成して出射するようになっている。
【0049】
なお、光源ユニット1bをコントロールユニット3内に設けるのではなく、投影ユニット1a内に設けるようにしてもよい。また、本実施形態では表示部1として2次元的に走査したレーザ光をユーザ100の眼101に入射し網膜101b上に画像を投影する網膜走査型の表示部を例に挙げて説明するが、これに限らず、例えば、液晶型の表示部を用いることもできる。液晶型の表示部としては、例えば、透過型液晶パネルに光源からの光を照射してこの液晶パネルを透過した光を画像光として利用者の眼に入射する透過型のものや、反射型液晶パネルに光源からの光を照射してこの液晶パネルを反射した光を画像光として利用者の眼に入射する反射型のものがある。
【0050】
(光源ユニット1b)
光源ユニット1bには、画像を合成するための要素となる信号等を発生する画像信号供給回路6が設けられている。PC300から供給される画像データが制御部30に入力されると、制御部30はその画像データに基づいて画像信号Sを生成して画像信号供給回路6に送る。画像信号供給回路6は、画像信号Sに基づいて、参照用画像200を形成するための要素となる各信号を画素単位で生成する。すなわち、画像信号供給回路6からは、R(赤色)画像信号60r,G(緑色)画像信号60g,B(青色)画像信号60bが生成されて出力される。また、画像信号供給回路6は、水平走査部80で使用される水平駆動信号61と、垂直走査部90で使用される垂直駆動信号62とをそれぞれ出力する。
【0051】
また、光源ユニット1bには、画像信号供給回路6から画素単位で出力されるR画像信号60r、G画像信号60g、B画像信号60bの各画像信号60r,60g,60bをもとに、それぞれ強度変調されたレーザ光(「光束」とも呼ぶ。)である画像光500を出射するように、Rレーザ63,Gレーザ64,Bレーザ65をそれぞれ駆動するためのRレーザドライバ66,Gレーザドライバ67,Bレーザドライバ68が設けられている。各レーザ63,64,65は、例えば、半導体レーザや高調波発生機構付き固体レーザとして構成することが可能である。なお、半導体レーザを用いる場合は駆動電流を直接変調して、レーザ光の強度変調を行うことができるが、固体レーザを用いる場合は、各レーザそれぞれに外部変調器を備えてレーザ光の強度変調を行う必要がある。
【0052】
さらに、光源ユニット1bは、各レーザ63,64,65より出射されたレーザ光を平行光にコリメートするように設けられたコリメート光学系71,72,73と、このコリメートされたレーザ光を合波するためのダイクロイックミラー74,75,76と、合波されたレーザ光を光ファイバケーブル50に導く結合光学系77とが設けられている。
【0053】
従って、各レーザ63,64,65から出射したレーザ光は、コリメート光学系71,72,73によってそれぞれ平行化された後に、ダイクロイックミラー74,75,76に入射される。その後、これらのダイクロイックミラー74,75,76により、各レーザ光が波長に関して選択的に反射・透過される。そして、これら3つのダイクロイックミラー74,75,76にそれぞれ入射した3原色のレーザ光は、波長選択的に反射または透過して結合光学系77に達し、集光されて光ファイバケーブル50へ出力される。
【0054】
(投影ユニット1a)
光源ユニット1bとユーザ100の眼101との間に位置する投影ユニット1aには、光源ユニット1bで生成され、光ファイバケーブル50を介して出射されるレーザ光を平行光化するコリメート光学系81と、このコリメート光学系81で平行光化されたレーザ光を画像表示のために水平方向に往復走査する水平走査部80と、水平走査部80で水平方向に走査されたレーザ光を垂直方向に走査する垂直走査部90と、水平走査部80と垂直走査部90との間に設けられた第1リレー光学系85と、このように水平方向と垂直方向に走査されたレーザ光を瞳孔101aへ出射するための第2リレー光学系95とが設けられている。
【0055】
水平走査部80及び垂直走査部90は、光ファイバケーブル50から入射されたレーザ光を画像としてユーザ100の網膜101bに投影可能な状態にするために、水平方向と垂直方向に走査して走査光束とする光学系であり、水平走査部80は、レーザ光を水平方向に走査するため偏向面を有する共振型の偏向素子82と、この偏向素子82を共振させて偏向素子82の偏向面を揺動させる駆動信号を水平駆動信号61に基づいて発生する水平走査駆動回路83を備えている。
【0056】
一方、垂直走査部90は、レーザ光を垂直方向に走査するため偏向面を有する非共振型の偏向素子91と、この偏向素子91の偏向面を非共振状態で揺動させる駆動信号を垂直駆動信号62に基づいて発生する垂直走査制御回路92とを備え、表示すべき画像の1フレームごとに、画像を形成するためのレーザ光を最初の水平走査線から最後の水平走査線に向かって垂直に走査する。ここで「水平走査線」とは、水平走査部80による水平方向への1走査を意味する。
【0057】
なお、偏向素子81,91は、ここではガルバノミラーを用いることとするが、レーザ光を走査するようにその偏向面(反射面)を揺動又は回転させられるものであれば、圧電駆動、電磁駆動、静電駆動等いずれの駆動方式によるものであってもよい。また、本実施形態においては、水平走査部80に共振タイプの偏向素子を用い、垂直走査部90を非共振タイプの偏向素子を用いることとしているが、これに限らず、例えば、垂直走査系に共振タイプの偏向素子を用いてもよく、どちらも非共振タイプの偏向素子としてもよい。
【0058】
また、水平走査部80と垂直走査部90との間でレーザ光を中継する第1リレー光学系85は、偏向素子81の偏向面によって水平方向に走査されたレーザ光を偏向素子91の偏向面に収束させる。そして、このレーザ光が偏向素子91の偏向面によって垂直方向に走査され、正の屈折力を持つ2つのレンズ95a,95bが直列配置された第2リレー光学系95を介して、眼101の前方に位置させたハーフミラー10で反射されてユーザ100の瞳孔101aに入射し、網膜101b上に画像信号Sに応じた参照用画像200が投影される。これにより、ユーザ100はこのように瞳孔101aに入射する画像光500であるレーザ光を、参照用画像200として認識する(図3参照)。
【0059】
なお、第2リレー光学系95においては、レンズ95aによって、それぞれのレーザ光がそのレーザ光の中心線を相互に略平行にされ、かつそれぞれ収束レーザ光に変換される。そして、レンズ95bによってそれぞれほぼ平行なレーザ光となると共に、これらのレーザ光の中心線がユーザ100の瞳孔101aに収束するように変換される。
【0060】
(制御部30)
制御部30は、その内部に記憶されている制御プログラムにしたがって後述する所定の処理を実行することによって、前述した手検知手段、表示制御手段、及び判定手段等として機能する。
【0061】
図8に示すように、制御部30は、各コントローラ31,32,36と、各VRAM(Video Random Access Memory)33,37と、周辺機器インターフェース(図中「I/F」と示し、以下「I/F」とも呼ぶ)38と、通信I/F39と、を備えている。
【0062】
主コントローラ31は、CPU(Central Processing Unit)40と、プログラムROM(Read Only Memory)41と、不揮発性メモリであるフラッシュROM(フラッシュメモリ)42と、RAM(Random Access Memory)43と、を備えており、これらはデータ通信用のバスにそれぞれ接続されており、このデータ通信用のバスを介して各種情報の送受信を行う。
【0063】
CPU40は、プログラムROM41に記憶されている制御プログラムを実行することにより、主コントローラ31としてHMDを構成する各部を動作させて、HMDが備える各種機能を実行させる演算処理装置である。また、フラッシュROM42は、CCDカメラ2などから出力される画像データや、参照用画像200の輝度の設定値などを記憶する。
【0064】
HMD用コントローラ32は、主コントローラ31からの要求に応じて表示部1を制御し、主コントローラ31によりHMD用VRAM33に記憶された画像データに基づいた画像信号Sを表示部1に供給する。表示部1は、HMD用コントローラ32から画像信号Sが入力されると、この画像信号Sに基づいて強度変調した各色のレーザ光を生成及び走査してユーザ100の眼101に出射し、ユーザ100の網膜101bに画像信号Sに応じた画像を投影する。これによって、主コントローラ31は、画像を表示させる制御を行う。
【0065】
カメラ用コントローラ36は、撮像手段であるCCDカメラ2を制御し、カメラ用VRAM37は、CCDカメラ2から出力される画像データを一時的に記憶する。主コントローラ31は、ユーザ100の手の位置を認識するために、カメラ用コントローラ36を介してCCDカメラ2を制御し、ユーザ100の視野範囲のうち少なくとも表示部1による画像の表示領域を含む範囲をCCDカメラ2により撮像させ、CCDカメラ2から出力される画像データをカメラ用VRAM37を介して取得する。これによって、主コントローラ31は、CCDカメラ2によって撮像された画像を取得することができ、前述したように、その画像を解析して肌色の領域とその面積を検出することによって、ユーザ100の手を認識している。なお、CCDカメラ2によって撮像された画像の処理をするために主コントローラ31内に別途画像処理部をハードウェアで構成することにより画像処理を高速に行うこともできる。
【0066】
周辺機器I/F38は、電源スイッチやコンテンツ表示スイッチやランプ類等(図示せず)の周辺機器5を主コントローラ31に接続するためのインターフェースである。例えば、電源スイッチやコンテンツ表示スイッチやランプ類が周辺機器I/F38に接続されたとき、主コントローラ31は、電源スイッチやコンテンツ表示スイッチ等のスイッチ類からの操作情報を周辺機器I/F38から受け取り、周辺機器I/F38を介してランプ類の点灯情報をランプ類に供給する。
【0067】
通信I/F39は、主コントローラ31とPC300とを通信可能に制御する。主コントローラ31は、例えば、通信I/F39を介して画像データの供給をPC300に要求し、PC300から通信I/F39を介して供給された画像データに基づいた画像信号SをHMD用コントローラ32により表示部1に供給する。
【0068】
なお、上述においては、撮像手段としてCCDカメラ2を用いることとしたが、これに限られず、CMOSカメラなどを用いてもよい。
【0069】
次に、制御部30での処理の一例について、図9及び図6を参照して説明する。図9はコンテンツとなる作業用マニュアル(参照用画像200)の表示制御処理を示したフローチャートである。なお、HMDの電源スイッチ(図示せず)は既にオン操作されており、電源スイッチがオン操作された後の初期設定処理などは全て完了し、さらに、コンテンツ表示スイッチ(図示せず)がオン操作されてコンテンツ表示命令がされた場合としている。
【0070】
コンテンツ表示命令がされると、図9に示すように、主コントローラ31のCPU40は、例えば図3に示した作業指示書などのコンテンツをHMD用VRAM33に一時保存する(ステップS100)。
【0071】
次いで、CPU40は、CCDカメラ2がユーザ100の左右の手103,103を検出したか否かを判定する(ステップS101)。
【0072】
すなわち、前述したように、CPU40は、カメラ用VRAM37を介してCCDカメラ2が撮像した画像データを取得し、その中に、肌色を示す色温度の画素が集合した領域の面積が所定の値以上である場合に手103があると判定しており、かかる領域が2つ検知された場合に両手が撮像範囲内に存在すると判定することができる。
【0073】
なお、このとき、肌色を示す色温度の画素が集合した領域の面積が所定の値以上の領域が1つの場合は片手のみが撮像範囲内に存在すると判定されることになり、本実施形態の特徴となる処理、すなわち、コンテンツとなる参照用画像200のユーザ100に対する視認性を低減して作業対象の視認性を向上させるという表示制御は実行されない。
【0074】
ステップS101において、両手(左右の手)103,103が検出されていないと判定した場合(ステップS101:No)、CPU40は処理をステップS104に移す一方、両手103,103が検出されたと判定した場合は(ステップS101:Yes)、肌色として検出された2つの領域(肌色検出領域)間を仮想的に外接矩形(図6(a)における二点鎖線を参照)で囲み、外接矩形で囲まれた作業領域bの画像表示領域a内における位置を特定する(ステップS102)。
【0075】
次いで、CPU40は、特定した外接矩形で仮想的に囲まれた作業領域b内にある参照用画像200の一部を黒で塗りつぶす制御を実行する。すなわち、参照用画像200のうち、外接矩形で囲まれた作業領域b内に重畳されている部分の輝度をゼロとする表示制御を実行する(ステップS103)。
【0076】
ステップS104において、CPU40は、ステップS103の処理によってあたかも画像表示領域aから外接矩形で仮想的に囲まれた作業領域bが刳り抜かれたかのような参照用画像200を、HMD用コントローラ32を介して表示部1に送出する。他方、ステップS101において、左右の103,103が検出されていなかった場合はHMD用VRAM33に保存しておいたコンテンツをそのままHMD用コントローラ32を介して表示部1に送出することになる。
【0077】
かかる処理により、CCDカメラ2がユーザ100の左右の手103,103を検出すると、図6(b)で示したように、左右の手103,103の間の丸マーク201や線202が非表示となって、配線作業部における結線対象となる端子の視認性が著しく向上するため、ユーザ100は、当該端子に左右の手103,103で保持したバナナプラグ110,110を挿入しやすくなる。
【0078】
ステップS105では、CPU40は、コンテンツ表示スイッチがオフ操作されてコンテンツ表示終了命令がなされたか否かを判定する。終了命令がなされていないと判定した場合は(ステップS105:No)、ステップS100〜ステップS104までの処理を繰り返す一方、終了命令がなされた場合は(ステップS105:Yes)、この表示制御処理を終了する。
【0079】
このように、本実施形態に係るHMDでは、参照用画像200を表示部1に表示させて参照しつつ、ユーザ100が所定の作業を行う場合、表示している参照用画像200のうち、ユーザ100の手103と手103の間の作業領域bにおける視認性を、スイッチ操作をすることなく自動的に低減して外景となる配線作業部の視認性を向上させることができるため、参照用画像200が作業の邪魔になることがなくなり、作業効率が上がるとともに、作業の安全性を高めることも可能となる。
【0080】
ここで、表示制御処理の変形例について説明する。図10は変形例に係る表示制御処理を示す説明図である。
【0081】
この変形例では、主コントローラ31で、手103と手103との間に作業領域bが形成されていると判定した場合に、その作業領域bに重畳表示される参照用画像200の輝度を無条件でゼロにするのではなく、判定した作業領域bの形態に応じて、当該作業領域bにおける参照用画像200のユーザ100に対する視認性の低減度合いを変更するようにしている。
【0082】
作業領域bの形態については、例えば、その面積の大小とすることができ、検出した左右の手103,103間に形成される作業領域bの面積Aが所定の第1比較面積A1を超える第1の条件の場合(A>A1)は第1レベルの低減度合いとし、作業領域bの面積Aが第1比較面積A1よりも小さく第2比較面積A2よりも大きい第2の条件の場合(A1≧A>A2)は第2レベルの低減度合いとし、さらに、作業領域bの面積Aが第2比較面積A2よりも小さく第3比較面積A3よりも大きい第3の条件の場合(A2≧A>A3)は第3レベルの低減度合いとする、というように、予め、視認性の低減度合いをテーブル化してフラッシュROM42に記憶しておくのである。
【0083】
例えば、座標(3,E)にある端子と座標(5,F)にある端子とを結線するという作業の場合であって、図10(a)に示すように、参照用画像200には「(3,E)−(5,F)を赤色の短い線のプラグで接続する」といった作業指示書が表示されているとする。ユーザ100は、左右の手103,103の間に形成される作業領域bに表示された作業指示書を見て接続対象となる端子を確認するため、左右の手103,103は離れた状態となっている。このとき、検出される左右の手103,103の位置は、画像表示領域aの中の端近傍同士となる。このときの作業領域bは広範囲に及んでおり、これが第1の条件を満たす場合、CPU40は、参照用画像200のユーザ100に対する視認性の低減度合いは第1のレベルで低くする。したがって、ユーザ100は、作業指示内容を明瞭に視認することができるため、赤色の短いバナナプラグ110で結線すべき端子の位置を確認することができる。
【0084】
結線すべき端子の位置を作業指示書で確認したユーザ100は、図10(b)に示すように、画像表示領域aの中の端近傍同士の位置から、座標(3,E)にある端子と座標(5,F)にある端子に近づけるように左右の手103,103を移動する。したがって、手103同士の距離が縮まり、左右の手103,103の間に形成される作業領域bの面積も一回り小さくなる。このとき、CPU40が第2の条件を満たしていると判定した場合、参照用画像200のユーザ100に対する視認性の低減度合いを第2のレベルまで低くする。具体的には、作業指示書を形成する文字の輝度を略50%程に低減する。この状態では、作業指示書の文字は作業の邪魔になりつつあるものの、その色や線は薄く細く表示されるため、ユーザ100は、これをさほど邪魔に思うことがない。
【0085】
そして、図10(c)に示すように、左右の手103,103に保持されたバナナプラグ110が座標(3,E)にある端子と座標(5,F)にある端子とに接近した状態では、手103同士の距離がより一層縮まり、左右の手103,103の間に形成される作業領域bの面積が第3の条件を満たしたとする。するとCPU40は、参照用画像200のユーザ100に対する視認性の低減度合いをさらに第3のレベルまで低くする。具体的には、作業指示書を形成する文字の輝度を略80%程に低減する。この状態では、作業指示書の文字の色や線は、殆ど視認できない程度まで極めて薄く細く表示されるため、ユーザ100にとってこれらが邪魔になることがない。
【0086】
このように、図10で示した例では、作業領域bの面積が広ければ広いほど、参照用画像200が作業の邪魔になる可能性が漸次低くなるように表示制御を行っている。
【0087】
[3.他の実施形態]
ところで、上述してきた実施形態では、手検知手段として機能する主コントローラ31が左右の手103,103を外接矩形で囲み、その囲んだ領域を作業領域bとして認識していたが、他の実施形態として、図11に示すように、一方の手103の指104と他方の手103の指104との間に形成される領域を可変作業領域cとして判定することもできる。
【0088】
その場合、図11(a)に示す状態では、左右の人差し指104及び親指104の間に形成された可変作業領域cは、扁平で範囲が狭いものであるため、参照用画像200の丸マーク201や線202は当該可変作業領域cからは外れることになり、そのまま表示された状態となる。
【0089】
ユーザ100が、かかる丸マーク201や線202が邪魔と感じ、この視認性を低下させたい場合、図11(b)に示すように、バナナプラグ110を保持している指104を変えて、例えば左右の人差し指104,104を立ててやれば、CPU40は、可変作業領域cが上下方向に拡大したことを検出するとともに、この可変作業領域cの中に丸マーク201や線202が納まったことを検知する。そうなれば、図示するように、CPU40は、可変作業領域cにおける丸マーク201や線202の輝度を低減してユーザ100に対する視認性を低下させ、それによって、逆に外景(配線作業部などの作業対象物など)の視認性を向上させるのである。
【0090】
このように、本実施形態では、ユーザ100が作業をしながらであっても、指104を動かすことで、可変作業領域cの面積や形状を任意に変更することができ、可変作業領域cの形態を変化させることで参照用画像200の視認性の低減度合いを変更できることになる。したがって、参照用画像200の視認性の低減度合いのユーザ100による変更自由度が高まるため、利便性が向上する。
【0091】
上述してきた実施形態では、主コントローラ31が左右の手103を検知した場合は、所定の条件に基づいて参照用画像200の視認性が低減されることになるが、例外規定を設けることもできる。
【0092】
例えば、主コントローラ31で検知した手103の状態が所定条件を満たすときには、視認性の低減処理を中止するのである。このときの所定条件としては、例えば、主コントローラ31で検知した一方の手103と他方の手103との間の距離が所定距離以上のときとすることができる。
【0093】
このように、参照用画像200の視認性を低減する処理に例外規定を設けることで、例えば、作業途中で、視認性を低下あるいは消去状態としている参照用画像200を再表示させて、作業の確認などを行うことができる。
【0094】
例えば、図10を参照して説明した視認性の低減処理の場合であれば、図10(a)の状態において、検出した左右の手103,103の間隔が所定距離以上のときには、視認性の低減を中止するのである。つまり、第1のレベルとして低減度合いをゼロとする場合も含むようにしておくのである。
【0095】
すなわち、作業中に確認したいことが生じて参照用画像200を再表示させたい場合、一方の手103を配線作業部内からはみ出すように移動すれば、参照用画像200が即座に表示されることになる。
【0096】
また、主コントローラ31は、少なくとも左右いずれかの検知した手103の位置がCCDカメラ2の焦点距離を含む所定距離範囲にあるときに所定条件を満たすと判定して視認性の低減を中止することもできる。
【0097】
ここで、CCDカメラ2の焦点距離を含む所定距離範囲としては、CCDカメラ2の焦点距離を越えて、なおかつ配線作業部からの一定距離以上離れた範囲(例えばCCDカメラ2までの距離内)とすれば、かかる範囲内に手103が位置している場合は、参照用画像200の輝度を低減する視認性低減処理を中止するのである。
【0098】
例えば、図12(a)に示すように、CCDカメラ2の焦点距離内から、左の手103が外れた場合は、作業が行われていないと判断されるため、主コントローラ31のCPU40は、参照用画像200の輝度を低減するような視認性低減処理を中止して、図12(b)に示すように、通常表示のように明瞭に表示するのである。
【0099】
なお、手103がCCDカメラ2の焦点距離内から外れたことは、以下のことから検出することができる。すなわち、手103がCCDカメラ2の焦点距離内から外れた場合、手103はCCDカメラ2に近づくことになるため、図12(b)に示すように、一方の手(ここでは左手103)を表す肌色の画素が集合した領域面積が拡大方向に変化する。CPU40は、その面積の変化を検出して、手103がCCDカメラ2の焦点距離内から外れたと判定することができる。
【0100】
この場合も、作業中に確認したいことが生じて参照用画像200を再表示させたい場合、一方の手103を手前側(ユーザ100の身体側)に移動すれば、参照用画像200が即座に表示されることになる。
【0101】
上述してきたように、本実施形態によれば、以下の効果が期待できる。
【0102】
(1)HMDにおいて、ユーザ100の視野範囲のうち少なくとも前記表示部1による画像表示領域aを含む範囲を撮像するCCDカメラ2(撮像手段)と、このCCDカメラ2によって撮像された画像を解析して、前記ユーザ100の手103を検知し、前記ユーザ100が所定の作業を行うときに参照用として使用する参照用画像200を表示部1(表示手段)により表示させる制御を行うとともに、検知した手103のうち一方の手103と他方の手103との間で形成される作業領域bを判定する制御部30(手検知手段、表示制御手段、判定手段)を備え、前記表示部1により表示させる参照用画像200のうち前記作業領域bのユーザ100に対する視認性を低減して作業対象となる配線作業部(外景)の視認性を向上させたため、例えばスイッチ操作などをすることなく自動的に参照用画像200の視認性を低減して配線作業部の視認性を向上させることができ、参照用画像200が作業の邪魔になることがなくなる。したがって、作業効率が上がるとともに、作業の安全性を高めることが可能となる。
【0103】
(2)制御部30は、判定した作業領域bの参照用画像200の輝度を低下させることによって前記視認性の低減を行うこととしたため、HMDとしての視認性の低減処理を容易に行うことができる。
【0104】
(3)制御部30は、判定した作業領域bの参照用画像200の輝度をゼロにすることができるため、この場合は参照用画像200を消去したことになり、邪魔となる参照用画像200をユーザ100に全く視認させないようにすることができる。
【0105】
(4)制御部30は、判定した作業領域bの形態に応じて、当該作業領域bの前記ユーザ100に対する視認性の低減度合いを変更することとしたため、例えば作業領域bの面積などにより参照用画像200の邪魔になる度合いも変わる場合があるが、その度合いに応じた視認性の低減が図れ、作業性と参照用画像200としての参照性との両立を図ることも可能となる。
【0106】
(5)制御部30は、検知した一方の手103の指104と他方の手103の指104との間で形成される可変作業領域cを前記判定する領域とすることとしたため、ユーザ100は、視認性を低下させたい参照用画像200があれば、指104を動かすという簡単な動作でターゲットとなる参照用画像200の視認性を低下させることが可能となる。
【0107】
(6)制御部30は、表示部1による表示制御を行っているときに前記一方の手103と前記他方の手103とを検知したときであっても、当該検知した手103の状態が所定条件を満たすときには、前記視認性の低減を中止することとしたため、例えば、作業を中断して参照用画像200を再表示させて作業の確認などを行うことが可能となる。
【0108】
制御部30は、検知した前記一方の手103と前記他方の手103との間の距離が所定距離以上のときに前記所定条件を満たすと判定することとすれば、ユーザ100は、手103を動かすという簡単な動作で、作業中においても簡単に参照用画像200を再表示させることができる。
【0109】
制御部30は、検知した手103の位置がCCDカメラ2の焦点距離を含む所定距離範囲にあるときに前記所定条件を満たすと判定することとすれば、ユーザ100は、手103を手前側に動かすという簡単な動作で、作業中においても簡単に参照用画像200を再表示させることができる。
【0110】
以上、各実施形態を通して本発明を説明してきたが、本発明はこれらに限定されるものではない。参照用画像200のうちユーザ100に対する視認性を低減させる場合に輝度を低下させることとしたが、例えば、表示色を変えて視認性を低下させることもできる。また、上述した各効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本実施の形態に記載されたものに限定されるものではない。
【符号の説明】
【0111】
1 表示部(表示手段)
1a 投影ユニット
1b 光源ユニット
2 CCDカメラ(撮像手段)
3 コントロールユニット
30 制御部(手検知手段、表示制御手段、判定手段)
31 主コントローラ
40 CPU
100 ユーザ
103 手
104 指
200 参照用画像
400 外光
500 画像光
a 画像表示領域
b 作業領域
c 可変作業領域
【技術分野】
【0001】
本発明は、ヘッドマウントディスプレイに関する。
【背景技術】
【0002】
従来、画像情報に応じた画像光を外光と共にユーザの眼に入射させ、前記画像情報に応じた画像を外景と重ねて表示する表示手段を備えたヘッドマウントディスプレイが画像表示装置の一例として知られている。
【0003】
そして、かかるヘッドマウントディスプレイの使用形態として、当該ヘッドマウントディスプレイを装着した状態で、表示手段により参照用画像(例えば、作業マニュアルなど)を表示させながら作業に従事する場合が考えられる。
【0004】
この場合、前記表示手段により表示された参照用画像が、手を使って実際に作業するときには邪魔になる場合があるため、邪魔になると判断される場合には消去できるようにすることが望ましい。
【0005】
他方、画像表示装置の一例として、車両などに搭載することができ、画像情報を反射手段による虚像として表示することができる虚像表示装置がある(例えば特許文献1を参照)。
【0006】
かかる虚像表示装置は、当該虚像表示装置を操作するユーザの視線を特定する視線特定手段と、当該虚像表示装置により表示されている虚像のうち、視線特定手段により特定されたユーザ視線上或いはその近傍にある虚像を、ユーザが注視している注視虚像と特定する虚像特定手段と、当該虚像表示装置による表示を制御するための表示制御指令を検出する表示指令検出手段と、当該表示指令検出手段により検出された表示制御指令が、注視虚像の表示についての指令である場合には、表示制御指令に基づいて、注視虚像の表示を制御する第1表示制御手段と、を備えることを特徴としている。
【0007】
そして、表示指令検出手段は、ユーザの手或いは指の動きを認識し、該認識した動きに基づいて、前記表示制御指令の指令内容を特定するようにして、ユーザが、手或いは指を動かしてジェスチャを行うことにより、虚像表示装置に対して指令を出すことができるようにしている。
【0008】
こうして、特許文献1に係る虚像表示装置では、ユーザは、虚像を注視することによって特定した虚像について、所定のジェスチャによって虚像を消去することが可能となっている。
【先行技術文献】
【特許文献】
【0009】
【特許文献1】特開2005-138755号公報
【発明の概要】
【発明が解決しようとする課題】
【0010】
前述したように、ヘッドマウントディスプレイでは、表示手段により表示される参照用画像が邪魔になると判断された場合に消去する技術は確立されていないため、特許文献1のように、ユーザが特定した参照用画像を所定のジェスチャにより簡単に消去する技術を適用することも考えられる。
【0011】
しかし、作業中は、手を使用することが多いため、かかる手や指のジェスチャにより参照用画像(虚像)を消去するとなれば、作業を中断せざるをえなくなるなど、作業に支障をきたす場合がある。また、画像を特定するための特定手段が必要になるなど、装置が複雑化するおそれもある。
【0012】
そこで、手や指を使う作業に用いられるヘッドマウントディスプレイにおいて、参照用画像を、作業の邪魔にならないように、より簡便に表示制御できる技術が求められている。
【0013】
本発明では、上記課題を解決し、表示手段により表示させる参照用画像のうち、作業の邪魔になる領域の視認性を低減して、作業対象を含む外景の視認性を向上させる表示制御を行えるヘッドマウントディスプレイを提供することを目的としている。
【課題を解決するための手段】
【0014】
上記目的を達成するために、請求項1に記載の発明は、画像情報に応じた画像光を外光と共にユーザの眼に入射させ、前記画像情報に応じた画像を外景と重ねて表示する表示手段を備えたヘッドマウントディスプレイにおいて、前記ユーザの視野範囲のうち少なくとも前記表示手段による表示領域を含む範囲を撮像する撮像手段と、前記撮像手段によって撮像された画像を解析して、前記ユーザの手を検知する手検知手段と、前記ユーザが所定の作業を行うときに参照用として使用する参照用画像を前記表示手段により表示させる制御を行う表示制御手段と、前記手検知手段で検知した手のうち一方の手と他方の手との間で形成される領域を判定する判定手段と、を備え、前記表示制御手段は、前記表示手段により表示させる参照用画像のうち前記判定手段で判定した領域の前記ユーザに対する視認性を低減して外景の視認性を向上させることとした。
【0015】
また、請求項2に記載の発明は、請求項1に記載のヘッドマウントディスプレイにおいて、前記表示制御手段は、前記判定手段判定した領域の画像の輝度を低下させることによって前記視認性の低減を行うことを特徴とする。
【0016】
また、請求項3に記載の発明は、請求項1又は請求項2に記載のヘッドマウントディスプレイにおいて、前記表示制御手段は、前記判定手段で判定した領域の画像の輝度をゼロにすることを特徴とする。
【0017】
また、請求項4に記載の発明は、請求項1又は請求項2に記載のヘッドマウントディスプレイにおいて、前記表示制御手段は、前記判定手段で判定した領域の形態に応じて、当該領域の前記ユーザに対する視認性の低減度合いを変更することを特徴とする。
【0018】
また、請求項5に記載の発明は、請求項1〜4のいずれか1項に記載のヘッドマウントディスプレイにおいて、前記判定手段は、前記手検知手段で検知した前記一方の手の指と前記他方の手の指との間で形成される領域を前記判定する領域とすることを特徴とする。
【0019】
また、請求項6に記載の発明は、請求項1〜5のいずれか1項に記載のヘッドマウントディスプレイにおいて、前記表示制御手段は、前記表示手段による表示制御を行っているときに、前記手検知手段で前記一方の手と前記他方の手とを検知したときであっても、当該検知した手の状態が所定条件を満たすときには、前記視認性の低減を中止することを特徴とする。
【0020】
また、請求項7に記載の発明は、請求項6に記載のヘッドマウントディスプレイにおいて、前記表示制御手段は、前記手検知手段で検知した前記一方の手と前記他方の手との間の距離が所定距離以上のときに前記所定条件を満たすと判定することを特徴とする。
【0021】
また、請求項8に記載の発明は、請求項6又は請求項7に記載のヘッドマウントディスプレイにおいて、前記表示制御手段は、前記手検知手段により検知した手の位置が前記撮像手段の焦点距離を含む所定距離範囲にあるときに前記所定条件を満たすと判定することを特徴とする。
【発明の効果】
【0022】
本発明によれば、表示手段により表示している参照用画像のうち、ユーザの手と手の間の領域における視認性を、スイッチ操作をすることなく自動的に低減して外景の視認性を向上させることができるため、参照用画像が作業の邪魔になることがなくなり、作業効率が上がるとともに、作業の安全性を高めることが可能となる。
【図面の簡単な説明】
【0023】
【図1】本実施形態に係るヘッドマウントディスプレイ(HMD)の光の進路を示す説明図である。
【図2】同HMDの使用状態を示す説明図である。
【図3】参照用画像の説明図である。
【図4】本実施形態に係るHMDを使用して参照用画像を見ながら行う作業の説明図である。
【図5】本実施形態に係るHMDの概要構成図である。
【図6】参照用画像の視認性を低減させる制御の一例を示す説明図である。
【図7】HMDの電気的構成及び光学的構成を示したブロック図である。
【図8】制御部の構成を示したブロック図である。
【図9】本実施形態に係るHMDのコンテンツ表示制御処理を示したフローチャートである。
【図10】変形例に係るコンテンツ表示制御処理の説明図である。
【図11】参照用画像の視認性を低減させる制御の一例を示す説明図である。
【図12】参照用画像の視認性を低減させる制御の例外を示す説明図である。
【発明を実施するための形態】
【0024】
以下、本実施形態に係るヘッドマウントディスプレイ(以下、「HMD:Head Mount Display」という。)の一例について、図面を参照して説明する。なお、本実施形態では、HMDを、画像信号に基づいて生成した画像光を2次元的に走査し、その走査された画像光をユーザの眼に投射して網膜上に結像させる網膜走査型として説明するが、本発明はこれに限定されるものではなく、画像情報に応じた画像光を外光と共にユーザの眼に入射させ、前記画像情報に応じた画像を外景と重ねて表示する表示手段を備えた構成を有するものであれば全てに適用することができる。
【0025】
[1.HMDの概要]
図1に示すように、本実施形態に係るHMDは、コンテンツとなる表示画像として、例えば作業マニュアルのような参照用画像200を表示させることができ、ユーザ100は、図2に示すように、このHMDを装着して参照用画像200を見ながら所定の作業を行うことができるようになっている。本実施形態においては、ユーザ100の作業として、コード111で接続された一対のバナナプラグ110,110を用いて配電盤の配線作業を行う例を説明するが、作業内容としては何ら限定されるものではない。
【0026】
HMDは、図1に示すように、外光400の一部が少なくともユーザ100のいずれかの眼101に到達する状態で、参照用画像情報に応じた画像光500をハーフミラー10で反射させてユーザ100の眼101に投射し、当該ユーザ100に参照用画像200を視認させる表示部1を備えている。
【0027】
この表示部1は、図2に示すように、ユーザ100の頭部102に装着される投影ユニット1aと、この投影ユニット1aと光ファイバケーブル50を介して接続された光源ユニット1bとから構成されている。投影ユニット1aは、ユーザ100の頭部102に装着する眼鏡フレーム型の装着部11に取り付けられ、光源ユニット1bは、投影ユニット1aとは別体のコントロールユニット3に内蔵されている。また、装着部11は眼鏡フレーム型としているため、あたかも眼鏡のように簡単に装着することができる。
【0028】
参照用画像200は、配電盤における配線作業に合わせて予め用意されている。本実施形態では、図3に示すように、配電盤の配線作業部(図2参照)にマトリックス状に設けられた端子群に対応するように、所定の画像表示領域a内に、縦横の座標(A〜G、1〜7)と、作業順番に応じて接続すべき端子同士が表示されるようになっている。
【0029】
図3(a)で示した参照用画像200は、座標(3,C)に位置する端子と座標(5,D)に位置する端子とを配線する作業手順を示すものあり、端子位置を示す座標と、端子に対応する丸マーク201,201と、これら丸マーク201,201同士を線202で結んだ画像が表示されている。
【0030】
また、参照用画像200は、図3(b)に示すように、ユーザ100の視界の中では、作業対象となる配線作業部に重畳された状態で表示される。
【0031】
したがって、図4に示すように、ユーザ100は、実際の配線作業部に参照用画像200を重畳表示させることで、配線すべき端子同士が簡単に特定できるため、たとえ作業に熟練した者でなくとも容易に所定の配線作業が行える。
【0032】
しかし、図4に示すように、端子上に丸マーク201が重なってしまうと、実際の端子の位置が見え難くなることが考えられる。また、ユーザ100の頭部102の位置が動くと参照用画像200と端子位置とが簡単にずれてしまい、逆に誤配線、誤作業を招くおそれがあった。
【0033】
そこで、本実施形態に係るHMDは、図5に示すように、表示部1の他に、ユーザ100の視野範囲のうち、少なくとも表示部1により参照用画像200が表示される表示領域を含む範囲を撮像する撮像手段であるCCDカメラ2と、このCCDカメラ2によって撮像された画像を解析して、ユーザ100の手103を検知する手検知手段と、参照用画像200を表示させる制御を行う表示制御手段と、前記手検知手段で検知した手103のうち一方の手103と他方の手103との間で形成される作業領域b(図6参照)を判定する判定手段として機能する制御部30を備えた構成としている。
【0034】
かかる構成により、表示制御手段は、表示部1により表示させる参照用画像200のうち、前記判定手段で判定した作業領域bのユーザ100に対する視認性を低減して作業対象となる配線作業部の視認性を向上させることができる。
【0035】
すなわち、本実施形態における手検知手段、表示制御手段、及び判定手段は、コントロールユニット3に内蔵された制御部30がその機能を担っており、この制御部30は、図8を用いて後に詳述するが、CPU40、プログラムROM41、フラッシュR0M42、RAM43などを備えたコンピュータからなり、プログラムROM41に格納された制御プログラムに従ってCPU40が各手段として機能することになる。なお、プログラムROM41に格納された制御プログラムの一部は、例えば、CD−R、DVD―R等の記録媒体に記録されているものでもよく、その場合、コントロールユニット3に所定の外部接続端子を設けておき、例えば図示しない記録媒体ドライブをこれに接続し、記録媒体を介して、例えばフラッシュR0M42に読み込まれるようにしてもよい。
【0036】
こうして、制御部30は、図6(a)に示すように手検知手段として機能してユーザ100の手103を検知することができるとともに、判定手段としても機能して、検知した左右の手103,103の間で形成される所定の領域を作業領域bとして判定すると、この作業領域bに重畳表示されている参照用画像200の輝度を低下させることによって視認性の低減を行うのである。
【0037】
ここで、一方の手103と他方の手103との間で形成される作業領域bとは、例えば手103自体は含まずに、手103と手103との間の空間で形成される場合もあるし、手103自体を含んで形成される場合もある。ここでは、図6(a)に示すように、手103自体を含んだ領域としているため、図6(b)に示すように、参照用画像200の一部をなす縦座標A〜Gのうち、左の手103に重なってしまうBCDEは消える。
また、図6(a)では正しい位置からずれていたバナナプラグ110で連結すべき端子を表した丸マーク201,201及び両丸マーク201,201を結んだ線202、さらには端子位置を示す座標も図6(b)では消えてすっきりとした表示となり、配線作業部の視認性が向上して、参照用画像200が邪魔にならず、作業が行い易くなっている。
【0038】
なお、図6(b)で示した例では、表示制御手段として機能する制御部30は、参照用画像200のうち、作業領域bに重畳表示された部分の輝度をゼロにしているため、輝度がゼロとなった部分はユーザ100の視野から消去された状態となっている。しかし、詳しくは後述するが、配線作業部の視認性を向上させるためには、作業領域bに重なる参照用画像200の輝度を必ずしもゼロにしなくてもよく、作業領域bにおけるユーザ100に対する視認性の低減度合いが変更されて作業領域bにおける配線作業部の視認性が向上すればよい。
【0039】
ところで、ユーザ100の手103を検知する方法としては、適宜周知の技術を採用することができる。本実施形態では、ユーザ100の視野範囲のうち少なくとも表示部1による表示領域を含む範囲を撮像可能なCCDカメラ2で撮像した撮像画像中の手103の色(肌色)と、その色が占める面積とにより手103として検知するようにしている。
【0040】
つまり、制御部30は、CCDカメラ2による撮像画像に含まれる各画素のRGB値から色温度を算出し、肌色を示す色温度の画素が集合した領域の面積が所定の値以上であるか否かを判定し、所定値以上の面積を有する領域を手103として検出するのである。
【0041】
なお、手103に手袋をはめて作業するような場合は、肌色ではなく使用する手袋の色を検出することは言うまでもない。
【0042】
[2.HMDの電気的構成及び光学的構成を含む具体的構成]
本実施形態に係るHMDの概要は上述してきた通りであり、前述したように、HMDの投影ユニット1aは、眼鏡フレーム型の装着部11に取り付けられており、図2に示すように、装着部11をユーザ100の頭部102へ装着したとき、ユーザ100の左眼部分と左側こめかみ部分とを被覆するような平面視略L字形状に形成され、この投影ユニット1aの上方位置にCCDカメラ2が配設されている。
【0043】
また、図1及び図2で示したように、投影ユニット1aの先端側には、左の眼101の前方に位置するようにハーフミラー10が取り付けられている。
【0044】
すなわち、本実施形態に係るHMDは、図1に示すように、外光400をハーフミラー10から透過させてユーザ100の左の眼101に入射させ、画像光500はハーフミラー10で反射させてユーザ100の眼101に入射させるようにしている。また、当然ながら、外光400は右の眼101にも入射している。したがって、ユーザ100は、両眼101,101を開けている場合は当然ながら、右の眼101を閉じた状態であっても、参照用画像200を見ながら外界も見ることができる。
【0045】
また、コントロールユニット3はユーザ100が衣服のポケットなどに収納して携行可能であり、このコントロールユニット3に配設された光源ユニット1bは、外部接続ケーブル4(図2参照)を介してPC(パーソナルコンピュータ)300(図8参照)などの外部機器と接続して画像情報を取得可能としており、この光源ユニット1bは、投影ユニット1aと光ファイバケーブル50等を介して接続されている。
【0046】
また、光源ユニット1bは、後述する画像信号供給回路6を備えており、PC300から送信される画像データに応じた画像情報を画素単位で強度変調して画像光500を形成し、この画像光500を光ファイバケーブル50を介して投影ユニット1aへ伝送し、投影ユニット1aでは、伝送された画像光500を走査してユーザ100に参照用画像200を視認させることができる。
【0047】
図7はHMDの電気的構成及び光学的構成を示したブロック図、図8は制御部の構成を示したブロック図であり、図7に示すように、HMDは表示部1及びCCDカメラ2を備えており、表示手段である表示部1は、前述したように装着部11に設けられた投影ユニット1aと、コントロールユニット3に配設された光源ユニット1bとから構成されている。
【0048】
このコントロールユニット3には、HMD全体の動作を統括制御する制御部30も配設されており、光源ユニット1bは、この制御部30から供給される画像信号Sから画像情報を画素単位で読み出し、読み出した画素単位の画像情報に基づいてR(赤色),G(緑色),B(青色)の各色毎に強度変調された光束を生成して出射するようになっている。
【0049】
なお、光源ユニット1bをコントロールユニット3内に設けるのではなく、投影ユニット1a内に設けるようにしてもよい。また、本実施形態では表示部1として2次元的に走査したレーザ光をユーザ100の眼101に入射し網膜101b上に画像を投影する網膜走査型の表示部を例に挙げて説明するが、これに限らず、例えば、液晶型の表示部を用いることもできる。液晶型の表示部としては、例えば、透過型液晶パネルに光源からの光を照射してこの液晶パネルを透過した光を画像光として利用者の眼に入射する透過型のものや、反射型液晶パネルに光源からの光を照射してこの液晶パネルを反射した光を画像光として利用者の眼に入射する反射型のものがある。
【0050】
(光源ユニット1b)
光源ユニット1bには、画像を合成するための要素となる信号等を発生する画像信号供給回路6が設けられている。PC300から供給される画像データが制御部30に入力されると、制御部30はその画像データに基づいて画像信号Sを生成して画像信号供給回路6に送る。画像信号供給回路6は、画像信号Sに基づいて、参照用画像200を形成するための要素となる各信号を画素単位で生成する。すなわち、画像信号供給回路6からは、R(赤色)画像信号60r,G(緑色)画像信号60g,B(青色)画像信号60bが生成されて出力される。また、画像信号供給回路6は、水平走査部80で使用される水平駆動信号61と、垂直走査部90で使用される垂直駆動信号62とをそれぞれ出力する。
【0051】
また、光源ユニット1bには、画像信号供給回路6から画素単位で出力されるR画像信号60r、G画像信号60g、B画像信号60bの各画像信号60r,60g,60bをもとに、それぞれ強度変調されたレーザ光(「光束」とも呼ぶ。)である画像光500を出射するように、Rレーザ63,Gレーザ64,Bレーザ65をそれぞれ駆動するためのRレーザドライバ66,Gレーザドライバ67,Bレーザドライバ68が設けられている。各レーザ63,64,65は、例えば、半導体レーザや高調波発生機構付き固体レーザとして構成することが可能である。なお、半導体レーザを用いる場合は駆動電流を直接変調して、レーザ光の強度変調を行うことができるが、固体レーザを用いる場合は、各レーザそれぞれに外部変調器を備えてレーザ光の強度変調を行う必要がある。
【0052】
さらに、光源ユニット1bは、各レーザ63,64,65より出射されたレーザ光を平行光にコリメートするように設けられたコリメート光学系71,72,73と、このコリメートされたレーザ光を合波するためのダイクロイックミラー74,75,76と、合波されたレーザ光を光ファイバケーブル50に導く結合光学系77とが設けられている。
【0053】
従って、各レーザ63,64,65から出射したレーザ光は、コリメート光学系71,72,73によってそれぞれ平行化された後に、ダイクロイックミラー74,75,76に入射される。その後、これらのダイクロイックミラー74,75,76により、各レーザ光が波長に関して選択的に反射・透過される。そして、これら3つのダイクロイックミラー74,75,76にそれぞれ入射した3原色のレーザ光は、波長選択的に反射または透過して結合光学系77に達し、集光されて光ファイバケーブル50へ出力される。
【0054】
(投影ユニット1a)
光源ユニット1bとユーザ100の眼101との間に位置する投影ユニット1aには、光源ユニット1bで生成され、光ファイバケーブル50を介して出射されるレーザ光を平行光化するコリメート光学系81と、このコリメート光学系81で平行光化されたレーザ光を画像表示のために水平方向に往復走査する水平走査部80と、水平走査部80で水平方向に走査されたレーザ光を垂直方向に走査する垂直走査部90と、水平走査部80と垂直走査部90との間に設けられた第1リレー光学系85と、このように水平方向と垂直方向に走査されたレーザ光を瞳孔101aへ出射するための第2リレー光学系95とが設けられている。
【0055】
水平走査部80及び垂直走査部90は、光ファイバケーブル50から入射されたレーザ光を画像としてユーザ100の網膜101bに投影可能な状態にするために、水平方向と垂直方向に走査して走査光束とする光学系であり、水平走査部80は、レーザ光を水平方向に走査するため偏向面を有する共振型の偏向素子82と、この偏向素子82を共振させて偏向素子82の偏向面を揺動させる駆動信号を水平駆動信号61に基づいて発生する水平走査駆動回路83を備えている。
【0056】
一方、垂直走査部90は、レーザ光を垂直方向に走査するため偏向面を有する非共振型の偏向素子91と、この偏向素子91の偏向面を非共振状態で揺動させる駆動信号を垂直駆動信号62に基づいて発生する垂直走査制御回路92とを備え、表示すべき画像の1フレームごとに、画像を形成するためのレーザ光を最初の水平走査線から最後の水平走査線に向かって垂直に走査する。ここで「水平走査線」とは、水平走査部80による水平方向への1走査を意味する。
【0057】
なお、偏向素子81,91は、ここではガルバノミラーを用いることとするが、レーザ光を走査するようにその偏向面(反射面)を揺動又は回転させられるものであれば、圧電駆動、電磁駆動、静電駆動等いずれの駆動方式によるものであってもよい。また、本実施形態においては、水平走査部80に共振タイプの偏向素子を用い、垂直走査部90を非共振タイプの偏向素子を用いることとしているが、これに限らず、例えば、垂直走査系に共振タイプの偏向素子を用いてもよく、どちらも非共振タイプの偏向素子としてもよい。
【0058】
また、水平走査部80と垂直走査部90との間でレーザ光を中継する第1リレー光学系85は、偏向素子81の偏向面によって水平方向に走査されたレーザ光を偏向素子91の偏向面に収束させる。そして、このレーザ光が偏向素子91の偏向面によって垂直方向に走査され、正の屈折力を持つ2つのレンズ95a,95bが直列配置された第2リレー光学系95を介して、眼101の前方に位置させたハーフミラー10で反射されてユーザ100の瞳孔101aに入射し、網膜101b上に画像信号Sに応じた参照用画像200が投影される。これにより、ユーザ100はこのように瞳孔101aに入射する画像光500であるレーザ光を、参照用画像200として認識する(図3参照)。
【0059】
なお、第2リレー光学系95においては、レンズ95aによって、それぞれのレーザ光がそのレーザ光の中心線を相互に略平行にされ、かつそれぞれ収束レーザ光に変換される。そして、レンズ95bによってそれぞれほぼ平行なレーザ光となると共に、これらのレーザ光の中心線がユーザ100の瞳孔101aに収束するように変換される。
【0060】
(制御部30)
制御部30は、その内部に記憶されている制御プログラムにしたがって後述する所定の処理を実行することによって、前述した手検知手段、表示制御手段、及び判定手段等として機能する。
【0061】
図8に示すように、制御部30は、各コントローラ31,32,36と、各VRAM(Video Random Access Memory)33,37と、周辺機器インターフェース(図中「I/F」と示し、以下「I/F」とも呼ぶ)38と、通信I/F39と、を備えている。
【0062】
主コントローラ31は、CPU(Central Processing Unit)40と、プログラムROM(Read Only Memory)41と、不揮発性メモリであるフラッシュROM(フラッシュメモリ)42と、RAM(Random Access Memory)43と、を備えており、これらはデータ通信用のバスにそれぞれ接続されており、このデータ通信用のバスを介して各種情報の送受信を行う。
【0063】
CPU40は、プログラムROM41に記憶されている制御プログラムを実行することにより、主コントローラ31としてHMDを構成する各部を動作させて、HMDが備える各種機能を実行させる演算処理装置である。また、フラッシュROM42は、CCDカメラ2などから出力される画像データや、参照用画像200の輝度の設定値などを記憶する。
【0064】
HMD用コントローラ32は、主コントローラ31からの要求に応じて表示部1を制御し、主コントローラ31によりHMD用VRAM33に記憶された画像データに基づいた画像信号Sを表示部1に供給する。表示部1は、HMD用コントローラ32から画像信号Sが入力されると、この画像信号Sに基づいて強度変調した各色のレーザ光を生成及び走査してユーザ100の眼101に出射し、ユーザ100の網膜101bに画像信号Sに応じた画像を投影する。これによって、主コントローラ31は、画像を表示させる制御を行う。
【0065】
カメラ用コントローラ36は、撮像手段であるCCDカメラ2を制御し、カメラ用VRAM37は、CCDカメラ2から出力される画像データを一時的に記憶する。主コントローラ31は、ユーザ100の手の位置を認識するために、カメラ用コントローラ36を介してCCDカメラ2を制御し、ユーザ100の視野範囲のうち少なくとも表示部1による画像の表示領域を含む範囲をCCDカメラ2により撮像させ、CCDカメラ2から出力される画像データをカメラ用VRAM37を介して取得する。これによって、主コントローラ31は、CCDカメラ2によって撮像された画像を取得することができ、前述したように、その画像を解析して肌色の領域とその面積を検出することによって、ユーザ100の手を認識している。なお、CCDカメラ2によって撮像された画像の処理をするために主コントローラ31内に別途画像処理部をハードウェアで構成することにより画像処理を高速に行うこともできる。
【0066】
周辺機器I/F38は、電源スイッチやコンテンツ表示スイッチやランプ類等(図示せず)の周辺機器5を主コントローラ31に接続するためのインターフェースである。例えば、電源スイッチやコンテンツ表示スイッチやランプ類が周辺機器I/F38に接続されたとき、主コントローラ31は、電源スイッチやコンテンツ表示スイッチ等のスイッチ類からの操作情報を周辺機器I/F38から受け取り、周辺機器I/F38を介してランプ類の点灯情報をランプ類に供給する。
【0067】
通信I/F39は、主コントローラ31とPC300とを通信可能に制御する。主コントローラ31は、例えば、通信I/F39を介して画像データの供給をPC300に要求し、PC300から通信I/F39を介して供給された画像データに基づいた画像信号SをHMD用コントローラ32により表示部1に供給する。
【0068】
なお、上述においては、撮像手段としてCCDカメラ2を用いることとしたが、これに限られず、CMOSカメラなどを用いてもよい。
【0069】
次に、制御部30での処理の一例について、図9及び図6を参照して説明する。図9はコンテンツとなる作業用マニュアル(参照用画像200)の表示制御処理を示したフローチャートである。なお、HMDの電源スイッチ(図示せず)は既にオン操作されており、電源スイッチがオン操作された後の初期設定処理などは全て完了し、さらに、コンテンツ表示スイッチ(図示せず)がオン操作されてコンテンツ表示命令がされた場合としている。
【0070】
コンテンツ表示命令がされると、図9に示すように、主コントローラ31のCPU40は、例えば図3に示した作業指示書などのコンテンツをHMD用VRAM33に一時保存する(ステップS100)。
【0071】
次いで、CPU40は、CCDカメラ2がユーザ100の左右の手103,103を検出したか否かを判定する(ステップS101)。
【0072】
すなわち、前述したように、CPU40は、カメラ用VRAM37を介してCCDカメラ2が撮像した画像データを取得し、その中に、肌色を示す色温度の画素が集合した領域の面積が所定の値以上である場合に手103があると判定しており、かかる領域が2つ検知された場合に両手が撮像範囲内に存在すると判定することができる。
【0073】
なお、このとき、肌色を示す色温度の画素が集合した領域の面積が所定の値以上の領域が1つの場合は片手のみが撮像範囲内に存在すると判定されることになり、本実施形態の特徴となる処理、すなわち、コンテンツとなる参照用画像200のユーザ100に対する視認性を低減して作業対象の視認性を向上させるという表示制御は実行されない。
【0074】
ステップS101において、両手(左右の手)103,103が検出されていないと判定した場合(ステップS101:No)、CPU40は処理をステップS104に移す一方、両手103,103が検出されたと判定した場合は(ステップS101:Yes)、肌色として検出された2つの領域(肌色検出領域)間を仮想的に外接矩形(図6(a)における二点鎖線を参照)で囲み、外接矩形で囲まれた作業領域bの画像表示領域a内における位置を特定する(ステップS102)。
【0075】
次いで、CPU40は、特定した外接矩形で仮想的に囲まれた作業領域b内にある参照用画像200の一部を黒で塗りつぶす制御を実行する。すなわち、参照用画像200のうち、外接矩形で囲まれた作業領域b内に重畳されている部分の輝度をゼロとする表示制御を実行する(ステップS103)。
【0076】
ステップS104において、CPU40は、ステップS103の処理によってあたかも画像表示領域aから外接矩形で仮想的に囲まれた作業領域bが刳り抜かれたかのような参照用画像200を、HMD用コントローラ32を介して表示部1に送出する。他方、ステップS101において、左右の103,103が検出されていなかった場合はHMD用VRAM33に保存しておいたコンテンツをそのままHMD用コントローラ32を介して表示部1に送出することになる。
【0077】
かかる処理により、CCDカメラ2がユーザ100の左右の手103,103を検出すると、図6(b)で示したように、左右の手103,103の間の丸マーク201や線202が非表示となって、配線作業部における結線対象となる端子の視認性が著しく向上するため、ユーザ100は、当該端子に左右の手103,103で保持したバナナプラグ110,110を挿入しやすくなる。
【0078】
ステップS105では、CPU40は、コンテンツ表示スイッチがオフ操作されてコンテンツ表示終了命令がなされたか否かを判定する。終了命令がなされていないと判定した場合は(ステップS105:No)、ステップS100〜ステップS104までの処理を繰り返す一方、終了命令がなされた場合は(ステップS105:Yes)、この表示制御処理を終了する。
【0079】
このように、本実施形態に係るHMDでは、参照用画像200を表示部1に表示させて参照しつつ、ユーザ100が所定の作業を行う場合、表示している参照用画像200のうち、ユーザ100の手103と手103の間の作業領域bにおける視認性を、スイッチ操作をすることなく自動的に低減して外景となる配線作業部の視認性を向上させることができるため、参照用画像200が作業の邪魔になることがなくなり、作業効率が上がるとともに、作業の安全性を高めることも可能となる。
【0080】
ここで、表示制御処理の変形例について説明する。図10は変形例に係る表示制御処理を示す説明図である。
【0081】
この変形例では、主コントローラ31で、手103と手103との間に作業領域bが形成されていると判定した場合に、その作業領域bに重畳表示される参照用画像200の輝度を無条件でゼロにするのではなく、判定した作業領域bの形態に応じて、当該作業領域bにおける参照用画像200のユーザ100に対する視認性の低減度合いを変更するようにしている。
【0082】
作業領域bの形態については、例えば、その面積の大小とすることができ、検出した左右の手103,103間に形成される作業領域bの面積Aが所定の第1比較面積A1を超える第1の条件の場合(A>A1)は第1レベルの低減度合いとし、作業領域bの面積Aが第1比較面積A1よりも小さく第2比較面積A2よりも大きい第2の条件の場合(A1≧A>A2)は第2レベルの低減度合いとし、さらに、作業領域bの面積Aが第2比較面積A2よりも小さく第3比較面積A3よりも大きい第3の条件の場合(A2≧A>A3)は第3レベルの低減度合いとする、というように、予め、視認性の低減度合いをテーブル化してフラッシュROM42に記憶しておくのである。
【0083】
例えば、座標(3,E)にある端子と座標(5,F)にある端子とを結線するという作業の場合であって、図10(a)に示すように、参照用画像200には「(3,E)−(5,F)を赤色の短い線のプラグで接続する」といった作業指示書が表示されているとする。ユーザ100は、左右の手103,103の間に形成される作業領域bに表示された作業指示書を見て接続対象となる端子を確認するため、左右の手103,103は離れた状態となっている。このとき、検出される左右の手103,103の位置は、画像表示領域aの中の端近傍同士となる。このときの作業領域bは広範囲に及んでおり、これが第1の条件を満たす場合、CPU40は、参照用画像200のユーザ100に対する視認性の低減度合いは第1のレベルで低くする。したがって、ユーザ100は、作業指示内容を明瞭に視認することができるため、赤色の短いバナナプラグ110で結線すべき端子の位置を確認することができる。
【0084】
結線すべき端子の位置を作業指示書で確認したユーザ100は、図10(b)に示すように、画像表示領域aの中の端近傍同士の位置から、座標(3,E)にある端子と座標(5,F)にある端子に近づけるように左右の手103,103を移動する。したがって、手103同士の距離が縮まり、左右の手103,103の間に形成される作業領域bの面積も一回り小さくなる。このとき、CPU40が第2の条件を満たしていると判定した場合、参照用画像200のユーザ100に対する視認性の低減度合いを第2のレベルまで低くする。具体的には、作業指示書を形成する文字の輝度を略50%程に低減する。この状態では、作業指示書の文字は作業の邪魔になりつつあるものの、その色や線は薄く細く表示されるため、ユーザ100は、これをさほど邪魔に思うことがない。
【0085】
そして、図10(c)に示すように、左右の手103,103に保持されたバナナプラグ110が座標(3,E)にある端子と座標(5,F)にある端子とに接近した状態では、手103同士の距離がより一層縮まり、左右の手103,103の間に形成される作業領域bの面積が第3の条件を満たしたとする。するとCPU40は、参照用画像200のユーザ100に対する視認性の低減度合いをさらに第3のレベルまで低くする。具体的には、作業指示書を形成する文字の輝度を略80%程に低減する。この状態では、作業指示書の文字の色や線は、殆ど視認できない程度まで極めて薄く細く表示されるため、ユーザ100にとってこれらが邪魔になることがない。
【0086】
このように、図10で示した例では、作業領域bの面積が広ければ広いほど、参照用画像200が作業の邪魔になる可能性が漸次低くなるように表示制御を行っている。
【0087】
[3.他の実施形態]
ところで、上述してきた実施形態では、手検知手段として機能する主コントローラ31が左右の手103,103を外接矩形で囲み、その囲んだ領域を作業領域bとして認識していたが、他の実施形態として、図11に示すように、一方の手103の指104と他方の手103の指104との間に形成される領域を可変作業領域cとして判定することもできる。
【0088】
その場合、図11(a)に示す状態では、左右の人差し指104及び親指104の間に形成された可変作業領域cは、扁平で範囲が狭いものであるため、参照用画像200の丸マーク201や線202は当該可変作業領域cからは外れることになり、そのまま表示された状態となる。
【0089】
ユーザ100が、かかる丸マーク201や線202が邪魔と感じ、この視認性を低下させたい場合、図11(b)に示すように、バナナプラグ110を保持している指104を変えて、例えば左右の人差し指104,104を立ててやれば、CPU40は、可変作業領域cが上下方向に拡大したことを検出するとともに、この可変作業領域cの中に丸マーク201や線202が納まったことを検知する。そうなれば、図示するように、CPU40は、可変作業領域cにおける丸マーク201や線202の輝度を低減してユーザ100に対する視認性を低下させ、それによって、逆に外景(配線作業部などの作業対象物など)の視認性を向上させるのである。
【0090】
このように、本実施形態では、ユーザ100が作業をしながらであっても、指104を動かすことで、可変作業領域cの面積や形状を任意に変更することができ、可変作業領域cの形態を変化させることで参照用画像200の視認性の低減度合いを変更できることになる。したがって、参照用画像200の視認性の低減度合いのユーザ100による変更自由度が高まるため、利便性が向上する。
【0091】
上述してきた実施形態では、主コントローラ31が左右の手103を検知した場合は、所定の条件に基づいて参照用画像200の視認性が低減されることになるが、例外規定を設けることもできる。
【0092】
例えば、主コントローラ31で検知した手103の状態が所定条件を満たすときには、視認性の低減処理を中止するのである。このときの所定条件としては、例えば、主コントローラ31で検知した一方の手103と他方の手103との間の距離が所定距離以上のときとすることができる。
【0093】
このように、参照用画像200の視認性を低減する処理に例外規定を設けることで、例えば、作業途中で、視認性を低下あるいは消去状態としている参照用画像200を再表示させて、作業の確認などを行うことができる。
【0094】
例えば、図10を参照して説明した視認性の低減処理の場合であれば、図10(a)の状態において、検出した左右の手103,103の間隔が所定距離以上のときには、視認性の低減を中止するのである。つまり、第1のレベルとして低減度合いをゼロとする場合も含むようにしておくのである。
【0095】
すなわち、作業中に確認したいことが生じて参照用画像200を再表示させたい場合、一方の手103を配線作業部内からはみ出すように移動すれば、参照用画像200が即座に表示されることになる。
【0096】
また、主コントローラ31は、少なくとも左右いずれかの検知した手103の位置がCCDカメラ2の焦点距離を含む所定距離範囲にあるときに所定条件を満たすと判定して視認性の低減を中止することもできる。
【0097】
ここで、CCDカメラ2の焦点距離を含む所定距離範囲としては、CCDカメラ2の焦点距離を越えて、なおかつ配線作業部からの一定距離以上離れた範囲(例えばCCDカメラ2までの距離内)とすれば、かかる範囲内に手103が位置している場合は、参照用画像200の輝度を低減する視認性低減処理を中止するのである。
【0098】
例えば、図12(a)に示すように、CCDカメラ2の焦点距離内から、左の手103が外れた場合は、作業が行われていないと判断されるため、主コントローラ31のCPU40は、参照用画像200の輝度を低減するような視認性低減処理を中止して、図12(b)に示すように、通常表示のように明瞭に表示するのである。
【0099】
なお、手103がCCDカメラ2の焦点距離内から外れたことは、以下のことから検出することができる。すなわち、手103がCCDカメラ2の焦点距離内から外れた場合、手103はCCDカメラ2に近づくことになるため、図12(b)に示すように、一方の手(ここでは左手103)を表す肌色の画素が集合した領域面積が拡大方向に変化する。CPU40は、その面積の変化を検出して、手103がCCDカメラ2の焦点距離内から外れたと判定することができる。
【0100】
この場合も、作業中に確認したいことが生じて参照用画像200を再表示させたい場合、一方の手103を手前側(ユーザ100の身体側)に移動すれば、参照用画像200が即座に表示されることになる。
【0101】
上述してきたように、本実施形態によれば、以下の効果が期待できる。
【0102】
(1)HMDにおいて、ユーザ100の視野範囲のうち少なくとも前記表示部1による画像表示領域aを含む範囲を撮像するCCDカメラ2(撮像手段)と、このCCDカメラ2によって撮像された画像を解析して、前記ユーザ100の手103を検知し、前記ユーザ100が所定の作業を行うときに参照用として使用する参照用画像200を表示部1(表示手段)により表示させる制御を行うとともに、検知した手103のうち一方の手103と他方の手103との間で形成される作業領域bを判定する制御部30(手検知手段、表示制御手段、判定手段)を備え、前記表示部1により表示させる参照用画像200のうち前記作業領域bのユーザ100に対する視認性を低減して作業対象となる配線作業部(外景)の視認性を向上させたため、例えばスイッチ操作などをすることなく自動的に参照用画像200の視認性を低減して配線作業部の視認性を向上させることができ、参照用画像200が作業の邪魔になることがなくなる。したがって、作業効率が上がるとともに、作業の安全性を高めることが可能となる。
【0103】
(2)制御部30は、判定した作業領域bの参照用画像200の輝度を低下させることによって前記視認性の低減を行うこととしたため、HMDとしての視認性の低減処理を容易に行うことができる。
【0104】
(3)制御部30は、判定した作業領域bの参照用画像200の輝度をゼロにすることができるため、この場合は参照用画像200を消去したことになり、邪魔となる参照用画像200をユーザ100に全く視認させないようにすることができる。
【0105】
(4)制御部30は、判定した作業領域bの形態に応じて、当該作業領域bの前記ユーザ100に対する視認性の低減度合いを変更することとしたため、例えば作業領域bの面積などにより参照用画像200の邪魔になる度合いも変わる場合があるが、その度合いに応じた視認性の低減が図れ、作業性と参照用画像200としての参照性との両立を図ることも可能となる。
【0106】
(5)制御部30は、検知した一方の手103の指104と他方の手103の指104との間で形成される可変作業領域cを前記判定する領域とすることとしたため、ユーザ100は、視認性を低下させたい参照用画像200があれば、指104を動かすという簡単な動作でターゲットとなる参照用画像200の視認性を低下させることが可能となる。
【0107】
(6)制御部30は、表示部1による表示制御を行っているときに前記一方の手103と前記他方の手103とを検知したときであっても、当該検知した手103の状態が所定条件を満たすときには、前記視認性の低減を中止することとしたため、例えば、作業を中断して参照用画像200を再表示させて作業の確認などを行うことが可能となる。
【0108】
制御部30は、検知した前記一方の手103と前記他方の手103との間の距離が所定距離以上のときに前記所定条件を満たすと判定することとすれば、ユーザ100は、手103を動かすという簡単な動作で、作業中においても簡単に参照用画像200を再表示させることができる。
【0109】
制御部30は、検知した手103の位置がCCDカメラ2の焦点距離を含む所定距離範囲にあるときに前記所定条件を満たすと判定することとすれば、ユーザ100は、手103を手前側に動かすという簡単な動作で、作業中においても簡単に参照用画像200を再表示させることができる。
【0110】
以上、各実施形態を通して本発明を説明してきたが、本発明はこれらに限定されるものではない。参照用画像200のうちユーザ100に対する視認性を低減させる場合に輝度を低下させることとしたが、例えば、表示色を変えて視認性を低下させることもできる。また、上述した各効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本実施の形態に記載されたものに限定されるものではない。
【符号の説明】
【0111】
1 表示部(表示手段)
1a 投影ユニット
1b 光源ユニット
2 CCDカメラ(撮像手段)
3 コントロールユニット
30 制御部(手検知手段、表示制御手段、判定手段)
31 主コントローラ
40 CPU
100 ユーザ
103 手
104 指
200 参照用画像
400 外光
500 画像光
a 画像表示領域
b 作業領域
c 可変作業領域
【特許請求の範囲】
【請求項1】
画像情報に応じた画像光を外光と共にユーザの眼に入射させ、前記画像情報に応じた画像を外景と重ねて表示する表示手段を備えたヘッドマウントディスプレイにおいて、
前記ユーザの視野範囲のうち少なくとも前記表示手段による表示領域を含む範囲を撮像する撮像手段と、
前記撮像手段によって撮像された画像を解析して、前記ユーザの手を検知する手検知手段と、
前記ユーザが所定の作業を行うときに参照用として使用する参照用画像を前記表示手段により表示させる制御を行う表示制御手段と、
前記手検知手段で検知した手のうち一方の手と他方の手との間で形成される領域を判定する判定手段と、を備え、
前記表示制御手段は、前記表示手段により表示させる参照用画像のうち前記判定手段で判定した領域の前記ユーザに対する視認性を低減して外景の視認性を向上させることを特徴とするヘッドマウントディスプレイ。
【請求項2】
前記表示制御手段は、前記判定手段で判定した領域の画像の輝度を低下させることによって前記視認性の低減を行うことを特徴とする請求項1に記載のヘッドマウントディスプレイ。
【請求項3】
前記表示制御手段は、前記判定手段で判定した領域の画像の輝度をゼロにすることを特徴とする請求項1又は請求項2に記載のヘッドマウントディスプレイ。
【請求項4】
前記表示制御手段は、前記判定手段で判定した領域の形態に応じて、当該領域の前記ユーザに対する視認性の低減度合いを変更することを特徴とする請求項1又は請求項2に記載のヘッドマウントディスプレイ。
【請求項5】
前記判定手段は、前記手検知手段で検知した前記一方の手の指と前記他方の手の指との間で形成される領域を前記判定する領域とすることを特徴とする請求項1〜4のいずれか1項に記載のヘッドマウントディスプレイ。
【請求項6】
前記表示制御手段は、前記表示手段による表示制御を行っているときに、前記手検知手段で前記一方の手と前記他方の手とを検知したときであっても、当該検知した手の状態が所定条件を満たすときには、前記視認性の低減を中止することを特徴とする請求項1〜5のいずれか1項に記載のヘッドマウントディスプレイ。
【請求項7】
前記表示制御手段は、前記手検知手段で検知した前記一方の手と前記他方の手との間の距離が所定距離以上のときに前記所定条件を満たすと判定することを特徴とする請求項6に記載のヘッドマウントディスプレイ。
【請求項8】
前記表示制御手段は、前記手検知手段により検知した手の位置が前記撮像手段の焦点距離を含む所定距離範囲にあるときに前記所定条件を満たすと判定することを特徴とする請求項6又は請求項7に記載のヘッドマウントディスプレイ。
【請求項1】
画像情報に応じた画像光を外光と共にユーザの眼に入射させ、前記画像情報に応じた画像を外景と重ねて表示する表示手段を備えたヘッドマウントディスプレイにおいて、
前記ユーザの視野範囲のうち少なくとも前記表示手段による表示領域を含む範囲を撮像する撮像手段と、
前記撮像手段によって撮像された画像を解析して、前記ユーザの手を検知する手検知手段と、
前記ユーザが所定の作業を行うときに参照用として使用する参照用画像を前記表示手段により表示させる制御を行う表示制御手段と、
前記手検知手段で検知した手のうち一方の手と他方の手との間で形成される領域を判定する判定手段と、を備え、
前記表示制御手段は、前記表示手段により表示させる参照用画像のうち前記判定手段で判定した領域の前記ユーザに対する視認性を低減して外景の視認性を向上させることを特徴とするヘッドマウントディスプレイ。
【請求項2】
前記表示制御手段は、前記判定手段で判定した領域の画像の輝度を低下させることによって前記視認性の低減を行うことを特徴とする請求項1に記載のヘッドマウントディスプレイ。
【請求項3】
前記表示制御手段は、前記判定手段で判定した領域の画像の輝度をゼロにすることを特徴とする請求項1又は請求項2に記載のヘッドマウントディスプレイ。
【請求項4】
前記表示制御手段は、前記判定手段で判定した領域の形態に応じて、当該領域の前記ユーザに対する視認性の低減度合いを変更することを特徴とする請求項1又は請求項2に記載のヘッドマウントディスプレイ。
【請求項5】
前記判定手段は、前記手検知手段で検知した前記一方の手の指と前記他方の手の指との間で形成される領域を前記判定する領域とすることを特徴とする請求項1〜4のいずれか1項に記載のヘッドマウントディスプレイ。
【請求項6】
前記表示制御手段は、前記表示手段による表示制御を行っているときに、前記手検知手段で前記一方の手と前記他方の手とを検知したときであっても、当該検知した手の状態が所定条件を満たすときには、前記視認性の低減を中止することを特徴とする請求項1〜5のいずれか1項に記載のヘッドマウントディスプレイ。
【請求項7】
前記表示制御手段は、前記手検知手段で検知した前記一方の手と前記他方の手との間の距離が所定距離以上のときに前記所定条件を満たすと判定することを特徴とする請求項6に記載のヘッドマウントディスプレイ。
【請求項8】
前記表示制御手段は、前記手検知手段により検知した手の位置が前記撮像手段の焦点距離を含む所定距離範囲にあるときに前記所定条件を満たすと判定することを特徴とする請求項6又は請求項7に記載のヘッドマウントディスプレイ。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【公開番号】特開2010−211408(P2010−211408A)
【公開日】平成22年9月24日(2010.9.24)
【国際特許分類】
【出願番号】特願2009−55575(P2009−55575)
【出願日】平成21年3月9日(2009.3.9)
【出願人】(000005267)ブラザー工業株式会社 (13,856)
【Fターム(参考)】
【公開日】平成22年9月24日(2010.9.24)
【国際特許分類】
【出願日】平成21年3月9日(2009.3.9)
【出願人】(000005267)ブラザー工業株式会社 (13,856)
【Fターム(参考)】
[ Back to top ]