映像表示装置
【課題】撮像部で複数の被写体を撮像した場合においても、観察者の所望する被写体を検出して適切な処理を行うこと。
【解決手段】外界像に重ねて映像を表示する映像表示部１１と、映像表示部の映像表示エリアを含む画角を有し、この映像表示エリアの外界像を撮像する撮像部１７と、撮像部により撮像された撮像画像から被写体Ｑを検出する検出部３４と、検出部により検出された被写体の内容を解析する解析部３５と、解析部により解析された被写体の内容に応じて処理を行う処理部３６と、検出部が一つの撮像画像中に複数の被写体を検出した場合に、映像表示エリアの中心からそれぞれの被写体までの距離を算出する距離算出部３７と、距離算出部により算出された距離が最小の被写体を目標の被写体に決定し、かかる被写体の内容を解析部により解析させ、解析結果に応じた処理を行う制御部４３と、を備える。
【解決手段】外界像に重ねて映像を表示する映像表示部１１と、映像表示部の映像表示エリアを含む画角を有し、この映像表示エリアの外界像を撮像する撮像部１７と、撮像部により撮像された撮像画像から被写体Ｑを検出する検出部３４と、検出部により検出された被写体の内容を解析する解析部３５と、解析部により解析された被写体の内容に応じて処理を行う処理部３６と、検出部が一つの撮像画像中に複数の被写体を検出した場合に、映像表示エリアの中心からそれぞれの被写体までの距離を算出する距離算出部３７と、距離算出部により算出された距離が最小の被写体を目標の被写体に決定し、かかる被写体の内容を解析部により解析させ、解析結果に応じた処理を行う制御部４３と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、外界を観察可能にすると共に、表示した映像を外界の像に重ねて観察者に視認させる映像表示装置に関する。
【背景技術】
【０００２】
映像を表示する表示部を観察者の頭部に固定し、映像と共に外界像も観察できるようにした映像表示装置が普及しつつある。例えば、観察者の頭部に装着可能なハウジングにレンズ、カメラを設け、このレンズに透過型フィルム状ＬＣＤを貼り付けたゴーグルがある。このゴーグルにおいては、レンズを通して観察できる外界像に透過型フィルム状ＬＣＤに表示される映像を重ね合わせることができる。従って、観察者がカメラで撮像した外界像を管理室等に送信すると、その外界像に適した指示や作業内容を管理室からゴーグルに送信して透過型フィルム状ＬＣＤに表示させることができ、観察者に知らせることができる（例えば、特許文献１参照。）。
【０００３】
また、文書に印刷された２次元コードをカメラで撮像し、撮像した２次元コードを復号してＵＲＬを取得し、かかるＵＲＬに対応する情報をＷＷＷから入力してＣＲＴに情報を表示する情報閲覧システムが知られている（例えば、特許文献２参照。）。
【０００４】
これらの技術を組み合わせることにより、観察者が作業場においてカメラで２次元コードを撮像し、管理室に２次元コードのデータを送信すると、管理室は受信した２次元コードを復号し、かかる２次元コードに対応する情報を送信する。送信された情報は透過型フィルム状ＬＣＤに表示され、観察者はその表示から指示や作業内容等を知ることができるようになる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−２１７９２１号公報
【特許文献２】特開平１１−２０３３８１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、複数の２次元コード（被写体）が近くに密集している場合、ある２次元コードをカメラ（撮像部）で撮像しようとして外界像を撮像した際に、周囲にある目的としていない２次元コードまでも撮像してしまい、撮像画像に複数の２次元コードが存在することがある。このような場合、映像表示装置は、どの２次元コードが必要なのかを判断することができず、観察者に適した情報を提供できないという問題があった。
【０００７】
そこで、本発明は、上記課題を解決するためになされたものであり、撮像部で複数の被写体を撮像した場合においても、観察者の所望する被写体を検出して適切な処理を行うことができる映像表示装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記の課題を解決するため、本発明は、
（１） 外界像に重ねて映像を表示する映像表示部と、
前記映像表示部の映像表示エリアを含む画角を有し、この映像表示エリアの外界像を撮像する撮像部と、
前記撮像部により撮像された撮像画像から被写体を検出する検出部と、
前記検出部により検出された被写体の内容を解析する解析部と、
前記解析部により解析された被写体の内容に応じて処理を行う処理部と、
前記検出部が一つの撮像画像中に複数の被写体を検出した場合に、前記映像表示エリアの中心からそれぞれの被写体までの距離を算出する距離算出部と、
前記距離算出部により算出された距離が最小の被写体を目標の被写体に決定し、かかる被写体の内容を前記解析部により解析させ、解析結果に応じた処理を行う制御部と、
を備えることを特徴とする。
【０００９】
また、本発明は、
（２）上記（１）の映像表示装置において、
前記距離算出部により算出された距離が最小の被写体と２番目に距離が小さい被写体の距離差を算出する距離差算出部と、
前記距離差算出部により算出される距離差の閾値を記憶する記憶部と、
前記距離差算出部により算出された距離差が前記記憶部に記憶された閾値を超えているか否かを判定する判定部と、
前記撮像部が移動したことを検出する移動検出部と、
前記判定部により距離差が閾値を越えていないと判定された場合に、距離が最小の被写体を指す指標を前記映像表示部に表示させ、その後、前記移動検出部による前記撮像部の移動が検出された場合に、その移動方向先に存在する被写体に指標を移動させる指標表示制御部と、を備え、
前記制御部は、
前記判定部により距離差が閾値を越えていると判定された場合には、距離が最小の被写体を目標の被写体に決定し、
前記判定部により距離差が閾値を越えていないと判定された場合には、前記指標表示制御部により被写体を指す指標が表示された後、前記撮像部の移動が所定時間なければ指標が指す被写体を目標の被写体に決定することを特徴とする。
【００１０】
また、本発明は、
（３）上記（２）の映像表示装置において、
前記移動検出部は、撮像時間の異なる二枚の撮像画像における同一の被写体の位置の変化量から前記撮像部の移動方向及び移動量を検出することを特徴とする。
【００１１】
また、本発明は、
（４）上記（２）又は（３）の映像表示装置において、
前記指標表示制御部は、前記移動検出部により検出された前記撮像部の移動方向成分が最大となる方向に指標を移動させることを特徴とする。
【００１２】
また、本発明は、
（５）上記（２）〜（４）のいずれかの映像表示装置において、
前記指標表示制御部は、指標を移動させる方向に存在する被写体のうち、指標が表示されている現在の被写体からの直線距離が最小となる被写体に指標を移動させることを特徴とする。
【００１３】
また、本発明は、
（６）上記（１）〜（５）のいずれかの映像表示装置において、
前記被写体は、二次元コードであることを特徴とする。
【発明の効果】
【００１４】
本発明によれば、撮像部により被写体を撮像すると、検出部は撮像部により撮像された撮像画像から被写体を検出する。解析部は、検出部により検出された被写体の内容を解析し、処理部は解析部により解析された被写体の内容に応じて処理を行う。
ここで、検出部が一つの撮像画像中に複数の被写体を検出した場合、距離算出部は、映像表示エリアの中心からそれぞれの被写体までの距離を算出する。そして、制御部は、距離算出部により算出された距離が最小の被写体を目標の被写体に決定し、かかる被写体の内容を解析部により解析させ、解析結果に応じた処理を行う。
すなわち、観察者は、映像表示エリアで観察できる外界像の中心を観察しているのが通常であるため、この中心に最も近い位置にある被写体を観察していたものと考えるのが妥当である。そこで、上記のような処理を制御部が行うことにより、カメラで複数の被写体を撮像した場合においても、観察者の所望する被写体を検出して適切な処理を行うことができる。
【図面の簡単な説明】
【００１５】
【図１】映像表示装置の構成を示す外観斜視図。
【図２】映像表示装置の構成を示すブロック図。
【図３】制御装置の構成を示すブロック図。
【図４】２次元コードの検出及び解析から目標とする２次元コードの決定に至る流れを示すフローチャート。
【図５】撮像画像の中心から各２次元コードまでの距離を算出する例を示す図。
【図６】カーソルを表示させた液晶表示素子の映像の一例を示す図。
【図７】カーソルの移動について説明する図。
【発明を実施するための形態】
【００１６】
以下、本発明に係る映像表示装置の実施形態について図面を参照しながら説明する。
＜映像表示装置の構成＞
図１〜図３に示すように、映像表示装置１００は、使用者（観察者）が映像を見るための本体１、バックエンド２を備えている。
本体１は、眼鏡のように耳にかけて使用し、耳にかけた際に映像の表示部分が使用者の目の前に位置する。
バックエンド２は、箱状に形成され、衣服のポケット等に入れて使用する。
本体１とバックエンド２は、両者間で信号をやりとりするケーブル２ａによって接続されている。
【００１７】
（本体）
本体１は、フレーム１０、液晶表示素子１１、光源１２、集光レンズ１３、接眼光学系１４、ハーフミラー１５、液晶シャッター１６、カメラ１７、マイク１８、イヤホン１９を備えている。
フレーム１０は、眼鏡フレームと同様の形状に形成されており、平面視コ字状に形成されている。フレーム１０の両端部は互いに対向するように形成されており、一端部が左側のこめかみから耳にわたって、他端部が右側のこめかみから耳にわたって係止される。
【００１８】
液晶表示素子１１は、フレーム１０の内部に設けられている。液晶表示素子１１は、バックエンド２から送信される映像信号に基づいて映像を表示して、与えられる照明光を表示した映像によって変調することにより映像を表す光とする変調型の映像表示素子である。すなわち、液晶表示素子１１は、映像表示部として機能する。ここでは、液晶表示素子１１として、照明光を透過させつつ変調する透過型のものを採用している。
光源１２は、フレーム１０の内部に設けられている。光源１２は、発光ダイオードより成り、液晶表示素子１１に与える照明光を発する。
集光レンズ１３は、フレーム１０の内部に設けられている。集光レンズ１３は、光源１２からの照明光を略平行光束として液晶表示素子１１に導く。
【００１９】
接眼光学系１４は、フレーム１０の内部に設けられている。接眼光学系１４は、レンズより成り、液晶表示素子１１からの映像を表す光（以下、映像光という）Ｌ１を使用者（観察者）の眼Ｅに導いて、液晶表示素子１１が表示した映像の拡大虚像を提供する。すなわち、接眼光学系１４は、液晶表示素子１１からハーフミラー１５までの映像を表す光の光路上に位置して、提供する映像を拡大する拡大光学系として機能する。
ハーフミラー１５は、フレーム１０を装着した際に、使用者（観察者）の一方の眼に対向する位置に設けられている。ハーフミラー１５は、接眼光学系１４を経た液晶表示素子１１からの映像光Ｌ１を反射して眼Ｅに導くとともに、外界からの光（以下、外界光という）Ｌ２を透過させて眼Ｅに導く。ハーフミラー１５は、映像光Ｌ１と外界光Ｌ２を重ねて観察者の眼Ｅに導くコンバイナとして機能し、観察者の眼Ｅには、外界像に重ねて映像が提供される。
【００２０】
液晶シャッター１６は、外界光Ｌ２を透過させて、ハーフミラー１５に導く。液晶シャッター１６の透過率は、印加電圧に依存し、印加電圧を変えることで調節することができる。すなわち、液晶シャッター１６は、ハーフミラー１５に至る外界光を減弱させることができ、印加電圧によりその度合いが可変となった外界光減弱部として機能する。液晶シャッター１６としては、偏光板とＴＮ液晶や強誘電液晶を組み合わせたもの、あるいはゲストホスト液晶等を用いることができる。
カメラ１７は、フレーム１０におけるハーフミラー１５の上方に設けられている。すなわち、カメラ１７は、映像表示装置１００を装着した際に使用者の視界と同じ方向に画角を有するように配置されている。カメラ１７は、ハーフミラー１５における液晶表示素子１１の映像表示エリアを含む画角を有し、映像表示エリアの背景部を測光エリアとしている。すなわち、カメラ１７は、外界像を撮像する撮像部として機能する。
マイク１８、イヤホン１９は、フレーム１０の表面に設けられており、映像の送信元の管理者と本体１の装着者との間で連絡を取ることができる。すなわち、マイク１８は、本体１を装着した際に使用者の口に近い位置に、イヤホン１９は、本体１を装着した際に使用者の耳に近い位置に設けられている。
【００２１】
なお、液晶表示素子１１は透過型を採用しているが、照明光を反射しつつ変調する反射型を採用することも可能である。
また、接眼光学系１４としてレンズを採用しているが、レンズ以外の光学的パワーを有する素子、例えば凹面ミラー、回折格子等を用いて接眼光学系を構成してもよい。
また、提供する映像はモノクロームとすることも、カラーとすることも可能である。モノクロームの映像を提供する場合は、光源１２として単色光を発する発光ダイオードを用いればよい。カラーの映像を提供する場合は、光源１２としてそれぞれ赤色光、緑色光、青色光を発する３種の発光ダイオードを用いるとともに、液晶表示素子１１の各画素に赤色光、緑色光、青色光を選択的に透過させるカラーフィルターを備えればよい。
【００２２】
（バックエンド）
バックエンド２は、制御装置３、操作部４を備えている。
制御装置３は、映像輝度調節部３１、外界像輝度調節部３２、連動制御部３３、検出部３４、解析部３５、処理部３６、距離算出部３７、距離差算出部３８、記憶部３９、判定部４０、移動検出部４１、カーソル制御部４２、制御部４３を備えている。
映像輝度調節部３１は、光源１２の発光輝度を制御する。眼Ｅに提供する映像の輝度は、映像光Ｌ１の量に依存し、映像光の量は液晶表示素子１１に与える照明光の量に依存するから、映像輝度調節部３１が光源１２の発光輝度を制御することで、映像の輝度を調節することができる。
外界像輝度調節部３２は、液晶シャッター１６の印加電圧の制御を介して液晶シャッター１６の透過率を制御する。外界像の輝度は、液晶シャッター１６を透過する外界光Ｌ２の量に依存するから、外界像輝度調節部３２が液晶シャッター１６の透過率を制御することで、外界像の輝度を調節することができる。
連動制御部３３は、映像輝度調節部３１と外界像輝度調節部３２とを連動して制御して、提供する映像と外界像の輝度を調節する。
【００２３】
検出部３４は、カメラ１７により撮像された撮像画像から被写体を検出する。ここで、カメラ１７によって撮像される被写体は、例えば、２次元コードである。もちろん、撮像画像から検出できるものであれば、被写体は２次元コードに限られるものではない。
解析部３５は、検出部３４により検出された２次元コードの内容を解析する。具体的には、検出された２次元コードに含まれる情報を解析し、どのような情報が含まれているのかを解析する。
処理部３６は、解析部３５により解析された２次元コードの内容に応じて処理を行う。ここで、処理部３６が行う処理としては、２次元コードに含まれる情報を液晶表示素子１１に表示させたり、かかる情報や指示を音声データで本体１に送信し、イヤホン１９から観察者に報知する処理を行う。
【００２４】
距離算出部３７は、検出部３４が一つの撮像画像中に複数の２次元コードを検出した場合に、映像表示エリアの中心（撮像画像の中心）からそれぞれの２次元コードまでの距離を算出する。
距離差算出部３８は、距離算出部３７により算出された距離が最小の２次元コードと２番目に距離が小さい２次元コードの距離差を算出する。
記憶部３９は、距離差算出部３８により算出される距離差の閾値を記憶している。
判定部４０は、距離差算出部３８により算出された距離差が記憶部３９に記憶された閾値を超えているか否かを判定する。
移動検出部４１は、カメラ１７が移動したことを検出する。言い換えれば、本体１を装着した観察者が頭を動かしたことを検出する。移動検出部４１は、撮像時間の異なる二枚の撮像画像における同一の２次元コードの位置座標の変化量からカメラ１７の移動方向及び移動量を検出する。
【００２５】
カーソル制御部４２は、判定部４０により距離差が閾値を越えていないと判定された場合に、距離が最小の２次元コード（最も撮像画像の中心に近い２次元コード）を指す指標を液晶表示素子１１に表示させる。ここで、指標は、２次元コードを囲うカーソルＣ（図６，７参照）であり、２次元コードに重ならないように表示される。
カーソル制御部４２は、移動検出部４１によるカメラ１７の移動が検出された場合に、その移動方向先に存在する２次元コードにカーソルＣを移動させる。
カーソル制御部４２は、移動検出部４１により検出されたカメラ１７の移動方向成分が最大となる方向にカーソルＣを移動させる。
カーソル制御部４２は、カーソルＣを移動させる方向に存在する２次元コードのうち、カーソルＣが表示されている現在の２次元コードからの直線距離が最小となる２次元コードにカーソルＣを移動させる。
従って、カーソル制御部４２は、指標表示制御部として機能する。
【００２６】
制御部４３は、距離算出部３７により算出された距離が最小の２次元コードを観察者が所望する目標の２次元コードに決定し、かかる２次元コードの内容を解析部３５により解析させ、解析結果に応じた処理を行う。
制御部４３は、判定部４０により距離差が閾値を越えていると判定された場合には、距離が最小の２次元コードを観察者が所望する目標の２次元コードに決定し、判定部４０により距離差が閾値を越えていないと判定された場合には、カーソル制御部４２により２次元コードを指すカーソルＣが表示された後、カメラ１７の移動が所定時間なければカーソルＣが指す２次元コードを目標の２次元コードに決定する。
【００２７】
操作部４は、使用者によって操作されるダイヤル式またはスライド式の操作部材を含み、操作部材の操作量（回転量または移動量）を連動制御部３３に伝達する。連動制御部３３は、操作部材の操作量に応じて提供する映像の輝度を設定する。したがって、使用者は、操作部４を介して、映像の輝度を指定することができる。
バックエンド２には、映像の送信元の管理者から作業指示等に関する映像を受信するための通信部（図示略）が備えられている。通信部は、制御装置３による通信制御の下、管理者から映像を受信するほか、カメラ１７で撮像した外界像を管理者の端末に送信することができる。
バックエンド２と管理者の端末とは、通信部により無線接続されている。通信方法は自由であり、使用環境に応じて適宜変更が可能である。
【００２８】
＜映像の輝度調節＞
映像表示装置１００においては、外界の明るさによらず、映像を観察しやすくするための処理が行われる。
制御部３は、カメラ１７から外界像の輝度情報を取得する。このときの測光エリアは、ハーフミラー１５から視認できる映像表示エリアの背景部である。
次に、その輝度情報に基づいて、連動制御部３３が、映像輝度調節部３１と外界像輝度調節部３２の制御を行う。外界像輝度調節部３２は液晶シャッター１６、映像輝度調節部３１は光源１２をそれぞれ調節する。
【００２９】
具体的には、提供される映像の輝度と外界像の輝度の差が大きい場合には、使用者は操作部４を操作し、映像の輝度を変えて、輝度差を小さくすることができる。これにより、外界像が暗いときでも明るいときでも、映像を観察することが容易になり、また、眼の疲労も招きにくくなる。
ただし、外界像がきわめて明るいとき、それに応じて映像の輝度を高めると、映像は観察し易くなるものの、眼は疲労し易くなる。これを防止するために、連動制御部３３は、提供する映像の輝度に上限を設けておき、操作部４の操作により上限値を超える輝度が指定されたときは、映像の輝度を上限値に保ったまま、液晶シャッター１６の透過率を低下させて、外界像の輝度を低下させる。これで、映像と外界像の輝度差が小さくなって、映像の観察が容易になり、眼の疲労も少なくなる。
【００３０】
＜２次元コードの検出、解析＞
本体１及びバックエンド２の電源が投入されると、図４に示す流れで処理が行われる。
映像表示エリアの外界像をカメラ１７で撮像し、撮像画像を取得する（ステップＳ１）。
次いで、検出部３４は、撮像画像から２次元コードＱを検出し、撮像画像中に複数の２次元コードＱ１，Ｑ２，・・・，Ｑｎがあるか否かを判定する（ステップＳ２）。
【００３１】
ステップＳ２において、検出部３４は、撮像画像中に複数の２次元コードＱ１，Ｑ２，・・・，Ｑｎがあると判定した場合（ステップＳ２：ＹＥＳ）、距離算出部３７は、撮像画像の中心からそれぞれの２次元コードＱ１，Ｑ２，・・・，Ｑｎまでの距離ｄ１，ｄ２，・・・，ｄｎを算出する（ステップＳ３）。一方、検出部３４は、撮像画像中に２次元コードＱ１，Ｑ２，・・・，Ｑｎがないと判定した場合（ステップＳ２：ＮＯ）、ステップＳ１に戻る。
例えば、図５に示すように、撮像画像中に四つの２次元コードＱ１，Ｑ２，Ｑ３，Ｑ４がある場合、距離算出部３７は、撮像画像の中心Ｏからそれぞれの２次元コードＱ１，Ｑ２，Ｑ３，Ｑ４までの距離ｄ１，ｄ２，ｄ３，ｄ４を算出する。
【００３２】
次いで、距離差算出部３８は、ステップＳ２において算出された距離の最小値ｄmin1と２番目に小さい値ｄmin2の距離差を算出する（ステップＳ４）。図５においては、撮像画像の中心からの距離が最も小さいのは２次元コードＱ２までの距離ｄ２であり、２番目に距離が小さいのは２次元コードＱ３までの距離ｄ３である。従って、距離差算出部３８は、ｄ３−ｄ２の演算を行う。
次いで、判定部４０は、ステップＳ４において算出された距離差ｄmin2−ｄmin1が記憶部３９に記憶された閾値よりも大きいか否かを判定する（ステップＳ５）。
【００３３】
ステップＳ５において、判定部４０は、算出された距離差ｄmin2−ｄmin1が記憶部３９に記憶された閾値よりも大きいと判定した場合（ステップＳ５：ＹＥＳ）、言い換えると、撮像画像の中心Ｏからの距離が最小の２次元コードＱだけが撮像画像の中心の近くに存在し、他の２次元コードＱが撮像画像の中心Ｏから大きく離れている場合には、制御部４３は、ｄmin1である２次元コードＱmin1が観察者の目標とする２次元コードであると決定する（ステップＳ６）。
図５においては、ｄ３−ｄ２の距離差が閾値よりも大きい場合には、制御部４３は、２次元コードＱ２が観察者の目標とする２次元コードであると決定する。
【００３４】
次いで、制御部４３は、決定された２次元コードＱの内容を解析部３５により解析させ、処理部３６により解析結果に応じた処理を行わせる（ステップＳ１０）。
ここで、ステップＳ１０における処理は、例えば、観察者の作業完了を伝えるメールの送信や、作業マニュアルや画像等の液晶表示素子１１への表示等が挙げられる。
ステップＳ５において、判定部４０は、算出された距離差ｄmin2−ｄmin1が記憶部３９に記憶された閾値以下であると判定した場合（ステップＳ５：ＮＯ）、言い換えると、撮像画像の中心に最も近い２次元コードと２番目に近い２次元コードが共に接近していた場合には、カーソル制御部４２は、距離が最小値ｄmin1の２次元コードＱmin1を示すカーソルＣを液晶表示素子１１に表示させる（ステップＳ７）。
図５においては、ｄ３−ｄ２の距離差が閾値以下の場合には、図６に示すように、カーソル制御部４２は、２次元コードＱ２を指すカーソルＣを表示する。
【００３５】
次いで、制御部４３は、所定時間内にカーソルＣが移動したか否かを判定する（ステップＳ８）。カーソルＣの移動は、カーソルＣの位置座標が変化したか否かで判定することができる。
ここで、カーソルＣが移動したことの検出は、移動検出部４１によって行われる。移動検出部４１は、撮像時間の異なる二枚の撮像画像における同一の２次元コードＱの位置の変化量からカメラ１７の移動方向（上下左右）及び移動量を検出する。言い換えると、カメラ１７の移動方向及び移動量を検出することで観察者が頭を動かした方向及びその動作量を検出する。
図６においては、撮像時間の異なる二枚の撮像画像から２次元コードＱ２の位置座標の変化を検出する。
【００３６】
ステップＳ８において、制御部４３は、所定時間内にカーソルＣが移動したと判定した場合（ステップＳ８：ＹＥＳ）、制御部４３は、ステップＳ８の判定を繰り返し、再度カーソル移動の検出を判定する。
ここで、図７に示すように、撮像時間の異なる二枚の撮像画像を比較する場合において、図７上図の撮像画像から図７下図の撮像画像に変化したとすると、２次元コードＱ２の位置座標は（１０５，１２１）から（７７，１３１）に変化しているため、移動検出部４１は、２次元コードＱ２の位置座標が、Ｘ方向に−２８、Ｙ方向に＋１０変化したことを検出する。すなわち、２次元コードＱ２が左下に向けて移動しているので、観察者は右上に頭を動かしたことになる。
【００３７】
このような場合、カーソル制御部４２は、移動検出部４１により検出された２次元コードＱ２の移動方向成分が最大となる方向で、かつ、頭を移動させた方向に注目し、図７における右方向にカーソルＣを移動させる。
ここで、後のフレームの撮像画像内から２次元コードＱ２がフレームアウトしてしまった場合には、再度検出部３４による２次元コードの検出を行う。
【００３８】
カーソル制御部４２は、カーソルＣの移動の際、カーソルＣを移動させる図７の右方向に存在する２次元コードＱ３，Ｑ４のうち、カーソルＣが表示されている現在の２次元コードＱ２からの直線距離が最小となる２次元コードＱ３にカーソルＣを移動させる。
なお、移動検出部４１により検出されたカメラ１７の移動方向に２次元コードが無い場合には、カーソルＣは移動させず、現在の位置を維持する。
【００３９】
ステップＳ８において、制御部４３は、所定時間内にカーソルＣが移動していないと判定した場合（ステップＳ８：ＮＯ）、制御部４３は、現在カーソルによって囲まれている２次元コードＱが目標の２次元コードであると決定する（ステップＳ９）。
すなわち、図６に示すように、２次元コードＱ２にカーソルＣが表示された後、移動検出部４１が所定時間内に２次元コードＱ２の位置が変化していないことを検出すれば、制御部４３は、２次元コードＱ２が目標の２次元コードであると決定する。一方、移動検出部４１により２次元コードＱ２の移動が検出されて２次元コードＱ３にカーソルＣが移動した後、移動検出部４１が所定時間内に２次元コードＱ３の位置が変化していないことを検出すれば、制御部４３は、２次元コードＱ３が目標の２次元コードであると決定する。
次いで、制御部４３は、決定された２次元コードＱの内容を解析部３５により解析させ、処理部３６により解析結果に応じた処理を行わせる（ステップＳ１０）。
なお、上記のフローチャートは、撮像画像中に複数の二次元コードが存在する場合の処理の流れであり、撮像画像中に２次元コードが一つしか存在しない場合には、その２次元コードが、観察者が目標とする２次元コードであり、かかる２次元コードに応じた処理を実行することになる。
【００４０】
＜作用・効果＞
以上のように、映像表示装置１００によれば、カメラ１７により２次元コードＱを撮像すると、検出部３４はカメラ１７により撮像された撮像画像から２次元コードＱを検出する。解析部３５は、検出部３４により検出された２次元コードＱの内容を解析し、処理部３６は解析部３５により解析された２次元コードＱの内容に応じて処理を行う。
ここで、検出部３４が一つの撮像画像中に複数の２次元コードＱを検出した場合、距離算出部３７は、映像表示エリアの中心からそれぞれの２次元コードＱまでの距離を算出し、距離差算出部３８は、最も距離が小さい２次元コードＱと２番目に距離が小さい２次元コードＱの距離差を算出する。
そして、この距離差が閾値を超えている場合には、最も距離が小さい２次元コードＱを目標とする２次元コードＱとして決定し、制御部４３による制御の下、処理部３６が処理を行う。
一方、算出された距離差が閾値を超えていない場合には、最も距離が小さい２次元コードＱにカーソルＣを表示させ、２次元コードＱを選択し直す機会を観察者に与える。カメラ１７の移動が検出された場合には、現在の２次元コードＱからカメラ１７の移動方向に向かって直近の２次元コードＱにカーソルＣを移動させる。
【００４１】
このように、観察者は、映像表示エリアで観察できる外界像の中心を観察しているのが通常であるため、撮像画像の中心に最も近い位置にある２次元コードＱを観察していたものと考えるのが妥当である。そこで、上記のような処理を制御装置３が行うことにより、カメラ１７で複数の２次元コードＱを撮像した場合においても、観察者の所望する２次元コードＱを検出して適切な処理を行うことができる。
【００４２】
また、カメラ１７の移動の検出は、カメラ１７で撮像した二枚の撮像画像における同一の２次元コードＱから演算で求めることができるので、本体１に移動検出のための別個の装置を設ける必要はなく、部品点数の減少、軽量化を図ることができる。
また、カーソル制御部４２は、カメラ１７の移動方向成分が最大となる方向にカーソルＣを移動させるので、観察者の意図を反映しやすいものとすることができる。
また、カーソルＣを移動させる際には、現在の２次元コードＱから最も近い２次元コードＱにカーソルＣを移動させることができるので、観察者の意図を反映しやすいものとすることができる。
【００４３】
なお、本発明は、上記実施形態に限られるものではなく、発明の本質的部分を変更しない範囲内で自由に設計変更が可能である。
また、上記実施形態においては、液晶表示素子、光源、集光レンズ、接眼光学系は、本体に内蔵されているが、これらをバックエンドに設けてもよい。
また、検出部、解析部、処理部、距離算出部、距離差算出部、判定部、移動検出部、カーソル制御部、制御部は、バックエンドの制御装置に備えられ、これらの制御は全てバックエンドにて行われていたが、一部又は全ての制御をバックエンドと無線接続された管理室で行うようにしてもよい。
また、移動検出部によるカメラの移動方向及び移動量の検出は、二枚の撮像画像を用いて行われているが、この二枚の撮像画像は隣接するフレームでもよいし、数フレーム間隔をおいたフレーム同士であってもよい。
また、移動検出部によるカメラの移動方向及び移動量の検出は、二枚の撮像画像を用いて行われているが、本体に加速度センサを設け、この加速度センサによる検出結果から求めてもよい。
また、移動検出部４１によるカーソルＣの移動の検出時においては、カーソルＣ自身の移動を直接検出するものでもよいし、カーソルＣ内の画像データが変化したことにより、カーソルＣの移動を間接的に検出するようにしてもよい。
また、カーソル制御部は、カメラの移動方向成分が最大となる方向にカーソルを移動させているが、カメラの移動方向にカーソルを移動させてもよい。
また、カーソルを移動させる際には、現在の２次元コードからの直線距離が最も近い２次元コードに移動させているが、移動先の２次元コードの決定方法も変更可能である。
【符号の説明】
【００４４】
１１ 液晶表示素子（映像表示部）
１７ カメラ（撮像部）
３４ 検出部
３５ 解析部
３６ 処理部
３７ 距離算出部
３８ 距離差算出部
３９ 記憶部
４０ 判定部
４１ 移動検出部
４２ カーソル制御部（指標表示制御部）
４３ 制御部
１００ 映像表示装置
Ｃ カーソル（指標）
Ｑ ２次元コード（被写体）
【技術分野】
【０００１】
本発明は、外界を観察可能にすると共に、表示した映像を外界の像に重ねて観察者に視認させる映像表示装置に関する。
【背景技術】
【０００２】
映像を表示する表示部を観察者の頭部に固定し、映像と共に外界像も観察できるようにした映像表示装置が普及しつつある。例えば、観察者の頭部に装着可能なハウジングにレンズ、カメラを設け、このレンズに透過型フィルム状ＬＣＤを貼り付けたゴーグルがある。このゴーグルにおいては、レンズを通して観察できる外界像に透過型フィルム状ＬＣＤに表示される映像を重ね合わせることができる。従って、観察者がカメラで撮像した外界像を管理室等に送信すると、その外界像に適した指示や作業内容を管理室からゴーグルに送信して透過型フィルム状ＬＣＤに表示させることができ、観察者に知らせることができる（例えば、特許文献１参照。）。
【０００３】
また、文書に印刷された２次元コードをカメラで撮像し、撮像した２次元コードを復号してＵＲＬを取得し、かかるＵＲＬに対応する情報をＷＷＷから入力してＣＲＴに情報を表示する情報閲覧システムが知られている（例えば、特許文献２参照。）。
【０００４】
これらの技術を組み合わせることにより、観察者が作業場においてカメラで２次元コードを撮像し、管理室に２次元コードのデータを送信すると、管理室は受信した２次元コードを復号し、かかる２次元コードに対応する情報を送信する。送信された情報は透過型フィルム状ＬＣＤに表示され、観察者はその表示から指示や作業内容等を知ることができるようになる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−２１７９２１号公報
【特許文献２】特開平１１−２０３３８１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、複数の２次元コード（被写体）が近くに密集している場合、ある２次元コードをカメラ（撮像部）で撮像しようとして外界像を撮像した際に、周囲にある目的としていない２次元コードまでも撮像してしまい、撮像画像に複数の２次元コードが存在することがある。このような場合、映像表示装置は、どの２次元コードが必要なのかを判断することができず、観察者に適した情報を提供できないという問題があった。
【０００７】
そこで、本発明は、上記課題を解決するためになされたものであり、撮像部で複数の被写体を撮像した場合においても、観察者の所望する被写体を検出して適切な処理を行うことができる映像表示装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記の課題を解決するため、本発明は、
（１） 外界像に重ねて映像を表示する映像表示部と、
前記映像表示部の映像表示エリアを含む画角を有し、この映像表示エリアの外界像を撮像する撮像部と、
前記撮像部により撮像された撮像画像から被写体を検出する検出部と、
前記検出部により検出された被写体の内容を解析する解析部と、
前記解析部により解析された被写体の内容に応じて処理を行う処理部と、
前記検出部が一つの撮像画像中に複数の被写体を検出した場合に、前記映像表示エリアの中心からそれぞれの被写体までの距離を算出する距離算出部と、
前記距離算出部により算出された距離が最小の被写体を目標の被写体に決定し、かかる被写体の内容を前記解析部により解析させ、解析結果に応じた処理を行う制御部と、
を備えることを特徴とする。
【０００９】
また、本発明は、
（２）上記（１）の映像表示装置において、
前記距離算出部により算出された距離が最小の被写体と２番目に距離が小さい被写体の距離差を算出する距離差算出部と、
前記距離差算出部により算出される距離差の閾値を記憶する記憶部と、
前記距離差算出部により算出された距離差が前記記憶部に記憶された閾値を超えているか否かを判定する判定部と、
前記撮像部が移動したことを検出する移動検出部と、
前記判定部により距離差が閾値を越えていないと判定された場合に、距離が最小の被写体を指す指標を前記映像表示部に表示させ、その後、前記移動検出部による前記撮像部の移動が検出された場合に、その移動方向先に存在する被写体に指標を移動させる指標表示制御部と、を備え、
前記制御部は、
前記判定部により距離差が閾値を越えていると判定された場合には、距離が最小の被写体を目標の被写体に決定し、
前記判定部により距離差が閾値を越えていないと判定された場合には、前記指標表示制御部により被写体を指す指標が表示された後、前記撮像部の移動が所定時間なければ指標が指す被写体を目標の被写体に決定することを特徴とする。
【００１０】
また、本発明は、
（３）上記（２）の映像表示装置において、
前記移動検出部は、撮像時間の異なる二枚の撮像画像における同一の被写体の位置の変化量から前記撮像部の移動方向及び移動量を検出することを特徴とする。
【００１１】
また、本発明は、
（４）上記（２）又は（３）の映像表示装置において、
前記指標表示制御部は、前記移動検出部により検出された前記撮像部の移動方向成分が最大となる方向に指標を移動させることを特徴とする。
【００１２】
また、本発明は、
（５）上記（２）〜（４）のいずれかの映像表示装置において、
前記指標表示制御部は、指標を移動させる方向に存在する被写体のうち、指標が表示されている現在の被写体からの直線距離が最小となる被写体に指標を移動させることを特徴とする。
【００１３】
また、本発明は、
（６）上記（１）〜（５）のいずれかの映像表示装置において、
前記被写体は、二次元コードであることを特徴とする。
【発明の効果】
【００１４】
本発明によれば、撮像部により被写体を撮像すると、検出部は撮像部により撮像された撮像画像から被写体を検出する。解析部は、検出部により検出された被写体の内容を解析し、処理部は解析部により解析された被写体の内容に応じて処理を行う。
ここで、検出部が一つの撮像画像中に複数の被写体を検出した場合、距離算出部は、映像表示エリアの中心からそれぞれの被写体までの距離を算出する。そして、制御部は、距離算出部により算出された距離が最小の被写体を目標の被写体に決定し、かかる被写体の内容を解析部により解析させ、解析結果に応じた処理を行う。
すなわち、観察者は、映像表示エリアで観察できる外界像の中心を観察しているのが通常であるため、この中心に最も近い位置にある被写体を観察していたものと考えるのが妥当である。そこで、上記のような処理を制御部が行うことにより、カメラで複数の被写体を撮像した場合においても、観察者の所望する被写体を検出して適切な処理を行うことができる。
【図面の簡単な説明】
【００１５】
【図１】映像表示装置の構成を示す外観斜視図。
【図２】映像表示装置の構成を示すブロック図。
【図３】制御装置の構成を示すブロック図。
【図４】２次元コードの検出及び解析から目標とする２次元コードの決定に至る流れを示すフローチャート。
【図５】撮像画像の中心から各２次元コードまでの距離を算出する例を示す図。
【図６】カーソルを表示させた液晶表示素子の映像の一例を示す図。
【図７】カーソルの移動について説明する図。
【発明を実施するための形態】
【００１６】
以下、本発明に係る映像表示装置の実施形態について図面を参照しながら説明する。
＜映像表示装置の構成＞
図１〜図３に示すように、映像表示装置１００は、使用者（観察者）が映像を見るための本体１、バックエンド２を備えている。
本体１は、眼鏡のように耳にかけて使用し、耳にかけた際に映像の表示部分が使用者の目の前に位置する。
バックエンド２は、箱状に形成され、衣服のポケット等に入れて使用する。
本体１とバックエンド２は、両者間で信号をやりとりするケーブル２ａによって接続されている。
【００１７】
（本体）
本体１は、フレーム１０、液晶表示素子１１、光源１２、集光レンズ１３、接眼光学系１４、ハーフミラー１５、液晶シャッター１６、カメラ１７、マイク１８、イヤホン１９を備えている。
フレーム１０は、眼鏡フレームと同様の形状に形成されており、平面視コ字状に形成されている。フレーム１０の両端部は互いに対向するように形成されており、一端部が左側のこめかみから耳にわたって、他端部が右側のこめかみから耳にわたって係止される。
【００１８】
液晶表示素子１１は、フレーム１０の内部に設けられている。液晶表示素子１１は、バックエンド２から送信される映像信号に基づいて映像を表示して、与えられる照明光を表示した映像によって変調することにより映像を表す光とする変調型の映像表示素子である。すなわち、液晶表示素子１１は、映像表示部として機能する。ここでは、液晶表示素子１１として、照明光を透過させつつ変調する透過型のものを採用している。
光源１２は、フレーム１０の内部に設けられている。光源１２は、発光ダイオードより成り、液晶表示素子１１に与える照明光を発する。
集光レンズ１３は、フレーム１０の内部に設けられている。集光レンズ１３は、光源１２からの照明光を略平行光束として液晶表示素子１１に導く。
【００１９】
接眼光学系１４は、フレーム１０の内部に設けられている。接眼光学系１４は、レンズより成り、液晶表示素子１１からの映像を表す光（以下、映像光という）Ｌ１を使用者（観察者）の眼Ｅに導いて、液晶表示素子１１が表示した映像の拡大虚像を提供する。すなわち、接眼光学系１４は、液晶表示素子１１からハーフミラー１５までの映像を表す光の光路上に位置して、提供する映像を拡大する拡大光学系として機能する。
ハーフミラー１５は、フレーム１０を装着した際に、使用者（観察者）の一方の眼に対向する位置に設けられている。ハーフミラー１５は、接眼光学系１４を経た液晶表示素子１１からの映像光Ｌ１を反射して眼Ｅに導くとともに、外界からの光（以下、外界光という）Ｌ２を透過させて眼Ｅに導く。ハーフミラー１５は、映像光Ｌ１と外界光Ｌ２を重ねて観察者の眼Ｅに導くコンバイナとして機能し、観察者の眼Ｅには、外界像に重ねて映像が提供される。
【００２０】
液晶シャッター１６は、外界光Ｌ２を透過させて、ハーフミラー１５に導く。液晶シャッター１６の透過率は、印加電圧に依存し、印加電圧を変えることで調節することができる。すなわち、液晶シャッター１６は、ハーフミラー１５に至る外界光を減弱させることができ、印加電圧によりその度合いが可変となった外界光減弱部として機能する。液晶シャッター１６としては、偏光板とＴＮ液晶や強誘電液晶を組み合わせたもの、あるいはゲストホスト液晶等を用いることができる。
カメラ１７は、フレーム１０におけるハーフミラー１５の上方に設けられている。すなわち、カメラ１７は、映像表示装置１００を装着した際に使用者の視界と同じ方向に画角を有するように配置されている。カメラ１７は、ハーフミラー１５における液晶表示素子１１の映像表示エリアを含む画角を有し、映像表示エリアの背景部を測光エリアとしている。すなわち、カメラ１７は、外界像を撮像する撮像部として機能する。
マイク１８、イヤホン１９は、フレーム１０の表面に設けられており、映像の送信元の管理者と本体１の装着者との間で連絡を取ることができる。すなわち、マイク１８は、本体１を装着した際に使用者の口に近い位置に、イヤホン１９は、本体１を装着した際に使用者の耳に近い位置に設けられている。
【００２１】
なお、液晶表示素子１１は透過型を採用しているが、照明光を反射しつつ変調する反射型を採用することも可能である。
また、接眼光学系１４としてレンズを採用しているが、レンズ以外の光学的パワーを有する素子、例えば凹面ミラー、回折格子等を用いて接眼光学系を構成してもよい。
また、提供する映像はモノクロームとすることも、カラーとすることも可能である。モノクロームの映像を提供する場合は、光源１２として単色光を発する発光ダイオードを用いればよい。カラーの映像を提供する場合は、光源１２としてそれぞれ赤色光、緑色光、青色光を発する３種の発光ダイオードを用いるとともに、液晶表示素子１１の各画素に赤色光、緑色光、青色光を選択的に透過させるカラーフィルターを備えればよい。
【００２２】
（バックエンド）
バックエンド２は、制御装置３、操作部４を備えている。
制御装置３は、映像輝度調節部３１、外界像輝度調節部３２、連動制御部３３、検出部３４、解析部３５、処理部３６、距離算出部３７、距離差算出部３８、記憶部３９、判定部４０、移動検出部４１、カーソル制御部４２、制御部４３を備えている。
映像輝度調節部３１は、光源１２の発光輝度を制御する。眼Ｅに提供する映像の輝度は、映像光Ｌ１の量に依存し、映像光の量は液晶表示素子１１に与える照明光の量に依存するから、映像輝度調節部３１が光源１２の発光輝度を制御することで、映像の輝度を調節することができる。
外界像輝度調節部３２は、液晶シャッター１６の印加電圧の制御を介して液晶シャッター１６の透過率を制御する。外界像の輝度は、液晶シャッター１６を透過する外界光Ｌ２の量に依存するから、外界像輝度調節部３２が液晶シャッター１６の透過率を制御することで、外界像の輝度を調節することができる。
連動制御部３３は、映像輝度調節部３１と外界像輝度調節部３２とを連動して制御して、提供する映像と外界像の輝度を調節する。
【００２３】
検出部３４は、カメラ１７により撮像された撮像画像から被写体を検出する。ここで、カメラ１７によって撮像される被写体は、例えば、２次元コードである。もちろん、撮像画像から検出できるものであれば、被写体は２次元コードに限られるものではない。
解析部３５は、検出部３４により検出された２次元コードの内容を解析する。具体的には、検出された２次元コードに含まれる情報を解析し、どのような情報が含まれているのかを解析する。
処理部３６は、解析部３５により解析された２次元コードの内容に応じて処理を行う。ここで、処理部３６が行う処理としては、２次元コードに含まれる情報を液晶表示素子１１に表示させたり、かかる情報や指示を音声データで本体１に送信し、イヤホン１９から観察者に報知する処理を行う。
【００２４】
距離算出部３７は、検出部３４が一つの撮像画像中に複数の２次元コードを検出した場合に、映像表示エリアの中心（撮像画像の中心）からそれぞれの２次元コードまでの距離を算出する。
距離差算出部３８は、距離算出部３７により算出された距離が最小の２次元コードと２番目に距離が小さい２次元コードの距離差を算出する。
記憶部３９は、距離差算出部３８により算出される距離差の閾値を記憶している。
判定部４０は、距離差算出部３８により算出された距離差が記憶部３９に記憶された閾値を超えているか否かを判定する。
移動検出部４１は、カメラ１７が移動したことを検出する。言い換えれば、本体１を装着した観察者が頭を動かしたことを検出する。移動検出部４１は、撮像時間の異なる二枚の撮像画像における同一の２次元コードの位置座標の変化量からカメラ１７の移動方向及び移動量を検出する。
【００２５】
カーソル制御部４２は、判定部４０により距離差が閾値を越えていないと判定された場合に、距離が最小の２次元コード（最も撮像画像の中心に近い２次元コード）を指す指標を液晶表示素子１１に表示させる。ここで、指標は、２次元コードを囲うカーソルＣ（図６，７参照）であり、２次元コードに重ならないように表示される。
カーソル制御部４２は、移動検出部４１によるカメラ１７の移動が検出された場合に、その移動方向先に存在する２次元コードにカーソルＣを移動させる。
カーソル制御部４２は、移動検出部４１により検出されたカメラ１７の移動方向成分が最大となる方向にカーソルＣを移動させる。
カーソル制御部４２は、カーソルＣを移動させる方向に存在する２次元コードのうち、カーソルＣが表示されている現在の２次元コードからの直線距離が最小となる２次元コードにカーソルＣを移動させる。
従って、カーソル制御部４２は、指標表示制御部として機能する。
【００２６】
制御部４３は、距離算出部３７により算出された距離が最小の２次元コードを観察者が所望する目標の２次元コードに決定し、かかる２次元コードの内容を解析部３５により解析させ、解析結果に応じた処理を行う。
制御部４３は、判定部４０により距離差が閾値を越えていると判定された場合には、距離が最小の２次元コードを観察者が所望する目標の２次元コードに決定し、判定部４０により距離差が閾値を越えていないと判定された場合には、カーソル制御部４２により２次元コードを指すカーソルＣが表示された後、カメラ１７の移動が所定時間なければカーソルＣが指す２次元コードを目標の２次元コードに決定する。
【００２７】
操作部４は、使用者によって操作されるダイヤル式またはスライド式の操作部材を含み、操作部材の操作量（回転量または移動量）を連動制御部３３に伝達する。連動制御部３３は、操作部材の操作量に応じて提供する映像の輝度を設定する。したがって、使用者は、操作部４を介して、映像の輝度を指定することができる。
バックエンド２には、映像の送信元の管理者から作業指示等に関する映像を受信するための通信部（図示略）が備えられている。通信部は、制御装置３による通信制御の下、管理者から映像を受信するほか、カメラ１７で撮像した外界像を管理者の端末に送信することができる。
バックエンド２と管理者の端末とは、通信部により無線接続されている。通信方法は自由であり、使用環境に応じて適宜変更が可能である。
【００２８】
＜映像の輝度調節＞
映像表示装置１００においては、外界の明るさによらず、映像を観察しやすくするための処理が行われる。
制御部３は、カメラ１７から外界像の輝度情報を取得する。このときの測光エリアは、ハーフミラー１５から視認できる映像表示エリアの背景部である。
次に、その輝度情報に基づいて、連動制御部３３が、映像輝度調節部３１と外界像輝度調節部３２の制御を行う。外界像輝度調節部３２は液晶シャッター１６、映像輝度調節部３１は光源１２をそれぞれ調節する。
【００２９】
具体的には、提供される映像の輝度と外界像の輝度の差が大きい場合には、使用者は操作部４を操作し、映像の輝度を変えて、輝度差を小さくすることができる。これにより、外界像が暗いときでも明るいときでも、映像を観察することが容易になり、また、眼の疲労も招きにくくなる。
ただし、外界像がきわめて明るいとき、それに応じて映像の輝度を高めると、映像は観察し易くなるものの、眼は疲労し易くなる。これを防止するために、連動制御部３３は、提供する映像の輝度に上限を設けておき、操作部４の操作により上限値を超える輝度が指定されたときは、映像の輝度を上限値に保ったまま、液晶シャッター１６の透過率を低下させて、外界像の輝度を低下させる。これで、映像と外界像の輝度差が小さくなって、映像の観察が容易になり、眼の疲労も少なくなる。
【００３０】
＜２次元コードの検出、解析＞
本体１及びバックエンド２の電源が投入されると、図４に示す流れで処理が行われる。
映像表示エリアの外界像をカメラ１７で撮像し、撮像画像を取得する（ステップＳ１）。
次いで、検出部３４は、撮像画像から２次元コードＱを検出し、撮像画像中に複数の２次元コードＱ１，Ｑ２，・・・，Ｑｎがあるか否かを判定する（ステップＳ２）。
【００３１】
ステップＳ２において、検出部３４は、撮像画像中に複数の２次元コードＱ１，Ｑ２，・・・，Ｑｎがあると判定した場合（ステップＳ２：ＹＥＳ）、距離算出部３７は、撮像画像の中心からそれぞれの２次元コードＱ１，Ｑ２，・・・，Ｑｎまでの距離ｄ１，ｄ２，・・・，ｄｎを算出する（ステップＳ３）。一方、検出部３４は、撮像画像中に２次元コードＱ１，Ｑ２，・・・，Ｑｎがないと判定した場合（ステップＳ２：ＮＯ）、ステップＳ１に戻る。
例えば、図５に示すように、撮像画像中に四つの２次元コードＱ１，Ｑ２，Ｑ３，Ｑ４がある場合、距離算出部３７は、撮像画像の中心Ｏからそれぞれの２次元コードＱ１，Ｑ２，Ｑ３，Ｑ４までの距離ｄ１，ｄ２，ｄ３，ｄ４を算出する。
【００３２】
次いで、距離差算出部３８は、ステップＳ２において算出された距離の最小値ｄmin1と２番目に小さい値ｄmin2の距離差を算出する（ステップＳ４）。図５においては、撮像画像の中心からの距離が最も小さいのは２次元コードＱ２までの距離ｄ２であり、２番目に距離が小さいのは２次元コードＱ３までの距離ｄ３である。従って、距離差算出部３８は、ｄ３−ｄ２の演算を行う。
次いで、判定部４０は、ステップＳ４において算出された距離差ｄmin2−ｄmin1が記憶部３９に記憶された閾値よりも大きいか否かを判定する（ステップＳ５）。
【００３３】
ステップＳ５において、判定部４０は、算出された距離差ｄmin2−ｄmin1が記憶部３９に記憶された閾値よりも大きいと判定した場合（ステップＳ５：ＹＥＳ）、言い換えると、撮像画像の中心Ｏからの距離が最小の２次元コードＱだけが撮像画像の中心の近くに存在し、他の２次元コードＱが撮像画像の中心Ｏから大きく離れている場合には、制御部４３は、ｄmin1である２次元コードＱmin1が観察者の目標とする２次元コードであると決定する（ステップＳ６）。
図５においては、ｄ３−ｄ２の距離差が閾値よりも大きい場合には、制御部４３は、２次元コードＱ２が観察者の目標とする２次元コードであると決定する。
【００３４】
次いで、制御部４３は、決定された２次元コードＱの内容を解析部３５により解析させ、処理部３６により解析結果に応じた処理を行わせる（ステップＳ１０）。
ここで、ステップＳ１０における処理は、例えば、観察者の作業完了を伝えるメールの送信や、作業マニュアルや画像等の液晶表示素子１１への表示等が挙げられる。
ステップＳ５において、判定部４０は、算出された距離差ｄmin2−ｄmin1が記憶部３９に記憶された閾値以下であると判定した場合（ステップＳ５：ＮＯ）、言い換えると、撮像画像の中心に最も近い２次元コードと２番目に近い２次元コードが共に接近していた場合には、カーソル制御部４２は、距離が最小値ｄmin1の２次元コードＱmin1を示すカーソルＣを液晶表示素子１１に表示させる（ステップＳ７）。
図５においては、ｄ３−ｄ２の距離差が閾値以下の場合には、図６に示すように、カーソル制御部４２は、２次元コードＱ２を指すカーソルＣを表示する。
【００３５】
次いで、制御部４３は、所定時間内にカーソルＣが移動したか否かを判定する（ステップＳ８）。カーソルＣの移動は、カーソルＣの位置座標が変化したか否かで判定することができる。
ここで、カーソルＣが移動したことの検出は、移動検出部４１によって行われる。移動検出部４１は、撮像時間の異なる二枚の撮像画像における同一の２次元コードＱの位置の変化量からカメラ１７の移動方向（上下左右）及び移動量を検出する。言い換えると、カメラ１７の移動方向及び移動量を検出することで観察者が頭を動かした方向及びその動作量を検出する。
図６においては、撮像時間の異なる二枚の撮像画像から２次元コードＱ２の位置座標の変化を検出する。
【００３６】
ステップＳ８において、制御部４３は、所定時間内にカーソルＣが移動したと判定した場合（ステップＳ８：ＹＥＳ）、制御部４３は、ステップＳ８の判定を繰り返し、再度カーソル移動の検出を判定する。
ここで、図７に示すように、撮像時間の異なる二枚の撮像画像を比較する場合において、図７上図の撮像画像から図７下図の撮像画像に変化したとすると、２次元コードＱ２の位置座標は（１０５，１２１）から（７７，１３１）に変化しているため、移動検出部４１は、２次元コードＱ２の位置座標が、Ｘ方向に−２８、Ｙ方向に＋１０変化したことを検出する。すなわち、２次元コードＱ２が左下に向けて移動しているので、観察者は右上に頭を動かしたことになる。
【００３７】
このような場合、カーソル制御部４２は、移動検出部４１により検出された２次元コードＱ２の移動方向成分が最大となる方向で、かつ、頭を移動させた方向に注目し、図７における右方向にカーソルＣを移動させる。
ここで、後のフレームの撮像画像内から２次元コードＱ２がフレームアウトしてしまった場合には、再度検出部３４による２次元コードの検出を行う。
【００３８】
カーソル制御部４２は、カーソルＣの移動の際、カーソルＣを移動させる図７の右方向に存在する２次元コードＱ３，Ｑ４のうち、カーソルＣが表示されている現在の２次元コードＱ２からの直線距離が最小となる２次元コードＱ３にカーソルＣを移動させる。
なお、移動検出部４１により検出されたカメラ１７の移動方向に２次元コードが無い場合には、カーソルＣは移動させず、現在の位置を維持する。
【００３９】
ステップＳ８において、制御部４３は、所定時間内にカーソルＣが移動していないと判定した場合（ステップＳ８：ＮＯ）、制御部４３は、現在カーソルによって囲まれている２次元コードＱが目標の２次元コードであると決定する（ステップＳ９）。
すなわち、図６に示すように、２次元コードＱ２にカーソルＣが表示された後、移動検出部４１が所定時間内に２次元コードＱ２の位置が変化していないことを検出すれば、制御部４３は、２次元コードＱ２が目標の２次元コードであると決定する。一方、移動検出部４１により２次元コードＱ２の移動が検出されて２次元コードＱ３にカーソルＣが移動した後、移動検出部４１が所定時間内に２次元コードＱ３の位置が変化していないことを検出すれば、制御部４３は、２次元コードＱ３が目標の２次元コードであると決定する。
次いで、制御部４３は、決定された２次元コードＱの内容を解析部３５により解析させ、処理部３６により解析結果に応じた処理を行わせる（ステップＳ１０）。
なお、上記のフローチャートは、撮像画像中に複数の二次元コードが存在する場合の処理の流れであり、撮像画像中に２次元コードが一つしか存在しない場合には、その２次元コードが、観察者が目標とする２次元コードであり、かかる２次元コードに応じた処理を実行することになる。
【００４０】
＜作用・効果＞
以上のように、映像表示装置１００によれば、カメラ１７により２次元コードＱを撮像すると、検出部３４はカメラ１７により撮像された撮像画像から２次元コードＱを検出する。解析部３５は、検出部３４により検出された２次元コードＱの内容を解析し、処理部３６は解析部３５により解析された２次元コードＱの内容に応じて処理を行う。
ここで、検出部３４が一つの撮像画像中に複数の２次元コードＱを検出した場合、距離算出部３７は、映像表示エリアの中心からそれぞれの２次元コードＱまでの距離を算出し、距離差算出部３８は、最も距離が小さい２次元コードＱと２番目に距離が小さい２次元コードＱの距離差を算出する。
そして、この距離差が閾値を超えている場合には、最も距離が小さい２次元コードＱを目標とする２次元コードＱとして決定し、制御部４３による制御の下、処理部３６が処理を行う。
一方、算出された距離差が閾値を超えていない場合には、最も距離が小さい２次元コードＱにカーソルＣを表示させ、２次元コードＱを選択し直す機会を観察者に与える。カメラ１７の移動が検出された場合には、現在の２次元コードＱからカメラ１７の移動方向に向かって直近の２次元コードＱにカーソルＣを移動させる。
【００４１】
このように、観察者は、映像表示エリアで観察できる外界像の中心を観察しているのが通常であるため、撮像画像の中心に最も近い位置にある２次元コードＱを観察していたものと考えるのが妥当である。そこで、上記のような処理を制御装置３が行うことにより、カメラ１７で複数の２次元コードＱを撮像した場合においても、観察者の所望する２次元コードＱを検出して適切な処理を行うことができる。
【００４２】
また、カメラ１７の移動の検出は、カメラ１７で撮像した二枚の撮像画像における同一の２次元コードＱから演算で求めることができるので、本体１に移動検出のための別個の装置を設ける必要はなく、部品点数の減少、軽量化を図ることができる。
また、カーソル制御部４２は、カメラ１７の移動方向成分が最大となる方向にカーソルＣを移動させるので、観察者の意図を反映しやすいものとすることができる。
また、カーソルＣを移動させる際には、現在の２次元コードＱから最も近い２次元コードＱにカーソルＣを移動させることができるので、観察者の意図を反映しやすいものとすることができる。
【００４３】
なお、本発明は、上記実施形態に限られるものではなく、発明の本質的部分を変更しない範囲内で自由に設計変更が可能である。
また、上記実施形態においては、液晶表示素子、光源、集光レンズ、接眼光学系は、本体に内蔵されているが、これらをバックエンドに設けてもよい。
また、検出部、解析部、処理部、距離算出部、距離差算出部、判定部、移動検出部、カーソル制御部、制御部は、バックエンドの制御装置に備えられ、これらの制御は全てバックエンドにて行われていたが、一部又は全ての制御をバックエンドと無線接続された管理室で行うようにしてもよい。
また、移動検出部によるカメラの移動方向及び移動量の検出は、二枚の撮像画像を用いて行われているが、この二枚の撮像画像は隣接するフレームでもよいし、数フレーム間隔をおいたフレーム同士であってもよい。
また、移動検出部によるカメラの移動方向及び移動量の検出は、二枚の撮像画像を用いて行われているが、本体に加速度センサを設け、この加速度センサによる検出結果から求めてもよい。
また、移動検出部４１によるカーソルＣの移動の検出時においては、カーソルＣ自身の移動を直接検出するものでもよいし、カーソルＣ内の画像データが変化したことにより、カーソルＣの移動を間接的に検出するようにしてもよい。
また、カーソル制御部は、カメラの移動方向成分が最大となる方向にカーソルを移動させているが、カメラの移動方向にカーソルを移動させてもよい。
また、カーソルを移動させる際には、現在の２次元コードからの直線距離が最も近い２次元コードに移動させているが、移動先の２次元コードの決定方法も変更可能である。
【符号の説明】
【００４４】
１１ 液晶表示素子（映像表示部）
１７ カメラ（撮像部）
３４ 検出部
３５ 解析部
３６ 処理部
３７ 距離算出部
３８ 距離差算出部
３９ 記憶部
４０ 判定部
４１ 移動検出部
４２ カーソル制御部（指標表示制御部）
４３ 制御部
１００ 映像表示装置
Ｃ カーソル（指標）
Ｑ ２次元コード（被写体）
【特許請求の範囲】
【請求項１】
外界像に重ねて映像を表示する映像表示部と、
前記映像表示部の映像表示エリアを含む画角を有し、この映像表示エリアの外界像を撮像する撮像部と、
前記撮像部により撮像された撮像画像から被写体を検出する検出部と、
前記検出部により検出された被写体の内容を解析する解析部と、
前記解析部により解析された被写体の内容に応じて処理を行う処理部と、
前記検出部が一つの撮像画像中に複数の被写体を検出した場合に、前記映像表示エリアの中心からそれぞれの被写体までの距離を算出する距離算出部と、
前記距離算出部により算出された距離が最小の被写体を目標の被写体に決定し、かかる被写体の内容を前記解析部により解析させ、解析結果に応じた処理を行う制御部と、
を備えることを特徴とする映像表示装置。
【請求項２】
前記距離算出部により算出された距離が最小の被写体と２番目に距離が小さい被写体の距離差を算出する距離差算出部と、
前記距離差算出部により算出される距離差の閾値を記憶する記憶部と、
前記距離差算出部により算出された距離差が前記記憶部に記憶された閾値を超えているか否かを判定する判定部と、
前記撮像部が移動したことを検出する移動検出部と、
前記判定部により距離差が閾値を越えていないと判定された場合に、距離が最小の被写体を指す指標を前記映像表示部に表示させ、その後、前記移動検出部による前記撮像部の移動が検出された場合に、その移動方向先に存在する被写体に指標を移動させる指標表示制御部と、を備え、
前記制御部は、
前記判定部により距離差が閾値を越えていると判定された場合には、距離が最小の被写体を目標の被写体に決定し、
前記判定部により距離差が閾値を越えていないと判定された場合には、前記指標表示制御部により被写体を指す指標が表示された後、前記撮像部の移動が所定時間なければ指標が指す被写体を目標の被写体に決定することを特徴とする請求項１に記載の映像表示装置。
【請求項３】
前記移動検出部は、撮像時間の異なる二枚の撮像画像における同一の被写体の位置の変化量から前記撮像部の移動方向及び移動量を検出することを特徴とする請求項２に記載の映像表示装置。
【請求項４】
前記指標表示制御部は、前記移動検出部により検出された前記撮像部の移動方向成分が最大となる方向に指標を移動させることを特徴とする請求項２又は３に記載の映像表示装置。
【請求項５】
前記指標表示制御部は、指標を移動させる方向に存在する被写体のうち、指標が表示されている現在の被写体からの直線距離が最小となる被写体に指標を移動させることを特徴とする請求項２〜４のいずれか一項に記載の映像表示装置。
【請求項６】
前記被写体は、二次元コードであることを特徴とする請求項１〜５のいずれか一項に記載の映像表示装置。
【請求項１】
外界像に重ねて映像を表示する映像表示部と、
前記映像表示部の映像表示エリアを含む画角を有し、この映像表示エリアの外界像を撮像する撮像部と、
前記撮像部により撮像された撮像画像から被写体を検出する検出部と、
前記検出部により検出された被写体の内容を解析する解析部と、
前記解析部により解析された被写体の内容に応じて処理を行う処理部と、
前記検出部が一つの撮像画像中に複数の被写体を検出した場合に、前記映像表示エリアの中心からそれぞれの被写体までの距離を算出する距離算出部と、
前記距離算出部により算出された距離が最小の被写体を目標の被写体に決定し、かかる被写体の内容を前記解析部により解析させ、解析結果に応じた処理を行う制御部と、
を備えることを特徴とする映像表示装置。
【請求項２】
前記距離算出部により算出された距離が最小の被写体と２番目に距離が小さい被写体の距離差を算出する距離差算出部と、
前記距離差算出部により算出される距離差の閾値を記憶する記憶部と、
前記距離差算出部により算出された距離差が前記記憶部に記憶された閾値を超えているか否かを判定する判定部と、
前記撮像部が移動したことを検出する移動検出部と、
前記判定部により距離差が閾値を越えていないと判定された場合に、距離が最小の被写体を指す指標を前記映像表示部に表示させ、その後、前記移動検出部による前記撮像部の移動が検出された場合に、その移動方向先に存在する被写体に指標を移動させる指標表示制御部と、を備え、
前記制御部は、
前記判定部により距離差が閾値を越えていると判定された場合には、距離が最小の被写体を目標の被写体に決定し、
前記判定部により距離差が閾値を越えていないと判定された場合には、前記指標表示制御部により被写体を指す指標が表示された後、前記撮像部の移動が所定時間なければ指標が指す被写体を目標の被写体に決定することを特徴とする請求項１に記載の映像表示装置。
【請求項３】
前記移動検出部は、撮像時間の異なる二枚の撮像画像における同一の被写体の位置の変化量から前記撮像部の移動方向及び移動量を検出することを特徴とする請求項２に記載の映像表示装置。
【請求項４】
前記指標表示制御部は、前記移動検出部により検出された前記撮像部の移動方向成分が最大となる方向に指標を移動させることを特徴とする請求項２又は３に記載の映像表示装置。
【請求項５】
前記指標表示制御部は、指標を移動させる方向に存在する被写体のうち、指標が表示されている現在の被写体からの直線距離が最小となる被写体に指標を移動させることを特徴とする請求項２〜４のいずれか一項に記載の映像表示装置。
【請求項６】
前記被写体は、二次元コードであることを特徴とする請求項１〜５のいずれか一項に記載の映像表示装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１１−２０９８０５（Ｐ２０１１−２０９８０５Ａ）
【公開日】平成２３年１０月２０日（２０１１．１０．２０）
【国際特許分類】
【出願番号】特願２０１０−７４３５７（Ｐ２０１０−７４３５７）
【出願日】平成２２年３月２９日（２０１０．３．２９）
【出願人】（３０３０００４０８）コニカミノルタオプト株式会社 (3,255)
【Ｆターム（参考）】
【公開日】平成２３年１０月２０日（２０１１．１０．２０）
【国際特許分類】
【出願日】平成２２年３月２９日（２０１０．３．２９）
【出願人】（３０３０００４０８）コニカミノルタオプト株式会社 (3,255)
【Ｆターム（参考）】
[ Back to top ]