ヘッドマウントディスプレイ装置、画像制御方法および画像制御プログラム
【課題】撮影者が撮像部を操作することなく、撮像を行うことができ、尚且つ、焦点合わせの操作に時間のかからないＨＭＤを提供する。
【解決手段】ＣＣＤ５により撮像された外景から、トリガ色ＣＬを有する領域が抽出され（ＳＡ４）、ボケ領域、即ち、画像ボケしている領域の抽出が行われる（ＳＡ５）。ボケ領域の抽出が行われると、ボケ領域のうち、ＳＡ４にて認識されたトリガ色ＣＬを有する領域の境界のいずれかの部分が、予めＲＯＭ１３に記憶されている所定の形状ＳＨと略一致するか否かが判断される（ＳＡ６）。ＳＡ６が肯定されると（ＳＡ６：Ｙｅｓ）、ＳＡ６にて、所定の形状ＳＨと略一致する部分と判断された部分から、画像の切り出しが行われる範囲を示す撮像枠ＦＲが決定される（ＳＡ７）。
【解決手段】ＣＣＤ５により撮像された外景から、トリガ色ＣＬを有する領域が抽出され（ＳＡ４）、ボケ領域、即ち、画像ボケしている領域の抽出が行われる（ＳＡ５）。ボケ領域の抽出が行われると、ボケ領域のうち、ＳＡ４にて認識されたトリガ色ＣＬを有する領域の境界のいずれかの部分が、予めＲＯＭ１３に記憶されている所定の形状ＳＨと略一致するか否かが判断される（ＳＡ６）。ＳＡ６が肯定されると（ＳＡ６：Ｙｅｓ）、ＳＡ６にて、所定の形状ＳＨと略一致する部分と判断された部分から、画像の切り出しが行われる範囲を示す撮像枠ＦＲが決定される（ＳＡ７）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影者の頭部及びその近辺に装着され、撮影者が画像情報に基づいた画像光による情報画像と外光による外景画像とを同時に視認しながら、外景画像を撮像できるヘッドマウントディスプレイ装置（以後、「ＨＭＤ」と記す。）に関する。
【背景技術】
【０００２】
従来より、撮影者の頭部及びその近辺に装着され、撮像範囲内に映る撮影者の手指の位置や形に基づいて、外景画像の撮像や撮像した画像の画像処理を行うＨＭＤが特許文献１に提案されている。
【０００３】
このようなＨＭＤを使用することで、撮影者はカメラに触れることなく、また、リモコン等の操作部材を使用することなく撮像を行うことが可能となる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−１７５０１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、撮影者が特許文献１に開示されているＨＭＤを使用する場合、撮像範囲を決定するために、少なくとも一度、手指に焦点を合わせる操作が必要となる。そのため、外景に焦点を合わせる操作と手指に焦点を合わせる操作との２つの焦点合わせ操作が必要となり、焦点合わせに時間がかかる。
【０００６】
本発明は、上述した問題点を解決するためになされたものであり、撮影者が撮像部を操作することなく、撮像を行うことができ、尚且つ、焦点合わせの操作に時間のかからないＨＭＤを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、請求項１記載の本発明は、外光による外景画像を撮像する撮像部を備え、撮影者の頭部及びその近辺に装着され、画像情報に基づいた画像光による情報画像が前記外景画像とともに前記撮影者により視認されるように構成されたヘッドマウントディスプレイ装置であって、前記外景画像のうち、あらかじめ設定された所定の空間周波数以上の空間周波数成分を持たない空間周波数特性の領域を抽出する低周波数領域抽出部と、前記撮像部により撮像された前記外景画像から、あらかじめ設定された所定の色相を認識する色相認識部と、前記低周波数領域抽出部により抽出された領域であって、前記色相認識部により認識された前記所定の色相で、あらかじめ設定された所定の形状である部分の画像から、画像の切り出し範囲を示す撮像枠を決定する撮像枠決定部と、前記撮像部により撮像された前記外景画像から、前記撮像枠決定部により決定された前記撮像枠内の画像を抽出し、記憶する画像抽出部と、を備えることを特徴とするものである。
【０００８】
請求項２記載の本発明は、請求項１に記載の発明において、前記低周波数領域抽出部は、前記外景画像のうち、明るさの変化勾配の大きさがあらかじめ設定された所定値以下の領域を抽出することを特徴とするものである。
【０００９】
請求項３記載の本発明は、請求項１または２に記載の発明において、前記撮像部の合焦位置を示すマーカー画像を生成するマーカー生成部を備え、前記マーカー画像が前記情報画像及び前記外景画像とともに前記撮影者により視認されるように構成されたことを特徴とするものである。
【００１０】
請求項４記載の本発明は、請求項１〜３のいずれかに記載の発明において、前記撮像枠決定部により決定された前記撮像枠の画像を生成する撮像枠画像生成部を備え、前記撮像枠の画像が前記情報画像及び前記外景画像とともに前記撮影者により視認されるように構成されたことを特徴とするものである。
【００１１】
請求項５記載の本発明は、請求項１〜４のいずれかに記載の発明において、前記画像抽出部により抽出され、記憶された画像を読み出して生成する抽出画像生成部を備え、前記抽出画像生成部により生成された前記撮像枠内の画像が前記外景画像とともに前記撮影者により視認されるように構成されたことを特徴とするものである。
【００１２】
請求項６記載の本発明は、請求項１〜５のいずれかに記載の発明において、前記低周波数領域抽出部、前記色相認識部、前記撮像枠決定部、及び前記画像抽出部のうち、いずれの部位が動作しているかを検知する動作状態検知部と、前記動作状態検知部により検知された結果に応じて、動作状態を示す動作情報を生成する動作情報生成部と、を備え、前記動作情報生成部により生成された前記動作情報を前記撮影者に通知するための画像が、前記外景画像とともに前記撮影者により視認されるように構成されたことを特徴とするものである。
【００１３】
上記目的を達成するために、請求項７記載の本発明は、撮影者の頭部及びその近辺に装着され、画像情報に基づいた画像光による情報画像が外光による外景画像とともに前記撮影者により視認されるように構成されたヘッドマウントディスプレイ装置に使用される画像制御方法であって、前記外景画像を撮像する撮像ステップと、前記外景画像のうち、あらかじめ設定された所定の空間周波数以上の空間周波数成分を持たない空間周波数特性の領域を抽出する低周波数領域抽出ステップと、前記撮像ステップにより撮像された前記外景画像から、あらかじめ設定された所定の色相を認識する色相認識ステップと、前記低周波数領域抽出ステップにより抽出された領域であって、前記色相認識ステップにより認識された前記所定の色相で、あらかじめ設定された所定の形状である部分の画像から、画像の切り出し範囲を示す撮像枠を決定する撮像枠決定ステップと、前記撮像ステップにより撮像された前記外景画像から、前記撮像枠決定ステップにより決定された前記撮像枠内の画像を抽出し、記憶する画像抽出ステップと、を備えることを特徴とするものである。
【００１４】
上記目的を達成するために、請求項８記載の本発明は、撮影者の頭部及びその近辺に装着され、画像情報に基づいた画像光による情報画像が外光による外景画像とともに前記撮影者により視認されるように構成されたヘッドマウントディスプレイ装置に使用される画像制御プログラムであって、前記外景画像を撮像する撮像ステップと、前記外景画像のうち、あらかじめ設定された所定の空間周波数以上の空間周波数成分を持たない空間周波数特性の領域を抽出する低周波数領域抽出ステップと、前記撮像ステップにより撮像された前記外景画像から、あらかじめ設定された所定の色相を認識する色相認識ステップと、前記低周波数領域抽出ステップにより抽出された領域であって、前記色相認識ステップにより認識された前記所定の色相で、あらかじめ設定された所定の形状である部分の画像から、画像の切り出し範囲を示す撮像枠を決定する撮像枠決定ステップと、前記撮像ステップにより撮像された前記外景画像から、前記撮像枠決定ステップにより決定された前記撮像枠内の画像を抽出し、記憶する画像抽出ステップと、をコンピュータにより実現することを特徴とするものである。
【発明の効果】
【００１５】
請求項１記載のヘッドマウントディスプレイ装置によれば、撮影者はあらかじめ手指の色相と形状とをＨＭＤに設定しておくことで、撮影者が撮像部の撮像範囲に手指をかざし、手指を、高い空間周波数成分を持たない空間周波数特性の領域、即ち、画像ボケしている領域に入れることで、外景画像の一部を切り出し、撮像することが可能となる。
【００１６】
即ち、手指に焦点位置を合わせる操作は不必要となり、撮影者は焦点合わせの操作に時間をかけずに撮像することが可能となる。
【００１７】
請求項２記載のヘッドマウントディスプレイ装置によれば、撮影者はあらかじめ明るさの変化勾配の所定値をＨＭＤ装置に設定しておくことで、撮影者が撮像部の撮像範囲に手指をかざし、明るさの変化勾配が所定値以下の領域、即ち、画像ボケしている領域に手指を入れることで、外景画像の一部を切り出し、撮像することが可能となる。
【００１８】
即ち、手指に焦点位置を合わせる操作は不必要となり、撮影者は焦点合わせの操作に時間をかけずに撮像することが可能となる。
【００１９】
請求項３記載のヘッドマウントディスプレイ装置によれば、撮影者は撮像部の合焦位置を示す、マーカー画像を視認することが可能となる。従って、撮影者は常に合焦位置を把握することができ、合焦位置からずらして手指をかざすことで容易に外景画像の一部を切り出し、撮像することが可能となる。
【００２０】
請求項４記載のヘッドマウントディスプレイ装置によれば、撮影者は画像の切り出し範囲を示す撮像枠を視認することができ、外景画像のどの部分を切り出すのかを正確に把握することができる。
【００２１】
請求項５記載のヘッドマウントディスプレイ装置によれば、撮影者は外景とともに撮像した画像を視認することができる。従って、外景画像のうちのどの部分が撮像されたかを逐次正確に把握することができ、撮影者が切り出しに失敗し、もう一度手指で撮像枠を作りなおす際などに参考にできる。
【００２２】
請求項６記載のヘッドマウントディスプレイ装置によれば、撮影者は低周波数領域抽出部、色相認識部、撮像枠決定部、及び画像抽出部のうち、いずれの部位が起動しているかに関連した情報を知ることが可能となる。
【００２３】
従って、撮影者は撮像の過程のうち、どの段階に入っているのかを把握することができる。よって、撮影者が、画像の切り出し操作がなかなか行われない問題に直面した際に、撮像のどの過程でＨＭＤの動作が止まってしまっているのかを把握でき、迅速な問題の解消が容易となる。
【００２４】
請求項７記載の画像制御方法および請求項８記載の画像制御プログラムによれば、撮影者はあらかじめ手指の色相と形状とをＨＭＤに設定しておくことで、撮影者がＨＭＤの撮像範囲に手指をかざし、高い空間周波数成分を持たない空間周波数特性の領域、即ち、画像ボケしている領域に手指を入れることで、外景画像の一部を切り出し、撮像することが可能となる。
【００２５】
この結果、手指に焦点位置を合わせる操作は不必要となり、撮影者は焦点合わせの動作に時間をかけずに撮像することが可能となる。
【図面の簡単な説明】
【００２６】
【図１】本発明の第１の実施形態に係るＨＭＤ装置の外観を示す図である。
【図２】ＨＭＤの電気的及び光学的構成を示す説明図である。
【図３（ａ）】メイン処理を示すフローチャートである。
【図３（ｂ）】ボケ領域を検出する処理を示すフローチャートである。
【図４（ａ）】ＣＣＤ５により撮像され、且つ、撮影者Ｐにより視認されている外景を示す図である。
【図４（ｂ）】ＨＭＤ１の表示範囲に各種コンテンツ画像が表示されている状態を示す図である。
【図４（ｃ）】撮像枠決定操作を説明するための説明図である。
【図４（ｄ）】撮像枠ＦＲ内の画像を切り出す操作を説明するための説明図である。
【図５】ボケ領域の抽出を説明するための説明図である。
【図６】所定の形状ＳＨを示す図である。
【図７】撮像枠の形成のされ方を説明するための説明図である。
【図８】図３（ａ）に示したＳＡ３〜ＳＡ５の処理に相当する第２実施形態の処理を示すフローチャートである。
【発明を実施するための形態】
【００２７】
（第１の実施形態）
以下、本発明の一実施形態について、図面を参照して具体的に説明する。本実施形態は本発明を網膜走査型ディスプレイに具体化したものである。
【００２８】
網膜走査型ディスプレイとは、ヘッドマウントディスプレイ装置（以後、「ＨＭＤ」と記す。）の一形態であり、装着者の頭部およびその近辺に装着され、画像光を装着者の眼に導き、装着者の網膜上で２次元方向に走査することにより、コンテンツ情報に対応する画像（以後、「コンテンツ画像」と記す。）が装着者により視認されるように構成されたものである。
【００２９】
なお、「視認」とは画像光が装着者の網膜上で２次元方向に走査され、装着者が画像を認識する態様と、画像が表示パネルに表示され、装着者が表示パネルの画像から発生する画像光による画像を認識する態様の２つの態様を含む意味である。
【００３０】
以後、「表示」という用語を用いた場合、装着者に対して画像光による画像を認識可能に動作することを意味するものとする。その点で上述のいずれの態様も画像光による画像を表示しているものと言える。
【００３１】
本実施形態の網膜走査型ディスプレイは外景の撮像を行うことのできる撮像部を備えている。従って、以後、装着者を「撮影者」と呼ぶ。
【００３２】
[ＨＭＤ外観]
図１は、本実施形態のヘッドマウントディスプレイ装置の外観を示す図である。図１に示すように、ヘッドマウントディスプレイ装置（以後、「ＨＭＤ」と記す。）１は、フレーム部２と、画像表示部３と、ハーフミラー４と、ＣＣＤ５と、システムボックス７と、を備えている。
【００３３】
ＨＭＤ１は、撮影者Ｐがフレーム部２を頭部に装着した状態で、文書ファイル、画像ファイル、動画ファイル等の各種コンテンツ情報を画像としてその撮影者Ｐに視認可能に表示する網膜走査型ディスプレイである。なお、本実施形態において、コンテンツ画像は、合焦位置を表すマーカーや撮像枠といった、撮像の際に用いられる画像も含むものである。
【００３４】
フレーム部２は、図１に示す通り、眼鏡のフレーム形状をしており、フロント部２ａと、一対のテンプル部２ｂとからなる。
【００３５】
画像表示部３は、図１に示す通り、撮影者Ｐから見て左側のテンプル部２ｂに取り付けられている。画像表示部３は、画像光を２次元的に走査することで、コンテンツ画像を表示するための画像光を生成する。
【００３６】
ハーフミラー４は、図１に示す通り、フロント部２ａに設けられている。ハーフミラー４は、画像表示部３から発せられた画像光を反射し、撮影者Ｐの眼ＥＹの網膜に導く。また、ハーフミラー４は半透明であり、外光ＥＬを透過するため、撮影者Ｐは、ＨＭＤ１の装着時に、コンテンツ画像と同時に外景を視認できる。
【００３７】
なお、画像表示部３は、後述のＲＯＭに記憶されたデータを基に、あらかじめ設定されたハーフミラー４の所定位置で、画像光を反射し、網膜に導く。ハーフミラー４の反射範囲及び設置位置により、撮影者Ｐがコンテンツ画像を視認する範囲と位置と方向とがあらかじめ決定される。
【００３８】
ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅｓ）５は、画像表示部３上に取り付けられている。本実施形態におけるＣＣＤ５は、本発明の撮像部の一例である。
【００３９】
ＣＣＤ５の光軸は、画像光がハーフミラーにて反射され、撮影者Ｐの網膜に導かれたとき、その画像光の網膜への入射方向と略一致するように設定されている。このように、ＣＣＤ５の光軸が設定されることで、ＣＣＤ５は、撮影者Ｐがコンテンツ画像を視認する範囲と略一致する範囲において、外景画像を撮像することが可能となる。
【００４０】
システムボックス７は、画像表示部３と伝送ケーブル８を介して接続されている。システムボックス７は、ＨＭＤ１の全体の動作を統括制御し、コンテンツ画像を形成するための画像光を生成する。伝送ケーブル８は、光ファイバや各種信号を伝送するためのケーブルを備える。
【００４１】
［ＨＭＤ電気的構成］
本実施形態に係るＨＭＤ１の電気的構成について、図２を参照して説明する。図２は、本実施形態に係るＨＭＤ１の電気的及び光学的構成を示す説明図である。
【００４２】
図２に示すように、ＨＭＤ１は、ＨＭＤ１全体の動作を統括制御する統括制御部１０と、コンテンツ画像の画像光を生成する光生成部２０と、コンテンツ画像が撮影者Ｐにより視認されるように画像光を走査する光走査部５０と、を備えている。統括制御部１０と、光生成部２０とは、システムボックス７に内蔵され、光走査部５０は、画像表示部３に内蔵されている。
【００４３】
統括制御部１０は、画像データを光生成部２０へ供給する。ここで、画像データとは、撮影者Ｐが視認することとなるコンテンツ画像を表すデータである。光生成部２０は、統括制御部１０から供給される画像データに基づいて画像光を生成し、光走査部５０に供給する。光走査部５０は、光生成部２０により生成された画像光を２次元的に走査することで、コンテンツ画像を表示し、撮影者Ｐに視認させる。
【００４４】
統括制御部１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１２と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１３と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１４と、ＶＲＡＭ（Ｖｉｄｅｏ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１５と、バス１６と、を備えている。
【００４５】
ＣＰＵ１２は、ＲＯＭ１３に記憶されている各種情報処理プログラムを実行することにより、ＨＭＤ１が備える各種機能を実行する演算処理装置である。ＲＯＭ１３は、不揮発性メモリであるフラッシュメモリにより構成されている。ＲＯＭ１３は、ＨＭＤ１により表示するコンテンツの再生、停止、早送り、巻き戻し等の制御を行う際に光生成部２０、光走査部５０等を動作させるための情報処理プログラム等、ＣＰＵ１２により実行される各種情報処理プログラムを記憶している。ＲＯＭ１３は、マーカーや撮像枠等の画像データや、統括制御部１０が各種表示制御を行う際に参照する複数種類のテーブル等も記憶している。ＲＡＭ１４は画像データ等の各種データを一時的に記憶する領域である。ＶＲＡＭ１５は、画像を表示する際に、表示される画像が表示前に一時的に描画される領域である。ＣＰＵ１２、ＲＯＭ１３、ＲＡＭ１４、及びＶＲＡＭ１５は、データ通信用のバス１６にそれぞれ接続されており、バス１６を介して各種情報の送受信を行う。
【００４６】
統括制御部１０は、ＨＭＤ１の電源スイッチＳＷ、及びＣＣＤ５と接続されている。
【００４７】
光生成部２０は、信号処理回路２１と、光源部３０と、光合成部４０と、を備えている。
【００４８】
画像データが、統括制御部１０から、信号処理回路２１に供給される。信号処理回路２１は、供給された画像データに基づいて、画像を合成するための要素となる青、緑、赤の各画像信号２２ａ〜２２ｃを生成し、光源部３０に供給する。信号処理回路２１は、水平走査部７０を駆動するための水平駆動信号２３を水平走査部７０に供給し、垂直走査部８０を駆動するための垂直駆動信号２４を垂直走査部８０に供給する。
【００４９】
光源部３０は、信号処理回路２１から供給される３つの画像信号２２ａ〜２２ｃをそれぞれ画像光にする画像光出力部として機能する。光源部３０は、青色の画像光を発生するＢレーザ３４及びＢレーザ３４を駆動するＢレーザドライバ３１と、緑色の画像光を発生するＧレーザ３５及びＧレーザ３５を駆動するＧレーザドライバ３２と、赤色の画像光を発生するＲレーザ３６及びＲレーザ３６を駆動するＲレーザドライバ３３とを備えている。
【００５０】
光合成部４０は、光源部３０から出力された３つの画像光を供給され、３つの画像光を１つの画像光に合成して任意の画像光を生成する。光合成部４０は、光源部３０から入射する画像光を平行光にコリメートする。光合成部４０は、コリメート光学系４１、４２、４３と、このコリメートされた画像光を合成するためのダイクロイックミラー４４、４５、４６と、合成された画像光を伝送ケーブル８に導く結合光学系４７とを備えている。各レーザ３４、３５、３６から出射したレーザ光は、コリメート光学系４１、４２、４３によってそれぞれ平行光化された後に、ダイクロイックミラー４４、４５、４６に入射される。その後、これらのダイクロイックミラー４４、４５、４６により、各画像光が波長に関して選択的に反射または透過される。
【００５１】
光走査部５０は、コリメート光学系６０と、水平走査部７０と、垂直走査部８０と、リレー光学系７５、９０と、を備えている。
【００５２】
コリメート光学系６０は、伝送ケーブル８を介して出射される画像光を平行光化し、水平走査部７０に導く。水平走査部７０は、コリメート光学系６０で平行光化された画像光を画像表示のために水平方向に往復走査する。垂直走査部８０は、水平走査部７０で水平方向に走査された画像光を垂直方向に往復走査する。リレー光学系７５は、水平走査部７０と垂直走査部８０との間に設けられ、水平走査部７０により走査された画像光を、垂直走査部８０に導く。リレー光学系９０は、水平方向と垂直方向とに走査（２次元的に走査）された画像光を瞳孔Ｅａへ出射する。
【００５３】
水平走査部７０は、共振型偏向素子７１と、水平走査制御回路７２と、水平走査角検出回路７３と、を備えている。
【００５４】
共振型偏向素子７１は、画像光を水平方向に走査するための反射面を有する。水平走査制御回路７２は、信号処理回路２１から供給される水平駆動信号２３に基づいて、共振型偏向素子７１を共振させる。水平走査角検出回路７３は、共振型偏向素子７１から供給される変位信号に基づいて、共振型偏向素子７１の反射面の揺動範囲及び揺動周波数等の揺動状態を検出する。水平走査角検出回路７３は、検出した共振型偏向素子７１の揺動状態を示す信号を統括制御部１０へ供給する。
【００５５】
リレー光学系７５は、水平走査部７０と垂直走査部８０との間で画像光を中継する。共振型偏向素子７１によって水平方向に走査された光は、リレー光学系７５によって垂直走査部８０内の偏向素子８１の反射面に収束される。
【００５６】
垂直走査部８０は、偏向素子８１と、垂直走査制御回路８２と、を備えている。
【００５７】
偏向素子８１は、リレー光学系７５により導かれた画像光を垂直方向に走査する。垂直走査制御回路８２は、信号処理回路２１から供給される垂直駆動信号２４に基づいて、偏向素子８１を揺動させる。
【００５８】
共振型偏向素子７１により水平方向に走査され、偏向素子８１によって垂直方向に走査された画像光は、２次元的に走査された走査画像光としてリレー光学系９０へ出射される。
【００５９】
共振型偏向素子７１と偏向素子８１とにより走査される画像光は、あるタイミングに、ある走査角度で走査される。即ち、あるタイミングにおいて、画像光は一本である。従って、以後便宜上、「走査画像光は走査された複数の画像光より成る」といった内容の表現を用いるが、実際には、走査画像光は、あるタイミングにおいて一本の画像光より成るものである。
【００６０】
リレー光学系９０は、正の屈折力を持つレンズ系９１、９２を備えている。レンズ系９１は、共振型偏向素子７１と偏向素子８１とにより走査された各々の画像光を、各々の中心線が相互に略平行になるよう変換し、尚且つ、各々の画像光を、レンズ系９１とレンズ系９２との中間位置に一度収束させる。中間位置に一度収束された各々の画像光は、再び拡散し、レンズ系９２に供給される。
【００６１】
レンズ系９２は、レンズ系９１から供給された各々の画像光を、平行光化する。そして、レンズ系９２は、各々の画像光を、各々の中心線が撮影者の瞳孔Ｅａに収束するように、変換する。
【００６２】
レンズ系９２から供給された画像光は、ハーフミラー４で一度反射された後、撮影者の瞳孔Ｅａに収束される。このようにして、撮影者Ｐはコンテンツ画像を視認することができる。
【００６３】
統括制御部１０は、共振型偏向素子７１の揺動状態に基づいた信号を、水平走査角検出回路７３から受け取る。そして、統括制御部１０は、受け取った信号に基づいて、信号処理回路２１の動作を制御する。信号処理回路２１は、水平走査制御回路７２へ水平駆動信号２３を供給し、垂直走査制御回路８２へ垂直駆動信号２４を供給する。水平走査制御回路７２は、供給された水平駆動信号２３に基づき、共振型偏向素子７１の動きを制御する。垂直走査制御回路８２は供給された垂直駆動信号２４に基づき、偏向素子８１の動きを制御する。以上の一連の流れにより、水平走査と垂直走査との同期が成される。
【００６４】
[ＨＭＤ動作制御]
次に、図３（ａ）〜図３（ｂ）、及び図４（ａ）〜図４（ｄ）を参照して、ＨＭＤ１の動作制御について説明する。
【００６５】
図３（ａ）は、ＨＭＤ１の動作制御を示すフローチャートである。一連の動作制御はＣＰＵ１２により実行される。なお、ＣＣＤ５は図４（ａ）に示す外景を撮像しており、同時に、図４（ａ）に示す外景は、撮影者Ｐにより視認されている。
【００６６】
図３（ａ）に示す処理では、先ず、ＣＣＤ５による外景画像の撮像が開始される（ＳＡ１）。本実施形態におけるＣＣＤ５、及びステップＳＡ１が、本発明の撮像部、及び撮像ステップの一例である。
【００６７】
外景画像の撮像が開始されると、外景画像がＣＣＤ５から統括制御部１０に供給され、コンテンツ画像の表示が行われる（ＳＡ２）。ＳＡ２にて表示されるコンテンツ画像は、マーカー画像ＭＫと、調整用画像ＡＤと、撮像状態画像ＳＴとである。
【００６８】
マーカー画像ＭＫとは、撮影者にＣＣＤ５の合焦位置がどこにあるかを知らせるための画像である。マーカー画像ＭＫはＲＯＭ１３に予め記憶されており、ＣＰＵ１２により読み出され、表示される。本実施形態におけるＣＰＵ１２、ＲＯＭ１３、及びステップＳＡ２が、本発明のマーカー生成部の一例である。
【００６９】
調整用画像ＡＤとは、後述の撮像枠内の画像が縮小され、図４（ｂ）に示すように、表示範囲の左上端に表示されるものである。調整用画像ＡＤは、撮影者Ｐが自分の意思通りに画像の切り出しが行われたかを確認し、撮像枠の微調整などを行うためのものである。初期状態、即ち、画像の切り出しがまだ行われていない状態では、図４（ｂ）に示すように、ＣＣＤ５により撮像されている画像が調整用画像ＡＤとして、表示される。
【００７０】
撮像状態画像ＳＴとは、後述の撮像過程のうち、ＨＭＤ１がどの撮像過程に入ったかを撮影者Ｐに示すための画像である。撮像状態画像ＳＴは、図４（ｂ）に示す通り、５つの円印で形成されており、後述の何れかの撮像過程に入った際に、対応する円印が赤く点灯する。初期状態では、どの撮像過程にも入っていないため、図４（ｂ）に示す通り、どの円印も点灯しない。
【００７１】
コンテンツ画像の表示が行われると、ＲＯＭ１３に予め記憶されているトリガ色ＣＬがＣＣＤ５により撮像された外景画像中にあるか否かが判断される（ＳＡ３）。トリガ色ＣＬとは、撮影者Ｐの手指の色相として予めＲＯＭ１３に記憶されている色相を指す。トリガ色ＣＬは、画像の切り出しが行われるための条件の一つである。本実施形態におけるＣＰＵ１２、及びステップＳＡ３が、本発明の色相認識部、及び色相認識ステップの一例である。
【００７２】
トリガ色ＣＬが外景中にあると判断されると（ＳＡ３：Ｙｅｓ）、ＣＣＤ５により撮像された外景から、トリガ色ＣＬを有する領域が抽出される（ＳＡ４）。
【００７３】
トリガ色ＣＬを有する領域の抽出が行われると、図３（ｂ）に示すフローチャートに従って、ボケ領域の抽出が行われる（ＳＡ５）。ボケ領域とは、図４（ｃ）に示す撮像範囲ＳＲのうち、合焦位置から離れた位置にあるために、ＣＣＤ５により、画像ボケした状態で撮像された領域を指す。ＳＡ５では、最終的に、ボケ領域のうち、ＳＡ４にて認識されたトリガ色ＣＬを有する領域の境界が抽出される。即ち、図５に示すように、画像ボケした撮影者Ｐの手指ＨＦの画像が抽出される。
【００７４】
ボケ領域の抽出が行われると、ボケ領域のうち、ＳＡ４にて認識されたトリガ色ＣＬを有する領域の境界のいずれかの部分が、予めＲＯＭ１３に記憶されている所定の形状ＳＨと略一致するか否かが判断される（ＳＡ６）。所定の形状ＳＨとは、図６に示すような撮影者Ｐの両手の親指と人指し指により形成される、一対の対向するＬ字型の形状である。ＳＡ４にて認識されたトリガ色ＣＬを有する領域の境界のいずれの部分も、所定の形状ＳＨと略一致しないと判断されると（ＳＡ６：Ｎｏ）、ＳＡ３に戻り、トリガ色ＣＬが外景中にあるか否かの判断がなされる。
【００７５】
ボケ領域のうち、ＳＡ４にて認識されたトリガ色ＣＬを有する領域の境界のいずれかの部分が、所定の形状ＳＨと略一致すると判断されると（ＳＡ６：Ｙｅｓ）、ＳＡ６にて、所定の形状ＳＨと略一致する部分と判断された部分から、画像の切り出しが行われる範囲を示す撮像枠ＦＲが決定される（ＳＡ７）。具体的には、図７に示すように、所定の形状ＳＨの二つの角ＣＮと、所定の形状ＳＨの辺を延長した際に出来る二つの交点ＥＴとから構成される長方形の枠が撮像枠ＦＲとして決定される。本実施形態におけるＣＰＵ１２、及びステップＳＡ７が、本発明の撮像枠決定部、及び撮像枠決定ステップの一例である。
【００７６】
撮像枠ＦＲが決定されると、図４（ｃ）に示すように、撮像枠ＦＲが表示される（ＳＡ８）。本実施形態におけるＣＰＵ１２、及びステップＳＡ８が、本発明における撮像枠画像生成部の一例である。
【００７７】
撮像枠ＦＲが表示されると、撮像枠ＦＲ内の画像が抽出され、ＲＡＭ１４に一時的に記憶される（ＳＡ９）。ＲＡＭ１４に一時的に記憶されると、次に、記憶された画像が読み出され、一度ＶＲＡＭ１５に描画され、その後、図４（ｃ）に示す通り、調整用画像ＡＤとして表示される（ＳＡ１０）。本実施形態におけるＣＰＵ１２、及びステップＳＡ１０が、本発明における抽出画像生成部の一例である。
【００７８】
調整用画像ＡＤが表示されると、予めＲＯＭ１３に記憶されている所定のジェスチャＪＳがあるか否かが判断される（ＳＡ１１）。所定のジェスチャＪＳは、ＣＣＤ５の撮像範囲ＳＲ内で、図４（ｄ）に示すような、Ｌ字型の形状を形成するために離していた親指と人差し指とを付けるジェスチャであり、撮像枠ＦＲ内の画像を「切り出せ」という指令の意味をもつものである。ＳＡ１１は、ＳＡ３〜ＳＡ６の手順と同様の手順により、行われる。所定のジェスチャＪＳがないと判断されると（ＳＡ１１：Ｎｏ）、ＳＡ３に戻る。
【００７９】
所定のジェスチャＪＳがあると判断されると（ＳＡ１１：Ｙｅｓ）、撮像枠ＦＲ内の画像が切り出される（ＳＡ１２）。具体的には、撮像枠ＦＲ内の画像が抽出され、ＲＡＭ１４に記憶される。本実施形態におけるＣＰＵ１２、及びステップＳＡ９、ＳＡ１２が、本発明における画像抽出部、及び画像抽出ステップの一例である。
【００８０】
画像の切り出しが行われると、電源スイッチＳＷから電源ＯＦＦの指令が供給されたか否かが判断される（ＳＡ１３）。電源ＯＦＦの指令が供給されていないと判断されると（ＳＡ１３：Ｎｏ）、処理はＳＡ３に戻る。電源ＯＦＦの指令が供給されたと判断されると（ＳＡ１３：Ｙｅｓ）、処理が終了する。また、ＳＡ３において、トリガ色ＣＬが外景中にないと判断されると（ＳＡ３：Ｎｏ）、ＳＡ１３に進み、電源スイッチＳＷから電源ＯＦＦの指令が供給されたか否かが判断される。このように本発明は簡単に撮像枠ＦＲが決定され、撮像枠ＦＲ内の画像を切り出すことができる。従って、撮影者Ｐは、注目すべき部分の画像のみを容易に撮像し、ＨＭＤ１に記憶させることができ、撮影者Ｐが撮像後に、トリミング等の処理をする手間が省ける。また、注目すべき部分の画像のみが記憶されることから、外景のうち余分な部分が撮像されることがないため、撮影者Ｐは、ＨＭＤ１の記憶容量を節約することができる。
【００８１】
なお、ＳＡ３、ＳＡ５、ＳＡ６、ＳＡ７、ＳＡ１２のいずれかのステップに入る度に、各ステップに対応した撮像過程に処理が入ったということが検知され、前述の撮像状態画像ＳＴの各撮像過程に対応した円印が赤く点灯される。本実施形態におけるＣＰＵ１２が、本発明における動作状態検知部、及び、動作情報生成部の一例である。
【００８２】
図３（ｂ）は、ボケ領域を抽出する処理の概要を示すフローチャートである。
【００８３】
図３（ｂ）に示す処理では、先ず、ＣＣＤ５により撮像された外景画像が、複数の区分に分割される（ＳＢ１）。分割された区分のうち、ＳＡ４により抽出されたトリガ色ＣＬを有する領域と、背景領域、即ち、外景画像のうちトリガ色ＣＬでない領域と、トリガ色ＣＬを有する領域の境界と、を含む区分の周波数解析が行われる（ＳＢ２）。
【００８４】
周波数解析が行われると、ＳＢ２にて周波数解析が行われた複数の区分のうち、あらかじめＲＯＭ１３に記憶されている所定の空間周波数ＦＱ以下の空間周波数成分が含まれている区分が集められ、抽出される（ＳＢ３）。ここで、空間周波数ＦＱとは、画像の単位長さあたりにおける濃淡変化の繰り返し回数を表したものである。ＳＢ３により、最終的に、ボケ領域のうち、ＳＡ４にて認識されたトリガ色ＣＬを有する領域の境界が抽出されることとなる。本実施形態におけるＣＰＵ１２、及びステップＳＡ５、ＳＢ１、ＳＢ２、ＳＢ３が、本発明の低周波数領域抽出部、及び低周波数領域抽出ステップの一例である。このステップには特開平９−１５５０６号公報に開示されている、フーリエ変換等を適用した公知の周波数解析技術が用いられる。
【００８５】
ＳＢ３が行われると、ボケ領域を抽出する処理が終了し、次の処理が、図３（ａ）に示すメイン処理のＳＡ６に戻る。
【００８６】
（第２の実施形態）
発明の第２の実施形態について図面を参照して説明する。第１の実施形態において、トリガ色ＣＬの認識と、ボケ領域の抽出とは、図３（ａ）に示すＳＡ３〜ＳＡ５の手順で行われていたが、これに限らず、図８に示すように行われてもよい。なお、第２の実施形態において、第１の実施形態と同一の構成は、同一の番号を付して説明する。
【００８７】
図８は、第１の実施形態におけるＳＡ３〜ＳＡ５の処理に相当する第２の実施形態の処理を示すフローチャートである。
【００８８】
図８に示す処理では、先ず、Ｓｏｂｅｌオペレータなどにより、ＣＣＤ５により撮像された外景画像の明るさ変化勾配検出が行われる（ＳＸ１）。
【００８９】
明るさ変化勾配検出が行われると、画像の明るさの変化勾配が予めＲＯＭ１３に記憶された所定値ＧＲ以下の領域が抽出される（ＳＸ２）。ＳＸ２により、画像ボケしている領域が抽出される。
【００９０】
ＳＸ２が行われると、ＳＸ２にて抽出された領域の各部分の色相が認識される（ＳＸ３）。本実施形態におけるＣＰＵ１２、及びステップＳＸ３が、本発明における色相認識部、及び色相認識ステップの一例である。
【００９１】
ＳＸ３が行われると、ＳＸ２にて抽出された領域のうち、予めＲＯＭ１３に記憶されているトリガ色ＣＬを有する部分が抽出される（ＳＸ４）。
【００９２】
ＳＸ４が行われると、図８に示す処理が終了し、図３（ａ）に示すメイン処理のＳＡ６に戻る。
【００９３】
なお、本実施形態では撮像された画像の明るさの変化勾配から、画像のボケを認識している。明るさの変化勾配が所定値以下の領域は、高周波数成分を持たない空間周波数特性の領域に相当することから、この所定値以下の領域を抽出することは画像の空間周波数が低い部分を抽出することの一例である。従って、第２の実施形態におけるＣＰＵ１２、及びステップＳＸ２が、本発明の低周波数領域抽出部、及び低周波数領域抽出ステップの一例である。
【００９４】
（変形例）
本実施形態において、トリガ色ＣＬは予めＲＯＭ１３に記憶されていたが、これに限らず、図３（ａ）に示すＳＡ３の前に予め撮影者Ｐの手指を撮像し、撮像された撮影者Ｐの手指の画像の色相を検出することで、トリガ色ＣＬを設定してもよい。この場合、トリガ色ＣＬとして検出された撮影者Ｐの手指の色相は、一度ＲＡＭ１４に記憶され、ＳＡ３にて、トリガ色ＣＬがＣＣＤ５により撮像された外景中にあるか否かが判断される際に、読み出される。
【００９５】
本実施形態において、ＨＭＤ１は、網膜走査型ディスプレイであったが、これに限らず、ＨＭＤ１は、ＬＣＤ表示パネル等を用いたヘッドマウントディスプレイ装置であってもよい。
【００９６】
本実施形態は観察者Ｐの左眼に対し、コンテンツ画像の表示を行う片眼モデルであったが、両眼モデルであってもよい。
【００９７】
本実施形態において、調整用画像ＡＤは、表示範囲の左上端に表示されるものであったが、これに限らず、左下端であっても、右上下端であっても、表示範囲の中央部近辺であってもよい。
【００９８】
本実施形態において、所定の形状ＳＨは、一対の対向するＬ字型の形状であったが、これに限らず、例えば、円や四角であってもよい。円や四角の場合、撮影者Ｐは、左手の各指と右手の各指とを互いに突き合わせて、所定の形状ＳＨを形成すればよい。
【００９９】
本実施形態において、撮像枠ＦＲ内の画像を「切り出せ」という指令の意味をもつものは、所定のジェスチャＪＳであったが、これに限らず、例えば、「切り出せ」という撮影者Ｐの声であってもよい。この場合、ＨＭＤ１に音声認識部を設け、ＣＰＵ１２が撮影者Ｐの「切り出せ」という声を認識するよう構成すればよい。
【０１００】
本実施形態において、カメラのズーム機能については言及していなかったが、ＣＣＤ５のレンズ部にズーム機能を持たせてもよい。本実施形態において、撮像枠ＦＲ内には画像ボケした部分が含まれている可能性があるが、撮像枠ＦＲが決定された後、ズーム機能により、撮像枠ＦＲ内の画像ボケ部分が、撮像枠ＦＲの外に出るまでズームさせてもよい。また、ＣＣＤ５の撮像された外景画像にトリガ色ＣＬを有するボケ領域がない場合には、レンズ部を広角にし、撮影者Ｐの手指やボケ領域がＣＣＤ５の撮像範囲に入るよう、制御してもよい。
【符号の説明】
【０１０１】
１ ＨＭＤ
２ フレーム部
３ 画像表示部
４ ハーフミラー
５ ＣＣＤ
７ システムボックス
１０ 統括制御部
１２ ＣＰＵ
１３ ＲＯＭ
１４ ＲＡＭ
１５ ＶＲＡＭ
２１ 信号処理回路
Ｐ 撮影者
Ｅａ 瞳孔
ＡＤ 調整用画像
ＭＫ マーカー画像
ＳＴ 撮像状態画像
ＳＲ 撮像範囲
ＨＦ 撮影者の手指
ＦＲ 撮像枠
ＳＨ 所定の形状
【技術分野】
【０００１】
本発明は、撮影者の頭部及びその近辺に装着され、撮影者が画像情報に基づいた画像光による情報画像と外光による外景画像とを同時に視認しながら、外景画像を撮像できるヘッドマウントディスプレイ装置（以後、「ＨＭＤ」と記す。）に関する。
【背景技術】
【０００２】
従来より、撮影者の頭部及びその近辺に装着され、撮像範囲内に映る撮影者の手指の位置や形に基づいて、外景画像の撮像や撮像した画像の画像処理を行うＨＭＤが特許文献１に提案されている。
【０００３】
このようなＨＭＤを使用することで、撮影者はカメラに触れることなく、また、リモコン等の操作部材を使用することなく撮像を行うことが可能となる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−１７５０１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、撮影者が特許文献１に開示されているＨＭＤを使用する場合、撮像範囲を決定するために、少なくとも一度、手指に焦点を合わせる操作が必要となる。そのため、外景に焦点を合わせる操作と手指に焦点を合わせる操作との２つの焦点合わせ操作が必要となり、焦点合わせに時間がかかる。
【０００６】
本発明は、上述した問題点を解決するためになされたものであり、撮影者が撮像部を操作することなく、撮像を行うことができ、尚且つ、焦点合わせの操作に時間のかからないＨＭＤを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、請求項１記載の本発明は、外光による外景画像を撮像する撮像部を備え、撮影者の頭部及びその近辺に装着され、画像情報に基づいた画像光による情報画像が前記外景画像とともに前記撮影者により視認されるように構成されたヘッドマウントディスプレイ装置であって、前記外景画像のうち、あらかじめ設定された所定の空間周波数以上の空間周波数成分を持たない空間周波数特性の領域を抽出する低周波数領域抽出部と、前記撮像部により撮像された前記外景画像から、あらかじめ設定された所定の色相を認識する色相認識部と、前記低周波数領域抽出部により抽出された領域であって、前記色相認識部により認識された前記所定の色相で、あらかじめ設定された所定の形状である部分の画像から、画像の切り出し範囲を示す撮像枠を決定する撮像枠決定部と、前記撮像部により撮像された前記外景画像から、前記撮像枠決定部により決定された前記撮像枠内の画像を抽出し、記憶する画像抽出部と、を備えることを特徴とするものである。
【０００８】
請求項２記載の本発明は、請求項１に記載の発明において、前記低周波数領域抽出部は、前記外景画像のうち、明るさの変化勾配の大きさがあらかじめ設定された所定値以下の領域を抽出することを特徴とするものである。
【０００９】
請求項３記載の本発明は、請求項１または２に記載の発明において、前記撮像部の合焦位置を示すマーカー画像を生成するマーカー生成部を備え、前記マーカー画像が前記情報画像及び前記外景画像とともに前記撮影者により視認されるように構成されたことを特徴とするものである。
【００１０】
請求項４記載の本発明は、請求項１〜３のいずれかに記載の発明において、前記撮像枠決定部により決定された前記撮像枠の画像を生成する撮像枠画像生成部を備え、前記撮像枠の画像が前記情報画像及び前記外景画像とともに前記撮影者により視認されるように構成されたことを特徴とするものである。
【００１１】
請求項５記載の本発明は、請求項１〜４のいずれかに記載の発明において、前記画像抽出部により抽出され、記憶された画像を読み出して生成する抽出画像生成部を備え、前記抽出画像生成部により生成された前記撮像枠内の画像が前記外景画像とともに前記撮影者により視認されるように構成されたことを特徴とするものである。
【００１２】
請求項６記載の本発明は、請求項１〜５のいずれかに記載の発明において、前記低周波数領域抽出部、前記色相認識部、前記撮像枠決定部、及び前記画像抽出部のうち、いずれの部位が動作しているかを検知する動作状態検知部と、前記動作状態検知部により検知された結果に応じて、動作状態を示す動作情報を生成する動作情報生成部と、を備え、前記動作情報生成部により生成された前記動作情報を前記撮影者に通知するための画像が、前記外景画像とともに前記撮影者により視認されるように構成されたことを特徴とするものである。
【００１３】
上記目的を達成するために、請求項７記載の本発明は、撮影者の頭部及びその近辺に装着され、画像情報に基づいた画像光による情報画像が外光による外景画像とともに前記撮影者により視認されるように構成されたヘッドマウントディスプレイ装置に使用される画像制御方法であって、前記外景画像を撮像する撮像ステップと、前記外景画像のうち、あらかじめ設定された所定の空間周波数以上の空間周波数成分を持たない空間周波数特性の領域を抽出する低周波数領域抽出ステップと、前記撮像ステップにより撮像された前記外景画像から、あらかじめ設定された所定の色相を認識する色相認識ステップと、前記低周波数領域抽出ステップにより抽出された領域であって、前記色相認識ステップにより認識された前記所定の色相で、あらかじめ設定された所定の形状である部分の画像から、画像の切り出し範囲を示す撮像枠を決定する撮像枠決定ステップと、前記撮像ステップにより撮像された前記外景画像から、前記撮像枠決定ステップにより決定された前記撮像枠内の画像を抽出し、記憶する画像抽出ステップと、を備えることを特徴とするものである。
【００１４】
上記目的を達成するために、請求項８記載の本発明は、撮影者の頭部及びその近辺に装着され、画像情報に基づいた画像光による情報画像が外光による外景画像とともに前記撮影者により視認されるように構成されたヘッドマウントディスプレイ装置に使用される画像制御プログラムであって、前記外景画像を撮像する撮像ステップと、前記外景画像のうち、あらかじめ設定された所定の空間周波数以上の空間周波数成分を持たない空間周波数特性の領域を抽出する低周波数領域抽出ステップと、前記撮像ステップにより撮像された前記外景画像から、あらかじめ設定された所定の色相を認識する色相認識ステップと、前記低周波数領域抽出ステップにより抽出された領域であって、前記色相認識ステップにより認識された前記所定の色相で、あらかじめ設定された所定の形状である部分の画像から、画像の切り出し範囲を示す撮像枠を決定する撮像枠決定ステップと、前記撮像ステップにより撮像された前記外景画像から、前記撮像枠決定ステップにより決定された前記撮像枠内の画像を抽出し、記憶する画像抽出ステップと、をコンピュータにより実現することを特徴とするものである。
【発明の効果】
【００１５】
請求項１記載のヘッドマウントディスプレイ装置によれば、撮影者はあらかじめ手指の色相と形状とをＨＭＤに設定しておくことで、撮影者が撮像部の撮像範囲に手指をかざし、手指を、高い空間周波数成分を持たない空間周波数特性の領域、即ち、画像ボケしている領域に入れることで、外景画像の一部を切り出し、撮像することが可能となる。
【００１６】
即ち、手指に焦点位置を合わせる操作は不必要となり、撮影者は焦点合わせの操作に時間をかけずに撮像することが可能となる。
【００１７】
請求項２記載のヘッドマウントディスプレイ装置によれば、撮影者はあらかじめ明るさの変化勾配の所定値をＨＭＤ装置に設定しておくことで、撮影者が撮像部の撮像範囲に手指をかざし、明るさの変化勾配が所定値以下の領域、即ち、画像ボケしている領域に手指を入れることで、外景画像の一部を切り出し、撮像することが可能となる。
【００１８】
即ち、手指に焦点位置を合わせる操作は不必要となり、撮影者は焦点合わせの操作に時間をかけずに撮像することが可能となる。
【００１９】
請求項３記載のヘッドマウントディスプレイ装置によれば、撮影者は撮像部の合焦位置を示す、マーカー画像を視認することが可能となる。従って、撮影者は常に合焦位置を把握することができ、合焦位置からずらして手指をかざすことで容易に外景画像の一部を切り出し、撮像することが可能となる。
【００２０】
請求項４記載のヘッドマウントディスプレイ装置によれば、撮影者は画像の切り出し範囲を示す撮像枠を視認することができ、外景画像のどの部分を切り出すのかを正確に把握することができる。
【００２１】
請求項５記載のヘッドマウントディスプレイ装置によれば、撮影者は外景とともに撮像した画像を視認することができる。従って、外景画像のうちのどの部分が撮像されたかを逐次正確に把握することができ、撮影者が切り出しに失敗し、もう一度手指で撮像枠を作りなおす際などに参考にできる。
【００２２】
請求項６記載のヘッドマウントディスプレイ装置によれば、撮影者は低周波数領域抽出部、色相認識部、撮像枠決定部、及び画像抽出部のうち、いずれの部位が起動しているかに関連した情報を知ることが可能となる。
【００２３】
従って、撮影者は撮像の過程のうち、どの段階に入っているのかを把握することができる。よって、撮影者が、画像の切り出し操作がなかなか行われない問題に直面した際に、撮像のどの過程でＨＭＤの動作が止まってしまっているのかを把握でき、迅速な問題の解消が容易となる。
【００２４】
請求項７記載の画像制御方法および請求項８記載の画像制御プログラムによれば、撮影者はあらかじめ手指の色相と形状とをＨＭＤに設定しておくことで、撮影者がＨＭＤの撮像範囲に手指をかざし、高い空間周波数成分を持たない空間周波数特性の領域、即ち、画像ボケしている領域に手指を入れることで、外景画像の一部を切り出し、撮像することが可能となる。
【００２５】
この結果、手指に焦点位置を合わせる操作は不必要となり、撮影者は焦点合わせの動作に時間をかけずに撮像することが可能となる。
【図面の簡単な説明】
【００２６】
【図１】本発明の第１の実施形態に係るＨＭＤ装置の外観を示す図である。
【図２】ＨＭＤの電気的及び光学的構成を示す説明図である。
【図３（ａ）】メイン処理を示すフローチャートである。
【図３（ｂ）】ボケ領域を検出する処理を示すフローチャートである。
【図４（ａ）】ＣＣＤ５により撮像され、且つ、撮影者Ｐにより視認されている外景を示す図である。
【図４（ｂ）】ＨＭＤ１の表示範囲に各種コンテンツ画像が表示されている状態を示す図である。
【図４（ｃ）】撮像枠決定操作を説明するための説明図である。
【図４（ｄ）】撮像枠ＦＲ内の画像を切り出す操作を説明するための説明図である。
【図５】ボケ領域の抽出を説明するための説明図である。
【図６】所定の形状ＳＨを示す図である。
【図７】撮像枠の形成のされ方を説明するための説明図である。
【図８】図３（ａ）に示したＳＡ３〜ＳＡ５の処理に相当する第２実施形態の処理を示すフローチャートである。
【発明を実施するための形態】
【００２７】
（第１の実施形態）
以下、本発明の一実施形態について、図面を参照して具体的に説明する。本実施形態は本発明を網膜走査型ディスプレイに具体化したものである。
【００２８】
網膜走査型ディスプレイとは、ヘッドマウントディスプレイ装置（以後、「ＨＭＤ」と記す。）の一形態であり、装着者の頭部およびその近辺に装着され、画像光を装着者の眼に導き、装着者の網膜上で２次元方向に走査することにより、コンテンツ情報に対応する画像（以後、「コンテンツ画像」と記す。）が装着者により視認されるように構成されたものである。
【００２９】
なお、「視認」とは画像光が装着者の網膜上で２次元方向に走査され、装着者が画像を認識する態様と、画像が表示パネルに表示され、装着者が表示パネルの画像から発生する画像光による画像を認識する態様の２つの態様を含む意味である。
【００３０】
以後、「表示」という用語を用いた場合、装着者に対して画像光による画像を認識可能に動作することを意味するものとする。その点で上述のいずれの態様も画像光による画像を表示しているものと言える。
【００３１】
本実施形態の網膜走査型ディスプレイは外景の撮像を行うことのできる撮像部を備えている。従って、以後、装着者を「撮影者」と呼ぶ。
【００３２】
[ＨＭＤ外観]
図１は、本実施形態のヘッドマウントディスプレイ装置の外観を示す図である。図１に示すように、ヘッドマウントディスプレイ装置（以後、「ＨＭＤ」と記す。）１は、フレーム部２と、画像表示部３と、ハーフミラー４と、ＣＣＤ５と、システムボックス７と、を備えている。
【００３３】
ＨＭＤ１は、撮影者Ｐがフレーム部２を頭部に装着した状態で、文書ファイル、画像ファイル、動画ファイル等の各種コンテンツ情報を画像としてその撮影者Ｐに視認可能に表示する網膜走査型ディスプレイである。なお、本実施形態において、コンテンツ画像は、合焦位置を表すマーカーや撮像枠といった、撮像の際に用いられる画像も含むものである。
【００３４】
フレーム部２は、図１に示す通り、眼鏡のフレーム形状をしており、フロント部２ａと、一対のテンプル部２ｂとからなる。
【００３５】
画像表示部３は、図１に示す通り、撮影者Ｐから見て左側のテンプル部２ｂに取り付けられている。画像表示部３は、画像光を２次元的に走査することで、コンテンツ画像を表示するための画像光を生成する。
【００３６】
ハーフミラー４は、図１に示す通り、フロント部２ａに設けられている。ハーフミラー４は、画像表示部３から発せられた画像光を反射し、撮影者Ｐの眼ＥＹの網膜に導く。また、ハーフミラー４は半透明であり、外光ＥＬを透過するため、撮影者Ｐは、ＨＭＤ１の装着時に、コンテンツ画像と同時に外景を視認できる。
【００３７】
なお、画像表示部３は、後述のＲＯＭに記憶されたデータを基に、あらかじめ設定されたハーフミラー４の所定位置で、画像光を反射し、網膜に導く。ハーフミラー４の反射範囲及び設置位置により、撮影者Ｐがコンテンツ画像を視認する範囲と位置と方向とがあらかじめ決定される。
【００３８】
ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅｓ）５は、画像表示部３上に取り付けられている。本実施形態におけるＣＣＤ５は、本発明の撮像部の一例である。
【００３９】
ＣＣＤ５の光軸は、画像光がハーフミラーにて反射され、撮影者Ｐの網膜に導かれたとき、その画像光の網膜への入射方向と略一致するように設定されている。このように、ＣＣＤ５の光軸が設定されることで、ＣＣＤ５は、撮影者Ｐがコンテンツ画像を視認する範囲と略一致する範囲において、外景画像を撮像することが可能となる。
【００４０】
システムボックス７は、画像表示部３と伝送ケーブル８を介して接続されている。システムボックス７は、ＨＭＤ１の全体の動作を統括制御し、コンテンツ画像を形成するための画像光を生成する。伝送ケーブル８は、光ファイバや各種信号を伝送するためのケーブルを備える。
【００４１】
［ＨＭＤ電気的構成］
本実施形態に係るＨＭＤ１の電気的構成について、図２を参照して説明する。図２は、本実施形態に係るＨＭＤ１の電気的及び光学的構成を示す説明図である。
【００４２】
図２に示すように、ＨＭＤ１は、ＨＭＤ１全体の動作を統括制御する統括制御部１０と、コンテンツ画像の画像光を生成する光生成部２０と、コンテンツ画像が撮影者Ｐにより視認されるように画像光を走査する光走査部５０と、を備えている。統括制御部１０と、光生成部２０とは、システムボックス７に内蔵され、光走査部５０は、画像表示部３に内蔵されている。
【００４３】
統括制御部１０は、画像データを光生成部２０へ供給する。ここで、画像データとは、撮影者Ｐが視認することとなるコンテンツ画像を表すデータである。光生成部２０は、統括制御部１０から供給される画像データに基づいて画像光を生成し、光走査部５０に供給する。光走査部５０は、光生成部２０により生成された画像光を２次元的に走査することで、コンテンツ画像を表示し、撮影者Ｐに視認させる。
【００４４】
統括制御部１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１２と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１３と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１４と、ＶＲＡＭ（Ｖｉｄｅｏ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１５と、バス１６と、を備えている。
【００４５】
ＣＰＵ１２は、ＲＯＭ１３に記憶されている各種情報処理プログラムを実行することにより、ＨＭＤ１が備える各種機能を実行する演算処理装置である。ＲＯＭ１３は、不揮発性メモリであるフラッシュメモリにより構成されている。ＲＯＭ１３は、ＨＭＤ１により表示するコンテンツの再生、停止、早送り、巻き戻し等の制御を行う際に光生成部２０、光走査部５０等を動作させるための情報処理プログラム等、ＣＰＵ１２により実行される各種情報処理プログラムを記憶している。ＲＯＭ１３は、マーカーや撮像枠等の画像データや、統括制御部１０が各種表示制御を行う際に参照する複数種類のテーブル等も記憶している。ＲＡＭ１４は画像データ等の各種データを一時的に記憶する領域である。ＶＲＡＭ１５は、画像を表示する際に、表示される画像が表示前に一時的に描画される領域である。ＣＰＵ１２、ＲＯＭ１３、ＲＡＭ１４、及びＶＲＡＭ１５は、データ通信用のバス１６にそれぞれ接続されており、バス１６を介して各種情報の送受信を行う。
【００４６】
統括制御部１０は、ＨＭＤ１の電源スイッチＳＷ、及びＣＣＤ５と接続されている。
【００４７】
光生成部２０は、信号処理回路２１と、光源部３０と、光合成部４０と、を備えている。
【００４８】
画像データが、統括制御部１０から、信号処理回路２１に供給される。信号処理回路２１は、供給された画像データに基づいて、画像を合成するための要素となる青、緑、赤の各画像信号２２ａ〜２２ｃを生成し、光源部３０に供給する。信号処理回路２１は、水平走査部７０を駆動するための水平駆動信号２３を水平走査部７０に供給し、垂直走査部８０を駆動するための垂直駆動信号２４を垂直走査部８０に供給する。
【００４９】
光源部３０は、信号処理回路２１から供給される３つの画像信号２２ａ〜２２ｃをそれぞれ画像光にする画像光出力部として機能する。光源部３０は、青色の画像光を発生するＢレーザ３４及びＢレーザ３４を駆動するＢレーザドライバ３１と、緑色の画像光を発生するＧレーザ３５及びＧレーザ３５を駆動するＧレーザドライバ３２と、赤色の画像光を発生するＲレーザ３６及びＲレーザ３６を駆動するＲレーザドライバ３３とを備えている。
【００５０】
光合成部４０は、光源部３０から出力された３つの画像光を供給され、３つの画像光を１つの画像光に合成して任意の画像光を生成する。光合成部４０は、光源部３０から入射する画像光を平行光にコリメートする。光合成部４０は、コリメート光学系４１、４２、４３と、このコリメートされた画像光を合成するためのダイクロイックミラー４４、４５、４６と、合成された画像光を伝送ケーブル８に導く結合光学系４７とを備えている。各レーザ３４、３５、３６から出射したレーザ光は、コリメート光学系４１、４２、４３によってそれぞれ平行光化された後に、ダイクロイックミラー４４、４５、４６に入射される。その後、これらのダイクロイックミラー４４、４５、４６により、各画像光が波長に関して選択的に反射または透過される。
【００５１】
光走査部５０は、コリメート光学系６０と、水平走査部７０と、垂直走査部８０と、リレー光学系７５、９０と、を備えている。
【００５２】
コリメート光学系６０は、伝送ケーブル８を介して出射される画像光を平行光化し、水平走査部７０に導く。水平走査部７０は、コリメート光学系６０で平行光化された画像光を画像表示のために水平方向に往復走査する。垂直走査部８０は、水平走査部７０で水平方向に走査された画像光を垂直方向に往復走査する。リレー光学系７５は、水平走査部７０と垂直走査部８０との間に設けられ、水平走査部７０により走査された画像光を、垂直走査部８０に導く。リレー光学系９０は、水平方向と垂直方向とに走査（２次元的に走査）された画像光を瞳孔Ｅａへ出射する。
【００５３】
水平走査部７０は、共振型偏向素子７１と、水平走査制御回路７２と、水平走査角検出回路７３と、を備えている。
【００５４】
共振型偏向素子７１は、画像光を水平方向に走査するための反射面を有する。水平走査制御回路７２は、信号処理回路２１から供給される水平駆動信号２３に基づいて、共振型偏向素子７１を共振させる。水平走査角検出回路７３は、共振型偏向素子７１から供給される変位信号に基づいて、共振型偏向素子７１の反射面の揺動範囲及び揺動周波数等の揺動状態を検出する。水平走査角検出回路７３は、検出した共振型偏向素子７１の揺動状態を示す信号を統括制御部１０へ供給する。
【００５５】
リレー光学系７５は、水平走査部７０と垂直走査部８０との間で画像光を中継する。共振型偏向素子７１によって水平方向に走査された光は、リレー光学系７５によって垂直走査部８０内の偏向素子８１の反射面に収束される。
【００５６】
垂直走査部８０は、偏向素子８１と、垂直走査制御回路８２と、を備えている。
【００５７】
偏向素子８１は、リレー光学系７５により導かれた画像光を垂直方向に走査する。垂直走査制御回路８２は、信号処理回路２１から供給される垂直駆動信号２４に基づいて、偏向素子８１を揺動させる。
【００５８】
共振型偏向素子７１により水平方向に走査され、偏向素子８１によって垂直方向に走査された画像光は、２次元的に走査された走査画像光としてリレー光学系９０へ出射される。
【００５９】
共振型偏向素子７１と偏向素子８１とにより走査される画像光は、あるタイミングに、ある走査角度で走査される。即ち、あるタイミングにおいて、画像光は一本である。従って、以後便宜上、「走査画像光は走査された複数の画像光より成る」といった内容の表現を用いるが、実際には、走査画像光は、あるタイミングにおいて一本の画像光より成るものである。
【００６０】
リレー光学系９０は、正の屈折力を持つレンズ系９１、９２を備えている。レンズ系９１は、共振型偏向素子７１と偏向素子８１とにより走査された各々の画像光を、各々の中心線が相互に略平行になるよう変換し、尚且つ、各々の画像光を、レンズ系９１とレンズ系９２との中間位置に一度収束させる。中間位置に一度収束された各々の画像光は、再び拡散し、レンズ系９２に供給される。
【００６１】
レンズ系９２は、レンズ系９１から供給された各々の画像光を、平行光化する。そして、レンズ系９２は、各々の画像光を、各々の中心線が撮影者の瞳孔Ｅａに収束するように、変換する。
【００６２】
レンズ系９２から供給された画像光は、ハーフミラー４で一度反射された後、撮影者の瞳孔Ｅａに収束される。このようにして、撮影者Ｐはコンテンツ画像を視認することができる。
【００６３】
統括制御部１０は、共振型偏向素子７１の揺動状態に基づいた信号を、水平走査角検出回路７３から受け取る。そして、統括制御部１０は、受け取った信号に基づいて、信号処理回路２１の動作を制御する。信号処理回路２１は、水平走査制御回路７２へ水平駆動信号２３を供給し、垂直走査制御回路８２へ垂直駆動信号２４を供給する。水平走査制御回路７２は、供給された水平駆動信号２３に基づき、共振型偏向素子７１の動きを制御する。垂直走査制御回路８２は供給された垂直駆動信号２４に基づき、偏向素子８１の動きを制御する。以上の一連の流れにより、水平走査と垂直走査との同期が成される。
【００６４】
[ＨＭＤ動作制御]
次に、図３（ａ）〜図３（ｂ）、及び図４（ａ）〜図４（ｄ）を参照して、ＨＭＤ１の動作制御について説明する。
【００６５】
図３（ａ）は、ＨＭＤ１の動作制御を示すフローチャートである。一連の動作制御はＣＰＵ１２により実行される。なお、ＣＣＤ５は図４（ａ）に示す外景を撮像しており、同時に、図４（ａ）に示す外景は、撮影者Ｐにより視認されている。
【００６６】
図３（ａ）に示す処理では、先ず、ＣＣＤ５による外景画像の撮像が開始される（ＳＡ１）。本実施形態におけるＣＣＤ５、及びステップＳＡ１が、本発明の撮像部、及び撮像ステップの一例である。
【００６７】
外景画像の撮像が開始されると、外景画像がＣＣＤ５から統括制御部１０に供給され、コンテンツ画像の表示が行われる（ＳＡ２）。ＳＡ２にて表示されるコンテンツ画像は、マーカー画像ＭＫと、調整用画像ＡＤと、撮像状態画像ＳＴとである。
【００６８】
マーカー画像ＭＫとは、撮影者にＣＣＤ５の合焦位置がどこにあるかを知らせるための画像である。マーカー画像ＭＫはＲＯＭ１３に予め記憶されており、ＣＰＵ１２により読み出され、表示される。本実施形態におけるＣＰＵ１２、ＲＯＭ１３、及びステップＳＡ２が、本発明のマーカー生成部の一例である。
【００６９】
調整用画像ＡＤとは、後述の撮像枠内の画像が縮小され、図４（ｂ）に示すように、表示範囲の左上端に表示されるものである。調整用画像ＡＤは、撮影者Ｐが自分の意思通りに画像の切り出しが行われたかを確認し、撮像枠の微調整などを行うためのものである。初期状態、即ち、画像の切り出しがまだ行われていない状態では、図４（ｂ）に示すように、ＣＣＤ５により撮像されている画像が調整用画像ＡＤとして、表示される。
【００７０】
撮像状態画像ＳＴとは、後述の撮像過程のうち、ＨＭＤ１がどの撮像過程に入ったかを撮影者Ｐに示すための画像である。撮像状態画像ＳＴは、図４（ｂ）に示す通り、５つの円印で形成されており、後述の何れかの撮像過程に入った際に、対応する円印が赤く点灯する。初期状態では、どの撮像過程にも入っていないため、図４（ｂ）に示す通り、どの円印も点灯しない。
【００７１】
コンテンツ画像の表示が行われると、ＲＯＭ１３に予め記憶されているトリガ色ＣＬがＣＣＤ５により撮像された外景画像中にあるか否かが判断される（ＳＡ３）。トリガ色ＣＬとは、撮影者Ｐの手指の色相として予めＲＯＭ１３に記憶されている色相を指す。トリガ色ＣＬは、画像の切り出しが行われるための条件の一つである。本実施形態におけるＣＰＵ１２、及びステップＳＡ３が、本発明の色相認識部、及び色相認識ステップの一例である。
【００７２】
トリガ色ＣＬが外景中にあると判断されると（ＳＡ３：Ｙｅｓ）、ＣＣＤ５により撮像された外景から、トリガ色ＣＬを有する領域が抽出される（ＳＡ４）。
【００７３】
トリガ色ＣＬを有する領域の抽出が行われると、図３（ｂ）に示すフローチャートに従って、ボケ領域の抽出が行われる（ＳＡ５）。ボケ領域とは、図４（ｃ）に示す撮像範囲ＳＲのうち、合焦位置から離れた位置にあるために、ＣＣＤ５により、画像ボケした状態で撮像された領域を指す。ＳＡ５では、最終的に、ボケ領域のうち、ＳＡ４にて認識されたトリガ色ＣＬを有する領域の境界が抽出される。即ち、図５に示すように、画像ボケした撮影者Ｐの手指ＨＦの画像が抽出される。
【００７４】
ボケ領域の抽出が行われると、ボケ領域のうち、ＳＡ４にて認識されたトリガ色ＣＬを有する領域の境界のいずれかの部分が、予めＲＯＭ１３に記憶されている所定の形状ＳＨと略一致するか否かが判断される（ＳＡ６）。所定の形状ＳＨとは、図６に示すような撮影者Ｐの両手の親指と人指し指により形成される、一対の対向するＬ字型の形状である。ＳＡ４にて認識されたトリガ色ＣＬを有する領域の境界のいずれの部分も、所定の形状ＳＨと略一致しないと判断されると（ＳＡ６：Ｎｏ）、ＳＡ３に戻り、トリガ色ＣＬが外景中にあるか否かの判断がなされる。
【００７５】
ボケ領域のうち、ＳＡ４にて認識されたトリガ色ＣＬを有する領域の境界のいずれかの部分が、所定の形状ＳＨと略一致すると判断されると（ＳＡ６：Ｙｅｓ）、ＳＡ６にて、所定の形状ＳＨと略一致する部分と判断された部分から、画像の切り出しが行われる範囲を示す撮像枠ＦＲが決定される（ＳＡ７）。具体的には、図７に示すように、所定の形状ＳＨの二つの角ＣＮと、所定の形状ＳＨの辺を延長した際に出来る二つの交点ＥＴとから構成される長方形の枠が撮像枠ＦＲとして決定される。本実施形態におけるＣＰＵ１２、及びステップＳＡ７が、本発明の撮像枠決定部、及び撮像枠決定ステップの一例である。
【００７６】
撮像枠ＦＲが決定されると、図４（ｃ）に示すように、撮像枠ＦＲが表示される（ＳＡ８）。本実施形態におけるＣＰＵ１２、及びステップＳＡ８が、本発明における撮像枠画像生成部の一例である。
【００７７】
撮像枠ＦＲが表示されると、撮像枠ＦＲ内の画像が抽出され、ＲＡＭ１４に一時的に記憶される（ＳＡ９）。ＲＡＭ１４に一時的に記憶されると、次に、記憶された画像が読み出され、一度ＶＲＡＭ１５に描画され、その後、図４（ｃ）に示す通り、調整用画像ＡＤとして表示される（ＳＡ１０）。本実施形態におけるＣＰＵ１２、及びステップＳＡ１０が、本発明における抽出画像生成部の一例である。
【００７８】
調整用画像ＡＤが表示されると、予めＲＯＭ１３に記憶されている所定のジェスチャＪＳがあるか否かが判断される（ＳＡ１１）。所定のジェスチャＪＳは、ＣＣＤ５の撮像範囲ＳＲ内で、図４（ｄ）に示すような、Ｌ字型の形状を形成するために離していた親指と人差し指とを付けるジェスチャであり、撮像枠ＦＲ内の画像を「切り出せ」という指令の意味をもつものである。ＳＡ１１は、ＳＡ３〜ＳＡ６の手順と同様の手順により、行われる。所定のジェスチャＪＳがないと判断されると（ＳＡ１１：Ｎｏ）、ＳＡ３に戻る。
【００７９】
所定のジェスチャＪＳがあると判断されると（ＳＡ１１：Ｙｅｓ）、撮像枠ＦＲ内の画像が切り出される（ＳＡ１２）。具体的には、撮像枠ＦＲ内の画像が抽出され、ＲＡＭ１４に記憶される。本実施形態におけるＣＰＵ１２、及びステップＳＡ９、ＳＡ１２が、本発明における画像抽出部、及び画像抽出ステップの一例である。
【００８０】
画像の切り出しが行われると、電源スイッチＳＷから電源ＯＦＦの指令が供給されたか否かが判断される（ＳＡ１３）。電源ＯＦＦの指令が供給されていないと判断されると（ＳＡ１３：Ｎｏ）、処理はＳＡ３に戻る。電源ＯＦＦの指令が供給されたと判断されると（ＳＡ１３：Ｙｅｓ）、処理が終了する。また、ＳＡ３において、トリガ色ＣＬが外景中にないと判断されると（ＳＡ３：Ｎｏ）、ＳＡ１３に進み、電源スイッチＳＷから電源ＯＦＦの指令が供給されたか否かが判断される。このように本発明は簡単に撮像枠ＦＲが決定され、撮像枠ＦＲ内の画像を切り出すことができる。従って、撮影者Ｐは、注目すべき部分の画像のみを容易に撮像し、ＨＭＤ１に記憶させることができ、撮影者Ｐが撮像後に、トリミング等の処理をする手間が省ける。また、注目すべき部分の画像のみが記憶されることから、外景のうち余分な部分が撮像されることがないため、撮影者Ｐは、ＨＭＤ１の記憶容量を節約することができる。
【００８１】
なお、ＳＡ３、ＳＡ５、ＳＡ６、ＳＡ７、ＳＡ１２のいずれかのステップに入る度に、各ステップに対応した撮像過程に処理が入ったということが検知され、前述の撮像状態画像ＳＴの各撮像過程に対応した円印が赤く点灯される。本実施形態におけるＣＰＵ１２が、本発明における動作状態検知部、及び、動作情報生成部の一例である。
【００８２】
図３（ｂ）は、ボケ領域を抽出する処理の概要を示すフローチャートである。
【００８３】
図３（ｂ）に示す処理では、先ず、ＣＣＤ５により撮像された外景画像が、複数の区分に分割される（ＳＢ１）。分割された区分のうち、ＳＡ４により抽出されたトリガ色ＣＬを有する領域と、背景領域、即ち、外景画像のうちトリガ色ＣＬでない領域と、トリガ色ＣＬを有する領域の境界と、を含む区分の周波数解析が行われる（ＳＢ２）。
【００８４】
周波数解析が行われると、ＳＢ２にて周波数解析が行われた複数の区分のうち、あらかじめＲＯＭ１３に記憶されている所定の空間周波数ＦＱ以下の空間周波数成分が含まれている区分が集められ、抽出される（ＳＢ３）。ここで、空間周波数ＦＱとは、画像の単位長さあたりにおける濃淡変化の繰り返し回数を表したものである。ＳＢ３により、最終的に、ボケ領域のうち、ＳＡ４にて認識されたトリガ色ＣＬを有する領域の境界が抽出されることとなる。本実施形態におけるＣＰＵ１２、及びステップＳＡ５、ＳＢ１、ＳＢ２、ＳＢ３が、本発明の低周波数領域抽出部、及び低周波数領域抽出ステップの一例である。このステップには特開平９−１５５０６号公報に開示されている、フーリエ変換等を適用した公知の周波数解析技術が用いられる。
【００８５】
ＳＢ３が行われると、ボケ領域を抽出する処理が終了し、次の処理が、図３（ａ）に示すメイン処理のＳＡ６に戻る。
【００８６】
（第２の実施形態）
発明の第２の実施形態について図面を参照して説明する。第１の実施形態において、トリガ色ＣＬの認識と、ボケ領域の抽出とは、図３（ａ）に示すＳＡ３〜ＳＡ５の手順で行われていたが、これに限らず、図８に示すように行われてもよい。なお、第２の実施形態において、第１の実施形態と同一の構成は、同一の番号を付して説明する。
【００８７】
図８は、第１の実施形態におけるＳＡ３〜ＳＡ５の処理に相当する第２の実施形態の処理を示すフローチャートである。
【００８８】
図８に示す処理では、先ず、Ｓｏｂｅｌオペレータなどにより、ＣＣＤ５により撮像された外景画像の明るさ変化勾配検出が行われる（ＳＸ１）。
【００８９】
明るさ変化勾配検出が行われると、画像の明るさの変化勾配が予めＲＯＭ１３に記憶された所定値ＧＲ以下の領域が抽出される（ＳＸ２）。ＳＸ２により、画像ボケしている領域が抽出される。
【００９０】
ＳＸ２が行われると、ＳＸ２にて抽出された領域の各部分の色相が認識される（ＳＸ３）。本実施形態におけるＣＰＵ１２、及びステップＳＸ３が、本発明における色相認識部、及び色相認識ステップの一例である。
【００９１】
ＳＸ３が行われると、ＳＸ２にて抽出された領域のうち、予めＲＯＭ１３に記憶されているトリガ色ＣＬを有する部分が抽出される（ＳＸ４）。
【００９２】
ＳＸ４が行われると、図８に示す処理が終了し、図３（ａ）に示すメイン処理のＳＡ６に戻る。
【００９３】
なお、本実施形態では撮像された画像の明るさの変化勾配から、画像のボケを認識している。明るさの変化勾配が所定値以下の領域は、高周波数成分を持たない空間周波数特性の領域に相当することから、この所定値以下の領域を抽出することは画像の空間周波数が低い部分を抽出することの一例である。従って、第２の実施形態におけるＣＰＵ１２、及びステップＳＸ２が、本発明の低周波数領域抽出部、及び低周波数領域抽出ステップの一例である。
【００９４】
（変形例）
本実施形態において、トリガ色ＣＬは予めＲＯＭ１３に記憶されていたが、これに限らず、図３（ａ）に示すＳＡ３の前に予め撮影者Ｐの手指を撮像し、撮像された撮影者Ｐの手指の画像の色相を検出することで、トリガ色ＣＬを設定してもよい。この場合、トリガ色ＣＬとして検出された撮影者Ｐの手指の色相は、一度ＲＡＭ１４に記憶され、ＳＡ３にて、トリガ色ＣＬがＣＣＤ５により撮像された外景中にあるか否かが判断される際に、読み出される。
【００９５】
本実施形態において、ＨＭＤ１は、網膜走査型ディスプレイであったが、これに限らず、ＨＭＤ１は、ＬＣＤ表示パネル等を用いたヘッドマウントディスプレイ装置であってもよい。
【００９６】
本実施形態は観察者Ｐの左眼に対し、コンテンツ画像の表示を行う片眼モデルであったが、両眼モデルであってもよい。
【００９７】
本実施形態において、調整用画像ＡＤは、表示範囲の左上端に表示されるものであったが、これに限らず、左下端であっても、右上下端であっても、表示範囲の中央部近辺であってもよい。
【００９８】
本実施形態において、所定の形状ＳＨは、一対の対向するＬ字型の形状であったが、これに限らず、例えば、円や四角であってもよい。円や四角の場合、撮影者Ｐは、左手の各指と右手の各指とを互いに突き合わせて、所定の形状ＳＨを形成すればよい。
【００９９】
本実施形態において、撮像枠ＦＲ内の画像を「切り出せ」という指令の意味をもつものは、所定のジェスチャＪＳであったが、これに限らず、例えば、「切り出せ」という撮影者Ｐの声であってもよい。この場合、ＨＭＤ１に音声認識部を設け、ＣＰＵ１２が撮影者Ｐの「切り出せ」という声を認識するよう構成すればよい。
【０１００】
本実施形態において、カメラのズーム機能については言及していなかったが、ＣＣＤ５のレンズ部にズーム機能を持たせてもよい。本実施形態において、撮像枠ＦＲ内には画像ボケした部分が含まれている可能性があるが、撮像枠ＦＲが決定された後、ズーム機能により、撮像枠ＦＲ内の画像ボケ部分が、撮像枠ＦＲの外に出るまでズームさせてもよい。また、ＣＣＤ５の撮像された外景画像にトリガ色ＣＬを有するボケ領域がない場合には、レンズ部を広角にし、撮影者Ｐの手指やボケ領域がＣＣＤ５の撮像範囲に入るよう、制御してもよい。
【符号の説明】
【０１０１】
１ ＨＭＤ
２ フレーム部
３ 画像表示部
４ ハーフミラー
５ ＣＣＤ
７ システムボックス
１０ 統括制御部
１２ ＣＰＵ
１３ ＲＯＭ
１４ ＲＡＭ
１５ ＶＲＡＭ
２１ 信号処理回路
Ｐ 撮影者
Ｅａ 瞳孔
ＡＤ 調整用画像
ＭＫ マーカー画像
ＳＴ 撮像状態画像
ＳＲ 撮像範囲
ＨＦ 撮影者の手指
ＦＲ 撮像枠
ＳＨ 所定の形状
【特許請求の範囲】
【請求項１】
外光による外景画像を撮像する撮像部を備え、撮影者の頭部及びその近辺に装着され、画像情報に基づいた画像光による情報画像が前記外景画像とともに前記撮影者により視認されるように構成されたヘッドマウントディスプレイ装置であって、
前記外景画像のうち、あらかじめ設定された所定の空間周波数以上の空間周波数成分を持たない空間周波数特性の領域を抽出する低周波数領域抽出部と、
前記撮像部により撮像された前記外景画像から、あらかじめ設定された所定の色相を認識する色相認識部と、
前記低周波数領域抽出部により抽出された領域であって、前記色相認識部により認識された前記所定の色相で、あらかじめ設定された所定の形状である部分の画像から、画像の切り出し範囲を示す撮像枠を決定する撮像枠決定部と、
前記撮像部により撮像された前記外景画像から、前記撮像枠決定部により決定された前記撮像枠内の画像を抽出し、記憶する画像抽出部と、を備えるヘッドマウントディスプレイ装置。
【請求項２】
前記低周波数領域抽出部は、前記外景画像のうち、明るさの変化勾配の大きさがあらかじめ設定された所定値以下の領域を抽出することを特徴とする請求項１に記載のヘッドマウントディスプレイ装置。
【請求項３】
前記撮像部の合焦位置を示すマーカー画像を生成するマーカー生成部を備え、
前記マーカー画像が前記情報画像及び前記外景画像とともに前記撮影者により視認されるように構成されたことを特徴とする請求項１または２に記載のヘッドマウントディスプレイ装置。
【請求項４】
前記撮像枠決定部により決定された前記撮像枠の画像を生成する撮像枠画像生成部を備え、
前記撮像枠の画像が前記情報画像及び前記外景画像とともに前記撮影者により視認されるように構成されたことを特徴とする請求項１〜３のいずれかに記載のヘッドマウントディスプレイ装置。
【請求項５】
前記画像抽出部により抽出され、記憶された画像を読み出して生成する抽出画像生成部を備え、
前記抽出画像生成部により生成された前記撮像枠内の画像が前記外景画像とともに前記撮影者により視認されるように構成されたことを特徴とする請求項１〜４のいずれかに記載のヘッドマウントディスプレイ装置。
【請求項６】
前記低周波数領域抽出部、前記色相認識部、前記撮像枠決定部、及び前記画像抽出部のうち、いずれの部位が動作しているかを検知する動作状態検知部と、
前記動作状態検知部により検知された結果に応じて、動作状態を示す動作情報を生成する動作情報生成部と、を備え、
前記動作情報生成部により生成された前記動作情報を前記撮影者に通知するための画像が、前記外景画像とともに前記撮影者により視認されるように構成されたことを特徴とする請求項１〜５のいずれかに記載のヘッドマウントディスプレイ装置。
【請求項７】
撮影者の頭部及びその近辺に装着され、画像情報に基づいた画像光による情報画像が外光による外景画像とともに前記撮影者により視認されるように構成されたヘッドマウントディスプレイ装置に使用される画像制御方法であって、
前記外景画像を撮像する撮像ステップと、
前記外景画像のうち、あらかじめ設定された所定の空間周波数以上の空間周波数成分を持たない空間周波数特性の領域を抽出する低周波数領域抽出ステップと、
前記撮像ステップにより撮像された前記外景画像から、あらかじめ設定された所定の色相を認識する色相認識ステップと、
前記低周波数領域抽出ステップにより抽出された領域であって、前記色相認識ステップにより認識された前記所定の色相で、あらかじめ設定された所定の形状である部分の画像から、画像の切り出し範囲を示す撮像枠を決定する撮像枠決定ステップと、
前記撮像ステップにより撮像された前記外景画像から、前記撮像枠決定ステップにより決定された前記撮像枠内の画像を抽出し、記憶する画像抽出ステップと、を備える画像制御方法。
【請求項８】
撮影者の頭部及びその近辺に装着され、画像情報に基づいた画像光による情報画像が外光による外景画像とともに前記撮影者により視認されるように構成されたヘッドマウントディスプレイ装置に使用される画像制御プログラムであって、
前記外景画像を撮像する撮像ステップと、
前記外景画像のうち、あらかじめ設定された所定の空間周波数以上の空間周波数成分を持たない空間周波数特性の領域を抽出する低周波数領域抽出ステップと、
前記撮像ステップにより撮像された前記外景画像から、あらかじめ設定された所定の色相を認識する色相認識ステップと、
前記低周波数領域抽出ステップにより抽出された領域であって、前記色相認識ステップにより認識された前記所定の色相で、あらかじめ設定された所定の形状である部分の画像から、画像の切り出し範囲を示す撮像枠を決定する撮像枠決定ステップと、
前記撮像ステップにより撮像された前記外景画像から、前記撮像枠決定ステップにより決定された前記撮像枠内の画像を抽出し、記憶する画像抽出ステップと、
をコンピュータにより実現する画像制御プログラム。
【請求項１】
外光による外景画像を撮像する撮像部を備え、撮影者の頭部及びその近辺に装着され、画像情報に基づいた画像光による情報画像が前記外景画像とともに前記撮影者により視認されるように構成されたヘッドマウントディスプレイ装置であって、
前記外景画像のうち、あらかじめ設定された所定の空間周波数以上の空間周波数成分を持たない空間周波数特性の領域を抽出する低周波数領域抽出部と、
前記撮像部により撮像された前記外景画像から、あらかじめ設定された所定の色相を認識する色相認識部と、
前記低周波数領域抽出部により抽出された領域であって、前記色相認識部により認識された前記所定の色相で、あらかじめ設定された所定の形状である部分の画像から、画像の切り出し範囲を示す撮像枠を決定する撮像枠決定部と、
前記撮像部により撮像された前記外景画像から、前記撮像枠決定部により決定された前記撮像枠内の画像を抽出し、記憶する画像抽出部と、を備えるヘッドマウントディスプレイ装置。
【請求項２】
前記低周波数領域抽出部は、前記外景画像のうち、明るさの変化勾配の大きさがあらかじめ設定された所定値以下の領域を抽出することを特徴とする請求項１に記載のヘッドマウントディスプレイ装置。
【請求項３】
前記撮像部の合焦位置を示すマーカー画像を生成するマーカー生成部を備え、
前記マーカー画像が前記情報画像及び前記外景画像とともに前記撮影者により視認されるように構成されたことを特徴とする請求項１または２に記載のヘッドマウントディスプレイ装置。
【請求項４】
前記撮像枠決定部により決定された前記撮像枠の画像を生成する撮像枠画像生成部を備え、
前記撮像枠の画像が前記情報画像及び前記外景画像とともに前記撮影者により視認されるように構成されたことを特徴とする請求項１〜３のいずれかに記載のヘッドマウントディスプレイ装置。
【請求項５】
前記画像抽出部により抽出され、記憶された画像を読み出して生成する抽出画像生成部を備え、
前記抽出画像生成部により生成された前記撮像枠内の画像が前記外景画像とともに前記撮影者により視認されるように構成されたことを特徴とする請求項１〜４のいずれかに記載のヘッドマウントディスプレイ装置。
【請求項６】
前記低周波数領域抽出部、前記色相認識部、前記撮像枠決定部、及び前記画像抽出部のうち、いずれの部位が動作しているかを検知する動作状態検知部と、
前記動作状態検知部により検知された結果に応じて、動作状態を示す動作情報を生成する動作情報生成部と、を備え、
前記動作情報生成部により生成された前記動作情報を前記撮影者に通知するための画像が、前記外景画像とともに前記撮影者により視認されるように構成されたことを特徴とする請求項１〜５のいずれかに記載のヘッドマウントディスプレイ装置。
【請求項７】
撮影者の頭部及びその近辺に装着され、画像情報に基づいた画像光による情報画像が外光による外景画像とともに前記撮影者により視認されるように構成されたヘッドマウントディスプレイ装置に使用される画像制御方法であって、
前記外景画像を撮像する撮像ステップと、
前記外景画像のうち、あらかじめ設定された所定の空間周波数以上の空間周波数成分を持たない空間周波数特性の領域を抽出する低周波数領域抽出ステップと、
前記撮像ステップにより撮像された前記外景画像から、あらかじめ設定された所定の色相を認識する色相認識ステップと、
前記低周波数領域抽出ステップにより抽出された領域であって、前記色相認識ステップにより認識された前記所定の色相で、あらかじめ設定された所定の形状である部分の画像から、画像の切り出し範囲を示す撮像枠を決定する撮像枠決定ステップと、
前記撮像ステップにより撮像された前記外景画像から、前記撮像枠決定ステップにより決定された前記撮像枠内の画像を抽出し、記憶する画像抽出ステップと、を備える画像制御方法。
【請求項８】
撮影者の頭部及びその近辺に装着され、画像情報に基づいた画像光による情報画像が外光による外景画像とともに前記撮影者により視認されるように構成されたヘッドマウントディスプレイ装置に使用される画像制御プログラムであって、
前記外景画像を撮像する撮像ステップと、
前記外景画像のうち、あらかじめ設定された所定の空間周波数以上の空間周波数成分を持たない空間周波数特性の領域を抽出する低周波数領域抽出ステップと、
前記撮像ステップにより撮像された前記外景画像から、あらかじめ設定された所定の色相を認識する色相認識ステップと、
前記低周波数領域抽出ステップにより抽出された領域であって、前記色相認識ステップにより認識された前記所定の色相で、あらかじめ設定された所定の形状である部分の画像から、画像の切り出し範囲を示す撮像枠を決定する撮像枠決定ステップと、
前記撮像ステップにより撮像された前記外景画像から、前記撮像枠決定ステップにより決定された前記撮像枠内の画像を抽出し、記憶する画像抽出ステップと、
をコンピュータにより実現する画像制御プログラム。
【図１】
【図２】
【図３（ａ）】
【図３（ｂ）】
【図４（ａ）】
【図４（ｂ）】
【図４（ｃ）】
【図４（ｄ）】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３（ａ）】
【図３（ｂ）】
【図４（ａ）】
【図４（ｂ）】
【図４（ｃ）】
【図４（ｄ）】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１０−２０６６７３（Ｐ２０１０−２０６６７３Ａ）
【公開日】平成２２年９月１６日（２０１０．９．１６）
【国際特許分類】
【出願番号】特願２００９−５１６４４（Ｐ２００９−５１６４４）
【出願日】平成２１年３月５日（２００９．３．５）
【出願人】（０００００５２６７）ブラザー工業株式会社 (13,856)
【Ｆターム（参考）】
【公開日】平成２２年９月１６日（２０１０．９．１６）
【国際特許分類】
【出願日】平成２１年３月５日（２００９．３．５）
【出願人】（０００００５２６７）ブラザー工業株式会社 (13,856)
【Ｆターム（参考）】
[ Back to top ]