表示制御装置及び情報表示装置
【課題】複雑な処理を必要とせずにユーザによる意識的な動作及び無意識の動作のいずれをも確実に検出してシームレスな制御を行う。
【解決手段】情報表示装置２０は、現実空間の画像を撮像する撮像部２２と、撮像された画像を表示する表示部２６と、表示部２６を視認している人間の眉間の状態を検出する検出部２１と、現実空間の位置情報を取得する位置情報取得部２３とを備える。付加情報処理部２４は、取得された位置情報に基づいて、位置情報に関連付けられた付加情報を取得する処理及び位置情報に関連付けて付加情報を生成する処理の少なくとも１つを行うと共に、検出部２１によって検出された眉間の状態に基づいて、処理された付加情報の撮像された画像への重畳表示状態を制御する。
【解決手段】情報表示装置２０は、現実空間の画像を撮像する撮像部２２と、撮像された画像を表示する表示部２６と、表示部２６を視認している人間の眉間の状態を検出する検出部２１と、現実空間の位置情報を取得する位置情報取得部２３とを備える。付加情報処理部２４は、取得された位置情報に基づいて、位置情報に関連付けられた付加情報を取得する処理及び位置情報に関連付けて付加情報を生成する処理の少なくとも１つを行うと共に、検出部２１によって検出された眉間の状態に基づいて、処理された付加情報の撮像された画像への重畳表示状態を制御する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、情報及び付加情報の表示状態を制御する表示制御装置及び情報表示装置に関し、特に情報を視認している人が意識的又は無意識に付加情報の表示状態を制御することが可能な表示制御装置及び情報表示装置に関する。ここで、情報とは情報表示装置等に通常表示されている情報及び視認する人間の眼前の物などの情報も包含し、付加情報とは本発明において、本発明に記載の手段等を用いて付加的に表示、または変化させられる情報のことである。
【背景技術】
【０００２】
近年、現実の環境に付加情報を重畳表示する拡張現実感（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：ＡＲ）を表示する技術は、様々な形で提案されている。拡張現実感は、現実世界の視覚情報の上にさらに仮想世界の情報を付加情報として重畳表示する。よってこれらの視覚情報が混在する世界での情報量は、必然的に多くなる。付加情報量が増加しすぎると、現実世界の視覚情報の認識の妨げになってしまう。付加情報量を制御する何らかの装置が必要である。
【０００３】
一般的な外部機器を制御する入力装置としては、例えば人間の下顎の動きに伴う表皮の変動を検出する少なくとも１つのセンサと、表皮の変動に基づいて制御信号を生成する信号生成部とを備え、表皮の変動としてこめかみの表皮の変動を非接触に検出し、これにより制御信号を生成して外部機器に出力するものが知られている（特許文献１）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−３０４４５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述した特許文献１に開示された入力装置では、こめかみの表皮の変動を検出するため、ユーザによる意識的な動作に基づく制御のみを対象としており、より自然な無意識の動作を含めたシームレスな制御を行うことができないという問題がある。
【０００６】
この発明は、上述した従来技術による問題点を解消するため、複雑な処理を必要とせずにユーザによる意識的な動作及び無意識の動作のいずれをも確実に検出してシームレスな制御を行うことができる表示制御装置及び情報表示装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の一態様に係る表示制御装置は、情報を視認している人間の眉間の状態を検出する検出手段と、前記検出手段によって検出された眉間の状態に応じて前記情報及び前記情報に付加される付加情報の少なくとも一方の表示状態を制御する制御手段とを備えたことを特徴とする。
【０００８】
前記検出手段は、例えば前記人間に装着されたメガネ型装置に取り付けられた光学式センサである。前記メガネ型装置は、例えばヘッド・マウント・ディスプレイ（ＨＭＤ）である。
【０００９】
本発明の一態様に係る情報表示装置は、情報を表示する表示手段と、前記情報を視認している人間の眉間の状態を検出する検出手段と、前記検出手段によって検出された眉間の状態に応じて前記情報及び前記情報に付加される付加情報の少なくとも一方の表示状態を制御する制御手段とを備えたことを特徴とする。
【００１０】
前記制御手段は、例えば前記情報へ付加される付加情報の表示を制御するものでも良いし、前記情報及び前記付加情報の少なくとも一方の表示状態の拡大・縮小を制御するものでも良いし、前記情報及び前記付加情報の少なくとも一方の表示状態の再生速度を制御するものでも良い。
【００１１】
本発明の他の態様に係る情報表示装置は、現実空間の画像上に当該画像に付加される付加情報を認識可能な状態で出力してなる拡張現実感を表示する情報表示装置であって、前記現実空間の画像を撮像する撮像手段と、前記撮像された画像を表示する表示手段と、人間の眉間の状態を検出する検出手段と、前記現実空間の位置情報を取得する位置情報取得手段と、前記取得された位置情報に基づいて、前記位置情報に関連付けられた付加情報を取得する処理及び前記位置情報に関連付けて付加情報を生成する処理の少なくとも１つを行うと共に、前記検出手段によって検出された眉間の状態に基づいて、前記処理された付加情報の前記撮像された画像への重畳表示状態を制御する付加情報処理手段とを備えたことを特徴とする。
【発明の効果】
【００１２】
本発明によれば、複雑な処理を必要とせずにユーザによる意識的な動作及び無意識の動作のいずれをも確実に検出してシームレスな制御を行うことができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の第１の実施形態に係る表示制御装置の全体構成を示すブロック図である。
【図２】同表示制御装置における検出部の装着例を示す図である。
【図３】人間の眉間中心部からの距離と出力値の幅との関係を示す図である。
【図４】本発明の第２の実施形態に係る情報表示装置の全体構成を示すブロック図である。
【図５】同情報表示装置の外観例を示す正面図である。
【図６】同情報表示装置の動作例を説明するための図である。
【図７】同情報表示装置の重畳表示の動作例を説明するための図である。
【図８】同情報表示装置の重畳表示の動作例を説明するための図である。
【図９】本発明の第３の実施形態に係る情報表示装置の外観図である。
【図１０】本発明の第４の実施形態に係るキャリブレーション処理を示すフローチャートである。
【発明を実施するための形態】
【００１４】
以下に、添付の図面を参照して、この発明に係る表示制御装置及び情報表示装置の実施の形態を詳細に説明する。
【００１５】
［第１の実施形態］
図１は、本発明の第１の実施形態に係る表示制御装置１０全体の構成を示す図である。
図１に示すように、表示制御装置１０は、表示装置１８の表示状態を制御する制御信号を表示装置１８に対して出力するものであり、表示装置１８を視認する人間の眉間の状態を検出する検出部１１と、この検出部１１からの検出結果に基づき表示装置１８の表示状態を制御するための制御信号を生成する制御部１５とを備えて構成されている。
【００１６】
検出部１１は、例えば光センサ（フォトリフレクタ等）からなり、人間の表皮に光を照射する赤外線ＬＥＤ等の光照射部１２と、表皮にて反射した反射光を受光して受光信号を検出信号として出力するフォトトランジスタ等の受光部１３とを備えて構成されている。
【００１７】
制御部１５は、検出部１１からのアナログの検出信号をディジタル信号に変換するＡ／Ｄ変換器１６と、このＡ／Ｄ変換器１６にて変換されたディジタル信号に基づき表示装置１８の表示状態を制御する制御信号を生成する処理部１７とを備えて構成されている。
【００１８】
このように構成された表示制御装置１０において、検出部１１は、図２に示すように、例えば人間の顔Ｋにかけられた眼鏡Ｑに取り付け可能な取付治具１１ａを介して、人間の眉間Ｍにおける所定位置に、人間の眉間Ｍの状態（例えば眉間の動きに基づく表皮の状態及びその変動のいずれか１つ）を検出可能に取り付けられている。
【００１９】
具体的には、検出部１１は、図３に示すように、人間の眉頭ＭＧ同士を直線状に結んだ眉間Ｍの表皮の状態及び変動のいずれか１つを非接触に検出するように、取付治具１１ａを介して配置されていることが望ましい。本出願人による実験によれば、検出部１１を配置する箇所としては、眉頭ＭＧ同士を直線状に結んだ線分Ｓの中点Ｐから各眉頭側へＬ＝１４ｍｍ〜１８ｍｍ離れた位置を含む領域Ｒを検出することができる位置が最も好ましいことが判明した。したがって、検出部１１は領域Ｒを非接触に検出するのが好ましい。
【００２０】
このことは、人間の眉間Ｍにおける表皮の動きの特性が大きく関係していると考えられる。すなわち、眉間Ｍを寄せる動作を行うと眉間中心部の表皮が隆起して、眉頭ＭＧ辺りにしわが寄る。この時、隆起した眉間中心部よりも眉頭ＭＧ脇の表皮の動きの方が、変化が激しくなるので、受光部１３にて検出される、光照射部１２から照射された光が表皮にて反射した反射光の光量の変化も増大する。これにより、出力値の幅が最大となる箇所は、眉間中心部から距離Ｌ離れた箇所であると言える。
【００２１】
眉間の動きを好適に検出するには、光検出部１１として、フォトリフレクタ（ローム社製ＲＰＲ−２２０）を用いて、表皮に赤外光を照射し、皮膚表面の変化による光の反射量の変化を赤外線センサにより非接触で検知するとよい。この場合、フォトリフレクタの出力はＧａｉｎｅｒ（ｈｔｔｐ：／／ｇａｉｎｅｒ．ｃｃ／）を用いて２５６段階の数値として計測し、プログラミング言語にＪｉｔｔｅｒ（登録商標）を用い、情報付加処理を行うと効率的である。
【００２２】
なお、出力値の幅は次のように算出する。まず、本発明における表示制御装置を装着した状態で、眉間を寄せない、限界まで寄せる、寄せないという一連の運動を１セットとし、合計３セット計測を行い、得られた３セットのデータから、各セットの最大値と最小値を求める。次に得られた３つの最大値と３つの最小値から、最も小さい最大値と最も大きい最小値をそれぞれ出力値の最大値と最小値として、その差から出力値の幅を求める。
【００２３】
また、被験者により個人差はあるが、検出部１１の出力値の幅が最大になる箇所において、最低で２６段階、最高で８９段階の出力値の検出が可能であることが判明した。従って、この出力値の段階に応じて制御部１５にて制御信号を生成すれば、表示装置１８の動作等を複数段階にわたってシームレスに制御することが可能となる。
【００２４】
本実施形態に係る表示制御装置１０によれば、次のような効果を奏する。
すなわち、眉間Ｍの動きは、意識的に眉間Ｍを寄せたり寄せなかったりすることができるのはもちろんのこと、人間が何かを凝視しようとする際には無意識に眉間Ｍを寄せる動作をすることが認められている。このため、この表示制御装置１０を用いれば、表示装置１８を視認している人の意識的な動作及び無意識の動作のいずれをも確実に検出して表示装置１８の表示状態を制御することが可能となる。表示制御としては、例えば表示装置１８に表示された画像の拡大・縮小、映像の再生速度の変更、レイヤ構造のコンテンツの表示制御（眉間を寄せると問題の解答が見える等）、テレビの表示情報量やコンテンツの切り替え、チャンネルの切り替え等が考えられる。
【００２５】
［第２の実施形態］
図４は、本発明の第２の実施形態に係る情報表示装置２０の構成を示すブロック図、図５は同装置２０の外観例を示す正面図である。
この第２の実施形態に係る情報表示装置２０は、拡張現実感（ＡＲ）の情報量を制御するものである。
【００２６】
情報表示装置２０は、第１の実施形態に係る検出部１１と同様の機能を有する検出部２１と、現実空間の画像を撮像する撮像部２２とを備える。また、情報表示装置２０は、現実空間での位置及び方向を示す位置情報を取得する位置情報取得部２３と、位置情報取得部２３によって取得された位置情報に基づいて付加情報の処理を行う付加情報処理部２４とを備える。
【００２７】
更に、情報表示装置２０は、撮像部２２で撮像された現実空間の画像を表示すると共に、付加情報処理部２４によって生成された付加情報を上記現実空間の画像に重畳表示して拡張現実感を付与する表示部２６を備えている。
【００２８】
この実施形態では、図５に示すように、携帯端末型の情報表示装置２０に本発明が適用されている。検出部２１は、先の実施形態とは異なり、情報表示装置２０の正面（表示画面２６ａ側）の上方中央部に設けられたＣＣＤカメラ等の撮像手段と、内部の図示しない画像認識処理部とにより構成されている。画像認識処理部は、撮像手段の画像情報を認識処理して眉間の所定領域の画像情報を把握し、この画像情報の状態を検出してその検出値を出力する。
【００２９】
撮像部２２は、例えばＣＣＤやＣ−ＭＯＳ等のカメラ装置からなり、図５に示すように、情報表示装置２０の表示画面２６ａとは反対側に設けられており、情報表示装置２０を利用するユーザが撮像部２２を向けた方向の現実空間の画像を撮像する。
【００３０】
位置情報取得部２３は、例えばＧＰＳモジュールや電子コンパス等のデバイスからなり、現在の現実空間上の位置及び向きを位置情報として取得する。付加情報処理部２４は、取得された位置情報に関連付けられた付加情報を、例えばインターネット網２８を介して接続された付加情報提供サーバ２９から取得したり、取得された位置情報に関連付けて付加情報を生成したりする処理を行う。また、付加情報処理部２４は、検出部２１の検出結果に基づいて、処理された付加情報の表示部２６における出力態様を制御する。表示部２６は、ディスプレイ装置等からなり、撮像された画像及び処理された付加情報からなる拡張現実感を表示画面２６ａ上に表示する。
【００３１】
なお、付加情報は、撮像された画像上に存在する視認可能な対象物に関連して付加される文字情報、画像情報及び音声情報の少なくとも１つからなる。そして、付加情報処理部２４は、付加情報が文字情報及び画像情報の少なくとも１つからなる場合に、付加情報の拡張現実感上での重畳表示における透明度及び表示量の少なくとも１つを、検出部２１からの制御信号に応じて段階的に制御する。
【００３２】
このように構成された情報表示装置２０は、例えば次のように動作する。
ユーザが付加情報を見たい対象物、例えばお店や会社等に撮像部２２を向ける。図６（ａ）に示すように、ユーザが眉間Ｍを寄せない通常の状態の時には、検出部２１がこれを検出するので、付加情報処理部２４は、図６（ｂ）に示すように、表示画面２６ａ上に撮像部２２によって撮像された現実空間の画像のみを表示させる。
【００３３】
この状態で、図６（ｃ）に示すように、ユーザが表示画面２６ａを凝視する等して無意識に、又は意識的に眉間にしわを寄せると、検出部２１がこれを検出するので、付加情報処理部２４は、図６（ｄ）に示すように、表示画面２６ａ上に表示される現実空間の画像に、画像中に存在する視認可能な対象物３０に関連する付加情報３１、３２、３３、３４を重畳表示させる。本例においては、付加情報３１、３４は文字情報であり、付加情報３２は画像情報である。また、付加情報３３は音声情報であり、この場合の出力態様としては、表示出力の他に音声出力されることが考えられる。
【００３４】
以上の付加情報３１〜３４の表示は、眉間のしわの寄せ具合によって段階的に表示量を制御することもできる。また、逆に、通常状態では最大の付加情報が表示され、表示画面２６ａを凝視して眉間にしわが寄った時には、しわの程度に応じて徐々に付加情報を削除するように制御することもできる。一般に、表示画面２６ａを凝視する場合には、現実空間の画像の一部を注視することもあり、そのような場合には、付加情報の表示が却って邪魔になるためである。
【００３５】
なお、検出部２１によって検出される出力値の段階に応じて、付加情報処理部２４は、例えば付加情報の表示の透明度を制御するようにしても良い。具体的なものとして、文字情報である付加情報３１を例に挙げて説明する。図７（ａ）に示すように、眉間Ｍがあまり寄っていない状態の時は、透明度が高い付加情報３１ａを重畳表示させ、図７（ｂ）に示すように、眉間Ｍが寄っている状態の時は、透明度が低い付加情報３１ｂを重畳表示させる。
【００３６】
また、図８（ａ）に示すように、検出される出力値が小さい時は、重畳表示される付加情報３１ｃの量が少なく、図８（ｂ）に示すように、検出される出力値が大きい時は、重畳表示される付加情報３１ｄの量が多くなるように制御することもできる。
【００３７】
なお、人間は意識的に注視した時のみならず、無意識に凝視した時にも眉間Ｍが寄る動作をすることが確認されている。従って、このように拡張現実感を表示するようにすれば、対象物３０を意識的に凝視した時のみならず、無意識に対象物３０に注目した時でも、出力値に応じて段階的に付加情報３１〜３４を詳細に表示したり、視認し易く表示したりすることができ、付加情報の表示／非表示、或いは表示状態の変化をシームレスないわゆるフェーダー操作により実現することができる。
【００３８】
なお、付加情報３２のように画像情報である場合は、例えば重畳表示される画像の領域が検出部２１の出力値に応じて変化するように制御されたり、付加情報３３のように音声情報である場合は、例えば音声出力される音量が検出部２１の出力値に応じて変化するように制御されたりすることが考えられ、その他にも付加情報の拡大・縮小や色調の変化、或いはコンテンツの表示切替など、種々の出力態様を制御することが可能である。
【００３９】
［第３の実施形態］
図９は、本発明の第３の実施形態に係る情報表示装置を示す外観図である。
上述した第２の実施形態に係る情報表示装置２０は、携帯端末型であったが、第３の実施形態に係る情報表示装置は、ヘッド・マウント・ディスプレイ（ＨＭＤ）型の表示装置である。ブロック構成は、図４で示した構成と同様である。
【００４０】
本実施形態では、情報表示装置ＨＭＤがメガネ型であり、目と対向する部分が表示画面２６ａとなっている。撮像部２２は、情報表示装置ＨＭＤの（メガネ型部分の）中心上部に取り付けられ、その横に検出部２１が配置されている。検出部２１は、第１及び第２の実施形態のいずれの構成としても良い。
【００４１】
このように構成された情報表示装置ＨＭＤは、医療行為（例えば、手術など）の施術システムにおける付加情報（手術部位や注意書き等）の表示に適用したりすることができる。具体的には、施術システムに適用する場合は、医師が情報表示装置ＨＭＤを装着し、施術箇所を撮像部２２で撮像しながら表示画面２６ａ上に表示される拡張現実感を医師が確認しつつ施術を行うことが考えられる。この場合に、例えば施術に必要な付加情報等を複雑な処理を必要とせずに意識的な動作及び無意識の動作のいずれによってもシームレスな拡張現実感として表示することが可能となる。
【００４２】
［第４の実施形態］
図１０は、検出部１１、２１のキャリブレーション処理を示すフローチャートである。
眉間の状態は、人によって個人差があるので、予めキャリブレーション処理をしておくことが望ましい。この処理は、図１の処理部１７又は図４の付加情報処理部２４が行う。
まず、眉間を限界まで寄せた状態で、一定時間だけ検出部１１、２１の出力をサンプリングする（Ｓ１００）。次に、通常の眉間の状態で、同様に、一定時間だけ検出部１１、２１の出力をサンプリングする（Ｓ１０２）。眉間を寄せた状態と通常の状態でそれぞれサンプリングされた検出出力値の差の中で最も小さいものを処理部１７及び付加情報処理部２４での検出値の幅に設定する（Ｓ１０４）。そして、求められた検出値の幅から１又は複数のしきい値を算出し、設定する（Ｓ１０６）。これにより、個人差無く、精度のよい検出が可能になる。
【産業上の利用可能性】
【００４３】
以上に述べた用途の他、本発明は、液晶シャッター式眼鏡を使用する三次元テレビなどにも適用できる。この場合、例えばテロップや時計など、レイヤ情報として送信されるものの表示情報の量のコントロールやコンテンツの切り替えを検出部で行うことができる。また、三次元テレビでは、表示装置と液晶シャッター式眼鏡との間で同期通信を行うので、眉間から検出された情報のログを取って視覚情報に対する一定の感情の検出を行うなどの二次的利用が可能である。
【符号の説明】
【００４４】
１１ 検出部
１２ 光照射部
１３ 受光部
１５ 制御部
１６ Ａ／Ｄ変換器
１７ 処理部
１８ 表示装置
２０ 情報表示装置
２１ 検出部
２２ 撮像部
２３ 位置情報取得部
２４ 付加情報処理部
２５ Ａ／Ｄ変換器
２６ 表示部
３０ 対象物
【技術分野】
【０００１】
この発明は、情報及び付加情報の表示状態を制御する表示制御装置及び情報表示装置に関し、特に情報を視認している人が意識的又は無意識に付加情報の表示状態を制御することが可能な表示制御装置及び情報表示装置に関する。ここで、情報とは情報表示装置等に通常表示されている情報及び視認する人間の眼前の物などの情報も包含し、付加情報とは本発明において、本発明に記載の手段等を用いて付加的に表示、または変化させられる情報のことである。
【背景技術】
【０００２】
近年、現実の環境に付加情報を重畳表示する拡張現実感（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：ＡＲ）を表示する技術は、様々な形で提案されている。拡張現実感は、現実世界の視覚情報の上にさらに仮想世界の情報を付加情報として重畳表示する。よってこれらの視覚情報が混在する世界での情報量は、必然的に多くなる。付加情報量が増加しすぎると、現実世界の視覚情報の認識の妨げになってしまう。付加情報量を制御する何らかの装置が必要である。
【０００３】
一般的な外部機器を制御する入力装置としては、例えば人間の下顎の動きに伴う表皮の変動を検出する少なくとも１つのセンサと、表皮の変動に基づいて制御信号を生成する信号生成部とを備え、表皮の変動としてこめかみの表皮の変動を非接触に検出し、これにより制御信号を生成して外部機器に出力するものが知られている（特許文献１）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−３０４４５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述した特許文献１に開示された入力装置では、こめかみの表皮の変動を検出するため、ユーザによる意識的な動作に基づく制御のみを対象としており、より自然な無意識の動作を含めたシームレスな制御を行うことができないという問題がある。
【０００６】
この発明は、上述した従来技術による問題点を解消するため、複雑な処理を必要とせずにユーザによる意識的な動作及び無意識の動作のいずれをも確実に検出してシームレスな制御を行うことができる表示制御装置及び情報表示装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の一態様に係る表示制御装置は、情報を視認している人間の眉間の状態を検出する検出手段と、前記検出手段によって検出された眉間の状態に応じて前記情報及び前記情報に付加される付加情報の少なくとも一方の表示状態を制御する制御手段とを備えたことを特徴とする。
【０００８】
前記検出手段は、例えば前記人間に装着されたメガネ型装置に取り付けられた光学式センサである。前記メガネ型装置は、例えばヘッド・マウント・ディスプレイ（ＨＭＤ）である。
【０００９】
本発明の一態様に係る情報表示装置は、情報を表示する表示手段と、前記情報を視認している人間の眉間の状態を検出する検出手段と、前記検出手段によって検出された眉間の状態に応じて前記情報及び前記情報に付加される付加情報の少なくとも一方の表示状態を制御する制御手段とを備えたことを特徴とする。
【００１０】
前記制御手段は、例えば前記情報へ付加される付加情報の表示を制御するものでも良いし、前記情報及び前記付加情報の少なくとも一方の表示状態の拡大・縮小を制御するものでも良いし、前記情報及び前記付加情報の少なくとも一方の表示状態の再生速度を制御するものでも良い。
【００１１】
本発明の他の態様に係る情報表示装置は、現実空間の画像上に当該画像に付加される付加情報を認識可能な状態で出力してなる拡張現実感を表示する情報表示装置であって、前記現実空間の画像を撮像する撮像手段と、前記撮像された画像を表示する表示手段と、人間の眉間の状態を検出する検出手段と、前記現実空間の位置情報を取得する位置情報取得手段と、前記取得された位置情報に基づいて、前記位置情報に関連付けられた付加情報を取得する処理及び前記位置情報に関連付けて付加情報を生成する処理の少なくとも１つを行うと共に、前記検出手段によって検出された眉間の状態に基づいて、前記処理された付加情報の前記撮像された画像への重畳表示状態を制御する付加情報処理手段とを備えたことを特徴とする。
【発明の効果】
【００１２】
本発明によれば、複雑な処理を必要とせずにユーザによる意識的な動作及び無意識の動作のいずれをも確実に検出してシームレスな制御を行うことができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の第１の実施形態に係る表示制御装置の全体構成を示すブロック図である。
【図２】同表示制御装置における検出部の装着例を示す図である。
【図３】人間の眉間中心部からの距離と出力値の幅との関係を示す図である。
【図４】本発明の第２の実施形態に係る情報表示装置の全体構成を示すブロック図である。
【図５】同情報表示装置の外観例を示す正面図である。
【図６】同情報表示装置の動作例を説明するための図である。
【図７】同情報表示装置の重畳表示の動作例を説明するための図である。
【図８】同情報表示装置の重畳表示の動作例を説明するための図である。
【図９】本発明の第３の実施形態に係る情報表示装置の外観図である。
【図１０】本発明の第４の実施形態に係るキャリブレーション処理を示すフローチャートである。
【発明を実施するための形態】
【００１４】
以下に、添付の図面を参照して、この発明に係る表示制御装置及び情報表示装置の実施の形態を詳細に説明する。
【００１５】
［第１の実施形態］
図１は、本発明の第１の実施形態に係る表示制御装置１０全体の構成を示す図である。
図１に示すように、表示制御装置１０は、表示装置１８の表示状態を制御する制御信号を表示装置１８に対して出力するものであり、表示装置１８を視認する人間の眉間の状態を検出する検出部１１と、この検出部１１からの検出結果に基づき表示装置１８の表示状態を制御するための制御信号を生成する制御部１５とを備えて構成されている。
【００１６】
検出部１１は、例えば光センサ（フォトリフレクタ等）からなり、人間の表皮に光を照射する赤外線ＬＥＤ等の光照射部１２と、表皮にて反射した反射光を受光して受光信号を検出信号として出力するフォトトランジスタ等の受光部１３とを備えて構成されている。
【００１７】
制御部１５は、検出部１１からのアナログの検出信号をディジタル信号に変換するＡ／Ｄ変換器１６と、このＡ／Ｄ変換器１６にて変換されたディジタル信号に基づき表示装置１８の表示状態を制御する制御信号を生成する処理部１７とを備えて構成されている。
【００１８】
このように構成された表示制御装置１０において、検出部１１は、図２に示すように、例えば人間の顔Ｋにかけられた眼鏡Ｑに取り付け可能な取付治具１１ａを介して、人間の眉間Ｍにおける所定位置に、人間の眉間Ｍの状態（例えば眉間の動きに基づく表皮の状態及びその変動のいずれか１つ）を検出可能に取り付けられている。
【００１９】
具体的には、検出部１１は、図３に示すように、人間の眉頭ＭＧ同士を直線状に結んだ眉間Ｍの表皮の状態及び変動のいずれか１つを非接触に検出するように、取付治具１１ａを介して配置されていることが望ましい。本出願人による実験によれば、検出部１１を配置する箇所としては、眉頭ＭＧ同士を直線状に結んだ線分Ｓの中点Ｐから各眉頭側へＬ＝１４ｍｍ〜１８ｍｍ離れた位置を含む領域Ｒを検出することができる位置が最も好ましいことが判明した。したがって、検出部１１は領域Ｒを非接触に検出するのが好ましい。
【００２０】
このことは、人間の眉間Ｍにおける表皮の動きの特性が大きく関係していると考えられる。すなわち、眉間Ｍを寄せる動作を行うと眉間中心部の表皮が隆起して、眉頭ＭＧ辺りにしわが寄る。この時、隆起した眉間中心部よりも眉頭ＭＧ脇の表皮の動きの方が、変化が激しくなるので、受光部１３にて検出される、光照射部１２から照射された光が表皮にて反射した反射光の光量の変化も増大する。これにより、出力値の幅が最大となる箇所は、眉間中心部から距離Ｌ離れた箇所であると言える。
【００２１】
眉間の動きを好適に検出するには、光検出部１１として、フォトリフレクタ（ローム社製ＲＰＲ−２２０）を用いて、表皮に赤外光を照射し、皮膚表面の変化による光の反射量の変化を赤外線センサにより非接触で検知するとよい。この場合、フォトリフレクタの出力はＧａｉｎｅｒ（ｈｔｔｐ：／／ｇａｉｎｅｒ．ｃｃ／）を用いて２５６段階の数値として計測し、プログラミング言語にＪｉｔｔｅｒ（登録商標）を用い、情報付加処理を行うと効率的である。
【００２２】
なお、出力値の幅は次のように算出する。まず、本発明における表示制御装置を装着した状態で、眉間を寄せない、限界まで寄せる、寄せないという一連の運動を１セットとし、合計３セット計測を行い、得られた３セットのデータから、各セットの最大値と最小値を求める。次に得られた３つの最大値と３つの最小値から、最も小さい最大値と最も大きい最小値をそれぞれ出力値の最大値と最小値として、その差から出力値の幅を求める。
【００２３】
また、被験者により個人差はあるが、検出部１１の出力値の幅が最大になる箇所において、最低で２６段階、最高で８９段階の出力値の検出が可能であることが判明した。従って、この出力値の段階に応じて制御部１５にて制御信号を生成すれば、表示装置１８の動作等を複数段階にわたってシームレスに制御することが可能となる。
【００２４】
本実施形態に係る表示制御装置１０によれば、次のような効果を奏する。
すなわち、眉間Ｍの動きは、意識的に眉間Ｍを寄せたり寄せなかったりすることができるのはもちろんのこと、人間が何かを凝視しようとする際には無意識に眉間Ｍを寄せる動作をすることが認められている。このため、この表示制御装置１０を用いれば、表示装置１８を視認している人の意識的な動作及び無意識の動作のいずれをも確実に検出して表示装置１８の表示状態を制御することが可能となる。表示制御としては、例えば表示装置１８に表示された画像の拡大・縮小、映像の再生速度の変更、レイヤ構造のコンテンツの表示制御（眉間を寄せると問題の解答が見える等）、テレビの表示情報量やコンテンツの切り替え、チャンネルの切り替え等が考えられる。
【００２５】
［第２の実施形態］
図４は、本発明の第２の実施形態に係る情報表示装置２０の構成を示すブロック図、図５は同装置２０の外観例を示す正面図である。
この第２の実施形態に係る情報表示装置２０は、拡張現実感（ＡＲ）の情報量を制御するものである。
【００２６】
情報表示装置２０は、第１の実施形態に係る検出部１１と同様の機能を有する検出部２１と、現実空間の画像を撮像する撮像部２２とを備える。また、情報表示装置２０は、現実空間での位置及び方向を示す位置情報を取得する位置情報取得部２３と、位置情報取得部２３によって取得された位置情報に基づいて付加情報の処理を行う付加情報処理部２４とを備える。
【００２７】
更に、情報表示装置２０は、撮像部２２で撮像された現実空間の画像を表示すると共に、付加情報処理部２４によって生成された付加情報を上記現実空間の画像に重畳表示して拡張現実感を付与する表示部２６を備えている。
【００２８】
この実施形態では、図５に示すように、携帯端末型の情報表示装置２０に本発明が適用されている。検出部２１は、先の実施形態とは異なり、情報表示装置２０の正面（表示画面２６ａ側）の上方中央部に設けられたＣＣＤカメラ等の撮像手段と、内部の図示しない画像認識処理部とにより構成されている。画像認識処理部は、撮像手段の画像情報を認識処理して眉間の所定領域の画像情報を把握し、この画像情報の状態を検出してその検出値を出力する。
【００２９】
撮像部２２は、例えばＣＣＤやＣ−ＭＯＳ等のカメラ装置からなり、図５に示すように、情報表示装置２０の表示画面２６ａとは反対側に設けられており、情報表示装置２０を利用するユーザが撮像部２２を向けた方向の現実空間の画像を撮像する。
【００３０】
位置情報取得部２３は、例えばＧＰＳモジュールや電子コンパス等のデバイスからなり、現在の現実空間上の位置及び向きを位置情報として取得する。付加情報処理部２４は、取得された位置情報に関連付けられた付加情報を、例えばインターネット網２８を介して接続された付加情報提供サーバ２９から取得したり、取得された位置情報に関連付けて付加情報を生成したりする処理を行う。また、付加情報処理部２４は、検出部２１の検出結果に基づいて、処理された付加情報の表示部２６における出力態様を制御する。表示部２６は、ディスプレイ装置等からなり、撮像された画像及び処理された付加情報からなる拡張現実感を表示画面２６ａ上に表示する。
【００３１】
なお、付加情報は、撮像された画像上に存在する視認可能な対象物に関連して付加される文字情報、画像情報及び音声情報の少なくとも１つからなる。そして、付加情報処理部２４は、付加情報が文字情報及び画像情報の少なくとも１つからなる場合に、付加情報の拡張現実感上での重畳表示における透明度及び表示量の少なくとも１つを、検出部２１からの制御信号に応じて段階的に制御する。
【００３２】
このように構成された情報表示装置２０は、例えば次のように動作する。
ユーザが付加情報を見たい対象物、例えばお店や会社等に撮像部２２を向ける。図６（ａ）に示すように、ユーザが眉間Ｍを寄せない通常の状態の時には、検出部２１がこれを検出するので、付加情報処理部２４は、図６（ｂ）に示すように、表示画面２６ａ上に撮像部２２によって撮像された現実空間の画像のみを表示させる。
【００３３】
この状態で、図６（ｃ）に示すように、ユーザが表示画面２６ａを凝視する等して無意識に、又は意識的に眉間にしわを寄せると、検出部２１がこれを検出するので、付加情報処理部２４は、図６（ｄ）に示すように、表示画面２６ａ上に表示される現実空間の画像に、画像中に存在する視認可能な対象物３０に関連する付加情報３１、３２、３３、３４を重畳表示させる。本例においては、付加情報３１、３４は文字情報であり、付加情報３２は画像情報である。また、付加情報３３は音声情報であり、この場合の出力態様としては、表示出力の他に音声出力されることが考えられる。
【００３４】
以上の付加情報３１〜３４の表示は、眉間のしわの寄せ具合によって段階的に表示量を制御することもできる。また、逆に、通常状態では最大の付加情報が表示され、表示画面２６ａを凝視して眉間にしわが寄った時には、しわの程度に応じて徐々に付加情報を削除するように制御することもできる。一般に、表示画面２６ａを凝視する場合には、現実空間の画像の一部を注視することもあり、そのような場合には、付加情報の表示が却って邪魔になるためである。
【００３５】
なお、検出部２１によって検出される出力値の段階に応じて、付加情報処理部２４は、例えば付加情報の表示の透明度を制御するようにしても良い。具体的なものとして、文字情報である付加情報３１を例に挙げて説明する。図７（ａ）に示すように、眉間Ｍがあまり寄っていない状態の時は、透明度が高い付加情報３１ａを重畳表示させ、図７（ｂ）に示すように、眉間Ｍが寄っている状態の時は、透明度が低い付加情報３１ｂを重畳表示させる。
【００３６】
また、図８（ａ）に示すように、検出される出力値が小さい時は、重畳表示される付加情報３１ｃの量が少なく、図８（ｂ）に示すように、検出される出力値が大きい時は、重畳表示される付加情報３１ｄの量が多くなるように制御することもできる。
【００３７】
なお、人間は意識的に注視した時のみならず、無意識に凝視した時にも眉間Ｍが寄る動作をすることが確認されている。従って、このように拡張現実感を表示するようにすれば、対象物３０を意識的に凝視した時のみならず、無意識に対象物３０に注目した時でも、出力値に応じて段階的に付加情報３１〜３４を詳細に表示したり、視認し易く表示したりすることができ、付加情報の表示／非表示、或いは表示状態の変化をシームレスないわゆるフェーダー操作により実現することができる。
【００３８】
なお、付加情報３２のように画像情報である場合は、例えば重畳表示される画像の領域が検出部２１の出力値に応じて変化するように制御されたり、付加情報３３のように音声情報である場合は、例えば音声出力される音量が検出部２１の出力値に応じて変化するように制御されたりすることが考えられ、その他にも付加情報の拡大・縮小や色調の変化、或いはコンテンツの表示切替など、種々の出力態様を制御することが可能である。
【００３９】
［第３の実施形態］
図９は、本発明の第３の実施形態に係る情報表示装置を示す外観図である。
上述した第２の実施形態に係る情報表示装置２０は、携帯端末型であったが、第３の実施形態に係る情報表示装置は、ヘッド・マウント・ディスプレイ（ＨＭＤ）型の表示装置である。ブロック構成は、図４で示した構成と同様である。
【００４０】
本実施形態では、情報表示装置ＨＭＤがメガネ型であり、目と対向する部分が表示画面２６ａとなっている。撮像部２２は、情報表示装置ＨＭＤの（メガネ型部分の）中心上部に取り付けられ、その横に検出部２１が配置されている。検出部２１は、第１及び第２の実施形態のいずれの構成としても良い。
【００４１】
このように構成された情報表示装置ＨＭＤは、医療行為（例えば、手術など）の施術システムにおける付加情報（手術部位や注意書き等）の表示に適用したりすることができる。具体的には、施術システムに適用する場合は、医師が情報表示装置ＨＭＤを装着し、施術箇所を撮像部２２で撮像しながら表示画面２６ａ上に表示される拡張現実感を医師が確認しつつ施術を行うことが考えられる。この場合に、例えば施術に必要な付加情報等を複雑な処理を必要とせずに意識的な動作及び無意識の動作のいずれによってもシームレスな拡張現実感として表示することが可能となる。
【００４２】
［第４の実施形態］
図１０は、検出部１１、２１のキャリブレーション処理を示すフローチャートである。
眉間の状態は、人によって個人差があるので、予めキャリブレーション処理をしておくことが望ましい。この処理は、図１の処理部１７又は図４の付加情報処理部２４が行う。
まず、眉間を限界まで寄せた状態で、一定時間だけ検出部１１、２１の出力をサンプリングする（Ｓ１００）。次に、通常の眉間の状態で、同様に、一定時間だけ検出部１１、２１の出力をサンプリングする（Ｓ１０２）。眉間を寄せた状態と通常の状態でそれぞれサンプリングされた検出出力値の差の中で最も小さいものを処理部１７及び付加情報処理部２４での検出値の幅に設定する（Ｓ１０４）。そして、求められた検出値の幅から１又は複数のしきい値を算出し、設定する（Ｓ１０６）。これにより、個人差無く、精度のよい検出が可能になる。
【産業上の利用可能性】
【００４３】
以上に述べた用途の他、本発明は、液晶シャッター式眼鏡を使用する三次元テレビなどにも適用できる。この場合、例えばテロップや時計など、レイヤ情報として送信されるものの表示情報の量のコントロールやコンテンツの切り替えを検出部で行うことができる。また、三次元テレビでは、表示装置と液晶シャッター式眼鏡との間で同期通信を行うので、眉間から検出された情報のログを取って視覚情報に対する一定の感情の検出を行うなどの二次的利用が可能である。
【符号の説明】
【００４４】
１１ 検出部
１２ 光照射部
１３ 受光部
１５ 制御部
１６ Ａ／Ｄ変換器
１７ 処理部
１８ 表示装置
２０ 情報表示装置
２１ 検出部
２２ 撮像部
２３ 位置情報取得部
２４ 付加情報処理部
２５ Ａ／Ｄ変換器
２６ 表示部
３０ 対象物
【特許請求の範囲】
【請求項１】
情報を視認している人間の眉間の状態を検出する検出手段と、
前記検出手段によって検出された眉間の状態に応じて前記情報及び前記情報に付加される付加情報の少なくとも一方の表示状態を制御する制御手段とを備えた
ことを特徴とする表示制御装置。
【請求項２】
前記検出手段は、前記人間に装着されたメガネ型装置に取り付けられた光学式センサである請求項１記載の表示制御装置。
【請求項３】
前記メガネ型装置は、ヘッド・マウント・ディスプレイ（ＨＭＤ）である請求項２記載の表示制御装置。
【請求項４】
情報を表示する表示手段と、
前記情報を視認している人間の眉間の状態を検出する検出手段と、
前記検出手段によって検出された眉間の状態に応じて前記情報及び前記情報に付加される付加情報の少なくとも一方の表示状態を制御する制御手段と
を備えたことを特徴とする情報表示装置。
【請求項５】
前記制御手段は、前記情報へ付加される付加情報の表示を制御するものである請求項４記載の情報表示装置。
【請求項６】
前記制御手段は、前記情報及び前記付加情報の少なくとも一方の表示状態の拡大・縮小を制御するものである請求項４記載の情報表示装置。
【請求項７】
前記制御手段は、前記情報及び前記付加情報の少なくとも一方の表示状態の再生速度を制御するものである請求項４記載の情報表示装置。
【請求項８】
現実空間の画像上に当該画像に付加される付加情報を認識可能な状態で出力してなる拡張現実感を表示する情報表示装置であって、
前記現実空間の画像を撮像する撮像手段と、
前記撮像された画像を表示する表示手段と、
人間の眉間の状態を検出する検出手段と、
前記現実空間の位置情報を取得する位置情報取得手段と、
前記取得された位置情報に基づいて、前記位置情報に関連付けられた付加情報を取得する処理、及び前記位置情報に関連付けて付加情報を生成する処理の少なくとも１つを行うと共に、前記検出手段によって検出された眉間の状態に基づいて、前記処理された付加情報の前記撮像された画像への重畳表示状態を制御する付加情報処理手段とを備えた
ことを特徴とする情報表示装置。
【請求項１】
情報を視認している人間の眉間の状態を検出する検出手段と、
前記検出手段によって検出された眉間の状態に応じて前記情報及び前記情報に付加される付加情報の少なくとも一方の表示状態を制御する制御手段とを備えた
ことを特徴とする表示制御装置。
【請求項２】
前記検出手段は、前記人間に装着されたメガネ型装置に取り付けられた光学式センサである請求項１記載の表示制御装置。
【請求項３】
前記メガネ型装置は、ヘッド・マウント・ディスプレイ（ＨＭＤ）である請求項２記載の表示制御装置。
【請求項４】
情報を表示する表示手段と、
前記情報を視認している人間の眉間の状態を検出する検出手段と、
前記検出手段によって検出された眉間の状態に応じて前記情報及び前記情報に付加される付加情報の少なくとも一方の表示状態を制御する制御手段と
を備えたことを特徴とする情報表示装置。
【請求項５】
前記制御手段は、前記情報へ付加される付加情報の表示を制御するものである請求項４記載の情報表示装置。
【請求項６】
前記制御手段は、前記情報及び前記付加情報の少なくとも一方の表示状態の拡大・縮小を制御するものである請求項４記載の情報表示装置。
【請求項７】
前記制御手段は、前記情報及び前記付加情報の少なくとも一方の表示状態の再生速度を制御するものである請求項４記載の情報表示装置。
【請求項８】
現実空間の画像上に当該画像に付加される付加情報を認識可能な状態で出力してなる拡張現実感を表示する情報表示装置であって、
前記現実空間の画像を撮像する撮像手段と、
前記撮像された画像を表示する表示手段と、
人間の眉間の状態を検出する検出手段と、
前記現実空間の位置情報を取得する位置情報取得手段と、
前記取得された位置情報に基づいて、前記位置情報に関連付けられた付加情報を取得する処理、及び前記位置情報に関連付けて付加情報を生成する処理の少なくとも１つを行うと共に、前記検出手段によって検出された眉間の状態に基づいて、前記処理された付加情報の前記撮像された画像への重畳表示状態を制御する付加情報処理手段とを備えた
ことを特徴とする情報表示装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１１−１８６００７（Ｐ２０１１−１８６００７Ａ）
【公開日】平成２３年９月２２日（２０１１．９．２２）
【国際特許分類】
【出願番号】特願２０１０−４８３９６（Ｐ２０１０−４８３９６）
【出願日】平成２２年３月４日（２０１０．３．４）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り 平成２１年９月１６日 エンタテインメントコンピューティング２００９実行委員会発行の「エンタテインメントコンピューティング２００９ 論文集」において発表
【出願人】（８０１００００２７）学校法人明治大学 (161)
【Ｆターム（参考）】
【公開日】平成２３年９月２２日（２０１１．９．２２）
【国際特許分類】
【出願日】平成２２年３月４日（２０１０．３．４）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り 平成２１年９月１６日 エンタテインメントコンピューティング２００９実行委員会発行の「エンタテインメントコンピューティング２００９ 論文集」において発表
【出願人】（８０１００００２７）学校法人明治大学 (161)
【Ｆターム（参考）】
[ Back to top ]