複合現実感システムとそのイベント入力方法及びヘッドマウントディスプレイ
【課題】 現実空間で発生した音響で複合現実空間へのイベント入力を行えるようにして、比較的簡単なシステム構成で種々のイベント入力を実現する。
【解決手段】 操作者Ｕが装着した表示部１１に現実空間と仮想空間を重畳してリアルタイムで表示する複合現実感システム１において、現実空間における操作者Ｕの位置及び方向を検出し、現実空間で発生した音響を検出し、所定の音源方向からの操作者Ｕによる操作指示を示す音響に基づいて仮想空間に対する処理を起動する。
【解決手段】 操作者Ｕが装着した表示部１１に現実空間と仮想空間を重畳してリアルタイムで表示する複合現実感システム１において、現実空間における操作者Ｕの位置及び方向を検出し、現実空間で発生した音響を検出し、所定の音源方向からの操作者Ｕによる操作指示を示す音響に基づいて仮想空間に対する処理を起動する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、操作者が装着した表示部に現実空間と三次元の仮想空間を重畳してリアルタイムで表示する複合現実感システムと、そのイベント入力方法、及び、同システムに使用するヘッドマウントディスプレイに関するものである。
【背景技術】
【０００２】
従来、三次元の仮想空間をリアルタイムで可視化した映像を操作者に表示する複合現実感システムにおいて、複合現実感（ＭＲ：Mixed Reality）を構成する仮想空間を起動させるイベント入力（操作入力）の方法として、操作者が自ら発した音声をヘッドマウントディスプレイ（ＨＭＤ：Head Mounted Display）に装着したマイクロホンで取得し、このマイクロホンで取得した所定の音声命令を認識して、システムを起動させるものがある（特許文献１参照）。
【０００３】
また、音声とは異なるイベント入力の方法を採用したＭＲシステムとして、現実空間における物体の動きを検知する検知手段と、操作入力のための表示要素をヘッドマウントディスプレイの表示部に表示させ、この表示要素に対応して操作者の身体が所定の動きを見せた場合に当該表示要素に対応する処理を起動させる制御手段とを備えたものがある。
より具体的には、上記検知手段は、操作者の視線を検出する視線検出手段よりなり、上記制御手段は、表示要素に対して操作者の視線が所定方向にあること又は所定動作をしたことが検出すると、表示要素に対する処理を起動させるようになっている（特許文献２参照）。
【０００４】
【特許文献１】特開平１０−２８９０３４号公報（請求項１及び８）
【特許文献２】特開平８−６７０８号公報（請求項１及び２）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、上記特許文献１に記載の音声入力方法では、音声の位置情報を取得しておらず、現実空間における音声の三次元空間情報を利用していないので、システムそのものを起動するイベント入力としては比較的簡単に利用できるが、既に表示された仮想空間の画像に対するイベント入力として利用するためには、現実空間と仮想空間を結びつけるための位置センサが別途必要であり、このセンサで検出した位置情報と音声命令を連動させる必要があるので、システム構成が非常に複雑になるという欠点がある。
【０００６】
一方、上記特許文献２に記載のイベント入力方法では、現実空間における物体の動きを検知する検知手段が、操作者の視線を検出する視線検出手段により構成されているので、ヘッドマウントディスプレイの構造が複雑になって製作コストが嵩むとともに、操作者の目の動きを制御手段によって常に捕捉しておく必要があるので、入力処理のための制御データ量が多くなり、システム構成が大型にならざるを得ないという欠点がある。
【０００７】
本発明は、このような実情に鑑み、現実空間で発生した音響で複合現実空間へのイベント入力を行えるようにして、比較的簡単なシステム構成で種々のイベント入力を実現することができる複合現実感システムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の複合現実感システム（以下、ＭＲシステムという。）は、現実空間における操作者の位置及び方向を検出する位置検出部と、現実空間で発生した音響を検出する音響センサと、前記音響センサで検出した音響の操作者から見た音源方向と、当該音響が操作者による操作指示か否かを認識する音響認識手段と、前記音響認識手段で認識された所定の音源方向からの操作指示に基づいて前記仮想空間に対する処理を起動する起動手段とを備えていることを特徴とする。
【０００９】
本発明によれば、音響センサで検出した音響の操作者から見た音源方向と、当該音響が操作者による操作指示か否かを認識し、認識された所定の音源方向からの操作指示に基づいて仮想空間に対する処理を起動するようにしたので、現実空間で発生した音響で複合現実空間へのイベント入力を行うことができる。
このため、従来のように操作者の視線を検出する視線検出手段を設ける必要がなく、ヘッドマウントディスプレイの構造を簡素化できるとともに、操作者の目の動きを常に捕捉しておく必要もないので、入力処理のための制御データ量が少なくて済み、比較的簡単なシステム構成で種々のイベント入力を実現することができる。
【００１０】
本発明のＭＲシステムにおいて、前記音響センサとしては、現実空間で発生した音響の操作者から見た音源方向とその周波数特性を特定できる限り、その設置場所は時に限定されない。しかし、当該音響センサとして現実空間に固定したマイクロホンアレイを採用すると、マイクロホンアレイで拾った音源方向を操作者から見た音源方向に変換する必要があるため、音源方向の推定精度が悪化する恐れがある。
そこで、音源方向の推定をより高精度に行うためには、操作者自身に装着可能なウェアラブルなものであることが好ましく、特に、表示部が、操作者の頭部に装着可能なヘッドマウントディスプレイの表示画面よりなる場合には、当該音響センサとして、そのディスプレイに装着されたマイクロホンアレイより構成することが好ましい。
【００１１】
また、本発明のＭＲシステムにおいて、起動手段を駆動する操作指示のための音響としては、操作者による拍手や指鳴らし等、種々の音響を採用し得るが、操作者が手に持って操作可能な音響発生部材によって発生させる音響であることが好ましい。
この場合、例えば、カスタネットやステッキ等の、マイクロホンアレイで拾い易い比較的高周波の音響を発生する音響発生部材を採用することにより、現実空間で自然に発生する環境音と操作指示のための音響とを区別し易くなるので、仮想空間に対する処理が誤って起動するのを極力防止することができる。
【００１２】
また、本発明の複合現実空間に対するイベント入力方法は、現実空間における操作者の位置及び方向を検出し、現実空間で発生した音響を検出し、所定の音源方向からの操作者による操作指示を示す前記音響に基づいて前記仮想空間に対する処理を起動することを特徴とする。
この入力方法によれば、所定の音源方向からの操作指示を示す音響に基づいて仮想空間に対する処理を起動するので、現実空間で発生した音響で複合現実空間へのイベント入力を行うことができる。
このため、従来のように操作者の視線を検出する視線検出手段を設ける必要がなく、ヘッドマウントディスプレイの構造を簡素化できるとともに、操作者の目の動きを常に捕捉しておく必要もないので、入力処理のための制御データ量が少なくて済み、比較的簡単なシステム構成で種々のイベント入力を実現することができる。
【００１３】
更に、本発明のヘッドマウントディスプレイは、現実空間における操作者の位置及び方向を検出する位置検出部と、現実空間で発生した音響を検出する音響センサとを備えており、表示部が、所定の音源方向からの操作者による操作指示を示す音響に基づいて起動された仮想画像を前記仮想空間に表示するものであることを特徴とする。
このディスプレイにおいても、所定の音源方向からの操作指示を示す音響に基づいて起動された仮想画像を仮想空間に表示するので、現実空間で発生した音響で複合現実空間へのイベント入力を行うことができる。
このため、従来のように操作者の視線を検出する視線検出手段を設ける必要がなく、ヘッドマウントディスプレイの構造を簡素化できるとともに、操作者の目の動きを常に捕捉しておく必要もないので、入力処理のための制御データ量が少なくて済み、比較的簡単なシステム構成で種々のイベント入力を実現することができる。
【発明の効果】
【００１４】
以上の通り、本発明によれば、現実空間で発生した音響で複合現実空間へのイベント入力を行えるので、比較的簡単なシステム構成で種々のイベント入力を実現することができる。
【発明を実施するための最良の形態】
【００１５】
以下、図面に基づいて、本発明の実施形態を説明する。
図１〜図３は、本発明の実施形態に係るＭＲシステムの一例を示している。
〔システムのハードウェア構成〕
図１は、上記ＭＲシステムのハードウェア構成を示している。
この図１に示すように、本実施形態のＭＲシステム１は、現実空間と仮想空間を重畳してリアルタイムで表示するヘッドマウントディスプレイ２と、現実空間で発生した音響を検出する音響センサとして機能するマイクロホンアレイ３と、その音響の音源方向推定用の第一処理コンピュータ４と、ＭＲ空間管理用の第二処理コンピュータ５と、現実空間における操作者Ｕの位置及び方向を検出する位置検出部１５の構成要素であるトランスミッタ１６とから主構成されている。
【００１６】
図２に示すように、ヘッドマウントディスプレイ２は、操作者Ｕの頭部に装着して使用されるもので、操作者Ｕの両目を覆った状態で装着されるゴーグル部８と、このゴーグル部８の左右両端部に取り付けられたヘッドバンド９とを備えている。
本実施形態のディスプレイ２は、ビデオシースルー方式であり、ゴーグル部８の内部における両眼とほぼ対応する位置に、ＣＣＤイメージセンサを有するビデオカメラ１０，１０を備えている。ゴーグル部８の前面部分の裏側には、それぞれ両眼に対応する表示画面１１，１１が左右両側に振り分けて配置されており、この各表示画面１１，１１に、第二処理コンピュータ５で生成された仮想空間の画像がステレオ方式で表示されるようになっている。
【００１７】
本実施形態では、上記ヘッドマウントディスプレイ２に、マイクロホンアレイ３が装着されている。このマイクロホンアレイ３は、ゴーグル部８の上面部分に固定された横長平板状の取付プレート１２と、この取付プレート１２の上面に固定された複数（図例では４つ）のマイクロホン１３よりなる。取付プレート１２の左右両端部は、ゴーグル部６の横幅よりも更に左右方向外側に突出しており、その突出部分に各マイクロホン１３が取り付けられている。
【００１８】
また、ヘッドマウントディスプレイ２のゴーグル部８には、前記位置検出部１５の構成要素である位置センサ１４が取り付けられている。
図１に戻り、本実施形態の位置検出部１５は、屋内の部屋（現実空間）の所定位置に固定されたトランスミッタ１６と、ディスプレイ２側に設けた上記位置センサ１４とからなる。トランスミッタ１６と位置センサ１４はそれぞれセンサコントローラ１７に接続されており、このコントローラ１７は第二処理コンピュータ５に接続されている。
トランスミッタ１６は、一定周波数の電磁波を所定半径の領域に放出しており、この領域内に入った電磁コイル式の位置センサ１４に発生する交流起電力を分析することでその絶対位置と方向が検出され、この位置センサ１４の絶対位置と方向（従って、操作者Ｕの頭部の絶対位置と方向）が、常時、第二処理コンピュータ５に送信されるようになっている。
【００１９】
また、ヘッドマウントディスプレイ２のビデオカメラ１０は、ＨＭＤコントローラ１８を介して第二処理コンピュータ５に接続されており、当該カメラ１０で撮影した映像も、上記第二処理コンピュータ５に送信されている。更に、ヘッドマウントディスプレイ２の表示画面１１は、中継ボックス１９を介して第二処理コンピュータ５に接続されており、この第二処理コンピュータ５で生成された仮想空間の画像が有線又は無線方式で表示画面１１に送信される。
【００２０】
他方、図１に示すように、マイクロホンアレイ３を構成する各マイクロホン１３は音響を増幅するアンプ２０に接続され、このアンプ２０はＡＤ変換器２１を介してに第一処理コンピュータ４に接続されている。従って、マイクロホン１３で検出された音響は、増幅及びデジタル信号に変換されて第一処理コンピュータ４に送信される。
また、第一処理コンピュータ４は、受信した音響データを分析して、その音源方向と周波数特性を認識し、その結果を第二処理コンピュータ５に送信する。
【００２１】
〔システムの機能〕
図３は、本実施形態のＭＲシステムの機能ブロック図を示している。
この図３に示すように、マイクロホンアレイ３で検出した音響は、音響入力部２３に入力される。この音響入力部２３は、前記マイクロホンアンプ２０とＡＤ変換器２１とから構成されており、当該音響入力部２３においてデジタル信号に変換された音響データは第一処理コンピュータ４に送られる。
【００２２】
第一処理コンピュータ４は、プログラマブルなパーソナルコンピュータ（ＰＣ）よりなり、所定の各機能を実行するプログラムを格納した記憶装置（ＨＤＤ等）を備えている。この第一処理コンピュータ４は、その記憶装置に格納したプログラムが実行する機能部として、音響分析部２４と、音源方向推定部２５と、操作指示認識部２６とを備えている。
このうち、音響分析部２４は、音響入力部２３から入力された音響のデジタル信号に高速フーリエ変換等の処理を行う。
【００２３】
操作指示認識部２６は、変換処理された音響データの周波数が、予め定めた所定の操作指示（操作者Ｕによるイベント入力）に対応する音響データの周波数に一致するか否かを認識し、一致する場合には、その認識信号を後述する第二処理コンピュータ５の画像生成部２８に送信する。
音源方向推定部２５は、所定の音源位置の推定アルゴリズムに基づいて音響データの音源方向を推定するものである。
【００２４】
上記の推定方法としては、ビームフォーミングによる音源方向推定法、ＭＵＳＩＣ法（MUltiple SIgnal Crassification）による音源方向推定法、最小分散法による音源方向推定法、及び、白色化相互相関法（ＣＳＰ法：Cross-Power Spectrum phase analysis）による音源方向推定法等、種々のものを採用することができるが、この中でもＣＳＰ法は、２ｃｈのマイクロホンで音響方向を推定できることから、他の手法よりも計算量が少ない点で有利な手法である。
【００２５】
他方、音源方向推定部２５は、ヘッドマウントディスプレイ２の位置センサ１４が検出した操作者Ｕの頭部の絶対位置及び方向を常時受信しており、この絶対位置及び方向と、前記推定方法で推定した音響データの音源方向に基づいて、操作者Ｕから見た音源方向を演算する。この操作者Ｕから見た音源方向は、後述する第二処理コンピュータ５の画像生成部２８に送信される。
従って、本実施形態では、上記の音源方向推定部２５と操作指示認識部２６とから、マイクロホンアレイ３で検出した音響の操作者Ｕから見た音源方向と、当該音響が操作者Ｕによる操作指示か否かを認識する音響認識手段が構成されている。
【００２６】
前記第二処理コンピュータ５も、プログラマブルなパーソナルコンピュータ（ＰＣ）よりなり、所定の各機能を実行するプログラムを格納した記憶装置（ＨＤＤ等）を備えている。この第二処理コンピュータ５は、その記憶装置に格納したプログラムが実行する機能部として、仮想空間管理部２７と、画像生成部２８とを備えている。
このうち、仮想空間管理部２７は、ヘッドマウントディスプレイ２のビデオカメラ１０で撮像された映像を元に、三次元のＣＧ画像よりなる仮想空間を生成するものであり、ビデオシースルー方式のディスプレイ２を使用する本実施形態では、ビデオカメラ１０で撮像された映像と同じＣＧ画像が生成される。
【００２７】
他方、画像生成部２８には、仮想空間管理部２７で生成された仮想空間であるＣＧ画像と、トランスミッタ１６で検出された操作者Ｕの頭部の絶対位置及び方向が常時入力されている。画像生成部２８は、予め定められた人工的な仮想画像（例えば、図４に示す操作アイコン３０Ａ〜３０Ｄや図５に示す仮想配線３３等）をＣＧ画像に合成し、ヘッドマウントディスプレイ２の表示画面１１に表示させる。
また、画像生成部２８は、音源方向推定部２５から入力された操作者Ｕから見た音源方向と、操作指示認識部２６から入力された認識信号を受信すると、仮想空間である上記ＣＧ画像に対する所定の合成処理を起動し、その処理内容に対応する仮想画像（例えば、図５に示す仮想配管３３や図６に示す詳細説明３５）をヘッドマウントディスプレイ２の表示画面１１に表示させる。
【００２８】
〔イベント入力と処理の応用例（１）〕
図４は、上記ＭＲシステムで行えるイベント入力と処理の応用例の一つを示している。
この応用例では、操作者Ｕの頭部の手前に、仮想空間に対する合成画像である複数の操作アイコン３０Ａ〜３０Ｄが横並びで表示されており、操作者Ｕは、この操作アイコン３０Ａ〜３０Ｄに対する音響発生部材よりなる入力デバイスとして、カスタネット３１を手に持っている。
そこで、操作者Ｕがある特定の操作アイコン３０Ｃの場所でカスタネット３１を鳴らすと、第二処理コンピュータ５の画像生成部２８が当該操作アイコン３０Ｃが操作者Ｕによって選択されたと判断し、その操作アイコン３０Ｃに対応する所定の処理（例えば、仮想画像の一種である次のメニュー画面への移動）を起動するようになっている。
【００２９】
〔イベント入力と処理の応用例（２）〕
図５は、上記ＭＲシステムで行えるイベント入力と処理の他の応用例を示している。
この応用例では、操作者Ｕは、音響発生部材よりなる入力デバイスとして、ステッキ３２を手に持っている。
そこで、操作者Ｕが現実空間を構成する部屋内の床を叩くと（図５（ａ）参照）、第二処理コンピュータ５の画像生成部２８が操作者Ｕによって叩かれた床の位置が選択されたと判断し、その位置に床下に埋設された仮想配線３３を合成する処理を起動するようになっている（図５（ｂ）参照）。
【００３０】
〔イベント入力と処理の応用例（３）〕
図６は、上記ＭＲシステムで行えるイベント入力と処理の他の応用例を示している。
この応用例では、操作者Ｕは、操作者Ｕの前方の仮想空間の壁面に、複数の写真や絵画等よりなる表示物３４Ａ〜３４Ｃが横並びで表示されており、操作者Ｕは、この表示物３４Ａ〜３４Ｃに対する音響発生部材よりなる入力デバイスとして、カスタネット３１を手に持っている。
そこで、操作者Ｕがある特定の表示物３０Ｂの場所でカスタネット３１を鳴らすと、第二処理コンピュータ５の画像生成部２８が当該表示物３０Ｂが操作者Ｕによって選択されたと判断し、その表示物３０Ｂに対応する詳細説明３５を起動するようになっている。
【００３１】
このように、本実施形態のＭＲシステム１によれば、マイクロホンアレイ３で検出した音響の操作者Ｕから見た音源方向と、当該音響が操作者Ｕによる操作指示か否かを認識し、認識された所定の音源方向からの操作指示に基づいて仮想空間に対する処理を起動するようにしたので、現実空間で発生した音響で複合現実空間へのイベント入力を行うことができる。
従って、上記各応用例（図４〜図６）に示すように、入力デバイスとしてカスタネット３１やステッキ３２といった簡単な構造の音響発生部材を使用することができる。なお、操作者Ｕによる拍手や指鳴らしによって入力することも可能である。
【００３２】
本発明は上記実施形態に限定されるものではない。
例えば、マイクロホンアレイ３は必ずしもヘッドマウントディスプレイ２に取り付けられている必要はなく、そのディスプレイ２と別体であってもよい。もっとも、前記した通り、操作入力となる音源方向の推定精度を向上させる観点からは、マイクロホンアレイ３を操作者Ｕに装着することが好ましい。
また、上記ＭＲシステムでは、二台の処理コンピュータ４，５を使用しているが、これらのコンピュータ４，５を一台に纏めることもでき、また、操作者Ｕが携帯可能なウェアラブルなコンピュータを採用することもできる。
【００３３】
更に、上記ＭＲシステムでは、ヘッドマウントディスプレイ２としてビデオシースルー方式のものを採用しているが、光学シースルー方式のディスプレイを採用することもできる。
また、本発明のＭＲシステムは、屋内だけでなく、屋外を移動する操作者Ｕに適用することもできる。この場合には、操作者ＵがＧＰＳと姿勢センサを携帯することにより、操作者Ｕの絶対位置と方向を計測するシステム構成にすればよい。また、この場合、環境側に位置を特定するＩｒＤＡセンサやＲＦＩＤタグを設置し、この環境インフラと操作者Ｕが携帯する歩数計によって操作者Ｕの位置を計測するようにしてもよい。
【産業上の利用可能性】
【００３４】
以上の通り、本発明は、複合現実空間に対する音響による汎用性のあるイベント入力の手法を提供するものであり、複合現実空間に対する対話型の操作インタフェースとしてその応用範囲は広範である。
例えば、本発明は、製造現場や建物での不具合箇所の早期発見（図５参照）、美術館等のアミューズメント施設での顧客サービス（図６参照）、及び、屋外での交通ナビゲーション等に応用することができる。
【図面の簡単な説明】
【００３５】
【図１】ＭＲシステムのハードウェア構成を示す全体構成図である。
【図２】ヘッドマウントディスプレイの斜視図である。
【図３】ＭＲシステムの機能ブロック図である。
【図４】イベント入力と処理の応用例を示す図であり、操作者が操作アイコンの位置でカスタネットを鳴らしている状態を示す。
【図５】イベント入力と処理の他の応用例を示す図であり、（ａ）は操作者が床をステッキで叩く状態を示し、（ｂ）はその叩いた部分に仮想配線が表示された状態を示す。
【図６】イベント入力と処理の他の応用例を示す図であり、（ａ）は操作者が表示物の手前でカスタネットを鳴らす状態を示し、（ｂ）は選択された表示物の詳細説明が表示された状態を示す。
【符号の説明】
【００３６】
１ 複合現実感システム
２ ヘッドマウントディスプレイ
３ マイクロホンアレイ（音響センサ）
４ 第一処理コンピュータ
５ 第二処理コンピュータ
１１ 表示画面（表示部）
１２ 取付プレート
１３ マイクロホン
１４ 位置センサ
１５ 位置検出部
１６ トランスミッタ
２３ 音響入力部
２４ 音響分析部
２５ 音源方向推定部（音響認識手段）
２６ 操作指示認識部（音響認識手段）
２７ 仮想空間管理部
２８ 画像生成部（起動手段）
３１ カスタネット（音響発生部材）
３２ ステッキ（音響発生部材）
３３ 仮想配管（仮想画像）
３５ 詳細説明（仮想画像）
Ｕ 操作者
【技術分野】
【０００１】
本発明は、操作者が装着した表示部に現実空間と三次元の仮想空間を重畳してリアルタイムで表示する複合現実感システムと、そのイベント入力方法、及び、同システムに使用するヘッドマウントディスプレイに関するものである。
【背景技術】
【０００２】
従来、三次元の仮想空間をリアルタイムで可視化した映像を操作者に表示する複合現実感システムにおいて、複合現実感（ＭＲ：Mixed Reality）を構成する仮想空間を起動させるイベント入力（操作入力）の方法として、操作者が自ら発した音声をヘッドマウントディスプレイ（ＨＭＤ：Head Mounted Display）に装着したマイクロホンで取得し、このマイクロホンで取得した所定の音声命令を認識して、システムを起動させるものがある（特許文献１参照）。
【０００３】
また、音声とは異なるイベント入力の方法を採用したＭＲシステムとして、現実空間における物体の動きを検知する検知手段と、操作入力のための表示要素をヘッドマウントディスプレイの表示部に表示させ、この表示要素に対応して操作者の身体が所定の動きを見せた場合に当該表示要素に対応する処理を起動させる制御手段とを備えたものがある。
より具体的には、上記検知手段は、操作者の視線を検出する視線検出手段よりなり、上記制御手段は、表示要素に対して操作者の視線が所定方向にあること又は所定動作をしたことが検出すると、表示要素に対する処理を起動させるようになっている（特許文献２参照）。
【０００４】
【特許文献１】特開平１０−２８９０３４号公報（請求項１及び８）
【特許文献２】特開平８−６７０８号公報（請求項１及び２）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、上記特許文献１に記載の音声入力方法では、音声の位置情報を取得しておらず、現実空間における音声の三次元空間情報を利用していないので、システムそのものを起動するイベント入力としては比較的簡単に利用できるが、既に表示された仮想空間の画像に対するイベント入力として利用するためには、現実空間と仮想空間を結びつけるための位置センサが別途必要であり、このセンサで検出した位置情報と音声命令を連動させる必要があるので、システム構成が非常に複雑になるという欠点がある。
【０００６】
一方、上記特許文献２に記載のイベント入力方法では、現実空間における物体の動きを検知する検知手段が、操作者の視線を検出する視線検出手段により構成されているので、ヘッドマウントディスプレイの構造が複雑になって製作コストが嵩むとともに、操作者の目の動きを制御手段によって常に捕捉しておく必要があるので、入力処理のための制御データ量が多くなり、システム構成が大型にならざるを得ないという欠点がある。
【０００７】
本発明は、このような実情に鑑み、現実空間で発生した音響で複合現実空間へのイベント入力を行えるようにして、比較的簡単なシステム構成で種々のイベント入力を実現することができる複合現実感システムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の複合現実感システム（以下、ＭＲシステムという。）は、現実空間における操作者の位置及び方向を検出する位置検出部と、現実空間で発生した音響を検出する音響センサと、前記音響センサで検出した音響の操作者から見た音源方向と、当該音響が操作者による操作指示か否かを認識する音響認識手段と、前記音響認識手段で認識された所定の音源方向からの操作指示に基づいて前記仮想空間に対する処理を起動する起動手段とを備えていることを特徴とする。
【０００９】
本発明によれば、音響センサで検出した音響の操作者から見た音源方向と、当該音響が操作者による操作指示か否かを認識し、認識された所定の音源方向からの操作指示に基づいて仮想空間に対する処理を起動するようにしたので、現実空間で発生した音響で複合現実空間へのイベント入力を行うことができる。
このため、従来のように操作者の視線を検出する視線検出手段を設ける必要がなく、ヘッドマウントディスプレイの構造を簡素化できるとともに、操作者の目の動きを常に捕捉しておく必要もないので、入力処理のための制御データ量が少なくて済み、比較的簡単なシステム構成で種々のイベント入力を実現することができる。
【００１０】
本発明のＭＲシステムにおいて、前記音響センサとしては、現実空間で発生した音響の操作者から見た音源方向とその周波数特性を特定できる限り、その設置場所は時に限定されない。しかし、当該音響センサとして現実空間に固定したマイクロホンアレイを採用すると、マイクロホンアレイで拾った音源方向を操作者から見た音源方向に変換する必要があるため、音源方向の推定精度が悪化する恐れがある。
そこで、音源方向の推定をより高精度に行うためには、操作者自身に装着可能なウェアラブルなものであることが好ましく、特に、表示部が、操作者の頭部に装着可能なヘッドマウントディスプレイの表示画面よりなる場合には、当該音響センサとして、そのディスプレイに装着されたマイクロホンアレイより構成することが好ましい。
【００１１】
また、本発明のＭＲシステムにおいて、起動手段を駆動する操作指示のための音響としては、操作者による拍手や指鳴らし等、種々の音響を採用し得るが、操作者が手に持って操作可能な音響発生部材によって発生させる音響であることが好ましい。
この場合、例えば、カスタネットやステッキ等の、マイクロホンアレイで拾い易い比較的高周波の音響を発生する音響発生部材を採用することにより、現実空間で自然に発生する環境音と操作指示のための音響とを区別し易くなるので、仮想空間に対する処理が誤って起動するのを極力防止することができる。
【００１２】
また、本発明の複合現実空間に対するイベント入力方法は、現実空間における操作者の位置及び方向を検出し、現実空間で発生した音響を検出し、所定の音源方向からの操作者による操作指示を示す前記音響に基づいて前記仮想空間に対する処理を起動することを特徴とする。
この入力方法によれば、所定の音源方向からの操作指示を示す音響に基づいて仮想空間に対する処理を起動するので、現実空間で発生した音響で複合現実空間へのイベント入力を行うことができる。
このため、従来のように操作者の視線を検出する視線検出手段を設ける必要がなく、ヘッドマウントディスプレイの構造を簡素化できるとともに、操作者の目の動きを常に捕捉しておく必要もないので、入力処理のための制御データ量が少なくて済み、比較的簡単なシステム構成で種々のイベント入力を実現することができる。
【００１３】
更に、本発明のヘッドマウントディスプレイは、現実空間における操作者の位置及び方向を検出する位置検出部と、現実空間で発生した音響を検出する音響センサとを備えており、表示部が、所定の音源方向からの操作者による操作指示を示す音響に基づいて起動された仮想画像を前記仮想空間に表示するものであることを特徴とする。
このディスプレイにおいても、所定の音源方向からの操作指示を示す音響に基づいて起動された仮想画像を仮想空間に表示するので、現実空間で発生した音響で複合現実空間へのイベント入力を行うことができる。
このため、従来のように操作者の視線を検出する視線検出手段を設ける必要がなく、ヘッドマウントディスプレイの構造を簡素化できるとともに、操作者の目の動きを常に捕捉しておく必要もないので、入力処理のための制御データ量が少なくて済み、比較的簡単なシステム構成で種々のイベント入力を実現することができる。
【発明の効果】
【００１４】
以上の通り、本発明によれば、現実空間で発生した音響で複合現実空間へのイベント入力を行えるので、比較的簡単なシステム構成で種々のイベント入力を実現することができる。
【発明を実施するための最良の形態】
【００１５】
以下、図面に基づいて、本発明の実施形態を説明する。
図１〜図３は、本発明の実施形態に係るＭＲシステムの一例を示している。
〔システムのハードウェア構成〕
図１は、上記ＭＲシステムのハードウェア構成を示している。
この図１に示すように、本実施形態のＭＲシステム１は、現実空間と仮想空間を重畳してリアルタイムで表示するヘッドマウントディスプレイ２と、現実空間で発生した音響を検出する音響センサとして機能するマイクロホンアレイ３と、その音響の音源方向推定用の第一処理コンピュータ４と、ＭＲ空間管理用の第二処理コンピュータ５と、現実空間における操作者Ｕの位置及び方向を検出する位置検出部１５の構成要素であるトランスミッタ１６とから主構成されている。
【００１６】
図２に示すように、ヘッドマウントディスプレイ２は、操作者Ｕの頭部に装着して使用されるもので、操作者Ｕの両目を覆った状態で装着されるゴーグル部８と、このゴーグル部８の左右両端部に取り付けられたヘッドバンド９とを備えている。
本実施形態のディスプレイ２は、ビデオシースルー方式であり、ゴーグル部８の内部における両眼とほぼ対応する位置に、ＣＣＤイメージセンサを有するビデオカメラ１０，１０を備えている。ゴーグル部８の前面部分の裏側には、それぞれ両眼に対応する表示画面１１，１１が左右両側に振り分けて配置されており、この各表示画面１１，１１に、第二処理コンピュータ５で生成された仮想空間の画像がステレオ方式で表示されるようになっている。
【００１７】
本実施形態では、上記ヘッドマウントディスプレイ２に、マイクロホンアレイ３が装着されている。このマイクロホンアレイ３は、ゴーグル部８の上面部分に固定された横長平板状の取付プレート１２と、この取付プレート１２の上面に固定された複数（図例では４つ）のマイクロホン１３よりなる。取付プレート１２の左右両端部は、ゴーグル部６の横幅よりも更に左右方向外側に突出しており、その突出部分に各マイクロホン１３が取り付けられている。
【００１８】
また、ヘッドマウントディスプレイ２のゴーグル部８には、前記位置検出部１５の構成要素である位置センサ１４が取り付けられている。
図１に戻り、本実施形態の位置検出部１５は、屋内の部屋（現実空間）の所定位置に固定されたトランスミッタ１６と、ディスプレイ２側に設けた上記位置センサ１４とからなる。トランスミッタ１６と位置センサ１４はそれぞれセンサコントローラ１７に接続されており、このコントローラ１７は第二処理コンピュータ５に接続されている。
トランスミッタ１６は、一定周波数の電磁波を所定半径の領域に放出しており、この領域内に入った電磁コイル式の位置センサ１４に発生する交流起電力を分析することでその絶対位置と方向が検出され、この位置センサ１４の絶対位置と方向（従って、操作者Ｕの頭部の絶対位置と方向）が、常時、第二処理コンピュータ５に送信されるようになっている。
【００１９】
また、ヘッドマウントディスプレイ２のビデオカメラ１０は、ＨＭＤコントローラ１８を介して第二処理コンピュータ５に接続されており、当該カメラ１０で撮影した映像も、上記第二処理コンピュータ５に送信されている。更に、ヘッドマウントディスプレイ２の表示画面１１は、中継ボックス１９を介して第二処理コンピュータ５に接続されており、この第二処理コンピュータ５で生成された仮想空間の画像が有線又は無線方式で表示画面１１に送信される。
【００２０】
他方、図１に示すように、マイクロホンアレイ３を構成する各マイクロホン１３は音響を増幅するアンプ２０に接続され、このアンプ２０はＡＤ変換器２１を介してに第一処理コンピュータ４に接続されている。従って、マイクロホン１３で検出された音響は、増幅及びデジタル信号に変換されて第一処理コンピュータ４に送信される。
また、第一処理コンピュータ４は、受信した音響データを分析して、その音源方向と周波数特性を認識し、その結果を第二処理コンピュータ５に送信する。
【００２１】
〔システムの機能〕
図３は、本実施形態のＭＲシステムの機能ブロック図を示している。
この図３に示すように、マイクロホンアレイ３で検出した音響は、音響入力部２３に入力される。この音響入力部２３は、前記マイクロホンアンプ２０とＡＤ変換器２１とから構成されており、当該音響入力部２３においてデジタル信号に変換された音響データは第一処理コンピュータ４に送られる。
【００２２】
第一処理コンピュータ４は、プログラマブルなパーソナルコンピュータ（ＰＣ）よりなり、所定の各機能を実行するプログラムを格納した記憶装置（ＨＤＤ等）を備えている。この第一処理コンピュータ４は、その記憶装置に格納したプログラムが実行する機能部として、音響分析部２４と、音源方向推定部２５と、操作指示認識部２６とを備えている。
このうち、音響分析部２４は、音響入力部２３から入力された音響のデジタル信号に高速フーリエ変換等の処理を行う。
【００２３】
操作指示認識部２６は、変換処理された音響データの周波数が、予め定めた所定の操作指示（操作者Ｕによるイベント入力）に対応する音響データの周波数に一致するか否かを認識し、一致する場合には、その認識信号を後述する第二処理コンピュータ５の画像生成部２８に送信する。
音源方向推定部２５は、所定の音源位置の推定アルゴリズムに基づいて音響データの音源方向を推定するものである。
【００２４】
上記の推定方法としては、ビームフォーミングによる音源方向推定法、ＭＵＳＩＣ法（MUltiple SIgnal Crassification）による音源方向推定法、最小分散法による音源方向推定法、及び、白色化相互相関法（ＣＳＰ法：Cross-Power Spectrum phase analysis）による音源方向推定法等、種々のものを採用することができるが、この中でもＣＳＰ法は、２ｃｈのマイクロホンで音響方向を推定できることから、他の手法よりも計算量が少ない点で有利な手法である。
【００２５】
他方、音源方向推定部２５は、ヘッドマウントディスプレイ２の位置センサ１４が検出した操作者Ｕの頭部の絶対位置及び方向を常時受信しており、この絶対位置及び方向と、前記推定方法で推定した音響データの音源方向に基づいて、操作者Ｕから見た音源方向を演算する。この操作者Ｕから見た音源方向は、後述する第二処理コンピュータ５の画像生成部２８に送信される。
従って、本実施形態では、上記の音源方向推定部２５と操作指示認識部２６とから、マイクロホンアレイ３で検出した音響の操作者Ｕから見た音源方向と、当該音響が操作者Ｕによる操作指示か否かを認識する音響認識手段が構成されている。
【００２６】
前記第二処理コンピュータ５も、プログラマブルなパーソナルコンピュータ（ＰＣ）よりなり、所定の各機能を実行するプログラムを格納した記憶装置（ＨＤＤ等）を備えている。この第二処理コンピュータ５は、その記憶装置に格納したプログラムが実行する機能部として、仮想空間管理部２７と、画像生成部２８とを備えている。
このうち、仮想空間管理部２７は、ヘッドマウントディスプレイ２のビデオカメラ１０で撮像された映像を元に、三次元のＣＧ画像よりなる仮想空間を生成するものであり、ビデオシースルー方式のディスプレイ２を使用する本実施形態では、ビデオカメラ１０で撮像された映像と同じＣＧ画像が生成される。
【００２７】
他方、画像生成部２８には、仮想空間管理部２７で生成された仮想空間であるＣＧ画像と、トランスミッタ１６で検出された操作者Ｕの頭部の絶対位置及び方向が常時入力されている。画像生成部２８は、予め定められた人工的な仮想画像（例えば、図４に示す操作アイコン３０Ａ〜３０Ｄや図５に示す仮想配線３３等）をＣＧ画像に合成し、ヘッドマウントディスプレイ２の表示画面１１に表示させる。
また、画像生成部２８は、音源方向推定部２５から入力された操作者Ｕから見た音源方向と、操作指示認識部２６から入力された認識信号を受信すると、仮想空間である上記ＣＧ画像に対する所定の合成処理を起動し、その処理内容に対応する仮想画像（例えば、図５に示す仮想配管３３や図６に示す詳細説明３５）をヘッドマウントディスプレイ２の表示画面１１に表示させる。
【００２８】
〔イベント入力と処理の応用例（１）〕
図４は、上記ＭＲシステムで行えるイベント入力と処理の応用例の一つを示している。
この応用例では、操作者Ｕの頭部の手前に、仮想空間に対する合成画像である複数の操作アイコン３０Ａ〜３０Ｄが横並びで表示されており、操作者Ｕは、この操作アイコン３０Ａ〜３０Ｄに対する音響発生部材よりなる入力デバイスとして、カスタネット３１を手に持っている。
そこで、操作者Ｕがある特定の操作アイコン３０Ｃの場所でカスタネット３１を鳴らすと、第二処理コンピュータ５の画像生成部２８が当該操作アイコン３０Ｃが操作者Ｕによって選択されたと判断し、その操作アイコン３０Ｃに対応する所定の処理（例えば、仮想画像の一種である次のメニュー画面への移動）を起動するようになっている。
【００２９】
〔イベント入力と処理の応用例（２）〕
図５は、上記ＭＲシステムで行えるイベント入力と処理の他の応用例を示している。
この応用例では、操作者Ｕは、音響発生部材よりなる入力デバイスとして、ステッキ３２を手に持っている。
そこで、操作者Ｕが現実空間を構成する部屋内の床を叩くと（図５（ａ）参照）、第二処理コンピュータ５の画像生成部２８が操作者Ｕによって叩かれた床の位置が選択されたと判断し、その位置に床下に埋設された仮想配線３３を合成する処理を起動するようになっている（図５（ｂ）参照）。
【００３０】
〔イベント入力と処理の応用例（３）〕
図６は、上記ＭＲシステムで行えるイベント入力と処理の他の応用例を示している。
この応用例では、操作者Ｕは、操作者Ｕの前方の仮想空間の壁面に、複数の写真や絵画等よりなる表示物３４Ａ〜３４Ｃが横並びで表示されており、操作者Ｕは、この表示物３４Ａ〜３４Ｃに対する音響発生部材よりなる入力デバイスとして、カスタネット３１を手に持っている。
そこで、操作者Ｕがある特定の表示物３０Ｂの場所でカスタネット３１を鳴らすと、第二処理コンピュータ５の画像生成部２８が当該表示物３０Ｂが操作者Ｕによって選択されたと判断し、その表示物３０Ｂに対応する詳細説明３５を起動するようになっている。
【００３１】
このように、本実施形態のＭＲシステム１によれば、マイクロホンアレイ３で検出した音響の操作者Ｕから見た音源方向と、当該音響が操作者Ｕによる操作指示か否かを認識し、認識された所定の音源方向からの操作指示に基づいて仮想空間に対する処理を起動するようにしたので、現実空間で発生した音響で複合現実空間へのイベント入力を行うことができる。
従って、上記各応用例（図４〜図６）に示すように、入力デバイスとしてカスタネット３１やステッキ３２といった簡単な構造の音響発生部材を使用することができる。なお、操作者Ｕによる拍手や指鳴らしによって入力することも可能である。
【００３２】
本発明は上記実施形態に限定されるものではない。
例えば、マイクロホンアレイ３は必ずしもヘッドマウントディスプレイ２に取り付けられている必要はなく、そのディスプレイ２と別体であってもよい。もっとも、前記した通り、操作入力となる音源方向の推定精度を向上させる観点からは、マイクロホンアレイ３を操作者Ｕに装着することが好ましい。
また、上記ＭＲシステムでは、二台の処理コンピュータ４，５を使用しているが、これらのコンピュータ４，５を一台に纏めることもでき、また、操作者Ｕが携帯可能なウェアラブルなコンピュータを採用することもできる。
【００３３】
更に、上記ＭＲシステムでは、ヘッドマウントディスプレイ２としてビデオシースルー方式のものを採用しているが、光学シースルー方式のディスプレイを採用することもできる。
また、本発明のＭＲシステムは、屋内だけでなく、屋外を移動する操作者Ｕに適用することもできる。この場合には、操作者ＵがＧＰＳと姿勢センサを携帯することにより、操作者Ｕの絶対位置と方向を計測するシステム構成にすればよい。また、この場合、環境側に位置を特定するＩｒＤＡセンサやＲＦＩＤタグを設置し、この環境インフラと操作者Ｕが携帯する歩数計によって操作者Ｕの位置を計測するようにしてもよい。
【産業上の利用可能性】
【００３４】
以上の通り、本発明は、複合現実空間に対する音響による汎用性のあるイベント入力の手法を提供するものであり、複合現実空間に対する対話型の操作インタフェースとしてその応用範囲は広範である。
例えば、本発明は、製造現場や建物での不具合箇所の早期発見（図５参照）、美術館等のアミューズメント施設での顧客サービス（図６参照）、及び、屋外での交通ナビゲーション等に応用することができる。
【図面の簡単な説明】
【００３５】
【図１】ＭＲシステムのハードウェア構成を示す全体構成図である。
【図２】ヘッドマウントディスプレイの斜視図である。
【図３】ＭＲシステムの機能ブロック図である。
【図４】イベント入力と処理の応用例を示す図であり、操作者が操作アイコンの位置でカスタネットを鳴らしている状態を示す。
【図５】イベント入力と処理の他の応用例を示す図であり、（ａ）は操作者が床をステッキで叩く状態を示し、（ｂ）はその叩いた部分に仮想配線が表示された状態を示す。
【図６】イベント入力と処理の他の応用例を示す図であり、（ａ）は操作者が表示物の手前でカスタネットを鳴らす状態を示し、（ｂ）は選択された表示物の詳細説明が表示された状態を示す。
【符号の説明】
【００３６】
１ 複合現実感システム
２ ヘッドマウントディスプレイ
３ マイクロホンアレイ（音響センサ）
４ 第一処理コンピュータ
５ 第二処理コンピュータ
１１ 表示画面（表示部）
１２ 取付プレート
１３ マイクロホン
１４ 位置センサ
１５ 位置検出部
１６ トランスミッタ
２３ 音響入力部
２４ 音響分析部
２５ 音源方向推定部（音響認識手段）
２６ 操作指示認識部（音響認識手段）
２７ 仮想空間管理部
２８ 画像生成部（起動手段）
３１ カスタネット（音響発生部材）
３２ ステッキ（音響発生部材）
３３ 仮想配管（仮想画像）
３５ 詳細説明（仮想画像）
Ｕ 操作者
【特許請求の範囲】
【請求項１】
操作者が装着した表示部に現実空間と仮想空間を重畳してリアルタイムで表示する複合現実感システムであって、
現実空間における操作者の位置及び方向を検出する位置検出部と、
現実空間で発生した音響を検出する音響センサと、
前記音響センサで検出した音響の操作者から見た音源方向と、当該音響が操作者による操作指示か否かを認識する音響認識手段と、
前記音響認識手段で認識された所定の音源方向からの操作指示に基づいて前記仮想空間に対する処理を起動する起動手段と
を備えていることを特徴とする複合現実感システム。
【請求項２】
前記表示部は、操作者の頭部に装着可能なヘッドマウントディスプレイの表示画面よりなり、前記音響センサは、そのヘッドマウントディスプレイに装着されたマイクロホンアレイよりなる請求項１に記載の複合現実感システム。
【請求項３】
前記操作指示は、操作者が手に持って操作可能な音響発生部材によって発生させる音響よりなる請求項１又は２に記載の複合現実感システム。
【請求項４】
操作者が装着した表示部に現実空間と仮想空間を重畳してリアルタイムで表示してなる複合現実空間に対するイベント入力方法であって、
現実空間における操作者の位置及び方向を検出し、現実空間で発生した音響を検出し、所定の音源方向からの操作者による操作指示を示す前記音響に基づいて前記仮想空間に対する処理を起動することを特徴とする複合現実空間に対するイベント入力方法。
【請求項５】
操作者の頭部に装着可能であり、現実空間と仮想空間を重畳してリアルタイムで表示する表示部を有するヘッドマウントディスプレイであって、
現実空間における操作者の位置及び方向を検出する位置検出部と、現実空間で発生した音響を検出する音響センサとを備えており、
前記表示部は、所定の音源方向からの操作者による操作指示を示す音響に基づいて起動された仮想画像を前記仮想空間に表示するものであることを特徴とするヘッドマウントディスプレイ。
【請求項１】
操作者が装着した表示部に現実空間と仮想空間を重畳してリアルタイムで表示する複合現実感システムであって、
現実空間における操作者の位置及び方向を検出する位置検出部と、
現実空間で発生した音響を検出する音響センサと、
前記音響センサで検出した音響の操作者から見た音源方向と、当該音響が操作者による操作指示か否かを認識する音響認識手段と、
前記音響認識手段で認識された所定の音源方向からの操作指示に基づいて前記仮想空間に対する処理を起動する起動手段と
を備えていることを特徴とする複合現実感システム。
【請求項２】
前記表示部は、操作者の頭部に装着可能なヘッドマウントディスプレイの表示画面よりなり、前記音響センサは、そのヘッドマウントディスプレイに装着されたマイクロホンアレイよりなる請求項１に記載の複合現実感システム。
【請求項３】
前記操作指示は、操作者が手に持って操作可能な音響発生部材によって発生させる音響よりなる請求項１又は２に記載の複合現実感システム。
【請求項４】
操作者が装着した表示部に現実空間と仮想空間を重畳してリアルタイムで表示してなる複合現実空間に対するイベント入力方法であって、
現実空間における操作者の位置及び方向を検出し、現実空間で発生した音響を検出し、所定の音源方向からの操作者による操作指示を示す前記音響に基づいて前記仮想空間に対する処理を起動することを特徴とする複合現実空間に対するイベント入力方法。
【請求項５】
操作者の頭部に装着可能であり、現実空間と仮想空間を重畳してリアルタイムで表示する表示部を有するヘッドマウントディスプレイであって、
現実空間における操作者の位置及び方向を検出する位置検出部と、現実空間で発生した音響を検出する音響センサとを備えており、
前記表示部は、所定の音源方向からの操作者による操作指示を示す音響に基づいて起動された仮想画像を前記仮想空間に表示するものであることを特徴とするヘッドマウントディスプレイ。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２００８−６５６７５（Ｐ２００８−６５６７５Ａ）
【公開日】平成２０年３月２１日（２００８．３．２１）
【国際特許分類】
【出願番号】特願２００６−２４３９５２（Ｐ２００６−２４３９５２）
【出願日】平成１８年９月８日（２００６．９．８）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り ２００６年３月８日 社団法人 電子情報通信学会発行の「電子情報通信学会 ２００６総合大会講演論文集 Ａ−１６−３０」に発表
【出願人】（５９３００６６３０）学校法人立命館 (359)
【Ｆターム（参考）】
【公開日】平成２０年３月２１日（２００８．３．２１）
【国際特許分類】
【出願日】平成１８年９月８日（２００６．９．８）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り ２００６年３月８日 社団法人 電子情報通信学会発行の「電子情報通信学会 ２００６総合大会講演論文集 Ａ−１６−３０」に発表
【出願人】（５９３００６６３０）学校法人立命館 (359)
【Ｆターム（参考）】
[ Back to top ]