音源環境復元システム、自動音源環境復元装置、音源環境復元方法及び音源環境復元プログラム
【課題】 複数の情報処理装置の各モニタ部に表示された操作領域上の物体画像が共通のソフトウエアの実行領域上で動作している場合に、その実行領域全体から見た各物体の動作状況を複数のスピーカからの出力音声により把握可能とする。
【解決手段】 情報処理装置１０のモニタ部１３に表示された物体画像に関する各種情報が解析され画像解析情報として自動音源環境復元装置３０へ送信される。自動音源環境復元装置３０の画像情報復元部３３において、複数の情報処理装置１０から送信されてきた画像解析情報に含まれる音声情報のそれぞれが統合され、物体位置情報等の示す物体等と聴音可能空間における基準点との位置関係にもとづいて復元され、この復元音声信号が複数のスピーカ２０へ送られ復元音声が出力される。
【解決手段】 情報処理装置１０のモニタ部１３に表示された物体画像に関する各種情報が解析され画像解析情報として自動音源環境復元装置３０へ送信される。自動音源環境復元装置３０の画像情報復元部３３において、複数の情報処理装置１０から送信されてきた画像解析情報に含まれる音声情報のそれぞれが統合され、物体位置情報等の示す物体等と聴音可能空間における基準点との位置関係にもとづいて復元され、この復元音声信号が複数のスピーカ２０へ送られ復元音声が出力される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置のモニタ部に表示された複数次元の物体画像の動作に応じて、その物体画像に関する音声を複数のスピーカに出力させる音源環境復元システム、自動音源環境復元装置、音源環境復元方法及び音源環境復元プログラムに関し、特に、複数のスピーカからの出力音に対して各スピーカごとに異なった制御を行う音源環境復元システム、自動音源環境復元装置、音源環境復元方法及び音源環境復元プログラムに関する。
【背景技術】
【０００２】
近年、パーソナルコンピュータ（パソコン）は、その低価格化や高性能化により、企業だけでなく一般家庭にまで普及してきている。また、ソフトウエアについても、一般向けに多種多様な製品が開発され販売されている。中でもゲームソフトは、その種類も豊富であり、一台のパソコンで行われるものから、最近ではいわゆるオンラインゲームあるいはネットワークゲームと呼ばれるもの（複数のパソコンでネットワークを介して行われるゲーム）まで多数のものが市場に出回っている。
【０００３】
ところで、パソコン上でゲームソフトの実行が開始されると、通常、そのゲーム用の画面がモニタ部に表示され、さらに、パソコンに備えられたスピーカからは音声が出力される。
音声としては、例えば、ＢＧＭ（Ｂａｃｋ Ｇｒｏｕｎｄ Ｍｕｓｉｃ）や効果音（例として、ボードゲームにおいて駒が置かれたときの音や、格闘ゲームにおいて攻撃を受けたときの音等）などがあるが、従来は、ゲームの進行状況（表示された物体の動作など）に応じて音声が選択され出力されていた。
【０００４】
ところが、スピーカが複数備えられた場合、モニタ部に表示された物体の動作と、各スピーカからの出力音声とが一致していないように聞こえる場合があった。
例えば、物体（飛行機）が画面右側から左側へ移動（飛行）するシーンが映し出された場合において、モニタ部の左右それぞれに設置されたスピーカの双方から同じ飛行音が出力されたとすると、当該パソコンの操作者は、その出力音から、飛行機が飛行していることは知り得るものの、右から左へ向かって飛行していることは知り得なかった。
そこで、画面に映し出された画像の内容に応じて、複数のスピーカからそれぞれ異なる音声を出力し、操作者に臨場感を与える技術が提案されている。
【０００５】
例えば、モニタ部の左右にそれぞれスピーカが設置されており、そのモニタ部に表示された物体が右側から左側へ移動したとすると、初めは右スピーカから移動音が出力され、次第に左スピーカから出力される移動音が大きくなり、その後左スピーカだけから移動音が出力されるように制御するという技術が提案されている（例えば、特許文献１参照。）。
この技術によれば、パソコンの操作者は、モニタ部に表示された物体の移動方向を、それら出力音から知ることができる。
【０００６】
また、他の従来技術として、例えば、各スピーカと操作者との距離及び角度を算出するセンサ部と、このセンサ部からの情報にもとづき操作者に対して適切な音の周波数帯域や強度を算出する演算装置部と、この演算装置部での処理結果に当てはまる予め格納してある音の周波数帯域データと強度−周波数特性データを選択し音源データとしてパソコン部（スピーカ）へ送出する分類装置部とを備えた構成とする技術が提案されている（例えば、特許文献２参照。）。
この技術によれば、操作者の位置が、モニタ部やスピーカ等に囲まれた範囲の中心からずれたとしても、その操作者に対して、モニタ部に映し出された三次元物体の移動に応じた音を適格に聴き取らせることができる。
【特許文献１】特開平０７−０７２８７５号公報
【特許文献２】特開２００１−１９７６００号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記の各従来技術においては、一つのモニタ部に表示された物体画像の動作に応じて複数のスピーカの出力音をそれぞれ制御することはできるものの、複数のモニタ部がそれぞれ異なる物体画像を表示しており、それら物体画像が共通するソフトウエアの実行領域上で動作する場合に、各操作者あるいは各操作者以外の者が、その実行領域全体の動作状況を各スピーカの出力音から知ることはできなかった。
【０００８】
例えば、モニタ部ｍ１には物体画像ａ１が、モニタ部ｍ２には物体画像ａ２が、モニタ部ｍ３には物体画像ａ３がそれぞれ表示されているものとする。そして、スピーカｓ１からは物体ａ１の動作にもとづく音声が、スピーカｓ２からは物体ａ２の音声が、スピーカｓ３からは物体ａ３の音声がそれぞれ出力されているものとする。
この場合、それらスピーカｓ１，ｓ２，ｓ３の各出力音を聞くことができる者（聴音者）は、各物体ａ１，ａ２，ａ３個々の動作内容を知ることはできるものの、実行領域全体から見た各物体ａ１，ａ２，ａ３の動作状況を把握することはできないという問題があった。
【０００９】
具体例をもって説明する。例えば、物体ａ１の音声が、聴音者の前方に設置されたスピーカｓ１から出力されており、また、物体ａ２の音声が、聴音者の後方に設置されたスピーカｓ２から出力されているものとする。ここで、モニタ部ｍ１に表示された物体ａ１がモニタ部ｍ２に表示された物体ａ２に近づく方向へ移動したとする。この場合、物体ａ１は、共通ソフトウエアの実行領域全体から見ると、聴音者の前方から後方へ移動していることになる。ところが、物体ａ１の移動音はスピーカｓ１から出力されており、物体ａ１が物体ａ２に接近したとしても、その移動音は依然スピーカｓ１（聴音者の前方に設置されたスピーカ）からしか出力されてこない。このため、聴音者は、その物体ａ１が前方の限られた領域内でその奥の方から手前の方へ移動したにすぎないとの錯覚を覚えることになる。このように、聴音者は、実行領域全体から見た物体ａ１の動作状況を、スピーカの出力音からは正確に捉えることができなかった。
【００１０】
また、物体ａ２が表示されたモニタ部ｍ２に同時に表示されるほど物体ａ１が近づいた場合、聴音者の後方にあるスピーカｓ２からは、物体ａ２と物体ａ１との各音声がともに出力されるが、このとき、モニタ部ｍ１にも物体ａ１と物体ａ２とが表示されるため、聴音者の前方にあるスピーカｓ１からは、スピーカｓ２と同様に、物体ａ１と物体ａ２との音声がともに出力されてしまう。そうすると、聴音者は、前方からもまた後方からも、物体ａ１と物体ａ２との音声が共に聞こえることとなり、実行領域全体における物体ａ１及び物体ａ２の存在位置（実行領域全体から見て物体ａ１や物体ａ２がどの位置に存在しているか）を正しく捉えることができなかった。
【００１１】
本発明は、上記の問題を解決すべくなされたものであり、複数のモニタ部に表示された各物体画像が共通のソフトウエアの実行領域上で動作している場合において、その実行領域全体から見た各物体の動作状況を、複数のスピーカから出力された音声により把握可能とする音源環境復元システム、自動音源環境復元装置、音源環境復元方法及び音源環境復元プログラムの提供を目的とする。
【課題を解決するための手段】
【００１２】
この目的を達成するため、本発明の音源環境復元システムは、物体画像を表示するモニタ部を有した複数の情報処理装置と、各物体画像に関する音声を出力して聴音可能空間を形成する一又は二以上のスピーカと、各物体画像に関する音声情報を複数の情報処理装置から受信し、この受信した複数の音声情報を統合し、聴音可能空間で出力される音声として復元し、この復元音声を各スピーカに出力させる自動音源環境復元装置とを備えた構成としてある。
【００１３】
音源環境復元システムをこのような構成とすると、自動音源環境復元装置が各情報処理装置から受信した複数の音声情報を統合し聴音可能空間で出力される音声として復元するため、複数のスピーカからはその復元音声を出力して聴音者に聞かせることができる。
このため、例えば、各モニタ部に表示された物体画像の音声が、各情報処理装置で実行された共通のソフトウエアの実行領域全体から捉えられた音声として統合処理される。しかも、聴音可能空間をソフトウエアの実行領域として想定し、この実行領域上に存在する各物体の位置に応じて音声が復元処理される。このため、聴音者は、聴音可能空間でその復元音声を聞くことにより、実行領域における各物体の動作状況を正確に捉えることができる。
【００１４】
また、本発明の音源環境復元システムは、各情報処理装置が、それぞれ共通のソフトウエアを実行するとともに、ソフトウエアの実行領域のうちの一部の領域を操作領域として物体画像を動作させる処理を行い、自動音源環境復元装置が、実行領域中の一箇所を基準点とし、各情報処理装置から、物体画像に関する音声情報とともに、物体に関する位置情報及び／又は操作領域に関する情報を受信し、これら受信した各情報が示す物体及び／又は操作領域と基準点との位置関係にもとづいて復元音声を生成する構成としてある。
【００１５】
音源環境復元システムをこのような構成とすれば、実行領域における各物体や操作領域と基準点との位置関係にもとづいて復元音声を生成することができる。これにより、実行領域における各物体の位置関係が明確になり、それら物体の音声が発せられた位置や伝わり方などを、復元音声として正確に復元・再現できる。
しかも、その基準点を、聴音者が復元音声を聞く位置として想定することにより、実行領域全体における各物体の動作状況を把握可能な復元音声を、その聴音者に対して提供できる。
【００１６】
また、本発明の音源環境復元システムは、自動音源環境復元装置が、各情報処理装置から受信した各操作領域に関する情報にもとづいて実行領域を設定する構成としてある。
【００１７】
音源環境復元システムをこのような構成とすると、各情報処理装置の操作領域のすべてを包含して実行領域を設定できる。このため、聴音者は、各情報処理装置で表示されているすべての物体画像の動作状況を把握できる。
【００１８】
また、本発明の音源環境復元システムは、各情報処理装置が、モニタ部に表示された一又は二以上の物体に関する情報を生成し、自動音源環境復元装置が、受信した一又は二以上の物体に関する情報にもとづいて、一又は二以上の物体における反射音を演算し復元音声を生成する構成としてある。
【００１９】
音源環境復元システムをこのような構成とすれば、より臨場感のある復元音声を聴音者に提供できる。例えば、モニタ部ｍ１に表示された物体ａ１からの音声が、モニタ部ｍ２に表示された物体ａ２に到達して反射した場合、この反射音をも復元することができる。このため、聴音者は、よりリアリティのある復元音声を聞くことができる。
【００２０】
また、本発明の自動音源環境復元装置は、モニタ部に表示された物体画像に関する音声情報を複数の情報処理装置から受信する受信部と、複数の音声情報を統合し、一又は二以上のスピーカからの出力音により形成される聴音可能空間での出力音声として復元する音声復元部と、復元音声を各スピーカへ送って出力させる音声出力部とを備えた構成としてある。
【００２１】
自動音源環境復元装置をこのような構成とすると、複数のモニタ部に表示された各物体画像の音声が統合され復元音声として複数のスピーカから出力されるため、聴音可能空間内では、その出力された復元音声を聞くことにより、各情報処理装置のモニタ部に表示されている物体画像の動作状況を正確に把握することができる。
【００２２】
また、本発明の音源環境復元方法は、モニタ部に表示された物体画像に関する音声情報を複数の情報処理装置から受信する受信処理と、複数の音声情報を統合し、一又は二以上のスピーカからの出力音により形成される聴音可能空間での出力音声として復元する音声復元処理と、復元音声を各スピーカへ送って出力させる音声出力処理とを有した方法としてある。
【００２３】
音源環境復元方法をこのような方法とすれば、複数の情報処理装置から収集された各物体画像に関する音声情報が統合され聴音可能空間で出力される音声として復元されるため、各物体画像の動作状況が、復元音声を聞くことにより把握できる。
【００２４】
また、本発明の音源環境復元プログラムは、モニタ部に表示された物体画像に関する音声情報を複数の情報処理装置から受信する受信処理と、複数の音声情報を統合し、一又は二以上のスピーカからの出力音により形成される聴音可能空間での出力音声として復元する音声復元処理と、復元音声を各スピーカへ送って出力させる音声出力処理とを自動音源環境復元装置に実行させる構成としてある。
【００２５】
このような構成を有する音源環境復元プログラムを自動音源環境復元装置に読み取らせて実行させることにより、共通のソフトウエアの実行領域上で動作している各物体の動作状況を、複数のスピーカから出力された音声により把握することができる。
【発明の効果】
【００２６】
本発明によれば、複数のモニタ部に表示された各物体画像が共通のソフトウエアの実行領域上で動作している場合において、それら物体画像の音声情報が自動音源環境復元装置で統合され、その実行領域における各物体の存在位置で発生した音声として復元・再現される。このため、その復元音声を聞くことにより、共通ソフトウエアの実行領域における各物体画像の動作状況や各情報処理装置での進捗状況を把握・理解することができる。
【発明を実施するための最良の形態】
【００２７】
以下、本発明に係る音源環境復元システム、自動音源環境復元装置、音源環境復元方法及び音源環境復元プログラムの好ましい実施形態について、図面を参照して説明する。
【００２８】
まず、本発明の音源環境復元システム及び自動音源環境復元装置の実施形態について、図１を参照して説明する。
同図は、本実施形態の音源環境復元システムの構成を示すブロック図である。
同図に示すように、音源環境復元システム１は、情報処理装置１０−１〜１０−ｎと、スピーカ２０−１〜２０−ｎと、自動音源環境復元装置３０と、ネットワーク４０とを備えている。
【００２９】
ここで、情報処理装置１０−１〜１０−ｎ（以下、総称して「情報処理装置１０」という。）は、プログラムの実行により所定の機能を動作する装置であって、例えば、パーソナルコンピュータ（パソコン）、ノートパソコン、携帯電話、ＰＨＳ、ＰＤＡなどが含まれる。
各情報処理装置１０は、それぞれネットワーク４０で接続することができる。
なお、情報処理装置１０は、図１においては、音源環境復元システム１に四台備えられているが、四台に限るものではなく、一台、二台、三台又は五台以上備えることができる。
【００３０】
この情報処理装置１０は、図２に示すように、記憶部１１と、パソコン部１２と、モニタ部１３と、画像情報解析部１４と、通信部１５とを備えている。
記憶部１１は、ハードディスクや外部記憶装置などで構成することができ、情報処理装置１０の有する各種機能を実行させるためのプログラム（インストールあるいはダウンロード等されたソフトウエアを含む）や、各種情報などを記憶する。
具体例として、例えば、記憶部１１には、三次元物体の画像を生成したりモニタ部１２に表示させたりするためのソフトウエア、画像情報解析部１４に解析処理を実行させるためのプログラム、物体画像情報、画像解析情報などが記憶される。
【００３１】
パソコン部１２は、情報処理装置１０の処理手段（制御手段や演算手段を含む部分であってＣＰＵなどで構成される）を少なくとも有する情報処理装置１０の本体部分である。このパソコン部１２は、記憶部１１に記憶されたプログラムを実行することにより情報処理装置１０の構成各部に指令を送り所定の処理を行わせる。
このパソコン部１２は、所定のプログラムを読み出して実行することにより、三次元物体の画像（物体画像）を生成する。そして、その生成した物体画像をモニタ部１３へ送り表示させる。
なお、生成される物体画像は、本実施形態においては三次元物体の画像としてあるが、三次元に限るものではなく、二次元等であってもよい。
【００３２】
また、パソコン部１２は、物体画像に関する情報（物体画像情報）を記憶部１１から取り出して画像情報解析部１４へ送る。そして、画像情報解析部１４からの画像解析情報を記憶部１１へ送り記憶させる。
さらに、パソコン部１２は、記憶部１１から取り出した画像解析情報（又は、画像情報解析部１４からの画像解析情報）を、通信部１５を介して、自動音源環境復元装置３０へ送る。
【００３３】
モニタ部１３は、ＣＲＴ（ブラウン管），ＬＣＤ（液晶ディスプレイ），プラズマディスプレイなどで構成することができ、例えば、パソコン部１２からの物体画像などを表示することができる。
ソフトウエアにより実行可能な領域（実行領域）のうちの一部又は全部の領域がモニタ部１３で表示されている場合、この領域を「操作領域」という。
各情報処理装置１０は、図３に示すように、共通の実行領域のうち異なった操作領域で物体画像をそれぞれ表示させることができる。
【００３４】
例えば、同図に示すように、情報処理装置１０−１は、実行領域の上半分と右下の領域、情報処理装置１０−２は、実行領域の下半分の領域、情報処理装置１０−３は、実行領域の下半分の領域、情報処理装置１０−４は、実行領域の右半分の領域とすることができる。
なお、各操作領域内で表示される物体画像は、各情報処理装置１０が共通の物体画像を表示させることもでき、また、異なった物体画像を表示させることもできる。
【００３５】
画像情報解析部１４は、パソコン部１２で生成された三次元物体が発する音声信号に関する情報を解析する。すなわち、画像情報解析部１４は、パソコン部１２からの物体画像情報を解析することにより、モニタ部１３に現在表示されている三次元物体についての各種情報を得る。
この画像情報解析部１４が得ることができる情報（画像解析情報）としては、例えば、次のようなものがある。
物体特定情報、物体位置情報、物体移動開始位置情報、物体移動方向情報、物体移動速度情報、物体移動終了位置情報、操作者位置情報、音声情報、操作領域情報、他物体関係情報など
【００３６】
物体特定情報とは、モニタ部１３に現在表示されている物体は何かを示す情報をいう。この物体特定情報には、物体の種類などを示す情報が含まれる。
物体位置情報（物体に関する位置情報）とは、物体が現在どの位置にいるかを示す情報をいう。なお、物体位置情報が示す位置は、操作領域に対する位置であってもよく、また、実行領域に対する位置であってもよい。
【００３７】
物体移動開始位置情報とは、物体が移動を開始した位置を示す情報をいう。
物体移動方向情報とは、物体がどの方向へ移動しているかを示す情報をいう。
物体移動速度情報とは、物体がどれくらいの速度で移動しているかを示す情報をいう。
物体移動終了位置情報とは、物体が移動を終了した位置を示す情報をいう。
操作者位置情報とは、操作者が、共通ソフトウエアの実行領域のうちどの地点（領域）に位置しているかを示す情報をいう。
【００３８】
音声情報（物体画像に関する音声情報）とは、三次元物体の動作等にともない発せられる音声は何か、その種類等を示す情報をいう。
操作領域情報（操作領域に関する情報）とは、モニタ部１３に表示されている操作領域が、ソフトウエアにより実行可能な領域（実行領域）のうちどの部分に位置しているかを示す情報をいう。
他物体関係情報とは、物体ａ１が存在している操作領域内に他の物体ａ２が存在している場合、物体ａ１と物体ａ２との関係（例えば、距離など）はどうかを示す情報をいう。この他物体関係情報には、例えば、反射音の発生有無等を示す情報が含まれる。
【００３９】
これら画像解析情報は、画像情報解析部１４で取得された後、パソコン部１２へ送られる（又は、記憶部１１へ送られて記憶される）。
なお、画像解析情報のうち、例えば、物体位置情報、物体移動開始位置情報、物体移動方向情報、物体移動終了位置情報、操作者位置情報、操作領域情報、他物体関係情報などは、図５に示すように、座標で表すことができる。
【００４０】
通信部（送信部）１５は、例えばネットワークボードなどで構成することができ、パソコン部１２からの画像解析情報を、ネットワーク４０を介して、自動音源環境復元装置３０へ送信する。
入力部１６は、ＭＭＩ（Ｍａｎ Ｍａｃｈｉｎｅ Ｉｎｔｅｒｆａｃｅ）やポインティングデバイスなどで構成することができ、具体的には、例えば、マウス、トラックボール、トラックパッド、ジョイスティック、キーボード、コントローラなどが含まれる。この入力部１６は、操作者により操作される。これにより、モニタ部１３に表示された三次元物体が、その操作に応じて所定の動作を行う。
【００４１】
スピーカ２０−１〜２０−ｎ（以下、総称して「スピーカ２０」という。）は、自動音源環境復元装置３０から送られてきた復元音声信号にもとづいて復元音声を出力する。
これらスピーカ２０は、図１に示すように、例えば、前面スピーカ２０−１、左側スピーカ２０−２、右側スピーカ２０−３、背面スピーカ２０−４として四つ設けることができる。
なお、スピーカ２０は、同図においては、四つ設けられているが、四つに限るものではなく、例えば、一つ、二つ、三つまたは五つ以上設けることができる。
【００４２】
また、複数のスピーカ２０は、それぞれ音声の出力方向がほぼ一点（基準点（後述））に集まるように配置される。これにより、その基準点に位置する者（聴音者）は、各スピーカ２０から出力された音声を聞き取ることにより、各情報処理装置１０でのソフトウエアの実行状況（例えば、ゲームソフトを実行している場合の進捗状況など）を知ることができる。
なお、各スピーカ２０から出力された音声を聞き取ることが可能な空間・範囲を「聴音可能空間（音源環境）」という。
【００４３】
聴音者としては、例えば、ネットワークゲームの進行状況を確認する見学者などが挙げられる。
また、本発明の音源環境復元システムは、例えば、ゲームソフトの展示会場などに設けることができる。この場合、その会場内の一又は二以上のブースにパソコンが複数台設置され、それらパソコンが共通のソフトウエアを実行している場合に、そのブース又は会場内で復元音声を出力するといった用途が可能である。
【００４４】
自動音源環境復元装置３０は、通信部３１と、記憶部３２と、画像情報復元部３３と、音声制御部３４と、音声出力部３５とを備えている。
通信部（受信部）３１は、例えばネットワークボードなどで構成することができ、各情報処理装置１０の通信部１５から送信されてきた画像解析情報を受信する。
【００４５】
記憶部３２は、ハードディスクや外部記憶装置などで構成することができ、自動音源環境復元装置３０の有する各種機能を実行させるためのプログラムや、各種情報などを記憶する。
具体例として、例えば、記憶部３２には、画像解析情報から三次元物体に関する情報を抽出するためのプログラム、復元音声信号を生成するためのプログラム、画像解析情報、復元音声信号などを記憶する。
【００４６】
この記憶部３２には、図５に示すような画像解析情報を含むテーブル（画像解析情報テーブル）が記憶されている。
画像解析情報テーブルとして記憶される情報には、例えば、情報処理装置１０を特定する情報、パソコン部１２を特定する情報、モニタ部１３に表示された物体画像の種類を示す情報（物体の種類）、物体の移動開始位置を示す情報、物体の移動終了位置を示す情報、操作者の位置を示す情報、操作領域を示す情報、周辺の物体の種類を示す情報などを含めることができる。
なお、画像解析情報テーブルは、図５に示す情報の他、情報処理装置１０から送信されてきた画像解析情報に含まれている各種情報の一部又は全部を含めることができる。
【００４７】
画像情報復元部（音声復元部）３３は、各情報処理装置１０からの画像解析情報を通信部３１から受け取ると（又は、記憶部３２に記憶された画像解析情報テーブルを参照すると）、これら受け取った（又は参照した）画像解析情報をそれぞれ解析し、それら画像解析情報に含まれる各音声情報を統合し、聴音可能空間で出力される音声として復元する。
なお、この画像情報復元部３３における音声復元処理の具体例については、後述の「自動音源環境復元装置の画像情報復元部における音声復元処理（復元音声信号生成処理）の手順について」において説明する。
【００４８】
復元音声制御部３４は、増幅回路（例えば、アンプなど）で構成することができ、画像情報復元部３３からの（又は、記憶部３２から取り出した）復元音声信号の音声信号強度を増幅する。
音声出力部３５は、復元音声制御部３４からの復元音声信号を各スピーカ２０へ送る。これにより、各スピーカ２０においては、その復元音声信号にもとづく音声が出力される。
【００４９】
ネットワーク４０は、従来公知の任意好適な公衆回線、商業回線又は専用回線を用いることができ、かつ、一又は二以上の回線で構成することができる。
具体的には、例えば、インタネット，イントラネット，ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ），ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ），アナログ電話網，ディジタル電話網（たとえば、ＩＳＤＮ（Ｉｎｔｅｇｒａｌ Ｓｅｒｖｉｃｅ Ｄｉｇｉｔａｌ Ｎｅｔｗｏｒｋ）及び無線通信網（たとえば、携帯電話網，ＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙｐｈｏｎｅ Ｓｙｓｔｅｍ）及び衛星放送など）等で構成することができる。
【００５０】
次に、本実施形態の音源環境復元システムの動作（音源環境復元方法）について、図６を参照して説明する。
同図は、音源環境復元方法の処理手順を示す動作手順図である。
同図に示すように、複数の情報処理装置１０の各パソコン部１２で、共通のソフトウエア（例えば、共通の三次元表示対応ゲーム）が起動される（ステップ１０）。これにより、それら情報処理装置１０の各モニタ部１３には、三次元物体の画像が表示される（ステップ１１）。ここで、操作者は、モニタ部１３の表示画面を見ながら、入力部１６で入力操作して三次元物体を動作させることができる。
【００５１】
各パソコン部１２において、三次元物体の動作にともない物体画像情報が生成され（ステップ１２）、画像情報解析部１４へ送られる。
画像情報解析部１４において、受け取った物体画像情報が解析され（ステップ１３）、この解析の結果である画像解析情報が記憶部１１へ送られ記憶される。また、画像解析情報は、画像情報解析部１４から通信部１５及びネットワーク４０を介して自動音源環境復元装置３０へ送信される（ステップ１４）。この送信される画像解析情報には、少なくとも音声情報（物体画像に関する音声情報）が含まれており、他に例えば、物体特定情報、物体位置情報、物体移動開始位置情報、物体移動方向情報、物体移動速度情報、物体移動終了位置情報、操作者位置情報、操作領域情報、他物体関係情報などを含めることができる。
また、画像解析情報の送信は、モニタ部１３で表示されている三次元物体の動作にともない（入力部１６での入力操作にともない）リアルタイムで行われる。
【００５２】
自動音源環境復元装置３０の通信部３１において、各情報処理装置１０から送られてきた画像解析情報が受信される（受信処理、ステップ１５）。この受信された画像解析情報は、記憶部３２へ送られて記憶されるとともに、画像情報復元部３３へ送られる。
画像情報復元部３３において、各画像解析情報にそれぞれ含まれている音声情報が統合され、聴音可能空間（音源環境）で出力される音声として復元される（復元音声信号生成処理、音声復元処理、ステップ１６）。
【００５３】
ここで、画像情報復元部３３においては、各画像解析情報から操作領域情報を取り出し、これら操作領域情報にもとづいて統合領域すなわち共通ソフトウエアの実行領域が設定される。統合領域（実行領域）は、各情報処理装置１０のモニタ部１３にそれぞれ表示されている操作領域をすべて含んだ領域として設定される。ただし、画像情報復元部３３で設定される統合領域と共通ソフトウエアが実際に実行可能な実行領域とは必ずしも一致している必要はなく、統合領域が各操作領域のすべてを含む領域として設定されていればよい。換言すれば、画像情報復元部３３は、実行領域を統合領域というかたちで仮定する。
【００５４】
また、設定された統合領域（実行領域）においては、図７に示すように、任意の箇所に基準点が設定される。
基準点は、統合領域（実行領域）において聴音者が複合音声を聞く位置とされる箇所である。
この基準点は、例えば、統合領域の中心位置に設定することもでき、また、中心位置以外の位置に設定することもできる。また、各スピーカ２０との関係で言えば、基準点は、各スピーカ２０からの距離がすべて同じとなるような位置に設定してもよく、また、異なるような位置に設定してもよい。ただし、基準点は、統合領域の中心位置に設定することが望ましい。
また、基準点は、本実施形態においては設定箇所を一箇所としてあるが、一箇所に限るものではなく、複数箇所とすることもできる。この場合、設定された複数の基準点のそれぞれについて、復元音声が生成される。
【００５５】
そして、画像情報復元部３３においては、画像解析情報から物体位置情報や操作領域情報などが取り出され、これら各情報が示す物体や操作領域と基準点との位置関係にもとづいて復元音声信号が生成される。
すなわち、画像情報復元部３３においては、物体から発せられた音声が基準点でどのように聞こえるか、つまり、その基準点に位置する聴音者にとっての音声の聞こえ方が算出される。この算出された音声が、聴音可能空間（音源環境）で出力される復元音声となる。
なお、復元音声信号生成処理については、後述の「自動音源環境復元装置の画像情報復元部における音声復元処理（復元音声信号生成処理）の手順について」において説明する。
【００５６】
画像情報復元部３３で生成された復元音声信号が、記憶部３２へ送られ記憶される。また、復元音声信号が、音声制御部３４で音声信号強度の増幅がなされ、音声出力部３５を介して、各スピーカ２０へ出力される（音声出力処理、ステップ１７）。
各スピーカ２０において、復元音声信号が入力され（ステップ１８）、その復元音声信号にもとづいて復元音声が出力される（ステップ１９）。
このような処理手順で各スピーカ２０から復元音声が出力されることにより、その出力された復元音声により形成される聴音可能空間（音源環境）において、聴音者は、その基準点に立つことで、共通ソフトウエアの実行領域全体から見た各物体画像の動作状況を把握することができる。
【００５７】
次に、自動音源環境復元装置の画像情報復元部における音声復元処理（復元音声信号生成処理）の手順について、図８を参照して説明する。
自動音源環境復元装置３０の通信部３１で各情報処理装置１０からの画像解析情報が受信された後、画像情報復元部３３においては、その通信部３１から画像解析情報が受け取られる（あるいは、記憶部３２に記憶された画像解析情報テーブルが参照される）。
その受け取られた（又は参照された）画像解析情報の中から、音声情報、操作領域情報、物体位置情報、物体特定情報、物体移動開始情報、物体移動終了情報、操作者位置情報などが取り出される（あるいは、画像解析情報テーブルからそれら情報が抽出される）（ステップ３０）。
【００５８】
次いで、それら取り出された（あるいは、抽出された）各情報の示す物体の位置等が判断・把握される（ステップ３１）。具体的には、次の判断等がなされる。
物体位置情報からは、各情報処理装置１０のモニタ部１３に現在表示されている物体の位置が判断される。
物体特定情報からは、その物体の種類等が判断される。
物体移動開始情報からは、その物体の移動が開始された位置が判断される。
物体移動終了情報からは、その物体の移動が終了した位置が判断される。
操作者位置情報からは、現在起動している各情報処理装置１０において、各々の操作者が、ソフトウエアの実行領域のうちどの辺りの領域にいるのかが判断される。
【００５９】
続いて、複数の情報処理装置１０から送られてきた操作領域情報のそれぞれにもとづき、統合領域（実行領域）が設定される（ステップ３２）。
そして、その統合領域上の一箇所が、基準点として設定される（ステップ３３）。
さらに、その基準点と上記各情報の示す物体等の位置との関係にもとづき、基準点で音声がどのように聞こえているかが判断され、その音声が演算処理されて、復元音声信号が生成される（ステップ３４）。
【００６０】
音声の演算処理の具体例としては、例えば、次の例が挙げられる。
（例１）情報処理装置１０−１のパソコン部１２−１での制御により、モニタ部１３−１に車の画像が表示され、その車が移動する様子が映し出されていたとする。一方、情報処理装置１０−２のパソコン部１２−２での制御により、モニタ部１３−２には樹木が立っている様子が表示されていたとする。モニタ部１３−１が表示する操作領域とモニタ部１３−２が表示する操作領域とは近接（あるいは、隣同士の領域）であるとすると、モニタ部１３−１に表示された車の発する音がモニタ部１３−２に表示された樹木で反射することとなる。この反射音が、画像情報復元部３３で算出される。
このように、各モニタ部１３に表示された一又は二以上の物体に関する情報がそれら情報処理装置１０のパソコン部１２で生成され、その物体に関する情報にもとづき、画像情報復元部３３が、他の一又は二以上の物体における反射音を演算し、復元音声を生成することができる。
【００６１】
（例２）情報処理装置１０のモニタ部１３には、移動物体（自動車）が手前から遠方へ（前方奥へ向かって）移動する様子が表示されたとする。基準点に位置する聴音者には、その表示内容と同様、移動物体が手前から次第に前方奥へ向かって遠のいていく音が聞こえているものと想定される。画像情報復元部３３では、その聴音者が聞き取るものと想定される音を復元する。なお、モニタ部１３が表示する操作領域が、基準点に位置する聴音者の前方に位置している場合には、聴音者の前方にあるスピーカ２０からその復元音声が出力される。
【００６２】
（例３）情報処理装置１０のモニタ部１３には、移動物体（自動車）が遠方（前方の奥の方）から手前へ近づき、さらに後方へ遠のいていく様子が表示されたとする。基準点に位置する聴音者は、遠方（前方の奥の方）から移動体が近づき、そして後方へ遠のいていく音が聞こえているものと想定される。画像情報復元部３３では、その聴音者が聞き取るものと想定される音が復元される。なお、モニタ部１３が表示する操作領域が、基準点に位置する聴音者の前方に位置している場合には、聴音者の前方にあるスピーカ２０からは移動体が遠方（前方の奥の方）から手前に近づいてくる復元音声が、後方にあるスピーカ２０からは移動体が近づきさらに後方へ遠のいていく復元音声がそれぞれ出力される。
【００６３】
ここでは、主として、物体画像の移動にともなう復元音声の生成について説明したが、その他、例えば、物体の移動速度、移動物体の種類、音の性質、音が伝播する環境などに応じて復元音声を生成することができる。
また、例３に示したように、各スピーカ２０からは異なった復元音声を出力させることもできる。
【００６４】
［音源環境復元プログラム］
次に、音源環境復元プログラムについて説明する。
上記の実施形態におけるコンピュータ（情報処理装置、自動音源環境復元装置、音源環境復元システム）の音源環境復元機能（復元音声信号を生成し復元音声を出力するための機能）は、各記憶部（例えば、ＲＯＭ等）に記憶された音源環境復元プログラムにより実現される。
【００６５】
音源環境復元プログラムは、コンピュータに読み込まれることにより、コンピュータの各構成要素に指令を送り、所定の処理、たとえば、情報処理装置におけるパソコン部のソフトウエア起動処理、画像生成処理、物体画像情報生成処理、モニタ部の物体画像表示処理、画像情報解析部の物体画像情報解析処理、通信部の画像解析情報送信処理、自動音源環境復元装置における通信部の画像解析情報受信処理、画像情報復元部の復元音声信号生成処理、音声制御部の復元音声増幅処理、音声出力部の復元音声信号出力処理などを行わせる。
これによって、音源環境復元機能は、ソフトウエアである音源環境復元プログラムとハードウエア資源であるコンピュータとが協働した情報処理装置、自動音源環境復元装置、そしてこれらを含む音源環境復元システムにより実現される。
【００６６】
なお、音源環境復元機能を実現するための音源環境復元プログラムは、コンピュータのＲＯＭやハードディスクなどに記憶される他、コンピュータ読み取り可能な記録媒体、たとえば、外部記憶装置及び可搬記録媒体等に格納することができる。
外部記憶装置とは、ＣＤ−ＲＯＭ等の記憶媒体を内蔵し、自動音源環境復元装置に外部接続されるメモリ増設装置をいう。一方、可搬記録媒体とは、記録媒体駆動装置（ドライブ装置）に装着でき、かつ、持ち運び可能な記録媒体であって、たとえば、フレキシブルディスク，メモリカード，光磁気ディスク等をいう。
【００６７】
そして、記録媒体に記録されたプログラムは、コンピュータのＲＡＭにロードされて、ＣＰＵにより実行される。この実行により、上述した本実施形態の自動音源環境復元装置の機能が実現される。
さらに、コンピュータで音源環境復元プログラムをロードする場合、他のコンピュータで保有された音源環境復元プログラムを、通信回線を利用して自己の有するＲＡＭや外部記憶装置にダウンロードすることもできる。このダウンロードされた音源環境復元プログラムも、ＣＰＵにより実行され、本実施形態の自動音源環境復元装置の音源環境復元機能を実現する。
【００６８】
以上、本発明の音源環境復元システム、自動音源環境復元装置、音源環境復元方法及び音源環境復元プログラムの好ましい実施形態について説明したが、本発明に係る音源環境復元システム、自動音源環境復元装置、音源環境復元方法及び音源環境復元プログラムは上述した実施形態にのみ限定されるものではなく、本発明の範囲で種々の変更実施が可能であることは言うまでもない。
【００６９】
例えば、上述した実施形態では、聴音可能空間にスピーカが複数備えられた構成としてあるが、複数のスピーカの設置に限るものではなく、例えば、モニタ部を備えて統合領域の画像を表示させることもできる。これにより、聴音可能空間内に位置する聴音者は、各スピーカから出力された復元音声だけでなく、そのモニタ部に表示された画像からも、統合領域（実行領域）全体から見た各物体画像の動作状況を把握できる。
この場合、自動音源環境復元装置３０の画像情報復元部３３においては、各情報処理装置１０のモニタ部１３に表示された操作領域の各間を繋いて連続領域とする補間処理を行い、処理後の映像をモニタ部に出力させる。モニタ部では、設置されたコントローラを任意の方向にずらすことにより、任意の方向の画像が表示される。
【００７０】
また、上記実施形態において、自動音源環境復元装置は、物体画像情報に含まれる各種情報を各情報処理装置から受信して収集することとしているが、各情報処理装置から受信・収集することに限るものではなく、例えば、自動音源環境復元装置自らがネットワークを介してソフトウエアをダウンロードし、音声情報や実行領域などを抽出するようにすることもできる。
【産業上の利用可能性】
【００７１】
本発明は、ソフトウエアの実行により画面表示された物体画像の動作に合わせて出力される音声の制御に関する発明であるため、画像表示手段と音声出力手段とを有するシステムや装置などに利用可能である。
【図面の簡単な説明】
【００７２】
【図１】本発明の音源環境復元システムの構成を示すブロック図である。
【図２】情報処理装置の構成を示すブロック図ある。
【図３】各情報処理装置の操作領域とソフトウエアの実行領域との関係を示す構成図である。
【図４】本発明の自動音源環境復元装置の構成を示すブロック図である。
【図５】本発明の自動音源環境復元装置に記憶される画像解析情報テーブルの構成を示すテーブル構成図である。
【図６】本発明の音源環境復元システムにおける音源環境復元方法の処理手順を示す動作手順図である。
【図７】ソフトウエアの実行領域と基準点とを示す解説図である。
【図８】復元音声信号生成処理の手順を示すフローチャートである。
【符号の説明】
【００７３】
１ 音源環境復元システム
１０ 情報処理装置
１２ パソコン部
１３ モニタ部
１４ 画像情報解析部
１５ 通信部
２０ スピーカ
３０ 自動音源環境復元装置
３１ 画像情報復元部
３５ 音声出力部
【技術分野】
【０００１】
本発明は、情報処理装置のモニタ部に表示された複数次元の物体画像の動作に応じて、その物体画像に関する音声を複数のスピーカに出力させる音源環境復元システム、自動音源環境復元装置、音源環境復元方法及び音源環境復元プログラムに関し、特に、複数のスピーカからの出力音に対して各スピーカごとに異なった制御を行う音源環境復元システム、自動音源環境復元装置、音源環境復元方法及び音源環境復元プログラムに関する。
【背景技術】
【０００２】
近年、パーソナルコンピュータ（パソコン）は、その低価格化や高性能化により、企業だけでなく一般家庭にまで普及してきている。また、ソフトウエアについても、一般向けに多種多様な製品が開発され販売されている。中でもゲームソフトは、その種類も豊富であり、一台のパソコンで行われるものから、最近ではいわゆるオンラインゲームあるいはネットワークゲームと呼ばれるもの（複数のパソコンでネットワークを介して行われるゲーム）まで多数のものが市場に出回っている。
【０００３】
ところで、パソコン上でゲームソフトの実行が開始されると、通常、そのゲーム用の画面がモニタ部に表示され、さらに、パソコンに備えられたスピーカからは音声が出力される。
音声としては、例えば、ＢＧＭ（Ｂａｃｋ Ｇｒｏｕｎｄ Ｍｕｓｉｃ）や効果音（例として、ボードゲームにおいて駒が置かれたときの音や、格闘ゲームにおいて攻撃を受けたときの音等）などがあるが、従来は、ゲームの進行状況（表示された物体の動作など）に応じて音声が選択され出力されていた。
【０００４】
ところが、スピーカが複数備えられた場合、モニタ部に表示された物体の動作と、各スピーカからの出力音声とが一致していないように聞こえる場合があった。
例えば、物体（飛行機）が画面右側から左側へ移動（飛行）するシーンが映し出された場合において、モニタ部の左右それぞれに設置されたスピーカの双方から同じ飛行音が出力されたとすると、当該パソコンの操作者は、その出力音から、飛行機が飛行していることは知り得るものの、右から左へ向かって飛行していることは知り得なかった。
そこで、画面に映し出された画像の内容に応じて、複数のスピーカからそれぞれ異なる音声を出力し、操作者に臨場感を与える技術が提案されている。
【０００５】
例えば、モニタ部の左右にそれぞれスピーカが設置されており、そのモニタ部に表示された物体が右側から左側へ移動したとすると、初めは右スピーカから移動音が出力され、次第に左スピーカから出力される移動音が大きくなり、その後左スピーカだけから移動音が出力されるように制御するという技術が提案されている（例えば、特許文献１参照。）。
この技術によれば、パソコンの操作者は、モニタ部に表示された物体の移動方向を、それら出力音から知ることができる。
【０００６】
また、他の従来技術として、例えば、各スピーカと操作者との距離及び角度を算出するセンサ部と、このセンサ部からの情報にもとづき操作者に対して適切な音の周波数帯域や強度を算出する演算装置部と、この演算装置部での処理結果に当てはまる予め格納してある音の周波数帯域データと強度−周波数特性データを選択し音源データとしてパソコン部（スピーカ）へ送出する分類装置部とを備えた構成とする技術が提案されている（例えば、特許文献２参照。）。
この技術によれば、操作者の位置が、モニタ部やスピーカ等に囲まれた範囲の中心からずれたとしても、その操作者に対して、モニタ部に映し出された三次元物体の移動に応じた音を適格に聴き取らせることができる。
【特許文献１】特開平０７−０７２８７５号公報
【特許文献２】特開２００１−１９７６００号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記の各従来技術においては、一つのモニタ部に表示された物体画像の動作に応じて複数のスピーカの出力音をそれぞれ制御することはできるものの、複数のモニタ部がそれぞれ異なる物体画像を表示しており、それら物体画像が共通するソフトウエアの実行領域上で動作する場合に、各操作者あるいは各操作者以外の者が、その実行領域全体の動作状況を各スピーカの出力音から知ることはできなかった。
【０００８】
例えば、モニタ部ｍ１には物体画像ａ１が、モニタ部ｍ２には物体画像ａ２が、モニタ部ｍ３には物体画像ａ３がそれぞれ表示されているものとする。そして、スピーカｓ１からは物体ａ１の動作にもとづく音声が、スピーカｓ２からは物体ａ２の音声が、スピーカｓ３からは物体ａ３の音声がそれぞれ出力されているものとする。
この場合、それらスピーカｓ１，ｓ２，ｓ３の各出力音を聞くことができる者（聴音者）は、各物体ａ１，ａ２，ａ３個々の動作内容を知ることはできるものの、実行領域全体から見た各物体ａ１，ａ２，ａ３の動作状況を把握することはできないという問題があった。
【０００９】
具体例をもって説明する。例えば、物体ａ１の音声が、聴音者の前方に設置されたスピーカｓ１から出力されており、また、物体ａ２の音声が、聴音者の後方に設置されたスピーカｓ２から出力されているものとする。ここで、モニタ部ｍ１に表示された物体ａ１がモニタ部ｍ２に表示された物体ａ２に近づく方向へ移動したとする。この場合、物体ａ１は、共通ソフトウエアの実行領域全体から見ると、聴音者の前方から後方へ移動していることになる。ところが、物体ａ１の移動音はスピーカｓ１から出力されており、物体ａ１が物体ａ２に接近したとしても、その移動音は依然スピーカｓ１（聴音者の前方に設置されたスピーカ）からしか出力されてこない。このため、聴音者は、その物体ａ１が前方の限られた領域内でその奥の方から手前の方へ移動したにすぎないとの錯覚を覚えることになる。このように、聴音者は、実行領域全体から見た物体ａ１の動作状況を、スピーカの出力音からは正確に捉えることができなかった。
【００１０】
また、物体ａ２が表示されたモニタ部ｍ２に同時に表示されるほど物体ａ１が近づいた場合、聴音者の後方にあるスピーカｓ２からは、物体ａ２と物体ａ１との各音声がともに出力されるが、このとき、モニタ部ｍ１にも物体ａ１と物体ａ２とが表示されるため、聴音者の前方にあるスピーカｓ１からは、スピーカｓ２と同様に、物体ａ１と物体ａ２との音声がともに出力されてしまう。そうすると、聴音者は、前方からもまた後方からも、物体ａ１と物体ａ２との音声が共に聞こえることとなり、実行領域全体における物体ａ１及び物体ａ２の存在位置（実行領域全体から見て物体ａ１や物体ａ２がどの位置に存在しているか）を正しく捉えることができなかった。
【００１１】
本発明は、上記の問題を解決すべくなされたものであり、複数のモニタ部に表示された各物体画像が共通のソフトウエアの実行領域上で動作している場合において、その実行領域全体から見た各物体の動作状況を、複数のスピーカから出力された音声により把握可能とする音源環境復元システム、自動音源環境復元装置、音源環境復元方法及び音源環境復元プログラムの提供を目的とする。
【課題を解決するための手段】
【００１２】
この目的を達成するため、本発明の音源環境復元システムは、物体画像を表示するモニタ部を有した複数の情報処理装置と、各物体画像に関する音声を出力して聴音可能空間を形成する一又は二以上のスピーカと、各物体画像に関する音声情報を複数の情報処理装置から受信し、この受信した複数の音声情報を統合し、聴音可能空間で出力される音声として復元し、この復元音声を各スピーカに出力させる自動音源環境復元装置とを備えた構成としてある。
【００１３】
音源環境復元システムをこのような構成とすると、自動音源環境復元装置が各情報処理装置から受信した複数の音声情報を統合し聴音可能空間で出力される音声として復元するため、複数のスピーカからはその復元音声を出力して聴音者に聞かせることができる。
このため、例えば、各モニタ部に表示された物体画像の音声が、各情報処理装置で実行された共通のソフトウエアの実行領域全体から捉えられた音声として統合処理される。しかも、聴音可能空間をソフトウエアの実行領域として想定し、この実行領域上に存在する各物体の位置に応じて音声が復元処理される。このため、聴音者は、聴音可能空間でその復元音声を聞くことにより、実行領域における各物体の動作状況を正確に捉えることができる。
【００１４】
また、本発明の音源環境復元システムは、各情報処理装置が、それぞれ共通のソフトウエアを実行するとともに、ソフトウエアの実行領域のうちの一部の領域を操作領域として物体画像を動作させる処理を行い、自動音源環境復元装置が、実行領域中の一箇所を基準点とし、各情報処理装置から、物体画像に関する音声情報とともに、物体に関する位置情報及び／又は操作領域に関する情報を受信し、これら受信した各情報が示す物体及び／又は操作領域と基準点との位置関係にもとづいて復元音声を生成する構成としてある。
【００１５】
音源環境復元システムをこのような構成とすれば、実行領域における各物体や操作領域と基準点との位置関係にもとづいて復元音声を生成することができる。これにより、実行領域における各物体の位置関係が明確になり、それら物体の音声が発せられた位置や伝わり方などを、復元音声として正確に復元・再現できる。
しかも、その基準点を、聴音者が復元音声を聞く位置として想定することにより、実行領域全体における各物体の動作状況を把握可能な復元音声を、その聴音者に対して提供できる。
【００１６】
また、本発明の音源環境復元システムは、自動音源環境復元装置が、各情報処理装置から受信した各操作領域に関する情報にもとづいて実行領域を設定する構成としてある。
【００１７】
音源環境復元システムをこのような構成とすると、各情報処理装置の操作領域のすべてを包含して実行領域を設定できる。このため、聴音者は、各情報処理装置で表示されているすべての物体画像の動作状況を把握できる。
【００１８】
また、本発明の音源環境復元システムは、各情報処理装置が、モニタ部に表示された一又は二以上の物体に関する情報を生成し、自動音源環境復元装置が、受信した一又は二以上の物体に関する情報にもとづいて、一又は二以上の物体における反射音を演算し復元音声を生成する構成としてある。
【００１９】
音源環境復元システムをこのような構成とすれば、より臨場感のある復元音声を聴音者に提供できる。例えば、モニタ部ｍ１に表示された物体ａ１からの音声が、モニタ部ｍ２に表示された物体ａ２に到達して反射した場合、この反射音をも復元することができる。このため、聴音者は、よりリアリティのある復元音声を聞くことができる。
【００２０】
また、本発明の自動音源環境復元装置は、モニタ部に表示された物体画像に関する音声情報を複数の情報処理装置から受信する受信部と、複数の音声情報を統合し、一又は二以上のスピーカからの出力音により形成される聴音可能空間での出力音声として復元する音声復元部と、復元音声を各スピーカへ送って出力させる音声出力部とを備えた構成としてある。
【００２１】
自動音源環境復元装置をこのような構成とすると、複数のモニタ部に表示された各物体画像の音声が統合され復元音声として複数のスピーカから出力されるため、聴音可能空間内では、その出力された復元音声を聞くことにより、各情報処理装置のモニタ部に表示されている物体画像の動作状況を正確に把握することができる。
【００２２】
また、本発明の音源環境復元方法は、モニタ部に表示された物体画像に関する音声情報を複数の情報処理装置から受信する受信処理と、複数の音声情報を統合し、一又は二以上のスピーカからの出力音により形成される聴音可能空間での出力音声として復元する音声復元処理と、復元音声を各スピーカへ送って出力させる音声出力処理とを有した方法としてある。
【００２３】
音源環境復元方法をこのような方法とすれば、複数の情報処理装置から収集された各物体画像に関する音声情報が統合され聴音可能空間で出力される音声として復元されるため、各物体画像の動作状況が、復元音声を聞くことにより把握できる。
【００２４】
また、本発明の音源環境復元プログラムは、モニタ部に表示された物体画像に関する音声情報を複数の情報処理装置から受信する受信処理と、複数の音声情報を統合し、一又は二以上のスピーカからの出力音により形成される聴音可能空間での出力音声として復元する音声復元処理と、復元音声を各スピーカへ送って出力させる音声出力処理とを自動音源環境復元装置に実行させる構成としてある。
【００２５】
このような構成を有する音源環境復元プログラムを自動音源環境復元装置に読み取らせて実行させることにより、共通のソフトウエアの実行領域上で動作している各物体の動作状況を、複数のスピーカから出力された音声により把握することができる。
【発明の効果】
【００２６】
本発明によれば、複数のモニタ部に表示された各物体画像が共通のソフトウエアの実行領域上で動作している場合において、それら物体画像の音声情報が自動音源環境復元装置で統合され、その実行領域における各物体の存在位置で発生した音声として復元・再現される。このため、その復元音声を聞くことにより、共通ソフトウエアの実行領域における各物体画像の動作状況や各情報処理装置での進捗状況を把握・理解することができる。
【発明を実施するための最良の形態】
【００２７】
以下、本発明に係る音源環境復元システム、自動音源環境復元装置、音源環境復元方法及び音源環境復元プログラムの好ましい実施形態について、図面を参照して説明する。
【００２８】
まず、本発明の音源環境復元システム及び自動音源環境復元装置の実施形態について、図１を参照して説明する。
同図は、本実施形態の音源環境復元システムの構成を示すブロック図である。
同図に示すように、音源環境復元システム１は、情報処理装置１０−１〜１０−ｎと、スピーカ２０−１〜２０−ｎと、自動音源環境復元装置３０と、ネットワーク４０とを備えている。
【００２９】
ここで、情報処理装置１０−１〜１０−ｎ（以下、総称して「情報処理装置１０」という。）は、プログラムの実行により所定の機能を動作する装置であって、例えば、パーソナルコンピュータ（パソコン）、ノートパソコン、携帯電話、ＰＨＳ、ＰＤＡなどが含まれる。
各情報処理装置１０は、それぞれネットワーク４０で接続することができる。
なお、情報処理装置１０は、図１においては、音源環境復元システム１に四台備えられているが、四台に限るものではなく、一台、二台、三台又は五台以上備えることができる。
【００３０】
この情報処理装置１０は、図２に示すように、記憶部１１と、パソコン部１２と、モニタ部１３と、画像情報解析部１４と、通信部１５とを備えている。
記憶部１１は、ハードディスクや外部記憶装置などで構成することができ、情報処理装置１０の有する各種機能を実行させるためのプログラム（インストールあるいはダウンロード等されたソフトウエアを含む）や、各種情報などを記憶する。
具体例として、例えば、記憶部１１には、三次元物体の画像を生成したりモニタ部１２に表示させたりするためのソフトウエア、画像情報解析部１４に解析処理を実行させるためのプログラム、物体画像情報、画像解析情報などが記憶される。
【００３１】
パソコン部１２は、情報処理装置１０の処理手段（制御手段や演算手段を含む部分であってＣＰＵなどで構成される）を少なくとも有する情報処理装置１０の本体部分である。このパソコン部１２は、記憶部１１に記憶されたプログラムを実行することにより情報処理装置１０の構成各部に指令を送り所定の処理を行わせる。
このパソコン部１２は、所定のプログラムを読み出して実行することにより、三次元物体の画像（物体画像）を生成する。そして、その生成した物体画像をモニタ部１３へ送り表示させる。
なお、生成される物体画像は、本実施形態においては三次元物体の画像としてあるが、三次元に限るものではなく、二次元等であってもよい。
【００３２】
また、パソコン部１２は、物体画像に関する情報（物体画像情報）を記憶部１１から取り出して画像情報解析部１４へ送る。そして、画像情報解析部１４からの画像解析情報を記憶部１１へ送り記憶させる。
さらに、パソコン部１２は、記憶部１１から取り出した画像解析情報（又は、画像情報解析部１４からの画像解析情報）を、通信部１５を介して、自動音源環境復元装置３０へ送る。
【００３３】
モニタ部１３は、ＣＲＴ（ブラウン管），ＬＣＤ（液晶ディスプレイ），プラズマディスプレイなどで構成することができ、例えば、パソコン部１２からの物体画像などを表示することができる。
ソフトウエアにより実行可能な領域（実行領域）のうちの一部又は全部の領域がモニタ部１３で表示されている場合、この領域を「操作領域」という。
各情報処理装置１０は、図３に示すように、共通の実行領域のうち異なった操作領域で物体画像をそれぞれ表示させることができる。
【００３４】
例えば、同図に示すように、情報処理装置１０−１は、実行領域の上半分と右下の領域、情報処理装置１０−２は、実行領域の下半分の領域、情報処理装置１０−３は、実行領域の下半分の領域、情報処理装置１０−４は、実行領域の右半分の領域とすることができる。
なお、各操作領域内で表示される物体画像は、各情報処理装置１０が共通の物体画像を表示させることもでき、また、異なった物体画像を表示させることもできる。
【００３５】
画像情報解析部１４は、パソコン部１２で生成された三次元物体が発する音声信号に関する情報を解析する。すなわち、画像情報解析部１４は、パソコン部１２からの物体画像情報を解析することにより、モニタ部１３に現在表示されている三次元物体についての各種情報を得る。
この画像情報解析部１４が得ることができる情報（画像解析情報）としては、例えば、次のようなものがある。
物体特定情報、物体位置情報、物体移動開始位置情報、物体移動方向情報、物体移動速度情報、物体移動終了位置情報、操作者位置情報、音声情報、操作領域情報、他物体関係情報など
【００３６】
物体特定情報とは、モニタ部１３に現在表示されている物体は何かを示す情報をいう。この物体特定情報には、物体の種類などを示す情報が含まれる。
物体位置情報（物体に関する位置情報）とは、物体が現在どの位置にいるかを示す情報をいう。なお、物体位置情報が示す位置は、操作領域に対する位置であってもよく、また、実行領域に対する位置であってもよい。
【００３７】
物体移動開始位置情報とは、物体が移動を開始した位置を示す情報をいう。
物体移動方向情報とは、物体がどの方向へ移動しているかを示す情報をいう。
物体移動速度情報とは、物体がどれくらいの速度で移動しているかを示す情報をいう。
物体移動終了位置情報とは、物体が移動を終了した位置を示す情報をいう。
操作者位置情報とは、操作者が、共通ソフトウエアの実行領域のうちどの地点（領域）に位置しているかを示す情報をいう。
【００３８】
音声情報（物体画像に関する音声情報）とは、三次元物体の動作等にともない発せられる音声は何か、その種類等を示す情報をいう。
操作領域情報（操作領域に関する情報）とは、モニタ部１３に表示されている操作領域が、ソフトウエアにより実行可能な領域（実行領域）のうちどの部分に位置しているかを示す情報をいう。
他物体関係情報とは、物体ａ１が存在している操作領域内に他の物体ａ２が存在している場合、物体ａ１と物体ａ２との関係（例えば、距離など）はどうかを示す情報をいう。この他物体関係情報には、例えば、反射音の発生有無等を示す情報が含まれる。
【００３９】
これら画像解析情報は、画像情報解析部１４で取得された後、パソコン部１２へ送られる（又は、記憶部１１へ送られて記憶される）。
なお、画像解析情報のうち、例えば、物体位置情報、物体移動開始位置情報、物体移動方向情報、物体移動終了位置情報、操作者位置情報、操作領域情報、他物体関係情報などは、図５に示すように、座標で表すことができる。
【００４０】
通信部（送信部）１５は、例えばネットワークボードなどで構成することができ、パソコン部１２からの画像解析情報を、ネットワーク４０を介して、自動音源環境復元装置３０へ送信する。
入力部１６は、ＭＭＩ（Ｍａｎ Ｍａｃｈｉｎｅ Ｉｎｔｅｒｆａｃｅ）やポインティングデバイスなどで構成することができ、具体的には、例えば、マウス、トラックボール、トラックパッド、ジョイスティック、キーボード、コントローラなどが含まれる。この入力部１６は、操作者により操作される。これにより、モニタ部１３に表示された三次元物体が、その操作に応じて所定の動作を行う。
【００４１】
スピーカ２０−１〜２０−ｎ（以下、総称して「スピーカ２０」という。）は、自動音源環境復元装置３０から送られてきた復元音声信号にもとづいて復元音声を出力する。
これらスピーカ２０は、図１に示すように、例えば、前面スピーカ２０−１、左側スピーカ２０−２、右側スピーカ２０−３、背面スピーカ２０−４として四つ設けることができる。
なお、スピーカ２０は、同図においては、四つ設けられているが、四つに限るものではなく、例えば、一つ、二つ、三つまたは五つ以上設けることができる。
【００４２】
また、複数のスピーカ２０は、それぞれ音声の出力方向がほぼ一点（基準点（後述））に集まるように配置される。これにより、その基準点に位置する者（聴音者）は、各スピーカ２０から出力された音声を聞き取ることにより、各情報処理装置１０でのソフトウエアの実行状況（例えば、ゲームソフトを実行している場合の進捗状況など）を知ることができる。
なお、各スピーカ２０から出力された音声を聞き取ることが可能な空間・範囲を「聴音可能空間（音源環境）」という。
【００４３】
聴音者としては、例えば、ネットワークゲームの進行状況を確認する見学者などが挙げられる。
また、本発明の音源環境復元システムは、例えば、ゲームソフトの展示会場などに設けることができる。この場合、その会場内の一又は二以上のブースにパソコンが複数台設置され、それらパソコンが共通のソフトウエアを実行している場合に、そのブース又は会場内で復元音声を出力するといった用途が可能である。
【００４４】
自動音源環境復元装置３０は、通信部３１と、記憶部３２と、画像情報復元部３３と、音声制御部３４と、音声出力部３５とを備えている。
通信部（受信部）３１は、例えばネットワークボードなどで構成することができ、各情報処理装置１０の通信部１５から送信されてきた画像解析情報を受信する。
【００４５】
記憶部３２は、ハードディスクや外部記憶装置などで構成することができ、自動音源環境復元装置３０の有する各種機能を実行させるためのプログラムや、各種情報などを記憶する。
具体例として、例えば、記憶部３２には、画像解析情報から三次元物体に関する情報を抽出するためのプログラム、復元音声信号を生成するためのプログラム、画像解析情報、復元音声信号などを記憶する。
【００４６】
この記憶部３２には、図５に示すような画像解析情報を含むテーブル（画像解析情報テーブル）が記憶されている。
画像解析情報テーブルとして記憶される情報には、例えば、情報処理装置１０を特定する情報、パソコン部１２を特定する情報、モニタ部１３に表示された物体画像の種類を示す情報（物体の種類）、物体の移動開始位置を示す情報、物体の移動終了位置を示す情報、操作者の位置を示す情報、操作領域を示す情報、周辺の物体の種類を示す情報などを含めることができる。
なお、画像解析情報テーブルは、図５に示す情報の他、情報処理装置１０から送信されてきた画像解析情報に含まれている各種情報の一部又は全部を含めることができる。
【００４７】
画像情報復元部（音声復元部）３３は、各情報処理装置１０からの画像解析情報を通信部３１から受け取ると（又は、記憶部３２に記憶された画像解析情報テーブルを参照すると）、これら受け取った（又は参照した）画像解析情報をそれぞれ解析し、それら画像解析情報に含まれる各音声情報を統合し、聴音可能空間で出力される音声として復元する。
なお、この画像情報復元部３３における音声復元処理の具体例については、後述の「自動音源環境復元装置の画像情報復元部における音声復元処理（復元音声信号生成処理）の手順について」において説明する。
【００４８】
復元音声制御部３４は、増幅回路（例えば、アンプなど）で構成することができ、画像情報復元部３３からの（又は、記憶部３２から取り出した）復元音声信号の音声信号強度を増幅する。
音声出力部３５は、復元音声制御部３４からの復元音声信号を各スピーカ２０へ送る。これにより、各スピーカ２０においては、その復元音声信号にもとづく音声が出力される。
【００４９】
ネットワーク４０は、従来公知の任意好適な公衆回線、商業回線又は専用回線を用いることができ、かつ、一又は二以上の回線で構成することができる。
具体的には、例えば、インタネット，イントラネット，ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ），ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ），アナログ電話網，ディジタル電話網（たとえば、ＩＳＤＮ（Ｉｎｔｅｇｒａｌ Ｓｅｒｖｉｃｅ Ｄｉｇｉｔａｌ Ｎｅｔｗｏｒｋ）及び無線通信網（たとえば、携帯電話網，ＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙｐｈｏｎｅ Ｓｙｓｔｅｍ）及び衛星放送など）等で構成することができる。
【００５０】
次に、本実施形態の音源環境復元システムの動作（音源環境復元方法）について、図６を参照して説明する。
同図は、音源環境復元方法の処理手順を示す動作手順図である。
同図に示すように、複数の情報処理装置１０の各パソコン部１２で、共通のソフトウエア（例えば、共通の三次元表示対応ゲーム）が起動される（ステップ１０）。これにより、それら情報処理装置１０の各モニタ部１３には、三次元物体の画像が表示される（ステップ１１）。ここで、操作者は、モニタ部１３の表示画面を見ながら、入力部１６で入力操作して三次元物体を動作させることができる。
【００５１】
各パソコン部１２において、三次元物体の動作にともない物体画像情報が生成され（ステップ１２）、画像情報解析部１４へ送られる。
画像情報解析部１４において、受け取った物体画像情報が解析され（ステップ１３）、この解析の結果である画像解析情報が記憶部１１へ送られ記憶される。また、画像解析情報は、画像情報解析部１４から通信部１５及びネットワーク４０を介して自動音源環境復元装置３０へ送信される（ステップ１４）。この送信される画像解析情報には、少なくとも音声情報（物体画像に関する音声情報）が含まれており、他に例えば、物体特定情報、物体位置情報、物体移動開始位置情報、物体移動方向情報、物体移動速度情報、物体移動終了位置情報、操作者位置情報、操作領域情報、他物体関係情報などを含めることができる。
また、画像解析情報の送信は、モニタ部１３で表示されている三次元物体の動作にともない（入力部１６での入力操作にともない）リアルタイムで行われる。
【００５２】
自動音源環境復元装置３０の通信部３１において、各情報処理装置１０から送られてきた画像解析情報が受信される（受信処理、ステップ１５）。この受信された画像解析情報は、記憶部３２へ送られて記憶されるとともに、画像情報復元部３３へ送られる。
画像情報復元部３３において、各画像解析情報にそれぞれ含まれている音声情報が統合され、聴音可能空間（音源環境）で出力される音声として復元される（復元音声信号生成処理、音声復元処理、ステップ１６）。
【００５３】
ここで、画像情報復元部３３においては、各画像解析情報から操作領域情報を取り出し、これら操作領域情報にもとづいて統合領域すなわち共通ソフトウエアの実行領域が設定される。統合領域（実行領域）は、各情報処理装置１０のモニタ部１３にそれぞれ表示されている操作領域をすべて含んだ領域として設定される。ただし、画像情報復元部３３で設定される統合領域と共通ソフトウエアが実際に実行可能な実行領域とは必ずしも一致している必要はなく、統合領域が各操作領域のすべてを含む領域として設定されていればよい。換言すれば、画像情報復元部３３は、実行領域を統合領域というかたちで仮定する。
【００５４】
また、設定された統合領域（実行領域）においては、図７に示すように、任意の箇所に基準点が設定される。
基準点は、統合領域（実行領域）において聴音者が複合音声を聞く位置とされる箇所である。
この基準点は、例えば、統合領域の中心位置に設定することもでき、また、中心位置以外の位置に設定することもできる。また、各スピーカ２０との関係で言えば、基準点は、各スピーカ２０からの距離がすべて同じとなるような位置に設定してもよく、また、異なるような位置に設定してもよい。ただし、基準点は、統合領域の中心位置に設定することが望ましい。
また、基準点は、本実施形態においては設定箇所を一箇所としてあるが、一箇所に限るものではなく、複数箇所とすることもできる。この場合、設定された複数の基準点のそれぞれについて、復元音声が生成される。
【００５５】
そして、画像情報復元部３３においては、画像解析情報から物体位置情報や操作領域情報などが取り出され、これら各情報が示す物体や操作領域と基準点との位置関係にもとづいて復元音声信号が生成される。
すなわち、画像情報復元部３３においては、物体から発せられた音声が基準点でどのように聞こえるか、つまり、その基準点に位置する聴音者にとっての音声の聞こえ方が算出される。この算出された音声が、聴音可能空間（音源環境）で出力される復元音声となる。
なお、復元音声信号生成処理については、後述の「自動音源環境復元装置の画像情報復元部における音声復元処理（復元音声信号生成処理）の手順について」において説明する。
【００５６】
画像情報復元部３３で生成された復元音声信号が、記憶部３２へ送られ記憶される。また、復元音声信号が、音声制御部３４で音声信号強度の増幅がなされ、音声出力部３５を介して、各スピーカ２０へ出力される（音声出力処理、ステップ１７）。
各スピーカ２０において、復元音声信号が入力され（ステップ１８）、その復元音声信号にもとづいて復元音声が出力される（ステップ１９）。
このような処理手順で各スピーカ２０から復元音声が出力されることにより、その出力された復元音声により形成される聴音可能空間（音源環境）において、聴音者は、その基準点に立つことで、共通ソフトウエアの実行領域全体から見た各物体画像の動作状況を把握することができる。
【００５７】
次に、自動音源環境復元装置の画像情報復元部における音声復元処理（復元音声信号生成処理）の手順について、図８を参照して説明する。
自動音源環境復元装置３０の通信部３１で各情報処理装置１０からの画像解析情報が受信された後、画像情報復元部３３においては、その通信部３１から画像解析情報が受け取られる（あるいは、記憶部３２に記憶された画像解析情報テーブルが参照される）。
その受け取られた（又は参照された）画像解析情報の中から、音声情報、操作領域情報、物体位置情報、物体特定情報、物体移動開始情報、物体移動終了情報、操作者位置情報などが取り出される（あるいは、画像解析情報テーブルからそれら情報が抽出される）（ステップ３０）。
【００５８】
次いで、それら取り出された（あるいは、抽出された）各情報の示す物体の位置等が判断・把握される（ステップ３１）。具体的には、次の判断等がなされる。
物体位置情報からは、各情報処理装置１０のモニタ部１３に現在表示されている物体の位置が判断される。
物体特定情報からは、その物体の種類等が判断される。
物体移動開始情報からは、その物体の移動が開始された位置が判断される。
物体移動終了情報からは、その物体の移動が終了した位置が判断される。
操作者位置情報からは、現在起動している各情報処理装置１０において、各々の操作者が、ソフトウエアの実行領域のうちどの辺りの領域にいるのかが判断される。
【００５９】
続いて、複数の情報処理装置１０から送られてきた操作領域情報のそれぞれにもとづき、統合領域（実行領域）が設定される（ステップ３２）。
そして、その統合領域上の一箇所が、基準点として設定される（ステップ３３）。
さらに、その基準点と上記各情報の示す物体等の位置との関係にもとづき、基準点で音声がどのように聞こえているかが判断され、その音声が演算処理されて、復元音声信号が生成される（ステップ３４）。
【００６０】
音声の演算処理の具体例としては、例えば、次の例が挙げられる。
（例１）情報処理装置１０−１のパソコン部１２−１での制御により、モニタ部１３−１に車の画像が表示され、その車が移動する様子が映し出されていたとする。一方、情報処理装置１０−２のパソコン部１２−２での制御により、モニタ部１３−２には樹木が立っている様子が表示されていたとする。モニタ部１３−１が表示する操作領域とモニタ部１３−２が表示する操作領域とは近接（あるいは、隣同士の領域）であるとすると、モニタ部１３−１に表示された車の発する音がモニタ部１３−２に表示された樹木で反射することとなる。この反射音が、画像情報復元部３３で算出される。
このように、各モニタ部１３に表示された一又は二以上の物体に関する情報がそれら情報処理装置１０のパソコン部１２で生成され、その物体に関する情報にもとづき、画像情報復元部３３が、他の一又は二以上の物体における反射音を演算し、復元音声を生成することができる。
【００６１】
（例２）情報処理装置１０のモニタ部１３には、移動物体（自動車）が手前から遠方へ（前方奥へ向かって）移動する様子が表示されたとする。基準点に位置する聴音者には、その表示内容と同様、移動物体が手前から次第に前方奥へ向かって遠のいていく音が聞こえているものと想定される。画像情報復元部３３では、その聴音者が聞き取るものと想定される音を復元する。なお、モニタ部１３が表示する操作領域が、基準点に位置する聴音者の前方に位置している場合には、聴音者の前方にあるスピーカ２０からその復元音声が出力される。
【００６２】
（例３）情報処理装置１０のモニタ部１３には、移動物体（自動車）が遠方（前方の奥の方）から手前へ近づき、さらに後方へ遠のいていく様子が表示されたとする。基準点に位置する聴音者は、遠方（前方の奥の方）から移動体が近づき、そして後方へ遠のいていく音が聞こえているものと想定される。画像情報復元部３３では、その聴音者が聞き取るものと想定される音が復元される。なお、モニタ部１３が表示する操作領域が、基準点に位置する聴音者の前方に位置している場合には、聴音者の前方にあるスピーカ２０からは移動体が遠方（前方の奥の方）から手前に近づいてくる復元音声が、後方にあるスピーカ２０からは移動体が近づきさらに後方へ遠のいていく復元音声がそれぞれ出力される。
【００６３】
ここでは、主として、物体画像の移動にともなう復元音声の生成について説明したが、その他、例えば、物体の移動速度、移動物体の種類、音の性質、音が伝播する環境などに応じて復元音声を生成することができる。
また、例３に示したように、各スピーカ２０からは異なった復元音声を出力させることもできる。
【００６４】
［音源環境復元プログラム］
次に、音源環境復元プログラムについて説明する。
上記の実施形態におけるコンピュータ（情報処理装置、自動音源環境復元装置、音源環境復元システム）の音源環境復元機能（復元音声信号を生成し復元音声を出力するための機能）は、各記憶部（例えば、ＲＯＭ等）に記憶された音源環境復元プログラムにより実現される。
【００６５】
音源環境復元プログラムは、コンピュータに読み込まれることにより、コンピュータの各構成要素に指令を送り、所定の処理、たとえば、情報処理装置におけるパソコン部のソフトウエア起動処理、画像生成処理、物体画像情報生成処理、モニタ部の物体画像表示処理、画像情報解析部の物体画像情報解析処理、通信部の画像解析情報送信処理、自動音源環境復元装置における通信部の画像解析情報受信処理、画像情報復元部の復元音声信号生成処理、音声制御部の復元音声増幅処理、音声出力部の復元音声信号出力処理などを行わせる。
これによって、音源環境復元機能は、ソフトウエアである音源環境復元プログラムとハードウエア資源であるコンピュータとが協働した情報処理装置、自動音源環境復元装置、そしてこれらを含む音源環境復元システムにより実現される。
【００６６】
なお、音源環境復元機能を実現するための音源環境復元プログラムは、コンピュータのＲＯＭやハードディスクなどに記憶される他、コンピュータ読み取り可能な記録媒体、たとえば、外部記憶装置及び可搬記録媒体等に格納することができる。
外部記憶装置とは、ＣＤ−ＲＯＭ等の記憶媒体を内蔵し、自動音源環境復元装置に外部接続されるメモリ増設装置をいう。一方、可搬記録媒体とは、記録媒体駆動装置（ドライブ装置）に装着でき、かつ、持ち運び可能な記録媒体であって、たとえば、フレキシブルディスク，メモリカード，光磁気ディスク等をいう。
【００６７】
そして、記録媒体に記録されたプログラムは、コンピュータのＲＡＭにロードされて、ＣＰＵにより実行される。この実行により、上述した本実施形態の自動音源環境復元装置の機能が実現される。
さらに、コンピュータで音源環境復元プログラムをロードする場合、他のコンピュータで保有された音源環境復元プログラムを、通信回線を利用して自己の有するＲＡＭや外部記憶装置にダウンロードすることもできる。このダウンロードされた音源環境復元プログラムも、ＣＰＵにより実行され、本実施形態の自動音源環境復元装置の音源環境復元機能を実現する。
【００６８】
以上、本発明の音源環境復元システム、自動音源環境復元装置、音源環境復元方法及び音源環境復元プログラムの好ましい実施形態について説明したが、本発明に係る音源環境復元システム、自動音源環境復元装置、音源環境復元方法及び音源環境復元プログラムは上述した実施形態にのみ限定されるものではなく、本発明の範囲で種々の変更実施が可能であることは言うまでもない。
【００６９】
例えば、上述した実施形態では、聴音可能空間にスピーカが複数備えられた構成としてあるが、複数のスピーカの設置に限るものではなく、例えば、モニタ部を備えて統合領域の画像を表示させることもできる。これにより、聴音可能空間内に位置する聴音者は、各スピーカから出力された復元音声だけでなく、そのモニタ部に表示された画像からも、統合領域（実行領域）全体から見た各物体画像の動作状況を把握できる。
この場合、自動音源環境復元装置３０の画像情報復元部３３においては、各情報処理装置１０のモニタ部１３に表示された操作領域の各間を繋いて連続領域とする補間処理を行い、処理後の映像をモニタ部に出力させる。モニタ部では、設置されたコントローラを任意の方向にずらすことにより、任意の方向の画像が表示される。
【００７０】
また、上記実施形態において、自動音源環境復元装置は、物体画像情報に含まれる各種情報を各情報処理装置から受信して収集することとしているが、各情報処理装置から受信・収集することに限るものではなく、例えば、自動音源環境復元装置自らがネットワークを介してソフトウエアをダウンロードし、音声情報や実行領域などを抽出するようにすることもできる。
【産業上の利用可能性】
【００７１】
本発明は、ソフトウエアの実行により画面表示された物体画像の動作に合わせて出力される音声の制御に関する発明であるため、画像表示手段と音声出力手段とを有するシステムや装置などに利用可能である。
【図面の簡単な説明】
【００７２】
【図１】本発明の音源環境復元システムの構成を示すブロック図である。
【図２】情報処理装置の構成を示すブロック図ある。
【図３】各情報処理装置の操作領域とソフトウエアの実行領域との関係を示す構成図である。
【図４】本発明の自動音源環境復元装置の構成を示すブロック図である。
【図５】本発明の自動音源環境復元装置に記憶される画像解析情報テーブルの構成を示すテーブル構成図である。
【図６】本発明の音源環境復元システムにおける音源環境復元方法の処理手順を示す動作手順図である。
【図７】ソフトウエアの実行領域と基準点とを示す解説図である。
【図８】復元音声信号生成処理の手順を示すフローチャートである。
【符号の説明】
【００７３】
１ 音源環境復元システム
１０ 情報処理装置
１２ パソコン部
１３ モニタ部
１４ 画像情報解析部
１５ 通信部
２０ スピーカ
３０ 自動音源環境復元装置
３１ 画像情報復元部
３５ 音声出力部
【特許請求の範囲】
【請求項１】
物体画像を表示するモニタ部を有した複数の情報処理装置と、
各前記物体画像に関する音声を出力して聴音可能空間を形成する一又は二以上のスピーカと、
各前記物体画像に関する音声情報を前記複数の情報処理装置から受信し、この受信した複数の音声情報を統合し、前記聴音可能空間で出力される音声として復元し、この復元音声を各前記スピーカに出力させる自動音源環境復元装置とを備えた
ことを特徴とする音源環境復元システム。
【請求項２】
各前記情報処理装置が、それぞれ共通のソフトウエアを実行するとともに、前記ソフトウエアの実行領域のうちの一部の領域を操作領域として前記物体画像を動作させる処理を行い、
前記自動音源環境復元装置が、
前記実行領域中の一箇所を基準点とし、
各前記情報処理装置から、前記物体画像に関する音声情報とともに、前記物体に関する位置情報及び／又は前記操作領域に関する情報を受信し、これら受信した各情報が示す前記物体及び／又は前記操作領域と前記基準点との位置関係にもとづいて前記復元音声を生成する
ことを特徴とする請求項１記載の音源環境復元システム。
【請求項３】
前記自動音源環境復元装置が、前記各情報処理装置から受信した各前記操作領域に関する情報にもとづいて前記実行領域を設定する
ことを特徴とする請求項２記載の音源環境復元システム。
【請求項４】
各前記情報処理装置が、前記モニタ部に表示された一又は二以上の物体に関する情報を生成し、
前記自動音源環境復元装置が、受信した前記一又は二以上の物体に関する情報にもとづいて、前記一又は二以上の物体における反射音を演算し前記復元音声を生成する
ことを特徴とする請求項１〜３のいずれかに記載の音源環境復元システム。
【請求項５】
モニタ部に表示された物体画像に関する音声情報を複数の情報処理装置から受信する受信部と、
複数の前記音声情報を統合し、一又は二以上のスピーカからの出力音により形成される聴音可能空間での出力音声として復元する音声復元部と、
復元音声を各前記スピーカへ送って出力させる音声出力部とを備えた
ことを特徴とする自動音源環境復元装置。
【請求項６】
モニタ部に表示された物体画像に関する音声情報を複数の情報処理装置から受信する受信処理と、
複数の前記音声情報を統合し、一又は二以上のスピーカからの出力音により形成される聴音可能空間での出力音声として復元する音声復元処理と、
復元音声を各前記スピーカへ送って出力させる音声出力処理とを有した
ことを特徴とする音源環境復元方法。
【請求項７】
モニタ部に表示された物体画像に関する音声情報を複数の情報処理装置から受信する受信処理と、
複数の前記音声情報を統合し、一又は二以上のスピーカからの出力音により形成される聴音可能空間での出力音声として復元する音声復元処理と、
復元音声を各前記スピーカへ送って出力させる音声出力処理とを自動音源環境復元装置に実行させる
ことを特徴とする音源環境復元プログラム。
【請求項１】
物体画像を表示するモニタ部を有した複数の情報処理装置と、
各前記物体画像に関する音声を出力して聴音可能空間を形成する一又は二以上のスピーカと、
各前記物体画像に関する音声情報を前記複数の情報処理装置から受信し、この受信した複数の音声情報を統合し、前記聴音可能空間で出力される音声として復元し、この復元音声を各前記スピーカに出力させる自動音源環境復元装置とを備えた
ことを特徴とする音源環境復元システム。
【請求項２】
各前記情報処理装置が、それぞれ共通のソフトウエアを実行するとともに、前記ソフトウエアの実行領域のうちの一部の領域を操作領域として前記物体画像を動作させる処理を行い、
前記自動音源環境復元装置が、
前記実行領域中の一箇所を基準点とし、
各前記情報処理装置から、前記物体画像に関する音声情報とともに、前記物体に関する位置情報及び／又は前記操作領域に関する情報を受信し、これら受信した各情報が示す前記物体及び／又は前記操作領域と前記基準点との位置関係にもとづいて前記復元音声を生成する
ことを特徴とする請求項１記載の音源環境復元システム。
【請求項３】
前記自動音源環境復元装置が、前記各情報処理装置から受信した各前記操作領域に関する情報にもとづいて前記実行領域を設定する
ことを特徴とする請求項２記載の音源環境復元システム。
【請求項４】
各前記情報処理装置が、前記モニタ部に表示された一又は二以上の物体に関する情報を生成し、
前記自動音源環境復元装置が、受信した前記一又は二以上の物体に関する情報にもとづいて、前記一又は二以上の物体における反射音を演算し前記復元音声を生成する
ことを特徴とする請求項１〜３のいずれかに記載の音源環境復元システム。
【請求項５】
モニタ部に表示された物体画像に関する音声情報を複数の情報処理装置から受信する受信部と、
複数の前記音声情報を統合し、一又は二以上のスピーカからの出力音により形成される聴音可能空間での出力音声として復元する音声復元部と、
復元音声を各前記スピーカへ送って出力させる音声出力部とを備えた
ことを特徴とする自動音源環境復元装置。
【請求項６】
モニタ部に表示された物体画像に関する音声情報を複数の情報処理装置から受信する受信処理と、
複数の前記音声情報を統合し、一又は二以上のスピーカからの出力音により形成される聴音可能空間での出力音声として復元する音声復元処理と、
復元音声を各前記スピーカへ送って出力させる音声出力処理とを有した
ことを特徴とする音源環境復元方法。
【請求項７】
モニタ部に表示された物体画像に関する音声情報を複数の情報処理装置から受信する受信処理と、
複数の前記音声情報を統合し、一又は二以上のスピーカからの出力音により形成される聴音可能空間での出力音声として復元する音声復元処理と、
復元音声を各前記スピーカへ送って出力させる音声出力処理とを自動音源環境復元装置に実行させる
ことを特徴とする音源環境復元プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２００６−５６１８（Ｐ２００６−５６１８Ａ）
【公開日】平成１８年１月５日（２００６．１．５）
【国際特許分類】
【出願番号】特願２００４−１７９２２０（Ｐ２００４−１７９２２０）
【出願日】平成１６年６月１７日（２００４．６．１７）
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
【Ｆターム（参考）】
【公開日】平成１８年１月５日（２００６．１．５）
【国際特許分類】
【出願日】平成１６年６月１７日（２００４．６．１７）
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
【Ｆターム（参考）】
[ Back to top ]