仮想空間提供サーバ及びシステム
【課題】行動範囲がコンピュータ近傍に制約されず、簡便に利用でき臨場感を伴う仮想空間アクセス手段を提供すること。
【解決手段】携帯情報端末等の移動体通信装置を用いて簡便で気軽に利用できる通話を含む仮想空間を介するサービスを提供すると共に、ユーザが利用手段をパーソナル・コンピュータ等から移動体通信装置に、また逆に前記移動体通信装置から前記パーソナル・コンピュータ等に変更することにおいて、移動体通信装置に音響効果を伴い仮想空間内のオブジェクト由来の音声をミキシングした音声を出力し、移動体通信装置の画像表示に仮想空間内のオブジェクトを含めることにより、通話を含む仮想空間内の種々の音声情報へのアクセスを実現し、同一仮想空間へのアクセスを連想できる手段を提供する。処理速度が比較的低速の移動体通信装置を用いる仮想空間へのアクセスにおいて、通話中にユーザが仮想空間の臨場感を実感できる情報提供手段を提供する。
【解決手段】携帯情報端末等の移動体通信装置を用いて簡便で気軽に利用できる通話を含む仮想空間を介するサービスを提供すると共に、ユーザが利用手段をパーソナル・コンピュータ等から移動体通信装置に、また逆に前記移動体通信装置から前記パーソナル・コンピュータ等に変更することにおいて、移動体通信装置に音響効果を伴い仮想空間内のオブジェクト由来の音声をミキシングした音声を出力し、移動体通信装置の画像表示に仮想空間内のオブジェクトを含めることにより、通話を含む仮想空間内の種々の音声情報へのアクセスを実現し、同一仮想空間へのアクセスを連想できる手段を提供する。処理速度が比較的低速の移動体通信装置を用いる仮想空間へのアクセスにおいて、通話中にユーザが仮想空間の臨場感を実感できる情報提供手段を提供する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の端末がネットワークでつながれ、特にインターネットを介して各端末の利用者が同一の仮想空間を共有し、該仮想空間内で各利用者はアバター（分身）として表現され、各利用者が音声によりリアルタイムで通話可能なマルチユーザ仮想空間システムに関する。特に、移動体通信装置を端末として用い、各利用者が音声情報を共有または交換するための仮想空間提供サーバ、仮想空間通話システム、及びプログラムに関する。
【背景技術】
【０００２】
従来より、インターネットを介して複数のユーザ同士が仮想空間を共有し、ユーザ相互の間で文字によるチャット、音声による会話等の情報交換を行いうる技術が知られている（例えば、特許文献１参照）。
また、複数のユーザが仮想空間を共有する情報サービスにおいては、それぞれのユーザの端末ごとに、通信制御と共に多量の画像情報、音声情報、テキスト情報等を並行して処理する必要があり、これはマルチタスク・オペレーティングシステムを用意することで対応できる（例えば、非特許文献１参照）。
また、前記仮想空間を共有する情報サービスにおいて、それぞれのユーザに動画、静止画、文字、音声等の情報を提供し、ユーザからの文字入力、音声入力、動画入力、ポインティング・デバイス入力等を受け付ける手段としては、いわゆるマルチメディア・コンピューティング技術を備えた端末を用意することで対応できる（非特許文献２参照）。
また、前記仮想空間においてユーザは自分の分身であるアバターを用いて他のユーザとの意思疎通を行い、このアバターはユーザ自身によって外見等を編集できることが知られている（例えば、特許文献２参照）。
さらに、ユーザの端末画面に３次元の仮想空間の画像を表示するとともに、仮想空間内の背景音、効果音、オブジェクトが発生する音声信号等に、ユーザが操作するアバターの位置や方向に依存した音声処理を加えてユーザの端末に送信し、ユーザの興味を引き、仮想空間に臨場感をもたせる試みが、例えばセカンドライフ等のサービスによって行われている。（例えば、非特許文献３）
【特許文献１】特開２００１−１５４９６６号公報
【特許文献２】特開平９−２４４８４５号公報
【非特許文献１】藤倉俊幸、「リアルタイム／マルチタスクシステムの徹底研究」、ＣＱ出版社、２００３年１月１日発行
【非特許文献２】Ｄｏｒｌｉｎｇ Ｋｉｎｄｅｒｓｌｅｙ Ｌｔｄ．、「図解マルチメディア完全ガイド」、ジャストシステム出版部、１９９６年１２月発行
【非特許文献３】Linden Research, Inc.、「Second Life って何？ テクノロジー」[online]、平成１９年、［平成１９年８月７日検索］、インターネット、<URL:http://jp.secondlife.com/whatis/technology>
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、上記の特許文献２や非特許文献に記載された方法を組み合わせた従来法においては、複数ユーザが仮想空間を共有して文字によるチャットや通話による情報交換を行うために、２次元または３次元グラフィック表示及び音声信号入出力及び仮想空間内のユーザ分身の位置情報を端末からサーバに送信するためのポインティング・デバイスを装備したパーソナル・コンピュータ等を用意する必要があり、さらに、実際に会話するときも、端末と向かい合う必要があり、現実空間における対面の会話や、電話を利用した会話のような簡便で気軽さを実現できないという課題があった。
一方、携帯電話の利用が普及しており、対面での会話以上に携帯電話を利用される状況があり、個人のコミュニケーションツールとして不可欠のものになってきている。特許文献１は仮想空間と電話を連携させ、コミュニケーションをサポートする装置ではあるが、現実世界の電話による通信形態を仮想世界にマッピングさせ、現実世界のコミュニケーションを仮想空間を利用してサポートしたものであり、仮想世界内で独立に発生している電話に限定しないさまざまな音声情報へのアクセスを実現するための装置にまでは、いたっていないという課題があった。
また、電話端末等を用いて仮想空間の音声の入出力を実現した場合に、仮想空間内特有のさまざまな背景音が入らず、ユーザは仮想空間の臨場感を得にくいという課題があった。
【０００４】
本発明は、上記課題を解決するために、仮想空間上でのユーザの化身（アバター）の行動範囲（音声を聞き取れる範囲）の全音情報の入出力部分をユーザの電話端末にマッピングさせることにより、現実世界から仮想世界への音情報の容易なアクセスを可能にし、電話端末と前記パーソナル・コンピュータとの両者において連続性のある仮想空間を利用することができるサービスを提供するための手段を提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明では、以下のような解決手段を提供する。
【０００６】
（１）ネットワークを介して提供する仮想空間において、仮想空間上の音声の入出力を電話装置との連携により実現するサーバであって、ユーザが発信した電話番号を受信する発信者番号情報受信部と、前記発信者番号に対応するユーザ固有情報を求めるユーザ判定部と、前記ユーザの仮想空間内におけるユーザ位置情報を管理する位置情報管理部と、前記ユーザ固有情報に基づいて前記仮想空間内においてユーザが所有するオブジェクトを管理するオブジェクト管理部と、前記ユーザ位置情報に基づいて前記仮想空間を経由して通話可能な他のユーザを識別するユーザ抽出部と、前記ユーザ及び他のユーザへの通話要求を表示する通話要求表示部と、前記仮想空間内において前記ユーザと所定の距離以内に存在するオブジェクトの音声情報を前記ユーザから受信する通話とミキシングする空間音源ミキシング部と、前記ミキシングした音声情報を前記他のユーザに送信する空間音声送信部とを有する仮想空間サーバ。
【０００７】
前記サーバは、ネットワーク接続したコンピュータ、特にインターネット接続したコンピュータであって、インターネットを介するサービスを提供するサーバ機能を備えていればよく、コンピュータの回路、規模、構成等は問わない。前記サーバは単一のコンピュータで構成したサーバでもよく、複数のコンピュータをネットワーク接続して構成したサーバでもよく、構成の詳細は問わない。
【０００８】
前記電話装置は、固定電話、公衆電話、携帯電話、自動車電話、ＩＰ電話、船舶電話、航空機電話、衛星電話等、通話手段となりうる電話の装置を含む。前記ＩＰ電話は、マイクロホンとスピーカを備えてインターネット接続し、ＩＰ電話のためのプログラムを記憶したパーソナル・コンピュータ等を含む。前記電話装置は、電話機能を備え、使用期間中に設置場所を移動可能な移動体通信装置を含む。
【０００９】
前記移動体通信装置は、通話を含む音声の入出力手段を備えた、携帯電話、ＰＨＳ、自動車電話及びこれらを内蔵または包含した電子手帳、腕時計、ヘッドマウントディスプレイ、指輪等装飾品、ジャケット等衣料品、ハンドバッグ等手荷物、下敷き等文具、壁掛けテレビ、コンピュータ、公衆無線ＬＡＮ接続したコンピュータ及び同様のものを含む。
【００１０】
前記移動体通信装置は、通信事業者割り当て番号、加入者電話番号、通信回線速度、通信プロトコル、移動体通信装置が内蔵する記憶装置が有する製造シリアル番号、移動体通信装置が内蔵するプロセッサが有する識別番号、サービスプロバイダが発行したＩＤ、インターネットサービスの利用者ＩＤ、仮想空間内ユーザ識別情報、及び同様のもの、及びこれらの組み合わせを含む端末情報を記憶した媒体を含んでもよい。前記端末情報は適宜、前記仮想空間サーバに向けて送信されてもよい。
【００１１】
前記発信者番号情報受信部は、仮想空間への接続を行うユーザの電話番号を受信し取得する。前記電話番号の受信が前記ユーザが使用する端末の通信回線速度の情報を含む場合は、前記発信者番号情報受信部は前記端末の通信回線速度の情報を取得する。
【００１２】
前記ユーザ判定部は、前記発信者番号情報受信部が取得した前記ユーザの電話番号を元に、仮想空間を利用するユーザの固有情報を記憶したユーザ情報データベースを参照し、前記ユーザに固有の情報を取得する。前記ユーザに固有の情報は、前記仮想空間サーバが提供するサービスにおける前記ユーザを特定するための情報（以下、ユーザＩＤ）、前記ユーザの年齢等の個人情報、前記ユーザの端末が移動体通信装置であることの情報、前記移動体通信装置の通信回線速度の情報、前記ユーザが仮想空間内で操作するアバターの位置情報、前記アバターが仮想空間内で所有するオブジェクトの情報等を含む。前記ユーザＩＤは前記ユーザが前記仮想空間の正規の利用者であることの認証等に用いられる。前記認証は前記仮想空間サーバにより行ってもよく、前記仮想空間サーバと接続したユーザ認証のための認証サーバにより行ってもよく、前記ユーザの認証手段の詳細は問わない。認証サーバは仮想空間サーバとネットワークを介して接続してもよく、仮想空間サーバに内蔵してもよい。
【００１３】
前記位置情報管理部は、前記仮想空間サーバを利用しうる複数のユーザの中から、前記ユーザＩＤを元に、前記ユーザの分身（以下、アバター）の仮想空間における位置情報を管理する。前記管理はアバターの位置情報を取得すること及び記憶することを含む。前記取得及び記憶は、前記ユーザが前記仮想空間サーバへのアクセスを終了した後、再度アクセスを開始する時に前記終了時点におけるアバターの位置情報を用いて仮想空間内にアバターを存在させうることを含む。
【００１４】
前記オブジェクト管理部は、前記ユーザ固有情報に基づいて特定されたユーザが、仮想空間内で所有している仮想的な衣服、装飾品、玩具、ペット等のオブジェクトの情報を管理する。仮想空間内で前記ユーザが所有する前記オブジェクトは、仮想空間内における寸法、重量、運動量、配色、弾性、透明度、発光強度、付随プログラム、付随音声情報等の属性を有する。
【００１５】
前記ユーザ抽出部は、仮想空間内で所定の距離以内に存在するアバターを識別する。すなわち、前記ユーザ抽出部は、仮想空間内のアバター同士の間隔が所定以内である場合に、それぞれのアバターを操作するユーザ同士が通話可能であることを識別する。前記通話可能なユーザ同士は、端末が備えるスピーカ、マイクロホンを使用して通話しうる。前記端末は机上に設置されたパーソナル・コンピュータでもよく、携帯電話等の移動体通信装置等でもよい。
【００１６】
前記所定以内の間隔は、現実空間において複数の人間が肉声で会話しうる空間距離を反映した仮想空間内のアバターの間隔を含み、予め定義された遠方の限界を超えない間隔を含む。前記遠方の限界は適宜設計しうる。例えば、ユーザが編集しうる仮想空間内のアバターの仮想的な身長の１０倍の距離等でもよい。
【００１７】
前記アバターの間隔は、仮想空間内の同一建築物等、仮想空間内に境界線を伴って定義された領域の内側に存在すればアバターの間隔の条件を満たすことを判定してもよい。前記領域は仮想的な渓谷等の局所的な地形、仮想的な会議室等の人工物等から適宜設計できる。
【００１８】
仮想空間内においてアバターの声量を設定可能としてもよく、近接したアバター同士が通話可能な仮想的な声量の設定、１つの折りたたみ会議テーブルの周りに集合しうる約１０名のアバターが通話可能な仮想的な声量の設定、オペラハウスに集合しうる約１００名のアバターが通話可能な仮想的な声量の設定等を適宜設計してもよく、ユーザが任意に選択してもよい。例えば、「ささやく」「話す」「叫ぶ」等の仮想的な声量の差を含む通話機能をユーザは選択しうる。
【００１９】
前記ユーザ抽出部は、前記声量の差に依存して前記アバターが通話可能な近傍の他のアバターを識別しうる。
【００２０】
アバターが所有するオブジェクトに仮想的な携帯電話を含んでもよい。
【００２１】
前記ユーザ抽出部は、仮想的な携帯電話を所有するアバターが、前記携帯電話を使用可能な仮想空間内の領域に存在する場合に、前記アバターを操作するユーザが仮想空間内で通話可能であることを識別する。
【００２２】
前記ユーザ抽出部によって通話可能と識別されたユーザは、同様に仮想的な携帯電話を所有して使用可能な仮想空間内の領域に存在する他のアバターと、それぞれが所有する仮想的な携帯電話を用いて通話することができる。
【００２３】
前記仮想的な携帯電話を所有するアバターは、仮想空間内の公衆電話、仮想空間内の固定電話等を利用する他のアバターと通話してもよい。前記ユーザ抽出部は、同様に、それぞれのユーザが通話可能であることを、それぞれのアバターが仮想的な電話を使用可能であることから識別しうる。
【００２４】
前記仮想的な携帯電話、前記仮想空間内の公衆電話、前記仮想空間内の固定電話等を利用するアバターは、これらの仮想的な電話を使用可能な仮想空間内の場所にいれば仮想空間内で通話できる。例えば、通話する複数のアバターの最短の間隔が、仮想空間内においてアバター同士の仮想的な肉声による通話が可能な仮想的な間隔の遠方の限界（例えば、ユーザが編集しうる仮想空間内のアバターの仮想的な身長の１０倍程度）を超えても、前記仮想的な電話を用いることにより通話できる。
【００２５】
前記ユーザ抽出部により通話可能であると識別されたユーザ同士は、仮想空間を介して通話できる。ユーザは仮想空間にアクセスすればよく、現実の相手の携帯電話に直接電話をかけなくてもよい。相手の通話手段は携帯電話でもよく、マイクロホンとスピーカを有するパーソナル・コンピュータでもよい。
【００２６】
前記通話要求表示部は、前記ユーザ抽出部により通話可能であると識別されたユーザに、他のユーザからの通話要求を表示する機能を有する。前記通話要求表示部は、通話を要求されたユーザの端末の表示装置への通話要求を示す画像または文字の表示、前記端末の音声出力装置からの音声の出力、前記ユーザへの通話要求を示す電子メールの送信、発光素子等を点滅させることによる通話要求の表示、またはこれらの組み合わせにより、前記ユーザに対して通話要求があることを示してもよい。
【００２７】
前記空間音源ミキシング部は、移動体通信装置を使用してユーザが送受信する通話と、仮想空間内においてアバターの近傍に存在するオブジェクトが発生する音声情報に対して、音響効果等の音声信号処理を任意に加え、ミキシングする機能を有する。前記発生は、オブジェクトに付属する音声情報が、任意のタイミングでユーザに向けて送信されることを含む。以下、オブジェクトからの音声情報の発生の記述も同様である。前記ミキシングには、前記ユーザ判定部が取得したユーザ固有の情報を用いることができる。例えば、通信回線速度が低速である等のユーザ固有の情報を条件として、前記空間音源ミキシング部は前記ミキシングする音声情報を選択または遮断してもよく、ミキシングした音声情報の出力チャネル数を適宜変更してもよく、ミキシングした音声情報の周波数特性を適宜狭隘化してもよい。
【００２８】
前記音声情報は、符号化された音声信号、圧縮された音声信号、周波数シンセサイザ等のための音色、音階、音列等のデータ、及び同様のものを含む。前記符号化された音声信号は、音声信号処理の入力データになりうる。前記符号化された音声信号を除く前記音声情報は、符号化された音声信号に変換することにより、音声信号処理の入力データになりうる。以下、音声信号処理は、前記符号化された音声信号及び前記変換された音声情報を入力データとしうる。
【００２９】
前記空間音源ミキシング部の入力は、ユーザの嗜好に基づいて適宜選択されてもよい。例えば、ユーザは自分の移動体通信端末を操作して、通話に対する音響効果の有無、オブジェクト音声の有無等を任意に設定してもよい。音響効果の程度及びオブジェクト音声の音量の増減等に関してもユーザの嗜好に基づいて適宜調整されてよい。
【００３０】
前記空間音声送信部は、前記空間音源ミキシング部によりミキシングされた音声信号を、ユーザの端末へ送信する機能を有する。
【００３１】
前記仮想空間サーバを用いることにより、ユーザは携帯電話等の移動体通信装置を用いて仮想空間を利用し、自分のアバターの近傍に存在する他のアバターを識別し、前記識別した他のアバターを操作する現実空間の他ユーザと通話することができる。
【００３２】
また、前記仮想空間サーバを用いることにより、ユーザは机上パーソナル・コンピュータを介してアクセスした場合の仮想空間と同様に、音声情報を伴った仮想空間内オブジェクトの存在を感知しながら、携帯電話等によって他のユーザと通話し、同じ仮想空間を利用している感覚を共有することができる。すなわち、前記ユーザ及び前記他のユーザは、机上端末との連続性をもつ仮想空間サービスを利用できると共に、机上パーソナル・コンピュータ等の端末と向かい合わなくとも、現実空間における対面の会話や電話を利用した会話のような簡便さと気軽さを備えた、仮想空間を介する通話サービスを利用できる。
【００３３】
（２）前記ユーザ固有情報に基づいて前記仮想空間を経由して通話可能な他のユーザを識別する手段と、前記ユーザ位置情報に基づいて前記仮想空間内における前記ユーザ近傍のオブジェクトを識別する手段を有する、（１）に記載の仮想空間サーバ。
【００３４】
前記ユーザ固有情報に基づいて仮想空間を経由して通話可能なユーザを識別する手段は、特定の相手との通話を選択または遮断する手段を備える。前記ユーザ固有情報は、ユーザの年齢、嗜好、仮想空間サービスの品質に影響する現実空間の通信端末の通信速度等を含む。
【００３５】
前記ユーザ固有情報に基づいて仮想空間を経由して通話可能なユーザを識別する手段は、ユーザの嗜好等を設定可能な情報テーブルを予めユーザごとに用意して条件を満たすユーザを識別して通話を実施してもよく、仮想空間内の成人向けサービスを提供する場所においてユーザの年齢に依存して通話の条件を満たすか否かを識別してもよく、通信端末の通信速度が転送すべき情報量と比較して十分であるか否かを接続中端末から送信される通信データの帯域を実測して識別してもよく、通話しうるユーザを識別するためのユーザ固有情報を特定する手段の詳細は問わない。
【００３６】
前記ユーザ近傍のオブジェクトは、仮想空間内のユーザの所有情報とは独立して、仮想空間内に存在する仮想的な地質、草木、気象現象等のオブジェクトを含む。前記ユーザ近傍のオブジェクトは、仮想空間内における寸法、重量、運動量、配色、弾性、透明度、発光強度、付随プログラム等の属性を有する。前記ユーザ近傍のオブジェクトは仮想空間内で音声情報を発生してもよい。前記ユーザ近傍のオブジェクトは、アバターの位置情報を元に、アバターとの距離が所定の範囲内である場合に、前記アバターを操作するユーザの端末に音声情報を送信しうる。
【００３７】
前記仮想空間サーバは、ユーザ固有情報に基づいて通話可能なユーザを識別することにより、ユーザの嗜好を反映した仮想空間通話サービスを提供しうると共に、年齢等に依存して有害な情報の提供を制限できる。
【００３８】
さらに、前記仮想空間サーバは、所有者と独立したオブジェクトに由来する音声情報をユーザ端末に送信することにより、仮想空間内における自然現象の再現等を通じて仮想空間により臨場感を与えると共に、音声情報による仮想空間の存在感を提供することで、机上パーソナル・コンピュータと移動体通信装置における仮想空間の同一性、連続性を提供できる。
【００３９】
（３）音声情報を記憶する音源データベースと接続し、ユーザから受信した通話と前記音源データベースに記憶された音声情報とをミキシングしてユーザに送信する手段を有する、（１）に記載の仮想空間サーバ。
【００４０】
前記音源データベースは、前記仮想空間サーバのサービスの一部として仮想空間サーバ内部に含まれてもよく、ネットワークを介して前記仮想空間サーバと接続した独立したデータベース・サーバでもよく、前記仮想空間サーバとの接続の形態は問わない。
【００４１】
前記音源データベースに含まれる音声情報は、仮想空間内で発生するオブジェクト由来の音声情報、仮想空間内の移動手段に付随する効果音等の音声情報、アバターが所有するペット等に由来する音声情報、アバターを介する通話及び文字チャット等の会話に伴う効果音、合成音声プログラム、合成音声プログラムの声質・抑揚等のデータ、周波数シンセサイザ等により合成された交流信号、音楽演奏プログラム、音楽演奏プログラムのための音色・音階・音列等のデータ、及びこれらの組み合わせ、及びこれらを相互に振幅変調、位相変調、周波数変調して得られる変調信号、音量の増減及び音源定位のための信号処理関数、音声信号を編集するための信号処理関数、音声情報の発生のタイミングを制御するプログラム等を含む。これらに限定されずに、仮想空間内で発生または送受信しうる音声情報であれば詳細を問わずに（３）の音源データベースに含まれる。
【００４２】
前記音源データベースを用いて、ユーザは自分がアクセス可能なデータ領域において、新規な音源及び音声信号処理プログラムの追加、記憶した音源及び音声信号処理プログラムの検索及び編集、不要な音源及び音声信号プログラムの削除等を、適宜実行してもよい。
【００４３】
前記音源データベースと接続することにより、前記仮想空間サーバを利用するユーザは、通常の通話に加えて、音声情報及び音声信号処理によって仮想空間に関心、親近感、興趣、臨場感等を持つことができる。さらに、前記ユーザは、アバターの近傍に存在する他ユーザのアバターと音声情報を共有することにより、複数のユーザが相互に音声サービスを受けることができ、互いの親睦を深める、仮想的なペットを愛玩する感情を共有する等の機会を得ることができる。
【００４４】
（４）前記空間音源ミキシング部は、ユーザから受信した通話と、前記音源データベースが記憶する音声情報と、仮想空間内のオブジェクトが出力する音声情報から任意に選択された音声情報に対して、前記ユーザ位置情報及び前記ユーザ固有情報に基づいて音声信号処理手段を選択して音声信号処理を施し、前記音声信号処理は、音量の増減、音源の定位、振幅変調、周波数変調、位相変調、周波数変換、時間遅れ音声信号の重ね合わせ、合成音声の重ね合わせ、高調波成分の重ね合わせ、所定信号処理関数のたたみ込み、ユーザ定義による信号処理から任意に選択される音声信号処理であり、前記音声信号処理を加えた音声信号をミキシングすることを含む、（１）に記載の仮想空間サーバ。
【００４５】
前記オブジェクトが出力する音声情報の発生手段は、仮想空間サーバ及び音源データベースのいずれを用いてもよい。前記オブジェクトが出力する音声情報の発生手段は、オブジェクト由来の音声情報の形式が複数である場合を含む。仮想空間サーバまたは音源データベースのいずれかに記憶された音声情報のデータ形式は、展開処理を要する圧縮音声、通信端末に含まれる音声信号処理回路に入力可能なストリーム、周波数シンセサイザのための音色、音階、音列等のデータを含む。
【００４６】
前記音声信号処理を実行するハードウェア資源は、インターネット接続したコンピュータに含まれる演算装置である。前記コンピュータはインターネットを介するサービスを提供するサーバ機能を備えていればよく、コンピュータの回路、規模、構成等は問わない。例えば（１）に記載の前記仮想空間サーバである。前記演算装置は前記コンピュータのＣＰＵ（中央処理装置）でもよく、前記コンピュータと接続したＦＰＵ（浮動小数点処理装置）またはＤＳＰ（デジタル信号プロセッサ）等でもよく、数値計算の機能を有する演算装置であれば詳細は問わない。
【００４７】
前記仮想空間サーバは、前記空間音源ミキシング部により、移動体通信装置を用いて仮想空間を利用するユーザに対して、仮想空間内の特定の場所における音響効果を提供する。さらに前記仮想空間サーバは、仮想空間内においてユーザのアバター近傍に存在する他のユーザのアバターとの通話に、効果音、オブジェクト由来の音声情報を付加し、仮想空間の臨場感を増すことができる。これにより、前記仮想空間サーバは、仮想世界内で独立に発生している電話に限定しないさまざまな音声情報へのアクセスを実現することによって、通話するユーザに仮想空間の臨場感を与え、仮想空間を共有するユーザ同士の親近感を増し、仮想空間を魅力的に感じさせることができる。
【００４８】
（５）前記空間音源ミキシング部は、ユーザが用いる端末の通信回線速度に依存して、音声信号のチャネル数を２以上の音声チャネルからなる多重音声及びモノラル音声から任意に選択する手段を有する、（１）に記載の仮想空間サーバ。
【００４９】
前記ユーザが用いる端末の通信回線速度には、移動体通信装置の通信回線速度、インターネットに接続したパーソナル・コンピュータ等の通信回線速度を含む。前記移動体通信装置の通信回線速度は、移動体通信サービスが提供する通信回線速度に依存する。前記パーソナル・コンピュータ等の通信回線速度は、光ファイバ回線、メタルワイヤ回線、公衆無線ＬＡＮ等の回線の種類に依存する。前記ユーザが用いる端末の通信回線速度には、（１）に示した発信者番号情報受信部またはユーザ判定部が取得した端末の通信回線速度を含む。前記ユーザが用いる端末の通信回線速度は、ユーザの嗜好に基づく値を仮想空間サーバが記憶してもよい。
【００５０】
前記端末の通信回線速度は実行的に低下する場合がある。例えば、携帯電話を移動体通信装置として利用し、複数のユーザが同一の携帯電話基地局に接続することにより、基地局から特定の携帯電話に対するデータ送受信が断続的となりうる。さらに、携帯電話と基地局との電波を介した接続状況に依存して発生した送受信エラーに基づき、通信データの再送信が実行される場合があり、実効的な通信回線速度はさらに低下しうる。前記パーソナル・コンピュータ等に接続された通信回線においても、ゲートウェイ・サーバ等の混雑の状況に基づいて、回線速度の実効的な低下は発生しうる。
【００５１】
ステレオ音声は２個のモノラル音声とみなすことができるので、非圧縮の音声信号としてステレオ音声に替えてモノラル音声を送受信することにより、単位時間あたりに送受信する非圧縮の音声信号のデータ量を半減できる。これにより、実効的に通信速度の低下がありうる移動体通信装置を介した音声信号の送受信において、送受信の停滞を緩和しうる。音声信号を圧縮して送受信する場合においても、圧縮後のデータ量は音源のチャネル数が少ないほど減少するので、音声チャネル数を減らすことにより送受信の停滞を緩和する効果を期待できる。
【００５２】
前記仮想空間サーバは、前記空間音源ミキシング方法により、実効的に通信回線速度の低下が発生しうるユーザに対して、音声信号のチャネル数を任意に選択することにより、サービスの停滞を緩和しうる。
【００５３】
（６）ネットワークを介して提供する仮想空間において、仮想空間上の音声の入出力を電話装置との連携により実現する仮想空間通話システムであって、ユーザが発信した電話番号を受信する発信者番号情報受信装置と、前記発信者番号に対応するユーザ固有情報を求めるユーザ判定装置と、前記ユーザの仮想空間内における位置情報を管理する位置情報管理装置と、前記仮想空間内において前記ユーザと所定の距離以内に存在するオブジェクトを管理するオブジェクト管理装置と、前記ユーザ位置情報に基づいて前記仮想空間を経由して通話可能な他のユーザを識別するユーザ抽出装置と、前記ユーザ及び前記他のユーザへの通話要求を表示する通話要求装置と、前記仮想空間内において前記ユーザと所定の距離以内に存在するオブジェクトの音声情報を前記ユーザから受信する通話とミキシングする空間音源ミキシング装置と、前記ミキシングした音声情報をユーザに送信する空間音声送信装置とを備えた、仮想空間通話システム。
【００５４】
前記仮想空間通話システムは、前記仮想空間サーバが提供する仮想空間を介したユーザ同士の通話に係る。前記仮想空間通話システムを構成するハードウェア資源は、インターネット接続したコンピュータを含む。前記インターネット接続したコンピュータは、インターネットを介するサービスを提供するサーバ機能を備えればよく、コンピュータの回路、規模、構成等は問わない。好適な例は、（１）に記載の前記仮想空間サーバである。
【００５５】
前記発信者番号情報受信装置、位置情報管理装置、ユーザ抽出装置、通話要求装置、空間音源ミキシング装置、空間音声送信装置は、それぞれがネットワーク接続したコンピュータであってもよく、これらのいずれか２以上の装置を同一のコンピュータの内部に含んでもよく、構成の詳細は問わない。
【００５６】
前記仮想空間を利用するユーザは、他のユーザとの通話に加えて、仮想空間内のオブジェクトに由来する音声情報を受信できる。従って、前記ユーザ及び前記他のユーザは、仮想空間の臨場感を得られると共に、同じ仮想空間を利用している感覚を共有することができ、これによってユーザ同士の親近感を得ることができる。
【００５７】
（７）ネットワークを介して提供する仮想空間において、仮想空間上の音声の入出力を電話装置との連携により実現する仮想空間通話プログラムであって、コンピュータに、ユーザが発信した電話番号を受信する発信者番号情報受信ステップと、前記発信者番号に対応するユーザ固有情報を求めるユーザ判定ステップと、前記ユーザの前記仮想空間内におけるユーザ位置情報を取得する位置情報管理ステップと、前記仮想空間内においてユーザと所定の距離以内に存在するオブジェクトを管理するオブジェクト管理ステップと、前記ユーザ位置情報に基づいて前記仮想空間を経由して通話可能なユーザを識別するユーザ抽出ステップと、前記ユーザへの通話要求を表示する通話要求ステップと、前記仮想空間内において前記ユーザと所定の距離以内に存在するオブジェクトの音声情報を前記ユーザから受信する通話とミキシングする空間音源ミキシングステップと、前記ミキシングした音声情報をユーザに送信する空間音声送信ステップを実行させる、仮想空間通話プログラム。
【００５８】
前記仮想空間通話プログラムを実施するハードウェア資源には、ネットワーク接続、特にインターネット接続したコンピュータを含む。前記コンピュータは、前記ネットワークを介するサービスを提供するサーバ機能を備えていればよく、回路、規模、構成等は問わない。好適な例は、（１）に記載の仮想空間サーバである。
【００５９】
前記各ステップは、前記ネットワーク接続したコンピュータを用いて個々のステップを個別のコンピュータで実施してもよく、いずれか２以上のステップを同一のコンピュータを用いて実施してもよい。各ステップを実施するコンピュータの構成の詳細は問わない。
【００６０】
前記仮想空間通話プログラムはコンピュータ可読媒体に記憶される。前記可読媒体には、磁気記録媒体、光磁気記録媒体、光学記録媒体、電子媒体を含むが、これらに限定されない。前記可読媒体は前記仮想空間サーバの内部に格納されてもよく、外部に接続してもよく、専用通信回線やインターネット等の通信回線に接続されたサーバシステムに設けたハードディスクまたは光ディスクライブラリ等の記憶装置を記録媒体として使用し、通信回線を介して前記仮想空間サーバと接続してもよい。
【００６１】
前記仮想空間通話プログラムを用いることにより、前記仮想空間サーバは、仮想空間内のオブジェクトに由来する音声情報とユーザの通話をミキシングし、ユーザが仮想空間内で操作するアバターの近傍の音響空間の特性を反映した音声信号処理を実行して、仮想空間を介するユーザ相互の通話を実現することができる。これにより、仮想空間内で独立に発生している通話に限定しないさまざまな音声情報へユーザがアクセスできるようになるとともに、ユーザは仮想空間の臨場感を感じながら仮想空間を介するサービスを利用できる。
【発明の効果】
【００６２】
本発明によれば、現実空間におけるユーザの行動範囲が、例えば、屋内に設置されインターネット接続されたパーソナル・コンピュータ近傍に制約されないよう、持ち運び可能な携帯電話等の移動体通信装置を用いて、通話を含む仮想空間を介するサービスを提供することができる。これにより、ユーザは、行動範囲の制約を受ける端末と向かい合うことなく、現実空間における対面の会話や、電話を利用した会話のような簡便で気軽さを有する、仮想空間を介する通話サービスを利用できる。
【００６３】
また、本発明によれば、携帯電話等の移動体通信装置を用いる仮想空間へのアクセスには、パーソナル・コンピュータ利用と同様に仮想空間内の音響効果及び仮想空間内のオブジェクトに由来する音声情報が伴いうる。これにより、ユーザは、端末の種類が異なっても同一の仮想空間を引き続き利用している連続性を感じとることができるとともに、仮想空間内で独立に発生している通話に限定しないさまざまな音声情報へアクセスすることができる。
【００６４】
さらに、本発明によれば、前記音響効果及び前記音声情報により、ユーザの通話に仮想空間内特有のさまざまな背景音が加わることによって、ユーザは、仮想空間の臨場感を感じながら仮想空間を介するサービスを利用できる。
【発明を実施するための最良の形態】
【００６５】
以下、本発明の実施形態について図を参照しながら説明する。なお、これらの実施形態はあくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。
【００６６】
［仮想空間サーバの構成及び移動体通信装置との関係］
図１は、一実施形態に係る仮想空間サーバの構成と、移動体通信装置を用いて仮想空間サーバを利用するユーザの移動体通信装置との関係を示す図である。
【００６７】
仮想空間サーバ１は、制御論理３５、ユーザ判定部４１、データ処理部３６、音声信号処理部３７、メインメモリ１５０、記憶部１０９、通信Ｉ／Ｆ（インタフェース）１４０を含む。データ処理部３６は、位置情報管理部４２、オブジェクト管理部４３、ユーザ抽出部４４、通話要求表示部４５を含む。音声信号処理部３７は、発話受信部４６、空間音源ミキシング部４７、空間音声送信部４８、ユーザ固有ＤＢ（データベース）４９を含む。
【００６８】
ユーザが携帯電話２０を用いて、仮想空間サーバ１にアクセスすると、仮想空間サーバに含まれる発信者番号情報受信部４０は前記ユーザの電話番号の情報を取得し、ユーザ判定部４１はユーザ固有情報ＤＢ４９が記憶する前記ユーザを含むユーザに関連付けられた情報から前記ユーザに固有の情報を取得する。前記ユーザに固有の情報は、仮想空間を介するサービスにおける前記ユーザのＩＤ、前記ユーザの通信手段が携帯電話等の移動体通信装置であることの情報、前記ユーザが仮想空間内で操作するアバターの情報等を含む。
【００６９】
ユーザ判定部４１が取得した前記ユーザに固有の情報に基づき、仮想空間サーバに含まれる位置情報管理部４２は、前記ユーザが仮想空間内で操作するアバターが存在する位置の情報を取得し記憶する。
【００７０】
ユーザは仮想空間の利用開始において、自らが操作するアバターの仮想空間内における位置を、前回利用時の最後の場所、適宜設定した場所、仮想空間システムが設定した場所等から、適宜選択してもよい。
【００７１】
位置情報管理部４２は、ユーザの操作によって仮想空間内のアバターが存在する場所が変化する場合に、移動後の前記アバターの位置情報を逐次取得し記憶する。前記移動は、離散的な始点と終点の位置座標によって定義されてもよく、方向ベクトル等による前記アバター移動の指示を続けた時間と前記アバターの移動速度から終点の位置情報を計算して求めてもよい。
【００７２】
前記位置情報管理部４２は、前記ユーザが仮想空間の利用を終了する場合に、前記終了の時点におけるアバターの位置情報を取得し記憶する。前記最後に記憶された前記アバターの位置情報は、前記ユーザが仮想空間を再利用する時に前記アバターの最初の位置情報として使用されうる。
【００７３】
仮想空間サーバ１において、さらに、ユーザ判定部４１が特定したユーザの情報に基づき、オブジェクト管理部４３はユーザが仮想空間内で操作するアバターが所有するオブジェクトの情報を管理する。
【００７４】
前記アバターが所有するオブジェクトは、例えば、アバターの仮想的な着衣、仮想的な装飾品、仮想的なペット、仮想的な携帯電話、仮想的な建築物、仮想的な土地等である。前記アバターが所有するオブジェクトは、仮想空間内における寸法、重量、運動量、配色、弾性、透明度、発光強度、付随プログラム、付随音声情報等の属性を有する。
【００７５】
仮想空間サーバ１において、さらに、ユーザ判定部４１が特定したユーザの情報に基づき、ユーザ抽出部４４はユーザが仮想空間内で交流等により知り合った他のユーザの情報、前記仮想空間内において前記ユーザの近傍に存在する他のユーザの情報、前記仮想空間内において前記ユーザと通話可能な他のユーザの情報を取得する。
【００７６】
前記他のユーザの情報は、前記ユーザが設定可能な友人リスト等のテーブルに記録した情報を含む。前記友人リストは、記録された前記他のユーザが仮想空間を利用中であるか否かのフラグ、仮想空間内において通話が届く距離に存在するか否かのフラグ等を含んでもよいが、これらに限定されない。
【００７７】
前記他のユーザの情報には、さらに、携帯電話等の移動体通信装置を利用可能であるか否かのフラグを含んでもよい。ユーザ抽出部４４が取得する情報に基づき、前記ユーザと前記他のユーザが仮想空間において相互に携帯電話で通話可能であるか否かを、それぞれに通知してもよい。
【００７８】
仮想空間サーバ１に含まれる通話要求表示部４５は、通話要求が発生したことを要求先のユーザ端末に表示する。例えば、友人リストに記録した他のユーザの情報を元に、ユーザが前記他のユーザに携帯電話での通話を試みると、通話要求表示部４５は仮想空間内において前記ユーザが前記他のユーザに通話を要求していることを、前記他のユーザの携帯電話に表示するためのデータを送信する。
【００７９】
前記仮想空間を介する通話要求が前記他のユーザの携帯電話２１に表示され、前記他のユーザが仮想空間を介して応答を開始すると、本発明の仮想空間サーバに含まれるユーザ判定部４１は前記他のユーザの情報を取得する。すなわち、前述と同様の手順に従い、前記他のユーザの位置情報、所有するオブジェクトの情報、前記他のユーザの友人リスト等が、ユーザ判定部４１、位置情報管理部４２、ユーザ抽出部４４によって取得される。
【００８０】
仮想空間サーバ１に含まれる発話受信部４６は、携帯電話２０を用いるユーザと、携帯電話２１を用いる他のユーザによるそれぞれの通話を受信する。
【００８１】
仮想空間サーバ１に含まれる空間音源ミキシング部４７は、前記通話と、仮想空間内の音声情報を、仮想空間内の音響効果を伴い、仮想空間内においてアバターが存在する状況を反映してミキシングする。
【００８２】
前記仮想空間内の音声情報には、後述する音源データ資源に記憶された、仮想空間内のオブジェクトに由来する音声情報を含む。例えば、特定のアバターが所有する仮想的なペットの形状のオブジェクトに由来する鳴き声の音声情報、所有者を定義されない仮想的な野鳥の形状のオブジェクトに由来する鳴き声の音声情報、仮想的な河川、噴水等に由来する水音等の仮想的な自然音の音声情報、仮想的な都市の騒音の音声情報等が含まれる。前記仮想空間内のオブジェクトに由来する音声情報は、符号化された音声信号、音声信号を生成するプログラムのためのデータ等を含む。
【００８３】
前記携帯電話２０を用いるユーザと、前記携帯電話２１を用いる他のユーザは、個別に仮想空間内で操作するアバターが所有するオブジェクトを有し、それぞれのアバターの近傍に異なるオブジェクトが存在する場合がある。
【００８４】
アバターが所有するオブジェクト及びアバターの近傍に存在するオブジェクトには、音声情報を発生するオブジェクトを含む。
【００８５】
前記携帯電話２０を用いるユーザのアバター（アバターＡとする）と、前記携帯電話２１を用いる他のユーザのアバター（アバターＢとする）が、仮想空間内においてアバターの身長の数倍以内程度の間隔で存在し、現実空間における同様の状況において肉声での通話が通常に可能であることを端末の表示情報からユーザが確認しうる場合、アバターＡが所有するオブジェクトに由来する音声情報は、アバターＡ及びアバターＢの両方とも受信しうる。
【００８６】
例えば、アバターＡが犬の形状のオブジェクトを所有し、前記オブジェクトに犬の鳴き声の音声情報が付属する場合、前記音声情報はアバターＡ及びアバターＢの両方で受信しうる。
【００８７】
また例えば、仮想空間内において所有者の定義がない鳥の形状のオブジェクトが、アバターＡ及びアバターＢの近傍に存在し、前記鳥の形状のオブジェクトにスズメの鳴き声の音声情報が付属する場合、前記スズメの鳴き声の音声情報はアバターＡ及びアバターＢの両方が受信しうる。
【００８８】
前記仮想空間内の音響効果には、後述する音源データ資源に記憶された、仮想空間内において並行した壁面を有する建築物に由来するフラッターエコー等の残響、仮想的な山並みからの山彦等の反射音、仮想的なカラオケ装置による拡声を伴う残響等を含む。
【００８９】
前記仮想空間内においてアバターが存在する状況には、アバターが残響のほとんど無い仮想的な野原に存在する状況、アバターが長い残響を伴う仮想的な洞窟内に存在する状況等を含む。
【００９０】
仮想空間サーバ１と接続した音源データ資源２は、仮想空間内で発生するオブジェクト由来の音声情報、仮想空間内の交通手段等の動作音、アバターが所有するペット等に由来する音声情報、アバターを介する通話及び文字チャット等の会話に伴う効果音、合成音声プログラム、合成音声プログラムの声質・抑揚等のデータ、周波数シンセサイザ等により合成された交流信号、音楽演奏プログラム、音楽演奏プログラムのための音色・音階・音列等のデータ、及びこれらの組み合わせ、及びこれらを相互に振幅変調、位相変調、周波数変調して得られる変調信号、音量の増減及び音源定位のための信号処理関数、音声信号を編集するための信号処理関数、音声情報の発生のタイミングを制御するプログラムを含む。これらに限定されずに、仮想空間内で発生または送受信しうる音声情報であれば詳細を問わずに前記音源データ資源に含まれる。
【００９１】
前記音源データ資源は、新規な音声情報及び音声信号処理プログラムの追加、記憶した音声情報及び音声信号処理プログラムの編集、不要な音声情報及び音声信号処理プログラムの削除、音声情報及び音声信号処理プログラムの検索等を、適宜実行できる。
【００９２】
空間音源ミキシング部４７は、ユーザ及び他のユーザの通話と、音源データ資源２に記憶された音声情報をミキシングすると共に、音源データ資源２に記憶された信号処理プログラムによる音声信号処理を実施する。
【００９３】
仮想空間サーバ１に含まれる空間音声送信部４８は、前記空間音源ミキシング部４７によってミキシングされ信号処理された音声信号をユーザ及び他のユーザに送信する。
【００９４】
以上の音声信号処理により、本発明の仮想空間サーバ１を介する通話においては、ユーザ同士の通話のみならず、各ユーザが操作するアバターが仮想空間内で存在する状況を反映した音声信号処理及びアバター近傍に存在するオブジェクトに由来する音声情報を加えた音声信号を生成して各ユーザに送信する。
【００９５】
仮想空間内で生成した前記音声信号を用いることにより、本発明の仮想空間サーバを利用して通話を実施するユーザは、仮想空間内に特有なさまざまな背景音によって仮想空間の臨場感を得ることができ、他のユーザと前記仮想空間を共有している感覚を得ることができる。
【００９６】
［仮想空間サーバのハードウェア構成］
図２は、本発明の好適な実施形態の一例に係る仮想空間サーバのハードウェア構成を示す図である。以下、サーバを例にして説明するが、パーソナル・コンピュータをクライアント端末として用いる場合についても基本的には同様である。
【００９７】
仮想空間サーバ１は、制御部１０８を構成するＣＰＵ１１０（マルチプロセッサ構成ではＣＰＵ１２０等複数のＣＰＵが追加されてもよい）、バスライン１０７、通信Ｉ／Ｆ１４０、メインメモリ１５０、ＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）１６０、ＵＳＢポート１９０、Ｉ／Ｏコントローラ１７０、並びにキーボード及びマウス１８０等の入力手段や表示装置１２２を備える。Ｉ／Ｏコントローラ１７０には、テープドライブ１７２、ハードディスク１７４、光ディスクドライブ１７６、半導体メモリ１７８、等の記憶部１０９を接続することができる。ＢＩＯＳ１６０は、サーバの起動時にＣＰＵ１１０が実行するブートプログラムや、サーバのハードウェアに依存するプログラム等を格納する。ハードディスク１７４は、サーバとして機能するための各種プログラム及び本発明の機能を実行するプログラムを記憶する。光ディスクドライブ１７６としては、例えば、ＤＶＤ−ＲＯＭドライブ、ＣＤ−ＲＯＭドライブ、ＤＶＤ−ＲＡＭドライブ、ＣＤ−ＲＡＭドライブ等を使用することができる。この場合は各ドライブに対応した光ディスク１７７を使用する。光ディスク１７７から光ディスクドライブ１７６によりプログラムまたはデータを読み取り、Ｉ／Ｏコントローラ１７０を介してメインメモリ１５０またはハードディスク１７４に提供することもできる。また、同様にテープドライブ１７２に対応したテープメディア１７１を主としてバックアップのために使用することもできる。
【００９８】
サーバに提供されるプログラムは、ハードディスク１７４、光ディスク１７７、またはメモリカード等の記録媒体に格納されて提供される。このプログラムは、Ｉ／Ｏコントローラ１７０を介して、記録媒体から読み出され、または通信Ｉ／Ｆ１４０を介してダウンロードされることによって、サーバにインストールされ実行されてもよい。
【００９９】
上述のプログラムは、内部または外部の記憶媒体に格納されてもよい。ここで、記憶媒体としては、磁気記録媒体、光磁気記録媒体、光学記録媒体、電子媒体を含むが、これらに限定されない。前記磁気記録媒体には、磁気テープ、フロッピー（登録商標）ディスク、ハードディスク１７４、磁気ランダムアクセスメモリ（ＭＲＡＭ）等を含み、光磁気記録媒体には光磁気ディスク（ＭＯ及びＭＤ）等を含み、光学記録媒体には追記型コンパクトディスク（ＣＤ）、追記型デジタル多目的ディスク（ＤＶＤ）、追記型ブルーレイディスク、追記型ホログラフィック・ディスク等を含み、電子媒体には電気書き込み可能読み出し専用メモリ、ランダムアクセスメモリ、フラッシュメモリ、シリコン・ストレージ・ディスク等を含む。また、専用通信回線やインターネット等の通信回線に接続されたサーバシステムに設けたハードディスク１７４または光ディスクライブラリ等の記憶装置を記録媒体として使用し、通信回線を介してプログラムをサーバに提供してもよい。
【０１００】
ここで、表示装置１２２は、サーバ管理者によるデータの入力を受け付ける画面を表示したり、演算処理結果の画面を表示したりするものであり、ブラウン管表示装置（ＣＲＴ）、液晶表示装置（ＬＣＤ）等のディスプレイ装置を含む。入力手段は、ユーザによる入力の受け付けを行うものであり、キーボード及びマウス１８０等により構成してもよい。通信Ｉ／Ｆ１４０は、サーバを専用ネットワークまたは公共ネットワークを介して端末と接続できるようにするためのネットワーク・アダプタである。通信Ｉ／Ｆ１４０は、モデム、ケーブル・モデム及びイーサネット（登録商標）・アダプタを含んでよい。
【０１０１】
以上の例は、仮想空間サーバ１のハードウェア構成について主に説明したが、コンピュータに、プログラムをインストールして、そのコンピュータを仮想空間サーバ１として動作させることにより上記で説明した機能を実現することもできる。従って、本発明において一実施形態として説明した仮想空間サーバ１により実現される機能は、上述の方法を前記コンピュータにより実行することにより、あるいは、上述のプログラムを前記コンピュータに導入して実行することによっても実現可能である。
【０１０２】
［通話データ形式］
図３は本発明の仮想空間サーバに係るデータ形式を示す図である。図３（ａ）は本発明の仮想空間サーバを介する通話を含むデータ形式の例を示す図であり、図３（ｂ）は本発明の仮想空間サーバに含まれるユーザ固有情報ＤＢのデータ形式の例を示す図である。
【０１０３】
図３（ａ）に示すように、仮想空間サーバを介する通話を含むデータの送受信は、ネットワーク回線を介するデータ通信のひとつの形態であり、データ通信はパケット５０をデータの単位として扱い、パケット５０は識別子５１及びデータ領域５２を含む。識別子５１には、データに付属する固有の情報として送信元ＩＤ、送信先ＩＤ、データ領域が実行可能なプログラムであるか否かのフラグ、データ領域が音声信号であるか否かのフラグ、データ領域がコンピュータ・プログラムのための数値データや変数テーブル等であるか否かのフラグ、データ領域が正しく送受信できたか否かを検証するための検査符号等が適宜含まれる。データ領域５２には、音声信号、仮想空間内のアバターの操作に係る情報、コンピュータ・プログラムのための入出力、コンピュータ・プログラム等を含むデータが任意に含まれる。前記識別子５１の情報の一部をデータ領域５２に含んでもよく、データ領域５２に含まれる情報の種類は適宜設計できる。
【０１０４】
図３（ｂ）に示すように、仮想空間サーバに含まれるユーザ固有情報ＤＢ４９には、１つのユーザＩＤ１３１に対して、前記ユーザＩＤを有するユーザの電話番号１３２、同様に前記ユーザのメールアドレス１３３、前記ユーザが操作するアバターの仮想空間内位置情報１３４等の情報が関連付けられる。図３（ｂ）においては、例えばユーザＩＤ１３１の値が「２３４５３６」であるユーザにおいて、前記ユーザの電話番号１３２が「８７６７８９」であること、前記ユーザが操作するアバターの仮想空間内における位置情報１３４が（ＸＸＸ，ＹＹＹ，ＺＺＺ）の形式の変数であること等が、前記ユーザ固有情報ＤＢ４９に格納されうることが示されている。１つのユーザＩＤに対して複数のアバターを関連付けてもよく、それぞれのアバターが仮想空間内において別個の位置情報を有していてもよい。前記ユーザ固有情報ＤＢ４９の前記関連付けされた情報の種類、数量は適宜設計できる。
【０１０５】
［仮想空間通話プログラム］
図４は、本発明の仮想空間サーバにおいて実行される仮想空間通話プログラムの実行ステップを示す図である。１つのコンピュータ資源を用いて全てのステップを実行してもよく、複数のコンピュータ資源を用いてそれぞれの資源で１つ以上のステップを実行してもよい。例えば、もっぱらユーザ認証を行うためのコンピュータを設け、本発明の仮想空間サーバとネットワーク接続してもよい。
【０１０６】
仮想空間通話プログラムは、仮想空間サーバにアクセスしたユーザが正規のＩＤを有するユーザであるか否かを、ユーザ認証ステップ（ステップＳ１）において認証する。認証に失敗した場合はステップＳ１で引き続き待機する。
【０１０７】
次に、仮想空間通話プログラムは、発信者番号情報受信ステップ（Ｓ１０）によってユーザの電話番号の情報を取得する。前記ユーザの電話番号の情報が前記ユーザの端末の通信回線速度の情報を含む場合は、前記発信者番号受信ステップは前記端末の通信回線速度の情報を取得する。さらに、仮想空間通話プログラムは、ユーザ判定ステップ（Ｓ１１）において、図３（ｂ）に示したユーザ固有情報ＤＢ４９の情報を参照し、前記ユーザの固有情報を得る。前記ユーザの固有情報は、ユーザが用いる端末の種類、ユーザが仮想空間内で操作するアバターの位置情報、前記アバターが仮想空間内で所有するオブジェクトの情報等を含んでよい。前記ユーザの端末が移動体通信装置である場合に、前記仮想空間通話プログラムは、前記端末が移動体通信装置であることの情報を他のステップで用いるために記憶する。前記端末が移動体通信装置であることの情報は、前記ユーザが送信するパケット中の識別子またはデータ領域に含まれる端末情報である場合を含む。前記端末情報は、例えば、通信事業者割り当て番号、加入者電話番号、移動体通信装置が内蔵する記憶装置が有する製造シリアル番号、移動体通信装置が内蔵するプロセッサが有する識別番号等であるが、これらに限定されない。
【０１０８】
位置情報管理ステップ（ステップＳ１２）は、本発明の仮想空間サーバを利用しうる複数のユーザの中から、前記ユーザＩＤを元にユーザ固有情報ＤＢ４９を参照し、前記ユーザのアバターの仮想空間における位置情報を取得し記憶する。前記ユーザが仮想空間を利用する期間中に、前記アバターが仮想空間内を移動して位置情報が変化した場合は、前記位置情報管理ステップが記憶する前記アバターの位置情報が更新される。
【０１０９】
オブジェクト管理ステップ（ステップＳ１３）は、前記ユーザＩＤを元に、前記アバターが仮想空間内で所有している仮想的な衣服、装飾品、玩具、ペット等のオブジェクトの情報を管理する。
【０１１０】
ユーザ抽出ステップ（ステップＳ１４）は、仮想空間内で所定の距離以内に存在する他のアバターを識別する。すなわち仮想空間を利用する他のユーザが操作するアバターを識別することにより、ユーザが仮想空間を介して通話しうる他のユーザを識別する。前記ユーザ抽出ステップにおいて識別した前記他のユーザの情報は、仮想空間内における前記ユーザの友人リスト等に反映され、通話可能な前記他のユーザの情報がそれ以外の情報よりも目立つように表示を変更する等の処理を追加してもよい。
【０１１１】
前記ユーザ抽出ステップにおいて識別される前記他のユーザには、前記他のユーザのアバターが仮想的な携帯電話のオブジェクトを所有する場合を含む。前記ユーザ及び前記他のユーザのアバターがいずれも仮想的な携帯電話のオブジェクトを所有し、それぞれが仮想空間内において仮想的な携帯電話を使用可能な位置に存在していれば、アバター同士の仮想的な直線距離に関わらず、前記ユーザ及び前記他のユーザは仮想空間を介して通話できる。
【０１１２】
前記ユーザ抽出ステップにおいて識別される前記他のユーザには、前記他のユーザのアバターが仮想的な公衆電話または仮想的な固定電話を利用可能である場合を含む。仮想的な公衆電話または固定電話のオブジェクトをそれぞれのアバターが利用することにより、アバター同士の仮想的な直線距離に関わらず、前記ユーザ及び前記他のユーザは仮想空間を介して通話できる。前記仮想的な携帯電話、前記仮想的な公衆電話、前記仮想的な固定電話は仮想空間内において相互に接続しうる。
【０１１３】
通話要求表示ステップ（ステップＳ１５）は、前記ユーザ抽出ステップにより通話可能であると識別した前記他のユーザに通話要求を表示する。
【０１１４】
発話受信ステップ（ステップＳ１６）は、前記ユーザ及び前記他のユーザによるそれぞれの通話を受信する。
【０１１５】
空間音声ミキシングステップ（ステップＳ１７）は、前記ユーザから受信する通話と、前記仮想空間内において前記アバターの近傍に存在するオブジェクトが発生する音声情報をミキシングする機能を有する。前記空間音声ミキシングステップは、前記ユーザ判定ステップ（ステップＳ１１）において判定した、前記ユーザの端末が移動体通信装置であることの情報を用いて、音声信号処理の処理条件を適宜変更しうる。例えば、移動体通信装置に送信する音声信号をモノラル音声とするように処理条件を変更できる。
【０１１６】
空間音声送信ステップ（ステップＳ１８）は、前記空間音源ミキシングステップによりミキシングされた音声信号を、ユーザの端末へ送信する。
【０１１７】
通信終了を判定するステップ（ステップＳ１９）は、前記ユーザのネットワーク・アクセスが終了したか否かを判定する。アクセスが終了した場合は、仮想空間通話プログラムはステップＳ１に戻り、ユーザ認証を行うユーザのアクセスを待機する。アクセスが終了せず継続している場合は、仮想空間通話プログラムはステップＳ１０に戻る。前記ユーザが仮想空間へのアクセス期間中に、前記ユーザに固有な情報を変更した場合であっても、仮想空間通話プログラムは発信者番号情報受信ステップ（Ｓ１０）及びユーザ判定ステップ（Ｓ１１）を繰り返し実行することによって、更新されたユーザ固有情報を取得して、前記ユーザへの仮想空間サービスの提供を継続しうる。例えば、アクセス期間中に携帯電話基地局が混雑することにより携帯電話端末の実行的な通信回線速度が低下し、前記仮想空間通話プログラムが前記発信者番号情報受信ステップ（Ｓ１０）または前記ユーザ判定ステップ（Ｓ１１）において取得する前記通信回線速度の変化を検出すると、前記仮想空間通話プログラムは低下した通信回線速度に適合した音声信号を出力するよう動作しうる。このように、前記ユーザのアクセス期間中に、繰り返して発信者番号情報受信ステップ（Ｓ１０）及びユーザ判定ステップ（Ｓ１１）を実行することにより、前記仮想空間通話プログラムはユーザ固有情報の更新を逐次取得してサービスを継続しうる。
【０１１８】
以上のＳ１１からＳ１９までの各ステップは、本発明の仮想空間サーバをユーザが利用する期間中において、多重に並列実行される。例えば、仮想空間内でアバターを移動させながら、ユーザと他のユーザが仮想空間内の音響効果を付加した通話を送受信できる。
【０１１９】
図４はステップ相互の優先順位を示すものではなく、本発明の仮想空間サーバにおいて多重に実行されるステップを並べたに過ぎない。例えば、空間音声ミキシングステップ（ステップＳ１７）は、位置情報管理ステップ（ステップＳ１２）の処理の経過に依存せずに、前記ユーザが仮想空間サーバに接続している期間中に継続して音声信号処理を実行することができる。
【０１２０】
図４に示し、以上説明した、各ステップを実行する時間スライス、データ量単位等は、適宜設計しうる。例えば、移動体通信装置から受信した１つのパケットに対してステップＳ１１からステップＳ１９までを逐次実行し、次いで受信した１つのパケットに対して同じ手順を繰り返し実行してもよい。また例えば、移動体通信装置が仮想空間サーバに接続している期間中に、パケット個数に関わらず、ステップＳ１１からステップＳ１９までを同時に並列に実行してもよい。
【０１２１】
［仮想空間サーバ及び移動体通信装置のネットワーク接続例］
図５は、本発明の仮想空間サーバ及びクライアント端末である移動体通信装置がネットワーク、特にインターネットを介して接続する例を示す図である。インターネット９には、仮想空間サーバ１、ＩＰ電話サーバ１０、１１、インターネットサービスを提供するプロバイダ１５が接続する。音源データ資源２、ユーザ認証サーバ３はインターネット９を介して仮想空間サーバ１に接続してもよく、イントラネットを用いて仮想空間サーバ１に接続してもよく、仮想空間サーバ１が音源データ資源２、ユーザ認証サーバ３のいずれかまたは両方を兼ねてもよい。プロバイダ１５はネットワーク端末２９とも接続しうる。プロバイダ１５とネットワーク端末２９との接続は公衆回線でもよく、専用回線でもよく、回線の仕様の詳細は問わない。ネットワーク端末２９はパーソナル・コンピュータ等でもよい。
【０１２２】
ＩＰ電話サーバ１０、１１は、中継局１２、１３を介して携帯電話Ａ２０、携帯電話Ｂ２１と接続しうる。ＩＰ電話サーバと中継局との接続手段は何でもよい。ＩＰ電話サーバと接続した携帯電話Ａ２０、携帯電話Ｂ２１はそれぞれ独立したインターネット接続端末として動作しうる。
【０１２３】
携帯電話Ａ２０、携帯電話Ｂ２１は移動体通信装置の一例であり、電波等をインターネット接続手段とし、持ち運び可能な端末装置であれば、移動体通信装置に含まれる。例えば、携帯電話またはＰＨＳを内蔵したノート型パーソナル・コンピュータ、公衆無線ＬＡＮと接続したコンピュータ等も移動体通信装置に含まれる。
【０１２４】
［空間音源ミキシング部］
図６は、本発明の仮想空間サーバに含まれる空間音源ミキシング部の構成の例を示す図である。空間音源ミキシング部４７は、仮想空間サーバ１に含まれ、信号処理部１０３及び音声信号ミキサ１０６を含む。前記信号処理部１０３は信号処理関数１０４を含む。
【０１２５】
信号処理部１０３の入力には、オブジェクト管理部４３からのオブジェクト由来音声情報１０５、受信通話１０１、音源データ資源３に記憶された音声情報が含まれるが、これらに限定されない。前記オブジェクト由来音声情報１０５は、音声信号及び音声信号に変換された音声情報を含む。信号処理部１０３は、信号処理のために位置情報管理部４２の情報を用いることができる。
【０１２６】
信号処理部１０３の出力は、音声信号ミキサ１０６を経由し、送信通話１０２が生成される。音声信号ミキサ１０６は、音声信号の出力フォーマット選択、有害音声信号の出力遮断等のためにユーザ判定部４１の情報を用いることができる。
【０１２７】
図６は、前記オブジェクト由来音声情報１０５が前記オブジェクト管理部４３に記憶される例を示すが、前記音源データ資源３に記憶されてもよい。前記オブジェクト由来音声情報１０５は、アバターが所有するペットの鳴き声の音声情報、音声情報付き広告看板が発生する広告用の音声情報、仮想的な自動車等が発生する機械音の音声情報、仮想空間の特定の領域に存在する生物が発生する鳴き声の音声情報、仮想空間の特定の領域に存在する仮想的な河川、滝、噴水等が発生する水音等の音声情報、アバターの近傍で偶発的または人為的に発生する音声情報を伴うイベント等を含むが、これらに限定されない。前記オブジェクト由来音声情報１０５は、符号化された音声信号、音声信号を生成するプログラムのためのデータ等を含む。
【０１２８】
例えば、仮想空間内の特定の場所に水音等の環境音を伴うことにより、本発明の仮想空間サーバを利用するユーザは、前記環境音の音声情報を受信することによって、仮想空間内の仮想的な河川や噴水等を想像することができる。前記ユーザのアバターが仮想空間内を移動する場合に、前記特定の場所に前記アバターが遠方から接近して、前記環境音の音声情報を音量の変化を伴いながら受信することにより、仮想空間内におけるアバター移動の臨場感を増す効果が得られる。これらの音声信号処理には、位置情報管理部４２の情報が用いられる。
【０１２９】
また例えば、仮想空間を利用するユーザ（ユーザＰとする）のアバター（アバターＪとする）が仮想的なペットの犬を所有して仮想的な洞窟に存在し、他のユーザ（ユーザＱとする）のアバター（アバターＫとする）が仮想的なスズメが飛び交う仮想的な野原に存在し、アバターＪとアバターＫは共に仮想的な携帯電話を所持しているとする。仮想空間内でアバターＪとアバターＫの両者の仮想的な携帯電話が通話可能な状態であれば、前記ユーザＰと前記ユーザＱは現実の携帯通信装置またはマイクロホンとスピーカを備えたネットワーク通信端末を用いて通話することができる。
【０１３０】
ユーザＰがアバターＪを操作し、アバターＪからアバターＫに向かって仮想空間内での通話を実行すると、アバターＪは仮想的な洞窟に存在し、近傍に仮想的なペットの犬が存在するため、アバターＪが仮想空間内で発信する仮想的な携帯電話の音声情報には、仮想的な洞窟の音響効果及び仮想的な犬の鳴き声が含まれうる。
【０１３１】
前記アバターＪが仮想空間内で発信する仮想的な携帯電話の音声情報は、受信通話１０１から信号処理部に入力される前記ユーザＰの音声信号を含む。
【０１３２】
前記仮想的なペットの犬の鳴き声は、オブジェクト由来音声情報１０５であってもよく、音源データ資源３に記憶された合成音声プログラムのためのデータ等の音声情報であってもよい。
【０１３３】
前記仮想的な洞窟の音響効果は、図６に示した信号処理関数１０４から適宜選択される。例えば残響音を発生する信号処理関数が選択される。信号処理関数１０４の選択は、位置情報管理部４２により取得されたアバターＪの位置情報に基づいてもよい。
【０１３４】
図６において、信号処理部１０３は、受信通話１０１、オブジェクト由来音声情報１０５、音源データ資源３の音声信号入力を受け取り、それぞれについて位置情報管理部４２の情報を適宜用いて信号処理関数１０４を選択し、それぞれの音声信号入力に対する処理を加える。例えば、前記仮想的な洞窟において、アバターＪを介するユーザＰの通話には仮想的なペットの犬の鳴き声が伴うと共に、仮想的な洞窟内部の残響が付加される。前記仮想的なペットの犬が仮想的な洞窟の内部を走り回る場合、前記ペットと前記アバターＪとの間隔に依存して、位置情報管理部４２は前記間隔の情報を変化させてもよい。すなわち、前記変化した間隔の情報に基づいて信号処理関数１０４は、前記アバターＪを基準としてより遠方に移動した前記犬に由来する鳴き声の音量を低下させ、または前記アバターＪを基準としてより近傍に移動した前記犬に由来する鳴き声の音量を増加させるよう、犬の鳴き声の音声信号処理条件を変化させてもよい。
【０１３５】
前記アバターＫを操作する前記ユーザＱは、仮想的な洞窟内の残響及び仮想的な犬の鳴き声を伴う前記ユーザＰの通話を受信できる。
【０１３６】
ここで、前記ユーザＱが、前記ユーザＰに向かって通話を実行すると、前記アバターＫは残響のほとんどない仮想的な野原に存在し、周囲に仮想的なスズメが飛び交う状態にあるため、アバターＫが送信する音声情報には残響を伴わず、経時的に位置情報の変化する複数のスズメの音声情報を伴う。
【０１３７】
前記信号処理部１０３における前記アバターＫが送信する通話においては、前述の前記アバターＪが送信する通話の信号処理と同様に、前記アバターＫの位置情報及び近傍のオブジェクトに由来する音声情報を含む音声信号処理が実施される。
【０１３８】
図６において、音声信号ミキサ１０６は、前記信号処理部１０３において処理された音声信号をミキシングし、出力チャネル数が１のモノラル音声、出力チャネル数が２のステレオ音声、出力チャネル数が３以上の多チャネル音声から選択された出力形式に適合する音声信号を出力する。
【０１３９】
移動体通信装置がステレオ音声出力のための外部出力端子等を備え、ユーザがステレオ・ヘッドフォン等を装着することにより、ユーザは移動体通信装置を用いてステレオ音声を聴取できる。
【０１４０】
多くの移動体通信装置のスピーカは１個であるため、前記空間音源ミキシング部は、移動体通信装置に向けて送信するための音声信号をミキシングする場合に、モノラル音声を出力フォーマットとしてもよいが、これに限定されず、出力フォーマットはユーザの嗜好等により適宜設計できる。ユーザが使用する端末が前記移動体通信装置であることの判定には、図６に示すユーザ判定部４１の情報を用いることができる。
【０１４１】
前記モノラル音声においては、左右の音像定位のための信号処理が省略できるので、複数チャネルの音声信号処理と比較して、仮想空間サーバにおける信号処理の計算ステップ数は減少しうる。これにより、音声信号処理をより迅速化することができる。
【０１４２】
仮想空間サーバを利用するユーザの移動体通信装置の回線速度が、端末の回線速度仕様によって、または基地局の混雑等の状態によって、ステレオ音声の送受信を含む仮想空間のデータ送受信に不十分な速度であるとみなせる場合、前記音声信号ミキサ１０６は出力チャネル数が１のモノラル音声による出力を試みてよい。
【０１４３】
前記音声信号ミキサ１０６は、ユーザ判定部４１が取得するユーザ固有の情報を用い、音声信号を条件付きでミキシングしうる。例えば、仮想空間内の成人向けサービスを提供する場所において、ユーザの年齢に依存して前記ユーザが前記成人向けサービスに係る音声信号を受信しうる条件を満たすか否かを識別してもよい。
【０１４４】
前記音声信号ミキサ１０６からの出力は送信通話１０２として仮想空間サーバから移動体通信装置に向かって送信される。
【０１４５】
図６においては、例として１つの受信通話１０１を示したが、仮想空間内で複数のアバターが発信する仮想的な携帯電話の音声は、それぞれ独立した受信通話として取り扱われてもよく、適宜１つの受信通話に入力されてもよい。
【０１４６】
前記信号処理関数１０４には、音量の増減、音源の定位、音声信号の振幅変調、周波数変調、位相変調、周波数変換、時間遅れ音声信号の重ね合わせ、合成音声の重ね合わせ、高調波成分の重ね合わせ、所定信号処理関数のたたみ込み、ユーザ定義による信号処理から任意に選択される音声信号処理手段を含む。これらの音声信号処理手段は当業者に公知である。
【０１４７】
例えば、複数のアバターが仮想空間内でパーティを催して仮想的なヘリウムガスを吸引し、通話の音程を通常よりも高くして遊ぶ等の行為を行う場合、前記信号処理関数１０４に含まれる前記周波数変換を実施することにより、ユーザの端末装置に含まれる音声出力装置からは、仮想空間内で音程を高く変換した他ユーザの通話が再生される。さらに例えば、仮想的な比重の大きな気体をアバターが仮想空間内で吸引し、仮想空間を介したユーザの通話の音程を低くして遊ぶ等の効果も得られる。
【０１４８】
前記合成音声の重ね合わせは、音声合成集積回路等が発生する合成音声、音声合成アプリケーションを用いる合成音声をミキシングすることを含む。
【０１４９】
前記合成音声を発生する手段は、基本となる音声波形データを数値化して記憶し、パラメータ入力に応じて人工音声を合成するＬＳＩ（大規模集積回路）でもよく、コンピュータ・システムの基本ソフトウェアであるオペレーティング・システムが提供するサービスによって人工音声を合成してもよく、オペレーティング・システム上で動作する音声合成アプリケーションによってテキストファイルを解析して人工音声を合成してもよい。
【０１５０】
前記合成音声の発生のための前記ＬＳＩの好適な例はＯＫＩ社ＭＳ−２２５０シリーズであり、前記音声合成アプリケーションの好適な例はＮＴＴ−ＩＴ社Ｈｉｐｅｒｖｏｉｃｅであるが、これらに限らず、ハードウェア、ソフトウェアから適宜選択できる。前記音声合成ＬＳＩを移動体通信装置に組み込み、前記ＬＳＩのためのデータファイルを本発明の仮想空間サーバまたは音源データベースが記憶し、移動体通信装置に適宜送信してもよい。
【０１５１】
前記合成音声はユーザの通話と重ね合わせてもよく、単独で合成音声のみを出力してもよい。
【０１５２】
前記合成音声は、パーソナル・コンピュータのキーボード等から入力された文字列を合成音声に変換して発生したものでもよい。例えば、ユーザがキーボードから「こんにちは」と入力した文字列を、前記信号処理関数１０４に含まれる合成音声を発生する処理関数によって音声信号に変換してもよい。
【０１５３】
前記合成音声は、人工音声を発生するプログラムでもよく、音源データ資源３に予め記憶された音声データを編集して得られる音声でもよく、音声合成のための集積回路等のハードウェアを追加して音声を発生させてもよい。信号処理部１０３に入力できる音声信号であれば、合成音声は特に詳細を問わずに使用できる。
【０１５４】
前記合成音声は、例えば仮想空間内のアバターの仮想的な年齢、容姿または装備品等のコスチューム、安静または競走等の仮想的な状況を反映して適宜選択してもよい。
【０１５５】
例えば、ユーザは、仮想空間内のアバターが所有する仮想的なペットの犬に加えて、仮想的なペットの猿、仮想的なペットの雉を所有し、前記アバターの腰部に仮想的な黍団子のオブジェクトを付着させ、前記ユーザの通話の音色と特に関連性のない合成音声を適宜選択して用い、合成音声にさらに高調波を重ね合わせて歪んだ音色に変化させ、通話しうる他のユーザのアバターに向かって「ぼく、ももたろう」等の通話を行ってもよい。合成音声を用いることにより、仮想空間を介して想像上の人物の通話を行ってもよく、仮想空間内の通話の音色は適宜設計できる。
【０１５６】
以上述べたように、図６に示した空間音源ミキシング部４７を用い、位置情報管理部４２の情報及びユーザ判定部４１の情報を用いることにより、ユーザは、端末の通信状況に適した音声信号処理を利用しうるとともに、仮想空間内の状況を反映した通話、仮想空間の臨場感を伴った通話、仮想世界内で独立に発生している通話に限定しないさまざまな音声情報へのアクセス等を利用することができる。
【０１５７】
［クライアント端末としての移動体通信装置の構成例］
図７は、クライアント端末として機能しうる移動体通信装置の構成の例を示すブロック図である。移動体通信装置の例としては、図５に示した携帯電話Ａ２０及び携帯電話Ｂ２１が挙げられるが、これらに限らず携帯電話、ＰＨＳ、自動車電話、及びこれらを内蔵したノート型パーソナル・コンピュータ、公衆無線ＬＡＮと接続したコンピュータ等から適宜選択して、または複数を組み合わせて用いることができる。
【０１５８】
図７において、携帯電話Ａ２０は、電波を送受信する送受信部６１、受信データを処理する受信データ処理部６２、送信データを処理する送信データ処理部６３を含む。
【０１５９】
携帯電話Ａ２０が送受信するデータは、前述の図３を用いて示したパケット単位の構成を有し、前記パケットは識別子とデータ領域を含む。
【０１６０】
図７において、受信データ処理部６２は、受信信号処理部６４、音声出力部６５、スピーカ６６、受信プラグイン６７、文字情報処理部６８、表示装置６９を含む。
【０１６１】
携帯電話Ａ２０の送受信部６１が受信したパケットは、受信データ処理部６２に送られ、前記パケットの識別子またはデータ領域に含まれる情報に基づいて、受信信号処理部６４において通話と画面表示のための情報が識別される。前記通話は音声出力部６５に送られ、スピーカ６６からユーザが聴取できる。前記画面表示のための情報は文字情報処理部６８に送られ、表示装置６９に送信元ユーザからのメッセージ等の文字情報が表示される。前記画面表示のための情報は、文字情報処理部６８が表示装置６９に表示しうる文字情報であってもよく、図形描画のためのコマンド文字列であってもよく、画像を生成するためのプログラム及び変数の値等であってもよい。
【０１６２】
受信プラグイン６７は、受信信号処理部６４の処理内容を追加変更するための、書き換え可能な可読媒体に記憶されたデータ領域である。受信プラグイン６７は、仮想空間サーバからダウンロードしたプログラム等を記憶しうる、移動体通信装置の内部に設けられたメモリ領域でもよく、フラッシュメモリカード等の着脱可能な可読媒体として提供されてもよい。
【０１６３】
図７において、送信データ処理部６３は、送信信号処理部７３、音声入力部７２、マイクロホン７１、送信プラグイン７５、入力情報処理部７４、入力装置７０を含む。
【０１６４】
ユーザの発話はマイクロホン７１、音声入力部７２を経由してデジタルデータに変換され、送信信号処理部７３に送られる。ユーザが入力装置７０から入力した文字情報、アバターの操作に関するキー操作等は入力情報処理部７４を経由して前記送信信号処理部７３に送られる。送信信号処理部７３は、前記音声信号及び前記入力情報を識別する情報、送信者ＩＤ等の情報を含む識別子をそれぞれのデジタルデータに付属させたパケットを生成し、前記パケットは送受信部６１から送信される。
【０１６５】
送信プラグイン７５は、送信信号処理部７３の処理内容を追加変更するための、書き換え可能な可読媒体に記憶されたデータ領域である。送信プラグイン７５は、仮想空間サーバからダウンロードしたプログラム等を記憶しうる、移動体通信装置の内部に設けられたメモリ領域でもよく、フラッシュメモリカード等の着脱可能な可読媒体として提供されてもよい。前記受信プラグイン６７と送信プラグイン７５は同一の着脱可能なメモリカードに記憶して提供されてもよい。
【０１６６】
前記受信プラグイン６７、前記送信プラグイン７５は、本発明の仮想空間サーバと連動したプログラム等を含んでもよい。例えば、携帯電話Ａ２０に含まれない絵文字、アイコン画像及びこれらを生成して表示するプログラム等を含む、前記受信プラグイン６７及び前記送信プラグイン７５をメモリカードとして提供し、前記メモリカードを装着することにより、携帯電話Ａ２０において仮想空間サービスに関連する絵文字、アイコン等を表示装置６９に表示して、仮想空間の臨場感をユーザに提供してもよい。
【０１６７】
［仮想空間サーバの屋内利用例］
図８は、本発明の仮想空間サーバを、屋内に設置されたパーソナル・コンピュータを用いて利用することを示す図である。
【０１６８】
図８において、パーソナル・コンピュータが設置された建築物３０の内部には、パーソナル・コンピュータ本体（図示せず）、ポインティング・デバイス３１、表示装置８０、入力装置８７等が含まれる。表示装置８０には、仮想空間におけるユーザのアバター８１、他のユーザのアバター８２、仮想空間の位置情報を示す文字表示８３、オブジェクト由来の文字表示８４、オブジェクト８５等が、仮想的な３次元空間に表示される。
【０１６９】
仮想空間の位置情報を示す文字表示８３は、前記ユーザのアバター８１が存在する仮想空間内の地名等であり、例えば、仮想的な地名「ＴＯＫＹＯ ＡＲＥＡ−１」等が表示される。オブジェクト由来の文字表示８４は、オブジェクト８５に付属する文字でもよく、プログラム、スクリプト等が生成する文字列の表示でもよい。例えば、仮想的な犬の形状のオブジェクトの近傍に「ワンワン」等の文字が表示される場合、前記「ワンワン」は前記オブジェクトに与えられた名称の表示でもよく、前記オブジェクトに付属するプログラムまたはスクリプトが所定のタイミングで表示と消去を繰り返す文字でもよい。
【０１７０】
ユーザによるアバターの操作は、入力装置８７、ポインティング・デバイス３１等を用いて適宜行われる。前記アバターの操作には、仮想空間内におけるアバターの移動、姿勢の変更、アバターの動作を記述したスクリプトの開始及び終了、仮想空間内のオブジェクトへの接近等を含み、さらにアバターを操作することによるオブジェクトの操作を含む。
【０１７１】
ユーザが仮想空間内においてアバター８１を操作し、他のユーザが操作する他のアバター８２が近傍に存在する場合に、ユーザが入力装置８７を用いて「おはようさん」等の文字を入力すると、表示装置８０に前記文字が表示される。前記文字は、アバターが近傍に存在する他のユーザの表示装置にも表示される。
【０１７２】
ユーザは室内に設置されたパーソナル・コンピュータ等を用いて仮想空間を利用しうるが、外出の用事等によって前記パーソナル・コンピュータから離れた場所に移動する場合がある。また、ユーザが仮想空間へのアクセスのためにパーソナル・コンピュータ等の近傍に行動範囲を制約されることに対して不快感を抱く場合がある。
【０１７３】
本発明の仮想空間サーバは、携帯電話等の移動体通信装置を用いて仮想空間を利用する手段を提供し、パーソナル・コンピュータ等を用いて仮想空間を利用する場合との連続性をユーザが感じとることのできる仮想空間の臨場感を、音響効果によって提供する。
【０１７４】
［仮想空間サーバの屋外利用例］
図９は、本発明の仮想空間サーバを、屋外において携帯電話を用いて利用する例を示す図である。携帯電話Ａ２０は、スピーカ６６、表示装置６９、入力装置７０、マイクロホン（図示せず）を含む。
【０１７５】
ユーザが携帯電話Ａ２０を用いて仮想空間サーバに接続すると、本発明に係る仮想空間通話プログラムは、図４に示したユーザ判定ステップＳ１１によって、前記ユーザの端末が移動体通信装置であることを識別する。前記識別の情報は、音声信号処理の条件の一部に用いてもよい。
【０１７６】
携帯電話Ａ２０の表示装置６９は、パーソナル・コンピュータの表示装置８０と比較して、１画面に同時に表示しうる情報量に制約があるため、例えば、図８に示した仮想空間の位置情報を示す文字表示８３、ユーザのアバター８１、他のユーザのアバター８２、近傍のオブジェクト８５等の全てを同時に表示しうるとは限らない。
【０１７７】
本発明に係る仮想空間通話プログラムは、図４に示したように、ユーザ判定ステップＳ１１によって、ユーザが利用する端末が移動体通信装置であることを識別し、携帯電話Ａ２０の表示装置６９に表示する情報量を調整しうる。さらに、前記識別の情報は、仮想空間サーバから携帯電話Ａ２０への音声信号の出力をモノラル形式に編集し、データ転送量を減少させる等の送信データ量の調整に使用できる。
【０１７８】
図９において、携帯電話Ａ２０のスピーカ６６からは、他ユーザが発信した通話を含む音声信号等が再生される。
【０１７９】
図６に示したように、本発明に係る空間音声ミキシング装置の信号処理関数１０４は、キーボード等の入力装置から入力した文字列を合成音声に変換する関数を含む。例えば、ユーザが携帯電話Ａ２０を用いて仮想空間にアクセスし、他のユーザがパーソナル・コンピュータを用いて前記仮想空間にアクセスし、前記他のユーザがキーボード入力した「おはようさん」の文字列を合成音声に変換するよう指示すると、前記ユーザが使用する前記携帯電話Ａ２０のスピーカ６６からは前記「おはようさん」の文字列が合成音声に変換され出力される。
【０１８０】
前記発信者番号情報管理ステップによって、ユーザが利用する端末が移動体通信装置であることを識別した情報は、移動体通信装置への文字列の出力を、適宜、前記合成音声に変換した音声信号に切り替えることに用いてもよい。例えば、携帯電話Ａ２０の表示装置６９が１画面に表示可能な文字数を超える文字列は、適宜、信号処理関数１０４によって音声信号に変換され、前記携帯電話Ａ２０に送信される。これにより、ユーザは、１画面に表示できずに確認が困難な文字情報を、音声として聴取することによって確認できる。
【０１８１】
図６に示したように、本発明に係る空間音声ミキシング装置は、各ユーザの通話に加えて、仮想空間内においてユーザが操作するアバターの希望に存在するオブジェクトに由来する音声情報をミキシングし、前記ユーザに送信する。前述の図８を用いて説明した、パーソナル・コンピュータの表示装置８０に表示された仮想的な犬のオブジェクトに付属する鳴き声の音声情報は、前記ユーザの近傍に前記犬のオブジェクトが存在する期間中において、携帯電話Ａ２０のスピーカ６６からも再生しうる。
【０１８２】
前記ユーザは、仮想空間のアクセス手段をパーソナル・コンピュータから携帯電話に変更した場合においても、仮想空間内のアバター近傍に引き続き存在するオブジェクトに由来する音声情報を聴取することができる。すなわち、外出の所用等によって接続手段を変更しても、引き続き同じ仮想空間にアクセスし続けている感覚を維持しうる。
【０１８３】
本発明の仮想空間サーバを用いることにより、移動体通信装置をアクセス手段として仮想空間を利用できるので、ユーザは、パーソナル・コンピュータ近傍等に行動範囲を制約されることなく、仮想空間へのアクセス手段を確保しうる。すなわち、ユーザは、パーソナル・コンピュータ端末と向かい合う必要はなく、携帯電話等を手段として、現実空間における対面の会話や、電話を利用した会話のような簡便で気軽な気持ちで仮想空間を介する通話サービスを利用することができる。
【０１８４】
例えば、互いに遠隔地に存在する２人のユーザが仮想空間にアクセスし、両者が操作するそれぞれのアバターが仮想空間内の近傍に存在して通話可能な状態にあり、一方のアバターがペットの犬を所有し、前記ペットの犬はいずれのアバターに対しても鳴き声の届く距離に存在する場合、前記２つのアバターを操作するそれぞれのユーザの移動体通信装置を含む端末の音声信号出力装置からは、前記ペットの犬のオブジェクトに由来する鳴き声を示す音声が出力される。これにより、移動体通信端末を利用するユーザは机上端末の近傍に行動範囲を制約されることなく、仮想空間内において仮想的な犬が身近に存在していることを想像し、相互が近接した仮想空間に存在している感覚を共有する機会を得ることができる。
【０１８５】
また例えば、複数のユーザが仮想空間にアクセスし、各々が操作するアバターが仮想空間内の同一の舞踏会場に集合して踊りを踊る場合、会場に含まれる仮想的なスピーカのオブジェクトが音楽の音声情報を発生し、本発明の仮想空間サーバに含まれる空間音源ミキシング部によって前記音声情報と他の音声情報からなるミキシングされた音声情報を各アバターが受信することにより、前記複数のユーザは各自の移動体通信装置を介して同一の音楽を聴取することによって、お互いが仮想空間内において近接した空間に存在している感覚を共有する機会が得られる。本発明の仮想空間サーバにより、移動体通信装置を用いるユーザは机上端末の近傍に行動範囲を制約されることなく、このような空間を共有する感覚を提供するサービスを、移動体通信装置が利用可能な任意の場所において受けることができる。
【０１８６】
［移動体通信装置の画面情報例］
図７を用いて説明したように、移動体通信装置は受信プラグイン６７及び送信プラグイン７５に、本発明の仮想空間サーバと連動したプログラム等を含んでもよく、例えば、絵文字、アイコン画像及びこれらを生成して表示するプログラム等を含んでもよい。
【０１８７】
図１０は、本発明の仮想空間サーバと接続した携帯電話の画面表示の例を示す図である。図１０（ａ）は、仮想空間サーバから受信したアバターの情報をアイコン状の画像として表示する例を示す図であり、表示される画像にはユーザのアバターを示す画像表示９１、他ユーザのアバターを示す画像表示９２を含む。前記アイコン状の画像は、仮想空間サーバから携帯電話に画像を送信してもよく、各アバターを操作するユーザのＩＤ等を仮想空間サーバから携帯電話に送信し、携帯電話内のプラグインに記憶された画像生成プログラムを用いてアイコン状の画像を生成して表示してもよい。
【０１８８】
図１０（ｂ）は、仮想空間サーバから受信したアバターの情報に含まれる文字情報を、携帯電話の画面に表示する例を示す図である。前記文字情報は、ユーザの位置情報を示す文字表示９３、他ユーザの位置情報を示す文字表示９４を含む。図１０（ｂ）に示した例において、前記ユーザは仮想空間内で「東京エリア１」の地名を有する位置に存在し、前記他のユーザは前記仮想空間内で「大阪商店街Ａ」の地名を有する位置に存在する。前記文字情報はこれらの位置情報に限らず、前記ユーザ及び前記他のユーザは文字として仮想空間サーバから移動体通信装置に送信される情報から適宜選択して表示できる。
【０１８９】
画面表示する画像情報または文字情報は、仮想空間を利用するユーザにとっての重要度等に基づいて装飾等を伴ってよい。例えば、前記ユーザが操作するアバターに付随する情報の周囲に、前記情報が目立つよう、枠線や陰付きの装飾を伴ってもよく、これらの装飾を点滅させてもよく、装飾は適宜設計できる。
【０１９０】
仮想空間内において前記ユーザのアバター近傍に、音声情報が付随したオブジェクト等が存在する場合、前記オブジェクトを示すアイコン状の画像情報または文字情報等を、前記ユーザ及び前記他のユーザと並べて画面表示してもよい。前記オブジェクトを示すアイコン状の画像の生成は前述と同様である。
【０１９１】
図１０（ｃ）は、仮想空間サーバから受信したアバターの情報に含まれる文字情報に加えて、前記アバターの近傍に、仮想空間内のオブジェクトが存在する例を示す図である。図１０（ｃ）において、仮想空間内の近傍オブジェクトを示す画像表示９７は、例えば、仮想的な犬のオブジェクトを示す。
【０１９２】
本発明の仮想空間サーバを用い、移動体通信装置をアクセス手段として仮想空間を利用することにより、ユーザは他のユーザとの通話に加え、仮想空間内において前記ユーザが操作するアバターの近傍に存在するオブジェクトの存在を意識することにより、前記他のユーザと同一の仮想空間を共有している臨場感を味わうことができる。
【０１９３】
本発明の仮想空間サーバを用い、移動体通信装置をアクセス手段として仮想空間を利用することにより、前記ユーザは、前記他のユーザと共に、同じ仮想空間内において仮想的なペットのオブジェクトを共に愛玩する等の感情を共有することができる。すなわち、本発明の仮想空間サーバに係る仮想空間の利用においては、アクセス手段をパーソナル・コンピュータから携帯電話に変更しても、同じ仮想空間において仮想的なペットを愛玩する等の感情を継続して抱くことができ、異なる接続手段の間において臨場感に連続性のある仮想空間サービスを提供することができる。
【０１９４】
以上、本発明に係る実施形態について説明したが、本発明は上述した実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。
【図面の簡単な説明】
【０１９５】
【図１】本発明の一実施形態に係る仮想空間サーバの構成と、移動体通信装置を用いて仮想空間サーバを利用するユーザとの関係を示す図である。
【図２】仮想空間サーバのハードウェア構成を示す図である。
【図３】仮想空間サーバを介する通話におけるデータ形式の例を示す図である。
【図４】仮想空間通話プログラムの実行ステップを示す図である。
【図５】仮想空間サーバ及びクライアント端末である移動体通信装置がネットワークを介して接続する例を示す図である。
【図６】空間音源ミキシング部の構成の例を示す図である。
【図７】移動体通信装置の構成の例を示すブロック図である。
【図８】仮想空間サーバを、屋内に設置されたパーソナル・コンピュータを用いて利用する例を示す図である。
【図９】仮想空間サーバを、屋外において携帯電話を用いて利用する例を示す図である。
【図１０】仮想空間サーバと接続した携帯電話の画面表示の例を示す図である。
【符号の説明】
【０１９６】
１ 仮想空間サーバ
２ 音源データ資源
３ ユーザ認証サーバ
９ インターネット
１０、１１ ＩＰ電話サーバ
１２、１３ 中継局
１５ プロバイダ
２０ 携帯電話Ａ
２１ 携帯電話Ｂ
２９ ネットワーク端末
３０ パーソナル・コンピュータが設置された建築物
３１ ポインティング・デバイス
３５ 制御論理
３６ データ処理部
３７ 音声信号処理部
４０ 発信者番号情報受信部
４１ ユーザ判定部
４２ 位置情報管理部
４３ オブジェクト管理部
４４ ユーザ抽出部
４５ 通話要求表示部
４６ 発話受信部
４７ 空間音源ミキシング部
４８ 空間音声送信部
４９ ユーザ固有情報ＤＢ
５０ パケット
５１ 識別子
５２ データ領域
６１ 送受信部
６２ 受信データ処理部
６３ 送信データ処理部
６４ 受信信号処理部
６５ 音声出力部
６６ スピーカ
６７ 受信プラグイン
６８ 文字情報処理部
６９ 表示装置
７０ 入力装置
７１ マイクロホン
７２ 音声入力部
７３ 送信信号処理部
７４ 入力情報処理部
７５ 送信プラグイン
８０ 表示装置
８１ ユーザのアバター
８２ 他ユーザのアバター
８３ 仮想空間の位置を示す文字表示
８４ オブジェクト由来の文字表示
８５ オブジェクト
８７ 入力装置
９１ ユーザのアバターを示す画像表示
９２ 他ユーザのアバターを示す画像表示
９３ ユーザの位置情報を示す文字表示
９４ 他ユーザの位置情報を示す文字表示
９７ 仮想空間内の近傍オブジェクトを示す画像表示
１０１ 受信通話
１０２ 送信通話
１０３ 信号処理部
１０４ 信号処理関数
１０５ オブジェクト由来音声情報
１０６ 音声信号ミキサ
１０７ バスライン
１０８ 制御部
１０９ 記億部
１１０ ＣＰＵ１
１２０ ＣＰＵ２
１２２ 表示装置
１３１ ユーザＩＤ
１３２ 電話番号
１３３ メールアドレス
１３４ 仮想空間内位置情報
１４０ 通信Ｉ／Ｆ
１５０ メインメモリ
１６０ ＢＩＯＳ
１７０ Ｉ／Ｏコントローラ
１７１ テープメディア
１７２ テープドライブ
１７４ ハードディスク
１７６ 光ディスクドライブ
１７７ 光ディスク
１７８ 半導体メモリ
１８０ キーボード／マウス
１９０ ＵＳＢポート
【技術分野】
【０００１】
本発明は、複数の端末がネットワークでつながれ、特にインターネットを介して各端末の利用者が同一の仮想空間を共有し、該仮想空間内で各利用者はアバター（分身）として表現され、各利用者が音声によりリアルタイムで通話可能なマルチユーザ仮想空間システムに関する。特に、移動体通信装置を端末として用い、各利用者が音声情報を共有または交換するための仮想空間提供サーバ、仮想空間通話システム、及びプログラムに関する。
【背景技術】
【０００２】
従来より、インターネットを介して複数のユーザ同士が仮想空間を共有し、ユーザ相互の間で文字によるチャット、音声による会話等の情報交換を行いうる技術が知られている（例えば、特許文献１参照）。
また、複数のユーザが仮想空間を共有する情報サービスにおいては、それぞれのユーザの端末ごとに、通信制御と共に多量の画像情報、音声情報、テキスト情報等を並行して処理する必要があり、これはマルチタスク・オペレーティングシステムを用意することで対応できる（例えば、非特許文献１参照）。
また、前記仮想空間を共有する情報サービスにおいて、それぞれのユーザに動画、静止画、文字、音声等の情報を提供し、ユーザからの文字入力、音声入力、動画入力、ポインティング・デバイス入力等を受け付ける手段としては、いわゆるマルチメディア・コンピューティング技術を備えた端末を用意することで対応できる（非特許文献２参照）。
また、前記仮想空間においてユーザは自分の分身であるアバターを用いて他のユーザとの意思疎通を行い、このアバターはユーザ自身によって外見等を編集できることが知られている（例えば、特許文献２参照）。
さらに、ユーザの端末画面に３次元の仮想空間の画像を表示するとともに、仮想空間内の背景音、効果音、オブジェクトが発生する音声信号等に、ユーザが操作するアバターの位置や方向に依存した音声処理を加えてユーザの端末に送信し、ユーザの興味を引き、仮想空間に臨場感をもたせる試みが、例えばセカンドライフ等のサービスによって行われている。（例えば、非特許文献３）
【特許文献１】特開２００１−１５４９６６号公報
【特許文献２】特開平９−２４４８４５号公報
【非特許文献１】藤倉俊幸、「リアルタイム／マルチタスクシステムの徹底研究」、ＣＱ出版社、２００３年１月１日発行
【非特許文献２】Ｄｏｒｌｉｎｇ Ｋｉｎｄｅｒｓｌｅｙ Ｌｔｄ．、「図解マルチメディア完全ガイド」、ジャストシステム出版部、１９９６年１２月発行
【非特許文献３】Linden Research, Inc.、「Second Life って何？ テクノロジー」[online]、平成１９年、［平成１９年８月７日検索］、インターネット、<URL:http://jp.secondlife.com/whatis/technology>
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、上記の特許文献２や非特許文献に記載された方法を組み合わせた従来法においては、複数ユーザが仮想空間を共有して文字によるチャットや通話による情報交換を行うために、２次元または３次元グラフィック表示及び音声信号入出力及び仮想空間内のユーザ分身の位置情報を端末からサーバに送信するためのポインティング・デバイスを装備したパーソナル・コンピュータ等を用意する必要があり、さらに、実際に会話するときも、端末と向かい合う必要があり、現実空間における対面の会話や、電話を利用した会話のような簡便で気軽さを実現できないという課題があった。
一方、携帯電話の利用が普及しており、対面での会話以上に携帯電話を利用される状況があり、個人のコミュニケーションツールとして不可欠のものになってきている。特許文献１は仮想空間と電話を連携させ、コミュニケーションをサポートする装置ではあるが、現実世界の電話による通信形態を仮想世界にマッピングさせ、現実世界のコミュニケーションを仮想空間を利用してサポートしたものであり、仮想世界内で独立に発生している電話に限定しないさまざまな音声情報へのアクセスを実現するための装置にまでは、いたっていないという課題があった。
また、電話端末等を用いて仮想空間の音声の入出力を実現した場合に、仮想空間内特有のさまざまな背景音が入らず、ユーザは仮想空間の臨場感を得にくいという課題があった。
【０００４】
本発明は、上記課題を解決するために、仮想空間上でのユーザの化身（アバター）の行動範囲（音声を聞き取れる範囲）の全音情報の入出力部分をユーザの電話端末にマッピングさせることにより、現実世界から仮想世界への音情報の容易なアクセスを可能にし、電話端末と前記パーソナル・コンピュータとの両者において連続性のある仮想空間を利用することができるサービスを提供するための手段を提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明では、以下のような解決手段を提供する。
【０００６】
（１）ネットワークを介して提供する仮想空間において、仮想空間上の音声の入出力を電話装置との連携により実現するサーバであって、ユーザが発信した電話番号を受信する発信者番号情報受信部と、前記発信者番号に対応するユーザ固有情報を求めるユーザ判定部と、前記ユーザの仮想空間内におけるユーザ位置情報を管理する位置情報管理部と、前記ユーザ固有情報に基づいて前記仮想空間内においてユーザが所有するオブジェクトを管理するオブジェクト管理部と、前記ユーザ位置情報に基づいて前記仮想空間を経由して通話可能な他のユーザを識別するユーザ抽出部と、前記ユーザ及び他のユーザへの通話要求を表示する通話要求表示部と、前記仮想空間内において前記ユーザと所定の距離以内に存在するオブジェクトの音声情報を前記ユーザから受信する通話とミキシングする空間音源ミキシング部と、前記ミキシングした音声情報を前記他のユーザに送信する空間音声送信部とを有する仮想空間サーバ。
【０００７】
前記サーバは、ネットワーク接続したコンピュータ、特にインターネット接続したコンピュータであって、インターネットを介するサービスを提供するサーバ機能を備えていればよく、コンピュータの回路、規模、構成等は問わない。前記サーバは単一のコンピュータで構成したサーバでもよく、複数のコンピュータをネットワーク接続して構成したサーバでもよく、構成の詳細は問わない。
【０００８】
前記電話装置は、固定電話、公衆電話、携帯電話、自動車電話、ＩＰ電話、船舶電話、航空機電話、衛星電話等、通話手段となりうる電話の装置を含む。前記ＩＰ電話は、マイクロホンとスピーカを備えてインターネット接続し、ＩＰ電話のためのプログラムを記憶したパーソナル・コンピュータ等を含む。前記電話装置は、電話機能を備え、使用期間中に設置場所を移動可能な移動体通信装置を含む。
【０００９】
前記移動体通信装置は、通話を含む音声の入出力手段を備えた、携帯電話、ＰＨＳ、自動車電話及びこれらを内蔵または包含した電子手帳、腕時計、ヘッドマウントディスプレイ、指輪等装飾品、ジャケット等衣料品、ハンドバッグ等手荷物、下敷き等文具、壁掛けテレビ、コンピュータ、公衆無線ＬＡＮ接続したコンピュータ及び同様のものを含む。
【００１０】
前記移動体通信装置は、通信事業者割り当て番号、加入者電話番号、通信回線速度、通信プロトコル、移動体通信装置が内蔵する記憶装置が有する製造シリアル番号、移動体通信装置が内蔵するプロセッサが有する識別番号、サービスプロバイダが発行したＩＤ、インターネットサービスの利用者ＩＤ、仮想空間内ユーザ識別情報、及び同様のもの、及びこれらの組み合わせを含む端末情報を記憶した媒体を含んでもよい。前記端末情報は適宜、前記仮想空間サーバに向けて送信されてもよい。
【００１１】
前記発信者番号情報受信部は、仮想空間への接続を行うユーザの電話番号を受信し取得する。前記電話番号の受信が前記ユーザが使用する端末の通信回線速度の情報を含む場合は、前記発信者番号情報受信部は前記端末の通信回線速度の情報を取得する。
【００１２】
前記ユーザ判定部は、前記発信者番号情報受信部が取得した前記ユーザの電話番号を元に、仮想空間を利用するユーザの固有情報を記憶したユーザ情報データベースを参照し、前記ユーザに固有の情報を取得する。前記ユーザに固有の情報は、前記仮想空間サーバが提供するサービスにおける前記ユーザを特定するための情報（以下、ユーザＩＤ）、前記ユーザの年齢等の個人情報、前記ユーザの端末が移動体通信装置であることの情報、前記移動体通信装置の通信回線速度の情報、前記ユーザが仮想空間内で操作するアバターの位置情報、前記アバターが仮想空間内で所有するオブジェクトの情報等を含む。前記ユーザＩＤは前記ユーザが前記仮想空間の正規の利用者であることの認証等に用いられる。前記認証は前記仮想空間サーバにより行ってもよく、前記仮想空間サーバと接続したユーザ認証のための認証サーバにより行ってもよく、前記ユーザの認証手段の詳細は問わない。認証サーバは仮想空間サーバとネットワークを介して接続してもよく、仮想空間サーバに内蔵してもよい。
【００１３】
前記位置情報管理部は、前記仮想空間サーバを利用しうる複数のユーザの中から、前記ユーザＩＤを元に、前記ユーザの分身（以下、アバター）の仮想空間における位置情報を管理する。前記管理はアバターの位置情報を取得すること及び記憶することを含む。前記取得及び記憶は、前記ユーザが前記仮想空間サーバへのアクセスを終了した後、再度アクセスを開始する時に前記終了時点におけるアバターの位置情報を用いて仮想空間内にアバターを存在させうることを含む。
【００１４】
前記オブジェクト管理部は、前記ユーザ固有情報に基づいて特定されたユーザが、仮想空間内で所有している仮想的な衣服、装飾品、玩具、ペット等のオブジェクトの情報を管理する。仮想空間内で前記ユーザが所有する前記オブジェクトは、仮想空間内における寸法、重量、運動量、配色、弾性、透明度、発光強度、付随プログラム、付随音声情報等の属性を有する。
【００１５】
前記ユーザ抽出部は、仮想空間内で所定の距離以内に存在するアバターを識別する。すなわち、前記ユーザ抽出部は、仮想空間内のアバター同士の間隔が所定以内である場合に、それぞれのアバターを操作するユーザ同士が通話可能であることを識別する。前記通話可能なユーザ同士は、端末が備えるスピーカ、マイクロホンを使用して通話しうる。前記端末は机上に設置されたパーソナル・コンピュータでもよく、携帯電話等の移動体通信装置等でもよい。
【００１６】
前記所定以内の間隔は、現実空間において複数の人間が肉声で会話しうる空間距離を反映した仮想空間内のアバターの間隔を含み、予め定義された遠方の限界を超えない間隔を含む。前記遠方の限界は適宜設計しうる。例えば、ユーザが編集しうる仮想空間内のアバターの仮想的な身長の１０倍の距離等でもよい。
【００１７】
前記アバターの間隔は、仮想空間内の同一建築物等、仮想空間内に境界線を伴って定義された領域の内側に存在すればアバターの間隔の条件を満たすことを判定してもよい。前記領域は仮想的な渓谷等の局所的な地形、仮想的な会議室等の人工物等から適宜設計できる。
【００１８】
仮想空間内においてアバターの声量を設定可能としてもよく、近接したアバター同士が通話可能な仮想的な声量の設定、１つの折りたたみ会議テーブルの周りに集合しうる約１０名のアバターが通話可能な仮想的な声量の設定、オペラハウスに集合しうる約１００名のアバターが通話可能な仮想的な声量の設定等を適宜設計してもよく、ユーザが任意に選択してもよい。例えば、「ささやく」「話す」「叫ぶ」等の仮想的な声量の差を含む通話機能をユーザは選択しうる。
【００１９】
前記ユーザ抽出部は、前記声量の差に依存して前記アバターが通話可能な近傍の他のアバターを識別しうる。
【００２０】
アバターが所有するオブジェクトに仮想的な携帯電話を含んでもよい。
【００２１】
前記ユーザ抽出部は、仮想的な携帯電話を所有するアバターが、前記携帯電話を使用可能な仮想空間内の領域に存在する場合に、前記アバターを操作するユーザが仮想空間内で通話可能であることを識別する。
【００２２】
前記ユーザ抽出部によって通話可能と識別されたユーザは、同様に仮想的な携帯電話を所有して使用可能な仮想空間内の領域に存在する他のアバターと、それぞれが所有する仮想的な携帯電話を用いて通話することができる。
【００２３】
前記仮想的な携帯電話を所有するアバターは、仮想空間内の公衆電話、仮想空間内の固定電話等を利用する他のアバターと通話してもよい。前記ユーザ抽出部は、同様に、それぞれのユーザが通話可能であることを、それぞれのアバターが仮想的な電話を使用可能であることから識別しうる。
【００２４】
前記仮想的な携帯電話、前記仮想空間内の公衆電話、前記仮想空間内の固定電話等を利用するアバターは、これらの仮想的な電話を使用可能な仮想空間内の場所にいれば仮想空間内で通話できる。例えば、通話する複数のアバターの最短の間隔が、仮想空間内においてアバター同士の仮想的な肉声による通話が可能な仮想的な間隔の遠方の限界（例えば、ユーザが編集しうる仮想空間内のアバターの仮想的な身長の１０倍程度）を超えても、前記仮想的な電話を用いることにより通話できる。
【００２５】
前記ユーザ抽出部により通話可能であると識別されたユーザ同士は、仮想空間を介して通話できる。ユーザは仮想空間にアクセスすればよく、現実の相手の携帯電話に直接電話をかけなくてもよい。相手の通話手段は携帯電話でもよく、マイクロホンとスピーカを有するパーソナル・コンピュータでもよい。
【００２６】
前記通話要求表示部は、前記ユーザ抽出部により通話可能であると識別されたユーザに、他のユーザからの通話要求を表示する機能を有する。前記通話要求表示部は、通話を要求されたユーザの端末の表示装置への通話要求を示す画像または文字の表示、前記端末の音声出力装置からの音声の出力、前記ユーザへの通話要求を示す電子メールの送信、発光素子等を点滅させることによる通話要求の表示、またはこれらの組み合わせにより、前記ユーザに対して通話要求があることを示してもよい。
【００２７】
前記空間音源ミキシング部は、移動体通信装置を使用してユーザが送受信する通話と、仮想空間内においてアバターの近傍に存在するオブジェクトが発生する音声情報に対して、音響効果等の音声信号処理を任意に加え、ミキシングする機能を有する。前記発生は、オブジェクトに付属する音声情報が、任意のタイミングでユーザに向けて送信されることを含む。以下、オブジェクトからの音声情報の発生の記述も同様である。前記ミキシングには、前記ユーザ判定部が取得したユーザ固有の情報を用いることができる。例えば、通信回線速度が低速である等のユーザ固有の情報を条件として、前記空間音源ミキシング部は前記ミキシングする音声情報を選択または遮断してもよく、ミキシングした音声情報の出力チャネル数を適宜変更してもよく、ミキシングした音声情報の周波数特性を適宜狭隘化してもよい。
【００２８】
前記音声情報は、符号化された音声信号、圧縮された音声信号、周波数シンセサイザ等のための音色、音階、音列等のデータ、及び同様のものを含む。前記符号化された音声信号は、音声信号処理の入力データになりうる。前記符号化された音声信号を除く前記音声情報は、符号化された音声信号に変換することにより、音声信号処理の入力データになりうる。以下、音声信号処理は、前記符号化された音声信号及び前記変換された音声情報を入力データとしうる。
【００２９】
前記空間音源ミキシング部の入力は、ユーザの嗜好に基づいて適宜選択されてもよい。例えば、ユーザは自分の移動体通信端末を操作して、通話に対する音響効果の有無、オブジェクト音声の有無等を任意に設定してもよい。音響効果の程度及びオブジェクト音声の音量の増減等に関してもユーザの嗜好に基づいて適宜調整されてよい。
【００３０】
前記空間音声送信部は、前記空間音源ミキシング部によりミキシングされた音声信号を、ユーザの端末へ送信する機能を有する。
【００３１】
前記仮想空間サーバを用いることにより、ユーザは携帯電話等の移動体通信装置を用いて仮想空間を利用し、自分のアバターの近傍に存在する他のアバターを識別し、前記識別した他のアバターを操作する現実空間の他ユーザと通話することができる。
【００３２】
また、前記仮想空間サーバを用いることにより、ユーザは机上パーソナル・コンピュータを介してアクセスした場合の仮想空間と同様に、音声情報を伴った仮想空間内オブジェクトの存在を感知しながら、携帯電話等によって他のユーザと通話し、同じ仮想空間を利用している感覚を共有することができる。すなわち、前記ユーザ及び前記他のユーザは、机上端末との連続性をもつ仮想空間サービスを利用できると共に、机上パーソナル・コンピュータ等の端末と向かい合わなくとも、現実空間における対面の会話や電話を利用した会話のような簡便さと気軽さを備えた、仮想空間を介する通話サービスを利用できる。
【００３３】
（２）前記ユーザ固有情報に基づいて前記仮想空間を経由して通話可能な他のユーザを識別する手段と、前記ユーザ位置情報に基づいて前記仮想空間内における前記ユーザ近傍のオブジェクトを識別する手段を有する、（１）に記載の仮想空間サーバ。
【００３４】
前記ユーザ固有情報に基づいて仮想空間を経由して通話可能なユーザを識別する手段は、特定の相手との通話を選択または遮断する手段を備える。前記ユーザ固有情報は、ユーザの年齢、嗜好、仮想空間サービスの品質に影響する現実空間の通信端末の通信速度等を含む。
【００３５】
前記ユーザ固有情報に基づいて仮想空間を経由して通話可能なユーザを識別する手段は、ユーザの嗜好等を設定可能な情報テーブルを予めユーザごとに用意して条件を満たすユーザを識別して通話を実施してもよく、仮想空間内の成人向けサービスを提供する場所においてユーザの年齢に依存して通話の条件を満たすか否かを識別してもよく、通信端末の通信速度が転送すべき情報量と比較して十分であるか否かを接続中端末から送信される通信データの帯域を実測して識別してもよく、通話しうるユーザを識別するためのユーザ固有情報を特定する手段の詳細は問わない。
【００３６】
前記ユーザ近傍のオブジェクトは、仮想空間内のユーザの所有情報とは独立して、仮想空間内に存在する仮想的な地質、草木、気象現象等のオブジェクトを含む。前記ユーザ近傍のオブジェクトは、仮想空間内における寸法、重量、運動量、配色、弾性、透明度、発光強度、付随プログラム等の属性を有する。前記ユーザ近傍のオブジェクトは仮想空間内で音声情報を発生してもよい。前記ユーザ近傍のオブジェクトは、アバターの位置情報を元に、アバターとの距離が所定の範囲内である場合に、前記アバターを操作するユーザの端末に音声情報を送信しうる。
【００３７】
前記仮想空間サーバは、ユーザ固有情報に基づいて通話可能なユーザを識別することにより、ユーザの嗜好を反映した仮想空間通話サービスを提供しうると共に、年齢等に依存して有害な情報の提供を制限できる。
【００３８】
さらに、前記仮想空間サーバは、所有者と独立したオブジェクトに由来する音声情報をユーザ端末に送信することにより、仮想空間内における自然現象の再現等を通じて仮想空間により臨場感を与えると共に、音声情報による仮想空間の存在感を提供することで、机上パーソナル・コンピュータと移動体通信装置における仮想空間の同一性、連続性を提供できる。
【００３９】
（３）音声情報を記憶する音源データベースと接続し、ユーザから受信した通話と前記音源データベースに記憶された音声情報とをミキシングしてユーザに送信する手段を有する、（１）に記載の仮想空間サーバ。
【００４０】
前記音源データベースは、前記仮想空間サーバのサービスの一部として仮想空間サーバ内部に含まれてもよく、ネットワークを介して前記仮想空間サーバと接続した独立したデータベース・サーバでもよく、前記仮想空間サーバとの接続の形態は問わない。
【００４１】
前記音源データベースに含まれる音声情報は、仮想空間内で発生するオブジェクト由来の音声情報、仮想空間内の移動手段に付随する効果音等の音声情報、アバターが所有するペット等に由来する音声情報、アバターを介する通話及び文字チャット等の会話に伴う効果音、合成音声プログラム、合成音声プログラムの声質・抑揚等のデータ、周波数シンセサイザ等により合成された交流信号、音楽演奏プログラム、音楽演奏プログラムのための音色・音階・音列等のデータ、及びこれらの組み合わせ、及びこれらを相互に振幅変調、位相変調、周波数変調して得られる変調信号、音量の増減及び音源定位のための信号処理関数、音声信号を編集するための信号処理関数、音声情報の発生のタイミングを制御するプログラム等を含む。これらに限定されずに、仮想空間内で発生または送受信しうる音声情報であれば詳細を問わずに（３）の音源データベースに含まれる。
【００４２】
前記音源データベースを用いて、ユーザは自分がアクセス可能なデータ領域において、新規な音源及び音声信号処理プログラムの追加、記憶した音源及び音声信号処理プログラムの検索及び編集、不要な音源及び音声信号プログラムの削除等を、適宜実行してもよい。
【００４３】
前記音源データベースと接続することにより、前記仮想空間サーバを利用するユーザは、通常の通話に加えて、音声情報及び音声信号処理によって仮想空間に関心、親近感、興趣、臨場感等を持つことができる。さらに、前記ユーザは、アバターの近傍に存在する他ユーザのアバターと音声情報を共有することにより、複数のユーザが相互に音声サービスを受けることができ、互いの親睦を深める、仮想的なペットを愛玩する感情を共有する等の機会を得ることができる。
【００４４】
（４）前記空間音源ミキシング部は、ユーザから受信した通話と、前記音源データベースが記憶する音声情報と、仮想空間内のオブジェクトが出力する音声情報から任意に選択された音声情報に対して、前記ユーザ位置情報及び前記ユーザ固有情報に基づいて音声信号処理手段を選択して音声信号処理を施し、前記音声信号処理は、音量の増減、音源の定位、振幅変調、周波数変調、位相変調、周波数変換、時間遅れ音声信号の重ね合わせ、合成音声の重ね合わせ、高調波成分の重ね合わせ、所定信号処理関数のたたみ込み、ユーザ定義による信号処理から任意に選択される音声信号処理であり、前記音声信号処理を加えた音声信号をミキシングすることを含む、（１）に記載の仮想空間サーバ。
【００４５】
前記オブジェクトが出力する音声情報の発生手段は、仮想空間サーバ及び音源データベースのいずれを用いてもよい。前記オブジェクトが出力する音声情報の発生手段は、オブジェクト由来の音声情報の形式が複数である場合を含む。仮想空間サーバまたは音源データベースのいずれかに記憶された音声情報のデータ形式は、展開処理を要する圧縮音声、通信端末に含まれる音声信号処理回路に入力可能なストリーム、周波数シンセサイザのための音色、音階、音列等のデータを含む。
【００４６】
前記音声信号処理を実行するハードウェア資源は、インターネット接続したコンピュータに含まれる演算装置である。前記コンピュータはインターネットを介するサービスを提供するサーバ機能を備えていればよく、コンピュータの回路、規模、構成等は問わない。例えば（１）に記載の前記仮想空間サーバである。前記演算装置は前記コンピュータのＣＰＵ（中央処理装置）でもよく、前記コンピュータと接続したＦＰＵ（浮動小数点処理装置）またはＤＳＰ（デジタル信号プロセッサ）等でもよく、数値計算の機能を有する演算装置であれば詳細は問わない。
【００４７】
前記仮想空間サーバは、前記空間音源ミキシング部により、移動体通信装置を用いて仮想空間を利用するユーザに対して、仮想空間内の特定の場所における音響効果を提供する。さらに前記仮想空間サーバは、仮想空間内においてユーザのアバター近傍に存在する他のユーザのアバターとの通話に、効果音、オブジェクト由来の音声情報を付加し、仮想空間の臨場感を増すことができる。これにより、前記仮想空間サーバは、仮想世界内で独立に発生している電話に限定しないさまざまな音声情報へのアクセスを実現することによって、通話するユーザに仮想空間の臨場感を与え、仮想空間を共有するユーザ同士の親近感を増し、仮想空間を魅力的に感じさせることができる。
【００４８】
（５）前記空間音源ミキシング部は、ユーザが用いる端末の通信回線速度に依存して、音声信号のチャネル数を２以上の音声チャネルからなる多重音声及びモノラル音声から任意に選択する手段を有する、（１）に記載の仮想空間サーバ。
【００４９】
前記ユーザが用いる端末の通信回線速度には、移動体通信装置の通信回線速度、インターネットに接続したパーソナル・コンピュータ等の通信回線速度を含む。前記移動体通信装置の通信回線速度は、移動体通信サービスが提供する通信回線速度に依存する。前記パーソナル・コンピュータ等の通信回線速度は、光ファイバ回線、メタルワイヤ回線、公衆無線ＬＡＮ等の回線の種類に依存する。前記ユーザが用いる端末の通信回線速度には、（１）に示した発信者番号情報受信部またはユーザ判定部が取得した端末の通信回線速度を含む。前記ユーザが用いる端末の通信回線速度は、ユーザの嗜好に基づく値を仮想空間サーバが記憶してもよい。
【００５０】
前記端末の通信回線速度は実行的に低下する場合がある。例えば、携帯電話を移動体通信装置として利用し、複数のユーザが同一の携帯電話基地局に接続することにより、基地局から特定の携帯電話に対するデータ送受信が断続的となりうる。さらに、携帯電話と基地局との電波を介した接続状況に依存して発生した送受信エラーに基づき、通信データの再送信が実行される場合があり、実効的な通信回線速度はさらに低下しうる。前記パーソナル・コンピュータ等に接続された通信回線においても、ゲートウェイ・サーバ等の混雑の状況に基づいて、回線速度の実効的な低下は発生しうる。
【００５１】
ステレオ音声は２個のモノラル音声とみなすことができるので、非圧縮の音声信号としてステレオ音声に替えてモノラル音声を送受信することにより、単位時間あたりに送受信する非圧縮の音声信号のデータ量を半減できる。これにより、実効的に通信速度の低下がありうる移動体通信装置を介した音声信号の送受信において、送受信の停滞を緩和しうる。音声信号を圧縮して送受信する場合においても、圧縮後のデータ量は音源のチャネル数が少ないほど減少するので、音声チャネル数を減らすことにより送受信の停滞を緩和する効果を期待できる。
【００５２】
前記仮想空間サーバは、前記空間音源ミキシング方法により、実効的に通信回線速度の低下が発生しうるユーザに対して、音声信号のチャネル数を任意に選択することにより、サービスの停滞を緩和しうる。
【００５３】
（６）ネットワークを介して提供する仮想空間において、仮想空間上の音声の入出力を電話装置との連携により実現する仮想空間通話システムであって、ユーザが発信した電話番号を受信する発信者番号情報受信装置と、前記発信者番号に対応するユーザ固有情報を求めるユーザ判定装置と、前記ユーザの仮想空間内における位置情報を管理する位置情報管理装置と、前記仮想空間内において前記ユーザと所定の距離以内に存在するオブジェクトを管理するオブジェクト管理装置と、前記ユーザ位置情報に基づいて前記仮想空間を経由して通話可能な他のユーザを識別するユーザ抽出装置と、前記ユーザ及び前記他のユーザへの通話要求を表示する通話要求装置と、前記仮想空間内において前記ユーザと所定の距離以内に存在するオブジェクトの音声情報を前記ユーザから受信する通話とミキシングする空間音源ミキシング装置と、前記ミキシングした音声情報をユーザに送信する空間音声送信装置とを備えた、仮想空間通話システム。
【００５４】
前記仮想空間通話システムは、前記仮想空間サーバが提供する仮想空間を介したユーザ同士の通話に係る。前記仮想空間通話システムを構成するハードウェア資源は、インターネット接続したコンピュータを含む。前記インターネット接続したコンピュータは、インターネットを介するサービスを提供するサーバ機能を備えればよく、コンピュータの回路、規模、構成等は問わない。好適な例は、（１）に記載の前記仮想空間サーバである。
【００５５】
前記発信者番号情報受信装置、位置情報管理装置、ユーザ抽出装置、通話要求装置、空間音源ミキシング装置、空間音声送信装置は、それぞれがネットワーク接続したコンピュータであってもよく、これらのいずれか２以上の装置を同一のコンピュータの内部に含んでもよく、構成の詳細は問わない。
【００５６】
前記仮想空間を利用するユーザは、他のユーザとの通話に加えて、仮想空間内のオブジェクトに由来する音声情報を受信できる。従って、前記ユーザ及び前記他のユーザは、仮想空間の臨場感を得られると共に、同じ仮想空間を利用している感覚を共有することができ、これによってユーザ同士の親近感を得ることができる。
【００５７】
（７）ネットワークを介して提供する仮想空間において、仮想空間上の音声の入出力を電話装置との連携により実現する仮想空間通話プログラムであって、コンピュータに、ユーザが発信した電話番号を受信する発信者番号情報受信ステップと、前記発信者番号に対応するユーザ固有情報を求めるユーザ判定ステップと、前記ユーザの前記仮想空間内におけるユーザ位置情報を取得する位置情報管理ステップと、前記仮想空間内においてユーザと所定の距離以内に存在するオブジェクトを管理するオブジェクト管理ステップと、前記ユーザ位置情報に基づいて前記仮想空間を経由して通話可能なユーザを識別するユーザ抽出ステップと、前記ユーザへの通話要求を表示する通話要求ステップと、前記仮想空間内において前記ユーザと所定の距離以内に存在するオブジェクトの音声情報を前記ユーザから受信する通話とミキシングする空間音源ミキシングステップと、前記ミキシングした音声情報をユーザに送信する空間音声送信ステップを実行させる、仮想空間通話プログラム。
【００５８】
前記仮想空間通話プログラムを実施するハードウェア資源には、ネットワーク接続、特にインターネット接続したコンピュータを含む。前記コンピュータは、前記ネットワークを介するサービスを提供するサーバ機能を備えていればよく、回路、規模、構成等は問わない。好適な例は、（１）に記載の仮想空間サーバである。
【００５９】
前記各ステップは、前記ネットワーク接続したコンピュータを用いて個々のステップを個別のコンピュータで実施してもよく、いずれか２以上のステップを同一のコンピュータを用いて実施してもよい。各ステップを実施するコンピュータの構成の詳細は問わない。
【００６０】
前記仮想空間通話プログラムはコンピュータ可読媒体に記憶される。前記可読媒体には、磁気記録媒体、光磁気記録媒体、光学記録媒体、電子媒体を含むが、これらに限定されない。前記可読媒体は前記仮想空間サーバの内部に格納されてもよく、外部に接続してもよく、専用通信回線やインターネット等の通信回線に接続されたサーバシステムに設けたハードディスクまたは光ディスクライブラリ等の記憶装置を記録媒体として使用し、通信回線を介して前記仮想空間サーバと接続してもよい。
【００６１】
前記仮想空間通話プログラムを用いることにより、前記仮想空間サーバは、仮想空間内のオブジェクトに由来する音声情報とユーザの通話をミキシングし、ユーザが仮想空間内で操作するアバターの近傍の音響空間の特性を反映した音声信号処理を実行して、仮想空間を介するユーザ相互の通話を実現することができる。これにより、仮想空間内で独立に発生している通話に限定しないさまざまな音声情報へユーザがアクセスできるようになるとともに、ユーザは仮想空間の臨場感を感じながら仮想空間を介するサービスを利用できる。
【発明の効果】
【００６２】
本発明によれば、現実空間におけるユーザの行動範囲が、例えば、屋内に設置されインターネット接続されたパーソナル・コンピュータ近傍に制約されないよう、持ち運び可能な携帯電話等の移動体通信装置を用いて、通話を含む仮想空間を介するサービスを提供することができる。これにより、ユーザは、行動範囲の制約を受ける端末と向かい合うことなく、現実空間における対面の会話や、電話を利用した会話のような簡便で気軽さを有する、仮想空間を介する通話サービスを利用できる。
【００６３】
また、本発明によれば、携帯電話等の移動体通信装置を用いる仮想空間へのアクセスには、パーソナル・コンピュータ利用と同様に仮想空間内の音響効果及び仮想空間内のオブジェクトに由来する音声情報が伴いうる。これにより、ユーザは、端末の種類が異なっても同一の仮想空間を引き続き利用している連続性を感じとることができるとともに、仮想空間内で独立に発生している通話に限定しないさまざまな音声情報へアクセスすることができる。
【００６４】
さらに、本発明によれば、前記音響効果及び前記音声情報により、ユーザの通話に仮想空間内特有のさまざまな背景音が加わることによって、ユーザは、仮想空間の臨場感を感じながら仮想空間を介するサービスを利用できる。
【発明を実施するための最良の形態】
【００６５】
以下、本発明の実施形態について図を参照しながら説明する。なお、これらの実施形態はあくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。
【００６６】
［仮想空間サーバの構成及び移動体通信装置との関係］
図１は、一実施形態に係る仮想空間サーバの構成と、移動体通信装置を用いて仮想空間サーバを利用するユーザの移動体通信装置との関係を示す図である。
【００６７】
仮想空間サーバ１は、制御論理３５、ユーザ判定部４１、データ処理部３６、音声信号処理部３７、メインメモリ１５０、記憶部１０９、通信Ｉ／Ｆ（インタフェース）１４０を含む。データ処理部３６は、位置情報管理部４２、オブジェクト管理部４３、ユーザ抽出部４４、通話要求表示部４５を含む。音声信号処理部３７は、発話受信部４６、空間音源ミキシング部４７、空間音声送信部４８、ユーザ固有ＤＢ（データベース）４９を含む。
【００６８】
ユーザが携帯電話２０を用いて、仮想空間サーバ１にアクセスすると、仮想空間サーバに含まれる発信者番号情報受信部４０は前記ユーザの電話番号の情報を取得し、ユーザ判定部４１はユーザ固有情報ＤＢ４９が記憶する前記ユーザを含むユーザに関連付けられた情報から前記ユーザに固有の情報を取得する。前記ユーザに固有の情報は、仮想空間を介するサービスにおける前記ユーザのＩＤ、前記ユーザの通信手段が携帯電話等の移動体通信装置であることの情報、前記ユーザが仮想空間内で操作するアバターの情報等を含む。
【００６９】
ユーザ判定部４１が取得した前記ユーザに固有の情報に基づき、仮想空間サーバに含まれる位置情報管理部４２は、前記ユーザが仮想空間内で操作するアバターが存在する位置の情報を取得し記憶する。
【００７０】
ユーザは仮想空間の利用開始において、自らが操作するアバターの仮想空間内における位置を、前回利用時の最後の場所、適宜設定した場所、仮想空間システムが設定した場所等から、適宜選択してもよい。
【００７１】
位置情報管理部４２は、ユーザの操作によって仮想空間内のアバターが存在する場所が変化する場合に、移動後の前記アバターの位置情報を逐次取得し記憶する。前記移動は、離散的な始点と終点の位置座標によって定義されてもよく、方向ベクトル等による前記アバター移動の指示を続けた時間と前記アバターの移動速度から終点の位置情報を計算して求めてもよい。
【００７２】
前記位置情報管理部４２は、前記ユーザが仮想空間の利用を終了する場合に、前記終了の時点におけるアバターの位置情報を取得し記憶する。前記最後に記憶された前記アバターの位置情報は、前記ユーザが仮想空間を再利用する時に前記アバターの最初の位置情報として使用されうる。
【００７３】
仮想空間サーバ１において、さらに、ユーザ判定部４１が特定したユーザの情報に基づき、オブジェクト管理部４３はユーザが仮想空間内で操作するアバターが所有するオブジェクトの情報を管理する。
【００７４】
前記アバターが所有するオブジェクトは、例えば、アバターの仮想的な着衣、仮想的な装飾品、仮想的なペット、仮想的な携帯電話、仮想的な建築物、仮想的な土地等である。前記アバターが所有するオブジェクトは、仮想空間内における寸法、重量、運動量、配色、弾性、透明度、発光強度、付随プログラム、付随音声情報等の属性を有する。
【００７５】
仮想空間サーバ１において、さらに、ユーザ判定部４１が特定したユーザの情報に基づき、ユーザ抽出部４４はユーザが仮想空間内で交流等により知り合った他のユーザの情報、前記仮想空間内において前記ユーザの近傍に存在する他のユーザの情報、前記仮想空間内において前記ユーザと通話可能な他のユーザの情報を取得する。
【００７６】
前記他のユーザの情報は、前記ユーザが設定可能な友人リスト等のテーブルに記録した情報を含む。前記友人リストは、記録された前記他のユーザが仮想空間を利用中であるか否かのフラグ、仮想空間内において通話が届く距離に存在するか否かのフラグ等を含んでもよいが、これらに限定されない。
【００７７】
前記他のユーザの情報には、さらに、携帯電話等の移動体通信装置を利用可能であるか否かのフラグを含んでもよい。ユーザ抽出部４４が取得する情報に基づき、前記ユーザと前記他のユーザが仮想空間において相互に携帯電話で通話可能であるか否かを、それぞれに通知してもよい。
【００７８】
仮想空間サーバ１に含まれる通話要求表示部４５は、通話要求が発生したことを要求先のユーザ端末に表示する。例えば、友人リストに記録した他のユーザの情報を元に、ユーザが前記他のユーザに携帯電話での通話を試みると、通話要求表示部４５は仮想空間内において前記ユーザが前記他のユーザに通話を要求していることを、前記他のユーザの携帯電話に表示するためのデータを送信する。
【００７９】
前記仮想空間を介する通話要求が前記他のユーザの携帯電話２１に表示され、前記他のユーザが仮想空間を介して応答を開始すると、本発明の仮想空間サーバに含まれるユーザ判定部４１は前記他のユーザの情報を取得する。すなわち、前述と同様の手順に従い、前記他のユーザの位置情報、所有するオブジェクトの情報、前記他のユーザの友人リスト等が、ユーザ判定部４１、位置情報管理部４２、ユーザ抽出部４４によって取得される。
【００８０】
仮想空間サーバ１に含まれる発話受信部４６は、携帯電話２０を用いるユーザと、携帯電話２１を用いる他のユーザによるそれぞれの通話を受信する。
【００８１】
仮想空間サーバ１に含まれる空間音源ミキシング部４７は、前記通話と、仮想空間内の音声情報を、仮想空間内の音響効果を伴い、仮想空間内においてアバターが存在する状況を反映してミキシングする。
【００８２】
前記仮想空間内の音声情報には、後述する音源データ資源に記憶された、仮想空間内のオブジェクトに由来する音声情報を含む。例えば、特定のアバターが所有する仮想的なペットの形状のオブジェクトに由来する鳴き声の音声情報、所有者を定義されない仮想的な野鳥の形状のオブジェクトに由来する鳴き声の音声情報、仮想的な河川、噴水等に由来する水音等の仮想的な自然音の音声情報、仮想的な都市の騒音の音声情報等が含まれる。前記仮想空間内のオブジェクトに由来する音声情報は、符号化された音声信号、音声信号を生成するプログラムのためのデータ等を含む。
【００８３】
前記携帯電話２０を用いるユーザと、前記携帯電話２１を用いる他のユーザは、個別に仮想空間内で操作するアバターが所有するオブジェクトを有し、それぞれのアバターの近傍に異なるオブジェクトが存在する場合がある。
【００８４】
アバターが所有するオブジェクト及びアバターの近傍に存在するオブジェクトには、音声情報を発生するオブジェクトを含む。
【００８５】
前記携帯電話２０を用いるユーザのアバター（アバターＡとする）と、前記携帯電話２１を用いる他のユーザのアバター（アバターＢとする）が、仮想空間内においてアバターの身長の数倍以内程度の間隔で存在し、現実空間における同様の状況において肉声での通話が通常に可能であることを端末の表示情報からユーザが確認しうる場合、アバターＡが所有するオブジェクトに由来する音声情報は、アバターＡ及びアバターＢの両方とも受信しうる。
【００８６】
例えば、アバターＡが犬の形状のオブジェクトを所有し、前記オブジェクトに犬の鳴き声の音声情報が付属する場合、前記音声情報はアバターＡ及びアバターＢの両方で受信しうる。
【００８７】
また例えば、仮想空間内において所有者の定義がない鳥の形状のオブジェクトが、アバターＡ及びアバターＢの近傍に存在し、前記鳥の形状のオブジェクトにスズメの鳴き声の音声情報が付属する場合、前記スズメの鳴き声の音声情報はアバターＡ及びアバターＢの両方が受信しうる。
【００８８】
前記仮想空間内の音響効果には、後述する音源データ資源に記憶された、仮想空間内において並行した壁面を有する建築物に由来するフラッターエコー等の残響、仮想的な山並みからの山彦等の反射音、仮想的なカラオケ装置による拡声を伴う残響等を含む。
【００８９】
前記仮想空間内においてアバターが存在する状況には、アバターが残響のほとんど無い仮想的な野原に存在する状況、アバターが長い残響を伴う仮想的な洞窟内に存在する状況等を含む。
【００９０】
仮想空間サーバ１と接続した音源データ資源２は、仮想空間内で発生するオブジェクト由来の音声情報、仮想空間内の交通手段等の動作音、アバターが所有するペット等に由来する音声情報、アバターを介する通話及び文字チャット等の会話に伴う効果音、合成音声プログラム、合成音声プログラムの声質・抑揚等のデータ、周波数シンセサイザ等により合成された交流信号、音楽演奏プログラム、音楽演奏プログラムのための音色・音階・音列等のデータ、及びこれらの組み合わせ、及びこれらを相互に振幅変調、位相変調、周波数変調して得られる変調信号、音量の増減及び音源定位のための信号処理関数、音声信号を編集するための信号処理関数、音声情報の発生のタイミングを制御するプログラムを含む。これらに限定されずに、仮想空間内で発生または送受信しうる音声情報であれば詳細を問わずに前記音源データ資源に含まれる。
【００９１】
前記音源データ資源は、新規な音声情報及び音声信号処理プログラムの追加、記憶した音声情報及び音声信号処理プログラムの編集、不要な音声情報及び音声信号処理プログラムの削除、音声情報及び音声信号処理プログラムの検索等を、適宜実行できる。
【００９２】
空間音源ミキシング部４７は、ユーザ及び他のユーザの通話と、音源データ資源２に記憶された音声情報をミキシングすると共に、音源データ資源２に記憶された信号処理プログラムによる音声信号処理を実施する。
【００９３】
仮想空間サーバ１に含まれる空間音声送信部４８は、前記空間音源ミキシング部４７によってミキシングされ信号処理された音声信号をユーザ及び他のユーザに送信する。
【００９４】
以上の音声信号処理により、本発明の仮想空間サーバ１を介する通話においては、ユーザ同士の通話のみならず、各ユーザが操作するアバターが仮想空間内で存在する状況を反映した音声信号処理及びアバター近傍に存在するオブジェクトに由来する音声情報を加えた音声信号を生成して各ユーザに送信する。
【００９５】
仮想空間内で生成した前記音声信号を用いることにより、本発明の仮想空間サーバを利用して通話を実施するユーザは、仮想空間内に特有なさまざまな背景音によって仮想空間の臨場感を得ることができ、他のユーザと前記仮想空間を共有している感覚を得ることができる。
【００９６】
［仮想空間サーバのハードウェア構成］
図２は、本発明の好適な実施形態の一例に係る仮想空間サーバのハードウェア構成を示す図である。以下、サーバを例にして説明するが、パーソナル・コンピュータをクライアント端末として用いる場合についても基本的には同様である。
【００９７】
仮想空間サーバ１は、制御部１０８を構成するＣＰＵ１１０（マルチプロセッサ構成ではＣＰＵ１２０等複数のＣＰＵが追加されてもよい）、バスライン１０７、通信Ｉ／Ｆ１４０、メインメモリ１５０、ＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）１６０、ＵＳＢポート１９０、Ｉ／Ｏコントローラ１７０、並びにキーボード及びマウス１８０等の入力手段や表示装置１２２を備える。Ｉ／Ｏコントローラ１７０には、テープドライブ１７２、ハードディスク１７４、光ディスクドライブ１７６、半導体メモリ１７８、等の記憶部１０９を接続することができる。ＢＩＯＳ１６０は、サーバの起動時にＣＰＵ１１０が実行するブートプログラムや、サーバのハードウェアに依存するプログラム等を格納する。ハードディスク１７４は、サーバとして機能するための各種プログラム及び本発明の機能を実行するプログラムを記憶する。光ディスクドライブ１７６としては、例えば、ＤＶＤ−ＲＯＭドライブ、ＣＤ−ＲＯＭドライブ、ＤＶＤ−ＲＡＭドライブ、ＣＤ−ＲＡＭドライブ等を使用することができる。この場合は各ドライブに対応した光ディスク１７７を使用する。光ディスク１７７から光ディスクドライブ１７６によりプログラムまたはデータを読み取り、Ｉ／Ｏコントローラ１７０を介してメインメモリ１５０またはハードディスク１７４に提供することもできる。また、同様にテープドライブ１７２に対応したテープメディア１７１を主としてバックアップのために使用することもできる。
【００９８】
サーバに提供されるプログラムは、ハードディスク１７４、光ディスク１７７、またはメモリカード等の記録媒体に格納されて提供される。このプログラムは、Ｉ／Ｏコントローラ１７０を介して、記録媒体から読み出され、または通信Ｉ／Ｆ１４０を介してダウンロードされることによって、サーバにインストールされ実行されてもよい。
【００９９】
上述のプログラムは、内部または外部の記憶媒体に格納されてもよい。ここで、記憶媒体としては、磁気記録媒体、光磁気記録媒体、光学記録媒体、電子媒体を含むが、これらに限定されない。前記磁気記録媒体には、磁気テープ、フロッピー（登録商標）ディスク、ハードディスク１７４、磁気ランダムアクセスメモリ（ＭＲＡＭ）等を含み、光磁気記録媒体には光磁気ディスク（ＭＯ及びＭＤ）等を含み、光学記録媒体には追記型コンパクトディスク（ＣＤ）、追記型デジタル多目的ディスク（ＤＶＤ）、追記型ブルーレイディスク、追記型ホログラフィック・ディスク等を含み、電子媒体には電気書き込み可能読み出し専用メモリ、ランダムアクセスメモリ、フラッシュメモリ、シリコン・ストレージ・ディスク等を含む。また、専用通信回線やインターネット等の通信回線に接続されたサーバシステムに設けたハードディスク１７４または光ディスクライブラリ等の記憶装置を記録媒体として使用し、通信回線を介してプログラムをサーバに提供してもよい。
【０１００】
ここで、表示装置１２２は、サーバ管理者によるデータの入力を受け付ける画面を表示したり、演算処理結果の画面を表示したりするものであり、ブラウン管表示装置（ＣＲＴ）、液晶表示装置（ＬＣＤ）等のディスプレイ装置を含む。入力手段は、ユーザによる入力の受け付けを行うものであり、キーボード及びマウス１８０等により構成してもよい。通信Ｉ／Ｆ１４０は、サーバを専用ネットワークまたは公共ネットワークを介して端末と接続できるようにするためのネットワーク・アダプタである。通信Ｉ／Ｆ１４０は、モデム、ケーブル・モデム及びイーサネット（登録商標）・アダプタを含んでよい。
【０１０１】
以上の例は、仮想空間サーバ１のハードウェア構成について主に説明したが、コンピュータに、プログラムをインストールして、そのコンピュータを仮想空間サーバ１として動作させることにより上記で説明した機能を実現することもできる。従って、本発明において一実施形態として説明した仮想空間サーバ１により実現される機能は、上述の方法を前記コンピュータにより実行することにより、あるいは、上述のプログラムを前記コンピュータに導入して実行することによっても実現可能である。
【０１０２】
［通話データ形式］
図３は本発明の仮想空間サーバに係るデータ形式を示す図である。図３（ａ）は本発明の仮想空間サーバを介する通話を含むデータ形式の例を示す図であり、図３（ｂ）は本発明の仮想空間サーバに含まれるユーザ固有情報ＤＢのデータ形式の例を示す図である。
【０１０３】
図３（ａ）に示すように、仮想空間サーバを介する通話を含むデータの送受信は、ネットワーク回線を介するデータ通信のひとつの形態であり、データ通信はパケット５０をデータの単位として扱い、パケット５０は識別子５１及びデータ領域５２を含む。識別子５１には、データに付属する固有の情報として送信元ＩＤ、送信先ＩＤ、データ領域が実行可能なプログラムであるか否かのフラグ、データ領域が音声信号であるか否かのフラグ、データ領域がコンピュータ・プログラムのための数値データや変数テーブル等であるか否かのフラグ、データ領域が正しく送受信できたか否かを検証するための検査符号等が適宜含まれる。データ領域５２には、音声信号、仮想空間内のアバターの操作に係る情報、コンピュータ・プログラムのための入出力、コンピュータ・プログラム等を含むデータが任意に含まれる。前記識別子５１の情報の一部をデータ領域５２に含んでもよく、データ領域５２に含まれる情報の種類は適宜設計できる。
【０１０４】
図３（ｂ）に示すように、仮想空間サーバに含まれるユーザ固有情報ＤＢ４９には、１つのユーザＩＤ１３１に対して、前記ユーザＩＤを有するユーザの電話番号１３２、同様に前記ユーザのメールアドレス１３３、前記ユーザが操作するアバターの仮想空間内位置情報１３４等の情報が関連付けられる。図３（ｂ）においては、例えばユーザＩＤ１３１の値が「２３４５３６」であるユーザにおいて、前記ユーザの電話番号１３２が「８７６７８９」であること、前記ユーザが操作するアバターの仮想空間内における位置情報１３４が（ＸＸＸ，ＹＹＹ，ＺＺＺ）の形式の変数であること等が、前記ユーザ固有情報ＤＢ４９に格納されうることが示されている。１つのユーザＩＤに対して複数のアバターを関連付けてもよく、それぞれのアバターが仮想空間内において別個の位置情報を有していてもよい。前記ユーザ固有情報ＤＢ４９の前記関連付けされた情報の種類、数量は適宜設計できる。
【０１０５】
［仮想空間通話プログラム］
図４は、本発明の仮想空間サーバにおいて実行される仮想空間通話プログラムの実行ステップを示す図である。１つのコンピュータ資源を用いて全てのステップを実行してもよく、複数のコンピュータ資源を用いてそれぞれの資源で１つ以上のステップを実行してもよい。例えば、もっぱらユーザ認証を行うためのコンピュータを設け、本発明の仮想空間サーバとネットワーク接続してもよい。
【０１０６】
仮想空間通話プログラムは、仮想空間サーバにアクセスしたユーザが正規のＩＤを有するユーザであるか否かを、ユーザ認証ステップ（ステップＳ１）において認証する。認証に失敗した場合はステップＳ１で引き続き待機する。
【０１０７】
次に、仮想空間通話プログラムは、発信者番号情報受信ステップ（Ｓ１０）によってユーザの電話番号の情報を取得する。前記ユーザの電話番号の情報が前記ユーザの端末の通信回線速度の情報を含む場合は、前記発信者番号受信ステップは前記端末の通信回線速度の情報を取得する。さらに、仮想空間通話プログラムは、ユーザ判定ステップ（Ｓ１１）において、図３（ｂ）に示したユーザ固有情報ＤＢ４９の情報を参照し、前記ユーザの固有情報を得る。前記ユーザの固有情報は、ユーザが用いる端末の種類、ユーザが仮想空間内で操作するアバターの位置情報、前記アバターが仮想空間内で所有するオブジェクトの情報等を含んでよい。前記ユーザの端末が移動体通信装置である場合に、前記仮想空間通話プログラムは、前記端末が移動体通信装置であることの情報を他のステップで用いるために記憶する。前記端末が移動体通信装置であることの情報は、前記ユーザが送信するパケット中の識別子またはデータ領域に含まれる端末情報である場合を含む。前記端末情報は、例えば、通信事業者割り当て番号、加入者電話番号、移動体通信装置が内蔵する記憶装置が有する製造シリアル番号、移動体通信装置が内蔵するプロセッサが有する識別番号等であるが、これらに限定されない。
【０１０８】
位置情報管理ステップ（ステップＳ１２）は、本発明の仮想空間サーバを利用しうる複数のユーザの中から、前記ユーザＩＤを元にユーザ固有情報ＤＢ４９を参照し、前記ユーザのアバターの仮想空間における位置情報を取得し記憶する。前記ユーザが仮想空間を利用する期間中に、前記アバターが仮想空間内を移動して位置情報が変化した場合は、前記位置情報管理ステップが記憶する前記アバターの位置情報が更新される。
【０１０９】
オブジェクト管理ステップ（ステップＳ１３）は、前記ユーザＩＤを元に、前記アバターが仮想空間内で所有している仮想的な衣服、装飾品、玩具、ペット等のオブジェクトの情報を管理する。
【０１１０】
ユーザ抽出ステップ（ステップＳ１４）は、仮想空間内で所定の距離以内に存在する他のアバターを識別する。すなわち仮想空間を利用する他のユーザが操作するアバターを識別することにより、ユーザが仮想空間を介して通話しうる他のユーザを識別する。前記ユーザ抽出ステップにおいて識別した前記他のユーザの情報は、仮想空間内における前記ユーザの友人リスト等に反映され、通話可能な前記他のユーザの情報がそれ以外の情報よりも目立つように表示を変更する等の処理を追加してもよい。
【０１１１】
前記ユーザ抽出ステップにおいて識別される前記他のユーザには、前記他のユーザのアバターが仮想的な携帯電話のオブジェクトを所有する場合を含む。前記ユーザ及び前記他のユーザのアバターがいずれも仮想的な携帯電話のオブジェクトを所有し、それぞれが仮想空間内において仮想的な携帯電話を使用可能な位置に存在していれば、アバター同士の仮想的な直線距離に関わらず、前記ユーザ及び前記他のユーザは仮想空間を介して通話できる。
【０１１２】
前記ユーザ抽出ステップにおいて識別される前記他のユーザには、前記他のユーザのアバターが仮想的な公衆電話または仮想的な固定電話を利用可能である場合を含む。仮想的な公衆電話または固定電話のオブジェクトをそれぞれのアバターが利用することにより、アバター同士の仮想的な直線距離に関わらず、前記ユーザ及び前記他のユーザは仮想空間を介して通話できる。前記仮想的な携帯電話、前記仮想的な公衆電話、前記仮想的な固定電話は仮想空間内において相互に接続しうる。
【０１１３】
通話要求表示ステップ（ステップＳ１５）は、前記ユーザ抽出ステップにより通話可能であると識別した前記他のユーザに通話要求を表示する。
【０１１４】
発話受信ステップ（ステップＳ１６）は、前記ユーザ及び前記他のユーザによるそれぞれの通話を受信する。
【０１１５】
空間音声ミキシングステップ（ステップＳ１７）は、前記ユーザから受信する通話と、前記仮想空間内において前記アバターの近傍に存在するオブジェクトが発生する音声情報をミキシングする機能を有する。前記空間音声ミキシングステップは、前記ユーザ判定ステップ（ステップＳ１１）において判定した、前記ユーザの端末が移動体通信装置であることの情報を用いて、音声信号処理の処理条件を適宜変更しうる。例えば、移動体通信装置に送信する音声信号をモノラル音声とするように処理条件を変更できる。
【０１１６】
空間音声送信ステップ（ステップＳ１８）は、前記空間音源ミキシングステップによりミキシングされた音声信号を、ユーザの端末へ送信する。
【０１１７】
通信終了を判定するステップ（ステップＳ１９）は、前記ユーザのネットワーク・アクセスが終了したか否かを判定する。アクセスが終了した場合は、仮想空間通話プログラムはステップＳ１に戻り、ユーザ認証を行うユーザのアクセスを待機する。アクセスが終了せず継続している場合は、仮想空間通話プログラムはステップＳ１０に戻る。前記ユーザが仮想空間へのアクセス期間中に、前記ユーザに固有な情報を変更した場合であっても、仮想空間通話プログラムは発信者番号情報受信ステップ（Ｓ１０）及びユーザ判定ステップ（Ｓ１１）を繰り返し実行することによって、更新されたユーザ固有情報を取得して、前記ユーザへの仮想空間サービスの提供を継続しうる。例えば、アクセス期間中に携帯電話基地局が混雑することにより携帯電話端末の実行的な通信回線速度が低下し、前記仮想空間通話プログラムが前記発信者番号情報受信ステップ（Ｓ１０）または前記ユーザ判定ステップ（Ｓ１１）において取得する前記通信回線速度の変化を検出すると、前記仮想空間通話プログラムは低下した通信回線速度に適合した音声信号を出力するよう動作しうる。このように、前記ユーザのアクセス期間中に、繰り返して発信者番号情報受信ステップ（Ｓ１０）及びユーザ判定ステップ（Ｓ１１）を実行することにより、前記仮想空間通話プログラムはユーザ固有情報の更新を逐次取得してサービスを継続しうる。
【０１１８】
以上のＳ１１からＳ１９までの各ステップは、本発明の仮想空間サーバをユーザが利用する期間中において、多重に並列実行される。例えば、仮想空間内でアバターを移動させながら、ユーザと他のユーザが仮想空間内の音響効果を付加した通話を送受信できる。
【０１１９】
図４はステップ相互の優先順位を示すものではなく、本発明の仮想空間サーバにおいて多重に実行されるステップを並べたに過ぎない。例えば、空間音声ミキシングステップ（ステップＳ１７）は、位置情報管理ステップ（ステップＳ１２）の処理の経過に依存せずに、前記ユーザが仮想空間サーバに接続している期間中に継続して音声信号処理を実行することができる。
【０１２０】
図４に示し、以上説明した、各ステップを実行する時間スライス、データ量単位等は、適宜設計しうる。例えば、移動体通信装置から受信した１つのパケットに対してステップＳ１１からステップＳ１９までを逐次実行し、次いで受信した１つのパケットに対して同じ手順を繰り返し実行してもよい。また例えば、移動体通信装置が仮想空間サーバに接続している期間中に、パケット個数に関わらず、ステップＳ１１からステップＳ１９までを同時に並列に実行してもよい。
【０１２１】
［仮想空間サーバ及び移動体通信装置のネットワーク接続例］
図５は、本発明の仮想空間サーバ及びクライアント端末である移動体通信装置がネットワーク、特にインターネットを介して接続する例を示す図である。インターネット９には、仮想空間サーバ１、ＩＰ電話サーバ１０、１１、インターネットサービスを提供するプロバイダ１５が接続する。音源データ資源２、ユーザ認証サーバ３はインターネット９を介して仮想空間サーバ１に接続してもよく、イントラネットを用いて仮想空間サーバ１に接続してもよく、仮想空間サーバ１が音源データ資源２、ユーザ認証サーバ３のいずれかまたは両方を兼ねてもよい。プロバイダ１５はネットワーク端末２９とも接続しうる。プロバイダ１５とネットワーク端末２９との接続は公衆回線でもよく、専用回線でもよく、回線の仕様の詳細は問わない。ネットワーク端末２９はパーソナル・コンピュータ等でもよい。
【０１２２】
ＩＰ電話サーバ１０、１１は、中継局１２、１３を介して携帯電話Ａ２０、携帯電話Ｂ２１と接続しうる。ＩＰ電話サーバと中継局との接続手段は何でもよい。ＩＰ電話サーバと接続した携帯電話Ａ２０、携帯電話Ｂ２１はそれぞれ独立したインターネット接続端末として動作しうる。
【０１２３】
携帯電話Ａ２０、携帯電話Ｂ２１は移動体通信装置の一例であり、電波等をインターネット接続手段とし、持ち運び可能な端末装置であれば、移動体通信装置に含まれる。例えば、携帯電話またはＰＨＳを内蔵したノート型パーソナル・コンピュータ、公衆無線ＬＡＮと接続したコンピュータ等も移動体通信装置に含まれる。
【０１２４】
［空間音源ミキシング部］
図６は、本発明の仮想空間サーバに含まれる空間音源ミキシング部の構成の例を示す図である。空間音源ミキシング部４７は、仮想空間サーバ１に含まれ、信号処理部１０３及び音声信号ミキサ１０６を含む。前記信号処理部１０３は信号処理関数１０４を含む。
【０１２５】
信号処理部１０３の入力には、オブジェクト管理部４３からのオブジェクト由来音声情報１０５、受信通話１０１、音源データ資源３に記憶された音声情報が含まれるが、これらに限定されない。前記オブジェクト由来音声情報１０５は、音声信号及び音声信号に変換された音声情報を含む。信号処理部１０３は、信号処理のために位置情報管理部４２の情報を用いることができる。
【０１２６】
信号処理部１０３の出力は、音声信号ミキサ１０６を経由し、送信通話１０２が生成される。音声信号ミキサ１０６は、音声信号の出力フォーマット選択、有害音声信号の出力遮断等のためにユーザ判定部４１の情報を用いることができる。
【０１２７】
図６は、前記オブジェクト由来音声情報１０５が前記オブジェクト管理部４３に記憶される例を示すが、前記音源データ資源３に記憶されてもよい。前記オブジェクト由来音声情報１０５は、アバターが所有するペットの鳴き声の音声情報、音声情報付き広告看板が発生する広告用の音声情報、仮想的な自動車等が発生する機械音の音声情報、仮想空間の特定の領域に存在する生物が発生する鳴き声の音声情報、仮想空間の特定の領域に存在する仮想的な河川、滝、噴水等が発生する水音等の音声情報、アバターの近傍で偶発的または人為的に発生する音声情報を伴うイベント等を含むが、これらに限定されない。前記オブジェクト由来音声情報１０５は、符号化された音声信号、音声信号を生成するプログラムのためのデータ等を含む。
【０１２８】
例えば、仮想空間内の特定の場所に水音等の環境音を伴うことにより、本発明の仮想空間サーバを利用するユーザは、前記環境音の音声情報を受信することによって、仮想空間内の仮想的な河川や噴水等を想像することができる。前記ユーザのアバターが仮想空間内を移動する場合に、前記特定の場所に前記アバターが遠方から接近して、前記環境音の音声情報を音量の変化を伴いながら受信することにより、仮想空間内におけるアバター移動の臨場感を増す効果が得られる。これらの音声信号処理には、位置情報管理部４２の情報が用いられる。
【０１２９】
また例えば、仮想空間を利用するユーザ（ユーザＰとする）のアバター（アバターＪとする）が仮想的なペットの犬を所有して仮想的な洞窟に存在し、他のユーザ（ユーザＱとする）のアバター（アバターＫとする）が仮想的なスズメが飛び交う仮想的な野原に存在し、アバターＪとアバターＫは共に仮想的な携帯電話を所持しているとする。仮想空間内でアバターＪとアバターＫの両者の仮想的な携帯電話が通話可能な状態であれば、前記ユーザＰと前記ユーザＱは現実の携帯通信装置またはマイクロホンとスピーカを備えたネットワーク通信端末を用いて通話することができる。
【０１３０】
ユーザＰがアバターＪを操作し、アバターＪからアバターＫに向かって仮想空間内での通話を実行すると、アバターＪは仮想的な洞窟に存在し、近傍に仮想的なペットの犬が存在するため、アバターＪが仮想空間内で発信する仮想的な携帯電話の音声情報には、仮想的な洞窟の音響効果及び仮想的な犬の鳴き声が含まれうる。
【０１３１】
前記アバターＪが仮想空間内で発信する仮想的な携帯電話の音声情報は、受信通話１０１から信号処理部に入力される前記ユーザＰの音声信号を含む。
【０１３２】
前記仮想的なペットの犬の鳴き声は、オブジェクト由来音声情報１０５であってもよく、音源データ資源３に記憶された合成音声プログラムのためのデータ等の音声情報であってもよい。
【０１３３】
前記仮想的な洞窟の音響効果は、図６に示した信号処理関数１０４から適宜選択される。例えば残響音を発生する信号処理関数が選択される。信号処理関数１０４の選択は、位置情報管理部４２により取得されたアバターＪの位置情報に基づいてもよい。
【０１３４】
図６において、信号処理部１０３は、受信通話１０１、オブジェクト由来音声情報１０５、音源データ資源３の音声信号入力を受け取り、それぞれについて位置情報管理部４２の情報を適宜用いて信号処理関数１０４を選択し、それぞれの音声信号入力に対する処理を加える。例えば、前記仮想的な洞窟において、アバターＪを介するユーザＰの通話には仮想的なペットの犬の鳴き声が伴うと共に、仮想的な洞窟内部の残響が付加される。前記仮想的なペットの犬が仮想的な洞窟の内部を走り回る場合、前記ペットと前記アバターＪとの間隔に依存して、位置情報管理部４２は前記間隔の情報を変化させてもよい。すなわち、前記変化した間隔の情報に基づいて信号処理関数１０４は、前記アバターＪを基準としてより遠方に移動した前記犬に由来する鳴き声の音量を低下させ、または前記アバターＪを基準としてより近傍に移動した前記犬に由来する鳴き声の音量を増加させるよう、犬の鳴き声の音声信号処理条件を変化させてもよい。
【０１３５】
前記アバターＫを操作する前記ユーザＱは、仮想的な洞窟内の残響及び仮想的な犬の鳴き声を伴う前記ユーザＰの通話を受信できる。
【０１３６】
ここで、前記ユーザＱが、前記ユーザＰに向かって通話を実行すると、前記アバターＫは残響のほとんどない仮想的な野原に存在し、周囲に仮想的なスズメが飛び交う状態にあるため、アバターＫが送信する音声情報には残響を伴わず、経時的に位置情報の変化する複数のスズメの音声情報を伴う。
【０１３７】
前記信号処理部１０３における前記アバターＫが送信する通話においては、前述の前記アバターＪが送信する通話の信号処理と同様に、前記アバターＫの位置情報及び近傍のオブジェクトに由来する音声情報を含む音声信号処理が実施される。
【０１３８】
図６において、音声信号ミキサ１０６は、前記信号処理部１０３において処理された音声信号をミキシングし、出力チャネル数が１のモノラル音声、出力チャネル数が２のステレオ音声、出力チャネル数が３以上の多チャネル音声から選択された出力形式に適合する音声信号を出力する。
【０１３９】
移動体通信装置がステレオ音声出力のための外部出力端子等を備え、ユーザがステレオ・ヘッドフォン等を装着することにより、ユーザは移動体通信装置を用いてステレオ音声を聴取できる。
【０１４０】
多くの移動体通信装置のスピーカは１個であるため、前記空間音源ミキシング部は、移動体通信装置に向けて送信するための音声信号をミキシングする場合に、モノラル音声を出力フォーマットとしてもよいが、これに限定されず、出力フォーマットはユーザの嗜好等により適宜設計できる。ユーザが使用する端末が前記移動体通信装置であることの判定には、図６に示すユーザ判定部４１の情報を用いることができる。
【０１４１】
前記モノラル音声においては、左右の音像定位のための信号処理が省略できるので、複数チャネルの音声信号処理と比較して、仮想空間サーバにおける信号処理の計算ステップ数は減少しうる。これにより、音声信号処理をより迅速化することができる。
【０１４２】
仮想空間サーバを利用するユーザの移動体通信装置の回線速度が、端末の回線速度仕様によって、または基地局の混雑等の状態によって、ステレオ音声の送受信を含む仮想空間のデータ送受信に不十分な速度であるとみなせる場合、前記音声信号ミキサ１０６は出力チャネル数が１のモノラル音声による出力を試みてよい。
【０１４３】
前記音声信号ミキサ１０６は、ユーザ判定部４１が取得するユーザ固有の情報を用い、音声信号を条件付きでミキシングしうる。例えば、仮想空間内の成人向けサービスを提供する場所において、ユーザの年齢に依存して前記ユーザが前記成人向けサービスに係る音声信号を受信しうる条件を満たすか否かを識別してもよい。
【０１４４】
前記音声信号ミキサ１０６からの出力は送信通話１０２として仮想空間サーバから移動体通信装置に向かって送信される。
【０１４５】
図６においては、例として１つの受信通話１０１を示したが、仮想空間内で複数のアバターが発信する仮想的な携帯電話の音声は、それぞれ独立した受信通話として取り扱われてもよく、適宜１つの受信通話に入力されてもよい。
【０１４６】
前記信号処理関数１０４には、音量の増減、音源の定位、音声信号の振幅変調、周波数変調、位相変調、周波数変換、時間遅れ音声信号の重ね合わせ、合成音声の重ね合わせ、高調波成分の重ね合わせ、所定信号処理関数のたたみ込み、ユーザ定義による信号処理から任意に選択される音声信号処理手段を含む。これらの音声信号処理手段は当業者に公知である。
【０１４７】
例えば、複数のアバターが仮想空間内でパーティを催して仮想的なヘリウムガスを吸引し、通話の音程を通常よりも高くして遊ぶ等の行為を行う場合、前記信号処理関数１０４に含まれる前記周波数変換を実施することにより、ユーザの端末装置に含まれる音声出力装置からは、仮想空間内で音程を高く変換した他ユーザの通話が再生される。さらに例えば、仮想的な比重の大きな気体をアバターが仮想空間内で吸引し、仮想空間を介したユーザの通話の音程を低くして遊ぶ等の効果も得られる。
【０１４８】
前記合成音声の重ね合わせは、音声合成集積回路等が発生する合成音声、音声合成アプリケーションを用いる合成音声をミキシングすることを含む。
【０１４９】
前記合成音声を発生する手段は、基本となる音声波形データを数値化して記憶し、パラメータ入力に応じて人工音声を合成するＬＳＩ（大規模集積回路）でもよく、コンピュータ・システムの基本ソフトウェアであるオペレーティング・システムが提供するサービスによって人工音声を合成してもよく、オペレーティング・システム上で動作する音声合成アプリケーションによってテキストファイルを解析して人工音声を合成してもよい。
【０１５０】
前記合成音声の発生のための前記ＬＳＩの好適な例はＯＫＩ社ＭＳ−２２５０シリーズであり、前記音声合成アプリケーションの好適な例はＮＴＴ−ＩＴ社Ｈｉｐｅｒｖｏｉｃｅであるが、これらに限らず、ハードウェア、ソフトウェアから適宜選択できる。前記音声合成ＬＳＩを移動体通信装置に組み込み、前記ＬＳＩのためのデータファイルを本発明の仮想空間サーバまたは音源データベースが記憶し、移動体通信装置に適宜送信してもよい。
【０１５１】
前記合成音声はユーザの通話と重ね合わせてもよく、単独で合成音声のみを出力してもよい。
【０１５２】
前記合成音声は、パーソナル・コンピュータのキーボード等から入力された文字列を合成音声に変換して発生したものでもよい。例えば、ユーザがキーボードから「こんにちは」と入力した文字列を、前記信号処理関数１０４に含まれる合成音声を発生する処理関数によって音声信号に変換してもよい。
【０１５３】
前記合成音声は、人工音声を発生するプログラムでもよく、音源データ資源３に予め記憶された音声データを編集して得られる音声でもよく、音声合成のための集積回路等のハードウェアを追加して音声を発生させてもよい。信号処理部１０３に入力できる音声信号であれば、合成音声は特に詳細を問わずに使用できる。
【０１５４】
前記合成音声は、例えば仮想空間内のアバターの仮想的な年齢、容姿または装備品等のコスチューム、安静または競走等の仮想的な状況を反映して適宜選択してもよい。
【０１５５】
例えば、ユーザは、仮想空間内のアバターが所有する仮想的なペットの犬に加えて、仮想的なペットの猿、仮想的なペットの雉を所有し、前記アバターの腰部に仮想的な黍団子のオブジェクトを付着させ、前記ユーザの通話の音色と特に関連性のない合成音声を適宜選択して用い、合成音声にさらに高調波を重ね合わせて歪んだ音色に変化させ、通話しうる他のユーザのアバターに向かって「ぼく、ももたろう」等の通話を行ってもよい。合成音声を用いることにより、仮想空間を介して想像上の人物の通話を行ってもよく、仮想空間内の通話の音色は適宜設計できる。
【０１５６】
以上述べたように、図６に示した空間音源ミキシング部４７を用い、位置情報管理部４２の情報及びユーザ判定部４１の情報を用いることにより、ユーザは、端末の通信状況に適した音声信号処理を利用しうるとともに、仮想空間内の状況を反映した通話、仮想空間の臨場感を伴った通話、仮想世界内で独立に発生している通話に限定しないさまざまな音声情報へのアクセス等を利用することができる。
【０１５７】
［クライアント端末としての移動体通信装置の構成例］
図７は、クライアント端末として機能しうる移動体通信装置の構成の例を示すブロック図である。移動体通信装置の例としては、図５に示した携帯電話Ａ２０及び携帯電話Ｂ２１が挙げられるが、これらに限らず携帯電話、ＰＨＳ、自動車電話、及びこれらを内蔵したノート型パーソナル・コンピュータ、公衆無線ＬＡＮと接続したコンピュータ等から適宜選択して、または複数を組み合わせて用いることができる。
【０１５８】
図７において、携帯電話Ａ２０は、電波を送受信する送受信部６１、受信データを処理する受信データ処理部６２、送信データを処理する送信データ処理部６３を含む。
【０１５９】
携帯電話Ａ２０が送受信するデータは、前述の図３を用いて示したパケット単位の構成を有し、前記パケットは識別子とデータ領域を含む。
【０１６０】
図７において、受信データ処理部６２は、受信信号処理部６４、音声出力部６５、スピーカ６６、受信プラグイン６７、文字情報処理部６８、表示装置６９を含む。
【０１６１】
携帯電話Ａ２０の送受信部６１が受信したパケットは、受信データ処理部６２に送られ、前記パケットの識別子またはデータ領域に含まれる情報に基づいて、受信信号処理部６４において通話と画面表示のための情報が識別される。前記通話は音声出力部６５に送られ、スピーカ６６からユーザが聴取できる。前記画面表示のための情報は文字情報処理部６８に送られ、表示装置６９に送信元ユーザからのメッセージ等の文字情報が表示される。前記画面表示のための情報は、文字情報処理部６８が表示装置６９に表示しうる文字情報であってもよく、図形描画のためのコマンド文字列であってもよく、画像を生成するためのプログラム及び変数の値等であってもよい。
【０１６２】
受信プラグイン６７は、受信信号処理部６４の処理内容を追加変更するための、書き換え可能な可読媒体に記憶されたデータ領域である。受信プラグイン６７は、仮想空間サーバからダウンロードしたプログラム等を記憶しうる、移動体通信装置の内部に設けられたメモリ領域でもよく、フラッシュメモリカード等の着脱可能な可読媒体として提供されてもよい。
【０１６３】
図７において、送信データ処理部６３は、送信信号処理部７３、音声入力部７２、マイクロホン７１、送信プラグイン７５、入力情報処理部７４、入力装置７０を含む。
【０１６４】
ユーザの発話はマイクロホン７１、音声入力部７２を経由してデジタルデータに変換され、送信信号処理部７３に送られる。ユーザが入力装置７０から入力した文字情報、アバターの操作に関するキー操作等は入力情報処理部７４を経由して前記送信信号処理部７３に送られる。送信信号処理部７３は、前記音声信号及び前記入力情報を識別する情報、送信者ＩＤ等の情報を含む識別子をそれぞれのデジタルデータに付属させたパケットを生成し、前記パケットは送受信部６１から送信される。
【０１６５】
送信プラグイン７５は、送信信号処理部７３の処理内容を追加変更するための、書き換え可能な可読媒体に記憶されたデータ領域である。送信プラグイン７５は、仮想空間サーバからダウンロードしたプログラム等を記憶しうる、移動体通信装置の内部に設けられたメモリ領域でもよく、フラッシュメモリカード等の着脱可能な可読媒体として提供されてもよい。前記受信プラグイン６７と送信プラグイン７５は同一の着脱可能なメモリカードに記憶して提供されてもよい。
【０１６６】
前記受信プラグイン６７、前記送信プラグイン７５は、本発明の仮想空間サーバと連動したプログラム等を含んでもよい。例えば、携帯電話Ａ２０に含まれない絵文字、アイコン画像及びこれらを生成して表示するプログラム等を含む、前記受信プラグイン６７及び前記送信プラグイン７５をメモリカードとして提供し、前記メモリカードを装着することにより、携帯電話Ａ２０において仮想空間サービスに関連する絵文字、アイコン等を表示装置６９に表示して、仮想空間の臨場感をユーザに提供してもよい。
【０１６７】
［仮想空間サーバの屋内利用例］
図８は、本発明の仮想空間サーバを、屋内に設置されたパーソナル・コンピュータを用いて利用することを示す図である。
【０１６８】
図８において、パーソナル・コンピュータが設置された建築物３０の内部には、パーソナル・コンピュータ本体（図示せず）、ポインティング・デバイス３１、表示装置８０、入力装置８７等が含まれる。表示装置８０には、仮想空間におけるユーザのアバター８１、他のユーザのアバター８２、仮想空間の位置情報を示す文字表示８３、オブジェクト由来の文字表示８４、オブジェクト８５等が、仮想的な３次元空間に表示される。
【０１６９】
仮想空間の位置情報を示す文字表示８３は、前記ユーザのアバター８１が存在する仮想空間内の地名等であり、例えば、仮想的な地名「ＴＯＫＹＯ ＡＲＥＡ−１」等が表示される。オブジェクト由来の文字表示８４は、オブジェクト８５に付属する文字でもよく、プログラム、スクリプト等が生成する文字列の表示でもよい。例えば、仮想的な犬の形状のオブジェクトの近傍に「ワンワン」等の文字が表示される場合、前記「ワンワン」は前記オブジェクトに与えられた名称の表示でもよく、前記オブジェクトに付属するプログラムまたはスクリプトが所定のタイミングで表示と消去を繰り返す文字でもよい。
【０１７０】
ユーザによるアバターの操作は、入力装置８７、ポインティング・デバイス３１等を用いて適宜行われる。前記アバターの操作には、仮想空間内におけるアバターの移動、姿勢の変更、アバターの動作を記述したスクリプトの開始及び終了、仮想空間内のオブジェクトへの接近等を含み、さらにアバターを操作することによるオブジェクトの操作を含む。
【０１７１】
ユーザが仮想空間内においてアバター８１を操作し、他のユーザが操作する他のアバター８２が近傍に存在する場合に、ユーザが入力装置８７を用いて「おはようさん」等の文字を入力すると、表示装置８０に前記文字が表示される。前記文字は、アバターが近傍に存在する他のユーザの表示装置にも表示される。
【０１７２】
ユーザは室内に設置されたパーソナル・コンピュータ等を用いて仮想空間を利用しうるが、外出の用事等によって前記パーソナル・コンピュータから離れた場所に移動する場合がある。また、ユーザが仮想空間へのアクセスのためにパーソナル・コンピュータ等の近傍に行動範囲を制約されることに対して不快感を抱く場合がある。
【０１７３】
本発明の仮想空間サーバは、携帯電話等の移動体通信装置を用いて仮想空間を利用する手段を提供し、パーソナル・コンピュータ等を用いて仮想空間を利用する場合との連続性をユーザが感じとることのできる仮想空間の臨場感を、音響効果によって提供する。
【０１７４】
［仮想空間サーバの屋外利用例］
図９は、本発明の仮想空間サーバを、屋外において携帯電話を用いて利用する例を示す図である。携帯電話Ａ２０は、スピーカ６６、表示装置６９、入力装置７０、マイクロホン（図示せず）を含む。
【０１７５】
ユーザが携帯電話Ａ２０を用いて仮想空間サーバに接続すると、本発明に係る仮想空間通話プログラムは、図４に示したユーザ判定ステップＳ１１によって、前記ユーザの端末が移動体通信装置であることを識別する。前記識別の情報は、音声信号処理の条件の一部に用いてもよい。
【０１７６】
携帯電話Ａ２０の表示装置６９は、パーソナル・コンピュータの表示装置８０と比較して、１画面に同時に表示しうる情報量に制約があるため、例えば、図８に示した仮想空間の位置情報を示す文字表示８３、ユーザのアバター８１、他のユーザのアバター８２、近傍のオブジェクト８５等の全てを同時に表示しうるとは限らない。
【０１７７】
本発明に係る仮想空間通話プログラムは、図４に示したように、ユーザ判定ステップＳ１１によって、ユーザが利用する端末が移動体通信装置であることを識別し、携帯電話Ａ２０の表示装置６９に表示する情報量を調整しうる。さらに、前記識別の情報は、仮想空間サーバから携帯電話Ａ２０への音声信号の出力をモノラル形式に編集し、データ転送量を減少させる等の送信データ量の調整に使用できる。
【０１７８】
図９において、携帯電話Ａ２０のスピーカ６６からは、他ユーザが発信した通話を含む音声信号等が再生される。
【０１７９】
図６に示したように、本発明に係る空間音声ミキシング装置の信号処理関数１０４は、キーボード等の入力装置から入力した文字列を合成音声に変換する関数を含む。例えば、ユーザが携帯電話Ａ２０を用いて仮想空間にアクセスし、他のユーザがパーソナル・コンピュータを用いて前記仮想空間にアクセスし、前記他のユーザがキーボード入力した「おはようさん」の文字列を合成音声に変換するよう指示すると、前記ユーザが使用する前記携帯電話Ａ２０のスピーカ６６からは前記「おはようさん」の文字列が合成音声に変換され出力される。
【０１８０】
前記発信者番号情報管理ステップによって、ユーザが利用する端末が移動体通信装置であることを識別した情報は、移動体通信装置への文字列の出力を、適宜、前記合成音声に変換した音声信号に切り替えることに用いてもよい。例えば、携帯電話Ａ２０の表示装置６９が１画面に表示可能な文字数を超える文字列は、適宜、信号処理関数１０４によって音声信号に変換され、前記携帯電話Ａ２０に送信される。これにより、ユーザは、１画面に表示できずに確認が困難な文字情報を、音声として聴取することによって確認できる。
【０１８１】
図６に示したように、本発明に係る空間音声ミキシング装置は、各ユーザの通話に加えて、仮想空間内においてユーザが操作するアバターの希望に存在するオブジェクトに由来する音声情報をミキシングし、前記ユーザに送信する。前述の図８を用いて説明した、パーソナル・コンピュータの表示装置８０に表示された仮想的な犬のオブジェクトに付属する鳴き声の音声情報は、前記ユーザの近傍に前記犬のオブジェクトが存在する期間中において、携帯電話Ａ２０のスピーカ６６からも再生しうる。
【０１８２】
前記ユーザは、仮想空間のアクセス手段をパーソナル・コンピュータから携帯電話に変更した場合においても、仮想空間内のアバター近傍に引き続き存在するオブジェクトに由来する音声情報を聴取することができる。すなわち、外出の所用等によって接続手段を変更しても、引き続き同じ仮想空間にアクセスし続けている感覚を維持しうる。
【０１８３】
本発明の仮想空間サーバを用いることにより、移動体通信装置をアクセス手段として仮想空間を利用できるので、ユーザは、パーソナル・コンピュータ近傍等に行動範囲を制約されることなく、仮想空間へのアクセス手段を確保しうる。すなわち、ユーザは、パーソナル・コンピュータ端末と向かい合う必要はなく、携帯電話等を手段として、現実空間における対面の会話や、電話を利用した会話のような簡便で気軽な気持ちで仮想空間を介する通話サービスを利用することができる。
【０１８４】
例えば、互いに遠隔地に存在する２人のユーザが仮想空間にアクセスし、両者が操作するそれぞれのアバターが仮想空間内の近傍に存在して通話可能な状態にあり、一方のアバターがペットの犬を所有し、前記ペットの犬はいずれのアバターに対しても鳴き声の届く距離に存在する場合、前記２つのアバターを操作するそれぞれのユーザの移動体通信装置を含む端末の音声信号出力装置からは、前記ペットの犬のオブジェクトに由来する鳴き声を示す音声が出力される。これにより、移動体通信端末を利用するユーザは机上端末の近傍に行動範囲を制約されることなく、仮想空間内において仮想的な犬が身近に存在していることを想像し、相互が近接した仮想空間に存在している感覚を共有する機会を得ることができる。
【０１８５】
また例えば、複数のユーザが仮想空間にアクセスし、各々が操作するアバターが仮想空間内の同一の舞踏会場に集合して踊りを踊る場合、会場に含まれる仮想的なスピーカのオブジェクトが音楽の音声情報を発生し、本発明の仮想空間サーバに含まれる空間音源ミキシング部によって前記音声情報と他の音声情報からなるミキシングされた音声情報を各アバターが受信することにより、前記複数のユーザは各自の移動体通信装置を介して同一の音楽を聴取することによって、お互いが仮想空間内において近接した空間に存在している感覚を共有する機会が得られる。本発明の仮想空間サーバにより、移動体通信装置を用いるユーザは机上端末の近傍に行動範囲を制約されることなく、このような空間を共有する感覚を提供するサービスを、移動体通信装置が利用可能な任意の場所において受けることができる。
【０１８６】
［移動体通信装置の画面情報例］
図７を用いて説明したように、移動体通信装置は受信プラグイン６７及び送信プラグイン７５に、本発明の仮想空間サーバと連動したプログラム等を含んでもよく、例えば、絵文字、アイコン画像及びこれらを生成して表示するプログラム等を含んでもよい。
【０１８７】
図１０は、本発明の仮想空間サーバと接続した携帯電話の画面表示の例を示す図である。図１０（ａ）は、仮想空間サーバから受信したアバターの情報をアイコン状の画像として表示する例を示す図であり、表示される画像にはユーザのアバターを示す画像表示９１、他ユーザのアバターを示す画像表示９２を含む。前記アイコン状の画像は、仮想空間サーバから携帯電話に画像を送信してもよく、各アバターを操作するユーザのＩＤ等を仮想空間サーバから携帯電話に送信し、携帯電話内のプラグインに記憶された画像生成プログラムを用いてアイコン状の画像を生成して表示してもよい。
【０１８８】
図１０（ｂ）は、仮想空間サーバから受信したアバターの情報に含まれる文字情報を、携帯電話の画面に表示する例を示す図である。前記文字情報は、ユーザの位置情報を示す文字表示９３、他ユーザの位置情報を示す文字表示９４を含む。図１０（ｂ）に示した例において、前記ユーザは仮想空間内で「東京エリア１」の地名を有する位置に存在し、前記他のユーザは前記仮想空間内で「大阪商店街Ａ」の地名を有する位置に存在する。前記文字情報はこれらの位置情報に限らず、前記ユーザ及び前記他のユーザは文字として仮想空間サーバから移動体通信装置に送信される情報から適宜選択して表示できる。
【０１８９】
画面表示する画像情報または文字情報は、仮想空間を利用するユーザにとっての重要度等に基づいて装飾等を伴ってよい。例えば、前記ユーザが操作するアバターに付随する情報の周囲に、前記情報が目立つよう、枠線や陰付きの装飾を伴ってもよく、これらの装飾を点滅させてもよく、装飾は適宜設計できる。
【０１９０】
仮想空間内において前記ユーザのアバター近傍に、音声情報が付随したオブジェクト等が存在する場合、前記オブジェクトを示すアイコン状の画像情報または文字情報等を、前記ユーザ及び前記他のユーザと並べて画面表示してもよい。前記オブジェクトを示すアイコン状の画像の生成は前述と同様である。
【０１９１】
図１０（ｃ）は、仮想空間サーバから受信したアバターの情報に含まれる文字情報に加えて、前記アバターの近傍に、仮想空間内のオブジェクトが存在する例を示す図である。図１０（ｃ）において、仮想空間内の近傍オブジェクトを示す画像表示９７は、例えば、仮想的な犬のオブジェクトを示す。
【０１９２】
本発明の仮想空間サーバを用い、移動体通信装置をアクセス手段として仮想空間を利用することにより、ユーザは他のユーザとの通話に加え、仮想空間内において前記ユーザが操作するアバターの近傍に存在するオブジェクトの存在を意識することにより、前記他のユーザと同一の仮想空間を共有している臨場感を味わうことができる。
【０１９３】
本発明の仮想空間サーバを用い、移動体通信装置をアクセス手段として仮想空間を利用することにより、前記ユーザは、前記他のユーザと共に、同じ仮想空間内において仮想的なペットのオブジェクトを共に愛玩する等の感情を共有することができる。すなわち、本発明の仮想空間サーバに係る仮想空間の利用においては、アクセス手段をパーソナル・コンピュータから携帯電話に変更しても、同じ仮想空間において仮想的なペットを愛玩する等の感情を継続して抱くことができ、異なる接続手段の間において臨場感に連続性のある仮想空間サービスを提供することができる。
【０１９４】
以上、本発明に係る実施形態について説明したが、本発明は上述した実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。
【図面の簡単な説明】
【０１９５】
【図１】本発明の一実施形態に係る仮想空間サーバの構成と、移動体通信装置を用いて仮想空間サーバを利用するユーザとの関係を示す図である。
【図２】仮想空間サーバのハードウェア構成を示す図である。
【図３】仮想空間サーバを介する通話におけるデータ形式の例を示す図である。
【図４】仮想空間通話プログラムの実行ステップを示す図である。
【図５】仮想空間サーバ及びクライアント端末である移動体通信装置がネットワークを介して接続する例を示す図である。
【図６】空間音源ミキシング部の構成の例を示す図である。
【図７】移動体通信装置の構成の例を示すブロック図である。
【図８】仮想空間サーバを、屋内に設置されたパーソナル・コンピュータを用いて利用する例を示す図である。
【図９】仮想空間サーバを、屋外において携帯電話を用いて利用する例を示す図である。
【図１０】仮想空間サーバと接続した携帯電話の画面表示の例を示す図である。
【符号の説明】
【０１９６】
１ 仮想空間サーバ
２ 音源データ資源
３ ユーザ認証サーバ
９ インターネット
１０、１１ ＩＰ電話サーバ
１２、１３ 中継局
１５ プロバイダ
２０ 携帯電話Ａ
２１ 携帯電話Ｂ
２９ ネットワーク端末
３０ パーソナル・コンピュータが設置された建築物
３１ ポインティング・デバイス
３５ 制御論理
３６ データ処理部
３７ 音声信号処理部
４０ 発信者番号情報受信部
４１ ユーザ判定部
４２ 位置情報管理部
４３ オブジェクト管理部
４４ ユーザ抽出部
４５ 通話要求表示部
４６ 発話受信部
４７ 空間音源ミキシング部
４８ 空間音声送信部
４９ ユーザ固有情報ＤＢ
５０ パケット
５１ 識別子
５２ データ領域
６１ 送受信部
６２ 受信データ処理部
６３ 送信データ処理部
６４ 受信信号処理部
６５ 音声出力部
６６ スピーカ
６７ 受信プラグイン
６８ 文字情報処理部
６９ 表示装置
７０ 入力装置
７１ マイクロホン
７２ 音声入力部
７３ 送信信号処理部
７４ 入力情報処理部
７５ 送信プラグイン
８０ 表示装置
８１ ユーザのアバター
８２ 他ユーザのアバター
８３ 仮想空間の位置を示す文字表示
８４ オブジェクト由来の文字表示
８５ オブジェクト
８７ 入力装置
９１ ユーザのアバターを示す画像表示
９２ 他ユーザのアバターを示す画像表示
９３ ユーザの位置情報を示す文字表示
９４ 他ユーザの位置情報を示す文字表示
９７ 仮想空間内の近傍オブジェクトを示す画像表示
１０１ 受信通話
１０２ 送信通話
１０３ 信号処理部
１０４ 信号処理関数
１０５ オブジェクト由来音声情報
１０６ 音声信号ミキサ
１０７ バスライン
１０８ 制御部
１０９ 記億部
１１０ ＣＰＵ１
１２０ ＣＰＵ２
１２２ 表示装置
１３１ ユーザＩＤ
１３２ 電話番号
１３３ メールアドレス
１３４ 仮想空間内位置情報
１４０ 通信Ｉ／Ｆ
１５０ メインメモリ
１６０ ＢＩＯＳ
１７０ Ｉ／Ｏコントローラ
１７１ テープメディア
１７２ テープドライブ
１７４ ハードディスク
１７６ 光ディスクドライブ
１７７ 光ディスク
１７８ 半導体メモリ
１８０ キーボード／マウス
１９０ ＵＳＢポート
【特許請求の範囲】
【請求項１】
ネットワークを介して提供する仮想空間において、仮想空間上の音声の入出力を電話装置との連携により実現するサーバであって、
ユーザが発信した電話番号を受信する発信者番号情報受信部と、
前記発信者番号に対応するユーザ固有情報を求めるユーザ判定部と、
前記ユーザの仮想空間内におけるユーザ位置情報を管理する位置情報管理部と、
前記ユーザ固有情報に基づいて前記仮想空間内においてユーザが所有するオブジェクトを管理するオブジェクト管理部と、
前記ユーザ位置情報に基づいて前記仮想空間を経由して通話可能な他のユーザを識別するユーザ抽出部と、
前記ユーザ及び他のユーザへの通話要求を表示する通話要求表示部と、
前記仮想空間内において前記ユーザと所定の距離以内に存在するオブジェクトの音声情報を前記ユーザから受信する通話とミキシングする空間音源ミキシング部と、
前記ミキシングした音声情報を前記他のユーザに送信する空間音声送信部とを有する仮想空間サーバ。
【請求項２】
前記ユーザ固有情報に基づいて前記仮想空間を経由して通話可能な他のユーザを識別する手段と、
前記ユーザ位置情報に基づいて前記仮想空間内における前記ユーザ近傍のオブジェクトを識別する手段を有する、請求項１に記載の仮想空間サーバ。
【請求項３】
音声情報を記憶する音源データベースと接続し、
ユーザから受信した通話と前記音源データベースに記憶された音声情報とをミキシングしてユーザに送信する手段を有する、請求項１に記載の仮想空間サーバ。
【請求項４】
前記空間音源ミキシング部は、
ユーザから受信した通話と、前記音源データベースが記憶する音声情報と、仮想空間内のオブジェクトが出力する音声情報から任意に選択された音声情報に対して、
前記ユーザ位置情報及び前記ユーザ固有情報に基づいて音声信号処理手段を選択して音声信号処理を施し、
前記音声信号処理は、音量の増減、音源の定位、振幅変調、周波数変調、位相変調、周波数変換、時間遅れ音声信号の重ね合わせ、合成音声の重ね合わせ、高調波成分の重ね合わせ、所定信号処理関数のたたみ込み、ユーザ定義による信号処理から任意に選択される音声信号処理であり、
前記音声信号処理を加えた音声信号をミキシングすることを含む、
請求項１に記載の仮想空間サーバ。
【請求項５】
前記空間音源ミキシング部は、
ユーザが用いる端末の通信回線速度に依存して、
音声信号のチャネル数を２以上の音声チャネルからなる多重音声及びモノラル音声から任意に選択する手段を有する、請求項１に記載の仮想空間サーバ。
【請求項６】
ネットワークを介して提供する仮想空間において、仮想空間上の音声の入出力を電話装置との連携により実現する仮想空間通話システムであって、
ユーザが発信した電話番号を受信する発信者番号情報受信装置と、
前記発信者番号に対応するユーザ固有情報を求めるユーザ判定装置と、
前記ユーザの仮想空間内における位置情報を管理する位置情報管理装置と、
前記仮想空間内において前記ユーザと所定の距離以内に存在するオブジェクトを管理するオブジェクト管理装置と、
前記ユーザ位置情報に基づいて前記仮想空間を経由して通話可能な他のユーザを識別するユーザ抽出装置と、
前記ユーザ及び前記他のユーザへの通話要求を表示する通話要求装置と、
前記仮想空間内において前記ユーザと所定の距離以内に存在するオブジェクトの音声情報を前記ユーザから受信する通話とミキシングする空間音源ミキシング装置と、
前記ミキシングした音声情報をユーザに送信する空間音声送信装置とを備えた、仮想空間通話システム。
【請求項７】
ネットワークを介して提供する仮想空間において、仮想空間上の音声の入出力を電話装置との連携により実現する仮想空間通話プログラムであって、コンピュータに、
ユーザが発信した電話番号を受信する発信者番号情報受信ステップと、
前記発信者番号に対応するユーザ固有情報を求めるユーザ判定ステップと、
前記ユーザの前記仮想空間内におけるユーザ位置情報を取得する位置情報管理ステップと、
前記仮想空間内においてユーザと所定の距離以内に存在するオブジェクトを管理するオブジェクト管理ステップと、
前記ユーザ位置情報に基づいて前記仮想空間を経由して通話可能なユーザを識別するユーザ抽出ステップと、
前記ユーザへの通話要求を表示する通話要求ステップと、
前記仮想空間内において前記ユーザと所定の距離以内に存在するオブジェクトの音声情報を前記ユーザから受信する通話とミキシングする空間音源ミキシングステップと、
前記ミキシングした音声情報をユーザに送信する空間音声送信ステップを実行させる、仮想空間通話プログラム。
【請求項１】
ネットワークを介して提供する仮想空間において、仮想空間上の音声の入出力を電話装置との連携により実現するサーバであって、
ユーザが発信した電話番号を受信する発信者番号情報受信部と、
前記発信者番号に対応するユーザ固有情報を求めるユーザ判定部と、
前記ユーザの仮想空間内におけるユーザ位置情報を管理する位置情報管理部と、
前記ユーザ固有情報に基づいて前記仮想空間内においてユーザが所有するオブジェクトを管理するオブジェクト管理部と、
前記ユーザ位置情報に基づいて前記仮想空間を経由して通話可能な他のユーザを識別するユーザ抽出部と、
前記ユーザ及び他のユーザへの通話要求を表示する通話要求表示部と、
前記仮想空間内において前記ユーザと所定の距離以内に存在するオブジェクトの音声情報を前記ユーザから受信する通話とミキシングする空間音源ミキシング部と、
前記ミキシングした音声情報を前記他のユーザに送信する空間音声送信部とを有する仮想空間サーバ。
【請求項２】
前記ユーザ固有情報に基づいて前記仮想空間を経由して通話可能な他のユーザを識別する手段と、
前記ユーザ位置情報に基づいて前記仮想空間内における前記ユーザ近傍のオブジェクトを識別する手段を有する、請求項１に記載の仮想空間サーバ。
【請求項３】
音声情報を記憶する音源データベースと接続し、
ユーザから受信した通話と前記音源データベースに記憶された音声情報とをミキシングしてユーザに送信する手段を有する、請求項１に記載の仮想空間サーバ。
【請求項４】
前記空間音源ミキシング部は、
ユーザから受信した通話と、前記音源データベースが記憶する音声情報と、仮想空間内のオブジェクトが出力する音声情報から任意に選択された音声情報に対して、
前記ユーザ位置情報及び前記ユーザ固有情報に基づいて音声信号処理手段を選択して音声信号処理を施し、
前記音声信号処理は、音量の増減、音源の定位、振幅変調、周波数変調、位相変調、周波数変換、時間遅れ音声信号の重ね合わせ、合成音声の重ね合わせ、高調波成分の重ね合わせ、所定信号処理関数のたたみ込み、ユーザ定義による信号処理から任意に選択される音声信号処理であり、
前記音声信号処理を加えた音声信号をミキシングすることを含む、
請求項１に記載の仮想空間サーバ。
【請求項５】
前記空間音源ミキシング部は、
ユーザが用いる端末の通信回線速度に依存して、
音声信号のチャネル数を２以上の音声チャネルからなる多重音声及びモノラル音声から任意に選択する手段を有する、請求項１に記載の仮想空間サーバ。
【請求項６】
ネットワークを介して提供する仮想空間において、仮想空間上の音声の入出力を電話装置との連携により実現する仮想空間通話システムであって、
ユーザが発信した電話番号を受信する発信者番号情報受信装置と、
前記発信者番号に対応するユーザ固有情報を求めるユーザ判定装置と、
前記ユーザの仮想空間内における位置情報を管理する位置情報管理装置と、
前記仮想空間内において前記ユーザと所定の距離以内に存在するオブジェクトを管理するオブジェクト管理装置と、
前記ユーザ位置情報に基づいて前記仮想空間を経由して通話可能な他のユーザを識別するユーザ抽出装置と、
前記ユーザ及び前記他のユーザへの通話要求を表示する通話要求装置と、
前記仮想空間内において前記ユーザと所定の距離以内に存在するオブジェクトの音声情報を前記ユーザから受信する通話とミキシングする空間音源ミキシング装置と、
前記ミキシングした音声情報をユーザに送信する空間音声送信装置とを備えた、仮想空間通話システム。
【請求項７】
ネットワークを介して提供する仮想空間において、仮想空間上の音声の入出力を電話装置との連携により実現する仮想空間通話プログラムであって、コンピュータに、
ユーザが発信した電話番号を受信する発信者番号情報受信ステップと、
前記発信者番号に対応するユーザ固有情報を求めるユーザ判定ステップと、
前記ユーザの前記仮想空間内におけるユーザ位置情報を取得する位置情報管理ステップと、
前記仮想空間内においてユーザと所定の距離以内に存在するオブジェクトを管理するオブジェクト管理ステップと、
前記ユーザ位置情報に基づいて前記仮想空間を経由して通話可能なユーザを識別するユーザ抽出ステップと、
前記ユーザへの通話要求を表示する通話要求ステップと、
前記仮想空間内において前記ユーザと所定の距離以内に存在するオブジェクトの音声情報を前記ユーザから受信する通話とミキシングする空間音源ミキシングステップと、
前記ミキシングした音声情報をユーザに送信する空間音声送信ステップを実行させる、仮想空間通話プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２００９−４９５５８（Ｐ２００９−４９５５８Ａ）
【公開日】平成２１年３月５日（２００９．３．５）
【国際特許分類】
【出願番号】特願２００７−２１１８２３（Ｐ２００７−２１１８２３）
【出願日】平成１９年８月１５日（２００７．８．１５）
【出願人】（５００２５７３００）ヤフー株式会社 (1,128)
【Ｆターム（参考）】
【公開日】平成２１年３月５日（２００９．３．５）
【国際特許分類】
【出願日】平成１９年８月１５日（２００７．８．１５）
【出願人】（５００２５７３００）ヤフー株式会社 (1,128)
【Ｆターム（参考）】
[ Back to top ]