通信システム、通信装置、通信プログラム、通信プログラムを記憶したコンピュータ読み取り可能な記憶媒体
【課題】音声チャット中に、ユーザの興味を惹き付ける画像を表示する。
【解決手段】クライアント装置１は、ネットワークに接続され、通信パケット受信部１３とテクスチャ処理部１８とを有する。通信パケット受信部１３は、ネットワークに接続される他のクライアント端末から送信された画像データと音声データと画像データの種別を示す画像種別情報とを受信する。テクスチャ処理部１８は、受信した画像データに応じた画像を描画する。また、テクスチャ処理部１８は、通信パケット受信部１３が受信した画像種別情報が所定の画像を示す情報であるとき、画像データに応じた画像に所定の描画処理を施す。
【解決手段】クライアント装置１は、ネットワークに接続され、通信パケット受信部１３とテクスチャ処理部１８とを有する。通信パケット受信部１３は、ネットワークに接続される他のクライアント端末から送信された画像データと音声データと画像データの種別を示す画像種別情報とを受信する。テクスチャ処理部１８は、受信した画像データに応じた画像を描画する。また、テクスチャ処理部１８は、通信パケット受信部１３が受信した画像種別情報が所定の画像を示す情報であるとき、画像データに応じた画像に所定の描画処理を施す。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の通信装置間で画像データ及び音声データを送受信する通信システムに用いて好適な技術に関する。
【背景技術】
【０００２】
ネットワークに接続される複数の端末装置間において、各ユーザのアバターの識別情報と当該識別情報に関連付けた音声データとを双方向に送受信することにより、各ユーザのアバターの画像を各端末装置の表示画面に表示させながら音声チャットによって会話を行うシステムが知られている。
【０００３】
【特許文献１】特開２００３−６１３２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、上記システムでは、音声チャット中において、各端末装置の表示画面にはアバターの静止画像が表示されるだけであり、表示画面の状態が自ずと単調となってしまう。
【０００５】
本発明は上述の課題に鑑みてなされたものであり、音声チャット中に、ユーザの興味を惹き付ける画像を表示することが可能な通信システムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、ネットワークに接続される第１及び第２の通信装置を含む通信システムである。第１の通信装置は、音入力手段と送信手段とを有する。送信手段は、第１の通信装置のユーザを表す画像データと、音入力手段により入力された音声に応じた音声データと、画像データの種別を示す画像種別情報とを、第２の通信装置に送信する。第２の通信装置は、受信手段と表示制御手段と音声出力制御手段とを有する。受信手段は、第１の通信装置から送信された画像データと音声データと画像種別情報とを受信する。表示制御手段は、受信した画像データに応じた画像を表示手段に表示する。音声出力制御手段は、受信した音声データによって表される音声を音声出力手段から出力する。表示制御手段は、受信した画像種別情報が所定の画像を示す情報であるとき、画像データに応じた画像に所定の描画処理を施して表示手段に表示する。
【発明の効果】
【０００７】
本発明によれば、音声チャット中に、ユーザの興味を惹き付ける画像を表示することができる。
【発明を実施するための最良の形態】
【０００８】
以下、図面を参照して本発明の実施形態について説明する。なお、各図において共通する部分には、同一の符号が付されている。また、かかる実施形態は本発明の一態様を示すものであり、この発明を限定するものではなく、本発明の範囲で任意に変更可能である。
【０００９】
[実施形態]
（１）構成
＜ＡＶ(Audio Visual)チャットシステムの構成＞
図１は、本実施形態に係るＡＶチャットシステムの概要を示す模式図である。ＡＶチャットシステムＳＹＭは、複数のクライアント装置１Ａ，１Ｂ，１Ｃと、サーバ装置２とを備える。サーバ装置２と、クライアント装置１の各々とは、インターネット３０を介して、データ通信を行う。また、複数のクライアント装置１Ａ，１Ｂ，１Ｃは、各々とＰ２Ｐ（peer-to-peer）で通信する。なお、これらのクライアント装置１Ａ，１Ｂ，１Ｃの各ユーザを、ユーザＡ，Ｂ，Ｃとする。以降、クライアント装置１Ａ，１Ｂ，１Ｃについて、区別して記載する必要がない場合には、単に、クライアント装置１と記載する。また、各クライアント装置を区別して記載する必要があり、各クライアント装置の各構成要素について区別して記載する必要がある場合には、各々符号の後ろにＡ，Ｂ，Ｃを付記する。
【００１０】
各クライアント装置１には、コントローラ２０と、モニタ装置１０と、ビデオカメラ１１と、マイクロフォン１２とが各々図示しない接続ケーブルを介して接続される。コントローラ２０は、ユーザにより操作される操作端末であり、ユーザの操作に応じた操作信号をクライアント装置１に供給する。ビデオカメラ１１は、撮像した映像に応じた映像信号をクライアント装置１に供給する。マイクロフォン１２は、入力された音声に応じた音声信号をクライアント装置１に供給する。モニタ装置１０には、クライアント装置１から映像信号が供給される。
【００１１】
モニタ装置１０は、クライアント装置１から供給された映像信号に基づいて画像を表示する。ＡＶチャットの実行中にモニタ装置１０に表示される画像は、自己を表す画像（以下、自己表示画像と称する）と会話の相手を表す画像（以下、相手表示画像と称する）とを含む。例えば、クライアント装置１ＡのユーザＡとクライアント装置１ＢのユーザＢとがＡＶチャットを行う場合、モニタ装置１０Ａには、自己表示画像としてユーザＡを表す画像が表示され、相手表示画像としてユーザＢを表す画像が表示される。同様に、モニタ装置１０Ｂには、自己表示画像としてユーザＢを表す画像が表示され、相手表示画像としてユーザＡを表す画像が表示される。
【００１２】
各クライアント装置１において、自己表示画像の種別（タイプ）は、予め設定された複数の種別の中から各ユーザによって選択され指定される。各クライアント装置１は、ユーザから指定され設定された種別の画像を、自己表示画像としてモニタ装置１０に表示する。ユーザが指定可能な画像の種別は、ビデオカメラ１１からの映像信号に応じた画像（ビデオ画像）と、ユーザを象徴する画像として予め記憶されたアバターと、予め撮像されて記憶された写真（フォト）の３種類である。なお、ユーザが指定可能な画像として、例えばユーザが予め撮像して記憶させた映像など上記以外の種別の画像を含めてもよい。
【００１３】
上記構成のＡＶチャットシステムＳＹＭにおいて、ＡＶチャットに参加するユーザのクライアント装置１は、それぞれパケット化された画像データパケット（画像関連情報）と音声データパケット（音声関連情報）とを、それぞれチャットストリーミングデータとして、所定のタイミングでＡＶチャットに参加する他のクライアント装置１に逐次送信する。
【００１４】
画像データパケットには、各クライアント装置１のユーザが自己表示画像として指定した画像のデータ（画像データ）と、ユーザが自己表示画像に指定した画像データの種別を示す画像種別情報と、ユーザを特定するユーザ情報とが含まれる。各ユーザが自己表示画像に指定可能な画像データの種別は、上述のようにビデオの画像データとアバターの画像データと写真の画像データの３種類である。
【００１５】
音声データパケットを受信したクライアント装置１は、受信した音声データパケットに含まれる画像データを用いて、モニタ装置１０の所定の領域に相手表示画像を表示させる。ここで、音声データパケットに含まれる画像データのデータ構造は、全ての種別の画像データにおいて同一であり共通する。すなわち、ビデオの画像データとアバターの画像データと写真の画像データとは、共通するデータ構造を有する。このようなデータ構造の共通化により、クライアント装置１は、相手表示画像として何れの種別の画像データを受信した場合であっても、その種別によらず、共通の描画処理を実行することによって、モニタ装置１０の所定の領域に相手表示画像を表示させることができる。従って、上記画像データのデータ構造の共通化は、クライアント装置１における基本的な描画処理（画像処理）の共通化に寄与する。
【００１６】
また、音声データパケットを受信したクライアント装置１は、受信した音声データパケットに含まれる画像種別情報によって、受信した画像データの種別を判定し、その種別に応じた描画処理を、上記基本的な描画処理に適宜加える。すなわち、上述のように画像データのデータ構造が共通化されていると、クライアント装置１では、他のクライアント装置１から受信した画像データによってその画像データの種別を判別することはできないが、画像データと画像種別情報とが関連付けられた状態で送信されるので、この画像種別情報によって画像データの種別が判定可能となり、画像種別情報が写真を示す画像データの場合、相手表示画像（写真）の周囲に枠状のフレームを加える描画処理を、上記基本的な描画処理に加える。また、画像種別情報がアバターを示す画像データの場合、相手表示画像（アバター）の状態（透明度及びサイズ）を後述する音声レベル情報に応じて変化させる描画処理を、上記基本的な描画処理に加える。また、画像種別情報がビデオ画像を示す画像データの場合、特に特別な描画処理を加えずに上記基本的な描画処理を実行する。
【００１７】
これにより、画像データのデータ構造の共通化及びクライアント装置１における基本的な描画処理の共通化を維持しつつ、画像データの種別に応じて差別化された相手表示画像をモニタ装置１０に表示させて、ユーザの興味をモニタ装置１０に惹き付けることが可能となる。
【００１８】
音声データパケットには、マイクロフォン１２からの音声に応じた音声データと、上記ユーザ情報と、ボイス・ディテクト値を表す音声レベル情報とが含まれる。ボイス・ディテクト値とは、マイクロフォン１２に入力された音声の相対的な音声レベルを１０段階（１〜１０）で表した評価値であり、入力された音声の変動が大きいほど大きい値（１０に近い値）を示す。マイクロフォン１２は、入力された音声レベルに応じたボイス・ディテクト値を検知して、音声データとともに出力する。また、クライアント装置１は、ＡＶチャットに参加している他のユーザのクライアント装置１からインターネット３０を介してそれぞれ送信されたチャットストリーミングデータ（画像データパケット及び音声データパケット）を個別に受信する。
【００１９】
＜クライアント装置の主要構成＞
次に、図２を参照しながら、クライアント装置の構成のうち本発明に関連する主要な構成について説明する。図２は、クライアント装置の構成のうち本発明に関連する主要な構成を示すブロック図である。
【００２０】
クライアント装置１は、通信パケット受信部１３と音声関連情報処理部１４と画像関連情報処理部１５と入力音声情報記憶部１６と画像種別情報記憶部１７とテクスチャ処理部１８とを有する。
【００２１】
通信パケット送受信部１３は、ＡＶチャットに参加するユーザのクライアント装置１から送信された音声データパケットを受信し、受信した音声データパケットを音声関連情報処理部１４へ出力する。また、通信パケット送受信部１３は、ＡＶチャットに参加するユーザのクライアント装置１から送信された画像データパケットを受信し、受信した画像データパケットを画像関連情報処理部１５へ出力する。
【００２２】
音声関連情報処理部１４は、通信パケット受信部１３から入力された音声データパケットに含まれる音声レベル情報（ボイス・ディテクト値）を、テクスチャ処理部１８へ出力するとともに、入力音声情報記憶部１６に更新して記憶する。
画像関連情報処理部１５は、通信パケット受信部１３から入力された画像データパケットに含まれる画像データを、テクスチャ処理部１８へ出力するとともに、当該画像データパケットに含まれる画像種別情報を、画像種別情報記憶部１７に更新して記憶する。
【００２３】
テクスチャ処理部１８は、ＡＶチャットの実行中にモニタ装置１０に表示するためのチャット画像（テクスチャ）を描画する。チャット画像は、自己表示画像と相手表示画像とを含む。
【００２４】
自己表示画像は、各クライアント装置１にそれぞれ設定された種別の画像である。例えば、クライアント装置１Ａにおいて、自己表示画像としてビデオカメラ１１Ａの映像が選択され設定されている場合、クライアント装置１Ａのテクスチャ処理部１８は、ビデオカメラ１１Ａから入力された映像を自己表示画像として描画する。また、自己表示画像としてクライアント装置１Ａに予め記憶されたアバター又は写真が選択されている場合、クライアント装置１Ａのテクスチャ処理部１８は、選択されたアバター又は写真を読み出して、自己表示画像として描画する。
【００２５】
一方、相手表示画像は、通信パケット受信部１３が受信して画像関連情報処理部１５から入力された画像データに基づいて描画される。例えば、クライアント装置１ＡのユーザＡとクライアント装置１ＢのユーザＢとがＡＶチャットを行う場合、クライアント装置１Ａのテクスチャ処理部１８は、通信パケット受信部１３が受信した情報のうちユーザＢを特定するユーザ情報を含む画像データパケットの画像データに基づいて、ユーザＢを表す相手表示画像を描画する。ユーザＢを特定するユーザ情報を含む画像データパケットの画像データがビデオの画像データの場合、ビデオカメラ１１Ｂが撮影したユーザＢの映像が相手表示画像として描画され、アバターの画像データの場合、ユーザＢがクライアント装置１Ｂにおいて選択したアバターが相手表示画像として描画され、写真の画像データの場合、ユーザＢがクライアント装置１Ｂにおいて選択した写真が相手表示画像として描画される。
【００２６】
また、テクスチャ処理部１８は、相手表示画像を描画する際に、画像データの種別によらずに共通する上記基本的な描画処理に加えて、画像種別情報記憶部１７から相手表示画像の種別を示す画像種別情報を読み出し、読み出した画像種別情報に応じた描画処理を適宜実行する。なお、画像種別情報記憶部１７を設けず、画像関連情報処理部１５から直接入力された画像種別情報に基づいて画像データの種別を判定してもよい。
【００２７】
例えば、画像種別情報記憶部１７から読み出した画像種別情報が写真である場合、相手表示画像（写真）の周囲に枠状のフレームを加える処理を行う。
【００２８】
また、画像種別情報記憶部１７から読み出した画像種別情報がアバターである場合、入力音声情報記憶部１６から音声レベル情報（ボイス・ディテクト値）を読み出し、読み出したボイス・ディテクト値に応じて相手表示画像（アバター）の状態（透明度及びサイズ）を変化させる処理を行う。具体的には、ボイス・ディテクト値が「９」以上か未満かを判定し、「９」以上の場合には、現在のアルファ値が１００％か否かを判定し、現在のアルファ値が１００％ではない（１００％未満である）の場合、目標アルファ値を１００％に設定する。また、現在のアルファ値が１００％の場合には、さらに現在の画像サイズが１００％か否かを判定し、画像サイズが１００％の場合には、目標画像サイズを７０％に設定し、画像サイズが１００％未満の場合には、目標画像サイズを１００％に設定する。一方、ボイス・ディテクト値が「９」未満の場合には、目標アルファ値を８０％に設定し、且つ目標画像サイズを７０％に設定する。なお、テクスチャ処理部１８は、音声関連情報処理部１４から直接入力されたボイス・ディテクト値に応じて相手表示画像を描画してもよい。
【００２９】
アルファ値とは、透明度（半透明度）の比率を表す値であり、０％から１００％の間の実数値で表される。アルファ値が１００％の場合は完全に不透明な状態となり、反対に０％の場合は完全に透明な状態となる。例えば、アバターの画像データがアバター単体の画像データとその背景の画像データとを含む場合、アバター単体を描画する際に、アバター単体の色と背景色とがアルファ値に応じてブレンドされる。
【００３０】
テクスチャ処理部１８は、目標アルファ値及び目標画像サイズを設定すると、予め記憶されたアニメーションプログラムに従って、アバターの画像が目標アルファ値や目標画像サイズに徐々に近づくように描画処理を行う（目標アルファ値や目標画像サイズに近づくように、アルファ値や画像サイズを徐々に変化させる）。なお、現在のアルファ値が既に目標アルファ値である場合には、そのアルファ値を維持し、現在の画像サイズが既に目標画像サイズである場合には、その画像サイズを維持する。
【００３１】
例えば、クライアント装置１ＡのユーザＡとクライアント装置１ＢのユーザＢとがＡＶチャットを行う場合において、ユーザＢが話すことによってボイス・ディテクト値が「９」以上である入力音声情報がクライアント装置１Ｂからクライアント装置１Ａに送信されると、クライアント装置１Ａの音声関連情報処理部１４は、当該入力音声情報を入力音声情報記憶部１６に記憶し、テクスチャ処理部１８は、当該入力音声情報を入力音声情報記憶部１６から読み出し、目標アルファ値を１００％に設定し、完全に不透明なアバターをユーザＢに対応した相手表示画像として描画する。また、ユーザＢが継続して話すことによってボイス・ディテクト値が「９」以上である入力音声情報が継続してクライアント装置１Ｂからクライアント装置１Ａに送信されると、クライアント装置１Ａの音声関連情報処理部１４は、当該入力音声情報を入力音声情報記憶部１６に記憶し、テクスチャ処理部１８は、当該入力音声情報を入力音声情報記憶部１６から読み出し、現在の画像サイズが１００％の場合には目標画像サイズを７０％に設定し、現在の画像サイズが１００％未満の場合には目標画像サイズを７０％に設定する。これにより、ユーザＢが継続して話すことによってボイス・ディテクト値が「９」以上である入力音声情報が継続してクライアント装置１Ｂからクライアント装置１Ａに送信されると、クライアント装置１Ａのテクスチャ処理部１８は、完全に不透明な状態で、画像サイズが７０％から１００％の間で拡大と縮小を繰り返すアバターをユーザＢに対応した相手表示画像として描画する。
【００３２】
一方、ユーザＢが黙ることによってボイス・ディテクト値が「９」未満である入力音声情報がクライアント装置１Ｂからクライアント装置１Ａに送信されると、クライアント装置１Ａの音声関連情報処理部１４は、当該入力音声情報を入力音声情報記憶部１６に記憶し、テクスチャ処理部１８は、当該入力音声情報を入力音声情報記憶部１６から読み出し、目標アルファ値を８０％に設定し、目標画像サイズを７０％に設定し、半透明でサイズの小さいアバターをユーザＢに対応した相手表示画像として描画する。
【００３３】
また、テクスチャ処理部１８は、自己表示画像を描画する際に、設定された種別が写真である場合には、上記相手表示画像を描画する場合と同様に、自己表示画像（写真）の周囲に枠状のフレームを加える処理を行う。また、設定された種別がアバターである場合にも、上記相手表示画像を描画する場合と同様に、ボイス・ディテクト値に応じて自己表示画像（アバター）の状態（透明度及びサイズ）を変化させる処理を行う。但し、自己表示画像を描画する場合には、当該クライアント装置１に接続されているマイクロフォン１２から入力されたボイス・ディテクト値を用いてアバターの状態を変化させる。
【００３４】
＜クライアント装置の内部回路の一例＞
次に、図３を参照しながら、上記図２の構成が実装されたクライアント装置の内部回路の一例について説明する。図３は、クライアント装置の内部回路の一例を示すブロック図である。
【００３５】
中央演算処理装置（ＣＰＵ：Central Processing Unit）４１及びその周辺装置等からなる制御系４０と、ＨＤＤ（Hard Disc Drive）４５と、フレームバッファ５３に描画を行う画像処理装置（ＧＰＵ：Graphics Processing Unit）５２等からなるグラフィックシステム５０と、楽音、効果音等を発生する音声処理装置（ＳＰＵ：Sound Processing Unit）６１等からなるサウンドシステム６０と、アプリケーションプログラムが記録されている光ディスクの制御を行う光ディスク制御部７０と、通信部８０と、インターフェース部９０と、上記の各部が接続されているバス等を備えて構成されている。ＣＰＵ４１は音声関連情報処理部１４及び画像関連情報処理部１５として機能し、ＧＰＵ５２はテクスチャ処理部１８として機能し、通信部８０は通信パケット受信部１３として機能する。
【００３６】
制御系４０は、ＣＰＵ４１と、割り込み制御やダイレクトメモリアクセス（ＤＭＡ：Direct Memory Access）転送の制御等を行う周辺装置制御部４２と、ＲＡＭ（Random Access Memory）からなるメインメモリ４３と、ＲＯＭ（Read Only Memory）４４とを備えている。メインメモリ４３は入力音声情報記憶部１６及び画像種別情報記憶部１７として機能する。
【００３７】
ＲＯＭ４４には、クライアント装置１の各部を制御するためのオペレーティングシステム等のプログラムや、各種機能を実現させるためのアプリケーションプログラムが記憶されている。ＣＰＵ４１は、ＲＯＭ４４に記憶されているオペレーティングシステムをメインメモリ４３に読み出し、読み出したオペレーティングシステムを実行することにより、このクライアント装置１の全体を制御する。
【００３８】
ＨＤＤ４５には、各種データや、ＡＶチャットを実現させるためのプログラム（以下、ＡＶチャットプログラムと称する）などの各種アプリケーションプログラムが記憶されている。また、ＨＤＤ４５には、自己表示画像として選択可能なアバターや写真の画像データが記憶される。ＡＶチャットプログラムには、自己表示画像や相手表示画像としてアバターを描画する際のアニメーションプログラムが含まれる。ＣＰＵ４１は、ＨＤＤ４５に記憶されているＡＶチャットプログラムをメインメモリ４３に読み出し、読み出したＡＶチャットプログラムを実行する。これにより実現される機能については、後述の動作欄において説明する。
【００３９】
サウンドシステム６０は、制御系４０の制御の下、音声信号を制御するＳＰＵ６１と、音声再生の際の波形データ等が記録されるサウンドバッファ６２と、ＳＰＵ６１によって発生される楽音、効果音等を出力するスピーカ６３とを備えている。サウンドシステム６０には、マイクロフォン１２から出力された音声信号とボイス・ディテクト値とが入力される。サウンドシステム６０は、入力された音声信号をデジタル変換し、音声コーデックにより符号化して通信部８０に供給する。また、サウンドシステム６０には、インターネット３０を介して取得された音声データが、通信部８０から供給される。サウンドシステム６０は、当該音声データを音声コーデックにより復号し、アナログ変換して波形データを生成し、これをサウンドバッファ６２に記録し、これをスピーカ６３に供給する。
【００４０】
光ディスク制御部７０は、光ディスクに記録されたプログラムやデータ等を再生する光ディスク装置７１と、例えばエラー訂正符号(ＥＣＣ：Error Correction Code)が付加されて記録されているプログラム、データ等を復号するデコーダ７２と、光ディスク装置７１からのデータを一時的に記憶することにより、光ディスクからのデータの読み出しを高速化するバッファ７３とを備えている。上記のデコーダ７２には、サブＣＰＵ７４が接続されている。
【００４１】
インターフェース部９０は、パラレルＩ／Ｏインターフェース（ＰＩＯ）９１と、シリアルＩ／Ｏインターフェース（ＳＩＯ）９２とを備えている。これらは、図示しないメモリカードとクライアント装置１とを接続するためのインターフェースである。
【００４２】
グラフィックシステム５０は、ジオメトリトランスファエンジン（ＧＴＥ：Geometry Transfer Engine）５１と、ＧＰＵ５２と、フレームバッファ５３と、画像エンコーダ・デコーダ５４とを備えている。
【００４３】
ＧＴＥ５１は、例えば複数の演算を並列に実行する並列演算機構を備え、上記ＣＰＵ４１からの演算要求に応じて座標変換、光源計算、行列あるいはベクトルなどの演算を高速に行う。そして、制御系４０は、ＧＴＥ５１による演算結果に基づいて三角形や四角形などの基本的な単位図形（ポリゴン）の組み合わせとして３次元モデルを定義して３次元画像を描画するための各ポリゴンに対応する描画命令をＧＰＵ５２に送る。
【００４４】
ＧＰＵ５２は、制御系４０からの描画命令に従って、フレームバッファ５３に対して多角形（ポリゴン）等の描画を行う。フレームバッファ５３は、ＧＰＵ５２により描画された画像を記憶する。このフレームバッファ５３は、いわゆるデュアルポートＲＡＭからなり、ＧＰＵ５２からの描画あるいはメインメモリ４３からの転送と、表示のための読み出しとを同時に行うことができる。また、このフレームバッファ５３には、ビデオ出力として出力される表示領域の他に、ＧＰＵ５２がポリゴン等の描画を行う際に参照するカラールックアップテーブル（ＣＬＵＴ：Color Lock Up Table）が記憶されるＣＬＵＴ領域と、描画時に座標変換されてＧＰＵ５２によって描画されるポリゴン等の中に挿入（マッピング）される素材（テクスチャ）が記憶されるテクスチャ領域が設けられている。これらのＣＬＵＴ領域とテクスチャ領域は、表示領域の変更等に従って動的に変更される。
【００４５】
画像エンコーダ・デコーダ５４は、上記の制御系４０からの制御により、静止画あるいは動画の画像の符号化及び復号化や、デジタル変換及びアナログ変換などの各種処理を行う。
【００４６】
このグラフィックシステム５０には、制御系４０がＨＤＤ４５から読み出したアバター又は写真の画像データやビデオカメラ１１からの映像信号が供給される。自己表示画像としてビデオ画像が選択され設定されている場合、グラフィックシステム５０は、この映像信号をデジタル変換し、映像コーデックにより符号化（圧縮）して、通信部８０に供給する。また、デジタル変換した映像信号をモニタ装置１０に供給する。また、自己表示画像としてアバター又は写真が選択され設定されている場合、グラフィックシステム５０は、ＨＤＤ４５から読み出されたアバター又は写真の画像データを、上記と同様に映像コーデックにより符号化して通信部８０に供給するとともに、モニタ装置１０に供給する。このとき、自己表示画像として写真が設定されている場合には、メインメモリ４３から読み出された画像データに上記フレームを描画する処理を施してモニタ装置１０に供給する。また、自己表示画像としてアバターが設定されている場合には、メインメモリ４３から読み出された画像データに上記ボイス・ディテクト値に応じた処理を施してモニタ装置１０に供給する。なお、アバター又は写真の画像データの通信部８０への供給は、グラフィックシステム５０ではなく制御系４０が行ってもよい。さらに、グラフィックシステム５０には、インターネット３０を介して取得された画像データが通信部８０から供給され、グラフィックシステム５０は、この画像データをモニタ装置１０に供給する。なお、通信部８０から供給された画像データが映像コーデックにより符号化（圧縮）されている場合、グラフィックシステム５０は、供給された画像データを映像コーデックにより復号（伸長）し、これをアナログ変換して、モニタ装置１０に供給する。また、画像データの種別が写真の場合には、画像データに上記フレームを描画する処理を施してモニタ装置１０に供給する。また、画像データの種別がアバターの場合には、画像データに上記ボイス・ディテクト値に応じた処理を施してモニタ装置１０に供給する。
【００４７】
通信部８０は、制御系４０の制御の下、インターネット３０を介して他の情報処理装置とのデータ通信を制御する。通信部８０は、ＨＤＤ４５やグラフィックシステム５０（ビデオカメラ１１）から供給された自己表示画像である画像データと、画像データの種別を示す画像種別情報と、ユーザを特定するユーザ情報とをパケット化して画像データパケットを生成し、生成した画像データパケットをチャットストリーミングデータとしてインターネット３０を介して、ＡＶチャットに参加している他のクライアント装置１へ送信する。また、通信部８０は、サウンドシステム６０（マイクロフォン１２）から供給された音声データ及びボイス・ディテクト値と、ユーザを特定するユーザ情報とをパケット化して音声データパケットを生成し、生成した音声データパケットをチャットストリーミングデータとしてインターネット３０を介して、ＡＶチャットに参加している他のクライアント装置１へ送信する。また、通信部８０は、ＡＶチャットに参加している他のクライアント装置１からインターネット３０を介して送信されたチャットストリーミングデータ（画像データパケット及び音声データパケット）を受信し、画像データをグラフィックシステム５０へ供給し、音声データをサウンドシステム６０へ供給する。また、通信部８０が画像データパケットを受信すると、ＣＰＵ４１は、画像データパケットに含まれるユーザ情報と画像種別情報とを対応付けた状態でメインメモリ４３に記憶する。また、通信部８０が音声データパケットを受信すると、ＣＰＵ４１は、音声データパケットに含まれるユーザ情報と音声レベル情報（ボイス・ディテクト値）とを対応付けた状態でメインメモリ４３に記憶する。
【００４８】
＜サーバ装置の構成＞
次に、図４を参照しながら、サーバ装置の主要な内部構成について説明する。図４は、サーバ装置の主要な内部構成を示すブロック図である。
【００４９】
サーバ装置２は、ＣＰＵ２００と、ＲＯＭ２１０と、ＲＡＭ２２０と、ＨＤＤ（Hard Disc Drive)２３０と、通信部２４０とから構成され、これらはバスを介して接続される。
【００５０】
ＲＯＭ２１０には、サーバ装置２の各部を制御するためのオペレーティングシステムや各種プログラムが記憶されている。ＣＰＵ２００は、サーバ装置２の起動時にＲＯＭ２１０に記憶されているオペレーティングシステムをＲＡＭ２１０に読み出し、読み出したオペレーティングシステムを実行することにより、サーバ装置２の各部の動作を制御する。
【００５１】
通信部２４０は、ＣＰＵ２００の制御の下、インターネット３０を介したデータ通信を制御する。
【００５２】
ＨＤＤ２３０には、フレンド管理テーブル２３０ａが記憶されている。フレンド管理テーブル２３０ａには、ＡＶチャットシステムＳＹＭを利用可能なユーザのユーザ情報が、フレンド情報と対応付けられて記憶されている。なお、ユーザが、ＡＶチャットシステムＳＹＭを利用するための所定の手続きを予め行うことにより、当該ユーザのユーザ情報がフレンド管理テーブル２３０ａに記憶される。ここでは、クライアント装置１Ａ，１Ｂ，１Ｃの各ユーザＡ，Ｂ，Ｃのユーザ情報が予めフレンド管理テーブル２３０ａに記憶されているものとする。ユーザ情報は、ユーザを識別するための情報であり、例えば、ユーザを一意に識別するためのユーザＩＤ、ユーザのメールアドレス、ユーザのニックネーム、ユーザによって選択されたアバターなどの情報を含む。フレンド情報は、ユーザによって友達の登録が予めなされた他のユーザを示すものであり、他のユーザの各ユーザ情報が示される。友達の登録は、例えば以下のようになされる。クライアント装置１のユーザがコントローラ２０を介して所定の操作を行うと、当該クライアント装置１が、サーバ装置２と、友達として登録する他のユーザのクライアント装置１との間でデータ通信を行い、当該他のユーザのクライアント装置１から登録を許可する旨のデータを受信することにより、当該他のユーザのユーザ情報がフレンド情報として登録される。
【００５３】
（２）動作
次に、本実施形態に係る動作について説明する。
【００５４】
なお、クライアント装置１の図示しない電源が投入され、ＲＯＭ４４に記憶されたオペレーティングシステムなどのプログラムがＣＰＵ４１によってメインメモリ４３に読み出されて実行され、ユーザによってそれぞれ指示が入力されることにより、ＲＯＭ４４や光ディスク装置７１に装着された光ディスクからメインメモリ４３に読み出された各種プログラムがＣＰＵ４１によって実行され、上述の構成欄で述べた各種機能が実現される。
【００５５】
また、サーバ装置２の図示しない電源が投入され、ＲＯＭ２１０に記憶されたオペレーティングシステムなどのプログラムがＣＰＵ２００によってＲＡＭ２２０に読み出されて実行され、ユーザによってそれぞれ指示が入力されることにより、ＲＡＭ２２０に読み出されたゲーム制御プログラムなどの各種プログラムがＣＰＵ２００によって実行され、上述の構成欄で述べた各種機能が実現される。
【００５６】
なお、本実施形態においては、ＡＶチャットシステムＳＹＭに接続される複数のクライアント装置１のうち、マスタとなるクライアント装置１においてユーザがＡＶチャットの開始及び他のユーザの招待を指示し、当該他のユーザが他のクライアント装置１においてＡＶチャットへの参加の受け入れを指示すると、これらのクライアント装置１間でＡＶチャットが行われる。即ち、これらのクライアント装置１により、ＡＶチャットを行う通信グループが形成される。なお、マスタは、参加者を招く権限を有する。ここでは、マスタとして選出されたクライアント装置１をクライアント装置１Ａとする。
【００５７】
＜ＡＶチャットの開始準備＞
まず、ユーザＡが、クライアント装置１Ａに接続されたコントローラ２０Ａを操作して、メニュー画面を表示させると、ＣＰＵ４１Ａは、通信部８０Ａを介してサーバ装置２にアクセスし、当該ユーザのユーザ情報に対応付けられて記憶されているフレンド情報を要求する旨のリクエストデータをサーバ装置２に送信する。このリクエストデータには、例えば、ユーザＡのユーザＩＤ等の情報が含まれている。一方、サーバ装置２は、クライアント装置１Ａから送信されたリクエストデータを受信すると、当該リクエストデータに従い、ＨＤＤ２３０に記憶されているフレンド管理テーブル２３０ａを参照して、ユーザＡのユーザ情報に対応付けられているフレンド情報をクライアント装置１Ａに送信する。クライアント装置１ＡのＣＰＵ４１Ａは、サーバ装置２から送信されたフレンド情報を受信すると、次いで、このフレンド情報を用いたメニュー画面の描画命令をグラフィックシステム５０Ａに対して行う。グラフィックシステム５０Ａが、当該描画命令に従い、メニュー画面の画像の描画を行う。ＣＰＵ４１Ａは、描画されたメニュー画面の画像に応じた映像信号をモニタ装置１０Ａに供給する。この結果、モニタ装置１０Ａには、例えば図５に示されるようなメニュー画面ＭＧが表示される。当該メニュー画面ＭＧにおいては、ＡＶチャットの機能を象徴するチャットアイコンＩＣ１が表示され、当該チャットアイコンＩＣ１の上下方向に、当該ユーザＡによって予め登録されサーバ装置２から受信したフレンド情報が展開表示される。ここで表示されるフレンド情報は、例えば、友達として登録された他のユーザのアバターＦＲ１や、ニックネームＮＭ１などである。ユーザＡが、コントローラ２０Ａを操作して、このフレンド情報の中からＡＶチャットを開始したい相手を選択し、更にコントローラ２０Ａを操作して、オプションメニューの表示を指示すると、メニュー画面ＭＧの右方にオプションメニュー（図示せず）が表示される。更に、ユーザＡが、コントローラ２０Ａを操作して、このオプションメニューに表示される指示内容から「ＡＶチャットの開始」を選択して、ＡＶチャットの開始を指示すると、ＣＰＵ４１Ａは、ＡＶチャットプログラムをＨＤＤ４５Ａからメインメモリ４３Ａに読み出し、これを実行させる。そして、ＣＰＵ４１Ａは、ユーザにより選択されたフレンド情報を参照して、当該フレンド情報に対応するユーザに宛てた招待メッセージを生成し、これをモニタ装置１０Ａに表示させる。具体的には、例えば、招待メッセージの雛型がＨＤＤ４５Ａに予め記憶されており、ＣＰＵ４１Ａは、ＨＤＤ４５Ａに記憶された雛型の招待メッセージを読み出し、これに基づいて、フレンド情報によって示される情報を宛先として加えるなどして、招待メッセージを生成する。このように生成されモニタ装置１０Ａに表示される招待メッセージは、例えば図６に示される。
【００５８】
ユーザＡがコントローラ２０を操作して、この招待メッセージの送信を決定指示すると、クライアント装置１Ａは、サーバ装置２を介して、当該招待メッセージの宛先のユーザ（ここでは、ユーザＢとする）のクライアント装置１（ここでは、クライアント装置１Ｂとする）へ当該招待メッセージを送信する。
【００５９】
また、ユーザＡがＡＶチャットを行う際の自己表示画像を選択する場合、コントローラ２０Ａを操作して、モニタ装置１０Ａに自己表示画像選択画面（図示せず）を表示させる。自己表示画像選択画面には、選択可能な自己表示画像群（ビデオ画像、アバター及び写真）が表示され、ユーザＡがコントローラ２０Ａを操作して自己表示画像群の中から１つを特定して決定すると、クライアント装置１Ａの自己表示画像とその種別が設定される。
【００６０】
一方、クライアント装置１Ａが送信した招待メッセージを受信したクライアント装置１Ｂは、当該招待メッセージをモニタ装置１０Ｂに表示させる。モニタ装置１０Ｂに表示される招待メッセージは、例えば図７に示される。ここで、当該クライアント装置１ＢのユーザＢが、コントローラ２０Ｂを操作して、ＡＶチャットの参加を指示すると、当該クライアント装置１Ｂは、ＡＶチャットプログラムをＨＤＤ４５Ｂからメインメモリ４３Ｂに読み出し、これを実行させる。そして、クライアント装置１Ｂは、クライアント装置１Ａとの間で、接続性のチェックを行うため、接続確認用データをクライアント装置１Ａに送信する。クライアント装置１Ａは、クライアント装置１Ｂから送信された接続確認データを受信すると、当該データを受信した旨を示す接続応答データをクライアント装置１Ｂに送信する。
【００６１】
クライアント装置１Ｂは、当該接続応答データを受信すると、クライアント装置１Ａと接続可能であると判定し、ＡＶチャットに参加する旨を示す参加応答データをクライアント装置１Ａに送信する。なお、この参加応答データには、ユーザＢのユーザＩＤなどが含まれる。
【００６２】
なお、ユーザＢがＡＶチャットを行う際の自己表示画像を選択する場合、ユーザＡの場合と同様に、コントローラ２０Ｂを操作して、モニタ装置１０Ｂに自己表示画像選択画面（図示せず）を表示させる。自己表示画像選択画面には、選択可能な自己表示画像群（ビデオ画像、アバター及び写真）が表示され、ユーザＢがコントローラ２０Ｂを操作して自己表示画像群の中から１つを特定して決定すると、クライアント装置１Ｂの自己表示画像とその種別が設定される。
【００６３】
次いで、クライアント装置１Ａは、クライアント装置１Ｂから送信された結果応答データを受信すると、ＡＶチャットの開始を指示する旨の開始指示データをクライアント装置１Ｂに送信する。また、クライアント装置１Ａは、図８に示されるようなチャット画面ＣＨ１をモニタ装置１０に表示させる。当該チャット画面ＣＨ１においては、クライアント装置１Ａに設定された自己表示画像ＤＡ１を画面右方に表示させる。このとき、設定された自己表示画像がビデオ画像の場合には、クライアント装置１Ａに接続されたビデオカメラ１１Ａから入力される映像信号に応じた映像を表示させ、アバターの場合には選択されたアバターの画像を表示させ、写真の場合には選択された写真の画像を表示させる。図８には、山の風景の写真が選択された場合を示す。画面左方には、上述のクライアント装置１Ｂから送信される画像データに応じた映像を表示させるため、クライアント装置１Ｂから画像データが送信されるのを待機する。また、クライアント装置１Ａは、画像データパケットと音声データパケットとを通信部８０Ａを介してクライアント装置１Ｂに送信する。
【００６４】
一方、クライアント装置１Ｂは、クライアント装置１Ａから送信された開始指示データを受信すると、チャット画面をモニタ装置１０Ｂに表示させる。当該チャット画面においては、クライアント装置１Ｂに設定された自己表示画像を画面右方に表示させる。画面左方には、上述のクライアント装置１Ａから送信される画像データに応じた映像を表示させるため、クライアント装置１Ａから画像データが送信されるのを待機する。また、クライアント装置１Ｂは、画像データパケットと音声データパケットとを通信部８０Ｂを介してクライアント装置１Ａに送信する。
【００６５】
各クライアント装置１は、自装置に設定された自己表示画像をチャット画面右方に表示させ、他装置から送信された画像データによって表される相手表示画像をチャット画面の左方に表示させる。例えば、クライアント装置１Ａにおいて自己表示画像として山の風景の写真が選択され、クライアント装置１Ｂにおいて自己表示画像としてアバターが選択された場合、モニタ装置１０Ａには、図９に示すように、右方に自己表示画像（山の風景の写真）ＤＡ１が配置され、左方に相手表示画像（アバター）ＤＢ１が配置されたチャット画面ＣＨ２が表示される。
【００６６】
＜自己表示画像及び相手表示画像の種別に応じた処理＞
次に、自己表示画像及び相手表示画像の種別に応じた処理について説明する。
【００６７】
クライアント装置１Ａは、自装置に設定された自己表示画像の種別が写真の場合、図８に示すように、自己表示画像（写真）ＤＡ１の周囲にフレームＦＬを描画したチャット画面ＣＨ１をモニタ装置１０Ａに表示させる。また、ＡＶチャットの相手であるクライアント装置１Ｂに設定された自己表示画像の種別が写真の場合、クライアント装置１Ａは、クライアント装置１Ｂから写真を示す画像種別識別情報を受信し、相手表示画像（写真）の周囲にフレームを描画したチャット画面（図示せず）をモニタ装置１０Ａに表示させる。
【００６８】
写真を自己表示画像又は相手表示画像としてモニタ装置１０Ａに表示する場合、クライアント装置１Ａのグラフィックシステム５０Ａでは、以下の処理が実行される。まず、フレームバッファ５３のテクスチャ領域に対して、ＨＤＤ４５から供給された自己表示画像の写真の画像データ又はクライアント装置１Ｂから受信した相手表示画像の写真の画像データに対応する画像が描画される。この画像は、チャット画面のうち自己表示画像又は相手表示画像の表示領域の全域に対応した大きさでテクスチャ領域に描画される。そして、テクスチャ領域に描画された画像は、チャット画面のうち自己表示画像又は相手表示画像の表示領域からフレームが描画される周囲の領域を除いた大きさに縮小されて、フレームバッファ５３の表示領域にマッピングされ、且つ当該表示領域にフレームの画像がマッピングされる。これにより、表示領域において、縮小された写真の画像とフレームの画像とが合成される。
【００６９】
また、クライアント装置１Ａは、自装置に設定された自己表示画像の種別がアバターの場合、マイクロフォン１２Ａが検知したボイス・ディテクト値に応じて自己表示画像（アバター）の状態（透明度及びサイズ）が変化するチャット画面（図示せず）をモニタ装置１０Ａに表示させる。また、ＡＶチャットの相手であるクライアント装置１Ｂに設定された自己表示画像の種別がアバターの場合、クライアント装置１Ａは、クライアント装置１Ｂからアバターを示す画像種別識別情報とマイクロフォン１２Ｂが検知したボイス・ディテクト値（音声レベル情報）を受信し、受信したボイス・ディテクト値に応じて相手表示画像（アバター）の状態（透明度及びサイズ）が変化するチャット画面（図９に示すＣＨ２や図１０に示すＣＨ３）をモニタ装置１０Ａに表示させる。
【００７０】
すなわち、図１１に示すように、自己表示画像がアバターの場合及び／又は相手表示画像がアバターの場合、ボイス・ディテクト値が「９」以上か未満かを判定し（ステップＳ１）、「９」以上の場合（ステップＳ１：Ｙｅｓ）には、現在のアルファ値が１００％か否かを判定し（ステップＳ２）、現在のアルファ値が１００％ではない（１００％未満である）場合（ステップＳ２：Ｎｏ）、目標アルファ値を１００％に設定する（ステップＳ３）。また、現在のアルファ値が１００％の場合（ステップＳ２：Ｙｅｓ）、さらに現在の画像サイズが１００％か否かを判定し（ステップＳ４）、画像サイズが１００％の場合（ステップＳ４：Ｙｅｓ）には、目標画像サイズを７０％に設定し（ステップＳ５）、画像サイズが１００％未満の場合（ステップＳ４：Ｎｏ）には、目標画像サイズを１００％に設定する（ステップＳ６）。一方、ボイス・ディテクト値が「９」未満の場合（ステップＳ１：Ｎｏ）には、目標アルファ値を８０％に設定し（ステップＳ７）、且つ目標画像サイズを７０％に設定する（ステップＳ５）。目標アルファ値及び目標画像サイズを設定すると、予め記憶されたアニメーションプログラムに従って、アバターの画像が目標アルファ値及び目標画像サイズに徐々に近づくようにモニタ装置１０に表示される。このアニメーションプログラムでは、現在表示している自己表示画像及び／又は相手表示画像の各アルファ値や各表示サイズを記憶しており、設定された目標アルファ値や目標表示サイズに達するまで、所定時間（例えば、７５０ｍｓｅｃ）かけて自己表示画像及び／又は相手表示画像を変化させる。このとき、アルファ値を上昇（増加）させる処理は画像サイズを変更する処理に優先して行われ、目標アルファ値に達した後に表示サイズの変更が開始される。一方、アルファ値を下降（減少）させる処理は、画像サイズを変更する処理と同時に並行して行われる。
【００７１】
アバターを自己表示画像又は相手表示画像としてモニタ装置１０Ａに表示する場合、クライアント装置１Ａのグラフィックシステム５０Ａでは、以下の処理が実行される。まず、フレームバッファ５３のテクスチャ領域に対して、ＨＤＤ４５から供給された自己表示画像のアバターの画像データ又はクライアント装置１Ｂから受信した相手表示画像のアバターの画像データに対応する画像が描画される。この画像は、チャット画面のうち自己表示画像又は相手表示画像の表示領域の全域に対応した大きさ（画像サイズ）でテクスチャ領域に描画される。そして、テクスチャ領域に描画された画像は、設定された目標アルファ値及び／又は目標画像サイズに応じて濃度を減少する処理や画像サイズを縮小する処理が施されて、フレームバッファ５３の表示領域にマッピングされる。ここで、アバターの画像データは、アバター単体（アバターのみ）の画像データだけではなくその背景の画像データをも含んでいるため、アバター単体とその背景とを含む全体のアバター画像を縮小して描画領域にマッピングしただけでは、全体のアバター画像のサイズがチャット画面における自己表示画像や相手表示画像の表示領域よりも小さくなり、周囲にブランクの領域が発生し、ユーザに違和感を与える可能性が生じる。このため、上記画像サイズの縮小処理では、フレームバッファ５３の表示領域に予め背景色を描画しておき、その上から全体のアバター画像を縮小して描画する。これにより、上記ブランクの領域に必ず背景色が描画されるため、ユーザに違和感を与えることがない。また、上記濃度を減少する処理では、アバター単体の色と背景色とをアルファ値に応じて混合（ブレンド）する。
【００７２】
例えば、クライアント装置１ＡのユーザＡとクライアント装置１ＢのユーザＢとがＡＶチャットを行う場合であって、クライアント装置１Ｂにおいて自己表示画像としてアバターが選択され、ボイス・ディテクト値が「９」以上である入力音声情報がクライアント装置１Ｂからクライアント装置１Ａに継続して送信されると、アルファ値が１００％に達するまでの間は、上記ステップＳ２において現在のアルファ値が１００％ではないと継続して判定され、目標アルファ値が１００％に維持される（ステップＳ３）。このため、モニタ装置１０Ａには、表示サイズが変わらずに当初の半透明の状態から徐々に濃くなって最終的に完全に不透明となるアバターが、ユーザＢに対応した相手表示画像として表示される。さらに、ユーザＢが発話を継続し、ボイス・ディテクト値が「９」以上である入力音声情報が継続してクライアント装置１Ｂからクライアント装置１Ａに送信されると、現在の画像サイズが１００％未満であれば目標画像サイズが１００％に設定され、画像サイズが既に１００％に達していると目標画像サイズが７０％に設定されるので、図９に示すように、モニタ装置１０Ａのチャット画面ＣＨ２には、完全に不透明な状態で画像サイズが７０％（図９に実線で示す）から１００％（図９に二点鎖線で示す）の間で拡大と縮小を繰り返すアバターＤＢ１がユーザＢに対応した相手表示画像として描画される。また、ユーザＢが黙ることによってボイス・ディテクト値が「９」未満である入力音声情報がクライアント装置１Ｂからクライアント装置１Ａに継続して送信されると、目標アルファ値が８０％に設定され、図１０に示すように、モニタ装置１０Ａのチャット画面ＣＨ３には、画像サイズが７０％まで徐々に小さくなり且つアルファ値が８０％となるまで徐々に半透明となるアバターＤＢ１がユーザＢに対応した相手表示画像として表示される。このため、自己表示画像及び／又は相手表示画像がアバターである場合、ＡＶチャット開始時のチャット画面には、画像サイズが７０％でアルファ値が８０％のアバターが表示される。なお、図示を簡略化するため、図９及び図１０には、三角形の図形がアバターとして選択された場合を例示している。
【００７３】
従って、相手表示画像がアバターの場合、表示されたアバターの状態を視ることによって、相手が話しているか黙っているかを認識することができる。また、相手の発話に伴って先ずアルファ値が変化し、アルファ値が目標アルファ値に達した後に、次いで画像サイズが変化するようにアバターの画像が表示されるので、発話以外の突発的な音（ノイズ）が相手のマイクロフォン１２に入力された場合であっても、アルファ値が目標アルファ値に達するまでの間はアルファ値が変化するだけであり、画像サイズはそのまま維持されるので、相手表示画像を視るユーザに対して与える違和感を最小限に抑えることができる。さらに、話し相手が発話を継続している場合、相手表示画像の画像サイズが周期的に変化するので、相手表示画像を、これ視るユーザに対して相手の話を聞くように視覚的に促すメッセージとして機能させることができる。
【００７４】
このように、本実施形態によれば、自己表示画像として写真が選択され、又は相手表示画像として写真の画像データが送信された場合、モニタ装置１０のチャット画面には、自己表示画像又は相手表示画像としてフレームが付加された写真の画像が表示される。
【００７５】
また、自己表示画像としてアバターが選択されている場合、モニタ装置１０のチャット画面には、そのユーザの音声の状態（ボイス・ディテクト値）に応じて変化するアバターが自己表示画像として表示される。
【００７６】
また、相手表示画像としてアバターの画像データが送信された場合、モニタ装置１０のチャット画面には、相手ユーザの音声の状態（ボイス・ディテクト値）に応じて変化するアバターが相手表示画像として表示される。
【００７７】
従って、音声チャット中にユーザの興味をチャット画面に惹き付けることができる。
【００７８】
[変形例]
＜変形例１＞
自己表示画像及び／又は相手表示画像の種別は、上記ビデオ画像とアバターと写真の三種類に限定されず、クライアント装置１に記憶された動画やクライアント装置１が実行しているゲーム画像など他の種別の画像であってもよく、これら他の種別の画像を自己表示画像及び／又は相手表示画像として表示する際に、その種別に応じた描画処理を加えてもよい。例えば、動画を自己表示画像及び／又は相手表示画像として使用する場合には、上記写真の場合と同様に、自己表示画像及び／又は相手表示画像（動画）の周囲に枠状のフレームを加えてもよく、動画の場合に加えるフレームを写真の場合と異なる態様に設定してもよい。また、ゲーム画像を自己表示画像及び／又は相手表示画像として使用する場合には、ゲームを実行しながら会話を行っている旨を話し相手に知らせる表記（例えば「ゲーム中」などの文字）を、ゲーム画像の一部（例えば上部）に描画してもよい。
【００７９】
＜変形例２＞
図１１の処理（ステップＳ１〜ステップＳ７）の実行頻度と自己表示画像や相手表示画像の画像サイズの変化速度とのバランスが適正でない場合、画像サイズがほとんど変化しなくなってしまう可能性が生じる。例えば、相手表示画像としてアバターを表示する場合において、ボイス・ディテクト値が「９」以上に継続して維持され、既にアルファ値が１００％に達しており、現在の画像サイズが１００％であると、画像データパケットを受信することによって目標画像サイズとして７０％が設定され（ステップＳ５）、アバターの画像が徐々に縮小する。このとき、アバターの画像がほとんど縮小していないタイミングで次の画像データパケットを受信すると、画像サイズが１００％ではないと判定され（ステップＳ４：Ｎｏ）、目標画像サイズとして１００％が設定され（ステップＳ６）、アバターの画像が目標画像サイズ７０％に達することなく僅かに縮小した後に拡大してしまう。このような不都合を解消するため、ステップＳ５の処理において、アバターの画像が拡大されている途中か否かを判定し、拡大されている途中であれば、目標画像サイズを７０％に変更せずに１００％のまま維持してもよい。また、同様に、ステップＳ６の処理において、アバターの画像が縮小されている途中か否かを判定し、縮小されている途中であれば、目標画像サイズを１００％に変更せずに７０％のまま維持してもよい。
【００８０】
＜変形例３＞
図１１のステップＳ１の処理では、ボイス・ディテクト値が単発的に１回だけ「９」以上と判定された場合であっても、ステップＳ２に処理が移行するため、ユーザの発話以外の突発的な音（ノイズ）がマイクロフォン１２に入力された場合であっても、アバターの表示が変化してしまう可能性が生じる。このような不都合を解消するため、ステップＳ１の処理において、「９」以上のボイス・ディテクト値が所定回数（例えば４回）連続した場合にのみステップＳ２へ移行させ、直前の連続する所定回数に「９」未満のボイス・ディテクト値が含まれている場合には、ステップＳ７へ移行させてもよい。
【００８１】
＜変形例４＞
図１１のステップＳ１の処理では、ボイス・ディテクト値が単発的に１回だけ「９」未満と判定された場合であっても、ステップＳ７に処理が移行するため、ユーザの発話が一瞬とぎれた場合であっても、アバターの表示が変化してしまう可能性が生じる。このような不都合を解消するため、ステップＳ１の処理において、「９」未満のボイス・ディテクト値が所定回数（例えば４回）連続した場合にステップＳ７へ移行させ、直前の連続する所定回数に「９」以上のボイス・ディテクト値が含まれている場合には、ステップＳ２へ移行させてもよい。
【００８２】
＜変形例５＞
図１１のステップＳ２の処理では、現在のアルファ値が１００％か否かを判定しているため、アルファ値が１００％に達するまでの間は、画像サイズが変更されない。このため、ユーザが発話を開始してからアバターの画像サイズが変更される（拡大する）までに時間を要してしまう可能性が生じる。このような不都合を解消するため、ステップＳ２での判断基準となるアルファ値の値を１００％未満（例えば９０％）に設定してもよい。
【００８３】
＜変形例６＞
上記実施形態のマイクロフォン１２はモノラルタイプであり、音声データとともにクライアント装置１に入力するボイス・ディテクト値は１つであるが、例えばステレオタイプのマイクロフォンを使用した場合のように、音声データとともに入力するボイス・ディテクト値が複数（例えば２つ）であってもよい。この場合、図１１のステップＳ１の処理において、複数のボイス・ディテクト値のうち１つでも「９」以上である場合にステップＳ２に移行させてもよく、また、所定値以上が「９」以上である場合にステップＳ２に移行させてもよい。
【００８４】
＜変形例７＞
左右双方のボイス・ディテクト値をそれぞれ検知して音声データとともにクライアント装置１に入力するステレオタイプのマイクロフォンを使用した場合において、例えば、自己表示画像及び／又は相手表示画像がアバターであるとき、左右のボイス・ディテクト値の大小を判定し、チャット画面上でボイス・ディテクト値が大きい方に向かってアバターを移動させてもよい。この場合、両者の差が大きいほど、移動量や移動速度を大きく設定してもよい。
【００８５】
上述の各実施の形態の説明は本発明の一例である。このため、本発明は上述の各実施の形態に限定されることはなく、本発明に係る技術的思想を逸脱しない範囲であれば、上述の実施の形態以外であっても種々の変更が可能であることは勿論である。
【産業上の利用可能性】
【００８６】
本発明は、所定の通信グループに属する複数の通信装置間で相互に画像データ及び音声データを送受信する通信システムに用いて好適である。
【図面の簡単な説明】
【００８７】
【図１】本発明の一実施形態に係るＡＶチャットシステムの概要を示す図である。
【図２】クライアント装置の構成のうち本発明に関連する主要な構成を示すブロック図である。
【図３】図２の構成が実装されたクライアント装置の内部回路の一例を示すブロック図である。
【図４】同実施形態に係るサーバ装置の内部構成を示すブロック図である。
【図５】同実施形態に係るメニュー画面を例示する図である。
【図６】同実施形態に係るメッセージを例示する図である。
【図７】同実施形態に係るメッセージを例示する図である。
【図８】同実施形態に係るチャット画面を例示する図である。
【図９】同実施形態に係るチャット画面を例示する図である。
【図１０】同実施形態に係るチャット画面を例示する図である。
【図１１】同実施形態に係る描画処理を示すフローチャートである。
【符号の説明】
【００８８】
１・・・クライアント装置、２・・・サーバ装置、１０・・・モニタ装置、１１・・・ビデオカメラ、１２・・・マイクロフォン、１３・・・通信パケット受信部、１４・・・音声関連情報処理部、１５・・・画像関連情報処理部、１６・・・入力音声情報記憶部、１７・・・画像種別情報記憶部、１８・・・テクスチャ処理部、２０・・・コントローラ、３０・・・インターネット、４１・・・ＣＰＵ、４３・・・メインメモリ、６２・・・ＧＰＵ、２００・・・ＣＰＵ、２１０・・・ＲＯＭ、２２０・・・ＲＡＭ、２３０・・・ＨＤＤ、２４０・・・通信部、ＳＹＭ・・・ＡＶチャットシステム
【技術分野】
【０００１】
本発明は、複数の通信装置間で画像データ及び音声データを送受信する通信システムに用いて好適な技術に関する。
【背景技術】
【０００２】
ネットワークに接続される複数の端末装置間において、各ユーザのアバターの識別情報と当該識別情報に関連付けた音声データとを双方向に送受信することにより、各ユーザのアバターの画像を各端末装置の表示画面に表示させながら音声チャットによって会話を行うシステムが知られている。
【０００３】
【特許文献１】特開２００３−６１３２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、上記システムでは、音声チャット中において、各端末装置の表示画面にはアバターの静止画像が表示されるだけであり、表示画面の状態が自ずと単調となってしまう。
【０００５】
本発明は上述の課題に鑑みてなされたものであり、音声チャット中に、ユーザの興味を惹き付ける画像を表示することが可能な通信システムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、ネットワークに接続される第１及び第２の通信装置を含む通信システムである。第１の通信装置は、音入力手段と送信手段とを有する。送信手段は、第１の通信装置のユーザを表す画像データと、音入力手段により入力された音声に応じた音声データと、画像データの種別を示す画像種別情報とを、第２の通信装置に送信する。第２の通信装置は、受信手段と表示制御手段と音声出力制御手段とを有する。受信手段は、第１の通信装置から送信された画像データと音声データと画像種別情報とを受信する。表示制御手段は、受信した画像データに応じた画像を表示手段に表示する。音声出力制御手段は、受信した音声データによって表される音声を音声出力手段から出力する。表示制御手段は、受信した画像種別情報が所定の画像を示す情報であるとき、画像データに応じた画像に所定の描画処理を施して表示手段に表示する。
【発明の効果】
【０００７】
本発明によれば、音声チャット中に、ユーザの興味を惹き付ける画像を表示することができる。
【発明を実施するための最良の形態】
【０００８】
以下、図面を参照して本発明の実施形態について説明する。なお、各図において共通する部分には、同一の符号が付されている。また、かかる実施形態は本発明の一態様を示すものであり、この発明を限定するものではなく、本発明の範囲で任意に変更可能である。
【０００９】
[実施形態]
（１）構成
＜ＡＶ(Audio Visual)チャットシステムの構成＞
図１は、本実施形態に係るＡＶチャットシステムの概要を示す模式図である。ＡＶチャットシステムＳＹＭは、複数のクライアント装置１Ａ，１Ｂ，１Ｃと、サーバ装置２とを備える。サーバ装置２と、クライアント装置１の各々とは、インターネット３０を介して、データ通信を行う。また、複数のクライアント装置１Ａ，１Ｂ，１Ｃは、各々とＰ２Ｐ（peer-to-peer）で通信する。なお、これらのクライアント装置１Ａ，１Ｂ，１Ｃの各ユーザを、ユーザＡ，Ｂ，Ｃとする。以降、クライアント装置１Ａ，１Ｂ，１Ｃについて、区別して記載する必要がない場合には、単に、クライアント装置１と記載する。また、各クライアント装置を区別して記載する必要があり、各クライアント装置の各構成要素について区別して記載する必要がある場合には、各々符号の後ろにＡ，Ｂ，Ｃを付記する。
【００１０】
各クライアント装置１には、コントローラ２０と、モニタ装置１０と、ビデオカメラ１１と、マイクロフォン１２とが各々図示しない接続ケーブルを介して接続される。コントローラ２０は、ユーザにより操作される操作端末であり、ユーザの操作に応じた操作信号をクライアント装置１に供給する。ビデオカメラ１１は、撮像した映像に応じた映像信号をクライアント装置１に供給する。マイクロフォン１２は、入力された音声に応じた音声信号をクライアント装置１に供給する。モニタ装置１０には、クライアント装置１から映像信号が供給される。
【００１１】
モニタ装置１０は、クライアント装置１から供給された映像信号に基づいて画像を表示する。ＡＶチャットの実行中にモニタ装置１０に表示される画像は、自己を表す画像（以下、自己表示画像と称する）と会話の相手を表す画像（以下、相手表示画像と称する）とを含む。例えば、クライアント装置１ＡのユーザＡとクライアント装置１ＢのユーザＢとがＡＶチャットを行う場合、モニタ装置１０Ａには、自己表示画像としてユーザＡを表す画像が表示され、相手表示画像としてユーザＢを表す画像が表示される。同様に、モニタ装置１０Ｂには、自己表示画像としてユーザＢを表す画像が表示され、相手表示画像としてユーザＡを表す画像が表示される。
【００１２】
各クライアント装置１において、自己表示画像の種別（タイプ）は、予め設定された複数の種別の中から各ユーザによって選択され指定される。各クライアント装置１は、ユーザから指定され設定された種別の画像を、自己表示画像としてモニタ装置１０に表示する。ユーザが指定可能な画像の種別は、ビデオカメラ１１からの映像信号に応じた画像（ビデオ画像）と、ユーザを象徴する画像として予め記憶されたアバターと、予め撮像されて記憶された写真（フォト）の３種類である。なお、ユーザが指定可能な画像として、例えばユーザが予め撮像して記憶させた映像など上記以外の種別の画像を含めてもよい。
【００１３】
上記構成のＡＶチャットシステムＳＹＭにおいて、ＡＶチャットに参加するユーザのクライアント装置１は、それぞれパケット化された画像データパケット（画像関連情報）と音声データパケット（音声関連情報）とを、それぞれチャットストリーミングデータとして、所定のタイミングでＡＶチャットに参加する他のクライアント装置１に逐次送信する。
【００１４】
画像データパケットには、各クライアント装置１のユーザが自己表示画像として指定した画像のデータ（画像データ）と、ユーザが自己表示画像に指定した画像データの種別を示す画像種別情報と、ユーザを特定するユーザ情報とが含まれる。各ユーザが自己表示画像に指定可能な画像データの種別は、上述のようにビデオの画像データとアバターの画像データと写真の画像データの３種類である。
【００１５】
音声データパケットを受信したクライアント装置１は、受信した音声データパケットに含まれる画像データを用いて、モニタ装置１０の所定の領域に相手表示画像を表示させる。ここで、音声データパケットに含まれる画像データのデータ構造は、全ての種別の画像データにおいて同一であり共通する。すなわち、ビデオの画像データとアバターの画像データと写真の画像データとは、共通するデータ構造を有する。このようなデータ構造の共通化により、クライアント装置１は、相手表示画像として何れの種別の画像データを受信した場合であっても、その種別によらず、共通の描画処理を実行することによって、モニタ装置１０の所定の領域に相手表示画像を表示させることができる。従って、上記画像データのデータ構造の共通化は、クライアント装置１における基本的な描画処理（画像処理）の共通化に寄与する。
【００１６】
また、音声データパケットを受信したクライアント装置１は、受信した音声データパケットに含まれる画像種別情報によって、受信した画像データの種別を判定し、その種別に応じた描画処理を、上記基本的な描画処理に適宜加える。すなわち、上述のように画像データのデータ構造が共通化されていると、クライアント装置１では、他のクライアント装置１から受信した画像データによってその画像データの種別を判別することはできないが、画像データと画像種別情報とが関連付けられた状態で送信されるので、この画像種別情報によって画像データの種別が判定可能となり、画像種別情報が写真を示す画像データの場合、相手表示画像（写真）の周囲に枠状のフレームを加える描画処理を、上記基本的な描画処理に加える。また、画像種別情報がアバターを示す画像データの場合、相手表示画像（アバター）の状態（透明度及びサイズ）を後述する音声レベル情報に応じて変化させる描画処理を、上記基本的な描画処理に加える。また、画像種別情報がビデオ画像を示す画像データの場合、特に特別な描画処理を加えずに上記基本的な描画処理を実行する。
【００１７】
これにより、画像データのデータ構造の共通化及びクライアント装置１における基本的な描画処理の共通化を維持しつつ、画像データの種別に応じて差別化された相手表示画像をモニタ装置１０に表示させて、ユーザの興味をモニタ装置１０に惹き付けることが可能となる。
【００１８】
音声データパケットには、マイクロフォン１２からの音声に応じた音声データと、上記ユーザ情報と、ボイス・ディテクト値を表す音声レベル情報とが含まれる。ボイス・ディテクト値とは、マイクロフォン１２に入力された音声の相対的な音声レベルを１０段階（１〜１０）で表した評価値であり、入力された音声の変動が大きいほど大きい値（１０に近い値）を示す。マイクロフォン１２は、入力された音声レベルに応じたボイス・ディテクト値を検知して、音声データとともに出力する。また、クライアント装置１は、ＡＶチャットに参加している他のユーザのクライアント装置１からインターネット３０を介してそれぞれ送信されたチャットストリーミングデータ（画像データパケット及び音声データパケット）を個別に受信する。
【００１９】
＜クライアント装置の主要構成＞
次に、図２を参照しながら、クライアント装置の構成のうち本発明に関連する主要な構成について説明する。図２は、クライアント装置の構成のうち本発明に関連する主要な構成を示すブロック図である。
【００２０】
クライアント装置１は、通信パケット受信部１３と音声関連情報処理部１４と画像関連情報処理部１５と入力音声情報記憶部１６と画像種別情報記憶部１７とテクスチャ処理部１８とを有する。
【００２１】
通信パケット送受信部１３は、ＡＶチャットに参加するユーザのクライアント装置１から送信された音声データパケットを受信し、受信した音声データパケットを音声関連情報処理部１４へ出力する。また、通信パケット送受信部１３は、ＡＶチャットに参加するユーザのクライアント装置１から送信された画像データパケットを受信し、受信した画像データパケットを画像関連情報処理部１５へ出力する。
【００２２】
音声関連情報処理部１４は、通信パケット受信部１３から入力された音声データパケットに含まれる音声レベル情報（ボイス・ディテクト値）を、テクスチャ処理部１８へ出力するとともに、入力音声情報記憶部１６に更新して記憶する。
画像関連情報処理部１５は、通信パケット受信部１３から入力された画像データパケットに含まれる画像データを、テクスチャ処理部１８へ出力するとともに、当該画像データパケットに含まれる画像種別情報を、画像種別情報記憶部１７に更新して記憶する。
【００２３】
テクスチャ処理部１８は、ＡＶチャットの実行中にモニタ装置１０に表示するためのチャット画像（テクスチャ）を描画する。チャット画像は、自己表示画像と相手表示画像とを含む。
【００２４】
自己表示画像は、各クライアント装置１にそれぞれ設定された種別の画像である。例えば、クライアント装置１Ａにおいて、自己表示画像としてビデオカメラ１１Ａの映像が選択され設定されている場合、クライアント装置１Ａのテクスチャ処理部１８は、ビデオカメラ１１Ａから入力された映像を自己表示画像として描画する。また、自己表示画像としてクライアント装置１Ａに予め記憶されたアバター又は写真が選択されている場合、クライアント装置１Ａのテクスチャ処理部１８は、選択されたアバター又は写真を読み出して、自己表示画像として描画する。
【００２５】
一方、相手表示画像は、通信パケット受信部１３が受信して画像関連情報処理部１５から入力された画像データに基づいて描画される。例えば、クライアント装置１ＡのユーザＡとクライアント装置１ＢのユーザＢとがＡＶチャットを行う場合、クライアント装置１Ａのテクスチャ処理部１８は、通信パケット受信部１３が受信した情報のうちユーザＢを特定するユーザ情報を含む画像データパケットの画像データに基づいて、ユーザＢを表す相手表示画像を描画する。ユーザＢを特定するユーザ情報を含む画像データパケットの画像データがビデオの画像データの場合、ビデオカメラ１１Ｂが撮影したユーザＢの映像が相手表示画像として描画され、アバターの画像データの場合、ユーザＢがクライアント装置１Ｂにおいて選択したアバターが相手表示画像として描画され、写真の画像データの場合、ユーザＢがクライアント装置１Ｂにおいて選択した写真が相手表示画像として描画される。
【００２６】
また、テクスチャ処理部１８は、相手表示画像を描画する際に、画像データの種別によらずに共通する上記基本的な描画処理に加えて、画像種別情報記憶部１７から相手表示画像の種別を示す画像種別情報を読み出し、読み出した画像種別情報に応じた描画処理を適宜実行する。なお、画像種別情報記憶部１７を設けず、画像関連情報処理部１５から直接入力された画像種別情報に基づいて画像データの種別を判定してもよい。
【００２７】
例えば、画像種別情報記憶部１７から読み出した画像種別情報が写真である場合、相手表示画像（写真）の周囲に枠状のフレームを加える処理を行う。
【００２８】
また、画像種別情報記憶部１７から読み出した画像種別情報がアバターである場合、入力音声情報記憶部１６から音声レベル情報（ボイス・ディテクト値）を読み出し、読み出したボイス・ディテクト値に応じて相手表示画像（アバター）の状態（透明度及びサイズ）を変化させる処理を行う。具体的には、ボイス・ディテクト値が「９」以上か未満かを判定し、「９」以上の場合には、現在のアルファ値が１００％か否かを判定し、現在のアルファ値が１００％ではない（１００％未満である）の場合、目標アルファ値を１００％に設定する。また、現在のアルファ値が１００％の場合には、さらに現在の画像サイズが１００％か否かを判定し、画像サイズが１００％の場合には、目標画像サイズを７０％に設定し、画像サイズが１００％未満の場合には、目標画像サイズを１００％に設定する。一方、ボイス・ディテクト値が「９」未満の場合には、目標アルファ値を８０％に設定し、且つ目標画像サイズを７０％に設定する。なお、テクスチャ処理部１８は、音声関連情報処理部１４から直接入力されたボイス・ディテクト値に応じて相手表示画像を描画してもよい。
【００２９】
アルファ値とは、透明度（半透明度）の比率を表す値であり、０％から１００％の間の実数値で表される。アルファ値が１００％の場合は完全に不透明な状態となり、反対に０％の場合は完全に透明な状態となる。例えば、アバターの画像データがアバター単体の画像データとその背景の画像データとを含む場合、アバター単体を描画する際に、アバター単体の色と背景色とがアルファ値に応じてブレンドされる。
【００３０】
テクスチャ処理部１８は、目標アルファ値及び目標画像サイズを設定すると、予め記憶されたアニメーションプログラムに従って、アバターの画像が目標アルファ値や目標画像サイズに徐々に近づくように描画処理を行う（目標アルファ値や目標画像サイズに近づくように、アルファ値や画像サイズを徐々に変化させる）。なお、現在のアルファ値が既に目標アルファ値である場合には、そのアルファ値を維持し、現在の画像サイズが既に目標画像サイズである場合には、その画像サイズを維持する。
【００３１】
例えば、クライアント装置１ＡのユーザＡとクライアント装置１ＢのユーザＢとがＡＶチャットを行う場合において、ユーザＢが話すことによってボイス・ディテクト値が「９」以上である入力音声情報がクライアント装置１Ｂからクライアント装置１Ａに送信されると、クライアント装置１Ａの音声関連情報処理部１４は、当該入力音声情報を入力音声情報記憶部１６に記憶し、テクスチャ処理部１８は、当該入力音声情報を入力音声情報記憶部１６から読み出し、目標アルファ値を１００％に設定し、完全に不透明なアバターをユーザＢに対応した相手表示画像として描画する。また、ユーザＢが継続して話すことによってボイス・ディテクト値が「９」以上である入力音声情報が継続してクライアント装置１Ｂからクライアント装置１Ａに送信されると、クライアント装置１Ａの音声関連情報処理部１４は、当該入力音声情報を入力音声情報記憶部１６に記憶し、テクスチャ処理部１８は、当該入力音声情報を入力音声情報記憶部１６から読み出し、現在の画像サイズが１００％の場合には目標画像サイズを７０％に設定し、現在の画像サイズが１００％未満の場合には目標画像サイズを７０％に設定する。これにより、ユーザＢが継続して話すことによってボイス・ディテクト値が「９」以上である入力音声情報が継続してクライアント装置１Ｂからクライアント装置１Ａに送信されると、クライアント装置１Ａのテクスチャ処理部１８は、完全に不透明な状態で、画像サイズが７０％から１００％の間で拡大と縮小を繰り返すアバターをユーザＢに対応した相手表示画像として描画する。
【００３２】
一方、ユーザＢが黙ることによってボイス・ディテクト値が「９」未満である入力音声情報がクライアント装置１Ｂからクライアント装置１Ａに送信されると、クライアント装置１Ａの音声関連情報処理部１４は、当該入力音声情報を入力音声情報記憶部１６に記憶し、テクスチャ処理部１８は、当該入力音声情報を入力音声情報記憶部１６から読み出し、目標アルファ値を８０％に設定し、目標画像サイズを７０％に設定し、半透明でサイズの小さいアバターをユーザＢに対応した相手表示画像として描画する。
【００３３】
また、テクスチャ処理部１８は、自己表示画像を描画する際に、設定された種別が写真である場合には、上記相手表示画像を描画する場合と同様に、自己表示画像（写真）の周囲に枠状のフレームを加える処理を行う。また、設定された種別がアバターである場合にも、上記相手表示画像を描画する場合と同様に、ボイス・ディテクト値に応じて自己表示画像（アバター）の状態（透明度及びサイズ）を変化させる処理を行う。但し、自己表示画像を描画する場合には、当該クライアント装置１に接続されているマイクロフォン１２から入力されたボイス・ディテクト値を用いてアバターの状態を変化させる。
【００３４】
＜クライアント装置の内部回路の一例＞
次に、図３を参照しながら、上記図２の構成が実装されたクライアント装置の内部回路の一例について説明する。図３は、クライアント装置の内部回路の一例を示すブロック図である。
【００３５】
中央演算処理装置（ＣＰＵ：Central Processing Unit）４１及びその周辺装置等からなる制御系４０と、ＨＤＤ（Hard Disc Drive）４５と、フレームバッファ５３に描画を行う画像処理装置（ＧＰＵ：Graphics Processing Unit）５２等からなるグラフィックシステム５０と、楽音、効果音等を発生する音声処理装置（ＳＰＵ：Sound Processing Unit）６１等からなるサウンドシステム６０と、アプリケーションプログラムが記録されている光ディスクの制御を行う光ディスク制御部７０と、通信部８０と、インターフェース部９０と、上記の各部が接続されているバス等を備えて構成されている。ＣＰＵ４１は音声関連情報処理部１４及び画像関連情報処理部１５として機能し、ＧＰＵ５２はテクスチャ処理部１８として機能し、通信部８０は通信パケット受信部１３として機能する。
【００３６】
制御系４０は、ＣＰＵ４１と、割り込み制御やダイレクトメモリアクセス（ＤＭＡ：Direct Memory Access）転送の制御等を行う周辺装置制御部４２と、ＲＡＭ（Random Access Memory）からなるメインメモリ４３と、ＲＯＭ（Read Only Memory）４４とを備えている。メインメモリ４３は入力音声情報記憶部１６及び画像種別情報記憶部１７として機能する。
【００３７】
ＲＯＭ４４には、クライアント装置１の各部を制御するためのオペレーティングシステム等のプログラムや、各種機能を実現させるためのアプリケーションプログラムが記憶されている。ＣＰＵ４１は、ＲＯＭ４４に記憶されているオペレーティングシステムをメインメモリ４３に読み出し、読み出したオペレーティングシステムを実行することにより、このクライアント装置１の全体を制御する。
【００３８】
ＨＤＤ４５には、各種データや、ＡＶチャットを実現させるためのプログラム（以下、ＡＶチャットプログラムと称する）などの各種アプリケーションプログラムが記憶されている。また、ＨＤＤ４５には、自己表示画像として選択可能なアバターや写真の画像データが記憶される。ＡＶチャットプログラムには、自己表示画像や相手表示画像としてアバターを描画する際のアニメーションプログラムが含まれる。ＣＰＵ４１は、ＨＤＤ４５に記憶されているＡＶチャットプログラムをメインメモリ４３に読み出し、読み出したＡＶチャットプログラムを実行する。これにより実現される機能については、後述の動作欄において説明する。
【００３９】
サウンドシステム６０は、制御系４０の制御の下、音声信号を制御するＳＰＵ６１と、音声再生の際の波形データ等が記録されるサウンドバッファ６２と、ＳＰＵ６１によって発生される楽音、効果音等を出力するスピーカ６３とを備えている。サウンドシステム６０には、マイクロフォン１２から出力された音声信号とボイス・ディテクト値とが入力される。サウンドシステム６０は、入力された音声信号をデジタル変換し、音声コーデックにより符号化して通信部８０に供給する。また、サウンドシステム６０には、インターネット３０を介して取得された音声データが、通信部８０から供給される。サウンドシステム６０は、当該音声データを音声コーデックにより復号し、アナログ変換して波形データを生成し、これをサウンドバッファ６２に記録し、これをスピーカ６３に供給する。
【００４０】
光ディスク制御部７０は、光ディスクに記録されたプログラムやデータ等を再生する光ディスク装置７１と、例えばエラー訂正符号(ＥＣＣ：Error Correction Code)が付加されて記録されているプログラム、データ等を復号するデコーダ７２と、光ディスク装置７１からのデータを一時的に記憶することにより、光ディスクからのデータの読み出しを高速化するバッファ７３とを備えている。上記のデコーダ７２には、サブＣＰＵ７４が接続されている。
【００４１】
インターフェース部９０は、パラレルＩ／Ｏインターフェース（ＰＩＯ）９１と、シリアルＩ／Ｏインターフェース（ＳＩＯ）９２とを備えている。これらは、図示しないメモリカードとクライアント装置１とを接続するためのインターフェースである。
【００４２】
グラフィックシステム５０は、ジオメトリトランスファエンジン（ＧＴＥ：Geometry Transfer Engine）５１と、ＧＰＵ５２と、フレームバッファ５３と、画像エンコーダ・デコーダ５４とを備えている。
【００４３】
ＧＴＥ５１は、例えば複数の演算を並列に実行する並列演算機構を備え、上記ＣＰＵ４１からの演算要求に応じて座標変換、光源計算、行列あるいはベクトルなどの演算を高速に行う。そして、制御系４０は、ＧＴＥ５１による演算結果に基づいて三角形や四角形などの基本的な単位図形（ポリゴン）の組み合わせとして３次元モデルを定義して３次元画像を描画するための各ポリゴンに対応する描画命令をＧＰＵ５２に送る。
【００４４】
ＧＰＵ５２は、制御系４０からの描画命令に従って、フレームバッファ５３に対して多角形（ポリゴン）等の描画を行う。フレームバッファ５３は、ＧＰＵ５２により描画された画像を記憶する。このフレームバッファ５３は、いわゆるデュアルポートＲＡＭからなり、ＧＰＵ５２からの描画あるいはメインメモリ４３からの転送と、表示のための読み出しとを同時に行うことができる。また、このフレームバッファ５３には、ビデオ出力として出力される表示領域の他に、ＧＰＵ５２がポリゴン等の描画を行う際に参照するカラールックアップテーブル（ＣＬＵＴ：Color Lock Up Table）が記憶されるＣＬＵＴ領域と、描画時に座標変換されてＧＰＵ５２によって描画されるポリゴン等の中に挿入（マッピング）される素材（テクスチャ）が記憶されるテクスチャ領域が設けられている。これらのＣＬＵＴ領域とテクスチャ領域は、表示領域の変更等に従って動的に変更される。
【００４５】
画像エンコーダ・デコーダ５４は、上記の制御系４０からの制御により、静止画あるいは動画の画像の符号化及び復号化や、デジタル変換及びアナログ変換などの各種処理を行う。
【００４６】
このグラフィックシステム５０には、制御系４０がＨＤＤ４５から読み出したアバター又は写真の画像データやビデオカメラ１１からの映像信号が供給される。自己表示画像としてビデオ画像が選択され設定されている場合、グラフィックシステム５０は、この映像信号をデジタル変換し、映像コーデックにより符号化（圧縮）して、通信部８０に供給する。また、デジタル変換した映像信号をモニタ装置１０に供給する。また、自己表示画像としてアバター又は写真が選択され設定されている場合、グラフィックシステム５０は、ＨＤＤ４５から読み出されたアバター又は写真の画像データを、上記と同様に映像コーデックにより符号化して通信部８０に供給するとともに、モニタ装置１０に供給する。このとき、自己表示画像として写真が設定されている場合には、メインメモリ４３から読み出された画像データに上記フレームを描画する処理を施してモニタ装置１０に供給する。また、自己表示画像としてアバターが設定されている場合には、メインメモリ４３から読み出された画像データに上記ボイス・ディテクト値に応じた処理を施してモニタ装置１０に供給する。なお、アバター又は写真の画像データの通信部８０への供給は、グラフィックシステム５０ではなく制御系４０が行ってもよい。さらに、グラフィックシステム５０には、インターネット３０を介して取得された画像データが通信部８０から供給され、グラフィックシステム５０は、この画像データをモニタ装置１０に供給する。なお、通信部８０から供給された画像データが映像コーデックにより符号化（圧縮）されている場合、グラフィックシステム５０は、供給された画像データを映像コーデックにより復号（伸長）し、これをアナログ変換して、モニタ装置１０に供給する。また、画像データの種別が写真の場合には、画像データに上記フレームを描画する処理を施してモニタ装置１０に供給する。また、画像データの種別がアバターの場合には、画像データに上記ボイス・ディテクト値に応じた処理を施してモニタ装置１０に供給する。
【００４７】
通信部８０は、制御系４０の制御の下、インターネット３０を介して他の情報処理装置とのデータ通信を制御する。通信部８０は、ＨＤＤ４５やグラフィックシステム５０（ビデオカメラ１１）から供給された自己表示画像である画像データと、画像データの種別を示す画像種別情報と、ユーザを特定するユーザ情報とをパケット化して画像データパケットを生成し、生成した画像データパケットをチャットストリーミングデータとしてインターネット３０を介して、ＡＶチャットに参加している他のクライアント装置１へ送信する。また、通信部８０は、サウンドシステム６０（マイクロフォン１２）から供給された音声データ及びボイス・ディテクト値と、ユーザを特定するユーザ情報とをパケット化して音声データパケットを生成し、生成した音声データパケットをチャットストリーミングデータとしてインターネット３０を介して、ＡＶチャットに参加している他のクライアント装置１へ送信する。また、通信部８０は、ＡＶチャットに参加している他のクライアント装置１からインターネット３０を介して送信されたチャットストリーミングデータ（画像データパケット及び音声データパケット）を受信し、画像データをグラフィックシステム５０へ供給し、音声データをサウンドシステム６０へ供給する。また、通信部８０が画像データパケットを受信すると、ＣＰＵ４１は、画像データパケットに含まれるユーザ情報と画像種別情報とを対応付けた状態でメインメモリ４３に記憶する。また、通信部８０が音声データパケットを受信すると、ＣＰＵ４１は、音声データパケットに含まれるユーザ情報と音声レベル情報（ボイス・ディテクト値）とを対応付けた状態でメインメモリ４３に記憶する。
【００４８】
＜サーバ装置の構成＞
次に、図４を参照しながら、サーバ装置の主要な内部構成について説明する。図４は、サーバ装置の主要な内部構成を示すブロック図である。
【００４９】
サーバ装置２は、ＣＰＵ２００と、ＲＯＭ２１０と、ＲＡＭ２２０と、ＨＤＤ（Hard Disc Drive)２３０と、通信部２４０とから構成され、これらはバスを介して接続される。
【００５０】
ＲＯＭ２１０には、サーバ装置２の各部を制御するためのオペレーティングシステムや各種プログラムが記憶されている。ＣＰＵ２００は、サーバ装置２の起動時にＲＯＭ２１０に記憶されているオペレーティングシステムをＲＡＭ２１０に読み出し、読み出したオペレーティングシステムを実行することにより、サーバ装置２の各部の動作を制御する。
【００５１】
通信部２４０は、ＣＰＵ２００の制御の下、インターネット３０を介したデータ通信を制御する。
【００５２】
ＨＤＤ２３０には、フレンド管理テーブル２３０ａが記憶されている。フレンド管理テーブル２３０ａには、ＡＶチャットシステムＳＹＭを利用可能なユーザのユーザ情報が、フレンド情報と対応付けられて記憶されている。なお、ユーザが、ＡＶチャットシステムＳＹＭを利用するための所定の手続きを予め行うことにより、当該ユーザのユーザ情報がフレンド管理テーブル２３０ａに記憶される。ここでは、クライアント装置１Ａ，１Ｂ，１Ｃの各ユーザＡ，Ｂ，Ｃのユーザ情報が予めフレンド管理テーブル２３０ａに記憶されているものとする。ユーザ情報は、ユーザを識別するための情報であり、例えば、ユーザを一意に識別するためのユーザＩＤ、ユーザのメールアドレス、ユーザのニックネーム、ユーザによって選択されたアバターなどの情報を含む。フレンド情報は、ユーザによって友達の登録が予めなされた他のユーザを示すものであり、他のユーザの各ユーザ情報が示される。友達の登録は、例えば以下のようになされる。クライアント装置１のユーザがコントローラ２０を介して所定の操作を行うと、当該クライアント装置１が、サーバ装置２と、友達として登録する他のユーザのクライアント装置１との間でデータ通信を行い、当該他のユーザのクライアント装置１から登録を許可する旨のデータを受信することにより、当該他のユーザのユーザ情報がフレンド情報として登録される。
【００５３】
（２）動作
次に、本実施形態に係る動作について説明する。
【００５４】
なお、クライアント装置１の図示しない電源が投入され、ＲＯＭ４４に記憶されたオペレーティングシステムなどのプログラムがＣＰＵ４１によってメインメモリ４３に読み出されて実行され、ユーザによってそれぞれ指示が入力されることにより、ＲＯＭ４４や光ディスク装置７１に装着された光ディスクからメインメモリ４３に読み出された各種プログラムがＣＰＵ４１によって実行され、上述の構成欄で述べた各種機能が実現される。
【００５５】
また、サーバ装置２の図示しない電源が投入され、ＲＯＭ２１０に記憶されたオペレーティングシステムなどのプログラムがＣＰＵ２００によってＲＡＭ２２０に読み出されて実行され、ユーザによってそれぞれ指示が入力されることにより、ＲＡＭ２２０に読み出されたゲーム制御プログラムなどの各種プログラムがＣＰＵ２００によって実行され、上述の構成欄で述べた各種機能が実現される。
【００５６】
なお、本実施形態においては、ＡＶチャットシステムＳＹＭに接続される複数のクライアント装置１のうち、マスタとなるクライアント装置１においてユーザがＡＶチャットの開始及び他のユーザの招待を指示し、当該他のユーザが他のクライアント装置１においてＡＶチャットへの参加の受け入れを指示すると、これらのクライアント装置１間でＡＶチャットが行われる。即ち、これらのクライアント装置１により、ＡＶチャットを行う通信グループが形成される。なお、マスタは、参加者を招く権限を有する。ここでは、マスタとして選出されたクライアント装置１をクライアント装置１Ａとする。
【００５７】
＜ＡＶチャットの開始準備＞
まず、ユーザＡが、クライアント装置１Ａに接続されたコントローラ２０Ａを操作して、メニュー画面を表示させると、ＣＰＵ４１Ａは、通信部８０Ａを介してサーバ装置２にアクセスし、当該ユーザのユーザ情報に対応付けられて記憶されているフレンド情報を要求する旨のリクエストデータをサーバ装置２に送信する。このリクエストデータには、例えば、ユーザＡのユーザＩＤ等の情報が含まれている。一方、サーバ装置２は、クライアント装置１Ａから送信されたリクエストデータを受信すると、当該リクエストデータに従い、ＨＤＤ２３０に記憶されているフレンド管理テーブル２３０ａを参照して、ユーザＡのユーザ情報に対応付けられているフレンド情報をクライアント装置１Ａに送信する。クライアント装置１ＡのＣＰＵ４１Ａは、サーバ装置２から送信されたフレンド情報を受信すると、次いで、このフレンド情報を用いたメニュー画面の描画命令をグラフィックシステム５０Ａに対して行う。グラフィックシステム５０Ａが、当該描画命令に従い、メニュー画面の画像の描画を行う。ＣＰＵ４１Ａは、描画されたメニュー画面の画像に応じた映像信号をモニタ装置１０Ａに供給する。この結果、モニタ装置１０Ａには、例えば図５に示されるようなメニュー画面ＭＧが表示される。当該メニュー画面ＭＧにおいては、ＡＶチャットの機能を象徴するチャットアイコンＩＣ１が表示され、当該チャットアイコンＩＣ１の上下方向に、当該ユーザＡによって予め登録されサーバ装置２から受信したフレンド情報が展開表示される。ここで表示されるフレンド情報は、例えば、友達として登録された他のユーザのアバターＦＲ１や、ニックネームＮＭ１などである。ユーザＡが、コントローラ２０Ａを操作して、このフレンド情報の中からＡＶチャットを開始したい相手を選択し、更にコントローラ２０Ａを操作して、オプションメニューの表示を指示すると、メニュー画面ＭＧの右方にオプションメニュー（図示せず）が表示される。更に、ユーザＡが、コントローラ２０Ａを操作して、このオプションメニューに表示される指示内容から「ＡＶチャットの開始」を選択して、ＡＶチャットの開始を指示すると、ＣＰＵ４１Ａは、ＡＶチャットプログラムをＨＤＤ４５Ａからメインメモリ４３Ａに読み出し、これを実行させる。そして、ＣＰＵ４１Ａは、ユーザにより選択されたフレンド情報を参照して、当該フレンド情報に対応するユーザに宛てた招待メッセージを生成し、これをモニタ装置１０Ａに表示させる。具体的には、例えば、招待メッセージの雛型がＨＤＤ４５Ａに予め記憶されており、ＣＰＵ４１Ａは、ＨＤＤ４５Ａに記憶された雛型の招待メッセージを読み出し、これに基づいて、フレンド情報によって示される情報を宛先として加えるなどして、招待メッセージを生成する。このように生成されモニタ装置１０Ａに表示される招待メッセージは、例えば図６に示される。
【００５８】
ユーザＡがコントローラ２０を操作して、この招待メッセージの送信を決定指示すると、クライアント装置１Ａは、サーバ装置２を介して、当該招待メッセージの宛先のユーザ（ここでは、ユーザＢとする）のクライアント装置１（ここでは、クライアント装置１Ｂとする）へ当該招待メッセージを送信する。
【００５９】
また、ユーザＡがＡＶチャットを行う際の自己表示画像を選択する場合、コントローラ２０Ａを操作して、モニタ装置１０Ａに自己表示画像選択画面（図示せず）を表示させる。自己表示画像選択画面には、選択可能な自己表示画像群（ビデオ画像、アバター及び写真）が表示され、ユーザＡがコントローラ２０Ａを操作して自己表示画像群の中から１つを特定して決定すると、クライアント装置１Ａの自己表示画像とその種別が設定される。
【００６０】
一方、クライアント装置１Ａが送信した招待メッセージを受信したクライアント装置１Ｂは、当該招待メッセージをモニタ装置１０Ｂに表示させる。モニタ装置１０Ｂに表示される招待メッセージは、例えば図７に示される。ここで、当該クライアント装置１ＢのユーザＢが、コントローラ２０Ｂを操作して、ＡＶチャットの参加を指示すると、当該クライアント装置１Ｂは、ＡＶチャットプログラムをＨＤＤ４５Ｂからメインメモリ４３Ｂに読み出し、これを実行させる。そして、クライアント装置１Ｂは、クライアント装置１Ａとの間で、接続性のチェックを行うため、接続確認用データをクライアント装置１Ａに送信する。クライアント装置１Ａは、クライアント装置１Ｂから送信された接続確認データを受信すると、当該データを受信した旨を示す接続応答データをクライアント装置１Ｂに送信する。
【００６１】
クライアント装置１Ｂは、当該接続応答データを受信すると、クライアント装置１Ａと接続可能であると判定し、ＡＶチャットに参加する旨を示す参加応答データをクライアント装置１Ａに送信する。なお、この参加応答データには、ユーザＢのユーザＩＤなどが含まれる。
【００６２】
なお、ユーザＢがＡＶチャットを行う際の自己表示画像を選択する場合、ユーザＡの場合と同様に、コントローラ２０Ｂを操作して、モニタ装置１０Ｂに自己表示画像選択画面（図示せず）を表示させる。自己表示画像選択画面には、選択可能な自己表示画像群（ビデオ画像、アバター及び写真）が表示され、ユーザＢがコントローラ２０Ｂを操作して自己表示画像群の中から１つを特定して決定すると、クライアント装置１Ｂの自己表示画像とその種別が設定される。
【００６３】
次いで、クライアント装置１Ａは、クライアント装置１Ｂから送信された結果応答データを受信すると、ＡＶチャットの開始を指示する旨の開始指示データをクライアント装置１Ｂに送信する。また、クライアント装置１Ａは、図８に示されるようなチャット画面ＣＨ１をモニタ装置１０に表示させる。当該チャット画面ＣＨ１においては、クライアント装置１Ａに設定された自己表示画像ＤＡ１を画面右方に表示させる。このとき、設定された自己表示画像がビデオ画像の場合には、クライアント装置１Ａに接続されたビデオカメラ１１Ａから入力される映像信号に応じた映像を表示させ、アバターの場合には選択されたアバターの画像を表示させ、写真の場合には選択された写真の画像を表示させる。図８には、山の風景の写真が選択された場合を示す。画面左方には、上述のクライアント装置１Ｂから送信される画像データに応じた映像を表示させるため、クライアント装置１Ｂから画像データが送信されるのを待機する。また、クライアント装置１Ａは、画像データパケットと音声データパケットとを通信部８０Ａを介してクライアント装置１Ｂに送信する。
【００６４】
一方、クライアント装置１Ｂは、クライアント装置１Ａから送信された開始指示データを受信すると、チャット画面をモニタ装置１０Ｂに表示させる。当該チャット画面においては、クライアント装置１Ｂに設定された自己表示画像を画面右方に表示させる。画面左方には、上述のクライアント装置１Ａから送信される画像データに応じた映像を表示させるため、クライアント装置１Ａから画像データが送信されるのを待機する。また、クライアント装置１Ｂは、画像データパケットと音声データパケットとを通信部８０Ｂを介してクライアント装置１Ａに送信する。
【００６５】
各クライアント装置１は、自装置に設定された自己表示画像をチャット画面右方に表示させ、他装置から送信された画像データによって表される相手表示画像をチャット画面の左方に表示させる。例えば、クライアント装置１Ａにおいて自己表示画像として山の風景の写真が選択され、クライアント装置１Ｂにおいて自己表示画像としてアバターが選択された場合、モニタ装置１０Ａには、図９に示すように、右方に自己表示画像（山の風景の写真）ＤＡ１が配置され、左方に相手表示画像（アバター）ＤＢ１が配置されたチャット画面ＣＨ２が表示される。
【００６６】
＜自己表示画像及び相手表示画像の種別に応じた処理＞
次に、自己表示画像及び相手表示画像の種別に応じた処理について説明する。
【００６７】
クライアント装置１Ａは、自装置に設定された自己表示画像の種別が写真の場合、図８に示すように、自己表示画像（写真）ＤＡ１の周囲にフレームＦＬを描画したチャット画面ＣＨ１をモニタ装置１０Ａに表示させる。また、ＡＶチャットの相手であるクライアント装置１Ｂに設定された自己表示画像の種別が写真の場合、クライアント装置１Ａは、クライアント装置１Ｂから写真を示す画像種別識別情報を受信し、相手表示画像（写真）の周囲にフレームを描画したチャット画面（図示せず）をモニタ装置１０Ａに表示させる。
【００６８】
写真を自己表示画像又は相手表示画像としてモニタ装置１０Ａに表示する場合、クライアント装置１Ａのグラフィックシステム５０Ａでは、以下の処理が実行される。まず、フレームバッファ５３のテクスチャ領域に対して、ＨＤＤ４５から供給された自己表示画像の写真の画像データ又はクライアント装置１Ｂから受信した相手表示画像の写真の画像データに対応する画像が描画される。この画像は、チャット画面のうち自己表示画像又は相手表示画像の表示領域の全域に対応した大きさでテクスチャ領域に描画される。そして、テクスチャ領域に描画された画像は、チャット画面のうち自己表示画像又は相手表示画像の表示領域からフレームが描画される周囲の領域を除いた大きさに縮小されて、フレームバッファ５３の表示領域にマッピングされ、且つ当該表示領域にフレームの画像がマッピングされる。これにより、表示領域において、縮小された写真の画像とフレームの画像とが合成される。
【００６９】
また、クライアント装置１Ａは、自装置に設定された自己表示画像の種別がアバターの場合、マイクロフォン１２Ａが検知したボイス・ディテクト値に応じて自己表示画像（アバター）の状態（透明度及びサイズ）が変化するチャット画面（図示せず）をモニタ装置１０Ａに表示させる。また、ＡＶチャットの相手であるクライアント装置１Ｂに設定された自己表示画像の種別がアバターの場合、クライアント装置１Ａは、クライアント装置１Ｂからアバターを示す画像種別識別情報とマイクロフォン１２Ｂが検知したボイス・ディテクト値（音声レベル情報）を受信し、受信したボイス・ディテクト値に応じて相手表示画像（アバター）の状態（透明度及びサイズ）が変化するチャット画面（図９に示すＣＨ２や図１０に示すＣＨ３）をモニタ装置１０Ａに表示させる。
【００７０】
すなわち、図１１に示すように、自己表示画像がアバターの場合及び／又は相手表示画像がアバターの場合、ボイス・ディテクト値が「９」以上か未満かを判定し（ステップＳ１）、「９」以上の場合（ステップＳ１：Ｙｅｓ）には、現在のアルファ値が１００％か否かを判定し（ステップＳ２）、現在のアルファ値が１００％ではない（１００％未満である）場合（ステップＳ２：Ｎｏ）、目標アルファ値を１００％に設定する（ステップＳ３）。また、現在のアルファ値が１００％の場合（ステップＳ２：Ｙｅｓ）、さらに現在の画像サイズが１００％か否かを判定し（ステップＳ４）、画像サイズが１００％の場合（ステップＳ４：Ｙｅｓ）には、目標画像サイズを７０％に設定し（ステップＳ５）、画像サイズが１００％未満の場合（ステップＳ４：Ｎｏ）には、目標画像サイズを１００％に設定する（ステップＳ６）。一方、ボイス・ディテクト値が「９」未満の場合（ステップＳ１：Ｎｏ）には、目標アルファ値を８０％に設定し（ステップＳ７）、且つ目標画像サイズを７０％に設定する（ステップＳ５）。目標アルファ値及び目標画像サイズを設定すると、予め記憶されたアニメーションプログラムに従って、アバターの画像が目標アルファ値及び目標画像サイズに徐々に近づくようにモニタ装置１０に表示される。このアニメーションプログラムでは、現在表示している自己表示画像及び／又は相手表示画像の各アルファ値や各表示サイズを記憶しており、設定された目標アルファ値や目標表示サイズに達するまで、所定時間（例えば、７５０ｍｓｅｃ）かけて自己表示画像及び／又は相手表示画像を変化させる。このとき、アルファ値を上昇（増加）させる処理は画像サイズを変更する処理に優先して行われ、目標アルファ値に達した後に表示サイズの変更が開始される。一方、アルファ値を下降（減少）させる処理は、画像サイズを変更する処理と同時に並行して行われる。
【００７１】
アバターを自己表示画像又は相手表示画像としてモニタ装置１０Ａに表示する場合、クライアント装置１Ａのグラフィックシステム５０Ａでは、以下の処理が実行される。まず、フレームバッファ５３のテクスチャ領域に対して、ＨＤＤ４５から供給された自己表示画像のアバターの画像データ又はクライアント装置１Ｂから受信した相手表示画像のアバターの画像データに対応する画像が描画される。この画像は、チャット画面のうち自己表示画像又は相手表示画像の表示領域の全域に対応した大きさ（画像サイズ）でテクスチャ領域に描画される。そして、テクスチャ領域に描画された画像は、設定された目標アルファ値及び／又は目標画像サイズに応じて濃度を減少する処理や画像サイズを縮小する処理が施されて、フレームバッファ５３の表示領域にマッピングされる。ここで、アバターの画像データは、アバター単体（アバターのみ）の画像データだけではなくその背景の画像データをも含んでいるため、アバター単体とその背景とを含む全体のアバター画像を縮小して描画領域にマッピングしただけでは、全体のアバター画像のサイズがチャット画面における自己表示画像や相手表示画像の表示領域よりも小さくなり、周囲にブランクの領域が発生し、ユーザに違和感を与える可能性が生じる。このため、上記画像サイズの縮小処理では、フレームバッファ５３の表示領域に予め背景色を描画しておき、その上から全体のアバター画像を縮小して描画する。これにより、上記ブランクの領域に必ず背景色が描画されるため、ユーザに違和感を与えることがない。また、上記濃度を減少する処理では、アバター単体の色と背景色とをアルファ値に応じて混合（ブレンド）する。
【００７２】
例えば、クライアント装置１ＡのユーザＡとクライアント装置１ＢのユーザＢとがＡＶチャットを行う場合であって、クライアント装置１Ｂにおいて自己表示画像としてアバターが選択され、ボイス・ディテクト値が「９」以上である入力音声情報がクライアント装置１Ｂからクライアント装置１Ａに継続して送信されると、アルファ値が１００％に達するまでの間は、上記ステップＳ２において現在のアルファ値が１００％ではないと継続して判定され、目標アルファ値が１００％に維持される（ステップＳ３）。このため、モニタ装置１０Ａには、表示サイズが変わらずに当初の半透明の状態から徐々に濃くなって最終的に完全に不透明となるアバターが、ユーザＢに対応した相手表示画像として表示される。さらに、ユーザＢが発話を継続し、ボイス・ディテクト値が「９」以上である入力音声情報が継続してクライアント装置１Ｂからクライアント装置１Ａに送信されると、現在の画像サイズが１００％未満であれば目標画像サイズが１００％に設定され、画像サイズが既に１００％に達していると目標画像サイズが７０％に設定されるので、図９に示すように、モニタ装置１０Ａのチャット画面ＣＨ２には、完全に不透明な状態で画像サイズが７０％（図９に実線で示す）から１００％（図９に二点鎖線で示す）の間で拡大と縮小を繰り返すアバターＤＢ１がユーザＢに対応した相手表示画像として描画される。また、ユーザＢが黙ることによってボイス・ディテクト値が「９」未満である入力音声情報がクライアント装置１Ｂからクライアント装置１Ａに継続して送信されると、目標アルファ値が８０％に設定され、図１０に示すように、モニタ装置１０Ａのチャット画面ＣＨ３には、画像サイズが７０％まで徐々に小さくなり且つアルファ値が８０％となるまで徐々に半透明となるアバターＤＢ１がユーザＢに対応した相手表示画像として表示される。このため、自己表示画像及び／又は相手表示画像がアバターである場合、ＡＶチャット開始時のチャット画面には、画像サイズが７０％でアルファ値が８０％のアバターが表示される。なお、図示を簡略化するため、図９及び図１０には、三角形の図形がアバターとして選択された場合を例示している。
【００７３】
従って、相手表示画像がアバターの場合、表示されたアバターの状態を視ることによって、相手が話しているか黙っているかを認識することができる。また、相手の発話に伴って先ずアルファ値が変化し、アルファ値が目標アルファ値に達した後に、次いで画像サイズが変化するようにアバターの画像が表示されるので、発話以外の突発的な音（ノイズ）が相手のマイクロフォン１２に入力された場合であっても、アルファ値が目標アルファ値に達するまでの間はアルファ値が変化するだけであり、画像サイズはそのまま維持されるので、相手表示画像を視るユーザに対して与える違和感を最小限に抑えることができる。さらに、話し相手が発話を継続している場合、相手表示画像の画像サイズが周期的に変化するので、相手表示画像を、これ視るユーザに対して相手の話を聞くように視覚的に促すメッセージとして機能させることができる。
【００７４】
このように、本実施形態によれば、自己表示画像として写真が選択され、又は相手表示画像として写真の画像データが送信された場合、モニタ装置１０のチャット画面には、自己表示画像又は相手表示画像としてフレームが付加された写真の画像が表示される。
【００７５】
また、自己表示画像としてアバターが選択されている場合、モニタ装置１０のチャット画面には、そのユーザの音声の状態（ボイス・ディテクト値）に応じて変化するアバターが自己表示画像として表示される。
【００７６】
また、相手表示画像としてアバターの画像データが送信された場合、モニタ装置１０のチャット画面には、相手ユーザの音声の状態（ボイス・ディテクト値）に応じて変化するアバターが相手表示画像として表示される。
【００７７】
従って、音声チャット中にユーザの興味をチャット画面に惹き付けることができる。
【００７８】
[変形例]
＜変形例１＞
自己表示画像及び／又は相手表示画像の種別は、上記ビデオ画像とアバターと写真の三種類に限定されず、クライアント装置１に記憶された動画やクライアント装置１が実行しているゲーム画像など他の種別の画像であってもよく、これら他の種別の画像を自己表示画像及び／又は相手表示画像として表示する際に、その種別に応じた描画処理を加えてもよい。例えば、動画を自己表示画像及び／又は相手表示画像として使用する場合には、上記写真の場合と同様に、自己表示画像及び／又は相手表示画像（動画）の周囲に枠状のフレームを加えてもよく、動画の場合に加えるフレームを写真の場合と異なる態様に設定してもよい。また、ゲーム画像を自己表示画像及び／又は相手表示画像として使用する場合には、ゲームを実行しながら会話を行っている旨を話し相手に知らせる表記（例えば「ゲーム中」などの文字）を、ゲーム画像の一部（例えば上部）に描画してもよい。
【００７９】
＜変形例２＞
図１１の処理（ステップＳ１〜ステップＳ７）の実行頻度と自己表示画像や相手表示画像の画像サイズの変化速度とのバランスが適正でない場合、画像サイズがほとんど変化しなくなってしまう可能性が生じる。例えば、相手表示画像としてアバターを表示する場合において、ボイス・ディテクト値が「９」以上に継続して維持され、既にアルファ値が１００％に達しており、現在の画像サイズが１００％であると、画像データパケットを受信することによって目標画像サイズとして７０％が設定され（ステップＳ５）、アバターの画像が徐々に縮小する。このとき、アバターの画像がほとんど縮小していないタイミングで次の画像データパケットを受信すると、画像サイズが１００％ではないと判定され（ステップＳ４：Ｎｏ）、目標画像サイズとして１００％が設定され（ステップＳ６）、アバターの画像が目標画像サイズ７０％に達することなく僅かに縮小した後に拡大してしまう。このような不都合を解消するため、ステップＳ５の処理において、アバターの画像が拡大されている途中か否かを判定し、拡大されている途中であれば、目標画像サイズを７０％に変更せずに１００％のまま維持してもよい。また、同様に、ステップＳ６の処理において、アバターの画像が縮小されている途中か否かを判定し、縮小されている途中であれば、目標画像サイズを１００％に変更せずに７０％のまま維持してもよい。
【００８０】
＜変形例３＞
図１１のステップＳ１の処理では、ボイス・ディテクト値が単発的に１回だけ「９」以上と判定された場合であっても、ステップＳ２に処理が移行するため、ユーザの発話以外の突発的な音（ノイズ）がマイクロフォン１２に入力された場合であっても、アバターの表示が変化してしまう可能性が生じる。このような不都合を解消するため、ステップＳ１の処理において、「９」以上のボイス・ディテクト値が所定回数（例えば４回）連続した場合にのみステップＳ２へ移行させ、直前の連続する所定回数に「９」未満のボイス・ディテクト値が含まれている場合には、ステップＳ７へ移行させてもよい。
【００８１】
＜変形例４＞
図１１のステップＳ１の処理では、ボイス・ディテクト値が単発的に１回だけ「９」未満と判定された場合であっても、ステップＳ７に処理が移行するため、ユーザの発話が一瞬とぎれた場合であっても、アバターの表示が変化してしまう可能性が生じる。このような不都合を解消するため、ステップＳ１の処理において、「９」未満のボイス・ディテクト値が所定回数（例えば４回）連続した場合にステップＳ７へ移行させ、直前の連続する所定回数に「９」以上のボイス・ディテクト値が含まれている場合には、ステップＳ２へ移行させてもよい。
【００８２】
＜変形例５＞
図１１のステップＳ２の処理では、現在のアルファ値が１００％か否かを判定しているため、アルファ値が１００％に達するまでの間は、画像サイズが変更されない。このため、ユーザが発話を開始してからアバターの画像サイズが変更される（拡大する）までに時間を要してしまう可能性が生じる。このような不都合を解消するため、ステップＳ２での判断基準となるアルファ値の値を１００％未満（例えば９０％）に設定してもよい。
【００８３】
＜変形例６＞
上記実施形態のマイクロフォン１２はモノラルタイプであり、音声データとともにクライアント装置１に入力するボイス・ディテクト値は１つであるが、例えばステレオタイプのマイクロフォンを使用した場合のように、音声データとともに入力するボイス・ディテクト値が複数（例えば２つ）であってもよい。この場合、図１１のステップＳ１の処理において、複数のボイス・ディテクト値のうち１つでも「９」以上である場合にステップＳ２に移行させてもよく、また、所定値以上が「９」以上である場合にステップＳ２に移行させてもよい。
【００８４】
＜変形例７＞
左右双方のボイス・ディテクト値をそれぞれ検知して音声データとともにクライアント装置１に入力するステレオタイプのマイクロフォンを使用した場合において、例えば、自己表示画像及び／又は相手表示画像がアバターであるとき、左右のボイス・ディテクト値の大小を判定し、チャット画面上でボイス・ディテクト値が大きい方に向かってアバターを移動させてもよい。この場合、両者の差が大きいほど、移動量や移動速度を大きく設定してもよい。
【００８５】
上述の各実施の形態の説明は本発明の一例である。このため、本発明は上述の各実施の形態に限定されることはなく、本発明に係る技術的思想を逸脱しない範囲であれば、上述の実施の形態以外であっても種々の変更が可能であることは勿論である。
【産業上の利用可能性】
【００８６】
本発明は、所定の通信グループに属する複数の通信装置間で相互に画像データ及び音声データを送受信する通信システムに用いて好適である。
【図面の簡単な説明】
【００８７】
【図１】本発明の一実施形態に係るＡＶチャットシステムの概要を示す図である。
【図２】クライアント装置の構成のうち本発明に関連する主要な構成を示すブロック図である。
【図３】図２の構成が実装されたクライアント装置の内部回路の一例を示すブロック図である。
【図４】同実施形態に係るサーバ装置の内部構成を示すブロック図である。
【図５】同実施形態に係るメニュー画面を例示する図である。
【図６】同実施形態に係るメッセージを例示する図である。
【図７】同実施形態に係るメッセージを例示する図である。
【図８】同実施形態に係るチャット画面を例示する図である。
【図９】同実施形態に係るチャット画面を例示する図である。
【図１０】同実施形態に係るチャット画面を例示する図である。
【図１１】同実施形態に係る描画処理を示すフローチャートである。
【符号の説明】
【００８８】
１・・・クライアント装置、２・・・サーバ装置、１０・・・モニタ装置、１１・・・ビデオカメラ、１２・・・マイクロフォン、１３・・・通信パケット受信部、１４・・・音声関連情報処理部、１５・・・画像関連情報処理部、１６・・・入力音声情報記憶部、１７・・・画像種別情報記憶部、１８・・・テクスチャ処理部、２０・・・コントローラ、３０・・・インターネット、４１・・・ＣＰＵ、４３・・・メインメモリ、６２・・・ＧＰＵ、２００・・・ＣＰＵ、２１０・・・ＲＯＭ、２２０・・・ＲＡＭ、２３０・・・ＨＤＤ、２４０・・・通信部、ＳＹＭ・・・ＡＶチャットシステム
【特許請求の範囲】
【請求項１】
ネットワークに接続される第１及び第２の通信装置を含む通信システムであって、
前記第１の通信装置は、
音入力手段と、
前記第１の通信装置のユーザを表す画像データと、前記音入力手段により入力された音声に応じた音声データと、前記画像データの種別を示す画像種別情報とを、前記第２の通信装置に送信する送信手段と、を有し、
前記第２の通信装置は、
前記第１の通信装置から送信された画像データと音声データと画像種別情報とを受信する受信手段と、
前記受信した画像データに応じた画像を表示手段に表示する表示制御手段と、
前記受信した音声データによって表される音声を音声出力手段から出力する音声出力制御手段と、を有し、
前記表示制御手段は、前記受信した画像種別情報が所定の画像を示す情報であるとき、前記画像データに応じた画像に所定の描画処理を施して前記表示手段に表示する
ことを特徴とする通信システム。
【請求項２】
請求項１に記載の通信システムであって、
前記送信手段は、前記音入力手段により入力された音声の入力レベルを示す音声レベル情報を前記第２の通信装置に送信し、
前記受信手段は、前記第２の通信装置から送信された音声レベル情報を受信し、
前記表示制御手段は、前記受信した画像種別情報がアバターを示す情報であるとき、前記画像データに応じたアバターの画像を前記受信した音声レベル情報に応じて変化させて前記表示手段に表示する
ことを特徴とする通信システム。
【請求項３】
請求項２に記載の通信システムであって、
前記音声レベル情報は、ボイス・ディテクト値を示し、
前記表示制御手段は、前記受信した画像種別情報がアバターを示す情報であるとき、前記受信した音声レベル情報が示すボイス・ディテクト値が所定値以上か否かを判定し、ボイス・ディテクト値が所定値以上の場合、現在表示しているアバターの画像のアルファ値が第１の所定値か否かを判定し、現在のアルファ値が第１の所定値未満の場合、アルファ値を前記第１の所定値に徐々に近づけるようにアバターの画像を変化させ、現在のアルファ値が第１の所定値の場合、画像サイズを所定の最大サイズに徐々に近づけるようにアバターの画像を変化させ、ボイス・ディテクト値が所定値未満の場合、アルファ値を前記第１の所定値よりも小さい第２の所定値に徐々に近づけるとともに、画像サイズを前記最大サイズよりも小さい所定の最小サイズに徐々に近づけるようにアバターの画像を変化させて前記表示手段に表示する
ことを特徴とする通信システム。
【請求項４】
請求項１〜請求項３の何れかに記載の通信システムであって、
前記表示制御手段は、前記受信した画像種別情報が写真を示す情報であるとき、前記画像データに応じた写真の画像の周囲にフレームを付加して前記表示手段に表示する
ことを特徴とする通信システム。
【請求項５】
ネットワークに接続される通信装置であって、
前記ネットワークに接続される他の通信装置から送信された画像データと音声データと前記画像データの種別を示す画像種別情報とを受信する受信手段と、
前記受信した画像データに応じた画像を表示手段に表示する表示制御手段と、
前記受信した音声データによって表される音声を音声出力手段から出力する音声出力制御手段と、を有し、
前記表示制御手段は、前記受信した画像種別情報が所定の画像を示す情報であるとき、前記画像データに応じた画像に所定の描画処理を施して表示手段に表示する
ことを特徴とする通信装置。
【請求項６】
請求項５に記載の通信装置であって、
前記受信手段は、前記他の通信装置から送信された音声レベル情報を受信し、
前記表示制御手段は、前記画像種別情報がアバターを示す情報であるとき、前記画像データに応じたアバターの画像を前記受信した音声レベル情報に応じて変化させて前記表示手段に表示する
ことを特徴とする通信装置。
【請求項７】
請求項６に記載の通信装置であって、
前記音声レベル情報は、ボイス・ディテクト値を示し、
前記表示制御手段は、前記受信した画像種別情報がアバターを示す情報であるとき、前記受信した音声レベル情報が示すボイス・ディテクト値が所定値以上か否かを判定し、ボイス・ディテクト値が所定値以上の場合、現在表示しているアバターの画像のアルファ値が第１の所定値か否かを判定し、現在のアルファ値が第１の所定値未満の場合、アルファ値を前記第１の所定値に徐々に近づけるようにアバターの画像を変化させ、現在のアルファ値が第１の所定値の場合、画像サイズを所定の最大サイズに徐々に近づけるようにアバターの画像を変化させ、ボイス・ディテクト値が所定値未満の場合、アルファ値を前記第１の所定値よりも小さい第２の所定値に徐々に近づけるとともに、画像サイズを前記最大サイズよりも小さい所定の最小サイズに徐々に近づけるようにアバターの画像を変化させて前記表示手段に表示する
ことを特徴とする通信装置。
【請求項８】
請求項５〜請求項７の何れかに記載の通信装置であって、
前記表示制御手段は、前記受信した画像種別情報が写真を示す情報であるとき、前記画像データに応じた写真の画像の周囲にフレームを付加して前記表示手段に表示する
ことを特徴とする通信装置。
【請求項９】
他の通信装置からネットワークを介して送信された画像データと音声データと前記画像データの種別を示す画像種別情報とを受信する通信装置が有するコンピュータに所定の処理を実行させるためのプログラムであって、
前記所定の処理は、
前記受信した画像データに応じた画像を表示手段に表示する表示制御ステップと、
前記受信した音声データによって表される音声を音声出力手段から出力する音声出力制御ステップと、を含み、
前記表示制御ステップは、前記受信した画像データの種別を示す画像種別情報が所定の情報であるとき、前記画像データに応じた画像に所定の描画処理を施すステップを含む
ことを特徴とする通信プログラム。
【請求項１０】
請求項９に記載の通信プログラムを記憶したコンピュータ読み取り可能な記憶媒体。
【請求項１】
ネットワークに接続される第１及び第２の通信装置を含む通信システムであって、
前記第１の通信装置は、
音入力手段と、
前記第１の通信装置のユーザを表す画像データと、前記音入力手段により入力された音声に応じた音声データと、前記画像データの種別を示す画像種別情報とを、前記第２の通信装置に送信する送信手段と、を有し、
前記第２の通信装置は、
前記第１の通信装置から送信された画像データと音声データと画像種別情報とを受信する受信手段と、
前記受信した画像データに応じた画像を表示手段に表示する表示制御手段と、
前記受信した音声データによって表される音声を音声出力手段から出力する音声出力制御手段と、を有し、
前記表示制御手段は、前記受信した画像種別情報が所定の画像を示す情報であるとき、前記画像データに応じた画像に所定の描画処理を施して前記表示手段に表示する
ことを特徴とする通信システム。
【請求項２】
請求項１に記載の通信システムであって、
前記送信手段は、前記音入力手段により入力された音声の入力レベルを示す音声レベル情報を前記第２の通信装置に送信し、
前記受信手段は、前記第２の通信装置から送信された音声レベル情報を受信し、
前記表示制御手段は、前記受信した画像種別情報がアバターを示す情報であるとき、前記画像データに応じたアバターの画像を前記受信した音声レベル情報に応じて変化させて前記表示手段に表示する
ことを特徴とする通信システム。
【請求項３】
請求項２に記載の通信システムであって、
前記音声レベル情報は、ボイス・ディテクト値を示し、
前記表示制御手段は、前記受信した画像種別情報がアバターを示す情報であるとき、前記受信した音声レベル情報が示すボイス・ディテクト値が所定値以上か否かを判定し、ボイス・ディテクト値が所定値以上の場合、現在表示しているアバターの画像のアルファ値が第１の所定値か否かを判定し、現在のアルファ値が第１の所定値未満の場合、アルファ値を前記第１の所定値に徐々に近づけるようにアバターの画像を変化させ、現在のアルファ値が第１の所定値の場合、画像サイズを所定の最大サイズに徐々に近づけるようにアバターの画像を変化させ、ボイス・ディテクト値が所定値未満の場合、アルファ値を前記第１の所定値よりも小さい第２の所定値に徐々に近づけるとともに、画像サイズを前記最大サイズよりも小さい所定の最小サイズに徐々に近づけるようにアバターの画像を変化させて前記表示手段に表示する
ことを特徴とする通信システム。
【請求項４】
請求項１〜請求項３の何れかに記載の通信システムであって、
前記表示制御手段は、前記受信した画像種別情報が写真を示す情報であるとき、前記画像データに応じた写真の画像の周囲にフレームを付加して前記表示手段に表示する
ことを特徴とする通信システム。
【請求項５】
ネットワークに接続される通信装置であって、
前記ネットワークに接続される他の通信装置から送信された画像データと音声データと前記画像データの種別を示す画像種別情報とを受信する受信手段と、
前記受信した画像データに応じた画像を表示手段に表示する表示制御手段と、
前記受信した音声データによって表される音声を音声出力手段から出力する音声出力制御手段と、を有し、
前記表示制御手段は、前記受信した画像種別情報が所定の画像を示す情報であるとき、前記画像データに応じた画像に所定の描画処理を施して表示手段に表示する
ことを特徴とする通信装置。
【請求項６】
請求項５に記載の通信装置であって、
前記受信手段は、前記他の通信装置から送信された音声レベル情報を受信し、
前記表示制御手段は、前記画像種別情報がアバターを示す情報であるとき、前記画像データに応じたアバターの画像を前記受信した音声レベル情報に応じて変化させて前記表示手段に表示する
ことを特徴とする通信装置。
【請求項７】
請求項６に記載の通信装置であって、
前記音声レベル情報は、ボイス・ディテクト値を示し、
前記表示制御手段は、前記受信した画像種別情報がアバターを示す情報であるとき、前記受信した音声レベル情報が示すボイス・ディテクト値が所定値以上か否かを判定し、ボイス・ディテクト値が所定値以上の場合、現在表示しているアバターの画像のアルファ値が第１の所定値か否かを判定し、現在のアルファ値が第１の所定値未満の場合、アルファ値を前記第１の所定値に徐々に近づけるようにアバターの画像を変化させ、現在のアルファ値が第１の所定値の場合、画像サイズを所定の最大サイズに徐々に近づけるようにアバターの画像を変化させ、ボイス・ディテクト値が所定値未満の場合、アルファ値を前記第１の所定値よりも小さい第２の所定値に徐々に近づけるとともに、画像サイズを前記最大サイズよりも小さい所定の最小サイズに徐々に近づけるようにアバターの画像を変化させて前記表示手段に表示する
ことを特徴とする通信装置。
【請求項８】
請求項５〜請求項７の何れかに記載の通信装置であって、
前記表示制御手段は、前記受信した画像種別情報が写真を示す情報であるとき、前記画像データに応じた写真の画像の周囲にフレームを付加して前記表示手段に表示する
ことを特徴とする通信装置。
【請求項９】
他の通信装置からネットワークを介して送信された画像データと音声データと前記画像データの種別を示す画像種別情報とを受信する通信装置が有するコンピュータに所定の処理を実行させるためのプログラムであって、
前記所定の処理は、
前記受信した画像データに応じた画像を表示手段に表示する表示制御ステップと、
前記受信した音声データによって表される音声を音声出力手段から出力する音声出力制御ステップと、を含み、
前記表示制御ステップは、前記受信した画像データの種別を示す画像種別情報が所定の情報であるとき、前記画像データに応じた画像に所定の描画処理を施すステップを含む
ことを特徴とする通信プログラム。
【請求項１０】
請求項９に記載の通信プログラムを記憶したコンピュータ読み取り可能な記憶媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２００９−２７４２３（Ｐ２００９−２７４２３Ａ）
【公開日】平成２１年２月５日（２００９．２．５）
【国際特許分類】
【出願番号】特願２００７−１８８１０９（Ｐ２００７−１８８１０９）
【出願日】平成１９年７月１９日（２００７．７．１９）
【出願人】（３９５０１５３１９）株式会社ソニー・コンピュータエンタテインメント (871)
【Ｆターム（参考）】
【公開日】平成２１年２月５日（２００９．２．５）
【国際特許分類】
【出願日】平成１９年７月１９日（２００７．７．１９）
【出願人】（３９５０１５３１９）株式会社ソニー・コンピュータエンタテインメント (871)
【Ｆターム（参考）】
[ Back to top ]