キャラクター表示装置、キャラクター表示方法、ならびに、プログラム
【課題】キャラクターにユーザの音声に応じた動作をさせることで、ユーザの視覚に訴えながら、快適に会話を楽しむのに好適なキャラクター表示装置等を提供する。
【解決手段】キャラクター表示装置２００において、記憶部２０１には、仮想空間内に配置されるキャラクターの向きが記憶され、表示部２０２は、キャラクターが記憶された向きで仮想空間内に配置された様子を表す画像を、画面に表示し、検知部２０３は、ユーザからの音声を検知し、決定部２０４は、検知された音声の音量に基づいて、キャラクターの向きの変化を決定し、更新部２０５は、決定された変化により、記憶された向きを更新する。
【解決手段】キャラクター表示装置２００において、記憶部２０１には、仮想空間内に配置されるキャラクターの向きが記憶され、表示部２０２は、キャラクターが記憶された向きで仮想空間内に配置された様子を表す画像を、画面に表示し、検知部２０３は、ユーザからの音声を検知し、決定部２０４は、検知された音声の音量に基づいて、キャラクターの向きの変化を決定し、更新部２０５は、決定された変化により、記憶された向きを更新する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、キャラクターにユーザの音声に応じた動作をさせることで、ユーザの視覚に訴えながら、快適に会話を楽しむに好適なキャラクター表示装置、キャラクター表示方法、ならびに、プログラムに関する。
【背景技術】
【０００２】
従来から、ゲームやチャット、ソーシャルネットワークサービス等の分野においては、ユーザが、自身を投影した仮想世界内でのキャラクター（「アバター」と呼ばれることもある。）を選択、設定し、その姿を自分の端末や他人の端末に表示させて、ユーザに親しみを感じさせる手法が広く使われている。
【０００３】
この場合、キャラクターの形状や姿勢、表情を変化させて、そこにキャラクターが表示されていることをユーザに認知させやすくするのと同時に、ユーザにより臨場感や親近感を持たせる手法が開発されている。
【０００４】
例えば、特許文献１には、ユーザの無意識的な動作、すなわち緊張していたり興奮していたりというような状況で現れるマウスやコントローラの微小な変化を捉えて、上記のキャラクターの動きに反映させることで、ユーザとキャラクターを密接に結び付け、まるでキャラクターに生きているかのような印象を付与する技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−２３３９４６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
一方で、上記のようなアバターが用いられる場面は、ネットワークゲームやＷｅｂチャットなどにおいて、互いに離れた複数のユーザ同士がネットワーク上で会話をするような場面であることが多い。すなわち、ゲームのモニタなどにアバターを表示させることで、ユーザ同士の会話に、親しみやすさを付加することができる。
【０００７】
このようなアバターを用いてユーザ同士が会話をする際に、ユーザが会話をするときの音声に応じた動作をアバターにとらせたい、との要望がある。すなわち、離れた場所にいるユーザ同士の会話は、通常音声のみ、あるいは文字のみに頼って行われるが、ユーザが話をする動作に応じた動作をアバターにとらせることで、ユーザの視覚に訴えつつ、より臨場感を持って会話を行うことができるようになると考えられる。
【０００８】
本発明は、上記のような課題を解決するもので、キャラクターにユーザの音声に応じた動作をさせることで、ユーザの視覚に訴えながら、快適に会話を楽しむのに好適なキャラクター表示装置、キャラクター表示方法、ならびに、プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するため、本発明の第１の観点に係るキャラクター表示装置は、記憶部、表示部、検知部、決定部、更新部を備える。
【００１０】
記憶部では、仮想空間内に配置されるキャラクターの向きが記憶される。
【００１１】
すなわち、例えば３次元の仮想空間を用意し、その中の所定の位置にキャラクターを配置する。そのときにキャラクターは、例えば、正面向き、正面から左へ３０°の向き、正面から右へ４５°の向き、といった向きに配置され、記憶部にはその向きが記憶される。
【００１２】
表示部は、キャラクターが記憶された向きで仮想空間内に配置された様子を表す画像を、画面に表示する。
【００１３】
すなわち、記憶部に記憶された向きが左向きならば、仮想空間内に左向きに配置されたキャラクターの様子を表す画像を生成して、モニタなどの画面に表示する。同様に、記憶部に記憶された向きが正面向きならば、仮想空間内に正面向きに配置されたキャラクターの様子を表す画像を、また、記憶された向きが右向きならば、仮想空間内に右向きに配置されたキャラクターの様子を表す画像を、画面に表示する。
【００１４】
検知部は、ユーザからの音声を検知する。
【００１５】
すなわち、マイクロフォンなどの音を電気信号に変換する機器を用いて、ユーザが発した声や音を捉える。ここで、ユーザ以外からの声やその他の小さな雑音に反応しないよう、所定の閾音量を設けて、捉えられた音声が閾音量を超えた場合にのみ検知するようにしてもよい。
【００１６】
決定部は、検知された音声の音量に基づいて、キャラクターの向きの変化を決定する。
【００１７】
すなわち、検知部によって検知された音声から、所定のサンプリング周期で平均された音量を取得する。そして、取得された音量から、所定の変換式に基づいて、キャラクターの向きの変化を決定する。ここで、「向きの変化」とは、仮想空間内に配置されるキャラクターの向きが変化する変化の量のことである。例えば、キャラクターが仮想空間内に正面から左へ３０°の向きに配置されている状態から左へ４５°の向きに配置されている状態へ変化するとき、「向きの変化」は、両者の差である「左へ１５°」ということになる。このような向きの変化は、典型的には、検知された音声が大きければ大きいほど、大きい量にすることが通常である。
【００１８】
更新部は、決定された変化により、記憶された向きを更新する。
【００１９】
すなわち、決定部によって決定された変化により、記憶部に記憶されている仮想空間内のキャラクターの向きを更新する。例えば、決定された変化が正面から左へ９０°という向きの変化であるならば、正面から左へ９０°の向きに配置されたキャラクターが、改めて記憶部に記憶されることになる。また、決定された変化が正面から右へ３０°という向きの変化であるならば、正面から右へ３０°の向きに配置されたキャラクターが、改めて記憶部に記憶されることになる。
【００２０】
このような構成により、ユーザが発した音声に基づいて、表示されているキャラクターの向きが変化する。その結果、ユーザは、音声に反応するキャラクターの画像を見ながら、親近感・臨場感を持って会話を楽しむことができるようになる。
【００２１】
また、本発明のキャラクター表示装置において、
検知部は、モノラルマイクにより音声を検知し、
キャラクターの向きが取りうる範囲は、正面向きと、左右いずれかの所定角度の横向きと、の間であり、
決定部は、検知された音声の音量が大きければ大きいほど、キャラクターの向きが正面向きに近づくように、変化を決定する、
ことも可能である。
【００２２】
ここで、モノラルマイクとは、左右どちらの方向から音声を検知したのかを判別できない、あるいは判別しないマイクを意味する。すなわち、ここでのモノラルマイクは、例えば音声検知部位を１箇所の位置に有するもので、左の方向から音声を検知しても、右の方向から音声を検知しても、両者を区別しないものである。
【００２３】
このとき例えば、キャラクターの向きが取りうる範囲を、正面向きと、正面から左３０°の横向きと、の間とあらかじめ定めた場合を考える。この場合、音声が検知されていないときにはキャラクターは仮想空間内に正面から左３０°の横向きに配置されており、モノラルマイクによって音声が検知され始めると、キャラクターの向きは、左３０°の横向きから徐々に正面向きに変化し始める。そして、検知された音声が大きくなればなるほど、左３０°の横向きから、左２０°、左１０°、左０°（すなわち正面）の向きへと順に変化していく。
【００２４】
また、本発明のキャラクター表示装置において、
検知部は、ステレオマイクにより音声を検知し、
決定部は、ステレオマイクにより検知された音声の左右の音量の差に基づいて、キャラクターの向きの変化を決定する、
ことも可能である。
【００２５】
ここで、ステレオマイクとは、左右どちらの方向から音声を検知したのかを判別できるマイクを意味する。すなわち、ここでのステレオマイクは、例えば左右２箇所の位置にそれぞれ独立に音声を検知する部位を有したり、あるいは位置は１箇所でも左右それぞれの方向から音声を検知する部位を有していたりすることで、左の部位（マイク）で検知した音声と右の部位（マイク）で検知した音声とを区別できる。
【００２６】
このとき例えば、ユーザがステレオマイクに正対して音声を発すれば、ステレオマイクの左右のマイクで同じ音量の音声が検知される。また、ユーザがステレオマイクの左側から音声を発すれば、ステレオマイクの左側のマイクの音量は、右側のマイクの音量よりも大きくなり、一方で、ユーザがステレオマイクの右側から音声を発すれば、ステレオマイクの右側のマイクの音量は、左側のマイクの音量よりも大きくなる。ここでの決定部は、このような左右の音量の差に基づいて、キャラクターの向きの変化を決定する。
【００２７】
また、本発明のキャラクター表示装置において、
キャラクターの向きが取りうる範囲は、正面向きを含む左右それぞれの所定角度の横向きの間であり、
決定部は、
（ａ）ステレオマイクにより検知された音声の左右の音量の差が小さければ小さいほど、キャラクターの向きが正面向きに近づき、
（ｂ）ステレオマイクにより検知された音声の左の音量が、右の音量よりも大きければ大きいほど、キャラクターの向きが左の所定角度の横向きに近づき、
（ｃ）ステレオマイクにより検知された音声の右の音量が、左の音量よりも大きければ大きいほど、キャラクターの向きが右の所定角度の横向きに近づく、
ように変化を決定する、
ことも可能である。
【００２８】
すなわち、
（ａ）ステレオマイクにより検知された音声の左右の音量の差が小さいということは、ユーザはステレオマイクの左右のマイクから等距離の位置にいる、すなわちユーザはステレオマイクに正対しているという状況であると通常考えられる。したがって本発明のキャラクター表示装置は、そのようなユーザとステレオマイクとの位置関係を模擬して、キャラクターの向きを正面向きに近づける。
一方で、
（ｂ）ステレオマイクにより検知された音声の左の音量が、右の音量よりも大きいということは、ユーザはステレオマイクの左側のマイクに近い位置にいる、すなわちユーザはステレオマイクの左側から話をしているという状況であると通常考えられる。したがって本発明のキャラクター表示装置は、そのようなユーザとステレオマイクとの位置関係を模擬して、キャラクターの向きを左の所定角度の横向き、例として左４５°あるいは左３０°などの角度の横向きに近づける。
さらにまた、
（ｃ）ステレオマイクにより検知された音声の右の音量が、左の音量よりも大きいということは、ユーザはステレオマイクの右側のマイクに近い位置にいる、すなわちユーザはステレオマイクの右側から話をしているという状況であると通常考えられる。したがって本発明のキャラクター表示装置は、そのようなユーザとステレオマイクとの位置関係を模擬して、キャラクターの向きを右の所定角度の横向き、例として右４５°あるいは右３０°などの角度の横向きに近づける。
【００２９】
また、本発明のキャラクター表示装置において、
決定部は、
（ｐ）検知された音声から所定の第１の区間長によって平均化された、第１の音量に基づいて、キャラクターの左右の向きの変化を決定し、
（ｑ）検知された音声から所定の第２の区間長によって平均化された、第２の音量に基づいて、キャラクターの上下の向きの変化を決定する、
ことも可能である。
【００３０】
すなわち、決定部は、検知部によって検知された音声から音量を取得する際に、２つの異なる区間長、すなわちサンプリング周期によって平均化し、それぞれから２種類の音量を取得する。例えば、所定の第１の区間長よりも、所定の第２の区間長を長い区間長に定めたときを考える。このとき、
（ｐ）ユーザの音声に高い周波数の成分が多く含まれていた場合、すなわちユーザの音声に高音成分が多く含まれていた場合に、第１の音量は大きくなる。そして、第１の音量に基づいて、キャラクターの左右の向きの変化を決定する。例えば、第１の音量が大きければ大きいほど、キャラクターの左右の向きを大きく変化させるように決定する。
一方で、
（ｑ）ユーザの音声に低い周波数の成分が多く含まれていた場合、すなわちユーザの音声に低音成分が多く含まれていた場合に、第２の音量は大きくなる。そして、第２の音量に基づいて、キャラクターの上下の向きの変化を決定する。例えば、第２の音量が大きければ大きいほど、キャラクターの上下の向きを大きく変化させるように決定する。
【００３１】
このような構成により、本発明のキャラクター表示装置は、１人のユーザが発した１つの音声から、画面内のキャラクターの異なる２つの向きの変化をさせることができる。その結果として、画面内のキャラクターにより複雑な動作をとらせ、臨場感や親近感を高めることができる。
【００３２】
また、本発明のキャラクター表示装置において、
更新部は、キャラクターの視線を正面に向けたまま、記憶された向きを更新する、
ことも可能である。
【００３３】
すなわち、キャラクターの向きが変化し、正面を向かずに横を向いているキャラクターが画面に表示される状況では、画面を見ているユーザにとっては、キャラクターがユーザに語りかけているように感じられないことが多くなると考えられる。そこで、本発明のキャラクター表示装置は、キャラクターが横を向いても、キャラクターの視線を常に正面に向けるようにする。その結果、横を向いているキャラクターにも、ユーザに語りかけるような画面を表示することができるようになる。
【００３４】
また、本発明のキャラクター表示装置において、
更新部は、角加速度が所定の閾値を超えないように、記憶された向きを更新する、
ことも可能である。
【００３５】
すなわち、仮想空間内で固定された向きに配置されていたキャラクターが、更新部によって別の向きに変化する際、急に大きく変化すると、生成されるキャラクター表示画面をみているプレイヤに不自然さ・不快さを与えることになりやすいと考えられる。これを避けるために、向きが変化する際の角加速度に所定の閾値を設けて、滑らかに向きを変化させることで、ユーザが快適にキャラクター表示画面を見ることができるようにする。
【００３６】
上記目的を達成するため、本発明の第２の観点に係るキャラクター表示方法は、記憶部、表示部、検知部、決定部、更新部を備えたキャラクター表示装置が実行するキャラクター表示方法であって、表示工程、検知工程、決定工程、更新工程を備える。
【００３７】
記憶部には、仮想空間内に配置されるキャラクターの向きが記憶される。
表示工程では、表示部が、キャラクターが記憶された向きで仮想空間内に配置された様子を表す画像を、画面に表示する。
検知工程では、検知部が、ユーザからの音声を検知する。
決定工程では、決定部が、検知された音声の音量に基づいて、キャラクターの向きの変化を決定する。
更新工程では、更新部が、決定された変化により、記憶された向きを更新する。
【００３８】
上記目的を達成するため、本発明の第３の観点に係るプログラムは、コンピュータを、上記のキャラクター表示装置として機能させ、コンピュータに、上記のキャラクター表示方法の各工程を実行させるように構成する。
【００３９】
また、本発明のプログラムは、コンパクトディスク、フレキシブルディスク、ハードディスク、光磁気ディスク、ディジタルビデオディスク、磁気テープ、半導体メモリ等のコンピュータ読み取り可能な情報記憶媒体に記録することができる。
【００４０】
上記プログラムは、プログラムが実行されるコンピュータとは独立して、コンピュータ通信網を介して配付・販売することができる。また、上記情報記憶媒体は、コンピュータとは独立して配付・販売することができる。
【発明の効果】
【００４１】
本発明によれば、キャラクターにユーザの音声に応じた動作をさせることで、ユーザの視覚に訴えながら、快適に会話を楽しむのに好適なキャラクター表示装置、キャラクター表示方法、ならびに、プログラムを提供することができる。
【図面の簡単な説明】
【００４２】
【図１】本発明の実施形態に係るキャラクター表示装置が実現される典型的な情報処理装置の概要構成を示す模式図である。
【図２】本発明のキャラクター表示装置に係る概要構成を示す模式図である。
【図３】キャラクター表示装置の表示画面の構成例を示した図である。
【図４】キャラクター表示装置の仮想空間内の様子を表した図である。
【図５】ユーザからの音声に基づいてキャラクター画像の向きが変化する様子を表した図である。
【図６】仮想空間内における仮想キャラクターの向きが変化する様子を表した図である。
【図７】実施形態１における、検知した音声の音量と、キャラクターの向きを定める角度との関係を示したグラフである。
【図８】実施形態１のキャラクター表示装置に係る処理の流れを示すフローチャートである。
【図９】（ａ）は、モノラルマイクに向けて異なる方向からユーザが発声している様子を表した図である。（ｂ）は、ステレオマイクに向けて異なる方向からユーザが発声している様子を表した図である。
【図１０Ａ】（ａ）、（ｂ）ともに、実施形態２のキャラクター表示装置において、左方向から音声が検知されたときの、仮想空間と表示画面の様子を示した図である。
【図１０Ｂ】（ａ）、（ｂ）ともに、実施形態２のキャラクター表示装置において、右方向から音声が検知されたときの、仮想空間と表示画面の様子を示した図である。
【図１１】実施形態２における、検知した音声の音量と、キャラクターの向きを定める角度との関係を示したグラフである。
【図１２】実施形態２のキャラクター表示装置に係る処理の流れを示すフローチャートである。
【図１３】（ａ）、（ｂ）ともに、実施形態３において、ユーザからの音声に基づいてキャラクター画像が変化する様子を表した図である。
【図１４】（ａ）は、実施形態３における、第１の音量とキャラクターの左右の向きを定める角度との関係を示した図である。（ｂ）は、実施形態３における、第２の音量とキャラクターの上下の向きを定める角度との関係を示した図である。
【図１５】実施形態３のキャラクター表示装置に係る処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００４３】
以下に本発明の実施形態を説明する。以下では、理解を容易にするため、ゲーム用の情報処理装置を利用して本発明が実現される実施形態を説明するが、以下に説明する実施形態は説明のためのものであり、本願発明の範囲を制限するものではない。したがって、当業者であればこれらの各要素を均等なものに置換した実施形態を採用することが可能であるが、これらの実施形態も本発明の範囲に含まれる。
【００４４】
（実施形態１）
図１は、本発明の実施形態に係るキャラクター表示装置が実現される典型的な情報処理装置の概要構成を示す模式図である。以下、本図を参照して説明する。
【００４５】
情報処理装置１００は、ＣＰＵ（Central Processing Unit）１０１と、ＲＯＭ １０２と、ＲＡＭ（Random Access Memory）１０３と、インターフェース１０４と、コントローラ１０５と、外部メモリ１０６と、画像処理部１０７と、ＤＶＤ−ＲＯＭ（Digital Versatile Disc ROM）ドライブ１０８と、ＮＩＣ（Network Interface Card）１０９と、音声処理部１１０と、マイク１１１と、を備える。
【００４６】
ゲーム用のプログラムおよびデータを記憶したＤＶＤ−ＲＯＭをＤＶＤ−ＲＯＭドライブ１０８に装着して、情報処理装置１００の電源を投入することにより、当該プログラムが実行され、本実施形態のキャラクター表示装置等が実現される。
【００４７】
ＣＰＵ １０１は、情報処理装置１００全体の動作を制御し、各構成要素と接続され制御信号やデータをやりとりする。また、ＣＰＵ １０１は、レジスタ（図示せず）という高速アクセスが可能な記憶域に対してＡＬＵ（Arithmetic Logic Unit）（図示せず）を用いて加減乗除等の算術演算や、論理和、論理積、論理否定等の論理演算、ビット和、ビット積、ビット反転、ビットシフト、ビット回転等のビット演算などを行うことができる。さらに、マルチメディア処理対応のための加減乗除等の飽和演算や、三角関数等、ベクトル演算などを高速に行えるように、ＣＰＵ １０１自身が構成されているものや、コプロセッサを備えて実現するものがある。
【００４８】
ＲＯＭ １０２には、電源投入直後に実行されるＩＰＬ（Initial Program Loader）が記録され、これが実行されることにより、ＤＶＤ−ＲＯＭに記録されたプログラムをＲＡＭ １０３に読み出してＣＰＵ １０１による実行が開始される。また、ＲＯＭ １０２には、情報処理装置１００全体の動作制御に必要なオペレーティングシステムのプログラムや各種のデータが記録される。
【００４９】
ＲＡＭ １０３は、データやプログラムを一時的に記憶するためのもので、ＤＶＤ−ＲＯＭから読み出したプログラムやデータ、その他ゲームの進行やチャット通信に必要なデータが保持される。また、ＣＰＵ １０１は、ＲＡＭ １０３に変数領域を設け、当該変数に格納された値に対して直接ＡＬＵを作用させて演算を行う、また、ＲＡＭ １０３に格納された値を一旦レジスタに格納してからレジスタに対して演算を行い、演算結果をメモリに書き戻す、などの処理を行う。
【００５０】
インターフェース１０４を介して接続されたコントローラ１０５は、ユーザがゲーム実行の際に行う操作入力を受け付ける。
【００５１】
インターフェース１０４を介して着脱自在に接続された外部メモリ１０６には、ゲーム等のプレイ状況（過去の成績等）を示すデータ、ゲームの進行状態を示すデータ、ネットワーク対戦の場合のチャット通信のログ（記録）のデータなどが書き換え可能に記憶される。ユーザは、コントローラ１０５を介して指示入力を行うことにより、これらのデータを適宜外部メモリ１０６に記録することができる。
【００５２】
ＤＶＤ−ＲＯＭドライブ１０８に装着されるＤＶＤ−ＲＯＭには、ゲームを実現するためのプログラムとゲームに付随する画像データや音声データが記録される。ＣＰＵ １０１の制御によって、ＤＶＤ−ＲＯＭドライブ１０８は、これに装着されたＤＶＤ−ＲＯＭに対する読み出し処理を行って、必要なプログラムやデータを読み出し、これらはＲＡＭ １０３等に一時的に記憶される。
【００５３】
画像処理部１０７は、ＤＶＤ−ＲＯＭから読み出されたデータをＣＰＵ １０１や画像処理部１０７が備える画像演算プロセッサ（図示せず）によって加工処理した後、これを画像処理部１０７が備えるフレームメモリ（図示せず）に記録する。フレームメモリに記録された画像情報は、所定の同期タイミングでビデオ信号に変換され画像処理部１０７に接続されるモニタ（図示せず）へ出力される。これにより、各種の画像表示が可能となる。
【００５４】
画像演算プロセッサは、２次元の画像の重ね合わせ演算やαブレンディング等の透過演算、各種の飽和演算を高速に実行できる。
【００５５】
また、仮想３次元空間に配置され、各種のテクスチャ情報が付加されたポリゴン情報を、Ｚバッファ法によりレンダリングして、所定の視点位置から仮想３次元空間に配置されたポリゴンを所定の視線の方向へ俯瞰したレンダリング画像を得る演算の高速実行も可能である。
【００５６】
さらに、ＣＰＵ １０１と画像演算プロセッサが協調動作することにより、文字の形状を定義するフォント情報にしたがって、文字列を２次元画像としてフレームメモリへ描画したり、各ポリゴン表面へ描画したりすることが可能である。フォント情報は、ＲＯＭ １０２に記録されているが、ＤＶＤ−ＲＯＭに記録された専用のフォント情報を利用することも可能である。
【００５７】
ＮＩＣ １０９は、情報処理装置１００をインターネット等のコンピュータ通信網（図示せず）に接続するためのものであり、ＬＡＮ（Local Area Network）を構成する際に用いられる１０ＢＡＳＥ−Ｔ／１００ＢＡＳＥ−Ｔ規格にしたがうものや、電話回線を用いてインターネットに接続するためのアナログモデム、ＩＳＤＮ（Integrated Services Digital Network）モデム、ＡＤＳＬ（Asymmetric Digital Subscriber Line）モデム、ケーブルテレビジョン回線を用いてインターネットに接続するためのケーブルモデム等と、これらとＣＰＵ １０１との仲立ちを行うインターフェース（図示せず）により構成される。
【００５８】
音声処理部１１０は、ＤＶＤ−ＲＯＭから読み出した音声データをアナログ音声信号に変換し、これに接続されたスピーカ（図示せず）から出力させる。また、ＣＰＵ １０１の制御の下、ゲームの進行の中で発生させるべき効果音や楽曲データを生成し、これに対応した音声をスピーカから出力させる。
【００５９】
音声処理部１１０では、ＤＶＤ−ＲＯＭに記録された音声データがＭＩＤＩデータである場合には、これが有する音源データを参照して、ＭＩＤＩデータをＰＣＭデータに変換する。また、ADPCM形式やOgg Vorbis形式等の圧縮済音声データである場合には、これを展開してＰＣＭデータに変換する。ＰＣＭデータは、そのサンプリング周波数に応じたタイミングでＤ／Ａ（Digital/Analog）変換を行って、スピーカに出力することにより、音声出力が可能となる。
【００６０】
さらに、情報処理装置１００には、インターフェース１０４を介してマイク１１１を接続することができる。この場合、マイク１１１からのアナログ信号に対しては、適当なサンプリング周波数でＡ／Ｄ変換を行い、ＰＣＭ形式のディジタル信号として、音声処理部１１０でのミキシング等の処理ができるようにする。
【００６１】
情報処理装置１００をカラオケ装置として利用する場合には、ＤＶＤ−ＲＯＭから読み出した音声データ、もしくは、ＮＩＣ １０９を介してコンピュータ通信網から取得した音声データを伴奏データとし、マイク１１１から入力された音声データを歌唱データとして、伴奏データと歌唱データを音声処理部１１０がミキシングし、スピーカから出力する。また、スピーカにかえて、ヘッドホン（図示せず）やイヤフォン（図示せず）を用いて、音声を出力させることもできる。
【００６２】
このほか、情報処理装置１００は、ハードディスク等の大容量外部記憶装置を用いて、ＲＯＭ １０２、ＲＡＭ １０３、外部メモリ１０６、ＤＶＤ−ＲＯＭドライブ１０８に装着されるＤＶＤ−ＲＯＭ等と同じ機能を果たすように構成してもよい。
【００６３】
また、ユーザからの文字列の編集入力を受け付けるためのキーボードや、各種の位置の指定および選択入力を受け付けるためのマウスなどを接続する形態も採用することができる。また、本実施形態の情報処理装置１００にかえて、汎用のパーソナルコンピュータを利用することもできる。
【００６４】
以上で説明した情報処理装置１００は、いわゆる「コンシューマ向けテレビゲーム装置」に相当するものであるが、仮想空間を表示するような画像処理を行うものであれば本発明を実現することができる。したがって、携帯電話、携帯ゲーム機器、カラオケ装置、一般的なビジネス用コンピュータなど、種々の計算機上で本発明を実現することが可能である。
【００６５】
例えば、一般的なコンピュータは、上記情報処理装置１００と同様に、ＣＰＵ、ＲＡＭ、ＲＯＭ、ＤＶＤ−ＲＯＭドライブ、及び、ＮＩＣを備え、情報処理装置１００よりも簡易な機能を備えた画像処理部を備え、外部記憶装置としてハードディスクを有する他、フレキシブルディスク、光磁気ディスク、磁気テープ等が利用できるようになっている。また、コントローラ１０５ではなく、キーボードやマウスなどを入力装置として利用する。
【００６６】
図２は、本発明のキャラクター表示装置に係る概要構成を示す模式図である。本発明のキャラクター表示装置２００は、典型的には上述した情報処理装置１００によって実現される。以下、本図を参照して概要構成を説明する。
【００６７】
キャラクター表示装置２００は、記憶部２０１、表示部２０２、検知部２０３、決定部２０４、更新部２０５を備える。
【００６８】
記憶部２０１では、仮想空間内に配置されるキャラクターの向きが記憶される。
【００６９】
すなわち、本実施形態では３次元の仮想空間を用意し、そこに所定の向きでキャラクターを配置する。所定の向きは、後述する更新部２０５によって更新され、そのつど更新された向きに配置されたキャラクターが記憶部２０１に記憶される。例えば、ＲＡＭ １０３等が、このような記憶部２０１として機能する。
【００７０】
表示部２０２は、キャラクターが記憶された向きで仮想空間内に配置された様子を表す画像を、画面に表示する。
【００７１】
すなわち、記憶部２０１に記憶された向きで仮想空間内に配置されたキャラクターを、同じく仮想空間内の所定の位置に配置された仮想カメラから見た画像を生成し、その画像をキャラクター表示装置２００の画面に表示する。例えば、画像処理部１０７が、このような表示部２０２として機能する。
【００７２】
検知部２０３は、ユーザからの音声を検知する。
【００７３】
すなわち、ユーザから発せられた音声を入力として受け付け、受け付けられた音声を決定部２０４へ供給する。例えば、インターフェース１０４に接続されたマイク１１１が、このような検知部２０３として機能する。
【００７４】
決定部２０４は、検知された音声の音量に基づいて、キャラクターの向きの変化を決定する。
【００７５】
すなわち、検知部２０３によってユーザから検知された音声から、所定のサンプリング周波数により音量を取得する。そして、取得された音量をもとに、仮想空間内のキャラクターの向きを変化させる量を決定する。例えば、ＣＰＵ １０１がＲＡＭ１０３等と協働することにより、このような決定部２０４として機能する。
【００７６】
更新部２０５は、決定された変化により、記憶された向きを更新する。
【００７７】
すなわち、決定部２０４によって決定された変化を受け取り、記憶部２０１に記憶されているキャラクターの向きを更新する。例えば、ＣＰＵ １０１がＲＡＭ１０３等と協働することにより、このような更新部２０５として機能する。
【００７８】
図３は、本発明のキャラクター表示装置２００に係る表示画面の構成例を示した図である。表示部２０２は、典型的には本図に示すような表示画面３００を、情報処理装置１００の画像表示部１０７を通じてモニタに表示する。
【００７９】
本図に示すように、表示画面３００には、キャラクター画像３０１とメッセージウィンドウ３０２の画像が含まれ、必要に応じて仮想世界を構成するその他の背景画像（本図では、キャラクター画像３０１が立っている道路や、その道路に沿って配置されている家の画像）が表示されている。これらの画像の生成には、通常のゲームやチャットシステム等に用いられるものと同様のグラフィックス技術を適用することが可能である。
【００８０】
キャラクター画像３０１は、仮想世界内でのユーザのいわゆる分身であり、特に離れた場所にいるユーザ同士がネットワーク上でコミュニケーションをとる場合に、表示画面３００にキャラクター画像３０１を表示することで相手のユーザにとって親しみを感じさせ、円滑なコミュニケーションを行えるようにするためのものである。本図では表示画面３００内にキャラクター画像３０１は１体しか表示されていないが、多数のユーザがネットワーク上でコミュニケーションをしている場合などにおいては、多数のユーザのそれぞれに対応した多数のキャラクター画像３０１が表示画面３００内に配置されていてもよい。
【００８１】
メッセージウィンドウ３０２は、ユーザ同士がネットワーク上でコミュニケーションをとる際のメッセージを、文字で表示する。表示されるメッセージは、検知部２０３によって検知されたユーザの音声を解析して、文字へと変換することにより生成されるものであってもよいし、検知部２０３によって検知されたユーザの音声とは別に、ユーザがキーボードなどの入力装置で入力されたメッセージであってもよい。また本実施形態では、必ずしもメッセージウィンドウ３０２は表示されなくてもよく、ユーザ同士が音声とキャラクター画像３０１の動作のみでコミュニケーションをとる形態であってもよい。
【００８２】
このような表示画面３００におけるキャラクター画像３０１を生成するために、本実施形態のキャラクター表示装置２００は、記憶部２０１内に３次元の仮想空間を用意し、当該仮想空間内に仮想キャラクターと仮想カメラを配置して、仮想カメラから撮影された仮想キャラクターの様子を表す画像を生成し、表示画面３００内に表示する。以下、図４を参照して説明する。
【００８３】
図４は、本発明のキャラクター表示装置２００に係る仮想空間内の様子を表した図である。本図は、３次元の仮想空間４００内に配置された仮想キャラクター４０１の上方向から見た仮想空間４００の様子を表している。仮想空間４００内には仮想カメラ４０２がさらに配置され、仮想キャラクター４０１の方へ向けられている。
【００８４】
この仮想カメラ４０２は、図３の表示画面３００に表示されていたキャラクター画像３０１を生成するために用いられるもので、表示部２０２は、仮想カメラ４０２から見た仮想キャラクター４０１の様子をもとに画像を生成し、それを図３における表示画面３００に表示する。すなわち、例えば、仮想空間４００内の仮想キャラクター４０１が、仮想カメラ４０２に対して正面を向くように配置されていれば、仮想カメラ４０２は正面向きのキャラクター画像３０１を生成して表示画面３００に表示する。また、仮想空間４００内の仮想キャラクター４０１が、仮想カメラ４０２に対して左を向くように配置されていれば、仮想カメラ４０２は左を向いたキャラクター画像３０１を生成して表示画面３００に表示する。さらに、仮想空間４００内の仮想キャラクター４０１が、仮想カメラ４０２に対して右を向くように配置されていれば、仮想カメラ４０２は右を向いたキャラクター画像３０１を生成して表示画面３００に表示する。
【００８５】
具体的に図４では、仮想キャラクター４０１は、仮想カメラ４０２の方向を０°（正面向き）として、仮想カメラ４０２から仮想キャラクター４０１へ向かって左へ所定角度４０３の横向きを向いて配置されている。すなわち、仮想カメラ４０２によって、仮想キャラクター４０１が左を向いた様子が映し出されており、これをもとにして生成されたキャラクター画像３０１は、図３のように、表示画面３００を見ているユーザから向かって左方向に横を向いている状態となる。
【００８６】
本実施形態ではこのように、仮想空間４００内において様々な方向を向いた仮想キャラクター４０１の様子をもとにして、表示画面３００内のキャラクター画像３０１を生成する。そして、このような仮想キャラクター４０１の向きは、検知部２０３によってユーザからの音声が検知されると変化する。以下、図５および図６を参照して説明する。
【００８７】
図５は、ユーザからの音声に基づいてキャラクター画像３０１の向きが変化する様子を表した図である。本図の表示画面３００内には、図３と同じように、キャラクター画像３０１、メッセージウィンドウ３０２、およびその他の背景画像が表示されている。さらに本図では、このような表示画面３００を表示しているキャラクター表示装置２００の表示部２０２には、モノラルマイク５０２が接続されており、表示画面３００を見ているユーザ５０１が、モノラルマイク５０２に向かって「Ｈｅｌｌｏ！！」と発声している状況が示されている。
【００８８】
すなわち、ここではキャラクター表示装置２００の検知部２０３は、モノラルマイク５０２によってユーザ５０１からの音声を検知する。なお、図５でのモノラルマイク５０２は、表示部２０２に有線で接続されているように書かれているが、必ずしもこれに限られず、無線通信によって接続されるものであってもよい。
【００８９】
そして、図５では、ユーザ５０１がモノラルマイク５０２に発声するのに伴って、表示画面３００内に表示されているキャラクター画像３０１の向きが、左向きから正面向きに変化している様子が示されている。すなわち、キャラクター画像３０１は、図３では左を向いていたのに対して、本図では表示画面３００を見ているユーザ５０１に対して、正面を向くように変化している。
【００９０】
なお、図５のメッセージウィンドウ３０２内には、ユーザ５０１が発声した「Ｈｅｌｌｏ！！」という音声に基づいて、「Ｈｅｌｌｏ！！」という会話内容３０４が表示されている。このような会話内容３０４は、例えば、ユーザ５０１がモノラルマイク５０２に向かって語りかけた音声を解析して、文字へと変換することによって表示される。
【００９１】
さらに、図６は、仮想空間４００内における仮想キャラクター４０１の向きが変化する様子を表した図である。本図は、図４と同様に、３次元の仮想空間４００内に配置された仮想キャラクター４０１の上方向から見た仮想空間４００の様子を表している。ただし、仮想キャラクター４０１は、図４では仮想カメラ４０２に対して所定角度４０３だけ左を向いていたのに対し、本図では仮想カメラ４０２に対して正面向きに変化している。
【００９２】
すなわち、図６は、図５のようにユーザ５０１が発した音声を、検知部２０３、すなわちモノラルマイク５０２が検知するのに伴って、仮想空間４００内の仮想キャラクター４０１の向きが正面向きに変化する様子を示している。そして、仮想カメラ４０２が、このように正面向きに変化した仮想キャラクター４０１の様子を映し出して、表示部２０２が、図５のような正面向きのキャラクター画像３０１を生成して表示画面３００内に表示する。
【００９３】
このように、本実施形態では、モノラルマイク５０２によって音声が検知されていない状態では、仮想キャラクター４０１は、図４のように仮想カメラ４０２に対して左へ所定角度４０３の横向きに配置され、それを反映して表示画面３００内には、図３のように左を向いたキャラクター画像３０１が表示される。一方で、モノラルマイク５０２によって音声が検知されると、仮想キャラクター４０１は、図６のように仮想カメラ４０２に対して正面を向くように変化し、それを反映して表示画面３００内には、図５のように正面を向いたキャラクター画像３０１が表示される。
【００９４】
ここで、本実施形態では、仮想キャラクター４０１およびキャラクター画像３０１の向きは、まったくランダムに変化するのではなく、モノラルマイク５０２によって検知された音声の音量に基づいて変化する。具体的に、本実施形態では、仮想空間４００内の仮想キャラクター４０１の向きの取りうる範囲を、仮想カメラ４０２に対して正面向きと、正面から左方向へ所定角度４０３の横向きと、の間とする。そして、キャラクター表示装置２００の検知部２０３は、モノラルマイク５０２によってユーザ５０１からの音声を検知し、決定部２０４は、検知部２０３により検知された音声の音量が大きければ大きいほど、仮想キャラクター４０１の向きが正面向きに近づくように、すなわち表示画面３００内に表示されているキャラクター画像３０１の向きが正面向きに近づくように、変化を決定する。このような音量と向きとの関係を、以下の図７を参照して詳細を説明する。
【００９５】
図７は、本実施形態における、検知部２０３が検知した音声の音量と、仮想キャラクター４０１の向きを定める角度との関係を示したグラフである。本図では、横軸に検知した音声の音量、縦軸に仮想キャラクター４０１の向きを定める角度をとり、右側ほど検知した音量が大きくなり、上側ほど仮想キャラクター４０１の向きが大きく左を向いているということを表している。
【００９６】
本図のグラフでは、検知された音声の音量が０のとき、仮想キャラクター４０１の向きを定める角度は、あらかじめ定められた左向きの所定角度４０３である。そして、検知された音声の音量が徐々に大きくなるにしたがって、仮想キャラクター４０１の向きを定める角度は、徐々に正面向きに近づいていく。そして検知された音声の音量が 所定の閾音量に達すると、角度は０°に達し、仮想キャラクター４０１は仮想カメラ４０２に対して真正面を向く。本図のグラフでは、さらに所定の閾音量以上の音量の音声を検知した場合にも、正面向きのままとなる。
【００９７】
すなわち、本実施形態では、ユーザ５０１が何も音声を検知していないと、キャラクター画像３０１は図３のように左を向いて表示されているが、ユーザ５０１がモノラルマイク５０２に向かって声を発すると、キャラクター画像３０１は徐々にその向きを変える。そして、検知された音声の音量が大きければ大きいほど、キャラクター画像３０１の向きを正面に近づける。そして最終的に、検知された音量が所定の閾音量に達すると、図５のようにキャラクター画像３０１は正面を向くことになる。
【００９８】
なお、図３〜図７では、音声が検知されていない状態では、仮想キャラクター４０１は左向きの所定角度４０３を向いている状態であったが、本実施形態ではこれに限られず、例えば、右向きであっても、左斜め下向きであってもよいものとする。
【００９９】
本実施形態では、さらに、仮想キャラクター４０１の向きを変化させる際に、表示画面３００内におけるキャラクター画像３０１の視線を正面に向けたまま変化させる。すなわち、更新部２０５は、キャラクター画像３０１の視線を正面に向けたまま、記憶部２０１に記憶された向きを更新する。
【０１００】
具体的に、図４および図６での仮想空間４００内の仮想キャラクター４０１において、仮想瞳４０４を別途用意する。そして、更新部２０５が仮想キャラクター４０１の向きを更新しても、仮想瞳４０４だけは常に仮想カメラ４０２の方向を向いているように位置を調整する。具体的に、図４では仮想キャラクター４０１は仮想カメラ４０２に対して所定角度４０３だけ左方向を向いており、図６では仮想キャラクター４０１は仮想カメラ４０２に対して正対しているが、どちらの図においても仮想瞳４０４は仮想カメラ４０２の方向を向いている。
【０１０１】
そのような仮想キャラクター４０１と仮想瞳４０４を見ている仮想カメラ４０２によって生成された画像が、図３および図５の表示画面３００内に表示される。具体的に、図３では、キャラクター画像３０１は、体全体は左方向を向いているが、瞳画像３０３だけは正面を向いている状態となっている。すなわち、キャラクター画像３０１の視線は正面を向いている。一方で、図５においては、キャラクター画像３０１は、体全体も正面を向いているし、瞳画像３０３も正面を向いている。
【０１０２】
このように、本実施形態では、仮想瞳４０４の位置を調整することで、キャラクター画像３０１の体全体の向きにかかわらず、瞳画像３０３が常に正面を向くようにする。その結果として、離れた場所にいるユーザ同士が、相手ユーザに対応するキャラクター画像３０１を見ながら会話をしているときに、キャラクター画像３０１が横を向いていても、相手が自分を無視して他の方向を向いているのではなく、自分の方を向いて会話をしているように見せることができ、会話を行っている臨場感を増すことができる。
【０１０３】
本実施形態では、さらに、仮想キャラクター４０１の向きを変化させる際に、角加速度が所定の閾値を超えないように変化させる。すなわち、更新部２０５は、角加速度が所定の閾値を超えないように、記憶部２０１に記憶された向きを更新する。
【０１０４】
すなわちここでは、向きがある方向に固定されていた仮想キャラクター４０１の向きが変化し始めるときや、向きが変化し終わるときに、特に焦点があてられている。すなわち、急に大きな角速度で仮想キャラクター４０１の向きが動き出したり、急にストップしたりするよりは、滑らかに、いわゆる粘性をもった動きで向きが変化した方が、表示画面３００のキャラクター３０１を見ているユーザにとって、より自然に感じられると考えられる。そのため、本実施形態では、仮想キャラクター４０１の向きが変化する角加速度に、所定の上限閾値を設ける。
【０１０５】
図８は、本発明の実施形態１のキャラクター表示装置２００に係る処理の流れを示すフローチャートである。ここまで説明してきた本実施形態におけるキャラクター表示装置２００において実現される処理の流れまとめて、以下に説明する。
【０１０６】
本処理が開始されると、キャラクター表示装置２００のＣＰＵ １０１は、記憶部２０１に記憶される情報等、ＲＡＭ １０３に用意される各種の情報の初期化を行う（ステップＳ８０１）。
【０１０７】
ついで、キャラクター表示装置２００は、所定角度４０３の左向きのキャラクター画像３０１を、表示画面３００に表示する（ステップＳ８０２）。ここでは、表示部２０２が、表示画面３００に表示すべき画像を生成し、所定の周期で行われる垂直同期割り込みを待ってから、その画像を、表示画面３００に表示する。具体的には、図４に示したように、仮想空間４００内に仮想キャラクター４０１を、仮想カメラ４０２に対して左に所定角度４０３だけ横を向いた状態で配置し、表示部２０２が、その仮想カメラ４０２から見た画像を生成し、図３に示したような左を向いたキャラクター画像３０１を、その他の画像とともに表示画面３００に表示する。
【０１０８】
そして、キャラクター表示装置２００は、ユーザ５０１から音声を検知したかどうかを判定する（ステップＳ８０３）。すなわち、検知部２０３が、ユーザ５０１から発せられた音声を受け付け、検知する。ここで検知されなかったと判定された場合（ステップＳ８０３；ＮＯ）、本フローチャートの処理はステップＳ８０２へ戻り、所定角度４０３の横向きのキャラクター画像３０１を、表示画面３００に表示する処理を行う。すなわち、検知部２０３によって音声が検知されない限り、本実施形態のキャラクター表示装置２００は、所定角度４０３の横向きの、すなわち初期の向きのキャラクター画像３０１を表示し続けることになる。
【０１０９】
一方、検知部２０３によって音声を検知したと判定された場合（ステップＳ８０３；ＹＥＳ）、キャラクター表示装置２００は、検知された音声の音量に基づき、仮想キャラクター４０１の向きの変化を決定する（ステップＳ８０４）。すなわち、決定部２０４が、検知された音声から音量を取得し、その音量の値をもとに、仮想空間４００内における仮想キャラクター４０１の向きを変化させるべき角度を求める。
【０１１０】
本実施形態では、向きを変化させるべき角度は、図７に示した音量と角度の関係から求められる。すなわち、音量が大きければ大きいほど、向きは所定角度４０３の横向きから正面向きへと近づき、最終的に所定の閾音量以上を検知すると、仮想キャラクター４０１は仮想カメラ４０２に対して真正面を向くようになる。
【０１１１】
さらに本実施形態におけるキャラクター表示装置２００は、決定された変化により、仮想キャラクター４０１の向きを更新する（ステップＳ８０５）。すなわち、決定部２０４によって決定された仮想キャラクター４０１の向きの変化させる角度だけ、更新部２０５が、実際に仮想空間４００内の仮想キャラクター４０１の向きを更新する。例えば、決定部２０４によって仮想キャラクター４０１の向きを正面向きに変化させることが決定された場合には、図５に示したように、仮想キャラクター４０１は仮想カメラ４０２に対して正面を向くように向きを変化させられる。
【０１１２】
ここで本実施形態では、仮想キャラクター４０１の向きを更新する際、角加速度が所定の閾値を超えたかどうかを判定する（ステップＳ８０６）。すなわち、後述するステップＳ８０９において、向きの更新されたキャラクター画像３０１が、所定の垂直同期割り込みを待って表示画面３００に表示されるが、そこで表示される向きの変化が、それまでに表示されていた向きの変化から比べて、変化の度合い（角加速度）が大きすぎないかを判定する。
【０１１３】
そして、超えたと判定された場合（ステップＳ８０６；ＹＥＳ）、更新部２０５は、角加速度が所定の閾値を超えないように調整し直して、向きを更新する（ステップＳ８０７）。すなわちここでは、ステップＳ８０５にて更新した向きよりも、単位時間当たりにおいて少ない角度変化をさせるような更新をすることになる。その後、ステップＳ８０８の処理へ移行する。一方で、角加速度が所定の閾値を超えないと判定された場合は（ステップＳ８０６；ＮＯ）、ここでは何も行わず、次のステップＳ８０８の処理へ進む。
【０１１４】
そして本実施形態ではさらに、キャラクター画像３０１の視線が正面を向くように、仮想キャラクター４０１の仮想瞳４０４の位置を調整する（ステップＳ８０８）。すなわち、更新部２０５が、仮想空間４００内の仮想キャラクター４０１における仮想瞳４０４の位置を調整することで、仮想キャラクター４０１がどの方向を向いていても、仮想カメラ４０２へ視線を向けるようにする。
【０１１５】
そして、更新された向きのキャラクター画像３０１を表示画面３００に表示する（ステップＳ８０９）。ここではステップＳ８０２と同様に、表示部２０２が、表示画面３００に表示すべき画像を生成し、所定の周期で行われる垂直同期割り込みを待ってから、その画像を、表示画面３００に表示する。具体的には、表示部２０２が、ここまでの処理において更新された仮想空間４００内の仮想キャラクター４０１の様子を表す画像を生成して、表示画面３００に表示する。
【０１１６】
その後、本実施形態のキャラクター表示装置２００の処理は、ステップＳ８０３へと戻り、再びユーザ５０１から音声を検知したかどうかを判定する。すなわち、ユーザ５０１からの音声を検知部２０３が検知している限り、本実施形態のキャラクター表示装置２００は、ステップＳ８０４〜Ｓ８０９までの処理を、垂直同期ごとに繰り返すことになる。一方で、ステップＳ８０３において音声を検知しなければ、処理はステップＳ８０２へ戻り、所定角度４０３の横向きの、すなわち初期の向きのキャラクター画像３０１を表示し直すことになる。
【０１１７】
このような構成により、本実施形態におけるキャラクター表示装置２００は、ユーザ５０１からの音声の音量に基づいて、表示画面３００内に表示されるキャラクター画像３０１の向きを変化させ、音量が大きければ大きいほど正面向きに近づける。すなわち、ユーザ５０１がモノラルマイク５０２に向かって発声すると、ユーザ５０１に対応付けられたキャラクター画像３０１が、横向きから正面向きへ変化する。
【０１１８】
その結果、離れた場所にいるユーザ同士がコミュニケーションをとる際に、ユーザは、音声のみ、あるいは音声と文字のみによって会話をするのではなく、音声に反応して向きを変えるキャラクター画像３０１を見ながら、会話を楽しむことができるようになる。
【０１１９】
（実施形態２）
次に、本発明の実施形態２について説明する。実施形態１では、モノラルマイク５０２により検知したユーザ５０１の音声の音量が大きければ大きいほど、表示画面３００内に表示されるキャラクター画像３０１の向きを正面に近づけた。本実施形態では、ステレオマイクによってユーザの音声を検知し、検知されたステレオマイクの左右の音声の音量の差に基づいて、表示画面３００内に表示されるキャラクター画像３０１の向きを変化させる。すなわち、本実施形態では、検知部２０３は、ステレオマイクにより音声を検知し、決定部２０４は、ステレオマイクにより検知された音声の左右の音量の差に基づいて、仮想キャラクター４０１の向きの変化を決定する。
【０１２０】
図９は、モノラルマイクとステレオマイクの比較を説明するため、マイクに向けて異なる方向からユーザが発声している様子を表した図である。とくに、図９（ａ）は、モノラルマイク５０２に対して、また図９（ｂ）は、ステレオマイク５０３に対して、ユーザ５０１が左の位置５１０ａと右の位置５１０ｂとの間で位置を変化させて発声している様子を表した図である。
【０１２１】
図９（ａ）のように、モノラルマイク５０２によって音声を検知する場合は、ユーザ５０１の位置による変化を捉えることはできない。すなわち、例えば、ユーザ５０１が左の位置５１０ａから音声を発した場合と、右の位置５１０ｂから音声を発した場合とで、どちらもモノラルマイク５０２から同じ距離を離れて同じ大きさで音声を発しているとすると、どちらの場合でも同じ音量の音声が検知されるだけであり、その差異は検知されない。そのため、モノラルマイク５０２を用いていた実施形態１におけるキャラクター表示装置２００は、左の方向から検知した音声であっても、あるいは右の方向から検知した音声であっても、検知された音声の音量に基づいて、同様に仮想キャラクター４０１の向きを変化させた。
【０１２２】
一方で、図９（ｂ）では、ステレオマイク５０３は左のマイク５０４ａと右のマイク５０４ｂという、左右２箇所にマイクを有している。そのため、検知された音声が、例えばユーザ５０１が左の位置５１０ａから発した音声なのか、ユーザ５０１が右の位置５１０ｂから発した音声なのか、を判別することができるようになる。具体的には、ユーザ５０１が左の位置５１０ａからステレオマイク５０３に向かって発声しているときは、左のマイク５０４ａで検知された音声の音量は、右のマイク５０４ｂで検知された音声の音量よりも大きくなる。あるいは一方で、ユーザ５０１が右の位置５１０ｂからステレオマイク５０３に向かって発声しているときは、右のマイク５０４ｂで検知された音声の音量は、左のマイク５０４ａで検知された音声の音量よりも大きくなる。また、図９（ｂ）には示されていないが、ユーザ５０１がステレオマイク５０３に対して正面から発声しているときは、左右のマイク５０４ａ，５０４ｂでは同じ音量が検知されることになる。
【０１２３】
なお、図９（ｂ）でのステレオマイク５０３は、左右の異なる２箇所に左のマイク５０４ａと右のマイク５０４ｂを配置したが、本実施形態におけるステレオマイク５０３はこれに限られず、左方向からの音声を捉えるマイクと右方向からの音声を捉えるマイクを１箇所に配置するタイプのものであってもよい。
【０１２４】
また、図９（ａ）および図９（ｂ）において、左の位置５１０ａにいるユーザ５０１と、右の位置５１０ｂにいるユーザ５０１とは、同一のユーザ５０１が位置を変えて発声していることを前提として説明したが、異なるユーザ５０１が同時に発声しているとしてもよい。後者の場合でも上記と同様に、モノラルマイク５０２は、検知された音声がどちらの位置にいるユーザ５０１からのものであるのかを判別することはできないし、ステレオマイク５０３は、左右のマイク５０４ａ，５０４ｂにおいて検知された音声の音量の差によって、どちらの位置にいるユーザ５０１からの音声であるかを判別することができる。
【０１２５】
本実施形態では、このような左右のマイク５０４ａ，５０４ｂで得られる音量の差を利用して、表示画面３００内のキャラクター画像３０１の左右の向きを変化させる。そのために、実施形態１と同様に、記憶部２０１内に仮想空間４００を用意して、その中に仮想キャラクター４０１を配置し、仮想キャラクター４０１の左右の向きを、左右のマイク５０４ａ，５０４ｂで得られる音量の差に基づいて変化させる。ここでの仮想キャラクター４０１の向きは、実施形態１では正面向きと所定角度４０３の左向きとの間を変化したが、本実施形態では、正面向きから左右どちらの方向にも変化する。
【０１２６】
より具体的に、本実施形態では、仮想キャラクター４０１の向きが取りうる範囲は、正面向きを含む左右それぞれの所定角度４０３の横向きの間であり、決定部２０４は、
（ａ）ステレオマイク５０３により検知された音声の左右の音量の差が小さければ小さいほど、仮想キャラクター４０１の向きが正面向きに近づき、
（ｂ）ステレオマイク５０３により検知された音声の左の音量が、右の音量よりも大きければ大きいほど、仮想キャラクター４０１の向きが左の所定角度４０３の横向きに近づき、
（ｃ）ステレオマイク５０３により検知された音声の右の音量が、左の音量よりも大きければ大きいほど、仮想キャラクター４０１の向きが右の所定角度４０３の横向きに近づく、
ように変化を決定する。以下、図１０Ａおよび図１０Ｂを参照して説明する。
【０１２７】
図１０Ａは、本実施形態のキャラクター表示装置２００において、左方向から音声が検知されたときの、仮想空間４００（図１０Ａ（ａ））と表示画面３００（図１０Ａ（ｂ））の様子を示した図である。一方で、図１０Ｂは、本実施形態のキャラクター表示装置２００において、右方向から音声が検知されたときの、仮想空間４００（図１０Ｂ（ａ））と表示画面３００（図１０Ｂ（ｂ））の様子を示した図である。図１０Ａおよび図１０Ｂにおける仮想空間４００、そして表示画面３００は、実施形態１において説明したものと同様の構成要素からなっている。ただし、ここでは表示画面３００を表示しているキャラクター表示装置２００の表示部２０２には、ステレオマイク５０３が接続されており、表示画面３００を見ているユーザ５０１が、ステレオマイク５０３に向かって「Ｈｅｌｌｏ！！」と発声している状況が示されている。そして、ステレオマイク５０３によって検知された音声に基づいて、仮想キャラクター４０１、およびキャラクター画像３０１のとりうる向きが左右に変化している。
【０１２８】
まず、図１０Ａ（ｂ）では、ユーザ５０１は、ステレオマイク５０３の左側から、「Ｈｅｌｌｏ！！」と発声している。この状況では、ステレオマイク５０３の左のマイク５０４ａによって検知された音量は、右のマイク５０４ｂによって検知された音量よりも大きくなる。そのため、図１０Ａ（ａ）における仮想キャラクター４０１の向きは、仮想カメラ４０２に対して左を向く。そして、この左を向いた仮想キャラクター４０１をもとにして生成された表示画面３００内のキャラクター画像３０１は、図１０Ａ（ｂ）に示されるように、左を向く。
【０１２９】
一方で、図１０Ｂ（ｂ）では、ユーザ５０１は、ステレオマイク５０３の右側から、「Ｈｅｌｌｏ！！」と発声している。この状況では、ステレオマイク５０３の右のマイク５０４ｂによって検知された音量は、左のマイク５０４ａによって検知された音量よりも大きくなる。そのため、図１０Ｂ（ａ）における仮想キャラクター４０１の向きは、仮想カメラ４０２に対して右を向く。そして、この右を向いた仮想キャラクター４０１をもとにして生成された表示画面３００内のキャラクター画像３０１は、図１０Ｂ（ｂ）に示されるように、右を向く。
【０１３０】
すなわち、ユーザ５０１がステレオマイク５０３の左側から会話をすると、キャラクター画像３０１も左を向き、あたかもキャラクターも左側から会話をしているように見せかけることができる。同様に、ユーザ５０１がステレオマイク５０３の右側から会話をすると、キャラクター画像３０１も右を向き、あたかもキャラクターも右側から会話をしているように見せかけることができる。
【０１３１】
なお、本実施形態では、実施形態１と同様に、仮想キャラクター４０１の向きを変化させる際に、表示画面３００内におけるキャラクター画像３０１の視線を正面に向けたまま変化させてもよい。すなわち、図１０Ａ（ａ）および図１０Ｂ（ａ）における仮想キャラクター４０１の中に仮想瞳４０４を用意し、仮想キャラクター４０１が仮想カメラ４０２に対して左あるいは右を向いても、仮想瞳４０４は仮想カメラ４０２の方向を向くように配置する。その結果、図１０Ａ（ｂ）および図１０Ｂ（ｂ）において、表示画面３００内に表示されるキャラクター画像３０１は、体全体の向きにかかわらず、瞳画像３０３を正面に向けたまま、すなわち視線を正面に向けたままとなる。
【０１３２】
図１１は、本実施形態における、検知した音声の音量と、仮想キャラクター４０１の向きを定める角度との関係を示したグラフである。図１０Ａおよび図１０Ｂにおいて説明されたような、検知された音声に基づく仮想キャラクター４０１の向きの変化を、本図を参照してより定量的に説明する。
【０１３３】
図１１では、横軸に、ステレオマイク５０３で検知された左右の音量の差を、右のマイク５０４ｂの音量から左のマイク５０４ａの音量を引いた値でとっており、グラフの右側ほど右のマイク５０４ｂの音量が左のマイク５０４ａの音量より大きくなり、左側ほど左のマイク５０４ａの音量が右のマイク５０４ｂの音量より大きくなる。また、縦軸に、仮想キャラクター４０１の向きを定める角度を示しており、仮想キャラクター４０１の向きは、グラフの上側ほど左向きの度合いが大きくなり、下側ほど右向きの度合いが大きくなる。本実施形態での仮想キャラクター４０１は、ステレオマイク５０３によって検知された左右の音量をもとに、本図のような角度の向きをとる。
【０１３４】
すなわちまず、左右のマイク５０４ａ，５０４ｂで検知された音量に差がないときは、仮想キャラクター４０１の向きを定める角度は０°、すなわち正面向きになる。一方で、左のマイク５０４ａで検知された音量が、右のマイク５０４ｂで検知された音量よりも大きくなると、仮想キャラクター４０１の向きは、その音量の差に比例した角度で、左向きになる。逆に、右のマイク５０４ｂで検知された音量が、左のマイク５０４ａで検知された音量よりも大きくなると、仮想キャラクター４０１の向きは、その音量の差に比例した角度で、右向きになる。そして、左右の音量の差が所定の閾音量に達すると、仮想キャラクター４０１の向きは、所定角度４０３の左向きあるいは右向きとなる。本実施形態では、音量の差がそれ以上となっても仮想キャラクター４０１の向きは所定角度４０３の左向きあるいは右向きのままとなる。
【０１３５】
このような構成によって、ユーザ５０１がステレオマイク５０３に向かって話しかける方向を反映させて、表示画面３００に表示されるキャラクター画像３０１の向きを変化させることができる。
【０１３６】
図１２は、本発明の実施形態２のキャラクター表示装置２００に係る処理の流れを示すフローチャートである。ここまで説明してきた本実施形態における処理の流れをまとめて、以下に説明する。本フローチャートは、実施形態１におけるフローチャート（図８）のものと基本的には同じであるが、図８におけるステップＳ８０２とステップＳ８０４の処理（図１２にて点線で囲われた部分）において違いがある。
【０１３７】
すなわち本実施形態のキャラクター表示装置２００は、本処理が開始され、各種の情報の初期化を行った（ステップＳ８０１）後、表示部２０２が、正面向きのキャラクター画像３０１を、垂直同期割り込みを待った後で、表示画面３００に表示する（ステップＳ１２０１）。すなわち、検知部２０３によって音声が検知されていない状況において、実施形態１では所定角度４０３の横向きのキャラクター画像３０１を表示画面３００に表示したが、本実施形態で表示するキャラクター画像３０１は正面向きとなる。
【０１３８】
さらに本実施形態では、検知部２０３が、ユーザ５０１から音声を検知したかどうかを判定し（ステップＳ８０３）、検知されたと判定された場合（ステップＳ８０３；ＹＥＳ）、決定部２０４が、検知された音声の左右の音量の差に基づき、仮想キャラクター４０１の向きの変化を決定する（ステップＳ１２０２）。すなわち、実施形態１ではモノラルマイク５０２で検知された音声の音量に基づいて向きを決定したのに対して、本実施形態では、ステレオマイク５０３で検知された音声の左右の音量の差に基づいて向きを決定する。このとき、図１１に示した左右の音量の差と仮想キャラクター４０１の向きを定める角度との関係を用いる。
【０１３９】
本実施形態ではその後、実施形態１と同様に、更新部２０５が仮想キャラクター４０１の向きを更新し、表示部２０２が更新された向きのキャラクター画像３０１を、垂直同期を待って表示画面３００に表示するまでの処理（ステップＳ８０５〜Ｓ８０９）を行い、ステップＳ８０３へ戻って、検知部２０３による音声の検知の判定を再び行う。
【０１４０】
そして、ユーザ５０１からの音声が検知されている間は、垂直同期ごとに、ステップＳ１２０２、およびステップＳ８０５〜Ｓ８０９までの処理を繰り返して、左右の向きを更新したキャラクター画像３０１を表示画面３００に表示することになる。
【０１４１】
このような構成により、本実施形態におけるキャラクター表示装置２００は、ステレオマイク５０３が検知した左のマイク５０４ａの音量が大きいと、表示画面３００内のキャラクター画像３０１が左を向き、右のマイク５０４ｂの音量が大きいと、キャラクター画像３０１は右を向く。すなわち、ステレオマイク５０３に対するユーザ５０１の相対的な位置を反映した向きを、ユーザ５０１に対応付けられたキャラクター画像３０１にとらせることができる。
【０１４２】
その結果、離れた場所にいるユーザ同士がコミュニケーションをとる際に、相手がどちらの方向から話しているのかを確認しながら会話を進めることができるようになり、ユーザは、より臨場感を持ってスムーズに会話を楽しむことができるようになる。
【０１４３】
（実施形態３）
次に、本発明の実施形態３について説明する。実施形態１および２では、モノラルマイク５０２もしくはステレオマイク５０３によって検知されたユーザからの音声の音量に基づいて、表示画面３００内のキャラクター画像３０１の左右の向きが変化した。本実施形態では、ユーザの音声から２種類の音量を取得し、それぞれに基づいて、キャラクター画像３０１の左右の向きだけでなく、上下の向きも変化させる。
【０１４４】
すなわち、これまでの実施形態１および２では、検知部２０３によって検知された音声から、決定部２０４が音量を取得するときには、音声を所定の区間長によって平均化することで取得した。本実施形態では、異なる２つの時間長、すなわち所定の第１の区間長と所定の第２の区間長とによって別々に平均化し、それぞれ第１の音量と第２の音量の２つの音量を得る。
【０１４５】
例えば本実施形態では、所定の第１の区間長を、所定の第２の区間長よりも、長い区間長にとる。この場合、所定の第１の区間長によって平均化された第１の音量は、ユーザから発せられた音声に周波数の低い成分、すなわち低い音の成分がより多く含まれていた場合に、大きくなる。これに対して、所定の第２の区間長によって平均化された第２の音量は、ユーザから発せられた音声に周波数の高い成分、すなわち高い音の成分がより多く含まれていた場合に、大きくなる。
【０１４６】
このように取得された第１の音量と第２の音量に基づいて、本実施形態のキャラクター表示装置２００は、仮想キャラクター４０１の左右の向きと上下の向きをそれぞれ変化させる。具体的には、決定部２０４が、
（ｐ）検知された音声から所定の第１の区間長によって平均化された、第１の音量に基づいて、仮想キャラクター４０１の左右の向きの変化を決定し、
（ｑ）検知された音声から所定の第２の区間長によって平均化された、第２の音量に基づいて、仮想キャラクター４０１の上下の向きの変化を決定する。
そして、実施形態１および２と同様に、更新部２０５が、決定された左右および上下の変化により記憶された向きを更新し、表示部２０２が、左右および上下の向きが更新された仮想キャラクター４０１の様子を表す画像を生成し、表示画面３００内にキャラクター画像３０１として表示する。以下、図１３を参照して説明する。
【０１４７】
図１３は、本実施形態において、ユーザ５０１からの音声に基づいてキャラクター画像３０１が変化する様子を表した図である。ここで図１３（ａ）、（ｂ）ともに、実施形態１における図３および図５、そして実施形態２における図１０Ａ（ｂ）および図１０Ｂ（ｂ）と同じく、表示画面３００内にはキャラクター画像３０１とメッセージウィンドウ３０２、そしてその他の背景画像が表示されている。そして、表示画面３００を表示しているキャラクター表示装置２００の表示部２０２には、モノラルマイク５０２が接続されている。
【０１４８】
図１３（ａ）では、ユーザ５０１はモノラルマイク５０２へ向けて何も音声を発していない。このとき、キャラクター画像３０１は、表示画面３００を見ているユーザ５０１から見て左方向を向いており、かつキャラクター画像３０１の頭部分は、下方向を向いている。本実施形態では、検知部２０３が音声をまだ何も検知していない状態、すなわち初期状態では、キャラクター画像３０１は、このような図１３（ａ）に示されるような向きにあるとする。ここから検知部２０３が音声を検知すると、すなわちユーザ５０１が
モノラルマイク５０２に向かって声を発すると、キャラクター画像３０１の向きは、図１３（ｂ）に示されたような向きに変化する。
【０１４９】
図１３（ｂ）では、ユーザ５０１はモノラルマイク５０２へ向けて「Ｈｅｌｌｏ！！」と発声している。このとき、キャラクター画像３０１は、図１３（ａ）から比べて、左右の向きは正面向きとなり、かつ頭部分は、上方向を向いている。すなわちここでは、検知された音声から、所定の第１の区間長によって平均化された第１の音量により、キャラクター画像３０１の向きが左向きから正面向きへ変化しており、さらに、検知された音声から、所定の第２の区間長によって平均化された第２の音量により、キャラクター画像３０１の頭部分の向きが下向きから上向きへ変化している。このような仮想キャラクター４０１の向きの変化を、図１４を参照してより定量的に説明する。
【０１５０】
図１４は、実施形態３における、検知部２０３が検知した音声の音量と、仮想キャラクター４０１の向きを定める角度との関係を示したグラフである。とくに、図１４（ａ）は、第１の音量と仮想キャラクター４０１の左右の向きを定める角度との関係を示した図であり、図１４（ｂ）は、第２の音量と仮想キャラクター４０１の上下の向きを定める角度との関係を示した図である。ここで、横軸には検知した音声から取得した第１の、または第２の音量をとり、グラフの右側ほど音量は大きくなる。そして、縦軸には仮想キャラクター４０１の左右、または上下の向きを定める角度をとり、グラフの上側ほど、仮想キャラクター４０１の向きは大きく左、または上を向いているということを表している。
【０１５１】
まず、図１４（ａ）において、第１の区間長によって平均化された第１の音量がない場合には、仮想キャラクター４０１は、あらかじめ定められた所定角度４０３の左向きにある。ここから第１の音量が徐々に大きくなるにしたがって、仮想キャラクター４０１の向きは、徐々に正面向きに近づいていく。そして第１の音量が所定の第１の閾音量に達すると、角度は０°に達し、仮想キャラクター４０１は仮想カメラ４０２に対して真正面を向く、すなわちキャラクター画像３０１は表示画面３００内において正面向きに表示されることになる。さらに所定の第１の閾音量以上の第１の音量を含む音声を検知した場合にも、正面向きのままとなる。
【０１５２】
一方、図１４（ｂ）において、第２の区間長によって平均化された第２の音量がない場合には、仮想キャラクター４０１は、あらかじめ定められた所定の下向き角度の向きにある。ここから第２の音量が徐々に大きくなるにしたがって、仮想キャラクター４０１は、徐々に上へ向きを変化させる。そして第２の音量が所定の第２の閾音量に達すると、角度は所定の上向き角度に達し、上を向いたキャラクター画像３０１が表示画面３００内に表示されることになる。さらに所定の第２の閾音量以上の第２の音量を含む音声を検知した場合にも、所定の上向き角度の向きのままとなる。
【０１５３】
なお、本実施形態での検知部２０３は、モノラルマイク５０２に限られず、ステレオマイク５０３であってもよい。ステレオマイク５０３を用いる場合は、左右のマイク５０４ａ，５０４ｂにおいて検知された音声のそれぞれから、第１の区間長によって平均化された第１の音量と、第２の区間長によって平均化された第２の音量とを取得する。そして、例えば、左右のマイク５０４ａ，５０４ｂにおける第１の音量の差と、第２の音量の差に基づいて、それぞれキャラクター画像３０１の左右の向きと上下の向きとを変化させる、という形態にすることができる。
【０１５４】
このようにユーザ５０１が声を発したのに応じて左右の向きを正面向きに変化させるだけでなく、上下の向きを上向きに変化させることで、あたかもキャラクター画像３０１が頭を上げて話をしているかのように見せかけることができ、会話をしている相手のユーザにとってより臨場感をもって会話をすることができるようになる。
【０１５５】
図１５は、本発明の実施形態３のキャラクター表示装置２００に係る処理の流れを示すフローチャートである。ここまで説明してきた本実施形態における処理の流れをまとめて、以下に説明する。本フローチャートは、実施形態１におけるフローチャート（図８）のものを基本的には踏襲しているが、図８におけるステップＳ８０２、Ｓ８０４、Ｓ８０５の処理にかわり、本実施形態の独自の処理（図１５にて点線で囲われた部分）が入る。
【０１５６】
すなわち本実施形態のキャラクター表示装置２００は、本処理が開始され、各種の情報の初期化を行った（ステップＳ８０１）後、表示部２０２が、所定角度４０３の左向き、および所定の下向き角度のキャラクター画像３０１を、垂直同期割り込みを待った後で、表示画面３００に表示する（ステップＳ１５０１）。すなわち、検知部２０３によって音声が検知されていない状況において、本実施形態ではまず初期状態として、図１３（ａ）に示したような向きのキャラクター画像３０１が表示される。
【０１５７】
さらに本実施形態では、検知部２０３が、ユーザ５０１から音声を検知したかどうかを判定し（ステップＳ８０３）、検知されたと判定された場合（ステップＳ８０３；ＹＥＳ）、決定部２０４が、まず検知された音声から所定の第１の区間長によって平均化された第１の音量を取得する（ステップＳ１５０２）。ここで、平均化するためにとる第１の区間（区間長をＴ１とする）は、現時刻をｔ１として、時刻ｔ１−Ｔ１から時刻ｔ１までの間の区間、とする。すなわち、検知された音声を、現時刻ｔ１を基準に、過去Ｔ１の時間の間で平均化することで、第１の音量を得る。
【０１５８】
そして、得られた第１の音量に基づき、仮想キャラクター４０１の左右の向きの変化を決定する（ステップＳ１５０３）。ここでの向きの変化の決定には、図１４（ａ）に示した第１の音量と仮想キャラクター４０１の左右の向きを定める角度との関係を用いる。
【０１５９】
引き続きその後、検知された音声から所定の第２の区間長によって平均化された第２の音量を取得する（ステップＳ１５０４）。ここで、平均化するためにとる第２の区間（区間長をＴ２とする）は、現時刻をｔ２として、時刻ｔ２−Ｔ２から時刻ｔ２までの間の区間、とする。すなわち、検知された音声を、現時刻ｔ２を基準に、過去Ｔ２の時間の間で平均化することで、第２の音量を得る。
【０１６０】
そして、得られた第２の音量に基づき、仮想キャラクター４０１の上下の向きの変化を決定する（ステップＳ１５０５）。ここでの向きの変化の決定には、図１４（ｂ）に示した第２の音量と仮想キャラクター４０１の上下の向きを定める角度との関係を用いる。
【０１６１】
このように仮想キャラクター４０１の左右と上下の向きの変化が決定されると、さらに本実施形態におけるキャラクター表示装置２００は、更新部２０５が、決定された変化により、仮想キャラクター４０１の左右と上下向きを更新する（ステップＳ１５０６）。
【０１６２】
なお、上記のステップＳ１５０２とステップＳ１５０４の処理は、時系列順に行うように述べたが、同時に行ってもよい。すなわち、検知された音声から、所定の第１の区間長Ｔ１によって平均化する処理と、所定の第２の区間長Ｔ２によって平均化する処理とは、同じ時刻ｔ０を基準として、時刻ｔ０−Ｔ１から時刻ｔ０までの間の区間と、時刻ｔ０−Ｔ２から時刻ｔ０までの間の区間とから平均化してもよい。
【０１６３】
本実施形態ではその後、実施形態１と同様に、向きを更新する際に角加速度が所定の閾値を超えたかどうかを判定する処理から、表示部２０２が更新された向きのキャラクター画像３０１を、垂直同期を待ってから表示画面３００に表示するまでの処理（ステップＳ８０６〜Ｓ８０９）を行い、ステップＳ８０３へ戻って、検知部２０３による音声の検知の判定を再び行う。
【０１６４】
そして、ユーザ５０１からの音声が検知されている間は、ステップＳ１５０２〜Ｓ１５０６、ステップＳ８０６〜Ｓ８０９までの処理を繰り返すことになる。すなわち、垂直同期ごとに、２つの区間長（Ｔ１とＴ２）で平均化された２つの音量を取得し、それに基づいて左右と上下の向きを更新したキャラクター画像３０１を表示画面３００に表示することになる。
【０１６５】
このような構成により、本実施形態におけるキャラクター表示装置２００は、１人のユーザが発した１つの音声から、画面内のキャラクターの左右と上下という異なる２つの向きの変化をさせることができる。
【０１６６】
その結果、ユーザ５０１に対応付けられたキャラクター画像３０１に対して、より複雑な動きをとらせることができ、ユーザは、臨場感や親近感を高めながら会話を楽しむことができるようになる。
【産業上の利用可能性】
【０１６７】
以上説明したように、キャラクターにユーザの音声に応じた動作をさせることで、ユーザの視覚に訴えながら、快適に会話を楽しむのに好適なキャラクター表示装置、キャラクター表示方法、ならびに、プログラムを提供することができる。
【符号の説明】
【０１６８】
１００ 情報処理装置
１０１ ＣＰＵ
１０２ ＲＯＭ
１０３ ＲＡＭ
１０４ インターフェース
１０５ コントローラ
１０６ 外部メモリ
１０７ 画像処理部
１０８ ＤＶＤ−ＲＯＭドライブ
１０９ ＮＩＣ
１１０ 音声処理部
１１１ マイク
２００ キャラクター表示装置
２０１ 記憶部
２０２ 表示部
２０３ 検知部
２０４ 決定部
２０５ 更新部
３００ 表示画面
３０１ キャラクター画像
３０２ メッセージウィンドウ
３０３ 瞳画像
３０４ 会話内容
４００ 仮想空間
４０１ 仮想キャラクター
４０２ 仮想カメラ
４０３ 所定角度
４０４ 仮想瞳
５０１ ユーザ
５０２ モノラルマイク
５０３ ステレオマイク
５０４ａ 左のマイク
５０４ｂ 右のマイク
５１０ａ 左の位置
５１０ｂ 右の位置
【技術分野】
【０００１】
本発明は、キャラクターにユーザの音声に応じた動作をさせることで、ユーザの視覚に訴えながら、快適に会話を楽しむに好適なキャラクター表示装置、キャラクター表示方法、ならびに、プログラムに関する。
【背景技術】
【０００２】
従来から、ゲームやチャット、ソーシャルネットワークサービス等の分野においては、ユーザが、自身を投影した仮想世界内でのキャラクター（「アバター」と呼ばれることもある。）を選択、設定し、その姿を自分の端末や他人の端末に表示させて、ユーザに親しみを感じさせる手法が広く使われている。
【０００３】
この場合、キャラクターの形状や姿勢、表情を変化させて、そこにキャラクターが表示されていることをユーザに認知させやすくするのと同時に、ユーザにより臨場感や親近感を持たせる手法が開発されている。
【０００４】
例えば、特許文献１には、ユーザの無意識的な動作、すなわち緊張していたり興奮していたりというような状況で現れるマウスやコントローラの微小な変化を捉えて、上記のキャラクターの動きに反映させることで、ユーザとキャラクターを密接に結び付け、まるでキャラクターに生きているかのような印象を付与する技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−２３３９４６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
一方で、上記のようなアバターが用いられる場面は、ネットワークゲームやＷｅｂチャットなどにおいて、互いに離れた複数のユーザ同士がネットワーク上で会話をするような場面であることが多い。すなわち、ゲームのモニタなどにアバターを表示させることで、ユーザ同士の会話に、親しみやすさを付加することができる。
【０００７】
このようなアバターを用いてユーザ同士が会話をする際に、ユーザが会話をするときの音声に応じた動作をアバターにとらせたい、との要望がある。すなわち、離れた場所にいるユーザ同士の会話は、通常音声のみ、あるいは文字のみに頼って行われるが、ユーザが話をする動作に応じた動作をアバターにとらせることで、ユーザの視覚に訴えつつ、より臨場感を持って会話を行うことができるようになると考えられる。
【０００８】
本発明は、上記のような課題を解決するもので、キャラクターにユーザの音声に応じた動作をさせることで、ユーザの視覚に訴えながら、快適に会話を楽しむのに好適なキャラクター表示装置、キャラクター表示方法、ならびに、プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するため、本発明の第１の観点に係るキャラクター表示装置は、記憶部、表示部、検知部、決定部、更新部を備える。
【００１０】
記憶部では、仮想空間内に配置されるキャラクターの向きが記憶される。
【００１１】
すなわち、例えば３次元の仮想空間を用意し、その中の所定の位置にキャラクターを配置する。そのときにキャラクターは、例えば、正面向き、正面から左へ３０°の向き、正面から右へ４５°の向き、といった向きに配置され、記憶部にはその向きが記憶される。
【００１２】
表示部は、キャラクターが記憶された向きで仮想空間内に配置された様子を表す画像を、画面に表示する。
【００１３】
すなわち、記憶部に記憶された向きが左向きならば、仮想空間内に左向きに配置されたキャラクターの様子を表す画像を生成して、モニタなどの画面に表示する。同様に、記憶部に記憶された向きが正面向きならば、仮想空間内に正面向きに配置されたキャラクターの様子を表す画像を、また、記憶された向きが右向きならば、仮想空間内に右向きに配置されたキャラクターの様子を表す画像を、画面に表示する。
【００１４】
検知部は、ユーザからの音声を検知する。
【００１５】
すなわち、マイクロフォンなどの音を電気信号に変換する機器を用いて、ユーザが発した声や音を捉える。ここで、ユーザ以外からの声やその他の小さな雑音に反応しないよう、所定の閾音量を設けて、捉えられた音声が閾音量を超えた場合にのみ検知するようにしてもよい。
【００１６】
決定部は、検知された音声の音量に基づいて、キャラクターの向きの変化を決定する。
【００１７】
すなわち、検知部によって検知された音声から、所定のサンプリング周期で平均された音量を取得する。そして、取得された音量から、所定の変換式に基づいて、キャラクターの向きの変化を決定する。ここで、「向きの変化」とは、仮想空間内に配置されるキャラクターの向きが変化する変化の量のことである。例えば、キャラクターが仮想空間内に正面から左へ３０°の向きに配置されている状態から左へ４５°の向きに配置されている状態へ変化するとき、「向きの変化」は、両者の差である「左へ１５°」ということになる。このような向きの変化は、典型的には、検知された音声が大きければ大きいほど、大きい量にすることが通常である。
【００１８】
更新部は、決定された変化により、記憶された向きを更新する。
【００１９】
すなわち、決定部によって決定された変化により、記憶部に記憶されている仮想空間内のキャラクターの向きを更新する。例えば、決定された変化が正面から左へ９０°という向きの変化であるならば、正面から左へ９０°の向きに配置されたキャラクターが、改めて記憶部に記憶されることになる。また、決定された変化が正面から右へ３０°という向きの変化であるならば、正面から右へ３０°の向きに配置されたキャラクターが、改めて記憶部に記憶されることになる。
【００２０】
このような構成により、ユーザが発した音声に基づいて、表示されているキャラクターの向きが変化する。その結果、ユーザは、音声に反応するキャラクターの画像を見ながら、親近感・臨場感を持って会話を楽しむことができるようになる。
【００２１】
また、本発明のキャラクター表示装置において、
検知部は、モノラルマイクにより音声を検知し、
キャラクターの向きが取りうる範囲は、正面向きと、左右いずれかの所定角度の横向きと、の間であり、
決定部は、検知された音声の音量が大きければ大きいほど、キャラクターの向きが正面向きに近づくように、変化を決定する、
ことも可能である。
【００２２】
ここで、モノラルマイクとは、左右どちらの方向から音声を検知したのかを判別できない、あるいは判別しないマイクを意味する。すなわち、ここでのモノラルマイクは、例えば音声検知部位を１箇所の位置に有するもので、左の方向から音声を検知しても、右の方向から音声を検知しても、両者を区別しないものである。
【００２３】
このとき例えば、キャラクターの向きが取りうる範囲を、正面向きと、正面から左３０°の横向きと、の間とあらかじめ定めた場合を考える。この場合、音声が検知されていないときにはキャラクターは仮想空間内に正面から左３０°の横向きに配置されており、モノラルマイクによって音声が検知され始めると、キャラクターの向きは、左３０°の横向きから徐々に正面向きに変化し始める。そして、検知された音声が大きくなればなるほど、左３０°の横向きから、左２０°、左１０°、左０°（すなわち正面）の向きへと順に変化していく。
【００２４】
また、本発明のキャラクター表示装置において、
検知部は、ステレオマイクにより音声を検知し、
決定部は、ステレオマイクにより検知された音声の左右の音量の差に基づいて、キャラクターの向きの変化を決定する、
ことも可能である。
【００２５】
ここで、ステレオマイクとは、左右どちらの方向から音声を検知したのかを判別できるマイクを意味する。すなわち、ここでのステレオマイクは、例えば左右２箇所の位置にそれぞれ独立に音声を検知する部位を有したり、あるいは位置は１箇所でも左右それぞれの方向から音声を検知する部位を有していたりすることで、左の部位（マイク）で検知した音声と右の部位（マイク）で検知した音声とを区別できる。
【００２６】
このとき例えば、ユーザがステレオマイクに正対して音声を発すれば、ステレオマイクの左右のマイクで同じ音量の音声が検知される。また、ユーザがステレオマイクの左側から音声を発すれば、ステレオマイクの左側のマイクの音量は、右側のマイクの音量よりも大きくなり、一方で、ユーザがステレオマイクの右側から音声を発すれば、ステレオマイクの右側のマイクの音量は、左側のマイクの音量よりも大きくなる。ここでの決定部は、このような左右の音量の差に基づいて、キャラクターの向きの変化を決定する。
【００２７】
また、本発明のキャラクター表示装置において、
キャラクターの向きが取りうる範囲は、正面向きを含む左右それぞれの所定角度の横向きの間であり、
決定部は、
（ａ）ステレオマイクにより検知された音声の左右の音量の差が小さければ小さいほど、キャラクターの向きが正面向きに近づき、
（ｂ）ステレオマイクにより検知された音声の左の音量が、右の音量よりも大きければ大きいほど、キャラクターの向きが左の所定角度の横向きに近づき、
（ｃ）ステレオマイクにより検知された音声の右の音量が、左の音量よりも大きければ大きいほど、キャラクターの向きが右の所定角度の横向きに近づく、
ように変化を決定する、
ことも可能である。
【００２８】
すなわち、
（ａ）ステレオマイクにより検知された音声の左右の音量の差が小さいということは、ユーザはステレオマイクの左右のマイクから等距離の位置にいる、すなわちユーザはステレオマイクに正対しているという状況であると通常考えられる。したがって本発明のキャラクター表示装置は、そのようなユーザとステレオマイクとの位置関係を模擬して、キャラクターの向きを正面向きに近づける。
一方で、
（ｂ）ステレオマイクにより検知された音声の左の音量が、右の音量よりも大きいということは、ユーザはステレオマイクの左側のマイクに近い位置にいる、すなわちユーザはステレオマイクの左側から話をしているという状況であると通常考えられる。したがって本発明のキャラクター表示装置は、そのようなユーザとステレオマイクとの位置関係を模擬して、キャラクターの向きを左の所定角度の横向き、例として左４５°あるいは左３０°などの角度の横向きに近づける。
さらにまた、
（ｃ）ステレオマイクにより検知された音声の右の音量が、左の音量よりも大きいということは、ユーザはステレオマイクの右側のマイクに近い位置にいる、すなわちユーザはステレオマイクの右側から話をしているという状況であると通常考えられる。したがって本発明のキャラクター表示装置は、そのようなユーザとステレオマイクとの位置関係を模擬して、キャラクターの向きを右の所定角度の横向き、例として右４５°あるいは右３０°などの角度の横向きに近づける。
【００２９】
また、本発明のキャラクター表示装置において、
決定部は、
（ｐ）検知された音声から所定の第１の区間長によって平均化された、第１の音量に基づいて、キャラクターの左右の向きの変化を決定し、
（ｑ）検知された音声から所定の第２の区間長によって平均化された、第２の音量に基づいて、キャラクターの上下の向きの変化を決定する、
ことも可能である。
【００３０】
すなわち、決定部は、検知部によって検知された音声から音量を取得する際に、２つの異なる区間長、すなわちサンプリング周期によって平均化し、それぞれから２種類の音量を取得する。例えば、所定の第１の区間長よりも、所定の第２の区間長を長い区間長に定めたときを考える。このとき、
（ｐ）ユーザの音声に高い周波数の成分が多く含まれていた場合、すなわちユーザの音声に高音成分が多く含まれていた場合に、第１の音量は大きくなる。そして、第１の音量に基づいて、キャラクターの左右の向きの変化を決定する。例えば、第１の音量が大きければ大きいほど、キャラクターの左右の向きを大きく変化させるように決定する。
一方で、
（ｑ）ユーザの音声に低い周波数の成分が多く含まれていた場合、すなわちユーザの音声に低音成分が多く含まれていた場合に、第２の音量は大きくなる。そして、第２の音量に基づいて、キャラクターの上下の向きの変化を決定する。例えば、第２の音量が大きければ大きいほど、キャラクターの上下の向きを大きく変化させるように決定する。
【００３１】
このような構成により、本発明のキャラクター表示装置は、１人のユーザが発した１つの音声から、画面内のキャラクターの異なる２つの向きの変化をさせることができる。その結果として、画面内のキャラクターにより複雑な動作をとらせ、臨場感や親近感を高めることができる。
【００３２】
また、本発明のキャラクター表示装置において、
更新部は、キャラクターの視線を正面に向けたまま、記憶された向きを更新する、
ことも可能である。
【００３３】
すなわち、キャラクターの向きが変化し、正面を向かずに横を向いているキャラクターが画面に表示される状況では、画面を見ているユーザにとっては、キャラクターがユーザに語りかけているように感じられないことが多くなると考えられる。そこで、本発明のキャラクター表示装置は、キャラクターが横を向いても、キャラクターの視線を常に正面に向けるようにする。その結果、横を向いているキャラクターにも、ユーザに語りかけるような画面を表示することができるようになる。
【００３４】
また、本発明のキャラクター表示装置において、
更新部は、角加速度が所定の閾値を超えないように、記憶された向きを更新する、
ことも可能である。
【００３５】
すなわち、仮想空間内で固定された向きに配置されていたキャラクターが、更新部によって別の向きに変化する際、急に大きく変化すると、生成されるキャラクター表示画面をみているプレイヤに不自然さ・不快さを与えることになりやすいと考えられる。これを避けるために、向きが変化する際の角加速度に所定の閾値を設けて、滑らかに向きを変化させることで、ユーザが快適にキャラクター表示画面を見ることができるようにする。
【００３６】
上記目的を達成するため、本発明の第２の観点に係るキャラクター表示方法は、記憶部、表示部、検知部、決定部、更新部を備えたキャラクター表示装置が実行するキャラクター表示方法であって、表示工程、検知工程、決定工程、更新工程を備える。
【００３７】
記憶部には、仮想空間内に配置されるキャラクターの向きが記憶される。
表示工程では、表示部が、キャラクターが記憶された向きで仮想空間内に配置された様子を表す画像を、画面に表示する。
検知工程では、検知部が、ユーザからの音声を検知する。
決定工程では、決定部が、検知された音声の音量に基づいて、キャラクターの向きの変化を決定する。
更新工程では、更新部が、決定された変化により、記憶された向きを更新する。
【００３８】
上記目的を達成するため、本発明の第３の観点に係るプログラムは、コンピュータを、上記のキャラクター表示装置として機能させ、コンピュータに、上記のキャラクター表示方法の各工程を実行させるように構成する。
【００３９】
また、本発明のプログラムは、コンパクトディスク、フレキシブルディスク、ハードディスク、光磁気ディスク、ディジタルビデオディスク、磁気テープ、半導体メモリ等のコンピュータ読み取り可能な情報記憶媒体に記録することができる。
【００４０】
上記プログラムは、プログラムが実行されるコンピュータとは独立して、コンピュータ通信網を介して配付・販売することができる。また、上記情報記憶媒体は、コンピュータとは独立して配付・販売することができる。
【発明の効果】
【００４１】
本発明によれば、キャラクターにユーザの音声に応じた動作をさせることで、ユーザの視覚に訴えながら、快適に会話を楽しむのに好適なキャラクター表示装置、キャラクター表示方法、ならびに、プログラムを提供することができる。
【図面の簡単な説明】
【００４２】
【図１】本発明の実施形態に係るキャラクター表示装置が実現される典型的な情報処理装置の概要構成を示す模式図である。
【図２】本発明のキャラクター表示装置に係る概要構成を示す模式図である。
【図３】キャラクター表示装置の表示画面の構成例を示した図である。
【図４】キャラクター表示装置の仮想空間内の様子を表した図である。
【図５】ユーザからの音声に基づいてキャラクター画像の向きが変化する様子を表した図である。
【図６】仮想空間内における仮想キャラクターの向きが変化する様子を表した図である。
【図７】実施形態１における、検知した音声の音量と、キャラクターの向きを定める角度との関係を示したグラフである。
【図８】実施形態１のキャラクター表示装置に係る処理の流れを示すフローチャートである。
【図９】（ａ）は、モノラルマイクに向けて異なる方向からユーザが発声している様子を表した図である。（ｂ）は、ステレオマイクに向けて異なる方向からユーザが発声している様子を表した図である。
【図１０Ａ】（ａ）、（ｂ）ともに、実施形態２のキャラクター表示装置において、左方向から音声が検知されたときの、仮想空間と表示画面の様子を示した図である。
【図１０Ｂ】（ａ）、（ｂ）ともに、実施形態２のキャラクター表示装置において、右方向から音声が検知されたときの、仮想空間と表示画面の様子を示した図である。
【図１１】実施形態２における、検知した音声の音量と、キャラクターの向きを定める角度との関係を示したグラフである。
【図１２】実施形態２のキャラクター表示装置に係る処理の流れを示すフローチャートである。
【図１３】（ａ）、（ｂ）ともに、実施形態３において、ユーザからの音声に基づいてキャラクター画像が変化する様子を表した図である。
【図１４】（ａ）は、実施形態３における、第１の音量とキャラクターの左右の向きを定める角度との関係を示した図である。（ｂ）は、実施形態３における、第２の音量とキャラクターの上下の向きを定める角度との関係を示した図である。
【図１５】実施形態３のキャラクター表示装置に係る処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００４３】
以下に本発明の実施形態を説明する。以下では、理解を容易にするため、ゲーム用の情報処理装置を利用して本発明が実現される実施形態を説明するが、以下に説明する実施形態は説明のためのものであり、本願発明の範囲を制限するものではない。したがって、当業者であればこれらの各要素を均等なものに置換した実施形態を採用することが可能であるが、これらの実施形態も本発明の範囲に含まれる。
【００４４】
（実施形態１）
図１は、本発明の実施形態に係るキャラクター表示装置が実現される典型的な情報処理装置の概要構成を示す模式図である。以下、本図を参照して説明する。
【００４５】
情報処理装置１００は、ＣＰＵ（Central Processing Unit）１０１と、ＲＯＭ １０２と、ＲＡＭ（Random Access Memory）１０３と、インターフェース１０４と、コントローラ１０５と、外部メモリ１０６と、画像処理部１０７と、ＤＶＤ−ＲＯＭ（Digital Versatile Disc ROM）ドライブ１０８と、ＮＩＣ（Network Interface Card）１０９と、音声処理部１１０と、マイク１１１と、を備える。
【００４６】
ゲーム用のプログラムおよびデータを記憶したＤＶＤ−ＲＯＭをＤＶＤ−ＲＯＭドライブ１０８に装着して、情報処理装置１００の電源を投入することにより、当該プログラムが実行され、本実施形態のキャラクター表示装置等が実現される。
【００４７】
ＣＰＵ １０１は、情報処理装置１００全体の動作を制御し、各構成要素と接続され制御信号やデータをやりとりする。また、ＣＰＵ １０１は、レジスタ（図示せず）という高速アクセスが可能な記憶域に対してＡＬＵ（Arithmetic Logic Unit）（図示せず）を用いて加減乗除等の算術演算や、論理和、論理積、論理否定等の論理演算、ビット和、ビット積、ビット反転、ビットシフト、ビット回転等のビット演算などを行うことができる。さらに、マルチメディア処理対応のための加減乗除等の飽和演算や、三角関数等、ベクトル演算などを高速に行えるように、ＣＰＵ １０１自身が構成されているものや、コプロセッサを備えて実現するものがある。
【００４８】
ＲＯＭ １０２には、電源投入直後に実行されるＩＰＬ（Initial Program Loader）が記録され、これが実行されることにより、ＤＶＤ−ＲＯＭに記録されたプログラムをＲＡＭ １０３に読み出してＣＰＵ １０１による実行が開始される。また、ＲＯＭ １０２には、情報処理装置１００全体の動作制御に必要なオペレーティングシステムのプログラムや各種のデータが記録される。
【００４９】
ＲＡＭ １０３は、データやプログラムを一時的に記憶するためのもので、ＤＶＤ−ＲＯＭから読み出したプログラムやデータ、その他ゲームの進行やチャット通信に必要なデータが保持される。また、ＣＰＵ １０１は、ＲＡＭ １０３に変数領域を設け、当該変数に格納された値に対して直接ＡＬＵを作用させて演算を行う、また、ＲＡＭ １０３に格納された値を一旦レジスタに格納してからレジスタに対して演算を行い、演算結果をメモリに書き戻す、などの処理を行う。
【００５０】
インターフェース１０４を介して接続されたコントローラ１０５は、ユーザがゲーム実行の際に行う操作入力を受け付ける。
【００５１】
インターフェース１０４を介して着脱自在に接続された外部メモリ１０６には、ゲーム等のプレイ状況（過去の成績等）を示すデータ、ゲームの進行状態を示すデータ、ネットワーク対戦の場合のチャット通信のログ（記録）のデータなどが書き換え可能に記憶される。ユーザは、コントローラ１０５を介して指示入力を行うことにより、これらのデータを適宜外部メモリ１０６に記録することができる。
【００５２】
ＤＶＤ−ＲＯＭドライブ１０８に装着されるＤＶＤ−ＲＯＭには、ゲームを実現するためのプログラムとゲームに付随する画像データや音声データが記録される。ＣＰＵ １０１の制御によって、ＤＶＤ−ＲＯＭドライブ１０８は、これに装着されたＤＶＤ−ＲＯＭに対する読み出し処理を行って、必要なプログラムやデータを読み出し、これらはＲＡＭ １０３等に一時的に記憶される。
【００５３】
画像処理部１０７は、ＤＶＤ−ＲＯＭから読み出されたデータをＣＰＵ １０１や画像処理部１０７が備える画像演算プロセッサ（図示せず）によって加工処理した後、これを画像処理部１０７が備えるフレームメモリ（図示せず）に記録する。フレームメモリに記録された画像情報は、所定の同期タイミングでビデオ信号に変換され画像処理部１０７に接続されるモニタ（図示せず）へ出力される。これにより、各種の画像表示が可能となる。
【００５４】
画像演算プロセッサは、２次元の画像の重ね合わせ演算やαブレンディング等の透過演算、各種の飽和演算を高速に実行できる。
【００５５】
また、仮想３次元空間に配置され、各種のテクスチャ情報が付加されたポリゴン情報を、Ｚバッファ法によりレンダリングして、所定の視点位置から仮想３次元空間に配置されたポリゴンを所定の視線の方向へ俯瞰したレンダリング画像を得る演算の高速実行も可能である。
【００５６】
さらに、ＣＰＵ １０１と画像演算プロセッサが協調動作することにより、文字の形状を定義するフォント情報にしたがって、文字列を２次元画像としてフレームメモリへ描画したり、各ポリゴン表面へ描画したりすることが可能である。フォント情報は、ＲＯＭ １０２に記録されているが、ＤＶＤ−ＲＯＭに記録された専用のフォント情報を利用することも可能である。
【００５７】
ＮＩＣ １０９は、情報処理装置１００をインターネット等のコンピュータ通信網（図示せず）に接続するためのものであり、ＬＡＮ（Local Area Network）を構成する際に用いられる１０ＢＡＳＥ−Ｔ／１００ＢＡＳＥ−Ｔ規格にしたがうものや、電話回線を用いてインターネットに接続するためのアナログモデム、ＩＳＤＮ（Integrated Services Digital Network）モデム、ＡＤＳＬ（Asymmetric Digital Subscriber Line）モデム、ケーブルテレビジョン回線を用いてインターネットに接続するためのケーブルモデム等と、これらとＣＰＵ １０１との仲立ちを行うインターフェース（図示せず）により構成される。
【００５８】
音声処理部１１０は、ＤＶＤ−ＲＯＭから読み出した音声データをアナログ音声信号に変換し、これに接続されたスピーカ（図示せず）から出力させる。また、ＣＰＵ １０１の制御の下、ゲームの進行の中で発生させるべき効果音や楽曲データを生成し、これに対応した音声をスピーカから出力させる。
【００５９】
音声処理部１１０では、ＤＶＤ−ＲＯＭに記録された音声データがＭＩＤＩデータである場合には、これが有する音源データを参照して、ＭＩＤＩデータをＰＣＭデータに変換する。また、ADPCM形式やOgg Vorbis形式等の圧縮済音声データである場合には、これを展開してＰＣＭデータに変換する。ＰＣＭデータは、そのサンプリング周波数に応じたタイミングでＤ／Ａ（Digital/Analog）変換を行って、スピーカに出力することにより、音声出力が可能となる。
【００６０】
さらに、情報処理装置１００には、インターフェース１０４を介してマイク１１１を接続することができる。この場合、マイク１１１からのアナログ信号に対しては、適当なサンプリング周波数でＡ／Ｄ変換を行い、ＰＣＭ形式のディジタル信号として、音声処理部１１０でのミキシング等の処理ができるようにする。
【００６１】
情報処理装置１００をカラオケ装置として利用する場合には、ＤＶＤ−ＲＯＭから読み出した音声データ、もしくは、ＮＩＣ １０９を介してコンピュータ通信網から取得した音声データを伴奏データとし、マイク１１１から入力された音声データを歌唱データとして、伴奏データと歌唱データを音声処理部１１０がミキシングし、スピーカから出力する。また、スピーカにかえて、ヘッドホン（図示せず）やイヤフォン（図示せず）を用いて、音声を出力させることもできる。
【００６２】
このほか、情報処理装置１００は、ハードディスク等の大容量外部記憶装置を用いて、ＲＯＭ １０２、ＲＡＭ １０３、外部メモリ１０６、ＤＶＤ−ＲＯＭドライブ１０８に装着されるＤＶＤ−ＲＯＭ等と同じ機能を果たすように構成してもよい。
【００６３】
また、ユーザからの文字列の編集入力を受け付けるためのキーボードや、各種の位置の指定および選択入力を受け付けるためのマウスなどを接続する形態も採用することができる。また、本実施形態の情報処理装置１００にかえて、汎用のパーソナルコンピュータを利用することもできる。
【００６４】
以上で説明した情報処理装置１００は、いわゆる「コンシューマ向けテレビゲーム装置」に相当するものであるが、仮想空間を表示するような画像処理を行うものであれば本発明を実現することができる。したがって、携帯電話、携帯ゲーム機器、カラオケ装置、一般的なビジネス用コンピュータなど、種々の計算機上で本発明を実現することが可能である。
【００６５】
例えば、一般的なコンピュータは、上記情報処理装置１００と同様に、ＣＰＵ、ＲＡＭ、ＲＯＭ、ＤＶＤ−ＲＯＭドライブ、及び、ＮＩＣを備え、情報処理装置１００よりも簡易な機能を備えた画像処理部を備え、外部記憶装置としてハードディスクを有する他、フレキシブルディスク、光磁気ディスク、磁気テープ等が利用できるようになっている。また、コントローラ１０５ではなく、キーボードやマウスなどを入力装置として利用する。
【００６６】
図２は、本発明のキャラクター表示装置に係る概要構成を示す模式図である。本発明のキャラクター表示装置２００は、典型的には上述した情報処理装置１００によって実現される。以下、本図を参照して概要構成を説明する。
【００６７】
キャラクター表示装置２００は、記憶部２０１、表示部２０２、検知部２０３、決定部２０４、更新部２０５を備える。
【００６８】
記憶部２０１では、仮想空間内に配置されるキャラクターの向きが記憶される。
【００６９】
すなわち、本実施形態では３次元の仮想空間を用意し、そこに所定の向きでキャラクターを配置する。所定の向きは、後述する更新部２０５によって更新され、そのつど更新された向きに配置されたキャラクターが記憶部２０１に記憶される。例えば、ＲＡＭ １０３等が、このような記憶部２０１として機能する。
【００７０】
表示部２０２は、キャラクターが記憶された向きで仮想空間内に配置された様子を表す画像を、画面に表示する。
【００７１】
すなわち、記憶部２０１に記憶された向きで仮想空間内に配置されたキャラクターを、同じく仮想空間内の所定の位置に配置された仮想カメラから見た画像を生成し、その画像をキャラクター表示装置２００の画面に表示する。例えば、画像処理部１０７が、このような表示部２０２として機能する。
【００７２】
検知部２０３は、ユーザからの音声を検知する。
【００７３】
すなわち、ユーザから発せられた音声を入力として受け付け、受け付けられた音声を決定部２０４へ供給する。例えば、インターフェース１０４に接続されたマイク１１１が、このような検知部２０３として機能する。
【００７４】
決定部２０４は、検知された音声の音量に基づいて、キャラクターの向きの変化を決定する。
【００７５】
すなわち、検知部２０３によってユーザから検知された音声から、所定のサンプリング周波数により音量を取得する。そして、取得された音量をもとに、仮想空間内のキャラクターの向きを変化させる量を決定する。例えば、ＣＰＵ １０１がＲＡＭ１０３等と協働することにより、このような決定部２０４として機能する。
【００７６】
更新部２０５は、決定された変化により、記憶された向きを更新する。
【００７７】
すなわち、決定部２０４によって決定された変化を受け取り、記憶部２０１に記憶されているキャラクターの向きを更新する。例えば、ＣＰＵ １０１がＲＡＭ１０３等と協働することにより、このような更新部２０５として機能する。
【００７８】
図３は、本発明のキャラクター表示装置２００に係る表示画面の構成例を示した図である。表示部２０２は、典型的には本図に示すような表示画面３００を、情報処理装置１００の画像表示部１０７を通じてモニタに表示する。
【００７９】
本図に示すように、表示画面３００には、キャラクター画像３０１とメッセージウィンドウ３０２の画像が含まれ、必要に応じて仮想世界を構成するその他の背景画像（本図では、キャラクター画像３０１が立っている道路や、その道路に沿って配置されている家の画像）が表示されている。これらの画像の生成には、通常のゲームやチャットシステム等に用いられるものと同様のグラフィックス技術を適用することが可能である。
【００８０】
キャラクター画像３０１は、仮想世界内でのユーザのいわゆる分身であり、特に離れた場所にいるユーザ同士がネットワーク上でコミュニケーションをとる場合に、表示画面３００にキャラクター画像３０１を表示することで相手のユーザにとって親しみを感じさせ、円滑なコミュニケーションを行えるようにするためのものである。本図では表示画面３００内にキャラクター画像３０１は１体しか表示されていないが、多数のユーザがネットワーク上でコミュニケーションをしている場合などにおいては、多数のユーザのそれぞれに対応した多数のキャラクター画像３０１が表示画面３００内に配置されていてもよい。
【００８１】
メッセージウィンドウ３０２は、ユーザ同士がネットワーク上でコミュニケーションをとる際のメッセージを、文字で表示する。表示されるメッセージは、検知部２０３によって検知されたユーザの音声を解析して、文字へと変換することにより生成されるものであってもよいし、検知部２０３によって検知されたユーザの音声とは別に、ユーザがキーボードなどの入力装置で入力されたメッセージであってもよい。また本実施形態では、必ずしもメッセージウィンドウ３０２は表示されなくてもよく、ユーザ同士が音声とキャラクター画像３０１の動作のみでコミュニケーションをとる形態であってもよい。
【００８２】
このような表示画面３００におけるキャラクター画像３０１を生成するために、本実施形態のキャラクター表示装置２００は、記憶部２０１内に３次元の仮想空間を用意し、当該仮想空間内に仮想キャラクターと仮想カメラを配置して、仮想カメラから撮影された仮想キャラクターの様子を表す画像を生成し、表示画面３００内に表示する。以下、図４を参照して説明する。
【００８３】
図４は、本発明のキャラクター表示装置２００に係る仮想空間内の様子を表した図である。本図は、３次元の仮想空間４００内に配置された仮想キャラクター４０１の上方向から見た仮想空間４００の様子を表している。仮想空間４００内には仮想カメラ４０２がさらに配置され、仮想キャラクター４０１の方へ向けられている。
【００８４】
この仮想カメラ４０２は、図３の表示画面３００に表示されていたキャラクター画像３０１を生成するために用いられるもので、表示部２０２は、仮想カメラ４０２から見た仮想キャラクター４０１の様子をもとに画像を生成し、それを図３における表示画面３００に表示する。すなわち、例えば、仮想空間４００内の仮想キャラクター４０１が、仮想カメラ４０２に対して正面を向くように配置されていれば、仮想カメラ４０２は正面向きのキャラクター画像３０１を生成して表示画面３００に表示する。また、仮想空間４００内の仮想キャラクター４０１が、仮想カメラ４０２に対して左を向くように配置されていれば、仮想カメラ４０２は左を向いたキャラクター画像３０１を生成して表示画面３００に表示する。さらに、仮想空間４００内の仮想キャラクター４０１が、仮想カメラ４０２に対して右を向くように配置されていれば、仮想カメラ４０２は右を向いたキャラクター画像３０１を生成して表示画面３００に表示する。
【００８５】
具体的に図４では、仮想キャラクター４０１は、仮想カメラ４０２の方向を０°（正面向き）として、仮想カメラ４０２から仮想キャラクター４０１へ向かって左へ所定角度４０３の横向きを向いて配置されている。すなわち、仮想カメラ４０２によって、仮想キャラクター４０１が左を向いた様子が映し出されており、これをもとにして生成されたキャラクター画像３０１は、図３のように、表示画面３００を見ているユーザから向かって左方向に横を向いている状態となる。
【００８６】
本実施形態ではこのように、仮想空間４００内において様々な方向を向いた仮想キャラクター４０１の様子をもとにして、表示画面３００内のキャラクター画像３０１を生成する。そして、このような仮想キャラクター４０１の向きは、検知部２０３によってユーザからの音声が検知されると変化する。以下、図５および図６を参照して説明する。
【００８７】
図５は、ユーザからの音声に基づいてキャラクター画像３０１の向きが変化する様子を表した図である。本図の表示画面３００内には、図３と同じように、キャラクター画像３０１、メッセージウィンドウ３０２、およびその他の背景画像が表示されている。さらに本図では、このような表示画面３００を表示しているキャラクター表示装置２００の表示部２０２には、モノラルマイク５０２が接続されており、表示画面３００を見ているユーザ５０１が、モノラルマイク５０２に向かって「Ｈｅｌｌｏ！！」と発声している状況が示されている。
【００８８】
すなわち、ここではキャラクター表示装置２００の検知部２０３は、モノラルマイク５０２によってユーザ５０１からの音声を検知する。なお、図５でのモノラルマイク５０２は、表示部２０２に有線で接続されているように書かれているが、必ずしもこれに限られず、無線通信によって接続されるものであってもよい。
【００８９】
そして、図５では、ユーザ５０１がモノラルマイク５０２に発声するのに伴って、表示画面３００内に表示されているキャラクター画像３０１の向きが、左向きから正面向きに変化している様子が示されている。すなわち、キャラクター画像３０１は、図３では左を向いていたのに対して、本図では表示画面３００を見ているユーザ５０１に対して、正面を向くように変化している。
【００９０】
なお、図５のメッセージウィンドウ３０２内には、ユーザ５０１が発声した「Ｈｅｌｌｏ！！」という音声に基づいて、「Ｈｅｌｌｏ！！」という会話内容３０４が表示されている。このような会話内容３０４は、例えば、ユーザ５０１がモノラルマイク５０２に向かって語りかけた音声を解析して、文字へと変換することによって表示される。
【００９１】
さらに、図６は、仮想空間４００内における仮想キャラクター４０１の向きが変化する様子を表した図である。本図は、図４と同様に、３次元の仮想空間４００内に配置された仮想キャラクター４０１の上方向から見た仮想空間４００の様子を表している。ただし、仮想キャラクター４０１は、図４では仮想カメラ４０２に対して所定角度４０３だけ左を向いていたのに対し、本図では仮想カメラ４０２に対して正面向きに変化している。
【００９２】
すなわち、図６は、図５のようにユーザ５０１が発した音声を、検知部２０３、すなわちモノラルマイク５０２が検知するのに伴って、仮想空間４００内の仮想キャラクター４０１の向きが正面向きに変化する様子を示している。そして、仮想カメラ４０２が、このように正面向きに変化した仮想キャラクター４０１の様子を映し出して、表示部２０２が、図５のような正面向きのキャラクター画像３０１を生成して表示画面３００内に表示する。
【００９３】
このように、本実施形態では、モノラルマイク５０２によって音声が検知されていない状態では、仮想キャラクター４０１は、図４のように仮想カメラ４０２に対して左へ所定角度４０３の横向きに配置され、それを反映して表示画面３００内には、図３のように左を向いたキャラクター画像３０１が表示される。一方で、モノラルマイク５０２によって音声が検知されると、仮想キャラクター４０１は、図６のように仮想カメラ４０２に対して正面を向くように変化し、それを反映して表示画面３００内には、図５のように正面を向いたキャラクター画像３０１が表示される。
【００９４】
ここで、本実施形態では、仮想キャラクター４０１およびキャラクター画像３０１の向きは、まったくランダムに変化するのではなく、モノラルマイク５０２によって検知された音声の音量に基づいて変化する。具体的に、本実施形態では、仮想空間４００内の仮想キャラクター４０１の向きの取りうる範囲を、仮想カメラ４０２に対して正面向きと、正面から左方向へ所定角度４０３の横向きと、の間とする。そして、キャラクター表示装置２００の検知部２０３は、モノラルマイク５０２によってユーザ５０１からの音声を検知し、決定部２０４は、検知部２０３により検知された音声の音量が大きければ大きいほど、仮想キャラクター４０１の向きが正面向きに近づくように、すなわち表示画面３００内に表示されているキャラクター画像３０１の向きが正面向きに近づくように、変化を決定する。このような音量と向きとの関係を、以下の図７を参照して詳細を説明する。
【００９５】
図７は、本実施形態における、検知部２０３が検知した音声の音量と、仮想キャラクター４０１の向きを定める角度との関係を示したグラフである。本図では、横軸に検知した音声の音量、縦軸に仮想キャラクター４０１の向きを定める角度をとり、右側ほど検知した音量が大きくなり、上側ほど仮想キャラクター４０１の向きが大きく左を向いているということを表している。
【００９６】
本図のグラフでは、検知された音声の音量が０のとき、仮想キャラクター４０１の向きを定める角度は、あらかじめ定められた左向きの所定角度４０３である。そして、検知された音声の音量が徐々に大きくなるにしたがって、仮想キャラクター４０１の向きを定める角度は、徐々に正面向きに近づいていく。そして検知された音声の音量が 所定の閾音量に達すると、角度は０°に達し、仮想キャラクター４０１は仮想カメラ４０２に対して真正面を向く。本図のグラフでは、さらに所定の閾音量以上の音量の音声を検知した場合にも、正面向きのままとなる。
【００９７】
すなわち、本実施形態では、ユーザ５０１が何も音声を検知していないと、キャラクター画像３０１は図３のように左を向いて表示されているが、ユーザ５０１がモノラルマイク５０２に向かって声を発すると、キャラクター画像３０１は徐々にその向きを変える。そして、検知された音声の音量が大きければ大きいほど、キャラクター画像３０１の向きを正面に近づける。そして最終的に、検知された音量が所定の閾音量に達すると、図５のようにキャラクター画像３０１は正面を向くことになる。
【００９８】
なお、図３〜図７では、音声が検知されていない状態では、仮想キャラクター４０１は左向きの所定角度４０３を向いている状態であったが、本実施形態ではこれに限られず、例えば、右向きであっても、左斜め下向きであってもよいものとする。
【００９９】
本実施形態では、さらに、仮想キャラクター４０１の向きを変化させる際に、表示画面３００内におけるキャラクター画像３０１の視線を正面に向けたまま変化させる。すなわち、更新部２０５は、キャラクター画像３０１の視線を正面に向けたまま、記憶部２０１に記憶された向きを更新する。
【０１００】
具体的に、図４および図６での仮想空間４００内の仮想キャラクター４０１において、仮想瞳４０４を別途用意する。そして、更新部２０５が仮想キャラクター４０１の向きを更新しても、仮想瞳４０４だけは常に仮想カメラ４０２の方向を向いているように位置を調整する。具体的に、図４では仮想キャラクター４０１は仮想カメラ４０２に対して所定角度４０３だけ左方向を向いており、図６では仮想キャラクター４０１は仮想カメラ４０２に対して正対しているが、どちらの図においても仮想瞳４０４は仮想カメラ４０２の方向を向いている。
【０１０１】
そのような仮想キャラクター４０１と仮想瞳４０４を見ている仮想カメラ４０２によって生成された画像が、図３および図５の表示画面３００内に表示される。具体的に、図３では、キャラクター画像３０１は、体全体は左方向を向いているが、瞳画像３０３だけは正面を向いている状態となっている。すなわち、キャラクター画像３０１の視線は正面を向いている。一方で、図５においては、キャラクター画像３０１は、体全体も正面を向いているし、瞳画像３０３も正面を向いている。
【０１０２】
このように、本実施形態では、仮想瞳４０４の位置を調整することで、キャラクター画像３０１の体全体の向きにかかわらず、瞳画像３０３が常に正面を向くようにする。その結果として、離れた場所にいるユーザ同士が、相手ユーザに対応するキャラクター画像３０１を見ながら会話をしているときに、キャラクター画像３０１が横を向いていても、相手が自分を無視して他の方向を向いているのではなく、自分の方を向いて会話をしているように見せることができ、会話を行っている臨場感を増すことができる。
【０１０３】
本実施形態では、さらに、仮想キャラクター４０１の向きを変化させる際に、角加速度が所定の閾値を超えないように変化させる。すなわち、更新部２０５は、角加速度が所定の閾値を超えないように、記憶部２０１に記憶された向きを更新する。
【０１０４】
すなわちここでは、向きがある方向に固定されていた仮想キャラクター４０１の向きが変化し始めるときや、向きが変化し終わるときに、特に焦点があてられている。すなわち、急に大きな角速度で仮想キャラクター４０１の向きが動き出したり、急にストップしたりするよりは、滑らかに、いわゆる粘性をもった動きで向きが変化した方が、表示画面３００のキャラクター３０１を見ているユーザにとって、より自然に感じられると考えられる。そのため、本実施形態では、仮想キャラクター４０１の向きが変化する角加速度に、所定の上限閾値を設ける。
【０１０５】
図８は、本発明の実施形態１のキャラクター表示装置２００に係る処理の流れを示すフローチャートである。ここまで説明してきた本実施形態におけるキャラクター表示装置２００において実現される処理の流れまとめて、以下に説明する。
【０１０６】
本処理が開始されると、キャラクター表示装置２００のＣＰＵ １０１は、記憶部２０１に記憶される情報等、ＲＡＭ １０３に用意される各種の情報の初期化を行う（ステップＳ８０１）。
【０１０７】
ついで、キャラクター表示装置２００は、所定角度４０３の左向きのキャラクター画像３０１を、表示画面３００に表示する（ステップＳ８０２）。ここでは、表示部２０２が、表示画面３００に表示すべき画像を生成し、所定の周期で行われる垂直同期割り込みを待ってから、その画像を、表示画面３００に表示する。具体的には、図４に示したように、仮想空間４００内に仮想キャラクター４０１を、仮想カメラ４０２に対して左に所定角度４０３だけ横を向いた状態で配置し、表示部２０２が、その仮想カメラ４０２から見た画像を生成し、図３に示したような左を向いたキャラクター画像３０１を、その他の画像とともに表示画面３００に表示する。
【０１０８】
そして、キャラクター表示装置２００は、ユーザ５０１から音声を検知したかどうかを判定する（ステップＳ８０３）。すなわち、検知部２０３が、ユーザ５０１から発せられた音声を受け付け、検知する。ここで検知されなかったと判定された場合（ステップＳ８０３；ＮＯ）、本フローチャートの処理はステップＳ８０２へ戻り、所定角度４０３の横向きのキャラクター画像３０１を、表示画面３００に表示する処理を行う。すなわち、検知部２０３によって音声が検知されない限り、本実施形態のキャラクター表示装置２００は、所定角度４０３の横向きの、すなわち初期の向きのキャラクター画像３０１を表示し続けることになる。
【０１０９】
一方、検知部２０３によって音声を検知したと判定された場合（ステップＳ８０３；ＹＥＳ）、キャラクター表示装置２００は、検知された音声の音量に基づき、仮想キャラクター４０１の向きの変化を決定する（ステップＳ８０４）。すなわち、決定部２０４が、検知された音声から音量を取得し、その音量の値をもとに、仮想空間４００内における仮想キャラクター４０１の向きを変化させるべき角度を求める。
【０１１０】
本実施形態では、向きを変化させるべき角度は、図７に示した音量と角度の関係から求められる。すなわち、音量が大きければ大きいほど、向きは所定角度４０３の横向きから正面向きへと近づき、最終的に所定の閾音量以上を検知すると、仮想キャラクター４０１は仮想カメラ４０２に対して真正面を向くようになる。
【０１１１】
さらに本実施形態におけるキャラクター表示装置２００は、決定された変化により、仮想キャラクター４０１の向きを更新する（ステップＳ８０５）。すなわち、決定部２０４によって決定された仮想キャラクター４０１の向きの変化させる角度だけ、更新部２０５が、実際に仮想空間４００内の仮想キャラクター４０１の向きを更新する。例えば、決定部２０４によって仮想キャラクター４０１の向きを正面向きに変化させることが決定された場合には、図５に示したように、仮想キャラクター４０１は仮想カメラ４０２に対して正面を向くように向きを変化させられる。
【０１１２】
ここで本実施形態では、仮想キャラクター４０１の向きを更新する際、角加速度が所定の閾値を超えたかどうかを判定する（ステップＳ８０６）。すなわち、後述するステップＳ８０９において、向きの更新されたキャラクター画像３０１が、所定の垂直同期割り込みを待って表示画面３００に表示されるが、そこで表示される向きの変化が、それまでに表示されていた向きの変化から比べて、変化の度合い（角加速度）が大きすぎないかを判定する。
【０１１３】
そして、超えたと判定された場合（ステップＳ８０６；ＹＥＳ）、更新部２０５は、角加速度が所定の閾値を超えないように調整し直して、向きを更新する（ステップＳ８０７）。すなわちここでは、ステップＳ８０５にて更新した向きよりも、単位時間当たりにおいて少ない角度変化をさせるような更新をすることになる。その後、ステップＳ８０８の処理へ移行する。一方で、角加速度が所定の閾値を超えないと判定された場合は（ステップＳ８０６；ＮＯ）、ここでは何も行わず、次のステップＳ８０８の処理へ進む。
【０１１４】
そして本実施形態ではさらに、キャラクター画像３０１の視線が正面を向くように、仮想キャラクター４０１の仮想瞳４０４の位置を調整する（ステップＳ８０８）。すなわち、更新部２０５が、仮想空間４００内の仮想キャラクター４０１における仮想瞳４０４の位置を調整することで、仮想キャラクター４０１がどの方向を向いていても、仮想カメラ４０２へ視線を向けるようにする。
【０１１５】
そして、更新された向きのキャラクター画像３０１を表示画面３００に表示する（ステップＳ８０９）。ここではステップＳ８０２と同様に、表示部２０２が、表示画面３００に表示すべき画像を生成し、所定の周期で行われる垂直同期割り込みを待ってから、その画像を、表示画面３００に表示する。具体的には、表示部２０２が、ここまでの処理において更新された仮想空間４００内の仮想キャラクター４０１の様子を表す画像を生成して、表示画面３００に表示する。
【０１１６】
その後、本実施形態のキャラクター表示装置２００の処理は、ステップＳ８０３へと戻り、再びユーザ５０１から音声を検知したかどうかを判定する。すなわち、ユーザ５０１からの音声を検知部２０３が検知している限り、本実施形態のキャラクター表示装置２００は、ステップＳ８０４〜Ｓ８０９までの処理を、垂直同期ごとに繰り返すことになる。一方で、ステップＳ８０３において音声を検知しなければ、処理はステップＳ８０２へ戻り、所定角度４０３の横向きの、すなわち初期の向きのキャラクター画像３０１を表示し直すことになる。
【０１１７】
このような構成により、本実施形態におけるキャラクター表示装置２００は、ユーザ５０１からの音声の音量に基づいて、表示画面３００内に表示されるキャラクター画像３０１の向きを変化させ、音量が大きければ大きいほど正面向きに近づける。すなわち、ユーザ５０１がモノラルマイク５０２に向かって発声すると、ユーザ５０１に対応付けられたキャラクター画像３０１が、横向きから正面向きへ変化する。
【０１１８】
その結果、離れた場所にいるユーザ同士がコミュニケーションをとる際に、ユーザは、音声のみ、あるいは音声と文字のみによって会話をするのではなく、音声に反応して向きを変えるキャラクター画像３０１を見ながら、会話を楽しむことができるようになる。
【０１１９】
（実施形態２）
次に、本発明の実施形態２について説明する。実施形態１では、モノラルマイク５０２により検知したユーザ５０１の音声の音量が大きければ大きいほど、表示画面３００内に表示されるキャラクター画像３０１の向きを正面に近づけた。本実施形態では、ステレオマイクによってユーザの音声を検知し、検知されたステレオマイクの左右の音声の音量の差に基づいて、表示画面３００内に表示されるキャラクター画像３０１の向きを変化させる。すなわち、本実施形態では、検知部２０３は、ステレオマイクにより音声を検知し、決定部２０４は、ステレオマイクにより検知された音声の左右の音量の差に基づいて、仮想キャラクター４０１の向きの変化を決定する。
【０１２０】
図９は、モノラルマイクとステレオマイクの比較を説明するため、マイクに向けて異なる方向からユーザが発声している様子を表した図である。とくに、図９（ａ）は、モノラルマイク５０２に対して、また図９（ｂ）は、ステレオマイク５０３に対して、ユーザ５０１が左の位置５１０ａと右の位置５１０ｂとの間で位置を変化させて発声している様子を表した図である。
【０１２１】
図９（ａ）のように、モノラルマイク５０２によって音声を検知する場合は、ユーザ５０１の位置による変化を捉えることはできない。すなわち、例えば、ユーザ５０１が左の位置５１０ａから音声を発した場合と、右の位置５１０ｂから音声を発した場合とで、どちらもモノラルマイク５０２から同じ距離を離れて同じ大きさで音声を発しているとすると、どちらの場合でも同じ音量の音声が検知されるだけであり、その差異は検知されない。そのため、モノラルマイク５０２を用いていた実施形態１におけるキャラクター表示装置２００は、左の方向から検知した音声であっても、あるいは右の方向から検知した音声であっても、検知された音声の音量に基づいて、同様に仮想キャラクター４０１の向きを変化させた。
【０１２２】
一方で、図９（ｂ）では、ステレオマイク５０３は左のマイク５０４ａと右のマイク５０４ｂという、左右２箇所にマイクを有している。そのため、検知された音声が、例えばユーザ５０１が左の位置５１０ａから発した音声なのか、ユーザ５０１が右の位置５１０ｂから発した音声なのか、を判別することができるようになる。具体的には、ユーザ５０１が左の位置５１０ａからステレオマイク５０３に向かって発声しているときは、左のマイク５０４ａで検知された音声の音量は、右のマイク５０４ｂで検知された音声の音量よりも大きくなる。あるいは一方で、ユーザ５０１が右の位置５１０ｂからステレオマイク５０３に向かって発声しているときは、右のマイク５０４ｂで検知された音声の音量は、左のマイク５０４ａで検知された音声の音量よりも大きくなる。また、図９（ｂ）には示されていないが、ユーザ５０１がステレオマイク５０３に対して正面から発声しているときは、左右のマイク５０４ａ，５０４ｂでは同じ音量が検知されることになる。
【０１２３】
なお、図９（ｂ）でのステレオマイク５０３は、左右の異なる２箇所に左のマイク５０４ａと右のマイク５０４ｂを配置したが、本実施形態におけるステレオマイク５０３はこれに限られず、左方向からの音声を捉えるマイクと右方向からの音声を捉えるマイクを１箇所に配置するタイプのものであってもよい。
【０１２４】
また、図９（ａ）および図９（ｂ）において、左の位置５１０ａにいるユーザ５０１と、右の位置５１０ｂにいるユーザ５０１とは、同一のユーザ５０１が位置を変えて発声していることを前提として説明したが、異なるユーザ５０１が同時に発声しているとしてもよい。後者の場合でも上記と同様に、モノラルマイク５０２は、検知された音声がどちらの位置にいるユーザ５０１からのものであるのかを判別することはできないし、ステレオマイク５０３は、左右のマイク５０４ａ，５０４ｂにおいて検知された音声の音量の差によって、どちらの位置にいるユーザ５０１からの音声であるかを判別することができる。
【０１２５】
本実施形態では、このような左右のマイク５０４ａ，５０４ｂで得られる音量の差を利用して、表示画面３００内のキャラクター画像３０１の左右の向きを変化させる。そのために、実施形態１と同様に、記憶部２０１内に仮想空間４００を用意して、その中に仮想キャラクター４０１を配置し、仮想キャラクター４０１の左右の向きを、左右のマイク５０４ａ，５０４ｂで得られる音量の差に基づいて変化させる。ここでの仮想キャラクター４０１の向きは、実施形態１では正面向きと所定角度４０３の左向きとの間を変化したが、本実施形態では、正面向きから左右どちらの方向にも変化する。
【０１２６】
より具体的に、本実施形態では、仮想キャラクター４０１の向きが取りうる範囲は、正面向きを含む左右それぞれの所定角度４０３の横向きの間であり、決定部２０４は、
（ａ）ステレオマイク５０３により検知された音声の左右の音量の差が小さければ小さいほど、仮想キャラクター４０１の向きが正面向きに近づき、
（ｂ）ステレオマイク５０３により検知された音声の左の音量が、右の音量よりも大きければ大きいほど、仮想キャラクター４０１の向きが左の所定角度４０３の横向きに近づき、
（ｃ）ステレオマイク５０３により検知された音声の右の音量が、左の音量よりも大きければ大きいほど、仮想キャラクター４０１の向きが右の所定角度４０３の横向きに近づく、
ように変化を決定する。以下、図１０Ａおよび図１０Ｂを参照して説明する。
【０１２７】
図１０Ａは、本実施形態のキャラクター表示装置２００において、左方向から音声が検知されたときの、仮想空間４００（図１０Ａ（ａ））と表示画面３００（図１０Ａ（ｂ））の様子を示した図である。一方で、図１０Ｂは、本実施形態のキャラクター表示装置２００において、右方向から音声が検知されたときの、仮想空間４００（図１０Ｂ（ａ））と表示画面３００（図１０Ｂ（ｂ））の様子を示した図である。図１０Ａおよび図１０Ｂにおける仮想空間４００、そして表示画面３００は、実施形態１において説明したものと同様の構成要素からなっている。ただし、ここでは表示画面３００を表示しているキャラクター表示装置２００の表示部２０２には、ステレオマイク５０３が接続されており、表示画面３００を見ているユーザ５０１が、ステレオマイク５０３に向かって「Ｈｅｌｌｏ！！」と発声している状況が示されている。そして、ステレオマイク５０３によって検知された音声に基づいて、仮想キャラクター４０１、およびキャラクター画像３０１のとりうる向きが左右に変化している。
【０１２８】
まず、図１０Ａ（ｂ）では、ユーザ５０１は、ステレオマイク５０３の左側から、「Ｈｅｌｌｏ！！」と発声している。この状況では、ステレオマイク５０３の左のマイク５０４ａによって検知された音量は、右のマイク５０４ｂによって検知された音量よりも大きくなる。そのため、図１０Ａ（ａ）における仮想キャラクター４０１の向きは、仮想カメラ４０２に対して左を向く。そして、この左を向いた仮想キャラクター４０１をもとにして生成された表示画面３００内のキャラクター画像３０１は、図１０Ａ（ｂ）に示されるように、左を向く。
【０１２９】
一方で、図１０Ｂ（ｂ）では、ユーザ５０１は、ステレオマイク５０３の右側から、「Ｈｅｌｌｏ！！」と発声している。この状況では、ステレオマイク５０３の右のマイク５０４ｂによって検知された音量は、左のマイク５０４ａによって検知された音量よりも大きくなる。そのため、図１０Ｂ（ａ）における仮想キャラクター４０１の向きは、仮想カメラ４０２に対して右を向く。そして、この右を向いた仮想キャラクター４０１をもとにして生成された表示画面３００内のキャラクター画像３０１は、図１０Ｂ（ｂ）に示されるように、右を向く。
【０１３０】
すなわち、ユーザ５０１がステレオマイク５０３の左側から会話をすると、キャラクター画像３０１も左を向き、あたかもキャラクターも左側から会話をしているように見せかけることができる。同様に、ユーザ５０１がステレオマイク５０３の右側から会話をすると、キャラクター画像３０１も右を向き、あたかもキャラクターも右側から会話をしているように見せかけることができる。
【０１３１】
なお、本実施形態では、実施形態１と同様に、仮想キャラクター４０１の向きを変化させる際に、表示画面３００内におけるキャラクター画像３０１の視線を正面に向けたまま変化させてもよい。すなわち、図１０Ａ（ａ）および図１０Ｂ（ａ）における仮想キャラクター４０１の中に仮想瞳４０４を用意し、仮想キャラクター４０１が仮想カメラ４０２に対して左あるいは右を向いても、仮想瞳４０４は仮想カメラ４０２の方向を向くように配置する。その結果、図１０Ａ（ｂ）および図１０Ｂ（ｂ）において、表示画面３００内に表示されるキャラクター画像３０１は、体全体の向きにかかわらず、瞳画像３０３を正面に向けたまま、すなわち視線を正面に向けたままとなる。
【０１３２】
図１１は、本実施形態における、検知した音声の音量と、仮想キャラクター４０１の向きを定める角度との関係を示したグラフである。図１０Ａおよび図１０Ｂにおいて説明されたような、検知された音声に基づく仮想キャラクター４０１の向きの変化を、本図を参照してより定量的に説明する。
【０１３３】
図１１では、横軸に、ステレオマイク５０３で検知された左右の音量の差を、右のマイク５０４ｂの音量から左のマイク５０４ａの音量を引いた値でとっており、グラフの右側ほど右のマイク５０４ｂの音量が左のマイク５０４ａの音量より大きくなり、左側ほど左のマイク５０４ａの音量が右のマイク５０４ｂの音量より大きくなる。また、縦軸に、仮想キャラクター４０１の向きを定める角度を示しており、仮想キャラクター４０１の向きは、グラフの上側ほど左向きの度合いが大きくなり、下側ほど右向きの度合いが大きくなる。本実施形態での仮想キャラクター４０１は、ステレオマイク５０３によって検知された左右の音量をもとに、本図のような角度の向きをとる。
【０１３４】
すなわちまず、左右のマイク５０４ａ，５０４ｂで検知された音量に差がないときは、仮想キャラクター４０１の向きを定める角度は０°、すなわち正面向きになる。一方で、左のマイク５０４ａで検知された音量が、右のマイク５０４ｂで検知された音量よりも大きくなると、仮想キャラクター４０１の向きは、その音量の差に比例した角度で、左向きになる。逆に、右のマイク５０４ｂで検知された音量が、左のマイク５０４ａで検知された音量よりも大きくなると、仮想キャラクター４０１の向きは、その音量の差に比例した角度で、右向きになる。そして、左右の音量の差が所定の閾音量に達すると、仮想キャラクター４０１の向きは、所定角度４０３の左向きあるいは右向きとなる。本実施形態では、音量の差がそれ以上となっても仮想キャラクター４０１の向きは所定角度４０３の左向きあるいは右向きのままとなる。
【０１３５】
このような構成によって、ユーザ５０１がステレオマイク５０３に向かって話しかける方向を反映させて、表示画面３００に表示されるキャラクター画像３０１の向きを変化させることができる。
【０１３６】
図１２は、本発明の実施形態２のキャラクター表示装置２００に係る処理の流れを示すフローチャートである。ここまで説明してきた本実施形態における処理の流れをまとめて、以下に説明する。本フローチャートは、実施形態１におけるフローチャート（図８）のものと基本的には同じであるが、図８におけるステップＳ８０２とステップＳ８０４の処理（図１２にて点線で囲われた部分）において違いがある。
【０１３７】
すなわち本実施形態のキャラクター表示装置２００は、本処理が開始され、各種の情報の初期化を行った（ステップＳ８０１）後、表示部２０２が、正面向きのキャラクター画像３０１を、垂直同期割り込みを待った後で、表示画面３００に表示する（ステップＳ１２０１）。すなわち、検知部２０３によって音声が検知されていない状況において、実施形態１では所定角度４０３の横向きのキャラクター画像３０１を表示画面３００に表示したが、本実施形態で表示するキャラクター画像３０１は正面向きとなる。
【０１３８】
さらに本実施形態では、検知部２０３が、ユーザ５０１から音声を検知したかどうかを判定し（ステップＳ８０３）、検知されたと判定された場合（ステップＳ８０３；ＹＥＳ）、決定部２０４が、検知された音声の左右の音量の差に基づき、仮想キャラクター４０１の向きの変化を決定する（ステップＳ１２０２）。すなわち、実施形態１ではモノラルマイク５０２で検知された音声の音量に基づいて向きを決定したのに対して、本実施形態では、ステレオマイク５０３で検知された音声の左右の音量の差に基づいて向きを決定する。このとき、図１１に示した左右の音量の差と仮想キャラクター４０１の向きを定める角度との関係を用いる。
【０１３９】
本実施形態ではその後、実施形態１と同様に、更新部２０５が仮想キャラクター４０１の向きを更新し、表示部２０２が更新された向きのキャラクター画像３０１を、垂直同期を待って表示画面３００に表示するまでの処理（ステップＳ８０５〜Ｓ８０９）を行い、ステップＳ８０３へ戻って、検知部２０３による音声の検知の判定を再び行う。
【０１４０】
そして、ユーザ５０１からの音声が検知されている間は、垂直同期ごとに、ステップＳ１２０２、およびステップＳ８０５〜Ｓ８０９までの処理を繰り返して、左右の向きを更新したキャラクター画像３０１を表示画面３００に表示することになる。
【０１４１】
このような構成により、本実施形態におけるキャラクター表示装置２００は、ステレオマイク５０３が検知した左のマイク５０４ａの音量が大きいと、表示画面３００内のキャラクター画像３０１が左を向き、右のマイク５０４ｂの音量が大きいと、キャラクター画像３０１は右を向く。すなわち、ステレオマイク５０３に対するユーザ５０１の相対的な位置を反映した向きを、ユーザ５０１に対応付けられたキャラクター画像３０１にとらせることができる。
【０１４２】
その結果、離れた場所にいるユーザ同士がコミュニケーションをとる際に、相手がどちらの方向から話しているのかを確認しながら会話を進めることができるようになり、ユーザは、より臨場感を持ってスムーズに会話を楽しむことができるようになる。
【０１４３】
（実施形態３）
次に、本発明の実施形態３について説明する。実施形態１および２では、モノラルマイク５０２もしくはステレオマイク５０３によって検知されたユーザからの音声の音量に基づいて、表示画面３００内のキャラクター画像３０１の左右の向きが変化した。本実施形態では、ユーザの音声から２種類の音量を取得し、それぞれに基づいて、キャラクター画像３０１の左右の向きだけでなく、上下の向きも変化させる。
【０１４４】
すなわち、これまでの実施形態１および２では、検知部２０３によって検知された音声から、決定部２０４が音量を取得するときには、音声を所定の区間長によって平均化することで取得した。本実施形態では、異なる２つの時間長、すなわち所定の第１の区間長と所定の第２の区間長とによって別々に平均化し、それぞれ第１の音量と第２の音量の２つの音量を得る。
【０１４５】
例えば本実施形態では、所定の第１の区間長を、所定の第２の区間長よりも、長い区間長にとる。この場合、所定の第１の区間長によって平均化された第１の音量は、ユーザから発せられた音声に周波数の低い成分、すなわち低い音の成分がより多く含まれていた場合に、大きくなる。これに対して、所定の第２の区間長によって平均化された第２の音量は、ユーザから発せられた音声に周波数の高い成分、すなわち高い音の成分がより多く含まれていた場合に、大きくなる。
【０１４６】
このように取得された第１の音量と第２の音量に基づいて、本実施形態のキャラクター表示装置２００は、仮想キャラクター４０１の左右の向きと上下の向きをそれぞれ変化させる。具体的には、決定部２０４が、
（ｐ）検知された音声から所定の第１の区間長によって平均化された、第１の音量に基づいて、仮想キャラクター４０１の左右の向きの変化を決定し、
（ｑ）検知された音声から所定の第２の区間長によって平均化された、第２の音量に基づいて、仮想キャラクター４０１の上下の向きの変化を決定する。
そして、実施形態１および２と同様に、更新部２０５が、決定された左右および上下の変化により記憶された向きを更新し、表示部２０２が、左右および上下の向きが更新された仮想キャラクター４０１の様子を表す画像を生成し、表示画面３００内にキャラクター画像３０１として表示する。以下、図１３を参照して説明する。
【０１４７】
図１３は、本実施形態において、ユーザ５０１からの音声に基づいてキャラクター画像３０１が変化する様子を表した図である。ここで図１３（ａ）、（ｂ）ともに、実施形態１における図３および図５、そして実施形態２における図１０Ａ（ｂ）および図１０Ｂ（ｂ）と同じく、表示画面３００内にはキャラクター画像３０１とメッセージウィンドウ３０２、そしてその他の背景画像が表示されている。そして、表示画面３００を表示しているキャラクター表示装置２００の表示部２０２には、モノラルマイク５０２が接続されている。
【０１４８】
図１３（ａ）では、ユーザ５０１はモノラルマイク５０２へ向けて何も音声を発していない。このとき、キャラクター画像３０１は、表示画面３００を見ているユーザ５０１から見て左方向を向いており、かつキャラクター画像３０１の頭部分は、下方向を向いている。本実施形態では、検知部２０３が音声をまだ何も検知していない状態、すなわち初期状態では、キャラクター画像３０１は、このような図１３（ａ）に示されるような向きにあるとする。ここから検知部２０３が音声を検知すると、すなわちユーザ５０１が
モノラルマイク５０２に向かって声を発すると、キャラクター画像３０１の向きは、図１３（ｂ）に示されたような向きに変化する。
【０１４９】
図１３（ｂ）では、ユーザ５０１はモノラルマイク５０２へ向けて「Ｈｅｌｌｏ！！」と発声している。このとき、キャラクター画像３０１は、図１３（ａ）から比べて、左右の向きは正面向きとなり、かつ頭部分は、上方向を向いている。すなわちここでは、検知された音声から、所定の第１の区間長によって平均化された第１の音量により、キャラクター画像３０１の向きが左向きから正面向きへ変化しており、さらに、検知された音声から、所定の第２の区間長によって平均化された第２の音量により、キャラクター画像３０１の頭部分の向きが下向きから上向きへ変化している。このような仮想キャラクター４０１の向きの変化を、図１４を参照してより定量的に説明する。
【０１５０】
図１４は、実施形態３における、検知部２０３が検知した音声の音量と、仮想キャラクター４０１の向きを定める角度との関係を示したグラフである。とくに、図１４（ａ）は、第１の音量と仮想キャラクター４０１の左右の向きを定める角度との関係を示した図であり、図１４（ｂ）は、第２の音量と仮想キャラクター４０１の上下の向きを定める角度との関係を示した図である。ここで、横軸には検知した音声から取得した第１の、または第２の音量をとり、グラフの右側ほど音量は大きくなる。そして、縦軸には仮想キャラクター４０１の左右、または上下の向きを定める角度をとり、グラフの上側ほど、仮想キャラクター４０１の向きは大きく左、または上を向いているということを表している。
【０１５１】
まず、図１４（ａ）において、第１の区間長によって平均化された第１の音量がない場合には、仮想キャラクター４０１は、あらかじめ定められた所定角度４０３の左向きにある。ここから第１の音量が徐々に大きくなるにしたがって、仮想キャラクター４０１の向きは、徐々に正面向きに近づいていく。そして第１の音量が所定の第１の閾音量に達すると、角度は０°に達し、仮想キャラクター４０１は仮想カメラ４０２に対して真正面を向く、すなわちキャラクター画像３０１は表示画面３００内において正面向きに表示されることになる。さらに所定の第１の閾音量以上の第１の音量を含む音声を検知した場合にも、正面向きのままとなる。
【０１５２】
一方、図１４（ｂ）において、第２の区間長によって平均化された第２の音量がない場合には、仮想キャラクター４０１は、あらかじめ定められた所定の下向き角度の向きにある。ここから第２の音量が徐々に大きくなるにしたがって、仮想キャラクター４０１は、徐々に上へ向きを変化させる。そして第２の音量が所定の第２の閾音量に達すると、角度は所定の上向き角度に達し、上を向いたキャラクター画像３０１が表示画面３００内に表示されることになる。さらに所定の第２の閾音量以上の第２の音量を含む音声を検知した場合にも、所定の上向き角度の向きのままとなる。
【０１５３】
なお、本実施形態での検知部２０３は、モノラルマイク５０２に限られず、ステレオマイク５０３であってもよい。ステレオマイク５０３を用いる場合は、左右のマイク５０４ａ，５０４ｂにおいて検知された音声のそれぞれから、第１の区間長によって平均化された第１の音量と、第２の区間長によって平均化された第２の音量とを取得する。そして、例えば、左右のマイク５０４ａ，５０４ｂにおける第１の音量の差と、第２の音量の差に基づいて、それぞれキャラクター画像３０１の左右の向きと上下の向きとを変化させる、という形態にすることができる。
【０１５４】
このようにユーザ５０１が声を発したのに応じて左右の向きを正面向きに変化させるだけでなく、上下の向きを上向きに変化させることで、あたかもキャラクター画像３０１が頭を上げて話をしているかのように見せかけることができ、会話をしている相手のユーザにとってより臨場感をもって会話をすることができるようになる。
【０１５５】
図１５は、本発明の実施形態３のキャラクター表示装置２００に係る処理の流れを示すフローチャートである。ここまで説明してきた本実施形態における処理の流れをまとめて、以下に説明する。本フローチャートは、実施形態１におけるフローチャート（図８）のものを基本的には踏襲しているが、図８におけるステップＳ８０２、Ｓ８０４、Ｓ８０５の処理にかわり、本実施形態の独自の処理（図１５にて点線で囲われた部分）が入る。
【０１５６】
すなわち本実施形態のキャラクター表示装置２００は、本処理が開始され、各種の情報の初期化を行った（ステップＳ８０１）後、表示部２０２が、所定角度４０３の左向き、および所定の下向き角度のキャラクター画像３０１を、垂直同期割り込みを待った後で、表示画面３００に表示する（ステップＳ１５０１）。すなわち、検知部２０３によって音声が検知されていない状況において、本実施形態ではまず初期状態として、図１３（ａ）に示したような向きのキャラクター画像３０１が表示される。
【０１５７】
さらに本実施形態では、検知部２０３が、ユーザ５０１から音声を検知したかどうかを判定し（ステップＳ８０３）、検知されたと判定された場合（ステップＳ８０３；ＹＥＳ）、決定部２０４が、まず検知された音声から所定の第１の区間長によって平均化された第１の音量を取得する（ステップＳ１５０２）。ここで、平均化するためにとる第１の区間（区間長をＴ１とする）は、現時刻をｔ１として、時刻ｔ１−Ｔ１から時刻ｔ１までの間の区間、とする。すなわち、検知された音声を、現時刻ｔ１を基準に、過去Ｔ１の時間の間で平均化することで、第１の音量を得る。
【０１５８】
そして、得られた第１の音量に基づき、仮想キャラクター４０１の左右の向きの変化を決定する（ステップＳ１５０３）。ここでの向きの変化の決定には、図１４（ａ）に示した第１の音量と仮想キャラクター４０１の左右の向きを定める角度との関係を用いる。
【０１５９】
引き続きその後、検知された音声から所定の第２の区間長によって平均化された第２の音量を取得する（ステップＳ１５０４）。ここで、平均化するためにとる第２の区間（区間長をＴ２とする）は、現時刻をｔ２として、時刻ｔ２−Ｔ２から時刻ｔ２までの間の区間、とする。すなわち、検知された音声を、現時刻ｔ２を基準に、過去Ｔ２の時間の間で平均化することで、第２の音量を得る。
【０１６０】
そして、得られた第２の音量に基づき、仮想キャラクター４０１の上下の向きの変化を決定する（ステップＳ１５０５）。ここでの向きの変化の決定には、図１４（ｂ）に示した第２の音量と仮想キャラクター４０１の上下の向きを定める角度との関係を用いる。
【０１６１】
このように仮想キャラクター４０１の左右と上下の向きの変化が決定されると、さらに本実施形態におけるキャラクター表示装置２００は、更新部２０５が、決定された変化により、仮想キャラクター４０１の左右と上下向きを更新する（ステップＳ１５０６）。
【０１６２】
なお、上記のステップＳ１５０２とステップＳ１５０４の処理は、時系列順に行うように述べたが、同時に行ってもよい。すなわち、検知された音声から、所定の第１の区間長Ｔ１によって平均化する処理と、所定の第２の区間長Ｔ２によって平均化する処理とは、同じ時刻ｔ０を基準として、時刻ｔ０−Ｔ１から時刻ｔ０までの間の区間と、時刻ｔ０−Ｔ２から時刻ｔ０までの間の区間とから平均化してもよい。
【０１６３】
本実施形態ではその後、実施形態１と同様に、向きを更新する際に角加速度が所定の閾値を超えたかどうかを判定する処理から、表示部２０２が更新された向きのキャラクター画像３０１を、垂直同期を待ってから表示画面３００に表示するまでの処理（ステップＳ８０６〜Ｓ８０９）を行い、ステップＳ８０３へ戻って、検知部２０３による音声の検知の判定を再び行う。
【０１６４】
そして、ユーザ５０１からの音声が検知されている間は、ステップＳ１５０２〜Ｓ１５０６、ステップＳ８０６〜Ｓ８０９までの処理を繰り返すことになる。すなわち、垂直同期ごとに、２つの区間長（Ｔ１とＴ２）で平均化された２つの音量を取得し、それに基づいて左右と上下の向きを更新したキャラクター画像３０１を表示画面３００に表示することになる。
【０１６５】
このような構成により、本実施形態におけるキャラクター表示装置２００は、１人のユーザが発した１つの音声から、画面内のキャラクターの左右と上下という異なる２つの向きの変化をさせることができる。
【０１６６】
その結果、ユーザ５０１に対応付けられたキャラクター画像３０１に対して、より複雑な動きをとらせることができ、ユーザは、臨場感や親近感を高めながら会話を楽しむことができるようになる。
【産業上の利用可能性】
【０１６７】
以上説明したように、キャラクターにユーザの音声に応じた動作をさせることで、ユーザの視覚に訴えながら、快適に会話を楽しむのに好適なキャラクター表示装置、キャラクター表示方法、ならびに、プログラムを提供することができる。
【符号の説明】
【０１６８】
１００ 情報処理装置
１０１ ＣＰＵ
１０２ ＲＯＭ
１０３ ＲＡＭ
１０４ インターフェース
１０５ コントローラ
１０６ 外部メモリ
１０７ 画像処理部
１０８ ＤＶＤ−ＲＯＭドライブ
１０９ ＮＩＣ
１１０ 音声処理部
１１１ マイク
２００ キャラクター表示装置
２０１ 記憶部
２０２ 表示部
２０３ 検知部
２０４ 決定部
２０５ 更新部
３００ 表示画面
３０１ キャラクター画像
３０２ メッセージウィンドウ
３０３ 瞳画像
３０４ 会話内容
４００ 仮想空間
４０１ 仮想キャラクター
４０２ 仮想カメラ
４０３ 所定角度
４０４ 仮想瞳
５０１ ユーザ
５０２ モノラルマイク
５０３ ステレオマイク
５０４ａ 左のマイク
５０４ｂ 右のマイク
５１０ａ 左の位置
５１０ｂ 右の位置
【特許請求の範囲】
【請求項１】
仮想空間内に配置されるキャラクターの向きが記憶される記憶部、
前記キャラクターが前記記憶された向きで前記仮想空間内に配置された様子を表す画像を、画面に表示する表示部、
ユーザからの音声を検知する検知部、
前記検知された音声の音量に基づいて、前記キャラクターの向きの変化を決定する決定部、
前記決定された変化により、前記記憶された向きを更新する更新部
を備えることを特徴とするキャラクター表示装置。
【請求項２】
請求項１に記載のキャラクター表示装置であって、
前記検知部は、モノラルマイクにより音声を検知し、
前記キャラクターの向きが取りうる範囲は、正面向きと、左右いずれかの所定角度の横向きと、の間であり、
前記決定部は、前記検知された音声の音量が大きければ大きいほど、前記キャラクターの向きが前記正面向きに近づくように、前記変化を決定する、
ことを特徴とするキャラクター表示装置。
【請求項３】
請求項１に記載のキャラクター表示装置であって、
前記検知部は、ステレオマイクにより音声を検知し、
前記決定部は、前記ステレオマイクにより検知された音声の左右の音量の差に基づいて、前記キャラクターの向きの変化を決定する、
ことを特徴とするキャラクター表示装置。
【請求項４】
請求項３に記載のキャラクター表示装置であって、
前記キャラクターの向きが取りうる範囲は、正面向きを含む左右それぞれの所定角度の横向きの間であり、
前記決定部は、
（ａ）前記ステレオマイクにより検知された音声の左右の音量の差が小さければ小さいほど、前記キャラクターの向きが前記正面向きに近づき、
（ｂ）前記ステレオマイクにより検知された音声の左の音量が、右の音量よりも大きければ大きいほど、前記キャラクターの向きが前記左の所定角度の横向きに近づき、
（ｃ）前記ステレオマイクにより検知された音声の右の音量が、左の音量よりも大きければ大きいほど、前記キャラクターの向きが前記右の所定角度の横向きに近づく、
ように前記変化を決定する、
ことを特徴とするキャラクター表示装置。
【請求項５】
請求項１から４のいずれか１項に記載のキャラクター表示装置であって、
前記決定部は、
（ｐ）前記検知された音声から所定の第１の区間長によって平均化された、第１の音量に基づいて、前記キャラクターの左右の向きの変化を決定し、
（ｑ）前記検知された音声から所定の第２の区間長によって平均化された、第２の音量に基づいて、前記キャラクターの上下の向きの変化を決定する、
ことを特徴とするキャラクター表示装置。
【請求項６】
請求項１から５のいずれか１項に記載のキャラクター表示装置であって、
前記更新部は、前記キャラクターの視線を正面に向けたまま、前記記憶された向きを更新する、
ことを特徴とするキャラクター表示装置。
【請求項７】
請求項１から６のいずれか１項に記載のキャラクター表示装置であって、
前記更新部は、角加速度が所定の閾値を超えないように、前記記憶された向きを更新する、
ことを特徴とするキャラクター表示装置。
【請求項８】
記憶部、表示部、検知部、決定部、更新部を備えるキャラクター表示装置が実行するキャラクター表示方法であって、
前記記憶部には、仮想空間内に配置されるキャラクターの向きが記憶され、
前記表示部が、前記キャラクターが前記記憶された向きで前記仮想空間内に配置された様子を表す画像を、画面に表示する表示工程、
前記検知部が、ユーザからの音声を検知する検知工程、
前記決定部が、前記検知された音声の音量に基づいて、前記キャラクターの向きの変化を決定する決定工程、
前記更新部が、前記決定された変化により、前記記憶された向きを更新する更新工程
を備えることを特徴とするキャラクター表示方法。
【請求項９】
コンピュータを、
仮想空間内に配置されるキャラクターの向きが記憶される記憶部、
前記キャラクターが前記記憶された向きで前記仮想空間内に配置された様子を表す画像を、画面に表示する表示部、
ユーザからの音声を検知する検知部、
前記検知された音声の音量に基づいて、前記キャラクターの向きの変化を決定する決定部、
前記決定された変化により、前記記憶された向きを更新する更新部
として機能させることを特徴とするプログラム。
【請求項１】
仮想空間内に配置されるキャラクターの向きが記憶される記憶部、
前記キャラクターが前記記憶された向きで前記仮想空間内に配置された様子を表す画像を、画面に表示する表示部、
ユーザからの音声を検知する検知部、
前記検知された音声の音量に基づいて、前記キャラクターの向きの変化を決定する決定部、
前記決定された変化により、前記記憶された向きを更新する更新部
を備えることを特徴とするキャラクター表示装置。
【請求項２】
請求項１に記載のキャラクター表示装置であって、
前記検知部は、モノラルマイクにより音声を検知し、
前記キャラクターの向きが取りうる範囲は、正面向きと、左右いずれかの所定角度の横向きと、の間であり、
前記決定部は、前記検知された音声の音量が大きければ大きいほど、前記キャラクターの向きが前記正面向きに近づくように、前記変化を決定する、
ことを特徴とするキャラクター表示装置。
【請求項３】
請求項１に記載のキャラクター表示装置であって、
前記検知部は、ステレオマイクにより音声を検知し、
前記決定部は、前記ステレオマイクにより検知された音声の左右の音量の差に基づいて、前記キャラクターの向きの変化を決定する、
ことを特徴とするキャラクター表示装置。
【請求項４】
請求項３に記載のキャラクター表示装置であって、
前記キャラクターの向きが取りうる範囲は、正面向きを含む左右それぞれの所定角度の横向きの間であり、
前記決定部は、
（ａ）前記ステレオマイクにより検知された音声の左右の音量の差が小さければ小さいほど、前記キャラクターの向きが前記正面向きに近づき、
（ｂ）前記ステレオマイクにより検知された音声の左の音量が、右の音量よりも大きければ大きいほど、前記キャラクターの向きが前記左の所定角度の横向きに近づき、
（ｃ）前記ステレオマイクにより検知された音声の右の音量が、左の音量よりも大きければ大きいほど、前記キャラクターの向きが前記右の所定角度の横向きに近づく、
ように前記変化を決定する、
ことを特徴とするキャラクター表示装置。
【請求項５】
請求項１から４のいずれか１項に記載のキャラクター表示装置であって、
前記決定部は、
（ｐ）前記検知された音声から所定の第１の区間長によって平均化された、第１の音量に基づいて、前記キャラクターの左右の向きの変化を決定し、
（ｑ）前記検知された音声から所定の第２の区間長によって平均化された、第２の音量に基づいて、前記キャラクターの上下の向きの変化を決定する、
ことを特徴とするキャラクター表示装置。
【請求項６】
請求項１から５のいずれか１項に記載のキャラクター表示装置であって、
前記更新部は、前記キャラクターの視線を正面に向けたまま、前記記憶された向きを更新する、
ことを特徴とするキャラクター表示装置。
【請求項７】
請求項１から６のいずれか１項に記載のキャラクター表示装置であって、
前記更新部は、角加速度が所定の閾値を超えないように、前記記憶された向きを更新する、
ことを特徴とするキャラクター表示装置。
【請求項８】
記憶部、表示部、検知部、決定部、更新部を備えるキャラクター表示装置が実行するキャラクター表示方法であって、
前記記憶部には、仮想空間内に配置されるキャラクターの向きが記憶され、
前記表示部が、前記キャラクターが前記記憶された向きで前記仮想空間内に配置された様子を表す画像を、画面に表示する表示工程、
前記検知部が、ユーザからの音声を検知する検知工程、
前記決定部が、前記検知された音声の音量に基づいて、前記キャラクターの向きの変化を決定する決定工程、
前記更新部が、前記決定された変化により、前記記憶された向きを更新する更新工程
を備えることを特徴とするキャラクター表示方法。
【請求項９】
コンピュータを、
仮想空間内に配置されるキャラクターの向きが記憶される記憶部、
前記キャラクターが前記記憶された向きで前記仮想空間内に配置された様子を表す画像を、画面に表示する表示部、
ユーザからの音声を検知する検知部、
前記検知された音声の音量に基づいて、前記キャラクターの向きの変化を決定する決定部、
前記決定された変化により、前記記憶された向きを更新する更新部
として機能させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０Ａ】
【図１０Ｂ】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０Ａ】
【図１０Ｂ】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１２−５０７９１（Ｐ２０１２−５０７９１Ａ）
【公開日】平成２４年３月１５日（２０１２．３．１５）
【国際特許分類】
【出願番号】特願２０１０−１９８０８９（Ｐ２０１０−１９８０８９）
【出願日】平成２２年９月３日（２０１０．９．３）
【出願人】（５０６１１３６０２）株式会社コナミデジタルエンタテインメント (1,441)
【Ｆターム（参考）】
【公開日】平成２４年３月１５日（２０１２．３．１５）
【国際特許分類】
【出願日】平成２２年９月３日（２０１０．９．３）
【出願人】（５０６１１３６０２）株式会社コナミデジタルエンタテインメント (1,441)
【Ｆターム（参考）】
[ Back to top ]