通話装置
【課題】聞き手の画面に映すアバターの位置を移動させたり、話し手が複数の場合に、話している人に対応してアバターのみ口パクをさせることを可能とする。
【解決手段】人物の映像をアバターを用いて送信する通信装置であって、音声を入力する複数の音声入力手段と、前記音声入力手段に入力される、音声の到達時間や音声のゲインに基づいて、音声が入力された位置を判別する音声解析手段と、アバターを生成する生成手段と、前記音声解析手段により判別した音声が入力された位置に対応して、前記生成手段により、音声が入力された位置にあわせてアバターを生成する。
【解決手段】人物の映像をアバターを用いて送信する通信装置であって、音声を入力する複数の音声入力手段と、前記音声入力手段に入力される、音声の到達時間や音声のゲインに基づいて、音声が入力された位置を判別する音声解析手段と、アバターを生成する生成手段と、前記音声解析手段により判別した音声が入力された位置に対応して、前記生成手段により、音声が入力された位置にあわせてアバターを生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、アバターを用いた視覚的効果を伴う通話装置に関するものである。
【背景技術】
【０００２】
アバターを用いた擬似的なテレビ電話が実用化されており、話し手の声、動作に連動してアバターをアニメーションさせ、本当のテレビ電話に近づける技術が求められている（例えば、特許文献１から４等）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−１８４３３号公報
【特許文献２】特開２００６−３３１０６５号公報
【特許文献３】特開２００５−２７６１０３号公報
【特許文献４】特開平１１−２５０１６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
リビングにある大型テレビのように比較的広い空間で使用する機器、複数人が利用する機器にアバターを用いた通信機能を搭載する場合がある。前述の特許文献１−４のような機能は話し手の状況を聞き手にアバターのアニメーションとして伝えるが、聞き手の画面に映すアバターの位置を移動させたり、話し手が複数の場合、話している人に対応したアバターのみ口パクをさせるなどの情報を伝えることができない。
【課題を解決するための手段】
【０００５】
上記の課題を解決するために、本発明では、話し手の映像としてアバターを用いる通信システムにおいて、話し手の位置を特定する手段を備え、聞き手側に送信するアバター映像情報として話し手の位置情報を伝達する構成を採用する。
【０００６】
また、上記の課題を解決するために、本発明では、聞き手側の映像として、話している人物に対応するアバターの口を開閉させるアニメーションを表示する構成を採用する。
【発明の効果】
【０００７】
本発明は、現在話している人物の位置をアバターに反映したり、複数人の中から話している人物に対応したアバターをアニメーションさせることができる。
【図面の簡単な説明】
【０００８】
【図１】本発明のアバターを用いた通信装置１の構成図
【図２】本発明のアバターを用いた通信装置２の構成図
【発明を実施するための形態】
【０００９】
本発明の具体的な実施の形態について以下に示す。
（実施の形態１）
図１は、本発明のアバターを用いた通信装置１の構成図であって、話し手の位置を特定し、聞き手が見る映像として表示するアバターの位置を決定して聞き手に送信する。マイク１００Ｌとマイク１００Ｒに入力された音声を音声波形解析装置１０１と音量解析装置１０２により、同じ波形の音声が、マイク１００Ｌとマイク１００Ｒのどちらに先に届いたかの到達時間情報と、マイク１００Ｌとマイク１００Ｒのどちらのゲインが高いかのゲイン情報を生成する。
アバター映像情報生成装置１０３は、前期音声の到達時間情報とゲイン情報から、話し手がマイク１００Ｌの方向、またはマイク１００Ｌとマイク１００Ｒの間、またはマイク１００Ｒの方向にいることを判断して、アバターの位置（方向）を設定し、アバター映像情報を生成する。通信装置１０４はアバター映像情報生成装置が生成したアバター映像情報を聞き手側へ送信する。
【００１０】
なお、ここでは簡単のためマイクを2つとしたが、３つ、４つと増設することで、より詳細に話し手とアバターの位置を設定することができる。
（実施の形態２）
図２は、本発明のアバターを用いた通信装置２の構成図であって、実施の形態１に音声照合手段２０５とアバター情報記憶装置２０６を追加することで、複数人の話し手に対応したアバターの位置表示と、複数のアバターの中から現在話している人物に対応するものを口パクなどのアニメーションをさせる映像情報を聞き手に送信する。
【００１１】
マイク２００Ｌとマイク２００Ｒに入力された音声を音声波形解析装置２０１と音量解析装置にて前記実装の形態１と同様に音声到達時間情報とゲイン情報を生成すると同時に、音声照合手段２０５は音声波形解析装置２０１で解析した音声波形情報により話し手を照合し、話し手に対応したアバター情報を生成する。アバター情報は、個々の話し手に対応したＩＤであり、話し手に対応した個別のアバター映像と位置情報と、現在話していることを示す情報を関連付けするために用いる。
アバター映像情報生成装置２０３は前記音声到達時間情報とゲイン情報から話し手の位置情報を生成する。次に、アバター情報記憶装置２０６に前記アバター情報に関連付けて位置情報と現在話していることを示す情報を記録する。この際、既に話し手に対応したアバター情報を記憶している場合は更新する。
また、アバター情報記憶装置２０６はあらかじめ登録したアバター情報に対応した個々のアバター映像を記録しているものとする。アバター映像情報生成装置２０３は、アバター情報記憶装置２０６の内容を読み出し、記憶されたアバター情報の数を話し手の人数と認識し、人数分のアバター映像情報を生成する。この際、アバターを表示する位置はアバター情報に関連付けた位置情報を元に設定し、現在話していることを示す情報がある場合には、口を開閉するアニメーションを行うアバター映像情報を生成する。通信装置２０４はアバター映像情報生成装置が生成したアバター映像情報を聞き手側へ送信する。
なお、相手に話し手を特定させるための映像としては、口を開閉させるだけでなく、アバターをズーム表示する映像、アバターを点滅させるなどの映像でも良い
なお、アバター情報記憶装置２０６は、通話開始から、現在までに音声照合された話し手の数だけアバター情報を記録しているが、一度音声照合されてから、長時間、再度音声照合されないアバター情報に対しては、マイク２００Ｌ，マイク２００Ｒで音声を受信できる範囲からいなくなったものとして判断し、アバター情報を削除する、または表示しないことを示す情報を追加して、アバター映像情報生成装置２０５がアバター映像を生成しないようにする手段を設けてもよい。
なお、上記、長時間、音声照合されないアバター情報に関しては、話し手の手動処理、または音声入力処理によって削除、またはアバターを表示しないことを示す情報を追加しても良い。
【産業上の利用可能性】
【００１２】
テレビなどの話し手が比較的広く、離れた範囲にいる場合、または複数人が話し手となる場合のアバターを用いた通話手段においては位置情報、話し手の特定手段として用いられる可能性が高い。
【符号の説明】
【００１３】
１００Ｌ マイク
１００Ｒ マイク
１０１ 音声波形解析装置
１０２ 音量解析装置
１０３ アバター映像情報生成装置
１０４ 通信装置
２００Ｌ マイク
２００Ｒ マイク
２０１ 音声波形解析装置
２０２ 音量解析装置
２０３ アバター映像情報生成装置
２０４ 通信装置
２０５ 音声照合手段
２０６ アバター情報記憶装置
【技術分野】
【０００１】
本発明は、アバターを用いた視覚的効果を伴う通話装置に関するものである。
【背景技術】
【０００２】
アバターを用いた擬似的なテレビ電話が実用化されており、話し手の声、動作に連動してアバターをアニメーションさせ、本当のテレビ電話に近づける技術が求められている（例えば、特許文献１から４等）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−１８４３３号公報
【特許文献２】特開２００６−３３１０６５号公報
【特許文献３】特開２００５−２７６１０３号公報
【特許文献４】特開平１１−２５０１６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
リビングにある大型テレビのように比較的広い空間で使用する機器、複数人が利用する機器にアバターを用いた通信機能を搭載する場合がある。前述の特許文献１−４のような機能は話し手の状況を聞き手にアバターのアニメーションとして伝えるが、聞き手の画面に映すアバターの位置を移動させたり、話し手が複数の場合、話している人に対応したアバターのみ口パクをさせるなどの情報を伝えることができない。
【課題を解決するための手段】
【０００５】
上記の課題を解決するために、本発明では、話し手の映像としてアバターを用いる通信システムにおいて、話し手の位置を特定する手段を備え、聞き手側に送信するアバター映像情報として話し手の位置情報を伝達する構成を採用する。
【０００６】
また、上記の課題を解決するために、本発明では、聞き手側の映像として、話している人物に対応するアバターの口を開閉させるアニメーションを表示する構成を採用する。
【発明の効果】
【０００７】
本発明は、現在話している人物の位置をアバターに反映したり、複数人の中から話している人物に対応したアバターをアニメーションさせることができる。
【図面の簡単な説明】
【０００８】
【図１】本発明のアバターを用いた通信装置１の構成図
【図２】本発明のアバターを用いた通信装置２の構成図
【発明を実施するための形態】
【０００９】
本発明の具体的な実施の形態について以下に示す。
（実施の形態１）
図１は、本発明のアバターを用いた通信装置１の構成図であって、話し手の位置を特定し、聞き手が見る映像として表示するアバターの位置を決定して聞き手に送信する。マイク１００Ｌとマイク１００Ｒに入力された音声を音声波形解析装置１０１と音量解析装置１０２により、同じ波形の音声が、マイク１００Ｌとマイク１００Ｒのどちらに先に届いたかの到達時間情報と、マイク１００Ｌとマイク１００Ｒのどちらのゲインが高いかのゲイン情報を生成する。
アバター映像情報生成装置１０３は、前期音声の到達時間情報とゲイン情報から、話し手がマイク１００Ｌの方向、またはマイク１００Ｌとマイク１００Ｒの間、またはマイク１００Ｒの方向にいることを判断して、アバターの位置（方向）を設定し、アバター映像情報を生成する。通信装置１０４はアバター映像情報生成装置が生成したアバター映像情報を聞き手側へ送信する。
【００１０】
なお、ここでは簡単のためマイクを2つとしたが、３つ、４つと増設することで、より詳細に話し手とアバターの位置を設定することができる。
（実施の形態２）
図２は、本発明のアバターを用いた通信装置２の構成図であって、実施の形態１に音声照合手段２０５とアバター情報記憶装置２０６を追加することで、複数人の話し手に対応したアバターの位置表示と、複数のアバターの中から現在話している人物に対応するものを口パクなどのアニメーションをさせる映像情報を聞き手に送信する。
【００１１】
マイク２００Ｌとマイク２００Ｒに入力された音声を音声波形解析装置２０１と音量解析装置にて前記実装の形態１と同様に音声到達時間情報とゲイン情報を生成すると同時に、音声照合手段２０５は音声波形解析装置２０１で解析した音声波形情報により話し手を照合し、話し手に対応したアバター情報を生成する。アバター情報は、個々の話し手に対応したＩＤであり、話し手に対応した個別のアバター映像と位置情報と、現在話していることを示す情報を関連付けするために用いる。
アバター映像情報生成装置２０３は前記音声到達時間情報とゲイン情報から話し手の位置情報を生成する。次に、アバター情報記憶装置２０６に前記アバター情報に関連付けて位置情報と現在話していることを示す情報を記録する。この際、既に話し手に対応したアバター情報を記憶している場合は更新する。
また、アバター情報記憶装置２０６はあらかじめ登録したアバター情報に対応した個々のアバター映像を記録しているものとする。アバター映像情報生成装置２０３は、アバター情報記憶装置２０６の内容を読み出し、記憶されたアバター情報の数を話し手の人数と認識し、人数分のアバター映像情報を生成する。この際、アバターを表示する位置はアバター情報に関連付けた位置情報を元に設定し、現在話していることを示す情報がある場合には、口を開閉するアニメーションを行うアバター映像情報を生成する。通信装置２０４はアバター映像情報生成装置が生成したアバター映像情報を聞き手側へ送信する。
なお、相手に話し手を特定させるための映像としては、口を開閉させるだけでなく、アバターをズーム表示する映像、アバターを点滅させるなどの映像でも良い
なお、アバター情報記憶装置２０６は、通話開始から、現在までに音声照合された話し手の数だけアバター情報を記録しているが、一度音声照合されてから、長時間、再度音声照合されないアバター情報に対しては、マイク２００Ｌ，マイク２００Ｒで音声を受信できる範囲からいなくなったものとして判断し、アバター情報を削除する、または表示しないことを示す情報を追加して、アバター映像情報生成装置２０５がアバター映像を生成しないようにする手段を設けてもよい。
なお、上記、長時間、音声照合されないアバター情報に関しては、話し手の手動処理、または音声入力処理によって削除、またはアバターを表示しないことを示す情報を追加しても良い。
【産業上の利用可能性】
【００１２】
テレビなどの話し手が比較的広く、離れた範囲にいる場合、または複数人が話し手となる場合のアバターを用いた通話手段においては位置情報、話し手の特定手段として用いられる可能性が高い。
【符号の説明】
【００１３】
１００Ｌ マイク
１００Ｒ マイク
１０１ 音声波形解析装置
１０２ 音量解析装置
１０３ アバター映像情報生成装置
１０４ 通信装置
２００Ｌ マイク
２００Ｒ マイク
２０１ 音声波形解析装置
２０２ 音量解析装置
２０３ アバター映像情報生成装置
２０４ 通信装置
２０５ 音声照合手段
２０６ アバター情報記憶装置
【特許請求の範囲】
【請求項１】
人物の映像をアバターを用いて送信する通信装置であって、
音声を入力する複数の音声入力手段と、
前記音声入力手段に入力される、音声の到達時間や音声のゲインに基づいて、音声が入力された位置を判別する音声解析手段と、
アバターを生成する生成手段と、
前記音声解析手段により判別した音声が入力された位置に対応して、前記生成手段により、音声が入力された位置にあわせてアバターを生成することを特徴とする通信装置。
【請求項２】
前記音声解析手段は、さらに、
前記音声入力手段に入力された音声の音声波形情報を取得する音声波形解析手段と、
前記音声波形解析手段により取得された音声波形情報から、人物を照合する照合手段と、
前記人物に対応するアバターを記憶する記憶手段とを備え、
前記生成手段は、前記照合手段により照合した人物に対応するアバターを前記記憶手段から出力し、アバターを生成することを特徴とする請求項１記載の通信装置。
【請求項３】
前記生成手段は、前記照合手段により照合した人物に対応する前記記憶手段から出力されたアバターの口を開閉させるアニメーションを表示することを特徴とする請求項２記載の通信装置。
【請求項４】
前記通信装置は、さらに、人物を撮影する撮像手段を備え、
前記照合手段により照合した人物に対応するアバターをズーム表示することを特徴とする請求項３記載の通信装置。
【請求項１】
人物の映像をアバターを用いて送信する通信装置であって、
音声を入力する複数の音声入力手段と、
前記音声入力手段に入力される、音声の到達時間や音声のゲインに基づいて、音声が入力された位置を判別する音声解析手段と、
アバターを生成する生成手段と、
前記音声解析手段により判別した音声が入力された位置に対応して、前記生成手段により、音声が入力された位置にあわせてアバターを生成することを特徴とする通信装置。
【請求項２】
前記音声解析手段は、さらに、
前記音声入力手段に入力された音声の音声波形情報を取得する音声波形解析手段と、
前記音声波形解析手段により取得された音声波形情報から、人物を照合する照合手段と、
前記人物に対応するアバターを記憶する記憶手段とを備え、
前記生成手段は、前記照合手段により照合した人物に対応するアバターを前記記憶手段から出力し、アバターを生成することを特徴とする請求項１記載の通信装置。
【請求項３】
前記生成手段は、前記照合手段により照合した人物に対応する前記記憶手段から出力されたアバターの口を開閉させるアニメーションを表示することを特徴とする請求項２記載の通信装置。
【請求項４】
前記通信装置は、さらに、人物を撮影する撮像手段を備え、
前記照合手段により照合した人物に対応するアバターをズーム表示することを特徴とする請求項３記載の通信装置。
【図１】
【図２】
【図２】
【公開番号】特開２０１１−２４９８９６（Ｐ２０１１−２４９８９６Ａ）
【公開日】平成２３年１２月８日（２０１１．１２．８）
【国際特許分類】
【出願番号】特願２０１０−１１８００３（Ｐ２０１０−１１８００３）
【出願日】平成２２年５月２４日（２０１０．５．２４）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２３年１２月８日（２０１１．１２．８）
【国際特許分類】
【出願日】平成２２年５月２４日（２０１０．５．２４）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]