モバイルビデオ通信用アバターデータベース
アバターモバイルビデオ通信方法及びシステムが開示されている。アバターの作成及び現実的な駆動は、例えば携帯電話などの携帯通信機器（６０）では完全に自動的にはできないため、現実的な駆動メカニズムと共に、アバターデータベース（８０）が設けられる。モバイル発呼者は、モバイルビデオ通信中、使用する適切なダウンロード可能なアバターを選択することができる。アバターデータベースは、モバイルビデオ通信システム用のグローバルリソースとして設けられる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、モバイルビデオ通信の分野に係り、特に、モバイルビデオ通信ネットワークと共に用いられるグローバルアバターデータベースを含む方法及びシステムに関する。
【背景技術】
【０００２】
ビデオ通信ネットワークは、仮想環境における情報の交換を可能にする。これを容易にする１つの方法がアバターの利用である。アバターにより、ユーザは、仮想世界において他人とコミュニケーションをとり、交流することができる。
【０００３】
アバターは、例えば、トーキングヘッド（話す人）、マンガ（ｃａｒｔｏｏｎ）、動物、又は、ユーザの立体映像など、ユーザの希望に応じて様々な形をとることができる。アバターは、仮想世界における他のユーザに対するユーザのグラフィック表現である。アバターは、例えば、ユーザが例えばパソコンや携帯電話を通じてアバターを制御しているユーザが仮想世界にログオンしている又はインタラクトしているときに、バーチャルリアリティーにおいて用いられる。
【０００４】
上述のように、トーキングヘッドは、例えば、人の頭の立体表現であって、発話と同期して唇が動くものである。トーキングヘッドは、用いられている接続が音声チャネルであっても、仮想相互接続の幻影を作り出すのに用いることができる。
【０００５】
例えば、オーディオビジュアルスピーチシステムにおいては、様々なアプリケーションについて、「トーキングヘッド」の統合を用いることができる。このようなアプリケーションは、例えばテレビ電話や、プレゼンテーションや、バーチャル会議室におけるアバターや、電子メール読み上げやゲームなどのインテリジェントコンピュータユーザインターフェースや、他の多くのオペレーションなど用のモデルベースの画像圧縮などである。このようなインテリジェントユーザインターフェースの一例は、送信されるオーディオメッセージを表現するのにトーキングヘッドを用いるモバイルビデオ通信システムである。
【０００６】
オーディオビデオシステムにおいて、オーディオは音素及びタイミング情報を得るために処理され、次いで、フェイスアニメーションシンセサイザーに送られる。フェイスアニメーションシンセサイザーは、（Ｎ群の中の）適切なビゼム（ｖｉｓｅｍｅ）画像を音素及び変形体を用いて一音素ずつ表示するために用いる。これは、オーディオに同期した顔の動き（例えば、唇）の様子を伝達する。このような従来のシステムは、非特許文献１及び２に記載されている。
【非特許文献１】Ｔ．Ｅｚｚａｔら、「Ｍｉｋｅｔａｌｋ：Ａ ｔａｌｋｉｎｇ ｆａｃｉａｌ ｄｉｓｐｌａｙ ｂａｓｅｄ ｏｎ ｍｏｒｐｈｉｎｇ ｖｉｓｅｍｅｓ」、Ｐｒｏｃ Ｃｏｍｐｕｔｅｒ Ａｎｉｍａｔｉｏｎ Ｃｏｎｆ． １９９８（ペンシルバニア州フィラデルフィア）、９６〜１０２頁
【非特許文献２】Ｅ．Ｃｏｓａｔｔｏら、「Ｐｈｏｔｏ−ｒｅａｌｉｓｔｉｃ ｔａｌｋｉｎｇ−ｈｅａｄｓ ｆｒｏｍ ｉｍａｇｅ ｓａｍｐｌｅｓ」、ＩＥＥＥ Ｔｒａｎｓ． Ｏｎ Ｍｕｌｔｉｍｅｄｉａ，Ｖｏｌ．２，Ｎｏ．３、２０００年９月
【発明の開示】
【発明が解決しようとする課題】
【０００７】
顔のアニメーション画像についてのモデル化手法は２つ存在する。１つは、ジオメトリをベースする方法であり、もう１つは画像をベースにする方法である。写真による実際のトーキングヘッドを用いる画像ベースのシステムは、よりパーソナルなインターフェースであること、マンガアニメーションなどの他の方法よりわかりやすいこと、音声部分の品質が向上すること、などの多くの利点を有する。
【０００８】
３次元（３Ｄ）モデル化技術を用いることもできる。３Ｄモデルは柔軟性を提供する。なぜなら、３Ｄモデルは、発話及び感情の様々な表情に適応するように変えることができるからである。残念ながら、これら３Ｄモデルは、通常、コンピュータシステムによる自動認識には適していない。３Ｄモデル化のプログラミングの複雑さは増加してきている。なぜなら、現在のモデルはより多くの現実主義を容易にする高性能なものであるからである。このような３Ｄモデル化手法において、情景に同期した３Ｄを生成するのに用いられるポリゴン数は、指数関数的に増加してきている。これは、必要とされるメモリ及びコンピュータの処理能力を大幅に増やす。したがって、３Ｄモデル化手法は、一般的には、携帯電話などの機器においては実施できない。
【０００９】
現在、インターネットチャットのようなアプリケーションやビデオ電子メールアプリケーション用として２Ｄアバターが用いられている。ＣｒａｚｙＴａｌｋやＦａｃｅＭａｉｌなどの従来のシステムは、アバターを駆動させてテキストを音声アプリケーションに合成したものである。ユーザは、複数の既存のアバターの中から１つを選んでもよく、或いは、ユーザ自身を提供して、顔の特徴点をユーザ自身のアバターに調整してもよい。テキストが入力されると、アバターは、そのテキストに応じて話す真似をする。しかしながら、このシンプルな２Ｄアバターモデルが生成するビデオシーケンスは現実的ではない。
【００１０】
３Ｄアバターモデルを作り出すためには、上述のように、通常、平均的なユーザにとっては難しすぎる複雑でインタラクティブな手法が必要となる。
【００１１】
したがって、本発明の目的は、アバターベースのリアルタイムビデオモバイル通信用のビジネスモデルを提供することである。
【００１２】
本発明の別の目的は、モバイルビデオ通信と共に用いられるアバターのグローバルリソースデータベースを提供することである。
【課題を解決するための手段】
【００１３】
本発明の一実施形態は、モバイル通信ネットワークと、ディスプレイを備え、該モバイル通信ネットワークを通じて別の通信機器と情報交換が可能な携帯通信機器と、複数のアバターを含むデータベースとを有するビデオ通信システムに関する。このデータベースは、該モバイル通信ネットワーク用のグローバルリソースである。上記携帯通信機器は、上記複数のアバターの中の少なくとも１つにアクセスできる。
【００１４】
本発明の別の一実施形態は、モバイルビデオ通信用アバターの使用方法に関する。本方法は、携帯通信機器のユーザが別のビデオ通信機器のユーザへビデオ通信を開始する工程と、複数のアバターを含むグローバルリソースデータベースにアクセスする工程と、このデータベースの上記複数のアバターの中から１つのアバターを選択する工程とを有する。本方法は、更に、上記１つのアバターを上記別のビデオ通信機器のユーザへ送る工程を更に有する。
【発明を実施するための最良の形態】
【００１５】
本発明の更に別の特徴及び態様並びに本発明の様々な利点は、添付図面及び以下の好ましい実施形態の詳細な説明からより明らかにされる。
【００１６】
以下の説明においては、限定する目的ではなくあくまで説明の便宜上、本発明の完全な理解を提供するために特定のアーキティチャ、インターフェース、手法などの具体的な詳細が説明されている。しかしながら、当業者には明らかなように、本発明は、これら具体的詳細から逸脱した他の実施形態においても実現可能である。さらに、便宜上、不要な詳細の説明により本発明の説明がぼやけないように、周知の機器、回路、及び方法の詳細な説明は省略する。
【実施例】
【００１７】
図１には、モバイル通信システム１０の概略図が示されている。このネットワークは、様々な基地局サブシステム３０と接続可能な移動曲（ＭＳ）２０を含む。基地局（ＢＳ）３０は、ネットワーク４０によって、相互接続されている。ネットワーク４０は、公衆電話網や携帯電話交換網などのワイドエリアネットワークであってもよく、或いは、ＴＣＰ／ＩＰデータグラムをルーティングするインターネットルータネットワークであってもよい。
【００１８】
また、様々なサービスノード５０もネットワーク４０を経由して接続することができる。図示するように、設けることができるこのようなサービスの１つは、ビデオ通信用サービスである。サービスノード５０は、ビデオ通信を提供するように構成されると共に、グローバルリソースとしてネットワーク４０に接続される。
【００１９】
各ＭＳ２０は、契約者の識別を可能にすると共に呼接続を容易にする従来通りのモバイル送受信機を有する。例えば、発呼者があるセル（すなわち、ネットワーク４０のＢＳ３０によってカバーされるエリア）に電話を掛けようとするとき、ＭＳ２０及びＢＳ３０は互いに発呼者情報を交換する。このとき、サポートされたサービス又は契約されたサービスのリストもネットワーク４０を通じて交換されてもよい。例えば、発呼者は、ディスプレイ６１を備えた携帯電話６０を通じてモバイルビデオ通信を契約することができる。
【００２０】
しかしながら、上述のように、発呼者にとっては、このようなモバイルビデオ通信と共に用いられるアバター７０を作るのがもっともやっかいなことであり得る。本発明の一実施形態は、発呼者が必要に応じてアクセスし、ダウンロードできる、サービスノード５０に記憶されたアバターのデータベース８０に関する。現実的な模倣発話に対するアバター７０用の駆動メカニズムも発呼者に提供される。
【００２１】
データベース８０は、例えば、２次元の、３次元の、マンガ調の、又は、ジメトリーベース若しくは画像ベースのアバターなど、様々な種類のアバター７０を含み得る。
【００２２】
サービスノード５０は、すべてのＢＳ３０及びＭＳ２０用のグローバルリソースであることにも注意。したがって、各ＢＳ３０及び／又はＭＳ２０は、個々にアバター情報を記憶している必要はない。これにより、すべてのアバター７０にとって更新、メンテナンス、及び制御のための中央アクセスポイントが可能となる。また、複数の接続されたサービスノード７０の各々に、すべてのアバター６０のサブセットを備えるようにしてもよい。このような構成においては、１つのサービスノード７０が、モバイルビデオ通信呼が容易になるように、必要に応じて別のサービスノード７０のデータへアクセスできる。
【００２３】
データベース（ＤＢ）８０は、少なくとも、アニメーションライブラリと同時調音（ｃｏａｒｔｉｃｕｌａｔｉｏｎ）ライブラリとを含む。一方のライブラリのデータは、他方のライブラリからサンプルを抽出するのに用いることができる。例えば、サービスノード５０は、同時調音ライブラリから抽出されたデータを用いて、アニメーションライブラリから発呼者へ提供される適切なフレームパラメータを選択することができる。
【００２４】
同時調音も実行されることにも注意。同時調音の目的は、最終的な同期された出力における同時調音の効果を調整することである。同時調音の原理は、音素に対応する口の形が話された音素自体だけでなく、その瞬間の音素の前に（まれに後に）話された音素にも依存することを認識している。同時調音効果を考慮していないアニメーション方法は、観測者に対して人工的であるとの印象を与え得る。なぜなら、口の形は、その口の形をしたのとは一致しない理由で話された音素と共に用いられるかもしれないからである。
【００２５】
また、サービスノード５０は、画像ベース同期ソフトウェアなどのアニメーション同期ソフトウェアを含んでもよい。この実施形態においては、発呼者のためにカスタマイズされたアバターを作成することができる。これは、通常、他人に携帯電話を掛けようとする前に行われる。
【００２６】
カスタマイズされたアバターを作成するために、発呼者が自然に話している間に、少なくとも発呼者の動き及び画像のサンプルが取り込まれる。これは、例えば、携帯電話内のビデオ入力インターフェースを通じて行われてもよく、或いは、オーディオ画像データが別の方法で（例えば、パソコン経由で）取り込まれ、サービスノード５０へダウンロードされてもよい。サンプルは、話者の特徴（例えば、特定の音素を話すときに生成している音、口の形の形状、音素間の移行を表す方法、など）を取り込む。画像サンプルは、サービスノード５０のアニメーションライブラリにおいて処理され、記憶される。
【００２７】
別の実施形態において、発呼者は、将来の利用に備えてサービスノード５０へ提供可能な（アップロード可能な）特定のアバターを既に持っていてもよい。
【００２８】
図２は、アバターデータベース８０へのアクセス及び使用法を示すフローチャートを示している。ステップ１００において、発呼者は携帯電話で電話を掛け始める。次いで、システム１０の契約者として発呼者を識別すると共に、発呼者がいずれのサービスを利用可能であるかを判断する情報がＭＳ２０とＢＳ３０の間で交換される。発呼者は携帯電話６０に関連付けられた固有の番号に基づいて識別されてもよいことに注意。
【００２９】
次いで、ステップ１１０において、アバターデータベース８０がアクセスされる。
【００３０】
発呼者がビデオ通信サービスを契約している場合、発呼者は（ステップ１２１において）データベース８０からアバター７０を選択できる。発呼者は、予め選択されたデフォルトのアバターをすべての呼で用いてもよく、或いは、電話を掛けた相手に応じて異なるアバターを用いてもよい。例えば、発呼者が予めプログラムした短縮ダイヤル番号の各々に特定のアバターを関連付けてもよい。
【００３１】
適切なアバター７０が判断されると（ステップ１２０）、サービスノード５０は、ステップ１３０において、アバター７０をダウンロードする。このアバターは、呼セットアップ手続きの一部として、着呼者へ送られる。これは、例えば、発呼者ＩＤタイプ情報の送信と同様の方法で実行することができる。
【００３２】
この時点で、サービスノード５０は、着信先が発呼者に対して用いられるデフォルトのアバターを持っているか否かを判断してもよい。再記するが、着呼者は、所定のデフォルトアバター６０をすべての呼について用いてもよく、或いは、デフォルトアバター６０は、所定の関連性に基づいて（例えば、発呼者の電話番号に基づいて）いてもよい。この所定のデフォルトアバターは発呼者に送られる。着呼者についてデフォルトアバターを決定できない場合、別の所定のシステムデフォルトアバターを発呼者に送ることができる。
【００３３】
ステップ１４０において、呼が確立され、継続しているとき、データベース８０において、発呼者及び着呼者の様々な（例えば顔）パラメータがアクセスされ、両者に送られる。これにより、アバター６０は、受信した発話及びそれに応じた顔の表情を真似するようになる。
【００３４】
呼中（ステップ１５０）、発呼者及び／又は着呼者は、使用中のアバター６０を動的に変えることができる。
【００３５】
システム１０に関連した様々な機能上のオペレーションは、一部又は全部がメモリに記憶された１以上のソフトウェアプログラムとして実現され、（例えば、ＭＳ２０、ＢＳ３０、又は、サービスノード５０において）プロセッサによって実行されてもよい。
【００３６】
以上、本発明を具体的実施形態について説明したが、本発明はここに開示した実施形態に制限される又は限定されることが意図されていないことは明らかである。逆に、本発明は、請求項の意図及び範囲内に含まれる本発明の様々な構造及び変形例をカバーすることが意図されている。
【図面の簡単な説明】
【００３７】
【図１】本発明の好ましい実施形態を実施可能なシステムの概念図である。
【図２】本発明の好ましい実施形態に係る方法を示すフローチャートである。
【技術分野】
【０００１】
本発明は、モバイルビデオ通信の分野に係り、特に、モバイルビデオ通信ネットワークと共に用いられるグローバルアバターデータベースを含む方法及びシステムに関する。
【背景技術】
【０００２】
ビデオ通信ネットワークは、仮想環境における情報の交換を可能にする。これを容易にする１つの方法がアバターの利用である。アバターにより、ユーザは、仮想世界において他人とコミュニケーションをとり、交流することができる。
【０００３】
アバターは、例えば、トーキングヘッド（話す人）、マンガ（ｃａｒｔｏｏｎ）、動物、又は、ユーザの立体映像など、ユーザの希望に応じて様々な形をとることができる。アバターは、仮想世界における他のユーザに対するユーザのグラフィック表現である。アバターは、例えば、ユーザが例えばパソコンや携帯電話を通じてアバターを制御しているユーザが仮想世界にログオンしている又はインタラクトしているときに、バーチャルリアリティーにおいて用いられる。
【０００４】
上述のように、トーキングヘッドは、例えば、人の頭の立体表現であって、発話と同期して唇が動くものである。トーキングヘッドは、用いられている接続が音声チャネルであっても、仮想相互接続の幻影を作り出すのに用いることができる。
【０００５】
例えば、オーディオビジュアルスピーチシステムにおいては、様々なアプリケーションについて、「トーキングヘッド」の統合を用いることができる。このようなアプリケーションは、例えばテレビ電話や、プレゼンテーションや、バーチャル会議室におけるアバターや、電子メール読み上げやゲームなどのインテリジェントコンピュータユーザインターフェースや、他の多くのオペレーションなど用のモデルベースの画像圧縮などである。このようなインテリジェントユーザインターフェースの一例は、送信されるオーディオメッセージを表現するのにトーキングヘッドを用いるモバイルビデオ通信システムである。
【０００６】
オーディオビデオシステムにおいて、オーディオは音素及びタイミング情報を得るために処理され、次いで、フェイスアニメーションシンセサイザーに送られる。フェイスアニメーションシンセサイザーは、（Ｎ群の中の）適切なビゼム（ｖｉｓｅｍｅ）画像を音素及び変形体を用いて一音素ずつ表示するために用いる。これは、オーディオに同期した顔の動き（例えば、唇）の様子を伝達する。このような従来のシステムは、非特許文献１及び２に記載されている。
【非特許文献１】Ｔ．Ｅｚｚａｔら、「Ｍｉｋｅｔａｌｋ：Ａ ｔａｌｋｉｎｇ ｆａｃｉａｌ ｄｉｓｐｌａｙ ｂａｓｅｄ ｏｎ ｍｏｒｐｈｉｎｇ ｖｉｓｅｍｅｓ」、Ｐｒｏｃ Ｃｏｍｐｕｔｅｒ Ａｎｉｍａｔｉｏｎ Ｃｏｎｆ． １９９８（ペンシルバニア州フィラデルフィア）、９６〜１０２頁
【非特許文献２】Ｅ．Ｃｏｓａｔｔｏら、「Ｐｈｏｔｏ−ｒｅａｌｉｓｔｉｃ ｔａｌｋｉｎｇ−ｈｅａｄｓ ｆｒｏｍ ｉｍａｇｅ ｓａｍｐｌｅｓ」、ＩＥＥＥ Ｔｒａｎｓ． Ｏｎ Ｍｕｌｔｉｍｅｄｉａ，Ｖｏｌ．２，Ｎｏ．３、２０００年９月
【発明の開示】
【発明が解決しようとする課題】
【０００７】
顔のアニメーション画像についてのモデル化手法は２つ存在する。１つは、ジオメトリをベースする方法であり、もう１つは画像をベースにする方法である。写真による実際のトーキングヘッドを用いる画像ベースのシステムは、よりパーソナルなインターフェースであること、マンガアニメーションなどの他の方法よりわかりやすいこと、音声部分の品質が向上すること、などの多くの利点を有する。
【０００８】
３次元（３Ｄ）モデル化技術を用いることもできる。３Ｄモデルは柔軟性を提供する。なぜなら、３Ｄモデルは、発話及び感情の様々な表情に適応するように変えることができるからである。残念ながら、これら３Ｄモデルは、通常、コンピュータシステムによる自動認識には適していない。３Ｄモデル化のプログラミングの複雑さは増加してきている。なぜなら、現在のモデルはより多くの現実主義を容易にする高性能なものであるからである。このような３Ｄモデル化手法において、情景に同期した３Ｄを生成するのに用いられるポリゴン数は、指数関数的に増加してきている。これは、必要とされるメモリ及びコンピュータの処理能力を大幅に増やす。したがって、３Ｄモデル化手法は、一般的には、携帯電話などの機器においては実施できない。
【０００９】
現在、インターネットチャットのようなアプリケーションやビデオ電子メールアプリケーション用として２Ｄアバターが用いられている。ＣｒａｚｙＴａｌｋやＦａｃｅＭａｉｌなどの従来のシステムは、アバターを駆動させてテキストを音声アプリケーションに合成したものである。ユーザは、複数の既存のアバターの中から１つを選んでもよく、或いは、ユーザ自身を提供して、顔の特徴点をユーザ自身のアバターに調整してもよい。テキストが入力されると、アバターは、そのテキストに応じて話す真似をする。しかしながら、このシンプルな２Ｄアバターモデルが生成するビデオシーケンスは現実的ではない。
【００１０】
３Ｄアバターモデルを作り出すためには、上述のように、通常、平均的なユーザにとっては難しすぎる複雑でインタラクティブな手法が必要となる。
【００１１】
したがって、本発明の目的は、アバターベースのリアルタイムビデオモバイル通信用のビジネスモデルを提供することである。
【００１２】
本発明の別の目的は、モバイルビデオ通信と共に用いられるアバターのグローバルリソースデータベースを提供することである。
【課題を解決するための手段】
【００１３】
本発明の一実施形態は、モバイル通信ネットワークと、ディスプレイを備え、該モバイル通信ネットワークを通じて別の通信機器と情報交換が可能な携帯通信機器と、複数のアバターを含むデータベースとを有するビデオ通信システムに関する。このデータベースは、該モバイル通信ネットワーク用のグローバルリソースである。上記携帯通信機器は、上記複数のアバターの中の少なくとも１つにアクセスできる。
【００１４】
本発明の別の一実施形態は、モバイルビデオ通信用アバターの使用方法に関する。本方法は、携帯通信機器のユーザが別のビデオ通信機器のユーザへビデオ通信を開始する工程と、複数のアバターを含むグローバルリソースデータベースにアクセスする工程と、このデータベースの上記複数のアバターの中から１つのアバターを選択する工程とを有する。本方法は、更に、上記１つのアバターを上記別のビデオ通信機器のユーザへ送る工程を更に有する。
【発明を実施するための最良の形態】
【００１５】
本発明の更に別の特徴及び態様並びに本発明の様々な利点は、添付図面及び以下の好ましい実施形態の詳細な説明からより明らかにされる。
【００１６】
以下の説明においては、限定する目的ではなくあくまで説明の便宜上、本発明の完全な理解を提供するために特定のアーキティチャ、インターフェース、手法などの具体的な詳細が説明されている。しかしながら、当業者には明らかなように、本発明は、これら具体的詳細から逸脱した他の実施形態においても実現可能である。さらに、便宜上、不要な詳細の説明により本発明の説明がぼやけないように、周知の機器、回路、及び方法の詳細な説明は省略する。
【実施例】
【００１７】
図１には、モバイル通信システム１０の概略図が示されている。このネットワークは、様々な基地局サブシステム３０と接続可能な移動曲（ＭＳ）２０を含む。基地局（ＢＳ）３０は、ネットワーク４０によって、相互接続されている。ネットワーク４０は、公衆電話網や携帯電話交換網などのワイドエリアネットワークであってもよく、或いは、ＴＣＰ／ＩＰデータグラムをルーティングするインターネットルータネットワークであってもよい。
【００１８】
また、様々なサービスノード５０もネットワーク４０を経由して接続することができる。図示するように、設けることができるこのようなサービスの１つは、ビデオ通信用サービスである。サービスノード５０は、ビデオ通信を提供するように構成されると共に、グローバルリソースとしてネットワーク４０に接続される。
【００１９】
各ＭＳ２０は、契約者の識別を可能にすると共に呼接続を容易にする従来通りのモバイル送受信機を有する。例えば、発呼者があるセル（すなわち、ネットワーク４０のＢＳ３０によってカバーされるエリア）に電話を掛けようとするとき、ＭＳ２０及びＢＳ３０は互いに発呼者情報を交換する。このとき、サポートされたサービス又は契約されたサービスのリストもネットワーク４０を通じて交換されてもよい。例えば、発呼者は、ディスプレイ６１を備えた携帯電話６０を通じてモバイルビデオ通信を契約することができる。
【００２０】
しかしながら、上述のように、発呼者にとっては、このようなモバイルビデオ通信と共に用いられるアバター７０を作るのがもっともやっかいなことであり得る。本発明の一実施形態は、発呼者が必要に応じてアクセスし、ダウンロードできる、サービスノード５０に記憶されたアバターのデータベース８０に関する。現実的な模倣発話に対するアバター７０用の駆動メカニズムも発呼者に提供される。
【００２１】
データベース８０は、例えば、２次元の、３次元の、マンガ調の、又は、ジメトリーベース若しくは画像ベースのアバターなど、様々な種類のアバター７０を含み得る。
【００２２】
サービスノード５０は、すべてのＢＳ３０及びＭＳ２０用のグローバルリソースであることにも注意。したがって、各ＢＳ３０及び／又はＭＳ２０は、個々にアバター情報を記憶している必要はない。これにより、すべてのアバター７０にとって更新、メンテナンス、及び制御のための中央アクセスポイントが可能となる。また、複数の接続されたサービスノード７０の各々に、すべてのアバター６０のサブセットを備えるようにしてもよい。このような構成においては、１つのサービスノード７０が、モバイルビデオ通信呼が容易になるように、必要に応じて別のサービスノード７０のデータへアクセスできる。
【００２３】
データベース（ＤＢ）８０は、少なくとも、アニメーションライブラリと同時調音（ｃｏａｒｔｉｃｕｌａｔｉｏｎ）ライブラリとを含む。一方のライブラリのデータは、他方のライブラリからサンプルを抽出するのに用いることができる。例えば、サービスノード５０は、同時調音ライブラリから抽出されたデータを用いて、アニメーションライブラリから発呼者へ提供される適切なフレームパラメータを選択することができる。
【００２４】
同時調音も実行されることにも注意。同時調音の目的は、最終的な同期された出力における同時調音の効果を調整することである。同時調音の原理は、音素に対応する口の形が話された音素自体だけでなく、その瞬間の音素の前に（まれに後に）話された音素にも依存することを認識している。同時調音効果を考慮していないアニメーション方法は、観測者に対して人工的であるとの印象を与え得る。なぜなら、口の形は、その口の形をしたのとは一致しない理由で話された音素と共に用いられるかもしれないからである。
【００２５】
また、サービスノード５０は、画像ベース同期ソフトウェアなどのアニメーション同期ソフトウェアを含んでもよい。この実施形態においては、発呼者のためにカスタマイズされたアバターを作成することができる。これは、通常、他人に携帯電話を掛けようとする前に行われる。
【００２６】
カスタマイズされたアバターを作成するために、発呼者が自然に話している間に、少なくとも発呼者の動き及び画像のサンプルが取り込まれる。これは、例えば、携帯電話内のビデオ入力インターフェースを通じて行われてもよく、或いは、オーディオ画像データが別の方法で（例えば、パソコン経由で）取り込まれ、サービスノード５０へダウンロードされてもよい。サンプルは、話者の特徴（例えば、特定の音素を話すときに生成している音、口の形の形状、音素間の移行を表す方法、など）を取り込む。画像サンプルは、サービスノード５０のアニメーションライブラリにおいて処理され、記憶される。
【００２７】
別の実施形態において、発呼者は、将来の利用に備えてサービスノード５０へ提供可能な（アップロード可能な）特定のアバターを既に持っていてもよい。
【００２８】
図２は、アバターデータベース８０へのアクセス及び使用法を示すフローチャートを示している。ステップ１００において、発呼者は携帯電話で電話を掛け始める。次いで、システム１０の契約者として発呼者を識別すると共に、発呼者がいずれのサービスを利用可能であるかを判断する情報がＭＳ２０とＢＳ３０の間で交換される。発呼者は携帯電話６０に関連付けられた固有の番号に基づいて識別されてもよいことに注意。
【００２９】
次いで、ステップ１１０において、アバターデータベース８０がアクセスされる。
【００３０】
発呼者がビデオ通信サービスを契約している場合、発呼者は（ステップ１２１において）データベース８０からアバター７０を選択できる。発呼者は、予め選択されたデフォルトのアバターをすべての呼で用いてもよく、或いは、電話を掛けた相手に応じて異なるアバターを用いてもよい。例えば、発呼者が予めプログラムした短縮ダイヤル番号の各々に特定のアバターを関連付けてもよい。
【００３１】
適切なアバター７０が判断されると（ステップ１２０）、サービスノード５０は、ステップ１３０において、アバター７０をダウンロードする。このアバターは、呼セットアップ手続きの一部として、着呼者へ送られる。これは、例えば、発呼者ＩＤタイプ情報の送信と同様の方法で実行することができる。
【００３２】
この時点で、サービスノード５０は、着信先が発呼者に対して用いられるデフォルトのアバターを持っているか否かを判断してもよい。再記するが、着呼者は、所定のデフォルトアバター６０をすべての呼について用いてもよく、或いは、デフォルトアバター６０は、所定の関連性に基づいて（例えば、発呼者の電話番号に基づいて）いてもよい。この所定のデフォルトアバターは発呼者に送られる。着呼者についてデフォルトアバターを決定できない場合、別の所定のシステムデフォルトアバターを発呼者に送ることができる。
【００３３】
ステップ１４０において、呼が確立され、継続しているとき、データベース８０において、発呼者及び着呼者の様々な（例えば顔）パラメータがアクセスされ、両者に送られる。これにより、アバター６０は、受信した発話及びそれに応じた顔の表情を真似するようになる。
【００３４】
呼中（ステップ１５０）、発呼者及び／又は着呼者は、使用中のアバター６０を動的に変えることができる。
【００３５】
システム１０に関連した様々な機能上のオペレーションは、一部又は全部がメモリに記憶された１以上のソフトウェアプログラムとして実現され、（例えば、ＭＳ２０、ＢＳ３０、又は、サービスノード５０において）プロセッサによって実行されてもよい。
【００３６】
以上、本発明を具体的実施形態について説明したが、本発明はここに開示した実施形態に制限される又は限定されることが意図されていないことは明らかである。逆に、本発明は、請求項の意図及び範囲内に含まれる本発明の様々な構造及び変形例をカバーすることが意図されている。
【図面の簡単な説明】
【００３７】
【図１】本発明の好ましい実施形態を実施可能なシステムの概念図である。
【図２】本発明の好ましい実施形態に係る方法を示すフローチャートである。
【特許請求の範囲】
【請求項１】
ビデオ通信システムであって、
モバイル通信ネットワークと、
ディスプレイを備え、前記モバイル通信ネットワークを通じて別の通信機器と情報交換が可能な携帯通信機器と、
複数のアバターを含み、前記モバイル通信ネットワーク用のグローバルリソースであるデータベースとを有し、
前記携帯通信機器は、前記複数のアバターの中の少なくとも１つにアクセスできる、ことを特徴とするビデオ通信システム。
【請求項２】
請求項１記載のビデオ通信システムであって、
前記モバイル通信ネットワークは、複数の移動局と少なくとも１つの基地局とを含む携帯電話ネットワークである、ことを特徴とするビデオ通信システム。
【請求項３】
請求項２記載のビデオ通信システムであって、
前記携帯通信機器は携帯電話である、ことを特徴とするビデオ通信システム。
【請求項４】
請求項１記載のビデオ通信システムであって、
前記複数のアバターは、少なくとも１つの、人間の頭部の３次元表現を含む、ことを特徴とするビデオ通信システム。
【請求項５】
請求項１記載のビデオ通信システムであって、
前記複数のアバターは、少なくとも１つの、人間の頭部の２次元表現を含む、ことを特徴とするビデオ通信システム。
【請求項６】
請求項１記載のビデオ通信システムであって、
前記複数のアバターは、少なくとも１つの、人間の頭部の画像ベースの表現を含む、ことを特徴とするビデオ通信システム。
【請求項７】
請求項１記載のビデオ通信システムであって、
前記携帯通信機器は、更に、ビデオ入力インターフェースを有する、ことを特徴とするビデオ通信システム。
【請求項８】
請求項１記載のビデオ通信システムであって、
前記データベースは、前記モバイル通信ネットワークに通信可能に接続されたビデオサービスノードの一部である、ことを特徴とするビデオ通信システム。
【請求項９】
請求項８記載のビデオ通信システムであって、
前記ビデオサービスノードは、更に、前記ビデオ通信システムの契約者がカスタマイズされたアバターを作ることを可能にするアニメーション合成ソフトウェアを有する、ことを特徴とするビデオ通信システム。
【請求項１０】
モバイルビデオ通信用アバターの使用方法であって、
携帯通信機器のユーザが別のビデオ通信機器のユーザへビデオ通信を開始する工程と、
複数のアバターを含むグローバルリソースデータベースにアクセスする工程と、
前記データベースの前記複数のアバターの中から１つのアバターを選択する工程と、
前記１つのアバターを前記別のビデオ通信機器のユーザへ送る工程と、を有することを特徴とする方法。
【請求項１１】
請求項１０記載の方法であって、
前記携帯通信機器は携帯電話である、ことを特徴とする方法。
【請求項１２】
請求項１０記載の方法であって、
前記複数のアバターは、少なくとも１つの、人間の頭部の３次元表現を含む、ことを特徴とする方法。
【請求項１３】
請求項１０記載の方法であって、
前記複数のアバターは、少なくとも１つの、人間の頭部の２次元表現を含む、ことを特徴とする方法。
【請求項１４】
請求項１０記載の方法であって、
前記複数のアバターは、少なくとも１つの、人間の頭部の画像ベースの表現を含む、ことを特徴とする方法。
【請求項１５】
請求項１０記載の方法であって、
ビデオ情報を提供することによって前記携帯通信機器のユーザがカスタマイズされたアバターを作ることができるようにする工程を更に有する、ことを特徴とする方法。
【請求項１６】
請求項１０記載の方法であって、
前記選択工程は、所定のデフォルトアバターを用いることを含む、ことを特徴とする方法。
【請求項１７】
請求項１６記載の方法であって、
着信先の２人のビデオ通信機器のユーザと共に少なくとも２つの異なる所定のデフォルトアバターが用いられる、ことを特徴とする方法。
【請求項１８】
請求項１０記載の方法であって、
所定のアバターを前記携帯通信機器のユーザへ送る工程を更に有する、ことを特徴とする方法。
【請求項１】
ビデオ通信システムであって、
モバイル通信ネットワークと、
ディスプレイを備え、前記モバイル通信ネットワークを通じて別の通信機器と情報交換が可能な携帯通信機器と、
複数のアバターを含み、前記モバイル通信ネットワーク用のグローバルリソースであるデータベースとを有し、
前記携帯通信機器は、前記複数のアバターの中の少なくとも１つにアクセスできる、ことを特徴とするビデオ通信システム。
【請求項２】
請求項１記載のビデオ通信システムであって、
前記モバイル通信ネットワークは、複数の移動局と少なくとも１つの基地局とを含む携帯電話ネットワークである、ことを特徴とするビデオ通信システム。
【請求項３】
請求項２記載のビデオ通信システムであって、
前記携帯通信機器は携帯電話である、ことを特徴とするビデオ通信システム。
【請求項４】
請求項１記載のビデオ通信システムであって、
前記複数のアバターは、少なくとも１つの、人間の頭部の３次元表現を含む、ことを特徴とするビデオ通信システム。
【請求項５】
請求項１記載のビデオ通信システムであって、
前記複数のアバターは、少なくとも１つの、人間の頭部の２次元表現を含む、ことを特徴とするビデオ通信システム。
【請求項６】
請求項１記載のビデオ通信システムであって、
前記複数のアバターは、少なくとも１つの、人間の頭部の画像ベースの表現を含む、ことを特徴とするビデオ通信システム。
【請求項７】
請求項１記載のビデオ通信システムであって、
前記携帯通信機器は、更に、ビデオ入力インターフェースを有する、ことを特徴とするビデオ通信システム。
【請求項８】
請求項１記載のビデオ通信システムであって、
前記データベースは、前記モバイル通信ネットワークに通信可能に接続されたビデオサービスノードの一部である、ことを特徴とするビデオ通信システム。
【請求項９】
請求項８記載のビデオ通信システムであって、
前記ビデオサービスノードは、更に、前記ビデオ通信システムの契約者がカスタマイズされたアバターを作ることを可能にするアニメーション合成ソフトウェアを有する、ことを特徴とするビデオ通信システム。
【請求項１０】
モバイルビデオ通信用アバターの使用方法であって、
携帯通信機器のユーザが別のビデオ通信機器のユーザへビデオ通信を開始する工程と、
複数のアバターを含むグローバルリソースデータベースにアクセスする工程と、
前記データベースの前記複数のアバターの中から１つのアバターを選択する工程と、
前記１つのアバターを前記別のビデオ通信機器のユーザへ送る工程と、を有することを特徴とする方法。
【請求項１１】
請求項１０記載の方法であって、
前記携帯通信機器は携帯電話である、ことを特徴とする方法。
【請求項１２】
請求項１０記載の方法であって、
前記複数のアバターは、少なくとも１つの、人間の頭部の３次元表現を含む、ことを特徴とする方法。
【請求項１３】
請求項１０記載の方法であって、
前記複数のアバターは、少なくとも１つの、人間の頭部の２次元表現を含む、ことを特徴とする方法。
【請求項１４】
請求項１０記載の方法であって、
前記複数のアバターは、少なくとも１つの、人間の頭部の画像ベースの表現を含む、ことを特徴とする方法。
【請求項１５】
請求項１０記載の方法であって、
ビデオ情報を提供することによって前記携帯通信機器のユーザがカスタマイズされたアバターを作ることができるようにする工程を更に有する、ことを特徴とする方法。
【請求項１６】
請求項１０記載の方法であって、
前記選択工程は、所定のデフォルトアバターを用いることを含む、ことを特徴とする方法。
【請求項１７】
請求項１６記載の方法であって、
着信先の２人のビデオ通信機器のユーザと共に少なくとも２つの異なる所定のデフォルトアバターが用いられる、ことを特徴とする方法。
【請求項１８】
請求項１０記載の方法であって、
所定のアバターを前記携帯通信機器のユーザへ送る工程を更に有する、ことを特徴とする方法。
【図１】
【図２】
【図２】
【公表番号】特表２００６−５１０２４９（Ｐ２００６−５１０２４９Ａ）
【公表日】平成１８年３月２３日（２００６．３．２３）
【国際特許分類】
【出願番号】特願２００４−５５８２５３（Ｐ２００４−５５８２５３）
【出願日】平成１５年１２月４日（２００３．１２．４）
【国際出願番号】ＰＣＴ／ＩＢ２００３／００５６８５
【国際公開番号】ＷＯ２００４／０５４２１６
【国際公開日】平成１６年６月２４日（２００４．６．２４）
【出願人】（５９００００２４８）コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ (12,071)
【氏名又は名称原語表記】Ｋｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｅｌｅｃｔｒｏｎｉｃｓ Ｎ．Ｖ．
【住所又は居所原語表記】Ｇｒｏｅｎｅｗｏｕｄｓｅｗｅｇ １，５６２１ ＢＡ Ｅｉｎｄｈｏｖｅｎ， Ｔｈｅ Ｎｅｔｈｅｒｌａｎｄｓ
【Ｆターム（参考）】
【公表日】平成１８年３月２３日（２００６．３．２３）
【国際特許分類】
【出願日】平成１５年１２月４日（２００３．１２．４）
【国際出願番号】ＰＣＴ／ＩＢ２００３／００５６８５
【国際公開番号】ＷＯ２００４／０５４２１６
【国際公開日】平成１６年６月２４日（２００４．６．２４）
【出願人】（５９００００２４８）コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ (12,071)
【氏名又は名称原語表記】Ｋｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｅｌｅｃｔｒｏｎｉｃｓ Ｎ．Ｖ．
【住所又は居所原語表記】Ｇｒｏｅｎｅｗｏｕｄｓｅｗｅｇ １，５６２１ ＢＡ Ｅｉｎｄｈｏｖｅｎ， Ｔｈｅ Ｎｅｔｈｅｒｌａｎｄｓ
【Ｆターム（参考）】
[ Back to top ]