説明

フォトリアリスティックなトーキングヘッドの作成、コンテンツ作成、及び流通システム及び方法

フォトリアリスティックなトーキングヘッドに基づくマルチメディアコンテンツをネットワークを介して作成、流通、及び閲覧するシステム及び方法であって、サーバと、携帯電話及びその他のポータブル無線機器を含む様々な通信装置と、各ユーザがテキスト、音声、写真、及び映像コンテンツと組み合わせたフォトリアリスティックなトーキングヘッドの動画を含むマルチメディアコンテンツの作成、使用、及び共有を通じて相互に通信できるソフトウェアスイートとを備える。コンテンツは、リモートサーバへアップロードされ、携帯電話、デスクトップコンピュータ、ノート型コンピュータ、携帯情報端末など、幅広い機器を介してアクセスされる。コンテンツを含むショーは、ウェブブラウザのアプリケーション又はデジタル機器のOSに組み込まれたアプリケーションを使用してインターネットソーシャルネットワーキングのサイトやチャットルームなどの様々な環境でメディア再生装置を使用して閲覧でき、そしてインターネット、無線セルラーネットワーク、その他の対応ネットワークを介して流通される。

【発明の詳細な説明】
【技術分野】
【0001】
本願は、2008年3月9日付け出願の米国仮特許出願61/035,022の利益を主張し、その全ての内容は、ここに参照により取り入れられる。上記参照文献は、本明細書で述べる本発明の先行技術として認められるものではない。
【0002】
本発明は、概してトーキングヘッドに関し、さらに詳しくは、写真のような現実感のある(以下、「フォトリアリスティック」という)トーキングヘッド、フォトリアリスティックな頭部のショー、フォトリアリスティックな頭部のショーのコンテンツを作成、流通、及び閲覧するためのシステム及び方法に関する。
【背景技術】
【0003】
デジタル通信は、現在の生活の重要な部分である。個人や企業は、無線セルラーネットワーク及びインターネットを含むあらゆる種類のネットワークを介して互いに通信するが、それぞれのネットワークの種類は、通常は帯域幅が限定されている。無線及び有線ネットワークによってユーザ間で情報を伝達し、通信の必要性を満たすために、パーソナルコンピュータ、携帯端末、携帯情報端末(PDA)、インターネットベースの携帯電話、電子メールやインスタントメッセージサービス、PC電話、ビデオ会議、及び他の適切な手段が使用される。情報は、ビデオやオーディオ情報を有する動画及びテキストベースの両方のフォーマットで伝達されているが、人の動画を用いる傾向にあり、これによって、個性を伝えること、会話の重要点の強調及び感情的内容の追加が可能である。
【0004】
トーキングヘッドの動画画像を生成するために様々な方法が使用されてきた。これにより、例えばニュースキャスターがより個人の容姿で見えるようになったが、これらの動画画像は、未だ一般的には個人の個性を伝え、会話の重要点を強調するとともに、感情的内容を追加するために必要なフォトリアリスティックな品質には欠けており、不明瞭であることが多く、口合わせができておらず、現在のネットワーク及び/又はインターネットのほとんどで一般的に利用可能な帯域幅よりもはるかに大きい帯域幅を必要とし、作成が困難で時間がかかる。ほとんどの場合には、ファイルサイズを縮小するために圧縮し、ダウンロードにかかる時間を短縮するためにストリーム化すると、ビデオ画像を不明瞭化するアーチファクトの結果として、動きのある実際の人間のフォトリアリスティックな画像は制限され、かつ/又は低品質であった。
【0005】
ニュース報道は、電子通信媒体の基本要素であり、ニュースキャスターの形態は、ニュース報道に関連したグラフィックや写真、フォトリアリスティックな品質を有して個人の容姿で見えるようになっているトーキングヘッドの動画画像の使用によって増強されており、このようなトーキングヘッドを使用することができる多数の用途の中の1つである。
【0006】
電子画像、特に頭部、頭部の作製技術、及び/又は人体に関連して、電子画像を作製、作成及び操作するための様々な方法や装置が開示されてきた。しかしながら、どの方法や装置も、携帯端末、携帯電話、携帯情報端末、スマートフォン等で使用するためのこれらの前述の要求を十分満たさない。
【0007】
特許文献1(Cheikyら)は、テンプレートと、対象者の画像出力信号を有するビデオカメラと、テンプレートと対象者の画像出力信号とを混合して合成画像及び合成画像を表現する出力信号を作るためのミキサと、プロンプタと、保存手段とを含み、プロンプタは、ビデオカメラと対象者の間の部分反射鏡と、ミキサの合成画像を表現する出力信号を受信するための入力部とを有し、部分反射鏡は、それを通してビデオカメラが対象者画像を収集し、対象者が合成画像を見て、対象者の画像をテンプレートに合わせて配置できるようにされ、保存手段は、対象者の収集画像を表現するビデオカメラの出力信号を受信し、テンプレートにほぼ位置を合わせた対象者の画像を保存するための入力部を有するフォトリアリスティックなトーキングヘッド作成システム及び方法を開示している。
【0008】
特許文献2(Cheiky等)は、テンプレートと、対象者の画像出力信号を有するビデオカメラと、テンプレートと対象者の画像出力信号とを混合して合成画像及び合成画像を表現する出力信号にするためのミキサプログラムを有するコンピュータと、合成画像として対象者に対して表示するためにモニタへ合成画像信号を伝達するようにされたコンピュータと、ビデオカメラが対象者の画像を収集し、対象者が合成画像を見て、対象者がテンプレートに合わせて対象者の画像を配置できるようにされたモニタ及びビデオカメラと、対象者の収集画像を表現するビデオカメラの出力信号を受信し、テンプレートにほぼ位置を合わせた対象者の画像を保存するための入力部を有する保存手段とを含む、自分でできるフォトリアリスティックなトーキングヘッド作成システム及び方法を開示している。
【先行技術文献】
【特許文献】
【0009】
【特許文献1】米国特許第6,919,892号明細書
【特許文献2】米国特許第7,027,054号明細書
【発明の概要】
【発明が解決しようとする課題】
【0010】
しかしながら、今日の世界では、通信機器はさらに小型化して可搬性が高まり、人はグローバルに相互通信可能となっている。携帯電話やその他の無線機器などの非常に小型なポータブル機器を用いて、フォトリアリスティックなトーキングヘッドのライブラリを作成するために使用可能なネットワークを介して、フォトリアリスティックなトーキングヘッドに基づくマルチメディアコンテンツを作成、流通、及び閲覧するシステム及び方法が求められている。
【0011】
フォトリアリスティックなトーキングヘッドに基づくマルチメディアコンテンツをネットワークを介して作成、流通、及び閲覧するシステム及び方法、特に、フォトリアリスティックなトーキングヘッド、フォトリアリスティックな頭部のショー、フォトリアリスティックな頭部のショーのコンテンツを作成、流通、及び閲覧するためのシステム及び方法が必要である。フォトリアリスティックなトーキングヘッドに基づくマルチメディアコンテンツをネットワークを介して作成、流通、及び閲覧するシステム及び方法は、サーバと、携帯電話及びその他のポータブル無線機器を含む通信装置と、ソフトウェア一式とを備えることができ、ソフトウェア一式は、各ユーザがテキスト、音声、写真、及び映像コンテンツと組み合わせたフォトリアリスティックなトーキングヘッドの動画を含むマルチメディアコンテンツの作成、使用、及び共有を通じて相互に通信することを可能にする。コンテンツは、少なくとも1つのリモートサーバへアップロードされ、携帯電話、デスクトップコンピュータ、ノート型コンピュータ、携帯情報端末、スマートフォンなどの幅広い機器を介してアクセスされることが可能であるべきである。コンテンツを含むショーは、ウェブブラウザのアプリケーション又はデジタル機器のOSに組み込まれたアプリケーションを用いて、インターネットソーシャルネットワーキングのサイトやチャットルームなどの様々な環境でメディア再生装置を使用して閲覧され、さらにインターネット、無線セルラーネットワーク、その他の適したネットワークを介して流通されるべきである。
【0012】
したがって、フォトリアリスティックなトーキングヘッドに基づくマルチメディアコンテンツをネットワークを介して作成、流通、及び閲覧するシステム及び方法、特に、フォトリアリスティックなトーキングヘッド、フォトリアリスティックな頭部のショー、フォトリアリスティックな頭部のショーのコンテンツを作成、流通、及び閲覧するためのシステム及び方法が必要であり、それによってユーザは、トーキングヘッドのフォトリアリスティックな動画、トーキングヘッドのショー、及びトーキングヘッドのショーのコンテンツを迅速、容易、かつ手軽に作成することができる。このフォトリアリスティックなトーキングヘッドに基づくマルチメディアコンテンツをネットワークを介して作成、流通、及び閲覧するシステム及び方法は、個人の個性を伝え、会話の重要点を強調するとともに、感情的内容を追加するために必要なフォトリアリスティックな品質を有する画像を生み出し、高品質な口合わせを備えた動画のフォトリアリスティックな画像を明瞭かつ明確に表示するとともに、ほとんどの現在のネットワーク及び/又はインターネット上で一般的に利用可能な帯域幅よりも少ない帯域幅しか必要とせず、さらに様々な携帯端末やポータブル機器で使用可能でなければならない。
【0013】
このフォトリアリスティックなトーキングヘッドに基づくマルチメディアコンテンツをネットワークを介して作成、流通、及び閲覧するシステム及び方法は、無線セルラーネットワーク、インターネット、WiFiネットワーク、WiMaxネットワーク、イントラネット、その他の適したネットワークを含む、様々なネットワークを介して使用可能でなければならない。
【0014】
このフォトリアリスティックなトーキングヘッドに基づくマルチメディアコンテンツをネットワークを介して作成、流通、及び閲覧するシステム及び方法は、実際の人間の輪郭を捉え、様々な角度位置におけるフォトリアリスティックなトーキングヘッドのライブラリを作成できなければならない。したがって、このフォトリアリスティックなトーキングヘッドのライブラリは、フォトリアリスティックな頭部のショー及びショーのコンテンツを作成するために、ネットワークを介してフォトリアリスティックなトーキングヘッドに基づくマルチメディアコンテンツを作成、流通、及び閲覧するシステム及び方法のツールを使用して、例えば実際の人間又はユーザによって動画の上演を作成するために使用できる。
【0015】
人又はユーザは、個人を識別でき、会話の重要点を強調して、感情的内容を追加するのに必要なフォトリアリスティックな品質を有する、自分のフォトリアリスティックなトーキングヘッドのショーを作成できなければならない。この動画のフォトリアリスティックな画像は、高品質な口合わせを備えた動画のトーキングヘッドを明確かつ明瞭に表示し、必要とする帯域幅が現在の大部分のネットワークやインターネットで通常利用可能な帯域幅よりも狭くなければならない。
【0016】
フォトリアリスティックなトーキングヘッドのライブラリは、通常のコンピュータ操作技術を有する個人によって迅速、容易、かつ効果的に作成することが可能であり、様々な角度位置にある実際の人間の画像の混合及び配置合わせのためのテンプレートとして用いられるマーカー及び/又はガイドを使用して、作成時間を最小限にするものでなくてはならない。
【0017】
様々なマーカーライブラリ及び/又はガイドライブラリのライブラリが提供され、それぞれのマーカーライブラリ及び/又はガイドライブラリは、その中に様々なマーカー及び/又はガイドを有し、それぞれのマーカー及び/又はガイドは、異なる角度位置に対応しなくてはならない。それぞれのマーカーライブラリ及び/又はガイドライブラリは、ユーザの様々な角度位置に関して顔の特徴に関連付けられ、互いに異なり、それによってユーザは、様々なマーカーライブラリ及び/又はガイドライブラリからなるライブラリから、ユーザの顔の特徴及び特性に近い顔の特徴及び特性を持つマーカーライブラリ及び/又はガイドライブラリを選択するものでなければならない。
【0018】
トーキングヘッドは、ニュース報道に関連してニュースキャスターの形式で使用されることができ、多数及び多様な用途での使用のために、トーキングヘッドの動画画像の使用は、フォトリアリスティックな品質を持つとともに擬人化された外観を生み出すことができなければならない。
【0019】
フォトリアリスティックなトーキングヘッドに基づくマルチメディアコンテンツをネットワークを介して作成、流通、及び閲覧するシステム及び方法は、任意により、実際の人間を撮影したデジタルビデオテープの映像から、コンピュータベースの二次元画像のライブラリを作成することもできなければならない。ユーザは、規則的な頭部の動きについてテンプレートを提供するために、パーソナルコンピュータソフトウェアを用いて混合され、コンピュータモニタ又はその他の適当な機器に表示される3D描画ガイド画像又はテンプレートのマーカー及び/又はガイドのライブラリを操作することができなければならない。対象者又はニュースキャスターは、正しい姿勢配置を維持すると同時に、一連の顔の表情、まばたき、眉毛の動きを完了し、目標の音素又は口の形を含んだ語句を話すためにマーカー及び/又はガイドを使用することができなければならない。この行動は、任意に高解像度デジタルビデオテープ上に連続して記録することができなければならない。ユーザは、任意により、各コマが対象者の参照ソースビデオフレームに相当する異なる頭部の位置の配置、顔の表情及び口の形状を含む選択された個別のビデオフレームを使用し、画像編集ソフトウェアによって、トーキングヘッドのライブラリを組み立てることができなければならない。フォトリアリスティックなトーキングヘッドに基づくマルチメディアコンテンツをネットワークを介して作成、流通、及び閲覧するシステム及び方法によって生成される出力は、実際のビデオを使用する代わりに、パーソナルコンピュータ、PDA又は携帯電話上の多様な用途及び表示に使用することができなければならない。自分でできるフォトリアリスティックなトーキングヘッドの作成システムは、任意により、スクリプトコマンドからトーキングヘッドの表示を作成することもできなければならない。
【0020】
フォトリアリスティックなトーキングヘッドに基づくマルチメディアコンテンツをネットワークを介して作成、流通、及び閲覧するシステム及び方法は、ポータブル機器及びポータブル無線機器で使用することができなければならない。これらのポータブル機器及びポータブル無線機器には、デジタル通信端末、携帯情報端末、携帯電話、ノート型コンピュータ、ビデオ電話、ビデオカメラ及びビデオ表示装置付きデジタル通信端末、並びにその他の適当な機器が含まれる。
【0021】
ポータブル機器及びポータブル無線機器は、携帯端末でなければならず、ポータブル無線機器は、無線で信号を送受信できなければならない。
【0022】
対象者は、ビデオカメラ等の機器で自分自身の画像を捉え、機器のビデオディスプレイ上で捉えた画像のライブ映像を表示することができなければならない。
【0023】
対象者のマーカー及び/又はガイド画像は、自分でできるフォトリアリスティックなトーキングヘッド作成システムのポータブル機器及び/又はポータブル無線機器のディスプレイ上で、重ね合わせることができなければならない。
【0024】
このような端末のそれぞれのディスプレイは、対象者の収集画像と選択された配置テンプレートとの合成画像を表示することができなければならない。ディスプレイ及びビデオカメラによって、ビデオカメラは対象者の画像を収集し、対象者は合成画像を見て、自分の頭部の画像を指定の配置テンプレートの頭部の角度と実質的に同じ角度で配置テンプレートの頭部に合わせて配置することができなければならない。
【0025】
このようなポータブル機器及び/又はポータブル無線機器は、有線又は無線接続を介してパーソナルコンピュータに、並びに/又はリアルタイムビデオストリーミング及び/若しくは適当な信号の送信をサポートする十分な帯域幅のネットワークを介してリモートサーバに接続することができなければならない。典型的なネットワークは、セルラーネットワーク、無線ネットワーク、無線デジタルネットワークや、インターネット、グローバルネットワーク、広域ネットワーク、都市規模ネットワーク又はローカルエリアネットワーク等の分散ネットワーク、及びその他の適当なネットワークを含む。
【0026】
2人以上のユーザは、いかなる時であってもリモートサーバに接続することができなければならない。記録されたビデオストリーム及び/又は静止画像は、処理してフォトリアリスティックなトーキングヘッドのライブラリを作成するために、コンピュータ及び/又はサーバに送信されなければならない。又は任意により、処理は、端末自体で実行することができなければならない。
【0027】
ソフトウェアアプリケーション及び/又はハードウェアは、このような機器、コンピュータ及び/又はリモートサーバ内に存在することができ、対象者の収集画像と配置テンプレートとの合成信号を分析して、マーカー及び/又はガイド画像に対する配置の正確性を決定しなければならない。
【0028】
フォトリアリスティックなトーキングヘッドに基づくマルチメディアコンテンツをネットワークを介して作成、流通、及び閲覧するシステム及び方法は、合成によって生成された音声、実際に記録された人間の音声、又は生の人間の技術者によって作成され、リアルタイムで対象者に通信される音声プロンプトを使用して、そして代わりに及び/又は追加でビデオプロンプトを使用して、配置プロセス中にユーザをリアルタイムで支援することができなければならない。そして、対象者は、プロンプトの情報に従って、自分の頭部の位置を調整することができ、適切に配置すると、キャプチャープロセスの会話部分を開始することができる。音声及び/又はビデオプロンプトは、シーケンスを繰り返す場合、キャプチャー及び/又は配置プロセス中に正しい配置が失われる場合、及び/又はセッションを開始及び/又は停止する場合等、その他の作業でも対象者を支援するために使用することができる。
【0029】
電子画像、特に頭部、頭部の作製技術、及び/又は人体に関連して、電子画像を作製、作成及び操作するための様々な方法や装置が開示されてきた。しかしながら、どの方法や装置も、前述のこれらの必要性を十分満たさない。
【0030】
1つの画面上で同時に2つ以上の画像を表示するための様々な装置や方法、並びに混合、組み合わせ、重ね合わせ、融合及び統合装置や方法が知られている。しかしながら、どの方法や装置も、前述の必要性を十分満たさない。
【0031】
コンテンツを制作、作成、及び流通する様々な方法や装置が知られている。しかしながら、どの方法及び装置も、前述の必要性を十分満たさない。
【0032】
上述の理由によって、ユーザが、トーキングヘッドのフォトリアリスティックな動画画像を迅速、容易、かつ手軽に生成することができる、フォトリアリスティックなトーキングヘッドに基づくマルチメディアコンテンツをネットワークを介して作成、流通、及び閲覧するシステム及び方法に対する必要性が存在する。フォトリアリスティックなトーキングヘッドに基づくマルチメディアコンテンツをネットワークを介して作成、流通、及び閲覧するシステム及び方法は、個人の個性を伝え、会話の重要点を強調するとともに、感情的内容を追加するために必要なフォトリアリスティックな品質を有する画像を生み出し、高品質な口合わせを備えた動画のフォトリアリスティックな画像を明瞭かつ明確に表示するとともに、ほとんどの現在のネットワーク及び/又はインターネット上で一般的に利用可能な帯域幅よりも少ない帯域幅しか必要としないものでなくてはならない。
【0033】
フォトリアリスティックなトーキングヘッドに基づくマルチメディアコンテンツをネットワークを介して作成、流通、及び閲覧するシステム及び方法は、サーバと、携帯電話及びその他のポータブル無線機器を含む通信装置と、ソフトウェア一式とを備えることができ、ソフトウェア一式は、各ユーザがテキスト、音声、写真、及び映像コンテンツと組み合わせたフォトリアリスティックなトーキングヘッドの動画を含むマルチメディアコンテンツの作成、使用、及び共有を通じて相互に通信することを可能にする。コンテンツは、少なくとも1つのリモートサーバへアップロードされ、携帯電話、デスクトップコンピュータ、ノート型コンピュータ、携帯情報端末、スマートフォンなどの幅広い機器を介してアクセスされることが可能であるべきである。コンテンツを含むショーは、ウェブブラウザのアプリケーション又はデジタル機器のOSに組み込まれたアプリケーションを用いて、インターネットソーシャルネットワーキングのサイトやチャットルームなどの様々な環境でメディア再生装置を使用して閲覧され、さらにインターネット、無線セルラーネットワーク、その他の適したネットワークを介して流通されるべきである。
【課題を解決するための手段】
【0034】
本発明は、フォトリアリスティックなトーキングヘッドに基づくマルチメディアコンテンツをネットワークを介して作成、流通、及び閲覧するシステム及び方法であって、サーバと、携帯電話及びその他のポータブル無線機器を含む通信装置と、ソフトウェア一式とを備え、ソフトウェア一式は、各ユーザがテキスト、音声、写真、及び映像コンテンツと組み合わせたフォトリアリスティックなトーキングヘッドの動画を含むマルチメディアコンテンツの作成、使用、及び共有を通じて相互に通信することを可能にする。コンテンツは、少なくとも1つのリモートサーバへアップロードされ、携帯電話、デスクトップコンピュータ、ノート型コンピュータ、携帯情報端末、スマートフォンなどの幅広い機器を介してアクセスされる。コンテンツを含むショーは、ウェブブラウザのアプリケーション又はデジタル機器のOSに組み込まれたアプリケーションを用いて、インターネットソーシャルネットワーキングのサイトやチャットルームなどの様々な環境でメディア再生装置を使用して閲覧でき、さらにインターネット、無線セルラーネットワーク、その他の適したネットワークを介して流通できる。
【0035】
このフォトリアリスティックなトーキングヘッドに基づくマルチメディアコンテンツをネットワークを介して作成、流通、及び閲覧するシステム及び方法によって、ユーザは、トーキングヘッドのフォトリアリスティックな動画画像を迅速、容易、かつ手軽に作成することができる。このフォトリアリスティックなトーキングヘッドに基づくマルチメディアコンテンツをネットワークを介して作成、流通、及び閲覧するシステム及び方法は、個人の個性を伝え、会話の重要点を強調するとともに、感情的内容を追加するために必要なフォトリアリスティックな品質を有する画像を生み出し、高品質な口合わせを備えた動画のフォトリアリスティックな画像を明瞭かつ明確に表示するとともに、ほとんどの現在のネットワーク及び/又はインターネット上で一般的に利用可能な帯域幅よりも少ない帯域幅しか必要としない。
【0036】
このフォトリアリスティックなトーキングヘッドに基づくマルチメディアコンテンツをネットワークを介して作成、流通、及び閲覧するシステム及び方法は、携帯電話、携帯情報端末、スマートフォン、携帯端末、及びその他の無線機器などのポータブル無線機器を使用してフォトリアリスティックなトーキングヘッドのライブラリを作成するために使用でき、無線セルラーネットワーク、インターネット、WiFiネットワーク、WiMaxネットワーク、ボイス・オーバー・アイピー(VOIP)ネットワーク、イントラネット、及びその他の適したネットワークを含む様々なネットワークを介して使用可能である。
【0037】
上記のポータブル無線機器は、デジタル通信機器、携帯情報端末、携帯電話、ノート型コンピュータ、ビデオ電話、スマートフォン、ビデオカメラ及び映像ディスプレイ付きデジタル通信機器、及びその他の適した装置、特に、信号の無線送受信が可能なポータブル無線機器を含む。典型的なネットワークは、セルラーネットワーク、無線ネットワーク、無線デジタルネットワークや、インターネット、グローバルネットワーク、広域ネットワーク、都市規模ネットワーク、ローカルエリアネットワーク、WiFiネットワーク、WiMaxネットワーク、ボイス・オーバー・アイピー(VOIP)などの分散ネットワーク、及びその他の適したネットワークを含む。
【0038】
人又はユーザは、個人の個性を伝え、会話の重要点を強調するとともに、感情的内容を追加するために必要なフォトリアリスティックな品質を有する、ショーのコンテンツを含んだフォトリアリスティックなトーキングヘッドのショーを自分で作成できる。この動画のフォトリアリスティックな画像は、高品質な口合わせを備え、動画のトーキングヘッドを明確かつ明瞭に表示するとともに、ほとんどの現在のネットワーク及び/又はインターネット上で一般的に利用可能な帯域幅よりも狭い帯域幅しか必要としない。
【0039】
フォトリアリスティックなトーキングヘッドのライブラリは、通常のコンピュータ操作技術を有する個人によって迅速、容易、かつ効果的に作成することが可能であり、様々な角度位置にある実際の人間の画像の混合及び配置合わせのためのテンプレートとして用いられるマーカー及び/又はガイドを使用して、作成時間を最小限にすることができる。対象者のマーカー及び/又はガイド画像は、ボータブル機器及び/又はポータブル無線機器のディスプレイ上で、重ね合わせることができる。
【0040】
様々なマーカーライブラリ及び/又はガイドライブラリのライブラリが提供され、それぞれのマーカーライブラリ及び/又はガイドライブラリは、その中に様々なマーカー及び/又はガイドのセットを含み、それぞれのマーカー及び/又はガイドのセットは、異なる角度位置に対応する。それぞれのマーカーライブラリ及び/又はガイドライブラリは、ユーザの異なる角度位置に対応する顔の特徴と対応し、互いに異なり、それによってユーザは、様々なマーカーライブラリ及び/又はガイドライブラリからなるライブラリから、ユーザの顔の特徴及び特性に近い顔の特徴及び特性を持つ特定のマーカーライブラリ及び/又はガイドライブラリを選択できる。
【0041】
携帯端末及びその他の適した装置のそれぞれのディスプレイは、対象者の収集画像と選択されたマーカー及び/又は選択された配置テンプレートとの合成画像を表示できる。ディスプレイ及びビデオカメラによって、ビデオカメラは対象者の画像を収集し、対象者は合成画像を見て、自分の画像をマーカー及び/又は配置テンプレートに合わせて配置することができる。マーカー及び/又はガイドは、配置プロセスの間にリモートサーバから取り出してもよいが、代わりに無線携帯端末又はその他の適した装置に常駐させてもよい。
【0042】
フォトリアリスティックな頭部のショー及び関連のコンテンツは、無線携帯端末を使用して作成してもよい。
【0043】
トーキングヘッドは、ニュース報道に関連してニュースキャスターの形式で使用されることができ、多数及び多様な用途での使用のために、トーキングヘッドの動画画像の使用は、フォトリアリスティックな品質を持つとともに擬人化された外観を生み出すことができる。
【0044】
対象者又はユーザは、ビデオカメラ等の機器で自分自身の画像を捉え、機器のビデオディスプレイ上で捉えた画像のライブ映像を見ることができる。対象者又はユーザは、フォトリアリスティックなトーキングヘッドのショーと関連したコンテンツを含むフォトリアリスティックなトーキングヘッドのショーを作成することができる。
【0045】
本発明のこれらの及びその他の特徴、態様及び利点は、以下の説明、請求項及び図面を参照することで、理解が深まる。
【図面の簡単な説明】
【0046】
【図1】本発明に従うフォトリアリスティックなトーキングヘッドに基づくマルチメディアコンテンツをネットワークを介して作成、流通、及び閲覧する方法のステップの概略図である。
【図2】フォトリアリスティックなトーキングヘッドのライブラリを示す図である。
【図3】配置テンプレートとして使用されるガイドの図である。
【図4】図2のフォトリアリスティックなトーキングヘッドのライブラリに組み込まれる対象者の図である。
【図5】図3のガイドと配置を合わせた図4の対象者の合成図である。
【図6】図6Aは、図3のガイドから水平方向に移動させた図4の対象者の合成図である。図6Bは、図3のガイドから縦方向に移動させた図4の対象者の合成図である。図6Cは、近接して配置された図4の対象者と図3のガイドとの合成図である。
【図7】特定の角度位置での図2のフォトリアリスティックなトーキングヘッドのライブラリの選択された画像の拡大画像、及び図2のフォトリアリスティックなトーキングヘッドのライブラリの選択された画像の特定の角度位置での異なる目の特徴の画像及び異なる口の特徴の画像のそれぞれを示す図である。
【図8】図7の特定の角度位置での図2のフォトリアリスティックなトーキングヘッドのライブラリの選択された画像の中の一般的な画像と、図7の特定の角度位置で目を閉じた対象者と目を大きく開いた対象者によって取得された様々な目の特徴の中の一般的な画像と、選択された音声を話している対象者によって取得された図7の特定の角度位置での様々な口の特徴の中の一般的な画像を示す図である。
【図9】図8の様々な目の特徴及び様々な口の特徴を取得するための、対象者の一般的な目の領域及び一般的な口の領域を示す図である。
【図10】傾き、回転及びうなずきベクトルを有する座標系を示す図である。
【図11】任意のラベルのために使用することができる、任意の命名規則を示す図である。
【図12】ガイドライブラリを示す図である。
【図13】図13Aは、ガイドのワイヤメッシュモデルの図である。図13Bは、フォンシェーディングを有する図13Aのガイドのワイヤメッシュモデルの図である。図13Cは、フォンシェーディング、望ましいトーキングヘッド又は好ましいニュースキャスターの画像にマッピングされた写真を有する図13Bのガイドの図である。
【図14】図14Aは、一般的な顔の特徴を示す別のガイドの図である。図14Bは、他の一般的な顔の特徴を示す別のガイドの図である。図14Cは、他の一般的な顔の特徴を示す別のガイドの図である。図14Dは、他の一般的な顔の特徴を示す別のガイドの図である。図14Eは、他の一般的な顔の特徴を示す、図3のガイドの別の図である。図14Fは、他の一般的な顔の特徴を示す別のガイドの図である。
【図15】図14A〜図14Fのガイドに関連付けられたガイドライブラリのライブラリを示す図である。
【図16】本発明のフォトリアリスティックなトーキングヘッドを作成する方法を示す概略図である。
【図17】図14のフォトリアリスティックなトーキングヘッドを作成する方法の追加の任意ステップを示す概略図である。
【図18A】図3のガイド又は配置テンプレートの代わりとして配置の際に使用できるマーカーを表示した別の対象者の図であり、位置を合わされた対象者を示す図である。
【図18B】図18Aの対象者がずれて配置された図で、対象者が完全に位置を合わされていない時のマーカーの表示を示す図である。
【図18C】図18Aの角度とは異なる角度の図18Aの対象者の図であり、位置を合わされた対象者を示す図である。
【図19】本発明に従って構成された、自分でできるフォトリアリスティックなトーキングヘッド作成システムの概略図である。
【図20】自分でできるフォトリアリスティックなトーキングヘッド作成システムの別の実施形態の部分ブロック図及び図表示である。
【図21】図19の自分でできるフォトリアリスティックなトーキングヘッド作成システムのサーバと無線で通信している、図19の自分でできるフォトリアリスティックなトーキングヘッド作成システムの概略図である。
【図22】図20の自分でできるフォトリアリスティックなトーキングヘッド作成システムのサーバと無線で通信している、図20の自分でできるフォトリアリスティックなトーキングヘッド作成システムの概略図である。
【図23】複数の携帯電話が図21の自分でできるフォトリアリスティックなトーキングヘッド作成システムのサーバと無線で通信している、自分でできるフォトリアリスティックなトーキングヘッド作成システムの概略図である。
【図24】複数の携帯電話が図22の自分でできるフォトリアリスティックなトーキングヘッド作成システムのサーバと無線で通信している、自分でできるフォトリアリスティックなトーキングヘッド作成システムの概略図である。
【図25】複数のPDAが図21の自分でできるフォトリアリスティックなトーキングヘッド作成システムのサーバと無線で通信している、自分でできるフォトリアリスティックなトーキングヘッド作成システムの概略図である。
【図26】複数の携帯電話がインターネットによってサーバと通信している、自分でできるフォトリアリスティックなトーキングヘッド作成システムの概略図である。
【図27】複数の携帯電話が図21の自分でできるフォトリアリスティックなトーキングヘッド作成システムのサーバと無線セルラーネットワークを介してインターネットによって通信している、自分でできるフォトリアリスティックなトーキングヘッド作成システムの概略図である。
【図28】複数の携帯電話が図22の自分でできるフォトリアリスティックなトーキングヘッド作成システムのサーバと無線セルラーネットワークを介してインターネットによって無線で通信している、自分でできるフォトリアリスティックなトーキングヘッド作成システムの概略図である。
【図29】複数の携帯電話及びその他の機器が自分でできるフォトリアリスティックなトーキングヘッド作成システムのサーバと、インターネット及び/又はアナログ音声通信のみ可能な旧来の電話システムに接続されたセルラーネットワークを介して無線で通信している、自分でできるフォトリアリスティックなトーキングヘッド作成システムの概略図である。
【図30】それぞれがサーバに接続されたインターネット及び無線セルラーネットワークに無線で接続される、自分でできるフォトリアリスティックなトーキングヘッド作成システムの概略図である。
【図31】本発明のフォトリアリスティックなトーキングヘッドを作成する代替方法の概略図である。
【図32】図31のフォトリアリスティックなトーキングヘッドを作成する方法の追加の任意ステップの概略図である。
【図33】図31のフォトリアリスティックなトーキングヘッドを作成する方法の追加の任意ステップの概略図である。
【図34】ビデオキャプチャー装置のブロック図である。
【図35】本発明に従って構成された、自分でできるフォトリアリスティックなトーキングヘッド作成システムの代替の実施形態のブロック図である。
【図36】本発明に従って構成された、自分でできるフォトリアリスティックなトーキングヘッド作成システムの代替の実施形態のブロック図である。
【図37】ショーのコンテンツ作成及びアップロード方法の概略図である。
【図38】フォトリアリスティックなトーキングヘッドのアプリケーションとともに使用可能な選択装置プラットフォームの概略図である。
【図39】送信側個人のブランド設定の処理の概略図である。
【図40】ショーのコンテンツ作成方法の概略図である。
【図41】チャット、ブログ又はマルチメディアのアプリケーション用のフォトリアリスティックなトーキングヘッドのコンテンツを作成する処理の概略図である。
【図42】電話又はヴォイスメールのアプリケーション用のフォトリアリスティックなトーキングヘッドのコンテンツを作成する処理の概略図である。
【図43】フォトリアリスティックなトーキングヘッドの電話のアプリケーションの概略図である。
【図44】フォトリアリスティックなトーキングヘッドのヴォイスメールでの使用の概略図である。
【図45】口合わせデータを埋め込む処理の概略図である。
【図46】ユーザのパラメータ及びプリファランスと受信側のパラメータ及びプリファランスとに関連付けられた言葉を適合させることによってブランディングを挿入する処理の概略図である。
【図47】分散ウェブアプリケーションネットワークの概略図である。
【図48】別の分散ウェブアプリケーションネットワークの概略図である。
【図49】埋込口合わせシステム及び方法の概略図である。
【図50】フォトリアリスティックなトーキングヘッドの電話の概略図である。
【図51】携帯情報装置に関する埋込口合わせシステム及び方法の概略図である。
【図52】音声駆動個人ブランド設置システムの概略図である。
【図53】フォトリアリスティックなトーキングヘッドのヴォイスメールの概略図である。
【図54】装置プラットフォーム及びリモートサーバシステム(フォトリアリスティックなトーキングヘッドのウェブアプリケーションとも呼ばれる)を示す図である。
【図55】ショーセグメントエディタアプリケーションの概略図である。
【図56】ショーコンパイルエディタアプリケーションの概略図である。
【図57】ローカルアセットライブラリのディレクトリ構造の概略図である。
【図58】暗号化アセットライブラリのディレクトリ構造の概略図である。
【図59】ローカルアセットライブラリのグラフィックスアセット部のディレクトリ構造の概略図である。
【図60】ローカルアセットライブラリの音声ライブラリ部のディレクトリ構造の概略図である。
【図61】音声解析及び口合わせアプリケーションの概略図である。
【図62】フォトリアリスティックなトーキングヘッドのコンテンツ制作システムとも呼ばれる、ローカルコンピュータ(フルバージョン)システムの概略図である。
【図63】音声解析及び口合わせアプリケーションのグラフィカルユーザインタフェースの概略図である。
【図64】制作セグメントエディタアプリケーションのグラフィカルユーザインタフェースの概略図である。
【図65】ショーコンパイルエディタアプリケーションのグラフィカルユーザインタフェースの概略図である。
【図66】チャットアプリケーションのグラフィカルユーザインタフェースの概略図である。
【図67】ブログアプリケーションのグラフィカルユーザインタフェースの概略図である。
【図68】ヴォイスメールアプリケーションのグラフィカルユーザインタフェースの概略図である。
【図69】別のヴォイスメールアプリケーションのグラフィカルユーザインタフェースの概略図である。
【図70】マルチメディア及び/又はテレビ/ブロードキャストアプリケーションのグラフィカルユーザインタフェースの概略図である。
【図71】ユーザ装置用のマルチメディアヘルプアプリケーションのグラフィカルユーザインタフェースの概略図である。
【図72】パーソナルバンキング用のマルチメディアパーソナルファイナンスセンタのグラフィカルユーザインタフェースの概略図である。
【図73】パーソナルファイナンスセンタ内に仮想ATMを有する、パーソナルファイナンスセンタのマルチメディアサブカテゴリのグラフィカルユーザインタフェースの概略図である。
【図74】マルチメディアメッセージセンタのグラフィカルユーザインタフェースの概略図である。
【図75】マルチメディアゲームのスタートメニューのグラフィカルユーザインタフェースの概略図である
【図76】プレイモードのマルチメディアゲームのグラフィカルユーザインタフェースの概略図である。
【図77】マルチメディアトリビアゲームのグラフィカルユーザインタフェースの概略図である。
【図78】マルチメディアの評論家レビューのグラフィカルユーザインタフェースの概略図である。
【図79】マルチメディアのパーソナルナビゲーターのグラフィカルユーザインタフェースの概略図である。
【図80】マルチメディアのパーソナルナビゲーターのガソリンスタンド位置のサブカテゴリのグラフィカルユーザインタフェースの概略図である。
【図81】別のマルチメディアの評論家レビューのグラフィカルユーザインタフェースの概略図である。
【図82】マルチメディアの評論家レビューの映画レビューのサブカテゴリのグラフィカルユーザインタフェースの概略図である。
【発明を実施するための形態】
【0047】
本発明の好ましい実施形態は、図面の図1〜図82を参照して説明される。それぞれの図における同一の要素は、同じ参照番号で特定される。
【0048】
I.概要
図1は、本発明に従うフォトリアリスティックなトーキングヘッドに基づくマルチメディアコンテンツをネットワーク10を介して作成、流通、及び閲覧する方法のステップの概略図である。
【0049】
フォトリアリスティックなトーキングヘッドに基づくマルチメディアコンテンツをネットワーク10を介して作成、流通、及び閲覧する方法は、ステップ100でフォトリアリスティックなトーキングヘッドに基づくマルチメディアコンテンツをネットワーク10を介して作成、流通、及び閲覧する方法を開始し、ステップ200でフォトリアリスティックなトーキングヘッドのライブラリを作成して、本発明のフォトリアリスティックなトーキングヘッドシステムにフォトリアリスティックなトーキングヘッドのライブラリを保存し、ステップ300でコンテンツを作成してそのコンテンツをフォトリアリスティックなトーキングヘッドシステムにアップロードし、ステップ350でブランディングのためのプロファイルを作成し、ステップ750でコンテンツ及びプロファイルをフォトリアリスティックなトーキングヘッドシステムに保存し、ステップ760でフォトリアリスティックなトーキングヘッドシステムに対してコンテンツを受信側に送信するように要求するリクエストを受信し、ステップ800でフォトリアリスティックなトーキングヘッドシステムによるブランディングを挿入してコンテンツを受信側に送信し、ステップ1000でフォトリアリスティックなトーキングヘッドに基づくマルチメディアコンテンツをネットワーク10を介して作成、流通、及び閲覧する方法を終了することを含む。
【0050】
II.フォトリアリスティックなトーキングヘッドのライブラリの作成
フォトリアリスティックなトーキングヘッドのライブラリ12は、フォトリアリスティックなトーキングヘッド10を作成、流通、及び閲覧する方法のステップ200で作成される。
【0051】
フォトリアリスティックなトーキングヘッドのライブラリ12及びフォトリアリスティックなトーキングヘッドのライブラリ12を作成する方法を図2〜図36に示す。図19〜図36は、フォトリアリスティックなトーキングヘッドを作成する別の実施形態を示す。
【0052】
フォトリアリスティックなトーキングヘッドは、ビデオカメラ及びディスプレイ付きの、携帯電話、携帯端末などの様々なポータブル無線機器で使用可能である。ビデオカメラ及びディスプレイを対象者が使用して、フォトリアリスティックなトーキングヘッドのライブラリ12を作成中に自分自身をマーカー及び/又はガイドに合わせて配置して、フォトリアリスティックなトーキングヘッドを表示させる。
【0053】
図2は、様々な角度位置44での対象者26の選択された画像42と、それぞれの角度位置44での様々な目の特徴46及び様々な口の特徴48とから構成されるフォトリアリスティックなトーキングヘッドのライブラリ12を示す。
【0054】
図3はガイド20を示す。ガイド20は、図5に示す合成出力画像38をもたらす、図4に示す対象者26を配置するための配置テンプレートとして使用される。
【0055】
図6A〜図6Cは、対象者26とガイド20との位置合わせの様々な段階での合成出力画像38を示す。図6Aは、ガイド20から水平方向にずらした対象者26を示す。図6Bは、ガイド20から垂直方向にずらした対象者26を示す。図6Cは、近接して配置された対象者26及びガイド20を示す。図5は、ガイド20に配置を合わせた対象者26を示す。
【0056】
フォトリアリスティックなトーキングヘッドのライブラリ12は、それぞれ、図10と11の座標系及び任意の命名規則に従って、様々な角度位置44での選択された画像42、及び図2に示された角度位置44のそれぞれでの様々な目の特徴46と様々な口の特徴48の画像から構成される。図7は、図2の特定の角度位置での選択された画像42の1つの拡大図、及び選択された画像42の特定の角度位置での様々な目の特徴46の図及び様々な口の特徴48の図を示す。図8は、図7の特定の角度位置での選択された画像42の一般的な画像と、図7の特定の角度位置での目を閉じ及び目を大きく開いた対象者26によって取得された様々な目の特徴46の一般的な画像と、図7の特定の角度位置での選択された音を話している対象者26によって取得された様々な口の特徴48の一般的な画像を示す。対象者26が、特定の角度位置で自分自身をガイド20に合わせると、対象者26は目を開閉し、選択された音素を含む一連の文を話す。また、対象者26は任意に、笑い顔及び/又はしかめ面等、追加の顔のジェスチャーを実施することもできる。図9は、図7の特定の角度位置での目を閉じたり、大きく開いたりした対象者26によって取得された様々な目の特徴の画像46、及び図7の特定の角度位置での様々な口の特徴48の一般的な画像をそれぞれ取得するための、対象者26の一般的な目の領域50及び一般的な口の領域52を示す。
【0057】
図10は、対象者26、ガイド20、選択された画像42、並びにフォトリアリスティックなトーキングヘッドのライブラリ12の選択された画像42に関連付けられた様々な目の特徴46及び様々な口の特徴48の様々な角度位置44に対しての、傾き56、回転58及びうなずき60のベクトルを有する座標系54を示す。傾き56、回転58及びうなずき60のベクトルはそれぞれ、中心62からの方向及び角度位置を指定し、図10に一般的な角度や方向が示されるが、その他の適当な角度や方向を使用することができる。回転58ベクトルは、その角度要素として方位角位置(左右)を使用し、うなずき60ベクトルは、その角度要素として高度角度位置(上下)を使用する。傾き56ベクトルは、うなずき60ベクトルのいずれかの側において角度方向が左上又は右上に向いている。
【0058】
図11は、対象者26、ガイド20、選択された画像42、並びにフォトリアリスティックなトーキングヘッドのライブラリ12の選択された画像42に関連付けられた様々な目の特徴46及び様々な口の特徴48の傾き56、回転58及びうなずき60ベクトルに関連付けられた任意の命名規則64を示す。他の適当な任意の命名規則、又は実際のベクトル方向及び角度を使用することもできる。任意の命名規則64は、それぞれの指定方向と角度に対して、マイナス方向からプラス方向へ、傾き56ベクトルが01から単調に上昇増加する連続番号スキームを使用する。したがって、傾き56の一般的な角度である−2.5°、0°及び+2.5°に対しては、任意の命名規則64は、それぞれ、−2.5°、0°、及び+2.5°の一般的な角度を指定するために01、02及び03を使用する。任意の命名規則64は、それぞれの指定方向と角度に対して、マイナス方向からプラス方向へ、回転58及びうなずき60ベクトルが00から単調に上昇増加する連続番号スキームを使用する。したがって、回転58とうなずき60の一般的な角度の−10°、−5°、0°、+5°及び+10°に対しては、任意の命名規則64は、それぞれ、−10°、−5°、0°、+5°、及び+10°を指定するために00、01、02及び03を使用する。傾き56の−2.5°、0°、及び+2.5°の一般的な角度以外の適当な角度、及び/又は回転58及びうなずき60の−10°、−5°、0°、+5°及び+10°の一般的な角度以外の適当な角度を使用することができる。しかしながら、他の方向及びマイナスの角度から0°を通りプラスの角度までの角度に対して、傾き56に対しては01、回転58及びうなずき60に対しては00から開始する単調に増加する連続番号スキームをやはり使用することができる。名前66は、任意のラベル又は識別子として、頭部、口及び目を使用する。選択された画像42、対象者26又はガイド20に対しては頭部を、目の特徴46に対しては目を、口の特徴48に対しては口を使用する。したがって、例えば頭部020301は、図10に示された一般的角度に対して、傾き56、回転58及びうなずき60をそれぞれ0°、+5°、−5°として有する選択された画像42を表す。
【0059】
図12は、図10の座標系54及び図11の任意の命名規則64に従って示される、様々な角度位置70でのガイド20を有するガイドライブラリ68を示す。図12のガイド20のそれぞれは、ガイドライブラリ68の中のガイド20それぞれの角度位置70に対応する角度位置44での選択された画像42を作成し、ガイドライブラリ68の中のガイド20それぞれの角度位置70に対応する角度位置44で様々な目の特徴46及び様々な口の特徴48を作成するために使用される。したがって、対象者26は、選択された画像42のそれぞれを作成するために、自分自身を角度位置70の中の異なる位置でのそれぞれの合成出力画像38内のガイド20に合わせて配置し、配置を合わせた選択された画像42のそれぞれの特定の角度位置で様々な目の特徴46のそれぞれを作成するために、目を開いたり閉じたりし、角度位置70のそれぞれに対応して配置を合わせた選択された画像42のそれぞれの特定の角度位置で様々な口の特徴48のそれぞれを作成するために、繰り返して口を動かすことによって、図2のフォトリアリスティックなトーキングヘッドのライブラリ12が作成される。
【0060】
図13A〜図13Cは、ガイド20の作成における一般的な段階を模式的に表す。しかし、ガイド20を作成するために、その他の適当な技術を使用することができることに注意すべきである。ガイド20のそれぞれは、一般的に、中程度の解像度でモデル化された頭部で、異なる角度位置での望ましいトーキングヘッド、好ましいニュースキャスター又は汎用のトーキングヘッド若しくはニュースキャスターである。一般的なガイド20は図13Cに示されているが、ガイド20のそれぞれは、様々な角度位置の中の選択された位置に対象者26の配置を合わせるためのテンプレートとして使用される。ガイド20のそれぞれは、レーザースキャン、芸術的なモデリング、又はその他の適当な技術等の適当な技術を使用して作成することができ、一般的にはガイド20は、約5000ポリゴンを有する3Dモデル頭部である。ガイド20を作成するには、3Dモデリングソフトウェア又はその他の適当なソフトウェア等のモデリングソフトウェアを使用することができる。ガイドを作成するために販売されている一般的な市販の3Dモデリングソフトウェアパッケージは、3D Studio Max、Lightwave、Maya及びSoftImageがあるが、その他の適当なモデリングソフトウェアを使用することができる。まず、図13Aに示されているように、基礎のワイヤメッシュモデル72が作成される。フォンシェーディングは、一般的にワイヤメッシュモデル72に追加されて、図13Bに示されているように、立体的な外観を有するシェードモデル74を作成する。次に、立体的な外観を有するシェードモデル74は、一般的に、望ましいトーキングヘッド、好ましいニュースキャスター、又は汎用のトーキングヘッド若しくはニュースキャスターの写真とフォトマッピングされて、図13Cのガイド20が作成される。これは、望ましいトーキングヘッド、好ましいニュースキャスター、又は汎用のトーキングヘッド若しくはニュースキャスターに類似する。ガイド20は、フォトリアリスティックなトーキングヘッドのライブラリ12の選択された画像42の望ましいトーキングヘッドのライブラリのポーズに対応する、左右、上下及び横回転の配列によって、特定の頭部のポーズで描画される。これにより、様々な角度位置でのガイド20の画像を有するガイドライブラリ68が得られて、ガイド20の画像のそれぞれは、様々な角度位置のそれぞれで、配置テンプレートとして使用される。ガイド20のそれぞれは、一般的にビットマップ画像として保存され、一般的に512x384ピクセル以下で、一般的に透明な背景色を有し、一般的に図10の座標系54及び図11の任意の命名規則64に従って一般的に可視インデックスでインデックスされるが、その他の適当なインデックスや記憶装置を使用することができる。
【0061】
対象者26は、図5、6A、6B及び6Cの様々な配置段階で示されているように、モニタ39で自分自身の画像とガイド20の画像の重なりを確認して、自分自身の画像をガイド20の画像に合わせて配置する。
【0062】
再度説明するが、ガイド20は、左右、上下及び横回転の配列によって、フォトリアリスティックなトーキングヘッドのライブラリ12の選択された画像42の望ましいトーキングヘッドのライブラリのポーズに対応する特定の頭部のポーズで描画され、様々な角度位置でのガイド20を有するガイドライブラリ68が得られて、それぞれは様々な角度位置のそれぞれで、配置テンプレートとして使用される。
【0063】
フォトリアリスティックなトーキングヘッドのライブラリ12は、通常のコンピュータ操作技術を有する個人によって、迅速、容易、かつ効果的に作成することができ、また様々な角度位置にある実際の人間の画像との混合及び配置合わせのためのテンプレートとして使用することができるガイド20を使用して、作成時間を最小限にすることができる。
【0064】
様々なガイドライブラリ68からなるライブラリ75が提供され、ガイドライブラリ68のそれぞれは、その中に様々なガイド20を有し、ガイド20のそれぞれは異なる角度位置を有する。ガイドライブラリ68のそれぞれは、互いに異なる顔の特徴を有し、それによってユーザは、ライブラリ75からユーザの顔の特徴及び特性に近い顔の特徴及び特性を有するガイドライブラリ68を選択することができる。
【0065】
図14A〜図14Fは、様々な顔の特徴を有する一般的なガイド20を示す。配置を補助するために種々の主要な顔の特徴や肩の特徴が使用されて、対象者26のガイド20との正しい位置合わせが達成される。対象者26は、ライブラリ75から図15に示された様々なガイドライブラリ68を選択することができ、自分自身の顔の特徴に最も一致するものを選択することができる。
【0066】
瞳孔77の間の距離76、鼻79の長さ78、口81の幅80、髪83のスタイル82、頭部85の上とあご86との間の距離84、肩88の形87、及び任意の眼鏡89は、自分自身とガイド20の位置合わせを支援するために対象者26に目安を提供する一般的な配置特徴である。ガイド20のサイズ、外観、比率、顔の特徴及び肩の特徴が、対象者26に近くなるほど配置が良好になり、その結果としてフォトリアリスティックなトーキングヘッドのライブラリ12が得られる。
【0067】
図16は、フォトリアリスティックなトーキングヘッドを作成する方法のステップ90を示す。それぞれのステップは、ビデオカメラ又はその他の機器で対象者の画像を収集するステップ91と、対象者の収集画像をガイド又はテンプレートの画像と混合して、対象者とガイド又はテンプレートの合成画像を作成するステップ92と、対象者に表示するために、合成画像を、対象者の画像をガイド又はテンプレートの画像に合わせて配置することを補助するようにされたモニタ又はテレビに送信するステップ93と、対象者の画像をガイド又はテンプレートの画像に合わせて配置するステップ94と、配置を合わせた対象者の画像を保存するステップ95とを少なくとも備える。対象者の収集画像をガイド又はテンプレートの画像に混合して、対象者とガイド又はテンプレートとの合成画像を作成するステップ92は、ミキサプログラムを有するコンピュータで実施されることが好ましい。ミキサプログラムは、収集画像とテンプレートの画像とから合成画像を作成するようにされているが、他の適当な技術を用いることもできる。フォトリアリスティックなトーキングヘッド90を作成する方法は、図17に示されるように、顔の特徴を捉えるステップ96を含む追加の任意ステップを有することができ、ステップ96は、口の形を捉えるステップ97と、目の形を捉えるステップ98と、任意により、その他の顔の特徴を捉えるステップ99とを含む。
【0068】
図18A、18B、及び18Cは、図3のガイド又は配置テンプレートを使用した配置の代わりに、マーカー104、106、108、110、及び112を使用して対象者102を配置する代替の方法を示す。
【0069】
マーカー104、106、108、110、及び112は、目、鼻の先端、及び口角などの顔の重要な特徴を配置するために使用されるが、他の適した顔の特徴を使用してもよい。マーカー104、106、108、110、及び112は、図3のガイド20の代わりに通常使用されるが、任意でガイド20と組み合わせて使用してもよい。
【0070】
図18Aは、傾き、回転、及びうなずきの角度がそれぞれ2°、2°、及び2°でのマーカー104、106、108、110、及び112に合わせて配置された対象者102を示す。
【0071】
図18Bは、傾き、回転、及びうなずきの角度がそれぞれ2°、2°、及び2°でのマーカー104、106、108、110、及び112に合わせて配置されていない対象者102を示す。
【0072】
図18Cは、図18Aのそれぞれ2°、2°、及び2°の傾き、回転、及びうなずき角度から角度が変えられた図18Aの対象者の図であり、位置を合わせて配置された対象者を示す。
【0073】
図19〜図30は、ポータブル機器及びポータブル無線機器を使用する、自分でできるフォトリアリスティックなトーキングヘッド作成システムの別の実施形態を示す。これらのポータブル機器及びポータブル無線機器は、デジタル通信端末、携帯情報端末、携帯電話、ノートブック型コンピュータ、ビデオ電話、及びその他の適当な機器を含む。これらのポータブル機器及びポータブル無線機器は、ビデオカメラ及びビデオディスプレイを有する、特にビデオカメラ及びビデオディスプレイを内蔵するデジタル通信端末を含む。
【0074】
対象者は、例えば、そのような機器のビデオカメラで自分自身を捉え、端末のビデオディスプレイで捉えられた画像のライブビデオを見ることができる。
【0075】
対象者のマーカー及び/又はガイド画像は、図19〜図36の自分でできるフォトリアリスティックなトーキングヘッド作成システムのポータブル機器及び/又はポータブル無線機器の画面上で重ね合わされる。
【0076】
このような機器のディスプレイそれぞれは、前述のように、対象者の収集画像と、マーカー及び/又はガイドを含む選択された配置テンプレートとの合成画像を表示し、ディスプレイ及びビデオカメラは、ビデオカメラが対象者の画像を収集して、対象者に合成画像を表示して、対象者が対象者の頭部の画像を、特定の配置テンプレートの頭部の角度位置と実質的に同じ角度位置で、配置テンプレートの頭部に合わせて配置できるようにされている。
【0077】
このようなポータブル機器及び/又はポータブル無線機器は、例えば、有線又は無線接続を介してサーバと通信でき、並びに/又はリアルタイムビデオストリーミング及び/若しくは適当な信号の送信をサポートする十分な帯域幅のネットワークを介してリモートサーバと通信することができる。代表的なネットワークとしては、セルラーネットワークや、インターネット、グローバルネットワーク、広域ネットワーク、都市規模ネットワーク又はローカルエリアネットワーク、WiFiネットワーク、WiMaxネットワーク、ボイス・オーバー・アイピー(VOIP)等の分散ネットワーク、及びその他の適当なネットワークが含まれる。
【0078】
2人以上のユーザは、いかなる時であってもリモートサーバに接続することができる。捉えられたビデオストリーム及び/又は静止画面は、処理してフォトリアリスティックなトーキングヘッドのライブラリを作成するためにサーバに送信されることができる。又は任意で、処理は端末自体で実行することができる。
【0079】
ソフトウェアアプリケーション及び/又はハードウェアを、このような端末内に備えることができる。コンピュータ及び/又はリモートサーバは、対象者の収集画像と配置テンプレートとの合成信号を分析して、マーカー及び/又はガイド画像に対する配置の正確性を決定する。
【0080】
音声プロンプトは、合成によって生成された音声、実際に記録された人間の音声、又は生の人間の技術者によって作成されることができ、配置プロセス中にユーザを支援するために、リアルタイムで対象者と通信することができる。代わりに、及び/又は追加で、ビデオプロンプトを使用することができる。そこで、対象者は、プロンプトの情報に従って自分の頭部の位置を調整することができ、適切に配置すると、キャプチャープロセスの会話部分を開始することができる。音声及び/又はビデオプロンプトは、シーケンスを繰り返す場合、キャプチャー及び/又は配置プロセス中に正しい配置が失われる場合、及び/又はセッションを開始及び/又は停止する場合等、その他の作業でも対象者を支援するために使用することができる。
【0081】
ポータブル機器及び/又は無線携帯端末は、ビデオカメラ及びディスプレイ又はその他の適当なカメラ及びディスプレイを有する、携帯電話(cell phone)、携帯情報端末(PDA)、ウェブ対応電話、携帯電話(portable phone)、パーソナルコンピュータ、ノート型コンピュータ、タブレットコンピュータ、ビデオ電話、テレビ、携帯用テレビ、無線デジタルカメラ、無線ビデオカメラ、電子メール端末、インスタントメッセージ端末、PC電話、ビデオ会議端末、移動電話(mobile phone)、携帯端末、無線端末、無線携帯端末、及び他の適当な機器である。
【0082】
図19及び図20はそれぞれ、自分でできるフォトリアリスティックなトーキングヘッド作成システム120及び自分でできるフォトリアリスティックなトーキングヘッド作成システム130を示す。自分でできるフォトリアリスティックなトーキングヘッド作成システム120及び自分でできるフォトリアリスティックなトーキングヘッド作成システム130は、それぞれ携帯電話132を有し、それぞれの携帯電話132はビデオカメラ134及びディスプレイ136を有する。
【0083】
図19の自分でできるフォトリアリスティックなトーキングヘッド作成システム120は、通常はリモートサーバであるサーバ142を有する。サーバ142は、ソフトウェアミキサ144、記憶装置146、及びマーカー150を有する。マーカー150は、マーカー104、106、108、110、及び112と実質的に同じであるが、他の適したマーカーを使用してもよい。
【0084】
図20の自分でできるフォトリアリスティックなトーキングヘッド作成システム130は、通常はリモートサーバであるサーバ152を代わりに有し、サーバ152はソフトウェアミキサ154、記憶装置156、及びガイド158を有する。
【0085】
なお、マーカー150は通常、ガイド158よりも好まれる。これは、マーカー104、106、108、110、及び112又は他の適したマーカーが、ガイド158又はガイド20よりも、携帯電話、他の小型の無線機器、又は携帯端末などの小型の機器上で見やすく、対象者を識別し易く、そして配置し易いためである。
【0086】
ガイド158は、ガイド20と実質的に同じである。図5に示す合成出力画像38を使用して、対象者を配置するために配置テンプレートとしてガイド158又はガイド20を使用することは、携帯電話、他の小型の無線機器、又は携帯端末などの小型の機器では難しいが、大きいディスプレイ又はモニタを有するコンピュータや合成画像の特徴を十分に識別できるほど大きなディスプレイを有するノート型コンピュータなどの大型の機器では、許容可能である。マーカー104、106、108、110、及び112、又はその他の適したマーカーの使用で、ガイド20を使用した場合に比べて配置処理時の目の疲れを軽減することが期待される。
【0087】
対象者160の画像は、図19の自分でできるフォトリアリスティックなトーキングヘッド作成システム120の携帯電話132のビデオカメラ134で収集される。サーバ142のソフトウェアミキサ144は、ディスプレイ136上に表示される対象者160の収集画像とマーカー150との合成画像を作成する。対象者160は、目、鼻の先端、及び口角など、自分の顔の重要な特徴をマーカー150に合わせて配置する。その後、記憶装置146を使用して、選択画像を保存してもよい。
【0088】
あるいは、対象者160の画像を、図20の自分でできるフォトリアリスティックなトーキングヘッド作成システム130の携帯電話132のビデオカメラ134で収集してもよい。サーバ152のソフトウェアミキサ154は、対象者160によって互いに位置を合わせて配置され得る、ディスプレイ136上に表示される対象者160の収集画像とガイド158との合成画像を作成する。その後、記憶装置156を使用して、選択画像を保存してもよい。
【0089】
ビデオカメラ134は、デジタル静止カメラに匹敵する画質及び解像度を有したデジタルビデオフレーム静止画を作成できる高解像度デジタルビデオカメラであることが好ましい。ただし、他のカメラ及び/又は電子画像収集装置を使用してもよい。
【0090】
記憶装置146又は156は、光学記憶メディア及び/又は磁気記憶メディアとすることができるが、その他の適した記憶装置を使用してもよい。
【0091】
マーカー150、ガイド158、及びソフトウェアミキサ14は、サーバ142又はサーバ152にロード及び/又は保存可能なコンピュータプログラムでもよい。ただし、他の適したマーカー、ガイド、及び/又はミキサを使用してもよい。
【0092】
図19の自分でできるフォトリアリスティックなトーキングヘッド作成システム120は、次のとおりである。
フォトリアリスティックな人間のトーキングヘッドを作成するための装置であって、
携帯端末と、ネットワークと、サーバと、配置テンプレートのライブラリと、制御装置と、ビデオカメラと、ディスプレイと、様々な対象者の頭部の角度位置で対象者の頭部を含む対象者の収集画像のライブラリを保存する保存手段とを備え、
携帯端末とサーバとは、ネットワークを介して互いに通信し、
サーバは、配置テンプレートのライブラリを備え、
配置テンプレートは、それぞれ互いに異なるとともに、頭部の傾き、頭部のうなずき及び頭部の回転要素を含む特定の頭部の角度位置について、対象者の顔の特徴に関連付けられた複数のマーカーを含み、
配置テンプレートの頭部の角度位置は、それぞれ互いに異なり、
サーバは、制御装置を備え、
制御装置は、特定の配置テンプレートの頭部の角度位置に対応して、配置テンプレートのライブラリから配置テンプレートを選択し、配置テンプレートを表現する画像の出力信号を有し、
携帯端末はビデオカメラを備え、
ビデオカメラは、対象者の頭部の傾き、対象者の頭部のうなずき及び対象者の頭部の回転要素を備えた頭部の角度位置を有する対象者の画像を収集し、
ビデオカメラは、対象者の収集画像を表現する出力信号を有し、
携帯端末は、対象者の収集画像を表現するビデオカメラの出力信号を、ネットワークを介してサーバに送信し、
サーバは、対象者の収集画像を表現するビデオカメラの出力信号を受信する入力を有し、
サーバはミキサを有し、
サーバは、選択された配置テンプレートの画像の出力信号を制御装置から受信し、選択された配置テンプレートの画像の出力信号と、受信した対象者の収集画像の出力信号とをミキサに送信し、
ミキサは、選択された配置テンプレートの画像の出力信号と、送信された対象者の収集画像の出力信号とを受信し、一方を他方と混合して対象者の収集画像と選択された配置テンプレートとの合成画像を表現する出力信号にし、対象者の収集画像と選択された配置テンプレートとの合成画像の出力信号をサーバに送信し、
サーバは、ミキサから受信した対象者の収集画像と選択された配置テンプレートとの合成画像を表現する出力信号を有し、
サーバは、対象者の収集画像と選択された配置テンプレートとの合成画像を表現する出力信号を、ネットワーク経由で携帯端末に送信し、
携帯端末はディスプレイを有し、
ディスプレイは、対象者の収集画像と選択された配置テンプレートとの合成画像を表現する出力信号を受信する入力を有し、
ディスプレイ及びビデオカメラは、ビデオカメラで対象者の画像を収集して、対象者が合成画像を見えるようにして、対象者が、対象者の頭部の画像を、配置テンプレートのマーカーに合わせて配置できるようにされており、
サーバは、保存手段を備え、
サーバは、受信した対象者の収集画像の信号を保存手段に送信し、
保存手段は、対象者の収集画像の信号を受信して、対象者の保存画像として保存し、対象者が配置テンプレートのマーカーと実質的に合わせて配置された対象者の頭部を有する場合、対象者の保存画像は、特定の配置テンプレートの頭部の角度位置と実質的に同じ対象者の頭部の角度位置を有し、
保存された収集画像のライブラリの画像は、それぞれ互いに異なり、
保存された画像の対象者の頭部の角度位置は、それぞれ互いに異なり、
保存された収集画像のライブラリの画像の対象者の頭部の角度位置のそれぞれは、配置テンプレートのライブラリの選択された配置テンプレートと対応し、実質的に同じであって、かつ合わせて配置され、
保存された収集画像のそれぞれは、フォトリアリスティックな人間のトーキングヘッドの異なるフレームを表現する、
フォトリアリスティックな人間のトーキングヘッドを作成するための装置である。
【0093】
図20の自分でできるフォトリアリスティックなトーキングヘッド作成システム130は、次のとおりである。
フォトリアリスティックな人間のトーキングヘッドを作成するための装置であって、
携帯端末と、ネットワークと、サーバと、配置テンプレートのライブラリと、制御装置と、ビデオカメラと、ディスプレイと、様々な対象者の頭部の角度位置で対象者の頭部を含む対象者の収集画像のライブラリを保存する保存手段とを備え、
携帯端末とサーバとは、ネットワークを介して互いに通信し、
サーバは、配置テンプレートのライブラリを備え、
配置テンプレートは、それぞれ互いに異なるとともに、配置テンプレートの頭部の傾き、配置テンプレートの頭部のうなずき及び配置テンプレートの頭部の回転要素を備える配置テンプレートの頭部の角度位置を有するフォトリアリスティックな人間のトーキングヘッドの配置テンプレートのフレームを表し、
配置テンプレートのフレームは、それぞれ互いに異なり、
配置テンプレートの頭部の角度位置は、それぞれ互いに異なり、
サーバは、制御装置を備え、
制御装置は、特定の配置テンプレートの頭部の角度位置に対応して、配置テンプレートのライブラリから配置テンプレートを選択し、配置テンプレートを表現する画像の出力信号を有し、
携帯端末はビデオカメラを備え、
ビデオカメラは、対象者の頭部の傾き、対象者の頭部のうなずき及び対象者の頭部の回転要素を備えた頭部の角度位置を有する対象者の画像を収集し、
ビデオカメラは、対象者の収集画像を表現する出力信号を有し、
携帯端末は、対象者の収集画像を表現するビデオカメラの出力信号を、ネットワークを介してサーバに送信し、
サーバは、対象者の収集画像を表現するビデオカメラの出力信号を受信する入力を有し、
サーバはミキサを有し、
サーバは、選択された配置テンプレートの画像の出力信号を制御装置から受信し、選択された配置テンプレートの画像の出力信号と、受信した対象者の収集画像の出力信号とをミキサに送信し、
ミキサは、選択された配置テンプレートの画像の出力信号と、送信された対象者の収集画像の出力信号とを受信し、一方を他方と混合して対象者の収集画像と選択された配置テンプレートとの合成画像を表現する出力信号にし、対象者の収集画像と選択された配置テンプレートとの合成画像の出力信号をサーバに送信し、
サーバは、ミキサから受信した対象者の収集画像と選択された配置テンプレートとの合成画像を表現する出力信号を有し、
サーバは、対象者の収集画像と選択された配置テンプレートとの合成画像を表現する出力信号を、ネットワーク経由で携帯端末に送信し、
携帯端末はディスプレイを有し、
ディスプレイは、対象者の収集画像と選択された配置テンプレートとの合成画像を表現する出力信号を受信する入力を有し、
ディスプレイ及びビデオカメラは、ビデオカメラで対象者の画像を収集して、対象者が合成画像を見えるようにして、対象者が、対象者の頭部の画像を、特定の配置テンプレートの頭部の角度位置と実質的に同じ角度位置で、配置テンプレートの頭部に合わせて配置できるようにされており、
サーバは、保存手段を備え、
サーバは、受信した対象者の収集画像の信号を保存手段に送信し、
保存手段は、対象者の収集画像の信号を受信して、対象者の保存画像として保存し、対象者が配置テンプレートの頭部と実質的に合わせて配置された対象者の頭部を有する場合、対象者の保存画像は、特定の配置テンプレートの頭部の角度位置と実質的に同じ対象者の頭部の角度位置を有し、
保存された収集画像のライブラリの画像は、それぞれ互いに異なり、
保存された画像の対象者の頭部の角度位置は、それぞれ互いに異なり、
保存された収集画像のライブラリの画像の対象者の頭部の角度位置のそれぞれは、配置テンプレートのライブラリの選択された配置テンプレートの頭部の角度位置と対応し、実質的に同じであって、かつ合わせて配置され、
保存された収集画像のそれぞれは、フォトリアリスティックな人間のトーキングヘッドの異なるフレームを表現する、
フォトリアリスティックな人間のトーキングヘッドを作成するための装置である。
【0094】
図21及び図22はそれぞれ、自分でできるフォトリアリスティックなトーキングヘッド作成システム120及び130の携帯電話132を示し、それぞれサーバ142及び152と無線で通信している。通常、携帯電話132は、1つ以上の無線セルラーネットワーク又は他の適したネットワーク上のサーバ142及び152とアンテナ170を介して無線で通信している。
【0095】
図23及び図24は、自分でできるフォトリアリスティックなトーキングヘッド作成システム172及び174を示すが、これらはそれぞれ、自分でできるフォトリアリスティックなトーキングヘッド作成システム172及び174のそれぞれが、セルラーネットワーク176を介してサーバ142及び152と通信する複数の携帯電話132を有することを除き、自分でできるフォトリアリスティックなトーキングヘッド作成システム120及び130と実質的に同じである。携帯電話132のそれぞれは、アンテナ170を介して、セルラーネットワーク176と無線で通信する。
【0096】
図25は、自分でできるフォトリアリスティックなトーキングヘッド作成システム178を示すが、これは、自分でできるフォトリアリスティックなトーキングヘッド作成システム178が、それぞれビデオカメラ182及びディスプレイ184を有する複数の携帯情報端末(PDA)180を有することを除き、自分でできるフォトリアリスティックなトーキングヘッド作成システム172と実質的に同じである。
【0097】
図26は、自分でできるフォトリアリスティックなトーキングヘッド作成システム186を示すが、これは、自分でできるフォトリアリスティックなトーキングヘッド作成システム186が、サーバ190に接続したインターネット188に接続されることを除き、自分でできるフォトリアリスティックなトーキングヘッド作成システム120と実質的に同じである。サーバ190は、ソフトウェアミキサ144、マーカー150、及び記憶装置146を有する。あるいは、サーバ190は、代わりに及び/又は追加として、ソフトウェアミキサ154、ガイド158、及び記憶装置156を有してもよい。
【0098】
図27及び28はそれぞれ、自分でできるフォトリアリスティックなトーキングヘッド作成システム192及び194を示すが、これらはそれぞれ、自分でできるフォトリアリスティックなトーキングヘッド作成システム192及び194が、無線セルラーネットワーク196及びセルラーネットワークハードウェア198を介してインターネット188に接続されることを除き、自分でできるフォトリアリスティックなトーキングヘッド作成システム172及び174と実質的に同じである。
【0099】
図29は、自分でできるフォトリアリスティックなトーキングヘッド作成システム210を示すが、これは、自分でできるフォトリアリスティックなトーキングヘッド作成システム210が、アンテナ170を介して無線セルラーネットワーク196に無線接続されたノート型コンピュータ212を有することを除いて、自分でできるフォトリアリスティックなトーキングヘッド作成システム192と実質的に同じである。無線セルラーネットワーク196及びアナログ音声通信のみ可能な旧来の電話システム(POTS)214は、それぞれサーバ142に接続されたインターネット188に接続される。使用可能なポータブル無線機器216は、携帯電話、携帯情報端末(PDA)、携帯無線端末、その他の適したポータブル無線機器、ノート型コンピュータ、パーソナルコンピュータ、及びその他のコンピュータを含むことができる。
【0100】
図30は自分でできるフォトリアリスティックなトーキングヘッド作成システム218を示すが、これは、自分でできるフォトリアリスティックなトーキングヘッド作成システム218が、サーバ142に接続されたインターネット188及び無線セルラーネットワーク196に無線で接続されることを除いて、自分でできるフォトリアリスティックなトーキングヘッド作成システム172と実質的に同じである。
【0101】
図31は、図19〜図30に示す自分でできるフォトリアリスティックなトーキングヘッド作成システムの1つ以上使用して、フォトリアリスティックなトーキングヘッドを作成する方法220のステップを示す。この方法は、ネットワークを介して無線機器をサーバへ無線接続するステップ222と、配置を合わせた対象者の画像をサーバに送信するステップ226と、配置を合わせた対象者の画像をサーバに保存するステップ238と、画像を対象者又はユーザに返信するステップ240とを含む。
【0102】
詳細には、フォトリアリスティックなトーキングヘッドを作成する方法220は、ネットワークを介して無線機器をサーバへ無線接続するステップ222と、携帯電話のビデオカメラ、携帯情報端末(PDA)のビデオカメラ、又はその他の適当な機器で対象者の画像を収集するステップ224と、対象者の収集画像をサーバに送信するステップ226と、対象者の収集画像とマーカーの画像又は代わりの画像とを混合するステップ228と、合成画像をポータブル無線機器、さらに詳しくはポータブル無線機器のディスプレイに送信するステップ230と、対象者の画像をマーカーの画像又は代わりの画像に合わせて配置するステップ232と、配置を合わせた対象者の画像をサーバに送信するステップと234と、配置を合わせた対象者の画像をサーバに保存するステップ238と、配置を合わせた対象者の画像を対象者に送信するステップ240とを備える。
【0103】
図32は、フォトリアリスティックなトーキングヘッドを作成する方法220の追加の任意ステップ242を示し、配置の不一致について配置を合わせた対象者の画像を解析するステップ244と、より正確な配置を達成するように対象者を補助するために、音声、音声プロンプト及び/又はビデオプロンプト等のプロンプトを使用するステップ246とを備える。
【0104】
フォトリアリスティックなトーキングヘッドを作成する方法220は、追加の任意ステップを有することができ、ステップ240の後、及び/又はステップ246の後に顔の特徴を捉えるステップ248を備えるが、これは、図17に示された追加の任意ステップと実質的に同じであり、図33において明確化及び理解のためにここで繰り返される。
【0105】
フォトリアリスティックなトーキングヘッドを作成する方法220は、図33に示されているように、追加の任意ステップを有することができ、口の形を捉えるステップ250と、目の形を捉えるステップ252と、任意により、その他の顔の特徴を捉えるステップ254とを含む、顔の特徴を捉えるステップ248を備える。
【0106】
図34は、携帯情報端末(PDA)又はその他の適当な機器等であるビデオ捕捉端末256のブロック図であり、ビデオカメラ258、ディスプレイ260、記憶装置262、マイク264及びスピーカー268を有し、本発明の前述の多様な実施形態で使用することができる。
【0107】
図35は、本発明に従って構成された、自分でできるフォトリアリスティックなトーキングヘッド作成システム270の別の実施形態のブロック図であり、ビデオカメラ272、ディスプレイ260、ソフトウェアミキサ276、マーカー278、記憶装置280、マイク282及びスピーカー284を有する。
【0108】
図35の自分でできるフォトリアリスティックなトーキングヘッド作成システム270は、単一のポータブル機器にまとめられた、自分でできるフォトリアリスティックなトーキングヘッド作成システムに必要なすべての機器を実質的に含む。
【0109】
自分でできるフォトリアリスティックなトーキングヘッド作成システム270は、ビデオカメラ272、ディスプレイ260、ソフトウェアミキサ276、マーカー278又は代わりの及び/又は追加のガイド、記憶装置280、マイク282、及びスピーカー284を有する、携帯情報端末(PDA)又は他の適当な機器を備える。
【0110】
対象者の画像は、図19〜図30のいずれかに示される自分でできるフォトリアリスティックなトーキングヘッド作成システムについて先に説明したのと実質的に同じように、ビデオカメラ272によって収集できる。ソフトウェアミキサ276は、対象者の収集画像と、マーカー278又は代わりの及び/又は追加のガイドとの合成画像を作成する。合成画像は、ディスプレイ260に表示されて、対象者がそれを自分自身の配置を合わせるために使用することができる。そして、図19〜図30のいずれかに示される自分でできるフォトリアリスティックなトーキングヘッド作成システムで先に説明したのと実質的に同じように、記憶装置280が、選択された画像を保存するために使用される。
【0111】
図36は、自分でできるフォトリアリスティックなトーキングヘッド作成システム286の別の実施形態を示すが、これは、自分でできるフォトリアリスティックなトーキングヘッド作成システム286が、マーカー292を個別に制御し、及び/又はマーカーライブラリ294を制御するために使用可能なマーカー制御ソフトウェア290を有することを除いて、自分でできるフォトリアリスティックなトーキングヘッド作成システム270と実質的に同じである。自分でできるフォトリアリスティックなトーキングヘッド作成システム286は、代わりに及び/又は追加として、制御ガイドを個別に制御し、及び/又はガイドライブラリを制御するために使用可能なガイド制御ソフトウェアを有してもよい。
【0112】
図36の自分でできるフォトリアリスティックなトーキングヘッド作成システム286は、単一のポータブル機器にまとめられた、自分でできるフォトリアリスティックなトーキングヘッド作成システム全体のすべての装置を実質的に含む。
【0113】
III.フォトトーキングヘッドのコンテンツの作成及びブランディングのフォトトーキングヘッドのコンテンツへの組み込み
図2〜29は、フォトトーキングヘッドのコンテンツを作成するためのシステム及び方法、及びブランディングのフォトトーキングヘッドのコンテンツへの組み込みを示す。
【0114】
ブランドとは、製品、サービス、人物、プロファイル、特性、属性、その他のアーチファクト又はエンティティに関連及び/又は関係する、関連、記号、好み、及び/又は経験の集まりと考えることができる。
【0115】
ブランドは、現在の社会環境、文化及び経済の重要な部分となってきており、「個人哲学(personal philosophies)」及び/又は「文化的なアクセサリー(cultural accessories)」と呼ばれる場合もある。
【0116】
ブランドは、人々の心の中でつくられる象徴的な構成体で、製品、個人、エンティティ、及び/又はサービスなどに関連したすべての情報及び経験を含むことができる。
【0117】
ブランドは、属性、特性、描写、プロファイル、及び/又は他の関連と関連付けられることができる。他の関連は、ブランドを説明し、並びに/又はブランドに「パーソナルフィロソフィー」、好き、嫌い、好み、人口統計、関係性、並びに個人、企業及び/若しくはエンティティのその他の特性を関係付けるものである。
【0118】
したがって、ブランディングは、広告を、個人、企業及び/又はエンティティに送信される情報及び/又はコンテンツ、例えばフォトリアリスティックなトーキングヘッドなどのコンテンツに組み込むために使用可能である。
【0119】
A.フォトトーキングヘッドのコンテンツの作成
本発明のフォトリアリスティックなトーキングヘッドシステムは、フォトリアリスティックなトーキングヘッドのライブラリ作成装置と、フォトリアリスティックなトーキングヘッドのライブラリ作成サーバ装置と、フォトリアリスティックなトーキングヘッドのコンテンツ作成装置と、フォトリアリスティックなトーキングヘッドのコンテンツ作成サーバ装置と、ブランド関連サーバ装置と、コンテンツ流通サーバ装置とを含む。
【0120】
フォトリアリスティックなトーキングヘッドのライブラリ作成装置及びフォトリアリスティックなトーキングヘッドのライブラリ作成サーバ装置は、本明細書及び/又は図面において、フォトリアリスティックなトーキングヘッドサーバと呼ぶこともあり、フォトリアリスティックなトーキングヘッドのライブラリの作成に関与する。
【0121】
フォトリアリスティックなトーキングヘッドのコンテンツ作成装置及びフォトリアリスティックなトーキングヘッドのコンテンツ作成サーバ装置は、本明細書及び/又は図面において制作サーバと呼ぶこともあり、フォトリアリスティックなトーキングヘッドのコンテンツの作成に関与する。
【0122】
コンテンツ流通サーバ装置は、本明細書及び/又は図面においてショーサーバと呼ぶこともあり、ブランド化したコンテンツの受信側への流通に関与する。
【0123】
図37、38、及び40〜65は、フォトリアリスティックなコンテンツの作成の様々な態様を示す。
【0124】
図37は、ショーのコンテンツ作成及びアップロードを示す、ショーのコンテンツ作成及びアップロード方法(300)の概略図である。ユーザは、装置プラットフォームを選択する(320)。ユーザは、自分のブランドのプリファランスを選んで(350)、コンテンツ作成方法を選択し(400)、フォトリアリスティックなトーキングヘッドのチャット(510)、フォトリアリスティックなトーキングヘッドのブログ(520)、フォトリアリスティックなトーキングヘッドのマルチメディア(530)、フォトリアリスティックなトーキングヘッドの電話(560)、又はフォトリアリスティックなトーキングヘッドのヴォイスメールのアプリケーション(570)のいずれかを使用して、フォトリアリスティックなトーキングヘッドのショーを作成する。ユーザは、手動でショーを調整し(650)、フォトリアリスティックなトーキングヘッドのチャットルームサーバ(700)、フォトリアリスティックなトーキングヘッドのブログサーバ(710)、又はフォトリアリスティックなトーキングヘッド対応ソーシャルネットワークサーバ(720)などの適切なサーバへアップする。フォトリアリスティックなトーキングヘッドの電話又はヴォイスメールのアプリケーションを使用する場合、調整はソフトウェアプログラムによって行われ(675)、コンテンツは通信ネットワークサーバ(730)又はヴォイスメールサーバ(740)などの適切なサーバへ調整せずに送られる。
【0125】
図38は、フォトリアリスティックなトーキングヘッドアプリケーション(320)とともに使用可能な選択装置プラットフォームの概略図であり、フォトリアリスティックなトーキングヘッドのアプリケーション用の選択装置プラットフォームを表す。選択装置プラットフォームは、携帯電話(325)、インターネットコンピュータ(330)、特定アプリケーション装置(335)、又は集中型装置(340)を含むが、それらに限定されない。特定アプリケーション装置は、消費者の又は業務用の装置を問わず、特定のタスクのために使用される装置である。特定アプリケーション装置の一例は、サーバへの無線アクセスが可能な携帯型在庫追跡装置である。集中型装置は、セルラーアクセス、Wifi/WiMax型アクセス、フルキーボード又はQWERTYキーボード、電子メールアクセス、マルチメディア再生装置、ビデオカメラ、及びカメラ、又はその他の適した装置を含む。
【0126】
図39は、送信側個人のブランド設定を含む、送信側個人ブランド設定の処理(350)を示す概略図である。ユーザは、パラメータ及びプリファランスが初期化されたか否かを問われる(355)。パラメータは、ユーザが設定したユーザ個人ブランドパラメータである。プリファランスは、ユーザがグループ及び/又は個人に与える識別子である。もし回答がnoの場合、ユーザはいずれかのパラメータ及びプリファランスを修正したいか否かを問われる(360)。(355)又は(360)に対する回答がyesの場合、ユーザは1つ以上のパラメータ及びプリファランスを作成又は修正する(365)。(365)が完了し、又は(360)に対してnoと回答すると、ユーザは、特定のイベント又は自分が関係するイベントに対してブランドプリファランスプロファイルを選択する(370)。その後、ユーザは、変更、作成、及びイベントプロファイルをサーバへ保存する(370)。
【0127】
図40は、ショーのコンテンツ作成方法(400)の概略図である。ユーザは、いずれかの装置(320)、又はその他の適した装置、リモートサーバシステムを介した作成支援装置(410)、又はローカルコンピュータシステム(フルバージョン)(420)及び/又はフォトリアリスティックなトーキングヘッドシステムを作成するのに適したその他のシステム及び/又は方法を使用してコンテンツを制作できる。
【0128】
図41は、チャット、ブログ又はマルチメディアのアプリケーション用のフォトリアリスティックなトーキングヘッドのコンテンツを作成する処理(500)の概略図である。ユーザがフォトリアリスティックなトーキングヘッドのアプリケーション(502)(504)(506)の中の1つを選択及び起動すると(450)、ユーザは自分の個人的なフォトリアリスティックなトーキングヘッド又は自分のキャラクターをアバターとして選び(510)、声の音声ファイルを記録し(520)、保存されフォトリアリスティックなトーキングヘッドのライブラリに関連付けられたスクリプトされた動きである動画のふるまいを任意で割り当て(530)、任意で背景画像を割り当て(535)、任意でテキスト及び/又は画像を割り当て(540)、任意でスライドショー及び/又はサウンドトラック音楽を割り当てる(545)。
【0129】
図42は、電話又はヴォイスメールのアプリケーション用のフォトリアリスティックなトーキングヘッドのコンテンツを作成する処理(550)の概略図である。ユーザは、フォトリアリスティックなトーキングヘッドのライブラリを選択して自分のアバターとして使用し(552)、次に電話をかける(554)。電話がかかると、受話側が電話に出るか否かで分岐が発生する(556)。受話側が電話に出ると、電話のアプリケーションが開始する。受話側が電話に出ない場合、ヴォイスメールのアプリケーションが開始する。
【0130】
図43は、フォトリアリスティックなトーキングヘッドの電話のアプリケーション(560)の概略図である。ユーザが話すと(561)、ユーザの音声データがサーバへ音声データとして送信される(562)。アプリケーションは、フォトリアリスティックなトーキングヘッドと音声データとを同期させ(563)、ショーに調整を加え(564)、プリファランス及びパラメータに基づく広告を挿入し(565)、すべてのデータを受話者に送信する(567)。電話の通話が終了するまで(567)、通話はこのループで継続される。
【0131】
図44は、フォトリアリスティックなトーキングヘッドのヴォイスメールのアプリケーション(570)の概略図である。ユーザが話すと(571)、ユーザの音声データがサーバへ音声データとして送信される(573)。アプリケーションは、フォトリアリスティックなトーキングヘッドと音声データとを同期させ(575)、フォトリアリスティックなトーキングヘッドの音声データは、受信側が後で聞けるようにサーバに保存され(577)、通話は終了する(579)。
【0132】
図45は、口合わせデータを埋め込む処理(520)の概略図である。声の音声が記録されると、ユーザはインターネット接続を介して音声ファイルを制作サーバへ送信する(522)。制作サーバ上の音声解析及び口合わせのアプリケーションは、音声ファイルを解析し、音素タイミング情報を音声ファイルに埋め込む(524)。その後、口合わせされた音声ファイルは、制作サーバのアセットライブラリに保存され(526)、インターネットを介してユーザに送信される(528)。ユーザは、埋め込まれた音素タイミング情報を用いて、口合わせが行われたフォトリアリスティックなトーキングヘッドの動画を動かす(529)。
【0133】
図46は、ユーザのパラメータ及びプリファランスと受信側のパラメータ及びプリファランスとに関連付けられた言葉を適合させることによってブランディング(広告、パーソナルブランドなど)を挿入する処理を示す、ユーザのパラメータ及びプリファランスと受信側のパラメータ及びプリファランスとに関連付けられた言葉を適合させることによりブランディングを挿入する処理(800)の概略図である。ユーザの音声チャネル信号は、サーバで音声認識アプリケーションを使用して解析される(810)。音声−テキスト変換結果は、キーワード適合アルゴリズムに渡される(812)。アプリケーションは、言葉が残っているか否かを決定するためにチェックを行う(813)。yesならば、アプリケーションは、言葉がキーワードデータベースにあるか否かを確認するためにチェックを行う(814)。そうでない場合は、言葉を破棄する(816)。ユーザ及び受信側のパラメータを使用して、キーワードをブランドと適合させる(818)。ブランドのデータを、受信側の装置のブランド待ち行列に送信する(820)。ブランド履歴は、ユーザの連絡先情報及び会話と関連付けられる(824)。受信側がブランド待ち行列をクリックすると、会話と文脈上関係のあるブランド情報を閲覧できる(824)。さらに音声−テキスト変換結果がある場合、アプリケーションは次のブランドをダウンロードする(826)。
【0134】
図47は、分散ウェブアプリケーションネットワークの概略図である(1400)。携帯電話(360)、インターネットコンピュータ(370)、特定アプリケーション装置(380)、及び集中型装置(390)といった様々な装置(320)が、インターネット又は他のネットワーク(1402)を介してサーバのシステムにネットワーク接続される(1405)。サーバは、ウェブページ(1430)を含むショーサーバ(1410)、ウェブアプリケーション(1450)及びユーザアセット(1455)の仮想化インスタンスを含む制作サーバ(1460)、及びフォトリアリスティックなトーキングヘッドのアプリケーション(1475)を含むフォトリアリスティックなトーキングヘッドのサーバ(1470)を含むが、それらに限定されない。ユーザは、ウェブページ(1490)に埋め込まれたウェブブラウザ(1485)ベースの軽量フロントエンドのウェブツールクライアント(1492)を使用して、制作サーバ、ショーサーバ、及びフォトリアリスティックなトーキングヘッドサーバとインタフェースを行う。
【0135】
図48は、別の分散ウェブアプリケーションネットワーク(1401)の概略図である。携帯電話(360)、インターネットコンピュータ(370)、特定アプリケーション装置(380)、及び集中型装置(390)といった様々な装置(320)が、インターネット(1402)及び/又は携帯電話ネットワーク(3500)を介してサーバ(1405)のシステムにネットワーク接続される。サーバは、ウェブページ(1430)を含むショーサーバ(1410)、ウェブアプリケーション(1450)及びユーザアセット(1455)の仮想化インスタンスを含む制作サーバ(1460)、及びフォトリアリスティックなトーキングヘッドのアプリケーション(1475)を含むフォトリアリスティックなトーキングヘッドサーバ(1470)を含むが、それらに限定されない。ユーザは、ウェブページ(1490)に埋め込まれたウェブブラウザ(1485)ベースの軽量フロントエンドのウェブツールクライアント(1492)を使用して制作サーバ、ショーサーバ及びフォトリアリスティックなトーキングヘッドサーバとインタフェースを行う。
【0136】
本発明のフォトリアリスティックなトーキングヘッドシステムは、フォトリアリスティックなトーキングヘッドのライブラリ作成装置と、フォトリアリスティックなトーキングヘッドのライブラリ作成サーバ装置と、フォトリアリスティックなトーキングヘッドのコンテンツ作成装置と、フォトリアリスティックなトーキングヘッドのコンテンツ作成サーバ装置と、ブランド関連サーバ装置と、コンテンツ流通サーバ装置とを含む。
【0137】
フォトリアリスティックなトーキングヘッドのライブラリ作成装置及びフォトリアリスティックなトーキングヘッドのライブラリ作成サーバ装置は、本明細書及び/又は図面において、フォトリアリスティックなトーキングヘッドサーバと呼ぶこともあり、フォトリアリスティックなトーキングヘッドのライブラリの作成に関与する。
【0138】
フォトリアリスティックなトーキングヘッドのコンテンツ作成装置及びフォトリアリスティックなトーキングヘッドのコンテンツ作成サーバ装置は、本明細書及び/又は図面において制作サーバと呼ぶこともあり、フォトリアリスティックなトーキングヘッドのコンテンツの作成に関与する。
【0139】
コンテンツ流通サーバ装置は、本明細書及び/又は図面においてショーサーバと呼ぶこともあり、ブランド化したコンテンツの受信側への流通に関与する。
【0140】
図49は、埋込口合わせシステム及び方法(1700)の概略図である。ユーザは、マイク(1740)を使用して、ショー作成ツール(1730)で自分の声を録音する。音声データ(1750)は、インターネット(1402)を介して、制作サーバ(1770)上の自動音声解析及び口合わせアプリケーション(1780)に送信される。音声データは、音声認識ソフトウェアを用いて解析され、抽出された音素/持続時間情報は、音声ファイルのメタデータ部に統合され、音素/持続時間データ、音素−口形素(viseme)変換テーブル及び複数の口合わせが対応づけられた1つの音声ファイル(1785)中の音声データを含むファイルフォーマットを作成する。ユーザのコンピュータ(1795)に返信されて再生装置(1798)で表示されるショーについて口合わせを動かす前に、複数の口合わせ対応付け音声ファイルは、制作サーバのアセットライブラリ(1790)に保存される。
【0141】
図50は、フォトリアリスティックなトーキングヘッドの電話(2200)の概略図である。発信者及び受話者の両方からの音声(2230)は、通信ネットワークの一部である制作サーバ(2200)に常駐する音声解析及び口合わせアプリケーション(2260)によって解析される。ショーはコンパイルされ(2310)、音声−テキスト解析の出力(2340)は、ショーアセット(2350)とともにデータチャネルを介して送信され、その後それぞれの再生装置において発信者及び受話者のフォトリアリスティックなトーキングヘッドの口合わせのために使用される。
【0142】
図51は、携帯情報装置に関する埋込口合わせシステム及び方法(1800)の概略図である。ユーザは、マイク(1810)を使用してショー作成ツール(1830)で自分の声を録音する。音声データ(1850)は、通信ネットワーク(1860)を介して、制作サーバ(1870)上の音声解析及び口合わせアプリケーション(1880)へ送信される。音声データは、音声認識ソフトウェアを用いて解析され、抽出された音素/持続時間情報は、音声ファイルのメタデータ部に統合され、音素/持続時間データ、音素−口形素(viseme)変換テーブル及び複数の口合わせが対応づけられた1つの音声ファイル(1885)中の音声データを含むファイルフォーマットを作成する。ユーザのウェブブラウザに返信されて再生装置(1894)で表示されるショーについて口合わせを動かす前に、複数の口合わせ対応付け音声ファイルは、制作サーバのアセットライブラリ(1890)に保存される。
【0143】
図52は、音声駆動個人ブランド設定システム(1900)の概略図である。送信側は、自分の装置(1910)を使用して、一連の個人ブランドパラメータ及び受信側のプリファランスを制作サーバ(1980)上のデータベース(2030)に設定する。受信側のプリファランスは、様々なブランドカテゴリにおける通常の購入プリファランスを示す。ユーザが音声通話をすると、自分の声が、通信ネットワーク又はホスト会社の一部である制作サーバ上に常駐する音声解析及び口合わせアプリケーション(1990)によって解析される。音声−テキスト解析(2000)の出力は、サーバ上のブランドデータベース(2050)中の広告と関連付けられたキーワード(2020)のリストと比較される。キーワードのリストの項目と適合しない言葉は削除され、ブランド化されたキーワード(2040)のリストが残る。送信側の個人ブランドパラメータは、その後キーワードとともに使用され、特定のブランド(1970)を選択して受信側の装置(2060)に送信する。ブランドのタイトル又はタグラインは、フォトリアリスティックなトーキングヘッドの再生装置(1960)の下のブランドの待ち行列(1940)のウィンドウに表示される。その後、ブランドのリストは連絡先リスト(1950)に保存され、送信側のプロファイルと関連付けられる。受信側は、いつでも広告待ち行列上をクリックしてブランドのリストを閲覧し、1つを選んで再生装置に表示させることができる。
【0144】
図53は、フォトリアリスティックなトーキングヘッドのヴォイスメール(2100)の概略図である。装置を使用するユーザは、受信側のヴォイスメール上にメッセージを録音する。メッセージは、通信ネットワーク、内部ネットワーク、その他のネットワーク又はインターネットの一部である制作サーバ(1980)上に常駐する音声解析及び口合わせアプリケーション(1990)によって解析される。音声−テキスト解析の出力は、音声ファイルのメタデータに追加され、その後、送信側のフォトリアリスティックなトーキングヘッドの口合わせのために使用される。受信側が音声メッセージリスト(2145)中のメッセージをクリックすると、再生装置(2120)は録音された音声メッセージを再生し、送信側のフォトリアリスティックなトーキングヘッドが動画化されて、メッセージへの口合わせが行われる。
【0145】
図54は、装置プラットフォーム及びリモートサーバシステムであり、あるいはフォトリアリスティックなトーキングヘッドウェブアプリケーション(1500)とも呼ばれる。ウェブコンテンツ制作者は、ウェブコンテンツ制作者のコンピュータ(1520)上で、コンテンツ作成処理においてウェブコンテンツ制作者を案内するインターネットブラウザベースのウェブアプリケーション(1510)を起動する。ウェブコンテンツ制作者は、映像レコーダ(1530)を使用して、肩から上の部分が画面上に見えるようにして、“army u.f.o’s”の言葉を言い、まばたきをし、眉を上げ、様々な感情を表現し、一連の順序だった頭部の位置のそれぞれに対して自分自身を記録する。三次元の人間の特徴から描画された、事前に作られたガイドのライブラリが使用されて、頭部の配置においてウェブコンテンツ制作者を支援する。映像データは、インターネットを介して制作サーバ(1670)に保存及び送信され、フォトリアリスティックなトーキングヘッドのコンテンツ作成システム(1660)の映像認識アプリケーション(1690)によって解析される。選択口形素(viseme)を表す個別の映像フレームは、映像認識アプリケーションからの音素及びタイミングデータによって識別され、映像ファイルから抽出され、画素データ比較アルゴリズムを使用して互いに整列され、口、目又は頭部など、その位置について動きの両極端を表す部分のみを含むようにトリミングされる。その結果として生じたフォトリアリスティックなトーキングヘッドのライブラリのファイル(1740)は、制作サーバのアセットライブラリ(1730)に保存される。ウェブコンテンツ制作者は、音声レコーダ(1540)を介して自分の音声メッセージを録音する。音声レコーダからの音声データ(1590)は、インターネットを介して制作サーバに保存及び送信され、音声認識エンジンを用いて音声解析及び口合わせアプリケーション(1680)によって解析される。その結果として生じた音素タイミングは、適切な唇形状対応情報とともに音声ファイルのメタデータ部にコピーされ、口合わせ対応音声ファイル(1720)として制作サーバのアセットライブラリに保存される。ウェブコンテンツ制作者は、テキストエディタ(1550)を使用して、ショーにテキスト又はタイトルグラフィックスを追加できる。テキストエディタの出力は、テキストデータ(1600)であり、それはインターネットを介して制作サーバへ送信され、テキストファイルとして制作サーバのアセットライブラリに保存される。制作サーバのアセットは、テキストファイル、音声ファイル、口合わせ対応音声ファイル、フォトリアリスティックなトーキングヘッド作成システムによって作成されたフォトリアリスティックなトーキングヘッドのファイル、他のキャラクター作成システム(1650)によって作成された他のオリジナル又はライセンスキャラクターのファイル(1610)、外部画像作成システム(1570)とすることができるが、それらに限定されない。外部画像作成システム(1570)は、フォトリアリスティックなトーキングヘッド又はショーの中で使用される他のキャラクターを囲むようにされた背景画像、映画、セット、又はその他の環境などの画像ファイル(1620)を作成するために使用される。これらの制作サーバのアセットは、ショーを作成するための素材であり、ショー作成手続きの様々な時点でアクセス可能であり、ショーコンパイラ(1700)によってショーに組み込まれる。セグメントエディタ(1640)は、ショースクリプト(1790)において使用されるアセットを指定及び動画化するために使用される。様々なアセット(1770)がローカルアセットライブラリ(1650)にインポートされ、スクリプト化されたオブジェクトのふるまい並びに場面及び動画を定義する一連の命令を用いて、時系列に沿って動画化される。このショー情報は、ショーセグメントエディタからショーコンパイラに送られ、ショーコンパイラは、次にショースクリプトを作成及び暗号化し、ショーをウェブコンテンツ制作者のウェブページに組み込む。完成したショーは、ショーサーバ(1800)上のショーのコンテンツライブラリ(1810)に保存される。その後、ショースクリプトは、他のユーザの装置(1820)によってインターネットを介してアクセスされて、ウェブブラウザ(1830)を介して再生装置(1840)で閲覧され、又はオペレーティングシステム(1835)に埋め込まれることが可能である。
【0146】
図55は、ショーセグメントエディタアプリケーション(2400)の概略図である。フォトリアリスティックなトーキングヘッドのライブラリ、声の音声ファイル、背景画像、及び小道具などのショーアセット(2420)は、ショーアセットリスト(2430)にインポートされる。それぞれのショーアセット(2450)は、時系列エディタ(2510)のトラックID部にドラッグされる。ショーアセットのふるまい(2460)は、頭部の動き、目の動き、腕の動き、体の動き、又はそのような動きの他の組み合わせなど、動画の事前に定義された再利用可能なシーケンスであって、入力順に時系列に沿って設置され、ショー動画を定義する。修正ショーアセットのプロパティインタフェース(2490)は、位置などのショーアセットのパラメータを調整し、順序を辿り、特定のふるまい又は音声ファイルをプレビューするための方法を提供する。ショーは、ショーセグメント(2440)として、ローカルアセットライブラリ(2410)にエクスポートされて保存される。
【0147】
図56は、ショーコンパイルエディタアプリケーション(2600)の概略図である。ショーコンパイルエディタ(2610)の内部から、ショーエクスプローラ(2635)は、ショーセグメント(2640)をショーコンポーザー(2660)にドラッグアンドドロップして、より長い、完全なショースクリプト(2670)を作成するために使用される。ショーは、プレビュー再生装置(2650)においてプレビュー可能である。制作者がショーのコンテンツに満足すると、完成したショースクリプトがショー暗号部(2680)で暗号化されて再生装置でのみ閲覧可能にしたり、及び/又はムービーメーカー(2690)にインポートされて、標準的なデジタルメディア再生装置で閲覧するためのムービー(2750)を作成するために使用されたりすることができる。ショーは、ローカルアセットライブラリ(2730)に保存され、FTPアップロードウィザード(2710)でインターネット(2740)を介してリモートウェブサーバへアップロードされる。アドレスブック(2720)は、利用可能なショーサーバ(2760)について、URL、ログイン及びパスワード情報を保存する。
【0148】
図57は、ローカルアセットライブラリ(2800)のディレクトリ構造の概略図である。ローカルアセットライブラリは、ショースクリプト(2810)、グラフィックス(2820)、音声(2830)、ダウンロードしたアセット(2840)、並びにアイコン、ボタン画像、及びウェブページの背景画像などのウェブページ構成要素アセット(2850)が入ったフォルダを含む。ローカルアセットライブラリのコンテンツ全体はまた、ローカルアセットライブラリ内の暗号化アセットライブラリ(2860)に暗号化された形で保存される。
【0149】
図58は、暗号化アセットライブラリ(2860)のディレクトリ構造の概略図である。暗号化アセットライブラリは、暗号化ショースクリプト(2870)、暗号化グラフィックス(2880)、暗号化音声(2890)、暗号化ダウンロードアセット(2900)、及びウェブページ構成要素アセット(2910)が入ったフォルダを含む。
【0150】
図59は、ローカルアセットライブラリのグラフィックスアセット部(3000)のディレクトリ構造の概略図である。グラフィカルアセットライブラリは、フォトリアリスティックなトーキングヘッドのライブラリ(3010)、その他のトーキングヘッドのライブラリ(3020)、背景画像(3030)、小道具(3040)、セット(3050)、スマートグラフィックス(3060)、イントロ/アウトログラフィックス(3070)、及びエラーメッセージグラフィックス(3080)が入ったフォルダを含む。
【0151】
図60は、ローカルアセットライブラリの音声ライブラリ部(3100)のディレクトリ構造の概略図である。音声ライブラリは、声の音声ファイル(3110)、口合わせタイミングファイル(3120)、コンピュータ生成音声モデル(3130)、MIDIファイル(3140)、及び録音音響効果(3150)が入ったフォルダを含む。
【0152】
図61は、音声解析及び口合わせアプリケーション(900)の概略図である。制作者は、適切な録音アプリケーション(930)を使用して自分の声を録音し、それを音声ファイル(970)として保存し、対応する言葉を適したテキストエディタ(920)に入力し、その後テキストファイル(960)として保存する。テキストは、既存の保存されたテキストファイル、又はスクラッチパッド(1000)に新しく入力されたテキストからテキストインターフェイスにインポートされる。次にテキストデータは、テキスト−音声変換エンジン(940)に送られ、ピッチ、音素、及び持続時間のデータ(1010)について解析される。ピッチ、音素、及び持続時間の値は、持続時間/ピッチグラフインタフェース(1030)に送信される。対応する声の音声ファイル(970)も同様に、持続時間/ピッチグラフインタフェースへインポートされる。ピッチ/音素/持続時間の値は、時系列に沿った移動可能なノード列として表される。垂直値は、ピッチの変化を表し、水平値は音素間の持続時間間隔の変化を表す。音素の音声ファイルへの同期の正確性は、ピッチ/音素/持続時間データから作成されたコンピュータ生成音声と人間の声の音声ファイルとの両方を同時に聞くことによって試験できる。2つのファイルの目視による比較は、音声/映像波形比較部(1040)において行うことができる。制作者がコンピュータによる音声と人間の音声との同期に満足したら、ピッチ及び持続時間値が出力スクリプトエディタ(1090)に送信され、そこで制作された個々のフレーズが一緒にされて、完全な音声スクリプト(1100)を形成する。次に、音声スクリプトは、個々のフレーズにまた分割され、フレーズ中の言葉に基づいた名前をつけられ、順番に番号が割り当てられる。コンピュータ音声エディタ(1070)は、性別、頭部の大きさ、息使い、言葉の速度、イントネーションなど、音声品質を制御する多様なパラメータを調整することによって、新しい独特な響きの、コンピュータ生成キャラクター音声を作成するために使用できる。新しく作られたコンピュータ生成キャラクター音声は、既存のコンピュータキャラクター音声リスト(1080)に追加できる。ピッチ輪郭エディタ(1020)は、コンピュータ生成キャラクター音声の会話に表現と屈折を加えるために、ピッチシーケンスをカスタマイズするのに使用できる。カスタマイズされたピッチ輪郭又は基本輪郭は、再利用のために基本輪郭リスト(1050)に保存される。音素リスト(1060)は、基準として聞くことが可能な言葉における各利用可能音素のサンプル及び代表的な使用法を含む。
【0153】
図62は、フォトリアリスティックなトーキングヘッドのコンテンツ制作システムとも呼ばれる、ローカルコンピュータ(フルバージョン)システム(1200)の概略図である。制作者は、ツールを使用してコンテンツを作製するユーザであり、音声レコーダ(1210)によって自分の音声メッセージを録音する。音声レコーダからの音声ファイル(1220)は、ローカルアセットライブラリ(1310)に保存及びインポートされる。ローカルアセットライブラリ(1310)は、制作者又はエンドユーザのコンピュータ上にある格納保管場所であり、再生装置によってスクリプト中に呼び出されてショー作成のために使用される全ファイルを含む。音声メッセージを作成する際に話される一連の言葉を含む制作者のメッセージスクリプトは、テキストエディタ(1230)に入力される。テキストエディタによる出力は、ローカルアセットライブラリに保存されるテキストファイル(1270)である。音声解析及び口合わせアプリケーション(1320)の内部から、メッセージスクリプトのテキストファイルはインポートされ、次にテキスト−音声変換エンジンで解析されて、テキストは、記述された言葉の音素及び関連持続時間値へ変換される。次に、音素タイミング情報は、手動又は自動で制作者の元の記録音声ファイルと同期がとられ、ローカルアセットライブラリに口合わせタイミングファイル(1325)として保存される。ローカルアセットライブラリは、制作者のコンピュータに常駐するファイルを含み、このファイルはショー作成手続きにおける様々な時点でアクセスされる。ローカルアセットは、テキストファイル、音声ファイル、口合わせタイミングファイル、現特許(一部継続の基礎)からフォトリアリスティックなトーキングヘッド作成システム(1240)によって作成されたフォトリアリスティックなトーキングヘッドファイル(1280)、他のキャラクター作成システム(1250)によって作成された他のオリジナル又はライセンスキャラクターファイル(1290)、外部で作成された画像アセット(1300)(フォトリアリスティックなトーキングヘッド又はショーの中で使用される他のキャラクターを囲むようにされた背景画像、映画、セット、又はその他の環境など)とすることができるが、これらに限定されない。このようなショーアセット(1330)は、ショーを作成するための素材である。ショーセグメントエディタ(1340)は、ショーセグメント(1350)を作成するために使用される。アセットファイルは、ローカルアセットライブラリからセグメントエディタにインポートされ、スクリプト化されたオブジェクトのふるまい並びに場面及び動画を定義するための一連の命令を用いて動画化される。ショーコンパイルエディタ(1370)は、再利用可能なイントロ、アウトロ、及び新しく作成された独自セグメントなどのショーセグメントを、長く完全なショースクリプト(1380)に組み立てるために使用されるアプリケーションである。完成したショーは、ローカルアセットライブラリに保存され、さらにプレビュー再生装置(1360)で閲覧できる。プレビュー再生装置(1360)は、スクリプトを読み込んでまだ暗号化されていないショーを表示することができる再生装置の1つの型で、制作者のコンピュータ上のセグメントエディタ及びショーコンパイルエディタに組み込むことができる。セグメントエディタは、ショースクリプトを暗号化することもでき、それによってショーコンパイルエディタによって暗号化されたショーを読み込むことだけできる再生装置(1394)を使用して、遠隔地のユーザのコンピュータ(1392)上でのみ閲覧されるようにできる。制作者は、アップロードウィザード(1390)を使用できる。アップロードウィザード(1390)は、コマンドに従って、手動又は自動でショースクリプト及びショーアセットを、インターネット(1320)を介して指定されたリモートウェブサーバ(1340)上のショーのコンテンツライブラリ(1330)にアップロードするツールである。
【0154】
図63は、音声解析及び口合わせアプリケーションのグラフィカルユーザインタフェース(3200)の概略図である。グラフィカルユーザインタフェースは、ソーステキストエディタ(990)、スクラッチパッド(1000)、音素シーケンス(1010)、ピッチ輪郭エディタ(1020)、持続時間/ピッチエディタ(1030)、音声/映像波形比較部(1040)、コンピュータ生成キャラクター音声リスト(1080)、及び音素サンプルリスト(1060)と共に使用可能である。
【0155】
図64は、制作セグメントエディタアプリケーションのグラフィカルユーザインタフェース(3300)の概略図である。グラフィカルユーザインタフェースは、ショーアセットリスト(2430)、ショーアセット(2450)、アセットふるまい(2460)、プレビュー再生装置(2500)、時系列エディタ(2510)、音声タイミングファイルコンバータ(3310)、及びふるまいアイコンリスト(3320)と共に使用可能である。
【0156】
図65は、ショーコンパイルエディタアプリケーションのグラフィカルユーザインタフェース(3400)の概略図である。グラフィカルユーザインタフェースは、ショープレビュー再生装置(2650)、ショーコンポーザー(2660)、ショーエクスプローラ、及びアドレスブックと共に使用可能である。
【0157】
B.ブランディングのフォトトーキングヘッドのコンテンツへの組み込み
図37、39、43、46〜48、50、52、54、及び62は、ブランディングのフォトリアリスティックなヘッドのコンテンツへの組み込みの様々な態様を示し、既に説明済みである。
【0158】
IV.フォトトーキングヘッドのコンテンツの流通
図37、43、44、47〜54、56、及び62は、フォトリアリスティックなヘッドのコンテンツの流通の様々な態様を示し、既に説明済みである。
【0159】
V.フォトトーキングヘッドのコンテンツの閲覧
図47〜54、62、66、及び82は、フォトリアリスティックなヘッドのコンテンツの閲覧の様々な態様を示し、既に説明済みである。
【0160】
VI.追加の詳細
よって、フォトリアリスティックなトーキングヘッド作成、コンテンツ作成、及び流通システム及び方法は、少なくとも部分的に、次のように考えることができる。
【0161】
フォトリアリスティックなトーキングヘッドのライブラリを作成し、フォトリアリスティックなトーキングヘッドのコンテンツを作成し、ブランディングをコンテンツに挿入し、及びブランディングを含むコンテンツを分散型ネットワーク上で少なくとも1つの通信装置から少なくとも1つの他の通信装置へ流通するためのフォトリアリスティックなトーキングヘッドシステムを含むハードウェア装置において実行する処理であって、
前記フォトリアリスティックなトーキングヘッドシステムは、フォトリアリスティックなトーキングヘッドのライブラリ作成装置、フォトリアリスティックなトーキングヘッドのライブラリ作成サーバ装置、フォトリアリスティックなトーキングヘッドのコンテンツ作成装置、フォトリアリスティックなトーキングヘッドのコンテンツ作成サーバ装置、ブランド関連サーバ装置、及びコンテンツ流通サーバ装置を含み、前記処理は、
(a)前記フォトリアリスティックなトーキングヘッドのライブラリ作成装置において、フォトリアリスティックなトーキングヘッドのライブラリを作成するステップ、
(b)前記フォトリアリスティックなトーキングヘッドのライブラリ作成サーバ装置において、前記フォトリアリスティックなトーキングヘッドのライブラリを保存するステップ、
(c)前記フォトリアリスティックなトーキングヘッドのコンテンツ作成装置において、前記フォトリアリスティックなトーキングヘッドのコンテンツを作成するステップ、
(d)前記フォトリアリスティックなトーキングヘッドのコンテンツ作成サーバ装置において、前記フォトリアリスティックなトーキングヘッドのコンテンツを保存するステップ、
(e)前記フォトリアリスティックなトーキングヘッドのコンテンツ作成装置において、少なくとも1つのプロファイルを作成するステップ、
(f)前記ブランド関連サーバ装置において、前記少なくとも1つのプロファイルを前記フォトリアリスティックなトーキングヘッドのコンテンツと相互に関連付けするステップ、
(g)前記ブランド関連サーバ装置において、前記少なくとも1つのプロファイル、及び前記少なくとも1つのプロファイルと前記フォトリアリスティックなトーキングヘッドのコンテンツとの間の関連を識別する情報を保存するステップ、
(h)前記フォトリアリスティックなトーキングヘッドシステムにおいて、保存した前記フォトリアリスティックなトーキングヘッドのコンテンツを前記少なくとも1つの他の通信装置へ送信する少なくとも1つの指示を、前記少なくとも1つの通信装置から受信するステップ、
(i)前記フォトリアリスティックなトーキングヘッドのコンテンツ作成サーバ装置において、前記フォトリアリスティックなトーキングヘッドのコンテンツを取り出すステップ、
(j)前記ブランド関連サーバ装置において、前記少なくとも1つのプロファイル及び前記フォトリアリスティックなトーキングヘッドのコンテンツとの間の関連を識別する情報を取り出すと共に、前記少なくとも1つのプロファイルを取り出すステップ、
(k)前記ブランド関連サーバ装置において、前記少なくとも1つのプロファイルと関連付けられた少なくとも1つの保存されたブランドを取り出すステップ、
(l)前記フォトリアリスティックなトーキングヘッドのコンテンツ作成サーバ装置において、前記少なくとも1つのプロファイル及び前記フォトリアリスティックなトーキングヘッドのコンテンツと関連付けられた前記少なくとも1つの保存されたブランドを、前記フォトリアリスティックなトーキングヘッドのコンテンツに組み込むステップ、
(m)フォトリアリスティックなトーキングヘッドの前記コンテンツ流通サーバ装置から、前記少なくとも1つのプロファイル及び前記フォトリアリスティックなトーキングヘッドのコンテンツと関連付けられた前記少なくとも1つの保存されたブランドを含むフォトリアリスティックなトーキングヘッドのコンテンツを、前記少なくとも1つの他の通信装置へ送信するステップ、を含む。
【0162】
前記少なくとも1つのプロファイルは、前記少なくとも1つの通信装置の少なくとも1人のユーザと関連付けられた少なくとも1つのプロファイルを含み、及び/又は前記少なくとも1つのプロファイルは、前記少なくとも1つの他の通信装置の少なくとも1人のユーザと関連付けられた少なくとも1つのプロファイルを含んでもよい。
【0163】
したがって、前記少なくとも1つのプロファイルは、前記少なくとも1つの通信装置の少なくとも1人のユーザと関連付けられた少なくとも1つの第1のプロファイルと、前記少なくとも1つの他の通信装置の少なくとも1人の他のユーザと関連付けられた少なくとも1つの第2のプロファイルとを含んでもよい。
【0164】
前記少なくとも1つのプロファイル及び前記フォトリアリスティックなトーキングヘッドのコンテンツと関連付けられた前記少なくとも1つの保存されたブランドは、前記少なくとも1つのプロファイルと関連付けられた少なくとも1つの広告を含んでもよい。
【0165】
前記少なくとも1つのプロファイル及び前記フォトリアリスティックなトーキングヘッドのコンテンツと関連付けられた前記少なくとも1つの保存されたブランドは、前記少なくとも1つの第1のプロファイル及び前記少なくとも1つの第2のプロファイルと関連付けられた少なくとも1つの広告を含んでもよい。
【0166】
前記ブランド関連サーバ装置は、前記少なくとも1つのプロファイルと関連付けられた前記少なくとも1つの保存されたブランドを含んだ少なくとも1つのデータベースを含んでもよい。
【0167】
前記前記フォトリアリスティックなトーキングヘッドのライブラリ作成装置は、制御装置を含み、
前記配置テンプレートは、それぞれ互いに異なるとともに、配置テンプレートの頭部の傾き、配置テンプレートの頭部のうなずき及び配置テンプレートの頭部の回転要素を含む配置テンプレートの頭部の角度位置を有するフォトリアリスティックな人間のトーキングヘッドの配置テンプレートのフレームを表し、
前記配置テンプレートのフレームは、それぞれ互いに異なり、
前記配置テンプレートの頭部の角度位置は、それぞれ互いに異なり、
携帯端末はビデオカメラを備え、
前記フォトリアリスティックなトーキングヘッドのライブラリ作成装置は、前記ビデオカメラを備えた携帯端末を含み、
前記前記フォトリアリスティックなトーキングヘッドのライブラリ作成装置は、ミキサを含み、
前記携帯端末は、前記対象者への表示のためのディスプレイを含み、前記ディスプレイは、前記対象者が前記対象者の頭部の画像を選択された前記配置テンプレートの画像に合わせて容易に配置できるようにされており、
前記フォトリアリスティックなトーキングヘッドのライブラリ作成装置において、前記フォトリアリスティックなトーキングヘッドのライブラリを作成する前記ステップ(a)は、
前記制御装置によって、前記配置テンプレートのライブラリから前記配置テンプレートを選択するステップ、
前記ビデオカメラによって前記対象者の画像を収集するステップ、
前記端末装置によって前記対象者の収集画像を前記ミキサに送信するステップ、
前記ミキサによって、前記対象者の前記収集画像を選択された前記配置テンプレートの画像と前記ミキサにおいて混合し、それにより前記対象者及び選択された前記配置テンプレートの合成画像を作成するステップ、
前記ミキサから、前記合成画像を前記携帯端末に送信するステップ、
対象者の頭部の傾き、対象者の頭部のうなずき、及び対象者の頭部の回転成分を含む対象者の頭部の角度位置を有する前記対象者の前記頭部を、選択された前記配置テンプレートの頭部の画像に合わせて、選択された前記配置テンプレートの頭部の角度位置と実質的に同じ角度位置で、実質的に位置を合わせて配置するステップ、
前記携帯端末によって、前記実質的に位置を合わせて配置された前記対象者の画像を収集するステップ、
前記携帯端末によって、前記実質的に位置を合わせて配置された前記対象者の画像を前記フォトリアリスティックなトーキングヘッドのライブラリ作成サーバ装置へ送信するステップ、を少なくとも含み、
前記フォトリアリスティックなトーキングヘッドのライブラリ作成サーバ装置において前記フォトリアリスティックなトーキングヘッドのライブラリを保存する前記ステップ(b)は、
前記フォトリアリスティックなトーキングヘッドのライブラリ作成サーバ装置によって、前記実質的に位置を合わせて配置された前記対象者の前記画像を、収集画像のライブラリに保存するステップを含み、
前記収集画像のそれぞれは異なる対象者の角度位置を有し、前記対象者の角度位置は、選択された前記配置テンプレートの頭部の角度位置と実質的に同じであり、
保存された前記画像のそれぞれは、フォトリアリスティックな人間のトーキングヘッドの異なるフレームを表す。
【0168】
前記フォトリアリスティックなトーキングヘッドのコンテンツは、フォトリアリスティックなトーキングヘッドのコンテンツ、対象者の発声に同期したフォトリアリスティックなトーキングヘッド、フォトリアリスティックなトーキングヘッド、フォトリアリスティックなトーキングヘッドの少なくとも一部、対象者の動画のふるまいを表現するフォトリアリスティックなトーキングヘッド、対象者の画像の少なくとも1つのフレーム、対象者の画像の少なくとも1つのフレームの少なくとも一部、対象者の画像の複数のフレーム、対象者の画像の少なくとも1つのフレームの複数の部分、対象者の複数の画像の複数のフレームの複数の部分、動画のフォトリアリスティックなトーキングヘッドを表す対象者の複数の画像の複数のフレーム、動画のフォトリアリスティックなトーキングヘッドを表すフォトリアリスティックなトーキングヘッドのライブラリの複数のフレーム、テキスト、少なくとも1つの画像、複数の画像、少なくとも1つの背景画像、複数の背景画像、少なくとも1つの映像、複数の映像、音声、音楽、マルチメディアコンテンツ、及びこれらの1つ以上のあらゆる組み合わせを含むグループからなる。
【0169】
前記フォトリアリスティックなトーキングヘッドのライブラリは、複数の保存画像を含み、前記複数の保存画像のそれぞれの保存画像は、前記フォトリアリスティックなトーキングヘッドのライブラリの対象者の画像の異なるフレームを表し、前記フォトリアリスティックなトーキングヘッドのライブラリ作成装置において、前記フォトリアリスティックなトーキングヘッドのライブラリを作成する前記ステップ(a)は、
前記フォトリアリスティックなトーキングヘッドのライブラリの前記対象者の画像の前記異なるフレームを表す前記複数の保存画像のそれぞれの保存画像を、複数の異なる音素の中の異なる音素に関連付けるステップをさらに含み、
前記フォトリアリスティックなトーキングヘッドのライブラリ作成サーバ装置において前記フォトリアリスティックなトーキングヘッドのライブラリを保存する前記ステップ(b)は、
前記フォトリアリスティックなトーキングヘッドのライブラリ作成サーバ装置において、前記複数の異なる音素の中の前記異なる音素と関連付けられた前記フォトリアリスティックなトーキングヘッドのライブラリの前記対象者の前記画像の前記異なるフレームを表す前記複数の保存画像の中のそれぞれの関連付けられた保存画像の関連を識別する情報を保存するステップ、及び前記複数の異なる音素の中の前記異なる音素を保存するステップ、をさらに含む。
【0170】
前記フォトリアリスティックなトーキングヘッドのライブラリ作成サーバ装置において、前記複数の異なる音素の中の前記異なる音素と関連付けられた前記フォトリアリスティックなトーキングヘッドのライブラリの前記対象者の前記画像の前記異なるフレームを表す前記複数の保存画像の中のそれぞれの関連付けられた保存画像の関連を識別する情報を保存するステップは、
前記フォトリアリスティックなトーキングヘッドのライブラリ作成サーバ装置において、前記複数の異なる音素の中の前記異なる音素と関連付けられた前記フォトリアリスティックなトーキングヘッドのライブラリの前記対象者の前記画像の前記異なるフレームを表す前記複数の保存画像の中のそれぞれの関連付けられた保存画像の関連を識別する情報を少なくとも1つのデータベースに保存するステップを含む。
【0171】
上記に続き、前記フォトリアリスティックなトーキングヘッドのコンテンツ作成装置において、前記フォトリアリスティックなトーキングヘッドのコンテンツを作成する前記ステップ(c)は、
前記フォトリアリスティックなトーキングヘッドのコンテンツ作成装置において、前記対象者の声を表す少なくとも1つの音素を受信するステップ、
前記フォトリアリスティックなトーキングヘッドのコンテンツ作成装置において、前記対象者の声を表す前記少なくとも1つの音素とほぼ適合する、前記フォトリアリスティックなトーキングヘッドのコンテンツ作成装置に保存された複数の異なる音素の中の少なくとも1つの近接適合音素を決定するステップ、
前記フォトリアリスティックなトーキングヘッドのコンテンツ作成装置において、前記少なくとも1つの近接適合音素に対応する少なくとも1つの音素と、前記フォトリアリスティックなトーキングヘッドのライブラリの前記対象者の前記画像の前記異なるフレームを表す前記複数の保存画像の中のそれぞれの関連付けられた保存画像との間の関連を識別する前記情報を取り出すステップ、
前記フォトリアリスティックなトーキングヘッドのコンテンツ作成装置において、前記少なくとも1つの近接適合音素に対応する前記少なくとも1つの音素に対応する前記フォトリアリスティックなトーキングヘッドのライブラリの前記対象者の前記画像の前記異なるフレームを、前記フォトリアリスティックなトーキングヘッドのコンテンツに組み込むステップ、を少なくとも含む。
【0172】
前記フォトリアリスティックなトーキングヘッドのコンテンツ作成装置において、前記フォトリアリスティックなトーキングヘッドのコンテンツを作成する前記ステップ(c)は、
前記フォトリアリスティックなトーキングヘッドのコンテンツ作成装置において、前記対象者の声を表す少なくとも2つの音素を受信するステップ、
前記フォトリアリスティックなトーキングヘッドのコンテンツ作成装置において、前記対象者の声を表す前記少なくとも2つの音素とほぼ適合する、前記フォトリアリスティックなトーキングヘッドのコンテンツ作成装置に保存された複数の異なる音素の中の少なくとも2つの近接適合音素を決定するステップ、
前記フォトリアリスティックなトーキングヘッドのコンテンツ作成装置において、前記少なくとも2つの近接適合音素に対応する少なくとも2つの音素と、前記フォトリアリスティックなトーキングヘッドのライブラリの前記対象者の前記画像の前記異なるフレームを表す前記複数の保存画像の中の少なくとも2つの関連付けられた保存画像との間の関連を識別する情報を取り出すステップ、
前記フォトリアリスティックなトーキングヘッドのコンテンツ作成装置において、前記少なくとも2つの近接適合音素に対応する前記少なくとも2つの音素に対応する前記フォトリアリスティックなトーキングヘッドのライブラリの前記対象者の前記画像の前記異なるフレームを、前記フォトリアリスティックなトーキングヘッドのコンテンツに組み込むステップを少なくとも含んでもよい。
【0173】
上記に続き、前記少なくとも2つの音素は、一連の複数の音素を含んでもよい。
【0174】
前記フォトリアリスティックなトーキングヘッドのライブラリは、複数の保存画像を含み、前記複数の保存画像のそれぞれの保存画像は前記フォトリアリスティックなトーキングヘッドのライブラリの対象者の画像の異なるフレームを表し、前記フォトリアリスティックなトーキングヘッドのライブラリ作成装置において、前記フォトリアリスティックなトーキングヘッドのライブラリを作成する前記ステップ(a)は、
前記フォトリアリスティックなトーキングヘッドのライブラリの前記対象者の画像の前記異なるフレームを表す前記複数の保存画像のそれぞれの保存画像を、複数の異なる音素の中の異なる音素に関連付けるステップをさらに含み、
前記フォトリアリスティックなトーキングヘッドのライブラリ作成サーバ装置において前記フォトリアリスティックなトーキングヘッドのライブラリを保存する前記ステップ(b)は、
前記フォトリアリスティックなトーキングヘッドのライブラリ作成サーバ装置において、前記複数の異なる音素の中の前記異なる音素と関連付けられた前記フォトリアリスティックなトーキングヘッドのライブラリの前記対象者の前記画像の前記異なるフレームを表す複数の保存画像の中の前記それぞれの関連付けられた保存画像の関連を識別する情報を保存するステップ、及び前記複数の異なる音素の中の前記異なる音素を保存するステップ、をさらに含む。
【0175】
上記に続き、前記フォトリアリスティックなトーキングヘッドのコンテンツ作成装置において、前記フォトリアリスティックなトーキングヘッドのコンテンツを作成する前記ステップ(c)は、
前記フォトリアリスティックなトーキングヘッドのコンテンツ作成装置において、対象者の声を表す少なくとも1つの音素を受信するステップ、
前記フォトリアリスティックなトーキングヘッドのコンテンツ作成装置において、前記対象者の声を表す前記少なくとも1つの音素とほぼ適合する、前記フォトリアリスティックなトーキングヘッドのコンテンツ作成装置に保存された複数の異なる音素の中の少なくとも1つの近接適合音素を決定するステップ、
前記フォトリアリスティックなトーキングヘッドのコンテンツ作成装置において、前記少なくとも1つの近接適合音素に対応する少なくとも1つの音素と、前記フォトリアリスティックなトーキングヘッドのライブラリの前記対象者の前記画像の前記異なるフレームを表す前記複数の保存画像の中のそれぞれの関連付けられた保存画像との間の関連を識別する前記情報を取り出すステップ、
前記フォトリアリスティックなトーキングヘッドのコンテンツ作成装置において、前記少なくとも1つの近接適合音素に対応する前記少なくとも1つの音素に対応する前記フォトリアリスティックなトーキングヘッドのライブラリの前記対象者の前記画像の前記異なるフレームを、前記フォトリアリスティックなトーキングヘッドのコンテンツに組み込むステップ、を少なくとも含む。
【0176】
この場合も、前記少なくとも1つのプロファイルは、前記少なくとも1つの通信装置の少なくとも1人のユーザと関連付けられた少なくとも1つのプロファイルを含んでもよい。
【0177】
この場合も、前記少なくとも1つのプロファイルは、前記少なくとも1つの他の通信装置の少なくとも1人のユーザと関連付けられた少なくとも1つのプロファイルを含んでもよい。
【0178】
さらにこの場合も、前記少なくとも1つのプロファイルは、前記少なくとも1つの通信装置の少なくとも1人のユーザと関連付けられた少なくとも1つの第1のプロファイルと、前記少なくとも1つの他の通信装置の少なくとも1人の他のユーザと関連付けられた少なくとも1つの第2のプロファイルとを含んでもよい。
【0179】
さらにこの場合も、前記少なくとも1つのプロファイル及び前記フォトリアリスティックなトーキングヘッドのコンテンツと関連付けられた前記少なくとも1つの保存されたブランドは、前記少なくとも1つのプロファイルと関連付けられた少なくとも1つの広告を含む。
【0180】
上記に続き、前記少なくとも1つのプロファイル及び前記フォトリアリスティックなトーキングヘッドのコンテンツと関連付けられた前記少なくとも1つの保存されたブランドは、前記少なくとも1つの第1のプロファイル及び前記少なくとも1つの第2のプロファイルと関連付けられた少なくとも1つの広告を含む。
【0181】
上記に続き、前記ブランド関連サーバ装置は、前記少なくとも1つのプロファイルと関連付けられた前記少なくとも1つの保存されたブランドを含む少なくとも1つのデータベースを含む。
【0182】
この場合も、前記フォトリアリスティックなトーキングヘッドのコンテンツ作成装置において、前記フォトリアリスティックなトーキングヘッドのコンテンツを作成する前記ステップ(c)は、
前記フォトリアリスティックなトーキングヘッドのコンテンツ作成装置において、対象者の声を表す少なくとも2つの音素を受信するステップ、
前記フォトリアリスティックなトーキングヘッドのコンテンツ作成装置において、前記対象者の声を表す前記少なくとも2つの音素とほぼ適合する、前記フォトリアリスティックなトーキングヘッドのコンテンツ作成装置に保存された複数の異なる音素の中の少なくとも2つの近接適合音素を決定するステップ、
前記フォトリアリスティックなトーキングヘッドのコンテンツ作成装置において、前記少なくとも2つの近接適合音素に対応する少なくとも2つの音素と、前記フォトリアリスティックなトーキングヘッドのライブラリの前記対象者の前記画像の前記異なるフレームを表す前記複数の保存画像の中の少なくとも2つ関連付けられた保存画像との間の関連を識別する情報を取り出すステップ、
前記フォトリアリスティックなトーキングヘッドのコンテンツ作成装置において、前記少なくとも2つの近接適合音素に対応する前記少なくとも2つの音素に対応する前記フォトリアリスティックなトーキングヘッドのライブラリの前記対象者の前記画像の前記異なるフレームを、前記フォトリアリスティックなトーキングヘッドのコンテンツに組み込むステップを少なくとも含んでもよい。
【0183】
特定の好ましい態様を参照して本発明を非常に詳細に説明したが、他の態様も可能である。したがって、添付の請求の範囲の精神及び範囲は、本明細書中に含まれる好ましい特定の型の説明に限定されるものではない。

【特許請求の範囲】
【請求項1】
フォトリアリスティックなトーキングヘッドのライブラリを作成し、フォトリアリスティックなトーキングヘッドのコンテンツを作成し、ブランディングをコンテンツに挿入し、及びブランディングを含むコンテンツを分散型ネットワーク上で少なくとも1つの通信装置から少なくとも1つの他の通信装置へ流通するためのフォトリアリスティックなトーキングヘッドシステムを含むハードウェア装置において実行する処理であって、
前記フォトリアリスティックなトーキングヘッドシステムは、フォトリアリスティックなトーキングヘッドのライブラリ作成装置、フォトリアリスティックなトーキングヘッドのライブラリ作成サーバ装置、フォトリアリスティックなトーキングヘッドのコンテンツ作成装置、フォトリアリスティックなトーキングヘッドのコンテンツ作成サーバ装置、ブランド関連サーバ装置、及びコンテンツ流通サーバ装置を含み、
前記処理は、
(a)前記フォトリアリスティックなトーキングヘッドのライブラリ作成装置において、フォトリアリスティックなトーキングヘッドのライブラリを作成するステップ、
(b)前記フォトリアリスティックなトーキングヘッドのライブラリ作成サーバ装置において、前記フォトリアリスティックなトーキングヘッドのライブラリを保存するステップ、
(c)前記フォトリアリスティックなトーキングヘッドのコンテンツ作成装置において、前記フォトリアリスティックなトーキングヘッドのコンテンツを作成するステップ、
(d)前記フォトリアリスティックなトーキングヘッドのコンテンツ作成サーバ装置において、前記フォトリアリスティックなトーキングヘッドのコンテンツを保存するステップ、
(e)前記フォトリアリスティックなトーキングヘッドのコンテンツ作成装置において、少なくとも1つのプロファイルを作成するステップ、
(f)前記ブランド関連サーバ装置において、前記少なくとも1つのプロファイルを前記フォトリアリスティックなトーキングヘッドのコンテンツと相互に関連付けするステップ、
(g)前記ブランド関連サーバ装置において、前記少なくとも1つのプロファイル、及び前記少なくとも1つのプロファイルと前記フォトリアリスティックなトーキングヘッドのコンテンツとの間の関連を識別する情報を保存するステップ、
(h)前記フォトリアリスティックなトーキングヘッドシステムにおいて、保存した前記フォトリアリスティックなトーキングヘッドのコンテンツを前記少なくとも1つの他の通信装置へ送信する少なくとも1つの指示を、前記少なくとも1つの通信装置から受信するステップ、
(i)前記フォトリアリスティックなトーキングヘッドのコンテンツ作成サーバ装置において、前記フォトリアリスティックなトーキングヘッドのコンテンツを取り出すステップ、
(j)前記ブランド関連サーバ装置において、前記少なくとも1つのプロファイル及び前記フォトリアリスティックなトーキングヘッドのコンテンツとの間の関連を識別する情報を取り出すと共に、前記少なくとも1つのプロファイルを取り出すステップ、
(k)前記ブランド関連サーバ装置において、前記少なくとも1つのプロファイルと関連付けられた少なくとも1つの保存されたブランドを取り出すステップ、
(l)前記フォトリアリスティックなトーキングヘッドのコンテンツ作成サーバ装置において、前記少なくとも1つのプロファイル及び前記フォトリアリスティックなトーキングヘッドのコンテンツと関連付けられた前記少なくとも1つの保存されたブランドを、前記フォトリアリスティックなトーキングヘッドのコンテンツに組み込むステップ、
(m)フォトリアリスティックなトーキングヘッドの前記コンテンツ流通サーバ装置から、前記少なくとも1つのプロファイル及び前記フォトリアリスティックなトーキングヘッドのコンテンツと関連付けられた前記少なくとも1つの保存されたブランドを含むフォトリアリスティックなトーキングヘッドのコンテンツを、前記少なくとも1つの他の通信装置へ送信するステップ、を含むハードウェア装置において実行する処理。
【請求項2】
前記少なくとも1つのプロファイルは、前記少なくとも1つの通信装置の少なくとも1人のユーザと関連付けられた少なくとも1つのプロファイルを含む、請求項1に記載のハードウェア装置において実行する処理。
【請求項3】
前記少なくとも1つのプロファイルは、前記少なくとも1つの他の通信装置の少なくとも1人のユーザと関連付けられた少なくとも1つのプロファイルを含む、請求項1に記載のハードウェア装置において実行する処理。
【請求項4】
前記少なくとも1つのプロファイルは、前記少なくとも1つの通信装置の少なくとも1人のユーザと関連付けられた少なくとも1つの第1のプロファイルと、前記少なくとも1つの他の通信装置の少なくとも1人の他のユーザと関連付けられた少なくとも1つの第2のプロファイルとを含む、請求項1に記載のハードウェア装置において実行する処理。
【請求項5】
前記少なくとも1つのプロファイル及び前記フォトリアリスティックなトーキングヘッドのコンテンツと関連付けられた前記少なくとも1つの保存されたブランドは、前記少なくとも1つのプロファイルと関連付けられた少なくとも1つの広告を含む、請求項1に記載のハードウェア装置において実行する処理。
【請求項6】
前記少なくとも1つのプロファイル及び前記フォトリアリスティックなトーキングヘッドのコンテンツと関連付けられた前記少なくとも1つの保存されたブランドは、前記少なくとも1つの第1のプロファイル及び前記少なくとも1つの第2のプロファイルと関連付けられた少なくとも1つの広告を含む、請求項5に記載のハードウェア装置において実行する処理。
【請求項7】
前記ブランド関連サーバ装置は、前記少なくとも1つのプロファイルと関連付けられた前記少なくとも1つの保存されたブランドを含んだ少なくとも1つのデータベースを含む、請求項1に記載のハードウェア装置において実行する処理。
【請求項8】
前記前記フォトリアリスティックなトーキングヘッドのライブラリ作成装置は、制御装置を含み、
前記配置テンプレートは、それぞれ互いに異なるとともに、配置テンプレートの頭部の傾き、配置テンプレートの頭部のうなずき及び配置テンプレートの頭部の回転要素を含む配置テンプレートの頭部の角度位置を有するフォトリアリスティックな人間のトーキングヘッドの配置テンプレートのフレームを表し、
前記配置テンプレートのフレームは、それぞれ互いに異なり、
前記配置テンプレートの頭部の角度位置は、それぞれ互いに異なり、
携帯端末はビデオカメラを備え、
前記フォトリアリスティックなトーキングヘッドのライブラリ作成装置は、前記ビデオカメラを備えた携帯端末を含み、
前記前記フォトリアリスティックなトーキングヘッドのライブラリ作成装置は、ミキサを含み、
前記携帯端末は、前記対象者への表示のためのディスプレイを含み、前記ディスプレイは、前記対象者が前記対象者の頭部の画像を選択された前記配置テンプレートの画像に合わせて容易に配置できるようにされており、
前記フォトリアリスティックなトーキングヘッドのライブラリ作成装置において、前記フォトリアリスティックなトーキングヘッドのライブラリを作成する前記ステップ(a)は、
前記制御装置によって、前記配置テンプレートのライブラリから前記配置テンプレートを選択するステップ、
前記ビデオカメラによって前記対象者の画像を収集するステップ、
前記端末装置によって前記対象者の収集画像を前記ミキサに送信するステップ、
前記ミキサによって、前記対象者の前記収集画像を選択された前記配置テンプレートの画像と前記ミキサにおいて混合し、それにより前記対象者及び選択された前記配置テンプレートの合成画像を作成するステップ、
前記ミキサから、前記合成画像を前記携帯端末に送信するステップ、
対象者の頭部の傾き、対象者の頭部のうなずき、及び対象者の頭部の回転成分を含む対象者の頭部の角度位置を有する前記対象者の前記頭部を、選択された前記配置テンプレートの頭部の画像に合わせて、選択された前記配置テンプレートの頭部の角度位置と実質的に同じ角度位置で、実質的に位置を合わせて配置するステップ、
前記携帯端末によって、前記実質的に位置を合わせて配置された前記対象者の画像を収集するステップ、
前記携帯端末によって、前記実質的に位置を合わせて配置された前記対象者の画像を前記フォトリアリスティックなトーキングヘッドのライブラリ作成サーバ装置へ送信するステップ、を少なくとも含み、
前記フォトリアリスティックなトーキングヘッドのライブラリ作成サーバ装置において前記フォトリアリスティックなトーキングヘッドのライブラリを保存する前記ステップ(b)は、
前記フォトリアリスティックなトーキングヘッドのライブラリ作成サーバ装置によって、前記実質的に位置を合わせて配置された前記対象者の前記画像を、収集画像のライブラリに保存するステップを含み、
前記収集画像のそれぞれは異なる対象者の角度位置を有し、前記対象者の角度位置は、選択された前記配置テンプレートの頭部の角度位置と実質的に同じであり、
保存された前記画像のそれぞれは、フォトリアリスティックな人間のトーキングヘッドの異なるフレームを表す、請求項1に記載のハードウェア装置において実行する処理。
【請求項9】
前記フォトリアリスティックなトーキングヘッドのコンテンツは、フォトリアリスティックなトーキングヘッドのコンテンツ、対象者の発声に同期したフォトリアリスティックなトーキングヘッド、フォトリアリスティックなトーキングヘッド、フォトリアリスティックなトーキングヘッドの少なくとも一部、対象者の動画のふるまいを表現するフォトリアリスティックなトーキングヘッド、対象者の画像の少なくとも1つのフレーム、対象者の画像の少なくとも1つのフレームの少なくとも一部、対象者の画像の複数のフレーム、対象者の画像の少なくとも1つのフレームの複数の部分、対象者の複数の画像の複数のフレームの複数の部分、動画のフォトリアリスティックなトーキングヘッドを表す対象者の複数の画像の複数のフレーム、動画のフォトリアリスティックなトーキングヘッドを表すフォトリアリスティックなトーキングヘッドのライブラリの複数のフレーム、テキスト、少なくとも1つの画像、複数の画像、少なくとも1つの背景画像、複数の背景画像、少なくとも1つの映像、複数の映像、音声、音楽、マルチメディアコンテンツ、及びこれらの1つ以上のあらゆる組み合わせを含むグループからなる、請求項1に記載のハードウェア装置において実行する処理。
【請求項10】
前記フォトリアリスティックなトーキングヘッドのライブラリは、複数の保存画像を含み、前記複数の保存画像のそれぞれの保存画像は、前記フォトリアリスティックなトーキングヘッドのライブラリの前記対象者の画像の異なるフレームを表し、前記フォトリアリスティックなトーキングヘッドのライブラリ作成装置において、前記フォトリアリスティックなトーキングヘッドのライブラリを作成する前記ステップ(a)は、
前記フォトリアリスティックなトーキングヘッドのライブラリの前記対象者の画像の前記異なるフレームを表す前記複数の保存画像のそれぞれの保存画像を、複数の異なる音素の中の異なる音素に関連付けるステップをさらに含み、
前記フォトリアリスティックなトーキングヘッドのライブラリ作成サーバ装置において前記フォトリアリスティックなトーキングヘッドのライブラリを保存する前記ステップ(b)は、
前記フォトリアリスティックなトーキングヘッドのライブラリ作成サーバ装置において、前記複数の異なる音素の中の前記異なる音素と関連付けられた前記フォトリアリスティックなトーキングヘッドのライブラリの前記対象者の前記画像の前記異なるフレームを表す前記複数の保存画像の中のそれぞれの関連付けられた保存画像の関連を識別する情報を保存するステップ、及び前記複数の異なる音素の中の前記異なる音素を保存するステップ、をさらに含む、請求項1に記載のハードウェア装置において実行する処理。
【請求項11】
前記フォトリアリスティックなトーキングヘッドのライブラリ作成サーバ装置において、前記複数の異なる音素の中の前記異なる音素と関連付けられた前記フォトリアリスティックなトーキングヘッドのライブラリの前記対象者の前記画像の前記異なるフレームを表す前記複数の保存画像の中のそれぞれの関連付けられた保存画像の関連を識別する情報を保存するステップは、
前記フォトリアリスティックなトーキングヘッドのライブラリ作成サーバ装置において、前記複数の異なる音素の中の前記異なる音素と関連付けられた前記フォトリアリスティックなトーキングヘッドのライブラリの前記対象者の前記画像の前記異なるフレームを表す前記複数の保存画像の中のそれぞれの関連付けられた保存画像の関連を識別する情報を少なくとも1つのデータベースに保存するステップを含む、請求項10に記載のハードウェア装置において実行する処理。
【請求項12】
前記フォトリアリスティックなトーキングヘッドのコンテンツ作成装置において、前記フォトリアリスティックなトーキングヘッドのコンテンツを作成する前記ステップ(c)は、
前記フォトリアリスティックなトーキングヘッドのコンテンツ作成装置において、前記対象者の声を表す少なくとも1つの音素を受信するステップ、
前記フォトリアリスティックなトーキングヘッドのコンテンツ作成装置において、前記対象者の声を表す前記少なくとも1つの音素とほぼ適合する、前記フォトリアリスティックなトーキングヘッドのコンテンツ作成装置に保存された複数の異なる音素の中の少なくとも1つの近接適合音素を決定するステップ、
前記フォトリアリスティックなトーキングヘッドのコンテンツ作成装置において、前記少なくとも1つの近接適合音素に対応する少なくとも1つの音素と、前記フォトリアリスティックなトーキングヘッドのライブラリの前記対象者の前記画像の前記異なるフレームを表す前記複数の保存画像の中のそれぞれの関連付けられた保存画像との間の関連を識別する前記情報を取り出すステップ、
前記フォトリアリスティックなトーキングヘッドのコンテンツ作成装置において、前記少なくとも1つの近接適合音素に対応する前記少なくとも1つの音素に対応する前記フォトリアリスティックなトーキングヘッドのライブラリの前記対象者の前記画像の前記異なるフレームを、前記フォトリアリスティックなトーキングヘッドのコンテンツに組み込むステップ、を少なくとも含む、請求項10に記載のハードウェア装置において実行する処理。
【請求項13】
前記フォトリアリスティックなトーキングヘッドのコンテンツ作成装置において、前記フォトリアリスティックなトーキングヘッドのコンテンツを作成する前記ステップ(c)は、
前記フォトリアリスティックなトーキングヘッドのコンテンツ作成装置において、前記対象者の声を表す少なくとも2つの音素を受信するステップ、
前記フォトリアリスティックなトーキングヘッドのコンテンツ作成装置において、前記対象者の声を表す前記少なくとも2つの音素とほぼ適合する、前記フォトリアリスティックなトーキングヘッドのコンテンツ作成装置に保存された複数の異なる音素の中の少なくとも2つの近接適合音素を決定するステップ、
前記フォトリアリスティックなトーキングヘッドのコンテンツ作成装置において、前記少なくとも2つの近接適合音素に対応する少なくとも2つの音素と、前記フォトリアリスティックなトーキングヘッドのライブラリの前記対象者の前記画像の前記異なるフレームを表す前記複数の保存画像の中の少なくとも2つの関連付けられた保存画像との間の関連を識別する情報を取り出すステップ、
前記フォトリアリスティックなトーキングヘッドのコンテンツ作成装置において、前記少なくとも2つの近接適合音素に対応する前記少なくとも2つの音素に対応する前記フォトリアリスティックなトーキングヘッドのライブラリの前記対象者の前記画像の前記異なるフレームを、前記フォトリアリスティックなトーキングヘッドのコンテンツに組み込むステップを少なくとも含む、請求項10に記載のハードウェア装置において実行する処理。
【請求項14】
前記少なくとも2つの音素は、一連の複数の音素を含む、請求項13に記載のハードウェア装置において実行する処理。
【請求項15】
前記フォトリアリスティックなトーキングヘッドのライブラリは、複数の保存画像を含み、前記複数の保存画像のそれぞれの保存画像は前記フォトリアリスティックなトーキングヘッドのライブラリの対象者の画像の異なるフレームを表し、前記フォトリアリスティックなトーキングヘッドのライブラリ作成装置において、前記フォトリアリスティックなトーキングヘッドのライブラリを作成する前記ステップ(a)は、
前記フォトリアリスティックなトーキングヘッドのライブラリの前記対象者の画像の前記異なるフレームを表す前記複数の保存画像のそれぞれの保存画像を、複数の異なる音素の中の異なる音素に関連付けるステップをさらに含み、
前記フォトリアリスティックなトーキングヘッドのライブラリ作成サーバ装置において前記フォトリアリスティックなトーキングヘッドのライブラリを保存する前記ステップ(b)は、
前記フォトリアリスティックなトーキングヘッドのライブラリ作成サーバ装置において、前記複数の異なる音素の中の前記異なる音素と関連付けられた前記フォトリアリスティックなトーキングヘッドのライブラリの前記対象者の前記画像の前記異なるフレームを表す複数の保存画像の中の前記それぞれの関連付けられた保存画像の関連を識別する情報を保存するステップ、及び前記複数の異なる音素の中の前記異なる音素を保存するステップ、をさらに含む、請求項8に記載のハードウェア装置において実行する処理。
【請求項16】
前記フォトリアリスティックなトーキングヘッドのコンテンツ作成装置において、前記フォトリアリスティックなトーキングヘッドのコンテンツを作成する前記ステップ(c)は、
前記フォトリアリスティックなトーキングヘッドのコンテンツ作成装置において、対象者の声を表す少なくとも1つの音素を受信するステップ、
前記フォトリアリスティックなトーキングヘッドのコンテンツ作成装置において、前記対象者の声を表す前記少なくとも1つの音素とほぼ適合する、前記フォトリアリスティックなトーキングヘッドのコンテンツ作成装置に保存された複数の異なる音素の中の少なくとも1つの近接適合音素を決定するステップ、
前記フォトリアリスティックなトーキングヘッドのコンテンツ作成装置において、前記少なくとも1つの近接適合音素に対応する少なくとも1つの音素と、前記フォトリアリスティックなトーキングヘッドのライブラリの前記対象者の前記画像の前記異なるフレームを表す前記複数の保存画像の中のそれぞれの関連付けられた保存画像との間の関連を識別する前記情報を取り出すステップ、
前記フォトリアリスティックなトーキングヘッドのコンテンツ作成装置において、前記少なくとも1つの近接適合音素に対応する前記少なくとも1つの音素に対応する前記フォトリアリスティックなトーキングヘッドのライブラリの前記対象者の前記画像の前記異なるフレームを、前記フォトリアリスティックなトーキングヘッドのコンテンツに組み込むステップ、を少なくとも含む、請求項15に記載のハードウェア装置において実行する処理。
【請求項17】
前記少なくとも1つのプロファイルは、前記少なくとも1つの通信装置の少なくとも1人のユーザと関連付けられた少なくとも1つのプロファイルを含む、請求項16に記載のハードウェア装置において実行する処理。
【請求項18】
前記少なくとも1つのプロファイルは、前記少なくとも1つの他の通信装置の少なくとも1人のユーザと関連付けられた少なくとも1つのプロファイルを含む、請求項16に記載のハードウェア装置において実行する処理。
【請求項19】
前記少なくとも1つのプロファイルは、前記少なくとも1つの通信装置の少なくとも1人のユーザと関連付けられた少なくとも1つの第1のプロファイルと、前記少なくとも1つの他の通信装置の少なくとも1人の他のユーザと関連付けられた少なくとも1つの第2のプロファイルとを含む、請求項16に記載のハードウェア装置において実行する処理。
【請求項20】
前記少なくとも1つのプロファイル及び前記フォトリアリスティックなトーキングヘッドのコンテンツと関連付けられた前記少なくとも1つの保存されたブランドは、前記少なくとも1つのプロファイルと関連付けられた少なくとも1つの広告を含む、請求項16に記載のハードウェア装置において実行する処理。
【請求項21】
前記少なくとも1つのプロファイル及び前記フォトリアリスティックなトーキングヘッドのコンテンツと関連付けられた前記少なくとも1つの保存されたブランドは、前記少なくとも1つの第1のプロファイル及び前記少なくとも1つの第2のプロファイルと関連付けられた少なくとも1つの広告を含む、請求項20に記載のハードウェア装置において実行する処理。
【請求項22】
前記ブランド関連サーバ装置は、前記少なくとも1つのプロファイルと関連付けられた前記少なくとも1つの保存されたブランドを含む少なくとも1つのデータベースを含む、請求項16に記載のハードウェア装置において実行する処理。
【請求項23】
前記フォトリアリスティックなトーキングヘッドのコンテンツ作成装置において、前記フォトリアリスティックなトーキングヘッドのコンテンツを作成する前記ステップ(c)は、
前記フォトリアリスティックなトーキングヘッドのコンテンツ作成装置において、対象者の声を表す少なくとも2つの音素を受信するステップ、
前記フォトリアリスティックなトーキングヘッドのコンテンツ作成装置において、前記対象者の声を表す前記少なくとも2つの音素とほぼ適合する、前記フォトリアリスティックなトーキングヘッドのコンテンツ作成装置に保存された複数の異なる音素の中の少なくとも2つの近接適合音素を決定するステップ、
前記フォトリアリスティックなトーキングヘッドのコンテンツ作成装置において、前記少なくとも2つの近接適合音素に対応する少なくとも2つの音素と、前記フォトリアリスティックなトーキングヘッドのライブラリの前記対象者の前記画像の前記異なるフレームを表す前記複数の保存画像の中の少なくとも2つ関連付けられた保存画像との間の関連を識別する情報を取り出すステップ、
前記フォトリアリスティックなトーキングヘッドのコンテンツ作成装置において、前記少なくとも2つの近接適合音素に対応する前記少なくとも2つの音素に対応する前記フォトリアリスティックなトーキングヘッドのライブラリの前記対象者の前記画像の前記異なるフレームを、前記フォトリアリスティックなトーキングヘッドのコンテンツに組み込むステップを少なくとも含む、請求項15に記載のハードウェア装置において実行する処理。
【請求項24】
フォトリアリスティックなトーキングヘッドのライブラリを作成し、フォトリアリスティックなトーキングヘッドのコンテンツを作成し、ブランディングをコンテンツに挿入し、及びブランディングを含むコンテンツを分散型ネットワーク上で少なくとも1つの通信装置から少なくとも1つの他の通信装置へ流通するためのフォトリアリスティックなトーキングヘッドシステムを含むハードウェアシステムであって、
前記フォトリアリスティックなトーキングヘッドシステムは、フォトリアリスティックなトーキングヘッドのライブラリ作成装置、フォトリアリスティックなトーキングヘッドのライブラリ作成サーバ装置、フォトリアリスティックなトーキングヘッドのコンテンツ作成装置、フォトリアリスティックなトーキングヘッドのコンテンツ作成サーバ装置、ブランド関連サーバ装置、及びコンテンツ流通サーバ装置を含み、
前記ハードウェアシステムは、
(a)前記フォトリアリスティックなトーキングヘッドのライブラリ作成装置において、フォトリアリスティックなトーキングヘッドのライブラリを作成する手段、
(b)前記フォトリアリスティックなトーキングヘッドのライブラリ作成サーバ装置において、前記フォトリアリスティックなトーキングヘッドのライブラリを保存する手段、
(c)前記フォトリアリスティックなトーキングヘッドのコンテンツ作成装置において、前記フォトリアリスティックなトーキングヘッドのコンテンツを作成する手段、
(d)前記フォトリアリスティックなトーキングヘッドのコンテンツ作成サーバ装置において、前記フォトリアリスティックなトーキングヘッドのコンテンツを保存する手段、
(e)前記フォトリアリスティックなトーキングヘッドのコンテンツ作成装置において、少なくとも1つのプロファイルを作成する手段、
(f)前記ブランド関連サーバ装置において、前記少なくとも1つのプロファイルを前記フォトリアリスティックなトーキングヘッドのコンテンツと相互に関連付けする手段、
(g)前記ブランド関連サーバ装置において、前記少なくとも1つのプロファイル、及び前記少なくとも1つのプロファイルと前記フォトリアリスティックなトーキングヘッドのコンテンツとの間の関連を識別する情報を保存する手段、
(h)前記フォトリアリスティックなトーキングヘッドシステムにおいて、保存した前記フォトリアリスティックなトーキングヘッドのコンテンツを前記少なくとも1つの他の通信装置へ送信する少なくとも1つの指示を、前記少なくとも1つの通信装置から受信する手段、
(i)前記フォトリアリスティックなトーキングヘッドのコンテンツ作成サーバ装置において、前記フォトリアリスティックなトーキングヘッドのコンテンツを取り出す手段、
(j)前記ブランド関連サーバ装置において、前記少なくとも1つのプロファイル及び前記フォトリアリスティックなトーキングヘッドのコンテンツとの間の関連を識別する情報を取り出すと共に、前記少なくとも1つのプロファイルを取り出す手段、
(k)前記ブランド関連サーバ装置において、前記少なくとも1つのプロファイルと関連付けられた少なくとも1つの保存されたブランドを取り出す手段、
(l)前記フォトリアリスティックなトーキングヘッドのコンテンツ作成サーバ装置において、前記少なくとも1つのプロファイル及び前記フォトリアリスティックなトーキングヘッドのコンテンツと関連付けられた前記少なくとも1つの保存されたブランドを、前記フォトリアリスティックなトーキングヘッドのコンテンツに組み込む手段、
(m)フォトリアリスティックなトーキングヘッドの前記コンテンツ流通サーバ装置から、前記少なくとも1つのプロファイル及び前記フォトリアリスティックなトーキングヘッドのコンテンツと関連付けられた前記少なくとも1つの保存されたブランドを含むフォトリアリスティックなトーキングヘッドのコンテンツを、前記少なくとも1つの他の通信装置へ送信する手段、を含むハードウェアシステム。
【請求項25】
フォトリアリスティックなトーキングヘッドのライブラリを作成し、フォトリアリスティックなトーキングヘッドのコンテンツを作成し、ブランディングをコンテンツに挿入し、及びブランディングを含むコンテンツを分散型ネットワーク上で少なくとも1つの通信装置から少なくとも1つの他の通信装置へ流通するためのコンピュータ実行可能な命令が入ったフォトリアリスティックなトーキングヘッドシステムを含むコンピュータハードウェア読み込み可能な記憶媒体であって、
前記フォトリアリスティックなトーキングヘッドシステムは、フォトリアリスティックなトーキングヘッドのライブラリ作成装置、フォトリアリスティックなトーキングヘッドのライブラリ作成サーバ装置、フォトリアリスティックなトーキングヘッドのコンテンツ作成装置、フォトリアリスティックなトーキングヘッドのコンテンツ作成サーバ装置、ブランド関連サーバ装置、及びコンテンツ流通サーバ装置を含み、
1つ以上のコンピュータに、
(a)前記フォトリアリスティックなトーキングヘッドのライブラリ作成装置において、フォトリアリスティックなトーキングヘッドのライブラリを作成させ、
(b)前記フォトリアリスティックなトーキングヘッドのライブラリ作成サーバ装置において、前記フォトリアリスティックなトーキングヘッドのライブラリを保存させ、
(c)前記フォトリアリスティックなトーキングヘッドのコンテンツ作成装置において、前記フォトリアリスティックなトーキングヘッドのコンテンツを作成させ、
(d)前記フォトリアリスティックなトーキングヘッドのコンテンツ作成サーバ装置において、前記フォトリアリスティックなトーキングヘッドのコンテンツを保存させ、
(e)前記フォトリアリスティックなトーキングヘッドのコンテンツ作成装置において、少なくとも1つのプロファイルを作成させ、
(f)前記ブランド関連サーバ装置において、前記少なくとも1つのプロファイルを前記フォトリアリスティックなトーキングヘッドのコンテンツと相互に関連付けさせ、
(g)前記ブランド関連サーバ装置において、前記少なくとも1つのプロファイル、及び前記少なくとも1つのプロファイルと前記フォトリアリスティックなトーキングヘッドのコンテンツとの間の関連を識別する情報を保存させ、
(h)前記フォトリアリスティックなトーキングヘッドシステムにおいて、保存した前記フォトリアリスティックなトーキングヘッドのコンテンツを前記少なくとも1つの他の通信装置へ送信する少なくとも1つの指示を、前記少なくとも1つの通信装置から受信させ、
(i)前記フォトリアリスティックなトーキングヘッドのコンテンツ作成サーバ装置において、前記フォトリアリスティックなトーキングヘッドのコンテンツを取り出させ、
(j)前記ブランド関連サーバ装置において、前記少なくとも1つのプロファイル及び前記フォトリアリスティックなトーキングヘッドのコンテンツとの間の関連を識別する情報を取り出させると共に、前記少なくとも1つのプロファイルを取り出させ、
(k)前記ブランド関連サーバ装置において、前記少なくとも1つのプロファイルと関連付けられた少なくとも1つの保存されたブランドを取り出させ、
(l)前記フォトリアリスティックなトーキングヘッドのコンテンツ作成サーバ装置において、前記少なくとも1つのプロファイル及び前記フォトリアリスティックなトーキングヘッドのコンテンツと関連付けられた前記少なくとも1つの保存されたブランドを、前記フォトリアリスティックなトーキングヘッドのコンテンツに組み込ませ、
(m)フォトリアリスティックなトーキングヘッドの前記コンテンツ流通サーバ装置から、前記少なくとも1つのプロファイル及び前記フォトリアリスティックなトーキングヘッドのコンテンツと関連付けられた前記少なくとも1つの保存されたブランドを含むフォトリアリスティックなトーキングヘッドのコンテンツを、前記少なくとも1つの他の通信装置へ送信させる、コンピュータ実行可能な命令が入ったフォトリアリスティックなトーキングヘッドシステムを含むコンピュータハードウェア読み込み可能な記憶媒体。
【請求項26】
フォトリアリスティックなトーキングヘッドのライブラリを作成し、フォトリアリスティックなトーキングヘッドのコンテンツを作成し、ブランディングをコンテンツに挿入し、及びブランディングを含むコンテンツを分散型ネットワーク上で少なくとも1つの通信装置から少なくとも1つの他の通信装置へ流通するためのフォトリアリスティックなトーキングヘッドシステムを含むハードウェア装置であって、
前記フォトリアリスティックなトーキングヘッドシステムは、フォトリアリスティックなトーキングヘッドのライブラリ作成装置、フォトリアリスティックなトーキングヘッドのライブラリ作成サーバ装置、フォトリアリスティックなトーキングヘッドのコンテンツ作成装置、フォトリアリスティックなトーキングヘッドのコンテンツ作成サーバ装置、ブランド関連サーバ装置、及びコンテンツ流通サーバ装置を含み、
前記ハードウェア装置は、
(a)前記フォトリアリスティックなトーキングヘッドのライブラリ作成装置においてフォトリアリスティックなトーキングヘッドのライブラリを作成する、フォトリアリスティックなトーキングヘッドのライブラリ作成部、
(b)前記フォトリアリスティックなトーキングヘッドのライブラリ作成サーバ装置において前記フォトリアリスティックなトーキングヘッドのライブラリを保存する、フォトリアリスティックなトーキングヘッドのライブラリ保存部、
(c)前記フォトリアリスティックなトーキングヘッドのコンテンツ作成装置において前記フォトリアリスティックなトーキングヘッドのコンテンツを作成する、フォトリアリスティックなトーキングヘッドのコンテンツ作成部、
(d)前記フォトリアリスティックなトーキングヘッドのコンテンツ作成サーバ装置において前記フォトリアリスティックなトーキングヘッドのコンテンツを保存する、フォトリアリスティックなトーキングヘッドの保存部、
(e)前記フォトリアリスティックなトーキングヘッドのコンテンツ作成装置において少なくとも1つのプロファイルを作成する、フォトリアリスティックなトーキングヘッドのプロファイル作成部、
(f)前記ブランド関連サーバ装置において前記少なくとも1つのプロファイルを前記フォトリアリスティックなトーキングヘッドのコンテンツと相互に関連付けする関連付け部、
(g)前記ブランド関連サーバ装置において前記少なくとも1つのプロファイル、及び前記少なくとも1つのプロファイルと前記フォトリアリスティックなトーキングヘッドのコンテンツとの間の関連を識別する情報を保存するブランド挿入保存部、
(h)前記フォトリアリスティックなトーキングヘッドシステムにおいて保存した前記フォトリアリスティックなトーキングヘッドのコンテンツを前記少なくとも1つの他の通信装置へ送信する少なくとも1つの指示を前記少なくとも1つの通信装置から受信する受信部、
(i)前記フォトリアリスティックなトーキングヘッドのコンテンツ作成サーバ装置において前記フォトリアリスティックなトーキングヘッドのコンテンツを取り出す、フォトリアリスティックなトーキングヘッドのコンテンツ取り出し部、
(j)前記ブランド関連サーバ装置において前記少なくとも1つのプロファイル及び前記フォトリアリスティックなトーキングヘッドのコンテンツとの間の関連を識別する情報を取り出すと共に、前記少なくとも1つのプロファイルを取り出すブランド関連取り出し部、
(k)前記ブランド関連サーバ装置において前記少なくとも1つのプロファイルと関連付けられた少なくとも1つの保存されたブランドを取り出すブランド取り出し部、
(l)前記フォトリアリスティックなトーキングヘッドのコンテンツ作成サーバ装置において前記少なくとも1つのプロファイル及び前記フォトリアリスティックなトーキングヘッドのコンテンツと関連付けられた前記少なくとも1つの保存されたブランドを前記フォトリアリスティックなトーキングヘッドのコンテンツに組み込む組み込み部、
(m)フォトリアリスティックなトーキングヘッドの前記コンテンツ流通サーバ装置から前記少なくとも1つのプロファイル及び前記フォトリアリスティックなトーキングヘッドのコンテンツと関連付けられた前記少なくとも1つの保存されたブランドを含むフォトリアリスティックなトーキングヘッドのコンテンツを前記少なくとも1つの他の通信装置へ送信する送信部、を含むハードウェア装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18A】
image rotate

【図18B】
image rotate

【図18C】
image rotate

【図19】
image rotate

【図20】
image rotate

【図21】
image rotate

【図22】
image rotate

【図23】
image rotate

【図24】
image rotate

【図25】
image rotate

【図26】
image rotate

【図27】
image rotate

【図28】
image rotate

【図29】
image rotate

【図30】
image rotate

【図31】
image rotate

【図32】
image rotate

【図33】
image rotate

【図34】
image rotate

【図35】
image rotate

【図36】
image rotate

【図37】
image rotate

【図38】
image rotate

【図39】
image rotate

【図40】
image rotate

【図41】
image rotate

【図42】
image rotate

【図43】
image rotate

【図44】
image rotate

【図45】
image rotate

【図46】
image rotate

【図47】
image rotate

【図48】
image rotate

【図49】
image rotate

【図50】
image rotate

【図51】
image rotate

【図52】
image rotate

【図53】
image rotate

【図54】
image rotate

【図55】
image rotate

【図56】
image rotate

【図57】
image rotate

【図58】
image rotate

【図59】
image rotate

【図60】
image rotate

【図61】
image rotate

【図62】
image rotate

【図63】
image rotate

【図64】
image rotate

【図65】
image rotate

【図66】
image rotate

【図67】
image rotate

【図68】
image rotate

【図69】
image rotate

【図70】
image rotate

【図71】
image rotate

【図72】
image rotate

【図73】
image rotate

【図74】
image rotate

【図75】
image rotate

【図76】
image rotate

【図77】
image rotate

【図78】
image rotate

【図79】
image rotate

【図80】
image rotate

【図81】
image rotate

【図82】
image rotate


【公表番号】特表2011−519079(P2011−519079A)
【公表日】平成23年6月30日(2011.6.30)
【国際特許分類】
【出願番号】特願2010−550802(P2010−550802)
【出願日】平成21年3月9日(2009.3.9)
【国際出願番号】PCT/US2009/036586
【国際公開番号】WO2009/114488
【国際公開日】平成21年9月17日(2009.9.17)
【出願人】(510243506)アヴァワークス インコーポレーテッド (1)
【Fターム(参考)】