説明

映像メッセージを合成する方法及びシステム

方法(図1)及びシステム(図2)は、1又はそれ以上のアクション又はコンセプトを伝えるSMS予備的メッセージ34から取り出された高度なMMSメッセージ10を合成する。ユーザ12は、客観的に理にかなったコンテンツに従って包括的に、且つ、ユーザ本位のコンテンツに従って個人的に、意味的に注釈を付されたユーザ取得の映像クリップ20をアーカイブ28に保存する。サービス提供者18は、包括的に意味的に注釈を付されたサービス提供者取得のMMSクリップ20をアーカイブ28に保存する。注釈付記は存在論118に従って達成される。ユーザ12がMMSメッセージ10を受信者16へ送信したい場合に、予備的メッセージ34はサービス提供者18へ送信される。サービス提供者18は、意味的に注釈を付されてアーカイブ28に保存されたクリップを取り出す。クリップは、存在論118に従って、予備的メッセージのアクション又はコンセプトのユーザ選択の態様に整合する。ユーザが、ユーザへ渡されたクリップの最終選択をする場合に、クリップは、お互い及び予備的メッセージに結合され、受信者へ送信される。


【発明の詳細な説明】
【技術分野】
【0001】
本発明は、映像メッセージを合成する方法及びシステムに関する。更に具体的には、本発明は、ユーザによって作られた予備的メッセージと、その予備的メッセージによって伝えられるコンセプト又はアクションに整合する注釈付きの記憶された映像又は他のMMSコンテンツとの結合を含む合成MMSメッセージをユーザが受信者へ送信することに関する。記憶されたコンテンツの一部は、合成を実行する第3のパーティに端を発し、一方、記憶されたコンテンツの他の部分は、ユーザに端を発する。
【背景技術】
【0002】
映像を作成及び編集することは、技術的訓練を受けていない者にとっては困難であり、特に、携帯電話の簡単なユーザインターフェースを用いる者にとっては困難である。更に、大きな映像アーカイブから場面にアクセスし、選択し、構成することは、それらが携帯電話を用いて試みられようとなかろうと、不可能でないならば、平均的な人にとって困難な仕事である。
【0003】
例えば携帯電話のような携帯通信装置の一般的且つ使用頻度の高い機能は、SMS(Short Message Service)メッセージを作成及び送信する能力である。この大衆性及び実用性のための主な理由は、SMSが、例えばコンピュータ電子メールの作成及び送信のような、他の使いやすい標準的な(natural)機能に類似することである。
【0004】
最近、MMS(Multimedia Message Service)機能、即ち、映像及び音声並びに他の構成要素を含むメッセージを作成及び送信する能力を有する携帯電話をユーザへ提供する動きがある。MMS機能を備える装置は、ユーザがその能力に熟知していることが不足しているために、また、平均的な人にとって標準的な機能とは言えないアーカイブの音声−映像材料から場面を作成、編集及び構成することに関する上記困難のために、SMS機能を備える装置のような早期の成功を納めていない、と考えられる。
【0005】
米国公開出願2004/0092250A1は、MMSに基づくフォトアルバム出版システムを開示する。第1の人の電話番号に関連付けられたリッチメディアコンテンツが記憶される。第2の人がMMS携帯装置からMMSメッセージを送信し、そのメッセージが所定のインジケータと、メッセージの宛先としての第1の人の電話番号とを含む場合に、記憶されたリッチメディアコンテンツは、第2の人の携帯MMS装置へ送信される。
【0006】
国際公開出願WO2004/019583A2には、感情アイコン(emoticons)を含むSMSテキストメッセージをMMSメッセージとしての映像コンテンツに結合する通信ネットワーク上でメッセージを送信する方法及びシステムが開示されている。このメッセージは、受信端末へ送信される。SMSメッセージの文字部分及び口話(oral)部分は、合成口話コンテンツに変形される。仮想キャラクタ(アバター)及び背景は、その記憶されたギャラリーから選択され、結合され、所望のシナリオにカスタマイズされる。アバターは合成口話コンテンツを話し、アバターの語強勢及び表情は感情アイコンに関連する。アバターの会話のシナリオは、MMSメッセージとして送信される。
【0007】
欧州特許出願EP1077414A2は、指示されたテキストに関連する画像を有するデータベースから画像を取り出す方法及びシステムを開示する。日本特許英文抄録の公開2002−007415号は、映像コンテンツが取り出されることを除いて、この欧州特許出願に類似すると思われる。米国公開出願2002/0080162A1は、映像から意味的に重要なイベントを自動的に抽出するための方法、特に、特徴的なスローモーション部分を通常動作部分と区別することによって、録画されたスポーツイベントのスローモーション部分のみを識別してダウンロードするための方法を開示する。米国特許6,108,674号は、識別子がテキスト部分に対応する場合に、記憶された意味的に識別された画像をメモリから取り出して表示するよう、テキストを用いることによって、選択された画像を文書テキストに組み入れる機器を開示する。対応する画像のうちの選択されたものは、テキストにペースト(pasted)される。国際公開出願WO99/45483は、画像及び映像検索のための意味的な視覚テンプレートを発生させる方法及びシステムを開示する。
【特許文献1】米国公開出願2004/0092250A1
【特許文献2】国際公開出願WO2004/019583A2
【特許文献3】欧州特許出願EP1077414A2
【特許文献4】特開2002−007415号(公報)
【特許文献5】米国公開出願2002/0080162A1
【特許文献6】米国特許6,108,674号
【特許文献7】国際公開出願WO99/45483
【発明の開示】
【発明が解決しようとする課題】
【0008】
本発明は、創作ツールとしての、例えば携帯電話のような携帯通信装置及び、例えばPCのような他の装置の平均的なユーザにとってより簡便なMMSメッセージの作成を提供することを目的とする。
【課題を解決するための手段】
【0009】
本発明は、3つのエンティティ、即ち、メッセージ送信者(ユーザ)、メッセージ受信者、及びサービス提供者を含む。サービス提供者は、視聴覚コンテンツを含む複数の映像クリップを生成又は取得する。前記クリップは、そのコンテンツに対応する意味的に基づいたタグを付加されることによって注釈を付され、ユーザから遠いアーカイブに記憶される。1よりも多いタグが、1つのクリップに付加されても良い。例えば、キスしている2人の人を示すクリップは、例えば「ラブ」、「キス」、「愛情」及び「ロマンス」などのタグを有しても良い。幾つかの実施例で、ユーザは、また、映像クリップを作成又は取得しても良い。これらのクリップは、同様に注釈を付され、ユーザの近くのアーカイブに又は、サービス提供者とユーザとの間の同意によって、遠くのアーカイブに記憶されうる。ユーザが作成したクリップへ付加された意味的(semantic)タグは、サービス提供者のクリップに付加されたタグに類似しており、通常、ユーザの経験及び知識に基づく付加的なタグを含みうる。例えば、ユーザは、ビデオカメラ又は機能的に類似する装置を用いてクリップを作成し、あるいは、ユーザと他者がキスしているところを示すクリップを友人から取得しても良い。このクリップは、キスしている2人の人を示すサービス提供者のクリップと同様にタグ(即ち、「ラブ」、「キス」などのタグ)を付され、例えば、キスが行われた場所若しくはイベント又はキスをしているカップルの名前などの付加的なタグを含む。このようにして、ユーザのクリップは、例えば「ジョン」、「メアリー」及び「卒業パーティ」などの付加的なタグを含んでも良い。
【0010】
全ての利用可能なクリップのアーカイブは、サービス提供者のクリップ及び注釈を含む(遠くのアーカイブと同一の)第1のサブアーカイブと、ユーザのクリップ及び注釈を含む(近くのアーカイブと同一の)第2のサブアーカイブとを有する。第2のアーカイブ(近くのアーカイブ)がサービス提供者へ送信される場合に、サービス提供者は、例えば「愛情」など、ユーザによって不注意に削除された付加的な関連する一般的な(general)タグを付加することができる。いずれにしても、意味的に注釈を付されたクリップのアーカイブが最終的に作成される。
【0011】
アーカイブの作成後、ユーザは、高度な(smart)MMSメッセージを送信することを望むことがある。このイベントでは、言語に基づく予備的メッセージを、ユーザは送信し、サービス提供者は受信する。この予備的メッセージは、ここでは行為(アクション)、コンセプト、主題、状況、場所、イベント、名前、目的、又は同様の情報を意味する「アクション又はコンセプト」を説明する。ユーザは、メッセージ及びそのアクション又はコンセプトが、指名された受信者へ伝えられることを望む。サービス提供者は、アーカイブ(第1のサブアーカイブ及び第2のサブアーカイブ)から、例えば予備的メッセージで説明されるアクション又はコンセプト、送信者及び/又は受信者の名前、又はイベント若しくは特別な出来事などの予備的メッセージ内の項目に意味的に整合するタグを有するそれらのクリップを取り出す。整合は、簡単なキーワード整合によって、又は、より高度な存在論に基づく整合によって達成可能である。存在論的整合が使用される場合に、存在論はRDF(Resource Descriptive Framework)存在論、XML(Extensible Markup Language)、又は他の適切な存在論であっても良い。整合は、ユーザによる介入を伴わずに達成可能であり、あるいは、ユーザは、SMS予備的メッセージのどの部分が、又はどのタグが、存在論的に重要であるべきかを特定することができる。
【0012】
ユーザの予備的メッセージは、MMSメッセージに含まれるよう意図されたボイスコンテンツを含むか、あるいは、そのようなボイスコンテンツから全体に構成されることが考えられる。このボイスコンテンツは、サービス提供者への簡単なボイスメールメッセージ、又は他の音声コンテンツを含みうる。この場合に、例えばASR(自動音声認識)のような適切な技術が、ボイス録音をSMS形式のテキストに変換するために使用されても良い。これはまた、整合過程でも使用される。予備的メッセージが視聴覚コンテンツを有する場合に、ASR及び/又はAVA(自動映像解析)は、意味的タグの付与及び整合のためのベースを提供するために使用されても良い。
【0013】
サービス提供者によって取り出されたクリップ、又はそのサマリー(summary)は、ユーザへ渡される。ユーザがMMS機能を備えていない場合に、サービス提供者によって作成されたテクスチャサマリーは、SMSコンテンツとしてユーザへ渡される。ユーザがMMS機能を有する場合には、取り出されたクリップ又はそのサマリー(例えば、夫々のクリップからのキーフレーム)のいずれか一方が、MMSコンテンツとしてユーザへ渡される。この点で、ユーザは、クリップの幾つか若しくは全て又はその一部を選択し、あるいは、予備的メッセージの元の意味的なコンテンツに整合する付加的なクリップを取り出すようサービス提供者に指示し、あるいは、関連があるとみなされたその付加的な意味的タグを要求しても良い。
【0014】
最終的に、ユーザがクリップの数及びコンテンツに満足する場合に、ユーザはそれらを識別して選択する。この選択に応答して、サービス提供者は、予備的メッセージをユーザが選択したクリップと結合して一体化し、その後、完成したMMSメッセージとしての結合を指定された受信者へ送信する。
【発明を実施するための最良の形態】
【0015】
図1及び2を参照すると、創作ツールとしての装置12の使用を有効に可能にする、例えば、携帯電話又はPCのような通信装置12の平均的ユーザにとってより簡便な方法で更にMMSメッセージ10を作成する、本発明に従う方法及びシステムが示される。
【0016】
本発明は、3つのエンティティ、即ち、メッセージ送信者(ユーザ)14、メッセージの受信者16、及びサービス提供者18を含む。サービス提供者18は、視聴覚コンテンツを含む複数の映像クリップ20を生成又は取得する。クリップ20は、映像若しくは映画(又はその一部若しくは予告)、録音された音楽、ウェブから取得された又は取得可能な材料、広告用材料、宣伝用材料、又はいずれかの他の適切な材料から取り出された、あるいはそれらを含むコンテンツを有しても良い。
【0017】
ステップ50で、クリップ20は、その観測される一般的なコンテンツに対応する意味的に基づいたタグ22を付加されることにより、サービス提供者18によって包括的に注釈を付され、次に、ステップS52で、ユーザ14から遠いアーカイブ24に記憶される。1よりも多いタグ22は、夫々のクリップ20へ付加されても良い。例えば、キスしている2人の人を示すクリップ20は、例えば「ラブ」、「キス」、「愛情」及び「ロマンス」などのタグ22を有しても良い。
【0018】
幾つかの実施例で、ユーザ14は、また、映像クリップ20を作成又は取得しても良い。これらのクリップ20は、ステップ54で同様に注釈を付され、ステップ56でユーザ14の近くのアーカイブ26に記憶されうる。ユーザが作成したクリップ20へユーザ14によって付加された包括的なタグ22は、サービス提供者のクリップ20に付加されたタグに類似すべきであり、また、それらに関するユーザの個人的経験及び知識に基づく付加的なタグ22を含みうる。
【0019】
例えば、ユーザ14は、ビデオカメラ又は機能的に類似する装置を用いてクリップ20を作成し、あるいは、ユーザ14と他者がキスしているところを示すクリップ20を他者から取得しても良い。このような個人的なコンテンツのクリップ20は、類似する客観的に決定可能なコンテンツを有するサービス提供者のクリップ20と同様に包括的にタグを付されても良い(あるいは、以下で説明されるように、サービス提供者18によって後に包括的にタグを付されても良い。)。例えば、キスしている2人の人を示す、ユーザが生成して、ユーザがタグを付したクリップ20は、通常、「ラブ」、「キス」、「愛情」、「ロマンス」などの包括的なタグ22を有するべきであり、例えば、キスが行われた場所若しくはイベント又はキスをしているカップルの名前などの付加的な個人的な又はユーザ固有のタグ22を含みうる。これらのタグ22は、例えば「ジョン」、「メアリー」及び「卒業パーティ」など、クリップ20の個人的なアクション又はコンセプトに関連する情報を含みうる。このようにして、サービス提供者のタグ22は、サービス提供者によってアーカイブに記憶されたユーザクリップ20の包括的なコンテンツに関連し、ユーザのタグ22は、この同じ包括的なコンテンツと、ユーザ14の個人的な知識の範囲内にある明示的又は潜在的な個人的なコンテンツとに関する。
【0020】
このようにして、ステップ58で、近くのアーカイブ26及び遠くのアーカイブを同時に見ることによって、全ての利用可能な意味的にタグを付されたクリップ20を含むアーカイブ28が作られる。アーカイブ28は、最初に、実際には、分散型であり(2つの異なった物理的な位置を有し)、近くのアーカイブ26は、サービス提供者18へ送信されるまではユーザ14に残され、遠くのアーカイブ24は、サービス提供者18に配置されている。アーカイブ28は、また、非分散型であっても良く、望ましくは、サービス提供者18とともに配置される。ユーザ14及びサービス提供者18は、MMSメッセージ10を作成するためのサービス提供者へのユーザ要求の前に、又はそれと同時に、どのユーザ14が近くのアーカイブ26のコンテンツ(ユーザが注釈を付したクリップ)をサービス提供者18へ送信することを許可されたかに従って同意に達することができる。これらの後のイベントで、サービス提供者18は、ステップ60で、付加的な又は訂正済みの一般的なタグ22を、ユーザがタグを付したクリップ20へ付加する。従って、類似するアクション及びコンセプトを伝える両方のパーティのクリップ20における包括的なタグ22は、同じとなりうる。
【0021】
留意すべきは、図1で前に示されたステップは、時系列では説明されない点である。ステップ50で、サービス提供者18は、ユーザがMMSメッセージ10を合成するようサービス提供者18に要求するよりずっと前から、遠くのアーカイブ24を作成していても良い。費用に関する又は他の理由のために、サービス提供者18は、また、ユーザのMMS合成要求を受信した後にのみ、遠くのアーカイブ24を作成しても良い。既に述べられたように、ユーザのクリップ20は、MMSメッセージ10を合成するための要求の前又は、それと同時に、サービス提供者18へ送信されても良い。上記は、また、クリップ20がステップ50、54で注釈を付される時間、近く/遠くにあるアーカイブ26/24がステップ56/52で作成される時間、アーカイブ28(分散型又は非分散型)がステップ58で作成される時間、及び、サービス提供者18がステップ60でユーザが注釈を付したクリップ上のタグを修正する時間が、可変であって、必ずしもいずれかの特定の系列にあるわけではないことを意味する。
【0022】
ユーザ14が高度な(smart)MMSメッセージ10を送信することを決定する場合に、ステップ62で、言語に基づく予備的メッセージ34を、ユーザは送信し、サービス提供者は受信する。この予備的メッセージは、ここでは行為(アクション)、コンセプト、主題、状況、場所、イベント、名前、目的、又は同様の情報を意味する「アクション又はコンセプト」を説明する。これ(ステップ62)は、予備的メッセージ34及び付加的且つ装飾された材料が受信者16へ送信されるよう要求するサービス提供者18へのユーザ要求を構成する。サービス提供者18は、ステップ64で、アーカイブ28から、予備的メッセージ34のアクション又はコンセプト、送信者(ユーザ)及び/又は受信者の名前、又は、例えばイベント、特別な出来事、若しくはユーザと受信者との間の関係など、有意性を有するとユーザによって示されたいずれかの他の情報に意味的に整合するタグ22を有するそれらのクリップ20を取り出す。望ましくは、整合は、存在論、即ち、例えばRDF(Resource Descriptive Framework)存在論、XML(Extensible Markup Language)、又は他の適切な存在論などの概念化の特定によって達成される。キーワード整合が、また、使用されても良く、例えば、整合は、単純に、クリップ20のタグ22と、予備的メッセージ34に含まれる名詞及び動詞との間で達成可能である。整合は、ユーザ14による介入を伴わずに達成可能であり、あるいは、ユーザ14は、予備的メッセージ34のどの部分が、又はどのタグが、存在論的に重要であるべきかを特定することができる。
【0023】
ユーザの予備的メッセージ34は、MMSメッセージ10に含まれるよう意図された録音されたボイスコンテンツを含んでも良いことが考えられる。この場合に、例えばASR(自動音声認識)のような適切な技術が、ボイス録音をテキストに変換するために使用されても良い。このテキストは、次に、そのアクション又はコンテンツに従ってタグを付され、また、整合過程でも使用される。
【0024】
ステップ66で、サービス提供者18によって取り出されたクリップ20、又はその一部若しくはサマリー(summary)は、ユーザ14へ渡される。ユーザ14がMMS機能を備えていない場合には、サービス提供者18によって作成されたテクスチャサマリーがユーザへ渡される。ユーザ14がMMS機能を有する場合には、クリップ20自体又はそのサマリー(例えば、選択フレーム)がユーザ14へ渡される。この点で、ステップ68で、ユーザ14は、クリップ20の幾つか若しくは全て又はその一部を選択し、あるいは、予備的メッセージ34の元の意味的なコンテンツに整合する付加的なクリップ20、又は付加的な意味的整合を取り出すようサービス提供者に指示しても良い。ステップ66及び68は、ユーザ14が、サービス提供者が取り出した材料に満足するまで繰り返される。
【0025】
最終的に、ユーザ14が、渡されたクリップ20の数及びコンテンツに満足する場合に、ユーザ14は、ステップ70で、それらをサービス提供者18と同一視し、それによってそれらを選択する。ユーザの選択に応答して、ステップ72で、サービス提供者18は、予備的メッセージ34をユーザが選択したクリップ20と結合して一体化し、その後、ステップ74で、完成したMMSメッセージ10としての結合を、指定された受信者16によって操作されるMMS装置36へ送信する。
【0026】
1つの例で、ジョンと名付けられたユーザ14は、メアリーと名付けられた受信者16へ、語「I love you」を含むバレンタインカード(MMSメッセージ10)を送信することを望み、この情報を予備的メッセージ34を介してサービス提供者18へ転送する。アーカイブ28は、レット=バトラーがスカーレット=オハラにキスする「風とともに去りぬ」からのセグメントを含め、2人の役者がキスしている映画セグメントの幾つかのクリップ20を有する。これらのクリップ20は、全て、「キス」、「ラブ」及び「ロマンス」並びに同様のコンテクストをタグとして付される。アーカイブ28は、また、同様の包括的なタグ22(「キス」、「ラブ」等。)並びに「ジョン」及び「メアリー」のタグ22を含む、ジョンがメアリーにキスしている幾つかのクリップ20を有しても良い。また、アーカイブ28には、歌「I Love You Truthly」を含め、「ラブ」及び「ロマンス」によりタグを付されたロマンティックな歌が記憶されている。
【0027】
アーカイブ28におけるクリップ20のタグ22に対する予備的メッセージ34のアクション又はコンセプトの意味的整合(又は、予備的メッセージ34のアクション又はコンセプトに対するクリップ20のタグ22の意味的整合)は、ジョンとメアリーがキスしている写真、レットとスカーレットがキスしている写真、及び録音された歌「I Love You Truly」を含め、複数の項目のアーカイブ28からの取り出しをもたらしうる。取り出された項目又は(ユーザ14がSMS装置を用いているならば)そのサマリーは、ユーザ14へ渡される。ユーザ14がジョン/メアリー及びレット/スカーレットのクリップ20を選択して、サービス提供者18へ確認するとともに、レット/スカーレットのクリップが最初に示され、次に、ジョン/メアリーのクリップがフェードインすると、最初のクリップがフェードアウトするよう要求し、また、それらのクリップが表示されるのに要する時間は約1分である、と仮定する。ユーザ14は、また、歌の最初の1分が同時に再生されるよう要求する。従って、サービス提供者18は、これらのもの(desiderata)を予備的メッセージ34から文字「I love you」に結合して、完成した高度なMMSメッセージ10を生成する。
【0028】
完成したMMSメッセージ10の合成は、サービス提供者18への予備的メッセージ34の送信以外に、ユーザ14からの入力をほとんど又は全く伴わずに、完全に自動であっても良い。しかし、望ましくは、当該方法は、程度の差はあっても相互作用的である。特に、予備的メッセージ34の送信及び、場合により、アーカイブ28に対する幾つかの個人的なクリップ20の提供に加えて、ユーザは、以下の作業のうちの1又はそれ以上に従事することによって、当該方法の様々な態様を特定、変更又は限定することができる:
(1)予備的メッセージ34とアーカイブに記憶されたクリップ20の意味的タグ22との間の起こり得る許容可能な整合として、サービス提供者18によって与えられる複数のクリップ20のうちの1又はそれ以上を選択すること(ステップ68);
(2)アーカイブ28からの意味的に整合する音楽トラック又は他の音声コンテンツの付加と、音声コンテンツが完成したメッセージ10の視覚コンテンツに合成されるべきであるかどうか、及び、どのように合成されるべきであるかとを要求すること;
(3)予備的メッセージ34のある態様(アクション又はコンセプト)のみにタグ22の意味的整合を限定すること、あるいは、アーカイブ28内でタグを付されたクリップ20に対する可能な整合として、予備的メッセージ34から当然に存在論的に包括的に取り出し可能なアクション又はコンセプトに加えて、意味的なアクション又はコンセプトを特定すること;
(4)幾つかのクリップ20の供給源又は形式(1950年前の映画の予告編対1950年以後の映画の予告編;モノクロ映画セグメント対カラーセグメント;個人的な映像のみ;非個人的な映像のみ)及び、サービス提供者18によって組み込まれるべき音楽コンテンツ(ジャズ対ロックンロール)を特定すること;
(5)サービス提供者18によって取り出されて渡されたクリップ20を、少なくとも特定されたコンテンツを含むクリップに限定すること、例えば、渡されたクリップ20を、ブラッド=ピットが女性にキスしていることを示すクリップ、又は、ユーザ14及び受信者16が一緒に観たことのある有名な映画からのキスシーンを示すクリップに限定すること。例えば「一緒に観た映画」のうちの選択された1つのような、ある所望のコンテンツは、第3のパーティの機関への許されたアクセスを要求することができる。
(6)意味的整合の目的のために予備的メッセージ34のある形式のコンテンツ(アクション又はコンセプト)の意味的重要性を予め定めること。例えば、「私のベスト」、「結婚の申込み」、「親しい人へ」、「親友へ」、「おばあちゃんへの挨拶状」及び「親族へ」といったメッセージを含む形式の予備的メッセージ34が予め決定され得る。「私のベスト」という予備的メッセージは、他者が存在しない状況で受信者16が伝えられるクリップに、及び、同一又は類似の状況にある有名人を示すクリップにのみ意味的に整合するように、予め決定され得る。特定の状況が、通常の域を超えることがある。語「通常の域を超える」は、ユーザ14によって意味的に重み付けられている。事前定義は、ユーザ14が最初にアーカイブ26のコンテンツをサービス提供者18へ送信する場合に、あるいは、完成したメッセージ10の形成の前の他のいずれかの時点に、起こり得る。予備的メッセージは、取り出されたクリップ20が、一般的にユーザ14及び受信者16に伝えるか、あるいは、以前の同様の行事でユーザ14及び受信者16に同時に伝えることを要求することによって、意味的に重要である誕生日、バレンタインデー、記念日、又は他の重要な行事を祝うために親友又は親族に向けられる。更に、ユーザ14は、映画又は映像の中で役者による同様の重要な行事への参加を示すアーカイブ24から、意味的重要性を有するクリップ20を有すると指定される;
(7)第2のサブアーカイブ26からの個人的なクリップ20が、第1のサブアーカイブ24からのクリップ20及び/又は付加された音楽又は他の音響材料に結合される方法を特定すること。これらの仕様の範囲の中には、フェードイン/フェードアウト、セグメントインターレース走査、音楽の種類及びテンポ、プレゼンテーションの順序、完成したメッセージ34及びその個々の部分の長さ、他の視聴覚混合性能などがある。
【0029】
上記作業(2)〜(7)、及び、あるコンテンツがMMSメッセージ10に含まれる(あるいは、含まれない)ことをユーザが特定するための他の作業は、ステップ72から74の前の如何なる時点で起こっても良い。結果として、作業(2)〜(7)及び更なる作業は、集合的に、しかし単に一般的に、ステップ76で示される。特に、ステップ62〜70が第1の時間シーケンスを構成し、ステップ72、74が第2の時間シーケンスを表す一方で、ステップ76は、ステップ62〜70の間であって、ステップ72、74の前の如何なる時点でも起こり得る。
【0030】
上述されたように、サービス提供者18は、その後に意味的にタグを付されたダウンロードされたウェブコンテンツを、遠くのアーカイブ24へ加えることができる。ウェブコンテンツは、また、第1のサブアーカイブ24へ加えられ、更に、予備的メッセージ34の受信後、ユーザ14へ渡された整合するクリップの提示及び見直しの前又は後で意味的にタグを付された材料を含みうる。更に、サービス提供者18が予備的メッセージ34の音声部分へASRを適用する能力を有することに加えて、サービス提供者18は、また、顔及び声の識別を行う能力を有することができる。顔及び声の識別は、特に、ユーザ14個人のクリップ20に関連し、更に、クリップ20へ対応するタグ22を付加して、予備的メッセージ34にクリップ20を意味的に整合させる目的のためにアーカイブ24に含まれる。また、サービス提供者18は、予備的メッセージ34に直接には意味的に整合せず、予備的メッセージ34に意味的に整合する他のタグ22を有するクリップ20のタグ22に整合するクリップを、ユーザ14へ渡されたクリップ20へ加える能力を処理することができる。例えば、「ラブ」のタグ22を有するクリップ20が、「I love you」を含む予備的メッセージ34への整合として取り出されるとする。更に、取り出されたクリップ20が、また、クリップが、エッフェル塔の前に位置するユーザ14及び受信者16を示すので、「パリ」のタグ22を含むとする。タグ「パリ」は、予備的メッセージ34が意味的なコンテンツとして「パリ」を含まないとしても、その題名若しくは歌詞に「パリ」を含む歌又はパリの有名な場所の短時間の旅行を示すビデオクリップを、渡されたクリップ20へ付加することをもたらす。
【0031】
上述されたように、受信者16は、完成した高度なMMSメッセージ10を受信するためにMMS装置へのアクセスを有する。ユーザ14がこのようなアクセスを有することが望ましい。適切なMMS装置は、PC、ラップトップ、例えばノキア7650又はソニーエリクソンT68iなどの携帯装置、及び、これらに類似する携帯型又は非携帯型のMMS装置を含む。更に、上述されたように、ユーザ14は、SMS装置のみへアクセスを有することがある。この場合には、ステップ66で、取り出されたクリップのサマリーしか渡されない。
【0032】
ここで、図2を参照すると、上述した方法を実行するための一般化されたシステム100が示されている。図1の参照番号10〜34は、システム40の様々な要素の幾つかを区別するために図2で使用される。他の要素は、図1の方法の、上記機能を実行する能力を有する列挙ステップに対応する参照番号によって区別される要素として表される。
【0033】
ユーザ14によって従来の機関101を介して取得されるクリップ20は、経路106で提供される意味的タグ22を加えるために、経路104に沿って注釈器102へ送信される(ステップ54)。注釈を付されたクリップ20は、経路108で、近くにあるアーカイブ26に置かれる(ステップ56)。同様に、サービス提供者18のクリップ20は、経路112で注釈器110へ送信されて(ステップ50)、経路114でタグ22を受信し、注釈を付されたクリップ20は、経路116で、遠くにあるアーカイブ24へ送信される(ステップ52)。経路120によって表されるように、サービス提供者18は、存在論(ontology)118に、経路122に沿って注釈器110へガイダンスを提供させることができる。
【0034】
近く/遠くのアーカイブ26/24は、アーカイブ28を形成するよう結合され(ステップ58)、それらのコンテンツは経路124及び126を通る。近くのアーカイブ26のコンテンツは、最初に、経路128に沿ってサービス提供者の注釈器110へ送信されても良い。注釈器110では、ユーザの注釈付記が、プロトコル118との合致のために、更に、サービス提供によって使用されたタグに一致する包括的なタグが付加されたことを確かにするために、確認される(ステップ60)。その後、近くのアーカイブ26のコンテンツは、経路116及び126を介してアーカイブ28へ送信される。
【0035】
予備的メッセージ34は、経路130に沿ってサービス提供者18へ送信される(ステップ62)。また、経路130で提供されるサービス、とりわけ、予備的メッセージ34に添付された(又は、予備的メッセージ34の後で送信された)いずれかのユーザ命令、渡されるクリップに関するユーザフィードバック、及び取り出されたクリップの最終的な選択が、送信される(ステップ68、70、76)。
【0036】
機関132は、予備的メッセージ34のアクション又はコンセプトにクリップを存在論的に整合して、整合したクリップを取り出すために、経路134で存在論118を、及び経路136に沿ってアーカイブ28内の注釈を付されたクリップを使用する(ステップ64)。取り出されたクリップは、見直し(review)のために経路138でユーザへ送信される(ステップ66)。この最後の動作に応答して、ユーザは、クリップ選択と、経路130に沿った更なる又は変更されたクリップ及び整合の要求とを終了する(ステップ68)。最終的に、ユーザは、自身の最終選択及び命令を経路130でサービス提供者へ送信する(ステップ70)。その場合に、サービス提供者は、経路140に沿って、経路140からの予備的メッセージ34に経路144からの選択されたクリップを結合するよう結合機関142の動作を達成して(ステップ72)、MMSメッセージ10を形成する。次に、MMSメッセージ10は、経路146に沿って、受信者のMMS通信装置36へ送信される。
【0037】
図2を参照して記載された様々な経路及び要素は、当該分野において通常の知識を有する者によって選択された如何なる都合の良い形をとっても良く、これらの経路及び要素の、(必ずしも構造に限らず)機能が最も重要である。
【0038】
上記は、本発明を図示及び記載されたその正確な形に限定しない。更に、本発明の属する技術的分野において通常の知識を有する者には明らかなように、上述された(本発明の均等とみなされる)本発明の変形及び変更は、本発明の技術的範囲を逸脱することなく達成され得る。このような変形及び変更は、特許請求の範囲によって表される範囲内にある。
【図面の簡単な説明】
【0039】
【図1】本発明の原理に従って予備的メッセージの受信に応答して映像メッセージを合成する方法を実行する一般化されたフローチャートである。
【図2】図1によって表された方法を実行するシステムの一般化された配置図である。

【特許請求の範囲】
【請求項1】
MMSメッセージを合成する方法であって:
視聴覚コンテンツを含む複数のクリップを生成するステップ;
前記クリップに該クリップのコンテンツに対応する意味的に基づいたタグを付加することによって前記クリップに注釈を付すステップ;
前記意味的に基づいたクリップのアーカイブを作るステップ;
アクション又はコンセプトを受信者へ伝えるために前記受信者へ送信されるよう意図された予備的メッセージをユーザから受信するステップ;
前記予備的メッセージに含まれる少なくとも前記アクション又はコンセプトに意味的に整合するタグを有するクリップを前記アーカイブから取り出すステップ;
前記取り出されたクリップを前記ユーザへ渡すステップ;
前記ユーザが前記渡されたクリップのうちの1又はそれ以上の最終選択をすることに応答して、完成したMMSメッセージを生成するよう前記選択されたクリップ及び前記予備的メッセージを結合するステップ;及び
前記完成したMMSメッセージを前記受信者へ送信するステップ;
を有する方法。
【請求項2】
前記予備的メッセージは言語に基づき、文字コンテンツ及び/又は音声コンテンツを含む、請求項1記載の方法。
【請求項3】
前記予備的メッセージの音声コンテンツの自動音声認識を行って、前記音声コンテンツを、対応する言語に基づく文字コンテンツへ変換するステップを更に有する、請求項2記載の方法。
【請求項4】
前記予備的メッセージは視聴覚コンテンツを含む、請求項1記載の方法。
【請求項5】
前記予備的メッセージの音声コンテンツの自動音声認識及び視覚コンテンツの自動映像解析を行って、前記音声コンテンツ及び前記視覚コンテンツの夫々を、対応する言語に基づく文字コンテンツへ変換するステップを更に有する、請求項4記載の方法。
【請求項6】
意味的整合は、また、前記ユーザ及び/又は前記受信者の名を含む、請求項1記載の方法。
【請求項7】
意味的整合は、キーワード整合又は存在論的プロトコルによって達成される、請求項6記載の方法。
【請求項8】
意味的整合は、キーワード整合又は存在論的プロトコルによって達成される、請求項1記載の方法。
【請求項9】
前記クリップは、前記ユーザ及び/又は1又は複数の第3のパーティによって生成されて、注釈を付され、
前記ユーザが注釈を付したクリップは、前記ユーザの近くのアーカイブにあり、
前記第3のパーティが注釈を付したクリップは、前記ユーザから遠いアーカイブにある、
請求項1記載の方法。
【請求項10】
前記ユーザから遠いアーカイブの視聴覚コンテンツは、映像、広告用材料、宣伝用資料、映像又は映画の一部又は予告、音楽、インターネット又はWWWから得られる材料、及び同様の材料を含む、請求項9記載の方法。
【請求項11】
前記ユーザは、前記結合ステップの前に、夫々の渡されたクリップの一部又は全てを選択する、請求項1記載の方法。
【請求項12】
前記結合ステップの前に、前記ユーザは、
(i)意味的に整合させられるべき前記アクション又はコンセプト、又は
(ii)前記取り出しステップで使用された意味的基準、
の一方若しくは両方を特定する、あるいは加える、請求項1記載の方法。
【請求項13】
前記ユーザは、前記最終選択をする前に、前記渡されたクリップを見直して、削除又は修正する、請求項12記載の方法。
【請求項14】
前記送信された完成したメッセージは、MMSケーブル装置において前記受信者によって受信される、請求項1記載の方法。
【請求項15】
前記MMSケーブル装置は移動通信装置である、請求項14記載の方法。
【請求項16】
前記MMSケーブル装置はコンピュータである、請求項14記載の方法。
【請求項17】
前記予備的メッセージは、SMSケーブル装置、MMSケーブル装置を介して、又はボイスメールによって、前記ユーザによって送信される、請求項1記載の方法。
【請求項18】
前記取り出されたクリップを前記ユーザへ渡した後、前記結合ステップの前に、
ユーザから命令を取得し、該命令に従って前記取り出しステップのパラメータを変更し、該変更されたパラメータに従って取り出されたそれらのクリップを前記ユーザへ渡すステップを更に有する、請求項1記載の方法。
【請求項19】
前記取得、変更、及び譲渡ステップは、前記最終選択がなされるまで繰り返される、請求項18記載の方法。
【請求項20】
MMSメッセージを合成するためのシステムであって:
視聴覚コンテンツを含む複数のクリップを生成する手段;
前記クリップに該クリップのコンテンツに対応する意味的に基づいたタグを付加することによって前記クリップに注釈を付す手段;
前記意味的に基づいたクリップのアーカイブを作る手段;
アクション又はコンセプトを受信者へ伝えるためにユーザから前記受信者へ送信されるよう意図された予備的メッセージを前記ユーザから受信する手段;
前記予備的メッセージに含まれる少なくとも前記アクション又はコンセプトに意味的に整合するタグを有するクリップを前記アーカイブから取り出す手段;
前記取り出されたクリップを前記ユーザへ渡す手段;
前記ユーザが、完成したMMSメッセージを生成するよう、選択されたクリップ及び前記予備的メッセージを結合するために、前記渡されたクリップのうちの1又はそれ以上を選択することに応答する手段;及び
前記完成したMMSメッセージを前記受信者へ送信する手段;
を有するシステム。
【請求項21】
前記予備的メッセージは言語に基づき、文字コンテンツ及び/又は音声コンテンツを含む、請求項20記載のシステム。
【請求項22】
前記音声コンテンツを対応する言語に基づく文字コンテンツへ変換するよう前記音声コンテンツの自動音声認識を行う手段を更に有する、請求項21記載のシステム。
【請求項23】
前記予備的メッセージは視聴覚コンテンツを含む、請求項20記載のシステム。
【請求項24】
前記予備的メッセージの音声コンテンツ及び視覚コンテンツの夫々を対応する言語に基づく文字コンテンツへ変換するよう前記音声コンテンツの自動音声認識及び前記視覚コンテンツの自動映像解析を行う手段を更に有する、請求項23記載のシステム。
【請求項25】
前記取り出す手段は、また、前記ユーザ及び/又は前記受信者の名を整合するクリップを前記アーカイブから取り出す、請求項20記載のシステム。
【請求項26】
前記取り出す手段は、キーワード整合又は存在論的プロトコルによって意味的整合を達成する、請求項25記載のシステム。
【請求項27】
前記取り出す手段は、キーワード整合又は存在論的プロトコルによって意味的整合を達成する、請求項20記載のシステム。
【請求項28】
前記クリップを生成して、注釈を付すために、且つ
前記ユーザの近くのアーカイブに前記ユーザが注釈を付したクリップを置き、前記ユーザから遠いアーカイブに第3のパーティが注釈を付したクリップを置くために、
前記ユーザ及び/又は1又は複数の前記第3のパーティからの入力に応答する手段を更に有する、請求項20記載のシステム。
【請求項29】
前記ユーザから遠いアーカイブの視聴覚コンテンツは、映像、広告用材料、宣伝用資料、映像又は映画の一部又は予告、音楽、インターネット又はWWWから得られる材料、及び同様の材料を含む、請求項28記載のシステム。
【請求項30】
前記選択されたクリップ及び前記予備的メッセージの結合の前に、夫々の渡されたクリップの一部又は全てを選択することを前記ユーザに許可する手段を更に有する、請求項20記載のシステム。
【請求項31】
前記選択されたクリップ及び前記予備的メッセージの結合の前に、前記ユーザが、
(i)意味的に整合させられるべき前記アクション又はコンセプト、又は
(ii)前記取り出す手段によって使用された意味的基準、
の一方若しくは両方を特定する、あるいは加えることを可能にする手段を更に有する、請求項20記載のシステム。
【請求項32】
最終的なクリップ選択の前に、前記渡されたクリップを見直して、削除又は修正することを前記ユーザに許可する手段を更に有する、請求項31記載のシステム。
【請求項33】
前記受信者が前記送信された完成したメッセージを受信するMMSケーブル装置を更に有する、請求項20記載のシステム。
【請求項34】
前記MMSケーブル装置は移動通信装置である、請求項33記載のシステム。
【請求項35】
前記MMSケーブル装置はコンピュータである、請求項33記載のシステム。
【請求項36】
前記ユーザによって前記予備的メッセージを送信するために、SMSケーブル装置、MMSケーブル装置、又はボイスメールを更に有する、請求項20記載のシステム。
【請求項37】
前記ユーザが前記取り出されたクリップを渡された後、前記取り出されたクリップが前記予備的メッセージに結合される前に、前記ユーザから命令を取得し、該命令に従って前記取り出す手段のパラメータを変更し、該変更されたパラメータに従って取り出されたクリップを前記ユーザへ渡す手段を更に有する、請求項20記載のシステム。
【請求項38】
前記選択することに応答する手段が作動するまで、前記取得する手段並びに前記変更及び譲渡手段の動作を繰り返す手段を更に有する、請求項37記載のシステム。

【図1】
image rotate

【図2】
image rotate


【公表番号】特表2008−523759(P2008−523759A)
【公表日】平成20年7月3日(2008.7.3)
【国際特許分類】
【出願番号】特願2007−546269(P2007−546269)
【出願日】平成17年12月12日(2005.12.12)
【国際出願番号】PCT/IB2005/054190
【国際公開番号】WO2006/064455
【国際公開日】平成18年6月22日(2006.6.22)
【出願人】(590000248)コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ (12,071)
【Fターム(参考)】