マルチメディア信号おいてトリガーマーカとして機能するフィンガープリントを生成及び検出する方法及び装置
本発明は、マルチメディア信号と１つ又は複数のトリガー動作とを関係付ける方法及び装置と、マルチメディア信号で１つ又は複数のトリガー動作を検出する対応の方法及び装置とに関する。トリガー時点毎にマルチメディア信号のセグメントに基づいて１つのフィンガープリントが生成される。生成されたフィンガープリントはデータベースに格納され、再生装置に通信される。再生中に、マルチメディア信号のフィンガープリントが生成され、データベースのフィンガープリントとマッチングされる。合致が見つかったときに、関連のトリガー動作が取り出される。トリガー時点は、フィンガープリントを合致させるマルチメディア信号のセグメントでの又はセグメントの近くでの時点として決定される。このように、マルチメディア信号を変更せずに、トリガー動作のトリガーマーカを検出する簡単且つ信頼性のある方法が可能になる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マルチメディア信号においてトリガー時刻／情報を検出する方法及び対応する装置に関する。本発明はまた、トリガー情報をマルチメディア信号に関連付ける方法及び対応する装置に関する。更に、本発明は、１つ又は複数の処理ユニットに本発明による方法を実行させる命令を格納したコンピュータ読取可能媒体に関する。
【背景技術】
【０００２】
現在の傾向は、よりインタラクティブな番組及び／又は傾聴経験を作ることにより、又はビデオ及び／又はオーディオコンテンツの部分に外部動作を“接続”することにより、所定の再生装置での受動的なテレビの視聴及び／又は音楽の傾聴を拡張する点が挙げられる。簡単な一例として、更なる情報を備えたウェブサイトへのURLを埋め込むことにより、コマーシャルは拡張され得る。そのURLは再生装置により抽出され、取り出され得る。このような機能を促進するために、このような更なる情報が関連するテレビ番組、映画、音楽部分等における時点の信頼ある検出を可能にする必要がある。
【０００３】
このような更なる情報が放送番組に関して有用であり又は興味深い状況の例は、次のようなものがある。
−trigg&link：（例えば、W.ten Kate他“trig&link − A new dimension in television program making”, Lecture Notes in computer science, vol.1242, pp51−65, Springer, 1997を参照）trigg&linkはテレビ番組でインタラクティブ性を可能にする。通常の番組に加えて、番組の特定のセグメントに関する更なる情報が、異なる分配チャネルを通じて視聴者に利用可能になる。拡張（更なる情報）に関連する所定のセグメントの開始時に、アイコンが表示され、更なる情報がTVで視聴され得ることを視聴者に警告する。例えば、映画での俳優の登場時に、俳優の何らかの伝記データが利用可能になってもよい。ユーザ端末（例えばセットトップボックス等）では、関連の時刻にアイコンがビデオに重ねられ、それによってこれらの時刻がビデオストリームに示されていることを要求する。
−ローカル挿入：全国放送の間に、番組の特定の部分が、何らかの地域で地域番組と交換され得る。例えば、何らかの広告がローカルの店の広告と交換されてもよく、又はニュース放送では、何らかの地域が全国天気予報ではなくローカルの天気予報を有してもよい。全国番組制作者は、どのセグメントがそのようなローカル挿入に適しているかを指示することができる。ローカル再配信サイト（例えばケーブル・ヘッドエンド）では、指示されたセグメントは、ローカルコンテンツと交換されてもよい。
【０００４】
前述の状況の双方において、更なる情報が利用可能になるべきビデオストリームの特定の時刻をマーキング又は関連付けする必要がある。これらの時刻に、受信機は、何らかの種類の動作を実行又は提供するように起動されなければならない。これは、MPEG/DVBのDSM-CCのような機構により行われてもよい。しかし、これは、これらのトリガーを挿入するために放送局の協力を必要とし、それによって、拡張サービスプロバイダを放送局に依存させる。
【０００５】
ビデオストリームで時間マーキングを実行する１つの既知の方法は、例えばマーキング情報を保持するために使用され得るMPEGトランスポートストリーム構造の分野を使用することである。
【０００６】
他の既知の方法は、帰線区間を使用することである。アナログ配信では、マーキング情報は垂直帰線区間又はインタラクティブ・ビデオ・ラインに埋め込まれ得る。
【０００７】
双方の前記の既知の方法は、信号がその宛先に到達する前にマーキング情報が損なわれないことを確保するために、放送チェーンの全主体の協力を必要とする。例えばMPEG手法の場合、再多重化動作は、ストリームのユーザデータフィールドに書き込まれた情報を容易に除去し得る。更に、毎回のデコード及び次の再エンコードステップは、確実にこの情報を保持しない。トリガー情報を運ぶ垂直帰線を使用する場合、放送チェーンの主体が同じ位置に他の情報を書き込む可能性があるため、状況はより困難になる（垂直帰線は多くのものに使用されており、垂直帰線の使用に対する制御について一定の合意は存在しない）。また、標準コンバータ（PL-NTSC等）及び放送チェーンの他の装置は、垂直帰線区間の全情報を保持しないことがある。
【０００８】
更に他の方法は、透かしを使用することである。透かしは、関連の時刻にビデオフレームに埋め込まれ得る。とりわけ、Philips Watercast Systemはこの目的で販売されている。透かしの欠点は、必然的にビデオ／オーディオを変更するという事実である。
【発明の開示】
【発明が解決しようとする課題】
【０００９】
マルチメディア信号と１つ又は複数のトリガー動作とを関係付ける方法及び対応の装置と、マルチメディア信号で１つ又は複数のトリガー動作を検出する対応の方法及び装置とを提供し、前述の問題を解決することが、本発明の目的である。更なる目的は、簡単且つ効率的な方法でこれを提供することである。他の目的は、マルチメディア信号の所定の部分の簡単で信頼のある正確なローカライゼーションを可能にすることである。更なる目的は、マルチメディア信号を変更せずに、トリガー動作の検出を可能にすることである。
【課題を解決するための手段】
【００１０】
前記のことは、マルチメディア信号に１つ又は複数のトリガー動作を関係付ける方法（及び対応の装置）によって実現され、その方法は、
−少なくとも１つのトリガー時点を提供し、トリガー時点毎に、少なくとも１つの関連のトリガー動作の少なくとも１つの提示を提供し、各トリガー時点は、マルチメディア信号の再生中に少なくとも１つの関連のトリガー動作が利用可能になるマルチメディア信号の時点を示すステップと、
−所定のトリガー時点毎に、マルチメディア信号のセグメントに基づいてフィンガープリントを導き、そのマルチメディア信号のセグメントは所定のトリガー時点と一義的に関係するステップと
を有する。前記のことは、マルチメディア信号で１つ又は複数のトリガー動作を検出する方法（及び対応の装置）によって実現され、その方法は、
−マルチメディア信号に基づいてフィンガープリントストリームを生成するステップと、
−フィンガープリントストリームのセグメントと第２のデータベースのフィンガープリントとの間に合致が存在するか否かを決定するために、フィンガープリントストリームのセグメントと第２のデータベースに格納されている１つ又は複数のフィンガープリントとを比較し、第２のデータベースは、格納されているフィンガープリント毎に少なくとも１つの関連の動作の少なくとも１つの提示を更に有するステップと、
−合致が存在する場合には、合致するフィンガープリントに関連する少なくとも１つの関連の動作の少なくとも１つの提示を取り出すステップと
を有する。
【００１１】
このように、所定の動作についてマルチメディア信号で時間マーカを処理する簡単且つ効率的な方法が得られる。それによって、フィンガープリントは、マルチメディア信号の特定の時点に関連する特定の動作、イベント等のトリガーとしての役目をする。更に、マルチメディア信号が修正される必要なく、前記のことが可能になる。更に、時間マーキング検出はマルチメディア信号の特定のコンテンツのみに依存しているため、時間と独立であり、それによって、テレビ番組等のようなマルチメディア信号が遅延したときに問題を回避する。
【００１２】
マルチメディアオブジェクト／コンテンツ／信号のフィンガープリントは、当該のオブジェクト／コンテンツ／信号部分の知覚的特徴の提示である。このようなフィンガープリントは、“（ロバスト）ハッシュ”としても知られている。より具体的には、オーディオ又はビデオの部分のフィンガープリントは、オーディオ又はビデオのその部分で計算され、関与するコンテンツがその後にコード変換され、フィルタリングされ又はその他に修正されたとしても変更しない識別子である。
【００１３】
導かれたフィンガープリントは、オーディオ及び／又はビデオのフィンガープリントであることが好ましい。代替として、アニメーション及び／又はストリーミングテキスト等が、フィンガープリントを生成するソースとして使用される。
【００１４】
本発明による方法及び装置の有利な実施例は従属項に記載されている。
【００１５】
更に、本発明はまた、１つ又は複数の処理ユニットに本発明による方法を実行させる命令を格納したコンピュータ読取可能媒体に関する。
【発明を実施するための最良の形態】
【００１６】
図１ａは、本発明によるトリガーマーカとして使用されるフィンガープリントの生成を概略的に示している。ビデオ及び／又はオーディオ情報／コンテンツを有するデジタル又はアナログマルチメディア信号（101）が図示されており、１つ又は複数の‘トリガー’動作（以下、動作という）は、特定の所定の‘トリガー’時点（以下、時点という）でマルチメディア信号（101）に関連付けられる／関係付けられる。各時点に関連する１つ又は複数の動作は、再生装置での再生中にその所定の特定の時点（Tn;Tn+1）で利用可能になる（すなわち、起動される）。所定の時点での表記‘（Tn;Tn+1）’は、その時点が図示の時点Tn又はTn+1でもよく、また、概して信号（101）の如何なる適切な時点（図示せず）でもよいことを示している。複数の時点の関連の動作は、同じでもよく、異なってもよく、及び／又はその混合でもよい。
【００１７】
所定の時点で提示／起動される動作は、例えば、更なる情報を取り出してディスプレイに表示すること（例えば、マルチメディア信号で示す俳優の伝記データを提示すること、更なる情報を含むウェブサイトへの選択可能なURLを提示すること等）、更なる情報を取り出してスピーカを介して再生すること、所定又は可変の期間にそのマルチメディア信号（101）の代わりに他のマルチメディア信号（例えば、ローカルの天気予報、ローカルのコマーシャル等）を再生すること、及び／又は同様のことをすることを有してもよい。例えば、他の例の動作は、例えば一時的に表示／再生を中止／一時停止すること、他の制御コマンドを実行すること、及び／又はユーザ入力に対してシステムを準備すること（例えば、トリガー動作が実行されたときに、システムがユーザの特定の動作を（ある時間だけ）待機すること）が挙げられる。トリガー動作が実行されない場合、ユーザ入力は影響を与えない。例えば、インタラクティブゲームでは、トリガー動作が始動／実行された後にのみ、ユーザはユーザの回答を提示してもよい。
【００１８】
時点（Tn;Tn+1）毎に、マルチメディア信号（101）の部分、セグメント等（以下、セグメントという）に基づいて生成され、マルチメディア信号（101）のセグメントは、所定の時点（Tn;Tn+1）に一義的に関係する。マルチメディア信号（101）のセグメントを所定の時点（Tn;Tn+1）で実質的に終了させることにより、マルチメディア信号（101）のセグメントが所定の時点（Tn;Tn+1）に一義的に関係することが好ましい。代替実施例では、マルチメディア信号（101）のセグメントは、所定の時点（Tn;Tn+1）で実質的に開始してもよく、マルチメディア信号（101）のセグメントは、所定のトリガー時点（Tn;Tn+1）の前又は後の所定の間隔で開始又は終了してもよく、又は所定の時点（Tn;Tn+1）は、マルチメディア信号（101）のセグメントの開始と終了との間の所定の時点でもよい。
【００１９】
フィンガープリント及び／又はセグメントのサイズは所定の固定サイズでもよく、代替として可変サイズでもよい。
【００２０】
ロバストフィンガープリントを計算する１つの方法は、欧州特許出願01200505.4に記載されているが、当然のことながらロバストフィンガープリントを計算する如何なる方法も使用可能である。
【００２１】
欧州特許出願01200505.4は、例えばオーディオクリップのようなマルチメディアコンテンツのロバストフィンガープリントを計算する方法を記載しており、オーディオクリップは、連続する（好ましくは重複する）時間間隔に分割される。時間間隔毎に、周波数スペクトルが帯域で分割される。各帯域のロバスト特性（例えばエネルギー）が計算され、各フィンガープリントのビットで提示される。
【００２２】
このように、マルチメディアコンテンツは、時間間隔毎に１つのバイナリ値の連続を有するフィンガープリントで表される。フィンガープリントはマルチメディアコンテンツ全体で計算される必要はないが、特定の長さの一部が受信されたときに計算され得る。このように、フィンガープリントを計算するためにどの部分が使用されるかに応じて、１つのマルチメディアコンテンツについて複数のフィンガープリントが存在し得る。
【００２３】
更に、ビデオフィンガープリントのアルゴリズムは、例えば以下の開示：Job Oostveen、Ton Kalker、Jaap Haitsma：“Feature Extraction and a Database Strategy for Video Fingerprinting”.117-128.IN：Shi-Kuo Chang、Zhe Chen、Suh-Yin Lee(Eds.)：Recent Advances in Visual Information Systems, 5th International Conference, VISUAL 2002 Hsin Chu, Taiwan, 2002年3月11-13日, Proceedings. Lecture Notes in Computer Science 2314 Springer 2002から既知である。
【００２４】
本発明によれば、フィンガープリント（102）は、特定の時点で又は特定の時点の近くで、マルチメディア信号（101）の所定のセグメントに基づいて時点毎に生成される。
【００２５】
このように、所定のフィンガープリント（102）は、特定の時点を使用するのではなく、その代わりに信号（のセグメント）を使用して、信号（101）の所定の時点の非常に正確且つ非常に厳密な位置選定を可能にするトリガーマーカである。更に、これは信号を変更せずに可能になる。ビデオフィンガープリントでは、少なくともビデオ信号の何らかの歪みがひどすぎない限り、一般的にローカライゼーションはフレーム誤差がない。
【００２６】
フィンガープリント（102）が生成された後に、それは後の使用のためにデータベース、メモリ、記憶装置及び／又は同様のものに格納される。
【００２７】
マルチメディア信号自体の代わりに、データベースにマルチメディア信号（101）のフィンガープリント（102）を格納することについて複数の利点が存在する。数例を以下に挙げる。データベースについてのメモリ／記憶装置の要件が減少する。
【００２８】
フィンガープリントは信号より実質的に短いため、フィンガープリントの比較はマルチメディア信号自体の比較より効率的である。
【００２９】
合致するフィンガープリントをデータベースで検索することは、短いアイテムの合致を含むため、完全なマルチメディア信号を検索するより効率的である。
【００３０】
マルチメディア信号への小さな変更（異なるフォーマットでの符号化、又はビットレートの変更等）はフィンガープリントに影響を与えないため、合致するフィンガープリントを検索することは成功しやすい。
【００３１】
代替として、マルチメディアコンテンツが単一の信号より大きい形式である場合（例えば、別々のオーディオ信号及び別々のビデオ信号）、フィンガープリント（102）はそれら（オーディオ又はビデオ）のうち単一に基づいて又は双方で生成されてもよい。
【００３２】
データベースに格納されている生成されたフィンガープリント（102）は、インターネットを介して、若しくは放送チャネルのサイドチャネルで、又はその他のチャネル若しくは本発明による再生中に使用される他の手段を介して、再生装置に配信されてもよい。他の例の配信として、例えば記憶媒体又は非電子的方法での物理的な配信（例えば、ユーザが再生装置にフィンガープリント及び動作を手動で入力することを要求すること）がある。
【００３３】
好ましい実施例では、関連の動作の提示もまた、フィンガープリント毎にデータベースに格納される。これらの提示もまた、再生装置に送信されることが好ましい。代替実施例では、提示はデータベースに格納されず、フィンガープリントを生成するときに全く使用されない。他の関係者が関連の再生装置に提示を提供し、各フィンガープリントとその関連の動作との間の関係を提供する。
【００３４】
図１ｂは、本発明によるトリガーマーカとしてのフィンガープリントの検出及び使用を概略的に示している。ビデオ及び／又はオーディオ情報／コンテンツを有するデジタル又はアナログマルチメディア信号（101）が図示されており、信号（101）は適切な再生装置で再生される。更に、マルチメディア信号（101）に基づいて継続的に又は実質的に連続的に生成されるフィンガープリントストリーム（104）が図示されている。代替として、フィンガープリントストリーム（104）はセグメントで生成される。フィンガープリントストリーム（104）（又はセグメント）は、データベースに格納されているフィンガープリント（102）と比較される。格納されているフィンガープリント（102）は、生産拠点で図１ａに関して説明したように生成されている。データベースはまた、格納されているフィンガープリント（102）毎に１つ又は複数の関連の動作（105）の提示を有することが好ましい。格納されているフィンガープリント（102）は、例えば、インターネットを介して、若しくは放送チャネルのサイドチャネルで、又はその他のチャネル若しくは他の手段を介して、配信サイトから受信される。関連の動作（105）の提示もまた、このように受信されてもよい。代替実施例では、提示及び各フィンガープリントとその関連の動作（105）との間の関係が他の関係者により提供される。
【００３５】
フィンガープリントストリーム（104）のセグメントとデータベースの所定のフィンガープリント（102）との間に合致が見つかった場合、その特定のフィンガープリント（102）の関連の動作（105）の提示が、適切な時点（Tn;Tn+1）で取り出されて実行される。フィンガープリントストリーム（104）のセグメントとデータベースのフィンガープリント（102）との間の合致の際に、フィンガープリント（102）が図１ａに関して説明したように生成された適切な時点（Tn;Tn+1）も決定される。所定の時点（Tn;Tn+1）は、合致するフィンガープリントが（図１ａに従った）生成中にもともと基づいているマルチメディア信号（101）のセグメントを所定の（Tn;Tn+1）で実質的に終了させることにより、決定されることが好ましい。代替実施例では、マルチメディア信号（101）のセグメントは、所定の時点（Tn;Tn+1）で実質的に開始してもよく、マルチメディア信号（101）のセグメントは、所定のトリガー時点（Tn;Tn+1）の前又は後の所定の間隔で開始又は終了してもよく、又は所定の時点（Tn;Tn+1）は、マルチメディア信号（101）のセグメントの開始と終了との間の所定の時点でもよい。再生装置は、生成中に使用される所定の時点と所定のフィンガープリントとの間の関係を認識しさえすればよい。
【００３６】
合致するフィンガープリント（102）が決定されると、関連の１つ又は複数の動作も取り出される。再生装置は、これらの動作を実行し、又は例えばそれらを実行する前にユーザ確認を待機することで、ユーザにそれらを提示してもよい。
【００３７】
前述の欧州特許出願01200505.4は、オーディオクリップについて計算されたフィンガープリントとデータベースに格納されているフィンガープリントとを合致する様々なマッチング方法を記載している。
【００３８】
更なる欧州特許出願012002720.7は、未知の情報信号を表すフィンガープリントとデータベースに格納されている識別情報信号の複数のフィンガープリントとを合致させ、未知の信号を特定する効率的な方法を記載している。この方法は、抽出されたフィンガープリントのビットの信頼情報を使用する。フィンガープリントのビットは、情報信号の特徴を計算し、その特徴を閾値比較してフィンガープリントのビットを得ることにより、決定される。特徴が閾値と非常に近い値を有する場合、信号の小さな変化は反対の値を備えたフィンガープリントのビットに導き得る。各フィンガープリントのビットを信頼性のあるもの又は信頼性のないものとしてマーキングするために、特徴の値と閾値との差の絶対値が使用される。実際のマッチング手順を改善するために、その後に信頼性が使用される。
【００３９】
本発明の更なる利点には、何らかの理由で放送が遅延した場合に、フィンガープリントの合致は、トリガー動作が放送の正確な対応時刻に依然として現れることを確保するという点がある。その理由は、本発明は時間と独立であるが、コンテンツに依存しているからである。
【００４０】
図２は、本発明によるフィンガープリント生成装置の概略ブロック図を示している。１つ又は複数のマイクロプロセッサ（図示せず）の制御でバス（205）等を介して通信するマルチメディア信号入力モジュール（201）、フィンガープリントモジュール（202）、データベース、メモリ記憶装置及び／又はそれと同様のもの（203）を有するフィンガープリント生成装置（200）が図示されている。一実施例では、フィンガープリント生成装置（200）は、有線及び／又は無線ネットワーク（例えばインターネット等）を介して他のシステム、装置等と通信する送信機及び受信機（204）をも任意選択で有してもよい。
【００４１】
マルチメディア信号入力モジュール（201）は、例えばアナログ若しくはデジタルオーディオ及び／又はビデオ信号の形式でマルチメディアコンテンツを受信し、マルチメディアコンテンツをフィンガープリントモジュール（202）に供給する。フィンガープリントモジュール（202）は、受信したマルチメディアコンテンツに基づいてフィンガープリントを計算する。フィンガープリントは、コンテンツ全体又はコンテンツの一部について導かれてもよい。代替として、複数のフィンガープリントがそれぞれ異なる部分から導かれてもよい。本発明によれば、フィンガープリントは、図１ａに関して説明したように、トリガー動作が必要なときに毎回（すなわち、時点（Tn;Tn+1）毎に）導かれる。時点の提示はまた、フィンガープリントモジュール（202）に供給される。
【００４２】
フィンガープリントモジュール（202）は、好ましくはフィンガープリント毎の関連の１つ又は複数の動作と共に、計算されたフィンガープリントをデータベース（203）に供給する。図４に示すように、データベース（203）は、フィンガープリント‘FP1’、‘FP2’、‘FP3’、‘FP4’、‘FP5’等と、それぞれ関連の動作‘A1’、‘A2’、‘A3’、‘A4’、‘A2’、‘A1’等とを有する。
【００４３】
データベース（203）は、クエリ時間及び／又はデータ編成を最適化するように様々な方法で体系化され得る。フィンガープリントモジュール（202）の出力は、データベース（203）のテーブルを設計するときに考慮されるべきである。図４に示す実施例では、データベース（203）は、各フィンガープリントと関連の（一式の）動作とを有するエントリ（レコード）を備えた単一のテーブルを有する。
【００４４】
図３は、本発明に従ってフィンガープリントを検出及び使用する再生装置の概略ブロック図である。１つ又は複数のマイクロプロセッサ（図示せず）の制御でバス（205）等を介して通信するマルチメディア信号受信機（301）、フィンガープリント検出器（302）、表示／再生回路（303）、データベース、メモリ記憶装置及び／又はそれと同様のもの（203’）を有する再生装置（300）が図示されている。一実施例では、再生装置（300）は、有線及び／又は無線ネットワーク（例えばインターネット等）を介して他のシステム、装置等と通信する送信機及び受信機（204）をも任意選択で有してもよい。
【００４５】
マルチメディア信号受信機（301）は、例えば放送ケーブル、アンテナ、パラボラアンテナ等の構成（図示せず）から表示及び／又は再生される例えばアナログ若しくはデジタルオーディオ及び／又はビデオ信号の形式でマルチメディア信号を受信する。受信したマルチメディア信号は、それからフィンガープリントストリーム又はセグメントを導き、図１ｂに関して説明したように、データベースに格納されているフィンガープリントと何らかの合致が存在するか否かを決定するフィンガープリント検出器（302）に供給される。合致が見つかった場合には、関連の動作の提示も取り出される。関連の動作についての適切な時点は、前述のように、合致するフィンガープリントにより得られる。
【００４６】
受信したマルチメディア信号は、表示／再生回路（303）により表示及び／又は再生され、適切な時点で、関連の動作が実行され、又は例えば動作を実行する前にユーザ確認を待機するユーザにそれらを提示される。
【００４７】
データベース（203’）のデータのレイアウトは、図４に示すものと対応することが好ましい。
【００４８】
再生装置（300）はまた、表示／再生前にマルチメディア信号の一部をバッファするバッファ機構（図示せず）を有してもよい。
【００４９】
図４は、本発明によるテーブル／レコードの一例を示している。フィンガープリント（102）‘FP1’、‘FP2’、‘FP3’、‘FP4’、‘FP5’等と、それぞれ関連の動作（105）‘A1’、‘A2’、‘A3’、‘A4’、‘A2’、‘A1’等とを有するテーブルが図示されている。１つ又は複数の動作（105）がフィンガープリント（102）毎に格納されている。所定のフィンガープリント（102）はテーブルに１回のみ格納されている。
【００５０】
特許請求の範囲において、括弧の間にある如何なる参照符号も特許請求の範囲を限定するものとして解釈されるべきではない。“有する”という用語は、請求項に記載のもの以外の要素又はステップの存在を除外するものではない。単数の要素は、そのような要素の複数の存在を除外するものではない。
【００５１】
本発明は、複数の異なる要素を有するハードウェアを用いて、及び適切にプログラムされたコンピュータを用いて実装され得る。複数の手段を列挙した装置の請求項において、複数のこれらの手段は、ハードウェアの同一のアイテムで具現され得る。特定の手段が相互に異なる従属項に記載されているという単なる事実は、これらの手段の組み合わせが有利に使用できないことを示しているのではない。
【図面の簡単な説明】
【００５２】
【図１ａ】本発明によるトリガーマーカとして使用されるフィンガープリントの生成を示した概略図である。
【図１ｂ】本発明によるトリガーマーカとしてのフィンガープリントの検出及び使用を示した概略図である。
【図２】本発明によるフィンガープリント生成装置の概略ブロック図である。
【図３】本発明に従ってフィンガープリントを検出及び使用する再生装置の概略ブロック図である。
【図４】本発明によるテーブル／レコードの一例である。
【技術分野】
【０００１】
本発明は、マルチメディア信号においてトリガー時刻／情報を検出する方法及び対応する装置に関する。本発明はまた、トリガー情報をマルチメディア信号に関連付ける方法及び対応する装置に関する。更に、本発明は、１つ又は複数の処理ユニットに本発明による方法を実行させる命令を格納したコンピュータ読取可能媒体に関する。
【背景技術】
【０００２】
現在の傾向は、よりインタラクティブな番組及び／又は傾聴経験を作ることにより、又はビデオ及び／又はオーディオコンテンツの部分に外部動作を“接続”することにより、所定の再生装置での受動的なテレビの視聴及び／又は音楽の傾聴を拡張する点が挙げられる。簡単な一例として、更なる情報を備えたウェブサイトへのURLを埋め込むことにより、コマーシャルは拡張され得る。そのURLは再生装置により抽出され、取り出され得る。このような機能を促進するために、このような更なる情報が関連するテレビ番組、映画、音楽部分等における時点の信頼ある検出を可能にする必要がある。
【０００３】
このような更なる情報が放送番組に関して有用であり又は興味深い状況の例は、次のようなものがある。
−trigg&link：（例えば、W.ten Kate他“trig&link − A new dimension in television program making”, Lecture Notes in computer science, vol.1242, pp51−65, Springer, 1997を参照）trigg&linkはテレビ番組でインタラクティブ性を可能にする。通常の番組に加えて、番組の特定のセグメントに関する更なる情報が、異なる分配チャネルを通じて視聴者に利用可能になる。拡張（更なる情報）に関連する所定のセグメントの開始時に、アイコンが表示され、更なる情報がTVで視聴され得ることを視聴者に警告する。例えば、映画での俳優の登場時に、俳優の何らかの伝記データが利用可能になってもよい。ユーザ端末（例えばセットトップボックス等）では、関連の時刻にアイコンがビデオに重ねられ、それによってこれらの時刻がビデオストリームに示されていることを要求する。
−ローカル挿入：全国放送の間に、番組の特定の部分が、何らかの地域で地域番組と交換され得る。例えば、何らかの広告がローカルの店の広告と交換されてもよく、又はニュース放送では、何らかの地域が全国天気予報ではなくローカルの天気予報を有してもよい。全国番組制作者は、どのセグメントがそのようなローカル挿入に適しているかを指示することができる。ローカル再配信サイト（例えばケーブル・ヘッドエンド）では、指示されたセグメントは、ローカルコンテンツと交換されてもよい。
【０００４】
前述の状況の双方において、更なる情報が利用可能になるべきビデオストリームの特定の時刻をマーキング又は関連付けする必要がある。これらの時刻に、受信機は、何らかの種類の動作を実行又は提供するように起動されなければならない。これは、MPEG/DVBのDSM-CCのような機構により行われてもよい。しかし、これは、これらのトリガーを挿入するために放送局の協力を必要とし、それによって、拡張サービスプロバイダを放送局に依存させる。
【０００５】
ビデオストリームで時間マーキングを実行する１つの既知の方法は、例えばマーキング情報を保持するために使用され得るMPEGトランスポートストリーム構造の分野を使用することである。
【０００６】
他の既知の方法は、帰線区間を使用することである。アナログ配信では、マーキング情報は垂直帰線区間又はインタラクティブ・ビデオ・ラインに埋め込まれ得る。
【０００７】
双方の前記の既知の方法は、信号がその宛先に到達する前にマーキング情報が損なわれないことを確保するために、放送チェーンの全主体の協力を必要とする。例えばMPEG手法の場合、再多重化動作は、ストリームのユーザデータフィールドに書き込まれた情報を容易に除去し得る。更に、毎回のデコード及び次の再エンコードステップは、確実にこの情報を保持しない。トリガー情報を運ぶ垂直帰線を使用する場合、放送チェーンの主体が同じ位置に他の情報を書き込む可能性があるため、状況はより困難になる（垂直帰線は多くのものに使用されており、垂直帰線の使用に対する制御について一定の合意は存在しない）。また、標準コンバータ（PL-NTSC等）及び放送チェーンの他の装置は、垂直帰線区間の全情報を保持しないことがある。
【０００８】
更に他の方法は、透かしを使用することである。透かしは、関連の時刻にビデオフレームに埋め込まれ得る。とりわけ、Philips Watercast Systemはこの目的で販売されている。透かしの欠点は、必然的にビデオ／オーディオを変更するという事実である。
【発明の開示】
【発明が解決しようとする課題】
【０００９】
マルチメディア信号と１つ又は複数のトリガー動作とを関係付ける方法及び対応の装置と、マルチメディア信号で１つ又は複数のトリガー動作を検出する対応の方法及び装置とを提供し、前述の問題を解決することが、本発明の目的である。更なる目的は、簡単且つ効率的な方法でこれを提供することである。他の目的は、マルチメディア信号の所定の部分の簡単で信頼のある正確なローカライゼーションを可能にすることである。更なる目的は、マルチメディア信号を変更せずに、トリガー動作の検出を可能にすることである。
【課題を解決するための手段】
【００１０】
前記のことは、マルチメディア信号に１つ又は複数のトリガー動作を関係付ける方法（及び対応の装置）によって実現され、その方法は、
−少なくとも１つのトリガー時点を提供し、トリガー時点毎に、少なくとも１つの関連のトリガー動作の少なくとも１つの提示を提供し、各トリガー時点は、マルチメディア信号の再生中に少なくとも１つの関連のトリガー動作が利用可能になるマルチメディア信号の時点を示すステップと、
−所定のトリガー時点毎に、マルチメディア信号のセグメントに基づいてフィンガープリントを導き、そのマルチメディア信号のセグメントは所定のトリガー時点と一義的に関係するステップと
を有する。前記のことは、マルチメディア信号で１つ又は複数のトリガー動作を検出する方法（及び対応の装置）によって実現され、その方法は、
−マルチメディア信号に基づいてフィンガープリントストリームを生成するステップと、
−フィンガープリントストリームのセグメントと第２のデータベースのフィンガープリントとの間に合致が存在するか否かを決定するために、フィンガープリントストリームのセグメントと第２のデータベースに格納されている１つ又は複数のフィンガープリントとを比較し、第２のデータベースは、格納されているフィンガープリント毎に少なくとも１つの関連の動作の少なくとも１つの提示を更に有するステップと、
−合致が存在する場合には、合致するフィンガープリントに関連する少なくとも１つの関連の動作の少なくとも１つの提示を取り出すステップと
を有する。
【００１１】
このように、所定の動作についてマルチメディア信号で時間マーカを処理する簡単且つ効率的な方法が得られる。それによって、フィンガープリントは、マルチメディア信号の特定の時点に関連する特定の動作、イベント等のトリガーとしての役目をする。更に、マルチメディア信号が修正される必要なく、前記のことが可能になる。更に、時間マーキング検出はマルチメディア信号の特定のコンテンツのみに依存しているため、時間と独立であり、それによって、テレビ番組等のようなマルチメディア信号が遅延したときに問題を回避する。
【００１２】
マルチメディアオブジェクト／コンテンツ／信号のフィンガープリントは、当該のオブジェクト／コンテンツ／信号部分の知覚的特徴の提示である。このようなフィンガープリントは、“（ロバスト）ハッシュ”としても知られている。より具体的には、オーディオ又はビデオの部分のフィンガープリントは、オーディオ又はビデオのその部分で計算され、関与するコンテンツがその後にコード変換され、フィルタリングされ又はその他に修正されたとしても変更しない識別子である。
【００１３】
導かれたフィンガープリントは、オーディオ及び／又はビデオのフィンガープリントであることが好ましい。代替として、アニメーション及び／又はストリーミングテキスト等が、フィンガープリントを生成するソースとして使用される。
【００１４】
本発明による方法及び装置の有利な実施例は従属項に記載されている。
【００１５】
更に、本発明はまた、１つ又は複数の処理ユニットに本発明による方法を実行させる命令を格納したコンピュータ読取可能媒体に関する。
【発明を実施するための最良の形態】
【００１６】
図１ａは、本発明によるトリガーマーカとして使用されるフィンガープリントの生成を概略的に示している。ビデオ及び／又はオーディオ情報／コンテンツを有するデジタル又はアナログマルチメディア信号（101）が図示されており、１つ又は複数の‘トリガー’動作（以下、動作という）は、特定の所定の‘トリガー’時点（以下、時点という）でマルチメディア信号（101）に関連付けられる／関係付けられる。各時点に関連する１つ又は複数の動作は、再生装置での再生中にその所定の特定の時点（Tn;Tn+1）で利用可能になる（すなわち、起動される）。所定の時点での表記‘（Tn;Tn+1）’は、その時点が図示の時点Tn又はTn+1でもよく、また、概して信号（101）の如何なる適切な時点（図示せず）でもよいことを示している。複数の時点の関連の動作は、同じでもよく、異なってもよく、及び／又はその混合でもよい。
【００１７】
所定の時点で提示／起動される動作は、例えば、更なる情報を取り出してディスプレイに表示すること（例えば、マルチメディア信号で示す俳優の伝記データを提示すること、更なる情報を含むウェブサイトへの選択可能なURLを提示すること等）、更なる情報を取り出してスピーカを介して再生すること、所定又は可変の期間にそのマルチメディア信号（101）の代わりに他のマルチメディア信号（例えば、ローカルの天気予報、ローカルのコマーシャル等）を再生すること、及び／又は同様のことをすることを有してもよい。例えば、他の例の動作は、例えば一時的に表示／再生を中止／一時停止すること、他の制御コマンドを実行すること、及び／又はユーザ入力に対してシステムを準備すること（例えば、トリガー動作が実行されたときに、システムがユーザの特定の動作を（ある時間だけ）待機すること）が挙げられる。トリガー動作が実行されない場合、ユーザ入力は影響を与えない。例えば、インタラクティブゲームでは、トリガー動作が始動／実行された後にのみ、ユーザはユーザの回答を提示してもよい。
【００１８】
時点（Tn;Tn+1）毎に、マルチメディア信号（101）の部分、セグメント等（以下、セグメントという）に基づいて生成され、マルチメディア信号（101）のセグメントは、所定の時点（Tn;Tn+1）に一義的に関係する。マルチメディア信号（101）のセグメントを所定の時点（Tn;Tn+1）で実質的に終了させることにより、マルチメディア信号（101）のセグメントが所定の時点（Tn;Tn+1）に一義的に関係することが好ましい。代替実施例では、マルチメディア信号（101）のセグメントは、所定の時点（Tn;Tn+1）で実質的に開始してもよく、マルチメディア信号（101）のセグメントは、所定のトリガー時点（Tn;Tn+1）の前又は後の所定の間隔で開始又は終了してもよく、又は所定の時点（Tn;Tn+1）は、マルチメディア信号（101）のセグメントの開始と終了との間の所定の時点でもよい。
【００１９】
フィンガープリント及び／又はセグメントのサイズは所定の固定サイズでもよく、代替として可変サイズでもよい。
【００２０】
ロバストフィンガープリントを計算する１つの方法は、欧州特許出願01200505.4に記載されているが、当然のことながらロバストフィンガープリントを計算する如何なる方法も使用可能である。
【００２１】
欧州特許出願01200505.4は、例えばオーディオクリップのようなマルチメディアコンテンツのロバストフィンガープリントを計算する方法を記載しており、オーディオクリップは、連続する（好ましくは重複する）時間間隔に分割される。時間間隔毎に、周波数スペクトルが帯域で分割される。各帯域のロバスト特性（例えばエネルギー）が計算され、各フィンガープリントのビットで提示される。
【００２２】
このように、マルチメディアコンテンツは、時間間隔毎に１つのバイナリ値の連続を有するフィンガープリントで表される。フィンガープリントはマルチメディアコンテンツ全体で計算される必要はないが、特定の長さの一部が受信されたときに計算され得る。このように、フィンガープリントを計算するためにどの部分が使用されるかに応じて、１つのマルチメディアコンテンツについて複数のフィンガープリントが存在し得る。
【００２３】
更に、ビデオフィンガープリントのアルゴリズムは、例えば以下の開示：Job Oostveen、Ton Kalker、Jaap Haitsma：“Feature Extraction and a Database Strategy for Video Fingerprinting”.117-128.IN：Shi-Kuo Chang、Zhe Chen、Suh-Yin Lee(Eds.)：Recent Advances in Visual Information Systems, 5th International Conference, VISUAL 2002 Hsin Chu, Taiwan, 2002年3月11-13日, Proceedings. Lecture Notes in Computer Science 2314 Springer 2002から既知である。
【００２４】
本発明によれば、フィンガープリント（102）は、特定の時点で又は特定の時点の近くで、マルチメディア信号（101）の所定のセグメントに基づいて時点毎に生成される。
【００２５】
このように、所定のフィンガープリント（102）は、特定の時点を使用するのではなく、その代わりに信号（のセグメント）を使用して、信号（101）の所定の時点の非常に正確且つ非常に厳密な位置選定を可能にするトリガーマーカである。更に、これは信号を変更せずに可能になる。ビデオフィンガープリントでは、少なくともビデオ信号の何らかの歪みがひどすぎない限り、一般的にローカライゼーションはフレーム誤差がない。
【００２６】
フィンガープリント（102）が生成された後に、それは後の使用のためにデータベース、メモリ、記憶装置及び／又は同様のものに格納される。
【００２７】
マルチメディア信号自体の代わりに、データベースにマルチメディア信号（101）のフィンガープリント（102）を格納することについて複数の利点が存在する。数例を以下に挙げる。データベースについてのメモリ／記憶装置の要件が減少する。
【００２８】
フィンガープリントは信号より実質的に短いため、フィンガープリントの比較はマルチメディア信号自体の比較より効率的である。
【００２９】
合致するフィンガープリントをデータベースで検索することは、短いアイテムの合致を含むため、完全なマルチメディア信号を検索するより効率的である。
【００３０】
マルチメディア信号への小さな変更（異なるフォーマットでの符号化、又はビットレートの変更等）はフィンガープリントに影響を与えないため、合致するフィンガープリントを検索することは成功しやすい。
【００３１】
代替として、マルチメディアコンテンツが単一の信号より大きい形式である場合（例えば、別々のオーディオ信号及び別々のビデオ信号）、フィンガープリント（102）はそれら（オーディオ又はビデオ）のうち単一に基づいて又は双方で生成されてもよい。
【００３２】
データベースに格納されている生成されたフィンガープリント（102）は、インターネットを介して、若しくは放送チャネルのサイドチャネルで、又はその他のチャネル若しくは本発明による再生中に使用される他の手段を介して、再生装置に配信されてもよい。他の例の配信として、例えば記憶媒体又は非電子的方法での物理的な配信（例えば、ユーザが再生装置にフィンガープリント及び動作を手動で入力することを要求すること）がある。
【００３３】
好ましい実施例では、関連の動作の提示もまた、フィンガープリント毎にデータベースに格納される。これらの提示もまた、再生装置に送信されることが好ましい。代替実施例では、提示はデータベースに格納されず、フィンガープリントを生成するときに全く使用されない。他の関係者が関連の再生装置に提示を提供し、各フィンガープリントとその関連の動作との間の関係を提供する。
【００３４】
図１ｂは、本発明によるトリガーマーカとしてのフィンガープリントの検出及び使用を概略的に示している。ビデオ及び／又はオーディオ情報／コンテンツを有するデジタル又はアナログマルチメディア信号（101）が図示されており、信号（101）は適切な再生装置で再生される。更に、マルチメディア信号（101）に基づいて継続的に又は実質的に連続的に生成されるフィンガープリントストリーム（104）が図示されている。代替として、フィンガープリントストリーム（104）はセグメントで生成される。フィンガープリントストリーム（104）（又はセグメント）は、データベースに格納されているフィンガープリント（102）と比較される。格納されているフィンガープリント（102）は、生産拠点で図１ａに関して説明したように生成されている。データベースはまた、格納されているフィンガープリント（102）毎に１つ又は複数の関連の動作（105）の提示を有することが好ましい。格納されているフィンガープリント（102）は、例えば、インターネットを介して、若しくは放送チャネルのサイドチャネルで、又はその他のチャネル若しくは他の手段を介して、配信サイトから受信される。関連の動作（105）の提示もまた、このように受信されてもよい。代替実施例では、提示及び各フィンガープリントとその関連の動作（105）との間の関係が他の関係者により提供される。
【００３５】
フィンガープリントストリーム（104）のセグメントとデータベースの所定のフィンガープリント（102）との間に合致が見つかった場合、その特定のフィンガープリント（102）の関連の動作（105）の提示が、適切な時点（Tn;Tn+1）で取り出されて実行される。フィンガープリントストリーム（104）のセグメントとデータベースのフィンガープリント（102）との間の合致の際に、フィンガープリント（102）が図１ａに関して説明したように生成された適切な時点（Tn;Tn+1）も決定される。所定の時点（Tn;Tn+1）は、合致するフィンガープリントが（図１ａに従った）生成中にもともと基づいているマルチメディア信号（101）のセグメントを所定の（Tn;Tn+1）で実質的に終了させることにより、決定されることが好ましい。代替実施例では、マルチメディア信号（101）のセグメントは、所定の時点（Tn;Tn+1）で実質的に開始してもよく、マルチメディア信号（101）のセグメントは、所定のトリガー時点（Tn;Tn+1）の前又は後の所定の間隔で開始又は終了してもよく、又は所定の時点（Tn;Tn+1）は、マルチメディア信号（101）のセグメントの開始と終了との間の所定の時点でもよい。再生装置は、生成中に使用される所定の時点と所定のフィンガープリントとの間の関係を認識しさえすればよい。
【００３６】
合致するフィンガープリント（102）が決定されると、関連の１つ又は複数の動作も取り出される。再生装置は、これらの動作を実行し、又は例えばそれらを実行する前にユーザ確認を待機することで、ユーザにそれらを提示してもよい。
【００３７】
前述の欧州特許出願01200505.4は、オーディオクリップについて計算されたフィンガープリントとデータベースに格納されているフィンガープリントとを合致する様々なマッチング方法を記載している。
【００３８】
更なる欧州特許出願012002720.7は、未知の情報信号を表すフィンガープリントとデータベースに格納されている識別情報信号の複数のフィンガープリントとを合致させ、未知の信号を特定する効率的な方法を記載している。この方法は、抽出されたフィンガープリントのビットの信頼情報を使用する。フィンガープリントのビットは、情報信号の特徴を計算し、その特徴を閾値比較してフィンガープリントのビットを得ることにより、決定される。特徴が閾値と非常に近い値を有する場合、信号の小さな変化は反対の値を備えたフィンガープリントのビットに導き得る。各フィンガープリントのビットを信頼性のあるもの又は信頼性のないものとしてマーキングするために、特徴の値と閾値との差の絶対値が使用される。実際のマッチング手順を改善するために、その後に信頼性が使用される。
【００３９】
本発明の更なる利点には、何らかの理由で放送が遅延した場合に、フィンガープリントの合致は、トリガー動作が放送の正確な対応時刻に依然として現れることを確保するという点がある。その理由は、本発明は時間と独立であるが、コンテンツに依存しているからである。
【００４０】
図２は、本発明によるフィンガープリント生成装置の概略ブロック図を示している。１つ又は複数のマイクロプロセッサ（図示せず）の制御でバス（205）等を介して通信するマルチメディア信号入力モジュール（201）、フィンガープリントモジュール（202）、データベース、メモリ記憶装置及び／又はそれと同様のもの（203）を有するフィンガープリント生成装置（200）が図示されている。一実施例では、フィンガープリント生成装置（200）は、有線及び／又は無線ネットワーク（例えばインターネット等）を介して他のシステム、装置等と通信する送信機及び受信機（204）をも任意選択で有してもよい。
【００４１】
マルチメディア信号入力モジュール（201）は、例えばアナログ若しくはデジタルオーディオ及び／又はビデオ信号の形式でマルチメディアコンテンツを受信し、マルチメディアコンテンツをフィンガープリントモジュール（202）に供給する。フィンガープリントモジュール（202）は、受信したマルチメディアコンテンツに基づいてフィンガープリントを計算する。フィンガープリントは、コンテンツ全体又はコンテンツの一部について導かれてもよい。代替として、複数のフィンガープリントがそれぞれ異なる部分から導かれてもよい。本発明によれば、フィンガープリントは、図１ａに関して説明したように、トリガー動作が必要なときに毎回（すなわち、時点（Tn;Tn+1）毎に）導かれる。時点の提示はまた、フィンガープリントモジュール（202）に供給される。
【００４２】
フィンガープリントモジュール（202）は、好ましくはフィンガープリント毎の関連の１つ又は複数の動作と共に、計算されたフィンガープリントをデータベース（203）に供給する。図４に示すように、データベース（203）は、フィンガープリント‘FP1’、‘FP2’、‘FP3’、‘FP4’、‘FP5’等と、それぞれ関連の動作‘A1’、‘A2’、‘A3’、‘A4’、‘A2’、‘A1’等とを有する。
【００４３】
データベース（203）は、クエリ時間及び／又はデータ編成を最適化するように様々な方法で体系化され得る。フィンガープリントモジュール（202）の出力は、データベース（203）のテーブルを設計するときに考慮されるべきである。図４に示す実施例では、データベース（203）は、各フィンガープリントと関連の（一式の）動作とを有するエントリ（レコード）を備えた単一のテーブルを有する。
【００４４】
図３は、本発明に従ってフィンガープリントを検出及び使用する再生装置の概略ブロック図である。１つ又は複数のマイクロプロセッサ（図示せず）の制御でバス（205）等を介して通信するマルチメディア信号受信機（301）、フィンガープリント検出器（302）、表示／再生回路（303）、データベース、メモリ記憶装置及び／又はそれと同様のもの（203’）を有する再生装置（300）が図示されている。一実施例では、再生装置（300）は、有線及び／又は無線ネットワーク（例えばインターネット等）を介して他のシステム、装置等と通信する送信機及び受信機（204）をも任意選択で有してもよい。
【００４５】
マルチメディア信号受信機（301）は、例えば放送ケーブル、アンテナ、パラボラアンテナ等の構成（図示せず）から表示及び／又は再生される例えばアナログ若しくはデジタルオーディオ及び／又はビデオ信号の形式でマルチメディア信号を受信する。受信したマルチメディア信号は、それからフィンガープリントストリーム又はセグメントを導き、図１ｂに関して説明したように、データベースに格納されているフィンガープリントと何らかの合致が存在するか否かを決定するフィンガープリント検出器（302）に供給される。合致が見つかった場合には、関連の動作の提示も取り出される。関連の動作についての適切な時点は、前述のように、合致するフィンガープリントにより得られる。
【００４６】
受信したマルチメディア信号は、表示／再生回路（303）により表示及び／又は再生され、適切な時点で、関連の動作が実行され、又は例えば動作を実行する前にユーザ確認を待機するユーザにそれらを提示される。
【００４７】
データベース（203’）のデータのレイアウトは、図４に示すものと対応することが好ましい。
【００４８】
再生装置（300）はまた、表示／再生前にマルチメディア信号の一部をバッファするバッファ機構（図示せず）を有してもよい。
【００４９】
図４は、本発明によるテーブル／レコードの一例を示している。フィンガープリント（102）‘FP1’、‘FP2’、‘FP3’、‘FP4’、‘FP5’等と、それぞれ関連の動作（105）‘A1’、‘A2’、‘A3’、‘A4’、‘A2’、‘A1’等とを有するテーブルが図示されている。１つ又は複数の動作（105）がフィンガープリント（102）毎に格納されている。所定のフィンガープリント（102）はテーブルに１回のみ格納されている。
【００５０】
特許請求の範囲において、括弧の間にある如何なる参照符号も特許請求の範囲を限定するものとして解釈されるべきではない。“有する”という用語は、請求項に記載のもの以外の要素又はステップの存在を除外するものではない。単数の要素は、そのような要素の複数の存在を除外するものではない。
【００５１】
本発明は、複数の異なる要素を有するハードウェアを用いて、及び適切にプログラムされたコンピュータを用いて実装され得る。複数の手段を列挙した装置の請求項において、複数のこれらの手段は、ハードウェアの同一のアイテムで具現され得る。特定の手段が相互に異なる従属項に記載されているという単なる事実は、これらの手段の組み合わせが有利に使用できないことを示しているのではない。
【図面の簡単な説明】
【００５２】
【図１ａ】本発明によるトリガーマーカとして使用されるフィンガープリントの生成を示した概略図である。
【図１ｂ】本発明によるトリガーマーカとしてのフィンガープリントの検出及び使用を示した概略図である。
【図２】本発明によるフィンガープリント生成装置の概略ブロック図である。
【図３】本発明に従ってフィンガープリントを検出及び使用する再生装置の概略ブロック図である。
【図４】本発明によるテーブル／レコードの一例である。
【特許請求の範囲】
【請求項１】
マルチメディア信号に１つ又は複数のトリガー動作を関係付ける方法であって、
−少なくとも１つのトリガー時点を提供し、トリガー時点毎に、少なくとも１つの関連のトリガー動作の少なくとも１つの提示を提供し、各トリガー時点は、前記マルチメディア信号の再生中に前記少なくとも１つの関連のトリガー動作が利用可能になる前記マルチメディア信号の時点を示すステップと、
−所定のトリガー時点毎に、前記マルチメディア信号のセグメントに基づいてフィンガープリントを導き、前記マルチメディア信号の前記セグメントは前記所定のトリガー時点と一義的に関係するステップと
を有する方法。
【請求項２】
請求項１に記載の方法であって、
得られたトリガー時点毎に、前記導かれたフィンガープリントと前記少なくとも１つの関連のトリガー動作の前記少なくとも１つの提示とを第１のデータベースに格納することを更に有することを特徴とする方法。
【請求項３】
請求項１又は２に記載の方法であって、
前記１つ又は複数の導かれたフィンガープリント及び／又は前記マルチメディア信号の前記少なくとも１つのトリガー動作の前記少なくとも１つの提示は、インターネットを介して、若しくは放送チャネルのサイドチャネルで、又はその他のチャネル若しくは手段を介して、再生装置に送信されることを特徴とする方法。
【請求項４】
請求項１ないし３のうちいずれか１項に記載の方法であって、
前記マルチメディア信号の前記セグメントは、
−前記所定のトリガー時点で実質的に終了する前記マルチメディア信号のセグメント、
−前記所定のトリガー時点で実質的に開始する前記マルチメディア信号のセグメント、
−前記所定のトリガー時点の前又は後の所定の間隔で開始又は終了する前記マルチメディア信号のセグメント、又は、
−前記マルチメディア信号のセグメントの開始と終了との間の所定の時点にある所定のトリガー時点
に従って前記所定のトリガー時点と一義的に関係することを特徴とする方法。
【請求項５】
マルチメディア信号で１つ又は複数のトリガー動作を検出する方法であって、
−前記マルチメディア信号に基づいてフィンガープリントストリームを生成するステップと、
−前記フィンガープリントストリームのセグメントと第２のデータベースのフィンガープリントとの間に合致が存在するか否かを決定するために、前記フィンガープリントストリームのセグメントと第２のデータベースに格納されている１つ又は複数のフィンガープリントとを比較し、前記第２のデータベースは、格納されているフィンガープリント毎に少なくとも１つの関連の動作の少なくとも１つの提示を更に有するステップと、
−合致が存在する場合には、合致するフィンガープリントに関連する前記少なくとも１つの関連の動作の前記少なくとも１つの提示を取り出すステップと
を有する方法。
【請求項６】
請求項５に記載の方法であって、
適切なトリガー時点で、前記合致するフィンガープリントに関連する前記少なくとも１つの関連の動作を実行するステップを更に有することを特徴とする方法。
【請求項７】
請求項６に記載の方法であって、
前記適切なトリガー時点は、前記合致するフィンガープリントの生成中に使用されるマルチメディア信号のセグメントとの一義的な関係により得られることを特徴とする方法。
【請求項８】
請求項１ないし４又は請求項５ないし７のうちいずれか１項に記載の方法であって、
前記マルチメディア信号は、オーディオ信号、ビデオ信号、又は結合したオーディオ／ビデオ信号であることを特徴とする方法。
【請求項９】
請求項１ないし４又は請求項５ないし８のうちいずれか１項に記載の方法であって、
前記少なくとも１つの関連のトリガー動作は、
−更なる情報を取り出してディスプレイに表示すること、
−更なる情報を取り出してスピーカを介して再生すること、
−所定又は可変の期間に前記マルチメディア信号の代わりに他のマルチメディア信号を再生すること、
−例えば一時的に表示／再生を中止／一時停止すること、
−他の制御コマンドを実行すること、及び／又は、
−ユーザ入力に対してシステムを準備すること
のグループから選択されることを特徴とする方法。
【請求項１０】
請求項１ないし４又は請求項５ないし９のうちいずれか１項に記載の方法であって、
前記導かれたフィンガープリント及び／又は前記第２のデータベースのフィンガープリントは、オーディオ及び／又はビデオフィンガープリントであることを特徴とする方法。
【請求項１１】
マルチメディア信号に１つ又は複数のトリガー動作を関係付けるマルチメディア装置であって、
−少なくとも１つのトリガー時点を提供し、トリガー時点毎に、少なくとも１つの関連のトリガー動作の少なくとも１つの提示を提供し、各トリガー時点は、前記マルチメディア信号の再生中に前記少なくとも１つの関連のトリガー動作が利用可能になる前記マルチメディア信号の時点を示す手段と、
−所定のトリガー時点毎に、前記マルチメディア信号のセグメントに基づいてフィンガープリントを導き、前記マルチメディア信号の前記セグメントは前記所定のトリガー時点と一義的に関係するフィンガープリント生成器と
を有する装置。
【請求項１２】
請求項１１に記載の装置であって、
得られたトリガー時点毎に、前記導かれたフィンガープリントと前記少なくとも１つの関連のトリガー動作の前記少なくとも１つの提示とを格納した第１のデータベースを更に有することを特徴とする装置。
【請求項１３】
請求項１１又は１２に記載の装置であって、
前記１つ又は複数の導かれたフィンガープリント及び／又は前記マルチメディア信号の前記少なくとも１つのトリガー動作の前記少なくとも１つの提示を、インターネットを介して、若しくは放送チャネルのサイドチャネルで、又はその他のチャネル若しくは手段を介して、再生装置に送信する送信機を更に有することを特徴とする装置。
【請求項１４】
請求項１１ないし１３のうちいずれか１項に記載の装置であって、
前記マルチメディア信号の前記セグメントは、
−前記所定のトリガー時点で実質的に終了する前記マルチメディア信号のセグメント、
−前記所定のトリガー時点で実質的に開始する前記マルチメディア信号のセグメント、
−前記所定のトリガー時点の前又は後の所定の間隔で開始又は終了する前記マルチメディア信号のセグメント、又は、
−前記マルチメディア信号のセグメントの開始と終了との間の所定の時点にある所定のトリガー時点
に従って前記所定のトリガー時点と一義的に関係することを特徴とする装置。
【請求項１５】
マルチメディア信号で１つ又は複数のトリガー動作を検出するオーディオ及び／又はビデオ再生装置であって、
−前記マルチメディア信号に基づいてフィンガープリントストリームを生成する手段と、
−前記フィンガープリントストリームのセグメントと第２のデータベースのフィンガープリントとの間に合致が存在するか否かを決定するために、前記フィンガープリントストリームのセグメントと第２のデータベースに格納されている１つ又は複数のフィンガープリントとを比較し、前記第２のデータベースは、格納されているフィンガープリント毎に少なくとも１つの関連の動作の少なくとも１つの提示を更に有する手段と、
−合致が存在する場合には、合致するフィンガープリントに関連する前記少なくとも１つの関連の動作の前記少なくとも１つの提示を取り出す手段と
を有する装置。
【請求項１６】
請求項１５に記載の装置であって、
適切なトリガー時点で、前記合致するフィンガープリントに関連する前記少なくとも１つの関連の動作を実行する手段を更に有することを特徴とする装置。
【請求項１７】
請求項１６に記載の装置であって、
前記適切なトリガー時点は、前記合致するフィンガープリントの生成中に使用されるマルチメディア信号のセグメントとの一義的な関係により得られることを特徴とする装置。
【請求項１８】
請求項１１ないし１４又は請求項１５ないし１７のうちいずれか１項に記載の装置であって、
前記マルチメディア信号は、オーディオ信号、ビデオ信号、又は結合したオーディオ／ビデオ信号であることを特徴とする装置。
【請求項１９】
請求項１１ないし１４又は請求項１５ないし１８のうちいずれか１項に記載の装置であって、
前記少なくとも１つの関連のトリガー動作は、
−更なる情報を取り出してディスプレイに表示すること、
−更なる情報を取り出してスピーカを介して再生すること、
−所定又は可変の期間に前記マルチメディア信号の代わりに他のマルチメディア信号を再生すること、
−例えば一時的に表示／再生を中止／一時停止すること、
−他の制御コマンドを実行すること、及び／又は、
−ユーザ入力に対してシステムを準備すること
のグループから選択されることを特徴とする装置。
【請求項２０】
請求項１１ないし１４又は請求項１５ないし１９のうちいずれか１項に記載の装置であって、
前記導かれたフィンガープリント及び／又は前記第２のデータベースのフィンガープリントは、オーディオ及び／又はビデオフィンガープリントであることを特徴とする装置。
【請求項２１】
１つ又は複数の処理ユニットに請求項１ないし４又は請求項５ないし１０のうちいずれか１項に記載の方法を実行させる命令を格納したコンピュータ読取可能媒体。
【請求項１】
マルチメディア信号に１つ又は複数のトリガー動作を関係付ける方法であって、
−少なくとも１つのトリガー時点を提供し、トリガー時点毎に、少なくとも１つの関連のトリガー動作の少なくとも１つの提示を提供し、各トリガー時点は、前記マルチメディア信号の再生中に前記少なくとも１つの関連のトリガー動作が利用可能になる前記マルチメディア信号の時点を示すステップと、
−所定のトリガー時点毎に、前記マルチメディア信号のセグメントに基づいてフィンガープリントを導き、前記マルチメディア信号の前記セグメントは前記所定のトリガー時点と一義的に関係するステップと
を有する方法。
【請求項２】
請求項１に記載の方法であって、
得られたトリガー時点毎に、前記導かれたフィンガープリントと前記少なくとも１つの関連のトリガー動作の前記少なくとも１つの提示とを第１のデータベースに格納することを更に有することを特徴とする方法。
【請求項３】
請求項１又は２に記載の方法であって、
前記１つ又は複数の導かれたフィンガープリント及び／又は前記マルチメディア信号の前記少なくとも１つのトリガー動作の前記少なくとも１つの提示は、インターネットを介して、若しくは放送チャネルのサイドチャネルで、又はその他のチャネル若しくは手段を介して、再生装置に送信されることを特徴とする方法。
【請求項４】
請求項１ないし３のうちいずれか１項に記載の方法であって、
前記マルチメディア信号の前記セグメントは、
−前記所定のトリガー時点で実質的に終了する前記マルチメディア信号のセグメント、
−前記所定のトリガー時点で実質的に開始する前記マルチメディア信号のセグメント、
−前記所定のトリガー時点の前又は後の所定の間隔で開始又は終了する前記マルチメディア信号のセグメント、又は、
−前記マルチメディア信号のセグメントの開始と終了との間の所定の時点にある所定のトリガー時点
に従って前記所定のトリガー時点と一義的に関係することを特徴とする方法。
【請求項５】
マルチメディア信号で１つ又は複数のトリガー動作を検出する方法であって、
−前記マルチメディア信号に基づいてフィンガープリントストリームを生成するステップと、
−前記フィンガープリントストリームのセグメントと第２のデータベースのフィンガープリントとの間に合致が存在するか否かを決定するために、前記フィンガープリントストリームのセグメントと第２のデータベースに格納されている１つ又は複数のフィンガープリントとを比較し、前記第２のデータベースは、格納されているフィンガープリント毎に少なくとも１つの関連の動作の少なくとも１つの提示を更に有するステップと、
−合致が存在する場合には、合致するフィンガープリントに関連する前記少なくとも１つの関連の動作の前記少なくとも１つの提示を取り出すステップと
を有する方法。
【請求項６】
請求項５に記載の方法であって、
適切なトリガー時点で、前記合致するフィンガープリントに関連する前記少なくとも１つの関連の動作を実行するステップを更に有することを特徴とする方法。
【請求項７】
請求項６に記載の方法であって、
前記適切なトリガー時点は、前記合致するフィンガープリントの生成中に使用されるマルチメディア信号のセグメントとの一義的な関係により得られることを特徴とする方法。
【請求項８】
請求項１ないし４又は請求項５ないし７のうちいずれか１項に記載の方法であって、
前記マルチメディア信号は、オーディオ信号、ビデオ信号、又は結合したオーディオ／ビデオ信号であることを特徴とする方法。
【請求項９】
請求項１ないし４又は請求項５ないし８のうちいずれか１項に記載の方法であって、
前記少なくとも１つの関連のトリガー動作は、
−更なる情報を取り出してディスプレイに表示すること、
−更なる情報を取り出してスピーカを介して再生すること、
−所定又は可変の期間に前記マルチメディア信号の代わりに他のマルチメディア信号を再生すること、
−例えば一時的に表示／再生を中止／一時停止すること、
−他の制御コマンドを実行すること、及び／又は、
−ユーザ入力に対してシステムを準備すること
のグループから選択されることを特徴とする方法。
【請求項１０】
請求項１ないし４又は請求項５ないし９のうちいずれか１項に記載の方法であって、
前記導かれたフィンガープリント及び／又は前記第２のデータベースのフィンガープリントは、オーディオ及び／又はビデオフィンガープリントであることを特徴とする方法。
【請求項１１】
マルチメディア信号に１つ又は複数のトリガー動作を関係付けるマルチメディア装置であって、
−少なくとも１つのトリガー時点を提供し、トリガー時点毎に、少なくとも１つの関連のトリガー動作の少なくとも１つの提示を提供し、各トリガー時点は、前記マルチメディア信号の再生中に前記少なくとも１つの関連のトリガー動作が利用可能になる前記マルチメディア信号の時点を示す手段と、
−所定のトリガー時点毎に、前記マルチメディア信号のセグメントに基づいてフィンガープリントを導き、前記マルチメディア信号の前記セグメントは前記所定のトリガー時点と一義的に関係するフィンガープリント生成器と
を有する装置。
【請求項１２】
請求項１１に記載の装置であって、
得られたトリガー時点毎に、前記導かれたフィンガープリントと前記少なくとも１つの関連のトリガー動作の前記少なくとも１つの提示とを格納した第１のデータベースを更に有することを特徴とする装置。
【請求項１３】
請求項１１又は１２に記載の装置であって、
前記１つ又は複数の導かれたフィンガープリント及び／又は前記マルチメディア信号の前記少なくとも１つのトリガー動作の前記少なくとも１つの提示を、インターネットを介して、若しくは放送チャネルのサイドチャネルで、又はその他のチャネル若しくは手段を介して、再生装置に送信する送信機を更に有することを特徴とする装置。
【請求項１４】
請求項１１ないし１３のうちいずれか１項に記載の装置であって、
前記マルチメディア信号の前記セグメントは、
−前記所定のトリガー時点で実質的に終了する前記マルチメディア信号のセグメント、
−前記所定のトリガー時点で実質的に開始する前記マルチメディア信号のセグメント、
−前記所定のトリガー時点の前又は後の所定の間隔で開始又は終了する前記マルチメディア信号のセグメント、又は、
−前記マルチメディア信号のセグメントの開始と終了との間の所定の時点にある所定のトリガー時点
に従って前記所定のトリガー時点と一義的に関係することを特徴とする装置。
【請求項１５】
マルチメディア信号で１つ又は複数のトリガー動作を検出するオーディオ及び／又はビデオ再生装置であって、
−前記マルチメディア信号に基づいてフィンガープリントストリームを生成する手段と、
−前記フィンガープリントストリームのセグメントと第２のデータベースのフィンガープリントとの間に合致が存在するか否かを決定するために、前記フィンガープリントストリームのセグメントと第２のデータベースに格納されている１つ又は複数のフィンガープリントとを比較し、前記第２のデータベースは、格納されているフィンガープリント毎に少なくとも１つの関連の動作の少なくとも１つの提示を更に有する手段と、
−合致が存在する場合には、合致するフィンガープリントに関連する前記少なくとも１つの関連の動作の前記少なくとも１つの提示を取り出す手段と
を有する装置。
【請求項１６】
請求項１５に記載の装置であって、
適切なトリガー時点で、前記合致するフィンガープリントに関連する前記少なくとも１つの関連の動作を実行する手段を更に有することを特徴とする装置。
【請求項１７】
請求項１６に記載の装置であって、
前記適切なトリガー時点は、前記合致するフィンガープリントの生成中に使用されるマルチメディア信号のセグメントとの一義的な関係により得られることを特徴とする装置。
【請求項１８】
請求項１１ないし１４又は請求項１５ないし１７のうちいずれか１項に記載の装置であって、
前記マルチメディア信号は、オーディオ信号、ビデオ信号、又は結合したオーディオ／ビデオ信号であることを特徴とする装置。
【請求項１９】
請求項１１ないし１４又は請求項１５ないし１８のうちいずれか１項に記載の装置であって、
前記少なくとも１つの関連のトリガー動作は、
−更なる情報を取り出してディスプレイに表示すること、
−更なる情報を取り出してスピーカを介して再生すること、
−所定又は可変の期間に前記マルチメディア信号の代わりに他のマルチメディア信号を再生すること、
−例えば一時的に表示／再生を中止／一時停止すること、
−他の制御コマンドを実行すること、及び／又は、
−ユーザ入力に対してシステムを準備すること
のグループから選択されることを特徴とする装置。
【請求項２０】
請求項１１ないし１４又は請求項１５ないし１９のうちいずれか１項に記載の装置であって、
前記導かれたフィンガープリント及び／又は前記第２のデータベースのフィンガープリントは、オーディオ及び／又はビデオフィンガープリントであることを特徴とする装置。
【請求項２１】
１つ又は複数の処理ユニットに請求項１ないし４又は請求項５ないし１０のうちいずれか１項に記載の方法を実行させる命令を格納したコンピュータ読取可能媒体。
【図１ａ】
【図１ｂ】
【図２】
【図３】
【図４】
【図１ｂ】
【図２】
【図３】
【図４】
【公表番号】特表２００７−５２８１４４（Ｐ２００７−５２８１４４Ａ）
【公表日】平成１９年１０月４日（２００７．１０．４）
【国際特許分類】
【出願番号】特願２００６−５１８４７７（Ｐ２００６−５１８４７７）
【出願日】平成１６年７月５日（２００４．７．５）
【国際出願番号】ＰＣＴ／ＩＢ２００４／０５１１２８
【国際公開番号】ＷＯ２００５／００６７５８
【国際公開日】平成１７年１月２０日（２００５．１．２０）
【出願人】（５９００００２４８）コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ (12,071)
【Ｆターム（参考）】
【公表日】平成１９年１０月４日（２００７．１０．４）
【国際特許分類】
【出願日】平成１６年７月５日（２００４．７．５）
【国際出願番号】ＰＣＴ／ＩＢ２００４／０５１１２８
【国際公開番号】ＷＯ２００５／００６７５８
【国際公開日】平成１７年１月２０日（２００５．１．２０）
【出願人】（５９００００２４８）コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ (12,071)
【Ｆターム（参考）】
[ Back to top ]