説明

テレビジョンまたは消費者向け電子製品デバイスでのコンテンツ認識および同期

【課題】ユーザに関連のメタデータを提供する。
【解決手段】オーディオストリームといったコンテンツのオーディオ部分がマルチメディアプログラムに関連付けられる。サーバは、ネットワークから、オーディオフィンガープリントとプログラム識別子を受信し、オーディオフィンガープリントをオーディオ識別子に関連付ける。プログラム識別子を含むリクエストパケットが、ネットワークを介して送信されて、プログラム識別子に関連付けられたプログラムガイド情報を要求する。プログラムガイド情報を含むプログラムデータは、ネットワークから受信され、オーディオ識別子に関連付けられたメタデータおよびプログラムデータは、ネットワーク上に送信される。

【発明の詳細な説明】
【技術分野】
【0001】
[0001] 本発明の例示的な態様は、概して、コンテンツ認識、より具体的にはオーディオコンテンツをマルチメディアプログラムに関連付けることに関する。
【背景技術】
【0002】
[0002] インターネットによって、消費者がメディアコンテンツを聴くおよび購入する方法が変化した。今日では、消費者は、デジタル音楽およびビデオを、それほど努力せずにダウンロードまたはストリーミングすることができる。さらに、消費者が、例えばバーにおいて、ラジオでかかって、あるアナウンスシステム等を介して聴いている曲を認識することができない場合、消費者は、単に、その音楽が再生されている場所で自身の電話機を持ち上げ、その曲のスニペットを音楽発見サービスに送信すると、ほんの数秒後に、曲名、その曲を録音したアーティスト、その曲が登場するアルバム、その曲がリリースされた年、およびアルバムの表紙の絵が消費者に報告される。数回ボタンを押すと、消費者は、認識した曲や関連のアルバムを買うことができる。
【発明の概要】
【発明が解決しようとする課題】
【0003】
[0003] テレビジョンおよび消費者向け電子製品デバイスの計算力が増加したことにより、TV番組を見ている際にインターネットサービスを配信する新しいアプリケーションがより人気となってきている。このようなアプリケーションは、インターネット上で利用可能なコンテンツ、情報、およびコミュニティフィーチャーを提供することによって、従来のTV視聴経験を補完しかつ高めるように設計されたインターネットアプリケーションと、TV視聴者がインタラクトすることを可能にする。
【0004】
[0004] 一部の放送局は、放送予定のテレビまたはラジオ番組の番組ガイド情報を送信し、この番組ガイド情報はスクリーン上に表示されうる。ユーザは、遠隔操作装置、キーボード、または電話機用キーパッドといった他の入力デバイスを用いて、時間、タイトル、チャンネル、ジャンル等によってコンテンツを視聴し、ナビゲートし、選択し、および見つけうる。
【0005】
[0005] オーディオフィンガープリンティングをテレビジョンおよび消費者向け電子製品(CE)デバイスに持ち込み、ある曲を特定のテレビ番組、映画、ゲーム、または他のコンテンツソースに関連付け、さらに、ユーザに関連のメタデータを提供することが有用であろう。このことを行う際の1つの技術的な難点は、曲をコンテンツまたはプログラムに関連付けることである。プログラムに関するメタデータを提供するための技術的努力にも関わらず、多くの場合、そのような情報が存在しないかまたは限定されている。さらに、オーディオ情報といった情報を、例えば個々のプログラム、ゲーム、ビデオ、テレビ番組、映画等といったコンテンツに関連付けるデータベースを構築するシステムを提供することも有用であろう。
【0006】
[0006] その上、オーディエンスモニタリングシステムの技術的努力にも関わらず、視聴者の傾聴の優先傾向のマイニング、デプロイメントおよび共有の成功を阻止する多くの障害がある。完全に異なる情報源を関連付けることによって、これらの情報をデータベースに収集することが有用であろう。
【課題を解決するための手段】
【0007】
[0007] 本明細書に記載される例示的な実施形態は、メディアコンテンツのオーディオ部分をメディアプログラムおよび決定されたオーディオ識別子(Audio_ID)に関連付けるための方法、システム、およびコンピュータプログラムプロダクトを提供することにより、上述した必要に応えるものである。かかるシステムは、ネットワークを介してデータを送信および受信するネットワークインタフェースを有するサーバを含む。サーバは、ネットワークからオーディオフィンガープリント(FP)とプログラム識別子(Prog_ID)を受信し、オーディオフィンガープリントをオーディオ識別子に関連付ける。プログラム識別子を含むリクエストパケットが、ネットワークを介して送信されて、プログラム識別子と関連付けられたプログラムガイド情報を要求する。プログラムガイド情報を含むプログラムデータは、ネットワークから受信され、オーディオ識別子に関連付けられたメタデータおよびプログラムデータは、ネットワーク上に送信される。ユーザデバイスは、オーディオフィンガープリントおよびプログラム識別子を用いてメタデータのリクエストを開始する。
【0008】
[0008] 別の態様では、ユーザデバイスが提供される。ユーザデバイスは、少なくとも1つのコンテンツソースからコンテンツを受信する入力インタフェースを含む。コンテンツは、オーディオ部分と、ビデオ部分と、プログラム識別子(Prog_ID)を含むプログラムガイドデータとを含むことが好適である。ユーザデバイスはさらに、オーディオ部分のサブセットからオーディオフィンガープリント(FP)を生成し、プログラム識別子およびオーディオフィンガープリントをネットワーク上に送信するプロセッサを含む。さらに、ユーザデバイスは、オーディオ識別子(Audio_ID)に関連付けられたメタデータおよびプログラムデータを、ネットワークインタフェースを通じてネットワークから受信する。
【0009】
[0009] 本発明の様々な例示的な実施形態のさらなる特徴および利点のみならず、構造および動作は、添付図面を参照して以下に詳細に説明する。
【0010】
[0010] 本明細書に提示する例示的な実施形態の特徴および利点は、同様の参照番号が同一または機能的に同様の要素を示す図面と共に、以下に記載する詳細な説明からより明らかとなろう。
【図面の簡単な説明】
【0011】
【図1】[0011] 図1(a)は、いくつかの実施形態が実施される例示的なコンテンツ認識および同期システム100のシステム図である。 [0012] 図1(b)は、いくつかの実施形態が実施される例示的なホームネットワークのブロック図である。
【図2】[0013] 図2は、本発明の一実施形態による例示的なユーザデバイスのブロック図である。
【図3】[0014] 図3は、プログラム識別子(Prog_ID)をオーディオ識別子(Audio_ID)に関連付け、受信したコンテンツのオーディオ部分に関連付けられたメタデータを戻すための例示的な手順を示すラダー図である。
【図4】[0015] 図4は、特定のプログラム識別子(Prog_ID)のための例示的なレコードを示す。
【図5】[0016] 図5は、いくつかの実施形態による汎用および/または専用コンピュータシステムのハイレベルブロック図である。
【発明を実施するための形態】
【0012】
[0017] テレビ番組、映画、ゲーム、および他のビデオソースに関連付けられた受信コンテンツ(例えば、曲、スピーチ)のオーディオ部分を認識するためのシステム、方法、装置、およびコンピュータ可読媒体が提供される。このコンテンツは、さらに個別におよび/または集合的にメディアまたはマルチメディアコンテンツとも呼びうる。いくつかの実施形態では、コンテンツは、例えばテレビジョンまたは別のタイプの消費者向け電子製品(CE)デバイスといったユーザデバイスに配信および/またはストリーミングされる。これらの実施形態のうちのいくつかは、コンテンツのオーディオ部分に関する情報を、プログラムガイド形式の情報に有利にリンクして、ユーザに、関連付けられたコンテンツ、プログラム、およびメタデータを提供する。次に、本明細書において、例示的な態様および実施形態を、インターネットに接続されたテレビジョン、消費者向け電子製品デバイス、および/または、コンテンツが再生されているおよび/または配信されている間に特定のコンテンツのオーディオ部分を認識するようにプログラムコードを実行する別のタイプのユーザデバイスの観点から、以下により詳細に記載する。これらの実施では、コンテンツはストリーミングを介して配信される。これらの実施は、遠隔認識サーバからプログラムガイド情報およびメタデータを有利に検索する。これは便宜のために過ぎず、本記載の適用を限定することを意図していない。実際に、以下の説明を読んだ後、当業者であれば、どのように以下の発明を代替の実施形態において、例えばローカルエリアネットワークを用いて、放送ネットワークを用いて実施して、放送データを受信する一方でバックチャネル等を介してリクエストを通信するかは明らかであろう。
【0013】
定義
[0018] 用語「マルチメディアプログラム」、「番組」、「プログラム」、「マルチメディアコンテンツ」等は、概して、様々なタイプのテレビ番組、映画、ゲーム、およびビデオを含むと理解される。
【0014】
[0019] 「電子プログラムガイド」、すなわち、「EPG」データは、通常、スクリーン上に表示され、また、遠隔操作装置、キーボード、または他の同様の入力デバイスを用いて、時間、タイトル、チャンネル、ジャンル等によってコンテンツをナビゲートし、選択し、および見つけることを視聴者に可能にするために用いることができる放送予定のテレビジョンのためのデジタルガイドを提供する。さらに、EPGデータ情報は、デジタルビデオレコーダ(DVR)またはパーソナルビデオレコーダ(PVR)によって未来のレコーディングを予定するために用いることができる。
【0015】
[0020] 参照し易くするために、いくつかの追加の用語を以下にアルファベット順に定義する。これらの用語は、これらの定義に厳格に制限されるものではない。用語は、本記載の他のセクションにおけるその使用によってさらに定義されることもある。
【0016】
[0021] 「アルバム」とは、トラックのコレクションを意味する。アルバムは、通常、レコードレーベル(例えばワーナー・ブラザーズやユニバーサル・ミュージック)といった確立した事業体によってもともとは発表される。
【0017】
[0022] 「オーディオフィンガープリント」(例えば「フィンガープリント」、「音響フィンガープリント」、「デジタルフィンガープリント」)は、オーディオ信号から確定的に生成される特定の音響特性のデジタル尺度であり、オーディオサンプルを識別するおよび/またはオーディオデータベースにおいて同様のアイテムを素早く見つけるために用いることができる。オーディオフィンガープリントは、一般に、例えばCD、DVD、および/またはブルーレイディスクといった特定のアイテムのための一意の識別子として機能する。用語「識別子」は、以下に定義される。オーディオフィンガープリントは、メタデータによって影響を受けない独立したデータ片である。マクロビジョン(登録商標)は、様々なオーディオサンプルに対し2500万以上の一意フィンガープリントを記憶したデータベースを有する。オーディオフィンガープリントの実際の使用には、限定されることなく、曲の識別、レコードの識別、メロディの識別、曲目の識別、広告の識別、ラジオ放送のモニタリング、マルチポイントおよび/またはピアツーピアネットワークのモニタリング、音響効果ライブラリの管理、およびビデオファイルの識別が含まれる。
【0018】
[0023] 「オーディオフィンガープリンティング」とは、オーディオフィンガープリントを生成するプロセスである。「デジタルオーディオファイルを分析するための方法およびシステム(Method and System for Analyzing Digital Audio Files)」なる名称の米国特許第7,277,766号は、参照することにより本明細書に組み込むものであるが、オーディオ波形のオーディオフィンガープリントを取るための装置の一例を提供する。「メディアオブジェクトを識別するための方法および装置(Method and Apparatus for Identifying Media Objects)」なる名称の米国特許第7,451,078号は、参照することにより本明細書に組み込むものであるが、オーディオレコーディングのオーディオフィンガープリントを生成するための装置の一例を提供する。
【0019】
[0024] ブルーレイディスクとも知られている「ブルーレイ」は、ブルーレイディスク協会と、アップル、デル、日立、HP、JVC、LG、三菱、パナソニック、パイオニア、フィリップス、サムソン、シャープ、ソニー、TDKおよびトムソンを含むパーソナルコンピュータおよびメディア製造業者とによって共同開発されたディスクフォーマットである。このフォーマットは、高品位(HD)ビデオの記録、書換え、および再生、並びに大量のデータを記憶することを可能にすべく開発された。このフォーマットは、従来のDVDの記憶容量よりも5倍以上の記憶容量を提供し、シングルレイヤーディスクでは25GBを、20レイヤーディスクでは800GBを保持することができる。より多くのレイヤーおよびより多くの記憶容量も実現可能でありうる。この追加の容量を、最新オーディオおよび/またはビデオコーデックの使用と組み合わせると、消費者にかつて経験したことのないようなHD経験が提供される。CDおよびDVDといった現在のディスク技術は、赤色レーザーに依存してデータを読み書きするが、ブルーレイフォーマットは代わりに青紫色レーザーを用い、これが名前ブルーレイの由来である。青紫色レーザー(605nm)を用いることの利点は、赤色レーザー(650nm)より短い波長を有することである。より短い波長は、レーザースポットをより高い精度で合焦させることを可能にする。この追加された精度によって、データをより密にパックし、より小さい空間に記憶することが可能となる。したがって、ブルーレイディスクは、従来のCDまたはDVDと実質的に同じ物理寸法を有しうるが、ブルーレイディスク上には実質的により多くのデータを入れることができる。
【0020】
[0025] 「チャプタ」とは、ブルーレイディスク、CD、またはDVDといったディスク上のオーディオおよび/またはビデオデータブロックを意味する。1つのチャプタは、オーディオおよび/またはビデオレコーディングの少なくとも一部分を記憶する。
【0021】
[0026] 「コンパクトディスク」(CD)とは、デジタルデータを記憶するように用いられるディスクを意味する。CDは、もともとはデジタルオーディオを記憶するために開発された。標準CDは、740mmの直径を有し、通常、最大で80分のオーディオを保持することができる。直径が60から80mmのミニCDもある。ミニCDは、時にはCDシングルに用いられ、通常最大で24分のオーディオを記憶する。CD技術は、限定されることなく、データ記憶CD−ROM、ライトワンスオーディオおよびデータ記憶CD−R、リライタブルメディアCD−RW、スーパーオーディオCD(SACD)、ビデオコンパクトディスク(VCD)、スーパービデオコンパクトディスク(SVCD)、フォトCD、ピクチャCD、コンパクトディスクインタラクティブ(CD−i)、およびエンハンスドCDを含むように適応かつ拡張されてきた。標準CDレーザーによって使用される波長は650nmであり、したがって、標準CDレーザーの光は、通常、赤色である。
【0022】
[0027] 「データベース」とは、コンピュータプログラムが所望のデータ片を素早く選択しうるように整理されたデータの集まりを意味する。データベースは電子ファイリングシステムである。いくつかの実施では、用語「データベース」は、「データベース管理システム」の簡潔表現として用いられうる。
【0023】
[0028] 「デバイス」とは、ソフトウェア、ハードウェア、またはそれらの組み合わせを意味する。デバイスとは、時には装置と呼ばれることもある。デバイスの例には、限定されないが、マイクロソフトワード(登録商標)といったソフトウェアアプリケーション、ラップトップコンピュータ、データベース、サーバ、ディスプレイ、コンピュータマウスおよびハードディスクが含まれる。
【0024】
[0029] 「デジタルビデオディスク」(DVD)は、デジタルデータを記憶するように用いられるディスクを意味する。DVDは、もともとはデジタルビデオおよびデジタルオーディオデータを記憶するために開発された。多くのDVDは、コンパクトディスク(CD)と実質的に同じ物理寸法を有するが、DVDは6倍以上のデータを記憶する。直径が60から80mmのミニDVDもある。DVD技術は、DVD−ROM、DVD−R、DVD+R、DVD−RW、DVD+RW、およびDVD−RAMを含むように適応かつ拡張されてきた。標準DVDレーザーによって使用される波長は約650nmであり、したがって、標準DVDレーザーの光は、通常、赤色である。
【0025】
[0030] 「ファジー検索」(例えば「ファジー文字列検索」、「近似文字列検索」)とは、所与のテキスト文字列パターンに大体または実質的に一致するテキスト文字列の検索を意味する。ファジー検索は、近似または不正確(inexact)マッチングとも知られうる。正確なマッチがファジー検索を行っている間に偶然に発生することもある。
【0026】
[0031] 「シグネチャ」とは、たとえば特にトラック、曲、アルバム、CD、DVD、および/またはブルーレイディスクといったアイテムを一意に識別する識別手段を意味する。シグネチャの例には、限定されることなく、特に、以下のコンピュータ可読フォーマットにある、オーディオフィンガープリント、オーディオフィンガープリントの一部、オーディオフィンガープリントから導出されるシグネチャ、オーディオシグネチャ、ビデオシグネチャ、ディスクシグネチャ、CDシグネチャ、DVDシグネチャ、ブルーレイディスクシグネチャ、メディアシグネチャ、高品位メディアシグネチャ、人のフィンガープリント、人のフットプリント、動物のフィンガープリント、動物のフットプリント、手書きのシグネチャ、アイプリント、バイオメトリックシグネチャ、網膜シグネチャ、網膜スキャン、DANシグネチャ、DNAプロファイル、遺伝子シグネチャ、および/または、遺伝子プロファイルが含まれる。シグネチャは、あらゆる言語におけるあらゆる符号化基準に適合する任意のコンピュータ可読文字列でありうる。符号化基準の例には、限定されることなく、アルファベット、英数字、10進数、16進数、バイナリ、情報交換標準コード(ASCII)、ユニコードおよび/または汎用文字セット(UCS)が含まれる。特定のシグネチャは、最初はコンピュータ可読ではない場合もある。例えば、人の潜伏指紋が、物理世界のドアノブに付けられうる。最初はコンピュータ可読ではないシグネチャは、任意の適切な変換技術を用いることによってコンピュータ可読シグネチャに変換されうる。例えば、人の潜伏指紋をコンピュータ可読シグネチャに変換するための変換技術には、うね特性分析が含まれうる。
【0027】
[0032] 「リンク」とは、メモリ内のオブジェクトまたはエレメントとの関連付けを意味する。リンクは通常ポインタである。ポインタは、メモリ内のロケーションのアドレスを含む変数である。ロケーションは、アレイのオブジェクトまたは値型、またはエレメントといった割り当てられたオブジェクトの開始点である。メモリは、データベースまたはデータベースシステム上に設置されうる。「リンキング」とは、メモリ内のオブジェクトとの関連付け(例えばポインティング)を意味する。
【0028】
[0033] 「メタデータ」とは一般に、データを記述するデータを意味する。より具体的には、メタデータは、デジタルレコーディングのコンテンツを記述するように使用されうる。このようなメタデータには、例えばトラック名、曲名、アーティスト情報(例えば名前、誕生日、ディスコグラフィ)、アルバム情報(例えばアルバムタイトル、レビュー、トラックリスト、音サンプル)、関係情報(例えば似たアーティストおよびアルバム、ジャンル)および/または広告、リンクまたはプログラム(たとえばソフトウェアアプリケーション)および関連画像といった他のタイプの補足情報が含まれうる。メタデータは、マルチメディアコンテンツに関連付けられる曲またはオーディオコンテンツのプログラムガイドリストも含みうる。従来の光ディスク(例えばCD、DVD、ブルーレイディスク)は、通常、メタデータを含まない。メタデータは、デジタルレコーディング(例えば曲、アルバム、映画またはビデオ)が光ディスクからリッピングされ、別のデジタルオーディオフォーマットに変換されてハードドライブに記憶された後にデジタルレコーディングに関連付けられうる。
【0029】
[0034] 「ネットワーク」とは、データの伝送を可能にする、任意の2以上のコンピュータ間の接続を意味する。ネットワークは、限定されることなく、インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク、ワイヤレスネットワーク、およびセルラネットワークを含む任意のネットワークに組み合わせであってよい。
【0030】
[0035] 「発生(occurrence)」とは、レコーディングのコピーを意味する。発生は、レコーディングの正確なコピーであることが好適である。例えば同じプレシング(pressing)の様々な発生は、通常、正確なコピーである。しかし、発生は、レコーディングの正確なコピーでは必ずしもなく、実質的に同様のコピーであることもある。レコーディングは、限定されないが、コピープロセスの不完全性、様々な設定を有する様々なプレシング、様々な符号化を有する様々なコピー、およびその他の理由を含むいくつかの理由から不正確なコピーでありうる。したがって、レコーディングは、正確なコピーまたは実質的に同様のコピーでありうる複数の発生のソースでありうる。様々な発生が、限定されないが、様々なユーザデバイス、様々なMP3プレイヤ、様々なデータベース、様々なラップトップ等を含む様々なデバイスに設置されうる。レコーディングの各発生は、限定されないが、フロッピー(登録商標)ディスク、ミニディスク、光ディスク、ブルーレイディスク、DVD、CD−ROM、マイクロドライブ、磁気‐光ディスク、ROM、RAM、EPROM、EEPROM、DRAM、VRAM、フラッシュメモリ、フラッシュカード、磁気カード、光カード、ナノシステム、分子メモリ集積回路、RAID、遠隔データ記憶装置/アーカイブ/ウェアハウス、および/または任意の他のタイプの記憶デバイスを含む任意の適切な記憶媒体に設置されうる。発生は、データベースまたはリストにコンパイルされてもよい。
【0031】
[0036] 「プレシング」(例えば「ディスクプレシング」)とは、マスタからディスクプレス内でディスクを製造することを意味する。ディスクプレスは、DVDに対しては約650nm、または、ブルーレイディスクに対しては約605nmの帯域幅を有するレーザービームを含むことが好適である。
【0032】
[0037] 「レコーディング」とは、再生用のメディアデータを意味する。レコーディングは、コンピュータ可読デジタルレコーディングであることが好適であり、例えば特にオーディオトラック、ビデオトラック、曲、チャプタ、CDレコーディング、DVDレコーディング、および/またはブルーレイディスクレコーディングでありうる。
【0033】
[0038] 「サーバ」とは、同じまたは別のコンピュータ内の別のコンピュータプログラム(およびそのユーザ)にサービスを提供するソフトウェアアプリケーションを意味する。サーバとは、特定のサーバアプリケーションを実行するための物理コンピュータを指すこともある。例えばソフトウェアのアパッチHTTPサーバが会社のウェブサイト用のウェブサーバとして使用される場合、そのアパッチを実行しているコンピュータもウェブサーバと呼ばれる。サーバアプリケーションは、作業負荷に応じて、最大範囲にわたって複数のサーバコンピュータ間で分けられうる。
【0034】
[0039] 「ソフトウェア」とは、当業者によって使用されうるプログラミング言語で書かれたコンピュータプログラムを意味する。選択されたプログラミング言語は、ソフトウェアアプリケーションを実行するコンピュータ、特にそのコンピュータのオペレーティングシステムと適合性があるべきである。適切なプログラミング言語の例には、限定されることなく、オブジェクトパスカル、C、C++、およびJava(登録商標)が含まれる。さらに、いくつかの実施形態の機能は、方法の一連のステップとして説明される場合に、プロセッサによって操作される一連のソフトウェア命令として実施されてもよく、それにより、実施形態は、ソフトウェア、ハードウェア、またはそれらの組み合わせによって実施されうる。コンピュータ可読媒体は、以下の別のセクションにおいてより詳細に説明する。
【0035】
[0040] 「曲」とは、楽曲を意味する。曲は、通常、レコードレーベル(例えばレコーディング会社)によってトラックに記録される。曲は、例えばラジオバージョンまたは拡張バージョンといったように多くの様々なバージョンを有してよい。
【0036】
[0041] 「システム」とは、デバイスまたは複数の結合されたデバイスを意味する。デバイスは上で定義してある。
【0037】
[0042] 「トラック」は、オーディオ/ビデオデータブロックを意味する。データは、例えばブルーレイディスク、CDまたはDVDといったディスク上にありうる。
【0038】
[0043] 「ユーザ」とは、製品および/またはサービスの市場における消費者、クライアント、および/またはクライアントデバイスを意味する。
【0039】
[0044] 「ユーザデバイス」(例えば「クライアント」、「クライアントデバイス」、「ユーザコンピュータ」)とは、ハードウェアシステム、ソフトウェアオペレーティングシステム、および/または1以上のソフトウェアアプリケーションプログラムである。ユーザデバイスとは、単一のコンピュータまたはインタラクトするコンピュータのネットワークを指してもよい。ユーザデバイスは、クライアント‐サーバアーキテクチャのクライアント部分であってもよい。ユーザデバイスは、通常、サーバに依存して、いくつかの作業を行う。ユーザデバイスの例には、限定されることなく、テレビジョン、CDプレイヤ、DVDプレイヤ、ブルーレイディスクプレイヤ、パーソナルメディアデバイス、ポータブルメディアプレイヤ、iPod(登録商標)、ズームプレイヤ、ラップトップコンピュータ、パームトップコンピュータ、スマートホン、セルラホン、モバイルホン、MP3プレイヤ、デジタルオーディオレコーダ、デジタルビデオレコーダ、マイクロソフトウィンドウ(登録商標)といったオペレーティングシステムを有するIBM式パーソナルコンピュータ(PC)、MAC−OSといったオペレーティングシステムを有するアップル(登録商標)コンピュータ、JAVA(登録商標)−OSオペレーティングシステムを有するハードウェア、UNIX(登録商標)オペレーティングシステムを有するサンマイクロシステムズワークステーションが含まれる。
【0040】
[0045] 「ウェブブラウザ」とは、ウェブサイトのウェブページからテキスト、グラフィックス、または両方を表示可能な任意のソフトウェアプログラムを意味する。ウェブブラウザの例には、限定されることなく、モジラファイアフォックス(登録商標)およびマイクロソフトインターネットエクスプローラ(登録商標)が含まれる。
【0041】
[0046] 「ウェブページ」とは、限定されることなく、HTML(ハイパーテキストマークアップ言語)またはVRML(仮想現実モデリング言語)、ダイナミックHTML、XML(拡張マークアップ言語)、またはそれらの関連のコンピュータ言語を含むマークアップ言語で書かれた任意のドキュメント、並びに1つの特定のインターネットアドレスを通じてまたは1つの特定のウェブサイトにおいて、到達可能なそのようなドキュメントの任意のコレクション、または特定のURL(ユニフォームリソースロケータ)を通じて入手可能な任意のドキュメントを意味する。
【0042】
[0047] 「ウェブサーバ」とは、ウェブブラウザに少なくとも1つのウェブページを提供可能なコンピュータまたは他の電子デバイスを指す。ウェブサーバの一例は、ヤフー(登録商標)ウェブサーバである。
【0043】
[0048] 「ウェブサイト」は、少なくとも1つのウェブページ、より一般的には、コヒーレントグループを形成するよう仮想的に結合された複数のウェブページを意味する。
【0044】
システムアーキテクチャ
[0049] 図1(a)は、一実施形態がその中で実施される例示的なオーディオ認識および同期システム100のシステム図である。図1(a)に示されるように、システム100は、マルチメディアコンテンツを提供する少なくとも1つのコンテンツソース102と、マルチメディアストリーム(例えばオーディオメタデータ)のオーディオ部分に関連付けられる補足コンテンツを含むメタデータデータベース106とを含む。以下により詳細に説明されるように、メタデータデータベース106はさらに、関連付けられているプログラムメタデータおよびオーディオメタデータ用のレポジトリであってもよい。
【0045】
[0050] ガイドデータベース108が、マルチメディアプログラムに関連付けられたEPGデータを提供する。図1(a)に示されるように、ガイドデータベース108は、EPGデータを、テレビジョン、オーディオデバイス、ビデオデバイス、および/または別のタイプのユーザおよび/または消費者向け電子製品(CE)デバイスといったコンテンツおよび/またはメディア用のユーザデバイス104に提供する。ガイドデータベース108は、ユーザデバイス104に直接的には通信されない場合もあるプログラムメタデータも格納する。
【0046】
[0051] 図1(a)に示されるように、メタデータデータベース106およびガイドデータベース108は、リンクされている。1つの実施形態では、このリンクは、ユーザデバイス104内から開始される。ユーザデバイス104からのリクエストパケットによって、遠隔サーバ(図2中、110と示される)にオーディオデータをあるプログラムに、そのプログラムに関するメタデータを検索するために関連付けさせる。いくつかの実施形態では、この関連付けは、論理的関連付けおよび/またはリンクである。しかしながら、メタデータデータベース106内のエントリとガイドデータベース108内のエントリとの間のリンクは、物理的であってもよく、これも依然として本発明の範囲内であることは理解されるべきである。
【0047】
[0052] 例えばコンテンツソース102から合わせられたテレビジョンプログラムといったマルチメディアコンテンツに対応するプログラム識別子(Prog_ID)が、ガイドデータベース108によってユーザデバイス104に提供される。ユーザデバイス104は、マルチメディアコンテンツのオーディオコンテンツに対してアルゴリズムを行い、オーディオフィンガープリント(FP)を生成するか、またはウォーターマークを抽出し、これらは、次にインターネットといったネットワーク124を介して認識サーバに通信される。認識サーバは、メタデータデータベース106を含むか、メタデータデータベース106と通信する。いくつかの実施形態の認識サーバは、図2に関連してさらに説明する。メタデータデータベース106の検索が、オーディオフィンガープリント(FP)に基づいて、行われて、コンテンツソース102からユーザデバイス104によって受信されたコンテンツのオーディオ部分に関連付けられたオーディオ識別子(Audio_ID)をルックアップする。一度識別されると、オーディオ識別子(Audio_ID)は、プログラム識別子(Prog_ID)と共に、メタデータデータベース106とガイドデータベース108内のエントリ間の論理リンクを形成するために用いられる。
【0048】
[0053] オーディオ部分のサブセットのみが用いられてフィンガープリント(FP)を生成することが好適である。一例では、フィンガープリンティング手順は、ステレオパルス符号変調(PCM)オーディオストリームに変換されている符号化または圧縮されたオーディオデータに対して、プロセッサによって実行される。パルス符号変調は、多くの消費者向け電子製品がそれにより操作されかつ内部でオーディオデータを圧縮および/または非圧縮するフォーマットである。本発明の実施形態は、あらゆるタイプのオーディオデータファイルまたはストリームに対して有利に行われ、したがって、PCMフォーマット化されたオーディオストリームに対する操作に限定されない。したがって、オーディオフィンガープリンティングを行うために用いられるあらゆるメモリサイズ、フレーム数、サンプリングレート、時間等は、本発明の範囲内である。
【0049】
[0054] 図1(b)は、いくつかの実施形態がその中で実施される例示的なホームネットワークのブロック図である。ホームネットワーク上には、ネットワークレディテレビジョン104a、パーソナルコンピュータ104b、ゲームデバイス104c、デジタルビデオレコーダ104d、他のデバイス104e等といった様々なユーザデバイスがありうる。ユーザデバイス104a〜104eは、マルチメディア信号線130を通じて、図2に関連して以下に説明する入力インタフェース208といった入力インタフェースを通じて、コンテンツソース102からマルチメディアコンテンツを受信しうる。さらに、ユーザデバイス104a〜104eは、有線または無線ルータ120を通じて、イーサネット(登録商標)といったネットワーク接続132を介して互いと通信しうる。ルータ120は、ユーザデバイス104a〜104eを、モデム122を通じて、インターネットといったネットワーク124に接続する。代替実施形態では、コンテンツソース102は、ネットワーク124から配信される。
【0050】
[0055] 図2は、いくつかの実施形態のユーザデバイス104のより詳細な図を含む。図2に示されるように、例示的なユーザデバイス104は、通信インフラストラクチャ(図示せず)を通じて、出力インタフェース206を介して出力コンポーネントと、通信インタフェース210と、メモリ214と、記憶デバイス216と、遠隔制御インタフェース218と、入力インタフェース208に結合されるプロセッサ212を含む。
【0051】
[0056] 入力インタフェース208は、コンテンツソース102から例えばオーディオおよびビデオストリームの形式にあるコンテンツを受信する。コンテンツソース102は、ユーザデバイス104と、例えばHDMI(高品位マルチメディアインタフェース)、無線周波数(RF)、同軸ケーブル、コンポジットビデオ、S−ビデオ、SCART、コンポーネントビデオ、D−ターミナル、VGA等を通じて通信する。コンテンツソース102は、セットトップボックス、ブルーレイディスクプレイヤ、パーソナルコンピュータ(PC)、例えばPlayStation3およびXBox360といったビデオゲームコンソール、A/Vレシーバ等を含む。コンテンツソース102は、映画、番組、またはゲーム用のプログラム識別子を提供し、プログラム識別子はメモリ214内に記憶される。
【0052】
[0057] 図2に示される例では、かかるコンテンツソース102から入力インタフェース208によって受信されたビデオ信号は、出力インタフェース206に直接結合される。オーディオ信号は、さらなる処理のためにプロセッサ212に通信される。プロセッサ212は、受信したコンテンツのオーディオ部分の少なくともサブセットに対してオーディオフィンガープリンティングを行い、1以上の遠隔サーバからメタデータを要求する。図3に対して以下により詳細に説明されるように、メタデータは、生成されたオーディオフィンガープリント(FP)および/またはプログラム識別子に基づいて要求されることが好適である。
【0053】
[0058] ユーザデバイス104はさらに主メモリ214を含む。主メモリ214は、ランダムアクセスメモリ(RAM)であることが好適である。ユーザデバイス104はさらに記憶デバイス216を含みうる。記憶デバイス216(時には「2次メモリ」とも呼ばれる)は、例えばハードディスクドライブ、および/または、ディスクドライブ、磁気テープドライブ、光ディスクドライブ等を表すリムーバブル記憶デバイスを含みうる。当然ながら、記憶デバイス216は、コンピュータソフトウェアおよび/またはデータを記憶したコンピュータ可読記憶媒体を含みうる。
【0054】
[0059] 代替実施形態では、記憶デバイス216は、コンピュータプログラムまたは他の命令がユーザデバイス104にロードされることを可能にするための他の同様のデバイスを含みうる。このようなデバイスには、例えばリムーバブル記憶ユニットおよびインタフェースが含まれうる。それらの例には、ビデオゲームデバイス、消去可能プログラマブル読出し専用メモリ(EPROM)またはプログラマブル読出し専用メモリ(PROM)といったリムーバブルメモリチップ、関連付けられるソケット、および、ソフトウェアおよびデータがリムーバブル記憶ユニットからユーザデバイス104に転送されることを可能にする他のリムーバブル記憶ユニットおよびインタフェースに見受けられるようなプログラムカートリッジおよびカートリッジインタフェースが含まれうる。
【0055】
[0060] ユーザデバイス104は、インターネットといったネットワーク124への接続性を提供するために通信インタフェース210を含む。通信インタフェース210もソフトウェアおよびデータが、ユーザデバイス104と外部デバイス間で転送されることを可能にする。通信インタフェース210の例には、モデムや、イーサネット(登録商標)カード、通信ポート、パーソナルコンピュータメモリカード国際協会(PCMCIA)スロットおよびカード等といったネットワークインタフェースが含まれうる。通信インタフェース210を介して転送されるソフトウェアおよびデータは、電子、電磁、光でありうる信号、または、通信インタフェース210によって受信されることが可能な他の信号の形式にある。これらの信号は、例えば1以上の認識サーバ110からの例えばチャネルである通信経路を介して通信インタフェース210に提供される。このチャネルは信号を運び、また、有線またはケーブル、光ファイバ、電話線、セルラリンク、RFリンク、および他の通信チャネルを用いて実施されうる。
【0056】
[0061] 遠隔制御インタフェース218は、例えばテレビジョン遠隔操作装置または他の入力デバイスキーボードである遠隔操作装置204から受信した信号を復号化し、その復号化された信号をプロセッサ212に通信する。復号化された信号は、次にプロセッサ212によって変換かつ処理される。
【0057】
[0062] 図2に示されるように、認識サーバ110はさらに、統計データベース220およびガイドデータベース106と通信しうる。統計データベース220および/またはガイドデータベース108はさらに、メタデータデータベース106とも直接通信しうる。さらに、メタデータデータベース106は、認識サーバ110の一部であっても、認識サーバ110から遠隔であってもよい。
【0058】
[0063] 図3は、プログラム識別子(Prog_ID)をオーディオ識別子(Audio_ID)に関連付け、曲に関連付けられたメタデータを戻すための例示的な手順を示すラダー図である。図2および図3を共に参照するに、初めに、ユーザデバイス104は、例えば遠隔操作装置204によるルックアップを開始するコマンドを受信する。次に、入力インタフェース208は、コンテンツソース102からのオーディオストリームのサンプルを獲得し、PCMオーディオストリームといったオーディオストリームを例えばプロセッサ212に供給し、プロセッサ212は、獲得されたオーディオに対してオーディオ認識処理を実行する。具体的には、プロセッサ212は、獲得されたオーディオを分析して、オーディオフィンガープリント(FP)を生成する。
【0059】
[0064] なお、プロセッサ212によって様々なオーディオフィンガープリンティングアルゴリズムを実行してオーディオフィンガープリントを生成することができ、また、オーディオフィンガープリントは様々でありうることは理解されるべきである。2つの例示的なオーディオフィンガープリンティングアルゴリズムが、2004年12月30日に出願された「メディアオブジェクトを識別するための方法および装置(Methods and Apparatus for Identifying Media Objects)」なる名称の米国特許第7,451,078号、および、2000年10月24日に出願された「デジタルオーディオファイルを分析するための方法およびシステム(Method and System for Analyzing Digital Audio Files)」なる名称の米国特許第7,277,766号に記載されている。これらの特許は共に、参照することにより、本願にその全体を組み込むものとする。同様に、獲得されたオーディオのオーディオフィンガープリントを取るのではなく、他のオーディオ識別技術を用いてもよい。例えばオーディオストリームに埋め込まれたウォーターマークまたはオーディオストリームに挿入されたタグを識別子(例えばAudio_ID)として用いることができる。
【0060】
[0065] プロセッサ212によってオーディオフィンガープリント(FP)または他の識別子が生成されると、オーディオフィンガープリント(FP)およびプログラム識別子(Prog_ID)が1以上の認識サーバ110に送信される。認識サーバ110は、より一般的にバックエンドサーバとしても呼ばれることもある。認識サーバ110は、次に曲のオーディオフィンガープリント(FP)に基づいて、例えば再生されている曲といったコンテンツのオーディオ部分に関連付けられたオーディオ識別子(Audio_ID)のルックアップを行う。コンテンツのオーディオ部分に関するメタデータも、メタデータデータベース106から検索される。
【0061】
[0066] プログラム識別子(Prog_ID)は、ガイドデータベース108に送信される。次にガイドデータベース108は、受信したコンテンツおよび/またはオーディオメタデータのオーディオ部分に関する情報を含むプログラムメタデータを戻す。いくつかの実施形態のガイドデータベース108は、メタデータを、1以上のデータグラムおよび/またはパケットで戻す。例えばオーディオメタデータおよびプログラムメタデータは、同じパケットまたは別個のパケットで戻される。ガイドデータベース108によって認識サーバ110に送信されるパケットは、最初のリクエストからの戻りパケットである。したがって、パケットで運ばれるメタデータは、ネットワーク124上の他のサーバ、データベース、および/またはデバイスによって試験かつ認識されるパケットのフィールドに提供される情報の識別に基づいて適切にマッチされることが好適である。この識別フィールドは、プログラム識別子(Prog_ID)またはユーザデバイス104によって最初に提供されるか、および/または、例えばプロセッサ212または通信インタフェース210によって生成される他の識別子であってよい。認識サーバ110は、ネットワーク124上に、オーディオ識別子(Audio_ID)をメタデータと共に、ユーザデバイス104、特に、通信インタフェース210を介してプロセッサ212に送信する。
【0062】
[0067] プロセッサ212は、メタデータをメモリ214に記憶し、メタデータを出力インタフェース206を通じて表示する。1つの実施形態では、出力インタフェース206は、テレビジョン、すなわちユーザデバイス104上に表示されている、コンテンツソース102から受信したビデオのオーバーレイとしてメタデータを提示する。
【0063】
[0068] 上述したものと同じ手順が、コンテンツのオーディオ部分が認識されるまで行われうる。したがって、コンテンツの獲得されたオーディオ部分のオーディオフィンガープリントがメタデータを戻すのに十分に正確である場合、手順は終了する。いくつかの場合では、コンテンツソース102からの追加のオーディオコンテンツを獲得することが望ましい。例えばオーディオフィンガープリントは、認識サーバ110がオーディオフィンガープリントをオーディオ識別子(Audio_ID)にマッチするのには十分にロバストではない場合がある。そのような場合、認識サーバ110からの戻りパケットは不確かでありうる。例えば戻りパケットは、ヌルのオーディオ識別子(Audio_ID)を戻す。この原因には様々な理由がありうる。一例は、オーディオコンテンツが、受信したマルチメディアコンテンツストリームにおいてヴォイスオーバーまたは音響効果ノイズと混合していたということである。
【0064】
[0069] 可能な限り不確かなまたは誤りのある結果を回避するために、追加のオーディオコンテンツが獲得されることが好適である。これは、プロセッサ212によって実行される認識手順により多くのオーディオ情報を与え、よりロバストなオーディオフィンガープリントがもたらされる。いくつかの場合では、複数のフィンガープリントがオーディオレンダリングに関連付けられる。追加のデータを獲得することによって、フィンガープリントアルゴリズムは、同じオーディオ部分またはオーディオ部分のサブセットに対して様々なフィンガープリントを生成しうる。様々なフィンガープリントが、獲得されたセグメントの長さ、または、オーディオストリームのどこからオーディオ獲得が行われたかに基づいて、生成されうる。つまり、プロセッサ212は、オーディオフィンガープリントに対応したマルチメディアコンテンツの、時間に基づいたオフセットロケーションを検出して、そのロケーションをネットワーク上で例えば遠隔認識サーバに送信する。
【0065】
[0070] 図3に示されるように、プロセッサ212は追加のルックアップを開始しうる。これにより、入力インタフェース208によって追加のオーディオが獲得される。或いは、この追加情報は、オーディオストリームがバッファリングされている場合には、メモリ214またはストレージ216から抽出される。
【0066】
[0071] プロセッサ212は、追加情報に対してオーディオ認識を行う。具体的には、追加のオーディオ情報は、以前に獲得されたオーディオ情報に追加されて、獲得されたセグメント全体が長くされる。或いは、例えば曲内である、獲得されたオーディオ部分内の異なる開始および停止時間を用いて、オーディオフィンガープリントを生成してもよい。さらに別の実施形態では、プロセッサ212は、オーディオ獲得の合計時間を調整するようにプログラムされる。
【0067】
[0072] 様々なオーディオ獲得時間が、予め記憶されるか、または、前のルックアップ結果の分析に基づきうる。或いは、この分析は、例えば統計サーバデータベース220によってオフラインで行われ、新しい獲得時間が、更新時に通信インタフェース210を通じてプロセッサ212によってダウンロードされうる。
【0068】
[0073] 新しいまたは追加のフィンガープリントが生成されると、プロセッサ212は、それを、プログラム識別子(Prog_ID)と共に認識サーバ110に送信する。次に、認識サーバ110は、オーディオ識別子(Audio_ID)のために、フィンガープリント(FP)に基づいてルックアップを実行する。認識サーバ110は、オーディオ識別子(Audio_ID)を、プログラム識別子(Prog_ID)と共に、メタデータデータベース106に送信する。メタデータデータベース106は、プログラム識別子をオーディオ識別子と関連付け、この情報を用いて、オーディオ識別子(Auido_ID)および/またはプログラム識別子(Prog_ID)に関連するメタデータの位置をメタデータデータベース106内で突き止める。
【0069】
[0074] プログラム識別子(Prog_ID)は、ガイドデータベース108に送信される。次に、ガイドデータベース108は、例えばマルチメディアストリーム内の1以上の認識可能な曲といった受信したコンテンツのオーディオ部分に関する情報を含むプログラムメタデータを戻す。メタデータデータベース106は、次に、メタデータを、オーディオ識別子(Audio_ID)と共に、認識サーバ110を通じてプロセッサ212に戻す。上述したように、他の情報も、必要であれば、認識サーバ110またはプロセッサ212によって最初のリクエストをメタデータにマッチさせるために用いるためにパケットで送信されうる。
【0070】
[0075] 追加オーディオ情報の獲得は、遠隔操作装置204からのルックアップリクエストなしで行われてもよい。同様に、追加オーディオ情報の獲得は、メタデータデータベース106または認識サーバ110からの追加情報のためのリクエストでまたはそのリクエストなしで行われることが可能である。つまり、追加の獲得手続は、プロセッサ212が追加のオーディオ獲得を行うことを停止するまで実行されるよう設定されうる。この実施形態では、メタデータデータベース106または認識サーバ110がユーザデバイス104に通知する必要はなく、これは、最初のルックアップリクエストとメタデータの戻りとの間の時間量を有利に減少する。
【0071】
[0076] 追加のルックアップを行うことによって、いくつかのオーディオ識別子がプロセッサ212に戻されうる。これらのいくつかのオーディオ識別子は、同じであっても異なっていてもよい。プロセッサ212は、次に、受信したいくつかのオーディオ識別子の比較を行い、正しいメタデータが受信されたかどうかを決定し、任意の複製を削除する。これにより、プロセッサ212は、コンテンツソース102から追加のオーディオコンテンツを獲得する必要があるかどうか、または、例えばメモリ214といったプロセッサのバッファ内に記憶されたオーディオコンテンツを使用するかどうかに関して判断することができる。別の例示的な実施形態では、プロセッサ212は、戻されたオーディオ識別子データに基づいて獲得すべきオーディ情報の量を制御しうる。例えば見つけられた最初のオーディオ識別子が、例えば特定の曲の1つのレンディションに対応する1つの値を有し、認識サーバ110によって見つけられた第2のオーディオ識別子は、例えば同じ曲の異なるレンディションに対して異なる値を有する場合、プロセッサ212は、より長いセグメントに基づいて、全く異なるセグメントに基づいて、様々なセグメント等に基づいて、フィンガープリントを生成しうる。
【0072】
[0077] 図示されていないが、代替実施形態では、認識サーバ110は、メタデータデータベース106へのオーディオ識別子(Audio_ID)の送信と同時に、オーディオ識別子をユーザデバイス104に送信しうる。いくつかの場合では、ユーザデバイス104は、複数のオーディオフィンガープリントおよびオーディオ識別子を、メタデータ情報と共にメタデータデータベース106からパケットを受信する前に、送受信する。これは、プロセッサ212が、出力インタフェース206を通じてメタデータを提示することを禁止するかまたは許可するかの決定を支援するために用いうる。
【0073】
[0078] 図4は、1つの実施形態では、認識サーバ110によって生成される特定のプログラム識別子(Prog_ID)の例示的なレコード400を示す。追加のメタデータもこのレコード400に含まれうる。より具体的には、このレコード400における情報は、ユーザデバイス104、メタデータデータベース106、ガイドデータベース108、および/または統計データベース220から受信されたデータの組み合わせから得られる。1つの実施形態では、この情報は、認識サーバ110によって関連付けられる。例えばユーザデバイス104によって受信された番組または映画のプログラム識別子(Prog_ID)、メタデータデータベース106からのメタデータ、統計データベース220からの統計値は、メタデータデータベース106内に例えばレコード400といったレコードとして関連付けられかつ記憶される。
【0074】
[0079] 図4に示される例示的なレコード400では、レコード400は、番組または映画における各曲の名前402と、番組または映画における各曲のロケーション404と、その曲に対するユーザによる関心レベル404と、各曲に対するオーディオ識別子(Audio_ID)408とを含む。関心レベルデータは、集められた情報に基づいた1つのタイプのメトリックに過ぎない。他の例示的なメトリックには、2、3例を挙げるとすれば、人気、ユーザの「クリック」の時間ベースの分布、例えば生の人気を示す「クリック」の量が含まれる。追加の情報が、このレコード400に含まれてもよいし、または、オーディオ識別子(Audio_ID)、曲名、および/またはプログラム識別子(Prog_ID)に基づいて別のデータベースから別個に検索されてもよい。
【0075】
[0080] 図2に示されるように、統計データベース220およびメタデータデータベース106は、互いに通信しうる。したがって、統計データベース220からの情報もメタデータデータベース106によって収集されかつ関連付けられてよく、関連付けられたデータは、メタデータデータベース106によって認識サーバ110に直接送信されうる。図4に示されるように、プログラム識別子(Prog_ID)は、いくつかの曲に関連付けられてもよい。
【0076】
例示的なコンピュータ可読媒体実施
[0081] 例えばシステム100、200、処理300またはその任意の部分または機能といった上述した例示的な実施形態は、ハードウェア、ソフトウェア、またはそれらの任意の組み合わせを用いて実施されてよく、また、1以上のコンピュータシステムまたは他の処理システムにおいて実施されうる。しかし、これらの例示的な実施形態によって行われる操作は、人間のオペレータによって行われる精神的な動作に通常関連付けられる、入力(entering)といった用語で言及される。本明細書において説明される動作はいずれもそのような人間のオペレータの能力を必要としない。例えばユーザデバイス104は、遠隔操作装置204を通じての視聴者の入力を必要とすることなくルックアップを自動的に開始しうる。つまり、動作は、機械動作で完全に実施されうる。本明細書に提示される例示的な実施形態の動作を実行するための有用な機械は、汎用デジタルコンピュータまたは類似のデバイスが含まれる。
【0077】
[0082] 図5は、いくつかの実施形態による汎用/専用コンピュータシステム500のハイレベルブロック図である。コンピュータシステム500は、例えば特にユーザデバイス、ユーザコンピュータ、クライアントコンピュータ、および/またはサーバコンピュータでありうる。
【0078】
[0083] ユーザデバイスの例には、限定されることなく、テレビジョン、ブルーレイディスクプレイヤ、パーソナルメディアデバイス、ポータブルメディアプレイヤ、iPod(登録商標)、ズームプレイヤ、ラップトップコンピュータ、パームトップコンピュータ、スマートホン、セルホン、モバイルホン、MP3プレイヤ、デジタルオーディオレコーダ、デジタルビデオレコーダ、CDプレイヤ、DVDプレイヤ、マイクロソフトウィンドウ(登録商標)といったオペレーティングシステムを有するIBM式パーソナルコンピュータ(PC)、MAC−OSといったオペレーティングシステムを有するアップル(登録商標)コンピュータ、JAVA(登録商標)−OSオペレーティングシステムを有するハードウェア、UNIX(登録商標)オペレーティングシステムを有するサンマイクロシステムズワークステーションが含まれる。
【0079】
[0084] コンピュータシステム500は、限定されることなく、プロセッサデバイス510と、主メモリ525と、相互接続バス505とを含むことが好適である。プロセッサデバイス510は、限定されることなく、シングルマイクロプロセッサを含むか、または、コンピュータシステム500をマルチプロセッサシステムとして構成するために複数のマイクロプロセッサを含みうる。主メモリ525は、特に、プロセッサデバイス510による実行のための命令および/またはデータを記憶する。内部識別子をメタデータ内に記憶するためのシステムがソフトウェアで部分的に実施される場合、主メモリ525は、動作時に実行可能コードを記憶する。主メモリ525は、ダイナミックランダムアクセスメモリ(DRAM)のバンクのほかにもキャッシュメモリを含みうる。
【0080】
[0085] コンピュータシステム500はさらに、大容量記憶デバイス530、周辺デバイス540、ポータブル記憶媒体デバイス550、入力制御デバイス580、グラフィックスサブシステム560、および/または、出力ディスプレイ570を含みうる。説明目的として、コンピュータシステム500におけるあらゆるコンポーネントは、図5では、バス505を介して結合されているように示されている。しかし、コンピュータシステム500は、それに限定されない。コンピュータシステム500のデバイスは、1以上のデータ伝送手段を通じて結合されうる。例えばプロセッサデバイス510および/または主メモリ525は、ローカルマイクロプロセッサバスを介して結合されうる。大容量記憶デバイス530、周辺デバイス540、ポータブル記憶媒体デバイス550、および/またはグラフィックスサブシステム560は、1以上の入出力(I/O)バスを介して結合されうる。大容量記憶デバイス530は、プロセッサデバイス510による使用のためのデータおよび/または命令を記憶するための不揮発性記憶デバイスであることが好適である。大容量記憶デバイス530は、例えば磁気ディスクドライブまたは光ディスクドライブと共に実施されうる。ソフトウェア実施形態では、大容量記憶デバイス530は、大容量記憶デバイス530のコンテンツを主メモリ525にロードするために構成されることが好適である。
【0081】
[0086] ポータブル記憶媒体デバイス550は、例えばコンパクトディスク読出し専用メモリ(CD ROM)といった不揮発性ポータブル記憶媒体と共に動作して、データおよびコードをコンピュータシステム500に入力しおよびコンピュータシステム500から出力する。いくつかの実施形態では、内部識別子をメタデータに記憶するためのソフトウェアは、ポータブル記憶媒体に記憶されて、そのポータブル記憶媒体デバイス550を介してコンピュータシステム500に入力されてもよい。周辺デバイス540は、例えばコンピュータシステム500に追加の機能を追加するように構成された入出力(I/O)インタフェースといった任意のタイプのコンピュータサポートデバイスを含みうる。例えば周辺デバイス540は、コンピュータシステム500をネットワーク520と相互作用させるためのネットワークインタフェースカードを含みうる。
【0082】
[0087] 入力制御デバイス580は、コンピュータシステム500のユーザにユーザインタフェースの一部を提供する。入力制御デバイス580は、キーパッドおよび/またはカーソル制御デバイスを含みうる。キーパッドは、英数字および/または他のキー情報を入力するために構成されうる。カーソル制御デバイスは、例えばマウス、トラックボール、スタイラス、および/またはカーソル方向キーを含みうる。テキストおよびグラフィック情報を表示するために、コンピュータシステム500は、グラフィックスサブシステム560および出力ディスプレイ570を含むことが好適である。出力ディスプレイ570は、陰極線管(CRT)ディスプレイおよび/または液晶ディスプレイ(LCD)を含みうる。グラフィックスサブシステム560は、テキストおよびグラフィック情報を受信し、その情報を出力ディスプレイ570への出力のために処理する。
【0083】
[0088] コンピュータシステム500の各コンポーネントは、汎用/専用コンピュータのコンピュータコンポーネントの広いカテゴリを表しうる。コンピュータシステム500のコンポーネントは、本明細書において提供される特定の実施に限定されない。
【0084】
[0089] 本発明の一部は、コンピュータ技術における当業者には明らかなように、従来の汎用コンピュータ、特殊デジタルコンピュータ、および/または本開示の教示内容にしたがってプログラムされたマイクロプロセッサを用いて好都合に実施されうる。適切なソフトウェア符号化が、本開示の教示内容に基づいて熟練のプログラマによって容易に準備されうる。
【0085】
[0090] いくつかの実施形態はさらに、アプリケーション特有の集積回路の準備によって、または、従来のコンポーネント回路の適切なネットワークの相互接続によって実施されてもよい。
【0086】
[0091] いくつかの実施形態は、コンピュータプログラムプロダクトを含む。コンピュータプログラムプロダクトは、本発明の任意の処理をコンピュータに実行するように制御または実行させるように用いることのできる命令が記憶された記憶媒体でありうる。記憶媒体は、限定されないが、フロッピー(登録商標)ディスク、ミニディスク、光ディスク、ブルーレイディスク、DVD、CD−ROM、マイクロドライブ、磁気‐光ディスク、ROM、RAM、EPROM、EEPROM、DRAM、VRAM、フラッシュメモリ、フラッシュカード、磁気カード、光カード、ナノシステム、分子メモリ集積回路、RAID、遠隔データ記憶装置/アーカイブ/ウェアハウス、および/または、命令および/またデータを記憶するのに適した任意の他のタイプの記憶デバイスを含みうる。
【0087】
[0092] いくつかの実施は、いずれか1つのコンピュータ可読媒体に記憶されて、汎用/特殊コンピュータまたはマイクロプロセッサの両方のハードウェアを制御し、かつ、コンピュータまたはマイクロプロセッサが、人間のユーザまたは他のメカニズムと本発明の結果を用いてインタラクトすることを可能にするためのソフトウェアを含む。このようなソフトウェアは、限定されることなく、デバイスドライバ、オペレーティングシステム、およびユーザアプリケーションを含みうる。究極的には、このようなコンピュータ可読媒体はさらに、上述したように本発明の態様を実行するためのソフトウェアを含む。
【0088】
[0093] 汎用/専用コンピュータまたはマイクロプロセッサのプログラミング/ソフトウェアには、上述した処理を実施するためのソフトウェアモジュールが含まれる。上述した処理には、限定されることなく、以下のものが含まれうる。すなわち、レコーディングを受信すること、レコーディング用の内部識別子を生成すること、および追加の識別子をレコーディングの少なくとも1つの発生に関連付けられたメタデータに内部識別子を追加すること。
【0089】
[0094] 本発明の様々な例示的な実施形態を上述したが、これらの例示的な実施形態は限定ではなく例示として提示されていることを理解すべきである。当業者であれば、本明細書において成された形式および詳細に様々な変更が可能であることは明らかであろう。したがって、本発明は、上述の例示的な実施形態のいずれによっても限定されるべきではなく、以下の特許請求の範囲およびその等価物にしたがってのみ定義されるべきである。
【0090】
[0095] さらに、図面も例示目的に提示されたに過ぎないことを理解すべきである。本明細書において提示される例示的な実施形態のアーキテクチャは、十分に適応性がありまた構成可能であり、したがってこれらの例示的な実施形態は、添付図面に示された方法とは異なる方法で活用されかつナビゲートされてもよい。
【0091】
[0096] さらに、要約は、特許または法律用語または表現に不慣れである、一般的には米国特許商標庁および公衆が、特殊的には科学者、技術者および実践者が、少し確認することによって素早く本願の技術的開示内容の本質を確認可能にすることを目的とする。要約は、本明細書に提示する例示的な実施形態の範囲をいかようにも限定することを意図していない。請求項に記載する手順は、提示されている順番で必ずしも行われる必要はないことも理解すべきである。

【特許請求の範囲】
【請求項1】
受信コンテンツのオーディオ部分をマルチメディアプログラムに関連付けるためのシステムであって、
ネットワークを介してデータを送信かつ受信するネットワークインタフェースを含むサーバを有し、
前記サーバは、
前記ネットワークからオーディオフィンガープリントおよびプログラム識別子を受信し、
前記オーディオフィンガープリントをオーディオ識別子に関連付け、
前記ネットワークを介して、前記プログラム識別子を含み、前記プログラム識別子に関連付けられたプログラムガイド情報を要求するリクエストパケットを送信し、
前記ネットワークから前記プログラムガイド情報を含むプログラムデータを受信し、
前記オーディオ識別子に関連付けられたメタデータおよび前記プログラムデータを前記ネットワーク上に送信するように動作可能である、システム。
【請求項2】
前記サーバは、前記マルチメディアプログラムに関連付けられた少なくとも1つのオーディオ識別子と、各オーディオ識別子に関連付けられたメタデータとを含む、前記プログラム識別子に対応するレコードを生成するように構成される、請求項1に記載のシステム。
【請求項3】
前記メタデータは、各オーディオ識別子に関連付けられたメトリックを含む、請求項2に記載のシステム。
【請求項4】
少なくとも1つのソースから前記受信コンテンツを受信するように動作可能な入力インタフェースであって、前記受信コンテンツは、オーディオ部分と、ビデオ部分と、プログラムガイドデータとを含み、前記プログラムガイドデータは前記プログラム識別子を含む、入力インタフェースと、
前記オーディオ部分のサブセットからオーディオフィンガープリントを生成し、前記プログラム識別子および前記オーディオフィンガープリントをネットワーク上で通信し、前記オーディオ識別子に関連付けられたメタデータおよび前記プログラムデータを、前記ネットワークインタフェースを通じて、前記ネットワークから受信するように動作可能なプロセッサと、
を含むユーザデバイスをさらに有する、請求項1に記載のシステム。
【請求項5】
前記ユーザデバイスは、メタデータのためのルックアップを開始するコマンドを、遠隔制御装置から受信するように動作可能な遠隔インタフェースをさらに含む、請求項4に記載のシステム。
【請求項6】
前記ユーザデバイスは、
前記オーディオ部分の前記サブセットを記憶するように動作可能なメモリをさらに含み、
前記プロセッサは、前記オーディオ部分の追加のサブセットおよび前記オーディオ部分の組み合わせられたサブセットのうち少なくとも一方に基づいて、別のオーディオフィンガープリントを生成する、請求項4に記載のシステム。
【請求項7】
前記プロセッサは、前記オーディオフィンガープリントに対応する、前記受信コンテンツの時間に基づいたオフセットロケーションを検出し、前記ロケーションを前記ネットワーク上に送信するようにさらに構成される、請求項4に記載のシステム。
【請求項8】
受信コンテンツのオーディオ部分をマルチメディアプログラムに関連付けるための方法であって、
ネットワークからオーディオフィンガープリントおよびプログラム識別子を受信することと、
前記オーディオフィンガープリントをオーディオ識別子に関連付けることと、
前記ネットワークを介して、前記プログラム識別子を含み、前記プログラム識別子に関連付けられたプログラムガイド情報を要求するリクエストパケットを送信することと、
前記ネットワークから前記プログラムガイド情報を含むプログラムデータを受信することと、
前記オーディオ識別子に関連付けられたメタデータおよび前記プログラムデータを前記ネットワーク上に送信することと、
を含む方法。
【請求項9】
前記マルチメディアプログラムに関連付けられた少なくとも1つのオーディオ識別子と、各オーディオ識別子に関連付けられたメタデータとを含む、前記プログラム識別子に対応するレコードを生成することをさらに含む、請求項8に記載の方法。
【請求項10】
前記メタデータは、各オーディオ識別子に関連付けられたメトリックを含む、請求項9に記載の方法。
【請求項11】
少なくとも1つのソースから、オーディオ部分と、ビデオ部分と、前記プログラム識別子を含むプログラムガイドデータとを含む前記受信コンテンツを受信することと、
前記受信コンテンツの前記オーディオ部分のサブセットからオーディオフィンガープリントを生成することと、
前記プログラム識別子および前記オーディオフィンガープリントをネットワーク上で通信することと、
前記オーディオ識別子に関連付けられた前記メタデータおよび前記プログラムデータを、ネットワークインタフェースを通じて前記ネットワークから受信することと、
をさらに含み、
上記ステップは、少なくとも1つのプロセッサを含むユーザデバイスによって実行される、請求項8に記載の方法。
【請求項12】
遠隔制御装置から、前記メタデータのためのルックアップを開始するコマンドを受信することをさらに含む、請求項11に記載の方法。
【請求項13】
前記受信コンテンツの前記オーディオ部分の前記サブセットを記憶することと、
前記オーディオ部分の追加のサブセットおよび前記受信コンテンツの前記オーディオ部分の組み合わされたサブセットのうち少なくとも一方に基づいて、別のオーディオフィンガープリント生成することと、
をさらに含む、請求項11に記載の方法。
【請求項14】
前記オーディオフィンガープリントに対応する、前記受信コンテンツの時間に基づいたオフセットロケーションを検出することと、
前記ロケーションを前記ネットワーク上に送信することと、
をさらに含む、請求項11に記載の方法。
【請求項15】
一連の命令が記憶されたコンピュータ可読媒体であって、前記一連の命令は、コンピュータシステムによって実行されると、前記コンピュータシステムに、
ネットワークからオーディオフィンガープリントおよびプログラム識別子を受信することと、
前記オーディオフィンガープリントをオーディオ識別子に関連付けることと、
前記ネットワークを介して、前記プログラム識別子を含み、前記プログラム識別子に関連付けられたプログラムガイド情報を要求するリクエストパケットを送信することと、
前記ネットワークから前記プログラムガイド情報を含むプログラムデータを受信することと、
前記オーディオ識別子に関連付けられたメタデータおよび前記プログラムデータを前記ネットワーク上に送信することと、
を行わせる命令を含む、コンピュータ可読媒体。
【請求項16】
前記コンピュータシステムによって実行されると、前記コンピュータシステムに、
前記マルチメディアプログラムに関連付けられた少なくとも1つのオーディオ識別子と、各オーディオ識別子に関連付けられたメタデータとを含む、前記プログラム識別子に対応するレコードを生成することを行わせる一連の命令をさらに記憶した、請求項15に記載のコンピュータ可読媒体。
【請求項17】
前記メタデータは、各オーディオ識別子に関連付けられたメトリックを含む、請求項16に記載のコンピュータ可読媒体。
【請求項18】
前記コンピュータシステムによって実行されると、前記コンピュータシステムに、
少なくとも1つのソースから、オーディオ部分と、ビデオ部分と、前記プログラム識別子を含むプログラムガイドデータとを含む前記受信コンテンツを受信することと、
前記受信コンテンツの前記オーディオ部分のサブセットからオーディオフィンガープリントを生成することと、
前記プログラム識別子および前記オーディオフィンガープリントをネットワーク上で通信することと、
前記オーディオ識別子に関連付けられたメタデータおよび前記プログラムデータを、ネットワークインタフェースを通じて前記ネットワークから受信することと、
を行わせる一連の命令をさらに記憶し、
上記ステップは、少なくとも1つのプロセッサを含むユーザデバイスによって実行される、請求項15に記載のコンピュータ可読媒体。
【請求項19】
前記コンピュータシステムによって実行されると、前記コンピュータシステムに、
前記オーディオ部分の前記サブセットを記憶することと、
前記オーディオ部分の追加のサブセットおよび前記受信コンテンツの前記オーディオ部分の組み合わされたサブセットのうち少なくとも一方に基づいて、別のオーディオフィンガープリント生成することと、
を行わせる一連の命令をさらに記憶した、請求項18に記載のコンピュータ可読媒体。
【請求項20】
前記コンピュータシステムによって実行されると、前記コンピュータシステムに、
前記オーディオフィンガープリントに対応する、前記受信コンテンツの時間に基づいたオフセットロケーションを検出することと、
前記ロケーションを前記ネットワーク上に送信することと、
を行わせる一連の命令をさらに記憶した、請求項18に記載のコンピュータ可読媒体。

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図1】
image rotate


【公表番号】特表2013−501999(P2013−501999A)
【公表日】平成25年1月17日(2013.1.17)
【国際特許分類】
【出願番号】特願2012−524717(P2012−524717)
【出願日】平成22年7月15日(2010.7.15)
【国際出願番号】PCT/US2010/042044
【国際公開番号】WO2011/019473
【国際公開日】平成23年2月17日(2011.2.17)
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.HDMI
2.PlayStation
3.XBox360
【出願人】(509262725)ロヴィ テクノロジーズ コーポレイション (9)
【Fターム(参考)】