説明

音声信号内の時点を決定する方法

参照時点が第1のシグナチャーデータに対応する音声データの始まり又は終わりと関連しており、上記音声信号から上記第1のシグナチャーデータ(E、E、...)をサーバで導き出すステップと、第2のシグナチャーデータがサーバでの上記第1のシグナチャーデータと同じ方式で導き出され、上記音声信号から第2のシグナチャーデータ(E’、E’、...)をクライアントで導き出すステップと、上記第1及び第2のシグナチャーデータを比較するステップと、上記比較するステップの結果に依存する上記参照時間と等しい上記時点(T)を決定するステップと、を含み、放送局からクライアント及びサーバに送信される、音声信号内の時点を決定する方法。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、音声信号内の時点を決定する方法及び記録装置に関する。
【背景技術】
【0002】
今日、ハードドライブ又はディスクドライブを有するデジタル記録装置などの記録装置が、放送局から放送される音声及び/又は映像信号を記録するために存在する。しかしながら、音声及び/又は映像信号を記録した後、ユーザは、記録したもの全てに興味があるわけではないのかもしれない。例えば、ユーザは、コマーシャル等の宣伝を記録した音声及び/又は映像信号から除外したいかもしれない。更に、記録した音声及び/又は映像信号は、映画を含んでいるかもしれなく、ユーザは、手動で映画の始まりと終わりを探す必要なく映画を視聴したいかもしれない。
【発明の概要】
【発明が解決しようとする課題】
【0003】
本発明の目的とするところは、例えば、記録した音声及び/又は映像信号の正確なナビゲーションを可能なものとする、音声信号内の時点を決定する方法及び記録装置を提供することにある。
【課題を解決するための手段】
【0004】
上記目的は、夫々、請求項1、23、及び28に係る方法及び記録装置によって解決される。
【図面の簡単な説明】
【0005】
【図1】双方向モードに係る操作をする場合のシステム概観を示す。
【図2】双方向モードを説明するための概略図を示す。
【図3】双方向モードに係る操作を説明するフローチャートを示す。
【図4】両方の方向(双方向)で互いに情報伝達をするクライアント及びサーバを示す。
【図5】放送モードに係る操作をする場合のシステム概観を示す。
【図6】放送モードを説明するための略図を示す。
【図7】放送モードに係る方法を説明するためのフローチャートを示す。
【発明を実施するための形態】
【0006】
以下に、本発明の実施形態について説明する。重要なこととして、以下に説明する全ての実施形態は、どのような方法で組み合わされてもよく、すなわち、説明する特定の実施形態については、他と組み合わせてはならないという限定はないということについては、留意すべきである。
【0007】
本発明の一実施形態によれば、放送局から記録装置等のクライアント及びサーバに送信される音声信号内の時点の決定方法は、サーバで音声信号から第1のシグナチャーデータを導き出すステップを含み、上記第1のシグナチャーデータは、上記音声信号の少なくとも一部を記述しており、参照時点が、上記音声信号の上記少なくとも一部の始まり又は終わりと関連付けられる。上記第1のシグナチャーデータは、例えば、欧州特許出願公開番号EP 1667106 A1(欧州特許出願番号04 028 88.1)に記載されているように、予め定められたアルゴリズムに従い送信されてもよい。
【0008】
上記方法は、クライアントで第2のシグナチャーデータを上記音声信号から導き出すステップを含んでいてもよく、上記第2のシグナチャーデータは、少なくとも一部分の上記音声信号を記述しており、例えば、サーバで上記第1のシグナチャーデータの場合と同じアルゴリズムに従うといったように、同じ方式で導き出される。すなわち、本発明の一実施形態によれば、サーバ及びクライアントで受信した音声信号の一部分が分析され、これらの部分の少なくともいくつかに対して、シグナチャーデータは同じアルゴリズムに従い決定される。第1及び第2のシグナチャーデータは、比較されてもよく、上記時点は、比較するステップの結果に依存する上記参照時点と等しいと決定されてもよい。このように、例えば、音声信号のある部分に対応する第1のシグナチャーデータは、第2のシグナチャーデータと比較される。もし、上記第1のシグナチャーデータが、上記第2のシグナチャーデータと類似している又は上記第2のシグナチャーデータと同じであるなら、次いで、サーバでの音声信号のその部分とクライアントでの音声信号のその部分は、同じであると推測される。このように、クライアント側での上記時点は、サーバ側での音声信号のその部分の始まり又は終わりの時刻にセットされる。
【0009】
他の実施形態によれば、上記音声信号はテレビ信号の一部であってもよく、上記方法はクライアントで上記テレビ信号を記録するステップを含む。更に、記録されたテレビ信号に関するプログラム情報は、上記サーバから上記クライアントに送信されることが可能である。例えば、プログラム情報は、テレビ信号内の映画又は宣伝の始まり又は終わりの正確な時刻を指し示してもよい。このプログラム情報及び上記時点に基づいて、上記クライアントは、映画の始まり等の望ましい位置で再生が正確に始まり、ユーザが興味を持たないテレビ信号の部分が取り除かれるように、記録されたテレビ信号の再生を制御してもよい。また、再生は、望ましい位置で正確に終わるように制御されてもよい。
【0010】
このように、音声信号に関する明細書を通して記載される原理が、更に、音声信号又は音声信号を含むテレビ信号又は映像データストリーム等の音声/映像信号に、適用可能であることは留意すべき点である。従って、本明細書に記載されるあらゆる特徴又は詳細は、音声/映像信号、テレビ信号、映像データストリーム、又は音声データストリーム等に提供されてもよい。
【0011】
更に他の実施形態によれば、操作は、双方向モードに従い実行されてもよい。双方向モードでは、クライアントとサーバとの間に2つの方式の通信路が存在する。双方向モードの一実施形態によれば、上記第2のシグナチャーデータはクライアントからサーバに送信されてもよく、比較するステップはサーバでなされてもよい。このように、高い計算能力を要求するかもしれない比較するステップは、サーバで行われるために、クライアントの計算能力は低いままであってもよい。
【0012】
双方向モードの他の実施形態によれば、上記第2のシグナチャーデータは、音声信号の1つの選択される部分だけに対応していてもよい。第2のシグナチャーデータは、音声信号の1つの選択される部分に対してのみ決定される必要があるので、計算の負荷は、更に減少されてもよい。
【0013】
更に、上記第1のシグナチャーデータは、複数のサブユニットを含んでいてもよく、夫々のサブユニットは、上記音声信号の夫々の部分から導き出され、上記比較するステップで、類似性測定が夫々のサブユニットに対して決定され、上記類似性測定は夫々のサブユニット及び上記第2のシグナチャーデータの類似の度合いを記述しており、上記決定するステップで、上記時点が、最大類似サブユニットの上記参照時点と等しいと決定されてもよく、上記最大類似サブユニットは、全てのサブユニットのうちで最高類似性測定を有する。すなわち、音声信号は異なるセグメントに分岐されてもよく、夫々のセグメントに対して、シグナチャーデータは決定される。
【0014】
サブユニットが導き出される音声信号の一部分は、音声信号の無声でない帯域を含むように選択されてもよい。更に、上記選択される部分は、音声信号の無声でない帯域を含むように選択されてもよい。このように、シグナチャーデータはより特徴のあるものであり、異なるシグナチャーデータ間の類似性は、検出しやすくてもよい。
【0015】
また、本発明の一実施形態は、放送モードに関する操作を可能なものとしてもよい。放送モードでは、サーバとクライアントとの間に2方向の通信路は必要ない。放送モードでは、サーバからクライアントへの通信路のみが必要となる。クライアントからサーバへの逆方向通信路が利用可能なものでないならば、これは有用なものであるかもしれない。
【0016】
放送モードでは、第1のシグナチャーデータは、サーバからクライアントに送られてもよく、比較するステップは、クライアントで行われる。更に、上記参照時点は、サーバからクライアントに送られてもよく、決定するステップは、クライアントで行われる。
【0017】
更に、第1のシグナチャーデータは、音声信号の少なくとも1つの選択される部分に対応していてもよい。選択される部分は、上記音声信号の無声でない部分を含むように選択されてもよい。シグナチャーデータは、音声信号の少なくとも一部分を代表するものであるか、又は当該一部分の特徴であるため、無声でない部分を選択することによって、比較はより容易になってもよい。
【0018】
放送モードでは、第2のシグナチャーデータは複数のサブユニットを含んでいてもよく、夫々のサブユニットは上記音声信号の夫々の部分から導き出され、比較する上記ステップで、類似性測定は、夫々のサブユニットに対して決定され、上記類似性測定は夫々のサブユニット及び上記第1のシグナチャーデータの類似度合いを記述しており、上記決定するステップで、上記時点は最大類似サブユニットの上記参照時点と等しいと決定されてもよく、上記最大類似サブユニットは全てのサブユニットのうちで最高類似性測定を有する。
【0019】
他の実施形態によれば、上記クライアントで現地時間が提供され、夫々のサブユニットが局所時点と関連があり、上記比較するステップは、上記参照時点を囲む予め設定された時間範囲内に局所時点(local point in time)を有するサブユニットに対してのみ実行されることが可能である。クライアントで、第2のシグナチャーデータが利用可能な多数の上記音声信号の部分があってもよいので、これは、有用なものであるかもしれない。例えば、第2のシグナチャーデータは、10秒、30秒、又は予め設定された時間毎に導き出されてもよい。上記音声信号の夫々の部分の始まり又は終わりの時刻が、クライアントの現地時間と関連があってもよい。クライアントが第1のシグナチャーデータを夫々の対応する参照時点と共にサーバから受信した後に、クライアントが、参照時点に近接する開始又は終了の時刻を有する部分に対応する上記第2のシグナチャーデータのサブユニットの比較のみを行ってもよい
【0020】
他の実施形態によれば、近接したサブユニット1つだけに対して上記比較するステップを実行することも可能である。上記近接したサブユニットは、全てのサブユニットのうちで、参照時点に対して最も近接した局所時点を有するサブユニットである。
【0021】
既に説明したように、音声信号は、映像/音声信号の一部分であり、上記方法は、映像/音声信号内の時点の決定のために実行されてもよい。従って、音声信号は、映像/音声信号から抽出されてもよく、導き出すステップ、比較するステップ、及び決定するステップは、音声信号のために実行されてもよい。
【0022】
上記方法は、サーバからクライアントへの音声信号又はテレビ信号に対応するプログラム情報を送るステップを含んでいて、プログラム情報に基づいて、再生のために音声信号又はテレビ信号の少なくとも一部を選択してもよい。上記方法が、例えば、テレビプログラム等の映像/音声信号に適用されれば、その際プログラム情報は、例えば、放送される映画の始まり及び終わりの時刻を指し示す電子プログラム(EPG)情報に対応していてもよい。この場合、クライアントは、決定した時点に基づいて映画の正確な始まり及び終わりの時刻を決定してもよい。クライアントは、上記音声信号の一部分の正確な開始及び終了の時刻を決定するので、既知の時点から夫々どれ位時刻が異なるかを計算することによって、記録された映像/音声信号に対応する映画の開始及び/又は終了の時刻を決定することが可能である。他の実施形態によれば、プログラム情報がコマーシャル等の宣伝ブロック(advertising block)の開始及び終了の時刻を含むことが可能であってもよい。音声信号又は映像/音声信号を再生させる場合、音声信号又はテレビ信号の中に含まれる宣伝ブロックの開始の時刻から終了の時刻に飛ばすことによって宣伝を取り除くことが可能である。例えば、映画に属さない部分といったように、上記信号の所望の部分に属さない記録された信号の一部分を削除することによって記録された音声/テレビ信号を修正することも可能である。
【0023】
一実施形態では、記録装置は、放送局から音声信号を受信するように構成され、更にサーバから時間情報を受信するように構成される受信機構と、上記時間情報に依存する上記音声信号を再生するように構成される再生機構とを含んでいてもよい。
【0024】
上記受信機構は、更に、上記サーバから上記音声信号に関するプログラム情報を受信するように構成されていてもよく、更に、上記プログラム情報に基づいて、再生のために少なくとも上記音声信号の一部分を選択するように構成されていてもよい。
【0025】
放送モードに従い操作する記録装置は、放送局から音声信号を受信するように構成され、更に、サーバから第1のシグナチャーデータ及び少なくとも1つの参照時点を受信するように構成され受信機構を含んでいてもよく、上記第1のシグナチャーデータは上記音声信号から導き出され、上記第1のシグナチャーデータは上記音声信号の少なくとも一部分を記述しており、上記参照時点は上記音声信号の少なくとも一部分の始まり又は終わりと関連する。上記装置は、更に、第2のシグナチャーデータを上記音声信号から導き出すように構成されるデータ処理機構を含んでいてもよく、上記第2のシグナチャーデータは上記音声信号の少なくとも一部分を記述しており、例えば、第1のシグナチャーデータと同じアルゴリズムに従うといったように同じ方式で導き出され、上記データ処理機構は、更に、第1及び第2のシグナチャーデータを比較し、比較した結果に依存する再生の開始及び/又は終了の時刻を決定するように構成される。また、記録装置は、再生の開始及び/又は終了の時刻に従い、音声信号を再生するように構成される再生機構を含んでいてもよい。
【0026】
図1は、放送局100、クライアント200、及びサーバ300を示す。クライアント200は、ハードディスク及び/又はデジタル多用途ディスク(DVD)レコーダを有する記録装置等のような、例えば、記録装置でありうる。放送局100は、テレビ信号TVをクライアント200及びサーバ300に送信する。テレビ信号TVは、音声信号を含む。
【0027】
図1は、双方向モードに係る本発明の一実施形態を示す。このように、クライアント200及びサーバ300の間には、2つの方向の情報伝達がある。双方向モードでは、クライアント200は、音声信号の少なくとも一部分を選択して、第2のシグナチャーデータEを導き出す。シグナチャーデータEは、例えば、欧州特許出願公開番号EP 1667106 A1(欧州特許出願番号04 028 88.1)に記載されているように予め設定されたアルゴリズムに従って決定されてもよい。
【0028】
第2のシグナチャーデータEは、クライアント200からサーバ300に送信される。また、代わりに、クライアント200は、音声信号の一部分のSをサーバ200に送信してもよい。この場合、シグナチャーデータを決定する必要はなくてもよく、比較は、音声信号の一部分に基づいて直接的に行われる。
【0029】
図2に示すように、サーバ300は、予め設定された長さの上記音声信号の一部分として第1のシグナチャーデータE、E、...を連続的に決定し、受信した第2のシグナチャーデータEと、導き出された第1のシグナチャーデータE、E、...とを比較する。サーバが、第1のシグナチャーデータE、E、...の一つが、第2のシグナチャーデータEと適合するのならば、適合するシグナチャーデータEが選択され、音声信号の対応する部分の開始及び/又は終了時刻が決定される。サーバ300は、第1のシグナチャーデータに対応する音声信号の一部分の開始及び/又は終了時刻を決定するために利用されるサーバ時刻を提供するサーバクロックを含んでいてもよい。その際、適合する第1のシグナチャーデータの開始及び/又は終了時刻は、クライアントに送信される。例えば、図1では、第2のシグナチャーデータEと適合する第1のシグナチャーデータに対応する音声信号の一部分の開始時刻tは、サーバ300からクライアント200に送信される。
【0030】
また、選択的に、サーバ300は、例えば、メタデータ等のようなプログラム情報Mをクライアント200に送信してもよい。プログラム情報Mは、ある音声プログラム、映像プログラム(テレビプログラム)、又は映画等の開始及び/終了時刻を指し示してもよく、宣伝ブロックの開始及び終了時刻を指し示してもよい。第2のシグナチャーデータEに対応する音声信号の一部分の開始時刻tを受信した後、クライアント200は、開始時刻tに基づいて、映画、音声プログラム、又は宣伝ブロックの始まり及び終了の正確な位置を決定してもよいからである。
【0031】
図2は、クライアント200及びサーバ300で同じ音声信号が受信される例を示す。図2の左側において、クライアント200で受信された音声信号が示され、図2の右側において、サーバ300で受信された音声信号が示される。図2に示されるように、クライアント200では、音声信号の一部分のSが選択される。一部分のSは、音声信号が特に無声でないように選択される。一部分のSにとって、第2のシグナチャーデータEは、予め設定されたアルゴリズムに従い導き出される。
【0032】
図2の左側の概略図において、ある時点Tは、部分(パート)Sの開始に対応して示される。上記時点Tを決定することが望ましい。時点Tが知られているならば、その際、上述したように、例えば、所望の位置で再生を開始したり、宣伝ブロックを取り除いたりするように、クライアント200で記録された音声信号及び/又は映像信号を検索することは可能である。時点Tを決定するために、上記第2のシグナチャーデータEは、サーバ300に送信される。代わりに、又は付加的に、部分(パート)Sは、サーバ300に送信されてもよい。
【0033】
サーバ300では、放送局から受信された音声信号は、予め設定された長さの部分(パート)S、S、...に分割される。部分(パート)S、S、...の長さは、クライアント200で、部分(パート)Sの長さに対応し、例えば、上記長さは、図2の例に示されるように30秒に等しくなるように選択されてもよい。
【0034】
サーバでは、正確な時刻が知られており、以下では、サーバ時刻とも呼ぶことにする。サーバ時刻は、高性能クロック又は正確な時刻の信号を受信する無線クロックによって決定されてもよい。このように、サーバでは、正確な開始及び終了時刻は知られている。図2の例では、部分(パート)Sは、例えば、2006年の11月11日の水曜日の17:42:10に開始する。夫々の部分(パート)S、S、...は30秒の長さを有するので、夫々の部分(パート)S、S、...の開始及び終了時刻は知られている。
【0035】
更に、サーバ300で、夫々の部分(パート)S、S、...に対する第1のシグナチャーデータE、E、...は、クライアント200での上記第2のシグナチャーデータと同じ方式で決定される。
【0036】
受信される第2のシグナチャーデータEは、第1のシグナチャーデータE、E、...と比較される。代わりに、部分(パート)Sがクライアント200からサーバ300に送信されれば、部分(パート)Sは、夫々の部分(パート)S、S、...と比較される。
【0037】
比較に基づいて、第1のシグナチャーデータE、E、...のうち、どれが第2のシグナチャーデータEに最も密に適合しているのかが決定される。次いで、最も密に適合する第1及び第2のシグナチャーデータが、時点Tを決定するために利用される。図2の例では、第2のシグナチャーデータEは、第1のシグナチャーデータE4と適合する。第1のシグナチャーデータE4に対応する部分(パート)Sは、t=17:43:40に開始することが知られているので、部分Sの開始時刻に対応する時点Tは、17:43:40であることが決定される。
【0038】
図2の例では、ユーザは、17:45:00から18:30:00まで放送された映画“Bonanza”を観たくてもよい。従って、映画“Bonanza”の開始及び終了時刻、すなわち、プログラム情報Mは、サーバ300からクライアント200に送信されてもよい。クライアント200は、部分(パート)Sの正確な開始時刻が17:43:40であることを把握しているので、クライアント200は、映画“Bonanza”の音声/映像信号内の正確な開始時刻を決定することができる。
【0039】
図3は、所望の映画等の時点及び/又は再生の開始時刻を決定するために実行されてもよいステップが記載されたフローチャートを示す。
【0040】
図3の左側において、クライアント200で実行されるステップが示され、図3の右側において、サーバ300で実行されるステップが示される。
【0041】
ステップS300では、クライアント200で、例えば、テレビ信号等の音声信号が受信される。ステップS302では、音声信号の部分(パート)Sが受信される。ステップS304では、選択される部分(パート)Sに対する、以下では、タグ又はクライアントタグEとも呼ぶ、第2のシグナチャーデータが決定される。ステップS306では、タグEはサーバ300に送信される。
【0042】
図3の右側に示されるように、ステップS308では、サーバ300で、同じ音声信号も受信される。更に、ステップS310では、以下では、サーバタグE、E、...とも呼ぶ、タグE、E、...が、クライアント200と同じアルゴリズムに従い/同じ方式で決定される。ステップS312では、タグEがクライアント200から受信される。更に、ステップS314では、タグEがサーバタグE、E、...と比較される。ステップS314では、サーバタグE、E、...のうち、どれがクライアントタグEに対応するのかが決定される。
【0043】
次いで、ステップS316では、クライアントタグEの開始時刻が決定される。クライアントタグEの開始時刻は、クライアントタグEに最も密に適合するサーバタグの開始時刻に対応する。次いで、ステップS318では、開始時刻tがサーバ300からクライアント200に送信される。更に、ステップS320では、例えば、プログラム情報等のメタデータMがサーバ300からクライン跡200に送信されてもよい。ステップS322では、クライアント200が、開始事項t及びメタデータMに基づいて、ユーザの選択した音声プログラム及び/又は映像プログラム、すなわち所望の映像の再生のための開始時刻を決定してもよい。
【0044】
次いで、ステップS324では、所望の映画の始まりで再生が開始する。
【0045】
図4は、クライアント/サーバのアーキテクチャの可能な実施形態を示す。
【0046】
音声/映像信号402は、放送局400からクライアント200及びサーバ300に送信される。クライアント200は、視聴覚信号402を受信するように構成される受信機構404を含んでいてもよく、更に、サーバ300から時間情報Tを受信するように構成されてもよい。更に、クライアント200は、時間情報に依存する音声信号を再生するように構成される再生機構を含んでいてもよい。更に、クライアント200は、選択的に、視聴覚信号402からシグナチャーデータを導き出すように構成されるデータ処理機構408を含んでいてもよく、シグナチャーデータは、音声信号の少なくとも一部分を記述しており、予め設定された方式で導き出される。更に、クライアント200は、シグナチャーデータEをサーバ300に送信するように構成された送信機構を含んでいてもよい。
【0047】
サーバ300は、音声/映像信号402を受信するように構成された受信機構412を含んでいてもよい。更に、サーバ300は、サーバタグE、E、...(図2及び図3についての上述を参照)を導き出すように構成されたデータ処理機構414を含んでいてもよく、シグナチャーデータEとこれらのタグを比較してもよい。
【0048】
また、サーバ300は、クライアントタグEの決定された開始時刻に対応する時間情報Tをクライアント200に送信するように構成された送信機構416を含んでいてもよい。
【0049】
図5は一実施形態を示し、放送局100は音声信号を含むテレビ信号をクライアント500及びサーバ600に送信する。クライアント500及びサーバ600は、放送モードに従い操作を可能にする。放送モードでは、サーバ600からクライアント500への双方向の接続が一つだけ存在する。すなわち、上記双方向モードとは反対に、クライアント500からサーバ600への逆接続は必要ない。
【0050】
簡略に説明すると、放送モードでは、サーバ600は、テレビ信号TVに基づいてサーバタグE、E、...を決定し、サーバタグE、E、...をクライアント500に送信する。クライアント500は、クライアントタグを、例えば、サーバ600と同じの予め設定されたアルゴリズムに従い、同じ方式で決定する。サーバタグE、E、...の一つの開始又は終了時刻に対応する時点を決定するために、クライアント500は決定されたクライアントタグとサーバタグE、E、...とを比較する。放送モードでは、サーバ600が、更に開始及び/又は終了時刻t、t、...をクライアント500に送信する。開始及び/又は終了時刻t、t、...は、サーバタグE、E、...の夫々の開始及び/又は終了時刻に対応する。
【0051】
このように、クラインアント500は、サーバタグE、E、...に最も適合する、最も密に適合したクライアントタグを決定することによって、クライアントタグの開始及び/又は終了時刻を決定してもよい。次いで、クライアントタグの開始及び/又は終了時刻は、夫々のサーバタグの開始及び/又は終了時刻tに設定されてもよい。
【0052】
図6の左側において、テレビ信号TVに含まれる音声信号が示される。図6の右側において、クライアント500で受信及び記録された、テレビ信号TVに対応する音声信号が示される。
【0053】
放送モードでは、サーバ600がサーバタグE、E、...を決定する。例えば、サーバタグは、5分毎又は10分毎に決定されてもよい。サーバタグE、E、...は、音声信号のサーバ部分S、S、...に対応していてもよく、部分(パート)S、S、...は、例えば、10秒、20秒、30秒、又はそれ以上の予め設定された長さであってもよい。
【0054】
図6は、複数のサーバタグE、E、...が決定されることを示すが、一つのサーバタグEを決定することのみで十分であってもよいことは、留意すべき点である。
【0055】
次いで、サーバタグE、E、...は、夫々の開始及び/又は終了時刻と共にクライアント500に送信される。図6の例では、サーバタグE、E、...に対応する夫々の部分(パート)S、S、...の開始時刻は、クライアント500に送信される。
【0056】
代わりの実施形態では、又はサーバタグE、E、...に付加して、部分S、S、...がサーバ600からクライアント500に送信されてもよい。
【0057】
クライアント500では、図6の右側に示すように、クライアントタグE’、E’、...は、例えば、10秒毎に決定される。クライアントタグE’、E’、...は、分単位程度毎に決定されることも可能である。この場合、クライアントタグは、30秒より長い時間を必要としてもよい。クライアントタグE’、E’、...に対応するクライアント部分S’、S’、...は、サーバ部分S、S、...の長さと同じであってもよい予め設定された長さを有していてもよい。
【0058】
サーバタグE、E、...は、クライアントタグE’、E’、...と比較される。
【0059】
計算時間を省くために、あるサーバタグが比較のために選択されることも可能である。あるサーバタグは、クライアント500で見積もられた現地時間に基づいて決定されてもよい。例えば、図6では、クライアントタグE’に対応するクライアント部分S’の始まりは、現地時間17:39:40に開始する。この見積もられた現地時間17:39:40に最も近接した開始時刻を有するサーバタグE、E、...のサーバタグは、サーバ時刻17:40:00に開始するサーバタグEである。従って、サーバタグEは、クライアントタグE’、E’と比較される。このように、必要な比較の数が減少するので、計算の負荷は低減されてもよい。全数検索は必要としなくてもよく、サーバタグEのみがクライアントタグE’、E’と比較されればよい。このように、全てのサーバタグE、E、...が全てのクライアントタグE’、E’と比較される必要はない。
【0060】
また、他の実施形態では、クライアントタグがサーバタグの開始時刻に近接している際に、クライアントタグをあるサーバタグとだけ比較することによって、必要な計算時間を低減することが可能であってもよい。近接の手段として、例えば、夫々のサーバタグの開始時刻の予め設定された時間内である。
【0061】
一実施形態では、サーバ部分S、S、...は、サーバ600からクライアント500に送信され、サーバ部分S、S、...は、クライアント部分S’、S’、...と比較されてもよい。タグを利用する場合と類似した方法で、選択されたサーバ部分を、サーバ部分のように近接した開始時刻を有するクライアント部分S’、S’と比較することのみによって、計算の負荷を低減することが可能である。
【0062】
図6の例では、サーバタグEは、クライアントタグE’と最も密に適合する。このように、クライアントタグE’に対応するクライアント部分S’は、サーバタグEと同じ時刻、すなわち17:40:00で開始する。
【0063】
他の実施形態では、プログラム情報Mがサーバ600からクライアント500に送信され、プログラム情報Mは、例えば、音声プログラム、映画、宣伝等の開始及び/又は終了の時刻を指し示すことが可能である。図6の例では、プログラム情報Mは、映画“Bonanza”が17:45:00から18:30:00まで放送されたことを指し示す。このように、クライアント500は、17:40:00に開始時刻を有するクライアント部分S’の開始5分後に、再生を始めてもよい。
【0064】
図7は、放送モードでサーバ600及びクライアント500で実行されてもよいステップを示す。
【0065】
ステップS700では、サーバ600で、テレビ信号の音声信号が受信される。更に、ステップS702では、サーバタグE、E、...が図6の左手側に関して説明したように決定される。更に、ステップS704では、サーバタグE、E、...が夫々のタグの開始時刻と共にクライアント500に送信される。ステップS706では、クライアント500で、放送局100によって送信されたテレビ信号の音声信号が受信される。更に、ステップS708では、図6の右手側で説明したようにクライアントタグE’、E’が決定される。次いで、ステップS710では、サーバタグE、E、...及び対応する開始時刻がサーバ600から受信される。
【0066】
次いで、ステップS712では、夫々のサーバタグE、E、...の開始時刻と近接する所定のクライアントタグE’、E’、...が選択される。もちろん、図6の右手側に関して説明したように、比較のために利用される一つのサーバタグのみ(図6の例では、サーバタグE)を選択することも可能である。
【0067】
次いで、ステップS714では、サーバタグE、E、...が選択されるクライアントタグE’、E’、...と比較される。
【0068】
ステップS716では、選択されるクライアントタグの開始時刻又はクライアントタグに最も密に適合する少なくとも一つの開始時刻が、比較の結果に基づいて決定される。
【0069】
ステップS720では、サーバ600で実行され、メタデータMがサーバ600からクライアント500に送信される。
【0070】
ステップS718では、クライアント500で、再生のための開始時刻が、最も密に適合するクライアントタグの開始時刻及びメタデータMに基づいて決定される。
【0071】
以下の説明は、理解をより助けるものとなるだろう。
【0072】
本発明の一実施形態によれば、記録装置等のクライアント装置は、受信される映像信号からのタグを決定してもよい。上記タグは、サーバに送信されてもよく、プログラムが示される時刻及びチャンネルを決定する。この情報は、クライアントに送信される。このように、記録された映像信号のテレビプログラムへの正確な割り当てが、達成されてもよい。この正確な割り当てのために、例えば、宣伝を取り除いたり、映画内であるシーンにナビゲートしたりするといった、正確なナビゲーションのようなサービスを提供することが可能となってもよい。
【0073】
サービスは、クライアントにサービスを売る一種のサービスビジネスとして、又は記録装置に特徴を増やしたいハードウェア製造業者にビジネスを付加するためのものとして提供されてもよい。
【0074】
全ての場合において、テレビの需要者のための関連情報を有する、例えば、サーバ等の中央データベース(central data base)(メタデータの供給側)があると想定される。これは、例えば、コマーシャル又は宣伝の位置でありうるが、聴覚障害者、字幕等のための書き写した情報、映画で俳優が登場することについての情報でもありうる。最も単純な場合として、それは、現在のプログラムの正確な開始及び終了時刻であるかもかしれない。この付加的な情報の全ては、プログラム情報又はメタデータとも呼ばれてもよい。
【0075】
情報が現在のプログラムの正確な開始及び終了時刻であるならば、提供される付加的な機能は、自動的なものであって、正確で瞬時の記録の切断であってもよい。
【0076】
より高度な例として、(例えば、外国語の学習者のためのサービスとして)映画と同調させられて現れる字幕、又はある俳優が話したり、歌ったりする配置(location)への直接のナビゲーション等でありうる。コマーシャルに印を付けることによって、ターゲットとする宣伝でコマーシャルを置き換えることが可能である。元の記録の中のコマーシャルスロットは、ユーザには全く見えない他のコマーシャルで満たされてもよい。
【0077】
2つのモードがあってもよい:(基本的な)双方向モード及び放送モードである。
【0078】
双方向モードでは、まず、ユーザは、18:00:00から19:00:00まで放送される映画を録画したいので、ユーザは、大体17:55:00から19:05:00まで録画をする。次いで、記録装置は、正確に選択された音声信号の断片、すなわち、音声信号の一部分を録画から取り出して、これをサーバに送信する。“正確に選択された”とは、音声の記述されている部分が選択されたことを意味し、例えば、シグナチャーデータに基づいて、一意的な識別を難しいものとする音声については選択されないということを意味していてもよい。例えば、無声の帯域が避けられてもよい。
【0079】
サーバは、断片が取り出された音声ストリームの中の正確な配置を特定するために、断片又はタグを利用する。次いで、上記断片の正確な開始及び終了時刻が、断片に対して相対的なものであり、例えば、“これは、“絶望的な主婦(Desperate Housewives)、エピソード233であり、断片が取り出された2分34秒前に始まり、断片が取り出された42分後に終わる。”場合に、サーバは、そのデータベースから情報を計算する。
【0080】
次いで、クライアント装置は、“絶望的な主婦(Desperate Housewives)”のエピソードを非常に正確な開始及び終了時刻で取り除くために、この時間情報を利用してもよい。もちろん、サーバは、俳優の情報及びシリーズの情報等のような付加的なデータを送信してもよい;これら全ては、“絶望的な主婦(Desperate Housewives)”のエピソードと共に格納される。もしコマーシャルのwere−aboutについての情報が送信されるなら、これにより、それらを再生中に飛ばすことによって、又はクライアント装置からそれらを完全に取り除くことによって、即座に再生の間の全てのコマーシャルをブロックすることが可能となる。
【0081】
放送モードでは、クライアントからサーバへの逆の接続を取り除くことが可能であってもよい。放送モードでは、サーバは、例えば、10秒程度に対して5分毎に、規則的なインターバルの中の支持されるTVプログラムストリームの夫々をサンプリングして、指紋、すなわち、サンプルされた部分のタグを計算する。次いで、サーバは、関連性のある全てのメタデータ情報を全ての指紋と共にクライアントにダウンストリームしてもよい。クライアントは、局所的に、“サーバモード”で指紋を走らせ、現在の記録の中の夫々の指紋を検索する。もちろん、クライアントは、記録の大まかな時刻を把握しており、それ故、1〜3の潜在的な指紋の数を低減することができるので、全数検索は必要でない。いったん指紋が局所記録の中で配置されれば、正確な調整及び更なるメタデータの利用は双方向モードの場合と同じ方式で始まりうる。




【特許請求の範囲】
【請求項1】
第1のシグナチャーデータが少なくとも一部分の音声信号を記述し、参照時点は少なくとも一部分の音声信号の始まり又は終わりと関連しており、前記音声信号から前記第1のシグナチャーデータ(E、E、...)をサーバで導き出すステップと、
第2のシグナチャーデータが少なくとも一部分の前記音声信号を記述し、サーバでの前記第1のシグナチャーデータと同じ方式で導き出され、前記音声信号から第2のシグナチャーデータ(E’、E’、...)をクライアントで導き出すステップと、
前記第1及び第2のシグナチャーデータを比較するステップと、
前記比較するステップの結果に依存する前記参照時間と等しい時点(T)を決定するステップと、
を含み、
放送局からクライアント及びサーバに送信される音声信号内の前記時点(T)を決定する方法。
【請求項2】
前記第2のシグナチャーデータ(E;S)は、前記クライアントから前記サーバに送信され、
前記比較するステップは、サーバで行われる、請求項1に記載の方法。
【請求項3】
前記参照時点は、前記サーバから前記クライアントに送信され、
前記決定するステップは、サーバで行われる、請求項2に記載の方法。
【請求項4】
前記第2のシグナチャーデータは、選択された一部分の前記音声信号にのみ対応する、請求項2又は3に記載の方法。
【請求項5】
前記第1のシグナチャーデータは、複数のサブユニットを含み、
夫々のサブユニットは、夫々の部分の前記音声信号から導き出され、
前記比較するステップで、類似性測定は、夫々のサブユニットに対して決定され、
前記類似性測定は、夫々のサブユニット及び前記第2のシグナチャーデータの所定程度の類似性を記述しており、
前記決定するステップで、前記時点は、最大類似サブユニットの参照時点と等しいと決定され、
前記最大類似サブユニットは、全てのサブユニットのうちで最高類似性測定を有する、請求項1〜4のいずれか1項に記載の方法。
【請求項6】
前記サブユニットが導き出される前記部分の前記音声信号は、前記音声信号の無声でない帯域を含むように選択される、請求項5に記載の方法。
【請求項7】
前記選択される部分は、前記音声信号の無声でない帯域を含むように選択される、請求項4〜6のいずれか1項に記載の方法。
【請求項8】
前記第1のシグナチャーデータ(E、E、...)は、前記サーバから前記クライアントに送信され、
前記比較するステップは、前記クライアントで行われる、請求項1に記載の方法。
【請求項9】
前記参照時点は、前記サーバから前記クライアントに送信され、
前記決定するステップは、前記クライアントで行われる、請求項8に記載の方法。
【請求項10】
前記第1のシグナチャーデータは、少なくとも選択される部分の前記音声信号に対応する、請求項8又は9に記載の方法。
【請求項11】
前記第1のシグナチャーデータは、複数の選択される部分の前記音声信号に対応する、請求項8又は9に記載の方法。
【請求項12】
前記選択される部分は、前記音声信号の無声でない部分を含むように選択される、請求項10又は11に記載の方法。
【請求項13】
前記第2のシグナチャーデータは、複数のサブユニットを含み、
夫々のサブユニットは、夫々の部分の前記音声信号から導き出され、
前記比較するステップで、類似性測定は夫々のサブユニットに対して決定され、
前記類似性測定は、夫々のサブユニット及び前記第1のシグナチャーデータの所定程度の類似性を記述しており、
前記決定するステップで、前記時点は、最大類似サブユニットの参照時点と等しくなるように決定され、
前記最大類似サブユニットは、全てのサブユニットのうちで、最高類似性測定を有する、請求項8〜12のいずれか1項に記載の方法。
【請求項14】
前記クライアントで、現地時間が提供され、
夫々のサブユニットは、局所時点と関連しており、
前記比較するステップは、前記参照時点を取り囲む予め設定された時間範囲内の局所時点を有するサブユニットに対してのみ実行される、請求項13に記載の方法。
【請求項15】
前記クライアントで、現地時間が提供され、
夫々のサブユニットは、局所時点と関連しており、
前記比較するステップは、近接のサブユニットに対してのみ実行され、
前記近接のサブユニットは、全てのサブユニットのうちで前記参照時点に最も近接する局所時点を有する、請求項13に記載の方法。
【請求項16】
前記音声信号は、テレビ信号の一部であり、
前記方法は、前記テレビ信号内の時点(T)を決定するための方法である、請求項1〜15のいずれか1項に記載の方法。
【請求項17】
前記クライアントで、前記テレビ信号が記録され、
前記時点は、記録されたテレビ信号の再生を制御するために利用される、請求項16に記載の方法。
【請求項18】
前記音声信号に対応するプログラム情報を前記サーバから前記クライアントに送信するステップと、
前記プログラム情報に基づいて再生のために少なくとも一部分の前記音声信号を選択するステップと、
を含む、請求項1〜17のいずれか1項に記載の方法。
【請求項19】
前記プログラム情報は、少なくとも一つの開始時刻及び対応する終了時刻を含み、
前記開始及び終了時刻は、再生のために選択される一部分の前記音声信号を指し示すか、再生のために選択されない一部分の前記音声信号を指し示す、請求項18に記載の方法。
【請求項20】
前記開始及び終了時刻は、音楽及び/又は映画の一部分の開始及び終了時刻に対応する、請求項19に記載の方法。
【請求項21】
前記第1及び第2のシグナチャーデータが導き出される少なくとも一部分の前記音声信号は、予め設定された長さを有する、請求項1〜20のいずれか1項に記載の方法。
【請求項22】
第1のシグナチャーデータが少なくとも一部分の音声信号を記述し、参照時点は少なくとも一部分の音声信号の始まり又は終わりと関連しており、前記音声信号から前記第1のシグナチャーデータ(E、E、...)をサーバで導き出すステップと、
第2のシグナチャーデータが少なくとも一部分の前記音声信号を記述し、サーバでの前記第1のシグナチャーデータと同じ方式で導き出され、前記音声信号から第2のシグナチャーデータ(E’、E’、...)をクライアントで導き出すステップと、
前記第1及び第2のシグナチャーデータを比較するステップと、
前記比較するステップの結果に依存する前記参照時間と等しい前記時点(T)を決定するステップと、
を含み、
放送局からクライアント及びサーバに送信される、音声信号内の時点を決定する方法をコンピュータに実行させるコンピュータプログラム命令を含む、コンピュータ読み取り可能な媒体。
【請求項23】
放送局から音声信号を受信するように構成され、更にサーバから時刻情報を受信するように構成される受信機構と、
前記時刻情報に依存する前記音声信号を再生するように構成される再生機構と、
を備える、記録装置。
【請求項24】
前記受信機構は、更に、前記サーバから前記音声信号に関連するプログラム情報を受信し、少なくとも一部分の前記音声信号を前記プログラム情報に基づいて再生のために選択するように構成される、請求項23に記載の記録装置。
【請求項25】
前記プログラム情報は、少なくおとも一つの開始時刻及び対応する終了時刻を含み、
前記開始及び終了時刻は、再生のために選択される一部分の前記音声信号を指し示すか、再生のために選択されない一部分の前記音声信号を指し示す、請求項24に記載の記録装置。
【請求項26】
シグナチャーデータが、少なくとも一部分の音声信号を記述し、予め設定された方式で導き出され、前記シグナチャーデータ(E)を前記音声信号から導き出すように構成されるデータ処理機構と、
前記シグナチャーデータ(E)を送信するように構成される送信機構と、
を備える、請求項23〜25のいずれか1項に記載の記録装置。
【請求項27】
前記音声信号は、映像/音声信号の一部分である、請求項23〜26のいずれか1項に記載の記録装置。
【請求項28】
請求項23〜27のいずれか1項に記載の記録装置と、
前記時刻情報を提供するように構成されるサーバと、
を備える、システム
【請求項29】
第1のシグナチャーデータが少なくとも一部分の音声信号を記述し、参照時点は少なくとも一部分の音声信号の始まり又は終わりと関連しており、音声信号を放送局から受信するように構成され、更に、前記第1のシグナチャーデータ及び少なくとも一つの前記参照時点をサーバから受信するように構成される受信機構と、
第2のシグナチャーデータが少なくとも一部分の前記音声信号を記述し、前記第1のシグナチャーデータと同じ方式で導き出され、前記第2のシグナチャーデータを前記音声信号から導き出すように構成され、
更に、前記第1及び第2のシグナチャーデータを比較し、比較結果に依存する再生開始及び/又は終了時刻を決定するように構成されるデータ処理機構と、
再生開始及び/終了時刻に従い前記音声信号を再生するように構成される再生機構と、
を備える、記録装置。
【請求項30】
第1のシグナチャーデータが少なくとも一部分のテレビ信号を記述し、参照時点は少なくとも一部分のテレビ信号の始まり又は終わりと関連しており、前記テレビ信号から前記第1のシグナチャーデータをサーバで導き出すステップと、
第2のシグナチャーデータが少なくとも一部分の前記テレビ信号を記述し、サーバでの前記第1のシグナチャーデータと同じ方式で導き出され、前記テレビ信号から前記第2のシグナチャーデータをクライアントで導き出すステップと、
前記第1及び第2のシグナチャーデータを比較するステップと、
前記比較するステップの結果に依存する前記参照時間と等しい前記時点を決定するステップと、
を含み、
放送局からクライアント及びサーバに送信される、テレビ信号内の時点を決定する方法。
【請求項31】
参照時点が第1のシグナチャーデータの始まり又は終わりと関連しており、前記テレビ信号から前記第1のシグナチャーデータをサーバで導き出すステップ;
第2のシグナチャーデータがサーバでの前記第1のシグナチャーデータと同じ方式で導き出され、前記テレビ信号から前記第2のシグナチャーデータをクライアントで導き出すステップと、
前記第1及び第2のシグナチャーデータを比較するステップと、
前記比較するステップの結果に依存する前記参照時間と等しい前記時点を決定するステップと、
を含む、テレビ信号内の時点を決定する方法。
【請求項32】
前記クライアントで、前記テレビ信号は記録され、
前記時点は記録されたテレビ信号の再生を制御するために利用される、請求項31に記載の方法。



【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate


【公表番号】特表2010−523068(P2010−523068A)
【公表日】平成22年7月8日(2010.7.8)
【国際特許分類】
【出願番号】特願2010−501377(P2010−501377)
【出願日】平成19年11月30日(2007.11.30)
【国際出願番号】PCT/EP2007/010426
【国際公開番号】WO2008/119372
【国際公開日】平成20年10月9日(2008.10.9)
【出願人】(397051508)ソニー ドイチュラント ゲゼルシャフト ミット ベシュレンクテル ハフツング (140)
【Fターム(参考)】