類似のビデオコンテンツへの乗り換えのための方法および装置
【課題】従来技術の制限その他を克服する改良された装置および方法。
【解決手段】ビデオコンテンツ再生のための装置がビデオコンテンツを再生する再生手段を有する。前記ビデオコンテンツは重なり合うシーンを含み、各シーンは関連付けられたシーン特性を有する。シーン乗り換え選択手段は前記再生手段がビデオコンテンツを再生中に乗り換え先を選ぶよう動作する。その選択動作は、前記再生手段が選択の時点で再生中の現在シーン、および該現在シーンに対応する現在シーン特性を定義する。類似シーン乗り換えプロセッサは現在シーンの定義法に反応して動作する。前記類似シーン乗り換えプロセッサは現在シーン特性を当該ビデオコンテンツの他のシーン特性と比較して類似したシーンを同定する。前記類似シーン乗り換えプロセッサは前記再生手段に、再生を前記類似シーンへと移行させる。
【解決手段】ビデオコンテンツ再生のための装置がビデオコンテンツを再生する再生手段を有する。前記ビデオコンテンツは重なり合うシーンを含み、各シーンは関連付けられたシーン特性を有する。シーン乗り換え選択手段は前記再生手段がビデオコンテンツを再生中に乗り換え先を選ぶよう動作する。その選択動作は、前記再生手段が選択の時点で再生中の現在シーン、および該現在シーンに対応する現在シーン特性を定義する。類似シーン乗り換えプロセッサは現在シーンの定義法に反応して動作する。前記類似シーン乗り換えプロセッサは現在シーン特性を当該ビデオコンテンツの他のシーン特性と比較して類似したシーンを同定する。前記類似シーン乗り換えプロセッサは前記再生手段に、再生を前記類似シーンへと移行させる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は娯楽芸術に関する。特に、高容量パーソナルビデオレコーダーのユーザーが同じまたは異なるストリーム内の類似のコンテンツに切り換える、あるいは乗り換えるのを便利にすることに関する。しかし、本発明はより一般には、デジタル放送テレビ受信機、デジタルケーブルテレビ受信機、コンパクトオーディオディスクプレーヤーおよびレコーダー、デジタルラジオ放送受信機、インターネットブラウザー、コンピュータネットワークブラウザーなどにおけるコンテンツ間の乗り換え（content hopping）を可能にすることに関する。
【背景技術】
【０００２】
パーソナルビデオ録画再生機は現在のところ４０時間以上ものビデオコンテンツを記録する容量があり、その容量は近い将来大幅に増加することが見込まれている。こうした大きな記録容量に鑑みると、ビデオコンテンツを合理的に管理し、再生し、ブラウズするツールや機能があればユーザーに裨益するところが大きい。
【０００３】
幸運な偶然によっておもしろい娯楽コンテンツを「発見」することは視聴者にとって有益である。放送、ケーブルテレビ、衛星テレビを視聴する間、ユーザーは一般にチャンネルサーフィン、すなわちチャンネル間の乗り換えを行う。リモコンのチャンネル切り換えを操作してテレビのチャンネルを切り換えながらおもしろい演目をさがすのである。テレビの演目を同定する印刷された番組表や電子番組表がすぐ利用できる場合であっても、ユーザーはしばしばチャンネル間の乗り換えを行う。ただし、そのようなチャンネル乗り換えは完全に無作為ではない可能性がある。ユーザーはあるチャンネルで典型的に放送されるのがどんな演目であるかを知っている可能性があるからである。
【０００４】
たとえばパーソナルビデオカメラ（すなわちカムコーダー）またはパーソナルビデオレコーダーを使ってユーザーによって記録されたビデオコンテンツは、一般にはコンテンツのガイドは含んでいない。再生の間、ユーザーは録画されたコンテンツのコンテンツ乗り換えをしたくなることがある。そのようなコンテンツ乗り換えは一般にチャンネル間の乗り換えと同様であるが、テレビチャンネルの間ではなく、ビデオストリームの部分の間またはビデオストリームの間で乗り換えるという点だけが異なっている。
【０００５】
問題が起こるのは、典型的にはユーザーはあるビデオストリーム内、あるいはストリーム間での望ましいコンテンツの乗り換え先を同定する便利な方法がないためである。特定の種類のコンテンツの範囲内で、あるいは現在視聴中のコンテンツと類似したコンテンツの範囲内でのコンテンツ乗り換えができればユーザーにとって有益であろう。その上、ユーザーは、現在視聴中の演目との類似性に基づいて、あるいは乗り換え先のコンテンツの特定の種類（アクションシーン、スポーツ番組など）を指定することによって、コンテンツ乗り換えを限定したいと思うかもしれない。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は上述の制限その他を克服する改良された装置および方法を考察する。
【課題を解決するための手段】
【０００７】
一つの側面では、ビデオコンテンツを再生する装置が開示される。少なくとも一つのビデオストリームを保存〔記憶〕するよう、ビデオコンテンツ手段が設けられる。各ビデオストリームには複数のシーンが含まれ、各シーンは対応するシーン特性によって記述される。ユーザーが視聴したいシーンのビデオコンテンツを記述するシーン特性を選択するための選択手段が設けられている。選択されたシーン特性を保存されているビデオストリームのシーン特性と比較して、シーン特性が選択されたシーン特性と類似する一つ以上のシーンを同定するための手段が設けられている。選択されたシーン特性と類似と同定されたシーン特性をもつ少なくとも一つのシーンを再生する手段が設けられている。
【０００８】
別の側面では、ビデオコンテンツを再生する方法が提供される。ビデオシーンのフレームの特徴の合成を記述するシーン特性が選択される。選択されたシーン特性は、少なくとも一つの保存されているビデオストリームのシーンを記述するさまざまな保存シーン特性と比較され、選択されたシーン特性と類似する少なくとも一つのシーン特性を同定する。シーン特性が選択されたストリーム特性と類似と同定された少なくとも一つのシーンが再生される。
【発明の効果】
【０００９】
一つの利点は、録画済みのビデオストリーム内で、あるいはビデオストリーム間で、コンテンツに基づくチャンネル乗り換えを可能にすることにある。
【００１０】
もう一つの利点は、定量的な、ユーザーが指定できる乗り換え基準に基づいてコンテンツに基づく乗り換えを可能にすることにある。
【００１１】
さらにもう一つの利点は、コンテンツに基づく乗り換えの際に使えるよう柔軟で正確なコンテンツ要約情報が提供されることにある。
好ましい実施形態に関する以下の詳細な記述を読めば、通常の技量のある当業者にはさらに数多くの利点や恩恵があることが明らかとなるだろう。
【図面の簡単な説明】
【００１２】
【図１】パーソナルビデオレコーダーおよび関連する娯楽システムを、代表例としての衛星テレビ入力と、シーン乗り換えおよびストリーム乗り換えをユーザーが選択できるようにするためのリモコンとともに図式的に示す図である。
【図２】録画中のビデオコンテンツに関連するシーン特性情報およびストリーム特性情報を生成し、記録するためのパーソナルビデオレコーダーの好適な構成要素を図式的に示す図である。
【図３】多ストリームビデオコンテンツに対応するシーンが重なり合う好適な様子を図式的に示す図である。
【図４】シーン乗り換えを実行するパーソナルビデオレコーダーの好適な構成要素を図式的に示す図である。
【図５】乗り換えしきい値目盛りの例を示す図である。
【図６】意味的シーン選択メニューの例を示す図である。
【図７】ストリーム乗り換えを実行するパーソナルビデオレコーダーの好適な構成要素を図式的に示す図である。
【発明を実施するための形態】
【００１３】
本発明は、さまざまな構成要素および構成要素の編成において、ならびにさまざまなプロセス動作およびプロセス動作の編成において、実施することができる。図面は好ましい実施形態を解説する目的のためだけのものであり、発明を限定するものと解してはならない。
【００１４】
図１を参照すると、パーソナルビデオレコーダー（ＰＶＲ）１０はハードディスク１２およびコンピュータ処理装置をベースとする制御手段１４とを有している。レコーダー１０は入力オーディオビデオデータの一つ以上のストリームを記録し、その一方、該入力データ、遅延させた該入力データ、またはその他の録画済みのデータを同時に再生する。現在の技術では、４０時間の記録容量のハードディスクはすぐ手にはいる。より高密度の記録装置、複数ディスク録画システムなどによってより大きな記録容量も利用可能になるだろう。パーソナルビデオレコーダーとの関連で記述されているが、この技術は記録済みオーディオビデオ媒体、読み書き可能な光ディスク、パーソナルビデオ録画タスクを実行するよう構成されているコンピュータシステムなどにも適用可能であることは認識されるであろう。
【００１５】
パーソナルビデオレコーダー１０は再生映像を娯楽システム２０に出力する。２０は好ましくは高解像度ディスプレイであるビデオ表示装置２２および好ましくはハイファイのオーディオシステムであるオーディオスピーカーシステム２４を有している。別個に図示されているが、実施形態によってはオーディオスピーカーやそのセットは物理的にビデオ表示装置に統合されていることもある。その上、パーソナルビデオレコーダーが娯楽システム２０に物理的に統合されていてもよい。パーソナルビデオレコーダー１０はまた、ビデオとオーディオの一方または両方の外部源に接続されている。外部源というのは、衛星３６によって放送される衛星テレビ信号３４を受信する衛星パラボラアンテナ３２と連携する衛星テレビチューナー３０などである。他の適切なオーディオビデオ入力としては、通常放送テレビ、ケーブルテレビ、通常放送ラジオ、デジタルラジオなどがある。任意的に、テレビチューナー３０はパーソナルビデオレコーダー１０に、あるいは娯楽システム２０に統合されていてもよい。
【００１６】
ユーザーはパーソナルビデオレコーダー１０、娯楽システム２０、テレビチューナー３０、および任意的に他の構成要素を、手で持って操作するリモコン４０を使って制御する。リモコン４０は赤外線信号４２を送信し、それがパーソナルビデオレコーダー１０、娯楽システム２０、テレビチューナー３０、または制御すべきその他の構成要素によって受信される。リモコン４０はボタン、回転ダイヤルなど、ユーザーの指令を入力するのに適した制御要素を有している。特に、リモコン４０はシーン乗り換えボタン４４およびビデオストリーム乗り換えボタン４６を有しており、ユーザーはこれらを作動させることによってハードディスク１２上にあるそれぞれ類似のシーンまたは類似のビデオストリームへのコンテンツ乗り換えを開始させる。より複雑な制御動作では、任意的な画面ポインタ４８がパーソナルビデオレコーダー１０によって表示装置２２上に表示され、リモコン４０を使ってこれを操作することにより、パーソナルビデオレコーダー１０によって生成された、表示中の選択メニューからの選択を実行する。
【００１７】
引き続き図１を参照しつつさらに図２も参照すると、パーソナルビデオレコーダー１０はビデオ録画コンポーネント５０を有している。これは、衛星テレビチューナー３０またはその他の外部ビデオ入力源から受け取ったビデオ入力５２をハードディスク１２またはその他の大容量記憶装置に記録する。これと同時に、あるいは記録ののちに、シーン定義プロセッサ５４がビデオコンテンツ中で重なり合うシーンを定義する。
【００１８】
引き続き図２を参照しつつさらに図３も参照すると、前記シーン定義プロセッサ５４はビデオコンテンツを受け取り、各シーンに対応する重なり合う区間を定義する。具体的には、図３は二つのビデオストリーム６０１、６０２を示しており、これらは、ビデオストリーム６０１の重なり合うシーン６２１、６４１、６６１、６８１、またはビデオストリーム６０２の重なり合うシーン６２２、６４２、６６２、６８２、といったシーン群に対応する重なり合うシーン区間に分解されている。ある好適な実施例では、各シーンは３０秒から１０分の長さである。一つの好ましい実施例では、２分のシーンが１０秒の間隔をおいて重なり合う仕方で始まるよう配置される。シーンの長さと配置は、ビデオコンテンツ中で生起する活動の量といったビデオコンテンツの特徴に基づいて好適に決定される。たとえば、アクションビデオは、よりテンポの遅い映画ジャンルのビデオに比べ、より短く、狭い間隔で重なり合っているシーンを有することが好ましい。前記シーン定義プロセッサ５４は、当該ビデオコンテンツの動きパラメータその他の特徴に基づいてシーンの長さおよび重なり合いの間隔を選択するよう考えられている。
【００１９】
図２の参照に戻ると、各シーンはシーン特性を生成するために処理される。低レベル特徴プロセッサ８０は、低レベルのオーディオビデオコンテンツの特徴を、フレームごと、または少数のフレームの群（たとえば、ピクチャーグループ（ＧＯＰ））を単位として計算する。好適な低レベル特徴としては、絶対平均輝度パラメータ、映像輝度差分パラメータ、フレーム複雑度パラメータ、平均差分絶対値（ＭＡＤ）動き予測〔推定〕パラメータ、動きパラメータ、映像テクスチャーパラメータ、色分布パラメータ、シーン合成パラメータ（たとえば、オブジェクトに基づいて、あるいは音響心理学的特徴に基づいて定義される）などがある。各シーンについて、主成分解析手段（ＰＣＡ）８２が低レベル特徴を主成分空間に主成分ベクトルとして射影する。当分野で公知のように、低レベルの特徴についてのかなりの量の情報を表現するような少数の主成分を選択することが可能である。これによりメモリの使用が著しく軽減され、類似性尺度の堅牢さおよび類似性計算の複雑さが改善される。その上、ＰＣＡで使う特徴は表現の精度と連動しているので、低レベルのＰＣＡ特徴の数とその結果としての表現の正確さを一方とし、メモリ使用、堅牢さ、および計算量を他方として比較考量を行う余地がある。シーン特性を計算するにあたっては、主成分解析が好ましい枠組みであるが、他の方法を用いてもよい。たとえば、平均だとか、一つまたは少数の選ばれた低レベル特徴のその他の統計的な要約だとかを用いてシーン特性を計算してもよい。
【００２０】
シーン特性生成手段８４は、各シーンについて、当該シーンの個々のフレームまたはフレーム群の主成分ベクトルに基づいて好適な定量的シーン特性を計算する。そのような特性は、フレーム群内にわたる短期特性（すなわち、一つのＧＯＰレベルＰＣＡ特徴の長さ程度の特徴）から、ＧＯＰレベルＰＣＡ特徴を数分間（すなわち、シーンの長さ程度）にわたって合成した中期特性、ビデオストリーム全体またはそのかなりの部分を代表する長期特性までの範囲がある。好ましくは、当該シーンを表現する中期特性が用いられる。そのような中期特性はＧＯＰレベルのＰＣＡの枠組み内で、次式によって好適に計算される：
【００２１】
【数１】
ここで、
【００２２】
【数２】
は当該シーン内でのｋ番目のＧＯＰの主成分ベクトル、Ｌは主成分ベクトルＰ（ｋ）を定義するのに用いられるＰＣＡ特徴すなわち主成分の数、ＮＧＯＰは特性区間Ｔｍｔ内のＧＯＰの数である。典型的には分散の大きな（好ましくは最大の）主成分がベクトルＰ（ｋ）を構築するのに使われるＬ個の成分として選択される。特性区間Ｔｍｔは典型的には当該シーンの長さに対応する。ｎ番目の特徴についての標準偏差特徴は次式で与えられる：
【００２３】
【数３】
ここでも、ｋは当該シーン中のＧＯＰの添え字であり、１からＮＧＯＰまでの値をとる。前記主成分ベクトルの標準偏差ベクトルは次式で与えられる：
【００２４】
【数４】
ここでもやはり、ｋは当該シーン中のＧＯＰの添え字であり、１からＮＧＯＰまでの値をとる。すると、好適な定量的な中期のＰＣＡベース特性は、次式に従って計算される：
【００２５】
【数５】
数５は好ましいＰＣＡベースの中期のシーン特性を規定している。しかし、これ以外のシーン特性を用いることもできる。平均短期イベント分布（たとえば、ビデオ遷移の数と当該シーン区間Ｔｍｔ中の黒フレームの生起回数との一方または両方）または、平均輝度パラメータ、フレーム複雑度パラメータ、平均差分絶対値（ＭＡＤ）パラメータ、動きパラメータ、もしくは上述した代替パラメータの組み合わせといった低レベル特徴の平均もしくは標準偏差などである。しかし、シーン特性としては、ＰＣＡの枠組みは、主成分値は規模を変更しやすいという利点がある。
【００２６】
シーン乗り換えの際にシーン特性の高速比較を容易にするため、ビデオコンテンツのシーン特性は好ましくはシーン特性相関プロセッサ９０によって処理される。これはシーン特性を並べ替えまたは配列して高速検索可能なシーン特性表９２を作成し、この９２はビデオ録画コンポーネント５０によってハードディスク１２その他の記憶媒体に書き込まれる。シーン特性の事前相関は、検索可能データベースを生成するのに典型的に用いられているアルゴリズムを使って好適に実行される。好ましくは、シーン特性はオーディオビデオデータが記録される際に生成され、該シーン特性はハードディスク１２上の検索可能なシーン特性表９２に保存される。シーン特性を相対的な類似性によって整理することにより、類似したシーンがのちによりすばやく同定できる。あるいはまた、前記制御手段が最近記録されたデータを処理する録画後動作を行って特性を生成することもできる。
【００２７】
図１の参照に戻り、さらに図４を参照すると、パーソナルビデオレコーダー１０のビデオ再生コンポーネント１００は、ハードディスク１２その他の大容量記憶装置に保存されている録画済みのマルチメディアコンテンツを再生し、オーディオビデオ出力１０１のような出力を生成し、該出力は娯楽システム２０に送られる。ユーザーはリモコン４０のシーン乗り換えボタン４４を操作してシーン乗り換えを選択する。シーン乗り換えボタン４４は好ましくはビデオ再生中のいつでも選択することができ、コンテンツに基づくシーン乗り換えを開始させることができる。シーン乗り換えボタン４４が作動すると、該シーン乗り換えボタン４４作動時にビデオ再生コンポーネント１００によって再生されていたシーンに対応する現在シーン１０２が同定される。
【００２８】
類似シーン乗り換えプロセッサ１０４は前記の現在シーン１０２を受け取り、検索可能なシーン特性表９２にアクセスして、対応する類似シーン特性を同定する。パーソナルビデオレコーダー１０の記憶媒体がハードディスク１２の場合、当該ビデオコンテンツはパーソナルビデオレコーダー１０によって録画され、検索可能なシーン特性表９２は好適に生成され、ハードディスク１２にあらかじめ記録されている。これは先に図２を参照して述べたとおりである。商業的販売元によって製作されたビデオコンテンツを含む読み出し専用光ディスクのような読み出し専用媒体の場合、前記検索可能なシーン特性表９２は前記商業的販売元によって当該光ディスク上に好適にあらかじめ記録される。
【００２９】
現在シーン特性が選ばれると、シーンの突き合せは現在シーン特性と他の利用可能な特性との間のユークリッド距離を計算することによって好適に実行される。現在シーン特性と他のシーン特性との間のユークリッド距離は次式によって定義される：
【００３０】
【数６】
ここで添え字ｉは現在シーンに対応し、ベクトルＳ（ｉ）は現在シーン特性、添え字ｊは他のシーンに対応し（ｉ ≠ｊ）、ベクトルＳ（ｊ）は他のシーンのシーン特性である。類似シーン乗り換えプロセッサ１０４はｄｓｃｅｎｅ（ｉ，ｊ）をすべての他のシーンについて（つまり、ｊ＝ｉ以外のすべてのシーン添え字ｊについて）計算し、対応するユークリッド距離ｄｓｃｅｎｅ（ｉ，ｊ）が最小のシーンを選択する。ユークリッド距離を使うのでなく、他の特性比較性能指数を用いてもよい。たとえば次式によって与えられる差分絶対値などである：
【００３１】
【数７】
もし同定された最小ユークリッド距離がある乗り換えしきい値よりも小さければ、対応するシーンが類似シーン１０６として選択される。この類似シーン１０６はビデオ再生コンポーネント１００に入力され、１００はハードディスク１２その他の記憶装置上の前記類似シーンのアドレスへと乗り換える。一方、もし同定された最小ユークリッド距離が前記乗り換えしきい値よりも大きければ、乗り換えは実行されない。そのような場合、ユーザーには適当な該当コンテンツがみつからなかったことが通知されるようにしてもよい。たとえば音によってでもいいし、あるいは暫時画面上に表示されて適当な該当コンテンツがみつからなかったと指摘するアイコンやメッセージによってでもよい。
【００３２】
引き続き図４を参照し、さらに図５を参照すると、乗り換えしきい値プロセッサ１０８は好適には前記類似シーン乗り換えプロセッサ１０４によって使用される乗り換えしきい値をユーザーが選択することを可能にする。図５に示す一つの好適な方法では、乗り換えしきい値プロセッサ１０８はユーザーに対して乗り換えしきい値目盛り１１０を、表示装置２２上に示す形で提示する。この目盛りは連続的に、あるいは離散的なきざみで、類似性が高い設定に対応する最小しきい値からより相違の大きな設定に対応する最大しきい値までの値をとりうる。好ましい実施形態においては、最小しきい値はコピー検出設定であり、この場合、厳密に一致するものがみつかった場合にのみ乗り換えが起こる。最大しきい値は好ましくは常時乗り換え設定１１４であり、この場合、相手がどんなに違うものであっても乗り換えが起こる。このコピー検出１１２と常時乗り換え１１４が極限設定である。最大、中間、最小しきい値は、大規模なオーディオビデオコンテンツ標本にわたって類似性尺度値の分布を分析することによって設計段階で好適に選択される。類似性が高い、すなわちコピー検出設定１１２に対しては、類似シーン乗り換えプロセッサ１０４が著しく類似したシーンまたは同じシーンのコピー、すなわち現在シーン特性と定量的に著しく類似した、あるいは同一のシーン特性をもつシーンを見出さない限り、シーン乗り換えは実行されない。より相違の大きい、すなわち常時乗り換え設定１１４に対しては、相手シーンの現在シーン特性との類似性がずっと低くても、シーン乗り換えが生起する。ユーザーは、表示装置２２上に表示される画面上のポインタ４８を使ってしきい値ポインタ１１６を操作することによって、あるいはリモコン４０の他のボタンや制御要素を操作することによって乗り換えしきい値を選択する。
【００３３】
一つの実施形態では、前記しきい値は、現在シーン特性に最も近い特性のシーンにジャンプするかどうかを決めるのに使われる。これは、最も近いシーンでも現在シーンと著しく異なっていた場合には別のシーンへのジャンプを行わせないようにする。しかし、乗り換えしきい値は他の用途に使うこともできる。たとえば、類似シーン乗り換えプロセッサ１０４は、当該ビデオストリーム中の他のすべてのシーンを調べるのではなく、ランダムに（あるいは擬似ランダムに）他のシーンの特性を現在シーン特性と比較し、そのランダムサンプリングのうちに現在シーン特性から乗り換えしきい値の範囲内にある特性をもつシーンがあれば、最初に出会ったものを類似シーン１０６として選択する。この方法では、類似シーン１０６は最も類似したシーンではないかもしれないが、しきい値の範囲内の類似性はある。この方法だと、ユーザーはより広い範囲のシーンに乗り換え対象を好適に拡大することができる。特に乗り換えしきい値が常時乗り換え設定１１４近くに設定されている場合はそうである。任意的に、類似シーン乗り換えプロセッサ１０４は二つ以上の動作様式のうち選択した一つを用いて乗り換えを実行するよう構成することもできる。その様式とは次のようなものである：（ｉ）全シーンを調べ、最も近いシーンが乗り換えしきい値の範囲内にあればそこに乗り換える（ｉｉ）ランダムにシーンを調べ、現在シーン特性から乗り換えしきい値の範囲内にあるシーンがみつかったらそこに乗り換える（ｉｉｉ）ランダムに選んだシーンに乗り換える。最後の（ｉｉｉ）の様式では、類似性の比較は全く行われず、純粋にランダムまたは擬似ランダムな乗り換えが起こるだけである。
【００３４】
その上、乗り換えしきい値プロセッサ１０８は任意的に省略することもできる。これはたとえば、固定した乗り換えしきい値を用いることによって、あるいは乗り換えしきい値を使わないことによって行われる。乗り換えしきい値を使わなければ、ユークリッド距離ｄｓｃｅｎｅ（ｉ，ｊ）が最小の、差分絶対値距離が最小の、または他の特性比較性能指数が最良のシーンが類似シーン１０６として選択され、ユークリッド距離、差分絶対値距離、または他の特性比較性能指数の値には関わりなくシーン乗り換えが実行される。
【００３５】
引き続き図４を参照し、さらに図６を参照すると、比較の基準として現在シーンを使うのでなく、ある選ばれた種類のシーンを基準として使うことができる。意味的シーン選択プロセッサ１２０はシーン比較のために特徴的なシーンを好適に選択する。この意味的シーン選択プロセッサ１２０は、一般的に見られる映画のシーンに対する代表例となるシーンまたはシーン特性を含む意味的シーン表１２２にアクセスする。代表例となるシーンとは、爆発シーン、アクションシーン、恋愛シーン、スポーツの得点シーン、テレビ番組のオープニングなどであり、各シーンまたは各シーン特性についての意味的ラベルとともに表に含まれている。意味的シーン選択プロセッサ１２０は、意味的シーン選択メニュー１２４を表示装置２２上に表示し（図６参照）、ユーザーは画面上のポインタ４８または他の選択手段を用いてアクションシーンなど興味のあるシーンを選択する。このシーンが現在シーン１０２として選択され、ビデオコンテンツ中で対応する類似のシーンが類似シーン乗り換えプロセッサ１０４によって先述したようにして選択される。ユーザーまたは外部サービスによって提供される複数の特性（シーン）例から意味的シーン類が構成されることもできる。みつかった最も類似したシーンとは、その類の中の例の一つに対して距離が最小となるシーンとなる。
【００３６】
図１の参照に戻り、さらに図７を参照すると、ビデオストリーム乗り換えボタン４６は好ましくはやはりビデオ再生コンポーネント１００の動作中のいつでも選択することができ、類似ビデオストリームへの乗り換えを開始させることができる。ユーザーはリモコン４０のビデオストリーム乗り換えボタン４６を操作してビデオストリームの乗り換えを選択する。ビデオストリーム乗り換えボタン４６が作動すると、該ビデオストリーム乗り換えボタン４６作動時にビデオ再生コンポーネント１００によって再生されていたビデオストリームに対応する現在ビデオストリーム２０２が同定される。
【００３７】
ビデオストリーム乗り換えプロセッサ２０４は現在ビデオストリーム２０２を受け取り、そのストリームをハードディスク１２上に記録された他のビデオストリームと比較する。一つの好適な方法では、二つのビデオストリームの相関を調べるのは、シーン特性の各クロス対の類似性を計算し、それらのクロス対の類似性を平均その他の方法によって要約することによって行われる。つまり、ビデオストリームＡおよびＢの相関を計算するために、ビデオストリームＡの第一のシーン特性とビデオストリームＢのそれぞれのシーン特性とのクロス対の間の類似性が計算される。ビデオストリームＡのシーン特性それぞれについてクロス対をつくって同じことが繰り返され、その結果が平均される。
【００３８】
より具体的には、現在ビデオストリーム２０２が選択されているとき、ビデオストリームの突き合せは次式を用いてストリームどうしを定量的に比較することによって好適に実行される。
【００３９】
【数８】
ここでＳｋは現在ビデオストリーム２０２のＮｋ個の特性の集合であり、Ｓｍはもう一つのビデオストリームｍの特性の集合である。最も類似したビデオストリーム（ｍｂｅｓｔ）２０６はストリーム比較指数ｄｓｔｒｅａｍ（ｋ，ｌ）を最小にする値によって同定され、次式で与えられる。
【００４０】
【数９】
ここで、添え字ｍはハードディスク１２上に記録されている全ビデオストリームにわたる。
【００４１】
図４のシーン乗り換えと同様に、図７のストリーム乗り換えは任意的にストリーム乗り換えしきい値を組み込むことができる。一つの好適な方法では、ストリーム距離値の最小値ｄｓｔｒｅａｍ（ｋ，ｍｂｅｓｔ）がビデオストリーム乗り換えしきい値よりも大きければ、最も類似したビデオストリーム２０６への乗り換えは実行されない。別の好適な方法では、前記ビデオストリーム乗り換えプロセッサ２０４は、定量的なビデオストリーム比較性能指数（数８で与えられる代表例としてのビデオストリーム性能指数ｄｓｔｒｅａｍ（ｋ，ｍ）のような）がビデオストリーム乗り換えしきい値より小さくなる最初のストリームを選択する。ビデオストリーム乗り換えしきい値は、ビデオストリーム乗り換えしきい値プロセッサ２０８によって作り出される視覚的なビデオストリーム乗り換えしきい値目盛りによって好適に選択される。この２０８は前記のシーン乗り換えしきい値プロセッサ１０８と概して同様である。ストリーム乗り換えは任意的に二つ以上のストリーム乗り換え様式を可能にするよう構成可能であってもよい。その様式とは次のようなものである：（ｉ）全ストリームを調べ、最も近いストリームに対応する距離値がストリーム乗り換えしきい値の範囲内にあればそこに乗り換える（ｉｉ）ランダムにストリームを調べ、対応する距離値がストリーム乗り換えしきい値の範囲内にある最初のストリームに乗り換える（ｉｉｉ）ランダムに別のストリームに乗り換える。最後の様式（ｉｉｉ）では、類似性の比較は全く行われず、純粋にランダムまたは擬似ランダムなストリーム乗り換えが起こるだけである。
【００４２】
これに加え、図７のストリーム乗り換えは任意的に、比較のための特徴的なビデオストリームを選択する意味的ビデオストリーム選択プロセッサ２２０を使った意味的ストリーム乗り換えオプションを組み込むことができる。意味的ビデオストリーム選択プロセッサ２２０は一般的に見られる映画の種類に対する意味的にラベル付けした代表例となるビデオストリーム類を含む意味的ビデオストリーム表２２２にアクセスする。映画の種類とは、アクション映画、恋愛映画、スポーツ番組、テレビコメディなどである。好ましくは、意味的ビデオストリーム選択プロセッサ２２０は、図６の意味的シーン選択メニュー１２４と同様のビデオストリーム選択メニューを用いる。ユーザーは特徴的なビデオストリーム類を選択し、これが現在ビデオストリーム２０２としてビデオストリーム乗り換えプロセッサ２０４に入力され、ハードディスク１２上で類似したビデオストリームが検索される。好適な意味的ストリーム類は、ユーザーまたは外部サービスによって提供される、その類と一致する代表例となるビデオストリームを表す複数の特性列を含んでいてもよい。みつかった最も類似したストリームとは、その類の中の例の一つに対して距離が最小となるストリームとなる。
【００４３】
実施例はパーソナルビデオレコーダーを念頭に記述してきたが、同様のコンテンツに基づく乗り換えは記録機能のないビデオまたはマルチメディアプレーヤーに組み込むこともできる。コンテンツに基づく乗り換えはまた、磁気テープや光ディスク、電子記憶装置といったハードディスク以外の他の記録媒体とともに使うこともできる。さらに、同様のコンテンツに基づく乗り換えは、オーディオストリーム、電子文書、コンピュータソフトウェアなどといった他の種類のコンテンツとともに使うこともできる。コンテンツ乗り換えはまた、選択された種類のコンテンツについて複数のリアルタイムのコンテンツストリームを監視するのに使うこともできる。たとえば、ケーブルテレビ、通常放送、または衛星テレビシステムを監視してテレビ中継されるスポーツ試合の得点シーンをさがすこともできる。（これはたとえば、意味的シーン表１２２に保存された代表例となる得点シーンの特性を参照することによってできる。）同様に、通常放送またはデジタルラジオシステムを監視して選択した楽曲や音楽の種類をさがすこともできる。選択された目標コンテンツが監視中のストリームの一つに感知されると、表示装置は感知された目標コンテンツのあるストリームへと乗り換える。
【００４４】
本発明を好ましい実施形態を参照しつつ記述してきた。明らかに、上の詳細な記述を読み、理解すれば他の者にも修正や変更が思い浮かぶであろう。本発明は、付属の特許請求やその等価物の範囲内にはいるそのようなすべての修正や変更を含んでいると解釈されることを意図している。
【技術分野】
【０００１】
本発明は娯楽芸術に関する。特に、高容量パーソナルビデオレコーダーのユーザーが同じまたは異なるストリーム内の類似のコンテンツに切り換える、あるいは乗り換えるのを便利にすることに関する。しかし、本発明はより一般には、デジタル放送テレビ受信機、デジタルケーブルテレビ受信機、コンパクトオーディオディスクプレーヤーおよびレコーダー、デジタルラジオ放送受信機、インターネットブラウザー、コンピュータネットワークブラウザーなどにおけるコンテンツ間の乗り換え（content hopping）を可能にすることに関する。
【背景技術】
【０００２】
パーソナルビデオ録画再生機は現在のところ４０時間以上ものビデオコンテンツを記録する容量があり、その容量は近い将来大幅に増加することが見込まれている。こうした大きな記録容量に鑑みると、ビデオコンテンツを合理的に管理し、再生し、ブラウズするツールや機能があればユーザーに裨益するところが大きい。
【０００３】
幸運な偶然によっておもしろい娯楽コンテンツを「発見」することは視聴者にとって有益である。放送、ケーブルテレビ、衛星テレビを視聴する間、ユーザーは一般にチャンネルサーフィン、すなわちチャンネル間の乗り換えを行う。リモコンのチャンネル切り換えを操作してテレビのチャンネルを切り換えながらおもしろい演目をさがすのである。テレビの演目を同定する印刷された番組表や電子番組表がすぐ利用できる場合であっても、ユーザーはしばしばチャンネル間の乗り換えを行う。ただし、そのようなチャンネル乗り換えは完全に無作為ではない可能性がある。ユーザーはあるチャンネルで典型的に放送されるのがどんな演目であるかを知っている可能性があるからである。
【０００４】
たとえばパーソナルビデオカメラ（すなわちカムコーダー）またはパーソナルビデオレコーダーを使ってユーザーによって記録されたビデオコンテンツは、一般にはコンテンツのガイドは含んでいない。再生の間、ユーザーは録画されたコンテンツのコンテンツ乗り換えをしたくなることがある。そのようなコンテンツ乗り換えは一般にチャンネル間の乗り換えと同様であるが、テレビチャンネルの間ではなく、ビデオストリームの部分の間またはビデオストリームの間で乗り換えるという点だけが異なっている。
【０００５】
問題が起こるのは、典型的にはユーザーはあるビデオストリーム内、あるいはストリーム間での望ましいコンテンツの乗り換え先を同定する便利な方法がないためである。特定の種類のコンテンツの範囲内で、あるいは現在視聴中のコンテンツと類似したコンテンツの範囲内でのコンテンツ乗り換えができればユーザーにとって有益であろう。その上、ユーザーは、現在視聴中の演目との類似性に基づいて、あるいは乗り換え先のコンテンツの特定の種類（アクションシーン、スポーツ番組など）を指定することによって、コンテンツ乗り換えを限定したいと思うかもしれない。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は上述の制限その他を克服する改良された装置および方法を考察する。
【課題を解決するための手段】
【０００７】
一つの側面では、ビデオコンテンツを再生する装置が開示される。少なくとも一つのビデオストリームを保存〔記憶〕するよう、ビデオコンテンツ手段が設けられる。各ビデオストリームには複数のシーンが含まれ、各シーンは対応するシーン特性によって記述される。ユーザーが視聴したいシーンのビデオコンテンツを記述するシーン特性を選択するための選択手段が設けられている。選択されたシーン特性を保存されているビデオストリームのシーン特性と比較して、シーン特性が選択されたシーン特性と類似する一つ以上のシーンを同定するための手段が設けられている。選択されたシーン特性と類似と同定されたシーン特性をもつ少なくとも一つのシーンを再生する手段が設けられている。
【０００８】
別の側面では、ビデオコンテンツを再生する方法が提供される。ビデオシーンのフレームの特徴の合成を記述するシーン特性が選択される。選択されたシーン特性は、少なくとも一つの保存されているビデオストリームのシーンを記述するさまざまな保存シーン特性と比較され、選択されたシーン特性と類似する少なくとも一つのシーン特性を同定する。シーン特性が選択されたストリーム特性と類似と同定された少なくとも一つのシーンが再生される。
【発明の効果】
【０００９】
一つの利点は、録画済みのビデオストリーム内で、あるいはビデオストリーム間で、コンテンツに基づくチャンネル乗り換えを可能にすることにある。
【００１０】
もう一つの利点は、定量的な、ユーザーが指定できる乗り換え基準に基づいてコンテンツに基づく乗り換えを可能にすることにある。
【００１１】
さらにもう一つの利点は、コンテンツに基づく乗り換えの際に使えるよう柔軟で正確なコンテンツ要約情報が提供されることにある。
好ましい実施形態に関する以下の詳細な記述を読めば、通常の技量のある当業者にはさらに数多くの利点や恩恵があることが明らかとなるだろう。
【図面の簡単な説明】
【００１２】
【図１】パーソナルビデオレコーダーおよび関連する娯楽システムを、代表例としての衛星テレビ入力と、シーン乗り換えおよびストリーム乗り換えをユーザーが選択できるようにするためのリモコンとともに図式的に示す図である。
【図２】録画中のビデオコンテンツに関連するシーン特性情報およびストリーム特性情報を生成し、記録するためのパーソナルビデオレコーダーの好適な構成要素を図式的に示す図である。
【図３】多ストリームビデオコンテンツに対応するシーンが重なり合う好適な様子を図式的に示す図である。
【図４】シーン乗り換えを実行するパーソナルビデオレコーダーの好適な構成要素を図式的に示す図である。
【図５】乗り換えしきい値目盛りの例を示す図である。
【図６】意味的シーン選択メニューの例を示す図である。
【図７】ストリーム乗り換えを実行するパーソナルビデオレコーダーの好適な構成要素を図式的に示す図である。
【発明を実施するための形態】
【００１３】
本発明は、さまざまな構成要素および構成要素の編成において、ならびにさまざまなプロセス動作およびプロセス動作の編成において、実施することができる。図面は好ましい実施形態を解説する目的のためだけのものであり、発明を限定するものと解してはならない。
【００１４】
図１を参照すると、パーソナルビデオレコーダー（ＰＶＲ）１０はハードディスク１２およびコンピュータ処理装置をベースとする制御手段１４とを有している。レコーダー１０は入力オーディオビデオデータの一つ以上のストリームを記録し、その一方、該入力データ、遅延させた該入力データ、またはその他の録画済みのデータを同時に再生する。現在の技術では、４０時間の記録容量のハードディスクはすぐ手にはいる。より高密度の記録装置、複数ディスク録画システムなどによってより大きな記録容量も利用可能になるだろう。パーソナルビデオレコーダーとの関連で記述されているが、この技術は記録済みオーディオビデオ媒体、読み書き可能な光ディスク、パーソナルビデオ録画タスクを実行するよう構成されているコンピュータシステムなどにも適用可能であることは認識されるであろう。
【００１５】
パーソナルビデオレコーダー１０は再生映像を娯楽システム２０に出力する。２０は好ましくは高解像度ディスプレイであるビデオ表示装置２２および好ましくはハイファイのオーディオシステムであるオーディオスピーカーシステム２４を有している。別個に図示されているが、実施形態によってはオーディオスピーカーやそのセットは物理的にビデオ表示装置に統合されていることもある。その上、パーソナルビデオレコーダーが娯楽システム２０に物理的に統合されていてもよい。パーソナルビデオレコーダー１０はまた、ビデオとオーディオの一方または両方の外部源に接続されている。外部源というのは、衛星３６によって放送される衛星テレビ信号３４を受信する衛星パラボラアンテナ３２と連携する衛星テレビチューナー３０などである。他の適切なオーディオビデオ入力としては、通常放送テレビ、ケーブルテレビ、通常放送ラジオ、デジタルラジオなどがある。任意的に、テレビチューナー３０はパーソナルビデオレコーダー１０に、あるいは娯楽システム２０に統合されていてもよい。
【００１６】
ユーザーはパーソナルビデオレコーダー１０、娯楽システム２０、テレビチューナー３０、および任意的に他の構成要素を、手で持って操作するリモコン４０を使って制御する。リモコン４０は赤外線信号４２を送信し、それがパーソナルビデオレコーダー１０、娯楽システム２０、テレビチューナー３０、または制御すべきその他の構成要素によって受信される。リモコン４０はボタン、回転ダイヤルなど、ユーザーの指令を入力するのに適した制御要素を有している。特に、リモコン４０はシーン乗り換えボタン４４およびビデオストリーム乗り換えボタン４６を有しており、ユーザーはこれらを作動させることによってハードディスク１２上にあるそれぞれ類似のシーンまたは類似のビデオストリームへのコンテンツ乗り換えを開始させる。より複雑な制御動作では、任意的な画面ポインタ４８がパーソナルビデオレコーダー１０によって表示装置２２上に表示され、リモコン４０を使ってこれを操作することにより、パーソナルビデオレコーダー１０によって生成された、表示中の選択メニューからの選択を実行する。
【００１７】
引き続き図１を参照しつつさらに図２も参照すると、パーソナルビデオレコーダー１０はビデオ録画コンポーネント５０を有している。これは、衛星テレビチューナー３０またはその他の外部ビデオ入力源から受け取ったビデオ入力５２をハードディスク１２またはその他の大容量記憶装置に記録する。これと同時に、あるいは記録ののちに、シーン定義プロセッサ５４がビデオコンテンツ中で重なり合うシーンを定義する。
【００１８】
引き続き図２を参照しつつさらに図３も参照すると、前記シーン定義プロセッサ５４はビデオコンテンツを受け取り、各シーンに対応する重なり合う区間を定義する。具体的には、図３は二つのビデオストリーム６０１、６０２を示しており、これらは、ビデオストリーム６０１の重なり合うシーン６２１、６４１、６６１、６８１、またはビデオストリーム６０２の重なり合うシーン６２２、６４２、６６２、６８２、といったシーン群に対応する重なり合うシーン区間に分解されている。ある好適な実施例では、各シーンは３０秒から１０分の長さである。一つの好ましい実施例では、２分のシーンが１０秒の間隔をおいて重なり合う仕方で始まるよう配置される。シーンの長さと配置は、ビデオコンテンツ中で生起する活動の量といったビデオコンテンツの特徴に基づいて好適に決定される。たとえば、アクションビデオは、よりテンポの遅い映画ジャンルのビデオに比べ、より短く、狭い間隔で重なり合っているシーンを有することが好ましい。前記シーン定義プロセッサ５４は、当該ビデオコンテンツの動きパラメータその他の特徴に基づいてシーンの長さおよび重なり合いの間隔を選択するよう考えられている。
【００１９】
図２の参照に戻ると、各シーンはシーン特性を生成するために処理される。低レベル特徴プロセッサ８０は、低レベルのオーディオビデオコンテンツの特徴を、フレームごと、または少数のフレームの群（たとえば、ピクチャーグループ（ＧＯＰ））を単位として計算する。好適な低レベル特徴としては、絶対平均輝度パラメータ、映像輝度差分パラメータ、フレーム複雑度パラメータ、平均差分絶対値（ＭＡＤ）動き予測〔推定〕パラメータ、動きパラメータ、映像テクスチャーパラメータ、色分布パラメータ、シーン合成パラメータ（たとえば、オブジェクトに基づいて、あるいは音響心理学的特徴に基づいて定義される）などがある。各シーンについて、主成分解析手段（ＰＣＡ）８２が低レベル特徴を主成分空間に主成分ベクトルとして射影する。当分野で公知のように、低レベルの特徴についてのかなりの量の情報を表現するような少数の主成分を選択することが可能である。これによりメモリの使用が著しく軽減され、類似性尺度の堅牢さおよび類似性計算の複雑さが改善される。その上、ＰＣＡで使う特徴は表現の精度と連動しているので、低レベルのＰＣＡ特徴の数とその結果としての表現の正確さを一方とし、メモリ使用、堅牢さ、および計算量を他方として比較考量を行う余地がある。シーン特性を計算するにあたっては、主成分解析が好ましい枠組みであるが、他の方法を用いてもよい。たとえば、平均だとか、一つまたは少数の選ばれた低レベル特徴のその他の統計的な要約だとかを用いてシーン特性を計算してもよい。
【００２０】
シーン特性生成手段８４は、各シーンについて、当該シーンの個々のフレームまたはフレーム群の主成分ベクトルに基づいて好適な定量的シーン特性を計算する。そのような特性は、フレーム群内にわたる短期特性（すなわち、一つのＧＯＰレベルＰＣＡ特徴の長さ程度の特徴）から、ＧＯＰレベルＰＣＡ特徴を数分間（すなわち、シーンの長さ程度）にわたって合成した中期特性、ビデオストリーム全体またはそのかなりの部分を代表する長期特性までの範囲がある。好ましくは、当該シーンを表現する中期特性が用いられる。そのような中期特性はＧＯＰレベルのＰＣＡの枠組み内で、次式によって好適に計算される：
【００２１】
【数１】
ここで、
【００２２】
【数２】
は当該シーン内でのｋ番目のＧＯＰの主成分ベクトル、Ｌは主成分ベクトルＰ（ｋ）を定義するのに用いられるＰＣＡ特徴すなわち主成分の数、ＮＧＯＰは特性区間Ｔｍｔ内のＧＯＰの数である。典型的には分散の大きな（好ましくは最大の）主成分がベクトルＰ（ｋ）を構築するのに使われるＬ個の成分として選択される。特性区間Ｔｍｔは典型的には当該シーンの長さに対応する。ｎ番目の特徴についての標準偏差特徴は次式で与えられる：
【００２３】
【数３】
ここでも、ｋは当該シーン中のＧＯＰの添え字であり、１からＮＧＯＰまでの値をとる。前記主成分ベクトルの標準偏差ベクトルは次式で与えられる：
【００２４】
【数４】
ここでもやはり、ｋは当該シーン中のＧＯＰの添え字であり、１からＮＧＯＰまでの値をとる。すると、好適な定量的な中期のＰＣＡベース特性は、次式に従って計算される：
【００２５】
【数５】
数５は好ましいＰＣＡベースの中期のシーン特性を規定している。しかし、これ以外のシーン特性を用いることもできる。平均短期イベント分布（たとえば、ビデオ遷移の数と当該シーン区間Ｔｍｔ中の黒フレームの生起回数との一方または両方）または、平均輝度パラメータ、フレーム複雑度パラメータ、平均差分絶対値（ＭＡＤ）パラメータ、動きパラメータ、もしくは上述した代替パラメータの組み合わせといった低レベル特徴の平均もしくは標準偏差などである。しかし、シーン特性としては、ＰＣＡの枠組みは、主成分値は規模を変更しやすいという利点がある。
【００２６】
シーン乗り換えの際にシーン特性の高速比較を容易にするため、ビデオコンテンツのシーン特性は好ましくはシーン特性相関プロセッサ９０によって処理される。これはシーン特性を並べ替えまたは配列して高速検索可能なシーン特性表９２を作成し、この９２はビデオ録画コンポーネント５０によってハードディスク１２その他の記憶媒体に書き込まれる。シーン特性の事前相関は、検索可能データベースを生成するのに典型的に用いられているアルゴリズムを使って好適に実行される。好ましくは、シーン特性はオーディオビデオデータが記録される際に生成され、該シーン特性はハードディスク１２上の検索可能なシーン特性表９２に保存される。シーン特性を相対的な類似性によって整理することにより、類似したシーンがのちによりすばやく同定できる。あるいはまた、前記制御手段が最近記録されたデータを処理する録画後動作を行って特性を生成することもできる。
【００２７】
図１の参照に戻り、さらに図４を参照すると、パーソナルビデオレコーダー１０のビデオ再生コンポーネント１００は、ハードディスク１２その他の大容量記憶装置に保存されている録画済みのマルチメディアコンテンツを再生し、オーディオビデオ出力１０１のような出力を生成し、該出力は娯楽システム２０に送られる。ユーザーはリモコン４０のシーン乗り換えボタン４４を操作してシーン乗り換えを選択する。シーン乗り換えボタン４４は好ましくはビデオ再生中のいつでも選択することができ、コンテンツに基づくシーン乗り換えを開始させることができる。シーン乗り換えボタン４４が作動すると、該シーン乗り換えボタン４４作動時にビデオ再生コンポーネント１００によって再生されていたシーンに対応する現在シーン１０２が同定される。
【００２８】
類似シーン乗り換えプロセッサ１０４は前記の現在シーン１０２を受け取り、検索可能なシーン特性表９２にアクセスして、対応する類似シーン特性を同定する。パーソナルビデオレコーダー１０の記憶媒体がハードディスク１２の場合、当該ビデオコンテンツはパーソナルビデオレコーダー１０によって録画され、検索可能なシーン特性表９２は好適に生成され、ハードディスク１２にあらかじめ記録されている。これは先に図２を参照して述べたとおりである。商業的販売元によって製作されたビデオコンテンツを含む読み出し専用光ディスクのような読み出し専用媒体の場合、前記検索可能なシーン特性表９２は前記商業的販売元によって当該光ディスク上に好適にあらかじめ記録される。
【００２９】
現在シーン特性が選ばれると、シーンの突き合せは現在シーン特性と他の利用可能な特性との間のユークリッド距離を計算することによって好適に実行される。現在シーン特性と他のシーン特性との間のユークリッド距離は次式によって定義される：
【００３０】
【数６】
ここで添え字ｉは現在シーンに対応し、ベクトルＳ（ｉ）は現在シーン特性、添え字ｊは他のシーンに対応し（ｉ ≠ｊ）、ベクトルＳ（ｊ）は他のシーンのシーン特性である。類似シーン乗り換えプロセッサ１０４はｄｓｃｅｎｅ（ｉ，ｊ）をすべての他のシーンについて（つまり、ｊ＝ｉ以外のすべてのシーン添え字ｊについて）計算し、対応するユークリッド距離ｄｓｃｅｎｅ（ｉ，ｊ）が最小のシーンを選択する。ユークリッド距離を使うのでなく、他の特性比較性能指数を用いてもよい。たとえば次式によって与えられる差分絶対値などである：
【００３１】
【数７】
もし同定された最小ユークリッド距離がある乗り換えしきい値よりも小さければ、対応するシーンが類似シーン１０６として選択される。この類似シーン１０６はビデオ再生コンポーネント１００に入力され、１００はハードディスク１２その他の記憶装置上の前記類似シーンのアドレスへと乗り換える。一方、もし同定された最小ユークリッド距離が前記乗り換えしきい値よりも大きければ、乗り換えは実行されない。そのような場合、ユーザーには適当な該当コンテンツがみつからなかったことが通知されるようにしてもよい。たとえば音によってでもいいし、あるいは暫時画面上に表示されて適当な該当コンテンツがみつからなかったと指摘するアイコンやメッセージによってでもよい。
【００３２】
引き続き図４を参照し、さらに図５を参照すると、乗り換えしきい値プロセッサ１０８は好適には前記類似シーン乗り換えプロセッサ１０４によって使用される乗り換えしきい値をユーザーが選択することを可能にする。図５に示す一つの好適な方法では、乗り換えしきい値プロセッサ１０８はユーザーに対して乗り換えしきい値目盛り１１０を、表示装置２２上に示す形で提示する。この目盛りは連続的に、あるいは離散的なきざみで、類似性が高い設定に対応する最小しきい値からより相違の大きな設定に対応する最大しきい値までの値をとりうる。好ましい実施形態においては、最小しきい値はコピー検出設定であり、この場合、厳密に一致するものがみつかった場合にのみ乗り換えが起こる。最大しきい値は好ましくは常時乗り換え設定１１４であり、この場合、相手がどんなに違うものであっても乗り換えが起こる。このコピー検出１１２と常時乗り換え１１４が極限設定である。最大、中間、最小しきい値は、大規模なオーディオビデオコンテンツ標本にわたって類似性尺度値の分布を分析することによって設計段階で好適に選択される。類似性が高い、すなわちコピー検出設定１１２に対しては、類似シーン乗り換えプロセッサ１０４が著しく類似したシーンまたは同じシーンのコピー、すなわち現在シーン特性と定量的に著しく類似した、あるいは同一のシーン特性をもつシーンを見出さない限り、シーン乗り換えは実行されない。より相違の大きい、すなわち常時乗り換え設定１１４に対しては、相手シーンの現在シーン特性との類似性がずっと低くても、シーン乗り換えが生起する。ユーザーは、表示装置２２上に表示される画面上のポインタ４８を使ってしきい値ポインタ１１６を操作することによって、あるいはリモコン４０の他のボタンや制御要素を操作することによって乗り換えしきい値を選択する。
【００３３】
一つの実施形態では、前記しきい値は、現在シーン特性に最も近い特性のシーンにジャンプするかどうかを決めるのに使われる。これは、最も近いシーンでも現在シーンと著しく異なっていた場合には別のシーンへのジャンプを行わせないようにする。しかし、乗り換えしきい値は他の用途に使うこともできる。たとえば、類似シーン乗り換えプロセッサ１０４は、当該ビデオストリーム中の他のすべてのシーンを調べるのではなく、ランダムに（あるいは擬似ランダムに）他のシーンの特性を現在シーン特性と比較し、そのランダムサンプリングのうちに現在シーン特性から乗り換えしきい値の範囲内にある特性をもつシーンがあれば、最初に出会ったものを類似シーン１０６として選択する。この方法では、類似シーン１０６は最も類似したシーンではないかもしれないが、しきい値の範囲内の類似性はある。この方法だと、ユーザーはより広い範囲のシーンに乗り換え対象を好適に拡大することができる。特に乗り換えしきい値が常時乗り換え設定１１４近くに設定されている場合はそうである。任意的に、類似シーン乗り換えプロセッサ１０４は二つ以上の動作様式のうち選択した一つを用いて乗り換えを実行するよう構成することもできる。その様式とは次のようなものである：（ｉ）全シーンを調べ、最も近いシーンが乗り換えしきい値の範囲内にあればそこに乗り換える（ｉｉ）ランダムにシーンを調べ、現在シーン特性から乗り換えしきい値の範囲内にあるシーンがみつかったらそこに乗り換える（ｉｉｉ）ランダムに選んだシーンに乗り換える。最後の（ｉｉｉ）の様式では、類似性の比較は全く行われず、純粋にランダムまたは擬似ランダムな乗り換えが起こるだけである。
【００３４】
その上、乗り換えしきい値プロセッサ１０８は任意的に省略することもできる。これはたとえば、固定した乗り換えしきい値を用いることによって、あるいは乗り換えしきい値を使わないことによって行われる。乗り換えしきい値を使わなければ、ユークリッド距離ｄｓｃｅｎｅ（ｉ，ｊ）が最小の、差分絶対値距離が最小の、または他の特性比較性能指数が最良のシーンが類似シーン１０６として選択され、ユークリッド距離、差分絶対値距離、または他の特性比較性能指数の値には関わりなくシーン乗り換えが実行される。
【００３５】
引き続き図４を参照し、さらに図６を参照すると、比較の基準として現在シーンを使うのでなく、ある選ばれた種類のシーンを基準として使うことができる。意味的シーン選択プロセッサ１２０はシーン比較のために特徴的なシーンを好適に選択する。この意味的シーン選択プロセッサ１２０は、一般的に見られる映画のシーンに対する代表例となるシーンまたはシーン特性を含む意味的シーン表１２２にアクセスする。代表例となるシーンとは、爆発シーン、アクションシーン、恋愛シーン、スポーツの得点シーン、テレビ番組のオープニングなどであり、各シーンまたは各シーン特性についての意味的ラベルとともに表に含まれている。意味的シーン選択プロセッサ１２０は、意味的シーン選択メニュー１２４を表示装置２２上に表示し（図６参照）、ユーザーは画面上のポインタ４８または他の選択手段を用いてアクションシーンなど興味のあるシーンを選択する。このシーンが現在シーン１０２として選択され、ビデオコンテンツ中で対応する類似のシーンが類似シーン乗り換えプロセッサ１０４によって先述したようにして選択される。ユーザーまたは外部サービスによって提供される複数の特性（シーン）例から意味的シーン類が構成されることもできる。みつかった最も類似したシーンとは、その類の中の例の一つに対して距離が最小となるシーンとなる。
【００３６】
図１の参照に戻り、さらに図７を参照すると、ビデオストリーム乗り換えボタン４６は好ましくはやはりビデオ再生コンポーネント１００の動作中のいつでも選択することができ、類似ビデオストリームへの乗り換えを開始させることができる。ユーザーはリモコン４０のビデオストリーム乗り換えボタン４６を操作してビデオストリームの乗り換えを選択する。ビデオストリーム乗り換えボタン４６が作動すると、該ビデオストリーム乗り換えボタン４６作動時にビデオ再生コンポーネント１００によって再生されていたビデオストリームに対応する現在ビデオストリーム２０２が同定される。
【００３７】
ビデオストリーム乗り換えプロセッサ２０４は現在ビデオストリーム２０２を受け取り、そのストリームをハードディスク１２上に記録された他のビデオストリームと比較する。一つの好適な方法では、二つのビデオストリームの相関を調べるのは、シーン特性の各クロス対の類似性を計算し、それらのクロス対の類似性を平均その他の方法によって要約することによって行われる。つまり、ビデオストリームＡおよびＢの相関を計算するために、ビデオストリームＡの第一のシーン特性とビデオストリームＢのそれぞれのシーン特性とのクロス対の間の類似性が計算される。ビデオストリームＡのシーン特性それぞれについてクロス対をつくって同じことが繰り返され、その結果が平均される。
【００３８】
より具体的には、現在ビデオストリーム２０２が選択されているとき、ビデオストリームの突き合せは次式を用いてストリームどうしを定量的に比較することによって好適に実行される。
【００３９】
【数８】
ここでＳｋは現在ビデオストリーム２０２のＮｋ個の特性の集合であり、Ｓｍはもう一つのビデオストリームｍの特性の集合である。最も類似したビデオストリーム（ｍｂｅｓｔ）２０６はストリーム比較指数ｄｓｔｒｅａｍ（ｋ，ｌ）を最小にする値によって同定され、次式で与えられる。
【００４０】
【数９】
ここで、添え字ｍはハードディスク１２上に記録されている全ビデオストリームにわたる。
【００４１】
図４のシーン乗り換えと同様に、図７のストリーム乗り換えは任意的にストリーム乗り換えしきい値を組み込むことができる。一つの好適な方法では、ストリーム距離値の最小値ｄｓｔｒｅａｍ（ｋ，ｍｂｅｓｔ）がビデオストリーム乗り換えしきい値よりも大きければ、最も類似したビデオストリーム２０６への乗り換えは実行されない。別の好適な方法では、前記ビデオストリーム乗り換えプロセッサ２０４は、定量的なビデオストリーム比較性能指数（数８で与えられる代表例としてのビデオストリーム性能指数ｄｓｔｒｅａｍ（ｋ，ｍ）のような）がビデオストリーム乗り換えしきい値より小さくなる最初のストリームを選択する。ビデオストリーム乗り換えしきい値は、ビデオストリーム乗り換えしきい値プロセッサ２０８によって作り出される視覚的なビデオストリーム乗り換えしきい値目盛りによって好適に選択される。この２０８は前記のシーン乗り換えしきい値プロセッサ１０８と概して同様である。ストリーム乗り換えは任意的に二つ以上のストリーム乗り換え様式を可能にするよう構成可能であってもよい。その様式とは次のようなものである：（ｉ）全ストリームを調べ、最も近いストリームに対応する距離値がストリーム乗り換えしきい値の範囲内にあればそこに乗り換える（ｉｉ）ランダムにストリームを調べ、対応する距離値がストリーム乗り換えしきい値の範囲内にある最初のストリームに乗り換える（ｉｉｉ）ランダムに別のストリームに乗り換える。最後の様式（ｉｉｉ）では、類似性の比較は全く行われず、純粋にランダムまたは擬似ランダムなストリーム乗り換えが起こるだけである。
【００４２】
これに加え、図７のストリーム乗り換えは任意的に、比較のための特徴的なビデオストリームを選択する意味的ビデオストリーム選択プロセッサ２２０を使った意味的ストリーム乗り換えオプションを組み込むことができる。意味的ビデオストリーム選択プロセッサ２２０は一般的に見られる映画の種類に対する意味的にラベル付けした代表例となるビデオストリーム類を含む意味的ビデオストリーム表２２２にアクセスする。映画の種類とは、アクション映画、恋愛映画、スポーツ番組、テレビコメディなどである。好ましくは、意味的ビデオストリーム選択プロセッサ２２０は、図６の意味的シーン選択メニュー１２４と同様のビデオストリーム選択メニューを用いる。ユーザーは特徴的なビデオストリーム類を選択し、これが現在ビデオストリーム２０２としてビデオストリーム乗り換えプロセッサ２０４に入力され、ハードディスク１２上で類似したビデオストリームが検索される。好適な意味的ストリーム類は、ユーザーまたは外部サービスによって提供される、その類と一致する代表例となるビデオストリームを表す複数の特性列を含んでいてもよい。みつかった最も類似したストリームとは、その類の中の例の一つに対して距離が最小となるストリームとなる。
【００４３】
実施例はパーソナルビデオレコーダーを念頭に記述してきたが、同様のコンテンツに基づく乗り換えは記録機能のないビデオまたはマルチメディアプレーヤーに組み込むこともできる。コンテンツに基づく乗り換えはまた、磁気テープや光ディスク、電子記憶装置といったハードディスク以外の他の記録媒体とともに使うこともできる。さらに、同様のコンテンツに基づく乗り換えは、オーディオストリーム、電子文書、コンピュータソフトウェアなどといった他の種類のコンテンツとともに使うこともできる。コンテンツ乗り換えはまた、選択された種類のコンテンツについて複数のリアルタイムのコンテンツストリームを監視するのに使うこともできる。たとえば、ケーブルテレビ、通常放送、または衛星テレビシステムを監視してテレビ中継されるスポーツ試合の得点シーンをさがすこともできる。（これはたとえば、意味的シーン表１２２に保存された代表例となる得点シーンの特性を参照することによってできる。）同様に、通常放送またはデジタルラジオシステムを監視して選択した楽曲や音楽の種類をさがすこともできる。選択された目標コンテンツが監視中のストリームの一つに感知されると、表示装置は感知された目標コンテンツのあるストリームへと乗り換える。
【００４４】
本発明を好ましい実施形態を参照しつつ記述してきた。明らかに、上の詳細な記述を読み、理解すれば他の者にも修正や変更が思い浮かぶであろう。本発明は、付属の特許請求やその等価物の範囲内にはいるそのようなすべての修正や変更を含んでいると解釈されることを意図している。
【特許請求の範囲】
【請求項１】
ビデオコンテンツを再生する装置であって：
複数のビデオストリームを保存するビデオコンテンツ手段と、
複数の重なり合うシーン区間を定義するシーン定義プロセッサであって、前記複数の重なり合うシーン区間は前記複数のビデオストリームの各ビデオストリーム中で前記複数の重なり合うシーン区間の先頭どうしの間に時間間隔を含み、ここで、前記複数の重なり合うシーン区間の先頭どうしの間の前記時間間隔は前記複数のビデオストリームの各ビデオストリームの特徴に基づいて選択される、シーン定義プロセッサと、
前記複数の重なり合うシーン区間のそれぞれに対するシーン特性を計算する特性プロセッサであって、前記複数のビデオストリームの各ビデオストリームの前記複数の重なり合うシーン区間の諸シーン特性を前記ビデオコンテンツ手段が保存する、特性プロセッサと、
ユーザーが視聴したいシーンのビデオコンテンツを記述するシーン特性を選択する選択手段と、
選択されたシーン特性を保存されている前記複数のビデオストリームの各ビデオストリームの前記複数の重なり合うシーン区間の諸シーン特性と比較して、シーン特性が前記選択されたシーン特性と類似する一つまたは複数のシーンを同定する比較手段と、
前記選択されたシーン特性と類似していると同定されたシーン特性をもつ少なくとも一つのシーンを再生する手段と、
前記再生手段が再生中の現在ストリームを選択するストリーム乗り換え選択手段と、
現在ストリームの諸シーンの諸シーン特性を前記複数のビデオストリームの諸シーン特性と比較して類似のビデオストリームを同定するストリーム乗り換え手段とを有し、該ストリーム乗り換え手段が前記再生手段に再生を前記類似ストリームへと移行させる、
装置。
【請求項２】
請求項１記載の装置であって、各シーンが３０秒から１０分の長さを有し、前記保存されている複数のビデオストリームの諸シーンが１秒から２分の間隔だけずらして重なり合っていることを特徴とする装置。
【請求項３】
前記保存されている複数のビデオストリームの前記諸シーン特性が主成分ベクトルを用いて構築され、該主成分ベクトルが当該シーン内のビデオコンテンツの選択された低レベル特徴の主成分解析によって計算され、ここで、低レベル特徴とは、オーディオおよび／またはビデオコンテンツから、フレームごと、または少数のフレームの群ごとに計算される特徴である、請求項１記載の装置。
【請求項４】
前記低レベル特徴が、絶対平均輝度パラメータ、映像輝度差分パラメータ、フレーム複雑度パラメータ、平均差分絶対値（ＭＡＤ）動き予測パラメータ、動きパラメータ、映像テクスチャーパラメータ、色分布パラメータ、シーン合成パラメータからなる群から選択されることを特徴とする、請求項３記載の装置。
【請求項５】
前記選択手段が、前記選択されたシーン特性として、現在再生中のシーンのシーン特性を選択することを特徴とする、請求項１記載の装置。
【請求項６】
前記比較手段が、選択されたシーン特性と最も近いシーン特性をもつ類似シーンを同定する、請求項１記載の装置。
【請求項７】
前記比較手段が、前記保存されている複数のビデオストリームの保存されているシーン特性が前記の選択された特性と所定のしきい値の範囲内において類似しているかどうかを判定し、前記再生手段が、特性が前記しきい値の範囲内であるシーンを再生することを特徴とする、請求項１記載の装置。
【請求項８】
前記しきい値を選択するしきい値選択手段をさらに有することを特徴とする：
請求項７記載の装置。
【請求項９】
請求項１記載の装置であって：
シーン特性間の類似性によって配列されたシーン特性を記憶するシーン特性表をさらに有し、前記比較手段が類似シーンを同定するために前記シーン特性表にアクセスすることを特徴とする装置。
【請求項１０】
請求項９記載の装置であって：
シーン特性を計算し、該シーン特性を前記シーン特性表に記憶する特性計算手段をさらに有すること特徴とする装置。
【請求項１１】
請求項１０記載の装置であって、前記特性計算手段が：
一つまたは複数の低レベルのビデオコンテンツ特徴を計算する低レベル特徴プロセッサであって、ここで、低レベルのビデオコンテンツ特徴とは、ビデオコンテンツから、フレームごと、または少数のフレームの群ごとに計算される特徴である、低レベル特徴プロセッサと、
前記低レベルのビデオコンテンツ特徴を主成分空間に射影して主成分ベクトルを決定する主成分射影手段と、
各シーンの主成分ベクトルを組み合わせて対応するシーン特性を決定するシーン特性生成手段とを有することを特徴とする装置。
【請求項１２】
請求項１０記載の装置であって：
さらにビデオコンテンツを記録する記録手段を有し、前記特性計算手段が前記シーン特性をビデオコンテンツが記録される際に計算することを特徴とする装置。
【請求項１３】
請求項１０記載の装置であって、前記シーン定義プロセッサが、前記複数の重なり合う各シーン区間の先頭どうしの間の前記間隔を、アクションビデオが、よりテンポの遅い映画ジャンルのビデオに比べてより短く狭い間隔で重なり合うシーン区間を有するように選択する、装置。
【請求項１４】
請求項１記載の装置であって、前記シーン定義プロセッサが、前記複数の重なり合う各シーン区間の先頭どうしの間の前記間隔を、当該ビデオコンテンツの特徴に基づいて選択することを特徴とする装置。
【請求項１５】
請求項１記載の装置であって、前記選択手段が前記シーン特性を、意味的内容によって特定されたシーンの群から選択されたシーンのシーン特性として選択することを特徴とする装置。
【請求項１６】
ビデオコンテンツを再生する装置の動作方法であって：
定義手段によって、複数の重なり合うシーン区間を定義し、前記複数の重なり合うシーン区間は複数のビデオストリームのうちの各ビデオストリーム中で、複数の重なり合うシーン区間の先頭どうしの間に時間間隔を含み、ここで、各シーン区間はシーンを定義し、複数の重なり合うシーン区間を定義することは、複数の重なり合うシーン区間の先頭どうしの間の前記時間間隔を前記複数のビデオストリームの各ビデオストリームの特徴に基づいて選択することを含み、
計算手段によって、重なり合うシーン区間のそれぞれに対するシーン特性を計算し、ここで、計算されたシーン特性は当該シーンの諸フレームの特徴の合成を記述し、
計算されたシーン特性を記憶装置に保存し、
選択手段によって、あるシーン特性を選択し、
比較手段によって、選択されたシーン特性を、少なくとも一つの保存されているビデオストリームの重なり合うシーンを記述する前記の保存されたシーン特性と比較して、前記選択されたシーン特性と類似する少なくとも一つのシーン特性を同定し、
再生手段によって、前記選択されたストリーム特性と類似していると同定されたシーン特性をもつ少なくとも一つのシーンを再生し、
前記再生手段が再生している現在ストリームを選択し、
現在ストリームの諸シーンの諸シーン特性を前記複数のビデオストリームの諸シーン特性と比較して類似のビデオストリームを同定し、再生を前記類似ストリームへと移行させるステップを有することを特徴とする方法。
【請求項１７】
請求項１６記載の方法であって、選択されたシーン特性の保存されたシーン特性との比較が：
計算手段によって、前記選択されたシーン特性と保存されたシーン特性のうち比較対象となる各シーン特性とを比較するシーン比較の定量的指標を計算し、
比較手段によって、前記シーン比較の定量的指標をしきい値と定量的に比較し、
前記計算および定量的比較に基づき前記の類似するシーン特性を選択するステップを有することを特徴とする方法。
【請求項１８】
請求項１６記載の方法であって：
計算手段によって、前記保存されたシーン特性を、前記少なくとも一つのビデオストリームの低レベル特徴に基づいて計算するステップを有し、ここで、低レベル特徴とは、ビデオストリームのオーディオおよび／またはビデオコンテンツから、フレームごと、または少数のフレームの群ごとに計算される特徴である、
方法。
【請求項１９】
請求項１８記載の方法であって、前記保存されたシーン特性の計算が：
動きパラメータの主成分解析を実行して主成分値を算出し、
各シーン内の主成分値を組み合わせて対応するシーン特性を決定するステップを有することを特徴とする方法。
【請求項２０】
請求項１８記載の方法であって：
記録手段によって、前記選択に先立って前記少なくとも一つの保存されているビデオストリームを記録するステップをさらに有し、前記保存されたシーン特性の前記計算が前記記録の間に実行されることを特徴とする方法。
【請求項２１】
請求項１６記載の方法であって、複数の重なり合うシーン区間を定義することが、複数の重なり合う各シーン区間の先頭どうしの間の前記間隔を、前記少なくとも一つのビデオストリーム中で生起する活動の量に基づいて選択することを含む、方法。
【請求項１】
ビデオコンテンツを再生する装置であって：
複数のビデオストリームを保存するビデオコンテンツ手段と、
複数の重なり合うシーン区間を定義するシーン定義プロセッサであって、前記複数の重なり合うシーン区間は前記複数のビデオストリームの各ビデオストリーム中で前記複数の重なり合うシーン区間の先頭どうしの間に時間間隔を含み、ここで、前記複数の重なり合うシーン区間の先頭どうしの間の前記時間間隔は前記複数のビデオストリームの各ビデオストリームの特徴に基づいて選択される、シーン定義プロセッサと、
前記複数の重なり合うシーン区間のそれぞれに対するシーン特性を計算する特性プロセッサであって、前記複数のビデオストリームの各ビデオストリームの前記複数の重なり合うシーン区間の諸シーン特性を前記ビデオコンテンツ手段が保存する、特性プロセッサと、
ユーザーが視聴したいシーンのビデオコンテンツを記述するシーン特性を選択する選択手段と、
選択されたシーン特性を保存されている前記複数のビデオストリームの各ビデオストリームの前記複数の重なり合うシーン区間の諸シーン特性と比較して、シーン特性が前記選択されたシーン特性と類似する一つまたは複数のシーンを同定する比較手段と、
前記選択されたシーン特性と類似していると同定されたシーン特性をもつ少なくとも一つのシーンを再生する手段と、
前記再生手段が再生中の現在ストリームを選択するストリーム乗り換え選択手段と、
現在ストリームの諸シーンの諸シーン特性を前記複数のビデオストリームの諸シーン特性と比較して類似のビデオストリームを同定するストリーム乗り換え手段とを有し、該ストリーム乗り換え手段が前記再生手段に再生を前記類似ストリームへと移行させる、
装置。
【請求項２】
請求項１記載の装置であって、各シーンが３０秒から１０分の長さを有し、前記保存されている複数のビデオストリームの諸シーンが１秒から２分の間隔だけずらして重なり合っていることを特徴とする装置。
【請求項３】
前記保存されている複数のビデオストリームの前記諸シーン特性が主成分ベクトルを用いて構築され、該主成分ベクトルが当該シーン内のビデオコンテンツの選択された低レベル特徴の主成分解析によって計算され、ここで、低レベル特徴とは、オーディオおよび／またはビデオコンテンツから、フレームごと、または少数のフレームの群ごとに計算される特徴である、請求項１記載の装置。
【請求項４】
前記低レベル特徴が、絶対平均輝度パラメータ、映像輝度差分パラメータ、フレーム複雑度パラメータ、平均差分絶対値（ＭＡＤ）動き予測パラメータ、動きパラメータ、映像テクスチャーパラメータ、色分布パラメータ、シーン合成パラメータからなる群から選択されることを特徴とする、請求項３記載の装置。
【請求項５】
前記選択手段が、前記選択されたシーン特性として、現在再生中のシーンのシーン特性を選択することを特徴とする、請求項１記載の装置。
【請求項６】
前記比較手段が、選択されたシーン特性と最も近いシーン特性をもつ類似シーンを同定する、請求項１記載の装置。
【請求項７】
前記比較手段が、前記保存されている複数のビデオストリームの保存されているシーン特性が前記の選択された特性と所定のしきい値の範囲内において類似しているかどうかを判定し、前記再生手段が、特性が前記しきい値の範囲内であるシーンを再生することを特徴とする、請求項１記載の装置。
【請求項８】
前記しきい値を選択するしきい値選択手段をさらに有することを特徴とする：
請求項７記載の装置。
【請求項９】
請求項１記載の装置であって：
シーン特性間の類似性によって配列されたシーン特性を記憶するシーン特性表をさらに有し、前記比較手段が類似シーンを同定するために前記シーン特性表にアクセスすることを特徴とする装置。
【請求項１０】
請求項９記載の装置であって：
シーン特性を計算し、該シーン特性を前記シーン特性表に記憶する特性計算手段をさらに有すること特徴とする装置。
【請求項１１】
請求項１０記載の装置であって、前記特性計算手段が：
一つまたは複数の低レベルのビデオコンテンツ特徴を計算する低レベル特徴プロセッサであって、ここで、低レベルのビデオコンテンツ特徴とは、ビデオコンテンツから、フレームごと、または少数のフレームの群ごとに計算される特徴である、低レベル特徴プロセッサと、
前記低レベルのビデオコンテンツ特徴を主成分空間に射影して主成分ベクトルを決定する主成分射影手段と、
各シーンの主成分ベクトルを組み合わせて対応するシーン特性を決定するシーン特性生成手段とを有することを特徴とする装置。
【請求項１２】
請求項１０記載の装置であって：
さらにビデオコンテンツを記録する記録手段を有し、前記特性計算手段が前記シーン特性をビデオコンテンツが記録される際に計算することを特徴とする装置。
【請求項１３】
請求項１０記載の装置であって、前記シーン定義プロセッサが、前記複数の重なり合う各シーン区間の先頭どうしの間の前記間隔を、アクションビデオが、よりテンポの遅い映画ジャンルのビデオに比べてより短く狭い間隔で重なり合うシーン区間を有するように選択する、装置。
【請求項１４】
請求項１記載の装置であって、前記シーン定義プロセッサが、前記複数の重なり合う各シーン区間の先頭どうしの間の前記間隔を、当該ビデオコンテンツの特徴に基づいて選択することを特徴とする装置。
【請求項１５】
請求項１記載の装置であって、前記選択手段が前記シーン特性を、意味的内容によって特定されたシーンの群から選択されたシーンのシーン特性として選択することを特徴とする装置。
【請求項１６】
ビデオコンテンツを再生する装置の動作方法であって：
定義手段によって、複数の重なり合うシーン区間を定義し、前記複数の重なり合うシーン区間は複数のビデオストリームのうちの各ビデオストリーム中で、複数の重なり合うシーン区間の先頭どうしの間に時間間隔を含み、ここで、各シーン区間はシーンを定義し、複数の重なり合うシーン区間を定義することは、複数の重なり合うシーン区間の先頭どうしの間の前記時間間隔を前記複数のビデオストリームの各ビデオストリームの特徴に基づいて選択することを含み、
計算手段によって、重なり合うシーン区間のそれぞれに対するシーン特性を計算し、ここで、計算されたシーン特性は当該シーンの諸フレームの特徴の合成を記述し、
計算されたシーン特性を記憶装置に保存し、
選択手段によって、あるシーン特性を選択し、
比較手段によって、選択されたシーン特性を、少なくとも一つの保存されているビデオストリームの重なり合うシーンを記述する前記の保存されたシーン特性と比較して、前記選択されたシーン特性と類似する少なくとも一つのシーン特性を同定し、
再生手段によって、前記選択されたストリーム特性と類似していると同定されたシーン特性をもつ少なくとも一つのシーンを再生し、
前記再生手段が再生している現在ストリームを選択し、
現在ストリームの諸シーンの諸シーン特性を前記複数のビデオストリームの諸シーン特性と比較して類似のビデオストリームを同定し、再生を前記類似ストリームへと移行させるステップを有することを特徴とする方法。
【請求項１７】
請求項１６記載の方法であって、選択されたシーン特性の保存されたシーン特性との比較が：
計算手段によって、前記選択されたシーン特性と保存されたシーン特性のうち比較対象となる各シーン特性とを比較するシーン比較の定量的指標を計算し、
比較手段によって、前記シーン比較の定量的指標をしきい値と定量的に比較し、
前記計算および定量的比較に基づき前記の類似するシーン特性を選択するステップを有することを特徴とする方法。
【請求項１８】
請求項１６記載の方法であって：
計算手段によって、前記保存されたシーン特性を、前記少なくとも一つのビデオストリームの低レベル特徴に基づいて計算するステップを有し、ここで、低レベル特徴とは、ビデオストリームのオーディオおよび／またはビデオコンテンツから、フレームごと、または少数のフレームの群ごとに計算される特徴である、
方法。
【請求項１９】
請求項１８記載の方法であって、前記保存されたシーン特性の計算が：
動きパラメータの主成分解析を実行して主成分値を算出し、
各シーン内の主成分値を組み合わせて対応するシーン特性を決定するステップを有することを特徴とする方法。
【請求項２０】
請求項１８記載の方法であって：
記録手段によって、前記選択に先立って前記少なくとも一つの保存されているビデオストリームを記録するステップをさらに有し、前記保存されたシーン特性の前記計算が前記記録の間に実行されることを特徴とする方法。
【請求項２１】
請求項１６記載の方法であって、複数の重なり合うシーン区間を定義することが、複数の重なり合う各シーン区間の先頭どうしの間の前記間隔を、前記少なくとも一つのビデオストリーム中で生起する活動の量に基づいて選択することを含む、方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１１−４１２９９（Ｐ２０１１−４１２９９Ａ）
【公開日】平成２３年２月２４日（２０１１．２．２４）
【国際特許分類】
【出願番号】特願２０１０−２０７４２６（Ｐ２０１０−２０７４２６）
【出願日】平成２２年９月１６日（２０１０．９．１６）
【分割の表示】特願２００４−５６４３７８（Ｐ２００４−５６４３７８）の分割
【原出願日】平成１５年１２月１９日（２００３．１２．１９）
【出願人】（５９００００２４８）コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ (12,071)
【Ｆターム（参考）】
【公開日】平成２３年２月２４日（２０１１．２．２４）
【国際特許分類】
【出願日】平成２２年９月１６日（２０１０．９．１６）
【分割の表示】特願２００４−５６４３７８（Ｐ２００４−５６４３７８）の分割
【原出願日】平成１５年１２月１９日（２００３．１２．１９）
【出願人】（５９００００２４８）コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ (12,071)
【Ｆターム（参考）】
[ Back to top ]