コンテンツ処理装置および方法
【課題】コンテンツの中の所望のシーンを簡単に抽出できるようにし、また、真に重要なシーンで構成されるダイジェストを、短時間で生成することができるようにする。
【解決手段】データ取得部１０１は、特定シーンが含まれる区間を検出すべきコンテンツのデータ、またはダイジェストを生成すべきコンテンツのデータを読み出して取得する。特定シーン検出部１０２は、コンテンツのデータを解析し、回想シーン、リプレイシーンなどを特定するための特徴的な区間であって、クロスフェード区間を検出する。ダイジェスト生成部１０３は、クロスフェード区間に基づいて回想シーン、リプレイシーンなどを特定し、例えば、回想シーンに含まれる複数のシーンのそれぞれと類似するシーンを、コンテンツのデータから検索する。
【解決手段】データ取得部１０１は、特定シーンが含まれる区間を検出すべきコンテンツのデータ、またはダイジェストを生成すべきコンテンツのデータを読み出して取得する。特定シーン検出部１０２は、コンテンツのデータを解析し、回想シーン、リプレイシーンなどを特定するための特徴的な区間であって、クロスフェード区間を検出する。ダイジェスト生成部１０３は、クロスフェード区間に基づいて回想シーン、リプレイシーンなどを特定し、例えば、回想シーンに含まれる複数のシーンのそれぞれと類似するシーンを、コンテンツのデータから検索する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コンテンツ処理装置および方法に関し、特に、コンテンツの中の所望のシーンを簡単に抽出できるようにし、また、真に重要なシーンで構成されるダイジェストを、短時間で生成することができるようにするコンテンツ処理装置および方法に関する。
【背景技術】
【０００２】
近年、地上波放送に加えBS放送、CS放送などにおいて多くのコンテンツが放送されている。また、近年、ＨＤＤレコーダなどの普及により長時間録画、タイムシフト再生が一般的になっている。
【０００３】
しかし、これらの映像をすべて観ることは、ユーザの視聴時間は限られているので、非常に困難である。このため、自動的に映像のダイジェストを生成し、いかに効率よく内容を把握するかが問題となっている。このような背景から、コンテンツに含まれる映像、音声、字幕などを解析して重要と思われるシーンのみを抽出し、これら重要なシーンを繋いで再生することでコンテンツ全編を短時間で視聴可能にするダイジェスト生成技術が開発されている（例えば、特許文献１乃至特許文献４参照）。
【０００４】
また、同様のシーンを重複して視聴することを回避するため、所定のコンテンツのシーンについて時間的に遡って同じ映像シーン（映像特徴が同じパターン）の部分を検索する手法も提案されている（例えば、非特許文献１参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０００―２３０６２号公報
【特許文献２】特開２００５―２５２３７２号公報
【特許文献３】特開２００２―３４４８７１号公報
【特許文献４】特開２００５―１１５６０７号公報
【非特許文献１】八杉将伸，馬場口登，北橋忠宏、「カメラワークの比較によるスポーツ映像からの同一イベント検出」、電子情報通信学会講演論文集、Ｖｏｌ．２００１，情報システム２ ｐｐ．３５９−３６０
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１乃至特許文献４のように、コンテンツに含まれる映像、音声、字幕などから重要なシーンを抽出するのは、映像コンテンツの内容に左右されるため困難である。
【０００７】
また、非特許文献１のように、映像を解析して同じ映像シーンの部分を検索する処理には多大な時間がかかる。
【０００８】
本発明はこのような状況に鑑みてなされたものであり、コンテンツの中の所望のシーンを簡単に抽出できるようにし、また、真に重要なシーンで構成されるダイジェストを、短時間で生成することができるようにするものである。
【課題を解決するための手段】
【０００９】
本発明の一側面は、コンテンツのデータを取得するコンテンツデータ取得手段と、前記取得したコンテンツのデータの中で、所定のシーン最後の画像が序々に変化し、次のシーンの画像に置き換えられる部分を構成する複数のフレームからなるクロスフェード区間を検出する区間検出手段と、前記検出されたクロスフェード区間に基づいて、所定の間隔で複数のシーンが入れ替わる回想シーンを特定するシーン特定手段と、前記特定された回想シーンに含まれる前記複数のシーンのそれぞれに類似するシーンを、前記コンテンツデータ取得手段が取得した別のコンテンツのデータから検索する類似シーン検索手段と、前記検索されたシーンを合成して、前記別のコンテンツのダイジェストを生成するダイジェスト生成手段とを備えるコンテンツ処理装置である。
【００１０】
前記区間検出手段は、前記コンテンツのデータの中の処理対象のフレームにおいて値が単調に変化する単調変化画素が占める割合を算出する割合算出手段と、前記処理対象のフレームとそのフレームの前のフレームのアクティビティの比を算出するアクティビティ比算出手段と、前記算出された単調変化画素が占める割合、およびアクティビティの比に基づいて、前記処理対象のフレームが前記クロスフェード区間の候補フレームであるか否かを判定する候補フレーム判定手段と、前記コンテンツのデータの中で連続して出現する前記候補フレームをカウントすることで、前記クロスフェード区間を検出する連続フレームカウント手段とを備えるようにすることができる。
【００１１】
前記割合算出手段は、前記処理対象のフレームを現在のフレームとし、前記現在のフレームの注目画素の値と、過去のフレームおよび未来のフレームにおける前記注目画素に対応するそれぞれの画素の値とを比較することで、前記注目画素が単調変化画素であるか否かを判定し、現在のフレームを構成する全画素のうち、前記単調変化画素であると判定された画素の割合を算出するようにすることができる。
【００１２】
前記注目画素および前記注目画素に対応する画素の値が、時間の経過に伴って大きくなるように変化する場合、または、時間の経過に伴って小さくなるように変化する場合、前記時間の経過に伴う変化量が予め設定された閾値より大きいとき、前記注目画素が前記単調変化画素であると判定されるようにすることができる。
【００１３】
第１のフレームの特徴量と、前記第１のフレームより所定のフレーム数時間的に前に存在する第２のフレームの特徴量との差分の値が、予め設定された閾値以上である場合、前記第１のフレームを前記処理対象のフレームとするようにすることができる。
【００１４】
前記区間検出手段は、前記候補フレームが予め設定された閾値以上連続して出現した場合、前記連続する候補フレームの最初の候補フレームの特徴量と、最後の候補フレームの特徴量との差分の値が予め設定された以上である場合、前記最初の候補フレームから前記最後の候補フレームまでの区間を、前記クロスフェード区間として検出するようにすることができる。
【００１５】
前記シーン特定手段は、前記クロスフェード区間が閾値未満の時間的距離で所定の数以上連続して検出された場合、前記連続するクロスフェード区間の最初のクロスフェード区間から最後のクロスフェード区間までの部分を、前記回想シーンであると特定するようにすることができる。
【００１６】
前記類似シーン検索手段は、前記特定された回想シーンの中で前記クロスフェード区間により挟まれた部分に対応するシーンのそれぞれに類似するシーンを前記別のコンテンツのデータから検索し、前記ダイジェスト生成手段は、前記検索されたそれぞれのシーンの前後に連続する所定の数のフレームを付加したデータを合成して前記ダイジェストを生成するようにすることができる。
【００１７】
前記検索手段は、前記特定された回想シーンの中で前記クロスフェード区間により挟まれた部分に対応するシーンであって、時間的に最も前に位置する第１のシーンに類似する第２のシーンを、前記別のコンテンツのデータから検索し、前記特定された回想シーンの中で前記クロスフェード区間により挟まれた部分に対応するシーンであって、前記第１のシーンより時間的後の第３のシーンに類似する第４のシーンを、前記別のコンテンツのデータのうち、前記第２のシーンより時間的に後の部分から検索するようにすることができる。
【００１８】
本発明の一側面は、コンテンツのデータを取得し、前記取得したコンテンツのデータの中で、所定のシーン最後の画像が序々に変化し、次のシーンの画像に置き換えられる部分を構成する複数のフレームからなるクロスフェード区間を検出し、前記検出されたクロスフェード区間に基づいて、所定の間隔で複数のシーンが入れ替わる回想シーンを特定し、前記特定された回想シーンに含まれる前記複数のシーンのそれぞれに類似するシーンを、別のコンテンツのデータから検索し、前記検索されたシーンを合成して、前記別のコンテンツのダイジェストを生成するステップを含むコンテンツ処理方法である。
【００１９】
本発明の一側面においては、コンテンツのデータが取得され、前記取得されたコンテンツのデータの中で、所定のシーン最後の画像が序々に変化し、次のシーンの画像に置き換えられる部分を構成する複数のフレームからなるクロスフェード区間が検出され、前記検出されたクロスフェード区間に基づいて、所定の間隔で複数のシーンが入れ替わる回想シーンが特定され、前記特定された回想シーンに含まれる前記複数のシーンのそれぞれに類似するシーンが、別のコンテンツのデータから検索され、前記検索されたシーンを合成して、前記別のコンテンツのダイジェストが生成される。
【発明の効果】
【００２０】
本発明によれば、コンテンツの中の所望のシーンを簡単に抽出できるようにし、また、真に重要なシーンで構成されるダイジェストを、短時間で生成することができる。
【図面の簡単な説明】
【００２１】
【図１】本発明の一実施の形態に係るコンテンツ処理装置の例を示す図である。
【図２】図１のコンテンツ処理装置の構成例を示すブロック図である。
【図３】図２の制御部において実行されるソフトウェアの機能的構成例を示すブロック図である。
【図４】図３の特定シーン検出部の詳細な構成例を示すブロック図である。
【図５】図４の単調変化画素検出部の処理を説明する図である。
【図６】図４の区間判定部の処理を説明する図である。
【図７】クロスフェード区間検出処理の例を説明するフローチャートである。
【図８】候補フレーム抽出処理の例を説明するフローチャートである。
【図９】フレーム判定処理の例を説明するフローチャートである。
【図１０】スポーツ番組のコンテンツにおけるリプレイシーンの例を説明する図である。
【図１１】連続ドラマなどのコンテンツにおける回想シーンの例を説明する図である。
【図１２】ダイジェスト生成処理の例を説明するフローチャートである。
【図１３】図３のダイジェスト生成部の処理を説明する図である。
【図１４】パーソナルコンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００２２】
以下、図面を参照して、本発明の実施の形態について説明する。
【００２３】
図１は、本発明の一実施の形態に係るコンテンツ処理装置の例を示す図である。同図に示されるコンテンツ処理装置１は、例えば、ＨＤＤ（Hard Disc Drive）レコーダとして構成され、テレビジョン受像機などとして構成されるディスプレイ２に接続されている。
【００２４】
図２は、図１のコンテンツ処理装置１の構成例を示すブロック図である。
【００２５】
コンテンツ処理装置１は、例えば、ユーザによって設定された録画の予約に従ってテレビジョン放送の番組を録画するようになされている。コンテンツ処理装置１は、膨大な記憶容量を備えるＨＤＤ４０に数多くのコンテンツを記録することができる。
【００２６】
また、コンテンツ処理装置１は、CPU（Central Processing Unit）３１、ROM（Read Only Memory）３２、およびRAM（Random Access Memory）３３からなる制御部３０を備えている。制御部３０は、コンテンツ処理装置１全体の動作を制御するメインコントローラであり、例えば、プログラムなどのソフトウェアを実行することなどにより、コンテンツ処理装置１に所定の処理を行わせる。
【００２７】
グラフィック処理コントローラ３４は、DSP（Digital Signal Processor）または汎用のGPU（Graphics Processing Unit）などにより構成され、画像データを生成する。また、グラフィック処理コントローラ３４は、例えば、ユーザが各種の設定を入力することができるGUI(Graphical User Interface)の画像を生成する。
【００２８】
入力制御部３５は、例えば、ボタン、スイッチ、またはキーボードなどよりなる入力部３６がユーザに操作されることによって得られるユーザの操作に対応する入力信号、すなわちユーザの指示を示す入力信号（操作情報）を、バス４７を介してCPU３１に供給する。また、入力制御部３５は、図示せぬリモートコントローラから送信されるユーザの操作に対応する赤外線信号を、受光部である入力部３６に受信させ、電気信号に変換してCPU３１に供給する。
【００２９】
ＨＤＤ Ｉ／Ｆ３９は、制御部３０の制御に基づいて、ＨＤＤ４０のデータへのアクセスを制御する。
【００３０】
ＨＤＤ４０は、プログラムやコンテンツを含む各種のデータなどを所定のフォーマットのファイル形式で蓄積することができる、ランダムアクセスが可能な記録装置である。ＨＤＤ４０は、ＨＤＤ Ｉ／Ｆ３９を介してバス４７に接続されており、デコーダ４３から、番組であるコンテンツおよびEPGデータなどの各種のデータが供給されると、これらのデータを記録するとともに、読み出しが要求されると、記録しているデータを出力する。
【００３１】
なお、制御部３０は、例えば、バス４７を介して、入力制御部３５から供給された入力信号（操作情報）に基づいて、ＨＤＤ Ｉ／Ｆ３９、ＨＤＤ４０、チューナ４１、復調部４２、およびデコーダ４３などを制御し、コンテンツの記録または再生を実行する。
【００３２】
また、図示せぬアンテナで受信された放送波は、チューナ４１に供給される。放送波は、所定のフォーマットに基づいており、例えば、EPGデータを含んでいる。放送波は、衛星放送波、地上波を問わず、さらに有線または無線などの任意の通信路を介して伝送される。
【００３３】
チューナ４１は、例えば、制御部３０の制御に基づいて、所定のチャンネルの放送波のチューニング、すなわち、選局を行い、受信データを復調部４２に出力する。
【００３４】
復調部４２は、デジタル変調されている受信データを復調し、デコーダ４３に出力する。
【００３５】
例えば、デジタル衛星放送の場合、チューナ４１により受信され、復調部４２により復調されたデジタルデータは、MPEG2（Moving Picture Experts Group 2）方式で圧縮されたAVデータ、およびデータ放送用のデータが多重化されているトランスポートストリームである。前者のAVデータは、放送番組本体を構成する画像データおよび音声データであり、後者のデータ放送用のデータは、この放送番組本体に付随するデータ（例えば、EPGデータ）を含むものである。
【００３６】
デコーダ４３は、復調部４２より供給されたトランスポートストリームを、MPEG2方式で圧縮されたAVデータとデータ放送用のデータ（例えば、EPGデータ）とに分離する。分離されたデータ放送用のデータは、バス４７およびＨＤＤ Ｉ／Ｆ３９を介してＨＤＤ４０に供給され、記録される。
【００３７】
デコーダ４３は、受信した番組（コンテンツ）の視聴が要求されている場合、AVデータを、圧縮されている画像データと圧縮されている音声データとにさらに分離する。分離された音声データは、PCM（Pulse Code Modulation）のデータにデコード（復号）された後、ミキサ４５を介してスピーカ１３に出力される。また、分離された画像データは、デコードされた後、コンポーザ４６を介してディスプレイ２に供給される。
【００３８】
また、デコーダ４３は、受信した番組（コンテンツ）をＨＤＤ４０に記録することが指示されている場合、分離する前のAVデータ（多重化されている画像データと音声データからなるAVデータ）を、バス４７およびＨＤＤ Ｉ／Ｆ３９を介してＨＤＤ４０に出力する。さらに、ＨＤＤ４０に記録されている番組の再生が指示されている場合、デコーダ４３は、バス４７およびＨＤＤ Ｉ／Ｆ３９を介して、ＨＤＤ４０からAVデータの入力を受け、圧縮されている画像データと圧縮されている音声データとに分離する。そして、圧縮されている画像データおよび圧縮されている音声データをそれぞれ復号し、復号された画像データおよび音声データをそれぞれミキサ４５およびコンポーザ４６に供給する。
【００３９】
ミキサ４５は、必要に応じて、デコーダ４３より供給された音声データと、ＨＤＤ４０に記録されている音声データとを合成して、合成された音声データをディスプレイ２のスピーカなどに供給する。
【００４０】
コンポーザ４６は、必要に応じて、デコーダ４３より供給された画像データと、グラフィック処理コントローラ３４から供給された画像データとを合成して、合成された画像データをディスプレイ２に供給する。
【００４１】
なお、コンテンツ処理装置１がインターネットなどのネットワークに接続され、インターネットを介して配信されるコンテンツを記録するように構成することも可能である。また、コンテンツは、ＨＤＤ４０に記録されると説明したが、ドライブ４９に装着されたリムーバブルメディア５０（例えば、DVD（Digital Versatile Disc）など）にコンテンツを記録するようにしてもよい。
【００４２】
コンテンツ処理装置１は、記録されたコンテンツのデータを解析し、例えば、回想シーン、リプレイシーンなどの特定シーンが含まれる区間を検出することができるようになされている。ここで、回想シーンは、例えば、連続ドラマなどの冒頭に含まれる前回までのあらすじを説明するためのシーンとされる。また、リプレイシーンは、例えば、プロ野球ゲームの中継など、スポーツ番組において、注目すべきファインプレイなどを再生するシーンとされる。
【００４３】
また、コンテンツ処理装置１は、検出された区間のシーンと類似するシーンを、記録されたコンテンツのデータから検索し、検索されたシーンを合成してダイジェストを生成することができるようになされている。ここで、ダイジェストは、コンテンツに含まれるシーンのうち、重要と思われるシーンのみを抽出し、これら重要なシーンを繋いで再生することでコンテンツ全編を短時間で視聴可能にするようにするものである。
【００４４】
図３は、図２の制御部３０において実行されるソフトウェアの機能的構成例を示すブロック図である。
【００４５】
データ取得部１０１は、例えば、特定シーンが含まれる区間を検出すべきコンテンツのデータ、またはダイジェストを生成すべきコンテンツのデータをＨＤＤ４０から読み出して取得するようになされている。
【００４６】
特定シーン検出部１０２は、後述するように、データ取得部１０１から供給されるコンテンツのデータを解析し、回想シーン、リプレイシーンなどを特定するための特徴的な区間であって、後述するクロスフェード区間を検出するようになされている。
【００４７】
ダイジェスト生成部１０３は、特定シーン検出部１０２により検出されたクロスフェード区間に基づいて回想シーン、リプレイシーンなどを特定する。また、ダイジェスト生成部１０３は、例えば、回想シーンに含まれる複数のシーンのそれぞれと類似するシーンを、データ取得部１０１から供給されるコンテンツのデータから検索するようになされている。そして、ダイジェスト生成部１０３は、検索されたシーンを合成してダイジェストを生成するようになされている。
【００４８】
図４は、図３の特定シーン検出部１０２の詳細な構成例を示すブロック図である。特定シーン検出部１０２は、回想シーン、リプレイシーンなどを特定するために、クロスフェードを検出するようになされている。ここで、クロスフェードは、例えば、所定のシーン最後の画像が序々に変化し、次のシーンの画像に置き換えられる部分を構成する複数のフレームとされる。通常のコンテンツにおいては、回想シーン、リプレイシーンの前後には、クロスフェードが挿入されていることが多ので、特定シーン検出部１０２は、クロスフェードを検出することにより、回想シーン、リプレイシーンなどを特定できるようにする。
【００４９】
図４の特徴量算出部１２１は、所定のフレームの画像の特徴量を算出する。特徴量算出部１２１は、例えば、画像の特徴量として画素の輝度値のヒストグラムを算出する。特徴量算出部１２１は、処理対象のフレームを現在のフレームとし、処理対象のフレームよりｎフレーム前の過去のフレームを抽出し、過去のフレームの画素の輝度値のヒストグラムを算出する。そして、特徴量算出部１２１は、現在のフレームと過去のフレームのヒストグラムの各要素の差分絶対値和を演算し、得られた差分絶対値和の値が予め設定された閾値以上であるか否かを判定する。特徴量算出部１２１は、差分絶対値和の値が予め設定された閾値以上である場合、そのフレームについて単調変化画素検出部１２２、およびアクティビティ算出部１２３の処理を行わせるようになされている。
【００５０】
すなわち、過去のフレームとの間で、画像の変化の度合いが小さい場合（例えば、ヒストグラムの各要素の差分絶対値和の値が小さい場合）、そのフレームがクロスフェードのフレームである可能性は低い。そこで、特徴量算出部１２１が、過去のフレームとの間で画像の変化の度合いが大きいフレームのみを選択するのである。
【００５１】
単調変化画素検出部１２２は、指定（選択）されたフレームを構成する画素のそれぞれが単調に変化する画素であるか否かを判定するようになされている。単調変化画素検出部１２２は、指定されたフレームである現在のフレームより時間的に前に再生される過去のフレームと、現在のフレームより時間的に前に再生される未来のフレームとを抽出する。ここでの過去のフレームと未来のフレームは、それぞれ現在のフレームから所定のフレーム離れたフレームとしてもよいし、現在のフレームと連続するフレームとされてもよい。
【００５２】
単調変化画素検出部１２２は、過去のフレーム、現在のフレーム、未来のフレームの各フレームにおいて、同一の座標位置の画素を１つずつ抽出し、過去のフレームの画素ｖ１の値、過去のフレームの画素ｖ２の値、未来のフレームの画素ｖ３の値を比較する。
【００５３】
例えば、図５に示されるように、動画像としてのコンテンツを構成する複数のフレームの第ｎ番目のフレーム２０１を処理対象のフレームであり現在のフレームとする。そして、第ｎ−１番目のフレーム２０２を過去のフレームとし、第ｎ＋１番目のフレームを未来のフレーム２０３とする。例えば、現在のフレーム２０１における座標位置（x,y）の画素を注目画素として設定し、その画素と同一の座標位置の画素をそれぞれフレーム２０２とフレーム２０３から抽出する。フレーム２０１の注目画素の値をv2とし、フレーム２０２の座標位置（x,y）の画素の値をv1とし、フレーム２０３の座標位置（x,y）の画素の値をv3とする。
【００５４】
上述したように、単調変化画素検出部１２２は、注目画素が単調に変化する画素であるか否かを判定する。ここで、注目画素が単調に変化する画素でるか否かを判定するための関数であって、注目画素と、それに対応する過去のフレームの画素および未来のフレームの画素のそれぞれの値を変数とする関数monoを次のように定義する。
【００５５】
上述した画素の値v1乃至v3が式（１）または式（２）を満たすものである場合、関数monoは、式（３）により表される。
【００５６】
【数１】
【数２】
【数３】
【００５７】
上述した画素の値v1乃至v3が式（１）または式（２）を満たすものでない場合、関数monoは、式（４）により表される。
【００５８】
【数４】
【００５９】
なお、式（１）、式（２）におけるTHは、予め設定された閾値を表すものとする。
【００６０】
すなわち、注目画素およびそれに対応する画素の値が、過去から未来に向かって序々に大きくなるように変化していくものであり、かつその値の変化が閾値より大きいものである場合、画素の値v1乃至v3が式（１）を満たす。また、注目画素およびそれに対応する画素の値が、過去から未来に向かって序々に小さくなるように変化していくものであり、かつその値の変化が閾値より大きいものである場合、画素の値v1乃至v3が式（２）を満たす。このような場合、注目画素が単調に変化する画素と判定され、関数monoの演算結果は１となる。一方、このような条件に合致しない注目画素は、単調に変化する画素ではないと判定され、関数monoの演算結果は０となる。
【００６１】
単調変化画素検出部１２２は、フレーム２０１を構成する全ての画素について、上述したように単調に変化する画素であるか否かを判定し、さらに、フレーム２０１の全ての画素の中で単調に変化する画素が占める割合を計算する。第ｎ番目のフレームにおける単調に変化する画素の割合dissnは、式（５）により計算できる。
【００６２】
【数５】
【００６３】
なお、式（５）におけるＷはフレームの画像の横方向の画素数を表し、Ｈはフレームの画像の縦方向の画素数を表す。また、式（５）においてｆn（x,y）は第ｎ番目のフレームにおける座標位置（x,y）の画素の値を表す。同様に、ｆn-1（x,y）は第ｎ−１番目のフレームにおける座標位置（x,y）の画素の値を表し、ｆn+1（x,y）は第ｎ＋１番目のフレームにおける座標位置（x,y）の画素の値を表す。
【００６４】
図４に戻って、アクティビティ算出部１２３は、特徴量算出部１２１により指定（選択）されたフレームの画素の値の分散の度合いを表すアクティビティを算出するようになされている。第ｎ番目のフレームのアクティビティactnは、式（６）および式（７）により算出することができる。
【００６５】
【数６】
【数７】
【００６６】
アクティビティ算出部１２３は、同様にして第ｎ−１番目のフレームのアクティビティactn-1も算出し、第ｎ番目のフレームのアクティビティと第ｎ−１番目のフレームのアクティビティの比を次のようにして算出する。
【００６７】
アクティビティactnとアクティビティactn-1が式（８）の関係を満たすものである場合、第ｎ番目のフレームのアクティビティと第ｎ−１番目のフレームのアクティビティの比act_rnは、式（９）により表される。
【００６８】
【数８】
【数９】
【００６９】
一方、アクティビティactnとアクティビティactn-1が式（８）の関係を満たすものでない場合、第ｎ番目のフレームのアクティビティと第ｎ−１番目のフレームのアクティビティの比act_rnは、式（１０）により表される。
【００７０】
【数１０】
【００７１】
このようにして、単調変化画素検出部１２２は、特徴量算出部１２１により指定されたフレームの全ての画素における単調に変化する画素の割合を計算するのである。また、アクティビティ算出部１２３は、特徴量算出部１２１により指定されたフレームとそのフレームの前のフレームのアクティビティの比を算出するのである。
【００７２】
クロスフェード判定部１２４は、単調変化画素検出部１２２により計算された、単調に変化する画素の割合と、アクティビティ算出部１２３により計算されたアクティビティの比に基づいて、当該フレームがクロスフェードのフレームであるか否かを判定する。クロスフェード判定部１２４は、当該フレームがクロスフェードのフレームであるか否かを判定するための変数FADEの値を式（１１）により演算する。
【００７３】
【数１１】
【００７４】
なお、式（１１）において、ＡＣＴ＿Ｃは定数とされる。
【００７５】
クロスフェード判定部１２４は、変数FADEの値が予め設定された閾値より大きい場合、当該フレームは、クロスフェードの候補フレームであると判定する。また、クロスフェード判定部１２４は、変数FADEの値が予め設定された閾値以下である場合、当該フレームは、クロスフェードの候補フレームではないと判定する。
【００７６】
ここまでの処理により、例えば、１つのコンテンツの全てのフレームの中から、クロスフェードの候補フレームとなるフレームが検出されることになる。例えば、図６に示されるように、コンテンツのフレームの中から、各矢印で示される位置においてクロスフェードの候補フレームが検出される。図６の例では、矢印２２１乃至矢印２２８によりコンテンツの動画像における時間的位置が示されており、矢印２２１乃至矢印２２８により示される位置においてクロスフェードの候補フレームとなるフレームが検出されたものとする。
【００７７】
図４に戻って、区間判定部１２５は、クロスフェード判定部１２４により候補フレームであると判定されたフレームを検出し、候補フレームがいくつ連続するかをカウントする。そして、区間判定部１２５は、候補フレームが予め設定された閾値以上連続する場合、その連続するフレームのうち、最初のフレームと最後のフレームの画像について特徴量の差分を演算する。区間判定部１２５は、例えば、画像の特徴量として画素の輝度値のヒストグラムを特徴量として算出し、最初のフレームと最後のフレームのヒストグラムの各要素の差分絶対値和を演算する。そして、区間判定部１２５は、最初のフレームと最後のフレームのヒストグラムの各要素の差分絶対値和が予め設定された閾値以上である場合、これら連続する候補フレームにより構成される区間をクロスフェード区間であると判定するようになされている。
【００７８】
例えば、上述した閾値を５であるとし、区間判定部１２５による判定の処理を、図６を参照して説明する。区間判定部１２５は、矢印２２１で示される位置の候補フレームを検出するが、連続する候補フレームがないので、ここではクロスフェード区間であると判定しない。また、区間判定部１２５は、矢印２２２と矢印２２３で示される位置の候補フレームを検出するが、連続する候補フレームが２なので、やはりクロスフェード区間であると判定しない。さらに、区間判定部１２５は、矢印２２４乃至矢印２２８で示される位置の候補フレームを検出する。例えば、矢印２２４の位置のフレームが第ｐ番目のフレームである場合、矢印２２５の位置のフレームは第ｐ＋１番目のフレーム、矢印２２６の位置のフレームは第ｐ＋２番目のフレーム、・・・矢印２２８の位置のフレームは第ｐ＋４番目のフレームであるとする。すなわち、矢印２２４乃至矢印２２８で示される位置の候補フレームは連続する５個のフレームであるものとする。
【００７９】
いまの場合、連続する候補フレームが５なので、矢印２２４で示される位置のフレームと、矢印２２８で示される位置のフレームの特徴量の差分（例えば、ヒストグラムの差分絶対値和）が演算される。そして、特徴量の差分が閾値以上であれば、矢印２２４で示される位置のフレームから矢印２２８で示される位置のフレームまでにより構成される区間を、クロスフェード区間であると判定する。
【００８０】
このようにして、クロスフェード区間が特定されるのである。
【００８１】
次に、図７乃至図９のフローチャートを参照して、特定シーン検出部１０２によるクロスフェード区間検出処理の例について説明する。
【００８２】
ステップＳ２１において、特定シーン検出部１０２は、クロスフェード区間を検出すべき対象データを特定する。例えば、１つのコンテンツのデータ、または、１つのコンテンツのデータのうち、ユーザにより指定された区間のデータなどが、検索すべき対象データとして特定される。
【００８３】
ステップＳ２２において、特定シーン検出部１０２は、ステップＳ２１で特定された対象データについて、図８を参照して後述する候補フレーム抽出処理を実行する。ここで、図８のフローチャートを参照して、図７のステップＳ２２の候補フレーム抽出処理の詳細な例について説明する。
【００８４】
図８のステップＳ４１において、図４の特徴量算出部１２１は、処理対象のフレームを現在のフレームとし、例えば、処理対象のフレームよりｎフレーム前の過去のフレームを抽出する。
【００８５】
ステップＳ４２において、特徴量算出部１２１は、現在のフレームと過去のフレームのの画素の輝度値のヒストグラムを算出する。そして、特徴量算出部１２１は、例えば、現在のフレームと過去のフレームのヒストグラムの各要素の差分絶対値和を、現在のフレームと過去のフレームの差分として求める。
【００８６】
ステップＳ４３において、特徴量算出部１２１は、ステップＳ４２の処理で得られた差分が予め設定された閾値以上であるか否かを判定する。差分が予め設定された閾値以上である場合、処理は、ステップＳ４４に進む。一方、差分が閾値未満である場合、ステップＳ４４の処理はスキップされる。
【００８７】
ステップＳ４４において、単調変化画素検出部１２２、アクティビティ算出部１２３、およびクロスフェード判定部１２４は、図９を参照して後述するフレーム判定処理を実行する。ここで、図９のフローチャートを参照して、図８のステップＳ４４のフレーム判定処理の詳細な例について説明する。
【００８８】
ステップＳ６１において、単調変化画素検出部１２２は、処理対象のフレームの全ての画素の中で単調に変化する画素が占める割合を計算する。
【００８９】
このとき上述したように、式（１）乃至式（４）により、フレームの画素のそれぞれが、単調に変化する画素であるか否かが判定される。そして、式（５）により、そのフレームにおける単調に変化する画素の割合が計算される。
【００９０】
ステップＳ６２において、処理対象のフレームとそのフレームの前のフレームのアクティビティの比を算出する。
【００９１】
このとき上述したように、式（６）および式（７）によりフレームの画素の値の分散の度合いを表すアクティビティが算出される。そして、式（８）乃至式（１０）により、処理対象のフレームのアクティビティと、そのフレームの前のフレームのアクティビティの比が算出される。
【００９２】
ステップＳ６３において、クロスフェード判定部１２４は、ステップＳ６１の処理で計算された単調に変化する画素の割合と、ステップＳ６２の処理で計算されたアクティビティの比に基づいて、変数FADEを算出する。上述したように、変数FADEは、当該フレームがクロスフェードのフレームであるか否かを判定するための変数とされ、式（１１）により演算される。
【００９３】
ステップＳ６４において、クロスフェード判定部１２４は、ステップＳ６３で算出された変数FADEの値が予め設定された閾値より大きいか否かを判定する。
【００９４】
ステップＳ６４において、変数FADEの値が予め設定された閾値より大きいと判定された場合、処理は、ステップＳ６５に進み、クロスフェード判定部１２４は、当該処理対象のフレームを候補フレームとする。
【００９５】
一方、ステップＳ６４において、変数FADEの値が予め設定された閾値以下であると判定された場合、ステップＳ６５の処理はスキップされる。
【００９６】
このようにして、フレーム判定処理が実行され、当該フレームがクロスフェードの候補フレームであるか否かが判定されることになる。
【００９７】
図８に戻って、ステップＳ４４の処理の後、処理は、ステップＳ４５に進み、全てのフレームについてステップＳ４１乃至ステップＳ４４の処理が実行されたか否かが判定される。まだ、全てのフレームについて処理が実行されていないと判定された場合、処理は、ステップＳ４６に進み、次のフレームが、現在のフレームとされて、ステップＳ４１乃至ステップＳ４５の処理が繰り返し実行される。
【００９８】
ステップＳ４６において、全てのフレームについて処理が実行されたと判定された場合、候補フレーム抽出処理は終了する。これにより、ステップＳ２１において特定された対象データに含まれる全てのフレームのそれぞれについて、候補フレームであるか否かが判定されたことになる。
【００９９】
図７に戻って、ステップＳ２２の処理の後、処理は、ステップＳ２３に進む。
【０１００】
ステップＳ２３において、区間判定部１２５は、ステップＳ２２の処理で候補フレームであると判定されたフレームを検出し、候補フレームがいくつ連続するかをカウントする。
【０１０１】
ステップＳ２４において、区間判定部１２５は、候補フレームが予め設定された閾値以上連続するか否かを判定する。ステップＳ２４において、候補フレームが予め設定された閾値以上連続すると判定された場合、処理は、ステップＳ２５に進む。
【０１０２】
ステップＳ２５において、区間判定部１２５は、その連続するフレームのうち、最初のフレームと最後のフレームの画像について特徴量の差分を演算する。ここで、区間判定部１２５は、例えば、画像の特徴量として画素の輝度値のヒストグラムを算出し、最初のフレームと最後のフレームのヒストグラムの各要素の差分絶対値和を演算する。
【０１０３】
ステップＳ２６において、区間判定部１２５は、ステップＳ２５の処理で求められた差分が閾値以上であるか否かを判定する。ステップＳ２６において、差分は閾値以上であると判定された場合、処理は、ステップＳ２７に進む。
【０１０４】
ステップＳ２７において、区間判定部１２５は、これら連続する候補フレームにより構成される区間をクロスフェード区間であると判定する。
【０１０５】
このとき、例えば、図６を参照して上述したように、クロスフェード区間であるか否かが判定される。
【０１０６】
一方、ステップＳ２６において、ステップＳ２５の処理で求められた差分が閾値未満であると判定された場合、ステップＳ２７の処理はスキップされる。また、ステップＳ２４において、候補フレームが予め設定された閾値以上連続しないと判定された場合、ステップＳ２５乃至ステップＳ２７の処理はスキップされる。
【０１０７】
ステップＳ２７の処理の後、または、ステップＳ２６において、差分が閾値未満であると判定された場合、若しくはステップＳ２４において、閾値以上連続しないと判定された場合、処理は、ステップＳ２８に進む。
【０１０８】
ステップＳ２８において、次のフレームがあるか否かが判定され、まだ次のフレームがあると判定された場合、処理は、ステップＳ２３に戻り、それ以降の処理が繰り返し実行される。一方、ステップＳ２８において、次のフレームがないと判定された場合、処理は終了する。
【０１０９】
このようにして、クロスフェード区間検出処理が実行される。このようにすることで、コンテンツの中の重要な意味をもつシーンを特定するための区間であるクロスフェード区間を簡単に検出することが可能となる。
【０１１０】
コンテンツにおいて、クロスフェード区間が特定されることにより、例えば、スポーツ番組のコンテンツにおけるリプレイシーン、連続ドラマのコンテンツにおける回想シーンなどを特定することも可能となる。
【０１１１】
図１０は、スポーツ番組のコンテンツにおけるリプレイシーンの例を説明する図である。同図においては、横軸が時間として表されており、図中「ＣＦ」と表示された部分がクロスフェード区間であることを表している。同図に示されるように、リプレイシーンは、クロスフェード区間により挟まれたシーンである場合が多い。
【０１１２】
図１０に示されるコンテンツが、例えば、プロ野球ゲームの中継番組のコンテンツである場合、リプレイシーンは、注目すべきファインプレイなどを再生するシーンとされ、通常シーンは、それ以外のシーンとされる。
【０１１３】
図１１は、連続ドラマのコンテンツにおける回想シーンの例を説明する図である。同図においては、横軸が時間として表されており、図中「ＣＦ」と表示された部分がクロスフェード区間であることを表している。同図に示されるように、回想シーンは、クロスフェード区間により挟まれたシーンであるシーンＡ乃至シーンＤにより構成されている。このように、回想シーンは、コンテンツにおいて、複数のクロスフェード区間が短期間に繰り返し出現する部分であることが多い。
【０１１４】
図１１に示されるコンテンツが、例えば、連続ドラマの第２回目のコンテンツである場合、シーンＡ乃至シーンＤは、それぞれこの連続ドラマの前回（第１回目）に含まれていた場面（シーン）とされ、通常場面は、それ以外の場面とされる。
【０１１５】
本発明においては、ダイジェストを生成する際に、例えば、図１１に示されるような回想シーンが検出されるようになされている。そして、回想シーンに含まれるシーン（例えば、図１１のシーンＡ乃至シーンＤ）のそれぞれと類似するシーンを、記録されたコンテンツのデータから検索し、検索されたシーンを合成してダイジェストを生成することができるようになされている。このようなダイジェストの生成は、図３のダイジェスト生成部１０３により行なわれる。
【０１１６】
ダイジェスト生成部１０３は、コンテンツの中の回想シーンを、例えば、次のようにして特定する。特定シーン検出部１０２によって図７を参照して上述した処理が実行されることにより、コンテンツの中でのクロスフェード区間が特定されるので、ダイジェスト生成部１０３は、特定シーン検出部１０２の処理結果に基づいてクロスフェード区間を検出する。そして、ダイジェスト生成部１０３は、クロスフェード区間が所定の間隔で予め設定された閾値以上検出された場合、それらのクロフェード区間が含まれる部分を回想シーンであると特定する。
【０１１７】
例えば、図１１の場合、ダイジェスト生成部１０３は、クロスフェード区間２４１とクロスフェード区間２４２との間の距離（例えば、時間的距離）を求める。例えば、クロスフェード区間２４１の最後のフレームと、クロスフェード区間２４１の最初のフレームとの間に存在するフレームの数をカウントすることにより、クロスフェード区間２４１とクロスフェード区間２４２との間の距離が求められる。クロスフェード区間２４１とクロスフェード区間２４２との間の距離が予め設定された閾値未満であった場合、クロスフェード区間２４２とクロスフェード区間２４３との間の距離が同様に求められる。さらに、クロスフェード区間２４２とクロスフェード区間２４３との間の距離が予め設定された閾値未満であった場合、クロスフェード区間２４３とクロスフェード区間２４４との間の距離が同様に求められる。
【０１１８】
このように、ダイジェスト生成部１０３は、距離が閾値未満となるクロスフェード区間がいくつ連続しているかをカウントする。図１１の例において、クロスフェード区間２４１乃至クロスフェード区間２４５は、それぞれの間の距離が全て閾値未満であったものとすると、この場合、距離が閾値未満となるクロスフェード区間が５個連続して検出されることになる。
【０１１９】
例えば、回想シーンであるか否かを判定するための閾値が３である場合、図１１の例では、距離が閾値未満となるクロスフェード区間が５個連続しているので、ダイジェスト生成部１０３は、これらのクロスフェード区間が含まれる部分を回想シーンであると特定する。すなわち、クロスフェード区間２４１の最初のフレームからクロスフェード区間２４５の最後のフレームまでの部分が、このコンテンツにおける回想シーンであると特定されるのである。
【０１２０】
回想シーンが特定された場合、ダイジェスト生成部１０３は、例えば、図１１の回想シーンに含まれるシーンＡ乃至シーンＤを特定する。すなわち、回想シーンと特定された部分の中において、検出されたクロスフェード区間のそれぞれに挟まれたフレームにより構成される部分が回想シーンに含まれるシーンであると特定される。
【０１２１】
ダイジェスト生成部１０３は、シーンＡ乃至シーンＤのそれぞれに類似するシーンを、データ取得部１０１から供給されるデータの中から検索する。類似するシーンの検索は、例えば、「八杉将伸，馬場口登，北橋忠宏、「カメラワークの比較によるスポーツ映像からの同一イベント検出」、電子情報通信学会講演論文集、Ｖｏｌ．２００１，情報システム２ ｐｐ．３５９−３６０」などに記載された方式により行なうことが可能である。あるいはまた、シーンに含まれるフレームの画像のそれぞれについて特徴量の差分を演算することなどによりシーンの類似度を求め、その類似度に基づいて、シーンＡ乃至シーンＤのそれぞれに類似するシーンが検索されるようにしてもよい。
【０１２２】
例えば、図１１に示される回想シーンが連続ドラマの第ｋ回目の放送のコンテンツであった場合、データ取得部１０１は、連続ドラマの第ｋ-1回目の放送のコンテンツのデータをダイジェスト生成部１０３に供給するようになされている。なお、データ取得部１０１からダイジェスト生成部１０３に供給されるデータが、ユーザにより指定されるようにしてもよい。そして、ダイジェスト生成部１０３は、連続ドラマの第ｋ-1回目の放送のコンテンツのダイジェストを生成するのである。
【０１２３】
すなわち、ダイジェスト生成部１０３は、連続ドラマの第ｋ-1回目の放送のコンテンツの中からそれぞれシーンＡ乃至シーンＤに類似するシーンＷ乃至シーンＺを検索する。そして、連続ドラマの第ｋ-1回目の放送のコンテンツの中からシーンＷのフレームとともに、例えば、シーンＷの最初のフレームより前に時間的に連続する３００個のフレームと、シーンＷの最後のフレームより後に時間的に連続する３００個のフレームとを抽出する。さらに、ダイジェスト生成部１０３は、上述のように抽出されたフレームからなるダイジェストデータ１を生成する。
【０１２４】
同様に、ダイジェスト生成部１０３は、連続ドラマの第ｋ-1回目の放送のコンテンツの中からシーンＸのフレームとともに、例えば、シーンＸの最初のフレームより前に時間的に連続する３００個のフレームと、シーンＸの最後のフレームより後に時間的に連続する３００個のフレームとを抽出する。これにより、ダイジェストデータ２が生成される。
【０１２５】
同様の処理を、シーンＹおよびシーンＺについても行うことにより、ダイジェストデータ３とダイジェストデータ４が生成される。
【０１２６】
ダイジェスト生成部１０３は、ダイジェストデータ１乃至ダイジェストデータ４を合成してダイジェストを生成するようになされている。すなわち、ダイジェストデータ１乃至ダイジェストデータ４が連続して再生されるものが、連続ドラマの第ｋ-1回目の放送のコンテンツのダイジェストとして生成されるのである。
【０１２７】
次に、図１２のフローチャートを参照して、ダイジェスト生成部１０３によるダイジェスト生成処理の例について説明する。
【０１２８】
ステップＳ８５において、ダイジェスト生成部１０３は、図７のフローチャートを参照して上述したクロスフェード区間検出処理の処理結果に基づいて、クロスフェード区間検出処理の対象となったコンテンツの回想シーンを特定する。このとき、ダイジェスト生成部１０３は、例えば、クロスフェード区間検出処理の処理結果に基づいて、コンテンツの中のクロスフェード区間を検出する。そして、ダイジェスト生成部１０３は、クロスフェード区間が所定の間隔で予め設定された閾値以上検出された場合、それらのクロフェード区間が含まれる部分を回想シーンであると特定する。
【０１２９】
ステップＳ８６において、ダイジェスト生成部１０３は、ステップＳ８５で特定された回想シーンの中のクロスフェード区間に挟まれたシーンを抽出する。このとき、例えば、図１１のシーンＡ乃至シーンＤが抽出されることになる。
【０１３０】
ステップＳ８７において、ダイジェスト生成部１０３は、ステップＳ８６の処理で抽出されたシーンのそれぞれに類似するシーンを検索するための対象区間を特定する。なお、これに先立って、検索対象のデータがデータ取得部１０１からダイジェスト生成部１０３に供給されているものとする。例えば、図１１に示される回想シーンが連続ドラマの第ｋ回目の放送のコンテンツに含まれるものであった場合、データ取得部１０１は、連続ドラマの第ｋ-1回目の放送のコンテンツのデータを供給するものとされる。勿論、連続ドラマの第ｋ回目の放送のコンテンツのデータを、そのまま検索対象のデータとすることも可能であるが、ここでは、連続ドラマの第ｋ-1回目の放送のコンテンツのデータを、検索対象のデータとする場合の例について説明する。
【０１３１】
ステップＳ８７の処理では、連続ドラマの第ｋ-1回目の放送のコンテンツのデータのうち、実際に検索すべき対象となる時間的区間が特定される。なお、例えば、図１１のシーンＡに類似するシーンを検索する場合、ステップＳ８７では、連続ドラマの第ｋ-1回目の放送のコンテンツのデータの最初のフレームから最後のフレームまでの区間が対象区間として特定される。
【０１３２】
ステップＳ８８において、ダイジェスト生成部１０３は、当該シーン（例えば、シーンＡ）と類似度の高いシーンを、連続ドラマの第ｋ-1回目の放送のコンテンツの中から検索する。なお、ステップＳ８８では、ステップＳ８７の処理で特定された対象区間において、類似度の高いシーンが検索されることになる。
【０１３３】
ステップＳ８９において、ダイジェスト生成部１０３は、ステップＳ８８の処理で検索されたシーンのフレームおよびそのシーンの前後の所定の数のフレームを、ダイジェストデータとして抽出する。なお、前後の所定の数のフレームを含めないようにして、ダイジェストデータが生成されるようにしてもよい。あるいはまた、ステップＳ８８の処理で検索されたシーンおよびそのシーンの前の所定の数のフレームにより、または、検索されたシーンおよびそのシーンの後の所定の数のフレームによりダイジェストデータが生成されるようにしてもよい。
【０１３４】
ステップＳ９０において、ダイジェスト生成部１０３は、全てのシーンを検索したか否かを判定する。いまの場合、まだ、シーンＢ乃至シーンＤに類似するシーンを検索していないので、全てのシーンを検索していないと判定され、処理は、ステップＳ８６に戻ることになる。
【０１３５】
その後、ステップＳ８６の処理において、図１１のシーンＢが抽出される。そして、ステップＳ８７の処理において、シーンＢに類似するシーンを検索するための対象区間が新たに特定される。
【０１３６】
例えば、連続ドラマの第ｋ-1回目の放送のコンテンツが、図１３に示されるように、時刻ｔ０から時刻ｔｎまでの連続するフレームにより構成されるものであるとする。第１回目のステップＳ８６の処理でシーンＡが抽出された場合、ステップＳ８７で特定される対象区間は、時刻ｔ０から時刻ｔｎまでとされる。そして、ステップＳ８８において、時刻ｔ２のフレームから時刻ｔ３のフレームで構成されるシーンＷがシーンＡに類似するシーンとして検索されたものとする。ステップＳ８９では、シーンＷの前の所定の数のフレームとして、時刻ｔ１から時刻ｔ２までのフレームが抽出され、シーンＷの後の所定の数のフレームとして、時刻ｔ３から時刻ｔ４までのフレームが抽出される。そして、時刻ｔ１から時刻ｔ４までのフレームによりダイジェストデータ１が生成されるのである。
【０１３７】
第２回目のステップＳ８６の処理でシーンＢが抽出された場合、ステップＳ８７で特定される対象区間は、時刻ｔ３から時刻ｔｎまでとされる。すなわち、連続ドラマの第ｋ回目の放送のコンテンツの回想シーンに含まれるシーンＡ乃至シーンＤは、第ｋ-1回目の放送のコンテンツにおいて、その順番に出現したシーンであると考えられる。従って、シーンＢに類似するシーンＸは、シーンＡに類似するシーンＷより、時間的に後で出現するはずであるから、第２回目のステップＳ８７で特定される対象区間は、時刻ｔ３から時刻ｔｎまでとされるのである。
【０１３８】
第２回目のステップＳ８８の処理では、時刻ｔ６から時刻ｔ７までのフレームにより構成されるシーンＸがシーンＢに類似するシーンとして検索される。そして、第２回目のステップＳ８９の処理では、シーンＸの前後の所定の数のフレームが、シーンＸを構成するフレームとともに抽出され、時刻ｔ５から時刻ｔ８までのフレームによりダイジェストデータ２が生成されるのである。
【０１３９】
さらに、その後行われる第３回目のステップＳ８６の処理では、シーンＣが抽出され、ステップＳ８７の処理では、時刻ｔ７から時刻ｔｎまでの区間が、対象区間とされることになる。
【０１４０】
このように、シーンＡ乃至シーンＤにそれぞれ類似するシーンＷ乃至シーンＺが検索されてダイジェストデータ１乃至ダイジェストデータ４が生成されるのである。
【０１４１】
なお、シーンＷ乃至シーンＺのみが抽出され、ダイジェストデータ１乃至ダイジェストデータ４が生成されるようにすることも可能である。例えば、ダイジェストデータ１を生成する場合、シーンＷの前後の所定の数のフレームを含めないようにして、時刻ｔ２から時刻ｔ３までのフレームが抽出され、それらのフレームのみによりダイジェストデータ１が生成されるようにしてもよい。ただし、このように、ダイジェストデータを抽出した場合、各ダイジェストデータが合成されて生成されるダイジェストは、連続ドラマの第ｋ回目の放送のコンテンツの回想シーンとほぼ同様のものとなる。
【０１４２】
図１２に戻って、ステップＳ９０において、全てのシーンを検索したと判定された場合、処理は、ステップＳ９１に進む。
【０１４３】
ステップＳ９１において、ダイジェスト生成部１０３は、ダイジェストデータ１乃至ダイジェストデータ４を合成する。すなわち、ダイジェストデータ１乃至ダイジェストデータ４が、順番に再生されるダイジェストが生成されるのである。
【０１４４】
このようにして、ダイジェスト生成処理が実行される。
【０１４５】
従来、コンテンツに含まれる画像、音声、字幕などから重要なシーンを抽出するのは、コンテンツの内容に左右されるため困難であった。例えば、重要でないシーンが誤って抽出されたり、真に重要なシーンが抽出されずにダイジェストが生成されてしまうことがあった。
【０１４６】
これに対して、本発明では、回想シーンを特定し、回想シーンに含まれるシーンと類似するシーンを抽出することでダイジェストを生成するようにしたので、重要なシーンで構成されるダイジェストを、確実に生成することができる。また、上述したように、クロスフェード区間を検出した上で回想シーンが特定されるので、適切に回想シーンを特定することも可能である。
【０１４７】
さらに、従来、コンテンツのデータを解析して類似のシーンの部分を検索する処理には多大な時間がかかっていた。
【０１４８】
これに対して、本発明では、回想シーンに含まれるシーンと類似するシーンが検索される都度、検索対象区間が短くなるようになされているので、検索に要する時間を短縮することが可能である。
【０１４９】
従って、本発明によれば、真に重要なシーンで構成されるダイジェストを、短時間で生成することができるのである。
【０１５０】
以上においては、本発明の目的を主にダイジェストの生成であるものとして説明したが、例えば、本発明が単にクロスフェード区間の検出のために用いられるようにしてもよい。本発明のコンテンツ処理装置１により、クロスフェード区間を特定することにより、例えば、リプレイシーンや回想シーンを特定することが可能であり、所望のシーンを短時間で見つけることも可能である。
【０１５１】
なお、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば図１４に示されるような汎用のパーソナルコンピュータ７００などに、ネットワークや記録媒体からインストールされる。
【０１５２】
図１４において、CPU（Central Processing Unit）７０１は、ROM（Read Only Memory）７０２に記憶されているプログラム、または記憶部７０８からRAM（Random Access Memory）７０３にロードされたプログラムに従って各種の処理を実行する。RAM７０３にはまた、CPU７０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１５３】
CPU７０１、ROM７０２、およびRAM７０３は、バス７０４を介して相互に接続されている。このバス７０４にはまた、入出力インタフェース７０５も接続されている。
【０１５４】
入出力インタフェース７０５には、キーボード、マウスなどよりなる入力部７０６、ＬＣＤ(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部７０７、ハードディスクなどより構成される記憶部７０８、モデム、LANカードなどのネットワークインタフェースカードなどより構成される通信部７０９が接続されている。通信部７０９は、インターネットを含むネットワークを介しての通信処理を行う。
【０１５５】
入出力インタフェース７０５にはまた、必要に応じてドライブ７１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア７１１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部７０８にインストールされる。
【０１５６】
上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、インターネットなどのネットワークや、リムーバブルメディア７１１などからなる記録媒体からインストールされる。
【０１５７】
なお、この記録媒体は、図１４に示される、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フロッピディスク（登録商標）を含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（MD（Mini-Disk）（登録商標）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア７１１により構成されるものだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM７０２や、記憶部７０８に含まれるハードディスクなどで構成されるものも含む。
【０１５８】
なお、本明細書において上述した一連の処理は、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１５９】
また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０１６０】
１ コンテンツ処理装置， ２ ディスプレイ， ３０ 制御部， ３６ 入力部， ４０ ＨＤＤ， ５０ リムーバブルメディア， １０１ データ取得部， １０２ 特定シーン検出部， １０３ ダイジェスト生成部， １２１ 特徴量算出部， １２２ 単調変化画素検出部， １２３ アクティビティ算出部， １２４ クロスフェード判定部， １２５ 区間判定部
【技術分野】
【０００１】
本発明は、コンテンツ処理装置および方法に関し、特に、コンテンツの中の所望のシーンを簡単に抽出できるようにし、また、真に重要なシーンで構成されるダイジェストを、短時間で生成することができるようにするコンテンツ処理装置および方法に関する。
【背景技術】
【０００２】
近年、地上波放送に加えBS放送、CS放送などにおいて多くのコンテンツが放送されている。また、近年、ＨＤＤレコーダなどの普及により長時間録画、タイムシフト再生が一般的になっている。
【０００３】
しかし、これらの映像をすべて観ることは、ユーザの視聴時間は限られているので、非常に困難である。このため、自動的に映像のダイジェストを生成し、いかに効率よく内容を把握するかが問題となっている。このような背景から、コンテンツに含まれる映像、音声、字幕などを解析して重要と思われるシーンのみを抽出し、これら重要なシーンを繋いで再生することでコンテンツ全編を短時間で視聴可能にするダイジェスト生成技術が開発されている（例えば、特許文献１乃至特許文献４参照）。
【０００４】
また、同様のシーンを重複して視聴することを回避するため、所定のコンテンツのシーンについて時間的に遡って同じ映像シーン（映像特徴が同じパターン）の部分を検索する手法も提案されている（例えば、非特許文献１参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０００―２３０６２号公報
【特許文献２】特開２００５―２５２３７２号公報
【特許文献３】特開２００２―３４４８７１号公報
【特許文献４】特開２００５―１１５６０７号公報
【非特許文献１】八杉将伸，馬場口登，北橋忠宏、「カメラワークの比較によるスポーツ映像からの同一イベント検出」、電子情報通信学会講演論文集、Ｖｏｌ．２００１，情報システム２ ｐｐ．３５９−３６０
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１乃至特許文献４のように、コンテンツに含まれる映像、音声、字幕などから重要なシーンを抽出するのは、映像コンテンツの内容に左右されるため困難である。
【０００７】
また、非特許文献１のように、映像を解析して同じ映像シーンの部分を検索する処理には多大な時間がかかる。
【０００８】
本発明はこのような状況に鑑みてなされたものであり、コンテンツの中の所望のシーンを簡単に抽出できるようにし、また、真に重要なシーンで構成されるダイジェストを、短時間で生成することができるようにするものである。
【課題を解決するための手段】
【０００９】
本発明の一側面は、コンテンツのデータを取得するコンテンツデータ取得手段と、前記取得したコンテンツのデータの中で、所定のシーン最後の画像が序々に変化し、次のシーンの画像に置き換えられる部分を構成する複数のフレームからなるクロスフェード区間を検出する区間検出手段と、前記検出されたクロスフェード区間に基づいて、所定の間隔で複数のシーンが入れ替わる回想シーンを特定するシーン特定手段と、前記特定された回想シーンに含まれる前記複数のシーンのそれぞれに類似するシーンを、前記コンテンツデータ取得手段が取得した別のコンテンツのデータから検索する類似シーン検索手段と、前記検索されたシーンを合成して、前記別のコンテンツのダイジェストを生成するダイジェスト生成手段とを備えるコンテンツ処理装置である。
【００１０】
前記区間検出手段は、前記コンテンツのデータの中の処理対象のフレームにおいて値が単調に変化する単調変化画素が占める割合を算出する割合算出手段と、前記処理対象のフレームとそのフレームの前のフレームのアクティビティの比を算出するアクティビティ比算出手段と、前記算出された単調変化画素が占める割合、およびアクティビティの比に基づいて、前記処理対象のフレームが前記クロスフェード区間の候補フレームであるか否かを判定する候補フレーム判定手段と、前記コンテンツのデータの中で連続して出現する前記候補フレームをカウントすることで、前記クロスフェード区間を検出する連続フレームカウント手段とを備えるようにすることができる。
【００１１】
前記割合算出手段は、前記処理対象のフレームを現在のフレームとし、前記現在のフレームの注目画素の値と、過去のフレームおよび未来のフレームにおける前記注目画素に対応するそれぞれの画素の値とを比較することで、前記注目画素が単調変化画素であるか否かを判定し、現在のフレームを構成する全画素のうち、前記単調変化画素であると判定された画素の割合を算出するようにすることができる。
【００１２】
前記注目画素および前記注目画素に対応する画素の値が、時間の経過に伴って大きくなるように変化する場合、または、時間の経過に伴って小さくなるように変化する場合、前記時間の経過に伴う変化量が予め設定された閾値より大きいとき、前記注目画素が前記単調変化画素であると判定されるようにすることができる。
【００１３】
第１のフレームの特徴量と、前記第１のフレームより所定のフレーム数時間的に前に存在する第２のフレームの特徴量との差分の値が、予め設定された閾値以上である場合、前記第１のフレームを前記処理対象のフレームとするようにすることができる。
【００１４】
前記区間検出手段は、前記候補フレームが予め設定された閾値以上連続して出現した場合、前記連続する候補フレームの最初の候補フレームの特徴量と、最後の候補フレームの特徴量との差分の値が予め設定された以上である場合、前記最初の候補フレームから前記最後の候補フレームまでの区間を、前記クロスフェード区間として検出するようにすることができる。
【００１５】
前記シーン特定手段は、前記クロスフェード区間が閾値未満の時間的距離で所定の数以上連続して検出された場合、前記連続するクロスフェード区間の最初のクロスフェード区間から最後のクロスフェード区間までの部分を、前記回想シーンであると特定するようにすることができる。
【００１６】
前記類似シーン検索手段は、前記特定された回想シーンの中で前記クロスフェード区間により挟まれた部分に対応するシーンのそれぞれに類似するシーンを前記別のコンテンツのデータから検索し、前記ダイジェスト生成手段は、前記検索されたそれぞれのシーンの前後に連続する所定の数のフレームを付加したデータを合成して前記ダイジェストを生成するようにすることができる。
【００１７】
前記検索手段は、前記特定された回想シーンの中で前記クロスフェード区間により挟まれた部分に対応するシーンであって、時間的に最も前に位置する第１のシーンに類似する第２のシーンを、前記別のコンテンツのデータから検索し、前記特定された回想シーンの中で前記クロスフェード区間により挟まれた部分に対応するシーンであって、前記第１のシーンより時間的後の第３のシーンに類似する第４のシーンを、前記別のコンテンツのデータのうち、前記第２のシーンより時間的に後の部分から検索するようにすることができる。
【００１８】
本発明の一側面は、コンテンツのデータを取得し、前記取得したコンテンツのデータの中で、所定のシーン最後の画像が序々に変化し、次のシーンの画像に置き換えられる部分を構成する複数のフレームからなるクロスフェード区間を検出し、前記検出されたクロスフェード区間に基づいて、所定の間隔で複数のシーンが入れ替わる回想シーンを特定し、前記特定された回想シーンに含まれる前記複数のシーンのそれぞれに類似するシーンを、別のコンテンツのデータから検索し、前記検索されたシーンを合成して、前記別のコンテンツのダイジェストを生成するステップを含むコンテンツ処理方法である。
【００１９】
本発明の一側面においては、コンテンツのデータが取得され、前記取得されたコンテンツのデータの中で、所定のシーン最後の画像が序々に変化し、次のシーンの画像に置き換えられる部分を構成する複数のフレームからなるクロスフェード区間が検出され、前記検出されたクロスフェード区間に基づいて、所定の間隔で複数のシーンが入れ替わる回想シーンが特定され、前記特定された回想シーンに含まれる前記複数のシーンのそれぞれに類似するシーンが、別のコンテンツのデータから検索され、前記検索されたシーンを合成して、前記別のコンテンツのダイジェストが生成される。
【発明の効果】
【００２０】
本発明によれば、コンテンツの中の所望のシーンを簡単に抽出できるようにし、また、真に重要なシーンで構成されるダイジェストを、短時間で生成することができる。
【図面の簡単な説明】
【００２１】
【図１】本発明の一実施の形態に係るコンテンツ処理装置の例を示す図である。
【図２】図１のコンテンツ処理装置の構成例を示すブロック図である。
【図３】図２の制御部において実行されるソフトウェアの機能的構成例を示すブロック図である。
【図４】図３の特定シーン検出部の詳細な構成例を示すブロック図である。
【図５】図４の単調変化画素検出部の処理を説明する図である。
【図６】図４の区間判定部の処理を説明する図である。
【図７】クロスフェード区間検出処理の例を説明するフローチャートである。
【図８】候補フレーム抽出処理の例を説明するフローチャートである。
【図９】フレーム判定処理の例を説明するフローチャートである。
【図１０】スポーツ番組のコンテンツにおけるリプレイシーンの例を説明する図である。
【図１１】連続ドラマなどのコンテンツにおける回想シーンの例を説明する図である。
【図１２】ダイジェスト生成処理の例を説明するフローチャートである。
【図１３】図３のダイジェスト生成部の処理を説明する図である。
【図１４】パーソナルコンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００２２】
以下、図面を参照して、本発明の実施の形態について説明する。
【００２３】
図１は、本発明の一実施の形態に係るコンテンツ処理装置の例を示す図である。同図に示されるコンテンツ処理装置１は、例えば、ＨＤＤ（Hard Disc Drive）レコーダとして構成され、テレビジョン受像機などとして構成されるディスプレイ２に接続されている。
【００２４】
図２は、図１のコンテンツ処理装置１の構成例を示すブロック図である。
【００２５】
コンテンツ処理装置１は、例えば、ユーザによって設定された録画の予約に従ってテレビジョン放送の番組を録画するようになされている。コンテンツ処理装置１は、膨大な記憶容量を備えるＨＤＤ４０に数多くのコンテンツを記録することができる。
【００２６】
また、コンテンツ処理装置１は、CPU（Central Processing Unit）３１、ROM（Read Only Memory）３２、およびRAM（Random Access Memory）３３からなる制御部３０を備えている。制御部３０は、コンテンツ処理装置１全体の動作を制御するメインコントローラであり、例えば、プログラムなどのソフトウェアを実行することなどにより、コンテンツ処理装置１に所定の処理を行わせる。
【００２７】
グラフィック処理コントローラ３４は、DSP（Digital Signal Processor）または汎用のGPU（Graphics Processing Unit）などにより構成され、画像データを生成する。また、グラフィック処理コントローラ３４は、例えば、ユーザが各種の設定を入力することができるGUI(Graphical User Interface)の画像を生成する。
【００２８】
入力制御部３５は、例えば、ボタン、スイッチ、またはキーボードなどよりなる入力部３６がユーザに操作されることによって得られるユーザの操作に対応する入力信号、すなわちユーザの指示を示す入力信号（操作情報）を、バス４７を介してCPU３１に供給する。また、入力制御部３５は、図示せぬリモートコントローラから送信されるユーザの操作に対応する赤外線信号を、受光部である入力部３６に受信させ、電気信号に変換してCPU３１に供給する。
【００２９】
ＨＤＤ Ｉ／Ｆ３９は、制御部３０の制御に基づいて、ＨＤＤ４０のデータへのアクセスを制御する。
【００３０】
ＨＤＤ４０は、プログラムやコンテンツを含む各種のデータなどを所定のフォーマットのファイル形式で蓄積することができる、ランダムアクセスが可能な記録装置である。ＨＤＤ４０は、ＨＤＤ Ｉ／Ｆ３９を介してバス４７に接続されており、デコーダ４３から、番組であるコンテンツおよびEPGデータなどの各種のデータが供給されると、これらのデータを記録するとともに、読み出しが要求されると、記録しているデータを出力する。
【００３１】
なお、制御部３０は、例えば、バス４７を介して、入力制御部３５から供給された入力信号（操作情報）に基づいて、ＨＤＤ Ｉ／Ｆ３９、ＨＤＤ４０、チューナ４１、復調部４２、およびデコーダ４３などを制御し、コンテンツの記録または再生を実行する。
【００３２】
また、図示せぬアンテナで受信された放送波は、チューナ４１に供給される。放送波は、所定のフォーマットに基づいており、例えば、EPGデータを含んでいる。放送波は、衛星放送波、地上波を問わず、さらに有線または無線などの任意の通信路を介して伝送される。
【００３３】
チューナ４１は、例えば、制御部３０の制御に基づいて、所定のチャンネルの放送波のチューニング、すなわち、選局を行い、受信データを復調部４２に出力する。
【００３４】
復調部４２は、デジタル変調されている受信データを復調し、デコーダ４３に出力する。
【００３５】
例えば、デジタル衛星放送の場合、チューナ４１により受信され、復調部４２により復調されたデジタルデータは、MPEG2（Moving Picture Experts Group 2）方式で圧縮されたAVデータ、およびデータ放送用のデータが多重化されているトランスポートストリームである。前者のAVデータは、放送番組本体を構成する画像データおよび音声データであり、後者のデータ放送用のデータは、この放送番組本体に付随するデータ（例えば、EPGデータ）を含むものである。
【００３６】
デコーダ４３は、復調部４２より供給されたトランスポートストリームを、MPEG2方式で圧縮されたAVデータとデータ放送用のデータ（例えば、EPGデータ）とに分離する。分離されたデータ放送用のデータは、バス４７およびＨＤＤ Ｉ／Ｆ３９を介してＨＤＤ４０に供給され、記録される。
【００３７】
デコーダ４３は、受信した番組（コンテンツ）の視聴が要求されている場合、AVデータを、圧縮されている画像データと圧縮されている音声データとにさらに分離する。分離された音声データは、PCM（Pulse Code Modulation）のデータにデコード（復号）された後、ミキサ４５を介してスピーカ１３に出力される。また、分離された画像データは、デコードされた後、コンポーザ４６を介してディスプレイ２に供給される。
【００３８】
また、デコーダ４３は、受信した番組（コンテンツ）をＨＤＤ４０に記録することが指示されている場合、分離する前のAVデータ（多重化されている画像データと音声データからなるAVデータ）を、バス４７およびＨＤＤ Ｉ／Ｆ３９を介してＨＤＤ４０に出力する。さらに、ＨＤＤ４０に記録されている番組の再生が指示されている場合、デコーダ４３は、バス４７およびＨＤＤ Ｉ／Ｆ３９を介して、ＨＤＤ４０からAVデータの入力を受け、圧縮されている画像データと圧縮されている音声データとに分離する。そして、圧縮されている画像データおよび圧縮されている音声データをそれぞれ復号し、復号された画像データおよび音声データをそれぞれミキサ４５およびコンポーザ４６に供給する。
【００３９】
ミキサ４５は、必要に応じて、デコーダ４３より供給された音声データと、ＨＤＤ４０に記録されている音声データとを合成して、合成された音声データをディスプレイ２のスピーカなどに供給する。
【００４０】
コンポーザ４６は、必要に応じて、デコーダ４３より供給された画像データと、グラフィック処理コントローラ３４から供給された画像データとを合成して、合成された画像データをディスプレイ２に供給する。
【００４１】
なお、コンテンツ処理装置１がインターネットなどのネットワークに接続され、インターネットを介して配信されるコンテンツを記録するように構成することも可能である。また、コンテンツは、ＨＤＤ４０に記録されると説明したが、ドライブ４９に装着されたリムーバブルメディア５０（例えば、DVD（Digital Versatile Disc）など）にコンテンツを記録するようにしてもよい。
【００４２】
コンテンツ処理装置１は、記録されたコンテンツのデータを解析し、例えば、回想シーン、リプレイシーンなどの特定シーンが含まれる区間を検出することができるようになされている。ここで、回想シーンは、例えば、連続ドラマなどの冒頭に含まれる前回までのあらすじを説明するためのシーンとされる。また、リプレイシーンは、例えば、プロ野球ゲームの中継など、スポーツ番組において、注目すべきファインプレイなどを再生するシーンとされる。
【００４３】
また、コンテンツ処理装置１は、検出された区間のシーンと類似するシーンを、記録されたコンテンツのデータから検索し、検索されたシーンを合成してダイジェストを生成することができるようになされている。ここで、ダイジェストは、コンテンツに含まれるシーンのうち、重要と思われるシーンのみを抽出し、これら重要なシーンを繋いで再生することでコンテンツ全編を短時間で視聴可能にするようにするものである。
【００４４】
図３は、図２の制御部３０において実行されるソフトウェアの機能的構成例を示すブロック図である。
【００４５】
データ取得部１０１は、例えば、特定シーンが含まれる区間を検出すべきコンテンツのデータ、またはダイジェストを生成すべきコンテンツのデータをＨＤＤ４０から読み出して取得するようになされている。
【００４６】
特定シーン検出部１０２は、後述するように、データ取得部１０１から供給されるコンテンツのデータを解析し、回想シーン、リプレイシーンなどを特定するための特徴的な区間であって、後述するクロスフェード区間を検出するようになされている。
【００４７】
ダイジェスト生成部１０３は、特定シーン検出部１０２により検出されたクロスフェード区間に基づいて回想シーン、リプレイシーンなどを特定する。また、ダイジェスト生成部１０３は、例えば、回想シーンに含まれる複数のシーンのそれぞれと類似するシーンを、データ取得部１０１から供給されるコンテンツのデータから検索するようになされている。そして、ダイジェスト生成部１０３は、検索されたシーンを合成してダイジェストを生成するようになされている。
【００４８】
図４は、図３の特定シーン検出部１０２の詳細な構成例を示すブロック図である。特定シーン検出部１０２は、回想シーン、リプレイシーンなどを特定するために、クロスフェードを検出するようになされている。ここで、クロスフェードは、例えば、所定のシーン最後の画像が序々に変化し、次のシーンの画像に置き換えられる部分を構成する複数のフレームとされる。通常のコンテンツにおいては、回想シーン、リプレイシーンの前後には、クロスフェードが挿入されていることが多ので、特定シーン検出部１０２は、クロスフェードを検出することにより、回想シーン、リプレイシーンなどを特定できるようにする。
【００４９】
図４の特徴量算出部１２１は、所定のフレームの画像の特徴量を算出する。特徴量算出部１２１は、例えば、画像の特徴量として画素の輝度値のヒストグラムを算出する。特徴量算出部１２１は、処理対象のフレームを現在のフレームとし、処理対象のフレームよりｎフレーム前の過去のフレームを抽出し、過去のフレームの画素の輝度値のヒストグラムを算出する。そして、特徴量算出部１２１は、現在のフレームと過去のフレームのヒストグラムの各要素の差分絶対値和を演算し、得られた差分絶対値和の値が予め設定された閾値以上であるか否かを判定する。特徴量算出部１２１は、差分絶対値和の値が予め設定された閾値以上である場合、そのフレームについて単調変化画素検出部１２２、およびアクティビティ算出部１２３の処理を行わせるようになされている。
【００５０】
すなわち、過去のフレームとの間で、画像の変化の度合いが小さい場合（例えば、ヒストグラムの各要素の差分絶対値和の値が小さい場合）、そのフレームがクロスフェードのフレームである可能性は低い。そこで、特徴量算出部１２１が、過去のフレームとの間で画像の変化の度合いが大きいフレームのみを選択するのである。
【００５１】
単調変化画素検出部１２２は、指定（選択）されたフレームを構成する画素のそれぞれが単調に変化する画素であるか否かを判定するようになされている。単調変化画素検出部１２２は、指定されたフレームである現在のフレームより時間的に前に再生される過去のフレームと、現在のフレームより時間的に前に再生される未来のフレームとを抽出する。ここでの過去のフレームと未来のフレームは、それぞれ現在のフレームから所定のフレーム離れたフレームとしてもよいし、現在のフレームと連続するフレームとされてもよい。
【００５２】
単調変化画素検出部１２２は、過去のフレーム、現在のフレーム、未来のフレームの各フレームにおいて、同一の座標位置の画素を１つずつ抽出し、過去のフレームの画素ｖ１の値、過去のフレームの画素ｖ２の値、未来のフレームの画素ｖ３の値を比較する。
【００５３】
例えば、図５に示されるように、動画像としてのコンテンツを構成する複数のフレームの第ｎ番目のフレーム２０１を処理対象のフレームであり現在のフレームとする。そして、第ｎ−１番目のフレーム２０２を過去のフレームとし、第ｎ＋１番目のフレームを未来のフレーム２０３とする。例えば、現在のフレーム２０１における座標位置（x,y）の画素を注目画素として設定し、その画素と同一の座標位置の画素をそれぞれフレーム２０２とフレーム２０３から抽出する。フレーム２０１の注目画素の値をv2とし、フレーム２０２の座標位置（x,y）の画素の値をv1とし、フレーム２０３の座標位置（x,y）の画素の値をv3とする。
【００５４】
上述したように、単調変化画素検出部１２２は、注目画素が単調に変化する画素であるか否かを判定する。ここで、注目画素が単調に変化する画素でるか否かを判定するための関数であって、注目画素と、それに対応する過去のフレームの画素および未来のフレームの画素のそれぞれの値を変数とする関数monoを次のように定義する。
【００５５】
上述した画素の値v1乃至v3が式（１）または式（２）を満たすものである場合、関数monoは、式（３）により表される。
【００５６】
【数１】
【数２】
【数３】
【００５７】
上述した画素の値v1乃至v3が式（１）または式（２）を満たすものでない場合、関数monoは、式（４）により表される。
【００５８】
【数４】
【００５９】
なお、式（１）、式（２）におけるTHは、予め設定された閾値を表すものとする。
【００６０】
すなわち、注目画素およびそれに対応する画素の値が、過去から未来に向かって序々に大きくなるように変化していくものであり、かつその値の変化が閾値より大きいものである場合、画素の値v1乃至v3が式（１）を満たす。また、注目画素およびそれに対応する画素の値が、過去から未来に向かって序々に小さくなるように変化していくものであり、かつその値の変化が閾値より大きいものである場合、画素の値v1乃至v3が式（２）を満たす。このような場合、注目画素が単調に変化する画素と判定され、関数monoの演算結果は１となる。一方、このような条件に合致しない注目画素は、単調に変化する画素ではないと判定され、関数monoの演算結果は０となる。
【００６１】
単調変化画素検出部１２２は、フレーム２０１を構成する全ての画素について、上述したように単調に変化する画素であるか否かを判定し、さらに、フレーム２０１の全ての画素の中で単調に変化する画素が占める割合を計算する。第ｎ番目のフレームにおける単調に変化する画素の割合dissnは、式（５）により計算できる。
【００６２】
【数５】
【００６３】
なお、式（５）におけるＷはフレームの画像の横方向の画素数を表し、Ｈはフレームの画像の縦方向の画素数を表す。また、式（５）においてｆn（x,y）は第ｎ番目のフレームにおける座標位置（x,y）の画素の値を表す。同様に、ｆn-1（x,y）は第ｎ−１番目のフレームにおける座標位置（x,y）の画素の値を表し、ｆn+1（x,y）は第ｎ＋１番目のフレームにおける座標位置（x,y）の画素の値を表す。
【００６４】
図４に戻って、アクティビティ算出部１２３は、特徴量算出部１２１により指定（選択）されたフレームの画素の値の分散の度合いを表すアクティビティを算出するようになされている。第ｎ番目のフレームのアクティビティactnは、式（６）および式（７）により算出することができる。
【００６５】
【数６】
【数７】
【００６６】
アクティビティ算出部１２３は、同様にして第ｎ−１番目のフレームのアクティビティactn-1も算出し、第ｎ番目のフレームのアクティビティと第ｎ−１番目のフレームのアクティビティの比を次のようにして算出する。
【００６７】
アクティビティactnとアクティビティactn-1が式（８）の関係を満たすものである場合、第ｎ番目のフレームのアクティビティと第ｎ−１番目のフレームのアクティビティの比act_rnは、式（９）により表される。
【００６８】
【数８】
【数９】
【００６９】
一方、アクティビティactnとアクティビティactn-1が式（８）の関係を満たすものでない場合、第ｎ番目のフレームのアクティビティと第ｎ−１番目のフレームのアクティビティの比act_rnは、式（１０）により表される。
【００７０】
【数１０】
【００７１】
このようにして、単調変化画素検出部１２２は、特徴量算出部１２１により指定されたフレームの全ての画素における単調に変化する画素の割合を計算するのである。また、アクティビティ算出部１２３は、特徴量算出部１２１により指定されたフレームとそのフレームの前のフレームのアクティビティの比を算出するのである。
【００７２】
クロスフェード判定部１２４は、単調変化画素検出部１２２により計算された、単調に変化する画素の割合と、アクティビティ算出部１２３により計算されたアクティビティの比に基づいて、当該フレームがクロスフェードのフレームであるか否かを判定する。クロスフェード判定部１２４は、当該フレームがクロスフェードのフレームであるか否かを判定するための変数FADEの値を式（１１）により演算する。
【００７３】
【数１１】
【００７４】
なお、式（１１）において、ＡＣＴ＿Ｃは定数とされる。
【００７５】
クロスフェード判定部１２４は、変数FADEの値が予め設定された閾値より大きい場合、当該フレームは、クロスフェードの候補フレームであると判定する。また、クロスフェード判定部１２４は、変数FADEの値が予め設定された閾値以下である場合、当該フレームは、クロスフェードの候補フレームではないと判定する。
【００７６】
ここまでの処理により、例えば、１つのコンテンツの全てのフレームの中から、クロスフェードの候補フレームとなるフレームが検出されることになる。例えば、図６に示されるように、コンテンツのフレームの中から、各矢印で示される位置においてクロスフェードの候補フレームが検出される。図６の例では、矢印２２１乃至矢印２２８によりコンテンツの動画像における時間的位置が示されており、矢印２２１乃至矢印２２８により示される位置においてクロスフェードの候補フレームとなるフレームが検出されたものとする。
【００７７】
図４に戻って、区間判定部１２５は、クロスフェード判定部１２４により候補フレームであると判定されたフレームを検出し、候補フレームがいくつ連続するかをカウントする。そして、区間判定部１２５は、候補フレームが予め設定された閾値以上連続する場合、その連続するフレームのうち、最初のフレームと最後のフレームの画像について特徴量の差分を演算する。区間判定部１２５は、例えば、画像の特徴量として画素の輝度値のヒストグラムを特徴量として算出し、最初のフレームと最後のフレームのヒストグラムの各要素の差分絶対値和を演算する。そして、区間判定部１２５は、最初のフレームと最後のフレームのヒストグラムの各要素の差分絶対値和が予め設定された閾値以上である場合、これら連続する候補フレームにより構成される区間をクロスフェード区間であると判定するようになされている。
【００７８】
例えば、上述した閾値を５であるとし、区間判定部１２５による判定の処理を、図６を参照して説明する。区間判定部１２５は、矢印２２１で示される位置の候補フレームを検出するが、連続する候補フレームがないので、ここではクロスフェード区間であると判定しない。また、区間判定部１２５は、矢印２２２と矢印２２３で示される位置の候補フレームを検出するが、連続する候補フレームが２なので、やはりクロスフェード区間であると判定しない。さらに、区間判定部１２５は、矢印２２４乃至矢印２２８で示される位置の候補フレームを検出する。例えば、矢印２２４の位置のフレームが第ｐ番目のフレームである場合、矢印２２５の位置のフレームは第ｐ＋１番目のフレーム、矢印２２６の位置のフレームは第ｐ＋２番目のフレーム、・・・矢印２２８の位置のフレームは第ｐ＋４番目のフレームであるとする。すなわち、矢印２２４乃至矢印２２８で示される位置の候補フレームは連続する５個のフレームであるものとする。
【００７９】
いまの場合、連続する候補フレームが５なので、矢印２２４で示される位置のフレームと、矢印２２８で示される位置のフレームの特徴量の差分（例えば、ヒストグラムの差分絶対値和）が演算される。そして、特徴量の差分が閾値以上であれば、矢印２２４で示される位置のフレームから矢印２２８で示される位置のフレームまでにより構成される区間を、クロスフェード区間であると判定する。
【００８０】
このようにして、クロスフェード区間が特定されるのである。
【００８１】
次に、図７乃至図９のフローチャートを参照して、特定シーン検出部１０２によるクロスフェード区間検出処理の例について説明する。
【００８２】
ステップＳ２１において、特定シーン検出部１０２は、クロスフェード区間を検出すべき対象データを特定する。例えば、１つのコンテンツのデータ、または、１つのコンテンツのデータのうち、ユーザにより指定された区間のデータなどが、検索すべき対象データとして特定される。
【００８３】
ステップＳ２２において、特定シーン検出部１０２は、ステップＳ２１で特定された対象データについて、図８を参照して後述する候補フレーム抽出処理を実行する。ここで、図８のフローチャートを参照して、図７のステップＳ２２の候補フレーム抽出処理の詳細な例について説明する。
【００８４】
図８のステップＳ４１において、図４の特徴量算出部１２１は、処理対象のフレームを現在のフレームとし、例えば、処理対象のフレームよりｎフレーム前の過去のフレームを抽出する。
【００８５】
ステップＳ４２において、特徴量算出部１２１は、現在のフレームと過去のフレームのの画素の輝度値のヒストグラムを算出する。そして、特徴量算出部１２１は、例えば、現在のフレームと過去のフレームのヒストグラムの各要素の差分絶対値和を、現在のフレームと過去のフレームの差分として求める。
【００８６】
ステップＳ４３において、特徴量算出部１２１は、ステップＳ４２の処理で得られた差分が予め設定された閾値以上であるか否かを判定する。差分が予め設定された閾値以上である場合、処理は、ステップＳ４４に進む。一方、差分が閾値未満である場合、ステップＳ４４の処理はスキップされる。
【００８７】
ステップＳ４４において、単調変化画素検出部１２２、アクティビティ算出部１２３、およびクロスフェード判定部１２４は、図９を参照して後述するフレーム判定処理を実行する。ここで、図９のフローチャートを参照して、図８のステップＳ４４のフレーム判定処理の詳細な例について説明する。
【００８８】
ステップＳ６１において、単調変化画素検出部１２２は、処理対象のフレームの全ての画素の中で単調に変化する画素が占める割合を計算する。
【００８９】
このとき上述したように、式（１）乃至式（４）により、フレームの画素のそれぞれが、単調に変化する画素であるか否かが判定される。そして、式（５）により、そのフレームにおける単調に変化する画素の割合が計算される。
【００９０】
ステップＳ６２において、処理対象のフレームとそのフレームの前のフレームのアクティビティの比を算出する。
【００９１】
このとき上述したように、式（６）および式（７）によりフレームの画素の値の分散の度合いを表すアクティビティが算出される。そして、式（８）乃至式（１０）により、処理対象のフレームのアクティビティと、そのフレームの前のフレームのアクティビティの比が算出される。
【００９２】
ステップＳ６３において、クロスフェード判定部１２４は、ステップＳ６１の処理で計算された単調に変化する画素の割合と、ステップＳ６２の処理で計算されたアクティビティの比に基づいて、変数FADEを算出する。上述したように、変数FADEは、当該フレームがクロスフェードのフレームであるか否かを判定するための変数とされ、式（１１）により演算される。
【００９３】
ステップＳ６４において、クロスフェード判定部１２４は、ステップＳ６３で算出された変数FADEの値が予め設定された閾値より大きいか否かを判定する。
【００９４】
ステップＳ６４において、変数FADEの値が予め設定された閾値より大きいと判定された場合、処理は、ステップＳ６５に進み、クロスフェード判定部１２４は、当該処理対象のフレームを候補フレームとする。
【００９５】
一方、ステップＳ６４において、変数FADEの値が予め設定された閾値以下であると判定された場合、ステップＳ６５の処理はスキップされる。
【００９６】
このようにして、フレーム判定処理が実行され、当該フレームがクロスフェードの候補フレームであるか否かが判定されることになる。
【００９７】
図８に戻って、ステップＳ４４の処理の後、処理は、ステップＳ４５に進み、全てのフレームについてステップＳ４１乃至ステップＳ４４の処理が実行されたか否かが判定される。まだ、全てのフレームについて処理が実行されていないと判定された場合、処理は、ステップＳ４６に進み、次のフレームが、現在のフレームとされて、ステップＳ４１乃至ステップＳ４５の処理が繰り返し実行される。
【００９８】
ステップＳ４６において、全てのフレームについて処理が実行されたと判定された場合、候補フレーム抽出処理は終了する。これにより、ステップＳ２１において特定された対象データに含まれる全てのフレームのそれぞれについて、候補フレームであるか否かが判定されたことになる。
【００９９】
図７に戻って、ステップＳ２２の処理の後、処理は、ステップＳ２３に進む。
【０１００】
ステップＳ２３において、区間判定部１２５は、ステップＳ２２の処理で候補フレームであると判定されたフレームを検出し、候補フレームがいくつ連続するかをカウントする。
【０１０１】
ステップＳ２４において、区間判定部１２５は、候補フレームが予め設定された閾値以上連続するか否かを判定する。ステップＳ２４において、候補フレームが予め設定された閾値以上連続すると判定された場合、処理は、ステップＳ２５に進む。
【０１０２】
ステップＳ２５において、区間判定部１２５は、その連続するフレームのうち、最初のフレームと最後のフレームの画像について特徴量の差分を演算する。ここで、区間判定部１２５は、例えば、画像の特徴量として画素の輝度値のヒストグラムを算出し、最初のフレームと最後のフレームのヒストグラムの各要素の差分絶対値和を演算する。
【０１０３】
ステップＳ２６において、区間判定部１２５は、ステップＳ２５の処理で求められた差分が閾値以上であるか否かを判定する。ステップＳ２６において、差分は閾値以上であると判定された場合、処理は、ステップＳ２７に進む。
【０１０４】
ステップＳ２７において、区間判定部１２５は、これら連続する候補フレームにより構成される区間をクロスフェード区間であると判定する。
【０１０５】
このとき、例えば、図６を参照して上述したように、クロスフェード区間であるか否かが判定される。
【０１０６】
一方、ステップＳ２６において、ステップＳ２５の処理で求められた差分が閾値未満であると判定された場合、ステップＳ２７の処理はスキップされる。また、ステップＳ２４において、候補フレームが予め設定された閾値以上連続しないと判定された場合、ステップＳ２５乃至ステップＳ２７の処理はスキップされる。
【０１０７】
ステップＳ２７の処理の後、または、ステップＳ２６において、差分が閾値未満であると判定された場合、若しくはステップＳ２４において、閾値以上連続しないと判定された場合、処理は、ステップＳ２８に進む。
【０１０８】
ステップＳ２８において、次のフレームがあるか否かが判定され、まだ次のフレームがあると判定された場合、処理は、ステップＳ２３に戻り、それ以降の処理が繰り返し実行される。一方、ステップＳ２８において、次のフレームがないと判定された場合、処理は終了する。
【０１０９】
このようにして、クロスフェード区間検出処理が実行される。このようにすることで、コンテンツの中の重要な意味をもつシーンを特定するための区間であるクロスフェード区間を簡単に検出することが可能となる。
【０１１０】
コンテンツにおいて、クロスフェード区間が特定されることにより、例えば、スポーツ番組のコンテンツにおけるリプレイシーン、連続ドラマのコンテンツにおける回想シーンなどを特定することも可能となる。
【０１１１】
図１０は、スポーツ番組のコンテンツにおけるリプレイシーンの例を説明する図である。同図においては、横軸が時間として表されており、図中「ＣＦ」と表示された部分がクロスフェード区間であることを表している。同図に示されるように、リプレイシーンは、クロスフェード区間により挟まれたシーンである場合が多い。
【０１１２】
図１０に示されるコンテンツが、例えば、プロ野球ゲームの中継番組のコンテンツである場合、リプレイシーンは、注目すべきファインプレイなどを再生するシーンとされ、通常シーンは、それ以外のシーンとされる。
【０１１３】
図１１は、連続ドラマのコンテンツにおける回想シーンの例を説明する図である。同図においては、横軸が時間として表されており、図中「ＣＦ」と表示された部分がクロスフェード区間であることを表している。同図に示されるように、回想シーンは、クロスフェード区間により挟まれたシーンであるシーンＡ乃至シーンＤにより構成されている。このように、回想シーンは、コンテンツにおいて、複数のクロスフェード区間が短期間に繰り返し出現する部分であることが多い。
【０１１４】
図１１に示されるコンテンツが、例えば、連続ドラマの第２回目のコンテンツである場合、シーンＡ乃至シーンＤは、それぞれこの連続ドラマの前回（第１回目）に含まれていた場面（シーン）とされ、通常場面は、それ以外の場面とされる。
【０１１５】
本発明においては、ダイジェストを生成する際に、例えば、図１１に示されるような回想シーンが検出されるようになされている。そして、回想シーンに含まれるシーン（例えば、図１１のシーンＡ乃至シーンＤ）のそれぞれと類似するシーンを、記録されたコンテンツのデータから検索し、検索されたシーンを合成してダイジェストを生成することができるようになされている。このようなダイジェストの生成は、図３のダイジェスト生成部１０３により行なわれる。
【０１１６】
ダイジェスト生成部１０３は、コンテンツの中の回想シーンを、例えば、次のようにして特定する。特定シーン検出部１０２によって図７を参照して上述した処理が実行されることにより、コンテンツの中でのクロスフェード区間が特定されるので、ダイジェスト生成部１０３は、特定シーン検出部１０２の処理結果に基づいてクロスフェード区間を検出する。そして、ダイジェスト生成部１０３は、クロスフェード区間が所定の間隔で予め設定された閾値以上検出された場合、それらのクロフェード区間が含まれる部分を回想シーンであると特定する。
【０１１７】
例えば、図１１の場合、ダイジェスト生成部１０３は、クロスフェード区間２４１とクロスフェード区間２４２との間の距離（例えば、時間的距離）を求める。例えば、クロスフェード区間２４１の最後のフレームと、クロスフェード区間２４１の最初のフレームとの間に存在するフレームの数をカウントすることにより、クロスフェード区間２４１とクロスフェード区間２４２との間の距離が求められる。クロスフェード区間２４１とクロスフェード区間２４２との間の距離が予め設定された閾値未満であった場合、クロスフェード区間２４２とクロスフェード区間２４３との間の距離が同様に求められる。さらに、クロスフェード区間２４２とクロスフェード区間２４３との間の距離が予め設定された閾値未満であった場合、クロスフェード区間２４３とクロスフェード区間２４４との間の距離が同様に求められる。
【０１１８】
このように、ダイジェスト生成部１０３は、距離が閾値未満となるクロスフェード区間がいくつ連続しているかをカウントする。図１１の例において、クロスフェード区間２４１乃至クロスフェード区間２４５は、それぞれの間の距離が全て閾値未満であったものとすると、この場合、距離が閾値未満となるクロスフェード区間が５個連続して検出されることになる。
【０１１９】
例えば、回想シーンであるか否かを判定するための閾値が３である場合、図１１の例では、距離が閾値未満となるクロスフェード区間が５個連続しているので、ダイジェスト生成部１０３は、これらのクロスフェード区間が含まれる部分を回想シーンであると特定する。すなわち、クロスフェード区間２４１の最初のフレームからクロスフェード区間２４５の最後のフレームまでの部分が、このコンテンツにおける回想シーンであると特定されるのである。
【０１２０】
回想シーンが特定された場合、ダイジェスト生成部１０３は、例えば、図１１の回想シーンに含まれるシーンＡ乃至シーンＤを特定する。すなわち、回想シーンと特定された部分の中において、検出されたクロスフェード区間のそれぞれに挟まれたフレームにより構成される部分が回想シーンに含まれるシーンであると特定される。
【０１２１】
ダイジェスト生成部１０３は、シーンＡ乃至シーンＤのそれぞれに類似するシーンを、データ取得部１０１から供給されるデータの中から検索する。類似するシーンの検索は、例えば、「八杉将伸，馬場口登，北橋忠宏、「カメラワークの比較によるスポーツ映像からの同一イベント検出」、電子情報通信学会講演論文集、Ｖｏｌ．２００１，情報システム２ ｐｐ．３５９−３６０」などに記載された方式により行なうことが可能である。あるいはまた、シーンに含まれるフレームの画像のそれぞれについて特徴量の差分を演算することなどによりシーンの類似度を求め、その類似度に基づいて、シーンＡ乃至シーンＤのそれぞれに類似するシーンが検索されるようにしてもよい。
【０１２２】
例えば、図１１に示される回想シーンが連続ドラマの第ｋ回目の放送のコンテンツであった場合、データ取得部１０１は、連続ドラマの第ｋ-1回目の放送のコンテンツのデータをダイジェスト生成部１０３に供給するようになされている。なお、データ取得部１０１からダイジェスト生成部１０３に供給されるデータが、ユーザにより指定されるようにしてもよい。そして、ダイジェスト生成部１０３は、連続ドラマの第ｋ-1回目の放送のコンテンツのダイジェストを生成するのである。
【０１２３】
すなわち、ダイジェスト生成部１０３は、連続ドラマの第ｋ-1回目の放送のコンテンツの中からそれぞれシーンＡ乃至シーンＤに類似するシーンＷ乃至シーンＺを検索する。そして、連続ドラマの第ｋ-1回目の放送のコンテンツの中からシーンＷのフレームとともに、例えば、シーンＷの最初のフレームより前に時間的に連続する３００個のフレームと、シーンＷの最後のフレームより後に時間的に連続する３００個のフレームとを抽出する。さらに、ダイジェスト生成部１０３は、上述のように抽出されたフレームからなるダイジェストデータ１を生成する。
【０１２４】
同様に、ダイジェスト生成部１０３は、連続ドラマの第ｋ-1回目の放送のコンテンツの中からシーンＸのフレームとともに、例えば、シーンＸの最初のフレームより前に時間的に連続する３００個のフレームと、シーンＸの最後のフレームより後に時間的に連続する３００個のフレームとを抽出する。これにより、ダイジェストデータ２が生成される。
【０１２５】
同様の処理を、シーンＹおよびシーンＺについても行うことにより、ダイジェストデータ３とダイジェストデータ４が生成される。
【０１２６】
ダイジェスト生成部１０３は、ダイジェストデータ１乃至ダイジェストデータ４を合成してダイジェストを生成するようになされている。すなわち、ダイジェストデータ１乃至ダイジェストデータ４が連続して再生されるものが、連続ドラマの第ｋ-1回目の放送のコンテンツのダイジェストとして生成されるのである。
【０１２７】
次に、図１２のフローチャートを参照して、ダイジェスト生成部１０３によるダイジェスト生成処理の例について説明する。
【０１２８】
ステップＳ８５において、ダイジェスト生成部１０３は、図７のフローチャートを参照して上述したクロスフェード区間検出処理の処理結果に基づいて、クロスフェード区間検出処理の対象となったコンテンツの回想シーンを特定する。このとき、ダイジェスト生成部１０３は、例えば、クロスフェード区間検出処理の処理結果に基づいて、コンテンツの中のクロスフェード区間を検出する。そして、ダイジェスト生成部１０３は、クロスフェード区間が所定の間隔で予め設定された閾値以上検出された場合、それらのクロフェード区間が含まれる部分を回想シーンであると特定する。
【０１２９】
ステップＳ８６において、ダイジェスト生成部１０３は、ステップＳ８５で特定された回想シーンの中のクロスフェード区間に挟まれたシーンを抽出する。このとき、例えば、図１１のシーンＡ乃至シーンＤが抽出されることになる。
【０１３０】
ステップＳ８７において、ダイジェスト生成部１０３は、ステップＳ８６の処理で抽出されたシーンのそれぞれに類似するシーンを検索するための対象区間を特定する。なお、これに先立って、検索対象のデータがデータ取得部１０１からダイジェスト生成部１０３に供給されているものとする。例えば、図１１に示される回想シーンが連続ドラマの第ｋ回目の放送のコンテンツに含まれるものであった場合、データ取得部１０１は、連続ドラマの第ｋ-1回目の放送のコンテンツのデータを供給するものとされる。勿論、連続ドラマの第ｋ回目の放送のコンテンツのデータを、そのまま検索対象のデータとすることも可能であるが、ここでは、連続ドラマの第ｋ-1回目の放送のコンテンツのデータを、検索対象のデータとする場合の例について説明する。
【０１３１】
ステップＳ８７の処理では、連続ドラマの第ｋ-1回目の放送のコンテンツのデータのうち、実際に検索すべき対象となる時間的区間が特定される。なお、例えば、図１１のシーンＡに類似するシーンを検索する場合、ステップＳ８７では、連続ドラマの第ｋ-1回目の放送のコンテンツのデータの最初のフレームから最後のフレームまでの区間が対象区間として特定される。
【０１３２】
ステップＳ８８において、ダイジェスト生成部１０３は、当該シーン（例えば、シーンＡ）と類似度の高いシーンを、連続ドラマの第ｋ-1回目の放送のコンテンツの中から検索する。なお、ステップＳ８８では、ステップＳ８７の処理で特定された対象区間において、類似度の高いシーンが検索されることになる。
【０１３３】
ステップＳ８９において、ダイジェスト生成部１０３は、ステップＳ８８の処理で検索されたシーンのフレームおよびそのシーンの前後の所定の数のフレームを、ダイジェストデータとして抽出する。なお、前後の所定の数のフレームを含めないようにして、ダイジェストデータが生成されるようにしてもよい。あるいはまた、ステップＳ８８の処理で検索されたシーンおよびそのシーンの前の所定の数のフレームにより、または、検索されたシーンおよびそのシーンの後の所定の数のフレームによりダイジェストデータが生成されるようにしてもよい。
【０１３４】
ステップＳ９０において、ダイジェスト生成部１０３は、全てのシーンを検索したか否かを判定する。いまの場合、まだ、シーンＢ乃至シーンＤに類似するシーンを検索していないので、全てのシーンを検索していないと判定され、処理は、ステップＳ８６に戻ることになる。
【０１３５】
その後、ステップＳ８６の処理において、図１１のシーンＢが抽出される。そして、ステップＳ８７の処理において、シーンＢに類似するシーンを検索するための対象区間が新たに特定される。
【０１３６】
例えば、連続ドラマの第ｋ-1回目の放送のコンテンツが、図１３に示されるように、時刻ｔ０から時刻ｔｎまでの連続するフレームにより構成されるものであるとする。第１回目のステップＳ８６の処理でシーンＡが抽出された場合、ステップＳ８７で特定される対象区間は、時刻ｔ０から時刻ｔｎまでとされる。そして、ステップＳ８８において、時刻ｔ２のフレームから時刻ｔ３のフレームで構成されるシーンＷがシーンＡに類似するシーンとして検索されたものとする。ステップＳ８９では、シーンＷの前の所定の数のフレームとして、時刻ｔ１から時刻ｔ２までのフレームが抽出され、シーンＷの後の所定の数のフレームとして、時刻ｔ３から時刻ｔ４までのフレームが抽出される。そして、時刻ｔ１から時刻ｔ４までのフレームによりダイジェストデータ１が生成されるのである。
【０１３７】
第２回目のステップＳ８６の処理でシーンＢが抽出された場合、ステップＳ８７で特定される対象区間は、時刻ｔ３から時刻ｔｎまでとされる。すなわち、連続ドラマの第ｋ回目の放送のコンテンツの回想シーンに含まれるシーンＡ乃至シーンＤは、第ｋ-1回目の放送のコンテンツにおいて、その順番に出現したシーンであると考えられる。従って、シーンＢに類似するシーンＸは、シーンＡに類似するシーンＷより、時間的に後で出現するはずであるから、第２回目のステップＳ８７で特定される対象区間は、時刻ｔ３から時刻ｔｎまでとされるのである。
【０１３８】
第２回目のステップＳ８８の処理では、時刻ｔ６から時刻ｔ７までのフレームにより構成されるシーンＸがシーンＢに類似するシーンとして検索される。そして、第２回目のステップＳ８９の処理では、シーンＸの前後の所定の数のフレームが、シーンＸを構成するフレームとともに抽出され、時刻ｔ５から時刻ｔ８までのフレームによりダイジェストデータ２が生成されるのである。
【０１３９】
さらに、その後行われる第３回目のステップＳ８６の処理では、シーンＣが抽出され、ステップＳ８７の処理では、時刻ｔ７から時刻ｔｎまでの区間が、対象区間とされることになる。
【０１４０】
このように、シーンＡ乃至シーンＤにそれぞれ類似するシーンＷ乃至シーンＺが検索されてダイジェストデータ１乃至ダイジェストデータ４が生成されるのである。
【０１４１】
なお、シーンＷ乃至シーンＺのみが抽出され、ダイジェストデータ１乃至ダイジェストデータ４が生成されるようにすることも可能である。例えば、ダイジェストデータ１を生成する場合、シーンＷの前後の所定の数のフレームを含めないようにして、時刻ｔ２から時刻ｔ３までのフレームが抽出され、それらのフレームのみによりダイジェストデータ１が生成されるようにしてもよい。ただし、このように、ダイジェストデータを抽出した場合、各ダイジェストデータが合成されて生成されるダイジェストは、連続ドラマの第ｋ回目の放送のコンテンツの回想シーンとほぼ同様のものとなる。
【０１４２】
図１２に戻って、ステップＳ９０において、全てのシーンを検索したと判定された場合、処理は、ステップＳ９１に進む。
【０１４３】
ステップＳ９１において、ダイジェスト生成部１０３は、ダイジェストデータ１乃至ダイジェストデータ４を合成する。すなわち、ダイジェストデータ１乃至ダイジェストデータ４が、順番に再生されるダイジェストが生成されるのである。
【０１４４】
このようにして、ダイジェスト生成処理が実行される。
【０１４５】
従来、コンテンツに含まれる画像、音声、字幕などから重要なシーンを抽出するのは、コンテンツの内容に左右されるため困難であった。例えば、重要でないシーンが誤って抽出されたり、真に重要なシーンが抽出されずにダイジェストが生成されてしまうことがあった。
【０１４６】
これに対して、本発明では、回想シーンを特定し、回想シーンに含まれるシーンと類似するシーンを抽出することでダイジェストを生成するようにしたので、重要なシーンで構成されるダイジェストを、確実に生成することができる。また、上述したように、クロスフェード区間を検出した上で回想シーンが特定されるので、適切に回想シーンを特定することも可能である。
【０１４７】
さらに、従来、コンテンツのデータを解析して類似のシーンの部分を検索する処理には多大な時間がかかっていた。
【０１４８】
これに対して、本発明では、回想シーンに含まれるシーンと類似するシーンが検索される都度、検索対象区間が短くなるようになされているので、検索に要する時間を短縮することが可能である。
【０１４９】
従って、本発明によれば、真に重要なシーンで構成されるダイジェストを、短時間で生成することができるのである。
【０１５０】
以上においては、本発明の目的を主にダイジェストの生成であるものとして説明したが、例えば、本発明が単にクロスフェード区間の検出のために用いられるようにしてもよい。本発明のコンテンツ処理装置１により、クロスフェード区間を特定することにより、例えば、リプレイシーンや回想シーンを特定することが可能であり、所望のシーンを短時間で見つけることも可能である。
【０１５１】
なお、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば図１４に示されるような汎用のパーソナルコンピュータ７００などに、ネットワークや記録媒体からインストールされる。
【０１５２】
図１４において、CPU（Central Processing Unit）７０１は、ROM（Read Only Memory）７０２に記憶されているプログラム、または記憶部７０８からRAM（Random Access Memory）７０３にロードされたプログラムに従って各種の処理を実行する。RAM７０３にはまた、CPU７０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１５３】
CPU７０１、ROM７０２、およびRAM７０３は、バス７０４を介して相互に接続されている。このバス７０４にはまた、入出力インタフェース７０５も接続されている。
【０１５４】
入出力インタフェース７０５には、キーボード、マウスなどよりなる入力部７０６、ＬＣＤ(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部７０７、ハードディスクなどより構成される記憶部７０８、モデム、LANカードなどのネットワークインタフェースカードなどより構成される通信部７０９が接続されている。通信部７０９は、インターネットを含むネットワークを介しての通信処理を行う。
【０１５５】
入出力インタフェース７０５にはまた、必要に応じてドライブ７１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア７１１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部７０８にインストールされる。
【０１５６】
上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、インターネットなどのネットワークや、リムーバブルメディア７１１などからなる記録媒体からインストールされる。
【０１５７】
なお、この記録媒体は、図１４に示される、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フロッピディスク（登録商標）を含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（MD（Mini-Disk）（登録商標）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア７１１により構成されるものだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM７０２や、記憶部７０８に含まれるハードディスクなどで構成されるものも含む。
【０１５８】
なお、本明細書において上述した一連の処理は、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１５９】
また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０１６０】
１ コンテンツ処理装置， ２ ディスプレイ， ３０ 制御部， ３６ 入力部， ４０ ＨＤＤ， ５０ リムーバブルメディア， １０１ データ取得部， １０２ 特定シーン検出部， １０３ ダイジェスト生成部， １２１ 特徴量算出部， １２２ 単調変化画素検出部， １２３ アクティビティ算出部， １２４ クロスフェード判定部， １２５ 区間判定部
【特許請求の範囲】
【請求項１】
コンテンツのデータを取得するコンテンツデータ取得手段と、
前記取得したコンテンツのデータの中で、所定のシーン最後の画像が序々に変化し、次のシーンの画像に置き換えられる部分を構成する複数のフレームからなるクロスフェード区間を検出する区間検出手段と、
前記検出されたクロスフェード区間に基づいて、所定の間隔で複数のシーンが入れ替わる回想シーンを特定するシーン特定手段と、
前記特定された回想シーンに含まれる前記複数のシーンのそれぞれに類似するシーンを、前記コンテンツデータ取得手段が取得した別のコンテンツのデータから検索する類似シーン検索手段と、
前記検索されたシーンを合成して、前記別のコンテンツのダイジェストを生成するダイジェスト生成手段と
を備えるコンテンツ処理装置。
【請求項２】
前記区間検出手段は、
前記コンテンツのデータの中の処理対象のフレームにおいて値が単調に変化する単調変化画素が占める割合を算出する割合算出手段と、
前記処理対象のフレームとそのフレームの前のフレームのアクティビティの比を算出するアクティビティ比算出手段と、
前記算出された単調変化画素が占める割合、およびアクティビティの比に基づいて、前記処理対象のフレームが前記クロスフェード区間の候補フレームであるか否かを判定する候補フレーム判定手段と、
前記コンテンツのデータの中で連続して出現する前記候補フレームをカウントすることで、前記クロスフェード区間を検出する連続フレームカウント手段と
を備える請求項１に記載のコンテンツ処理装置。
【請求項３】
前記割合算出手段は、
前記処理対象のフレームを現在のフレームとし、
前記現在のフレームの注目画素の値と、過去のフレームおよび未来のフレームにおける前記注目画素に対応するそれぞれの画素の値とを比較することで、前記注目画素が単調変化画素であるか否かを判定し、
現在のフレームを構成する全画素のうち、前記単調変化画素であると判定された画素の割合を算出する
請求項２に記載のコンテンツ処理装置。
【請求項４】
前記注目画素および前記注目画素に対応する画素の値が、時間の経過に伴って大きくなるように変化する場合、または、時間の経過に伴って小さくなるように変化する場合、
前記時間の経過に伴う変化量が予め設定された閾値より大きいとき、
前記注目画素が前記単調変化画素であると判定される
請求項３に記載のコンテンツ処理装置。
【請求項５】
第１のフレームの特徴量と、前記第１のフレームより所定のフレーム数時間的に前に存在する第２のフレームの特徴量との差分の値が、予め設定された閾値以上である場合、前記第１のフレームを前記処理対象のフレームとする
請求項２に記載のコンテンツ処理装置。
【請求項６】
前記区間検出手段は、
前記候補フレームが予め設定された閾値以上連続して出現した場合、
前記連続する候補フレームの最初の候補フレームの特徴量と、最後の候補フレームの特徴量との差分の値が予め設定された以上である場合、前記最初の候補フレームから前記最後の候補フレームまでの区間を、前記クロスフェード区間として検出する
請求項２に記載のコンテンツ処理装置。
【請求項７】
前記シーン特定手段は、
前記クロスフェード区間が閾値未満の時間的距離で所定の数以上連続して検出された場合、前記連続するクロスフェード区間の最初のクロスフェード区間から最後のクロスフェード区間までの部分を、前記回想シーンであると特定する
請求項１に記載のコンテンツ処理装置。
【請求項８】
前記類似シーン検索手段は、
前記特定された回想シーンの中で前記クロスフェード区間により挟まれた部分に対応するシーンのそれぞれに類似するシーンを前記別のコンテンツのデータから検索し、
前記ダイジェスト生成手段は、前記検索されたそれぞれのシーンの前後に連続する所定の数のフレームを付加したデータを合成して前記ダイジェストを生成する
請求項７に記載のコンテンツ処理装置。
【請求項９】
前記検索手段は、
前記特定された回想シーンの中で前記クロスフェード区間により挟まれた部分に対応するシーンであって、時間的に最も前に位置する第１のシーンに類似する第２のシーンを、前記別のコンテンツのデータから検索し、
前記特定された回想シーンの中で前記クロスフェード区間により挟まれた部分に対応するシーンであって、前記第１のシーンより時間的後の第３のシーンに類似する第４のシーンを、前記別のコンテンツのデータのうち、前記第２のシーンより時間的に後の部分から検索する
請求項８に記載のコンテンツ処理装置。
【請求項１０】
コンテンツのデータを取得し、
前記取得したコンテンツのデータの中で、所定のシーン最後の画像が序々に変化し、次のシーンの画像に置き換えられる部分を構成する複数のフレームからなるクロスフェード区間を検出し、
前記検出されたクロスフェード区間に基づいて、所定の間隔で複数のシーンが入れ替わる回想シーンを特定し、
前記特定された回想シーンに含まれる前記複数のシーンのそれぞれに類似するシーンを、別のコンテンツのデータから検索し、
前記検索されたシーンを合成して、前記別のコンテンツのダイジェストを生成するステップ
を含むコンテンツ処理方法。
【請求項１】
コンテンツのデータを取得するコンテンツデータ取得手段と、
前記取得したコンテンツのデータの中で、所定のシーン最後の画像が序々に変化し、次のシーンの画像に置き換えられる部分を構成する複数のフレームからなるクロスフェード区間を検出する区間検出手段と、
前記検出されたクロスフェード区間に基づいて、所定の間隔で複数のシーンが入れ替わる回想シーンを特定するシーン特定手段と、
前記特定された回想シーンに含まれる前記複数のシーンのそれぞれに類似するシーンを、前記コンテンツデータ取得手段が取得した別のコンテンツのデータから検索する類似シーン検索手段と、
前記検索されたシーンを合成して、前記別のコンテンツのダイジェストを生成するダイジェスト生成手段と
を備えるコンテンツ処理装置。
【請求項２】
前記区間検出手段は、
前記コンテンツのデータの中の処理対象のフレームにおいて値が単調に変化する単調変化画素が占める割合を算出する割合算出手段と、
前記処理対象のフレームとそのフレームの前のフレームのアクティビティの比を算出するアクティビティ比算出手段と、
前記算出された単調変化画素が占める割合、およびアクティビティの比に基づいて、前記処理対象のフレームが前記クロスフェード区間の候補フレームであるか否かを判定する候補フレーム判定手段と、
前記コンテンツのデータの中で連続して出現する前記候補フレームをカウントすることで、前記クロスフェード区間を検出する連続フレームカウント手段と
を備える請求項１に記載のコンテンツ処理装置。
【請求項３】
前記割合算出手段は、
前記処理対象のフレームを現在のフレームとし、
前記現在のフレームの注目画素の値と、過去のフレームおよび未来のフレームにおける前記注目画素に対応するそれぞれの画素の値とを比較することで、前記注目画素が単調変化画素であるか否かを判定し、
現在のフレームを構成する全画素のうち、前記単調変化画素であると判定された画素の割合を算出する
請求項２に記載のコンテンツ処理装置。
【請求項４】
前記注目画素および前記注目画素に対応する画素の値が、時間の経過に伴って大きくなるように変化する場合、または、時間の経過に伴って小さくなるように変化する場合、
前記時間の経過に伴う変化量が予め設定された閾値より大きいとき、
前記注目画素が前記単調変化画素であると判定される
請求項３に記載のコンテンツ処理装置。
【請求項５】
第１のフレームの特徴量と、前記第１のフレームより所定のフレーム数時間的に前に存在する第２のフレームの特徴量との差分の値が、予め設定された閾値以上である場合、前記第１のフレームを前記処理対象のフレームとする
請求項２に記載のコンテンツ処理装置。
【請求項６】
前記区間検出手段は、
前記候補フレームが予め設定された閾値以上連続して出現した場合、
前記連続する候補フレームの最初の候補フレームの特徴量と、最後の候補フレームの特徴量との差分の値が予め設定された以上である場合、前記最初の候補フレームから前記最後の候補フレームまでの区間を、前記クロスフェード区間として検出する
請求項２に記載のコンテンツ処理装置。
【請求項７】
前記シーン特定手段は、
前記クロスフェード区間が閾値未満の時間的距離で所定の数以上連続して検出された場合、前記連続するクロスフェード区間の最初のクロスフェード区間から最後のクロスフェード区間までの部分を、前記回想シーンであると特定する
請求項１に記載のコンテンツ処理装置。
【請求項８】
前記類似シーン検索手段は、
前記特定された回想シーンの中で前記クロスフェード区間により挟まれた部分に対応するシーンのそれぞれに類似するシーンを前記別のコンテンツのデータから検索し、
前記ダイジェスト生成手段は、前記検索されたそれぞれのシーンの前後に連続する所定の数のフレームを付加したデータを合成して前記ダイジェストを生成する
請求項７に記載のコンテンツ処理装置。
【請求項９】
前記検索手段は、
前記特定された回想シーンの中で前記クロスフェード区間により挟まれた部分に対応するシーンであって、時間的に最も前に位置する第１のシーンに類似する第２のシーンを、前記別のコンテンツのデータから検索し、
前記特定された回想シーンの中で前記クロスフェード区間により挟まれた部分に対応するシーンであって、前記第１のシーンより時間的後の第３のシーンに類似する第４のシーンを、前記別のコンテンツのデータのうち、前記第２のシーンより時間的に後の部分から検索する
請求項８に記載のコンテンツ処理装置。
【請求項１０】
コンテンツのデータを取得し、
前記取得したコンテンツのデータの中で、所定のシーン最後の画像が序々に変化し、次のシーンの画像に置き換えられる部分を構成する複数のフレームからなるクロスフェード区間を検出し、
前記検出されたクロスフェード区間に基づいて、所定の間隔で複数のシーンが入れ替わる回想シーンを特定し、
前記特定された回想シーンに含まれる前記複数のシーンのそれぞれに類似するシーンを、別のコンテンツのデータから検索し、
前記検索されたシーンを合成して、前記別のコンテンツのダイジェストを生成するステップ
を含むコンテンツ処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１０−１８３３８３（Ｐ２０１０−１８３３８３Ａ）
【公開日】平成２２年８月１９日（２０１０．８．１９）
【国際特許分類】
【出願番号】特願２００９−２５５１７（Ｐ２００９−２５５１７）
【出願日】平成２１年２月６日（２００９．２．６）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２２年８月１９日（２０１０．８．１９）
【国際特許分類】
【出願日】平成２１年２月６日（２００９．２．６）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]