説明

コンテンツ再生処理装置およびコンテンツ再生処理方法

【課題】それぞれの全体の内容をユーザが効率良く把握することができるように、複数のコンテンツを再生処理することができる、コンテンツ再生処理装置を提供すること。
【解決手段】コンテンツ再生処理装置10は、複数のコンテンツを、少なくとも一部が重なって再生されるように、時間軸に沿ってそれぞれ再生処理する装置であって、複数のコンテンツのそれぞれから、コンテンツの区間ごとに付与された重要度に基づいて、重要区間および非重要区間を検出する重要区間検出部310と、複数のコンテンツの間で重要区間の再生が重ならないように、複数のコンテンツのそれぞれの重要区間および非重要区間の再生タイミングを決定する編集制御部320とを有する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、複数のコンテンツを時間軸に沿ってそれぞれ再生処理するコンテンツ再生処理装置およびコンテンツ再生処理方法に関する。
【背景技術】
【0002】
複数の映像コンテンツあるいは音声コンテンツの内容を効率良く把握したいという欲求は、様々な分野で存在する。このような、時間軸を有するコンテンツ(以下、適宜「コンテンツ」という)は、各々の再生に時間を要する。したがって、複数のコンテンツの視聴時間を短縮するための最も単純な手法は、複数のコンテンツを同時並行で再生することである。ところが、同時並行での再生は、重要部分が重なるなどするため、視聴するユーザにとって各コンテンツの再生内容を十分に把握することが困難となる。
【0003】
そこで、あるコンテンツをその時間軸に沿って再生し、その重要部分ではない部分が再生されている間に他のコンテンツの短縮版(短縮映像、ダイジェスト版)を再生する技術が、例えば特許文献1および特許文献2に記載されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2009−77187号公報
【特許文献2】特開2009−290583号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、重要部分や短縮版の視聴のみでは、全体の内容をよく把握することができないコンテンツも存在する。例えば、ドラマなどでは、場面の転換などがあり、全体に亘って再生されなければドラマ全体の内容を把握し難い場合が多い。一方で、ドラマ全体の内容がより把握し易くなるように、重要部分や短縮版の再生内容を充実させた再生は、その再生時間が長くなり、全体の視聴時間が長くなる。したがって、従来技術では、各コンテンツの全体の内容が効率良く把握することが困難な場合がある。
【0006】
本発明の目的は、それぞれの全体の内容をユーザが効率良く把握することができるように、複数のコンテンツを再生処理することができる、コンテンツ再生処理装置およびコンテンツ再生処理方法を提供することである。
【課題を解決するための手段】
【0007】
本発明の一態様に係るコンテンツ再生処理装置は、複数のコンテンツを、少なくとも一部が重なって再生されるように、時間軸に沿ってそれぞれ再生処理するコンテンツ再生処理装置において、前記複数のコンテンツのそれぞれから、前記コンテンツの区間ごとに付与された重要度に基づいて、重要区間および非重要区間を検出する重要区間検出部と、前記複数のコンテンツの間で前記重要区間が重ならないように、前記複数のコンテンツのそれぞれの前記重要区間および前記非重要区間の再生タイミングを決定する編集制御部とを有する。
【0008】
本発明の一態様に係るコンテンツ再生処理装置は、複数のコンテンツを、少なくとも一部が重なって再生されるように、時間軸に沿ってそれぞれ再生処理するコンテンツ再生処理装置において、前記複数のコンテンツを入力するコンテンツ入力部と、入力された前記複数のコンテンツを記憶する記憶部と、前記コンテンツごとに、各区間の開始時刻および重要度を含むメタデータを取得するメタデータ取得部と、前記複数のコンテンツのそれぞれから、前記重要度に基づいて、重要区間および非重要区間を検出する重要区間検出部と、前記複数のコンテンツの間で前記重要区間が重ならないように、前記複数のコンテンツのそれぞれの前記重要区間および前記非重要区間の再生タイミングを決定する編集制御部と、前記複数のコンテンツのそれぞれの前記重要区間および前記非重要区間が、その決定された前記再生タイミングに従って再生されるように、前記複数のコンテンツをそれぞれ編集する編集部と、編集された前記複数のコンテンツを合成する出力制御部とを有する。
【0009】
本発明の一態様に係るコンテンツ再生処理方法は、複数のコンテンツを、少なくとも一部が重なって再生されるように、時間軸に沿ってそれぞれ再生処理するコンテンツ再生処理方法において、前記複数のコンテンツのそれぞれから、前記コンテンツの区間ごとに付与された重要度に基づいて、重要区間および非重要区間を検出するステップと、前記複数のコンテンツの間で前記重要区間が重ならないように、前記複数のコンテンツのそれぞれの前記重要区間および前記非重要区間の再生タイミングを決定するステップとを有する。
【0010】
本発明の一態様に係るコンテンツ再生処理方法は、複数のコンテンツを、少なくとも一部が重なって再生されるように、時間軸に沿ってそれぞれ再生処理するコンテンツ再生処理方法において、前記複数のコンテンツを入力して記憶すると共に、前記コンテンツごとに各区間の開始時刻および重要度を含むメタデータを取得するステップと、前記複数のコンテンツのそれぞれから、前記重要度に基づいて、重要区間および非重要区間を検出するステップと、前記複数のコンテンツの間で前記重要区間が重ならないように、前記複数のコンテンツのそれぞれの前記重要区間および前記非重要区間の再生タイミングを決定するステップと、前記複数のコンテンツのそれぞれの前記重要区間および前記非重要区間が、その決定された前記再生タイミングに従って再生されるように、前記複数のコンテンツをそれぞれ編集するステップと、編集された前記複数のコンテンツを合成して出力するステップとを有する。
【発明の効果】
【0011】
本発明によれば、それぞれの全体の内容をユーザが効率良く把握することができるように、複数のコンテンツを再生処理することができる。
【図面の簡単な説明】
【0012】
【図1】本発明の実施の形態1に係るコンテンツ再生処理装置の構成の一例を示すブロック図
【図2】本発明の実施の形態2に係るコンテンツ再生処理装置の構成の一例を示すブロック図
【図3】本発明の実施の形態2に係るコンテンツ再生処理装置の動作の一例を示すフローチャート
【図4】本発明の実施の形態2におけるメタデータの内容の一例を示す図
【図5】本発明の実施の形態2における区間分割データの内容の一例を示す図
【図6】本発明の実施の形態2における合成コンテンツの画面構成の第1の例を示す図
【図7】本発明の実施の形態2における合成コンテンツの画面構成の第2の例を示す図
【図8】本発明の実施の形態2における再生タイミング設定処理の一例を示す図
【図9】本発明の実施の形態2における各コンテンツの区間の一例および再生タイミングの設定の様子の一例を示す図
【図10】本発明の実施の形態2における各コンテンツの区間の一例および再生タイミングの設定の様子の他の例を示す図
【図11】本発明の実施の形態2における第1の再生制御テーブルの内容の一例を示す図
【図12】本発明の実施の形態2における第2の再生制御テーブルの内容の一例を示す図
【図13】本発明の実施の形態3に係るコンテンツ再生処理装置の構成の一例を示すブロック図
【図14】本発明の実施の形態3に係るコンテンツ再生処理装置動作の一例を示すフローチャート
【図15】本発明の実施の形態3における重要区間調整処理の一例を示すフローチャート
【図16】本発明の実施の形態3における重要区間の変化の様子の第1の例を示す図
【図17】本発明の実施の形態3における重要区間の変化の様子の第2の例を示す図
【図18】本発明の実施の形態4に係るコンテンツ再生処理装置の構成の一例を示すブロック図
【図19】本発明の実施の形態4におけるメタデータの内容の一例を示す図
【図20】本発明の実施の形態4におけるメタデータの内容を模式的に示す図
【図21】本発明の実施の形態4における再生タイミング設定処理の一例を示すフローチャート
【図22】本発明の実施の形態4における再生タイミングの設定の様子の一例を示す図
【発明を実施するための形態】
【0013】
以下、本発明の各実施の形態について、図面を参照して詳細に説明する。
【0014】
(実施の形態1)
本発明の実施の形態1は、本発明の基本的態様の一例である。
【0015】
図1は、本実施の形態に係るコンテンツ再生処理装置の構成の一例を示すブロック図である。
【0016】
図1において、コンテンツ再生処理装置10は、複数のコンテンツを、少なくとも一部が重なって再生されるように、時間軸に沿ってそれぞれ再生処理する装置である。コンテンツ再生処理装置10は、重要区間検出部310および編集制御部320を有する。
【0017】
重要区間検出部310は、複数のコンテンツのそれぞれから、各コンテンツの区間ごとに付与された重要度に基づいて、重要区間および非重要区間を検出する。
【0018】
編集制御部320は、複数のコンテンツの少なくとも一部が重なって再生されるように、複数のコンテンツの重要区間および非重要区間の再生タイミングを決定する。この際、編集制御部320は、複数のコンテンツの間で重要区間が重ならないように、複数のコンテンツのそれぞれの重要区間および非重要区間の再生タイミングを決定する。
【0019】
コンテンツ再生処理装置10は、例えば、図示しないが、CPU(central processing unit)、制御プログラムを格納したROM(read only memory)などの記憶媒体、および、RAM(random access memory)などの作業用メモリなどを有する。この場合、上記した各部の機能は、CPUが制御プログラムを実行することにより実現される。
【0020】
このようなコンテンツ再生処理装置10は、複数のコンテンツが、少なくとも一部が重なりつつ、重要区間が重ならない状態で、再生されるようにすることができる。これにより、コンテンツ再生処理装置10は、複数のコンテンツが、それぞれの非重要部分も含めて、重要区間が重ならずに同時並行で再生されるようにすることができる。すなわち、コンテンツ再生処理装置10は、それぞれの全体の内容をユーザが効率良く把握することができるように、複数のコンテンツを再生処理することができる。
【0021】
(実施の形態2)
本発明の実施の形態2は、本発明を複数のコンテンツを入力して同時に再生する装置に適用した具体的態様の一例である。
【0022】
まず、本実施の形態に係るコンテンツ再生処理装置の構成について説明する。
【0023】
図2は、本実施の形態に係るコンテンツ再生処理装置の構成の一例を示すブロック図である。
【0024】
図2において、コンテンツ再生処理装置10は、第1のコンテンツ入力部101、第2のコンテンツ入力部102、第1の記憶部103、第2の記憶部104、第1のメタデータ取得部201、および第2のメタデータ取得部202を有する。また、コンテンツ再生処理装置10は、再生制御部300、第1の編集部401、第2の編集部402、出力制御部500、および出力部601を有する。なお、再生制御部300は、第1の重要区間検出部311、第2の重要区間検出部312、編集制御部320を有する。
【0025】
第1のコンテンツ入力部101は、第1のコンテンツのデータ(以下「第1のコンテンツ」という)を入力し、入力した第1のコンテンツを、第1の記憶部103へ出力する。第2のコンテンツ入力部102は、第1のコンテンツとは異なる第2のコンテンツのデータ(以下「第2のコンテンツ」という)を入力し、入力した第2のコンテンツを、第2の記憶部104へ出力する。これら第1のコンテンツ入力部101および第2のコンテンツ入力部102は、必ずしも分離している必要はなく、1つのコンテンツ入力部として配置されていてもよい。
【0026】
なお、第1および第2のコンテンツ入力部101、102は、例えば、コンテンツがネットワーク上のサーバから配信されている場合、そのサーバにアクセスしてコンテンツを受信する。本実施の形態では、第1のコンテンツおよび第2のコンテンツは、音声と映像からなるAVコンテンツであるものとする。
【0027】
第1の記憶部103は、入力された第1のコンテンツを記憶する。第2の記憶部104は、入力された第2のコンテンツを記憶する。これら第1の記憶部103および第2の記憶部104は、必ずしも分離している必要はなく、1つの記憶部として配置されていてもよい。
【0028】
第1のメタデータ取得部201は、第1のコンテンツに対応したメタデータ(以下「第1のメタデータ」という)を取得し、取得した第1のメタデータを、第1の重要区間検出部311へ出力する。第2のメタデータ取得部202は、第2のコンテンツに対応したメタデータ(以下「第2のメタデータ」という)を取得し、取得した第2のメタデータを、第2の重要区間検出部312へ出力する。これら第1のメタデータ取得部201および第2のメタデータ取得部202は、必ずしも分離している必要はなく、1つのメタデータ取得部として配置されていてもよい。
【0029】
なお、各コンテンツに対応するメタデータは、少なくとも、コンテンツの時間軸を分割した区間ごとに、時間情報および重要度を含むものとする。時間情報は、区間の初期の再生タイミングとして、区間の開始時刻と終了時刻(または継続時間)を含む。重要度は、区間の、コンテンツ全体に対する相対的または絶対的な重要さの度合を示す値である。区間は、例えば、各コンテンツの場面(シーン:scene)、区間、セグメント、または、任意の時間単位などである。メタデータの詳細については、後述する。
【0030】
第1および第2のメタデータ取得部201、202は、例えば、メタデータがネットワーク上のサーバから配信されている場合、そのサーバにアクセスしてメタデータを受信する。また、第1および第2のメタデータ取得部201、202は、メタデータがコンテンツと共に配信される場合、この配信を受けることによりメタデータを取得してもよい。また、第1および第2のメタデータ取得部201、202は、例えば、コンテンツの内容(音声情報や画像情報)から、各区間の重要度を自動的に算出または手動で付与し、これをメタデータとして取得してもよい。
【0031】
第1の重要区間検出部311は、第1のコンテンツから、各区間の重要度に基づいて、重要区間および非重要区間を検出し、検出結果を、編集制御部320へ出力する。より具体的には、第1の重要区間検出部311は、第1のコンテンツの各区間を、当該区間の重要度と第1の閾値との比較に基づいて、重要区間と非重要区間とに振り分ける。第2の重要区間検出部312は、第2のコンテンツから、各区間の重要度に基づいて、重要区間および非重要区間を検出し、検出結果を、編集制御部320へ出力する。より具体的には、第2の重要区間検出部312は、第2のコンテンツの各区間を、当該区間の重要度と第1の閾値との比較に基づいて、重要区間と非重要区間とに振り分ける。これら第1の重要区間検出部311および第2の重要区間検出部312は、必ずしも分離している必要はなく、1つの重要区間検出部として配置されていてもよい。また、第1の閾値は、予め定められた固定値であってもよいし、ユーザから受け付けた任意の値であってもよい。また、第1の重要区間検出部311が用いる第1の閾値と、第2の重要区間検出部312が用いる第1の閾値とは、同一であってもよいし異なっていてもよい。
【0032】
編集制御部320は、第1のコンテンツと第2のコンテンツの少なくとも一部が重なって再生されるように、それぞれの重要区間および非重要区間の再生タイミングを決定する。この際、編集制御部320は、第1のコンテンツと第2のコンテンツとの間で重要区間が重ならないように、第1のコンテンツおよび第2のコンテンツのそれぞれの重要区間および非重要区間の再生タイミングを決定する。すなわち、編集制御部320は、重要区間が重ならないように、第1のコンテンツと第2のコンテンツとの両方について、重要区間および非重要区間の両方の再生タイミングを決定する。
【0033】
また、区間のそれぞれには、初期の再生タイミングが付与されており、編集制御部320は、この初期のタイミングに基づいて、重要区間および非重要区間の再生タイミングを決定する。
【0034】
そして、編集制御部320は、決定した第1のコンテンツの各区間の再生タイミングを示す情報(以下「第1の再生制御情報」という)を、第1の編集部401へ出力する。また、編集制御部320は、決定した第2のコンテンツの各区間の再生タイミングを示す情報(以下「第2の再生制御情報」という)を、第2の編集部402へ出力する。
【0035】
なお、第1の再生制御情報および第2の再生制御情報の実体は、例えば、後述の、再生制御係数を記述した再生制御テーブルである。また、第1の重要区間検出部311、第2の重要区間検出部312、および編集制御部320は、第1および第2のコンテンツの再生を制御する再生制御部300として扱ってもよい。
【0036】
第1の編集部401は、第1のコンテンツの重要区間および非重要区間が、その決定された再生タイミングに従って再生されるように、第1のコンテンツを編集する。そして、第1の編集部401は、編集済みの第1のコンテンツ(以下「第1の編集済コンテンツ」という)出力制御部500へ出力する。より具体的には、第1の編集部401は、第1の記憶部103から第1のコンテンツを読み出し、入力された第1の再生制御情報に従って、その再生タイミングを編集する。第2の編集部402は、第2のコンテンツの重要区間および非重要区間が、その決定された再生タイミングに従って再生されるように、第2のコンテンツを編集する。そして、第2の編集部402は、編集済みの第2のコンテンツ(以下「第2の編集済コンテンツ」という)出力制御部500へ出力する。より具体的には、第2の編集部402は、第2の記憶部104から第2のコンテンツを読み出し、入力された第2の再生制御情報に従って、その再生タイミングを編集する。これら第1の編集部401および第2の編集部402は、必ずしも分離している必要はなく、1つの編集部として配置されていてもよい。
【0037】
なお、コンテンツの編集とは、コンテンツそのものの編集ではなく、合成コンテンツにおける各区間の再生タイミングの編集を指してもよい。すなわち、第1の編集部401および第2の編集部402は、コンテンツの各区間の読み出しタイミングを指定する情報を編集してもよい。この場合、後段の出力制御部500は、編集された読み出しタイミング指定情報に従って、第1のコンテンツおよび第2のコンテンツを読み出して合成することにより、後述の合成コンテンツを生成する。
【0038】
出力制御部500は、入力された第1の編集済コンテンツおよび第2の編集済コンテンツを合成する。ここでは、出力制御部500は、第1の編集済コンテンツと第2の編集済コンテンツとを、1つの画面に出力する音声付き映像(以下「合成コンテンツ」という)のデータを生成するものとする。出力制御部500は、生成したデータを、出力部601へ出力する。
【0039】
出力部601は、例えば液晶ディスプレイおよびラウドスピーカーを有し、入力されたデータに基づいて、合成コンテンツの映像および音声を出力する。
【0040】
コンテンツ再生処理装置10は、例えば、図示しないが、CPU、制御プログラムを格納したROMなどの記憶媒体、および、RAMなどの作業用メモリなどを有する。この場合、上記した各部の機能は、CPUが制御プログラムを実行することにより実現される。
【0041】
このようなコンテンツ再生処理装置10は、第1のコンテンツおよび第2のコンテンツが、少なくとも一部が重なりつつ、重要区間が重ならない状態で、再生されるようにすることができる。これにより、コンテンツ再生処理装置10は、第1のコンテンツおよび第2のコンテンツが、それぞれの非重要部分も含めて、重要区間が重ならずに同時並行で再生されるようにすることができる。すなわち、コンテンツ再生処理装置10は、第1のコンテンツおよび第2のコンテンツの両方の全体の内容をユーザが効率良く把握することができるように、第1のコンテンツおよび第2のコンテンツを再生処理することができる。
【0042】
以上で、コンテンツ再生処理装置10の構成についての説明を終える。
【0043】
次に、コンテンツ再生処理装置10の動作について説明する。
【0044】
図3は、コンテンツ再生処理装置10の動作の一例を示すフローチャートである。
【0045】
まず、ステップS1000において、第1のコンテンツ入力部101および第2のコンテンツ入力部102は、第1のコンテンツおよび第2のコンテンツを入力し、第1の記憶部103および第2の記憶部104に記憶させる。
【0046】
そして、ステップS2000において、第1のメタデータ取得部201および第2のメタデータ取得部202は、第1のメタデータおよび第2のメタデータを取得する。
【0047】
図4は、メタデータの内容の一例を示す図である。
【0048】
図4に示すように、メタデータ700は、コンテンツに関する情報として、例えば、コンテンツID701、タイトル702、ジャンル703、および時間長704を記述している。また、メタデータ700は、コンテンツを構成する区間であるシーンごとに、そのシーンのシーン番号705に対応付けて、開始時刻706、終了時刻707、および重要度708を記述している。
【0049】
各シーンの時間長さは、同一であるとは限らない。コンテンツID701は、コンテンツの識別子を示す。開始時刻706は、例えば、コンテンツの再生開始からシーンの再生開始までの時間長さである。終了時刻707は、コンテンツの再生開始からシーンの再生終了までの時間長さである。重要度708は、例えば、値が高いほど、そのシーンの再生内容をユーザが把握することの重要性が高いことを示す。
【0050】
そして、図3のステップS3000において、第1の重要区間検出部311および第2の重要区間検出部312は、各シーンの重要度と予め定められた第1の閾値とに基づいて、重要区間および非重要区間の検出を行う。
【0051】
より具体的には、第1の重要区間検出部311および第2の重要区間検出部312は、第1のメタデータおよび第2のメタデータに記述された各重要度を、予め定められた第1の閾値と比較する。そして、第1の重要区間検出部311および第2の重要区間検出部312は、重要度が第1の閾値以上となる1つまたは複数の連続するシーンから成る一まとまりの区間を、重要区間とする。また、第1の重要区間検出部311および第2の重要区間検出部312は、重要度が第1の閾値未満となる1つまたは複数の連続するシーンから成る一まとまりの区間を、非重要区間とする。第1の重要区間検出部311および第2の重要区間検出部312は、例えば、重要区間および非重要区間の検出結果を示す区間分割データを生成する。
【0052】
図4に示すメタデータ700の例において第1の閾値を7とした場合、例えば、シーン番号1、2の区間は、非重要区間となり、シーン番号3〜7の区間は、重要区間となる。
【0053】
図5は、区間分割データの内容の一例を示す図である。ここでは、上述の第1の閾値を7とした場合に、図4に示すメタデータ700から生成される区間分割データの例を図示する。
【0054】
図5に示すように、区間分割データ710は、例えば、コンテンツの、コンテンツID711、タイトル712、ジャンル713、および時間長714を記述している。また、区間分割データ710は、コンテンツの重要区間/非重要区間ごとに、その区間の区間番号715に対応付けて、開始時刻716、終了時刻717、および重要度フラグ718を記述している。
【0055】
コンテンツID711は、区間分割データ710が対応するコンテンツの識別子を示し、メタデータ700のコンテンツID701(図4参照)に対応している。開始時刻716は、例えばコンテンツの再生開始から区間の再生開始までの時間長さであり、合成コンテンツにおける初期開始時刻である。終了時刻717は、例えばコンテンツの再生開始から区間の再生終了までの時間長さであり、合成コンテンツにおける初期終了時刻である。なお、開始時刻716および終了時刻717は、メタデータ700の開始時刻706および終了時刻707に対応しているが、説明の便宜のため、ここでは異なる表記をしている。重要度フラグ718は、区間が重要区間であるか否かを示すフラグであり、「1」は重要区間であることを示し、「0」は非重要区間であることを示す。なお、重要度フラグ718は、その区間の再生時間の伸縮を許可するか否かを示すフラグとして機能してもよい。
【0056】
そして、図3のステップS4000において、編集制御部320は、再生タイミング決定処理を行う。再生タイミング決定処理は、各区間に対して、合成コンテンツの再生開始から時間軸(以下「再生時間軸」という)における再生タイミングを決定する処理である。再生タイミング決定処理の詳細については、後述する。
【0057】
そして、ステップS5000において、第1の編集部401および第2の編集部402は、各区分がそれぞれに決定された再生タイミングで再生されるように、第1のコンテンツおよび第2のコンテンツを編集する。より具体的には、第1の編集部401は、後述の第1の再生制御テーブル(図11参照)に従って第1のコンテンツを編集して、第1の編集済コンテンツを生成し、出力制御部500へ出力する。また、第2の編集部402は、後述の第2の再生制御テーブル(図12参照)に従って第2のコンテンツを編集して、第2の編集済コンテンツを生成し、出力制御部500へ出力する。
【0058】
そして、ステップS6000において、出力制御部500は、第1の編集済コンテンツおよび第2の編集済コンテンツを同時出力する合成コンテンツを生成し、出力部601へ出力する。この結果、出力部601は、合成コンテンツの出力(映像出力および音声出力)を行う。
【0059】
図6および図7は、合成コンテンツの画面構成の例を示す図である。
【0060】
図6に示すように、出力制御部500は、例えば、出力部601の映像出力画面721の全体に第1のコンテンツの映像722を表示し、その一部に第2のコンテンツの映像723を小さく表示するような、合成コンテンツを生成する。
【0061】
また、図7に示すように、出力制御部500は、例えば、出力部601の映像出力画面721のうち、左上側に第1のコンテンツの映像722と右下側に第2のコンテンツの映像723とを、それぞれ表示する合成コンテンツを生成する。
【0062】
なお、出力制御部500は、重要区間の区間を再生中であることを明示的に表示する合成コンテンツを生成してもよい。例えば、出力制御部500は、重要区間を出力しているコンテンツの表示サイズが大きくなったり、当該コンテンツの枠が強調表示されたり、重要区間の再生開始時にビープ音が出力されるような、合成コンテンツを生成する。
【0063】
そして、図3のステップS7000において、コンテンツ再生処理装置10は、ユーザ操作などによりコンテンツに対する処理の終了を指示されたか否かを判断する。コンテンツ再生処理装置10は、処理の終了を指示されていない場合(S7000:NO)、ステップS1000へ戻り、次のコンテンツに対する処理に移る。また、コンテンツ再生処理装置10は、処理の終了を指示された場合(S7000:YES)、一連の処理を終了する。
【0064】
この判断は、例えば、編集制御部320が行う。処理終了の場合、編集制御部320は、第1のコンテンツ入力部101、第2のコンテンツ入力部102、第1のメタデータ取得部201、および第2のメタデータ取得部202に対し、コンテンツ入力またはメタデータ取得の停止を命令する。
【0065】
図8は、上述の再生タイミング決定処理の一例を示す図である。また、図9は、各コンテンツの区間の一例および再生タイミングの決定の様子の一例を示す図である。また、以下の各図において、斜線の区間は重要区間を示し、他の区間は非重要区間を示す。
【0066】
まず、ステップS4010において、編集制御部320は、両コンテンツの時間軸前方から、区間を2区間ずつ選択する。
【0067】
図9に示す例では、編集制御部320は、第1のコンテンツから、区間T1および区間T1を選択する。また、編集制御部320は、第2のコンテンツから、区間T2および区間T2を選択する。これらのうち、第1のコンテンツの2番目の区間であるT1および第2のコンテンツの1番目の区間である区間T2は、重要区間であり、その他は、非重要区間である。
【0068】
上述の通り、重要度が高い連続したシーンは、1つの重要区間に区分され、重要度が低い連続したシーンは、1つの非重要区間に区分されている。すなわち、それぞれのコンテンツにおいて、重要区間と非重要区間とは、交互に表れる。したがって、ステップ4010による選択対象は、2区間ずつであることから、コンテンツごとに、必ず、重要区間と非重要区間とを含むことになる。
【0069】
第1のコンテンツの選択対象の初期開始時刻および初期終了時刻は、時刻t1および時刻t1である。第2のコンテンツの選択対象の初期開始時刻および初期終了時刻は、時刻t2および時刻t2である。
【0070】
なお、以下の説明において、選択中の区間(以下「選択対象」という)における重要区間のうち、他方のコンテンツの重要区間よりも先に開始する重要区間は、「先重要区間」という。そして、選択対象における重要区間のうち、他方のコンテンツの重要区間よりも後に開始する重要区間は、「後重要区間」という。重要区間が同時に始まる場合は、例えば、第1のコンテンツの重要区間を先重要区間とするように予め決めておく。
【0071】
そして、ステップS4020において、編集制御部320は、選択対象において、重要区間が重なるか否かを判断する。重要区間が重なるか否かは、例えば、区間分割データ710に基づき、いずれか一方の終了時刻が他方の開始時刻よりも前であるという条件が満たされるか否かを判断することにより、判断することができる。
【0072】
編集制御部320は、重要区間が重ならない場合(S4020:NO)、ステップS4030へ進む。また、編集制御部320は、重要区間が重なる場合(S4020:YES)、ステップS4040へ進む。
【0073】
ステップS4030において、編集制御部320は、第1のコンテンツおよび第2のコンテンツの選択対象の再生タイミングとして、初期再生タイミングをそのまま決定する。すなわち、編集制御部320は、選択対象の各区間の初期開始時刻および初期終了時刻を、合成コンテンツの時間軸における開始時刻および終了時刻として決定する。
【0074】
ステップS4040において、編集制御部320は、先重要区間の初期終了時刻が、他コンテンツの選択対象の次の1区間の初期終了時刻よりも前であるか否かを判断する。
【0075】
先重要区間の初期終了時刻が、他コンテンツの選択対象の次の1区間の初期終了時刻よりも前である場合とは、先重要区間が比較的短い場合である。すなわち、この場合は、先重要区間を先に再生したほうが、全体として各コンテンツの時間軸の変形が少なくて済む場合である。また、先重要区間の初期終了時刻が、他コンテンツの選択対象の次の1区間の初期終了時刻よりも後である場合とは、先重要区間が比較的長い場合である。すなわち、この場合は、後重要区間を先に再生したほうが、全体として初期の時間軸の変形が少なくて済む場合である。
【0076】
編集制御部320は、先重要区間の初期終了時刻が、他コンテンツの選択対象の次の1区間の初期終了時刻よりも前である場合(S4040:YES)、ステップS4050へ進む。また、編集制御部320は、先重要区間の初期終了時刻が、他コンテンツの選択対象の次の1区間の初期終了時刻よりも前ではない場合(S4040:NO)、ステップS4060へ進む。
【0077】
図9における初期状態では、図9からも明らかなように、先重要区間は、第2のコンテンツの区間T2であり、後重要区間は、第1のコンテンツの区間T1である。先重要区間は、例えば、区間分割データ710に基づき、どちらのコンテンツの重要区間の開始時刻が先であるかを判断することにより、決定することができる。
【0078】
そして、後重要区間である区間T1と先重要区間である区間T2とは、重なり合っている(S4020:YES)。また、先重要区間である区間T2の初期終了時刻t2後重要区間である区間T1の次の区間T1の初期終了時刻t1よりも前である(S4040:YES)。したがって、編集制御部320は、ステップS4050へ進む。
【0079】
ステップS4050において、編集制御部320は、先重要区間を先に再生するように、第1のコンテンツおよび第2のコンテンツの選択対象の再生タイミングを決定する。より具体的には、編集制御部320は、先重要区間とこれに隣接する非重要区間の初期開始時刻を、合成コンテンツにおけるそれぞれの開始時刻に決定する。そして、編集制御部320は、先重要区間の初期終了時刻を、後重要区間の合成コンテンツにおける開始時刻に決定する。更に、編集制御部320は、後重要区間とこれに隣接する非重要区間との位置関係を維持した場合の、当該非重要区間の開始時刻を計算し、得られた時刻を、当該非重要区間の合成コンテンツにおける開始時刻に決定する。
【0080】
ステップS4060において、編集制御部320は、後重要区間を先に再生するように、第1のコンテンツおよび第2のコンテンツの選択対象の再生タイミングを決定する。より具体的には、編集制御部320は、後重要区間とこれに隣接する非重要区間の初期開始時刻を、合成コンテンツにおけるそれぞれの開始時刻に決定する。そして、編集制御部320は、後重要区間の初期終了時刻を、先重要区間の合成コンテンツにおける開始時刻に決定する。更に、編集制御部320は、先重要区間とこれに隣接する非重要区間との位置関係を維持した場合の、当該非重要区間の開始時刻を計算し、得られた時刻を、当該非重要区間の合成コンテンツにおける開始時刻に決定する。
【0081】
図9に示す例では、編集制御部320は、区間T2の終了と同時に(時刻t3)区間T1が開始されるように、選択対象の各区間T1、T1、T2、T2の再生タイミングを決定する。
【0082】
そして、ステップS4070において、編集制御部320は、第1のコンテンツおよび第2のコンテンツの選択対象のうち、初期終了時刻が早いほうについて、選択対象を、次の1区間に移動する。終了時刻が同時である場合、編集制御部320は、例えば、予め第1のコンテンツの終了時刻が早いものと判断する。
【0083】
図9に示す例では、第1のコンテンツの選択対象(区間T1、T1)の初期終了時刻である時刻t1と、第2のコンテンツの選択対象(区間T2、T2)の初期終了時刻t2とでは、前者のほうが早い。したがって、編集制御部320は、第1のコンテンツにおける選択対象を、区間T1、T1から、区間T1に切り替える。
【0084】
なお、選択対象のうち、先に選択対象とした1つまたは2つの区間は、「先選択区間」といい、後に選択対象とした1つまたは2つの区間は、「後選択区間」という。ここでは、先選択区間は、第2のコンテンツの区間T2、T2であり、後選択区間は、第1のコンテンツの区間T1である。
【0085】
そして、ステップS4080において、編集制御部320は、後選択区間の初期終了時刻が、先選択区間の初期終了時刻よりも前であるか否かを判断する。
【0086】
編集制御部320は、後選択区間の初期終了時刻が、先選択区間の初期終了時刻よりも前である場合(S4080:YES)、ステップS4090へ進む。また、編集制御部320は、後選択区間の初期終了時刻が、先選択区間の初期終了時刻よりも前ではない場合(S4080:NO)、ステップS4100へ進む。
【0087】
ステップS4090において、編集制御部320は、後選択区間が、1つ前の区間の直後に再生されるように、後選択区間の再生タイミングを決定する。
【0088】
そして、ステップS4110において、編集制御部320は、再生タイミング決定処理を終了するか否かを判断する。再生タイミング決定処理を終了する場合とは、例えば、いずれか一方のコンテンツの全ての区間の再生タイミングを決定した場合である。
【0089】
編集制御部320は、処理を終了しない場合(S4110:NO)、ステップS4070へ戻る。また、編集制御部320は、処理を終了する場合(S4110:YES)、後述のステップS4130へ進む。
【0090】
図9に示す例では、第1のコンテンツの選択対象(区間T1)の初期終了時刻t1と、第2のコンテンツの選択対象(区間T2、T2)の初期終了時刻t2とでは、前者のほうが早い。すなわち、後選択区間の初期終了時刻が、先選択区間の初期終了時刻よりも前である(S4080:YES)。したがって、編集制御部320は、区間T1が区間T1の直後(t3)に再生されるように、区間T1の再生タイミングを決定する。
【0091】
また、図9に示す例では、第1のコンテンツにも第2のコンテンツにも、未決定の区間が存在する。したがって、編集制御部320は、処理を終了せず(S4110:NO)、ステップS4070へ戻る。第1のコンテンツの選択対象(区間T1)の初期終了時刻t1と、第2のコンテンツの選択対象(区間T2、T2)の初期終了時刻t2とでは、前者のほうが早い。したがって、編集制御部320は、2回目のステップS4070において、第1のコンテンツの選択対象を、区間T1から、区間T1に切り替える。
【0092】
そして、図9に示す例では、第1のコンテンツの選択対象(区間T1)の初期終了時刻t1と、第2のコンテンツの選択対象(区間T2、T2)の初期終了時刻t2とでは、前者のほうが早い。すなわち、後選択区間(区間T1)の初期終了時刻が、先選択区間(区間T2、T2)の初期終了時刻よりも前である(S4080:YES)。したがって、編集制御部320は、区間T1が区間T1の直後(t3)に再生されるように、区間T1の再生タイミングを決定する。そして、第1のコンテンツにも第2のコンテンツにも、未決定の区間が存在するため、処理は終了せず(S4110:NO)、第1のコンテンツの選択対象は、区間T1から、区間T1に切り替わる。
【0093】
後選択区間(区間T1)の初期終了時刻t1は、先選択区間(区間T2、T2)の初期終了時刻t2よりも後である(S4080:NO)。したがって、第1のコンテンツの区間T1と第2のコンテンツの区間T2、T2とが選択対象となった段階で、編集制御部320は、ステップS4100へ進む。この時点で、第1のコンテンツの区間T1〜T1、および、第2のコンテンツの区間T2、T2の再生タイミングが、決定されている。
【0094】
ステップS4100において、編集制御部320は、先選択区間についても、選択対象を次の1区間に移動させる。そして、編集制御部320は、両コンテンツとも、更に次の1区間を選択対象に追加して、それぞれ2区間ずつを選択対象にする。
【0095】
図9に示す例では、先選択区間は第2のコンテンツの区間T2、T2である。したがって、編集制御部320は、第2のコンテンツにおける選択対象を、区間T2、T2から、区間T2に切り替える。そして、編集制御部320は、更に、次の区間T1、I2を、選択対象に追加する。すなわち、編集制御部320は、第1のコンテンツの選択対象を、区間T1、区間T1とし、第2のコンテンツの選択対象を、区間T2、T2とする。
【0096】
そして、ステップS4120において、編集制御部320は、再生タイミング決定処理を終了するか否かを判断する。編集制御部320は、処理を終了しない場合(S4120:NO)、ステップS4020へ戻る。また、編集制御部320は、処理を終了する場合(S4120:YES)、ステップS4130へ進む。
【0097】
編集制御部320は、例えば、少なくとも一方のコンテンツの全ての区間の再生タイミングが決定されるまで、選択対象を切り替えながら、以上のステップS4010〜S4120の処理を繰り返す。
【0098】
ここで、図9から明らかなように、本実施の形態では、合成コンテンツの時間軸上において、区間T2と区間T2および区間T1と区間T1の間に、コンテンツの再生が行われない区間(区間再生の待ち時間)が発生することになる。非再生区間の解消には、いくつかの方法がある。1つ目は、非再生区間に静止画を挿入する方法である。例えば、非再生区間には、区間T2および区間T1の最後フレーム映像、または、任意の静止画を、静止画として挿入する。2つ目は、非重要区間のコンテンツの再生時間を伸縮する方法である。
【0099】
非重要区間のコンテンツの再生時間は、視聴時間を短くすることを考慮すれば、再生時間を圧縮するほうが望ましい。
【0100】
なお、編集制御部320は、初期再生タイミングにできるだけ近い再生タイミングとなるように、非重要区間の再生時間長さを伸縮させて、各区間の再生タイミングを決定してもよい。また、編集制御部320は、合成コンテンツの総再生時間ができるだけ短くなるように、各区間の再生タイミングを決定してもよい。
【0101】
この場合、編集制御部320は、例えば、カット不可の区間については、圧縮率の範囲を0.5〜1とし、カット可の区間については、圧縮率の範囲を0(つまり再生をカット)〜1とする。カットの可否は、例えば、メタデータの一部として取得される各区間の属性から、判断することができる。
【0102】
そして、編集制御部320は、それぞれの圧縮率の範囲内で、隣接する重要区間の再生タイミングが初期の再生タイミングにできるだけ近くなるように、各区間の圧縮率を決定する。または、編集制御部320は、それぞれの圧縮率の範囲内で、合成コンテンツの総再生時間ができるだけ短くなるように、各区間の圧縮率を決定してもよい。
【0103】
図10は、非重要区間を適宜圧縮させた場合の、各コンテンツの区間の一例および再生タイミングの決定の様子の一例を示す図である。
【0104】
図10に示すように、編集制御部320は、非重要区間である区間T1の再生タイミングを決定する際に、その終了時刻t3’を、初期終了時刻t1にできるだけ近くなるように、T1の圧縮率を決定する。この結果、次の非重要区間である区間T1の再生タイミングは、初期の再生タイミングにより近付く。このような処理を行うことにより、各区間の後ろへのずれ込みや、区間再生の待ち時間(例えば図9の時刻t3と時刻t3との間)が低減され、コンテンツの総再生時間が伸びるのを抑えることができる。
【0105】
なお、編集制御部320は、更に、隣接する重要区間の再生タイミングが初期の再生タイミングにできるだけ近くなるように、所定の伸長率の範囲内で、非重要区間を伸長させてもよい。このような処理を行うことにより、区間再生の待ち時間(例えば図10の時刻t3’と時刻t3’との間)を更に低減することができる。
【0106】
そして、図8のステップS4130において、編集制御部320は、未決定の区間があれば適宜その再生タイミングを決定して、第1の時間軸および第2の時間軸に対する編集の内容を決定する。そして、編集制御部320は、決定した編集の内容を示す第1の再生制御情報および第2の再生制御情報を第1の編集部401および第2の編集部402へ出力して、図3の処理へ戻る。
【0107】
編集制御部320は、より具体的には、第1の再生制御情報を記述した第1の再生制御テーブルを、第1の編集部401へ出力し、第2の再生制御情報を記述した第2の再生制御テーブルを、第2の編集部402へ出力する。
【0108】
図11は、第1のコンテンツを編集するための第1の再生制御テーブルの内容の一例を示す図である。ここでは、図10で説明した非重要区間を伸縮させる場合の例を示す。
【0109】
図11に示すように、第1の再生制御テーブル730は、コンテンツの、コンテンツID731、タイトル732、ジャンル733、および時間長734を記述している。また、第1の再生制御テーブル730は、第1のコンテンツの区間ごとに、その区間の区間番号735、初期開始時刻736、初期終了時刻737、再生開始時刻738、再生終了時刻739、および再生制御係数740を記述している。
【0110】
再生開始時刻738および再生終了時刻739は、再生タイミング決定処理(図8参照)により決定された、合成コンテンツの時間軸における各区間の開始時刻および終了時刻である。再生制御係数740は、再生の伸縮率を示す情報である。再生の伸縮率とは、基の時間長に対する合成コンテンツにおける時間長の比(つまり合成コンテンツにおける再生速度に対する基の再生速度の比)である。
【0111】
例えば、図10に示す例において、区間T1(時刻t1〜t1)は、時刻t3'〜t3'に再生されることが決定される。したがって、区間T1の再生制御係数k1は、k1=(t3'−t3')/(t1−t1)を満たす値である。
【0112】
図12は、第2のコンテンツを編集するための第2の再生制御テーブルの内容の一例を示す図である。
【0113】
図12に示すように、第2のコンテンツの再生制御テーブル730も、図11に示す第1の再生制御テーブル730と同様の構成となっているが、記述内容は異なっている。
【0114】
なお、第1および第2の再生制御テーブル730、730には、各区間の重要度や、カット可否を示す属性などの情報が更に記述されていてもよい。
【0115】
また、図11に示すように区間の時間長さの圧縮の指示(つまり、1未満の再生制御係数)が含まれている場合、後段の第1の編集部401および第2の編集部402は、区間の時間長さを圧縮する。具体的には、第1の編集部401および第2の編集部402は、例えば、公知の映像データの間引きや話速変換などの技術を用いて、圧縮の比率に応じて、区間の時間長さを圧縮する。また、区間の時間長さの伸長指示の場合、第1の編集部401および第2の編集部402は、例えば、伸長の比率により、任意時間単位またはランダムに、映像データのフレームをコピーすることにより、コンテンツを編集する。または、第1の編集部401および第2の編集部402は、追加する映像データとして、両サイドのフレームの平均したフレームを生成してもよい。
【0116】
以上のような動作により、コンテンツ再生処理装置10は、コンテンツ間で全体の少なくとも一部が重なりつつ、重要区間が重ならないように、各区間の再生タイミングを決定することができる。そして、コンテンツ再生処理装置10は、決定した再生タイミングで各区間が再生されるように、第1のコンテンツおよび第2のコンテンツを編集・合成して再生することができる。
【0117】
以上で、コンテンツ再生処理装置10の動作についての説明を終える。
【0118】
以上のように、本実施の形態に係るコンテンツ再生処理装置10は、コンテンツ間で全体の少なくとも一部が重なりつつ、重要区間が重ならないように、各区間の再生タイミングを決定する。これにより、コンテンツ再生処理装置10は、それぞれの全体の内容をユーザが効率良く把握することができるように、第1のコンテンツおよび第2のコンテンツを再生処理することができる。
【0119】
(実施の形態3)
本発明の実施の形態3は、上述の第1の閾値を変更して重要区間の分量を調整するようにしたコンテンツ再生処理装置の例である。
【0120】
いずれかのコンテンツの重要区間が非常に長い場合、または、複数のコンテンツの重要区間が比較的長い場合は、重要区間が重複しないようにすると、再生待ち時間や両コンテンツを再生し終えるまでの時間が長くなる。
【0121】
そこで、本実施の形態に係るコンテンツ再生処理装置は、重要区間を適宜減少することにより、再生待ち時間や両コンテンツを再生し終えるまでの時間を短くし、効率良く複数のコンテンツの内容を把握することが、より確実に可能となる。
【0122】
図13は、本実施の形態に係るコンテンツ再生処理装置の構成の一例を示すブロック図であり、実施の形態2の図2に対応するものである。図2と同一部分には、同一符号を付し、これについての説明を省略する。
【0123】
図13において、コンテンツ再生処理装置10aは、図2の第1の重要区間検出部311および第2の重要区間検出部312に替えて、第1の重要区間検出部311a、第2の重要区間検出部312a、および閾値制御部313aを有する。また、コンテンツ再生処理装置10aは、図2の編集制御部320に替えて、編集制御部320aを有する。
【0124】
第1の重要区間検出部311aおよび第2の重要区間検出部312aは、実施の形態2の第1の重要区間検出部311および第2の重要区間検出部312と同様の機能を有する。更に、第1の重要区間検出部311aおよび第2の重要区間検出部312aは、生成した区間分割データ(図5参照)を閾値制御部313aへ通知し、閾値制御部313aからの命令に応じて第1の閾値を変更し、重要区間の検出をし直す。以下、第1のコンテンツデータの区間分割データは、「第1の区間分割データ」といい、第2のコンテンツデータの区間分割データは「第2の区間分割データ」という。
【0125】
閾値制御部313aは、総再生時間長さに対する重要区間の合計再生時間の長さの比率が第2の閾値以上であるコンテンツに対して、当該コンテンツに適用する第1の閾値をより高い値に変更して、重要区間の検出をし直す。より具体的には、閾値制御部313aは、各コンテンツの重要区間の検出が完了するごとに、区間分割データに基づいて、重要区間比が第2の閾値以上か否かをコンテンツごとに判断する。なお、第2の閾値は、予め定められた固定値であってもよいし、ユーザから受け付けた任意の値であってもよい。そして、閾値制御部313aは、判断結果に応じて、第1の重要区間検出部311aおよび第2の重要区間検出部312aの該当するものに対して第1の閾値の増加を命令する。また、閾値制御部313aは、編集制御部320aに対して区間分割の確定を通知する。
【0126】
編集制御部320aは、実施の形態2の編集制御部320と同様の機能を有する。但し、編集制御部320aは、閾値制御部313aからの区間分割の確定の通知があるまで、第1および第2の再生制御情報を第1および第2の編集部401、402へ出力しない。
【0127】
図14は、コンテンツ再生処理装置10aの動作の一例を示すフローチャートであり、実施の形態2の図3に対応するものである。図3と同一部分には同一ステップ番号を付し、これについての説明を省略する。
【0128】
第1および第2の重要区間検出部311a、312aは、ステップS3000において生成した区間分割データ710を、編集制御部320aおよび閾値制御部313aへ出力し、ステップS3500aを経て、ステップS4000へ進む。
【0129】
ステップS3500aにおいて、閾値制御部313aは、重要区間調整処理を行う。重要区間調整処理は、両コンテンツの重要区間比が第2の閾値未満となるように重要区間を調整する処理である。
【0130】
図15は、重要区間調整処理の一例を示すフローチャートである。
【0131】
まず、ステップS3500aにおいて、閾値制御部313aは、入力された第1の区間分割データおよび第2の区間分割データに基づき、いずれかのコンテンツで重要区間比が第2の閾値以上であるか否かを判断する。第2の閾値は、0.1〜0.5の範囲とし、例えば、0.4である。
【0132】
閾値制御部313aは、いずれかのコンテンツで重要区間比が第2の閾値以上である場合(S3510a:YES)、ステップS3520aへ進む。
【0133】
ステップS3520aにおいて、閾値制御部313aは、重要区間比が第2の閾値以上であるコンテンツの第1の閾値を、現在の値から所定の1ポイント分の幅だけ引き上げる。
【0134】
例えば、第1のコンテンツの第1の閾値および第2のコンテンツの第1の閾値は、それぞれ、α1、α2であったとする。なお、これらα1、α2は、同一であってもよいし異なっていてもよい。また、第1のコンテンツの重要区間の再生時間の和および第2のコンテンツの重要区間の再生時間の和は、それぞれ、s1、s2であったとする。第1のコンテンツの全体の再生時間長および第2のコンテンツの全体の再生時間長は、それぞれ、l1およびl2であったとする。更に、第1のコンテンツの第2の閾値および第2のコンテンツの第2の閾値は、それぞれ、β1、β2であったとする。なお、これらβ1、β2は、同一であってもよいし異なっていてもよい。
【0135】
この場合、閾値制御部313aは、第1のコンテンツの重要区間比a1=s1/l1と、第2のコンテンツの重要区間比a2=s2/l2とを算出する。そして、閾値制御部313aは、第1のコンテンツの重要区間比a1を、第1のコンテンツの第2の閾値β1と比較し、第2のコンテンツの重要区間比a2を、第2のコンテンツの第2の閾値β2と比較する。そして、閾値制御部313aは、重要区間比a1が第2の閾値β1以上である場合、第1のコンテンツの第1の閾値α1を予め定められた1ポイント分の幅(Δα1)だけ増加させる。また、閾値制御部313aは、重要区間比a2が第2の閾値β2以上である場合、第2のコンテンツの第1の閾値α2を予め定められた1ポイント分の幅(Δα2)だけ増加させる。
【0136】
この増加幅は、一定値であってもよいし、一定割合の値であってもよい。また、第1のコンテンツの第1の閾値の増加の手法と、第2のコンテンツの第1の閾値の増加の手法とは、同一であってもよいし異なっていてもよい。
【0137】
また、新たな第1の閾値の算出は、閾値制御部313aが行ってもよいし、第1および第2の重要区間検出部311a、312aが行ってもよい。
【0138】
そして、ステップS3530aにおいて、閾値制御部313aは、重要区間比が第2の閾値以上であるコンテンツについて、変更後の第1の閾値に基づいて、区間分割をし直し、ステップS3510aへ戻る。ステップS3510a〜S3530aが繰り返されることにより、両コンテンツの重要区間比は、最終的に第2の閾値未満となる。
【0139】
閾値制御部313aは、両コンテンツで重要区間比が第2の閾値未満である場合、あるいは、重要区間比が第2の閾値未満になった場合(S3510a:NO)、ステップS3540aへ進む。
【0140】
ステップS3540aにおいて、閾値制御部313aは、現在の区間分割を確定し、その旨を編集制御部320aへ通知して、図14の処理へ戻る。
【0141】
図16および図17は、第1の閾値の変更による重要区間の変化の様子の例を示す図である。両図において、横軸は時間軸を示す。また、斜線部分は、重要区間を示す。
【0142】
図16は、初期の第1の閾値において、第1のコンテンツの区間分割751における重要区間は少ないが、第2のコンテンツの区間分割752における重要区間は非常に多い場合を示す。この場合、閾値制御部313aは、第2のコンテンツの第1の閾値を増加させることにより、重要区間が減少した第2のコンテンツの区間分割752を実現する。
【0143】
また、図17は、初期の第1の閾値において、第1のコンテンツの区間分割751における重要区間も第2のコンテンツの区間分割752における重要区間も、比較的多い場合を示す。この場合、閾値制御部313aは、両コンテンツの第1の閾値を増加させることにより、重要区間が減少した第1および第2のコンテンツの区間分割751、752を実現する。
【0144】
このように、本実施の形態に係るコンテンツ再生処理装置10aは、重要区間比が第2の閾値未満になるように各コンテンツを編集することができる。これにより、コンテンツ再生処理装置10aは、コンテンツ間で重要度の基準が異なる場合や、一方の重要度が相対的に高い場合でも、ユーザが両コンテンツの重要区間の内容をバランス良く把握することを可能にする。
【0145】
なお、重要区間の調整の判断基準および調整の度合いの決定の手法は、上述の例に限定されない。例えば、コンテンツ再生処理装置10aは、重要区間の時間長の和、あるいは、重要区間が重なる区間の時間の割合などの各種のパラメータを、閾値調整のためのパラメータとして用いることができる。
【0146】
例えば、重要度が、コンテンツの属性に応じて定まる指標値である場合には、閾値制御部313aは、コンテンツの属性に対応する値を決定し、第1および第2の重要区間検出部311a、312aに対して第1の閾値を変更させてもよい。また、閾値制御部313aは、ユーザから、第1の閾値の設定あるいは変更を受け付けてもよい。
【0147】
(実施の形態4)
本発明の実施の形態4は、コンテンツの区間の再生順序を入れ替えるようにしたコンテンツ再生処理装置の例である。
【0148】
コンテンツには、時間的な流れが重要な意味を持つものと、複数の区間(シーン)が独立して存在し、区間の順序を入れ替えても内容把握への影響の少ないものとがある。前者の一例はドラマなどであり、後者の一例はバラエティ番組などである。後者のようなコンテンツは、言い換えると時間構造依存性が低いコンテンツであり、以下、「時間構造に依存しないコンテンツ」という。
【0149】
そこで、本実施の形態に係るコンテンツ再生処理装置は、時間構造に依存しないコンテンツにおいて、時間軸上の再生順序を、入れ替えることにより、待ち時間や全体の再生時間の増加を抑えるという効果を得るようにする。
【0150】
本実施の形態において、各コンテンツのメタデータは、複数の区間のうちどの区間が相互に入れ替え可能であるかを示す情報を、更に含むものとする。これにより、本実施の形態では、時間構造に依存しないコンテンツにおいて、時間構造に依存する区間を入れ替えの対象から除くことにより、内容把握への影響を少なくしている。
【0151】
図18は、本実施の形態に係るコンテンツ再生処理装置の構成の一例を示すブロック図であり、実施の形態2の図2に対応するものである。図2と同一部分には同一符号を付し、これについての説明を省略する。
【0152】
図18において、コンテンツ再生処理装置10bは、図2の編集制御部320に替えて、編集制御部320bを有する。
【0153】
編集制御部320bは、実施の形態2の編集制御部320と同様の機能を有する。更に、編集制御部320bは、どの区間が相互に入れ替え可能であるかを示す情報に基づいて、複数のコンテンツ間における重要区間の重なりが低減するように、区間の入れ替えを決定する。編集制御部320bは、複数のコンテンツ間における重要区間の重なりの有無に基づいて、区間の順序の入れ替えを含めた時間軸の編集の内容を決定する。
【0154】
図19は、本実施の形態におけるメタデータの内容の一例を示す図であり、実施の形態2の図4に対応するものである。
【0155】
メタデータは、例えば、図19(a)に示すシーン情報770と、図19(b)に示す入れ替え可否情報780とを含む。シーン情報770は、実施の形態2の図4に示すメタデータ700に相当するものである。
【0156】
図19(a)に示すように、シーン情報770は、コンテンツID771、タイトル772、ジャンル773、時間長774、および再生順情報775を記述している。再生順情報は、再生順の入れ替えが可能な区間が存在するか否か、つまり、入れ替え可否情報780が存在するか否かを示す情報である。また、シーン情報770は、コンテンツに含まれるシーンごとに、そのシーンの、シーン番号776、開始時刻777、終了時刻778、および重要度779を記述している。
【0157】
また、図19(b)に示すように、入れ替え可否情報780は、シーンのグループごとに、グループ番号781、開始シーン番号782、終了シーン番号783、および入れ替えフラグ784を記述している。
【0158】
シーンのグループは、入れ替えの単位となる区間を示すもので、1つまたは複数の連続するシーンから成る。入れ替えフラグ784は、入れ替え可否およびどのような入れ替えが可能かを示す情報である。
【0159】
例えば、「1」という入れ替えフラグ784は、入れ替え相手の位置によらず入れ替え可能であることを示す。「0」という入れ替えフラグ784は、移動先の位置によらず入れ替え不可であることを示す。
【0160】
この場合、図19(b)に示す例では、グループ番号「1」のグループとグループ番号「2」のグループとの入れ替えが可能ということになる。
【0161】
なお、入れ替えフラグ784は、入れ替え相手の位置を具体的に指定する情報や、入れ替え可能な条件を示す情報であってもよい。この場合、編集制御部320bは、これらの情報に従って、区間の入れ替えを決定する。
【0162】
図20は、図19のメタデータの内容を模式的に示す図である。
【0163】
図20に示すように、グループ番号「1」〜「4」のグループ区間G1〜G1の区切りは、例えば、区間T1〜T1の区切りに一致し、かつ、連続している。なお、グループ区間の区切りは、必ずしも区間の区切りに一致しなくてもよく、また、連続していなくてもよい。
【0164】
なお、本実施の形態において、編集制御部320bは、処理対象となっているコンテンツが時間構造に依存しないコンテンツであるか否かを判断する。この判断は、例えば、メタデータの再生順情報(図19参照)に基づいて行うことができる。そして、編集制御部320bは、時間構造に依存しないコンテンツでない場合、以下に説明する処理ではなく、図8で説明した処理を行うようにしてもよい。
【0165】
図21は、本実施の形態における再生タイミング決定処理の一例を示すフローチャートであり、実施の形態2の図8に対応するものである。図8と同一部分には同一ステップ番号を付し、これについての説明を省略する。また、図22は、再生タイミングの決定の様子の一例を示す図であり、実施の形態2の図9に対応するものである。なお、図22の例では、第1のコンテンツが時間構造に依存しないコンテンツであり、区間の入れ替えが可能である。第2のコンテンツは、時間構造に依存したコンテンツで、区間の入れ替えができないものである。
【0166】
編集制御部320bは、選択対象において重要区間が重なる場合(S4020:YES)、ステップS4021bへ進む。
【0167】
図22に示す例では、第1のコンテンツの区間T1および第2コンテンツの区間T2は、重要区間であり、重なっている(S4020:YES)。したがって、処理は、ステップS4021bへ進む。
【0168】
ステップS4021bにおいて、編集制御部320bは、重なっている重要区間の少なくとも一方が順序入れ替え可能であるか否かを判断する。具体的には、編集制御部320bは、シーン情報770および入れ替え可否情報780(図19参照)と、区間分割データ710(図5参照)とに基づいて、重要区間が属するグループを特定し、そのグループが入れ替え可能か否かを判断する。
【0169】
編集制御部320bは、重なっている重要区間の少なくとも一方が順序入れ替え可能である場合(S4021b:YES)、ステップS4022bへ進む。また、編集制御部320bは、重なっている重要区間の両方ともが順序入れ替え不可である場合(S4021b:NO)、ステップS4040へ進む。
【0170】
図22に示す例では、第1のコンテンツの重要区間T1を含むグループ区間G1と次のグループ区間G1とは、入れ替え可能である(図19参照)(S4021b:YES)。したがって、処理は、ステップS4022bへ進む。
【0171】
ステップS4022bにおいて、編集制御部320bは、入れ替え可能なグループの組み合わせ(入れ替えない場合も含む)ごとに、重要区間重なり率を計算する。ここで、重要区間重なり率とは、一方の重要区間の時間長さに対する、当該重要区間と他方の重要区間とが重なる時間の長さの比のうち、大きい方の値である。すなわち、例えば、第1のコンテンツの選択対象の重要区間のうちの50%の部分と、第2のコンテンツの選択対象の重要区間のうちの20%の部分とが重なっている場合、重要区間重なり率は、50%となる。
【0172】
そして、ステップS4023bにおいて、編集制御部320bは、重要区間重なり率が最も低い組み合わせとなるように、グループの入れ替え(入れ替えない場合を含む)を行い、初期の再生タイミングを修正する。すなわち、入れ替えがあった部分については、入れ替え後の再生タイミングを初期の再生タイミングとして、以降の再生タイミングの決定が行われる。
【0173】
図22に示す例では、グループ区間G1とグループ区間G1とを入れ替えない場合よりも、入れ替えた場合の方が、重要区間重なり率が低い。したがって、編集制御部320bは、図22に示すように、グループ区間G1とグループ区間G1とを入れ替える。
【0174】
ステップS4024bにおいて、編集制御部320bは、重要区間が重なっているか否かを判断する。編集制御部320bは、重要区間が重なっている場合(S4024b:YES)、ステップS4040へ進む。また、編集制御部320bは、重要区間が重なっていない場合(S4024b:NO)、ステップS4030へ進む。
【0175】
図22に示す例では、入れ替え後の状態において、第1のコンテンツの区間T1および第2コンテンツの区間T2は、重要区間であり、重なっている(4024b:YES)。したがって、処理は、ステップS4040へ進む。更に、編集制御部320bは、ステップS4040以降を進めた結果、図22に示すように、区間T1と区間T2とが重ならないように、各コンテンツの再生タイミングを調整して決定する。図22に示す例では、グループ区間G1とグループ区間G1とを入れ替えることにより、全体の全体の再生時間の増加を抑えることができる。
【0176】
すなわち、編集制御部320bは、ステップS4021b〜S4024bの処理により、できるだけ重要区間が重ならないように可能な範囲で区間入れ替えを行ってから、非重要区間の伸縮による時間軸の調整に移ることができる。この結果、本実施の形態では、入れ替えを行わないまま再生タイミングを決定した場合よりも、双方のコンテンツの重要区間と非重要区間とを効率良く組み合わせることができ、全体として、総再生時間を短縮することが可能となる。
【0177】
なお、コンテンツの再生制御テーブルは、初期再生タイミングの順序で情報を記述してもよいし、決定された合成コンテンツにおける再生タイミングの順序で情報を記述してもよい。
【0178】
このように、本実施の形態に係るコンテンツ再生処理装置10bは、時間構造に依存しないコンテンツの入れ替え可能な区間に対して、時間軸上の再生位置を入れ替える。これにより、コンテンツ再生処理装置10bは、待ち時間や全体の再生時間の増加を抑えつつ、それぞれの全体の内容をユーザが効率良く把握することができるように、第1のコンテンツおよび第2のコンテンツを再生処理することができる。
【0179】
なお、以上説明した本発明の実施の形態2〜実施の形態4では、2つのコンテンツを同時に出力する場合について説明したが、コンテンツ再生処理装置は、3つ以上のコンテンツを同時に出力してもよい。
【0180】
また、編集制御部は、更に、複数のコンテンツを同時に再生したときにこれらの再生が同時に終了するように、複数の時間軸の編集の内容を決定してもよい。
【0181】
また、コンテンツ再生処理装置は、1つの画面ではなく、複数の分離した画面(例えば、複数のディスプレイの画面)のそれぞれに分離して、コンテンツを表示してもよい。
【0182】
また、コンテンツ再生処理装置は、コンテンツが複数のサブコンテンツの集合として構成されている場合に、サブコンテンツを上述の区間として扱い、各サブコンテンツの再生タイミングを決定してもよい。
【0183】
以上、本発明の各実施の形態について説明したが、本発明は、これら実施の形態に限定されるものではなく、特許請求の範囲を逸脱しない限りにおいて他の応用例、変形例を含むことはいうまでもない。
【0184】
例えば、上記の各実施の形態では、複数のコンテンツを同時視聴する場合の処理例について記載している。しかし、時間依存性の少ないコンテンツでは、ひとつのコンテンツを複数に分割して同時視聴するような場合にも本発明を適用することができる。
【0185】
また、ストレッチ運動の教則映像のようにコンテンツは、コンテンツそのものが、動きを指導するパート(動画)と姿勢を維持する時間(静止画と継続時間)とで、構成される特別な構造を持っている場合にも本発明を適用可能である。
【0186】
(その他変形例)
なお、本発明を上記実施の形態に基づいて説明してきたが、本発明は、上記の実施の形態に限定されないのはもちろんである。本発明は、以下のような場合も含まれる。
【0187】
(1)具体的には、上記の各装置は、マイクロプロセッサ、ROM、RAM、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。前記RAMまたはハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
【0188】
(2)上記の各装置を構成する構成要素の一部または全部は、1個のシステムLSI(Large Scale Integration:大規模集積回路)から構成されてもよい。システムLSIは、複数の構成部を1個のチップ上に集積して製造された超多機能LSIであり、具体的には、マイクロプロセッサ、ROM、RAMなどを含んで構成されるコンピュータシステムである。前記RAMには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムに従って動作することにより、システムLSIは、その機能を達成する。
【0189】
(3)上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なICカードまたは単体のモジュールから構成されているとしてもよい。前記ICカードまたは前記モジュールは、マイクロプロセッサ、ROM、RAMなどから構成されるコンピュータシステムである。前記ICカードまたは前記モジュールは、上記の超多機能LSIを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、前記ICカードまたは前記モジュールは、その機能を達成する。このICカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。
【0190】
(4)本発明は、上記に示す方法であるとしてもよい。また、これらの方法は、コンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。
【0191】
また、本発明は、前記コンピュータプログラムまたは前記デジタル信号をコンピュータ読み取り可能な記録媒体に記録したものでもよい。例えば、記録媒体は、フレキシブルディスク、ハードディスク、CD−ROM、MO、DVD、DVD−ROM、DVD−RAM、BD(Blu-ray Disc)、半導体メモリなどである。また、前記デジタル信号は、これらの記録媒体に記録されているものとしてもよい。
【0192】
また、本発明は、前記コンピュータプログラムまたは前記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
【0193】
また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、前記メモリに上記コンピュータプログラムを記憶してもよい。前記マイクロプロセッサは、前記コンピュータプログラムにしたがって動作するとしてもよい。
【0194】
また、前記プログラムもしくは前記デジタル信号は、前記記録媒体に記録して移送することにより、または、前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
【0195】
(5)本発明は、上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。
【産業上の利用可能性】
【0196】
本発明は、それぞれの全体の内容をユーザが効率良く把握することができるように、複数のコンテンツを再生処理することができる、コンテンツ再生処理装置およびコンテンツ再生処理方法として有用である。具体的には、本発明に係るコンテンツ再生処理装置は、例えば、コンテンツ入力部を有し、テレビ受信機、録画機器、パソコン、およびワンセグ受信機などの映像を表示する機器として有用である。
【符号の説明】
【0197】
10、10a、10b コンテンツ再生処理装置
101 第1のコンテンツ入力部
102 第2のコンテンツ入力部
103 第1の記憶部
104 第2の記憶部
201 第1のメタデータ取得部
202 第2のメタデータ取得部
300 再生制御部
310 重要区間検出部
311、311a 第1の重要区間検出部
312、312a 第2の重要区間検出部
313a 閾値制御部
320、320a、320b 編集制御部
401 第1の編集部
402 第2の編集部
500 出力制御部
601 出力部

【特許請求の範囲】
【請求項1】
複数のコンテンツを、少なくとも一部が重なって再生されるように、時間軸に沿ってそれぞれ再生処理するコンテンツ再生処理装置において、
前記複数のコンテンツのそれぞれから、前記コンテンツの区間ごとに付与された重要度に基づいて、重要区間および非重要区間を検出する重要区間検出部と、
前記複数のコンテンツの間で、前記重要区間が重ならないように、前記複数のコンテンツのそれぞれの前記重要区間および前記非重要区間の再生タイミングを決定する編集制御部と、を有する、
コンテンツ再生処理装置。
【請求項2】
複数のコンテンツを、少なくとも一部が重なって再生されるように、時間軸に沿ってそれぞれ再生処理するコンテンツ再生処理装置において、
前記複数のコンテンツを入力するコンテンツ入力部と、
入力された前記複数のコンテンツを記憶する記憶部と、
前記コンテンツごとに、各区間の開始時刻および重要度を含むメタデータを取得するメタデータ取得部と、
前記複数のコンテンツのそれぞれから、前記重要度に基づいて、重要区間および非重要区間を検出する重要区間検出部と、
前記複数のコンテンツの間で前記重要区間が重ならないように、前記複数のコンテンツのそれぞれの前記重要区間および前記非重要区間の再生タイミングを決定する編集制御部と、
前記複数のコンテンツのそれぞれの前記重要区間および前記非重要区間が、その決定された前記再生タイミングに従って再生されるように、前記複数のコンテンツをそれぞれ編集する編集部と、
編集された前記複数のコンテンツを合成する出力制御部と、を有する、
コンテンツ再生処理装置。
【請求項3】
前記メタデータは、区間ごとに、その区間の終了時刻または継続時間を含む、
請求項2記載のコンテンツ再生処理装置。
【請求項4】
前記メタデータは、区間ごとに、その区間の再生時間の伸縮を許可するか否かを示す情報を含む、
請求項2記載のコンテンツ再生処理装置。
【請求項5】
前記区間は、各コンテンツの場面(シーン)、セグメント、または、任意の時間単位である、
請求項2に記載のコンテンツ再生処理装置。
【請求項6】
前記重要区間検出部は、
総再生時間長さに対する前記重要区間の合計再生時間の長さの比率と、各区間に付与された前記重要度とに基づいて、前記重要区間と非重要区間を検出する、
請求項2記載のコンテンツ再生処理装置。
【請求項7】
前記重要度は、前記コンテンツの属性に応じて定まる指標値であり、
前記重要区間検出部は、
前記区間を、当該区間の前記重要度と第1の閾値との比較に基づいて、前記重要区間と前記非重要区間とに振り分け、前記コンテンツごとに、当該コンテンツの属性に応じて前記第1の閾値を変更する、
請求項2記載のコンテンツ再生処理装置。
【請求項8】
前記メタデータは、複数の区間のうちどの区間が相互に入れ替え可能であるかを示す情報を含む、
請求項2記載のコンテンツ再生処理装置。
【請求項9】
複数のコンテンツを、少なくとも一部が重なって再生されるように、時間軸に沿ってそれぞれ再生処理するコンテンツ再生処理方法において、
前記複数のコンテンツのそれぞれから、前記コンテンツの区間ごとに付与された重要度に基づいて、重要区間および非重要区間を検出するステップと、
前記複数のコンテンツの間で前記重要区間が重ならないように、前記複数のコンテンツのそれぞれの前記重要区間および前記非重要区間の再生タイミングを決定するステップと、を有する、
コンテンツ再生処理方法。
【請求項10】
複数のコンテンツを、少なくとも一部が重なって再生されるように、時間軸に沿ってそれぞれ再生処理するコンテンツ再生処理方法において、
前記複数のコンテンツを入力して記憶すると共に、前記コンテンツごとに各区間の開始時刻および重要度を含むメタデータを取得するステップと、
前記複数のコンテンツのそれぞれから、前記重要度に基づいて、重要区間および非重要区間を検出するステップと、
前記複数のコンテンツの間で前記重要区間が重ならないように、前記複数のコンテンツのそれぞれの前記重要区間および前記非重要区間の再生タイミングを決定するステップと、
前記複数のコンテンツのそれぞれの前記重要区間および前記非重要区間が、その決定された前記再生タイミングに従って再生されるように、前記複数のコンテンツをそれぞれ編集するステップと、
編集された前記複数のコンテンツを合成して出力するステップと、を有する、
コンテンツ再生処理方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate

【図21】
image rotate

【図22】
image rotate


【公開番号】特開2013−74490(P2013−74490A)
【公開日】平成25年4月22日(2013.4.22)
【国際特許分類】
【出願番号】特願2011−212549(P2011−212549)
【出願日】平成23年9月28日(2011.9.28)
【出願人】(000005821)パナソニック株式会社 (73,050)
【Fターム(参考)】