表示装置、方法及びプログラム
【課題】本編とＣＭを含む動画データ中から本編とＣＭの切り替わりのポイントの候補を検出し、検出した候補の中から誤検出されたものをユーザが素早く判断することを可能にする。
【解決手段】動画データから切り替わりのポイントの前後の所定の範囲を編集の候補範囲として検出し、ＣＭの開始直前のフレーム、及び、当該ＣＭの終了したあとの本編開始直後のフレームを、同時に表示することを特徴とする表示装置１である。
【解決手段】動画データから切り替わりのポイントの前後の所定の範囲を編集の候補範囲として検出し、ＣＭの開始直前のフレーム、及び、当該ＣＭの終了したあとの本編開始直後のフレームを、同時に表示することを特徴とする表示装置１である。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示装置、方法及びプログラムに関し、特に、動画データを編集のために表示（いわゆるプレビュー）する表示装置、方法及びプログラムに関する。
【背景技術】
【０００２】
テレビジョン放送においては、放送中の番組の制作費を一部負担するためにコマーシャル広告（以下、「ＣＭ」という）を放送の合間に入れるということがよく行われている。しかしながら、一続きの放映コンテンツが例えば映画などであって、これをユーザが録画装置で録画しているような場合には、合間に挿入される本編とは関係ないＣＭを削除して録画したいというようなニーズがある。
【０００３】
ＣＭを自動的に検知する技術としては、例えば、特許文献１の段落０００７ないし０００９に記載の技術が知られている。ここで開示されている技術は、第１に音声多重モードへの切り替わりを検出する方法、第２に無音区間を検出する方法である。この第２の方法は、ＣＭの直前に１０ｍｓ程度無音の区間があることに着目して、ＣＭを自動検出する。
【０００４】
他方、例えば特許文献２には、録画装置でユーザがＣＭを手動で削除する際に、編集画面にＣＭの始まりや終了点をユーザに示して、ユーザの編集作業を補助する技術が開示されている（段落００５４等参照）。
【０００５】
録画した動画像データのユーザによる編集を補助する技術においては、連続する複数のフレームを並べて表示することがよく行われている（このような表示を以下、「フィルムロール方式による表示」という。なお、厳密に「連続」していなくても、一定の間隔でフレームを抽出したものを並べて表示してもよい。）。しかしながら、このフィルムロール方式による表示ではメモリ使用量が多いため、特許文献２は最大で２フレームのみの表示を行いＣＭの始まりや終了点を素早く選ぶことができるようにしている。この２フレームは、隣接する２フレームである。
【０００６】
なお、特許文献３には、動画再生装置において、スキップ操作で飛ばした区間のサムネイルを抽出し複数枚表示することで、スキップした区間の概要をユーザが素早く把握できるようにする技術が開示されている。また、特許文献４には、複数のフレームを同時に表示して素早く目的のシーンをサーチする技術に関し、時間的に前後する複数フレーム（実施例ではあるフレームの前後２フレーム分、計５枚）を同時に表示する技術について記載がある。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００３−０４７０３１号公報
【特許文献２】特開２００９−０７７０４０号公報
【特許文献３】特開２００９−０４４２１０号公報
【特許文献４】特開２００６−１２９５２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
従来、ＣＭを削除して本編だけを記録する編集作業においては、本編とＣＭの境目／切り替わりのポイントに編集点を打ち、この編集点を利用してＣＭを削除するという作業が行われている。この編集作業を補助するために、編集点の候補となる候補点を自動で検出する技術が既に知られているが（例えば、特許文献１）、このような候補点自動検出技術には種々の問題点がある。図６を参照して説明する。
【０００９】
図６（ａ）に、例えば、あるチャンネルを所定の時間録画し続けた動画データに対して候補点自動検出を行った結果を示す。動画データは、図示のように「本編」と「ＣＭ」という複数のコンテンツが連続するデータである。自動検出された編集の候補点は、例えば、図中（１）〜（５）のように検出される。しかしながら、候補点（１），（４）のように編集点としては誤った点が候補点として検出される、候補点（２），（３），（５）のように本来望ましい編集点より前や後にずれて候補点が検出される、といった問題点がある。誤った候補点やずれた候補点を使ってそのまま編集すると、本編が欠けたり、本編以外のシーンが一部残るといった不具合が生じる。
【００１０】
そこで、自動検出された編集の候補点をユーザが削除して、正しい候補点を手動で再指定する必要があるが、サムネイルの確認やチャプタースキップ再生では編集の候補点が正しく検出できているかすぐに判断できないという問題点がある。
図６（ｂ）に、サムネイルの確認に用いるサムネイル表示例を示す。表示例は、それぞれ、候補点（１）〜（５）を示す。サムネイル表示を見ただけでは、編集点として使える候補点であるか否か、ユーザには判断できない。
【００１１】
図６（ｃ）に、チャプタースキップ再生した場合に再生される動画像の概念を説明するための図を示す。チャプタースキップ再生は、編集の候補点から動画を再生することである。ユーザは、再生された動画を見て編集点として使える候補点であるか否かを判断する。しかしながら、候補点（４）のように、候補点が実際のＣＭ開始よりも後ろ側にずれてしまったような場合には、候補点（４）より前のＣＭが本編扱いとなってしまう。なおかつ、そのことがユーザには分からない。
【００１２】
正しい候補点を手動で再指定する場合の問題点を解決するために、候補点前後のフレームを前出の「フィルムロール方式」で表示することを考える。表示例は、図６（ｄ）のようになる。ユーザは、候補点（４）より前に本編の画像がないので、候補点（４）が誤った編集点であることが判断可能である。しかしながら、フィルムロール方式による表示は、表示に時間がかかるという問題点がある。
【００１３】
本発明は、上述した実情に鑑みてなされたものであって、コンテンツの境目の候補を検出し、検出した候補の中から誤検出されたものをユーザが素早く判断できる表示装置、方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１４】
上記目的を達成するために本発明は、第１の態様として、表示手段を有する表示装置であって、本編とＣＭを含む動画データから前記本編とＣＭの境目の候補範囲を検出する候補範囲検出手段と、検出された前記候補範囲の最初のフレームと最後のフレームの組を抽出する表示制御手段と、を備え、前記表示制御手段は、抽出した前記組を２組抽出し、前記表示手段に表示させることを特徴とする、表示装置を提供するものである。
【００１５】
また、本発明は、第２の態様として、本編とＣＭを含む動画データから前記本編とＣＭの境目の候補範囲を検出する候補範囲検出工程と、検出された前記候補範囲の最初のフレームと最後のフレームの組を抽出する工程と、抽出した前記組を２組、同時に表示する表示工程と、を含むことを特徴とする、表示方法を提供するものである。
【００１６】
また、本発明は、第３の態様として、コンピュータに、本編とＣＭを含む動画データから前記本編とＣＭの境目の候補範囲を検出する候補範囲検出処理と、検出された前記候補範囲の最初のフレームと最後のフレームの組を抽出する処理と、抽出した前記組を２組、同時に表示する表示処理と、を実行させることを特徴とする、プログラムを提供するものである。
【発明の効果】
【００１７】
本発明によれば、コンテンツの境目の候補を検出し、検出した候補の中から誤検出されたものをユーザが素早く判断できる表示装置、方法及びプログラムを提供することが可能となる。
【図面の簡単な説明】
【００１８】
【図１】本発明を好適に実施した一実施形態の機能構成を示すブロック図である。
【図２】図１の表示手段１０３に表示される候補範囲のサムネイルの表示例を示す図である。
【図３】本実施形態において、抽出した候補範囲の最初のフレームと最後のフレームの組を２組並べて同時に表示させた場合の、表示例を示す図である。
【図４】本実施形態において、抽出した候補範囲の最初のフレームと最後のフレームの組を２組並べて同時に表示させる構成の概念を示す図である。
【図５】本実施形態において、編集点を打つ場合に用いられる候補範囲のフィルムロール方式による表示の表示例を示す図である。
【図６】従来技術の問題点を説明するための図である。
【発明を実施するための形態】
【００１９】
図１に、本発明を好適に実施した一実施形態の機能構成を示す。
本実施形態に係る表示装置１は、例えば、ＣＰＵ等の演算装置、メモリ等の一次記憶装置、ＨＤＤ等の二次記憶装置を備える汎用のコンピュータと、該コンピュータを利用して所定の処理を実行するソフトウェアプログラムとによって実現可能である。表示装置１は、候補範囲検出手段１０１と、表示制御手段１０２と、表示手段１０３とを有する。
【００２０】
まず、表示手段１０３を説明する。表示手段１０３は、例えば、液晶表示装置等であって、表示装置１の処理結果をユーザが視覚的に感知しうるよう出力する手段である。表示手段１０３は、表示制御手段１０２の制御によって表示画面を出力する。
【００２１】
候補範囲検出手段１０１は、入力される動画データからコンテンツの境目の「候補範囲」を検出する。動画データは、複数のコンテンツが連続する動画データである。コンテンツとは、例えば、あるＣＭや、テレビ番組等のことをいう。動画データは、典型的には、テレビジョン放送のあるチャンネルを所定の時間録画し続けたデータであるが、これに限定されない。なお、動画データは、図示しない二次記憶装置から入力されてもよく、図示しないネットワークを経由した外部のサーバから入力されてもよい。
【００２２】
「候補範囲」とは、候補範囲検出手段１０１がコンテンツの境目／切り替わりのポイントと判断するポイント（候補点）を含む所定の範囲である。候補範囲検出手段１０１がコンテンツの境目／切り替わりのポイントを検出する方法としては、種々の方法が利用できる。本実施形態では、下記の第１及び第２の方法を用いる。
【００２３】
第１の方法としては、動画データ中の音声信号に基づいて、音声が無音となる区間（無音区間）を検出し、検出した無音区間内の任意の点を境目／切り替わりのポイント（すなわち候補点）とする方法である。この方法の場合、無音区間の開始から終了までを「候補範囲」とする。この方法によれば、コンテンツの境目／切り替わりのポイントに通常、１０ｍｓ程度の無音区間を入れるＣＭと本編コンテンツの間や、ＣＭとＣＭの間などを効率よく検出することができる。
【００２４】
第２の方法としては、動画データ中の映像信号の変化の激しさをモニタして、劇的に変化するポイントを、コンテンツの境目／切り替わりのポイント（すなわち候補点）とする公知の方法である。しかしながら、候補範囲検出手段１０１は、この方法を用いる場合でも、検出した候補点を含む前後の所定の範囲を「候補範囲」とする。
【００２５】
第１、第２の方法ともに、検出した候補点を含む前後の所定の範囲を、ＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅｓ）単位で数ＧＯＰの範囲（前に数ＧＯＰ、後に数ＧＯＰ）としてもよい。テレビジョン放送をＭＰＥＧ−２で録画する場合は、動画データを、１ＧＯＰを０．５秒とするＧＯＰ単位で管理している。したがって、具体的には例えば候補点を含むＧＯＰの前後１又は２ＧＯＰ（１．５〜２．５秒）を候補範囲とする。候補範囲を候補点の前後数ＧＯＰの範囲とすることで、表示制御手段が抽出する候補範囲の最初のフレームと最後のフレーム（候補範囲のサムネイルとして用いる）として、１ＧＯＰの中に含まれるキーフレームを利用することができ、サムネイルの表示が速くなる。
【００２６】
表示制御手段１０２は、候補範囲検出手段１０１により検出された候補範囲から候補範囲の最初のフレームと最後のフレームを抽出する。また、表示制御手段１０２は、抽出した候補範囲の最初のフレームと最後のフレームの組を、候補範囲のサムネイルとして表示手段１０３に表示させる。
【００２７】
図２に、表示手段１０３に表示される候補範囲のサムネイルの表示例を示す。
図２（ａ）は、例えば、あるチャンネルを所定の時間録画し続けた動画データに対して候補点自動検出を行った結果を示したものであって、図６（ａ）と同等である。図２（ａ）ではコンテンツの境目を候補展示同検出を行ってその前後の所定の範囲を候補範囲とする方法（前述の第２の方法）で候補範囲を検出している。
【００２８】
図２（ｂ）が表示手段１０３に表示される候補範囲のサムネイルの表示例である。図２（ｂ）には、便宜上、上段に候補範囲の最初のフレーム、下段に候補範囲の最後のフレームを記載しているが、左右に並べて表示してもよい。このように、コンテンツの境目／切り替わりのポイント又は候補点と考えられるポイントをまたいだ前後の映像をサムネイルで示すと、候補点（２），（３），（５）のように、自動検出の結果が実際のコンテンツの境目よりも数フレーム前後へずれたような場合であっても、ユーザは２つのサムネイルを見比べることによって、容易にコンテンツの切り替わりを認知しうる。
【００２９】
一方で、候補点（１），（４）のように、誤検出の場合であれば、ユーザは２つのサムネイルを見比べることによって、コンテンツが切り替わっていないことを容易に認知しうる。つまり、ユーザは前後を確認することで、誤った編集の候補範囲をすぐに特定し、削除することができる。言い換えれば、本実施形態によれば、編集の候補点を点ではなく範囲とし、本編とＣＭのようにコンテンツの境目／切り替わりのポイントをまたがせることで、正しい編集の候補点であるか否かをユーザが素早く判断し修正することを可能にすることができる。
【００３０】
さらに本実施形態においては、表示制御手段１０２は、抽出した候補範囲の最初のフレームと最後のフレームの組を、２組並べて、同時に、候補範囲のサムネイルとして表示手段１０３に表示させる。
【００３１】
図３に、抽出した候補範囲の最初のフレームと最後のフレームの組を２組並べて同時に表示させた場合の、表示例を示す。
図３において、表示手段１０３の表示面には、表示制御手段１０２の制御にしたがって、２つの候補範囲（本例では候補範囲（１１），（１２））のサムネイルが表示されている。サムネイル１１１、１１２は候補範囲（１１）のサムネイル、サムネイル１２１、１２２は候補範囲（１２）のサムネイルである。動画の時間軸上では、サムネイル１１１、１１２、１２１、１２２の順に、古いフレームから新しいフレームが並んでいる。
【００３２】
このように２組並べて同時に表示させることで、ユーザはサムネイルの画像間の類似を視認することが容易になり、ユーザが編集点を打った後に削除する不要なコンテンツを選びやすくすることができる。例えば、図３に示すように、本編の間にＣＭが挟まれているような場合、サムネイル１１１とサムネイル１２２の類似をユーザが確認できれば、候補範囲（１１），（１２）に各々編集点を打ち、この２つの編集点の間はＣＭが挿入されている区間であるとして削除することが容易になる。
【００３３】
２組並べて同時に表示させる構成は、図４に示すように、本編と本編の間にＣＭが複数挿入されているような場合に、より効果的である。図４では、候補範囲検出手段１０１が候補範囲（１１），（１３），（１４），（１２）を、検出した場合を示している。ユーザは、候補範囲（１３），（１４）を編集点を打つために用いてもよいが、本編だけを残すために編集作業を行っている場合は、複数のＣＭをまとめて削除できる編集点を打つと効率がよい。そうすると、図３に例示したような２組の編集候補のサムネイルを表示させて、ユーザが本編の中断から本編の再開までを確認可能であるような構成が効果的である。
【００３４】
なお、本実施形態において、候補範囲検出手段１０１が検出した候補範囲を用いてユーザが編集点を打つ場合は、表示制御手段１０２が、編集点を打つ対象となる候補範囲をフィルムロール方式で表示手段１０３に表示させる。
【００３５】
図５に、編集点を打つ場合に用いられる候補範囲のフィルムロール方式による表示の表示例を示す。
図５では、一例として、候補範囲検出手段１０１が検出した候補範囲（５１）のフィルムロール方式による表示を示している。なお、検出の方法としては、前述の第２の方法（候補点を自動検出し前後の所定の範囲を候補範囲とする方法）を用いており、図５中では候補点（５）が自動検出されている。なお、サムネイル５２は、表示制御手段１０２が抽出する候補範囲（５１）の最初のフレーム、サムネイル５３は、最後のフレームである。
【００３６】
このように、表示制御手段１０２が、編集点を打つ対象となる候補範囲をフィルムロール方式で表示手段１０３に表示させることによって、ユーザは、候補点（５）を編集点（５ａ）にシフトさせるなどの種々の方法を用いて、容易に編集点を打つことが可能になる。
【符号の説明】
【００３７】
１ 表示装置
１０１ 候補範囲検出手段
１０２ 表示制御手段
１０３ 表示手段
【技術分野】
【０００１】
本発明は、表示装置、方法及びプログラムに関し、特に、動画データを編集のために表示（いわゆるプレビュー）する表示装置、方法及びプログラムに関する。
【背景技術】
【０００２】
テレビジョン放送においては、放送中の番組の制作費を一部負担するためにコマーシャル広告（以下、「ＣＭ」という）を放送の合間に入れるということがよく行われている。しかしながら、一続きの放映コンテンツが例えば映画などであって、これをユーザが録画装置で録画しているような場合には、合間に挿入される本編とは関係ないＣＭを削除して録画したいというようなニーズがある。
【０００３】
ＣＭを自動的に検知する技術としては、例えば、特許文献１の段落０００７ないし０００９に記載の技術が知られている。ここで開示されている技術は、第１に音声多重モードへの切り替わりを検出する方法、第２に無音区間を検出する方法である。この第２の方法は、ＣＭの直前に１０ｍｓ程度無音の区間があることに着目して、ＣＭを自動検出する。
【０００４】
他方、例えば特許文献２には、録画装置でユーザがＣＭを手動で削除する際に、編集画面にＣＭの始まりや終了点をユーザに示して、ユーザの編集作業を補助する技術が開示されている（段落００５４等参照）。
【０００５】
録画した動画像データのユーザによる編集を補助する技術においては、連続する複数のフレームを並べて表示することがよく行われている（このような表示を以下、「フィルムロール方式による表示」という。なお、厳密に「連続」していなくても、一定の間隔でフレームを抽出したものを並べて表示してもよい。）。しかしながら、このフィルムロール方式による表示ではメモリ使用量が多いため、特許文献２は最大で２フレームのみの表示を行いＣＭの始まりや終了点を素早く選ぶことができるようにしている。この２フレームは、隣接する２フレームである。
【０００６】
なお、特許文献３には、動画再生装置において、スキップ操作で飛ばした区間のサムネイルを抽出し複数枚表示することで、スキップした区間の概要をユーザが素早く把握できるようにする技術が開示されている。また、特許文献４には、複数のフレームを同時に表示して素早く目的のシーンをサーチする技術に関し、時間的に前後する複数フレーム（実施例ではあるフレームの前後２フレーム分、計５枚）を同時に表示する技術について記載がある。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００３−０４７０３１号公報
【特許文献２】特開２００９−０７７０４０号公報
【特許文献３】特開２００９−０４４２１０号公報
【特許文献４】特開２００６−１２９５２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
従来、ＣＭを削除して本編だけを記録する編集作業においては、本編とＣＭの境目／切り替わりのポイントに編集点を打ち、この編集点を利用してＣＭを削除するという作業が行われている。この編集作業を補助するために、編集点の候補となる候補点を自動で検出する技術が既に知られているが（例えば、特許文献１）、このような候補点自動検出技術には種々の問題点がある。図６を参照して説明する。
【０００９】
図６（ａ）に、例えば、あるチャンネルを所定の時間録画し続けた動画データに対して候補点自動検出を行った結果を示す。動画データは、図示のように「本編」と「ＣＭ」という複数のコンテンツが連続するデータである。自動検出された編集の候補点は、例えば、図中（１）〜（５）のように検出される。しかしながら、候補点（１），（４）のように編集点としては誤った点が候補点として検出される、候補点（２），（３），（５）のように本来望ましい編集点より前や後にずれて候補点が検出される、といった問題点がある。誤った候補点やずれた候補点を使ってそのまま編集すると、本編が欠けたり、本編以外のシーンが一部残るといった不具合が生じる。
【００１０】
そこで、自動検出された編集の候補点をユーザが削除して、正しい候補点を手動で再指定する必要があるが、サムネイルの確認やチャプタースキップ再生では編集の候補点が正しく検出できているかすぐに判断できないという問題点がある。
図６（ｂ）に、サムネイルの確認に用いるサムネイル表示例を示す。表示例は、それぞれ、候補点（１）〜（５）を示す。サムネイル表示を見ただけでは、編集点として使える候補点であるか否か、ユーザには判断できない。
【００１１】
図６（ｃ）に、チャプタースキップ再生した場合に再生される動画像の概念を説明するための図を示す。チャプタースキップ再生は、編集の候補点から動画を再生することである。ユーザは、再生された動画を見て編集点として使える候補点であるか否かを判断する。しかしながら、候補点（４）のように、候補点が実際のＣＭ開始よりも後ろ側にずれてしまったような場合には、候補点（４）より前のＣＭが本編扱いとなってしまう。なおかつ、そのことがユーザには分からない。
【００１２】
正しい候補点を手動で再指定する場合の問題点を解決するために、候補点前後のフレームを前出の「フィルムロール方式」で表示することを考える。表示例は、図６（ｄ）のようになる。ユーザは、候補点（４）より前に本編の画像がないので、候補点（４）が誤った編集点であることが判断可能である。しかしながら、フィルムロール方式による表示は、表示に時間がかかるという問題点がある。
【００１３】
本発明は、上述した実情に鑑みてなされたものであって、コンテンツの境目の候補を検出し、検出した候補の中から誤検出されたものをユーザが素早く判断できる表示装置、方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１４】
上記目的を達成するために本発明は、第１の態様として、表示手段を有する表示装置であって、本編とＣＭを含む動画データから前記本編とＣＭの境目の候補範囲を検出する候補範囲検出手段と、検出された前記候補範囲の最初のフレームと最後のフレームの組を抽出する表示制御手段と、を備え、前記表示制御手段は、抽出した前記組を２組抽出し、前記表示手段に表示させることを特徴とする、表示装置を提供するものである。
【００１５】
また、本発明は、第２の態様として、本編とＣＭを含む動画データから前記本編とＣＭの境目の候補範囲を検出する候補範囲検出工程と、検出された前記候補範囲の最初のフレームと最後のフレームの組を抽出する工程と、抽出した前記組を２組、同時に表示する表示工程と、を含むことを特徴とする、表示方法を提供するものである。
【００１６】
また、本発明は、第３の態様として、コンピュータに、本編とＣＭを含む動画データから前記本編とＣＭの境目の候補範囲を検出する候補範囲検出処理と、検出された前記候補範囲の最初のフレームと最後のフレームの組を抽出する処理と、抽出した前記組を２組、同時に表示する表示処理と、を実行させることを特徴とする、プログラムを提供するものである。
【発明の効果】
【００１７】
本発明によれば、コンテンツの境目の候補を検出し、検出した候補の中から誤検出されたものをユーザが素早く判断できる表示装置、方法及びプログラムを提供することが可能となる。
【図面の簡単な説明】
【００１８】
【図１】本発明を好適に実施した一実施形態の機能構成を示すブロック図である。
【図２】図１の表示手段１０３に表示される候補範囲のサムネイルの表示例を示す図である。
【図３】本実施形態において、抽出した候補範囲の最初のフレームと最後のフレームの組を２組並べて同時に表示させた場合の、表示例を示す図である。
【図４】本実施形態において、抽出した候補範囲の最初のフレームと最後のフレームの組を２組並べて同時に表示させる構成の概念を示す図である。
【図５】本実施形態において、編集点を打つ場合に用いられる候補範囲のフィルムロール方式による表示の表示例を示す図である。
【図６】従来技術の問題点を説明するための図である。
【発明を実施するための形態】
【００１９】
図１に、本発明を好適に実施した一実施形態の機能構成を示す。
本実施形態に係る表示装置１は、例えば、ＣＰＵ等の演算装置、メモリ等の一次記憶装置、ＨＤＤ等の二次記憶装置を備える汎用のコンピュータと、該コンピュータを利用して所定の処理を実行するソフトウェアプログラムとによって実現可能である。表示装置１は、候補範囲検出手段１０１と、表示制御手段１０２と、表示手段１０３とを有する。
【００２０】
まず、表示手段１０３を説明する。表示手段１０３は、例えば、液晶表示装置等であって、表示装置１の処理結果をユーザが視覚的に感知しうるよう出力する手段である。表示手段１０３は、表示制御手段１０２の制御によって表示画面を出力する。
【００２１】
候補範囲検出手段１０１は、入力される動画データからコンテンツの境目の「候補範囲」を検出する。動画データは、複数のコンテンツが連続する動画データである。コンテンツとは、例えば、あるＣＭや、テレビ番組等のことをいう。動画データは、典型的には、テレビジョン放送のあるチャンネルを所定の時間録画し続けたデータであるが、これに限定されない。なお、動画データは、図示しない二次記憶装置から入力されてもよく、図示しないネットワークを経由した外部のサーバから入力されてもよい。
【００２２】
「候補範囲」とは、候補範囲検出手段１０１がコンテンツの境目／切り替わりのポイントと判断するポイント（候補点）を含む所定の範囲である。候補範囲検出手段１０１がコンテンツの境目／切り替わりのポイントを検出する方法としては、種々の方法が利用できる。本実施形態では、下記の第１及び第２の方法を用いる。
【００２３】
第１の方法としては、動画データ中の音声信号に基づいて、音声が無音となる区間（無音区間）を検出し、検出した無音区間内の任意の点を境目／切り替わりのポイント（すなわち候補点）とする方法である。この方法の場合、無音区間の開始から終了までを「候補範囲」とする。この方法によれば、コンテンツの境目／切り替わりのポイントに通常、１０ｍｓ程度の無音区間を入れるＣＭと本編コンテンツの間や、ＣＭとＣＭの間などを効率よく検出することができる。
【００２４】
第２の方法としては、動画データ中の映像信号の変化の激しさをモニタして、劇的に変化するポイントを、コンテンツの境目／切り替わりのポイント（すなわち候補点）とする公知の方法である。しかしながら、候補範囲検出手段１０１は、この方法を用いる場合でも、検出した候補点を含む前後の所定の範囲を「候補範囲」とする。
【００２５】
第１、第２の方法ともに、検出した候補点を含む前後の所定の範囲を、ＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅｓ）単位で数ＧＯＰの範囲（前に数ＧＯＰ、後に数ＧＯＰ）としてもよい。テレビジョン放送をＭＰＥＧ−２で録画する場合は、動画データを、１ＧＯＰを０．５秒とするＧＯＰ単位で管理している。したがって、具体的には例えば候補点を含むＧＯＰの前後１又は２ＧＯＰ（１．５〜２．５秒）を候補範囲とする。候補範囲を候補点の前後数ＧＯＰの範囲とすることで、表示制御手段が抽出する候補範囲の最初のフレームと最後のフレーム（候補範囲のサムネイルとして用いる）として、１ＧＯＰの中に含まれるキーフレームを利用することができ、サムネイルの表示が速くなる。
【００２６】
表示制御手段１０２は、候補範囲検出手段１０１により検出された候補範囲から候補範囲の最初のフレームと最後のフレームを抽出する。また、表示制御手段１０２は、抽出した候補範囲の最初のフレームと最後のフレームの組を、候補範囲のサムネイルとして表示手段１０３に表示させる。
【００２７】
図２に、表示手段１０３に表示される候補範囲のサムネイルの表示例を示す。
図２（ａ）は、例えば、あるチャンネルを所定の時間録画し続けた動画データに対して候補点自動検出を行った結果を示したものであって、図６（ａ）と同等である。図２（ａ）ではコンテンツの境目を候補展示同検出を行ってその前後の所定の範囲を候補範囲とする方法（前述の第２の方法）で候補範囲を検出している。
【００２８】
図２（ｂ）が表示手段１０３に表示される候補範囲のサムネイルの表示例である。図２（ｂ）には、便宜上、上段に候補範囲の最初のフレーム、下段に候補範囲の最後のフレームを記載しているが、左右に並べて表示してもよい。このように、コンテンツの境目／切り替わりのポイント又は候補点と考えられるポイントをまたいだ前後の映像をサムネイルで示すと、候補点（２），（３），（５）のように、自動検出の結果が実際のコンテンツの境目よりも数フレーム前後へずれたような場合であっても、ユーザは２つのサムネイルを見比べることによって、容易にコンテンツの切り替わりを認知しうる。
【００２９】
一方で、候補点（１），（４）のように、誤検出の場合であれば、ユーザは２つのサムネイルを見比べることによって、コンテンツが切り替わっていないことを容易に認知しうる。つまり、ユーザは前後を確認することで、誤った編集の候補範囲をすぐに特定し、削除することができる。言い換えれば、本実施形態によれば、編集の候補点を点ではなく範囲とし、本編とＣＭのようにコンテンツの境目／切り替わりのポイントをまたがせることで、正しい編集の候補点であるか否かをユーザが素早く判断し修正することを可能にすることができる。
【００３０】
さらに本実施形態においては、表示制御手段１０２は、抽出した候補範囲の最初のフレームと最後のフレームの組を、２組並べて、同時に、候補範囲のサムネイルとして表示手段１０３に表示させる。
【００３１】
図３に、抽出した候補範囲の最初のフレームと最後のフレームの組を２組並べて同時に表示させた場合の、表示例を示す。
図３において、表示手段１０３の表示面には、表示制御手段１０２の制御にしたがって、２つの候補範囲（本例では候補範囲（１１），（１２））のサムネイルが表示されている。サムネイル１１１、１１２は候補範囲（１１）のサムネイル、サムネイル１２１、１２２は候補範囲（１２）のサムネイルである。動画の時間軸上では、サムネイル１１１、１１２、１２１、１２２の順に、古いフレームから新しいフレームが並んでいる。
【００３２】
このように２組並べて同時に表示させることで、ユーザはサムネイルの画像間の類似を視認することが容易になり、ユーザが編集点を打った後に削除する不要なコンテンツを選びやすくすることができる。例えば、図３に示すように、本編の間にＣＭが挟まれているような場合、サムネイル１１１とサムネイル１２２の類似をユーザが確認できれば、候補範囲（１１），（１２）に各々編集点を打ち、この２つの編集点の間はＣＭが挿入されている区間であるとして削除することが容易になる。
【００３３】
２組並べて同時に表示させる構成は、図４に示すように、本編と本編の間にＣＭが複数挿入されているような場合に、より効果的である。図４では、候補範囲検出手段１０１が候補範囲（１１），（１３），（１４），（１２）を、検出した場合を示している。ユーザは、候補範囲（１３），（１４）を編集点を打つために用いてもよいが、本編だけを残すために編集作業を行っている場合は、複数のＣＭをまとめて削除できる編集点を打つと効率がよい。そうすると、図３に例示したような２組の編集候補のサムネイルを表示させて、ユーザが本編の中断から本編の再開までを確認可能であるような構成が効果的である。
【００３４】
なお、本実施形態において、候補範囲検出手段１０１が検出した候補範囲を用いてユーザが編集点を打つ場合は、表示制御手段１０２が、編集点を打つ対象となる候補範囲をフィルムロール方式で表示手段１０３に表示させる。
【００３５】
図５に、編集点を打つ場合に用いられる候補範囲のフィルムロール方式による表示の表示例を示す。
図５では、一例として、候補範囲検出手段１０１が検出した候補範囲（５１）のフィルムロール方式による表示を示している。なお、検出の方法としては、前述の第２の方法（候補点を自動検出し前後の所定の範囲を候補範囲とする方法）を用いており、図５中では候補点（５）が自動検出されている。なお、サムネイル５２は、表示制御手段１０２が抽出する候補範囲（５１）の最初のフレーム、サムネイル５３は、最後のフレームである。
【００３６】
このように、表示制御手段１０２が、編集点を打つ対象となる候補範囲をフィルムロール方式で表示手段１０３に表示させることによって、ユーザは、候補点（５）を編集点（５ａ）にシフトさせるなどの種々の方法を用いて、容易に編集点を打つことが可能になる。
【符号の説明】
【００３７】
１ 表示装置
１０１ 候補範囲検出手段
１０２ 表示制御手段
１０３ 表示手段
【特許請求の範囲】
【請求項１】
ＣＭを含む動画データから本編とＣＭの境目の前後の所定の範囲を編集の候補範囲として検出し、
あるコンテンツの本編のフレームであってＣＭの開始直前のフレーム、及び、当該ＣＭが終了したあとの本編開始直後のフレームを、同時に表示することを特徴とする、表示装置。
【請求項２】
表示手段を有する表示装置であって、
本編とＣＭを含む動画データから前記本編とＣＭの境目の候補範囲を検出する候補範囲検出手段と、
検出された前記候補範囲の最初のフレームと最後のフレームの組を抽出する表示制御手段と、を備え、
前記表示制御手段は、抽出した前記組を２組抽出し、前記表示手段に表示させることを特徴とする、表示装置。
【請求項３】
前記候補範囲は、前記動画データ中の音声信号に基づいて得られる無音区間であることを特徴とする、請求項２記載の表示装置。
【請求項４】
前記候補範囲検出手段は、前記動画データ中の映像信号に基づいて前記本編とＣＭの境目の候補となる候補点を検出し、検出した前記検出点の前後の所定の範囲を前記候補範囲として検出することを特徴とする、請求項２記載の表示装置。
【請求項５】
前記候補範囲検出手段は、前記候補範囲をＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅｓ）単位で検出することを特徴とする、請求項２から４のいずれか１項記載の表示装置。
【請求項６】
本編とＣＭを含む動画データから前記本編とＣＭの境目の候補範囲を検出する候補範囲検出工程と、
検出された前記候補範囲の最初のフレームと最後のフレームの組を抽出する工程と、
抽出した前記組を２組、同時に表示する表示工程と、
を含むことを特徴とする、表示方法。
【請求項７】
コンピュータに、
本編とＣＭを含む動画データから前記本編とＣＭの境目の候補範囲を検出する候補範囲検出処理と、
検出された前記候補範囲の最初のフレームと最後のフレームの組を抽出する処理と、
抽出した前記組を２組、同時に表示する表示処理と、
を実行させることを特徴とする、プログラム。
【請求項１】
ＣＭを含む動画データから本編とＣＭの境目の前後の所定の範囲を編集の候補範囲として検出し、
あるコンテンツの本編のフレームであってＣＭの開始直前のフレーム、及び、当該ＣＭが終了したあとの本編開始直後のフレームを、同時に表示することを特徴とする、表示装置。
【請求項２】
表示手段を有する表示装置であって、
本編とＣＭを含む動画データから前記本編とＣＭの境目の候補範囲を検出する候補範囲検出手段と、
検出された前記候補範囲の最初のフレームと最後のフレームの組を抽出する表示制御手段と、を備え、
前記表示制御手段は、抽出した前記組を２組抽出し、前記表示手段に表示させることを特徴とする、表示装置。
【請求項３】
前記候補範囲は、前記動画データ中の音声信号に基づいて得られる無音区間であることを特徴とする、請求項２記載の表示装置。
【請求項４】
前記候補範囲検出手段は、前記動画データ中の映像信号に基づいて前記本編とＣＭの境目の候補となる候補点を検出し、検出した前記検出点の前後の所定の範囲を前記候補範囲として検出することを特徴とする、請求項２記載の表示装置。
【請求項５】
前記候補範囲検出手段は、前記候補範囲をＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅｓ）単位で検出することを特徴とする、請求項２から４のいずれか１項記載の表示装置。
【請求項６】
本編とＣＭを含む動画データから前記本編とＣＭの境目の候補範囲を検出する候補範囲検出工程と、
検出された前記候補範囲の最初のフレームと最後のフレームの組を抽出する工程と、
抽出した前記組を２組、同時に表示する表示工程と、
を含むことを特徴とする、表示方法。
【請求項７】
コンピュータに、
本編とＣＭを含む動画データから前記本編とＣＭの境目の候補範囲を検出する候補範囲検出処理と、
検出された前記候補範囲の最初のフレームと最後のフレームの組を抽出する処理と、
抽出した前記組を２組、同時に表示する表示処理と、
を実行させることを特徴とする、プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１１−２１１６０９（Ｐ２０１１−２１１６０９Ａ）
【公開日】平成２３年１０月２０日（２０１１．１０．２０）
【国際特許分類】
【出願番号】特願２０１０−７８９１４（Ｐ２０１０−７８９１４）
【出願日】平成２２年３月３０日（２０１０．３．３０）
【出願人】（３０２０６９９３０）ＮＥＣパーソナルプロダクツ株式会社 (738)
【Ｆターム（参考）】
【公開日】平成２３年１０月２０日（２０１１．１０．２０）
【国際特許分類】
【出願日】平成２２年３月３０日（２０１０．３．３０）
【出願人】（３０２０６９９３０）ＮＥＣパーソナルプロダクツ株式会社 (738)
【Ｆターム（参考）】
[ Back to top ]