映像音声記録装置及び映像音声記録方法
【課題】テレビジョン放送番組の記録と並行して、ＣＭ放送区間の抽出を可能とする映像音声記録装置及び方法を提供する。
【解決手段】映像音声記録装置は、ＨＤＤ１１と、ストリームバッファ１７と、ストリームバッファ１７に保持されている符号化ストリームの映像データからシーンチェンジを検出するシーンチェンジ検出部１３と、無音を検出する無音検出部１４と、シーンチェンジ情報と無音情報を一時的に保持するマッチングバッファ１９と、シーンチェンジと無音が同時に発生する変移点を検出する変移点検出部１５と、検出された変移点の間隔が予め設定された基準時間を中心とする所定の時間範囲内になる変移点の組み合わせが連続して２つ以上継続する区間をＣＭ放送区間と判定するＣＭフィルタ１６と、ＣＭフィルタ１６によって判定されたＣＭ放送区間の時刻情報を記録する変移点スタックテーブル１８とを有する。
【解決手段】映像音声記録装置は、ＨＤＤ１１と、ストリームバッファ１７と、ストリームバッファ１７に保持されている符号化ストリームの映像データからシーンチェンジを検出するシーンチェンジ検出部１３と、無音を検出する無音検出部１４と、シーンチェンジ情報と無音情報を一時的に保持するマッチングバッファ１９と、シーンチェンジと無音が同時に発生する変移点を検出する変移点検出部１５と、検出された変移点の間隔が予め設定された基準時間を中心とする所定の時間範囲内になる変移点の組み合わせが連続して２つ以上継続する区間をＣＭ放送区間と判定するＣＭフィルタ１６と、ＣＭフィルタ１６によって判定されたＣＭ放送区間の時刻情報を記録する変移点スタックテーブル１８とを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像の記録と並行して映像のシーンチェンジを検出することができる映像記録装置、及びこの映像記録装置によって実施されるシーンチェンジ抽出方法に関するものである。また、本発明は、テレビジョン放送番組の録画と並行して、録画されるテレビジョン放送番組の本編の間に挟まれているコマーシャルメッセージ（Ｃｏｍｍｅｒｃｉａｌ Ｍｅｓｓａｇｅ）放送の検出を行うことができる映像音声記録装置に関するものである。
【背景技術】
【０００２】
従来、映像を符号化して記録する映像記録装置において、記録した映像から希望する映像シーンを探し出すためには、早送り又は巻戻しなどの特殊再生を利用しながら、人間の目で該当するシーンを探し出しており、非常に多くの時間と労力を費やす必要があった。
【０００３】
このような問題を解消するために、映像の場面転換シーン（以後「シーンチェンジ」と言う。）を見つけるための方法が提案されてきた（例えば、特許文献１及び２参照）。特許文献１には、符号化を行うエンコーダの前段のプリ映像信号処理装置において、時間的に前後する２つの映像のヒストグラムの差の絶対値を算出し、算出された絶対値が所定の閾値を超えた場合にシーンチェンジであると判定する方法が示されている。また、特許文献２には、既にＨＤＤなどのストレージメディアに蓄積された映像データを読み出してシーンチェンジを抽出する方法が示されている。
【０００４】
また、テレビジョン放送は、その内容から「番組本編放送」と「コマーシャルメッセージ放送」に分類することができる。番組本編放送は、映画番組の場合には映画の内容自体の映像音声データに基づく放送部分である。一方、コマーシャルメッセージ放送は、広告主や広告代理店などの依頼主が放送局と契約を結んで、依頼主から提供を受けた映像音声データに基づく放送部分であり、番組本編放送の合間に放送されるものである。また、コマーシャルメッセージ放送には、放送局が自らの広告宣伝をするための放送も含まれる。本出願においては、「番組本編放送」を「番組本編」と、「コマーシャルメッセージ放送」を「ＣＭ放送」とも記す。番組本編とＣＭ放送とは、内容の関連が希薄である場合が多く、番組本編の視聴に集中したい視聴者にとっては、テレビジョン放送を録画する際又は視聴する際に、ＣＭ放送を効率よく削除したい、又は見飛ばしたい、とする要望がある。
【０００５】
従来の映像音声記録装置は、テレビジョン放送の音声方式を検出し、検出された音声方式に基づいて番組本編とＣＭ放送との識別を行っていた。番組本編の音声方式は、モノラル音声又は二ヶ国語音声（洋画における日本語と英語、など）であることが多く、また、一般に、ＣＭ放送の音声方式は、ステレオ音声であることが多い。このような違いを利用して、ステレオ音声が検出された区間をＣＭ放送区間と判別して、録画時にはＣＭ放送区間の録画を行わない（すなわち、削除する）、又は、視聴時にはＣＭ放送区間を見飛ばす（すなわち、スキップする）処理を行うようにしていた。
【０００６】
上記従来のＣＭ検出方式は、番組本編の音声方式がＣＭ放送の音声方式と同じステレオ音声である場合には、機能しなくなる。この改善策として、番組本編とＣＭ放送との境界に挿入される「ブラック・フレーム」と呼ばれる全画面黒色のフレーム映像を検出してＣＭ放送区間を特定する提案がある（例えば、特許文献３参照。）。また、番組本編とＣＭ放送との境界に生じる無音区間を検出し、検出された無音区間の出現間隔からＣＭ放送区間を特定する提案もある（例えば、特許文献４参照。）。また、映像のシーンチェンジの発生頻度を利用してＣＭ放送を抽出する提案もある（特許文献５参照）。さらに、視聴時に、ユーザーのボタン操作によって、１５秒などの固定時間を見飛ばし（すなわち、スキップ）するユーザーインターフェースを提供する提案もある。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００４−２８２３１８号公報（第７頁、図２）
【特許文献２】特開２００２−０６４８２３号公報（第５頁、図１）
【特許文献３】特表平８−５０７６３３号公報（第１２−１５頁、図１）
【特許文献４】特開２００３−４７０３１号公報（第５−８頁、図１）
【特許文献５】特開２０００−１６５７９６号公報（第７頁、図１４）
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１に示される方法は、エンコーダの前段に設けられたプリ映像信号処理装置によってシーンチェンジを検出する方法であるので、ビデオエンコーダからエンコーダまでの構成が一体になっているエンコーダチップセットであってシーンチェンジ抽出結果を外部に出力しないものを備えた映像記録装置には適用することができなかった。また、エンコーダチップセットがシーンチェンジ抽出結果を出力する場合においても、使用するエンコーダチップセットの種類が変わる毎にシーンチェンジ抽出結果が変わってしまうので、エンコーダチップセットの種類が変わる毎に映像記録装置における調整が必要になるという問題があった。
【０００９】
また、特許文献２に示される方法は、既に圧縮されＨＤＤ上に記録された映像ストリームからシーンチェンジを検出する方法であるので、記録処理が完了した後に、オフラインで多大な時間のかかる処理を行う必要があり、実用的ではなかった。
【００１０】
また、ブラック・フレームを検出してＣＭ放送区間を特定する特許文献３に記載の方法では、国や地域、又は放送局によってはブラック・フレームが挿入されていないことがあるので（実際に、国内放送において、ブラック・フレームの挿入は法令で義務付けられてはいない）、ＣＭ放送区間の自動検出の確度を十分に高くできないという問題がある。
【００１１】
また、特許文献４又は５に記載の方法では、無音区間やシーンチェンジが番組本編の中にも多数存在するので、ＣＭ放送区間を高精度に特定することは困難であるという問題がある。
【００１２】
さらに、ユーザーのボタン操作によって１５秒スキップさせる方法では、１５秒の倍数系列にない既定外の時間長（例えば、５秒の番組スポット宣伝など）を持つＣＭ放送には対応することができないという問題がある。
【００１３】
そこで、本発明は、上記従来技術の課題を解決するためになされたものであり、その目的は、映像の記録と並行して映像のシーンチェンジ抽出を行うことができる映像記録装置及びこの映像記録装置において実施されるシーンチェンジ抽出方法を提供することである。また、本発明の他の目的は、テレビジョン放送番組の記録と並行して、ＣＭ放送区間の抽出を可能とする映像音声記録装置を提供することである。
【課題を解決するための手段】
【００１４】
本発明の映像音声記録装置は、映像及び音声の符号化ストリームを記録する記録手段と、前記記録手段に符号化ストリームを記録する前に、符号化ストリームを一時的に保持するストリーム保持手段と、前記ストリーム保持手段に保持されている符号化ストリームの映像データからシーンチェンジを検出する映像変化点検出手段と、音声信号から無音を検出する無音検出手段と、前記映像変化点検出手段によって検出されたシーンチェンジ情報と前記無音検出手段によって検出された無音情報を一時的に保持する一時記憶手段と、前記一時記憶手段に保持されたシーンチェンジ情報と無音情報から、シーンチェンジと無音が同時に発生する変移点を検出する変移点検出手段と、前記変移点検出手段によって検出された変移点の間隔が予め設定された基準時間を中心とする所定の時間範囲内になる変移点の組み合わせが連続して２つ以上継続する区間をＣＭ放送区間と判定するＣＭ放送区間判定手段と、前記ＣＭ放送区間判定手段によって判定されたＣＭ放送区間の時刻情報を記録するＣＭ放送区間情報記録手段とを有することを特徴としている。
【発明の効果】
【００１５】
本発明の映像音声記録装置及び方法によれば、放送番組の記録と並行してＣＭ放送区間検出処理を実行するのでリアルタイムにＣＭ放送区間検出を行うことができるという効果がある。
【図面の簡単な説明】
【００１６】
【図１】本発明の実施の形態１の映像記録装置の構成を示すブロック図である。
【図２】実施の形態１の映像記録装置のシーンチェンジ抽出部の構成を示すブロック図である。
【図３】本発明の実施の形態２の映像記録装置のシーンチェンジコマンド制御部の構成を示すブロック図である。
【図４】実施の形態２の映像記録装置の動作を示すフローチャートである。
【図５】実施の形態２の映像記録装置のシーンチェンジコマンド制御部のＡＰＩ部の動作を示すフローチャートである。
【図６】実施の形態２の映像記録装置のシーンチェンジコマンド制御部の状態制御部の動作を示すフローチャートである。
【図７】本発明の実施の形態３の映像記録装置の復号化部の構成を示すブロック図である。
【図８】（Ａ）乃至（Ｄ）は、実施の形態３の映像記録装置のＤＣＴ係数削減処理を説明するための図である。
【図９】本発明の実施の形態４の映像記録装置の復号化部の構成を示すブロック図である。
【図１０】本発明の実施の形態５の映像記録装置におけるＹＵＶ領域を示す図である。
【図１１】実施の形態５の映像記録装置の動作を示すフローチャートである。
【図１２】本発明の実施の形態６の映像音声記録装置の構成を概略的に示すブロック図である。
【図１３】実施の形態６の映像音声記録装置の変移点検出部の動作を示すフローチャートである。
【図１４】実施の形態６の映像音声記録装置の変移点スタックテーブルの一例を示す図である。
【図１５】（Ａ）乃至（Ｅ）は、実施の形態６の映像音声記録装置におけるＣＭ放送区間検出動作を説明するための図である。
【図１６】実施の形態６の映像音声記録装置のＣＭ放送区間検出動作を示すフローチャートである。
【図１７】（Ａ）乃至（Ｃ）は、本発明の実施の形態７の映像音声記録装置における変移点検出方法を示す図である。
【図１８】本発明の実施の形態８の映像音声記録装置におけるＣＭ間の無音時間長の測定結果を示すグラフである。
【図１９】実施の形態８の映像音声記録装置においてＣＭから番組本編に移行するときの無音時間長の測定結果を示すグラフである。
【図２０】実施の形態８の映像音声記録装置における、無音時間長を利用したＣＭ放送区間検出動作を示すフローチャートである。
【図２１】本発明の実施の形態９の映像音声記録装置における、シーンチェンジ差異値を利用したＣＭ放送区間検出動作を示すフローチャートである。
【図２２】実施の形態９の映像音声記録装置における、シーンチェンジ差異値を利用したＣＭ放送区間検出動作を説明するための図である。
【図２３】実施の形態１０の映像音声記録装置における動作を説明するための図である。
【発明を実施するための形態】
【００１７】
実施の形態１．
図１は、本発明の実施の形態１の映像記録装置１００の構成を示すブロック図である。図１に示されるように、映像記録装置１００は、図示しないチューナから又は外部から入力された入力映像データに対して、ＭＰＥＧ−２（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）に準拠した符号化を行う符号化手段としての符号化部１０１と、符号化部１０１によって生成された符号化ストリームが記録される記録手段としてのＨＤＤ（ハードディスクドライブ）１０５と、ＨＤＤ１０５に対して符号化ストリームを安定的に書き込み及び読み出しを行うためのストリーム制御を行うストリーム制御手段としてのストリーム制御部１０３とを有している。また、映像記録装置１００は、ストリーム制御部１０３が符号化ストリームを一時的に記憶しておく一時記憶手段としてのストリームバッファ１０４と、符号化部１０１に対して符号化の開始・終了などを指示する録画制御手段としての録画制御部１０２と、符号化部１０１によって生成された符号化ストリームからシーンチェンジを抽出する映像変化点抽出手段としてのシーンチェンジ抽出部１１０とを有している。図１には、記録手段としてＨＤＤ１０５が示されているが、記録手段は、ＤＶＤのような光ディスクや磁気テープなどの他の情報記録媒体であってもよい。また、映像記録装置１００は、ＤＶＤ／ＨＤＤハイブリッドレコーダであってもよい。さらに、映像記録装置１００は、家庭用のビデオレコーダに限らず、パーソナルコンピュータ、映像サーバ、又は、監視システム用の監視レコーダなどの各種用途に適用できる。
【００１８】
符号化部１０１による符号化方式であるＭＰＥＧ−２は可変レートに対応しており、そのため、１秒間に発生する符号量（ビットレート）は時間によって大きく変動する。そのため、ストリーム制御部１０３は、ＨＤＤ１０５へのデータ書き込み及びＨＤＤ１０５からのデータ読み出しによって符号化ストリームがオーバーフロー又はアンダーフローしないように、符号化ストリームをストリームバッファ１０４に一時的に保持させ、ＨＤＤ１０５の状態に応じて符号化ストリームのＨＤＤ１０５への書き出し及びＨＤＤ１０５からの読み込みを行っている。ストリームバッファ１０４は、リングバッファで構成されており、書き込み位置ポインタと読み出し位置ポインタによって有効なデータ領域が管理されている。すなわち、データの書き込み時には、書き込み位置ポインタを先頭にデータサイズ分書き込みを行い、書き込んだデータサイズ分だけ書き込み位置ポインタを進める。一方、データの読み出し時には、読み出し位置ポインタを先頭にデータサイズ分読み出しを行い、読み出したデータサイズ分だけ読み出し位置ポインタを進める。ただし、リングバッファの終了位置に来たときは、ポインタを先頭の位置に戻す処理を行う。
【００１９】
図２は、図１に示されるシーンチェンジ抽出部１１０の構成を示すブロック図である。図２に示されるように、シーンチェンジ抽出部１１０は、入力された符号化ストリームの復号化を行う復号化手段としての復号化部１１１と、復号化された映像データのヒストグラムを生成するヒストグラム生成手段としてのヒストグラム生成器１１２と、ヒストグラム生成器１１２によって生成されたヒストグラムを保持する第１のヒストグラムバッファ１１３及び第２のヒストグラムバッファ１１４と、第１のヒストグラムバッファ１１３に保持されたヒストグラムと第２のヒストグラムバッファ１１４に保持されたヒストグラムの差異を求める差分抽出手段としての差分抽出器１１５とを有している。また、シーンチェンジ抽出部１１０は、差分抽出器１１５で求めた差異値と予め設定された閾値を比較するシーンチェンジ判定手段としてのシーンチェンジ判定器１１６と、録画制御部１０２からのシーンチェンジ開始命令などの制御信号に基づいてシーンチェンジ抽出部１１０を制御するシーンチェンジコマンド制御手段としてのシーンチェンジコマンド制御部１２０とを有している。
【００２０】
次に、映像記録装置１００の録画動作について説明する。録画が開始されると、録画制御部１０２は、符号化部１０１に対して制御信号ＣＥＮを出力して符号化開始を指示し、符号化部１０１は入力された映像データＰＩＮの符号化処理を開始する。符号化部１０１は、例えば、符号化単位であるＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅｓ）の符号化が完了する毎に、録画制御部１０２にＧＯＰ符号化完了通知ＩＥＮを送る。ストリーム制御部１０３は、符号化部１０１によって符号化された符号化ストリームをストリームバッファ１０４の書き込み位置ポインタを先頭に順次書き込んでいく。一方、ストリーム制御部１０３は、ＨＤＤ１０５が書き込み状態になっているのを確認しながら、ストリームバッファ１０４の読み出し位置ポインタから符号化ストリームを読み出し、ＨＤＤ１０５に書き込みを行う。録画が実行されている間、前記動作が繰り返し行われる。録画終了時には、録画制御部１０２は、符号化部１０１に対して符号化終了を指示し、符号化部１０１は符号化を停止する。ストリーム制御部１０３は、ストリームバッファ１０４に残っている符号化ストリームをすべてＨＤＤ１０５に書き込む。
【００２１】
次に、録画を行いながらシーンチェンジを抽出する方法について説明する。録画制御部１０２は、例えば、ＧＯＰの符号化完了通知ＩＥＮを符号化部１０１から受け取る毎に、シーンチェンジ抽出部１１０に対してシーンチェンジ抽出コマンドＣＳＣを送る。シーンチェンジ抽出コマンドＣＳＣは、シーンチェンジ抽出部１１０内のシーンチェンジ制御部１２０を経由して、復号化開始コマンドＣＤＥとして復号化部１１１に送られる。復号化部１１１は、符号化ストリームＰＳＴをストリーム制御部１０３を経由してストリームバッファ１０４から呼び出し、復号化を開始する。復号化部１１１によってＭＰＥＧ−２からＹＵＶに復号化された映像データはヒストグラム生成器１１２に入力され、ヒストグラム生成器１１２によって映像データのＹＵＶの各区画に含まれる計数に基づいてヒストグラムが作成される。ここで、ヒストグラム生成のための区画分けは、値の取り得る範囲を一定間隔に区切る方法、又は、予め複数の閾値を定めておいて、各閾値に対する大小関係に応じて区画分けをする方法などがある。また、ここでは、輝度成分Ｙと色差成分Ｕ、Ｖのすべての成分に対してヒストグラムを作成する場合を説明しているが、輝度成分Ｙのみについてヒストグラムを生成する方法を採用してもよい。また、輝度成分Ｙと色差成分Ｕ、Ｖのすべての成分に対してヒストグラムを作成するが、色差成分Ｕ及びＶに対しては重みを加えて区画分けを荒くする方法を採用してもよい。また、ヒストグラムの区画分けの方法は、以上に説明した例に限定されず、他の区画分け方法を採用してもよい。
【００２２】
ヒストグラム生成器１１２で生成されたヒストグラムは、第１のヒストグラムバッファ１１３又は第２のヒストグラムバッファ１１４に交互に送られ保持される。差分抽出器１１５は、第１のヒストグラムバッファ１１３及び第２のヒストグラムバッファ１１４に交互に記憶されたヒストグラムを用いて、現在の映像データと１つ前の映像データの映像の比較を行い（例えば、現在のフレームの映像データと、１フレーム前のフレームの映像データの比較を行い）、差異値を求める。２つのヒストグラムの差異値を求める方法としては、例えば、２つのヒストグラムの対応する成分の値の差を、すべての成分について累積する方法がある。ここで、ｉ番目の映像のヒストグラムをＨｉ
Ｈｉ＝｛ｈｉ（１），ｈｉ（２），・・・，ｈｉ（Ｋ）｝
とすると、ｉ番目の映像のヒストグラムＨｉと、１つ前のｉー１番目の映像のヒストグラムＨｉ−１との差異値ｄを以下の式で求める。なお、Ｋは、所定の正の整数である。
【数１】
ここで、Ｎは１フレーム内の画素数である。これによって、差異値ｄは０から１までの値をとり、ｉ番目のフレームの映像とｉー１番目のフレームの映像が同じ映像であれば差異値ｄは０になり、ｉ番目のフレームの映像とｉー１番目のフレームの映像の違いが大きければ差異値ｄは１に近づくことになる。
【００２３】
差分抽出器１１５で求められた差異値ｄは、シーンチェンジ判定器１１６に送られ、予めシーンチェンジコマンド制御部１２０によって設定された閾値ＥＴＨと比較され、設定された閾値ＥＴＨより大きな値であればシーンチェンジと判定し、その判定結果ＲＳＣをシーンチェンジコマンド制御部１２０に送る。さらに、録画終了時などに判定結果ＲＳＣを録画制御部１０２に送る。
【００２４】
以上に説明したように、符号化部１０１によってＧＯＰの符号化が完了する毎に（すなわち、実施の形態１においては、ＧＯＰの符号化完了に同期して）、シーンチェンジ抽出部１１０でシーンチェンジ判定を行う処理を、映像の録画開始から終了までの間において継続的に行うことによって、映像ストリームＰＳＴを録画しながら、映像ストリームＰＳＴのシーンチェンジを抽出することができる。すなわち、符号化の最小単位であるＧＯＰの符号化完了毎にシーンチェンジ抽出処理を実行するので、符号化と並行してシーンチェンジ抽出を行うことができる。
【００２５】
また、リアルタイムにシーンチェンジ抽出を行うので、シーンチェンジ抽出機能を有していないエンコーダを符号化部１０１に用いることができる。そのため、映像記録装置に採用するエンコーダの選定に際して、シーンチェンジ抽出機能を有しないエンコーダを選ぶことが可能になり、エンコーダ選択の幅が広がり、コストや調達性を重視したエンコーダの選択が可能になる。
【００２６】
また、既にＨＤＤなどに蓄積された符号化ストリームを解析してシーンチェンジを抽出する方法では、符号化ストリームを記憶装置であるＨＤＤから読み出すための時間が、シーンチェンジの解析時間に加えて、必要とされる。しかしながら、実施の形態１の映像記録装置１００においては、ＨＤＤ１０５よりも書き込み及び読出し速度が速く、ストリームを一時的に記憶しておくストリームバッファ１０４（通常は、揮発性半導体メモリを用いる）から読み出すため高速に読み出すことができ、結果として処理時間が早くなる。
【００２７】
また、シーンチェンジ抽出部１１０は符号化部１０１（エンコーダ）の動作よって影響されないので、エンコーダの種類や仕様が変更されたとしても、シーンチェンジの抽出基準を一定範囲に維持することができる。
【００２８】
また、実施の形態１の映像記録装置は、録画と並行してシーンチェンジを抽出できる機能のほかに、符号化ストリームを直接解析する機能をも有する。このため、直接ＨＤＤに記録された符号化ストリームに対してもストリーム制御部１０３を介して符号化ストリームを読み出すことによってシーンチェンジ抽出を行うことができる。
【００２９】
さらに、一般的にハードウェアで構成されるエンコーダチップ内のシーンチェンジ機能を利用するわけではなく、録画再生装置のファームウェアのみで構成することも可能なので、シーンチェンジ抽出のためのアルゴリズムを比較的容易に改変したり、録画再生装置の状態等に合わせてシーンチェンジ抽出処理の状態遷移や閾値を動的に変更したりすることができる。
【００３０】
例えば、入力映像データがＣＭ映像データである期間は、シーンチェンジの判定の閾値ＥＴＨを大きくして、シーンチェンジであると判定され難くして、ＣＭ映像データに対するシーンチェンジ検出を実行させないように制御する方法を採用してもよい。
【００３１】
また、シーンチェンジにおいて音声信号が無音になる瞬間が存在することに着目し、音声信号が無音（すなわち、所定の閾値よりも低いレベル）のときに、シーンチェンジの判定の閾値ＥＴＨを小さくすることによって、シーンチェンジを映像データだけでなく、音声データをも考慮して検出し、シーンチェンジの検出精度を向上させる制御方法を採用してもよい。
【００３２】
また、以上の説明においては、シーンチェンジ抽出単位を１ＧＯＰとしているが、シーンチェンジ抽出単位を複数のＧＯＰ単位としてもよい。また、シーンチェンジ抽出単位を、１又は複数のスライス単位又は１又は複数のマクロブロック単位としてもよい。
【００３３】
また、以上の説明においては、復号化処理を行う方法としてソフトウェアによる例を示したが、ハードウェアによって実行してもよい。
【００３４】
実施の形態２．
本発明の実施の形態２の映像記録装置は、図２に示されるシーンチェンジコマンド制御部１２０の構成及び動作のみが、実施の形態１の映像記録装置と相違する。したがって、実施の形態２の説明においては、図１及び図２をも参照する。
【００３５】
実施の形態２の映像記録装置は、録画と並行してシーンチェンジ抽出を行う場合に、シーンチェンジ抽出動作をＧＯＰの符号化処理と非同期に行う。この非同期に行われる符号化処理を、単に「非同期処理」とも言う。この非同期処理は、符号化部１０１による符号化処理が完了したＧＯＰに対して実行されるシーンチェンジ抽出処理の開始タイミングが、符号化処理の完了タイミングと必ずしも一致しない状態でも実行できることである。非同期処理の実際の動作としては、あるＧＯＰについて着目すると、符号化処理が完了した後、直ぐにシーンチェンジ抽出処理を行うのではなく、しばらく時間を置いてからシーンチェンジ抽出処理を実行する方法である。
【００３６】
一般的に、映像を記録する装置、例えば、ＨＤＤ／ＤＶＤハイブリッドレコーダなどにおいては録画動作に並行して、再生やダビング等のような装置のＣＰＵの負荷が上昇する動作が発生し得る。また、ユーザーによって不定期に行われる行為、例えば、ＤＶＤのトレーオープン、機能設定画面の表示、及び電子番組表の閲覧などの動作は、装置の一時的なＣＰＵの負荷上昇を招く。これらの動作によって負荷上昇が発生した場合、シーンチェンジ抽出処理のために、ＣＰＵを占有し続けることができる保障はなく、他の処理の完了を待つ間、シーンチェンジ抽出処理をしばらく遅らせることが望ましい場合があり得る。一方、シーンチェンジ抽出処理によって、装置の基本機能である映像の記録機能が妨げられることがあってはならず、よってシーンチェンジ抽出処理は記録処理よりも優先度を落とした処理にすることが望ましい。このような機能を実現するために、実施の形態２の映像記録装置においては、シーンチェンジ抽出処理を録画動作と非同期に行うころができるように構成している。
【００３７】
図３は、実施の形態２の映像記録装置のシーンチェンジコマンド制御部１２０（図２に示される）の構成を示すブロック図である。図３に示されるように、シーンチェンジコマンド制御部１２０は、録画制御部１０２からのコマンドの受け付けを行うＡＰＩ（アプリケーション プログラム インターフェース）部１２１と、受け付けたコマンドを複数保持するコマンドバッファ１２２と、シーンチェンジ抽出部の状態遷移を司り、受け付けたコマンドを処理する状態制御部１２４と、シーンチェンジ抽出結果やエラー状態を保持し、録画制御部１０２に返すためのシーンチェンジ抽出結果バッファ１２３とを有している。実施の形態２の映像記録装置が実施の形態１の映像記録装置と相違する点は、録画制御部１０２から発行されたシーンチェンジ抽出コマンドがシーンチェンジコマンド制御部１２０内のＡＰＩ部１２１に伝えられ、コマンドバッファ１２２に一旦保持されることである。コマンドバッファ１２２が保持できるコマンドの数はストリームバッファ１０４の容量に応じて設定すればよい。例えば、ストリームバッファ１０４のサイズが実施の形態１で示した２０Ｍバイトである仮定すると、符号化ストリームの約１５秒分（すなわち、１ＧＯＰあたり１５ピクチャ、０．５秒の時間長とすると、３０ＧＯＰのデータ）が一時的に保持できることになり、よって、３０個分のシーンチェンジ抽出コマンドを保持できるように構成すればよい。コマンドバッファ１２２が３０個のシーンチェンジ抽出コマンドを保持でき、且つ、ストリームバッファ１０４に３０ＧＯＰ分のデータが残っていれば、最新のＧＯＰから３０個前のＧＯＰまで遡ってシーンチェンジ抽出が可能であることを意味し、３０個のＧＯＰ分、すなわち、１５秒遅延したシーンチェンジ抽出処理が可能であることをも意味する。シーンチェンジコマンド制御部１２０のシーンチェンジ抽出結果バッファ１２３は、シーンチェンジ抽出部１１０の状態制御部１２４が実行したシーンチェンジ抽出結果の複数回分保持することが可能で、コマンドバッファ１２２に保持できるコマンド数と同数分を保持できるものとすればよい。
【００３８】
これによって、先行するＧＯＰのシーンチェンジ抽出処理が完了していない状態（例えば、ユーザーが既に録画されているストリームの再生要求をしたために、システムの負荷が上昇し、シーンチェンジ抽出処理が完了できなかった場合）において、次のＧＯＰの符号化が完了し、録画制御部１０２からシーンチェンジ抽出コマンドが発行された場合であっても、新しいシーンチェンジ抽出コマンドはコマンドバッファ１２２に保持される。コマンドバッファ１２２に保持されているシーンチェンジ抽出コマンドによって、現在実行中のシーンチェンジ抽出処理が完了後に、先行するＧＯＰのシーンチェンジ抽出処理を実行できるので、ＧＯＰの符号化毎にシーンチェンジ抽出処理が完了しないために次のシーンチェンジ抽出処理が実行できないという問題を防ぐことができる。
【００３９】
次に、図４、図５、及び図６のフローチャートを用いて録画動作と非同期で動作するシーンチェンジ抽出処理の説明を行う。まず、録画制御部１０２の動作について説明する。映像記録装置１００に電源が投入されると、システム起動（ステップＳ２０１）され、定期的にシステム終了の確認（ステップＳ２０２）と録画開始の確認（ステップＳ２０４）が行われ、システム終了の要求があれば、システム終了（ステップＳ２０２）に遷移する。一方、録画開始の要求があれば、シーンチェンジコマンド制御部１２０に対して、録画開始コマンド発行（ステップＳ２０５）が行われる。録画開始コマンドの発行の後は、録画終了を確認（ステップＳ２０６）し、録画終了であれば録画終了コマンドをシーンチェンジコマンド制御部１２０に発行する（ステップＳ２０７）。録画状態においては、ＧＯＰ単位の符号化が完了すると（ステップＳ２０８）、シーンチェンジコマンド制御部１２０に対してシーンチェンジ検出コマンドが発行される（ステップＳ２０９）。ＧＯＰ符号化検出（ステップＳ２０８）は、録画が完了するまで続けられる。録画制御部１０２から発行された制御コマンドは、シーンチェンジコマンド制御部１２０のＡＰＩ部１２１内で処理される。シーンチェンジ制御コマンドＣＳＣが発行されるとコマンドバッファ１２２の空きをチェックし（ステップＳ２２３）、コマンドバッファ１２２の空きがあれば、コマンドバッファ１２２にコマンドを格納する（ステップＳ２２４）。コマンドバッファ１２２に格納できなかった場合も含めて、次にシーンチェンジ状態制御部１２４からシーンチェンジ抽出結果バッファ１２３に蓄えられたシーンチェンジ抽出結果の取得を行う（ステップＳ２２５）。最後に、シーンチェンジ抽出結果とコマンドが受け付けられたか否かを録画制御部１０２に返す（ステップＳ２２６）。
【００４０】
一方、シーンチェンジ状態制御部１２４では電源起動されると（ステップＳ２４１）、コマンド待ち状態になり（ステップＳ２４２）、受け取ったコマンドがシステム終了（ステップＳ２４３）であればシステム終了に移る（ステップＳ２４５）。また、コマンドが録画開始コマンドであれば（ステップＳ２５２）、録画開始のための例えばメモリの確保や変数の初期化などの録画開始処理（ステップＳ２５３）を実行し、録画終了コマンド（ステップＳ２５４）であれば、例えば確保したメモリの開放やシーンチェンジ抽出結果を録画制御部１０２に送る録画終了処理（ステップＳ２５５）を行う。一方、受け取ったコマンドがシーンチェンジ抽出コマンドであれば、シーンチェンジ抽出コマンドに付けて渡される符号化ストリームのストリームバッファ１０４における先頭アドレスを元に、符号化ストリームの復号化を行う（ステップＳ２４６）。復号化部１１１によってＹＵＶに変換された映像データからヒストグラムを生成し（ステップＳ２４７）、そのヒストグラムを第１のヒストグラムバッファ１１３（又は第２のヒストグラムバッファ１１４）に格納する（ステップＳ２４８）。生成したヒストグラムと第２のヒストグラムバッファ１１４（又は第１のヒストグラムバッファ１１３）に格納されている１つ前の映像のヒストグラムの差異値を求め（ステップＳ２４９）、予め設定されている閾値以上であればシーンチェンジと判定する（ステップＳ２５０）。この結果を、結果バッファ１２３に格納する（ステップＳ２５１）。
【００４１】
１つのＧＯＰに対するシーンチェンジ抽出処理が終わると、次の処理を行うためにコマンド待ち（ステップＳ２４２）に移る。ここでもし既にコマンドバッファ１２２にコマンドが格納されていれば、即座に、次のＧＯＰの解析が開始されるが、次のコマンドバッファがまだ設定されていなければ、コマンド待ちを継続する（ステップＳ２４２）。
【００４２】
実施の形態２の映像記録装置においては、シーンチェンジ抽出を行うソフトウェアモジュールのタスク又はスレッドの優先度は録画再生を行うモジュール群より低くしている。この理由は、シーンチェンジ抽出を行うモジュールは、ＭＰＥＧのソフトウェアデコード処理を伴うために、非常に処理負荷が高く、よって図示しないがソフトウェアを処理するＣＰＵを占有する時間が他のモジュールに比べて極めて大きくなるからである。そのため、もしシーンチェンジ抽出モジュールの優先度を録画再生モジュールの優先度と同じ又はそれ以上にしていると、録画再生時にＣＰＵの処理時間の多くを占有し、そのために映像の記録に関するモジュールの処理が遅れ、結果記録又は再生ができない問題を引き起こす可能性があるからである。さらに、ユーザー入力によって動作するモジュール、例えば、キー入力、画面表示等を司るモジュールの動作も同様にシーンチェンジ抽出モジュールによってその動作を遅延させることが想定しうる。よって、シーンチェンジ抽出モジュールの優先度は、その他のモジュールの優先度に比べて、低くすることが望ましい。一方、次々と録画によって生成されるＧＯＰに対してシーンチェンジの解析を実行していかなければ、シーンチェンジ検出を行うことはできない。しなしながら、符号化部１０１による符号化処理はリアルタイムに行われていくが、生成された符号化ストリームはＨＤＤ１０５に書き込みを行うために一時的にストリームバッファ１０４に保持されている。よって、符号化ストリームがストリームバッファ１０４に保持されている間にシーンチェンジモジュールがストリームバッファ１０４上の符号化ストリームを処理すれば、すべてのＧＯＰに対してシーンチェンジ抽出処理を行うことができることになる。
【００４３】
実際に、シーンチェンジ抽出動作が継続して実行されている最中において、例えば、ユーザーによる別番組の再生要求やＥＰＧ番組表の表示などシステム的に負荷の大きな処理が起動された場合を想定してみる。先行するＧＯＰのシーンチェンジ抽出実行時に大きな負荷がかかり、その処理の進行があまり進んでいない状況で、次のＧＯＰの符号化完了通知が符号化部１０１から録画制御部１０２に上がってくる。録画制御部１０２は、即座にシーンチェンジ抽出部１１０のシーンチェンジコマンド制御部１２０に対して、シーンチェンジ抽出コマンドを発行する。シーンチェンジコマンド制御部１２０のＡＰＩ部は、コマンドバッファの空きを見て（ステップＳ２２３）、空きがあればコマンドバッファにシーンチェンジ抽出コマンドを格納する。シーンチェンジコマンド制御部１２０は、シーンチェンジ抽出コマンドの格納だけを行い、即座に録画制御部１０２にリターンを返す。さらに、次のＧＯＰの符号化完了までに、先行するＧＯＰのシーンチェンジ抽出が完了していなければ、さらにその次のＧＯＰに対するシーンチェンジ抽出コマンドもコマンドバッファに格納する。その後シーンチェンジ抽出が完了すると、シーンチェンジ状態制御部はコマンド待ち（ステップＳ２４２）に移り、コマンドバッファより最古のコマンドを受け取り、次のＧＯＰのシーンチェンジ抽出の実行を開始する。その後システムの負荷が定常状態になると、シーンチェンジ抽出処理の処理頻度が増加し、コマンドバッファの遅延されたコマンドを順次と実行する。ただし、この遅延に許された最大数は２０ＧＯＰ分であり、それ以上のシーンチェンジ処理要求が生じた場合はコマンドバッファにコマンドの空きがないため、該当するＧＯＰに対してシーンチェンジ処理が実行されないことになる。このとき録画制御部１０２は何らかのエラー処理を実行してもよく、また、装置の主たる目的である録画動作が正常に行われているという理由で特にエラー処理を実行せずにそのまま処理を継続してもよい。
【００４４】
このようにストリームバッファ１０４上に一時的に保持されたストリームを解析することに加え、録画制御部１０２から発行されるコマンドをバッファリングすることによって、必ずしも映像が符号化される毎に符号化されたストリームに対してシーンチェンジ抽出を実行する必要がなく、遅延処理が可能である。そのため、録画制御部１０２による符号化処理における符号化単位とシーンチェンジ抽出部１１０における解析単位を連続的に処理する必要がなく、よって符号化処理とシーンチェンジ抽出処理を独立した処理単位として設計できる。
【００４５】
また、録画制御部１０２とシーンチェンジ抽出部１１０は独立して動作することが可能であり、さらにシーンチェンジ抽出部１１０の処理優先度を録画に関する処理のそれより低くすることによって、処理時間が長くかかるシーンチェンジ抽出部１１０の動作によって、録画制御部１０２の処理が遅れ、結果として通常の録画処理に影響を及ぼすといった悪影響を発生させることがない。
【００４６】
また、シーンチェンジ抽出処理は遅延処理が可能なため、システムの一時的な負荷上昇によってシーンチェンジ抽出処理がＧＯＰの再生時間内で完了できなかった場合や、シーンチェンジ抽出処理に処理が回ってこない場合であっても、コマンドバッファ１２２に格納されたシーンチェンジ抽出コマンドを使って、過去に符号化されたストリームに対して順次抽出処理を実行できるため、シーンチェンジ抽出処理が飛ばされて実行されないといった問題を回避することができる。
【００４７】
なお、上記シーンチェンジ抽出処理の遅延可能な時間若しくは回数は、ストリームバッファ１０４及びコマンドバッファの数によって決定される。
【００４８】
また、実施の形態２において、上記以外の点は、上記実施の形態１の場合と同じである。
【００４９】
実施の形態３．
本発明の実施の形態３の映像記録装置は、実施の形態１の映像記録装置の復号化部１１１の構成を特定した点が、実施の形態１の映像記録装置と相違する。したがって、実施の形態３の説明においては、図１及び図２をも参照する。
【００５０】
図７は、図１の復号化部１１１の構成を示すブロック図である。実施の形態３の映像記録装置は、図７に符号化ストリームからシーンチェンジの抽出処理を行う場合の復号化処理において、ＤＣＴ（離散コサイン変換）係数の復号化次数を制御する方法に特徴がある。図７に示されるように、復号化部１１１は、入力された符号化ストリームのヘッダから画素サイズを求める画素サイズ検出部３０１と、画素サイズ検出部３０１によって検出された画素サイズからＤＣＴブロックの使用する成分（次数）を決定する次数決定部３０２と、符号化ストリームに対して次数決定部３０２で決定した次数まで逆量子化を行いながらＤＣＴ係数を抽出するＤＣＴ係数抽出部３０３と、抽出されたＤＣＴ係数から逆ＤＣＴを実行するＩＤＣＴ部３０４と、削減された次数で実行された逆ＤＣＴによって離散化してしまった画素データを詰めて縮小された画像を生成する画像整形部３０５とを有している。
【００５１】
図８（Ａ）乃至（Ｄ）は、実施の形態３の映像記録装置のＤＣＴ係数削減処理を説明するための図である。図８（Ａ）は、符号化ストリーム画素サイズを示し、図８（Ｂ）は、ＤＣＴブロック（２×２を使用する場合）とＤＣＴブロック（４×４を使用する場合）を示し、図８（Ｃ）は、復号済ＤＣＴブロック（２×２以外を無効とする場合）と復号済ＤＣＴブロック（４×４以外を無効とする場合）を示し、図８（Ｄ）は、復号画像を示す。実施の形態３においては、ユーザーの希望により符号化する映像の画素サイズを７０４×４８０画素と３５２×２４０画素から選択できる映像記録装置について説明する。よって、復号化部１１１に入力されるストリームは、７０４×４８０画素の符号化ストリーム又は３５２×２４０画素の符号化ストリームの２種類の画素サイズのものが存在する。復号化部１１１に符号化ストリームが入力されると、まず最初に画素サイズ検出部３０１が符号化ストリームの画素サイズの検出を行い、検出した画素サイズを次数決定部３０２に送る。次数決定部３０２では、検出した画素サイズに応じて、符号化ストリームに含まれるＤＣＴ係数のうちの処理する次数Ｄｅを決定する。例えば、７０４×４８０画素の符号化ストリームの場合はＤＣＴブロックの内の次数２まで、一方、３５２×２４０画素の符号化ストリームの場合は次数４まで処理すると予め設定しておく。この次数に従ってＤＣＴ係数抽出部３０３とＩＤＣＴ部３０４は、ＤＣＴブロックの処理対象とする次数を設定し、復号化を行う。ＩＤＣＴ部３０４から出力された復号化された映像データは、ＤＣＴブロック単位でＤＣＴ係数の間引きを行ったため復号化されたＤＣＴブロックをつなぎ合わせて生成された復号化された映像の画素は離散的な映像になっている。この画素間が離散的な映像に対して画素の隙間をつめる処理を画像整形部３０５で行う。これによって、復号化された映像は、７０４×４８０画素の符号化ストリームの場合は１７６×１２０画素、３５２×２４０画素の符号化ストリームの場合は１７６×１２０画素となり、入力された符号化ストリームの画素サイズが違っていたにもかかわらず同じサイズの画像を得ることができる。このように復号化された映像を次のヒストグラム生成器１１２に送れば、実施の形態１と同様にシーンチェンジの検出を行うことができる。
【００５２】
すなわち、実施の形態３においては、復号化部１１１にＤＣＴ係数の制御を行う機能が付加されることによって、符号化部１０１によって異なる画素サイズとして符号化された符号化ストリームであってもシーンチェンジ抽出に使う映像は同じ画素サイズで行うことができることを示すと共に、シーンチェンジ抽出で解析対象とする映像の周波数帯域の上限を同じ帯域に揃えることができることを示している。また、ヒストグラム生成器１１２以降では常に同じ画素サイズの符号化ストリームに対してシーンチェンジ抽出を行うことができるので、次のヒストグラム生成器１１２以降の処理は画素サイズに依存することなく同じ処理を行うことができる。
【００５３】
上記のように構成することによって、符号化ストリームの画素サイズが違う場合であっても、同じ又は同程度の画素サイズに復号化された映像を得ることができる。
【００５４】
また、符号化ストリームの画素サイズが違う場合でも同じ画素サイズの復号化された映像に対して、シーンチェンジ抽出処理を行うことができるので、符号化ストリームの画素サイズが違っているストリームに対しても、同じシーンチェンジの評価方法と評価基準を用いることができ、結果として画素サイズを変えて同じ映像を録画した場合においても、同じ時間位置をシーンチェンジとして検出することができる。
【００５５】
また、画素サイズが異なる符号化ストリームに対してＤＣＴ係数を制御することによって、復号化された画像の周波数帯域を揃えることができるので、画素サイズを変えて同じ映像を録画した場合においても、同じ時間位置をシーンチェンジとして検出することができる。
【００５６】
また、高解像度の符号化データほど間引きを多くすることができるので、処理時間がかかる高解像度な符号化データであっても高速にシーンチェンジ抽出することができる。
【００５７】
また、高解像度の符号化データほど高周波の次数を間引きくことができるように構成できるので、比較的高周波ノイズの発生し易い高解像度の符号化データほどノイズ除去を効果的に行うことができる。
【００５８】
また、解像度によらず同一の復号化映像を生成するために、復号化映像を記憶するメモリサイズを同一にすることができる。
【００５９】
また、本来復号化映像を記憶するために大きなメモリサイズを必要とする高解像度映像ほど間引き処理を行うために、復号化処理のために用意しておくべきメモリ領域を小さくすることができる。
【００６０】
なお、実施の形態３において、上記以外の点は、上記実施の形態１乃至２の場合と同じである。
【００６１】
実施の形態４．
本発明の実施の形態４の映像記録装置は、実施の形態１の映像記録装置の復号化部１１１の構成を特定した点が、実施の形態１の映像記録装置と相違する。したがって、実施の形態４の説明においては、図１及び図２をも参照する。
【００６２】
図９は、本発明の実施の形態４の映像記録装置の復号化部の構成を示すブロック図である。図９を用いて符号化ストリームからシーンチェンジの抽出処理を行う場合の復号化処理において、復号化を実行するスライスを限定する処理について説明する。実施の形態４の映像記録装置の復号化部１１１は、入力された符号化ストリームのヘッダから画素サイズを求める画素サイズ検出部３０１と、画素サイズ検出部３０１の検出した画素サイズからシーンチェンジ抽出の処理対象とするスライスを決定する使用スライス決定部３０６と、符号化ストリームのヘッダを解析するヘッダ検出部３０７と、符号化ストリームの逆量子化を行う逆量子化部３０８と、周波数領域に変換された係数値を逆ＤＣＴ処理するＩＤＣＴ部３０４とを有している。
【００６３】
次に、スライス削減と合わせて動作するシーンチェンジ抽出処理の動作について説明する。画素サイズ検出部３０１が画素サイズの検出を行い、使用スライス決定部３０６が使用するスライスを決定する。ここでは、例えば、符号化部１０１で生成される符号化ストリームの解像度は７２０×４８０画素と３５２×２４０画素の２種類のみしか存在しない場合には、垂直方向の画素数が４８０のときには、上下５スライス、すなわち、
（１６画素×５スライス）×２＝８０画素×２
を使用しないものとし、一方、画素数が２４０のときには、上下２スライス、すなわち、
（１６画素×２スライス）×２＝３２画素×２
を使用しないものとしている。ここで解像度によって使用しない画素数が異なるが、垂直方向に対する割合は、４８０画素の場合、全３０スライスに対して１０スライスを使用しないので、１／３を使用しないことになり、一方、２４０画素の場合、全１５スライスに対して４スライスを使用しないので、４／１５を使用しないことになり、ほぼ同じ割合をシーンチェンジ抽出対象としていることが分かる。
【００６４】
このようにして使用スライス決定部３０６において使用するスライス数を求め、ヘッダ検出部３０７で符号化ストリームのヘッダを解析し、スライスヘッダを抽出する毎に先の使用スライス決定部３０６で使用しないスライスと判定したスライスであれば、次のスライスヘッダまでジャンプし、一方、使用するスライスであれば、該当するスライスを逆量子化部３０８に送る。逆量子化部３０８は、符号化ストリームの逆量子化を行い、ＩＤＣＴ部３０４は、逆ＤＣＴを実行する。上記構成によって、使用するスライスのみが復号化処理され、結果として垂直解像度が４８０画素であれば垂直解像度３２０画素の映像を、一方、垂直解像度が２４０画素であれば垂直１７２画素の復号化された映像を求めることができる。復号化部１１１によって上記のように垂直方向に削減され復号化された映像に対して、ヒストグラム生成器１１２では有効なスライス領域と同じ位置の画素を対象にヒストグラムの生成を行う。差分抽出器１１５で求める差異値ｄを導出するためにフレーム内の画素数を表すＮ（１フレーム内の画素数）を利用している。実施の形態４においては、垂直方向に画素を削減したので、フレーム内の画素数Ｎは以下のように補正される。まず、元が垂直解像度７２０画素の場合であれば、削減された垂直解像度が３２０画素で、水平解像度は７２０画素なので、
Ｎ＝３２０×７２０＝２３０４００
となる。また、垂直解像度２４０画素の場合、削減された垂直解像度が１７２画素で、水平解像度は３５２画素であれば
Ｎ＝１７２×３５２＝６０５４４
に補正を行う。本補正を行ったうえで求められる差異値ｄを用いて、シーンチェンジ判定器１１６は、実施の形態１と同様のシーンチェンジ判定を行うことができる。
【００６５】
上記説明においては、スライス単位で復号化をするか否かを設定しているが、シーンチェンジに利用する領域を画素位置又はマクロブロック単位で設定してもよい。この場合、シーンチェンジを検出する位置を特定できるので、検出精度を向上することができる。また、画素毎にシーンチェンジ抽出を行うか否かを設定する場合、すべての画素について復号化を行い、復号化した後に抽出したいエリアのヒストグラム及びヒストグラムの差異値をとることによって実現可能であるが、検出単位をマクロブロック単位で指定するようにすると、ヘッダ検出部又は復号化処理部においてマクロブロック単位で処理を実行するか否かを制御できるので、不必要な復号化を実行しないよう構成でき、処理速度を向上することができる。
【００６６】
以上のように構成することによって、復号化及びシーンチェンジ抽出する画素サイズがスライス単位で削減できるので、処理の高速化を実現できる。
【００６７】
また、スライスの削減によって復号した画像のサイズも小さくなるので使用するメモリサイズも小さくなる。
【００６８】
また、シーンチェンジを検出する対象が放送番組であれば、映像の上下位置のスライスを使用しないように構成することによって、番組の本編との関連性が低い、又は、余り重要ではない情報である、時刻表示、臨時ニュースの文字表示、又はテロップなどに影響されることなくシーンチェンジ抽出を行うことができる。
【００６９】
また、マクロブロック単位で復号化及びシーンチェンジ抽出処理の実行を指定することによって、任意の１つ若しくは複数のマクロブロックに対してのみシーンチェンジ検出が可能になり、位置を特定したシーンチェンジ抽出が可能になる。
【００７０】
なお、実施の形態４において、上記以外の点は、上記実施の形態１乃至３の場合と同じである。
【００７１】
実施の形態５．
実施の形態５の映像記録装置は、差分抽出器１１５の動作が実施の形態１の映像記録装置と相違する。したがって、実施の形態５の説明においては、図１及び図２をも参照する。
【００７２】
実施の形態５においては、シーンチェンジ抽出対象となる映像によってシーンチェンジの判定基準を切り替える方法について説明する。図１０は映像の画素値のＹＵＶ分布を示している。一般的にＹＵＶは各２５６値で表現され、輝度信号Ｙは０から２５５まで、色差信号Ｕ及びＶは、−１２８から１２７までの値をとる。そのとき人間の目でほぼ白と感じる領域及びほぼ黒と感じる領域を、図１０において、それぞれＷ及びＢで示している。実施の形態５においては、抽出対象となる映像が、全体として白に近い色の領域が多い映像（以下「白映像」とも言う。）である場合は、領域Ｗ以外の領域で差異値を算出し、一方、全体として黒に近い色の領域が多い映像（以下「黒映像」とも言う。）である場合は、領域Ｂ以外の領域で差異値を算出する方法によって、比較する２つの映像がよく似た映像であっても的確にシーンチェンジを検出することを目的とする。
【００７３】
実施の形態５の差分抽出器１１５の動作を、図１１にフローチャートで示す。まず、第１のヒストグラムバッファ１１３及び第２のヒストグラムバッファ１１４からｉ番目のフレーム（以下「ｉフレーム」とも言う。）及びｉ−１番目のフレーム（以下「ｉ−１フレーム」とも言う。）のヒストグラムを取得する（ステップＳ３０１）。次にそれぞれのフレームの白領域Ｗの画素数をカウントする（ステップＳ３０２）。ｉフレーム及びｉ−１フレームの白画素数ＣＷｉ、ＣＷｉ−１は次式で表される。
【数２】
【００７４】
次に、白領域Ｗの累積差異ｒＷを次式で求める（ステップＳ３０３）。
【数３】
【００７５】
一方、黒領域Ｂについても同様に、黒画素数ＣＢｉ、ＣＢｉ−１を次式で求める（ステップＳ３０４）。
【数４】
【００７６】
また、黒領域Ｂの累積差異ｒＢを次式で求める（ステップＳ３０５）。
【数５】
【００７７】
次に、ｉフレーム及びｉ−１フレームが共に以下の条件式を満足すれば、白に近い色の領域が多い映像（「白映像」とも言う。）であると判断する（ステップＳ３０６）。
ＣＷ＿ＭＡＸ＞ＣＷｉ＞ＣＷ＿ＭＩＮ 且つ
ＣＷ＿ＭＡＸ＞ＣＷｉ−１＞ＣＷ＿ＭＩＮ
上記は、全体として白に近い色の領域が多い映像と判定する条件として、白領域Ｗの画素数が下限ＣＷ＿ＭＩＮより大きく、上限ＣＷ＿ＭＡＸ未満であることを条件としている。このように、白画素数が下限より大きいことを満足するだけでなく、上限を設けている理由は、白画素数がある値より大きい場合は、白に近い色の領域以外の画素数が非常に少なくなり、全体の画素数に対して非常に少ない白以外の画素で画像全体のシーンチェンジの判定を行ってしまうことを避けるためである。
【００７８】
上記条件を満足できれば、白領域Ｗを除いた領域について次式で差異値を求める（ステップＳ３０７）。
【数６】
【００７９】
一方、白に近い色の領域が多い映像と判断されなかった場合は、以下の条件式で黒に近い色の領域が多い映像であるか否かを判定する（ステップＳ３０８）。
ＣＢ＿ＭＡＸ＞ＣＢｉ＞ＣＢ＿ＭＩＮ 且つ
ＣＢ＿ＭＡＸ＞ＣＢｉ−１＞ＣＢ＿ＭＩＮ
上記は、黒に近い色の領域が多い映像と判定する条件として、黒領域Ｂの画素数が下限ＣＢ＿ＭＩＮより大きく、上限ＣＢ＿ＭＡＸ未満であることを条件としている。上記条件を満足できれば、黒領域Ｂを除いた領域について次式で差異値を求める（ステップＳ３０９）。
【数７】
【００８０】
一方、白に近い色の領域が多い映像と判断されず、且つ、黒に近い色の領域が多い映像とも判断されなかった場合は、実施の形態１で示した差異値の導出式
【数８】
によって差異値を求める（ステップＳ３１０）。
【００８１】
以上によって求めた差異値ｄを用いて、実施の形態１で示した手法と同様に、シーンチェンジ判定器１１６によってシーンチェンジの判定が行われる。
【００８２】
上記動作により、比較する２つの映像が共に白に近い色の領域が多い映像であれば白領域Ｗを除いた領域で映像の変化を比較し、一方、比較する２つの映像が共に黒に近い色の領域が多い映像であれば黒領域Ｂを除いた領域で映像の変化を比較することができるので、特定の色領域を除いた映像のシーンチェンジを抽出することができる。
【００８３】
そのために、全体的に白に近い色の領域が多い映像又は黒に近い色の領域が多い映像が続いたシーンにおいてもシーンチェンジを検出することが可能である。
【００８４】
特に、放送番組のＣＭ（Ｃｏｍｍｅｒｃｉａｌ Ｍｅｓｓａｇｅ）間のつなぎ目において、白い背景（又は黒い背景）に企業名や製品名が示されたシーンから同じように白い背景（又は黒い背景）に異なる企業名や製品名が示されるシーンに切り替わる場合において、白い背景や黒い背景を除いたエリアでシーンチェンジ判定を行うので、結果として企業名や製品名の領域からシーンチェンジとして検出することができ、ＣＭの区切りを検出するのに非常に有効に動作することができる。
【００８５】
なお、実施の形態５において、上記以外の点は、上記実施の形態１乃至４の場合と同じである。
【００８６】
実施の形態６．
図１２は、本発明の実施の形態６の映像音声記録装置２０の構成を概略的に示すブロック図である。図１２に示されるように、映像音声記録装置２０は、アンテナ１によって受信された放送波から録画する放送番組を選局するチューナ２と、チューナ２から出力されたアナログ映像信号をデジタル化するビデオＡ／Ｄ変換部３と、チューナ２から出力されたアナログ音声信号をデジタル化するオーディオＡ／Ｄ変換部４と、デジタル映像信号をＭＰＥＧ−２（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ−２）に圧縮符号化する符号化手段としてのビデオエンコーダ５と、デジタル音声信号を、例えば、リニアＰＣＭ（Ｌｉｎｅａｒ ｐｕｌｓｅ ｃｏｄｅ ｍｏｄｕｌａｔｉｏｎ）又はドルビーデジタル（Ｄｏｌｂｙ Ｄｉｇｉｔａｌ）に符号化する符号化手段としてのオーディオエンコーダ６と、符号化された映像及び音声信号を１つの符号化ストリームに多重するマルチプレクサ（Ｍｕｌｔｉｐｌｅｘｅｒ）（以下「Ｍｕｘ」とも記す。）７と、ビデオエンコーダ５、オーディオエンコーダ６及びＭｕｘ７を制御する録画制御部８とを有している。
【００８７】
また、映像音声記録装置２０は、符号化ストリームを記録する記録手段としてのハードディスクドライブ（ＨＤＤ）１１と、Ｍｕｘ７で多重された符号化ストリームをＨＤＤ１１に安定して書き込むためのストリーム制御手段としてのストリーム制御部９と、符号化ストリームを一時的に記憶するストリームバッファ１７と、生成された各符号化ストリームをファイルとしてＨＤＤ１１に保存するためのファイルシステム部１０と、生成された符号化ストリームの番組名や生成日時に加え、特殊再生を実現するためのアドレス情報や後述するＣＭ区間情報を生成及び管理するナビゲーション部１２とを有している。
【００８８】
さらに、映像音声記録装置２０は、映像の場面転換シーンを検出する映像変化点検出手段としてのシーンチェンジ検出部１３と、音声の無音区間を検出する無音検出手段としての無音検出部１４と、シーンチェンジと無音区間が同時に発生する変移点を検出する変移点検出手段としての変移点検出部１５と、変移点を検出するためにシーンチェンジと無音区間の情報を保持する、変移点検出部１５内に備えられた一時記憶手段としての変移点マッチングバッファ１９と、複数の変移点からＣＭに固有の周期性等からＣＭ区間を検出するＣＭ放送区間判定手段としてのＣＭフィルタ１６と、ＣＭフィルタ１６で解析する変移点を記憶する変移点スタックテーブル１８とを有している。
【００８９】
図１２には、記録手段としてＨＤＤ１０５が示されているが、記録手段は、ＤＶＤのような光ディスクや磁気テープなどの他の情報記録媒体であってもよい。また、映像音声記録装置２０は、放送番組を受信及び録画する受信機又はＤＶＤ／ＨＤＤハイブリッドレコーダであってもよい。さらに、映像音声記録装置２０は、家庭用のビデオレコーダに限らず、パーソナルコンピュータ、映像サーバ、又は、監視システム用の監視レコーダなどの各種用途に適用できる。
【００９０】
ファイルシステム部１０は、ＨＤＤ１１に書き込む情報をファイル化することによって書き込み情報に対するアクセスが簡単に行えるようにするためのデータ管理を行う。ファイルシステム部１０によって、ストリーム制御部９及びナビゲーション部１２は、ストリームや情報をＨＤＤ１１に書き込み又はＨＤＤ１１から読み出しを行うときに、ＨＤＤ１１上の直接のアドレスを気にすることなく、ファイルを指定することによって、先頭から順に、又は、指定した位置から順に読み出し及び書き込みを行うことができる。
【００９１】
ビデオエンコーダ５による符号化方式であるＭＰＥＧ−２は、可変レートに対応しており、そのため、１秒間に発生する符号量（ビットレート）は時間によって大きく変動する。そのため、ストリーム制御部９は、ＨＤＤ１１へのデータ書き込み及びＨＤＤ１１からのデータ読み出しによって符号化ストリームがオーバーフロー又はアンダーフローしないように、符号化ストリームをストリームバッファ１７に一時的に保持させ、ＨＤＤ１１の状態に応じて符号化ストリームのＨＤＤ１１への書き出し及びＨＤＤ１１からの読み込みを行っている。ストリームバッファ１７は、リングバッファで構成されており、書き込み位置ポインタと読み出し位置ポインタによって有効なデータ領域が管理されている。すなわち、データの書き込み時には、書き込み位置ポインタを先頭にデータサイズ分書き込みを行い、書き込んだデータサイズ分だけ書き込み位置ポインタを進める。一方、データの読み出し時には、読み出し位置ポインタを先頭にデータサイズ分読み出しを行い、読み出したデータサイズ分だけ読み出し位置ポインタを進める。ただし、リングバッファの終了位置に来たときは、ポインタを先頭の位置に戻す処理を行う。
【００９２】
次に、放送番組を記録する動作について説明する。ユーザーが手動で録画開始ボタンを押した、又は、予め録画タイマーで設定しておいた録画開始時間になると、チューナ２はアンテナ１で受信した放送波から指定チャンネルを選局する。チューナ２から出力された映像及び音声のアナログ信号は、それぞれビデオＡ／Ｄ変換部３及びオーディオＡ／Ｄ変換部４に送られ、デジタル映像信号及びデジタル音声信号に変換される。録画制御部８は録画開始時にビデオエンコーダ５及びオーディオエンコーダ６に対してエンコード開始を、Ｍｕｘ７に対して多重処理開始を指示する。すると、ビデオＡ／Ｄ変換部３又はオーディオＡ／Ｄ変換部４から出力されたデジタル映像信号及びデジタル音声信号が順次ビデオエンコーダ５及びオーディオエンコーダ６で圧縮符号化処理が行われ、さらに、Ｍｕｘ７で１つのプログラムストリームに多重化が行われ、ストリーム制御部９でストリームの制御を行いながらＨＤＤ１１に記録されていく。
【００９３】
ビデオエンコーダ５は、エンコード単位であるＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅｓ）の符号化が完了する毎に録画制御部８にＧＯＰ符号化完了通知を送る。ストリーム制御部９は、ビデオエンコーダ５及びオーディオエンコーダ６によって符号化されＭｕｘ７で多重された符号化ストリームをストリームバッファ１７の書き込み位置ポインタを先頭に順次書き込む。一方、ストリーム制御部９は、ＨＤＤ１１が書き込み状態になっていることを確認しながら、ストリームバッファ１７の読み出し位置ポインタから符号化ストリームを読み出し、ＨＤＤ１１に書き込みを行う。録画が実行されている間、前記動作を繰り返し行う。録画終了時には、録画制御部８は、ビデオエンコーダ５及びオーディオエンコーダ６に対して符号化終了を指示し、符号化を停止させる。符号化停止後、ストリーム制御部９は、ストリームバッファ１７に残っている符号化ストリームを全てＨＤＤ１１に書き込む。
【００９４】
次に、シーンチェンジ検出と無音検出について説明する。録画制御部８は、ＧＯＰの符号化完了をビデオエンコーダ５から受け取る毎に、シーンチェンジ検出部１３に対してシーンチェンジ検出コマンドを送る。シーンチェンジ検出部１３は、エンコードが完了したＧＯＰデータをストリーム制御部９から読み出し、映像のシーンチェンジの検出を行う。検出方法の一例としては、以下の方法がある。まず、読み出したＧＯＰ単位のデータからＩピクチャの復号化を行い、ヒストグラムを作成する。そのヒストグラムと一つ前のＩピクチャのヒストグラムと比較を行い、ヒストグラムの各要素値の絶対値の差の合計をシーンチェンジ差異値と定義し、そのシーンチェンジ差異値が予め設定された閾値より大きければシーンチェンジであると判定する。以下の説明においては、説明を簡単にするために、ＧＯＰを構成するピクチャ数は１５枚固定であり、そのＧＯＰの時間は０．５秒であるものとする。よって、シーンチェンジの発生した時刻は、ＧＯＰの個数で簡単に表すことが可能となる。
【００９５】
オーディオＡ／Ｄ変換部４は、アナログ音声信号をデジタル音声信号であるリニアＰＣＭ信号に変換する。無音検出部１４は、入力されたリニアＰＣＭ信号の振幅が予め設定されている閾値以下の状態が予め設定された時間以上続けば無音区間であると判定する。ここでは、入力されたリニアＰＣＭ信号の振幅が予め設定されている閾値以下の状態が、３００ミリ秒以上続けば、無音区間が発生したと判定する。無音区間の条件として、ある時間以上、リニアＰＣＭ信号の振幅が低い状態が続くことを必要としている理由は、瞬間的な無音を、無音区間と判定しないようにするため、及び、無音の発生毎に後述するＣＭ放送区間検出動作の頻度が多くなると、システムの処理負荷が大きくなってＣＭ放送区間検出以外の動作に支障を来たすおそれがあるからである。無音区間であると判定した場合、録画開始からのサンプル数の累積番号により無音開始時刻を算出する。また、無音区間が継続されている状態でリニアＰＣＭ信号の振幅が、予め設定されている閾値より大きくなった場合、無音区間が終了したと判定し、同様にサンプル数の累積番号から無音終了時刻を算出する。
【００９６】
図１３は、図１２に示される映像音声記録装置２０の変移点検出部１５の動作を示すフローチャートである。変移点検出部１５は、シーンチェンジ検出部１３から送られるシーンチェンジ情報又は無音検出部１４から送られる無音情報に基づいて動作を切り替える。例えば、変移点検出部１５の動作が開始されて、シーンチェンジ検出部１３においてシーンチェンジの検出動作を行い（ステップＳ１０１）、シーンチェンジ情報としてシーンチェンジ検出フラグ、ＧＯＰ番号、及びシーンチェンジ差異値が変移点検出部１５に送られたとすると、ステップＳ１０１において検出されたシーンチェンジ情報は、変移点検出部１５内の変移点マッチングバッファ１９に保存される（ステップＳ１０２）。
【００９７】
一方、無音検出部１４によって無音区間が検出されると（ステップＳ１０３）、無音区間情報として無音検出フラグ、無音発生時刻、及び無音終了時刻を変移点検出部１５に送る。ステップＳ１０３において判定された無音区間に関する無音情報は、変移点検出部１５内の変移点マッチングバッファ１９に保存される（ステップＳ１０４）。無音区間が検出された場合は、さらに変移点マッチングバッファ１９上で変移点検出、つまりシーンチェンジと無音が同時に発生した時間位置の検出を行う（ステップＳ１０５）。無音区間検出毎に変移点検出を行うのは、シーンチェンジ検出区間と無音区間の積情報を取るには、シーンチェンジ検出より発生頻度の低い無音区間検出の度に行うことが処理効率の面から適しているためである。変移点マッチングバッファ１９には、最新のシーンチェンジ及び無音区間の情報が一時的に保持されており、双方が一致した場合は、一致した情報が次の処理であるステップＳ１０６に送られるとともに、そのシーンチェンジ情報及び無音区間情報と、それ以前のシーンチェンジ情報及び無音区間情報が破棄される。また、予め設定された一定時間が経過したときにも、シーンチェンジ情報及び無音区間情報が破棄される。このような制御によって、有限のバッファサイズであっても、リアルタイムにシーンチェンジと無音区間の一致を検出することができる。したがって、変移点マッチングバッファ１９上で、無音区間の開始時刻から終了時刻までの間に発生したシーンチェンジを、シーンチェンジのＧＯＰ番号をもとに変移点を検出することができる。そして、シーンチェンジのＧＯＰ番号を変移点の時刻を表す値として利用する。このようにして選出された変移点及び一致したシーンチェンジの差異値及び無音の時間長を次のＣＭフィルタ１６に送り（ステップＳ１０６）、ＣＭフィルタ１６内の変移点格納用の変移点スタックテーブル１８に保存し、ＣＭフィルタ１６の動作を実行する（ステップＳ１０７）。
【００９８】
次に、図１２に示されるＣＭフィルタ１６によってＣＭ放送区間を検出する方法について説明する。図１２に示されるように、ＣＭフィルタ１６内には、変移点に関する情報を記憶する変移点スタックテーブル１８が設けられている。図１４は、変移点スタックテーブル１８の一例を示す図である。変移点スタックテーブル１８は、録画と並行して実行されるＣＭ放送区間検出動作時に更新されるので、リングバッファの構成をとる。よって、リードポインタからライトポインタの手前までがＣＭ放送区間検出のための処理範囲である。変移点スタックテーブル１８内には、変移点の時間位置を示す変移点ＧＯＰ番号と、後続する変移点がＣＭとみなされた場合の最終変移点の時間位置を示す連結終了ＧＯＰ番号と、後続する変移点の個数を示す変移点カウンタと、変移点における無音時間長と、変移点におけるシーンチェンジ差異値と、この変移点の有効・無効を示す有効無効フラグとが設けられている。
【００９９】
変移点ＧＯＰ番号は、シーンチェンジが検出されたＧＯＰ番号である。実施の形態６においては、シーンチェンジの検出精度を１ＧＯＰとしているため、録画開始からのＧＯＰの累積番号で時間を表すことができる。
【０１００】
連結終了ＧＯＰ番号とは、ある変移点を基点としたＣＭ放送区間における最終変移点のＧＯＰ番号である。図１４においては、変移点ＧＯＰ番号‘１０’の場合、ＧＯＰ番号‘１０’、‘４０’、‘１０１’においてＣＭが継続して検出されるので、ＧＯＰ番号‘１０１’が連結終了ＧＯＰ番号になる。変移点検出部１５では、変移点３３ｇが検出されると、ＧＯＰ番号‘１０１’にＧＯＰ番号‘１３０’が連結され、変移点３３ｂから変移点３３ｇまでがＣＭ放送区間と判定される。また、変移点ＧＯＰ番号に後続する変移点がない場合は、連結終了ＧＯＰ番号は、変移点ＧＯＰ番号と同じ値になる。
【０１０１】
変移点カウンタは、ＣＭ放送区間においてＣＭが変移点で連結された場合における変移点の数を示す。
【０１０２】
無音時間長は、変移点における無音区間の長さをミリ秒単位で示す。
【０１０３】
シーンチェンジ差異値は、変移点におけるシーンチェンジの変化量を０から１までの値で示す。シーンチェンジ差異値が大きいほど、映像の変化量が大きいことを意味する。
【０１０４】
有効無効フラグは、変移点スタックテーブル内において処理対象範囲であることを示すフラグであり、変移点が登録されたときには有効‘１’が設定され、ＣＭフィルタ１６の処理において、例えば、‘４０’のように、先行する変移点に連結された変移点について無効‘０’に変更される。また、ある変移点が処理対象範囲から外れた場合、例えば、‘１０’、‘４０’、‘１０１’、‘１３１’をＣＭ区間として検出した場合に、‘１０’以前の‘６’や、‘１０’から‘１３１’の間の全ての変移点‘６２’、‘８３’を無効‘０’にすることによって、処理の高速化及び変移点スタックテーブルに必要なメモリサイズの低減を図ることができる。
【０１０５】
ＣＭフィルタ１６においては、変移点スタックテーブル１８の要素である変移点をそれぞれ比較し、変移点の間隔が所定の基準間隔、例えば、１５秒、３０秒、６０秒、又は９０秒相当であるものを抜き出していく。そのとき、検出誤差、ＣＭのフレームレベルでの長さのばらつき等によりＣＭの長さが１５秒からずれる可能性があるので、そのための許容誤差を、例えば、１ＧＯＰ分設ける。よって、先の変移点の間隔として有効な間隔は、ＧＯＰの個数で表現でき、３０ＧＯＰ±１ＧＯＰ、６０ＧＯＰ±１ＧＯＰ、１２０ＧＯＰ±１ＧＯＰ、及び１８０ＧＯＰ±１ＧＯＰのように、±１ＧＯＰの許容誤差を設けたＧＯＰの数で表現することができる。ＣＭフィルタ１６においては、上記変移点の間隔が上記のように予め設定しているＧＯＰの間隔と一致する変移点の間隔をＣＭ候補間隔とする。さらに、ＣＭ候補間隔が連続して２個以上ある場合には、その区間をＣＭ放送区間とする。
【０１０６】
図１５（Ａ）乃至（Ｅ）は、実施の形態６の映像音声記録装置２０におけるＣＭ放送区間検出動作を説明するための図である。図１５（Ａ）乃至（Ｅ）を用いてＣＭ区放送間を特定する方法について説明する。無音検出部１４によって無音区間３１ａ，…，３１ｍが検出された場合を説明する。一方、図１５（Ｂ）に示されるように、シーンチェンジ３２ａ，…，３２ｏが存在するものとする。無音区間については、無音発生時刻と無音終了時刻が得られ、シーンチェンジについては、シーンチェンジの発生したＧＯＰ番号が得られる。実施の形態６においては、ＧＯＰのフレーム数を固定にしているので、ＧＯＰ番号によって一意に時刻を表すことができる。無音とシーンチェンジの時刻を比較し、同一時刻に無音とシーンチェンジが発生した場合に、この点を変移点とする。ここでは、図１５（Ｃ）に示されるように、変移点３３ａ，…，３３ｉが検出されている。さらに、各変移点３３ａ，…，３３ｉの間で、上記ＣＭ間隔に一致するものをＣＭと判定する。ここでは、変移点３３ｂから変移点３３ｃまでの間隔が３０ＧＯＰであり、変移点３３ｃから変移点３３ｆまでの間隔が６１ＧＯＰであり、変移点３３ｆから変移点３３ｇまでの間隔が２９ＧＯＰであるので、それぞれの区間がＣＭとして検出され、さらに、ＣＭが３個連続して続くので、変移点３３ｂ，…，３３ｇがＣＭ放送区間であると判定する。さらに、変移点３３ｇから２０１ＧＯＰ経過したところで変移点３３ｉが検出されるが、変移点３３ｇから変移点３３ｉまでの間隔は、予め設定されたＣＭ放送区間の最大値である１８０ＧＯＰを超えているので、ＣＭが終了したと判断することができ、ＣＭ放送区間検出を完了したことを示している。
【０１０７】
次に、図１６を用いてＣＭフィルタ１６によるＣＭ検出処理手順について説明する。変移点検出部１５においてシーンチェンジと無音区間が同時に発生する変移点が検出されると、その情報がＣＭフィルタ１６に送られることによって、ＣＭフィルタ１６の動作が開始する（ステップＳ４０１）。検出された変移点の情報は、ＣＭフィルタ１６内の変移点スタックテーブル１８の最後尾に保存される（ステップＳ４０２）。ＣＭフィルタ１６内の変移点スタックテーブル１８に保存される情報は、有効無効フラグ、変移点ＧＯＰ番号、連結終了ＧＯＰ番号、連続するＣＭとして検出された変移点の個数である変移点カウンタ値、検出された変移点の無音時間長、及びシーンチェンジの変化量を示すシーンチェンジ差異値である。次に、変移点スタックテーブル１８の読み出し基点を設定する（ステップＳ４０３）。図１５（Ｃ）において、例えば、前回、変移点３３ａの処理まで完了していたとすると、今回は次の変移点３３ｂを最初の基点とする。次に、変移点の終点側を設定する（ステップＳ４０７）。図１５（Ｃ）においては、変移点３３ｃを終点とする。もしも、変移点スタックテーブル１８に終点となる変移点がなければ（ステップＳ４０８）、次の基点を取得する（ステップＳ４０４）。図１５（Ｃ）においては、基点が変移点３３ａで終点が変移点３３ｉの場合に、基点を変移点３３ｂにする処理である。ここで、次の基点が見つからなければ（ステップＳ４０４）、ＣＭ検出処理を終了する（ステップＳ４０６）。基点と終点が決定した場合、基点から終点までの時間長を求める（ステップＳ４０９）。図１５（Ｃ）においては、基点が変移点３３ｂ、終点が変移点３３ｃの場合には、基点‘１０’と終点‘４０’との差（すなわち、変移点間隔）である３０ＧＯＰが、時間長である。この時間長が、ＣＭ基準時間である３０ＧＯＰ±１ＧＯＰ、６０ＧＯＰ±１ＧＯＰ、１２０ＧＯＰ±１ＧＯＰ、及び１８０ＧＯＰ±１ＧＯＰのいずれかに一致していれば（ステップＳ４１０）、基点の連結終了ＧＯＰ番号を終点の連結終了ＧＯＰ番号で置き換える（ステップＳ４１１）。さらに、終点の有効無効フラグを無効化し（ステップＳ４１２）、基点の変移点カウントを一つ増分する（ステップＳ４１３）。また、ステップＳ４１０においてＣＭ基準時間長ではないと判定された場合は、次に、基点と終点間の時間長が最大ＣＭ基準時間長である１８０ＧＯＰ±１ＧＯＰを超えているか否かを判断し（ステップＳ４１４）、超えていると判定された場合には、基点から連結終了ＧＯＰ番号までをＣＭ放送区間と判定し、ＣＭ放送区間の情報を録画制御部８に送る（ステップＳ４１５）。さらに、次回のＣＭ放送区間検出処理の基点を今回のＣＭ放送区間の最終変移点の次の変移点に設定すると共に、検出した最終変移点より前の変移点の有効無効フラグを無効化する（ステップＳ４１６）。
【０１０８】
上記ステップを録画動作中継続して実行することによって、記録する放送番組のＣＭ放送区間をリアルタイムに検出することができる。ＣＭフィルタ１６で検出したＣＭ放送区間の時刻情報は、録画制御部８に一旦渡され、録画した番組の管理情報を扱うナビゲーション部１２に伝えられ、ファイルシステム１０によってファイル化され、ＣＭ放送区間情報記録手段として機能するＨＤＤ１１上に記録される。
【０１０９】
上記のように映像音声記録装置２０を構成することによって、放送番組を録画しながらＣＭ放送区間を検出することができる。
【０１１０】
また、シーンチェンジ検出機能を有しないエンコーダを用いた場合、通常、録画実行後にあらためて録画された番組を解析する必要があるが、本発明の構成においては、録画動作と並行してＣＭ放送区間の検出が行うことができるので、エンコーダの選択の範囲が広くなり、結果コストや調達性を重視したエンコーダの選択が可能になる。
【０１１１】
さらに、ストリーム制御部９からシーンチェンジ検出部１３及び無音検出部１４にストリームを送ることによって、ＨＤＤ１１に録画されている番組に対して、ＣＭ放送区間検出を行うことも可能である。ただし、その場合、無音検出はシーンチェンジと同様にストリームから解析する方法を使用しなければならない。
【０１１２】
また、シーンチェンジ検出結果と無音検出結果を一時的な記憶領域である変移点マッチングバッファ１９に記録し、変移点マッチングバッファ１９の記憶領域上で比較することによって、リアルタイムに変移点を検出することができ、よって、録画と並行してＣＭ放送区間の検出が可能になる。また、同時に発生しているシーンチェンジと無音区間が、ある程度の時間差をもって変移点検出部１５に通知されたとしても、変移点マッチングバッファ１９で情報が保持されているので、片方の情報をとりこぼすことなくＣＭ放送区間の検出を実行できる。
【０１１３】
また、シーンチェンジ検出時には一時的な記憶領域である変移点マッチングバッファ１９への登録のみを実行し、一方で無音が検出されたときは変移点マッチングバッファ１９への登録だけでなく、変移点マッチングバッファ１９上で無音と同時に発生するシーンチェンジを検出し、さらに、ＣＭ放送区間の検出処理を行う構成にすることによって、検出回数の少ない無音検出に同期して処理を行うことができるので、ＣＰＵの処理時間が少なく、かつシステム負荷の少ない状態でＣＭ放送区間の検出を行うことができる。
【０１１４】
また、ＣＭ放送区間検出の単位をフレーム単位でなく、例えば、ＧＯＰ単位とすることによって処理頻度及び処理負荷の低減を計れるだけでなく、ＣＭ毎にＣＭの長さが数フレーム違う場合であっても、各ＣＭの長さの違いに影響されずに、ＣＭ放送区間の検出を行うことができる。
【０１１５】
また、以上の説明においては、シーンチェンジ検出単位を１ＧＯＰとしているが、シーンチェンジ検出単位を複数のＧＯＰ単位としてもよい。また、シーンチェンジ検出単位を任意の数のフレーム毎にしてもよい。
【０１１６】
また、以上の説明においては、シーンチェンジ及び無音検出処理を行う方法としてソフトウェアによる例を示したが、ハードウェアによって実行してもよい。また、音声はオーディオＡ／Ｄ変換部４出力を直接解析しているが、符号化ストリームから解析して無音を検出してもよい。
【０１１７】
実施の形態７．
実施の形態７においては、ＣＭ間の境界付近に複数の変移点が存在する場合に、ＣＭ間の境界と判定する変移点を選択する方法について説明する。通常、ＣＭの前後部分には、宣伝を行う企業名や製品名などのテロップが一時的に表示されることが多い。このため、ＣＭ間の境界付近においては、無音及びシーンチェンジが同時に起こり、変移点が複数回連続して発生する場合が多い。一方、ＣＭ放送区間の検出においては、ＣＭの時間長さの誤差や検出遅れ及び検出ばらつきを補うため、基準とするＣＭ長さに対して、ある程度の幅を持たせて検出を行っている。例えば、実施の形態６においては、１５秒のＣＭを検出するために、３０±１ＧＯＰの範囲内で検出を実行している。しかしながら、±１ＧＯＰの検出幅において複数回の変移点が存在することがあり、候補となる変移点から１つの変移点を選択する指針が必要であった。そこで、実施の形態７においては、候補となる変移点から１つの変移点を選択する指針となる３つの選択基準を示す。
【０１１８】
図１７（Ａ）乃至（Ｃ）は、候補となる変移点と選択された変移点を示している。第１の方法は、図１７（Ａ）に示すように、変移点間隔が３０ＧＯＰ、６０ＧＯＰ、及び９０ＧＯＰのように、基準時間から±０ＧＯＰとなるように、次の変移点を選択していく方法である。
【０１１９】
第２の方法は、図１７（Ｂ）のＧＯＰ番号‘３０’からＧＯＰ番号‘５９’までに示すように、あるＣＭ境界検出において選択された変移点の間隔が２９ＧＯＰ（＝３０ＧＯＰ−１ＧＯＰ）となった場合に、図１７（Ｂ）のＧＯＰ番号‘６０’からＧＯＰ番号‘９０’までに示すように、次のＣＭ境界検出における選択された変移点の間隔を、３１ＧＯＰ（＝３０ＧＯＰ＋１ＧＯＰ）を中心に選択する方法である。これは、選択された変移点が一時的に基準値からずれた場合（図１７（Ｂ）におけるＧＯＰ番号‘５９’に相当する。）、次の変移点は、ずれを打ち消すＧＯＰを優先して選択するものである（図１７（Ｂ）におけるＧＯＰ番号‘９０’に相当する）。すなわち、予め設定された基準時間（例えば、３０ＧＯＰ）を中心とする所定の時間範囲内（±１ＧＯＰの範囲内）に、検出されたシーンチェンジと検出された無音区間が同時に発生する変移点が複数検出された場合には、ＣＭフィルタ１６は、直前に判定されたＣＭの時間長と、次に前判定されるＣＭの時間長との合計が、前記予め設定された基準時間（例えば、３０ＧＯＰ）の整数倍に近づける度合いの大きい変移点をＣＭ放送区間を規定するための変移点と判定する。
【０１２０】
第３の方法は、累積した時間が、できるだけ±０ＧＯＰになるように選択する方法である。これは、図１７（Ｃ）に示されるように、選択された変移点をＧＯＰ番号‘０’、‘２９’、‘５８’とした後に、ＧＯＰ間隔が３０±０ＧＯＰとなるＧＯＰ番号‘８８’を選択せずに、ＧＯＰ間隔が３０＋１ＧＯＰとなるＧＯＰ番号‘８９’を選択し、さらに次の検出に際して、ＧＯＰ間隔が３０ＧＯＰ−１ＧＯＰや３０ＧＯＰ±０ＧＯＰを選択せずに、ＧＯＰ番号‘１２０‘を選択することによって、変移点のずれが全体として±０ＧＯＰになるようにするものである。すなわち、予め設定された基準時間（例えば、３０ＧＯＰ）を中心とする所定の時間範囲内（±１ＧＯＰの範囲内）に、検出されたシーンチェンジと検出された無音区間が同時に発生する変移点が複数検出された場合には、ＣＭフィルタ１６は、判定されるＣＭ放送区間を、予め設定された基準時間（例えば、３０ＧＯＰ）の整数倍に近づける度合いの大きい変移点をＣＭ放送区間と規定するための変移点と判定する。
【０１２１】
上記第２の方法又は第３の方法を採用することによって、検出誤差等によって、一旦変移点が本来のＣＭ間の境界位置からずれた場合であっても、補正処理が可能となり、結果としてＣＭ放送区間検出精度を向上させることができる。
【０１２２】
また、変移点のずれが全体として±０ＧＯＰとなる変移点を優先的に選択することによって、検出したＣＭ放送区間が基準時間に近くなるようになり、ＣＭ放送区間の検出精度が向上する。
【０１２３】
また、累積時間数又はＧＯＰ数の累積値の基準時間からのずれが、±０ＧＯＰになるように、検出した変移点に対して重み付けを行うことによって、１つのＣＭを検出するための誤差である±１ＧＯＰがＣＭ放送区間を継続して実行するなかで、ＣＭの数が増えるほど累積する、すなわち、本来のＣＭ境界からずれる、さらには本来のＣＭ境界からずれることによって検出すべきＣＭが検出できなくなるという問題を低減することができる。
【０１２４】
なお、実施の形態７において、上記以外の点は、上記実施の形態６の場合と同じである。
【０１２５】
実施の形態８．
実施の形態８においては、変移点における無音時間長を用いてＣＭ放送区間の検出精度を向上させる方法を説明する。
【０１２６】
一般に、テレビ放送番組においては、１つのＣＭの前後には約０．５秒程度の無音部分が存在し、ＣＭとＣＭのつなぎ目である境界付近においては、双方のＣＭの無音部分の和で約１秒（≒０．５秒×２）の無音部分が存在する。一方、番組本編からＣＭに移行するとき、及び、ＣＭから番組本編に移行するときは、番組本編側の無音部分が短い場合が多く、双方の無音部分の和で約０．６秒程度の無音部分が入るのみである。
【０１２７】
図１８は、実際に放送されている任意の２０番組、５９１本のＣＭを含む放送区間において、あるＣＭとその次のＣＭの間の無音部分の時間長さを測定した結果を示すグラフである。図１８に示されるように、ＣＭ間の無音部分のほとんどが０．８秒から１．４秒までの間に存在している。
【０１２８】
図１９は、図１８の場合と同じ任意の２０番組の放送区間において、ＣＭ放送区間が終了して番組本編に移行するときの無音部分の時間長さを測定した結果を示すグラフである。図１９に示されるように、ＣＭ放送区間から番組本編に移行するときは、無音部分の時間長さのほとんどが、約０．４秒から約１．２秒までの間に存在していることがわかる。すなわち、実施の形態６で示した変移点における無音時間長が０．４秒から０．８秒までの間、又は、１．４秒以上であれば、ほとんどの場合においてＣＭが終了し番組本編に移行したと判断することができる。
【０１２９】
図２０は、ＣＭ間の無音時間長を用いてＣＭ放送区間を検出する方法を示すフローチャートである。図２０において、図１６のステップと同じステップには、同じ符号を付している。実施の形態８における基本的なＣＭ放送区間の検出方法は、実施の形態６の場合と同じであるが、実施の形態８においては、ステップＳ４２０で変移点の無音時間長について検証を行い、ＣＭが２つ以上検出されている状態において、先述のとおり、無音時間長が０．８秒から１．４秒まで（すなわち、第１の規定範囲）に入らなければＣＭが終了したと判定する工程が追加されている。また、ＣＭ放送区間が検出された場合においても、ＣＭ放送区間の各変移点の無音時間長において少なくとも１つ以上、０．８秒から１．４秒までの範囲内の時間長を持つ無音部分が存在しているかを検証し（ステップＳ４２０）、０．８秒から１．４秒までの範囲内の時間長を持つ無音部分が含まれていなければ、ＣＭ放送区間として採用しない工程が追加されている。
【０１３０】
上記のように構成することによって、ＣＭ放送区間の終了及び本編開始位置を検出することができ、ＣＭ放送区間の検出精度を向上させることができる。
【０１３１】
とくに、ＣＭから番組本編に移行した後に、ＣＭ間隔と同じ間隔でシーンチェンジと無音が発生した場合、番組本編の冒頭部分をＣＭであると誤検出する場合があるが、無音時間長によりＣＭ終了位置を精度良く検出でき、番組本編冒頭をＣＭと誤検出する事態の発生頻度を低減でき、結果として、ＣＭ放送区間の検出精度を向上させることができる。
【０１３２】
さらに、番組本編中においてシーンチェンジと無音区間が同時に複数発生し、その間隔がＣＭ放送区間におけるシーンチェンジと無音区間の発生の間隔と同じであった場合に、番組本編をＣＭ放送区間であると誤検出する場合があるが、無音時間長がＣＭ間の無音時間長と一致していることを条件とするために、番組本編をＣＭと誤検出する事態の発生頻度を低減させることができる。
【０１３３】
なお、実施の形態８において、上記以外の点は、上記実施の形態６及び７の場合と同じである。
【０１３４】
実施の形態９．
実施の形態９においては、シーンチェンジの変化量を示すシーンチェンジ差異値を利用して検出精度を向上させることができるＣＭ放送区間の検出方法について説明する。
【０１３５】
図２１は、実施の形態９の映像音声記録装置における、シーンチェンジ差異値を利用したＣＭ放送区間の検出方法を示すフローチャートである。また、図２２は、実施の形態９の映像音声記録装置における、シーンチェンジ差異値を利用したＣＭ放送区間検出方法を説明するための図である。図２２には、検出されたＣＭ放送区間と、ＣＭ放送区間における各ＣＭの境界に位置する変移点５１ａ，…，５１ｆが示されている。一般に、ＣＭと番組本編の間、又は、ＣＭとＣＭの間の映像的な因果関係は乏しく、よって、シーンチェンジの変化量は極めて大きいものとなる。実施の形態９においては、ＣＭと番組本編の間、及び、ＣＭとＣＭの間におけるシーンチェンジ差異値が、番組本編内におけるシーンチェンジ差異値よりもが大きいことを利用して、番組本編を誤ってＣＭとみなす誤検出を低減する方法について示す。
【０１３６】
図２１のフローチャートに示される動作は、実施の形態６における図１６のフローチャートに示される動作を基本とし、さらに、シーンチェンジ差異値を利用した幾つかの判断と処理が追加されている。図２１において、図１６のステップと同じ又は対応するステップには、同じ符号を付している。
【０１３７】
まず、ＣＭフィルタ１６は、基点となる変移点から終点となる変移点までの時間長がＣＭ基準時間長（例えば、１５秒、３０秒、６０秒、９０秒など）と同じと判定された（ステップＳ４１０）後に、その基点と終点が先頭ＣＭであり、かつ、時間長が６０秒又は９０秒であるかを判定する（ステップＳ４３０）。その条件に一致した場合、基点のシーンチェンジ差異値と終点のシーンチェンジ差異値を比較し（ステップＳ４３１）、基点のシーンチェンジ差異値が大きければ基点位置からＣＭが開始されたと判定し、ステップＳ４１１に復帰する。図２２においては、変移点５１ａと変移点５１ｂのシーンチェンジ差異値を比較し、シーンチェンジ差異値が大きい方を番組本編とＣＭの境界と判定することを示す。
【０１３８】
一方、ステップＳ４３１において、基点のシーンチェンジ差異値より終点のシーンチェンジ差異値のほうが大きいと判断した場合は、ＣＭフィルタ１６は、終点位置からＣＭが開始される、すなわち、この基点と終点の間は番組本編が継続されていると判定する。
【０１３９】
同様に、ＣＭフィルタ１６は、ＣＭ終了時にも最終ＣＭであり、かつ、時間長が６０秒又は９０秒であるかを判定し（ステップＳ４３２）、条件に一致した場合、基点のシーンチェンジ差異値と終点のシーンチェンジ差異値を比較し（ステップＳ４３３）、基点のシーンチェンジ差異値より終点のシーンチェンジ差異値が大きければ終点位置から番組本編が開始されたと判定し、処理をステップＳ４３５に移す。図２２においては、変移点５１ｅのシーンチェンジ差異値と変移点５１ｆのシーンチェンジ差異値を比較し、シーンチェンジ差異値が大きい方をＣＭと番組本編の境界と判定することを示す。
【０１４０】
一方、終点のシーンチェンジ差異値より基点のシーンチェンジ差異値のほうが大きいと判断した場合は、ＣＭフィルタ１６は、基点位置から番組本編が開始された、すなわち、この基点と終点の間はすでに番組本編に入っていると判定する。このように、ＣＭ開始時又は本編開始時において６０秒又は９０秒などの長く、かつ、放送される頻度の少ないＣＭの場合、その区間の前後のどちらがより映像の変化量が大きいかによって番組本編とＣＭの境界を判断する。番組本編の冒頭や最後は、ひとまとまりのエピソードや１コーナーなど編集された単位になっている場合があり、その場合に、ＣＭと誤検出する可能性があるが、実施の形態９のＣＭ放送区間検出方法においては、より映像変化の大きいＣＭ境界を見つけることによって、正確にＣＭと番組本編の境界を検出することができる。
【０１４１】
また、ステップＳ４３５においては、全変移点のシーンチェンジ差異値をチェックし、シーンチェンジの判定に用いた閾値より大きな、第２の閾値と比較し、ＣＭ放送区間の少なくとも一つの変移点のシーンチェンジ差異値が第２の閾値を越えていれば、ＣＭ放送区間として扱うステップＳ４１５に移り、反対に、超えていなければこのＣＭ放送区間を無効化する（ステップＳ４３６）。図１４で説明すると、シーンチェンジ差異値の閾値が０．９であったとすると、変移点３３ｂ，３３ｃ，３３ｆ，３３ｇのうち変移点３３ｂ及び３３ｇのシーンチェンジ差異値が閾値０．９を超えているため、変移点３３ｂから変移点３３ｇまでの期間をＣＭ放送区間と判定する。
【０１４２】
上記のように番組本編とＣＭとの境界のＣＭにおいてシーンチェンジ差異値を番組本編とＣＭの境界選択に利用することによって、番組本編とＣＭとの境界を判定することができ、番組本編の冒頭又は最後をＣＭとして誤検出する事態の発生頻度を低減させることができる。
【０１４３】
また、検出したＣＭ放送区間内においてシーンチェンジ差異値の少なくとも一つが、ある閾値を超えない場合、ＣＭでないと判定することによって、ＣＭに比べて映像の変化量の少ない番組本編をＣＭであると誤検出する事態の発生頻度を低減させることができる。
【０１４４】
なお、実施の形態９において、上記以外の点は、上記実施の形態６乃至８の場合と同じである。
【０１４５】
実施の形態１０．
実施の形態１０においては、記録されたストリームの先頭に数秒のＣＭがあり、そのＣＭに続いて本編が記録されているような場合に、その数秒の断片化されたＣＭを検出する方法について示す。通常、映像音声記録装置２０は、記録を開始すると判断してから、実際の記録が開始されるまでに一定の時間が必要とされており、そのために予め設定されていた記録開始時刻から数秒遡って記録を開始するように構成されているものが多い。また、映像音声記録装置の内部に持っている時計は、常に正確な時刻を指し示している保障はない。そのため、例えば、放送番組がＰＭ９：００に開始予定であり、かつ、ＰＭ９：００ちょうどの本編が開始されたとしても、記録されたストリームの先頭に記録されてしまうことがあった。実施の形態１０では、記録されたストリームの先頭に記録された断片化されたＣＭを抽出する方法を示す。
【０１４６】
図２３を用いて実施の形態１０を説明する。シーンチェンジと無音が同時に発生した点である変移点が、記録されているストリームから検出されたとする。その変移点が、図２３の強制ＣＭ化区間６１内の最終に発生した変移点６０ｃをＣＭと本編の境界と判断し、記録開始位置６２から６０ｃの間をＣＭとみなす。強制ＣＭ化区間は、映像音声記録装置の仕様によって決定され、例えば、記録予定時刻より５秒前から記録が開始されるのであれば、強制ＣＭ化区間は５秒とすればよい。また、映像音声記録装置の内部時計の誤差分、例えば、２秒を勘案し、７秒に設定してもよい。ここで、強制ＣＭ化区間の最終変移点６０ｃをＣＭと本編の境界として採用しているのは、強制ＣＭ化区間の時間幅が実際の記録開始時刻と記録予定時刻の差にほぼ等しいように設定していることと、ＣＭ内の変移点発生頻度は本編中の変移点発生頻度に比べて、かなり高いことによる。
【０１４７】
以上より、予め設定された記録予定時刻ちょうどから記録を開始しないために、本編前の不要なＣＭから記録を開始するような映像音声記録装置であっても、本編より前の不要なＣＭを検出することができる。
【０１４８】
また、映像音声記録装置の内部時計が正確な時刻を刻んでいなくても、本編より前の不要なＣＭを検出することができる。
【０１４９】
また、実施の形態１０では、強制ＣＭ化区間における最終変移点をＣＭと本編の境界として採用する方法を取ったが、強制ＣＭ化区間の代わりに、強制ＣＭ化時刻として記録開始時刻から、例えば、５秒経過した時刻を用い、その強制ＣＭ化時刻に最も近い変移点をＣＭと本編の境界として採用するよう構成してもよい。図２３では、６０ｄとＣＭを本編の境界として採用する方法である。
【０１５０】
また、実施の形態６乃至１０の各構成を選択的に組み合わせて、ＣＭ放送区間の検出を行うこともできる。
【符号の説明】
【０１５１】
１００ 映像記録装置、 １０１ 符号化部、 １０２ 録画制御部、 １０３ ストリーム制御部、 １０４ ストリームバッファ、 １０５ ＨＤＤ、 １１０ シーンチェンジ抽出部、 １１１ 復号化部、 １１２ ヒストグラム生成器、 １１３ 第１のヒストグラムバッファ、 １１４ 第２のヒストグラムバッファ、 １１５ 差分抽出器、 １１６ シーンチェンジ判定器、 １２０ シーンチェンジコマンド制御部、 １２１ ＡＰＩ部、 １２２ コマンドバッファ、 １２３ シーンチェンジ抽出結果バッファ、 １２４ 状態制御部、 ３０１ 画素サイズ検出部、 ３０２ 次数決定部、 ３０３ ＤＣＴ係数抽出部、 ３０４ ＩＤＣＴ部、 ３０５ 画像整形部、 ３０６ 使用スライス決定部、 ３０７ ヘッダ検出部、 ３０８ 逆量子化部、 １ アンテナ、 ２ チューナ、 ３ ビデオＡ／Ｄ変換部、 ４ オーディオＡ／Ｄ変換部、 ５ ビデオエンコーダ、 ６ オーディオエンコーダ、 ７ マルチプレクサ（Ｍｕｘ）、 ８ 録画制御部、 ９ ストリーム制御部、 １０ ファイルシステム部、 １１ ＨＤＤ、 １２ ナビゲーション部、 １３ シーンチェンジ検出部、 １４ 無音検出部、 １５ 変移点検出部、 １６ ＣＭフィルタ、 １７ ストリームバッファ、 １８ 変移点スタックテーブル、 １９ 変移点マッチングバッファ、 ２０ 映像音声記録装置、 ３１ａ，…，３１ｍ 無音区間、 ３２ａ，…，３２ｏ シーンチェンジ、 ３３ａ，…，３３ｉ 変移点、 ３４ａ，…，３４ｃ 検出されたＣＭ、 ３５ 検出されたＣＭ放送区間、 ５１ａ 番組本編からＣＭ放送区間に移行する時点における変移点、 ５１ｂ，…，５１ｅ ＣＭ間の変移点、 ５１ｆ ＣＭ放送区間から番組本編に移行する時点における変移点。
【技術分野】
【０００１】
本発明は、映像の記録と並行して映像のシーンチェンジを検出することができる映像記録装置、及びこの映像記録装置によって実施されるシーンチェンジ抽出方法に関するものである。また、本発明は、テレビジョン放送番組の録画と並行して、録画されるテレビジョン放送番組の本編の間に挟まれているコマーシャルメッセージ（Ｃｏｍｍｅｒｃｉａｌ Ｍｅｓｓａｇｅ）放送の検出を行うことができる映像音声記録装置に関するものである。
【背景技術】
【０００２】
従来、映像を符号化して記録する映像記録装置において、記録した映像から希望する映像シーンを探し出すためには、早送り又は巻戻しなどの特殊再生を利用しながら、人間の目で該当するシーンを探し出しており、非常に多くの時間と労力を費やす必要があった。
【０００３】
このような問題を解消するために、映像の場面転換シーン（以後「シーンチェンジ」と言う。）を見つけるための方法が提案されてきた（例えば、特許文献１及び２参照）。特許文献１には、符号化を行うエンコーダの前段のプリ映像信号処理装置において、時間的に前後する２つの映像のヒストグラムの差の絶対値を算出し、算出された絶対値が所定の閾値を超えた場合にシーンチェンジであると判定する方法が示されている。また、特許文献２には、既にＨＤＤなどのストレージメディアに蓄積された映像データを読み出してシーンチェンジを抽出する方法が示されている。
【０００４】
また、テレビジョン放送は、その内容から「番組本編放送」と「コマーシャルメッセージ放送」に分類することができる。番組本編放送は、映画番組の場合には映画の内容自体の映像音声データに基づく放送部分である。一方、コマーシャルメッセージ放送は、広告主や広告代理店などの依頼主が放送局と契約を結んで、依頼主から提供を受けた映像音声データに基づく放送部分であり、番組本編放送の合間に放送されるものである。また、コマーシャルメッセージ放送には、放送局が自らの広告宣伝をするための放送も含まれる。本出願においては、「番組本編放送」を「番組本編」と、「コマーシャルメッセージ放送」を「ＣＭ放送」とも記す。番組本編とＣＭ放送とは、内容の関連が希薄である場合が多く、番組本編の視聴に集中したい視聴者にとっては、テレビジョン放送を録画する際又は視聴する際に、ＣＭ放送を効率よく削除したい、又は見飛ばしたい、とする要望がある。
【０００５】
従来の映像音声記録装置は、テレビジョン放送の音声方式を検出し、検出された音声方式に基づいて番組本編とＣＭ放送との識別を行っていた。番組本編の音声方式は、モノラル音声又は二ヶ国語音声（洋画における日本語と英語、など）であることが多く、また、一般に、ＣＭ放送の音声方式は、ステレオ音声であることが多い。このような違いを利用して、ステレオ音声が検出された区間をＣＭ放送区間と判別して、録画時にはＣＭ放送区間の録画を行わない（すなわち、削除する）、又は、視聴時にはＣＭ放送区間を見飛ばす（すなわち、スキップする）処理を行うようにしていた。
【０００６】
上記従来のＣＭ検出方式は、番組本編の音声方式がＣＭ放送の音声方式と同じステレオ音声である場合には、機能しなくなる。この改善策として、番組本編とＣＭ放送との境界に挿入される「ブラック・フレーム」と呼ばれる全画面黒色のフレーム映像を検出してＣＭ放送区間を特定する提案がある（例えば、特許文献３参照。）。また、番組本編とＣＭ放送との境界に生じる無音区間を検出し、検出された無音区間の出現間隔からＣＭ放送区間を特定する提案もある（例えば、特許文献４参照。）。また、映像のシーンチェンジの発生頻度を利用してＣＭ放送を抽出する提案もある（特許文献５参照）。さらに、視聴時に、ユーザーのボタン操作によって、１５秒などの固定時間を見飛ばし（すなわち、スキップ）するユーザーインターフェースを提供する提案もある。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００４−２８２３１８号公報（第７頁、図２）
【特許文献２】特開２００２−０６４８２３号公報（第５頁、図１）
【特許文献３】特表平８−５０７６３３号公報（第１２−１５頁、図１）
【特許文献４】特開２００３−４７０３１号公報（第５−８頁、図１）
【特許文献５】特開２０００−１６５７９６号公報（第７頁、図１４）
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１に示される方法は、エンコーダの前段に設けられたプリ映像信号処理装置によってシーンチェンジを検出する方法であるので、ビデオエンコーダからエンコーダまでの構成が一体になっているエンコーダチップセットであってシーンチェンジ抽出結果を外部に出力しないものを備えた映像記録装置には適用することができなかった。また、エンコーダチップセットがシーンチェンジ抽出結果を出力する場合においても、使用するエンコーダチップセットの種類が変わる毎にシーンチェンジ抽出結果が変わってしまうので、エンコーダチップセットの種類が変わる毎に映像記録装置における調整が必要になるという問題があった。
【０００９】
また、特許文献２に示される方法は、既に圧縮されＨＤＤ上に記録された映像ストリームからシーンチェンジを検出する方法であるので、記録処理が完了した後に、オフラインで多大な時間のかかる処理を行う必要があり、実用的ではなかった。
【００１０】
また、ブラック・フレームを検出してＣＭ放送区間を特定する特許文献３に記載の方法では、国や地域、又は放送局によってはブラック・フレームが挿入されていないことがあるので（実際に、国内放送において、ブラック・フレームの挿入は法令で義務付けられてはいない）、ＣＭ放送区間の自動検出の確度を十分に高くできないという問題がある。
【００１１】
また、特許文献４又は５に記載の方法では、無音区間やシーンチェンジが番組本編の中にも多数存在するので、ＣＭ放送区間を高精度に特定することは困難であるという問題がある。
【００１２】
さらに、ユーザーのボタン操作によって１５秒スキップさせる方法では、１５秒の倍数系列にない既定外の時間長（例えば、５秒の番組スポット宣伝など）を持つＣＭ放送には対応することができないという問題がある。
【００１３】
そこで、本発明は、上記従来技術の課題を解決するためになされたものであり、その目的は、映像の記録と並行して映像のシーンチェンジ抽出を行うことができる映像記録装置及びこの映像記録装置において実施されるシーンチェンジ抽出方法を提供することである。また、本発明の他の目的は、テレビジョン放送番組の記録と並行して、ＣＭ放送区間の抽出を可能とする映像音声記録装置を提供することである。
【課題を解決するための手段】
【００１４】
本発明の映像音声記録装置は、映像及び音声の符号化ストリームを記録する記録手段と、前記記録手段に符号化ストリームを記録する前に、符号化ストリームを一時的に保持するストリーム保持手段と、前記ストリーム保持手段に保持されている符号化ストリームの映像データからシーンチェンジを検出する映像変化点検出手段と、音声信号から無音を検出する無音検出手段と、前記映像変化点検出手段によって検出されたシーンチェンジ情報と前記無音検出手段によって検出された無音情報を一時的に保持する一時記憶手段と、前記一時記憶手段に保持されたシーンチェンジ情報と無音情報から、シーンチェンジと無音が同時に発生する変移点を検出する変移点検出手段と、前記変移点検出手段によって検出された変移点の間隔が予め設定された基準時間を中心とする所定の時間範囲内になる変移点の組み合わせが連続して２つ以上継続する区間をＣＭ放送区間と判定するＣＭ放送区間判定手段と、前記ＣＭ放送区間判定手段によって判定されたＣＭ放送区間の時刻情報を記録するＣＭ放送区間情報記録手段とを有することを特徴としている。
【発明の効果】
【００１５】
本発明の映像音声記録装置及び方法によれば、放送番組の記録と並行してＣＭ放送区間検出処理を実行するのでリアルタイムにＣＭ放送区間検出を行うことができるという効果がある。
【図面の簡単な説明】
【００１６】
【図１】本発明の実施の形態１の映像記録装置の構成を示すブロック図である。
【図２】実施の形態１の映像記録装置のシーンチェンジ抽出部の構成を示すブロック図である。
【図３】本発明の実施の形態２の映像記録装置のシーンチェンジコマンド制御部の構成を示すブロック図である。
【図４】実施の形態２の映像記録装置の動作を示すフローチャートである。
【図５】実施の形態２の映像記録装置のシーンチェンジコマンド制御部のＡＰＩ部の動作を示すフローチャートである。
【図６】実施の形態２の映像記録装置のシーンチェンジコマンド制御部の状態制御部の動作を示すフローチャートである。
【図７】本発明の実施の形態３の映像記録装置の復号化部の構成を示すブロック図である。
【図８】（Ａ）乃至（Ｄ）は、実施の形態３の映像記録装置のＤＣＴ係数削減処理を説明するための図である。
【図９】本発明の実施の形態４の映像記録装置の復号化部の構成を示すブロック図である。
【図１０】本発明の実施の形態５の映像記録装置におけるＹＵＶ領域を示す図である。
【図１１】実施の形態５の映像記録装置の動作を示すフローチャートである。
【図１２】本発明の実施の形態６の映像音声記録装置の構成を概略的に示すブロック図である。
【図１３】実施の形態６の映像音声記録装置の変移点検出部の動作を示すフローチャートである。
【図１４】実施の形態６の映像音声記録装置の変移点スタックテーブルの一例を示す図である。
【図１５】（Ａ）乃至（Ｅ）は、実施の形態６の映像音声記録装置におけるＣＭ放送区間検出動作を説明するための図である。
【図１６】実施の形態６の映像音声記録装置のＣＭ放送区間検出動作を示すフローチャートである。
【図１７】（Ａ）乃至（Ｃ）は、本発明の実施の形態７の映像音声記録装置における変移点検出方法を示す図である。
【図１８】本発明の実施の形態８の映像音声記録装置におけるＣＭ間の無音時間長の測定結果を示すグラフである。
【図１９】実施の形態８の映像音声記録装置においてＣＭから番組本編に移行するときの無音時間長の測定結果を示すグラフである。
【図２０】実施の形態８の映像音声記録装置における、無音時間長を利用したＣＭ放送区間検出動作を示すフローチャートである。
【図２１】本発明の実施の形態９の映像音声記録装置における、シーンチェンジ差異値を利用したＣＭ放送区間検出動作を示すフローチャートである。
【図２２】実施の形態９の映像音声記録装置における、シーンチェンジ差異値を利用したＣＭ放送区間検出動作を説明するための図である。
【図２３】実施の形態１０の映像音声記録装置における動作を説明するための図である。
【発明を実施するための形態】
【００１７】
実施の形態１．
図１は、本発明の実施の形態１の映像記録装置１００の構成を示すブロック図である。図１に示されるように、映像記録装置１００は、図示しないチューナから又は外部から入力された入力映像データに対して、ＭＰＥＧ−２（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）に準拠した符号化を行う符号化手段としての符号化部１０１と、符号化部１０１によって生成された符号化ストリームが記録される記録手段としてのＨＤＤ（ハードディスクドライブ）１０５と、ＨＤＤ１０５に対して符号化ストリームを安定的に書き込み及び読み出しを行うためのストリーム制御を行うストリーム制御手段としてのストリーム制御部１０３とを有している。また、映像記録装置１００は、ストリーム制御部１０３が符号化ストリームを一時的に記憶しておく一時記憶手段としてのストリームバッファ１０４と、符号化部１０１に対して符号化の開始・終了などを指示する録画制御手段としての録画制御部１０２と、符号化部１０１によって生成された符号化ストリームからシーンチェンジを抽出する映像変化点抽出手段としてのシーンチェンジ抽出部１１０とを有している。図１には、記録手段としてＨＤＤ１０５が示されているが、記録手段は、ＤＶＤのような光ディスクや磁気テープなどの他の情報記録媒体であってもよい。また、映像記録装置１００は、ＤＶＤ／ＨＤＤハイブリッドレコーダであってもよい。さらに、映像記録装置１００は、家庭用のビデオレコーダに限らず、パーソナルコンピュータ、映像サーバ、又は、監視システム用の監視レコーダなどの各種用途に適用できる。
【００１８】
符号化部１０１による符号化方式であるＭＰＥＧ−２は可変レートに対応しており、そのため、１秒間に発生する符号量（ビットレート）は時間によって大きく変動する。そのため、ストリーム制御部１０３は、ＨＤＤ１０５へのデータ書き込み及びＨＤＤ１０５からのデータ読み出しによって符号化ストリームがオーバーフロー又はアンダーフローしないように、符号化ストリームをストリームバッファ１０４に一時的に保持させ、ＨＤＤ１０５の状態に応じて符号化ストリームのＨＤＤ１０５への書き出し及びＨＤＤ１０５からの読み込みを行っている。ストリームバッファ１０４は、リングバッファで構成されており、書き込み位置ポインタと読み出し位置ポインタによって有効なデータ領域が管理されている。すなわち、データの書き込み時には、書き込み位置ポインタを先頭にデータサイズ分書き込みを行い、書き込んだデータサイズ分だけ書き込み位置ポインタを進める。一方、データの読み出し時には、読み出し位置ポインタを先頭にデータサイズ分読み出しを行い、読み出したデータサイズ分だけ読み出し位置ポインタを進める。ただし、リングバッファの終了位置に来たときは、ポインタを先頭の位置に戻す処理を行う。
【００１９】
図２は、図１に示されるシーンチェンジ抽出部１１０の構成を示すブロック図である。図２に示されるように、シーンチェンジ抽出部１１０は、入力された符号化ストリームの復号化を行う復号化手段としての復号化部１１１と、復号化された映像データのヒストグラムを生成するヒストグラム生成手段としてのヒストグラム生成器１１２と、ヒストグラム生成器１１２によって生成されたヒストグラムを保持する第１のヒストグラムバッファ１１３及び第２のヒストグラムバッファ１１４と、第１のヒストグラムバッファ１１３に保持されたヒストグラムと第２のヒストグラムバッファ１１４に保持されたヒストグラムの差異を求める差分抽出手段としての差分抽出器１１５とを有している。また、シーンチェンジ抽出部１１０は、差分抽出器１１５で求めた差異値と予め設定された閾値を比較するシーンチェンジ判定手段としてのシーンチェンジ判定器１１６と、録画制御部１０２からのシーンチェンジ開始命令などの制御信号に基づいてシーンチェンジ抽出部１１０を制御するシーンチェンジコマンド制御手段としてのシーンチェンジコマンド制御部１２０とを有している。
【００２０】
次に、映像記録装置１００の録画動作について説明する。録画が開始されると、録画制御部１０２は、符号化部１０１に対して制御信号ＣＥＮを出力して符号化開始を指示し、符号化部１０１は入力された映像データＰＩＮの符号化処理を開始する。符号化部１０１は、例えば、符号化単位であるＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅｓ）の符号化が完了する毎に、録画制御部１０２にＧＯＰ符号化完了通知ＩＥＮを送る。ストリーム制御部１０３は、符号化部１０１によって符号化された符号化ストリームをストリームバッファ１０４の書き込み位置ポインタを先頭に順次書き込んでいく。一方、ストリーム制御部１０３は、ＨＤＤ１０５が書き込み状態になっているのを確認しながら、ストリームバッファ１０４の読み出し位置ポインタから符号化ストリームを読み出し、ＨＤＤ１０５に書き込みを行う。録画が実行されている間、前記動作が繰り返し行われる。録画終了時には、録画制御部１０２は、符号化部１０１に対して符号化終了を指示し、符号化部１０１は符号化を停止する。ストリーム制御部１０３は、ストリームバッファ１０４に残っている符号化ストリームをすべてＨＤＤ１０５に書き込む。
【００２１】
次に、録画を行いながらシーンチェンジを抽出する方法について説明する。録画制御部１０２は、例えば、ＧＯＰの符号化完了通知ＩＥＮを符号化部１０１から受け取る毎に、シーンチェンジ抽出部１１０に対してシーンチェンジ抽出コマンドＣＳＣを送る。シーンチェンジ抽出コマンドＣＳＣは、シーンチェンジ抽出部１１０内のシーンチェンジ制御部１２０を経由して、復号化開始コマンドＣＤＥとして復号化部１１１に送られる。復号化部１１１は、符号化ストリームＰＳＴをストリーム制御部１０３を経由してストリームバッファ１０４から呼び出し、復号化を開始する。復号化部１１１によってＭＰＥＧ−２からＹＵＶに復号化された映像データはヒストグラム生成器１１２に入力され、ヒストグラム生成器１１２によって映像データのＹＵＶの各区画に含まれる計数に基づいてヒストグラムが作成される。ここで、ヒストグラム生成のための区画分けは、値の取り得る範囲を一定間隔に区切る方法、又は、予め複数の閾値を定めておいて、各閾値に対する大小関係に応じて区画分けをする方法などがある。また、ここでは、輝度成分Ｙと色差成分Ｕ、Ｖのすべての成分に対してヒストグラムを作成する場合を説明しているが、輝度成分Ｙのみについてヒストグラムを生成する方法を採用してもよい。また、輝度成分Ｙと色差成分Ｕ、Ｖのすべての成分に対してヒストグラムを作成するが、色差成分Ｕ及びＶに対しては重みを加えて区画分けを荒くする方法を採用してもよい。また、ヒストグラムの区画分けの方法は、以上に説明した例に限定されず、他の区画分け方法を採用してもよい。
【００２２】
ヒストグラム生成器１１２で生成されたヒストグラムは、第１のヒストグラムバッファ１１３又は第２のヒストグラムバッファ１１４に交互に送られ保持される。差分抽出器１１５は、第１のヒストグラムバッファ１１３及び第２のヒストグラムバッファ１１４に交互に記憶されたヒストグラムを用いて、現在の映像データと１つ前の映像データの映像の比較を行い（例えば、現在のフレームの映像データと、１フレーム前のフレームの映像データの比較を行い）、差異値を求める。２つのヒストグラムの差異値を求める方法としては、例えば、２つのヒストグラムの対応する成分の値の差を、すべての成分について累積する方法がある。ここで、ｉ番目の映像のヒストグラムをＨｉ
Ｈｉ＝｛ｈｉ（１），ｈｉ（２），・・・，ｈｉ（Ｋ）｝
とすると、ｉ番目の映像のヒストグラムＨｉと、１つ前のｉー１番目の映像のヒストグラムＨｉ−１との差異値ｄを以下の式で求める。なお、Ｋは、所定の正の整数である。
【数１】
ここで、Ｎは１フレーム内の画素数である。これによって、差異値ｄは０から１までの値をとり、ｉ番目のフレームの映像とｉー１番目のフレームの映像が同じ映像であれば差異値ｄは０になり、ｉ番目のフレームの映像とｉー１番目のフレームの映像の違いが大きければ差異値ｄは１に近づくことになる。
【００２３】
差分抽出器１１５で求められた差異値ｄは、シーンチェンジ判定器１１６に送られ、予めシーンチェンジコマンド制御部１２０によって設定された閾値ＥＴＨと比較され、設定された閾値ＥＴＨより大きな値であればシーンチェンジと判定し、その判定結果ＲＳＣをシーンチェンジコマンド制御部１２０に送る。さらに、録画終了時などに判定結果ＲＳＣを録画制御部１０２に送る。
【００２４】
以上に説明したように、符号化部１０１によってＧＯＰの符号化が完了する毎に（すなわち、実施の形態１においては、ＧＯＰの符号化完了に同期して）、シーンチェンジ抽出部１１０でシーンチェンジ判定を行う処理を、映像の録画開始から終了までの間において継続的に行うことによって、映像ストリームＰＳＴを録画しながら、映像ストリームＰＳＴのシーンチェンジを抽出することができる。すなわち、符号化の最小単位であるＧＯＰの符号化完了毎にシーンチェンジ抽出処理を実行するので、符号化と並行してシーンチェンジ抽出を行うことができる。
【００２５】
また、リアルタイムにシーンチェンジ抽出を行うので、シーンチェンジ抽出機能を有していないエンコーダを符号化部１０１に用いることができる。そのため、映像記録装置に採用するエンコーダの選定に際して、シーンチェンジ抽出機能を有しないエンコーダを選ぶことが可能になり、エンコーダ選択の幅が広がり、コストや調達性を重視したエンコーダの選択が可能になる。
【００２６】
また、既にＨＤＤなどに蓄積された符号化ストリームを解析してシーンチェンジを抽出する方法では、符号化ストリームを記憶装置であるＨＤＤから読み出すための時間が、シーンチェンジの解析時間に加えて、必要とされる。しかしながら、実施の形態１の映像記録装置１００においては、ＨＤＤ１０５よりも書き込み及び読出し速度が速く、ストリームを一時的に記憶しておくストリームバッファ１０４（通常は、揮発性半導体メモリを用いる）から読み出すため高速に読み出すことができ、結果として処理時間が早くなる。
【００２７】
また、シーンチェンジ抽出部１１０は符号化部１０１（エンコーダ）の動作よって影響されないので、エンコーダの種類や仕様が変更されたとしても、シーンチェンジの抽出基準を一定範囲に維持することができる。
【００２８】
また、実施の形態１の映像記録装置は、録画と並行してシーンチェンジを抽出できる機能のほかに、符号化ストリームを直接解析する機能をも有する。このため、直接ＨＤＤに記録された符号化ストリームに対してもストリーム制御部１０３を介して符号化ストリームを読み出すことによってシーンチェンジ抽出を行うことができる。
【００２９】
さらに、一般的にハードウェアで構成されるエンコーダチップ内のシーンチェンジ機能を利用するわけではなく、録画再生装置のファームウェアのみで構成することも可能なので、シーンチェンジ抽出のためのアルゴリズムを比較的容易に改変したり、録画再生装置の状態等に合わせてシーンチェンジ抽出処理の状態遷移や閾値を動的に変更したりすることができる。
【００３０】
例えば、入力映像データがＣＭ映像データである期間は、シーンチェンジの判定の閾値ＥＴＨを大きくして、シーンチェンジであると判定され難くして、ＣＭ映像データに対するシーンチェンジ検出を実行させないように制御する方法を採用してもよい。
【００３１】
また、シーンチェンジにおいて音声信号が無音になる瞬間が存在することに着目し、音声信号が無音（すなわち、所定の閾値よりも低いレベル）のときに、シーンチェンジの判定の閾値ＥＴＨを小さくすることによって、シーンチェンジを映像データだけでなく、音声データをも考慮して検出し、シーンチェンジの検出精度を向上させる制御方法を採用してもよい。
【００３２】
また、以上の説明においては、シーンチェンジ抽出単位を１ＧＯＰとしているが、シーンチェンジ抽出単位を複数のＧＯＰ単位としてもよい。また、シーンチェンジ抽出単位を、１又は複数のスライス単位又は１又は複数のマクロブロック単位としてもよい。
【００３３】
また、以上の説明においては、復号化処理を行う方法としてソフトウェアによる例を示したが、ハードウェアによって実行してもよい。
【００３４】
実施の形態２．
本発明の実施の形態２の映像記録装置は、図２に示されるシーンチェンジコマンド制御部１２０の構成及び動作のみが、実施の形態１の映像記録装置と相違する。したがって、実施の形態２の説明においては、図１及び図２をも参照する。
【００３５】
実施の形態２の映像記録装置は、録画と並行してシーンチェンジ抽出を行う場合に、シーンチェンジ抽出動作をＧＯＰの符号化処理と非同期に行う。この非同期に行われる符号化処理を、単に「非同期処理」とも言う。この非同期処理は、符号化部１０１による符号化処理が完了したＧＯＰに対して実行されるシーンチェンジ抽出処理の開始タイミングが、符号化処理の完了タイミングと必ずしも一致しない状態でも実行できることである。非同期処理の実際の動作としては、あるＧＯＰについて着目すると、符号化処理が完了した後、直ぐにシーンチェンジ抽出処理を行うのではなく、しばらく時間を置いてからシーンチェンジ抽出処理を実行する方法である。
【００３６】
一般的に、映像を記録する装置、例えば、ＨＤＤ／ＤＶＤハイブリッドレコーダなどにおいては録画動作に並行して、再生やダビング等のような装置のＣＰＵの負荷が上昇する動作が発生し得る。また、ユーザーによって不定期に行われる行為、例えば、ＤＶＤのトレーオープン、機能設定画面の表示、及び電子番組表の閲覧などの動作は、装置の一時的なＣＰＵの負荷上昇を招く。これらの動作によって負荷上昇が発生した場合、シーンチェンジ抽出処理のために、ＣＰＵを占有し続けることができる保障はなく、他の処理の完了を待つ間、シーンチェンジ抽出処理をしばらく遅らせることが望ましい場合があり得る。一方、シーンチェンジ抽出処理によって、装置の基本機能である映像の記録機能が妨げられることがあってはならず、よってシーンチェンジ抽出処理は記録処理よりも優先度を落とした処理にすることが望ましい。このような機能を実現するために、実施の形態２の映像記録装置においては、シーンチェンジ抽出処理を録画動作と非同期に行うころができるように構成している。
【００３７】
図３は、実施の形態２の映像記録装置のシーンチェンジコマンド制御部１２０（図２に示される）の構成を示すブロック図である。図３に示されるように、シーンチェンジコマンド制御部１２０は、録画制御部１０２からのコマンドの受け付けを行うＡＰＩ（アプリケーション プログラム インターフェース）部１２１と、受け付けたコマンドを複数保持するコマンドバッファ１２２と、シーンチェンジ抽出部の状態遷移を司り、受け付けたコマンドを処理する状態制御部１２４と、シーンチェンジ抽出結果やエラー状態を保持し、録画制御部１０２に返すためのシーンチェンジ抽出結果バッファ１２３とを有している。実施の形態２の映像記録装置が実施の形態１の映像記録装置と相違する点は、録画制御部１０２から発行されたシーンチェンジ抽出コマンドがシーンチェンジコマンド制御部１２０内のＡＰＩ部１２１に伝えられ、コマンドバッファ１２２に一旦保持されることである。コマンドバッファ１２２が保持できるコマンドの数はストリームバッファ１０４の容量に応じて設定すればよい。例えば、ストリームバッファ１０４のサイズが実施の形態１で示した２０Ｍバイトである仮定すると、符号化ストリームの約１５秒分（すなわち、１ＧＯＰあたり１５ピクチャ、０．５秒の時間長とすると、３０ＧＯＰのデータ）が一時的に保持できることになり、よって、３０個分のシーンチェンジ抽出コマンドを保持できるように構成すればよい。コマンドバッファ１２２が３０個のシーンチェンジ抽出コマンドを保持でき、且つ、ストリームバッファ１０４に３０ＧＯＰ分のデータが残っていれば、最新のＧＯＰから３０個前のＧＯＰまで遡ってシーンチェンジ抽出が可能であることを意味し、３０個のＧＯＰ分、すなわち、１５秒遅延したシーンチェンジ抽出処理が可能であることをも意味する。シーンチェンジコマンド制御部１２０のシーンチェンジ抽出結果バッファ１２３は、シーンチェンジ抽出部１１０の状態制御部１２４が実行したシーンチェンジ抽出結果の複数回分保持することが可能で、コマンドバッファ１２２に保持できるコマンド数と同数分を保持できるものとすればよい。
【００３８】
これによって、先行するＧＯＰのシーンチェンジ抽出処理が完了していない状態（例えば、ユーザーが既に録画されているストリームの再生要求をしたために、システムの負荷が上昇し、シーンチェンジ抽出処理が完了できなかった場合）において、次のＧＯＰの符号化が完了し、録画制御部１０２からシーンチェンジ抽出コマンドが発行された場合であっても、新しいシーンチェンジ抽出コマンドはコマンドバッファ１２２に保持される。コマンドバッファ１２２に保持されているシーンチェンジ抽出コマンドによって、現在実行中のシーンチェンジ抽出処理が完了後に、先行するＧＯＰのシーンチェンジ抽出処理を実行できるので、ＧＯＰの符号化毎にシーンチェンジ抽出処理が完了しないために次のシーンチェンジ抽出処理が実行できないという問題を防ぐことができる。
【００３９】
次に、図４、図５、及び図６のフローチャートを用いて録画動作と非同期で動作するシーンチェンジ抽出処理の説明を行う。まず、録画制御部１０２の動作について説明する。映像記録装置１００に電源が投入されると、システム起動（ステップＳ２０１）され、定期的にシステム終了の確認（ステップＳ２０２）と録画開始の確認（ステップＳ２０４）が行われ、システム終了の要求があれば、システム終了（ステップＳ２０２）に遷移する。一方、録画開始の要求があれば、シーンチェンジコマンド制御部１２０に対して、録画開始コマンド発行（ステップＳ２０５）が行われる。録画開始コマンドの発行の後は、録画終了を確認（ステップＳ２０６）し、録画終了であれば録画終了コマンドをシーンチェンジコマンド制御部１２０に発行する（ステップＳ２０７）。録画状態においては、ＧＯＰ単位の符号化が完了すると（ステップＳ２０８）、シーンチェンジコマンド制御部１２０に対してシーンチェンジ検出コマンドが発行される（ステップＳ２０９）。ＧＯＰ符号化検出（ステップＳ２０８）は、録画が完了するまで続けられる。録画制御部１０２から発行された制御コマンドは、シーンチェンジコマンド制御部１２０のＡＰＩ部１２１内で処理される。シーンチェンジ制御コマンドＣＳＣが発行されるとコマンドバッファ１２２の空きをチェックし（ステップＳ２２３）、コマンドバッファ１２２の空きがあれば、コマンドバッファ１２２にコマンドを格納する（ステップＳ２２４）。コマンドバッファ１２２に格納できなかった場合も含めて、次にシーンチェンジ状態制御部１２４からシーンチェンジ抽出結果バッファ１２３に蓄えられたシーンチェンジ抽出結果の取得を行う（ステップＳ２２５）。最後に、シーンチェンジ抽出結果とコマンドが受け付けられたか否かを録画制御部１０２に返す（ステップＳ２２６）。
【００４０】
一方、シーンチェンジ状態制御部１２４では電源起動されると（ステップＳ２４１）、コマンド待ち状態になり（ステップＳ２４２）、受け取ったコマンドがシステム終了（ステップＳ２４３）であればシステム終了に移る（ステップＳ２４５）。また、コマンドが録画開始コマンドであれば（ステップＳ２５２）、録画開始のための例えばメモリの確保や変数の初期化などの録画開始処理（ステップＳ２５３）を実行し、録画終了コマンド（ステップＳ２５４）であれば、例えば確保したメモリの開放やシーンチェンジ抽出結果を録画制御部１０２に送る録画終了処理（ステップＳ２５５）を行う。一方、受け取ったコマンドがシーンチェンジ抽出コマンドであれば、シーンチェンジ抽出コマンドに付けて渡される符号化ストリームのストリームバッファ１０４における先頭アドレスを元に、符号化ストリームの復号化を行う（ステップＳ２４６）。復号化部１１１によってＹＵＶに変換された映像データからヒストグラムを生成し（ステップＳ２４７）、そのヒストグラムを第１のヒストグラムバッファ１１３（又は第２のヒストグラムバッファ１１４）に格納する（ステップＳ２４８）。生成したヒストグラムと第２のヒストグラムバッファ１１４（又は第１のヒストグラムバッファ１１３）に格納されている１つ前の映像のヒストグラムの差異値を求め（ステップＳ２４９）、予め設定されている閾値以上であればシーンチェンジと判定する（ステップＳ２５０）。この結果を、結果バッファ１２３に格納する（ステップＳ２５１）。
【００４１】
１つのＧＯＰに対するシーンチェンジ抽出処理が終わると、次の処理を行うためにコマンド待ち（ステップＳ２４２）に移る。ここでもし既にコマンドバッファ１２２にコマンドが格納されていれば、即座に、次のＧＯＰの解析が開始されるが、次のコマンドバッファがまだ設定されていなければ、コマンド待ちを継続する（ステップＳ２４２）。
【００４２】
実施の形態２の映像記録装置においては、シーンチェンジ抽出を行うソフトウェアモジュールのタスク又はスレッドの優先度は録画再生を行うモジュール群より低くしている。この理由は、シーンチェンジ抽出を行うモジュールは、ＭＰＥＧのソフトウェアデコード処理を伴うために、非常に処理負荷が高く、よって図示しないがソフトウェアを処理するＣＰＵを占有する時間が他のモジュールに比べて極めて大きくなるからである。そのため、もしシーンチェンジ抽出モジュールの優先度を録画再生モジュールの優先度と同じ又はそれ以上にしていると、録画再生時にＣＰＵの処理時間の多くを占有し、そのために映像の記録に関するモジュールの処理が遅れ、結果記録又は再生ができない問題を引き起こす可能性があるからである。さらに、ユーザー入力によって動作するモジュール、例えば、キー入力、画面表示等を司るモジュールの動作も同様にシーンチェンジ抽出モジュールによってその動作を遅延させることが想定しうる。よって、シーンチェンジ抽出モジュールの優先度は、その他のモジュールの優先度に比べて、低くすることが望ましい。一方、次々と録画によって生成されるＧＯＰに対してシーンチェンジの解析を実行していかなければ、シーンチェンジ検出を行うことはできない。しなしながら、符号化部１０１による符号化処理はリアルタイムに行われていくが、生成された符号化ストリームはＨＤＤ１０５に書き込みを行うために一時的にストリームバッファ１０４に保持されている。よって、符号化ストリームがストリームバッファ１０４に保持されている間にシーンチェンジモジュールがストリームバッファ１０４上の符号化ストリームを処理すれば、すべてのＧＯＰに対してシーンチェンジ抽出処理を行うことができることになる。
【００４３】
実際に、シーンチェンジ抽出動作が継続して実行されている最中において、例えば、ユーザーによる別番組の再生要求やＥＰＧ番組表の表示などシステム的に負荷の大きな処理が起動された場合を想定してみる。先行するＧＯＰのシーンチェンジ抽出実行時に大きな負荷がかかり、その処理の進行があまり進んでいない状況で、次のＧＯＰの符号化完了通知が符号化部１０１から録画制御部１０２に上がってくる。録画制御部１０２は、即座にシーンチェンジ抽出部１１０のシーンチェンジコマンド制御部１２０に対して、シーンチェンジ抽出コマンドを発行する。シーンチェンジコマンド制御部１２０のＡＰＩ部は、コマンドバッファの空きを見て（ステップＳ２２３）、空きがあればコマンドバッファにシーンチェンジ抽出コマンドを格納する。シーンチェンジコマンド制御部１２０は、シーンチェンジ抽出コマンドの格納だけを行い、即座に録画制御部１０２にリターンを返す。さらに、次のＧＯＰの符号化完了までに、先行するＧＯＰのシーンチェンジ抽出が完了していなければ、さらにその次のＧＯＰに対するシーンチェンジ抽出コマンドもコマンドバッファに格納する。その後シーンチェンジ抽出が完了すると、シーンチェンジ状態制御部はコマンド待ち（ステップＳ２４２）に移り、コマンドバッファより最古のコマンドを受け取り、次のＧＯＰのシーンチェンジ抽出の実行を開始する。その後システムの負荷が定常状態になると、シーンチェンジ抽出処理の処理頻度が増加し、コマンドバッファの遅延されたコマンドを順次と実行する。ただし、この遅延に許された最大数は２０ＧＯＰ分であり、それ以上のシーンチェンジ処理要求が生じた場合はコマンドバッファにコマンドの空きがないため、該当するＧＯＰに対してシーンチェンジ処理が実行されないことになる。このとき録画制御部１０２は何らかのエラー処理を実行してもよく、また、装置の主たる目的である録画動作が正常に行われているという理由で特にエラー処理を実行せずにそのまま処理を継続してもよい。
【００４４】
このようにストリームバッファ１０４上に一時的に保持されたストリームを解析することに加え、録画制御部１０２から発行されるコマンドをバッファリングすることによって、必ずしも映像が符号化される毎に符号化されたストリームに対してシーンチェンジ抽出を実行する必要がなく、遅延処理が可能である。そのため、録画制御部１０２による符号化処理における符号化単位とシーンチェンジ抽出部１１０における解析単位を連続的に処理する必要がなく、よって符号化処理とシーンチェンジ抽出処理を独立した処理単位として設計できる。
【００４５】
また、録画制御部１０２とシーンチェンジ抽出部１１０は独立して動作することが可能であり、さらにシーンチェンジ抽出部１１０の処理優先度を録画に関する処理のそれより低くすることによって、処理時間が長くかかるシーンチェンジ抽出部１１０の動作によって、録画制御部１０２の処理が遅れ、結果として通常の録画処理に影響を及ぼすといった悪影響を発生させることがない。
【００４６】
また、シーンチェンジ抽出処理は遅延処理が可能なため、システムの一時的な負荷上昇によってシーンチェンジ抽出処理がＧＯＰの再生時間内で完了できなかった場合や、シーンチェンジ抽出処理に処理が回ってこない場合であっても、コマンドバッファ１２２に格納されたシーンチェンジ抽出コマンドを使って、過去に符号化されたストリームに対して順次抽出処理を実行できるため、シーンチェンジ抽出処理が飛ばされて実行されないといった問題を回避することができる。
【００４７】
なお、上記シーンチェンジ抽出処理の遅延可能な時間若しくは回数は、ストリームバッファ１０４及びコマンドバッファの数によって決定される。
【００４８】
また、実施の形態２において、上記以外の点は、上記実施の形態１の場合と同じである。
【００４９】
実施の形態３．
本発明の実施の形態３の映像記録装置は、実施の形態１の映像記録装置の復号化部１１１の構成を特定した点が、実施の形態１の映像記録装置と相違する。したがって、実施の形態３の説明においては、図１及び図２をも参照する。
【００５０】
図７は、図１の復号化部１１１の構成を示すブロック図である。実施の形態３の映像記録装置は、図７に符号化ストリームからシーンチェンジの抽出処理を行う場合の復号化処理において、ＤＣＴ（離散コサイン変換）係数の復号化次数を制御する方法に特徴がある。図７に示されるように、復号化部１１１は、入力された符号化ストリームのヘッダから画素サイズを求める画素サイズ検出部３０１と、画素サイズ検出部３０１によって検出された画素サイズからＤＣＴブロックの使用する成分（次数）を決定する次数決定部３０２と、符号化ストリームに対して次数決定部３０２で決定した次数まで逆量子化を行いながらＤＣＴ係数を抽出するＤＣＴ係数抽出部３０３と、抽出されたＤＣＴ係数から逆ＤＣＴを実行するＩＤＣＴ部３０４と、削減された次数で実行された逆ＤＣＴによって離散化してしまった画素データを詰めて縮小された画像を生成する画像整形部３０５とを有している。
【００５１】
図８（Ａ）乃至（Ｄ）は、実施の形態３の映像記録装置のＤＣＴ係数削減処理を説明するための図である。図８（Ａ）は、符号化ストリーム画素サイズを示し、図８（Ｂ）は、ＤＣＴブロック（２×２を使用する場合）とＤＣＴブロック（４×４を使用する場合）を示し、図８（Ｃ）は、復号済ＤＣＴブロック（２×２以外を無効とする場合）と復号済ＤＣＴブロック（４×４以外を無効とする場合）を示し、図８（Ｄ）は、復号画像を示す。実施の形態３においては、ユーザーの希望により符号化する映像の画素サイズを７０４×４８０画素と３５２×２４０画素から選択できる映像記録装置について説明する。よって、復号化部１１１に入力されるストリームは、７０４×４８０画素の符号化ストリーム又は３５２×２４０画素の符号化ストリームの２種類の画素サイズのものが存在する。復号化部１１１に符号化ストリームが入力されると、まず最初に画素サイズ検出部３０１が符号化ストリームの画素サイズの検出を行い、検出した画素サイズを次数決定部３０２に送る。次数決定部３０２では、検出した画素サイズに応じて、符号化ストリームに含まれるＤＣＴ係数のうちの処理する次数Ｄｅを決定する。例えば、７０４×４８０画素の符号化ストリームの場合はＤＣＴブロックの内の次数２まで、一方、３５２×２４０画素の符号化ストリームの場合は次数４まで処理すると予め設定しておく。この次数に従ってＤＣＴ係数抽出部３０３とＩＤＣＴ部３０４は、ＤＣＴブロックの処理対象とする次数を設定し、復号化を行う。ＩＤＣＴ部３０４から出力された復号化された映像データは、ＤＣＴブロック単位でＤＣＴ係数の間引きを行ったため復号化されたＤＣＴブロックをつなぎ合わせて生成された復号化された映像の画素は離散的な映像になっている。この画素間が離散的な映像に対して画素の隙間をつめる処理を画像整形部３０５で行う。これによって、復号化された映像は、７０４×４８０画素の符号化ストリームの場合は１７６×１２０画素、３５２×２４０画素の符号化ストリームの場合は１７６×１２０画素となり、入力された符号化ストリームの画素サイズが違っていたにもかかわらず同じサイズの画像を得ることができる。このように復号化された映像を次のヒストグラム生成器１１２に送れば、実施の形態１と同様にシーンチェンジの検出を行うことができる。
【００５２】
すなわち、実施の形態３においては、復号化部１１１にＤＣＴ係数の制御を行う機能が付加されることによって、符号化部１０１によって異なる画素サイズとして符号化された符号化ストリームであってもシーンチェンジ抽出に使う映像は同じ画素サイズで行うことができることを示すと共に、シーンチェンジ抽出で解析対象とする映像の周波数帯域の上限を同じ帯域に揃えることができることを示している。また、ヒストグラム生成器１１２以降では常に同じ画素サイズの符号化ストリームに対してシーンチェンジ抽出を行うことができるので、次のヒストグラム生成器１１２以降の処理は画素サイズに依存することなく同じ処理を行うことができる。
【００５３】
上記のように構成することによって、符号化ストリームの画素サイズが違う場合であっても、同じ又は同程度の画素サイズに復号化された映像を得ることができる。
【００５４】
また、符号化ストリームの画素サイズが違う場合でも同じ画素サイズの復号化された映像に対して、シーンチェンジ抽出処理を行うことができるので、符号化ストリームの画素サイズが違っているストリームに対しても、同じシーンチェンジの評価方法と評価基準を用いることができ、結果として画素サイズを変えて同じ映像を録画した場合においても、同じ時間位置をシーンチェンジとして検出することができる。
【００５５】
また、画素サイズが異なる符号化ストリームに対してＤＣＴ係数を制御することによって、復号化された画像の周波数帯域を揃えることができるので、画素サイズを変えて同じ映像を録画した場合においても、同じ時間位置をシーンチェンジとして検出することができる。
【００５６】
また、高解像度の符号化データほど間引きを多くすることができるので、処理時間がかかる高解像度な符号化データであっても高速にシーンチェンジ抽出することができる。
【００５７】
また、高解像度の符号化データほど高周波の次数を間引きくことができるように構成できるので、比較的高周波ノイズの発生し易い高解像度の符号化データほどノイズ除去を効果的に行うことができる。
【００５８】
また、解像度によらず同一の復号化映像を生成するために、復号化映像を記憶するメモリサイズを同一にすることができる。
【００５９】
また、本来復号化映像を記憶するために大きなメモリサイズを必要とする高解像度映像ほど間引き処理を行うために、復号化処理のために用意しておくべきメモリ領域を小さくすることができる。
【００６０】
なお、実施の形態３において、上記以外の点は、上記実施の形態１乃至２の場合と同じである。
【００６１】
実施の形態４．
本発明の実施の形態４の映像記録装置は、実施の形態１の映像記録装置の復号化部１１１の構成を特定した点が、実施の形態１の映像記録装置と相違する。したがって、実施の形態４の説明においては、図１及び図２をも参照する。
【００６２】
図９は、本発明の実施の形態４の映像記録装置の復号化部の構成を示すブロック図である。図９を用いて符号化ストリームからシーンチェンジの抽出処理を行う場合の復号化処理において、復号化を実行するスライスを限定する処理について説明する。実施の形態４の映像記録装置の復号化部１１１は、入力された符号化ストリームのヘッダから画素サイズを求める画素サイズ検出部３０１と、画素サイズ検出部３０１の検出した画素サイズからシーンチェンジ抽出の処理対象とするスライスを決定する使用スライス決定部３０６と、符号化ストリームのヘッダを解析するヘッダ検出部３０７と、符号化ストリームの逆量子化を行う逆量子化部３０８と、周波数領域に変換された係数値を逆ＤＣＴ処理するＩＤＣＴ部３０４とを有している。
【００６３】
次に、スライス削減と合わせて動作するシーンチェンジ抽出処理の動作について説明する。画素サイズ検出部３０１が画素サイズの検出を行い、使用スライス決定部３０６が使用するスライスを決定する。ここでは、例えば、符号化部１０１で生成される符号化ストリームの解像度は７２０×４８０画素と３５２×２４０画素の２種類のみしか存在しない場合には、垂直方向の画素数が４８０のときには、上下５スライス、すなわち、
（１６画素×５スライス）×２＝８０画素×２
を使用しないものとし、一方、画素数が２４０のときには、上下２スライス、すなわち、
（１６画素×２スライス）×２＝３２画素×２
を使用しないものとしている。ここで解像度によって使用しない画素数が異なるが、垂直方向に対する割合は、４８０画素の場合、全３０スライスに対して１０スライスを使用しないので、１／３を使用しないことになり、一方、２４０画素の場合、全１５スライスに対して４スライスを使用しないので、４／１５を使用しないことになり、ほぼ同じ割合をシーンチェンジ抽出対象としていることが分かる。
【００６４】
このようにして使用スライス決定部３０６において使用するスライス数を求め、ヘッダ検出部３０７で符号化ストリームのヘッダを解析し、スライスヘッダを抽出する毎に先の使用スライス決定部３０６で使用しないスライスと判定したスライスであれば、次のスライスヘッダまでジャンプし、一方、使用するスライスであれば、該当するスライスを逆量子化部３０８に送る。逆量子化部３０８は、符号化ストリームの逆量子化を行い、ＩＤＣＴ部３０４は、逆ＤＣＴを実行する。上記構成によって、使用するスライスのみが復号化処理され、結果として垂直解像度が４８０画素であれば垂直解像度３２０画素の映像を、一方、垂直解像度が２４０画素であれば垂直１７２画素の復号化された映像を求めることができる。復号化部１１１によって上記のように垂直方向に削減され復号化された映像に対して、ヒストグラム生成器１１２では有効なスライス領域と同じ位置の画素を対象にヒストグラムの生成を行う。差分抽出器１１５で求める差異値ｄを導出するためにフレーム内の画素数を表すＮ（１フレーム内の画素数）を利用している。実施の形態４においては、垂直方向に画素を削減したので、フレーム内の画素数Ｎは以下のように補正される。まず、元が垂直解像度７２０画素の場合であれば、削減された垂直解像度が３２０画素で、水平解像度は７２０画素なので、
Ｎ＝３２０×７２０＝２３０４００
となる。また、垂直解像度２４０画素の場合、削減された垂直解像度が１７２画素で、水平解像度は３５２画素であれば
Ｎ＝１７２×３５２＝６０５４４
に補正を行う。本補正を行ったうえで求められる差異値ｄを用いて、シーンチェンジ判定器１１６は、実施の形態１と同様のシーンチェンジ判定を行うことができる。
【００６５】
上記説明においては、スライス単位で復号化をするか否かを設定しているが、シーンチェンジに利用する領域を画素位置又はマクロブロック単位で設定してもよい。この場合、シーンチェンジを検出する位置を特定できるので、検出精度を向上することができる。また、画素毎にシーンチェンジ抽出を行うか否かを設定する場合、すべての画素について復号化を行い、復号化した後に抽出したいエリアのヒストグラム及びヒストグラムの差異値をとることによって実現可能であるが、検出単位をマクロブロック単位で指定するようにすると、ヘッダ検出部又は復号化処理部においてマクロブロック単位で処理を実行するか否かを制御できるので、不必要な復号化を実行しないよう構成でき、処理速度を向上することができる。
【００６６】
以上のように構成することによって、復号化及びシーンチェンジ抽出する画素サイズがスライス単位で削減できるので、処理の高速化を実現できる。
【００６７】
また、スライスの削減によって復号した画像のサイズも小さくなるので使用するメモリサイズも小さくなる。
【００６８】
また、シーンチェンジを検出する対象が放送番組であれば、映像の上下位置のスライスを使用しないように構成することによって、番組の本編との関連性が低い、又は、余り重要ではない情報である、時刻表示、臨時ニュースの文字表示、又はテロップなどに影響されることなくシーンチェンジ抽出を行うことができる。
【００６９】
また、マクロブロック単位で復号化及びシーンチェンジ抽出処理の実行を指定することによって、任意の１つ若しくは複数のマクロブロックに対してのみシーンチェンジ検出が可能になり、位置を特定したシーンチェンジ抽出が可能になる。
【００７０】
なお、実施の形態４において、上記以外の点は、上記実施の形態１乃至３の場合と同じである。
【００７１】
実施の形態５．
実施の形態５の映像記録装置は、差分抽出器１１５の動作が実施の形態１の映像記録装置と相違する。したがって、実施の形態５の説明においては、図１及び図２をも参照する。
【００７２】
実施の形態５においては、シーンチェンジ抽出対象となる映像によってシーンチェンジの判定基準を切り替える方法について説明する。図１０は映像の画素値のＹＵＶ分布を示している。一般的にＹＵＶは各２５６値で表現され、輝度信号Ｙは０から２５５まで、色差信号Ｕ及びＶは、−１２８から１２７までの値をとる。そのとき人間の目でほぼ白と感じる領域及びほぼ黒と感じる領域を、図１０において、それぞれＷ及びＢで示している。実施の形態５においては、抽出対象となる映像が、全体として白に近い色の領域が多い映像（以下「白映像」とも言う。）である場合は、領域Ｗ以外の領域で差異値を算出し、一方、全体として黒に近い色の領域が多い映像（以下「黒映像」とも言う。）である場合は、領域Ｂ以外の領域で差異値を算出する方法によって、比較する２つの映像がよく似た映像であっても的確にシーンチェンジを検出することを目的とする。
【００７３】
実施の形態５の差分抽出器１１５の動作を、図１１にフローチャートで示す。まず、第１のヒストグラムバッファ１１３及び第２のヒストグラムバッファ１１４からｉ番目のフレーム（以下「ｉフレーム」とも言う。）及びｉ−１番目のフレーム（以下「ｉ−１フレーム」とも言う。）のヒストグラムを取得する（ステップＳ３０１）。次にそれぞれのフレームの白領域Ｗの画素数をカウントする（ステップＳ３０２）。ｉフレーム及びｉ−１フレームの白画素数ＣＷｉ、ＣＷｉ−１は次式で表される。
【数２】
【００７４】
次に、白領域Ｗの累積差異ｒＷを次式で求める（ステップＳ３０３）。
【数３】
【００７５】
一方、黒領域Ｂについても同様に、黒画素数ＣＢｉ、ＣＢｉ−１を次式で求める（ステップＳ３０４）。
【数４】
【００７６】
また、黒領域Ｂの累積差異ｒＢを次式で求める（ステップＳ３０５）。
【数５】
【００７７】
次に、ｉフレーム及びｉ−１フレームが共に以下の条件式を満足すれば、白に近い色の領域が多い映像（「白映像」とも言う。）であると判断する（ステップＳ３０６）。
ＣＷ＿ＭＡＸ＞ＣＷｉ＞ＣＷ＿ＭＩＮ 且つ
ＣＷ＿ＭＡＸ＞ＣＷｉ−１＞ＣＷ＿ＭＩＮ
上記は、全体として白に近い色の領域が多い映像と判定する条件として、白領域Ｗの画素数が下限ＣＷ＿ＭＩＮより大きく、上限ＣＷ＿ＭＡＸ未満であることを条件としている。このように、白画素数が下限より大きいことを満足するだけでなく、上限を設けている理由は、白画素数がある値より大きい場合は、白に近い色の領域以外の画素数が非常に少なくなり、全体の画素数に対して非常に少ない白以外の画素で画像全体のシーンチェンジの判定を行ってしまうことを避けるためである。
【００７８】
上記条件を満足できれば、白領域Ｗを除いた領域について次式で差異値を求める（ステップＳ３０７）。
【数６】
【００７９】
一方、白に近い色の領域が多い映像と判断されなかった場合は、以下の条件式で黒に近い色の領域が多い映像であるか否かを判定する（ステップＳ３０８）。
ＣＢ＿ＭＡＸ＞ＣＢｉ＞ＣＢ＿ＭＩＮ 且つ
ＣＢ＿ＭＡＸ＞ＣＢｉ−１＞ＣＢ＿ＭＩＮ
上記は、黒に近い色の領域が多い映像と判定する条件として、黒領域Ｂの画素数が下限ＣＢ＿ＭＩＮより大きく、上限ＣＢ＿ＭＡＸ未満であることを条件としている。上記条件を満足できれば、黒領域Ｂを除いた領域について次式で差異値を求める（ステップＳ３０９）。
【数７】
【００８０】
一方、白に近い色の領域が多い映像と判断されず、且つ、黒に近い色の領域が多い映像とも判断されなかった場合は、実施の形態１で示した差異値の導出式
【数８】
によって差異値を求める（ステップＳ３１０）。
【００８１】
以上によって求めた差異値ｄを用いて、実施の形態１で示した手法と同様に、シーンチェンジ判定器１１６によってシーンチェンジの判定が行われる。
【００８２】
上記動作により、比較する２つの映像が共に白に近い色の領域が多い映像であれば白領域Ｗを除いた領域で映像の変化を比較し、一方、比較する２つの映像が共に黒に近い色の領域が多い映像であれば黒領域Ｂを除いた領域で映像の変化を比較することができるので、特定の色領域を除いた映像のシーンチェンジを抽出することができる。
【００８３】
そのために、全体的に白に近い色の領域が多い映像又は黒に近い色の領域が多い映像が続いたシーンにおいてもシーンチェンジを検出することが可能である。
【００８４】
特に、放送番組のＣＭ（Ｃｏｍｍｅｒｃｉａｌ Ｍｅｓｓａｇｅ）間のつなぎ目において、白い背景（又は黒い背景）に企業名や製品名が示されたシーンから同じように白い背景（又は黒い背景）に異なる企業名や製品名が示されるシーンに切り替わる場合において、白い背景や黒い背景を除いたエリアでシーンチェンジ判定を行うので、結果として企業名や製品名の領域からシーンチェンジとして検出することができ、ＣＭの区切りを検出するのに非常に有効に動作することができる。
【００８５】
なお、実施の形態５において、上記以外の点は、上記実施の形態１乃至４の場合と同じである。
【００８６】
実施の形態６．
図１２は、本発明の実施の形態６の映像音声記録装置２０の構成を概略的に示すブロック図である。図１２に示されるように、映像音声記録装置２０は、アンテナ１によって受信された放送波から録画する放送番組を選局するチューナ２と、チューナ２から出力されたアナログ映像信号をデジタル化するビデオＡ／Ｄ変換部３と、チューナ２から出力されたアナログ音声信号をデジタル化するオーディオＡ／Ｄ変換部４と、デジタル映像信号をＭＰＥＧ−２（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ−２）に圧縮符号化する符号化手段としてのビデオエンコーダ５と、デジタル音声信号を、例えば、リニアＰＣＭ（Ｌｉｎｅａｒ ｐｕｌｓｅ ｃｏｄｅ ｍｏｄｕｌａｔｉｏｎ）又はドルビーデジタル（Ｄｏｌｂｙ Ｄｉｇｉｔａｌ）に符号化する符号化手段としてのオーディオエンコーダ６と、符号化された映像及び音声信号を１つの符号化ストリームに多重するマルチプレクサ（Ｍｕｌｔｉｐｌｅｘｅｒ）（以下「Ｍｕｘ」とも記す。）７と、ビデオエンコーダ５、オーディオエンコーダ６及びＭｕｘ７を制御する録画制御部８とを有している。
【００８７】
また、映像音声記録装置２０は、符号化ストリームを記録する記録手段としてのハードディスクドライブ（ＨＤＤ）１１と、Ｍｕｘ７で多重された符号化ストリームをＨＤＤ１１に安定して書き込むためのストリーム制御手段としてのストリーム制御部９と、符号化ストリームを一時的に記憶するストリームバッファ１７と、生成された各符号化ストリームをファイルとしてＨＤＤ１１に保存するためのファイルシステム部１０と、生成された符号化ストリームの番組名や生成日時に加え、特殊再生を実現するためのアドレス情報や後述するＣＭ区間情報を生成及び管理するナビゲーション部１２とを有している。
【００８８】
さらに、映像音声記録装置２０は、映像の場面転換シーンを検出する映像変化点検出手段としてのシーンチェンジ検出部１３と、音声の無音区間を検出する無音検出手段としての無音検出部１４と、シーンチェンジと無音区間が同時に発生する変移点を検出する変移点検出手段としての変移点検出部１５と、変移点を検出するためにシーンチェンジと無音区間の情報を保持する、変移点検出部１５内に備えられた一時記憶手段としての変移点マッチングバッファ１９と、複数の変移点からＣＭに固有の周期性等からＣＭ区間を検出するＣＭ放送区間判定手段としてのＣＭフィルタ１６と、ＣＭフィルタ１６で解析する変移点を記憶する変移点スタックテーブル１８とを有している。
【００８９】
図１２には、記録手段としてＨＤＤ１０５が示されているが、記録手段は、ＤＶＤのような光ディスクや磁気テープなどの他の情報記録媒体であってもよい。また、映像音声記録装置２０は、放送番組を受信及び録画する受信機又はＤＶＤ／ＨＤＤハイブリッドレコーダであってもよい。さらに、映像音声記録装置２０は、家庭用のビデオレコーダに限らず、パーソナルコンピュータ、映像サーバ、又は、監視システム用の監視レコーダなどの各種用途に適用できる。
【００９０】
ファイルシステム部１０は、ＨＤＤ１１に書き込む情報をファイル化することによって書き込み情報に対するアクセスが簡単に行えるようにするためのデータ管理を行う。ファイルシステム部１０によって、ストリーム制御部９及びナビゲーション部１２は、ストリームや情報をＨＤＤ１１に書き込み又はＨＤＤ１１から読み出しを行うときに、ＨＤＤ１１上の直接のアドレスを気にすることなく、ファイルを指定することによって、先頭から順に、又は、指定した位置から順に読み出し及び書き込みを行うことができる。
【００９１】
ビデオエンコーダ５による符号化方式であるＭＰＥＧ−２は、可変レートに対応しており、そのため、１秒間に発生する符号量（ビットレート）は時間によって大きく変動する。そのため、ストリーム制御部９は、ＨＤＤ１１へのデータ書き込み及びＨＤＤ１１からのデータ読み出しによって符号化ストリームがオーバーフロー又はアンダーフローしないように、符号化ストリームをストリームバッファ１７に一時的に保持させ、ＨＤＤ１１の状態に応じて符号化ストリームのＨＤＤ１１への書き出し及びＨＤＤ１１からの読み込みを行っている。ストリームバッファ１７は、リングバッファで構成されており、書き込み位置ポインタと読み出し位置ポインタによって有効なデータ領域が管理されている。すなわち、データの書き込み時には、書き込み位置ポインタを先頭にデータサイズ分書き込みを行い、書き込んだデータサイズ分だけ書き込み位置ポインタを進める。一方、データの読み出し時には、読み出し位置ポインタを先頭にデータサイズ分読み出しを行い、読み出したデータサイズ分だけ読み出し位置ポインタを進める。ただし、リングバッファの終了位置に来たときは、ポインタを先頭の位置に戻す処理を行う。
【００９２】
次に、放送番組を記録する動作について説明する。ユーザーが手動で録画開始ボタンを押した、又は、予め録画タイマーで設定しておいた録画開始時間になると、チューナ２はアンテナ１で受信した放送波から指定チャンネルを選局する。チューナ２から出力された映像及び音声のアナログ信号は、それぞれビデオＡ／Ｄ変換部３及びオーディオＡ／Ｄ変換部４に送られ、デジタル映像信号及びデジタル音声信号に変換される。録画制御部８は録画開始時にビデオエンコーダ５及びオーディオエンコーダ６に対してエンコード開始を、Ｍｕｘ７に対して多重処理開始を指示する。すると、ビデオＡ／Ｄ変換部３又はオーディオＡ／Ｄ変換部４から出力されたデジタル映像信号及びデジタル音声信号が順次ビデオエンコーダ５及びオーディオエンコーダ６で圧縮符号化処理が行われ、さらに、Ｍｕｘ７で１つのプログラムストリームに多重化が行われ、ストリーム制御部９でストリームの制御を行いながらＨＤＤ１１に記録されていく。
【００９３】
ビデオエンコーダ５は、エンコード単位であるＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅｓ）の符号化が完了する毎に録画制御部８にＧＯＰ符号化完了通知を送る。ストリーム制御部９は、ビデオエンコーダ５及びオーディオエンコーダ６によって符号化されＭｕｘ７で多重された符号化ストリームをストリームバッファ１７の書き込み位置ポインタを先頭に順次書き込む。一方、ストリーム制御部９は、ＨＤＤ１１が書き込み状態になっていることを確認しながら、ストリームバッファ１７の読み出し位置ポインタから符号化ストリームを読み出し、ＨＤＤ１１に書き込みを行う。録画が実行されている間、前記動作を繰り返し行う。録画終了時には、録画制御部８は、ビデオエンコーダ５及びオーディオエンコーダ６に対して符号化終了を指示し、符号化を停止させる。符号化停止後、ストリーム制御部９は、ストリームバッファ１７に残っている符号化ストリームを全てＨＤＤ１１に書き込む。
【００９４】
次に、シーンチェンジ検出と無音検出について説明する。録画制御部８は、ＧＯＰの符号化完了をビデオエンコーダ５から受け取る毎に、シーンチェンジ検出部１３に対してシーンチェンジ検出コマンドを送る。シーンチェンジ検出部１３は、エンコードが完了したＧＯＰデータをストリーム制御部９から読み出し、映像のシーンチェンジの検出を行う。検出方法の一例としては、以下の方法がある。まず、読み出したＧＯＰ単位のデータからＩピクチャの復号化を行い、ヒストグラムを作成する。そのヒストグラムと一つ前のＩピクチャのヒストグラムと比較を行い、ヒストグラムの各要素値の絶対値の差の合計をシーンチェンジ差異値と定義し、そのシーンチェンジ差異値が予め設定された閾値より大きければシーンチェンジであると判定する。以下の説明においては、説明を簡単にするために、ＧＯＰを構成するピクチャ数は１５枚固定であり、そのＧＯＰの時間は０．５秒であるものとする。よって、シーンチェンジの発生した時刻は、ＧＯＰの個数で簡単に表すことが可能となる。
【００９５】
オーディオＡ／Ｄ変換部４は、アナログ音声信号をデジタル音声信号であるリニアＰＣＭ信号に変換する。無音検出部１４は、入力されたリニアＰＣＭ信号の振幅が予め設定されている閾値以下の状態が予め設定された時間以上続けば無音区間であると判定する。ここでは、入力されたリニアＰＣＭ信号の振幅が予め設定されている閾値以下の状態が、３００ミリ秒以上続けば、無音区間が発生したと判定する。無音区間の条件として、ある時間以上、リニアＰＣＭ信号の振幅が低い状態が続くことを必要としている理由は、瞬間的な無音を、無音区間と判定しないようにするため、及び、無音の発生毎に後述するＣＭ放送区間検出動作の頻度が多くなると、システムの処理負荷が大きくなってＣＭ放送区間検出以外の動作に支障を来たすおそれがあるからである。無音区間であると判定した場合、録画開始からのサンプル数の累積番号により無音開始時刻を算出する。また、無音区間が継続されている状態でリニアＰＣＭ信号の振幅が、予め設定されている閾値より大きくなった場合、無音区間が終了したと判定し、同様にサンプル数の累積番号から無音終了時刻を算出する。
【００９６】
図１３は、図１２に示される映像音声記録装置２０の変移点検出部１５の動作を示すフローチャートである。変移点検出部１５は、シーンチェンジ検出部１３から送られるシーンチェンジ情報又は無音検出部１４から送られる無音情報に基づいて動作を切り替える。例えば、変移点検出部１５の動作が開始されて、シーンチェンジ検出部１３においてシーンチェンジの検出動作を行い（ステップＳ１０１）、シーンチェンジ情報としてシーンチェンジ検出フラグ、ＧＯＰ番号、及びシーンチェンジ差異値が変移点検出部１５に送られたとすると、ステップＳ１０１において検出されたシーンチェンジ情報は、変移点検出部１５内の変移点マッチングバッファ１９に保存される（ステップＳ１０２）。
【００９７】
一方、無音検出部１４によって無音区間が検出されると（ステップＳ１０３）、無音区間情報として無音検出フラグ、無音発生時刻、及び無音終了時刻を変移点検出部１５に送る。ステップＳ１０３において判定された無音区間に関する無音情報は、変移点検出部１５内の変移点マッチングバッファ１９に保存される（ステップＳ１０４）。無音区間が検出された場合は、さらに変移点マッチングバッファ１９上で変移点検出、つまりシーンチェンジと無音が同時に発生した時間位置の検出を行う（ステップＳ１０５）。無音区間検出毎に変移点検出を行うのは、シーンチェンジ検出区間と無音区間の積情報を取るには、シーンチェンジ検出より発生頻度の低い無音区間検出の度に行うことが処理効率の面から適しているためである。変移点マッチングバッファ１９には、最新のシーンチェンジ及び無音区間の情報が一時的に保持されており、双方が一致した場合は、一致した情報が次の処理であるステップＳ１０６に送られるとともに、そのシーンチェンジ情報及び無音区間情報と、それ以前のシーンチェンジ情報及び無音区間情報が破棄される。また、予め設定された一定時間が経過したときにも、シーンチェンジ情報及び無音区間情報が破棄される。このような制御によって、有限のバッファサイズであっても、リアルタイムにシーンチェンジと無音区間の一致を検出することができる。したがって、変移点マッチングバッファ１９上で、無音区間の開始時刻から終了時刻までの間に発生したシーンチェンジを、シーンチェンジのＧＯＰ番号をもとに変移点を検出することができる。そして、シーンチェンジのＧＯＰ番号を変移点の時刻を表す値として利用する。このようにして選出された変移点及び一致したシーンチェンジの差異値及び無音の時間長を次のＣＭフィルタ１６に送り（ステップＳ１０６）、ＣＭフィルタ１６内の変移点格納用の変移点スタックテーブル１８に保存し、ＣＭフィルタ１６の動作を実行する（ステップＳ１０７）。
【００９８】
次に、図１２に示されるＣＭフィルタ１６によってＣＭ放送区間を検出する方法について説明する。図１２に示されるように、ＣＭフィルタ１６内には、変移点に関する情報を記憶する変移点スタックテーブル１８が設けられている。図１４は、変移点スタックテーブル１８の一例を示す図である。変移点スタックテーブル１８は、録画と並行して実行されるＣＭ放送区間検出動作時に更新されるので、リングバッファの構成をとる。よって、リードポインタからライトポインタの手前までがＣＭ放送区間検出のための処理範囲である。変移点スタックテーブル１８内には、変移点の時間位置を示す変移点ＧＯＰ番号と、後続する変移点がＣＭとみなされた場合の最終変移点の時間位置を示す連結終了ＧＯＰ番号と、後続する変移点の個数を示す変移点カウンタと、変移点における無音時間長と、変移点におけるシーンチェンジ差異値と、この変移点の有効・無効を示す有効無効フラグとが設けられている。
【００９９】
変移点ＧＯＰ番号は、シーンチェンジが検出されたＧＯＰ番号である。実施の形態６においては、シーンチェンジの検出精度を１ＧＯＰとしているため、録画開始からのＧＯＰの累積番号で時間を表すことができる。
【０１００】
連結終了ＧＯＰ番号とは、ある変移点を基点としたＣＭ放送区間における最終変移点のＧＯＰ番号である。図１４においては、変移点ＧＯＰ番号‘１０’の場合、ＧＯＰ番号‘１０’、‘４０’、‘１０１’においてＣＭが継続して検出されるので、ＧＯＰ番号‘１０１’が連結終了ＧＯＰ番号になる。変移点検出部１５では、変移点３３ｇが検出されると、ＧＯＰ番号‘１０１’にＧＯＰ番号‘１３０’が連結され、変移点３３ｂから変移点３３ｇまでがＣＭ放送区間と判定される。また、変移点ＧＯＰ番号に後続する変移点がない場合は、連結終了ＧＯＰ番号は、変移点ＧＯＰ番号と同じ値になる。
【０１０１】
変移点カウンタは、ＣＭ放送区間においてＣＭが変移点で連結された場合における変移点の数を示す。
【０１０２】
無音時間長は、変移点における無音区間の長さをミリ秒単位で示す。
【０１０３】
シーンチェンジ差異値は、変移点におけるシーンチェンジの変化量を０から１までの値で示す。シーンチェンジ差異値が大きいほど、映像の変化量が大きいことを意味する。
【０１０４】
有効無効フラグは、変移点スタックテーブル内において処理対象範囲であることを示すフラグであり、変移点が登録されたときには有効‘１’が設定され、ＣＭフィルタ１６の処理において、例えば、‘４０’のように、先行する変移点に連結された変移点について無効‘０’に変更される。また、ある変移点が処理対象範囲から外れた場合、例えば、‘１０’、‘４０’、‘１０１’、‘１３１’をＣＭ区間として検出した場合に、‘１０’以前の‘６’や、‘１０’から‘１３１’の間の全ての変移点‘６２’、‘８３’を無効‘０’にすることによって、処理の高速化及び変移点スタックテーブルに必要なメモリサイズの低減を図ることができる。
【０１０５】
ＣＭフィルタ１６においては、変移点スタックテーブル１８の要素である変移点をそれぞれ比較し、変移点の間隔が所定の基準間隔、例えば、１５秒、３０秒、６０秒、又は９０秒相当であるものを抜き出していく。そのとき、検出誤差、ＣＭのフレームレベルでの長さのばらつき等によりＣＭの長さが１５秒からずれる可能性があるので、そのための許容誤差を、例えば、１ＧＯＰ分設ける。よって、先の変移点の間隔として有効な間隔は、ＧＯＰの個数で表現でき、３０ＧＯＰ±１ＧＯＰ、６０ＧＯＰ±１ＧＯＰ、１２０ＧＯＰ±１ＧＯＰ、及び１８０ＧＯＰ±１ＧＯＰのように、±１ＧＯＰの許容誤差を設けたＧＯＰの数で表現することができる。ＣＭフィルタ１６においては、上記変移点の間隔が上記のように予め設定しているＧＯＰの間隔と一致する変移点の間隔をＣＭ候補間隔とする。さらに、ＣＭ候補間隔が連続して２個以上ある場合には、その区間をＣＭ放送区間とする。
【０１０６】
図１５（Ａ）乃至（Ｅ）は、実施の形態６の映像音声記録装置２０におけるＣＭ放送区間検出動作を説明するための図である。図１５（Ａ）乃至（Ｅ）を用いてＣＭ区放送間を特定する方法について説明する。無音検出部１４によって無音区間３１ａ，…，３１ｍが検出された場合を説明する。一方、図１５（Ｂ）に示されるように、シーンチェンジ３２ａ，…，３２ｏが存在するものとする。無音区間については、無音発生時刻と無音終了時刻が得られ、シーンチェンジについては、シーンチェンジの発生したＧＯＰ番号が得られる。実施の形態６においては、ＧＯＰのフレーム数を固定にしているので、ＧＯＰ番号によって一意に時刻を表すことができる。無音とシーンチェンジの時刻を比較し、同一時刻に無音とシーンチェンジが発生した場合に、この点を変移点とする。ここでは、図１５（Ｃ）に示されるように、変移点３３ａ，…，３３ｉが検出されている。さらに、各変移点３３ａ，…，３３ｉの間で、上記ＣＭ間隔に一致するものをＣＭと判定する。ここでは、変移点３３ｂから変移点３３ｃまでの間隔が３０ＧＯＰであり、変移点３３ｃから変移点３３ｆまでの間隔が６１ＧＯＰであり、変移点３３ｆから変移点３３ｇまでの間隔が２９ＧＯＰであるので、それぞれの区間がＣＭとして検出され、さらに、ＣＭが３個連続して続くので、変移点３３ｂ，…，３３ｇがＣＭ放送区間であると判定する。さらに、変移点３３ｇから２０１ＧＯＰ経過したところで変移点３３ｉが検出されるが、変移点３３ｇから変移点３３ｉまでの間隔は、予め設定されたＣＭ放送区間の最大値である１８０ＧＯＰを超えているので、ＣＭが終了したと判断することができ、ＣＭ放送区間検出を完了したことを示している。
【０１０７】
次に、図１６を用いてＣＭフィルタ１６によるＣＭ検出処理手順について説明する。変移点検出部１５においてシーンチェンジと無音区間が同時に発生する変移点が検出されると、その情報がＣＭフィルタ１６に送られることによって、ＣＭフィルタ１６の動作が開始する（ステップＳ４０１）。検出された変移点の情報は、ＣＭフィルタ１６内の変移点スタックテーブル１８の最後尾に保存される（ステップＳ４０２）。ＣＭフィルタ１６内の変移点スタックテーブル１８に保存される情報は、有効無効フラグ、変移点ＧＯＰ番号、連結終了ＧＯＰ番号、連続するＣＭとして検出された変移点の個数である変移点カウンタ値、検出された変移点の無音時間長、及びシーンチェンジの変化量を示すシーンチェンジ差異値である。次に、変移点スタックテーブル１８の読み出し基点を設定する（ステップＳ４０３）。図１５（Ｃ）において、例えば、前回、変移点３３ａの処理まで完了していたとすると、今回は次の変移点３３ｂを最初の基点とする。次に、変移点の終点側を設定する（ステップＳ４０７）。図１５（Ｃ）においては、変移点３３ｃを終点とする。もしも、変移点スタックテーブル１８に終点となる変移点がなければ（ステップＳ４０８）、次の基点を取得する（ステップＳ４０４）。図１５（Ｃ）においては、基点が変移点３３ａで終点が変移点３３ｉの場合に、基点を変移点３３ｂにする処理である。ここで、次の基点が見つからなければ（ステップＳ４０４）、ＣＭ検出処理を終了する（ステップＳ４０６）。基点と終点が決定した場合、基点から終点までの時間長を求める（ステップＳ４０９）。図１５（Ｃ）においては、基点が変移点３３ｂ、終点が変移点３３ｃの場合には、基点‘１０’と終点‘４０’との差（すなわち、変移点間隔）である３０ＧＯＰが、時間長である。この時間長が、ＣＭ基準時間である３０ＧＯＰ±１ＧＯＰ、６０ＧＯＰ±１ＧＯＰ、１２０ＧＯＰ±１ＧＯＰ、及び１８０ＧＯＰ±１ＧＯＰのいずれかに一致していれば（ステップＳ４１０）、基点の連結終了ＧＯＰ番号を終点の連結終了ＧＯＰ番号で置き換える（ステップＳ４１１）。さらに、終点の有効無効フラグを無効化し（ステップＳ４１２）、基点の変移点カウントを一つ増分する（ステップＳ４１３）。また、ステップＳ４１０においてＣＭ基準時間長ではないと判定された場合は、次に、基点と終点間の時間長が最大ＣＭ基準時間長である１８０ＧＯＰ±１ＧＯＰを超えているか否かを判断し（ステップＳ４１４）、超えていると判定された場合には、基点から連結終了ＧＯＰ番号までをＣＭ放送区間と判定し、ＣＭ放送区間の情報を録画制御部８に送る（ステップＳ４１５）。さらに、次回のＣＭ放送区間検出処理の基点を今回のＣＭ放送区間の最終変移点の次の変移点に設定すると共に、検出した最終変移点より前の変移点の有効無効フラグを無効化する（ステップＳ４１６）。
【０１０８】
上記ステップを録画動作中継続して実行することによって、記録する放送番組のＣＭ放送区間をリアルタイムに検出することができる。ＣＭフィルタ１６で検出したＣＭ放送区間の時刻情報は、録画制御部８に一旦渡され、録画した番組の管理情報を扱うナビゲーション部１２に伝えられ、ファイルシステム１０によってファイル化され、ＣＭ放送区間情報記録手段として機能するＨＤＤ１１上に記録される。
【０１０９】
上記のように映像音声記録装置２０を構成することによって、放送番組を録画しながらＣＭ放送区間を検出することができる。
【０１１０】
また、シーンチェンジ検出機能を有しないエンコーダを用いた場合、通常、録画実行後にあらためて録画された番組を解析する必要があるが、本発明の構成においては、録画動作と並行してＣＭ放送区間の検出が行うことができるので、エンコーダの選択の範囲が広くなり、結果コストや調達性を重視したエンコーダの選択が可能になる。
【０１１１】
さらに、ストリーム制御部９からシーンチェンジ検出部１３及び無音検出部１４にストリームを送ることによって、ＨＤＤ１１に録画されている番組に対して、ＣＭ放送区間検出を行うことも可能である。ただし、その場合、無音検出はシーンチェンジと同様にストリームから解析する方法を使用しなければならない。
【０１１２】
また、シーンチェンジ検出結果と無音検出結果を一時的な記憶領域である変移点マッチングバッファ１９に記録し、変移点マッチングバッファ１９の記憶領域上で比較することによって、リアルタイムに変移点を検出することができ、よって、録画と並行してＣＭ放送区間の検出が可能になる。また、同時に発生しているシーンチェンジと無音区間が、ある程度の時間差をもって変移点検出部１５に通知されたとしても、変移点マッチングバッファ１９で情報が保持されているので、片方の情報をとりこぼすことなくＣＭ放送区間の検出を実行できる。
【０１１３】
また、シーンチェンジ検出時には一時的な記憶領域である変移点マッチングバッファ１９への登録のみを実行し、一方で無音が検出されたときは変移点マッチングバッファ１９への登録だけでなく、変移点マッチングバッファ１９上で無音と同時に発生するシーンチェンジを検出し、さらに、ＣＭ放送区間の検出処理を行う構成にすることによって、検出回数の少ない無音検出に同期して処理を行うことができるので、ＣＰＵの処理時間が少なく、かつシステム負荷の少ない状態でＣＭ放送区間の検出を行うことができる。
【０１１４】
また、ＣＭ放送区間検出の単位をフレーム単位でなく、例えば、ＧＯＰ単位とすることによって処理頻度及び処理負荷の低減を計れるだけでなく、ＣＭ毎にＣＭの長さが数フレーム違う場合であっても、各ＣＭの長さの違いに影響されずに、ＣＭ放送区間の検出を行うことができる。
【０１１５】
また、以上の説明においては、シーンチェンジ検出単位を１ＧＯＰとしているが、シーンチェンジ検出単位を複数のＧＯＰ単位としてもよい。また、シーンチェンジ検出単位を任意の数のフレーム毎にしてもよい。
【０１１６】
また、以上の説明においては、シーンチェンジ及び無音検出処理を行う方法としてソフトウェアによる例を示したが、ハードウェアによって実行してもよい。また、音声はオーディオＡ／Ｄ変換部４出力を直接解析しているが、符号化ストリームから解析して無音を検出してもよい。
【０１１７】
実施の形態７．
実施の形態７においては、ＣＭ間の境界付近に複数の変移点が存在する場合に、ＣＭ間の境界と判定する変移点を選択する方法について説明する。通常、ＣＭの前後部分には、宣伝を行う企業名や製品名などのテロップが一時的に表示されることが多い。このため、ＣＭ間の境界付近においては、無音及びシーンチェンジが同時に起こり、変移点が複数回連続して発生する場合が多い。一方、ＣＭ放送区間の検出においては、ＣＭの時間長さの誤差や検出遅れ及び検出ばらつきを補うため、基準とするＣＭ長さに対して、ある程度の幅を持たせて検出を行っている。例えば、実施の形態６においては、１５秒のＣＭを検出するために、３０±１ＧＯＰの範囲内で検出を実行している。しかしながら、±１ＧＯＰの検出幅において複数回の変移点が存在することがあり、候補となる変移点から１つの変移点を選択する指針が必要であった。そこで、実施の形態７においては、候補となる変移点から１つの変移点を選択する指針となる３つの選択基準を示す。
【０１１８】
図１７（Ａ）乃至（Ｃ）は、候補となる変移点と選択された変移点を示している。第１の方法は、図１７（Ａ）に示すように、変移点間隔が３０ＧＯＰ、６０ＧＯＰ、及び９０ＧＯＰのように、基準時間から±０ＧＯＰとなるように、次の変移点を選択していく方法である。
【０１１９】
第２の方法は、図１７（Ｂ）のＧＯＰ番号‘３０’からＧＯＰ番号‘５９’までに示すように、あるＣＭ境界検出において選択された変移点の間隔が２９ＧＯＰ（＝３０ＧＯＰ−１ＧＯＰ）となった場合に、図１７（Ｂ）のＧＯＰ番号‘６０’からＧＯＰ番号‘９０’までに示すように、次のＣＭ境界検出における選択された変移点の間隔を、３１ＧＯＰ（＝３０ＧＯＰ＋１ＧＯＰ）を中心に選択する方法である。これは、選択された変移点が一時的に基準値からずれた場合（図１７（Ｂ）におけるＧＯＰ番号‘５９’に相当する。）、次の変移点は、ずれを打ち消すＧＯＰを優先して選択するものである（図１７（Ｂ）におけるＧＯＰ番号‘９０’に相当する）。すなわち、予め設定された基準時間（例えば、３０ＧＯＰ）を中心とする所定の時間範囲内（±１ＧＯＰの範囲内）に、検出されたシーンチェンジと検出された無音区間が同時に発生する変移点が複数検出された場合には、ＣＭフィルタ１６は、直前に判定されたＣＭの時間長と、次に前判定されるＣＭの時間長との合計が、前記予め設定された基準時間（例えば、３０ＧＯＰ）の整数倍に近づける度合いの大きい変移点をＣＭ放送区間を規定するための変移点と判定する。
【０１２０】
第３の方法は、累積した時間が、できるだけ±０ＧＯＰになるように選択する方法である。これは、図１７（Ｃ）に示されるように、選択された変移点をＧＯＰ番号‘０’、‘２９’、‘５８’とした後に、ＧＯＰ間隔が３０±０ＧＯＰとなるＧＯＰ番号‘８８’を選択せずに、ＧＯＰ間隔が３０＋１ＧＯＰとなるＧＯＰ番号‘８９’を選択し、さらに次の検出に際して、ＧＯＰ間隔が３０ＧＯＰ−１ＧＯＰや３０ＧＯＰ±０ＧＯＰを選択せずに、ＧＯＰ番号‘１２０‘を選択することによって、変移点のずれが全体として±０ＧＯＰになるようにするものである。すなわち、予め設定された基準時間（例えば、３０ＧＯＰ）を中心とする所定の時間範囲内（±１ＧＯＰの範囲内）に、検出されたシーンチェンジと検出された無音区間が同時に発生する変移点が複数検出された場合には、ＣＭフィルタ１６は、判定されるＣＭ放送区間を、予め設定された基準時間（例えば、３０ＧＯＰ）の整数倍に近づける度合いの大きい変移点をＣＭ放送区間と規定するための変移点と判定する。
【０１２１】
上記第２の方法又は第３の方法を採用することによって、検出誤差等によって、一旦変移点が本来のＣＭ間の境界位置からずれた場合であっても、補正処理が可能となり、結果としてＣＭ放送区間検出精度を向上させることができる。
【０１２２】
また、変移点のずれが全体として±０ＧＯＰとなる変移点を優先的に選択することによって、検出したＣＭ放送区間が基準時間に近くなるようになり、ＣＭ放送区間の検出精度が向上する。
【０１２３】
また、累積時間数又はＧＯＰ数の累積値の基準時間からのずれが、±０ＧＯＰになるように、検出した変移点に対して重み付けを行うことによって、１つのＣＭを検出するための誤差である±１ＧＯＰがＣＭ放送区間を継続して実行するなかで、ＣＭの数が増えるほど累積する、すなわち、本来のＣＭ境界からずれる、さらには本来のＣＭ境界からずれることによって検出すべきＣＭが検出できなくなるという問題を低減することができる。
【０１２４】
なお、実施の形態７において、上記以外の点は、上記実施の形態６の場合と同じである。
【０１２５】
実施の形態８．
実施の形態８においては、変移点における無音時間長を用いてＣＭ放送区間の検出精度を向上させる方法を説明する。
【０１２６】
一般に、テレビ放送番組においては、１つのＣＭの前後には約０．５秒程度の無音部分が存在し、ＣＭとＣＭのつなぎ目である境界付近においては、双方のＣＭの無音部分の和で約１秒（≒０．５秒×２）の無音部分が存在する。一方、番組本編からＣＭに移行するとき、及び、ＣＭから番組本編に移行するときは、番組本編側の無音部分が短い場合が多く、双方の無音部分の和で約０．６秒程度の無音部分が入るのみである。
【０１２７】
図１８は、実際に放送されている任意の２０番組、５９１本のＣＭを含む放送区間において、あるＣＭとその次のＣＭの間の無音部分の時間長さを測定した結果を示すグラフである。図１８に示されるように、ＣＭ間の無音部分のほとんどが０．８秒から１．４秒までの間に存在している。
【０１２８】
図１９は、図１８の場合と同じ任意の２０番組の放送区間において、ＣＭ放送区間が終了して番組本編に移行するときの無音部分の時間長さを測定した結果を示すグラフである。図１９に示されるように、ＣＭ放送区間から番組本編に移行するときは、無音部分の時間長さのほとんどが、約０．４秒から約１．２秒までの間に存在していることがわかる。すなわち、実施の形態６で示した変移点における無音時間長が０．４秒から０．８秒までの間、又は、１．４秒以上であれば、ほとんどの場合においてＣＭが終了し番組本編に移行したと判断することができる。
【０１２９】
図２０は、ＣＭ間の無音時間長を用いてＣＭ放送区間を検出する方法を示すフローチャートである。図２０において、図１６のステップと同じステップには、同じ符号を付している。実施の形態８における基本的なＣＭ放送区間の検出方法は、実施の形態６の場合と同じであるが、実施の形態８においては、ステップＳ４２０で変移点の無音時間長について検証を行い、ＣＭが２つ以上検出されている状態において、先述のとおり、無音時間長が０．８秒から１．４秒まで（すなわち、第１の規定範囲）に入らなければＣＭが終了したと判定する工程が追加されている。また、ＣＭ放送区間が検出された場合においても、ＣＭ放送区間の各変移点の無音時間長において少なくとも１つ以上、０．８秒から１．４秒までの範囲内の時間長を持つ無音部分が存在しているかを検証し（ステップＳ４２０）、０．８秒から１．４秒までの範囲内の時間長を持つ無音部分が含まれていなければ、ＣＭ放送区間として採用しない工程が追加されている。
【０１３０】
上記のように構成することによって、ＣＭ放送区間の終了及び本編開始位置を検出することができ、ＣＭ放送区間の検出精度を向上させることができる。
【０１３１】
とくに、ＣＭから番組本編に移行した後に、ＣＭ間隔と同じ間隔でシーンチェンジと無音が発生した場合、番組本編の冒頭部分をＣＭであると誤検出する場合があるが、無音時間長によりＣＭ終了位置を精度良く検出でき、番組本編冒頭をＣＭと誤検出する事態の発生頻度を低減でき、結果として、ＣＭ放送区間の検出精度を向上させることができる。
【０１３２】
さらに、番組本編中においてシーンチェンジと無音区間が同時に複数発生し、その間隔がＣＭ放送区間におけるシーンチェンジと無音区間の発生の間隔と同じであった場合に、番組本編をＣＭ放送区間であると誤検出する場合があるが、無音時間長がＣＭ間の無音時間長と一致していることを条件とするために、番組本編をＣＭと誤検出する事態の発生頻度を低減させることができる。
【０１３３】
なお、実施の形態８において、上記以外の点は、上記実施の形態６及び７の場合と同じである。
【０１３４】
実施の形態９．
実施の形態９においては、シーンチェンジの変化量を示すシーンチェンジ差異値を利用して検出精度を向上させることができるＣＭ放送区間の検出方法について説明する。
【０１３５】
図２１は、実施の形態９の映像音声記録装置における、シーンチェンジ差異値を利用したＣＭ放送区間の検出方法を示すフローチャートである。また、図２２は、実施の形態９の映像音声記録装置における、シーンチェンジ差異値を利用したＣＭ放送区間検出方法を説明するための図である。図２２には、検出されたＣＭ放送区間と、ＣＭ放送区間における各ＣＭの境界に位置する変移点５１ａ，…，５１ｆが示されている。一般に、ＣＭと番組本編の間、又は、ＣＭとＣＭの間の映像的な因果関係は乏しく、よって、シーンチェンジの変化量は極めて大きいものとなる。実施の形態９においては、ＣＭと番組本編の間、及び、ＣＭとＣＭの間におけるシーンチェンジ差異値が、番組本編内におけるシーンチェンジ差異値よりもが大きいことを利用して、番組本編を誤ってＣＭとみなす誤検出を低減する方法について示す。
【０１３６】
図２１のフローチャートに示される動作は、実施の形態６における図１６のフローチャートに示される動作を基本とし、さらに、シーンチェンジ差異値を利用した幾つかの判断と処理が追加されている。図２１において、図１６のステップと同じ又は対応するステップには、同じ符号を付している。
【０１３７】
まず、ＣＭフィルタ１６は、基点となる変移点から終点となる変移点までの時間長がＣＭ基準時間長（例えば、１５秒、３０秒、６０秒、９０秒など）と同じと判定された（ステップＳ４１０）後に、その基点と終点が先頭ＣＭであり、かつ、時間長が６０秒又は９０秒であるかを判定する（ステップＳ４３０）。その条件に一致した場合、基点のシーンチェンジ差異値と終点のシーンチェンジ差異値を比較し（ステップＳ４３１）、基点のシーンチェンジ差異値が大きければ基点位置からＣＭが開始されたと判定し、ステップＳ４１１に復帰する。図２２においては、変移点５１ａと変移点５１ｂのシーンチェンジ差異値を比較し、シーンチェンジ差異値が大きい方を番組本編とＣＭの境界と判定することを示す。
【０１３８】
一方、ステップＳ４３１において、基点のシーンチェンジ差異値より終点のシーンチェンジ差異値のほうが大きいと判断した場合は、ＣＭフィルタ１６は、終点位置からＣＭが開始される、すなわち、この基点と終点の間は番組本編が継続されていると判定する。
【０１３９】
同様に、ＣＭフィルタ１６は、ＣＭ終了時にも最終ＣＭであり、かつ、時間長が６０秒又は９０秒であるかを判定し（ステップＳ４３２）、条件に一致した場合、基点のシーンチェンジ差異値と終点のシーンチェンジ差異値を比較し（ステップＳ４３３）、基点のシーンチェンジ差異値より終点のシーンチェンジ差異値が大きければ終点位置から番組本編が開始されたと判定し、処理をステップＳ４３５に移す。図２２においては、変移点５１ｅのシーンチェンジ差異値と変移点５１ｆのシーンチェンジ差異値を比較し、シーンチェンジ差異値が大きい方をＣＭと番組本編の境界と判定することを示す。
【０１４０】
一方、終点のシーンチェンジ差異値より基点のシーンチェンジ差異値のほうが大きいと判断した場合は、ＣＭフィルタ１６は、基点位置から番組本編が開始された、すなわち、この基点と終点の間はすでに番組本編に入っていると判定する。このように、ＣＭ開始時又は本編開始時において６０秒又は９０秒などの長く、かつ、放送される頻度の少ないＣＭの場合、その区間の前後のどちらがより映像の変化量が大きいかによって番組本編とＣＭの境界を判断する。番組本編の冒頭や最後は、ひとまとまりのエピソードや１コーナーなど編集された単位になっている場合があり、その場合に、ＣＭと誤検出する可能性があるが、実施の形態９のＣＭ放送区間検出方法においては、より映像変化の大きいＣＭ境界を見つけることによって、正確にＣＭと番組本編の境界を検出することができる。
【０１４１】
また、ステップＳ４３５においては、全変移点のシーンチェンジ差異値をチェックし、シーンチェンジの判定に用いた閾値より大きな、第２の閾値と比較し、ＣＭ放送区間の少なくとも一つの変移点のシーンチェンジ差異値が第２の閾値を越えていれば、ＣＭ放送区間として扱うステップＳ４１５に移り、反対に、超えていなければこのＣＭ放送区間を無効化する（ステップＳ４３６）。図１４で説明すると、シーンチェンジ差異値の閾値が０．９であったとすると、変移点３３ｂ，３３ｃ，３３ｆ，３３ｇのうち変移点３３ｂ及び３３ｇのシーンチェンジ差異値が閾値０．９を超えているため、変移点３３ｂから変移点３３ｇまでの期間をＣＭ放送区間と判定する。
【０１４２】
上記のように番組本編とＣＭとの境界のＣＭにおいてシーンチェンジ差異値を番組本編とＣＭの境界選択に利用することによって、番組本編とＣＭとの境界を判定することができ、番組本編の冒頭又は最後をＣＭとして誤検出する事態の発生頻度を低減させることができる。
【０１４３】
また、検出したＣＭ放送区間内においてシーンチェンジ差異値の少なくとも一つが、ある閾値を超えない場合、ＣＭでないと判定することによって、ＣＭに比べて映像の変化量の少ない番組本編をＣＭであると誤検出する事態の発生頻度を低減させることができる。
【０１４４】
なお、実施の形態９において、上記以外の点は、上記実施の形態６乃至８の場合と同じである。
【０１４５】
実施の形態１０．
実施の形態１０においては、記録されたストリームの先頭に数秒のＣＭがあり、そのＣＭに続いて本編が記録されているような場合に、その数秒の断片化されたＣＭを検出する方法について示す。通常、映像音声記録装置２０は、記録を開始すると判断してから、実際の記録が開始されるまでに一定の時間が必要とされており、そのために予め設定されていた記録開始時刻から数秒遡って記録を開始するように構成されているものが多い。また、映像音声記録装置の内部に持っている時計は、常に正確な時刻を指し示している保障はない。そのため、例えば、放送番組がＰＭ９：００に開始予定であり、かつ、ＰＭ９：００ちょうどの本編が開始されたとしても、記録されたストリームの先頭に記録されてしまうことがあった。実施の形態１０では、記録されたストリームの先頭に記録された断片化されたＣＭを抽出する方法を示す。
【０１４６】
図２３を用いて実施の形態１０を説明する。シーンチェンジと無音が同時に発生した点である変移点が、記録されているストリームから検出されたとする。その変移点が、図２３の強制ＣＭ化区間６１内の最終に発生した変移点６０ｃをＣＭと本編の境界と判断し、記録開始位置６２から６０ｃの間をＣＭとみなす。強制ＣＭ化区間は、映像音声記録装置の仕様によって決定され、例えば、記録予定時刻より５秒前から記録が開始されるのであれば、強制ＣＭ化区間は５秒とすればよい。また、映像音声記録装置の内部時計の誤差分、例えば、２秒を勘案し、７秒に設定してもよい。ここで、強制ＣＭ化区間の最終変移点６０ｃをＣＭと本編の境界として採用しているのは、強制ＣＭ化区間の時間幅が実際の記録開始時刻と記録予定時刻の差にほぼ等しいように設定していることと、ＣＭ内の変移点発生頻度は本編中の変移点発生頻度に比べて、かなり高いことによる。
【０１４７】
以上より、予め設定された記録予定時刻ちょうどから記録を開始しないために、本編前の不要なＣＭから記録を開始するような映像音声記録装置であっても、本編より前の不要なＣＭを検出することができる。
【０１４８】
また、映像音声記録装置の内部時計が正確な時刻を刻んでいなくても、本編より前の不要なＣＭを検出することができる。
【０１４９】
また、実施の形態１０では、強制ＣＭ化区間における最終変移点をＣＭと本編の境界として採用する方法を取ったが、強制ＣＭ化区間の代わりに、強制ＣＭ化時刻として記録開始時刻から、例えば、５秒経過した時刻を用い、その強制ＣＭ化時刻に最も近い変移点をＣＭと本編の境界として採用するよう構成してもよい。図２３では、６０ｄとＣＭを本編の境界として採用する方法である。
【０１５０】
また、実施の形態６乃至１０の各構成を選択的に組み合わせて、ＣＭ放送区間の検出を行うこともできる。
【符号の説明】
【０１５１】
１００ 映像記録装置、 １０１ 符号化部、 １０２ 録画制御部、 １０３ ストリーム制御部、 １０４ ストリームバッファ、 １０５ ＨＤＤ、 １１０ シーンチェンジ抽出部、 １１１ 復号化部、 １１２ ヒストグラム生成器、 １１３ 第１のヒストグラムバッファ、 １１４ 第２のヒストグラムバッファ、 １１５ 差分抽出器、 １１６ シーンチェンジ判定器、 １２０ シーンチェンジコマンド制御部、 １２１ ＡＰＩ部、 １２２ コマンドバッファ、 １２３ シーンチェンジ抽出結果バッファ、 １２４ 状態制御部、 ３０１ 画素サイズ検出部、 ３０２ 次数決定部、 ３０３ ＤＣＴ係数抽出部、 ３０４ ＩＤＣＴ部、 ３０５ 画像整形部、 ３０６ 使用スライス決定部、 ３０７ ヘッダ検出部、 ３０８ 逆量子化部、 １ アンテナ、 ２ チューナ、 ３ ビデオＡ／Ｄ変換部、 ４ オーディオＡ／Ｄ変換部、 ５ ビデオエンコーダ、 ６ オーディオエンコーダ、 ７ マルチプレクサ（Ｍｕｘ）、 ８ 録画制御部、 ９ ストリーム制御部、 １０ ファイルシステム部、 １１ ＨＤＤ、 １２ ナビゲーション部、 １３ シーンチェンジ検出部、 １４ 無音検出部、 １５ 変移点検出部、 １６ ＣＭフィルタ、 １７ ストリームバッファ、 １８ 変移点スタックテーブル、 １９ 変移点マッチングバッファ、 ２０ 映像音声記録装置、 ３１ａ，…，３１ｍ 無音区間、 ３２ａ，…，３２ｏ シーンチェンジ、 ３３ａ，…，３３ｉ 変移点、 ３４ａ，…，３４ｃ 検出されたＣＭ、 ３５ 検出されたＣＭ放送区間、 ５１ａ 番組本編からＣＭ放送区間に移行する時点における変移点、 ５１ｂ，…，５１ｅ ＣＭ間の変移点、 ５１ｆ ＣＭ放送区間から番組本編に移行する時点における変移点。
【特許請求の範囲】
【請求項１】
映像及び音声の符号化ストリームを記録する記録手段と、
前記記録手段に符号化ストリームを記録する前に、符号化ストリームを一時的に保持するストリーム保持手段と、
前記ストリーム保持手段に保持されている符号化ストリームの映像データからシーンチェンジを検出する映像変化点検出手段と、
音声信号から無音を検出する無音検出手段と、
前記映像変化点検出手段によって検出されたシーンチェンジ情報と前記無音検出手段によって検出された無音情報を一時的に保持する一時記憶手段と、
前記一時記憶手段に保持されたシーンチェンジ情報と無音情報から、シーンチェンジと無音が同時に発生する変移点を検出する変移点検出手段と、
前記変移点検出手段によって検出された変移点の間隔が予め設定された基準時間を中心とする所定の時間範囲内になる変移点の組み合わせが連続して２つ以上継続する区間をＣＭ放送区間と判定するＣＭ放送区間判定手段と、
前記ＣＭ放送区間判定手段によって判定されたＣＭ放送区間の時刻情報を記録するＣＭ放送区間情報記録手段と
を有することを特徴とする映像音声記録装置。
【請求項２】
映像及び音声の符号化ストリームを記録する記録手段と、
前記記録手段に符号化ストリームを記録する前に、符号化ストリームを一時的に保持するストリーム保持手段と、
前記ストリーム保持手段に保持されている符号化ストリームの音声データから無音を検出する無音検出手段と、
前記無音検出手段によって検出された無音情報を変移点として一時的に保持する一時記憶手段と、
前記一時記憶手段に保持された無音情報の間隔が予め設定された基準時間を中心とする所定の時間範囲内になる変移点の組み合わせが連続して２つ以上継続する区間をＣＭ放送区間と判定するＣＭ放送区間判定手段と、
前記ＣＭ放送区間判定手段によって判定されたＣＭ放送区間の時刻情報を記録するＣＭ放送区間情報記録手段と
を有することを特徴とする映像音声記録装置。
【請求項３】
映像及び音声の符号化ストリームを記録する記録手段と、
前記記録手段に符号化ストリームを記録する前に、符号化ストリームを一時的に保持するストリーム保持手段と、
前記ストリーム保持手段に保持されている符号化ストリームの映像データから映像のシーンチェンジを検出する映像変化点検出手段と、
前記映像変化点検出手段によって検出されたシーンチェンジ情報を一時的に保持する一時記憶手段と、
前記一時記憶手段に保持されたシーンチェンジ情報の間隔が予め設定された基準時間を中心とする所定の時間範囲内になる変移点の組み合わせが連続して２つ以上継続する区間をＣＭ放送区間と判定するＣＭ放送区間判定手段と、
前記ＣＭ放送区間判定手段によって判定されたＣＭ放送区間の時刻情報を記録するＣＭ放送区間情報記録手段と
を有することを特徴とする映像音声記録装置。
【請求項４】
前記ＣＭ放送区間判定手段が用いる前記基準時間を中心とする所定の時間範囲内に、前記変移点が複数検出された場合には、
前記ＣＭ放送区間判定手段は、
前記ＣＭ放送区間判定手段により直前に判定された変移点間隔が前記基準時間よりも第１の値だけ長い場合には、次に前記ＣＭ放送区間判定手段により判定される変移点間隔を前記基準時間よりも第１の値だけ短くする変移点を、ＣＭ放送区間を規定するための変移点として優先的に選択し、
前記ＣＭ放送区間判定手段により直前に判定された変移点間隔が前記基準時間よりも第２の値だけ短い場合には、次に前記ＣＭ放送区間判定手段により判定される変移点間隔を前記基準時間よりも第２の値だけ長くする変移点を、ＣＭ放送区間を規定するための変移点として優先的に選択する
ことを特徴とする請求項１に記載の映像音声記録装置。
【請求項５】
前記ＣＭ放送区間判定手段が用いる前記基準時間を中心とする所定の時間範囲内に、前記変移点が複数検出された場合には、
前記ＣＭ放送区間判定手段は、前記ＣＭ放送区間の先頭の変移点から前記検出された各変移点までの時間間隔が、前記基準時間の整数倍に最も近くなる変移点を、前記ＣＭ放送区間を規定するための変移点と判定する
ことを特徴とする請求項１に記載の映像音声記録装置。
【請求項６】
映像及び音声の符号化ストリームを記録手段に記録するステップと、
前記記録手段に符号化ストリームを記録するステップの前に、符号化ストリームをストリーム保持手段に一時的に保持するステップと、
映像変化点検出手段が、前記ストリーム保持手段に保持されている符号化ストリームの映像データからシーンチェンジを検出するステップと、
無音検出手段が、音声信号から無音を検出するステップと、
前記映像変化点検出手段によって検出されたシーンチェンジ情報と前記無音検出手段によって検出された無音情報を一時記憶手段に一時的に保持するステップと、
変移点検出手段が、前記一時記憶手段に保持されたシーンチェンジ情報と無音情報から、シーンチェンジと無音が同時に発生する変移点を検出するステップと、
ＣＭ放送区間判定手段が、前記変移点検出手段によって検出された変移点の間隔が予め設定された基準時間を中心とする所定の時間範囲内になる変移点の組み合わせが連続して２つ以上継続する区間をＣＭ放送区間と判定するステップと、
前記ＣＭ放送区間判定手段によって判定されたＣＭ放送区間の時刻情報をＣＭ放送区間情報記録手段に記録するステップと
を有することを特徴とする映像音声記録方法。
【請求項７】
映像及び音声の符号化ストリームを記録手段に記録するステップと、
前記記録手段に符号化ストリームを記録するステップの前に、符号化ストリームをストリーム保持手段に一時的に保持するステップと、
無音検出手段が、前記ストリーム保持手段に保持されている符号化ストリームの音声データから無音を検出するステップと、
前記無音検出手段によって検出された無音情報を変移点として一時記憶手段に一時的に保持するステップと、
ＣＭ放送区間判定手段が、前記一時記憶手段に保持された無音情報の間隔が予め設定された基準時間を中心とする所定の時間範囲内になる変移点の組み合わせが連続して２つ以上継続する区間をＣＭ放送区間と判定するステップと、
前記ＣＭ放送区間判定手段によって判定されたＣＭ放送区間の時刻情報をＣＭ放送区間情報記録手段に記録するステップと
を有することを特徴とする映像音声記録方法。
【請求項８】
映像及び音声の符号化ストリームを記録手段に記録するステップと、
前記記録手段に符号化ストリームを記録するステップの前に、符号化ストリームをストリーム保持手段に一時的に保持するステップと、
映像変化点検出手段が、前記ストリーム保持手段に保持されている符号化ストリームの映像データから映像のシーンチェンジを検出するステップと、
前記映像変化点検出手段によって検出されたシーンチェンジ情報を一時記憶手段に一時的に保持するステップと、
ＣＭ放送区間判定手段が、前記一時記憶手段に保持されたシーンチェンジ情報の間隔が予め設定された基準時間を中心とする所定の時間範囲内になる変移点の組み合わせが連続して２つ以上継続する区間をＣＭ放送区間と判定するステップと、
前記ＣＭ放送区間判定手段によって判定されたＣＭ放送区間の時刻情報をＣＭ放送区間情報記録手段に記録するステップと
を有することを特徴とする映像音声記録方法。
【請求項９】
前記ＣＭ放送区間を判定するステップは、
前記ＣＭ放送区間判定手段が用いる前記基準時間を中心とする所定の時間範囲内に、前記変移点が複数検出された場合であって、前記ＣＭ放送区間判定手段により直前に判定された変移点間隔が前記基準時間よりも第１の値だけ長い場合には、前記ＣＭ放送区間判定手段が、次に前記ＣＭ放送区間判定手段により判定される変移点間隔を前記基準時間よりも第１の値だけ短くする変移点を、ＣＭ放送区間を規定するための変移点として優先的に選択し、
前記ＣＭ放送区間判定手段が用いる前記基準時間を中心とする所定の時間範囲内に、前記変移点が複数検出された場合であって、前記ＣＭ放送区間判定手段により直前に判定された変移点間隔が前記基準時間よりも第２の値だけ短い場合には、前記ＣＭ放送区間判定手段が、次に前記ＣＭ放送区間判定手段により判定される変移点間隔を前記基準時間よりも第２の値だけ長くする変移点を、ＣＭ放送区間を規定するための変移点として優先的に選択する
ステップを有することを特徴とする請求項６に記載の映像音声記録方法。
【請求項１０】
前記ＣＭ放送区間を判定するステップは、前記ＣＭ放送区間判定手段が用いる前記基準時間を中心とする所定の時間範囲内に、前記変移点が複数検出された場合に、前記ＣＭ放送区間判定手段が、前記ＣＭ放送区間の先頭の変移点から前記検出された各変移点までの時間間隔が、前記基準時間の整数倍に最も近くなる変移点を、前記ＣＭ放送区間を規定するための変移点と判定するステップを有する
ことを特徴とする請求項６に記載の映像音声記録方法。
【請求項１１】
映像及び音声の符号化ストリームを記録手段に記録するステップと、
前記記録手段に符号化ストリームを記録するステップの前に、符号化ストリームをストリーム保持手段に一時的に保持するステップと、
無音検出手段が、前記ストリーム保持手段に保持されている符号化ストリームの音声データから無音の発生時刻及び無音時間長を検出し、無音時間長が規定時間継続した場合に無音が検出されたと判定するステップと、
検出された前記無音情報を変移点として一時記憶手段に一時的に保持するステップと、
ＣＭ放送区間判定手段が、前記一時記憶手段に保持された無音情報を含む変移点の間隔が、予め設定された基準時間を中心とする所定の時間範囲内になる変移点の組み合わせが、連続して２つ以上継続する区間をＣＭ放送区間と判定するとともに、第３番目以降の変移点の無音時間長が第２の規定範囲内であればＣＭが継続していると判定するステップと、
前記ＣＭ放送区間判定手段によって判定されたＣＭ放送区間の時刻情報をＣＭ放送区間情報記録手段に記録するステップと
を有することを特徴とする映像音声記録方法。
【請求項１２】
前記ＣＭ放送区間判定手段によって判定されたＣＭ放送区間の変移点の中に、無音時間長が第３の規定範囲内に有る変移点が存在しない場合、前記ＣＭ放送区間の時刻情報をＣＭ放送区間情報記録手段に記録するステップにおいて、前記ＣＭ放送区間を前記ＣＭ放送区間情報記録手段に記録しないことを特徴とする請求項１１に記載の映像音声記録方法。
【請求項１３】
前記ＣＭ放送区間を判定するステップにおいて、検出された前記変移点のうち、ストリームが記録開始されてから規定時間内において、最後尾に発生した変移点までをＣＭ放送区間と判定することを特徴とする請求項６乃至１２のいずれか１項に記載の映像音声記録方法。
【請求項１】
映像及び音声の符号化ストリームを記録する記録手段と、
前記記録手段に符号化ストリームを記録する前に、符号化ストリームを一時的に保持するストリーム保持手段と、
前記ストリーム保持手段に保持されている符号化ストリームの映像データからシーンチェンジを検出する映像変化点検出手段と、
音声信号から無音を検出する無音検出手段と、
前記映像変化点検出手段によって検出されたシーンチェンジ情報と前記無音検出手段によって検出された無音情報を一時的に保持する一時記憶手段と、
前記一時記憶手段に保持されたシーンチェンジ情報と無音情報から、シーンチェンジと無音が同時に発生する変移点を検出する変移点検出手段と、
前記変移点検出手段によって検出された変移点の間隔が予め設定された基準時間を中心とする所定の時間範囲内になる変移点の組み合わせが連続して２つ以上継続する区間をＣＭ放送区間と判定するＣＭ放送区間判定手段と、
前記ＣＭ放送区間判定手段によって判定されたＣＭ放送区間の時刻情報を記録するＣＭ放送区間情報記録手段と
を有することを特徴とする映像音声記録装置。
【請求項２】
映像及び音声の符号化ストリームを記録する記録手段と、
前記記録手段に符号化ストリームを記録する前に、符号化ストリームを一時的に保持するストリーム保持手段と、
前記ストリーム保持手段に保持されている符号化ストリームの音声データから無音を検出する無音検出手段と、
前記無音検出手段によって検出された無音情報を変移点として一時的に保持する一時記憶手段と、
前記一時記憶手段に保持された無音情報の間隔が予め設定された基準時間を中心とする所定の時間範囲内になる変移点の組み合わせが連続して２つ以上継続する区間をＣＭ放送区間と判定するＣＭ放送区間判定手段と、
前記ＣＭ放送区間判定手段によって判定されたＣＭ放送区間の時刻情報を記録するＣＭ放送区間情報記録手段と
を有することを特徴とする映像音声記録装置。
【請求項３】
映像及び音声の符号化ストリームを記録する記録手段と、
前記記録手段に符号化ストリームを記録する前に、符号化ストリームを一時的に保持するストリーム保持手段と、
前記ストリーム保持手段に保持されている符号化ストリームの映像データから映像のシーンチェンジを検出する映像変化点検出手段と、
前記映像変化点検出手段によって検出されたシーンチェンジ情報を一時的に保持する一時記憶手段と、
前記一時記憶手段に保持されたシーンチェンジ情報の間隔が予め設定された基準時間を中心とする所定の時間範囲内になる変移点の組み合わせが連続して２つ以上継続する区間をＣＭ放送区間と判定するＣＭ放送区間判定手段と、
前記ＣＭ放送区間判定手段によって判定されたＣＭ放送区間の時刻情報を記録するＣＭ放送区間情報記録手段と
を有することを特徴とする映像音声記録装置。
【請求項４】
前記ＣＭ放送区間判定手段が用いる前記基準時間を中心とする所定の時間範囲内に、前記変移点が複数検出された場合には、
前記ＣＭ放送区間判定手段は、
前記ＣＭ放送区間判定手段により直前に判定された変移点間隔が前記基準時間よりも第１の値だけ長い場合には、次に前記ＣＭ放送区間判定手段により判定される変移点間隔を前記基準時間よりも第１の値だけ短くする変移点を、ＣＭ放送区間を規定するための変移点として優先的に選択し、
前記ＣＭ放送区間判定手段により直前に判定された変移点間隔が前記基準時間よりも第２の値だけ短い場合には、次に前記ＣＭ放送区間判定手段により判定される変移点間隔を前記基準時間よりも第２の値だけ長くする変移点を、ＣＭ放送区間を規定するための変移点として優先的に選択する
ことを特徴とする請求項１に記載の映像音声記録装置。
【請求項５】
前記ＣＭ放送区間判定手段が用いる前記基準時間を中心とする所定の時間範囲内に、前記変移点が複数検出された場合には、
前記ＣＭ放送区間判定手段は、前記ＣＭ放送区間の先頭の変移点から前記検出された各変移点までの時間間隔が、前記基準時間の整数倍に最も近くなる変移点を、前記ＣＭ放送区間を規定するための変移点と判定する
ことを特徴とする請求項１に記載の映像音声記録装置。
【請求項６】
映像及び音声の符号化ストリームを記録手段に記録するステップと、
前記記録手段に符号化ストリームを記録するステップの前に、符号化ストリームをストリーム保持手段に一時的に保持するステップと、
映像変化点検出手段が、前記ストリーム保持手段に保持されている符号化ストリームの映像データからシーンチェンジを検出するステップと、
無音検出手段が、音声信号から無音を検出するステップと、
前記映像変化点検出手段によって検出されたシーンチェンジ情報と前記無音検出手段によって検出された無音情報を一時記憶手段に一時的に保持するステップと、
変移点検出手段が、前記一時記憶手段に保持されたシーンチェンジ情報と無音情報から、シーンチェンジと無音が同時に発生する変移点を検出するステップと、
ＣＭ放送区間判定手段が、前記変移点検出手段によって検出された変移点の間隔が予め設定された基準時間を中心とする所定の時間範囲内になる変移点の組み合わせが連続して２つ以上継続する区間をＣＭ放送区間と判定するステップと、
前記ＣＭ放送区間判定手段によって判定されたＣＭ放送区間の時刻情報をＣＭ放送区間情報記録手段に記録するステップと
を有することを特徴とする映像音声記録方法。
【請求項７】
映像及び音声の符号化ストリームを記録手段に記録するステップと、
前記記録手段に符号化ストリームを記録するステップの前に、符号化ストリームをストリーム保持手段に一時的に保持するステップと、
無音検出手段が、前記ストリーム保持手段に保持されている符号化ストリームの音声データから無音を検出するステップと、
前記無音検出手段によって検出された無音情報を変移点として一時記憶手段に一時的に保持するステップと、
ＣＭ放送区間判定手段が、前記一時記憶手段に保持された無音情報の間隔が予め設定された基準時間を中心とする所定の時間範囲内になる変移点の組み合わせが連続して２つ以上継続する区間をＣＭ放送区間と判定するステップと、
前記ＣＭ放送区間判定手段によって判定されたＣＭ放送区間の時刻情報をＣＭ放送区間情報記録手段に記録するステップと
を有することを特徴とする映像音声記録方法。
【請求項８】
映像及び音声の符号化ストリームを記録手段に記録するステップと、
前記記録手段に符号化ストリームを記録するステップの前に、符号化ストリームをストリーム保持手段に一時的に保持するステップと、
映像変化点検出手段が、前記ストリーム保持手段に保持されている符号化ストリームの映像データから映像のシーンチェンジを検出するステップと、
前記映像変化点検出手段によって検出されたシーンチェンジ情報を一時記憶手段に一時的に保持するステップと、
ＣＭ放送区間判定手段が、前記一時記憶手段に保持されたシーンチェンジ情報の間隔が予め設定された基準時間を中心とする所定の時間範囲内になる変移点の組み合わせが連続して２つ以上継続する区間をＣＭ放送区間と判定するステップと、
前記ＣＭ放送区間判定手段によって判定されたＣＭ放送区間の時刻情報をＣＭ放送区間情報記録手段に記録するステップと
を有することを特徴とする映像音声記録方法。
【請求項９】
前記ＣＭ放送区間を判定するステップは、
前記ＣＭ放送区間判定手段が用いる前記基準時間を中心とする所定の時間範囲内に、前記変移点が複数検出された場合であって、前記ＣＭ放送区間判定手段により直前に判定された変移点間隔が前記基準時間よりも第１の値だけ長い場合には、前記ＣＭ放送区間判定手段が、次に前記ＣＭ放送区間判定手段により判定される変移点間隔を前記基準時間よりも第１の値だけ短くする変移点を、ＣＭ放送区間を規定するための変移点として優先的に選択し、
前記ＣＭ放送区間判定手段が用いる前記基準時間を中心とする所定の時間範囲内に、前記変移点が複数検出された場合であって、前記ＣＭ放送区間判定手段により直前に判定された変移点間隔が前記基準時間よりも第２の値だけ短い場合には、前記ＣＭ放送区間判定手段が、次に前記ＣＭ放送区間判定手段により判定される変移点間隔を前記基準時間よりも第２の値だけ長くする変移点を、ＣＭ放送区間を規定するための変移点として優先的に選択する
ステップを有することを特徴とする請求項６に記載の映像音声記録方法。
【請求項１０】
前記ＣＭ放送区間を判定するステップは、前記ＣＭ放送区間判定手段が用いる前記基準時間を中心とする所定の時間範囲内に、前記変移点が複数検出された場合に、前記ＣＭ放送区間判定手段が、前記ＣＭ放送区間の先頭の変移点から前記検出された各変移点までの時間間隔が、前記基準時間の整数倍に最も近くなる変移点を、前記ＣＭ放送区間を規定するための変移点と判定するステップを有する
ことを特徴とする請求項６に記載の映像音声記録方法。
【請求項１１】
映像及び音声の符号化ストリームを記録手段に記録するステップと、
前記記録手段に符号化ストリームを記録するステップの前に、符号化ストリームをストリーム保持手段に一時的に保持するステップと、
無音検出手段が、前記ストリーム保持手段に保持されている符号化ストリームの音声データから無音の発生時刻及び無音時間長を検出し、無音時間長が規定時間継続した場合に無音が検出されたと判定するステップと、
検出された前記無音情報を変移点として一時記憶手段に一時的に保持するステップと、
ＣＭ放送区間判定手段が、前記一時記憶手段に保持された無音情報を含む変移点の間隔が、予め設定された基準時間を中心とする所定の時間範囲内になる変移点の組み合わせが、連続して２つ以上継続する区間をＣＭ放送区間と判定するとともに、第３番目以降の変移点の無音時間長が第２の規定範囲内であればＣＭが継続していると判定するステップと、
前記ＣＭ放送区間判定手段によって判定されたＣＭ放送区間の時刻情報をＣＭ放送区間情報記録手段に記録するステップと
を有することを特徴とする映像音声記録方法。
【請求項１２】
前記ＣＭ放送区間判定手段によって判定されたＣＭ放送区間の変移点の中に、無音時間長が第３の規定範囲内に有る変移点が存在しない場合、前記ＣＭ放送区間の時刻情報をＣＭ放送区間情報記録手段に記録するステップにおいて、前記ＣＭ放送区間を前記ＣＭ放送区間情報記録手段に記録しないことを特徴とする請求項１１に記載の映像音声記録方法。
【請求項１３】
前記ＣＭ放送区間を判定するステップにおいて、検出された前記変移点のうち、ストリームが記録開始されてから規定時間内において、最後尾に発生した変移点までをＣＭ放送区間と判定することを特徴とする請求項６乃至１２のいずれか１項に記載の映像音声記録方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【公開番号】特開２０１２−２０９９５８（Ｐ２０１２−２０９９５８Ａ）
【公開日】平成２４年１０月２５日（２０１２．１０．２５）
【国際特許分類】
【出願番号】特願２０１２−１３０３１７（Ｐ２０１２−１３０３１７）
【出願日】平成２４年６月８日（２０１２．６．８）
【分割の表示】特願２０１１−６１７３（Ｐ２０１１−６１７３）の分割
【原出願日】平成１８年３月１７日（２００６．３．１７）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
【公開日】平成２４年１０月２５日（２０１２．１０．２５）
【国際特許分類】
【出願日】平成２４年６月８日（２０１２．６．８）
【分割の表示】特願２０１１−６１７３（Ｐ２０１１−６１７３）の分割
【原出願日】平成１８年３月１７日（２００６．３．１７）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
[ Back to top ]