映像音声記録再生装置および映像音声記録再生方法
【課題】 従来の映像記録再生装置においては、サムネイル画像などのＡＶストリームの特徴を示すメタデータを、処理能力が低いＣＰＵで、録画処理と並行して生成することができなかった。
【解決手段】 映像音声の記録時に、記録する映像音声ストリームからキーフレームを一時的に記録しておき、後にこの一時記録しておいたキーフレームからメタデータを生成することによって、比較的処理能力の低いＣＰＵやシステム構成を用いた映像音声記録再生装置においても、録画動作と並行してメタデータの生成を可能とする。
【解決手段】 映像音声の記録時に、記録する映像音声ストリームからキーフレームを一時的に記録しておき、後にこの一時記録しておいたキーフレームからメタデータを生成することによって、比較的処理能力の低いＣＰＵやシステム構成を用いた映像音声記録再生装置においても、録画動作と並行してメタデータの生成を可能とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像音声信号を記録するとともに、再生時や編集時に再生すべきシーンや編集すべきシーンをユーザーが決定することを補助するメタデータを自動生成する映像音声再生装置に関するものである。
【背景技術】
【０００２】
従来の映像記録再生装置においては、ユーザーが視聴しようする映像および映像の中のシーンや内容を予め知ることができず、実際に再生や早送り等を行うことによって、見たいシーンを見つけなければならなかった。
【０００３】
このような問題を解消するため、映像音声再生装置において、ＥＰＧ（Ｅｌｅｃｔｒｉｃ Ｐｒｏｇｒａｍ Ｇｕｉｄｅ）を用いて、ユーザーが見たい映像番組のタイトルや内容を予め提示することによって、映像自身を視聴することなく、見る番組を選択することができるようになっている。また、再生する番組の中のシーンを代表画像として表示する技術が提案されている。例えば、録画中に録画対象となるストリームの符号化パラメータを検出することによって、サムネイル画像の生成を行う方法がある（例えば、特許文献１参照）。また、デジタル放送の番組内のシーン変化を自動検出し、頭だし位置を特定するものがある（例えば、特許文献２参照）。さらに、録画中の符号化ストリームを抽出し、シーン変化点を自動で検出できるものもある（例えば、特許文献３参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１−１７７８０４号広報（第３頁、図３）
【特許文献２】特開２０００−２２４５２２号公報（第３〜４頁、図１〜２）
【特許文献３】特開２００７−４９５１６号公報（第７頁、図１）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、従来の映像記録再生装置においては、処理能力が低いＣＰＵで、サムネイル画像などのＡＶストリームの特徴を示すメタデータを録画処理と並行して生成することができなかった。
【０００６】
本発明は、上記の課題を解決するためになされたものであり、比較的処理能力の低いＣＰＵやシステム構成を用いた映像音声記録再生装置においても、録画する映像音声コンテンツのサムネイル画像などのメタデータを、録画実行中に作成可能とすることを目的とする。
【課題を解決するための手段】
【０００７】
本発明に係る映像音声記録再生装置は、映像音声データを記録する映像音声記録手段と、前記映像音声データからキーフレームを抽出するキーフレーム抽出手段と、前記映像音声データが記録されている間、前記キーフレーム抽出手段が抽出した前記キーフレームを記録しておくキーフレーム一時記録手段と、前記一時記録手段に対して前記キーフレームの記録および読出を行うキーフレーム記録読出手段と、前記キーフレーム一時記録手段に記録されている前記キーフレームからメタデータを生成するメタデータ生成手段とを有するものである。
【発明の効果】
【０００８】
本発明の映像音声再生装置は、上記のようにキーフレーム一時記録手段を備え、これに対してキーフレームの記録および読出を行う構成としたので、比較的処理能力の低いＣＰＵやシステムにおいても、録画する映像音声コンテンツのサムネイル画像などのメタデータを、録画実行中に作成する可能とすることができるという効果がある。
【図面の簡単な説明】
【０００９】
【図１】この発明の実施の形態１における映像音声記録再生装置の構成を示すブロック図である。
【図２】この発明の実施の形態１におけるサムネイル選択操作における表示画面の一例を示す図である。
【図３】この発明の実施の形態１におけるＡＶストリームと抽出と一時蓄積されるキーフレームの関係を示す図である。
【図４】この発明の実施の形態１におけるキーフレームのファイル上の位置を示すキーフレームファイルテーブルのデータ内容を説明する図である。
【図５】この発明の実施の形態１において、メタデータとしてＪＰＥＧサムネイルを生成する構成を示すブロック図である。
【図６】この発明の実施の形態１において、入力ストリーム制御部から読出したキーフレームからメタデータを抽出する構成を示すブロック図である。
【図７】この発明の実施の形態１において、ＡＶストリーム記録部からキーフレームを読出し、メタデータを抽出する構成を示すブロック図である。
【図８】この発明の実施の形態１において、キーフレーム一時記録部に一時的に記録したキーフレームからメタデータを抽出する構成を示すブロック図である。
【図９】この発明の実施の形態１におけるＡＶバッファと入力ストリーム制御部との関係を示す図である。
【図１０】この発明の実施の形態１におけるＡＶバッファに入力されるＧＯＰデータとその上書きを説明する図である。
【図１１】この発明の実施の形態１におけるＡＶバッファに入出力される各ＧＯＰデータと処理時間の制約条件を示す図である。
【図１２】この発明の実施の形態１におけるキーフレーム抽出処理とメタデータの生成を説明するシーケンス図である。
【図１３】この発明の実施の形態１におけるメタデータ抽出処理の動作フローを示すフォローチャート図である。
【図１４】この発明の実施の形態１におけるキーフレーム抽出に要するシステム負荷を説明する図である。
【図１５】この発明の実施の形態１における録画開始を説明するシーケンス図である。
【図１６】この発明の実施の形態１における録画中のキーフレーム抽出処理およびメタデータ抽出処理を説明するシーケンス図である。
【図１７】この発明の実施の形態１における録画終了を説明するシーケンス図である。
【図１８】この発明の実施の形態２における映像音声記録再生装置の構成を示すブロック図である。
【図１９】この発明の実施の形態２における録画中のキーフレーム抽出処理およびメタデータ抽出処理を説明するシーケンス図である。
【図２０】この発明の実施の形態２におけるシーンチェンジとチャプターの関係を示す図である。
【図２１】この発明の実施の形態３における映像音声記録再生装置の構成を示すブロック図である。
【発明を実施するための形態】
【００１０】
実施の形態１．
図１は、本発明の実施の形態１に関る映像音声記録再生装置１００の構成を示すブロック図である。映像音声記録再生装置１００は、外部機器とのインターフェースとして、デジタルチューナー３、アナログチューナー４、外部入力端子５、モニター出力端子８、ネットワーク端子７を有する。デジタルチューナー３およびアナログチューナー４は、アンテナ９１に接続され、デジタル放送およびアナログ放送を受信することができる。外部入力端子５は、主に、アナログ入力と呼ばれるコンポジット入力、Ｓビデオ入力、ＬＲ音声入力等に対応する。モニター出力端子８にはモニター９３が接続され、映像音声記録再生装置１００が生成する映像および音声信号を表示出力することが可能である。また、映像音声記録再生装置１００は、装置を遠隔操作するためのリモコン９４から送信される赤外線を使って送られるリモコンコードを受信するリモコン受信部６を備え、受信したリモコンコードをシステム制御部２に送信する。
【００１１】
システム制御部２は、ユーザーの要求に基づくリモコン９４の制御信号に応じて映像音声記録再生装置１００を制御する。システム制御部２は、ユーザーから録画の要求がなされると、録画制御部１０が、録画の開始、終了および録画中の記録動作を管理する。
【００１２】
図１を参照し、映像音声記録再生装置１００における、デジタル放送の録画機能について説明する。デジタルチューナー３で受信されたデジタル放送は、フルＴＳ（Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）として入力ストリーム制御部１４に送られる。入力ストリーム制御部１４は、ＡＶストリーム記録部１６に映像音声データであるＡＶストリームを安定的に記録するために、データを一時的に蓄えて、ＡＶストリーム記録部１６に定常的に書き込む処理を行う。
【００１３】
また、入力ストリーム制御部１４は、フルＴＳから記録する必要のないパケット等を省いたパーシャルＴＳ化の機能も有する。また、ＴＳのＰＩＤやセクション情報の検出処理を行うほか、記録されるビデオストリーム中のＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅ）の開始位置の検出やキーフレームであるＩピクチャの位置およびサイズの検出等も行う。ＡＶストリーム記録部１６は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）等により構成される。
【００１４】
ＡＶストリーム記録部１６にＡＶストリームを記録する場合、再生時におけるシーン検索性の向上、特殊再生時における任意時間へのランダムシークを実現するため、ＡＶストリーム記録部１６に記録されるＡＶストリームのアドレス情報と時間情報とを対応付けたアドレスマップが必要となる。録画制御部１０は、録画時に、入力ストリーム制御部１４により検出されるＧＯＰ開始位置情報に基づいてアドレスマップを生成し、ＡＶストリーム記録部１６に記録する。さらに、ＡＶストリーム記録部１６は、前述のアドレスマップを記録するほか、記録された番組のタイトル、記録開始時間、記録終了時間、放送サービス名、チャンネル番号、映像コーデック情報、音声コーデック情報、番組詳細情報等が含まれる再生制御情報を記録する。
【００１５】
次に、アナログ放送、および外部から入力された映像信号の録画機能について説明する。アンテナ９１で受信されたアナログ放送は、アナログチューナー４によってユーザーが指定されたチャンネルの信号のみが取り出される。アナログチューナー４により取り出された信号は、映像信号化され、図示しないＡＤ／ＤＡコンバーターによってデジタル信号化された後、ＡＶエンコーダ１２に入力される。ＡＶエンコーダ１２は、映像信号をＭＰＥＧ−２ビデオに符号化するとともに、音声信号をＡＡＣにより符号化し、符号化した映像および音声信号をＭＰＥＧ−２ Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍに多重し、ＡＶストリームを生成する。ＡＶストリームは入力ストリーム制御部１４に送られ、ＡＶストリーム記録部１６に記録される。外部入力端子５から入力された映像音声信号についても同様に、ＡＤ／ＤＡ変換された後に、ＡＶエンコーダ１２によってＡＶストリームに変換され、ＡＶストリーム記録部１６に記録される。
【００１６】
図１を参照し、映像音声記録再生装置１００における再生機能について説明する。ユーザーがリモコン９４に設けられた「録画タイトル一覧」ボタンを押下すると、録画された番組タイトルの全て、あるいは一部が画面上に表示される。ユーザーはリモコン９４に設けられた上下左右のカーソルキーによって希望するタイトルにカーソルを移動させ、「決定」ボタンを押下することで再生するタイトルを選択する。選択されたタイトルは、リモコン９４から赤外線信号としてリモコン受信部６に送信され、ソフトウェアコードに変換された後、システム制御部２に送られ、画面が更新される。また、再生待機状態もしくは録画状態でない場合、これらのコードは再生制御部１１に送られ、対応する再生動作機能が呼び出され、再生状態が変更される。以下、具体的な再生動作について説明する。
【００１７】
ユーザーが再生タイトルを決定すると、再生制御部１１は、指定タイトルに関する再生制御情報をＡＶストリーム記録部１６から読み出し、図示しないＲＡＭ上に入力する。再生制御部１１は、再生制御情報のうちアドレスマップを用いて、次に再生すべきストリームの再生開始時点に対応するアドレス情報を読み出し、そのアドレスのＡＶストリームをＡＶストリーム記録部１６から読み出し、出力ストリーム制御部１５に送られる。ＡＶデコーダ１３は、出力ストリーム制御部１５から転送されたＡＶストリームをその転送順にデコードし、モニター出力端子８からモニター９３に出力する。
【００１８】
出力ストリーム制御部１５は、ＡＶデコーダ１３がアンダーフローおよびオーバーフローを生じて映像及び音声が途切れないようにするため、映像音声データのデコードを継続できるよう、ＡＶストリーム記録部１６に記録されたＡＶストリームを読み出す。このとき、出力ストリーム制御部１５は、Ｈ／ＷのアシストであるＤＭＡ（Ｄｉｒｅｃｔ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ）転送機能を利用してＡＶデコーダに転送を行う。
【００１９】
次に、映像音声記録再生装置１００におけるキーフレーム抽出動作について説明する。キーフレームは、ＡＶストリーム記録部１６に転送されるＡＶストリームを入力ストリーム制御部１４上で抽出を行う。例えば５秒毎にＡＶストリームからキーフレームを抽出する場合を例にとって具体的に説明する。録画制御部１０が５秒単位の周期を検出すると、キーフレーム抽出制御部３０に対してキーフレーム抽出の指示を出す。キーフレーム抽出制御部３０は、キーフレーム抽出部３１に対して、指定時刻のキーフレームを抽出するように指示を行う。
【００２０】
キーフレーム抽出部３１は、入力ストリーム制御部１４に存在するＡＶストリームから指定された時刻におけるキーフレームを探し出し、そのビットストリームをキーフレーム記録読出部３１に送る。もし、ＡＶストリームがＭＰＥＧ−２のストリームであれば、ＭＰＥＧ−２のＩピクチャを取得する。キーフレーム記録読出部３１は、抽出されたキーフレームをキーフレーム記録管理部３４内のキーフレーム一時記録部３３に保存する。
【００２１】
次に、メタデータ抽出について説明する。ここでメタデータの抽出は、録画中、もしくは録画終了処理中に行われるものとする。具体的な状況としては、録画実行中に、図示しないがＣＭ検出機構によってＣＭ区間の検出が行われた場合や、映像のシーンチェンジが検出された場合、音声信号に特徴的な音声が検出された場合に、メタデータの作成を行うものとする。ここでは図示しないＣＭ検出機構によってＣＭの終了時刻が検出され、その時刻におけるサムネイル画像を生成する場合を例にとって説明する。
【００２２】
ＣＭ検出機構から録画制御部１０に入力されたＣＭ検出信号を元に、録画制御部１０はメタデータ生成制御部１８に対してメタデータ生成の指示を出す。メタデータ生成制御部１８は、メタデータ生成部２０に対して、所定時刻のメタデータであるサムネイル生成を指示する。メタデータ生成部２０は、キーフレーム記録読出部３２に対応するキーフレームデータの読出しを要求する。キーフレーム記録読出部３２は、キーフレーム一時記録部３３に記録されているキーフレームデータから、対応するキーフレームのデータを抽出し、メタデータ生成部２０に送る。
【００２３】
もし、対応するキーフレームが存在しなければ前後のキーフレームのデータを抽出し、メタデータ生成部２０に送る。メタデータ生成部２０は、読み出されたキーフレームから、メタデータであるサムネイル画像を生成する。もしキーフレームがＭＰＥＧ−２のＩピクチャであれば、メタデータ生成部２０は、ＭＰＥＧ−２をデコードする機能と、さらにサムネイル画像として表示可能なフォーマットであるビットマップに整形する処理も行う。生成されたビットマップフォーマットのサムネイル画像であるメタデータは、メタデータ記録読出部２１によって、メタデータ記録部２２に保存される。
【００２４】
次に、映像音声記録再生装置１００において、メタデータであるサムネイル情報を用いて任意のシーンを再生する方法について説明する。図２は、モニター９３にＡＶストリームの再生映像と画像が重畳された状態を示している。サムネイル画像は、メタデータ記録部２２に保存されているサムネイル情報を、メタデータ記録読出部２１を経由して読み出し、メタデータ表示部２３において画像化された後、グラフィックス重畳２４で再生映像に重畳され、モニター９３に表示される。
【００２５】
ユーザーが所望のタイトルを選択すると、再生制御部１１は、選択されたタイトルの再生を開始する。再生制御部１１は、ＡＶストリーム記録部１６からＡＶストリームを出力ストリーム制御部１５に読み出す。出力ストリーム制御部１５に読み出されたＡＶストリームは、ＡＶデコーダ１３によってデコードされ、モニター９３に表示される。
【００２６】
ユーザーが、図２で示すようなユーザーインターフェースを起動するためのリモコン９４に設けられた専用ボタンを押下すると、再生制御部１１がメタデータ出力制御部１９に対して、再生されるタイトルと、再生映像の経過時間情報を伝える。メタデータ出力制御部１９は、経過時間とその前後各２枚の合計５枚のサムネイルをメタデータ記録読出部２１を経由してメタデータ記録部２２から読み出す。メタデータ出力制御部１９は、サムネイルデータからサムネイル画像を生成するとともに、サムネイルの選択枠２８を生成しメタデータ表示部２３に出力する。メタデータ表示部２３は、サムネイルのメタデータを画像として展開し、選択枠とともにグラフィックス重畳２４に出力する。
【００２７】
上記処理により、図２に示すように、現在のシーンに対応するサムネイル（Ｓｃｅｎｅ１７）とその前後各２枚の合計５枚のサムネイルが表示される。サムネイルが表示された初期状態においては、リモコン選択枠は、現在再生中のシーンに合わせて表示される。ここでは、シーン１７を再生しているためＳｃｅｎｅ１７のサムネイルに対してリモコン選択枠２８が表示される。ユーザーはリモコン９４の左右キーを使ってリモコン選択枠２８を左右に移動させ、所望のシーンを選択することができる。サムネイル選択枠２８は、このリモコン動作に連動して、左右に移動する選択枠の生成を行う。
【００２８】
さらに、リモコン選択枠２８が画面の右もしくは左端に到達した状態でさらに左右のカーソルキーを押下すると、表示されているサムネイル全体が、押下されたカーソルキーと反対の方向に移動することによって、現在表示されていないシーンのサムネイルが表示される。ユーザーが、所望のサムネイルにカーソルを合わせ、「決定」キーを押下すると、再生制御部１１に対して再生しているコンテンツの再生状態を一時停止させる。
【００２９】
さらに、再生制御部１１は、ユーザーが選択したシーンの開始位置を示すエントリー情報に基づいて、シーンのエントリー情報によって指定される時間から再生を再開するよう指示を行う。再生制御部１１は、ＡＶストリーム記録部１６に記録されているアドレスマップ情報を用いて、エントリーの時間情報をＡＶストリームのアドレス情報に変換し、出力ストリーム制御部１５に送る。
【００３０】
出力ストリーム制御部１５は、再生制御部１１からのアドレス情報に基づいて、選択されたシーンのＡＶストリームのデータをＡＶストリーム記録部１６から読出し、ＡＶデコーダ１３に出力する。ＡＶデコーダ１３は、出力ストリーム制御部１５からのＡＶストリームのデータをデコードする。これにより、ユーザーが選択したサムネイルに対応するシーンの再生が可能となる。
【００３１】
図３は、ＡＶストリームの具体的な例としてＭＰＥＧ−２のビットストリームを用いて、抽出元のビットストリームと抽出したキーフレームとの関係を示す。ＭＰＥＧ−２ビットストリームにおける各ＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅ）は、キーフレームとしてＩピクチャを有する。ここではＩピクチャをＫで表示し、ハッチングで示している。なお、Ｉピクチャは通常、ＧＯＰの先頭に配置されることが多い。
【００３２】
キーフレーム抽出部３１は、入力ストリーム制御部１４から各ＧＯＰおよびＩピクチャのサイズ情報を取得し、Ｉピクチャのデータを抜き出す。抜き出したキーフレームであるＩピクチャをキーフレーム記録管理部３４内のキーフレーム記録読出部３２を経由して、キーフレーム一時記録部３３に保存する。ここでは、キーフレームの保存形態として、各キーフレームを元のビットストリームの並び順に結合して、１つのファイルにしている。このファイルを以降、キーフレームファイルと称する。
【００３３】
各キーフレームの実データを１つのファイルとすることによって、キーフレームへのアクセスが、１つのファイルに集中でき、ファイルアクセス時に利用するファイルハンドルの数を「１」にできるという利点と、ファイルが１つであるがゆえに、メモリやシステム負荷の低減を目的としたファイルアクセスの排他制御や、さらにはキーフレームファイルに書き込まれるデータの更新や書換え処理にともなうファイルアクセスの衝突を回避することが可能となる。また、キーフレームファイルを録画終了時に消去する場合、複数のキーフレームファイルに分散している状態に比べ、ひとつのキーフレームファイルにすることによって、削除処理が簡単になり、処理時間が短くなるという利点がある。
【００３４】
ここでは、キーフレームを１つのキーフレームファイルとして保存した場合に、各キーフレームのデータにアクセスする場合に使用するキーフレームファイルテーブルの内容を図４に示す。キーフレームファイルは、各キーフレームのデータが、元のビットストリームの順に応じて記録が行われている。キーフレームファイルに最新のキーフレームのデータがキーフレームファイルの終端に追加して記録されると同時に、最新キーフレームの図４に示す情報がキーフレームファイルテーブル情報の最後に追加して記録される。ここでは、キーフレームファイルテーブル情報として、各キーフレームのファイル上のアドレス情報、サイズ情報、およびＡＶストリームにおける時刻情報が記録されているものとしている。
【００３５】
ここでアドレスおよびサイズ情報の単位として、バイト単位ではなく、パック単位で記録している。一般的にＭＰＥＧ−２ビットストリームの場合、データの転送単位としてパックが用いられる。これは、データのサイズを管理する場合においての利便性や、データを格納するエリアサイズの設計において、処理しやすい単位だからである。ここでは、ＭＰＥＧ−２の基準単位であるパックを用いることとする。ちなみに、ＭＰＥＧ−２ビットストリームで使用されるパックは、Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍであれば、１８８バイトもしくは１９２バイト。一方、Ｐｒｏｇａｒａｍ Ｓｔｒｅａｍであれば２０４８バイトである。
【００３６】
次に、メタデータを生成する場合におけるキーフレームデータの読出しについて説明する。メタデータ生成部２０は、図４に示すキーフレームファイルテーブルを参照して、メタデータを生成したいキーフレームのデータ位置とサイズを取得し、キーフレーム一時記録部３３に記録されているキーフレームファイルから抽出する。キーフレームファイルテーブルがあることによって、キーフレーム抽出部３１は、どんなに前のキーフレームであっても、キーフレームファイルの並び順に関係なく取得することができる。これによって、番組の時間位置に関係なく、メタデータ抽出が可能となる。よって、別途用意されるシーンチェンジ検出機構や、ＣＭ検出機構など複数の検出機構から順不同にメタデータ生成の要求があったとしても、対応することができる。
【００３７】
次に、メタデータ生成について図５を用いて説明する。キーフレーム抽出部３１で抽出されたキーフレームは、キーフレームファイルの形式でキーフレーム管理部３４を構成するキーフレーム記録読出部３２を経由して、キーフレーム一時記録部３３に記録される。
【００３８】
ここではメタデータの具体的な生成例としてＪＰＥＧサムネイルを生成する場合を説明する。ＭＰＥＧ−２のＩピクチャであるキーフレームからＪＰＥＧサムネイルを生成するメタデータ生成部２０は、以下の要素によって構成される。キーフレームデコーダ４１は、ＭＰＥＧ−２のＩピクチャの復号処理を行い、Ｙ、Ｃｂ、Ｃｒの非圧縮画像データに戻す。ＪＰＥＧエンコーダ４２は、Ｙ、Ｃｂ、Ｃｒフォーマットの画像データをＪＰＥＧに圧縮符号化い、さらにＪＰＥＧファイルフォーマッタ４３がＪＰＥＧファイル用のファイルヘッダを付加し、ファイル化を行う。生成されたＪＰＥＧファイルは、メタデータ記録読出部２１に送られ、メタデータ記録部２２に記録される。
【００３９】
次に、図６を用いてキーフレーム一時記録部３３が存在しない場合にＡＶストリームからメタデータ生成に至るまでのデータの流れを説明する。ここでは、ＡＶストリームがＡＶストリーム記録部１６に記録される場合において、暗号化部２５で暗号化が行われるものとしている。さて、図６で示すように入力ストリーム制御部１４からキーフレームを抽出し、直接メタデータ生成部２０でメタデータを生成する場合、入力ストリーム制御部１４から抽出されたキーフレームはすぐにメタデータに変換され、メタデータ記録部２２に保存される。この場合、入力ストリーム制御部１４から短いパスでメタデータ記録部２２に到達する利点がある。
【００４０】
しかしながら、メタデータを生成可能なデータは、入力ストリーム制御部１４に接続されたＡＶバッファ２７上に存在する数Ｍバイト、もしくは数秒のデータのみである点と、ＡＶバッファ２７にある時間に存在したデータであっても、数秒後には別のデータに置き換わってしまい、十分な時間をかけてメタデータを生成することができない点が問題である。
【００４１】
次に、図７でＡＶストリーム記録部１６からキーフレームを取得する場合について説明する。この例では、ＡＶストリーム記録部１６からキーフレームを抽出するため、キーフレーム抽出およびメタデータの生成について時間的制約がほとんどなく、時間を掛けてメタデータ生成が可能である。ところが、一般的に、放送波から取得した映像データを圧縮符号化したＡＶストリーム、もしくは放送波から直接取り込んだＡＶストリームをＨＤＤ等のＡＶストリーム記録部１６に記録する場合、暗号化部２５を用いて暗号化を行う。これによって、ユーザーが勝手にＡＶストリームが記録されてあるＨＤＤを交換したり、ＡＶストリームをＨＤＤから抜き出し、不正にコピーを行うことを防止している。
【００４２】
暗号化されたＡＶストリームから再生可能なＡＶストリームに復号化するためには復号化部２６が必要である。復号化部２６は、ＡＶデコーダ１３にＡＶストリームを供給する出力ストリーム制御部１５の前段に設置され、ＡＶデコーダ１３は復号化されたいわゆる平文のＡＶストリームを受け取ることができる。
【００４３】
さて、メタデータをＡＶストリーム記録部１６から生成する場合についても、暗号化されているＡＶストリームの復号処理が必要である。復号化部２６は、再生専用に設置されており、共用は不可能なため、メタデータ生成用途用の復号化を行う第２の復号化部２９が必要である。メタデータを生成する場合、キーフレーム抽出部３１は、ＡＶストリーム記録部１６から暗号化されているＡＶストリーム中の指定された時刻または位置のＩピクチャを抽出し、第２の復号化部２９で復号化を行い、メタデータ生成部２０に送る。メタデータ生成部２０は、キーフレームからメタデータを生成し、メタデータ記録読出部２１を経由して、メタデータ記録部２２に書き込みを行う。
【００４４】
この場合、ＡＶストリーム記録部１６に対して、記録、再生、メタデータ抽出の各機能が同時に読み書きをおこなうため、動作遅延の弊害が発生したり、記録映像もしくは再生画像が乱れる等の悪影響を与える可能性がある。また、Ｈ／Ｗの構成上、第２の復号化部２９が用意できない、もしくは、コスト増になるという問題がある。
【００４５】
そこで、図８に示すように入力ストリーム制御部１４からキーフレームのみを抽出し、キーフレーム一時記録部３３に保存し、メタデータ生成部２０がメタデータを生成する時に、所望のキーフレームをキーフレーム一時記録部３３から読み出す構成にする。この場合、入力ストリーム制御部１４から取得するキーフレームは暗号化がかかっていないので、別途復号化部を用意する必要がない。また、キーフレーム一時記録部３３に、少なくとも録画中の番組の、現在の録画経過時間までのキーフレームが記録されているので、所望の時間に対応したメタデータの生成が任意のタイミングで可能である。
【００４６】
次に、メタデータを録画動作と並行して生成する場合における問題点を図９で説明する。図９はキーフレーム一時記録部３３が存在しない場合を示している。この場合は、入力ストリーム制御部１４に接続されたＡＶバッファ２７からキーフレームを直接抽出して、メタデータ生成部２０でメタデータを生成し、メタデータ記録読出部でメタデータを記録する。ここで、ＡＶバッファにビットストリームが書き込まれ、ＨＤＤ等のＡＶストリーム記録部１６に転送される。
【００４７】
ＡＶバッファに対してビットストリームが順次書込まれる状態を図１０に模式化して示す。ここでＡＶストリームはＭＰＥＧ−２とし、ＧＯＰ単位で処理されるものと仮定する。デジタルチューナーやＡＶエンコーダから出力された各ＧＯＰは、ＡＶバッファ２７上に時間順に記録されていく。ここではＧＯＰｎ、ＧＯＰｎ＋１、ＧＯＰｎ＋２、・・・のようにＡＶバッファに順次記録されていくものとする。録画が継続され、ＡＶバッファ２７の残容量がなくなったＧＯＰｎ＋４のところでＧＯＰｎ＋１の位置にＧＯＰｎ＋４が上書きされ、以降、時間順に古いデータから上書きが行われていく。
【００４８】
ＨＤＤ等への転送は当該ＧＯＰに対して、別のＧＯＰデータの上書きが行われるまでに実行されなければならないことは当然であるが、ＡＶバッファ上でＡＶストリームの解析を行う場合は、現在解析しているデータが、新しいデータによって書き換えられてしまうことに留意して行わなければならず、時間的な制約が非常に厳しい。
【００４９】
次に、メタデータを生成するに当たっての制約について図１１を用いて説明する。ＡＶバッファに対するＧＯＰの書込み処理と、ＨＤＤへの転送処理が継続して行われる点に注目すると、メタデータを実時間で処理可能な条件として、各ＧＯＰの記録処理にかかる時間と、当該ＧＯＰに割り当てられたメタデータの生成時間の和が、ＧＯＰの再生時間以下になる必要がある。
【００５０】
このメタデータの生成は、ＪＰＥＧサムネイルの生成を例にとると、ＭＰＥＧ−２のデコードとＪＰＥＧのエンコードを含めると数秒単位の処理時間が必要である。一般的に、放送波で送信されるＭＰＥＧ−２ストリームでは、ＧＯＰの再生時間は約０．５秒である。よって、上記の場合、１ＧＯＰに対してメタデータ生成処理を含めて０．５秒以内に実行完了しなければならない。
【００５１】
さて、メタデータの生成にかかる時間は、各ＧＯＰの処理時間に分けて実行可能であるが、メタデータを生成する場合に、元のデータが存在するか否かが課題である。つまり、ＡＶバッファ２７がリングバッファであり、各ＧＯＰのデータが未来のＧＯＰデータによって上書きされてしまうことによって参照対象のデータが消えてしまうことがある。例えば、ＧＯＰｎ＋１は、次のＧＯＰｎ＋５が書き込まれるまでの間ＡＶバッファ上で有効となる。つまり、ＡＶバッファ２７を直接参照可能な条件として、ＧＯＰｎ＋１に対するメタデータの生成時間は、ＧＯＰｎ＋１がＡＶバッファ上で別のＧＯＰのデータに上書きされるまでの間、つまりＧＯＰｎ＋５が書込まれる前に完了させる必要がある。
【００５２】
ところが、ＭＰＥＧ−２の映像からＪＰＥＧのサムネイルを生成することには、ＧＯＰの処理に許される時間内に間に合うことも、また、対象とするＧＯＰがＡＶバッファ２７に滞在する時間内に完了することも難しい場合がある。
【００５３】
そこで、図１および図８で示したようにキーフレームを一時的に蓄積することによって上記問題を解決できることを、図１２のシーケンス図を用いて説明する。ここでは、ＡＶストリームの転送単位をＧＯＰとし、全てのＧＯＰのキーフレームをキーフレーム一時記録部３３に記録するものとする。また、ここで説明するのは、録画が開始された以降の定常的な録画継続状態における任意の時間におけるあるＧＯＰ単位の録画処理である。入力ストリーム制御部１４がＧＯＰｎを検出すると（Ｓ１０１）、ＡＶストリーム記録部１６にＧＯＰｎの転送を行う（Ｓ１０２）。次に、ＧＯＰｎがＡＶストリーム記録部１６に転送されたことと、ＧＯＰの先頭からのアドレス、サイズ、録画開始からの経過時間、キーフレームのアドレス、サイズ等を録画制御部１０に通知する（Ｓ１０３）。
【００５４】
録画制御部１０は、キーフレーム抽出部３１に対して、キーフレームｎの抽出要求を行う（Ｓ１０４）。このキーフレームｎの抽出要求には抽出すべきキーフレームのアドレスとサイズ情報が含まれる。キーフレーム抽出部３１は、録画制御部１０から送られたキーフレームの情報を元にして、入力ストリーム制御部１４を通じて所望のキーフレームｎの抽出を実行する（Ｓ１０５）。次に、キーフレーム一時記録部３３に抽出したキーフレームｎの書込みを行う（Ｓ１０６）。以降、入力ストリーム制御部１４が各ＧＯＰの検出を行うたびに、録画動作が終了するまで、上記動作が繰り返される（Ｓ１２１からＳ１４６）。
【００５５】
次に、メタデータの抽出について説明する。例えば、本映像記録再生装置が録画開始からの周期的な時間経過とともに、メタデータを生成する仕様であるとする。その場合、録画制御部１０は、時間の周期的なタイマーを元に、メタデータ生成実行のトリガーをかける。録画制御部１０は、メタデータ生成部２０に対して、ＧＯＰｎに対するメタデータ生成の指示を出す（Ｓ１１０）。メタデータ生成部２０は、キーフレームファイルテーブルの情報を元に、キーフレームｎをキーフレーム一時記録部３３から読み出す(Ｓ１１１)。
【００５６】
メタデータ生成部２０は、取得したキーフレームを元に、例えば図５で示した方法によってメタデータであるサムネイル画像を生成する。メタデータの生成は、録画処理と無関係に動作可能であり、どのタイミングでメタデータの生成を開始するか、あるいはメタデータの生成に掛かる時間がどれだけ掛かるかということは、本来の録画動作やキーフレーム抽出処理に対して影響を及ぼさない。また、キーフレームを処理する動作についても、キーフレームｎの書込み（Ｓ１０６）の後に、キーフレームｎ（Ｓ１１１）の読込みを行う、という手順さえ守られていれば特に問題は発生しない。
【００５７】
上記のように、キーフレームをキーフレーム抽出部３１で抽出し、キーフレーム一時記録部３３に記録しておくことで、録画処理とメタデータの抽出処理とを独立させて動作させることができる。これによって、処理能力の高くないＣＰＵやシステム構成であったとしても、録画動作中に容易にメタデータの抽出が可能となる。また、メタデータの生成に関しては、ＡＶストリーム記録部１６に対してアクセスを行わないので、ＡＶストリーム記録部１６に対して負荷を強いることなく、結果として安定的な記録および同時実行される可能性のある再生処理についても安定的に実行できる。
【００５８】
次に、図１３を使って、キーフレーム抽出処理と、メタデータ生成処理の関係を示す。Ｓ２００は、入力ストリーム制御部１４で動作するＧＯＰ転送スレッドの処理を示している。録画が開始すると（Ｓ２０１）、デジタルチューナー３やＡＶエンコーダ１２からのＧＯＰの入力待ちに入る（Ｓ２０２）。ＧＯＰのデータが入力ストリーム制御部１４に入ると、当該ＧＯＰのデータ位置、サイズ、時刻情報、当該ＧＯＰ内のＩピクチャのサイズ、位置等ＧＯＰの情報取得を行う（Ｓ２０３）。次に、当該ＧＯＰデータをＡＶストリーム記録部１６に対して書込み処理を行う（Ｓ２０４）。次に、当該ＧＯＰがＡＶストリーム記録部１６に転送されたことを録画制御部１０内の録画制御スレッドに非同期メッセージ通信を用いて通知する（Ｓ２０５）。ＧＯＰの転送通知を終えると、再びＧＯＰ入力待ち状態に入る（Ｓ２０２）。
【００５９】
次に、録画制御部１０内の録画制御スレッドの処理（Ｓ２１０）について説明する。録画が開始すると（Ｓ２１１）、入力ストリーム制御部１４からのＧＯＰ転送通知待ちに入る（Ｓ２１２）。ここで入力ストリーム制御部１４からのＧＯＰ転送通知を受け取ると、当該ＧＯＰからキーフレームを抽出するか否かの判定を行う（Ｓ２１３）。キーフレームを抽出すると判定するとキーフレーム抽出要求をキーフレーム抽出部３１のキーフレーム抽出スレッド（Ｓ２２０）に非同期メッセージ通信を用いて送信する（Ｓ２１４）。
【００６０】
キーフレーム抽出要求処理が完了するか、キーフレーム抽出判定においてキーフレーム抽出が不要と判定されれば、次にメタデータの生成を行うか否かの判定を行う（Ｓ２１５）。メタデータの判定条件に一致すればメタデータの生成をメタデータ生成部２０のメタデータ生成スレッド（Ｓ２３０）に非同期メッセージ通信を用いて送る。メタデータ生成スレッドに対するメタデータ生成指示が完了するか、メタデータ生成判定でメタデータ生成が不要と判断されれば、再度入力ストリーム制御部１４のＧＯＰ転送スレッドからのＧＯＰ転送通知待ちに入る（Ｓ２１２）。
【００６１】
次に、キーフレーム抽出部３１のキーフレーム抽出スレッド（Ｓ２２０）の説明を行う。録画が開始すると（Ｓ２２１）、録画制御部１０内の録画制御スレッドの処理（Ｓ２１０）からのキーフレーム抽出要求の待ちに入る（Ｓ２２２）。キーフレーム抽出要求を非同期メッセージ通信機構から受け取ると、ＡＶバッファ２７からキーフレームを抽出し（Ｓ２２３）、抽出したキーフレームをキーフレーム一時記録部３３のキーフレームファイルの最後尾に書込む（Ｓ２２４）。この後再度、録画制御部１０内の録画制御スレッド（Ｓ２１０）からのキーフレーム抽出要求の待ちに戻る。
【００６２】
次に、メタデータ生成部２０におけるメタデータ生成スレッド（Ｓ２３０）について説明を行う。録画が開始すると（Ｓ２３１）、録画制御部１０内の録画制御スレッド（Ｓ２１０）からのメタデータ生成指示を待つ（Ｓ２３２）。録画制御スレッド（Ｓ２１０）からのメタデータ生成指示要求を非同期メッセージ通信機構を経由して受け取ると、キーフレーム一時記録部３３のキーフレームファイルから該当するキーフレームのデータを読出す（Ｓ２３３）。次に、このキーフレームのデータを用いてメタデータを生成し（Ｓ２３４）、生成したメタデータをメタデータ記録部２２内にメタデータ毎にファイルとして書込む（Ｓ２３５）。
【００６３】
ここで、キーフレーム抽出部３１のキーフレーム抽出処理（Ｓ２２０）と、メタデータ生成部２０のメタデータ生成スレッド（Ｓ２３０）の間には、処理の手順の前後関係はなく、メタデータ生成スレッド（Ｓ２３０）があるキーフレームのメタデータを生成する場合において、当該キーフレームが既にキーフレーム一時記録部３３に記録されている必要がある、という制約条件が存在するのみである。
【００６４】
さらには、メタデータ生成スレッドは、入力ストリーム制御部１４におけるＧＯＰ転送スレッド（Ｓ２００）や、録画制御部１０における録画制御スレッド（Ｓ２１０）との間にも非同期なメッセージ通信の関係があるのみで、メタデータ生成スレッド（Ｓ２３０）の進捗によって、ＧＯＰ転送スレッド（Ｓ２００）、録画制御スレッド（Ｓ２１０）、キーフレーム抽出スレッド（Ｓ２２１）の処理が遅延したり、処理が待たされるといった弊害を生じない。これは、メタデータ生成スレッドが直接ＡＶバッファを参照することはせず、一旦キーフレーム一時記録部３３に保存することによって、記録ストリームの保存処理から切り離して動作することを可能としたことによって成立している。
【００６５】
そのため、映像記録再生装置本来の録画処理を妨げることなく、また処理能力の低いＣＰＵによって本映像記録再生装置のソフトウェアを動作させる必要な場合や、システム全体の能力が低い場合であったとしても、録画動作と並行して、メタデータの生成が可能である。
【００６６】
また、メタデータ生成スレッド（Ｓ２３０）が、ＧＯＰ転送スレッド（Ｓ２００）、録画制御スレッド（Ｓ２１０）、キーフレーム抽出スレッド（Ｓ２２１）と独立して動作可能なため、メタデータ生成に処理負荷の高い処理を行ったとしても、録画動作に影響を与えることがないので、メタデータ生成処理として、時間のかかる処理や高負荷な処理を組み込むことができる。これによって、映像記録装置として高付加価値な機能を提供することができる。
【００６７】
次に、図１４を使って、ＣＰＵの負荷の観点から説明を行う。図１４（ａ）は、メタデータを生成する場合に用いるキーフレームをＡＶストリーム記録部１６から抽出する場合を示す。一方、（ｂ）は入力ストリーム制御部１４（もしくはＡＶバッファ２７）からキーフレームを抽出する場合を示している。（ａ）で示すように、キーフレームをＡＶストリーム記録部１６から読み出す場合、ＣＰＵは所望するキーフレームのサーチを行い、見つかれば、そのビットストリームをＡＶストリーム記録部１６から読出し、メタデータの生成と、できたメタデータの書込み処理を行う。このとき、キーフレームのサーチと、ＡＶストリーム記録部１６からキーフレームを読み出す処理にシステム負荷がかかっていることがわかる。
【００６８】
一方、キーフレームを入力ストリーム制御部から読み出した場合が（ｂ）であり、ＡＶバッファからキーフレームを読出し、キーフレーム一時記憶部に一旦記録しておき、別のイベントが発生するとそのキーフレーム一時記録部３３から再度読み出し、メタデータ生成とメタデータの書込みを行う。このときＡＶバッファからキーフレームの抽出とキーフレーム一時記録部３３へのキーフレームの書込みにおけるシステム負荷は、書込み対象がＧＯＰデータに対して比較的容量の少ないキーフレームであることと、ＡＶバッファ２７に用いられるメモリが実際は高速な伝送帯域を有するメモリを使用するために、大きな負荷上昇は発生しない。また、メタデータの生成時にキーフレームを読込む場合も、ＧＯＰに比べれば比較的小さなサイズのデータなので、大きな負荷変動を伴なうことがない。
【００６９】
次に、シーケンス図を用いて動作を説明する。図１５は、録画開始処理のシーケンスを示す。システム制御部２から録画開始の要求が録画制御部１０に送られると（Ｓ５００）、録画制御部１０は、キーフレーム抽出制御部３０に対して、キーフレーム抽出初期化処理を要求する（Ｓ５０１）。キーフレーム抽出制御部３０は、キーフレーム抽出部３１の初期化処理（Ｓ５０２）を実行し、さらにキーフレーム抽出部３１は、キーフレーム記録管理部３４の初期化処理（Ｓ５０３）を実行する。キーフレーム記録管理部３４の初期化処理ではキーフレームファイルのファイル生成とファイルアクセス権の設定や、ファイルとしてデータを扱うためのメモリ空間が確保される（いわゆるファイルオープン処理）。
【００７０】
次いで録画制御部１０は、メタデータ生成制御部１８のメタデータ抽出初期化処理（Ｓ５０４）を実行する。メタデータ生成制御部１８は、メタデータ生成部２０の初期化処理（Ｓ５０５）を実行し、メタデータ生成部２０は、メタデータ記録読出部２１の初期化処理（Ｓ５０６）を実行する。次に、録画制御部１０は、ＡＶストリーム記録部１６に対してＡＶストリームファイルの生成および、ＡＶストリームファイルに対してアクセスの利便性を高めるためのアドレスマップファイルを生成する（Ｓ５０７）。その後、入力ストリーム制御１４に対して、ＡＶストリーム記録部へのビットストリームの転送を開始する（Ｓ５０８）。
【００７１】
次に録画中の動作について図１６を用いて説明する。ここでは、ＡＶストリームの転送単位をＧＯＰとし、録画番組のある時間位置に、エントリーと呼ばれるアクセスポイントの設定（いわゆるチャプター）と、エントリーに対応したメタデータとしてサムネイル画像を生成するものとする。録画状態が継続していると入力ストリーム制御部１４に新たなＧＯＰが入力されるとＧＯＰ検出が行われ（Ｓ６００）、当該ＧＯＰのアドレスマップ情報が生成される（Ｓ６０１）。次に検出されたＧＯＰをＡＶストリーム記録部１６に記録するとともに、当該ＧＯＰに対応するアドレスマップを既に記録されているアドレスマップに追記する（Ｓ６０２）。
【００７２】
入力ストリーム制御部１４は、録画制御部１０に対して、ＡＶストリーム記録部１６にＧＯＰの記録が完了したことと、記録したＧＯＰの情報を通知する（Ｓ６０３）。録画制御部１０は、システム制御部２に対して、例えば録画継続時間等のシステムにおける録画に関する情報を通知する（Ｓ６０４）。次に、エントリーを生成する条件が整った状態で、システム制御部２が録画制御部１０に対して、エントリー生成要求（Ｓ６０５）を行った場合の処理について説明する。エントリー生成要求（Ｓ６０５）を受け取った録画制御部１０は、エントリー情報と時間的に一致するキーフレームの抽出をキーフレーム抽出制御部３０に要求する（Ｓ６０６）。
【００７３】
キーフレーム抽出制御部３０は、該当するキーフレームのＡＶバッファ上におけるアドレスとサイズを取得するためＡＶバッファ上のデータやアドレス管理を行う入力ストリーム制御部１４に対して、当該キーフレームのアドレス情報やサイズ情報を要求する（Ｓ６０７）。キーフレーム抽出制御部３０は、キーフレーム抽出部３１に対して、当該キーフレームを取得するように指示する（Ｓ６０８）。
【００７４】
この際に上記で取得したキーフレームに関する情報をキーフレーム抽出部３１に送る。キーフレーム抽出部３１は、キーフレーム抽出制御部３０からもらったキーフレームのアドレスおよびサイズ情報を元に、入力ストリーム制御１４から該当するキーフレームを取得し（Ｓ６０９）、キーフレーム記録管理部３４を経由して、図示しないがキーフレーム一時記録部３３にキーフレームを記録する（Ｓ６１０）。
【００７５】
録画制御部１０は、メタデータ生成制御部１８に対して、メタデータ抽出を要求する（Ｓ６１１）。メタデータ生成制御部１８は、メタデータ生成の条件が整っていること（例えば対応するキーフレームがキーフレーム一時記録部３３に存在するか等）を確認し、メタデータ生成部２０に対して、対応するメタデータを生成するように指示を行う（Ｓ６１２）。ここでメタデータであるサムネイルを生成するためにはＭＥＰＧ−２のデコード処理と、ＪＰＥＧのエンコード処理が必要であり、画素サイズ、ビットレートやＣＰＵの処理能力によって、処理に要する時間は一定しないが数秒以上の時間を要することから、１つのサムネイルを生成するために、専用のスレッドを起動することとする。
【００７６】
メタデータ生成部２０は、サムネイルを生成するために専用のスレッドを起動する（Ｓ６１３）。起動されたメタデータ生成スレッドは、まず対応するキーフレームを、キーフレーム記録管理部を経由して、キーフレーム一時記録部３３から取得する（Ｓ６１４）。次にメタデータの生成処理（Ｓ６１５）を開始する。
【００７７】
ここではメタデータの生成に数秒以上かかるとしているため、処理の完了に時間を要するが、本処理はメタデータ生成スレッドとして独立した動作になっているので、録画制御部１０が実行する録画処理を妨げることはない。数秒経過した後に、メタデータであるサムネイル画像ができると、当該メタデータであるサムネイル画像ファイルをメタデータ記録読出部２１に記録を行う。
【００７８】
メタデータの生成と記録が完了する（Ｓ６１６）と、このメタデータ生成スレッドは自らを破棄するか、次のメタデータ生成要求に備えてスリープ状態に入る。一方、録画制御部１０は、アクセスポイントであるアドレス位置情報、時間情報、およびサムネイル画像のファイル名からなるエントリー情報を作成し（Ｓ６１７）、エントリー生成処理を完了する。
【００７９】
上記のように、録画状態が継続している中においても、ビットストリームのＧＯＰデータに対するＡＶストリーム記録部１６への記録処理と、メタデータ生成のためのキーフレームアクセスを独立化し、さらにキーフレームからメタデータ生成も独立化することによって、録画処理に悪影響を与えることなく、メタデータの生成を行うことができる。
【００８０】
特に、本処理は低速なＣＰＵや、処理能力の低いシステム、またメタデータの生成負荷が高い、もしくはメタデータの生成に秒オーダー以上の処理時間を必要とする場合に有効である。
【００８１】
最後に、図１７を用いて録画終了の動作を説明する。システム制御部２から録画制御部１０に録画終了の要求があると（Ｓ７００）、録画制御部１０は、入力ストリーム制御部１４に対してストリームの転送処理の終了を指示する（Ｓ７０１）。すると以降、ＡＶストリーム記録部１６に対してデータの転送が行われなくなる。ついで、メタデータの生成処理をとめるために、メタデータ生成制御部１８に対してメタデータ抽出終了を要求する（Ｓ７０３）。メタデータ生成制御部１８は、メタデータ生成部２０に対して終了処理を要求する（Ｓ７０４）。
【００８２】
メタデータ生成部２０は、動作しているスレッドがあれば、停止させ全てのメタデータ生成処理を完了させる。さらにメタデータ記録読出部２１に対して、書込み途中のファイルがあれば書込み完了するように指示を行うとともに、ファイル操作の処理を完了させる（Ｓ７０５）。次に、録画制御部１０は、キーフレーム抽出制御部３０に対して、キーフレーム抽出処理の終了を指示する（Ｓ７０６）。キーフレーム抽出制御部３０は、キーフレーム抽出部３１に対して、実行しているキーフレームの抽出処理があれば中断するように指示を行い、全てのキーフレーム抽出処理を完了させる（Ｓ７０７）。
【００８３】
さらにキーフレーム抽出部３１は、キーフレーム記録読出部３２に対して終了処理を要求し（Ｓ７０８）、終了処理を要求されたキーフレーム記録読出部３２は、キーフレームの書込みや読出し処理を中断し、全てのキーフレームファイルに対するアクセスを止めたところで、当該キーフレームファイルの削除を行う。また、キーフレームファイルにおける各キーフレームのアドレスやサイズ、時間情報を管理するキーフレームファイルテーブルも同時に削除する。キーフレームファイルおよびキーフレームファイルテーブルは、録画実行中のみ存在し、録画終了とともに削除を行う。
【００８４】
これによって、録画中は入力ストリーム制御部１４、ＡＶバッファ２７、ＡＶストリーム記録部１６等のＡＶストリームの実体、および実体にアクセス可能な要素の状態によらず、キーフレームの情報を取得することができ、一方で、録画が終了し、不要になった時点で削除することによって、キーフレーム一時記録部３３のデータ領域の削減に貢献できる。特に、メタデータ生成を目的として、キーフレームのみを記録する構成を取っているために、冗長なデータが少なく、かつ１つのフレーム情報で、１つの独立した画像情報が生成することが可能である。
【００８５】
以上において説明した本実施の形態に関る映像音声記録再生装置１００は、記録対象となるＡＶストリームからキーフレームを抽出するキーフレーム抽出部３１と、抽出したキーフレームを一時的に記録するキーフレーム一時記録部３３と、メタデータを生成するメタデータ生成部２０と、生成したメタデータを保存するメタデータ記録部２２を有し、メタデータ生成部２０がメタデータ生成を行う任意のタイミングでメタデータを抽出可能なので、メタデータを高速に生成する必要がない。よって、比較的処理能力の低いＣＰＵやシステム構成であったとしても、ＡＶストリームの録画処理の実行と並行して、メタデータの生成が可能とである。
【００８６】
また、メタデータ生成において参照するデータであるＡＶストリームの一部であるキーフレームを、キーフレーム一時記録部３３に記録している。そのため、メタデータ生成の実行時に、ＡＶストリームのデータを参照する必要があっても、ＡＶストリーム記録部１６にアクセスする必要がなく、キーフレーム一時記録部３３から読出しを行えばよいので、本来のＡＶストリーム記録部１６の記録動作に対して、妨害をすることがないので、ＡＶストリーム記録部１６の主目的であるＡＶストリームの記録動作を正常に継続することが可能である。
【００８７】
さらには、ＡＶストリーム記録部１６がメタデータ生成のためにＡＶストリームの読出しを行う必要がないため、処理能力の低いＡＶストリーム記録部１６で構成が可能である。実質的には、ＡＶストリーム記録部１６は、ＨＤＤやフラッシュメモリで構成されるために、転送帯域の低い低価格なＨＤＤやフラッシュメモリを用いることが可能である。また、ＨＤＤの高寿命化や、低消費電力化にも有効である。
【００８８】
また、入力ストリーム制御部１４からキーフレームの抽出を行うことによって、録画もしくは本映像音声記録再生装置１００内での再記録（例えば、レート変換記録）を行う場合に、録画動作と並行して実施することができる。これは、入力ストリーム制御部１４がＡＶストリーム記録部１６へのデータ転送と転送データのアドレス管理機能を有することを利用し、キーフレーム抽出部３１と接続することによって、任意のキーフレームの抽出が可能となるためである。またキーフレームを抜き出すだけではなく、アドレス管理機能から抜き出したキーフレームの抜き出した後のアドレス情報（ここでは、キーフレームファイルテーブル）を作成が可能である。このアドレス情報によって抽出した複数のキーフレームの個別認識が可能となる。
【００８９】
また、キーフレーム一時記録部３３は、録画開始に、キーフレームファイルを生成し、キーフレームが検出される毎に、キーフレームファイルに追記し、さらに録画終了時にキーフレームファイルを削除する、といった、一時的な記憶を行うので、録画を複数回実行したとしてもキーフレームファイルの数および総サイズが増えることがないため、キーフレーム一時記録部３３のサイズを大きく取る必要がなく、コスト面やファイルアクセスの負荷において有利である。
【００９０】
また、本実施の形態では、キーフレームの保存形態として、複数のキーフレームを１つのファイルに結合して保存しているが、各キーフレームで別のファイルとして保存してもよい。また録画単位でひとつのディレクトリを形成し、その中に各キーフレームファイルを保存してもよい。
【００９１】
上記のように、１つのキーフレームに対して１つのファイルを形成する場合において、任意のメタデータの生成に使用された対応するキーフレームファイルについては、メタデータが生成された時点で削除してもかまわない。これによって、メタデータ一時記録部３３の容量を削減することができる。
【００９２】
また、キーフレーム一時記録部３３は、ＳＤＲＡＭなどの揮発媒体を使用しても、ＨＤＤやフラッシュメモリなどの不揮発媒体を使用してもかまわない。揮発媒体を利用するとキーフレーム情報を高速に書込み、読出しが可能である。不揮発媒体であれば、コスト面で有利であり、また停電等が発生したとしても、その後復帰したときに不揮発媒体に残っている情報からメタデータを生成することが可能である。
【００９３】
本実施の形態では、ＡＶストリーム記録部１６と、キーフレーム一時記録部３３を別個体としているが、これによってそれぞれに最適な記憶媒体とスペックを策定することができ、コストパフォーマンスのよいシステムを構築することができる。
【００９４】
また、逆にＡＶストリーム記録部１６と、キーフレーム一時記録部３３を１つの大きなＨＤＤ上に構築する等、ひとつの記憶媒体に集約することによって、コスト削減が可能である。その場合、ＡＶストリーム記録部１６と、キーフレーム一時記録部３３の領域をパーティションで分断する等の処置を講ずるほうが好ましい。ただし、一体にする場合は、パーティションで区切るなどの実装的な差異を制限するものではない。
【００９５】
また、１つの大きなＨＤＤにＡＶストリーム記録部１６と、キーフレーム一時記録部３３を兼用した場合であっても、大容量のデータを高速に書込む必要があるＡＶストリーム記録部１６にはＤＭＡ機能を割り当てることによって、ＣＰＵにおけるストリーム転送負荷を低減し、一方で書き込みおよび読み出しするデータサイズが小さく、高速な処理が必要でないキーフレーム一時記録部３３向けには、ＣＰＵを使った書き込みおよび読み出し処理を割り当てるように構成してもよい。
【００９６】
また、システムに対する負荷上昇を抑制するために、キーフレーム抽出制御部３０において、キーフレーム抽出の間引き処理を行っても良い。これによって、システム能力を加味したメタデータ生成が実現でき、安定した記録動作とメタデータ生成動作が可能となる。
【００９７】
また、キーフレームの抽出は所定の時間周期で行っても良い。この場合、キーフレーム抽出を実行する判断基準が単純になり、実装処理の簡素化、不良事象の発生抑制、実行判断基準の簡素化によるシステム負荷の抑制が可能である。
【００９８】
また、キーフレーム抽出を、ユーザーからのキー操作をトリガーとして実行してもよい。これによって、ユーザーの嗜好に沿ったメタデータの生成と、キーフレーム抽出およびメタデータ生成の判断基準の簡素化が可能である。
【００９９】
また、生成されたメタデータはＡＶストリーム記録部１６に記録されたＡＶストリームと関連付けるためのタイトルＩＤ等を同時に記録しておくことによって、録画した番組の再生時にメタデータを画面上に表示して再生することができる。さらには、ユーザーがリモコンを使って、画面上に表示されたメタデータを選択することによって、選択したメタデータが有する時間情報に対応した位置から再生を実行することが可能である。
【０１００】
また、キーフレーム一時記録部３３に記録する形式として、複数のキーフレームデータを一つのファイルにすることによって、データすなわちファイルの個体管理（ファイルＩＤやファイル名の管理）や、頻繁なファイルオープン／クローズ処理を行う必要がなく、プログラムサイズや、実行速度の面で有利である。また、万一、本映像音声記録再生装置１００が録画動作実行中にハングアップし、それによって録画終了時もしくは電源オフ時に実行されるべき不要キーフレームデータの削除処理が実行できず、その結果、キーフレームデータのファイルが残った場合でも、キーフレームファイルの数やファイル名が固定値になるので、再起動時に不要なキーフレームデータのファイルを簡単に検出して削除することができる。
【０１０１】
本実施の形態では、ＡＶストリームから抽出するデータとしてキーフレームについて説明したが、キーフレーム以外も含めてＡＶストリームから抽出して一時的に保存しておくデータは、それ自身が独立して再生や表示が可能であり、また圧縮、符号化、暗号化が行われていれば元に復元できることが重要である。例えば、ＡＶストリーム中にあるＥＰＧ（ＥＬｅｃｔｉｃ Ｐｒｏｇｒａｍ Ｇｕｉｄｅ）を一時的に保存し、そこから文字や図形などのメタデータを生成してもかまわない。これによって、例えば放送番組のシーン毎にシーンに対応したデータが埋め込まれているような場合、本データをキーフレーム抽出部３１で抽出し、キーフレーム一時記録部３３に録画が終了するまで保存し、さらにメタデータ生成部でメタデータ化し、メタデータ記録部２２で保存することによって、再生時にシーンの特定を行う場合に使用することができる。
【０１０２】
本実施の形態では、メタデータとしてサムネイルをあげているが、特にサムネイルに限定するものではない。例えば、音声情報から人の声や、音楽、特徴的な音を抽出してもよい。また映像においても、元の映像から抽出した人物画や、部分的なカット映像や複数の画像を組合した画像等、元のＡＶストリームをなんらかの形で利用してもよい。
【０１０３】
また、本実施の形態では、圧縮符号化された映像音声データを扱っているが、圧縮符号化される前のデータであってもよい。
【０１０４】
また、本発明に記録に関係するチューナー３および４、ＡＶエンコーダ７、入力ストリーム制御８、ＡＶストリーム記録部１７は従来のものを流用して構成することができるため、従来の映像音声記録再生装置に容易に適用することができる。
【０１０５】
なお、本実施の形態にかかわる映像音声記録再生装置１００は、再生機能を有しているが、記録機能のみを有する記録装置であってもよい。このような記録装置は、記録したＡＶストリーム、再生制御情報、メタデータを外部に出力するインターフェース機能を設けることにより実現することができる。また、こうしたインターフェースから出力されたデータ、もしくはデータが記録された媒体を用いて、本実施の形態に関る再生機能を有する再生装置を構成してもよい。
【０１０６】
実施の形態２．
図１８は、本発明の実施の形態２に関る映像音声記録再生装置１０１の構成を示すブロック図である。本実施の形態に関る映像音声記録再生装置１０１は、図１に示す映像音声記録再生装置１００に対して、ストリーム解析部３５を備えたことを特徴とする。
【０１０７】
本実施の形態において、ストリーム解析部３５は、録画実行時に入力ストリーム制御部１４から記録されるＡＶストリームを抽出し、その映像もしくは音声の解析を行い、その解析結果をキーフレーム抽出制御部３０や、メタデータ生成制御部１８に対して送信し、キーフレーム抽出制御部３０やメタデータ生成制御部１８がそれぞれの判定基準でキーフレームもしくはメタデータの生成を行う点が実施の形態１との差である。
【０１０８】
本実施の形態においては、ネットワークからＭＰＥＧ−２ Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ（以下ＴＳ）をＨＴＴＰプロトコルで受信し、受信したＴＳをＡＶストリーム記録部１６に記録するものとする。ネットワークから受信したＴＳストリームにはハイビジョンのＭＰＥＧ−２ビデオストリームとＡＡＣストリームが多重されているものとする。また、ここで生成するメタデータはビットマップ形式のサムネイル画像とする。
【０１０９】
入力ストリーム制御部１４は、入力されたＴＳストリームをＡＶバッファに一旦保存し、ＡＶバッファ上で、ＭＰＥＧ−２のＧＯＰの位置、サイズ、およびＩピクチャの位置とサイズの検出を行う。さらに、図示しないが入力ストリーム制御部１４に内蔵されＤＭＡ機構によってＨＤＤによって構成されるＡＶストリーム記録部１６に転送を行う。また、ＧＯＰの検出と当該ＧＯＰのＡＶストリーム記録部１６への転送が完了すると、録画制御部１０とストリーム解析部３５に、転送が完了したＧＯＰの位置、サイズまたＩピクチャの位置とサイズ情報を転送する。
【０１１０】
ＧＯＰの転送通知を受け取ったストリーム解析部３５は、受け取ったＩピクチャの情報を使い、入力ストリーム制御部１４からＩピクチャのデータを抽出する。ここでストリーム解析部３５は、ＭＰＥＧ−２のデコード処理と、デコード映像から映像の特徴分析を行う機能を有する。これによって、入力ストリーム制御部１４から受け取ったＩピクチャをデコードし、さらに以前にデコードしておいた画像との差分を求め、その差分値が予め設定しておいた閾値を超えていればシーンチェンジが発生したと判断する。さらに、以前に解析した複数の画像データを参照し、１つ以上の画像を類似画像と判断できたならチャプターが発生したと判断する機能も有する。
【０１１１】
シーンチェンジが発生した場合、シーンチェンジが発生したというイベントと、シーンチェンジの程度を表す差分値をキーフレーム抽出制御部３０とメタデータ生成制御部１８に送り込む。キーフレーム抽出制御部３０は、ストリーム解析部３０からのシーンチェンジ発生イベントと差分値を元にキーフレーム抽出処理を行うか否かを決める。キーフレーム抽出の条件を満たせば、キーフレーム抽出部３１に対して、キーフレーム抽出の指示を出す。以降のキーフレーム抽出処理は実施の形態１と同じである。
【０１１２】
一方、チャプター発生イベントを受け取ったメタデータ生成制御部１８は、キーフレーム一時記録部３３内に、指定されたフレームに対応するキーフレームがあるか、そうでなければ指定フレームの近傍時間にキーフレームが存在するかを確認する。対応するキーフレームが存在すれば、メタデータ生成部２０に対して、メタデータ生成の要求と、対象となるキーフレームの情報を送る。メタデータ生成部２０は、指定されたメタデータをキーフレーム一時記録部３３から読み取り、ＭＰＥＧ−２のデコード処理を行い、デコードされた画像をビットマップフォーマットとして出力する。メタデータ記録読出部２１は、メタデータ生成部２０が生成したビットマップデータをメタデータ記録部２２に保存する。
【０１１３】
上記のように、ＡＶストリームをストリーム解析部３５で解析し、その解析結果に応じてキーフレームとメタデータの生成を制御することによって、ＡＶストリームの映像状態に応じてキーフレーム抽出と、メタデータ抽出が行える。これによって記録した映像音声の映像内容に応じたメタデータを生成することが可能である。またキーフレーム抽出は、実際の映像がシーンチェンジしたときのみキーフレーム抽出を行うことができるので、不要なキーフレームを抽出することがなく、システムの負荷低減、キーフレーム一時記録部３３の容量縮小に貢献することができる。
【０１１４】
ここで、キーフレーム一時記録部３３におけるデータサイズについて説明する。ＢＳデジタル放送を記録する場合、２４Ｍｂｐｓの転送レートでＡＶストリームがＡＶストリーム記録部１６に記録される。このとき入力ストリーム制御部１４がＡＶバッファ２７からキーフレームであるＩピクチャを抽出する。このときキーフレーム一時記録部３３のキーフレームファイルは、約１Ｍバイト／秒で容量が増える。つまり、録画番組長を２時間とすれば７．２Ｇバイト、一般的な家庭用レコーダの最大録画時間である８時間であれば２８．８Ｇバイトの容量が必要になる。ところが、本実施の形態で示すようにシーンチェンジの発生のときのみキーフレームを保存し、１つのシーンの一般的な長さが５秒以上であることに対応して５秒毎に１つのＩピクチャを記録すると仮定すれば、２時間番組であれば、０．７２Ｇバイト、８時間であれば２．８８Ｇバイトの容量に削減することができる。
【０１１５】
次に、図１９を用いて、ストリーム解析部３５を有する映像記録再生装置の録画動作について説明する。映像記録再生装置１０１において録画状態が継続していると、入力ストリーム制御部１４でＧＯＰの検出処理が行われる。ここでＧＯＰｎの検出が行われると（Ｓ８００）、ＧＯＰｎのアドレスマップが生成される（Ｓ８０１）。次に、本ＧＯＰｎのＡＶストリーム記録部１６への転送において、図示しないがＤＭＡの機構を使って、ＧＯＰｎがＡＶストリーム記録部１６へと転送が行われる（Ｓ８０２）。このとき同時にＧＯＰｎのアドレスマップが、既にＡＶストリーム記録部１６上に存在するＧＯＰｎより前までのアドレスマップに追記される。ＧＯＰｎの転送処理が完了すると録画制御部１０に対してＧＯＰｎの書込みが完了したことが通知される（Ｓ８０３）。さらにシステム制御部には現在の録画経過時刻等の録画情報が通知される（Ｓ８０４）。一方で、ＧＯＰｎの転送通知は、ストリーム解析部３５にも通知される（Ｓ８０５）。
【０１１６】
ストリーム解析部３５は、ＧＯＰｎの転送通知を受け取ると、ＧＯＰｎのキーフレームを入力ストリーム制御部１４から受け取る（Ｓ８０６）。次に図示しないが、キーフレームであるＩピクチャのデコード処理を行うとともに、前フレームとの差分を取り、その差分値が予め設定された閾値以上であれば、シーンチェンジと判定する。また、ストリーム解析部３５は、ＧＯＰｎより以前を画像データもしくは画像の特徴データを少なくとも２つ以上内部に蓄積しており、蓄積している画像間の相関性を調べ、相関性が極めて低くなる区間を見つける機能を有する。例えば、ＧＯＰｍ−１とＧＯＰｍの間で相関性が著しく低くなったと判断されたとすると、ＧＯＰｍの位置にチャプターが存在すると判定する。
【０１１７】
ＧＯＰｎにおいてシーンチェンジが発生したとすると、キーフレーム抽出制御部３０に対してシーンチェンジが発生したことを示すイベントと、シーンチェンジの程度を示す差分値を送る（Ｓ８０７）。キーフレーム抽出制御部３０は、差分値が適切か、ＧＯＰｎの時刻情報が正しいかを検証し(Ｓ８０８)、キーフレームの取得が可能と判断すればキーフレーム抽出部３１に対して、指定時刻のキーフレームを取得するように指示を行う（Ｓ８０９）。キーフレーム抽出部３１は、入力ストリーム制御部１４から対応するキーフレームを取得し（Ｓ８１０）、取得したキーフレームをキーフレーム記録管理部３２に書込みを依頼する。キーフレーム記録管理部３２は図示しないキーフレーム一時記録部にＧＯＰｎのキーフレームを書き込む(Ｓ８１１)。
【０１１８】
さて、ストリーム解析部３５は、シーンチェンジを検出したと時を同じくして、ＧＯＰｎより以前のＧＯＰｍにおいて画像間相関性が著しく低くなっていることを検出したとする。するとストリーム制御部３５は、自分自身の別スレッドに対して、ＧＯＰｍにチャプターが検出されたことを通知する（Ｓ８１２）。ストリーム解析部３５内の別スレッドは、ＧＯＰｍにおけるチャプター検出イベントを受け取り、次いでメタデータ生成制御部１８に対してチャプター発生イベントを送信する（Ｓ８１３）。メタデータ生成制御部１８は、ＧＯＰｍに対応するキーフレームがキーフレーム記録管理部３２内のキーフレーム一時記録部３３に保存されているか否かを判定し、存在すればメタデータ生成部２０に対してメタデータ抽出を指示する（Ｓ８１４）。
【０１１９】
メタデータ生成部２０は、メタデータ生成スレッドを起動し（Ｓ８１５）、ＧＯＰｍのキーフレームを抽出し（Ｓ８１６）、抽出したキーフレームからメタデータであるビットマップフォーマットのサムネイル画像の生成を行う（Ｓ８１７）。サムネイル画像の生成が完了するとメタデータ記録読出部２１内のメタデータ記録部２２にメタデータの書込みを依頼する（Ｓ８１８）。メタデータの書込みが完了すると、ストリーム解析部３５に対して、メタデータ生成完了通知（Ｓ８１９）を送信する。メタデータ生成完了通知を受け取ったストリーム解析部３５は、この番組の再生においてチャプター発生箇所にスキップボタン等で簡単にアクセスするためのエントリー情報を生成するように、録画制御部１０に依頼を出し（Ｓ８１９）、録画制御部１０がエントリー情報を生成する（Ｓ８２０）。
【０１２０】
このとき、ストリーム解析部３５が検出したチャプター位置であるＧＯＰｍ、およびＧＯＰｍのデータは、既に過去のものであり、入力ストリーム制御部１４内のＡＶバッファ２７には存在していない。そのため、ＡＶバッファ２７から読み出すことは不可能である。ところが、キーフレームをキーフレーム一時記録部３３に保存しておくことによって、過去の時刻におけるキーフレームの抽出が可能となる。
【０１２１】
またＡＶストリーム記録部１６は、もっぱら録画されるべきＡＶストリームの記録を行っており、処理負荷的に厳しい場合もある。また、実施の形態１で説明したとおり、通常ＡＶストリーム記録部１６に対応するＨＤＤには暗号化を掛けて記録を行うため、読み出すときに復号処理が必要となるも、番組再生の可能性があるため、使用することができない。ところが、本実施の形態で示すように、録画時に暗号が解かれた状態でキーフレームをキーフレーム一時記録部３３に保存しているので、ＡＶストリーム記録部１６にアクセスすることによる処理付加の上昇もなく、また、復号機能の追加実装の必要もない。
【０１２２】
さて本実施の形態では、２画像間の差であるシーンチェンジが発生したときに、キーフレームを保存するとし、さらに複数の画像間で大きな場面転換があった場合にチャプターが発生したとして、メタデータであるサムネイルを生成するものとしている。
【０１２３】
ここで、シーンチェンジとチャプターの違いについて図２０を用いて説明する。図で示しているのは全てキーフレームであるＩピクチャのみが時間方向に並んでいる状態を示している。ここで、任意のピクチャと、その直前のピクチャとの間で画像差分が予め設定されている閾値を超えていれば、そのピクチャでシーンチェンジが発生したものとする。図中では、Ｐ５５、Ｐ７２、Ｐ８６、Ｐ９８、Ｐ１０７においてシーンチェンジが発生したものとしている。次にこれらシーンチェンジが発生した画像間、ここでは隣接２ピクチャ間の間で画像の差分値を求める。
【０１２４】
次に、これらの差分値が予め決めておいたシーンチェンジの閾値とは別のチャプター差分値より低いという条件を満たす箇所を探す。図中では、Ｐ７２とＰ８６の区間がこの条件を満たす。この条件を満たすところをチャプター境界とし、メタデータであるサムネイルを生成するものとする。この図で示すように、隣接画像間でシーンチェンジ判定を行うのに比べ、複数の画像間や、時間的に離れた画像間の差を求め、その結果、時間的に相当な過去のところのサムネイル画像を生成しようとする場合、既にＡＶバッファ２７上にその画像データはないので、従来であればＡＶストリーム記録部１４から取得しなければならなかった。
【０１２５】
しかしながら、前述しているように、一般的にＡＶストリーム記録部１４はＨＤＤで構成され、暗号化処理がおこなわれているため、暗復号ブロックのリソース数の制約によって、メタデータの生成目的に復号ブロックを利用することが難しかった。そこで、キーフレーム抽出部３１によって、キーフレームのみを抽出しておき、キーフレーム一時記録部３３に、録画が完了するまでの間記録しておくことで、上記のように時間的に過去の画像のメタデータの生成が可能とすることができる。
【０１２６】
以上において説明した本実施の形態に関る映像音声記録再生装置１０１によれば、記録対象となるＡＶストリームからキーフレームを抽出するキーフレーム抽出部３１と、抽出したキーフレームを一時的に記録するキーフレーム一時記録部３３と、メタデータを生成するメタデータ生成部２０と、メタデータを保存するメタデータ記録部２２と、記録するＡＶストリームを解析するストリーム解析部３５を有しているので、比較的処理能力の低いＣＰＵやシステム構成であったとしても、ＡＶストリームの録画処理の実行と並行して、メタデータの生成が可能となる。
【０１２７】
本実施の形態によれば、記録するＡＶストリームを解析し、その特性に応じてキーフレーム抽出を行うことができるので、実施の形態１の効果に加え、さらに下記の効果を得ることができる。
【０１２８】
本実施の形態によれば、記録するＡＶストリームを解析し、その特性に応じてキーフレーム抽出を行うことができるので、よく似た画像をキーフレームとして保存することを回避でき、結果として、キーフレーム一時記録部３３の容量削減を行うことができる。
【０１２９】
また、キーフレームを抽出する回数や、キーフレームをキーフレーム一時記録部３３に書き込む頻度が減るので、システム全体の負荷低減が可能である。
【０１３０】
また、一時記録するキーフレームの数を削減できるので、各キーフレームの属性である、サイズ、元のＡＶストリームにおける時間位置、保存先等が記録されたキーフレームファイルテーブルのサイズを削減でき、記録媒体の容量の削減が可能である。
【０１３１】
また、一時記録するキーフレームの数が少なくなるので、メタデータ生成時に対応するキーフレームを検索する時間を短縮することができる。
【０１３２】
また、メタデータを生成する条件は、キーフレームを生成する条件を含んでいるので、メタデータを生成する場合に、キーフレームが存在しないといった不都合を生じ得ない。
【０１３３】
また、メタデータとして、映像および音声信号の特徴的なものを採用したいのであれば、ストリーム解析部３５によってＡＶストリームの特徴を解析するので、メタデータを生成するのに必要な条件判断をストリーム解析部３５で行える。
【０１３４】
実施の形態３．
図２１は本発明の実施の形態３に関る映像音声記録再生装置１０２の構成を示すブロック図である。本実施の形態に関る映像音声記録再生装置１０２は、ＡＶストリーム記録部１６に記録されたＡＶストリームを読み出して、出力ストリーム制御部１５からキーフレームを抽出し、キーフレーム抽出部３１が出力ストリーム制御部１５からキーフレームを取得する点に特徴がある。それにともなって、キーフレーム抽出制御部３０およびメタデータ生成制御部１８は再生制御部１１からの制御を受ける構成になる。それ以外は、図１に示す映像音声記録再生装置１００と同様である。また、ＡＶストリームも実施の形態１と同じものとする。
【０１３５】
本実施例では、再生時にメタデータの抽出を行おうとするものである。ユーザーがリモコン９４等で再生に関するボタンを押下すると、再生の赤外線信号がリモコン受信部６を経由し、システム制御部２に到達する。システム制御部２は、再生する番組を再生するように再生制御部１１に指示を出す。再生制御部１１は、出力ストリーム制御部１５に対し、対応するＡＶストリームをＡＶストリーム記録部１６から読出し、ＡＶデコーダ１３に転送するように指示を送る。出力ストリーム制御部１５から出力されたＡＶストリームは、ＡＶデコーダ１３で元の表示画像に復号されモニター出力８からモニター９３に投影される。出力ストリーム制御部１５は、再生が継続されている間中、ＡＶストリーム中のＧＯＰの位置、サイズ、またＩピクチャの位置とサイズについて検出を行っている。
【０１３６】
出力ストリーム制御部１５がＧＯＰを検出すると、再生制御部１１にＧＯＰの検出通知が送られ、さらにキーフレーム抽出制御部３０に送られる。キーフレーム抽出制御部３０は、キーフレーム抽出部３１に対して、該当するＧＯＰのＩピクチャを抽出するように指示を出す。以降、キーフレームの抽出処理は、実施の形態１と同様である。
【０１３７】
また、ＧＯＰの検出通知を取得した再生制御部１１は、メタデータ生成制御部１８に対してメタデータ抽出指示を行う。このとき、メタデータ生成は時間を要することが多いので、キーフレーム抽出制御部３０に指示したキーフレーム抽出指示の頻度より、少なくすることが必要である。メタデータ抽出の指示を受けたメタデータ生成制御部１８は、実施の形態１と同様にキーフレーム一時記録部３３に蓄積されたキーフレームデータを用いて、メタデータの生成を行い、生成されたメタデータをメタデータ記録部２２に格納する。
【０１３８】
このようにして再生を継続すると、録画された番組に対しても、メタデータの生成が可能である。
【０１３９】
さらに再生が終了すると、必要なメタデータはメタデータ記録部２２に記録されているので、キーフレーム一時記録部３３にあるキーフレームは必要がなくなり、削除を行う。このように、録画された番組に対しても、メタデータの生成が可能であり、かつ、キーフレームは一時的にしか存在せず、無駄にキーフレーム一時記録部３３の容量を必要としない。
【０１４０】
生成されたメタデータがサムネイルであれば、メタデータ出力制御部１９が必要とするメタデータをメタデータ記録読出部２１を経由してメタデータ記録部２２から読出し、メタデータ表示部２３で画像化し、グラフィック重畳部２４で、再生映像と重ね合わせて表示したり、サムネイル画像だけで表示を行う（図２参照）。
【０１４１】
再生時においてＡＶストリームを定常的にデコーダに供給することは非常に重要であり、例えば本構成を採らず、再生中に直接ＡＶストリームから必要とされるキーフレームを取得しようとすれば、再生に必要なＡＶストリームの転送レートが確保できない状態に陥り、画像がスムーズに表示されない、一瞬とまってしまう、最悪はシステムがハングアップしてしまうといった不具合を生じる可能性がある。ところが、出力ストリーム制御部からキーフレームを取得する本実施の形態の場合であれば、ＡＶストリーム記録部１６に対して負荷上昇を強いることなく、キーフレームの抽出を行うことができる。
【０１４２】
また、抽出したキーフレームは一時的にキーフレーム一時記録部３３に格納され、必要なときに読み出すことができるので、メタデータの生成タイミングや、メタデータの生成に要する時間長に対する制約を緩和することができる。
【０１４３】
以上において説明した本実施の形態に関る映像音声記録再生装置１０２によれば、再生時においても出力ストリーム制御部１５からキーフレーム抽出部３１がキーフレームを取得し、キーフレーム一時記録部３３に取得したキーフレームを一時的に保存し、メタデータ生成部にキーフレームを送ることによって、再生時においてもメタデータの生成が可能である。これは、再生時に出力ストリーム制御部１５がＡＶストリーム記録部１６からＡＶストリーム読み出すことを利用しているためであり、ＡＶストリームを読み出すために特段の手段や処理が必要ではなく、出力ストリーム制御部１５に一時的に存在するＡＶストリームから必要とするキーフレームを抽出し、メタデータを生成すればよい。そのため、比較的処理能力の低いＣＰＵやシステム構成であったとしても、ＡＶストリームの録画処理の実行と並行してメタデータの生成が可能となる。
【０１４４】
また図示しないが、出力ストリーム制御１５からの出力し、ＡＶデコーダ１３で復号された映像をＡＶエンコーダ１２に入れて、入力ストリーム制御部１４で再度ＡＶストリーム記録部に記録することで、本映像音声記録再生装置内で再エンコード録画をすることができる。その場合においても、実施の形態１もしくは本実施の形態３で示すように入力ストリーム制御部１４もしくは出力ストリーム制御部１５からキーフレーム抽出部３１がキーフレームを抽出し、キーフレーム一時記録部３３にキーフレームを保存しておき、所望のタイミングでメタデータ生成部２０がメタデータを生成することが可能となる。
【符号の説明】
【０１４５】
１００，１０１，１０２ 録画音声記録再生装置、２ システム制御部、３ デジタルチューナー、４ アナログチューナー、５ 外部入力端子、６ リモコン受信部、７ ネットワーク端子、８ モニター出力端子、１０ 録画制御部、１１ 再生制御部、１２ ＡＶエンコーダ、１３ ＡＶデコーダ、１４ 入力ストリーム制御部、１５ 出力ストリーム制御部、１６ ＡＶストリーム記録部、１８ メタデータ生成制御部、１９ メタデータ出力制御部、２０ メタデータ生成部、２１ メタデータ記録読出部、２２ メタデータ記録部、２３ メタデータ表示部、２４ グラフィック重畳部、２５ 暗号化部、２６ 復号化部、２７ ＡＶバッファ、２８ サムネイル選択枠、２９ 第２の復号化部、３０ キーフレーム抽出制御部、３１ キーフレーム抽出部、３２ キーフレーム記録読出部、３３ キーフレーム一時記録部、３４ キーフレーム記録管理部、３５ ストリーム解析部、４１ キーフレームデコーダ、４２ ＪＰＥＧエンコーダ、４３ ＪＰＥＧファイルフォーマッタ、５０ キーフレーム抽出部、９１ アンテナ、９２ ネットワーク、９３ モニター、９４ リモコン、９５ 画面
【技術分野】
【０００１】
本発明は、映像音声信号を記録するとともに、再生時や編集時に再生すべきシーンや編集すべきシーンをユーザーが決定することを補助するメタデータを自動生成する映像音声再生装置に関するものである。
【背景技術】
【０００２】
従来の映像記録再生装置においては、ユーザーが視聴しようする映像および映像の中のシーンや内容を予め知ることができず、実際に再生や早送り等を行うことによって、見たいシーンを見つけなければならなかった。
【０００３】
このような問題を解消するため、映像音声再生装置において、ＥＰＧ（Ｅｌｅｃｔｒｉｃ Ｐｒｏｇｒａｍ Ｇｕｉｄｅ）を用いて、ユーザーが見たい映像番組のタイトルや内容を予め提示することによって、映像自身を視聴することなく、見る番組を選択することができるようになっている。また、再生する番組の中のシーンを代表画像として表示する技術が提案されている。例えば、録画中に録画対象となるストリームの符号化パラメータを検出することによって、サムネイル画像の生成を行う方法がある（例えば、特許文献１参照）。また、デジタル放送の番組内のシーン変化を自動検出し、頭だし位置を特定するものがある（例えば、特許文献２参照）。さらに、録画中の符号化ストリームを抽出し、シーン変化点を自動で検出できるものもある（例えば、特許文献３参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１−１７７８０４号広報（第３頁、図３）
【特許文献２】特開２０００−２２４５２２号公報（第３〜４頁、図１〜２）
【特許文献３】特開２００７−４９５１６号公報（第７頁、図１）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、従来の映像記録再生装置においては、処理能力が低いＣＰＵで、サムネイル画像などのＡＶストリームの特徴を示すメタデータを録画処理と並行して生成することができなかった。
【０００６】
本発明は、上記の課題を解決するためになされたものであり、比較的処理能力の低いＣＰＵやシステム構成を用いた映像音声記録再生装置においても、録画する映像音声コンテンツのサムネイル画像などのメタデータを、録画実行中に作成可能とすることを目的とする。
【課題を解決するための手段】
【０００７】
本発明に係る映像音声記録再生装置は、映像音声データを記録する映像音声記録手段と、前記映像音声データからキーフレームを抽出するキーフレーム抽出手段と、前記映像音声データが記録されている間、前記キーフレーム抽出手段が抽出した前記キーフレームを記録しておくキーフレーム一時記録手段と、前記一時記録手段に対して前記キーフレームの記録および読出を行うキーフレーム記録読出手段と、前記キーフレーム一時記録手段に記録されている前記キーフレームからメタデータを生成するメタデータ生成手段とを有するものである。
【発明の効果】
【０００８】
本発明の映像音声再生装置は、上記のようにキーフレーム一時記録手段を備え、これに対してキーフレームの記録および読出を行う構成としたので、比較的処理能力の低いＣＰＵやシステムにおいても、録画する映像音声コンテンツのサムネイル画像などのメタデータを、録画実行中に作成する可能とすることができるという効果がある。
【図面の簡単な説明】
【０００９】
【図１】この発明の実施の形態１における映像音声記録再生装置の構成を示すブロック図である。
【図２】この発明の実施の形態１におけるサムネイル選択操作における表示画面の一例を示す図である。
【図３】この発明の実施の形態１におけるＡＶストリームと抽出と一時蓄積されるキーフレームの関係を示す図である。
【図４】この発明の実施の形態１におけるキーフレームのファイル上の位置を示すキーフレームファイルテーブルのデータ内容を説明する図である。
【図５】この発明の実施の形態１において、メタデータとしてＪＰＥＧサムネイルを生成する構成を示すブロック図である。
【図６】この発明の実施の形態１において、入力ストリーム制御部から読出したキーフレームからメタデータを抽出する構成を示すブロック図である。
【図７】この発明の実施の形態１において、ＡＶストリーム記録部からキーフレームを読出し、メタデータを抽出する構成を示すブロック図である。
【図８】この発明の実施の形態１において、キーフレーム一時記録部に一時的に記録したキーフレームからメタデータを抽出する構成を示すブロック図である。
【図９】この発明の実施の形態１におけるＡＶバッファと入力ストリーム制御部との関係を示す図である。
【図１０】この発明の実施の形態１におけるＡＶバッファに入力されるＧＯＰデータとその上書きを説明する図である。
【図１１】この発明の実施の形態１におけるＡＶバッファに入出力される各ＧＯＰデータと処理時間の制約条件を示す図である。
【図１２】この発明の実施の形態１におけるキーフレーム抽出処理とメタデータの生成を説明するシーケンス図である。
【図１３】この発明の実施の形態１におけるメタデータ抽出処理の動作フローを示すフォローチャート図である。
【図１４】この発明の実施の形態１におけるキーフレーム抽出に要するシステム負荷を説明する図である。
【図１５】この発明の実施の形態１における録画開始を説明するシーケンス図である。
【図１６】この発明の実施の形態１における録画中のキーフレーム抽出処理およびメタデータ抽出処理を説明するシーケンス図である。
【図１７】この発明の実施の形態１における録画終了を説明するシーケンス図である。
【図１８】この発明の実施の形態２における映像音声記録再生装置の構成を示すブロック図である。
【図１９】この発明の実施の形態２における録画中のキーフレーム抽出処理およびメタデータ抽出処理を説明するシーケンス図である。
【図２０】この発明の実施の形態２におけるシーンチェンジとチャプターの関係を示す図である。
【図２１】この発明の実施の形態３における映像音声記録再生装置の構成を示すブロック図である。
【発明を実施するための形態】
【００１０】
実施の形態１．
図１は、本発明の実施の形態１に関る映像音声記録再生装置１００の構成を示すブロック図である。映像音声記録再生装置１００は、外部機器とのインターフェースとして、デジタルチューナー３、アナログチューナー４、外部入力端子５、モニター出力端子８、ネットワーク端子７を有する。デジタルチューナー３およびアナログチューナー４は、アンテナ９１に接続され、デジタル放送およびアナログ放送を受信することができる。外部入力端子５は、主に、アナログ入力と呼ばれるコンポジット入力、Ｓビデオ入力、ＬＲ音声入力等に対応する。モニター出力端子８にはモニター９３が接続され、映像音声記録再生装置１００が生成する映像および音声信号を表示出力することが可能である。また、映像音声記録再生装置１００は、装置を遠隔操作するためのリモコン９４から送信される赤外線を使って送られるリモコンコードを受信するリモコン受信部６を備え、受信したリモコンコードをシステム制御部２に送信する。
【００１１】
システム制御部２は、ユーザーの要求に基づくリモコン９４の制御信号に応じて映像音声記録再生装置１００を制御する。システム制御部２は、ユーザーから録画の要求がなされると、録画制御部１０が、録画の開始、終了および録画中の記録動作を管理する。
【００１２】
図１を参照し、映像音声記録再生装置１００における、デジタル放送の録画機能について説明する。デジタルチューナー３で受信されたデジタル放送は、フルＴＳ（Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）として入力ストリーム制御部１４に送られる。入力ストリーム制御部１４は、ＡＶストリーム記録部１６に映像音声データであるＡＶストリームを安定的に記録するために、データを一時的に蓄えて、ＡＶストリーム記録部１６に定常的に書き込む処理を行う。
【００１３】
また、入力ストリーム制御部１４は、フルＴＳから記録する必要のないパケット等を省いたパーシャルＴＳ化の機能も有する。また、ＴＳのＰＩＤやセクション情報の検出処理を行うほか、記録されるビデオストリーム中のＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅ）の開始位置の検出やキーフレームであるＩピクチャの位置およびサイズの検出等も行う。ＡＶストリーム記録部１６は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）等により構成される。
【００１４】
ＡＶストリーム記録部１６にＡＶストリームを記録する場合、再生時におけるシーン検索性の向上、特殊再生時における任意時間へのランダムシークを実現するため、ＡＶストリーム記録部１６に記録されるＡＶストリームのアドレス情報と時間情報とを対応付けたアドレスマップが必要となる。録画制御部１０は、録画時に、入力ストリーム制御部１４により検出されるＧＯＰ開始位置情報に基づいてアドレスマップを生成し、ＡＶストリーム記録部１６に記録する。さらに、ＡＶストリーム記録部１６は、前述のアドレスマップを記録するほか、記録された番組のタイトル、記録開始時間、記録終了時間、放送サービス名、チャンネル番号、映像コーデック情報、音声コーデック情報、番組詳細情報等が含まれる再生制御情報を記録する。
【００１５】
次に、アナログ放送、および外部から入力された映像信号の録画機能について説明する。アンテナ９１で受信されたアナログ放送は、アナログチューナー４によってユーザーが指定されたチャンネルの信号のみが取り出される。アナログチューナー４により取り出された信号は、映像信号化され、図示しないＡＤ／ＤＡコンバーターによってデジタル信号化された後、ＡＶエンコーダ１２に入力される。ＡＶエンコーダ１２は、映像信号をＭＰＥＧ−２ビデオに符号化するとともに、音声信号をＡＡＣにより符号化し、符号化した映像および音声信号をＭＰＥＧ−２ Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍに多重し、ＡＶストリームを生成する。ＡＶストリームは入力ストリーム制御部１４に送られ、ＡＶストリーム記録部１６に記録される。外部入力端子５から入力された映像音声信号についても同様に、ＡＤ／ＤＡ変換された後に、ＡＶエンコーダ１２によってＡＶストリームに変換され、ＡＶストリーム記録部１６に記録される。
【００１６】
図１を参照し、映像音声記録再生装置１００における再生機能について説明する。ユーザーがリモコン９４に設けられた「録画タイトル一覧」ボタンを押下すると、録画された番組タイトルの全て、あるいは一部が画面上に表示される。ユーザーはリモコン９４に設けられた上下左右のカーソルキーによって希望するタイトルにカーソルを移動させ、「決定」ボタンを押下することで再生するタイトルを選択する。選択されたタイトルは、リモコン９４から赤外線信号としてリモコン受信部６に送信され、ソフトウェアコードに変換された後、システム制御部２に送られ、画面が更新される。また、再生待機状態もしくは録画状態でない場合、これらのコードは再生制御部１１に送られ、対応する再生動作機能が呼び出され、再生状態が変更される。以下、具体的な再生動作について説明する。
【００１７】
ユーザーが再生タイトルを決定すると、再生制御部１１は、指定タイトルに関する再生制御情報をＡＶストリーム記録部１６から読み出し、図示しないＲＡＭ上に入力する。再生制御部１１は、再生制御情報のうちアドレスマップを用いて、次に再生すべきストリームの再生開始時点に対応するアドレス情報を読み出し、そのアドレスのＡＶストリームをＡＶストリーム記録部１６から読み出し、出力ストリーム制御部１５に送られる。ＡＶデコーダ１３は、出力ストリーム制御部１５から転送されたＡＶストリームをその転送順にデコードし、モニター出力端子８からモニター９３に出力する。
【００１８】
出力ストリーム制御部１５は、ＡＶデコーダ１３がアンダーフローおよびオーバーフローを生じて映像及び音声が途切れないようにするため、映像音声データのデコードを継続できるよう、ＡＶストリーム記録部１６に記録されたＡＶストリームを読み出す。このとき、出力ストリーム制御部１５は、Ｈ／ＷのアシストであるＤＭＡ（Ｄｉｒｅｃｔ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ）転送機能を利用してＡＶデコーダに転送を行う。
【００１９】
次に、映像音声記録再生装置１００におけるキーフレーム抽出動作について説明する。キーフレームは、ＡＶストリーム記録部１６に転送されるＡＶストリームを入力ストリーム制御部１４上で抽出を行う。例えば５秒毎にＡＶストリームからキーフレームを抽出する場合を例にとって具体的に説明する。録画制御部１０が５秒単位の周期を検出すると、キーフレーム抽出制御部３０に対してキーフレーム抽出の指示を出す。キーフレーム抽出制御部３０は、キーフレーム抽出部３１に対して、指定時刻のキーフレームを抽出するように指示を行う。
【００２０】
キーフレーム抽出部３１は、入力ストリーム制御部１４に存在するＡＶストリームから指定された時刻におけるキーフレームを探し出し、そのビットストリームをキーフレーム記録読出部３１に送る。もし、ＡＶストリームがＭＰＥＧ−２のストリームであれば、ＭＰＥＧ−２のＩピクチャを取得する。キーフレーム記録読出部３１は、抽出されたキーフレームをキーフレーム記録管理部３４内のキーフレーム一時記録部３３に保存する。
【００２１】
次に、メタデータ抽出について説明する。ここでメタデータの抽出は、録画中、もしくは録画終了処理中に行われるものとする。具体的な状況としては、録画実行中に、図示しないがＣＭ検出機構によってＣＭ区間の検出が行われた場合や、映像のシーンチェンジが検出された場合、音声信号に特徴的な音声が検出された場合に、メタデータの作成を行うものとする。ここでは図示しないＣＭ検出機構によってＣＭの終了時刻が検出され、その時刻におけるサムネイル画像を生成する場合を例にとって説明する。
【００２２】
ＣＭ検出機構から録画制御部１０に入力されたＣＭ検出信号を元に、録画制御部１０はメタデータ生成制御部１８に対してメタデータ生成の指示を出す。メタデータ生成制御部１８は、メタデータ生成部２０に対して、所定時刻のメタデータであるサムネイル生成を指示する。メタデータ生成部２０は、キーフレーム記録読出部３２に対応するキーフレームデータの読出しを要求する。キーフレーム記録読出部３２は、キーフレーム一時記録部３３に記録されているキーフレームデータから、対応するキーフレームのデータを抽出し、メタデータ生成部２０に送る。
【００２３】
もし、対応するキーフレームが存在しなければ前後のキーフレームのデータを抽出し、メタデータ生成部２０に送る。メタデータ生成部２０は、読み出されたキーフレームから、メタデータであるサムネイル画像を生成する。もしキーフレームがＭＰＥＧ−２のＩピクチャであれば、メタデータ生成部２０は、ＭＰＥＧ−２をデコードする機能と、さらにサムネイル画像として表示可能なフォーマットであるビットマップに整形する処理も行う。生成されたビットマップフォーマットのサムネイル画像であるメタデータは、メタデータ記録読出部２１によって、メタデータ記録部２２に保存される。
【００２４】
次に、映像音声記録再生装置１００において、メタデータであるサムネイル情報を用いて任意のシーンを再生する方法について説明する。図２は、モニター９３にＡＶストリームの再生映像と画像が重畳された状態を示している。サムネイル画像は、メタデータ記録部２２に保存されているサムネイル情報を、メタデータ記録読出部２１を経由して読み出し、メタデータ表示部２３において画像化された後、グラフィックス重畳２４で再生映像に重畳され、モニター９３に表示される。
【００２５】
ユーザーが所望のタイトルを選択すると、再生制御部１１は、選択されたタイトルの再生を開始する。再生制御部１１は、ＡＶストリーム記録部１６からＡＶストリームを出力ストリーム制御部１５に読み出す。出力ストリーム制御部１５に読み出されたＡＶストリームは、ＡＶデコーダ１３によってデコードされ、モニター９３に表示される。
【００２６】
ユーザーが、図２で示すようなユーザーインターフェースを起動するためのリモコン９４に設けられた専用ボタンを押下すると、再生制御部１１がメタデータ出力制御部１９に対して、再生されるタイトルと、再生映像の経過時間情報を伝える。メタデータ出力制御部１９は、経過時間とその前後各２枚の合計５枚のサムネイルをメタデータ記録読出部２１を経由してメタデータ記録部２２から読み出す。メタデータ出力制御部１９は、サムネイルデータからサムネイル画像を生成するとともに、サムネイルの選択枠２８を生成しメタデータ表示部２３に出力する。メタデータ表示部２３は、サムネイルのメタデータを画像として展開し、選択枠とともにグラフィックス重畳２４に出力する。
【００２７】
上記処理により、図２に示すように、現在のシーンに対応するサムネイル（Ｓｃｅｎｅ１７）とその前後各２枚の合計５枚のサムネイルが表示される。サムネイルが表示された初期状態においては、リモコン選択枠は、現在再生中のシーンに合わせて表示される。ここでは、シーン１７を再生しているためＳｃｅｎｅ１７のサムネイルに対してリモコン選択枠２８が表示される。ユーザーはリモコン９４の左右キーを使ってリモコン選択枠２８を左右に移動させ、所望のシーンを選択することができる。サムネイル選択枠２８は、このリモコン動作に連動して、左右に移動する選択枠の生成を行う。
【００２８】
さらに、リモコン選択枠２８が画面の右もしくは左端に到達した状態でさらに左右のカーソルキーを押下すると、表示されているサムネイル全体が、押下されたカーソルキーと反対の方向に移動することによって、現在表示されていないシーンのサムネイルが表示される。ユーザーが、所望のサムネイルにカーソルを合わせ、「決定」キーを押下すると、再生制御部１１に対して再生しているコンテンツの再生状態を一時停止させる。
【００２９】
さらに、再生制御部１１は、ユーザーが選択したシーンの開始位置を示すエントリー情報に基づいて、シーンのエントリー情報によって指定される時間から再生を再開するよう指示を行う。再生制御部１１は、ＡＶストリーム記録部１６に記録されているアドレスマップ情報を用いて、エントリーの時間情報をＡＶストリームのアドレス情報に変換し、出力ストリーム制御部１５に送る。
【００３０】
出力ストリーム制御部１５は、再生制御部１１からのアドレス情報に基づいて、選択されたシーンのＡＶストリームのデータをＡＶストリーム記録部１６から読出し、ＡＶデコーダ１３に出力する。ＡＶデコーダ１３は、出力ストリーム制御部１５からのＡＶストリームのデータをデコードする。これにより、ユーザーが選択したサムネイルに対応するシーンの再生が可能となる。
【００３１】
図３は、ＡＶストリームの具体的な例としてＭＰＥＧ−２のビットストリームを用いて、抽出元のビットストリームと抽出したキーフレームとの関係を示す。ＭＰＥＧ−２ビットストリームにおける各ＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅ）は、キーフレームとしてＩピクチャを有する。ここではＩピクチャをＫで表示し、ハッチングで示している。なお、Ｉピクチャは通常、ＧＯＰの先頭に配置されることが多い。
【００３２】
キーフレーム抽出部３１は、入力ストリーム制御部１４から各ＧＯＰおよびＩピクチャのサイズ情報を取得し、Ｉピクチャのデータを抜き出す。抜き出したキーフレームであるＩピクチャをキーフレーム記録管理部３４内のキーフレーム記録読出部３２を経由して、キーフレーム一時記録部３３に保存する。ここでは、キーフレームの保存形態として、各キーフレームを元のビットストリームの並び順に結合して、１つのファイルにしている。このファイルを以降、キーフレームファイルと称する。
【００３３】
各キーフレームの実データを１つのファイルとすることによって、キーフレームへのアクセスが、１つのファイルに集中でき、ファイルアクセス時に利用するファイルハンドルの数を「１」にできるという利点と、ファイルが１つであるがゆえに、メモリやシステム負荷の低減を目的としたファイルアクセスの排他制御や、さらにはキーフレームファイルに書き込まれるデータの更新や書換え処理にともなうファイルアクセスの衝突を回避することが可能となる。また、キーフレームファイルを録画終了時に消去する場合、複数のキーフレームファイルに分散している状態に比べ、ひとつのキーフレームファイルにすることによって、削除処理が簡単になり、処理時間が短くなるという利点がある。
【００３４】
ここでは、キーフレームを１つのキーフレームファイルとして保存した場合に、各キーフレームのデータにアクセスする場合に使用するキーフレームファイルテーブルの内容を図４に示す。キーフレームファイルは、各キーフレームのデータが、元のビットストリームの順に応じて記録が行われている。キーフレームファイルに最新のキーフレームのデータがキーフレームファイルの終端に追加して記録されると同時に、最新キーフレームの図４に示す情報がキーフレームファイルテーブル情報の最後に追加して記録される。ここでは、キーフレームファイルテーブル情報として、各キーフレームのファイル上のアドレス情報、サイズ情報、およびＡＶストリームにおける時刻情報が記録されているものとしている。
【００３５】
ここでアドレスおよびサイズ情報の単位として、バイト単位ではなく、パック単位で記録している。一般的にＭＰＥＧ−２ビットストリームの場合、データの転送単位としてパックが用いられる。これは、データのサイズを管理する場合においての利便性や、データを格納するエリアサイズの設計において、処理しやすい単位だからである。ここでは、ＭＰＥＧ−２の基準単位であるパックを用いることとする。ちなみに、ＭＰＥＧ−２ビットストリームで使用されるパックは、Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍであれば、１８８バイトもしくは１９２バイト。一方、Ｐｒｏｇａｒａｍ Ｓｔｒｅａｍであれば２０４８バイトである。
【００３６】
次に、メタデータを生成する場合におけるキーフレームデータの読出しについて説明する。メタデータ生成部２０は、図４に示すキーフレームファイルテーブルを参照して、メタデータを生成したいキーフレームのデータ位置とサイズを取得し、キーフレーム一時記録部３３に記録されているキーフレームファイルから抽出する。キーフレームファイルテーブルがあることによって、キーフレーム抽出部３１は、どんなに前のキーフレームであっても、キーフレームファイルの並び順に関係なく取得することができる。これによって、番組の時間位置に関係なく、メタデータ抽出が可能となる。よって、別途用意されるシーンチェンジ検出機構や、ＣＭ検出機構など複数の検出機構から順不同にメタデータ生成の要求があったとしても、対応することができる。
【００３７】
次に、メタデータ生成について図５を用いて説明する。キーフレーム抽出部３１で抽出されたキーフレームは、キーフレームファイルの形式でキーフレーム管理部３４を構成するキーフレーム記録読出部３２を経由して、キーフレーム一時記録部３３に記録される。
【００３８】
ここではメタデータの具体的な生成例としてＪＰＥＧサムネイルを生成する場合を説明する。ＭＰＥＧ−２のＩピクチャであるキーフレームからＪＰＥＧサムネイルを生成するメタデータ生成部２０は、以下の要素によって構成される。キーフレームデコーダ４１は、ＭＰＥＧ−２のＩピクチャの復号処理を行い、Ｙ、Ｃｂ、Ｃｒの非圧縮画像データに戻す。ＪＰＥＧエンコーダ４２は、Ｙ、Ｃｂ、Ｃｒフォーマットの画像データをＪＰＥＧに圧縮符号化い、さらにＪＰＥＧファイルフォーマッタ４３がＪＰＥＧファイル用のファイルヘッダを付加し、ファイル化を行う。生成されたＪＰＥＧファイルは、メタデータ記録読出部２１に送られ、メタデータ記録部２２に記録される。
【００３９】
次に、図６を用いてキーフレーム一時記録部３３が存在しない場合にＡＶストリームからメタデータ生成に至るまでのデータの流れを説明する。ここでは、ＡＶストリームがＡＶストリーム記録部１６に記録される場合において、暗号化部２５で暗号化が行われるものとしている。さて、図６で示すように入力ストリーム制御部１４からキーフレームを抽出し、直接メタデータ生成部２０でメタデータを生成する場合、入力ストリーム制御部１４から抽出されたキーフレームはすぐにメタデータに変換され、メタデータ記録部２２に保存される。この場合、入力ストリーム制御部１４から短いパスでメタデータ記録部２２に到達する利点がある。
【００４０】
しかしながら、メタデータを生成可能なデータは、入力ストリーム制御部１４に接続されたＡＶバッファ２７上に存在する数Ｍバイト、もしくは数秒のデータのみである点と、ＡＶバッファ２７にある時間に存在したデータであっても、数秒後には別のデータに置き換わってしまい、十分な時間をかけてメタデータを生成することができない点が問題である。
【００４１】
次に、図７でＡＶストリーム記録部１６からキーフレームを取得する場合について説明する。この例では、ＡＶストリーム記録部１６からキーフレームを抽出するため、キーフレーム抽出およびメタデータの生成について時間的制約がほとんどなく、時間を掛けてメタデータ生成が可能である。ところが、一般的に、放送波から取得した映像データを圧縮符号化したＡＶストリーム、もしくは放送波から直接取り込んだＡＶストリームをＨＤＤ等のＡＶストリーム記録部１６に記録する場合、暗号化部２５を用いて暗号化を行う。これによって、ユーザーが勝手にＡＶストリームが記録されてあるＨＤＤを交換したり、ＡＶストリームをＨＤＤから抜き出し、不正にコピーを行うことを防止している。
【００４２】
暗号化されたＡＶストリームから再生可能なＡＶストリームに復号化するためには復号化部２６が必要である。復号化部２６は、ＡＶデコーダ１３にＡＶストリームを供給する出力ストリーム制御部１５の前段に設置され、ＡＶデコーダ１３は復号化されたいわゆる平文のＡＶストリームを受け取ることができる。
【００４３】
さて、メタデータをＡＶストリーム記録部１６から生成する場合についても、暗号化されているＡＶストリームの復号処理が必要である。復号化部２６は、再生専用に設置されており、共用は不可能なため、メタデータ生成用途用の復号化を行う第２の復号化部２９が必要である。メタデータを生成する場合、キーフレーム抽出部３１は、ＡＶストリーム記録部１６から暗号化されているＡＶストリーム中の指定された時刻または位置のＩピクチャを抽出し、第２の復号化部２９で復号化を行い、メタデータ生成部２０に送る。メタデータ生成部２０は、キーフレームからメタデータを生成し、メタデータ記録読出部２１を経由して、メタデータ記録部２２に書き込みを行う。
【００４４】
この場合、ＡＶストリーム記録部１６に対して、記録、再生、メタデータ抽出の各機能が同時に読み書きをおこなうため、動作遅延の弊害が発生したり、記録映像もしくは再生画像が乱れる等の悪影響を与える可能性がある。また、Ｈ／Ｗの構成上、第２の復号化部２９が用意できない、もしくは、コスト増になるという問題がある。
【００４５】
そこで、図８に示すように入力ストリーム制御部１４からキーフレームのみを抽出し、キーフレーム一時記録部３３に保存し、メタデータ生成部２０がメタデータを生成する時に、所望のキーフレームをキーフレーム一時記録部３３から読み出す構成にする。この場合、入力ストリーム制御部１４から取得するキーフレームは暗号化がかかっていないので、別途復号化部を用意する必要がない。また、キーフレーム一時記録部３３に、少なくとも録画中の番組の、現在の録画経過時間までのキーフレームが記録されているので、所望の時間に対応したメタデータの生成が任意のタイミングで可能である。
【００４６】
次に、メタデータを録画動作と並行して生成する場合における問題点を図９で説明する。図９はキーフレーム一時記録部３３が存在しない場合を示している。この場合は、入力ストリーム制御部１４に接続されたＡＶバッファ２７からキーフレームを直接抽出して、メタデータ生成部２０でメタデータを生成し、メタデータ記録読出部でメタデータを記録する。ここで、ＡＶバッファにビットストリームが書き込まれ、ＨＤＤ等のＡＶストリーム記録部１６に転送される。
【００４７】
ＡＶバッファに対してビットストリームが順次書込まれる状態を図１０に模式化して示す。ここでＡＶストリームはＭＰＥＧ−２とし、ＧＯＰ単位で処理されるものと仮定する。デジタルチューナーやＡＶエンコーダから出力された各ＧＯＰは、ＡＶバッファ２７上に時間順に記録されていく。ここではＧＯＰｎ、ＧＯＰｎ＋１、ＧＯＰｎ＋２、・・・のようにＡＶバッファに順次記録されていくものとする。録画が継続され、ＡＶバッファ２７の残容量がなくなったＧＯＰｎ＋４のところでＧＯＰｎ＋１の位置にＧＯＰｎ＋４が上書きされ、以降、時間順に古いデータから上書きが行われていく。
【００４８】
ＨＤＤ等への転送は当該ＧＯＰに対して、別のＧＯＰデータの上書きが行われるまでに実行されなければならないことは当然であるが、ＡＶバッファ上でＡＶストリームの解析を行う場合は、現在解析しているデータが、新しいデータによって書き換えられてしまうことに留意して行わなければならず、時間的な制約が非常に厳しい。
【００４９】
次に、メタデータを生成するに当たっての制約について図１１を用いて説明する。ＡＶバッファに対するＧＯＰの書込み処理と、ＨＤＤへの転送処理が継続して行われる点に注目すると、メタデータを実時間で処理可能な条件として、各ＧＯＰの記録処理にかかる時間と、当該ＧＯＰに割り当てられたメタデータの生成時間の和が、ＧＯＰの再生時間以下になる必要がある。
【００５０】
このメタデータの生成は、ＪＰＥＧサムネイルの生成を例にとると、ＭＰＥＧ−２のデコードとＪＰＥＧのエンコードを含めると数秒単位の処理時間が必要である。一般的に、放送波で送信されるＭＰＥＧ−２ストリームでは、ＧＯＰの再生時間は約０．５秒である。よって、上記の場合、１ＧＯＰに対してメタデータ生成処理を含めて０．５秒以内に実行完了しなければならない。
【００５１】
さて、メタデータの生成にかかる時間は、各ＧＯＰの処理時間に分けて実行可能であるが、メタデータを生成する場合に、元のデータが存在するか否かが課題である。つまり、ＡＶバッファ２７がリングバッファであり、各ＧＯＰのデータが未来のＧＯＰデータによって上書きされてしまうことによって参照対象のデータが消えてしまうことがある。例えば、ＧＯＰｎ＋１は、次のＧＯＰｎ＋５が書き込まれるまでの間ＡＶバッファ上で有効となる。つまり、ＡＶバッファ２７を直接参照可能な条件として、ＧＯＰｎ＋１に対するメタデータの生成時間は、ＧＯＰｎ＋１がＡＶバッファ上で別のＧＯＰのデータに上書きされるまでの間、つまりＧＯＰｎ＋５が書込まれる前に完了させる必要がある。
【００５２】
ところが、ＭＰＥＧ−２の映像からＪＰＥＧのサムネイルを生成することには、ＧＯＰの処理に許される時間内に間に合うことも、また、対象とするＧＯＰがＡＶバッファ２７に滞在する時間内に完了することも難しい場合がある。
【００５３】
そこで、図１および図８で示したようにキーフレームを一時的に蓄積することによって上記問題を解決できることを、図１２のシーケンス図を用いて説明する。ここでは、ＡＶストリームの転送単位をＧＯＰとし、全てのＧＯＰのキーフレームをキーフレーム一時記録部３３に記録するものとする。また、ここで説明するのは、録画が開始された以降の定常的な録画継続状態における任意の時間におけるあるＧＯＰ単位の録画処理である。入力ストリーム制御部１４がＧＯＰｎを検出すると（Ｓ１０１）、ＡＶストリーム記録部１６にＧＯＰｎの転送を行う（Ｓ１０２）。次に、ＧＯＰｎがＡＶストリーム記録部１６に転送されたことと、ＧＯＰの先頭からのアドレス、サイズ、録画開始からの経過時間、キーフレームのアドレス、サイズ等を録画制御部１０に通知する（Ｓ１０３）。
【００５４】
録画制御部１０は、キーフレーム抽出部３１に対して、キーフレームｎの抽出要求を行う（Ｓ１０４）。このキーフレームｎの抽出要求には抽出すべきキーフレームのアドレスとサイズ情報が含まれる。キーフレーム抽出部３１は、録画制御部１０から送られたキーフレームの情報を元にして、入力ストリーム制御部１４を通じて所望のキーフレームｎの抽出を実行する（Ｓ１０５）。次に、キーフレーム一時記録部３３に抽出したキーフレームｎの書込みを行う（Ｓ１０６）。以降、入力ストリーム制御部１４が各ＧＯＰの検出を行うたびに、録画動作が終了するまで、上記動作が繰り返される（Ｓ１２１からＳ１４６）。
【００５５】
次に、メタデータの抽出について説明する。例えば、本映像記録再生装置が録画開始からの周期的な時間経過とともに、メタデータを生成する仕様であるとする。その場合、録画制御部１０は、時間の周期的なタイマーを元に、メタデータ生成実行のトリガーをかける。録画制御部１０は、メタデータ生成部２０に対して、ＧＯＰｎに対するメタデータ生成の指示を出す（Ｓ１１０）。メタデータ生成部２０は、キーフレームファイルテーブルの情報を元に、キーフレームｎをキーフレーム一時記録部３３から読み出す(Ｓ１１１)。
【００５６】
メタデータ生成部２０は、取得したキーフレームを元に、例えば図５で示した方法によってメタデータであるサムネイル画像を生成する。メタデータの生成は、録画処理と無関係に動作可能であり、どのタイミングでメタデータの生成を開始するか、あるいはメタデータの生成に掛かる時間がどれだけ掛かるかということは、本来の録画動作やキーフレーム抽出処理に対して影響を及ぼさない。また、キーフレームを処理する動作についても、キーフレームｎの書込み（Ｓ１０６）の後に、キーフレームｎ（Ｓ１１１）の読込みを行う、という手順さえ守られていれば特に問題は発生しない。
【００５７】
上記のように、キーフレームをキーフレーム抽出部３１で抽出し、キーフレーム一時記録部３３に記録しておくことで、録画処理とメタデータの抽出処理とを独立させて動作させることができる。これによって、処理能力の高くないＣＰＵやシステム構成であったとしても、録画動作中に容易にメタデータの抽出が可能となる。また、メタデータの生成に関しては、ＡＶストリーム記録部１６に対してアクセスを行わないので、ＡＶストリーム記録部１６に対して負荷を強いることなく、結果として安定的な記録および同時実行される可能性のある再生処理についても安定的に実行できる。
【００５８】
次に、図１３を使って、キーフレーム抽出処理と、メタデータ生成処理の関係を示す。Ｓ２００は、入力ストリーム制御部１４で動作するＧＯＰ転送スレッドの処理を示している。録画が開始すると（Ｓ２０１）、デジタルチューナー３やＡＶエンコーダ１２からのＧＯＰの入力待ちに入る（Ｓ２０２）。ＧＯＰのデータが入力ストリーム制御部１４に入ると、当該ＧＯＰのデータ位置、サイズ、時刻情報、当該ＧＯＰ内のＩピクチャのサイズ、位置等ＧＯＰの情報取得を行う（Ｓ２０３）。次に、当該ＧＯＰデータをＡＶストリーム記録部１６に対して書込み処理を行う（Ｓ２０４）。次に、当該ＧＯＰがＡＶストリーム記録部１６に転送されたことを録画制御部１０内の録画制御スレッドに非同期メッセージ通信を用いて通知する（Ｓ２０５）。ＧＯＰの転送通知を終えると、再びＧＯＰ入力待ち状態に入る（Ｓ２０２）。
【００５９】
次に、録画制御部１０内の録画制御スレッドの処理（Ｓ２１０）について説明する。録画が開始すると（Ｓ２１１）、入力ストリーム制御部１４からのＧＯＰ転送通知待ちに入る（Ｓ２１２）。ここで入力ストリーム制御部１４からのＧＯＰ転送通知を受け取ると、当該ＧＯＰからキーフレームを抽出するか否かの判定を行う（Ｓ２１３）。キーフレームを抽出すると判定するとキーフレーム抽出要求をキーフレーム抽出部３１のキーフレーム抽出スレッド（Ｓ２２０）に非同期メッセージ通信を用いて送信する（Ｓ２１４）。
【００６０】
キーフレーム抽出要求処理が完了するか、キーフレーム抽出判定においてキーフレーム抽出が不要と判定されれば、次にメタデータの生成を行うか否かの判定を行う（Ｓ２１５）。メタデータの判定条件に一致すればメタデータの生成をメタデータ生成部２０のメタデータ生成スレッド（Ｓ２３０）に非同期メッセージ通信を用いて送る。メタデータ生成スレッドに対するメタデータ生成指示が完了するか、メタデータ生成判定でメタデータ生成が不要と判断されれば、再度入力ストリーム制御部１４のＧＯＰ転送スレッドからのＧＯＰ転送通知待ちに入る（Ｓ２１２）。
【００６１】
次に、キーフレーム抽出部３１のキーフレーム抽出スレッド（Ｓ２２０）の説明を行う。録画が開始すると（Ｓ２２１）、録画制御部１０内の録画制御スレッドの処理（Ｓ２１０）からのキーフレーム抽出要求の待ちに入る（Ｓ２２２）。キーフレーム抽出要求を非同期メッセージ通信機構から受け取ると、ＡＶバッファ２７からキーフレームを抽出し（Ｓ２２３）、抽出したキーフレームをキーフレーム一時記録部３３のキーフレームファイルの最後尾に書込む（Ｓ２２４）。この後再度、録画制御部１０内の録画制御スレッド（Ｓ２１０）からのキーフレーム抽出要求の待ちに戻る。
【００６２】
次に、メタデータ生成部２０におけるメタデータ生成スレッド（Ｓ２３０）について説明を行う。録画が開始すると（Ｓ２３１）、録画制御部１０内の録画制御スレッド（Ｓ２１０）からのメタデータ生成指示を待つ（Ｓ２３２）。録画制御スレッド（Ｓ２１０）からのメタデータ生成指示要求を非同期メッセージ通信機構を経由して受け取ると、キーフレーム一時記録部３３のキーフレームファイルから該当するキーフレームのデータを読出す（Ｓ２３３）。次に、このキーフレームのデータを用いてメタデータを生成し（Ｓ２３４）、生成したメタデータをメタデータ記録部２２内にメタデータ毎にファイルとして書込む（Ｓ２３５）。
【００６３】
ここで、キーフレーム抽出部３１のキーフレーム抽出処理（Ｓ２２０）と、メタデータ生成部２０のメタデータ生成スレッド（Ｓ２３０）の間には、処理の手順の前後関係はなく、メタデータ生成スレッド（Ｓ２３０）があるキーフレームのメタデータを生成する場合において、当該キーフレームが既にキーフレーム一時記録部３３に記録されている必要がある、という制約条件が存在するのみである。
【００６４】
さらには、メタデータ生成スレッドは、入力ストリーム制御部１４におけるＧＯＰ転送スレッド（Ｓ２００）や、録画制御部１０における録画制御スレッド（Ｓ２１０）との間にも非同期なメッセージ通信の関係があるのみで、メタデータ生成スレッド（Ｓ２３０）の進捗によって、ＧＯＰ転送スレッド（Ｓ２００）、録画制御スレッド（Ｓ２１０）、キーフレーム抽出スレッド（Ｓ２２１）の処理が遅延したり、処理が待たされるといった弊害を生じない。これは、メタデータ生成スレッドが直接ＡＶバッファを参照することはせず、一旦キーフレーム一時記録部３３に保存することによって、記録ストリームの保存処理から切り離して動作することを可能としたことによって成立している。
【００６５】
そのため、映像記録再生装置本来の録画処理を妨げることなく、また処理能力の低いＣＰＵによって本映像記録再生装置のソフトウェアを動作させる必要な場合や、システム全体の能力が低い場合であったとしても、録画動作と並行して、メタデータの生成が可能である。
【００６６】
また、メタデータ生成スレッド（Ｓ２３０）が、ＧＯＰ転送スレッド（Ｓ２００）、録画制御スレッド（Ｓ２１０）、キーフレーム抽出スレッド（Ｓ２２１）と独立して動作可能なため、メタデータ生成に処理負荷の高い処理を行ったとしても、録画動作に影響を与えることがないので、メタデータ生成処理として、時間のかかる処理や高負荷な処理を組み込むことができる。これによって、映像記録装置として高付加価値な機能を提供することができる。
【００６７】
次に、図１４を使って、ＣＰＵの負荷の観点から説明を行う。図１４（ａ）は、メタデータを生成する場合に用いるキーフレームをＡＶストリーム記録部１６から抽出する場合を示す。一方、（ｂ）は入力ストリーム制御部１４（もしくはＡＶバッファ２７）からキーフレームを抽出する場合を示している。（ａ）で示すように、キーフレームをＡＶストリーム記録部１６から読み出す場合、ＣＰＵは所望するキーフレームのサーチを行い、見つかれば、そのビットストリームをＡＶストリーム記録部１６から読出し、メタデータの生成と、できたメタデータの書込み処理を行う。このとき、キーフレームのサーチと、ＡＶストリーム記録部１６からキーフレームを読み出す処理にシステム負荷がかかっていることがわかる。
【００６８】
一方、キーフレームを入力ストリーム制御部から読み出した場合が（ｂ）であり、ＡＶバッファからキーフレームを読出し、キーフレーム一時記憶部に一旦記録しておき、別のイベントが発生するとそのキーフレーム一時記録部３３から再度読み出し、メタデータ生成とメタデータの書込みを行う。このときＡＶバッファからキーフレームの抽出とキーフレーム一時記録部３３へのキーフレームの書込みにおけるシステム負荷は、書込み対象がＧＯＰデータに対して比較的容量の少ないキーフレームであることと、ＡＶバッファ２７に用いられるメモリが実際は高速な伝送帯域を有するメモリを使用するために、大きな負荷上昇は発生しない。また、メタデータの生成時にキーフレームを読込む場合も、ＧＯＰに比べれば比較的小さなサイズのデータなので、大きな負荷変動を伴なうことがない。
【００６９】
次に、シーケンス図を用いて動作を説明する。図１５は、録画開始処理のシーケンスを示す。システム制御部２から録画開始の要求が録画制御部１０に送られると（Ｓ５００）、録画制御部１０は、キーフレーム抽出制御部３０に対して、キーフレーム抽出初期化処理を要求する（Ｓ５０１）。キーフレーム抽出制御部３０は、キーフレーム抽出部３１の初期化処理（Ｓ５０２）を実行し、さらにキーフレーム抽出部３１は、キーフレーム記録管理部３４の初期化処理（Ｓ５０３）を実行する。キーフレーム記録管理部３４の初期化処理ではキーフレームファイルのファイル生成とファイルアクセス権の設定や、ファイルとしてデータを扱うためのメモリ空間が確保される（いわゆるファイルオープン処理）。
【００７０】
次いで録画制御部１０は、メタデータ生成制御部１８のメタデータ抽出初期化処理（Ｓ５０４）を実行する。メタデータ生成制御部１８は、メタデータ生成部２０の初期化処理（Ｓ５０５）を実行し、メタデータ生成部２０は、メタデータ記録読出部２１の初期化処理（Ｓ５０６）を実行する。次に、録画制御部１０は、ＡＶストリーム記録部１６に対してＡＶストリームファイルの生成および、ＡＶストリームファイルに対してアクセスの利便性を高めるためのアドレスマップファイルを生成する（Ｓ５０７）。その後、入力ストリーム制御１４に対して、ＡＶストリーム記録部へのビットストリームの転送を開始する（Ｓ５０８）。
【００７１】
次に録画中の動作について図１６を用いて説明する。ここでは、ＡＶストリームの転送単位をＧＯＰとし、録画番組のある時間位置に、エントリーと呼ばれるアクセスポイントの設定（いわゆるチャプター）と、エントリーに対応したメタデータとしてサムネイル画像を生成するものとする。録画状態が継続していると入力ストリーム制御部１４に新たなＧＯＰが入力されるとＧＯＰ検出が行われ（Ｓ６００）、当該ＧＯＰのアドレスマップ情報が生成される（Ｓ６０１）。次に検出されたＧＯＰをＡＶストリーム記録部１６に記録するとともに、当該ＧＯＰに対応するアドレスマップを既に記録されているアドレスマップに追記する（Ｓ６０２）。
【００７２】
入力ストリーム制御部１４は、録画制御部１０に対して、ＡＶストリーム記録部１６にＧＯＰの記録が完了したことと、記録したＧＯＰの情報を通知する（Ｓ６０３）。録画制御部１０は、システム制御部２に対して、例えば録画継続時間等のシステムにおける録画に関する情報を通知する（Ｓ６０４）。次に、エントリーを生成する条件が整った状態で、システム制御部２が録画制御部１０に対して、エントリー生成要求（Ｓ６０５）を行った場合の処理について説明する。エントリー生成要求（Ｓ６０５）を受け取った録画制御部１０は、エントリー情報と時間的に一致するキーフレームの抽出をキーフレーム抽出制御部３０に要求する（Ｓ６０６）。
【００７３】
キーフレーム抽出制御部３０は、該当するキーフレームのＡＶバッファ上におけるアドレスとサイズを取得するためＡＶバッファ上のデータやアドレス管理を行う入力ストリーム制御部１４に対して、当該キーフレームのアドレス情報やサイズ情報を要求する（Ｓ６０７）。キーフレーム抽出制御部３０は、キーフレーム抽出部３１に対して、当該キーフレームを取得するように指示する（Ｓ６０８）。
【００７４】
この際に上記で取得したキーフレームに関する情報をキーフレーム抽出部３１に送る。キーフレーム抽出部３１は、キーフレーム抽出制御部３０からもらったキーフレームのアドレスおよびサイズ情報を元に、入力ストリーム制御１４から該当するキーフレームを取得し（Ｓ６０９）、キーフレーム記録管理部３４を経由して、図示しないがキーフレーム一時記録部３３にキーフレームを記録する（Ｓ６１０）。
【００７５】
録画制御部１０は、メタデータ生成制御部１８に対して、メタデータ抽出を要求する（Ｓ６１１）。メタデータ生成制御部１８は、メタデータ生成の条件が整っていること（例えば対応するキーフレームがキーフレーム一時記録部３３に存在するか等）を確認し、メタデータ生成部２０に対して、対応するメタデータを生成するように指示を行う（Ｓ６１２）。ここでメタデータであるサムネイルを生成するためにはＭＥＰＧ−２のデコード処理と、ＪＰＥＧのエンコード処理が必要であり、画素サイズ、ビットレートやＣＰＵの処理能力によって、処理に要する時間は一定しないが数秒以上の時間を要することから、１つのサムネイルを生成するために、専用のスレッドを起動することとする。
【００７６】
メタデータ生成部２０は、サムネイルを生成するために専用のスレッドを起動する（Ｓ６１３）。起動されたメタデータ生成スレッドは、まず対応するキーフレームを、キーフレーム記録管理部を経由して、キーフレーム一時記録部３３から取得する（Ｓ６１４）。次にメタデータの生成処理（Ｓ６１５）を開始する。
【００７７】
ここではメタデータの生成に数秒以上かかるとしているため、処理の完了に時間を要するが、本処理はメタデータ生成スレッドとして独立した動作になっているので、録画制御部１０が実行する録画処理を妨げることはない。数秒経過した後に、メタデータであるサムネイル画像ができると、当該メタデータであるサムネイル画像ファイルをメタデータ記録読出部２１に記録を行う。
【００７８】
メタデータの生成と記録が完了する（Ｓ６１６）と、このメタデータ生成スレッドは自らを破棄するか、次のメタデータ生成要求に備えてスリープ状態に入る。一方、録画制御部１０は、アクセスポイントであるアドレス位置情報、時間情報、およびサムネイル画像のファイル名からなるエントリー情報を作成し（Ｓ６１７）、エントリー生成処理を完了する。
【００７９】
上記のように、録画状態が継続している中においても、ビットストリームのＧＯＰデータに対するＡＶストリーム記録部１６への記録処理と、メタデータ生成のためのキーフレームアクセスを独立化し、さらにキーフレームからメタデータ生成も独立化することによって、録画処理に悪影響を与えることなく、メタデータの生成を行うことができる。
【００８０】
特に、本処理は低速なＣＰＵや、処理能力の低いシステム、またメタデータの生成負荷が高い、もしくはメタデータの生成に秒オーダー以上の処理時間を必要とする場合に有効である。
【００８１】
最後に、図１７を用いて録画終了の動作を説明する。システム制御部２から録画制御部１０に録画終了の要求があると（Ｓ７００）、録画制御部１０は、入力ストリーム制御部１４に対してストリームの転送処理の終了を指示する（Ｓ７０１）。すると以降、ＡＶストリーム記録部１６に対してデータの転送が行われなくなる。ついで、メタデータの生成処理をとめるために、メタデータ生成制御部１８に対してメタデータ抽出終了を要求する（Ｓ７０３）。メタデータ生成制御部１８は、メタデータ生成部２０に対して終了処理を要求する（Ｓ７０４）。
【００８２】
メタデータ生成部２０は、動作しているスレッドがあれば、停止させ全てのメタデータ生成処理を完了させる。さらにメタデータ記録読出部２１に対して、書込み途中のファイルがあれば書込み完了するように指示を行うとともに、ファイル操作の処理を完了させる（Ｓ７０５）。次に、録画制御部１０は、キーフレーム抽出制御部３０に対して、キーフレーム抽出処理の終了を指示する（Ｓ７０６）。キーフレーム抽出制御部３０は、キーフレーム抽出部３１に対して、実行しているキーフレームの抽出処理があれば中断するように指示を行い、全てのキーフレーム抽出処理を完了させる（Ｓ７０７）。
【００８３】
さらにキーフレーム抽出部３１は、キーフレーム記録読出部３２に対して終了処理を要求し（Ｓ７０８）、終了処理を要求されたキーフレーム記録読出部３２は、キーフレームの書込みや読出し処理を中断し、全てのキーフレームファイルに対するアクセスを止めたところで、当該キーフレームファイルの削除を行う。また、キーフレームファイルにおける各キーフレームのアドレスやサイズ、時間情報を管理するキーフレームファイルテーブルも同時に削除する。キーフレームファイルおよびキーフレームファイルテーブルは、録画実行中のみ存在し、録画終了とともに削除を行う。
【００８４】
これによって、録画中は入力ストリーム制御部１４、ＡＶバッファ２７、ＡＶストリーム記録部１６等のＡＶストリームの実体、および実体にアクセス可能な要素の状態によらず、キーフレームの情報を取得することができ、一方で、録画が終了し、不要になった時点で削除することによって、キーフレーム一時記録部３３のデータ領域の削減に貢献できる。特に、メタデータ生成を目的として、キーフレームのみを記録する構成を取っているために、冗長なデータが少なく、かつ１つのフレーム情報で、１つの独立した画像情報が生成することが可能である。
【００８５】
以上において説明した本実施の形態に関る映像音声記録再生装置１００は、記録対象となるＡＶストリームからキーフレームを抽出するキーフレーム抽出部３１と、抽出したキーフレームを一時的に記録するキーフレーム一時記録部３３と、メタデータを生成するメタデータ生成部２０と、生成したメタデータを保存するメタデータ記録部２２を有し、メタデータ生成部２０がメタデータ生成を行う任意のタイミングでメタデータを抽出可能なので、メタデータを高速に生成する必要がない。よって、比較的処理能力の低いＣＰＵやシステム構成であったとしても、ＡＶストリームの録画処理の実行と並行して、メタデータの生成が可能とである。
【００８６】
また、メタデータ生成において参照するデータであるＡＶストリームの一部であるキーフレームを、キーフレーム一時記録部３３に記録している。そのため、メタデータ生成の実行時に、ＡＶストリームのデータを参照する必要があっても、ＡＶストリーム記録部１６にアクセスする必要がなく、キーフレーム一時記録部３３から読出しを行えばよいので、本来のＡＶストリーム記録部１６の記録動作に対して、妨害をすることがないので、ＡＶストリーム記録部１６の主目的であるＡＶストリームの記録動作を正常に継続することが可能である。
【００８７】
さらには、ＡＶストリーム記録部１６がメタデータ生成のためにＡＶストリームの読出しを行う必要がないため、処理能力の低いＡＶストリーム記録部１６で構成が可能である。実質的には、ＡＶストリーム記録部１６は、ＨＤＤやフラッシュメモリで構成されるために、転送帯域の低い低価格なＨＤＤやフラッシュメモリを用いることが可能である。また、ＨＤＤの高寿命化や、低消費電力化にも有効である。
【００８８】
また、入力ストリーム制御部１４からキーフレームの抽出を行うことによって、録画もしくは本映像音声記録再生装置１００内での再記録（例えば、レート変換記録）を行う場合に、録画動作と並行して実施することができる。これは、入力ストリーム制御部１４がＡＶストリーム記録部１６へのデータ転送と転送データのアドレス管理機能を有することを利用し、キーフレーム抽出部３１と接続することによって、任意のキーフレームの抽出が可能となるためである。またキーフレームを抜き出すだけではなく、アドレス管理機能から抜き出したキーフレームの抜き出した後のアドレス情報（ここでは、キーフレームファイルテーブル）を作成が可能である。このアドレス情報によって抽出した複数のキーフレームの個別認識が可能となる。
【００８９】
また、キーフレーム一時記録部３３は、録画開始に、キーフレームファイルを生成し、キーフレームが検出される毎に、キーフレームファイルに追記し、さらに録画終了時にキーフレームファイルを削除する、といった、一時的な記憶を行うので、録画を複数回実行したとしてもキーフレームファイルの数および総サイズが増えることがないため、キーフレーム一時記録部３３のサイズを大きく取る必要がなく、コスト面やファイルアクセスの負荷において有利である。
【００９０】
また、本実施の形態では、キーフレームの保存形態として、複数のキーフレームを１つのファイルに結合して保存しているが、各キーフレームで別のファイルとして保存してもよい。また録画単位でひとつのディレクトリを形成し、その中に各キーフレームファイルを保存してもよい。
【００９１】
上記のように、１つのキーフレームに対して１つのファイルを形成する場合において、任意のメタデータの生成に使用された対応するキーフレームファイルについては、メタデータが生成された時点で削除してもかまわない。これによって、メタデータ一時記録部３３の容量を削減することができる。
【００９２】
また、キーフレーム一時記録部３３は、ＳＤＲＡＭなどの揮発媒体を使用しても、ＨＤＤやフラッシュメモリなどの不揮発媒体を使用してもかまわない。揮発媒体を利用するとキーフレーム情報を高速に書込み、読出しが可能である。不揮発媒体であれば、コスト面で有利であり、また停電等が発生したとしても、その後復帰したときに不揮発媒体に残っている情報からメタデータを生成することが可能である。
【００９３】
本実施の形態では、ＡＶストリーム記録部１６と、キーフレーム一時記録部３３を別個体としているが、これによってそれぞれに最適な記憶媒体とスペックを策定することができ、コストパフォーマンスのよいシステムを構築することができる。
【００９４】
また、逆にＡＶストリーム記録部１６と、キーフレーム一時記録部３３を１つの大きなＨＤＤ上に構築する等、ひとつの記憶媒体に集約することによって、コスト削減が可能である。その場合、ＡＶストリーム記録部１６と、キーフレーム一時記録部３３の領域をパーティションで分断する等の処置を講ずるほうが好ましい。ただし、一体にする場合は、パーティションで区切るなどの実装的な差異を制限するものではない。
【００９５】
また、１つの大きなＨＤＤにＡＶストリーム記録部１６と、キーフレーム一時記録部３３を兼用した場合であっても、大容量のデータを高速に書込む必要があるＡＶストリーム記録部１６にはＤＭＡ機能を割り当てることによって、ＣＰＵにおけるストリーム転送負荷を低減し、一方で書き込みおよび読み出しするデータサイズが小さく、高速な処理が必要でないキーフレーム一時記録部３３向けには、ＣＰＵを使った書き込みおよび読み出し処理を割り当てるように構成してもよい。
【００９６】
また、システムに対する負荷上昇を抑制するために、キーフレーム抽出制御部３０において、キーフレーム抽出の間引き処理を行っても良い。これによって、システム能力を加味したメタデータ生成が実現でき、安定した記録動作とメタデータ生成動作が可能となる。
【００９７】
また、キーフレームの抽出は所定の時間周期で行っても良い。この場合、キーフレーム抽出を実行する判断基準が単純になり、実装処理の簡素化、不良事象の発生抑制、実行判断基準の簡素化によるシステム負荷の抑制が可能である。
【００９８】
また、キーフレーム抽出を、ユーザーからのキー操作をトリガーとして実行してもよい。これによって、ユーザーの嗜好に沿ったメタデータの生成と、キーフレーム抽出およびメタデータ生成の判断基準の簡素化が可能である。
【００９９】
また、生成されたメタデータはＡＶストリーム記録部１６に記録されたＡＶストリームと関連付けるためのタイトルＩＤ等を同時に記録しておくことによって、録画した番組の再生時にメタデータを画面上に表示して再生することができる。さらには、ユーザーがリモコンを使って、画面上に表示されたメタデータを選択することによって、選択したメタデータが有する時間情報に対応した位置から再生を実行することが可能である。
【０１００】
また、キーフレーム一時記録部３３に記録する形式として、複数のキーフレームデータを一つのファイルにすることによって、データすなわちファイルの個体管理（ファイルＩＤやファイル名の管理）や、頻繁なファイルオープン／クローズ処理を行う必要がなく、プログラムサイズや、実行速度の面で有利である。また、万一、本映像音声記録再生装置１００が録画動作実行中にハングアップし、それによって録画終了時もしくは電源オフ時に実行されるべき不要キーフレームデータの削除処理が実行できず、その結果、キーフレームデータのファイルが残った場合でも、キーフレームファイルの数やファイル名が固定値になるので、再起動時に不要なキーフレームデータのファイルを簡単に検出して削除することができる。
【０１０１】
本実施の形態では、ＡＶストリームから抽出するデータとしてキーフレームについて説明したが、キーフレーム以外も含めてＡＶストリームから抽出して一時的に保存しておくデータは、それ自身が独立して再生や表示が可能であり、また圧縮、符号化、暗号化が行われていれば元に復元できることが重要である。例えば、ＡＶストリーム中にあるＥＰＧ（ＥＬｅｃｔｉｃ Ｐｒｏｇｒａｍ Ｇｕｉｄｅ）を一時的に保存し、そこから文字や図形などのメタデータを生成してもかまわない。これによって、例えば放送番組のシーン毎にシーンに対応したデータが埋め込まれているような場合、本データをキーフレーム抽出部３１で抽出し、キーフレーム一時記録部３３に録画が終了するまで保存し、さらにメタデータ生成部でメタデータ化し、メタデータ記録部２２で保存することによって、再生時にシーンの特定を行う場合に使用することができる。
【０１０２】
本実施の形態では、メタデータとしてサムネイルをあげているが、特にサムネイルに限定するものではない。例えば、音声情報から人の声や、音楽、特徴的な音を抽出してもよい。また映像においても、元の映像から抽出した人物画や、部分的なカット映像や複数の画像を組合した画像等、元のＡＶストリームをなんらかの形で利用してもよい。
【０１０３】
また、本実施の形態では、圧縮符号化された映像音声データを扱っているが、圧縮符号化される前のデータであってもよい。
【０１０４】
また、本発明に記録に関係するチューナー３および４、ＡＶエンコーダ７、入力ストリーム制御８、ＡＶストリーム記録部１７は従来のものを流用して構成することができるため、従来の映像音声記録再生装置に容易に適用することができる。
【０１０５】
なお、本実施の形態にかかわる映像音声記録再生装置１００は、再生機能を有しているが、記録機能のみを有する記録装置であってもよい。このような記録装置は、記録したＡＶストリーム、再生制御情報、メタデータを外部に出力するインターフェース機能を設けることにより実現することができる。また、こうしたインターフェースから出力されたデータ、もしくはデータが記録された媒体を用いて、本実施の形態に関る再生機能を有する再生装置を構成してもよい。
【０１０６】
実施の形態２．
図１８は、本発明の実施の形態２に関る映像音声記録再生装置１０１の構成を示すブロック図である。本実施の形態に関る映像音声記録再生装置１０１は、図１に示す映像音声記録再生装置１００に対して、ストリーム解析部３５を備えたことを特徴とする。
【０１０７】
本実施の形態において、ストリーム解析部３５は、録画実行時に入力ストリーム制御部１４から記録されるＡＶストリームを抽出し、その映像もしくは音声の解析を行い、その解析結果をキーフレーム抽出制御部３０や、メタデータ生成制御部１８に対して送信し、キーフレーム抽出制御部３０やメタデータ生成制御部１８がそれぞれの判定基準でキーフレームもしくはメタデータの生成を行う点が実施の形態１との差である。
【０１０８】
本実施の形態においては、ネットワークからＭＰＥＧ−２ Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ（以下ＴＳ）をＨＴＴＰプロトコルで受信し、受信したＴＳをＡＶストリーム記録部１６に記録するものとする。ネットワークから受信したＴＳストリームにはハイビジョンのＭＰＥＧ−２ビデオストリームとＡＡＣストリームが多重されているものとする。また、ここで生成するメタデータはビットマップ形式のサムネイル画像とする。
【０１０９】
入力ストリーム制御部１４は、入力されたＴＳストリームをＡＶバッファに一旦保存し、ＡＶバッファ上で、ＭＰＥＧ−２のＧＯＰの位置、サイズ、およびＩピクチャの位置とサイズの検出を行う。さらに、図示しないが入力ストリーム制御部１４に内蔵されＤＭＡ機構によってＨＤＤによって構成されるＡＶストリーム記録部１６に転送を行う。また、ＧＯＰの検出と当該ＧＯＰのＡＶストリーム記録部１６への転送が完了すると、録画制御部１０とストリーム解析部３５に、転送が完了したＧＯＰの位置、サイズまたＩピクチャの位置とサイズ情報を転送する。
【０１１０】
ＧＯＰの転送通知を受け取ったストリーム解析部３５は、受け取ったＩピクチャの情報を使い、入力ストリーム制御部１４からＩピクチャのデータを抽出する。ここでストリーム解析部３５は、ＭＰＥＧ−２のデコード処理と、デコード映像から映像の特徴分析を行う機能を有する。これによって、入力ストリーム制御部１４から受け取ったＩピクチャをデコードし、さらに以前にデコードしておいた画像との差分を求め、その差分値が予め設定しておいた閾値を超えていればシーンチェンジが発生したと判断する。さらに、以前に解析した複数の画像データを参照し、１つ以上の画像を類似画像と判断できたならチャプターが発生したと判断する機能も有する。
【０１１１】
シーンチェンジが発生した場合、シーンチェンジが発生したというイベントと、シーンチェンジの程度を表す差分値をキーフレーム抽出制御部３０とメタデータ生成制御部１８に送り込む。キーフレーム抽出制御部３０は、ストリーム解析部３０からのシーンチェンジ発生イベントと差分値を元にキーフレーム抽出処理を行うか否かを決める。キーフレーム抽出の条件を満たせば、キーフレーム抽出部３１に対して、キーフレーム抽出の指示を出す。以降のキーフレーム抽出処理は実施の形態１と同じである。
【０１１２】
一方、チャプター発生イベントを受け取ったメタデータ生成制御部１８は、キーフレーム一時記録部３３内に、指定されたフレームに対応するキーフレームがあるか、そうでなければ指定フレームの近傍時間にキーフレームが存在するかを確認する。対応するキーフレームが存在すれば、メタデータ生成部２０に対して、メタデータ生成の要求と、対象となるキーフレームの情報を送る。メタデータ生成部２０は、指定されたメタデータをキーフレーム一時記録部３３から読み取り、ＭＰＥＧ−２のデコード処理を行い、デコードされた画像をビットマップフォーマットとして出力する。メタデータ記録読出部２１は、メタデータ生成部２０が生成したビットマップデータをメタデータ記録部２２に保存する。
【０１１３】
上記のように、ＡＶストリームをストリーム解析部３５で解析し、その解析結果に応じてキーフレームとメタデータの生成を制御することによって、ＡＶストリームの映像状態に応じてキーフレーム抽出と、メタデータ抽出が行える。これによって記録した映像音声の映像内容に応じたメタデータを生成することが可能である。またキーフレーム抽出は、実際の映像がシーンチェンジしたときのみキーフレーム抽出を行うことができるので、不要なキーフレームを抽出することがなく、システムの負荷低減、キーフレーム一時記録部３３の容量縮小に貢献することができる。
【０１１４】
ここで、キーフレーム一時記録部３３におけるデータサイズについて説明する。ＢＳデジタル放送を記録する場合、２４Ｍｂｐｓの転送レートでＡＶストリームがＡＶストリーム記録部１６に記録される。このとき入力ストリーム制御部１４がＡＶバッファ２７からキーフレームであるＩピクチャを抽出する。このときキーフレーム一時記録部３３のキーフレームファイルは、約１Ｍバイト／秒で容量が増える。つまり、録画番組長を２時間とすれば７．２Ｇバイト、一般的な家庭用レコーダの最大録画時間である８時間であれば２８．８Ｇバイトの容量が必要になる。ところが、本実施の形態で示すようにシーンチェンジの発生のときのみキーフレームを保存し、１つのシーンの一般的な長さが５秒以上であることに対応して５秒毎に１つのＩピクチャを記録すると仮定すれば、２時間番組であれば、０．７２Ｇバイト、８時間であれば２．８８Ｇバイトの容量に削減することができる。
【０１１５】
次に、図１９を用いて、ストリーム解析部３５を有する映像記録再生装置の録画動作について説明する。映像記録再生装置１０１において録画状態が継続していると、入力ストリーム制御部１４でＧＯＰの検出処理が行われる。ここでＧＯＰｎの検出が行われると（Ｓ８００）、ＧＯＰｎのアドレスマップが生成される（Ｓ８０１）。次に、本ＧＯＰｎのＡＶストリーム記録部１６への転送において、図示しないがＤＭＡの機構を使って、ＧＯＰｎがＡＶストリーム記録部１６へと転送が行われる（Ｓ８０２）。このとき同時にＧＯＰｎのアドレスマップが、既にＡＶストリーム記録部１６上に存在するＧＯＰｎより前までのアドレスマップに追記される。ＧＯＰｎの転送処理が完了すると録画制御部１０に対してＧＯＰｎの書込みが完了したことが通知される（Ｓ８０３）。さらにシステム制御部には現在の録画経過時刻等の録画情報が通知される（Ｓ８０４）。一方で、ＧＯＰｎの転送通知は、ストリーム解析部３５にも通知される（Ｓ８０５）。
【０１１６】
ストリーム解析部３５は、ＧＯＰｎの転送通知を受け取ると、ＧＯＰｎのキーフレームを入力ストリーム制御部１４から受け取る（Ｓ８０６）。次に図示しないが、キーフレームであるＩピクチャのデコード処理を行うとともに、前フレームとの差分を取り、その差分値が予め設定された閾値以上であれば、シーンチェンジと判定する。また、ストリーム解析部３５は、ＧＯＰｎより以前を画像データもしくは画像の特徴データを少なくとも２つ以上内部に蓄積しており、蓄積している画像間の相関性を調べ、相関性が極めて低くなる区間を見つける機能を有する。例えば、ＧＯＰｍ−１とＧＯＰｍの間で相関性が著しく低くなったと判断されたとすると、ＧＯＰｍの位置にチャプターが存在すると判定する。
【０１１７】
ＧＯＰｎにおいてシーンチェンジが発生したとすると、キーフレーム抽出制御部３０に対してシーンチェンジが発生したことを示すイベントと、シーンチェンジの程度を示す差分値を送る（Ｓ８０７）。キーフレーム抽出制御部３０は、差分値が適切か、ＧＯＰｎの時刻情報が正しいかを検証し(Ｓ８０８)、キーフレームの取得が可能と判断すればキーフレーム抽出部３１に対して、指定時刻のキーフレームを取得するように指示を行う（Ｓ８０９）。キーフレーム抽出部３１は、入力ストリーム制御部１４から対応するキーフレームを取得し（Ｓ８１０）、取得したキーフレームをキーフレーム記録管理部３２に書込みを依頼する。キーフレーム記録管理部３２は図示しないキーフレーム一時記録部にＧＯＰｎのキーフレームを書き込む(Ｓ８１１)。
【０１１８】
さて、ストリーム解析部３５は、シーンチェンジを検出したと時を同じくして、ＧＯＰｎより以前のＧＯＰｍにおいて画像間相関性が著しく低くなっていることを検出したとする。するとストリーム制御部３５は、自分自身の別スレッドに対して、ＧＯＰｍにチャプターが検出されたことを通知する（Ｓ８１２）。ストリーム解析部３５内の別スレッドは、ＧＯＰｍにおけるチャプター検出イベントを受け取り、次いでメタデータ生成制御部１８に対してチャプター発生イベントを送信する（Ｓ８１３）。メタデータ生成制御部１８は、ＧＯＰｍに対応するキーフレームがキーフレーム記録管理部３２内のキーフレーム一時記録部３３に保存されているか否かを判定し、存在すればメタデータ生成部２０に対してメタデータ抽出を指示する（Ｓ８１４）。
【０１１９】
メタデータ生成部２０は、メタデータ生成スレッドを起動し（Ｓ８１５）、ＧＯＰｍのキーフレームを抽出し（Ｓ８１６）、抽出したキーフレームからメタデータであるビットマップフォーマットのサムネイル画像の生成を行う（Ｓ８１７）。サムネイル画像の生成が完了するとメタデータ記録読出部２１内のメタデータ記録部２２にメタデータの書込みを依頼する（Ｓ８１８）。メタデータの書込みが完了すると、ストリーム解析部３５に対して、メタデータ生成完了通知（Ｓ８１９）を送信する。メタデータ生成完了通知を受け取ったストリーム解析部３５は、この番組の再生においてチャプター発生箇所にスキップボタン等で簡単にアクセスするためのエントリー情報を生成するように、録画制御部１０に依頼を出し（Ｓ８１９）、録画制御部１０がエントリー情報を生成する（Ｓ８２０）。
【０１２０】
このとき、ストリーム解析部３５が検出したチャプター位置であるＧＯＰｍ、およびＧＯＰｍのデータは、既に過去のものであり、入力ストリーム制御部１４内のＡＶバッファ２７には存在していない。そのため、ＡＶバッファ２７から読み出すことは不可能である。ところが、キーフレームをキーフレーム一時記録部３３に保存しておくことによって、過去の時刻におけるキーフレームの抽出が可能となる。
【０１２１】
またＡＶストリーム記録部１６は、もっぱら録画されるべきＡＶストリームの記録を行っており、処理負荷的に厳しい場合もある。また、実施の形態１で説明したとおり、通常ＡＶストリーム記録部１６に対応するＨＤＤには暗号化を掛けて記録を行うため、読み出すときに復号処理が必要となるも、番組再生の可能性があるため、使用することができない。ところが、本実施の形態で示すように、録画時に暗号が解かれた状態でキーフレームをキーフレーム一時記録部３３に保存しているので、ＡＶストリーム記録部１６にアクセスすることによる処理付加の上昇もなく、また、復号機能の追加実装の必要もない。
【０１２２】
さて本実施の形態では、２画像間の差であるシーンチェンジが発生したときに、キーフレームを保存するとし、さらに複数の画像間で大きな場面転換があった場合にチャプターが発生したとして、メタデータであるサムネイルを生成するものとしている。
【０１２３】
ここで、シーンチェンジとチャプターの違いについて図２０を用いて説明する。図で示しているのは全てキーフレームであるＩピクチャのみが時間方向に並んでいる状態を示している。ここで、任意のピクチャと、その直前のピクチャとの間で画像差分が予め設定されている閾値を超えていれば、そのピクチャでシーンチェンジが発生したものとする。図中では、Ｐ５５、Ｐ７２、Ｐ８６、Ｐ９８、Ｐ１０７においてシーンチェンジが発生したものとしている。次にこれらシーンチェンジが発生した画像間、ここでは隣接２ピクチャ間の間で画像の差分値を求める。
【０１２４】
次に、これらの差分値が予め決めておいたシーンチェンジの閾値とは別のチャプター差分値より低いという条件を満たす箇所を探す。図中では、Ｐ７２とＰ８６の区間がこの条件を満たす。この条件を満たすところをチャプター境界とし、メタデータであるサムネイルを生成するものとする。この図で示すように、隣接画像間でシーンチェンジ判定を行うのに比べ、複数の画像間や、時間的に離れた画像間の差を求め、その結果、時間的に相当な過去のところのサムネイル画像を生成しようとする場合、既にＡＶバッファ２７上にその画像データはないので、従来であればＡＶストリーム記録部１４から取得しなければならなかった。
【０１２５】
しかしながら、前述しているように、一般的にＡＶストリーム記録部１４はＨＤＤで構成され、暗号化処理がおこなわれているため、暗復号ブロックのリソース数の制約によって、メタデータの生成目的に復号ブロックを利用することが難しかった。そこで、キーフレーム抽出部３１によって、キーフレームのみを抽出しておき、キーフレーム一時記録部３３に、録画が完了するまでの間記録しておくことで、上記のように時間的に過去の画像のメタデータの生成が可能とすることができる。
【０１２６】
以上において説明した本実施の形態に関る映像音声記録再生装置１０１によれば、記録対象となるＡＶストリームからキーフレームを抽出するキーフレーム抽出部３１と、抽出したキーフレームを一時的に記録するキーフレーム一時記録部３３と、メタデータを生成するメタデータ生成部２０と、メタデータを保存するメタデータ記録部２２と、記録するＡＶストリームを解析するストリーム解析部３５を有しているので、比較的処理能力の低いＣＰＵやシステム構成であったとしても、ＡＶストリームの録画処理の実行と並行して、メタデータの生成が可能となる。
【０１２７】
本実施の形態によれば、記録するＡＶストリームを解析し、その特性に応じてキーフレーム抽出を行うことができるので、実施の形態１の効果に加え、さらに下記の効果を得ることができる。
【０１２８】
本実施の形態によれば、記録するＡＶストリームを解析し、その特性に応じてキーフレーム抽出を行うことができるので、よく似た画像をキーフレームとして保存することを回避でき、結果として、キーフレーム一時記録部３３の容量削減を行うことができる。
【０１２９】
また、キーフレームを抽出する回数や、キーフレームをキーフレーム一時記録部３３に書き込む頻度が減るので、システム全体の負荷低減が可能である。
【０１３０】
また、一時記録するキーフレームの数を削減できるので、各キーフレームの属性である、サイズ、元のＡＶストリームにおける時間位置、保存先等が記録されたキーフレームファイルテーブルのサイズを削減でき、記録媒体の容量の削減が可能である。
【０１３１】
また、一時記録するキーフレームの数が少なくなるので、メタデータ生成時に対応するキーフレームを検索する時間を短縮することができる。
【０１３２】
また、メタデータを生成する条件は、キーフレームを生成する条件を含んでいるので、メタデータを生成する場合に、キーフレームが存在しないといった不都合を生じ得ない。
【０１３３】
また、メタデータとして、映像および音声信号の特徴的なものを採用したいのであれば、ストリーム解析部３５によってＡＶストリームの特徴を解析するので、メタデータを生成するのに必要な条件判断をストリーム解析部３５で行える。
【０１３４】
実施の形態３．
図２１は本発明の実施の形態３に関る映像音声記録再生装置１０２の構成を示すブロック図である。本実施の形態に関る映像音声記録再生装置１０２は、ＡＶストリーム記録部１６に記録されたＡＶストリームを読み出して、出力ストリーム制御部１５からキーフレームを抽出し、キーフレーム抽出部３１が出力ストリーム制御部１５からキーフレームを取得する点に特徴がある。それにともなって、キーフレーム抽出制御部３０およびメタデータ生成制御部１８は再生制御部１１からの制御を受ける構成になる。それ以外は、図１に示す映像音声記録再生装置１００と同様である。また、ＡＶストリームも実施の形態１と同じものとする。
【０１３５】
本実施例では、再生時にメタデータの抽出を行おうとするものである。ユーザーがリモコン９４等で再生に関するボタンを押下すると、再生の赤外線信号がリモコン受信部６を経由し、システム制御部２に到達する。システム制御部２は、再生する番組を再生するように再生制御部１１に指示を出す。再生制御部１１は、出力ストリーム制御部１５に対し、対応するＡＶストリームをＡＶストリーム記録部１６から読出し、ＡＶデコーダ１３に転送するように指示を送る。出力ストリーム制御部１５から出力されたＡＶストリームは、ＡＶデコーダ１３で元の表示画像に復号されモニター出力８からモニター９３に投影される。出力ストリーム制御部１５は、再生が継続されている間中、ＡＶストリーム中のＧＯＰの位置、サイズ、またＩピクチャの位置とサイズについて検出を行っている。
【０１３６】
出力ストリーム制御部１５がＧＯＰを検出すると、再生制御部１１にＧＯＰの検出通知が送られ、さらにキーフレーム抽出制御部３０に送られる。キーフレーム抽出制御部３０は、キーフレーム抽出部３１に対して、該当するＧＯＰのＩピクチャを抽出するように指示を出す。以降、キーフレームの抽出処理は、実施の形態１と同様である。
【０１３７】
また、ＧＯＰの検出通知を取得した再生制御部１１は、メタデータ生成制御部１８に対してメタデータ抽出指示を行う。このとき、メタデータ生成は時間を要することが多いので、キーフレーム抽出制御部３０に指示したキーフレーム抽出指示の頻度より、少なくすることが必要である。メタデータ抽出の指示を受けたメタデータ生成制御部１８は、実施の形態１と同様にキーフレーム一時記録部３３に蓄積されたキーフレームデータを用いて、メタデータの生成を行い、生成されたメタデータをメタデータ記録部２２に格納する。
【０１３８】
このようにして再生を継続すると、録画された番組に対しても、メタデータの生成が可能である。
【０１３９】
さらに再生が終了すると、必要なメタデータはメタデータ記録部２２に記録されているので、キーフレーム一時記録部３３にあるキーフレームは必要がなくなり、削除を行う。このように、録画された番組に対しても、メタデータの生成が可能であり、かつ、キーフレームは一時的にしか存在せず、無駄にキーフレーム一時記録部３３の容量を必要としない。
【０１４０】
生成されたメタデータがサムネイルであれば、メタデータ出力制御部１９が必要とするメタデータをメタデータ記録読出部２１を経由してメタデータ記録部２２から読出し、メタデータ表示部２３で画像化し、グラフィック重畳部２４で、再生映像と重ね合わせて表示したり、サムネイル画像だけで表示を行う（図２参照）。
【０１４１】
再生時においてＡＶストリームを定常的にデコーダに供給することは非常に重要であり、例えば本構成を採らず、再生中に直接ＡＶストリームから必要とされるキーフレームを取得しようとすれば、再生に必要なＡＶストリームの転送レートが確保できない状態に陥り、画像がスムーズに表示されない、一瞬とまってしまう、最悪はシステムがハングアップしてしまうといった不具合を生じる可能性がある。ところが、出力ストリーム制御部からキーフレームを取得する本実施の形態の場合であれば、ＡＶストリーム記録部１６に対して負荷上昇を強いることなく、キーフレームの抽出を行うことができる。
【０１４２】
また、抽出したキーフレームは一時的にキーフレーム一時記録部３３に格納され、必要なときに読み出すことができるので、メタデータの生成タイミングや、メタデータの生成に要する時間長に対する制約を緩和することができる。
【０１４３】
以上において説明した本実施の形態に関る映像音声記録再生装置１０２によれば、再生時においても出力ストリーム制御部１５からキーフレーム抽出部３１がキーフレームを取得し、キーフレーム一時記録部３３に取得したキーフレームを一時的に保存し、メタデータ生成部にキーフレームを送ることによって、再生時においてもメタデータの生成が可能である。これは、再生時に出力ストリーム制御部１５がＡＶストリーム記録部１６からＡＶストリーム読み出すことを利用しているためであり、ＡＶストリームを読み出すために特段の手段や処理が必要ではなく、出力ストリーム制御部１５に一時的に存在するＡＶストリームから必要とするキーフレームを抽出し、メタデータを生成すればよい。そのため、比較的処理能力の低いＣＰＵやシステム構成であったとしても、ＡＶストリームの録画処理の実行と並行してメタデータの生成が可能となる。
【０１４４】
また図示しないが、出力ストリーム制御１５からの出力し、ＡＶデコーダ１３で復号された映像をＡＶエンコーダ１２に入れて、入力ストリーム制御部１４で再度ＡＶストリーム記録部に記録することで、本映像音声記録再生装置内で再エンコード録画をすることができる。その場合においても、実施の形態１もしくは本実施の形態３で示すように入力ストリーム制御部１４もしくは出力ストリーム制御部１５からキーフレーム抽出部３１がキーフレームを抽出し、キーフレーム一時記録部３３にキーフレームを保存しておき、所望のタイミングでメタデータ生成部２０がメタデータを生成することが可能となる。
【符号の説明】
【０１４５】
１００，１０１，１０２ 録画音声記録再生装置、２ システム制御部、３ デジタルチューナー、４ アナログチューナー、５ 外部入力端子、６ リモコン受信部、７ ネットワーク端子、８ モニター出力端子、１０ 録画制御部、１１ 再生制御部、１２ ＡＶエンコーダ、１３ ＡＶデコーダ、１４ 入力ストリーム制御部、１５ 出力ストリーム制御部、１６ ＡＶストリーム記録部、１８ メタデータ生成制御部、１９ メタデータ出力制御部、２０ メタデータ生成部、２１ メタデータ記録読出部、２２ メタデータ記録部、２３ メタデータ表示部、２４ グラフィック重畳部、２５ 暗号化部、２６ 復号化部、２７ ＡＶバッファ、２８ サムネイル選択枠、２９ 第２の復号化部、３０ キーフレーム抽出制御部、３１ キーフレーム抽出部、３２ キーフレーム記録読出部、３３ キーフレーム一時記録部、３４ キーフレーム記録管理部、３５ ストリーム解析部、４１ キーフレームデコーダ、４２ ＪＰＥＧエンコーダ、４３ ＪＰＥＧファイルフォーマッタ、５０ キーフレーム抽出部、９１ アンテナ、９２ ネットワーク、９３ モニター、９４ リモコン、９５ 画面
【特許請求の範囲】
【請求項１】
映像音声データを記録する映像音声記録手段と、
前記映像音声データからキーフレームを抽出するキーフレーム抽出手段と、
前記映像音声データが記録されている間、前記キーフレーム抽出手段が抽出した前記キーフレームを記録しておくキーフレーム一時記録手段と、
前記キーフレーム一時記録手段に記録されている前記キーフレームからメタデータを生成するメタデータ生成手段と
を有することを特徴とする映像音声記録再生装置。
【請求項２】
前記メタデータ生成手段によって生成されたメタデータの記録および読出を行うメタデータ記録読出手段を有することを特徴とする請求項１記載の映像音声記録再生装置。
【請求項３】
前記映像音声データを一時的に記憶するとともに、前記映像音声記録手段に映像音声データを安定的に転送する入力ストリーム制御手段を有し、
前記入力ストリーム制御手段から前記キーフレーム抽出手段がキーフレームを抽出することを特徴とする請求項１記載の映像音声記録再生装置。
【請求項４】
前記キーフレーム一時記録手段は、不揮発媒体であることを特徴とする請求項１記載の映像音声記録再生装置。
【請求項５】
前記キーフレーム一時記録手段に記録されたキーフレームは、録画が終了したときに削除されることを特徴とする請求項１記載の映像音声記録再生装置。
【請求項６】
前記キーフレーム一時記録手段は、前記映像音声記録手段と同一の媒体で構成されていることを特徴とする請求項１記載の映像音声記録再生装置。
【請求項７】
前記キーフレーム抽出手段の抽出回数や抽出タイミングを制御するキーフレーム抽出制御手段を有することを特徴とする請求項１記載の映像音声記録再生装置。
【請求項８】
前記映像音声データの特徴量を解析する映像音声解析手段を有し、
前記映像音声解析手段の解析結果にもとづいて前記キーフレーム抽出手段の抽出タイミングを決定することを特徴とする請求項７記載の映像音声記録再生装置。
【請求項９】
前記メタデータの生成タイミングと生成回数を制御するメタデータ生成制御手段を有することを特徴とする請求項１記載の映像音声記録再生装置。
【請求項１０】
前記メタデータ生成制御手段は、前記映像音声データの特徴量にもとづいて前記メタデータの生成タイミングを決定することを特徴とする請求項９記載の映像音声記録再生装置。
【請求項１１】
前記キーフレーム一時記録手段は、前記映像音声データに対して１つのキーフレームデータを有することを特徴とする請求項１記載の映像音声記録再生装置。
【請求項１２】
映像音声データを読み出す映像音声読出し手段と、
読出した映像音声データからキーフレームを抽出するキーフレーム抽出手段と、
前記映像音声データが再生されている間、前記キーフレーム抽出手段が抽出した前記キーフレームを記録しておくキーフレーム一時記録手段と、
前記キーフレーム一時記録手段に記録されている前記キーフレームからメタデータを生成するメタデータ生成手段と
を有することを特徴とする映像音声記録再生装置。
【請求項１３】
映像音声データを記録する映像音声記録ステップと、
前記映像音声データからキーフレームを抽出するキーフレーム抽出ステップと、
前記映像音声データが記録されている間、前記キーフレーム抽出手段が抽出した前記キーフレームを記録しておくキーフレーム一時記録ステップと、
前記キーフレーム一時記録ステップにおいて記録された前記キーフレームからメタデータを生成するメタデータ生成テップと
を有することを特徴とする映像音声記録再生装置。
【請求項１４】
前記メタデータ生成ステップによって生成されたメタデータの記録および読出を行うメタデータ記録読出ステップを有することを特徴とする請求項１３記載の映像音声記録再生方法。
【請求項１５】
前記映像音声データを一時的に記憶し、前記映像音声記録ステップで映像音声データを安定的に転送する入力ストリーム制御ステップを有し、
前記入力ストリーム制御ステップを使って前記キーフレーム抽出ステップがキーフレームを抽出することを特徴とする請求項１３記載の映像音声記録再生方法。
【請求項１６】
前記キーフレーム一時記録ステップは、不揮発媒体に対して実行することを特徴とする請求項１３記載の映像音声記録再生方法。
【請求項１７】
前記キーフレーム一時記録ステップに記録されたキーフレームを、録画が終了したときに削除するステップを有することを特徴とする請求項１３記載の映像音声記録再生方法。
【請求項１８】
前記キーフレーム抽出ステップの抽出回数や抽出タイミングを制御するキーフレーム抽出制御ステップを有することを特徴とする請求項１３記載の映像音声記録再生方法。
【請求項１９】
前記記録する映像音声データの特徴量を解析する映像音声解析ステップを有し、
前記映像音声解析ステップの解析結果にもとづいて前記キーフレーム抽出ステップの抽出タイミングを決定することを特徴とする請求項１８記載の映像音声記録再生方法。
【請求項２０】
前記メタデータの生成タイミングと生成回数を制御するメタデータ生成制御ステップを有することを特徴とする請求項１３記載の映像音声記録再生方法。
【請求項２１】
前記メタデータ生成制御ステップは、前記映像音声データの特徴量にもとづいて前記メタデータの生成タイミングを決定することを特徴とする請求項２０記載の映像音声記録再生方法。
【請求項２２】
前記キーフレーム一時記録ステップは、前記映像音声データに対して１つのキーフレームデータを処理することを特徴とする請求項１３記載の映像音声記録再生方法。
【請求項１】
映像音声データを記録する映像音声記録手段と、
前記映像音声データからキーフレームを抽出するキーフレーム抽出手段と、
前記映像音声データが記録されている間、前記キーフレーム抽出手段が抽出した前記キーフレームを記録しておくキーフレーム一時記録手段と、
前記キーフレーム一時記録手段に記録されている前記キーフレームからメタデータを生成するメタデータ生成手段と
を有することを特徴とする映像音声記録再生装置。
【請求項２】
前記メタデータ生成手段によって生成されたメタデータの記録および読出を行うメタデータ記録読出手段を有することを特徴とする請求項１記載の映像音声記録再生装置。
【請求項３】
前記映像音声データを一時的に記憶するとともに、前記映像音声記録手段に映像音声データを安定的に転送する入力ストリーム制御手段を有し、
前記入力ストリーム制御手段から前記キーフレーム抽出手段がキーフレームを抽出することを特徴とする請求項１記載の映像音声記録再生装置。
【請求項４】
前記キーフレーム一時記録手段は、不揮発媒体であることを特徴とする請求項１記載の映像音声記録再生装置。
【請求項５】
前記キーフレーム一時記録手段に記録されたキーフレームは、録画が終了したときに削除されることを特徴とする請求項１記載の映像音声記録再生装置。
【請求項６】
前記キーフレーム一時記録手段は、前記映像音声記録手段と同一の媒体で構成されていることを特徴とする請求項１記載の映像音声記録再生装置。
【請求項７】
前記キーフレーム抽出手段の抽出回数や抽出タイミングを制御するキーフレーム抽出制御手段を有することを特徴とする請求項１記載の映像音声記録再生装置。
【請求項８】
前記映像音声データの特徴量を解析する映像音声解析手段を有し、
前記映像音声解析手段の解析結果にもとづいて前記キーフレーム抽出手段の抽出タイミングを決定することを特徴とする請求項７記載の映像音声記録再生装置。
【請求項９】
前記メタデータの生成タイミングと生成回数を制御するメタデータ生成制御手段を有することを特徴とする請求項１記載の映像音声記録再生装置。
【請求項１０】
前記メタデータ生成制御手段は、前記映像音声データの特徴量にもとづいて前記メタデータの生成タイミングを決定することを特徴とする請求項９記載の映像音声記録再生装置。
【請求項１１】
前記キーフレーム一時記録手段は、前記映像音声データに対して１つのキーフレームデータを有することを特徴とする請求項１記載の映像音声記録再生装置。
【請求項１２】
映像音声データを読み出す映像音声読出し手段と、
読出した映像音声データからキーフレームを抽出するキーフレーム抽出手段と、
前記映像音声データが再生されている間、前記キーフレーム抽出手段が抽出した前記キーフレームを記録しておくキーフレーム一時記録手段と、
前記キーフレーム一時記録手段に記録されている前記キーフレームからメタデータを生成するメタデータ生成手段と
を有することを特徴とする映像音声記録再生装置。
【請求項１３】
映像音声データを記録する映像音声記録ステップと、
前記映像音声データからキーフレームを抽出するキーフレーム抽出ステップと、
前記映像音声データが記録されている間、前記キーフレーム抽出手段が抽出した前記キーフレームを記録しておくキーフレーム一時記録ステップと、
前記キーフレーム一時記録ステップにおいて記録された前記キーフレームからメタデータを生成するメタデータ生成テップと
を有することを特徴とする映像音声記録再生装置。
【請求項１４】
前記メタデータ生成ステップによって生成されたメタデータの記録および読出を行うメタデータ記録読出ステップを有することを特徴とする請求項１３記載の映像音声記録再生方法。
【請求項１５】
前記映像音声データを一時的に記憶し、前記映像音声記録ステップで映像音声データを安定的に転送する入力ストリーム制御ステップを有し、
前記入力ストリーム制御ステップを使って前記キーフレーム抽出ステップがキーフレームを抽出することを特徴とする請求項１３記載の映像音声記録再生方法。
【請求項１６】
前記キーフレーム一時記録ステップは、不揮発媒体に対して実行することを特徴とする請求項１３記載の映像音声記録再生方法。
【請求項１７】
前記キーフレーム一時記録ステップに記録されたキーフレームを、録画が終了したときに削除するステップを有することを特徴とする請求項１３記載の映像音声記録再生方法。
【請求項１８】
前記キーフレーム抽出ステップの抽出回数や抽出タイミングを制御するキーフレーム抽出制御ステップを有することを特徴とする請求項１３記載の映像音声記録再生方法。
【請求項１９】
前記記録する映像音声データの特徴量を解析する映像音声解析ステップを有し、
前記映像音声解析ステップの解析結果にもとづいて前記キーフレーム抽出ステップの抽出タイミングを決定することを特徴とする請求項１８記載の映像音声記録再生方法。
【請求項２０】
前記メタデータの生成タイミングと生成回数を制御するメタデータ生成制御ステップを有することを特徴とする請求項１３記載の映像音声記録再生方法。
【請求項２１】
前記メタデータ生成制御ステップは、前記映像音声データの特徴量にもとづいて前記メタデータの生成タイミングを決定することを特徴とする請求項２０記載の映像音声記録再生方法。
【請求項２２】
前記キーフレーム一時記録ステップは、前記映像音声データに対して１つのキーフレームデータを処理することを特徴とする請求項１３記載の映像音声記録再生方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【公開番号】特開２０１１−２４０７７（Ｐ２０１１−２４０７７Ａ）
【公開日】平成２３年２月３日（２０１１．２．３）
【国際特許分類】
【出願番号】特願２００９−１６８６０１（Ｐ２００９−１６８６０１）
【出願日】平成２１年７月１７日（２００９．７．１７）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
【公開日】平成２３年２月３日（２０１１．２．３）
【国際特許分類】
【出願日】平成２１年７月１７日（２００９．７．１７）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
[ Back to top ]