再生装置
【課題】 既にメモリに記憶されている代表画像以外の代表画像を一覧表示するためには、記録媒体から動画データを再生する必要があり、代表画像の一覧画面の更新に時間がかかってしまう。
【解決手段】 複数のクリップの動画データが記録された記録媒体１０９から動画データを再生したとき、信号処理部１０２は、再生された動画データに基づいてクリップの代表画像を示す代表画像データを生成してメモリ１０５に記憶する。表示制御部１０３２は、メモリ１０５に記憶された代表画像データを用いてインデックス画面を生成し、これを表示部１０４に表示する。ここで制御部１０６は、代表画像データを生成するのに要する時間に基づいて、メモリ１０５に記憶する代表画像データのクリップを決定し、信号処理部１０２によりその決定したクリップの代表画像データを生成して前記メモリに記憶させる。
【解決手段】 複数のクリップの動画データが記録された記録媒体１０９から動画データを再生したとき、信号処理部１０２は、再生された動画データに基づいてクリップの代表画像を示す代表画像データを生成してメモリ１０５に記憶する。表示制御部１０３２は、メモリ１０５に記憶された代表画像データを用いてインデックス画面を生成し、これを表示部１０４に表示する。ここで制御部１０６は、代表画像データを生成するのに要する時間に基づいて、メモリ１０５に記憶する代表画像データのクリップを決定し、信号処理部１０２によりその決定したクリップの代表画像データを生成して前記メモリに記憶させる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は再生装置に関し、特に、記録媒体に記録されている動画像の代表画像を生成する装置に関する。
【背景技術】
【０００２】
近年、動画を撮影してフラッシュメモリカードなどのランダムアクセス記録媒体に対して記録再生するビデオカメラ等の記録再生装置が登場している。この種の装置では、記録した動画像を再生する場合、記録媒体に記録されている動画像の各シーンの代表画像を再生して表示し、これらの代表画像の中からユーザが希望するシーンを選択する構成が一般的である。
【０００３】
代表画像を生成する場合、例えば、記録媒体に記録されている動画データを再生、デコードし、その中の１フレームを代表画像として選択する。そして、選択された画像データのサイズを表示に適した所定のサイズに縮小する。このように得られた各シーンの代表画像をインデックス画面として同一画面上に一覧表示する。また、ユーザがインデックス画面の切り替えを指示すると、再度前述の代表画像の生成処理を実行し、表示画面を更新する。
【０００４】
このように、代表画像の一覧画面を表示する場合には、各シーンの画像データを順次記録媒体から再生する必要がある。そのため、代表画像（サムネイル）の一覧画面を表示するまでに時間がかかってしまうという問題がある。
【０００５】
そこで、一度表示した代表画像データを装置内部のメモリに記憶しておき、再度同じ代表画像を表示する場合には、記録媒体から動画データを再生することなく、一覧画面を表示する構成が提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００５−２５３０８７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、装置内部のメモリに対して記憶可能な代表画像データの数は限られている。そのため、既にメモリに記憶されている代表画像以外の代表画像をも一覧表示するためには、やはり、記録媒体から動画データを再生する必要がある。その結果、代表画像の一覧画面の更新に時間がかかってしまうという問題があった。また、代表画像として、一つのシーンの先頭画面ではなく、動画の途中の画面が代表画像として指定されている場合には、更に時間がかかるという問題がある。
【０００８】
本発明はこのような問題を解決することを目的とする。また、本発明は、限られた容量のメモリを使用した場合にも記録媒体に記録されている画像の代表画像を迅速に取得して表示することが可能な装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の一側面によれば、複数のクリップの動画データが記録された記録媒体から前記動画データを再生する再生手段と、メモリと、前記再生手段により再生された動画データに基づいて前記クリップの代表画像を示す代表画像データを生成して前記メモリに記憶する生成手段と、前記メモリに記憶された代表画像データを用いてインデックス画面を生成し、表示装置に表示する表示手段と、前記生成手段が前記代表画像データを生成するのに要する時間に基づいて、前記メモリに記憶する代表画像データのクリップを決定し、前記生成手段により前記決定したクリップの代表画像データを生成して前記メモリに記憶させる制御手段とを備えることを特徴とする再生装置が提供される。
【発明の効果】
【００１０】
本発明によれば、記録媒体に記録されている画像の代表画像を迅速に取得して表示することができる。
【図面の簡単な説明】
【００１１】
【図１】実施形態におけるビデオカメラの構成を示す図。
【図２】クリップ情報ファイルの様子を示す図。
【図３】プレイリストとＡＶクリップの様子を示す図。
【図４】インデックス画面の表示処理を示すフローチャート。
【図５】代表画像データの生成処理を示すフローチャート。
【図６】管理テーブルを示す図。
【図７】代表画像データの蓄積処理を示すフローチャート。
【図８】動画データにおける代表画像の様子を示す図。
【図９】第２の実施形態におけるインデックス画面の表示処理を示すフローチャート。
【図１０】第２の実施形態における代表画像データの蓄積処理を示すフローチャート。
【図１１】代表画像データの蓄積状態を示す図。
【図１２】第３の実施形態における代表画像データの蓄積処理を示すフローチャート。
【図１３】代表画像データの蓄積状態を示す図。
【発明を実施するための形態】
【００１２】
以下、本発明の実施形態を説明する。図１は本発明の再生装置の実施形態としてのビデオカメラ１００の構成を示す図である。図１において、撮像部１０１は被写体を撮影して動画データを出力する。信号処理部１０２は、記録時においては撮像部１０１により得られた動画データに対して決められた処理を施すと共に、ＭＰＥＧ方式に従って符号化する。また、再生時においては、再生された動画データを復号する。また、信号処理部１０２は、後述するように、再生された動画データに基づいて代表画像データを生成する。表示制御部１０３は、撮影時には撮像部１０１により得られた動画データに係る画像を表示部１０４に表示し、再生時には再生された動画データに係る画像を表示する。また、表示制御部１０３は、メニュー画面等の各種情報を表示部１０４に表示する。また、表示制御部１０３は、後述するように代表画像の一覧画面（インデックス画面）を生成し、表示部１０４に表示する。
【００１３】
メモリ１０５は、撮像部１０１により得られた動画データや、符号化された動画データ、或いは、代表画像データを記憶する。また、メモリ１０５は、記録媒体１０９における管理情報等の情報も記憶する。制御部１０６はマイクロコンピュータを有し、プログラムに従ってビデオカメラ１００の各部を制御する。操作部１０７は、電源スイッチや撮影開始、停止の指示スイッチ、撮影モードと再生モードを切り替えるためのモードスイッチ、メニュー画面を操作するためのスイッチ等を備える。制御部１０６は操作部１０７からの指示に応じて各部を制御する。
【００１４】
記録媒体制御部１０８は、記録媒体１０９に対して動画データを記録し、また、記録媒体１０９から動画データを再生する。記録媒体１０９は、フラッシュメモリカード等のランダムアクセスの記録媒体である。記録媒体１０９は、不図示の装着、排出機構により、ビデオカメラ１００に対して容易に交換可能である。また、記録媒体制御部１０８は、ＦＡＴファイルシステム等の公知のファイルシステムに従い、記録媒体１０９に記録する各種のデータをファイルとして管理する。出力部１１０は、撮像部１０１により得られた動画データや、再生された動画データを外部に出力する。データバス１１１は、各部の間でデータやコマンドを送受信する。
【００１５】
まず、撮影時の動作について説明する。操作部１０７により電源が投入されると、撮像部１０１により得られた動画データはデータバス１１１を介して表示制御部１０３に出力される。表示制御部１０３は撮像部１０１より出力された動画データに係る動画像を表示部１０４に表示する。
【００１６】
このような記録ポーズ状態で、操作部１０７により記録開始の指示があると、撮像部１０１から出力された動画データがメモリ１０５に送られ、一時記憶される。メモリ１０５に記憶された動画像データは、信号処理部１０２における符号化処理に適した順序で読み出される。信号処理部１０２は、例えばＨ．２６４／ＭＰＥＧ４−ＡＶＣ方式に従ってメモリ１０５から読み出した動画データを符号化し、メモリ１０５に再度記憶する。制御部１０６は各種の制御情報などをメモリ１０５に記憶し、動画データに多重することにより、ストリームデータを生成する。そして、記録媒体制御部１０８は、メモリ１０５に所定量のストリームデータが蓄積されたことに応じてメモリ１０５からデータを読み出し、記録媒体１０９に記録する。
【００１７】
これ以降、記録停止の指示があるまでの間、同様の処理を継続する。そして、記録停止の指示があると、記録媒体１０９に対するデータの記録を停止する。本実施形態では、記録開始の指示から記録停止の指示までの間に記録媒体１０９に記録された一連のシーンのデータを一つの動画ファイルとして管理する。一つのシーンの動画をクリップと呼ぶ。また、制御部１０６はストリームデータの記録動作に伴い、記録されたクリップの動画ファイルに関するクリップ情報ファイルを生成し、メモリ１０５に記憶する。そして、一つのクリップの記録が終了すると、記録媒体制御部１０８によりメモリ１０５からクリップ情報ファイルを読み出し、記録媒体１０９に記録させる。また、制御部１０６は、記録された各ファイルの位置などを示す管理情報を生成して記録媒体制御部１０８により記録媒体１０９に記録させる。
【００１８】
次に、本実施形態において記録するデータについて説明する。本実施形態では、ストリームファイル（動画ファイル）とクリップ情報ファイルから構成されるＡＶクリップと、プレイリストを記録する。ストリームファイルとクリップ情報ファイルはそれぞれ独立したファイルとして記録される。そして、ストリームファイルとクリップ情報ファイルには、それぞれファイル名として同じクリップ番号を付加している。これにより、対応が分かるようになっている。また、記録される各ストリームファイルには、互いに独立したクリップ番号が付加される。本実施形態では、記録媒体１０９に対して一つのＡＶクリップを記録する度に、クリップ番号を一つだけ増やした番号を付加する。
【００１９】
また、本実施形態では、動画データをＨ．２６４／ＭＰＥＧ４−ＡＶＣ方式に従って符号化している。動画データは、フレーム内符号化とフレーム間予測符号化とにより符号化される。具体的には、Ｈ．２６４では、動画データをフレーム内符号化、前方予測フレーム間動き補償予測符号化、双方向予測フレーム間動き補償予測符号化の三種類の符号化方式を選択的に用いて符号化する。そして、符号化された動画データは、ＩスライスのみからなるＩピクチャ、ＢスライスのみからなるＢピクチャ、ＰスライスのみからなるＰピクチャの三種類で構成されている。また、動画データは、１フレームのＩピクチャと所定数のＰ，ＢピクチャからなるＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅｓ）を単位として符号化される。そして、符号化された動画データには、フレーム毎に復号時のタイミングを示すＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ）や各種情報が多重されて一つのストリームデータが生成される。
【００２０】
図２にクリップ情報ファイルの様子を示す。クリップ情報ファイル２０１は、ストリーム情報２０２と変換テーブル２０３の二種類の情報から構成される。ストリーム情報には、対応するストリームデータのビットレート２０４、アスペクト比２０５、解像度２０６、代表画像として指定されたフレームのＰＴＳ２０７が格納されている。変換テーブル２０３には、ストリームデータ中の全てのＩピクチャ２０８の表示開始時間を示すＰＴＳ２０９とストリームデータ先頭からのデータ量を示すオフセット２１０とが対応付けられて格納される。この変換テーブルを用いることで、ストリームデータ中で指定されたＰＴＳに対応するＩピクチャの位置、及び先頭からのサイズが取得できる。
【００２１】
また、プレイリストはプレイリストファイルとして記録される。プレイリストファイルは１以上のアイテムから構成され、各アイテムを再生順に記述している。アイテムはＡＶクリップと１対１で対応している。アイテムは、指定されたＡＶクリップのファイル名を取得するための情報と、ＡＶクリップの再生開始点と再生終了点の情報が格納される。プレイリストに格納されるアイテムを記述された順に指定して再生することで、ＡＶクリップを所望の順序に従って再生することが可能となる。なお、本実施形態では、制御部１０６が、ＡＶクリップを記録した順に再生するように、プレイリストファイルを自動的に生成、更新する。
【００２２】
図３は、このようなプレイリストとＡＶクリップとの対応を示す図である。図３では、二つのＡＶクリップ３０４、３０７が記録され、これらの再生順序をプレイリストファイル３０１により指定している。ＡＶクリップ３０４は、ストリームファイル３０６とクリップ情報ファイル３０５で構成され、ＡＶクリップ３０７はストリームファイル３０９とクリップ情報ファイル３０８で構成されている。ＡＶクリップ３０４においては、ストリームファイル３０６とクリップ情報ファイル３０５とが互いに対応付けられて記録されている。また、ＡＶクリップ３０７においては、ストリームファイル３０９とクリップ情報ファイル３０８とが対応付けられて記録されている。
【００２３】
プレイリストファイル３０１は二つのアイテム３０２、３０３を格納しており、アイテム３０２はＡＶクリップ３０４を、アイテム３０３はＡＶクリップ３０７を指定している。そして、図３の記録媒体を再生する場合、まず、アイテム３０２が示すＡＶクリップ３０４が再生され、続いてアイテム３０３が示すＡＶクリップ３０７が再生される。
【００２４】
次に、再生時の動作を説明する。本実施形態では、記録媒体１０９に記録された各クリップ（シーン）の代表画像の一覧を示すインデックス画面を表示し、これら代表画面から所望のシーンを選択する。制御部１０６は、操作部１０７から再生モードへの切り替え指示があると、後述するようにインデックス画面を表示部１０４に表示させる。ユーザは操作部１０７を操作して、表示部１０４に表示された代表画像のうち、所望のクリップの代表画像を選択する。
【００２５】
制御部１０６は、記録媒体１０９に記録された管理情報に基づいて記録媒体制御部１０８を制御し、ユーザが選択した代表画像に対応するクリップのクリップ情報ファイルを記録媒体１０９から再生する。そして、クリップ情報ファイルに基づいて、ストリームファイルを再生する。
【００２６】
再生されたストリームファイル中のストリームデータはいったんメモリ１０５に蓄積される。そして、信号処理部１０２によりメモリ１０５から動画データを読み出して復号し、メモリ１０５に送る。メモリ１０５に記憶された動画データは、出力部１１０により外部のモニタなどの表示形態に適用した形態に変換されて出力される。また、表示制御部１０３は、インデックス画面に代えて、メモリ１０５に記憶された動画データに係る動画像を表示部１０４に表示する。
【００２７】
次に、本実施形態における、代表画像データの生成、蓄積処理について説明する。本実施形態では、一つのインデックス画面に、ｎ画面（例えば６画面）の代表画像を表示する。また、本実施形態では、一度生成した代表画像データをメモリ１０５に記憶しておき、次に同じクリップの代表画像を表示する場合には、メモリ１０５から代表画像データを読み出す。これにより、記録媒体１０９から動画データを再生することなく、代表画像を表示することができる。ただし、本実施形態では、メモリ１０５には、最大でｍ画面（ｎ＜ｍ、例えば、ｍ画面＝３０画面）の代表画像データが記憶可能であり、これを超える数の代表画像データを記憶することができないものとする。
【００２８】
また、本実施形態では、動画の記録時に、各動画データの先頭画面を代表画像として指定する。そのため、記録直後には、クリップ情報ファイル２０１における代表画像のＰＴＳ２０７には、クリップの先頭画面のＰＴＳが記述される。また、ユーザは、動画を撮影後、各クリップの代表画像を、同じクリップの動画データにおける他のフレームに変更することができる。
【００２９】
例えば、ユーザが操作部１０７を操作して、代表画像を変更したいクリップを選択し、選択したクリップ中で代表画像に指定したいフレームを選択する。すると、制御部１０６は、選択されたフレームのＰＴＳを検出し、代表画像のＰＴＳ２０７を、指定されたフレームのＰＴＳに変更する。なお、Ｉピクチャ以外にも、Ｐ，Ｂピクチャを代表画像として指定することも可能である。
【００３０】
図４は、インデックス画面の表示処理を示すフローチャートである。なお、図４の処理は制御部１０６が各部を制御することにより実行される。ユーザにより再生モードへの切り替え、再生停止の指示、或いは、前後のインデックス画面への切り替え指示があると、制御部１０６は、インデックス画面に表示する６画面のクリップのクリップ番号を検出する（Ｓ４０１）。
【００３１】
例えば、再生モードへの切り替え、或いは、再生停止の指示があった場合、最後に再生を停止したクリップのクリップ番号を先頭とした６個のクリップを指定する。本実施形態では、ユーザによる再生停止の指示により動画の再生を停止した際に再生していたクリップ番号を管理情報内に格納して記録媒体１０９に記録する。そのため、制御部１０６は、管理情報に基づいて、最後に再生を停止したクリップのクリップ番号を検出する。そして、このクリップ番号から６個分のクリップをインデックス画面に表示する。
【００３２】
また、前のインデックス画面への切り替え指示があった場合には、現在表示中の代表画像のクリップ番号からそれぞれｎを引いた番号を指定する。また、次のインデックス画面への切り替え指示があった場合には、現在表示中の代表画像のクリップ番号にそれぞれｎを加えた番号を指定する。
【００３３】
次に、制御部１０６は、管理テーブルに基づいて、検出した６個のクリップのうち、先頭のクリップ番号の代表画像データがメモリ１０５に記憶されているか否かを判別する（Ｓ４０２）。制御部１０６は、メモリ１０５に記憶されている各代表画像データのクリップ番号と、この代表画像データを生成する際に記録媒体１０９から動画データを再生、復号するのに要した時間を示す管理テーブルを生成し、メモリ１０５に記憶している。
【００３４】
図６に管理テーブルの一例を示す。メモリ１０５にはｍ（３０）画面分の代表画像データを記憶可能である。管理テーブル６０１には、各代表画像データの記憶領域（バンク）６０２に記憶された代表画像のクリップ番号６０３が記述される。更に、各クリップの代表画像データを生成するため、記録媒体１０９から動画データを再生、復号するのに要した所要時間６０４が記述される。なお、図６で、クリップ番号６０３がＮＵＬＬと記述されている領域は、空き領域であることを示している。
【００３５】
Ｓ４０２で、指定されたクリップ番号の代表画像データがメモリ１０５に記憶されていた場合には、制御部１０６は、メモリ１０５から代表画像データを読み出して表示制御部１０３に送る（Ｓ４０３）。また、指定されたクリップ番号の代表画像データがメモリ１０５に記憶されていなかった場合には、代表画像生成処理を実行し、生成した代表画像データを表示制御部１０３に出力する（Ｓ４０７）。
【００３６】
次に、制御部１０６は、表示すべき代表画像が残っているかどうかを判別し（Ｓ４０４）、残りがある場合には、次のクリップ番号を選択してＳ４０２に戻る（Ｓ４０６）。また、全てのクリップの代表画像データを表示制御部１０３に出力した場合には、表示制御部１０３に対して、インデックス画面を生成させ、表示部１０４に表示させる（Ｓ４０５）。
【００３７】
図５は、代表画像生成処理Ｓ４０７のフローチャートである。まず、制御部１０６は、記録媒体制御部１０８に対して、指定されたクリップ番号のクリップ情報ファイルを記録媒体１０９から読み出させる（Ｓ５０１）。そして、クリップ情報ファイルに基づいて、指定されたクリップの代表画像としてＩピクチャが指定されているか否かを判別する（Ｓ５０２）。具体的には、代表画像のＰＴＳ２０７に記述された値が、変換テーブル２０３内のいずれかのＩピクチャのＰＴＳ２０９と一致するか否かを判別する。
【００３８】
代表画像がＩピクチャであった場合、変換テーブル２０３に基づいて、代表画像として指定されたＩピクチャのオフセット２１０を検出する。そして、記録媒体制御部１０８により、指定されたＩピクチャから１ＧＯＰ分のストリームデータを記録媒体１０９から再生させる（Ｓ５０３）。再生されたストリームデータはいったんメモリ１０５に記憶される。
【００３９】
一方、Ｓ５０２で、指定された代表画像がＩピクチャで無かった場合、変換テーブル２０３に基づいて、ＰＴＳ２０９の値が代表画像のＰＴＳ未満で、且つ、最も近いＩピクチャのオフセット２１０を検出する。そして、記録媒体制御部１０８により、検出したＩピクチャから２ＧＯＰ分のストリームデータを記録媒体１０９から再生させる（Ｓ５０９）。再生されたストリームデータはいったんメモリ１０５に記憶される。
【００４０】
次に、記録媒体１０９から再生されたストリームデータの先頭のＩピクチャを復号し、そのＰＴＳを検出する（Ｓ５０４）。復号した画面のデータは、Ｓ５０８の蓄積処理が終了するまで、メモリ１０５に記憶される。そして、検出したＰＴＳと、代表画像のＰＴＳ２０７とを比較し、復号したフレームが代表画像であるか否かを判別する（Ｓ５０５）。復号したフレームが代表画像であった場合には、信号処理部１０２により、復号されたデータの画面サイズを縮小させて代表画像データを生成し、表示制御部１０３に出力する（Ｓ５０６）。そして、この画面のデータを記録媒体１０９から再生して、信号処理部１０２により復号するための所要時間を検出する（Ｓ５０７）。本実施形態では、代表画像がＩピクチャの場合には所要時間を０に設定する。また、代表画像がＩピクチャで無かった場合には、その画面を含むＧＯＰの先頭のＩピクチャのＰＴＳと、代表画像のＰＴＳとの差分を算出し、所要時間として設定する。そして、蓄積処理を実行して（Ｓ５０８）、図４の処理に戻る。
【００４１】
一方、Ｓ５０５で、復号した画面が代表画像でなかった場合には、表示順で次の画面を選択する（Ｓ５１０）。そして、選択した画面を信号処理部１０２により復号してＰＴＳを検出し（Ｓ５１１）、Ｓ５０５に戻る。ここで復号された画面のデータは、メモリ１０５に一旦記憶され、Ｓ５０５で、代表画像で無いと判別されると、消去される。
【００４２】
図７は蓄積処理Ｓ５０８を示すフローチャートである。まず、制御部１０６は、図６に示す管理テーブルを確認し、代表画像データの記憶領域に空き領域があるか否かを判別する（Ｓ７０１）。具体的には、管理テーブル６０１のクリップ番号６０３として、ＮＵＬＬが記述されている領域（バンク）があるかどうかを判別する。この結果、空き領域があった場合には、生成された代表画像データをメモリ１０５の空き領域に記憶する（Ｓ７０２）。そして、管理テーブル６０１の空き領域のうち、最も小さい番号のバンク６０２に対して、記憶した代表画像データのクリップ番号６０３と、所要時間６０４を記述して、更新する（Ｓ７０３）。
【００４３】
一方、Ｓ７０１で、空き領域が無かった場合、管理テーブル６０１に基づいて、メモリ１０５に記憶された所要時間６０４のうち、最短の所要時間Ａと、対応するバンク６０２とを検出する（Ｓ７０４）。なお、最短所要時間に対応するバンクが複数見つかった場合には、そのうちのいずれか一つを選択する。
【００４４】
次に、Ｓ７０４で検出した最短所要時間Ａよりも、今回生成した代表画像の所要時間の方が長いか否かを判別する（Ｓ７０５）。この結果、今回生成した代表画像の所要時間が最短所要時間Ａ以下である場合には、今回生成した代表画像データをメモリ１０５に蓄積せずに、処理を終了する。一方、今回生成した代表画像の所要時間が最短所要時間Ａより長い場合は、最短所要時間Ａに対応した代表画像データをメモリ１０５から消去し、代わりに、今回生成された代表画像データをメモリ１０５に記憶する（Ｓ７０６）。そして、消去された代表画像データが記憶されていたバンク６０２に対して、新たに記憶した代表画像データのクリップ番号６０３と、所要時間６０４を記述して、更新する（Ｓ７０７）。こうして、代表画像データを生成するのに要する時間に基づいて、メモリ１０５に記憶する代表画像データのクリップが決定され、この決定されたクリップの代表画像データがメモリ１０５に記憶される。
【００４５】
図８は、記録媒体１０９に記録されている動画データから代表画像データを生成する様子を示す図である。ストリーム８０１は記録媒体１０９に記録されているストリームデータの一部を示している。ストリーム８０１に示す順に各フレームが符号化されるが、表示順は異なる。ストリーム８０１の各ＧＯＰ内において、表示順は、Ｂ０，Ｂ１，Ｉ２，Ｂ３・・・となっている。例えば、Ｉ２ピクチャ８０２が代表画像として指定されていた場合には、記録媒体１０９からはデータ８０４に示す部分が読み出される。そして、８０５に示すように、Ｉ２ピクチャが復号された時点で代表画像データが生成される。このときの所要時間は０となる。
【００４６】
また、Ｂ１ピクチャ８０３が代表画像として指定されていた場合には、記録媒体１０９からは、このＢ１ピクチャのＰＴＳ未満で、最も近いＩ２ピクチャ８０２から２ＧＯＰ分のデータ８０６が読み出される。そして、８０７に示すように、Ｂ１ピクチャが復号された時点で代表画像データが生成される。このときの所要時間は、Ｉ２ピクチャ８０２のＰＴＳとＢ１ピクチャ８０３のＰＴＳとの差分となる。
【００４７】
このように、本実施形態では、代表画像データを生成後、メモリに蓄積する際に、メモリの空き容量が無かった場合、生成するのに要する時間が大きいものを優先してメモリに蓄積する。そのため、迅速に代表画像の一覧を示すインデックス画面を表示することが可能となる。
【００４８】
なお、本実施形態では、代表画像データを生成するための所要時間として、指定された代表画像のＰＴＳとその直前のＩピクチャのＰＴＳとの差分を使ったが、記録媒体１０９からのストリーム読出し所要時間を計測して、加算しても良い。
【００４９】
次に、第２の実施形態を説明する。第２の実施形態においても、ビデオカメラ１００の構成や基本的な処理は第１の実施形態と同様である。第２の実施形態では、現在表示中のインデックス画面の前後のインデックス画面に表示する代表画像データも生成し、メモリ１０５に記憶しておく。
【００５０】
図９は第２の実施形態におけるインデックス画面の表示処理を示すフローチャートである。図９の処理は制御部１０６が各部を制御することにより実行される。ユーザにより再生モードへの切り替え、再生停止の指示、或いは、前後のインデックス画面への切り替え指示があると、制御部１０６は、第１の実施形態と同様に、インデックス画面に表示する６画面のクリップのクリップ番号を検出する（Ｓ９０１）。
【００５１】
次に、制御部１０６は、図６に示す管理テーブルに基づいて、検出した６個のクリップのうち、先頭のクリップ番号の代表画像データがメモリ１０５に記憶されているか否かを判別する（Ｓ９０２）。指定されたクリップ番号の代表画像データがメモリ１０５に記憶されていた場合には、制御部１０６は、メモリ１０５から代表画像データを読み出して表示制御部１０３に送る（Ｓ９０３）。また、指定されたクリップ番号の代表画像データがメモリ１０５に記憶されていなかった場合には、図５に示す代表画像生成処理を実行し、生成した代表画像データを表示制御部１０３に出力する（Ｓ９０７）。
【００５２】
次に、制御部１０６は、表示すべき代表画像が残っているかどうかを判別し（Ｓ９０４）、残りがある場合には、次のクリップ番号を選択してＳ９０２に戻る（Ｓ９０７）。また、全てのクリップの代表画像データを表示制御部１０３に出力した場合には、表示制御部１０３に対して、インデックス画面を生成させ、表示部１０４に表示させる（Ｓ９０５）。
【００５３】
次に、表示対象の代表画像の前後のインデックス画面に表示する代表画像データが全てメモリ１０５に記憶済みか否かを判別する（Ｓ９０６）。本実施形態では、現在表示中のインデックス画面の前後に表示すべきインデックス画面に含まれる代表画像を強制記憶範囲として指定する。そして、インデックス画面の表示指示、或いは、インデックス画面の切り替え指示があると、この強制記憶範囲の代表画像データを取得してメモリ１０５に記憶する。具体的には、現在表示中の代表画像のうち、最も小さいクリップ番号からｎを引いたクリップ番号から、現在表示中の代表画像のうち、最も大きいクリップ番号にｎを加えたクリップ番号までの代表画像データが全て記憶されているかどうかを判別する。
【００５４】
前後のインデックス画面の代表画像データが全てメモリ１０５に記憶されていなかった場合、制御部１０６は取得対象のクリップ番号を指定して（Ｓ９０９）、図５の代表画像取得処理を実行する（Ｓ９１０）。そして、前後のインデックス画面の代表画像データのうち、メモリ１０５に記憶していないものがあるか否かを判別し（Ｓ９１１）、全てメモリ１０５に記憶済みの場合には処理を終了する。また、メモリ１０５に記憶していないものがある場合には、次の取得対象のクリップ番号を指定してＳ９１０に戻る（Ｓ９１２）。
【００５５】
Ｓ９０８とＳ９１０の代表画像取得処理は、図５に示した処理と同じであるが、本実施形態では、Ｓ５０８の蓄積処理が図７に示した処理とは異なる。図１０は、第２の実施形態における蓄積処理Ｓ５０８を示すフローチャートである。
【００５６】
まず、制御部１０６は、図６に示す管理テーブルを確認し、代表画像データの記憶領域に空き領域があるか否かを判別する（Ｓ１００１）。空き領域があった場合には、生成された代表画像データをメモリ１０５の空き領域に記憶する（Ｓ１００８）。そして、管理テーブル６０１の空き領域のうち、最も小さい番号のバンク６０２に対して、記憶した代表画像データのクリップ番号６０３と、所要時間６０４を記述して、更新する（Ｓ１００９）。
【００５７】
一方、Ｓ１００１で、空き領域が無かった場合、管理テーブル６０１に基づいて、メモリ１０５に記憶された代表画像データのうち、強制記憶範囲以外の代表画像データの所要時間６０４を検出する。そして、強制記憶範囲以外の代表画像データのうち、最も所要時間が短い値Ａと、対応するバンク６０２とを検出する（Ｓ１００２）。次に、最も短い所要時間に対応するバンクが複数見つかったかどうかを判別し（Ｓ１００３）、複数見つかった場合、現在表示中の代表画像のクリップ番号から最も離れたクリップ番号を選択する（Ｓ１００４）。また、最も短い所要時間に対応する代表画像が一つだけの場合は、最も所要時間が短い代表画像のクリップ番号を選択する（Ｓ１００７）。
【００５８】
次に、選択されたクリップ番号に対応した代表画像データをメモリ１０５から消去し、代わりに、今回生成された代表画像データをメモリに記憶する（Ｓ１００５）。そして、消去された代表画像データが記憶されていたバンク６０２に対して、新たに記憶した代表画像データのクリップ番号６０３と、所要時間６０４を記述して、更新する（Ｓ１００６）。
【００５９】
図１１は、第２の実施形態においてメモリ１０５に記憶される代表画像データの様子を示す図である。図１１には、各代表画像データのクリップ番号と、動画データ中で代表画像として指定されているフレームの符号化タイプとそのＧＯＰ内の位置を示している。
【００６０】
いま、図１１（ａ）に示されるクリップ番号０８８−１１７の３０枚の代表画像データがメモリ１０５に記憶されているものとする。本実施形態では、上述したようにメモリ１０５には３０枚を超える数の代表画像データを記憶することはできないから、クリップ番号１１８−１２３の代表画像データはメモリ１０５には記憶されていない。ここで、枠１１０１内のクリップ番号１０６−１１１の６画面が、現在表示中のインデックス画面に含まれる代表画像データであるとする。また、枠１１０１及びその前後各６画面を含む枠１１０２内の、クリップ番号１００−１１７の１８画面を、強制記憶範囲の代表画像データとする。
【００６１】
図１１（ａ）の状態から、インデックス画面を次の画面に切り替えると、今度は、枠１１０２内の６画面から、図１１（ｂ）における枠１１０３内の６画面がインデックス画面として表示される。また、これに伴い、強制記憶範囲も枠１１０２から枠１１０４に移動する。そこで、新たにクリップ番号１１８−１２３の６画面の代表画像データを生成してメモリ１０５に記憶するが、既に３０枚の代表画像データがメモリ１０５に記憶されているので空き容量が不足である。そのため、メモリ１０５に記憶済みのクリップ番号０８８−１１７の代表画像データのうち強制記憶範囲１１０４以外の代表画像データから、取得時間が短いものを検出する。
【００６２】
図１１（ｂ）では、強制記憶範囲１１０４以外の代表画像データはクリップ番号０８８−１０５である。そのうち、クリップ番号０８９−０９１、０９３−０９５、０９７、０９９−１０５はそれぞれＩピクチャであるので、所要時間は同じである。そこで、これらの代表画像データのうち、現在表示中のインデックス画面から最も離れているものから６画面を削除する。図１１（ｂ）では、クリップ番号０８９−０９１、０９３−０９５の６画面の代表画像データをメモリ１０５から削除する。その後、新たに生成したクリップ番号１１８−１２３の代表画像データをメモリ１０５に記憶する。
【００６３】
図１１（ｂ）の状態から、今度は、前のインデックス画面に切り替えると、図１１（ｃ）の状態となり、枠１１０５内の６画面がインデックス画面として表示される。また、これに伴い枠１１０６が強制記憶範囲の代表画像データとなるが、枠１１０６内の代表画像データは全てメモリ１０５に記憶済みなので、新たに代表画像データを生成しない。
【００６４】
図１１（ｃ）の状態で、更に、前方向に２回連続してインデックス画面の切り替え指示があると、クリップ番号０９４−０９９が表示対象のクリップ番号となる。しかし、クリップ番号０９６−０９９については、代表画像データを記憶済みなので、クリップ番号０９４、０９５の代表画像データを生成して表示すればよい。クリップ番号０９４、０９５の代表画像データは何れもＩピクチャであるため、迅速に代表画像データを生成することができる。
【００６５】
このように、本実施形態では、現在表示中のインデックス画面の前後の所定範囲のインデックス画面の代表画像データを強制記憶範囲に設定して、メモリ１０５に記憶しておく。そして、新たに代表画像データを生成した場合に、強制記憶範囲１１０４以外の代表画像データのうち、取得するのに要する所要時間が短いものをメモリ１０５から削除して、新たに生成した強制記憶範囲の代表画像データをメモリ１０５に記憶している。そのため、インデックス画面の切り替え指示があったときに、迅速に次のインデックス画面を表示することができる。
【００６６】
次に、第３の実施形態を説明する。第３の実施形態においても、ビデオカメラ１００の構成や基本的な処理は第１、第２の実施形態と同様である。第３の実施形態では、第２の実施形態と同様に、現在表示中のインデックス画面の前後のインデックス画面に表示する代表画像データを生成し、メモリ１０５に記憶しておく。本実施形態では、新たに代表画像データを生成した際にメモリの空きが無い場合は次のような処理を行う。すなわちこの場合、強制記憶範囲外の代表画像データのうち、所要時間が長い代表画像データであっても、現在表示中の代表画像のクリップ番号からＬ（Ｌはｍ−ｎよりも大きい所定の整数）以上離れたものについては削除する。
【００６７】
第３の実施形態では、図５に示した蓄積処理Ｓ５０８が第２の実施形態と異なるので、蓄積処理について説明する。図１２は第３の実施形態における蓄積処理を示すフローチャートである。まず、制御部１０６は、図６に示す管理テーブルを確認し、代表画像データの記憶領域に空き領域があるか否かを判別する（Ｓ１２０１）。この結果、空き領域があった場合には、生成された代表画像データをメモリ１０５の空き領域に記憶する（Ｓ１２１３）。そして、管理テーブル６０１の空き領域のうち、最も小さい番号のバンク６０２に対して、記憶した代表画像データのクリップ番号６０３と、所要時間６０４を記述して、更新する（Ｓ１２１４）。
【００６８】
一方、Ｓ１２０１で、空き領域が無かった場合、表示中のインデックス画面に含まれるクリップ番号を検出する（Ｓ１２０２）。そして、表示対象のクリップ番号の前後それぞれ所定値Ｌの範囲を超えるクリップ番号の代表画像データがメモリ１０５に記憶されているか否かを判別する（Ｓ１２０３）。例えば、Ｌを２４とすると、表示対象のクリップ番号が１００−１０５の場合、クリップ番号７５以下と、１２５以上の代表画像データが記憶されているか否かを判別する。
【００６９】
そして、範囲Ｌを超えるクリップ番号の代表画像データが記憶されていた場合、この範囲Ｌを超えるクリップ番号の代表画像データをメモリ１０５から消去する（Ｓ１２１０）。このとき、範囲Ｌを超えるクリップ番号の代表画像データが複数、記憶されていた場合には、これらのうち、所要時間が最も短いものや最も離れたクリップ番号のものを消去してもよいし、或いは、全てを消去してもよい。そして、生成された代表画像データをメモリ１０５に記憶する（Ｓ１２１１）。次に、消去された代表画像データが記憶されていたバンク６０２に対して、新たに記憶した代表画像データのクリップ番号６０３と、所要時間６０４を記述して、更新する（Ｓ１２１２）。
【００７０】
また、Ｓ１２０３で、範囲Ｌを超えるクリップ番号の代表画像データが記憶されていないと判別した場合、メモリ１０５に記憶された所要時間６０４のうち、最も小さい（短い）値Ａと、対応するバンク６０２とを検出する（Ｓ１２０４）。
【００７１】
次に、所要時間Ａに対応した代表画像データが複数検出されたか否かを判別する（Ｓ１２０５）。その結果、所要時間Ａの代表画像が複数記憶されていた場合、そのうち、表示候補の代表画像のクリップ番号から最も離れたクリップ番号の代表画像データを選択する（Ｓ１２０６）。そして、選択した代表画像データをメモリ１０５から消去し、代わりに、今回生成された代表画像データをメモリに記憶する（Ｓ１２０７）。そして、消去された代表画像データが記憶されていたバンク６０２に対して、新たに記憶した代表画像データのクリップ番号６０３と、所要時間６０４を記述して、更新する（Ｓ１２０９）。
【００７２】
一方、Ｓ１２０５で、所要時間Ａの代表画像データが一つだけだった場合、この所要時間Ａに対応したクリップ番号の代表画像データを選択する（Ｓ１２０９）。そして、選択した代表画像データをメモリ１０５から消去し、代わりに、今回生成された代表画像データをメモリに記憶する（Ｓ１２０７）。そして、消去された代表画像データが記憶されていたバンク６０２に対して、新たに記憶した代表画像データのクリップ番号６０３と、所要時間６０４を記述して、更新する（Ｓ１２０８）。
【００７３】
図１３は、第３の実施形態においてメモリ１０５に記憶される代表画像データの様子を示す図である。図１３においても、図１１と同様に、各代表画像データのクリップ番号と、動画データ中で代表画像として指定されているフレームの符号化タイプとそのＧＯＰ内の位置を示している。また、ｎを６、ｍを３０、記憶範囲Ｌを２４とする。
【００７４】
図１３（ａ）は、図１１（ｂ）と同じ状態を示している。図１２（ａ）において、枠１３０１内の代表画像データが現在表示中の代表画像データである。また、枠１３０２内の代表画像データが強制記憶範囲の代表画像データである。また、枠１３０３が記憶範囲Ｌを示している。
【００７５】
この状態で、次のインデックス画面に切り替えると、今度は、図１３（ｂ）における枠１３０４内の６画面がインデックス画面として表示される。このとき、枠１３０６が強制記憶範囲の代表画像データとなる。そこで、新たにクリップ番号１２４−１２９の６画面の代表画像データを生成してメモリ１０５に記憶するが、既に３０枚の代表画像データがメモリ１０５に記憶済みであるから、空き容量が不足である。そのため、メモリ１０５に記憶済みのクリップ番号０８８、０９２、０９６−１２３の代表画像データのうち、記憶範囲１３０６以外の代表画像データをメモリ１０５から消去する。図１３（ｂ）では、クリップ番号０８８、０９２の代表画像データがメモリ１０５から消去される。この状態では、新たに生成したクリップ番号１２４と１２５の２画面の代表画像データをメモリ１０５に記憶できる。
【００７６】
そして、残りのクリップ番号１２６−１２９の４画面の代表画像データをメモリ１０５に記憶するため、強制記憶範囲１３０５以外の代表画像データのうち、取得時間が短いものを検出する。
【００７７】
図１３（ｂ）では、強制記憶範囲１３０５以外の代表画像データのうち、クリップ番号０９４と０９５については既に代表画像データがメモリ１０５から削除されている。そのため、クリップ番号０９６−１１１のうち、所要時間が短いものを削除する。ここでは、クリップ番号０９７、０９９−１１１はそれぞれＩピクチャであるので、所要時間は同じである。そこで、これらの代表画像データのうち、現在表示中のインデックス画面から最も離れているものから６画面を削除する。図１３（ｂ）では、クリップ番号０９７、０９９−１０１の４画面の代表画像データを更にメモリ１０５から削除する。その後、新たに生成したクリップ番号１２６−１２９の代表画像データをメモリ１０５に記憶する。
【００７８】
このように、本実施形態では、現在表示中のインデックス画面の前後のインデックス画面の代表画像データを強制記憶範囲に設定して、メモリ１０５に記憶しておく。そして、新たに代表画像データを生成した場合に、強制記憶範囲１１０４以外の代表画像データのうち、取得するのに要する所要時間が短いものをメモリ１０５から削除して、新たに生成した強制記憶範囲の代表画像データをメモリ１０５に記憶している。
【００７９】
更に、本実施形態では、所要時間が長い代表画像データであっても、決められた記憶範囲を超えるものについてはメモリ１０５から削除して、新たに生成した代表画像データを記憶する。そのため、インデックス画面の切り替え指示があったときに、迅速に次のインデックス画面を表示することができる。
【００８０】
なお、第３の実施形態において、記憶範囲Ｌは、一つのインデックス画面に表示する代表画像の画面数ｎと、メモリに記憶可能な代表画像データの画面数ｍとに基づき、適宜設定することができる。
【技術分野】
【０００１】
本発明は再生装置に関し、特に、記録媒体に記録されている動画像の代表画像を生成する装置に関する。
【背景技術】
【０００２】
近年、動画を撮影してフラッシュメモリカードなどのランダムアクセス記録媒体に対して記録再生するビデオカメラ等の記録再生装置が登場している。この種の装置では、記録した動画像を再生する場合、記録媒体に記録されている動画像の各シーンの代表画像を再生して表示し、これらの代表画像の中からユーザが希望するシーンを選択する構成が一般的である。
【０００３】
代表画像を生成する場合、例えば、記録媒体に記録されている動画データを再生、デコードし、その中の１フレームを代表画像として選択する。そして、選択された画像データのサイズを表示に適した所定のサイズに縮小する。このように得られた各シーンの代表画像をインデックス画面として同一画面上に一覧表示する。また、ユーザがインデックス画面の切り替えを指示すると、再度前述の代表画像の生成処理を実行し、表示画面を更新する。
【０００４】
このように、代表画像の一覧画面を表示する場合には、各シーンの画像データを順次記録媒体から再生する必要がある。そのため、代表画像（サムネイル）の一覧画面を表示するまでに時間がかかってしまうという問題がある。
【０００５】
そこで、一度表示した代表画像データを装置内部のメモリに記憶しておき、再度同じ代表画像を表示する場合には、記録媒体から動画データを再生することなく、一覧画面を表示する構成が提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００５−２５３０８７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、装置内部のメモリに対して記憶可能な代表画像データの数は限られている。そのため、既にメモリに記憶されている代表画像以外の代表画像をも一覧表示するためには、やはり、記録媒体から動画データを再生する必要がある。その結果、代表画像の一覧画面の更新に時間がかかってしまうという問題があった。また、代表画像として、一つのシーンの先頭画面ではなく、動画の途中の画面が代表画像として指定されている場合には、更に時間がかかるという問題がある。
【０００８】
本発明はこのような問題を解決することを目的とする。また、本発明は、限られた容量のメモリを使用した場合にも記録媒体に記録されている画像の代表画像を迅速に取得して表示することが可能な装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の一側面によれば、複数のクリップの動画データが記録された記録媒体から前記動画データを再生する再生手段と、メモリと、前記再生手段により再生された動画データに基づいて前記クリップの代表画像を示す代表画像データを生成して前記メモリに記憶する生成手段と、前記メモリに記憶された代表画像データを用いてインデックス画面を生成し、表示装置に表示する表示手段と、前記生成手段が前記代表画像データを生成するのに要する時間に基づいて、前記メモリに記憶する代表画像データのクリップを決定し、前記生成手段により前記決定したクリップの代表画像データを生成して前記メモリに記憶させる制御手段とを備えることを特徴とする再生装置が提供される。
【発明の効果】
【００１０】
本発明によれば、記録媒体に記録されている画像の代表画像を迅速に取得して表示することができる。
【図面の簡単な説明】
【００１１】
【図１】実施形態におけるビデオカメラの構成を示す図。
【図２】クリップ情報ファイルの様子を示す図。
【図３】プレイリストとＡＶクリップの様子を示す図。
【図４】インデックス画面の表示処理を示すフローチャート。
【図５】代表画像データの生成処理を示すフローチャート。
【図６】管理テーブルを示す図。
【図７】代表画像データの蓄積処理を示すフローチャート。
【図８】動画データにおける代表画像の様子を示す図。
【図９】第２の実施形態におけるインデックス画面の表示処理を示すフローチャート。
【図１０】第２の実施形態における代表画像データの蓄積処理を示すフローチャート。
【図１１】代表画像データの蓄積状態を示す図。
【図１２】第３の実施形態における代表画像データの蓄積処理を示すフローチャート。
【図１３】代表画像データの蓄積状態を示す図。
【発明を実施するための形態】
【００１２】
以下、本発明の実施形態を説明する。図１は本発明の再生装置の実施形態としてのビデオカメラ１００の構成を示す図である。図１において、撮像部１０１は被写体を撮影して動画データを出力する。信号処理部１０２は、記録時においては撮像部１０１により得られた動画データに対して決められた処理を施すと共に、ＭＰＥＧ方式に従って符号化する。また、再生時においては、再生された動画データを復号する。また、信号処理部１０２は、後述するように、再生された動画データに基づいて代表画像データを生成する。表示制御部１０３は、撮影時には撮像部１０１により得られた動画データに係る画像を表示部１０４に表示し、再生時には再生された動画データに係る画像を表示する。また、表示制御部１０３は、メニュー画面等の各種情報を表示部１０４に表示する。また、表示制御部１０３は、後述するように代表画像の一覧画面（インデックス画面）を生成し、表示部１０４に表示する。
【００１３】
メモリ１０５は、撮像部１０１により得られた動画データや、符号化された動画データ、或いは、代表画像データを記憶する。また、メモリ１０５は、記録媒体１０９における管理情報等の情報も記憶する。制御部１０６はマイクロコンピュータを有し、プログラムに従ってビデオカメラ１００の各部を制御する。操作部１０７は、電源スイッチや撮影開始、停止の指示スイッチ、撮影モードと再生モードを切り替えるためのモードスイッチ、メニュー画面を操作するためのスイッチ等を備える。制御部１０６は操作部１０７からの指示に応じて各部を制御する。
【００１４】
記録媒体制御部１０８は、記録媒体１０９に対して動画データを記録し、また、記録媒体１０９から動画データを再生する。記録媒体１０９は、フラッシュメモリカード等のランダムアクセスの記録媒体である。記録媒体１０９は、不図示の装着、排出機構により、ビデオカメラ１００に対して容易に交換可能である。また、記録媒体制御部１０８は、ＦＡＴファイルシステム等の公知のファイルシステムに従い、記録媒体１０９に記録する各種のデータをファイルとして管理する。出力部１１０は、撮像部１０１により得られた動画データや、再生された動画データを外部に出力する。データバス１１１は、各部の間でデータやコマンドを送受信する。
【００１５】
まず、撮影時の動作について説明する。操作部１０７により電源が投入されると、撮像部１０１により得られた動画データはデータバス１１１を介して表示制御部１０３に出力される。表示制御部１０３は撮像部１０１より出力された動画データに係る動画像を表示部１０４に表示する。
【００１６】
このような記録ポーズ状態で、操作部１０７により記録開始の指示があると、撮像部１０１から出力された動画データがメモリ１０５に送られ、一時記憶される。メモリ１０５に記憶された動画像データは、信号処理部１０２における符号化処理に適した順序で読み出される。信号処理部１０２は、例えばＨ．２６４／ＭＰＥＧ４−ＡＶＣ方式に従ってメモリ１０５から読み出した動画データを符号化し、メモリ１０５に再度記憶する。制御部１０６は各種の制御情報などをメモリ１０５に記憶し、動画データに多重することにより、ストリームデータを生成する。そして、記録媒体制御部１０８は、メモリ１０５に所定量のストリームデータが蓄積されたことに応じてメモリ１０５からデータを読み出し、記録媒体１０９に記録する。
【００１７】
これ以降、記録停止の指示があるまでの間、同様の処理を継続する。そして、記録停止の指示があると、記録媒体１０９に対するデータの記録を停止する。本実施形態では、記録開始の指示から記録停止の指示までの間に記録媒体１０９に記録された一連のシーンのデータを一つの動画ファイルとして管理する。一つのシーンの動画をクリップと呼ぶ。また、制御部１０６はストリームデータの記録動作に伴い、記録されたクリップの動画ファイルに関するクリップ情報ファイルを生成し、メモリ１０５に記憶する。そして、一つのクリップの記録が終了すると、記録媒体制御部１０８によりメモリ１０５からクリップ情報ファイルを読み出し、記録媒体１０９に記録させる。また、制御部１０６は、記録された各ファイルの位置などを示す管理情報を生成して記録媒体制御部１０８により記録媒体１０９に記録させる。
【００１８】
次に、本実施形態において記録するデータについて説明する。本実施形態では、ストリームファイル（動画ファイル）とクリップ情報ファイルから構成されるＡＶクリップと、プレイリストを記録する。ストリームファイルとクリップ情報ファイルはそれぞれ独立したファイルとして記録される。そして、ストリームファイルとクリップ情報ファイルには、それぞれファイル名として同じクリップ番号を付加している。これにより、対応が分かるようになっている。また、記録される各ストリームファイルには、互いに独立したクリップ番号が付加される。本実施形態では、記録媒体１０９に対して一つのＡＶクリップを記録する度に、クリップ番号を一つだけ増やした番号を付加する。
【００１９】
また、本実施形態では、動画データをＨ．２６４／ＭＰＥＧ４−ＡＶＣ方式に従って符号化している。動画データは、フレーム内符号化とフレーム間予測符号化とにより符号化される。具体的には、Ｈ．２６４では、動画データをフレーム内符号化、前方予測フレーム間動き補償予測符号化、双方向予測フレーム間動き補償予測符号化の三種類の符号化方式を選択的に用いて符号化する。そして、符号化された動画データは、ＩスライスのみからなるＩピクチャ、ＢスライスのみからなるＢピクチャ、ＰスライスのみからなるＰピクチャの三種類で構成されている。また、動画データは、１フレームのＩピクチャと所定数のＰ，ＢピクチャからなるＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅｓ）を単位として符号化される。そして、符号化された動画データには、フレーム毎に復号時のタイミングを示すＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ）や各種情報が多重されて一つのストリームデータが生成される。
【００２０】
図２にクリップ情報ファイルの様子を示す。クリップ情報ファイル２０１は、ストリーム情報２０２と変換テーブル２０３の二種類の情報から構成される。ストリーム情報には、対応するストリームデータのビットレート２０４、アスペクト比２０５、解像度２０６、代表画像として指定されたフレームのＰＴＳ２０７が格納されている。変換テーブル２０３には、ストリームデータ中の全てのＩピクチャ２０８の表示開始時間を示すＰＴＳ２０９とストリームデータ先頭からのデータ量を示すオフセット２１０とが対応付けられて格納される。この変換テーブルを用いることで、ストリームデータ中で指定されたＰＴＳに対応するＩピクチャの位置、及び先頭からのサイズが取得できる。
【００２１】
また、プレイリストはプレイリストファイルとして記録される。プレイリストファイルは１以上のアイテムから構成され、各アイテムを再生順に記述している。アイテムはＡＶクリップと１対１で対応している。アイテムは、指定されたＡＶクリップのファイル名を取得するための情報と、ＡＶクリップの再生開始点と再生終了点の情報が格納される。プレイリストに格納されるアイテムを記述された順に指定して再生することで、ＡＶクリップを所望の順序に従って再生することが可能となる。なお、本実施形態では、制御部１０６が、ＡＶクリップを記録した順に再生するように、プレイリストファイルを自動的に生成、更新する。
【００２２】
図３は、このようなプレイリストとＡＶクリップとの対応を示す図である。図３では、二つのＡＶクリップ３０４、３０７が記録され、これらの再生順序をプレイリストファイル３０１により指定している。ＡＶクリップ３０４は、ストリームファイル３０６とクリップ情報ファイル３０５で構成され、ＡＶクリップ３０７はストリームファイル３０９とクリップ情報ファイル３０８で構成されている。ＡＶクリップ３０４においては、ストリームファイル３０６とクリップ情報ファイル３０５とが互いに対応付けられて記録されている。また、ＡＶクリップ３０７においては、ストリームファイル３０９とクリップ情報ファイル３０８とが対応付けられて記録されている。
【００２３】
プレイリストファイル３０１は二つのアイテム３０２、３０３を格納しており、アイテム３０２はＡＶクリップ３０４を、アイテム３０３はＡＶクリップ３０７を指定している。そして、図３の記録媒体を再生する場合、まず、アイテム３０２が示すＡＶクリップ３０４が再生され、続いてアイテム３０３が示すＡＶクリップ３０７が再生される。
【００２４】
次に、再生時の動作を説明する。本実施形態では、記録媒体１０９に記録された各クリップ（シーン）の代表画像の一覧を示すインデックス画面を表示し、これら代表画面から所望のシーンを選択する。制御部１０６は、操作部１０７から再生モードへの切り替え指示があると、後述するようにインデックス画面を表示部１０４に表示させる。ユーザは操作部１０７を操作して、表示部１０４に表示された代表画像のうち、所望のクリップの代表画像を選択する。
【００２５】
制御部１０６は、記録媒体１０９に記録された管理情報に基づいて記録媒体制御部１０８を制御し、ユーザが選択した代表画像に対応するクリップのクリップ情報ファイルを記録媒体１０９から再生する。そして、クリップ情報ファイルに基づいて、ストリームファイルを再生する。
【００２６】
再生されたストリームファイル中のストリームデータはいったんメモリ１０５に蓄積される。そして、信号処理部１０２によりメモリ１０５から動画データを読み出して復号し、メモリ１０５に送る。メモリ１０５に記憶された動画データは、出力部１１０により外部のモニタなどの表示形態に適用した形態に変換されて出力される。また、表示制御部１０３は、インデックス画面に代えて、メモリ１０５に記憶された動画データに係る動画像を表示部１０４に表示する。
【００２７】
次に、本実施形態における、代表画像データの生成、蓄積処理について説明する。本実施形態では、一つのインデックス画面に、ｎ画面（例えば６画面）の代表画像を表示する。また、本実施形態では、一度生成した代表画像データをメモリ１０５に記憶しておき、次に同じクリップの代表画像を表示する場合には、メモリ１０５から代表画像データを読み出す。これにより、記録媒体１０９から動画データを再生することなく、代表画像を表示することができる。ただし、本実施形態では、メモリ１０５には、最大でｍ画面（ｎ＜ｍ、例えば、ｍ画面＝３０画面）の代表画像データが記憶可能であり、これを超える数の代表画像データを記憶することができないものとする。
【００２８】
また、本実施形態では、動画の記録時に、各動画データの先頭画面を代表画像として指定する。そのため、記録直後には、クリップ情報ファイル２０１における代表画像のＰＴＳ２０７には、クリップの先頭画面のＰＴＳが記述される。また、ユーザは、動画を撮影後、各クリップの代表画像を、同じクリップの動画データにおける他のフレームに変更することができる。
【００２９】
例えば、ユーザが操作部１０７を操作して、代表画像を変更したいクリップを選択し、選択したクリップ中で代表画像に指定したいフレームを選択する。すると、制御部１０６は、選択されたフレームのＰＴＳを検出し、代表画像のＰＴＳ２０７を、指定されたフレームのＰＴＳに変更する。なお、Ｉピクチャ以外にも、Ｐ，Ｂピクチャを代表画像として指定することも可能である。
【００３０】
図４は、インデックス画面の表示処理を示すフローチャートである。なお、図４の処理は制御部１０６が各部を制御することにより実行される。ユーザにより再生モードへの切り替え、再生停止の指示、或いは、前後のインデックス画面への切り替え指示があると、制御部１０６は、インデックス画面に表示する６画面のクリップのクリップ番号を検出する（Ｓ４０１）。
【００３１】
例えば、再生モードへの切り替え、或いは、再生停止の指示があった場合、最後に再生を停止したクリップのクリップ番号を先頭とした６個のクリップを指定する。本実施形態では、ユーザによる再生停止の指示により動画の再生を停止した際に再生していたクリップ番号を管理情報内に格納して記録媒体１０９に記録する。そのため、制御部１０６は、管理情報に基づいて、最後に再生を停止したクリップのクリップ番号を検出する。そして、このクリップ番号から６個分のクリップをインデックス画面に表示する。
【００３２】
また、前のインデックス画面への切り替え指示があった場合には、現在表示中の代表画像のクリップ番号からそれぞれｎを引いた番号を指定する。また、次のインデックス画面への切り替え指示があった場合には、現在表示中の代表画像のクリップ番号にそれぞれｎを加えた番号を指定する。
【００３３】
次に、制御部１０６は、管理テーブルに基づいて、検出した６個のクリップのうち、先頭のクリップ番号の代表画像データがメモリ１０５に記憶されているか否かを判別する（Ｓ４０２）。制御部１０６は、メモリ１０５に記憶されている各代表画像データのクリップ番号と、この代表画像データを生成する際に記録媒体１０９から動画データを再生、復号するのに要した時間を示す管理テーブルを生成し、メモリ１０５に記憶している。
【００３４】
図６に管理テーブルの一例を示す。メモリ１０５にはｍ（３０）画面分の代表画像データを記憶可能である。管理テーブル６０１には、各代表画像データの記憶領域（バンク）６０２に記憶された代表画像のクリップ番号６０３が記述される。更に、各クリップの代表画像データを生成するため、記録媒体１０９から動画データを再生、復号するのに要した所要時間６０４が記述される。なお、図６で、クリップ番号６０３がＮＵＬＬと記述されている領域は、空き領域であることを示している。
【００３５】
Ｓ４０２で、指定されたクリップ番号の代表画像データがメモリ１０５に記憶されていた場合には、制御部１０６は、メモリ１０５から代表画像データを読み出して表示制御部１０３に送る（Ｓ４０３）。また、指定されたクリップ番号の代表画像データがメモリ１０５に記憶されていなかった場合には、代表画像生成処理を実行し、生成した代表画像データを表示制御部１０３に出力する（Ｓ４０７）。
【００３６】
次に、制御部１０６は、表示すべき代表画像が残っているかどうかを判別し（Ｓ４０４）、残りがある場合には、次のクリップ番号を選択してＳ４０２に戻る（Ｓ４０６）。また、全てのクリップの代表画像データを表示制御部１０３に出力した場合には、表示制御部１０３に対して、インデックス画面を生成させ、表示部１０４に表示させる（Ｓ４０５）。
【００３７】
図５は、代表画像生成処理Ｓ４０７のフローチャートである。まず、制御部１０６は、記録媒体制御部１０８に対して、指定されたクリップ番号のクリップ情報ファイルを記録媒体１０９から読み出させる（Ｓ５０１）。そして、クリップ情報ファイルに基づいて、指定されたクリップの代表画像としてＩピクチャが指定されているか否かを判別する（Ｓ５０２）。具体的には、代表画像のＰＴＳ２０７に記述された値が、変換テーブル２０３内のいずれかのＩピクチャのＰＴＳ２０９と一致するか否かを判別する。
【００３８】
代表画像がＩピクチャであった場合、変換テーブル２０３に基づいて、代表画像として指定されたＩピクチャのオフセット２１０を検出する。そして、記録媒体制御部１０８により、指定されたＩピクチャから１ＧＯＰ分のストリームデータを記録媒体１０９から再生させる（Ｓ５０３）。再生されたストリームデータはいったんメモリ１０５に記憶される。
【００３９】
一方、Ｓ５０２で、指定された代表画像がＩピクチャで無かった場合、変換テーブル２０３に基づいて、ＰＴＳ２０９の値が代表画像のＰＴＳ未満で、且つ、最も近いＩピクチャのオフセット２１０を検出する。そして、記録媒体制御部１０８により、検出したＩピクチャから２ＧＯＰ分のストリームデータを記録媒体１０９から再生させる（Ｓ５０９）。再生されたストリームデータはいったんメモリ１０５に記憶される。
【００４０】
次に、記録媒体１０９から再生されたストリームデータの先頭のＩピクチャを復号し、そのＰＴＳを検出する（Ｓ５０４）。復号した画面のデータは、Ｓ５０８の蓄積処理が終了するまで、メモリ１０５に記憶される。そして、検出したＰＴＳと、代表画像のＰＴＳ２０７とを比較し、復号したフレームが代表画像であるか否かを判別する（Ｓ５０５）。復号したフレームが代表画像であった場合には、信号処理部１０２により、復号されたデータの画面サイズを縮小させて代表画像データを生成し、表示制御部１０３に出力する（Ｓ５０６）。そして、この画面のデータを記録媒体１０９から再生して、信号処理部１０２により復号するための所要時間を検出する（Ｓ５０７）。本実施形態では、代表画像がＩピクチャの場合には所要時間を０に設定する。また、代表画像がＩピクチャで無かった場合には、その画面を含むＧＯＰの先頭のＩピクチャのＰＴＳと、代表画像のＰＴＳとの差分を算出し、所要時間として設定する。そして、蓄積処理を実行して（Ｓ５０８）、図４の処理に戻る。
【００４１】
一方、Ｓ５０５で、復号した画面が代表画像でなかった場合には、表示順で次の画面を選択する（Ｓ５１０）。そして、選択した画面を信号処理部１０２により復号してＰＴＳを検出し（Ｓ５１１）、Ｓ５０５に戻る。ここで復号された画面のデータは、メモリ１０５に一旦記憶され、Ｓ５０５で、代表画像で無いと判別されると、消去される。
【００４２】
図７は蓄積処理Ｓ５０８を示すフローチャートである。まず、制御部１０６は、図６に示す管理テーブルを確認し、代表画像データの記憶領域に空き領域があるか否かを判別する（Ｓ７０１）。具体的には、管理テーブル６０１のクリップ番号６０３として、ＮＵＬＬが記述されている領域（バンク）があるかどうかを判別する。この結果、空き領域があった場合には、生成された代表画像データをメモリ１０５の空き領域に記憶する（Ｓ７０２）。そして、管理テーブル６０１の空き領域のうち、最も小さい番号のバンク６０２に対して、記憶した代表画像データのクリップ番号６０３と、所要時間６０４を記述して、更新する（Ｓ７０３）。
【００４３】
一方、Ｓ７０１で、空き領域が無かった場合、管理テーブル６０１に基づいて、メモリ１０５に記憶された所要時間６０４のうち、最短の所要時間Ａと、対応するバンク６０２とを検出する（Ｓ７０４）。なお、最短所要時間に対応するバンクが複数見つかった場合には、そのうちのいずれか一つを選択する。
【００４４】
次に、Ｓ７０４で検出した最短所要時間Ａよりも、今回生成した代表画像の所要時間の方が長いか否かを判別する（Ｓ７０５）。この結果、今回生成した代表画像の所要時間が最短所要時間Ａ以下である場合には、今回生成した代表画像データをメモリ１０５に蓄積せずに、処理を終了する。一方、今回生成した代表画像の所要時間が最短所要時間Ａより長い場合は、最短所要時間Ａに対応した代表画像データをメモリ１０５から消去し、代わりに、今回生成された代表画像データをメモリ１０５に記憶する（Ｓ７０６）。そして、消去された代表画像データが記憶されていたバンク６０２に対して、新たに記憶した代表画像データのクリップ番号６０３と、所要時間６０４を記述して、更新する（Ｓ７０７）。こうして、代表画像データを生成するのに要する時間に基づいて、メモリ１０５に記憶する代表画像データのクリップが決定され、この決定されたクリップの代表画像データがメモリ１０５に記憶される。
【００４５】
図８は、記録媒体１０９に記録されている動画データから代表画像データを生成する様子を示す図である。ストリーム８０１は記録媒体１０９に記録されているストリームデータの一部を示している。ストリーム８０１に示す順に各フレームが符号化されるが、表示順は異なる。ストリーム８０１の各ＧＯＰ内において、表示順は、Ｂ０，Ｂ１，Ｉ２，Ｂ３・・・となっている。例えば、Ｉ２ピクチャ８０２が代表画像として指定されていた場合には、記録媒体１０９からはデータ８０４に示す部分が読み出される。そして、８０５に示すように、Ｉ２ピクチャが復号された時点で代表画像データが生成される。このときの所要時間は０となる。
【００４６】
また、Ｂ１ピクチャ８０３が代表画像として指定されていた場合には、記録媒体１０９からは、このＢ１ピクチャのＰＴＳ未満で、最も近いＩ２ピクチャ８０２から２ＧＯＰ分のデータ８０６が読み出される。そして、８０７に示すように、Ｂ１ピクチャが復号された時点で代表画像データが生成される。このときの所要時間は、Ｉ２ピクチャ８０２のＰＴＳとＢ１ピクチャ８０３のＰＴＳとの差分となる。
【００４７】
このように、本実施形態では、代表画像データを生成後、メモリに蓄積する際に、メモリの空き容量が無かった場合、生成するのに要する時間が大きいものを優先してメモリに蓄積する。そのため、迅速に代表画像の一覧を示すインデックス画面を表示することが可能となる。
【００４８】
なお、本実施形態では、代表画像データを生成するための所要時間として、指定された代表画像のＰＴＳとその直前のＩピクチャのＰＴＳとの差分を使ったが、記録媒体１０９からのストリーム読出し所要時間を計測して、加算しても良い。
【００４９】
次に、第２の実施形態を説明する。第２の実施形態においても、ビデオカメラ１００の構成や基本的な処理は第１の実施形態と同様である。第２の実施形態では、現在表示中のインデックス画面の前後のインデックス画面に表示する代表画像データも生成し、メモリ１０５に記憶しておく。
【００５０】
図９は第２の実施形態におけるインデックス画面の表示処理を示すフローチャートである。図９の処理は制御部１０６が各部を制御することにより実行される。ユーザにより再生モードへの切り替え、再生停止の指示、或いは、前後のインデックス画面への切り替え指示があると、制御部１０６は、第１の実施形態と同様に、インデックス画面に表示する６画面のクリップのクリップ番号を検出する（Ｓ９０１）。
【００５１】
次に、制御部１０６は、図６に示す管理テーブルに基づいて、検出した６個のクリップのうち、先頭のクリップ番号の代表画像データがメモリ１０５に記憶されているか否かを判別する（Ｓ９０２）。指定されたクリップ番号の代表画像データがメモリ１０５に記憶されていた場合には、制御部１０６は、メモリ１０５から代表画像データを読み出して表示制御部１０３に送る（Ｓ９０３）。また、指定されたクリップ番号の代表画像データがメモリ１０５に記憶されていなかった場合には、図５に示す代表画像生成処理を実行し、生成した代表画像データを表示制御部１０３に出力する（Ｓ９０７）。
【００５２】
次に、制御部１０６は、表示すべき代表画像が残っているかどうかを判別し（Ｓ９０４）、残りがある場合には、次のクリップ番号を選択してＳ９０２に戻る（Ｓ９０７）。また、全てのクリップの代表画像データを表示制御部１０３に出力した場合には、表示制御部１０３に対して、インデックス画面を生成させ、表示部１０４に表示させる（Ｓ９０５）。
【００５３】
次に、表示対象の代表画像の前後のインデックス画面に表示する代表画像データが全てメモリ１０５に記憶済みか否かを判別する（Ｓ９０６）。本実施形態では、現在表示中のインデックス画面の前後に表示すべきインデックス画面に含まれる代表画像を強制記憶範囲として指定する。そして、インデックス画面の表示指示、或いは、インデックス画面の切り替え指示があると、この強制記憶範囲の代表画像データを取得してメモリ１０５に記憶する。具体的には、現在表示中の代表画像のうち、最も小さいクリップ番号からｎを引いたクリップ番号から、現在表示中の代表画像のうち、最も大きいクリップ番号にｎを加えたクリップ番号までの代表画像データが全て記憶されているかどうかを判別する。
【００５４】
前後のインデックス画面の代表画像データが全てメモリ１０５に記憶されていなかった場合、制御部１０６は取得対象のクリップ番号を指定して（Ｓ９０９）、図５の代表画像取得処理を実行する（Ｓ９１０）。そして、前後のインデックス画面の代表画像データのうち、メモリ１０５に記憶していないものがあるか否かを判別し（Ｓ９１１）、全てメモリ１０５に記憶済みの場合には処理を終了する。また、メモリ１０５に記憶していないものがある場合には、次の取得対象のクリップ番号を指定してＳ９１０に戻る（Ｓ９１２）。
【００５５】
Ｓ９０８とＳ９１０の代表画像取得処理は、図５に示した処理と同じであるが、本実施形態では、Ｓ５０８の蓄積処理が図７に示した処理とは異なる。図１０は、第２の実施形態における蓄積処理Ｓ５０８を示すフローチャートである。
【００５６】
まず、制御部１０６は、図６に示す管理テーブルを確認し、代表画像データの記憶領域に空き領域があるか否かを判別する（Ｓ１００１）。空き領域があった場合には、生成された代表画像データをメモリ１０５の空き領域に記憶する（Ｓ１００８）。そして、管理テーブル６０１の空き領域のうち、最も小さい番号のバンク６０２に対して、記憶した代表画像データのクリップ番号６０３と、所要時間６０４を記述して、更新する（Ｓ１００９）。
【００５７】
一方、Ｓ１００１で、空き領域が無かった場合、管理テーブル６０１に基づいて、メモリ１０５に記憶された代表画像データのうち、強制記憶範囲以外の代表画像データの所要時間６０４を検出する。そして、強制記憶範囲以外の代表画像データのうち、最も所要時間が短い値Ａと、対応するバンク６０２とを検出する（Ｓ１００２）。次に、最も短い所要時間に対応するバンクが複数見つかったかどうかを判別し（Ｓ１００３）、複数見つかった場合、現在表示中の代表画像のクリップ番号から最も離れたクリップ番号を選択する（Ｓ１００４）。また、最も短い所要時間に対応する代表画像が一つだけの場合は、最も所要時間が短い代表画像のクリップ番号を選択する（Ｓ１００７）。
【００５８】
次に、選択されたクリップ番号に対応した代表画像データをメモリ１０５から消去し、代わりに、今回生成された代表画像データをメモリに記憶する（Ｓ１００５）。そして、消去された代表画像データが記憶されていたバンク６０２に対して、新たに記憶した代表画像データのクリップ番号６０３と、所要時間６０４を記述して、更新する（Ｓ１００６）。
【００５９】
図１１は、第２の実施形態においてメモリ１０５に記憶される代表画像データの様子を示す図である。図１１には、各代表画像データのクリップ番号と、動画データ中で代表画像として指定されているフレームの符号化タイプとそのＧＯＰ内の位置を示している。
【００６０】
いま、図１１（ａ）に示されるクリップ番号０８８−１１７の３０枚の代表画像データがメモリ１０５に記憶されているものとする。本実施形態では、上述したようにメモリ１０５には３０枚を超える数の代表画像データを記憶することはできないから、クリップ番号１１８−１２３の代表画像データはメモリ１０５には記憶されていない。ここで、枠１１０１内のクリップ番号１０６−１１１の６画面が、現在表示中のインデックス画面に含まれる代表画像データであるとする。また、枠１１０１及びその前後各６画面を含む枠１１０２内の、クリップ番号１００−１１７の１８画面を、強制記憶範囲の代表画像データとする。
【００６１】
図１１（ａ）の状態から、インデックス画面を次の画面に切り替えると、今度は、枠１１０２内の６画面から、図１１（ｂ）における枠１１０３内の６画面がインデックス画面として表示される。また、これに伴い、強制記憶範囲も枠１１０２から枠１１０４に移動する。そこで、新たにクリップ番号１１８−１２３の６画面の代表画像データを生成してメモリ１０５に記憶するが、既に３０枚の代表画像データがメモリ１０５に記憶されているので空き容量が不足である。そのため、メモリ１０５に記憶済みのクリップ番号０８８−１１７の代表画像データのうち強制記憶範囲１１０４以外の代表画像データから、取得時間が短いものを検出する。
【００６２】
図１１（ｂ）では、強制記憶範囲１１０４以外の代表画像データはクリップ番号０８８−１０５である。そのうち、クリップ番号０８９−０９１、０９３−０９５、０９７、０９９−１０５はそれぞれＩピクチャであるので、所要時間は同じである。そこで、これらの代表画像データのうち、現在表示中のインデックス画面から最も離れているものから６画面を削除する。図１１（ｂ）では、クリップ番号０８９−０９１、０９３−０９５の６画面の代表画像データをメモリ１０５から削除する。その後、新たに生成したクリップ番号１１８−１２３の代表画像データをメモリ１０５に記憶する。
【００６３】
図１１（ｂ）の状態から、今度は、前のインデックス画面に切り替えると、図１１（ｃ）の状態となり、枠１１０５内の６画面がインデックス画面として表示される。また、これに伴い枠１１０６が強制記憶範囲の代表画像データとなるが、枠１１０６内の代表画像データは全てメモリ１０５に記憶済みなので、新たに代表画像データを生成しない。
【００６４】
図１１（ｃ）の状態で、更に、前方向に２回連続してインデックス画面の切り替え指示があると、クリップ番号０９４−０９９が表示対象のクリップ番号となる。しかし、クリップ番号０９６−０９９については、代表画像データを記憶済みなので、クリップ番号０９４、０９５の代表画像データを生成して表示すればよい。クリップ番号０９４、０９５の代表画像データは何れもＩピクチャであるため、迅速に代表画像データを生成することができる。
【００６５】
このように、本実施形態では、現在表示中のインデックス画面の前後の所定範囲のインデックス画面の代表画像データを強制記憶範囲に設定して、メモリ１０５に記憶しておく。そして、新たに代表画像データを生成した場合に、強制記憶範囲１１０４以外の代表画像データのうち、取得するのに要する所要時間が短いものをメモリ１０５から削除して、新たに生成した強制記憶範囲の代表画像データをメモリ１０５に記憶している。そのため、インデックス画面の切り替え指示があったときに、迅速に次のインデックス画面を表示することができる。
【００６６】
次に、第３の実施形態を説明する。第３の実施形態においても、ビデオカメラ１００の構成や基本的な処理は第１、第２の実施形態と同様である。第３の実施形態では、第２の実施形態と同様に、現在表示中のインデックス画面の前後のインデックス画面に表示する代表画像データを生成し、メモリ１０５に記憶しておく。本実施形態では、新たに代表画像データを生成した際にメモリの空きが無い場合は次のような処理を行う。すなわちこの場合、強制記憶範囲外の代表画像データのうち、所要時間が長い代表画像データであっても、現在表示中の代表画像のクリップ番号からＬ（Ｌはｍ−ｎよりも大きい所定の整数）以上離れたものについては削除する。
【００６７】
第３の実施形態では、図５に示した蓄積処理Ｓ５０８が第２の実施形態と異なるので、蓄積処理について説明する。図１２は第３の実施形態における蓄積処理を示すフローチャートである。まず、制御部１０６は、図６に示す管理テーブルを確認し、代表画像データの記憶領域に空き領域があるか否かを判別する（Ｓ１２０１）。この結果、空き領域があった場合には、生成された代表画像データをメモリ１０５の空き領域に記憶する（Ｓ１２１３）。そして、管理テーブル６０１の空き領域のうち、最も小さい番号のバンク６０２に対して、記憶した代表画像データのクリップ番号６０３と、所要時間６０４を記述して、更新する（Ｓ１２１４）。
【００６８】
一方、Ｓ１２０１で、空き領域が無かった場合、表示中のインデックス画面に含まれるクリップ番号を検出する（Ｓ１２０２）。そして、表示対象のクリップ番号の前後それぞれ所定値Ｌの範囲を超えるクリップ番号の代表画像データがメモリ１０５に記憶されているか否かを判別する（Ｓ１２０３）。例えば、Ｌを２４とすると、表示対象のクリップ番号が１００−１０５の場合、クリップ番号７５以下と、１２５以上の代表画像データが記憶されているか否かを判別する。
【００６９】
そして、範囲Ｌを超えるクリップ番号の代表画像データが記憶されていた場合、この範囲Ｌを超えるクリップ番号の代表画像データをメモリ１０５から消去する（Ｓ１２１０）。このとき、範囲Ｌを超えるクリップ番号の代表画像データが複数、記憶されていた場合には、これらのうち、所要時間が最も短いものや最も離れたクリップ番号のものを消去してもよいし、或いは、全てを消去してもよい。そして、生成された代表画像データをメモリ１０５に記憶する（Ｓ１２１１）。次に、消去された代表画像データが記憶されていたバンク６０２に対して、新たに記憶した代表画像データのクリップ番号６０３と、所要時間６０４を記述して、更新する（Ｓ１２１２）。
【００７０】
また、Ｓ１２０３で、範囲Ｌを超えるクリップ番号の代表画像データが記憶されていないと判別した場合、メモリ１０５に記憶された所要時間６０４のうち、最も小さい（短い）値Ａと、対応するバンク６０２とを検出する（Ｓ１２０４）。
【００７１】
次に、所要時間Ａに対応した代表画像データが複数検出されたか否かを判別する（Ｓ１２０５）。その結果、所要時間Ａの代表画像が複数記憶されていた場合、そのうち、表示候補の代表画像のクリップ番号から最も離れたクリップ番号の代表画像データを選択する（Ｓ１２０６）。そして、選択した代表画像データをメモリ１０５から消去し、代わりに、今回生成された代表画像データをメモリに記憶する（Ｓ１２０７）。そして、消去された代表画像データが記憶されていたバンク６０２に対して、新たに記憶した代表画像データのクリップ番号６０３と、所要時間６０４を記述して、更新する（Ｓ１２０９）。
【００７２】
一方、Ｓ１２０５で、所要時間Ａの代表画像データが一つだけだった場合、この所要時間Ａに対応したクリップ番号の代表画像データを選択する（Ｓ１２０９）。そして、選択した代表画像データをメモリ１０５から消去し、代わりに、今回生成された代表画像データをメモリに記憶する（Ｓ１２０７）。そして、消去された代表画像データが記憶されていたバンク６０２に対して、新たに記憶した代表画像データのクリップ番号６０３と、所要時間６０４を記述して、更新する（Ｓ１２０８）。
【００７３】
図１３は、第３の実施形態においてメモリ１０５に記憶される代表画像データの様子を示す図である。図１３においても、図１１と同様に、各代表画像データのクリップ番号と、動画データ中で代表画像として指定されているフレームの符号化タイプとそのＧＯＰ内の位置を示している。また、ｎを６、ｍを３０、記憶範囲Ｌを２４とする。
【００７４】
図１３（ａ）は、図１１（ｂ）と同じ状態を示している。図１２（ａ）において、枠１３０１内の代表画像データが現在表示中の代表画像データである。また、枠１３０２内の代表画像データが強制記憶範囲の代表画像データである。また、枠１３０３が記憶範囲Ｌを示している。
【００７５】
この状態で、次のインデックス画面に切り替えると、今度は、図１３（ｂ）における枠１３０４内の６画面がインデックス画面として表示される。このとき、枠１３０６が強制記憶範囲の代表画像データとなる。そこで、新たにクリップ番号１２４−１２９の６画面の代表画像データを生成してメモリ１０５に記憶するが、既に３０枚の代表画像データがメモリ１０５に記憶済みであるから、空き容量が不足である。そのため、メモリ１０５に記憶済みのクリップ番号０８８、０９２、０９６−１２３の代表画像データのうち、記憶範囲１３０６以外の代表画像データをメモリ１０５から消去する。図１３（ｂ）では、クリップ番号０８８、０９２の代表画像データがメモリ１０５から消去される。この状態では、新たに生成したクリップ番号１２４と１２５の２画面の代表画像データをメモリ１０５に記憶できる。
【００７６】
そして、残りのクリップ番号１２６−１２９の４画面の代表画像データをメモリ１０５に記憶するため、強制記憶範囲１３０５以外の代表画像データのうち、取得時間が短いものを検出する。
【００７７】
図１３（ｂ）では、強制記憶範囲１３０５以外の代表画像データのうち、クリップ番号０９４と０９５については既に代表画像データがメモリ１０５から削除されている。そのため、クリップ番号０９６−１１１のうち、所要時間が短いものを削除する。ここでは、クリップ番号０９７、０９９−１１１はそれぞれＩピクチャであるので、所要時間は同じである。そこで、これらの代表画像データのうち、現在表示中のインデックス画面から最も離れているものから６画面を削除する。図１３（ｂ）では、クリップ番号０９７、０９９−１０１の４画面の代表画像データを更にメモリ１０５から削除する。その後、新たに生成したクリップ番号１２６−１２９の代表画像データをメモリ１０５に記憶する。
【００７８】
このように、本実施形態では、現在表示中のインデックス画面の前後のインデックス画面の代表画像データを強制記憶範囲に設定して、メモリ１０５に記憶しておく。そして、新たに代表画像データを生成した場合に、強制記憶範囲１１０４以外の代表画像データのうち、取得するのに要する所要時間が短いものをメモリ１０５から削除して、新たに生成した強制記憶範囲の代表画像データをメモリ１０５に記憶している。
【００７９】
更に、本実施形態では、所要時間が長い代表画像データであっても、決められた記憶範囲を超えるものについてはメモリ１０５から削除して、新たに生成した代表画像データを記憶する。そのため、インデックス画面の切り替え指示があったときに、迅速に次のインデックス画面を表示することができる。
【００８０】
なお、第３の実施形態において、記憶範囲Ｌは、一つのインデックス画面に表示する代表画像の画面数ｎと、メモリに記憶可能な代表画像データの画面数ｍとに基づき、適宜設定することができる。
【特許請求の範囲】
【請求項１】
複数のクリップの動画データが記録された記録媒体から前記動画データを再生する再生手段と、
メモリと、
前記再生手段により再生された動画データに基づいて前記クリップの代表画像を示す代表画像データを生成して前記メモリに記憶する生成手段と、
前記メモリに記憶された代表画像データを用いてインデックス画面を生成し、表示装置に表示する表示手段と、
前記生成手段が前記代表画像データを生成するのに要する時間に基づいて、前記メモリに記憶する代表画像データのクリップを決定し、前記生成手段により前記決定したクリップの代表画像データを生成して前記メモリに記憶させる制御手段と、
を備えることを特徴とする再生装置。
【請求項２】
前記制御手段は、前記メモリに記憶された複数の代表画像データのうち、前記時間が最も短いものを前記メモリから削除し、前記生成手段により新たに生成した代表画像データを前記メモリに記憶させることを特徴とする請求項１に記載の再生装置。
【請求項３】
前記制御手段は、前記メモリに記憶された複数の代表画像データのうち前記時間が最も短いものよりも前記生成手段により新たに生成した代表画像データを生成するのに要した時間が短い場合には、前記時間が最も短い代表画像データを前記メモリから削除せず、前記新たに生成した代表画像データを前記メモリに記憶させないようにすることを特徴とする請求項２に記載の再生装置。
【請求項４】
前記制御手段は、前記メモリに記憶された複数の代表画像データのうち、前記表示手段にて表示中のインデックス画面に含まれる代表画像のクリップから所定範囲を超えるクリップの代表画像データのうち、前記時間が最も短いものを前記メモリから削除し、前記生成手段により新たに生成した代表画像データを前記メモリに記憶させることを特徴とする請求項１に記載の再生装置。
【請求項５】
前記制御手段は、前記メモリに記憶された複数の代表画像データのうち、前記表示手段にて表示中のインデックス画面に含まれる代表画像のクリップから所定範囲を超えるクリップの代表画像データを前記メモリから削除し、前記生成手段により新たに生成した代表画像データを前記メモリに記憶させることを特徴とする請求項１に記載の再生装置。
【請求項６】
前記制御手段は、前記インデックス画面の表示指示、または、前記表示装置に表示されたインデックス画面の切り替え指示に応じて、前記生成手段により新たに前記代表画像データを生成させることを特徴とする請求項１乃至５のいずれか１項に記載の再生装置。
【請求項７】
複数のクリップの動画データが記録された記録媒体から前記動画データを再生する再生手段と、
前記再生手段により再生された動画データに基づいて前記クリップの代表画像を示す代表画像データを生成して、ｍ画面の前記代表画像データを記憶可能なメモリに記憶する生成手段と、
前記メモリに記憶された代表画像データを用いて、ｎ画面（ただし、ｎ＜ｍ）の代表画像を含むインデックス画面を生成し、表示装置に表示する表示手段と、
前記表示装置に表示されたインデックス画面の切り替え指示に応じて、前記表示手段により次のインデックス画面を表示させる制御手段とを備え、
前記制御手段は、前記表示装置に表示されたインデックス画面の切り替え指示に応じて、所定のクリップの代表画像データが前記メモリに記憶されていない場合に、前記生成手段により新たに前記所定のクリップの代表画像データを生成させると共に、前記新たに生成した代表画像データを前記メモリに記憶できない場合には、前記メモリに記憶された代表画像データのうち、前記生成手段が前記代表画像データを生成するのに要する時間が最も長いものを前記メモリから削除して、前記新たに生成した代表画像データを前記メモリに記憶させることを特徴とする再生装置。
【請求項８】
前記動画データは、フレーム内符号化とフレーム間予測符号化とにより符号化されており、前記再生手段は前記記録媒体から再生した動画データを復号する復号手段を有し、前記生成手段が前記代表画像データを生成するのに要する時間は、前記復号手段が前記代表画像データに対応するフレームを復号するのに要する時間であることを特徴とする請求項１乃至７のいずれか１項に記載の再生装置。
【請求項９】
前記クリップの代表画像を変更する手段を更に備えることを特徴とする請求項１乃至８のいずれか１項に記載の再生装置。
【請求項１】
複数のクリップの動画データが記録された記録媒体から前記動画データを再生する再生手段と、
メモリと、
前記再生手段により再生された動画データに基づいて前記クリップの代表画像を示す代表画像データを生成して前記メモリに記憶する生成手段と、
前記メモリに記憶された代表画像データを用いてインデックス画面を生成し、表示装置に表示する表示手段と、
前記生成手段が前記代表画像データを生成するのに要する時間に基づいて、前記メモリに記憶する代表画像データのクリップを決定し、前記生成手段により前記決定したクリップの代表画像データを生成して前記メモリに記憶させる制御手段と、
を備えることを特徴とする再生装置。
【請求項２】
前記制御手段は、前記メモリに記憶された複数の代表画像データのうち、前記時間が最も短いものを前記メモリから削除し、前記生成手段により新たに生成した代表画像データを前記メモリに記憶させることを特徴とする請求項１に記載の再生装置。
【請求項３】
前記制御手段は、前記メモリに記憶された複数の代表画像データのうち前記時間が最も短いものよりも前記生成手段により新たに生成した代表画像データを生成するのに要した時間が短い場合には、前記時間が最も短い代表画像データを前記メモリから削除せず、前記新たに生成した代表画像データを前記メモリに記憶させないようにすることを特徴とする請求項２に記載の再生装置。
【請求項４】
前記制御手段は、前記メモリに記憶された複数の代表画像データのうち、前記表示手段にて表示中のインデックス画面に含まれる代表画像のクリップから所定範囲を超えるクリップの代表画像データのうち、前記時間が最も短いものを前記メモリから削除し、前記生成手段により新たに生成した代表画像データを前記メモリに記憶させることを特徴とする請求項１に記載の再生装置。
【請求項５】
前記制御手段は、前記メモリに記憶された複数の代表画像データのうち、前記表示手段にて表示中のインデックス画面に含まれる代表画像のクリップから所定範囲を超えるクリップの代表画像データを前記メモリから削除し、前記生成手段により新たに生成した代表画像データを前記メモリに記憶させることを特徴とする請求項１に記載の再生装置。
【請求項６】
前記制御手段は、前記インデックス画面の表示指示、または、前記表示装置に表示されたインデックス画面の切り替え指示に応じて、前記生成手段により新たに前記代表画像データを生成させることを特徴とする請求項１乃至５のいずれか１項に記載の再生装置。
【請求項７】
複数のクリップの動画データが記録された記録媒体から前記動画データを再生する再生手段と、
前記再生手段により再生された動画データに基づいて前記クリップの代表画像を示す代表画像データを生成して、ｍ画面の前記代表画像データを記憶可能なメモリに記憶する生成手段と、
前記メモリに記憶された代表画像データを用いて、ｎ画面（ただし、ｎ＜ｍ）の代表画像を含むインデックス画面を生成し、表示装置に表示する表示手段と、
前記表示装置に表示されたインデックス画面の切り替え指示に応じて、前記表示手段により次のインデックス画面を表示させる制御手段とを備え、
前記制御手段は、前記表示装置に表示されたインデックス画面の切り替え指示に応じて、所定のクリップの代表画像データが前記メモリに記憶されていない場合に、前記生成手段により新たに前記所定のクリップの代表画像データを生成させると共に、前記新たに生成した代表画像データを前記メモリに記憶できない場合には、前記メモリに記憶された代表画像データのうち、前記生成手段が前記代表画像データを生成するのに要する時間が最も長いものを前記メモリから削除して、前記新たに生成した代表画像データを前記メモリに記憶させることを特徴とする再生装置。
【請求項８】
前記動画データは、フレーム内符号化とフレーム間予測符号化とにより符号化されており、前記再生手段は前記記録媒体から再生した動画データを復号する復号手段を有し、前記生成手段が前記代表画像データを生成するのに要する時間は、前記復号手段が前記代表画像データに対応するフレームを復号するのに要する時間であることを特徴とする請求項１乃至７のいずれか１項に記載の再生装置。
【請求項９】
前記クリップの代表画像を変更する手段を更に備えることを特徴とする請求項１乃至８のいずれか１項に記載の再生装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１１−２５９３２０（Ｐ２０１１−２５９３２０Ａ）
【公開日】平成２３年１２月２２日（２０１１．１２．２２）
【国際特許分類】
【出願番号】特願２０１０−１３３３５０（Ｐ２０１０−１３３３５０）
【出願日】平成２２年６月１０日（２０１０．６．１０）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２３年１２月２２日（２０１１．１２．２２）
【国際特許分類】
【出願日】平成２２年６月１０日（２０１０．６．１０）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]