画像処理装置、画像処理方法及びプログラム
【課題】少ない時間でより多くの代表画像を表示できるようにする。
【解決手段】画像ファイルに縮小画像に関する情報が存在する場合は、優先度を１に設定し、そうでない場合は、画像ファイルのサイズによって優先度２または３に振り分ける。そして、まず、処理時間の短い優先度１の代表画像から表示し、次に、優先度２の代表画像を表示する。そして、処理時間が多くかかる優先度３の代表画像を最後に表示するようにして、ユーザにとってどのような画像が記録されているのかをすぐに確認することができるようにする。
【解決手段】画像ファイルに縮小画像に関する情報が存在する場合は、優先度を１に設定し、そうでない場合は、画像ファイルのサイズによって優先度２または３に振り分ける。そして、まず、処理時間の短い優先度１の代表画像から表示し、次に、優先度２の代表画像を表示する。そして、処理時間が多くかかる優先度３の代表画像を最後に表示するようにして、ユーザにとってどのような画像が記録されているのかをすぐに確認することができるようにする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置、画像処理方法及びプログラムに関し、特に、代表画像を表示するために用いて好適な技術に関する。
【背景技術】
【０００２】
従来、ビデオカメラやＤＶＤレコーダ等の装置においては、記録媒体に記録した動画データや静止画データを再生する際、その代表画像の一覧画面を表示している。そして、一覧表示された代表画像の中から所望の画像をユーザが選択し、再生を指示することにより、元の動画データや静止画データを再生する機能を備えている（例えば、特許文献１参照）。このとき、記録された動画データや静止画データを再生し、そのサイズを代表画像に適したサイズに変換して表示している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−２０６７７４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
前述のように代表画像を生成して表示する場合、元の動画や静止画のデータ量が大きい程、記録媒体から再生するのに多くの時間がかかるため、その代表画像を表示するまでに長い時間待たされることになる。その結果、決められた順に代表画像を表示する場合には、この様なデータ量の大きな画像の代表画像を表示するまでは次の代表画像が表示されないため、次の代表画像がデータ量の小さい画像の代表画像であっても表示するまで長い時間待たされることになる。なお、どのような画像が記録されているのかを確認するためには、ある程度の数の代表画像が表示されている必要がある。このため、データ量の大きい画像が記録されている場合には、ユーザはどのような画像が記録されているのかをすぐに確認できないという問題点がある。
【０００５】
本発明は前述の問題点に鑑み、少ない時間でより多くの代表画像を表示できるようにすることを目的としている。
【課題を解決するための手段】
【０００６】
本発明の画像処理装置は、記録媒体に記録されている画像データに基づいて代表画像データを生成する生成手段と、前記生成手段によって生成された代表画像データに基づく代表画像を表示部に表示する表示手段と、前記代表画像を前記表示部に表示するまでにかかる時間を判断する判断手段と、前記判断手段の判断結果に応じて前記表示部に代表画像を表示する順番を決定する決定手段とを有することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、表示画面に複数の代表画像を表示させようとするときに、少ない時間でより多くの代表画像を表示させることができる。これにより、ユーザはどのような画像が記録されているのかをすぐに確認することができる。
【図面の簡単な説明】
【０００８】
【図１】実施形態に係るデジタルビデオカメラの構成例を示すブロック図である。
【図２】システム制御部の詳細な構成例を示すブロック図である。
【図３】優先度を判定して代表画像を表示する処理手順の一例を示すフローチャートである。
【図４】優先度を判定する処理手順の一例を示すフローチャートである。
【図５】記録媒体内のデータの構造例を示す図である。
【図６】優先度管理テーブルの一例を示す図である。
【図７】代表画像を表示する処理手順の一例を示すフローチャートである。
【図８】表示部に表示された代表画像の一例を示す図である。
【図９】優先度判定テーブルの一例を示す図である。
【発明を実施するための形態】
【０００９】
（第１の実施形態）
以下、本発明の実施形態について図面を参照しながら説明する。なお、本発明はビデオカメラ、デジタルスチルカメラ、携帯電話、パーソナルコンピュータ、テレビなどの動画像もしくは静止画像を表示可能な機器に対して適用が可能である。
【００１０】
図１は、本実施形態に係るデジタルビデオカメラ１００の構成例を示すブロック図である。
図１に示すようにデジタルビデオカメラ１００は、撮像部１０１、映像信号処理部１０２、音声信号処理部１０３、マイク１０４、システム制御部１０５、フレームメモリ１０６、及びメモリ１０７を備えている。さらに、ビデオ／オーディオコーデック１０８、ストリームバッファ１０９、記録再生制御部１１０、内蔵記録媒体１１１、外付け記録媒体１１２、操作部１１３、表示部１１４、多重化処理部１１５、及び静止画コーデック１１６を備えている。
【００１１】
映像信号処理部１０２は、撮像部１０１で得られた映像信号にＡ／Ｄ変換及び適切な画像処理を施す。マイク１０４は、外部の音声を取り込むものであり、音声信号処理部１０３は、マイク１０４で得られた音声信号にＡ／Ｄ変換及び適切な信号処理を施す。システム制御部１０５は、プログラムを実行して各種処理を行い、デジタルビデオカメラ１００全体を制御する。フレームメモリ１０６は、記録時においては撮影して得られた動画像データ及び音声データを符号化して多重化するまで格納する。また、再生時においては多重分離して復号化された動画像データ及び音声データを出力するまで格納する。
【００１２】
ビデオ／オーディオコーデック１０８は、動画像データ及び音声データをそれぞれＭＰＥＧ等公知の符号化方式に従い圧縮符号化する。静止画コーデック１１６は、非圧縮の静止画像データを、ＪＰＥＧ等の所定の圧縮フォーマットに従って圧縮符号化する。メモリ１０７は、システム制御部１０５が用いる情報を一時的に保存しておくためのメモリである。
【００１３】
記録再生制御部１１０は、内蔵記録媒体１１１及び外付け記録媒体１１２に対し、記録及び再生を制御する。外付け記録媒体１１２は、着脱可能な記録媒体である。具体的には、ＭＭＣ、ＳＤ、コンパクトフラッシュ（登録商標）、ＰＣカードなどのメモリカード、あるいはハードディスク、ＣＤ−ＲＷ、ＤＶＤ−Ｒ／ＲＷ、ＭＤなどの光（あるいは光磁気）記録メディアなどである。外付け記録媒体１１２は、不図示の記録媒体装着、排出機構により、デジタルビデオカメラ１００に対してユーザが容易に装着、排出できる。内蔵記録媒体１１１は、デジタルビデオカメラ１００の本体内に内蔵されている記録媒体であり、前記の装着、排出機構などによりユーザが容易に交換できない構成となっている。内蔵記録媒体１１１は、外付け記録媒体１１２と同等のものが本体内部に内蔵されていてもよく、ＮＡＮＤ、ＮＯＲなどのフラッシュメモリであってもよい。本実施形態では、これらの内蔵記録媒体１１１または外付け記録媒体１１２にストリームデータや静止画像データが記録または再生される。
【００１４】
本実施形態では、内蔵記録媒体１１１及び外付け記録媒体１１２は共に、ランダムアクセスの記録媒体であり、また、後述の様に、各記録媒体に記録するデータを全てファイルとして管理する。そして、記録再生制御部１１０は、内蔵記録媒体１１１及び外付け記録媒体１１２のそれぞれのフォーマットに対応したファイルシステムに従って、記録するデータを管理する。
【００１５】
操作部１１３は、ユーザの操作に応じて記録または再生の指示を行うためのインターフェイスである。また、操作部１１３は、ユーザの操作に応じて、デジタルビデオカメラ１００に対して設定等を指示する。表示部１１４は液晶パネル等の表示デバイスを有しており、記録時は撮像部１０１から入力された映像を表示し、再生時は記録再生制御部１１０によって再生された映像を表示する。また、デジタルビデオカメラ１００に対する設定メニュー等を表示する機能も有している。多重化処理部（マルチプレクサ・デマルチプレクサ）１１５は、記録時には圧縮符号化された動画像データ及び音声データを多重化してストリームデータを生成し、再生時にはストリームデータを多重分離して動画像データ及び音声データを生成する。ストリームバッファ１０９は、多重化されたストリームデータを保持する。
【００１６】
本実施形態のデジタルビデオカメラ１００は、操作部１１３により電源が投入されると、デジタルビデオカメラ１００は撮影モードで動作を開始し、撮像部１０１で得られた動画像が表示部１１４に表示される。また、操作部１１３により再生モードへの切り替えスイッチを操作すると、デジタルビデオカメラ１００が再生モードに切り替わる。そして、再生モードへの切り替え時、或いは、代表画像（インデックス）一覧表示の指示があったときに、後述の如く内蔵記録媒体１１１、または外付け記録媒体１１２に記録された代表画像の一覧画面を表示部１１４に表示する。
【００１７】
動画像を撮影（記録）する時は、操作部１１３から動画記録の指示を受けると、撮像部１０１で得られた映像信号を映像信号処理部１０２においてデジタルデータ（動画像データ）に変換し、フレームメモリ１０６に格納する。このとき、マイク１０４により取得した音声信号も音声信号処理部１０３においてデジタルデータ（音声データ）に変換し、フレームメモリ１０６に格納する。ビデオ／オーディオコーデック１０８は、フレームメモリ１０６に格納された動画像データ及び音声データをそれぞれ圧縮し、多重化処理部１１５により多重化して、ストリームデータとしてストリームバッファ１０９に格納する。そして、記録再生制御部１１０は、ストリームバッファ１０９に格納されたストリームデータを内蔵記録媒体１１１もしくは外付け記録媒体１１２へ動画像ファイルとして記録する。
【００１８】
ユーザは操作部１１３を操作することにより、内蔵記録媒体１１１及び外付け記録媒体１１２のうち、何れかを選択し、選択した方の記録媒体に動画像ファイルを記録する。そして、記録停止の指示があると、ストリームデータの記録を停止する。本実施形態では、撮影開始の指示から撮影停止の指示までの間に記録した一つのシーンの動画、音声のストリームデータを一つのファイルとして記録する。
【００１９】
一方、静止画像を撮影（記録）する時は、操作部１１３から静止画記録の指示を受けると、撮像部１０１で得られた映像信号を映像信号処理部１０２においてデジタルデータ（静止画像データ）に変換し、フレームメモリ１０６に格納する。静止画コーデック１１６は、フレームメモリ１０６に格納された静止画像データをシステム制御部１０５から指示された目標圧縮率に合わせて符号化し、符号化した静止画像データをメモリ１０７に格納する。そして、記録再生制御部１１０は、メモリ１０７に格納された静止画像データを内蔵記録媒体１１１もしくは外付け記録媒体１１２へ静止画像ファイルとして記録する。
【００２０】
再生モードにて動画像を再生する時は、操作部１１３から再生の指示を受けると、システム制御部１０５は、以下のような制御を行う。まず、内蔵記録媒体１１１または外付け記録媒体１１２から動画ファイルを再生し、ファイルに格納されたストリームデータをストリームバッファ１０９に格納するよう記録再生制御部１１０を制御する。このとき、ユーザは操作部１１３を操作することにより、内蔵記録媒体１１１及び外付け記録媒体１１２のうち、何れかを選択し、選択した方の記録媒体から動画像ファイルを再生する。多重化処理部１１５は、ストリームバッファ１０９に格納されたストリームデータを動画像データ及び音声データに分離する。そして、ビデオ／オーディオコーデック１０８は、分離された動画像データ及び音声データをそれぞれ復号化してフレームメモリ１０６に格納する。そして、展開された動画像データを映像信号処理部１０２によって適切な信号処理を施し、表示部１１４の液晶パネルに動画像として表示する。また、展開された音声データを音声信号処理部１０３により適切な信号処理を施し、不図示のスピーカーから音声として出力する。そして、再生停止の指示があると、記録媒体からのストリームデータの再生を停止する。再生が停止されると、表示部１１４には、後述の様に、代表画像の一覧画面が表示される。
【００２１】
一方、静止画像を再生する時は、操作部１１３から再生の指示を受けると、システム制御部１０５は、内蔵記録媒体１１１または外付け記録媒体１１２から静止画像データを再生し、メモリ１０７に格納するよう記録再生制御部１１０を制御する。静止画コーデック１１６は、メモリ１０７に格納された静止画像データを復号化し、フレームメモリ１０６に格納する。そして、システム制御部１０５の制御により、表示部１１４の液晶パネルに静止画像として表示する。
【００２２】
また、再生モードへの切り替え指示、或いは、操作部１１３から一覧表示の指示を受けると、システム制御部１０５は、以下のような制御を行う。まず、内蔵記録媒体１１１または外付け記録媒体１１２から画像データを再生することにより代表画像データを生成するよう記録再生制御部１１０を制御する。このとき、動画像について、例えば、一つのシーンの先頭フレームなど、ストリーム中の一つのフレームの画像データを使って代表画像データを生成する。また、予め縮小画像が動画像ファイルに含まれている場合は、その縮小画像データから代表画像データを生成してもよい。なお、縮小画像をそのまま代表画像として用いることが可能な場合は、そのまま代表画像データとして用いてもよい。そして、システム制御部１０５は、生成した代表画像データをメモリ１０７に格納する。次に、静止画コーデック１１６により代表画像データを復号してフレームメモリ１０６に格納し、システム制御部１０５の制御により、表示部１１４の一覧表示の所定の位置にその代表画像を表示する。
【００２３】
図２は、図１におけるシステム制御部１０５の詳細な機能構成例を示すブロック図である。
図２に示すように、システム制御部１０５は、プログラムを実行する不図示のＣＰＵと、エントリ取得部２０２と、優先度判断部２０３とを備えている。
【００２４】
エントリ取得部２０２は、内蔵記録媒体１１１及び外付け記録媒体１１２のファイルシステムに従ってファイルやディレクトリのエントリを取得する。優先度判断部２０３は、後述の様に、代表画像データの生成を開始してから代表画像を表示するまでの時間を判断し、ファイルを読み出して代表画像データを生成する順番（代表画像を表示する順番）を決定する。
【００２５】
図３は、優先度を判定して代表画像を表示する処理手順の一例を示すフローチャートである。本実施形態において、代表画像を表示する方法は大きく分けて二つの処理からなる。具体的には、内蔵記録媒体１１１または外付け記録媒体１１２から静止画像ファイル、動画像ファイルを取得し、表示する優先度を判定する処理（Ｓ３０１）と、判定結果を元に代表画像を表示する処理（Ｓ３０２）とからなる。
【００２６】
まず、静止画像ファイル、動画像ファイルを取得し、表示する優先度を判定する処理（Ｓ３０１）について、図４のフローチャートを参照しながら説明する。図４は、優先度を判定する処理手順の一例を示すフローチャートである。なお、図４に示す各処理は、システム制御部１０５の制御により行われる。
操作部１１３から代表画像を表示するよう指示を受けると、エントリを取得する（Ｓ４０１）。具体的にはまず、記録媒体にどのようなファイルが存在するかを確認する。
【００２７】
図５（ａ）は、記録媒体内のデータの配置例を示す図である。
図５（ａ）において、先頭領域であるブートセクタ５０１には、管理情報のパラメータデータが記録され、管理テーブル５０２には、ファイルの使用状況を表すテーブルが記録されている。また、画像ファイル（静止画、動画）等が記録されているデータ領域５０４が配置されている。データ領域５０４には、画像ファイルの他、デジタルビデオカメラ１００では取扱いのできないファイルや、サブディレクトリ等が記録されている。
【００２８】
図５（ｂ）は、図５（ａ）のルートディレクトリ５０３の構成例を示す図である。
図５（ｂ）に示すように、ルートディレクトリ５０３は、ブートセクタ５０１に記録されたエントリ数のエントリの集合体で構成され、それぞれ３２バイトで構成されるエントリ０，エントリ１，エントリ２，エントリ３，・・・が存在する。このようにＳ４０１では、システム制御部１０５のエントリ取得部２０２は、記録再生制御部１１０を介して内蔵記録媒体１１１または外付け記録媒体１１２に記録されているすべてのエントリを読み出し、メモリ１０７に格納する。
【００２９】
また、システム制御部１０５は、代表画像を表示する優先度を管理する優先度管理テーブルを生成する。システム制御部１０５は、優先度の管理ファイルを生成し、例えば内蔵記録媒体１１１に優先度管理テーブルの内容を管理ファイルとして書き込む。優先度管理テーブルはエントリ番号、ファイル名、画像ファイルのフォーマット、画像の幅、高さ、縮小画像の有無、優先度等の情報を格納する。また、エントリはファイルが登録されるごとにカウントアップされていくものである。なお、管理ファイルを生成せずに、メモリ１０７に優先度管理テーブルなど同等の内容を保持しておいてもよく、ファイルシステムのデータ領域５０４にユーザが自由に利用できる領域があればその領域を利用して優先度の管理を行ってもよい。
【００３０】
次に、システム制御部１０５は、メモリ１０７に格納されているエントリから先頭のエントリを読み出す（Ｓ４０２）。そして、読み出したエントリに対応するファイルが本実施形態のデジタルビデオカメラ１００に対応しており、再生可能なファイルであるか否かを確認する（Ｓ４０３）。本実施形態のデジタルビデオカメラ１００は、ＪＰＥＧ形式やＲＡＷ形式の静止画像ファイルやＭＰＥＧ形式の動画像ファイルに対応しているものとする。ここで、ＲＡＷ形式の静止画像ファイルとは、ＣＣＤセンサやＣＭＯＳセンサなどの撮像素子から出力され、映像信号処理を施すことなくデジタル化して非圧縮で記録したものである。
【００３１】
システム制御部１０５は、Ｓ４０２で読み出したエントリに対応するファイルの拡張子の情報を取得し、メモリ１０７に格納する。本実施形態のデジタルビデオカメラ１００で再生できるファイル形式の拡張子の情報はメモリ１０７に格納されており、読み出したファイルの拡張子と比較して対応しているかどうかを確認する。この確認の結果、拡張子が対応しているものでない場合は、優先度の管理ファイルへの書き込みは行わないため、Ｓ４１０に進む。なお、優先度の管理ファイルに書き込まれなかったファイルの画像は図３のＳ３０２において表示されない。
【００３２】
一方、拡張子が対応しているものである場合は、記録再生制御部１１０は、このエントリに対応したファイルのファイルヘッダを内蔵記録媒体１１１または外付け記録媒体１１２から読み出す（Ｓ４０４）。ここで、画像ファイルは、画像ファイルの構造についての規格、画像データのパラメータ等の情報が書き込まれるファイルヘッダと、ＪＰＥＧ規格等の画像データの記録圧縮データ等が書き込まれる画像データ領域とを有する。システム制御部１０５は、画像データに関するパラメータの中から画像ファイルのフォーマット、圧縮率、解像度などのファイルヘッダの情報を取得してメモリ１０７に格納する。
【００３３】
次に、取得したファイルヘッダの情報に、縮小画像に関する情報があるか否かを判断する（Ｓ４０５）。縮小画像に関する情報がある場合にはその縮小画像を用いて代表画像を生成することができる。例えば、ＪＰＥＧ形式の静止画像ファイルにはインデックス表示用の画像としてファイルヘッダに縮小画像が記録されているものがある。この場合、ファイルサイズの小さい縮小画像データを読み出すので、画像ファイルへアクセスする時間が減少する。また、縮小画像から代表画像を生成すると代表画像の解像度が小さくなるため代表画像の復号時間が短くなる。このことから、このような代表画像を優先的に表示するようにする。
【００３４】
このように、Ｓ４０５の判断の結果、読み出したエントリのファイルヘッダに縮小画像に関する情報がある場合は表示までの時間が短いということになる。したがって、システム制御部１０５の優先度判断部２０３は、ファイル名やファイルヘッダの情報などとともに優先度の管理ファイルにその画像ファイルの優先度として、最も優先度が高いことを示す所定値（ここでは１）を書き込む（Ｓ４０６）。
【００３５】
一方、縮小画像に関する情報がない場合は、画像ファイルの画素数が所定値以下であるかどうかを確認する（Ｓ４０７）。画素数が大きい画像の場合、ファイルサイズが大きいため記録媒体から読み出して代表画像データを生成し、復号化するまで多くの時間がかかる。また、代表画像を主画像から生成する際に縮小処理を行うため、元の画像の画素数と代表画像の画素数とに応じて、代表画像を作成する際に要する時間が異なる。本実施形態では、表示までの一連の処理時間がユーザにストレスを与えないような時間に収まるように、ここでの閾値としての画素数を設定する。
【００３６】
以上のように画素数が所定値以下である場合は、システム制御部１０５の優先度判断部２０３は、ファイル名やヘッダ情報などとともに優先度の管理ファイルに、この画像ファイルの優先度が２番目であることを示す所定値（ここでは２）を書き込む（Ｓ４０８）。それとは反対に画像ファイルの画素数が閾値を超える場合は、システム制御部１０５の優先度判断部２０３は、ファイル名やヘッダ情報などとともに優先度の管理ファイルに、最も優先度が低いことを示す所定値（ここでは３）を書き込む（Ｓ４０９）。この様に、優先度が低いほど、画像ファイルの代表画像を表示するまでに要する時間が長いことを示している。
【００３７】
次に、ルートディレクトリ５０３内に次のエントリがまだ存在するか否かを確認し（Ｓ４１０）、次のエントリがない場合には処理を終了する。一方、ルートディレクトリ５０３内に次のエントリが存在するときには、次のエントリをメモリ１０７から取得する（Ｓ４１１）。
【００３８】
図６は、図４の処理により生成決定される優先度管理テーブルの一例を示す図である。
図６に示すように、記録媒体から読み出して代表画像を生成して表示するまでの時間が短いものに対して高い優先度が設定されるようになっている。なお、図６ではエントリの順番はファイル名でソートされているが、画像ファイルのサイズ、日付等でソートをしてエントリの順番を変更してもよい。後述の様に、本実施形態では、代表画像の一覧画面を生成する際に、この管理テーブルに記述された順番に従って代表画像の表示位置を決定する。本実施形態では、ルートディレクトリにすべてのファイルのエントリがあることを想定して優先度を付加する方法を説明したが、サブディレクトリがルートディレクトリの下にある場合にはその中のファイルのエントリも同様な方法で優先度を付加する。また、記録媒体が複数あるときも記録媒体ごとに優先度の判断を行う。
【００３９】
次に、優先度に基づいて代表画像を表示する処理（Ｓ３０２）について、図７のフローチャートを参照しながら説明する。図７は、優先度に基づいて代表画像を表示する処理手順の一例を示すフローチャートである。なお、図７に示す各処理は、システム制御部１０５の制御により行われる。
【００４０】
まず、システム制御部１０５は、表示条件を初期設定する（Ｓ７０１）。表示条件は、代表画像に表示すべき代表画像のエントリと、表示する代表画像の優先度の情報を含む。例えば、図８（ａ）の様に、一画面に六画面の代表画像を表示する場合、表示する順に６個のエントリを代表画像のエントリとして設定する。ここでは、図６の管理テーブルにおける先頭のエントリから順に、６個のエントリの代表画像を表示するものとする。また、優先度管理テーブルで優先度が１の画像ファイルのみを表示する設定を最初に行う。次に、システム制御部１０５は、優先度管理テーブルの先頭のエントリをメモリ１０７から取得する（Ｓ７０２）。そして、システム制御部１０５は、読み出したエントリのファイルの優先度が表示条件にあうか否かを確認する（Ｓ７０３）。優先度が表示条件に合わない場合は、予めメモリ１０７に格納されている代替画像を表示部１１４に表示する（Ｓ７０４）。本実施形態では、代替画像として、代表画像を作成中である旨の情報を表示する。
【００４１】
一方、優先度が表示条件に合う場合は、記録再生制御部１１０は、読み出したエントリに該当する画像ファイルを読み出して代表画像データを生成する。そして、ビデオ／オーディオコーデック１０８または静止画コーデック１１６により代表画像データを復号し、システム制御部１０５は、所望のサイズにリサイズして表示部１１４へ代表画像を表示する（Ｓ７０５）。表示部１１４へ出力するときのレイアウトは、図６に示す優先度管理テーブルおけるエントリの順番に並べてもよく、画像ファイルを読み出した順番で並べてもよい。
【００４２】
次に、システム制御部１０５は、優先度管理テーブルに次のエントリがないか否かを確認する（Ｓ７０６）。次のエントリがある場合は、システム制御部１０５は、優先度管理テーブルにおける次のエントリをメモリ１０７から読み出す（Ｓ７０７）。一方、次のエントリがない場合は、優先度１〜３の画像ファイルの代表画像をすべて表示したか否かを確認する（Ｓ７０８）。本実施形態では優先度を３段階に設けているが、画像を表示させるシステムの構成によって優先度を何段階に設定してもよい。一方、優先度１〜３の画像ファイルの代表画像をすべて表示していない場合は、表示条件となる優先度を１下げる（Ｓ７０９）。例えば、優先度が１である画像ファイルの代表画像をすべて表示したら、表示条件となる優先度を下げて優先度２を表示条件とする。本実施形態では、以上のような手順により表示する順序を決定する。
【００４３】
この様に代表画像の一覧画面を表示した後、ユーザが操作部１１３を操作して、一覧画面の切り替えを指示すると、再度図７の処理を実行し、Ｓ７０１にて次の一覧画面にて表示すべき代表画像のエントリを設定し直し、代表画像を表示する。また、本実施形態では、代表画像の一覧画面を表示する際に、管理テーブルの先頭のエントリから順に表示する場合を説明したが、エントリの途中から表示することももちろん可能である。
【００４４】
図８（ａ）は、図７の処理手順により図６の優先度管理テーブルに基づいて表示部１１４に表示された代表画像の一例を示す図である。なお、図８（ａ）に示す例は、優先度１の画像ファイルに対して代表画像の表示が終了した段階のものである。また、図８（ａ）では表示部１１４に６枚の代表画像を並べる構成になっているが何枚並べる構成にしてもよい。画像１００１は図６のエントリ０に相当する画像ファイルの代表画像であり、画像１００２は図６のエントリ１に相当する画像ファイルの代表画像である。以下同様に、画像１００３はエントリ２、画像１００４はエントリ３、画像１００５はエントリ４、画像１００６はエントリ５の画像ファイルの代表画像である。また、画面のレイアウトは左上から右下に向かってエントリの順番で表示されている。優先度が１ではない画像ファイルに関しては、Ｓ７０９で表示条件が変更されるまでメモリ１０７に予め格納されている「画像表示待ち」という通知の代替画像が表示される。
【００４５】
図８（ｂ）は、優先度管理テーブルに基づいて表示部１１４に表示された代表画像の他の一例を示す図であり、図８（ａ）に示す例と同様に優先度１の画像ファイルの代表画像のみを表示した段階のものである。図８（ｂ）では、撮影日時が近いものを横一列に並べており、短い時間で多くの画像を効率よく確認することができる。このように表示する代表画像が多いとより効果的である。
【００４６】
なお、本実施形態では、縮小画像の有無と、画像の画素数とに基づいて代表画像を表示する際に要する時間を判別し、その判別結果により優先度を設定していたが、これらの条件以外の条件を使ってもよい。例えば、画像データの圧縮方式や圧縮率、ファイルのサイズなどのパラメータも条件の１つとしてもよい。
【００４７】
本実施形態では、画像ファイルのエントリを取得するときに優先度管理テーブルを生成し、生成した優先度管理テーブルに従って代表画像を表示する方法について説明した。一方、画像ファイルのエントリを取得しながら代表画像を表示してもよい。この場合、図９のような優先度判定テーブルを予めメモリ１０７に格納しておき、ファイル名を取得したら画像ファイルの解析を行う。例えば、優先度判定テーブルには、縮小画像の有無、画像ファイルが記録されている記録媒体、画像ファイルのフォーマットなどの情報があり、優先度を決めるための条件として定められている。そして、優先度判定テーブルの中から該当する条件を探し出し、該当条件の優先度に従って表示するかどうかを判断し、条件に適合する場合に代表画像を表示する構成でもかまわない。
【００４８】
以上のように本実施形態によれば、縮小画像を有する画像ファイルの代表画像を優先的に表示し、縮小画像を有していない画像ファイルについてはサイズによって代表画像を表示する順番を決定するようにした。これにより、表示画面に複数の代表画像を表示させようとするときに、少ない時間でより多くの代表画像を表示させることができる。
【００４９】
（本発明に係る他の実施形態）
以上、本発明に係る画像処理装置の実施形態の例について説明したが、本発明は前述の実施形態の例に限定されるものではなく、各種の態様が採り得る。前述した本発明の実施形態における画像処理装置を構成する各手段、並びに画像処理方法の各工程は、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記憶したコンピュータ読み取り可能な記憶媒体は本発明に含まれる。
【００５０】
また、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。
【００５１】
なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図３、図４及び図７に示すフローチャートに対応したプログラム）を、システムまたは装置に直接、または遠隔から供給する場合も含む。そして、そのシステムまたは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。
【符号の説明】
【００５２】
１０５ システム制御部、１１０ 記録再生制御部、１１４ 表示部
【技術分野】
【０００１】
本発明は画像処理装置、画像処理方法及びプログラムに関し、特に、代表画像を表示するために用いて好適な技術に関する。
【背景技術】
【０００２】
従来、ビデオカメラやＤＶＤレコーダ等の装置においては、記録媒体に記録した動画データや静止画データを再生する際、その代表画像の一覧画面を表示している。そして、一覧表示された代表画像の中から所望の画像をユーザが選択し、再生を指示することにより、元の動画データや静止画データを再生する機能を備えている（例えば、特許文献１参照）。このとき、記録された動画データや静止画データを再生し、そのサイズを代表画像に適したサイズに変換して表示している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−２０６７７４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
前述のように代表画像を生成して表示する場合、元の動画や静止画のデータ量が大きい程、記録媒体から再生するのに多くの時間がかかるため、その代表画像を表示するまでに長い時間待たされることになる。その結果、決められた順に代表画像を表示する場合には、この様なデータ量の大きな画像の代表画像を表示するまでは次の代表画像が表示されないため、次の代表画像がデータ量の小さい画像の代表画像であっても表示するまで長い時間待たされることになる。なお、どのような画像が記録されているのかを確認するためには、ある程度の数の代表画像が表示されている必要がある。このため、データ量の大きい画像が記録されている場合には、ユーザはどのような画像が記録されているのかをすぐに確認できないという問題点がある。
【０００５】
本発明は前述の問題点に鑑み、少ない時間でより多くの代表画像を表示できるようにすることを目的としている。
【課題を解決するための手段】
【０００６】
本発明の画像処理装置は、記録媒体に記録されている画像データに基づいて代表画像データを生成する生成手段と、前記生成手段によって生成された代表画像データに基づく代表画像を表示部に表示する表示手段と、前記代表画像を前記表示部に表示するまでにかかる時間を判断する判断手段と、前記判断手段の判断結果に応じて前記表示部に代表画像を表示する順番を決定する決定手段とを有することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、表示画面に複数の代表画像を表示させようとするときに、少ない時間でより多くの代表画像を表示させることができる。これにより、ユーザはどのような画像が記録されているのかをすぐに確認することができる。
【図面の簡単な説明】
【０００８】
【図１】実施形態に係るデジタルビデオカメラの構成例を示すブロック図である。
【図２】システム制御部の詳細な構成例を示すブロック図である。
【図３】優先度を判定して代表画像を表示する処理手順の一例を示すフローチャートである。
【図４】優先度を判定する処理手順の一例を示すフローチャートである。
【図５】記録媒体内のデータの構造例を示す図である。
【図６】優先度管理テーブルの一例を示す図である。
【図７】代表画像を表示する処理手順の一例を示すフローチャートである。
【図８】表示部に表示された代表画像の一例を示す図である。
【図９】優先度判定テーブルの一例を示す図である。
【発明を実施するための形態】
【０００９】
（第１の実施形態）
以下、本発明の実施形態について図面を参照しながら説明する。なお、本発明はビデオカメラ、デジタルスチルカメラ、携帯電話、パーソナルコンピュータ、テレビなどの動画像もしくは静止画像を表示可能な機器に対して適用が可能である。
【００１０】
図１は、本実施形態に係るデジタルビデオカメラ１００の構成例を示すブロック図である。
図１に示すようにデジタルビデオカメラ１００は、撮像部１０１、映像信号処理部１０２、音声信号処理部１０３、マイク１０４、システム制御部１０５、フレームメモリ１０６、及びメモリ１０７を備えている。さらに、ビデオ／オーディオコーデック１０８、ストリームバッファ１０９、記録再生制御部１１０、内蔵記録媒体１１１、外付け記録媒体１１２、操作部１１３、表示部１１４、多重化処理部１１５、及び静止画コーデック１１６を備えている。
【００１１】
映像信号処理部１０２は、撮像部１０１で得られた映像信号にＡ／Ｄ変換及び適切な画像処理を施す。マイク１０４は、外部の音声を取り込むものであり、音声信号処理部１０３は、マイク１０４で得られた音声信号にＡ／Ｄ変換及び適切な信号処理を施す。システム制御部１０５は、プログラムを実行して各種処理を行い、デジタルビデオカメラ１００全体を制御する。フレームメモリ１０６は、記録時においては撮影して得られた動画像データ及び音声データを符号化して多重化するまで格納する。また、再生時においては多重分離して復号化された動画像データ及び音声データを出力するまで格納する。
【００１２】
ビデオ／オーディオコーデック１０８は、動画像データ及び音声データをそれぞれＭＰＥＧ等公知の符号化方式に従い圧縮符号化する。静止画コーデック１１６は、非圧縮の静止画像データを、ＪＰＥＧ等の所定の圧縮フォーマットに従って圧縮符号化する。メモリ１０７は、システム制御部１０５が用いる情報を一時的に保存しておくためのメモリである。
【００１３】
記録再生制御部１１０は、内蔵記録媒体１１１及び外付け記録媒体１１２に対し、記録及び再生を制御する。外付け記録媒体１１２は、着脱可能な記録媒体である。具体的には、ＭＭＣ、ＳＤ、コンパクトフラッシュ（登録商標）、ＰＣカードなどのメモリカード、あるいはハードディスク、ＣＤ−ＲＷ、ＤＶＤ−Ｒ／ＲＷ、ＭＤなどの光（あるいは光磁気）記録メディアなどである。外付け記録媒体１１２は、不図示の記録媒体装着、排出機構により、デジタルビデオカメラ１００に対してユーザが容易に装着、排出できる。内蔵記録媒体１１１は、デジタルビデオカメラ１００の本体内に内蔵されている記録媒体であり、前記の装着、排出機構などによりユーザが容易に交換できない構成となっている。内蔵記録媒体１１１は、外付け記録媒体１１２と同等のものが本体内部に内蔵されていてもよく、ＮＡＮＤ、ＮＯＲなどのフラッシュメモリであってもよい。本実施形態では、これらの内蔵記録媒体１１１または外付け記録媒体１１２にストリームデータや静止画像データが記録または再生される。
【００１４】
本実施形態では、内蔵記録媒体１１１及び外付け記録媒体１１２は共に、ランダムアクセスの記録媒体であり、また、後述の様に、各記録媒体に記録するデータを全てファイルとして管理する。そして、記録再生制御部１１０は、内蔵記録媒体１１１及び外付け記録媒体１１２のそれぞれのフォーマットに対応したファイルシステムに従って、記録するデータを管理する。
【００１５】
操作部１１３は、ユーザの操作に応じて記録または再生の指示を行うためのインターフェイスである。また、操作部１１３は、ユーザの操作に応じて、デジタルビデオカメラ１００に対して設定等を指示する。表示部１１４は液晶パネル等の表示デバイスを有しており、記録時は撮像部１０１から入力された映像を表示し、再生時は記録再生制御部１１０によって再生された映像を表示する。また、デジタルビデオカメラ１００に対する設定メニュー等を表示する機能も有している。多重化処理部（マルチプレクサ・デマルチプレクサ）１１５は、記録時には圧縮符号化された動画像データ及び音声データを多重化してストリームデータを生成し、再生時にはストリームデータを多重分離して動画像データ及び音声データを生成する。ストリームバッファ１０９は、多重化されたストリームデータを保持する。
【００１６】
本実施形態のデジタルビデオカメラ１００は、操作部１１３により電源が投入されると、デジタルビデオカメラ１００は撮影モードで動作を開始し、撮像部１０１で得られた動画像が表示部１１４に表示される。また、操作部１１３により再生モードへの切り替えスイッチを操作すると、デジタルビデオカメラ１００が再生モードに切り替わる。そして、再生モードへの切り替え時、或いは、代表画像（インデックス）一覧表示の指示があったときに、後述の如く内蔵記録媒体１１１、または外付け記録媒体１１２に記録された代表画像の一覧画面を表示部１１４に表示する。
【００１７】
動画像を撮影（記録）する時は、操作部１１３から動画記録の指示を受けると、撮像部１０１で得られた映像信号を映像信号処理部１０２においてデジタルデータ（動画像データ）に変換し、フレームメモリ１０６に格納する。このとき、マイク１０４により取得した音声信号も音声信号処理部１０３においてデジタルデータ（音声データ）に変換し、フレームメモリ１０６に格納する。ビデオ／オーディオコーデック１０８は、フレームメモリ１０６に格納された動画像データ及び音声データをそれぞれ圧縮し、多重化処理部１１５により多重化して、ストリームデータとしてストリームバッファ１０９に格納する。そして、記録再生制御部１１０は、ストリームバッファ１０９に格納されたストリームデータを内蔵記録媒体１１１もしくは外付け記録媒体１１２へ動画像ファイルとして記録する。
【００１８】
ユーザは操作部１１３を操作することにより、内蔵記録媒体１１１及び外付け記録媒体１１２のうち、何れかを選択し、選択した方の記録媒体に動画像ファイルを記録する。そして、記録停止の指示があると、ストリームデータの記録を停止する。本実施形態では、撮影開始の指示から撮影停止の指示までの間に記録した一つのシーンの動画、音声のストリームデータを一つのファイルとして記録する。
【００１９】
一方、静止画像を撮影（記録）する時は、操作部１１３から静止画記録の指示を受けると、撮像部１０１で得られた映像信号を映像信号処理部１０２においてデジタルデータ（静止画像データ）に変換し、フレームメモリ１０６に格納する。静止画コーデック１１６は、フレームメモリ１０６に格納された静止画像データをシステム制御部１０５から指示された目標圧縮率に合わせて符号化し、符号化した静止画像データをメモリ１０７に格納する。そして、記録再生制御部１１０は、メモリ１０７に格納された静止画像データを内蔵記録媒体１１１もしくは外付け記録媒体１１２へ静止画像ファイルとして記録する。
【００２０】
再生モードにて動画像を再生する時は、操作部１１３から再生の指示を受けると、システム制御部１０５は、以下のような制御を行う。まず、内蔵記録媒体１１１または外付け記録媒体１１２から動画ファイルを再生し、ファイルに格納されたストリームデータをストリームバッファ１０９に格納するよう記録再生制御部１１０を制御する。このとき、ユーザは操作部１１３を操作することにより、内蔵記録媒体１１１及び外付け記録媒体１１２のうち、何れかを選択し、選択した方の記録媒体から動画像ファイルを再生する。多重化処理部１１５は、ストリームバッファ１０９に格納されたストリームデータを動画像データ及び音声データに分離する。そして、ビデオ／オーディオコーデック１０８は、分離された動画像データ及び音声データをそれぞれ復号化してフレームメモリ１０６に格納する。そして、展開された動画像データを映像信号処理部１０２によって適切な信号処理を施し、表示部１１４の液晶パネルに動画像として表示する。また、展開された音声データを音声信号処理部１０３により適切な信号処理を施し、不図示のスピーカーから音声として出力する。そして、再生停止の指示があると、記録媒体からのストリームデータの再生を停止する。再生が停止されると、表示部１１４には、後述の様に、代表画像の一覧画面が表示される。
【００２１】
一方、静止画像を再生する時は、操作部１１３から再生の指示を受けると、システム制御部１０５は、内蔵記録媒体１１１または外付け記録媒体１１２から静止画像データを再生し、メモリ１０７に格納するよう記録再生制御部１１０を制御する。静止画コーデック１１６は、メモリ１０７に格納された静止画像データを復号化し、フレームメモリ１０６に格納する。そして、システム制御部１０５の制御により、表示部１１４の液晶パネルに静止画像として表示する。
【００２２】
また、再生モードへの切り替え指示、或いは、操作部１１３から一覧表示の指示を受けると、システム制御部１０５は、以下のような制御を行う。まず、内蔵記録媒体１１１または外付け記録媒体１１２から画像データを再生することにより代表画像データを生成するよう記録再生制御部１１０を制御する。このとき、動画像について、例えば、一つのシーンの先頭フレームなど、ストリーム中の一つのフレームの画像データを使って代表画像データを生成する。また、予め縮小画像が動画像ファイルに含まれている場合は、その縮小画像データから代表画像データを生成してもよい。なお、縮小画像をそのまま代表画像として用いることが可能な場合は、そのまま代表画像データとして用いてもよい。そして、システム制御部１０５は、生成した代表画像データをメモリ１０７に格納する。次に、静止画コーデック１１６により代表画像データを復号してフレームメモリ１０６に格納し、システム制御部１０５の制御により、表示部１１４の一覧表示の所定の位置にその代表画像を表示する。
【００２３】
図２は、図１におけるシステム制御部１０５の詳細な機能構成例を示すブロック図である。
図２に示すように、システム制御部１０５は、プログラムを実行する不図示のＣＰＵと、エントリ取得部２０２と、優先度判断部２０３とを備えている。
【００２４】
エントリ取得部２０２は、内蔵記録媒体１１１及び外付け記録媒体１１２のファイルシステムに従ってファイルやディレクトリのエントリを取得する。優先度判断部２０３は、後述の様に、代表画像データの生成を開始してから代表画像を表示するまでの時間を判断し、ファイルを読み出して代表画像データを生成する順番（代表画像を表示する順番）を決定する。
【００２５】
図３は、優先度を判定して代表画像を表示する処理手順の一例を示すフローチャートである。本実施形態において、代表画像を表示する方法は大きく分けて二つの処理からなる。具体的には、内蔵記録媒体１１１または外付け記録媒体１１２から静止画像ファイル、動画像ファイルを取得し、表示する優先度を判定する処理（Ｓ３０１）と、判定結果を元に代表画像を表示する処理（Ｓ３０２）とからなる。
【００２６】
まず、静止画像ファイル、動画像ファイルを取得し、表示する優先度を判定する処理（Ｓ３０１）について、図４のフローチャートを参照しながら説明する。図４は、優先度を判定する処理手順の一例を示すフローチャートである。なお、図４に示す各処理は、システム制御部１０５の制御により行われる。
操作部１１３から代表画像を表示するよう指示を受けると、エントリを取得する（Ｓ４０１）。具体的にはまず、記録媒体にどのようなファイルが存在するかを確認する。
【００２７】
図５（ａ）は、記録媒体内のデータの配置例を示す図である。
図５（ａ）において、先頭領域であるブートセクタ５０１には、管理情報のパラメータデータが記録され、管理テーブル５０２には、ファイルの使用状況を表すテーブルが記録されている。また、画像ファイル（静止画、動画）等が記録されているデータ領域５０４が配置されている。データ領域５０４には、画像ファイルの他、デジタルビデオカメラ１００では取扱いのできないファイルや、サブディレクトリ等が記録されている。
【００２８】
図５（ｂ）は、図５（ａ）のルートディレクトリ５０３の構成例を示す図である。
図５（ｂ）に示すように、ルートディレクトリ５０３は、ブートセクタ５０１に記録されたエントリ数のエントリの集合体で構成され、それぞれ３２バイトで構成されるエントリ０，エントリ１，エントリ２，エントリ３，・・・が存在する。このようにＳ４０１では、システム制御部１０５のエントリ取得部２０２は、記録再生制御部１１０を介して内蔵記録媒体１１１または外付け記録媒体１１２に記録されているすべてのエントリを読み出し、メモリ１０７に格納する。
【００２９】
また、システム制御部１０５は、代表画像を表示する優先度を管理する優先度管理テーブルを生成する。システム制御部１０５は、優先度の管理ファイルを生成し、例えば内蔵記録媒体１１１に優先度管理テーブルの内容を管理ファイルとして書き込む。優先度管理テーブルはエントリ番号、ファイル名、画像ファイルのフォーマット、画像の幅、高さ、縮小画像の有無、優先度等の情報を格納する。また、エントリはファイルが登録されるごとにカウントアップされていくものである。なお、管理ファイルを生成せずに、メモリ１０７に優先度管理テーブルなど同等の内容を保持しておいてもよく、ファイルシステムのデータ領域５０４にユーザが自由に利用できる領域があればその領域を利用して優先度の管理を行ってもよい。
【００３０】
次に、システム制御部１０５は、メモリ１０７に格納されているエントリから先頭のエントリを読み出す（Ｓ４０２）。そして、読み出したエントリに対応するファイルが本実施形態のデジタルビデオカメラ１００に対応しており、再生可能なファイルであるか否かを確認する（Ｓ４０３）。本実施形態のデジタルビデオカメラ１００は、ＪＰＥＧ形式やＲＡＷ形式の静止画像ファイルやＭＰＥＧ形式の動画像ファイルに対応しているものとする。ここで、ＲＡＷ形式の静止画像ファイルとは、ＣＣＤセンサやＣＭＯＳセンサなどの撮像素子から出力され、映像信号処理を施すことなくデジタル化して非圧縮で記録したものである。
【００３１】
システム制御部１０５は、Ｓ４０２で読み出したエントリに対応するファイルの拡張子の情報を取得し、メモリ１０７に格納する。本実施形態のデジタルビデオカメラ１００で再生できるファイル形式の拡張子の情報はメモリ１０７に格納されており、読み出したファイルの拡張子と比較して対応しているかどうかを確認する。この確認の結果、拡張子が対応しているものでない場合は、優先度の管理ファイルへの書き込みは行わないため、Ｓ４１０に進む。なお、優先度の管理ファイルに書き込まれなかったファイルの画像は図３のＳ３０２において表示されない。
【００３２】
一方、拡張子が対応しているものである場合は、記録再生制御部１１０は、このエントリに対応したファイルのファイルヘッダを内蔵記録媒体１１１または外付け記録媒体１１２から読み出す（Ｓ４０４）。ここで、画像ファイルは、画像ファイルの構造についての規格、画像データのパラメータ等の情報が書き込まれるファイルヘッダと、ＪＰＥＧ規格等の画像データの記録圧縮データ等が書き込まれる画像データ領域とを有する。システム制御部１０５は、画像データに関するパラメータの中から画像ファイルのフォーマット、圧縮率、解像度などのファイルヘッダの情報を取得してメモリ１０７に格納する。
【００３３】
次に、取得したファイルヘッダの情報に、縮小画像に関する情報があるか否かを判断する（Ｓ４０５）。縮小画像に関する情報がある場合にはその縮小画像を用いて代表画像を生成することができる。例えば、ＪＰＥＧ形式の静止画像ファイルにはインデックス表示用の画像としてファイルヘッダに縮小画像が記録されているものがある。この場合、ファイルサイズの小さい縮小画像データを読み出すので、画像ファイルへアクセスする時間が減少する。また、縮小画像から代表画像を生成すると代表画像の解像度が小さくなるため代表画像の復号時間が短くなる。このことから、このような代表画像を優先的に表示するようにする。
【００３４】
このように、Ｓ４０５の判断の結果、読み出したエントリのファイルヘッダに縮小画像に関する情報がある場合は表示までの時間が短いということになる。したがって、システム制御部１０５の優先度判断部２０３は、ファイル名やファイルヘッダの情報などとともに優先度の管理ファイルにその画像ファイルの優先度として、最も優先度が高いことを示す所定値（ここでは１）を書き込む（Ｓ４０６）。
【００３５】
一方、縮小画像に関する情報がない場合は、画像ファイルの画素数が所定値以下であるかどうかを確認する（Ｓ４０７）。画素数が大きい画像の場合、ファイルサイズが大きいため記録媒体から読み出して代表画像データを生成し、復号化するまで多くの時間がかかる。また、代表画像を主画像から生成する際に縮小処理を行うため、元の画像の画素数と代表画像の画素数とに応じて、代表画像を作成する際に要する時間が異なる。本実施形態では、表示までの一連の処理時間がユーザにストレスを与えないような時間に収まるように、ここでの閾値としての画素数を設定する。
【００３６】
以上のように画素数が所定値以下である場合は、システム制御部１０５の優先度判断部２０３は、ファイル名やヘッダ情報などとともに優先度の管理ファイルに、この画像ファイルの優先度が２番目であることを示す所定値（ここでは２）を書き込む（Ｓ４０８）。それとは反対に画像ファイルの画素数が閾値を超える場合は、システム制御部１０５の優先度判断部２０３は、ファイル名やヘッダ情報などとともに優先度の管理ファイルに、最も優先度が低いことを示す所定値（ここでは３）を書き込む（Ｓ４０９）。この様に、優先度が低いほど、画像ファイルの代表画像を表示するまでに要する時間が長いことを示している。
【００３７】
次に、ルートディレクトリ５０３内に次のエントリがまだ存在するか否かを確認し（Ｓ４１０）、次のエントリがない場合には処理を終了する。一方、ルートディレクトリ５０３内に次のエントリが存在するときには、次のエントリをメモリ１０７から取得する（Ｓ４１１）。
【００３８】
図６は、図４の処理により生成決定される優先度管理テーブルの一例を示す図である。
図６に示すように、記録媒体から読み出して代表画像を生成して表示するまでの時間が短いものに対して高い優先度が設定されるようになっている。なお、図６ではエントリの順番はファイル名でソートされているが、画像ファイルのサイズ、日付等でソートをしてエントリの順番を変更してもよい。後述の様に、本実施形態では、代表画像の一覧画面を生成する際に、この管理テーブルに記述された順番に従って代表画像の表示位置を決定する。本実施形態では、ルートディレクトリにすべてのファイルのエントリがあることを想定して優先度を付加する方法を説明したが、サブディレクトリがルートディレクトリの下にある場合にはその中のファイルのエントリも同様な方法で優先度を付加する。また、記録媒体が複数あるときも記録媒体ごとに優先度の判断を行う。
【００３９】
次に、優先度に基づいて代表画像を表示する処理（Ｓ３０２）について、図７のフローチャートを参照しながら説明する。図７は、優先度に基づいて代表画像を表示する処理手順の一例を示すフローチャートである。なお、図７に示す各処理は、システム制御部１０５の制御により行われる。
【００４０】
まず、システム制御部１０５は、表示条件を初期設定する（Ｓ７０１）。表示条件は、代表画像に表示すべき代表画像のエントリと、表示する代表画像の優先度の情報を含む。例えば、図８（ａ）の様に、一画面に六画面の代表画像を表示する場合、表示する順に６個のエントリを代表画像のエントリとして設定する。ここでは、図６の管理テーブルにおける先頭のエントリから順に、６個のエントリの代表画像を表示するものとする。また、優先度管理テーブルで優先度が１の画像ファイルのみを表示する設定を最初に行う。次に、システム制御部１０５は、優先度管理テーブルの先頭のエントリをメモリ１０７から取得する（Ｓ７０２）。そして、システム制御部１０５は、読み出したエントリのファイルの優先度が表示条件にあうか否かを確認する（Ｓ７０３）。優先度が表示条件に合わない場合は、予めメモリ１０７に格納されている代替画像を表示部１１４に表示する（Ｓ７０４）。本実施形態では、代替画像として、代表画像を作成中である旨の情報を表示する。
【００４１】
一方、優先度が表示条件に合う場合は、記録再生制御部１１０は、読み出したエントリに該当する画像ファイルを読み出して代表画像データを生成する。そして、ビデオ／オーディオコーデック１０８または静止画コーデック１１６により代表画像データを復号し、システム制御部１０５は、所望のサイズにリサイズして表示部１１４へ代表画像を表示する（Ｓ７０５）。表示部１１４へ出力するときのレイアウトは、図６に示す優先度管理テーブルおけるエントリの順番に並べてもよく、画像ファイルを読み出した順番で並べてもよい。
【００４２】
次に、システム制御部１０５は、優先度管理テーブルに次のエントリがないか否かを確認する（Ｓ７０６）。次のエントリがある場合は、システム制御部１０５は、優先度管理テーブルにおける次のエントリをメモリ１０７から読み出す（Ｓ７０７）。一方、次のエントリがない場合は、優先度１〜３の画像ファイルの代表画像をすべて表示したか否かを確認する（Ｓ７０８）。本実施形態では優先度を３段階に設けているが、画像を表示させるシステムの構成によって優先度を何段階に設定してもよい。一方、優先度１〜３の画像ファイルの代表画像をすべて表示していない場合は、表示条件となる優先度を１下げる（Ｓ７０９）。例えば、優先度が１である画像ファイルの代表画像をすべて表示したら、表示条件となる優先度を下げて優先度２を表示条件とする。本実施形態では、以上のような手順により表示する順序を決定する。
【００４３】
この様に代表画像の一覧画面を表示した後、ユーザが操作部１１３を操作して、一覧画面の切り替えを指示すると、再度図７の処理を実行し、Ｓ７０１にて次の一覧画面にて表示すべき代表画像のエントリを設定し直し、代表画像を表示する。また、本実施形態では、代表画像の一覧画面を表示する際に、管理テーブルの先頭のエントリから順に表示する場合を説明したが、エントリの途中から表示することももちろん可能である。
【００４４】
図８（ａ）は、図７の処理手順により図６の優先度管理テーブルに基づいて表示部１１４に表示された代表画像の一例を示す図である。なお、図８（ａ）に示す例は、優先度１の画像ファイルに対して代表画像の表示が終了した段階のものである。また、図８（ａ）では表示部１１４に６枚の代表画像を並べる構成になっているが何枚並べる構成にしてもよい。画像１００１は図６のエントリ０に相当する画像ファイルの代表画像であり、画像１００２は図６のエントリ１に相当する画像ファイルの代表画像である。以下同様に、画像１００３はエントリ２、画像１００４はエントリ３、画像１００５はエントリ４、画像１００６はエントリ５の画像ファイルの代表画像である。また、画面のレイアウトは左上から右下に向かってエントリの順番で表示されている。優先度が１ではない画像ファイルに関しては、Ｓ７０９で表示条件が変更されるまでメモリ１０７に予め格納されている「画像表示待ち」という通知の代替画像が表示される。
【００４５】
図８（ｂ）は、優先度管理テーブルに基づいて表示部１１４に表示された代表画像の他の一例を示す図であり、図８（ａ）に示す例と同様に優先度１の画像ファイルの代表画像のみを表示した段階のものである。図８（ｂ）では、撮影日時が近いものを横一列に並べており、短い時間で多くの画像を効率よく確認することができる。このように表示する代表画像が多いとより効果的である。
【００４６】
なお、本実施形態では、縮小画像の有無と、画像の画素数とに基づいて代表画像を表示する際に要する時間を判別し、その判別結果により優先度を設定していたが、これらの条件以外の条件を使ってもよい。例えば、画像データの圧縮方式や圧縮率、ファイルのサイズなどのパラメータも条件の１つとしてもよい。
【００４７】
本実施形態では、画像ファイルのエントリを取得するときに優先度管理テーブルを生成し、生成した優先度管理テーブルに従って代表画像を表示する方法について説明した。一方、画像ファイルのエントリを取得しながら代表画像を表示してもよい。この場合、図９のような優先度判定テーブルを予めメモリ１０７に格納しておき、ファイル名を取得したら画像ファイルの解析を行う。例えば、優先度判定テーブルには、縮小画像の有無、画像ファイルが記録されている記録媒体、画像ファイルのフォーマットなどの情報があり、優先度を決めるための条件として定められている。そして、優先度判定テーブルの中から該当する条件を探し出し、該当条件の優先度に従って表示するかどうかを判断し、条件に適合する場合に代表画像を表示する構成でもかまわない。
【００４８】
以上のように本実施形態によれば、縮小画像を有する画像ファイルの代表画像を優先的に表示し、縮小画像を有していない画像ファイルについてはサイズによって代表画像を表示する順番を決定するようにした。これにより、表示画面に複数の代表画像を表示させようとするときに、少ない時間でより多くの代表画像を表示させることができる。
【００４９】
（本発明に係る他の実施形態）
以上、本発明に係る画像処理装置の実施形態の例について説明したが、本発明は前述の実施形態の例に限定されるものではなく、各種の態様が採り得る。前述した本発明の実施形態における画像処理装置を構成する各手段、並びに画像処理方法の各工程は、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記憶したコンピュータ読み取り可能な記憶媒体は本発明に含まれる。
【００５０】
また、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。
【００５１】
なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図３、図４及び図７に示すフローチャートに対応したプログラム）を、システムまたは装置に直接、または遠隔から供給する場合も含む。そして、そのシステムまたは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。
【符号の説明】
【００５２】
１０５ システム制御部、１１０ 記録再生制御部、１１４ 表示部
【特許請求の範囲】
【請求項１】
記録媒体に記録されている複数の画像データに基づいて代表画像データを生成する生成手段と、
前記生成手段によって生成された代表画像データに基づく代表画像を表示部に表示する表示手段と、
前記代表画像を前記表示部に表示するまでにかかる時間を判別し、この判別結果に応じて決定した順番で複数の前記画像データの代表画像を前記表示部に表示するように、前記生成手段と前記表示手段とを制御する制御手段とを有することを特徴とする画像処理装置。
【請求項２】
前記制御手段は、前記表示部に表示するまでにかかる時間が短いほど、先に前記代表画像を表示するように、複数の前記画像データの代表画像を表示する順番を決定することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記制御手段は、複数の前記画像データの縮小画像が前記記録媒体に記録されているかどうかを判別し、前記縮小画像が記録されている画像データの代表画像を、縮小画像が記録されていない代表画像よりも先に表示するように前記順番を決定することを特徴とする請求項１記載の画像処理装置。
【請求項４】
前記制御手段は、前記生成手段が代表画像データの生成を開始してから前記代表画像を前記表示部に表示するまでにかかる時間を判断することを特徴とする請求項１記載の画像処理装置。
【請求項５】
前記制御手段は、複数の前記画像データの画素数に応じて前記順番を決定することを特徴とする請求項１記載の画像処理装置。
【請求項６】
前記制御手段は、前記画像データの画素数が少ないほど先に代表画像を表示するように、前記順番を決定することを特徴とする請求項５記載の画像処理装置。
【請求項７】
前記制御手段は、前記表示部に表示するまでにかかる時間に応じた値を持つ優先度の情報を複数の前記画像データに対応づけて記憶することを特徴とする請求項１記載の画像処理装置。
【請求項８】
前記制御手段は、前記代表画像の表示の指示があると、複数の前記画像データのうち、一画面に表示する所定の数の画像データの代表画像を前記表示部に表示するまでにかかる時間に応じて、前記所定の数の代表画像の順番を決定することを特徴とする請求項１記載の画像処理装置。
【請求項９】
記録媒体に記録されている複数の画像データに基づいて代表画像データを生成する生成工程と、
前記生成工程において生成された代表画像データに基づく代表画像を表示部に表示する表示工程と、
前記代表画像を前記表示部に表示するまでにかかる時間を判別し、この判別結果に応じて決定した順番で複数の前記画像データの代表画像を前記表示部に表示するように、前記生成工程と前記表示工程とにおける処理を制御する制御工程とを有することを特徴とする画像処理方法。
【請求項１０】
記録媒体に記録されている複数の画像データに基づいて代表画像データを生成する生成工程と、
前記生成工程において生成された代表画像データに基づく代表画像を表示部に表示する表示工程と、
前記代表画像を前記表示部に表示するまでにかかる時間を判別し、この判別結果に応じて決定した順番で複数の前記画像データの代表画像を前記表示部に表示するように、前記生成工程と前記表示工程とにおける処理を制御する制御工程とをコンピュータに実行させることを特徴とするプログラム。
【請求項１】
記録媒体に記録されている複数の画像データに基づいて代表画像データを生成する生成手段と、
前記生成手段によって生成された代表画像データに基づく代表画像を表示部に表示する表示手段と、
前記代表画像を前記表示部に表示するまでにかかる時間を判別し、この判別結果に応じて決定した順番で複数の前記画像データの代表画像を前記表示部に表示するように、前記生成手段と前記表示手段とを制御する制御手段とを有することを特徴とする画像処理装置。
【請求項２】
前記制御手段は、前記表示部に表示するまでにかかる時間が短いほど、先に前記代表画像を表示するように、複数の前記画像データの代表画像を表示する順番を決定することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記制御手段は、複数の前記画像データの縮小画像が前記記録媒体に記録されているかどうかを判別し、前記縮小画像が記録されている画像データの代表画像を、縮小画像が記録されていない代表画像よりも先に表示するように前記順番を決定することを特徴とする請求項１記載の画像処理装置。
【請求項４】
前記制御手段は、前記生成手段が代表画像データの生成を開始してから前記代表画像を前記表示部に表示するまでにかかる時間を判断することを特徴とする請求項１記載の画像処理装置。
【請求項５】
前記制御手段は、複数の前記画像データの画素数に応じて前記順番を決定することを特徴とする請求項１記載の画像処理装置。
【請求項６】
前記制御手段は、前記画像データの画素数が少ないほど先に代表画像を表示するように、前記順番を決定することを特徴とする請求項５記載の画像処理装置。
【請求項７】
前記制御手段は、前記表示部に表示するまでにかかる時間に応じた値を持つ優先度の情報を複数の前記画像データに対応づけて記憶することを特徴とする請求項１記載の画像処理装置。
【請求項８】
前記制御手段は、前記代表画像の表示の指示があると、複数の前記画像データのうち、一画面に表示する所定の数の画像データの代表画像を前記表示部に表示するまでにかかる時間に応じて、前記所定の数の代表画像の順番を決定することを特徴とする請求項１記載の画像処理装置。
【請求項９】
記録媒体に記録されている複数の画像データに基づいて代表画像データを生成する生成工程と、
前記生成工程において生成された代表画像データに基づく代表画像を表示部に表示する表示工程と、
前記代表画像を前記表示部に表示するまでにかかる時間を判別し、この判別結果に応じて決定した順番で複数の前記画像データの代表画像を前記表示部に表示するように、前記生成工程と前記表示工程とにおける処理を制御する制御工程とを有することを特徴とする画像処理方法。
【請求項１０】
記録媒体に記録されている複数の画像データに基づいて代表画像データを生成する生成工程と、
前記生成工程において生成された代表画像データに基づく代表画像を表示部に表示する表示工程と、
前記代表画像を前記表示部に表示するまでにかかる時間を判別し、この判別結果に応じて決定した順番で複数の前記画像データの代表画像を前記表示部に表示するように、前記生成工程と前記表示工程とにおける処理を制御する制御工程とをコンピュータに実行させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１１−４０９５１（Ｐ２０１１−４０９５１Ａ）
【公開日】平成２３年２月２４日（２０１１．２．２４）
【国際特許分類】
【出願番号】特願２００９−１８５８７５（Ｐ２００９−１８５８７５）
【出願日】平成２１年８月１０日（２００９．８．１０）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２３年２月２４日（２０１１．２．２４）
【国際特許分類】
【出願日】平成２１年８月１０日（２００９．８．１０）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]