画像処理装置
【課題】動画から抽出されるフレーム画像と、静止画像とが混在する画像一覧であって、フレーム画像と静止画像との間で視覚的な統一感が確保されている画像一覧を出力させることができる画像処理装置を提供すること。
【解決手段】動画像ファイルから抽出される各インデックス画像２１ａ，２１ｂ，２１ｃと、静止画像ファイルから抽出されるインデックス画像２２とが混在する画像一覧２０を印刷出力する場合、各インデックス画像２１ａ，２１ｂ，２１ｃ，２２の大きさが基準特徴量ＢＳＳｐと一致するように補正され、各インデックス画像２１ａ，２１ｂ，２１ｃ，２２の色が基準特徴量ＢＣＳｐと一致するように補正されて印刷出力されるので、各インデックス画像２１ａ，２１ｂ，２１ｃ，２２間で視覚的な統一感が確保されている画像一覧２０を出力させることができる。
【解決手段】動画像ファイルから抽出される各インデックス画像２１ａ，２１ｂ，２１ｃと、静止画像ファイルから抽出されるインデックス画像２２とが混在する画像一覧２０を印刷出力する場合、各インデックス画像２１ａ，２１ｂ，２１ｃ，２２の大きさが基準特徴量ＢＳＳｐと一致するように補正され、各インデックス画像２１ａ，２１ｂ，２１ｃ，２２の色が基準特徴量ＢＣＳｐと一致するように補正されて印刷出力されるので、各インデックス画像２１ａ，２１ｂ，２１ｃ，２２間で視覚的な統一感が確保されている画像一覧２０を出力させることができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に関するものである。
【背景技術】
【０００２】
近年では、デジタルカメラを用いて動画と静止画とを撮影できるため、撮影シーンに応じて、動画と静止画とを使い分けて撮影するシーンが存在している。例えば、運動会など動きのあるシーンでは動画で撮影し、集合写真などの動きのないシーンでは静止画で撮影されている。
【０００３】
また、かかるデジタルカメラで撮影した動画をフレーム単位で抽出したフレーム画像と静止画像とが混在した画像一覧を、印刷出力したり、ディスプレイに表示する装置も提案されている。例えば、次の特許文献１には、フレーム画像と静止画像とを区別可能な態様でディスプレイ７に表示するプリントシステムが記載されている。
【特許文献１】特開２００５−１３０２５４号公報（段落第「００３６」、図９）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した特許文献１に記載されているプリントシステムでは、ディスプレイ７に表示するフレーム画像と、静止画とを含む画像一覧が、視覚的に統一感に欠けるものとなっていた。具体的には、デジタルカメラの動画像を構成するフレーム画像は、前記デジタルカメラのメイン機能である静止画像に比べ、画像サイズが小さいものであった。また、動画は時間が継続するため、撮影した時間において撮影条件を改善するためのフラッシュ撮影や、ＩＳＯ感度、Ｆ値、ホワイトバランス等の調整方法が静止画像と異なる。例えば、撮影しながら屋内から屋外へ移動するなど、撮影継続中に撮影条件が変化すると、ホワイトトバランス等が適応するまでの期間において動画は色かぶりするため、そのフレーム画像は静止画像に比べて色かぶりしている傾向にあった。その結果、フレーム画像と、静止画像とが混在する画像一覧では、フレーム画像と、静止画像との間において、視覚的な統一感に欠け、画像一覧が見難いという問題点があった。
【０００５】
本発明は、上記の問題点を解決するためになされたものであり、動画から抽出されるフレーム画像と、静止画像とが混在する画像一覧であって、フレーム画像と静止画像との間で視覚的な統一感が確保されている画像一覧を出力させることができる画像処理装置を提供することを目的としている。
【課題を解決するための手段】
【０００６】
この目的を達成するために、請求項１記載の画像処理装置は、１以上の静止画像ファイルと、１以上の動画像ファイルとを取得する取得手段と、その取得手段によって取得された動画像ファイルから１以上のフレーム画像を抽出する抽出手段と、その抽出手段によって抽出された１以上のフレーム画像の各々のフレーム画像と、前記取得手段によって取得された１以上の静止画像ファイルの各々の静止画像との画像特徴をあらわす特徴量を算出する画像特徴量算出手段と、その画像特徴量算出手段によって算出された１以上のフレーム画像に対応する特徴量と、１以上の静止画像に対応する特徴量との、少なくとも一方から基準となる基準特徴量を算出する基準特徴量算出手段と、前記１以上のフレーム画像の各々のフレーム画像の特徴量と、前記１以上の静止画像の各々の静止画像の特徴量とを、前記基準特徴量算出手段によって算出された基準特徴量に一致させるように画像を補正する画像補正手段と、その画像補正手段によって補正された前記フレーム画像と、前記静止画像とを、同一出力面上に出力させる出力制御手段とを備えている。
【０００７】
請求項２記載の画像処理装置は、請求項１に記載の画像処理装置において、前記取得手段によって取得される静止画像ファイルと、動画像ファイルとを区別する区別手段を備え、前記基準特徴量算出手段は、前記区別手段によって動画像ファイルと区別された静止画像ファイルが示す前記１以上の静止画像に対応する特徴量から基準特徴量を算出し、前記画像補正手段は、前記１以上のフレーム画像の各々のフレーム画像の特徴量を、前記基準特徴量に一致させるように画像補正する。
【０００８】
請求項３記載の画像処理装置は、請求項１又は２に記載の画像処理装置において、前記画像特徴量算出手段は、前記特徴量として、画像の色に関する情報を示す色情報と画像の大きさに関する情報を示すサイズ情報とのうち、少なくとも一方を算出し、前記基準特徴量算出手段は、上記画像特徴量算出手段によって得られた特徴量から基準となる基準特徴量を算出し、前記画像補正手段は、前記１以上のフレーム画像の各々のフレーム画像の特徴量と、前記１以上の静止画像の各々の静止画像の特徴量とを、前記基準特徴量算出手段で算出された基準特徴量に一致させるように画像補正する。
【０００９】
請求項４記載の画像処理装置は、請求項３記載の画像処理装置において、前記色情報は、輝度を示す輝度情報、彩度を示す彩度情報、色相を示す色相情報のうち、何れか一以上である。
【００１０】
請求項５記載の画像処理装置は、請求項３記載の画像処理装置において、前記サイズ情報は、画像の幅を示す幅情報、画像の高さを示す高さ情報、画像のアスペクト比を示すアスペクト比情報である。
【００１１】
請求項６記載の画像処理装置は、請求項１から５のいずれかに記載の画像処理装置において、記録用紙に画像を記録する記録手段を備え、前記出力制御手段は、前記画像補正手段によって補正された前記フレーム画像と、前記静止画像とを、前記記録手段によって前記記録用紙の同一紙面上に記録させる。
【発明の効果】
【００１２】
請求項１記載の画像処理装置によれば、各フレーム画像の画像特徴をあらわす特徴量と、各静止画像の画像特徴をあらわす特徴量とが画像特徴量算出手段によって算出され、その算出された少なくとも何れか一方の特徴量から基準となる基準特徴量が基準特徴量算出手段によって算出される。そして、各フレーム画像の特徴量と、各静止画像の特徴量とが、画像補正手段によって基準特徴量に一致するように補正され、その補正された各フレーム画像と、各静止画像とが出力制御手段によって同一出力面上に出力される。よって、各フレーム画像と、各静止画像とは、その特徴量が基準特徴量に一致した状態で同一出力面上に出力される。従って、フレーム画像と、静止画像とが混在する画像一覧であって、フレーム画像と静止画像との間で視覚的な統一感が確保されている画像一覧を出力させることができるという効果がある。
【００１３】
請求項２記載の画像処理装置によれば、請求項１に記載の画像処理装置の奏する効果に加え、基準特徴量算出手段は、区別手段によって動画像ファイルと区別された静止画像ファイルが示す前記１以上の静止画像に対応する特徴量から基準特徴量を算出し、画像補正手段は、前記１以上のフレーム画像の各々のフレーム画像の特徴量を、前記基準特徴量に一致させるように画像補正する。よって、フレーム画像は静止画像に比べサイズが小さかったり、色かぶりしている傾向にあるものの、フレーム画像の特徴量を、静止画像の特徴量に一致させることで、かかるサイズの不一致や色かぶりが解消される。よって、フレーム画像と、静止画との間で、視覚的な統一感が高品質に確保されている画像一覧を出力させることができるという効果がある。
【００１４】
請求項３記載の画像処理装置によれば、請求項１又は２に記載の画像処理装置の奏する効果に加え、画像の色に関する情報を示す色情報と画像の大きさに関する情報を示すサイズ情報とのうち少なくとも一方が、各フレーム画像の特徴量と、各静止画像の特徴量として算出され、その少なくとも一方の特徴量が互いに一致するように補正される。よって、フレーム画像と、静止画との間で色、または、大きさの少なくとも一方に関して、視覚的な統一感が確保されている画像一覧を出力させることができるという効果がある。
【００１５】
請求項４記載の画像処理装置によれば、請求項３に記載の画像処理装置の奏する効果に加え、色情報は、輝度を示す輝度情報、彩度を示す彩度情報、色相を示す色相情報のうち、何れか一以上であるので、フレーム画像と、静止画との間で輝度、彩度、色相のうち、いずれか一以上に関して、視覚的な統一感が確保されている画像一覧を出力させることができるという効果がある。
【００１６】
請求項５記載の画像処理装置によれば、請求項３に記載の画像処理装置の奏する効果に加え、サイズ情報は、画像の幅を示す幅情報、画像の高さを示す高さ情報、画像のアスペクト比を示すアスペクト比情報であるので、フレーム画像と、静止画との間で、その大きさに関して、より高精度に視覚的な統一感が確保されている画像一覧を出力させることができるという効果がある。
【００１７】
請求項６記載の画像処理装置によれば、請求項１から５のいずれかに記載の画像処理装置の奏する効果に加え、出力制御手段は、画像補正手段によって補正されたフレーム画像と、静止画像とを記録手段によって記録用紙の同一紙面上に記録させるので、フレーム画像と、静止画との間で、視覚的な統一感が確保されている画像一覧が記録された記録用紙を出力させることができるという効果がある。
【発明を実施するための最良の形態】
【００１８】
以下、本発明の好ましい実施形態について、添付図面を参照して説明する。図１は、本発明の画像処理装置の一実施形態としての多機能周辺装置（以下、「ＭＦＰ（Ｍｕｌｔｉ Ｆｕｎｃｔｉｏｎ Ｐｅｒｉｐｈｅｒａｌ）」と称す）１の外観構成を示した斜視図である。ＭＦＰ１は、特に、動画から抽出されるフレーム画像と、静止画像とが混在する画像一覧であって、フレーム画像と静止画像との間で視覚的な統一感が確保されている画像一覧を出力させることができる装置である。
【００１９】
このＭＦＰ１は、フォトキャプチャー機能、コピー機能、スキャナ機能、メディアキャプチャ機能などの各種機能を有する多機能周辺装置である。メディアキャプチャ機能では、後述するスロット部６に装着されたメディアカードから画像ファイルを読み出して印刷出力する処理、メディアカードから読み出した画像ファイルに対応した画像をＬＣＤ５に表示出力する処理、スキャナ機能により読み取られた画像データをメディアカードに保存する処理などを実行できる。
【００２０】
ＭＦＰ１の上部には、原稿を読み取るためのスキャナ２が配置されている。また、筐体内部には記録用紙に画像を印刷する装置として、所謂インクジェットプリンタで構成されたプリンタ３が内蔵されている。
【００２１】
また、ＭＦＰ１の前面には、スロット部６が設けられている。このスロット部６には、コンパクトフラッシュ（登録商標）、ＳＤメモリカードなどの各種メディアカードを直接挿入できるカードスロットが設けられている。
【００２２】
また、原稿カバー体の前方には、操作パネルが設けられており、複数のキーやタッチパネルで構成される操作部４、およびＬＣＤ５を具備する。ＭＦＰ１は、ＬＣＤ５に操作手順や実行中の処理の状態を表示させると共に、操作部４の操作に対応する情報を表示させる。
【００２３】
図２を参照して、ＭＦＰ１の電気的構成について説明する。図２は、ＭＦＰ１の電気的構成を示すブロック図である。ＭＦＰ１は、ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、ＥＥＰＲＯＭ１４、スキャナ２、プリンタ３、操作部４、ＬＣＤ５、スロット部６を主に有している。
【００２４】
このうち、ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、ＥＥＰＲＯＭ１４は、バスライン２６を介して互いに接続されている。また、スキャナ２、プリンタ３、操作部４、ＬＣＤ５、スロット部６、バスライン２６は、入出力ポート２７を介して互いに接続されている。
【００２５】
ＣＰＵ１１は、ＲＯＭ１２、ＲＡＭ１３やＥＥＰＲＯＭ１４に記憶される固定値やプログラムに従って、ＭＦＰ１が有している各機能の制御や、入出力ポート２７と接続された各部を制御するものである。
【００２６】
ＲＯＭ１２は、ＣＰＵ１１によって実行される制御プログラム１２ａを記憶すると共に、電源遮断後も内容を保持可能な不揮発性のメモリである。制御プログラム１２ａは、後述する図７〜図１１にフローチャートで示す処理を実行するためのプログラムを含んでいる。
【００２７】
ＲＯＭ１２には、さらに横方向画像配置数記憶領域１２ｂ、１ページ画像配置数記憶領域１２ｃが設けられている。
【００２８】
横方向画像配置数記憶領域１２ｂは、「横方向の配置枚数」を記憶する領域である。「横方向の配置枚数」は、画像一覧において、横一列に並べて配置可能なインデックス画像の数を示す値である。なお、本実施形態のＭＦＰ１には、予め印刷用紙サイズ（Ｌ版、Ａ４、Ｌｅｔｔｅｒなど）、および印刷モード（高精細、普通、高速など）に応じて、複数種類の「横方向の配置枚数」が記憶されており、後述する配置印刷処理（図１０，図１１参照）では、この中から適した値を読み出して用いるものとして説明する。
【００２９】
１ページ画像配置数記憶領域１２ｃは、「１ページ内画像配置数」を記憶する領域である。「１ページ内画像配置数」は、１ページ分の記録用紙に形成する画像一覧に、最大で何個分のインデックス画像を配置可能であるかを示す値である。なお、本実施形態においては、予め印刷用紙サイズおよび印刷モードに応じて、複数種類の「１ページ内画像配置数」が記憶されており、後述する配置印刷処理（図１０，図１１参照）では、この中から適した値を読み出して用いるものとして説明する。
【００３０】
ＲＡＭ１３は、ＭＦＰ１の各操作の実行時に各種のデータを一時的に記憶するためのメモリであり、抽出フレーム数記憶領域１３ａ、処理ファイル数記憶領域１３ｂ、処理画像総数記憶領域１３ｃ、生成ページ数記憶領域１３ｄ、グループ情報記憶領域１３ｇ、ファイル情報記憶領域１３ｈ、配置情報記憶領域１３ｉ、フレーム画像情報記憶領域１３ｊ、デコードデータ記憶領域１３ｋ、カウンタ記憶領域１３ｍ、識別画像記憶領域１３ｎが設けられている。
【００３１】
ここで、本実施形態で用いる用語の意味を説明する。本実施形態において、「動画像」とは、多数のフレーム画像を切り替え表示することにより再生される画像を意味している。「動画像ファイル」は、動画像を再生するためのファイルであって、例えば、ＡＶＩ動画ファイル、クイックタイム動画ファイルなどで構成される。ただし、動画像を再生可能な情報であれば、どのような形式のファイルであっても差し支えない。また、本実施形態において、「フレーム画像情報」は、動画像を構成する１のフレーム画像に対応した情報を意味している。
【００３２】
抽出フレーム数記憶領域１３ａは、「フレーム画像抽出枚数」を記憶する領域である。「フレーム画像抽出枚数」は、１の動画像ファイル当たり、何枚分のフレーム画像に対応したフレーム画像情報を抽出するかを示す値である。例えば、「フレーム画像抽出枚数」として「５」が記憶されている場合、ＭＦＰ１は、メディアカードに格納された動画像ファイルの各々について、１の動画像ファイル当たり、５枚のフレーム画像に対応したフレーム画像情報を抽出し、その抽出したフレーム画像情報に基づいて、１の動画像ファイル当たり、５個のインデックス画像を、画像一覧に配置する。
【００３３】
本実施形態のＭＦＰ１は、ユーザが操作部４から入力した任意の値を「フレーム画像抽出枚数」として、抽出フレーム数記憶領域１３ａに記憶するものとして説明するが、「フレーム画像抽出枚数」が予めＲＯＭ１２などに記憶されていたり、動画像ファイルのサイズが大であるほど、「フレーム画像抽出枚数」が大となるように予め定められた関係に従って、「フレーム画像抽出枚数」が自動的に決定されても良い。
【００３４】
処理ファイル数記憶領域１３ｂは、「総処理ファイル数」を記憶する領域である。「総処理ファイル数」は、メディアカードに格納される静止画像ファイルと動画像ファイルの合計を示す値である。
【００３５】
処理画像総数記憶領域１３ｃは、「処理画像総数」を記憶する領域である。「処理画像総数」は、画像一覧内に形成するインデックス画像の総数を示す値である。生成ページ数記憶領域１３ｄは、「生成ページ数」を記憶する領域である。「生成ページ数」は、後述する配置印刷処理（図１０、図１１）の実行により出力する画像一覧の総ページ数を示す値である。
【００３６】
グループ情報記憶領域１３ｇ、ファイル情報記憶領域１３ｈ、配置情報記憶領域１３ｉについては、図４から図６を参照して後述する。
【００３７】
フレーム画像情報記憶領域１３ｊは、動画像ファイルから抽出されるフレーム画像情報を格納する領域である。デコードデータ記憶領域１３ｋは、フレーム画像情報をデコード処理した結果、または、静止画像ファイルをデコード処理した結果を記憶する領域である。カウンタ記憶領域１３ｍは、各種カウンタを記憶する領域である。
【００３８】
基準特徴量記憶領域１３ｎは、一以上の静止画像の特徴量（画像サイズ、画像の色）から基準として算出された基準特徴量を格納する領域である。この基準特徴量に基づいて、画像一覧として出力される各インデックス画像が補正されるので、画像一覧に含まれる各インクデックス画像が視覚的に統一される。
【００３９】
図３（ａ）は、ＭＦＰ１が、１ページの記録用紙に印刷出力する画像一覧２０の一例を示す図である。ＭＦＰ１は、メディアカードに静止画像ファイルと動画像ファイルとが混在している場合、図３（ａ）に示すように、フレーム画像情報に対応するインデックス画像２１ａ，２１ｂ，２１ｃと、静止画像ファイルに対応するインデックス画像２２とが混在した画像一覧２０を出力する。よって、ユーザは、動画像ファイルの内容を示すインデックス画像２１ａ，２１ｂ，２１ｃと、静止画像ファイルの内容を示すインデックス画像２２とを、１ページの画像一覧２０によって、一度に視認することができ、利便性が高い。
【００４０】
一方、図３（ｂ）は、本願発明とは異なる装置によって１ページの記録用紙に印刷出力する画像一覧２００を示す図である。両者は、同じ動画像ファイルから抽出したインデックス画像２１ａ，２１ｂ，２１ｃおよび同じ静止画像ファイルから抽出したインデックス画像２２を１ページの記録用紙に印刷出力したものである。
【００４１】
よって、図３（ｂ）に示す画像一覧２００にも、図３（ａ）に示す画像一覧２０と同様に、第１の動画像ファイルから抽出される３つのインデックス画像２１ａと、第２の動画像ファイルから抽出される２つのインデックス画像２１ｂと、第３の動画像ファイルから抽出される３つのインデックス画像２１ｃと、３つの静止画像ファイルから抽出される３つのインデックス画像２２とが含まれている。
【００４２】
しかし、図３（ｂ）に示す画像一覧２００では、動画像ファイルから抽出された各インデックス画像２１ａ，２１ｂ，２１ｃと、静止画像ファイルから抽出されたインデックス画像２２とでは、その大きさ（サイズ）が異なり、また、各インデックス画像の色が同じ色に統一されていない（図３（ｂ）に示す各インデックス画像２１ａ，２１ｂ，２１ｃ内のハッチング模様や散点模様は、各インデックス画像２１ａ，２１ｂ，２１ｃの各々が別々の色かぶりをしている状態を示している。）これは、動画ではフラッシュ撮影、ＩＳＯ感度、Ｆ値、ホワイトバランス等の調整方法が異なる等の理由により、動画像ファイルから抽出される各インデックス画像２１ａ，２１ｂ，２１ｃは、静止画像に比べて色かぶりする傾向にあるためである。
【００４３】
その結果、図３（ｂ）の画像一覧２００に示すように、動画像ファイルから抽出される各インデックス画像２１ａ，２１ｂ，２１ｃと、静止画像ファイルから抽出されるインデックス画像２２とが混在する場合には、両者の間で、視覚的な統一感に欠け、画像一覧２００が見難いものになっていた。
【００４４】
一方、図３（ａ）に示す画像一覧２０では、動画像ファイルから抽出された各インデックス画像２１ａ，２１ｂ，２１ｃと、静止画像ファイルから抽出されたインデックス画像２２とが、全て、同じ大きさ（サイズ）であって、各インデックス画像の色が同じ色に統一されている。
【００４５】
即ち、ＭＦＰ１は、動画像ファイルから抽出される各インデックス画像２１ａ，２１ｂ，２１ｃと、静止画像ファイルから抽出されるインデックス画像２２とが混在する画像一覧２０を印刷出力する場合、後述する方法で各インデックス画像２１ａ，２１ｂ，２１ｃ，２２を補正し、各インデックス画像２１ａ，２１ｂ，２１ｃ，２２間で視覚的な統一感が確保されている画像一覧２０を出力させることができる。
【００４６】
また、ＭＦＰ１は、インデックス画像２１ａ，２１ｂ，２１ｃ，２２を含む画像群が、撮影日時に従った順序で配列されるように、インデックス画像２１ａ，２１ｂ，２１ｃ，２２の各々について配置順序を決定し、その決定した配置順序でインデックス画像２１ａ，２１ｂ，２１ｃ，２２を配列した画像一覧２０を出力する。
【００４７】
図３（ａ）に示す画像一覧２０はその一例であるが、例えば、画像一覧２０の上段から下段へ向かうにつれて、且つ、左側から右側へ向かうにつれて撮影日時が新しくなるような順序で、インデックス画像２１ａ，２１ｂ，２１ｃ，２２が配列するように配置順序を決定する。
【００４８】
詳細な説明は後述するが、ＭＦＰ１は、静止画像ファイルに基づくインデックス画像２２であるか、動画像ファイルに基づくインデックス画像２１ａ，２１ｂ，２１ｃであるかに関わらず、撮影日時のみを条件としてソートした配置順序を決定し、その配置順序でインデックス画像２１ａ，２１ｂ，２１ｃ，２２を配列した画像一覧２０を出力する。よって、例えば、動画像で撮影したか、静止画像で撮影したかをユーザが覚えていない場合であっても、撮影日時がかなり古いものであるのか、あるいは最近のものであるのかなど、撮影日時を手がかりに、目的とする画像を迅速に探し当てることができる。
【００４９】
また、詳細は後述するが、本実施形態のＭＦＰ１は、インデックス画像２１ａ，２１ｂ，２１ｃ，２２を撮影日毎のグループに分類し、グループ毎に画像一覧２０を出力するように構成されている。よって、例えば、画像一覧２０のヘッダ部分に、グループの撮影日２３が印刷されても良い。
【００５０】
図４は、ファイル情報記憶領域１３ｈの構成を模式的に示す図である。図４に示すように、ファイル情報記憶領域１３ｈには、ファイルＩＤを記憶するファイルＩＤ記憶領域２０１、ファイル名を記憶するファイル名記憶領域２０２、ファイル種類を記憶するファイル種類記憶領域２０３、抽出フレーム数を記憶する抽出フレーム数記憶領域２０４、総フレーム数を記憶する総フレーム数記憶領域２０５、ｆｐｓ情報を記憶するｆｐｓ情報記憶領域２０６、ファイル日付情報を記憶するファイル日付情報記憶領域２０７、ファイル時間情報を記憶するファイル時間情報記憶領域２０８、ファイル識別情報記憶領域２０９が設けられ、ファイル名、ファイル種類、抽出フレーム数、ｆｐｓ情報、ファイル日付情報、ファイル時間情報、ファイル識別情報からなるファイル情報２００を、そのファイル情報２００を管理するファイルＩＤに対応付けて記憶する。ＭＦＰ１は、画像一覧２０（図３参照）におけるインデックス画像２１ａ，２１ｂ，２１ｃ，２２の配置順序を決定するための準備処理として、メディアカード内に格納された静止画像ファイルまたは動画像ファイルの各々についてファイル情報２００を作成し、ファイル情報記憶領域１３ｈに格納する。
【００５１】
ファイルＩＤ記憶領域２０１は、ファイルＩＤを記憶する領域である。ファイル名記憶領域２０２は、静止画像ファイルまたは動画像ファイルのファイル名を格納する領域である。図４に示すように、各ファイル名には、拡張子が付加されている。例えば、画像ファイルがＪＰＥＧファイルである場合は拡張子「ｊｐｇ」が付加され、ＡＶＩ動画ファイルである場合は拡張子「ａｖｉ」が付加され、クイックタイム動画ファイルである場合は拡張子「ｍｏｖ」が付加される。
【００５２】
ファイル種類記憶領域２０３は、各画像ファイルの種類（フォーマット）を示す値を格納する領域である。画像ファイルの種類は、例えば、ファイル名に付加された拡張子に基づいて判定することができる。本実施形態では、画像ファイルの形式がＪＰＥＧファイル（拡張子ｊｐｇ）である場合、ＪＰＥＧファイルであることを示す値「０」をファイル種類記憶領域２０３に格納し、画像ファイルの形式がＡＶＩ動画ファイル（拡張子ａｖｉ）である場合、値「１」をファイル種類記憶領域２０３に格納し、画像ファイルの形式がクイックタイム動画ファイル（拡張子ｍｏｖ）である場合、値「２」をファイル種類記憶領域２０３に格納する。
【００５３】
なお、各画像ファイルの先頭から数バイト分に格納されている情報に基づいて画像ファイルの種類を判定することもできる。例えば、先頭から２バイトが「０ｘＦＦＤ８」であればＪＰＥＧファイルであると判定できるし、先頭から２バイトが「０ｘ４２４Ｄ」であれば、ビットマップデータであると判定することができる。これらの情報に基づいて、画像ファイルの種類を判定しても差し支えない。
【００５４】
抽出フレーム数記憶領域２０４は、何枚分のフレーム画像に対応したフレーム画像情報を、画像ファイルから抽出するかを示す値を記憶する領域である。静止画像ファイルの場合、抽出フレーム数記憶領域２０４には「１」が格納される。一方、動画像ファイルの場合、抽出フレーム数記憶領域２０４には、「２」以上の値が格納される。
【００５５】
総フレーム数記憶領域２０５は、各画像ファイルの総フレーム数を格納する領域である。動画像ファイルの場合は動画像ファイルに含まれる総フレーム数が格納され、静止画像である場合は常に１が格納される。
【００５６】
ｆｐｓ情報記憶領域２０６は、各画像ファイルのｆｐｓ（Ｆｒａｍｅ Ｐｅｒ Ｓｅｃｏｎｄ）情報を格納する領域である。静止画像ファイルである場合には「０」が格納される。一方、動画像ファイルである場合には、例えば、１秒間に６０フレーム画像が存在することを示す「６０」や、１秒間に３０フレーム画像が存在することを示す「３０」が、このｆｐｓ情報記憶領域２０６に格納される。
【００５７】
ファイル日付情報記憶領域２０７は、各画像ファイルの撮影日を表すファイル日付情報を格納する領域である。例えば、撮影日「２００８年１月１５日」は、ファイル日付情報「２００８０１１５」として表すものとする。
【００５８】
ファイル時間情報記憶領域２０８は、各画像ファイルの撮影時間を表すファイル時間情報を格納する領域である。例えば、撮影時間「１２時５０分４５秒」は、ファイル時間情報「１２５０４５」として表すものとする。画像ファイルが動画像ファイルの場合は、撮影開始時間を表す情報が、ファイル時間情報として格納される。なお、ファイル日付情報およびファイル時間情報が、特許請求の範囲に記載の撮影日時情報に相当する。
【００５９】
以降の説明では、各画像ファイルのヘッダに記述された情報を読み出してくることにより、総フレーム数、ｆｐｓ情報、ファイル日付情報およびファイル時間情報を取得するものとするが、他の手段により、これらの情報を取得しても良い。
【００６０】
ファイル付加情報記憶領域２０９は、各画像ファイルのその他の固有情報を格納する領域である。
【００６１】
本実施形態のＭＦＰ１は、ファイル情報記憶領域１３ｈに格納された各画像ファイルの固有情報に基づいて、撮影日時に従った順序でインデックス画像が配列されるように、インデックス画像の配置順序を決定する。決定した配置順序を示す情報は、図５に示す配置情報記憶領域１３ｉに格納する。
【００６２】
図５は、配置情報記憶領域１３ｉの構成を模式的に示す図である。図５に示すように、配置情報記憶領域１３ｉは、ファイルＩＤ、グループＮｏ、抽出フレーム番号、画像日付情報、画像時間情報、画像識別情報からなる配置情報３００と、その配置情報３００に対応する配置順序とを記憶する。
【００６３】
図５に示すように、配置情報記憶領域１３ｉには、配置順序記憶領域３０１、ファイルＩＤ記憶領域３０２、グループＮｏ記憶領域３０３、抽出フレーム番号記憶領域３０４、画像日付情報記憶領域３０５、画像時間情報記憶領域３０６、画像識別情報記憶領域３０７が設けられる。
【００６４】
配置情報記憶領域３０１は、配置順序を記憶する領域である。後述する配置印刷処理（図１０，図１１参照）では、配置順序に従った順序で、配置情報３００が読み出され、各配置情報３００で特定されるフレーム画像または静止画像のインデックス画像が、配置順序に従った順序で、画像一覧２０に配列される。
【００６５】
ファイルＩＤ記憶領域３０２は、ファイルＩＤを記憶する領域である。図４を参照して説明したように、ファイル情報記憶領域１３ｈには、ファイルＩＤとファイル名とが１対１で対応付けて記憶されているので、ファイルＩＤから、１の画像ファイルを特定することができる。
【００６６】
グループＮｏ記憶領域３０３は、グループＮｏを記憶する領域である。なお、グループＮｏについては、図６を参照して後述する。
【００６７】
抽出フレーム番号記憶領域３０４は、抽出フレーム番号を記憶する領域である。上述したように、１の動画像ファイルについて複数のフレーム画像情報が抽出される。よって、先頭から数えて何番目のフレーム画像情報であるかを示す情報が、「抽出フレーム番号」として、抽出フレーム番号記憶領域３０４に格納される。
【００６８】
ここで、「抽出フレーム番号」は、「総フレーム数記憶領域２０５」に記憶された動画像ファイルの総フレーム数と、「抽出フレーム数記憶領域１３ａ」に記憶された抽出フレーム数と、動画像のうち何枚目に抽出されるかを表すフレーム画像抽出数カウンタ値を用いて、例えば、下記のように算出することができる。
（抽出フレーム番号）＝［（フレーム画像抽出数カウンタ値−１）×（総フレーム数）÷（抽出フレーム数）］
ここで［］はガウス記号を表し、［ａ］はａを超えない最大の整数を表す。
【００６９】
画像日付情報記憶領域３０５は、ファイルＩＤ記憶領域３０２に格納されたファイルＩＤで特定される画像ファイルの撮影日を表す画像日付情報が格納される領域である。画像時間情報記憶領域３０６は、撮影時間を表す画像時間情報が格納される領域である。静止画像ファイルについては、ファイル情報記憶領域１３ｈの対応する領域に格納されたファイル時間情報が、この画像時間情報記憶領域３０６にコピーされる。
【００７０】
一方、動画像ファイルについては、その動画像ファイルから複数のフレーム画像情報が抽出されるので、フレーム画像情報毎に、撮影時間を表す画像時間情報を取得し、画像時間情報記憶領域３０６に記憶する。なお、フレーム画像情報毎の画像時間情報を算出する具体的演算例については、図７に示すフローチャートを参照して後述する。
【００７１】
画像特徴記憶領域３０７は、静止画像の特徴量が格納される領域である。本実施形態では、静止画像の特徴量として、各静止画像の大きさと、画像の色とが算出され、記憶される。この画像特徴記憶領域３０７に記憶されている静止画像の全部の特徴量から上述した基準特徴量が算出される。
【００７２】
後述する配置印刷処理（図１０，図１１参照）では、この配置情報記憶領域１３ｉに記憶された配置情報３００に基づいて、動画像ファイルから抽出された各インデックス画像２１ａ，２１ｂ，２１ｃと、静止画像ファイルから抽出されたインデックス画像２２とが、全て、同じ大きさ（サイズ）であって、各インデックス画像の色が同じ色に統一されている画像一覧２０を印刷出力すると共に、インデックス画像が撮影日時に従った順序で配列された画像一覧２０を印刷出力する。
【００７３】
さらに、本実施形態のＭＦＰ１は、インデックス画像を撮影日毎のグループに分類し、グループ毎に画像一覧２０を印刷出力する。例えば、「２００８年１月１５日」に撮影した画像ファイルと、「２００８年１月２０日」に撮影した画像ファイルとがメディアカードに格納されているのであれば、「２００８年１月１５日」に撮影された画像ファイルのインデックス画像からなる画像一覧２０と、「２００８年１月２０日」に撮影された画像ファイルのインデックス画像からなる画像一覧２０とを印刷出力するように構成されている。
【００７４】
図６は、グループ情報記憶領域１３ｇの構成の一例を示す図である。図６に示すように、グループ情報記憶領域１３ｇには、グループ数記憶領域４０１と、グループ単位情報記憶領域４０２と、グループＮｏ記憶領域４０３とが設けられている。
【００７５】
グループ数記憶領域４０１は、インデックス画像を分類するために生成されたグループ数を記憶する領域である。図６に示す例では、インデックス画像を分類するために「１０」のグループが生成されたことを示している。
【００７６】
グループ単位情報記憶領域４０２は、グループ毎の情報を記憶する領域である。グループ単位情報記憶領域４０２には、グループＮｏを記憶する記憶領域４０３と、そのグループＮｏで特定されるグループに分類されるインデックス画像の数を記憶するグループ画像数記憶領域４０４とが設けられる。図６に示す例では、グループＮｏが「１」のグループに、「１０」個のインデックス画像が分類されることを示している。
【００７７】
本実施形態のＭＦＰ１によれば、グループ毎の画像一覧２０を出力することにより、ユーザはグループ毎（撮影日毎）に画像一覧２０を視認することができるから、ユーザは撮影日ごとのグループに分類された閲覧性の良い画像一覧を得ることができる。
【００７８】
次に、図７乃至図１２を参照して、図３（ａ）に示すような画像一覧２０を出力させる処理について説明する。この処理を大略すると、まず、インデックス画像の配置順序を決定する配置順決定処理を実行する（Ｓ１００）。次に、各インデックス画像を補正するための基準特徴量を算出する基準特徴量算出処理（Ｓ１５０）を実行する。そして、決定した配置順序に従い、視覚的に統一されたインデックス画像を含む画像一覧２０を出力する配置印刷処理（Ｓ２００）を実行する。以下、各処理について詳細に説明する。
【００７９】
図７は、ＭＦＰ１で実行される配置順決定処理（Ｓ１００）を示すフローチャートである。図７に示す配置順決定処理（Ｓ１００）は、スロット部６にメディアカードが装着され、ユーザにより画像一覧２０の印刷出力の実行指示が入力されると実行される。
【００８０】
この配置順決定処理（Ｓ１００）は、動画像ファイルから抽出するフレーム画像情報と、メディアカードから読み出される静止画像ファイルとの各々について、各画像情報の撮影日時を表す画像日付情報および画像時間情報を取得し、その取得した画像日付情報および画像時間情報を条件として、インデックス画像の配置順序を決定する処理である。
【００８１】
まず、ユーザが操作部４から入力した値を、「フレーム画像抽出枚数」として抽出フレーム数記憶領域１３ａに記憶する（Ｓ１０１）。次に、メディアカード内に格納された静止画像ファイルと動画像ファイルとの合計を示す「総処理ファイル数」を算出し、処理ファイル数記憶領域１３ｂに記憶する（Ｓ１０２）。
【００８２】
次に、処理ファイル数カウンタ、処理画像数カウンタ、フレーム画像抽出枚数カウンタ、動画像ファイル数カウンタを、それぞれ０で初期化する（Ｓ１０３）。なお、これらのカウンタは、カウンタ記憶領域１３ｍ（図２参照）に設けられている。
【００８３】
次に、メディアカードに格納された画像ファイルのうち、１の画像ファイルを処理対象として選択し、その画像ファイルのファイル名、画像ファイルの種類を取得する。そして取得したファイル名および画像ファイルの種類を示す値を、処理ファイル数カウンタ値のファイルＩＤに対応した、ファイル名記憶領域２０２、ファイル種類記憶領域２０３（図４参照）へ、それぞれ記憶する（Ｓ１０４）。
【００８４】
そして、選択した画像ファイルが動画像ファイルであるか静止画像ファイルであるかを判断する（Ｓ１０５）。動画像ファイルであると判断した場合（Ｓ１０５：動画像）、その動画像ファイルのファイル日付情報、ファイル時間情報、およびｆｐｓを表すｆｐｓ情報を、その動画像ファイルのヘッダから取得する（Ｓ１０６）。
【００８５】
そして、処理画像数カウンタ値の配置順序に対応したファイル日付情報記憶領域２０７へファイル日付情報を記憶し、ファイル時間情報記憶領域２０８へファイル時間情報を記憶し、ｆｐｓ情報記憶領域２０６へｆｐｓ情報を記憶する（Ｓ１０７）。
【００８６】
次に処理画像数カウンタ値の配置順序に対応した配置情報記憶領域１３ｉ（図５参照）のファイルＩＤ記憶領域３０２へ、現時点における処理ファイル数カウンタの値を記憶する。また、現時点におけるフレーム画像抽出枚数カウンタの値から抽出フレーム番号を算出し、処理画像数カウンタ値の配置順序に対応した抽出フレーム番号記憶領域３０４へ記憶する（Ｓ１０８）。
【００８７】
次に、フレーム画像情報の時間情報を算出し、算出した時間情報を、画像時間情報として、配置順序に対応する画像時間情報記憶領域３０６へ記憶する（Ｓ１０９）。具体的には、まず、動画像ファイルの撮影開始時間を表すファイル時間情報をＶｉｄｅｏＴｉｍｅ、ｆｐｓ情報をＦＰＳ、フレーム画像情報の撮影時間を表す画像時間情報をＦｒａｍｅＴｉｍｅ、処理対象のフレーム画像情報を特定する抽出フレーム番号をＮとする。
【００８８】
そして、ファイル時間情報ＶｉｄｅｏＴｉｍｅを、以下のように、動画像時間情報ＶＴ＿Ｈｏｕｒ、動画像分情報ＶＴ＿Ｍｉｎｕｔｅ、動画像秒情報ＶＴ＿Ｓｅｃｏｎｄに分解する。
【００８９】
ＶＴ＿Ｈｏｕｒ＝［ＶｉｄｅｏＴｉｍｅ／１００００］
ＶＴ＿Ｍｉｎｕｔｅ＝［（ＶｉｄｅｏＴｉｍｅ−ＶＴ＿Ｈｏｕｒ×１００００）／１００］
ＶＴ＿Ｓｅｃｏｎｄ＝ＶｉｄｅｏＴｉｍｅ−（ＶＴ＿Ｈｏｕｒ×１００００＋ＶＴ＿Ｍｉｎｕｔｅ×１００）
次に、フレーム時情報Ｆｒａｍｅ＿Ｈｏｕｒ、フレーム分情報Ｆｒａｍｅ＿Ｍｉｎｕｔｅ、フレーム秒情報Ｆｒａｍｅ＿Ｓｅｃｏｎｄを、例えば、下記の数式１のように算出する。
（数式１）
ここでＣａｌ＿Ｓｅｃｏｎｄ，Ｃａｌ＿Ｍｉｎｕｔｅ，Ｃａｌ＿Ｈｏｕｒは上記情報を求めるための一時変数とする。
また、Ａ ｍｏｄ ＢはＡをＢで割った時の剰余を表す
Ｃａｌ＿Ｓｅｃｏｎｄ＝ＶＴ＿Ｓｅｃｏｎｄ＋［Ｎ／ＦＰＳ］
Ｃａｌ＿Ｍｉｎｕｔｅ＝ＶＴ＿Ｍｉｎｕｔｅ＋［Ｃａｌ＿Ｓｅｃｏｎｄ／６０］
Ｃａｌ＿Ｈｏｕｒ＝ＶＴ＿Ｈｏｕｒ＋［Ｃａｌ＿Ｍｉｎｕｔｅ／６０］
Ｆｒａｍｅ＿ｓｅｃｏｎｄ＝Ｃａｌ＿Ｓｅｃｏｎｄ ｍｏｄ ６０
Ｆｒａｍｅ＿Ｍｉｎｕｔｅ＝Ｃａｌ＿Ｍｉｎｕｔｅ ｍｏｄ ６０
Ｆｒａｍｅ＿Ｈｏｕｒ＝Ｃａｌ＿Ｈｏｕｒ ｍｏｄ ２４
以上を、例えば、下記の数式２を用いて結合し、フレーム画像情報の撮影時間を表す画像時間情報ＦｒａｍｅＴｉｍｅを算出する。
（数式２）
ＦｒａｍｅＴｉｍｅ＝Ｆｒａｍｅ＿Ｈｏｕｒ×１００００＋Ｆｒａｍｅ＿Ｍｉｎｕｔｅ×１００＋Ｆｒａｍｅ＿Ｓｅｃｏｎｄ
同様にして、動画像ファイルのファイル日付情報をＶｉｄｅｏＤａｔｅ、抽出するフレーム画像情報の画像日付情報をＦｒａｍｅＤａｔｅとすると、まずＶｉｄｅｏＤａｔｅを動画像年情報ＶＤ＿Ｙｅａｒ、動画像月情報ＶＤ＿Ｍｏｎｔｈ、動画像日情報ＶＤ＿Ｄａｙに、例えば、下記の数式３を用いて分解する。
（数式３）
ＶＤ＿Ｙｅａｒ＝［ＶｉｄｅｏＤａｔｅ／１００００］
ＶＤ＿Ｍｏｎｔｈ＝［（ＶｉｄｅｏＤａｔｅ−ＶＤ＿Ｙｅａｒ×１００００）／１００ ］
ＶＤ＿Ｄａｙ＝ＶｉｄｅｏＤａｔｅ−（ＶＤ＿Ｙｅａｒ×１００００＋ＶＤ＿Ｍｏｎｔｈ×１００）
次に、画像日付算出処理を実行する（Ｓ１１０）。画像日付算出処理は、フレーム年情報Ｆｒａｍｅ＿Ｙｅａｒ、フレーム月情報Ｆｒａｍｅ＿Ｍｏｎｔｈ、フレーム日情報Ｆｒａｍｅ＿Ｄａｙを算出する処理である。
【００９０】
図８は、画像日付算出処理（Ｓ１１０）を示すフローチャートである。なお、図８のフローチャートに示す変数Ｍは、現日付からＭ日進めることを意味する変数である。
【００９１】
まず、フレーム年情報Ｆｒａｍｅ＿Ｙｅａｒ、フレーム月情報Ｆｒａｍｅ＿Ｍｏｎｔｈ、フレーム日情報Ｆｒａｍｅ＿Ｄａｙに、それぞれ、動画像年情報ＶＤ＿Ｙｅａｒ、動画像月情報ＶＤ＿Ｍｏｎｔｈ、動画像日情報ＶＤ＿Ｄａｙを代入する（Ｓ１２０１）。次に、変数Ｍに、［Ｃａｌ＿Ｈｏｕｒ／２４］を代入する（Ｓ１２０２）。次にＭが０であるかを判断し（Ｓ１２０３）、肯定されると（Ｓ１２０３：Ｙｅｓ）、本処理を終了する。
【００９２】
一方、否定されると（Ｓ１２０３：Ｎｏ）、フレーム日情報Ｆｒａｍｅ＿Ｄａｙを判断する（Ｓ１２０４）。「１以上２７以下」と判断されると（Ｓ１２０４：１以上２７以下）、Ｆｒａｍｅ＿Ｄａｙに「１」を加算する（Ｓ１２０５）。
【００９３】
一方、Ｓ１２０４の判断において、「２８または２９」と判断されると（Ｓ１２０４：２８ｏｒ２９）、Ｆｒａｍｅ＿Ｍｏｎｔｈが「２」であるか否かを判断する（Ｓ１２０６）。否定される場合（Ｓ１２０６；Ｎｏ）、Ｓ１２０５の処理に移行する。
【００９４】
一方、肯定されると（Ｓ１２０６：Ｙｅｓ）、次に、Ｆｒａｍｅ＿Ｄａｙが「２８」であるかを判断する（Ｓ１２０８）。否定される場合（Ｓ１２０８：Ｎｏ）、Ｆｒａｍｅ＿Ｄａｙに「１」を代入し、Ｆｒａｍｅ＿Ｍｏｎｔｈに「１」を加算する（Ｓ１２１０）。
【００９５】
一方、Ｓ１２０８の判断が肯定されると（Ｓ１２０８：Ｙｅｓ）、Ｆｒａｍｅ＿Ｙｅａｒで示される年がうるう年か否かを判断する（Ｓ１２０９）。肯定される場合（Ｓ１２０９：Ｙｅｓ）、Ｓ１２０５の処理に進む。否定される場合（Ｓ１２０９：Ｎｏ）、Ｓ１２１０の処理に進む。
【００９６】
次に、Ｓ１２０４の判断において、「３０」と判断されると（Ｓ１２０４：３０）、次に、Ｆｒａｍｅ＿Ｍｏｎｔｈが４，６，９，１１のいずれかであるかを判断する（Ｓ１２１１）。肯定される場合（Ｓ１２１１：Ｙｅｓ）、Ｓ１２１０の処理に進む。
【００９７】
一方、否定される場合（Ｓ１２１１：Ｎｏ）、Ｆｒａｍｅ＿Ｄａｙに「１」を加算する（Ｓ１２１６）。次に、Ｓ１２０４の判断において、「３１」と判断されると（Ｓ１２０４：３１）、次に、Ｆｒａｍｅ＿Ｙｅａｒが１２であるかを判断する（Ｓ１２１５）。否定される場合（Ｓ１２１５：Ｎｏ）、Ｓ１２１６の処理に進む。
【００９８】
一方、肯定される場合（Ｓ１２１５：Ｙｅｓ）、Ｆｒａｍｅ＿Ｄａｙに「１」を代入し、Ｆｒａｍｅ＿Ｍｏｎｔｈに「１」を代入し、Ｆｒａｍｅ＿Ｙｅａｒに「１」を加算する（Ｓ１２１７）。
【００９９】
Ｓ１２０５，Ｓ１２１０，Ｓ１２１６，Ｓ１２１７の処理の後は、変数Ｍから「１」減算し（Ｓ１２１２）、Ｓ１２０３に戻る。そして、Ｓ１２０３の判断が肯定されると（Ｓ１２０３：Ｙｅｓ）、本処理を終了する。
【０１００】
図７に戻り説明する。図８に示す処理で算出した値を、例えば下記の数式５を用いて結合し、フレーム画像情報の撮影日付を表す画像日付情報ＦｒａｍｅＤａｔｅを算出する。算出された画像日付情報は画像日付情報記憶領域３０５へ記憶する（Ｓ１１１）。
（数式５）
ＦｒａｍｅＤａｔｅ＝Ｆｒａｍｅ＿Ｙｅａｒ×１００００＋Ｆｒａｍｅ＿Ｍｏｎｔｈ×１００＋Ｆｒａｍｅ＿Ｄａｙ
次に、処理画像数カウンタ、およびフレーム画像抽出枚数カウンタに、それぞれ「１」を加算する（Ｓ１１３）。
【０１０１】
次に、フレーム画像抽出枚数カウンタの値が、フレーム画像抽出枚数、すなわち、その動画像ファイルから抽出するフレーム画像情報の数以上となったか否かを判断する（Ｓ１１４）。Ｓ１１４の判断が否定される場合（Ｓ１１４：Ｎｏ）、Ｓ１０８に戻り処理を繰り返す。
【０１０２】
一方、Ｓ１１４の判断が肯定される場合（Ｓ１１４：Ｙｅｓ）、次にフレーム画像抽出枚数カウンタを０で初期化し（Ｓ１１５）、処理ファイル数カウンタに１を加算する（Ｓ１２２）。そして、処理ファイル数カウンタの値が、メディアカードに格納される静止画像ファイルと動画像ファイルの合計を示す「総処理ファイル数」以上となったか否かを判断する（Ｓ１２３）。Ｓ１２３の判断が否定される場合（Ｓ１２３：Ｎｏ）、Ｓ１０４の処理に戻り、次の画像ファイルを処理対象として選択し、処理を繰り返す。
【０１０３】
続いて、処理対象の画像ファイルが静止画像ファイルであると判断された場合（Ｓ１０５：静止画像）について説明する。静止画像ファイルである場合、処理画像数カウンタ値の配置順序に対応したファイルＩＤ記憶領域３０２へ、現時点における処理ファイル数カウンタの値を記憶する。また、処理画像数カウンタ値の配置順序に対応した抽出フレーム番号記憶領域３０４へ「０」を記憶する（Ｓ１１５ａ）。
【０１０４】
次に、処理対象の静止画像ファイルのファイル日付情報およびファイル時間情報を取得する。そして、ファイル情報記憶領域１３ｈのうち、処理ファイル数カウンタ値のファイルＩＤに対応したファイル日付情報記憶領域２０７（図４参照）へ、ファイル日付情報を記憶し、同ファイルＩＤに対応したファイル時間情報記憶領域２０８へ、ファイル時間情報を記憶する（Ｓ１１７）。なお、ｆｐｓ情報記憶領域２０６には「０」を記憶する。
【０１０５】
そして、配置情報記憶領域１３ｉ（図５参照）のうち、処理画像数カウンタ値の配置順序に対応する画像日付情報記憶領域３０５へ、処理対象の静止画像ファイルのファイル日付情報を記憶する。また、同配置順序に対応する画像時間情報記憶領域３０６へ、処理対象の静止画像ファイルのファイル時間情報を記憶する（Ｓ１１９）。そして、処理画像数カウンタに１を加算し（Ｓ１２１）、Ｓ１２３の処理に移行する。
【０１０６】
このように、Ｓ１０１からＳ１２３の処理によれば、配置情報記憶領域１３ｉに、ファイルＩＤ、抽出フレーム番号、画像日付情報、画像時間情報、ファイル識別情報が格納されることとなるが、この時点では、まだインデックス画像の配置順序は未決定である。図９を参照して後述するＳ１２４以降の処理において、画像日付情報と画像時間情報とを条件として、配置情報をソートすることにより、撮影日時に従った配置順序が決定される。
【０１０７】
図９は、図７に示す配置順決定処理（Ｓ１００）の続きの部分を示すフローチャートであり、特に、画像日付情報に基づいて、画像一覧２０に配置するインデックス画像を分類する処理、および配置情報記憶領域１３ｉに記憶された配置情報（図５参照）を、撮影日時に従った配置順序にソートする処理の部分を示している。
【０１０８】
図９に示すように、まず、現時点における処理画像数カウンタの値を「処理画像総数」として、処理画像総数記憶領域１３ｃ（図２参照）に記憶する（Ｓ１２４）。そして、処理画像数カウンタを「０」で初期化する（Ｓ１２５）。ここで処理画像数カウンタはカウンタ記憶領域１３ｍ（図２参照）に設けられるカウンタである。
【０１０９】
次に、配置情報記憶領域１３ｉ（図５参照）の画像日付情報記憶領域３０５に記憶された、画像日付情報に従って、グループＮｏを決定する（Ｓ１２６）。具体的には、処理画像数カウンタの値の配置順序に対応する、画像日付情報記憶領域３０５の値が、既に存在するグループの値と同一の場合は、その該当するグループＮｏを、この画像情報のグループＮｏに決定し、そうでない場合は新規のグループＮｏをこの画像情報のグループＮｏとして決定する。ただしＮｏの初期値は１であり、新規のグループＮｏはそれまでで最大のグループＮｏ＋１とする。
【０１１０】
このようにすれば、撮影日が同日であるフレーム画像情報または静止画像ファイルに対応するインデックス画像を同一グループに分類される一方で、撮影日が異なるフレーム画像情報または静止画像ファイルに対応するインデックス画像は互いに別グループに分類されることとなる。
【０１１１】
そして、処理画像数カウンタの値の配置順序に対応する、グループＮｏ記憶領域３０３（図５参照）へ、決定したグループＮｏを記憶する（Ｓ１２７）。次に、処理画像数カウンタに「１」を加算し（Ｓ１２８）、処理画像数カウンタの値が、処理画像総数に記憶された値以上となったかを判断する（Ｓ１２９）。そして、Ｓ１２９の判断が否定される場合（Ｓ１２９：Ｎｏ）、Ｓ１２６から処理を繰り返す。
【０１１２】
一方、Ｓ１２９の判断が肯定される場合（Ｓ１２９：Ｙｅｓ）、グループＮｏの最大値を、グループ数記憶領域４０１（図６参照）に記憶する（Ｓ１３０）。そして、グループＮｏの小さい順に、配置情報をソートする（Ｓ１３１）。なお、Ｓ１３１の処理においては、グループＮｏの小さい順に配置情報をソートすることができれば良いので、ソートアルゴリズムは特に限定するものではなく、例えば、クイックソート法やバブルソート法を用いることが可能である。
【０１１３】
なお、図５に示す配置情報記憶領域１３ｉは、配置情報記憶領域１３ｉに記憶された配置情報が、グループＮｏの小さい順にソートされた状態を模式的に図示している。
【０１１４】
図９に戻り説明する。次に、同一グループＮｏに含まれることとなるインデックス画像数を算出し（Ｓ１３２）、グループＮｏと対応付けてグループ画像数記憶領域４０４へ記憶する（Ｓ１３３）。次に、グループカウンタを１で初期化する（Ｓ１３４）。このグループカウンタは、カウンタ記憶領域１３ｍ（図２参照）に設けられるカウンタである。
【０１１５】
次に、画像時間情報の小さい順に配置情報をソートする（Ｓ１３５）。このソートはグループ単位で行う。これにより、配置情報で特定されるインデックス画像の各々について、対応する配置順序が決定する。
【０１１６】
すなわち、同一グループに分類されたインデックス画像内で、画像時間情報（撮影時情報）に従った配置順序を決定する。後述する配置印刷処理（Ｓ２００）では、グループ毎に画像一覧２０が印刷出力されるが、同一グループ内のインデックス画像は、画像時間情報が小さい順に配列されているから、１グループ内に多数のインデックス画像が含まれる場合であっても、ユーザは撮影時間順に整列した閲覧性の良い画像一覧を得ることができる。
【０１１７】
なお、画像時間情報が同一である場合は、元々の配置順序を変更しないことが好ましいので、Ｓ１３５の処理では、バブルソートなど単純なソートアルゴリズムが好適に用いられる。
【０１１８】
次に、グループカウンタに１を加算し（Ｓ１３６）、グループカウンタの値がグループ数記憶領域４０１（図６参照）の値より大となったかを判断する（Ｓ１３７）。Ｓ１３７の判断が否定される場合（Ｓ１３７：Ｎｏ）、Ｓ１３５に戻り処理を繰り返す。一方、全てのグループについての処理を終了し、Ｓ１３７の判断が肯定されると（Ｓ１３７：Ｙｅｓ）、配置順決定処理（Ｓ１００）を終了する。
【０１１９】
図１０は、ＭＦＰ１で実行される基準特徴量算出処理（Ｓ１５０）を示すフローチャートである。図１０に示す基準特徴量算出処理（Ｓ１５０）は、上述した配置順決定処理（Ｓ１００）の後に実行される処理であり、各インデックス画像を補正するための基準となる基準特徴量を、各静止画像の特徴量から算出する処理である。
【０１２０】
まず、配置順序カウンタを「０」で初期化し（Ｓ１５１）、次に、配置順序カウンタに対応したファイルＩＤ、抽出フレーム番号を配置情報記憶領域１０９から読み出す（Ｓ１５２）。そして、読み出したファイルＩＤに対応する画像ファイルが、動画像ファイルであるか静止画像ファイルであるかを判定する（Ｓ１５３）。尚、この判定はＳ１０５で既に一度判定がなされているため、その際の判定情報をファイル種類判定領域２０３から読み出してきて判定する。
【０１２１】
Ｓ１５３の判定において、静止画像ファイルと判定される場合（Ｓ１５３：静止画像）、静止画像ファイルをデコード処理する（Ｓ１５４）。
【０１２２】
そして、静止画像ファイルの大きさの画像特徴量ＳＳｐを算出し、その算出した画像特徴量ＳＳｐを配置順序カウンタに対応する画像特徴量記憶領域３０７に記憶する（Ｓ１５５）。ここで、大きさの画像特徴量ＳＳｐは、画像の幅（Ｗｉｄｔｈ）、画像の高さ（Ｈｅｉｇｈｔ）、アスペクト比（Ａｓｐｅｃｔ Ｒａｔｉｏ）で構成されており、画像の幅（Ｗｉｄｔｈ）は画像の横方向のピクセル数、画像の高さ（Ｈｅｉｇｈｔ）は画像の縦方向のピクセル数、アスペクト比（Ａｓｐｅｃｔ Ｒａｔｉｏ）は画像の高さ（Ｈｅｉｇｈｔ）／画像の高さ（Ｈｅｉｇｈｔ）から算出され、画像特徴量記憶領域３０７に記憶される。
【０１２３】
次に、静止画像ファイルの色の画像特徴量ＣＳｐを算出し、色の画像特徴量ＣＳｐを配置順序カウンタに対応する画像特徴量記憶領域３０７に記憶する（Ｓ１５６）。ここで、色の画像特徴ＣＳｐは、各静止画像の色相値（Ｈ＿Ｒ，Ｈ＿Ｇ，Ｈ＿Ｂ）、輝度値（Ｓ）、彩度値（Ｖ）であり、色相値（Ｈ＿Ｒ，Ｈ＿Ｇ，Ｈ＿Ｂ）は、各静止画像のＲＧＢ空間における所定値以上の明るさの画素のＲＧＢの平均値、輝度値（Ｓ）はＨＳＶ空間における輝度値の平均値、彩度値（Ｖ）は画像のＨＳＶ空間における彩度の平均値から算出されて、画像特徴量記憶領域３０７に記憶される。
【０１２４】
尚、Ｓ１５３の判定において、動画像と判定された場合には、対応する画像特徴量記憶領域３０７に０（ゼロ）を記憶して（Ｓ１５７）、Ｓ１５８の処理に移行する。
【０１２５】
こうして、静止画像ファイルについて、大きさの画像特徴量ＳＳｐと、色の画像特徴ＣＳｐとを算出し、画像特徴量記憶領域３０７に記憶すると、Ｓ１５８において配置順序カウンタに「１」を換算し（Ｓ１５８）、全て配置ファイルの処理を終了したか判定し（Ｓ１５９）、終了していなければ（Ｓ１５９：Ｎｏ）、Ｓ１５２からの処理を繰り返し、終了していれば（Ｓ１５９：Ｙｅｓ）、Ｓ１６０の処理に移行する。
【０１２６】
このＳ１６０では、Ｓ１５５で画像特徴量記憶領域３０７に記憶された値が０（ゼロ）でないものを対象として、前記画像記憶手段領域３０７に記憶された画像特徴量ＳＳｐから基準特徴量ＢＳＳｐを算出し、その算出した基準特徴量ＢＳＳｐを基準特徴量記憶領域１１４に記憶する（Ｓ１６０）。
【０１２７】
基準特徴量ＢＳＳｐは、画像特徴量記憶領域３０７に記憶されている画像特徴量ＳＳｐの基準となる特徴量であり、画像の幅（Ｗｉｄｔｈ）に関する基準特徴量ＢＷｉｄｔｈは、最も値が大きな幅（Ｗｉｄｔｈ）、アスペクト比（Ａｓｐｅｃｔ Ｒａｔｉｏ）に関する基準特徴量ＢＡｓｐｅｃｔＲａｔｉｏは、最も頻度が多いアスペクト比（Ａｓｐｅｃｔ Ｒａｔｉｏ）、画像の高さ（Ｈｅｉｇｈｔ）に関する基準特徴量ＢＨｅｉｇｈｔは、画像の幅（Ｗｉｄｔｈ）に関する基準特徴量ＢＷｉｄｔｈ／アスペクト比（Ａｓｐｅｃｔ Ｒａｔｉｏ）に関する基準特徴量ＢＡｓｐｅｃｔＲａｔｉｏとする。
【０１２８】
こうして、各静止画像ファイルの画像特徴量ＳＳｐから基準特徴量ＢＳＳｐ量が設定される。尚、基準特徴量ＢＷｉｄｔｈ、基準特徴量ＢＡｓｐｅｃｔＲａｔｉｏ、は全ての画像の幅（Ｗｉｄｔｈ）、アスペクト比（Ａｓｐｅｃｔ Ｒａｔｉｏ）の平均値としても良い。
【０１２９】
そして、次に、画像特徴量記憶領域３０７に記憶された値が０（ゼロ）でないもの対象として、前記画像記憶手段領域３０７に記憶された色の画像特徴量ＣＳｐから基準特徴量ＢＣＳｐを算出し、その算出した基準特徴量ＢＣＳｐを基準特徴量記憶領域１１４に記憶して（Ｓ１６１）、本処理を終了する。
【０１３０】
基準特徴量ＢＣＳｐは、画像特徴量記憶領域３０７に記憶されている色の画像特徴量ＣＳｐの基準であり、本実施形態では、色相値（Ｈ＿Ｒ）に関する基準特徴量ＢＨ＿Ｒは、各画像の色相値（Ｈ＿Ｒ）の平均値、色相値（Ｈ＿Ｇ）に関する基準特徴量ＢＨ＿Ｇは、各画像の色相値（Ｈ＿Ｇ）の平均値、色相値（Ｈ＿Ｂ）に関する基準特徴量ＢＨ＿Ｂは、各画像の色相値（Ｈ＿Ｂ）の平均値、彩度値（Ｓ）に関する基準特徴量ＢＳは、各画像の彩度値（Ｓ）の平均値、輝度値（Ｖ）に関する基準特徴量ＢＶは、各画像の画像の輝度値（Ｖ）の平均値として算出され、基準特徴量記憶領域１１４に記憶される。
【０１３１】
そして、このＳ１６０で算出した基準特徴量ＢＳＳｐと、Ｓ１６１で算出した基準特徴量ＢＣＳｐとを利用して、次の配置印刷処理（Ｓ２００）において、１ページの記録用紙に印刷出力される各インデックス画像を補正することで、各インデックス画像の大きさ、色を視覚的に統一させることができる。
【０１３２】
図１１は、配置印刷処理（Ｓ２００）を示すフローチャートである。図１１に示す配置印刷処理（Ｓ２００）は、図７から図９を参照して説明した配置順決定処理（Ｓ１００）に続けて実行される処理であり、画像一覧２０を記録用紙に印刷出力する処理である。
【０１３３】
まず、画像一覧２０に配列される横一列分のインデックス画像の数を示す「横方向の配置枚数」を、横方向画像配置数記憶領域１２ｂから読み出す（Ｓ２０１）。次に、１ページ分の画像一覧２０に配置可能なインデックス画像の数を示す「１ページ内画像配置数」を、１ページ画像配置数記憶領域１２ｃから読み出す（Ｓ２０２）。
【０１３４】
次に、グループカウンタを１で初期化する（Ｓ２０３）。以降の処理では、このグループカウンタは、処理対象のグループのグループＮｏを示すカウンタとして機能する。次に、ページカウンタを１で初期化する（Ｓ２０４）。以降の処理では、このページカウンタは、処理対象のグループのうち、何ページ目の画像一覧２０を処理対象としているのかを示すカウンタとして機能する。ページカウンタはカウンタ記憶領域１３ｍ（図２参照）に設けられるカウンタである。
【０１３５】
次に、グループカウンタ値のグループＮｏに対応するグループ画像数を、グループ画像数記憶領域４０４から読み出す（Ｓ２０５）。すなわち、そのグループＮｏのグループに分類されたインデックス画像の数を取得する。そして、読み出した「グループ画像数」と「１ページ内画像配置数」とから、処理対象のグループについて、何ページ分の画像一覧２０を印刷出力するかを示す「生成ページ数」を算出し、生成ページ数記憶領域１３ｄ（図２参照）へ記憶する（Ｓ２０６）。本実施形態では、「生成ページ数」は、例えば下記の数式６を用いて算出する。
（数式６）
（生成ページ数）＝［（グループ画像数）／（１ページ内画像配置数）］＋１
次に、レイアウト画像カウンタを０で初期化し（Ｓ２０７）、１ページの記録用紙内に配置する画像の枚数ｌａｙｏｕｔ＿ｎｏを算出する（Ｓ２０８）。本実施形態においては、ｌａｙｏｕｔ＿ｎｏは、例えば下記の数式７を用いて算出する。
（数式７）
（ページカウンタ値）＜生成ページ数 の時
ｌａｙｏｕｔ＿ｎｏ＝（１ページ内画像配置数）
（ページカウンタ値）≧生成ページ数 の時
ｌａｙｏｕｔ＿ｎｏ＝（グループ画像数）−｛（１ページ内画像配置数）×（ページカウンタ値）｝
次に、配置順序に対応したファイルＩＤ、抽出フレーム番号、ファイル識別情報を配置情報記憶領域１３ｉから読み出す（Ｓ２０９）。そして、読み出したファイルＩＤに対応する画像ファイルが、動画像ファイルであるか静止画像ファイルであるかを判定する（Ｓ２１０）。
【０１３６】
Ｓ２１０の判定において、動画像ファイルと判定される場合（Ｓ２１０：動画像）、次に、動画像ファイルから上記抽出フレーム番号で特定される１フレーム画像分のフレーム画像情報を抽出する（Ｓ２１１）。
【０１３７】
次に、抽出したフレーム画像情報をデコード処理し、デコードデータ記憶領域１３ｋへ格納する（Ｓ２１２）。そして、図１０に示すＳ１６０，Ｓ１６１で、基準特徴量記憶領域１１４に記憶された基準特徴量ＢＳＳｐと，基準特徴量ＢＣＳｐとを用いて、フレーム画像情報の特徴量がそれぞれの基準特徴量に一致するように補正する（Ｓ２１２ａ）。具体的には、この補正は、拡大縮小処理、トリミング処理、色相変換処理、輝度変換処理、彩度変換処理の順番で行う。
【０１３８】
まずは、拡大縮小処理を行う。この処理では拡大縮小率をＳｉｚｅＲａｔｅとし、そのＳｉｚｅＲａｔｅを下記式で算出する。
【０１３９】
【数１】
【０１４０】
【数２】
そして、算出された拡大縮小率ＳｉｚｅＲａｔｅにより処理対象となるフレーム画像情報の拡大縮小処理を行う。尚、拡大縮小はバイリニアやバイキュービックなどの画像補間により行うことができる。そして、この拡大縮小後の画像の幅をＷｉｄｔｈ’、拡大縮小後の画像の高さをＨｅｉｇｈｔ’とする。
【０１４１】
次に、トリミング処理を行う。この処理では、、拡大縮小後の画像の幅Ｗｉｄｔｈ’と拡大縮小後の画像の高さＨｅｉｇｈｔ’が、それぞれ、画像の幅に関する基準特徴量ＢＷｉｄｔｈ、画像の高さに関する基準特徴量ＢＨｅｉｇｈｔとなるように画像のトリミングを行う。トリミング前の画像をＯ（ｘ，ｙ）、トリミング後の画像をＰ（ｘ，ｙ）とすると、下記の式によってトリミング後の画像を求めることができる。但し、ｘ，ｙは座標値を表す。
【０１４２】
【数３】
上述した拡大縮小処理、トリミング処理によって、フレーム画像情報を基準特徴量ＢＳＳｐと一致させることができるので、各フレーム画像情報に対応するインデックス画像の大きさを統一させることができる。
【０１４３】
次に、色相変換処理を行う。この処理では、補正対象画像ＯのＲＧＢ空間における各画素値をＯ（ｘ，ｙ）Ｒ，Ｏ（ｘ，ｙ）Ｇ，Ｏ（ｘ，ｙ）Ｂとして、色相補正後の画素値Ｏ’（ｘ，ｙ）Ｒ， Ｏ’（ｘ，ｙ）Ｇ， Ｏ’（ｘ，ｙ）Ｂを下記の式で求める。但し、ｘ，ｙは画像の座標値とする。
また、フレーム画像情報の画像全体の輝度値（Ｖ）の平均値をＡｖｅＶとする。
【０１４４】
O'(x,y)R = O(x,y)R＋H_R×AveV÷BV
O'(x,y)G = O(x,y)G＋H_G×AveV÷BV
O'(x,y)B = O(x,y)B＋H_B×AveV÷BV
次に、輝度変換処理を行う。この処理では、色相変換処理で求めた色相補正後の画素値Ｏ’（ｘ，ｙ）Ｒ， Ｏ’（ｘ，ｙ）Ｇ， Ｏ’（ｘ，ｙ）Ｂを、ＨＳＶ空間へ変換してＯ’（ｘ，ｙ）Ｈ， Ｏ’（ｘ，ｙ）Ｓ， Ｏ’（ｘ，ｙ）Ｖとする。
【０１４５】
そして、その変換したＯ’（ｘ，ｙ）Ｈ， Ｏ’（ｘ，ｙ）Ｓ， Ｏ’（ｘ，ｙ）から輝度補正後の画素値Ｏ’’（ｘ，ｙ）Ｈ， Ｏ’’（ｘ，ｙ）Ｓ， Ｏ’’（ｘ，ｙ）Ｖを下記の式で求める。
【０１４６】
O''(x,y)H = O'(x,y)H
O''(x,y)S = O'(x,y)S
O''(x,y)V = O'(x,y)V×BV÷AveV
最後に、彩度変換処理を行う。この処理では、輝度補正後の画素値Ｏ’’’（ｘ，ｙ）Ｈ， Ｏ’’’（ｘ，ｙ）Ｓ， Ｏ’’’（ｘ，ｙ）Ｖから、彩度変換後の画素値Ｏ’’’（ｘ，ｙ）Ｈ， Ｏ’’’（ｘ，ｙ）Ｓ， Ｏ’’’（ｘ，ｙ）Ｖを下記の式で求める。
また、フレーム画像情報の画像全体の彩度値（Ｓ）の平均値をＡｖｅＳとする。
【０１４７】
O'''(x,y)H = O''(x,y)H
O'''(x,y)S = O''(x,y)S×BS÷AveS
O'''(x,y)V = O''(x,y)V
上述した色相、輝度、彩度変換処理によって、フレーム画像情報の特徴を基準特徴量ＢＣＳｐと一致させることができるので、各フレーム画像情報に対応するインデックス画像の色を統一させることができる。
【０１４８】
そして、上述したように補正したフレーム画像情報をＲＡＭ１３（図２参照）に設けられた配置用バッファの所定位置に配置する（Ｓ２１３）。
【０１４９】
一方、Ｓ２１０の判定において、静止画像ファイルと判定される場合（Ｓ２１０：静止画像）、配置順序に対応したファイルＩＤで特定される静止画像ファイルをデコード処理して、デコードデータ記憶領域１３ｋへ格納する（Ｓ２１４）。そして、上述したＳ２１２ａで説明したのと同様に、基準特徴量記憶領域１１４に記憶された基準特徴量ＢＳＳｐ，ＢＣＳｐを用いて、静止画像ファイルを補正する（Ｓ２１４ａ）。このＳ２１４ａの補正によって、静止画像ファイルを基準特徴量ＢＳＳｐ、基準特徴量ＢＣＳｐと一致させることができるので、各静止画像ファイルに対応するインデックス画像の大きさ、色を統一させることができ、ひいては、フレーム画像情報と、静止画像ファイルとの間で、画像の大きさ、色を統一させることができる。
【０１５０】
そして、上述したように補正した静止画像ファイルをＲＡＭ１３（図２参照）に設けられた配置用バッファの所定位置に配置する（Ｓ２１５）。
【０１５１】
このようにして、補正されたフレーム画像情報または補正された静止画像ファイルのいずれかを配置用バッファに配置する処理を実行した後、次に、横方向に配置できる画像数の上限である「横方向の配置枚数」回分、処理を行ったか否かを判断する（Ｓ２１６）。Ｓ２１６の判断が否定される場合（Ｓ２１６：Ｎｏ）、次のデータの配置位置を示す横方向位置を更新する（Ｓ２２０）。
【０１５２】
そして、レイアウト画像カウンタに「１」を加算し（Ｓ２２１）、レイアウト画像カウンタの値が、現在の処理対象の記録用紙に配置するインデックス画像の数「ｌａｙｏｕｔ＿ｎｏ」以上となったか否かを判断する（Ｓ２２２）。Ｓ２２２の判断が否定される場合（Ｓ２２２：Ｎｏ）、Ｓ２０９の処理に戻り、次の配置順序に対応した配置情報を処理する。
【０１５３】
このようにして、処理を繰り返すことにより、メディアカードに格納される動画像ファイルの各々から、抽出フレーム数（特許請求の範囲に記載の所定枚数に相当）のフレーム画像に相当するフレーム画像情報が抽出され、配置バッファに配置される。また、メディアカードに格納される静止画像ファイルが抽出され、配置バッファに配置される。
【０１５４】
このようにして処理を繰り返す内に、「横方向の配置枚数」回分の配置処理が実行されると、Ｓ２１６の判断が肯定されるので（Ｓ２１６：Ｙｅｓ）、次に、配置用バッファのデータをプリンタ３（図２参照）へ渡す（Ｓ２１７）。これにより、配置用バッファに配置された、横一列分のインデックス画像に対応したデータが、プリンタ３による印刷処理にかけられ、画像一覧２０を出力することができる。
【０１５５】
そして、次の処理対象のインデックス画像の横方向配置位置を示す横方向位置を初期化し（Ｓ２１８）、また、縦方向配置位置を示す縦方向位置を更新する（Ｓ２１９）。すなわち、画像一覧２０における次の列の左端から、次のインデックス画像が配列されるように、次の配置位置が決定される。そして、上述したＳ２２１、Ｓ２２２の処理を実行する。
【０１５６】
このようにして処理をしたインデックス画像の数が、処理対象の記録用紙に配置するインデックス画像数ｌａｙｏｕｔ＿ｎｏに到達すると、Ｓ２２２の判断が肯定されるので（Ｓ２２２：Ｙｅｓ）、図１１に示す次の処理に移行する。
【０１５７】
図１１は、図１０に示す配置印刷処理（Ｓ２００）の続きを示すフローチャートであって、Ｓ２２２の判断が肯定される場合に実行される。
【０１５８】
まず、配置用バッファに、未だ印刷処理を行っていないデータが存在するかを判断する（Ｓ２２３）。Ｓ２２３の判断が肯定される場合（Ｓ２２３：Ｙｅｓ）、その残りのデータをプリンタ３に渡し（Ｓ２２４）、プリンタ３にて印刷出力させ、Ｓ２２５の処理に移行する。ただし配置用バッファに画像が配置されない領域については白地出力とする。一方、Ｓ２２３の判断が否定される場合（Ｓ２２３：Ｎｏ）、Ｓ２２４の判断をスキップし、Ｓ２２５の処理に移行する。
【０１５９】
そして、１ページ分のデータ出力が完了したことを示す印刷完了命令をプリンタ３に渡す（Ｓ２２５）。そして、ページカウンタに「１」を加算する（Ｓ２２６）。次に、配置用バッファにおける次のデータの配置位置を示す横方向位置および縦方向位置を初期化する（Ｓ２２７）。そして、ページカウンタの値が、現在の処理対象のグループについて、何ページ分の画像一覧２０を印刷出力するかを示す「生成ページ数」より大となったかを判断する（Ｓ２２８）。Ｓ２２８の判断が否定される場合（Ｓ２２８：Ｎｏ）、図１０に示すＳ２０７の処理に戻り、同グループについて、次ページの処理を開始する。
【０１６０】
一方、Ｓ２２８の判断が肯定される場合（Ｓ２２８：Ｙｅｓ）、グループカウンタに１を加算する（Ｓ２２９）。そして、グループカウンタの値が、グループ数記憶領域４０１に記憶された値より大となったか否かを判断する（Ｓ２３０）。Ｓ２３０の判断が否定される場合（Ｓ２３０：Ｎｏ）、Ｓ２０４に戻り、処理を繰り返す。すなわち、次のグループＮｏで特定されるグループを処理対象として処理を繰り返す。
【０１６１】
一方、Ｓ２２８の判断が肯定される場合（Ｓ２２８：Ｙｅｓ）、配置印刷処理（Ｓ２００）を終了する。
【０１６２】
このように、このＭＦＰ１によれば、図３（ａ）を参照して説明したように、動画像ファイルから抽出される各インデックス画像２１ａ，２１ｂ，２１ｃと、静止画像ファイルから抽出されるインデックス画像２２とが混在する画像一覧２０を印刷出力する場合、各インデックス画像２１ａ，２１ｂ，２１ｃ，２２の大きさが基準特徴量ＢＳＳｐと一致するように補正され、各インデックス画像２１ａ，２１ｂ，２１ｃ，２２の色が基準特徴量ＢＣＳｐと一致するように補正されて印刷出力されるので、各インデックス画像２１ａ，２１ｂ，２１ｃ，２２間で視覚的な統一感が確保されている画像一覧２０を出力させることができる。また、ファイル時間情報（すなわち、静止画像ファイルまたはフレーム画像情報の撮影時間）に従った配置順序でインデックス画像が配列された画像一覧２０を出力することができる。
【０１６３】
以上、実施形態に基づき本発明を説明したが、本発明は上述した実施形態に何ら限定されるものではなく、本発明の趣旨を逸脱しない範囲内で種々の改良変更が可能であることは容易に推察できるものである。
【０１６４】
例えば、本実施形態では、画像一覧２０を記録用紙に印刷出力するものとして説明したが、ＬＣＤ５など表示装置に画像一覧２０を表示出力する場合にも、本発明を適用できる。
【０１６５】
また、本発明を、例えば、パーソナルコンピュータに適用し、ＰＣのモニターに、画像一覧２０を表示出力する場合、あるいは、パーソナルコンピュータからプリンタを制御して画像一覧を印刷出力する場合にも、本発明を適用できる。
【０１６６】
また、上記実施形態では、全グループについて画像一覧２０が出力されるものとして説明したが、例えば、ユーザにより選択されたグループについてのみ画像一覧２０を出力するように構成しても良い。
【０１６７】
また、上述した実施形態では、動画像ファイルおよび静止画像ファイルは、共に撮影により生成された画像ファイルであるものとして説明したが、動画像ファイルおよび静止画像ファイルは、撮影以外の方法で生成されるものであっても、本発明を適用可能である。その場合は、撮影日時に代えて、ファイルの作成日時を表すファイルの生成日時情報や、ファイルの更新日時情報など、他の条件を元に、インデックス画像の配置順序を決定するように構成されても良い。
【０１６８】
また、上述した実施形態では、メディアカード内に、静止画像ファイルと動画像ファイルとが混在している場合について説明したが、メディアカード内に動画像ファイルのみが格納されている場合にも本発明は適用可能である。
【０１６９】
また、上述した実施形態では、着脱可能なメディアカード内に記憶されている画像情報を処理対象としていたが、ＭＦＰ１の内部メモリに格納された画像情報を処理対象とする場合にも、本発明は適用可能である。
【０１７０】
また、上述した実施形態では、各インデックス画像の大きさを統一するために各インデックス画像の大きさを基準特徴量ＢＳＳｐに一致させ、且つ、各インデックス画像の色をを統一するために各インデックス画像の色を基準特徴量ＢＣＳｐに一致させる場合について説明したが、基準特徴量ＢＳＳｐと、基準特徴量ＢＣＳｐとのいずれか一方にだけ一致するように補正するように構成しても良い。
【０１７１】
また、上述した実施形態では、図１１に示すＳ２１２ａ、Ｓ２１４ａの処理において、色相、輝度、彩度の全てについて変換する場合について説明したが、いずれか一以上変換するように構成しても良い。
【０１７２】
また、上述した実施形態では、図１０に示すＳ１５５，Ｓ１５６において静止画像ファイルに対応する静止画像についてのみ、画像特徴量ＳＳｐ，ＣＳｐを算出する場合について説明したが、フレーム画像情報についても画像特徴量ＳＳｐ，ＣＳｐを算出し、Ｓ１６０と、Ｓ１６１において、両者（静止画像および動画像）の画像特徴量ＳＳｐ，ＣＳｐから各基準特徴量を算出するように構成しても良い。
【図面の簡単な説明】
【０１７３】
【図１】本発明の画像処理装置の実施形態であるＭＦＰの外観構成を示した斜視図である。
【図２】ＭＦＰの電気的構成を示すブロック図である。
【図３】ＭＦＰが印刷出力する画像一覧の一例を示す図である。
【図４】ファイル情報記憶領域の構成を模式的に示す図である。
【図５】配置情報記憶領域の構成を模式的に示す図である。
【図６】グループ情報記憶領域の構成の一例を示す図である。
【図７】配置順決定処理を示すフローチャートである。
【図８】画像日付算出処理を示すフローチャートである。
【図９】図７に示す配置順決定処理の続きの部分を示すフローチャートである。
【図１０】基準特徴量算出処理を示すフローチャートである。
【図１１】配置印刷処理を示すフローチャートである。
【図１２】図１０に示す配置印刷処理の続きを示すフローチャートである。
【符号の説明】
【０１７４】
１ ＭＦＰ（画像処理装置の一例）
３ プリンタ（記録手段の一部）
６ スロット部（取得手段の一部）
２０ 画像一覧
２１ａ，２１ｂ，２１ｃ インデックス画像（フレーム画像の一例）
２２ インデックス画像（静止画像の一例）
Ｓ１５３ 区別手段の一部
Ｓ２１１ 抽出手段の一部
Ｓ２２５ 出力制御手段の一部
Ｓ１５５ 画像特徴量算出手段の一部
Ｓ１６０，Ｓ１６１ 基準特徴量算出手段の一部
Ｓ２１２ａ，Ｓ２１４ａ 画像補正手段の一部
【技術分野】
【０００１】
本発明は、画像処理装置に関するものである。
【背景技術】
【０００２】
近年では、デジタルカメラを用いて動画と静止画とを撮影できるため、撮影シーンに応じて、動画と静止画とを使い分けて撮影するシーンが存在している。例えば、運動会など動きのあるシーンでは動画で撮影し、集合写真などの動きのないシーンでは静止画で撮影されている。
【０００３】
また、かかるデジタルカメラで撮影した動画をフレーム単位で抽出したフレーム画像と静止画像とが混在した画像一覧を、印刷出力したり、ディスプレイに表示する装置も提案されている。例えば、次の特許文献１には、フレーム画像と静止画像とを区別可能な態様でディスプレイ７に表示するプリントシステムが記載されている。
【特許文献１】特開２００５−１３０２５４号公報（段落第「００３６」、図９）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した特許文献１に記載されているプリントシステムでは、ディスプレイ７に表示するフレーム画像と、静止画とを含む画像一覧が、視覚的に統一感に欠けるものとなっていた。具体的には、デジタルカメラの動画像を構成するフレーム画像は、前記デジタルカメラのメイン機能である静止画像に比べ、画像サイズが小さいものであった。また、動画は時間が継続するため、撮影した時間において撮影条件を改善するためのフラッシュ撮影や、ＩＳＯ感度、Ｆ値、ホワイトバランス等の調整方法が静止画像と異なる。例えば、撮影しながら屋内から屋外へ移動するなど、撮影継続中に撮影条件が変化すると、ホワイトトバランス等が適応するまでの期間において動画は色かぶりするため、そのフレーム画像は静止画像に比べて色かぶりしている傾向にあった。その結果、フレーム画像と、静止画像とが混在する画像一覧では、フレーム画像と、静止画像との間において、視覚的な統一感に欠け、画像一覧が見難いという問題点があった。
【０００５】
本発明は、上記の問題点を解決するためになされたものであり、動画から抽出されるフレーム画像と、静止画像とが混在する画像一覧であって、フレーム画像と静止画像との間で視覚的な統一感が確保されている画像一覧を出力させることができる画像処理装置を提供することを目的としている。
【課題を解決するための手段】
【０００６】
この目的を達成するために、請求項１記載の画像処理装置は、１以上の静止画像ファイルと、１以上の動画像ファイルとを取得する取得手段と、その取得手段によって取得された動画像ファイルから１以上のフレーム画像を抽出する抽出手段と、その抽出手段によって抽出された１以上のフレーム画像の各々のフレーム画像と、前記取得手段によって取得された１以上の静止画像ファイルの各々の静止画像との画像特徴をあらわす特徴量を算出する画像特徴量算出手段と、その画像特徴量算出手段によって算出された１以上のフレーム画像に対応する特徴量と、１以上の静止画像に対応する特徴量との、少なくとも一方から基準となる基準特徴量を算出する基準特徴量算出手段と、前記１以上のフレーム画像の各々のフレーム画像の特徴量と、前記１以上の静止画像の各々の静止画像の特徴量とを、前記基準特徴量算出手段によって算出された基準特徴量に一致させるように画像を補正する画像補正手段と、その画像補正手段によって補正された前記フレーム画像と、前記静止画像とを、同一出力面上に出力させる出力制御手段とを備えている。
【０００７】
請求項２記載の画像処理装置は、請求項１に記載の画像処理装置において、前記取得手段によって取得される静止画像ファイルと、動画像ファイルとを区別する区別手段を備え、前記基準特徴量算出手段は、前記区別手段によって動画像ファイルと区別された静止画像ファイルが示す前記１以上の静止画像に対応する特徴量から基準特徴量を算出し、前記画像補正手段は、前記１以上のフレーム画像の各々のフレーム画像の特徴量を、前記基準特徴量に一致させるように画像補正する。
【０００８】
請求項３記載の画像処理装置は、請求項１又は２に記載の画像処理装置において、前記画像特徴量算出手段は、前記特徴量として、画像の色に関する情報を示す色情報と画像の大きさに関する情報を示すサイズ情報とのうち、少なくとも一方を算出し、前記基準特徴量算出手段は、上記画像特徴量算出手段によって得られた特徴量から基準となる基準特徴量を算出し、前記画像補正手段は、前記１以上のフレーム画像の各々のフレーム画像の特徴量と、前記１以上の静止画像の各々の静止画像の特徴量とを、前記基準特徴量算出手段で算出された基準特徴量に一致させるように画像補正する。
【０００９】
請求項４記載の画像処理装置は、請求項３記載の画像処理装置において、前記色情報は、輝度を示す輝度情報、彩度を示す彩度情報、色相を示す色相情報のうち、何れか一以上である。
【００１０】
請求項５記載の画像処理装置は、請求項３記載の画像処理装置において、前記サイズ情報は、画像の幅を示す幅情報、画像の高さを示す高さ情報、画像のアスペクト比を示すアスペクト比情報である。
【００１１】
請求項６記載の画像処理装置は、請求項１から５のいずれかに記載の画像処理装置において、記録用紙に画像を記録する記録手段を備え、前記出力制御手段は、前記画像補正手段によって補正された前記フレーム画像と、前記静止画像とを、前記記録手段によって前記記録用紙の同一紙面上に記録させる。
【発明の効果】
【００１２】
請求項１記載の画像処理装置によれば、各フレーム画像の画像特徴をあらわす特徴量と、各静止画像の画像特徴をあらわす特徴量とが画像特徴量算出手段によって算出され、その算出された少なくとも何れか一方の特徴量から基準となる基準特徴量が基準特徴量算出手段によって算出される。そして、各フレーム画像の特徴量と、各静止画像の特徴量とが、画像補正手段によって基準特徴量に一致するように補正され、その補正された各フレーム画像と、各静止画像とが出力制御手段によって同一出力面上に出力される。よって、各フレーム画像と、各静止画像とは、その特徴量が基準特徴量に一致した状態で同一出力面上に出力される。従って、フレーム画像と、静止画像とが混在する画像一覧であって、フレーム画像と静止画像との間で視覚的な統一感が確保されている画像一覧を出力させることができるという効果がある。
【００１３】
請求項２記載の画像処理装置によれば、請求項１に記載の画像処理装置の奏する効果に加え、基準特徴量算出手段は、区別手段によって動画像ファイルと区別された静止画像ファイルが示す前記１以上の静止画像に対応する特徴量から基準特徴量を算出し、画像補正手段は、前記１以上のフレーム画像の各々のフレーム画像の特徴量を、前記基準特徴量に一致させるように画像補正する。よって、フレーム画像は静止画像に比べサイズが小さかったり、色かぶりしている傾向にあるものの、フレーム画像の特徴量を、静止画像の特徴量に一致させることで、かかるサイズの不一致や色かぶりが解消される。よって、フレーム画像と、静止画との間で、視覚的な統一感が高品質に確保されている画像一覧を出力させることができるという効果がある。
【００１４】
請求項３記載の画像処理装置によれば、請求項１又は２に記載の画像処理装置の奏する効果に加え、画像の色に関する情報を示す色情報と画像の大きさに関する情報を示すサイズ情報とのうち少なくとも一方が、各フレーム画像の特徴量と、各静止画像の特徴量として算出され、その少なくとも一方の特徴量が互いに一致するように補正される。よって、フレーム画像と、静止画との間で色、または、大きさの少なくとも一方に関して、視覚的な統一感が確保されている画像一覧を出力させることができるという効果がある。
【００１５】
請求項４記載の画像処理装置によれば、請求項３に記載の画像処理装置の奏する効果に加え、色情報は、輝度を示す輝度情報、彩度を示す彩度情報、色相を示す色相情報のうち、何れか一以上であるので、フレーム画像と、静止画との間で輝度、彩度、色相のうち、いずれか一以上に関して、視覚的な統一感が確保されている画像一覧を出力させることができるという効果がある。
【００１６】
請求項５記載の画像処理装置によれば、請求項３に記載の画像処理装置の奏する効果に加え、サイズ情報は、画像の幅を示す幅情報、画像の高さを示す高さ情報、画像のアスペクト比を示すアスペクト比情報であるので、フレーム画像と、静止画との間で、その大きさに関して、より高精度に視覚的な統一感が確保されている画像一覧を出力させることができるという効果がある。
【００１７】
請求項６記載の画像処理装置によれば、請求項１から５のいずれかに記載の画像処理装置の奏する効果に加え、出力制御手段は、画像補正手段によって補正されたフレーム画像と、静止画像とを記録手段によって記録用紙の同一紙面上に記録させるので、フレーム画像と、静止画との間で、視覚的な統一感が確保されている画像一覧が記録された記録用紙を出力させることができるという効果がある。
【発明を実施するための最良の形態】
【００１８】
以下、本発明の好ましい実施形態について、添付図面を参照して説明する。図１は、本発明の画像処理装置の一実施形態としての多機能周辺装置（以下、「ＭＦＰ（Ｍｕｌｔｉ Ｆｕｎｃｔｉｏｎ Ｐｅｒｉｐｈｅｒａｌ）」と称す）１の外観構成を示した斜視図である。ＭＦＰ１は、特に、動画から抽出されるフレーム画像と、静止画像とが混在する画像一覧であって、フレーム画像と静止画像との間で視覚的な統一感が確保されている画像一覧を出力させることができる装置である。
【００１９】
このＭＦＰ１は、フォトキャプチャー機能、コピー機能、スキャナ機能、メディアキャプチャ機能などの各種機能を有する多機能周辺装置である。メディアキャプチャ機能では、後述するスロット部６に装着されたメディアカードから画像ファイルを読み出して印刷出力する処理、メディアカードから読み出した画像ファイルに対応した画像をＬＣＤ５に表示出力する処理、スキャナ機能により読み取られた画像データをメディアカードに保存する処理などを実行できる。
【００２０】
ＭＦＰ１の上部には、原稿を読み取るためのスキャナ２が配置されている。また、筐体内部には記録用紙に画像を印刷する装置として、所謂インクジェットプリンタで構成されたプリンタ３が内蔵されている。
【００２１】
また、ＭＦＰ１の前面には、スロット部６が設けられている。このスロット部６には、コンパクトフラッシュ（登録商標）、ＳＤメモリカードなどの各種メディアカードを直接挿入できるカードスロットが設けられている。
【００２２】
また、原稿カバー体の前方には、操作パネルが設けられており、複数のキーやタッチパネルで構成される操作部４、およびＬＣＤ５を具備する。ＭＦＰ１は、ＬＣＤ５に操作手順や実行中の処理の状態を表示させると共に、操作部４の操作に対応する情報を表示させる。
【００２３】
図２を参照して、ＭＦＰ１の電気的構成について説明する。図２は、ＭＦＰ１の電気的構成を示すブロック図である。ＭＦＰ１は、ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、ＥＥＰＲＯＭ１４、スキャナ２、プリンタ３、操作部４、ＬＣＤ５、スロット部６を主に有している。
【００２４】
このうち、ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、ＥＥＰＲＯＭ１４は、バスライン２６を介して互いに接続されている。また、スキャナ２、プリンタ３、操作部４、ＬＣＤ５、スロット部６、バスライン２６は、入出力ポート２７を介して互いに接続されている。
【００２５】
ＣＰＵ１１は、ＲＯＭ１２、ＲＡＭ１３やＥＥＰＲＯＭ１４に記憶される固定値やプログラムに従って、ＭＦＰ１が有している各機能の制御や、入出力ポート２７と接続された各部を制御するものである。
【００２６】
ＲＯＭ１２は、ＣＰＵ１１によって実行される制御プログラム１２ａを記憶すると共に、電源遮断後も内容を保持可能な不揮発性のメモリである。制御プログラム１２ａは、後述する図７〜図１１にフローチャートで示す処理を実行するためのプログラムを含んでいる。
【００２７】
ＲＯＭ１２には、さらに横方向画像配置数記憶領域１２ｂ、１ページ画像配置数記憶領域１２ｃが設けられている。
【００２８】
横方向画像配置数記憶領域１２ｂは、「横方向の配置枚数」を記憶する領域である。「横方向の配置枚数」は、画像一覧において、横一列に並べて配置可能なインデックス画像の数を示す値である。なお、本実施形態のＭＦＰ１には、予め印刷用紙サイズ（Ｌ版、Ａ４、Ｌｅｔｔｅｒなど）、および印刷モード（高精細、普通、高速など）に応じて、複数種類の「横方向の配置枚数」が記憶されており、後述する配置印刷処理（図１０，図１１参照）では、この中から適した値を読み出して用いるものとして説明する。
【００２９】
１ページ画像配置数記憶領域１２ｃは、「１ページ内画像配置数」を記憶する領域である。「１ページ内画像配置数」は、１ページ分の記録用紙に形成する画像一覧に、最大で何個分のインデックス画像を配置可能であるかを示す値である。なお、本実施形態においては、予め印刷用紙サイズおよび印刷モードに応じて、複数種類の「１ページ内画像配置数」が記憶されており、後述する配置印刷処理（図１０，図１１参照）では、この中から適した値を読み出して用いるものとして説明する。
【００３０】
ＲＡＭ１３は、ＭＦＰ１の各操作の実行時に各種のデータを一時的に記憶するためのメモリであり、抽出フレーム数記憶領域１３ａ、処理ファイル数記憶領域１３ｂ、処理画像総数記憶領域１３ｃ、生成ページ数記憶領域１３ｄ、グループ情報記憶領域１３ｇ、ファイル情報記憶領域１３ｈ、配置情報記憶領域１３ｉ、フレーム画像情報記憶領域１３ｊ、デコードデータ記憶領域１３ｋ、カウンタ記憶領域１３ｍ、識別画像記憶領域１３ｎが設けられている。
【００３１】
ここで、本実施形態で用いる用語の意味を説明する。本実施形態において、「動画像」とは、多数のフレーム画像を切り替え表示することにより再生される画像を意味している。「動画像ファイル」は、動画像を再生するためのファイルであって、例えば、ＡＶＩ動画ファイル、クイックタイム動画ファイルなどで構成される。ただし、動画像を再生可能な情報であれば、どのような形式のファイルであっても差し支えない。また、本実施形態において、「フレーム画像情報」は、動画像を構成する１のフレーム画像に対応した情報を意味している。
【００３２】
抽出フレーム数記憶領域１３ａは、「フレーム画像抽出枚数」を記憶する領域である。「フレーム画像抽出枚数」は、１の動画像ファイル当たり、何枚分のフレーム画像に対応したフレーム画像情報を抽出するかを示す値である。例えば、「フレーム画像抽出枚数」として「５」が記憶されている場合、ＭＦＰ１は、メディアカードに格納された動画像ファイルの各々について、１の動画像ファイル当たり、５枚のフレーム画像に対応したフレーム画像情報を抽出し、その抽出したフレーム画像情報に基づいて、１の動画像ファイル当たり、５個のインデックス画像を、画像一覧に配置する。
【００３３】
本実施形態のＭＦＰ１は、ユーザが操作部４から入力した任意の値を「フレーム画像抽出枚数」として、抽出フレーム数記憶領域１３ａに記憶するものとして説明するが、「フレーム画像抽出枚数」が予めＲＯＭ１２などに記憶されていたり、動画像ファイルのサイズが大であるほど、「フレーム画像抽出枚数」が大となるように予め定められた関係に従って、「フレーム画像抽出枚数」が自動的に決定されても良い。
【００３４】
処理ファイル数記憶領域１３ｂは、「総処理ファイル数」を記憶する領域である。「総処理ファイル数」は、メディアカードに格納される静止画像ファイルと動画像ファイルの合計を示す値である。
【００３５】
処理画像総数記憶領域１３ｃは、「処理画像総数」を記憶する領域である。「処理画像総数」は、画像一覧内に形成するインデックス画像の総数を示す値である。生成ページ数記憶領域１３ｄは、「生成ページ数」を記憶する領域である。「生成ページ数」は、後述する配置印刷処理（図１０、図１１）の実行により出力する画像一覧の総ページ数を示す値である。
【００３６】
グループ情報記憶領域１３ｇ、ファイル情報記憶領域１３ｈ、配置情報記憶領域１３ｉについては、図４から図６を参照して後述する。
【００３７】
フレーム画像情報記憶領域１３ｊは、動画像ファイルから抽出されるフレーム画像情報を格納する領域である。デコードデータ記憶領域１３ｋは、フレーム画像情報をデコード処理した結果、または、静止画像ファイルをデコード処理した結果を記憶する領域である。カウンタ記憶領域１３ｍは、各種カウンタを記憶する領域である。
【００３８】
基準特徴量記憶領域１３ｎは、一以上の静止画像の特徴量（画像サイズ、画像の色）から基準として算出された基準特徴量を格納する領域である。この基準特徴量に基づいて、画像一覧として出力される各インデックス画像が補正されるので、画像一覧に含まれる各インクデックス画像が視覚的に統一される。
【００３９】
図３（ａ）は、ＭＦＰ１が、１ページの記録用紙に印刷出力する画像一覧２０の一例を示す図である。ＭＦＰ１は、メディアカードに静止画像ファイルと動画像ファイルとが混在している場合、図３（ａ）に示すように、フレーム画像情報に対応するインデックス画像２１ａ，２１ｂ，２１ｃと、静止画像ファイルに対応するインデックス画像２２とが混在した画像一覧２０を出力する。よって、ユーザは、動画像ファイルの内容を示すインデックス画像２１ａ，２１ｂ，２１ｃと、静止画像ファイルの内容を示すインデックス画像２２とを、１ページの画像一覧２０によって、一度に視認することができ、利便性が高い。
【００４０】
一方、図３（ｂ）は、本願発明とは異なる装置によって１ページの記録用紙に印刷出力する画像一覧２００を示す図である。両者は、同じ動画像ファイルから抽出したインデックス画像２１ａ，２１ｂ，２１ｃおよび同じ静止画像ファイルから抽出したインデックス画像２２を１ページの記録用紙に印刷出力したものである。
【００４１】
よって、図３（ｂ）に示す画像一覧２００にも、図３（ａ）に示す画像一覧２０と同様に、第１の動画像ファイルから抽出される３つのインデックス画像２１ａと、第２の動画像ファイルから抽出される２つのインデックス画像２１ｂと、第３の動画像ファイルから抽出される３つのインデックス画像２１ｃと、３つの静止画像ファイルから抽出される３つのインデックス画像２２とが含まれている。
【００４２】
しかし、図３（ｂ）に示す画像一覧２００では、動画像ファイルから抽出された各インデックス画像２１ａ，２１ｂ，２１ｃと、静止画像ファイルから抽出されたインデックス画像２２とでは、その大きさ（サイズ）が異なり、また、各インデックス画像の色が同じ色に統一されていない（図３（ｂ）に示す各インデックス画像２１ａ，２１ｂ，２１ｃ内のハッチング模様や散点模様は、各インデックス画像２１ａ，２１ｂ，２１ｃの各々が別々の色かぶりをしている状態を示している。）これは、動画ではフラッシュ撮影、ＩＳＯ感度、Ｆ値、ホワイトバランス等の調整方法が異なる等の理由により、動画像ファイルから抽出される各インデックス画像２１ａ，２１ｂ，２１ｃは、静止画像に比べて色かぶりする傾向にあるためである。
【００４３】
その結果、図３（ｂ）の画像一覧２００に示すように、動画像ファイルから抽出される各インデックス画像２１ａ，２１ｂ，２１ｃと、静止画像ファイルから抽出されるインデックス画像２２とが混在する場合には、両者の間で、視覚的な統一感に欠け、画像一覧２００が見難いものになっていた。
【００４４】
一方、図３（ａ）に示す画像一覧２０では、動画像ファイルから抽出された各インデックス画像２１ａ，２１ｂ，２１ｃと、静止画像ファイルから抽出されたインデックス画像２２とが、全て、同じ大きさ（サイズ）であって、各インデックス画像の色が同じ色に統一されている。
【００４５】
即ち、ＭＦＰ１は、動画像ファイルから抽出される各インデックス画像２１ａ，２１ｂ，２１ｃと、静止画像ファイルから抽出されるインデックス画像２２とが混在する画像一覧２０を印刷出力する場合、後述する方法で各インデックス画像２１ａ，２１ｂ，２１ｃ，２２を補正し、各インデックス画像２１ａ，２１ｂ，２１ｃ，２２間で視覚的な統一感が確保されている画像一覧２０を出力させることができる。
【００４６】
また、ＭＦＰ１は、インデックス画像２１ａ，２１ｂ，２１ｃ，２２を含む画像群が、撮影日時に従った順序で配列されるように、インデックス画像２１ａ，２１ｂ，２１ｃ，２２の各々について配置順序を決定し、その決定した配置順序でインデックス画像２１ａ，２１ｂ，２１ｃ，２２を配列した画像一覧２０を出力する。
【００４７】
図３（ａ）に示す画像一覧２０はその一例であるが、例えば、画像一覧２０の上段から下段へ向かうにつれて、且つ、左側から右側へ向かうにつれて撮影日時が新しくなるような順序で、インデックス画像２１ａ，２１ｂ，２１ｃ，２２が配列するように配置順序を決定する。
【００４８】
詳細な説明は後述するが、ＭＦＰ１は、静止画像ファイルに基づくインデックス画像２２であるか、動画像ファイルに基づくインデックス画像２１ａ，２１ｂ，２１ｃであるかに関わらず、撮影日時のみを条件としてソートした配置順序を決定し、その配置順序でインデックス画像２１ａ，２１ｂ，２１ｃ，２２を配列した画像一覧２０を出力する。よって、例えば、動画像で撮影したか、静止画像で撮影したかをユーザが覚えていない場合であっても、撮影日時がかなり古いものであるのか、あるいは最近のものであるのかなど、撮影日時を手がかりに、目的とする画像を迅速に探し当てることができる。
【００４９】
また、詳細は後述するが、本実施形態のＭＦＰ１は、インデックス画像２１ａ，２１ｂ，２１ｃ，２２を撮影日毎のグループに分類し、グループ毎に画像一覧２０を出力するように構成されている。よって、例えば、画像一覧２０のヘッダ部分に、グループの撮影日２３が印刷されても良い。
【００５０】
図４は、ファイル情報記憶領域１３ｈの構成を模式的に示す図である。図４に示すように、ファイル情報記憶領域１３ｈには、ファイルＩＤを記憶するファイルＩＤ記憶領域２０１、ファイル名を記憶するファイル名記憶領域２０２、ファイル種類を記憶するファイル種類記憶領域２０３、抽出フレーム数を記憶する抽出フレーム数記憶領域２０４、総フレーム数を記憶する総フレーム数記憶領域２０５、ｆｐｓ情報を記憶するｆｐｓ情報記憶領域２０６、ファイル日付情報を記憶するファイル日付情報記憶領域２０７、ファイル時間情報を記憶するファイル時間情報記憶領域２０８、ファイル識別情報記憶領域２０９が設けられ、ファイル名、ファイル種類、抽出フレーム数、ｆｐｓ情報、ファイル日付情報、ファイル時間情報、ファイル識別情報からなるファイル情報２００を、そのファイル情報２００を管理するファイルＩＤに対応付けて記憶する。ＭＦＰ１は、画像一覧２０（図３参照）におけるインデックス画像２１ａ，２１ｂ，２１ｃ，２２の配置順序を決定するための準備処理として、メディアカード内に格納された静止画像ファイルまたは動画像ファイルの各々についてファイル情報２００を作成し、ファイル情報記憶領域１３ｈに格納する。
【００５１】
ファイルＩＤ記憶領域２０１は、ファイルＩＤを記憶する領域である。ファイル名記憶領域２０２は、静止画像ファイルまたは動画像ファイルのファイル名を格納する領域である。図４に示すように、各ファイル名には、拡張子が付加されている。例えば、画像ファイルがＪＰＥＧファイルである場合は拡張子「ｊｐｇ」が付加され、ＡＶＩ動画ファイルである場合は拡張子「ａｖｉ」が付加され、クイックタイム動画ファイルである場合は拡張子「ｍｏｖ」が付加される。
【００５２】
ファイル種類記憶領域２０３は、各画像ファイルの種類（フォーマット）を示す値を格納する領域である。画像ファイルの種類は、例えば、ファイル名に付加された拡張子に基づいて判定することができる。本実施形態では、画像ファイルの形式がＪＰＥＧファイル（拡張子ｊｐｇ）である場合、ＪＰＥＧファイルであることを示す値「０」をファイル種類記憶領域２０３に格納し、画像ファイルの形式がＡＶＩ動画ファイル（拡張子ａｖｉ）である場合、値「１」をファイル種類記憶領域２０３に格納し、画像ファイルの形式がクイックタイム動画ファイル（拡張子ｍｏｖ）である場合、値「２」をファイル種類記憶領域２０３に格納する。
【００５３】
なお、各画像ファイルの先頭から数バイト分に格納されている情報に基づいて画像ファイルの種類を判定することもできる。例えば、先頭から２バイトが「０ｘＦＦＤ８」であればＪＰＥＧファイルであると判定できるし、先頭から２バイトが「０ｘ４２４Ｄ」であれば、ビットマップデータであると判定することができる。これらの情報に基づいて、画像ファイルの種類を判定しても差し支えない。
【００５４】
抽出フレーム数記憶領域２０４は、何枚分のフレーム画像に対応したフレーム画像情報を、画像ファイルから抽出するかを示す値を記憶する領域である。静止画像ファイルの場合、抽出フレーム数記憶領域２０４には「１」が格納される。一方、動画像ファイルの場合、抽出フレーム数記憶領域２０４には、「２」以上の値が格納される。
【００５５】
総フレーム数記憶領域２０５は、各画像ファイルの総フレーム数を格納する領域である。動画像ファイルの場合は動画像ファイルに含まれる総フレーム数が格納され、静止画像である場合は常に１が格納される。
【００５６】
ｆｐｓ情報記憶領域２０６は、各画像ファイルのｆｐｓ（Ｆｒａｍｅ Ｐｅｒ Ｓｅｃｏｎｄ）情報を格納する領域である。静止画像ファイルである場合には「０」が格納される。一方、動画像ファイルである場合には、例えば、１秒間に６０フレーム画像が存在することを示す「６０」や、１秒間に３０フレーム画像が存在することを示す「３０」が、このｆｐｓ情報記憶領域２０６に格納される。
【００５７】
ファイル日付情報記憶領域２０７は、各画像ファイルの撮影日を表すファイル日付情報を格納する領域である。例えば、撮影日「２００８年１月１５日」は、ファイル日付情報「２００８０１１５」として表すものとする。
【００５８】
ファイル時間情報記憶領域２０８は、各画像ファイルの撮影時間を表すファイル時間情報を格納する領域である。例えば、撮影時間「１２時５０分４５秒」は、ファイル時間情報「１２５０４５」として表すものとする。画像ファイルが動画像ファイルの場合は、撮影開始時間を表す情報が、ファイル時間情報として格納される。なお、ファイル日付情報およびファイル時間情報が、特許請求の範囲に記載の撮影日時情報に相当する。
【００５９】
以降の説明では、各画像ファイルのヘッダに記述された情報を読み出してくることにより、総フレーム数、ｆｐｓ情報、ファイル日付情報およびファイル時間情報を取得するものとするが、他の手段により、これらの情報を取得しても良い。
【００６０】
ファイル付加情報記憶領域２０９は、各画像ファイルのその他の固有情報を格納する領域である。
【００６１】
本実施形態のＭＦＰ１は、ファイル情報記憶領域１３ｈに格納された各画像ファイルの固有情報に基づいて、撮影日時に従った順序でインデックス画像が配列されるように、インデックス画像の配置順序を決定する。決定した配置順序を示す情報は、図５に示す配置情報記憶領域１３ｉに格納する。
【００６２】
図５は、配置情報記憶領域１３ｉの構成を模式的に示す図である。図５に示すように、配置情報記憶領域１３ｉは、ファイルＩＤ、グループＮｏ、抽出フレーム番号、画像日付情報、画像時間情報、画像識別情報からなる配置情報３００と、その配置情報３００に対応する配置順序とを記憶する。
【００６３】
図５に示すように、配置情報記憶領域１３ｉには、配置順序記憶領域３０１、ファイルＩＤ記憶領域３０２、グループＮｏ記憶領域３０３、抽出フレーム番号記憶領域３０４、画像日付情報記憶領域３０５、画像時間情報記憶領域３０６、画像識別情報記憶領域３０７が設けられる。
【００６４】
配置情報記憶領域３０１は、配置順序を記憶する領域である。後述する配置印刷処理（図１０，図１１参照）では、配置順序に従った順序で、配置情報３００が読み出され、各配置情報３００で特定されるフレーム画像または静止画像のインデックス画像が、配置順序に従った順序で、画像一覧２０に配列される。
【００６５】
ファイルＩＤ記憶領域３０２は、ファイルＩＤを記憶する領域である。図４を参照して説明したように、ファイル情報記憶領域１３ｈには、ファイルＩＤとファイル名とが１対１で対応付けて記憶されているので、ファイルＩＤから、１の画像ファイルを特定することができる。
【００６６】
グループＮｏ記憶領域３０３は、グループＮｏを記憶する領域である。なお、グループＮｏについては、図６を参照して後述する。
【００６７】
抽出フレーム番号記憶領域３０４は、抽出フレーム番号を記憶する領域である。上述したように、１の動画像ファイルについて複数のフレーム画像情報が抽出される。よって、先頭から数えて何番目のフレーム画像情報であるかを示す情報が、「抽出フレーム番号」として、抽出フレーム番号記憶領域３０４に格納される。
【００６８】
ここで、「抽出フレーム番号」は、「総フレーム数記憶領域２０５」に記憶された動画像ファイルの総フレーム数と、「抽出フレーム数記憶領域１３ａ」に記憶された抽出フレーム数と、動画像のうち何枚目に抽出されるかを表すフレーム画像抽出数カウンタ値を用いて、例えば、下記のように算出することができる。
（抽出フレーム番号）＝［（フレーム画像抽出数カウンタ値−１）×（総フレーム数）÷（抽出フレーム数）］
ここで［］はガウス記号を表し、［ａ］はａを超えない最大の整数を表す。
【００６９】
画像日付情報記憶領域３０５は、ファイルＩＤ記憶領域３０２に格納されたファイルＩＤで特定される画像ファイルの撮影日を表す画像日付情報が格納される領域である。画像時間情報記憶領域３０６は、撮影時間を表す画像時間情報が格納される領域である。静止画像ファイルについては、ファイル情報記憶領域１３ｈの対応する領域に格納されたファイル時間情報が、この画像時間情報記憶領域３０６にコピーされる。
【００７０】
一方、動画像ファイルについては、その動画像ファイルから複数のフレーム画像情報が抽出されるので、フレーム画像情報毎に、撮影時間を表す画像時間情報を取得し、画像時間情報記憶領域３０６に記憶する。なお、フレーム画像情報毎の画像時間情報を算出する具体的演算例については、図７に示すフローチャートを参照して後述する。
【００７１】
画像特徴記憶領域３０７は、静止画像の特徴量が格納される領域である。本実施形態では、静止画像の特徴量として、各静止画像の大きさと、画像の色とが算出され、記憶される。この画像特徴記憶領域３０７に記憶されている静止画像の全部の特徴量から上述した基準特徴量が算出される。
【００７２】
後述する配置印刷処理（図１０，図１１参照）では、この配置情報記憶領域１３ｉに記憶された配置情報３００に基づいて、動画像ファイルから抽出された各インデックス画像２１ａ，２１ｂ，２１ｃと、静止画像ファイルから抽出されたインデックス画像２２とが、全て、同じ大きさ（サイズ）であって、各インデックス画像の色が同じ色に統一されている画像一覧２０を印刷出力すると共に、インデックス画像が撮影日時に従った順序で配列された画像一覧２０を印刷出力する。
【００７３】
さらに、本実施形態のＭＦＰ１は、インデックス画像を撮影日毎のグループに分類し、グループ毎に画像一覧２０を印刷出力する。例えば、「２００８年１月１５日」に撮影した画像ファイルと、「２００８年１月２０日」に撮影した画像ファイルとがメディアカードに格納されているのであれば、「２００８年１月１５日」に撮影された画像ファイルのインデックス画像からなる画像一覧２０と、「２００８年１月２０日」に撮影された画像ファイルのインデックス画像からなる画像一覧２０とを印刷出力するように構成されている。
【００７４】
図６は、グループ情報記憶領域１３ｇの構成の一例を示す図である。図６に示すように、グループ情報記憶領域１３ｇには、グループ数記憶領域４０１と、グループ単位情報記憶領域４０２と、グループＮｏ記憶領域４０３とが設けられている。
【００７５】
グループ数記憶領域４０１は、インデックス画像を分類するために生成されたグループ数を記憶する領域である。図６に示す例では、インデックス画像を分類するために「１０」のグループが生成されたことを示している。
【００７６】
グループ単位情報記憶領域４０２は、グループ毎の情報を記憶する領域である。グループ単位情報記憶領域４０２には、グループＮｏを記憶する記憶領域４０３と、そのグループＮｏで特定されるグループに分類されるインデックス画像の数を記憶するグループ画像数記憶領域４０４とが設けられる。図６に示す例では、グループＮｏが「１」のグループに、「１０」個のインデックス画像が分類されることを示している。
【００７７】
本実施形態のＭＦＰ１によれば、グループ毎の画像一覧２０を出力することにより、ユーザはグループ毎（撮影日毎）に画像一覧２０を視認することができるから、ユーザは撮影日ごとのグループに分類された閲覧性の良い画像一覧を得ることができる。
【００７８】
次に、図７乃至図１２を参照して、図３（ａ）に示すような画像一覧２０を出力させる処理について説明する。この処理を大略すると、まず、インデックス画像の配置順序を決定する配置順決定処理を実行する（Ｓ１００）。次に、各インデックス画像を補正するための基準特徴量を算出する基準特徴量算出処理（Ｓ１５０）を実行する。そして、決定した配置順序に従い、視覚的に統一されたインデックス画像を含む画像一覧２０を出力する配置印刷処理（Ｓ２００）を実行する。以下、各処理について詳細に説明する。
【００７９】
図７は、ＭＦＰ１で実行される配置順決定処理（Ｓ１００）を示すフローチャートである。図７に示す配置順決定処理（Ｓ１００）は、スロット部６にメディアカードが装着され、ユーザにより画像一覧２０の印刷出力の実行指示が入力されると実行される。
【００８０】
この配置順決定処理（Ｓ１００）は、動画像ファイルから抽出するフレーム画像情報と、メディアカードから読み出される静止画像ファイルとの各々について、各画像情報の撮影日時を表す画像日付情報および画像時間情報を取得し、その取得した画像日付情報および画像時間情報を条件として、インデックス画像の配置順序を決定する処理である。
【００８１】
まず、ユーザが操作部４から入力した値を、「フレーム画像抽出枚数」として抽出フレーム数記憶領域１３ａに記憶する（Ｓ１０１）。次に、メディアカード内に格納された静止画像ファイルと動画像ファイルとの合計を示す「総処理ファイル数」を算出し、処理ファイル数記憶領域１３ｂに記憶する（Ｓ１０２）。
【００８２】
次に、処理ファイル数カウンタ、処理画像数カウンタ、フレーム画像抽出枚数カウンタ、動画像ファイル数カウンタを、それぞれ０で初期化する（Ｓ１０３）。なお、これらのカウンタは、カウンタ記憶領域１３ｍ（図２参照）に設けられている。
【００８３】
次に、メディアカードに格納された画像ファイルのうち、１の画像ファイルを処理対象として選択し、その画像ファイルのファイル名、画像ファイルの種類を取得する。そして取得したファイル名および画像ファイルの種類を示す値を、処理ファイル数カウンタ値のファイルＩＤに対応した、ファイル名記憶領域２０２、ファイル種類記憶領域２０３（図４参照）へ、それぞれ記憶する（Ｓ１０４）。
【００８４】
そして、選択した画像ファイルが動画像ファイルであるか静止画像ファイルであるかを判断する（Ｓ１０５）。動画像ファイルであると判断した場合（Ｓ１０５：動画像）、その動画像ファイルのファイル日付情報、ファイル時間情報、およびｆｐｓを表すｆｐｓ情報を、その動画像ファイルのヘッダから取得する（Ｓ１０６）。
【００８５】
そして、処理画像数カウンタ値の配置順序に対応したファイル日付情報記憶領域２０７へファイル日付情報を記憶し、ファイル時間情報記憶領域２０８へファイル時間情報を記憶し、ｆｐｓ情報記憶領域２０６へｆｐｓ情報を記憶する（Ｓ１０７）。
【００８６】
次に処理画像数カウンタ値の配置順序に対応した配置情報記憶領域１３ｉ（図５参照）のファイルＩＤ記憶領域３０２へ、現時点における処理ファイル数カウンタの値を記憶する。また、現時点におけるフレーム画像抽出枚数カウンタの値から抽出フレーム番号を算出し、処理画像数カウンタ値の配置順序に対応した抽出フレーム番号記憶領域３０４へ記憶する（Ｓ１０８）。
【００８７】
次に、フレーム画像情報の時間情報を算出し、算出した時間情報を、画像時間情報として、配置順序に対応する画像時間情報記憶領域３０６へ記憶する（Ｓ１０９）。具体的には、まず、動画像ファイルの撮影開始時間を表すファイル時間情報をＶｉｄｅｏＴｉｍｅ、ｆｐｓ情報をＦＰＳ、フレーム画像情報の撮影時間を表す画像時間情報をＦｒａｍｅＴｉｍｅ、処理対象のフレーム画像情報を特定する抽出フレーム番号をＮとする。
【００８８】
そして、ファイル時間情報ＶｉｄｅｏＴｉｍｅを、以下のように、動画像時間情報ＶＴ＿Ｈｏｕｒ、動画像分情報ＶＴ＿Ｍｉｎｕｔｅ、動画像秒情報ＶＴ＿Ｓｅｃｏｎｄに分解する。
【００８９】
ＶＴ＿Ｈｏｕｒ＝［ＶｉｄｅｏＴｉｍｅ／１００００］
ＶＴ＿Ｍｉｎｕｔｅ＝［（ＶｉｄｅｏＴｉｍｅ−ＶＴ＿Ｈｏｕｒ×１００００）／１００］
ＶＴ＿Ｓｅｃｏｎｄ＝ＶｉｄｅｏＴｉｍｅ−（ＶＴ＿Ｈｏｕｒ×１００００＋ＶＴ＿Ｍｉｎｕｔｅ×１００）
次に、フレーム時情報Ｆｒａｍｅ＿Ｈｏｕｒ、フレーム分情報Ｆｒａｍｅ＿Ｍｉｎｕｔｅ、フレーム秒情報Ｆｒａｍｅ＿Ｓｅｃｏｎｄを、例えば、下記の数式１のように算出する。
（数式１）
ここでＣａｌ＿Ｓｅｃｏｎｄ，Ｃａｌ＿Ｍｉｎｕｔｅ，Ｃａｌ＿Ｈｏｕｒは上記情報を求めるための一時変数とする。
また、Ａ ｍｏｄ ＢはＡをＢで割った時の剰余を表す
Ｃａｌ＿Ｓｅｃｏｎｄ＝ＶＴ＿Ｓｅｃｏｎｄ＋［Ｎ／ＦＰＳ］
Ｃａｌ＿Ｍｉｎｕｔｅ＝ＶＴ＿Ｍｉｎｕｔｅ＋［Ｃａｌ＿Ｓｅｃｏｎｄ／６０］
Ｃａｌ＿Ｈｏｕｒ＝ＶＴ＿Ｈｏｕｒ＋［Ｃａｌ＿Ｍｉｎｕｔｅ／６０］
Ｆｒａｍｅ＿ｓｅｃｏｎｄ＝Ｃａｌ＿Ｓｅｃｏｎｄ ｍｏｄ ６０
Ｆｒａｍｅ＿Ｍｉｎｕｔｅ＝Ｃａｌ＿Ｍｉｎｕｔｅ ｍｏｄ ６０
Ｆｒａｍｅ＿Ｈｏｕｒ＝Ｃａｌ＿Ｈｏｕｒ ｍｏｄ ２４
以上を、例えば、下記の数式２を用いて結合し、フレーム画像情報の撮影時間を表す画像時間情報ＦｒａｍｅＴｉｍｅを算出する。
（数式２）
ＦｒａｍｅＴｉｍｅ＝Ｆｒａｍｅ＿Ｈｏｕｒ×１００００＋Ｆｒａｍｅ＿Ｍｉｎｕｔｅ×１００＋Ｆｒａｍｅ＿Ｓｅｃｏｎｄ
同様にして、動画像ファイルのファイル日付情報をＶｉｄｅｏＤａｔｅ、抽出するフレーム画像情報の画像日付情報をＦｒａｍｅＤａｔｅとすると、まずＶｉｄｅｏＤａｔｅを動画像年情報ＶＤ＿Ｙｅａｒ、動画像月情報ＶＤ＿Ｍｏｎｔｈ、動画像日情報ＶＤ＿Ｄａｙに、例えば、下記の数式３を用いて分解する。
（数式３）
ＶＤ＿Ｙｅａｒ＝［ＶｉｄｅｏＤａｔｅ／１００００］
ＶＤ＿Ｍｏｎｔｈ＝［（ＶｉｄｅｏＤａｔｅ−ＶＤ＿Ｙｅａｒ×１００００）／１００ ］
ＶＤ＿Ｄａｙ＝ＶｉｄｅｏＤａｔｅ−（ＶＤ＿Ｙｅａｒ×１００００＋ＶＤ＿Ｍｏｎｔｈ×１００）
次に、画像日付算出処理を実行する（Ｓ１１０）。画像日付算出処理は、フレーム年情報Ｆｒａｍｅ＿Ｙｅａｒ、フレーム月情報Ｆｒａｍｅ＿Ｍｏｎｔｈ、フレーム日情報Ｆｒａｍｅ＿Ｄａｙを算出する処理である。
【００９０】
図８は、画像日付算出処理（Ｓ１１０）を示すフローチャートである。なお、図８のフローチャートに示す変数Ｍは、現日付からＭ日進めることを意味する変数である。
【００９１】
まず、フレーム年情報Ｆｒａｍｅ＿Ｙｅａｒ、フレーム月情報Ｆｒａｍｅ＿Ｍｏｎｔｈ、フレーム日情報Ｆｒａｍｅ＿Ｄａｙに、それぞれ、動画像年情報ＶＤ＿Ｙｅａｒ、動画像月情報ＶＤ＿Ｍｏｎｔｈ、動画像日情報ＶＤ＿Ｄａｙを代入する（Ｓ１２０１）。次に、変数Ｍに、［Ｃａｌ＿Ｈｏｕｒ／２４］を代入する（Ｓ１２０２）。次にＭが０であるかを判断し（Ｓ１２０３）、肯定されると（Ｓ１２０３：Ｙｅｓ）、本処理を終了する。
【００９２】
一方、否定されると（Ｓ１２０３：Ｎｏ）、フレーム日情報Ｆｒａｍｅ＿Ｄａｙを判断する（Ｓ１２０４）。「１以上２７以下」と判断されると（Ｓ１２０４：１以上２７以下）、Ｆｒａｍｅ＿Ｄａｙに「１」を加算する（Ｓ１２０５）。
【００９３】
一方、Ｓ１２０４の判断において、「２８または２９」と判断されると（Ｓ１２０４：２８ｏｒ２９）、Ｆｒａｍｅ＿Ｍｏｎｔｈが「２」であるか否かを判断する（Ｓ１２０６）。否定される場合（Ｓ１２０６；Ｎｏ）、Ｓ１２０５の処理に移行する。
【００９４】
一方、肯定されると（Ｓ１２０６：Ｙｅｓ）、次に、Ｆｒａｍｅ＿Ｄａｙが「２８」であるかを判断する（Ｓ１２０８）。否定される場合（Ｓ１２０８：Ｎｏ）、Ｆｒａｍｅ＿Ｄａｙに「１」を代入し、Ｆｒａｍｅ＿Ｍｏｎｔｈに「１」を加算する（Ｓ１２１０）。
【００９５】
一方、Ｓ１２０８の判断が肯定されると（Ｓ１２０８：Ｙｅｓ）、Ｆｒａｍｅ＿Ｙｅａｒで示される年がうるう年か否かを判断する（Ｓ１２０９）。肯定される場合（Ｓ１２０９：Ｙｅｓ）、Ｓ１２０５の処理に進む。否定される場合（Ｓ１２０９：Ｎｏ）、Ｓ１２１０の処理に進む。
【００９６】
次に、Ｓ１２０４の判断において、「３０」と判断されると（Ｓ１２０４：３０）、次に、Ｆｒａｍｅ＿Ｍｏｎｔｈが４，６，９，１１のいずれかであるかを判断する（Ｓ１２１１）。肯定される場合（Ｓ１２１１：Ｙｅｓ）、Ｓ１２１０の処理に進む。
【００９７】
一方、否定される場合（Ｓ１２１１：Ｎｏ）、Ｆｒａｍｅ＿Ｄａｙに「１」を加算する（Ｓ１２１６）。次に、Ｓ１２０４の判断において、「３１」と判断されると（Ｓ１２０４：３１）、次に、Ｆｒａｍｅ＿Ｙｅａｒが１２であるかを判断する（Ｓ１２１５）。否定される場合（Ｓ１２１５：Ｎｏ）、Ｓ１２１６の処理に進む。
【００９８】
一方、肯定される場合（Ｓ１２１５：Ｙｅｓ）、Ｆｒａｍｅ＿Ｄａｙに「１」を代入し、Ｆｒａｍｅ＿Ｍｏｎｔｈに「１」を代入し、Ｆｒａｍｅ＿Ｙｅａｒに「１」を加算する（Ｓ１２１７）。
【００９９】
Ｓ１２０５，Ｓ１２１０，Ｓ１２１６，Ｓ１２１７の処理の後は、変数Ｍから「１」減算し（Ｓ１２１２）、Ｓ１２０３に戻る。そして、Ｓ１２０３の判断が肯定されると（Ｓ１２０３：Ｙｅｓ）、本処理を終了する。
【０１００】
図７に戻り説明する。図８に示す処理で算出した値を、例えば下記の数式５を用いて結合し、フレーム画像情報の撮影日付を表す画像日付情報ＦｒａｍｅＤａｔｅを算出する。算出された画像日付情報は画像日付情報記憶領域３０５へ記憶する（Ｓ１１１）。
（数式５）
ＦｒａｍｅＤａｔｅ＝Ｆｒａｍｅ＿Ｙｅａｒ×１００００＋Ｆｒａｍｅ＿Ｍｏｎｔｈ×１００＋Ｆｒａｍｅ＿Ｄａｙ
次に、処理画像数カウンタ、およびフレーム画像抽出枚数カウンタに、それぞれ「１」を加算する（Ｓ１１３）。
【０１０１】
次に、フレーム画像抽出枚数カウンタの値が、フレーム画像抽出枚数、すなわち、その動画像ファイルから抽出するフレーム画像情報の数以上となったか否かを判断する（Ｓ１１４）。Ｓ１１４の判断が否定される場合（Ｓ１１４：Ｎｏ）、Ｓ１０８に戻り処理を繰り返す。
【０１０２】
一方、Ｓ１１４の判断が肯定される場合（Ｓ１１４：Ｙｅｓ）、次にフレーム画像抽出枚数カウンタを０で初期化し（Ｓ１１５）、処理ファイル数カウンタに１を加算する（Ｓ１２２）。そして、処理ファイル数カウンタの値が、メディアカードに格納される静止画像ファイルと動画像ファイルの合計を示す「総処理ファイル数」以上となったか否かを判断する（Ｓ１２３）。Ｓ１２３の判断が否定される場合（Ｓ１２３：Ｎｏ）、Ｓ１０４の処理に戻り、次の画像ファイルを処理対象として選択し、処理を繰り返す。
【０１０３】
続いて、処理対象の画像ファイルが静止画像ファイルであると判断された場合（Ｓ１０５：静止画像）について説明する。静止画像ファイルである場合、処理画像数カウンタ値の配置順序に対応したファイルＩＤ記憶領域３０２へ、現時点における処理ファイル数カウンタの値を記憶する。また、処理画像数カウンタ値の配置順序に対応した抽出フレーム番号記憶領域３０４へ「０」を記憶する（Ｓ１１５ａ）。
【０１０４】
次に、処理対象の静止画像ファイルのファイル日付情報およびファイル時間情報を取得する。そして、ファイル情報記憶領域１３ｈのうち、処理ファイル数カウンタ値のファイルＩＤに対応したファイル日付情報記憶領域２０７（図４参照）へ、ファイル日付情報を記憶し、同ファイルＩＤに対応したファイル時間情報記憶領域２０８へ、ファイル時間情報を記憶する（Ｓ１１７）。なお、ｆｐｓ情報記憶領域２０６には「０」を記憶する。
【０１０５】
そして、配置情報記憶領域１３ｉ（図５参照）のうち、処理画像数カウンタ値の配置順序に対応する画像日付情報記憶領域３０５へ、処理対象の静止画像ファイルのファイル日付情報を記憶する。また、同配置順序に対応する画像時間情報記憶領域３０６へ、処理対象の静止画像ファイルのファイル時間情報を記憶する（Ｓ１１９）。そして、処理画像数カウンタに１を加算し（Ｓ１２１）、Ｓ１２３の処理に移行する。
【０１０６】
このように、Ｓ１０１からＳ１２３の処理によれば、配置情報記憶領域１３ｉに、ファイルＩＤ、抽出フレーム番号、画像日付情報、画像時間情報、ファイル識別情報が格納されることとなるが、この時点では、まだインデックス画像の配置順序は未決定である。図９を参照して後述するＳ１２４以降の処理において、画像日付情報と画像時間情報とを条件として、配置情報をソートすることにより、撮影日時に従った配置順序が決定される。
【０１０７】
図９は、図７に示す配置順決定処理（Ｓ１００）の続きの部分を示すフローチャートであり、特に、画像日付情報に基づいて、画像一覧２０に配置するインデックス画像を分類する処理、および配置情報記憶領域１３ｉに記憶された配置情報（図５参照）を、撮影日時に従った配置順序にソートする処理の部分を示している。
【０１０８】
図９に示すように、まず、現時点における処理画像数カウンタの値を「処理画像総数」として、処理画像総数記憶領域１３ｃ（図２参照）に記憶する（Ｓ１２４）。そして、処理画像数カウンタを「０」で初期化する（Ｓ１２５）。ここで処理画像数カウンタはカウンタ記憶領域１３ｍ（図２参照）に設けられるカウンタである。
【０１０９】
次に、配置情報記憶領域１３ｉ（図５参照）の画像日付情報記憶領域３０５に記憶された、画像日付情報に従って、グループＮｏを決定する（Ｓ１２６）。具体的には、処理画像数カウンタの値の配置順序に対応する、画像日付情報記憶領域３０５の値が、既に存在するグループの値と同一の場合は、その該当するグループＮｏを、この画像情報のグループＮｏに決定し、そうでない場合は新規のグループＮｏをこの画像情報のグループＮｏとして決定する。ただしＮｏの初期値は１であり、新規のグループＮｏはそれまでで最大のグループＮｏ＋１とする。
【０１１０】
このようにすれば、撮影日が同日であるフレーム画像情報または静止画像ファイルに対応するインデックス画像を同一グループに分類される一方で、撮影日が異なるフレーム画像情報または静止画像ファイルに対応するインデックス画像は互いに別グループに分類されることとなる。
【０１１１】
そして、処理画像数カウンタの値の配置順序に対応する、グループＮｏ記憶領域３０３（図５参照）へ、決定したグループＮｏを記憶する（Ｓ１２７）。次に、処理画像数カウンタに「１」を加算し（Ｓ１２８）、処理画像数カウンタの値が、処理画像総数に記憶された値以上となったかを判断する（Ｓ１２９）。そして、Ｓ１２９の判断が否定される場合（Ｓ１２９：Ｎｏ）、Ｓ１２６から処理を繰り返す。
【０１１２】
一方、Ｓ１２９の判断が肯定される場合（Ｓ１２９：Ｙｅｓ）、グループＮｏの最大値を、グループ数記憶領域４０１（図６参照）に記憶する（Ｓ１３０）。そして、グループＮｏの小さい順に、配置情報をソートする（Ｓ１３１）。なお、Ｓ１３１の処理においては、グループＮｏの小さい順に配置情報をソートすることができれば良いので、ソートアルゴリズムは特に限定するものではなく、例えば、クイックソート法やバブルソート法を用いることが可能である。
【０１１３】
なお、図５に示す配置情報記憶領域１３ｉは、配置情報記憶領域１３ｉに記憶された配置情報が、グループＮｏの小さい順にソートされた状態を模式的に図示している。
【０１１４】
図９に戻り説明する。次に、同一グループＮｏに含まれることとなるインデックス画像数を算出し（Ｓ１３２）、グループＮｏと対応付けてグループ画像数記憶領域４０４へ記憶する（Ｓ１３３）。次に、グループカウンタを１で初期化する（Ｓ１３４）。このグループカウンタは、カウンタ記憶領域１３ｍ（図２参照）に設けられるカウンタである。
【０１１５】
次に、画像時間情報の小さい順に配置情報をソートする（Ｓ１３５）。このソートはグループ単位で行う。これにより、配置情報で特定されるインデックス画像の各々について、対応する配置順序が決定する。
【０１１６】
すなわち、同一グループに分類されたインデックス画像内で、画像時間情報（撮影時情報）に従った配置順序を決定する。後述する配置印刷処理（Ｓ２００）では、グループ毎に画像一覧２０が印刷出力されるが、同一グループ内のインデックス画像は、画像時間情報が小さい順に配列されているから、１グループ内に多数のインデックス画像が含まれる場合であっても、ユーザは撮影時間順に整列した閲覧性の良い画像一覧を得ることができる。
【０１１７】
なお、画像時間情報が同一である場合は、元々の配置順序を変更しないことが好ましいので、Ｓ１３５の処理では、バブルソートなど単純なソートアルゴリズムが好適に用いられる。
【０１１８】
次に、グループカウンタに１を加算し（Ｓ１３６）、グループカウンタの値がグループ数記憶領域４０１（図６参照）の値より大となったかを判断する（Ｓ１３７）。Ｓ１３７の判断が否定される場合（Ｓ１３７：Ｎｏ）、Ｓ１３５に戻り処理を繰り返す。一方、全てのグループについての処理を終了し、Ｓ１３７の判断が肯定されると（Ｓ１３７：Ｙｅｓ）、配置順決定処理（Ｓ１００）を終了する。
【０１１９】
図１０は、ＭＦＰ１で実行される基準特徴量算出処理（Ｓ１５０）を示すフローチャートである。図１０に示す基準特徴量算出処理（Ｓ１５０）は、上述した配置順決定処理（Ｓ１００）の後に実行される処理であり、各インデックス画像を補正するための基準となる基準特徴量を、各静止画像の特徴量から算出する処理である。
【０１２０】
まず、配置順序カウンタを「０」で初期化し（Ｓ１５１）、次に、配置順序カウンタに対応したファイルＩＤ、抽出フレーム番号を配置情報記憶領域１０９から読み出す（Ｓ１５２）。そして、読み出したファイルＩＤに対応する画像ファイルが、動画像ファイルであるか静止画像ファイルであるかを判定する（Ｓ１５３）。尚、この判定はＳ１０５で既に一度判定がなされているため、その際の判定情報をファイル種類判定領域２０３から読み出してきて判定する。
【０１２１】
Ｓ１５３の判定において、静止画像ファイルと判定される場合（Ｓ１５３：静止画像）、静止画像ファイルをデコード処理する（Ｓ１５４）。
【０１２２】
そして、静止画像ファイルの大きさの画像特徴量ＳＳｐを算出し、その算出した画像特徴量ＳＳｐを配置順序カウンタに対応する画像特徴量記憶領域３０７に記憶する（Ｓ１５５）。ここで、大きさの画像特徴量ＳＳｐは、画像の幅（Ｗｉｄｔｈ）、画像の高さ（Ｈｅｉｇｈｔ）、アスペクト比（Ａｓｐｅｃｔ Ｒａｔｉｏ）で構成されており、画像の幅（Ｗｉｄｔｈ）は画像の横方向のピクセル数、画像の高さ（Ｈｅｉｇｈｔ）は画像の縦方向のピクセル数、アスペクト比（Ａｓｐｅｃｔ Ｒａｔｉｏ）は画像の高さ（Ｈｅｉｇｈｔ）／画像の高さ（Ｈｅｉｇｈｔ）から算出され、画像特徴量記憶領域３０７に記憶される。
【０１２３】
次に、静止画像ファイルの色の画像特徴量ＣＳｐを算出し、色の画像特徴量ＣＳｐを配置順序カウンタに対応する画像特徴量記憶領域３０７に記憶する（Ｓ１５６）。ここで、色の画像特徴ＣＳｐは、各静止画像の色相値（Ｈ＿Ｒ，Ｈ＿Ｇ，Ｈ＿Ｂ）、輝度値（Ｓ）、彩度値（Ｖ）であり、色相値（Ｈ＿Ｒ，Ｈ＿Ｇ，Ｈ＿Ｂ）は、各静止画像のＲＧＢ空間における所定値以上の明るさの画素のＲＧＢの平均値、輝度値（Ｓ）はＨＳＶ空間における輝度値の平均値、彩度値（Ｖ）は画像のＨＳＶ空間における彩度の平均値から算出されて、画像特徴量記憶領域３０７に記憶される。
【０１２４】
尚、Ｓ１５３の判定において、動画像と判定された場合には、対応する画像特徴量記憶領域３０７に０（ゼロ）を記憶して（Ｓ１５７）、Ｓ１５８の処理に移行する。
【０１２５】
こうして、静止画像ファイルについて、大きさの画像特徴量ＳＳｐと、色の画像特徴ＣＳｐとを算出し、画像特徴量記憶領域３０７に記憶すると、Ｓ１５８において配置順序カウンタに「１」を換算し（Ｓ１５８）、全て配置ファイルの処理を終了したか判定し（Ｓ１５９）、終了していなければ（Ｓ１５９：Ｎｏ）、Ｓ１５２からの処理を繰り返し、終了していれば（Ｓ１５９：Ｙｅｓ）、Ｓ１６０の処理に移行する。
【０１２６】
このＳ１６０では、Ｓ１５５で画像特徴量記憶領域３０７に記憶された値が０（ゼロ）でないものを対象として、前記画像記憶手段領域３０７に記憶された画像特徴量ＳＳｐから基準特徴量ＢＳＳｐを算出し、その算出した基準特徴量ＢＳＳｐを基準特徴量記憶領域１１４に記憶する（Ｓ１６０）。
【０１２７】
基準特徴量ＢＳＳｐは、画像特徴量記憶領域３０７に記憶されている画像特徴量ＳＳｐの基準となる特徴量であり、画像の幅（Ｗｉｄｔｈ）に関する基準特徴量ＢＷｉｄｔｈは、最も値が大きな幅（Ｗｉｄｔｈ）、アスペクト比（Ａｓｐｅｃｔ Ｒａｔｉｏ）に関する基準特徴量ＢＡｓｐｅｃｔＲａｔｉｏは、最も頻度が多いアスペクト比（Ａｓｐｅｃｔ Ｒａｔｉｏ）、画像の高さ（Ｈｅｉｇｈｔ）に関する基準特徴量ＢＨｅｉｇｈｔは、画像の幅（Ｗｉｄｔｈ）に関する基準特徴量ＢＷｉｄｔｈ／アスペクト比（Ａｓｐｅｃｔ Ｒａｔｉｏ）に関する基準特徴量ＢＡｓｐｅｃｔＲａｔｉｏとする。
【０１２８】
こうして、各静止画像ファイルの画像特徴量ＳＳｐから基準特徴量ＢＳＳｐ量が設定される。尚、基準特徴量ＢＷｉｄｔｈ、基準特徴量ＢＡｓｐｅｃｔＲａｔｉｏ、は全ての画像の幅（Ｗｉｄｔｈ）、アスペクト比（Ａｓｐｅｃｔ Ｒａｔｉｏ）の平均値としても良い。
【０１２９】
そして、次に、画像特徴量記憶領域３０７に記憶された値が０（ゼロ）でないもの対象として、前記画像記憶手段領域３０７に記憶された色の画像特徴量ＣＳｐから基準特徴量ＢＣＳｐを算出し、その算出した基準特徴量ＢＣＳｐを基準特徴量記憶領域１１４に記憶して（Ｓ１６１）、本処理を終了する。
【０１３０】
基準特徴量ＢＣＳｐは、画像特徴量記憶領域３０７に記憶されている色の画像特徴量ＣＳｐの基準であり、本実施形態では、色相値（Ｈ＿Ｒ）に関する基準特徴量ＢＨ＿Ｒは、各画像の色相値（Ｈ＿Ｒ）の平均値、色相値（Ｈ＿Ｇ）に関する基準特徴量ＢＨ＿Ｇは、各画像の色相値（Ｈ＿Ｇ）の平均値、色相値（Ｈ＿Ｂ）に関する基準特徴量ＢＨ＿Ｂは、各画像の色相値（Ｈ＿Ｂ）の平均値、彩度値（Ｓ）に関する基準特徴量ＢＳは、各画像の彩度値（Ｓ）の平均値、輝度値（Ｖ）に関する基準特徴量ＢＶは、各画像の画像の輝度値（Ｖ）の平均値として算出され、基準特徴量記憶領域１１４に記憶される。
【０１３１】
そして、このＳ１６０で算出した基準特徴量ＢＳＳｐと、Ｓ１６１で算出した基準特徴量ＢＣＳｐとを利用して、次の配置印刷処理（Ｓ２００）において、１ページの記録用紙に印刷出力される各インデックス画像を補正することで、各インデックス画像の大きさ、色を視覚的に統一させることができる。
【０１３２】
図１１は、配置印刷処理（Ｓ２００）を示すフローチャートである。図１１に示す配置印刷処理（Ｓ２００）は、図７から図９を参照して説明した配置順決定処理（Ｓ１００）に続けて実行される処理であり、画像一覧２０を記録用紙に印刷出力する処理である。
【０１３３】
まず、画像一覧２０に配列される横一列分のインデックス画像の数を示す「横方向の配置枚数」を、横方向画像配置数記憶領域１２ｂから読み出す（Ｓ２０１）。次に、１ページ分の画像一覧２０に配置可能なインデックス画像の数を示す「１ページ内画像配置数」を、１ページ画像配置数記憶領域１２ｃから読み出す（Ｓ２０２）。
【０１３４】
次に、グループカウンタを１で初期化する（Ｓ２０３）。以降の処理では、このグループカウンタは、処理対象のグループのグループＮｏを示すカウンタとして機能する。次に、ページカウンタを１で初期化する（Ｓ２０４）。以降の処理では、このページカウンタは、処理対象のグループのうち、何ページ目の画像一覧２０を処理対象としているのかを示すカウンタとして機能する。ページカウンタはカウンタ記憶領域１３ｍ（図２参照）に設けられるカウンタである。
【０１３５】
次に、グループカウンタ値のグループＮｏに対応するグループ画像数を、グループ画像数記憶領域４０４から読み出す（Ｓ２０５）。すなわち、そのグループＮｏのグループに分類されたインデックス画像の数を取得する。そして、読み出した「グループ画像数」と「１ページ内画像配置数」とから、処理対象のグループについて、何ページ分の画像一覧２０を印刷出力するかを示す「生成ページ数」を算出し、生成ページ数記憶領域１３ｄ（図２参照）へ記憶する（Ｓ２０６）。本実施形態では、「生成ページ数」は、例えば下記の数式６を用いて算出する。
（数式６）
（生成ページ数）＝［（グループ画像数）／（１ページ内画像配置数）］＋１
次に、レイアウト画像カウンタを０で初期化し（Ｓ２０７）、１ページの記録用紙内に配置する画像の枚数ｌａｙｏｕｔ＿ｎｏを算出する（Ｓ２０８）。本実施形態においては、ｌａｙｏｕｔ＿ｎｏは、例えば下記の数式７を用いて算出する。
（数式７）
（ページカウンタ値）＜生成ページ数 の時
ｌａｙｏｕｔ＿ｎｏ＝（１ページ内画像配置数）
（ページカウンタ値）≧生成ページ数 の時
ｌａｙｏｕｔ＿ｎｏ＝（グループ画像数）−｛（１ページ内画像配置数）×（ページカウンタ値）｝
次に、配置順序に対応したファイルＩＤ、抽出フレーム番号、ファイル識別情報を配置情報記憶領域１３ｉから読み出す（Ｓ２０９）。そして、読み出したファイルＩＤに対応する画像ファイルが、動画像ファイルであるか静止画像ファイルであるかを判定する（Ｓ２１０）。
【０１３６】
Ｓ２１０の判定において、動画像ファイルと判定される場合（Ｓ２１０：動画像）、次に、動画像ファイルから上記抽出フレーム番号で特定される１フレーム画像分のフレーム画像情報を抽出する（Ｓ２１１）。
【０１３７】
次に、抽出したフレーム画像情報をデコード処理し、デコードデータ記憶領域１３ｋへ格納する（Ｓ２１２）。そして、図１０に示すＳ１６０，Ｓ１６１で、基準特徴量記憶領域１１４に記憶された基準特徴量ＢＳＳｐと，基準特徴量ＢＣＳｐとを用いて、フレーム画像情報の特徴量がそれぞれの基準特徴量に一致するように補正する（Ｓ２１２ａ）。具体的には、この補正は、拡大縮小処理、トリミング処理、色相変換処理、輝度変換処理、彩度変換処理の順番で行う。
【０１３８】
まずは、拡大縮小処理を行う。この処理では拡大縮小率をＳｉｚｅＲａｔｅとし、そのＳｉｚｅＲａｔｅを下記式で算出する。
【０１３９】
【数１】
【０１４０】
【数２】
そして、算出された拡大縮小率ＳｉｚｅＲａｔｅにより処理対象となるフレーム画像情報の拡大縮小処理を行う。尚、拡大縮小はバイリニアやバイキュービックなどの画像補間により行うことができる。そして、この拡大縮小後の画像の幅をＷｉｄｔｈ’、拡大縮小後の画像の高さをＨｅｉｇｈｔ’とする。
【０１４１】
次に、トリミング処理を行う。この処理では、、拡大縮小後の画像の幅Ｗｉｄｔｈ’と拡大縮小後の画像の高さＨｅｉｇｈｔ’が、それぞれ、画像の幅に関する基準特徴量ＢＷｉｄｔｈ、画像の高さに関する基準特徴量ＢＨｅｉｇｈｔとなるように画像のトリミングを行う。トリミング前の画像をＯ（ｘ，ｙ）、トリミング後の画像をＰ（ｘ，ｙ）とすると、下記の式によってトリミング後の画像を求めることができる。但し、ｘ，ｙは座標値を表す。
【０１４２】
【数３】
上述した拡大縮小処理、トリミング処理によって、フレーム画像情報を基準特徴量ＢＳＳｐと一致させることができるので、各フレーム画像情報に対応するインデックス画像の大きさを統一させることができる。
【０１４３】
次に、色相変換処理を行う。この処理では、補正対象画像ＯのＲＧＢ空間における各画素値をＯ（ｘ，ｙ）Ｒ，Ｏ（ｘ，ｙ）Ｇ，Ｏ（ｘ，ｙ）Ｂとして、色相補正後の画素値Ｏ’（ｘ，ｙ）Ｒ， Ｏ’（ｘ，ｙ）Ｇ， Ｏ’（ｘ，ｙ）Ｂを下記の式で求める。但し、ｘ，ｙは画像の座標値とする。
また、フレーム画像情報の画像全体の輝度値（Ｖ）の平均値をＡｖｅＶとする。
【０１４４】
O'(x,y)R = O(x,y)R＋H_R×AveV÷BV
O'(x,y)G = O(x,y)G＋H_G×AveV÷BV
O'(x,y)B = O(x,y)B＋H_B×AveV÷BV
次に、輝度変換処理を行う。この処理では、色相変換処理で求めた色相補正後の画素値Ｏ’（ｘ，ｙ）Ｒ， Ｏ’（ｘ，ｙ）Ｇ， Ｏ’（ｘ，ｙ）Ｂを、ＨＳＶ空間へ変換してＯ’（ｘ，ｙ）Ｈ， Ｏ’（ｘ，ｙ）Ｓ， Ｏ’（ｘ，ｙ）Ｖとする。
【０１４５】
そして、その変換したＯ’（ｘ，ｙ）Ｈ， Ｏ’（ｘ，ｙ）Ｓ， Ｏ’（ｘ，ｙ）から輝度補正後の画素値Ｏ’’（ｘ，ｙ）Ｈ， Ｏ’’（ｘ，ｙ）Ｓ， Ｏ’’（ｘ，ｙ）Ｖを下記の式で求める。
【０１４６】
O''(x,y)H = O'(x,y)H
O''(x,y)S = O'(x,y)S
O''(x,y)V = O'(x,y)V×BV÷AveV
最後に、彩度変換処理を行う。この処理では、輝度補正後の画素値Ｏ’’’（ｘ，ｙ）Ｈ， Ｏ’’’（ｘ，ｙ）Ｓ， Ｏ’’’（ｘ，ｙ）Ｖから、彩度変換後の画素値Ｏ’’’（ｘ，ｙ）Ｈ， Ｏ’’’（ｘ，ｙ）Ｓ， Ｏ’’’（ｘ，ｙ）Ｖを下記の式で求める。
また、フレーム画像情報の画像全体の彩度値（Ｓ）の平均値をＡｖｅＳとする。
【０１４７】
O'''(x,y)H = O''(x,y)H
O'''(x,y)S = O''(x,y)S×BS÷AveS
O'''(x,y)V = O''(x,y)V
上述した色相、輝度、彩度変換処理によって、フレーム画像情報の特徴を基準特徴量ＢＣＳｐと一致させることができるので、各フレーム画像情報に対応するインデックス画像の色を統一させることができる。
【０１４８】
そして、上述したように補正したフレーム画像情報をＲＡＭ１３（図２参照）に設けられた配置用バッファの所定位置に配置する（Ｓ２１３）。
【０１４９】
一方、Ｓ２１０の判定において、静止画像ファイルと判定される場合（Ｓ２１０：静止画像）、配置順序に対応したファイルＩＤで特定される静止画像ファイルをデコード処理して、デコードデータ記憶領域１３ｋへ格納する（Ｓ２１４）。そして、上述したＳ２１２ａで説明したのと同様に、基準特徴量記憶領域１１４に記憶された基準特徴量ＢＳＳｐ，ＢＣＳｐを用いて、静止画像ファイルを補正する（Ｓ２１４ａ）。このＳ２１４ａの補正によって、静止画像ファイルを基準特徴量ＢＳＳｐ、基準特徴量ＢＣＳｐと一致させることができるので、各静止画像ファイルに対応するインデックス画像の大きさ、色を統一させることができ、ひいては、フレーム画像情報と、静止画像ファイルとの間で、画像の大きさ、色を統一させることができる。
【０１５０】
そして、上述したように補正した静止画像ファイルをＲＡＭ１３（図２参照）に設けられた配置用バッファの所定位置に配置する（Ｓ２１５）。
【０１５１】
このようにして、補正されたフレーム画像情報または補正された静止画像ファイルのいずれかを配置用バッファに配置する処理を実行した後、次に、横方向に配置できる画像数の上限である「横方向の配置枚数」回分、処理を行ったか否かを判断する（Ｓ２１６）。Ｓ２１６の判断が否定される場合（Ｓ２１６：Ｎｏ）、次のデータの配置位置を示す横方向位置を更新する（Ｓ２２０）。
【０１５２】
そして、レイアウト画像カウンタに「１」を加算し（Ｓ２２１）、レイアウト画像カウンタの値が、現在の処理対象の記録用紙に配置するインデックス画像の数「ｌａｙｏｕｔ＿ｎｏ」以上となったか否かを判断する（Ｓ２２２）。Ｓ２２２の判断が否定される場合（Ｓ２２２：Ｎｏ）、Ｓ２０９の処理に戻り、次の配置順序に対応した配置情報を処理する。
【０１５３】
このようにして、処理を繰り返すことにより、メディアカードに格納される動画像ファイルの各々から、抽出フレーム数（特許請求の範囲に記載の所定枚数に相当）のフレーム画像に相当するフレーム画像情報が抽出され、配置バッファに配置される。また、メディアカードに格納される静止画像ファイルが抽出され、配置バッファに配置される。
【０１５４】
このようにして処理を繰り返す内に、「横方向の配置枚数」回分の配置処理が実行されると、Ｓ２１６の判断が肯定されるので（Ｓ２１６：Ｙｅｓ）、次に、配置用バッファのデータをプリンタ３（図２参照）へ渡す（Ｓ２１７）。これにより、配置用バッファに配置された、横一列分のインデックス画像に対応したデータが、プリンタ３による印刷処理にかけられ、画像一覧２０を出力することができる。
【０１５５】
そして、次の処理対象のインデックス画像の横方向配置位置を示す横方向位置を初期化し（Ｓ２１８）、また、縦方向配置位置を示す縦方向位置を更新する（Ｓ２１９）。すなわち、画像一覧２０における次の列の左端から、次のインデックス画像が配列されるように、次の配置位置が決定される。そして、上述したＳ２２１、Ｓ２２２の処理を実行する。
【０１５６】
このようにして処理をしたインデックス画像の数が、処理対象の記録用紙に配置するインデックス画像数ｌａｙｏｕｔ＿ｎｏに到達すると、Ｓ２２２の判断が肯定されるので（Ｓ２２２：Ｙｅｓ）、図１１に示す次の処理に移行する。
【０１５７】
図１１は、図１０に示す配置印刷処理（Ｓ２００）の続きを示すフローチャートであって、Ｓ２２２の判断が肯定される場合に実行される。
【０１５８】
まず、配置用バッファに、未だ印刷処理を行っていないデータが存在するかを判断する（Ｓ２２３）。Ｓ２２３の判断が肯定される場合（Ｓ２２３：Ｙｅｓ）、その残りのデータをプリンタ３に渡し（Ｓ２２４）、プリンタ３にて印刷出力させ、Ｓ２２５の処理に移行する。ただし配置用バッファに画像が配置されない領域については白地出力とする。一方、Ｓ２２３の判断が否定される場合（Ｓ２２３：Ｎｏ）、Ｓ２２４の判断をスキップし、Ｓ２２５の処理に移行する。
【０１５９】
そして、１ページ分のデータ出力が完了したことを示す印刷完了命令をプリンタ３に渡す（Ｓ２２５）。そして、ページカウンタに「１」を加算する（Ｓ２２６）。次に、配置用バッファにおける次のデータの配置位置を示す横方向位置および縦方向位置を初期化する（Ｓ２２７）。そして、ページカウンタの値が、現在の処理対象のグループについて、何ページ分の画像一覧２０を印刷出力するかを示す「生成ページ数」より大となったかを判断する（Ｓ２２８）。Ｓ２２８の判断が否定される場合（Ｓ２２８：Ｎｏ）、図１０に示すＳ２０７の処理に戻り、同グループについて、次ページの処理を開始する。
【０１６０】
一方、Ｓ２２８の判断が肯定される場合（Ｓ２２８：Ｙｅｓ）、グループカウンタに１を加算する（Ｓ２２９）。そして、グループカウンタの値が、グループ数記憶領域４０１に記憶された値より大となったか否かを判断する（Ｓ２３０）。Ｓ２３０の判断が否定される場合（Ｓ２３０：Ｎｏ）、Ｓ２０４に戻り、処理を繰り返す。すなわち、次のグループＮｏで特定されるグループを処理対象として処理を繰り返す。
【０１６１】
一方、Ｓ２２８の判断が肯定される場合（Ｓ２２８：Ｙｅｓ）、配置印刷処理（Ｓ２００）を終了する。
【０１６２】
このように、このＭＦＰ１によれば、図３（ａ）を参照して説明したように、動画像ファイルから抽出される各インデックス画像２１ａ，２１ｂ，２１ｃと、静止画像ファイルから抽出されるインデックス画像２２とが混在する画像一覧２０を印刷出力する場合、各インデックス画像２１ａ，２１ｂ，２１ｃ，２２の大きさが基準特徴量ＢＳＳｐと一致するように補正され、各インデックス画像２１ａ，２１ｂ，２１ｃ，２２の色が基準特徴量ＢＣＳｐと一致するように補正されて印刷出力されるので、各インデックス画像２１ａ，２１ｂ，２１ｃ，２２間で視覚的な統一感が確保されている画像一覧２０を出力させることができる。また、ファイル時間情報（すなわち、静止画像ファイルまたはフレーム画像情報の撮影時間）に従った配置順序でインデックス画像が配列された画像一覧２０を出力することができる。
【０１６３】
以上、実施形態に基づき本発明を説明したが、本発明は上述した実施形態に何ら限定されるものではなく、本発明の趣旨を逸脱しない範囲内で種々の改良変更が可能であることは容易に推察できるものである。
【０１６４】
例えば、本実施形態では、画像一覧２０を記録用紙に印刷出力するものとして説明したが、ＬＣＤ５など表示装置に画像一覧２０を表示出力する場合にも、本発明を適用できる。
【０１６５】
また、本発明を、例えば、パーソナルコンピュータに適用し、ＰＣのモニターに、画像一覧２０を表示出力する場合、あるいは、パーソナルコンピュータからプリンタを制御して画像一覧を印刷出力する場合にも、本発明を適用できる。
【０１６６】
また、上記実施形態では、全グループについて画像一覧２０が出力されるものとして説明したが、例えば、ユーザにより選択されたグループについてのみ画像一覧２０を出力するように構成しても良い。
【０１６７】
また、上述した実施形態では、動画像ファイルおよび静止画像ファイルは、共に撮影により生成された画像ファイルであるものとして説明したが、動画像ファイルおよび静止画像ファイルは、撮影以外の方法で生成されるものであっても、本発明を適用可能である。その場合は、撮影日時に代えて、ファイルの作成日時を表すファイルの生成日時情報や、ファイルの更新日時情報など、他の条件を元に、インデックス画像の配置順序を決定するように構成されても良い。
【０１６８】
また、上述した実施形態では、メディアカード内に、静止画像ファイルと動画像ファイルとが混在している場合について説明したが、メディアカード内に動画像ファイルのみが格納されている場合にも本発明は適用可能である。
【０１６９】
また、上述した実施形態では、着脱可能なメディアカード内に記憶されている画像情報を処理対象としていたが、ＭＦＰ１の内部メモリに格納された画像情報を処理対象とする場合にも、本発明は適用可能である。
【０１７０】
また、上述した実施形態では、各インデックス画像の大きさを統一するために各インデックス画像の大きさを基準特徴量ＢＳＳｐに一致させ、且つ、各インデックス画像の色をを統一するために各インデックス画像の色を基準特徴量ＢＣＳｐに一致させる場合について説明したが、基準特徴量ＢＳＳｐと、基準特徴量ＢＣＳｐとのいずれか一方にだけ一致するように補正するように構成しても良い。
【０１７１】
また、上述した実施形態では、図１１に示すＳ２１２ａ、Ｓ２１４ａの処理において、色相、輝度、彩度の全てについて変換する場合について説明したが、いずれか一以上変換するように構成しても良い。
【０１７２】
また、上述した実施形態では、図１０に示すＳ１５５，Ｓ１５６において静止画像ファイルに対応する静止画像についてのみ、画像特徴量ＳＳｐ，ＣＳｐを算出する場合について説明したが、フレーム画像情報についても画像特徴量ＳＳｐ，ＣＳｐを算出し、Ｓ１６０と、Ｓ１６１において、両者（静止画像および動画像）の画像特徴量ＳＳｐ，ＣＳｐから各基準特徴量を算出するように構成しても良い。
【図面の簡単な説明】
【０１７３】
【図１】本発明の画像処理装置の実施形態であるＭＦＰの外観構成を示した斜視図である。
【図２】ＭＦＰの電気的構成を示すブロック図である。
【図３】ＭＦＰが印刷出力する画像一覧の一例を示す図である。
【図４】ファイル情報記憶領域の構成を模式的に示す図である。
【図５】配置情報記憶領域の構成を模式的に示す図である。
【図６】グループ情報記憶領域の構成の一例を示す図である。
【図７】配置順決定処理を示すフローチャートである。
【図８】画像日付算出処理を示すフローチャートである。
【図９】図７に示す配置順決定処理の続きの部分を示すフローチャートである。
【図１０】基準特徴量算出処理を示すフローチャートである。
【図１１】配置印刷処理を示すフローチャートである。
【図１２】図１０に示す配置印刷処理の続きを示すフローチャートである。
【符号の説明】
【０１７４】
１ ＭＦＰ（画像処理装置の一例）
３ プリンタ（記録手段の一部）
６ スロット部（取得手段の一部）
２０ 画像一覧
２１ａ，２１ｂ，２１ｃ インデックス画像（フレーム画像の一例）
２２ インデックス画像（静止画像の一例）
Ｓ１５３ 区別手段の一部
Ｓ２１１ 抽出手段の一部
Ｓ２２５ 出力制御手段の一部
Ｓ１５５ 画像特徴量算出手段の一部
Ｓ１６０，Ｓ１６１ 基準特徴量算出手段の一部
Ｓ２１２ａ，Ｓ２１４ａ 画像補正手段の一部
【特許請求の範囲】
【請求項１】
１以上の静止画像ファイルと、１以上の動画像ファイルとを取得する取得手段と、
その取得手段によって取得された動画像ファイルから１以上のフレーム画像を抽出する抽出手段と、
その抽出手段によって抽出された１以上のフレーム画像の各々のフレーム画像と、前記取得手段によって取得された１以上の静止画像ファイルの各々の静止画像との画像特徴をあらわす特徴量を算出する画像特徴量算出手段と、
その画像特徴量算出手段によって算出された１以上のフレーム画像に対応する特徴量と、１以上の静止画像に対応する特徴量との、少なくとも一方から基準となる基準特徴量を算出する基準特徴量算出手段と、
前記１以上のフレーム画像の各々のフレーム画像の特徴量と、前記１以上の静止画像の各々の静止画像の特徴量とを、前記基準特徴量算出手段によって算出された基準特徴量に一致させるように画像を補正する画像補正手段と、
その画像補正手段によって補正された前記フレーム画像と、前記静止画像とを、同一出力面上に出力させる出力制御手段とを備えていることを特徴とする画像処理装置。
【請求項２】
前記取得手段によって取得される静止画像ファイルと、動画像ファイルとを区別する区別手段を備え、
前記基準特徴量算出手段は、前記区別手段によって動画像ファイルと区別された静止画像ファイルが示す前記１以上の静止画像に対応する特徴量から基準特徴量を算出し、
前記画像補正手段は、前記１以上のフレーム画像の各々のフレーム画像の特徴量を、前記基準特徴量に一致させるように画像補正することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像特徴量算出手段は、前記特徴量として、画像の色に関する情報を示す色情報と画像の大きさに関する情報を示すサイズ情報とのうち、少なくとも一方を算出し、
前記基準特徴量算出手段は、上記画像特徴量算出手段によって得られた特徴量から基準となる基準特徴量を算出し、
前記画像補正手段は、前記１以上のフレーム画像の各々のフレーム画像の特徴量と、前記１以上の静止画像の各々の静止画像の特徴量とを、前記基準特徴量算出手段で算出された基準特徴量に一致させるように画像補正すること特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記色情報は、輝度を示す輝度情報、彩度を示す彩度情報、色相を示す色相情報のうち、何れか一以上であることを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記サイズ情報は、画像の幅を示す幅情報、画像の高さを示す高さ情報、画像のアスペクト比を示すアスペクト比情報であることを特徴とする請求項３に記載の画像処理装置。
【請求項６】
記録用紙に画像を記録する記録手段を備え、
前記出力制御手段は、前記画像補正手段によって補正された前記フレーム画像と、前記静止画像とを、前記記録手段によって前記記録用紙の同一紙面上に記録させることを特徴とする請求項１から５のいずれかに記載の画像処理装置。
【請求項１】
１以上の静止画像ファイルと、１以上の動画像ファイルとを取得する取得手段と、
その取得手段によって取得された動画像ファイルから１以上のフレーム画像を抽出する抽出手段と、
その抽出手段によって抽出された１以上のフレーム画像の各々のフレーム画像と、前記取得手段によって取得された１以上の静止画像ファイルの各々の静止画像との画像特徴をあらわす特徴量を算出する画像特徴量算出手段と、
その画像特徴量算出手段によって算出された１以上のフレーム画像に対応する特徴量と、１以上の静止画像に対応する特徴量との、少なくとも一方から基準となる基準特徴量を算出する基準特徴量算出手段と、
前記１以上のフレーム画像の各々のフレーム画像の特徴量と、前記１以上の静止画像の各々の静止画像の特徴量とを、前記基準特徴量算出手段によって算出された基準特徴量に一致させるように画像を補正する画像補正手段と、
その画像補正手段によって補正された前記フレーム画像と、前記静止画像とを、同一出力面上に出力させる出力制御手段とを備えていることを特徴とする画像処理装置。
【請求項２】
前記取得手段によって取得される静止画像ファイルと、動画像ファイルとを区別する区別手段を備え、
前記基準特徴量算出手段は、前記区別手段によって動画像ファイルと区別された静止画像ファイルが示す前記１以上の静止画像に対応する特徴量から基準特徴量を算出し、
前記画像補正手段は、前記１以上のフレーム画像の各々のフレーム画像の特徴量を、前記基準特徴量に一致させるように画像補正することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像特徴量算出手段は、前記特徴量として、画像の色に関する情報を示す色情報と画像の大きさに関する情報を示すサイズ情報とのうち、少なくとも一方を算出し、
前記基準特徴量算出手段は、上記画像特徴量算出手段によって得られた特徴量から基準となる基準特徴量を算出し、
前記画像補正手段は、前記１以上のフレーム画像の各々のフレーム画像の特徴量と、前記１以上の静止画像の各々の静止画像の特徴量とを、前記基準特徴量算出手段で算出された基準特徴量に一致させるように画像補正すること特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記色情報は、輝度を示す輝度情報、彩度を示す彩度情報、色相を示す色相情報のうち、何れか一以上であることを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記サイズ情報は、画像の幅を示す幅情報、画像の高さを示す高さ情報、画像のアスペクト比を示すアスペクト比情報であることを特徴とする請求項３に記載の画像処理装置。
【請求項６】
記録用紙に画像を記録する記録手段を備え、
前記出力制御手段は、前記画像補正手段によって補正された前記フレーム画像と、前記静止画像とを、前記記録手段によって前記記録用紙の同一紙面上に記録させることを特徴とする請求項１から５のいずれかに記載の画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２００９−２４６８９７（Ｐ２００９−２４６８９７Ａ）
【公開日】平成２１年１０月２２日（２００９．１０．２２）
【国際特許分類】
【出願番号】特願２００８−９４２３２（Ｐ２００８−９４２３２）
【出願日】平成２０年３月３１日（２００８．３．３１）
【出願人】（０００００５２６７）ブラザー工業株式会社 (13,856)
【Ｆターム（参考）】
【公開日】平成２１年１０月２２日（２００９．１０．２２）
【国際特許分類】
【出願日】平成２０年３月３１日（２００８．３．３１）
【出願人】（０００００５２６７）ブラザー工業株式会社 (13,856)
【Ｆターム（参考）】
[ Back to top ]