画像処理装置及び画像処理プログラム
【課題】見栄えのよい出力画像を生成する。
【解決手段】動画像ファイルから１６個のフレーム画像データ（代表データ）を抽出し、各代表データの表すフレーム画像（代表画像）が、時系列順に配置された出力画像を生成する。動画像ファイルは複数のシーンに区分され、各シーンに含まれるフレーム画像データの数に応じて、代表データのシーンごとの抽出数の暫定値が設定される。そして、暫定値に従い代表データを抽出した場合に生成される出力画像において、代表画像のシーンが切り替わるシーン切替位置が、部分列が切り替わる位置に一致する方向に暫定値を調整することで、代表データのシーンごとの抽出数が決定される。つまり、代表データのシーンごとの抽出数が、部分列ごとの代表画像の配列数に基づく数となるように、各シーンからの代表データの抽出数が最適化される。
【解決手段】動画像ファイルから１６個のフレーム画像データ（代表データ）を抽出し、各代表データの表すフレーム画像（代表画像）が、時系列順に配置された出力画像を生成する。動画像ファイルは複数のシーンに区分され、各シーンに含まれるフレーム画像データの数に応じて、代表データのシーンごとの抽出数の暫定値が設定される。そして、暫定値に従い代表データを抽出した場合に生成される出力画像において、代表画像のシーンが切り替わるシーン切替位置が、部分列が切り替わる位置に一致する方向に暫定値を調整することで、代表データのシーンごとの抽出数が決定される。つまり、代表データのシーンごとの抽出数が、部分列ごとの代表画像の配列数に基づく数となるように、各シーンからの代表データの抽出数が最適化される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の画像が配置された出力画像を生成するための画像処理の技術に関する。
【背景技術】
【０００２】
従来、複数の画像が配置された出力画像を生成する技術が知られている。例えば、特許文献１には、動画像から複数のフレーム画像を抽出し、抽出した複数のフレーム画像が配置された出力画像を１つの印刷媒体に印刷する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−１３０２５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の技術では、出力画像における複数の画像の配置を、画像の内容に応じて見栄えのよい配置にすることまでは考慮されていなかった。
本発明は、こうした問題にかんがみてなされたものであり、見栄えのよい出力画像を生成することを目的としている。
【課題を解決するための手段】
【０００５】
本明細書は上記目的を達成する構成を開示する。第１の構成は、画像処理装置であって、複数のグループに区分される画像データ群から、所定数の画像データを代表データとして抽出する抽出手段と、前記所定数の代表データが表す所定数の代表画像が、複数の部分列に区分された列状に前記代表画像を配置するレイアウト情報に従って、前記グループ単位でまとまった順序で配置された出力画像を表す出力画像データを生成する生成手段と、を備え、前記代表データの前記グループごとの抽出数が、前記部分列ごとの前記代表画像の配列数に基づく数である。
【０００６】
この構成によれば、代表データのグループごとの抽出数が、部分列ごとの代表画像の配列数に基づく数であるため、部分列ごとの代表画像の配列数とは無関係の数である場合と比較して、出力画像に配置される代表画像のグループ単位でのまとまりと、部分列単位でのまとまりとの関連性を高めることができる。この結果、見栄えのよい出力画像を生成することができる。
【０００７】
第２の構成は、第１の構成の画像処理装置であって、前記抽出手段は、前記画像データ群において前記複数のグループのそれぞれに含まれる画像データの数に応じて、前記代表データの前記グループごとの抽出数の暫定値を設定する暫定値設定手段と、前記暫定値に従い前記代表データを抽出した場合に生成される前記出力画像において、前記部分列が切り替わる位置を基準位置として、前記代表画像のグループが切り替わるグループ切替位置が、当該グループ切替位置から最も近い前記基準位置に一致するように、前記暫定値を調整する調整処理を行うことで、前記代表データの前記グループごとの抽出数を決定する調整手段と、を備える。この構成によれば、各グループに含まれる画像データの数に応じた代表画像が配置された出力画像を生成することができ、しかも、見栄えのよい配置となるように抽出数を調整することができる。
【０００８】
第３の構成は、第２の構成の画像処理装置であって、前記調整手段は、前記部分列が切り替わる位置に加え、前記部分列における特定の位置を前記基準位置とする。この構成によれば、グループ切替位置を基準位置に一致させるために必要な暫定値（抽出数）の調整量を小さくすることができる。
【０００９】
第４の構成は、第３の構成の画像処理装置であって、前記調整手段は、前記グループ切替位置から最も近い前記基準位置が複数存在し、一方が前記部分列が切り替わる位置であり、他方が前記特定の位置である場合には、前記グループ切替位置を前記部分列が切り替わる位置に一致させるように前記暫定値を調整する。この構成によれば、出力画像における部分列が切り替わる位置で、代表画像のグループが切り替わりやすくすることができる。
【００１０】
第５の構成は、第２〜第４の構成のいずれか１つの画像処理装置であって、前記調整手段は、前記グループごとに、前記出力画像における前記代表画像の前記グループ単位での配列順に前記調整処理を行う。この構成によれば、あるグループの抽出数（暫定値）を調整することにより、調整処理が既に行われた他のグループの代表画像の位置がずれないようにすることができる。
【００１１】
第６の構成は、第２〜第５の構成のいずれか１つの画像処理装置であって、前記暫定値設定手段は、前記複数のグループのそれぞれに含まれる画像データの数の比率に応じて、前記代表データの前記グループごとの抽出数の暫定値を設定する。この構成によれば、各グループに含まれる画像データの数の比率に応じて、各グループの代表画像が配置された出力画像を生成することができ、しかも、見栄えのよい配置となるように抽出数を調整することができる。
【００１２】
第７の構成は、第１〜第６の構成のいずれか１つの画像処理装置であって、前記抽出手段は、前記複数のグループのそれぞれから１つ以上の前記代表データを抽出する。この構成によれば、すべてのグループの代表画像が配置された出力画像を表す出力画像データを生成することができる。
【００１３】
第８の構成は、第１〜第７の構成のいずれか１つの画像処理装置であって、前記出力画像における前記代表画像の配置に基づき、前記部分列を構成する前記代表画像を特定する特定手段を更に備え、前記特定手段は、２つの代表画像の離間距離が所定長以下であることを条件として、前記部分列を構成する前記代表画像を特定する。この構成によれば、出力画像における代表画像の離間距離に基づき、部分列を構成する代表画像を特定することができる。
【００１４】
第９の構成は、第８の構成の画像処理装置であって、前記所定長は、前記離間距離が定まる方向における前記代表画像の長さに設定される。この構成によれば、部分列を構成する代表画像を適切に特定することができる。
【００１５】
第１０の構成は、第１〜第９の構成のいずれか１つの画像処理装置であって、前記画像データ群は、動画像を表すフレーム画像データ群であり、前記グループは、前記動画像におけるシーンであり、前記生成手段は、前記所定数の代表データが表す前記所定数の代表画像が、前記複数の部分列に区分された列状に前記代表画像を配置するレイアウト情報に従って、時系列的な順序で配置された前記出力画像を表す前記出力画像データを生成する。この構成によれば、出力画像においてフレーム画像のシーンが切り替わる位置を、部分列が切り替わる位置に基づく位置とすることができるため、動画像のシーンの切り替わりが分かりやすい見栄えのよい出力画像を生成することができる。
【００１６】
第１１の構成は、画像処理プログラムであって、複数のグループに区分される画像データ群から、所定数の画像データを代表データとして抽出する抽出手段、及び、前記所定数の代表データが表す所定数の代表画像が、複数の部分列に区分された列状に前記代表画像を配置するレイアウト情報に従って、前記グループ単位でまとまった順序で配置された出力画像を表す出力画像データを生成する生成手段としてコンピュータを機能させ、前記代表データの前記グループごとの抽出数が、前記部分列ごとの前記代表画像の配列数に基づく数である。この構成の画像処理プログラムによれば、第１の構成の画像処理装置としてコンピュータを機能させることができ、これにより前述した効果を得ることができる。
【図面の簡単な説明】
【００１７】
【図１】実施形態の複合機の概略構成を示すブロック図である。
【図２】動画像ファイルの内容を表す出力画像の生成例を示す図である。
【図３】動画像情報記憶領域を示す図である。
【図４】シーン情報記憶領域を示す図である。
【図５】抽出フレーム情報記憶領域を示す図である。
【図６】連続配置情報記憶領域を示す図である。
【図７】出力画像データ記憶領域を示す図である。
【図８】メディア画像印刷処理のフローチャートである。
【図９】第１実施形態の出力画像生成処理のフローチャートである。
【図１０】抽出画像数最適化処理のフローチャートである。
【図１１】（ａ）は判定対象画像と次に配置される画像とが横方向に連続しているか否かの判定方法を示す図、（ｂ）は判定対象画像と次に配置される画像とが縦方向に連続しているか否かの判定方法を示す図、（ｃ）は判定対象画像と次に配置される画像とが横方向に並んでいるか否かの判定方法を示す図である。
【図１２】連続配置画像数に応じた基準点の位置を示す図である。
【図１３】４×４レイアウトを前提とした出力画像データ記憶領域を示す図である。
【図１４】複数のフォルダの内容を表す出力画像の生成例を示す図である。
【図１５】第２実施形態の出力画像生成処理のフローチャートである。
【発明を実施するための形態】
【００１８】
以下、本発明が適用された実施形態について、図面を用いて説明する。
［１．第１実施形態］
［１−１．全体構成］
図１は、第１実施形態の複合機１０の概略構成を示すブロック図である。
【００１９】
この複合機１０は、プリンタ機能の他、スキャナ機能やコピー機能等を有する多機能装置であり、ＣＰＵ１１、ＲＯＭ１２、内部メモリ（ＲＡＭ）１３、スキャナ読取部１４、印刷制御部１５、液晶表示部１６、操作入力部１７及びメディアカードスロット１８を備え、これらは信号線を介して接続されている。
【００２０】
ＣＰＵ１１は、複合機１０におけるすべての演算を行うための装置である。
ＲＯＭ１２は、後述するメディア画像印刷処理をＣＰＵ１１に実行させるためのプログラムがあらかじめ記憶されている装置である。
【００２１】
内部メモリ１３は、ＣＰＵ１１による演算結果や入力データなどを一時的に記憶しておくための装置である。なお、内部メモリ１３の記憶領域の詳細については後述する。
印刷制御部１５は、印刷媒体に画像を印刷するための装置であり、ＣＭＹＫの色材（トナーやインク等）によりカラー画像を印刷可能なものである。
【００２２】
液晶表示部１６は、小型のカラー液晶ディスプレイに画像（メッセージ等の文字列を表す画像を含む。）を表示するための装置である。
操作入力部１７は、ユーザによって押操作される各種操作キーが配置され、操作に基づく情報を入力するための装置である。具体的には、上下左右操作を行うための上キー、下キー、左キー及び右キーと、決定操作を行うためのＯＫキーとを備えている。
【００２３】
メディアカードスロット１８は、画像ファイルが記憶されたＳＤカードやＣＦカード等のメディアカード（不揮発性の可搬型記憶媒体）を挿入可能に構成されている。そして、複合機１０は、メディアカードスロット１８に挿入された状態のメディアカードから画像ファイルを直接読み出し、画像ファイルの内容を表す出力画像を生成して印刷する機能（いわゆるダイレクトプリント機能）を有している。具体的には、複合機１０は、メディアカードに記憶されている複数の画像ファイルの中から印刷対象の画像ファイルをユーザに選択させるため、画像ファイルの内容を把握可能なサムネイル画像を液晶表示部１６に表示し、ユーザにより選択されたサムネイル画像に対応する画像ファイルの表す画像を印刷するようになっている。なお、画像ファイルは、静止画像を表す画像データである静止画像ファイルと、動画像を表す画像データである動画像ファイルとに大別され、いずれも印刷対象となり得るが、本実施形態では、動画像ファイルについての処理を中心に説明する。
【００２４】
動画像は複数のフレーム画像によって構成され、各フレーム画像はフレーム画像データによって表されるため、動画像ファイルには複数のフレーム画像データが含まれる。そして、複合機１０は、印刷対象の画像ファイルが動画像ファイルの場合には、動画像を表すフレーム画像データ群から、あらかじめ決められた数のフレーム画像データを代表データとして抽出し、各代表データの表す代表画像（フレーム画像）が時系列順に配置された出力画像を生成する。
【００２５】
具体的には、動画像ファイルの出力画像は、１６個の代表画像が配置されたものであり（図２、図１３参照）、左上の代表画像を起点として、時系列順に左から右へ横方向に列状に配置され、横方向の配列数（この例では各列４個）を超える分は改行されて、次の列の左から配置される。つまり、１６個の代表画像が、４つの部分列に区分された列状に配置される。本実施形態では、このような配置（４×４レイアウト）が、レイアウト情報として記憶部（例えばＲＯＭ１２）にあらかじめ記憶されており、動画像ファイルの出力画像が生成される際には、１６個の代表画像がこのレイアウト情報に従って配置される。
【００２６】
また、本実施形態では、図２に示すように、動画像ファイルの表す動画像が、複数のシーンに区分され、複数のシーンのそれぞれに含まれるフレーム画像データの数（シーンの長さ）に応じて、代表データのシーンごとの抽出数の暫定値が設定される。図２の例では、動画像が３つのシーンＡ，Ｂ，Ｃに区分され、これら３つのシーンＡ，Ｂ，Ｃの長さの比率（７：４：５）に応じて、代表データの抽出数の暫定値がそれぞれ７個、４個、５個に設定される。
【００２７】
そして、抽出数の暫定値に従い代表データを抽出した場合に生成される出力画像（図２に示す「最適化前の出力画像」）において、代表画像のシーンが切り替わるシーン切替位置が、部分列が切り替わる位置に一致する方向に、抽出数の暫定値が調整される。つまり、代表データのシーンごとの抽出数が、部分列ごとの代表画像の配列数（４個）に基づく数となるように、各シーンからの代表データの抽出数が最適化される。そして、最適化後の抽出数に基づいて生成された出力画像（図２に示す「最適化後の出力画像」）が印刷される。
【００２８】
［１−２．内部メモリの記憶領域］
次に、内部メモリ１３の記憶領域について説明する。
図１に示すように、内部メモリ１３には、各種情報を記憶するための記憶領域として、動画像情報記憶領域３１、シーン情報記憶領域３２、抽出フレーム情報記憶領域３３、連続配置情報記憶領域３４、代表データ記憶領域３５、サムネイル画像データ記憶領域３６、出力画像データ記憶領域３７、印刷データ記憶領域３８及び一時変数記憶領域３９が用意されている。
【００２９】
動画像情報記憶領域３１は、メディアカードに記憶されている画像ファイルのうち、印刷対象の画像ファイルの情報を一時的に記憶しておくための領域である。具体的には、図３に示すように、動画像情報記憶領域３１は、フォーマット種別記憶領域４１、コーデック種別記憶領域４２、横方向サイズ記憶領域４３、縦方向サイズ記憶領域４４、総フレーム数記憶領域４５及びＦＰＳ情報記憶領域４６を備えている。
【００３０】
フォーマット種別記憶領域４１は、印刷対象の画像ファイルのデータフォーマット（ファイルフォーマット）の種別を記憶する領域である。本実施形態では、４種類のファイルフォーマットに対応付けられた数値（例えば、ＡＶＩフォーマットであれば「０」、ＭＯＶフォーマットであれば「１」、ＭＰＥＧフォーマットであれば「２」、ＪＰＥＧフォーマットであれば「３」）が記憶される。
【００３１】
コーデック種別記憶領域４２は、印刷対象の画像ファイルのコーデックの種別を記憶する領域である。本実施形態では、３種類のコーデックに対応付けられた数値（例えば、ＭｏｔｉｏｎＪＰＥＧコーデックであれば「０」、ＭＰＥＧ１コーデックであれば「１」、ＤｉｖＸコーデックであれば「２」）が記憶される。なお、コーデック種別記憶領域４２は、静止画像ファイルの場合には使用されない。
【００３２】
横方向サイズ記憶領域４３は、印刷対象の画像ファイルが表す画像（動画像ファイルの場合はフレーム画像）の横方向のピクセルサイズを数値データとして記憶する領域である。
【００３３】
縦方向サイズ記憶領域４４は、印刷対象の画像ファイルが表す画像（動画像ファイルの場合はフレーム画像）の縦方向のピクセルサイズを数値データとして記憶する領域である。
【００３４】
総フレーム数記憶領域４５は、印刷対象の画像ファイルを構成するフレーム画像データの総数（総フレーム数）を数値データとして記憶する領域である。なお、総フレーム数記憶領域４５は、静止画像ファイルの場合には使用されない。
【００３５】
ＦＰＳ情報記憶領域４６は、印刷対象の画像ファイルの表す動画像で１秒間に再生されるフレーム数であるＦＰＳ（Ｆｒａｍｅｓ Ｐｅｒ Ｓｅｃｏｎｄ）情報を記憶する領域である。なお、ＦＰＳ情報記憶領域４６は、静止画像ファイルの場合には使用されない。
【００３６】
図１に戻り、シーン情報記憶領域３２は、印刷対象の動画像ファイルを解析して得られる動画像のシーンごとの情報を記憶するための領域である。具体的には、図４に示すように、シーン情報記憶領域３２は、シーンＩＤ記憶領域５１、シーン開始番号記憶領域５２、シーン終了番号記憶領域５３及び抽出画像数記憶領域５４を備えている。
【００３７】
シーンＩＤ記憶領域５１は、動画像に含まれるシーンの数に応じて０から順に振り分けたシーンの識別情報であるシーンＩＤを記憶するための領域である。具体的には、動画像に含まれる各シーンに対し、時系列順にシーンＩＤが割り振られる。
【００３８】
シーン開始番号記憶領域５２は、シーンごとに最も小さいフレーム番号（シーン開始番号）を記憶するための領域である。ここで、フレーム番号とは、フレーム画像が動画像の何フレーム目に当たるかを示す数値であり、動画像における先頭のフレーム画像を０フレーム目とする。
【００３９】
シーン終了番号記憶領域５３は、シーンごとに最も大きいフレーム番号（シーン終了番号）を記憶するための領域である。
抽出画像数記憶領域５４は、シーンごとの代表画像の抽出数（抽出画像数）を記憶するための領域である。
【００４０】
図１に戻り、抽出フレーム情報記憶領域３３は、代表画像のフレーム番号をシーン単位で管理するための領域である。具体的には、図５に示すように、抽出フレーム情報記憶領域３３は、シーンＩＤ記憶領域６１及び抽出フレーム番号記憶領域６２を備えている。
【００４１】
シーンＩＤ記憶領域６１は、シーンＩＤを記憶するための領域であり、シーン情報記憶領域３２内のシーンＩＤ記憶領域５１の値に対応している。
抽出フレーム番号記憶領域６２は、各シーンから抽出される代表画像のフレーム番号を、小さい値から順に、抽出画像数に対応する数だけ格納するための領域である。各シーンにおける最後のフレーム番号の隣には、そのシーンから抽出されるフレーム番号がこれ以上存在しないことを示す値（この例では−１）が格納される。つまり、抽出フレーム番号記憶領域６２は、シーンごとに、「抽出画像数＋１」個の値が格納される。
【００４２】
図１に戻り、連続配置情報記憶領域３４は、出力画像に配置される代表画像の連続性に関する情報を記憶するための領域である。具体的には、図６に示すように、連続配置情報記憶領域３４は、ＩＤ記憶領域７１、配置開始番号記憶領域７２、配置終了番号記憶領域７３及び連続配置画像数記憶領域７４を備えている。
【００４３】
ＩＤ記憶領域７１は、出力画像に含まれる部分列の数に応じて０から順に振り分けられた部分列の識別情報である部分列ＩＤを記憶するための領域である。
配置開始番号記憶領域７２は、部分列の開始点となる配置番号（配置開始番号）を記憶するための領域である。ここで、配置番号とは、代表画像が出力画像において時系列順に何番目に当たるかを示す数値であり、出力画像における先頭の代表画像の配置番号を０とする。
【００４４】
配置終了番号記憶領域７３は、部分列の終了点となる配置番号（配置終了番号）を記憶するための領域である。
連続配置画像数記憶領域７４は、部分列ごとの代表画像の配列数（出力画像において連続して配置される代表画像の数であり、以下「連続配置画像数」ともいう。）を記憶するための領域である。
【００４５】
図１に戻り、代表データ記憶領域３５は、動画像ファイルから抽出した代表データ（本実施形態ではフレーム画像データ）を記憶するための領域である。なお、フレーム画像データは、動画像ファイルの種類によっては固有の形式（例えばＪＰＥＧ形式、ＭＰＥＧ形式など）で圧縮された状態で記憶される。
【００４６】
サムネイル画像データ記憶領域３６は、印刷対象の画像ファイルをユーザに選択させるために液晶表示部１６に表示するサムネイル画像を表すサムネイル画像データを一時的に記憶しておくための領域である。
【００４７】
出力画像データ記憶領域３７は、出力画像を表す出力画像データを一時的に記憶しておくための領域である。具体的には、動画像ファイルに基づく出力画像には複数の代表画像が配置されるため、図７に示すように、複数の代表データを記憶可能な領域が用意されている。
【００４８】
印刷データ記憶領域３８は、出力画像を実際に印刷するための画像データ（ＣＭＹＫの二値画像データなど）を一時的に記憶しておくための領域である。
一時変数記憶領域３９は、変数やカウンタなど、一時的な情報を記憶するための領域である。
【００４９】
［１−３．ＣＰＵが実行する処理］
次に、複合機１０のＣＰＵ１１が実行するメディア画像印刷処理について、図８のフローチャートを用いて説明する。なお、図８のメディア画像印刷処理は、画像ファイルの記憶されているメディアカードがメディアカードスロット１８に挿入されている状態で、「メディア画像印刷」モードを選択するユーザの操作が操作入力部１７で行われることにより実行される。
【００５０】
ＣＰＵ１１は、このメディア画像印刷処理を開始すると、まずＳ１０１で、メディアカードに記憶されている画像ファイルの情報（ファイル名やファイルサイズ等）を読み出して内部メモリ１３に記憶するメディア情報抽出処理を行う。
【００５１】
続いて、ＣＰＵ１１は、Ｓ１０２で、メディアカードに記憶されている複数の画像ファイルの中から、印刷対象の画像ファイルをユーザに選択させる印刷画像選択処理を行う。具体的には、メディアカードに記憶されている複数の画像ファイルのうちの１つについて、画像ファイルの内容を把握可能なサムネイル画像を液晶表示部１６に表示する。そして、操作入力部１７の上キー、下キー、左キー又は右キーの押操作に応じて液晶表示部１６に表示されるサムネイル画像を他の画像ファイルのサムネイル画像に変更し、ＯＫキーの押操作時に表示されているサムネイル画像に対応する画像ファイルを印刷対象として選択する。
【００５２】
続いて、ＣＰＵ１１は、Ｓ１０３で、印刷対象の画像ファイルに基づく出力画像を表す出力画像データを生成する出力画像生成処理を実行する。
ここで、出力画像生成処理の詳細について図９のフローチャートを用いて説明する。なお、ここでは、印刷対象の画像ファイルが動画像ファイルであることを前提として説明する。
【００５３】
ＣＰＵ１１は、この出力画像生成処理を開始すると、まずＳ２０１で、印刷対象の動画像ファイルから各種情報（動画像情報）を取得する。具体的には、動画像ファイルのフォーマット種別情報、コーデック種別情報、横方向サイズ情報、縦方向サイズ情報、総フレーム数情報及びＦＰＳ情報を取得する。こうして取得された各情報は、動画像情報記憶領域３１内のフォーマット種別記憶領域４１、コーデック種別記憶領域４２、横方向サイズ記憶領域４３、縦方向サイズ記憶領域４４、総フレーム数記憶領域４５及びＦＰＳ情報記憶領域４６にそれぞれ記憶される。なお、これらのパラメータは、一般的には動画像ファイルのヘッダやフッタに記述されている。
【００５４】
続いて、ＣＰＵ１１は、Ｓ２０２で、印刷対象の動画像ファイルのシーンを解析する。本実施形態においては、動画像からシーン切替位置を検出し、１つの動画像を複数のシーンに分解する。シーン切替位置の検出方法は特に限定されず、例えば、フレーム画像間の差分の絶対値がしきい値以上である位置をシーン切替位置として検出する方法や、フレーム画像全体の動きベクトルがランダムな方向に変化した位置（フレーム画像間の相関が低い位置）をシーン切替位置として検出する方法を用いることができる。そして、分解した各シーンに、動画像の先頭から１，２，３，…の順にシーンＩＤを割り当てる。また、シーンごとに、シーン開始番号及びシーン終了番号を抽出する。シーンＩＤ、シーン開始番号及びシーン終了番号は、シーン情報記憶領域３２内のシーンＩＤ記憶領域５１、シーン開始番号記憶領域５２及びシーン終了番号記憶領域５３にそれぞれ記憶される。
【００５５】
続いて、ＣＰＵ１１は、Ｓ２０３で、印刷対象の動画像ファイルの各シーンに含まれるフレーム画像データの数（シーンの長さ）に応じて、シーンごとの抽出画像数を算出する。具体的には、印刷対象の動画像ファイルの総フレーム数をＦｔ、各シーンに含まれるフレーム画像データの数をＦｓ０，Ｆｓ１，…，Ｆｓｎとし（ｎは自然数）、抽出画像数の総数（出力画像における配置画像数）をＰｔとした場合、各シーンの抽出画像数Ｐｓ０，Ｐｓ１，…，Ｐｓｎは下記の式（１）から算出される。なお、厳密には、算出値に対し、各シーンの抽出画像数Ｐｓ０，Ｐｓ１，…，Ｐｓｎがそれぞれ整数値となり、かつ、これらの合計値がＰｔとなるように調整される。また、各シーンの抽出画像数が１以上になる（抽出画像数が０のシーンが生じない）ように調整される。
【００５６】
Ｐｓｎ＝Ｐｔ×（Ｆｓｎ／Ｆｔ） …式（１）
そして、算出された抽出画像数は、各シーンＩＤに対応する抽出画像数記憶領域５４に記憶される。ただし、この抽出画像数は暫定値であり、後述する処理（Ｓ３０２〜Ｓ３０６）によって調整され得る。なお、各シーンの長さに代えて、例えば、各シーン内のフレーム画像の変化（動き）の大きさに応じて（変化が大きいほど抽出画像数が多くなるように）、抽出画像数の暫定値を算出してもよい。
【００５７】
続いて、ＣＰＵ１１は、Ｓ２０４で、抽出画像数最適化処理を実行する。
ここで、抽出画像数最適化処理の詳細について図１０のフローチャートを用いて説明する。
【００５８】
ＣＰＵ１１は、この抽出画像数最適化処理を開始すると、まずＳ３０１で、出力画像における代表画像の配置（レイアウト情報）に基づいて、部分列ごとの配置開始番号、配置終了番号及び連続配置画像数を特定する。すなわち、本実施形態では、これらの情報があらかじめ記憶されていないことを前提に、出力画像における代表画像の配置順序及び配置間隔に基づいてこれらの情報（部分列ごとの配置開始番号、配置終了番号及び連続配置画像数）を特定する。なお、前述したように、本実施形態では、４×４レイアウトがレイアウト情報としてあらかじめ記憶されているため、部分列ごとの配置開始番号、配置終了番号及び連続配置画像数についてもあらかじめ記憶しておくことでＳ３０１の処理を省略することは可能である。ただし、Ｓ３０１の処理を行うことで、出力画像における代表画像の配置（レイアウト情報）が外部から指定されるような態様に対応することが可能となる。
【００５９】
具体的には、出力画像における代表画像の配置（座標情報及び配置順序）が把握されているという前提で、ある代表画像を判定対象画像とした場合に、図１１（ａ）に示すように、判定対象画像と、次に配置される画像（代表画像）とが、横方向に並んでいるとする。この場合、１ピクセルを距離１とした横方向の離間距離が、代表画像の横方向の辺の長さＬｘ以下であれば、横方向に連続している（同一の部分列を構成する）と判定し、代表画像の横方向の辺の長さＬｘを上回っていれば、横方向に連続していないと判定する。
【００６０】
同様に、図１１（ｂ）に示すように、判定対象画像と、次に配置される画像とが、縦方向に並んでいる場合、縦方向の離間距離が、代表画像の縦方向の辺の長さＬｙ以下であれば、縦方向に連続していると判定し、代表画像の縦方向の辺の長さＬｙを上回っていれば、縦方向に連続していないと判定する。
【００６１】
また、判定対象画像に対し、次に配置される画像が横方向及び縦方向のいずれに並んでいるかは、判定対象画像を横方向又は縦方向に延長した範囲に、次に配置される画像の少なくとも一部が存在するか否かで判定する。すなわち、図１１（ｃ）に示すように、判定対象画像を横方向に延長した範囲に、次に配置される画像の少なくとも一部が存在すれば、横方向に並んでいると判定し、次に配置される画像が存在しなければ、横方向に並んでいないと判定する。縦方向も同様である。なお、この例では、斜め方向については判定対象に含めない。また、この例では、すべての代表画像が同一形状（矩形）、同一サイズ、同一の向き（傾き）で配置されることを前提としている。
【００６２】
このようにして連続配置画像数が特定されることにより、出力画像における部分列ごとの配置開始番号、配置終了番号及び連続配置画像数が特定される。こうして特定された各情報は、連続配置情報記憶領域３４内の配置開始番号記憶領域７２、配置終了番号記憶領域７３及び連続配置画像数記憶領域７４にそれぞれ記憶される。
【００６３】
続いて、ＣＰＵ１１は、Ｓ３０２で、動画像に含まれる複数のシーンのうち、Ｓ３０２〜Ｓ３０５の処理をまだ行っていないシーンのうちの１つを、時系列順に処理対象として選択する。そして、処理対象のシーンについて、抽出画像数と連続配置画像数とに基づき、配置端数を算出する。配置端数とは、処理対象のシーンから抽出される代表画像（説明の便宜上、「対象代表画像」という。）のうち、時系列順で末尾の（フレーム番号が最も大きい）対象代表画像が属する部分列（説明の便宜上、「末尾部分列」という。）における、連続配置画像数に満たない対象代表画像の数である。例えば、図２の最適化前の出力画像の場合、シーンＡが処理対象であるとすると、上から２列目が末尾部分列であり、配置端数は３である。なお、末尾部分列における対象代表画像の数が、末尾部分列の連続配置画像数である場合（末尾部分列が対象代表画像のみで構成される場合）の配置端数は０である。
【００６４】
続いて、ＣＰＵ１１は、Ｓ３０３で、配置端数が０であるか否かを判定し、配置端数が０でない（つまり端数がある）と判定した場合には、Ｓ３０４へ移行し、配置端数が０である（つまり端数がない）と判定した場合には、Ｓ３０６へ移行する。
【００６５】
そして、ＣＰＵ１１は、Ｓ３０４で、配置端数と連続配置画像数とに基づいて、抽出画像数の調整量を決定する。具体的には、まず、末尾部分列の連続配置画像数に基づいて、処理対象のシーンの終了位置の目標位置となる基準点を設定する。図１２は、連続配置画像数に応じた基準点（黒三角印）の位置を示す図である。図１２に示すように、基準点は、末尾部分列の端部に位置する代表画像の外側（左端の代表画像の左側又は右端の代表画像の右側）、又は、末尾部分列において連続する２つの代表画像の間、を候補位置（黒又は白の三角印）として設定される。つまり、「連続配置画像数＋１」個の候補位置が存在することになる。そして、図１２に示す基準点は、次の（１），（２）の手順で設定される。なお、ここでは、末尾部分列において代表画像が左から右へ順に配列されることを前提としている。
【００６６】
（１）末尾部分列における候補位置のうち、一番左の位置を番号が０の基準点に設定する。
（２）既に設定済みの基準点のうち、最も番号の大きい基準点よりも右側の代表画像の数（代表画像の残数）に応じて、次の（２Ａ）〜（２Ｃ）のいずれかの処理を行う。
【００６７】
（２Ａ）代表画像の残数が３以下の場合、末尾部分列における候補位置のうち一番右の位置を、次の番号の基準点に設定する。これにより、基準点の設定を完了する。
（２Ｂ）代表画像の残数が４の場合、既に設定済みの基準点のうち、最も番号の大きい基準点から右に２つ進んだ候補位置を、次の番号の基準点に設定し、末尾部分列における候補位置のうち一番右の位置を、その次の番号の基準点に設定する。これにより、基準点の設定を完了する。
【００６８】
（２Ｃ）代表画像の残数が５以上の場合、既に設定済みの基準点のうち、最も番号の大きい基準点から右に３つ進んだ候補位置を、次の番号の基準点に設定する。その後、再度（２）の処理を行う。
【００６９】
以上の手順で処理を行うことにより、末尾部分列の連続配置画像数に基づいた基準点が設定され、設定された各基準点には、末尾部分列の配列方向に（左から右へ）、０を基準とする番号が割り振られる。このように、本実施形態では、部分列が切り替わる位置（左端又は右端）だけでなく、部分列の内部にも基準点が設定される。
【００７０】
次に、こうして設定した複数の基準点のうち、処理対象のシーンの終了位置から最も近い基準点である最近基準点を特定することで、抽出画像数の調整量を決定する。ここでいう処理対象のシーンの終了位置とは、前述した候補位置のうち、末尾の対象代表画像の右側に当たる位置（次に処理対象となるシーンの代表画像との間のシーン切替位置）である。例えば、連続配置画像数が４で、配置端数が２の場合、処理対象のシーンの終了位置は、番号が１の基準点の位置と同じになるため、番号が１の基準点が最近基準点として特定される。
【００７１】
ただし、このような特定方法では、処理対象のシーンの終了位置から最も近い基準点が２つ特定され得るため、この場合には、次の方法により、２つの基準点のうちの一方を最近基準点として特定する。すなわち、２つの基準点のうち番号が大きい方の基準点の番号が、番号が最大の基準点（末尾部分列の右端の基準点）の番号を２で割った値よりも大きい場合には、２つの基準点のうち番号が大きい方の基準点を最近基準点として特定する。逆に、２つの基準点のうち番号が大きい方の基準点の番号が、番号が最大の基準点の番号を２で割った値以下の場合には、２つの基準点のうち番号が小さい方の基準点を最近基準点として特定する。このようにすることで、２つの基準点のうちの一方が部分列が切り替わる位置（左端又は右端）の基準点であり、他方が部分列の内部の基準点である場合には、部分列が切り替わる位置の基準点が最近基準点として特定される。
【００７２】
例えば、末尾部分列の連続配置画像数が４で、配置端数が１の場合、処理対象のシーンの終了位置から最も近い基準点として、番号が０の基準点と、番号が１の基準点とが存在する。この場合、２つの基準点のうち番号が大きい方の基準点の番号（１）が、番号が最大の基準点の番号（２）を２で割った値（１）以下であるため、番号が０の基準点が最近基準点として特定される。また、例えば、末尾部分列の連続配置画像数が４で、配置端数が３の場合、処理対象のシーンの終了位置から最も近い基準点として、番号が１の基準点と、番号が２の基準点とが存在する。この場合、２つの基準点のうち番号が大きい方の基準点の番号（２）が、番号が最大の基準点の番号（２）を２で割った値（１）よりも大きいため、番号が２の基準点が最近基準点として特定される。
【００７３】
続いて、ＣＰＵ１１は、Ｓ３０５で、処理対象のシーンの終了位置が最近基準点に一致するように、処理対象のシーンの抽出画像数を最適化（増減調整）する。
具体的には、処理対象のシーンの抽出画像数を増加させる場合には、次に処理対象となるシーンの抽出画像数をその分減少させる。ただし、この増加調整は、次に処理対象となるシーンの抽出画像数が０以下にならない限度で行う。つまり、次に処理対象となるシーンの抽出画像数は、１以上であることが保証される。
【００７４】
逆に、処理対象のシーンの抽出画像数を減少させる場合には、次に処理対象となるシーンの抽出画像数をその分増加させる。ただし、この減少調整は、処理対象のシーンの抽出画像数が０にならない限度で行う。つまり、処理対象のシーンの抽出画像数も、１以上であることが保証される。
【００７５】
続いて、ＣＰＵ１１は、Ｓ３０６で、動画像に含まれるすべてのシーンについてＳ３０２〜Ｓ３０５の処理を行ったか否かを判定し、未処理のシーンが存在すると判定した場合にはＳ３０２へ戻る。一方、すべてのシーンについて処理を行ったと判定した場合には、図１０の抽出画像数最適化処理を終了し、図９のＳ２０５へ移行する。
【００７６】
そして、ＣＰＵ１１は、Ｓ２０５で、動画像の各シーンから抽出する代表画像のフレーム番号を決定し、抽出フレーム番号記憶領域６２に格納する。具体的には、シーン情報記憶領域３２に記憶されている値に基づき、下記の式（２）から算出される。なお、ｎ番目のシーンの抽出画像数をＰｓｎ、シーン開始番号をＦｎｓ、シーン終了番号をＦｎｅとし、ｍ番目（ｍは０以上の整数）の代表画像のフレーム番号をＰｐｎｍとする。
【００７７】
Ｐｐｎｍ＝Ｆｎｓ＋｛ｍ×（Ｆｎｅ−Ｆｎｓ）／（Ｐｓｎ−１）｝ …式（２）
つまり、シーンごとに、そのシーンを構成するすべてのフレーム画像のうち、先頭及び末尾（最終）のフレーム画像と、これらの間を「抽出画像数−１」等分した各等分位置（正確に等分できない場合は近似位置）の「抽出画像数−２」個のフレーム画像とが、代表画像に設定される。この結果、各シーンにおいて時系列的に互いに等間隔な関係にあるフレーム画像が代表画像に設定される。なお、抽出画像数が２の場合には、先頭及び末尾のフレーム画像が代表画像に設定され、抽出画像数が１の場合には先頭のフレーム画像が代表画像に設定される。
【００７８】
以降の処理（Ｓ２０６〜Ｓ２１０）では、動画像に含まれる各シーンが、時系列順に処理対象のシーンとして選択される。また、各シーンの処理においては、そのシーンから抽出される各代表データが、時系列順に処理対象の代表データとして選択される。
【００７９】
ＣＰＵ１１は、Ｓ２０６で、抽出フレーム番号記憶領域６２に格納された代表画像のフレーム番号に基づき、印刷対象の動画像ファイルから処理対象の代表データを抽出して、代表データ記憶領域３５に記憶する。なお、フレーム番号に基づく抽出位置を特定するための情報（動画像の先頭からのオフセットアドレスやフレームサイズ等）は、動画像ファイルのフッタなどに記述されたインデックス情報などから読み取ることができる。
【００８０】
続いて、ＣＰＵ１１は、Ｓ２０７で、代表データ記憶領域３５に記憶された代表データに対し、伸張（デコード）処理を施す。
続いて、ＣＰＵ１１は、Ｓ２０８で、伸張処理を施した代表データを、出力画像データ記憶領域３７の所定の位置に記憶する。本実施形態では、図１３に示すように、抽出した代表データに対応する位置が４×４レイアウトに基づきあらかじめ定められており、対応する位置に記憶されることで、４×４レイアウトの出力画像が生成される。
【００８１】
続いて、ＣＰＵ１１は、Ｓ２０９で、処理対象のシーンからすべての代表データを抽出したか否かを判定し、抽出していない代表データが存在すると判定した場合にはＳ２０６へ戻る。一方、すべての代表データを抽出したと判定した場合にはＳ２１０へ移行する。
【００８２】
そして、ＣＰＵ１１は、Ｓ２１０で、動画像に含まれるすべてのシーンから代表データを抽出したか否かを判定し、代表データを抽出していないシーンが存在すると判定した場合にはＳ２０６へ戻る。一方、すべてのシーンから代表データを抽出したと判定した場合には図９の出力画像生成処理を終了し、図８のＳ１０４へ移行する。
【００８３】
そして、ＣＰＵ１１は、Ｓ１０４で、出力画像データ記憶領域３７に記憶されている出力画像データの表す出力画像を印刷媒体に印刷するための画像印刷処理を実行する。この画像印刷処理では、出力画像データ記憶領域３７に記憶されている出力画像データに対し、色変換処理（ＲＧＢ→ＣＭＹＫ）及び二値化処理を行った後、印刷制御部１５へ出力する。これにより、印刷制御部１５で、出力画像が印刷媒体に印刷される。このＳ１０４の処理が完了することで、図８のメディア画像印刷処理が終了する。
【００８４】
［１−４．効果］
以上説明したように、第１実施形態によれば、複数のフレーム画像（代表画像）が時系列的な順序（シーン単位でまとまった順序）で配置された出力画像を生成するために、部分列ごとの代表画像の連続配置画像数に基づく数の代表データが、シーンごとに抽出される。したがって、連続配置画像数とは無関係な数の代表データが抽出される場合と比較して、出力画像に配置される代表画像のシーン単位でのまとまりと、部分列単位でのまとまりとの関連性を高めることができる。この結果、動画像のシーンの切り替わりが分かりやすい見栄えのよい出力画像を生成することができる。
【００８５】
また、複数のシーンのそれぞれに含まれるフレーム画像データの数に応じて、抽出画像数の暫定値が設定されるため、シーンの長さに応じた数の代表画像が配置された出力画像を生成することができる。そして、抽出画像数の暫定値に従い代表データを抽出した場合に生成される出力画像において、部分列が切り替わる位置を基準点として、シーン切替位置が最近基準点に一致するように暫定値が調整されるため、見栄えのよい配置となるように抽出画像数を調整することができる。特に、部分列が切り替わる位置に加え、部分列の内部における特定の位置についても基準点としているため、抽出画像数の調整量を小さくすることができる。しかも、最近基準点が複数存在し、一方が部分列が切り替わる位置であり、他方が部分列の内部の位置である場合には、部分列が切り替わる位置に調整されるため、出力画像における部分列が切り替わる位置で、代表画像のシーンが切り替わりやすくすることができる。
【００８６】
また、シーンごとに、出力画像における代表画像のシーン単位での配列順に調整処理が行われるため、調整処理が既に行われたシーンの代表画像の位置がずれないようにすることができる。さらに、複数のシーンのそれぞれから１つ以上の代表データが抽出されるため、すべてのシーンの代表画像が配置された出力画像を表す出力画像データを生成することができる。
【００８７】
一方、出力画像における代表画像の配置に基づき、２つの代表画像の離間距離が、その離間距離が定まる方向における代表画像の長さ以下であることを条件として、部分列を構成する代表画像が特定される。このため、例えば出力画像における代表画像の配置（レイアウト情報）が外部から指定されるような態様のように、連続配置画像数があらかじめ記憶されていない構成であっても、出力画像における代表画像の離間距離に基づき、部分列を構成する代表画像を適切に特定することができる。
【００８８】
なお、第１実施形態では、複合機１０が画像処理装置に相当する。そして、Ｓ２０２，Ｓ２０３，Ｓ２０５，Ｓ２０６，Ｓ３０２〜Ｓ３０６が抽出手段の処理に相当し、Ｓ２０２，Ｓ２０３が暫定値設定手段の処理に相当し、Ｓ３０２〜Ｓ３０６が調整手段の処理に相当する。また、Ｓ２０８が生成手段の処理に相当し、Ｓ３０１が特定手段の処理に相当する。
【００８９】
［２．第２実施形態］
［２−１．第１実施形態との相違点］
第２実施形態は、第１実施形態と同様であるが、出力画像を生成する対象となる画像データが相違する。すなわち、第１実施形態では、動画像ファイルから複数のフレーム画像データを代表データとして抽出し、各代表データの表す代表画像（フレーム画像）が配置された出力画像を生成する（図２）。これに対し、第２実施形態では、図１４に示すように、複数のフォルダから静止画像ファイルを代表データとして複数抽出し、各代表データの表す代表画像（静止画像）が配置された出力画像を生成する。具体的には、複数のフォルダのそれぞれに含まれる静止画像ファイルの数に応じて、代表データのフォルダごとの抽出数の暫定値が設定される。そして、抽出数の暫定値に従い代表データを抽出した場合に生成される出力画像（図１４に示す「最適化前の出力画像」）において、代表画像のフォルダが切り替わるフォルダ切替位置が、部分列が切り替わる位置に一致する方向に、抽出数の暫定値が調整される。これにより、代表データのフォルダごとの抽出数が、部分列ごとの代表画像の配列数（４個）に基づく数となるように、各フォルダからの代表データの抽出数が最適化される。つまり、第２実施形態では、フォルダが第１実施形態でいうシーンに対応する。なお、以下では、第１実施形態との共通点については説明を省略する。
【００９０】
［２−２．ＣＰＵが実行する処理］
ここで、第２実施形態の複合機１０のＣＰＵ１１が実行するメディア画像印刷処理について、図８のフローチャートを流用して説明する。なお、出力画像を生成する対象となる画像データが相違するものの、基本的には第１実施形態と同様の流れであるため、説明の重複を避けるため、同一内容の処理については説明を簡略化する。
【００９１】
ＣＰＵ１１は、このメディア画像印刷処理を開始すると、まずＳ１０１で、メディアカードに記憶されている複数のフォルダのそれぞれに含まれる静止画像ファイルの数を内部メモリ１３に記憶するメディア情報抽出処理を行う。
【００９２】
続いて、ＣＰＵ１１は、Ｓ１０２で、メディアカードに記憶されている複数のフォルダの中から、印刷対象のフォルダをユーザに選択させる印刷画像選択処理を行う。具体的には、メディアカードに記憶されているＭ個のフォルダの中から、Ｎ個（Ｎ≦Ｍ）のフォルダを、例えばチェック印を付加する形で、印刷対象のフォルダとして選択させる。
【００９３】
続いて、ＣＰＵ１１は、Ｓ１０３で、印刷対象のフォルダに基づく出力画像を表す出力画像データを生成する出力画像生成処理を実行する。
ここで、第２実施形態の出力画像生成処理の詳細について、図１５のフローチャートを用いて説明する。
【００９４】
ＣＰＵ１１は、この出力画像生成処理を開始すると、まずＳ４０１で、印刷対象の各フォルダのパスを取得する。
続いて、ＣＰＵ１１は、Ｓ４０２で、印刷対象の各フォルダに含まれる静止画像ファイルの数を内部メモリ１３から取得する。
【００９５】
続いて、ＣＰＵ１１は、Ｓ４０３で、印刷対象の各フォルダに含まれる静止画像ファイルの数に応じて、フォルダごとの抽出画像数（暫定値）を算出する。具体的には、第１実施形態と同様、印刷対象のすべてのフォルダに含まれる静止画像ファイルの数をＩｔ、各フォルダに含まれる静止画像ファイルの数をＩｓ０，Ｉｓ１，…，Ｉｓｎとし（ｎは自然数）、抽出画像数の総数（出力画像における配置画像数）をＰｔとした場合、各フォルダの抽出画像数Ｐｓ０，Ｐｓ１，…，Ｐｓｎは下記の式（３）から算出される。なお、第１実施形態と同様、厳密には、算出値に対し、各フォルダの抽出画像数Ｉｓ０，Ｉｓ１，…，Ｉｓｎがそれぞれ整数値となり、かつ、これらの合計値がＰｔとなるように調整される。また、第１実施形態と同様、各フォルダの抽出画像数が１以上になる（抽出画像数が０のフォルダが生じない）ように調整される。
【００９６】
Ｐｓｎ＝Ｐｔ×（Ｉｓｎ／Ｉｔ） …式（３）
続いて、ＣＰＵ１１は、Ｓ４０４で、抽出画像数最適化処理を実行する。なお、第２実施形態の抽出画像数最適化処理は、第１実施形態でいうシーンを第２実施形態でいうフォルダに置き換えれば、第１実施形態の抽出画像数最適化処理（図１０）と同様の処理内容となるため、説明を省略する。
【００９７】
以降の処理（Ｓ４０５〜Ｓ４０９）では、印刷対象の各フォルダが、出力画像に配置される順に処理対象のフォルダとして選択される。また、各フォルダの処理においては、そのフォルダから抽出される各代表データが、出力画像に配置される順に処理対象の代表データとして選択される。なお、各フォルダから代表データとして抽出される静止画像ファイルは、所定の規則に従い選択される。例えば、撮影日時等のタイムスタンプが新しい順に、抽出画像数分の静止画像ファイルを代表データとして選択してもよい。
【００９８】
ＣＰＵ１１は、Ｓ４０５で、処理対象のフォルダから処理対象の代表データを抽出して、代表データ記憶領域３５に記憶する。
続いて、ＣＰＵ１１は、Ｓ４０６で、代表データ記憶領域３５に記憶された代表データに対し、伸張（デコード）処理を施す。
【００９９】
続いて、ＣＰＵ１１は、Ｓ４０７で、伸張処理を施した代表データを、出力画像データ記憶領域３７の所定の位置に記憶する。
続いて、ＣＰＵ１１は、Ｓ４０８で、処理対象のフォルダからすべての代表データを抽出したか否かを判定し、抽出していない代表データが存在すると判定した場合にはＳ４０５へ戻る。一方、すべての代表データを抽出したと判定した場合にはＳ４０９へ移行する。
【０１００】
そして、ＣＰＵ１１は、Ｓ４０９で、印刷対象のすべてのフォルダから代表データを抽出したか否かを判定し、代表データを抽出していないフォルダが存在すると判定した場合にはＳ４０５へ戻る。一方、すべてのフォルダから代表データを抽出したと判定した場合には図１５の出力画像生成処理を終了し、図８のＳ１０４へ移行する。
【０１０１】
そして、ＣＰＵ１１は、Ｓ１０４で、出力画像データ記憶領域３７に記憶されている出力画像データの表す出力画像を印刷媒体に印刷するための画像印刷処理を実行する。このＳ１０４の処理が完了することで、図８のメディア画像印刷処理が終了する。
【０１０２】
［２−３．効果］
以上説明したように、第２実施形態によれば、複数の静止画像（代表画像）がフォルダ単位でまとまった順序で配置された出力画像を生成するために、部分列ごとの代表画像の連続配置画像数に基づく数の代表データが、フォルダごとに抽出される。したがって、連続配置画像数とは無関係な数の代表データが抽出される場合と比較して、出力画像に配置される代表画像のフォルダ単位でのまとまりと、部分列単位でのまとまりとの関連性を高めることができる。この結果、動画像のフォルダごとのまとまりが分かりやすい見栄えのよい出力画像を生成することができる。また、第２実施形態によれば、第１実施形態で述べた他の効果についても同様に得られる。
【０１０３】
なお、第２実施形態では、Ｓ３０２〜Ｓ３０６，Ｓ４０２，Ｓ４０３，Ｓ４０５が抽出手段の処理に相当し、Ｓ４０２，Ｓ４０３が暫定値設定手段の処理に相当し、Ｓ３０２〜Ｓ３０６が調整手段の処理に相当する。また、Ｓ４０７が生成手段の処理に相当し、Ｓ３０１が特定手段の処理に相当する。
【０１０４】
［３．他の実施形態］
以上、本発明の実施形態について説明したが、本発明は、上記実施形態に限定されることなく、種々の形態を採り得ることは言うまでもない。
【０１０５】
（１）上記実施形態では、連続配置画像数を加味せずに抽出画像数の暫定値を算出した後、算出した抽出画像数を連続配置画像数に応じて調整する例を示したが、これに限定されるものではなく、最初から連続配置画像数を加味して抽出画像数を算出してもよい。
【０１０６】
（２）上記実施形態では、部分列が切り替わる位置だけでなく、部分列の内部にも基準点を設定し、処理対象のシーンの終了位置が部分列の切り替わり位置から離れている場合には、部分列の内部の基準点に一致するように抽出画像数を調整する例を示したが、これに限定されるものではない。例えば、処理対象のシーンの終了位置が部分列の切り替わり位置から離れている場合には、抽出画像数の調整を行わないようにし、部分列の内部には基準点を設定しないようにしてもよい。また、代表画像のシーンが必ず部分列の切り替わり位置で切り替わるように調整することも可能である。
【０１０７】
（３）上記実施形態では、出力画像における代表画像の配置として４×４レイアウトを例に示したが、代表画像の数や配置は特に限定されない。例えば、部分列ごとに連続配置画像数が異なる配置でもよい。また、部分列の配列方向は、横方向に限定される方向ではなく、例えば縦方向や、それ以外の方向（直線方向に限らず円弧状の方向や波状の方向など）としてもよい。また、連続する代表画像同士が離間しない配置でもよく、代表画像同士が一部重なるような配置でもよい。一方、代表画像の大きさが一定ではなく異なった配置も可能であり、また、代表画像を矩形以外の形状とすることも可能である。また、あらかじめレイアウト情報を記憶していなくてもよく、例えば、ユーザにより生成されたレイアウトを用いてもよい。
【０１０８】
（４）上記実施形態では、出力画像における代表画像の配置に基づいて連続配置画像数を特定する例を示したが、これに限定されるものではなく、連続配置画像数があらかじめ記憶されているか、外部から与えられるようにしてもよい。この場合、連続配置画像数を特定する処理（Ｓ３０１）を省略することができる。
【０１０９】
（５）上記実施形態では、画像データ群を区分するグループとして、動画像のシーンやフォルダを例に示したが、これに限定されるものではない。例えば、静止画像ファイルの撮影日等を日付単位で区分したグループとしてもよい。また、複数の動画像ファイルのフレーム画像が１つの出力画像に配置されることを前提として、各動画像ファイルをグループとしてもよい。また、連写画像を出力画像に配置してもよい。
【０１１０】
（６）上記実施形態では、画像データをメディアカードから取得する例を示したが、これに代えて、例えば画像データを保存するサーバ（クラウドサーバ）から取得してもよい。また、画像データを保存する保存場所は複数であってもよく、例えば、ネットワーク上の複数のサーバからそれぞれ画像データを取得してもよい。この場合、１つのサーバから取得した画像データ群を１つのグループとしてもよい。
【０１１１】
（７）上記実施形態では、複合機１０に本発明を適用した構成を例示したが、これに限定されるものではなく、例えば、複合機以外の印刷装置（例えばスキャナ機能を有しない印刷装置）などにも適用することができる。また、印刷装置に限定されるものではなく、例えば、パーソナルコンピュータなどの情報処理装置やその情報処理装置で実行されるプログラムなどにも本発明を適用することができる。
【符号の説明】
【０１１２】
１０…複合機、１１…ＣＰＵ、１２…ＲＯＭ、１３…内部メモリ、１５…印刷制御部、１６…液晶表示部、１７…操作入力部、１８…メディアカードスロット、３１…動画像情報記憶領域、３２…シーン情報記憶領域、３３…抽出フレーム情報記憶領域、３４…連続配置情報記憶領域、３５…代表データ記憶領域、３６…サムネイル画像データ記憶領域、３７…出力画像データ記憶領域、３８…印刷データ記憶領域、３９…一時変数記憶領域
【技術分野】
【０００１】
本発明は、複数の画像が配置された出力画像を生成するための画像処理の技術に関する。
【背景技術】
【０００２】
従来、複数の画像が配置された出力画像を生成する技術が知られている。例えば、特許文献１には、動画像から複数のフレーム画像を抽出し、抽出した複数のフレーム画像が配置された出力画像を１つの印刷媒体に印刷する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−１３０２５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の技術では、出力画像における複数の画像の配置を、画像の内容に応じて見栄えのよい配置にすることまでは考慮されていなかった。
本発明は、こうした問題にかんがみてなされたものであり、見栄えのよい出力画像を生成することを目的としている。
【課題を解決するための手段】
【０００５】
本明細書は上記目的を達成する構成を開示する。第１の構成は、画像処理装置であって、複数のグループに区分される画像データ群から、所定数の画像データを代表データとして抽出する抽出手段と、前記所定数の代表データが表す所定数の代表画像が、複数の部分列に区分された列状に前記代表画像を配置するレイアウト情報に従って、前記グループ単位でまとまった順序で配置された出力画像を表す出力画像データを生成する生成手段と、を備え、前記代表データの前記グループごとの抽出数が、前記部分列ごとの前記代表画像の配列数に基づく数である。
【０００６】
この構成によれば、代表データのグループごとの抽出数が、部分列ごとの代表画像の配列数に基づく数であるため、部分列ごとの代表画像の配列数とは無関係の数である場合と比較して、出力画像に配置される代表画像のグループ単位でのまとまりと、部分列単位でのまとまりとの関連性を高めることができる。この結果、見栄えのよい出力画像を生成することができる。
【０００７】
第２の構成は、第１の構成の画像処理装置であって、前記抽出手段は、前記画像データ群において前記複数のグループのそれぞれに含まれる画像データの数に応じて、前記代表データの前記グループごとの抽出数の暫定値を設定する暫定値設定手段と、前記暫定値に従い前記代表データを抽出した場合に生成される前記出力画像において、前記部分列が切り替わる位置を基準位置として、前記代表画像のグループが切り替わるグループ切替位置が、当該グループ切替位置から最も近い前記基準位置に一致するように、前記暫定値を調整する調整処理を行うことで、前記代表データの前記グループごとの抽出数を決定する調整手段と、を備える。この構成によれば、各グループに含まれる画像データの数に応じた代表画像が配置された出力画像を生成することができ、しかも、見栄えのよい配置となるように抽出数を調整することができる。
【０００８】
第３の構成は、第２の構成の画像処理装置であって、前記調整手段は、前記部分列が切り替わる位置に加え、前記部分列における特定の位置を前記基準位置とする。この構成によれば、グループ切替位置を基準位置に一致させるために必要な暫定値（抽出数）の調整量を小さくすることができる。
【０００９】
第４の構成は、第３の構成の画像処理装置であって、前記調整手段は、前記グループ切替位置から最も近い前記基準位置が複数存在し、一方が前記部分列が切り替わる位置であり、他方が前記特定の位置である場合には、前記グループ切替位置を前記部分列が切り替わる位置に一致させるように前記暫定値を調整する。この構成によれば、出力画像における部分列が切り替わる位置で、代表画像のグループが切り替わりやすくすることができる。
【００１０】
第５の構成は、第２〜第４の構成のいずれか１つの画像処理装置であって、前記調整手段は、前記グループごとに、前記出力画像における前記代表画像の前記グループ単位での配列順に前記調整処理を行う。この構成によれば、あるグループの抽出数（暫定値）を調整することにより、調整処理が既に行われた他のグループの代表画像の位置がずれないようにすることができる。
【００１１】
第６の構成は、第２〜第５の構成のいずれか１つの画像処理装置であって、前記暫定値設定手段は、前記複数のグループのそれぞれに含まれる画像データの数の比率に応じて、前記代表データの前記グループごとの抽出数の暫定値を設定する。この構成によれば、各グループに含まれる画像データの数の比率に応じて、各グループの代表画像が配置された出力画像を生成することができ、しかも、見栄えのよい配置となるように抽出数を調整することができる。
【００１２】
第７の構成は、第１〜第６の構成のいずれか１つの画像処理装置であって、前記抽出手段は、前記複数のグループのそれぞれから１つ以上の前記代表データを抽出する。この構成によれば、すべてのグループの代表画像が配置された出力画像を表す出力画像データを生成することができる。
【００１３】
第８の構成は、第１〜第７の構成のいずれか１つの画像処理装置であって、前記出力画像における前記代表画像の配置に基づき、前記部分列を構成する前記代表画像を特定する特定手段を更に備え、前記特定手段は、２つの代表画像の離間距離が所定長以下であることを条件として、前記部分列を構成する前記代表画像を特定する。この構成によれば、出力画像における代表画像の離間距離に基づき、部分列を構成する代表画像を特定することができる。
【００１４】
第９の構成は、第８の構成の画像処理装置であって、前記所定長は、前記離間距離が定まる方向における前記代表画像の長さに設定される。この構成によれば、部分列を構成する代表画像を適切に特定することができる。
【００１５】
第１０の構成は、第１〜第９の構成のいずれか１つの画像処理装置であって、前記画像データ群は、動画像を表すフレーム画像データ群であり、前記グループは、前記動画像におけるシーンであり、前記生成手段は、前記所定数の代表データが表す前記所定数の代表画像が、前記複数の部分列に区分された列状に前記代表画像を配置するレイアウト情報に従って、時系列的な順序で配置された前記出力画像を表す前記出力画像データを生成する。この構成によれば、出力画像においてフレーム画像のシーンが切り替わる位置を、部分列が切り替わる位置に基づく位置とすることができるため、動画像のシーンの切り替わりが分かりやすい見栄えのよい出力画像を生成することができる。
【００１６】
第１１の構成は、画像処理プログラムであって、複数のグループに区分される画像データ群から、所定数の画像データを代表データとして抽出する抽出手段、及び、前記所定数の代表データが表す所定数の代表画像が、複数の部分列に区分された列状に前記代表画像を配置するレイアウト情報に従って、前記グループ単位でまとまった順序で配置された出力画像を表す出力画像データを生成する生成手段としてコンピュータを機能させ、前記代表データの前記グループごとの抽出数が、前記部分列ごとの前記代表画像の配列数に基づく数である。この構成の画像処理プログラムによれば、第１の構成の画像処理装置としてコンピュータを機能させることができ、これにより前述した効果を得ることができる。
【図面の簡単な説明】
【００１７】
【図１】実施形態の複合機の概略構成を示すブロック図である。
【図２】動画像ファイルの内容を表す出力画像の生成例を示す図である。
【図３】動画像情報記憶領域を示す図である。
【図４】シーン情報記憶領域を示す図である。
【図５】抽出フレーム情報記憶領域を示す図である。
【図６】連続配置情報記憶領域を示す図である。
【図７】出力画像データ記憶領域を示す図である。
【図８】メディア画像印刷処理のフローチャートである。
【図９】第１実施形態の出力画像生成処理のフローチャートである。
【図１０】抽出画像数最適化処理のフローチャートである。
【図１１】（ａ）は判定対象画像と次に配置される画像とが横方向に連続しているか否かの判定方法を示す図、（ｂ）は判定対象画像と次に配置される画像とが縦方向に連続しているか否かの判定方法を示す図、（ｃ）は判定対象画像と次に配置される画像とが横方向に並んでいるか否かの判定方法を示す図である。
【図１２】連続配置画像数に応じた基準点の位置を示す図である。
【図１３】４×４レイアウトを前提とした出力画像データ記憶領域を示す図である。
【図１４】複数のフォルダの内容を表す出力画像の生成例を示す図である。
【図１５】第２実施形態の出力画像生成処理のフローチャートである。
【発明を実施するための形態】
【００１８】
以下、本発明が適用された実施形態について、図面を用いて説明する。
［１．第１実施形態］
［１−１．全体構成］
図１は、第１実施形態の複合機１０の概略構成を示すブロック図である。
【００１９】
この複合機１０は、プリンタ機能の他、スキャナ機能やコピー機能等を有する多機能装置であり、ＣＰＵ１１、ＲＯＭ１２、内部メモリ（ＲＡＭ）１３、スキャナ読取部１４、印刷制御部１５、液晶表示部１６、操作入力部１７及びメディアカードスロット１８を備え、これらは信号線を介して接続されている。
【００２０】
ＣＰＵ１１は、複合機１０におけるすべての演算を行うための装置である。
ＲＯＭ１２は、後述するメディア画像印刷処理をＣＰＵ１１に実行させるためのプログラムがあらかじめ記憶されている装置である。
【００２１】
内部メモリ１３は、ＣＰＵ１１による演算結果や入力データなどを一時的に記憶しておくための装置である。なお、内部メモリ１３の記憶領域の詳細については後述する。
印刷制御部１５は、印刷媒体に画像を印刷するための装置であり、ＣＭＹＫの色材（トナーやインク等）によりカラー画像を印刷可能なものである。
【００２２】
液晶表示部１６は、小型のカラー液晶ディスプレイに画像（メッセージ等の文字列を表す画像を含む。）を表示するための装置である。
操作入力部１７は、ユーザによって押操作される各種操作キーが配置され、操作に基づく情報を入力するための装置である。具体的には、上下左右操作を行うための上キー、下キー、左キー及び右キーと、決定操作を行うためのＯＫキーとを備えている。
【００２３】
メディアカードスロット１８は、画像ファイルが記憶されたＳＤカードやＣＦカード等のメディアカード（不揮発性の可搬型記憶媒体）を挿入可能に構成されている。そして、複合機１０は、メディアカードスロット１８に挿入された状態のメディアカードから画像ファイルを直接読み出し、画像ファイルの内容を表す出力画像を生成して印刷する機能（いわゆるダイレクトプリント機能）を有している。具体的には、複合機１０は、メディアカードに記憶されている複数の画像ファイルの中から印刷対象の画像ファイルをユーザに選択させるため、画像ファイルの内容を把握可能なサムネイル画像を液晶表示部１６に表示し、ユーザにより選択されたサムネイル画像に対応する画像ファイルの表す画像を印刷するようになっている。なお、画像ファイルは、静止画像を表す画像データである静止画像ファイルと、動画像を表す画像データである動画像ファイルとに大別され、いずれも印刷対象となり得るが、本実施形態では、動画像ファイルについての処理を中心に説明する。
【００２４】
動画像は複数のフレーム画像によって構成され、各フレーム画像はフレーム画像データによって表されるため、動画像ファイルには複数のフレーム画像データが含まれる。そして、複合機１０は、印刷対象の画像ファイルが動画像ファイルの場合には、動画像を表すフレーム画像データ群から、あらかじめ決められた数のフレーム画像データを代表データとして抽出し、各代表データの表す代表画像（フレーム画像）が時系列順に配置された出力画像を生成する。
【００２５】
具体的には、動画像ファイルの出力画像は、１６個の代表画像が配置されたものであり（図２、図１３参照）、左上の代表画像を起点として、時系列順に左から右へ横方向に列状に配置され、横方向の配列数（この例では各列４個）を超える分は改行されて、次の列の左から配置される。つまり、１６個の代表画像が、４つの部分列に区分された列状に配置される。本実施形態では、このような配置（４×４レイアウト）が、レイアウト情報として記憶部（例えばＲＯＭ１２）にあらかじめ記憶されており、動画像ファイルの出力画像が生成される際には、１６個の代表画像がこのレイアウト情報に従って配置される。
【００２６】
また、本実施形態では、図２に示すように、動画像ファイルの表す動画像が、複数のシーンに区分され、複数のシーンのそれぞれに含まれるフレーム画像データの数（シーンの長さ）に応じて、代表データのシーンごとの抽出数の暫定値が設定される。図２の例では、動画像が３つのシーンＡ，Ｂ，Ｃに区分され、これら３つのシーンＡ，Ｂ，Ｃの長さの比率（７：４：５）に応じて、代表データの抽出数の暫定値がそれぞれ７個、４個、５個に設定される。
【００２７】
そして、抽出数の暫定値に従い代表データを抽出した場合に生成される出力画像（図２に示す「最適化前の出力画像」）において、代表画像のシーンが切り替わるシーン切替位置が、部分列が切り替わる位置に一致する方向に、抽出数の暫定値が調整される。つまり、代表データのシーンごとの抽出数が、部分列ごとの代表画像の配列数（４個）に基づく数となるように、各シーンからの代表データの抽出数が最適化される。そして、最適化後の抽出数に基づいて生成された出力画像（図２に示す「最適化後の出力画像」）が印刷される。
【００２８】
［１−２．内部メモリの記憶領域］
次に、内部メモリ１３の記憶領域について説明する。
図１に示すように、内部メモリ１３には、各種情報を記憶するための記憶領域として、動画像情報記憶領域３１、シーン情報記憶領域３２、抽出フレーム情報記憶領域３３、連続配置情報記憶領域３４、代表データ記憶領域３５、サムネイル画像データ記憶領域３６、出力画像データ記憶領域３７、印刷データ記憶領域３８及び一時変数記憶領域３９が用意されている。
【００２９】
動画像情報記憶領域３１は、メディアカードに記憶されている画像ファイルのうち、印刷対象の画像ファイルの情報を一時的に記憶しておくための領域である。具体的には、図３に示すように、動画像情報記憶領域３１は、フォーマット種別記憶領域４１、コーデック種別記憶領域４２、横方向サイズ記憶領域４３、縦方向サイズ記憶領域４４、総フレーム数記憶領域４５及びＦＰＳ情報記憶領域４６を備えている。
【００３０】
フォーマット種別記憶領域４１は、印刷対象の画像ファイルのデータフォーマット（ファイルフォーマット）の種別を記憶する領域である。本実施形態では、４種類のファイルフォーマットに対応付けられた数値（例えば、ＡＶＩフォーマットであれば「０」、ＭＯＶフォーマットであれば「１」、ＭＰＥＧフォーマットであれば「２」、ＪＰＥＧフォーマットであれば「３」）が記憶される。
【００３１】
コーデック種別記憶領域４２は、印刷対象の画像ファイルのコーデックの種別を記憶する領域である。本実施形態では、３種類のコーデックに対応付けられた数値（例えば、ＭｏｔｉｏｎＪＰＥＧコーデックであれば「０」、ＭＰＥＧ１コーデックであれば「１」、ＤｉｖＸコーデックであれば「２」）が記憶される。なお、コーデック種別記憶領域４２は、静止画像ファイルの場合には使用されない。
【００３２】
横方向サイズ記憶領域４３は、印刷対象の画像ファイルが表す画像（動画像ファイルの場合はフレーム画像）の横方向のピクセルサイズを数値データとして記憶する領域である。
【００３３】
縦方向サイズ記憶領域４４は、印刷対象の画像ファイルが表す画像（動画像ファイルの場合はフレーム画像）の縦方向のピクセルサイズを数値データとして記憶する領域である。
【００３４】
総フレーム数記憶領域４５は、印刷対象の画像ファイルを構成するフレーム画像データの総数（総フレーム数）を数値データとして記憶する領域である。なお、総フレーム数記憶領域４５は、静止画像ファイルの場合には使用されない。
【００３５】
ＦＰＳ情報記憶領域４６は、印刷対象の画像ファイルの表す動画像で１秒間に再生されるフレーム数であるＦＰＳ（Ｆｒａｍｅｓ Ｐｅｒ Ｓｅｃｏｎｄ）情報を記憶する領域である。なお、ＦＰＳ情報記憶領域４６は、静止画像ファイルの場合には使用されない。
【００３６】
図１に戻り、シーン情報記憶領域３２は、印刷対象の動画像ファイルを解析して得られる動画像のシーンごとの情報を記憶するための領域である。具体的には、図４に示すように、シーン情報記憶領域３２は、シーンＩＤ記憶領域５１、シーン開始番号記憶領域５２、シーン終了番号記憶領域５３及び抽出画像数記憶領域５４を備えている。
【００３７】
シーンＩＤ記憶領域５１は、動画像に含まれるシーンの数に応じて０から順に振り分けたシーンの識別情報であるシーンＩＤを記憶するための領域である。具体的には、動画像に含まれる各シーンに対し、時系列順にシーンＩＤが割り振られる。
【００３８】
シーン開始番号記憶領域５２は、シーンごとに最も小さいフレーム番号（シーン開始番号）を記憶するための領域である。ここで、フレーム番号とは、フレーム画像が動画像の何フレーム目に当たるかを示す数値であり、動画像における先頭のフレーム画像を０フレーム目とする。
【００３９】
シーン終了番号記憶領域５３は、シーンごとに最も大きいフレーム番号（シーン終了番号）を記憶するための領域である。
抽出画像数記憶領域５４は、シーンごとの代表画像の抽出数（抽出画像数）を記憶するための領域である。
【００４０】
図１に戻り、抽出フレーム情報記憶領域３３は、代表画像のフレーム番号をシーン単位で管理するための領域である。具体的には、図５に示すように、抽出フレーム情報記憶領域３３は、シーンＩＤ記憶領域６１及び抽出フレーム番号記憶領域６２を備えている。
【００４１】
シーンＩＤ記憶領域６１は、シーンＩＤを記憶するための領域であり、シーン情報記憶領域３２内のシーンＩＤ記憶領域５１の値に対応している。
抽出フレーム番号記憶領域６２は、各シーンから抽出される代表画像のフレーム番号を、小さい値から順に、抽出画像数に対応する数だけ格納するための領域である。各シーンにおける最後のフレーム番号の隣には、そのシーンから抽出されるフレーム番号がこれ以上存在しないことを示す値（この例では−１）が格納される。つまり、抽出フレーム番号記憶領域６２は、シーンごとに、「抽出画像数＋１」個の値が格納される。
【００４２】
図１に戻り、連続配置情報記憶領域３４は、出力画像に配置される代表画像の連続性に関する情報を記憶するための領域である。具体的には、図６に示すように、連続配置情報記憶領域３４は、ＩＤ記憶領域７１、配置開始番号記憶領域７２、配置終了番号記憶領域７３及び連続配置画像数記憶領域７４を備えている。
【００４３】
ＩＤ記憶領域７１は、出力画像に含まれる部分列の数に応じて０から順に振り分けられた部分列の識別情報である部分列ＩＤを記憶するための領域である。
配置開始番号記憶領域７２は、部分列の開始点となる配置番号（配置開始番号）を記憶するための領域である。ここで、配置番号とは、代表画像が出力画像において時系列順に何番目に当たるかを示す数値であり、出力画像における先頭の代表画像の配置番号を０とする。
【００４４】
配置終了番号記憶領域７３は、部分列の終了点となる配置番号（配置終了番号）を記憶するための領域である。
連続配置画像数記憶領域７４は、部分列ごとの代表画像の配列数（出力画像において連続して配置される代表画像の数であり、以下「連続配置画像数」ともいう。）を記憶するための領域である。
【００４５】
図１に戻り、代表データ記憶領域３５は、動画像ファイルから抽出した代表データ（本実施形態ではフレーム画像データ）を記憶するための領域である。なお、フレーム画像データは、動画像ファイルの種類によっては固有の形式（例えばＪＰＥＧ形式、ＭＰＥＧ形式など）で圧縮された状態で記憶される。
【００４６】
サムネイル画像データ記憶領域３６は、印刷対象の画像ファイルをユーザに選択させるために液晶表示部１６に表示するサムネイル画像を表すサムネイル画像データを一時的に記憶しておくための領域である。
【００４７】
出力画像データ記憶領域３７は、出力画像を表す出力画像データを一時的に記憶しておくための領域である。具体的には、動画像ファイルに基づく出力画像には複数の代表画像が配置されるため、図７に示すように、複数の代表データを記憶可能な領域が用意されている。
【００４８】
印刷データ記憶領域３８は、出力画像を実際に印刷するための画像データ（ＣＭＹＫの二値画像データなど）を一時的に記憶しておくための領域である。
一時変数記憶領域３９は、変数やカウンタなど、一時的な情報を記憶するための領域である。
【００４９】
［１−３．ＣＰＵが実行する処理］
次に、複合機１０のＣＰＵ１１が実行するメディア画像印刷処理について、図８のフローチャートを用いて説明する。なお、図８のメディア画像印刷処理は、画像ファイルの記憶されているメディアカードがメディアカードスロット１８に挿入されている状態で、「メディア画像印刷」モードを選択するユーザの操作が操作入力部１７で行われることにより実行される。
【００５０】
ＣＰＵ１１は、このメディア画像印刷処理を開始すると、まずＳ１０１で、メディアカードに記憶されている画像ファイルの情報（ファイル名やファイルサイズ等）を読み出して内部メモリ１３に記憶するメディア情報抽出処理を行う。
【００５１】
続いて、ＣＰＵ１１は、Ｓ１０２で、メディアカードに記憶されている複数の画像ファイルの中から、印刷対象の画像ファイルをユーザに選択させる印刷画像選択処理を行う。具体的には、メディアカードに記憶されている複数の画像ファイルのうちの１つについて、画像ファイルの内容を把握可能なサムネイル画像を液晶表示部１６に表示する。そして、操作入力部１７の上キー、下キー、左キー又は右キーの押操作に応じて液晶表示部１６に表示されるサムネイル画像を他の画像ファイルのサムネイル画像に変更し、ＯＫキーの押操作時に表示されているサムネイル画像に対応する画像ファイルを印刷対象として選択する。
【００５２】
続いて、ＣＰＵ１１は、Ｓ１０３で、印刷対象の画像ファイルに基づく出力画像を表す出力画像データを生成する出力画像生成処理を実行する。
ここで、出力画像生成処理の詳細について図９のフローチャートを用いて説明する。なお、ここでは、印刷対象の画像ファイルが動画像ファイルであることを前提として説明する。
【００５３】
ＣＰＵ１１は、この出力画像生成処理を開始すると、まずＳ２０１で、印刷対象の動画像ファイルから各種情報（動画像情報）を取得する。具体的には、動画像ファイルのフォーマット種別情報、コーデック種別情報、横方向サイズ情報、縦方向サイズ情報、総フレーム数情報及びＦＰＳ情報を取得する。こうして取得された各情報は、動画像情報記憶領域３１内のフォーマット種別記憶領域４１、コーデック種別記憶領域４２、横方向サイズ記憶領域４３、縦方向サイズ記憶領域４４、総フレーム数記憶領域４５及びＦＰＳ情報記憶領域４６にそれぞれ記憶される。なお、これらのパラメータは、一般的には動画像ファイルのヘッダやフッタに記述されている。
【００５４】
続いて、ＣＰＵ１１は、Ｓ２０２で、印刷対象の動画像ファイルのシーンを解析する。本実施形態においては、動画像からシーン切替位置を検出し、１つの動画像を複数のシーンに分解する。シーン切替位置の検出方法は特に限定されず、例えば、フレーム画像間の差分の絶対値がしきい値以上である位置をシーン切替位置として検出する方法や、フレーム画像全体の動きベクトルがランダムな方向に変化した位置（フレーム画像間の相関が低い位置）をシーン切替位置として検出する方法を用いることができる。そして、分解した各シーンに、動画像の先頭から１，２，３，…の順にシーンＩＤを割り当てる。また、シーンごとに、シーン開始番号及びシーン終了番号を抽出する。シーンＩＤ、シーン開始番号及びシーン終了番号は、シーン情報記憶領域３２内のシーンＩＤ記憶領域５１、シーン開始番号記憶領域５２及びシーン終了番号記憶領域５３にそれぞれ記憶される。
【００５５】
続いて、ＣＰＵ１１は、Ｓ２０３で、印刷対象の動画像ファイルの各シーンに含まれるフレーム画像データの数（シーンの長さ）に応じて、シーンごとの抽出画像数を算出する。具体的には、印刷対象の動画像ファイルの総フレーム数をＦｔ、各シーンに含まれるフレーム画像データの数をＦｓ０，Ｆｓ１，…，Ｆｓｎとし（ｎは自然数）、抽出画像数の総数（出力画像における配置画像数）をＰｔとした場合、各シーンの抽出画像数Ｐｓ０，Ｐｓ１，…，Ｐｓｎは下記の式（１）から算出される。なお、厳密には、算出値に対し、各シーンの抽出画像数Ｐｓ０，Ｐｓ１，…，Ｐｓｎがそれぞれ整数値となり、かつ、これらの合計値がＰｔとなるように調整される。また、各シーンの抽出画像数が１以上になる（抽出画像数が０のシーンが生じない）ように調整される。
【００５６】
Ｐｓｎ＝Ｐｔ×（Ｆｓｎ／Ｆｔ） …式（１）
そして、算出された抽出画像数は、各シーンＩＤに対応する抽出画像数記憶領域５４に記憶される。ただし、この抽出画像数は暫定値であり、後述する処理（Ｓ３０２〜Ｓ３０６）によって調整され得る。なお、各シーンの長さに代えて、例えば、各シーン内のフレーム画像の変化（動き）の大きさに応じて（変化が大きいほど抽出画像数が多くなるように）、抽出画像数の暫定値を算出してもよい。
【００５７】
続いて、ＣＰＵ１１は、Ｓ２０４で、抽出画像数最適化処理を実行する。
ここで、抽出画像数最適化処理の詳細について図１０のフローチャートを用いて説明する。
【００５８】
ＣＰＵ１１は、この抽出画像数最適化処理を開始すると、まずＳ３０１で、出力画像における代表画像の配置（レイアウト情報）に基づいて、部分列ごとの配置開始番号、配置終了番号及び連続配置画像数を特定する。すなわち、本実施形態では、これらの情報があらかじめ記憶されていないことを前提に、出力画像における代表画像の配置順序及び配置間隔に基づいてこれらの情報（部分列ごとの配置開始番号、配置終了番号及び連続配置画像数）を特定する。なお、前述したように、本実施形態では、４×４レイアウトがレイアウト情報としてあらかじめ記憶されているため、部分列ごとの配置開始番号、配置終了番号及び連続配置画像数についてもあらかじめ記憶しておくことでＳ３０１の処理を省略することは可能である。ただし、Ｓ３０１の処理を行うことで、出力画像における代表画像の配置（レイアウト情報）が外部から指定されるような態様に対応することが可能となる。
【００５９】
具体的には、出力画像における代表画像の配置（座標情報及び配置順序）が把握されているという前提で、ある代表画像を判定対象画像とした場合に、図１１（ａ）に示すように、判定対象画像と、次に配置される画像（代表画像）とが、横方向に並んでいるとする。この場合、１ピクセルを距離１とした横方向の離間距離が、代表画像の横方向の辺の長さＬｘ以下であれば、横方向に連続している（同一の部分列を構成する）と判定し、代表画像の横方向の辺の長さＬｘを上回っていれば、横方向に連続していないと判定する。
【００６０】
同様に、図１１（ｂ）に示すように、判定対象画像と、次に配置される画像とが、縦方向に並んでいる場合、縦方向の離間距離が、代表画像の縦方向の辺の長さＬｙ以下であれば、縦方向に連続していると判定し、代表画像の縦方向の辺の長さＬｙを上回っていれば、縦方向に連続していないと判定する。
【００６１】
また、判定対象画像に対し、次に配置される画像が横方向及び縦方向のいずれに並んでいるかは、判定対象画像を横方向又は縦方向に延長した範囲に、次に配置される画像の少なくとも一部が存在するか否かで判定する。すなわち、図１１（ｃ）に示すように、判定対象画像を横方向に延長した範囲に、次に配置される画像の少なくとも一部が存在すれば、横方向に並んでいると判定し、次に配置される画像が存在しなければ、横方向に並んでいないと判定する。縦方向も同様である。なお、この例では、斜め方向については判定対象に含めない。また、この例では、すべての代表画像が同一形状（矩形）、同一サイズ、同一の向き（傾き）で配置されることを前提としている。
【００６２】
このようにして連続配置画像数が特定されることにより、出力画像における部分列ごとの配置開始番号、配置終了番号及び連続配置画像数が特定される。こうして特定された各情報は、連続配置情報記憶領域３４内の配置開始番号記憶領域７２、配置終了番号記憶領域７３及び連続配置画像数記憶領域７４にそれぞれ記憶される。
【００６３】
続いて、ＣＰＵ１１は、Ｓ３０２で、動画像に含まれる複数のシーンのうち、Ｓ３０２〜Ｓ３０５の処理をまだ行っていないシーンのうちの１つを、時系列順に処理対象として選択する。そして、処理対象のシーンについて、抽出画像数と連続配置画像数とに基づき、配置端数を算出する。配置端数とは、処理対象のシーンから抽出される代表画像（説明の便宜上、「対象代表画像」という。）のうち、時系列順で末尾の（フレーム番号が最も大きい）対象代表画像が属する部分列（説明の便宜上、「末尾部分列」という。）における、連続配置画像数に満たない対象代表画像の数である。例えば、図２の最適化前の出力画像の場合、シーンＡが処理対象であるとすると、上から２列目が末尾部分列であり、配置端数は３である。なお、末尾部分列における対象代表画像の数が、末尾部分列の連続配置画像数である場合（末尾部分列が対象代表画像のみで構成される場合）の配置端数は０である。
【００６４】
続いて、ＣＰＵ１１は、Ｓ３０３で、配置端数が０であるか否かを判定し、配置端数が０でない（つまり端数がある）と判定した場合には、Ｓ３０４へ移行し、配置端数が０である（つまり端数がない）と判定した場合には、Ｓ３０６へ移行する。
【００６５】
そして、ＣＰＵ１１は、Ｓ３０４で、配置端数と連続配置画像数とに基づいて、抽出画像数の調整量を決定する。具体的には、まず、末尾部分列の連続配置画像数に基づいて、処理対象のシーンの終了位置の目標位置となる基準点を設定する。図１２は、連続配置画像数に応じた基準点（黒三角印）の位置を示す図である。図１２に示すように、基準点は、末尾部分列の端部に位置する代表画像の外側（左端の代表画像の左側又は右端の代表画像の右側）、又は、末尾部分列において連続する２つの代表画像の間、を候補位置（黒又は白の三角印）として設定される。つまり、「連続配置画像数＋１」個の候補位置が存在することになる。そして、図１２に示す基準点は、次の（１），（２）の手順で設定される。なお、ここでは、末尾部分列において代表画像が左から右へ順に配列されることを前提としている。
【００６６】
（１）末尾部分列における候補位置のうち、一番左の位置を番号が０の基準点に設定する。
（２）既に設定済みの基準点のうち、最も番号の大きい基準点よりも右側の代表画像の数（代表画像の残数）に応じて、次の（２Ａ）〜（２Ｃ）のいずれかの処理を行う。
【００６７】
（２Ａ）代表画像の残数が３以下の場合、末尾部分列における候補位置のうち一番右の位置を、次の番号の基準点に設定する。これにより、基準点の設定を完了する。
（２Ｂ）代表画像の残数が４の場合、既に設定済みの基準点のうち、最も番号の大きい基準点から右に２つ進んだ候補位置を、次の番号の基準点に設定し、末尾部分列における候補位置のうち一番右の位置を、その次の番号の基準点に設定する。これにより、基準点の設定を完了する。
【００６８】
（２Ｃ）代表画像の残数が５以上の場合、既に設定済みの基準点のうち、最も番号の大きい基準点から右に３つ進んだ候補位置を、次の番号の基準点に設定する。その後、再度（２）の処理を行う。
【００６９】
以上の手順で処理を行うことにより、末尾部分列の連続配置画像数に基づいた基準点が設定され、設定された各基準点には、末尾部分列の配列方向に（左から右へ）、０を基準とする番号が割り振られる。このように、本実施形態では、部分列が切り替わる位置（左端又は右端）だけでなく、部分列の内部にも基準点が設定される。
【００７０】
次に、こうして設定した複数の基準点のうち、処理対象のシーンの終了位置から最も近い基準点である最近基準点を特定することで、抽出画像数の調整量を決定する。ここでいう処理対象のシーンの終了位置とは、前述した候補位置のうち、末尾の対象代表画像の右側に当たる位置（次に処理対象となるシーンの代表画像との間のシーン切替位置）である。例えば、連続配置画像数が４で、配置端数が２の場合、処理対象のシーンの終了位置は、番号が１の基準点の位置と同じになるため、番号が１の基準点が最近基準点として特定される。
【００７１】
ただし、このような特定方法では、処理対象のシーンの終了位置から最も近い基準点が２つ特定され得るため、この場合には、次の方法により、２つの基準点のうちの一方を最近基準点として特定する。すなわち、２つの基準点のうち番号が大きい方の基準点の番号が、番号が最大の基準点（末尾部分列の右端の基準点）の番号を２で割った値よりも大きい場合には、２つの基準点のうち番号が大きい方の基準点を最近基準点として特定する。逆に、２つの基準点のうち番号が大きい方の基準点の番号が、番号が最大の基準点の番号を２で割った値以下の場合には、２つの基準点のうち番号が小さい方の基準点を最近基準点として特定する。このようにすることで、２つの基準点のうちの一方が部分列が切り替わる位置（左端又は右端）の基準点であり、他方が部分列の内部の基準点である場合には、部分列が切り替わる位置の基準点が最近基準点として特定される。
【００７２】
例えば、末尾部分列の連続配置画像数が４で、配置端数が１の場合、処理対象のシーンの終了位置から最も近い基準点として、番号が０の基準点と、番号が１の基準点とが存在する。この場合、２つの基準点のうち番号が大きい方の基準点の番号（１）が、番号が最大の基準点の番号（２）を２で割った値（１）以下であるため、番号が０の基準点が最近基準点として特定される。また、例えば、末尾部分列の連続配置画像数が４で、配置端数が３の場合、処理対象のシーンの終了位置から最も近い基準点として、番号が１の基準点と、番号が２の基準点とが存在する。この場合、２つの基準点のうち番号が大きい方の基準点の番号（２）が、番号が最大の基準点の番号（２）を２で割った値（１）よりも大きいため、番号が２の基準点が最近基準点として特定される。
【００７３】
続いて、ＣＰＵ１１は、Ｓ３０５で、処理対象のシーンの終了位置が最近基準点に一致するように、処理対象のシーンの抽出画像数を最適化（増減調整）する。
具体的には、処理対象のシーンの抽出画像数を増加させる場合には、次に処理対象となるシーンの抽出画像数をその分減少させる。ただし、この増加調整は、次に処理対象となるシーンの抽出画像数が０以下にならない限度で行う。つまり、次に処理対象となるシーンの抽出画像数は、１以上であることが保証される。
【００７４】
逆に、処理対象のシーンの抽出画像数を減少させる場合には、次に処理対象となるシーンの抽出画像数をその分増加させる。ただし、この減少調整は、処理対象のシーンの抽出画像数が０にならない限度で行う。つまり、処理対象のシーンの抽出画像数も、１以上であることが保証される。
【００７５】
続いて、ＣＰＵ１１は、Ｓ３０６で、動画像に含まれるすべてのシーンについてＳ３０２〜Ｓ３０５の処理を行ったか否かを判定し、未処理のシーンが存在すると判定した場合にはＳ３０２へ戻る。一方、すべてのシーンについて処理を行ったと判定した場合には、図１０の抽出画像数最適化処理を終了し、図９のＳ２０５へ移行する。
【００７６】
そして、ＣＰＵ１１は、Ｓ２０５で、動画像の各シーンから抽出する代表画像のフレーム番号を決定し、抽出フレーム番号記憶領域６２に格納する。具体的には、シーン情報記憶領域３２に記憶されている値に基づき、下記の式（２）から算出される。なお、ｎ番目のシーンの抽出画像数をＰｓｎ、シーン開始番号をＦｎｓ、シーン終了番号をＦｎｅとし、ｍ番目（ｍは０以上の整数）の代表画像のフレーム番号をＰｐｎｍとする。
【００７７】
Ｐｐｎｍ＝Ｆｎｓ＋｛ｍ×（Ｆｎｅ−Ｆｎｓ）／（Ｐｓｎ−１）｝ …式（２）
つまり、シーンごとに、そのシーンを構成するすべてのフレーム画像のうち、先頭及び末尾（最終）のフレーム画像と、これらの間を「抽出画像数−１」等分した各等分位置（正確に等分できない場合は近似位置）の「抽出画像数−２」個のフレーム画像とが、代表画像に設定される。この結果、各シーンにおいて時系列的に互いに等間隔な関係にあるフレーム画像が代表画像に設定される。なお、抽出画像数が２の場合には、先頭及び末尾のフレーム画像が代表画像に設定され、抽出画像数が１の場合には先頭のフレーム画像が代表画像に設定される。
【００７８】
以降の処理（Ｓ２０６〜Ｓ２１０）では、動画像に含まれる各シーンが、時系列順に処理対象のシーンとして選択される。また、各シーンの処理においては、そのシーンから抽出される各代表データが、時系列順に処理対象の代表データとして選択される。
【００７９】
ＣＰＵ１１は、Ｓ２０６で、抽出フレーム番号記憶領域６２に格納された代表画像のフレーム番号に基づき、印刷対象の動画像ファイルから処理対象の代表データを抽出して、代表データ記憶領域３５に記憶する。なお、フレーム番号に基づく抽出位置を特定するための情報（動画像の先頭からのオフセットアドレスやフレームサイズ等）は、動画像ファイルのフッタなどに記述されたインデックス情報などから読み取ることができる。
【００８０】
続いて、ＣＰＵ１１は、Ｓ２０７で、代表データ記憶領域３５に記憶された代表データに対し、伸張（デコード）処理を施す。
続いて、ＣＰＵ１１は、Ｓ２０８で、伸張処理を施した代表データを、出力画像データ記憶領域３７の所定の位置に記憶する。本実施形態では、図１３に示すように、抽出した代表データに対応する位置が４×４レイアウトに基づきあらかじめ定められており、対応する位置に記憶されることで、４×４レイアウトの出力画像が生成される。
【００８１】
続いて、ＣＰＵ１１は、Ｓ２０９で、処理対象のシーンからすべての代表データを抽出したか否かを判定し、抽出していない代表データが存在すると判定した場合にはＳ２０６へ戻る。一方、すべての代表データを抽出したと判定した場合にはＳ２１０へ移行する。
【００８２】
そして、ＣＰＵ１１は、Ｓ２１０で、動画像に含まれるすべてのシーンから代表データを抽出したか否かを判定し、代表データを抽出していないシーンが存在すると判定した場合にはＳ２０６へ戻る。一方、すべてのシーンから代表データを抽出したと判定した場合には図９の出力画像生成処理を終了し、図８のＳ１０４へ移行する。
【００８３】
そして、ＣＰＵ１１は、Ｓ１０４で、出力画像データ記憶領域３７に記憶されている出力画像データの表す出力画像を印刷媒体に印刷するための画像印刷処理を実行する。この画像印刷処理では、出力画像データ記憶領域３７に記憶されている出力画像データに対し、色変換処理（ＲＧＢ→ＣＭＹＫ）及び二値化処理を行った後、印刷制御部１５へ出力する。これにより、印刷制御部１５で、出力画像が印刷媒体に印刷される。このＳ１０４の処理が完了することで、図８のメディア画像印刷処理が終了する。
【００８４】
［１−４．効果］
以上説明したように、第１実施形態によれば、複数のフレーム画像（代表画像）が時系列的な順序（シーン単位でまとまった順序）で配置された出力画像を生成するために、部分列ごとの代表画像の連続配置画像数に基づく数の代表データが、シーンごとに抽出される。したがって、連続配置画像数とは無関係な数の代表データが抽出される場合と比較して、出力画像に配置される代表画像のシーン単位でのまとまりと、部分列単位でのまとまりとの関連性を高めることができる。この結果、動画像のシーンの切り替わりが分かりやすい見栄えのよい出力画像を生成することができる。
【００８５】
また、複数のシーンのそれぞれに含まれるフレーム画像データの数に応じて、抽出画像数の暫定値が設定されるため、シーンの長さに応じた数の代表画像が配置された出力画像を生成することができる。そして、抽出画像数の暫定値に従い代表データを抽出した場合に生成される出力画像において、部分列が切り替わる位置を基準点として、シーン切替位置が最近基準点に一致するように暫定値が調整されるため、見栄えのよい配置となるように抽出画像数を調整することができる。特に、部分列が切り替わる位置に加え、部分列の内部における特定の位置についても基準点としているため、抽出画像数の調整量を小さくすることができる。しかも、最近基準点が複数存在し、一方が部分列が切り替わる位置であり、他方が部分列の内部の位置である場合には、部分列が切り替わる位置に調整されるため、出力画像における部分列が切り替わる位置で、代表画像のシーンが切り替わりやすくすることができる。
【００８６】
また、シーンごとに、出力画像における代表画像のシーン単位での配列順に調整処理が行われるため、調整処理が既に行われたシーンの代表画像の位置がずれないようにすることができる。さらに、複数のシーンのそれぞれから１つ以上の代表データが抽出されるため、すべてのシーンの代表画像が配置された出力画像を表す出力画像データを生成することができる。
【００８７】
一方、出力画像における代表画像の配置に基づき、２つの代表画像の離間距離が、その離間距離が定まる方向における代表画像の長さ以下であることを条件として、部分列を構成する代表画像が特定される。このため、例えば出力画像における代表画像の配置（レイアウト情報）が外部から指定されるような態様のように、連続配置画像数があらかじめ記憶されていない構成であっても、出力画像における代表画像の離間距離に基づき、部分列を構成する代表画像を適切に特定することができる。
【００８８】
なお、第１実施形態では、複合機１０が画像処理装置に相当する。そして、Ｓ２０２，Ｓ２０３，Ｓ２０５，Ｓ２０６，Ｓ３０２〜Ｓ３０６が抽出手段の処理に相当し、Ｓ２０２，Ｓ２０３が暫定値設定手段の処理に相当し、Ｓ３０２〜Ｓ３０６が調整手段の処理に相当する。また、Ｓ２０８が生成手段の処理に相当し、Ｓ３０１が特定手段の処理に相当する。
【００８９】
［２．第２実施形態］
［２−１．第１実施形態との相違点］
第２実施形態は、第１実施形態と同様であるが、出力画像を生成する対象となる画像データが相違する。すなわち、第１実施形態では、動画像ファイルから複数のフレーム画像データを代表データとして抽出し、各代表データの表す代表画像（フレーム画像）が配置された出力画像を生成する（図２）。これに対し、第２実施形態では、図１４に示すように、複数のフォルダから静止画像ファイルを代表データとして複数抽出し、各代表データの表す代表画像（静止画像）が配置された出力画像を生成する。具体的には、複数のフォルダのそれぞれに含まれる静止画像ファイルの数に応じて、代表データのフォルダごとの抽出数の暫定値が設定される。そして、抽出数の暫定値に従い代表データを抽出した場合に生成される出力画像（図１４に示す「最適化前の出力画像」）において、代表画像のフォルダが切り替わるフォルダ切替位置が、部分列が切り替わる位置に一致する方向に、抽出数の暫定値が調整される。これにより、代表データのフォルダごとの抽出数が、部分列ごとの代表画像の配列数（４個）に基づく数となるように、各フォルダからの代表データの抽出数が最適化される。つまり、第２実施形態では、フォルダが第１実施形態でいうシーンに対応する。なお、以下では、第１実施形態との共通点については説明を省略する。
【００９０】
［２−２．ＣＰＵが実行する処理］
ここで、第２実施形態の複合機１０のＣＰＵ１１が実行するメディア画像印刷処理について、図８のフローチャートを流用して説明する。なお、出力画像を生成する対象となる画像データが相違するものの、基本的には第１実施形態と同様の流れであるため、説明の重複を避けるため、同一内容の処理については説明を簡略化する。
【００９１】
ＣＰＵ１１は、このメディア画像印刷処理を開始すると、まずＳ１０１で、メディアカードに記憶されている複数のフォルダのそれぞれに含まれる静止画像ファイルの数を内部メモリ１３に記憶するメディア情報抽出処理を行う。
【００９２】
続いて、ＣＰＵ１１は、Ｓ１０２で、メディアカードに記憶されている複数のフォルダの中から、印刷対象のフォルダをユーザに選択させる印刷画像選択処理を行う。具体的には、メディアカードに記憶されているＭ個のフォルダの中から、Ｎ個（Ｎ≦Ｍ）のフォルダを、例えばチェック印を付加する形で、印刷対象のフォルダとして選択させる。
【００９３】
続いて、ＣＰＵ１１は、Ｓ１０３で、印刷対象のフォルダに基づく出力画像を表す出力画像データを生成する出力画像生成処理を実行する。
ここで、第２実施形態の出力画像生成処理の詳細について、図１５のフローチャートを用いて説明する。
【００９４】
ＣＰＵ１１は、この出力画像生成処理を開始すると、まずＳ４０１で、印刷対象の各フォルダのパスを取得する。
続いて、ＣＰＵ１１は、Ｓ４０２で、印刷対象の各フォルダに含まれる静止画像ファイルの数を内部メモリ１３から取得する。
【００９５】
続いて、ＣＰＵ１１は、Ｓ４０３で、印刷対象の各フォルダに含まれる静止画像ファイルの数に応じて、フォルダごとの抽出画像数（暫定値）を算出する。具体的には、第１実施形態と同様、印刷対象のすべてのフォルダに含まれる静止画像ファイルの数をＩｔ、各フォルダに含まれる静止画像ファイルの数をＩｓ０，Ｉｓ１，…，Ｉｓｎとし（ｎは自然数）、抽出画像数の総数（出力画像における配置画像数）をＰｔとした場合、各フォルダの抽出画像数Ｐｓ０，Ｐｓ１，…，Ｐｓｎは下記の式（３）から算出される。なお、第１実施形態と同様、厳密には、算出値に対し、各フォルダの抽出画像数Ｉｓ０，Ｉｓ１，…，Ｉｓｎがそれぞれ整数値となり、かつ、これらの合計値がＰｔとなるように調整される。また、第１実施形態と同様、各フォルダの抽出画像数が１以上になる（抽出画像数が０のフォルダが生じない）ように調整される。
【００９６】
Ｐｓｎ＝Ｐｔ×（Ｉｓｎ／Ｉｔ） …式（３）
続いて、ＣＰＵ１１は、Ｓ４０４で、抽出画像数最適化処理を実行する。なお、第２実施形態の抽出画像数最適化処理は、第１実施形態でいうシーンを第２実施形態でいうフォルダに置き換えれば、第１実施形態の抽出画像数最適化処理（図１０）と同様の処理内容となるため、説明を省略する。
【００９７】
以降の処理（Ｓ４０５〜Ｓ４０９）では、印刷対象の各フォルダが、出力画像に配置される順に処理対象のフォルダとして選択される。また、各フォルダの処理においては、そのフォルダから抽出される各代表データが、出力画像に配置される順に処理対象の代表データとして選択される。なお、各フォルダから代表データとして抽出される静止画像ファイルは、所定の規則に従い選択される。例えば、撮影日時等のタイムスタンプが新しい順に、抽出画像数分の静止画像ファイルを代表データとして選択してもよい。
【００９８】
ＣＰＵ１１は、Ｓ４０５で、処理対象のフォルダから処理対象の代表データを抽出して、代表データ記憶領域３５に記憶する。
続いて、ＣＰＵ１１は、Ｓ４０６で、代表データ記憶領域３５に記憶された代表データに対し、伸張（デコード）処理を施す。
【００９９】
続いて、ＣＰＵ１１は、Ｓ４０７で、伸張処理を施した代表データを、出力画像データ記憶領域３７の所定の位置に記憶する。
続いて、ＣＰＵ１１は、Ｓ４０８で、処理対象のフォルダからすべての代表データを抽出したか否かを判定し、抽出していない代表データが存在すると判定した場合にはＳ４０５へ戻る。一方、すべての代表データを抽出したと判定した場合にはＳ４０９へ移行する。
【０１００】
そして、ＣＰＵ１１は、Ｓ４０９で、印刷対象のすべてのフォルダから代表データを抽出したか否かを判定し、代表データを抽出していないフォルダが存在すると判定した場合にはＳ４０５へ戻る。一方、すべてのフォルダから代表データを抽出したと判定した場合には図１５の出力画像生成処理を終了し、図８のＳ１０４へ移行する。
【０１０１】
そして、ＣＰＵ１１は、Ｓ１０４で、出力画像データ記憶領域３７に記憶されている出力画像データの表す出力画像を印刷媒体に印刷するための画像印刷処理を実行する。このＳ１０４の処理が完了することで、図８のメディア画像印刷処理が終了する。
【０１０２】
［２−３．効果］
以上説明したように、第２実施形態によれば、複数の静止画像（代表画像）がフォルダ単位でまとまった順序で配置された出力画像を生成するために、部分列ごとの代表画像の連続配置画像数に基づく数の代表データが、フォルダごとに抽出される。したがって、連続配置画像数とは無関係な数の代表データが抽出される場合と比較して、出力画像に配置される代表画像のフォルダ単位でのまとまりと、部分列単位でのまとまりとの関連性を高めることができる。この結果、動画像のフォルダごとのまとまりが分かりやすい見栄えのよい出力画像を生成することができる。また、第２実施形態によれば、第１実施形態で述べた他の効果についても同様に得られる。
【０１０３】
なお、第２実施形態では、Ｓ３０２〜Ｓ３０６，Ｓ４０２，Ｓ４０３，Ｓ４０５が抽出手段の処理に相当し、Ｓ４０２，Ｓ４０３が暫定値設定手段の処理に相当し、Ｓ３０２〜Ｓ３０６が調整手段の処理に相当する。また、Ｓ４０７が生成手段の処理に相当し、Ｓ３０１が特定手段の処理に相当する。
【０１０４】
［３．他の実施形態］
以上、本発明の実施形態について説明したが、本発明は、上記実施形態に限定されることなく、種々の形態を採り得ることは言うまでもない。
【０１０５】
（１）上記実施形態では、連続配置画像数を加味せずに抽出画像数の暫定値を算出した後、算出した抽出画像数を連続配置画像数に応じて調整する例を示したが、これに限定されるものではなく、最初から連続配置画像数を加味して抽出画像数を算出してもよい。
【０１０６】
（２）上記実施形態では、部分列が切り替わる位置だけでなく、部分列の内部にも基準点を設定し、処理対象のシーンの終了位置が部分列の切り替わり位置から離れている場合には、部分列の内部の基準点に一致するように抽出画像数を調整する例を示したが、これに限定されるものではない。例えば、処理対象のシーンの終了位置が部分列の切り替わり位置から離れている場合には、抽出画像数の調整を行わないようにし、部分列の内部には基準点を設定しないようにしてもよい。また、代表画像のシーンが必ず部分列の切り替わり位置で切り替わるように調整することも可能である。
【０１０７】
（３）上記実施形態では、出力画像における代表画像の配置として４×４レイアウトを例に示したが、代表画像の数や配置は特に限定されない。例えば、部分列ごとに連続配置画像数が異なる配置でもよい。また、部分列の配列方向は、横方向に限定される方向ではなく、例えば縦方向や、それ以外の方向（直線方向に限らず円弧状の方向や波状の方向など）としてもよい。また、連続する代表画像同士が離間しない配置でもよく、代表画像同士が一部重なるような配置でもよい。一方、代表画像の大きさが一定ではなく異なった配置も可能であり、また、代表画像を矩形以外の形状とすることも可能である。また、あらかじめレイアウト情報を記憶していなくてもよく、例えば、ユーザにより生成されたレイアウトを用いてもよい。
【０１０８】
（４）上記実施形態では、出力画像における代表画像の配置に基づいて連続配置画像数を特定する例を示したが、これに限定されるものではなく、連続配置画像数があらかじめ記憶されているか、外部から与えられるようにしてもよい。この場合、連続配置画像数を特定する処理（Ｓ３０１）を省略することができる。
【０１０９】
（５）上記実施形態では、画像データ群を区分するグループとして、動画像のシーンやフォルダを例に示したが、これに限定されるものではない。例えば、静止画像ファイルの撮影日等を日付単位で区分したグループとしてもよい。また、複数の動画像ファイルのフレーム画像が１つの出力画像に配置されることを前提として、各動画像ファイルをグループとしてもよい。また、連写画像を出力画像に配置してもよい。
【０１１０】
（６）上記実施形態では、画像データをメディアカードから取得する例を示したが、これに代えて、例えば画像データを保存するサーバ（クラウドサーバ）から取得してもよい。また、画像データを保存する保存場所は複数であってもよく、例えば、ネットワーク上の複数のサーバからそれぞれ画像データを取得してもよい。この場合、１つのサーバから取得した画像データ群を１つのグループとしてもよい。
【０１１１】
（７）上記実施形態では、複合機１０に本発明を適用した構成を例示したが、これに限定されるものではなく、例えば、複合機以外の印刷装置（例えばスキャナ機能を有しない印刷装置）などにも適用することができる。また、印刷装置に限定されるものではなく、例えば、パーソナルコンピュータなどの情報処理装置やその情報処理装置で実行されるプログラムなどにも本発明を適用することができる。
【符号の説明】
【０１１２】
１０…複合機、１１…ＣＰＵ、１２…ＲＯＭ、１３…内部メモリ、１５…印刷制御部、１６…液晶表示部、１７…操作入力部、１８…メディアカードスロット、３１…動画像情報記憶領域、３２…シーン情報記憶領域、３３…抽出フレーム情報記憶領域、３４…連続配置情報記憶領域、３５…代表データ記憶領域、３６…サムネイル画像データ記憶領域、３７…出力画像データ記憶領域、３８…印刷データ記憶領域、３９…一時変数記憶領域
【特許請求の範囲】
【請求項１】
複数のグループに区分される画像データ群から、所定数の画像データを代表データとして抽出する抽出手段と、
前記所定数の代表データが表す所定数の代表画像が、複数の部分列に区分された列状に前記代表画像を配置するレイアウト情報に従って、前記グループ単位でまとまった順序で配置された出力画像を表す出力画像データを生成する生成手段と、
を備え、
前記代表データの前記グループごとの抽出数が、前記部分列ごとの前記代表画像の配列数に基づく数である
ことを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、
前記抽出手段は、
前記画像データ群において前記複数のグループのそれぞれに含まれる画像データの数に応じて、前記代表データの前記グループごとの抽出数の暫定値を設定する暫定値設定手段と、
前記暫定値に従い前記代表データを抽出した場合に生成される前記出力画像において、前記部分列が切り替わる位置を基準位置として、前記代表画像のグループが切り替わるグループ切替位置が、当該グループ切替位置から最も近い前記基準位置に一致するように、前記暫定値を調整する調整処理を行うことで、前記代表データの前記グループごとの抽出数を決定する調整手段と、
を備えることを特徴とする画像処理装置。
【請求項３】
請求項２に記載の画像処理装置であって、
前記調整手段は、前記部分列が切り替わる位置に加え、前記部分列における特定の位置を前記基準位置とする
ことを特徴とする画像処理装置。
【請求項４】
請求項３に記載の画像処理装置であって、
前記調整手段は、前記グループ切替位置から最も近い前記基準位置が複数存在し、一方が前記部分列が切り替わる位置であり、他方が前記特定の位置である場合には、前記グループ切替位置を前記部分列が切り替わる位置に一致させるように前記暫定値を調整する
ことを特徴とする画像処理装置。
【請求項５】
請求項２から請求項４までのいずれか１項に記載の画像処理装置であって、
前記調整手段は、前記グループごとに、前記出力画像における前記代表画像の前記グループ単位での配列順に前記調整処理を行う
ことを特徴とする画像処理装置。
【請求項６】
請求項２から請求項５までのいずれか１項に記載の画像処理装置であって、
前記暫定値設定手段は、前記複数のグループのそれぞれに含まれる画像データの数の比率に応じて、前記代表データの前記グループごとの抽出数の暫定値を設定する
ことを特徴とする画像処理装置。
【請求項７】
請求項１から請求項６までのいずれか１項に記載の画像処理装置であって、
前記抽出手段は、前記複数のグループのそれぞれから１つ以上の前記代表データを抽出する
ことを特徴とする画像処理装置。
【請求項８】
請求項１から請求項７までのいずれか１項に記載の画像処理装置であって、
前記出力画像における前記代表画像の配置に基づき、前記部分列を構成する前記代表画像を特定する特定手段を更に備え、
前記特定手段は、２つの代表画像の離間距離が所定長以下であることを条件として、前記部分列を構成する前記代表画像を特定する
ことを特徴とする画像処理装置。
【請求項９】
請求項８に記載の画像処理装置であって、
前記所定長は、前記離間距離が定まる方向における前記代表画像の長さに設定される
ことを特徴とする画像処理装置。
【請求項１０】
請求項１から請求項９までのいずれか１項に記載の画像処理装置であって、
前記画像データ群は、動画像を表すフレーム画像データ群であり、
前記グループは、前記動画像におけるシーンであり、
前記生成手段は、前記所定数の代表データが表す前記所定数の代表画像が、前記複数の部分列に区分された列状に前記代表画像を配置するレイアウト情報に従って、時系列的な順序で配置された前記出力画像を表す前記出力画像データを生成する
ことを特徴とする画像処理装置。
【請求項１１】
複数のグループに区分される画像データ群から、所定数の画像データを代表データとして抽出する抽出手段、及び、
前記所定数の代表データが表す所定数の代表画像が、複数の部分列に区分された列状に前記代表画像を配置するレイアウト情報に従って、前記グループ単位でまとまった順序で配置された出力画像を表す出力画像データを生成する生成手段
としてコンピュータを機能させ、
前記代表データの前記グループごとの抽出数が、前記部分列ごとの前記代表画像の配列数に基づく数である
ことを特徴とする画像処理プログラム。
【請求項１】
複数のグループに区分される画像データ群から、所定数の画像データを代表データとして抽出する抽出手段と、
前記所定数の代表データが表す所定数の代表画像が、複数の部分列に区分された列状に前記代表画像を配置するレイアウト情報に従って、前記グループ単位でまとまった順序で配置された出力画像を表す出力画像データを生成する生成手段と、
を備え、
前記代表データの前記グループごとの抽出数が、前記部分列ごとの前記代表画像の配列数に基づく数である
ことを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、
前記抽出手段は、
前記画像データ群において前記複数のグループのそれぞれに含まれる画像データの数に応じて、前記代表データの前記グループごとの抽出数の暫定値を設定する暫定値設定手段と、
前記暫定値に従い前記代表データを抽出した場合に生成される前記出力画像において、前記部分列が切り替わる位置を基準位置として、前記代表画像のグループが切り替わるグループ切替位置が、当該グループ切替位置から最も近い前記基準位置に一致するように、前記暫定値を調整する調整処理を行うことで、前記代表データの前記グループごとの抽出数を決定する調整手段と、
を備えることを特徴とする画像処理装置。
【請求項３】
請求項２に記載の画像処理装置であって、
前記調整手段は、前記部分列が切り替わる位置に加え、前記部分列における特定の位置を前記基準位置とする
ことを特徴とする画像処理装置。
【請求項４】
請求項３に記載の画像処理装置であって、
前記調整手段は、前記グループ切替位置から最も近い前記基準位置が複数存在し、一方が前記部分列が切り替わる位置であり、他方が前記特定の位置である場合には、前記グループ切替位置を前記部分列が切り替わる位置に一致させるように前記暫定値を調整する
ことを特徴とする画像処理装置。
【請求項５】
請求項２から請求項４までのいずれか１項に記載の画像処理装置であって、
前記調整手段は、前記グループごとに、前記出力画像における前記代表画像の前記グループ単位での配列順に前記調整処理を行う
ことを特徴とする画像処理装置。
【請求項６】
請求項２から請求項５までのいずれか１項に記載の画像処理装置であって、
前記暫定値設定手段は、前記複数のグループのそれぞれに含まれる画像データの数の比率に応じて、前記代表データの前記グループごとの抽出数の暫定値を設定する
ことを特徴とする画像処理装置。
【請求項７】
請求項１から請求項６までのいずれか１項に記載の画像処理装置であって、
前記抽出手段は、前記複数のグループのそれぞれから１つ以上の前記代表データを抽出する
ことを特徴とする画像処理装置。
【請求項８】
請求項１から請求項７までのいずれか１項に記載の画像処理装置であって、
前記出力画像における前記代表画像の配置に基づき、前記部分列を構成する前記代表画像を特定する特定手段を更に備え、
前記特定手段は、２つの代表画像の離間距離が所定長以下であることを条件として、前記部分列を構成する前記代表画像を特定する
ことを特徴とする画像処理装置。
【請求項９】
請求項８に記載の画像処理装置であって、
前記所定長は、前記離間距離が定まる方向における前記代表画像の長さに設定される
ことを特徴とする画像処理装置。
【請求項１０】
請求項１から請求項９までのいずれか１項に記載の画像処理装置であって、
前記画像データ群は、動画像を表すフレーム画像データ群であり、
前記グループは、前記動画像におけるシーンであり、
前記生成手段は、前記所定数の代表データが表す前記所定数の代表画像が、前記複数の部分列に区分された列状に前記代表画像を配置するレイアウト情報に従って、時系列的な順序で配置された前記出力画像を表す前記出力画像データを生成する
ことを特徴とする画像処理装置。
【請求項１１】
複数のグループに区分される画像データ群から、所定数の画像データを代表データとして抽出する抽出手段、及び、
前記所定数の代表データが表す所定数の代表画像が、複数の部分列に区分された列状に前記代表画像を配置するレイアウト情報に従って、前記グループ単位でまとまった順序で配置された出力画像を表す出力画像データを生成する生成手段
としてコンピュータを機能させ、
前記代表データの前記グループごとの抽出数が、前記部分列ごとの前記代表画像の配列数に基づく数である
ことを特徴とする画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１２−２０５２３８（Ｐ２０１２−２０５２３８Ａ）
【公開日】平成２４年１０月２２日（２０１２．１０．２２）
【国際特許分類】
【出願番号】特願２０１１−７０３００（Ｐ２０１１−７０３００）
【出願日】平成２３年３月２８日（２０１１．３．２８）
【出願人】（０００００５２６７）ブラザー工業株式会社 (13,856)
【Ｆターム（参考）】
【公開日】平成２４年１０月２２日（２０１２．１０．２２）
【国際特許分類】
【出願日】平成２３年３月２８日（２０１１．３．２８）
【出願人】（０００００５２６７）ブラザー工業株式会社 (13,856)
【Ｆターム（参考）】
[ Back to top ]