出力装置及びプログラム
【課題】動画像から抽出可能なフレーム画像の総数が配置すべき数よりも少ない場合にも余白のない画像を出力する。
【解決手段】動画像データの表す動画像から９個のフレーム画像を抽出し、これらを３個×３列のレイアウトで時系列順に配置したフレーム配置画像を生成する（ｃ）。ここで、動画像から抽出可能なフレーム画像の総数が９個に満たない場合には、動画像から抽出可能なすべてのフレーム画像について時系列順に連続するフレーム画像間の変化量を算出し、少なくとも最も変化量の小さいフレーム画像間が挿入位置となるように、不足数分の補完フレーム画像を挿入するための挿入位置を決定する（ａ）。そして、決定した挿入位置にその挿入位置前後のフレーム画像の一方を複製した補完フレーム画像を挿入してフレーム配置画像を生成する（ｂ）。
【解決手段】動画像データの表す動画像から９個のフレーム画像を抽出し、これらを３個×３列のレイアウトで時系列順に配置したフレーム配置画像を生成する（ｃ）。ここで、動画像から抽出可能なフレーム画像の総数が９個に満たない場合には、動画像から抽出可能なすべてのフレーム画像について時系列順に連続するフレーム画像間の変化量を算出し、少なくとも最も変化量の小さいフレーム画像間が挿入位置となるように、不足数分の補完フレーム画像を挿入するための挿入位置を決定する（ａ）。そして、決定した挿入位置にその挿入位置前後のフレーム画像の一方を複製した補完フレーム画像を挿入してフレーム配置画像を生成する（ｂ）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、出力装置及びプログラムに関するものである。
【背景技術】
【０００２】
従来、画像データの表す画像を印刷する印刷装置が知られている。こうした印刷装置で印刷対象となるのは写真等の静止画像を表す画像データ（静止画像データ）が一般的であるが、近年、動画像を表す画像データ（動画像データ）についても印刷対象とすることが可能な印刷装置が提案されている。
【０００３】
例えば、特許文献１に記載の印刷装置は、動画像データの表す動画像から複数のフレーム画像を抽出し、それらを同一ページに配置した画像を印刷する。ここで、動画像から抽出可能なフレーム画像の総数が印刷用の画像に配置すべき数よりも少ない場合には、フレーム画像の不足する部分が余白となる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−１３０２５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、動画像から抽出可能なフレーム画像が不足するからといって本来フレーム画像が配置されるはずの部分を余白にすると、フレーム画像の配置バランスが悪くなるなど、見栄えが悪くなるという問題があった。
【０００６】
本発明は、こうした問題にかんがみてなされたものであり、動画像から抽出可能なフレーム画像の総数が配置すべき数よりも少ない場合にも余白のない画像を出力することのできる出力装置及びプログラムを提供することを目的としている。
【課題を解決するための手段】
【０００７】
上記目的を達成するためになされた本発明の出力装置は、動画像データの表す動画像から複数のフレーム画像を抽出し、これらを時系列的な規則性を持つように配置したフレーム配置画像を生成する配置画像生成手段と、フレーム配置画像を出力する出力手段とを備える。そして、配置画像生成手段は、動画像から抽出可能なフレーム画像の総数が、フレーム配置画像に配置すべき配置フレーム数未満である場合に、動画像から抽出可能なすべてのフレーム画像について時系列順に連続するフレーム画像間の変化量を算出する変化量算出手段と、変化量算出手段により算出された変化量に基づき、配置フレーム数に対する総数の不足数分の補完フレーム画像を挿入するための挿入位置を決定する挿入位置決定手段と、挿入位置決定手段により決定された挿入位置にその挿入位置周辺のフレーム画像に基づく補完フレーム画像を挿入したフレーム配置画像を生成する補完手段とを備える。具体的には、挿入位置決定手段は、変化量算出手段により算出された変化量のうち少なくとも最も変化量が小さいフレーム画像間を挿入位置として決定する。
【０００８】
このような出力装置によれば、動画像から抽出可能なフレーム画像の総数が配置フレーム数未満である場合にも、余白のない（より見栄えのよい）フレーム配置画像を出力することができる。特に、時系列順に連続するフレーム画像間の変化量のうち、少なくとも最も変化量が小さいフレーム画像間を補完フレーム画像の挿入位置とするため、補完フレーム画像を目立ちにくい形で挿入することができる。
【０００９】
ここで、補完フレーム画像は、例えば、その挿入位置周辺のフレーム画像を複製した画像とすることが可能である。すなわち、補完手段が、挿入位置前後の２つのフレーム画像のうちの一方を複製した複製画像を補完フレーム画像としてその挿入位置に挿入する。このような出力装置によれば、補完フレーム画像を目立ちにくくすることができる。しかも、補完フレーム画像を生成する処理を簡素化することができる。
【００１０】
そして、この場合には、フレーム配置画像における補完フレーム画像の配置に基づき複製対象のフレーム画像を選択するようにしてもよい。すなわち、補完手段が、挿入位置前後の２つのフレーム画像のうちの一方を、フレーム配置画像におけるその挿入位置の配置に基づき選択し、選択したフレーム画像の複製画像を補完フレーム画像としてその挿入位置に挿入する。このような出力装置によれば、挿入位置前後の２つのフレーム画像のうちの一方を無作為に選択する場合に比べて、より適切なフレーム画像を選択することが可能となる。
【００１１】
例えば、補完手段が、挿入位置前後の２つのフレーム画像のうち、フレーム配置画像においてその挿入位置から離れている方を選択するようにしてもよい。このような出力装置によれば、補完フレーム画像とその複製元のフレーム画像とが近接して配置されることによる違和感を生じにくくすることができる。
【００１２】
具体的には、フレーム配置画像が、動画像から抽出した複数のフレーム画像を時系列順に複数列に配置したものであれば、補完手段が、挿入位置前後の２つのフレーム画像が異なる列に配置される場合には、補完フレーム画像とは異なる列に配置される方を選択するようにしてもよい。このような出力装置によれば、補完フレーム画像とその複製元のフレーム画像とが異なる列に配置されやすくすることができる。
【００１３】
一方、上記目的を達成するためになされた本発明のプログラムは、動画像データの表す動画像から複数のフレーム画像を抽出し、これらを時系列的な規則性を持つように配置したフレーム配置画像を生成する配置画像生成手段と、フレーム配置画像を出力する出力手段とを備える出力装置としてコンピュータを機能させる。そして、配置画像生成手段は、動画像から抽出可能なフレーム画像の総数が、フレーム配置画像に配置すべき配置フレーム数未満である場合に、動画像から抽出可能なすべてのフレーム画像について時系列順に連続するフレーム画像間の変化量を算出する変化量算出手段と、変化量算出手段により算出された変化量に基づき、配置フレーム数に対する総数の不足数分の補完フレーム画像を挿入するための挿入位置を決定する挿入位置決定手段と、挿入位置決定手段により決定された挿入位置にその挿入位置周辺のフレーム画像に基づく補完フレーム画像を挿入したフレーム配置画像を生成する補完手段とを備える。具体的には、挿入位置決定手段は、変化量算出手段により算出された変化量のうち少なくとも最も変化量が小さいフレーム画像間を挿入位置として決定する。
【００１４】
このようなプログラムによれば、前述した出力装置としてコンピュータを機能させることができ、これにより前述した効果を得ることができる。
【図面の簡単な説明】
【００１５】
【図１】実施形態の複合機の概略構成を表すブロック図である。
【図２】補完フレーム画像の挿入位置の説明図である。
【図３】入力画像情報記憶領域の説明図である。
【図４】動画像情報記憶領域の説明図である。
【図５】フレーム画像情報記憶領域の説明図である。
【図６】フレーム差分情報記憶領域の説明図である。
【図７】メディア画像印刷処理のフローチャートである。
【図８】出力画像生成処理のフローチャートである。
【図９】フレーム差分算出処理のフローチャートである。
【発明を実施するための形態】
【００１６】
以下、本発明が適用された実施形態について、図面を用いて説明する。
［１．全体構成］
図１は、実施形態の出力装置としての複合機１０の概略構成を表すブロック図である。
【００１７】
この複合機１０は、プリンタ機能の他、スキャナ機能やコピー機能等を有する多機能装置であり、ＣＰＵ１１、ＲＯＭ１２、内部メモリ（ＲＡＭ）１３、スキャナ読取部１４、印刷制御部１５、液晶表示部１６、操作入力部１７及びメディアカードスロット１８を備えており、これらは信号線を介して接続されている。
【００１８】
ＣＰＵ１１は、複合機１０におけるすべての演算を行うための装置である。
ＲＯＭ１２は、後述する処理（図７〜図９）をＣＰＵ１１に実行させるためのプログラムがあらかじめ記憶されている装置である。
【００１９】
内部メモリ１３は、ＣＰＵ１１による演算結果や入力データなどを一時的に記憶しておくための装置である。なお、内部メモリ１３の記憶領域の詳細については後述する。
印刷制御部１５は、印刷命令が出された画像データを印刷するための装置であり、ＣＭＹＫの色材（トナーやインク等）によりカラー画像を印刷可能なものである。
【００２０】
液晶表示部１６は、小型のカラー液晶ディスプレイに画像（メッセージ等の文字列を表す画像を含む。）を表示するための装置である。
操作入力部１７は、ユーザによって押操作される各種操作キーが配置され、操作に基づく情報を入力するための装置である。具体的には、上下左右操作を行うための上キー、下キー、左キー及び右キーと、決定操作を行うためのＯＫキーとを備えている。
【００２１】
メディアカードスロット１８は、静止画像撮影及び動画像撮影が可能なデジタルスチルカメラやデジタルビデオカメラ等の撮影機器で生成された画像ファイル（静止画像又は動画像を表す画像データ）が記憶されたＳＤカードやＣＦカード等のメディアカード（不揮発性の可搬型記憶媒体）を挿入可能に構成されている。そして、複合機１０は、メディアカードスロット１８に挿入された状態のメディアカードから画像ファイルを直接読み出し、読み出した画像ファイルの内容を表す画像を印刷する機能（いわゆるダイレクトプリント機能）を有している。
【００２２】
ここで、画像ファイルとしては、静止画像を表す静止画像ファイルだけでなく、動画像を表す動画像ファイルも対象となる。具体的には、印刷対象の画像ファイルが静止画像ファイルの場合には、その静止画像ファイルの表す静止画像のみを出力画像１ページ内に配置したレイアウトで印刷する。一方、印刷対象の画像ファイルが動画像ファイルの場合には、その動画像ファイルの表す動画像を構成するすべてのフレーム画像のうち、あらかじめ決められた配置フレーム数（本実施形態では９個）のフレーム画像を抽出し、抽出したフレーム画像を出力画像１ページ内に配置したレイアウトのフレーム配置画像を生成して印刷する。
【００２３】
ここで、動画像から抽出可能なフレーム画像の総数が配置フレーム数に満たないことも考えられる。この場合、フレーム配置画像にすべてのフレーム画像を配置しても余白（フレーム画像を配置可能な空き部分）が生じることになる。そこで、本実施形態の複合機１０は、フレーム配置画像に余白が生じないようにするため、不足数分の補完フレーム画像を挿入する。
【００２４】
例えば図２（ａ）に示すように、動画像から８個のフレーム画像が抽出可能な場合には、１個の補完フレーム画像を挿入する。具体的には、動画像から抽出可能なすべてのフレーム画像について時系列順に連続するフレーム画像間の差分（フレーム間差分）を算出し、フレーム間差分が最も小さい２つのフレーム画像間を補完フレーム画像の挿入位置とする。図２（ａ）は、８個のフレーム画像のうち左から３番目のフレーム画像と４番目のフレーム画像とのフレーム間差分が最も小さい場合の例であり、これら２つのフレーム画像間を補完フレーム画像の挿入位置とする。
【００２５】
そして、図２（ｂ）に示すように、補完フレーム画像も含めた９個のフレーム画像から余白のないフレーム配置画像を生成する。このフレーム配置画像において、フレーム画像は、左上から横方向に時系列順に配置される。このフレーム配置画像における１列の最大配置数は３個に設定されており、これを超える分については次の（下の）列の左から時系列順に配置され、３個×３列（合計９個）のフレーム画像が配置される。
【００２６】
また、本実施形態では、挿入位置前後の２つのフレーム画像のうちの一方を複製（コピー）した複製画像を補完フレーム画像とする。具体的には、挿入位置前後の２つのフレーム画像が異なる列に配置される場合には、補完フレーム画像とは異なる列に配置される方のフレーム画像を複製対象とする。
【００２７】
例えば、図２（ｂ）に示すように、挿入位置の前のフレーム画像がフレーム配置画像における右端（列の末尾）に配置される場合には、補完フレーム画像は次の列の先頭に配置されることになるため、そのフレーム画像を複製（コピー）した複製画像を補完フレーム画像とする。
【００２８】
一方、例えば図２（ｃ）に示すように、挿入位置の後ろのフレーム画像がフレーム配置画像における左端（列の先頭）に配置される場合には、補完フレーム画像は前の列の末尾に配置されることになるため、そのフレーム画像を複製（コピー）した複製画像を補完フレーム画像とする。
【００２９】
なお、複合機１０は、メディアカードに記憶されている複数の画像ファイルの中から印刷対象の画像ファイルをユーザに選択させるため、画像ファイルの内容を把握可能なサムネイル画像を液晶表示部１６に表示し、ユーザにより選択されたサムネイル画像に対応する画像ファイルの表す画像を印刷するようになっている。
【００３０】
［２．内部メモリの記憶領域］
次に、内部メモリ１３の記憶領域について説明する。
図１に示すように、内部メモリ１３には、各種情報を記憶するための記憶領域として、入力画像情報記憶領域３１、動画像情報記憶領域３２、出力画像データ記憶領域３３、拡大／縮小画像データ記憶領域３４、フレーム画像情報記憶領域３５、第１フレーム画像データ記憶領域３６、第２フレーム画像データ記憶領域３７、フレーム差分情報記憶領域３８、補完フレーム画像データ記憶領域３９、印刷データ記憶領域４０、一時変数記憶領域４１及びサムネイル画像データ記憶領域４２が用意されている。
【００３１】
入力画像情報記憶領域３１は、メディアカードに記憶されている画像ファイルの情報を記憶するための領域である。具体的には、図３に示すように、入力画像情報記憶領域３１は、入力画像ＩＤ記憶領域５１、入力画像ファイル名記憶領域５２及び入力画像ファイルサイズ記憶領域５３を備えている。
【００３２】
入力画像ＩＤ記憶領域５１は、メディアカードに記憶されている画像ファイルの数に応じて０から順に振り分けた画像ファイルのＩＤ（以下「入力画像ＩＤ」という。）を記憶するための領域である。具体的には、メディアカードから読み出された画像ファイルに対し、読み出された順に入力画像ＩＤが割り振られる。
【００３３】
入力画像ファイル名記憶領域５２は、メディアカードに記憶されている画像ファイルのファイル名を記憶するための領域である。具体的には、例えば２５６バイトの領域の中に２５６文字（１文字／バイト）の文字データ（文字無しの情報も含む）が格納される。
【００３４】
入力画像ファイルサイズ記憶領域５３は、メディアカードに記憶されている画像ファイルのファイルサイズ（データサイズ）を数値（この例ではキロバイト単位の数値）として記憶するための領域である。
【００３５】
図１に戻り、動画像情報記憶領域３２は、メディアカードに記憶されている画像ファイルのうち、処理対象となっている動画像ファイルの情報を一時的に記憶しておくための領域である。具体的には、図４に示すように、動画像情報記憶領域３２は、フォーマット種別記憶領域６１、コーデック種別記憶領域６２、横方向サイズ記憶領域６３、縦方向サイズ記憶領域６４及び総フレーム数記憶領域６５を備えている。
【００３６】
フォーマット種別記憶領域６１は、処理対象となっている動画像ファイルのファイルフォーマット（データフォーマット）の種別を記憶する領域である。本実施形態では、３種類のファイルフォーマットに対応付けられた数値（例えば、ＡＶＩフォーマットであれば「０」、ＭＯＶフォーマットであれば「１」、ＭＰＥＧフォーマットであれば「２」）が記憶される。
【００３７】
コーデック種別記憶領域６２は、処理対象となっている動画像ファイルのコーデックの種別を記憶する領域である。本実施形態では、３種類のコーデックに対応付けられた数値（例えば、ＭｏｔｉｏｎＪＰＥＧコーデックであれば「０」、ＭＰＥＧ１コーデックであれば「１」、ＤｉｖＸコーデックであれば「２」）が記憶される。
【００３８】
横方向サイズ記憶領域６３は、処理対象となっている動画像ファイルを構成するフレーム画像データの横方向のピクセルサイズを数値データとして記憶する領域である。
縦方向サイズ記憶領域６４は、処理対象となっている動画像ファイルを構成するフレーム画像データの縦方向のピクセルサイズを数値データとして記憶する領域である。
【００３９】
総フレーム数記憶領域６５は、処理対象となっている動画像ファイルを構成するフレーム画像データの総数（総フレーム数）を数値データとして記憶する領域である。
図１に戻り、出力画像データ記憶領域３３は、印刷制御部１５に渡すための出力画像データ（印刷用画像を表す画像データ）を一時的に記憶するための領域である。静止画像ファイルは１つの画像データから構成されるため、この１つの画像データが出力画像データ記憶領域３３の全体に配置される。一方、動画像ファイルは複数のフレーム画像を配置して出力するため、配置する配置フレーム数で等分された各配置領域の対応する位置に各フレーム画像データを配置することとなる。
【００４０】
拡大／縮小画像データ記憶領域３４は、画像データをあらかじめ決められたサムネイル画像のサイズに変換（拡大又は縮小）処理した画像データを記憶するための領域である。
フレーム画像情報記憶領域３５は、フレーム配置画像に配置するフレーム画像に関する情報を記憶するための領域である。具体的には、図５に示すように、フレーム画像情報記憶領域３５は、フレーム配置位置番号記憶領域７１、動画ファイル名記憶領域７２、抽出フレーム番号記憶領域７３、オフセットサイズ情報記憶領域７４及びフレームサイズ情報記憶領域７５を備えている。
【００４１】
フレーム配置位置番号記憶領域７１は、フレーム配置画像におけるフレーム画像の配置位置に対応した番号（０〜８の番号であり、以下「フレーム配置位置番号」という。）を記憶するための領域である。具体的には、フレーム配置画像における配置位置には、１番上の列の左から「０」，「１」，「２」、２番目の列の左から「３」，「４」，「５」、３番目の列の左から「６」，「７」，「８」の番号が対応づけられている。
【００４２】
動画ファイル名記憶領域７２は、フレーム画像データの抽出元である動画像ファイルのファイル名を記憶するための領域である。
抽出フレーム番号記憶領域７３は、フレーム画像が元の動画像ファイルの何フレーム目に当たるかを示す数値（フレーム番号）である抽出フレーム番号を記憶するための領域である。なお、本実施形態では、先頭のフレーム画像のフレーム番号を「０」としている。
【００４３】
オフセットサイズ情報記憶領域７４は、フレーム画像の動画像ファイルにおける位置を特定する情報を記憶するための領域である。具体的には、オフセットサイズ情報記憶領域７４には、フレーム画像データの先頭が元の動画像ファイルの先頭から何バイト目に当たるかを示すオフセットサイズが、数値（この例ではバイト単位の数値）として記憶されている。すなわち、動画像ファイルのファイル構造は、先頭のヘッダ情報と末尾のインデックス情報との間に、フレーム画像データが順に配置された構造となっており、ここでいうオフセットサイズとは、動画像ファイルの先頭（つまりヘッダ情報の先頭）から抽出対象のフレーム画像データの先頭までのデータサイズのことである。なお、オフセットサイズをキロバイト単位でなくバイト単位で記憶するのは、フレーム画像データの位置を正確に特定するためである。
【００４４】
フレームサイズ情報記憶領域７５は、フレーム画像データのデータサイズ（伸張（デコード）処理前の圧縮状態（例えばＪＰＥＧ形式）でのデータサイズ）を記憶するための領域であり、データサイズが数値（この例ではバイト単位の数値）として記憶されている。
【００４５】
図１に戻り、第１フレーム画像データ記憶領域３６は、動画像ファイルから抽出したフレーム画像データを一時的に記憶するための領域である。この領域に記憶されるフレーム画像データは、伸張処理前の圧縮状態の画像データである。
【００４６】
第２フレーム画像データ記憶領域３７は、動画像ファイルから抽出したフレーム画像データであって、第１フレーム画像データ記憶領域３６に記憶されるフレーム画像データとの差分（フレーム間差分）を算出するためのフレーム画像データを一時的に記憶するための領域である。この領域に記憶されるフレーム画像データも、伸張処理前の圧縮状態の画像データである。
【００４７】
フレーム差分情報記憶領域３８は、フレーム間差分の算出元となるフレーム画像データの番号と、フレーム間差分とを記憶するための領域である。具体的には、図６に示すように、フレーム差分情報記憶領域３８は、差分情報番号記憶領域８１、第１差分取得フレーム番号記憶領域８２、第２差分取得フレーム番号記憶領域８３及び判定値記憶領域８４を備えている。
【００４８】
差分情報番号記憶領域８１は、フレーム間差分の情報を管理するための通し番号である差分情報番号を記憶するための領域である。
第１差分取得フレーム番号記憶領域８２は、フレーム間差分を取得するための１つ目のフレーム画像データ（第１差分取得フレーム）のフレーム番号を記憶するための領域である。
【００４９】
第２差分取得フレーム番号記憶領域８３は、フレーム間差分を取得するための２つ目のフレーム画像データ（第２差分取得フレーム）のフレーム番号を記憶するための領域である。
【００５０】
判定値記憶領域８４は、補完フレーム画像の挿入位置を決定するための判定値を記憶する領域である。本実施形態では、第１差分取得フレーム番号記憶領域８２及び第２差分取得フレーム番号記憶領域８３に記憶されたフレーム番号に対応するフレーム画像データのフレーム間差分（絶対値）を判定値として記憶する。
【００５１】
図１に戻り、補完フレーム画像データ記憶領域３９は、動画像ファイルの表す動画像を構成する総フレーム数が配置フレーム数（本実施形態では９個）よりも少ない場合に生成される補完フレーム画像データ（伸張処理後の状態（ＲＧＢ形式）の画像データ）を記憶するための領域である。具体的には、補完フレーム画像データ記憶領域３９は、「配置フレーム数−１」の領域（１番目から８番目までの８個の領域）に分割されている。
【００５２】
印刷データ記憶領域４０は、出力画像データの表す画像を実際に印刷するための画像データ（ＣＭＹＫの二値画像データなど）を一時的に記憶しておくための領域である。
一時変数記憶領域４１は、変数やカウンタなど、一時的な情報を記憶するための領域である。
【００５３】
サムネイル画像データ記憶領域４２は、印刷対象の画像ファイルをユーザに選択させるために液晶表示部１６に表示するサムネイル画像を表すサムネイル画像データを一時的に記憶しておくための領域である。
【００５４】
［３．ＣＰＵが実行する処理］
次に、画像ファイルの記憶されているメディアカードがメディアカードスロット１８に挿入されている状態で、「メディア画像印刷」モードを選択するユーザの操作が操作入力部１７で行われることにより、複合機１０のＣＰＵ１１が実行するメディア画像印刷処理について、図７のフローチャートを用いて説明する。
【００５５】
ＣＰＵ１１は、このメディア画像印刷処理を開始すると、まずＳ１０１で、メディアカードに記憶されている画像ファイルごとにファイル名及びファイルサイズを読み出し、入力画像情報記憶領域３１の入力画像ファイル名記憶領域５２及び入力画像ファイルサイズ記憶領域５３に順に記憶するメディア情報抽出処理を行う。なお、このメディア情報抽出処理では、メディアカードから読み出された情報に対して入力画像ＩＤが０から順に割り振られて入力画像ＩＤ記憶領域５１に記憶される。
【００５６】
続いて、Ｓ１０２では、メディアカードに記憶されている画像ファイルの内容を把握可能なサムネイル画像を液晶表示部１６に表示して、印刷対象の画像ファイルをユーザに選択させる印刷画像選択処理を行う。具体的には、１つのサムネイル画像を液晶表示部１６に表示し、操作入力部１７の上キー、下キー、左キー又は右キーの押操作に応じて液晶表示部１６に表示されるサムネイル画像を他の画像ファイルのものに変更し、ＯＫキーの押操作時に表示されているサムネイル画像に対応する画像ファイルを印刷対象として選択する。本実施形態では、動画像ファイルについては、その先頭のフレーム画像をサムネイル画像として表示するとともに、動画像データであることを示すアイコンを所定位置（例えばサムネイル画像における左上位置）に表示し、静止画像データについては静止画像をサムネイル画像として表示する（アイコンは表示しない）。ここで、サムネイル画像を表す画像データは、元画像（静止画像又は動画像の先頭のフレーム画像）を縮小することにより生成されてサムネイル画像データ記憶領域４２に記憶され、この画像データの表すサムネイル画像が液晶表示部１６に表示される。
【００５７】
続いて、Ｓ１０３では、Ｓ１０２で印刷対象として選択された画像ファイルに基づく出力画像を表す出力画像データを生成する出力画像生成処理を実行する。
ここで、出力画像生成処理の詳細について図８のフローチャートを用いて説明する。
【００５８】
ＣＰＵ１１は、この出力画像生成処理を開始すると、まずＳ２０１で、印刷対象の画像ファイルの入力画像ＩＤ（入力画像ＩＤ記憶領域５１に記憶されている値）を読み出す。
続いて、Ｓ２０２では、Ｓ２０１で読み出した入力画像ＩＤの画像ファイルの種類が静止画像ファイル及び動画像ファイルのうちのいずれに分類されるものであるかを、そのヘッダ情報などを参照して判定する。具体的には、例えば、ＪＰＥＧ形式の静止画像ファイルは先頭データが１６進数でＦＦＤ８から始まり、ＡＶＩ形式の動画像ファイルは先頭データが文字列に直して”ＲＩＦＦ”から始まるなどの特徴がある。このため、画像ファイルの先頭数バイトを分析することで、画像ファイルの種類を判定することができる。なお、本実施形態では、動画像ファイルの形式であっても、フレーム画像が１個しか存在しない場合には静止画像ファイルとみなして処理する。
【００５９】
そして、Ｓ２０２で、画像ファイルの種類が動画像ファイルであると判定した場合には、Ｓ２０３へ移行し、この動画像ファイルから各種情報を取得する。具体的には、動画像ファイルのフォーマット種別情報、コーデック種別情報、横方向サイズ情報、縦方向サイズ情報及び総フレーム数情報を取得する。こうして取得された各情報は、動画像情報記憶領域３２内のフォーマット種別記憶領域６１、コーデック種別記憶領域６２、横方向サイズ記憶領域６３、縦方向サイズ記憶領域６４及び総フレーム数記憶領域６５にそれぞれ記憶される。なお、これらのパラメータは、一般的には動画像ファイルのヘッダなどに記述されている。
【００６０】
続いて、Ｓ２０４では、抽出対象のフレーム画像データそれぞれについて、抽出フレーム画像情報（オフセットサイズ及び伸張処理前のデータサイズ）を抽出する。本実施形態において、抽出対象のフレーム画像データとは、動画像を構成するすべてのフレーム画像のうち、先頭及び末尾（最終）のフレーム画像と、これらの間を８等分した各等分位置（正確に等分できない場合は近似位置）の７個のフレーム画像とからなる計９個のフレーム画像のデータである。つまり、動画像において時系列的に互いに等間隔な関係にある９個のフレーム画像を抽出対象とする。なお、抽出対象のフレーム画像データの数は通常は９個であるが、総フレーム数が配置フレーム数である９個に満たない場合には９個未満となる。
【００６１】
続いて、Ｓ２０５では、Ｓ２０４で抽出した抽出フレーム画像情報（オフセットサイズ及び伸張処理前のデータサイズ）を、フレーム画像情報記憶領域３５における各フレーム画像データに対応する番号（フレーム配置位置番号記憶領域７１の番号）の領域に記憶する。
【００６２】
続いて、Ｓ２０６では、動画像ファイルの表す動画像を構成する総フレーム数が配置フレーム数である９個未満であるか否かを判定する。
そして、Ｓ２０６で、総フレーム数が配置フレーム数未満であると判定した場合には、補完フレーム画像を挿入するための処理（Ｓ２０７〜Ｓ２１０）を実行する。すなわち、まずＳ２０７では、動画像を構成するすべてのフレーム画像について、時系列的に連続するフレーム画像間の差分（フレーム間差分）を算出するフレーム差分算出処理を実行する。
【００６３】
ここで、フレーム差分算出処理の詳細について図９のフローチャートを用いて説明する。
ＣＰＵ１１は、このフレーム差分算出処理を開始すると、まずＳ３０１で、一時変数記憶領域４１にフレームカウンタを生成し、これを０で初期化する。
【００６４】
続いて、Ｓ３０２では、フレームカウンタの値に対応する番号（フレーム配置位置番号記憶領域７１の番号）のフレーム画像データを、そのオフセットサイズ及びデータサイズに基づき動画像ファイルから抽出する。
【００６５】
続いて、Ｓ３０３では、Ｓ３０２で抽出したフレーム画像データを、第１フレーム画像データ記憶領域３６に記憶する。
続いて、Ｓ３０４では、Ｓ３０２と同様の手法で、「フレームカウンタの値＋１」に対応する番号のフレーム画像データを動画像ファイルから抽出する。
【００６６】
続いて、Ｓ３０５では、Ｓ３０４で抽出したフレーム画像データを、第２フレーム画像データ記憶領域３７に記憶する。
続いて、Ｓ３０６では、第１フレーム画像データ記憶領域３６及び第２フレーム画像データ記憶領域３７のそれぞれに記憶したフレーム画像データの差分を算出する。具体的には、これら２つのフレーム画像データに伸張処理を施し、各座標位置単位で画素値の差分の絶対値を算出する。これを、ＲＧＢそれぞれについて全座標分算出し、この合計値をフレーム間差分とする。なお、伸張データの記憶領域は、一時変数記憶領域４１に各々１ピクセル分の画素値を記憶するための変数を用意することで確保する。点順次作業可能なので、画像を記憶するための専用領域を設ける必要はない。
【００６７】
続いて、Ｓ３０７では、フレーム差分情報記憶領域３８におけるフレームカウンタの値に対応する番号（差分情報番号記憶領域８１の番号）の第１差分取得フレーム番号記憶領域８２にフレームカウンタの値を、第２差分取得フレーム番号記憶領域８３に「フレームカウンタの値＋１」を、判定値記憶領域８４にＳ３０６で算出したフレーム間差分を、それぞれ記憶する。
【００６８】
続いて、Ｓ３０８では、フレームカウンタの値に１を加算する。
続いて、Ｓ３０９では、フレームカウンタの値が「総フレーム数−１」に達した（すべてのフレーム画像間についてフレーム間差分を算出した）か否かを判定する。
【００６９】
そして、Ｓ３０９で、フレームカウンタの値が「総フレーム数−１」に達していないと判定した場合には、Ｓ３０２へ戻り、加算されたフレームカウンタの値に基づき前述した処理を行う。
【００７０】
一方、Ｓ３０９で、フレームカウンタの値が「総フレーム数−１」に達したと判定した場合には、本フレーム差分算出処理を終了する。
図８に戻り、Ｓ２０８では、配置フレーム数から総フレーム数を引いた数（不足数）を、補完フレーム画像を生成する数（補完フレーム数）に決定する。
【００７１】
続いて、Ｓ２０９では、補完フレーム画像の挿入位置及び画像の内容（複製対象のフレーム画像）を決定する。具体的には、フレーム差分情報記憶領域３８及びフレーム画像情報記憶領域３５の情報を次の（１）〜（４）の手順で更新する処理を行う。
【００７２】
（１）フレーム差分情報記憶領域３８の判定値記憶領域８４に記憶されている判定値の最小値を検索し、その判定値を２倍の値に書き換えるとともに、その判定値に対応する（差分情報番号が同一の）第１差分取得フレームのフレーム番号（第１差分取得フレーム番号記憶領域８２に記憶されている値）を読み出す。つまり、判定値が最も小さいフレーム画像間を補完フレーム画像の挿入位置に決定し、その挿入位置前後の２つのフレーム画像のうち、挿入位置の前のフレーム画像のフレーム番号を読み出す。なお、判定値を２倍の値に書き換えるのは、以降の処理において同じ判定値（挿入位置）が連続して選択されにくくするためである。すなわち、多数の補完フレーム画像が同一のフレーム画像間に挿入されると、その部分の動きが止まって見えることにより流れの違和感が大きくなってしまうため、挿入位置が集中しないようにしている。
【００７３】
（２）フレーム画像情報記憶領域３５のフレーム配置位置番号記憶領域７１に記憶されているフレーム配置位置番号の値の小さいものから順に、上記（１）で読み出した値の抽出フレーム番号（抽出フレーム番号記憶領域７３に記憶されている値）を検索し、検索された抽出フレーム番号に対応するフレーム配置位置番号（フレーム配置位置番号記憶領域７１に記憶されている値）を読み出す。つまり、ここで読み出される番号は、挿入位置の前のフレーム画像のフレーム配置画像における配置位置である。
【００７４】
（３）フレーム画像情報記憶領域３５において、上記（２）で読み出したフレーム配置位置番号の値よりも大きいフレーム配置位置番号に１を加算し、上記（２）で読み出したフレーム配置位置番号の行を新設する。つまり、補完フレーム画像の挿入位置を確保するため、挿入位置よりも後ろのフレーム画像の配置位置を１つずつずらすようにしている。
【００７５】
（４）上記（３）で新設した行に、挿入位置前後のフレーム画像のうちの一方の情報をコピーする。具体的には、フレーム配置画像における補完フレーム画像の配置が右端の場合（換言すれば、新設した行のフレーム配置位置番号が２又は５の場合）には、挿入位置の後ろのフレーム画像の情報（新設した行の次の行の情報）をコピーする。一方、それ以外の場合には、挿入位置の前のフレーム画像の情報（新設した行の１つ前の行の情報）をコピーする。
【００７６】
続いて、Ｓ２１０では、Ｓ２０８で決定した補完フレーム数分の補完フレーム画像についてＳ２０９で挿入位置及び画像の内容を決定したか否かを判定する。具体的には、初期値（出力画像生成処理開始時の値）が０の生成フレーム数カウンタを一時変数記憶領域４１にあらかじめ用意しておき、Ｓ２０９の処理が終了するごとに生成フレーム数カウンタの値に１を加算する。そして、この値が補完フレーム数に達した場合に、補完フレーム数分の補完フレーム画像データを生成したと判定する。
【００７７】
そして、Ｓ２１０で、補完フレーム数分の補完フレーム画像について挿入位置及び画像の内容を決定していないと判定した場合には、Ｓ２０９へ戻る。つまり、補完フレーム数分の補完フレーム画像について挿入位置及び画像の内容が決定されるまでＳ２０９の処理が繰り返される。
【００７８】
一方、Ｓ２１０で、補完フレーム数分の補完フレーム画像について挿入位置及び画像の内容を決定したと判定した場合や、Ｓ２０６で、総フレーム数が配置フレーム数未満でない（配置フレーム数以上である）と判定した場合には、フレーム配置画像に配置すべきフレーム画像（補完フレーム画像が含まれ得る。）を表すフレーム画像データを出力画像データ記憶領域３３に配置する処理（Ｓ２１１〜Ｓ２１５）へ移行する。具体的には、配置すべきフレーム画像データを順に処理対象として選択し、処理対象のフレーム画像データについてＳ２１１〜Ｓ２１４の処理を行う。これを配置フレーム数分（９回）繰り返すことになる。具体的には、初期値（出力画像生成処理開始時の値）が０の処理フレーム画像数カウンタを一時変数記憶領域４１にあらかじめ用意しておき、この処理フレーム画像数カウンタの値に対応するフレーム画像データを処理対象とする。なお、この処理フレーム画像数カウンタの値は、後述するように、処理対象のフレーム画像データについての処理が完了するごとに加算される。
【００７９】
Ｓ２１１では、処理対象のフレーム画像データをオフセットサイズ情報記憶領域７４に記憶されているオフセットサイズ及びフレームサイズ情報記憶領域７５に記憶されている伸張処理前のデータサイズに基づき動画像ファイルから読み出す処理を行う。
【００８０】
続いて、Ｓ２１２では、Ｓ２１１で読み出したフレーム画像データ（伸張処理前の画像データ）を、第１フレーム画像データ記憶領域３６に記憶する。
続いて、Ｓ２１３では、第１フレーム画像データ記憶領域３６に記憶されているフレーム画像データに伸張処理を施し、フレーム画像データをピクセル演算が可能な形式（ピクセルごとにＲＧＢ値をそれぞれ０〜２５５の値で表した画像データ）に変換する。
【００８１】
続いて、Ｓ２１４では、処理対象のフレーム画像データ（伸張処理後のピクセルデータ）を、出力画像データ記憶領域３３における各フレーム画像に対応した位置に記憶する。
続いて、Ｓ２１５では、すべてのフレーム画像データを出力画像データ記憶領域３３に配置したか否かを判定する。具体的には、１つのフレーム画像データについて処理が完了するごとに、処理フレーム画像数カウンタの値に１を加算し、この処理フレーム画像数カウンタの値が配置フレーム数に達したか否かを判定することで、すべてのフレーム画像データを配置したか否かを判定する。
【００８２】
そして、Ｓ２１５で、すべてのフレーム画像データを配置していないと判定した場合には、Ｓ２１１へ戻り、未処理のフレーム画像データを処理対象として前述した処理を行う。
【００８３】
一方、Ｓ２１５で、すべてのフレーム画像データを配置したと判定した場合には、本出力画像生成処理を終了する。なお、この時点で出力画像データ記憶領域３３に記憶されている画像データが、動画像ファイルの出力画像データである。
【００８４】
また、前述したＳ２０２で、画像ファイルの種類が静止画像ファイルであると判定した場合には、Ｓ２１６へ移行し、この静止画像ファイルに伸張処理を施し、データをピクセル演算が可能な形式に変換する。
【００８５】
続いて、Ｓ２１７では、Ｓ２１６で伸張処理した画像データを出力画像データ記憶領域３３に記憶した後、本出力画像生成処理を終了する。つまり、静止画像ファイルの場合には、動画像ファイルと異なり、静止画像は出力画像データ記憶領域３３に１つしか配置されない。なお、この時点で出力画像データ記憶領域３３に記憶されている画像データが、静止画像ファイルの出力画像データである。
【００８６】
図７に戻り、Ｓ１０４では、出力画像データ記憶領域３３に記憶されている出力画像データの表す画像を印刷するための画像印刷処理を実行する。この画像印刷処理では、出力画像データ記憶領域３３に記憶されている出力画像データを、１ライン単位で印刷データ記憶領域４０にコピーし、色変換処理（ＲＧＢ→ＣＭＹＫ）及び二値化処理を行った後、印刷制御部１５へ出力する。これにより、印刷制御部１５で二値データに基づく印刷が行われる。その後、本メディア画像印刷処理を終了する。
【００８７】
［４．効果］
以上説明したように、本実施形態の複合機１０によれば、動画像から抽出可能なフレーム画像の総数が配置フレーム数未満である場合にも、余白のない（より見栄えのよい）フレーム配置画像を印刷することができる。
【００８８】
特に、この複合機１０では、フレーム間差分が小さいフレーム画像間を補完フレーム画像の挿入位置とし、その挿入位置前後の２つのフレーム画像のうちの一方を複製した複製画像を補完フレーム画像としてその挿入位置に挿入する。このため、補完フレーム画像を目立ちにくい形で（換言すれば、本来の動画像のオリジナリティが損なわれにくいように）挿入することができ、しかも、補完フレーム画像を生成する処理を簡素化することができる。すなわち、フレーム間差分の大きいフレーム画像Ａ，Ｂ間にこれらの一方を複製した複製画像Ｃを挿入した場合、フレーム画像Ａから複製画像Ｃへの動きと、複製画像Ｃからフレーム画像Ａへの動きとのギャップが大きくなるため、違和感が生じやすい。このような違和感は、フレーム画像Ａ，Ｂ間のフレーム間差分が小さいほど生じにくくなる。
【００８９】
しかも、この複合機１０では、挿入位置前後の２つのフレーム画像が異なる列に配置される場合には、補完フレーム画像とは異なる列に配置される方を複製対象とする。このため、補完フレーム画像とその複製元のフレーム画像とが異なる列に配置されやすくすることができ、補完フレーム画像とその複製元のフレーム画像とが並んで配置されることによる違和感を生じにくくすることができる。
【００９０】
［５．特許請求の範囲との対応］
なお、本実施形態の複合機１０では、Ｓ１０３の処理を実行するＣＰＵ１１が配置画像生成手段に相当し、Ｓ１０４の処理を実行するＣＰＵ１１が出力手段に相当する。また、Ｓ２０７の処理を実行するＣＰＵ１１が変化量算出手段に相当し、Ｓ２０８〜Ｓ２１０の処理を実行するＣＰＵ１１が挿入位置決定手段に相当し、Ｓ２１１〜Ｓ２１５の処理を実行するＣＰＵ１１が補完手段に相当する。
【００９１】
［６．他の形態］
以上、本発明の実施形態について説明したが、本発明は、上記実施形態に限定されることなく、種々の形態を採り得ることは言うまでもない。
【００９２】
例えば、動画像を構成する総フレーム数が著しく少ない場合（所定数以下の場合）には、補完フレーム画像を挿入しないようにしてもよい。このようにすれば、多数（例えば動画像から抽出可能なフレーム画像の数よりも多い数）の補完フレーム画像が挿入されたフレーム配置画像が生成されてしまうことを防ぐことができる。
【００９３】
また、上記実施形態では、動画像を構成する総フレーム数に関係なくフレーム配置画像のレイアウトを固定しているが、これに限定されるものではない。例えば、総フレーム数が６個以下の場合には３個×２列のレイアウトとし、４個以下の場合には２個×２列のレイアウトとするなど、総フレーム数に応じてフレーム配置画像のレイアウトを段階的に変更するようにしてもよい。このようにすれば、補完フレーム画像の数を少なくすることができる。
【００９４】
また、上記実施形態では、１つの補完フレーム画像ごとに挿入位置及び複製対象を決定し（Ｓ２０９）、これを補完フレーム画像の数だけ繰り返すようにしているが（Ｓ２１０）、これに限定されるものではない。例えば、複数の補完フレーム画像について挿入位置をまず決定し、その後に各補完フレーム画像の複製対象を決定するようにしてもよい。このようにすれば、フレーム配置画像における補完フレーム画像とその複製元のフレーム画像との位置関係をより確実に規定することができる。
【００９５】
また、上記実施形態では、フレーム配置画像における補完フレーム画像の配置が右端の場合には挿入位置の後ろのフレーム画像を複製対象とし、それ以外の場合には挿入位置の前のフレーム画像を複製対象としているが、これに限定されるものではない。例えば、フレーム配置画像における補完フレーム画像の配置が左端の場合には挿入位置の前のフレーム画像を複製対象とし、それ以外の場合には挿入位置の後ろのフレーム画像を複製対象としてもよい。また、フレーム配置画像における配置が補完フレーム画像から離れている方のフレーム画像を複製対象として選択するようにすれば、上記実施形態のようなレイアウト以外のレイアウトであっても同様の効果が得られるように複製対象を選択することができる。一方、フレーム配置画像における補完フレーム画像の配置に関係なく複製対象を選択することも可能である。
【００９６】
また、上記実施形態では、挿入位置に決定したフレーム画像間の判定値を２倍の値に書き換えることで、同じ判定値（挿入位置）が連続して選択されにくくしているが（Ｓ２０９）、これに限定されるものではなく、例えば判定値を書き換えないようにすることも可能である。
【００９７】
また、上記実施形態では、動画像ファイルについてはその先頭のフレーム画像をサムネイル画像として表示するようにしているが、これに限定されるものではなく、例えば、実際に印刷される画像（フレーム配置画像）をサムネイル画像として表示するようにしてもよい。
【００９８】
また、上記実施形態では、挿入位置前後の２つのフレーム画像のうちの一方を複製した複製画像を補完フレーム画像としているが、これに限定されるものではなく、例えば、２つのフレーム画像を合成した合成画像を補完フレーム画像とすることも可能である。
【００９９】
また、上記実施形態では、フレーム画像間の変化量として差分（具体的には、各座標位置単位での画素値の差分の絶対値の合計値）を例示したが、これに限定されるものではなく、フレーム画像の変化量が反映される値であればよい。例えば、公知のオプティカルフロー法などで算出したフレーム画像間の「動きベクトルの大きさ」を差分算出に用いてもよい。
【０１００】
また、上記実施形態の複合機１０では、動画像ファイルから抽出するフレーム画像の数を９個としているが、これに限定されるものではなく、例えば３０個、４０個などのように、多くなるほど本発明の意義がある。また、個数は固定である必要もなく、例えば、ユーザに指定させるようにしてもよい。
【０１０１】
また、上記実施形態では、複合機１０に本発明を適用した構成を例示したが、これに限定されるものではなく、例えば、複合機以外の印刷装置（例えばスキャナ機能を有しない印刷装置）などにも適用することができる。また、印刷装置に限定されるものではなく、画像ファイルの内容を表す画像を出力する装置であればよい。すなわち、画像の出力には、画像の印刷以外にも、例えば画像の表示も含まれる。このため、パーソナルコンピュータなどの情報処理装置やその情報処理装置で実行されるプログラムなどにも本発明を適用することができる。
【符号の説明】
【０１０２】
１０…複合機、１１…ＣＰＵ、１２…ＲＯＭ、１３…内部メモリ、１５…印刷制御部、１６…液晶表示部、１７…操作入力部、１８…メディアカードスロット、３１…入力画像情報記憶領域、３２…動画像情報記憶領域、３３…出力画像データ記憶領域、３４…拡大／縮小画像データ記憶領域、３５…フレーム画像情報記憶領域、３６…第１フレーム画像データ記憶領域、３７…第２フレーム画像データ記憶領域、３８…フレーム差分情報記憶領域、３９…補完フレーム画像データ記憶領域、４０…印刷データ記憶領域、４１…一時変数記憶領域、４２…サムネイル画像データ記憶領域
【技術分野】
【０００１】
本発明は、出力装置及びプログラムに関するものである。
【背景技術】
【０００２】
従来、画像データの表す画像を印刷する印刷装置が知られている。こうした印刷装置で印刷対象となるのは写真等の静止画像を表す画像データ（静止画像データ）が一般的であるが、近年、動画像を表す画像データ（動画像データ）についても印刷対象とすることが可能な印刷装置が提案されている。
【０００３】
例えば、特許文献１に記載の印刷装置は、動画像データの表す動画像から複数のフレーム画像を抽出し、それらを同一ページに配置した画像を印刷する。ここで、動画像から抽出可能なフレーム画像の総数が印刷用の画像に配置すべき数よりも少ない場合には、フレーム画像の不足する部分が余白となる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−１３０２５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、動画像から抽出可能なフレーム画像が不足するからといって本来フレーム画像が配置されるはずの部分を余白にすると、フレーム画像の配置バランスが悪くなるなど、見栄えが悪くなるという問題があった。
【０００６】
本発明は、こうした問題にかんがみてなされたものであり、動画像から抽出可能なフレーム画像の総数が配置すべき数よりも少ない場合にも余白のない画像を出力することのできる出力装置及びプログラムを提供することを目的としている。
【課題を解決するための手段】
【０００７】
上記目的を達成するためになされた本発明の出力装置は、動画像データの表す動画像から複数のフレーム画像を抽出し、これらを時系列的な規則性を持つように配置したフレーム配置画像を生成する配置画像生成手段と、フレーム配置画像を出力する出力手段とを備える。そして、配置画像生成手段は、動画像から抽出可能なフレーム画像の総数が、フレーム配置画像に配置すべき配置フレーム数未満である場合に、動画像から抽出可能なすべてのフレーム画像について時系列順に連続するフレーム画像間の変化量を算出する変化量算出手段と、変化量算出手段により算出された変化量に基づき、配置フレーム数に対する総数の不足数分の補完フレーム画像を挿入するための挿入位置を決定する挿入位置決定手段と、挿入位置決定手段により決定された挿入位置にその挿入位置周辺のフレーム画像に基づく補完フレーム画像を挿入したフレーム配置画像を生成する補完手段とを備える。具体的には、挿入位置決定手段は、変化量算出手段により算出された変化量のうち少なくとも最も変化量が小さいフレーム画像間を挿入位置として決定する。
【０００８】
このような出力装置によれば、動画像から抽出可能なフレーム画像の総数が配置フレーム数未満である場合にも、余白のない（より見栄えのよい）フレーム配置画像を出力することができる。特に、時系列順に連続するフレーム画像間の変化量のうち、少なくとも最も変化量が小さいフレーム画像間を補完フレーム画像の挿入位置とするため、補完フレーム画像を目立ちにくい形で挿入することができる。
【０００９】
ここで、補完フレーム画像は、例えば、その挿入位置周辺のフレーム画像を複製した画像とすることが可能である。すなわち、補完手段が、挿入位置前後の２つのフレーム画像のうちの一方を複製した複製画像を補完フレーム画像としてその挿入位置に挿入する。このような出力装置によれば、補完フレーム画像を目立ちにくくすることができる。しかも、補完フレーム画像を生成する処理を簡素化することができる。
【００１０】
そして、この場合には、フレーム配置画像における補完フレーム画像の配置に基づき複製対象のフレーム画像を選択するようにしてもよい。すなわち、補完手段が、挿入位置前後の２つのフレーム画像のうちの一方を、フレーム配置画像におけるその挿入位置の配置に基づき選択し、選択したフレーム画像の複製画像を補完フレーム画像としてその挿入位置に挿入する。このような出力装置によれば、挿入位置前後の２つのフレーム画像のうちの一方を無作為に選択する場合に比べて、より適切なフレーム画像を選択することが可能となる。
【００１１】
例えば、補完手段が、挿入位置前後の２つのフレーム画像のうち、フレーム配置画像においてその挿入位置から離れている方を選択するようにしてもよい。このような出力装置によれば、補完フレーム画像とその複製元のフレーム画像とが近接して配置されることによる違和感を生じにくくすることができる。
【００１２】
具体的には、フレーム配置画像が、動画像から抽出した複数のフレーム画像を時系列順に複数列に配置したものであれば、補完手段が、挿入位置前後の２つのフレーム画像が異なる列に配置される場合には、補完フレーム画像とは異なる列に配置される方を選択するようにしてもよい。このような出力装置によれば、補完フレーム画像とその複製元のフレーム画像とが異なる列に配置されやすくすることができる。
【００１３】
一方、上記目的を達成するためになされた本発明のプログラムは、動画像データの表す動画像から複数のフレーム画像を抽出し、これらを時系列的な規則性を持つように配置したフレーム配置画像を生成する配置画像生成手段と、フレーム配置画像を出力する出力手段とを備える出力装置としてコンピュータを機能させる。そして、配置画像生成手段は、動画像から抽出可能なフレーム画像の総数が、フレーム配置画像に配置すべき配置フレーム数未満である場合に、動画像から抽出可能なすべてのフレーム画像について時系列順に連続するフレーム画像間の変化量を算出する変化量算出手段と、変化量算出手段により算出された変化量に基づき、配置フレーム数に対する総数の不足数分の補完フレーム画像を挿入するための挿入位置を決定する挿入位置決定手段と、挿入位置決定手段により決定された挿入位置にその挿入位置周辺のフレーム画像に基づく補完フレーム画像を挿入したフレーム配置画像を生成する補完手段とを備える。具体的には、挿入位置決定手段は、変化量算出手段により算出された変化量のうち少なくとも最も変化量が小さいフレーム画像間を挿入位置として決定する。
【００１４】
このようなプログラムによれば、前述した出力装置としてコンピュータを機能させることができ、これにより前述した効果を得ることができる。
【図面の簡単な説明】
【００１５】
【図１】実施形態の複合機の概略構成を表すブロック図である。
【図２】補完フレーム画像の挿入位置の説明図である。
【図３】入力画像情報記憶領域の説明図である。
【図４】動画像情報記憶領域の説明図である。
【図５】フレーム画像情報記憶領域の説明図である。
【図６】フレーム差分情報記憶領域の説明図である。
【図７】メディア画像印刷処理のフローチャートである。
【図８】出力画像生成処理のフローチャートである。
【図９】フレーム差分算出処理のフローチャートである。
【発明を実施するための形態】
【００１６】
以下、本発明が適用された実施形態について、図面を用いて説明する。
［１．全体構成］
図１は、実施形態の出力装置としての複合機１０の概略構成を表すブロック図である。
【００１７】
この複合機１０は、プリンタ機能の他、スキャナ機能やコピー機能等を有する多機能装置であり、ＣＰＵ１１、ＲＯＭ１２、内部メモリ（ＲＡＭ）１３、スキャナ読取部１４、印刷制御部１５、液晶表示部１６、操作入力部１７及びメディアカードスロット１８を備えており、これらは信号線を介して接続されている。
【００１８】
ＣＰＵ１１は、複合機１０におけるすべての演算を行うための装置である。
ＲＯＭ１２は、後述する処理（図７〜図９）をＣＰＵ１１に実行させるためのプログラムがあらかじめ記憶されている装置である。
【００１９】
内部メモリ１３は、ＣＰＵ１１による演算結果や入力データなどを一時的に記憶しておくための装置である。なお、内部メモリ１３の記憶領域の詳細については後述する。
印刷制御部１５は、印刷命令が出された画像データを印刷するための装置であり、ＣＭＹＫの色材（トナーやインク等）によりカラー画像を印刷可能なものである。
【００２０】
液晶表示部１６は、小型のカラー液晶ディスプレイに画像（メッセージ等の文字列を表す画像を含む。）を表示するための装置である。
操作入力部１７は、ユーザによって押操作される各種操作キーが配置され、操作に基づく情報を入力するための装置である。具体的には、上下左右操作を行うための上キー、下キー、左キー及び右キーと、決定操作を行うためのＯＫキーとを備えている。
【００２１】
メディアカードスロット１８は、静止画像撮影及び動画像撮影が可能なデジタルスチルカメラやデジタルビデオカメラ等の撮影機器で生成された画像ファイル（静止画像又は動画像を表す画像データ）が記憶されたＳＤカードやＣＦカード等のメディアカード（不揮発性の可搬型記憶媒体）を挿入可能に構成されている。そして、複合機１０は、メディアカードスロット１８に挿入された状態のメディアカードから画像ファイルを直接読み出し、読み出した画像ファイルの内容を表す画像を印刷する機能（いわゆるダイレクトプリント機能）を有している。
【００２２】
ここで、画像ファイルとしては、静止画像を表す静止画像ファイルだけでなく、動画像を表す動画像ファイルも対象となる。具体的には、印刷対象の画像ファイルが静止画像ファイルの場合には、その静止画像ファイルの表す静止画像のみを出力画像１ページ内に配置したレイアウトで印刷する。一方、印刷対象の画像ファイルが動画像ファイルの場合には、その動画像ファイルの表す動画像を構成するすべてのフレーム画像のうち、あらかじめ決められた配置フレーム数（本実施形態では９個）のフレーム画像を抽出し、抽出したフレーム画像を出力画像１ページ内に配置したレイアウトのフレーム配置画像を生成して印刷する。
【００２３】
ここで、動画像から抽出可能なフレーム画像の総数が配置フレーム数に満たないことも考えられる。この場合、フレーム配置画像にすべてのフレーム画像を配置しても余白（フレーム画像を配置可能な空き部分）が生じることになる。そこで、本実施形態の複合機１０は、フレーム配置画像に余白が生じないようにするため、不足数分の補完フレーム画像を挿入する。
【００２４】
例えば図２（ａ）に示すように、動画像から８個のフレーム画像が抽出可能な場合には、１個の補完フレーム画像を挿入する。具体的には、動画像から抽出可能なすべてのフレーム画像について時系列順に連続するフレーム画像間の差分（フレーム間差分）を算出し、フレーム間差分が最も小さい２つのフレーム画像間を補完フレーム画像の挿入位置とする。図２（ａ）は、８個のフレーム画像のうち左から３番目のフレーム画像と４番目のフレーム画像とのフレーム間差分が最も小さい場合の例であり、これら２つのフレーム画像間を補完フレーム画像の挿入位置とする。
【００２５】
そして、図２（ｂ）に示すように、補完フレーム画像も含めた９個のフレーム画像から余白のないフレーム配置画像を生成する。このフレーム配置画像において、フレーム画像は、左上から横方向に時系列順に配置される。このフレーム配置画像における１列の最大配置数は３個に設定されており、これを超える分については次の（下の）列の左から時系列順に配置され、３個×３列（合計９個）のフレーム画像が配置される。
【００２６】
また、本実施形態では、挿入位置前後の２つのフレーム画像のうちの一方を複製（コピー）した複製画像を補完フレーム画像とする。具体的には、挿入位置前後の２つのフレーム画像が異なる列に配置される場合には、補完フレーム画像とは異なる列に配置される方のフレーム画像を複製対象とする。
【００２７】
例えば、図２（ｂ）に示すように、挿入位置の前のフレーム画像がフレーム配置画像における右端（列の末尾）に配置される場合には、補完フレーム画像は次の列の先頭に配置されることになるため、そのフレーム画像を複製（コピー）した複製画像を補完フレーム画像とする。
【００２８】
一方、例えば図２（ｃ）に示すように、挿入位置の後ろのフレーム画像がフレーム配置画像における左端（列の先頭）に配置される場合には、補完フレーム画像は前の列の末尾に配置されることになるため、そのフレーム画像を複製（コピー）した複製画像を補完フレーム画像とする。
【００２９】
なお、複合機１０は、メディアカードに記憶されている複数の画像ファイルの中から印刷対象の画像ファイルをユーザに選択させるため、画像ファイルの内容を把握可能なサムネイル画像を液晶表示部１６に表示し、ユーザにより選択されたサムネイル画像に対応する画像ファイルの表す画像を印刷するようになっている。
【００３０】
［２．内部メモリの記憶領域］
次に、内部メモリ１３の記憶領域について説明する。
図１に示すように、内部メモリ１３には、各種情報を記憶するための記憶領域として、入力画像情報記憶領域３１、動画像情報記憶領域３２、出力画像データ記憶領域３３、拡大／縮小画像データ記憶領域３４、フレーム画像情報記憶領域３５、第１フレーム画像データ記憶領域３６、第２フレーム画像データ記憶領域３７、フレーム差分情報記憶領域３８、補完フレーム画像データ記憶領域３９、印刷データ記憶領域４０、一時変数記憶領域４１及びサムネイル画像データ記憶領域４２が用意されている。
【００３１】
入力画像情報記憶領域３１は、メディアカードに記憶されている画像ファイルの情報を記憶するための領域である。具体的には、図３に示すように、入力画像情報記憶領域３１は、入力画像ＩＤ記憶領域５１、入力画像ファイル名記憶領域５２及び入力画像ファイルサイズ記憶領域５３を備えている。
【００３２】
入力画像ＩＤ記憶領域５１は、メディアカードに記憶されている画像ファイルの数に応じて０から順に振り分けた画像ファイルのＩＤ（以下「入力画像ＩＤ」という。）を記憶するための領域である。具体的には、メディアカードから読み出された画像ファイルに対し、読み出された順に入力画像ＩＤが割り振られる。
【００３３】
入力画像ファイル名記憶領域５２は、メディアカードに記憶されている画像ファイルのファイル名を記憶するための領域である。具体的には、例えば２５６バイトの領域の中に２５６文字（１文字／バイト）の文字データ（文字無しの情報も含む）が格納される。
【００３４】
入力画像ファイルサイズ記憶領域５３は、メディアカードに記憶されている画像ファイルのファイルサイズ（データサイズ）を数値（この例ではキロバイト単位の数値）として記憶するための領域である。
【００３５】
図１に戻り、動画像情報記憶領域３２は、メディアカードに記憶されている画像ファイルのうち、処理対象となっている動画像ファイルの情報を一時的に記憶しておくための領域である。具体的には、図４に示すように、動画像情報記憶領域３２は、フォーマット種別記憶領域６１、コーデック種別記憶領域６２、横方向サイズ記憶領域６３、縦方向サイズ記憶領域６４及び総フレーム数記憶領域６５を備えている。
【００３６】
フォーマット種別記憶領域６１は、処理対象となっている動画像ファイルのファイルフォーマット（データフォーマット）の種別を記憶する領域である。本実施形態では、３種類のファイルフォーマットに対応付けられた数値（例えば、ＡＶＩフォーマットであれば「０」、ＭＯＶフォーマットであれば「１」、ＭＰＥＧフォーマットであれば「２」）が記憶される。
【００３７】
コーデック種別記憶領域６２は、処理対象となっている動画像ファイルのコーデックの種別を記憶する領域である。本実施形態では、３種類のコーデックに対応付けられた数値（例えば、ＭｏｔｉｏｎＪＰＥＧコーデックであれば「０」、ＭＰＥＧ１コーデックであれば「１」、ＤｉｖＸコーデックであれば「２」）が記憶される。
【００３８】
横方向サイズ記憶領域６３は、処理対象となっている動画像ファイルを構成するフレーム画像データの横方向のピクセルサイズを数値データとして記憶する領域である。
縦方向サイズ記憶領域６４は、処理対象となっている動画像ファイルを構成するフレーム画像データの縦方向のピクセルサイズを数値データとして記憶する領域である。
【００３９】
総フレーム数記憶領域６５は、処理対象となっている動画像ファイルを構成するフレーム画像データの総数（総フレーム数）を数値データとして記憶する領域である。
図１に戻り、出力画像データ記憶領域３３は、印刷制御部１５に渡すための出力画像データ（印刷用画像を表す画像データ）を一時的に記憶するための領域である。静止画像ファイルは１つの画像データから構成されるため、この１つの画像データが出力画像データ記憶領域３３の全体に配置される。一方、動画像ファイルは複数のフレーム画像を配置して出力するため、配置する配置フレーム数で等分された各配置領域の対応する位置に各フレーム画像データを配置することとなる。
【００４０】
拡大／縮小画像データ記憶領域３４は、画像データをあらかじめ決められたサムネイル画像のサイズに変換（拡大又は縮小）処理した画像データを記憶するための領域である。
フレーム画像情報記憶領域３５は、フレーム配置画像に配置するフレーム画像に関する情報を記憶するための領域である。具体的には、図５に示すように、フレーム画像情報記憶領域３５は、フレーム配置位置番号記憶領域７１、動画ファイル名記憶領域７２、抽出フレーム番号記憶領域７３、オフセットサイズ情報記憶領域７４及びフレームサイズ情報記憶領域７５を備えている。
【００４１】
フレーム配置位置番号記憶領域７１は、フレーム配置画像におけるフレーム画像の配置位置に対応した番号（０〜８の番号であり、以下「フレーム配置位置番号」という。）を記憶するための領域である。具体的には、フレーム配置画像における配置位置には、１番上の列の左から「０」，「１」，「２」、２番目の列の左から「３」，「４」，「５」、３番目の列の左から「６」，「７」，「８」の番号が対応づけられている。
【００４２】
動画ファイル名記憶領域７２は、フレーム画像データの抽出元である動画像ファイルのファイル名を記憶するための領域である。
抽出フレーム番号記憶領域７３は、フレーム画像が元の動画像ファイルの何フレーム目に当たるかを示す数値（フレーム番号）である抽出フレーム番号を記憶するための領域である。なお、本実施形態では、先頭のフレーム画像のフレーム番号を「０」としている。
【００４３】
オフセットサイズ情報記憶領域７４は、フレーム画像の動画像ファイルにおける位置を特定する情報を記憶するための領域である。具体的には、オフセットサイズ情報記憶領域７４には、フレーム画像データの先頭が元の動画像ファイルの先頭から何バイト目に当たるかを示すオフセットサイズが、数値（この例ではバイト単位の数値）として記憶されている。すなわち、動画像ファイルのファイル構造は、先頭のヘッダ情報と末尾のインデックス情報との間に、フレーム画像データが順に配置された構造となっており、ここでいうオフセットサイズとは、動画像ファイルの先頭（つまりヘッダ情報の先頭）から抽出対象のフレーム画像データの先頭までのデータサイズのことである。なお、オフセットサイズをキロバイト単位でなくバイト単位で記憶するのは、フレーム画像データの位置を正確に特定するためである。
【００４４】
フレームサイズ情報記憶領域７５は、フレーム画像データのデータサイズ（伸張（デコード）処理前の圧縮状態（例えばＪＰＥＧ形式）でのデータサイズ）を記憶するための領域であり、データサイズが数値（この例ではバイト単位の数値）として記憶されている。
【００４５】
図１に戻り、第１フレーム画像データ記憶領域３６は、動画像ファイルから抽出したフレーム画像データを一時的に記憶するための領域である。この領域に記憶されるフレーム画像データは、伸張処理前の圧縮状態の画像データである。
【００４６】
第２フレーム画像データ記憶領域３７は、動画像ファイルから抽出したフレーム画像データであって、第１フレーム画像データ記憶領域３６に記憶されるフレーム画像データとの差分（フレーム間差分）を算出するためのフレーム画像データを一時的に記憶するための領域である。この領域に記憶されるフレーム画像データも、伸張処理前の圧縮状態の画像データである。
【００４７】
フレーム差分情報記憶領域３８は、フレーム間差分の算出元となるフレーム画像データの番号と、フレーム間差分とを記憶するための領域である。具体的には、図６に示すように、フレーム差分情報記憶領域３８は、差分情報番号記憶領域８１、第１差分取得フレーム番号記憶領域８２、第２差分取得フレーム番号記憶領域８３及び判定値記憶領域８４を備えている。
【００４８】
差分情報番号記憶領域８１は、フレーム間差分の情報を管理するための通し番号である差分情報番号を記憶するための領域である。
第１差分取得フレーム番号記憶領域８２は、フレーム間差分を取得するための１つ目のフレーム画像データ（第１差分取得フレーム）のフレーム番号を記憶するための領域である。
【００４９】
第２差分取得フレーム番号記憶領域８３は、フレーム間差分を取得するための２つ目のフレーム画像データ（第２差分取得フレーム）のフレーム番号を記憶するための領域である。
【００５０】
判定値記憶領域８４は、補完フレーム画像の挿入位置を決定するための判定値を記憶する領域である。本実施形態では、第１差分取得フレーム番号記憶領域８２及び第２差分取得フレーム番号記憶領域８３に記憶されたフレーム番号に対応するフレーム画像データのフレーム間差分（絶対値）を判定値として記憶する。
【００５１】
図１に戻り、補完フレーム画像データ記憶領域３９は、動画像ファイルの表す動画像を構成する総フレーム数が配置フレーム数（本実施形態では９個）よりも少ない場合に生成される補完フレーム画像データ（伸張処理後の状態（ＲＧＢ形式）の画像データ）を記憶するための領域である。具体的には、補完フレーム画像データ記憶領域３９は、「配置フレーム数−１」の領域（１番目から８番目までの８個の領域）に分割されている。
【００５２】
印刷データ記憶領域４０は、出力画像データの表す画像を実際に印刷するための画像データ（ＣＭＹＫの二値画像データなど）を一時的に記憶しておくための領域である。
一時変数記憶領域４１は、変数やカウンタなど、一時的な情報を記憶するための領域である。
【００５３】
サムネイル画像データ記憶領域４２は、印刷対象の画像ファイルをユーザに選択させるために液晶表示部１６に表示するサムネイル画像を表すサムネイル画像データを一時的に記憶しておくための領域である。
【００５４】
［３．ＣＰＵが実行する処理］
次に、画像ファイルの記憶されているメディアカードがメディアカードスロット１８に挿入されている状態で、「メディア画像印刷」モードを選択するユーザの操作が操作入力部１７で行われることにより、複合機１０のＣＰＵ１１が実行するメディア画像印刷処理について、図７のフローチャートを用いて説明する。
【００５５】
ＣＰＵ１１は、このメディア画像印刷処理を開始すると、まずＳ１０１で、メディアカードに記憶されている画像ファイルごとにファイル名及びファイルサイズを読み出し、入力画像情報記憶領域３１の入力画像ファイル名記憶領域５２及び入力画像ファイルサイズ記憶領域５３に順に記憶するメディア情報抽出処理を行う。なお、このメディア情報抽出処理では、メディアカードから読み出された情報に対して入力画像ＩＤが０から順に割り振られて入力画像ＩＤ記憶領域５１に記憶される。
【００５６】
続いて、Ｓ１０２では、メディアカードに記憶されている画像ファイルの内容を把握可能なサムネイル画像を液晶表示部１６に表示して、印刷対象の画像ファイルをユーザに選択させる印刷画像選択処理を行う。具体的には、１つのサムネイル画像を液晶表示部１６に表示し、操作入力部１７の上キー、下キー、左キー又は右キーの押操作に応じて液晶表示部１６に表示されるサムネイル画像を他の画像ファイルのものに変更し、ＯＫキーの押操作時に表示されているサムネイル画像に対応する画像ファイルを印刷対象として選択する。本実施形態では、動画像ファイルについては、その先頭のフレーム画像をサムネイル画像として表示するとともに、動画像データであることを示すアイコンを所定位置（例えばサムネイル画像における左上位置）に表示し、静止画像データについては静止画像をサムネイル画像として表示する（アイコンは表示しない）。ここで、サムネイル画像を表す画像データは、元画像（静止画像又は動画像の先頭のフレーム画像）を縮小することにより生成されてサムネイル画像データ記憶領域４２に記憶され、この画像データの表すサムネイル画像が液晶表示部１６に表示される。
【００５７】
続いて、Ｓ１０３では、Ｓ１０２で印刷対象として選択された画像ファイルに基づく出力画像を表す出力画像データを生成する出力画像生成処理を実行する。
ここで、出力画像生成処理の詳細について図８のフローチャートを用いて説明する。
【００５８】
ＣＰＵ１１は、この出力画像生成処理を開始すると、まずＳ２０１で、印刷対象の画像ファイルの入力画像ＩＤ（入力画像ＩＤ記憶領域５１に記憶されている値）を読み出す。
続いて、Ｓ２０２では、Ｓ２０１で読み出した入力画像ＩＤの画像ファイルの種類が静止画像ファイル及び動画像ファイルのうちのいずれに分類されるものであるかを、そのヘッダ情報などを参照して判定する。具体的には、例えば、ＪＰＥＧ形式の静止画像ファイルは先頭データが１６進数でＦＦＤ８から始まり、ＡＶＩ形式の動画像ファイルは先頭データが文字列に直して”ＲＩＦＦ”から始まるなどの特徴がある。このため、画像ファイルの先頭数バイトを分析することで、画像ファイルの種類を判定することができる。なお、本実施形態では、動画像ファイルの形式であっても、フレーム画像が１個しか存在しない場合には静止画像ファイルとみなして処理する。
【００５９】
そして、Ｓ２０２で、画像ファイルの種類が動画像ファイルであると判定した場合には、Ｓ２０３へ移行し、この動画像ファイルから各種情報を取得する。具体的には、動画像ファイルのフォーマット種別情報、コーデック種別情報、横方向サイズ情報、縦方向サイズ情報及び総フレーム数情報を取得する。こうして取得された各情報は、動画像情報記憶領域３２内のフォーマット種別記憶領域６１、コーデック種別記憶領域６２、横方向サイズ記憶領域６３、縦方向サイズ記憶領域６４及び総フレーム数記憶領域６５にそれぞれ記憶される。なお、これらのパラメータは、一般的には動画像ファイルのヘッダなどに記述されている。
【００６０】
続いて、Ｓ２０４では、抽出対象のフレーム画像データそれぞれについて、抽出フレーム画像情報（オフセットサイズ及び伸張処理前のデータサイズ）を抽出する。本実施形態において、抽出対象のフレーム画像データとは、動画像を構成するすべてのフレーム画像のうち、先頭及び末尾（最終）のフレーム画像と、これらの間を８等分した各等分位置（正確に等分できない場合は近似位置）の７個のフレーム画像とからなる計９個のフレーム画像のデータである。つまり、動画像において時系列的に互いに等間隔な関係にある９個のフレーム画像を抽出対象とする。なお、抽出対象のフレーム画像データの数は通常は９個であるが、総フレーム数が配置フレーム数である９個に満たない場合には９個未満となる。
【００６１】
続いて、Ｓ２０５では、Ｓ２０４で抽出した抽出フレーム画像情報（オフセットサイズ及び伸張処理前のデータサイズ）を、フレーム画像情報記憶領域３５における各フレーム画像データに対応する番号（フレーム配置位置番号記憶領域７１の番号）の領域に記憶する。
【００６２】
続いて、Ｓ２０６では、動画像ファイルの表す動画像を構成する総フレーム数が配置フレーム数である９個未満であるか否かを判定する。
そして、Ｓ２０６で、総フレーム数が配置フレーム数未満であると判定した場合には、補完フレーム画像を挿入するための処理（Ｓ２０７〜Ｓ２１０）を実行する。すなわち、まずＳ２０７では、動画像を構成するすべてのフレーム画像について、時系列的に連続するフレーム画像間の差分（フレーム間差分）を算出するフレーム差分算出処理を実行する。
【００６３】
ここで、フレーム差分算出処理の詳細について図９のフローチャートを用いて説明する。
ＣＰＵ１１は、このフレーム差分算出処理を開始すると、まずＳ３０１で、一時変数記憶領域４１にフレームカウンタを生成し、これを０で初期化する。
【００６４】
続いて、Ｓ３０２では、フレームカウンタの値に対応する番号（フレーム配置位置番号記憶領域７１の番号）のフレーム画像データを、そのオフセットサイズ及びデータサイズに基づき動画像ファイルから抽出する。
【００６５】
続いて、Ｓ３０３では、Ｓ３０２で抽出したフレーム画像データを、第１フレーム画像データ記憶領域３６に記憶する。
続いて、Ｓ３０４では、Ｓ３０２と同様の手法で、「フレームカウンタの値＋１」に対応する番号のフレーム画像データを動画像ファイルから抽出する。
【００６６】
続いて、Ｓ３０５では、Ｓ３０４で抽出したフレーム画像データを、第２フレーム画像データ記憶領域３７に記憶する。
続いて、Ｓ３０６では、第１フレーム画像データ記憶領域３６及び第２フレーム画像データ記憶領域３７のそれぞれに記憶したフレーム画像データの差分を算出する。具体的には、これら２つのフレーム画像データに伸張処理を施し、各座標位置単位で画素値の差分の絶対値を算出する。これを、ＲＧＢそれぞれについて全座標分算出し、この合計値をフレーム間差分とする。なお、伸張データの記憶領域は、一時変数記憶領域４１に各々１ピクセル分の画素値を記憶するための変数を用意することで確保する。点順次作業可能なので、画像を記憶するための専用領域を設ける必要はない。
【００６７】
続いて、Ｓ３０７では、フレーム差分情報記憶領域３８におけるフレームカウンタの値に対応する番号（差分情報番号記憶領域８１の番号）の第１差分取得フレーム番号記憶領域８２にフレームカウンタの値を、第２差分取得フレーム番号記憶領域８３に「フレームカウンタの値＋１」を、判定値記憶領域８４にＳ３０６で算出したフレーム間差分を、それぞれ記憶する。
【００６８】
続いて、Ｓ３０８では、フレームカウンタの値に１を加算する。
続いて、Ｓ３０９では、フレームカウンタの値が「総フレーム数−１」に達した（すべてのフレーム画像間についてフレーム間差分を算出した）か否かを判定する。
【００６９】
そして、Ｓ３０９で、フレームカウンタの値が「総フレーム数−１」に達していないと判定した場合には、Ｓ３０２へ戻り、加算されたフレームカウンタの値に基づき前述した処理を行う。
【００７０】
一方、Ｓ３０９で、フレームカウンタの値が「総フレーム数−１」に達したと判定した場合には、本フレーム差分算出処理を終了する。
図８に戻り、Ｓ２０８では、配置フレーム数から総フレーム数を引いた数（不足数）を、補完フレーム画像を生成する数（補完フレーム数）に決定する。
【００７１】
続いて、Ｓ２０９では、補完フレーム画像の挿入位置及び画像の内容（複製対象のフレーム画像）を決定する。具体的には、フレーム差分情報記憶領域３８及びフレーム画像情報記憶領域３５の情報を次の（１）〜（４）の手順で更新する処理を行う。
【００７２】
（１）フレーム差分情報記憶領域３８の判定値記憶領域８４に記憶されている判定値の最小値を検索し、その判定値を２倍の値に書き換えるとともに、その判定値に対応する（差分情報番号が同一の）第１差分取得フレームのフレーム番号（第１差分取得フレーム番号記憶領域８２に記憶されている値）を読み出す。つまり、判定値が最も小さいフレーム画像間を補完フレーム画像の挿入位置に決定し、その挿入位置前後の２つのフレーム画像のうち、挿入位置の前のフレーム画像のフレーム番号を読み出す。なお、判定値を２倍の値に書き換えるのは、以降の処理において同じ判定値（挿入位置）が連続して選択されにくくするためである。すなわち、多数の補完フレーム画像が同一のフレーム画像間に挿入されると、その部分の動きが止まって見えることにより流れの違和感が大きくなってしまうため、挿入位置が集中しないようにしている。
【００７３】
（２）フレーム画像情報記憶領域３５のフレーム配置位置番号記憶領域７１に記憶されているフレーム配置位置番号の値の小さいものから順に、上記（１）で読み出した値の抽出フレーム番号（抽出フレーム番号記憶領域７３に記憶されている値）を検索し、検索された抽出フレーム番号に対応するフレーム配置位置番号（フレーム配置位置番号記憶領域７１に記憶されている値）を読み出す。つまり、ここで読み出される番号は、挿入位置の前のフレーム画像のフレーム配置画像における配置位置である。
【００７４】
（３）フレーム画像情報記憶領域３５において、上記（２）で読み出したフレーム配置位置番号の値よりも大きいフレーム配置位置番号に１を加算し、上記（２）で読み出したフレーム配置位置番号の行を新設する。つまり、補完フレーム画像の挿入位置を確保するため、挿入位置よりも後ろのフレーム画像の配置位置を１つずつずらすようにしている。
【００７５】
（４）上記（３）で新設した行に、挿入位置前後のフレーム画像のうちの一方の情報をコピーする。具体的には、フレーム配置画像における補完フレーム画像の配置が右端の場合（換言すれば、新設した行のフレーム配置位置番号が２又は５の場合）には、挿入位置の後ろのフレーム画像の情報（新設した行の次の行の情報）をコピーする。一方、それ以外の場合には、挿入位置の前のフレーム画像の情報（新設した行の１つ前の行の情報）をコピーする。
【００７６】
続いて、Ｓ２１０では、Ｓ２０８で決定した補完フレーム数分の補完フレーム画像についてＳ２０９で挿入位置及び画像の内容を決定したか否かを判定する。具体的には、初期値（出力画像生成処理開始時の値）が０の生成フレーム数カウンタを一時変数記憶領域４１にあらかじめ用意しておき、Ｓ２０９の処理が終了するごとに生成フレーム数カウンタの値に１を加算する。そして、この値が補完フレーム数に達した場合に、補完フレーム数分の補完フレーム画像データを生成したと判定する。
【００７７】
そして、Ｓ２１０で、補完フレーム数分の補完フレーム画像について挿入位置及び画像の内容を決定していないと判定した場合には、Ｓ２０９へ戻る。つまり、補完フレーム数分の補完フレーム画像について挿入位置及び画像の内容が決定されるまでＳ２０９の処理が繰り返される。
【００７８】
一方、Ｓ２１０で、補完フレーム数分の補完フレーム画像について挿入位置及び画像の内容を決定したと判定した場合や、Ｓ２０６で、総フレーム数が配置フレーム数未満でない（配置フレーム数以上である）と判定した場合には、フレーム配置画像に配置すべきフレーム画像（補完フレーム画像が含まれ得る。）を表すフレーム画像データを出力画像データ記憶領域３３に配置する処理（Ｓ２１１〜Ｓ２１５）へ移行する。具体的には、配置すべきフレーム画像データを順に処理対象として選択し、処理対象のフレーム画像データについてＳ２１１〜Ｓ２１４の処理を行う。これを配置フレーム数分（９回）繰り返すことになる。具体的には、初期値（出力画像生成処理開始時の値）が０の処理フレーム画像数カウンタを一時変数記憶領域４１にあらかじめ用意しておき、この処理フレーム画像数カウンタの値に対応するフレーム画像データを処理対象とする。なお、この処理フレーム画像数カウンタの値は、後述するように、処理対象のフレーム画像データについての処理が完了するごとに加算される。
【００７９】
Ｓ２１１では、処理対象のフレーム画像データをオフセットサイズ情報記憶領域７４に記憶されているオフセットサイズ及びフレームサイズ情報記憶領域７５に記憶されている伸張処理前のデータサイズに基づき動画像ファイルから読み出す処理を行う。
【００８０】
続いて、Ｓ２１２では、Ｓ２１１で読み出したフレーム画像データ（伸張処理前の画像データ）を、第１フレーム画像データ記憶領域３６に記憶する。
続いて、Ｓ２１３では、第１フレーム画像データ記憶領域３６に記憶されているフレーム画像データに伸張処理を施し、フレーム画像データをピクセル演算が可能な形式（ピクセルごとにＲＧＢ値をそれぞれ０〜２５５の値で表した画像データ）に変換する。
【００８１】
続いて、Ｓ２１４では、処理対象のフレーム画像データ（伸張処理後のピクセルデータ）を、出力画像データ記憶領域３３における各フレーム画像に対応した位置に記憶する。
続いて、Ｓ２１５では、すべてのフレーム画像データを出力画像データ記憶領域３３に配置したか否かを判定する。具体的には、１つのフレーム画像データについて処理が完了するごとに、処理フレーム画像数カウンタの値に１を加算し、この処理フレーム画像数カウンタの値が配置フレーム数に達したか否かを判定することで、すべてのフレーム画像データを配置したか否かを判定する。
【００８２】
そして、Ｓ２１５で、すべてのフレーム画像データを配置していないと判定した場合には、Ｓ２１１へ戻り、未処理のフレーム画像データを処理対象として前述した処理を行う。
【００８３】
一方、Ｓ２１５で、すべてのフレーム画像データを配置したと判定した場合には、本出力画像生成処理を終了する。なお、この時点で出力画像データ記憶領域３３に記憶されている画像データが、動画像ファイルの出力画像データである。
【００８４】
また、前述したＳ２０２で、画像ファイルの種類が静止画像ファイルであると判定した場合には、Ｓ２１６へ移行し、この静止画像ファイルに伸張処理を施し、データをピクセル演算が可能な形式に変換する。
【００８５】
続いて、Ｓ２１７では、Ｓ２１６で伸張処理した画像データを出力画像データ記憶領域３３に記憶した後、本出力画像生成処理を終了する。つまり、静止画像ファイルの場合には、動画像ファイルと異なり、静止画像は出力画像データ記憶領域３３に１つしか配置されない。なお、この時点で出力画像データ記憶領域３３に記憶されている画像データが、静止画像ファイルの出力画像データである。
【００８６】
図７に戻り、Ｓ１０４では、出力画像データ記憶領域３３に記憶されている出力画像データの表す画像を印刷するための画像印刷処理を実行する。この画像印刷処理では、出力画像データ記憶領域３３に記憶されている出力画像データを、１ライン単位で印刷データ記憶領域４０にコピーし、色変換処理（ＲＧＢ→ＣＭＹＫ）及び二値化処理を行った後、印刷制御部１５へ出力する。これにより、印刷制御部１５で二値データに基づく印刷が行われる。その後、本メディア画像印刷処理を終了する。
【００８７】
［４．効果］
以上説明したように、本実施形態の複合機１０によれば、動画像から抽出可能なフレーム画像の総数が配置フレーム数未満である場合にも、余白のない（より見栄えのよい）フレーム配置画像を印刷することができる。
【００８８】
特に、この複合機１０では、フレーム間差分が小さいフレーム画像間を補完フレーム画像の挿入位置とし、その挿入位置前後の２つのフレーム画像のうちの一方を複製した複製画像を補完フレーム画像としてその挿入位置に挿入する。このため、補完フレーム画像を目立ちにくい形で（換言すれば、本来の動画像のオリジナリティが損なわれにくいように）挿入することができ、しかも、補完フレーム画像を生成する処理を簡素化することができる。すなわち、フレーム間差分の大きいフレーム画像Ａ，Ｂ間にこれらの一方を複製した複製画像Ｃを挿入した場合、フレーム画像Ａから複製画像Ｃへの動きと、複製画像Ｃからフレーム画像Ａへの動きとのギャップが大きくなるため、違和感が生じやすい。このような違和感は、フレーム画像Ａ，Ｂ間のフレーム間差分が小さいほど生じにくくなる。
【００８９】
しかも、この複合機１０では、挿入位置前後の２つのフレーム画像が異なる列に配置される場合には、補完フレーム画像とは異なる列に配置される方を複製対象とする。このため、補完フレーム画像とその複製元のフレーム画像とが異なる列に配置されやすくすることができ、補完フレーム画像とその複製元のフレーム画像とが並んで配置されることによる違和感を生じにくくすることができる。
【００９０】
［５．特許請求の範囲との対応］
なお、本実施形態の複合機１０では、Ｓ１０３の処理を実行するＣＰＵ１１が配置画像生成手段に相当し、Ｓ１０４の処理を実行するＣＰＵ１１が出力手段に相当する。また、Ｓ２０７の処理を実行するＣＰＵ１１が変化量算出手段に相当し、Ｓ２０８〜Ｓ２１０の処理を実行するＣＰＵ１１が挿入位置決定手段に相当し、Ｓ２１１〜Ｓ２１５の処理を実行するＣＰＵ１１が補完手段に相当する。
【００９１】
［６．他の形態］
以上、本発明の実施形態について説明したが、本発明は、上記実施形態に限定されることなく、種々の形態を採り得ることは言うまでもない。
【００９２】
例えば、動画像を構成する総フレーム数が著しく少ない場合（所定数以下の場合）には、補完フレーム画像を挿入しないようにしてもよい。このようにすれば、多数（例えば動画像から抽出可能なフレーム画像の数よりも多い数）の補完フレーム画像が挿入されたフレーム配置画像が生成されてしまうことを防ぐことができる。
【００９３】
また、上記実施形態では、動画像を構成する総フレーム数に関係なくフレーム配置画像のレイアウトを固定しているが、これに限定されるものではない。例えば、総フレーム数が６個以下の場合には３個×２列のレイアウトとし、４個以下の場合には２個×２列のレイアウトとするなど、総フレーム数に応じてフレーム配置画像のレイアウトを段階的に変更するようにしてもよい。このようにすれば、補完フレーム画像の数を少なくすることができる。
【００９４】
また、上記実施形態では、１つの補完フレーム画像ごとに挿入位置及び複製対象を決定し（Ｓ２０９）、これを補完フレーム画像の数だけ繰り返すようにしているが（Ｓ２１０）、これに限定されるものではない。例えば、複数の補完フレーム画像について挿入位置をまず決定し、その後に各補完フレーム画像の複製対象を決定するようにしてもよい。このようにすれば、フレーム配置画像における補完フレーム画像とその複製元のフレーム画像との位置関係をより確実に規定することができる。
【００９５】
また、上記実施形態では、フレーム配置画像における補完フレーム画像の配置が右端の場合には挿入位置の後ろのフレーム画像を複製対象とし、それ以外の場合には挿入位置の前のフレーム画像を複製対象としているが、これに限定されるものではない。例えば、フレーム配置画像における補完フレーム画像の配置が左端の場合には挿入位置の前のフレーム画像を複製対象とし、それ以外の場合には挿入位置の後ろのフレーム画像を複製対象としてもよい。また、フレーム配置画像における配置が補完フレーム画像から離れている方のフレーム画像を複製対象として選択するようにすれば、上記実施形態のようなレイアウト以外のレイアウトであっても同様の効果が得られるように複製対象を選択することができる。一方、フレーム配置画像における補完フレーム画像の配置に関係なく複製対象を選択することも可能である。
【００９６】
また、上記実施形態では、挿入位置に決定したフレーム画像間の判定値を２倍の値に書き換えることで、同じ判定値（挿入位置）が連続して選択されにくくしているが（Ｓ２０９）、これに限定されるものではなく、例えば判定値を書き換えないようにすることも可能である。
【００９７】
また、上記実施形態では、動画像ファイルについてはその先頭のフレーム画像をサムネイル画像として表示するようにしているが、これに限定されるものではなく、例えば、実際に印刷される画像（フレーム配置画像）をサムネイル画像として表示するようにしてもよい。
【００９８】
また、上記実施形態では、挿入位置前後の２つのフレーム画像のうちの一方を複製した複製画像を補完フレーム画像としているが、これに限定されるものではなく、例えば、２つのフレーム画像を合成した合成画像を補完フレーム画像とすることも可能である。
【００９９】
また、上記実施形態では、フレーム画像間の変化量として差分（具体的には、各座標位置単位での画素値の差分の絶対値の合計値）を例示したが、これに限定されるものではなく、フレーム画像の変化量が反映される値であればよい。例えば、公知のオプティカルフロー法などで算出したフレーム画像間の「動きベクトルの大きさ」を差分算出に用いてもよい。
【０１００】
また、上記実施形態の複合機１０では、動画像ファイルから抽出するフレーム画像の数を９個としているが、これに限定されるものではなく、例えば３０個、４０個などのように、多くなるほど本発明の意義がある。また、個数は固定である必要もなく、例えば、ユーザに指定させるようにしてもよい。
【０１０１】
また、上記実施形態では、複合機１０に本発明を適用した構成を例示したが、これに限定されるものではなく、例えば、複合機以外の印刷装置（例えばスキャナ機能を有しない印刷装置）などにも適用することができる。また、印刷装置に限定されるものではなく、画像ファイルの内容を表す画像を出力する装置であればよい。すなわち、画像の出力には、画像の印刷以外にも、例えば画像の表示も含まれる。このため、パーソナルコンピュータなどの情報処理装置やその情報処理装置で実行されるプログラムなどにも本発明を適用することができる。
【符号の説明】
【０１０２】
１０…複合機、１１…ＣＰＵ、１２…ＲＯＭ、１３…内部メモリ、１５…印刷制御部、１６…液晶表示部、１７…操作入力部、１８…メディアカードスロット、３１…入力画像情報記憶領域、３２…動画像情報記憶領域、３３…出力画像データ記憶領域、３４…拡大／縮小画像データ記憶領域、３５…フレーム画像情報記憶領域、３６…第１フレーム画像データ記憶領域、３７…第２フレーム画像データ記憶領域、３８…フレーム差分情報記憶領域、３９…補完フレーム画像データ記憶領域、４０…印刷データ記憶領域、４１…一時変数記憶領域、４２…サムネイル画像データ記憶領域
【特許請求の範囲】
【請求項１】
動画像データの表す動画像から複数のフレーム画像を抽出し、これらを時系列的な規則性を持つように配置したフレーム配置画像を生成する配置画像生成手段と、
前記フレーム配置画像を出力する出力手段と、
を備える出力装置であって、
前記配置画像生成手段は、
前記動画像から抽出可能なフレーム画像の総数が、前記フレーム配置画像に配置すべき配置フレーム数未満である場合に、前記動画像から抽出可能なすべてのフレーム画像について時系列順に連続するフレーム画像間の変化量を算出する変化量算出手段と、
前記変化量算出手段により算出された変化量に基づき、前記配置フレーム数に対する前記総数の不足数分の補完フレーム画像を挿入するための挿入位置を決定する挿入位置決定手段と、
前記挿入位置決定手段により決定された挿入位置にその挿入位置周辺のフレーム画像に基づく補完フレーム画像を挿入したフレーム配置画像を生成する補完手段と、
を備え、前記挿入位置決定手段は、前記変化量算出手段により算出された変化量のうち少なくとも最も変化量が小さいフレーム画像間を前記挿入位置として決定すること
を特徴とする出力装置。
【請求項２】
前記補完手段は、前記挿入位置前後の２つのフレーム画像のうちの一方を複製した複製画像を前記補完フレーム画像としてその挿入位置に挿入すること
を特徴とする請求項１に記載の出力装置。
【請求項３】
前記補完手段は、前記挿入位置前後の２つのフレーム画像のうちの一方を、前記フレーム配置画像におけるその挿入位置の配置に基づき選択し、選択したフレーム画像の複製画像を前記補完フレーム画像としてその挿入位置に挿入すること
を特徴とする請求項２に記載の出力装置。
【請求項４】
前記補完手段は、前記挿入位置前後の２つのフレーム画像のうち、前記フレーム配置画像においてその挿入位置から離れている方を選択すること
を特徴とする請求項３に記載の出力装置。
【請求項５】
前記フレーム配置画像は、前記動画像から抽出した複数のフレーム画像を時系列順に複数列に配置したものであり、
前記補完手段は、前記挿入位置前後の２つのフレーム画像が異なる列に配置される場合には、前記補完フレーム画像とは異なる列に配置される方を選択すること
を特徴とする請求項３又は請求項４に記載の出力装置。
【請求項６】
動画像データの表す動画像から複数のフレーム画像を抽出し、これらを時系列的な規則性を持つように配置したフレーム配置画像を生成する配置画像生成手段と、
前記フレーム配置画像を出力する出力手段と、
を備える出力装置としてコンピュータを機能させるためのプログラムであって、
前記配置画像生成手段は、
前記動画像から抽出可能なフレーム画像の総数が、前記フレーム配置画像に配置すべき配置フレーム数未満である場合に、前記動画像から抽出可能なすべてのフレーム画像について時系列順に連続するフレーム画像間の変化量を算出する変化量算出手段と、
前記変化量算出手段により算出された変化量に基づき、前記配置フレーム数に対する前記総数の不足数分の補完フレーム画像を挿入するための挿入位置を決定する挿入位置決定手段と、
前記挿入位置決定手段により決定された挿入位置にその挿入位置周辺のフレーム画像に基づく補完フレーム画像を挿入したフレーム配置画像を生成する補完手段と、
を備え、前記挿入位置決定手段は、前記変化量算出手段により算出された変化量のうち少なくとも最も変化量が小さいフレーム画像間を前記挿入位置として決定すること
を特徴とするプログラム。
【請求項１】
動画像データの表す動画像から複数のフレーム画像を抽出し、これらを時系列的な規則性を持つように配置したフレーム配置画像を生成する配置画像生成手段と、
前記フレーム配置画像を出力する出力手段と、
を備える出力装置であって、
前記配置画像生成手段は、
前記動画像から抽出可能なフレーム画像の総数が、前記フレーム配置画像に配置すべき配置フレーム数未満である場合に、前記動画像から抽出可能なすべてのフレーム画像について時系列順に連続するフレーム画像間の変化量を算出する変化量算出手段と、
前記変化量算出手段により算出された変化量に基づき、前記配置フレーム数に対する前記総数の不足数分の補完フレーム画像を挿入するための挿入位置を決定する挿入位置決定手段と、
前記挿入位置決定手段により決定された挿入位置にその挿入位置周辺のフレーム画像に基づく補完フレーム画像を挿入したフレーム配置画像を生成する補完手段と、
を備え、前記挿入位置決定手段は、前記変化量算出手段により算出された変化量のうち少なくとも最も変化量が小さいフレーム画像間を前記挿入位置として決定すること
を特徴とする出力装置。
【請求項２】
前記補完手段は、前記挿入位置前後の２つのフレーム画像のうちの一方を複製した複製画像を前記補完フレーム画像としてその挿入位置に挿入すること
を特徴とする請求項１に記載の出力装置。
【請求項３】
前記補完手段は、前記挿入位置前後の２つのフレーム画像のうちの一方を、前記フレーム配置画像におけるその挿入位置の配置に基づき選択し、選択したフレーム画像の複製画像を前記補完フレーム画像としてその挿入位置に挿入すること
を特徴とする請求項２に記載の出力装置。
【請求項４】
前記補完手段は、前記挿入位置前後の２つのフレーム画像のうち、前記フレーム配置画像においてその挿入位置から離れている方を選択すること
を特徴とする請求項３に記載の出力装置。
【請求項５】
前記フレーム配置画像は、前記動画像から抽出した複数のフレーム画像を時系列順に複数列に配置したものであり、
前記補完手段は、前記挿入位置前後の２つのフレーム画像が異なる列に配置される場合には、前記補完フレーム画像とは異なる列に配置される方を選択すること
を特徴とする請求項３又は請求項４に記載の出力装置。
【請求項６】
動画像データの表す動画像から複数のフレーム画像を抽出し、これらを時系列的な規則性を持つように配置したフレーム配置画像を生成する配置画像生成手段と、
前記フレーム配置画像を出力する出力手段と、
を備える出力装置としてコンピュータを機能させるためのプログラムであって、
前記配置画像生成手段は、
前記動画像から抽出可能なフレーム画像の総数が、前記フレーム配置画像に配置すべき配置フレーム数未満である場合に、前記動画像から抽出可能なすべてのフレーム画像について時系列順に連続するフレーム画像間の変化量を算出する変化量算出手段と、
前記変化量算出手段により算出された変化量に基づき、前記配置フレーム数に対する前記総数の不足数分の補完フレーム画像を挿入するための挿入位置を決定する挿入位置決定手段と、
前記挿入位置決定手段により決定された挿入位置にその挿入位置周辺のフレーム画像に基づく補完フレーム画像を挿入したフレーム配置画像を生成する補完手段と、
を備え、前記挿入位置決定手段は、前記変化量算出手段により算出された変化量のうち少なくとも最も変化量が小さいフレーム画像間を前記挿入位置として決定すること
を特徴とするプログラム。
【図１】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【公開番号】特開２０１１−２５０２８４（Ｐ２０１１−２５０２８４Ａ）
【公開日】平成２３年１２月８日（２０１１．１２．８）
【国際特許分類】
【出願番号】特願２０１０−１２２９７４（Ｐ２０１０−１２２９７４）
【出願日】平成２２年５月２８日（２０１０．５．２８）
【出願人】（０００００５２６７）ブラザー工業株式会社 (13,856)
【Ｆターム（参考）】
【公開日】平成２３年１２月８日（２０１１．１２．８）
【国際特許分類】
【出願日】平成２２年５月２８日（２０１０．５．２８）
【出願人】（０００００５２６７）ブラザー工業株式会社 (13,856)
【Ｆターム（参考）】
[ Back to top ]