画像処理装置及び画像処理プログラム
【課題】動画像の流れを把握しやすく、かつ、その内容を把握しやすい画像を生成する。
【解決手段】動画像を構成するすべてのフレーム画像のうち、先頭フレーム画像及び最終フレーム画像と、これらの間を８等分した各等分位置の７個のフレーム画像とからなる計９個のフレーム画像を基準フレーム画像に設定する。そして、９個の基準フレーム画像のそれぞれについて、その前後の所定数の周辺フレーム画像を含めた抽出対象範囲を互いに重複しないように設定し、こうして設定した９個の抽出対象範囲のそれぞれから、フレーム配置画像に配置すべき代表フレーム画像を１つずつ選択する。具体的には、抽出対象範囲に含まれるフレーム画像（基準フレーム画像及び周辺フレーム画像）のうち、その抽出対象範囲よりも時系列的に１つ前の抽出対象範囲から既に選択された代表フレーム画像との差分が最も大きいものを代表フレーム画像として選択する。
【解決手段】動画像を構成するすべてのフレーム画像のうち、先頭フレーム画像及び最終フレーム画像と、これらの間を８等分した各等分位置の７個のフレーム画像とからなる計９個のフレーム画像を基準フレーム画像に設定する。そして、９個の基準フレーム画像のそれぞれについて、その前後の所定数の周辺フレーム画像を含めた抽出対象範囲を互いに重複しないように設定し、こうして設定した９個の抽出対象範囲のそれぞれから、フレーム配置画像に配置すべき代表フレーム画像を１つずつ選択する。具体的には、抽出対象範囲に含まれるフレーム画像（基準フレーム画像及び周辺フレーム画像）のうち、その抽出対象範囲よりも時系列的に１つ前の抽出対象範囲から既に選択された代表フレーム画像との差分が最も大きいものを代表フレーム画像として選択する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像から複数のフレーム画像を抽出して配置した画像を生成するための画像処理装置及び画像処理プログラムに関するものである。
【背景技術】
【０００２】
従来、動画像ファイル（複数のフレーム画像により動画像を表す画像データ）の表す動画像から所定数のフレーム画像を抽出し、それらを同一ページに配置した画像を生成して印刷することが可能な印刷装置が提案されている。例えば特許文献１には、動画像の全フレーム数を、同一ページに配置するフレーム画像の数で除したフレーム数ごとに、フレーム画像を抽出する構成が示されている。このような構成では、動画像において時系列的に等間隔な関係にあるフレーム画像が抽出されるため、動画像の流れが把握しやすくなる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−７８１２７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、前述したように時系列的に等間隔な関係にあるフレーム画像を抽出する構成では、類似する内容のフレーム画像が重複して抽出されることもあり、複数のフレーム画像を配置する利点が十分に生かされないことがある。例えば、動画像が短いシーンを含む場合であっても、シーンの切り替わりのタイミングによっては、１枚もそのシーンに含まれるフレーム画像が抽出されない場合がある。このような場合、動画像の内容が把握しにくいものとなってしまうという問題がある。
【０００５】
本発明は、こうした問題にかんがみてなされたものであり、動画像の流れを把握しやすく、かつ、動画像の内容を把握しやすい画像を生成することのできる画像処理装置及び画像処理プログラムを提供することを目的としている。
【課題を解決するための手段】
【０００６】
上記目的を達成するためになされた本発明の請求項１に記載の画像処理装置は、動画像を構成する複数のフレーム画像において複数の抽出対象範囲を互いに重複しないように設定する設定手段と、設定手段により設定された複数の抽出対象範囲のそれぞれから１つずつ抽出すべき代表フレーム画像を選択する選択手段と、選択手段により選択された複数の代表フレーム画像を時系列的な規則性を持つように配置したフレーム配置画像を生成する配置画像生成手段とを備えている。
【０００７】
具体的には、設定手段は、時系列的に互いに等間隔な関係にある複数の基準フレーム画像が１つずつ含まれるように複数の抽出対象範囲を設定する。そして、選択手段は、抽出対象範囲のフレーム画像のうち、時系列的に１つ前又は１つ後の抽出対象範囲から選択された代表フレーム画像に対する変化量が最大となるものを代表フレーム画像として選択する。
【０００８】
このように、本発明の画像処理装置では、時系列的に互いに等間隔な関係にある複数の基準フレーム画像が１つずつ含まれるように設定された複数の抽出対象範囲のそれぞれから代表フレーム画像を１つずつ抽出するようにしているため、フレーム配置画像に配置される代表フレーム画像が時系列的に片寄らないようにすることができる。
【０００９】
しかも、抽出対象範囲のフレーム画像のうち、時系列的に１つ前又は１つ後の抽出対象範囲から選択された代表フレーム画像に対する変化量が最大となるものを代表フレーム画像として選択するようにしているため、フレーム配置画像に配置される代表フレーム画像が内容的にも片寄らないようにすることができる。
【００１０】
したがって、本発明の画像処理装置によれば、動画像の流れを把握しやすく、かつ、内容を把握しやすいフレーム配置画像を生成することができる。
なお、時系列的に先頭の基準フレーム画像と最終の基準フレーム画像との間に存在するフレーム画像の数によっては、厳密な意味での等間隔にはならない場合も考えられるが、ここでいう等間隔とはそのような厳密性が要求されるものではなく、可能な限りで等間隔であればよい。例えば、０フレーム目から９フレーム目までの範囲を等間隔に二分するフレーム画像としては４フレーム目及び５フレーム目のいずれも該当する。
【００１１】
ところで、代表フレーム画像の選択は、具体的には、例えば請求項２に記載のように行うことができる。すなわち、請求項２に記載の画像処理装置では、選択手段は、最初に選択する代表フレーム画像については他の代表フレーム画像に対する変化量に関係なく選択し、残りの代表フレーム画像については、選択済の代表フレーム画像に対する変化量が最も大きいフレーム画像を、その選択済の代表フレーム画像が選択された抽出対象範囲よりも時系列的に１つ前又は１つ後の抽出対象範囲から選択する。
【００１２】
ここで、最初に選択する代表フレーム画像については、例えば請求項３に記載のように、基準フレーム画像を代表フレーム画像として選択するようにすれば、最初に選択する代表フレーム画像を簡易的に選択することができる。
【００１３】
また、例えば請求項４に記載のように、最初に選択する代表フレーム画像については、抽出対象範囲のフレーム画像のうち画素値の分散が最も大きいものを代表フレーム画像として選択するようにすれば、真っ暗な画像や手ぶれのひどい画像など、動画像の内容を把握する上で適切でないフレーム画像が代表フレーム画像として選択されにくくすることができる。
【００１４】
また、例えば請求項５に記載のように、最初に選択する代表フレーム画像については、抽出対象範囲のフレーム画像のうち画素値のヒストグラム分布範囲が最も広いものを代表フレーム画像として選択するようにしても、請求項４と同様、動画像の内容を把握する上で適切でないフレーム画像が代表フレーム画像として選択されにくくすることができる。
【００１５】
一方、本発明の画像処理装置では、複数の基準フレーム画像が１つずつ含まれるように複数の抽出対象範囲が設定されるが、具体的には例えば請求項６に記載のように、基準フレーム画像を中心とする複数のフレーム画像群からなる範囲を抽出対象範囲として設定するとよい。このようにすれば、時系列的に等間隔な関係にできるだけ近いフレーム画像を複数の代表フレーム画像として抽出することができる。
【００１６】
なお、抽出対象範囲のフレーム画像の数によっては、厳密に中心となるフレーム画像が存在しない場合も考えられるが、ここでいう中心とはそのような厳密性が要求されるものではなく、可能な限りで中心であればよい。例えば、０フレーム目から９フレーム目までの抽出対象範囲の中心となるフレーム画像としては４フレーム目及び５フレーム目のいずれも該当する。
【００１７】
ところで、単位時間当たりのフレーム数は動画像によって異なり得るため、例えば抽出対象範囲に含まれるフレーム画像の数を動画像に関係なく固定数とした場合、抽出対象範囲に相当する時間（期間）が動画像によって異なり得ることになる。
【００１８】
そこで、例えば請求項７に記載の画像処理装置では、設定手段は、単位時間当たりのフレーム数が多い動画像ほど抽出対象範囲に含まれるフレーム画像の数を多くする。このような画像処理装置によれば、動画像によって単位時間当たりのフレーム数が異なっても、抽出対象範囲に相当する時間を同様の時間に設定することが可能となる。
【００１９】
また、代表フレーム画像は、基準フレーム画像及びその周辺の（時系列的に近い）フレーム画像の中から抽出されることから、動画像の全体的な流れを把握しやすい代表フレーム画像が抽出されるようにするためには、動画像の全体的な流れを把握しやすい位置に基準フレーム画像を設定することが好ましい。
【００２０】
そこで、例えば請求項８に記載の画像処理装置では、設定手段は、動画像を構成する先頭のフレーム画像、最終のフレーム画像及びそれらの間を等分割するフレーム画像を基準フレーム画像として複数の抽出対象範囲を設定する。このような画像処理装置によれば、動画像の全体的な流れを把握するのに好適な代表フレーム画像を抽出することができる。
【００２１】
なお、請求項９に記載の画像処理プログラムによれば、請求項１に記載の画像処理装置としてコンピュータを機能させることができ、これにより前述した効果を得ることができる。
【図面の簡単な説明】
【００２２】
【図１】実施形態の複合機の概略構成を表すブロック図である。
【図２】（ａ）は基準フレーム画像の設定方法の説明図、（ｂ）は代表フレーム画像の選択方法の説明図である。
【図３】（ａ）は入力画像情報記憶領域の説明図、（ｂ）は動画像情報記憶領域の説明図である。
【図４】（ａ）は基準フレーム情報記憶領域の説明図、（ｂ）は抽出フレーム情報記憶領域の説明図である。
【図５】（ａ）はフレーム配置画像の説明図、（ｂ）はフレーム差分情報記憶領域の説明図である。
【図６】メディア画像印刷処理のフローチャートである。
【図７】印刷画像選択処理のフローチャートである。
【図８】出力画像生成処理のフローチャートである。
【図９】抽出フレーム選択処理のフローチャートである。
【発明を実施するための形態】
【００２３】
以下、本発明が適用された実施形態について、図面を用いて説明する。
［１．全体構成］
図１は、実施形態の画像処理装置としての複合機１０の概略構成を表すブロック図である。
【００２４】
この複合機１０は、プリンタ機能の他、スキャナ機能やコピー機能等を有する多機能装置であり、ＣＰＵ１１、ＲＯＭ１２、内部メモリ（ＲＡＭ）１３、スキャナ読取部１４、印刷制御部１５、液晶表示部１６、操作入力部１７及びメディアカードスロット１８を備えており、これらは信号線を介して接続されている。
【００２５】
ＣＰＵ１１は、複合機１０におけるすべての演算を行うための装置である。
ＲＯＭ１２は、後述する処理（図６〜図９）をＣＰＵ１１に実行させるためのプログラムがあらかじめ記憶されている装置である。
【００２６】
内部メモリ１３は、ＣＰＵ１１による演算結果や入力データなどを一時的に記憶しておくための装置である。なお、内部メモリ１３の記憶領域の詳細については後述する。
印刷制御部１５は、印刷命令が出された画像データを印刷するための装置であり、ＣＭＹＫの色材（トナーやインク等）によりカラー画像を印刷可能なものである。
【００２７】
液晶表示部１６は、小型のカラー液晶ディスプレイに画像（メッセージ等の文字列を表す画像を含む。）を表示するための装置である。
操作入力部１７は、ユーザによって押操作される各種操作キーが配置され、操作に基づく情報を入力するための装置である。具体的には、上下左右操作を行うための上キー、下キー、左キー及び右キーと、決定操作を行うためのＯＫキーとを備えている。
【００２８】
メディアカードスロット１８は、ＳＤカードやＣＦカード等のメディアカード（不揮発性の可搬型記憶媒体）を挿入可能に構成されている。そして、複合機１０は、メディアカードスロット１８に挿入された状態のメディアカードから画像ファイルを直接読み出し、読み出した画像ファイルの表す画像を印刷する機能（いわゆるダイレクトプリント機能）を有している。
【００２９】
ここで、画像ファイルとしては、静止画像を表す静止画像ファイルだけでなく、動画像を表す動画像ファイルも対象となる。具体的には、印刷対象の画像ファイルが静止画像ファイルの場合には、その静止画像ファイルの表す静止画像のみを１ページに印刷する。一方、印刷対象の画像ファイルが動画像ファイルの場合には、その動画像ファイルの表す動画像を構成するすべてのフレーム画像のうち、あらかじめ決められた抽出フレーム数（本実施形態では９個）のフレーム画像を抽出し、抽出したフレーム画像を同一ページに時系列順に配置したフレーム配置画像（図５（ａ）参照）を生成して印刷する。
【００３０】
具体的には、図２（ａ）に示すように、動画像を構成するすべてのフレーム画像のうち、先頭フレーム画像及び最終フレーム画像と、これらの間を８等分した各等分位置（正確に等分できない場合は近似位置）の７個のフレーム画像とからなる計９個のフレーム画像を基準フレーム画像（基準点）に設定する。つまり、動画像において時系列的に互いに等間隔な関係にある９個のフレーム画像を基準フレーム画像として設定する。
【００３１】
そして、９個の基準フレーム画像のそれぞれについて、その前後の所定数の周辺フレーム画像を含めた抽出対象範囲を互いに重複しないように設定し、こうして設定した９個の抽出対象範囲のそれぞれから、フレーム配置画像に配置すべき代表フレーム画像を１つずつ選択する。具体的には、図２（ｂ）に示すように、抽出対象範囲に含まれるフレーム画像（基準フレーム画像及び周辺フレーム画像）のそれぞれについて、その抽出対象範囲よりも時系列的に１つ前の抽出対象範囲から既に選択された代表フレーム画像との差分を算出し、その差分が最も大きいものを代表フレーム画像として選択する。つまり、Ｎ番目の抽出対象範囲の代表フレーム画像として、Ｎ−１番目の抽出対象範囲から既に選択された代表フレーム画像との差分が最も大きいフレーム画像を選択する。ただし、最初に代表フレーム画像を選択する抽出対象範囲については、差分を求める対象となる代表フレーム画像が存在しないため、本実施形態では基準フレーム画像（先頭フレーム画像）をそのまま代表フレーム画像とする。
【００３２】
なお、複合機１０は、メディアカードに記憶されている複数の画像ファイルの中から印刷対象の画像ファイルをユーザに選択させるため、画像ファイルの表す画像の印刷イメージを把握可能なプレビュー画像を液晶表示部１６に表示し、ユーザにより選択されたプレビュー画像に対応する画像ファイルの表す画像を印刷するようになっている。
【００３３】
［２．内部メモリの記憶領域］
次に、内部メモリ１３の記憶領域について説明する。
図１に示すように、内部メモリ１３には、各種情報を記憶するための記憶領域として、入力画像情報記憶領域３１、動画像情報記憶領域３２、基準フレーム情報記憶領域３３、抽出フレーム情報記憶領域３４、フレーム差分情報記憶領域３５、出力画像データ記憶領域３６、プレビュー画像データ記憶領域３７、フレーム画像データ記憶領域３８、印刷データ記憶領域３９及び一時変数記憶領域４０が用意されている。
【００３４】
入力画像情報記憶領域３１は、メディアカードに記憶されている画像ファイルの情報を記憶するための領域である。具体的には、図３（ａ）に示すように、入力画像情報記憶領域３１は、入力画像ＩＤ記憶領域５１、入力画像ファイル名記憶領域５２及び入力画像ファイルサイズ記憶領域５３を備えている。
【００３５】
入力画像ＩＤ記憶領域５１は、メディアカードに記憶されている画像ファイルの数に応じて０から順に振り分けた画像ファイルのＩＤ（以下「入力画像ＩＤ」という。）を記憶するための領域である。具体的には、メディアカードから読み出された画像ファイルに対し、読み出された順に入力画像ＩＤが割り振られる。
【００３６】
入力画像ファイル名記憶領域５２は、メディアカードに記憶されている画像ファイルのファイル名を記憶するための領域である。具体的には、２５６バイトの領域の中に２５６文字（１文字／バイト）の文字データ（文字無しの情報も含む）が格納される。
【００３７】
入力画像ファイルサイズ記憶領域５３は、メディアカードに記憶されている画像ファイルのファイルサイズを数値（この例ではキロバイト単位の数値）として記憶するための領域である。
【００３８】
図１に戻り、動画像情報記憶領域３２は、メディアカードに記憶されている画像ファイルのうち、処理対象となっている動画像ファイルの情報を一時的に記憶しておくための領域である。具体的には、図３（ｂ）に示すように、動画像情報記憶領域３２は、フォーマット種別記憶領域６１、コーデック種別記憶領域６２、横方向サイズ記憶領域６３、縦方向サイズ記憶領域６４及び総フレーム数記憶領域６５を備えている。
【００３９】
フォーマット種別記憶領域６１は、処理対象となっている動画像ファイルのファイルフォーマットの種別を記憶する領域である。本実施形態では、３種類のファイルフォーマットに対応付けられた数値（例えば、ＡＶＩフォーマットであれば「０」、ＭＯＶフォーマットであれば「１」、ＭＰＥＧフォーマットであれば「２」）が記憶される。
【００４０】
コーデック種別記憶領域６２は、処理対象となっている動画像ファイルのコーデックの種別を記憶する領域である。本実施形態では、３種類のコーデックに対応付けられた数値（例えば、ＭｏｔｉｏｎＪＰＥＧコーデックであれば「０」、ＭＰＥＧ１コーデックであれば「１」、ＤｉｖＸコーデックであれば「２」）が記憶される。
【００４１】
横方向サイズ記憶領域６３は、処理対象となっている動画像ファイル（フレーム画像）の横方向のピクセルサイズを数値データとして記憶する領域である。
縦方向サイズ記憶領域６４は、処理対象となっている動画像ファイル（フレーム画像）の縦方向のピクセルサイズを数値データとして記憶する領域である。
【００４２】
総フレーム数記憶領域６５は、処理対象となっている動画像ファイルを構成するフレーム画像データの総数（総フレーム数）を数値データとして記憶する領域である。
図１に戻り、基準フレーム情報記憶領域３３は、基準フレーム画像の情報を記憶するための領域である。具体的には、図４（ａ）に示すように、基準フレーム情報記憶領域３３は、基準フレーム情報管理番号記憶領域７１、基準フレーム番号記憶領域７２、抽出対象範囲開始フレーム番号記憶領域７３及び抽出対象範囲終了フレーム番号記憶領域７４を備えている。
【００４３】
基準フレーム情報管理番号記憶領域７１は、基準フレーム画像の情報の格納領域に対応した管理番号（０〜８の番号）があらかじめ記憶された領域である。
基準フレーム番号記憶領域７２は、各基準フレーム画像が動画像ファイルの何フレーム目に当たるかを示す数値（フレーム番号）を記憶するための領域である。なお、先頭フレーム画像を０フレーム目とする。
【００４４】
抽出対象範囲開始フレーム番号記憶領域７３は、抽出対象範囲において最も小さい値のフレーム番号（以下「抽出対象範囲開始フレーム番号」という。）を格納するための領域である。
【００４５】
抽出対象範囲終了フレーム番号記憶領域７４は、抽出対象範囲において最も大きい値のフレーム番号（以下「抽出対象範囲終了フレーム番号」という。）を格納するための領域である。
【００４６】
図１に戻り、抽出フレーム情報記憶領域３４は、代表フレーム画像の情報を記憶するための領域である。具体的には、図４（ｂ）に示すように、抽出フレーム情報記憶領域３４は、抽出フレーム情報管理番号記憶領域８１及び抽出フレーム番号記憶領域８２を備えている。
【００４７】
抽出フレーム情報管理番号記憶領域８１は、代表フレーム画像の情報の格納領域に対応した管理番号（０〜８の番号）があらかじめ記憶された領域である。この管理番号は、図５（ａ）に示す各配置領域の番号に対応している。
【００４８】
抽出フレーム番号記憶領域８２は、各代表フレーム画像が動画像ファイルの何フレーム目に当たるかを示す数値（フレーム番号）を記憶するための領域である。
図１に戻り、フレーム差分情報記憶領域３５は、差分を記憶するための領域である。具体的には、図５（ｂ）に示すように、フレーム差分情報記憶領域３５は、抽出対象フレーム数記憶領域９１、フレーム差分記憶領域９２及び対応フレーム番号記憶領域９３を備えている。
【００４９】
抽出対象フレーム数記憶領域９１は、抽出対象範囲に含まれるフレーム画像の数（以下「抽出対象フレーム数」という。）を記憶するための領域である。なお、後述するように、実際に抽出対象範囲に含まれるフレーム画像の数は、この抽出対象フレーム数に基づき決定されるが、この抽出対象フレーム数と一致するとは限らない。
【００５０】
フレーム差分記憶領域９２は、フレーム画像間の差分（絶対値）を一時的に記憶しておくための領域である。
対応フレーム番号記憶領域９３は、フレーム差分記憶領域９２に記憶されている差分を算出したフレーム画像が動画像ファイルの何フレーム目に当たるかを示す数値（フレーム番号）を一時的に記憶しておくための領域である。
【００５１】
図１に戻り、出力画像データ記憶領域３６は、画像ファイルに基づく印刷用画像を表す出力画像データを一時的に記憶しておくための領域である。具体的には、静止画像ファイルに基づく印刷用画像は１つの画像からなるため、この１つの画像を表す画像データが出力画像データ記憶領域３６の全体に配置される。一方、動画像ファイルに基づく印刷用画像は９個の画像からなるため、９等分された各配置領域に各フレーム画像を表す画像データが配置されることとなる（図５（ａ）参照）。
【００５２】
プレビュー画像データ記憶領域３７は、デコードデータをあらかじめ決められたプレビュー画像のサイズに変換（拡大又は縮小）処理したプレビュー画像データを一時的に記憶しておくための領域である。
【００５３】
フレーム画像データ記憶領域３８は、動画像ファイルから抽出したフレーム画像データを記憶するための領域である。なお、フレーム画像データは、動画像ファイルの種類によっては固有の形式（例えばＪＰＥＧ形式、ＭＰＥＧ形式など）で圧縮された状態で記憶される。
【００５４】
印刷データ記憶領域３９は、印刷処理をするための画像データ（印刷データ（ラスタデータ）を生成するための中間処理データ及び印刷データ（ラスタデータ））を一時的に記憶しておくための領域である。
【００５５】
一時変数記憶領域４０は、変数やカウンタなど、一時的な情報を記憶するための領域である。
［３．ＣＰＵが実行する処理］
次に、画像ファイルの記憶されているメディアカードがメディアカードスロット１８に挿入されている状態で、「メディア画像印刷」モードを選択する操作が操作入力部１７で行われることにより、複合機１０のＣＰＵ１１が実行するメディア画像印刷処理について、図６のフローチャートを用いて説明する。
【００５６】
ＣＰＵ１１は、このメディア画像印刷処理を開始すると、まずＳ１０１で、メディアカードに記憶されている画像ファイルごとにファイル名及びファイルサイズを読み出し、入力画像情報記憶領域３１の入力画像ファイル名記憶領域５２及び入力画像ファイルサイズ記憶領域５３に順に記憶するメディア情報抽出処理を行う。なお、このメディア情報抽出処理では、メディアカードから読み出された情報に対して入力画像ＩＤが０から順に割り振られて入力画像ＩＤ記憶領域５１に記憶される。
【００５７】
続いて、Ｓ１０２では、メディアカードに記憶されている画像ファイルの表す画像の印刷イメージを把握可能なプレビュー画像を液晶表示部１６に表示して、印刷対象の画像ファイルをユーザに選択させる印刷画像選択処理を実行する。
【００５８】
ここで、印刷画像選択処理の詳細について図７のフローチャートを用いて説明する。
ＣＰＵ１１は、この印刷画像選択処理を開始すると、まずＳ２０１で、メディアカードに記憶されている画像ファイルの中から、液晶表示部１６にプレビュー画像を表示する１つの画像ファイルを決定する。具体的には、初期値（印刷画像選択処理開始時の値）が０のプレビューＩＤカウンタを一時変数記憶領域４０にあらかじめ用意しておき、プレビューＩＤカウンタの値に対応する入力画像ＩＤ（入力画像ＩＤ記憶領域５１に記憶された値）の画像ファイルを、プレビュー画像を表示する画像ファイルとして決定する。なお、後述するように、操作入力部１７の上キー、下キー、左キー又は右キーの押操作に応じて液晶表示部１６に表示されるプレビュー画像を他の画像ファイルのものに変更し、ＯＫキーの押操作時に表示されているプレビュー画像に対応する画像ファイルを印刷対象として選択する。
【００５９】
続いて、Ｓ２０２では、Ｓ２０１で決定した画像ファイルに基づく印刷用画像を表す出力画像データを生成する出力画像生成処理を実行する。
ここで、出力画像生成処理の詳細について図８のフローチャートを用いて説明する。
【００６０】
ＣＰＵ１１は、この出力画像生成処理を開始すると、まずＳ３０１で、液晶表示部１６にプレビュー画像を表示する画像ファイルの入力画像ＩＤ（プレビューＩＤカウンタの値）を読み出す。
【００６１】
続いて、Ｓ３０２では、Ｓ３０１で読み出した入力画像ＩＤの画像ファイルの種類が静止画像ファイル及び動画像ファイルのうちのいずれに分類されるものであるかを判定する。
【００６２】
そして、Ｓ３０２で、画像ファイルの種類が動画像ファイルであると判定した場合には、Ｓ３０３へ移行し、この動画像ファイルの動画像パラメータの抽出処理を実行する。この抽出処理により、動画像ファイルのフォーマット種別情報、コーデック種別情報、横方向サイズ情報、縦方向サイズ情報及び総フレーム数情報が得られる。こうして得られた各情報は、動画像情報記憶領域３２内のフォーマット種別記憶領域６１、コーデック種別記憶領域６２、横方向サイズ記憶領域６３、縦方向サイズ記憶領域６４及び総フレーム数記憶領域６５にそれぞれ記憶される。
【００６３】
続いて、Ｓ３０４では、動画像ファイルの表す動画像から抽出するフレーム画像（代表フレーム画像）を選択するための抽出フレーム選択処理を実行する。
ここで、抽出フレーム選択処理の詳細について図９のフローチャートを用いて説明する。
【００６４】
ＣＰＵ１１は、この抽出フレーム選択処理を開始すると、まずＳ４０１で、抽出対象フレーム数を算出する。本実施形態では、処理対象となっている動画像ファイルの１秒間に再生するフレーム数であるＦＰＳ（Ｆｒａｍｅｓ Ｐｅｒ Ｓｅｃｏｎｄ）の値に１（基準フレーム画像の数）を加えた値を抽出対象フレーム数とする。つまり、周辺フレーム画像の数が１秒間分のフレーム数となるように抽出対象フレーム数を算出する。
【００６５】
続いて、Ｓ４０２では、Ｓ４０１で算出した抽出対象フレーム数（ＦＰＳ＋１であり、例えば３１）を、フレーム差分情報記憶領域３５の抽出対象フレーム数記憶領域９１に記憶する。
【００６６】
続いて、Ｓ４０３では、９個の基準フレーム画像のフレーム番号（以下「基準フレーム番号」という。）を算出する。本実施形態では、動画像ファイルの総フレーム数を先頭フレーム画像から最終フレーム画像までの間で８等分した各等分位置の７個のフレーム画像と、先頭フレーム画像及び最終フレーム画像との計９個のフレーム画像を基準フレーム画像とする。具体的には、「総フレーム数−１」を「抽出フレーム数−１」（９−１＝８）で除した値ごとに基準フレーム画像を設定する。なお、「総フレーム数−１」が「抽出フレーム数−１」で割り切れない場合には、その値の近傍（例えば小数点以下を切り捨てた値に対応するフレーム番号）のフレーム画像を基準フレーム画像として設定すればよい。
【００６７】
続いて、Ｓ４０４では、Ｓ４０３で算出した基準フレーム番号を基準フレーム番号記憶領域７２に記憶する。具体的には、基準フレーム番号の小さいものから順に、基準フレーム情報管理番号記憶領域７１の管理番号が小さい方から格納される。
【００６８】
続いて、Ｓ４０５では、９個の基準フレーム画像のそれぞれについて、抽出対象範囲開始フレーム番号（抽出対象範囲において最も小さい値のフレーム番号）及び抽出対象範囲終了フレーム番号（抽出対象範囲において最も大きい値のフレーム番号）を下記（１）及び（２）の手順で求める。
【００６９】
（１）抽出対象範囲開始フレーム番号の算出
まず、基準フレーム番号を基点にして、基準フレーム画像よりも時系列的順序が前の周辺フレーム画像の個数である前方周辺フレーム数を求める。具体的には、次の（Ａ）及び（Ｂ）のうちいずれか小さい方の値を前方周辺フレーム数とする（小数点以下は切り捨てる）。
【００７０】
（Ａ）「（抽出対象フレーム数−１）／２」の値
（Ｂ）「（現在の基準フレーム番号−１つ前の基準フレーム番号−１）／２」の値
なお、（Ｂ）の値は、抽出対象範囲が互いに重複しないようにするための制限値である。すなわち、（Ａ）の値（０．５秒間分のフレーム数）は（Ｂ）の値よりも小さくなることが通常であるが、動画像ファイルの表す動画像が極端に短いような場合には（Ａ）の値が（Ｂ）の値を上回る可能性もあるため、（Ａ）及び（Ｂ）のうちいずれか小さい方の値を前方周辺フレーム数とすることで抽出対象範囲が互いに重複しないようにしている。この点は、後述する後方周辺フレーム数についても同様である。
【００７１】
そして、次の式から抽出対象範囲開始フレーム番号を算出する。
抽出対象範囲開始フレーム番号＝基準フレーム番号−前方周辺フレーム数
（２）抽出対象範囲終了フレーム番号の算出
まず、基準フレーム番号を基点にして、基準フレーム画像よりも時系列的順序が後の周辺フレーム画像の個数である後方周辺フレーム数を求める。具体的には、次の（Ｃ）及び（Ｄ）のうちいずれか小さい方の値を後方周辺フレーム数とする（小数点以下は切り捨てる）。
【００７２】
（Ｃ）「（抽出対象フレーム数−１）／２」の値
（Ｄ）「（１つ後の基準フレーム番号−現在の基準フレーム番号−１）／２」の値
そして、次の式から抽出対象範囲終了フレーム番号を算出する。
【００７３】
抽出対象範囲終了フレーム番号＝基準フレーム番号＋後方周辺フレーム数
なお、先頭フレーム画像については、抽出対象範囲終了フレーム番号のみを算出し、抽出対象範囲開始フレーム番号は基準フレーム番号と同一の値とする。同様に、最終フレーム画像については、抽出対象範囲開始フレーム番号のみを算出し、抽出対象範囲終了フレーム番号は基準フレーム番号と同一の値とする。
【００７４】
続いて、Ｓ４０６では、Ｓ４０５で９個の基準フレーム画像のそれぞれについて算出した抽出対象範囲開始フレーム番号及び抽出対象範囲終了フレーム番号を、基準フレーム情報記憶領域３３の抽出対象範囲開始フレーム番号記憶領域７３及び抽出対象範囲終了フレーム番号記憶領域７４にそれぞれ記憶する。
【００７５】
続いて、Ｓ４０７では、基準フレーム情報記憶領域３３における最初の（管理番号が０の）基準フレーム番号（先頭フレーム画像のフレーム番号）を、抽出フレーム情報記憶領域３４における管理番号が０の抽出フレーム番号記憶領域８２に記憶する。つまり、最初に選択する代表フレーム画像については、基準フレーム画像をそのまま代表フレーム画像とする。
【００７６】
以下、Ｓ４０８〜Ｓ４１７のループ処理は、基準フレーム情報記憶領域３３における管理番号が１〜８の基準フレーム画像について順に実行される。具体的には、初期値（抽出フレーム選択処理開始時の値）が１の基準フレームカウンタを一時変数記憶領域４０にあらかじめ用意しておき、この基準フレームカウンタの値に対応する管理番号の基準フレーム画像を処理対象としてＳ４０８〜Ｓ４１７の処理を行う。なお、Ｓ４１７からＳ４０８に戻る際に基準フレームカウンタの値に１を加算する。
【００７７】
Ｓ４０８では、１つ前の代表フレーム画像（抽出フレーム情報記憶領域３４における管理番号が「基準フレームカウンタ−１」の代表フレーム画像）との差分を算出するフレーム画像（以下「差分算出フレーム」という。）を設定する。具体的には、初期値（抽出フレーム選択処理開始時の値）が０の差分フレームカウンタを一時変数記憶領域４０にあらかじめ用意しておき、抽出対象範囲開始フレーム番号に差分フレームカウンタの値を加えた値を差分算出フレームのフレーム番号として設定する。
【００７８】
続いて、Ｓ４０９では、一時変数記憶領域４０にあらかじめ用意した差分カウンタを０に初期化する。
続いて、Ｓ４１０〜Ｓ４１２では、１つ前の代表フレーム画像と差分算出フレームとの差分を算出する。すなわち、これら２つのフレーム画像データに伸張（デコード）処理を施し、各座標位置単位で画素値の差分絶対値を算出する。これを、ＲＧＢそれぞれについて全座標分算出し、この合計値を差分とする。具体的には、処理対象のピクセルについてピクセル差分を算出し（Ｓ４１０）、その絶対値を差分カウンタに加算する（Ｓ４１１）という処理を、ピクセルの総数分繰り返す（Ｓ４１２）。
【００７９】
続いて、Ｓ４１３では、差分カウンタの値（１つ前の代表フレーム画像と差分算出フレームとの差分）が、フレーム差分記憶領域９２に記憶されている値よりも大きいか否かを判定する。なお、抽出フレーム選択処理開始時の初期値は０である。
【００８０】
そして、Ｓ４１３で、差分カウンタの値がフレーム差分記憶領域９２に記憶されている値よりも大きいと判定した場合には、Ｓ４１４へ移行し、差分カウンタの値をフレーム差分記憶領域９２に記憶（上書き）し、差分算出フレームのフレーム番号を対応フレーム番号記憶領域９３に記憶（上書き）する。その後、Ｓ４１５へ移行する。
【００８１】
一方、Ｓ４１３で、差分カウンタの値がフレーム差分記憶領域９２に記憶されている値以下であると判定した場合には、そのままＳ４１５へ移行する。
Ｓ４１５では、抽出対象範囲に含まれるすべてのフレーム画像（処理対象の基準フレーム及びその周辺フレーム）について差分を算出したか否かを判定する。具体的には、抽出対象範囲開始フレーム番号に差分フレームカウンタの値を加えた値（差分算出フレームのフレーム番号）が抽出対象範囲終了フレーム番号に達した場合に、すべてのフレーム画像について差分を算出したと判定する。
【００８２】
そして、Ｓ４１５で、差分を算出していないフレーム画像が抽出対象範囲に存在すると判定した場合には、差分フレームカウンタの値に１を加算してＳ４０８に戻る。
一方、Ｓ４１５で、抽出対象範囲に含まれるすべてのフレーム画像について差分を算出したと判定した場合には、Ｓ４１６へ移行し、抽出フレーム情報記憶領域３４における管理番号が基準フレームカウンタの値の抽出フレーム番号記憶領域８２に、対応フレーム番号記憶領域９３の値を記憶する。つまり、１つ前の代表フレーム画像との差分が最も大きかったフレーム画像を代表フレーム画像として選択し、そのフレーム番号を抽出フレーム番号記憶領域８２に記憶する。
【００８３】
続いて、Ｓ４１７では、基準フレーム情報記憶領域３３における管理番号が１〜８の基準フレーム画像のすべてについてその基準フレーム画像が含まれる抽出対象範囲から代表フレーム画像を選択したか否かを判定する。
【００８４】
そして、Ｓ４１７で、代表フレーム画像を選択していない基準フレーム画像が存在すると判定した場合には、基準フレームカウンタの値に１を加算してＳ４０８に戻る。
一方、Ｓ４１７で、管理番号が１〜８の基準フレーム画像のすべてについて代表フレーム画像を選択したと判定した場合には、本抽出フレーム選択処理を終了する。
【００８５】
続いて、図８に戻り、Ｓ３０５〜Ｓ３０９のループ処理を実行する。このループ処理は、抽出フレーム情報記憶領域３４における管理番号が０〜８の代表フレーム画像について順に実行される。具体的には、初期値（出力画像生成処理開始時の値）が０の代表フレームカウンタを一時変数記憶領域４０にあらかじめ用意しておき、この代表フレームカウンタの値に対応する管理番号の代表フレーム画像を処理対象としてＳ３０５〜Ｓ３０９の処理を行う。なお、Ｓ３０９からＳ３０５に戻る際に代表フレームカウンタの値に１を加算する。
【００８６】
Ｓ３０５では、代表フレーム画像のフレーム番号に対応するフレーム画像データを動画像ファイルから抽出する処理を行う。
続いて、Ｓ３０６では、Ｓ３０５で抽出したフレーム画像データ（伸張処理前の画像データ）を、フレーム画像データ記憶領域３８に記憶する。
【００８７】
続いて、Ｓ３０７では、Ｓ３０６でフレーム画像データ記憶領域３８に記憶したフレーム画像データに伸張処理を施すことにより、フレーム画像データをピクセル演算が可能な形式（ピクセルごとにＲＧＢ値をそれぞれ０〜２５５の値で表した画像データ）に変換する。
【００８８】
続いて、Ｓ３０８では、伸張処理後のフレーム画像データを、出力画像データ記憶領域３６における対応する配置領域（図５（ａ））に配置（記憶）する。
続いて、Ｓ３０９では、管理番号が０〜８の代表フレーム画像のすべてを出力画像データ記憶領域３６に配置したか否かを判定する。具体的には、代表フレームカウンタの値が８に達した場合に、代表フレーム画像のすべてを出力画像データ記憶領域３６に配置したと判定する。
【００８９】
そして、Ｓ３０９で、配置していない代表フレーム画像が存在すると判定した場合には、代表フレームカウンタの値に１を加算してＳ３０５に戻る。
一方、Ｓ３０９で、代表フレーム画像のすべてを出力画像データ記憶領域３６に配置したと判定した場合には、本出力画像生成処理を終了する。なお、この時点で出力画像データ記憶領域３６に記憶されている画像データが、動画像ファイルの出力画像データである。
【００９０】
また、前述したＳ３０２で、画像ファイルの種類が静止画像ファイルであると判定した場合には、Ｓ３１０へ移行し、この静止画像ファイルに伸張処理を施し、データをピクセル演算が可能な形式に変換する。
【００９１】
続いて、Ｓ３１１では、伸張処理後の画像データを出力画像データ記憶領域３６に記憶した後、本出力画像生成処理を終了する。つまり、静止画像ファイルの場合には、動画像ファイルと異なり、静止画像は出力画像データ記憶領域３６に１つしか配置されない。なお、この時点で出力画像データ記憶領域３６に記憶されている画像データが、静止画像ファイルの出力画像データである。
【００９２】
続いて、図７に戻り、Ｓ２０３では、出力画像データ記憶領域３６に記憶されている出力画像データ（デコードデータ）に対し、プレビュー画像のサイズ（固定のサイズであり本実施形態では１６０×１２０ピクセル）となるようにニアレストネイバー法で縮小処理又は拡大処理を行い、プレビュー画像データ記憶領域３７に記憶する。
【００９３】
続いて、Ｓ２０４では、プレビュー画像データ記憶領域３７に記憶されている画像データ（プレビュー画像データ）の表す画像（プレビュー画像）を、液晶表示部１６に表示する。
【００９４】
続いて、Ｓ２０５では、ユーザによって操作入力部１７で行われた操作キーの押操作の情報を入力し、続くＳ２０６では、入力した情報に基づき、押されたキーがＯＫキーであるかそれ以外のキー（具体的には、上キー、下キー、左キー又は右キー）であるかを判定する。
【００９５】
そして、Ｓ２０６で、押されたキーがＯＫキー以外のキーであると判定した場合には、Ｓ２０７へ移行し、プレビューＩＤカウンタの値を更新する。具体的には、押されたキーが下キー又は右キーの場合には、プレビュー画像を表示する画像ファイルを入力画像ＩＤの値が１つ大きい画像ファイルに変更するため、プレビューＩＤカウンタの値に１を加算する。一方、押されたキーが上キー又は左キーの場合には、プレビュー画像を表示する画像ファイルを入力画像ＩＤの値が１つ小さい画像ファイルに変更するため、プレビューＩＤカウンタの値から１を減算する。このＳ２０７の処理の後、Ｓ２０１に戻る。これにより、液晶表示部１６に表示されるプレビュー画像が他の画像ファイルのものに変更されることになる。ただし、上記演算（加算又は減算）の結果、プレビューＩＤカウンタの値が入力画像ＩＤの値の範囲（０〜「メディアカードに記憶されている画像ファイルの数−１」）を超える場合には、演算を行わずに値を維持する。なお、この場合には液晶表示部１６に表示されるプレビュー画像は変更されないので、Ｓ２０１に戻るのではなくＳ２０５に戻るようにしてもよい。
【００９６】
一方、Ｓ２０６で、押されたキーがＯＫキーであると判定した場合、つまり、この時点で表示されているプレビュー画像に対応する画像ファイルが印刷対象として選択された場合には、本印刷画像選択処理を終了して図６のＳ１０３へ移行する。
【００９７】
Ｓ１０３では、Ｓ１０２で選択された印刷対象の画像ファイルの表す画像を印刷するための画像印刷処理を実行する。この印刷処理では、出力画像データ記憶領域３６に記憶されている出力画像データを、１ライン単位で印刷データ記憶領域３９にコピーし、色変換処理（ＲＧＢ→ＣＭＹＫ）及び二値化処理を行った後、印刷制御部１５へ出力する。これにより、印刷制御部１５で二値データに基づく印刷が行われる。その後、本メディア画像印刷処理を終了する。
【００９８】
［４．効果］
以上説明したように、本実施形態の複合機１０は、動画像を構成するすべてのフレーム画像において９個の抽出対象範囲を互いに重複しないように設定し（Ｓ４０１〜Ｓ４０６）、各抽出対象範囲から１つずつ抽出すべき代表フレーム画像を選択して（Ｓ４０７〜Ｓ４１７）、それらを時系列的な規則性を持つように配置したフレーム配置画像を生成する（Ｓ３０５〜Ｓ３０９）。
【００９９】
具体的には、動画像を構成する先頭フレーム画像、最終フレーム画像及びこれらの間を８等分した等分位置のフレーム画像を基準フレーム画像として設定し（Ｓ４０１〜Ｓ４０４）、これら時系列的に互いに等間隔な関係にある９個の基準フレーム画像が１つずつ含まれるように９個の抽出対象範囲を設定する（Ｓ４０５，Ｓ４０６）。
【０１００】
そして、最初に選択する代表フレーム画像については、他の代表フレーム画像に対する差分に関係なく、基準フレーム画像を代表フレーム画像として選択する（Ｓ４０７）。一方、残りの代表フレーム画像については、選択済の代表フレーム画像に対する差分が最も大きいフレーム画像を、その選択済の代表フレーム画像が選択された抽出対象範囲よりも時系列的に１つ後の抽出対象範囲から選択する（Ｓ４０８〜Ｓ４１７）。
【０１０１】
このような複合機１０によれば、フレーム配置画像に配置される代表フレーム画像が時系列的にも内容的にも片寄らないようにすることができるため、動画像の流れを把握しやすく、かつ、内容を把握しやすいフレーム配置画像を生成することができる。
【０１０２】
特に、本実施形態の複合機１０では、基準フレーム画像を中心とする複数のフレーム画像群からなる範囲を抽出対象範囲として設定するようにしているため、時系列的に等間隔な関係にできるだけ近いフレーム画像を代表フレーム画像として抽出することができる。
【０１０３】
加えて、本実施形態の複合機１０では、単位時間当たりのフレーム数が多い動画像ほど抽出対象範囲に含まれるフレーム画像の数を多くしているため、動画像によってＦＰＳが異なっても、抽出対象範囲に相当する時間を同様の時間に設定することができる。
【０１０４】
［５．特許請求の範囲との対応］
なお、本実施形態の複合機１０では、Ｓ４０１〜Ｓ４０６の処理を実行するＣＰＵ１１が設定手段に相当し、Ｓ４０７〜Ｓ４１７の処理を実行するＣＰＵ１１が選択手段に相当し、Ｓ３０５〜Ｓ３０９の処理を実行するＣＰＵ１１が配置画像生成手段に相当する。
【０１０５】
［６．他の形態］
以上、本発明の実施形態について説明したが、本発明は、上記実施形態に限定されることなく、種々の形態を採り得ることは言うまでもない。
【０１０６】
例えば、上記実施形態では、フレーム画像間の変化量として差分（具体的には、各座標位置単位での画素値の差分絶対値の合計値）を例示したが、これに限定されるものではなく、フレーム画像の変化量が反映される値であればよい。
【０１０７】
また、上記実施形態では、ピクセル単位の差分の絶対値の合計を「差分」としたが、これに限らず、例えば、公知のオプティカルフロー法などで算出したフレーム間の「動きベクトルの大きさ」を差分算出に用いてもよい。
【０１０８】
一方、上記実施形態の複合機１０では、最初に選択する代表フレーム画像については他の代表フレーム画像との差分を算出することができないため、基準フレーム画像をそのまま代表フレーム画像としているが（Ｓ４０７）、これに限定されるものではない。
【０１０９】
例えば、抽出対象範囲に含まれるフレーム画像のそれぞれについて画素値の分散を算出し、算出した分散が最も大きいフレーム画像を代表フレーム画像として選択してもよい。ここで、各フレーム画像の分散は、例えば下記式（１）から算出することができる。下記式（１）において、Ｄｆｓは分散（標本分散）、ｐはフレーム画像の画素数、ｉは画素値、Ｅ（ｉ）は画素値の平均（相加平均）である。なお、画素数ｐに３を乗じているのは、ＲＧＢ３プレーンのそれぞれについて平均画素値と各画素の画素値との差を算出するからである。
【０１１０】
【数１】
【０１１１】
このように、最初に選択する代表フレーム画像については、抽出対象範囲のフレーム画像のうち画素値の分散が最も大きいものを代表フレーム画像として選択するようにすれば、真っ暗な画像や手ぶれのひどい画像など、動画像の内容を把握する上で適切でないフレーム画像が選択されにくくすることができる。
【０１１２】
また例えば、抽出対象範囲に含まれるフレーム画像のそれぞれについてヒストグラム分布を算出し、この分布範囲が最も広いフレーム画像を代表フレーム画像として選択してもよい。このようにすれば、色分布としてバランスのとれたフレーム画像を代表フレーム画像とすることができ、分散の場合と同様、動画像の内容を把握する上で適切でないフレーム画像が選択されにくくすることができる。
【０１１３】
さらに、上記実施形態の複合機１０では、時系列的な順序が最も前の抽出対象範囲から順に代表フレーム画像を設定するようにしているが、これに限定されるものではなく、例えばこれとは逆に、時系列的な順序が最も後の抽出対象範囲から順に代表フレーム画像を設定するようにしてもよい。また、時系列的な順序が中間の抽出対象範囲から前後方向へ順に代表フレーム画像を設定することも可能である。
【０１１４】
一方、上記実施形態の複合機１０では、まず基準フレーム画像を設定し、次に基準フレーム画像を中心に抽出対象範囲を設定するようにしているが、これに限定されるものではなく、基準フレーム画像を設定することなく抽出対象範囲を設定することも可能である。
【０１１５】
また、上記実施形態の複合機１０では、動画像ファイルから９個のフレーム画像を代表フレーム画像として抽出するようにしているが、これに限定されるものではなく、９個よりも少ない数又は多い数にすることも可能である。また、個数は固定である必要もなく、例えば、ユーザに指定させるようにしてもよい。
【０１１６】
さらに、上記実施形態では、複合機１０（具体的には複合機１０で実行されるプログラム）に本発明を適用した構成を例示したが、これに限定されるものではなく、例えば、複合機以外の印刷装置（例えばスキャナ機能を有しない印刷装置）などにも適用することができる。また、画像を印刷しない装置であってもよく、例えばパーソナルコンピュータなどの情報処理装置やその情報処理装置で実行されるプログラムにも本発明を適用することができる。
【符号の説明】
【０１１７】
１０…複合機、１１…ＣＰＵ、１２…ＲＯＭ、１３…内部メモリ、１５…印刷制御部、１６…液晶表示部、１７…操作入力部、１８…メディアカードスロット、３１…入力画像情報記憶領域、３２…動画像情報記憶領域、３３…基準フレーム情報記憶領域、３４…抽出フレーム情報記憶領域、３５…フレーム差分情報記憶領域、３６…出力画像データ記憶領域、３７…プレビュー画像データ記憶領域、３８…フレーム画像データ記憶領域、３９…印刷データ記憶領域、４０…一時変数記憶領域
【技術分野】
【０００１】
本発明は、動画像から複数のフレーム画像を抽出して配置した画像を生成するための画像処理装置及び画像処理プログラムに関するものである。
【背景技術】
【０００２】
従来、動画像ファイル（複数のフレーム画像により動画像を表す画像データ）の表す動画像から所定数のフレーム画像を抽出し、それらを同一ページに配置した画像を生成して印刷することが可能な印刷装置が提案されている。例えば特許文献１には、動画像の全フレーム数を、同一ページに配置するフレーム画像の数で除したフレーム数ごとに、フレーム画像を抽出する構成が示されている。このような構成では、動画像において時系列的に等間隔な関係にあるフレーム画像が抽出されるため、動画像の流れが把握しやすくなる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−７８１２７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、前述したように時系列的に等間隔な関係にあるフレーム画像を抽出する構成では、類似する内容のフレーム画像が重複して抽出されることもあり、複数のフレーム画像を配置する利点が十分に生かされないことがある。例えば、動画像が短いシーンを含む場合であっても、シーンの切り替わりのタイミングによっては、１枚もそのシーンに含まれるフレーム画像が抽出されない場合がある。このような場合、動画像の内容が把握しにくいものとなってしまうという問題がある。
【０００５】
本発明は、こうした問題にかんがみてなされたものであり、動画像の流れを把握しやすく、かつ、動画像の内容を把握しやすい画像を生成することのできる画像処理装置及び画像処理プログラムを提供することを目的としている。
【課題を解決するための手段】
【０００６】
上記目的を達成するためになされた本発明の請求項１に記載の画像処理装置は、動画像を構成する複数のフレーム画像において複数の抽出対象範囲を互いに重複しないように設定する設定手段と、設定手段により設定された複数の抽出対象範囲のそれぞれから１つずつ抽出すべき代表フレーム画像を選択する選択手段と、選択手段により選択された複数の代表フレーム画像を時系列的な規則性を持つように配置したフレーム配置画像を生成する配置画像生成手段とを備えている。
【０００７】
具体的には、設定手段は、時系列的に互いに等間隔な関係にある複数の基準フレーム画像が１つずつ含まれるように複数の抽出対象範囲を設定する。そして、選択手段は、抽出対象範囲のフレーム画像のうち、時系列的に１つ前又は１つ後の抽出対象範囲から選択された代表フレーム画像に対する変化量が最大となるものを代表フレーム画像として選択する。
【０００８】
このように、本発明の画像処理装置では、時系列的に互いに等間隔な関係にある複数の基準フレーム画像が１つずつ含まれるように設定された複数の抽出対象範囲のそれぞれから代表フレーム画像を１つずつ抽出するようにしているため、フレーム配置画像に配置される代表フレーム画像が時系列的に片寄らないようにすることができる。
【０００９】
しかも、抽出対象範囲のフレーム画像のうち、時系列的に１つ前又は１つ後の抽出対象範囲から選択された代表フレーム画像に対する変化量が最大となるものを代表フレーム画像として選択するようにしているため、フレーム配置画像に配置される代表フレーム画像が内容的にも片寄らないようにすることができる。
【００１０】
したがって、本発明の画像処理装置によれば、動画像の流れを把握しやすく、かつ、内容を把握しやすいフレーム配置画像を生成することができる。
なお、時系列的に先頭の基準フレーム画像と最終の基準フレーム画像との間に存在するフレーム画像の数によっては、厳密な意味での等間隔にはならない場合も考えられるが、ここでいう等間隔とはそのような厳密性が要求されるものではなく、可能な限りで等間隔であればよい。例えば、０フレーム目から９フレーム目までの範囲を等間隔に二分するフレーム画像としては４フレーム目及び５フレーム目のいずれも該当する。
【００１１】
ところで、代表フレーム画像の選択は、具体的には、例えば請求項２に記載のように行うことができる。すなわち、請求項２に記載の画像処理装置では、選択手段は、最初に選択する代表フレーム画像については他の代表フレーム画像に対する変化量に関係なく選択し、残りの代表フレーム画像については、選択済の代表フレーム画像に対する変化量が最も大きいフレーム画像を、その選択済の代表フレーム画像が選択された抽出対象範囲よりも時系列的に１つ前又は１つ後の抽出対象範囲から選択する。
【００１２】
ここで、最初に選択する代表フレーム画像については、例えば請求項３に記載のように、基準フレーム画像を代表フレーム画像として選択するようにすれば、最初に選択する代表フレーム画像を簡易的に選択することができる。
【００１３】
また、例えば請求項４に記載のように、最初に選択する代表フレーム画像については、抽出対象範囲のフレーム画像のうち画素値の分散が最も大きいものを代表フレーム画像として選択するようにすれば、真っ暗な画像や手ぶれのひどい画像など、動画像の内容を把握する上で適切でないフレーム画像が代表フレーム画像として選択されにくくすることができる。
【００１４】
また、例えば請求項５に記載のように、最初に選択する代表フレーム画像については、抽出対象範囲のフレーム画像のうち画素値のヒストグラム分布範囲が最も広いものを代表フレーム画像として選択するようにしても、請求項４と同様、動画像の内容を把握する上で適切でないフレーム画像が代表フレーム画像として選択されにくくすることができる。
【００１５】
一方、本発明の画像処理装置では、複数の基準フレーム画像が１つずつ含まれるように複数の抽出対象範囲が設定されるが、具体的には例えば請求項６に記載のように、基準フレーム画像を中心とする複数のフレーム画像群からなる範囲を抽出対象範囲として設定するとよい。このようにすれば、時系列的に等間隔な関係にできるだけ近いフレーム画像を複数の代表フレーム画像として抽出することができる。
【００１６】
なお、抽出対象範囲のフレーム画像の数によっては、厳密に中心となるフレーム画像が存在しない場合も考えられるが、ここでいう中心とはそのような厳密性が要求されるものではなく、可能な限りで中心であればよい。例えば、０フレーム目から９フレーム目までの抽出対象範囲の中心となるフレーム画像としては４フレーム目及び５フレーム目のいずれも該当する。
【００１７】
ところで、単位時間当たりのフレーム数は動画像によって異なり得るため、例えば抽出対象範囲に含まれるフレーム画像の数を動画像に関係なく固定数とした場合、抽出対象範囲に相当する時間（期間）が動画像によって異なり得ることになる。
【００１８】
そこで、例えば請求項７に記載の画像処理装置では、設定手段は、単位時間当たりのフレーム数が多い動画像ほど抽出対象範囲に含まれるフレーム画像の数を多くする。このような画像処理装置によれば、動画像によって単位時間当たりのフレーム数が異なっても、抽出対象範囲に相当する時間を同様の時間に設定することが可能となる。
【００１９】
また、代表フレーム画像は、基準フレーム画像及びその周辺の（時系列的に近い）フレーム画像の中から抽出されることから、動画像の全体的な流れを把握しやすい代表フレーム画像が抽出されるようにするためには、動画像の全体的な流れを把握しやすい位置に基準フレーム画像を設定することが好ましい。
【００２０】
そこで、例えば請求項８に記載の画像処理装置では、設定手段は、動画像を構成する先頭のフレーム画像、最終のフレーム画像及びそれらの間を等分割するフレーム画像を基準フレーム画像として複数の抽出対象範囲を設定する。このような画像処理装置によれば、動画像の全体的な流れを把握するのに好適な代表フレーム画像を抽出することができる。
【００２１】
なお、請求項９に記載の画像処理プログラムによれば、請求項１に記載の画像処理装置としてコンピュータを機能させることができ、これにより前述した効果を得ることができる。
【図面の簡単な説明】
【００２２】
【図１】実施形態の複合機の概略構成を表すブロック図である。
【図２】（ａ）は基準フレーム画像の設定方法の説明図、（ｂ）は代表フレーム画像の選択方法の説明図である。
【図３】（ａ）は入力画像情報記憶領域の説明図、（ｂ）は動画像情報記憶領域の説明図である。
【図４】（ａ）は基準フレーム情報記憶領域の説明図、（ｂ）は抽出フレーム情報記憶領域の説明図である。
【図５】（ａ）はフレーム配置画像の説明図、（ｂ）はフレーム差分情報記憶領域の説明図である。
【図６】メディア画像印刷処理のフローチャートである。
【図７】印刷画像選択処理のフローチャートである。
【図８】出力画像生成処理のフローチャートである。
【図９】抽出フレーム選択処理のフローチャートである。
【発明を実施するための形態】
【００２３】
以下、本発明が適用された実施形態について、図面を用いて説明する。
［１．全体構成］
図１は、実施形態の画像処理装置としての複合機１０の概略構成を表すブロック図である。
【００２４】
この複合機１０は、プリンタ機能の他、スキャナ機能やコピー機能等を有する多機能装置であり、ＣＰＵ１１、ＲＯＭ１２、内部メモリ（ＲＡＭ）１３、スキャナ読取部１４、印刷制御部１５、液晶表示部１６、操作入力部１７及びメディアカードスロット１８を備えており、これらは信号線を介して接続されている。
【００２５】
ＣＰＵ１１は、複合機１０におけるすべての演算を行うための装置である。
ＲＯＭ１２は、後述する処理（図６〜図９）をＣＰＵ１１に実行させるためのプログラムがあらかじめ記憶されている装置である。
【００２６】
内部メモリ１３は、ＣＰＵ１１による演算結果や入力データなどを一時的に記憶しておくための装置である。なお、内部メモリ１３の記憶領域の詳細については後述する。
印刷制御部１５は、印刷命令が出された画像データを印刷するための装置であり、ＣＭＹＫの色材（トナーやインク等）によりカラー画像を印刷可能なものである。
【００２７】
液晶表示部１６は、小型のカラー液晶ディスプレイに画像（メッセージ等の文字列を表す画像を含む。）を表示するための装置である。
操作入力部１７は、ユーザによって押操作される各種操作キーが配置され、操作に基づく情報を入力するための装置である。具体的には、上下左右操作を行うための上キー、下キー、左キー及び右キーと、決定操作を行うためのＯＫキーとを備えている。
【００２８】
メディアカードスロット１８は、ＳＤカードやＣＦカード等のメディアカード（不揮発性の可搬型記憶媒体）を挿入可能に構成されている。そして、複合機１０は、メディアカードスロット１８に挿入された状態のメディアカードから画像ファイルを直接読み出し、読み出した画像ファイルの表す画像を印刷する機能（いわゆるダイレクトプリント機能）を有している。
【００２９】
ここで、画像ファイルとしては、静止画像を表す静止画像ファイルだけでなく、動画像を表す動画像ファイルも対象となる。具体的には、印刷対象の画像ファイルが静止画像ファイルの場合には、その静止画像ファイルの表す静止画像のみを１ページに印刷する。一方、印刷対象の画像ファイルが動画像ファイルの場合には、その動画像ファイルの表す動画像を構成するすべてのフレーム画像のうち、あらかじめ決められた抽出フレーム数（本実施形態では９個）のフレーム画像を抽出し、抽出したフレーム画像を同一ページに時系列順に配置したフレーム配置画像（図５（ａ）参照）を生成して印刷する。
【００３０】
具体的には、図２（ａ）に示すように、動画像を構成するすべてのフレーム画像のうち、先頭フレーム画像及び最終フレーム画像と、これらの間を８等分した各等分位置（正確に等分できない場合は近似位置）の７個のフレーム画像とからなる計９個のフレーム画像を基準フレーム画像（基準点）に設定する。つまり、動画像において時系列的に互いに等間隔な関係にある９個のフレーム画像を基準フレーム画像として設定する。
【００３１】
そして、９個の基準フレーム画像のそれぞれについて、その前後の所定数の周辺フレーム画像を含めた抽出対象範囲を互いに重複しないように設定し、こうして設定した９個の抽出対象範囲のそれぞれから、フレーム配置画像に配置すべき代表フレーム画像を１つずつ選択する。具体的には、図２（ｂ）に示すように、抽出対象範囲に含まれるフレーム画像（基準フレーム画像及び周辺フレーム画像）のそれぞれについて、その抽出対象範囲よりも時系列的に１つ前の抽出対象範囲から既に選択された代表フレーム画像との差分を算出し、その差分が最も大きいものを代表フレーム画像として選択する。つまり、Ｎ番目の抽出対象範囲の代表フレーム画像として、Ｎ−１番目の抽出対象範囲から既に選択された代表フレーム画像との差分が最も大きいフレーム画像を選択する。ただし、最初に代表フレーム画像を選択する抽出対象範囲については、差分を求める対象となる代表フレーム画像が存在しないため、本実施形態では基準フレーム画像（先頭フレーム画像）をそのまま代表フレーム画像とする。
【００３２】
なお、複合機１０は、メディアカードに記憶されている複数の画像ファイルの中から印刷対象の画像ファイルをユーザに選択させるため、画像ファイルの表す画像の印刷イメージを把握可能なプレビュー画像を液晶表示部１６に表示し、ユーザにより選択されたプレビュー画像に対応する画像ファイルの表す画像を印刷するようになっている。
【００３３】
［２．内部メモリの記憶領域］
次に、内部メモリ１３の記憶領域について説明する。
図１に示すように、内部メモリ１３には、各種情報を記憶するための記憶領域として、入力画像情報記憶領域３１、動画像情報記憶領域３２、基準フレーム情報記憶領域３３、抽出フレーム情報記憶領域３４、フレーム差分情報記憶領域３５、出力画像データ記憶領域３６、プレビュー画像データ記憶領域３７、フレーム画像データ記憶領域３８、印刷データ記憶領域３９及び一時変数記憶領域４０が用意されている。
【００３４】
入力画像情報記憶領域３１は、メディアカードに記憶されている画像ファイルの情報を記憶するための領域である。具体的には、図３（ａ）に示すように、入力画像情報記憶領域３１は、入力画像ＩＤ記憶領域５１、入力画像ファイル名記憶領域５２及び入力画像ファイルサイズ記憶領域５３を備えている。
【００３５】
入力画像ＩＤ記憶領域５１は、メディアカードに記憶されている画像ファイルの数に応じて０から順に振り分けた画像ファイルのＩＤ（以下「入力画像ＩＤ」という。）を記憶するための領域である。具体的には、メディアカードから読み出された画像ファイルに対し、読み出された順に入力画像ＩＤが割り振られる。
【００３６】
入力画像ファイル名記憶領域５２は、メディアカードに記憶されている画像ファイルのファイル名を記憶するための領域である。具体的には、２５６バイトの領域の中に２５６文字（１文字／バイト）の文字データ（文字無しの情報も含む）が格納される。
【００３７】
入力画像ファイルサイズ記憶領域５３は、メディアカードに記憶されている画像ファイルのファイルサイズを数値（この例ではキロバイト単位の数値）として記憶するための領域である。
【００３８】
図１に戻り、動画像情報記憶領域３２は、メディアカードに記憶されている画像ファイルのうち、処理対象となっている動画像ファイルの情報を一時的に記憶しておくための領域である。具体的には、図３（ｂ）に示すように、動画像情報記憶領域３２は、フォーマット種別記憶領域６１、コーデック種別記憶領域６２、横方向サイズ記憶領域６３、縦方向サイズ記憶領域６４及び総フレーム数記憶領域６５を備えている。
【００３９】
フォーマット種別記憶領域６１は、処理対象となっている動画像ファイルのファイルフォーマットの種別を記憶する領域である。本実施形態では、３種類のファイルフォーマットに対応付けられた数値（例えば、ＡＶＩフォーマットであれば「０」、ＭＯＶフォーマットであれば「１」、ＭＰＥＧフォーマットであれば「２」）が記憶される。
【００４０】
コーデック種別記憶領域６２は、処理対象となっている動画像ファイルのコーデックの種別を記憶する領域である。本実施形態では、３種類のコーデックに対応付けられた数値（例えば、ＭｏｔｉｏｎＪＰＥＧコーデックであれば「０」、ＭＰＥＧ１コーデックであれば「１」、ＤｉｖＸコーデックであれば「２」）が記憶される。
【００４１】
横方向サイズ記憶領域６３は、処理対象となっている動画像ファイル（フレーム画像）の横方向のピクセルサイズを数値データとして記憶する領域である。
縦方向サイズ記憶領域６４は、処理対象となっている動画像ファイル（フレーム画像）の縦方向のピクセルサイズを数値データとして記憶する領域である。
【００４２】
総フレーム数記憶領域６５は、処理対象となっている動画像ファイルを構成するフレーム画像データの総数（総フレーム数）を数値データとして記憶する領域である。
図１に戻り、基準フレーム情報記憶領域３３は、基準フレーム画像の情報を記憶するための領域である。具体的には、図４（ａ）に示すように、基準フレーム情報記憶領域３３は、基準フレーム情報管理番号記憶領域７１、基準フレーム番号記憶領域７２、抽出対象範囲開始フレーム番号記憶領域７３及び抽出対象範囲終了フレーム番号記憶領域７４を備えている。
【００４３】
基準フレーム情報管理番号記憶領域７１は、基準フレーム画像の情報の格納領域に対応した管理番号（０〜８の番号）があらかじめ記憶された領域である。
基準フレーム番号記憶領域７２は、各基準フレーム画像が動画像ファイルの何フレーム目に当たるかを示す数値（フレーム番号）を記憶するための領域である。なお、先頭フレーム画像を０フレーム目とする。
【００４４】
抽出対象範囲開始フレーム番号記憶領域７３は、抽出対象範囲において最も小さい値のフレーム番号（以下「抽出対象範囲開始フレーム番号」という。）を格納するための領域である。
【００４５】
抽出対象範囲終了フレーム番号記憶領域７４は、抽出対象範囲において最も大きい値のフレーム番号（以下「抽出対象範囲終了フレーム番号」という。）を格納するための領域である。
【００４６】
図１に戻り、抽出フレーム情報記憶領域３４は、代表フレーム画像の情報を記憶するための領域である。具体的には、図４（ｂ）に示すように、抽出フレーム情報記憶領域３４は、抽出フレーム情報管理番号記憶領域８１及び抽出フレーム番号記憶領域８２を備えている。
【００４７】
抽出フレーム情報管理番号記憶領域８１は、代表フレーム画像の情報の格納領域に対応した管理番号（０〜８の番号）があらかじめ記憶された領域である。この管理番号は、図５（ａ）に示す各配置領域の番号に対応している。
【００４８】
抽出フレーム番号記憶領域８２は、各代表フレーム画像が動画像ファイルの何フレーム目に当たるかを示す数値（フレーム番号）を記憶するための領域である。
図１に戻り、フレーム差分情報記憶領域３５は、差分を記憶するための領域である。具体的には、図５（ｂ）に示すように、フレーム差分情報記憶領域３５は、抽出対象フレーム数記憶領域９１、フレーム差分記憶領域９２及び対応フレーム番号記憶領域９３を備えている。
【００４９】
抽出対象フレーム数記憶領域９１は、抽出対象範囲に含まれるフレーム画像の数（以下「抽出対象フレーム数」という。）を記憶するための領域である。なお、後述するように、実際に抽出対象範囲に含まれるフレーム画像の数は、この抽出対象フレーム数に基づき決定されるが、この抽出対象フレーム数と一致するとは限らない。
【００５０】
フレーム差分記憶領域９２は、フレーム画像間の差分（絶対値）を一時的に記憶しておくための領域である。
対応フレーム番号記憶領域９３は、フレーム差分記憶領域９２に記憶されている差分を算出したフレーム画像が動画像ファイルの何フレーム目に当たるかを示す数値（フレーム番号）を一時的に記憶しておくための領域である。
【００５１】
図１に戻り、出力画像データ記憶領域３６は、画像ファイルに基づく印刷用画像を表す出力画像データを一時的に記憶しておくための領域である。具体的には、静止画像ファイルに基づく印刷用画像は１つの画像からなるため、この１つの画像を表す画像データが出力画像データ記憶領域３６の全体に配置される。一方、動画像ファイルに基づく印刷用画像は９個の画像からなるため、９等分された各配置領域に各フレーム画像を表す画像データが配置されることとなる（図５（ａ）参照）。
【００５２】
プレビュー画像データ記憶領域３７は、デコードデータをあらかじめ決められたプレビュー画像のサイズに変換（拡大又は縮小）処理したプレビュー画像データを一時的に記憶しておくための領域である。
【００５３】
フレーム画像データ記憶領域３８は、動画像ファイルから抽出したフレーム画像データを記憶するための領域である。なお、フレーム画像データは、動画像ファイルの種類によっては固有の形式（例えばＪＰＥＧ形式、ＭＰＥＧ形式など）で圧縮された状態で記憶される。
【００５４】
印刷データ記憶領域３９は、印刷処理をするための画像データ（印刷データ（ラスタデータ）を生成するための中間処理データ及び印刷データ（ラスタデータ））を一時的に記憶しておくための領域である。
【００５５】
一時変数記憶領域４０は、変数やカウンタなど、一時的な情報を記憶するための領域である。
［３．ＣＰＵが実行する処理］
次に、画像ファイルの記憶されているメディアカードがメディアカードスロット１８に挿入されている状態で、「メディア画像印刷」モードを選択する操作が操作入力部１７で行われることにより、複合機１０のＣＰＵ１１が実行するメディア画像印刷処理について、図６のフローチャートを用いて説明する。
【００５６】
ＣＰＵ１１は、このメディア画像印刷処理を開始すると、まずＳ１０１で、メディアカードに記憶されている画像ファイルごとにファイル名及びファイルサイズを読み出し、入力画像情報記憶領域３１の入力画像ファイル名記憶領域５２及び入力画像ファイルサイズ記憶領域５３に順に記憶するメディア情報抽出処理を行う。なお、このメディア情報抽出処理では、メディアカードから読み出された情報に対して入力画像ＩＤが０から順に割り振られて入力画像ＩＤ記憶領域５１に記憶される。
【００５７】
続いて、Ｓ１０２では、メディアカードに記憶されている画像ファイルの表す画像の印刷イメージを把握可能なプレビュー画像を液晶表示部１６に表示して、印刷対象の画像ファイルをユーザに選択させる印刷画像選択処理を実行する。
【００５８】
ここで、印刷画像選択処理の詳細について図７のフローチャートを用いて説明する。
ＣＰＵ１１は、この印刷画像選択処理を開始すると、まずＳ２０１で、メディアカードに記憶されている画像ファイルの中から、液晶表示部１６にプレビュー画像を表示する１つの画像ファイルを決定する。具体的には、初期値（印刷画像選択処理開始時の値）が０のプレビューＩＤカウンタを一時変数記憶領域４０にあらかじめ用意しておき、プレビューＩＤカウンタの値に対応する入力画像ＩＤ（入力画像ＩＤ記憶領域５１に記憶された値）の画像ファイルを、プレビュー画像を表示する画像ファイルとして決定する。なお、後述するように、操作入力部１７の上キー、下キー、左キー又は右キーの押操作に応じて液晶表示部１６に表示されるプレビュー画像を他の画像ファイルのものに変更し、ＯＫキーの押操作時に表示されているプレビュー画像に対応する画像ファイルを印刷対象として選択する。
【００５９】
続いて、Ｓ２０２では、Ｓ２０１で決定した画像ファイルに基づく印刷用画像を表す出力画像データを生成する出力画像生成処理を実行する。
ここで、出力画像生成処理の詳細について図８のフローチャートを用いて説明する。
【００６０】
ＣＰＵ１１は、この出力画像生成処理を開始すると、まずＳ３０１で、液晶表示部１６にプレビュー画像を表示する画像ファイルの入力画像ＩＤ（プレビューＩＤカウンタの値）を読み出す。
【００６１】
続いて、Ｓ３０２では、Ｓ３０１で読み出した入力画像ＩＤの画像ファイルの種類が静止画像ファイル及び動画像ファイルのうちのいずれに分類されるものであるかを判定する。
【００６２】
そして、Ｓ３０２で、画像ファイルの種類が動画像ファイルであると判定した場合には、Ｓ３０３へ移行し、この動画像ファイルの動画像パラメータの抽出処理を実行する。この抽出処理により、動画像ファイルのフォーマット種別情報、コーデック種別情報、横方向サイズ情報、縦方向サイズ情報及び総フレーム数情報が得られる。こうして得られた各情報は、動画像情報記憶領域３２内のフォーマット種別記憶領域６１、コーデック種別記憶領域６２、横方向サイズ記憶領域６３、縦方向サイズ記憶領域６４及び総フレーム数記憶領域６５にそれぞれ記憶される。
【００６３】
続いて、Ｓ３０４では、動画像ファイルの表す動画像から抽出するフレーム画像（代表フレーム画像）を選択するための抽出フレーム選択処理を実行する。
ここで、抽出フレーム選択処理の詳細について図９のフローチャートを用いて説明する。
【００６４】
ＣＰＵ１１は、この抽出フレーム選択処理を開始すると、まずＳ４０１で、抽出対象フレーム数を算出する。本実施形態では、処理対象となっている動画像ファイルの１秒間に再生するフレーム数であるＦＰＳ（Ｆｒａｍｅｓ Ｐｅｒ Ｓｅｃｏｎｄ）の値に１（基準フレーム画像の数）を加えた値を抽出対象フレーム数とする。つまり、周辺フレーム画像の数が１秒間分のフレーム数となるように抽出対象フレーム数を算出する。
【００６５】
続いて、Ｓ４０２では、Ｓ４０１で算出した抽出対象フレーム数（ＦＰＳ＋１であり、例えば３１）を、フレーム差分情報記憶領域３５の抽出対象フレーム数記憶領域９１に記憶する。
【００６６】
続いて、Ｓ４０３では、９個の基準フレーム画像のフレーム番号（以下「基準フレーム番号」という。）を算出する。本実施形態では、動画像ファイルの総フレーム数を先頭フレーム画像から最終フレーム画像までの間で８等分した各等分位置の７個のフレーム画像と、先頭フレーム画像及び最終フレーム画像との計９個のフレーム画像を基準フレーム画像とする。具体的には、「総フレーム数−１」を「抽出フレーム数−１」（９−１＝８）で除した値ごとに基準フレーム画像を設定する。なお、「総フレーム数−１」が「抽出フレーム数−１」で割り切れない場合には、その値の近傍（例えば小数点以下を切り捨てた値に対応するフレーム番号）のフレーム画像を基準フレーム画像として設定すればよい。
【００６７】
続いて、Ｓ４０４では、Ｓ４０３で算出した基準フレーム番号を基準フレーム番号記憶領域７２に記憶する。具体的には、基準フレーム番号の小さいものから順に、基準フレーム情報管理番号記憶領域７１の管理番号が小さい方から格納される。
【００６８】
続いて、Ｓ４０５では、９個の基準フレーム画像のそれぞれについて、抽出対象範囲開始フレーム番号（抽出対象範囲において最も小さい値のフレーム番号）及び抽出対象範囲終了フレーム番号（抽出対象範囲において最も大きい値のフレーム番号）を下記（１）及び（２）の手順で求める。
【００６９】
（１）抽出対象範囲開始フレーム番号の算出
まず、基準フレーム番号を基点にして、基準フレーム画像よりも時系列的順序が前の周辺フレーム画像の個数である前方周辺フレーム数を求める。具体的には、次の（Ａ）及び（Ｂ）のうちいずれか小さい方の値を前方周辺フレーム数とする（小数点以下は切り捨てる）。
【００７０】
（Ａ）「（抽出対象フレーム数−１）／２」の値
（Ｂ）「（現在の基準フレーム番号−１つ前の基準フレーム番号−１）／２」の値
なお、（Ｂ）の値は、抽出対象範囲が互いに重複しないようにするための制限値である。すなわち、（Ａ）の値（０．５秒間分のフレーム数）は（Ｂ）の値よりも小さくなることが通常であるが、動画像ファイルの表す動画像が極端に短いような場合には（Ａ）の値が（Ｂ）の値を上回る可能性もあるため、（Ａ）及び（Ｂ）のうちいずれか小さい方の値を前方周辺フレーム数とすることで抽出対象範囲が互いに重複しないようにしている。この点は、後述する後方周辺フレーム数についても同様である。
【００７１】
そして、次の式から抽出対象範囲開始フレーム番号を算出する。
抽出対象範囲開始フレーム番号＝基準フレーム番号−前方周辺フレーム数
（２）抽出対象範囲終了フレーム番号の算出
まず、基準フレーム番号を基点にして、基準フレーム画像よりも時系列的順序が後の周辺フレーム画像の個数である後方周辺フレーム数を求める。具体的には、次の（Ｃ）及び（Ｄ）のうちいずれか小さい方の値を後方周辺フレーム数とする（小数点以下は切り捨てる）。
【００７２】
（Ｃ）「（抽出対象フレーム数−１）／２」の値
（Ｄ）「（１つ後の基準フレーム番号−現在の基準フレーム番号−１）／２」の値
そして、次の式から抽出対象範囲終了フレーム番号を算出する。
【００７３】
抽出対象範囲終了フレーム番号＝基準フレーム番号＋後方周辺フレーム数
なお、先頭フレーム画像については、抽出対象範囲終了フレーム番号のみを算出し、抽出対象範囲開始フレーム番号は基準フレーム番号と同一の値とする。同様に、最終フレーム画像については、抽出対象範囲開始フレーム番号のみを算出し、抽出対象範囲終了フレーム番号は基準フレーム番号と同一の値とする。
【００７４】
続いて、Ｓ４０６では、Ｓ４０５で９個の基準フレーム画像のそれぞれについて算出した抽出対象範囲開始フレーム番号及び抽出対象範囲終了フレーム番号を、基準フレーム情報記憶領域３３の抽出対象範囲開始フレーム番号記憶領域７３及び抽出対象範囲終了フレーム番号記憶領域７４にそれぞれ記憶する。
【００７５】
続いて、Ｓ４０７では、基準フレーム情報記憶領域３３における最初の（管理番号が０の）基準フレーム番号（先頭フレーム画像のフレーム番号）を、抽出フレーム情報記憶領域３４における管理番号が０の抽出フレーム番号記憶領域８２に記憶する。つまり、最初に選択する代表フレーム画像については、基準フレーム画像をそのまま代表フレーム画像とする。
【００７６】
以下、Ｓ４０８〜Ｓ４１７のループ処理は、基準フレーム情報記憶領域３３における管理番号が１〜８の基準フレーム画像について順に実行される。具体的には、初期値（抽出フレーム選択処理開始時の値）が１の基準フレームカウンタを一時変数記憶領域４０にあらかじめ用意しておき、この基準フレームカウンタの値に対応する管理番号の基準フレーム画像を処理対象としてＳ４０８〜Ｓ４１７の処理を行う。なお、Ｓ４１７からＳ４０８に戻る際に基準フレームカウンタの値に１を加算する。
【００７７】
Ｓ４０８では、１つ前の代表フレーム画像（抽出フレーム情報記憶領域３４における管理番号が「基準フレームカウンタ−１」の代表フレーム画像）との差分を算出するフレーム画像（以下「差分算出フレーム」という。）を設定する。具体的には、初期値（抽出フレーム選択処理開始時の値）が０の差分フレームカウンタを一時変数記憶領域４０にあらかじめ用意しておき、抽出対象範囲開始フレーム番号に差分フレームカウンタの値を加えた値を差分算出フレームのフレーム番号として設定する。
【００７８】
続いて、Ｓ４０９では、一時変数記憶領域４０にあらかじめ用意した差分カウンタを０に初期化する。
続いて、Ｓ４１０〜Ｓ４１２では、１つ前の代表フレーム画像と差分算出フレームとの差分を算出する。すなわち、これら２つのフレーム画像データに伸張（デコード）処理を施し、各座標位置単位で画素値の差分絶対値を算出する。これを、ＲＧＢそれぞれについて全座標分算出し、この合計値を差分とする。具体的には、処理対象のピクセルについてピクセル差分を算出し（Ｓ４１０）、その絶対値を差分カウンタに加算する（Ｓ４１１）という処理を、ピクセルの総数分繰り返す（Ｓ４１２）。
【００７９】
続いて、Ｓ４１３では、差分カウンタの値（１つ前の代表フレーム画像と差分算出フレームとの差分）が、フレーム差分記憶領域９２に記憶されている値よりも大きいか否かを判定する。なお、抽出フレーム選択処理開始時の初期値は０である。
【００８０】
そして、Ｓ４１３で、差分カウンタの値がフレーム差分記憶領域９２に記憶されている値よりも大きいと判定した場合には、Ｓ４１４へ移行し、差分カウンタの値をフレーム差分記憶領域９２に記憶（上書き）し、差分算出フレームのフレーム番号を対応フレーム番号記憶領域９３に記憶（上書き）する。その後、Ｓ４１５へ移行する。
【００８１】
一方、Ｓ４１３で、差分カウンタの値がフレーム差分記憶領域９２に記憶されている値以下であると判定した場合には、そのままＳ４１５へ移行する。
Ｓ４１５では、抽出対象範囲に含まれるすべてのフレーム画像（処理対象の基準フレーム及びその周辺フレーム）について差分を算出したか否かを判定する。具体的には、抽出対象範囲開始フレーム番号に差分フレームカウンタの値を加えた値（差分算出フレームのフレーム番号）が抽出対象範囲終了フレーム番号に達した場合に、すべてのフレーム画像について差分を算出したと判定する。
【００８２】
そして、Ｓ４１５で、差分を算出していないフレーム画像が抽出対象範囲に存在すると判定した場合には、差分フレームカウンタの値に１を加算してＳ４０８に戻る。
一方、Ｓ４１５で、抽出対象範囲に含まれるすべてのフレーム画像について差分を算出したと判定した場合には、Ｓ４１６へ移行し、抽出フレーム情報記憶領域３４における管理番号が基準フレームカウンタの値の抽出フレーム番号記憶領域８２に、対応フレーム番号記憶領域９３の値を記憶する。つまり、１つ前の代表フレーム画像との差分が最も大きかったフレーム画像を代表フレーム画像として選択し、そのフレーム番号を抽出フレーム番号記憶領域８２に記憶する。
【００８３】
続いて、Ｓ４１７では、基準フレーム情報記憶領域３３における管理番号が１〜８の基準フレーム画像のすべてについてその基準フレーム画像が含まれる抽出対象範囲から代表フレーム画像を選択したか否かを判定する。
【００８４】
そして、Ｓ４１７で、代表フレーム画像を選択していない基準フレーム画像が存在すると判定した場合には、基準フレームカウンタの値に１を加算してＳ４０８に戻る。
一方、Ｓ４１７で、管理番号が１〜８の基準フレーム画像のすべてについて代表フレーム画像を選択したと判定した場合には、本抽出フレーム選択処理を終了する。
【００８５】
続いて、図８に戻り、Ｓ３０５〜Ｓ３０９のループ処理を実行する。このループ処理は、抽出フレーム情報記憶領域３４における管理番号が０〜８の代表フレーム画像について順に実行される。具体的には、初期値（出力画像生成処理開始時の値）が０の代表フレームカウンタを一時変数記憶領域４０にあらかじめ用意しておき、この代表フレームカウンタの値に対応する管理番号の代表フレーム画像を処理対象としてＳ３０５〜Ｓ３０９の処理を行う。なお、Ｓ３０９からＳ３０５に戻る際に代表フレームカウンタの値に１を加算する。
【００８６】
Ｓ３０５では、代表フレーム画像のフレーム番号に対応するフレーム画像データを動画像ファイルから抽出する処理を行う。
続いて、Ｓ３０６では、Ｓ３０５で抽出したフレーム画像データ（伸張処理前の画像データ）を、フレーム画像データ記憶領域３８に記憶する。
【００８７】
続いて、Ｓ３０７では、Ｓ３０６でフレーム画像データ記憶領域３８に記憶したフレーム画像データに伸張処理を施すことにより、フレーム画像データをピクセル演算が可能な形式（ピクセルごとにＲＧＢ値をそれぞれ０〜２５５の値で表した画像データ）に変換する。
【００８８】
続いて、Ｓ３０８では、伸張処理後のフレーム画像データを、出力画像データ記憶領域３６における対応する配置領域（図５（ａ））に配置（記憶）する。
続いて、Ｓ３０９では、管理番号が０〜８の代表フレーム画像のすべてを出力画像データ記憶領域３６に配置したか否かを判定する。具体的には、代表フレームカウンタの値が８に達した場合に、代表フレーム画像のすべてを出力画像データ記憶領域３６に配置したと判定する。
【００８９】
そして、Ｓ３０９で、配置していない代表フレーム画像が存在すると判定した場合には、代表フレームカウンタの値に１を加算してＳ３０５に戻る。
一方、Ｓ３０９で、代表フレーム画像のすべてを出力画像データ記憶領域３６に配置したと判定した場合には、本出力画像生成処理を終了する。なお、この時点で出力画像データ記憶領域３６に記憶されている画像データが、動画像ファイルの出力画像データである。
【００９０】
また、前述したＳ３０２で、画像ファイルの種類が静止画像ファイルであると判定した場合には、Ｓ３１０へ移行し、この静止画像ファイルに伸張処理を施し、データをピクセル演算が可能な形式に変換する。
【００９１】
続いて、Ｓ３１１では、伸張処理後の画像データを出力画像データ記憶領域３６に記憶した後、本出力画像生成処理を終了する。つまり、静止画像ファイルの場合には、動画像ファイルと異なり、静止画像は出力画像データ記憶領域３６に１つしか配置されない。なお、この時点で出力画像データ記憶領域３６に記憶されている画像データが、静止画像ファイルの出力画像データである。
【００９２】
続いて、図７に戻り、Ｓ２０３では、出力画像データ記憶領域３６に記憶されている出力画像データ（デコードデータ）に対し、プレビュー画像のサイズ（固定のサイズであり本実施形態では１６０×１２０ピクセル）となるようにニアレストネイバー法で縮小処理又は拡大処理を行い、プレビュー画像データ記憶領域３７に記憶する。
【００９３】
続いて、Ｓ２０４では、プレビュー画像データ記憶領域３７に記憶されている画像データ（プレビュー画像データ）の表す画像（プレビュー画像）を、液晶表示部１６に表示する。
【００９４】
続いて、Ｓ２０５では、ユーザによって操作入力部１７で行われた操作キーの押操作の情報を入力し、続くＳ２０６では、入力した情報に基づき、押されたキーがＯＫキーであるかそれ以外のキー（具体的には、上キー、下キー、左キー又は右キー）であるかを判定する。
【００９５】
そして、Ｓ２０６で、押されたキーがＯＫキー以外のキーであると判定した場合には、Ｓ２０７へ移行し、プレビューＩＤカウンタの値を更新する。具体的には、押されたキーが下キー又は右キーの場合には、プレビュー画像を表示する画像ファイルを入力画像ＩＤの値が１つ大きい画像ファイルに変更するため、プレビューＩＤカウンタの値に１を加算する。一方、押されたキーが上キー又は左キーの場合には、プレビュー画像を表示する画像ファイルを入力画像ＩＤの値が１つ小さい画像ファイルに変更するため、プレビューＩＤカウンタの値から１を減算する。このＳ２０７の処理の後、Ｓ２０１に戻る。これにより、液晶表示部１６に表示されるプレビュー画像が他の画像ファイルのものに変更されることになる。ただし、上記演算（加算又は減算）の結果、プレビューＩＤカウンタの値が入力画像ＩＤの値の範囲（０〜「メディアカードに記憶されている画像ファイルの数−１」）を超える場合には、演算を行わずに値を維持する。なお、この場合には液晶表示部１６に表示されるプレビュー画像は変更されないので、Ｓ２０１に戻るのではなくＳ２０５に戻るようにしてもよい。
【００９６】
一方、Ｓ２０６で、押されたキーがＯＫキーであると判定した場合、つまり、この時点で表示されているプレビュー画像に対応する画像ファイルが印刷対象として選択された場合には、本印刷画像選択処理を終了して図６のＳ１０３へ移行する。
【００９７】
Ｓ１０３では、Ｓ１０２で選択された印刷対象の画像ファイルの表す画像を印刷するための画像印刷処理を実行する。この印刷処理では、出力画像データ記憶領域３６に記憶されている出力画像データを、１ライン単位で印刷データ記憶領域３９にコピーし、色変換処理（ＲＧＢ→ＣＭＹＫ）及び二値化処理を行った後、印刷制御部１５へ出力する。これにより、印刷制御部１５で二値データに基づく印刷が行われる。その後、本メディア画像印刷処理を終了する。
【００９８】
［４．効果］
以上説明したように、本実施形態の複合機１０は、動画像を構成するすべてのフレーム画像において９個の抽出対象範囲を互いに重複しないように設定し（Ｓ４０１〜Ｓ４０６）、各抽出対象範囲から１つずつ抽出すべき代表フレーム画像を選択して（Ｓ４０７〜Ｓ４１７）、それらを時系列的な規則性を持つように配置したフレーム配置画像を生成する（Ｓ３０５〜Ｓ３０９）。
【００９９】
具体的には、動画像を構成する先頭フレーム画像、最終フレーム画像及びこれらの間を８等分した等分位置のフレーム画像を基準フレーム画像として設定し（Ｓ４０１〜Ｓ４０４）、これら時系列的に互いに等間隔な関係にある９個の基準フレーム画像が１つずつ含まれるように９個の抽出対象範囲を設定する（Ｓ４０５，Ｓ４０６）。
【０１００】
そして、最初に選択する代表フレーム画像については、他の代表フレーム画像に対する差分に関係なく、基準フレーム画像を代表フレーム画像として選択する（Ｓ４０７）。一方、残りの代表フレーム画像については、選択済の代表フレーム画像に対する差分が最も大きいフレーム画像を、その選択済の代表フレーム画像が選択された抽出対象範囲よりも時系列的に１つ後の抽出対象範囲から選択する（Ｓ４０８〜Ｓ４１７）。
【０１０１】
このような複合機１０によれば、フレーム配置画像に配置される代表フレーム画像が時系列的にも内容的にも片寄らないようにすることができるため、動画像の流れを把握しやすく、かつ、内容を把握しやすいフレーム配置画像を生成することができる。
【０１０２】
特に、本実施形態の複合機１０では、基準フレーム画像を中心とする複数のフレーム画像群からなる範囲を抽出対象範囲として設定するようにしているため、時系列的に等間隔な関係にできるだけ近いフレーム画像を代表フレーム画像として抽出することができる。
【０１０３】
加えて、本実施形態の複合機１０では、単位時間当たりのフレーム数が多い動画像ほど抽出対象範囲に含まれるフレーム画像の数を多くしているため、動画像によってＦＰＳが異なっても、抽出対象範囲に相当する時間を同様の時間に設定することができる。
【０１０４】
［５．特許請求の範囲との対応］
なお、本実施形態の複合機１０では、Ｓ４０１〜Ｓ４０６の処理を実行するＣＰＵ１１が設定手段に相当し、Ｓ４０７〜Ｓ４１７の処理を実行するＣＰＵ１１が選択手段に相当し、Ｓ３０５〜Ｓ３０９の処理を実行するＣＰＵ１１が配置画像生成手段に相当する。
【０１０５】
［６．他の形態］
以上、本発明の実施形態について説明したが、本発明は、上記実施形態に限定されることなく、種々の形態を採り得ることは言うまでもない。
【０１０６】
例えば、上記実施形態では、フレーム画像間の変化量として差分（具体的には、各座標位置単位での画素値の差分絶対値の合計値）を例示したが、これに限定されるものではなく、フレーム画像の変化量が反映される値であればよい。
【０１０７】
また、上記実施形態では、ピクセル単位の差分の絶対値の合計を「差分」としたが、これに限らず、例えば、公知のオプティカルフロー法などで算出したフレーム間の「動きベクトルの大きさ」を差分算出に用いてもよい。
【０１０８】
一方、上記実施形態の複合機１０では、最初に選択する代表フレーム画像については他の代表フレーム画像との差分を算出することができないため、基準フレーム画像をそのまま代表フレーム画像としているが（Ｓ４０７）、これに限定されるものではない。
【０１０９】
例えば、抽出対象範囲に含まれるフレーム画像のそれぞれについて画素値の分散を算出し、算出した分散が最も大きいフレーム画像を代表フレーム画像として選択してもよい。ここで、各フレーム画像の分散は、例えば下記式（１）から算出することができる。下記式（１）において、Ｄｆｓは分散（標本分散）、ｐはフレーム画像の画素数、ｉは画素値、Ｅ（ｉ）は画素値の平均（相加平均）である。なお、画素数ｐに３を乗じているのは、ＲＧＢ３プレーンのそれぞれについて平均画素値と各画素の画素値との差を算出するからである。
【０１１０】
【数１】
【０１１１】
このように、最初に選択する代表フレーム画像については、抽出対象範囲のフレーム画像のうち画素値の分散が最も大きいものを代表フレーム画像として選択するようにすれば、真っ暗な画像や手ぶれのひどい画像など、動画像の内容を把握する上で適切でないフレーム画像が選択されにくくすることができる。
【０１１２】
また例えば、抽出対象範囲に含まれるフレーム画像のそれぞれについてヒストグラム分布を算出し、この分布範囲が最も広いフレーム画像を代表フレーム画像として選択してもよい。このようにすれば、色分布としてバランスのとれたフレーム画像を代表フレーム画像とすることができ、分散の場合と同様、動画像の内容を把握する上で適切でないフレーム画像が選択されにくくすることができる。
【０１１３】
さらに、上記実施形態の複合機１０では、時系列的な順序が最も前の抽出対象範囲から順に代表フレーム画像を設定するようにしているが、これに限定されるものではなく、例えばこれとは逆に、時系列的な順序が最も後の抽出対象範囲から順に代表フレーム画像を設定するようにしてもよい。また、時系列的な順序が中間の抽出対象範囲から前後方向へ順に代表フレーム画像を設定することも可能である。
【０１１４】
一方、上記実施形態の複合機１０では、まず基準フレーム画像を設定し、次に基準フレーム画像を中心に抽出対象範囲を設定するようにしているが、これに限定されるものではなく、基準フレーム画像を設定することなく抽出対象範囲を設定することも可能である。
【０１１５】
また、上記実施形態の複合機１０では、動画像ファイルから９個のフレーム画像を代表フレーム画像として抽出するようにしているが、これに限定されるものではなく、９個よりも少ない数又は多い数にすることも可能である。また、個数は固定である必要もなく、例えば、ユーザに指定させるようにしてもよい。
【０１１６】
さらに、上記実施形態では、複合機１０（具体的には複合機１０で実行されるプログラム）に本発明を適用した構成を例示したが、これに限定されるものではなく、例えば、複合機以外の印刷装置（例えばスキャナ機能を有しない印刷装置）などにも適用することができる。また、画像を印刷しない装置であってもよく、例えばパーソナルコンピュータなどの情報処理装置やその情報処理装置で実行されるプログラムにも本発明を適用することができる。
【符号の説明】
【０１１７】
１０…複合機、１１…ＣＰＵ、１２…ＲＯＭ、１３…内部メモリ、１５…印刷制御部、１６…液晶表示部、１７…操作入力部、１８…メディアカードスロット、３１…入力画像情報記憶領域、３２…動画像情報記憶領域、３３…基準フレーム情報記憶領域、３４…抽出フレーム情報記憶領域、３５…フレーム差分情報記憶領域、３６…出力画像データ記憶領域、３７…プレビュー画像データ記憶領域、３８…フレーム画像データ記憶領域、３９…印刷データ記憶領域、４０…一時変数記憶領域
【特許請求の範囲】
【請求項１】
動画像を構成する複数のフレーム画像において複数の抽出対象範囲を互いに重複しないように設定する設定手段と、
前記設定手段により設定された複数の抽出対象範囲のそれぞれから１つずつ抽出すべき代表フレーム画像を選択する選択手段と、
前記選択手段により選択された複数の代表フレーム画像を時系列的な規則性を持つように配置したフレーム配置画像を生成する配置画像生成手段と、
を備え、
前記設定手段は、時系列的に互いに等間隔な関係にある複数の基準フレーム画像が１つずつ含まれるように前記複数の抽出対象範囲を設定し、
前記選択手段は、前記抽出対象範囲のフレーム画像のうち時系列的に１つ前又は１つ後の抽出対象範囲から選択された代表フレーム画像に対する変化量が最大となるものを前記代表フレーム画像として選択すること
を特徴とする画像処理装置。
【請求項２】
前記選択手段は、最初に選択する代表フレーム画像については他の代表フレーム画像に対する変化量に関係なく選択し、残りの代表フレーム画像については、選択済の代表フレーム画像に対する変化量が最も大きいフレーム画像を、その選択済の代表フレーム画像が選択された抽出対象範囲よりも時系列的に１つ前又は１つ後の抽出対象範囲から選択すること
を特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記選択手段は、最初に選択する代表フレーム画像については前記基準フレーム画像を代表フレーム画像として選択すること
を特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記選択手段は、最初に選択する代表フレーム画像については、前記抽出対象範囲のフレーム画像のうち画素値の分散が最も大きいものを代表フレーム画像として選択すること
を特徴とする請求項２に記載の画像処理装置。
【請求項５】
前記選択手段は、最初に選択する代表フレーム画像については、前記抽出対象範囲のフレーム画像のうち画素値のヒストグラム分布範囲が最も広いものを代表フレーム画像として選択すること
を特徴とする請求項２に記載の画像処理装置。
【請求項６】
前記設定手段は、前記基準フレーム画像を中心とする複数のフレーム画像群からなる範囲を前記抽出対象範囲として設定すること
を特徴とする請求項１から請求項５までのいずれか１項に記載の画像処理装置。
【請求項７】
前記設定手段は、単位時間当たりのフレーム数が多い動画像ほど前記抽出対象範囲に含まれるフレーム画像の数を多くすること
を特徴とする請求項１から請求項６までのいずれか１項に記載の画像処理装置。
【請求項８】
前記設定手段は、動画像を構成する先頭のフレーム画像、最終のフレーム画像及びそれらの間を等分割するフレーム画像を前記基準フレーム画像として前記複数の抽出対象範囲を設定すること
を特徴とする請求項１から請求項７までのいずれか１項に記載の画像処理装置。
【請求項９】
動画像を構成する複数のフレーム画像において複数の抽出対象範囲を互いに重複しないように設定する設定手段と、
前記設定手段により設定された複数の抽出対象範囲のそれぞれから１つずつ抽出すべき代表フレーム画像を選択する選択手段と、
前記選択手段により選択された複数の代表フレーム画像を時系列的な規則性を持つように配置したフレーム配置画像を生成する配置画像生成手段
としてコンピュータを機能させるための画像処理プログラムであって、
前記設定手段は、時系列的に互いに等間隔な関係にある複数の基準フレーム画像が１つずつ含まれるように前記複数の抽出対象範囲を設定し、
前記選択手段は、前記抽出対象範囲のフレーム画像のうち時系列的に１つ前又は１つ後の抽出対象範囲から選択された代表フレーム画像に対する変化量が最大となるものを前記代表フレーム画像として選択すること
を特徴とする画像処理プログラム。
【請求項１】
動画像を構成する複数のフレーム画像において複数の抽出対象範囲を互いに重複しないように設定する設定手段と、
前記設定手段により設定された複数の抽出対象範囲のそれぞれから１つずつ抽出すべき代表フレーム画像を選択する選択手段と、
前記選択手段により選択された複数の代表フレーム画像を時系列的な規則性を持つように配置したフレーム配置画像を生成する配置画像生成手段と、
を備え、
前記設定手段は、時系列的に互いに等間隔な関係にある複数の基準フレーム画像が１つずつ含まれるように前記複数の抽出対象範囲を設定し、
前記選択手段は、前記抽出対象範囲のフレーム画像のうち時系列的に１つ前又は１つ後の抽出対象範囲から選択された代表フレーム画像に対する変化量が最大となるものを前記代表フレーム画像として選択すること
を特徴とする画像処理装置。
【請求項２】
前記選択手段は、最初に選択する代表フレーム画像については他の代表フレーム画像に対する変化量に関係なく選択し、残りの代表フレーム画像については、選択済の代表フレーム画像に対する変化量が最も大きいフレーム画像を、その選択済の代表フレーム画像が選択された抽出対象範囲よりも時系列的に１つ前又は１つ後の抽出対象範囲から選択すること
を特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記選択手段は、最初に選択する代表フレーム画像については前記基準フレーム画像を代表フレーム画像として選択すること
を特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記選択手段は、最初に選択する代表フレーム画像については、前記抽出対象範囲のフレーム画像のうち画素値の分散が最も大きいものを代表フレーム画像として選択すること
を特徴とする請求項２に記載の画像処理装置。
【請求項５】
前記選択手段は、最初に選択する代表フレーム画像については、前記抽出対象範囲のフレーム画像のうち画素値のヒストグラム分布範囲が最も広いものを代表フレーム画像として選択すること
を特徴とする請求項２に記載の画像処理装置。
【請求項６】
前記設定手段は、前記基準フレーム画像を中心とする複数のフレーム画像群からなる範囲を前記抽出対象範囲として設定すること
を特徴とする請求項１から請求項５までのいずれか１項に記載の画像処理装置。
【請求項７】
前記設定手段は、単位時間当たりのフレーム数が多い動画像ほど前記抽出対象範囲に含まれるフレーム画像の数を多くすること
を特徴とする請求項１から請求項６までのいずれか１項に記載の画像処理装置。
【請求項８】
前記設定手段は、動画像を構成する先頭のフレーム画像、最終のフレーム画像及びそれらの間を等分割するフレーム画像を前記基準フレーム画像として前記複数の抽出対象範囲を設定すること
を特徴とする請求項１から請求項７までのいずれか１項に記載の画像処理装置。
【請求項９】
動画像を構成する複数のフレーム画像において複数の抽出対象範囲を互いに重複しないように設定する設定手段と、
前記設定手段により設定された複数の抽出対象範囲のそれぞれから１つずつ抽出すべき代表フレーム画像を選択する選択手段と、
前記選択手段により選択された複数の代表フレーム画像を時系列的な規則性を持つように配置したフレーム配置画像を生成する配置画像生成手段
としてコンピュータを機能させるための画像処理プログラムであって、
前記設定手段は、時系列的に互いに等間隔な関係にある複数の基準フレーム画像が１つずつ含まれるように前記複数の抽出対象範囲を設定し、
前記選択手段は、前記抽出対象範囲のフレーム画像のうち時系列的に１つ前又は１つ後の抽出対象範囲から選択された代表フレーム画像に対する変化量が最大となるものを前記代表フレーム画像として選択すること
を特徴とする画像処理プログラム。
【図１】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【公開番号】特開２０１１−１４６７９９（Ｐ２０１１−１４６７９９Ａ）
【公開日】平成２３年７月２８日（２０１１．７．２８）
【国際特許分類】
【出願番号】特願２０１０−４２１１（Ｐ２０１０−４２１１）
【出願日】平成２２年１月１２日（２０１０．１．１２）
【出願人】（０００００５２６７）ブラザー工業株式会社 (13,856)
【Ｆターム（参考）】
【公開日】平成２３年７月２８日（２０１１．７．２８）
【国際特許分類】
【出願日】平成２２年１月１２日（２０１０．１．１２）
【出願人】（０００００５２６７）ブラザー工業株式会社 (13,856)
【Ｆターム（参考）】
[ Back to top ]