画像補正方法、画像補正装置、印刷装置、及び、プログラム
【課題】動画ファイルから取得した複数のフレームについて適用される画像補正の適正化を図ること。
【解決手段】動画ファイルから補正対象となる複数の対象フレームを決定するステップと、各対象フレームの種別を判別するステップと、種別が判別された対象フレームのうちのある種別の対象フレームに基づいて前記複数の対象フレームの補正に共通に使用される共通補正量を求めるステップと、前記共通補正量に基づいて、前記複数の対象フレームのそれぞれについて画像補正を行うステップと、を含む画像補正方法。
【解決手段】動画ファイルから補正対象となる複数の対象フレームを決定するステップと、各対象フレームの種別を判別するステップと、種別が判別された対象フレームのうちのある種別の対象フレームに基づいて前記複数の対象フレームの補正に共通に使用される共通補正量を求めるステップと、前記共通補正量に基づいて、前記複数の対象フレームのそれぞれについて画像補正を行うステップと、を含む画像補正方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像補正装置、印刷装置、画像補正方法、及び、プログラムに関する。
【背景技術】
【０００２】
１つの動画ファイルから所定数の連続したフレームを取得し、印刷する装置がある。この装置において、動画ファイルから取得したフレームは静止画として扱われる。この静止画は、望ましい明るさや色彩等になるように画像補正が行われることがある。
【特許文献１】特開２００４−１２０６３８号公報
【特許文献２】特開２００６−６０６４９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
画像の補正時には、各画像の特徴に応じた補正が行われる。たとえば、人物が撮影された画像については肌色が美しく表現されるような補正が行われる。また、風景が撮影された画像については空の青さ等が強調されるような補正が行われる。
【０００４】
このように画像補正では画像の特徴に応じた補正が行われるのであるが、ときには画像認識のエラーから適正な補正が行われないときがある。このようなことが、動画ファイルから取得した連続したフレームに適用されると、適正な画像認識が行われなかったフレームに対して他のフレームとは異なる補正が行われる。そうすると、連続するフレームのうち適正な画像認識が行われなかったフレームだけが色調の異なる違和感のある画像となる。
【０００５】
本発明は、このような事情に鑑みてなされたものであり、動画ファイルから取得した複数のフレームについて適用される画像補正の適正化を図ることを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するための主たる発明は、
動画ファイルから補正対象となる複数の対象フレームを決定するステップと、
各対象フレームの種別を判別するステップと、
種別が判別された対象フレームのうちのある種別の対象フレームに基づいて前記複数の対象フレームの補正に共通に使用される共通補正量を求めるステップと、
前記共通補正量に基づいて、前記複数の対象フレームのそれぞれについて画像補正を行うステップと、
を含む画像補正方法である。
【０００７】
本発明の他の特徴については、本明細書及び添付図面の記載により明らかにする。
【発明を実施するための最良の形態】
【０００８】
本明細書及び添付図面の記載により、少なくとも、以下の事項が明らかとなる。
【０００９】
動画ファイルから補正対象となる複数の対象フレームを決定するステップと、
各対象フレームの種別を判別するステップと、
種別が判別された対象フレームのうちのある種別の対象フレームに基づいて前記複数の対象フレームの補正に共通に使用される共通補正量を求めるステップと、
前記共通補正量に基づいて、前記複数の対象フレームのそれぞれについて画像補正を行うステップと、
を含む画像補正方法。
このようにすることで、動画ファイルから取得した複数のフレームについて適用される画像補正の適正化を図ることができる。
【００１０】
かかる画像補正方法であって、前記共通補正量を求めるステップは、前記ある種別の対象フレームとして前記複数の対象フレームのうち数が多い種別の対象フレームを求め、前記ある種別の対象フレームに基づいて前記複数の対象フレームの補正に共通に使用される共通補正量を求めるステップを含むことが望ましい。また、前記共通補正量を求めるステップは、前記共通補正量として前記ある種別の対象フレームの補正量の平均を求めるステップを含むことが望ましい。また、前記共通補正量を求めるステップは、前記ある種別の対象フレームを人物の顔が写っている種別の対象フレームとしたとき、人物の顔が対象フレームに占める割合に応じて前記ある種別の対象フレームの補正量について重み付けし、前記共通補正量として前記ある種別の対象フレームの補正量の平均を求めるステップを含むことが望ましい。また、前記共通補正量を求めるステップは、前記ある種別の対象フレームのうちの中央寄りのある種別の対象フレームの補正量について重み付けし、前記共通補正量として前記ある種別の対象フレームの補正量の平均を求めるステップを含むこととしてもよい。また、前記共通補正量を求めるステップは、前記ある種別の対象フレームのピントの合っている度合いに基づいて該ある種別の対象フレームの補正量について重み付けし、前記共通補正量として前記ある種別の対象フレームの補正量の平均を求めるステップを含むこととしてもよい。また、前記複数の対象フレームを決定するステップは、前記動画ファイルから最初の対象フレームと最後の対象フレームとを決定し、前記最初の対象フレームと前記最後の対象フレームとの間に、互いに前後する対象フレーム同士の時間間隔を揃えて中間の対象フレームを決定するステップを含むことが望ましい。
これにより、動画ファイルから取得した複数のフレームについて適用される画像補正の適正化を図ることができる。
【００１１】
動画ファイルから補正対象となる複数の対象フレームを決定するフレーム決定部と、
各対象フレームの種別を判別する判別部と、
種別が判別された対象フレームのうちのある種別の対象フレームに基づいて前記複数の対象フレームの補正に共通に使用される共通補正量を求める補正量決定部と、
前記共通補正量に基づいて、前記複数の対象フレームのそれぞれについて画像補正を行う画像補正部と、
を含む画像補正装置。
これにより、動画ファイルから取得した複数のフレームについて適用される画像補正の適正化を図ることができる。
【００１２】
動画ファイルから補正対象となる複数の対象フレームを決定するフレーム決定部と、
各対象フレームの種別を判別する判別部と、
種別が判別された対象フレームのうちのある種別の対象フレームに基づいて前記複数の対象フレームの補正に共通に使用される共通補正量を求める補正量決定部と、
前記共通補正量に基づいて、前記複数の対象フレームのそれぞれについて画像補正を行う画像補正部と、
前記画像補正が行われた複数の対象フレームを印刷する印刷部と、
を備える印刷装置。
これにより、動画ファイルから取得した複数のフレームについて適用される画像補正の適正化を図り印刷を行うことができる。
【００１３】
画像補正装置を動作させるためのプログラムであって、
動画ファイルから補正対象となる複数の対象フレームを決定するステップと、
各対象フレームの種別を判別するステップと、
種別が判別された対象フレームのうちのある種別の対象フレームに基づいて前記複数の対象フレームの補正に共通に使用される共通補正量を求めるステップと、
前記共通補正量に基づいて、前記複数の対象フレームのそれぞれについて画像補正を行うステップと、
を前記画像補正装置に行わせるプログラム。
これにより、動画ファイルから取得した複数フレームについて適用される画像補正の適正化を図ることができる。
【００１４】
＝＝＝第１実施形態＝＝＝
＜画像補正装置について＞
画像補正装置は、種々の態様で実現することができる。例えば、コンピュータに画像補正用のプログラムを実行させることで、このコンピュータを画像補正装置として用いることができる。デジタルカメラや印刷装置はコントローラを有している。そして、このコントローラに画像補正用のプログラムを実行させることで、デジタルカメラや印刷装置を画像補正装置として用いることができる。そこで、本明細書では、プリンタ・スキャナ複合機（以下、単に複合機ともいう。）を例に挙げて説明することにする。この複合機は、画像を媒体に印刷する印刷機能と、媒体に印刷された画像を読み取る読み取り機能とを有する装置である。
【００１５】
＝＝＝複合機１の構成について＝＝＝
図１Ａは、複合機１の外観を説明するための斜視図である。図１Ｂは、操作パネル４０を説明するための図である。図２は、複合機１の構成を説明するブロック図である。図３は、印刷機構２０を説明するための図である。
【００１６】
複合機１は、画像読み取り機構１０、印刷機構２０、駆動信号生成部３０、操作パネル４０、カードスロット５０、及び、コントローラ６０を有する。この複合機１では、コントローラ６０によって、制御対象部、すなわち、画像読み取り機構１０、印刷機構２０、及び、駆動信号生成部３０が制御される。
【００１７】
画像読みとり機構１０は、原稿台１１上の原稿を読み取り、原稿の画像濃度に応じた電気信号を出力するための装置である。印刷機構２０は、媒体としての用紙Ｓへ画像を印刷するための機構である。印刷機構２０は、ガイドレール２２３上をキャリッジＣＲが移動方向に移動しながらヘッドユニットＨＵからインク滴を吐出することで用紙Ｓに印刷を行う。
駆動信号生成部３０は、ヘッドからインクを吐出させる際に用いられる駆動信号ＣＯＭを生成する部分である。この駆動信号生成部３０は、コントローラ６０（ＣＰＵ６２）からの制御信号に基づき、様々な波形の駆動信号ＣＯＭを生成する。
【００１８】
＜操作パネル４０について＞
操作パネル４０は、複合機１におけるユーザインタフェースを構成する。操作パネル４０には、電源ボタン４１、表示部４２、及び、入力部４３が配置されている。電源ボタン４１は複合機１の電源をオンオフする際に操作されるボタンである。表示部４２は、例えば液晶表示パネルによって構成される。この表示部４２には、例えばメニュー画面や印刷対象となる画像（動画ファイルのフレーム）が表示される。入力部４３は、各種のボタンによって構成されている。この例において入力部４３は、４方向ボタン４３１、ＯＫボタン４３２、印刷設定ボタン４３３、戻るボタン４３４、表示切替ボタン４３５、モード切替ボタン４３６、印刷枚数増減ボタン４３７、スタートボタン４３８、及び、ストップボタン４３９によって構成されている。４方向ボタン４３１は、項目を移動させる際等に操作される。ＯＫボタン４３２は、選択項目を確定させる際等に操作される。印刷設定ボタン４３３は、印刷の設定時に操作される。戻るボタン４３４は、表示を前の状態に戻す場合等に操作される。表示切替ボタン４３５は、表示態様を切り替える際等に操作される。例えば、画像のサムネイル表示と拡大表示とを切り替える際等に操作される。モード切替ボタン４３６は、複合機１の動作モードを切り替える際等に操作される。印刷枚数増減ボタン４３７は、印刷枚数を調整する際等に操作される。スタートボタン４３８は、動作を開始させる際等に操作される。例えば、印刷を開始させる際に操作される。ストップボタン４３９は、何らかの動作を中止させる際等に操作される。例えば、印刷を中止させる際に操作される。これらのボタンは、操作に応じた信号を出力するスイッチ（図示せず。）を有する。このスイッチはコントローラ６０と電気的に接続されている。従って、コントローラ６０は、スイッチからの信号に基づいて各ボタンに対する操作を認識し、認識した操作に対応した動作をする。
【００１９】
＜カードスロット５０について＞
カードスロット５０は、メモリカードＭＣと電気的な接続を行う部分である。このため、カードスロット５０には、メモリカードＭＣと電気的に接続するためのインタフェース回路が設けられている。カードスロット５０に対して着脱されるメモリカードＭＣには、印刷対象となるデータが記憶される。例えば、デジタルカメラによって撮影された動画ファイルや静止画ファイルが記憶される。
【００２０】
＜コントローラ６０について＞
コントローラ６０は、インタフェース部６１と、ＣＰＵ６２と、メモリ６３と、制御ユニット６４とを有する。インタフェース部６１は、外部装置であるコンピュータ（図示せず）との間でデータの受け渡しを行う。また、ケーブルを通じて接続されたデジタルカメラとの間でもデータの受け渡しを行うことができる。ＣＰＵ６２は、複合機１の全体的な制御を行うための演算処理装置である。メモリ６３は、コンピュータプログラムを格納する領域や作業領域等を確保するためのものであり、ＲＡＭ、ＥＥＰＲＯＭ、ＲＯＭ等の記憶素子によって構成される。ＣＰＵ６２は、メモリ６３に記憶されているコンピュータプログラムに従い、各制御対象部を制御する。例えば、制御ユニット６４を通じて画像読み取り機構１０、印刷機構２０、及び、操作パネル４０（表示部４２）を制御する。
【００２１】
＝＝＝複合機１の動作について＝＝＝
＜動作の概略について＞
複合機１は、画像読み取り機構１０で読み取った画像の電子データをホストコンピュータ（図示せず）へ送信することができる。また、複合機１は、画像読み取り機構１０で読み取った画像を用紙Ｓへ印刷することや、メモリカードＭＣに記憶された静止画ファイルや動画ファイルを用紙Ｓへ印刷することもできる。このような印刷時には、画像の明るさや色調の補正が行われる。また、動画ファイルを印刷する場合、動画ファイルを構成する複数のフレームのうち１つのフレームを印刷する「１フレーム印刷」と、動画ファイルを構成する一部の複数フレームを印刷する「複数フレーム印刷」とが選択できる。
【００２２】
ところで、複数フレーム印刷では、フレーム間で似通った画像となることが多い。例えば、ゴルフスイングの連続画像を印刷したいときなど、人物が中心となり背景はほとんど変化しないような連続画像となっている。
【００２３】
このような連続画像の画像補正の参考例は次のようになる。まず、各フレームについてどのような種別のフレームであるかが判定される。ここでフレームの種別とは「人物、「風景」、「標準」のいずれの種類のフレームに属するかの分類である。そして、そのフレームの種別に応じた補正が行われる。例えば、その画像が人物であると判定されたときは、肌色を美しく表現するような補正が行われる。また、その画像が風景であると判定されたときは、空の青を鮮やかに表現するような補正が行われる。つまり、そのフレームがどのような種別のフレームであるかで、行われる補正が異なる。
【００２４】
ゴルフスイングの複数フレームのそれぞれについて補正を行った場合、フレーム中の人物の顔を適切に認識できたか否かで、適用される補正は人物用のものであったり風景用のものとなったりする。そうすると、印刷される複数フレームにおいて、あるフレームにおいては青色が鮮やかになるような補正がされ、あるフレームについては肌色が美しく表現されるように補正がされるので、連続画像であるのに全体として色調が一定しない補正が行われてしまう。
【００２５】
図４は、各フレームについて個別の補正量を適用したときの印刷画像の参考例を示す図である。図には、第１フレームＦＲ１’から第１２フレームＦＲ１２’が印刷された用紙Ｓが示されている。そして、第５フレームＦＲ５’及び第６フレームＦＲ６’と第１０フレームＦＲ１０’〜第１２フレームＦＲ１２’が他のフレームに対して異なった色調となっている。これは、これらのフレームに撮影されている人物の顔が横向きであったため人物とは認識がされず、背景としての補正が適用されたためである。その他のフレームについては、人物用の補正が行われている。このように、連続画像であるのに色調が一定しないような補正はユーザを困惑させ望ましいものとはいえない。
【００２６】
よって、次に説明する動画印刷処理で使用される画像補正では、各フレームについて同一の補正量を適用する。より詳しくいうと、この同一の補正量は、ある特定の種別（ここでは、人物）のフレームの補正量の平均である。つまり、ある特定の種別のフレームについての補正量の平均化を行い、平均化した補正量を印刷対象となる各フレームに適用する。このように一定の補正量を印刷を行う画像に適用することによって、連続画像について一定の色調を有するような補正が行われる。また、特定の種別のフレームについての補正量の平均化を行っていることから、特定の種別のフレームを他の種別のフレームよりも美しく補正するようにすることができる。
【００２７】
＜動画印刷処理の詳細について＞
以下、複合機１における動画印刷処理の詳細について説明する。図５は、印刷動作時の各処理を説明するフローチャートである。図６は、第２画質調整処理を説明するフローチャートである。図７は、動画ファイルの選択時におけるユーザインタフェースの一例を説明する図である。なお、これらの処理は、コントローラ６０によって行われる。具体的には、メモリ６３に記憶されているコンピュータプログラムに基づいてＣＰＵ６２が行う。従って、コンピュータプログラムは、各処理をＣＰＵ６２に行わせるためのコードを有する。
【００２８】
動画印刷処理において、コントローラ６０は、まず印刷方法決定処理を行う（Ｓ１）。この印刷方法決定処理は、１フレーム印刷と複数フレーム印刷の何れの印刷方法で印刷するかを決定する処理である。この処理において、コントローラ６０は、項目「１フレーム印刷」と項目「複数フレーム印刷」を含むメニュー画像を表示部４２にて表示させ、入力部４３（モード切替ボタン４３６、４方向ボタン４３１、ＯＫボタン４３２等）からの信号を待つ。そして、コントローラ６０は、入力部４３からの信号に基づいてユーザによって指定された印刷方法を認識し、その印刷方法を示す情報をメモリ６３へ記憶する。
【００２９】
次に、コントローラ６０は、動画ファイル選択処理を行う（Ｓ２）。この動画ファイル選択処理は、印刷対象となる動画ファイルをユーザに選択させるための処理である。この処理においてコントローラ６０は、印刷対象となる動画ファイルを認識し、選択を促すためのメニュー画面を表示部４２に表示させる。例えば、図７に示すように、各動画ファイルにおける１番目のフレームをサムネイル表示する。なお、図７では、２つの動画ファイルについて、１番目のフレームが表示された例を示している。その後、コントローラ６０は、入力部４３からの信号を待ち、入力部４３からの信号に基づき、ユーザによって指定された動画ファイルを認識する。そして、認識した動画ファイルのファイル名や所在を示す情報（例えば、ドライブ名やフォルダ名を示すパス情報）をメモリ６３へ記憶させる。
【００３０】
次に、コントローラ６０は、決定された印刷方法の判断を行う（Ｓ３）。この判断は、次に行われる処理を定めるために行われる。すなわち、決定された印刷方法が１フレーム印刷であった場合、コントローラ６０は、次に行う処理をフレーム決定処理（Ｓ４）と定め、ステップＳ４へ移行する。また、決定された印刷方法が複数フレーム印刷であった場合、コントローラ６０は、次に行う処理を開始終了フレーム決定処理（Ｓ７）と定め、ステップＳ７へ移行する。ここでは、まず、決定された印刷方法が１フレーム印刷である場合について説明する。
【００３１】
フレーム決定処理（Ｓ４）は、１フレーム印刷において印刷対象となるフレーム（対象フレームともいう。）を決定する処理である。この処理において、コントローラ６０は、動画ファイルを構成する複数のフレームの中から、印刷対象となる１つのフレームを決定する。このため、コントローラ６０は、撮影開始からの経過時間、及び、この経過時間に対応するフレームを、表示部４２に表示させ、入力部４３からの入力を待つ。ユーザは、入力部４３（例えば４方向ボタン４３１）を操作して経過時間を変化させる。そして、所望のフレームが表示されたならば、ユーザは、ＯＫボタン４３２を操作する等によって印刷するフレームを決定する。この操作に伴い、コントローラ６０は、対応するフレームを対象フレームに決定し、この対象フレームを示す情報をメモリ６３に記憶する。
【００３２】
次に、コントローラ６０は、第１画質調整処理を行う（Ｓ５）。この第１画質調整処理は、対象フレームの画質を調整する処理である。すなわち、この処理において、コントローラ６０は、対象フレームの種別を判定し、その種別に適した画像補正を行う。この複合機１において、対象フレームには被写体に基づいて３つの種類に分類される。具体的には、「人物」，「風景」，「標準」からなる３つの種類に分類される。対象フレームを「人物」と判定したとき、コントローラ６０は、対象フレームにおける人の顔の部分が肌色の標準色となるように色合いを補正する。対象フレームが「風景」と判定された場合、コントローラ６０は、対象フレームにおける緑色の部分、青色の部分、及び、赤色の部分について、彩度を上げるように補正する。対象フレームが「標準」と判定された場合、コントローラ６０は、対象フレームにおける明度を上げ、かつ、各色の彩度を上げる補正をする。
【００３３】
次に、コントローラ６０は、第１印刷処理を行う（Ｓ６）。この第１印刷処理は、対象フレームが１つの場合における印刷処理である。例えば、画像補正後の対象フレームを所定サイズの用紙Ｓへ印刷する処理が行われる。このとき、コントローラ６０は、印刷機構２０を制御して対象フレームの画像を用紙Ｓへ印刷させる。
【００３４】
次に、Ｓ３で決定された印刷方法が複数フレーム印刷の場合について説明する。この場合、コントローラ６０は、ステップＳ７において開始終了フレーム決定処理を行う。図８は、開始終了フレーム決定処理におけるユーザインタフェースの一例を説明するための図である。図９は、開始フレームの決定時におけるユーザインタフェースの一例を説明するための図である。図１０は、終了フレームの決定時におけるユーザインタフェースの一例を説明する図である。この開始終了フレーム決定処理は、印刷対象となる動画ファイルについて、印刷対象となる最初の対象フレーム（以下、開始フレームともいう。）と、最後の対象フレーム（以下、終了フレームともいう。）とを指定する処理である。
【００３５】
まず、コントローラ６０は、選択用画像を表示部４２に表示させる。ここでの選択用画像は、フレーム用の表示領域４２１と、カーソル用の表示領域４２２と、操作内容説明用の表示領域４２３とを有している。フレーム用の表示領域４２１は、任意のフレームについて画像を表示するものである。この複合機１において、フレーム用の表示領域４２１には、まず動画ファイルにおける１番目のフレームが表示される。そして、４方向ボタン４３１における左側部分又は右側部分が操作されると、表示対象となるフレームが変化する。例えば、右側部分が押されると、表示されているフレームよりも後側のフレームが表示され、左側部分が押されると、表示されているフレームよりも前側のフレームが表示される。
【００３６】
カーソル用の表示領域４２２は、左右方向に移動可能なカーソルＣＳを表示する。このカーソルＣＳは、表示されているフレームの動画ファイルにおける経過時間を示す。例えば、図８の例では、動画ファイルにおける先頭フレームが表示されている。このため、カーソルＣＳは、カーソル用の表示領域４２２における左端に表示されている。そして、図９の例では、全体の４割程度の時間が経過した状態のフレームが表示されている。このため、カーソルＣＳも、表示領域における左端から右側へ向けて、表示範囲の４割程度移動している。同様に、図１０の例では、全体の６割程度の時間が経過した状態のフレームが表示されている。このため、カーソルＣＳも、表示領域における左端から右側へ向けて、表示範囲の６割程度移動している。
【００３７】
好みのフレームが表示されている状態でユーザがＯＫボタン４３２を押すと、その時点でのフレームが開始フレームに定められる。また、開始フレームが定められた後に、この開始フレームよりも後側の好みのフレームが表示されている状態でユーザがＯＫボタン４３２を押すと、その時点でのフレームが終了フレームに定められる。例えば、図９に示す状態でユーザがＯＫボタン４３２を押し、その後、図１０に示す状態でユーザがＯＫボタン４３２を押すと、開始フレームとして、ゴルフでアドレスをしている人物のフレームが定められ、終了フレームとして、ショット後の人物のフレームが定められる。つまり、開始フレームは最初の対象フレームであり、終了フレームは最後の対象フレームとなる。
【００３８】
次に、コントローラ６０は、中間フレーム決定処理を行う（Ｓ８）。図１１は、対象フレームを説明するための図である。中間フレームは、開始フレームと終了フレームの間に定められるフレームであって、印刷対象となるフレームである。従って、中間フレームは、中間の対象フレームということもできる。
【００３９】
中間フレーム決定処理において、コントローラ６０は、開始フレームと終了フレームとの間に、互いに前後する対象フレーム同士の時間間隔を揃えて複数の中間フレームを決定する。この複合機１では、複数フレーム印刷が選択された場合に、１２個の対象フレームが１枚の用紙Ｓに印刷される。このため、図１１に符号ＦＲ１で示すフレームが開始フレームとして決定され、符号ＦＲ１２で示すフレームが終了フレームとして決定された場合には、符号ＦＲ２から符号ＦＲ１１で示す各フレームが中間フレームとして決定される。図１１の例において、中間フレームＦＲ２〜ＦＲ１１は、互いに前後する他の対象フレームとの時間間隔が揃うように定められる。この例において各中間フレームＦＲ２〜ＦＲ１１は、他の対象フレームとの間に２つのフレームを挟んでいる。言い換えれば、各対象フレームＦＲ１〜ＦＲ１２は、２つのフレーム毎に定められている。なお、間に挟むフレームの数に関し、図示の都合で２つとしたが、実際の数はこの数に限られない。すなわち、間に挟むフレームの数は、開始フレームから終了フレームまでの時間間隔、対象フレームの数、撮影時におけるフレームレート等の要因によって定められる。
【００４０】
中間フレームが決定されたならば、第２画質調整処理が行われる（Ｓ９）。この第２画質調整処理は、複数の対象フレームについて画質を調整する処理である。なお、この第２画質調整処理については後で詳しく説明する。
【００４１】
第２画質調整処理を行ったならば、コントローラ６０は、第２印刷処理を行う（Ｓ１０）。この第２印刷処理は複数の対象フレームに対する印刷処理であり、画像印刷部として機能する印刷機構２０を制御することで、画像補正後の複数の対象フレーム（開始フレーム，中間フレーム，終了フレーム）を１枚の用紙Ｓへ印刷させる。
【００４２】
図１２は、第２印刷処理における表示部４２の表示画面の一例である。この第２印刷処理では、図１２に示すように、まず、複数の対象フレームが表示部４２に表示される。なお、図１２における上段左端に表示されている対象フレームが開始フレーム（１番目の対象フレームＦＲ１）であり、下段右端に表示されている対象フレームが終了フレーム（１２番目の対象フレームＦＲ１２）である。また、他の対象フレームＦＲ２〜ＦＲ１１は中間フレームである。そして、各対象フレームＦＲ１〜ＦＲ１２は、上段左端から下段右端に向かって時系列で表示されている。すなわち、表示されている１２個の対象フレームのうち、上段に配置されている４つの対象フレームは、１番目の対象フレームＦＲ１から４番目の対象フレームＦＲ４である。そして、撮影された時刻が早い程、左側に表示されている。同様に、中段に配置されている４つの対象フレームは５番目の対象フレームＦＲ５から８番目の対象フレームＦＲ８であり、下段に配置されている４つの対象フレームは９番目の対象フレームＦＲ９から１２番目の対象フレームＦＲ１２である。
【００４３】
そして、ユーザがＯＫボタン４３２、及び、スタートボタン４３８を順に押すことで、用紙Ｓへの印刷が開始される。すなわち、コントローラ６０は、画像補正が行われた複数の対象フレームＦＲ１〜ＦＲ１２を１枚の用紙Ｓに印刷させる。ここで、図１３は、印刷画像の一例を示す図である。図１３に示すように、用紙Ｓの幅方向（キャリッジ移動方向に対応する。）に３つ、用紙Ｓの長さ方向（搬送方向に対応する。）に４つのフレームが配置され、合計で１２個のフレームが１枚の用紙Ｓに印刷される。
【００４４】
＝＝＝第２画質調整処理について＝＝＝
図６を参照しつつ、第２画像調整処理について説明する。まず、第２画質調整処理の概略について説明する。第２画質調整処理において、コントローラ６０は、各対象フレームについての補正量を求める。この補正量は、対象フレームがどの種別に属するかによって個別に求められる。次に、コントローラ６０は、この複数の種別のうち人物の顔が写っている種別（「人物」）の対象フレームの補正量の平均を求める。そして、この平均化した補正量を、複数の対象フレームについて適用して、画像補正を行う。
【００４５】
後述する通り、フレーム中の被写体が人物であるか否かは、人物の顔と認識できる部分がフレーム内にあるか否かによって行われる。人物の顔の肌の色合いは繊細であって補正の影響を敏感に受けやすい。よって、他の種別のフレームの補正量の影響を受けないようにするために、「人物」と認識されたフレームの補正量だけの平均を求め、これを全てのフレームに適用するのである。
【００４６】
第２画質調整処理の各ステップについて説明を行う。最初に、コントローラ６０は、サンプリング処理を行う（Ｓ１１）。このサンプリング処理は、各対象フレームについて、輝度や色合い等に関する情報を取得する処理である。この処理において、コントローラ６０は、輝度値、Ｒ（レッド）画素の数や座標、Ｇ（グリーン）画素の数や座標、Ｂ（ブルー）画素の数や座標、及び、エッジの量等の情報を取得する。そして、取得した情報を統計値情報としてメモリ６３に記憶する。
【００４７】
統計値情報を記憶させると、コントローラ６０は、シーン判定処理を行う（Ｓ１２）。シーン判定処理は、各対象フレームのシーンを判定する処理である。シーンの種類には「人物」、「風景」、「標準」の３つが用意されている。そして、コントローラ６０は、各対象フレームが「人物」、「風景」、「標準」のどの種別に分類されるかを判定する。このとき、コントローラ６０は、メモリ６３に記憶された統計値情報を読み出し、その対象フレームが「人物」に分類できるか否かを判定する。この判定は、顔の部分があるか否かによって行われる。
【００４８】
この判定について概略を説明すると次の通りである。まず、コントローラ６０は、その対象フレームについて肌色の部分があるか否かについて判定する。肌色の部分があった場合、コントローラ６０は、その肌色の部分の中に両目及び口に対応する部分があるかを判定する。そして、両目及び口に対応する部分があった場合、肌色と認識できる部分を顔と認識する。さらに、顔の部分における面積が対象フレームにおける面積の０．５％以上あれば、その対象フレームの種類を「人物」と判定する。
【００４９】
「人物」とは判定されなかった場合、コントローラ６０は、その対象フレームが「風景」に分類できるかを判定する。この判定は、例えば、ヒストグラムを用いて行われる。このとき、コントローラ６０は、輝度値、Ｒ画素数、Ｇ画素数、Ｂ画素数、エッジの量等の各項目について度数を求め、ヒストグラムを得る。そして、得られたヒストグラムの形状から対象フレームの種類を判定する。例えば、風景に多く出現する、緑、青、赤、の比率が高ければ、風景を示すヒストグラムとのマッチングが高くなる。よって、このときコントローラ６０は、その対象フレームを「風景」と判定する。
【００５０】
さらに、コントローラ６０は、「人物」「風景」のいずれにも判定されなかった対象フレームを「標準」と判定する。そして、この判定結果を、各対象フレームの番号に関連づけてシーン情報としてメモリ６３に記憶する。
【００５１】
次に、コントローラ６０は、補正量算出処理（Ｓ１３）を行う。複合機１で用いられる補正項目としては、例えば、「明るさ」、「コントラスト」、「彩度」、「カラーバランス」、「シャープネス」がある。尚、補正項目は一例であり、他の項目も定められている。ここで、対象フレームが「人物」と判定された場合には、その対象フレームにおける人の顔の部分が、肌色の標準色となるように補正量が算出される。対象フレームが「風景」と判定された場合、その代表フレームにおける緑色の部分、青色の部分、及び、赤色の部分について、彩度を上げるように補正量が算出される。対象フレームが「標準」と判定された場合、その対象フレームが多少明るくなり、かつ、各色の彩度が多少高くなるように補正量が算出される。そして、コントローラ６０は、算出した補正量を各対象フレームの番号に関連づけてメモリ６３に記憶する。
【００５２】
次に、コントローラ６０は、すべての対象フレームについて、上述の一連の処理（Ｓ１１〜Ｓ１３）を行ったか否かについて判定する（Ｓ１４）。そして、Ｓ１１〜Ｓ１３の処理を行っていない対象フレームが残っている場合には、Ｓ１１に戻り、未処理の対象フレームについて上述の一連の処理（Ｓ１１〜Ｓ１３）を行う。一方、全ての対象フレームについて、Ｓ１１〜Ｓ１３の処理を行った場合には、補正量の平均化処理を行う。
【００５３】
補正量の平均化処理は、人物の対象フレームが１枚でもあったか否かによって異なった処理となる。よって、コントローラ６０は、「人物」の対象フレームが１枚でもあったか否かについて判定する（Ｓ１５）。そして、「人物の対象フレームが１枚でもあったときには、「人物」の対象フレームの補正量の平均を求め、これを共通補正量とする（Ｓ１６）。一方、「人物」の対象フレームが１枚もなかった場合には、全ての対象フレームの補正量の平均を求め、これを共通補正量とする（Ｓ１７）。
【００５４】
次に、コントローラ６０は、補正処理を行う（Ｓ１８）。補正処理において、コントローラ６０は、Ｓ１６又はＳ１７で求めた共通補正量を各対象フレームに適用し画像補正を行う。
【００５５】
次に、コントローラ６０は、すべての対象フレームについて、共通補正量を適用した画像補正を行ったか否かについて判定する（Ｓ１９）。そして、まだ、共通補正量を適用した画像補正を行っていない対象フレームが残っている場合には、Ｓ１８に戻り、未処理の対象フレームについて共通補正量を適用した画像補正を行う。一方、全ての対象フレームについて、画像補正を行った場合には、第２画質調整処理を終了する。
このようにして、全ての対象フレーム（ＦＲ１〜ＦＲ１２）について共通の補正量を適用して画像補正が行われる。
【００５６】
第２画質調整処理が終了すると、コントローラ６０は、第２印刷処理（図５、Ｓ１０）を行う。これにより、例えば図１３に示す画像が用紙Ｓに印刷される。このとき、複合機１では、共通の補正量を全ての対象フレームに適用して画像補正を行っているので、各画像の色調が揃い、印刷の品質を高めることができる。
【００５７】
また、対象フレームの中に「人物」のフレームがあった場合には、これら「人物」の対象フレームの補正量の平均を共通補正量としている。よって、「人物」のフレームに適した補正を行いつつ、各画像の色調を揃えた補正を行うことができる。
【００５８】
ここでは、Ｓ１５及びＳ１６において、「人物」の対象フレームの補正量の平均を共通補正量としたが、「風景」又は「標準」の対象フレームの補正量の平均を共通補正量としてもよい。この場合には、「風景」又は「標準」のフレームに適した補正を行いつつ、各画像の色調を揃えた補正を行うことができる。
【００５９】
また、ある特定の種別以外のフレームについての補正量の平均を求め、これを共通補正量とすることもできる。たとえば、「夜景」の種別のフレームを判別できるようにしたときにおいて、この「夜景」以外の全てのフレームの補正量の平均を求め、これを共通補正量とすることもできる。ここで「夜景」のフレームを除外しているのは、「夜景」は全体的に暗いフレームとなるため、これを明るくしようとする補正がなされるためである。そして、この明るくしようとする補正量が大きくなりがちであり、この補正量が共通補正量に与える寄与度が大きくなって不具合を生じる場合があるからである。
【００６０】
「夜景」以外の対象フレームの補正量の平均を共通補正量とするときには、例えば、Ｓ１２のシーン判定処理において「夜景」を判別する処理を導入し、Ｓ１５において「夜景」以外のフレームがあるか否かを判定する。そして、「夜景」以外のフレームがあった場合には、Ｓ１６において「夜景」以外のフレームの補正量の平均を求め、これを共通補正量とする。
【００６１】
＝＝＝第２実施形態＝＝＝
第２実施形態では、複数の対象フレームのうち最も数の多い種別のフレームの補正量を平均化して共通補正量（便宜上、第２共通補正量とする）とする。そして、この第２共通補正量を、各対象フレームに適用することによって画像補正を行う。
【００６２】
具体的には、図６のＳ１５の処理が次に説明するＳ１５’に置き換えられ、Ｓ１６の処理が次に説明するＳ１６’の処理に置き換えられ、Ｓ１７の処理は削除される。まず、Ｓ１５’の処理について説明する。Ｓ１５’において、コントローラ６０は、複数の対象フレームのなかで「人物」「風景」「標準」のそれぞれのフレームの数をカウントする。そして、最も数の多い種別を特定する。ここでは、例えば、「風景」の種別の対象フレームの数が最も多かったとする。
【００６３】
次に、Ｓ１６’において、コントローラ６０’は、最も数の多い種別の対象フレームの補正量を平均化して共通補正量を求める。Ｓ１５’において、最も数の多い種別の対象フレームは「風景」の対象フレームであった。よって、ここでは、「風景」の対象フレームの補正量の平均化を行い、これを共通補正量（第２共通補正量）とする。
【００６４】
このようにすることによって、最も数の多い種別の対象フレームについてより美しく補正するようにしつつ、各対象フレームについて色調が一定になるような画像補正を行うことができる。
【００６５】
尚、Ｓ１５において、最も多い種別の対象フレームの数が種別間で同数になった場合（例えば、「人物」と「風景」の対象フレームの数がそれぞれ６枚ずつであった場合など）には、「人物」の対象フレームの補正量を平均化するなどして、「人物」に適した補正を優先的に行うようにしてもよい。このように同数であった場合の処理は、任意に決めることができる。
【００６６】
＝＝＝第３実施形態＝＝＝
第３実施形態では、「人物」の対象フレームのうち、人物の顔が対象フレームに占める割合が大きいほど大きな重み付けを行う。そして、重み付けした後の「人物」の対象フレームの補正量を平均化して共通補正量（便宜上、第３共通補正量とする）を求める。そして、この第３共通補正量を各対象フレームに適用することによって画像補正を行う。
【００６７】
具体的には、第３実施形態において、図６のＳ１６の平均化処理が次に説明する処理（Ｓ１６’’）に置き換えられる。Ｓ１６’’において、コントローラ６０は、「人物」の種別の各対象フレームについて人物の顔の面積を求める。そして、より人物の面積の大きい対象フレームの補正量に対して、他の「人物」の対象フレームよりも大きい重み付けを行って共通補正量を求める。
【００６８】
人物の顔の面積の求め方は、まず、前述のシーン判定処理と同様の方法によって顔の部分を認識する。そして、両目間の幅に両目を結ぶ直線から口までの高さを乗ずることによって顔の一部の面積を特定する。一般にこの顔の一部の面積を所定倍（ここでは２倍とする）するとフレームにおける顔の面積となる。よって、前述の顔の一部の面積を２倍して顔の面積を求める。
【００６９】
それぞれの「人物」の対象フレームにおける顔の面積が求まると、コントローラ６０は、顔の面積の占める割合が大きい対象フレームの補正量ほど大きな重み付けを行う。そして、重み付け後の「人物」の対象フレームの補正量の平均を第３共通補正量とする。例えば、８番目の対象フレームＦＲ８から１２番目の対象フレームＦＲ１２までが「人物」の対象フレームとされ、８番目の対象フレームＦＲ８から１２番目の対象フレームＦＲ１２にかけて、徐々に人物の顔のフレームに占める割合が大きくなっていったとする。そうすると、第３共通補正量Ｃaveを求める式は次のようになる。
Ｃave=ａ8・Ｃ8＋ａ9・Ｃ9＋ａ10・Ｃ10＋ａ11・Ｃ11＋ａ12・Ｃ12 （式１）
但し、ａ8＜ａ9＜ａ10＜ａ11＜ａ12 かつ ａ8＋ａ9＋ａ10＋ａ11＋ａ12＝１
【００７０】
このようにすることによって、人物の顔が占める割合が大きい対象フレームの補正量の寄与度が高い第３共通補正量を求めることができる。そして、この第３共通補正量を複数の対象フレームに適用することによって、「人物」の顔の占める割合が大きい対象フレームをより美しく補正するようにしつつ、各対象フレームについて色調が一定になるような画像補正を行うことができる。
【００７１】
＝＝＝第４実施形態＝＝＝
第４実施形態では、「人物」の対象フレームのうち、中央寄りの対象フレームの補正量に重み付けを行う。そして、重み付けした後の「人物」の対象フレームの補正量を平均化することで共通補正量（便宜上、第４共通補正量とする）を求める。そして、この第４共通補正量を各対象フレームに適用することによって画像補正を行う。
【００７２】
このように、より中央の「人物」の対象フレームの補正量に重み付けを行うのは、一般的にユーザは、中央の対象フレームを最も重要視するだとうと思われるからである。
【００７３】
具体的には、図６のＳ１６の補正量の平均化処理が次に説明する処理（Ｓ１６’’’）に置き換えられる。Ｓ１６’’’において、コントローラ６０は、「人物」の対象フレームのうち、より中央寄りの対象フレームを特定する。例えば、「人物」の対象フレームとして、３番目の対象フレームＦＲ３、６番目の対象フレームＦＲ６、１２番目の対象フレームＦＲ１２が「人物」の対象フレームであるとされたとき、最も中央寄りの対象フレームは６番目の対象フレームＦＲ６である。よって、コントローラ６０は、最も中央寄りの対象フレームが６番目の対象フレームＦＲ６であると特定する。
【００７４】
次に、コントローラ６０は、中央寄りの対象フレーム（６番目の対象フレームＦＲ６）の補正量に重み付けをした第４共通補正量を求める。第４共通補正量Ｃaveを求める式は、ｎ番目の補正量をＣnとし、ｎ番目の補正量に乗ずる係数をａnとすると、次のようになる。
Ｃave＝ａ3・Ｃ3＋ａ6・Ｃ6＋ａ12・Ｃ12 （式２）
但し、ａ6＞ａ3,ａ12 かつ ａ3＋ａ6＋ａ12＝１
【００７５】
このようにすることで、「人物」の対象フレームのうち中央寄りの対象フレームの補正量の寄与度を高めることができる。そして、各対象フレームにこの共通補正量を提供することによって、「人物」の対象フレームのうち中央寄りの対象フレームをより美しく補正するようにしつつ、各対象フレームについて色調が一定になるような画像補正を行うことができる。
【００７６】
尚、ここでは「人物」の対象フレームの補正量の平均を共通補正量として求める際に中央寄りの対象フレームの補正量を重み付けすることとした。しかしながら、「風景」や「標準」の対象フレームの補正量の平均を共通補正量として求める場合にも、中央寄りの対象フレームの補正量を重み付けするようにできることはいうまでもない。
【００７７】
また、第２実施形態と組み合わせて、最も数の多い種別の対象フレームの補正量の平均を共通補正量として求める場合にも、中央寄りの対象フレームの補正量を重み付けするようにできることもいうまでもない。
【００７８】
＝＝＝第５実施形態＝＝＝
第５実施形態では、「人物」の対象フレームのうち、ピントが合っていない（ピンぼけ）対象フレームの補正量に対してピントの合っている対象フレームよりも小さな重み付けを行い、重み付けした後の補正量をその対象フレームの補正量とする。そして、「人物」の対象フレームの補正量を平均化して共通補正量（便宜上、第５共通補正量とする）を求める。そして、この第５共通補正量を各対象フレームに適用することによって画像補正を行う。
【００７９】
このようにするのは、よりピントの合っている「人物」の対象フレームの補正を美しく印刷されることの方が望まれると考えられるためである。そのために、「人物」の対象フレームのうち、ピントの合っていない対象フレームの補正量についてピントの合っている対象フレームの補正量よりも小さな重み付けを行い、共通補正量に対する寄与度を下げているのである。
【００８０】
具体的には、第５実施形態において、図６のＳ１６の平均化処理が、次に説明する処理（Ｓ１６’’’’）に置き換えられる。Ｓ１６’’’’において、コントローラ６０は、「人物」の種類の各対象フレームについてピントの合っている度合いを求める。そして、ピントがより合っている「人物」の対象フレームの補正量に対して、他の「人物」の対象フレームよりも大きい重み付けを行って共通補正量を求める。
【００８１】
ピントの合っている度合いは、例えば次のようにして求める。ピントが合っている度合いを求める方法として、個々では、エッジ検出処理が用いられる。このエッジ検出処理においてコントローラ６０は、「人物」の対象フレームの各画素について濃度の空間的変化（勾配）を求める。一般的に、ピントが合うほど濃度変化が急峻である画素数が増加するからである。また、濃度変化が急峻であるか否かは画素間の勾配が所定値よりも大きいか否かによって判定することができる。よって、コントローラ６０は、所定値よりも大きい勾配を有する画素の数をカウントし、このカウント値が大きい対象フレームほどピントの合っている度合いが高い対象フレームであるとする。
【００８２】
ところで、撮影された被写体の異なるフレーム同士では、これら被写体を構成するエッジの量も異なったものとなる。このようにエッジの量が異なっているフレーム同士では、勾配が大きいとされる画素数も初めから異なったものとなる。よって、被写体の異なるフレーム同士の比較において、所定値よりも大きな勾配を有する画素数が多いフレームほどピントが合っているフレームということはいえない。一方、第５実施形態では、対象フレームＦＲ１〜ＦＲ１２は同様の被写体を有するフレームであると考えられるから、そのうちの「人物」の対象フレームも同様の被写体を有するフレームであると考えられる。これは、対象フレームが動画ファイルから取り出されたものであり、連続的なフレームであると推測されるからである。よって、本実施形態では、所定値よりも大きい勾配を有する画素数のカウント値を単純にフレーム間で比較することによって、ピントが合っている度合いの比較をすることができるのである。
【００８３】
「人物」の種類の各対象フレームについてのピントが合っている度合いを求めると、コントローラは、「人物」の対象フレームの補正量の平均を求め、これを第５共通補正量とする。ここでは、「人物」の種類の対象フレームを３番目の対象フレームＦＲ３、６番目の対象フレームＦＲ６、１２番目の対象フレームＦＲ１２とし、最初の対象フレームほどピントが合っていたとすると、第５共通補正量Ｃaveを求める式は次のようになる。
Ｃave＝ａ3・Ｃ3＋ａ6・Ｃ6＋ａ12・Ｃ12 （式３）
但し、ａ6＞ａ3＞ａ12 かつ ａ3＋ａ6＋ａ12＝１
【００８４】
このようにすることによって、「人物」の種類の対象フレームのうち、ピントの合っている度合いが高い対象フレームの補正量の寄与度が高い第５共通補正量を求めることができる。そして、この第５共通補正量を複数の対象フレームに適用することによって、「人物」の対象フレームのうちピントの合っている対象フレームをより美しく補正するようにしつつ、各対象フレームについて色調が一定になるような画像補正を行うことができる。
【００８５】
尚、ここでは「人物」の対象フレームの補正量の平均を共通補正量として求める際にピントが合っている対象フレームの補正量を重み付けすることとした。しかしながら、「風景」や「標準」の対象フレームの補正量の平均を共通補正量として求める場合にも、ピントが合っている対象フレームの補正量を重み付けするようにできることはいうまでもない。
【００８６】
また、第２実施形態と組み合わせて、最も数の多い種別の対象フレームの補正量の平均を共通補正量として求める場合にも、ピントが合っている対象フレームの補正量を重み付けするようにできることもいうまでもない。
【００８７】
＝＝＝その他の実施の形態＝＝＝
上記の実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれることは言うまでもない。特に、以下に述べる実施形態であっても、本発明に含まれるものである。
【００８８】
＜画像補正装置について＞
前述した各実施形態では、複合機１を画像補正装置として用いた構成が記載されている。しかし、画像補正装置は、複合機１に限定されるものではない。例えば、専ら印刷を行うプリンタを画像補正装置として用いてもよい。この場合、プリンタに、画像補正用のプログラムを実行させることで、画像補正装置として用いる。また、画像補正用のプログラムを実行するコンピュータによって画像補正装置を構成してもよい。さらに、デジタルカメラやデジタルビデオを画像補正装置として用いてもよい。
また前述した画像補正装置は、コンピュータ上での画像補正においても使用できることはいうまでもない。
【００８９】
＜印刷の態様について＞
前述した各実施形態では、複数の対象フレームを同じ用紙Ｓに印刷する態様について説明したが、印刷の態様はこれに限定されない。例えば、複数の対象フレームを別の用紙Ｓに印刷する態様であってもよい。
【００９０】
＜対象フレームの種類について＞
前述した各実施形態では、対象フレームの種類として「人物」，「風景」，「標準」の３つを例に挙げて説明した。対象フレームの種類はこれらに限定されるものではなく、他の種類であってもよい。
【００９１】
＜メモリカードＭＣについて＞
前述した各実施形態では、カードスロット５０にメモリカードＭＣを装着する構成であったが、この構成に限定されない。例えば、デジタルカメラと複合機１とをケーブルを介して接続し、デジタルカメラに装着されたメモリカードＭＣへ、ケーブルを通じてアクセスするようにしてもよい。
【００９２】
＝＝＝まとめ＝＝＝
（１）前述の実施形態における画像補正装置では、動画ファイルから補正対象となる複数の対象フレームＦＲ１〜ＦＲ１２を決定するステップと、各対象フレームの種別（「人物」「風景」「標準」）を判別するステップと、を含む。そして、種別が判別された対象フレームのうちのある種別（例えば「人物」）の対象フレームに基づいて複数の対象フレームの補正に共通に使用される共通補正量を求めるステップと、この共通補正量に基づいて、複数の対象フレームのそれぞれについて画像補正を行うステップと、を含む。
【００９３】
このように共通の補正量を全ての対象フレームについて適用するので、各対象フレームについて色調が一定になるような画像補正が行われ、画像補正の適正化を図ることができる。また、特定の種別の対象フレームの補正量に基づいて共通補正量を求めることとしているので、特定の種別の対象フレームの補正に適した共通補正量を求めることができる。
【００９４】
（２）また、第２実施形態において、共通補正量を求めるステップ（Ｓ１１〜Ｓ１６）は、ある種別の対象フレームとして複数の対象フレームのうち数が多い種別の対象フレームを求め、ある種別の対象フレームに基づいて複数の対象フレームの補正に共通に使用される共通補正量を求めるステップを含む。
このようにすることによって、最も数の多い種別の対象フレームについてより美しく補正をするようにしつつ、各対象フレームについて色調が一定になるような画像補正を行うことができる。
【００９５】
（３）また、共通補正量を求めるステップは、共通補正量としてある種別の対象フレームの補正量の平均を求めるステップ（Ｓ１６）を含む。
このようにすることによって、ある種別の対象フレームが複数あった場合にもこれらの補正量の平均をもって共通補正量とすることができる。
【００９６】
（４）また、第３実施形態において、共通補正量を求めるステップは、ある種別の対象フレームを人物の顔が写っている種別の対象フレームとしたとき、人物の顔が対象フレームに占める割合に応じてある種別の対象フレームの補正量について重み付けし、共通補正量としてある種別の対象フレームの補正量の平均を求めるステップを含む。
このようにすることによって、対象フレーム中の人物の顔が占める割合が大きい対象フレームの補正量の寄与度が高い共通補正量を求めることができる。
【００９７】
（５）また、第４実施形態において、共通補正量を求めるステップは、ある種別の対象フレームのうちの中央寄りのある種別の対象フレームの補正量について重み付けし、共通補正量としてある種別の対象フレームの補正量の平均を求めるステップを含む。
このようにすることによって、最も重要視するであろうと思われる中央よりの対象フレームをより美しく補正できるような共通補正量を求めることができる。
【００９８】
（６）また、第５実施形態において、共通補正量を求めるステップは、ある種別の対象フレームのピントの合っている度合いに基づいて、このある種別の対象フレームの補正量について重み付けし、共通補正量としてある種別の対象フレームの補正量の平均を求めるステップを含む。
このようにすることによって、ある種別の対象フレームのうち、ピントが合っている度合いが高い対象フレームの補正量の寄与度が高い共通補正量を求めることができる。
【００９９】
（７）また、複数の対象フレームを決定するステップは、動画ファイルから最初の対象フレームと最後の対象フレームとを決定し、最初の対象フレームと最後の対象フレームとの間に、互いに前後する対象フレーム同士の時間間隔を揃えて中間の対象フレームを決定するステップを含む。
このようにすることによって、最初の対象フレームと最後の対象フレームを決定することにより、中間の対象フレームを容易に決定することができる。
【０１００】
（８）また、前述の画像補正方法によれば、記述のほぼ全ての効果を奏するため、本発明の目的が最も有効に達成される。
【０１０１】
（９）また、動画ファイルから補正対象となる複数の対象フレームを決定するフレーム決定部と、各対象フレームの種別を判別する判別部と、種別が判別された対象フレームのうちのある種別の対象フレームに基づいて前記複数の対象フレームの補正に共通に使用される共通補正量を求める補正量決定部と、前記共通補正量に基づいて、前記複数の対象フレームのそれぞれについて画像補正を行う画像補正部と、を含む画像補正装置があることはいうまでもない。このとき、フレーム決定部、判別部、補正量決定部、及び画像補正部の動作は、前述のコントローラ６０が担う。
【０１０２】
（１０）また、上述の画像補正装置に、画像補正が行われた複数の対象フレームを印刷する印刷部を加えた印刷装置があることはいうまでもない。
【０１０３】
（１１）また、前述の画像補正方法をコンピュータに実行させるプログラムがあることはいうまでもない。
【図面の簡単な説明】
【０１０４】
【図１】図１Ａは、複合機１の外観を説明するための斜視図であり、図１Ｂは、操作パネル４０を説明するための図である。
【図２】複合機１の構成を説明するブロック図である。
【図３】印刷機構２０を説明するための図である。
【図４】各フレームについて個別の補正量を適用したときの印刷画像の参考例を示す図である。
【図５】印刷動作時の各処理を説明するフローチャートである。
【図６】第２画質調整処理を説明するフローチャートである。
【図７】動画ファイルの選択時におけるユーザインタフェースの一例を説明する図である。
【図８】開始終了フレーム決定時におけるユーザインタフェースの一例を説明する図である。
【図９】開始フレームの決定時におけるユーザインタフェースの一例を説明するための図である。
【図１０】終了フレームの決定時におけるユーザインタフェースの一例を説明する図である。
【図１１】対象フレームを説明するための図である。
【図１２】第２印刷処理における表示部４２の表示画面の一例である。
【図１３】印刷画像の一例を示す図である。
【符号の説明】
【０１０５】
１ 複合機，
１１ 原稿台，２０ 印刷機構，２２ キャリッジ移動機構，２２３ ガイド軸，
３０ 駆動信号生成部，４０ 操作パネル，４１ 電源ボタン，
４２ 表示部，４２１ フレーム用の表示領域，
４２２ カーソル用の表示領域，４２３ 操作内容説明用の表示領域，
４３ 入力部，４３１ ４方向ボタン，４３２ ＯＫボタン，
４３３ 印刷設定ボタン，４３４ 戻るボタン，４３５ 表示切替ボタン，
４３６ モード切替ボタン，４３７ 印刷枚数増減ボタン，
４３８ スタートボタン，４３９ ストップボタン，
５０ カードスロット，
６０ コントローラ，６１ インタフェース部，６２ ＣＰＵ，
６３ メモリ，６４ 制御ユニット，
Ｓ 用紙，ＣＲ キャリッジ，ＩＣ インクカートリッジ，
ＨＵ ヘッドユニット，ＭＣ メモリカード，ＣＳ カーソル，
ＦＲ１〜ＦＲ１２ 対象フレーム
【技術分野】
【０００１】
本発明は、画像補正装置、印刷装置、画像補正方法、及び、プログラムに関する。
【背景技術】
【０００２】
１つの動画ファイルから所定数の連続したフレームを取得し、印刷する装置がある。この装置において、動画ファイルから取得したフレームは静止画として扱われる。この静止画は、望ましい明るさや色彩等になるように画像補正が行われることがある。
【特許文献１】特開２００４−１２０６３８号公報
【特許文献２】特開２００６−６０６４９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
画像の補正時には、各画像の特徴に応じた補正が行われる。たとえば、人物が撮影された画像については肌色が美しく表現されるような補正が行われる。また、風景が撮影された画像については空の青さ等が強調されるような補正が行われる。
【０００４】
このように画像補正では画像の特徴に応じた補正が行われるのであるが、ときには画像認識のエラーから適正な補正が行われないときがある。このようなことが、動画ファイルから取得した連続したフレームに適用されると、適正な画像認識が行われなかったフレームに対して他のフレームとは異なる補正が行われる。そうすると、連続するフレームのうち適正な画像認識が行われなかったフレームだけが色調の異なる違和感のある画像となる。
【０００５】
本発明は、このような事情に鑑みてなされたものであり、動画ファイルから取得した複数のフレームについて適用される画像補正の適正化を図ることを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するための主たる発明は、
動画ファイルから補正対象となる複数の対象フレームを決定するステップと、
各対象フレームの種別を判別するステップと、
種別が判別された対象フレームのうちのある種別の対象フレームに基づいて前記複数の対象フレームの補正に共通に使用される共通補正量を求めるステップと、
前記共通補正量に基づいて、前記複数の対象フレームのそれぞれについて画像補正を行うステップと、
を含む画像補正方法である。
【０００７】
本発明の他の特徴については、本明細書及び添付図面の記載により明らかにする。
【発明を実施するための最良の形態】
【０００８】
本明細書及び添付図面の記載により、少なくとも、以下の事項が明らかとなる。
【０００９】
動画ファイルから補正対象となる複数の対象フレームを決定するステップと、
各対象フレームの種別を判別するステップと、
種別が判別された対象フレームのうちのある種別の対象フレームに基づいて前記複数の対象フレームの補正に共通に使用される共通補正量を求めるステップと、
前記共通補正量に基づいて、前記複数の対象フレームのそれぞれについて画像補正を行うステップと、
を含む画像補正方法。
このようにすることで、動画ファイルから取得した複数のフレームについて適用される画像補正の適正化を図ることができる。
【００１０】
かかる画像補正方法であって、前記共通補正量を求めるステップは、前記ある種別の対象フレームとして前記複数の対象フレームのうち数が多い種別の対象フレームを求め、前記ある種別の対象フレームに基づいて前記複数の対象フレームの補正に共通に使用される共通補正量を求めるステップを含むことが望ましい。また、前記共通補正量を求めるステップは、前記共通補正量として前記ある種別の対象フレームの補正量の平均を求めるステップを含むことが望ましい。また、前記共通補正量を求めるステップは、前記ある種別の対象フレームを人物の顔が写っている種別の対象フレームとしたとき、人物の顔が対象フレームに占める割合に応じて前記ある種別の対象フレームの補正量について重み付けし、前記共通補正量として前記ある種別の対象フレームの補正量の平均を求めるステップを含むことが望ましい。また、前記共通補正量を求めるステップは、前記ある種別の対象フレームのうちの中央寄りのある種別の対象フレームの補正量について重み付けし、前記共通補正量として前記ある種別の対象フレームの補正量の平均を求めるステップを含むこととしてもよい。また、前記共通補正量を求めるステップは、前記ある種別の対象フレームのピントの合っている度合いに基づいて該ある種別の対象フレームの補正量について重み付けし、前記共通補正量として前記ある種別の対象フレームの補正量の平均を求めるステップを含むこととしてもよい。また、前記複数の対象フレームを決定するステップは、前記動画ファイルから最初の対象フレームと最後の対象フレームとを決定し、前記最初の対象フレームと前記最後の対象フレームとの間に、互いに前後する対象フレーム同士の時間間隔を揃えて中間の対象フレームを決定するステップを含むことが望ましい。
これにより、動画ファイルから取得した複数のフレームについて適用される画像補正の適正化を図ることができる。
【００１１】
動画ファイルから補正対象となる複数の対象フレームを決定するフレーム決定部と、
各対象フレームの種別を判別する判別部と、
種別が判別された対象フレームのうちのある種別の対象フレームに基づいて前記複数の対象フレームの補正に共通に使用される共通補正量を求める補正量決定部と、
前記共通補正量に基づいて、前記複数の対象フレームのそれぞれについて画像補正を行う画像補正部と、
を含む画像補正装置。
これにより、動画ファイルから取得した複数のフレームについて適用される画像補正の適正化を図ることができる。
【００１２】
動画ファイルから補正対象となる複数の対象フレームを決定するフレーム決定部と、
各対象フレームの種別を判別する判別部と、
種別が判別された対象フレームのうちのある種別の対象フレームに基づいて前記複数の対象フレームの補正に共通に使用される共通補正量を求める補正量決定部と、
前記共通補正量に基づいて、前記複数の対象フレームのそれぞれについて画像補正を行う画像補正部と、
前記画像補正が行われた複数の対象フレームを印刷する印刷部と、
を備える印刷装置。
これにより、動画ファイルから取得した複数のフレームについて適用される画像補正の適正化を図り印刷を行うことができる。
【００１３】
画像補正装置を動作させるためのプログラムであって、
動画ファイルから補正対象となる複数の対象フレームを決定するステップと、
各対象フレームの種別を判別するステップと、
種別が判別された対象フレームのうちのある種別の対象フレームに基づいて前記複数の対象フレームの補正に共通に使用される共通補正量を求めるステップと、
前記共通補正量に基づいて、前記複数の対象フレームのそれぞれについて画像補正を行うステップと、
を前記画像補正装置に行わせるプログラム。
これにより、動画ファイルから取得した複数フレームについて適用される画像補正の適正化を図ることができる。
【００１４】
＝＝＝第１実施形態＝＝＝
＜画像補正装置について＞
画像補正装置は、種々の態様で実現することができる。例えば、コンピュータに画像補正用のプログラムを実行させることで、このコンピュータを画像補正装置として用いることができる。デジタルカメラや印刷装置はコントローラを有している。そして、このコントローラに画像補正用のプログラムを実行させることで、デジタルカメラや印刷装置を画像補正装置として用いることができる。そこで、本明細書では、プリンタ・スキャナ複合機（以下、単に複合機ともいう。）を例に挙げて説明することにする。この複合機は、画像を媒体に印刷する印刷機能と、媒体に印刷された画像を読み取る読み取り機能とを有する装置である。
【００１５】
＝＝＝複合機１の構成について＝＝＝
図１Ａは、複合機１の外観を説明するための斜視図である。図１Ｂは、操作パネル４０を説明するための図である。図２は、複合機１の構成を説明するブロック図である。図３は、印刷機構２０を説明するための図である。
【００１６】
複合機１は、画像読み取り機構１０、印刷機構２０、駆動信号生成部３０、操作パネル４０、カードスロット５０、及び、コントローラ６０を有する。この複合機１では、コントローラ６０によって、制御対象部、すなわち、画像読み取り機構１０、印刷機構２０、及び、駆動信号生成部３０が制御される。
【００１７】
画像読みとり機構１０は、原稿台１１上の原稿を読み取り、原稿の画像濃度に応じた電気信号を出力するための装置である。印刷機構２０は、媒体としての用紙Ｓへ画像を印刷するための機構である。印刷機構２０は、ガイドレール２２３上をキャリッジＣＲが移動方向に移動しながらヘッドユニットＨＵからインク滴を吐出することで用紙Ｓに印刷を行う。
駆動信号生成部３０は、ヘッドからインクを吐出させる際に用いられる駆動信号ＣＯＭを生成する部分である。この駆動信号生成部３０は、コントローラ６０（ＣＰＵ６２）からの制御信号に基づき、様々な波形の駆動信号ＣＯＭを生成する。
【００１８】
＜操作パネル４０について＞
操作パネル４０は、複合機１におけるユーザインタフェースを構成する。操作パネル４０には、電源ボタン４１、表示部４２、及び、入力部４３が配置されている。電源ボタン４１は複合機１の電源をオンオフする際に操作されるボタンである。表示部４２は、例えば液晶表示パネルによって構成される。この表示部４２には、例えばメニュー画面や印刷対象となる画像（動画ファイルのフレーム）が表示される。入力部４３は、各種のボタンによって構成されている。この例において入力部４３は、４方向ボタン４３１、ＯＫボタン４３２、印刷設定ボタン４３３、戻るボタン４３４、表示切替ボタン４３５、モード切替ボタン４３６、印刷枚数増減ボタン４３７、スタートボタン４３８、及び、ストップボタン４３９によって構成されている。４方向ボタン４３１は、項目を移動させる際等に操作される。ＯＫボタン４３２は、選択項目を確定させる際等に操作される。印刷設定ボタン４３３は、印刷の設定時に操作される。戻るボタン４３４は、表示を前の状態に戻す場合等に操作される。表示切替ボタン４３５は、表示態様を切り替える際等に操作される。例えば、画像のサムネイル表示と拡大表示とを切り替える際等に操作される。モード切替ボタン４３６は、複合機１の動作モードを切り替える際等に操作される。印刷枚数増減ボタン４３７は、印刷枚数を調整する際等に操作される。スタートボタン４３８は、動作を開始させる際等に操作される。例えば、印刷を開始させる際に操作される。ストップボタン４３９は、何らかの動作を中止させる際等に操作される。例えば、印刷を中止させる際に操作される。これらのボタンは、操作に応じた信号を出力するスイッチ（図示せず。）を有する。このスイッチはコントローラ６０と電気的に接続されている。従って、コントローラ６０は、スイッチからの信号に基づいて各ボタンに対する操作を認識し、認識した操作に対応した動作をする。
【００１９】
＜カードスロット５０について＞
カードスロット５０は、メモリカードＭＣと電気的な接続を行う部分である。このため、カードスロット５０には、メモリカードＭＣと電気的に接続するためのインタフェース回路が設けられている。カードスロット５０に対して着脱されるメモリカードＭＣには、印刷対象となるデータが記憶される。例えば、デジタルカメラによって撮影された動画ファイルや静止画ファイルが記憶される。
【００２０】
＜コントローラ６０について＞
コントローラ６０は、インタフェース部６１と、ＣＰＵ６２と、メモリ６３と、制御ユニット６４とを有する。インタフェース部６１は、外部装置であるコンピュータ（図示せず）との間でデータの受け渡しを行う。また、ケーブルを通じて接続されたデジタルカメラとの間でもデータの受け渡しを行うことができる。ＣＰＵ６２は、複合機１の全体的な制御を行うための演算処理装置である。メモリ６３は、コンピュータプログラムを格納する領域や作業領域等を確保するためのものであり、ＲＡＭ、ＥＥＰＲＯＭ、ＲＯＭ等の記憶素子によって構成される。ＣＰＵ６２は、メモリ６３に記憶されているコンピュータプログラムに従い、各制御対象部を制御する。例えば、制御ユニット６４を通じて画像読み取り機構１０、印刷機構２０、及び、操作パネル４０（表示部４２）を制御する。
【００２１】
＝＝＝複合機１の動作について＝＝＝
＜動作の概略について＞
複合機１は、画像読み取り機構１０で読み取った画像の電子データをホストコンピュータ（図示せず）へ送信することができる。また、複合機１は、画像読み取り機構１０で読み取った画像を用紙Ｓへ印刷することや、メモリカードＭＣに記憶された静止画ファイルや動画ファイルを用紙Ｓへ印刷することもできる。このような印刷時には、画像の明るさや色調の補正が行われる。また、動画ファイルを印刷する場合、動画ファイルを構成する複数のフレームのうち１つのフレームを印刷する「１フレーム印刷」と、動画ファイルを構成する一部の複数フレームを印刷する「複数フレーム印刷」とが選択できる。
【００２２】
ところで、複数フレーム印刷では、フレーム間で似通った画像となることが多い。例えば、ゴルフスイングの連続画像を印刷したいときなど、人物が中心となり背景はほとんど変化しないような連続画像となっている。
【００２３】
このような連続画像の画像補正の参考例は次のようになる。まず、各フレームについてどのような種別のフレームであるかが判定される。ここでフレームの種別とは「人物、「風景」、「標準」のいずれの種類のフレームに属するかの分類である。そして、そのフレームの種別に応じた補正が行われる。例えば、その画像が人物であると判定されたときは、肌色を美しく表現するような補正が行われる。また、その画像が風景であると判定されたときは、空の青を鮮やかに表現するような補正が行われる。つまり、そのフレームがどのような種別のフレームであるかで、行われる補正が異なる。
【００２４】
ゴルフスイングの複数フレームのそれぞれについて補正を行った場合、フレーム中の人物の顔を適切に認識できたか否かで、適用される補正は人物用のものであったり風景用のものとなったりする。そうすると、印刷される複数フレームにおいて、あるフレームにおいては青色が鮮やかになるような補正がされ、あるフレームについては肌色が美しく表現されるように補正がされるので、連続画像であるのに全体として色調が一定しない補正が行われてしまう。
【００２５】
図４は、各フレームについて個別の補正量を適用したときの印刷画像の参考例を示す図である。図には、第１フレームＦＲ１’から第１２フレームＦＲ１２’が印刷された用紙Ｓが示されている。そして、第５フレームＦＲ５’及び第６フレームＦＲ６’と第１０フレームＦＲ１０’〜第１２フレームＦＲ１２’が他のフレームに対して異なった色調となっている。これは、これらのフレームに撮影されている人物の顔が横向きであったため人物とは認識がされず、背景としての補正が適用されたためである。その他のフレームについては、人物用の補正が行われている。このように、連続画像であるのに色調が一定しないような補正はユーザを困惑させ望ましいものとはいえない。
【００２６】
よって、次に説明する動画印刷処理で使用される画像補正では、各フレームについて同一の補正量を適用する。より詳しくいうと、この同一の補正量は、ある特定の種別（ここでは、人物）のフレームの補正量の平均である。つまり、ある特定の種別のフレームについての補正量の平均化を行い、平均化した補正量を印刷対象となる各フレームに適用する。このように一定の補正量を印刷を行う画像に適用することによって、連続画像について一定の色調を有するような補正が行われる。また、特定の種別のフレームについての補正量の平均化を行っていることから、特定の種別のフレームを他の種別のフレームよりも美しく補正するようにすることができる。
【００２７】
＜動画印刷処理の詳細について＞
以下、複合機１における動画印刷処理の詳細について説明する。図５は、印刷動作時の各処理を説明するフローチャートである。図６は、第２画質調整処理を説明するフローチャートである。図７は、動画ファイルの選択時におけるユーザインタフェースの一例を説明する図である。なお、これらの処理は、コントローラ６０によって行われる。具体的には、メモリ６３に記憶されているコンピュータプログラムに基づいてＣＰＵ６２が行う。従って、コンピュータプログラムは、各処理をＣＰＵ６２に行わせるためのコードを有する。
【００２８】
動画印刷処理において、コントローラ６０は、まず印刷方法決定処理を行う（Ｓ１）。この印刷方法決定処理は、１フレーム印刷と複数フレーム印刷の何れの印刷方法で印刷するかを決定する処理である。この処理において、コントローラ６０は、項目「１フレーム印刷」と項目「複数フレーム印刷」を含むメニュー画像を表示部４２にて表示させ、入力部４３（モード切替ボタン４３６、４方向ボタン４３１、ＯＫボタン４３２等）からの信号を待つ。そして、コントローラ６０は、入力部４３からの信号に基づいてユーザによって指定された印刷方法を認識し、その印刷方法を示す情報をメモリ６３へ記憶する。
【００２９】
次に、コントローラ６０は、動画ファイル選択処理を行う（Ｓ２）。この動画ファイル選択処理は、印刷対象となる動画ファイルをユーザに選択させるための処理である。この処理においてコントローラ６０は、印刷対象となる動画ファイルを認識し、選択を促すためのメニュー画面を表示部４２に表示させる。例えば、図７に示すように、各動画ファイルにおける１番目のフレームをサムネイル表示する。なお、図７では、２つの動画ファイルについて、１番目のフレームが表示された例を示している。その後、コントローラ６０は、入力部４３からの信号を待ち、入力部４３からの信号に基づき、ユーザによって指定された動画ファイルを認識する。そして、認識した動画ファイルのファイル名や所在を示す情報（例えば、ドライブ名やフォルダ名を示すパス情報）をメモリ６３へ記憶させる。
【００３０】
次に、コントローラ６０は、決定された印刷方法の判断を行う（Ｓ３）。この判断は、次に行われる処理を定めるために行われる。すなわち、決定された印刷方法が１フレーム印刷であった場合、コントローラ６０は、次に行う処理をフレーム決定処理（Ｓ４）と定め、ステップＳ４へ移行する。また、決定された印刷方法が複数フレーム印刷であった場合、コントローラ６０は、次に行う処理を開始終了フレーム決定処理（Ｓ７）と定め、ステップＳ７へ移行する。ここでは、まず、決定された印刷方法が１フレーム印刷である場合について説明する。
【００３１】
フレーム決定処理（Ｓ４）は、１フレーム印刷において印刷対象となるフレーム（対象フレームともいう。）を決定する処理である。この処理において、コントローラ６０は、動画ファイルを構成する複数のフレームの中から、印刷対象となる１つのフレームを決定する。このため、コントローラ６０は、撮影開始からの経過時間、及び、この経過時間に対応するフレームを、表示部４２に表示させ、入力部４３からの入力を待つ。ユーザは、入力部４３（例えば４方向ボタン４３１）を操作して経過時間を変化させる。そして、所望のフレームが表示されたならば、ユーザは、ＯＫボタン４３２を操作する等によって印刷するフレームを決定する。この操作に伴い、コントローラ６０は、対応するフレームを対象フレームに決定し、この対象フレームを示す情報をメモリ６３に記憶する。
【００３２】
次に、コントローラ６０は、第１画質調整処理を行う（Ｓ５）。この第１画質調整処理は、対象フレームの画質を調整する処理である。すなわち、この処理において、コントローラ６０は、対象フレームの種別を判定し、その種別に適した画像補正を行う。この複合機１において、対象フレームには被写体に基づいて３つの種類に分類される。具体的には、「人物」，「風景」，「標準」からなる３つの種類に分類される。対象フレームを「人物」と判定したとき、コントローラ６０は、対象フレームにおける人の顔の部分が肌色の標準色となるように色合いを補正する。対象フレームが「風景」と判定された場合、コントローラ６０は、対象フレームにおける緑色の部分、青色の部分、及び、赤色の部分について、彩度を上げるように補正する。対象フレームが「標準」と判定された場合、コントローラ６０は、対象フレームにおける明度を上げ、かつ、各色の彩度を上げる補正をする。
【００３３】
次に、コントローラ６０は、第１印刷処理を行う（Ｓ６）。この第１印刷処理は、対象フレームが１つの場合における印刷処理である。例えば、画像補正後の対象フレームを所定サイズの用紙Ｓへ印刷する処理が行われる。このとき、コントローラ６０は、印刷機構２０を制御して対象フレームの画像を用紙Ｓへ印刷させる。
【００３４】
次に、Ｓ３で決定された印刷方法が複数フレーム印刷の場合について説明する。この場合、コントローラ６０は、ステップＳ７において開始終了フレーム決定処理を行う。図８は、開始終了フレーム決定処理におけるユーザインタフェースの一例を説明するための図である。図９は、開始フレームの決定時におけるユーザインタフェースの一例を説明するための図である。図１０は、終了フレームの決定時におけるユーザインタフェースの一例を説明する図である。この開始終了フレーム決定処理は、印刷対象となる動画ファイルについて、印刷対象となる最初の対象フレーム（以下、開始フレームともいう。）と、最後の対象フレーム（以下、終了フレームともいう。）とを指定する処理である。
【００３５】
まず、コントローラ６０は、選択用画像を表示部４２に表示させる。ここでの選択用画像は、フレーム用の表示領域４２１と、カーソル用の表示領域４２２と、操作内容説明用の表示領域４２３とを有している。フレーム用の表示領域４２１は、任意のフレームについて画像を表示するものである。この複合機１において、フレーム用の表示領域４２１には、まず動画ファイルにおける１番目のフレームが表示される。そして、４方向ボタン４３１における左側部分又は右側部分が操作されると、表示対象となるフレームが変化する。例えば、右側部分が押されると、表示されているフレームよりも後側のフレームが表示され、左側部分が押されると、表示されているフレームよりも前側のフレームが表示される。
【００３６】
カーソル用の表示領域４２２は、左右方向に移動可能なカーソルＣＳを表示する。このカーソルＣＳは、表示されているフレームの動画ファイルにおける経過時間を示す。例えば、図８の例では、動画ファイルにおける先頭フレームが表示されている。このため、カーソルＣＳは、カーソル用の表示領域４２２における左端に表示されている。そして、図９の例では、全体の４割程度の時間が経過した状態のフレームが表示されている。このため、カーソルＣＳも、表示領域における左端から右側へ向けて、表示範囲の４割程度移動している。同様に、図１０の例では、全体の６割程度の時間が経過した状態のフレームが表示されている。このため、カーソルＣＳも、表示領域における左端から右側へ向けて、表示範囲の６割程度移動している。
【００３７】
好みのフレームが表示されている状態でユーザがＯＫボタン４３２を押すと、その時点でのフレームが開始フレームに定められる。また、開始フレームが定められた後に、この開始フレームよりも後側の好みのフレームが表示されている状態でユーザがＯＫボタン４３２を押すと、その時点でのフレームが終了フレームに定められる。例えば、図９に示す状態でユーザがＯＫボタン４３２を押し、その後、図１０に示す状態でユーザがＯＫボタン４３２を押すと、開始フレームとして、ゴルフでアドレスをしている人物のフレームが定められ、終了フレームとして、ショット後の人物のフレームが定められる。つまり、開始フレームは最初の対象フレームであり、終了フレームは最後の対象フレームとなる。
【００３８】
次に、コントローラ６０は、中間フレーム決定処理を行う（Ｓ８）。図１１は、対象フレームを説明するための図である。中間フレームは、開始フレームと終了フレームの間に定められるフレームであって、印刷対象となるフレームである。従って、中間フレームは、中間の対象フレームということもできる。
【００３９】
中間フレーム決定処理において、コントローラ６０は、開始フレームと終了フレームとの間に、互いに前後する対象フレーム同士の時間間隔を揃えて複数の中間フレームを決定する。この複合機１では、複数フレーム印刷が選択された場合に、１２個の対象フレームが１枚の用紙Ｓに印刷される。このため、図１１に符号ＦＲ１で示すフレームが開始フレームとして決定され、符号ＦＲ１２で示すフレームが終了フレームとして決定された場合には、符号ＦＲ２から符号ＦＲ１１で示す各フレームが中間フレームとして決定される。図１１の例において、中間フレームＦＲ２〜ＦＲ１１は、互いに前後する他の対象フレームとの時間間隔が揃うように定められる。この例において各中間フレームＦＲ２〜ＦＲ１１は、他の対象フレームとの間に２つのフレームを挟んでいる。言い換えれば、各対象フレームＦＲ１〜ＦＲ１２は、２つのフレーム毎に定められている。なお、間に挟むフレームの数に関し、図示の都合で２つとしたが、実際の数はこの数に限られない。すなわち、間に挟むフレームの数は、開始フレームから終了フレームまでの時間間隔、対象フレームの数、撮影時におけるフレームレート等の要因によって定められる。
【００４０】
中間フレームが決定されたならば、第２画質調整処理が行われる（Ｓ９）。この第２画質調整処理は、複数の対象フレームについて画質を調整する処理である。なお、この第２画質調整処理については後で詳しく説明する。
【００４１】
第２画質調整処理を行ったならば、コントローラ６０は、第２印刷処理を行う（Ｓ１０）。この第２印刷処理は複数の対象フレームに対する印刷処理であり、画像印刷部として機能する印刷機構２０を制御することで、画像補正後の複数の対象フレーム（開始フレーム，中間フレーム，終了フレーム）を１枚の用紙Ｓへ印刷させる。
【００４２】
図１２は、第２印刷処理における表示部４２の表示画面の一例である。この第２印刷処理では、図１２に示すように、まず、複数の対象フレームが表示部４２に表示される。なお、図１２における上段左端に表示されている対象フレームが開始フレーム（１番目の対象フレームＦＲ１）であり、下段右端に表示されている対象フレームが終了フレーム（１２番目の対象フレームＦＲ１２）である。また、他の対象フレームＦＲ２〜ＦＲ１１は中間フレームである。そして、各対象フレームＦＲ１〜ＦＲ１２は、上段左端から下段右端に向かって時系列で表示されている。すなわち、表示されている１２個の対象フレームのうち、上段に配置されている４つの対象フレームは、１番目の対象フレームＦＲ１から４番目の対象フレームＦＲ４である。そして、撮影された時刻が早い程、左側に表示されている。同様に、中段に配置されている４つの対象フレームは５番目の対象フレームＦＲ５から８番目の対象フレームＦＲ８であり、下段に配置されている４つの対象フレームは９番目の対象フレームＦＲ９から１２番目の対象フレームＦＲ１２である。
【００４３】
そして、ユーザがＯＫボタン４３２、及び、スタートボタン４３８を順に押すことで、用紙Ｓへの印刷が開始される。すなわち、コントローラ６０は、画像補正が行われた複数の対象フレームＦＲ１〜ＦＲ１２を１枚の用紙Ｓに印刷させる。ここで、図１３は、印刷画像の一例を示す図である。図１３に示すように、用紙Ｓの幅方向（キャリッジ移動方向に対応する。）に３つ、用紙Ｓの長さ方向（搬送方向に対応する。）に４つのフレームが配置され、合計で１２個のフレームが１枚の用紙Ｓに印刷される。
【００４４】
＝＝＝第２画質調整処理について＝＝＝
図６を参照しつつ、第２画像調整処理について説明する。まず、第２画質調整処理の概略について説明する。第２画質調整処理において、コントローラ６０は、各対象フレームについての補正量を求める。この補正量は、対象フレームがどの種別に属するかによって個別に求められる。次に、コントローラ６０は、この複数の種別のうち人物の顔が写っている種別（「人物」）の対象フレームの補正量の平均を求める。そして、この平均化した補正量を、複数の対象フレームについて適用して、画像補正を行う。
【００４５】
後述する通り、フレーム中の被写体が人物であるか否かは、人物の顔と認識できる部分がフレーム内にあるか否かによって行われる。人物の顔の肌の色合いは繊細であって補正の影響を敏感に受けやすい。よって、他の種別のフレームの補正量の影響を受けないようにするために、「人物」と認識されたフレームの補正量だけの平均を求め、これを全てのフレームに適用するのである。
【００４６】
第２画質調整処理の各ステップについて説明を行う。最初に、コントローラ６０は、サンプリング処理を行う（Ｓ１１）。このサンプリング処理は、各対象フレームについて、輝度や色合い等に関する情報を取得する処理である。この処理において、コントローラ６０は、輝度値、Ｒ（レッド）画素の数や座標、Ｇ（グリーン）画素の数や座標、Ｂ（ブルー）画素の数や座標、及び、エッジの量等の情報を取得する。そして、取得した情報を統計値情報としてメモリ６３に記憶する。
【００４７】
統計値情報を記憶させると、コントローラ６０は、シーン判定処理を行う（Ｓ１２）。シーン判定処理は、各対象フレームのシーンを判定する処理である。シーンの種類には「人物」、「風景」、「標準」の３つが用意されている。そして、コントローラ６０は、各対象フレームが「人物」、「風景」、「標準」のどの種別に分類されるかを判定する。このとき、コントローラ６０は、メモリ６３に記憶された統計値情報を読み出し、その対象フレームが「人物」に分類できるか否かを判定する。この判定は、顔の部分があるか否かによって行われる。
【００４８】
この判定について概略を説明すると次の通りである。まず、コントローラ６０は、その対象フレームについて肌色の部分があるか否かについて判定する。肌色の部分があった場合、コントローラ６０は、その肌色の部分の中に両目及び口に対応する部分があるかを判定する。そして、両目及び口に対応する部分があった場合、肌色と認識できる部分を顔と認識する。さらに、顔の部分における面積が対象フレームにおける面積の０．５％以上あれば、その対象フレームの種類を「人物」と判定する。
【００４９】
「人物」とは判定されなかった場合、コントローラ６０は、その対象フレームが「風景」に分類できるかを判定する。この判定は、例えば、ヒストグラムを用いて行われる。このとき、コントローラ６０は、輝度値、Ｒ画素数、Ｇ画素数、Ｂ画素数、エッジの量等の各項目について度数を求め、ヒストグラムを得る。そして、得られたヒストグラムの形状から対象フレームの種類を判定する。例えば、風景に多く出現する、緑、青、赤、の比率が高ければ、風景を示すヒストグラムとのマッチングが高くなる。よって、このときコントローラ６０は、その対象フレームを「風景」と判定する。
【００５０】
さらに、コントローラ６０は、「人物」「風景」のいずれにも判定されなかった対象フレームを「標準」と判定する。そして、この判定結果を、各対象フレームの番号に関連づけてシーン情報としてメモリ６３に記憶する。
【００５１】
次に、コントローラ６０は、補正量算出処理（Ｓ１３）を行う。複合機１で用いられる補正項目としては、例えば、「明るさ」、「コントラスト」、「彩度」、「カラーバランス」、「シャープネス」がある。尚、補正項目は一例であり、他の項目も定められている。ここで、対象フレームが「人物」と判定された場合には、その対象フレームにおける人の顔の部分が、肌色の標準色となるように補正量が算出される。対象フレームが「風景」と判定された場合、その代表フレームにおける緑色の部分、青色の部分、及び、赤色の部分について、彩度を上げるように補正量が算出される。対象フレームが「標準」と判定された場合、その対象フレームが多少明るくなり、かつ、各色の彩度が多少高くなるように補正量が算出される。そして、コントローラ６０は、算出した補正量を各対象フレームの番号に関連づけてメモリ６３に記憶する。
【００５２】
次に、コントローラ６０は、すべての対象フレームについて、上述の一連の処理（Ｓ１１〜Ｓ１３）を行ったか否かについて判定する（Ｓ１４）。そして、Ｓ１１〜Ｓ１３の処理を行っていない対象フレームが残っている場合には、Ｓ１１に戻り、未処理の対象フレームについて上述の一連の処理（Ｓ１１〜Ｓ１３）を行う。一方、全ての対象フレームについて、Ｓ１１〜Ｓ１３の処理を行った場合には、補正量の平均化処理を行う。
【００５３】
補正量の平均化処理は、人物の対象フレームが１枚でもあったか否かによって異なった処理となる。よって、コントローラ６０は、「人物」の対象フレームが１枚でもあったか否かについて判定する（Ｓ１５）。そして、「人物の対象フレームが１枚でもあったときには、「人物」の対象フレームの補正量の平均を求め、これを共通補正量とする（Ｓ１６）。一方、「人物」の対象フレームが１枚もなかった場合には、全ての対象フレームの補正量の平均を求め、これを共通補正量とする（Ｓ１７）。
【００５４】
次に、コントローラ６０は、補正処理を行う（Ｓ１８）。補正処理において、コントローラ６０は、Ｓ１６又はＳ１７で求めた共通補正量を各対象フレームに適用し画像補正を行う。
【００５５】
次に、コントローラ６０は、すべての対象フレームについて、共通補正量を適用した画像補正を行ったか否かについて判定する（Ｓ１９）。そして、まだ、共通補正量を適用した画像補正を行っていない対象フレームが残っている場合には、Ｓ１８に戻り、未処理の対象フレームについて共通補正量を適用した画像補正を行う。一方、全ての対象フレームについて、画像補正を行った場合には、第２画質調整処理を終了する。
このようにして、全ての対象フレーム（ＦＲ１〜ＦＲ１２）について共通の補正量を適用して画像補正が行われる。
【００５６】
第２画質調整処理が終了すると、コントローラ６０は、第２印刷処理（図５、Ｓ１０）を行う。これにより、例えば図１３に示す画像が用紙Ｓに印刷される。このとき、複合機１では、共通の補正量を全ての対象フレームに適用して画像補正を行っているので、各画像の色調が揃い、印刷の品質を高めることができる。
【００５７】
また、対象フレームの中に「人物」のフレームがあった場合には、これら「人物」の対象フレームの補正量の平均を共通補正量としている。よって、「人物」のフレームに適した補正を行いつつ、各画像の色調を揃えた補正を行うことができる。
【００５８】
ここでは、Ｓ１５及びＳ１６において、「人物」の対象フレームの補正量の平均を共通補正量としたが、「風景」又は「標準」の対象フレームの補正量の平均を共通補正量としてもよい。この場合には、「風景」又は「標準」のフレームに適した補正を行いつつ、各画像の色調を揃えた補正を行うことができる。
【００５９】
また、ある特定の種別以外のフレームについての補正量の平均を求め、これを共通補正量とすることもできる。たとえば、「夜景」の種別のフレームを判別できるようにしたときにおいて、この「夜景」以外の全てのフレームの補正量の平均を求め、これを共通補正量とすることもできる。ここで「夜景」のフレームを除外しているのは、「夜景」は全体的に暗いフレームとなるため、これを明るくしようとする補正がなされるためである。そして、この明るくしようとする補正量が大きくなりがちであり、この補正量が共通補正量に与える寄与度が大きくなって不具合を生じる場合があるからである。
【００６０】
「夜景」以外の対象フレームの補正量の平均を共通補正量とするときには、例えば、Ｓ１２のシーン判定処理において「夜景」を判別する処理を導入し、Ｓ１５において「夜景」以外のフレームがあるか否かを判定する。そして、「夜景」以外のフレームがあった場合には、Ｓ１６において「夜景」以外のフレームの補正量の平均を求め、これを共通補正量とする。
【００６１】
＝＝＝第２実施形態＝＝＝
第２実施形態では、複数の対象フレームのうち最も数の多い種別のフレームの補正量を平均化して共通補正量（便宜上、第２共通補正量とする）とする。そして、この第２共通補正量を、各対象フレームに適用することによって画像補正を行う。
【００６２】
具体的には、図６のＳ１５の処理が次に説明するＳ１５’に置き換えられ、Ｓ１６の処理が次に説明するＳ１６’の処理に置き換えられ、Ｓ１７の処理は削除される。まず、Ｓ１５’の処理について説明する。Ｓ１５’において、コントローラ６０は、複数の対象フレームのなかで「人物」「風景」「標準」のそれぞれのフレームの数をカウントする。そして、最も数の多い種別を特定する。ここでは、例えば、「風景」の種別の対象フレームの数が最も多かったとする。
【００６３】
次に、Ｓ１６’において、コントローラ６０’は、最も数の多い種別の対象フレームの補正量を平均化して共通補正量を求める。Ｓ１５’において、最も数の多い種別の対象フレームは「風景」の対象フレームであった。よって、ここでは、「風景」の対象フレームの補正量の平均化を行い、これを共通補正量（第２共通補正量）とする。
【００６４】
このようにすることによって、最も数の多い種別の対象フレームについてより美しく補正するようにしつつ、各対象フレームについて色調が一定になるような画像補正を行うことができる。
【００６５】
尚、Ｓ１５において、最も多い種別の対象フレームの数が種別間で同数になった場合（例えば、「人物」と「風景」の対象フレームの数がそれぞれ６枚ずつであった場合など）には、「人物」の対象フレームの補正量を平均化するなどして、「人物」に適した補正を優先的に行うようにしてもよい。このように同数であった場合の処理は、任意に決めることができる。
【００６６】
＝＝＝第３実施形態＝＝＝
第３実施形態では、「人物」の対象フレームのうち、人物の顔が対象フレームに占める割合が大きいほど大きな重み付けを行う。そして、重み付けした後の「人物」の対象フレームの補正量を平均化して共通補正量（便宜上、第３共通補正量とする）を求める。そして、この第３共通補正量を各対象フレームに適用することによって画像補正を行う。
【００６７】
具体的には、第３実施形態において、図６のＳ１６の平均化処理が次に説明する処理（Ｓ１６’’）に置き換えられる。Ｓ１６’’において、コントローラ６０は、「人物」の種別の各対象フレームについて人物の顔の面積を求める。そして、より人物の面積の大きい対象フレームの補正量に対して、他の「人物」の対象フレームよりも大きい重み付けを行って共通補正量を求める。
【００６８】
人物の顔の面積の求め方は、まず、前述のシーン判定処理と同様の方法によって顔の部分を認識する。そして、両目間の幅に両目を結ぶ直線から口までの高さを乗ずることによって顔の一部の面積を特定する。一般にこの顔の一部の面積を所定倍（ここでは２倍とする）するとフレームにおける顔の面積となる。よって、前述の顔の一部の面積を２倍して顔の面積を求める。
【００６９】
それぞれの「人物」の対象フレームにおける顔の面積が求まると、コントローラ６０は、顔の面積の占める割合が大きい対象フレームの補正量ほど大きな重み付けを行う。そして、重み付け後の「人物」の対象フレームの補正量の平均を第３共通補正量とする。例えば、８番目の対象フレームＦＲ８から１２番目の対象フレームＦＲ１２までが「人物」の対象フレームとされ、８番目の対象フレームＦＲ８から１２番目の対象フレームＦＲ１２にかけて、徐々に人物の顔のフレームに占める割合が大きくなっていったとする。そうすると、第３共通補正量Ｃaveを求める式は次のようになる。
Ｃave=ａ8・Ｃ8＋ａ9・Ｃ9＋ａ10・Ｃ10＋ａ11・Ｃ11＋ａ12・Ｃ12 （式１）
但し、ａ8＜ａ9＜ａ10＜ａ11＜ａ12 かつ ａ8＋ａ9＋ａ10＋ａ11＋ａ12＝１
【００７０】
このようにすることによって、人物の顔が占める割合が大きい対象フレームの補正量の寄与度が高い第３共通補正量を求めることができる。そして、この第３共通補正量を複数の対象フレームに適用することによって、「人物」の顔の占める割合が大きい対象フレームをより美しく補正するようにしつつ、各対象フレームについて色調が一定になるような画像補正を行うことができる。
【００７１】
＝＝＝第４実施形態＝＝＝
第４実施形態では、「人物」の対象フレームのうち、中央寄りの対象フレームの補正量に重み付けを行う。そして、重み付けした後の「人物」の対象フレームの補正量を平均化することで共通補正量（便宜上、第４共通補正量とする）を求める。そして、この第４共通補正量を各対象フレームに適用することによって画像補正を行う。
【００７２】
このように、より中央の「人物」の対象フレームの補正量に重み付けを行うのは、一般的にユーザは、中央の対象フレームを最も重要視するだとうと思われるからである。
【００７３】
具体的には、図６のＳ１６の補正量の平均化処理が次に説明する処理（Ｓ１６’’’）に置き換えられる。Ｓ１６’’’において、コントローラ６０は、「人物」の対象フレームのうち、より中央寄りの対象フレームを特定する。例えば、「人物」の対象フレームとして、３番目の対象フレームＦＲ３、６番目の対象フレームＦＲ６、１２番目の対象フレームＦＲ１２が「人物」の対象フレームであるとされたとき、最も中央寄りの対象フレームは６番目の対象フレームＦＲ６である。よって、コントローラ６０は、最も中央寄りの対象フレームが６番目の対象フレームＦＲ６であると特定する。
【００７４】
次に、コントローラ６０は、中央寄りの対象フレーム（６番目の対象フレームＦＲ６）の補正量に重み付けをした第４共通補正量を求める。第４共通補正量Ｃaveを求める式は、ｎ番目の補正量をＣnとし、ｎ番目の補正量に乗ずる係数をａnとすると、次のようになる。
Ｃave＝ａ3・Ｃ3＋ａ6・Ｃ6＋ａ12・Ｃ12 （式２）
但し、ａ6＞ａ3,ａ12 かつ ａ3＋ａ6＋ａ12＝１
【００７５】
このようにすることで、「人物」の対象フレームのうち中央寄りの対象フレームの補正量の寄与度を高めることができる。そして、各対象フレームにこの共通補正量を提供することによって、「人物」の対象フレームのうち中央寄りの対象フレームをより美しく補正するようにしつつ、各対象フレームについて色調が一定になるような画像補正を行うことができる。
【００７６】
尚、ここでは「人物」の対象フレームの補正量の平均を共通補正量として求める際に中央寄りの対象フレームの補正量を重み付けすることとした。しかしながら、「風景」や「標準」の対象フレームの補正量の平均を共通補正量として求める場合にも、中央寄りの対象フレームの補正量を重み付けするようにできることはいうまでもない。
【００７７】
また、第２実施形態と組み合わせて、最も数の多い種別の対象フレームの補正量の平均を共通補正量として求める場合にも、中央寄りの対象フレームの補正量を重み付けするようにできることもいうまでもない。
【００７８】
＝＝＝第５実施形態＝＝＝
第５実施形態では、「人物」の対象フレームのうち、ピントが合っていない（ピンぼけ）対象フレームの補正量に対してピントの合っている対象フレームよりも小さな重み付けを行い、重み付けした後の補正量をその対象フレームの補正量とする。そして、「人物」の対象フレームの補正量を平均化して共通補正量（便宜上、第５共通補正量とする）を求める。そして、この第５共通補正量を各対象フレームに適用することによって画像補正を行う。
【００７９】
このようにするのは、よりピントの合っている「人物」の対象フレームの補正を美しく印刷されることの方が望まれると考えられるためである。そのために、「人物」の対象フレームのうち、ピントの合っていない対象フレームの補正量についてピントの合っている対象フレームの補正量よりも小さな重み付けを行い、共通補正量に対する寄与度を下げているのである。
【００８０】
具体的には、第５実施形態において、図６のＳ１６の平均化処理が、次に説明する処理（Ｓ１６’’’’）に置き換えられる。Ｓ１６’’’’において、コントローラ６０は、「人物」の種類の各対象フレームについてピントの合っている度合いを求める。そして、ピントがより合っている「人物」の対象フレームの補正量に対して、他の「人物」の対象フレームよりも大きい重み付けを行って共通補正量を求める。
【００８１】
ピントの合っている度合いは、例えば次のようにして求める。ピントが合っている度合いを求める方法として、個々では、エッジ検出処理が用いられる。このエッジ検出処理においてコントローラ６０は、「人物」の対象フレームの各画素について濃度の空間的変化（勾配）を求める。一般的に、ピントが合うほど濃度変化が急峻である画素数が増加するからである。また、濃度変化が急峻であるか否かは画素間の勾配が所定値よりも大きいか否かによって判定することができる。よって、コントローラ６０は、所定値よりも大きい勾配を有する画素の数をカウントし、このカウント値が大きい対象フレームほどピントの合っている度合いが高い対象フレームであるとする。
【００８２】
ところで、撮影された被写体の異なるフレーム同士では、これら被写体を構成するエッジの量も異なったものとなる。このようにエッジの量が異なっているフレーム同士では、勾配が大きいとされる画素数も初めから異なったものとなる。よって、被写体の異なるフレーム同士の比較において、所定値よりも大きな勾配を有する画素数が多いフレームほどピントが合っているフレームということはいえない。一方、第５実施形態では、対象フレームＦＲ１〜ＦＲ１２は同様の被写体を有するフレームであると考えられるから、そのうちの「人物」の対象フレームも同様の被写体を有するフレームであると考えられる。これは、対象フレームが動画ファイルから取り出されたものであり、連続的なフレームであると推測されるからである。よって、本実施形態では、所定値よりも大きい勾配を有する画素数のカウント値を単純にフレーム間で比較することによって、ピントが合っている度合いの比較をすることができるのである。
【００８３】
「人物」の種類の各対象フレームについてのピントが合っている度合いを求めると、コントローラは、「人物」の対象フレームの補正量の平均を求め、これを第５共通補正量とする。ここでは、「人物」の種類の対象フレームを３番目の対象フレームＦＲ３、６番目の対象フレームＦＲ６、１２番目の対象フレームＦＲ１２とし、最初の対象フレームほどピントが合っていたとすると、第５共通補正量Ｃaveを求める式は次のようになる。
Ｃave＝ａ3・Ｃ3＋ａ6・Ｃ6＋ａ12・Ｃ12 （式３）
但し、ａ6＞ａ3＞ａ12 かつ ａ3＋ａ6＋ａ12＝１
【００８４】
このようにすることによって、「人物」の種類の対象フレームのうち、ピントの合っている度合いが高い対象フレームの補正量の寄与度が高い第５共通補正量を求めることができる。そして、この第５共通補正量を複数の対象フレームに適用することによって、「人物」の対象フレームのうちピントの合っている対象フレームをより美しく補正するようにしつつ、各対象フレームについて色調が一定になるような画像補正を行うことができる。
【００８５】
尚、ここでは「人物」の対象フレームの補正量の平均を共通補正量として求める際にピントが合っている対象フレームの補正量を重み付けすることとした。しかしながら、「風景」や「標準」の対象フレームの補正量の平均を共通補正量として求める場合にも、ピントが合っている対象フレームの補正量を重み付けするようにできることはいうまでもない。
【００８６】
また、第２実施形態と組み合わせて、最も数の多い種別の対象フレームの補正量の平均を共通補正量として求める場合にも、ピントが合っている対象フレームの補正量を重み付けするようにできることもいうまでもない。
【００８７】
＝＝＝その他の実施の形態＝＝＝
上記の実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれることは言うまでもない。特に、以下に述べる実施形態であっても、本発明に含まれるものである。
【００８８】
＜画像補正装置について＞
前述した各実施形態では、複合機１を画像補正装置として用いた構成が記載されている。しかし、画像補正装置は、複合機１に限定されるものではない。例えば、専ら印刷を行うプリンタを画像補正装置として用いてもよい。この場合、プリンタに、画像補正用のプログラムを実行させることで、画像補正装置として用いる。また、画像補正用のプログラムを実行するコンピュータによって画像補正装置を構成してもよい。さらに、デジタルカメラやデジタルビデオを画像補正装置として用いてもよい。
また前述した画像補正装置は、コンピュータ上での画像補正においても使用できることはいうまでもない。
【００８９】
＜印刷の態様について＞
前述した各実施形態では、複数の対象フレームを同じ用紙Ｓに印刷する態様について説明したが、印刷の態様はこれに限定されない。例えば、複数の対象フレームを別の用紙Ｓに印刷する態様であってもよい。
【００９０】
＜対象フレームの種類について＞
前述した各実施形態では、対象フレームの種類として「人物」，「風景」，「標準」の３つを例に挙げて説明した。対象フレームの種類はこれらに限定されるものではなく、他の種類であってもよい。
【００９１】
＜メモリカードＭＣについて＞
前述した各実施形態では、カードスロット５０にメモリカードＭＣを装着する構成であったが、この構成に限定されない。例えば、デジタルカメラと複合機１とをケーブルを介して接続し、デジタルカメラに装着されたメモリカードＭＣへ、ケーブルを通じてアクセスするようにしてもよい。
【００９２】
＝＝＝まとめ＝＝＝
（１）前述の実施形態における画像補正装置では、動画ファイルから補正対象となる複数の対象フレームＦＲ１〜ＦＲ１２を決定するステップと、各対象フレームの種別（「人物」「風景」「標準」）を判別するステップと、を含む。そして、種別が判別された対象フレームのうちのある種別（例えば「人物」）の対象フレームに基づいて複数の対象フレームの補正に共通に使用される共通補正量を求めるステップと、この共通補正量に基づいて、複数の対象フレームのそれぞれについて画像補正を行うステップと、を含む。
【００９３】
このように共通の補正量を全ての対象フレームについて適用するので、各対象フレームについて色調が一定になるような画像補正が行われ、画像補正の適正化を図ることができる。また、特定の種別の対象フレームの補正量に基づいて共通補正量を求めることとしているので、特定の種別の対象フレームの補正に適した共通補正量を求めることができる。
【００９４】
（２）また、第２実施形態において、共通補正量を求めるステップ（Ｓ１１〜Ｓ１６）は、ある種別の対象フレームとして複数の対象フレームのうち数が多い種別の対象フレームを求め、ある種別の対象フレームに基づいて複数の対象フレームの補正に共通に使用される共通補正量を求めるステップを含む。
このようにすることによって、最も数の多い種別の対象フレームについてより美しく補正をするようにしつつ、各対象フレームについて色調が一定になるような画像補正を行うことができる。
【００９５】
（３）また、共通補正量を求めるステップは、共通補正量としてある種別の対象フレームの補正量の平均を求めるステップ（Ｓ１６）を含む。
このようにすることによって、ある種別の対象フレームが複数あった場合にもこれらの補正量の平均をもって共通補正量とすることができる。
【００９６】
（４）また、第３実施形態において、共通補正量を求めるステップは、ある種別の対象フレームを人物の顔が写っている種別の対象フレームとしたとき、人物の顔が対象フレームに占める割合に応じてある種別の対象フレームの補正量について重み付けし、共通補正量としてある種別の対象フレームの補正量の平均を求めるステップを含む。
このようにすることによって、対象フレーム中の人物の顔が占める割合が大きい対象フレームの補正量の寄与度が高い共通補正量を求めることができる。
【００９７】
（５）また、第４実施形態において、共通補正量を求めるステップは、ある種別の対象フレームのうちの中央寄りのある種別の対象フレームの補正量について重み付けし、共通補正量としてある種別の対象フレームの補正量の平均を求めるステップを含む。
このようにすることによって、最も重要視するであろうと思われる中央よりの対象フレームをより美しく補正できるような共通補正量を求めることができる。
【００９８】
（６）また、第５実施形態において、共通補正量を求めるステップは、ある種別の対象フレームのピントの合っている度合いに基づいて、このある種別の対象フレームの補正量について重み付けし、共通補正量としてある種別の対象フレームの補正量の平均を求めるステップを含む。
このようにすることによって、ある種別の対象フレームのうち、ピントが合っている度合いが高い対象フレームの補正量の寄与度が高い共通補正量を求めることができる。
【００９９】
（７）また、複数の対象フレームを決定するステップは、動画ファイルから最初の対象フレームと最後の対象フレームとを決定し、最初の対象フレームと最後の対象フレームとの間に、互いに前後する対象フレーム同士の時間間隔を揃えて中間の対象フレームを決定するステップを含む。
このようにすることによって、最初の対象フレームと最後の対象フレームを決定することにより、中間の対象フレームを容易に決定することができる。
【０１００】
（８）また、前述の画像補正方法によれば、記述のほぼ全ての効果を奏するため、本発明の目的が最も有効に達成される。
【０１０１】
（９）また、動画ファイルから補正対象となる複数の対象フレームを決定するフレーム決定部と、各対象フレームの種別を判別する判別部と、種別が判別された対象フレームのうちのある種別の対象フレームに基づいて前記複数の対象フレームの補正に共通に使用される共通補正量を求める補正量決定部と、前記共通補正量に基づいて、前記複数の対象フレームのそれぞれについて画像補正を行う画像補正部と、を含む画像補正装置があることはいうまでもない。このとき、フレーム決定部、判別部、補正量決定部、及び画像補正部の動作は、前述のコントローラ６０が担う。
【０１０２】
（１０）また、上述の画像補正装置に、画像補正が行われた複数の対象フレームを印刷する印刷部を加えた印刷装置があることはいうまでもない。
【０１０３】
（１１）また、前述の画像補正方法をコンピュータに実行させるプログラムがあることはいうまでもない。
【図面の簡単な説明】
【０１０４】
【図１】図１Ａは、複合機１の外観を説明するための斜視図であり、図１Ｂは、操作パネル４０を説明するための図である。
【図２】複合機１の構成を説明するブロック図である。
【図３】印刷機構２０を説明するための図である。
【図４】各フレームについて個別の補正量を適用したときの印刷画像の参考例を示す図である。
【図５】印刷動作時の各処理を説明するフローチャートである。
【図６】第２画質調整処理を説明するフローチャートである。
【図７】動画ファイルの選択時におけるユーザインタフェースの一例を説明する図である。
【図８】開始終了フレーム決定時におけるユーザインタフェースの一例を説明する図である。
【図９】開始フレームの決定時におけるユーザインタフェースの一例を説明するための図である。
【図１０】終了フレームの決定時におけるユーザインタフェースの一例を説明する図である。
【図１１】対象フレームを説明するための図である。
【図１２】第２印刷処理における表示部４２の表示画面の一例である。
【図１３】印刷画像の一例を示す図である。
【符号の説明】
【０１０５】
１ 複合機，
１１ 原稿台，２０ 印刷機構，２２ キャリッジ移動機構，２２３ ガイド軸，
３０ 駆動信号生成部，４０ 操作パネル，４１ 電源ボタン，
４２ 表示部，４２１ フレーム用の表示領域，
４２２ カーソル用の表示領域，４２３ 操作内容説明用の表示領域，
４３ 入力部，４３１ ４方向ボタン，４３２ ＯＫボタン，
４３３ 印刷設定ボタン，４３４ 戻るボタン，４３５ 表示切替ボタン，
４３６ モード切替ボタン，４３７ 印刷枚数増減ボタン，
４３８ スタートボタン，４３９ ストップボタン，
５０ カードスロット，
６０ コントローラ，６１ インタフェース部，６２ ＣＰＵ，
６３ メモリ，６４ 制御ユニット，
Ｓ 用紙，ＣＲ キャリッジ，ＩＣ インクカートリッジ，
ＨＵ ヘッドユニット，ＭＣ メモリカード，ＣＳ カーソル，
ＦＲ１〜ＦＲ１２ 対象フレーム
【特許請求の範囲】
【請求項１】
動画ファイルから補正対象となる複数の対象フレームを決定するステップと、
各対象フレームの種別を判別するステップと、
種別が判別された対象フレームのうちのある種別の対象フレームに基づいて前記複数の対象フレームの補正に共通に使用される共通補正量を求めるステップと、
前記共通補正量に基づいて、前記複数の対象フレームのそれぞれについて画像補正を行うステップと、
を含む画像補正方法。
【請求項２】
前記共通補正量を求めるステップは、前記ある種別の対象フレームとして前記複数の対象フレームのうち数が多い種別の対象フレームを求め、前記ある種別の対象フレームに基づいて前記複数の対象フレームの補正に共通に使用される共通補正量を求めるステップを含む、請求項１に記載の画像補正方法。
【請求項３】
前記共通補正量を求めるステップは、前記共通補正量として前記ある種別の対象フレームの補正量の平均を求めるステップを含む、請求項１に記載の画像補正方法。
【請求項４】
前記共通補正量を求めるステップは、前記ある種別の対象フレームを人物の顔が写っている種別の対象フレームとしたとき、人物の顔が対象フレームに占める割合に応じて前記ある種別の対象フレームの補正量について重み付けし、前記共通補正量として前記ある種別の対象フレームの補正量の平均を求めるステップを含む、請求項３に記載の画像補正方法。
【請求項５】
前記共通補正量を求めるステップは、前記ある種別の対象フレームのうちの中央寄りのある種別の対象フレームの補正量について重み付けし、前記共通補正量として前記ある種別の対象フレームの補正量の平均を求めるステップを含む、請求項３に記載の画像補正方法。
【請求項６】
前記共通補正量を求めるステップは、前記ある種別の対象フレームのピントの合っている度合いに基づいて該ある種別の対象フレームの補正量について重み付けし、前記共通補正量として前記ある種別の対象フレームの補正量の平均を求めるステップを含む、請求項３に記載の画像補正方法。
【請求項７】
前記複数の対象フレームを決定するステップは、前記動画ファイルから最初の対象フレームと最後の対象フレームとを決定し、前記最初の対象フレームと前記最後の対象フレームとの間に、互いに前後する対象フレーム同士の時間間隔を揃えて中間の対象フレームを決定するステップを含む、請求項１〜６のいずれかに記載の画像補正方法。
【請求項８】
動画ファイルから補正対象となる複数の対象フレームを決定するステップと、
各対象フレームの種別を判別するステップと、
種別が判別された対象フレームのうちのある種別の対象フレームに基づいて前記複数の対象フレームの補正に共通に使用される共通補正量を求めるステップと、
前記共通補正量に基づいて、前記複数の対象フレームのそれぞれについて画像補正を行うステップと、を含み、
前記共通補正量を求めるステップは、前記ある種別の対象フレームを人物の顔が写っている種別の対象フレームとしたとき、人物の顔が対象フレームに占める割合に応じて前記ある種別の対象フレームの補正量について重み付けし、前記共通補正量として前記ある種別の対象フレームの補正量の平均を求めるステップを含み、
前記複数の対象フレームを決定するステップは、前記動画ファイルから最初の対象フレームと最後の対象フレームとを決定し、前記最初の対象フレームと前記最後の対象フレームとの間に、互いに前後する対象フレーム同士の時間間隔を揃えて中間の対象フレームを決定するステップを含む、画像補正方法。
【請求項９】
動画ファイルから補正対象となる複数の対象フレームを決定するフレーム決定部と、
各対象フレームの種別を判別する判別部と、
種別が判別された対象フレームのうちのある種別の対象フレームに基づいて前記複数の対象フレームの補正に共通に使用される共通補正量を求める補正量決定部と、
前記共通補正量に基づいて、前記複数の対象フレームのそれぞれについて画像補正を行う画像補正部と、
を含む画像補正装置。
【請求項１０】
動画ファイルから補正対象となる複数の対象フレームを決定するフレーム決定部と、
各対象フレームの種別を判別する判別部と、
種別が判別された対象フレームのうちのある種別の対象フレームに基づいて前記複数の対象フレームの補正に共通に使用される共通補正量を求める補正量決定部と、
前記共通補正量に基づいて、前記複数の対象フレームのそれぞれについて画像補正を行う画像補正部と、
前記画像補正が行われた複数の対象フレームを印刷する印刷部と、
を備える印刷装置。
【請求項１１】
画像補正装置を動作させるためのプログラムであって、
動画ファイルから補正対象となる複数の対象フレームを決定するステップと、
各対象フレームの種別を判別するステップと、
種別が判別された対象フレームのうちのある種別の対象フレームに基づいて前記複数の対象フレームの補正に共通に使用される共通補正量を求めるステップと、
前記共通補正量に基づいて、前記複数の対象フレームのそれぞれについて画像補正を行うステップと、
を前記画像補正装置に行わせるプログラム。
【請求項１】
動画ファイルから補正対象となる複数の対象フレームを決定するステップと、
各対象フレームの種別を判別するステップと、
種別が判別された対象フレームのうちのある種別の対象フレームに基づいて前記複数の対象フレームの補正に共通に使用される共通補正量を求めるステップと、
前記共通補正量に基づいて、前記複数の対象フレームのそれぞれについて画像補正を行うステップと、
を含む画像補正方法。
【請求項２】
前記共通補正量を求めるステップは、前記ある種別の対象フレームとして前記複数の対象フレームのうち数が多い種別の対象フレームを求め、前記ある種別の対象フレームに基づいて前記複数の対象フレームの補正に共通に使用される共通補正量を求めるステップを含む、請求項１に記載の画像補正方法。
【請求項３】
前記共通補正量を求めるステップは、前記共通補正量として前記ある種別の対象フレームの補正量の平均を求めるステップを含む、請求項１に記載の画像補正方法。
【請求項４】
前記共通補正量を求めるステップは、前記ある種別の対象フレームを人物の顔が写っている種別の対象フレームとしたとき、人物の顔が対象フレームに占める割合に応じて前記ある種別の対象フレームの補正量について重み付けし、前記共通補正量として前記ある種別の対象フレームの補正量の平均を求めるステップを含む、請求項３に記載の画像補正方法。
【請求項５】
前記共通補正量を求めるステップは、前記ある種別の対象フレームのうちの中央寄りのある種別の対象フレームの補正量について重み付けし、前記共通補正量として前記ある種別の対象フレームの補正量の平均を求めるステップを含む、請求項３に記載の画像補正方法。
【請求項６】
前記共通補正量を求めるステップは、前記ある種別の対象フレームのピントの合っている度合いに基づいて該ある種別の対象フレームの補正量について重み付けし、前記共通補正量として前記ある種別の対象フレームの補正量の平均を求めるステップを含む、請求項３に記載の画像補正方法。
【請求項７】
前記複数の対象フレームを決定するステップは、前記動画ファイルから最初の対象フレームと最後の対象フレームとを決定し、前記最初の対象フレームと前記最後の対象フレームとの間に、互いに前後する対象フレーム同士の時間間隔を揃えて中間の対象フレームを決定するステップを含む、請求項１〜６のいずれかに記載の画像補正方法。
【請求項８】
動画ファイルから補正対象となる複数の対象フレームを決定するステップと、
各対象フレームの種別を判別するステップと、
種別が判別された対象フレームのうちのある種別の対象フレームに基づいて前記複数の対象フレームの補正に共通に使用される共通補正量を求めるステップと、
前記共通補正量に基づいて、前記複数の対象フレームのそれぞれについて画像補正を行うステップと、を含み、
前記共通補正量を求めるステップは、前記ある種別の対象フレームを人物の顔が写っている種別の対象フレームとしたとき、人物の顔が対象フレームに占める割合に応じて前記ある種別の対象フレームの補正量について重み付けし、前記共通補正量として前記ある種別の対象フレームの補正量の平均を求めるステップを含み、
前記複数の対象フレームを決定するステップは、前記動画ファイルから最初の対象フレームと最後の対象フレームとを決定し、前記最初の対象フレームと前記最後の対象フレームとの間に、互いに前後する対象フレーム同士の時間間隔を揃えて中間の対象フレームを決定するステップを含む、画像補正方法。
【請求項９】
動画ファイルから補正対象となる複数の対象フレームを決定するフレーム決定部と、
各対象フレームの種別を判別する判別部と、
種別が判別された対象フレームのうちのある種別の対象フレームに基づいて前記複数の対象フレームの補正に共通に使用される共通補正量を求める補正量決定部と、
前記共通補正量に基づいて、前記複数の対象フレームのそれぞれについて画像補正を行う画像補正部と、
を含む画像補正装置。
【請求項１０】
動画ファイルから補正対象となる複数の対象フレームを決定するフレーム決定部と、
各対象フレームの種別を判別する判別部と、
種別が判別された対象フレームのうちのある種別の対象フレームに基づいて前記複数の対象フレームの補正に共通に使用される共通補正量を求める補正量決定部と、
前記共通補正量に基づいて、前記複数の対象フレームのそれぞれについて画像補正を行う画像補正部と、
前記画像補正が行われた複数の対象フレームを印刷する印刷部と、
を備える印刷装置。
【請求項１１】
画像補正装置を動作させるためのプログラムであって、
動画ファイルから補正対象となる複数の対象フレームを決定するステップと、
各対象フレームの種別を判別するステップと、
種別が判別された対象フレームのうちのある種別の対象フレームに基づいて前記複数の対象フレームの補正に共通に使用される共通補正量を求めるステップと、
前記共通補正量に基づいて、前記複数の対象フレームのそれぞれについて画像補正を行うステップと、
を前記画像補正装置に行わせるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２００８−５２３９（Ｐ２００８−５２３９Ａ）
【公開日】平成２０年１月１０日（２００８．１．１０）
【国際特許分類】
【出願番号】特願２００６−１７２９２３（Ｐ２００６−１７２９２３）
【出願日】平成１８年６月２２日（２００６．６．２２）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
【公開日】平成２０年１月１０日（２００８．１．１０）
【国際特許分類】
【出願日】平成１８年６月２２日（２００６．６．２２）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
[ Back to top ]