画像処理装置、画像形成装置、画像処理方法及び画像処理プログラム
【課題】処理速度を向上することができる画像処理装置、画像形成装置、画像処理方法及び画像処理プログラムを提供する。
【解決手段】複数の写真画像データの中から所定の写真画像データを画像データ選択部１８により選択する際、各写真画像データから抽出される要素ではなく、各写真画像データに対応付けられたサムネイル画像データから抽出される要素に基づいて、写真画像データを自動的に選択する。上記サムネイル画像データは、各写真画像データに対応付けて記憶されているＥｘｉｆデータに含まれている。このように、写真画像データと比べて解像度が低いサムネイル画像データに基づいて上記所定の写真画像データを選択することにより、処理速度を向上することができる。
【解決手段】複数の写真画像データの中から所定の写真画像データを画像データ選択部１８により選択する際、各写真画像データから抽出される要素ではなく、各写真画像データに対応付けられたサムネイル画像データから抽出される要素に基づいて、写真画像データを自動的に選択する。上記サムネイル画像データは、各写真画像データに対応付けて記憶されているＥｘｉｆデータに含まれている。このように、写真画像データと比べて解像度が低いサムネイル画像データに基づいて上記所定の写真画像データを選択することにより、処理速度を向上することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の写真画像データの中から所定の写真画像データを選択するための処理を行う画像処理装置、画像形成装置、画像処理方法及び画像処理プログラムに関するものである。
【背景技術】
【０００２】
近年、写真プリントに関するサービスの一例として、現像済み写真フィルムの各コマ画像から読み取った写真画像データや、デジタルカメラで撮影することにより得られた写真画像データに基づいて、複数枚の写真プリントを生成し、それらをファイリング又は製本することによりアルバムを作製するようなサービスが知られている（例えば、特許文献１参照）。
【０００３】
【特許文献１】特開２００２−１７８５８８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上記のようなアルバムの各ページに割り当てる写真画像データを、当該サービスの利用者である顧客が１つずつ選択する場合には、その選択に時間がかかり、作業が煩雑になるといった問題がある。例えば、写真店などの店舗に設置された注文者用受付端末において上記のような作業を行う場合には、注文者用受付端末の占有時間が長くなり、顧客の回転率が悪くなるといった問題がある。また、写真画像データを選択する作業の簡略化という課題は、上記のような注文者用受付端末を用いて注文する場合だけでなく、例えばインターネット回線などを介して、顧客が自宅に設置されたパーソナルコンピュータを用いて注文する場合などにも生じる課題である。
【０００５】
そこで、本願出願人は、先の出願（特願２００８−２３２３７８）において、各写真画像データ（アルバム用画像データ）から抽出される要素に基づいて、各写真画像データの採点を行い、その採点結果に基づいて、アルバムの各ページに割り当てる写真画像データを自動的に選択することができる技術を提案した。
【０００６】
しかしながら、上記のような技術では、解像度が比較的高い写真画像データから各種要素を抽出して採点を行うため、処理に時間がかかるという問題がある。特に、対象となる写真画像データの数が多い場合には、全ての写真画像データの処理に要する時間が非常に長くなり、そのような処理を注文者用受付端末において行った場合には、顧客の回転率が非常に悪くなってしまう。
【０００７】
上記のような問題は、アルバムを作製する場合に限らず、アルバム以外のプリントを作製する場合にも生じる場合がある。例えば、コラージュ写真のように、複数の写真画像データを選択して１枚の用紙にプリントするような場合に、各写真画像データに対して上記のような採点処理を用いた判定を行ったときにも、その処理に時間がかかるという問題がある。なお、コラージュ写真において１枚の用紙にプリントされる複数の写真画像データに基づく各画像の大きさは、各写真画像データに基づいて１枚の写真プリントとして通常プリントされるサイズ（Ｌ判サイズなど）よりも小さい。
【０００８】
また、コラージュ写真の場合には、１枚の用紙に多数の写真画像データがプリントされるため、数枚の見栄えする写真画像データ以外は細部まで重要視されないという傾向がある。そのため、特にコラージュ写真については、各写真画像データに対して、それほど精度のよい判定を行う必要がないといった特徴がある。
【０００９】
本発明は、上記実情に鑑みてなされたものであり、処理速度を向上することができる画像処理装置、画像形成装置、画像処理方法及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
第１の本発明に係る画像処理装置は、複数の写真画像データの中から所定の写真画像データを選択するための処理を行う画像処理装置であって、各写真画像データに対応付けられたサムネイル画像データから抽出される要素に基づいて、上記所定の写真画像データを選択する画像データ選択手段を備えたことを特徴とする。
【００１１】
このような構成によれば、複数の写真画像データの中から所定の写真画像データを選択する際、各写真画像データから抽出される要素ではなく、各写真画像データに対応付けられたサムネイル画像データから抽出される要素に基づいて、写真画像データが自動的に選択される。このように、写真画像データと比べて解像度が低いサムネイル画像データに基づいて上記所定の写真画像データを選択することにより、処理速度を向上することができる。
【００１２】
第２の本発明に係る画像処理装置は、上記サムネイル画像データから抽出される要素に基づいて、各写真画像データの判定を行う画像判定手段を備え、上記画像データ選択手段が、上記画像判定手段による判定結果に基づいて、上記所定の写真画像データを選択することを特徴とする。
【００１３】
このような構成によれば、各写真画像データに対応付けられたサムネイル画像データから抽出される要素に基づいて判定が行われ、その判定結果に基づいて上記所定の写真画像データが選択される。したがって、複雑な判定処理を行う場合であっても、解像度が比較的低いサムネイル画像データに基づいて判定を行うことにより、処理速度を効果的に向上することができる。
【００１４】
第３の本発明に係る画像処理装置は、上記サムネイル画像データから抽出される要素には、当該サムネイル画像データに含まれる人物画像から抽出される要素が含まれることを特徴とする。
【００１５】
このような構成によれば、サムネイル画像データに含まれる人物画像から抽出される要素に基づいて写真画像データを選択することにより、撮影された人物画像に着目して写真画像データを選択することができる。
【００１６】
第４の本発明に係る画像処理装置は、上記人物画像から抽出される要素には、撮影された人物の顔の大きさに関する要素、及び、撮影された人物の数に関する要素の少なくとも一方の要素が含まれることを特徴とする。
【００１７】
このような構成によれば、各要素に基づいて写真画像データを選択することにより、撮影された人物画像に着目して好適に写真画像データを選択することができる。
【００１８】
第５の本発明に係る画像形成装置は、複数の写真画像データの中から所定の写真画像データを選択して写真プリントを生成する画像形成装置であって、各写真画像データに対応付けられたサムネイル画像データから抽出される要素に基づいて、上記所定の写真画像データを選択する画像データ選択手段と、上記画像データ選択手段により選択された上記所定の写真画像データに基づいて写真プリントを生成する画像形成手段とを備えたことを特徴とする。
【００１９】
このような構成によれば、上記画像処理装置と同様の効果を奏する画像形成装置を提供することができる。
【００２０】
第６の本発明に係る画像形成装置は、上記画像形成手段が、上記画像データ選択手段により選択された上記所定の写真画像データを１枚の用紙にプリントすることを特徴とする。
【００２１】
このような構成によれば、選択された所定の写真画像データを１枚の用紙にプリントすることにより、コラージュ写真を作製することができる。コラージュ写真の場合には、１枚の用紙に多数の写真画像データがプリントされるため、数枚の見栄えする写真画像データ以外は細部まで重要視されないという傾向がある。したがって、サムネイル画像データから抽出される要素に基づいて写真画像データを選択することにより、写真画像データから抽出される要素に基づいて選択する場合よりも選択の精度が低くなったとしても、コラージュ写真の見栄えが悪くなるといった問題が生じにくい。また、サムネイル画像データから抽出される要素に基づいて写真画像データを選択することにより、写真画像データから抽出される要素に基づいて選択する場合よりも選択の精度が低くなったとしても、見栄えする写真画像データは確実に選択することができる。すなわち、本発明は、コラージュ写真に特に適した発明であるということができる。
【００２２】
第７の本発明に係る画像処理方法は、複数の写真画像データの中から所定の写真画像データを選択するための処理を行う画像処理方法であって、各写真画像データに対応付けられたサムネイル画像データから抽出される要素に基づいて、上記所定の写真画像データを選択する画像データ選択ステップを備えたことを特徴とする。
【００２３】
このような構成によれば、上記画像処理装置と同様の効果を奏する画像処理方法を提供することができる。
【００２４】
第８の本発明に係る画像処理プログラムは、複数の写真画像データの中から所定の写真画像データを選択するための処理をコンピュータに行わせる画像処理プログラムであって、上記コンピュータを、各写真画像データに対応付けられたサムネイル画像データから抽出される要素に基づいて、上記所定の写真画像データを選択する画像データ選択手段として機能させることを特徴とする。
【００２５】
このような構成によれば、上記画像処理装置と同様の効果を奏する画像処理プログラムを提供することができる。
【発明の効果】
【００２６】
本発明によれば、写真画像データと比べて解像度が低いサムネイル画像データに基づいて所定の写真画像データを選択することにより、処理速度を向上することができる。
【発明を実施するための最良の形態】
【００２７】
図１は、本発明の一実施形態に係る画像形成装置３の一構成例を示した概略断面図である。この画像形成装置３は、例えばインクジェットプリンタからなり、画像データに基づく画像を用紙Ｐの片面又は両面にプリントすることができる。なお、画像形成装置３は、インクジェットプリンタに限定されず、熱転写式プリンタ、レーザープリンタ、銀塩式プリンタでも構成できる。
【００２８】
当該画像形成装置３によるプリント処理は以下の流れである。用紙ストック部３０に枚葉の用紙Ｐ（インクジェット用紙）がストックされ、用紙送り機構によって用紙Ｐが１枚ずつ下流側に搬送される構成である。搬送された用紙Ｐは、画像形成部３７の吸引部３２によって吸引されて一次保持される。画像形成部３７は、Ｃ（シアン）、Ｍ（マゼンタ）、Ｙ（イエロー）、Ｋ（ブラック）のそれぞれのプリントヘッド３１を備えている。間欠搬送される用紙Ｐに対し、プリントヘッド３１が主走査方向に一走査し、この走査時に、各色のインク吐出ノズルからインクが吐出し、用紙Ｐの表面に付着させる。この間欠搬送、主走査動作およびインク吐出動作を繰り返すことで、用紙Ｐのプリント領域に画像が形成される。
【００２９】
次いで、画像形成された用紙Ｐは、切断部３３に搬送される。片面プリントの場合に、切断部３３（例えば、回転刃）は、用紙幅方向に移動することで、用紙Ｐ中の不必要部分を切断する。なお、両面プリントの場合は、両面プリント終了後に切断処理を実行してもよい。次いで、片面プリントの場合、用紙Ｐの裏面に、裏印字手段（図示せず）によって識別番号、コマ番号、日付等の情報がプリントされる。なおこの裏印字処理は任意の処理である。次いで、搬送下流側の乾燥手段３４によって、用紙Ｐの画像形成面を乾燥させる。乾燥処理された用紙Ｐは、上側に搬送される過程で表裏反転され、排出部３６に排出される。両面プリントする場合には、用紙Ｐの後端がリバース機構３５で挟持され、当該リバース機構３５が用紙Ｐを後端から画像形成部３７の上流側に搬送するように変位する。画像形成部３７では裏面にプリント処理をし、次いで必要に応じて切断処理し、次いで乾燥処理し、排出部３６に両面プリントされた用紙Ｐ２が排出される。
【００３０】
当該画像形成装置３では、被写体を撮影することにより得られた画像データ（以下、「写真画像データ」と呼ぶ。）に基づいて用紙に画像をプリントすることにより、写真プリントを得ることができる。このような画像形成装置３を用いて、１枚の用紙に多数の写真画像データをプリントすれば、いわゆるコラージュ写真を作製することができる。また、複数ページに割り当てられた複数の写真画像データをページごとにプリントし、それらの複数枚の写真プリントをファイリング又は製本すれば、複数ページからなるアルバムを作製することができる。
【００３１】
本実施形態では、用紙Ｐの両面にプリント可能であるため、画像が両面に形成された写真プリントを生成し、それらをファイリング又は製本すれば、見開き状態のページ（見開きページ）に画像が配置されたアルバムを作製することができる。このような見開きページに画像が配置されたアルバムでは、より多くの画像を同時に閲覧することができる。ただし、上記のような両面プリント可能な画像形成装置３に限らず、片面プリントのみ可能な画像形成装置にも本発明を適用することができる。
【００３２】
図２及び図３は、本発明の一実施形態に係る画像処理装置１の一構成例を示したブロック図である。この画像処理装置１は、上記画像形成装置３に備えられ、複数の写真画像データの中から所定の写真画像データを選択するための処理を行う。当該画像処理装置１は、例えばＣＰＵ(Central Processing Unit)からなる制御部を備えており、当該制御部がコンピュータプログラムを実行することにより、各種機能ブロックとして機能するようになっている。具体的には、上記制御部が、グループ分類部１１、グループ判定部１２、画像編集判定部１３、画像データ抽出部１４、コラージュ処理部１５及びアルバム処理部１６などとして機能するようになっている。
【００３３】
また、画像処理装置１は、メモリを備えており、当該メモリの記憶領域に各種記憶部が割り当てられている。具体的には、上記メモリに、画像データ記憶部２１、グループデータ記憶部２２、抽出画像データ記憶部２３及び代表画像データ記憶部２４などが割り当てられている。ただし、上記各記憶部は、別々のメモリにより構成されるものであってもよい。また、上記各記憶部は、画像処理装置１に内蔵されたような構成に限らず、外部メモリにより構成されていてもよい。
【００３４】
画像データ記憶部２１には、複数の写真画像データを記憶することができる。当該画像データ記憶部２１には、スキャナ装置により読み取った写真画像データ、店舗などに設置された注文者用受付端末に入力された写真画像データ、ユーザ端末からインターネットを介してネット受付端末により受信した写真画像データなどを記憶することができる。この画像データ記憶部２１に記憶される写真画像データとしては、現像済み写真フィルムの各コマ画像から読み取った写真画像データや、デジタルカメラで撮影することにより得られた写真画像データなどが挙げられる。
【００３５】
各写真画像データには、いわゆるＥｘｉｆデータが対応付けて記憶されている。当該Ｅｘｉｆデータには、例えば各写真画像データの撮影日時、各写真画像データに対する編集日時、各写真画像データに対する縮小処理により得られるサムネイル画像データなどが含まれる。上記撮影日時は時間情報の一例であり、時間を表す情報であれば、撮影時にカメラの機能によって自動的に付与されるものであってもよいし、ユーザの操作によって付与されるものであってもよい。
【００３６】
グループ分類部１１は、画像データ記憶部２１に記憶されている複数の写真画像データを、各写真画像データに対応付けられた撮影日時に基づいて、所定の時間間隔ごとに異なるグループに分類する。上記所定の時間間隔は、日単位、時間単位、分単位、秒単位などの任意の単位で設定することができる。例えば、同日に撮影された写真画像データが同一のグループに分類されるような構成であってもよいし、連続写真や撮り直しの場合のように撮影間隔が非常に短い（例えば１分以内）写真画像データが同一のグループに分類されるような構成であってもよい。グループ分類部１１により分類された写真画像データの情報は、グループデータとしてグループデータ記憶部２２に記憶される。
【００３７】
グループ判定部１２は、各写真画像データが分類されているグループの種別を判定するためのグループ判定手段である。この例では、非常に短い所定時間内（例えば１分以内）に撮影された写真画像データからなるグループが、連続写真により得られた写真画像データからなる連続写真グループ、又は、所定時間内における撮り直しにより撮影された写真画像データからなる撮り直しグループのいずれであるかを判定することができるようになっている。
【００３８】
より具体的には、各写真画像データに対応付けられている撮影日時に基づいて、各写真画像データの撮影間隔が一定と判断される場合には、カメラの機能により一定間隔で撮影することにより得られた連続写真の写真画像データと判定することができる。一方、各写真画像データに対応付けられている撮影日時に基づいて、各写真画像データの撮影間隔が一定でないと判断される場合には、撮影者が手動で撮り直すことにより得られた写真画像データと判定することができる。
【００３９】
画像編集判定部１３は、各写真画像データが編集されているか否かを判定する画像編集判定手段であり、この例では、各写真画像データに対応付けられたＥｘｉｆデータに基づいて判定を行うことができるようになっている。すなわち、写真画像データが編集ソフトなどを用いて編集された場合には、その編集日時がＥｘｉｆデータとして記憶されるようになっているため、当該編集日時が記憶されていれば、編集された写真画像データと判定することができる。ただし、このような構成に限らず、例えば編集された写真画像データに付される特有のファイル名を識別することにより、編集された写真画像データを判定するような構成などを採用することも可能である。
【００４０】
画像データ抽出部１４は、写真画像データが分類されている各グループの中から、一部の写真画像データのみを抽出する画像データ抽出手段であり、その後に実行されるコラージュ処理又はアルバム処理に対する前処理として、写真画像データの数を減少させるための処理を行う。当該画像データ抽出部１４により各グループから抽出された写真画像データは、抽出画像データとして抽出画像データ記憶部２３に記憶される。
【００４１】
各グループには、所定時間内に撮影された複数の写真画像データが含まれており、この例では、各写真画像データに対応付けられた時間情報である撮影日時に基づいて、各グループの中から写真画像データを抽出することができるようになっている。より具体的には、グループ判定部１２により撮り直しグループと判定されたグループについては、撮影日時が最も遅い写真画像データのみを抽出する処理が行われるようになっている。
【００４２】
また、画像データ抽出部１４は、各グループの中から写真画像データを抽出する際、画像編集判定部１３により編集されていると判定された写真画像データは必ず抽出するようになっている。すなわち、画像データ抽出部１４により除かれる写真画像データには、画像編集判定部１３により編集されていると判定された写真画像データが含まれないようになっている。
【００４３】
コラージュ処理部１５は、抽出画像データ記憶部２３に記憶されている抽出画像データの中から、さらに所定数の写真画像データを選択することにより、各グループを代表する代表画像データを決定するとともに、選択された複数の代表画像データを１枚の用紙に割り当てる処理（コラージュ処理）を行う。このようにして割り当てられた複数の代表画像データが、画像形成部３７において１枚の用紙にプリントされることにより、コラージュ写真が作製される。
【００４４】
アルバム処理部１６は、抽出画像データ記憶部２３に記憶されている抽出画像データの中から、さらに所定数の写真画像データを選択することにより、各グループを代表する代表画像データを決定するとともに、選択された複数の代表画像データをアルバムの各ページに割り当てる処理（アルバム処理）を行う。このようにして割り当てられた複数の代表画像データが、画像形成部３７において複数枚の用紙にプリントされ、それらの写真プリントをファイリング又は製本することによりアルバムが作製される。
【００４５】
本実施形態では、画像処理装置１がコラージュ処理部１５及びアルバム処理部１６をいずれも備えた構成について説明するが、このような構成に限らず、コラージュ処理部１５又はアルバム処理部１６のいずれか一方のみを備えた構成であってもよい。
【００４６】
コラージュ処理部１５及びアルバム処理部１６の構成は、図３に示す通りであり、それぞれ画像判定部１７、画像データ選択部１８、画像データ数調整部１９及び画像データ配置部２０が備えられている。
【００４７】
画像判定部１７は、抽出画像データとして抽出された各写真画像データの判定を行う画像判定手段である。上記判定は、コラージュ写真又はアルバムの各ページに割り当てる写真画像データとしてより好適な写真画像データを判定するものであり、以下では「ベストショット判定」と呼ぶこととする。本実施形態では、各写真画像データのＥｘｉｆデータに含まれるサムネイル画像データから抽出される要素に基づいてベストショット判定が行われ、その判定結果に基づいて、画像データ選択部１８により各グループから所定の写真画像データが選択されるようになっている。すなわち、画像データ選択部１８は、各写真画像データに対応付けられたサムネイル画像データから抽出される要素に基づいて、所定の写真画像データを選択する画像データ選択手段を構成している。
【００４８】
より具体的には、サムネイル画像データから抽出される要素に基づいて、所定の条件を満たすと判断された写真画像データのみが、画像データ選択部１８により選択されるようになっている。画像データ選択部１８により各グループから選択された写真画像データは、各グループの代表画像データとして代表画像データ記憶部２４に記憶される。ただし、本実施形態のようにサムネイル画像データから抽出される要素に基づいて写真画像データを選択するような構成に限らず、写真画像データ（元画像データ）から抽出される要素に基づいて写真画像データを選択するような構成を採用することも可能である。
【００４９】
サムネイル画像データから抽出される要素としては、サムネイル画像データに含まれる人物画像から抽出される要素を挙げることができるが、このような要素に限らず、例えば背景画像から抽出される要素など、他の各種要素を抽出することができる。上記人物画像から抽出される要素には、例えば、撮影された人物の顔の大きさに関する要素、及び、撮影された人物の数に関する要素などが含まれる。ただし、上記２つの要素をいずれも抽出するような構成に限らず、上記２つの要素のいずれか一方の要素のみを抽出するような構成であってもよい。
【００５０】
上記２つの要素は、写真画像データと比べて解像度が低いサムネイル画像データであっても、比較的精度よく抽出可能な要素であるが、精度よく抽出可能であれば、撮影された人物の笑顔度に関する要素、撮影された人物の年齢に関する要素、撮影された人物の目の開閉に関する要素、撮影された人物の顔の露出に関する要素、撮影された人物に対するピントに関する要素、及び、撮影された人物の写真画像データ上での構図に関する要素といった他の各種要素の少なくとも１つが抽出されるような構成であってもよい。
【００５１】
画像データ数調整部１９は、画像データ選択部１８による写真画像データの選択数が規定数でない場合に、当該規定数の写真画像データが選択されるように調整する画像データ数調整手段である。すなわち、コラージュ写真又はアルバムを作製する場合には、割り当てる写真画像データの数として好適な値が存在するが、その値を規定数とした場合、所定の条件を満たすと判断された写真画像データのみが画像データ選択部１８により選択されるような構成では、選択された写真画像データの数が上記規定数よりも多くなったり、上記規定数未満となったりする場合がある。このような場合に、画像データ数調整部１９により写真画像データの選択数を調整することによって、コラージュ写真又はアルバムを好適に作製することができる。
【００５２】
本実施形態では、画像データ数調整部１９は、各写真画像データのＥｘｉｆデータに含まれる時間情報としての撮影日時に基づいて、写真画像データの選択数を調整するようになっており、写真画像データの選択を解除する選択解除部１９１と、写真画像データを追加選択する追加選択部１９２とを備えている。なお、本実施形態では、上記規定数が最小画像数以上かつ最大画像数未満の範囲に設定された場合について説明するが、このような構成に限らず、上記規定数が１つの定数に設定されたような構成であってもよい。
【００５３】
選択解除部１９１は、画像データ選択部１８により選択されて代表画像データ記憶部２４に記憶された写真画像データの数が最大画像数よりも多い場合に、その選択数と最大画像数との差分に応じた数の写真画像データを代表画像データ記憶部２４から削除することにより、その写真画像データの選択を解除し、写真画像データの選択数を上記規定数の範囲内に調整する選択解除手段である。より具体的には、画像データ選択部１８により選択された各写真画像データに対応付けられている撮影日時に基づいて、これらの写真画像データの中から、時系列に従って、所定数ごとに写真画像データの選択を解除する処理が行われる。すなわち、画像データ選択部１８により選択された各写真画像データを時系列で並べたときに、上記所定数ごとに等間隔で写真画像データの選択が解除されるようになっている。
【００５４】
上記所定数（選択解除間隔）は、画像データ選択部１８により選択された写真画像データの数を、当該選択数と最大画像数との差分に応じた数（超過数）で除算した値に基づいて算出される。例えば、上記超過数は、下記数式（１）により算出することができ、上記選択解除間隔は、下記数式（２）により算出することができる。選択解除間隔として算出された値は、整数とはならない場合があるが、その場合には小数点以下を四捨五入した値を上記選択解除間隔として、当該選択解除間隔ごとに写真画像データの選択が解除される。
（超過数）＝（選択数）−（最大画像数） ・・・（１）
（選択解除間隔）＝｛（選択数）／（超過数）｝＋０．５ ・・・（２）
【００５５】
本実施形態では、上記の通り、選択解除部１９１が、画像データ選択部１８により選択された写真画像データの中から、時系列に従って、所定数ごとに写真画像データの選択を解除するような構成について説明したが、このような構成に限らず、選択解除部１９１が他の態様で写真画像データの選択を解除するような構成であってもよい。例えば、選択解除部１９１が、画像データ選択部１８により選択された写真画像データの中から、時系列に従って、所定の時間間隔ごとに写真画像データの選択を解除するような構成であってもよい。すなわち、画像データ選択部１８により選択された各写真画像データを時系列で並べたときに、上記所定の時間間隔ごとに、対応付けられている撮影日時が最も近い写真画像データの選択が解除されるような構成であってもよい。
【００５６】
追加選択部１９２は、画像データ選択部１８により選択されて代表画像データ記憶部２４に記憶された写真画像データの数が最小画像数未満である場合に、その選択数と最小画像数との差分に応じた数の写真画像データを追加選択して代表画像データ記憶部２４に記憶することにより、写真画像データの選択数を上記規定数の範囲内に調整する追加選択手段である。より具体的には、上記所定の条件を満たさない各写真画像データ、すなわち抽出画像データ記憶部２３に記憶されている写真画像データのうち画像データ選択部１８により選択されなかった各写真画像データに対応付けられている撮影日時に基づいて、これらの写真画像データの中から、時系列に従って、所定数ごとに写真画像データを追加選択する処理が行われる。すなわち、抽出画像データ記憶部２３に記憶されている写真画像データのうち画像データ選択部１８により選択されなかった各写真画像データを時系列で並べたときに、上記所定数ごとに等間隔で写真画像データが追加選択されるようになっている。
【００５７】
上記所定数（追加選択間隔）は、抽出画像データ記憶部２３に記憶されている写真画像データのうち画像データ選択部１８により選択されなかった写真画像データの数（未選択数）を、上記選択数と最小画像数との差分に応じた数（不足数）で除算した値に基づいて算出される。例えば、上記不足数は、下記数式（３）により算出することができ、上記追加選択間隔は、下記数式（４）により算出することができる。追加選択間隔として算出された値は、整数とはならない場合があるが、その場合には小数点以下を四捨五入した値を上記追加選択間隔として、当該追加選択間隔ごとに写真画像データが追加選択される。
（不足数）＝（最小画像数）−（選択数） ・・・（３）
（追加選択間隔）＝｛（未選択数）／（不足数）｝＋０．５ ・・・（４）
【００５８】
本実施形態では、上記の通り、追加選択部１９２が、上記所定の条件を満たさない各写真画像データの中から、時系列に従って、所定数ごとに写真画像データを追加選択するような構成について説明したが、このような構成に限らず、追加選択部１９２が他の態様で写真画像データを追加選択するような構成であってもよい。例えば、追加選択部１９２が、上記所定の条件を満たさない各写真画像データの中から、時系列に従って、所定の時間間隔ごとに写真画像データを追加選択するような構成であってもよい。すなわち、上記所定の条件を満たさない各写真画像データを時系列で並べたときに、上記所定の時間間隔ごとに、対応付けられている撮影日時が最も近い写真画像データを追加選択するような構成であってもよい。
【００５９】
画像データ数調整部１９により選択数が調整され、代表画像データとして代表画像データ記憶部２４に記憶されている複数の写真画像データは、画像データ配置部２０により読み出される。そして、コラージュ処理部１５の画像データ配置部２０により１枚の用紙に割り当てられ、又は、アルバム処理部１６の画像データ配置部２０によりアルバムの各ページに割り当てられる。コラージュ処理部１５の画像データ配置部２０により割り当てられた写真画像データを画像形成部３７でプリントすれば、コラージュ写真を作製することができる。一方、アルバム処理部１６の画像データ配置部２０により割り当てられた写真画像データを画像形成部３７でプリントし、それらの複数枚の写真プリントをファイリング又は製本すれば、アルバムを作製することができる。
【００６０】
上記画像データ配置部２０による写真画像データの割り当て態様としては、種々の態様を採用することができるが、例えば時系列に従って割り当てるような構成であってもよい。また、画像判定部１７によるベストショット判定時に、各写真画像データに対応付けられたサムネイル画像データから抽出される要素に基づいて、各写真画像データにポイントを付与し、そのポイントに応じた順序で割り当てるような構成であってもよい。この場合、例えばポイントが高い順又は低い順に各写真画像データを割り当てるような構成であってもよいし、ポイントが高い順又は低い順に一旦配列した各写真画像データをシャッフルして割り当てるような構成であってもよい。
【００６１】
図４は、画像データ抽出部１４により写真画像データを抽出する際の処理の一例を示したフローチャートである。画像データ抽出部１４による写真画像データの抽出は、グループ分類部１１により予め分類されたグループごとに行われる。まず、各グループに分類されている写真画像データの中に、画像編集判定部１３により編集されていると判定された写真画像データが含まれている場合には（ステップＳ１０１でＹｅｓ）、その写真画像データが当該グループから抽出され、抽出画像データ記憶部２３に記憶される（ステップＳ１０２）。
【００６２】
また、画像編集判定部１３により編集されていると判定されなかった写真画像データについても、撮影間隔が１分以内である場合には（ステップＳ１０４でＹｅｓ）、以下の処理に従って一部の写真画像データのみが抽出される。すなわち、各写真画像データを撮影日時に基づいて時系列で並べたときに、隣接する写真画像データ同士の撮影日時の間隔（上記撮影間隔）が１分以内である写真画像データが連続して２つ以上ある場合には、それらの連続する写真画像データの一部のみが抽出されるようになっている。ただし、上記撮影間隔の閾値は、「１分」に限られるものではなく、他の値であってもよい。
【００６３】
撮影間隔が１分以内である写真画像データが連続して３つ以上ある場合には（ステップＳ１０４でＹｅｓ）、それらの隣接する写真画像データ同士の撮影間隔が一定であるか否かが判定される（ステップＳ１０５）。その結果、隣接する写真画像データ同士の撮影間隔が一定であれば（ステップＳ１０５でＹｅｓ）、カメラの機能により一定間隔で撮影することにより得られた連続写真の写真画像データと判定される（ステップＳ１０６）。このようにして連続写真の写真画像データと判定された連続する複数の写真画像データについては、上述のベストショット判定により最も好適と判定された写真画像データのみが抽出され、抽出画像データ記憶部２３に記憶される（ステップＳ１０７）。
【００６４】
撮影間隔が１分以内である写真画像データが連続して２つだけである場合（ステップＳ１０４でＮｏ）、又は、撮影間隔が１分以内である写真画像データが連続して３つ以上あるが（ステップＳ１０４でＹｅｓ）、それらの隣接する写真画像データ同士の撮影間隔が一定でない場合には（ステップＳ１０５でＮｏ）、撮影者が手動で撮り直すことにより得られた写真画像データと判定される（ステップＳ１０８）。このようにして撮り直しの写真画像データと判定された連続する複数の写真画像データについては、撮影日時が最も遅い写真画像データのみが抽出され、抽出画像データ記憶部２３に記憶される（ステップＳ１０９）。
【００６５】
本実施形態では、複数の写真画像データの中から、一部の写真画像データのみを自動的に抽出する際に、編集されていると判定された写真画像データは必ず抽出される。編集後の写真画像データは、顧客にとって好ましい写真画像データであると推定できるので、編集されている写真画像データを必ず抽出するといった簡単な処理により、好適に写真画像データを抽出することができる。
【００６６】
特に、本実施形態では、各写真画像データに対応付けられたＥｘｉｆデータに基づいて、写真画像データが編集されているか否かを容易に判定することができるので、より簡単な処理で好適に写真画像データを抽出することができる。
【００６７】
また、本実施形態では、所定時間内に撮影された複数の写真画像データからなるグループ（この例では、撮り直しグループ）の中から、各写真画像データに対応付けられた時間情報（撮影日時）に基づいて、一部の写真画像データのみを自動的に抽出することができる。このように、各写真画像データに対応付けられた時間情報に基づいて写真画像データを抽出することにより、各写真画像データに対して複雑な判定処理等を行うような構成と比較して、より簡単な処理で好適に写真画像データを抽出することができる。
【００６８】
特に、本実施形態では、撮り直しにより撮影された写真画像データからなる撮り直しグループに対して、対応付けられた時間情報が最も遅い写真画像データを抽出するという簡単な処理で、好適に写真画像データを抽出することができる。撮り直しを行った場合には、その撮り直しの時間内に撮影された複数の写真画像データのうち、最後に撮影された写真画像データが撮影者にとって最も好ましい写真画像データであると推定できる。このような場合には、最後に撮影された写真画像データ、すなわち対応付けられた時間情報が最も遅い写真画像データを抽出することによって、より簡単な処理で好適に写真画像データを抽出することができる。
【００６９】
ただし、本実施形態のように、撮り直しにより撮影された写真画像データからなる撮り直しグループに対してのみ、対応付けられた時間情報が最も遅い写真画像データを抽出するような構成に限らず、例えば連続写真により得られた写真画像データからなる連続写真グループに対して、同様に、対応付けられた時間情報が最も遅い写真画像データを抽出するような構成を採用してもよい。また、撮り直しにより撮影された写真画像データからなる撮り直しグループについて、ベストショット判定により最も好適と判定された写真画像データを抽出するような構成を採用してもよい。
【００７０】
なお、ベストショット判定を用いて写真画像データを抽出する際には、当該ベストショット判定により最も好適と判定された写真画像データのみが抽出されるような構成に限らず、例えば好適と判定された写真画像データの上位所定数が抽出されるような構成であってもよい。また、ベストショット判定に限らず、他の手法を用いて、各グループにおける時間情報が最も遅い写真画像データ以外の写真画像データを抽出するような構成であってもよい。また、画像データ抽出部１４により写真画像データを抽出する際の態様としては、上記のような構成に限らず、例えば撮影された人物の顔の露出に関する要素に基づいて、その露出度が所定の閾値以下である写真画像データは抽出しないような構成であってもよい。
【００７１】
図５は、画像判定部１７によりベストショット判定を行う際の処理の一例を示したフローチャートである。本実施形態におけるベストショット判定は、上述の通り、サムネイル画像データから抽出される要素に基づいて行われる。
【００７２】
より具体的には、サムネイル画像データから抽出される撮影された人物の数に関する要素に基づいて、撮影された人物が４人以上であるか否かが判定されるとともに（ステップＳ２０１）、サムネイル画像データから抽出される撮影された人物の顔の大きさに関する要素に基づいて、写真画像データ全体における撮影された人物の顔画像の割合が４割以上であるか否かが判定される（ステップＳ２０２）。画像データの中から人物の顔画像を検出するためのアルゴリズムは周知であるため、詳細な説明は省略することとする。
【００７３】
上記撮影された人物の数に関する要素に基づく判定は、例えば写真画像データに含まれる顔画像の数を計数することにより行われる。なお、顔画像の大きさが所定サイズ以下である場合には人数として計数しないような構成を採用してもよい。
【００７４】
上記撮影された人物の顔の大きさに関する要素に基づく判定は、例えば写真画像データ全体に対する顔画像が占める割合を数値化することにより行われる。写真画像データ中に複数の人物の顔画像が含まれている場合には、それらの顔画像のうち最も大きい顔画像に基づいて、写真画像データ全体に対する当該顔画像が占める割合を数値化することにより判定が行われるようになっていてもよい。
【００７５】
撮影された人物が４人以上である場合（ステップＳ２０１でＹｅｓ）、又は、写真画像データ全体における撮影された人物の顔画像の割合が４割以上である場合には（ステップＳ２０２でＹｅｓ）、その写真画像データが代表画像データとして選択され、代表画像データ記憶部２４に記憶される。一方、撮影された人物が４人未満である場合（ステップＳ２０１でＮｏ）、又は、写真画像データ全体における撮影された人物の顔画像の割合が４割未満である場合には（ステップＳ２０２でＮｏ）、その写真画像データは代表画像データとして選択されない。
【００７６】
上記のような処理が、抽出画像データ記憶部２３に記憶されている全ての写真画像データについてグループごとに行われることにより（ステップＳ２０４でＹｅｓ）、各グループの代表画像データが選択される。このように、複数のグループから抽出された複数の写真画像データの中から、所定の写真画像データを選択することにより、バラエティに富んだアルバムやコラージュ写真などを作製することができる。特に、複数のグループから抽出された複数の写真画像データについてのみ判定を行うことにより、各グループの全ての写真画像データに対して判定を行う場合と比較して、処理速度を向上することができる。
【００７７】
本実施形態では、複数の写真画像データの中から所定の写真画像データを選択する際、各写真画像データから抽出される要素ではなく、各写真画像データに対応付けられたサムネイル画像データから抽出される要素に基づいて、写真画像データが自動的に選択される。このように、写真画像データと比べて解像度が低いサムネイル画像データに基づいて上記所定の写真画像データを選択することにより、処理速度を向上することができる。
【００７８】
特に、本実施形態では、各写真画像データに対応付けられたサムネイル画像データから抽出される要素に基づいて判定（ベストショット判定）が行われ、その判定結果に基づいて上記所定の写真画像データが選択される。したがって、複雑な判定処理を行う場合であっても、解像度が比較的低いサムネイル画像データに基づいて判定を行うことにより、処理速度を効果的に向上することができる。
【００７９】
また、本実施形態では、サムネイル画像データに含まれる人物画像から抽出される要素に基づいて写真画像データを選択することにより、撮影された人物画像に着目して写真画像データを選択することができる。特に、撮影された人物の顔の大きさに関する要素、又は、撮影された人物の数に関する要素に基づいて写真画像データを選択することにより、撮影された人物画像に着目して好適に写真画像データを選択することができる。
【００８０】
コラージュ写真の場合には、１枚の用紙に多数の写真画像データがプリントされるため、数枚の見栄えする写真画像データ以外は細部まで重要視されないという傾向がある。したがって、サムネイル画像データから抽出される要素に基づいて写真画像データを選択することにより、写真画像データから抽出される要素に基づいて選択する場合よりも選択の精度が低くなったとしても、コラージュ写真の見栄えが悪くなるといった問題が生じにくい。また、サムネイル画像データから抽出される要素に基づいて写真画像データを選択することにより、写真画像データから抽出される要素に基づいて選択する場合よりも選択の精度が低くなったとしても、見栄えする写真画像データは確実に選択することができる。すなわち、本実施形態は、コラージュ写真に特に適した形態であるということができる。
【００８１】
図６は、画像データ数調整部１９により選択される写真画像データの数を調整する際の処理の一例を示したフローチャートである。図５において説明したような態様でベストショット判定が行われることにより、所定の条件を満たす写真画像データが選択された後（ステップＳ３０１）、その選択された写真画像データの数が、最小画像数以上かつ最大画像数未満の範囲にあるか否かが判定される（ステップＳ３０２，Ｓ３０３）。
【００８２】
写真画像データの選択数が最大画像数よりも多い場合には（ステップＳ３０２でＹｅｓ）、その選択数と最大画像数との差分に応じた数の写真画像データの選択を解除する処理が行われる（ステップＳ３０４）。一方、写真画像データの選択数が最小画像数未満である場合には（ステップＳ３０３でＹｅｓ）、その選択数と最小画像数との差分に応じた数の写真画像データを追加選択する処理が行われる（ステップＳ３０５）。
【００８３】
写真画像データの選択を解除し、又は、追加選択することにより選択数を調整する際の処理については、上述した通り、各写真画像データに対応付けられている時間情報に基づいて行われる。しかし、上述の態様により写真画像データの選択数を調整した場合であっても、その調整後の写真画像データの選択数が規定数（最小画像数以上かつ最大画像数未満の範囲）にならない場合がある。この場合には（ステップＳ３０６でＮｏ）、ステップＳ３０２〜Ｓ３０５の処理が再度実行され、写真画像データの選択数が規定数となった時点で処理が終了する（ステップＳ３０６でＹｅｓ）。
【００８４】
本実施形態では、所定の条件を満たす写真画像データを選択したときに、その選択数が規定数でない場合であっても、各写真画像データに対応付けられている時間情報に基づいて、上記規定数の写真画像データが選択されるように調整することができる。このように、各写真画像データに対応付けられた時間情報に基づいて写真画像データの数を調整することにより、各写真画像データに対して複雑な判定処理等を行うような構成と比較して、より簡単な処理で規定数の写真画像データを選択することができる。
【００８５】
特に、本実施形態では、写真画像データの選択数が規定数よりも多い場合には、上記選択数と上記規定数との差分に応じた数の写真画像データの選択を解除し、写真画像データの選択数が規定数未満である場合には、上記選択数と上記規定数との差分に応じた数の写真画像データを追加選択するといった簡単な処理によって、上記規定数の写真画像データを選択するよう調整することができる。
【００８６】
また、本実施形態では、選択された各写真画像データの中から、時系列に従って、所定数ごとに写真画像データの選択を解除することにより、当該選択された写真画像データとして所定時間内に撮影された複数の写真画像データの中から、当該所定時間内においてより満遍なく選択を解除することができるので、より好適に規定数の写真画像データを選択することができる。一方、所定の条件を満たさない各写真画像データの中から、時系列に従って、所定数ごとに写真画像データを追加選択することにより、当該所定の条件を満たさない写真画像データとして所定時間内に撮影された複数の写真画像データの中から、当該所定時間内においてより満遍なく追加選択することができるので、より好適に規定数の写真画像データを選択することができる。
【００８７】
以上の実施形態では、画像処理装置１が画像形成装置３に備えられた構成について説明したが、このような構成に限らず、画像処理装置１が画像形成装置３とは別個に設けられたような構成であってもよい。
【図面の簡単な説明】
【００８８】
【図１】本発明の一実施形態に係る画像形成装置の一構成例を示した概略断面図である。
【図２】本発明の一実施形態に係る画像処理装置の一構成例を示したブロック図である。
【図３】コラージュ処理部及びアルバム処理部の一構成例を示したブロック図である。
【図４】画像データ抽出部により写真画像データを抽出する際の処理の一例を示したフローチャートである。
【図５】画像判定部によりベストショット判定を行う際の処理の一例を示したフローチャートである。
【図６】画像データ数調整部により選択される写真画像データの数を調整する際の処理の一例を示したフローチャートである。
【符号の説明】
【００８９】
１ 画像処理装置
３ 画像形成装置
１１ グループ分類部
１２ グループ判定部
１３ 画像編集判定部
１４ 画像データ抽出部
１５ コラージュ処理部
１６ アルバム処理部
１７ 画像判定部
１８ 画像データ選択部
１９ 画像データ数調整部
２０ 画像データ配置部
２１ 画像データ記憶部
２２ グループデータ記憶部
２３ 抽出画像データ記憶部
２４ 代表画像データ記憶部
３７ 画像形成部
１９１ 選択解除部
１９２ 追加選択部
【技術分野】
【０００１】
本発明は、複数の写真画像データの中から所定の写真画像データを選択するための処理を行う画像処理装置、画像形成装置、画像処理方法及び画像処理プログラムに関するものである。
【背景技術】
【０００２】
近年、写真プリントに関するサービスの一例として、現像済み写真フィルムの各コマ画像から読み取った写真画像データや、デジタルカメラで撮影することにより得られた写真画像データに基づいて、複数枚の写真プリントを生成し、それらをファイリング又は製本することによりアルバムを作製するようなサービスが知られている（例えば、特許文献１参照）。
【０００３】
【特許文献１】特開２００２−１７８５８８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上記のようなアルバムの各ページに割り当てる写真画像データを、当該サービスの利用者である顧客が１つずつ選択する場合には、その選択に時間がかかり、作業が煩雑になるといった問題がある。例えば、写真店などの店舗に設置された注文者用受付端末において上記のような作業を行う場合には、注文者用受付端末の占有時間が長くなり、顧客の回転率が悪くなるといった問題がある。また、写真画像データを選択する作業の簡略化という課題は、上記のような注文者用受付端末を用いて注文する場合だけでなく、例えばインターネット回線などを介して、顧客が自宅に設置されたパーソナルコンピュータを用いて注文する場合などにも生じる課題である。
【０００５】
そこで、本願出願人は、先の出願（特願２００８−２３２３７８）において、各写真画像データ（アルバム用画像データ）から抽出される要素に基づいて、各写真画像データの採点を行い、その採点結果に基づいて、アルバムの各ページに割り当てる写真画像データを自動的に選択することができる技術を提案した。
【０００６】
しかしながら、上記のような技術では、解像度が比較的高い写真画像データから各種要素を抽出して採点を行うため、処理に時間がかかるという問題がある。特に、対象となる写真画像データの数が多い場合には、全ての写真画像データの処理に要する時間が非常に長くなり、そのような処理を注文者用受付端末において行った場合には、顧客の回転率が非常に悪くなってしまう。
【０００７】
上記のような問題は、アルバムを作製する場合に限らず、アルバム以外のプリントを作製する場合にも生じる場合がある。例えば、コラージュ写真のように、複数の写真画像データを選択して１枚の用紙にプリントするような場合に、各写真画像データに対して上記のような採点処理を用いた判定を行ったときにも、その処理に時間がかかるという問題がある。なお、コラージュ写真において１枚の用紙にプリントされる複数の写真画像データに基づく各画像の大きさは、各写真画像データに基づいて１枚の写真プリントとして通常プリントされるサイズ（Ｌ判サイズなど）よりも小さい。
【０００８】
また、コラージュ写真の場合には、１枚の用紙に多数の写真画像データがプリントされるため、数枚の見栄えする写真画像データ以外は細部まで重要視されないという傾向がある。そのため、特にコラージュ写真については、各写真画像データに対して、それほど精度のよい判定を行う必要がないといった特徴がある。
【０００９】
本発明は、上記実情に鑑みてなされたものであり、処理速度を向上することができる画像処理装置、画像形成装置、画像処理方法及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
第１の本発明に係る画像処理装置は、複数の写真画像データの中から所定の写真画像データを選択するための処理を行う画像処理装置であって、各写真画像データに対応付けられたサムネイル画像データから抽出される要素に基づいて、上記所定の写真画像データを選択する画像データ選択手段を備えたことを特徴とする。
【００１１】
このような構成によれば、複数の写真画像データの中から所定の写真画像データを選択する際、各写真画像データから抽出される要素ではなく、各写真画像データに対応付けられたサムネイル画像データから抽出される要素に基づいて、写真画像データが自動的に選択される。このように、写真画像データと比べて解像度が低いサムネイル画像データに基づいて上記所定の写真画像データを選択することにより、処理速度を向上することができる。
【００１２】
第２の本発明に係る画像処理装置は、上記サムネイル画像データから抽出される要素に基づいて、各写真画像データの判定を行う画像判定手段を備え、上記画像データ選択手段が、上記画像判定手段による判定結果に基づいて、上記所定の写真画像データを選択することを特徴とする。
【００１３】
このような構成によれば、各写真画像データに対応付けられたサムネイル画像データから抽出される要素に基づいて判定が行われ、その判定結果に基づいて上記所定の写真画像データが選択される。したがって、複雑な判定処理を行う場合であっても、解像度が比較的低いサムネイル画像データに基づいて判定を行うことにより、処理速度を効果的に向上することができる。
【００１４】
第３の本発明に係る画像処理装置は、上記サムネイル画像データから抽出される要素には、当該サムネイル画像データに含まれる人物画像から抽出される要素が含まれることを特徴とする。
【００１５】
このような構成によれば、サムネイル画像データに含まれる人物画像から抽出される要素に基づいて写真画像データを選択することにより、撮影された人物画像に着目して写真画像データを選択することができる。
【００１６】
第４の本発明に係る画像処理装置は、上記人物画像から抽出される要素には、撮影された人物の顔の大きさに関する要素、及び、撮影された人物の数に関する要素の少なくとも一方の要素が含まれることを特徴とする。
【００１７】
このような構成によれば、各要素に基づいて写真画像データを選択することにより、撮影された人物画像に着目して好適に写真画像データを選択することができる。
【００１８】
第５の本発明に係る画像形成装置は、複数の写真画像データの中から所定の写真画像データを選択して写真プリントを生成する画像形成装置であって、各写真画像データに対応付けられたサムネイル画像データから抽出される要素に基づいて、上記所定の写真画像データを選択する画像データ選択手段と、上記画像データ選択手段により選択された上記所定の写真画像データに基づいて写真プリントを生成する画像形成手段とを備えたことを特徴とする。
【００１９】
このような構成によれば、上記画像処理装置と同様の効果を奏する画像形成装置を提供することができる。
【００２０】
第６の本発明に係る画像形成装置は、上記画像形成手段が、上記画像データ選択手段により選択された上記所定の写真画像データを１枚の用紙にプリントすることを特徴とする。
【００２１】
このような構成によれば、選択された所定の写真画像データを１枚の用紙にプリントすることにより、コラージュ写真を作製することができる。コラージュ写真の場合には、１枚の用紙に多数の写真画像データがプリントされるため、数枚の見栄えする写真画像データ以外は細部まで重要視されないという傾向がある。したがって、サムネイル画像データから抽出される要素に基づいて写真画像データを選択することにより、写真画像データから抽出される要素に基づいて選択する場合よりも選択の精度が低くなったとしても、コラージュ写真の見栄えが悪くなるといった問題が生じにくい。また、サムネイル画像データから抽出される要素に基づいて写真画像データを選択することにより、写真画像データから抽出される要素に基づいて選択する場合よりも選択の精度が低くなったとしても、見栄えする写真画像データは確実に選択することができる。すなわち、本発明は、コラージュ写真に特に適した発明であるということができる。
【００２２】
第７の本発明に係る画像処理方法は、複数の写真画像データの中から所定の写真画像データを選択するための処理を行う画像処理方法であって、各写真画像データに対応付けられたサムネイル画像データから抽出される要素に基づいて、上記所定の写真画像データを選択する画像データ選択ステップを備えたことを特徴とする。
【００２３】
このような構成によれば、上記画像処理装置と同様の効果を奏する画像処理方法を提供することができる。
【００２４】
第８の本発明に係る画像処理プログラムは、複数の写真画像データの中から所定の写真画像データを選択するための処理をコンピュータに行わせる画像処理プログラムであって、上記コンピュータを、各写真画像データに対応付けられたサムネイル画像データから抽出される要素に基づいて、上記所定の写真画像データを選択する画像データ選択手段として機能させることを特徴とする。
【００２５】
このような構成によれば、上記画像処理装置と同様の効果を奏する画像処理プログラムを提供することができる。
【発明の効果】
【００２６】
本発明によれば、写真画像データと比べて解像度が低いサムネイル画像データに基づいて所定の写真画像データを選択することにより、処理速度を向上することができる。
【発明を実施するための最良の形態】
【００２７】
図１は、本発明の一実施形態に係る画像形成装置３の一構成例を示した概略断面図である。この画像形成装置３は、例えばインクジェットプリンタからなり、画像データに基づく画像を用紙Ｐの片面又は両面にプリントすることができる。なお、画像形成装置３は、インクジェットプリンタに限定されず、熱転写式プリンタ、レーザープリンタ、銀塩式プリンタでも構成できる。
【００２８】
当該画像形成装置３によるプリント処理は以下の流れである。用紙ストック部３０に枚葉の用紙Ｐ（インクジェット用紙）がストックされ、用紙送り機構によって用紙Ｐが１枚ずつ下流側に搬送される構成である。搬送された用紙Ｐは、画像形成部３７の吸引部３２によって吸引されて一次保持される。画像形成部３７は、Ｃ（シアン）、Ｍ（マゼンタ）、Ｙ（イエロー）、Ｋ（ブラック）のそれぞれのプリントヘッド３１を備えている。間欠搬送される用紙Ｐに対し、プリントヘッド３１が主走査方向に一走査し、この走査時に、各色のインク吐出ノズルからインクが吐出し、用紙Ｐの表面に付着させる。この間欠搬送、主走査動作およびインク吐出動作を繰り返すことで、用紙Ｐのプリント領域に画像が形成される。
【００２９】
次いで、画像形成された用紙Ｐは、切断部３３に搬送される。片面プリントの場合に、切断部３３（例えば、回転刃）は、用紙幅方向に移動することで、用紙Ｐ中の不必要部分を切断する。なお、両面プリントの場合は、両面プリント終了後に切断処理を実行してもよい。次いで、片面プリントの場合、用紙Ｐの裏面に、裏印字手段（図示せず）によって識別番号、コマ番号、日付等の情報がプリントされる。なおこの裏印字処理は任意の処理である。次いで、搬送下流側の乾燥手段３４によって、用紙Ｐの画像形成面を乾燥させる。乾燥処理された用紙Ｐは、上側に搬送される過程で表裏反転され、排出部３６に排出される。両面プリントする場合には、用紙Ｐの後端がリバース機構３５で挟持され、当該リバース機構３５が用紙Ｐを後端から画像形成部３７の上流側に搬送するように変位する。画像形成部３７では裏面にプリント処理をし、次いで必要に応じて切断処理し、次いで乾燥処理し、排出部３６に両面プリントされた用紙Ｐ２が排出される。
【００３０】
当該画像形成装置３では、被写体を撮影することにより得られた画像データ（以下、「写真画像データ」と呼ぶ。）に基づいて用紙に画像をプリントすることにより、写真プリントを得ることができる。このような画像形成装置３を用いて、１枚の用紙に多数の写真画像データをプリントすれば、いわゆるコラージュ写真を作製することができる。また、複数ページに割り当てられた複数の写真画像データをページごとにプリントし、それらの複数枚の写真プリントをファイリング又は製本すれば、複数ページからなるアルバムを作製することができる。
【００３１】
本実施形態では、用紙Ｐの両面にプリント可能であるため、画像が両面に形成された写真プリントを生成し、それらをファイリング又は製本すれば、見開き状態のページ（見開きページ）に画像が配置されたアルバムを作製することができる。このような見開きページに画像が配置されたアルバムでは、より多くの画像を同時に閲覧することができる。ただし、上記のような両面プリント可能な画像形成装置３に限らず、片面プリントのみ可能な画像形成装置にも本発明を適用することができる。
【００３２】
図２及び図３は、本発明の一実施形態に係る画像処理装置１の一構成例を示したブロック図である。この画像処理装置１は、上記画像形成装置３に備えられ、複数の写真画像データの中から所定の写真画像データを選択するための処理を行う。当該画像処理装置１は、例えばＣＰＵ(Central Processing Unit)からなる制御部を備えており、当該制御部がコンピュータプログラムを実行することにより、各種機能ブロックとして機能するようになっている。具体的には、上記制御部が、グループ分類部１１、グループ判定部１２、画像編集判定部１３、画像データ抽出部１４、コラージュ処理部１５及びアルバム処理部１６などとして機能するようになっている。
【００３３】
また、画像処理装置１は、メモリを備えており、当該メモリの記憶領域に各種記憶部が割り当てられている。具体的には、上記メモリに、画像データ記憶部２１、グループデータ記憶部２２、抽出画像データ記憶部２３及び代表画像データ記憶部２４などが割り当てられている。ただし、上記各記憶部は、別々のメモリにより構成されるものであってもよい。また、上記各記憶部は、画像処理装置１に内蔵されたような構成に限らず、外部メモリにより構成されていてもよい。
【００３４】
画像データ記憶部２１には、複数の写真画像データを記憶することができる。当該画像データ記憶部２１には、スキャナ装置により読み取った写真画像データ、店舗などに設置された注文者用受付端末に入力された写真画像データ、ユーザ端末からインターネットを介してネット受付端末により受信した写真画像データなどを記憶することができる。この画像データ記憶部２１に記憶される写真画像データとしては、現像済み写真フィルムの各コマ画像から読み取った写真画像データや、デジタルカメラで撮影することにより得られた写真画像データなどが挙げられる。
【００３５】
各写真画像データには、いわゆるＥｘｉｆデータが対応付けて記憶されている。当該Ｅｘｉｆデータには、例えば各写真画像データの撮影日時、各写真画像データに対する編集日時、各写真画像データに対する縮小処理により得られるサムネイル画像データなどが含まれる。上記撮影日時は時間情報の一例であり、時間を表す情報であれば、撮影時にカメラの機能によって自動的に付与されるものであってもよいし、ユーザの操作によって付与されるものであってもよい。
【００３６】
グループ分類部１１は、画像データ記憶部２１に記憶されている複数の写真画像データを、各写真画像データに対応付けられた撮影日時に基づいて、所定の時間間隔ごとに異なるグループに分類する。上記所定の時間間隔は、日単位、時間単位、分単位、秒単位などの任意の単位で設定することができる。例えば、同日に撮影された写真画像データが同一のグループに分類されるような構成であってもよいし、連続写真や撮り直しの場合のように撮影間隔が非常に短い（例えば１分以内）写真画像データが同一のグループに分類されるような構成であってもよい。グループ分類部１１により分類された写真画像データの情報は、グループデータとしてグループデータ記憶部２２に記憶される。
【００３７】
グループ判定部１２は、各写真画像データが分類されているグループの種別を判定するためのグループ判定手段である。この例では、非常に短い所定時間内（例えば１分以内）に撮影された写真画像データからなるグループが、連続写真により得られた写真画像データからなる連続写真グループ、又は、所定時間内における撮り直しにより撮影された写真画像データからなる撮り直しグループのいずれであるかを判定することができるようになっている。
【００３８】
より具体的には、各写真画像データに対応付けられている撮影日時に基づいて、各写真画像データの撮影間隔が一定と判断される場合には、カメラの機能により一定間隔で撮影することにより得られた連続写真の写真画像データと判定することができる。一方、各写真画像データに対応付けられている撮影日時に基づいて、各写真画像データの撮影間隔が一定でないと判断される場合には、撮影者が手動で撮り直すことにより得られた写真画像データと判定することができる。
【００３９】
画像編集判定部１３は、各写真画像データが編集されているか否かを判定する画像編集判定手段であり、この例では、各写真画像データに対応付けられたＥｘｉｆデータに基づいて判定を行うことができるようになっている。すなわち、写真画像データが編集ソフトなどを用いて編集された場合には、その編集日時がＥｘｉｆデータとして記憶されるようになっているため、当該編集日時が記憶されていれば、編集された写真画像データと判定することができる。ただし、このような構成に限らず、例えば編集された写真画像データに付される特有のファイル名を識別することにより、編集された写真画像データを判定するような構成などを採用することも可能である。
【００４０】
画像データ抽出部１４は、写真画像データが分類されている各グループの中から、一部の写真画像データのみを抽出する画像データ抽出手段であり、その後に実行されるコラージュ処理又はアルバム処理に対する前処理として、写真画像データの数を減少させるための処理を行う。当該画像データ抽出部１４により各グループから抽出された写真画像データは、抽出画像データとして抽出画像データ記憶部２３に記憶される。
【００４１】
各グループには、所定時間内に撮影された複数の写真画像データが含まれており、この例では、各写真画像データに対応付けられた時間情報である撮影日時に基づいて、各グループの中から写真画像データを抽出することができるようになっている。より具体的には、グループ判定部１２により撮り直しグループと判定されたグループについては、撮影日時が最も遅い写真画像データのみを抽出する処理が行われるようになっている。
【００４２】
また、画像データ抽出部１４は、各グループの中から写真画像データを抽出する際、画像編集判定部１３により編集されていると判定された写真画像データは必ず抽出するようになっている。すなわち、画像データ抽出部１４により除かれる写真画像データには、画像編集判定部１３により編集されていると判定された写真画像データが含まれないようになっている。
【００４３】
コラージュ処理部１５は、抽出画像データ記憶部２３に記憶されている抽出画像データの中から、さらに所定数の写真画像データを選択することにより、各グループを代表する代表画像データを決定するとともに、選択された複数の代表画像データを１枚の用紙に割り当てる処理（コラージュ処理）を行う。このようにして割り当てられた複数の代表画像データが、画像形成部３７において１枚の用紙にプリントされることにより、コラージュ写真が作製される。
【００４４】
アルバム処理部１６は、抽出画像データ記憶部２３に記憶されている抽出画像データの中から、さらに所定数の写真画像データを選択することにより、各グループを代表する代表画像データを決定するとともに、選択された複数の代表画像データをアルバムの各ページに割り当てる処理（アルバム処理）を行う。このようにして割り当てられた複数の代表画像データが、画像形成部３７において複数枚の用紙にプリントされ、それらの写真プリントをファイリング又は製本することによりアルバムが作製される。
【００４５】
本実施形態では、画像処理装置１がコラージュ処理部１５及びアルバム処理部１６をいずれも備えた構成について説明するが、このような構成に限らず、コラージュ処理部１５又はアルバム処理部１６のいずれか一方のみを備えた構成であってもよい。
【００４６】
コラージュ処理部１５及びアルバム処理部１６の構成は、図３に示す通りであり、それぞれ画像判定部１７、画像データ選択部１８、画像データ数調整部１９及び画像データ配置部２０が備えられている。
【００４７】
画像判定部１７は、抽出画像データとして抽出された各写真画像データの判定を行う画像判定手段である。上記判定は、コラージュ写真又はアルバムの各ページに割り当てる写真画像データとしてより好適な写真画像データを判定するものであり、以下では「ベストショット判定」と呼ぶこととする。本実施形態では、各写真画像データのＥｘｉｆデータに含まれるサムネイル画像データから抽出される要素に基づいてベストショット判定が行われ、その判定結果に基づいて、画像データ選択部１８により各グループから所定の写真画像データが選択されるようになっている。すなわち、画像データ選択部１８は、各写真画像データに対応付けられたサムネイル画像データから抽出される要素に基づいて、所定の写真画像データを選択する画像データ選択手段を構成している。
【００４８】
より具体的には、サムネイル画像データから抽出される要素に基づいて、所定の条件を満たすと判断された写真画像データのみが、画像データ選択部１８により選択されるようになっている。画像データ選択部１８により各グループから選択された写真画像データは、各グループの代表画像データとして代表画像データ記憶部２４に記憶される。ただし、本実施形態のようにサムネイル画像データから抽出される要素に基づいて写真画像データを選択するような構成に限らず、写真画像データ（元画像データ）から抽出される要素に基づいて写真画像データを選択するような構成を採用することも可能である。
【００４９】
サムネイル画像データから抽出される要素としては、サムネイル画像データに含まれる人物画像から抽出される要素を挙げることができるが、このような要素に限らず、例えば背景画像から抽出される要素など、他の各種要素を抽出することができる。上記人物画像から抽出される要素には、例えば、撮影された人物の顔の大きさに関する要素、及び、撮影された人物の数に関する要素などが含まれる。ただし、上記２つの要素をいずれも抽出するような構成に限らず、上記２つの要素のいずれか一方の要素のみを抽出するような構成であってもよい。
【００５０】
上記２つの要素は、写真画像データと比べて解像度が低いサムネイル画像データであっても、比較的精度よく抽出可能な要素であるが、精度よく抽出可能であれば、撮影された人物の笑顔度に関する要素、撮影された人物の年齢に関する要素、撮影された人物の目の開閉に関する要素、撮影された人物の顔の露出に関する要素、撮影された人物に対するピントに関する要素、及び、撮影された人物の写真画像データ上での構図に関する要素といった他の各種要素の少なくとも１つが抽出されるような構成であってもよい。
【００５１】
画像データ数調整部１９は、画像データ選択部１８による写真画像データの選択数が規定数でない場合に、当該規定数の写真画像データが選択されるように調整する画像データ数調整手段である。すなわち、コラージュ写真又はアルバムを作製する場合には、割り当てる写真画像データの数として好適な値が存在するが、その値を規定数とした場合、所定の条件を満たすと判断された写真画像データのみが画像データ選択部１８により選択されるような構成では、選択された写真画像データの数が上記規定数よりも多くなったり、上記規定数未満となったりする場合がある。このような場合に、画像データ数調整部１９により写真画像データの選択数を調整することによって、コラージュ写真又はアルバムを好適に作製することができる。
【００５２】
本実施形態では、画像データ数調整部１９は、各写真画像データのＥｘｉｆデータに含まれる時間情報としての撮影日時に基づいて、写真画像データの選択数を調整するようになっており、写真画像データの選択を解除する選択解除部１９１と、写真画像データを追加選択する追加選択部１９２とを備えている。なお、本実施形態では、上記規定数が最小画像数以上かつ最大画像数未満の範囲に設定された場合について説明するが、このような構成に限らず、上記規定数が１つの定数に設定されたような構成であってもよい。
【００５３】
選択解除部１９１は、画像データ選択部１８により選択されて代表画像データ記憶部２４に記憶された写真画像データの数が最大画像数よりも多い場合に、その選択数と最大画像数との差分に応じた数の写真画像データを代表画像データ記憶部２４から削除することにより、その写真画像データの選択を解除し、写真画像データの選択数を上記規定数の範囲内に調整する選択解除手段である。より具体的には、画像データ選択部１８により選択された各写真画像データに対応付けられている撮影日時に基づいて、これらの写真画像データの中から、時系列に従って、所定数ごとに写真画像データの選択を解除する処理が行われる。すなわち、画像データ選択部１８により選択された各写真画像データを時系列で並べたときに、上記所定数ごとに等間隔で写真画像データの選択が解除されるようになっている。
【００５４】
上記所定数（選択解除間隔）は、画像データ選択部１８により選択された写真画像データの数を、当該選択数と最大画像数との差分に応じた数（超過数）で除算した値に基づいて算出される。例えば、上記超過数は、下記数式（１）により算出することができ、上記選択解除間隔は、下記数式（２）により算出することができる。選択解除間隔として算出された値は、整数とはならない場合があるが、その場合には小数点以下を四捨五入した値を上記選択解除間隔として、当該選択解除間隔ごとに写真画像データの選択が解除される。
（超過数）＝（選択数）−（最大画像数） ・・・（１）
（選択解除間隔）＝｛（選択数）／（超過数）｝＋０．５ ・・・（２）
【００５５】
本実施形態では、上記の通り、選択解除部１９１が、画像データ選択部１８により選択された写真画像データの中から、時系列に従って、所定数ごとに写真画像データの選択を解除するような構成について説明したが、このような構成に限らず、選択解除部１９１が他の態様で写真画像データの選択を解除するような構成であってもよい。例えば、選択解除部１９１が、画像データ選択部１８により選択された写真画像データの中から、時系列に従って、所定の時間間隔ごとに写真画像データの選択を解除するような構成であってもよい。すなわち、画像データ選択部１８により選択された各写真画像データを時系列で並べたときに、上記所定の時間間隔ごとに、対応付けられている撮影日時が最も近い写真画像データの選択が解除されるような構成であってもよい。
【００５６】
追加選択部１９２は、画像データ選択部１８により選択されて代表画像データ記憶部２４に記憶された写真画像データの数が最小画像数未満である場合に、その選択数と最小画像数との差分に応じた数の写真画像データを追加選択して代表画像データ記憶部２４に記憶することにより、写真画像データの選択数を上記規定数の範囲内に調整する追加選択手段である。より具体的には、上記所定の条件を満たさない各写真画像データ、すなわち抽出画像データ記憶部２３に記憶されている写真画像データのうち画像データ選択部１８により選択されなかった各写真画像データに対応付けられている撮影日時に基づいて、これらの写真画像データの中から、時系列に従って、所定数ごとに写真画像データを追加選択する処理が行われる。すなわち、抽出画像データ記憶部２３に記憶されている写真画像データのうち画像データ選択部１８により選択されなかった各写真画像データを時系列で並べたときに、上記所定数ごとに等間隔で写真画像データが追加選択されるようになっている。
【００５７】
上記所定数（追加選択間隔）は、抽出画像データ記憶部２３に記憶されている写真画像データのうち画像データ選択部１８により選択されなかった写真画像データの数（未選択数）を、上記選択数と最小画像数との差分に応じた数（不足数）で除算した値に基づいて算出される。例えば、上記不足数は、下記数式（３）により算出することができ、上記追加選択間隔は、下記数式（４）により算出することができる。追加選択間隔として算出された値は、整数とはならない場合があるが、その場合には小数点以下を四捨五入した値を上記追加選択間隔として、当該追加選択間隔ごとに写真画像データが追加選択される。
（不足数）＝（最小画像数）−（選択数） ・・・（３）
（追加選択間隔）＝｛（未選択数）／（不足数）｝＋０．５ ・・・（４）
【００５８】
本実施形態では、上記の通り、追加選択部１９２が、上記所定の条件を満たさない各写真画像データの中から、時系列に従って、所定数ごとに写真画像データを追加選択するような構成について説明したが、このような構成に限らず、追加選択部１９２が他の態様で写真画像データを追加選択するような構成であってもよい。例えば、追加選択部１９２が、上記所定の条件を満たさない各写真画像データの中から、時系列に従って、所定の時間間隔ごとに写真画像データを追加選択するような構成であってもよい。すなわち、上記所定の条件を満たさない各写真画像データを時系列で並べたときに、上記所定の時間間隔ごとに、対応付けられている撮影日時が最も近い写真画像データを追加選択するような構成であってもよい。
【００５９】
画像データ数調整部１９により選択数が調整され、代表画像データとして代表画像データ記憶部２４に記憶されている複数の写真画像データは、画像データ配置部２０により読み出される。そして、コラージュ処理部１５の画像データ配置部２０により１枚の用紙に割り当てられ、又は、アルバム処理部１６の画像データ配置部２０によりアルバムの各ページに割り当てられる。コラージュ処理部１５の画像データ配置部２０により割り当てられた写真画像データを画像形成部３７でプリントすれば、コラージュ写真を作製することができる。一方、アルバム処理部１６の画像データ配置部２０により割り当てられた写真画像データを画像形成部３７でプリントし、それらの複数枚の写真プリントをファイリング又は製本すれば、アルバムを作製することができる。
【００６０】
上記画像データ配置部２０による写真画像データの割り当て態様としては、種々の態様を採用することができるが、例えば時系列に従って割り当てるような構成であってもよい。また、画像判定部１７によるベストショット判定時に、各写真画像データに対応付けられたサムネイル画像データから抽出される要素に基づいて、各写真画像データにポイントを付与し、そのポイントに応じた順序で割り当てるような構成であってもよい。この場合、例えばポイントが高い順又は低い順に各写真画像データを割り当てるような構成であってもよいし、ポイントが高い順又は低い順に一旦配列した各写真画像データをシャッフルして割り当てるような構成であってもよい。
【００６１】
図４は、画像データ抽出部１４により写真画像データを抽出する際の処理の一例を示したフローチャートである。画像データ抽出部１４による写真画像データの抽出は、グループ分類部１１により予め分類されたグループごとに行われる。まず、各グループに分類されている写真画像データの中に、画像編集判定部１３により編集されていると判定された写真画像データが含まれている場合には（ステップＳ１０１でＹｅｓ）、その写真画像データが当該グループから抽出され、抽出画像データ記憶部２３に記憶される（ステップＳ１０２）。
【００６２】
また、画像編集判定部１３により編集されていると判定されなかった写真画像データについても、撮影間隔が１分以内である場合には（ステップＳ１０４でＹｅｓ）、以下の処理に従って一部の写真画像データのみが抽出される。すなわち、各写真画像データを撮影日時に基づいて時系列で並べたときに、隣接する写真画像データ同士の撮影日時の間隔（上記撮影間隔）が１分以内である写真画像データが連続して２つ以上ある場合には、それらの連続する写真画像データの一部のみが抽出されるようになっている。ただし、上記撮影間隔の閾値は、「１分」に限られるものではなく、他の値であってもよい。
【００６３】
撮影間隔が１分以内である写真画像データが連続して３つ以上ある場合には（ステップＳ１０４でＹｅｓ）、それらの隣接する写真画像データ同士の撮影間隔が一定であるか否かが判定される（ステップＳ１０５）。その結果、隣接する写真画像データ同士の撮影間隔が一定であれば（ステップＳ１０５でＹｅｓ）、カメラの機能により一定間隔で撮影することにより得られた連続写真の写真画像データと判定される（ステップＳ１０６）。このようにして連続写真の写真画像データと判定された連続する複数の写真画像データについては、上述のベストショット判定により最も好適と判定された写真画像データのみが抽出され、抽出画像データ記憶部２３に記憶される（ステップＳ１０７）。
【００６４】
撮影間隔が１分以内である写真画像データが連続して２つだけである場合（ステップＳ１０４でＮｏ）、又は、撮影間隔が１分以内である写真画像データが連続して３つ以上あるが（ステップＳ１０４でＹｅｓ）、それらの隣接する写真画像データ同士の撮影間隔が一定でない場合には（ステップＳ１０５でＮｏ）、撮影者が手動で撮り直すことにより得られた写真画像データと判定される（ステップＳ１０８）。このようにして撮り直しの写真画像データと判定された連続する複数の写真画像データについては、撮影日時が最も遅い写真画像データのみが抽出され、抽出画像データ記憶部２３に記憶される（ステップＳ１０９）。
【００６５】
本実施形態では、複数の写真画像データの中から、一部の写真画像データのみを自動的に抽出する際に、編集されていると判定された写真画像データは必ず抽出される。編集後の写真画像データは、顧客にとって好ましい写真画像データであると推定できるので、編集されている写真画像データを必ず抽出するといった簡単な処理により、好適に写真画像データを抽出することができる。
【００６６】
特に、本実施形態では、各写真画像データに対応付けられたＥｘｉｆデータに基づいて、写真画像データが編集されているか否かを容易に判定することができるので、より簡単な処理で好適に写真画像データを抽出することができる。
【００６７】
また、本実施形態では、所定時間内に撮影された複数の写真画像データからなるグループ（この例では、撮り直しグループ）の中から、各写真画像データに対応付けられた時間情報（撮影日時）に基づいて、一部の写真画像データのみを自動的に抽出することができる。このように、各写真画像データに対応付けられた時間情報に基づいて写真画像データを抽出することにより、各写真画像データに対して複雑な判定処理等を行うような構成と比較して、より簡単な処理で好適に写真画像データを抽出することができる。
【００６８】
特に、本実施形態では、撮り直しにより撮影された写真画像データからなる撮り直しグループに対して、対応付けられた時間情報が最も遅い写真画像データを抽出するという簡単な処理で、好適に写真画像データを抽出することができる。撮り直しを行った場合には、その撮り直しの時間内に撮影された複数の写真画像データのうち、最後に撮影された写真画像データが撮影者にとって最も好ましい写真画像データであると推定できる。このような場合には、最後に撮影された写真画像データ、すなわち対応付けられた時間情報が最も遅い写真画像データを抽出することによって、より簡単な処理で好適に写真画像データを抽出することができる。
【００６９】
ただし、本実施形態のように、撮り直しにより撮影された写真画像データからなる撮り直しグループに対してのみ、対応付けられた時間情報が最も遅い写真画像データを抽出するような構成に限らず、例えば連続写真により得られた写真画像データからなる連続写真グループに対して、同様に、対応付けられた時間情報が最も遅い写真画像データを抽出するような構成を採用してもよい。また、撮り直しにより撮影された写真画像データからなる撮り直しグループについて、ベストショット判定により最も好適と判定された写真画像データを抽出するような構成を採用してもよい。
【００７０】
なお、ベストショット判定を用いて写真画像データを抽出する際には、当該ベストショット判定により最も好適と判定された写真画像データのみが抽出されるような構成に限らず、例えば好適と判定された写真画像データの上位所定数が抽出されるような構成であってもよい。また、ベストショット判定に限らず、他の手法を用いて、各グループにおける時間情報が最も遅い写真画像データ以外の写真画像データを抽出するような構成であってもよい。また、画像データ抽出部１４により写真画像データを抽出する際の態様としては、上記のような構成に限らず、例えば撮影された人物の顔の露出に関する要素に基づいて、その露出度が所定の閾値以下である写真画像データは抽出しないような構成であってもよい。
【００７１】
図５は、画像判定部１７によりベストショット判定を行う際の処理の一例を示したフローチャートである。本実施形態におけるベストショット判定は、上述の通り、サムネイル画像データから抽出される要素に基づいて行われる。
【００７２】
より具体的には、サムネイル画像データから抽出される撮影された人物の数に関する要素に基づいて、撮影された人物が４人以上であるか否かが判定されるとともに（ステップＳ２０１）、サムネイル画像データから抽出される撮影された人物の顔の大きさに関する要素に基づいて、写真画像データ全体における撮影された人物の顔画像の割合が４割以上であるか否かが判定される（ステップＳ２０２）。画像データの中から人物の顔画像を検出するためのアルゴリズムは周知であるため、詳細な説明は省略することとする。
【００７３】
上記撮影された人物の数に関する要素に基づく判定は、例えば写真画像データに含まれる顔画像の数を計数することにより行われる。なお、顔画像の大きさが所定サイズ以下である場合には人数として計数しないような構成を採用してもよい。
【００７４】
上記撮影された人物の顔の大きさに関する要素に基づく判定は、例えば写真画像データ全体に対する顔画像が占める割合を数値化することにより行われる。写真画像データ中に複数の人物の顔画像が含まれている場合には、それらの顔画像のうち最も大きい顔画像に基づいて、写真画像データ全体に対する当該顔画像が占める割合を数値化することにより判定が行われるようになっていてもよい。
【００７５】
撮影された人物が４人以上である場合（ステップＳ２０１でＹｅｓ）、又は、写真画像データ全体における撮影された人物の顔画像の割合が４割以上である場合には（ステップＳ２０２でＹｅｓ）、その写真画像データが代表画像データとして選択され、代表画像データ記憶部２４に記憶される。一方、撮影された人物が４人未満である場合（ステップＳ２０１でＮｏ）、又は、写真画像データ全体における撮影された人物の顔画像の割合が４割未満である場合には（ステップＳ２０２でＮｏ）、その写真画像データは代表画像データとして選択されない。
【００７６】
上記のような処理が、抽出画像データ記憶部２３に記憶されている全ての写真画像データについてグループごとに行われることにより（ステップＳ２０４でＹｅｓ）、各グループの代表画像データが選択される。このように、複数のグループから抽出された複数の写真画像データの中から、所定の写真画像データを選択することにより、バラエティに富んだアルバムやコラージュ写真などを作製することができる。特に、複数のグループから抽出された複数の写真画像データについてのみ判定を行うことにより、各グループの全ての写真画像データに対して判定を行う場合と比較して、処理速度を向上することができる。
【００７７】
本実施形態では、複数の写真画像データの中から所定の写真画像データを選択する際、各写真画像データから抽出される要素ではなく、各写真画像データに対応付けられたサムネイル画像データから抽出される要素に基づいて、写真画像データが自動的に選択される。このように、写真画像データと比べて解像度が低いサムネイル画像データに基づいて上記所定の写真画像データを選択することにより、処理速度を向上することができる。
【００７８】
特に、本実施形態では、各写真画像データに対応付けられたサムネイル画像データから抽出される要素に基づいて判定（ベストショット判定）が行われ、その判定結果に基づいて上記所定の写真画像データが選択される。したがって、複雑な判定処理を行う場合であっても、解像度が比較的低いサムネイル画像データに基づいて判定を行うことにより、処理速度を効果的に向上することができる。
【００７９】
また、本実施形態では、サムネイル画像データに含まれる人物画像から抽出される要素に基づいて写真画像データを選択することにより、撮影された人物画像に着目して写真画像データを選択することができる。特に、撮影された人物の顔の大きさに関する要素、又は、撮影された人物の数に関する要素に基づいて写真画像データを選択することにより、撮影された人物画像に着目して好適に写真画像データを選択することができる。
【００８０】
コラージュ写真の場合には、１枚の用紙に多数の写真画像データがプリントされるため、数枚の見栄えする写真画像データ以外は細部まで重要視されないという傾向がある。したがって、サムネイル画像データから抽出される要素に基づいて写真画像データを選択することにより、写真画像データから抽出される要素に基づいて選択する場合よりも選択の精度が低くなったとしても、コラージュ写真の見栄えが悪くなるといった問題が生じにくい。また、サムネイル画像データから抽出される要素に基づいて写真画像データを選択することにより、写真画像データから抽出される要素に基づいて選択する場合よりも選択の精度が低くなったとしても、見栄えする写真画像データは確実に選択することができる。すなわち、本実施形態は、コラージュ写真に特に適した形態であるということができる。
【００８１】
図６は、画像データ数調整部１９により選択される写真画像データの数を調整する際の処理の一例を示したフローチャートである。図５において説明したような態様でベストショット判定が行われることにより、所定の条件を満たす写真画像データが選択された後（ステップＳ３０１）、その選択された写真画像データの数が、最小画像数以上かつ最大画像数未満の範囲にあるか否かが判定される（ステップＳ３０２，Ｓ３０３）。
【００８２】
写真画像データの選択数が最大画像数よりも多い場合には（ステップＳ３０２でＹｅｓ）、その選択数と最大画像数との差分に応じた数の写真画像データの選択を解除する処理が行われる（ステップＳ３０４）。一方、写真画像データの選択数が最小画像数未満である場合には（ステップＳ３０３でＹｅｓ）、その選択数と最小画像数との差分に応じた数の写真画像データを追加選択する処理が行われる（ステップＳ３０５）。
【００８３】
写真画像データの選択を解除し、又は、追加選択することにより選択数を調整する際の処理については、上述した通り、各写真画像データに対応付けられている時間情報に基づいて行われる。しかし、上述の態様により写真画像データの選択数を調整した場合であっても、その調整後の写真画像データの選択数が規定数（最小画像数以上かつ最大画像数未満の範囲）にならない場合がある。この場合には（ステップＳ３０６でＮｏ）、ステップＳ３０２〜Ｓ３０５の処理が再度実行され、写真画像データの選択数が規定数となった時点で処理が終了する（ステップＳ３０６でＹｅｓ）。
【００８４】
本実施形態では、所定の条件を満たす写真画像データを選択したときに、その選択数が規定数でない場合であっても、各写真画像データに対応付けられている時間情報に基づいて、上記規定数の写真画像データが選択されるように調整することができる。このように、各写真画像データに対応付けられた時間情報に基づいて写真画像データの数を調整することにより、各写真画像データに対して複雑な判定処理等を行うような構成と比較して、より簡単な処理で規定数の写真画像データを選択することができる。
【００８５】
特に、本実施形態では、写真画像データの選択数が規定数よりも多い場合には、上記選択数と上記規定数との差分に応じた数の写真画像データの選択を解除し、写真画像データの選択数が規定数未満である場合には、上記選択数と上記規定数との差分に応じた数の写真画像データを追加選択するといった簡単な処理によって、上記規定数の写真画像データを選択するよう調整することができる。
【００８６】
また、本実施形態では、選択された各写真画像データの中から、時系列に従って、所定数ごとに写真画像データの選択を解除することにより、当該選択された写真画像データとして所定時間内に撮影された複数の写真画像データの中から、当該所定時間内においてより満遍なく選択を解除することができるので、より好適に規定数の写真画像データを選択することができる。一方、所定の条件を満たさない各写真画像データの中から、時系列に従って、所定数ごとに写真画像データを追加選択することにより、当該所定の条件を満たさない写真画像データとして所定時間内に撮影された複数の写真画像データの中から、当該所定時間内においてより満遍なく追加選択することができるので、より好適に規定数の写真画像データを選択することができる。
【００８７】
以上の実施形態では、画像処理装置１が画像形成装置３に備えられた構成について説明したが、このような構成に限らず、画像処理装置１が画像形成装置３とは別個に設けられたような構成であってもよい。
【図面の簡単な説明】
【００８８】
【図１】本発明の一実施形態に係る画像形成装置の一構成例を示した概略断面図である。
【図２】本発明の一実施形態に係る画像処理装置の一構成例を示したブロック図である。
【図３】コラージュ処理部及びアルバム処理部の一構成例を示したブロック図である。
【図４】画像データ抽出部により写真画像データを抽出する際の処理の一例を示したフローチャートである。
【図５】画像判定部によりベストショット判定を行う際の処理の一例を示したフローチャートである。
【図６】画像データ数調整部により選択される写真画像データの数を調整する際の処理の一例を示したフローチャートである。
【符号の説明】
【００８９】
１ 画像処理装置
３ 画像形成装置
１１ グループ分類部
１２ グループ判定部
１３ 画像編集判定部
１４ 画像データ抽出部
１５ コラージュ処理部
１６ アルバム処理部
１７ 画像判定部
１８ 画像データ選択部
１９ 画像データ数調整部
２０ 画像データ配置部
２１ 画像データ記憶部
２２ グループデータ記憶部
２３ 抽出画像データ記憶部
２４ 代表画像データ記憶部
３７ 画像形成部
１９１ 選択解除部
１９２ 追加選択部
【特許請求の範囲】
【請求項１】
複数の写真画像データの中から所定の写真画像データを選択するための処理を行う画像処理装置であって、
各写真画像データに対応付けられたサムネイル画像データから抽出される要素に基づいて、上記所定の写真画像データを選択する画像データ選択手段を備えたことを特徴とする画像処理装置。
【請求項２】
上記サムネイル画像データから抽出される要素に基づいて、各写真画像データの判定を行う画像判定手段を備え、
上記画像データ選択手段が、上記画像判定手段による判定結果に基づいて、上記所定の写真画像データを選択することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
上記サムネイル画像データから抽出される要素には、当該サムネイル画像データに含まれる人物画像から抽出される要素が含まれることを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
上記人物画像から抽出される要素には、撮影された人物の顔の大きさに関する要素、及び、撮影された人物の数に関する要素の少なくとも一方の要素が含まれることを特徴とする請求項３に記載の画像処理装置。
【請求項５】
複数の写真画像データの中から所定の写真画像データを選択して写真プリントを生成する画像形成装置であって、
各写真画像データに対応付けられたサムネイル画像データから抽出される要素に基づいて、上記所定の写真画像データを選択する画像データ選択手段と、
上記画像データ選択手段により選択された上記所定の写真画像データに基づいて写真プリントを生成する画像形成手段とを備えたことを特徴とする画像形成装置。
【請求項６】
上記画像形成手段が、上記画像データ選択手段により選択された上記所定の写真画像データを１枚の用紙にプリントすることを特徴とする請求項５に記載の画像形成装置。
【請求項７】
複数の写真画像データの中から所定の写真画像データを選択するための処理を行う画像処理方法であって、
各写真画像データに対応付けられたサムネイル画像データから抽出される要素に基づいて、上記所定の写真画像データを選択する画像データ選択ステップを備えたことを特徴とする画像処理方法。
【請求項８】
複数の写真画像データの中から所定の写真画像データを選択するための処理をコンピュータに行わせる画像処理プログラムであって、
上記コンピュータを、
各写真画像データに対応付けられたサムネイル画像データから抽出される要素に基づいて、上記所定の写真画像データを選択する画像データ選択手段として機能させることを特徴とする画像処理プログラム。
【請求項１】
複数の写真画像データの中から所定の写真画像データを選択するための処理を行う画像処理装置であって、
各写真画像データに対応付けられたサムネイル画像データから抽出される要素に基づいて、上記所定の写真画像データを選択する画像データ選択手段を備えたことを特徴とする画像処理装置。
【請求項２】
上記サムネイル画像データから抽出される要素に基づいて、各写真画像データの判定を行う画像判定手段を備え、
上記画像データ選択手段が、上記画像判定手段による判定結果に基づいて、上記所定の写真画像データを選択することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
上記サムネイル画像データから抽出される要素には、当該サムネイル画像データに含まれる人物画像から抽出される要素が含まれることを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
上記人物画像から抽出される要素には、撮影された人物の顔の大きさに関する要素、及び、撮影された人物の数に関する要素の少なくとも一方の要素が含まれることを特徴とする請求項３に記載の画像処理装置。
【請求項５】
複数の写真画像データの中から所定の写真画像データを選択して写真プリントを生成する画像形成装置であって、
各写真画像データに対応付けられたサムネイル画像データから抽出される要素に基づいて、上記所定の写真画像データを選択する画像データ選択手段と、
上記画像データ選択手段により選択された上記所定の写真画像データに基づいて写真プリントを生成する画像形成手段とを備えたことを特徴とする画像形成装置。
【請求項６】
上記画像形成手段が、上記画像データ選択手段により選択された上記所定の写真画像データを１枚の用紙にプリントすることを特徴とする請求項５に記載の画像形成装置。
【請求項７】
複数の写真画像データの中から所定の写真画像データを選択するための処理を行う画像処理方法であって、
各写真画像データに対応付けられたサムネイル画像データから抽出される要素に基づいて、上記所定の写真画像データを選択する画像データ選択ステップを備えたことを特徴とする画像処理方法。
【請求項８】
複数の写真画像データの中から所定の写真画像データを選択するための処理をコンピュータに行わせる画像処理プログラムであって、
上記コンピュータを、
各写真画像データに対応付けられたサムネイル画像データから抽出される要素に基づいて、上記所定の写真画像データを選択する画像データ選択手段として機能させることを特徴とする画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１０−１３６０９２（Ｐ２０１０−１３６０９２Ａ）
【公開日】平成２２年６月１７日（２０１０．６．１７）
【国際特許分類】
【出願番号】特願２００８−３０９９３５（Ｐ２００８−３０９９３５）
【出願日】平成２０年１２月４日（２００８．１２．４）
【出願人】（０００１３５３１３）ノーリツ鋼機株式会社 (1,824)
【Ｆターム（参考）】
【公開日】平成２２年６月１７日（２０１０．６．１７）
【国際特許分類】
【出願日】平成２０年１２月４日（２００８．１２．４）
【出願人】（０００１３５３１３）ノーリツ鋼機株式会社 (1,824)
【Ｆターム（参考）】
[ Back to top ]