画像表示装置および方法ならびにプログラム、さらに写真プリント注文受付装置
【課題】ユーザが、表示された類似画像群毎に画像間の差異の判断や、保存／削除対象の画像の選択を、より容易かつ効率的に行えるようにする。
【解決手段】評価値取得手段５４が、画像分類手段５３によって分類された類似画像群Ｇnの各画像Ｐn1, Ｐn2...,Ｐniについて、所定の評価尺度によって画像の好ましさを表した評価値ｒniを算出し、ソート手段５５が、類似画像群毎に各画像Ｐn1, Ｐn2...,Ｐniを評価値ｒniの順に並べ替えて表示順Ｓnを生成し、表示制御部５６が、表示順Ｓnにしたがって、類似画像群Ｇn毎に、画像Ｐn1, Ｐn2...,Ｐniを表示部６に表示させる。
【解決手段】評価値取得手段５４が、画像分類手段５３によって分類された類似画像群Ｇnの各画像Ｐn1, Ｐn2...,Ｐniについて、所定の評価尺度によって画像の好ましさを表した評価値ｒniを算出し、ソート手段５５が、類似画像群毎に各画像Ｐn1, Ｐn2...,Ｐniを評価値ｒniの順に並べ替えて表示順Ｓnを生成し、表示制御部５６が、表示順Ｓnにしたがって、類似画像群Ｇn毎に、画像Ｐn1, Ｐn2...,Ｐniを表示部６に表示させる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の画像を表示する画像表示装置および方法、ならびに、この画像表示方法を実現するための制御をコンピュータに実行させるためのプログラム、さらに、この画像表示装置を含む写真プリント注文受付装置に関するものである。
【背景技術】
【０００２】
銀塩カメラと比較すると、デジタルカメラでは、フィルム料金がかからない分、撮影自体のコストが下がり、その結果、より多くの画像を撮影する傾向にある。また、デジタルカメラに着脱される記録メディアの大容量化もその傾向を助長している。その結果、デジタルカメラの記録メディアや、記録メディアから読み出された画像データが保存されるパソコンのハードディスクやＣＤ−Ｒ等の記憶メディアには、非常に多くの画像がストックされ、その中には、必要な画像（写りのよい画像）と不要な画像（失敗写真や重複して撮影された画像等）が混在し、さらにそれらは未整理のままとなっていることが多い。
【０００３】
このような大量の画像を整理するのは大変面倒な作業となる。そこで、このような画像ストックからの必要な画像の検索・抽出や不要な画像の抽出・削除、また、画像ストック中の画像のイベントや日時、場所等の観点に基づく分類・整理をサポートする装置が提案されている。
【０００４】
例えば、所定の削除条件を満たす削除候補の画像のうち、類似と判断された複数の削除候補画像を同時表示し、ユーザの選択に応じて、不要な画像を削除する装置が知られている（例えば、特許文献１）。
【特許文献１】特開２００５−１４１５８４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載されているように、削除候補の類似画像をまとめて同時に表示したとしても、ユーザが表示された画像間の差異を判断し、どれを削除（保存）すべきかを決定するのは容易ではない。
【０００６】
本発明は、上記事情に鑑みてなされたものであり、互いに類似する複数の画像からなる画像群の中から、より効率的に削除または保存対象の画像を選択することを可能にする画像表示装置および方法ならびにプログラム、さらに写真プリント注文受付装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明による画像表示装置は、互いに類似する複数の画像からなる類似画像群の各々の画像について、所定の評価尺度によってそれらの画像の好ましさを表した評価値を算出する評価値算出手段と、類似画像群の各画像を、取得された評価値の順に並べ替えて表示する表示手段とを設けたことを特徴とするものである。
【０００８】
ここで、「所定の評価尺度によって該画像の好ましさを表した評価値」は、主要被写体の状態、構図、画像の品質等を評価尺度として表したものであることが好ましい。主要被写体の状態に関する評価尺度の具体例としては、人物を主要被写体とする場合、人物の表情の豊かさ、綺麗さ、笑顔等の特定の表情かどうか、顔の向き、目の開閉、視線、被写体ぶれの程度（被写体の動きの程度）等が考えられる。構図に関する評価尺度の具体例としては、画像中の主要被写体（人物の顔等）の大きさや位置、水平度、主要被写体に対する遮蔽物の有無等が挙げられる。画像の品質に関する評価尺度の具体例としては、色再現性やホワイトバランス等の色の好ましさ、画像や画像中の主要被写体の明るさ、濃度、コントラスト、シャープネスやボケ等の鮮鋭性、主要被写体に対する合焦度合、ポートレート写真における背景のボケ具合、階調やダイナミックレンジ等の自然さ・質感、ノイズや粒状、むら等の違和感を表すもの、手ぶれ、赤目、欠陥や欠落の程度等が挙げられる。
【０００９】
また、これらのうちの複数の評価尺度による総合的な評価値とすることも好ましい。
【００１０】
また、評価値取得手段による評価値の取得が可能な複数の評価尺度の中からの１つ以上の評価尺度を選択する手段をさらに設けたり、上記の総合的な評価値の場合、各々の評価尺度の総合的な評価値に対する寄与の度合を設定する手段をさらに設けたりしてもよい。
【００１１】
「取得された評価値の順に並べ替えて表示する」とは、具体的には、１画面内に表示される複数の画像の配列順を評価値の順とすることや、複数の画像を時系列的に切り替えて表示するときの表示順を評価値の順とすることが考えられる。
【００１２】
また、上記の画像表示装置に、複数の画像の各々について、画像の特徴の解析を行う画像解析手段と、解析の結果が所定の分類基準を満たす程度に近似する画像を類似画像群として分類する分類手段をさらに設け、評価値取得手段が、分類手段によって分類された類似画像群の各々の画像について評価値を取得するようにしてもよい。
【００１３】
この場合、上記所定の分類基準を設定する手段をさらに設けてもよい。
【００１４】
さらに、上記の画像表示装置に、評価値の順に表示された類似画像群の各画像から、削除および／または保存対象の画像を選択する画像選択手段をさらに設けてもよい。
【００１５】
また、表示手段が、さらに、評価値に基づいて削除候補または保存候補の画像を決定し、決定された削除候補または保存候補の画像を他の画像と識別可能な態様で表示するようにしてもよい。
【００１６】
この場合、保存候補の画像は、評価値が最も高い、すなわち、最も好ましいと評価された画像に決定することが好ましい。一方、削除候補の画像は、評価値が所定の閾値より低い画像すべてとすることが考えられる。なお、類似する画像が存在しない画像の場合には、たとえ評価値が所定の閾値より低くても、削除候補としないことが好ましい。
【００１７】
本発明は、上記の画像表示装置と、画像表示装置によって表示された複数の画像からの写真プリント対象の画像の選択を受け付ける手段と、選択された画像のプリントサイズやプリント枚数等のプリント条件の入力を受け付ける手段と、選択された画像の、入力されたプリント条件による写真プリントの注文の指示を行う手段とを設けた写真プリント注文受付装置として構成することが好ましい。
【００１８】
また、本発明の画像表示方法は、互いに類似する複数の画像からなる類似画像群の各々の画像について、所定の評価尺度によって画像の好ましさを表した評価値を取得し、類似画像群の各画像を、取得された評価値の順に並べ替えて表示することを特徴とするものである。
【００１９】
さらに、本発明の画像表示制御プログラムは、コンピュータを、互いに類似する複数の画像からなる類似画像群の各々の画像について、所定の評価尺度によって画像の好ましさを表した評価値を取得する評価値取得手段と、類似画像群の各画像を、取得された評価値の順に並べ替えて表示させる表示制御手段として機能させることを特徴とするものである。
【発明の効果】
【００２０】
本発明によれば、類似画像群の各々の画像について、画像の好ましさを表した評価値を求め、類似画像群の各画像を評価値の順に並べ替えて表示するので、ユーザが表示された画像間の差異を判断し、どれを削除（保存）すべきかを決定するのが容易になり、削除対象または保存対象の画像の選択がより効率的に行えるようになる。
【００２１】
また、評価尺度を選択したり、複数の評価尺度毎の評価値に対する寄与の度合を設定したりできるようにした場合には、ユーザが所望する評価尺度に基づいて、画像の並替えを行うことが可能になり、ユーザの嗜好により適合した好ましさの順に並べ替えられた画像を見ながら、さらに容易かつ効率的に画像の選択ができるようになる。
【００２２】
また、複数の画像の類似画像群への分類を行うようにし、その際の分類基準を設定することができるようにした場合には、類似画像群の構成をユーザが変更できるようになるので、画像全体の傾向やユーザの嗜好により適合した類似画像群の下で、さらに容易かつ効率的に画像の選択ができるようになる。例えば、複数の画像がほとんど同じ構図でほとんど同じ人物が写されたものである場合には、画像の類似の範囲を狭くすることにより、１つの類似画像群に属する画像数を減らし、類似画像群の数を増やすことができる。このように、母集団となる複数の画像全体の類似性に応じて分類基準を設定することにより、画像間の類似の範囲を適切な範囲に収めることが可能になる。
【００２３】
また、この評価値に基づいて削除候補や保存候補の画像を決定し、他の画像と識別可能な態様で表示するようにした場合には、よりユーザにとって使いやすい表示インターフェースが実現される。
【００２４】
この場合、類似する画像が存在しない画像は、削除候補としないようにすることによって、代替する画像が存在しない画像を誤って削除してしまうことが避けられる。
【発明を実施するための最良の形態】
【００２５】
以下、図面を参照して本発明の実施形態について説明する。図１は本発明の第１の実施形態による画像表示装置を適用した写真プリントの注文受付装置の外観斜視図である。図１に示すように、第１の実施形態による注文受付装置１は、ユーザによる画像のプリント注文を受け付けるために写真店の店頭に設置されてなるものであり、プリント注文するための画像が記録された各種メモリカード２を装填し、メモリカード２から画像を読み出したり、メモリカード２に画像を記録したりするための複数種類のカードスロット４と、プリント注文のための各種表示を行う表示部６とを備え、写真店に設置されたプリンタ８および画像に対する画像処理やプリント注文の管理を行うためのデジタルイメージコントローラ（ＤＩＣ）１０とネットワーク経由で接続されている。なお、表示部６はタッチパネル式の入力部を備え、ユーザは表示部６の表示にしたがって表示部６にタッチすることにより、プリント注文や画像整理に必要な入力を行うことができる。
【００２６】
図２は本発明の第１の実施形態による注文受付装置１の構成を示す概略ブロック図である。図２に示すように、注文受付装置１は、画像を表す画像データの記録制御および表示制御等の各種制御を行うとともに、装置１を構成する各部の制御を行うＣＰＵ１２と、装置１を動作させるための基本的なプログラムおよび各種定数が記録されているＲＯＭ並びにＣＰＵ１２が処理を実行する際の作業領域となるＲＡＭにより構成されるシステムメモリ１４と、種々の指示を装置１に対して行うためのタッチパネル式の入力部１６と、上述した表示部６とを備える。
【００２７】
また、注文受付装置１は、上述したカードスロット４と、メモリカード２から読み出した画像、ＣＰＵ１２が実行する、画像のプリント注文や整理を行うための各種プログラムや参照データ等を記録するハードディスク２４と、システムメモリ１４、カードスロット４およびハードディスク２４を制御するメモリ制御部１６と、表示部６の表示を制御する表示制御部２６と、入力部１８による入力を制御する入力制御部２２と、装置１をプリンタ８およびＤＩＣ１０とネットワークを介して通信するためのネットワークインターフェース３０とを備える。
【００２８】
なお、カードスロット４はメモリカード２の種類に応じて複数用意されているが、図２においては１つのカードスロット４のみを示している。
【００２９】
注文受付装置１で行われる後述の処理は、ハードディスク２４に記憶されている各種プログラムが実行されることによって実現される。なお、ハードディスク２４への各種プログラムの記憶は、この各種プログラムが記録されたＣＤ−ＲＯＭ等のコンピュータが読取可能な記録媒体からインストールすることによってなされる。また、各種プログラムは、注文受付装置１で行われる処理全体を制御するメインプログラムと、メインプログラムから必要に応じて呼び出される、注文処理や画像整理処理を行うサブプログラム等とからなる。
【００３０】
このような注文受付装置１におけるプリント注文は以下のようにして行われる。図３は注文受付装置１の表示部６に表示される初期画面を示す図である。この画面はメインプログラムの制御によって表示される。図３に示すように初期画面４０には、プリント注文を行うためのプリント注文ボタン４０Ａ、および後述するように複数の画像の分類、不要画像の削除、必要画像の保存等の整理を行うための画像整理ボタン４０Ｂが表示されている。ここで、ユーザがプリント注文ボタン４０Ａを選択した場合、ＣＰＵ１２では、メインプログラムからプリント注文処理サブプログラムが呼び出され、このサブプログラムによる処理が実行される。ユーザが画面に表示される指示にしたがって複数の画像を記録したメモリカード２をカードスロット４に装填すると、装置１では、メモリカード２から複数の画像を読み出して一時的にハードディスク２４に保存し、さらに、複数の画像の一覧を表示部６に表示する
ユーザは表示部６に表示された画像の一覧からのプリント注文を行う画像の選択、注文枚数および注文サイズの設定をタッチパネル方式の入力部１６を用いて行う。そして、ユーザがプリント実行の指示を入力部１６を用いて行うと、ユーザが選択した画像、並びに注文枚数および注文サイズを表す注文情報がＤＩＣ１０に送信され、ここで画質を向上させるために必要な画像処理が画像に対して施され、注文情報に応じた注文枚数および注文サイズによりプリント注文した画像がプリンタ８からプリント出力される。
【００３１】
次いで、本発明の第１の実施形態における画像整理の処理について説明する。この処理は、ユーザが図３の初期画面で画像整理ボタン４０Ｂを選択することにより、メインプログラムから画像整理サブプログラムが呼び出され、実行されることによって実現される。
【００３２】
図４は、画像整理サブプログラムの実行によって実現される画像表示処理の流れを模式的に表したブロック図である。図に示したように、ユーザのメモリカード２からの複数の画像Ｐm（m=1,2,...)の入力を受け付ける画像入力受付手段５１と、入力された画像Ｐmの各々に対して画像解析処理を行い、特徴量ｑmを算出する特徴量取得手段５２（画像解析手段に対応）と、特徴量ｑmと分類条件Ｃ1とに基づいて画像Ｐmを複数の類似画像群Ｇn（n=1,2,...、この画像群に属する画像をＰn1, Ｐn2...,Ｐniとする）に分類する画像分類手段５３と、類似画像群Ｇnの各画像Ｐn1, Ｐn2...,Ｐniについて、評価条件Ｃ2に基づいて評価値ｒniを算出する評価値取得手段５４と、類似画像群Ｇnの各画像Ｐn1, Ｐn2...,Ｐniを評価値ｒniの順に並べ替えて表示順Ｓnを生成するソート手段５５と、表示順Ｓnにしたがって類似画像群Ｇnの各画像Ｐn1, Ｐn2...,Ｐniを表示部６に表示させる表示制御手段５６、とによって、この画像表示処理が実現される。なお、ソート手段５５と表示制御手段５６、および表示制御部２６、表示部６の組合せが表示手段に対応する。
【００３３】
まず、ユーザが複数の画像を記録したメモリカード２をカードスロット４に装填すると、画像入力受付手段５１が、メモリカード２から複数の画像Ｐm（m=1,2,...)を読み出して一時的にハードディスク２４に保存する。
【００３４】
特徴量取得手段５２は、ハードディスク２４から画像Ｐm（m=1,2,...)を順次読み込み、画像毎に、エッジ検出処理によるエッジ特徴量や、色信号のヒストグラム処理による色特徴量、その他、形状やテクスチャを示す特徴量、サイズ等を示す特徴量等の複数の特徴量を求める。なお、図４では、これらの複数の特徴量をまとめてｑmとしている。
【００３５】
画像分類手段５３は、特徴量取得手段５２で算出された複数の特徴量の各々について画像間で比較し、画像間での特徴量の差が所定の閾値（分類条件Ｃ1）よりも大きければそれらの画像は類似していると判定し、同一の類似画像群に分類する。このとき、撮影日時を考慮し、各画像データのＥｘｉｆタグ領域に記録されている撮影日時が近い画像（例えば１分以内）の間でのみ類似性を判定するようにしてもよい。さらに、画像中の主要被写体を検出して特徴量とする場合、主要被写体の大きさや構図の相違があれば、一方の画像に合うように変換した後で類似性を判定することが考えられるが、このような相違がある場合には類似性を低く判断することが好ましい。
【００３６】
なお、画像毎に求められた複数の特徴量を１つの特徴ベクトルｑm（m=1,2,...)として捉え、各画像Ｐmに対応する特徴ベクトルｑmを用いた公知のクラスタリング処理（例えば、特開2004-258750号公報参照）により、画像Ｐmを複数の類似画像群Ｇnに分類するようにしてもよい。この場合、分類条件Ｃ1とは、クラスターの個数や、クラスター中心とクラスターに属する特徴ベクトル間の許容可能な最大距離等を予め定義したものとなる。
【００３７】
評価値取得手段５４は、類似画像群Ｇnの各画像Ｐn1, Ｐn2...,Ｐniについて、主要被写体の状態、構図、画像の品質等を評価尺度とした個別評価値ｆj(j=1,2,...）を求める。以下に各種個別評価値の算出例を示す。
【００３８】
例えば、特定の人物の表情の豊かさを表す個別評価値ｆ1は以下のようにして求める。すなわち、 あらかじめ特定の人物の平均的な顔（無表情の顔）を表す画像を登録しておき（参照データとしてハードディスク２４に格納しておき）、入力画像Ｐniから顔領域を抽出し、登録されている顔画像と顔の大きさを合わせた後、登録されている顔画像との照合を行い、同一人物の顔であると判断された場合には、両画像中の顔パーツの形状とのマッチングを行うことによって、表情の豊かさを表す個別評価値ｆ1を算出する。例えば、目の場合、次式（１）によって求めることができる。
【００３９】
ｆ1＝1−（(両画像の目の領域が重なりの面積)／(登録された目の面積)） （１）
図５は、これを模式的に表したものである。図で、Ｅ0(R)は登録されている顔画像中の右目領域、Ｅ0(L)は登録されている顔画像中の左目領域、Ｅ1(R)は入力画像Ｐniの右目領域、Ｅ1(L)は入力画像Ｐniの左目領域を表す。したがって、上式（１）は、目領域の面積について、入力画像と登録画像の差が大きいほどｆ1の値は大きくなり、表情が豊かであることを意味する。
【００４０】
なお、照合処理では、変化の少ない部位（耳、額、鼻など）を用い、表情の豊かさを表す個別評価値の算出には、 変化の大きい部位（目、口まわり）を用いることが好ましい。
【００４１】
また、画像中の人物の全体的な表情の豊かさを表す個別評価値ｆ2は以下のようにして求める。すなわち、まず、画像中の人物全員の目、口の形状を検出し、予め登録しておいた常態における目や口の形状に対する変化の平均値が大きいほど大きな値（より全体として表情が豊か）となるように個別評価値ｆ2を定義することができる
また、人物の綺麗さを表す個別評価値ｆ3は、複数の人物の平均顔（男女別が好ましい）との差が小さい方がより大きな値（より綺麗）となるように定義することができる。
【００４２】
また、被写体ぶれが起きている確率を表す個別評価値ｆ4は、連続写真のコマ間における主要被写体の変化（移動距離）が大きいものほど被写体ぶれが起きる確率が高いことを前提として、以下のように定義することができる。すなわち、複数コマ間で移動する同一の被写体を検出し、各コマでのその被写体の位置に基づいて各コマ間での被写体の移動距離を算出し、この距離が大きいほど小さな値（被写体ぶれが起きている確率が高いので画像としては好ましくない）となるように個別評価値ｆ4を定義する。なお、同一の主要被写体の検出方法としては、例えば、人物の顔の場合、連続写真のコマの各々で人物の顔を検出し、同一人物の顔かどうかを判定する方法や、連続写真の複数のコマのうち１以上のコマから人物の顔を検出し、他のコマについて、先に検出した顔が存在するかどうかを判定する方法が考えられる。また、上記のようなオブジェクト検出による方法ではなく、複数のコマ間での画像信号の全体的または局所的な差分を求め、その差分値が大きいほどコマ間での被写体の移動距離が大きいと判定し、個別評価値ｆ4はより小さな値とすることが考えられる。さらに、連続写真のコマ間の時間間隔が一定でない場合には、信号値の時間変化率（傾き）が大きいほどコマ間での被写体の移動距離が大きいと判定し、個別評価値ｆ4はより小さな値としてもよい。
【００４３】
また、人物画像の場合の画像中の顔の大きさを表す個別評価値ｆ5の場合、画像全体に対する顔の大きさは大きすぎても小さすぎても画像としては好ましくないので、顔の大きさが所定の適正な大きさとの差分が大きいほど個別評価値ｆ5の値が小さくなるように定義したり、顔の面積の画像全体の面積に対する割合と適正な割合との差が大きいほど個別評価値ｆ5の値が小さくなるように定義したりすることが考えられる。
【００４４】
また、画像の水平度を表す個別評価値ｆ6の場合、画像中の水平線を公知の学習手法によって生成された識別器を用いて検出し、検出された水平線と画像の下端とがなす角度が大きいほど個別評価値ｆ6の値が小さくなるように定義することが考えられる。
【００４５】
また、主要被写体の明るさを表す個別評価値ｆ7の場合、画像中の主要被写体領域を検出し、主要被写体領域とそれ以外の背景領域における輝度のヒストグラムを各々生成し、そのプロフィールと、予め登録しておいた適正な明るさの場合のプロフィールとの比較を行い、その差が大きいほど、個別評価値ｆ7の値が小さくなるように定義することが考えられる。
【００４６】
また、シャープネス・ピンボケを表す個別評価値ｆ8の場合、画像中の主要被写体を検出し、検出された領域における高周波成分の積分値が小さいほどピンボケの度合が高いと判断し、個別評価値ｆ8の値が小さくなるように定義することが考えられる。なお、個別評価値ｆ8は、画像から検出されるエッジ幅の平均値が大きいほど個別評価値ｆ8の値が小さくなるように定義してもよいし、画像から複数の方向のエッジを検出し、エッジ方向毎の平均エッジ幅に基づいて、学習用の通常画像とボケ画像の最もぼけている方向のエッジ幅分布のヒストグラムにおける頻度の比率をスコアとしてエッジ幅毎に定義した参照データを参照することによって得られるエッジ方向毎のスコアの平均値が大きいほど個別評価値ｆ8の値が小さくなるように定義してもよい（特開2005-122721号公報参照）。
【００４７】
さらに、上記の個別評価値ｆ8の算出手法を応用することによって、背景のボケ具合を表す個別評価値ｆ9を定義することが可能である。具体的には、画像から主要被写体領域を除いた背景領域について上記の積分値やエッジ幅の平均値、スコアを算出し、これらの値が大きいほど背景がうまくボケていると判定し、個別評価値ｆ9の値が大きくなるように定義することが考えられる。
【００４８】
また、手ぶれの度合を表す個別評価値ｆ10の場合、例えば、複数の方向のエッジを検出し、エッジ方向毎に求められたエッジ幅のヒストグラムを作成し、直交する２方向におけるエッジ幅のヒストグラムの相関値を各方向組について求め、各方向における平均エッジ幅と各方向組におけるエッジ幅のヒストグラムの相関値とに基づき、相関値が所定の閾値より小さい方向組における、平均エッジ幅がより大きい方向をぶれ方向を決定し、決定されたぶれ方向に垂直なエッジの幅をぶれの幅とし（特開2005-122721号公報参照）、得られたぶれの幅が大きいほど個別評価値ｆ10の値が小さくなるように定義することが考えられる。
【００４９】
もしくは、図６に示すような、シャッタースピードが遅いほど手ぶれが起こりやすいという関係を利用して、画像データのＥｘｉｆタグ領域に記録されているシャッタースピードの値が大きいほど個別評価値ｆ10の値が小さくなるように定義してもよい。
【００５０】
また、ノイズの程度を表す個別評価値ｆ11は、RMS（分散）やウイナースペクトルに基づいて、ノイズが多いほど個別評価値ｆ11の値が小さくなるように定義することができる。
【００５１】
また、むらの程度を表す個別評価値ｆ12は、２次元高速フーリエ変換等の周波数分析によって得られる周期性を表す出力値に基づいて、周期的むらを表す成分が多いほど個別評価値ｆ12の値が小さくなるように定義することができる。
【００５２】
上記以外にも、笑顔等の特定の表情かどうか、顔の向き、目の開閉、視線、主要被写体の位置、主要被写体に対する遮蔽物の有無、色再現性やホワイトバランス等の色の好ましさ、画像の明るさ、濃度、コントラスト、階調やダイナミックレンジ等の自然さ・質感等の違和感、赤目、欠陥、欠落の程度等が評価尺度として考えられるが、これらについても、例えば、公知の顔や目等のオブジェクト検出手法によって検出されたオブジェクトの状態を表す出力値を取得したり、公知の画質改善処理や画像評価の手法によって得られる画質を表す出力値を取得したりし、取得された出力値と、各々の評価尺度において好ましいとされる基準値との差が小さいものほど個別評価値ｆjの値が大きくなるように定義することができる。
【００５３】
評価値取得手段５４は、以上のようにして求めた個別評価値ｆjに基づいて、画像の好ましさを表す総合評価値ｒniを、次式（２）によって類似画像群Ｇnの画像毎に算出する。
【００５４】
ｒni＝α1・ｆ1＋α2・ｆ2＋・・・＋αj・ｆj＋・・・＋αJ・ｆJ （２）
ここで、α1, α2,・・・αj,・・・αJは、予め定義された各個別評価値に対する重みづけ係数であり、図４の評価条件Ｃ2に相当する。なお、総合評価値ｒniの取得方法は、上式（２）のような各個別評価値の重みづけ総和に限定されず、各個別評価値の和や積その他の関数によって算出してもよいし、各個別評価値の値と総合評価値ｒniの値を対応づけた参照テーブルを予めインストールしておき、各画像について求めた各個別評価値に基づくテーブル参照によって求めてもよい。また、１つの個別評価値のみを総合評価値ｒniとしてもよい。
【００５５】
ソート手段５５は、評価値取得手段５４によって算出された、各類似画像群Ｇnの画像Ｐn1, Ｐn2...,Ｐni毎の総合評価値ｒn1, ｒn2,..., ｒniを降順に並べ替えることによって、類似画像群Ｇn毎の画像Ｐn1, Ｐn2...,Ｐniの表示順Ｓnを生成する。なお、並替えの順序は昇順としてもよい。
【００５６】
表示制御手段５６は、類似画像群Ｇn毎の表示順Ｓnにしたがって各類似画像群Ｇnの各画像Ｐn1, Ｐn2...,Ｐniの表示レイアウトを決定し、表示部６に表示させる。図７は、表示部６に表示される画面の一例であり、領域４２Ａが表示レイアウトを表している。図に示したように、類似画像群Ｇnの各画像Ｐn1, Ｐn2...,Ｐniは縦１列に、表示順Ｓnに基づき、総合評価値の高い順に配列されている。したがって、縦の列毎に上の方の画像ほど被写体である人物の状態や構図、画質が好ましく、下の方の画像ほど、人物の顔がカメラの方を向いていなかったり、人物がかぶっていたり、人物が小さかったり、人物の位置が中央から離れていたり、ピンボケや手ぶれが表れていたりと、人物の状態や構図、画質がより好ましくないものとなっている。なお、各画像Ｐn1, Ｐn2...,Ｐniの表示形式は、図７のような一覧形式の表示に限定されず、例えば、表示順Ｓnに基づいて、各画像を１枚ずつ所定の時間間隔で切り替えて順次表示するようにしてもよい。
【００５７】
以上の画像表示処理によって、ユーザがメモリカード２から入力した複数の画像Ｐm（m=1,2,...)が、類似画像群Ｇn毎に分類されて、総合評価値の高い順に画面表示される。
【００５８】
ユーザは、この画面表示を見ながら、保存したい画像や削除したい画像の選択を行う。具体的には、図７の画面で、ユーザがタッチ操作によって画像を選択すると、選択された画像の枠を太くする強調表示がなされる。このとき、入力部１６がタッチされた位置を検出し、検出された位置の情報が入力制御部２２経由でＣＰＵ１２に送られ、ＣＰＵ１２では、実行中の画像整理プログラムによる制御に基づき、検出された位置に表示されている画像の画像枠を強調表示させる処理が行われる。そして、ユーザが保存ボタン４２Ｃにタッチすると、縦の列毎に、すなわち、類似画像群毎に、選択された画像のみを保存し、選択されなかった画像の画像データファイルを削除する処理が行われる。また、保存ボタン４２Ｃの代わりに削除ボタン４２Ｄにタッチすると、選択された画像の画像データファイルを削除する処理が行われる。なお、画像データファイルの削除は、この時点では、ハードディスク２４に一時的に保存されている画像データファイルに対して行うようにし、後でユーザが整理内容の確定を表すボタン（図示なし）をタッチしたら、その時のハードディスク２４の保存内容をカードスロット４に装填されているメモリカード２に反映するようにすることが好ましい。
【００５９】
以上のように、本発明の第１の実施形態では、評価値取得手段５４が、画像分類手段５３によって分類された類似画像群Ｇnの各画像Ｐn1, Ｐn2...,Ｐniについて総合評価値ｒniを算出し、ソート手段５５が、類似画像群毎に各画像Ｐn1, Ｐn2...,Ｐniを評価値ｒniの順に並べ替えて表示順Ｓnを生成し、表示制御部５６が、表示順Ｓnにしたがって、類似画像群Ｇn毎に、画像Ｐn1, Ｐn2...,Ｐniを表示部６に表示させる。したがって、ユーザが、類似する画像毎に、画像の好ましさの順に並べられた画像を見ながら、どの画像を保存または削除するかを選択することができるので、表示された類似画像群毎に画像間の差異の判断や、上記の画像の選択を、より容易かつ効率的に行えるようになる。
【００６０】
なお、本実施形態の変形例としては、表示制御手段５６が、類似画像群毎に総合評価値ｒniが最大の画像を保存候補画像と判定し、図７の画面表示の際に、保存候補画像を強調表示するようにすることが考えられる。また、類似画像群毎に総合評価値ｒniが所定の閾値以下の画像を削除候補画像と判定し、図７の画面表示の際に、保存候補画像を強調表示するようにするようにしてもよい。さらに、保存候補画像と削除候補画像の両方を判定し、保存候補画像は画像枠を太くして表示し、削除候補画像は画像枠を点滅表示するというように、各々の候補画像を識別可能な態様で表示するようにしてもよい。このように、表示制御手段５６が保存候補や削除候補の画像を決定し、他の画像と識別可能な態様で表示するようにした場合には、よりユーザにとって使いやすい表示インターフェースが実現される。
【００６１】
また、この場合、類似画像群に属する画像が１つしかない場合には、たとえその画像の総合評価値ｒniが所定の閾値以下であったとしても削除候補とはしないようにすることが好ましい。これにより代替する画像が存在しない画像を誤って削除されてしまうことがある程度回避できる。
【００６２】
次に、本発明の第２の実施形態について説明する。第１の実施形態では、分類条件Ｃ1や評価条件Ｃ2は、予め定義されたものを用いるようにしていた。しかしながら、どの程度類似している画像を１つの類似画像群とするかは、画像全体の類似性やユーザの嗜好によって異なる。例えば、ユーザによって入力された画像が、富士山を定点観測したものであったり、同じ人物と同じ場所で撮影したものであったりすると、分類条件Ｃ1の設定によっては、入力されたすべての画像を１つの類似画像群として分類してしまう可能性があり、これでは分類が意味をなさないことになる。また、どの個別評価値に重点を置いて画像の好ましさを評価するかについても、画像全体の傾向やユーザの嗜好によって異なる。したがって、第２の実施形態では、分類条件Ｃ1や評価条件Ｃ2をユーザが設定できるようにしている。
【００６３】
図８は、第２の実施形態における画像表示処理の流れを模式的に表したブロック図である。図に示したように、第１の実施形態（図４）のブロック図に、分類条件Ｃ1を設定する分類条件設定手段５７と、評価条件Ｃ2を設定する評価条件設定手段５８とを付加した構成となっている。なお、注文受付装置１の外観やハードウェア構成は第１の実施形態と同様である。
【００６４】
図９は、分類条件Ｃ1を設定する画面の一例を示したものである。この画面は、例えば、図７の画面において分類条件設定ボタン４２Ｅをタッチすることにより、図７とは別のウィンドウ画面として表示される。画面には、ユーザが理解しやすいように、「グループの数」を多くするのか少なくするのかを調整する旨が表示されている。スライドバー４４Ｃ上のレバー４４Ｄの位置は、現在の分類条件Ｃ1の設定を視覚化したものである。この位置は、分類条件Ｃ1、すなわち、画像間での特徴量の差による類否判断の閾値や、クラスターの個数や、クラスター中心とクラスターに属する特徴ベクトル間の許容可能な最大距離等の設定値に基づいて決定される。
【００６５】
ユーザが「−」ボタン４４Ａにタッチすると、レバー４４Ｄの位置が左方向に所定の距離だけ移動し、「＋」ボタン４４Ｂにタッチすると、レバー４４Ｄの位置が右方向に所定の距離だけ移動する。ユーザは、このレバー４４Ｄが所望の位置になるように、「−」ボタン４４Ａや「＋」ボタン４４Ｂにタッチし、レバー４４Ｄの位置が確定したら、「閉じる」ボタン４４Ｅにタッチする。分類条件設定手段５７は、この時点でのレバー４４Ｄの位置を検出し、検出された位置に基づいて分類条件Ｃ1の値を算出し、算出された値を新たな分類条件Ｃ1としてメモリに格納する。そして、画像分類手段５３は、新たな分類条件Ｃ1に基づいて、第１の実施形態と同様の分類処理を行う。
【００６６】
一方、図１０は、評価条件Ｃ2を設定する画面の一例を示したものである。この画面は、例えば、図７の画面において評価条件設定ボタン４２Ｆをタッチすることにより、図７とは別のウィンドウ画面として表示される。図に示したように、評価条件設定画面４６では、評価値取得手段５４が取得可能な評価尺度の各々について、その尺度の総合評価値に対する寄与の度合をスライドバー４６Ｃ上のレバー４６Ｄの位置によって視覚化している。ここで、評価尺度の総合評価値に対する寄与の度合は、具体的には、前述の式（２）における各評価尺度による個別評価値に対する重みづけ係数の値に対応している。なお、レバー４６Ｄの位置をスライドバー４６Ｃの左端に位置させた場合には、その評価尺度は総合評価値にまったく反映されないことになる。したがって、評価条件に加えたくない評価尺度のレバー４６Ｄの位置をスライドバー４６Ｃの左端に位置させることによって、評価条件として使用する評価尺度を消去法的に選択することができる。
【００６７】
ユーザは、図９と同様に、各評価尺度について、レバー４６Ｄが所望の位置になるように「−」ボタン４６Ａや「＋」ボタン４６Ｂにタッチし、レバー４６Ｄの位置が確定したら、「閉じる」ボタン４６Ｅにタッチする。評価条件設定手段５８は、この時点での各評価尺度におけるレバー４６Ｄの位置を検出し、検出された各々の位置に基づいて、前述の式（２）の重みづけ係数α1, α2,・・・αj,・・・αJの値を決定し、新たな評価条件Ｃ2としてメモリに格納する。そして、評価値取得手段５４は、新たな評価条件Ｃ2に基づいて、第１の実施形態と同様の評価値取得処理を行う。なお、他の手段の処理内容についても第１の実施形態と同様である。
【００６８】
以上のように、本発明の第２の実施形態では、分類条件設定手段５７が、ユーザの操作に応じて、分類条件Ｃ1を設定するようにしたので、類似画像群の構成をユーザが変更できるようになり、画像全体の傾向やユーザの嗜好により適合した類似画像群の下で、さらに容易かつ効率的に画像の選択ができるようになる。また、評価条件設定手段５８が、ユーザの操作に応じて、評価条件Ｃ2を設定するようにしたので、ユーザが所望する評価尺度の重みづけに基づいて、画像の並替えを行うことが可能になり、ユーザの嗜好により適合した好ましさの順に並べ替えられた画像を見ながら、さらに容易かつ効率的に画像の選択ができるようになる。
【００６９】
なお、第２の実施形態の変形例としては、分類条件設定手段５７と評価条件設定手段５８のいずれか一方のみを備えた形態が考えられる。また、評価条件設定画面では、画像の並替えの順序を、総合評価値の昇順とするのか、降順とするのかについても設定できるようにすることが好ましい。
【００７０】
最後に、図１１は、本発明の第３の実施形態において表示される画面の一例を示したものである。この画面は、第１の実施形態の図７と同様に、表示制御手段５６が、画像分類手段５３によって分類された類似画像群Ｇnの各画像を表示順Ｓnにしたがって並べ替え、類似画像群毎に表示させたものであり、この画面を表示するために必要な処理は、第１または第２の実施形態と同様である。この画面では、分類条件設定ボタン４２Ｅや評価条件設定ボタン４２Ｆの代わりに、プリントサイズ設定部４２Ｈや枚数設定部４２Ｊ、注文ボタン４２Ｋ、キャンセルボタン４２Ｌが表示されている点が図７の画面とは異なる。
【００７１】
すなわち、ユーザは、エリア４２Ａに表示されている画像のうち、写真プリントを所望するものにタッチすることによって、プリント注文対象の画像を選択し、プリントサイズ設定部４２Ｈの「▼」ボタンをタッチすることによって表示されるプリントサイズの選択肢から所望のサイズをタッチすることによってプリントサイズを選択し、枚数設定部４２Ｊの「＋」「−」ボタンを所望の回数タッチすることによってプリント枚数を設定し、注文ボタン４２Ｋにタッチすることによって、選択した画像のプリント注文を確定する。なお、画像を選択してキャンセルボタン４２Ｌにタッチすることにより、注文のキャンセルを行うこともできる。なお、プリント注文における後続の処理の詳細は、図３の初期画面４０においてプリント注文ボタン４０Ａにタッチした後、各種操作を行い、プリント実行の指示を入力部１６を用いて行った後の処理と同様である。
【００７２】
以上のように、本発明の第３の実施形態では、第１、第２の実施形態と同様にして、類似画像群毎に画像の好ましさを表す総合評価値の順に配列された画像の一覧を表示させながら、同時に写真プリントの注文を受け付けるので、ユーザは、より好ましい画像のプリント注文をより容易かつ効率的に行うことができる。
【００７３】
なお、上記３つの実施形態では、本発明をラボ等の店頭にある写真プリントの注文受付装置に実装した場合を説明したが、パソコンやデジタルカメラに実装することも可能である。この場合、タッチパネルによる入力インターフェースは、パソコンの場合はマウスやキーボード、デジタルカメラの場合には各種操作ボタンによって代替されうる。また、第３の実施形態のプリント注文は、パソコンの場合は、公知のネットワークフォトサービスシステムを利用したプリント注文処理に、デジタルカメラの場合には、ＤＰＯＦ等に基づいてプリント情報を画像データのタグ領域に書き込む処理に代替されうる。このようにすることにより、パソコンやデジタルカメラでも上記の実施形態と同様の効果が得られる。特に、デジタルカメラでは、ディスプレイのサイズが小さく、画像の好ましさを目視判断することは難しいので、上記実施形態のように、画像の好ましさを自動的に評価して表示することの効果はより顕著となる。
【図面の簡単な説明】
【００７４】
【図１】本発明の実施形態による画像分類装置を適用した注文受付装置の外観斜視図
【図２】本発明の実施形態による注文受付装置の構成を示す概略ブロック図
【図３】初期画面を示す図
【図４】本発明の第１の実施形態のよる画像表示処理の流れを模式的に表したブロック図
【図５】表情の豊かさの判定を目の大きさや形状に基づいて行う場合を説明する図
【図６】シャッタースピードと手ぶれが起きる確率の関係を表した図
【図７】本発明の第１、第２の実施形態において表示される画像一覧画面の一例を示す図
【図８】本発明の第２の実施形態のよる画像表示処理の流れを模式的に表したブロック図
【図９】分類条件設定画面の一例を示す図
【図１０】評価条件設定画面の一例を示す図
【図１１】本発明の第３の実施形態において表示される画像一覧画面の一例を示す図
【符号の説明】
【００７５】
１ 注文受付装置
２ メモリカード
４ カードスロット
６ 表示部
８ プリンタ
１０ ＤＩＣ
１２ ＣＰＵ
１４ システムメモリ
１６ メモリ制御部
１８ 入力部
２２ 入力制御部
２４ ハードディスク
２６ 表示制御部
３０ ネットワークインターフェース
４０ 初期画面
４２ 画像一覧画面
４４ 分類条件設定画面
４６ 評価条件設定画面
５１ 画像入力受付手段
５２ 特徴量取得手段
５３ 画像分類手段
５４ 評価値取得手段
５５ ソート手段
５６ 表示制御手段
５７ 分類条件設定手段
５８ 評価条件設定手段
【技術分野】
【０００１】
本発明は、複数の画像を表示する画像表示装置および方法、ならびに、この画像表示方法を実現するための制御をコンピュータに実行させるためのプログラム、さらに、この画像表示装置を含む写真プリント注文受付装置に関するものである。
【背景技術】
【０００２】
銀塩カメラと比較すると、デジタルカメラでは、フィルム料金がかからない分、撮影自体のコストが下がり、その結果、より多くの画像を撮影する傾向にある。また、デジタルカメラに着脱される記録メディアの大容量化もその傾向を助長している。その結果、デジタルカメラの記録メディアや、記録メディアから読み出された画像データが保存されるパソコンのハードディスクやＣＤ−Ｒ等の記憶メディアには、非常に多くの画像がストックされ、その中には、必要な画像（写りのよい画像）と不要な画像（失敗写真や重複して撮影された画像等）が混在し、さらにそれらは未整理のままとなっていることが多い。
【０００３】
このような大量の画像を整理するのは大変面倒な作業となる。そこで、このような画像ストックからの必要な画像の検索・抽出や不要な画像の抽出・削除、また、画像ストック中の画像のイベントや日時、場所等の観点に基づく分類・整理をサポートする装置が提案されている。
【０００４】
例えば、所定の削除条件を満たす削除候補の画像のうち、類似と判断された複数の削除候補画像を同時表示し、ユーザの選択に応じて、不要な画像を削除する装置が知られている（例えば、特許文献１）。
【特許文献１】特開２００５−１４１５８４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載されているように、削除候補の類似画像をまとめて同時に表示したとしても、ユーザが表示された画像間の差異を判断し、どれを削除（保存）すべきかを決定するのは容易ではない。
【０００６】
本発明は、上記事情に鑑みてなされたものであり、互いに類似する複数の画像からなる画像群の中から、より効率的に削除または保存対象の画像を選択することを可能にする画像表示装置および方法ならびにプログラム、さらに写真プリント注文受付装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明による画像表示装置は、互いに類似する複数の画像からなる類似画像群の各々の画像について、所定の評価尺度によってそれらの画像の好ましさを表した評価値を算出する評価値算出手段と、類似画像群の各画像を、取得された評価値の順に並べ替えて表示する表示手段とを設けたことを特徴とするものである。
【０００８】
ここで、「所定の評価尺度によって該画像の好ましさを表した評価値」は、主要被写体の状態、構図、画像の品質等を評価尺度として表したものであることが好ましい。主要被写体の状態に関する評価尺度の具体例としては、人物を主要被写体とする場合、人物の表情の豊かさ、綺麗さ、笑顔等の特定の表情かどうか、顔の向き、目の開閉、視線、被写体ぶれの程度（被写体の動きの程度）等が考えられる。構図に関する評価尺度の具体例としては、画像中の主要被写体（人物の顔等）の大きさや位置、水平度、主要被写体に対する遮蔽物の有無等が挙げられる。画像の品質に関する評価尺度の具体例としては、色再現性やホワイトバランス等の色の好ましさ、画像や画像中の主要被写体の明るさ、濃度、コントラスト、シャープネスやボケ等の鮮鋭性、主要被写体に対する合焦度合、ポートレート写真における背景のボケ具合、階調やダイナミックレンジ等の自然さ・質感、ノイズや粒状、むら等の違和感を表すもの、手ぶれ、赤目、欠陥や欠落の程度等が挙げられる。
【０００９】
また、これらのうちの複数の評価尺度による総合的な評価値とすることも好ましい。
【００１０】
また、評価値取得手段による評価値の取得が可能な複数の評価尺度の中からの１つ以上の評価尺度を選択する手段をさらに設けたり、上記の総合的な評価値の場合、各々の評価尺度の総合的な評価値に対する寄与の度合を設定する手段をさらに設けたりしてもよい。
【００１１】
「取得された評価値の順に並べ替えて表示する」とは、具体的には、１画面内に表示される複数の画像の配列順を評価値の順とすることや、複数の画像を時系列的に切り替えて表示するときの表示順を評価値の順とすることが考えられる。
【００１２】
また、上記の画像表示装置に、複数の画像の各々について、画像の特徴の解析を行う画像解析手段と、解析の結果が所定の分類基準を満たす程度に近似する画像を類似画像群として分類する分類手段をさらに設け、評価値取得手段が、分類手段によって分類された類似画像群の各々の画像について評価値を取得するようにしてもよい。
【００１３】
この場合、上記所定の分類基準を設定する手段をさらに設けてもよい。
【００１４】
さらに、上記の画像表示装置に、評価値の順に表示された類似画像群の各画像から、削除および／または保存対象の画像を選択する画像選択手段をさらに設けてもよい。
【００１５】
また、表示手段が、さらに、評価値に基づいて削除候補または保存候補の画像を決定し、決定された削除候補または保存候補の画像を他の画像と識別可能な態様で表示するようにしてもよい。
【００１６】
この場合、保存候補の画像は、評価値が最も高い、すなわち、最も好ましいと評価された画像に決定することが好ましい。一方、削除候補の画像は、評価値が所定の閾値より低い画像すべてとすることが考えられる。なお、類似する画像が存在しない画像の場合には、たとえ評価値が所定の閾値より低くても、削除候補としないことが好ましい。
【００１７】
本発明は、上記の画像表示装置と、画像表示装置によって表示された複数の画像からの写真プリント対象の画像の選択を受け付ける手段と、選択された画像のプリントサイズやプリント枚数等のプリント条件の入力を受け付ける手段と、選択された画像の、入力されたプリント条件による写真プリントの注文の指示を行う手段とを設けた写真プリント注文受付装置として構成することが好ましい。
【００１８】
また、本発明の画像表示方法は、互いに類似する複数の画像からなる類似画像群の各々の画像について、所定の評価尺度によって画像の好ましさを表した評価値を取得し、類似画像群の各画像を、取得された評価値の順に並べ替えて表示することを特徴とするものである。
【００１９】
さらに、本発明の画像表示制御プログラムは、コンピュータを、互いに類似する複数の画像からなる類似画像群の各々の画像について、所定の評価尺度によって画像の好ましさを表した評価値を取得する評価値取得手段と、類似画像群の各画像を、取得された評価値の順に並べ替えて表示させる表示制御手段として機能させることを特徴とするものである。
【発明の効果】
【００２０】
本発明によれば、類似画像群の各々の画像について、画像の好ましさを表した評価値を求め、類似画像群の各画像を評価値の順に並べ替えて表示するので、ユーザが表示された画像間の差異を判断し、どれを削除（保存）すべきかを決定するのが容易になり、削除対象または保存対象の画像の選択がより効率的に行えるようになる。
【００２１】
また、評価尺度を選択したり、複数の評価尺度毎の評価値に対する寄与の度合を設定したりできるようにした場合には、ユーザが所望する評価尺度に基づいて、画像の並替えを行うことが可能になり、ユーザの嗜好により適合した好ましさの順に並べ替えられた画像を見ながら、さらに容易かつ効率的に画像の選択ができるようになる。
【００２２】
また、複数の画像の類似画像群への分類を行うようにし、その際の分類基準を設定することができるようにした場合には、類似画像群の構成をユーザが変更できるようになるので、画像全体の傾向やユーザの嗜好により適合した類似画像群の下で、さらに容易かつ効率的に画像の選択ができるようになる。例えば、複数の画像がほとんど同じ構図でほとんど同じ人物が写されたものである場合には、画像の類似の範囲を狭くすることにより、１つの類似画像群に属する画像数を減らし、類似画像群の数を増やすことができる。このように、母集団となる複数の画像全体の類似性に応じて分類基準を設定することにより、画像間の類似の範囲を適切な範囲に収めることが可能になる。
【００２３】
また、この評価値に基づいて削除候補や保存候補の画像を決定し、他の画像と識別可能な態様で表示するようにした場合には、よりユーザにとって使いやすい表示インターフェースが実現される。
【００２４】
この場合、類似する画像が存在しない画像は、削除候補としないようにすることによって、代替する画像が存在しない画像を誤って削除してしまうことが避けられる。
【発明を実施するための最良の形態】
【００２５】
以下、図面を参照して本発明の実施形態について説明する。図１は本発明の第１の実施形態による画像表示装置を適用した写真プリントの注文受付装置の外観斜視図である。図１に示すように、第１の実施形態による注文受付装置１は、ユーザによる画像のプリント注文を受け付けるために写真店の店頭に設置されてなるものであり、プリント注文するための画像が記録された各種メモリカード２を装填し、メモリカード２から画像を読み出したり、メモリカード２に画像を記録したりするための複数種類のカードスロット４と、プリント注文のための各種表示を行う表示部６とを備え、写真店に設置されたプリンタ８および画像に対する画像処理やプリント注文の管理を行うためのデジタルイメージコントローラ（ＤＩＣ）１０とネットワーク経由で接続されている。なお、表示部６はタッチパネル式の入力部を備え、ユーザは表示部６の表示にしたがって表示部６にタッチすることにより、プリント注文や画像整理に必要な入力を行うことができる。
【００２６】
図２は本発明の第１の実施形態による注文受付装置１の構成を示す概略ブロック図である。図２に示すように、注文受付装置１は、画像を表す画像データの記録制御および表示制御等の各種制御を行うとともに、装置１を構成する各部の制御を行うＣＰＵ１２と、装置１を動作させるための基本的なプログラムおよび各種定数が記録されているＲＯＭ並びにＣＰＵ１２が処理を実行する際の作業領域となるＲＡＭにより構成されるシステムメモリ１４と、種々の指示を装置１に対して行うためのタッチパネル式の入力部１６と、上述した表示部６とを備える。
【００２７】
また、注文受付装置１は、上述したカードスロット４と、メモリカード２から読み出した画像、ＣＰＵ１２が実行する、画像のプリント注文や整理を行うための各種プログラムや参照データ等を記録するハードディスク２４と、システムメモリ１４、カードスロット４およびハードディスク２４を制御するメモリ制御部１６と、表示部６の表示を制御する表示制御部２６と、入力部１８による入力を制御する入力制御部２２と、装置１をプリンタ８およびＤＩＣ１０とネットワークを介して通信するためのネットワークインターフェース３０とを備える。
【００２８】
なお、カードスロット４はメモリカード２の種類に応じて複数用意されているが、図２においては１つのカードスロット４のみを示している。
【００２９】
注文受付装置１で行われる後述の処理は、ハードディスク２４に記憶されている各種プログラムが実行されることによって実現される。なお、ハードディスク２４への各種プログラムの記憶は、この各種プログラムが記録されたＣＤ−ＲＯＭ等のコンピュータが読取可能な記録媒体からインストールすることによってなされる。また、各種プログラムは、注文受付装置１で行われる処理全体を制御するメインプログラムと、メインプログラムから必要に応じて呼び出される、注文処理や画像整理処理を行うサブプログラム等とからなる。
【００３０】
このような注文受付装置１におけるプリント注文は以下のようにして行われる。図３は注文受付装置１の表示部６に表示される初期画面を示す図である。この画面はメインプログラムの制御によって表示される。図３に示すように初期画面４０には、プリント注文を行うためのプリント注文ボタン４０Ａ、および後述するように複数の画像の分類、不要画像の削除、必要画像の保存等の整理を行うための画像整理ボタン４０Ｂが表示されている。ここで、ユーザがプリント注文ボタン４０Ａを選択した場合、ＣＰＵ１２では、メインプログラムからプリント注文処理サブプログラムが呼び出され、このサブプログラムによる処理が実行される。ユーザが画面に表示される指示にしたがって複数の画像を記録したメモリカード２をカードスロット４に装填すると、装置１では、メモリカード２から複数の画像を読み出して一時的にハードディスク２４に保存し、さらに、複数の画像の一覧を表示部６に表示する
ユーザは表示部６に表示された画像の一覧からのプリント注文を行う画像の選択、注文枚数および注文サイズの設定をタッチパネル方式の入力部１６を用いて行う。そして、ユーザがプリント実行の指示を入力部１６を用いて行うと、ユーザが選択した画像、並びに注文枚数および注文サイズを表す注文情報がＤＩＣ１０に送信され、ここで画質を向上させるために必要な画像処理が画像に対して施され、注文情報に応じた注文枚数および注文サイズによりプリント注文した画像がプリンタ８からプリント出力される。
【００３１】
次いで、本発明の第１の実施形態における画像整理の処理について説明する。この処理は、ユーザが図３の初期画面で画像整理ボタン４０Ｂを選択することにより、メインプログラムから画像整理サブプログラムが呼び出され、実行されることによって実現される。
【００３２】
図４は、画像整理サブプログラムの実行によって実現される画像表示処理の流れを模式的に表したブロック図である。図に示したように、ユーザのメモリカード２からの複数の画像Ｐm（m=1,2,...)の入力を受け付ける画像入力受付手段５１と、入力された画像Ｐmの各々に対して画像解析処理を行い、特徴量ｑmを算出する特徴量取得手段５２（画像解析手段に対応）と、特徴量ｑmと分類条件Ｃ1とに基づいて画像Ｐmを複数の類似画像群Ｇn（n=1,2,...、この画像群に属する画像をＰn1, Ｐn2...,Ｐniとする）に分類する画像分類手段５３と、類似画像群Ｇnの各画像Ｐn1, Ｐn2...,Ｐniについて、評価条件Ｃ2に基づいて評価値ｒniを算出する評価値取得手段５４と、類似画像群Ｇnの各画像Ｐn1, Ｐn2...,Ｐniを評価値ｒniの順に並べ替えて表示順Ｓnを生成するソート手段５５と、表示順Ｓnにしたがって類似画像群Ｇnの各画像Ｐn1, Ｐn2...,Ｐniを表示部６に表示させる表示制御手段５６、とによって、この画像表示処理が実現される。なお、ソート手段５５と表示制御手段５６、および表示制御部２６、表示部６の組合せが表示手段に対応する。
【００３３】
まず、ユーザが複数の画像を記録したメモリカード２をカードスロット４に装填すると、画像入力受付手段５１が、メモリカード２から複数の画像Ｐm（m=1,2,...)を読み出して一時的にハードディスク２４に保存する。
【００３４】
特徴量取得手段５２は、ハードディスク２４から画像Ｐm（m=1,2,...)を順次読み込み、画像毎に、エッジ検出処理によるエッジ特徴量や、色信号のヒストグラム処理による色特徴量、その他、形状やテクスチャを示す特徴量、サイズ等を示す特徴量等の複数の特徴量を求める。なお、図４では、これらの複数の特徴量をまとめてｑmとしている。
【００３５】
画像分類手段５３は、特徴量取得手段５２で算出された複数の特徴量の各々について画像間で比較し、画像間での特徴量の差が所定の閾値（分類条件Ｃ1）よりも大きければそれらの画像は類似していると判定し、同一の類似画像群に分類する。このとき、撮影日時を考慮し、各画像データのＥｘｉｆタグ領域に記録されている撮影日時が近い画像（例えば１分以内）の間でのみ類似性を判定するようにしてもよい。さらに、画像中の主要被写体を検出して特徴量とする場合、主要被写体の大きさや構図の相違があれば、一方の画像に合うように変換した後で類似性を判定することが考えられるが、このような相違がある場合には類似性を低く判断することが好ましい。
【００３６】
なお、画像毎に求められた複数の特徴量を１つの特徴ベクトルｑm（m=1,2,...)として捉え、各画像Ｐmに対応する特徴ベクトルｑmを用いた公知のクラスタリング処理（例えば、特開2004-258750号公報参照）により、画像Ｐmを複数の類似画像群Ｇnに分類するようにしてもよい。この場合、分類条件Ｃ1とは、クラスターの個数や、クラスター中心とクラスターに属する特徴ベクトル間の許容可能な最大距離等を予め定義したものとなる。
【００３７】
評価値取得手段５４は、類似画像群Ｇnの各画像Ｐn1, Ｐn2...,Ｐniについて、主要被写体の状態、構図、画像の品質等を評価尺度とした個別評価値ｆj(j=1,2,...）を求める。以下に各種個別評価値の算出例を示す。
【００３８】
例えば、特定の人物の表情の豊かさを表す個別評価値ｆ1は以下のようにして求める。すなわち、 あらかじめ特定の人物の平均的な顔（無表情の顔）を表す画像を登録しておき（参照データとしてハードディスク２４に格納しておき）、入力画像Ｐniから顔領域を抽出し、登録されている顔画像と顔の大きさを合わせた後、登録されている顔画像との照合を行い、同一人物の顔であると判断された場合には、両画像中の顔パーツの形状とのマッチングを行うことによって、表情の豊かさを表す個別評価値ｆ1を算出する。例えば、目の場合、次式（１）によって求めることができる。
【００３９】
ｆ1＝1−（(両画像の目の領域が重なりの面積)／(登録された目の面積)） （１）
図５は、これを模式的に表したものである。図で、Ｅ0(R)は登録されている顔画像中の右目領域、Ｅ0(L)は登録されている顔画像中の左目領域、Ｅ1(R)は入力画像Ｐniの右目領域、Ｅ1(L)は入力画像Ｐniの左目領域を表す。したがって、上式（１）は、目領域の面積について、入力画像と登録画像の差が大きいほどｆ1の値は大きくなり、表情が豊かであることを意味する。
【００４０】
なお、照合処理では、変化の少ない部位（耳、額、鼻など）を用い、表情の豊かさを表す個別評価値の算出には、 変化の大きい部位（目、口まわり）を用いることが好ましい。
【００４１】
また、画像中の人物の全体的な表情の豊かさを表す個別評価値ｆ2は以下のようにして求める。すなわち、まず、画像中の人物全員の目、口の形状を検出し、予め登録しておいた常態における目や口の形状に対する変化の平均値が大きいほど大きな値（より全体として表情が豊か）となるように個別評価値ｆ2を定義することができる
また、人物の綺麗さを表す個別評価値ｆ3は、複数の人物の平均顔（男女別が好ましい）との差が小さい方がより大きな値（より綺麗）となるように定義することができる。
【００４２】
また、被写体ぶれが起きている確率を表す個別評価値ｆ4は、連続写真のコマ間における主要被写体の変化（移動距離）が大きいものほど被写体ぶれが起きる確率が高いことを前提として、以下のように定義することができる。すなわち、複数コマ間で移動する同一の被写体を検出し、各コマでのその被写体の位置に基づいて各コマ間での被写体の移動距離を算出し、この距離が大きいほど小さな値（被写体ぶれが起きている確率が高いので画像としては好ましくない）となるように個別評価値ｆ4を定義する。なお、同一の主要被写体の検出方法としては、例えば、人物の顔の場合、連続写真のコマの各々で人物の顔を検出し、同一人物の顔かどうかを判定する方法や、連続写真の複数のコマのうち１以上のコマから人物の顔を検出し、他のコマについて、先に検出した顔が存在するかどうかを判定する方法が考えられる。また、上記のようなオブジェクト検出による方法ではなく、複数のコマ間での画像信号の全体的または局所的な差分を求め、その差分値が大きいほどコマ間での被写体の移動距離が大きいと判定し、個別評価値ｆ4はより小さな値とすることが考えられる。さらに、連続写真のコマ間の時間間隔が一定でない場合には、信号値の時間変化率（傾き）が大きいほどコマ間での被写体の移動距離が大きいと判定し、個別評価値ｆ4はより小さな値としてもよい。
【００４３】
また、人物画像の場合の画像中の顔の大きさを表す個別評価値ｆ5の場合、画像全体に対する顔の大きさは大きすぎても小さすぎても画像としては好ましくないので、顔の大きさが所定の適正な大きさとの差分が大きいほど個別評価値ｆ5の値が小さくなるように定義したり、顔の面積の画像全体の面積に対する割合と適正な割合との差が大きいほど個別評価値ｆ5の値が小さくなるように定義したりすることが考えられる。
【００４４】
また、画像の水平度を表す個別評価値ｆ6の場合、画像中の水平線を公知の学習手法によって生成された識別器を用いて検出し、検出された水平線と画像の下端とがなす角度が大きいほど個別評価値ｆ6の値が小さくなるように定義することが考えられる。
【００４５】
また、主要被写体の明るさを表す個別評価値ｆ7の場合、画像中の主要被写体領域を検出し、主要被写体領域とそれ以外の背景領域における輝度のヒストグラムを各々生成し、そのプロフィールと、予め登録しておいた適正な明るさの場合のプロフィールとの比較を行い、その差が大きいほど、個別評価値ｆ7の値が小さくなるように定義することが考えられる。
【００４６】
また、シャープネス・ピンボケを表す個別評価値ｆ8の場合、画像中の主要被写体を検出し、検出された領域における高周波成分の積分値が小さいほどピンボケの度合が高いと判断し、個別評価値ｆ8の値が小さくなるように定義することが考えられる。なお、個別評価値ｆ8は、画像から検出されるエッジ幅の平均値が大きいほど個別評価値ｆ8の値が小さくなるように定義してもよいし、画像から複数の方向のエッジを検出し、エッジ方向毎の平均エッジ幅に基づいて、学習用の通常画像とボケ画像の最もぼけている方向のエッジ幅分布のヒストグラムにおける頻度の比率をスコアとしてエッジ幅毎に定義した参照データを参照することによって得られるエッジ方向毎のスコアの平均値が大きいほど個別評価値ｆ8の値が小さくなるように定義してもよい（特開2005-122721号公報参照）。
【００４７】
さらに、上記の個別評価値ｆ8の算出手法を応用することによって、背景のボケ具合を表す個別評価値ｆ9を定義することが可能である。具体的には、画像から主要被写体領域を除いた背景領域について上記の積分値やエッジ幅の平均値、スコアを算出し、これらの値が大きいほど背景がうまくボケていると判定し、個別評価値ｆ9の値が大きくなるように定義することが考えられる。
【００４８】
また、手ぶれの度合を表す個別評価値ｆ10の場合、例えば、複数の方向のエッジを検出し、エッジ方向毎に求められたエッジ幅のヒストグラムを作成し、直交する２方向におけるエッジ幅のヒストグラムの相関値を各方向組について求め、各方向における平均エッジ幅と各方向組におけるエッジ幅のヒストグラムの相関値とに基づき、相関値が所定の閾値より小さい方向組における、平均エッジ幅がより大きい方向をぶれ方向を決定し、決定されたぶれ方向に垂直なエッジの幅をぶれの幅とし（特開2005-122721号公報参照）、得られたぶれの幅が大きいほど個別評価値ｆ10の値が小さくなるように定義することが考えられる。
【００４９】
もしくは、図６に示すような、シャッタースピードが遅いほど手ぶれが起こりやすいという関係を利用して、画像データのＥｘｉｆタグ領域に記録されているシャッタースピードの値が大きいほど個別評価値ｆ10の値が小さくなるように定義してもよい。
【００５０】
また、ノイズの程度を表す個別評価値ｆ11は、RMS（分散）やウイナースペクトルに基づいて、ノイズが多いほど個別評価値ｆ11の値が小さくなるように定義することができる。
【００５１】
また、むらの程度を表す個別評価値ｆ12は、２次元高速フーリエ変換等の周波数分析によって得られる周期性を表す出力値に基づいて、周期的むらを表す成分が多いほど個別評価値ｆ12の値が小さくなるように定義することができる。
【００５２】
上記以外にも、笑顔等の特定の表情かどうか、顔の向き、目の開閉、視線、主要被写体の位置、主要被写体に対する遮蔽物の有無、色再現性やホワイトバランス等の色の好ましさ、画像の明るさ、濃度、コントラスト、階調やダイナミックレンジ等の自然さ・質感等の違和感、赤目、欠陥、欠落の程度等が評価尺度として考えられるが、これらについても、例えば、公知の顔や目等のオブジェクト検出手法によって検出されたオブジェクトの状態を表す出力値を取得したり、公知の画質改善処理や画像評価の手法によって得られる画質を表す出力値を取得したりし、取得された出力値と、各々の評価尺度において好ましいとされる基準値との差が小さいものほど個別評価値ｆjの値が大きくなるように定義することができる。
【００５３】
評価値取得手段５４は、以上のようにして求めた個別評価値ｆjに基づいて、画像の好ましさを表す総合評価値ｒniを、次式（２）によって類似画像群Ｇnの画像毎に算出する。
【００５４】
ｒni＝α1・ｆ1＋α2・ｆ2＋・・・＋αj・ｆj＋・・・＋αJ・ｆJ （２）
ここで、α1, α2,・・・αj,・・・αJは、予め定義された各個別評価値に対する重みづけ係数であり、図４の評価条件Ｃ2に相当する。なお、総合評価値ｒniの取得方法は、上式（２）のような各個別評価値の重みづけ総和に限定されず、各個別評価値の和や積その他の関数によって算出してもよいし、各個別評価値の値と総合評価値ｒniの値を対応づけた参照テーブルを予めインストールしておき、各画像について求めた各個別評価値に基づくテーブル参照によって求めてもよい。また、１つの個別評価値のみを総合評価値ｒniとしてもよい。
【００５５】
ソート手段５５は、評価値取得手段５４によって算出された、各類似画像群Ｇnの画像Ｐn1, Ｐn2...,Ｐni毎の総合評価値ｒn1, ｒn2,..., ｒniを降順に並べ替えることによって、類似画像群Ｇn毎の画像Ｐn1, Ｐn2...,Ｐniの表示順Ｓnを生成する。なお、並替えの順序は昇順としてもよい。
【００５６】
表示制御手段５６は、類似画像群Ｇn毎の表示順Ｓnにしたがって各類似画像群Ｇnの各画像Ｐn1, Ｐn2...,Ｐniの表示レイアウトを決定し、表示部６に表示させる。図７は、表示部６に表示される画面の一例であり、領域４２Ａが表示レイアウトを表している。図に示したように、類似画像群Ｇnの各画像Ｐn1, Ｐn2...,Ｐniは縦１列に、表示順Ｓnに基づき、総合評価値の高い順に配列されている。したがって、縦の列毎に上の方の画像ほど被写体である人物の状態や構図、画質が好ましく、下の方の画像ほど、人物の顔がカメラの方を向いていなかったり、人物がかぶっていたり、人物が小さかったり、人物の位置が中央から離れていたり、ピンボケや手ぶれが表れていたりと、人物の状態や構図、画質がより好ましくないものとなっている。なお、各画像Ｐn1, Ｐn2...,Ｐniの表示形式は、図７のような一覧形式の表示に限定されず、例えば、表示順Ｓnに基づいて、各画像を１枚ずつ所定の時間間隔で切り替えて順次表示するようにしてもよい。
【００５７】
以上の画像表示処理によって、ユーザがメモリカード２から入力した複数の画像Ｐm（m=1,2,...)が、類似画像群Ｇn毎に分類されて、総合評価値の高い順に画面表示される。
【００５８】
ユーザは、この画面表示を見ながら、保存したい画像や削除したい画像の選択を行う。具体的には、図７の画面で、ユーザがタッチ操作によって画像を選択すると、選択された画像の枠を太くする強調表示がなされる。このとき、入力部１６がタッチされた位置を検出し、検出された位置の情報が入力制御部２２経由でＣＰＵ１２に送られ、ＣＰＵ１２では、実行中の画像整理プログラムによる制御に基づき、検出された位置に表示されている画像の画像枠を強調表示させる処理が行われる。そして、ユーザが保存ボタン４２Ｃにタッチすると、縦の列毎に、すなわち、類似画像群毎に、選択された画像のみを保存し、選択されなかった画像の画像データファイルを削除する処理が行われる。また、保存ボタン４２Ｃの代わりに削除ボタン４２Ｄにタッチすると、選択された画像の画像データファイルを削除する処理が行われる。なお、画像データファイルの削除は、この時点では、ハードディスク２４に一時的に保存されている画像データファイルに対して行うようにし、後でユーザが整理内容の確定を表すボタン（図示なし）をタッチしたら、その時のハードディスク２４の保存内容をカードスロット４に装填されているメモリカード２に反映するようにすることが好ましい。
【００５９】
以上のように、本発明の第１の実施形態では、評価値取得手段５４が、画像分類手段５３によって分類された類似画像群Ｇnの各画像Ｐn1, Ｐn2...,Ｐniについて総合評価値ｒniを算出し、ソート手段５５が、類似画像群毎に各画像Ｐn1, Ｐn2...,Ｐniを評価値ｒniの順に並べ替えて表示順Ｓnを生成し、表示制御部５６が、表示順Ｓnにしたがって、類似画像群Ｇn毎に、画像Ｐn1, Ｐn2...,Ｐniを表示部６に表示させる。したがって、ユーザが、類似する画像毎に、画像の好ましさの順に並べられた画像を見ながら、どの画像を保存または削除するかを選択することができるので、表示された類似画像群毎に画像間の差異の判断や、上記の画像の選択を、より容易かつ効率的に行えるようになる。
【００６０】
なお、本実施形態の変形例としては、表示制御手段５６が、類似画像群毎に総合評価値ｒniが最大の画像を保存候補画像と判定し、図７の画面表示の際に、保存候補画像を強調表示するようにすることが考えられる。また、類似画像群毎に総合評価値ｒniが所定の閾値以下の画像を削除候補画像と判定し、図７の画面表示の際に、保存候補画像を強調表示するようにするようにしてもよい。さらに、保存候補画像と削除候補画像の両方を判定し、保存候補画像は画像枠を太くして表示し、削除候補画像は画像枠を点滅表示するというように、各々の候補画像を識別可能な態様で表示するようにしてもよい。このように、表示制御手段５６が保存候補や削除候補の画像を決定し、他の画像と識別可能な態様で表示するようにした場合には、よりユーザにとって使いやすい表示インターフェースが実現される。
【００６１】
また、この場合、類似画像群に属する画像が１つしかない場合には、たとえその画像の総合評価値ｒniが所定の閾値以下であったとしても削除候補とはしないようにすることが好ましい。これにより代替する画像が存在しない画像を誤って削除されてしまうことがある程度回避できる。
【００６２】
次に、本発明の第２の実施形態について説明する。第１の実施形態では、分類条件Ｃ1や評価条件Ｃ2は、予め定義されたものを用いるようにしていた。しかしながら、どの程度類似している画像を１つの類似画像群とするかは、画像全体の類似性やユーザの嗜好によって異なる。例えば、ユーザによって入力された画像が、富士山を定点観測したものであったり、同じ人物と同じ場所で撮影したものであったりすると、分類条件Ｃ1の設定によっては、入力されたすべての画像を１つの類似画像群として分類してしまう可能性があり、これでは分類が意味をなさないことになる。また、どの個別評価値に重点を置いて画像の好ましさを評価するかについても、画像全体の傾向やユーザの嗜好によって異なる。したがって、第２の実施形態では、分類条件Ｃ1や評価条件Ｃ2をユーザが設定できるようにしている。
【００６３】
図８は、第２の実施形態における画像表示処理の流れを模式的に表したブロック図である。図に示したように、第１の実施形態（図４）のブロック図に、分類条件Ｃ1を設定する分類条件設定手段５７と、評価条件Ｃ2を設定する評価条件設定手段５８とを付加した構成となっている。なお、注文受付装置１の外観やハードウェア構成は第１の実施形態と同様である。
【００６４】
図９は、分類条件Ｃ1を設定する画面の一例を示したものである。この画面は、例えば、図７の画面において分類条件設定ボタン４２Ｅをタッチすることにより、図７とは別のウィンドウ画面として表示される。画面には、ユーザが理解しやすいように、「グループの数」を多くするのか少なくするのかを調整する旨が表示されている。スライドバー４４Ｃ上のレバー４４Ｄの位置は、現在の分類条件Ｃ1の設定を視覚化したものである。この位置は、分類条件Ｃ1、すなわち、画像間での特徴量の差による類否判断の閾値や、クラスターの個数や、クラスター中心とクラスターに属する特徴ベクトル間の許容可能な最大距離等の設定値に基づいて決定される。
【００６５】
ユーザが「−」ボタン４４Ａにタッチすると、レバー４４Ｄの位置が左方向に所定の距離だけ移動し、「＋」ボタン４４Ｂにタッチすると、レバー４４Ｄの位置が右方向に所定の距離だけ移動する。ユーザは、このレバー４４Ｄが所望の位置になるように、「−」ボタン４４Ａや「＋」ボタン４４Ｂにタッチし、レバー４４Ｄの位置が確定したら、「閉じる」ボタン４４Ｅにタッチする。分類条件設定手段５７は、この時点でのレバー４４Ｄの位置を検出し、検出された位置に基づいて分類条件Ｃ1の値を算出し、算出された値を新たな分類条件Ｃ1としてメモリに格納する。そして、画像分類手段５３は、新たな分類条件Ｃ1に基づいて、第１の実施形態と同様の分類処理を行う。
【００６６】
一方、図１０は、評価条件Ｃ2を設定する画面の一例を示したものである。この画面は、例えば、図７の画面において評価条件設定ボタン４２Ｆをタッチすることにより、図７とは別のウィンドウ画面として表示される。図に示したように、評価条件設定画面４６では、評価値取得手段５４が取得可能な評価尺度の各々について、その尺度の総合評価値に対する寄与の度合をスライドバー４６Ｃ上のレバー４６Ｄの位置によって視覚化している。ここで、評価尺度の総合評価値に対する寄与の度合は、具体的には、前述の式（２）における各評価尺度による個別評価値に対する重みづけ係数の値に対応している。なお、レバー４６Ｄの位置をスライドバー４６Ｃの左端に位置させた場合には、その評価尺度は総合評価値にまったく反映されないことになる。したがって、評価条件に加えたくない評価尺度のレバー４６Ｄの位置をスライドバー４６Ｃの左端に位置させることによって、評価条件として使用する評価尺度を消去法的に選択することができる。
【００６７】
ユーザは、図９と同様に、各評価尺度について、レバー４６Ｄが所望の位置になるように「−」ボタン４６Ａや「＋」ボタン４６Ｂにタッチし、レバー４６Ｄの位置が確定したら、「閉じる」ボタン４６Ｅにタッチする。評価条件設定手段５８は、この時点での各評価尺度におけるレバー４６Ｄの位置を検出し、検出された各々の位置に基づいて、前述の式（２）の重みづけ係数α1, α2,・・・αj,・・・αJの値を決定し、新たな評価条件Ｃ2としてメモリに格納する。そして、評価値取得手段５４は、新たな評価条件Ｃ2に基づいて、第１の実施形態と同様の評価値取得処理を行う。なお、他の手段の処理内容についても第１の実施形態と同様である。
【００６８】
以上のように、本発明の第２の実施形態では、分類条件設定手段５７が、ユーザの操作に応じて、分類条件Ｃ1を設定するようにしたので、類似画像群の構成をユーザが変更できるようになり、画像全体の傾向やユーザの嗜好により適合した類似画像群の下で、さらに容易かつ効率的に画像の選択ができるようになる。また、評価条件設定手段５８が、ユーザの操作に応じて、評価条件Ｃ2を設定するようにしたので、ユーザが所望する評価尺度の重みづけに基づいて、画像の並替えを行うことが可能になり、ユーザの嗜好により適合した好ましさの順に並べ替えられた画像を見ながら、さらに容易かつ効率的に画像の選択ができるようになる。
【００６９】
なお、第２の実施形態の変形例としては、分類条件設定手段５７と評価条件設定手段５８のいずれか一方のみを備えた形態が考えられる。また、評価条件設定画面では、画像の並替えの順序を、総合評価値の昇順とするのか、降順とするのかについても設定できるようにすることが好ましい。
【００７０】
最後に、図１１は、本発明の第３の実施形態において表示される画面の一例を示したものである。この画面は、第１の実施形態の図７と同様に、表示制御手段５６が、画像分類手段５３によって分類された類似画像群Ｇnの各画像を表示順Ｓnにしたがって並べ替え、類似画像群毎に表示させたものであり、この画面を表示するために必要な処理は、第１または第２の実施形態と同様である。この画面では、分類条件設定ボタン４２Ｅや評価条件設定ボタン４２Ｆの代わりに、プリントサイズ設定部４２Ｈや枚数設定部４２Ｊ、注文ボタン４２Ｋ、キャンセルボタン４２Ｌが表示されている点が図７の画面とは異なる。
【００７１】
すなわち、ユーザは、エリア４２Ａに表示されている画像のうち、写真プリントを所望するものにタッチすることによって、プリント注文対象の画像を選択し、プリントサイズ設定部４２Ｈの「▼」ボタンをタッチすることによって表示されるプリントサイズの選択肢から所望のサイズをタッチすることによってプリントサイズを選択し、枚数設定部４２Ｊの「＋」「−」ボタンを所望の回数タッチすることによってプリント枚数を設定し、注文ボタン４２Ｋにタッチすることによって、選択した画像のプリント注文を確定する。なお、画像を選択してキャンセルボタン４２Ｌにタッチすることにより、注文のキャンセルを行うこともできる。なお、プリント注文における後続の処理の詳細は、図３の初期画面４０においてプリント注文ボタン４０Ａにタッチした後、各種操作を行い、プリント実行の指示を入力部１６を用いて行った後の処理と同様である。
【００７２】
以上のように、本発明の第３の実施形態では、第１、第２の実施形態と同様にして、類似画像群毎に画像の好ましさを表す総合評価値の順に配列された画像の一覧を表示させながら、同時に写真プリントの注文を受け付けるので、ユーザは、より好ましい画像のプリント注文をより容易かつ効率的に行うことができる。
【００７３】
なお、上記３つの実施形態では、本発明をラボ等の店頭にある写真プリントの注文受付装置に実装した場合を説明したが、パソコンやデジタルカメラに実装することも可能である。この場合、タッチパネルによる入力インターフェースは、パソコンの場合はマウスやキーボード、デジタルカメラの場合には各種操作ボタンによって代替されうる。また、第３の実施形態のプリント注文は、パソコンの場合は、公知のネットワークフォトサービスシステムを利用したプリント注文処理に、デジタルカメラの場合には、ＤＰＯＦ等に基づいてプリント情報を画像データのタグ領域に書き込む処理に代替されうる。このようにすることにより、パソコンやデジタルカメラでも上記の実施形態と同様の効果が得られる。特に、デジタルカメラでは、ディスプレイのサイズが小さく、画像の好ましさを目視判断することは難しいので、上記実施形態のように、画像の好ましさを自動的に評価して表示することの効果はより顕著となる。
【図面の簡単な説明】
【００７４】
【図１】本発明の実施形態による画像分類装置を適用した注文受付装置の外観斜視図
【図２】本発明の実施形態による注文受付装置の構成を示す概略ブロック図
【図３】初期画面を示す図
【図４】本発明の第１の実施形態のよる画像表示処理の流れを模式的に表したブロック図
【図５】表情の豊かさの判定を目の大きさや形状に基づいて行う場合を説明する図
【図６】シャッタースピードと手ぶれが起きる確率の関係を表した図
【図７】本発明の第１、第２の実施形態において表示される画像一覧画面の一例を示す図
【図８】本発明の第２の実施形態のよる画像表示処理の流れを模式的に表したブロック図
【図９】分類条件設定画面の一例を示す図
【図１０】評価条件設定画面の一例を示す図
【図１１】本発明の第３の実施形態において表示される画像一覧画面の一例を示す図
【符号の説明】
【００７５】
１ 注文受付装置
２ メモリカード
４ カードスロット
６ 表示部
８ プリンタ
１０ ＤＩＣ
１２ ＣＰＵ
１４ システムメモリ
１６ メモリ制御部
１８ 入力部
２２ 入力制御部
２４ ハードディスク
２６ 表示制御部
３０ ネットワークインターフェース
４０ 初期画面
４２ 画像一覧画面
４４ 分類条件設定画面
４６ 評価条件設定画面
５１ 画像入力受付手段
５２ 特徴量取得手段
５３ 画像分類手段
５４ 評価値取得手段
５５ ソート手段
５６ 表示制御手段
５７ 分類条件設定手段
５８ 評価条件設定手段
【特許請求の範囲】
【請求項１】
互いに類似する複数の画像からなる類似画像群の各々の画像について、所定の評価尺度によって該画像の好ましさを表した評価値を取得する評価値取得手段と、
前記類似画像群の各画像を、取得された前記評価値の順に並べ替えて表示する表示手段とを備えたことを特徴とする画像表示装置。
【請求項２】
前記所定の評価尺度とは、画像中の主要被写体の状態、構図、または画像の品質に関するもののうちの少なくとも１つであることを特徴とする請求項１記載の画像表示装置。
【請求項３】
前記評価値取得手段による前記評価値の取得が可能な複数の前記評価尺度の中からの１つ以上の前記評価尺度を選択する手段をさらに備え、
前記評価値取得手段が、選択された前記評価尺度による前記評価値を取得するものであることを特徴とする請求項１または２記載の画像表示装置。
【請求項４】
前記評価値が、複数の前記評価尺度に基づくものであり、
該複数の評価尺度の各々の該評価値に対する寄与の度合を設定する手段をさらに備え、
評価値取得手段が、設定された前記寄与の度合に応じて前記複数の評価尺度による前記評価値を算出するものであることを特徴とする第１項から第３項のいずれか１項記載の画像表示装置。
【請求項５】
複数の画像の各々について、該画像の特徴の解析を行う画像解析手段と、
該解析の結果が所定の分類基準を満たす程度に近似する画像を前記類似画像群として分類する分類手段とをさらに備え、
評価値取得手段が、前記分類手段によって分類された前記類似画像群の各々の画像について前記評価値を取得するものであることを特徴とする第１項から第４項のいずれか１項記載の画像表示装置。
【請求項６】
前記所定の分類基準を設定する手段をさらに備え、
前記分類手段が、設定された前記分類基準に基づいて分類を行うものであることを特徴とする請求項５記載の画像表示装置。
【請求項７】
前記評価値の順に表示された前記類似画像群の各画像から、削除および／または保存対象の画像を選択する画像選択手段をさらに備えたことを特徴とする第１項から第６項のいずれか１項記載の画像表示装置。
【請求項８】
前記表示手段が、さらに、前記評価値に基づいて削除候補の画像を決定し、該削除候補の画像を削除候補でない画像と識別可能な態様で表示するものであることを特徴とする第１項から第７項のいずれか１項記載の画像表示装置。
【請求項９】
前記表示手段が、さらに、前記評価値に基づいて保存候補の画像を決定し、該保存候補の画像を保存候補でない画像と識別可能な態様で表示するものであることを特徴とする第１項から第８項のいずれか１項記載の画像表示装置。
【請求項１０】
前記表示手段が、類似する画像が存在しない画像は、削除候補としないものであることを特徴とする請求項８記載の画像表示装置。
【請求項１１】
第１項から第１０項のいずれか１項記載の画像表示装置を備えるとともに、
該画像表示装置によって表示された前記複数の画像からの写真プリント対象の画像の選択を受け付ける手段と、
選択された画像のプリントサイズやプリント枚数等のプリント条件の入力を受け付ける手段と、
選択された画像の前記プリント条件による写真プリントの注文の指示を行う手段とを備えたことを特徴とする写真プリント注文受付装置。
【請求項１２】
互いに類似する複数の画像からなる類似画像群の各々の画像について、所定の評価尺度によって該画像の好ましさを表した評価値を取得し、
前記類似画像群の各画像を、取得された前記評価値の順に並べ替えて表示することを特徴とする画像表示方法。
【請求項１３】
コンピュータを、
互いに類似する複数の画像からなる類似画像群の各々の画像について、所定の評価尺度によって該画像の好ましさを表した評価値を取得する評価値取得手段と、
前記類似画像群の各画像を、取得された前記評価値の順に並べ替えて表示させる表示制御手段として機能させることを特徴とする画像表示制御プログラム。
【請求項１】
互いに類似する複数の画像からなる類似画像群の各々の画像について、所定の評価尺度によって該画像の好ましさを表した評価値を取得する評価値取得手段と、
前記類似画像群の各画像を、取得された前記評価値の順に並べ替えて表示する表示手段とを備えたことを特徴とする画像表示装置。
【請求項２】
前記所定の評価尺度とは、画像中の主要被写体の状態、構図、または画像の品質に関するもののうちの少なくとも１つであることを特徴とする請求項１記載の画像表示装置。
【請求項３】
前記評価値取得手段による前記評価値の取得が可能な複数の前記評価尺度の中からの１つ以上の前記評価尺度を選択する手段をさらに備え、
前記評価値取得手段が、選択された前記評価尺度による前記評価値を取得するものであることを特徴とする請求項１または２記載の画像表示装置。
【請求項４】
前記評価値が、複数の前記評価尺度に基づくものであり、
該複数の評価尺度の各々の該評価値に対する寄与の度合を設定する手段をさらに備え、
評価値取得手段が、設定された前記寄与の度合に応じて前記複数の評価尺度による前記評価値を算出するものであることを特徴とする第１項から第３項のいずれか１項記載の画像表示装置。
【請求項５】
複数の画像の各々について、該画像の特徴の解析を行う画像解析手段と、
該解析の結果が所定の分類基準を満たす程度に近似する画像を前記類似画像群として分類する分類手段とをさらに備え、
評価値取得手段が、前記分類手段によって分類された前記類似画像群の各々の画像について前記評価値を取得するものであることを特徴とする第１項から第４項のいずれか１項記載の画像表示装置。
【請求項６】
前記所定の分類基準を設定する手段をさらに備え、
前記分類手段が、設定された前記分類基準に基づいて分類を行うものであることを特徴とする請求項５記載の画像表示装置。
【請求項７】
前記評価値の順に表示された前記類似画像群の各画像から、削除および／または保存対象の画像を選択する画像選択手段をさらに備えたことを特徴とする第１項から第６項のいずれか１項記載の画像表示装置。
【請求項８】
前記表示手段が、さらに、前記評価値に基づいて削除候補の画像を決定し、該削除候補の画像を削除候補でない画像と識別可能な態様で表示するものであることを特徴とする第１項から第７項のいずれか１項記載の画像表示装置。
【請求項９】
前記表示手段が、さらに、前記評価値に基づいて保存候補の画像を決定し、該保存候補の画像を保存候補でない画像と識別可能な態様で表示するものであることを特徴とする第１項から第８項のいずれか１項記載の画像表示装置。
【請求項１０】
前記表示手段が、類似する画像が存在しない画像は、削除候補としないものであることを特徴とする請求項８記載の画像表示装置。
【請求項１１】
第１項から第１０項のいずれか１項記載の画像表示装置を備えるとともに、
該画像表示装置によって表示された前記複数の画像からの写真プリント対象の画像の選択を受け付ける手段と、
選択された画像のプリントサイズやプリント枚数等のプリント条件の入力を受け付ける手段と、
選択された画像の前記プリント条件による写真プリントの注文の指示を行う手段とを備えたことを特徴とする写真プリント注文受付装置。
【請求項１２】
互いに類似する複数の画像からなる類似画像群の各々の画像について、所定の評価尺度によって該画像の好ましさを表した評価値を取得し、
前記類似画像群の各画像を、取得された前記評価値の順に並べ替えて表示することを特徴とする画像表示方法。
【請求項１３】
コンピュータを、
互いに類似する複数の画像からなる類似画像群の各々の画像について、所定の評価尺度によって該画像の好ましさを表した評価値を取得する評価値取得手段と、
前記類似画像群の各画像を、取得された前記評価値の順に並べ替えて表示させる表示制御手段として機能させることを特徴とする画像表示制御プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図８】
【図９】
【図１０】
【図７】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図８】
【図９】
【図１０】
【図７】
【図１１】
【公開番号】特開２００７−９７０９０（Ｐ２００７−９７０９０Ａ）
【公開日】平成１９年４月１２日（２００７．４．１２）
【国際特許分類】
【出願番号】特願２００５−２８７０１７（Ｐ２００５−２８７０１７）
【出願日】平成１７年９月３０日（２００５．９．３０）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
【公開日】平成１９年４月１２日（２００７．４．１２）
【国際特許分類】
【出願日】平成１７年９月３０日（２００５．９．３０）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
[ Back to top ]