説明

画像処理装置、および画像評価プログラム

【課題】迅速にベストショット候補画像を選ぶ画像処理装置を提供する。
【解決手段】画像処理装置1は、入力された画像群に含まれる複数の画像各々に対し、第1の因子に基づく評価値をそれぞれ演算する第1演算部11と、第1演算部11の演算結果に基づいて、当該演算結果が所定条件を満たす画像を画像群から除外処理する除外部11と、除外処理後の画像群に含まれる各画像に対し、第1の因子とは異なる因子を含む第2の因子に基づく評価値をそれぞれ演算する第2演算部11と、第2演算部11の演算結果に基づいて、除外処理後の画像群の中の各画像に対して序列をつける評価処理部11とを含む。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置、および画像評価プログラムに関する。
【背景技術】
【0002】
複数の画像の中からベストショットを選ぶカメラが知られている(特許文献1参照)。従来技術では、像ブレがない画像を選び、該像ブレがない画像のヒストグラムに基づいて最適露出の画像が選ばれる。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2006−311340号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
従来技術では、全ての画像を対象に像ブレがないか否かの判定を行ってベストショット候補画像を選んでいたので、処理に時間がかかるという問題があった。すなわち、最適因子(像ブレがない)による判定を全画像を対象に施していた。
【課題を解決するための手段】
【0005】
本発明による画像処理装置は、入力された画像群に含まれる複数の画像各々に対し、第1の因子に基づく評価値をそれぞれ演算する第1演算部と、前記第1演算部の演算結果に基づいて、当該演算結果が所定条件を満たす画像を前記画像群から除外処理する除外部と、前記除外処理後の前記画像群に含まれる各画像に対し、前記第1の因子とは異なる因子を含む第2の因子に基づく評価値をそれぞれ演算する第2演算部と、前記第2演算部の演算結果に基づいて、前記除外処理後の前記画像群の中の各画像に対して序列をつける評価処理部とを備え、前記第1の因子は前記第2の因子にはない因子、前記第2の因子は前記第1の因子にはない因子をそれぞれ含むことを特徴とする。
【発明の効果】
【0006】
本発明によれば、迅速にベストショット候補画像を選ぶことができる。
【図面の簡単な説明】
【0007】
【図1】本発明の一実施の形態による電子カメラの要部構成を説明するブロック図である。
【図2】プリキャプチャー撮影モードにおける画像の取得タイミングを説明する図である。
【図3】メインCPUが実行する画像評価処理の流れを説明するフローチャートである。
【図4】フラグCase_PFおよびフラグCase_MVと対応する評価処理項目との関係を説明する図である。
【図5】(a)は横位置の場合のフレームアウトエリアを例示する図、(b)は縦位置の場合のフレームアウトエリアを例示する図である。
【図6】AFエリアおよび中心微小領域を例示する図である。
【図7】評価対象エリアを例示する図である。
【図8】構図最適度を示す評価値の算出を説明する図である。
【図9】コンピュータ装置を例示する図である。
【図10】液晶モニタの表示画面を例示する図である。
【発明を実施するための形態】
【0008】
以下、図面を参照して本発明を実施するための形態について説明する。図1は、本発明の一実施の形態による電子カメラ1の要部構成を説明するブロック図である。電子カメラ1は、メインCPU11によって制御される。
【0009】
撮影レンズ21は、撮像素子22の撮像面上に被写体像を結像させる。撮像素子22はCCDイメージセンサまたはCMOSイメージセンサによって構成され、撮像面上の被写体像を撮像し、撮像信号を撮像回路23へ出力する。撮像回路23は、撮像素子22から出力される光電変換信号に対するアナログ処理(ゲインコントロールなど)を行う他、内蔵するA/D変換回路でアナログ撮像信号をディジタルデータに変換する。
【0010】
メインCPU11は、各ブロックから出力される信号を入力して所定の演算を行い、演算結果に基づく制御信号を各ブロックへ出力する。画像処理回路12は、たとえばASICとして構成され、撮像回路23から入力されるディジタル画像信号に対して画像処理を行う。画像処理には、たとえば、輪郭強調や色温度調整(ホワイトバランス調整)処理、画像信号に対するフォーマット変換処理が含まれる。
【0011】
画像圧縮回路13は、画像処理回路12による処理後の画像信号に対して、たとえばJPEG方式で所定の圧縮比率の画像圧縮処理を行う。表示画像作成回路14は、撮像画像を液晶モニタ19に表示させるための表示用信号を生成する。
【0012】
液晶モニタ19は液晶パネルによって構成され、表示画像作成回路14から入力される表示用信号に基づいて画像や操作メニュー画面などを表示する。映像出力回路20は、表示画像作成回路14から入力される表示用信号に基づいて、画像や操作メニュー画面などを外部の表示装置に表示させるための映像信号を生成して出力する。
【0013】
バッファメモリ15は、画像処理前、画像処理後および画像処理途中のデータを一時的に記憶する他、記録媒体30へ記録する前の画像ファイルを記憶したり、記録媒体30から読み出した画像ファイルを記憶したりするために使用される。本実施形態では、撮影指示前(レリーズボタンの全押し操作前)に撮像素子22によって所定のフレームレートで取得するプリキャプチャー画像を一時的に記憶する場合にも使用される。プリキャプチャー画像については後述する。
【0014】
フラッシュメモリ16は、メインCPU11が実行するプログラムや、メインCPU11が行う処理に必要なデータなどが格納される。フラッシュメモリ16が格納するプログラムやデータの内容は、メインCPU11からの指示によって追加、変更が可能に構成されている。
【0015】
カードインターフェース(I/F)17はコネクタ(不図示)を有し、該コネクタにメモリカードなどの記録媒体30が接続される。カードインターフェース17は、メインCPU11からの指示により、接続された記録媒体30に対するデータの書き込みや、記録媒体30からのデータの読み込みを行う。記録媒体30は、半導体メモリを内蔵したメモリカード、またはハードディスクドライブなどで構成される。
【0016】
操作部材18は、電子カメラ1の各種ボタンやスイッチ類を含み、モード切替スイッチの切換操作など、各操作部材の操作内容に応じた操作信号をメインCPU11へ出力する。半押しスイッチ18aおよび全押しスイッチ18bは、レリーズボタン(不図示)の押下操作に連動して、それぞれがオン信号をメインCPU11へ出力する。半押しスイッチ18aからのオン信号(半押し操作信号)は、レリーズボタンが通常ストロークの半分程度まで押し下げ操作されると出力され、半ストロークの押し下げ操作解除で出力が解除さ
れる。全押しスイッチ18bからのオン信号(全押し操作信号)は、レリーズボタンが通常ストロークまで押し下げ操作されると出力され、通常ストロークの押し下げ操作が解除されると出力が解除される。半押し操作信号は、メインCPU11に対して撮影準備の開始を指示する。全押し操作信号は、メインCPU11に対して記録用画像の取得開始を指示する。
【0017】
<撮影モード>
電子カメラ1は、上記全押し操作信号に応じて1コマずつ撮影画像を取得して記録媒体30へ記録する通常の撮影モードと、上記半押し操作信号を受けると高速シャッタ秒時(たとえば125分の1秒より高速)の静止画像を120フレーム/毎秒(120fps)で連写撮影して複数コマの連写撮影画像を取得し、上記全押し操作信号を受けると当該全押し操作信号を受けた時点の前後の所定のフレーム画像をそれぞれ記録媒体30へ記録するプリキャプチャー撮影モードとを有する。各撮影モードは、操作部材18からの操作信号に応じて切替え可能に構成されている。
【0018】
<再生モード>
再生モードの電子カメラ1は、上記各撮影モードにおいて記録された画像を各コマごとに、あるいは所定数のコマごとに、液晶モニタ19に再生表示する。
【0019】
本実施形態は、上記プリキャプチャー撮影モードに特徴を有するので、以下の説明はプリキャプチャー撮影モードを中心に行う。図2は、プリキャプチャー撮影モードにおける画像の取得タイミングを説明する図である。
【0020】
<プリキャプチャー撮影>
図2において、時刻t0に半押し操作信号が入力されると、メインCPU11はレリーズ待機処理を開始させる。レリーズ待機処理では、たとえば、120フレーム/毎秒(120fps)のフレームレートで被写体像を撮像して露出演算やフォーカス調節を行うとともに、取得した画像データを逐次バッファメモリ15へ記憶する。
【0021】
プリキャプチャー撮影のために使用するバッファメモリ15のメモリ容量は、あらかじめ十分な容量が確保されている。メインCPU11は、時刻t0以降にバッファメモリ15内に記憶したフレーム画像のフレーム枚数が所定枚数(たとえばA枚)に達した場合には、古いフレーム画像から順に上書き消去する。これにより、プリキャプチャー撮影のために使用するバッファメモリ15のメモリ容量を制限できる。
【0022】
時刻t1に全押し操作信号が入力されると、メインCPU11はレリーズ処理を開始させる。レリーズ処理では、時刻t1以前に撮像したA枚のフレーム画像と、時刻t1以降に撮像されるB枚のフレーム画像とを合わせた(A+B)枚のフレーム画像を記録媒体30への記録候補画像とする。
【0023】
メインCPU11は、(A+B)枚のフレーム画像のうち、あらかじめメニュー操作によって指示されているC枚のフレーム画像(C<(A+B))を選び、該C枚のフレーム画像を関連づけて、記録媒体30へそれぞれ記録させる。図2における黒い帯は、記録候補画像である(A+B)枚のフレーム画像が取得される区間を表す。斜線の帯は、バッファメモリ15に一旦は記憶されたものの、上書き消去されたフレーム画像が取得された区間を表す。
【0024】
本実施形態では、記録方式として、(A+B)枚のフレーム画像のうちC枚のフレーム画像を記録媒体30へ記録する第1記録方式と、(A+B)枚のフレーム画像を全て記録媒体30へ記録する第2記録方式とが操作部材18からの操作信号に応じて切替え可能に構成されている。本実施形態では、第1記録方式が選択されているものとして説明する。
【0025】
メインCPU11は、以下のように(A+B)枚のフレーム画像からC枚のフレーム画像を選ぶ。図3は、メインCPU11が実行する画像評価処理の流れを説明するフローチャートである。メインCPU11は、(A+B)枚のフレーム画像がバッファメモリ15に入力されると、図3による処理を起動する。
【0026】
図3のステップS10において、メインCPU11は、フレーム画像に人物の「顔」が含まれているか否かを判定する。メインCPU11は、(A+B)=N枚のフレーム画像について順番に「顔」検出処理を施す。「顔」検出処理は公知であるため説明を省略する。メインCPU11は、フレーム画像に「顔」が含まれると判定した場合はステップS10を肯定判定してステップS20へ進む。メインCPU11は、フレーム画像に「顔」が含まれていないと判定した場合は、ステップS10を否定判定してステップS90へ進む。
【0027】
ステップS20において、メインCPU11は、人物が主要被写体か否かを判定する。たとえば、n(ただし、1≦n≦N)番目のフレーム画像において検出された「顔」を構成する画素数が所定数以上の場合にカウンターh(n)に1をセットし、n番目のフレーム画像において「顔」が検出されない場合や、検出された「顔」を構成する画素数が所定数に満たない場合にはカウンターh(n)に0をセットする。メインCPU11は、N枚のフレーム画像についてPF=Σh(n)を計数した結果、PF>th_pf(ただし、th_pfは所定の判定閾値)が成立する場合にステップS20を肯定判定してステップS30へ進む。この場合は人物が主要な被写体であると判断する。メインCPU11は、PF<th_pfが成立する場合にはステップS20を否定判定し、ステップS90へ進む。この場合は人物が主要な被写体でないと判断する。
【0028】
ステップS30において、メインCPU11は、人物が主要被写体であると判断した場合を「Case_A」とする。この場合のメインCPU11は、フラグCase_PFを1に、フラグCase_MVを1に、それぞれセットしてステップS40へ進む。フラグCase_PFは、人物が主
要被写体である場合を1、人物が主要被写体でない場合を0、とするフラグである。フラグCase_MVは、フレーム画像間に差分が生じているか否かを示すフラグであるが、人物が主要被写体である場合は便宜上1とする。
【0029】
ステップS90において、メインCPU11は、被写体に動きがあるか否かを判定する。一般に、被写体が動いている場合、ズーム操作されて画角変動が生じた場合、および電子カメラ1がパンニングされた場合には、それぞれフレーム画像間で差分が生じる。本実施形態では、1番目とN番目のフレーム間で対応する画像データの差分を画素順次に算出して総和を求める(次式(1))。
Del_FR=Σxy|l(x,y,1)−l(x,y,N)| (1)
ただし、1フレーム目の画像データ(x,y)をl(x,y,1)とし、Nフレーム目の画像データ(x,y)をl(x,y,N)とする。
【0030】
メインCPU11は、上式(1)による演算の結果、Del_FR>th_fr(ただし、th_frは所定の判定閾値)が成立する場合にステップS90を肯定判定してステップS100へ進む。この場合は、被写体の動き、画角変動、およびパンニングの少なくとも1つが生じることにより、フレーム間で動きがあると判断する。メインCPU11は、Del_FR<th_frが成立する場合にはステップS90を否定判定し、ステップS110へ進む。この場合はフレーム間で動きがなく、略静止状態と判断する。
【0031】
ステップS100において、メインCPU11は、人物が主要被写体でなく、かつフレーム画像間で動きがあると判断した場合を「Case_B」とする。この場合のメインCPU11は、フラグCase_PFを0に、フラグCase_MVを1に、それぞれセットしてステップS40へ進む。フラグCase_MVは、フレーム画像間に差分が生じているか否かを示すフラグであ
る。なお、「Case_B」の場合には、たとえば、最至近距離に存在する被写体や、あるいは合焦すべき領域としてユーザーまたはカメラに選択されているエリアに存在する被写体を「主要被写体」として判断して以降の処理を行う。
【0032】
ステップS110において、メインCPU11は、人物が主要被写体でなく、かつフレーム画像間で動きがないと判断する場合を「Case_C」とする。この場合のメインCPU11は、フラグCase_PFを0に、フラグCase_MVを0に、それぞれセットしてステップS40へ進む。
【0033】
ステップS40において、メインCPU11は、フラグCase_PFおよびフラグCase_MVの値に応じて(すなわち、「Case_A」か「Case_B」か「Case_A」かに応じて)評価処理項目を決定し、ステップS50へ進む。図4は、フラグCase_PFおよびフラグCase_MVと、対応する評価処理項目との関係を説明するテーブルである。本実施形態では、テーブル中「ON」と記載の評価処理項目についての評価値を算出し、「OFF」と記載の評価処理項目については評価値の算出を省略する。
【0034】
本実施形態では、評価処理項目41〜評価処理項目46が、N枚のフレーム画像からC枚のフレーム画像を残すためにX枚を排除するための評価値算出に用いる評価因子であるため、不要因子と呼ぶ。Xは、N/2より大きくすると、後述の序列付与処理が軽くなって好適である。また、評価処理項目45〜評価処理項目50は、C枚のフレーム画像に優劣を示す序列を付与するための評価値算出に用いる評価因子であるため、必要因子(または最適評価因子)と呼ぶ。評価処理項目45および46は、不要因子および必要因子間で重複する。各評価因子については後述する。
【0035】
ステップS50において、メインCPU11は、ステップS40において決定した評価処理項目に対応する評価因子を用いて評価値算出を行ってステップS60へ進む。ステップS60において、メインCPU11は、評価値の低い(不要度が高い)方から順番にX枚のフレーム画像(不要画像)を選出するとともに、N枚のフレーム画像から除外してC枚のフレーム画像を残してステップS70へ進む。
【0036】
ステップS70において、メインCPU11は、ステップS40において決定した評価処理項目に対応する評価因子を用いて評価値算出を行ってステップS80へ進む。ステップS80において、メインCPU11は、C枚のフレーム画像のフレーム画像について、評価値の高い方から順番に序列をつけて図3による処理を終了する。
【0037】
上述した評価因子について、以下に詳細に説明する。
<複数人物間接近度検出>
評価処理項目41では、評価対象画像における複数人物間の接近度を示す評価値H1(n)を算出する。メインCPU11は、N枚のフレーム画像を構成する各フレーム画像n(ただし、1≦n≦N)について検出された「顔」領域の面積Sが、あらかじめ設定されている所定面積を超える場合において、以下の値を取得する。面積は、たとえば「顔」領域を構成する画素数で表す。
【0038】
メインCPU11は、フレーム画像nにおいて検出した「顔」であって、該「顔」の面積Sが所定面積を超えるものを計数し、計数した「顔」の数(すなわち人数)をKS(n)とする。そして、フレーム画像nにおいて検出した「顔」領域の面積をSk(n)とする。また、フレーム画像nにおいて「顔」領域の中心に相当する座標を(x_k(n),y_k(n))とする。さら
に、当該「顔」領域の水平方向の辺をLx_k(n)とし、当該「顔」領域の垂直方向の辺をLy_k(n)と表す。ここで、nはN枚の連写画像を構成するフレーム画像を示すフレーム番号であり、kはフレーム画像nにおいて上記所定面積を超えた「顔」領域を示す「顔」番号である。
【0039】
メインCPU11は、KS(n)≦1の場合は、人物間の接近について考慮しないので、複数人物間接近度を示す評価値H1(n)=1とする。一方、KS(n)>1の場合は、以下のループ処理をm回繰り返す。ただし、m=Combination(KS(n),2)である。
たとえば、KS(n)=2の場合を例に説明すると、
R1x=|x_1(n)−x_2(n)|により、「顔」領域の中心間の水平方向の長さxを算出し、
R1y=|y_1(n)+y_2(n)|により、「顔」領域の中心間の垂直方向の長さyを算出し、
R2x=(Lx_1(n)+Lx_2(n))/2により、「顔」領域の水平方向の辺の1/2を加算し、
R2y=(Ly_1(n)+Ly_2(n))/2により、「顔」領域の垂直方向の辺の1/2を加算する。
そして、R1x<R2xまたはR1y<R2yが成立する場合にhm(n)=1とし、上記以外の場合にはhm(n)=0とする。さらに、「顔」の数(すなわち人数)分の全組み合わせをm回繰り返す。
【0040】
以上により、上記hm(n)の総和についてΣhm(n)>0が成立する場合にフレーム画像nでの接近評価値H1(n)=0とする。一方、上記hm(n)の総和についてΣhm(n)=0が成立する場合には接近評価値H1(n)=1とする。
【0041】
<顔部不要物検出>
評価処理項目42では、評価対象画像における「顔」検出の信頼度を示す評価値H2(n)を算出する。メインCPU11は、N枚のフレーム画像を構成する各フレーム画像n(ただし、1≦n≦N)について検出された「顔」領域の面積Sが最大となる「顔」領域について、当該「顔」検出処理時に得られている信頼度情報(最小値0〜最大値を1とする)を取得する。信頼度情報は、「顔」らしさや「顔」曲率の指数を用いてもよい。ここで、「顔」らしさの場合は、顔検出されている「顔」領域の画像から種々の特徴量(色情報、顔の各パーツ(目、鼻、口など)の配置関係の情報など)を抽出し、それらを総合的に判断して「顔」検出の信頼度としての「顔らしさ」を測る。「顔」曲率の場合は、エッジ検出等の手法で抽出された顔の輪郭の曲率が不自然に変化しているか否かを調べることで、「顔」検出の信頼度を算出する。たとえば、抽出したエッジ(輪郭)に対して曲線(または楕円)を当てはめ、急激なエッジの変化(輪郭が滑らかにつながらない)があれば、髪の毛や手などが顔を覆っている等の事情が生じていると推定し、信頼度(評価値H2(n))を
下げる処理をする。メインCPU11は、フレーム画像nでの顔不要部評価値H2(n)=信頼度情報とする。
【0042】
<目瞑り検出>
評価処理項目43では、評価対象画像における目瞑りの有無を示す評価値H3(n)を算出する。メインCPU11は、N枚のフレーム画像を構成する各フレーム画像n(ただし、1≦n≦N)について検出された「顔」領域の面積Sが最大となる「顔」領域について、目瞑り検出を行う。目瞑り検出処理は公知であるため説明を省略する。メインCPU11は、目瞑り検出結果を用いて、目瞑りありの場合にフレーム画像nでの目瞑り評価値H3(n)=0とする。一方、目瞑りなしの場合には、目瞑り評価値H3(n)=1とする。
【0043】
<フレームアウト検出>
評価処理項目44では、「Case_A」の場合は、評価対象画像における「顔」領域が、「Case_B」の場合は、人物以外の主要被写体と推定される「主要被写体」の領域が、フレームから外れているか否かを示す評価値H4(n)を算出する。メインCPU11は、N枚のフ
レーム画像を構成する各フレーム画像n(ただし、1≦n≦N)について検出された「顔」領域(「主要被写体」領域)であって、該「顔」(「主要被写体」)の面積Sが所定面積を超えるもののうち、画面中心から最も遠い「顔」(「主要被写体」)領域についての中心座標(FO_x,FO_y)を取得する。そして、図5(a)および図5(b)に例示するフレームアウトエリアを設定し、取得した(FO_x,FO_y)がフレームアウトエリアに含まれるか否かに応じてフレームアウト評価値H4(n)を以下のように定める。
【0044】
図5(a)は、フレーム画像nが横位置の場合のフレームアウトエリアを例示する図である。メインCPU11は、上記中心座標(FO_x,FO_y)が斜線部51に含まれる場合はフレームアウトに該当し、フレーム画像nでのフレームアウト評価値H4(n)=0とする。一方、上記中心(FO_x,FO_y)が斜線部51に含まれない場合はフレームアウトなしに該当し、フレームアウト評価値H4(n)=1とする。図5(b)は、フレーム画像nが縦位置の場合のフレームアウトエリアを例示する図である。メインCPU11は、横位置の場合と同様に、上記中心座標(FO_x,FO_y)が斜線部52に含まれるか否かに応じてフレームアウト評価値H4(n)を定める。フレーム画像における斜線部51および52の範囲は、たとえば、水平辺の長さに対して左右1/8ずつ、垂直辺の長さに対して下から1/8とする。
【0045】
なお、画面中心から最も遠い「顔」(「主要被写体」)領域についての中心座標(FO_x,FO_y)を用いてフレームアウトか否かを判定する代わりに、ピント合わせに用いられたフォーカスポイント(フォーカスエリア(AFエリア)の中心)のうち画面中心から最も遠いものに対応する座標(FP_x,FP_y)を用いて、当該座標(FP_x,FP_y)が図5(a),図5(b)の斜線部51,52に含まれるか否かに応じてフレームアウトか否かを判定するように構成してもよい。
【0046】
<AF・顔エリアブレ検出/鮮鋭度>
評価処理項目45では、評価対象画像におけるブレの程度を示す評価値H50(n)、および評価対象画像における鮮鋭度を示す評価値H51(n)をそれぞれ算出する。メインCPU11は、N枚のフレーム画像を構成する各フレーム画像n(ただし、1≦n≦N)について検出された「顔」領域の面積Sが最大となる「顔」領域(「Case_A」の場合)について、HPF(ハイパスフィルタ)の出力値の平均値HPF_av(n)を取得する。平均値HPF_av(n)は、「顔」領域に含まれる画素データから高周波数成分を抽出して平均した値であるので、コントラストが高いか低いかを判定するのに好適である。
【0047】
メインCPU11は、HPF_av(n)<HPF_kが成立する場合にフレーム画像nでのブレ評価値H50(n)=HPF_av(n)/ HPF_kとする。一方、HPF_av(n)≧HPF_kが成立する場合にはブレ評価値H50(n)=1とする。ただし、HPF_kは所定値であり、たとえば、あらかじめ合焦した
際に算出したHPF出力値の平均値HPF_av(n)を用いる。
【0048】
また、メインCPU11は、フレーム画像nでの鮮鋭度評価値H51(n)=HPF_av(n)/ HPF_kとする。ただし、HPF_kは上記所定値である。
【0049】
なお、上述した説明では、面積Sが最大の「顔」領域に含まれる画素データついてのHPF(ハイパスフィルタ)の出力平均値HPF_av(n)を取得することにより、「顔」についてのブレ評価値H50(n)、および「顔」についての鮮鋭度評価値H51(n)を得るようにした。この代わりに、ピント合わせに用いられたフォーカスエリア(AFエリア)に含まれる画素データついてのHPF(ハイパスフィルタ)の出力値平均値HPF_av(n)を取得するように構成してもよい(「Case_B」,「Case_C」はこちらの手法を用いる)。AFエリアに含まれる画素データついてHPF(ハイパスフィルタ)の出力平均値を取得することにより、ピント合わせに用いた被写体についてのブレ評価値H50(n)、およびピント合わせに用いた被写体についての鮮鋭度評価値H51(n)が得られる。
【0050】
<全体輝度ヒストグラム>
評価処理項目46では、評価対象画像における白飛びや黒潰れの頻度を示す評価値H6(n)を算出する。メインCPU11は、N枚のフレーム画像を構成する各フレーム画像n(ただし、1≦n≦N)について、画像全体(画像を構成する全画素データを用いて)の輝度ヒストグラムを算出する。最大階調値(8ビットデータの場合は255)の頻度をHLとし、最小階調値(0)の頻度をLLとする。メインCPU11は、白飛び・潰れの規格化頻度割合である評価値H6(n)=(HL+LL)/(全画素数)とする。
【0051】
なお、最大階調値の頻度を所定の第1判定閾値以上となるデータの頻度とし、最小階調値の頻度を所定の第2判定閾値以下となるデータの頻度としてもよい。
【0052】
<顔面積検出>
評価処理項目47では、評価対象画像における「顔」の最大面積を示す評価値H7(n)を算出する。メインCPU11は、N枚のフレーム画像を構成する各フレーム画像n(ただし、1≦n≦N)について検出された「顔」領域の面積Sが最大となる「顔」領域についての面積S(n)を算出する。上述したように、面積は「顔」領域を構成する画素数で表す。メインCPU11は、顔面積評価値H7(n)=S(n)とする。
【0053】
<笑顔度検出>
評価処理項目48では、評価対象画像における「顔」の笑顔度合いを示す評価値H8(n)を算出する。メインCPU11は、N枚のフレーム画像を構成する各フレーム画像n(ただし、1≦n≦N)について検出された「顔」についての笑顔レベルを取得する。笑顔レベルの判定は上記「顔」検出時に行われる。笑顔レベルは、たとえば、レベル3(大笑い)と、レベル2(中笑い)と、レベル1(微笑み)との3段階に分けられる。メインCPU11は、笑顔度評価値H8(n)=笑顔レベルとする。
【0054】
<被写体の大きさ検出>
評価処理項目49では、評価対象画像における被写体の大きさを示す評価値H9(n)を算出する。メインCPU11は、N枚のフレーム画像を構成する各フレーム画像n(ただし、1≦n≦N)について、ピント合わせに用いられたフォーカスエリア(AFエリア)より、中心微小領域(例えば3×3画素)の平均輝度Y0、および平均色(Cr0,Cb0)を求める。図6は、AFエリア61および中心微小領域62を例示する図である。中心微小領域62は、以下に説明する領域解析のための基準エリアである。
【0055】
メインCPU11は、各フレーム画像nにおける平均輝度Y0および平均色(Cr0,Cb0)を用いて、以下の手順で被写体の大きさ評価値H9(n)を算出する。
【0056】
(i)中心微小領域に、1のフラグを立てる。
(ii)周囲の画素値が、所定の許容値rn(ただし、n=1:Y,2:Cr,3:Cb)以内であればFlagを立てる。具体的には、
(|Y(x,y)−Y0|>r1)が成立する場合はFlag1=0をセットし、成立しない場合はFlag1=1をセットする。
(|Cr(x,y)−Cr0|>r2)が成立する場合はFlag2=0をセットし、成立しない場合はFlag2=1をセットする。
(|Cb(x,y)−Cb0|>r3)が成立する場合はFlag3=0をセットし、成立しない場合はFlag3=1をセットする。
上記Flag1〜Flag3について、(Flag1*Flag2*Flag3=1)が成立する場合はFlag=1をセットし、成立しない場合はFlag=0をセットする。
【0057】
(iii)評価対象エリアを基準エリアである微小領域62を囲む辺からスタートし、その周囲辺を段階的に増加させ(第1評価エリア71→第2評価エリア72→第3評価エリア73…)、Flagがすべて0となった時点で処理を終了する。図7は、増加させる評価対象エリア71〜73を例示する図である。
(iv)Flagが1となっている面積Dを算出する。メインCPU11は、第n画像での被写体の大きさ評価値H9(n)=Dとする。
【0058】
<構図最適度検出>
評価処理項目50では、評価対象画像における構図の最適度を示す評価値H10(n)を算出する。メインCPU11は、N枚のフレーム画像を構成する各フレーム画像n(ただし、1≦n≦N)について、ピント合わせに用いられたフォーカスエリア(AFエリア)、または、検出されている「顔」領域についての中心座標(Qx,Qy)を取得する。
【0059】
メインCPU11はさらに、図8に例示するように、画面内に5点の構図評価座標点P1〜P5をそれぞれ設け、その5点と上記中心座標(Qx,Qy)との距離KS(m)(ただし、m=1,2,…5)を次式(2)によりそれぞれ算出する。
【数1】

【0060】
メインCPU11は、5つの距離KS(m)のうち、最小値Min(KS(m))を第n画像での構図評価値H10(n)とする。
【0061】
ここで、上述したステップS60におけるX枚の除外処理(すなわち、C枚の最適候補画像の選出処理)の詳細を説明する。メインCPU11は、以下のように不用画像評価値RMVを算出し、最適候補画像を選出する。ただし、arn,brn,crnは、それぞれ所定係数である。
「Case_A」の場合は、
RMV(n)=ar1*H1(n)+ar2*H2(n)+ar3*H3(n)+ar4*H4(n)+ar5*H50(n)+ar6*H6(n)
とする。
「Case_B」の場合は、
RMV(n)= br4*H4(n)+br5*H50(n)+br6*H6(n)
とする。
「Case_C」の場合は、不要画像評価値RMVの算出は省略する。
【0062】
不要に関する評価値RMVは、0に近づくにつれて不用度が高い。メインCPU11は、入力された全画像(N枚)に対して、各ケース(Case)においてRMV(n)を求め、不要度の高い順にX枚をカウントし、N枚からX枚を除外した残りCが所定画像数(たとえば、5〜10枚のうちいずれかの値)となるようにXを可変させる。上記Cは、最適候補画像数である。
【0063】
上述したステップS80における序列付与処理(すなわちランキング設定処理)の詳細を説明する。メインCPU11は、C枚の最適候補画像について、以下のように最適画像評価値OPTを算出し、ランキング表示または代表(最適)画像を選出する。ただし、aon,bon,conは、それぞれ所定係数である。
「Case_A」の場合は、
OPT(n)=ao5*H51(n)+ao6*H6(n)+ao7*H7(n)+ao8*H8(n)+ao10*H10(n)
とする。
「Case_B」の場合は、
OPT(n)=bo5*H51(n)+bo6*H6(n)+bo9*H9(n)+bo10*H10(n)
とする。
「Case_C」の場合は、
OPT(n)=co5*H51(n)+co6*H6(n)
【0064】
メインCPU11は、選出されたC枚(本例では5〜10枚のうちいずれかの値)の画像に対して、各ケース(Case)においてOPT(n)を求め、この値が高い順にランキングを付けるとともに、この値が最も高い画像を最適候補画像を代表する(最適)画像とする。
【0065】
以上説明した実施形態によれば、次の作用効果が得られる。
(1)電子カメラ1は、入力された画像群に含まれる複数の画像各々に対し、不要因子に基づく評価値をそれぞれ演算するメインCPU11と、該メインCPU11の演算結果に基づいて、当該演算結果が所定条件を満たす画像を画像群から除外処理するメインCPU11と、該除外処理後の画像群に含まれる各画像に対し、不要因子とは異なる因子を含む必要因子に基づく評価値をそれぞれ演算するメインCPU11と、該メインCPU11の演算結果に基づいて、上記除外処理後の画像群の中の各画像に対して序列をつけるメインCPU11と、を含むようにしたので、画像群から迅速にベストショット候補画像を選ぶことができる。
【0066】
(2)上記画像群は、連写撮影された複数の画像を含むようにしたので、連写された画像群から迅速にベストショット候補画像を選ぶことができる。
【0067】
(3)メインCPU11は、画像群を撮影する際の撮影シーンに応じて、不要因子の内容を異ならせるようにしたので、シーンに応じた評価値を算出することができるから、常に同じ不要因子に基づいて評価値を算出する場合に比べて、適切にベストショット候補画像を選ぶことができる。
【0068】
(4)上記(3)のメインCPU11は、画像群に含まれる被写体像の動きの有無、および該被写体像における人物の有無の少なくとも一方に応じて、不要因子の内容を異ならせるようにしたので、被写体の動きや人物の有無を考慮して、適切にベストショット候補画像を選ぶことができる。
【0069】
(5)メインCPU11は、不要因子に基づく演算結果に基づいて、画像群から半数以上の画像を除外するので、除外後の処理負担が軽くなり、除外しない場合に比べて、より迅速にベストショット候補画像を選ぶことができる。
【0070】
(6)不要因子の一部と必要因子の一部とが共通するので、処理の一部を共用しない場合に比べて、全体の処理時間を短縮できる。
【0071】
(7)必要因子は、画像群に含まれる被写体像における人物の表情に関する因子、当該人物の顔面積に関する因子、および当該被写体像のブレに関する因子の少なくとも1つを含むので、適切なベストショット候補画像を選ぶことができる。
【0072】
(変形例1)
上述したステップS50において実行する評価処理項目の数は、不要因子を用いるものであれば、上述した41〜46を全て行わなくても、これらの評価処理項目中から適宜選んで行う構成にしてもよい。また、ステップS70において実行する評価処理項目の数は、必要因子を用いるものであれば、上述した45〜50を全て行わなくても、これらの評価処理項目中から適宜選んで行う構成にしてよい。
【0073】
(変形例2)
上記第1記録方式によって記録媒体30に記録されているC枚の画像を液晶モニタ19に再生表示する場合、メインCPU11は、C枚のうち代表(最適)画像のみを再生表示するように指示されている場合には、代表(最適)画像のみを再生表示させる。一方、C枚の画像を全てを再生表示するように指示されている場合は、ランキング順に1枚ずつ再生表示させたり、複数の画像をランキング情報とともにリスト表示させたりする。
【0074】
また、上記第2記録方式によって記録媒体30に記録されている(A+B)枚の画像を液晶モニタ19に再生表示する場合、メインCPU11は、(A+B)枚のうち代表(最適)画像のみを再生表示するように指示されている場合には、代表(最適)画像のみを再生表示させる。一方、(A+B)枚のうちC枚の画像を再生表示するように指示されている場合は、ランキング順に1枚ずつ再生表示させたり、複数の画像をランキング情報とともにリスト表示させたりする。
【0075】
(変形例3)
図3による処理を行う画像評価処理プログラムを図9に示すコンピュータ装置100に実行させることにより、画像処理装置を構成してもよい。画像評価処理プログラムをパーソナルコンピュータ100に取込んで使用する場合には、パーソナルコンピュータ100のデータストレージ装置にプログラムをローディングした上で、当該プログラムを実行させることによって画像処理装置として使用する。
【0076】
パーソナルコンピュータ100に対するプログラムのローディングは、プログラムを格納したCD−ROMなどの記録媒体104をパーソナルコンピュータ100にセットして行ってもよいし、ネットワークなどの通信回線101を経由する方法でパーソナルコンピュータ100へローディングしてもよい。通信回線101を経由する場合は、通信回線101に接続されたサーバー(コンピュータ)102のハードディスク装置103などにプログラムを格納しておく。画像評価処理プログラムは、記憶媒体104や通信回線101を介する提供など、種々の形態のコンピュータプログラム製品として供給することができる。
【0077】
(変形例4)
上述した図3に例示したフローチャートにおいて、ステップS80の次に、評価値が低い(不要度が高い)X枚のフレーム画像(不要画像)を液晶モニタ19に表示させるように構成してもよい。変形例4では、上記記録方式として(A+B)枚のフレーム画像のうちC枚のフレーム画像を記録媒体30へ記録する第1記録方式が選択されているものとし、たとえば、N=(A+B)=20枚であって、C=5枚の場合を例に説明する。すなわち、20枚のフレーム画像のうち5枚の画像を記録媒体30へ記録する場合に、評価値が低い(不要度が高い)15(=20−5)枚のフレーム画像(不要画像)をユーザーが確認できるように、液晶モニタ19に表示させる。
【0078】
変形例4のメインCPU11は表示画像作成回路14へ指示を送り、液晶モニタ19に図10に例示する表示を行わせる。図10は、液晶モニタ19の表示画面を例示する図である。図10において、領域P11には、除外候補として15枚のフレーム画像(不要画像)がサムネイル表示されている。一方、領域Q11には、保存候補として5枚のフレーム画像がサムネイル表示されている。5枚のフレーム画像の上部に付されている1〜5の数値は、ステップS80において付与された序列を表す。
【0079】
変形例4のメインCPU11は、領域P11内に表示しているフレーム画像のうち、いずれか1つ(たとえば、領域P11内で左上に表示しているもの)のフレーム画像上にカーソルP12を表示させる。メインCPU11は、たとえば、操作部材18を構成する十字スイッチ(不図示)が押下操作された場合に、十字スイッチの操作方向に位置するフレーム画像上へカーソルP12を移動させる。メインCPU11は、操作部材18の押下操作によって「保存候補として選択」を指示する操作がなされると、その時点でカーソルP12によって特定されているフレーム画像を領域Q11内に移動させて保存候補に含める。メインCPU11はさらに、領域Q11内に表示しているフレーム画像のうち序列が最下位のフレーム画像を領域P11内に移動させて除外候補に含める。
【0080】
なお、領域Q11内に表示しているフレーム画像(保存候補)のうち、領域P11内に移動させる(すなわち除外候補に含める)フレーム画像を、操作部材18の押下操作に応じて決定するように構成してもよい。また、「保存候補として選択」を指示する操作がなされると、既に領域Q11内に表示しているフレーム画像(保存候補)の数を減らすことなく、領域Q11内で保存候補にする画像数を増やしてもよい。
【0081】
変形例4のメインCPU11は、操作部材18を構成するOKスイッチ(不図示)が押下操作された場合に、図3に例示したフローチャートによる処理を終了する。メインCPU11は、終了時点において領域Q11内に表示しているフレーム画像を記録媒体30へ記録する。変形例4によれば、一旦除外候補に含まれたフレーム画像でも、ユーザーが保存を希望する場合にはその保存が可能になる。また、除外候補画像と保存候補画像とを異なる領域に区別して表示したので、ユーザーにとってわかりやすく表示できる。
【0082】
(変形例5)
上述した説明では、N枚の画像のうち記録媒体30に保存する画像数Cの値をメニュー操作によって設定(たとえば、C=5枚)しておく例を説明した。変形例5においては、Cの値だけでなくNの値(ただし、N>C)、または、Cの値だけでなくAの値およびBの値(ただし、(A+B)>C)をメニュー操作によって設定可能にしてもよい。これにより、保存候補とする画像数を5枚でなく10枚にしたり、時刻t1(全押し操作信号(すなわち撮影指示)が入力されたタイミング)以前に撮像するフレーム画像の数と、時刻t1以降に撮像されるフレーム画像の数とをユーザー好みの値にすることができる。
【0083】
(変形例6)
変形例6では、不要因子を用いて算出した評価値RMVに差が生じておらず、優劣がつかない場合を説明する。上述したN=20枚のフレーム画像から除外候補として15枚のフレーム画像を選ぶ場合において、たとえば、フレーム画像の評価値RMVを低い(不要度が高い)方から数えた場合に14番目から18番目までの評価値RMVが同じ値であったと仮定する。この場合は、不要因子による評価値RMVのみを比較していたのでは、除外候補の15枚を選ぶことは困難である。しかしながら、何とかして15枚を選ぶためには、不要因子による評価値RMVが低い方から数えて14番目から18番目までの5つのフレーム画像から2枚を選ぶ必要がある。
【0084】
そこで、変形例6のメインCPU11は、上記14番目から18番目のフレーム画像について、たとえば、不要因子のうち複数人物間の接近度を示す評価値H1(n)の値が小さい方から順に2つのフレーム画像を選び、これら2画像を14番目と15番目のフレーム画像とする。このように、不要因子による評価値RMVが同値であって15枚のフレーム画像を選ぶのが困難な場合には、あらかじめ定めた不要因子による評価値(たとえば上記H1(n))の値が小さい方から選ぶことで、確実に除外候補として15枚のフレーム画像を選ぶことができる。なお、評価値H1(n)も同値で優劣がつかない場合は、さらに別の不要因子による評価値、たとえば「顔」検出の信頼度を示す評価値H2(n)の値が小さい方から順に選ぶようにすればよい。
【0085】
(変形例7)
変形例7では、不要因子を用いて算出した評価値RMVに差が生じておらず、優劣がつかない場合の他の例を説明する。上述したN=20枚のフレーム画像から除外候補として15枚のフレーム画像を選ぶ場合において、たとえば、フレーム画像の評価値RMVを低い(不要度が高い)方から数えた場合に14番目から18番目までの評価値RMVが同じ値であったと仮定する。変形例7のメインCPU11は、15番目付近で優劣がつかないフレーム画像を除外候補から外し、除外候補とするフレーム画像を13枚とする。すなわち、不要因子による評価値RMVのみの比較で優劣がつかない14番目から18番目を保存候補へ含め、14番目から20番目までの7枚の画像を保存候補とする。
【0086】
このように、不要因子による評価値RMVが同値であって15枚のフレーム画像を選ぶのが困難な場合には、除外候補とする画像数を減らす(換言すれば、保存候補とする画像数を増やす)。ただし、メインCPU11は、増やした保存候補画像のうち、ステップS80で決めた序列にしたがって上位からC枚(本例では5枚)のフレーム画像を記録媒体30へ記録する。
【0087】
(変形例8)
変形例8では、不要因子を用いて算出した評価値RMVに差が生じておらず、優劣がつかない場合の他の例を説明する。上述したN=20枚のフレーム画像から除外候補として15枚のフレーム画像を選ぶ場合において、たとえば、フレーム画像の評価値RMVを低い(不要度が高い)方から数えた場合に14番目から18番目までの評価値RMVが同じ値であったと仮定する。変形例8のメインCPU11は、除外候補としてのフレーム画像を選ぶことを止めて、N=20枚のフレーム画像の全てを保存候補とする。なお、不要因子による評価値RMVのみの比較で優劣がつかない場合に限らず、N=20枚のフレーム画像の全ての評価値RMVがあらかじめ定めた基準値を下回ってしまう場合にも、除外候補を選ぶことなくN=20枚のフレーム画像を全て保存候補としてもよい。
【0088】
変形例8のメインCPU11は、20枚の保存候補画像のうち、ステップS80で決めた序列にしたがって上位からC枚(本例では5枚)のフレーム画像を記録媒体30へ記録する。
【0089】
(変形例9)
上述した変形例7または変形例8のように、記録媒体30へ保存する画像数C(本例では5枚)より数多くのフレーム画像に序列を付与する場合がある。この場合のメインCPU11は、ステップS80で決めた序列にしたがって上位からC枚(本例では5枚)のフレーム画像を記録媒体30へ記録する。しかしながら、必要因子を用いて算出した最適画像評価値OPTに差が生じておらず、優劣がつかない場合もありえる。
【0090】
たとえば、フレーム画像の最適画像評価値OPTを高い方から数えた場合に3番目から7番目までの最適画像評価値OPTが同じ値であったと仮定する。この場合は、最適画像評価値OPTのみを比較していたのでは5枚を選ぶことは困難である。しかしながら、何とかして5枚を選ぶためには、必要因子による最適画像評価値OPTが高い方から数えて3番目から7番目までの5つのフレーム画像から3枚を選ぶ必要がある。
【0091】
そこで、変形例9のメインCPU11は、上記3番目から7番目までのフレーム画像について、たとえば、必要因子のうち「顔」の最大面積を示す評価値H7(n)の値が大きい方から順に2つのフレーム画像を選び、これら2画像を4番目と5番目のフレーム画像とする。このように、必要因子による最適画像評価値OPTが同値であって5枚のフレーム画像を選ぶのが困難な場合には、あらかじめ定めた必要因子による評価値(たとえば上記H7(n))の値が大きな方から選ぶことで、確実に記録候補として5枚のフレーム画像を選ぶことができる。なお、評価値H7(n)も同値で優劣がつかない場合は、さらに別の必要因子による評価値、たとえば「顔」の笑顔度合いを示す評価値H8(n)の値が大きい方から順に選ぶようにすればよい。それでも優劣がつかない場合は、さらに別の必要因子による評価値であって、被写体の大きさを示す評価値H9(n)の値が大きい方から順に選ぶ。同様に、それでも優劣がつかない場合は、さらに別の必要因子による評価値であって、構図の最適度を示す評価値H10(n)の値が大きい方から順に選ぶ。変形例9によれば、記録媒体30へ保存する5枚のフレーム画像を適切に選ぶことができる。
【0092】
(変形例10)
変形例10では、必要因子を用いて算出した最適画像評価値OPTに差が生じておらず、優劣がつかない場合の他の例を説明する。上述した個々の評価値H7(n)〜H10(n)をそれぞれ用いても優劣がつかない場合のメインCPU11は、以下のように記録候補として5枚のフレーム画像を選ぶ。すなわち、メインCPU11は、記録候補とする複数のフレーム画像のうち、必要因子による評価値H7(n)〜H10(n)のそれぞれで各評価値の序列が1位となるフレーム画像を4つ選ぶ。メインCPU11はさらに、全押し操作信号(すなわち撮影指示)が入力されたタイミング(時刻t1)から最も近いタイミングで取得(撮像)されたフレーム画像を加えた計5画像を記録候補とする。変形例10によれば、記録媒体30へ保存する5枚のフレーム画像を適切に選ぶことができる。
【0093】
(変形例11)
以上説明した不要因子、必要因子を後から追加可能に構成してもよい。たとえば、当初フラッシュメモリ16に格納されていたプログラムに代えて、不要因子および必要因子の少なくとも一方について、新しく追加したり、算出式を変更したりしたバージョンアッププログラムをフラッシュメモリ16に更新記録させる。
【0094】
具体的には、図9に例示したパーソナルコンピュータ100のデータストレージ装置にバージョンアッププログラムを取込んだ上で、該パーソナルコンピュータと電子カメラ1とを不図示の通信ケーブル(たとえばUSBケーブル)を介して接続する。パーソナルコンピュータ100に対するバージョンアッププログラムのローディングは、バージョンアッププログラムを格納したCD−ROMなどの記録媒体104をパーソナルコンピュータ100にセットして行ってもよいし、ネットワークなどの通信回線101を経由する方法でパーソナルコンピュータ100へローディングしてもよい。
【0095】
パーソナルコンピュータ100から電子カメラ1へのバージョンアッププログラムの転送は、上記通信ケーブルを介して供給することができる。メインCPU11は、供給されたバージョンアッププログラムをフラッシュメモリ16に更新記録する。あるいは、パーソナルコンピュータ100によってバージョンアッププログラムを記録媒体30に記録した上で、該記録媒体30を電子カメラ1のカードインターフェース(I/F)17に装着し、メインCPU11が記録媒体30に記録されているバージョンアッププログラムを読み出してフラッシュメモリ16に更新記録するように構成してもよい。変形例11によれば、バージョンアッププログラムに含まれる最新の評価手法に基づく不要因子、必要因子を用いた評価処理を行うことができる。また、ユーザーの好みに合った不要因子、必要因子をバージョンアッププログラムに含めておけば、ユーザー好みの評価処理を行わせることができる。
【0096】
以上の説明はあくまで一例であり、上記の実施形態の構成に何ら限定されるものではない。
【符号の説明】
【0097】
1…電子カメラ
11…メインCPU
14…表示画像作成回路
15…バッファメモリ
18…操作部材
19…液晶モニタ
22…撮像素子


【特許請求の範囲】
【請求項1】
入力された画像群に含まれる複数の画像各々に対し、第1の因子に基づく評価値をそれぞれ演算する第1演算部と、
前記第1演算部の演算結果に基づいて、当該演算結果が所定条件を満たす画像を前記画像群から除外処理する除外部と、
前記除外処理後の前記画像群に含まれる各画像に対し、前記第1の因子とは異なる因子を含む第2の因子に基づく評価値をそれぞれ演算する第2演算部と、
前記第2演算部の演算結果に基づいて、前記除外処理後の前記画像群の中の各画像に対して序列をつける評価処理部とを備え、
前記第1の因子は前記第2の因子にはない因子、前記第2の因子は前記第1の因子にはない因子をそれぞれ含むことを特徴とする画像処理装置。
【請求項2】
請求項1に記載の画像処理装置において、
前記画像群は、連写撮影された複数の画像を含むことを特徴とする画像処理装置。
【請求項3】
請求項1または2に記載の画像処理装置において、
前記第1演算部は、前記画像群を撮影する際の撮影シーンに応じて、前記第1の因子の内容を異ならせることを特徴とする画像処理装置。
【請求項4】
請求項3に記載の画像処理装置において、
前記第1演算部は、前記画像群に含まれる被写体像の動きの有無、および該被写体像における人物の有無の少なくとも一方に応じて、前記第1の因子の内容を異ならせることを特徴とする画像処理装置。
【請求項5】
請求項1〜4のいずれか一項に記載の画像処理装置において、
前記除外部は、前記第1演算部の演算結果に基づいて、前記画像群から半数以上の画像を除外することを特徴とすることを特徴とする画像処理装置。
【請求項6】
請求項1〜5のいずれか一項に記載の画像処理装置において、
前記第1の因子は、前記画像群に含まれる被写体像における複数人物間の接近度に関する因子、前記被写体像における顔の信頼度が低いことを示す顔部不要物に関する因子、前記被写体像における顔の目瞑り検出に関する因子、および前記被写体像の領域がフレームから外れているフレームアウトに関する因子の少なくとも1つを含むことを特徴とする画像処理装置。
【請求項7】
請求項1〜6のいずれか一項に記載の画像処理装置において、
前記第2の因子は、前記画像群に含まれる被写体像における人物の表情に関する因子、当該人物の顔面積に関する因子、および当該被写体像のブレに関する因子、構図の最適度に関する因子の少なくとも1つを含むことを特徴とする画像処理装置。
【請求項8】
請求項1〜7のいずれか一項に記載の画像処理装置において、
前記第1の因子の一部と前記第2の因子の一部は共通する因子を有し、前記共通する因子は、前記画像群を構成する各画像の所定エリアにおける鮮鋭度情報、および前記各画像の全域に亘る輝度分布情報の少なくとも一方を含むことを特徴とする画像処理装置。
【請求項9】
請求項1に記載の画像処理装置において、
前記除外部によって除外される画像を表示装置に表示させる表示制御部をさらに備えることを特徴とする画像処理装置。
【請求項10】
請求項9に記載の画像処理装置において、
前記表示制御部によって前記表示装置に表示された画像のうち所定画像を除外しないように前記除外部を制御する制御部をさらに備えることを特徴とする画像処理装置。
【請求項11】
請求項1に記載の画像処理装置において、
前記第1の因子および前記第2の因子の少なくとも一方の因子を追加するための因子追加部をさらに備えることを特徴とする画像処理装置。
【請求項12】
請求項5に記載の画像処理装置において、
前記除外部は、前記画像群から所定数の画像を除外し、
前記所定数は変更可能に構成されることを特徴とする画像処理装置。
【請求項13】
請求項12に記載の画像処理装置において、
前記除外部は、前記第1演算部の演算結果に基づいて前記所定数の画像を除外できない場合は前記除外を行わず、
前記第2演算部は、前記除外部が前記除外を行わないとき、前記入力された全ての画像群に対して前記第2の因子に基づく評価値をそれぞれ演算し、
前記評価処理部は、前記第2演算部の演算結果に基づいて、前記入力された全ての画像群の中の各画像に対して序列をつけることを特徴とする画像処理装置。
【請求項14】
請求項12に記載の画像処理装置において、
前記除外部は、前記第1演算部の演算結果に基づいて前記所定数の画像を除外できない場合に前記画像群から前記所定数より少ない第2所定数の画像を除外し、
前記第2演算部は、前記除外部が前記2所定数の画像を除外したとき、前記除外処理後の画像群に含まれる各画像に対し、前記第1の因子とは異なる因子を含む第2の因子に基づく評価値をそれぞれ演算し、
前記評価処理部は、前記第2演算部の演算結果に基づいて、前記除外処理後の画像群の中の各画像に対して序列をつけることを特徴とする画像処理装置。
【請求項15】
請求項13または14に記載の画像処理装置において、
前記評価所処理部で付与された前記序列に基づいて、保存対象の画像を選ぶ選択部をさらに備えることを特徴とする画像処理装置。
【請求項16】
請求項15に記載の画像処理装置において、
前記選択部は、前記序列に差がない場合は、撮影指示タイミングから最も近くで取得された画像と前記第2の因子に基づく評価値が最も高い画像とを選ぶことを特徴とする画像処理装置。
【請求項17】
複数の画像を含む画像群を入力する第1処理と、
前記画像群に含まれる各画像に対し、第1の因子に基づく評価値をそれぞれ演算する第2処理と、
前記第2処理の演算結果に基づいて、当該演算結果が所定条件を満たす画像を前記画像群から除外する第3処理と、
前記第3処理後の前記画像群に含まれる各画像に対し、前記第1の因子とは異なる因子を含む第2の因子に基づく評価値をそれぞれ演算する第4処理と、
前記第4処理の演算結果に基づいて、前記第3処理後の前記画像群の中の各画像に対して序列をつける第5処理と、
をコンピュータに実行させ、前記第1の因子は前記第2の因子にはない因子、前記第2の因子は前記第1の因子にはない因子をそれぞれ含むことを特徴とする画像評価プログラム。
【請求項18】
請求項17に記載の画像評価プログラムにおいて、
前記画像群は、連写撮影された複数の画像を含むことを特徴とすることを特徴とする画像評価プログラム。
【請求項19】
請求項17または18に記載の画像評価プログラムにおいて、
前記第2処理は、前記画像群を撮影する際の撮影シーンに応じて、前記第1の因子の内
容を異ならせることを特徴とする画像評価プログラム。
【請求項20】
請求項19に記載の画像評価プログラムにおいて、
前記第2処理は、前記画像群に含まれる被写体像の動きの有無、および該被写体像における人物の有無の少なくとも一方に応じて前記第1の因子の内容を異ならせることを特徴とする画像評価プログラム。
【請求項21】
請求項17〜20のいずれか一項に記載の画像評価プログラムにおいて、
前記第1の因子は、前記画像群に含まれる被写体像における複数人物間の接近度に関する因子、前記被写体像における顔の信頼度が低いことを示す顔部不要物に関する因子、前記被写体像における顔の目瞑り検出に関する因子、および前記被写体像の領域がフレームから外れているフレームアウトに関する因子の少なくとも1つを含むことを特徴とする画像評価プログラム。
【請求項22】
請求項17〜21のいずれか一項に記載の画像評価プログラムにおいて、
前記第2の因子は、前記画像群に含まれる被写体像における人物の表情に関する因子、当該人物の顔面積に関する因子、および当該被写体像のブレに関する因子、構図の最適度に関する因子の少なくとも1つを含むことを特徴とする画像評価プログラム。
【請求項23】
請求項17〜22のいずれか一項に記載の画像評価プログラムにおいて、
前記第1の因子の一部と前記第2の因子の一部は共通する因子を有し、前記共通する因子は、前記画像群を構成する各画像の所定エリアにおける鮮鋭度情報、および前記各画像の全域に亘る輝度分布情報の少なくとも一方を含むことを特徴とする画像評価プログラム。
【請求項24】
請求項17に記載の画像評価プログラムにおいて、
前記第3処理によって除外される画像を表示装置に表示させる第6処理をさらに実行させることを特徴とする画像評価プログラム。
【請求項25】
請求項24に記載の画像評価プログラムにおいて、
前記第3処理は、前記第6処理によって前記表示装置に表示された画像のうち所定画像を除外しないことを特徴とする画像評価プログラム。
【請求項26】
請求項17に記載の画像評価プログラムにおいて、
前記第3処理は、前記第2処理の演算結果に基づいて、前記画像群から所定数の画像を除外し、
前記所定数は変更可能に構成されることを特徴とする画像評価プログラム。
【請求項27】
請求項26に記載の画像評価プログラムにおいて、
前記第3処理は、前記第2処理の演算結果に基づいて前記所定数の画像を除外できない場合は前記除外を行わず、
前記第4処理は、前記第3処理が前記除外を行わないとき、前記第1処理で入力された全ての画像群に対して前記第2の因子に基づく評価値をそれぞれ演算し、
前記第5処理は、前記第4処理の演算結果に基づいて、前記入力された全ての画像群の中の各画像に対して序列をつけることを特徴とする画像評価プログラム。
【請求項28】
請求項26に記載の画像評価プログラムにおいて、
前記第3処理は、前記第2処理の演算結果に基づいて前記所定数の画像を除外できない場合に前記画像群から前記所定数より少ない第2所定数の画像を除外し、
前記第4処理は、前記第3処理が前記2所定数の画像を除外したとき、前記除外処理後の画像群に含まれる各画像に対し、前記第1の因子とは異なる因子を含む第2の因子に基づく評価値をそれぞれ演算し、
前記第5処理は、前記第4処理の演算結果に基づいて、前記第3処理後の画像群の中の各画像に対して序列をつけることを特徴とする画像評価プログラム。
【請求項29】
請求項27または28に記載の画像評価プログラムにおいて、
前記第5処理で付与された前記序列に基づいて、保存対象の画像を選ぶ第7処理をさらに実行させることを特徴とする画像評価プログラム。
【請求項30】
請求項29に記載の画像評価プログラムにおいて、
前記第7処理は、前記序列に差がない場合は、撮影指示タイミングから最も近くで取得された画像と前記第2の因子に基づく評価値が最も高い画像とを選ぶことを特徴とする画像評価プログラム。
【請求項31】
請求項17〜30のいずれか一項に記載の前記画像評価プログラムを実行可能なコンピュータを備え、
複数の画像が記録された記録媒体から前記画像群を入力して、前記処理を行うことを特徴とする画像処理装置。


【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate


【公開番号】特開2012−195949(P2012−195949A)
【公開日】平成24年10月11日(2012.10.11)
【国際特許分類】
【出願番号】特願2012−113344(P2012−113344)
【出願日】平成24年5月17日(2012.5.17)
【分割の表示】特願2011−46188(P2011−46188)の分割
【原出願日】平成23年3月3日(2011.3.3)
【出願人】(000004112)株式会社ニコン (12,601)
【Fターム(参考)】