説明

画像評価方法、画像評価装置、及び印刷装置

【課題】画像情報の評価を、より適切に行うことができる画像評価方法を実現する。
【解決手段】
取得された画像情報について、複数の項目から選択された1つの項目を所定項目として個別に評価し、個別評価を求めるステップと、他の1つの項目を他の所定項目として個別に評価し、他の個別評価を求めるステップと、これらの個別評価と他の個別評価とに基づき、ガウス関数を用いて総合評価を求めるステップと、個別評価、他の個別評価、及び総合評価を、取得された画像情報に付加する評価付加ステップとを行う。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、デジタルカメラ等の撮影装置によって生成された画像情報の品質を評価する画像評価方法及び画像評価装置、並びに、印刷対象となる画像情報の品質を評価する印刷装置に関する。
【背景技術】
【0002】
撮影装置等によって生成された画像情報を評価する方法は、種々提案されている。例えば、手ぶれを評価する方法(例えば、非特許文献1を参照。)やJPEG(Joint Photographic Experts Group)圧縮にて生じた画像のノイズを評価する方法(例えば、非特許文献2を参照。)が提案されている。
【先行技術文献】
【非特許文献】
【0003】
【非特許文献1】「Identification of Blur Parameters from Motion Blurred Image」,Y.Yizhaky and N.S.Kopeika,GRAPHICAL MODELS AND IMAGE PROCESSING Vol.59, No.5, September, pp. 310-320, 1997
【非特許文献2】「A Generalized Block-Edge Impairment Metric for Video Coding」, H.R.Wu and M.Yuen, IEEE SIGNAL PROCESSING LETTERS, VOL.4, NO.11, NOVEMBER 1997
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、前述した各方法は、評価項目を個別に評価するものであった。このため、得られた項目だけでは、適切な評価を行い難いという問題があった。
本発明は、かかる課題に鑑みてなされたものであり、その目的は、画像情報の評価を、より適切に行うことができる画像評価方法及び画像評価装置、並びに、印刷装置を実現することにある。
【課題を解決するための手段】
【0005】
前記目的を達成するための主たる発明は、
評価対象となる画像情報を取得するステップと、
取得された前記画像情報について所定項目を個別に評価し、個別評価を求めるステップと、
取得された前記画像情報について他の所定項目を個別に評価し、他の個別評価を求めるステップと、
前記個別評価と前記他の個別評価とに基づき、総合評価を求めるステップと、
を有する画像評価方法である。
【0006】
本発明の他の特徴は、本明細書、及び添付図面の記載により、明らかにする。
【図面の簡単な説明】
【0007】
【図1】プリンタ1、及び、このプリンタ1に接続されるCD−R装置100の外観を説明する図である。
【図2】プリンタ1の電気的構成を説明するためのブロック図である。
【図3】プリンタ1のメイン処理を説明するフローチャートである。
【図4】メイン処理におけるバックアップ処理(S31)を説明するフローチャートである。
【図5】バックアップ処理における画像評価処理(S120)を説明する図である。
【図6】図6Aは、所定数のブロックBKに分割された画像情報を説明するための概念図である。図6Bは、隣り合う画素同士の輝度差を説明するための概念図である。図6Cは、最もエッジが多いブロックBKを含む評価範囲EVを示す概念図である。
【図7】図7Aは、エッジ画像の生成に使用されるX方向のソーベルフィルタを説明する図である。図7Bは、エッジ画像の生成に使用されるY方向のソーベルフィルタを説明する図である。図7Cは、或る画素P(i,j)を中心とする3×3画素の範囲、及び、この範囲内の画素Pの輝度Yを説明する図である。
【図8】図8Aは、ソーベルフィルタの適用を模式的に説明する図である。図8Bは、勾配の大きさaを模式的に説明する図である。
【図9】図9Aは、シャープなエッジの画像を説明する模式図である。図9Bは、図9Aのエッジに対応する輝度Yのグラフである。図9Cは、ぼやけたエッジの画像を説明する模式図である。図9Dは、図9Cのエッジに対応する輝度Yのグラフである。
【図10】分類されたブロックBK2を模式的に示す図である。
【図11】オブジェクト分割処理にてブロックBK2が再分類される様子を段階的に示す模式図である。
【図12】エッジ強度の方向(θmax)と、手ぶれ方向(θmax+π/2)の関係を説明する模式図である。
【図13】或る方向に連続する画素Pと、各画素Pに対応する輝度Yから得られる関数f(n)を説明する図である。
【図14】自己相関関数を説明するための模式図である。
【図15】輝度Yと、輝度Yの強度差と、輝度Yの変化の滑らかさの一例を示す説明図である。
【図16】判定因子と総合評価値の相関関係を示す図であって、重み付けの違いを示す概念図である。
【図17】ピンぼけ評価値と手ぶれ評価値とに基づき定められた場合の総合評価値を示す概念図である。
【図18】バックアップされる画像情報の確認処理を説明するためのフローチャートである。
【図19】バックアップされた画像情報の表示例を説明する図である。
【発明を実施するための形態】
【0008】
===開示の概要===
本明細書の記載、及び添付図面の記載により、少なくとも次のことが明らかにされる。
【0009】
すなわち、評価対象となる画像情報を取得するステップと、取得された前記画像情報について所定項目を個別に評価し、個別評価を求めるステップと、取得された前記画像情報について他の所定項目を個別に評価し、他の個別評価を求めるステップと、前記個別評価と前記他の個別評価とに基づき、総合評価を求めるステップと、を有する画像評価方法が実現できること。
このような画像評価方法によれば、求められた総合評価は、個別評価と他の個別評価とが反映されるので、より適切な評価を示すものとなる。
【0010】
かかる画像評価方法であって、前記総合評価を求めるステップでは、それぞれに重みが付された前記個別評価と前記他の個別評価とに基づき、前記総合評価を求めること。
このような画像評価方法によれば、個別評価と他の個別評価のそれぞれに重みが付されるので、求められた総合評価は、より適切な評価を示すものとなる。
【0011】
かかる画像評価方法であって、前記総合評価を求めるステップでは、画像の品質に与える影響が大きいほど大きな重みが付された前記個別評価と前記他の個別評価とに基づき、前記総合評価を求めること。
このような画像評価方法によれば、画像の品質の観点から重みが付されるので、求められた総合評価は、より適切な評価を示すものとなる。
【0012】
かかる画像評価方法であって、前記総合評価を求めるステップでは、ガウス関数を用いて前記総合評価を求めること。
このような画像評価方法によれば、総合評価を求めるにあたってガウス関数が用いられるので、総合評価の精度をより高めることができる。
【0013】
かかる画像評価方法であって、前記個別評価を求めるステップでは、ピンぼけの度合いを示す項目、手ぶれの度合いを示す項目、及び、圧縮時に生じるノイズの度合いを示す項目から選択された1つの項目を、前記所定項目として評価し、前記他の個別評価を求めるステップでは、前記ピンぼけの度合いを示す項目、前記手ぶれの度合いを示す項目、及び、前記圧縮時に生じるノイズの度合いを示す項目の内、前記所定項目として選択された項目以外の項目から選択された1つの項目を、前記他の所定項目として評価すること。
このような画像評価方法によれば、画像に影響を与えるピンぼけの度合いを示す項目、手ぶれの度合いを示す項目、及び、圧縮時に生じるノイズの度合いを示す項目から、所定項目及び他の所定項目が選択されるので、総合評価の精度をより高めることができる。
【0014】
かかる画像評価方法であって、前記個別評価、前記他の個別評価、及び前記総合評価を、取得された前記画像情報に付加する評価付加ステップを、さらに有すること。
このような画像評価方法によれば、求められた個別評価、他の個別評価、及び総合評価が、評価対象の画像情報に付加されるので、事後の処理、例えば、レタッチソフト等のコンピュータプログラムやプリンタ等の印刷装置による処理で、評価内容を反映させることができる。
【0015】
かかる画像評価方法であって、取得された前記画像情報について、前記総合評価の対象外となる対象外項目を個別に評価し、総合評価対象外の個別評価を求めるステップを、さらに有すること。
このような画像評価方法によれば、対象外項目についても個別に評価され、総合評価対象外の個別評価が求められるので、より詳細な評価を提供することができる。
【0016】
かかる画像評価方法であって、前記総合評価対象外の個別評価を求めるステップでは、撮影意図とは異なる領域にピントが合っている度合いを示す項目を、前記対象外項目として評価すること。
このような画像評価方法によれば、より詳細な評価を提供することができる。
【0017】
かかる画像評価方法であって、前記総合評価対象外の個別評価を、取得された前記画像情報に付加する他の評価付加ステップを、さらに有する画像評価方法。
このような画像評価方法によれば、総合評価対象外の個別評価が、評価対象の画像情報に付加されるので、事後の処理、例えば、レタッチソフト等のコンピュータプログラムやプリンタ等の印刷装置による処理で、評価内容を反映させることができる。
【0018】
また、評価対象となる画像情報を取得するステップと、取得された前記画像情報について、ピンぼけの度合いを示す項目、手ぶれの度合いを示す項目、及び、圧縮時に生じるノイズの度合いを示す項目から選択された1つの項目を、所定項目として個別に評価し、個別評価を求めるステップと、取得された前記画像情報について、前記ピンぼけの度合いを示す項目、前記手ぶれの度合いを示す項目、及び、前記圧縮時に生じるノイズの度合いを示す項目の内、前記所定項目として選択された項目以外の項目から選択された1つの項目を、前記他の所定項目として個別に評価し、他の個別評価を求めるステップと、画像の品質に与える影響が大きいほど大きな重みがそれぞれに付された、前記個別評価と前記他の個別評価とに基づき、ガウス関数を用いて総合評価を求めるステップと、前記個別評価、前記他の個別評価、及び前記総合評価を、取得された前記画像情報に付加する評価付加ステップと、取得された前記画像情報について、撮影意図とは異なる領域にピントが合っている度合いを示す項目を、前記総合評価の対象外となる対象外項目として個別に評価し、総合評価対象外の個別評価を求めるステップと、前記総合評価対象外の個別評価を、取得された前記画像情報に付加する他の評価付加ステップと、を有する画像評価方法を実現することもできる。
このような画像評価方法によれば、既述のほぼ全ての効果を奏するので、本発明の目的が最も有効に達成される。
【0019】
また、評価対象の画像情報を記憶するメモリと、前記メモリに記憶された前記評価対象の画像情報について、所定項目を個別に評価して個別評価を求め、他の所定項目を個別に評価して他の個別評価を求め、前記個別評価と前記他の個別評価とに基づいて総合評価を求める、コントローラと、を有する画像評価装置を実現することもできる。
【0020】
また、第1の記憶媒体に記憶された印刷対象となる画像情報を、評価対象の画像情報として記憶するメモリと、前記メモリに記憶された前記評価対象の画像情報について、所定項目を個別に評価して個別評価を求め、他の所定項目を個別に評価して他の個別評価を求め、前記個別評価と前記他の個別評価とに基づいて総合評価を求め、前記個別評価、前記他の個別評価、及び前記総合評価を、前記評価対象の画像情報に付加して、第2の記憶媒体に記憶させるための記憶用画像情報を生成する、コントローラと、を有する印刷装置を実現することもできる。
【0021】
===説明の対象===
<画像評価方法が適用される装置について>
評価対象となる画像情報を取得し、取得した画像情報に対する評価を行って評価結果を求める画像評価方法は、種々の装置に適用することができる。例えば、この方法は、画像評価用のコンピュータプログラムがインストールされたパーソナルコンピュータに、適用することができる。また、この方法は、画像情報を扱う種々の装置にも適用することができる。例えば、被写体の光学画像を画像情報に変換する撮影装置や、画像情報に基づいて媒体に画像を印刷する印刷装置にも、適用することができる。本明細書では、印刷装置の一種であるインクジェットプリンタ(以下、単にプリンタという。)を例に挙げて説明を行う。すなわち、メモリカード等(第1の記憶媒体に相当する。)に記憶された印刷対象となる画像情報を評価し、画像情報と対応する評価結果とをCD−R等(recordable compact disc,第2の記憶媒体に相当する。)に記憶させることのできるプリンタについて説明する。
【0022】
===プリンタ===
<プリンタ1の構成について>
まず、プリンタ1の構成について説明する。ここで、図1は、プリンタ1、及び、このプリンタ1に接続されるCD−R装置100の外観を説明する図である。図2は、プリンタ1の電気的構成を説明するためのブロック図である。
【0023】
図1に示すように、プリンタ1の前面部には、操作パネル2、液晶表示部3、及び排紙部4が設けられている。操作パネル2には、各種の操作ボタン5やカードスロット6が設けられている。操作ボタン5はプリンタ1に対する指令を行う際に操作される。また、カードスロット6はメモリカード110(カード型のフラッシュメモリ,図2を参照。)が装着される部分である。このメモリカード110には、例えば、デジタルカメラ120で撮影された画像の画像情報が記憶される。なお、このメモリカード110には、いくつもの種類があるので、各メモリカード110が装着できるように、カードスロット6も複数用意されている。液晶表示部3は、各種の情報を表示する部分である。この液晶表示部3は、メニューを表示させたり、印刷対象となる画像を表示させたりする部分である。本実施形態では、この液晶表示部3を操作ボタン5の上方に配置している。排紙部4には、開閉可能な排紙トレーが設けられている。排紙トレーは、上部を前方に倒すことができるように取り付けられている。そして、この排紙トレーは、印刷時において、印刷済みの用紙(媒体の一種に相当する。)が載せられる台として機能する。一方、プリンタ1の背面部には、給紙部7と各種のコネクタ(図示せず。)とが設けられている。給紙部7は、印刷に用紙を重ねて保持可能な部分である。また、コネクタは、CD−R装置100やデジタルカメラ120等の外部装置と接続するための部分である。
【0024】
図1の例において、CD−R装置100はケーブル102を介してプリンタ1に接続されている。なお、プリンタ1への接続は、ケーブル102に限らず無線であってもよい。このCD−R装置100は、メモリカード110に記憶された画像情報を、CD−R104にバックアップする際に用いられる。また、このCD−R装置100をプリンタ1に接続することにより、CD(compact disc,図示せず。)やCD−R104に記憶された画像情報を印刷することもできる。
【0025】
次に、プリンタ1の電気的構成について説明する。図2に示すように、プリンタ1は、ヘッドユニット20、用紙搬送機構30、キャリッジ移動機構40、検出器群50、プリンタ側コントローラ60、液晶表示部3、操作ボタン5、及びカードスロット6を有する。また、これらの他に、プリンタ1は、ホストコンピュータ130と接続するための第1のインタフェース(I/F)12と、デジタルカメラ120やCD−R装置100と接続するための第2のインタフェース14とを有している。
【0026】
ヘッドユニット20は、インクを用紙に向けて吐出させるためのものであり、インクを吐出するヘッド22と、ヘッド22を制御するヘッド制御部24とを有する。このヘッドユニット20は、キャリッジ(図示せず)に取り付けられており、キャリッジ移動機構40によって、キャリッジ移動方向(用紙の搬送方向と直行する方向,所定方向に相当する。)に移動される。用紙搬送機構30は、媒体を搬送させる媒体搬送部に相当する。この用紙搬送機構30は、媒体としての用紙を、印刷可能な位置に送り込んだり、この用紙を搬送方向に所定の搬送量で搬送させたりするものである。そして、この用紙搬送機構30は、例えば、給紙ローラ、搬送ローラ及び搬送モータ等(いずれも図示せず。)によって構成されている。キャリッジ移動機構40は、ヘッドユニット20が取り付けられたキャリッジを、キャリッジ移動方向に移動させるものである。このキャリッジ移動機構40は、例えば、キャリッジモータ、タイミングベルト、及びプーリー等(いずれも図示せず。)によって構成されている。検出器群50は、プリンタ1の状態を検出するためのものであり、例えば、キャリッジの位置を検出するためのリニア式エンコーダ、搬送ローラ等の回転量を検出するためのロータリー式エンコーダ、及び用紙の有無を検出するための紙検出器(いずれも図示せず。)が含まれる。
【0027】
プリンタ側コントローラ60は、プリンタ1の制御を行うものである。このプリンタ側コントローラ60は、CPU62と、メモリ64と、駆動信号生成回路66と、制御ユニット68とを有する。CPU62は、プリンタ1の全体的な制御を行うための演算処理装置である。そして、このCPU62は、メモリカード110等に記憶された画像情報をCD−R104に記憶させる際において、対象となる画像情報について評価を行い、得られた評価を画像情報に付加して記憶用画像情報を生成するためのコントローラに相当する。なお、画像情報の評価や記憶については、後で詳しく説明する。メモリ64は、CPU62のプログラムを格納する領域や作業領域等を確保するためのものであり、RAM、EEPROM、ROM等の記憶素子によって構成される。そして、画像情報の評価時において、メモリ64には評価対象の画像情報が格納される。駆動信号生成回路66は、共通に使用される駆動信号を生成するものである。この駆動信号生成回路66で生成された駆動信号は、ヘッド22が有するピエゾ素子(図示せず。)に印加される。そして、ヘッド制御部24は、CPU62から送られてくるヘッド制御信号に基づき、駆動信号のピエゾ素子への印加を制御する。制御ユニット68は、制御対象となる各部とCPU62との間に配置され、CPU62からのコマンドに基づいてモータ用の駆動信号を生成したり、各部から送られてくる信号を、CPU62が解釈できる形態にして出力したりする。
【0028】
<プリンタ1の動作について>
次に、このプリンタ1の動作について説明する。このプリンタ1は、画像情報のバックアップ機能に特徴を有している。このため、以下の説明は、画像情報のバックアップに関する部分について詳細に行うこととし、他の部分については簡単に行う。ここで、図3は、プリンタ1のメイン処理を説明するフローチャートである。なお、これらの処理は、メモリ64に格納されたプログラムに基づき、CPU62によって行われる。このため、CPU62を動作させるコンピュータプログラムは、これらの処理を実現させるためのコードを有する。
【0029】
まず、メイン処理について説明する。このメイン処理では、最初に、メニュー操作の有無が判断される(S10)。この処理では、例えば、操作ボタン5に対する操作の有無に関する判断が行われる。そして、操作ボタン5に対する操作がない場合には、ホストコンピュータ130からの印刷データについて、受信の有無が判断される(S11)。ここで、印刷データを受信した場合には、受信した印刷データに基づく印刷が実行される(S12)。すなわち、ヘッド22から吐出させたインクを、用紙に着弾させて画像を形成する。また、印刷データを受信しなかった場合、及び、印刷データに基づく印刷が終了した場合には、ステップS10に戻って、メニュー操作の有無が判断される。
【0030】
また、ステップS10にてメニュー操作があったと判断された場合には、その操作の内容に応じた処理が行われる。この場合、まず、操作の内容が、外部デバイスに格納された画像情報の印刷を指示するものか否かが判断される(S20)。ここで、外部デバイスとは、プリンタ1とは別個の記憶媒体であって、印刷対象となる画像情報が記憶されたものを意味する。例えば、デジタルカメラ120やカードスロット6に装着されたメモリカード110が該当する。また、CD−R装置100に装着されたCDやCD−R104も該当する。なお、デジタルカメラ120で撮影された画像情報は、縦横8ピクセルを1つのブロックとして圧縮するJPEG形式のものが一般的である。そして、操作の内容が、外部デバイスに格納された画像情報の印刷を指示する場合には、この画像情報に基づく印刷が実行される(S21)。
【0031】
また、操作の内容が、外部デバイスに格納された画像情報の印刷ではなかった場合には、画像情報のバックアップを指示するものか否かが判断される(S30)。そして、操作の内容が、画像情報のバックアップを指示する場合には、メモリカード110(第1の記憶媒体に相当する。)に記憶された画像情報を、CD−R104(第2の記憶媒体に相当する。)に記憶させるための処理が行われる(S31)。なお、本実施形態では、このバックアップ処理において、画像情報の評価も行われる。そして、バックアップ処理、及び、画像情報の評価処理については、後で詳しく説明する。また、操作の内容が、その他の処理を指示する場合には、その指示内容に応じた処理が行われる(S40)。
【0032】
===画像情報の評価・バックアップ===
<バックアップ処理の概略について>
次に、画像情報の評価処理、及び、バックアップ処理について説明する。ここで、図4は、メイン処理におけるバックアップ処理(S31)を説明するフローチャートであって、処理の概略を説明するものである。
【0033】
この処理では、まず、評価画像情報の取得が行われる(S110)。ここで、評価画像情報とは、評価の対象となる画像情報のことである。この処理では、バックアップ対象となる画像情報の中から評価画像情報が1つ定められ、この評価画像情報がメモリ64に記憶される。従って、バックアップ対象となる画像情報が複数ある場合には、その中の1つが評価画像情報として取得される。また、バックアップ対象となる画像情報が1つである場合には、その画像情報が評価画像情報として取得される。評価画像情報が取得されたならば、画像評価処理が行われる(S120)。この画像評価処理では、評価画像情報に関し、定められた複数の項目のそれぞれについて評価が行われる。そして、複数の評価結果から総合評価が求められる。なお、この画像評価処理については、後で説明する。
【0034】
評価画像情報に関する評価を行ったならば、全ての画像情報について評価が行われたか否かが判断される(S130)。ここで、未評価の画像情報がある場合には、ステップS110に戻って前述した処理が行われる。一方、全ての画像情報について評価が行われた場合には、バックアップされる画像情報を確認する処理が行われる(S140)。この処理では、画像評価処理(S120)での評価結果に基づき、基準を満たさない画像情報に関してバックアップの対象とするか否かを、操作者に確認することが行われる。そして、この確認処理を経ることで、バックアップされる画像情報が確定される。なお、この確認処理についても後で説明する。そして、バックアップされる画像情報が確定されたならば、確定された画像情報をCD−R104に書き込む(S150)。この書き込み処理では、ステップS120で求められた評価結果(評価の内容)を、評価対象の画像情報と共に記憶させる。例えば、Exif(exchangeable image file format)における付属情報として、評価結果が記憶される。
【0035】
===画像評価処理について===
次に、取得された評価画像に対する画像評価処理(S120)について詳細に説明する。ここで、図5は、画像評価処理を説明するためのフローチャートである。
【0036】
本実施形態のプリンタ1は、この画像評価処理に特徴を有している。すなわち、評価画像情報について、まず、所定項目を個別に評価して個別評価を求めている。次に、他の所定項目を個別に評価して他の個別評価を求めている。さらに、求められた個別評価と、他の個別評価に基づいて総合評価を求めている。要するに、複数の評価項目を個別に評価し、各個別評価結果から総合評価を求めている点に特徴を有している。具体的には、この画像評価処理において、評価範囲の設定(S210)、ピンぼけ評価(S220)、ミスフォーカス評価(S230)、手ぶれ評価(S240)、ブロックノイズ評価(S250)、総合評価(S260)、及び評価結果の記憶(S270)の処理が行われる。そして、ピンぼけ評価(S220)、手ぶれ評価(S240)、及び、ブロックノイズ評価(S250)の内の1つの処理が、前述した個別評価に相当し、残りの2つの処理が、他の個別評価に相当する。なお、ミスフォーカス評価(S230)は、総合評価対象外の個別評価に相当する(後述する。)。
【0037】
以下、各処理について説明する。なお、以下の説明では、画像中の水平方向をX方向とし、垂直方向をY方向とする。また、画素P(図6B等を参照。)は、水平方向の位置を符号iで,垂直方向の位置を符号jで説明することが慣用的に行われている。このため、画素Pについては、これらの符号i,jを用いて説明することにする。
【0038】
<評価範囲の設定(S210)について>
まず、評価範囲の設定処理について説明する。ここで、図6Aは、所定数のブロックBKに分割された画像情報を説明するための概念図である。図6Bは、隣り合う画素同士の輝度差を説明するための概念図である。図6Cは、最もエッジが多いブロックBKを含む評価範囲EVを示す概念図である。なお、評価範囲EVとは、ピンぼけ評価(S220)及び手ぶれ評価(S240)が行われる範囲である。本実施形態では、画像情報に対応する全体範囲の一部分が、評価範囲EVとして定められる。すなわち、最もエッジが多いブロックBKに基づき、評価範囲EVが定められる。
【0039】
評価範囲EVを設定するにあたり、CPU62は、評価画像情報から輝度画像情報を生成する。ここで、輝度画像は、色の情報を含まない輝度Y(明るさを示す情報)で構成された画像であり、輝度画像情報は、この輝度画像の基となる情報である。本実施形態において、CPU62は、RGBの階調値で示される評価画像情報を、YIQの色空間で表現される画像情報に変換する。これにより、輝度Yを示すYチャネルの情報が取得される。そして、得られたYチャネルの情報が輝度画像情報となり、輝度画像情報に基づいて表示等される画像が輝度画像となる。
【0040】
次に、CPU62は、輝度画像情報の全体を複数の矩形状ブロックBKに分割する。本実施形態では、図6Aに示すように、縦方向に16等分、横方向に16等分された256個のブロックBKに分割する。なお、図示の都合上、図6Aには、全体範囲の一部分について、ブロックBKを示している。ブロックBKに分割したならば、CPU62は、輝度画像における水平方向に隣り合う画素同士について輝度差を算出する。そして、輝度差の絶対値をブロックBK毎に合計する。
【0041】
仮に、1つのブロックBKが、図6Bに示すように、左上端の画素P(i,j)から右下端の画素P(i+3,j+2)の12画素で構成されているとする。この場合、CPU62は、画素P(i+1,j)の輝度Y(i+1,j)から画素P(i,j)の輝度Y(i,j)を減算することで、これらの画素同士の輝度差を得る。同様に、CPU62は、画素P(i+2,j)の輝度Y(i+2,j)から画素P(i+1,j)の輝度(i+1,j)を減算することで、これらの画素同士の輝度差を得る。このような演算を、画素P(i+3,j+2)と画素P(i+2,j+2)の組まで順に行う。そして、輝度差の絶対値を合計することで、そのブロックBKにおける水平方向の輝度差の合計を得る。
【0042】
水平方向の輝度差についてブロックBK毎の合計を算出したならば、CPU62は、輝度画像における垂直方向について同様の処理を行う。すなわち、垂直方向に隣り合う画素同士について輝度差を算出し、輝度差の絶対値をブロックBK毎に合計する。図6Bの例で説明すると、画素P(i,j+1)と画素P(i,j)の組から画素P(i+3,j+2)と画素P(i+3,j+1)の組まで、順次画素同士の輝度差を算出し、輝度差の絶対値を合計する。
【0043】
そして、全てのブロックBKについて水平方向と垂直方向の輝度差(絶対値)の合計が得られたならば、ブロックBK毎に、水平方向の輝度差の合計と垂直方向の輝度差の合計とを加算し、そのブロックBKにおける輝度差の総合計を得る。そして、得られた輝度差の総合計を各ブロックBKで比較し、総合計の最も大きいブロックBKを特定する。ここで、水平方向と垂直方向における輝度差の合計は絶対値であるため、輝度差の総合計が最も大きいブロックBKとは、水平方向に隣り合う画素同士と垂直方向に隣り合う画素同士とを総合的に判断して輝度差が最も大きいブロックBKに相当する。すなわち、エッジの数が最も多いブロックBKと考えられる。例えば、図6Aの画像情報では、人物の顔の部分が最も輝度差が多くなると考えられる。このため、人物の顔の部分に対応するブロックBKが、輝度差の総合計の最も大きいブロックBK(max)と特定される。
【0044】
輝度差の総合計が最も大きいブロックBK(max)が特定されたならば、CPU62は、評価範囲EVを設定する。この評価範囲EVは、輝度差の総合計の最も大きいブロックBK(max)が中央部分に配置される位置に定められ、且つ、画像情報に対応するサイズを所定比率で縮小したサイズに定められる。例えば、図6Cに示すように、0.25の比率(画像情報に対応するサイズを、16等分したサイズ)に定められる。
【0045】
<ピンぼけ評価(S220)について>
次に、ピンぼけ評価について説明する。ここで、図7Aは、エッジ画像の生成に使用されるX方向のソーベルフィルタを説明する図である。図7Bは、エッジ画像の生成に使用されるY方向のソーベルフィルタを説明する図である。図7Cは、或る画素P(i,j)を中心とする3×3画素の範囲、及び、この範囲内の画素Pの輝度Yを説明する模式図である。図8Aは、ソーベルフィルタの適用を模式的に説明する図である。図8Bは、勾配の大きさa(後述する。)を模式的に説明する図である。図9Aは、シャープなエッジの画像を説明する模式図である。図9Bは、図9Aのエッジに対応する輝度Yのグラフである。図9Cは、ぼやけたエッジの画像を説明する模式図である。図9Dは、図9Cのエッジに対応する輝度Yのグラフである。
【0046】
ピンぼけ評価値は、ピンぼけの度合いを示している。そして、ピンぼけ評価は、エッジの幅(以下、エッジ幅WEともいう。)に基づいて行われる。すなわち、エッジの可能性の高い画素Pについてエッジ幅WEを取得した後、取得されたエッジ幅WEの平均値(平均エッジ幅WEav)を求める。そして、求められた平均エッジ幅WEavを正規化してピンぼけ評価値とする。ここで、ピンぼけ評価値は、個別評価値の一種であり、総合評価値を求める際に用いられる。従って、項目としてのピンぼけ評価は、総合評価の対象となる個別評価に相当する。本実施形態において、ピンぼけ評価値は0〜10の整数によって構成される。例えば、ピントがシャープである程「0」に近い値となり、ピンぼけの度合いが大きい程「10」に近い値となる。
【0047】
このピンぼけ評価は、前述した評価範囲EVの画像情報に対して行われる。このため、CPU62は、まず評価画像情報(RGBの階調値)をYIQの画像情報に変換する。そして、CPU62は、輝度Yを示すYチャネルの情報に対して評価範囲EVを定め、この評価範囲EVの輝度画像情報を生成する。評価範囲EVの輝度画像情報が得られたならば、この輝度画像情報に対して水平方向(X方向)のソーベルフィルタ(図7A)、及び、垂直方向(Y方向)のソーベルフィルタ(図7B)を適用する。ソーベルフィルタは3×3の9要素からなる行列である。このようなソーベルフィルタを適用することにより、エッジ勾配dx,dy(水平方向のエッジ勾配dx,垂直方向のエッジ勾配dy)が得られる。言い換えると、水平方向について輝度Yの変化の大きい画素Pを示す画像と、垂直方向について輝度Yの変化の大きい画素Pを示す画像とが得られる。要するに、水平方向のエッジ勾配画像と、垂直方向のエッジ勾配画像とが得られる。
【0048】
ここで、ソーベルフィルタの適用について簡単に説明する。例えば、図7Cに示す画素P(i,j)にソーベルフィルタを適用するということは、その画素Pの近傍に存在する3×3画素Pの輝度Y(i−1,j−1)〜(i+1,j+1)に対して、ソーベルフィルタの対応する要素との積を算出し、得られた9個の積について和を求めるということである。画素P(i,j)に対してX方向のソーベルフィルタを適用した場合、適用結果としてのエッジ勾配dx(i,j)は、次の式(1)によって表すことができる。
【数1】

【0049】
X方向のソーベルフィルタ、及び、Y方向のソーベルフィルタを適用した結果、図8Aに斜線で示すように、或る画素P(i,j)と、この画素P(i,j)を囲む8個の画素Pとから、この画素P(i,j)についての水平方向のエッジ勾配dxと垂直方向のエッジ勾配dyとが求められる。エッジ勾配dx,dyが得られたならば、CPU62は、勾配の大きさa(i,j)とエッジ方向θ(i,j)を、評価範囲EV内の各画素Pについて求める。ここで、勾配の大きさa(i,j)は、エッジであることを示す度合いに相当する。この勾配の大きさa(i,j)は、図8Bに示すベクトルの大きさとして表され、例えば次の式(2)に基づいて算出される。また、エッジ方向θ(i,j)は、水平方向のエッジ勾配dxと垂直方向のエッジ勾配dyの比によって定められる方向である。すなわち、図8Bに示すように、エッジ方向θ(i,j)は、エッジ勾配dxのベクトルとエッジ勾配dyのベクトルの和の方向であり、隣接する複数のエッジで構成される線に対して略直交する方向となる。
【数2】

【0050】
勾配の大きさa(i,j)とエッジ方向θ(i,j)を求めたならば、CPU62は、エッジ方向θに基づき、各画素Pを水平方向のエッジと垂直方向のエッジに分類する。そして、分類された方向におけるエッジ幅WEを算出する。本実施形態では、エッジ方向θが水平方向に近ければ、その画素Pのエッジは水平方向に分類し、エッジ方向θが垂直方向に近ければ、その画素Pのエッジは垂直方向に分類するようにしている。具体的には、エッジ方向θが45°未満のときには水平方向に分類し、エッジ方向θが45°〜90°のときには垂直方向に分類するようにしている。そして、CPU62は、分類された方向について、エッジ幅WE(i,j)を求める。ここで、エッジ幅WE(i,j)は、対象となる画素P(i,j)を含む範囲に定められ、この範囲において輝度Yが極大値となる最初の画素Pから輝度Yが極小値となる最初の画素Pまでの距離(すなわち画素数)である。例えば、図9Aの画像はエッジがシャープであるため、エッジ幅WE1は十分に小さい値として求められる。一方、図9Cの画像はエッジがぼやけているため、エッジ幅WE2は、エッジ幅WE1よりも大きな値として求められる。
【0051】
このようにして、評価範囲EVの各画素Pについてエッジ幅WEを求めたならば、CPU62は、求めたエッジ幅WEを合計して総エッジ幅WEa(=ΣWE)を算出する。そして、この総エッジ幅WEaを総エッジ数Neで除算することにより、エッジ1つあたりの平均エッジ幅WEav(=WEa/Ne)を求める。そして、求められた平均エッジ幅WEavに基づき、「0」〜「10」のピンぼけ評価値を取得する。例えば、平均エッジ幅WEavに関して想定し得る最大値と最小値とを定め、最小値から最大値までの範囲を等分することで、平均エッジ幅WEavとピンぼけ評価値の相関テーブルを作成する。この相関テーブルを例えばメモリ64に記憶しておき、得られた平均エッジ幅WEavを相関テーブルにあてはめることで、ピンぼけ評価値を取得する。
【0052】
<ミスフォーカス評価(S230)について>
次に、ミスフォーカス評価について説明する。ここで、図10は、分類されたブロックBK2を模式的に示す図である。また、図11は、オブジェクト分割処理にてブロックBK2が再分類される様子を段階的に示す模式図である。
【0053】
このミスフォーカス評価では、総合ミスフォーカス評価値MSが求められる。この総合ミスフォーカス評価値MSは、評価画像がミスフォーカスである度合いを示すものである。ここで、ミスフォーカスとは、撮影意図とは異なる領域にピントが合っている状態を示す。従って、総合ミスフォーカス評価値MSは、撮影意図とは異なる領域にピントが合っている度合いを示すものである。なお、この総合ミスフォーカス評価値MSは、総合評価(S260)において用いられない。これは、ミスフォーカスであるか否かは、撮影者の主観によるところが大きいからである。このため、評価項目としてのミスフォーカスは、総合評価の対象外となる対象外項目に相当する。
【0054】
ミスフォーカス評価は、評価画像情報の全体に対して行われる。このため、CPU62は、評価画像情報を変換して得られたYIQの画像情報から輝度画像情報を得る。輝度画像情報が得られたならば、CPU62は、この輝度画像情報に対して水平方向のソーベルフィルタ(図7A)、及び、垂直方向のソーベルフィルタ(図7B)を適用し、水平方向のエッジ勾配画像と垂直方向のエッジ勾配画像とを得る。これらのエッジ勾配画像が得られたならば、エッジ勾配dx,dyに基づき、エッジ勾配の大きさa(i,j)とエッジ方向θ(i,j)を求める。次に、CPU62は、求めたエッジ方向θに基づき、各画素Pを水平方向のエッジと垂直方向のエッジに分類する。そして、分類された方向におけるエッジ幅WEを算出する。なお、これらの処理は、前述した処理と同様であるので、説明は省略する。
【0055】
次に、エッジ勾配の大きさa(i,j)やエッジ幅WE(i,j)に基づき、各画素Pにおけるミスフォーカスの度合い示す画素ミスフォーカス評価値M(i,j)を求める。この画素ミスフォーカス評価値M(i,j)は、次式(3)で示されるように、エッジ幅WE(i,j)とエッジ勾配の大きさa(i,j)の比によって定められる。このため、画素ミスフォーカス評価値M(i,j)は、エッジ勾配の大きさa(i,j)が大きいほど小さな値となり、エッジ幅WE(i,j)が小さいほど小さな値となる。このことから、はっきりとしたエッジである程、画素ミスフォーカス評価値M(i,j)は小さな値を示すことが判る。
【数3】

【0056】
なお、本実施形態において、エッジ勾配の大きさa(i,j)の値がほぼ「0」の場合、画素ミスフォーカス評価値M(i,j)には、評価不能を示す値(例えば、アスタリスク)を設定するようにした。評価不能となる場合としては、例えば、輝度Yの変化が少ない部分が想定される。具体的には、空や海等の画素Pが該当する。
【0057】
各画素Pについて画素ミスフォーカス評価値M(i,j)を演算したならば、CPU62は、輝度画像情報をm個×n個のブロックBK2に分割する。ここで、m個及びn個は、任意の整数である。そして、この処理におけるブロックBK2は、評価範囲EVの設定処理(S210)におけるブロックBKと揃えてもよく、別個に定めてもよい。ブロックBK2に分割したならば、CPU62は、ブロック単位のミスフォーカス評価値(便宜上、ブロックミスフォーカス評価値M2ともいう。)を取得する。このブロックミスフォーカス評価値M2(m,n)は、ブロックBK2内の各画素Pにおける画素ミスフォーカス評価値M(i,j)の中から最大値を抽出することで取得される。
【0058】
次に、CPU62は、各ブロックBK2を、ピントが外れているミスフォーカスブロックBK2(M)、或いは、ピントが合っているインフォーカスブロックBK2(I)に分類する。この分類は、ブロックミスフォーカス評価値M2(m,n)を、ブロック分類用の閾値と比較することによってなされる。具体的に説明すると、CPU62は、ブロックミスフォーカス評価値M2(m,n)とブロック分類用の閾値とをメモリ64から読み出し、ブロックミスフォーカス評価値M2(m,n)がブロック分類用の閾値よりも大きい場合には、そのブロックBK2をミスフォーカスブロックBK2(M)に分類する。一方、ブロック分類用の閾値よりも小さい場合には、そのブロックBK2をインフォーカスブロックBK2(I)に分類する。この分類により、ブロック分類(m,n)が得られる。例えば、図10に示すように、得られたブロック分類(m,n)は、ミスフォーカスブロックBK2(M)と、インフォーカスブロックBK2(I)と、評価不能ブロックBK2(O)とを有する。なお、評価不能ブロックBK2(O)は、そのブロックBK2に属する全ての画素Pについて、画素ミスフォーカス評価値M(i,j)が評価不能を示したブロックBK2を意味する。
【0059】
次に、CPU62は、オブジェクト分割処理を実行する。このオブジェクト分割処理は、散在するインフォーカスブロックBK2(I)やミスフォーカスブロックBK2(M)を周辺のブロックに埋没させ、同種のブロックを連続して配置するための処理である。本実施形態において、このオブジェクト分割処理は、ベイズの定理に基づいて行われる。簡単に説明すると、CPU62は、近接するブロックBK2の分類を考慮して、各ブロックBK2がミスフォーカスブロックBK2(M)である場合の事後確率と、インフォーカスブロックBK2(I)である場合の事後確率とを演算する。次に、CPU62は、演算した事後確率が高い方の分類で、ブロック分類を更新する。そして、図11に示すように、事後確率の演算処理とブロック分類の更新処理とを繰り返し行うことで、全てのブロックBK2を、インフォーカスブロックBK2(I)か、ミスフォーカスブロックBK2(M)の何れかに分類するようにしている。
【0060】
オブジェクト分割処理を実行したならば、CPU62は、インフォーカスブロックBK2(I)とミスフォーカスブロックBK2(M)とに基づいて、評価画像情報についてのミスフォーカス評価値(便宜上、総合ミスフォーカス評価値MSともいう。)を求める。この総合ミスフォーカス評価値MSは、例えば0〜10の整数によって構成される。例えば、評価画像について、ミスフォーカスの可能性が低い程「0」に近い値とされ、ミスフォーカスの可能性が高い程「10」に近い値とされる。そして、この総合ミスフォーカス評価値MSは、インフォーカスブロックBK2(I)及びミスフォーカスブロックBK2(M)の数、インフォーカスブロックBK2(I)とミスフォーカスブロックBK2(M)の比率、及び、ミスフォーカスブロックBK2(M)の評価画像情報における位置などに基づき判断される。この判断基準は、種々選択することができる。例えば、ミスフォーカスブロックBK2(M)について、評価画像情報に対する割合が大きい程、総合ミスフォーカス評価値MSを高くしている。また、評価画像情報における上下左右の四辺に対し、インフォーカスブロックBK2(I)が接している辺の数が少ない程、総合ミスフォーカス評価値MSを高くしている。なお、この判断は一例であり、その他の判断基準であっても採用することができる。
【0061】
<手ぶれ評価(S240)について>
次に、手ぶれ評価について説明する。ここで、図12は、エッジ強度の方向(θmax)と、手ぶれ方向(θmax+π/2)の関係を説明する模式図である。図13は、或る方向に連続する画素Pと、各画素Pに対応する輝度Yから得られる関数f(n)を説明する図である。図14は、自己相関関数を説明するための模式図である。
【0062】
この手ぶれ評価では、手ぶれ評価値が求められる。この手ぶれ評価値は、評価画像における手ぶれの度合いを示すものであり、総合評価を求める際に用いられる。このため、評価項目としての手ぶれ評価は、総合評価の対象となる個別項目に相当する。
【0063】
まず、手ぶれ評価の概略について説明する。手ぶれは、露光時におけるカメラの動きによって生じ、カメラの動く方向に被写体が流される現象をいう。このため、本実施形態の手ぶれの評価では、被写体が流された度合いを示すようにしている。まず、手ぶれ方向(θmax+π/2)を求め、求めた手ぶれ方向に沿って、画素Pと輝度Yの関数f(n)を求める。そして、求めた関数f(n)について、次の式(4)に示される自己相関関数ACFk(τ)を求め、この自己相関関数ACFk(τ)が最も低い値となる変位τを手ぶれ量としている。
【数4】

【0064】
すなわち、手ぶれが生じた場合には、被写体における或る点は、手ぶれ量に相当する範囲に亘って線として撮される。そして、この線は、被写体における同じ点であるため、色に関して高い相関性がある。このため、手ぶれ方向について画素Pと輝度Yの関数f(n)を求め、求めた関数f(n)について手ぶれ方向に画素Pをずらしながら自己相関関数ACFk(τ)を算出することで、手ぶれ量を取得することができる。要するに、自己相関関数ACFk(τ)が最も低くなる変位τが、手ぶれ量であると考えられる。そして、CPU62は、取得した手ぶれ量から手ぶれ評価値を求める。この手ぶれ評価値は、手ぶれ量を正規化したものである。すなわち、手ぶれ量を正規化して手ぶれ評価値を得る。ここで、手ぶれ評価値も、ピンぼけ評価値と同様に、0〜10の整数によって構成される。例えば、手ぶれ量が小さい程「0」に近い値となり、手ぶれ量が大きい程「10」に近い値となる。
【0065】
以下、手ぶれ評価について具体的に説明する。この手ぶれ評価も、前述した評価範囲EVにおける輝度Yに基づいて行われる。このため、CPU62は、評価画像情報に基づくYIQの画像情報から評価範囲EVの輝度画像情報を得る。次に、CPU62は、輝度画像情報に対して水平方向のソーベルフィルタ(図7A)、及び、垂直方向のソーベルフィルタ(図7B)を適用し、水平方向のエッジ勾配画像dxと垂直方向のエッジ勾配画像dyを得る。エッジ勾配画像dx,dyが得られたならば、評価範囲EVにおいて、最もエッジが明確に現れている角度を判断する。ここで、図12に示すように、CPU62は、1/2円について判定角度θn(n:1〜32)毎に、エッジ強度E(n)を次の式(5)に基づいて算出する。この式(5)より、エッジ強度E(n)は、cosθ・dx+sinθ・dyの絶対値(ABS)の和で示され、判定角度θnの方向に対するエッジ勾配の総和であることが判る。
【数5】

【0066】
そして、得られたエッジ強度E(n)に基づき、最もエッジ強度の強い角度θmaxを取得する。この角度θmaxは、最も多くエッジが現れている方向ということができる。仮に、露光時に手ぶれが生じていたとすると、手ぶれと同じ方向のエッジは、手ぶれと同じ方向に流されてぼやけてしまう。しかし、手ぶれ方向と垂直な方向のエッジは、手ぶれと同じ方向に流されたとしてもエッジとして残り易い。これらのことから、最もエッジ強度の強い角度θmaxとは、手ぶれ方向と垂直な方向であるということができる。従って、この角度θmaxに対して垂直な角度θmax+π/2は、手ぶれ方向と同じ角度であるということができる。
【0067】
このようにして手ぶれ方向を取得したならば、図13に示すように、CPU62は、手ぶれ方向に沿う画素群を定め、これらの画素群から輝度Yについての関数f(n)を定める。次に、CPU62は、前述した式(4)に基づき、この関数f(n)と、変位τだけシフトした関数f(n+τ)とについて、自己相関関数ACFf(τ)を求める。
【0068】
すなわち、CPU62は、自己相関関数ACFf(τ)が最低になる変位τを手ぶれ量として求める。式(4)から判るように、自己相関関数ACFk(τ)は、元となる関数f(n)と、この関数を変位τだけシフトさせた関数f(n+τ)との積を、N個の画素(つまり、n=0〜N−1の画素)のそれぞれについて算出し、その平均値(1/N)として得られる。ここで、変位τが0であるとすると、関数f(n)の各画素と関数f(n+τ)の各画素とが一致しているため、自己相関関数ACFk(τ)が最も高くなる。そして、変位τが1,2…と増えていく毎に、関数f(n+τ)が関数f(n)からずれていく。これにより、関数f(n)の各画素と関数f(n+τ)の各画素との一致度合いが低くなる。その結果、変位τが増える毎に、自己相関関数ACFk(τ)も低くなる。そして、手ぶれ量に相当する変位τが設定されると、図13に点線で示すように、関数f(n+τ)が関数f(n)と重ならなくなるので、自己相関関数ACFk(τ)が最低値を示す。さらに変位τを増やすと、関数f(n)と関数f(n+τ)との相関はなくなるので、自己相関関数ACFk(τ)は、前述した最低値よりは高い値を示すが、定まらない値となる。
【0069】
例えば、図14に示すように、水平方向に3画素分の手ぶれが生じた場合には、その画素の輝度Yは、或る画素P(i,j)から3画素隣の画素P(i+3,j)に亘って、同じような値を示す。この場合、変位τが4(画素)になると、関数f(n)のぶれ部分と関数f(n+τ)のぶれ部分とが重ならなくなるので、自己相関関数ACFf(τ)が最低値を示す。このように、自己相関関数ACFf(τ)において、最低値を示す変位τは、手ぶれ量を示すといえる。
【0070】
なお、手ぶれ量の検出精度を上げるために、複数のサンプルラインを定め、各サンプルラインで求められた自己相関関数ACFk(τ)に基づいて、手ぶれ量を取得してもよい。このようにすると、円弧軌跡に沿って手ぶれが生じた場合等において、手ぶれ量を精度良く取得することができる。
【0071】
このようにして、手ぶれ量を求めたならば、CPU62は、求めた手ぶれ量に基づき、「0」〜「10」の手ぶれ評価値を取得する。例えば、手ぶれ量に関して想定し得る最大値と最小値とを定め、最小値から最大値までの範囲を等分することで、手ぶれ量と手ぶれ評価値の相関テーブルを作成する。この相関テーブルを例えばメモリ64に記憶しておき、得られた手ぶれ量を、相関テーブルにあてはめることで、手ぶれ評価値を取得する。
【0072】
<ブロックノイズ評価(S250)について>
次に、ブロックノイズ評価について説明する。ここで、図15は、輝度Yと、輝度Yの強度差と、輝度Yの変化の滑らかさの一例を示す説明図である。
【0073】
まず、ブロックノイズについて説明する。ブロックノイズとは、JPEG圧縮に伴ってブロック境界に生じ得る輝度Yの差を意味する。なお、ここでのブロックは、JPEG圧縮の1単位となるブロックを意味する。そして、ブロックノイズ評価では、ブロックノイズ評価値が求められる。このブロックノイズ評価値は、ブロック境界に生じるノイズの度合い、つまり、圧縮時に生じるノイズの度合いを示すものであり、例えば0〜10の整数によって構成される。例えば、評価画像情報について、ブロックノイズの度合いが低い程「0」に近い値とされ、度合いが高い程「10」に近い値とされる。このブロックノイズ評価値も、総合評価を求める際に用いられる。このため、評価項目としてのブロックノイズは、総合評価の対象となる個別項目に相当する。
【0074】
ブロックノイズ評価は、評価画像情報の全体に対して行われる。このため、CPU62は、評価画像情報に基づくYIQの画像情報から輝度画像情報を得る。輝度画像情報が得られたならば、CPU62は、この輝度画像情報から水平方向と垂直方向における各画素間の輝度差を計算する。この輝度差の計算方法は、評価範囲の設定(S210)で説明したものと同様であるので、説明は省略する。輝度差が得られたならば、水平方向の輝度差ddx,垂直方向の輝度差ddyに基づき、水平方向の各画素Pにおける輝度Yの変化の滑らかさと、垂直方向の各画素Pにおける輝度Yの変化の滑らかさとを計算する。ここで、水平方向の画素Pにおける輝度Yの変化の滑らかさを、水平方向の滑らかさsx(i,j)で示し、垂直方向の画素Pにおける輝度Yの変化の滑らかさを、垂直方向の滑らかさsy(i,j)で示すことにする。
【0075】
水平方向の滑らかさsx(i,j)は次式(6)で示され、垂直方向の滑らかさsy(i,j)は次式(7)で示される。これらの式(6),式(7)から判るように、滑らかさsx,syは、連続する3つの画素Pについて、1番目の画素Pの輝度差から2番目の画素Pの輝度差を減算した値の絶対値と、2番目の画素Pの輝度差から3番目の画素Pの輝度差を減算した値の絶対値との和で表される。滑らかさsx,syを計算したならば、CPU62は、JPEG圧縮に用いられたブロックの境界に位置する画素P(以下、境界画素ともいう。)について、水平方向の滑らかさの平均ave(psx)、及び、垂直方向滑らかさの平均ave(psy)を計算する。また、CPU62は、境界画素以外の画素P(以下、内側画素ともいう。)について、水平方向の滑らかさの平均ave(nsx)、及び、垂直方向の滑らかさの平均ave(nsy)を計算する。
【数6】

【0076】
例えば、CPU62は、水平方向の境界画素における滑らかさの平均ave(psx)の計算を、xが8の倍数のsx(x,y)の総和をその個数で割ることで行う。また、CPU62は、垂直方向の境界画素における滑らかさの平均ave(psy)の計算を、yが8の倍数のsx(x,y)の総和をその個数で割ることで行う。さらに、CPU62は、内側画素についても同様な計算を行う。例えば、CPU62は、内側画素における輝度Yの変化の滑らかさの平均ave(nsx)の計算を、xが8の倍数ではないsx(x,y)の総和をその個数で割ることで行う。また、CPU62は、垂直方向の内側画素における輝度Yの変化の滑らかさの平均ave(nsy)を、yが8の倍数ではないsx(x,y)の総和をその個数で割ることで行う。
【0077】
そして、水平方向のブロックノイズ評価値Bhは、内側画素における水平方向の滑らかさの平均ave(nsx)に対する、境界画素における水平方向の滑らかさの平均ave(psx)の比[ave(psx)/ave(nsx)]によって計算される。同様に、垂直方向のブロックノイズ評価値Bvは、内側画素における垂直方向の滑らかさの平均ave(nsy)に対する、境界画素における垂直方向の滑らかさの平均ave(psy)の比[ave(psy)/ave(nsy)]によって計算される。さらに、評価画像情報におけるブロックノイズ評価値Bは、水平方向のブロックノイズ評価値Bhと垂直方向のブロックノイズ評価値Bvの平均として求められる。本実施形態では、得られた値を0〜10の範囲で正規化してブロックノイズ評価値Bとしている。すなわち、ブロックノイズが全くない画像では値0となり、想定される最大レベルのブロックノイズが生じている画像では値10となる。
【0078】
<総合評価(S260)について>
次に、総合評価について説明する。ここで、図16は、判定因子と総合評価値の相関関係を示す図であって、重み付けの違いを示す概念図である。図17は、ピンぼけ評価値と手ぶれ評価値とに基づき定められた場合の総合評価値を示す概念図である。
【0079】
総合評価とは、画像情報についての評価であって、2以上の項目に対する評価に基づく複合的な評価のことである。この総合評価では、項目毎に重み付けがなされている。すなわち、重みが大きい項目は、重みが小さい項目よりも総合評価に与える影響が大きくなっている。本実施形態では、重み付けをガウス関数によって行っている。このガウス関数は、次の式(8)で示されるものであり、一般には正規分布を表す。
【数7】

【0080】
この式(8)において、qnは判定因子であり、ピンぼけ評価因子qと、手ぶれ評価因子qと、ブロックノイズ評価因子のqとが相当する。ここで、判定因子qnは、「0」から「1」の範囲で正規化されており、「0」に近い程画質が悪いことを示し、「1」に近い程画質が良いことを示す。従って、ピンぼけ評価因子qに関しては、「0」に近い程ピントがずれていることを示し、「1」に近いほどピントがあっていることを示している。また、手ぶれ評価因子qに関しては、「0」に近い程手ぶれが大きいことを示し、「1」に近い程手ぶれが小さいことを示している。さらに、ブロックノイズ評価因子qに関しては、「0」に近い程ブロックノイズが大きいことを示し、「1」に近い程ブロックノイズが小さいことを示している。そして、前述したピンぼけ評価値、手ぶれ評価値、及びブロックノイズ評価値から、ピンぼけ評価因子qと、手ぶれ評価因子qと、ブロックノイズ評価因子qを求めるにあたり、式(9)〜式(11)の変換処理を行っている。これらの式(9)〜式(11)に基づき、式(8)は、式(12)のように表現することができる。
【0081】
式(8)において、Vnは重み係数である。そして、式(12)に示すように、この重み係数Vnは、ピンぼけ評価に対する重み係数Vと、手ぶれ評価に対する重み係数Vと、ブロックノイズ評価に対する重み係数Vが相当し、それぞれの項目に応じた値に定められる。本実施形態では、ピンぼけ評価に対する重み係数Vが0.5であり、手ぶれ評価に対する重み係数Vが0.3であり、ブロックノイズ評価に対する重み係数Vが0.4である。この重み係数Vnの2乗は、正規分布における分散σに相当する。従って、図16に実線で示すように、重み係数Vnが大きい程、立ち上がりが緩やかになる。また、点線で示すように、重み係数Vnが小さい程、立ち上がりが急峻になる。このことは、重み係数Vnが大きいほど、総合評価に与える影響が大きいことを意味する。例えば、ピンぼけ評価因子qと手ぶれ評価因子qの2つの因子とで考えた場合、図17に示すように、それぞれの重みに応じて総合評価値qovが定められる。
【0082】
本実施形態では、同様な考えに基づき、3つの因子から総合評価値qovが定められる。ここで、ピンぼけ評価に対する重み係数Vが最も大きく、ブロックノイズ評価に対する重み係数Vが2番目に大きい。また、手ぶれ評価に対する重み係数Vが最も小さい。これは、一般的に、ピンぼけが画質に与える影響の方が、ブロックノイズが画質に与える影響よりも大きいことによる。また、ブロックノイズが画質に与える影響の方が、手ぶれが画質に与える影響よりも大きいことによる。そして、CPU62は、式(12)の演算を行うことにより、総合評価値を算出する。すなわち、ピンぼけ評価因子qと、手ぶれ評価因子qと、ブロックノイズ評価因子qとから総合評価値qovを求める。
【0083】
このようにして求められた総合評価値qovによれば、評価画像を適切に評価することができる。これは、次の理由による。第1に、複数の評価項目から総合評価を求める際に、項目毎に重みを定めているからである。これにより、適切な評価を得ることができる。第2に、各項目の重み付けを、画像の品質に与える影響に基づいて行ってからである。すなわち、画像の品質に与える影響が大きい項目ほど、大きな重みを付しているので、より適切な評価を示す総合評価値を求めることができる。第3に、ガウス関数を用いて総合評価値qovを求めているからである。すなわち、ガウス関数を用いて総合評価値を求めているため、各項目の評価値、及び、各項目に付された重みに基づき、総合評価値を精度良く算出することができる。
【0084】
また、本実施形態では、総合評価値qovを求める際に用いられない項目(対象外項目)、具体的にはミスフォーカスについても評価を行っている。このように、総合評価値の算出に用いられない項目についても評価を行っているので、操作者に対して詳細な評価を提供することができる。
【0085】
<評価結果の記憶(S270)について>
次に、CPU62は、得られた評価結果を、評価画像情報に関連付けてメモリ64に記憶する。ここで、CPU62は、ピンぼけ評価値、総合ミスフォーカス評価値MS、手ぶれ評価値、ブロックノイズ評価値、及び総合評価値に、評価画像情報に対応付けるための情報を付して、メモリ64に記憶する。例えば、評価画像情報のファイル名を示す情報を付して記憶する。そして、評価結果を記憶させたならば、CPU62は、バックアップ対象となる全ての画像について評価されるまで、前述した処理を繰り替えし行う(S130)。
【0086】
===バックアップ情報の確認について===
次に、バックアップされる画像情報の確認処理(S140)について説明する。ここで、図18は、この確認処理を説明するためのフローチャートである。
【0087】
この確認処理は、画像評価処理(S120)の後になされる。そして、この確認処理では、求められた総合評価値が判断基準値以下の画像情報について、バックアップするか否かを操作者に確認する。ここで、バックアップする旨の確認がとれた画像情報は、総合評価値が判断基準値を越えている画像情報とともに、CD−R104等の記憶媒体に記憶される(S150)。
【0088】
このような確認を行うため、確認処理では、まず、判断基準値以下の画像情報を抽出する処理が行われる(S310)。この処理でCPU62は、メモリ64に記憶された評価結果を参照し、参照した評価結果を判断基準値と比較する。そして、判断基準値以下の画像情報を抽出する。本実施形態において、CPU62は、各画像情報における総合評価値を参照する。そして、この総合評価値が例えば「6」以下であった場合には、その画像情報は、判断基準値以下のものとして抽出される。なお、抽出結果は、例えばファイル名の情報であり、メモリ64に記憶される。
【0089】
次に、判断基準値以下の画像情報の表示が行われる(S320)。ここで、判断基準値以下の画像情報が複数ある場合、本実施形態では1つの画像情報を表示するようにしている。これは、プリンタ1に設けられる液晶表示部3には大きさに制限があり、サムネイル表示させてしまうと、画像の確認が困難になってしまうからである。この場合において、表示される順番は任意に定めることができる。本実施形態では、ファイル名順に表示させるようにしている。一般に、デジタルカメラ120で撮影された画像情報は、連番のファイル名が付されている。このため、ファイル名順に表示させると、操作者にとって判りやすいという利点がある。
【0090】
画像情報の表示が行われたならば、操作者からの確認を待つ(S330)。ここで、CPU62は、操作部からの信号を監視しており、この信号に基づいて確認操作の有無を判断する。また、CPU62は、操作部からの信号に基づき、その画像情報をバックアップ対象とするか否かを認識する。言い換えれば、バックアップ対象とするか否かを示す確認情報を取得する。そして、確認情報が得られたならば、この確認情報に基づき、CPU62は、バックアップ対象とされる画像情報のリストを更新する。そして、未確認の画像情報の有無を確認し(S340)、未確認の画像情報があればステップS320の処理に戻り、次の画像情報について同様の処理を行う。また、抽出された全ての画像情報について確認がなされたならば、バックアップされる画像情報を確定する(S350)。
【0091】
バックアップされる画像情報が確定されたならば、確定された画像情報がCD−R104に書き込まれる(S150)。このとき、CPU62は、バックアップ対象となる画像情報に、画像評価処理で得られた各評価値の情報を付加し、書き込み用の画像情報(記憶用画像情報に相当する。)を生成する。本実施形態では、画像情報に、総合評価値、及び、それを求めるために用いられたピンぼけ評価値、手ぶれ評価値、及びブロックノイズ評価値を付加している。加えて、総合評価値を求める際に使用されなかった総合ミスフォーカス評価値MSも付加している。例えば、画像情報がExifに対応しているならば、これらの情報をExifの付属情報として記憶させる。また、Exifに対応していない場合には、これらの情報を、画像情報の付属ファイルとして記憶させる。そして、生成された書き込み用の画像情報は、ケーブル102を経由する等してCD−R装置100に転送され、CD−R104に記憶される。そして、このような処理が行われるステップS150は、評価付加ステップ及び他の評価付加ステップに相当する。
【0092】
===バックアップされた画像情報の使用について===
次に、CD−R104にバックアップされた画像情報の使用について説明する。ここで、図19は、バックアップされた画像情報の表示例を説明する図である。この表示例は、パーソナルコンピュータで動作する画像表示ソフトのものである。図19に示した表示例では、画像情報用の表示領域の下方に、評価項目用の表示領域が設けられている。そして、評価項目用の表示領域は左右に分かれており、左側領域には各個別評価が表示され、右側領域には総合評価とコメントが表示されている。このように、各個別評価や総合評価を表示させることにより、画像表示ソフトの使用者は、この画像の客観的な評価を知ることができる。そして、この評価は、印刷や修正等を判断するにあたり、補助的な情報として使用できる。また、画像情報をサムネイル画像で表示させた場合には、マウスカーソル等がサムネイル画像上に位置付けられた際に、評価項目用の表示画像をポップアップ表示させる構成が好ましい。この様な表示態様を採ることにより、サムネイル画像のような、画質の目視による確認が難しい画像であっても、拡大表示等をすることなく評価を認識できるので好ましい。この場合において、パーソナルコンピュータのCPUは、マウスカーソル等の指示位置を示す指示位置情報に基づき、対応する画像情報に付加された評価結果をポップアップ表示させるコントローラとして機能する。
【0093】
また、画像情報に評価結果が付加されているので、この評価結果を印刷装置に参照させることにより、画像情報を補正した状態で印刷ができる。これにより、特別な操作なしで印刷品質の向上が図れる。
【0094】
===その他の実施の形態===
上記の実施形態は、印刷装置としてのプリンタ1について記載されているが、この実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれることはいうまでもない。特に、以下に述べる実施形態であっても、本発明に含まれるものである。
【0095】
まず、前述した実施形態において、バックアップ対象となる画像情報を記憶する記憶媒体(第1の記憶媒体に相当する。)は、メモリカード110に限られない。例えば、ホストコンピュータ130が有するハードディスク装置や、このホストコンピュータ130に装着されるフレキシブルディスクであってもよい。同様に、画像情報がバックアップされる記憶媒体(第1の記憶媒体に相当する。)は、CD−R104に限定されない。例えば、光磁気ディスクであってもよい。この場合、プリンタ1には光磁気ディスク装置(図示せず)が接続される。また、画像評価を行う装置は、プリンタ1に限られない。例えば、レタッチソフト(画像加工ソフト)が動作するパーソナルコンピュータであってもよい。また、デジタルカメラ120であってもよい。
【0096】
また、画像評価の手順に関し、前述した実施形態では、バックアップ対象となる全ての画像情報について評価を行い、その後バックアップ対象となる画像情報を確定している。そして、確定された画像情報についてバックアップを行っている。この点に関し、バックアップ対象となる画像情報毎に、評価と、バックアップの確認と、バックアップとをセットにして行うようにしてもよい。また、評価項目は、説明された各項目に限定されない。また、総合評価を求める基となる項目の数も複数であればよい。すなわち、2つであってもよいし、4つ以上であってもよい。
【符号の説明】
【0097】
1 プリンタ,2 操作パネル,3 液晶表示部,4 排紙部,5 操作ボタン,
6 カードスロット,7 給紙部,12 第1のインタフェース,
14 第2のインタフェース,20 ヘッドユニット,22 ヘッド,
24 ヘッド制御部,30 用紙搬送機構,40 キャリッジ移動機構,
50 検出器群,60 プリンタ側コントローラ,100 CD−R装置,
102 ケーブル,104 CD−R,110 メモリカード,
120 デジタルカメラ,130 ホストコンピュータ,EV 評価範囲,P 画素,
Y 輝度,WE エッジ幅,WEav 平均エッジ幅,dx 水平方向のエッジ勾配,
dy 垂直方向のエッジ勾配,M 画素ミスフォーカス評価値,
M2 ブロックミスフォーカス評価値,MS 総合ミスフォーカス評価値,
BK ブロック,BK2 ブロック,BK2(M) ミスフォーカスブロック,
BK2(I) インフォーカスブロック,BK2(O) 評価不能ブロック,
Bh 水平方向のブロックノイズ評価値,Bv 垂直方向のブロックノイズ評価値

【特許請求の範囲】
【請求項1】
評価対象となる画像情報を取得するステップと、
取得された前記画像情報について所定項目を個別に評価し、個別評価を求めるステップと、
取得された前記画像情報について他の所定項目を個別に評価し、他の個別評価を求めるステップと、
前記個別評価と前記他の個別評価とに基づき、総合評価を求めるステップと、
を有する画像評価方法。
【請求項2】
請求項1に記載の画像評価方法であって、
前記総合評価を求めるステップでは、
それぞれに重みが付された前記個別評価と前記他の個別評価とに基づき、前記総合評価を求める、画像評価方法。
【請求項3】
請求項2に記載の画像評価方法であって、
前記総合評価を求めるステップでは、
画像の品質に与える影響が大きいほど大きな重みが付された前記個別評価と前記他の個別評価とに基づき、前記総合評価を求める、画像評価方法。
【請求項4】
請求項2又は請求項3に記載の画像評価方法であって、
前記総合評価を求めるステップでは、
ガウス関数を用いて前記総合評価を求める、画像評価方法。
【請求項5】
請求項1から請求項4のいずれかに記載の画像評価方法であって、
前記個別評価を求めるステップでは、
ピンぼけの度合いを示す項目、手ぶれの度合いを示す項目、及び、圧縮時に生じるノイズの度合いを示す項目から選択された1つの項目を、前記所定項目として評価し、
前記他の個別評価を求めるステップでは、
前記ピンぼけの度合いを示す項目、前記手ぶれの度合いを示す項目、及び、前記圧縮時に生じるノイズの度合いを示す項目の内、前記所定項目として選択された項目以外の項目から選択された1つの項目を、前記他の所定項目として評価する、画像評価方法。
【請求項6】
請求項1から請求項5のいずれかに記載の画像評価方法であって、
前記個別評価、前記他の個別評価、及び前記総合評価を、取得された前記画像情報に付加する評価付加ステップを、さらに有する画像評価方法。
【請求項7】
請求項1から請求項6のいずれかに記載の画像評価方法であって、
取得された前記画像情報について、前記総合評価の対象外となる対象外項目を個別に評価し、総合評価対象外の個別評価を求めるステップを、さらに有する画像評価方法。
【請求項8】
請求項7に記載の画像評価方法であって、
前記総合評価対象外の個別評価を求めるステップでは、
撮影意図とは異なる領域にピントが合っている度合いを示す項目を、前記対象外項目として評価する、画像評価方法。
【請求項9】
請求項7又は請求項8に記載の画像評価方法であって、
前記総合評価対象外の個別評価を、取得された前記画像情報に付加する他の評価付加ステップを、さらに有する画像評価方法。
【請求項10】
評価対象となる画像情報を取得するステップと、
取得された前記画像情報について、ピンぼけの度合いを示す項目、手ぶれの度合いを示す項目、及び、圧縮時に生じるノイズの度合いを示す項目から選択された1つの項目を、所定項目として個別に評価し、個別評価を求めるステップと、
取得された前記画像情報について、前記ピンぼけの度合いを示す項目、前記手ぶれの度合いを示す項目、及び、前記圧縮時に生じるノイズの度合いを示す項目の内、前記所定項目として選択された項目以外の項目から選択された1つの項目を、前記他の所定項目として個別に評価し、他の個別評価を求めるステップと、
画像の品質に与える影響が大きいほど大きな重みがそれぞれに付された、前記個別評価と前記他の個別評価とに基づき、ガウス関数を用いて総合評価を求めるステップと、
前記個別評価、前記他の個別評価、及び前記総合評価を、取得された前記画像情報に付加する評価付加ステップと、
取得された前記画像情報について、撮影意図とは異なる領域にピントが合っている度合いを示す項目を、前記総合評価の対象外となる対象外項目として個別に評価し、総合評価対象外の個別評価を求めるステップと、
前記総合評価対象外の個別評価を、取得された前記画像情報に付加する他の評価付加ステップと、
を有する画像評価方法。
【請求項11】
(A)評価対象の画像情報を記憶するメモリと、
(B1)前記メモリに記憶された前記評価対象の画像情報について、
(B2)所定項目を個別に評価して個別評価を求め、
(B3)他の所定項目を個別に評価して他の個別評価を求め、
(B4)前記個別評価と前記他の個別評価とに基づいて総合評価を求める、コントローラと、
を有する画像評価装置。
【請求項12】
(a)第1の記憶媒体に記憶された印刷対象となる画像情報を、評価対象の画像情報として記憶するメモリと、
(b1)前記メモリに記憶された前記評価対象の画像情報について、
(b2)所定項目を個別に評価して個別評価を求め、
(b3)他の所定項目を個別に評価して他の個別評価を求め、
(b4)前記個別評価と前記他の個別評価とに基づいて総合評価を求め、
(b5)前記個別評価、前記他の個別評価、及び前記総合評価を、前記評価対象の画像情報に付加して、第2の記憶媒体に記憶させるための記憶用画像情報を生成する、コントローラと、
を有する印刷装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図10】
image rotate

【図11】
image rotate


【公開番号】特開2010−165360(P2010−165360A)
【公開日】平成22年7月29日(2010.7.29)
【国際特許分類】
【出願番号】特願2010−25555(P2010−25555)
【出願日】平成22年2月8日(2010.2.8)
【分割の表示】特願2005−57450(P2005−57450)の分割
【原出願日】平成17年3月2日(2005.3.2)
【出願人】(000002369)セイコーエプソン株式会社 (51,324)
【Fターム(参考)】