画像処理装置、画像処理プログラムを記録した記録媒体および画像処理方法
【課題】 一つの評価基準だけでは偏りが生じる可能性があった。
【解決手段】画像処理の中枢をなすコンピュータ２１はステップＳ１２０，Ｓ１４０にて異なる評価基準で画素の画像データをサンプリングしておくとともに、ステップＳ１８０にて入力される画像評価オプションに基づいてステップＳ１９２〜Ｓ１９６にて重み付け係数ｋを決定し、この決定した重み付け係数ｋを使用してステップＳ３１０にて集計結果を合算して輝度分布ヒストグラムを生成することにより、複数の評価基準を合算した総合的な集計結果に基づいて画像を評価し、ステップＳ３１０〜Ｓ３５０にて最適な画像処理を実行することができる。
【解決手段】画像処理の中枢をなすコンピュータ２１はステップＳ１２０，Ｓ１４０にて異なる評価基準で画素の画像データをサンプリングしておくとともに、ステップＳ１８０にて入力される画像評価オプションに基づいてステップＳ１９２〜Ｓ１９６にて重み付け係数ｋを決定し、この決定した重み付け係数ｋを使用してステップＳ３１０にて集計結果を合算して輝度分布ヒストグラムを生成することにより、複数の評価基準を合算した総合的な集計結果に基づいて画像を評価し、ステップＳ３１０〜Ｓ３５０にて最適な画像処理を実行することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタル写真画像のような実写の画像データに基づいて画像を評価する画像評価方法、画像評価プログラムを記録した媒体および画像評価装置に関する。
【背景技術】
【０００２】
ディジタル写真画像のような実写の画像データに対して各種の画像処理が行われている。例えば、コントラストを拡大するとか、色調を補正するとか、明るさを補正するといった画像処理である。これらの画像処理は、通常、マイクロコンピュータで実行可能となっており、操作者がモニタ上で画像を確認して必要な画像処理を選択したり、画像処理のパラメータなどを決定している。すなわち、画像の特徴を操作者が判定して各種の操作を選択したり実行している。
【０００３】
近年、画像処理の技法については各種のものが提案され、実際に効果を発揮している。しかしながら、どの技法でどの程度の処理を行うかとなると、依然、人間が関与しなければならない。これは、画像処理の対象となるディジタル画像データにおいて、どこが重要であるのかを判断することができなかったためである。
【０００４】
例えば、明るさを補正する画像処理を考えた場合、画面全体の平均が暗ければ明るく補正し、逆に平均が明るければ暗く補正するという自動処理を考えたとする。ここで、夜間撮影した人物像の実写の画像データがあるとする。背景は殆ど真っ暗に近いものの、人物自体は良好に撮影できていたとする。この実写の画像データを自動補正すると、背景が真っ暗であるがために明るく補正しようとしてしまい、昼間の画像のようになってしまうことになる。
【０００５】
この場合、人間が関与していれば人物像の部分だけに注目する。そして、人物像が暗ければ少し明るく補正するし、逆に、フラッシュなどの効果で明る過ぎれば暗くする補正を選択する。
【０００６】
本出願人は、このような課題に鑑みて、画像の中での重要な部分を判断する発明を提案している。同発明においては、画像のシャープな部分に本来の被写体（オブジェクト）が存在しているはずであると考え、各画素での画像の変化度合いに着目して同変化度合いの大きな画素をオブジェクトと判断している。
【０００７】
しかしながら、画像のシャープな部分があるにしても同部分の面積は小さく背景部分を基準にした画像処理が好ましい場合もあり、一つの評価基準だけでは偏りが生じる可能性があった。また、いずれの評価基準を採用すべきかを判定する必要性は依然として残ったままであった。
【発明の開示】
【発明が解決しようとする課題】
【０００８】
本発明は、上記課題にかんがみてなされたもので、画像処理の前提として画像を評価するにあたり、柔軟に対応して画像評価結果を利用しやすくすることが可能な画像評価方法、画像評価プログラムを記録した媒体および画像評価装置の提供を目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するため、請求項１にかかる発明は、ドットマトリクス状の画素からなる実写の画像データを入力し、各画素の画像データを所定の基準で集計し、集計結果に基づいて画像を評価する画像評価方法であって、上記集計結果に対する複数の評価基準をもつとともに、それぞれの評価基準に基づく評価結果を所定の重み付けで合算する構成としてある。
【００１０】
上記のように構成した請求項１にかかる発明においては、評価する手法の前提として、ドットマトリクス状の画素からなる実写の画像データを入力し、各画素の画像データを所定の基準で集計し、集計結果に基づいて画像を評価する。ここにおいて、上記集計結果に対する複数の評価基準をもっており、それぞれの評価基準に基づく評価結果を所定の重み付けで合算する。
【００１１】
すなわち、ポートレートのように画像のシャープな被写体をオブジェクトとして当該画像を評価するのに適当な評価基準もあれば、背景を重要なオブジェクトとして当該画像を評価するのに適当な評価基準もあり、これらの複数の評価基準を並行して実行しつつそれぞれの重み付けを変えることによって適宜おりまぜ、総合評価する。
【００１２】
なお、この評価結果は画像の特徴などを判定するのに使用可能なものであればよく、具体的に画像の種類を特定するような結果が得られる必要はない。例えば、画像を明るいと判定するか暗いと判定するかといった場合の輝度のヒストグラムなどといった指標も含むものであり、明るい画像であるとか暗い画像であるといった判定結果が得られる必要はない。むろん、明暗以外にも画像がシャープであるか否かの指標であるとか、鮮やかさを判断する際の指標であってもよい。
【００１３】
集計結果に対して複数の評価基準を適用するためには、実質的に同様の目的を達するさまざまな手法を採用可能である。例えば、全画素について個別の評価基準で重み付けを与えて集計することもその一例である。但し、全画素について集計すると処理量が多くなるので、そのような状況に対して好適な一例として、請求項２にかかる発明は、請求項１に記載の画像評価方法において、上記画像データについて所定の基準で間引いて集計するにあたり、複数の評価基準に基づくサンプリングを行って集計するとともに、それぞれの集計結果を所定の重み付けで合算する構成としてある。
【００１４】
上記のように構成した請求項２にかかる発明においては、集計する前提として画像データをサンプリングすることとし、このサンプリングの仕方に対する基準を変えることによって結果的に複数の基準を採用することとなり、さらに、それぞれの集計結果の重み付けを調整して合算することにより、結果的に複数の評価基準に基づく評価結果に対してそれぞれ重み付けを持たせて評価したことに対応する。
【００１５】
このような評価基準の基本的な一例として、請求項３にかかる発明は、請求項１または請求項２のいずれかに記載の画像評価方法において、一の評価基準が均等にサンプリングして集計する構成としてある。
【００１６】
上記のように構成した請求項３にかかる発明においては、画像データが均等に間引かれるが、画像を全体的に捉えることになるので、風景写真などの判定に適した評価基準と言える。
【００１７】
一方、サンプリング手法を採用する場合と採用しない場合のいずれにも適用可能な評価基準の一例として、請求項４にかかる発明は、請求項１〜請求項３のいずれかに記載の画像評価方法において、一の評価基準が各画素における隣接画素との変化度合いが大きい画素について評価を重くして集計する構成としてある。
【００１８】
上記のように構成した請求項４にかかる発明においては、各画素における隣接画素との変化度合いを検出し、変化度合いが大きい画素について評価を重くして集計することにより、結果的に変化度合いの大きいはっきりした画像部分を評価する評価基準を採用することになる。
【００１９】
この評価基準は画像のシャープな部分に重きをおいて評価するので、人物像などの画像を判定するのに好適なことはいうまでもない。ここで変化度合いが大きい画像に評価の重きをおく手法には、集計しながら重み付けを代えるものであってもよいし、変化度合いの大きい画素だけについて集計するといったものでもよい。
【００２０】
評価基準の重み付けは必ずしも固定的でなければならないわけではなく、請求項５にかかる発明は、請求項１〜請求項４のいずれかに記載の画像評価方法において、各評価基準に対する重み付けを変更可能に構成してある。
【００２１】
上記のように構成した請求項５にかかる発明においては、それぞれの評価基準に対する重み付けを変更することにより、画像に対応した総合評価結果を導き出すことが可能となる。この場合、それぞれの重み付けを個別に変更するものであるとか、複数の組合せを予め用意しておき、その組合せを選択するというものなど各種の態様が含まれる。
【００２２】
また、このような重み付けの変更自体を操作者が行うのではなく、画像データに基づいて実現することも含まれ、その一例として、請求項６にかかる発明は、各評価基準に基づく評価結果に基づいて当該評価結果の重み付けを変化させる構成としてある。
【００２３】
上記のように構成した請求項６にかかる発明においては、各評価基準で評価結果を得て、その評価結果からそれぞれの評価基準の適応性など勘案して当該評価結果の重み付けを変化させる。
【００２４】
評価結果を使用して評価基準の重み付けを変える際にもさまざまな手法を採用可能であり、例えば、ある評価基準で各画素の画像データを上述したサンプリングの対象とするか否かを判断するとすれば、その画素数を一つの評価基準とし、画素数が多い場合に重み付けを重くするといったことも含まれる。
【００２５】
以上のような手法で画像を評価する発明の思想は、各種の態様を含むものである。すなわち、ハードウェアで実現されたり、ソフトウェアで実現されるなど、適宜、変更可能である。
【００２６】
発明の思想の具現化例として画像処理するソフトウェアとなる場合には、かかるソフトウェアを記録したソフトウェア記録媒体上においても当然に存在し、利用されるといわざるをえない。
【００２７】
その一例として、請求項７にかかる発明は、コンピュータにてドットマトリクス状の画素からなる実写の画像データを入力し、各画素の画像データを所定の基準で集計し、集計結果に基づいて画像を評価する画像評価プログラムを記録した媒体であって、上記集計結果に対する複数の評価基準をもつとともに、それぞれの評価基準に基づく評価結果を所定の重み付けで合算する構成としてある。
【００２８】
むろん、その記録媒体は、磁気記録媒体であってもよいし光磁気記録媒体であってもよいし、今後開発されるいかなるソフトウェア記録媒体においても全く同様に考えることができる。また、一次複製品、二次複製品などの複製段階については全く問う余地無く同等である。その他、供給方法として通信回線を利用して行う場合でも本発明が利用されていることには変わりないし、半導体チップに書き込まれたようなものであっても同様である。
【００２９】
さらに、一部がソフトウェアであって、一部がハードウェアで実現されている場合においても発明の思想において全く異なるものはなく、一部をソフトウェア記録媒体上に記憶しておいて必要に応じて適宜読み込まれるような形態のものとしてあってもよい。
【００３０】
これらの画像評価方法やソフトウェアの実現主体として画像評価装置として適用可能なことはいうまでもなく、請求項８にかかる発明は、ドットマトリクス状の画素からなる実写の画像データを入力する画像データ入力手段と、各画素の画像データを所定の基準で集計し、集計結果に基づいて画像を評価するにあたり、上記集計結果に対する複数の評価基準をもつとともに、それぞれの評価基準に基づく評価結果を所定の重み付けで合算する画像データ評価手段とを具備する構成としてある。
【００３１】
上記のように構成した請求項８にかかる発明においては、画像データ入力手段ばドットマトリクス状の画素からなる実写の画像データを入力し、画像データ評価手段は各画素の画像データを所定の基準で集計してその集計結果に基づいて画像を評価する。この際、画像データ評価手段は、上記集計結果に対する複数の評価基準をもっており、それぞれの評価基準に基づく評価結果に対して所定の重み付けを持たせて合算して評価する。
【００３２】
むろん、このような画像評価装置は単独で存在する場合もあるし、画像処理装置に組み込まれた状態で利用されることもあるなど、適宜変更可能である。
【００３３】
［発明の効果］
以上説明したように本発明は、複数の評価基準の重み付けを変えて総合的に評価するため、画像の特徴を判定するにあたって柔軟に対応することが可能な画像評価方法を提供することができる。
【００３４】
また、請求項２にかかる発明によれば、画像データについてサンプリングして処理を行うため、サンプリングの仕方に応じて評価基準を複数採用可能であるとともに、処理量を低減させることができる。
【００３５】
さらに、請求項３にかかる発明によれば、処理量を低減させつつ風景などに最適な評価基準を採用することが可能となる。
【００３６】
さらに、請求項４にかかる発明によれば、画像の変化度合いが大きい部分はフォーカスのはっきりした被写体部分であることが多いため、このような重要画素に重きをおいた画像評価が可能となる。
【００３７】
さらに、請求項５にかかる発明によれば、複数の評価基準に対する重み付けを変更することにより、より柔軟な評価が可能となる。
【００３８】
さらに、請求項６にかかる発明によれば、評価結果を利用して重み付けを変化させるため、評価の手間を軽減させることができる。
【００３９】
さらに、請求項７にかかる発明によれば、同様にして画像の特徴を判定するにあたって柔軟に対応することが可能な画像評価プログラムを記録した媒体を提供することができ、請求項８にかかる発明によれば、画像評価装置を提供することができる。
【発明を実施するための最良の形態】
【００４０】
以下、図面にもとづいて本発明の実施形態を説明する。
【００４１】
図１は、本発明の一実施形態にかかる画像評価方法を実行して画像処理する画像処理システムをブロック図により示しており、図２は具体的ハードウェア構成例を概略ブロック図により示している。
【００４２】
図１において、画像入力装置１０は写真などをドットマトリクス状の画素として表した実写の画像データを画像処理装置２０へ出力し、同画像処理装置２０は所定の処理を経て画像データを集計して評価結果を求め、同評価結果に基づいて画像処理の内容と程度を決定してから画像処理を実行する。同画像処理装置２０は画像処理した画像データを画像出力装置３０へ出力し、画像出力装置は画像処理された画像をドットマトリクス状の画素で出力する。
【００４３】
画像処理装置２０は、予め画像データを集計して当該画像に対する評価結果を求めている。この際、複数の評価基準を採用して個別に画像データの集計を行い、所定の条件で重み付けを変化させて合算している。従って、画像処理装置２０は、画像データ評価手段を構成する。
【００４４】
画像入力装置１０の具体例は図２におけるスキャナ１１やデジタルスチルカメラ１２あるいはビデオカメラ１４などが該当し、画像処理装置２０の具体例はコンピュータ２１とハードディスク２２とキーボード２３とＣＤ−ＲＯＭドライブ２４とフレキシブルディスクドライブ２５とモデム２６などからなるコンピュータシステムが該当し、画像出力装置３０の具体例はプリンタ３１やディスプレイ３２等が該当する。本実施形態の場合、画像の不具合等を修正すべく等該画像を評価するため、画像データとしては写真などの実写データが好適である。なお、モデム２６については公衆通信回線に接続され、外部のネットワークに同公衆通信回線を介して接続し、ソフトウェアやデータをダウンロードして導入可能となっている。
【００４５】
本実施形態においては、画像入力装置１０としてのスキャナ１１やデジタルスチルカメラ１２が画像データとしてＲＧＢ（緑、青、赤）の階調データを出力するとともに、画像出力装置３０としてのプリンタ３１は階調データとしてＣＭＹ（シアン、マゼンダ、イエロー）あるいはこれに黒を加えたＣＭＹＫの二値データを入力として必要とするし、ディスプレイ３２はＲＧＢの階調データを入力として必要とする。一方、コンピュータ２１内ではオペレーティングシステム２１ａが稼働しており、プリンタ３１やディスプレイ３２に対応したプリンタドライバ２１ｂやディスプレイドライバ２１ｃが組み込まれている。また、画像処理アプリケーション２１ｄはオペレーティングシステム２１ａにて処理の実行を制御され、必要に応じてプリンタドライバ２１ｂやディスプレイドライバ２１ｃと連携して所定の画像処理を実行する。
【００４６】
従って、画像処理装置２０としてのこのコンピュータ２１の具体的役割は、ＲＧＢの階調データを入力して画像を評価しつつ最適な画像処理を施したＲＧＢの階調データを作成し、ディスプレイドライバ２１ｃを介してディスプレイ３２に表示させるとともに、プリンタドライバ２１ｂを介してＣＭＹ（あるいはＣＭＹＫ）の二値データに変換してプリンタ３１に印刷させることになる。
【００４７】
このように、本実施形態においては、画像の入出力装置の間にコンピュータシステムを組み込んで画像評価と画像処理を行うようにしているが、必ずしもかかるコンピュータシステムを必要とするわけではなく、画像データに対して各種の画像処理を行うシステムに適用可能である。例えば、図３に示すようにデジタルスチルカメラ１２ａ内に画像評価して画像処理する画像処理装置を組み込み、変換した画像データを用いてディスプレイ３２ａに表示させたりプリンタ３１ａに印字させるようなシステムであっても良い。また、図４に示すように、コンピュータシステムを介することなく画像データを入力して印刷するプリンタ３１ｂにおいては、スキャナ１１ｂやデジタルスチルカメラ１２ｂあるいはモデム２６ｂ等を介して入力される画像データから画像評価して画像処理するように構成することも可能である。
【００４８】
上述した画像評価とそれに伴う画像処理は、具体的には上記コンピュータ２１内にて図５などに示すフローチャートに対応した画像処理プログラムで行っている。同図に示すフローチャートは画像処理プログラムにおける画像評価の前段部分に該当し、画像データを複数の評価基準で集計して所定の評価結果を得る処理を実行する。
【００４９】
ここで本実施形態において採用する二つの評価基準について説明する。共通するのはいずれも全画素を対象とするのではなく、所定の基準に従って画素を間引くとともに、サンプリングした画素について輝度を集計する点である。また、相違するのは、一方が均等に画素をサンプリングするのに対し、他方がエッジ画素を選択してサンプリングする点である。輝度の集計結果については後述するが、このようにしていわゆるサンプリング手法を変えることにより、画像の評価を変えることができる。均等に画素をサンプリングするというのは画像全体の画素について輝度を集計することに他ならず、画像全体としての画像データの輝度の分布を評価することになるから、風景写真が全体的に暗いとかコントラストが狭いといった評価の参考となる。
【００５０】
一方、エッジ画素は画像のシャープな部分であるから、画像の中でも本来の被写体に関わる画素について輝度を集計することになり、たとえ背景が暗くても被写体が十分な明るさを持っていれば画像の明るさは十分であるといった評価結果が得られることになる。本実施形態においては、操作者による選択あるいは自動処理によってこれら二つの評価基準を適宜組み合わせて画像の判定を行うようにしている。
【００５１】
図５に示すフローチャートを参照すると、この画像評価処理では、図６に示すようにドットマトリクス状の画素からなる画像データについて対象画素を水平方向に主走査しつつ垂直方向に副走査して移動させ、各画素についてサンプリング対象であるか否かを判断して集計している。
【００５２】
画像データがドットマトリクス状の画素から構成されている場合には、各画素ごとに上述したＲＧＢの輝度を表す階調データで表されており、画像のエッジ部分では隣接する画素間での同データの差分は大きくなる。この差分は輝度勾配であり、これをエッジ度と呼ぶことにし、ステップＳ１１０では各画素でのエッジ度を判定する。図７に示すようなＸＹ直交座標を考察する場合、画像の変化度合いのベクトルはＸ軸方向成分とＹ軸方向成分とをそれぞれ求めれば演算可能となる。
【００５３】
ドットマトリクス状の画素からなるディジタル画像においては、図８に示すように縦軸方向と横軸方向に画素が隣接しており、その明るさをｆ（ｘ，ｙ）で表すものとする。この場合、ｆ（ｘ，ｙ）はＲＧＢの各輝度であるＲ（ｘ，ｙ），Ｇ（ｘ，ｙ），Ｂ（ｘ，ｙ）であったり、あるいは全体の輝度Ｙ（ｘ，ｙ）であってもよい、なお、ＲＧＢの各輝度であるＲ（ｘ，ｙ），Ｇ（ｘ，ｙ），Ｂ（ｘ，ｙ）と全体の輝度Ｙ（ｘ，ｙ）との関係は、厳密には色変換テーブルなどを参照しなければ変換不能であるが、後述するようにして簡易な対応関係を利用するようにしても良い。
【００５４】
図８に示すものにおいて、Ｘ方向の差分値ｆｘとＹ方向の差分値ｆｙは、
【００５５】
【数１】
【００５６】
のように表される。従って、これらを成分とするベクトルの大きさ
【００５７】
【数２】
【００５８】
のように表される。むろん、エッジ度はこの｜ｇ（ｘ，ｙ）｜で表される。なお、本来、画素は図９に示すように縦横に升目状に配置されており、中央の画素に注目すると八つの隣接画素がある。従って、同様にそれぞれの隣接する画素との画像データの差分をベクトルで表し、このベクトルの和を画像の変化度合いと判断しても良い。
【００５９】
以上のようにして各画素についてエッジ度が求められるので、あるしきい値と比較してエッジ度の方が大きい画素はエッジ画素と判断すればよい。なお、経験的事実から考察すると、フォーカスが集中する被写体は構図の中央部分に位置することが多い。従って、中央部分から多くの画素が抽出されるような仕組みとすることにより、画像処理の判断に利用したときにより好ましい効果を得られる。
【００６０】
このため、図１０に示すように、画像の中の部分毎に比較するしきい値Ｔｈ１，Ｔｈ２，Ｔｈ３を異ならせておくようにしてもよい。むろん、この例では、
【００６１】
【数３】
【００６２】
なる関係があり、中央に近い部分ほどしきい値は低く、エッジ度が比較的低くてもフォーカスが集中していると判断されるようになる。
【００６３】
ステップＳ１２０ではエッジ度と同しきい値とを比較して変化度合いが大きいか否かを判断する。比較の結果、エッジ度の方が大きければこの画素はエッジ画素であると判断し、ステップＳ１３０にてその画素の画像データをサンプリングしてワークエリアに保存する。ワークエリアはコンピュータ２１内のＲＡＭであってもよいしハードディスク２２であってもよい。
【００６４】
一方、このようなエッジ度の判定と並行してステップＳ１４０では当該対象画素が均等サンプリングの対象画素であるか否かを判断する。均等にサンプリングするといっても、ある誤差の範囲内となる程度にサンプリングする必要がある。統計的誤差によれば、サンプル数Ｎに対する誤差は概ね１／（Ｎ**（１／２））と表せる。ただし、**は累乗を表している。従って、１％程度の誤差で処理を行うためにはＮ＝１００００となる。
【００６５】
ここにおいて、図６に示すビットマップ画面は（ｗｉｄｔｈ）×（ｈｅｉｇｈｔ）の画素数となり、サンプリング周期ｒａｔｉｏは、
【００６６】
【数４】
【００６７】
とする。ここにおいて、ｍｉｎ（ｗｉｄｔｈ，ｈｅｉｇｈｔ）はｗｉｄｔｈとｈｅｉｇｈｔのいずれか小さい方であり、Ａは定数とする。また、ここでいうサンプリング周期ｒａｔｉｏは何画素ごとにサンプリングするかを表しており、図１１の○印の画素はサンプリング周期ｒａｔｉｏ＝２の場合を示している。すなわち、縦方向及び横方向に二画素ごとに一画素のサンプリングであり、一画素おきにサンプリングしている。Ａ＝２００としたときの１ライン中のサンプリング画素数は図１２に示すようになる。
【００６８】
同図から明らかなように、サンプリングしないことになるサンプリング周期ｒａｔｉｏ＝１の場合を除いて、２００画素以上の幅があるときには最低でもサンプル数は１００画素以上となることが分かる。従って、縦方向と横方向について２００画素以上の場合には（１００画素）×（１００画素）＝（１００００画素）が確保され、誤差を１％以下にできる。
【００６９】
ここにおいてｍｉｎ（ｗｉｄｔｈ，ｈｅｉｇｈｔ）を基準としているのは次のような理由による。例えば、図１３（ａ）に示すビットマップ画像のように、ｗｉｄｔｈ＞＞ｈｅｉｇｈｔであるとすると、長い方のｗｉｄｔｈでサンプリング周期ｒａｔｉｏを決めてしまった場合には、同図（ｂ）に示すように、縦方向には上端と下端の２ラインしか画素を抽出されないといったことが起こりかねない。しかしながら、ｍｉｎ（ｗｉｄｔｈ，ｈｅｉｇｈｔ）として、小さい方に基づいてサンプリング周期ｒａｔｉｏを決めるようにすれば同図（ｃ）に示すように少ない方の縦方向においても中間部を含むような間引きを行うことができるようになる。すなわち、所定の抽出数を確保したサンプリングが可能となる。
【００７０】
ステップＳ１４０では、このような均等なサンプリング手法を採用しつつ、当該対象画素がそのサンプリング対象となっているか否かを判断し、対象であればステップＳ１５０にて画像データをサンプリングする。
【００７１】
ステップＳ１３０，Ｓ１５０で画像データをサンプリングするというのは、同画像データに基づいて輝度を集計することを意味する。上述したように、本実施形態においてはコンピュータ２１が扱うのはＲＧＢの階調データであり、直接には輝度の値を持っていない。輝度を求めるためにＬｕｖ表色空間に色変換することも可能であるが、演算量などの問題から得策ではない。このため、テレビジョンなどの場合に利用されているＲＧＢから輝度を直に求める次式の変換式を利用する。
【００７２】
【数５】
【００７３】
輝度はヒストグラムとして集計し、むろん、ステップＳ１３０の集計エリアとステップＳ１５０の集計エリアは別個である。なお、輝度の集計とともに集計対象となった画素数についても集計しておく。
【００７４】
以上のような処理を画像データの各画素について行うため、ステップＳ１６０にて処理の対象画素を移動させ、ステップＳ１７０にて全画素について終了したと判断されるまで処理を繰り返す。
【００７５】
それぞれのサンプリング手法で対象となる画素について輝度の集計を行ったら、ステップＳ１８０では画像評価オプションを入力する。図１４はディスプレイ３２上に表示される画像評価オプション入力画面を示しており、選択肢としてポートレートと風景写真と自動設定という三つが用意されている。
【００７６】
図１５に示すように均等サンプリングで得られた輝度のヒストグラムと、エッジ画素のサンプリングで得られた輝度のヒストグラムとを合算して当該画像を評価するためのヒストグラムを生成するにあたり、それぞれの重み付けを調整する必要がある。ここで重み付け係数ｋを採用すると、均等サンプリングの集計結果Ｄｉｓｔ＿ａｖｅとエッジ画素サンプリングでの集計結果Ｄｉｓｔ＿ｅｄｇから、評価用の集計結果Ｄｉｓｔ＿Ｓｕｍは、
【００７７】
【数６】
【００７８】
となる。そして、この重み付け係数ｋは、「０」に近づくほど全体重視となり、「１」に近づくほど被写体重視といえる。このため、図１４に示す画像評価オプション入力画面でオプションを選択した後、ステップＳ１９０にて同オプションに基づいて分岐し、ポートレートを選択したときにはステップＳ１９２にて「ｋ＝０．８」と設定し、風景写真を選択したときにはステップＳ１９４にて「ｋ＝０．２」と設定する。
【００７９】
オプション選択の残る一つの選択肢は自動設定である。この自動設定では先に述べたようにサンプリングしたエッジ画素数に基づき、当該エッジ画素数が少ない場合には風景写真と考えて重み付け係数ｋを「０」に近づけるし、当該エッジ画素数が多い場合にはポートレートと考えて重み付け係数ｋを「１」に近づける。エッジ画素のサンプリング数ｘ＿ｅｄｇと均等サンプリング数ｘ＿ａｖｅを使用し、ステップＳ１９６にて重み付け係数を
【００８０】
【数７】
【００８１】
として算出して評価用の集計結果Ｄｉｓｔ＿Ｓｕｍを得る。
【００８２】
このようにして評価用の集計結果Ｄｉｓｔ＿Ｓｕｍを得ることにより画像の評価を行ったことになる。むろん、この集計結果を用いてさらなる判定を行っても良いが、基本的にはかかる集計結果を利用する画像処理に応じて適宜変更すればよい。
【００８３】
この後、同集計結果に基づいて最適な画像処理を決定し、実行する。図１６は、その一例としてコントラストの拡大と明度の補正の画像処理を実行するためのフローチャートを示している。
【００８４】
本実施形態でのコントラストを拡大するための基本的な手法は、画像データに基づいて輝度分布を求め、この輝度分布が本来の階調幅（２５５階調）の一部分しか利用していないのであれば分布を拡大するというものである。
【００８５】
従って、ステップＳ３１０では上述した重み付け係数ｋから集計結果Ｄｉｓｔ＿Ｓｕｍとしての輝度分布のヒストグラムを作成し、ステップＳ３２０では拡大する幅を決定する。拡大幅を決定するにあたり、輝度分布の両端を求めることを考える。写真画像の輝度分布は図１７に示すように概ね山形に表れる。むろん、その位置、形状についてはさまざまである。輝度分布の幅はこの両端をどこに決めるかによって決定されるが、単に裾野が延びて分布数が「０」となる点を両端とすることはできない。裾野部分では分布数が「０」付近で変移する場合があるし、統計的に見れば限りなく「０」に近づきながら推移していくからである。
【００８６】
このため、分布範囲において最も輝度の大きい側と小さい側からある分布割合だけ内側に経た部分を分布の両端とする。本実施形態においては、同図に示すように、この分布割合を０．５％に設定している。むろん、この割合については、適宜、変更することが可能である。このように、ある分布割合だけ上端と下端をカットすることにより、ノイズなどに起因して生じている白点や黒点を無視することもできる。すなわち、このような処理をしなければ一点でも白点や黒点があればそれが輝度分布の両端となってしまうので、２５５階調の輝度値であれば、多くの場合において最下端は階調「０」であるし、最上端は階調「２５５」となってしまうが、上端部分から０．５％の画素数だけ内側に入った部分を端部とすることにより、このようなことが無くなる。
【００８７】
実際の処理ではサンプリングした画素数に対する０．５％を演算し、再現可能な輝度分布における上端の輝度値及び下端の輝度値から順番に内側に向かいながらそれぞれの分布数を累積し、０．５％の値となった輝度値を求める。以後、この上端側をｙｍａｘと呼び、下端側をｙｍｉｎと呼ぶ。
【００８８】
再現可能な輝度の範囲を「０」〜「２５５」としたときに、変換前の輝度ｙと輝度の分布範囲の最大値ｙmaxと最小値ｙminから変換先の輝度Ｙを次式に基づいて求める。
【００８９】
【数８】
【００９０】
ただし
【００９１】
【数９】
【００９２】
また、上記変換式にてＹ＜０ならばＹ＝０とし、Ｙ＞２５５ならばＹ＝２５５とする。ここにおける、ａは傾きであり、ｂはオフセットといえる。この変換式によれば、図１８に示すように、あるせまい幅を持った輝度分布を再現可能な範囲まで広げることができる。ただし、再現可能な範囲を最大限に利用して輝度分布の拡大を図った場合、ハイライト部分が白く抜けてしまったり、ハイシャドウ部分が黒くつぶれてしまうことが起こる。これを防止するため本実施形態においては、再現可能な範囲を制限している。すなわち、再現可能な範囲の上端と下端に拡大しない範囲として輝度値で「５」だけ残している。この結果、変換式のパラメータは次式のようになる。
【００９３】
【数１０】
【００９４】
そして、この場合にはｙ＜ｙminと、ｙ＞ｙmaxの範囲においては変換を行わないようにする。
【００９５】
ただし、このままの拡大率（ａに対応）を適用してしまうと、非常に大きな拡大率が得られる場合も生じてしまう。例えば、夕方のような薄暮の状態では最も明るい部分から暗い部分までのコントラストの幅が狭くて当然であるのに、この画像についてコントラストを大きく拡大しようとする結果、昼間の画像のように変換されてしまいかねない。このような変換は希望されないので、拡大率には制限を設けておき、ａが１．５（〜２）以上とはならないように制限する。これにより、薄暮は薄暮なりに表現されるようになる。なお、この場合は輝度分布の中心位置がなるべく変化しないような処理を行っておく。
【００９６】
ところで、輝度の変換時に、毎回、上記変換式（Ｙ＝ａｙ＋ｂ）を実行するのは非合理的である。というのは、輝度ｙの取りうる範囲が「０」〜「２５５」でしかあり得ないため、予め輝度ｙが取りうる全ての値に対応して変換後の輝度Ｙを求めておくことも可能である。従って、図１９に示すようなテーブルとして記憶しておく。
【００９７】
このような変換テーブルを形成することがステップＳ３２０の拡大幅決定処理に該当し、画像データを変更することが可能になる。しかし、このような輝度の範囲の拡大によってコントラストを強調するだけでなく、合わせて明るさを調整することも極めて有効であるため、ステップＳ３３０にて画像の明るさを判断し、補正のためのパラメータを生成する。
【００９８】
例えば、図２０にて実線で示すように輝度分布の山が全体的に暗い側に寄っている場合には波線で示すように全体的に明るい側に山を移動させると良いし、逆に、図２１にて実線で示すように輝度分布の山が全体的に明るい側に寄っている場合には波線で示すように全体的に暗い側に山を移動させると良い。
【００９９】
各種の実験を行った結果、本実施形態においては、輝度分布におけるメジアンｙｍｅｄを求め、同メジアンｙｍｅｄが「８５」未満である場合に暗い画像と判断して以下のγ値に対応するγ補正で明るくする。
【０１００】
【数１１】
【０１０１】
あるいは、
【０１０２】
【数１２】
【０１０３】
とする。
【０１０４】
この場合、γ＜０．７となっても、γ＝０．７とする。このような限界を設けておかないと夜の画像が昼間のようになってしまうからである。なお、明るくしすぎると全体的に白っぽい画像になってコントラストが弱い画像になりやすいため、彩度を合わせて強調するなどの処理が好適である。
【０１０５】
一方、メジアンｙｍｅｄが「１２８」より大きい場合に明るい画像と判断して以下のγ値に対応するγ補正で暗くする。
【０１０６】
【数１３】
【０１０７】
あるいは、
【０１０８】
【数１４】
【０１０９】
とする。この場合、γ＞１．３となっても、γ＝１．３として暗くなり過ぎないように限界を設けておく。
【０１１０】
なお、このγ補正は変換前の輝度分布に対して行っても良いし、変換後の輝度分布に対して行っても良い。γ補正をした場合における対応関係を図２２に示しており、γ＜１であれば上方に膨らむカーブとなり、γ＞１であれば下方に膨らむカーブとなる。むろん、かかるγ補正の結果も図１９に示すテーブル内に反映させておけばよく、テーブルデータに対して同補正を行っておく。
【０１１１】
最後に、ステップＳ３４０にてコントラスト補正と明度補正が必要であるか否かを判断する。この判断は上述した拡大率（ａ）とγ値について適当なしきい値と比較し、拡大率の方が大きかったりγ値が所定範囲を超えていたら必要性有りと判断する。そして、必要性有りと判断されれば画像データの変換を行う。
【０１１２】
画像処理が必要であると判断された場合、（９）式に基づく変換を行うが、同式の変換式は、ＲＧＢの成分値との対応関係においても当てはめることができ、変換前の成分値（Ｒ0 ，Ｇ0 ，Ｂ0 ）に対して変換後の成分値（Ｒ，Ｇ，Ｂ）は、
【０１１３】
【数１５】
【０１１４】
として求めることもできる。ここで、輝度ｙ，Ｙが階調「０」〜階調「２５５」であるのに対応してＲＧＢの各成分値（Ｒ0，Ｇ0，Ｂ0），（Ｒ,Ｇ,Ｂ）も同じ範囲となっており、上述した輝度ｙ，Ｙの変換テーブルをそのまま利用すればよいといえる。
【０１１５】
従って、ステップＳ３５０では全画素の画像データ（Ｒ0，Ｇ0，Ｂ0）について（１８）〜（２０）式に対応する変換テーブルを参照し、変換後の画像データ（Ｒ,Ｇ,Ｂ）を得るという処理を繰り返すことになる。
【０１１６】
ところで、この場合は輝度の集計結果を画像の判定に利用する評価基準として使用し、コントラスト補正と明度補正を行うようにしているが、画像処理の具体例はこれに限られるものではなく、従って評価基準として使用する集計内容も様々である。
【０１１７】
図２３は彩度強調のための画像処理を実行する場合のフローチャートを示している。
【０１１８】
まず、画素データがその成分要素として彩度を持っていればその彩度の値を用いて分布を求めることが可能であるが、ＲＧＢの成分値しか持っていないため、本来的には彩度値が直接の成分値となっている表色空間への変換を行なわなければ彩度値を得ることができない。例えば、標準表色系としてのＬｕｖ空間においては、Ｌ軸が輝度（明度）を表し、Ｕ軸及びＶ軸で色相を表している。ここにおいて、Ｕ軸及びＶ軸においては両軸の交点からの距離が彩度を表すため、実質的に（Ｕ**２＋Ｖ**２）**（１／２）が彩度となる。
【０１１９】
このような異なる表色空間の間での色変換は対応関係を記憶した色変換テーブルを参照しつつ、補間演算を併用しなければならず、演算処理量は膨大となってくる。このような状況に鑑み、本実施形態においては、画像データとして標準的なＲＧＢの階調データを直に利用して彩度の代替値Ｘを次のようにして求めている。
【０１２０】
【数１６】
【０１２１】
本来的には彩度は、Ｒ＝Ｇ＝Ｂの場合に「０」となり、ＲＧＢの単色あるいはいずれか二色の所定割合による混合時において最大値となる。この性質から直に彩度を適切に表すのは可能であるものの、簡易な（２１）式によっても赤の単色および緑と青の混合色である黄であれば最大値の彩度となり、各成分が均一の場合に「０」となる。また、緑や青の単色についても最大値の半分程度には達している。むろん、
【０１２２】
【数１７】
【０１２３】
という式にも代替可能である。
【０１２４】
ステップＳ４１０では、上述した均等サンプリングとエッジ画素サンプリングの手法を採用しつつそれぞれ別個に彩度の代替値Ｘについてのヒストグラムの分布を求める。（２１）式においては、彩度が最低値「０」〜最大値「５１１」の範囲で分布し、概略的には図２４に示すような分布となる。次なるステップＳ４２０では、集計された彩度分布に基づいてこの画像についての彩度指数というものを決定する。但し、この場合も均等サンプリングの集計結果とエッジ画素サンプリングの集計結果から個別に彩度指数を導出し、上述した重み付け係数ｋを利用して合算せしめた彩度指数を算出する。
【０１２５】
彩度指数を導出するにあたり、本実施形態においては、サンプリングされた画素数の範囲で、分布数として上位の「１６％」が占める範囲を求める。そして、この範囲内での最低の彩度「Ａ」がこの画像の彩度を表すものとして次式に基づいて彩度強調指数Ｓを決定する。
【０１２６】
すなわち、
【０１２７】
【数１８】
【０１２８】
とする。図２５は、この彩度「Ａ」と彩度強調指数Ｓとの関係を示している。図に示すように、彩度指数Ｓは最大値「５０」〜最小値「０」の範囲で彩度「Ａ」が小さいときに大きく、同彩度「Ａ」が大きいときに小さくなるように徐々に変化していくことになる。
【０１２９】
彩度強調指数Ｓに基づいて彩度を強調するにあたり、上述したように画像データが彩度のパラメータを備えているものであれば同パラメータを変換すればよいものの、ＲＧＢの表色空間を採用している場合には、一旦、標準表色系であるＬｕｖ空間に変換し、Ｌｕｖ空間内で半径方向へ変移させなければならないといえる。しかしながら、ＲＧＢの画像データを、一旦、Ｌｕｖ空間内の画像データに変換し、彩度強調後に再びＲＧＢに戻すといった作業が必要となり、演算量が多くならざるを得ない。従って、ＲＧＢの階調データをそのまま利用して彩度強調することにする。
【０１３０】
ＲＧＢ表色空間のように各成分が概略対等な関係にある色相成分の成分値であるときには、Ｒ＝Ｇ＝Ｂであればグレイであって無彩度となる。従って、ＲＧＢの各成分における最小値となる成分については各画素の色相に影響を与えることなく単に彩度を低下させているにすぎないと考えれば、各成分における最小値をすべての成分値から減算し、その差分値を拡大することによって彩度を強調できるといえる。
【０１３１】
まず、上述した彩度強調指数Ｓから演算に有利な彩度強調パラメータＳratioを、
【０１３２】
【数１９】
【０１３３】
として求める。この場合、彩度強調指数Ｓ＝０のときに彩度強調パラメータＳratio＝１となって彩度強調されない。次に、ＲＧＢ階調データの各成分（Ｒ，Ｇ，Ｂ）における青（Ｂ）の成分値が最小値であったとすると、この彩度強調パラメータＳratio を使用して次のように変換する。
【０１３４】
【数２０】
【０１３５】
この結果、ＲＧＢ表色空間とＬｕｖ空間との間で一往復する二度の色変換が不要となるため、演算時間の低減をはかることができる。この実施形態においては、無彩度の成分について単純に最小値の成分を他の成分値から減算する手法を採用しているが、無彩度の成分を減算するにあたっては別の変換式を採用するものであっても構わない。ただし、（２９）〜（３１）式のように最小値を減算するだけの場合には乗除算が伴わないので演算量が容易となるという効果がある。
【０１３６】
（２５）〜（２７）式を採用する場合でも、良好な変換が可能であるものの、この場合には彩度を強調すると輝度も向上して全体的に明るくなるという傾向がある。従って、各成分値から輝度の相当値を減算した差分値を対象として変換を行うことにする。
【０１３７】
まず、輝度を求めるために、上述したＬｕｖ空間に色変換したのでは演算量が多大となってしまうため、テレビジョンなどの場合に利用されているＲＧＢから輝度を直に求める次式の変換式を利用する。
【０１３８】
輝度Ｙは、
【０１３９】
【数２１】
【０１４０】
一方、彩度強調は、
【０１４１】
【数２２】
【０１４２】
とする。この加減値△Ｒ，△Ｇ，△Ｂは輝度との差分値に基づいて次式のように求める。すなわち、
【０１４３】
【数２３】
【０１４４】
となり、この結果、
【０１４５】
【数２４】
【０１４６】
として変換可能となる。なお、輝度の保存は次式から明らかである。
【０１４７】
【数２５】
【０１４８】
また、入力がグレー（Ｒ＝Ｇ＝Ｂ）のときには、輝度Ｙ＝Ｒ＝Ｇ＝Ｂとなるので、加減値△Ｒ＝△Ｇ＝△Ｂ＝０となり、無彩色に色が付くこともない。（３９）式〜（４１）式を利用すれば輝度が保存され、彩度を強調しても全体的に明るくなることはない。
【０１４９】
以上のようにして彩度強調指数Ｓratio を求めたら、ステップＳ４３０にて所定のしきい値と比較し、彩度強調が必要な画像であるかを判断する。そして、必要であればステップＳ４４０にて（３９）式〜（４１）式に基づいて全画素について画像データを変換する。
【０１５０】
従って、ステップＳ４１０，Ｓ４２０にて複数の評価基準に基づいて画像データを評価しつつ、それぞれの評価結果に対して所定の重み付けを持たせて合算しており、これらを実行するハードウェア構成とソフトウェアとによって画像データ評価手段を構成することになる。
【０１５１】
また、他の画像の評価基準としてエッジ強調処理の画像処理を前提としたエッジ度の評価に適用することもできる。図２６は、このエッジ強調処理のフローチャートを示している。エッジ度は上述した手法にて算出するものとし、ステップＳ５１０では対象画素を移動させながら均等サンプリングとエッジ画素サンプリングの手法で別々にエッジ度を集計する。そして、積算されたエッジ度を画素数で除算することにより、それぞれの評価基準に基づくエッジ度の平均値を算出する。すなわち、この画像のシャープ度合いＳＬは、画素数をＥ（Ｉ）ｐｉｘとすると、
【０１５２】
【数２６】
【０１５３】
のようにして演算することができる。この場合、ＳＬの値が小さい画像ほどシャープネスの度合いが低い（見た目にぼけた）と判断できるし、ＳＬの値が大きい画像ほどシャープネスの度合いが高い（見た目にはっきりとしたもの）と判断できる。
【０１５４】
次に、ステップＳ５１５では画像評価オプションを入力するなどして重み付け係数ｋを決定し、それぞれのサンプリング手法に基づくエッジ度を重み付け加算して合算する。
【０１５５】
一方、画像のシャープさは感覚的なものであるため、実験的に得られた最適なシャープ度合いの画像データについて同様にしてシャープ度合いＳＬを求め、その値を理想のシャープ度合いＳＬｏｐｔと設定するとともに、ステップＳ５２０においてエッジ強調度Ｅenhanceを、
【０１５６】
【数２７】
【０１５７】
として求める。ここにおいて、係数ｋｓは画像の大きさに基づいて変化するものであり、上述したように画像データが縦横方向にそれぞれｈｅｉｇｈｔドットとｗｉｄｔｈドットからなる場合、
【０１５８】
【数２８】
【０１５９】
のようにして求めている。ここにおいて、ｍｉｎ（ｈｅｉｇｈｔ，ｗｉｄｔｈ）はｈｅｉｇｈｔドットとｗｉｄｔｈドットのうちのいずれか小さい方を指し、Ａは定数で「７６８」としている。むろん、これらは実験結果から得られたものであり、適宜変更可能であることはいうまでもない。ただし、基本的には画像が大きいものほど強調度を大きくするということで良好な結果を得られている。
【０１６０】
このようにしてエッジ強調度Ｅenhance を求めたら、ステップＳ５３０にて所定のしきい値と比較してエッジ強調が必要であるか判断し、必要であると判断されればステップＳ５４０にて全画素についてエッジ強調処理を実行する。
【０１６１】
エッジ強調処理は、強調前の各画素の輝度Ｙに対して強調後の輝度Ｙ’が、
【０１６２】
【数２９】
【０１６３】
として演算される。ここで、Ｙunsharpは各画素の画像データに対してアンシャープマスク処理を施したものであり、ここでアンシャープマスク処理について説明する。図２７は一例として５×５画素のアンシャープマスク４１を示している。このアンシャープマスク４１は、中央の「１００」の値をマトリクス状の画像データにおける処理対象画素Ｙ（ｘ，ｙ）の重み付けとし、その周縁画素に対して同マスクの升目における数値に対応した重み付けをして積算するのに利用される。このアンシャープマスク４１を利用する場合、
【０１６４】
【数３０】
【０１６５】
なる演算式に基づいて積算する。（４８）式において、「３９６」とは重み付け係数の合計値であり、サイズの異なるアンシャープマスクにおいては、それぞれ升目の合計値となる。また、Ｍｉｊはアンシャープマスクの升目に記載されている重み係数であり、Ｙ（ｘ，ｙ）は各画素の画像データである。なお、ｉｊについてはアンシャープマスク４１に対して横列と縦列の座標値で示している。
【０１６６】
（４７）式に基づいて演算されるエッジ強調演算の意味するところは次のようになる。Ｙunsharp（ｘ，ｙ）は注目画素に対して周縁画素の重み付けを低くして加算したものであるから、いわゆる「なまった（アンシャープ）」画像データとしていることになる。このようにしてなまらせたものはいわゆるローパスフィルタをかけたものと同様の意味あいを持つ。従って、「Ｙ（ｘ，ｙ）−Ｙunsharp （ｘ，ｙ）」とは本来の全成分から低周波成分を引いたことになってハイパスフィルタをかけたものと同様の意味あいを持つ。そして、ハイパスフィルタを通過したこの高周波成分に対してエッジ強調度Ｅenhance を乗算して「Ｙ（ｘ，ｙ）」に加えれば同エッジ強調度Ｅenhanceに比例して高周波成分を増したことになり、エッジが強調される結果となる。
【０１６７】
なお、エッジ強調が必要になる状況を考えるといわゆる画像のエッジ部分であるから、隣接する画素との間で画像データの差が大きな場合にだけ演算するようにしてもよい。このようにすれば、殆どのエッジ部分でない画像データ部分でアンシャープマスクの演算を行う必要がなくなり、処理が激減する。
【０１６８】
なお、実際の演算は、強調後の輝度Ｙ’と強調前の輝度Ｙから、
【０１６９】
【数３１】
【０１７０】
と置き換えれば、変換後のＲ’Ｇ’Ｂ’は、
【０１７１】
【数３２】
【０１７２】
のように演算可能となる。
【０１７３】
従って、このエッジ強調処理では、ステップＳ５１０，Ｓ５１５にて、複数の評価基準に基づいて画像のエッジ度を評価しつつ、それぞれの評価結果に対して所定の重み付けを持たせて合算しており、これらを実行するハードウェア構成とソフトウェアとによって画像データ評価手段を構成することになる。
【０１７４】
なお、上述したコントラスト補正、明度補正、彩度強調、エッジ強調のそれぞれについて、画像処理を行うかを判断している。しかし、必ずしも画像処理を行うか否かの二者択一の判断を行う必要はない。すなわち、それぞれにおいて強調程度を設定しており、このようにして設定した強調程度で画像処理を行うようにしても良い。
【０１７５】
次に、上記構成からなる本実施形態の動作を説明する。
【０１７６】
写真画像をスキャナ１１で読み込み、プリンタ３１にて印刷する場合を想定する。すると、まず、コンピュータ２１にてオペレーティングシステム２１ａが稼働しているもとで、画像処理アプリケーション２１ｄを起動させ、スキャナ１１に対して写真の読み取りを開始させる。読み取られた画像データが同オペレーティングシステム２１ａを介して画像処理アプリケーション２１ｄに取り込まれたら、処理対象画素を初期位置に設定する。続いて、ステップＳ１１０にて（１）式〜（３）式に基づいてエッジ度を判定し、ステップＳ１２０ではしきい値と同エッジ度とを比較する。そして、エッジ度の方が大きい場合には処理対象画素がエッジ画素であると判断し、ステップＳ１３０にて当該画素の画像データをワークエリアに保存する。また、ステップＳ１４０では当該処理対象画素が均等サンプリングの対象であるか否かを判断し、対象である場合はステップＳ１５０で当該画素の画像データを別のワークエリアに保存する。
【０１７７】
以上の処理をステップＳ１６０にて処理対象画素を移動させながらステップＳ１７０にて全画素について実行したと判断されるまで繰り返す。
【０１７８】
全画素について実行し終えたら、それぞれのワークエリアには異なる評価基準でサンプリングされた画像データが保存されていることになり、ステップＳ１８０では画像評価のためのオプションを入力する。操作者が画像を見てポートレートであるか風景写真であるかが判断できればいずれかを選択すればよいし、判断できない場合や全てを自動化したい場合には自動設定を選択する。ポートレートを選択した場合には重み付け係数ｋが「０．８」となってエッジ画素についての集計結果に重きを置かれるし、風景写真を選択した場合には重み付け係数ｋが「０．２」となって均等にサンプリングした集計結果に重きを置かれ、自動設定を選択した場合にはエッジ画素の割合に応じた重み付け係数ｋがセットされる。ただし、どの場合においても重み付け係数ｋを使用して複数の評価基準を採用することになり、一つだけの評価基準にとらわれない柔軟な評価が可能となる。
【０１７９】
本実施形態においては、ワークエリアに画像データそのものを保存するようにしたが、メモリ容量や処理時間の面から考えると必ずしも画像データをそのものをワークエリアに保存しておく必要はない。すなわち、最終的にはサンプリング対象の画素について輝度分布や彩度代替値分布のヒストグラムを作成することになるので、予めステップＳ１２０，Ｓ１５０にてヒストグラムの情報を蓄積していくようにすればよい。
【０１８０】
自動的にコントラスト補正と明度補正を実行する場合は、重み付け係数を使用してステップＳ１２０，Ｓ１５０，Ｓ３１０にて輝度分布のヒストグラムを求め、ステップＳ３２０にて（１２）（１３）式に基づいて拡大処理のためのパラメータを決定するとともに、ステップＳ３３０にて（１４）〜（１７）式に基づいて明度補正のためのパラメータを決定する。そして、ステップＳ３４０ではこれらのパラメータを所定のしきい値と比較し、画像処理すべきと判断すればステップＳ３５０にて上記パラメータに基づいて輝度変換する。この場合、演算量を減らすために最初に図１９に示す輝度の変換テーブルを作成しておき、（１８）〜（２０）式に基づいて画像データを変換する。
【０１８１】
この後、画像処理された画像データをディスプレイドライバ２１ｃを介してディスプレイ３２に表示し、良好であればプリンタドライバ２１ｂを介してプリンタ３１にて印刷させる。すなわち、同プリンタドライバ２１ｂはエッジ強調されたＲＧＢの階調データを入力し、所定の解像度変換を経てプリンタ３１の印字ヘッド領域に対応したラスタライズを行なうとともに、ラスタライズデータをＲＧＢからＣＭＹＫへ色変換し、その後でＣＭＹＫの階調データから二値データへ変換してプリンタ３１へ出力する。
【０１８２】
以上の処理により、スキャナ１１を介して読み込まれた写真の画像データは自動的に最適なコントラスト補正と明度補正を施されてディスプレイ３２に表示された後、プリンタ３１にて印刷される。すなわち、複数の評価基準を採用してより柔軟に画像を判定し、その評価結果に基づいてコントラスト補正や明度補正という最適な画像処理を実現することができる。
【０１８３】
一方、このようなコントラスト補正や明度補正に限らず、彩度強調やエッジ強調の場合にも、複数の評価基準で彩度やエッジ度をサンプリングして集計するとともに重み付け係数を調整して合算するようにしたため、単一の評価基準だけにとらわれない柔軟な判定を経て画像処理を実行することになる。
【０１８４】
このように、画像処理の中枢をなすコンピュータ２１はステップＳ１２０，Ｓ１４０にて異なる評価基準で画素の画像データをサンプリングしておくとともに、ステップＳ１８０にて入力される画像評価オプションに基づいてステップＳ１９２〜Ｓ１９６にて重み付け係数ｋを決定し、この決定した重み付け係数ｋを使用してステップＳ３１０にて集計結果を合算して輝度分布ヒストグラムを生成することにより、複数の評価基準を合算した総合的な集計結果に基づいて画像を評価し、ステップＳ３１０〜Ｓ３５０にて最適な画像処理を実行することができる。
【図面の簡単な説明】
【０１８５】
【図１】本発明の一実施形態にかかる画像処理装置を適用した画像処理システムのブロック図である。
【図２】同画像処理装置の具体的ハードウェアのブロック図である。
【図３】本発明の画像処理装置の他の適用例を示す概略ブロック図である。
【図４】本発明の画像処理装置の他の適用例を示す概略ブロック図である。
【図５】本発明の画像処理装置における画像評価処理部分を示すフローチャートである。
【図６】画像データの大きさと処理対象画素を移動させていく状態を示す図である。
【図７】画像の変化度合いを直交座標の各成分値で表す場合の説明図である。
【図８】画像の変化度合いを縦軸方向と横軸方向の隣接画素における差分値で求める場合の説明図である。
【図９】隣接する全画素間で画像の変化度合いを求める場合の説明図である。
【図１０】しきい値を変化させる領域を示す図である。
【図１１】サンプリング周期を示す図である。
【図１２】サンプリング画素数を示す図である。
【図１３】変換元の画像とサンプリングされる画素の関係を示す図である。
【図１４】画像評価オプションの入力画面を示す図である。
【図１５】個別のサンプリング結果を重み付けを変えて合算する状況を示す図である。
【図１６】画像評価処理の後段と画像処理部分を示すフローチャートである。
【図１７】輝度分布の端部処理と端部処理にて得られる端部を示す図である。
【図１８】輝度分布の拡大と再現可能な輝度の範囲を示す図である。
【図１９】輝度分布を拡大する際の変換テーブルを示す図である。
【図２０】γ補正で明るくする概念を示す図である。
【図２１】γ補正で暗くする概念を示す図である。
【図２２】γ補正で変更される輝度の対応関係を示す図である。
【図２３】彩度強調する場合のフローチャートである。
【図２４】彩度分布の集計状態の概略図である。
【図２５】彩度Ａと彩度強調指数Ｓとの関係を示す図である。
【図２６】エッジ強調する場合のフローチャートである。
【図２７】５×５画素のアンシャープマスクを示す図である。
【符号の説明】
【０１８６】
１０…画像入力装置
２０…画像処理装置
２１…コンピュータ
２１ａ…オペレーティングシステム
２１ｂ…プリンタドライバ
２１ｃ…ディスプレイドライバ
２１ｄ…画像処理アプリケーション
２２…ハードディスク
２３…キーボード
２４…ＣＤ−ＲＯＭドライブ
２５…フレキシブルディスクドライブ
２６…モデム
３０…画像出力装置
【技術分野】
【０００１】
本発明は、デジタル写真画像のような実写の画像データに基づいて画像を評価する画像評価方法、画像評価プログラムを記録した媒体および画像評価装置に関する。
【背景技術】
【０００２】
ディジタル写真画像のような実写の画像データに対して各種の画像処理が行われている。例えば、コントラストを拡大するとか、色調を補正するとか、明るさを補正するといった画像処理である。これらの画像処理は、通常、マイクロコンピュータで実行可能となっており、操作者がモニタ上で画像を確認して必要な画像処理を選択したり、画像処理のパラメータなどを決定している。すなわち、画像の特徴を操作者が判定して各種の操作を選択したり実行している。
【０００３】
近年、画像処理の技法については各種のものが提案され、実際に効果を発揮している。しかしながら、どの技法でどの程度の処理を行うかとなると、依然、人間が関与しなければならない。これは、画像処理の対象となるディジタル画像データにおいて、どこが重要であるのかを判断することができなかったためである。
【０００４】
例えば、明るさを補正する画像処理を考えた場合、画面全体の平均が暗ければ明るく補正し、逆に平均が明るければ暗く補正するという自動処理を考えたとする。ここで、夜間撮影した人物像の実写の画像データがあるとする。背景は殆ど真っ暗に近いものの、人物自体は良好に撮影できていたとする。この実写の画像データを自動補正すると、背景が真っ暗であるがために明るく補正しようとしてしまい、昼間の画像のようになってしまうことになる。
【０００５】
この場合、人間が関与していれば人物像の部分だけに注目する。そして、人物像が暗ければ少し明るく補正するし、逆に、フラッシュなどの効果で明る過ぎれば暗くする補正を選択する。
【０００６】
本出願人は、このような課題に鑑みて、画像の中での重要な部分を判断する発明を提案している。同発明においては、画像のシャープな部分に本来の被写体（オブジェクト）が存在しているはずであると考え、各画素での画像の変化度合いに着目して同変化度合いの大きな画素をオブジェクトと判断している。
【０００７】
しかしながら、画像のシャープな部分があるにしても同部分の面積は小さく背景部分を基準にした画像処理が好ましい場合もあり、一つの評価基準だけでは偏りが生じる可能性があった。また、いずれの評価基準を採用すべきかを判定する必要性は依然として残ったままであった。
【発明の開示】
【発明が解決しようとする課題】
【０００８】
本発明は、上記課題にかんがみてなされたもので、画像処理の前提として画像を評価するにあたり、柔軟に対応して画像評価結果を利用しやすくすることが可能な画像評価方法、画像評価プログラムを記録した媒体および画像評価装置の提供を目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するため、請求項１にかかる発明は、ドットマトリクス状の画素からなる実写の画像データを入力し、各画素の画像データを所定の基準で集計し、集計結果に基づいて画像を評価する画像評価方法であって、上記集計結果に対する複数の評価基準をもつとともに、それぞれの評価基準に基づく評価結果を所定の重み付けで合算する構成としてある。
【００１０】
上記のように構成した請求項１にかかる発明においては、評価する手法の前提として、ドットマトリクス状の画素からなる実写の画像データを入力し、各画素の画像データを所定の基準で集計し、集計結果に基づいて画像を評価する。ここにおいて、上記集計結果に対する複数の評価基準をもっており、それぞれの評価基準に基づく評価結果を所定の重み付けで合算する。
【００１１】
すなわち、ポートレートのように画像のシャープな被写体をオブジェクトとして当該画像を評価するのに適当な評価基準もあれば、背景を重要なオブジェクトとして当該画像を評価するのに適当な評価基準もあり、これらの複数の評価基準を並行して実行しつつそれぞれの重み付けを変えることによって適宜おりまぜ、総合評価する。
【００１２】
なお、この評価結果は画像の特徴などを判定するのに使用可能なものであればよく、具体的に画像の種類を特定するような結果が得られる必要はない。例えば、画像を明るいと判定するか暗いと判定するかといった場合の輝度のヒストグラムなどといった指標も含むものであり、明るい画像であるとか暗い画像であるといった判定結果が得られる必要はない。むろん、明暗以外にも画像がシャープであるか否かの指標であるとか、鮮やかさを判断する際の指標であってもよい。
【００１３】
集計結果に対して複数の評価基準を適用するためには、実質的に同様の目的を達するさまざまな手法を採用可能である。例えば、全画素について個別の評価基準で重み付けを与えて集計することもその一例である。但し、全画素について集計すると処理量が多くなるので、そのような状況に対して好適な一例として、請求項２にかかる発明は、請求項１に記載の画像評価方法において、上記画像データについて所定の基準で間引いて集計するにあたり、複数の評価基準に基づくサンプリングを行って集計するとともに、それぞれの集計結果を所定の重み付けで合算する構成としてある。
【００１４】
上記のように構成した請求項２にかかる発明においては、集計する前提として画像データをサンプリングすることとし、このサンプリングの仕方に対する基準を変えることによって結果的に複数の基準を採用することとなり、さらに、それぞれの集計結果の重み付けを調整して合算することにより、結果的に複数の評価基準に基づく評価結果に対してそれぞれ重み付けを持たせて評価したことに対応する。
【００１５】
このような評価基準の基本的な一例として、請求項３にかかる発明は、請求項１または請求項２のいずれかに記載の画像評価方法において、一の評価基準が均等にサンプリングして集計する構成としてある。
【００１６】
上記のように構成した請求項３にかかる発明においては、画像データが均等に間引かれるが、画像を全体的に捉えることになるので、風景写真などの判定に適した評価基準と言える。
【００１７】
一方、サンプリング手法を採用する場合と採用しない場合のいずれにも適用可能な評価基準の一例として、請求項４にかかる発明は、請求項１〜請求項３のいずれかに記載の画像評価方法において、一の評価基準が各画素における隣接画素との変化度合いが大きい画素について評価を重くして集計する構成としてある。
【００１８】
上記のように構成した請求項４にかかる発明においては、各画素における隣接画素との変化度合いを検出し、変化度合いが大きい画素について評価を重くして集計することにより、結果的に変化度合いの大きいはっきりした画像部分を評価する評価基準を採用することになる。
【００１９】
この評価基準は画像のシャープな部分に重きをおいて評価するので、人物像などの画像を判定するのに好適なことはいうまでもない。ここで変化度合いが大きい画像に評価の重きをおく手法には、集計しながら重み付けを代えるものであってもよいし、変化度合いの大きい画素だけについて集計するといったものでもよい。
【００２０】
評価基準の重み付けは必ずしも固定的でなければならないわけではなく、請求項５にかかる発明は、請求項１〜請求項４のいずれかに記載の画像評価方法において、各評価基準に対する重み付けを変更可能に構成してある。
【００２１】
上記のように構成した請求項５にかかる発明においては、それぞれの評価基準に対する重み付けを変更することにより、画像に対応した総合評価結果を導き出すことが可能となる。この場合、それぞれの重み付けを個別に変更するものであるとか、複数の組合せを予め用意しておき、その組合せを選択するというものなど各種の態様が含まれる。
【００２２】
また、このような重み付けの変更自体を操作者が行うのではなく、画像データに基づいて実現することも含まれ、その一例として、請求項６にかかる発明は、各評価基準に基づく評価結果に基づいて当該評価結果の重み付けを変化させる構成としてある。
【００２３】
上記のように構成した請求項６にかかる発明においては、各評価基準で評価結果を得て、その評価結果からそれぞれの評価基準の適応性など勘案して当該評価結果の重み付けを変化させる。
【００２４】
評価結果を使用して評価基準の重み付けを変える際にもさまざまな手法を採用可能であり、例えば、ある評価基準で各画素の画像データを上述したサンプリングの対象とするか否かを判断するとすれば、その画素数を一つの評価基準とし、画素数が多い場合に重み付けを重くするといったことも含まれる。
【００２５】
以上のような手法で画像を評価する発明の思想は、各種の態様を含むものである。すなわち、ハードウェアで実現されたり、ソフトウェアで実現されるなど、適宜、変更可能である。
【００２６】
発明の思想の具現化例として画像処理するソフトウェアとなる場合には、かかるソフトウェアを記録したソフトウェア記録媒体上においても当然に存在し、利用されるといわざるをえない。
【００２７】
その一例として、請求項７にかかる発明は、コンピュータにてドットマトリクス状の画素からなる実写の画像データを入力し、各画素の画像データを所定の基準で集計し、集計結果に基づいて画像を評価する画像評価プログラムを記録した媒体であって、上記集計結果に対する複数の評価基準をもつとともに、それぞれの評価基準に基づく評価結果を所定の重み付けで合算する構成としてある。
【００２８】
むろん、その記録媒体は、磁気記録媒体であってもよいし光磁気記録媒体であってもよいし、今後開発されるいかなるソフトウェア記録媒体においても全く同様に考えることができる。また、一次複製品、二次複製品などの複製段階については全く問う余地無く同等である。その他、供給方法として通信回線を利用して行う場合でも本発明が利用されていることには変わりないし、半導体チップに書き込まれたようなものであっても同様である。
【００２９】
さらに、一部がソフトウェアであって、一部がハードウェアで実現されている場合においても発明の思想において全く異なるものはなく、一部をソフトウェア記録媒体上に記憶しておいて必要に応じて適宜読み込まれるような形態のものとしてあってもよい。
【００３０】
これらの画像評価方法やソフトウェアの実現主体として画像評価装置として適用可能なことはいうまでもなく、請求項８にかかる発明は、ドットマトリクス状の画素からなる実写の画像データを入力する画像データ入力手段と、各画素の画像データを所定の基準で集計し、集計結果に基づいて画像を評価するにあたり、上記集計結果に対する複数の評価基準をもつとともに、それぞれの評価基準に基づく評価結果を所定の重み付けで合算する画像データ評価手段とを具備する構成としてある。
【００３１】
上記のように構成した請求項８にかかる発明においては、画像データ入力手段ばドットマトリクス状の画素からなる実写の画像データを入力し、画像データ評価手段は各画素の画像データを所定の基準で集計してその集計結果に基づいて画像を評価する。この際、画像データ評価手段は、上記集計結果に対する複数の評価基準をもっており、それぞれの評価基準に基づく評価結果に対して所定の重み付けを持たせて合算して評価する。
【００３２】
むろん、このような画像評価装置は単独で存在する場合もあるし、画像処理装置に組み込まれた状態で利用されることもあるなど、適宜変更可能である。
【００３３】
［発明の効果］
以上説明したように本発明は、複数の評価基準の重み付けを変えて総合的に評価するため、画像の特徴を判定するにあたって柔軟に対応することが可能な画像評価方法を提供することができる。
【００３４】
また、請求項２にかかる発明によれば、画像データについてサンプリングして処理を行うため、サンプリングの仕方に応じて評価基準を複数採用可能であるとともに、処理量を低減させることができる。
【００３５】
さらに、請求項３にかかる発明によれば、処理量を低減させつつ風景などに最適な評価基準を採用することが可能となる。
【００３６】
さらに、請求項４にかかる発明によれば、画像の変化度合いが大きい部分はフォーカスのはっきりした被写体部分であることが多いため、このような重要画素に重きをおいた画像評価が可能となる。
【００３７】
さらに、請求項５にかかる発明によれば、複数の評価基準に対する重み付けを変更することにより、より柔軟な評価が可能となる。
【００３８】
さらに、請求項６にかかる発明によれば、評価結果を利用して重み付けを変化させるため、評価の手間を軽減させることができる。
【００３９】
さらに、請求項７にかかる発明によれば、同様にして画像の特徴を判定するにあたって柔軟に対応することが可能な画像評価プログラムを記録した媒体を提供することができ、請求項８にかかる発明によれば、画像評価装置を提供することができる。
【発明を実施するための最良の形態】
【００４０】
以下、図面にもとづいて本発明の実施形態を説明する。
【００４１】
図１は、本発明の一実施形態にかかる画像評価方法を実行して画像処理する画像処理システムをブロック図により示しており、図２は具体的ハードウェア構成例を概略ブロック図により示している。
【００４２】
図１において、画像入力装置１０は写真などをドットマトリクス状の画素として表した実写の画像データを画像処理装置２０へ出力し、同画像処理装置２０は所定の処理を経て画像データを集計して評価結果を求め、同評価結果に基づいて画像処理の内容と程度を決定してから画像処理を実行する。同画像処理装置２０は画像処理した画像データを画像出力装置３０へ出力し、画像出力装置は画像処理された画像をドットマトリクス状の画素で出力する。
【００４３】
画像処理装置２０は、予め画像データを集計して当該画像に対する評価結果を求めている。この際、複数の評価基準を採用して個別に画像データの集計を行い、所定の条件で重み付けを変化させて合算している。従って、画像処理装置２０は、画像データ評価手段を構成する。
【００４４】
画像入力装置１０の具体例は図２におけるスキャナ１１やデジタルスチルカメラ１２あるいはビデオカメラ１４などが該当し、画像処理装置２０の具体例はコンピュータ２１とハードディスク２２とキーボード２３とＣＤ−ＲＯＭドライブ２４とフレキシブルディスクドライブ２５とモデム２６などからなるコンピュータシステムが該当し、画像出力装置３０の具体例はプリンタ３１やディスプレイ３２等が該当する。本実施形態の場合、画像の不具合等を修正すべく等該画像を評価するため、画像データとしては写真などの実写データが好適である。なお、モデム２６については公衆通信回線に接続され、外部のネットワークに同公衆通信回線を介して接続し、ソフトウェアやデータをダウンロードして導入可能となっている。
【００４５】
本実施形態においては、画像入力装置１０としてのスキャナ１１やデジタルスチルカメラ１２が画像データとしてＲＧＢ（緑、青、赤）の階調データを出力するとともに、画像出力装置３０としてのプリンタ３１は階調データとしてＣＭＹ（シアン、マゼンダ、イエロー）あるいはこれに黒を加えたＣＭＹＫの二値データを入力として必要とするし、ディスプレイ３２はＲＧＢの階調データを入力として必要とする。一方、コンピュータ２１内ではオペレーティングシステム２１ａが稼働しており、プリンタ３１やディスプレイ３２に対応したプリンタドライバ２１ｂやディスプレイドライバ２１ｃが組み込まれている。また、画像処理アプリケーション２１ｄはオペレーティングシステム２１ａにて処理の実行を制御され、必要に応じてプリンタドライバ２１ｂやディスプレイドライバ２１ｃと連携して所定の画像処理を実行する。
【００４６】
従って、画像処理装置２０としてのこのコンピュータ２１の具体的役割は、ＲＧＢの階調データを入力して画像を評価しつつ最適な画像処理を施したＲＧＢの階調データを作成し、ディスプレイドライバ２１ｃを介してディスプレイ３２に表示させるとともに、プリンタドライバ２１ｂを介してＣＭＹ（あるいはＣＭＹＫ）の二値データに変換してプリンタ３１に印刷させることになる。
【００４７】
このように、本実施形態においては、画像の入出力装置の間にコンピュータシステムを組み込んで画像評価と画像処理を行うようにしているが、必ずしもかかるコンピュータシステムを必要とするわけではなく、画像データに対して各種の画像処理を行うシステムに適用可能である。例えば、図３に示すようにデジタルスチルカメラ１２ａ内に画像評価して画像処理する画像処理装置を組み込み、変換した画像データを用いてディスプレイ３２ａに表示させたりプリンタ３１ａに印字させるようなシステムであっても良い。また、図４に示すように、コンピュータシステムを介することなく画像データを入力して印刷するプリンタ３１ｂにおいては、スキャナ１１ｂやデジタルスチルカメラ１２ｂあるいはモデム２６ｂ等を介して入力される画像データから画像評価して画像処理するように構成することも可能である。
【００４８】
上述した画像評価とそれに伴う画像処理は、具体的には上記コンピュータ２１内にて図５などに示すフローチャートに対応した画像処理プログラムで行っている。同図に示すフローチャートは画像処理プログラムにおける画像評価の前段部分に該当し、画像データを複数の評価基準で集計して所定の評価結果を得る処理を実行する。
【００４９】
ここで本実施形態において採用する二つの評価基準について説明する。共通するのはいずれも全画素を対象とするのではなく、所定の基準に従って画素を間引くとともに、サンプリングした画素について輝度を集計する点である。また、相違するのは、一方が均等に画素をサンプリングするのに対し、他方がエッジ画素を選択してサンプリングする点である。輝度の集計結果については後述するが、このようにしていわゆるサンプリング手法を変えることにより、画像の評価を変えることができる。均等に画素をサンプリングするというのは画像全体の画素について輝度を集計することに他ならず、画像全体としての画像データの輝度の分布を評価することになるから、風景写真が全体的に暗いとかコントラストが狭いといった評価の参考となる。
【００５０】
一方、エッジ画素は画像のシャープな部分であるから、画像の中でも本来の被写体に関わる画素について輝度を集計することになり、たとえ背景が暗くても被写体が十分な明るさを持っていれば画像の明るさは十分であるといった評価結果が得られることになる。本実施形態においては、操作者による選択あるいは自動処理によってこれら二つの評価基準を適宜組み合わせて画像の判定を行うようにしている。
【００５１】
図５に示すフローチャートを参照すると、この画像評価処理では、図６に示すようにドットマトリクス状の画素からなる画像データについて対象画素を水平方向に主走査しつつ垂直方向に副走査して移動させ、各画素についてサンプリング対象であるか否かを判断して集計している。
【００５２】
画像データがドットマトリクス状の画素から構成されている場合には、各画素ごとに上述したＲＧＢの輝度を表す階調データで表されており、画像のエッジ部分では隣接する画素間での同データの差分は大きくなる。この差分は輝度勾配であり、これをエッジ度と呼ぶことにし、ステップＳ１１０では各画素でのエッジ度を判定する。図７に示すようなＸＹ直交座標を考察する場合、画像の変化度合いのベクトルはＸ軸方向成分とＹ軸方向成分とをそれぞれ求めれば演算可能となる。
【００５３】
ドットマトリクス状の画素からなるディジタル画像においては、図８に示すように縦軸方向と横軸方向に画素が隣接しており、その明るさをｆ（ｘ，ｙ）で表すものとする。この場合、ｆ（ｘ，ｙ）はＲＧＢの各輝度であるＲ（ｘ，ｙ），Ｇ（ｘ，ｙ），Ｂ（ｘ，ｙ）であったり、あるいは全体の輝度Ｙ（ｘ，ｙ）であってもよい、なお、ＲＧＢの各輝度であるＲ（ｘ，ｙ），Ｇ（ｘ，ｙ），Ｂ（ｘ，ｙ）と全体の輝度Ｙ（ｘ，ｙ）との関係は、厳密には色変換テーブルなどを参照しなければ変換不能であるが、後述するようにして簡易な対応関係を利用するようにしても良い。
【００５４】
図８に示すものにおいて、Ｘ方向の差分値ｆｘとＹ方向の差分値ｆｙは、
【００５５】
【数１】
【００５６】
のように表される。従って、これらを成分とするベクトルの大きさ
【００５７】
【数２】
【００５８】
のように表される。むろん、エッジ度はこの｜ｇ（ｘ，ｙ）｜で表される。なお、本来、画素は図９に示すように縦横に升目状に配置されており、中央の画素に注目すると八つの隣接画素がある。従って、同様にそれぞれの隣接する画素との画像データの差分をベクトルで表し、このベクトルの和を画像の変化度合いと判断しても良い。
【００５９】
以上のようにして各画素についてエッジ度が求められるので、あるしきい値と比較してエッジ度の方が大きい画素はエッジ画素と判断すればよい。なお、経験的事実から考察すると、フォーカスが集中する被写体は構図の中央部分に位置することが多い。従って、中央部分から多くの画素が抽出されるような仕組みとすることにより、画像処理の判断に利用したときにより好ましい効果を得られる。
【００６０】
このため、図１０に示すように、画像の中の部分毎に比較するしきい値Ｔｈ１，Ｔｈ２，Ｔｈ３を異ならせておくようにしてもよい。むろん、この例では、
【００６１】
【数３】
【００６２】
なる関係があり、中央に近い部分ほどしきい値は低く、エッジ度が比較的低くてもフォーカスが集中していると判断されるようになる。
【００６３】
ステップＳ１２０ではエッジ度と同しきい値とを比較して変化度合いが大きいか否かを判断する。比較の結果、エッジ度の方が大きければこの画素はエッジ画素であると判断し、ステップＳ１３０にてその画素の画像データをサンプリングしてワークエリアに保存する。ワークエリアはコンピュータ２１内のＲＡＭであってもよいしハードディスク２２であってもよい。
【００６４】
一方、このようなエッジ度の判定と並行してステップＳ１４０では当該対象画素が均等サンプリングの対象画素であるか否かを判断する。均等にサンプリングするといっても、ある誤差の範囲内となる程度にサンプリングする必要がある。統計的誤差によれば、サンプル数Ｎに対する誤差は概ね１／（Ｎ**（１／２））と表せる。ただし、**は累乗を表している。従って、１％程度の誤差で処理を行うためにはＮ＝１００００となる。
【００６５】
ここにおいて、図６に示すビットマップ画面は（ｗｉｄｔｈ）×（ｈｅｉｇｈｔ）の画素数となり、サンプリング周期ｒａｔｉｏは、
【００６６】
【数４】
【００６７】
とする。ここにおいて、ｍｉｎ（ｗｉｄｔｈ，ｈｅｉｇｈｔ）はｗｉｄｔｈとｈｅｉｇｈｔのいずれか小さい方であり、Ａは定数とする。また、ここでいうサンプリング周期ｒａｔｉｏは何画素ごとにサンプリングするかを表しており、図１１の○印の画素はサンプリング周期ｒａｔｉｏ＝２の場合を示している。すなわち、縦方向及び横方向に二画素ごとに一画素のサンプリングであり、一画素おきにサンプリングしている。Ａ＝２００としたときの１ライン中のサンプリング画素数は図１２に示すようになる。
【００６８】
同図から明らかなように、サンプリングしないことになるサンプリング周期ｒａｔｉｏ＝１の場合を除いて、２００画素以上の幅があるときには最低でもサンプル数は１００画素以上となることが分かる。従って、縦方向と横方向について２００画素以上の場合には（１００画素）×（１００画素）＝（１００００画素）が確保され、誤差を１％以下にできる。
【００６９】
ここにおいてｍｉｎ（ｗｉｄｔｈ，ｈｅｉｇｈｔ）を基準としているのは次のような理由による。例えば、図１３（ａ）に示すビットマップ画像のように、ｗｉｄｔｈ＞＞ｈｅｉｇｈｔであるとすると、長い方のｗｉｄｔｈでサンプリング周期ｒａｔｉｏを決めてしまった場合には、同図（ｂ）に示すように、縦方向には上端と下端の２ラインしか画素を抽出されないといったことが起こりかねない。しかしながら、ｍｉｎ（ｗｉｄｔｈ，ｈｅｉｇｈｔ）として、小さい方に基づいてサンプリング周期ｒａｔｉｏを決めるようにすれば同図（ｃ）に示すように少ない方の縦方向においても中間部を含むような間引きを行うことができるようになる。すなわち、所定の抽出数を確保したサンプリングが可能となる。
【００７０】
ステップＳ１４０では、このような均等なサンプリング手法を採用しつつ、当該対象画素がそのサンプリング対象となっているか否かを判断し、対象であればステップＳ１５０にて画像データをサンプリングする。
【００７１】
ステップＳ１３０，Ｓ１５０で画像データをサンプリングするというのは、同画像データに基づいて輝度を集計することを意味する。上述したように、本実施形態においてはコンピュータ２１が扱うのはＲＧＢの階調データであり、直接には輝度の値を持っていない。輝度を求めるためにＬｕｖ表色空間に色変換することも可能であるが、演算量などの問題から得策ではない。このため、テレビジョンなどの場合に利用されているＲＧＢから輝度を直に求める次式の変換式を利用する。
【００７２】
【数５】
【００７３】
輝度はヒストグラムとして集計し、むろん、ステップＳ１３０の集計エリアとステップＳ１５０の集計エリアは別個である。なお、輝度の集計とともに集計対象となった画素数についても集計しておく。
【００７４】
以上のような処理を画像データの各画素について行うため、ステップＳ１６０にて処理の対象画素を移動させ、ステップＳ１７０にて全画素について終了したと判断されるまで処理を繰り返す。
【００７５】
それぞれのサンプリング手法で対象となる画素について輝度の集計を行ったら、ステップＳ１８０では画像評価オプションを入力する。図１４はディスプレイ３２上に表示される画像評価オプション入力画面を示しており、選択肢としてポートレートと風景写真と自動設定という三つが用意されている。
【００７６】
図１５に示すように均等サンプリングで得られた輝度のヒストグラムと、エッジ画素のサンプリングで得られた輝度のヒストグラムとを合算して当該画像を評価するためのヒストグラムを生成するにあたり、それぞれの重み付けを調整する必要がある。ここで重み付け係数ｋを採用すると、均等サンプリングの集計結果Ｄｉｓｔ＿ａｖｅとエッジ画素サンプリングでの集計結果Ｄｉｓｔ＿ｅｄｇから、評価用の集計結果Ｄｉｓｔ＿Ｓｕｍは、
【００７７】
【数６】
【００７８】
となる。そして、この重み付け係数ｋは、「０」に近づくほど全体重視となり、「１」に近づくほど被写体重視といえる。このため、図１４に示す画像評価オプション入力画面でオプションを選択した後、ステップＳ１９０にて同オプションに基づいて分岐し、ポートレートを選択したときにはステップＳ１９２にて「ｋ＝０．８」と設定し、風景写真を選択したときにはステップＳ１９４にて「ｋ＝０．２」と設定する。
【００７９】
オプション選択の残る一つの選択肢は自動設定である。この自動設定では先に述べたようにサンプリングしたエッジ画素数に基づき、当該エッジ画素数が少ない場合には風景写真と考えて重み付け係数ｋを「０」に近づけるし、当該エッジ画素数が多い場合にはポートレートと考えて重み付け係数ｋを「１」に近づける。エッジ画素のサンプリング数ｘ＿ｅｄｇと均等サンプリング数ｘ＿ａｖｅを使用し、ステップＳ１９６にて重み付け係数を
【００８０】
【数７】
【００８１】
として算出して評価用の集計結果Ｄｉｓｔ＿Ｓｕｍを得る。
【００８２】
このようにして評価用の集計結果Ｄｉｓｔ＿Ｓｕｍを得ることにより画像の評価を行ったことになる。むろん、この集計結果を用いてさらなる判定を行っても良いが、基本的にはかかる集計結果を利用する画像処理に応じて適宜変更すればよい。
【００８３】
この後、同集計結果に基づいて最適な画像処理を決定し、実行する。図１６は、その一例としてコントラストの拡大と明度の補正の画像処理を実行するためのフローチャートを示している。
【００８４】
本実施形態でのコントラストを拡大するための基本的な手法は、画像データに基づいて輝度分布を求め、この輝度分布が本来の階調幅（２５５階調）の一部分しか利用していないのであれば分布を拡大するというものである。
【００８５】
従って、ステップＳ３１０では上述した重み付け係数ｋから集計結果Ｄｉｓｔ＿Ｓｕｍとしての輝度分布のヒストグラムを作成し、ステップＳ３２０では拡大する幅を決定する。拡大幅を決定するにあたり、輝度分布の両端を求めることを考える。写真画像の輝度分布は図１７に示すように概ね山形に表れる。むろん、その位置、形状についてはさまざまである。輝度分布の幅はこの両端をどこに決めるかによって決定されるが、単に裾野が延びて分布数が「０」となる点を両端とすることはできない。裾野部分では分布数が「０」付近で変移する場合があるし、統計的に見れば限りなく「０」に近づきながら推移していくからである。
【００８６】
このため、分布範囲において最も輝度の大きい側と小さい側からある分布割合だけ内側に経た部分を分布の両端とする。本実施形態においては、同図に示すように、この分布割合を０．５％に設定している。むろん、この割合については、適宜、変更することが可能である。このように、ある分布割合だけ上端と下端をカットすることにより、ノイズなどに起因して生じている白点や黒点を無視することもできる。すなわち、このような処理をしなければ一点でも白点や黒点があればそれが輝度分布の両端となってしまうので、２５５階調の輝度値であれば、多くの場合において最下端は階調「０」であるし、最上端は階調「２５５」となってしまうが、上端部分から０．５％の画素数だけ内側に入った部分を端部とすることにより、このようなことが無くなる。
【００８７】
実際の処理ではサンプリングした画素数に対する０．５％を演算し、再現可能な輝度分布における上端の輝度値及び下端の輝度値から順番に内側に向かいながらそれぞれの分布数を累積し、０．５％の値となった輝度値を求める。以後、この上端側をｙｍａｘと呼び、下端側をｙｍｉｎと呼ぶ。
【００８８】
再現可能な輝度の範囲を「０」〜「２５５」としたときに、変換前の輝度ｙと輝度の分布範囲の最大値ｙmaxと最小値ｙminから変換先の輝度Ｙを次式に基づいて求める。
【００８９】
【数８】
【００９０】
ただし
【００９１】
【数９】
【００９２】
また、上記変換式にてＹ＜０ならばＹ＝０とし、Ｙ＞２５５ならばＹ＝２５５とする。ここにおける、ａは傾きであり、ｂはオフセットといえる。この変換式によれば、図１８に示すように、あるせまい幅を持った輝度分布を再現可能な範囲まで広げることができる。ただし、再現可能な範囲を最大限に利用して輝度分布の拡大を図った場合、ハイライト部分が白く抜けてしまったり、ハイシャドウ部分が黒くつぶれてしまうことが起こる。これを防止するため本実施形態においては、再現可能な範囲を制限している。すなわち、再現可能な範囲の上端と下端に拡大しない範囲として輝度値で「５」だけ残している。この結果、変換式のパラメータは次式のようになる。
【００９３】
【数１０】
【００９４】
そして、この場合にはｙ＜ｙminと、ｙ＞ｙmaxの範囲においては変換を行わないようにする。
【００９５】
ただし、このままの拡大率（ａに対応）を適用してしまうと、非常に大きな拡大率が得られる場合も生じてしまう。例えば、夕方のような薄暮の状態では最も明るい部分から暗い部分までのコントラストの幅が狭くて当然であるのに、この画像についてコントラストを大きく拡大しようとする結果、昼間の画像のように変換されてしまいかねない。このような変換は希望されないので、拡大率には制限を設けておき、ａが１．５（〜２）以上とはならないように制限する。これにより、薄暮は薄暮なりに表現されるようになる。なお、この場合は輝度分布の中心位置がなるべく変化しないような処理を行っておく。
【００９６】
ところで、輝度の変換時に、毎回、上記変換式（Ｙ＝ａｙ＋ｂ）を実行するのは非合理的である。というのは、輝度ｙの取りうる範囲が「０」〜「２５５」でしかあり得ないため、予め輝度ｙが取りうる全ての値に対応して変換後の輝度Ｙを求めておくことも可能である。従って、図１９に示すようなテーブルとして記憶しておく。
【００９７】
このような変換テーブルを形成することがステップＳ３２０の拡大幅決定処理に該当し、画像データを変更することが可能になる。しかし、このような輝度の範囲の拡大によってコントラストを強調するだけでなく、合わせて明るさを調整することも極めて有効であるため、ステップＳ３３０にて画像の明るさを判断し、補正のためのパラメータを生成する。
【００９８】
例えば、図２０にて実線で示すように輝度分布の山が全体的に暗い側に寄っている場合には波線で示すように全体的に明るい側に山を移動させると良いし、逆に、図２１にて実線で示すように輝度分布の山が全体的に明るい側に寄っている場合には波線で示すように全体的に暗い側に山を移動させると良い。
【００９９】
各種の実験を行った結果、本実施形態においては、輝度分布におけるメジアンｙｍｅｄを求め、同メジアンｙｍｅｄが「８５」未満である場合に暗い画像と判断して以下のγ値に対応するγ補正で明るくする。
【０１００】
【数１１】
【０１０１】
あるいは、
【０１０２】
【数１２】
【０１０３】
とする。
【０１０４】
この場合、γ＜０．７となっても、γ＝０．７とする。このような限界を設けておかないと夜の画像が昼間のようになってしまうからである。なお、明るくしすぎると全体的に白っぽい画像になってコントラストが弱い画像になりやすいため、彩度を合わせて強調するなどの処理が好適である。
【０１０５】
一方、メジアンｙｍｅｄが「１２８」より大きい場合に明るい画像と判断して以下のγ値に対応するγ補正で暗くする。
【０１０６】
【数１３】
【０１０７】
あるいは、
【０１０８】
【数１４】
【０１０９】
とする。この場合、γ＞１．３となっても、γ＝１．３として暗くなり過ぎないように限界を設けておく。
【０１１０】
なお、このγ補正は変換前の輝度分布に対して行っても良いし、変換後の輝度分布に対して行っても良い。γ補正をした場合における対応関係を図２２に示しており、γ＜１であれば上方に膨らむカーブとなり、γ＞１であれば下方に膨らむカーブとなる。むろん、かかるγ補正の結果も図１９に示すテーブル内に反映させておけばよく、テーブルデータに対して同補正を行っておく。
【０１１１】
最後に、ステップＳ３４０にてコントラスト補正と明度補正が必要であるか否かを判断する。この判断は上述した拡大率（ａ）とγ値について適当なしきい値と比較し、拡大率の方が大きかったりγ値が所定範囲を超えていたら必要性有りと判断する。そして、必要性有りと判断されれば画像データの変換を行う。
【０１１２】
画像処理が必要であると判断された場合、（９）式に基づく変換を行うが、同式の変換式は、ＲＧＢの成分値との対応関係においても当てはめることができ、変換前の成分値（Ｒ0 ，Ｇ0 ，Ｂ0 ）に対して変換後の成分値（Ｒ，Ｇ，Ｂ）は、
【０１１３】
【数１５】
【０１１４】
として求めることもできる。ここで、輝度ｙ，Ｙが階調「０」〜階調「２５５」であるのに対応してＲＧＢの各成分値（Ｒ0，Ｇ0，Ｂ0），（Ｒ,Ｇ,Ｂ）も同じ範囲となっており、上述した輝度ｙ，Ｙの変換テーブルをそのまま利用すればよいといえる。
【０１１５】
従って、ステップＳ３５０では全画素の画像データ（Ｒ0，Ｇ0，Ｂ0）について（１８）〜（２０）式に対応する変換テーブルを参照し、変換後の画像データ（Ｒ,Ｇ,Ｂ）を得るという処理を繰り返すことになる。
【０１１６】
ところで、この場合は輝度の集計結果を画像の判定に利用する評価基準として使用し、コントラスト補正と明度補正を行うようにしているが、画像処理の具体例はこれに限られるものではなく、従って評価基準として使用する集計内容も様々である。
【０１１７】
図２３は彩度強調のための画像処理を実行する場合のフローチャートを示している。
【０１１８】
まず、画素データがその成分要素として彩度を持っていればその彩度の値を用いて分布を求めることが可能であるが、ＲＧＢの成分値しか持っていないため、本来的には彩度値が直接の成分値となっている表色空間への変換を行なわなければ彩度値を得ることができない。例えば、標準表色系としてのＬｕｖ空間においては、Ｌ軸が輝度（明度）を表し、Ｕ軸及びＶ軸で色相を表している。ここにおいて、Ｕ軸及びＶ軸においては両軸の交点からの距離が彩度を表すため、実質的に（Ｕ**２＋Ｖ**２）**（１／２）が彩度となる。
【０１１９】
このような異なる表色空間の間での色変換は対応関係を記憶した色変換テーブルを参照しつつ、補間演算を併用しなければならず、演算処理量は膨大となってくる。このような状況に鑑み、本実施形態においては、画像データとして標準的なＲＧＢの階調データを直に利用して彩度の代替値Ｘを次のようにして求めている。
【０１２０】
【数１６】
【０１２１】
本来的には彩度は、Ｒ＝Ｇ＝Ｂの場合に「０」となり、ＲＧＢの単色あるいはいずれか二色の所定割合による混合時において最大値となる。この性質から直に彩度を適切に表すのは可能であるものの、簡易な（２１）式によっても赤の単色および緑と青の混合色である黄であれば最大値の彩度となり、各成分が均一の場合に「０」となる。また、緑や青の単色についても最大値の半分程度には達している。むろん、
【０１２２】
【数１７】
【０１２３】
という式にも代替可能である。
【０１２４】
ステップＳ４１０では、上述した均等サンプリングとエッジ画素サンプリングの手法を採用しつつそれぞれ別個に彩度の代替値Ｘについてのヒストグラムの分布を求める。（２１）式においては、彩度が最低値「０」〜最大値「５１１」の範囲で分布し、概略的には図２４に示すような分布となる。次なるステップＳ４２０では、集計された彩度分布に基づいてこの画像についての彩度指数というものを決定する。但し、この場合も均等サンプリングの集計結果とエッジ画素サンプリングの集計結果から個別に彩度指数を導出し、上述した重み付け係数ｋを利用して合算せしめた彩度指数を算出する。
【０１２５】
彩度指数を導出するにあたり、本実施形態においては、サンプリングされた画素数の範囲で、分布数として上位の「１６％」が占める範囲を求める。そして、この範囲内での最低の彩度「Ａ」がこの画像の彩度を表すものとして次式に基づいて彩度強調指数Ｓを決定する。
【０１２６】
すなわち、
【０１２７】
【数１８】
【０１２８】
とする。図２５は、この彩度「Ａ」と彩度強調指数Ｓとの関係を示している。図に示すように、彩度指数Ｓは最大値「５０」〜最小値「０」の範囲で彩度「Ａ」が小さいときに大きく、同彩度「Ａ」が大きいときに小さくなるように徐々に変化していくことになる。
【０１２９】
彩度強調指数Ｓに基づいて彩度を強調するにあたり、上述したように画像データが彩度のパラメータを備えているものであれば同パラメータを変換すればよいものの、ＲＧＢの表色空間を採用している場合には、一旦、標準表色系であるＬｕｖ空間に変換し、Ｌｕｖ空間内で半径方向へ変移させなければならないといえる。しかしながら、ＲＧＢの画像データを、一旦、Ｌｕｖ空間内の画像データに変換し、彩度強調後に再びＲＧＢに戻すといった作業が必要となり、演算量が多くならざるを得ない。従って、ＲＧＢの階調データをそのまま利用して彩度強調することにする。
【０１３０】
ＲＧＢ表色空間のように各成分が概略対等な関係にある色相成分の成分値であるときには、Ｒ＝Ｇ＝Ｂであればグレイであって無彩度となる。従って、ＲＧＢの各成分における最小値となる成分については各画素の色相に影響を与えることなく単に彩度を低下させているにすぎないと考えれば、各成分における最小値をすべての成分値から減算し、その差分値を拡大することによって彩度を強調できるといえる。
【０１３１】
まず、上述した彩度強調指数Ｓから演算に有利な彩度強調パラメータＳratioを、
【０１３２】
【数１９】
【０１３３】
として求める。この場合、彩度強調指数Ｓ＝０のときに彩度強調パラメータＳratio＝１となって彩度強調されない。次に、ＲＧＢ階調データの各成分（Ｒ，Ｇ，Ｂ）における青（Ｂ）の成分値が最小値であったとすると、この彩度強調パラメータＳratio を使用して次のように変換する。
【０１３４】
【数２０】
【０１３５】
この結果、ＲＧＢ表色空間とＬｕｖ空間との間で一往復する二度の色変換が不要となるため、演算時間の低減をはかることができる。この実施形態においては、無彩度の成分について単純に最小値の成分を他の成分値から減算する手法を採用しているが、無彩度の成分を減算するにあたっては別の変換式を採用するものであっても構わない。ただし、（２９）〜（３１）式のように最小値を減算するだけの場合には乗除算が伴わないので演算量が容易となるという効果がある。
【０１３６】
（２５）〜（２７）式を採用する場合でも、良好な変換が可能であるものの、この場合には彩度を強調すると輝度も向上して全体的に明るくなるという傾向がある。従って、各成分値から輝度の相当値を減算した差分値を対象として変換を行うことにする。
【０１３７】
まず、輝度を求めるために、上述したＬｕｖ空間に色変換したのでは演算量が多大となってしまうため、テレビジョンなどの場合に利用されているＲＧＢから輝度を直に求める次式の変換式を利用する。
【０１３８】
輝度Ｙは、
【０１３９】
【数２１】
【０１４０】
一方、彩度強調は、
【０１４１】
【数２２】
【０１４２】
とする。この加減値△Ｒ，△Ｇ，△Ｂは輝度との差分値に基づいて次式のように求める。すなわち、
【０１４３】
【数２３】
【０１４４】
となり、この結果、
【０１４５】
【数２４】
【０１４６】
として変換可能となる。なお、輝度の保存は次式から明らかである。
【０１４７】
【数２５】
【０１４８】
また、入力がグレー（Ｒ＝Ｇ＝Ｂ）のときには、輝度Ｙ＝Ｒ＝Ｇ＝Ｂとなるので、加減値△Ｒ＝△Ｇ＝△Ｂ＝０となり、無彩色に色が付くこともない。（３９）式〜（４１）式を利用すれば輝度が保存され、彩度を強調しても全体的に明るくなることはない。
【０１４９】
以上のようにして彩度強調指数Ｓratio を求めたら、ステップＳ４３０にて所定のしきい値と比較し、彩度強調が必要な画像であるかを判断する。そして、必要であればステップＳ４４０にて（３９）式〜（４１）式に基づいて全画素について画像データを変換する。
【０１５０】
従って、ステップＳ４１０，Ｓ４２０にて複数の評価基準に基づいて画像データを評価しつつ、それぞれの評価結果に対して所定の重み付けを持たせて合算しており、これらを実行するハードウェア構成とソフトウェアとによって画像データ評価手段を構成することになる。
【０１５１】
また、他の画像の評価基準としてエッジ強調処理の画像処理を前提としたエッジ度の評価に適用することもできる。図２６は、このエッジ強調処理のフローチャートを示している。エッジ度は上述した手法にて算出するものとし、ステップＳ５１０では対象画素を移動させながら均等サンプリングとエッジ画素サンプリングの手法で別々にエッジ度を集計する。そして、積算されたエッジ度を画素数で除算することにより、それぞれの評価基準に基づくエッジ度の平均値を算出する。すなわち、この画像のシャープ度合いＳＬは、画素数をＥ（Ｉ）ｐｉｘとすると、
【０１５２】
【数２６】
【０１５３】
のようにして演算することができる。この場合、ＳＬの値が小さい画像ほどシャープネスの度合いが低い（見た目にぼけた）と判断できるし、ＳＬの値が大きい画像ほどシャープネスの度合いが高い（見た目にはっきりとしたもの）と判断できる。
【０１５４】
次に、ステップＳ５１５では画像評価オプションを入力するなどして重み付け係数ｋを決定し、それぞれのサンプリング手法に基づくエッジ度を重み付け加算して合算する。
【０１５５】
一方、画像のシャープさは感覚的なものであるため、実験的に得られた最適なシャープ度合いの画像データについて同様にしてシャープ度合いＳＬを求め、その値を理想のシャープ度合いＳＬｏｐｔと設定するとともに、ステップＳ５２０においてエッジ強調度Ｅenhanceを、
【０１５６】
【数２７】
【０１５７】
として求める。ここにおいて、係数ｋｓは画像の大きさに基づいて変化するものであり、上述したように画像データが縦横方向にそれぞれｈｅｉｇｈｔドットとｗｉｄｔｈドットからなる場合、
【０１５８】
【数２８】
【０１５９】
のようにして求めている。ここにおいて、ｍｉｎ（ｈｅｉｇｈｔ，ｗｉｄｔｈ）はｈｅｉｇｈｔドットとｗｉｄｔｈドットのうちのいずれか小さい方を指し、Ａは定数で「７６８」としている。むろん、これらは実験結果から得られたものであり、適宜変更可能であることはいうまでもない。ただし、基本的には画像が大きいものほど強調度を大きくするということで良好な結果を得られている。
【０１６０】
このようにしてエッジ強調度Ｅenhance を求めたら、ステップＳ５３０にて所定のしきい値と比較してエッジ強調が必要であるか判断し、必要であると判断されればステップＳ５４０にて全画素についてエッジ強調処理を実行する。
【０１６１】
エッジ強調処理は、強調前の各画素の輝度Ｙに対して強調後の輝度Ｙ’が、
【０１６２】
【数２９】
【０１６３】
として演算される。ここで、Ｙunsharpは各画素の画像データに対してアンシャープマスク処理を施したものであり、ここでアンシャープマスク処理について説明する。図２７は一例として５×５画素のアンシャープマスク４１を示している。このアンシャープマスク４１は、中央の「１００」の値をマトリクス状の画像データにおける処理対象画素Ｙ（ｘ，ｙ）の重み付けとし、その周縁画素に対して同マスクの升目における数値に対応した重み付けをして積算するのに利用される。このアンシャープマスク４１を利用する場合、
【０１６４】
【数３０】
【０１６５】
なる演算式に基づいて積算する。（４８）式において、「３９６」とは重み付け係数の合計値であり、サイズの異なるアンシャープマスクにおいては、それぞれ升目の合計値となる。また、Ｍｉｊはアンシャープマスクの升目に記載されている重み係数であり、Ｙ（ｘ，ｙ）は各画素の画像データである。なお、ｉｊについてはアンシャープマスク４１に対して横列と縦列の座標値で示している。
【０１６６】
（４７）式に基づいて演算されるエッジ強調演算の意味するところは次のようになる。Ｙunsharp（ｘ，ｙ）は注目画素に対して周縁画素の重み付けを低くして加算したものであるから、いわゆる「なまった（アンシャープ）」画像データとしていることになる。このようにしてなまらせたものはいわゆるローパスフィルタをかけたものと同様の意味あいを持つ。従って、「Ｙ（ｘ，ｙ）−Ｙunsharp （ｘ，ｙ）」とは本来の全成分から低周波成分を引いたことになってハイパスフィルタをかけたものと同様の意味あいを持つ。そして、ハイパスフィルタを通過したこの高周波成分に対してエッジ強調度Ｅenhance を乗算して「Ｙ（ｘ，ｙ）」に加えれば同エッジ強調度Ｅenhanceに比例して高周波成分を増したことになり、エッジが強調される結果となる。
【０１６７】
なお、エッジ強調が必要になる状況を考えるといわゆる画像のエッジ部分であるから、隣接する画素との間で画像データの差が大きな場合にだけ演算するようにしてもよい。このようにすれば、殆どのエッジ部分でない画像データ部分でアンシャープマスクの演算を行う必要がなくなり、処理が激減する。
【０１６８】
なお、実際の演算は、強調後の輝度Ｙ’と強調前の輝度Ｙから、
【０１６９】
【数３１】
【０１７０】
と置き換えれば、変換後のＲ’Ｇ’Ｂ’は、
【０１７１】
【数３２】
【０１７２】
のように演算可能となる。
【０１７３】
従って、このエッジ強調処理では、ステップＳ５１０，Ｓ５１５にて、複数の評価基準に基づいて画像のエッジ度を評価しつつ、それぞれの評価結果に対して所定の重み付けを持たせて合算しており、これらを実行するハードウェア構成とソフトウェアとによって画像データ評価手段を構成することになる。
【０１７４】
なお、上述したコントラスト補正、明度補正、彩度強調、エッジ強調のそれぞれについて、画像処理を行うかを判断している。しかし、必ずしも画像処理を行うか否かの二者択一の判断を行う必要はない。すなわち、それぞれにおいて強調程度を設定しており、このようにして設定した強調程度で画像処理を行うようにしても良い。
【０１７５】
次に、上記構成からなる本実施形態の動作を説明する。
【０１７６】
写真画像をスキャナ１１で読み込み、プリンタ３１にて印刷する場合を想定する。すると、まず、コンピュータ２１にてオペレーティングシステム２１ａが稼働しているもとで、画像処理アプリケーション２１ｄを起動させ、スキャナ１１に対して写真の読み取りを開始させる。読み取られた画像データが同オペレーティングシステム２１ａを介して画像処理アプリケーション２１ｄに取り込まれたら、処理対象画素を初期位置に設定する。続いて、ステップＳ１１０にて（１）式〜（３）式に基づいてエッジ度を判定し、ステップＳ１２０ではしきい値と同エッジ度とを比較する。そして、エッジ度の方が大きい場合には処理対象画素がエッジ画素であると判断し、ステップＳ１３０にて当該画素の画像データをワークエリアに保存する。また、ステップＳ１４０では当該処理対象画素が均等サンプリングの対象であるか否かを判断し、対象である場合はステップＳ１５０で当該画素の画像データを別のワークエリアに保存する。
【０１７７】
以上の処理をステップＳ１６０にて処理対象画素を移動させながらステップＳ１７０にて全画素について実行したと判断されるまで繰り返す。
【０１７８】
全画素について実行し終えたら、それぞれのワークエリアには異なる評価基準でサンプリングされた画像データが保存されていることになり、ステップＳ１８０では画像評価のためのオプションを入力する。操作者が画像を見てポートレートであるか風景写真であるかが判断できればいずれかを選択すればよいし、判断できない場合や全てを自動化したい場合には自動設定を選択する。ポートレートを選択した場合には重み付け係数ｋが「０．８」となってエッジ画素についての集計結果に重きを置かれるし、風景写真を選択した場合には重み付け係数ｋが「０．２」となって均等にサンプリングした集計結果に重きを置かれ、自動設定を選択した場合にはエッジ画素の割合に応じた重み付け係数ｋがセットされる。ただし、どの場合においても重み付け係数ｋを使用して複数の評価基準を採用することになり、一つだけの評価基準にとらわれない柔軟な評価が可能となる。
【０１７９】
本実施形態においては、ワークエリアに画像データそのものを保存するようにしたが、メモリ容量や処理時間の面から考えると必ずしも画像データをそのものをワークエリアに保存しておく必要はない。すなわち、最終的にはサンプリング対象の画素について輝度分布や彩度代替値分布のヒストグラムを作成することになるので、予めステップＳ１２０，Ｓ１５０にてヒストグラムの情報を蓄積していくようにすればよい。
【０１８０】
自動的にコントラスト補正と明度補正を実行する場合は、重み付け係数を使用してステップＳ１２０，Ｓ１５０，Ｓ３１０にて輝度分布のヒストグラムを求め、ステップＳ３２０にて（１２）（１３）式に基づいて拡大処理のためのパラメータを決定するとともに、ステップＳ３３０にて（１４）〜（１７）式に基づいて明度補正のためのパラメータを決定する。そして、ステップＳ３４０ではこれらのパラメータを所定のしきい値と比較し、画像処理すべきと判断すればステップＳ３５０にて上記パラメータに基づいて輝度変換する。この場合、演算量を減らすために最初に図１９に示す輝度の変換テーブルを作成しておき、（１８）〜（２０）式に基づいて画像データを変換する。
【０１８１】
この後、画像処理された画像データをディスプレイドライバ２１ｃを介してディスプレイ３２に表示し、良好であればプリンタドライバ２１ｂを介してプリンタ３１にて印刷させる。すなわち、同プリンタドライバ２１ｂはエッジ強調されたＲＧＢの階調データを入力し、所定の解像度変換を経てプリンタ３１の印字ヘッド領域に対応したラスタライズを行なうとともに、ラスタライズデータをＲＧＢからＣＭＹＫへ色変換し、その後でＣＭＹＫの階調データから二値データへ変換してプリンタ３１へ出力する。
【０１８２】
以上の処理により、スキャナ１１を介して読み込まれた写真の画像データは自動的に最適なコントラスト補正と明度補正を施されてディスプレイ３２に表示された後、プリンタ３１にて印刷される。すなわち、複数の評価基準を採用してより柔軟に画像を判定し、その評価結果に基づいてコントラスト補正や明度補正という最適な画像処理を実現することができる。
【０１８３】
一方、このようなコントラスト補正や明度補正に限らず、彩度強調やエッジ強調の場合にも、複数の評価基準で彩度やエッジ度をサンプリングして集計するとともに重み付け係数を調整して合算するようにしたため、単一の評価基準だけにとらわれない柔軟な判定を経て画像処理を実行することになる。
【０１８４】
このように、画像処理の中枢をなすコンピュータ２１はステップＳ１２０，Ｓ１４０にて異なる評価基準で画素の画像データをサンプリングしておくとともに、ステップＳ１８０にて入力される画像評価オプションに基づいてステップＳ１９２〜Ｓ１９６にて重み付け係数ｋを決定し、この決定した重み付け係数ｋを使用してステップＳ３１０にて集計結果を合算して輝度分布ヒストグラムを生成することにより、複数の評価基準を合算した総合的な集計結果に基づいて画像を評価し、ステップＳ３１０〜Ｓ３５０にて最適な画像処理を実行することができる。
【図面の簡単な説明】
【０１８５】
【図１】本発明の一実施形態にかかる画像処理装置を適用した画像処理システムのブロック図である。
【図２】同画像処理装置の具体的ハードウェアのブロック図である。
【図３】本発明の画像処理装置の他の適用例を示す概略ブロック図である。
【図４】本発明の画像処理装置の他の適用例を示す概略ブロック図である。
【図５】本発明の画像処理装置における画像評価処理部分を示すフローチャートである。
【図６】画像データの大きさと処理対象画素を移動させていく状態を示す図である。
【図７】画像の変化度合いを直交座標の各成分値で表す場合の説明図である。
【図８】画像の変化度合いを縦軸方向と横軸方向の隣接画素における差分値で求める場合の説明図である。
【図９】隣接する全画素間で画像の変化度合いを求める場合の説明図である。
【図１０】しきい値を変化させる領域を示す図である。
【図１１】サンプリング周期を示す図である。
【図１２】サンプリング画素数を示す図である。
【図１３】変換元の画像とサンプリングされる画素の関係を示す図である。
【図１４】画像評価オプションの入力画面を示す図である。
【図１５】個別のサンプリング結果を重み付けを変えて合算する状況を示す図である。
【図１６】画像評価処理の後段と画像処理部分を示すフローチャートである。
【図１７】輝度分布の端部処理と端部処理にて得られる端部を示す図である。
【図１８】輝度分布の拡大と再現可能な輝度の範囲を示す図である。
【図１９】輝度分布を拡大する際の変換テーブルを示す図である。
【図２０】γ補正で明るくする概念を示す図である。
【図２１】γ補正で暗くする概念を示す図である。
【図２２】γ補正で変更される輝度の対応関係を示す図である。
【図２３】彩度強調する場合のフローチャートである。
【図２４】彩度分布の集計状態の概略図である。
【図２５】彩度Ａと彩度強調指数Ｓとの関係を示す図である。
【図２６】エッジ強調する場合のフローチャートである。
【図２７】５×５画素のアンシャープマスクを示す図である。
【符号の説明】
【０１８６】
１０…画像入力装置
２０…画像処理装置
２１…コンピュータ
２１ａ…オペレーティングシステム
２１ｂ…プリンタドライバ
２１ｃ…ディスプレイドライバ
２１ｄ…画像処理アプリケーション
２２…ハードディスク
２３…キーボード
２４…ＣＤ−ＲＯＭドライブ
２５…フレキシブルディスクドライブ
２６…モデム
３０…画像出力装置
【特許請求の範囲】
【請求項１】
ドットマトリクス状の画素からなる実写の画像データを入力し、各画素の画像データを所定の基準で集計し、集計結果に基づいて画像を評価する画像評価方法であって、上記集計結果に対する複数の評価基準をもつとともに、それぞれの評価基準に基づく評価結果を所定の重み付けで合算することを特徴とする画像評価方法。
【請求項２】
上記請求項１に記載の画像評価方法において、上記画像データについて所定の基準で間引いて集計するにあたり、複数の評価基準に基づくサンプリングを行って集計するとともに、それぞれの集計結果を所定の重み付けで合算することを特徴とする画像評価方法。
【請求項３】
上記請求項２に記載の画像評価方法において、一の評価基準が均等にサンプリングして集計するものであることを特徴とする画像評価方法。
【請求項４】
上記請求項１〜請求項３のいずれかに記載の画像評価方法において、一の評価基準が各画素における隣接画素との変化度合いが大きい画素について評価を重くして集計するものであることを特徴とする画像評価方法。
【請求項５】
上記請求項１〜請求項４のいずれかに記載の画像評価方法において、各評価基準に対する重み付けを変更可能としたことを特徴とする画像評価方法。
【請求項６】
上記請求項１〜請求項５のいずれかに記載の画像評価方法において、各評価基準に基づく評価結果に基づいて当該評価結果の重み付けを変化させることを特徴とする画像評価方法。
【請求項７】
コンピュータにてドットマトリクス状の画素からなる実写の画像データを入力し、各画素の画像データを所定の基準で集計し、集計結果に基づいて画像を評価する画像評価プログラムを記録した媒体であって、上記集計結果に対する複数の評価基準をもつとともに、それぞれの評価基準に基づく評価結果を所定の重み付けで合算することを特徴とする画像評価プログラムを記録した媒体。
【請求項８】
ドットマトリクス状の画素からなる実写の画像データを入力する画像データ入力手段と、各画素の画像データを所定の基準で集計し、集計結果に基づいて画像を評価するにあたり、上記集計結果に対する複数の評価基準をもつとともに、それぞれの評価基準に基づく評価結果を所定の重み付けで合算する画像データ評価手段とを具備することを特徴とする画像評価装置。
【請求項１】
ドットマトリクス状の画素からなる実写の画像データを入力し、各画素の画像データを所定の基準で集計し、集計結果に基づいて画像を評価する画像評価方法であって、上記集計結果に対する複数の評価基準をもつとともに、それぞれの評価基準に基づく評価結果を所定の重み付けで合算することを特徴とする画像評価方法。
【請求項２】
上記請求項１に記載の画像評価方法において、上記画像データについて所定の基準で間引いて集計するにあたり、複数の評価基準に基づくサンプリングを行って集計するとともに、それぞれの集計結果を所定の重み付けで合算することを特徴とする画像評価方法。
【請求項３】
上記請求項２に記載の画像評価方法において、一の評価基準が均等にサンプリングして集計するものであることを特徴とする画像評価方法。
【請求項４】
上記請求項１〜請求項３のいずれかに記載の画像評価方法において、一の評価基準が各画素における隣接画素との変化度合いが大きい画素について評価を重くして集計するものであることを特徴とする画像評価方法。
【請求項５】
上記請求項１〜請求項４のいずれかに記載の画像評価方法において、各評価基準に対する重み付けを変更可能としたことを特徴とする画像評価方法。
【請求項６】
上記請求項１〜請求項５のいずれかに記載の画像評価方法において、各評価基準に基づく評価結果に基づいて当該評価結果の重み付けを変化させることを特徴とする画像評価方法。
【請求項７】
コンピュータにてドットマトリクス状の画素からなる実写の画像データを入力し、各画素の画像データを所定の基準で集計し、集計結果に基づいて画像を評価する画像評価プログラムを記録した媒体であって、上記集計結果に対する複数の評価基準をもつとともに、それぞれの評価基準に基づく評価結果を所定の重み付けで合算することを特徴とする画像評価プログラムを記録した媒体。
【請求項８】
ドットマトリクス状の画素からなる実写の画像データを入力する画像データ入力手段と、各画素の画像データを所定の基準で集計し、集計結果に基づいて画像を評価するにあたり、上記集計結果に対する複数の評価基準をもつとともに、それぞれの評価基準に基づく評価結果を所定の重み付けで合算する画像データ評価手段とを具備することを特徴とする画像評価装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【公開番号】特開２００８−６５８４５（Ｐ２００８−６５８４５Ａ）
【公開日】平成２０年３月２１日（２００８．３．２１）
【国際特許分類】
【出願番号】特願２００７−２６７３２４（Ｐ２００７−２６７３２４）
【出願日】平成１９年１０月１５日（２００７．１０．１５）
【分割の表示】特願平９−２８４１３８の分割
【原出願日】平成９年１０月１６日（１９９７．１０．１６）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
【公開日】平成２０年３月２１日（２００８．３．２１）
【国際特許分類】
【出願日】平成１９年１０月１５日（２００７．１０．１５）
【分割の表示】特願平９−２８４１３８の分割
【原出願日】平成９年１０月１６日（１９９７．１０．１６）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
[ Back to top ]