画像補正方法と画像補正装置
【課題】補正すべき入力画像に対して、その空間周波数が高い領域の画像特徴とその空間周波数が低い領域の画像特徴の両方を考慮した画像補正曲線を生成して、適正な画像補正を実現する画像補正技術を提供する。
【解決手段】入力画像に対応する補正演算用画像に対して第１サイズとこれより小さい第２サイズのサブマトリックスを用いて第１・第２モザイク処理画像を生成し、それぞれから第１画像特徴量群と第２画像特徴量群を求め、第１画像特徴量群に基づいて生成された粗画像補正曲線と第２画像特徴量群に基づいて生成された密画像補正曲線とを融合させて融合補正曲線を生成し、この融合補正曲線で前記入力画像を画像補正する。
【解決手段】入力画像に対応する補正演算用画像に対して第１サイズとこれより小さい第２サイズのサブマトリックスを用いて第１・第２モザイク処理画像を生成し、それぞれから第１画像特徴量群と第２画像特徴量群を求め、第１画像特徴量群に基づいて生成された粗画像補正曲線と第２画像特徴量群に基づいて生成された密画像補正曲線とを融合させて融合補正曲線を生成し、この融合補正曲線で前記入力画像を画像補正する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力画像を適正画像に補正曲線を用いて補正する画像補正技術に関する。
【背景技術】
【０００２】
入力画像を適正画像に補正する代表的な分野である写真プリント出力の分野では、写真フィルムに形成された撮影画像をフィルムスキャナを用いてデジタル化して得られた撮影画像（データ）や、デジタルカメラなどのデジタル撮影機器によって直接撮影画像をデジタル化して得られた撮影画像（データ）に濃度補正や色補正などの画像補正を施した後これをプリントデータに変換し、このプリントデータに基づいて写真プリントユニットを駆動して、撮影画像を感光材料（印画紙）に光ビームで焼き付けたり、プリント用紙にカラーインクで形成したりするデジタル写真処理技術が主流である。種々の写真撮影状況下において適正な撮影画像を得るためには、シャッタースピードや絞りの設定、天候、光源の種類などの撮影条件を適切に設定する必要があるが、撮影者はこれらの撮影条件をあまり意識せずに撮影しているのが実情であり、このため、被写体の色調や明暗（コントラスト）の再現性が適正に得られていない不適正な撮影画像が写真プリント装置に入力されることが少なくない。取得した入力撮影画像を適正な出力撮影画像、例えば写真プリントとして再現するために用いられる画像補正の主なものは、色補正、濃度補正、コントラスト補正であり、これらの補正を正しく調整して組み合わせた画像補正が必要となる。
【０００３】
写真撮影によって取得された撮影画像から、色調およびコントラストの補正を必要とする画像部分を選別し、その選別された画像部分に対し、色調およびコントラストの再現性の精度をできるだけ高めることのできる画像補正の１つとして、各色毎の階調ヒストグラムの最高度数に対して、所定割合を下回る度数の画像データを各色毎に除外して残った画像データの階調幅を基準階調幅に引き延ばし又は圧縮し、階調幅の引き延ばし又は圧縮に合わせて画像データの画素値を補正変換することで、カラーバランスおよびコントラストのいずれかまたは両方をある程度補正するものがある（例えば、特許文献１参照）。
【０００４】
また、色補正、濃度補正、コントラスト補正を効率よく実施する画像補正として、撮影画像の低解像度データと所定の濃度・コントラスト補正アルゴリズムに基づいて、まず濃度・コントラスト変換曲線（変換テーブル）が作成され、次いでこの濃度・コントラスト変換曲線を用いて補正された撮影画像の低解像度データと所定のカラー補正アルゴリズムに基づいてカラー補正変換曲線（変換テーブル）が作成され、これらの濃度・コントラスト変換曲線とカラー補正変換曲線を融合させて作成された統合補正変換曲線を用いて写真プリント出力の目的ために撮影画像の高解像度画像データを補正するものも知られている（例えば、特許文献２参照）。
【０００５】
また、選択された代表色のＲＧＢ信号を入力データとして使用するととともに、出力装置（プリンタ）にて出力された上記の代表色の複製画像を再び入力装置（スキャナ）にて読み取ったＲＧＢ信号を教師データとして使用することによってニューラルネットワークを構築し、入力画像の各画素値を入力層に入力することにより、中間層を介して、出力層からプリンタのインク量を出力させ、これにより良好な複製画像を得ようとする画像処理装置も知られている（例えば、特許文献３参照）。
【０００６】
画像補正にニューラルネットワークを用いた技術としては、さらに画像信号を入力データとし画像補正量を教師値として予め学習させたニューラルネットワークを備え、このニューラルネットワークに画像信号を入力することで得られる画像補正量を用いて画像信号を補正して安定した出力画像を得る画像形成装置も知られている（例えば、特許文献４参照）。
【０００７】
【特許文献１】特開２００４−１４５３９９号公報（段落番号００２３−００２９）
【特許文献２】特開２００６−１５７５６２号公報（段落番号００２６−００２９、図６）
【特許文献３】特開平０９−１６８０９５号公報（段落番号００５０−００５７、００６６、図４）
【特許文献４】特開平０９−０１８７１６号公報（段落番号００３９−００４０、図１）
【発明の開示】
【発明が解決しようとする課題】
【０００８】
入力画像に応じて適切な画像補正曲線を生成するアルゴリズムを構築する場合、まず多数のサンプル画像を用意しておく。そして、各サンプル画像をサンプル適正画像とする画像補正を熟練者によってマニュアルで行い、この各サンプル画像から算出された画像特徴量群と、このマニュアル画像補正を通じて作り出される元画像の画素値と適正画像の画素値との対応関係（画像補正曲線）を統計的にあるいは演繹的に評価していくことで、画像補正曲線を生成するアルゴリズムを構築する。このようなアルゴリズムの構築方法は、上記特許文献だけでなく、数多くの文献によって知られている。また、ニューラルネットワークの技術を画像補正に適用する場合、各サンプル画像から算出された画像特徴量群を入力データとするとともに、このマニュアル画像補正を通じて作り出される元画像の画素値と適正画像の画素値との対応関係を教師データとしてニューラルネットワークを学習させる。このような学習を通じて構築されたニューラルネットワークの入力層に補正対象となる入力画像から算出された画像特徴量を与えることで、この入力画像に適合した画像補正曲線が出力、より正確にはこの画像補正曲線を規定する出力値が出力される。いずれにしても、生成された画像補正曲線（画像補正量マトリックスや変換テーブルや変換式とも呼び代えることができる）を用いて元画像としての入力画像を画像補正することにより、適正な写真プリントを出力するために適した補正画像が得られる。様々な画像特性を有する入力画像を適切に補正することができるように、ニューラルネットワークの学習時に用いられるサンプル画像も様々な画像特性を有するものが選択されるが、撮影画像などでは低周波領域と高周波数領域の両方の空間周波数成分を有するものが多く、従来の画像補正曲線の生成に利用している画像特徴量群を入力値としているニューラルネットワークではそのような入力画像に対して十分に満足できる画像補正曲線を生成することができないという問題点が明らかになってきた。
【０００９】
上記実状に鑑み、本発明の課題は、補正すべき入力画像に対して、その空間周波数が高い領域の画像特徴とその空間周波数が低い領域の画像特徴の両方を考慮した画像補正曲線を生成して、適正な画像補正を実現する画像補正技術を提供することである。
【課題を解決するための手段】
【００１０】
入力画像を適正画像に補正曲線を用いて補正する画像補正方法において、上記課題を解決するため、本発明による方法は、前記入力画像に対応する補正演算用画像に対して第１サイズのサブマトリックスを用いて第１モザイク処理画像を生成するステップと、前記第１モザイク処理画像から第１画像特徴量群を求めるステップと、前記第１画像特徴量群に基づいて粗画像補正曲線を生成するステップと、前記入力画像に対応する補正演算用画像に対して前記第１サイズより小さい第２サイズのサブマトリックスを用いて第２モザイク処理画像を生成するステップと、前記第２モザイク処理画像から第２画像特徴量群を求めるステップと、前記第２画像特徴量群に基づいて密画像補正曲線を生成するステップと、前記粗画像補正曲線と前記密画像補正曲線とを融合させて融合補正曲線を生成するステップと、前記融合補正曲線で前記入力画像を画像補正するステップとからなる。
【００１１】
上記方法では、まず補正すべき入力画像からサイズの異なる２つのサブマトリックスを用いて２つの空間周波数成分が異なるモザイク処理画像を生成する。つまり、より大きな第１サイズのサブマトリックスを用いた第１モザイク処理画像は、より小さな第２サイズのサブマトリックスを用いた第２モザイク処理画像に較べて、その空間周波数成分は低くなるので、相対的に第１モザイク処理画像は粗画像となり、第２モザイク処理画像は密画像となる。その後、第１モザイク処理画像から前もって規定した演算を用いて画像特徴量群を求め、この画像特徴量群に基づいて粗画像補正曲線を生成すると、この粗画像補正曲線は入力画像の大局的な傾向に基づく補正曲線となる。さらに、第２モザイク処理画像からも同様に画像特徴量群を求め、この画像特徴量群に基づいて密画像補正曲線を生成すると、この密画像補正曲線は入力画像の詳細な傾向に基づく補正曲線となる。従って、この粗画像補正曲線と密画像補正曲線とを融合させて生成された融合補正曲線は、入力画像の大局的な傾向と詳細な傾向との両者にほどよく適合した補正曲線となり、この融合補正曲線を用いて画像補正を行うことで、全体的な観点からみた補正評価と詳細な観点からみた補正評価の両者を満足させる補正画像が得られる。
【００１２】
なお、ここでは、２つの異なるサイズのサブマトリックスを用いて生成される２つのモザイク処理画像に基づいて補正曲線を生成していたが、さらに異なるサイズのサブマトリックスを用いて生成されるモザイク処理画像を追加してもよい。つまり本発明では、２つ以上の異なるサブマトリックスを用いて生成される２つ以上のモザイク処理画像に基づいて生成された２つ以上の補正曲線を融合して最終的に用いられる補正曲線を生成することを主題としている。
【００１３】
さらに、この明細書で用いられている補正曲線なる用語は、画像処理の分野でよく用いられる補正式、補正マトリックスといった、元画像の画素値を適正画像の画素値に変換する機能を総称するものであり、さらにそのような変換機能を作り出すためのデータ群もその用語の範囲に属している。つまり、ここでの補正曲線は元画像の画素値と適正画像の画素値との対応関係を規定するものであり、この補正曲線の具体的な実施形態としてはＬＵＴ（ルックアップテーブル）と呼ばれるハードウエア又はソフトウエアあるいはその両方で構築されるモジュールが一般的である。また、明細書では、特別に区別する必要がある場合を除いて、デジタルデータとしての画像データやこの画像データに基づくプリント画像やモニタ表示画像も単に画像という語句で総称している。
【００１４】
画像特徴量群から画像補正曲線を生成するための好適な方法として、処理の高速性と高精度性の観点から、ニューラルネットワークが推薦される。このため、本発明による好適な実施形態の１つでは、前記粗画像補正曲線を生成するステップにおいて、用意された多数のサンプル画像に対して前記第１サイズのサブマトリックスを用いて生成された第１モザイク処理画像から得られる第１画像特徴量群を入力値とするとともに前記サンプル画像から適正画像を作り出す画像補正曲線を教師値として学習させた粗画像ニューラルネットワークが用いられ、かつ前記密画像補正曲線を生成するステップにおいて、前記サンプル画像に対して前記第２サイズのサブマトリックスを用いて生成された第２モザイク処理画像から得られる第２画像特徴量群を入力値とするとともに前記サンプル画像から適正画像を作り出す画像補正曲線を教師値として学習させた密画像ニューラルネットワークが用いられる。
【００１５】
前記粗画像補正曲線と前記密画像補正曲線の融合に関して、最終的な画像プリント出力に要求される品質仕様によって、粗画像補正曲線寄りが好まれる場合や密画像補正曲線寄りが好まれる場合に分かれる。従って、本発明の好適な実施形態の１つでは、前記融合補正曲線を作成するための前記粗画像補正曲線と前記密画像補正曲線との融合率は調整可能に構成されている。その際、空間周波数分析を通じて入力画像の空間周波数成分を演算しておき、この空間周波数成分と平均的な画像の空間周波数成分との比較から、例えば、高周波寄りの画像では密画像補正曲線寄りの融合となるように、また、低周波寄りの画像では粗画像補正曲線寄りの融合となるようにその融合率を調整すると好都合である。
【００１６】
入力画像が写真プリント出力のための撮影画像のような場合、全体的なバランス、及び中央に位置する被写体とその周辺の背景とのバランスが重要となる。このことを考慮すると、画像特徴量群に、それぞれ、入力画像の分割領域に依存する領域依存画像特徴量と分割領域に依存しない領域非依存画像特徴量の両方を含むようにすると好都合である。
【００１７】
入力画像を適正画像に補正曲線を用いて補正する画像補正装置において、上記課題を解決するため、本発明による装置は、前記入力画像に対応する補正演算用画像に対して第１サイズのサブマトリックスを用いて第１モザイク処理画像を生成するとともに、前記第１サイズより小さい第２サイズのサブマトリックスを用いて第２モザイク処理画像を生成するモザイク処理部と、前記第１モザイク処理画像から第１画像特徴量群を求めるとともに、前記第２モザイク処理画像から第２画像特徴量群を求める画像特徴量演算部と、前記第１画像特徴量群に基づいて粗画像補正曲線を生成する粗画像補正曲線生成部と、前記第２画像特徴量群に基づいて密画像補正曲線を生成する密画像補正曲線生成部と、前記粗画像補正曲線と前記密画像補正曲線とを融合させて融合補正曲線を生成する融合部と、前記融合補正曲線で前記入力画像を画像補正する画像補正部とからなる。当然ながら、この画像補正装置も上記画像補正方法で述べたすべての作用効果を得ることができ、さらに上述した付加的技術を組み込むことも可能である。また、ここでも、２つ以上の異なるサブマトリックスを用いて生成される２つ以上のモザイク処理画像に基づいて生成された２つ以上の補正曲線を融合して最終的に用いられる補正曲線を生成することが含まれていることは当然である。
【００１８】
特に、画像特徴量群から画像補正曲線を生成するためにニューラルネットワーク技術が採用される場合には、前記粗画像補正曲線生成部は、用意された多数のサンプル画像に対して前記第１サイズのサブマトリックスを用いて生成された第１モザイク処理画像から得られる第１画像特徴量群を入力値とするとともに前記サンプル画像から適正画像を作り出す画像補正曲線を教師値として学習させた粗画像ニューラルネットワーク部となり、かつ前記密画像補正曲線生成部は、前記サンプル画像に対して前記第２サイズのサブマトリックスを用いて生成された第２モザイク処理画像から得られる第２画像特徴量群を入力値とするとともに前記サンプル画像から適正画像を作り出す画像補正曲線を教師値として学習させた密画像ニューラルネットワーク部となる。
【発明を実施するための最良の形態】
【００１９】
以下、本発明の実施形態を図面に基づいて説明するが、まず、本発明による補正技術の重要な構成要素となる画像特徴量群に基づいて画像補正曲線を生成する画像補正曲線生成アルゴリズムの構築原理を述べる。なお、画像補正曲線生成アルゴリズムのなかで特に好ましいものとして本発明では、ニューラルネットワークが提案されているが、本発明はニューラルネットワークに限定しているわけではない。その他の統計的な処理に基づくアルゴリズムの適用も可能である。
【００２０】
いずれにせよ、まずは、図１に模式的に示されているように、種々の撮影条件で取得された画像をサンプル画像として多数用意し、これらのサンプル撮影画像を元画像とし、この元画像に対して異なるサイズのサブマトリックスを用いて複数のモザイク処理画像を生成する（＃０１）。図１では、第１サイズのサブマトリックスを用いて第１モザイク処理画像を生成し、第１サイズより小さい第２サイズのサブマトリックスを用いて第２モザイク処理画像を生成しているが、さらに第３・第４のサイズのサブマトリックスを用いて更なるモザイク処理画像を生成してもよい。生成された２つのモザイク処理画像に対して、以下に述べるような処理が同様に行われる。
【００２１】
第１モザイク処理画像を元画像として、モニタでの表示やテストプリントを通じて適正画像となるようにマニュアルで画像補正を行う（＃０２）。次に、元画像とマニュアル画像補正によって得られた適正画像との画素値を比較評価して、元画像の画素値と適正画像の画素値との対応関係を規定する画像補正量、結果的にはこの画像補正量によって規定される粗画像補正曲線を生成する（＃０３）。その際、８ビットカラー画像の場合、元画像の各画素の画素値から適正画像の画素値を導く画像補正量は各色毎に２５６個の画素値変換係数：β(0)・・・β(255)で表すことができるが、２５６の全ての画素値に対して画像補正量（画素値変換係数）を求めるのではなく、とびとびの画像補正量を求め、残りは補間で算出してもよい。元画像の画素値と適正画像の画素値との対応関係は画像補正曲線：f(x)として考えると最も理解しやすいので、以下画像補正曲線という語句を用いる。なお、一般的に、そのような補正曲線は、例えば４次式で良好に近似することができるので、その場合は、
f(x)=ax^4＋bx^3+cx^2+dx+e（xは入力階調（0〜255）、^は累乗を表す）
となり、元画像の画素値と適正画像の画素値との対応関係（補正曲線）はたかだか５つの係数：a、b、c、d、eで表すことができる。
【００２２】
次に、元画像となっている第１モザイク処理画像から第１画像特徴量群：α0・・・αnが算出される（＃０４）。画像特徴量群としては、画像の全域又は部分域における平均濃度値、最大濃度値、最小濃度値といった画像領域に依存する特徴量、及び各色のヒストグラムから得られる階調値部分領域の積算頻度値などの画像領域に依存しない特徴量が採用される。ステップ＃０３で得られた粗画像補正曲線を規定する係数と、ステップ＃０４で得られた第１画像特徴量群は、第１画像特徴量群を入力データとするとともに粗画像補正曲線を出力データとする粗画像補正曲線生成アルゴリズム（好ましくはニューラルネットワーク）を構築するための学習データとして利用されるため、ステップ＃０２からステップ＃０４の作業は準備された全てのサンプル画像から生成された第１モザイク処理画像に対して実施される。そして、第１モザイク処理画像の画像特徴量群を入力データとするとともに画像補正曲線を規定する係数が出力データとなるように内部変数を調整する反復シミュレーションを数千回以上を行い、粗画像補正曲線生成アルゴリズムを構築する（＃０５）。なお、画像補正曲線生成アルゴリズムがニューラルネットワークの場合、その学習過程において、画像補正曲線を規定する係数は教師値と呼ばれ、第１モザイク処理画像の画像特徴量群を入力データとするとともに粗画像補正曲線を規定する係数を教師値として数千回以上の反復学習を行い、粗画像ニューラルネットワークの入出力関係を構築する。
【００２３】
さらに、ステップ＃０１ａで生成された第２モザイク処理画像を元画像として、上述したステップ＃０２からステップ＃０４の処理と同じ処理を行う（＃０２ａ〜＃０４ａ）。そして、ステップ＃０４ａで得られた第２画像特徴量群（γ0・・・γn）を入力データとするとともにステップ＃０３ａで得られた密画像補正曲線（δ0・・・δn）を出力データとする学習データを用いて密画像補正曲線生成アルゴリズム、好ましくは密画像ニューラルネットワークが構築される（＃０５a）。もちろん、さらに異なるサイズのサブマトリックスを用いて生成される更なるモザイク処理画像を元画像として、更なる画像補正曲線生成アルゴリズム、好ましくは画像ニューラルネットワークを構築してもよい。
【００２４】
このようにして入出力関係が決定された、粗画像補正曲線生成アルゴリズムと密画像補正曲線生成アルゴリズム、ここでの例では、大局的なバランスを重要視した粗画像ニューラルネットワークと詳細な領域でのバランスを重要視した密画像ニューラルネットワークが構築されたとすると、この２つのニューラルネットワークを用いて、補正すべき入力画像を適正画像に補正することができる。この画像補正の原理が図２に模式的に示されている。まず、補正目的で入力された画像から、必要に応じて、所定サイズまでの縮小処理を施して、補正演算用画像を生成する（＃１０）。そして、この入力画像又は補正演算用画像から第１サイズのサブマトリックスを用いてモザイク処理を行って第１モザイク処理画像を生成する（＃１１）。第１モザイク処理画像から第１画像特徴量群を算出する（＃１２）。この第１画像特徴量群を粗画像ニューラルネットワークに入力すること（＃１３）により、粗画像補正曲線を規定する係数、結果的には粗画像補正曲線が得られる（＃１４）。
【００２５】
同様に、前記入力画像又は補正演算用画像から第２サイズのサブマトリックスを用いてモザイク処理を行って第２モザイク処理画像を生成し（＃１１ａ）、この第２モザイク処理画像から第２画像特徴量群を算出する（＃１２ａ）。この第２画像特徴量群を密画像ニューラルネットワークに入力すること（＃１３ａ）により、密画像補正曲線規定する係数、結果的には密画像補正曲線が得られる（＃１４ａ）。
【００２６】
次に、生成された粗画像補正曲線（粗画像補正曲線規定する係数）と密画像補正曲線（密画像補正曲線規定する係数）とを所定の融合率でもって融合して、融合補正曲線を得る（＃１５）。この融合率は固定でもよいし、好みによって任意に調整可能であってもよいが、入力画像の空間周波数分析値に基づいて自動調整することも可能である。次いで、作成された融合補正曲線が使用補正曲線として設定されることで（＃１６）、この融合補正曲線を用いて入力画像が画像補正される（＃１７）。さらに、この補正画像からプリントデータを生成し、このプリントデータをプリント部に転送することにより、画像プリントが出力される（＃１８）。
【００２７】
次に、上述したニューラルネットワークの具体的な構築手順の一例を図３から図６を用いて説明する。なお、粗画像ニューラルネットワークも密画像ニューラルネットワークもその構築手順は同じである。図３にニューラルネットワークの模式的な構造が示されている。このニューラルネットワークは８９個の入力要素を有する入力層と４５個の中間要素を有する中間層と６０個の出力要素を有する出力層からなる。入力要素には入力画像の画像特徴量群：α0〜α88（第１画像特徴量群）、γ0〜γ88（第２画像特徴量群）が入力され、出力要素には、図４に示されるような、各色の補正曲線を規定するそれぞれ２０個の代表点で示す画像補正曲線規定する係数としての出力値、つまりＲ成分用出力値β(1)〜β(20)（粗画像補正曲線）、δ(1)〜δ(20)（密画像補正曲線）；Ｇ成分用出力値β(21)〜β(40)（粗画像補正曲線）、δ(21)〜δ(40)（密画像補正曲線）；Ｂ成分用出力値β(41)〜β(60)、δ(41)〜δ(60)（密画像補正曲線）が出力される。この出力値を用いてスムーズな各色の補正曲線を作り出すアルゴリズムには公知の近似曲線作成アルゴリズムを用いることができる。
【００２８】
このニューラルネットワークの学習時に採用されている第１画像特徴量群：α0〜α88と第２画像特徴量群：γ0〜γ88の定義内容は同じであり、対象となる画像が異なる（第１モザイク処理画像と第２モザイク処理画像との違い）だけなので、以下第１画像特徴量群についてのみ説明する。
α0：画像全体の平均濃度値
α1：画像中央部（図５の（ａ）参照）の平均濃度値
α2：画像周辺部（図５の（ａ）参照）の平均濃度値
α3：画像上側部（図５の（ｂ）参照）の平均濃度値
α4：画像下側部（図５の（ｂ）参照）の平均濃度値
α5：画像左側部（図５の（ｃ）参照）の平均濃度値
α6：画像右側部（図５の（ｃ）参照）の平均濃度値
α7：画像全体の最大濃度値
α8：画像中央部（図５の（ａ）参照）の最大濃度値
α9：画像周辺部（図５の（ａ）参照）の最大濃度値
α10：画像上側部（図５の（ｂ）参照）の最大濃度値
α11：画像下側部（図５の（ｂ）参照）の最大濃度値
α12：画像左側部（図５の（ｃ）参照）の最大濃度値
α13：画像右側部（図５の（ｃ）参照）の最大濃度値
α14：画像全体の最小濃度値
α15：画像中央部（図５の（ａ）参照）の最小濃度値
α16：画像周辺部（図５の（ａ）参照）の最小濃度値
α17：画像上側部（図５の（ｂ）参照）の最小濃度値
α18：画像下側部（図５の（ｂ）参照）の最小濃度値
α19：画像左側部（図５の（ｃ）参照）の最小濃度値
α20：画像右側部（図５の（ｃ）参照）の最小濃度値
α21：上下に隣接する画素の差分値（図５の（ｄ）参照）の平均値
α22：画像全体の濃度標準偏差
α23：Ｒ色成分に関する画像全体の最大値
α24：Ｇ色成分に関する画像全体の最大値
α25：Ｂ色成分に関する画像全体の最大値
α26：Ｒ色成分に関する画像全体の最小値
α27：Ｇ色成分に関する画像全体の最小値
α28：Ｂ色成分に関する画像全体の最小値
α29〜α48：Ｒ色成分に関するヒストグラムの階調値軸を２０分割した各領域（図６参照）に含まれる階調値の頻度を積算して得られるＲ積算頻度値
α49〜α68：Ｇ色成分に関するヒストグラムの階調値軸を２０分割した各領域（図６参照）に含まれる階調値の頻度を積算して得られるＧ積算頻度値
α69〜α88：Ｂ色成分に関するヒストグラムの階調値軸を２０分割した各領域（図６参照）に含まれる階調値の頻度を積算して得られるＢ積算頻度値
上記α0からα28までの画像特徴量は画像領域に依存する特徴量であり、上記α29からα88までの画像特徴量は画像領域に依存しない特徴量である。また、モザイク処理画像から第１画像特徴量群及び第２画像特徴量群の算出においては、モザイクブロック（サブマトリックスのサイズ）を１つの画素として演算される。なお、濃度値としては、Ｒ・Ｇ・Ｂ色成分の各画素の値を足して３で割った値を採用している。
【００２９】
以上のような入出力形態をもつニューラルネットワークの構築ルーチンが図７に示されている。
まず、用意しておいたサンプル画像を読み込み（＃２０）、そのサンプル画像から作り出されたモザイク処理画像を用いて前述した各画像特徴量を算出し（＃２１）、それらを画像特徴量群としてメモリに格納する（＃２２）。読み込んだサンプル画像をモニタ表示しながら熟練者によるマニュアルの画像補正を行う（＃２３）。必要に応じて補正された画像のプリント出力を行い（＃２４）、補正された画像が適正であるかどうかをチェックする（＃２５）。補正された画像が適正と判定されるまで、マニュアル補正を繰り返し、適正な補正画像が得られると、その画像補正に基づいて元画像の画素値を適正補正画像の画素値に変換する画像補正曲線（画像補正曲線を規定する係数）を作成してメモリに格納する（＃２６）。ステップ＃２０〜ステップ＃２６までの処理が用意されている全てのサンプル画像のための実行される（＃２７Yes分岐）。全てのサンプル画像に対する処理が完了すると（＃２７No分岐）、これまでに得られたモザイク処理画像の画像特徴量群と画像補正曲線がニューラルネットワークに適用される（＃２８）。ニューラルネットワークは、画像特徴量群を入力データ、画像補正曲線を教師データとして学習し、その入出力関係（結合係数やしきい値）を確定させる（＃２９）。このようなニューラルネットワーク構築ルーチンを用いて、粗画像ニューラルネットワークと密画像ニューラルネットワーク、必要時応じて更なる超粗画像又は超密画像ニューラルネットワークを構築する。
【００３０】
次に、図１と図２を用いて説明した画像補正技術を用いた画像補正装置を搭載し、画像として撮影画像を取り扱う写真プリント装置を説明する。図８はその写真プリント装置を示す外観図であり、この写真プリント装置は、印画紙Ｐに対して露光処理と現像処理とを行う写真プリント部としてのプリントステーション１Ｂと、現像済み写真フィルム２ａやデジタルカメラ用メモリカード２ｂなどの画像入力メディアから取り込んだ撮影画像を処理してプリントステーション１Ｂで使用されるプリントデータの生成・転送などを行う操作ステーション１Ａとから構成されている。
【００３１】
この写真プリント装置はデジタルミニラボとも称せられるものであり、図９からよく理解できるように、プリントステーション１Ｂは２つの印画紙マガジン１１に納めたロール状の印画紙Ｐを引き出してシートカッター１２でプリントサイズに切断すると共に、このように切断された印画紙Ｐに対し、バックプリント部１３で色補正情報やコマ番号などのプリント処理情報を印画紙Ｐの裏面に印字するとともに、プリント露光部１４で印画紙Ｐの表面に撮影画像の露光を行い、この露光後の印画紙Ｐを複数の現像処理槽を有した処理槽ユニット１５に送り込んで現像処理する。乾燥の後に装置上部の横送りコンベア１６からソータ１７に送られた印画紙Ｐ、つまり写真プリントＰは、このソータ１７の複数のトレイにオーダ単位で仕分けられた状態で集積される（図８参照）。
【００３２】
上述した印画紙Ｐに対する各種処理に合わせた搬送速度で印画紙Ｐを搬送するために印画紙搬送機構１８が敷設されている。印画紙搬送機構１８は、印画紙搬送方向に関してプリント露光部１４の前後に配置されたチャッカー式印画紙搬送ユニット１８ａを含む複数の挟持搬送ローラ対から構成されている。
【００３３】
プリント露光部１４には、副走査方向に搬送される印画紙Ｐに対して、主走査方向に沿って操作ステーション１Ａからのプリントデータに基づいてＲ（赤）、Ｇ（緑）、Ｂ（青）の３原色のレーザ光線の照射を行うライン露光ヘッドが設けられている。処理槽ユニット１５は、発色現像処理液を貯留する発色現像槽１５ａと、漂白定着処理液を貯留する漂白定着槽１５ｂと、安定処理液を貯留する安定槽１５ｃを備えている。
【００３４】
前記操作ステーション１Ａのデスク状コンソールの上部位置には、写真フィルム２ａの撮影画像コマから撮影画像データ（以下単に撮影画像と略称する）を２０００ｄｐｉを超える解像度でもって取得することができるフィルムスキャナ２０が配置されており、デジタルカメラ等に装着される画像記録媒体２ｂとして用いられている各種半導体メモリやＣＤ−Ｒなどから撮影画像を取得するメディアリーダ２１は、この写真プリント装置のコントローラ３として機能する汎用パソコンに組み込まれている。この汎用パソコンには、さらに各種情報を表示するモニタ２３、各種設定や調整を行う際に用いる操作入力部として利用される操作入力デバイスとしてのキーボード２４やマウス２５も接続されている。
【００３５】
この写真プリント装置のコントローラ３は、ＣＰＵを中核部材として、写真プリント装置の種々の動作を行うための機能部をハードウエア又はソフトウエアあるいはその両方で構築しているが、図１０に示されているように、本発明に特に関係する機能部としては、フィルムスキャナ２０やメディアリーダ２１によって読み取られた撮影画像を取り込んで次の処理のために必要な前処理を行う画像入力部３１と、各種ウインドウや各種操作ボタンなどを含むグラフィック操作画面の作成やそのようなグラフィック操作画面を通じてのユーザ操作入力（キーボード２４やマウス２５などによる）から制御コマンドを生成するグラフィックユーザインターフェース（以下ＧＵＩと略称する）を構築するＧＵＩ部３３と、ＧＵＩ部３３から送られてきた制御コマンドや直接キーボード２４等から入力された操作命令に基づいて所望のプリントデータを生成するために画像入力部３１からメモリ３０に転送された撮影画像に対する画像処理等を行うプリント管理部３２と、色補正等のプレジャッジプリント作業時にプリントソース画像や予想仕上がりプリント画像としてのシミュレート画像さらにはＧＵＩ部３３から送られてきたグラフィックデータをモニタ２３に表示させるためのビデオ信号を生成するビデオ制御部３５と、画像処理が完了した処理済み撮影画像に基づいてプリントステーション１Ｂに装備されているプリント露光部１４に適したプリントデータを生成するプリントデータ生成部３６と、顧客の要望に応じて生の撮影画像や画像処理が完了した処理済み撮影画像などをＣＤ−Ｒに書き込むための形式にフォーマットするフォーマッタ部３７などが挙げられる。
【００３６】
画像入力部３１は、撮影画像記録媒体がフィルム２ａの場合プレスキャンモードと本スキャンモードとのスキャンデータを別々にメモリ３０に送り込み、それぞれの目的に合わせた前処理を行う。また、撮影画像記録媒体がメモリカード２ｂの場合取り込んだ撮影画像にサムネイル画像（低解像度データ）が含まれている場合はモニタ２３での一覧表示などの目的で使用するため撮影画像の本データ（高解像度データ）とは別にメモリ３０に送り込むが、もしサムネイル画像が含まれていない場合は本データから縮小画像を作り出してサムネイル画像としてメモリ３０に送り込む。さらには、入力された撮影画像から上述した特徴量セットを高速に算出するために用いられる入力された撮影画像をより小さな画像サイズをもつ補正処理用撮影画像（例えば、２５６×３８４画素）に変換する機能やモザイク処理機能も有する。
【００３７】
プリント管理部３２は、プリントサイズやプリント枚数などを管理するプリント注文処理ユニット４０、メモリ３０に展開された撮影画像に対して各種画像処理を施す画像処理ユニット５０を備えている。
【００３８】
画像処理ユニット５０には、メモリ３０に展開された撮影画像に対してマニュアルで各種画像処理などを行うためのフォトレタッチプログラムを実装している第１画像補正ユニット６０と、前述したようなニューラルネットワーク画像補正技術を用いてメモリ３０に展開された入力撮影画像に対する自動的な画像補正を行う第２画像補正ユニット７０とが基本的にはプログラムの形で組み込まれている。
【００３９】
図１１で示されているように、本発明による画像補正装置としての機能を有する第２画像補正ユニット７０には、メモリ３０に展開された入力撮影画像から作り出された補正演算用撮影画像（２５６×３８４の画像）対して第１サイズとしての２４×１６のサブマトリックスを用いて第１モザイク処理画像を生成するとともに、第２サイズとしての４８×３２のサブマトリックスを用いて第２モザイク処理画像を生成するモザイク処理部７１と、第１モザイク処理画像から第１画像特徴量群を求めるとともに第２モザイク処理画像から第２画像特徴量群を求める画像特徴量演算部７２と、第１画像特徴量群を入力することによって粗画像補正曲線を生成する粗画像ニューラルネットワーク部７３ａと、第２画像特徴量群を入力することによって密画像補正曲線を生成する密画像ニューラルネットワーク部７３ｂと、生成された粗画像補正曲線と密画像補正曲線とを融合率調整部７６で設定された融合率でもって融合させて融合補正曲線を生成する融合部７５と、この融合補正曲線を用いて入力撮影画像を画像補正する画像補正部７７が備えられている。画像補正部７７は、補正曲線設定部７７ｂによって設定された補正曲線に基づいて入力撮影画像を画像補正する画像補正実行部７７ａを備えている。融合率調整部７６による融合率の調整は、ＧＵＩ部３３を通じてマニュアルで調整することができるが、入力撮影画像の空間周波数分析を通じて得られた空間周波数特性に基づいて自動的に調整することも可能である。
【００４０】
モザイク処理部７１で用いられるモザイク処理のためのサブマトリックスのサイズはサブマトリックスサイズ設定部７１ａによって設定される。ここで用いられるサイズとしては、補正演算用撮影画像のサイズ（２５６×３８４の画像）を考慮すると、上記以外に１２×８や３６×２４などが適している。
【００４１】
以上のように構成された写真プリント装置における写真プリント処理を図１２のフローチャートを用いて説明する。まず、写真プリント出力を行うために入力された撮影画像を読み込み（＃５０）、その撮影画像から作り出された補正処理用撮影画像を用いてモザイク処理部７１が第１モザイク処理画像と第２モザイク処理画像を生成する（＃５１）。画像特徴量演算部７１が、第１モザイク処理画像から第１画像特徴量群：α0〜α88を算出し、第２モザイク処理画像から第２画像特徴量群：γ0〜γ88を算出する（＃５２）。第１画像特徴量群を粗画像ニューラルネットワーク部７３ａの入力要素に与えることで（＃５３）、粗画像に適した画像補正量：β(n)が出力値として出力され、粗画像補正曲線が作成される（＃５４）。同様に、第２画像特徴量群を密画像ニューラルネットワーク部７３ｂの入力要素に与えることで（＃５５）、密画像に適した画像補正量：δ(n)が出力値として出力され、密画像補正曲線が作成される（＃５６）。
【００４２】
粗画像補正曲線と密画像補正曲線とを融合するための融合率が決定される（＃５７）。この融合率は予め設定された定数であってもよいが、入力撮影画像の空間周波数特性などの画像特性に応じて変化する変数であってもよい。例えば、融合率＝ｇ（画像特性）で示されるような演算式で求めることができるが、その際の関数：ｇは非連続関数でも連続関数でもよい。また、その融合率も、シャドウ領域、中間領域、ハイライト領域等の領域別で異なるようにしてもよい。
【００４３】
融合率が決定されると、その融合率で粗画像補正曲線と密画像補正曲線との融合補正曲線が作成される（＃５８）。この作成された融合補正曲線は、画像補正部７７の補正曲線設定部７７ｂに与えられる（＃５９）。続いて、画像補正実行部７７ａが設定された補正曲線（融合補正曲線又は個別補正曲線）を用いて入力撮影画像を画像補正し（＃６０）、この補正された撮影画像からプリントデータ生成部３６がプリントデータを生成する（＃６１）。プリントデータがプリントステーション１Ｂに転送されることによりプリント処理が行われ（＃６２）、写真プリントが出力される（＃６３）。
【００４４】
上述した実施形態の説明では、本発明による画像補正技術が、ＤＰショップに設置されているミニラボと呼ばれている写真プリント装置に組み込まれた例を取り上げたが、コンビニやＤＰショップの店頭に設置されているセルフサービス式の写真プリント装置など、種々の写真プリント装置に組み込んでもよいし、画像処理ソフトウエアの撮影画像補正機能の１つとして、この画像処理ソフトウエアのプログラムに組み込んでもよい。
【００４５】
なお、上述した実施の形態では、画像プリント出力部としてのプリントステーション１Ｂは、印画紙Ｐに対し、レーザ式露光エンジンを備えたプリント露光部１４で撮影画像の露光を行い、この露光後の印画紙Ｐを現像処理する、いわゆる銀塩写真プリント方式を採用していたが、もちろん、本発明によって補正された撮影画像のプリント方式は、このような方式に限定されるわけではなく、例えば、フィルムや紙にインクを吐出して画像を形成するインクジェットプリント方式や感熱転写シートを用いた熱転写方式など、種々の写真プリント方式を含む。
【図面の簡単な説明】
【００４６】
【図１】本発明による画像補正技術で用いられる基本原理を説明する説明図
【図２】本発明による画像補正技術で用いられる基本原理を説明する説明図
【図３】ニューラルネットワークの構成を示す模式図
【図４】ニューラルネットワークの出力としての画像補正曲線を説明する説明図
【図５】画像領域に依存する画像特徴量を説明する説明図
【図６】ヒストグラムに依存する画像特徴量を説明する説明図
【図７】ニューラルネットワークの構築ルーチンを示すフローチャート
【図８】本発明による画像補正技術を採用した写真プリント装置の外観図
【図９】写真プリント装置のプリントステーションの構成を模式的に示す模式図
【図１０】写真プリント装置のコントローラ内に構築される機能要素を説明する機能ブロック図
【図１１】本発明の画像補正技術を採用した画像補正ユニットの機能構成を示す機能ブロック図
【図１２】写真プリント処理の手順を示すフローチャート
【符号の説明】
【００４７】
１Ｂ：プリントステーション（プリント部）
３１：画像入力部
３６：プリントデータ生成部
７０：第２画像補正ユニット（画像補正装置）
７１：モザイク処理部
７１ａ：サブマトリックスサイズ設定部
７２：画像特徴量算出部
７３ａ：粗画像ニューラルネットワーク部
７３ｂ：密画像ニューラルネットワーク部
７４ａ：粗画像補正曲線作成部
７４ｂ：密画像補正曲線作成部
７５：融合部
７６：融合率調整部
７７：画像補正部
７７ａ：画像補正実行部
７７ｂ：補正曲線設定部
【技術分野】
【０００１】
本発明は、入力画像を適正画像に補正曲線を用いて補正する画像補正技術に関する。
【背景技術】
【０００２】
入力画像を適正画像に補正する代表的な分野である写真プリント出力の分野では、写真フィルムに形成された撮影画像をフィルムスキャナを用いてデジタル化して得られた撮影画像（データ）や、デジタルカメラなどのデジタル撮影機器によって直接撮影画像をデジタル化して得られた撮影画像（データ）に濃度補正や色補正などの画像補正を施した後これをプリントデータに変換し、このプリントデータに基づいて写真プリントユニットを駆動して、撮影画像を感光材料（印画紙）に光ビームで焼き付けたり、プリント用紙にカラーインクで形成したりするデジタル写真処理技術が主流である。種々の写真撮影状況下において適正な撮影画像を得るためには、シャッタースピードや絞りの設定、天候、光源の種類などの撮影条件を適切に設定する必要があるが、撮影者はこれらの撮影条件をあまり意識せずに撮影しているのが実情であり、このため、被写体の色調や明暗（コントラスト）の再現性が適正に得られていない不適正な撮影画像が写真プリント装置に入力されることが少なくない。取得した入力撮影画像を適正な出力撮影画像、例えば写真プリントとして再現するために用いられる画像補正の主なものは、色補正、濃度補正、コントラスト補正であり、これらの補正を正しく調整して組み合わせた画像補正が必要となる。
【０００３】
写真撮影によって取得された撮影画像から、色調およびコントラストの補正を必要とする画像部分を選別し、その選別された画像部分に対し、色調およびコントラストの再現性の精度をできるだけ高めることのできる画像補正の１つとして、各色毎の階調ヒストグラムの最高度数に対して、所定割合を下回る度数の画像データを各色毎に除外して残った画像データの階調幅を基準階調幅に引き延ばし又は圧縮し、階調幅の引き延ばし又は圧縮に合わせて画像データの画素値を補正変換することで、カラーバランスおよびコントラストのいずれかまたは両方をある程度補正するものがある（例えば、特許文献１参照）。
【０００４】
また、色補正、濃度補正、コントラスト補正を効率よく実施する画像補正として、撮影画像の低解像度データと所定の濃度・コントラスト補正アルゴリズムに基づいて、まず濃度・コントラスト変換曲線（変換テーブル）が作成され、次いでこの濃度・コントラスト変換曲線を用いて補正された撮影画像の低解像度データと所定のカラー補正アルゴリズムに基づいてカラー補正変換曲線（変換テーブル）が作成され、これらの濃度・コントラスト変換曲線とカラー補正変換曲線を融合させて作成された統合補正変換曲線を用いて写真プリント出力の目的ために撮影画像の高解像度画像データを補正するものも知られている（例えば、特許文献２参照）。
【０００５】
また、選択された代表色のＲＧＢ信号を入力データとして使用するととともに、出力装置（プリンタ）にて出力された上記の代表色の複製画像を再び入力装置（スキャナ）にて読み取ったＲＧＢ信号を教師データとして使用することによってニューラルネットワークを構築し、入力画像の各画素値を入力層に入力することにより、中間層を介して、出力層からプリンタのインク量を出力させ、これにより良好な複製画像を得ようとする画像処理装置も知られている（例えば、特許文献３参照）。
【０００６】
画像補正にニューラルネットワークを用いた技術としては、さらに画像信号を入力データとし画像補正量を教師値として予め学習させたニューラルネットワークを備え、このニューラルネットワークに画像信号を入力することで得られる画像補正量を用いて画像信号を補正して安定した出力画像を得る画像形成装置も知られている（例えば、特許文献４参照）。
【０００７】
【特許文献１】特開２００４−１４５３９９号公報（段落番号００２３−００２９）
【特許文献２】特開２００６−１５７５６２号公報（段落番号００２６−００２９、図６）
【特許文献３】特開平０９−１６８０９５号公報（段落番号００５０−００５７、００６６、図４）
【特許文献４】特開平０９−０１８７１６号公報（段落番号００３９−００４０、図１）
【発明の開示】
【発明が解決しようとする課題】
【０００８】
入力画像に応じて適切な画像補正曲線を生成するアルゴリズムを構築する場合、まず多数のサンプル画像を用意しておく。そして、各サンプル画像をサンプル適正画像とする画像補正を熟練者によってマニュアルで行い、この各サンプル画像から算出された画像特徴量群と、このマニュアル画像補正を通じて作り出される元画像の画素値と適正画像の画素値との対応関係（画像補正曲線）を統計的にあるいは演繹的に評価していくことで、画像補正曲線を生成するアルゴリズムを構築する。このようなアルゴリズムの構築方法は、上記特許文献だけでなく、数多くの文献によって知られている。また、ニューラルネットワークの技術を画像補正に適用する場合、各サンプル画像から算出された画像特徴量群を入力データとするとともに、このマニュアル画像補正を通じて作り出される元画像の画素値と適正画像の画素値との対応関係を教師データとしてニューラルネットワークを学習させる。このような学習を通じて構築されたニューラルネットワークの入力層に補正対象となる入力画像から算出された画像特徴量を与えることで、この入力画像に適合した画像補正曲線が出力、より正確にはこの画像補正曲線を規定する出力値が出力される。いずれにしても、生成された画像補正曲線（画像補正量マトリックスや変換テーブルや変換式とも呼び代えることができる）を用いて元画像としての入力画像を画像補正することにより、適正な写真プリントを出力するために適した補正画像が得られる。様々な画像特性を有する入力画像を適切に補正することができるように、ニューラルネットワークの学習時に用いられるサンプル画像も様々な画像特性を有するものが選択されるが、撮影画像などでは低周波領域と高周波数領域の両方の空間周波数成分を有するものが多く、従来の画像補正曲線の生成に利用している画像特徴量群を入力値としているニューラルネットワークではそのような入力画像に対して十分に満足できる画像補正曲線を生成することができないという問題点が明らかになってきた。
【０００９】
上記実状に鑑み、本発明の課題は、補正すべき入力画像に対して、その空間周波数が高い領域の画像特徴とその空間周波数が低い領域の画像特徴の両方を考慮した画像補正曲線を生成して、適正な画像補正を実現する画像補正技術を提供することである。
【課題を解決するための手段】
【００１０】
入力画像を適正画像に補正曲線を用いて補正する画像補正方法において、上記課題を解決するため、本発明による方法は、前記入力画像に対応する補正演算用画像に対して第１サイズのサブマトリックスを用いて第１モザイク処理画像を生成するステップと、前記第１モザイク処理画像から第１画像特徴量群を求めるステップと、前記第１画像特徴量群に基づいて粗画像補正曲線を生成するステップと、前記入力画像に対応する補正演算用画像に対して前記第１サイズより小さい第２サイズのサブマトリックスを用いて第２モザイク処理画像を生成するステップと、前記第２モザイク処理画像から第２画像特徴量群を求めるステップと、前記第２画像特徴量群に基づいて密画像補正曲線を生成するステップと、前記粗画像補正曲線と前記密画像補正曲線とを融合させて融合補正曲線を生成するステップと、前記融合補正曲線で前記入力画像を画像補正するステップとからなる。
【００１１】
上記方法では、まず補正すべき入力画像からサイズの異なる２つのサブマトリックスを用いて２つの空間周波数成分が異なるモザイク処理画像を生成する。つまり、より大きな第１サイズのサブマトリックスを用いた第１モザイク処理画像は、より小さな第２サイズのサブマトリックスを用いた第２モザイク処理画像に較べて、その空間周波数成分は低くなるので、相対的に第１モザイク処理画像は粗画像となり、第２モザイク処理画像は密画像となる。その後、第１モザイク処理画像から前もって規定した演算を用いて画像特徴量群を求め、この画像特徴量群に基づいて粗画像補正曲線を生成すると、この粗画像補正曲線は入力画像の大局的な傾向に基づく補正曲線となる。さらに、第２モザイク処理画像からも同様に画像特徴量群を求め、この画像特徴量群に基づいて密画像補正曲線を生成すると、この密画像補正曲線は入力画像の詳細な傾向に基づく補正曲線となる。従って、この粗画像補正曲線と密画像補正曲線とを融合させて生成された融合補正曲線は、入力画像の大局的な傾向と詳細な傾向との両者にほどよく適合した補正曲線となり、この融合補正曲線を用いて画像補正を行うことで、全体的な観点からみた補正評価と詳細な観点からみた補正評価の両者を満足させる補正画像が得られる。
【００１２】
なお、ここでは、２つの異なるサイズのサブマトリックスを用いて生成される２つのモザイク処理画像に基づいて補正曲線を生成していたが、さらに異なるサイズのサブマトリックスを用いて生成されるモザイク処理画像を追加してもよい。つまり本発明では、２つ以上の異なるサブマトリックスを用いて生成される２つ以上のモザイク処理画像に基づいて生成された２つ以上の補正曲線を融合して最終的に用いられる補正曲線を生成することを主題としている。
【００１３】
さらに、この明細書で用いられている補正曲線なる用語は、画像処理の分野でよく用いられる補正式、補正マトリックスといった、元画像の画素値を適正画像の画素値に変換する機能を総称するものであり、さらにそのような変換機能を作り出すためのデータ群もその用語の範囲に属している。つまり、ここでの補正曲線は元画像の画素値と適正画像の画素値との対応関係を規定するものであり、この補正曲線の具体的な実施形態としてはＬＵＴ（ルックアップテーブル）と呼ばれるハードウエア又はソフトウエアあるいはその両方で構築されるモジュールが一般的である。また、明細書では、特別に区別する必要がある場合を除いて、デジタルデータとしての画像データやこの画像データに基づくプリント画像やモニタ表示画像も単に画像という語句で総称している。
【００１４】
画像特徴量群から画像補正曲線を生成するための好適な方法として、処理の高速性と高精度性の観点から、ニューラルネットワークが推薦される。このため、本発明による好適な実施形態の１つでは、前記粗画像補正曲線を生成するステップにおいて、用意された多数のサンプル画像に対して前記第１サイズのサブマトリックスを用いて生成された第１モザイク処理画像から得られる第１画像特徴量群を入力値とするとともに前記サンプル画像から適正画像を作り出す画像補正曲線を教師値として学習させた粗画像ニューラルネットワークが用いられ、かつ前記密画像補正曲線を生成するステップにおいて、前記サンプル画像に対して前記第２サイズのサブマトリックスを用いて生成された第２モザイク処理画像から得られる第２画像特徴量群を入力値とするとともに前記サンプル画像から適正画像を作り出す画像補正曲線を教師値として学習させた密画像ニューラルネットワークが用いられる。
【００１５】
前記粗画像補正曲線と前記密画像補正曲線の融合に関して、最終的な画像プリント出力に要求される品質仕様によって、粗画像補正曲線寄りが好まれる場合や密画像補正曲線寄りが好まれる場合に分かれる。従って、本発明の好適な実施形態の１つでは、前記融合補正曲線を作成するための前記粗画像補正曲線と前記密画像補正曲線との融合率は調整可能に構成されている。その際、空間周波数分析を通じて入力画像の空間周波数成分を演算しておき、この空間周波数成分と平均的な画像の空間周波数成分との比較から、例えば、高周波寄りの画像では密画像補正曲線寄りの融合となるように、また、低周波寄りの画像では粗画像補正曲線寄りの融合となるようにその融合率を調整すると好都合である。
【００１６】
入力画像が写真プリント出力のための撮影画像のような場合、全体的なバランス、及び中央に位置する被写体とその周辺の背景とのバランスが重要となる。このことを考慮すると、画像特徴量群に、それぞれ、入力画像の分割領域に依存する領域依存画像特徴量と分割領域に依存しない領域非依存画像特徴量の両方を含むようにすると好都合である。
【００１７】
入力画像を適正画像に補正曲線を用いて補正する画像補正装置において、上記課題を解決するため、本発明による装置は、前記入力画像に対応する補正演算用画像に対して第１サイズのサブマトリックスを用いて第１モザイク処理画像を生成するとともに、前記第１サイズより小さい第２サイズのサブマトリックスを用いて第２モザイク処理画像を生成するモザイク処理部と、前記第１モザイク処理画像から第１画像特徴量群を求めるとともに、前記第２モザイク処理画像から第２画像特徴量群を求める画像特徴量演算部と、前記第１画像特徴量群に基づいて粗画像補正曲線を生成する粗画像補正曲線生成部と、前記第２画像特徴量群に基づいて密画像補正曲線を生成する密画像補正曲線生成部と、前記粗画像補正曲線と前記密画像補正曲線とを融合させて融合補正曲線を生成する融合部と、前記融合補正曲線で前記入力画像を画像補正する画像補正部とからなる。当然ながら、この画像補正装置も上記画像補正方法で述べたすべての作用効果を得ることができ、さらに上述した付加的技術を組み込むことも可能である。また、ここでも、２つ以上の異なるサブマトリックスを用いて生成される２つ以上のモザイク処理画像に基づいて生成された２つ以上の補正曲線を融合して最終的に用いられる補正曲線を生成することが含まれていることは当然である。
【００１８】
特に、画像特徴量群から画像補正曲線を生成するためにニューラルネットワーク技術が採用される場合には、前記粗画像補正曲線生成部は、用意された多数のサンプル画像に対して前記第１サイズのサブマトリックスを用いて生成された第１モザイク処理画像から得られる第１画像特徴量群を入力値とするとともに前記サンプル画像から適正画像を作り出す画像補正曲線を教師値として学習させた粗画像ニューラルネットワーク部となり、かつ前記密画像補正曲線生成部は、前記サンプル画像に対して前記第２サイズのサブマトリックスを用いて生成された第２モザイク処理画像から得られる第２画像特徴量群を入力値とするとともに前記サンプル画像から適正画像を作り出す画像補正曲線を教師値として学習させた密画像ニューラルネットワーク部となる。
【発明を実施するための最良の形態】
【００１９】
以下、本発明の実施形態を図面に基づいて説明するが、まず、本発明による補正技術の重要な構成要素となる画像特徴量群に基づいて画像補正曲線を生成する画像補正曲線生成アルゴリズムの構築原理を述べる。なお、画像補正曲線生成アルゴリズムのなかで特に好ましいものとして本発明では、ニューラルネットワークが提案されているが、本発明はニューラルネットワークに限定しているわけではない。その他の統計的な処理に基づくアルゴリズムの適用も可能である。
【００２０】
いずれにせよ、まずは、図１に模式的に示されているように、種々の撮影条件で取得された画像をサンプル画像として多数用意し、これらのサンプル撮影画像を元画像とし、この元画像に対して異なるサイズのサブマトリックスを用いて複数のモザイク処理画像を生成する（＃０１）。図１では、第１サイズのサブマトリックスを用いて第１モザイク処理画像を生成し、第１サイズより小さい第２サイズのサブマトリックスを用いて第２モザイク処理画像を生成しているが、さらに第３・第４のサイズのサブマトリックスを用いて更なるモザイク処理画像を生成してもよい。生成された２つのモザイク処理画像に対して、以下に述べるような処理が同様に行われる。
【００２１】
第１モザイク処理画像を元画像として、モニタでの表示やテストプリントを通じて適正画像となるようにマニュアルで画像補正を行う（＃０２）。次に、元画像とマニュアル画像補正によって得られた適正画像との画素値を比較評価して、元画像の画素値と適正画像の画素値との対応関係を規定する画像補正量、結果的にはこの画像補正量によって規定される粗画像補正曲線を生成する（＃０３）。その際、８ビットカラー画像の場合、元画像の各画素の画素値から適正画像の画素値を導く画像補正量は各色毎に２５６個の画素値変換係数：β(0)・・・β(255)で表すことができるが、２５６の全ての画素値に対して画像補正量（画素値変換係数）を求めるのではなく、とびとびの画像補正量を求め、残りは補間で算出してもよい。元画像の画素値と適正画像の画素値との対応関係は画像補正曲線：f(x)として考えると最も理解しやすいので、以下画像補正曲線という語句を用いる。なお、一般的に、そのような補正曲線は、例えば４次式で良好に近似することができるので、その場合は、
f(x)=ax^4＋bx^3+cx^2+dx+e（xは入力階調（0〜255）、^は累乗を表す）
となり、元画像の画素値と適正画像の画素値との対応関係（補正曲線）はたかだか５つの係数：a、b、c、d、eで表すことができる。
【００２２】
次に、元画像となっている第１モザイク処理画像から第１画像特徴量群：α0・・・αnが算出される（＃０４）。画像特徴量群としては、画像の全域又は部分域における平均濃度値、最大濃度値、最小濃度値といった画像領域に依存する特徴量、及び各色のヒストグラムから得られる階調値部分領域の積算頻度値などの画像領域に依存しない特徴量が採用される。ステップ＃０３で得られた粗画像補正曲線を規定する係数と、ステップ＃０４で得られた第１画像特徴量群は、第１画像特徴量群を入力データとするとともに粗画像補正曲線を出力データとする粗画像補正曲線生成アルゴリズム（好ましくはニューラルネットワーク）を構築するための学習データとして利用されるため、ステップ＃０２からステップ＃０４の作業は準備された全てのサンプル画像から生成された第１モザイク処理画像に対して実施される。そして、第１モザイク処理画像の画像特徴量群を入力データとするとともに画像補正曲線を規定する係数が出力データとなるように内部変数を調整する反復シミュレーションを数千回以上を行い、粗画像補正曲線生成アルゴリズムを構築する（＃０５）。なお、画像補正曲線生成アルゴリズムがニューラルネットワークの場合、その学習過程において、画像補正曲線を規定する係数は教師値と呼ばれ、第１モザイク処理画像の画像特徴量群を入力データとするとともに粗画像補正曲線を規定する係数を教師値として数千回以上の反復学習を行い、粗画像ニューラルネットワークの入出力関係を構築する。
【００２３】
さらに、ステップ＃０１ａで生成された第２モザイク処理画像を元画像として、上述したステップ＃０２からステップ＃０４の処理と同じ処理を行う（＃０２ａ〜＃０４ａ）。そして、ステップ＃０４ａで得られた第２画像特徴量群（γ0・・・γn）を入力データとするとともにステップ＃０３ａで得られた密画像補正曲線（δ0・・・δn）を出力データとする学習データを用いて密画像補正曲線生成アルゴリズム、好ましくは密画像ニューラルネットワークが構築される（＃０５a）。もちろん、さらに異なるサイズのサブマトリックスを用いて生成される更なるモザイク処理画像を元画像として、更なる画像補正曲線生成アルゴリズム、好ましくは画像ニューラルネットワークを構築してもよい。
【００２４】
このようにして入出力関係が決定された、粗画像補正曲線生成アルゴリズムと密画像補正曲線生成アルゴリズム、ここでの例では、大局的なバランスを重要視した粗画像ニューラルネットワークと詳細な領域でのバランスを重要視した密画像ニューラルネットワークが構築されたとすると、この２つのニューラルネットワークを用いて、補正すべき入力画像を適正画像に補正することができる。この画像補正の原理が図２に模式的に示されている。まず、補正目的で入力された画像から、必要に応じて、所定サイズまでの縮小処理を施して、補正演算用画像を生成する（＃１０）。そして、この入力画像又は補正演算用画像から第１サイズのサブマトリックスを用いてモザイク処理を行って第１モザイク処理画像を生成する（＃１１）。第１モザイク処理画像から第１画像特徴量群を算出する（＃１２）。この第１画像特徴量群を粗画像ニューラルネットワークに入力すること（＃１３）により、粗画像補正曲線を規定する係数、結果的には粗画像補正曲線が得られる（＃１４）。
【００２５】
同様に、前記入力画像又は補正演算用画像から第２サイズのサブマトリックスを用いてモザイク処理を行って第２モザイク処理画像を生成し（＃１１ａ）、この第２モザイク処理画像から第２画像特徴量群を算出する（＃１２ａ）。この第２画像特徴量群を密画像ニューラルネットワークに入力すること（＃１３ａ）により、密画像補正曲線規定する係数、結果的には密画像補正曲線が得られる（＃１４ａ）。
【００２６】
次に、生成された粗画像補正曲線（粗画像補正曲線規定する係数）と密画像補正曲線（密画像補正曲線規定する係数）とを所定の融合率でもって融合して、融合補正曲線を得る（＃１５）。この融合率は固定でもよいし、好みによって任意に調整可能であってもよいが、入力画像の空間周波数分析値に基づいて自動調整することも可能である。次いで、作成された融合補正曲線が使用補正曲線として設定されることで（＃１６）、この融合補正曲線を用いて入力画像が画像補正される（＃１７）。さらに、この補正画像からプリントデータを生成し、このプリントデータをプリント部に転送することにより、画像プリントが出力される（＃１８）。
【００２７】
次に、上述したニューラルネットワークの具体的な構築手順の一例を図３から図６を用いて説明する。なお、粗画像ニューラルネットワークも密画像ニューラルネットワークもその構築手順は同じである。図３にニューラルネットワークの模式的な構造が示されている。このニューラルネットワークは８９個の入力要素を有する入力層と４５個の中間要素を有する中間層と６０個の出力要素を有する出力層からなる。入力要素には入力画像の画像特徴量群：α0〜α88（第１画像特徴量群）、γ0〜γ88（第２画像特徴量群）が入力され、出力要素には、図４に示されるような、各色の補正曲線を規定するそれぞれ２０個の代表点で示す画像補正曲線規定する係数としての出力値、つまりＲ成分用出力値β(1)〜β(20)（粗画像補正曲線）、δ(1)〜δ(20)（密画像補正曲線）；Ｇ成分用出力値β(21)〜β(40)（粗画像補正曲線）、δ(21)〜δ(40)（密画像補正曲線）；Ｂ成分用出力値β(41)〜β(60)、δ(41)〜δ(60)（密画像補正曲線）が出力される。この出力値を用いてスムーズな各色の補正曲線を作り出すアルゴリズムには公知の近似曲線作成アルゴリズムを用いることができる。
【００２８】
このニューラルネットワークの学習時に採用されている第１画像特徴量群：α0〜α88と第２画像特徴量群：γ0〜γ88の定義内容は同じであり、対象となる画像が異なる（第１モザイク処理画像と第２モザイク処理画像との違い）だけなので、以下第１画像特徴量群についてのみ説明する。
α0：画像全体の平均濃度値
α1：画像中央部（図５の（ａ）参照）の平均濃度値
α2：画像周辺部（図５の（ａ）参照）の平均濃度値
α3：画像上側部（図５の（ｂ）参照）の平均濃度値
α4：画像下側部（図５の（ｂ）参照）の平均濃度値
α5：画像左側部（図５の（ｃ）参照）の平均濃度値
α6：画像右側部（図５の（ｃ）参照）の平均濃度値
α7：画像全体の最大濃度値
α8：画像中央部（図５の（ａ）参照）の最大濃度値
α9：画像周辺部（図５の（ａ）参照）の最大濃度値
α10：画像上側部（図５の（ｂ）参照）の最大濃度値
α11：画像下側部（図５の（ｂ）参照）の最大濃度値
α12：画像左側部（図５の（ｃ）参照）の最大濃度値
α13：画像右側部（図５の（ｃ）参照）の最大濃度値
α14：画像全体の最小濃度値
α15：画像中央部（図５の（ａ）参照）の最小濃度値
α16：画像周辺部（図５の（ａ）参照）の最小濃度値
α17：画像上側部（図５の（ｂ）参照）の最小濃度値
α18：画像下側部（図５の（ｂ）参照）の最小濃度値
α19：画像左側部（図５の（ｃ）参照）の最小濃度値
α20：画像右側部（図５の（ｃ）参照）の最小濃度値
α21：上下に隣接する画素の差分値（図５の（ｄ）参照）の平均値
α22：画像全体の濃度標準偏差
α23：Ｒ色成分に関する画像全体の最大値
α24：Ｇ色成分に関する画像全体の最大値
α25：Ｂ色成分に関する画像全体の最大値
α26：Ｒ色成分に関する画像全体の最小値
α27：Ｇ色成分に関する画像全体の最小値
α28：Ｂ色成分に関する画像全体の最小値
α29〜α48：Ｒ色成分に関するヒストグラムの階調値軸を２０分割した各領域（図６参照）に含まれる階調値の頻度を積算して得られるＲ積算頻度値
α49〜α68：Ｇ色成分に関するヒストグラムの階調値軸を２０分割した各領域（図６参照）に含まれる階調値の頻度を積算して得られるＧ積算頻度値
α69〜α88：Ｂ色成分に関するヒストグラムの階調値軸を２０分割した各領域（図６参照）に含まれる階調値の頻度を積算して得られるＢ積算頻度値
上記α0からα28までの画像特徴量は画像領域に依存する特徴量であり、上記α29からα88までの画像特徴量は画像領域に依存しない特徴量である。また、モザイク処理画像から第１画像特徴量群及び第２画像特徴量群の算出においては、モザイクブロック（サブマトリックスのサイズ）を１つの画素として演算される。なお、濃度値としては、Ｒ・Ｇ・Ｂ色成分の各画素の値を足して３で割った値を採用している。
【００２９】
以上のような入出力形態をもつニューラルネットワークの構築ルーチンが図７に示されている。
まず、用意しておいたサンプル画像を読み込み（＃２０）、そのサンプル画像から作り出されたモザイク処理画像を用いて前述した各画像特徴量を算出し（＃２１）、それらを画像特徴量群としてメモリに格納する（＃２２）。読み込んだサンプル画像をモニタ表示しながら熟練者によるマニュアルの画像補正を行う（＃２３）。必要に応じて補正された画像のプリント出力を行い（＃２４）、補正された画像が適正であるかどうかをチェックする（＃２５）。補正された画像が適正と判定されるまで、マニュアル補正を繰り返し、適正な補正画像が得られると、その画像補正に基づいて元画像の画素値を適正補正画像の画素値に変換する画像補正曲線（画像補正曲線を規定する係数）を作成してメモリに格納する（＃２６）。ステップ＃２０〜ステップ＃２６までの処理が用意されている全てのサンプル画像のための実行される（＃２７Yes分岐）。全てのサンプル画像に対する処理が完了すると（＃２７No分岐）、これまでに得られたモザイク処理画像の画像特徴量群と画像補正曲線がニューラルネットワークに適用される（＃２８）。ニューラルネットワークは、画像特徴量群を入力データ、画像補正曲線を教師データとして学習し、その入出力関係（結合係数やしきい値）を確定させる（＃２９）。このようなニューラルネットワーク構築ルーチンを用いて、粗画像ニューラルネットワークと密画像ニューラルネットワーク、必要時応じて更なる超粗画像又は超密画像ニューラルネットワークを構築する。
【００３０】
次に、図１と図２を用いて説明した画像補正技術を用いた画像補正装置を搭載し、画像として撮影画像を取り扱う写真プリント装置を説明する。図８はその写真プリント装置を示す外観図であり、この写真プリント装置は、印画紙Ｐに対して露光処理と現像処理とを行う写真プリント部としてのプリントステーション１Ｂと、現像済み写真フィルム２ａやデジタルカメラ用メモリカード２ｂなどの画像入力メディアから取り込んだ撮影画像を処理してプリントステーション１Ｂで使用されるプリントデータの生成・転送などを行う操作ステーション１Ａとから構成されている。
【００３１】
この写真プリント装置はデジタルミニラボとも称せられるものであり、図９からよく理解できるように、プリントステーション１Ｂは２つの印画紙マガジン１１に納めたロール状の印画紙Ｐを引き出してシートカッター１２でプリントサイズに切断すると共に、このように切断された印画紙Ｐに対し、バックプリント部１３で色補正情報やコマ番号などのプリント処理情報を印画紙Ｐの裏面に印字するとともに、プリント露光部１４で印画紙Ｐの表面に撮影画像の露光を行い、この露光後の印画紙Ｐを複数の現像処理槽を有した処理槽ユニット１５に送り込んで現像処理する。乾燥の後に装置上部の横送りコンベア１６からソータ１７に送られた印画紙Ｐ、つまり写真プリントＰは、このソータ１７の複数のトレイにオーダ単位で仕分けられた状態で集積される（図８参照）。
【００３２】
上述した印画紙Ｐに対する各種処理に合わせた搬送速度で印画紙Ｐを搬送するために印画紙搬送機構１８が敷設されている。印画紙搬送機構１８は、印画紙搬送方向に関してプリント露光部１４の前後に配置されたチャッカー式印画紙搬送ユニット１８ａを含む複数の挟持搬送ローラ対から構成されている。
【００３３】
プリント露光部１４には、副走査方向に搬送される印画紙Ｐに対して、主走査方向に沿って操作ステーション１Ａからのプリントデータに基づいてＲ（赤）、Ｇ（緑）、Ｂ（青）の３原色のレーザ光線の照射を行うライン露光ヘッドが設けられている。処理槽ユニット１５は、発色現像処理液を貯留する発色現像槽１５ａと、漂白定着処理液を貯留する漂白定着槽１５ｂと、安定処理液を貯留する安定槽１５ｃを備えている。
【００３４】
前記操作ステーション１Ａのデスク状コンソールの上部位置には、写真フィルム２ａの撮影画像コマから撮影画像データ（以下単に撮影画像と略称する）を２０００ｄｐｉを超える解像度でもって取得することができるフィルムスキャナ２０が配置されており、デジタルカメラ等に装着される画像記録媒体２ｂとして用いられている各種半導体メモリやＣＤ−Ｒなどから撮影画像を取得するメディアリーダ２１は、この写真プリント装置のコントローラ３として機能する汎用パソコンに組み込まれている。この汎用パソコンには、さらに各種情報を表示するモニタ２３、各種設定や調整を行う際に用いる操作入力部として利用される操作入力デバイスとしてのキーボード２４やマウス２５も接続されている。
【００３５】
この写真プリント装置のコントローラ３は、ＣＰＵを中核部材として、写真プリント装置の種々の動作を行うための機能部をハードウエア又はソフトウエアあるいはその両方で構築しているが、図１０に示されているように、本発明に特に関係する機能部としては、フィルムスキャナ２０やメディアリーダ２１によって読み取られた撮影画像を取り込んで次の処理のために必要な前処理を行う画像入力部３１と、各種ウインドウや各種操作ボタンなどを含むグラフィック操作画面の作成やそのようなグラフィック操作画面を通じてのユーザ操作入力（キーボード２４やマウス２５などによる）から制御コマンドを生成するグラフィックユーザインターフェース（以下ＧＵＩと略称する）を構築するＧＵＩ部３３と、ＧＵＩ部３３から送られてきた制御コマンドや直接キーボード２４等から入力された操作命令に基づいて所望のプリントデータを生成するために画像入力部３１からメモリ３０に転送された撮影画像に対する画像処理等を行うプリント管理部３２と、色補正等のプレジャッジプリント作業時にプリントソース画像や予想仕上がりプリント画像としてのシミュレート画像さらにはＧＵＩ部３３から送られてきたグラフィックデータをモニタ２３に表示させるためのビデオ信号を生成するビデオ制御部３５と、画像処理が完了した処理済み撮影画像に基づいてプリントステーション１Ｂに装備されているプリント露光部１４に適したプリントデータを生成するプリントデータ生成部３６と、顧客の要望に応じて生の撮影画像や画像処理が完了した処理済み撮影画像などをＣＤ−Ｒに書き込むための形式にフォーマットするフォーマッタ部３７などが挙げられる。
【００３６】
画像入力部３１は、撮影画像記録媒体がフィルム２ａの場合プレスキャンモードと本スキャンモードとのスキャンデータを別々にメモリ３０に送り込み、それぞれの目的に合わせた前処理を行う。また、撮影画像記録媒体がメモリカード２ｂの場合取り込んだ撮影画像にサムネイル画像（低解像度データ）が含まれている場合はモニタ２３での一覧表示などの目的で使用するため撮影画像の本データ（高解像度データ）とは別にメモリ３０に送り込むが、もしサムネイル画像が含まれていない場合は本データから縮小画像を作り出してサムネイル画像としてメモリ３０に送り込む。さらには、入力された撮影画像から上述した特徴量セットを高速に算出するために用いられる入力された撮影画像をより小さな画像サイズをもつ補正処理用撮影画像（例えば、２５６×３８４画素）に変換する機能やモザイク処理機能も有する。
【００３７】
プリント管理部３２は、プリントサイズやプリント枚数などを管理するプリント注文処理ユニット４０、メモリ３０に展開された撮影画像に対して各種画像処理を施す画像処理ユニット５０を備えている。
【００３８】
画像処理ユニット５０には、メモリ３０に展開された撮影画像に対してマニュアルで各種画像処理などを行うためのフォトレタッチプログラムを実装している第１画像補正ユニット６０と、前述したようなニューラルネットワーク画像補正技術を用いてメモリ３０に展開された入力撮影画像に対する自動的な画像補正を行う第２画像補正ユニット７０とが基本的にはプログラムの形で組み込まれている。
【００３９】
図１１で示されているように、本発明による画像補正装置としての機能を有する第２画像補正ユニット７０には、メモリ３０に展開された入力撮影画像から作り出された補正演算用撮影画像（２５６×３８４の画像）対して第１サイズとしての２４×１６のサブマトリックスを用いて第１モザイク処理画像を生成するとともに、第２サイズとしての４８×３２のサブマトリックスを用いて第２モザイク処理画像を生成するモザイク処理部７１と、第１モザイク処理画像から第１画像特徴量群を求めるとともに第２モザイク処理画像から第２画像特徴量群を求める画像特徴量演算部７２と、第１画像特徴量群を入力することによって粗画像補正曲線を生成する粗画像ニューラルネットワーク部７３ａと、第２画像特徴量群を入力することによって密画像補正曲線を生成する密画像ニューラルネットワーク部７３ｂと、生成された粗画像補正曲線と密画像補正曲線とを融合率調整部７６で設定された融合率でもって融合させて融合補正曲線を生成する融合部７５と、この融合補正曲線を用いて入力撮影画像を画像補正する画像補正部７７が備えられている。画像補正部７７は、補正曲線設定部７７ｂによって設定された補正曲線に基づいて入力撮影画像を画像補正する画像補正実行部７７ａを備えている。融合率調整部７６による融合率の調整は、ＧＵＩ部３３を通じてマニュアルで調整することができるが、入力撮影画像の空間周波数分析を通じて得られた空間周波数特性に基づいて自動的に調整することも可能である。
【００４０】
モザイク処理部７１で用いられるモザイク処理のためのサブマトリックスのサイズはサブマトリックスサイズ設定部７１ａによって設定される。ここで用いられるサイズとしては、補正演算用撮影画像のサイズ（２５６×３８４の画像）を考慮すると、上記以外に１２×８や３６×２４などが適している。
【００４１】
以上のように構成された写真プリント装置における写真プリント処理を図１２のフローチャートを用いて説明する。まず、写真プリント出力を行うために入力された撮影画像を読み込み（＃５０）、その撮影画像から作り出された補正処理用撮影画像を用いてモザイク処理部７１が第１モザイク処理画像と第２モザイク処理画像を生成する（＃５１）。画像特徴量演算部７１が、第１モザイク処理画像から第１画像特徴量群：α0〜α88を算出し、第２モザイク処理画像から第２画像特徴量群：γ0〜γ88を算出する（＃５２）。第１画像特徴量群を粗画像ニューラルネットワーク部７３ａの入力要素に与えることで（＃５３）、粗画像に適した画像補正量：β(n)が出力値として出力され、粗画像補正曲線が作成される（＃５４）。同様に、第２画像特徴量群を密画像ニューラルネットワーク部７３ｂの入力要素に与えることで（＃５５）、密画像に適した画像補正量：δ(n)が出力値として出力され、密画像補正曲線が作成される（＃５６）。
【００４２】
粗画像補正曲線と密画像補正曲線とを融合するための融合率が決定される（＃５７）。この融合率は予め設定された定数であってもよいが、入力撮影画像の空間周波数特性などの画像特性に応じて変化する変数であってもよい。例えば、融合率＝ｇ（画像特性）で示されるような演算式で求めることができるが、その際の関数：ｇは非連続関数でも連続関数でもよい。また、その融合率も、シャドウ領域、中間領域、ハイライト領域等の領域別で異なるようにしてもよい。
【００４３】
融合率が決定されると、その融合率で粗画像補正曲線と密画像補正曲線との融合補正曲線が作成される（＃５８）。この作成された融合補正曲線は、画像補正部７７の補正曲線設定部７７ｂに与えられる（＃５９）。続いて、画像補正実行部７７ａが設定された補正曲線（融合補正曲線又は個別補正曲線）を用いて入力撮影画像を画像補正し（＃６０）、この補正された撮影画像からプリントデータ生成部３６がプリントデータを生成する（＃６１）。プリントデータがプリントステーション１Ｂに転送されることによりプリント処理が行われ（＃６２）、写真プリントが出力される（＃６３）。
【００４４】
上述した実施形態の説明では、本発明による画像補正技術が、ＤＰショップに設置されているミニラボと呼ばれている写真プリント装置に組み込まれた例を取り上げたが、コンビニやＤＰショップの店頭に設置されているセルフサービス式の写真プリント装置など、種々の写真プリント装置に組み込んでもよいし、画像処理ソフトウエアの撮影画像補正機能の１つとして、この画像処理ソフトウエアのプログラムに組み込んでもよい。
【００４５】
なお、上述した実施の形態では、画像プリント出力部としてのプリントステーション１Ｂは、印画紙Ｐに対し、レーザ式露光エンジンを備えたプリント露光部１４で撮影画像の露光を行い、この露光後の印画紙Ｐを現像処理する、いわゆる銀塩写真プリント方式を採用していたが、もちろん、本発明によって補正された撮影画像のプリント方式は、このような方式に限定されるわけではなく、例えば、フィルムや紙にインクを吐出して画像を形成するインクジェットプリント方式や感熱転写シートを用いた熱転写方式など、種々の写真プリント方式を含む。
【図面の簡単な説明】
【００４６】
【図１】本発明による画像補正技術で用いられる基本原理を説明する説明図
【図２】本発明による画像補正技術で用いられる基本原理を説明する説明図
【図３】ニューラルネットワークの構成を示す模式図
【図４】ニューラルネットワークの出力としての画像補正曲線を説明する説明図
【図５】画像領域に依存する画像特徴量を説明する説明図
【図６】ヒストグラムに依存する画像特徴量を説明する説明図
【図７】ニューラルネットワークの構築ルーチンを示すフローチャート
【図８】本発明による画像補正技術を採用した写真プリント装置の外観図
【図９】写真プリント装置のプリントステーションの構成を模式的に示す模式図
【図１０】写真プリント装置のコントローラ内に構築される機能要素を説明する機能ブロック図
【図１１】本発明の画像補正技術を採用した画像補正ユニットの機能構成を示す機能ブロック図
【図１２】写真プリント処理の手順を示すフローチャート
【符号の説明】
【００４７】
１Ｂ：プリントステーション（プリント部）
３１：画像入力部
３６：プリントデータ生成部
７０：第２画像補正ユニット（画像補正装置）
７１：モザイク処理部
７１ａ：サブマトリックスサイズ設定部
７２：画像特徴量算出部
７３ａ：粗画像ニューラルネットワーク部
７３ｂ：密画像ニューラルネットワーク部
７４ａ：粗画像補正曲線作成部
７４ｂ：密画像補正曲線作成部
７５：融合部
７６：融合率調整部
７７：画像補正部
７７ａ：画像補正実行部
７７ｂ：補正曲線設定部
【特許請求の範囲】
【請求項１】
入力画像を適正画像に補正曲線を用いて補正する画像補正方法において、
前記入力画像に対応する補正演算用画像に対して第１サイズのサブマトリックスを用いて第１モザイク処理画像を生成するステップと、
前記第１モザイク処理画像から第１画像特徴量群を求めるステップと、
前記第１画像特徴量群に基づいて粗画像補正曲線を生成するステップと、
前記入力画像に対応する補正演算用画像に対して前記第１サイズより小さい第２サイズのサブマトリックスを用いて第２モザイク処理画像を生成するステップと、
前記第２モザイク処理画像から第２画像特徴量群を求めるステップと、
前記第２画像特徴量群に基づいて密画像補正曲線を生成するステップと、
前記粗画像補正曲線と前記密画像補正曲線とを融合させて融合補正曲線を生成するステップと、
前記融合補正曲線で前記入力画像を画像補正するステップと、
からなる画像補正方法。
【請求項２】
前記粗画像補正曲線を生成するステップにおいて、用意された多数のサンプル画像に対して前記第１サイズのサブマトリックスを用いて生成された第１モザイク処理画像から得られる第１画像特徴量群を入力値とするとともに前記サンプル画像から適正画像を作り出す画像補正曲線を教師値として学習させた粗画像ニューラルネットワーク部が用いられ、かつ
前記密画像補正曲線を生成するステップにおいて、前記サンプル画像に対して前記第２サイズのサブマトリックスを用いて生成された第２モザイク処理画像から得られる第２画像特徴量群を入力値とするとともに前記サンプル画像から適正画像を作り出す画像補正曲線を教師値として学習させた密画像ニューラルネットワーク部が用いられることを特徴とする請求項１に記載の画像補正方法。
【請求項３】
前記融合補正曲線を作成するための前記粗画像補正曲線と前記密画像補正曲線との融合率は調整可能であることを特徴とする請求項１又は２に記載の画像補正方法。
【請求項４】
前記融合率は前記入力画像の空間周波数分析値に基づいて調整されることを特徴とする請求項３に記載の画像補正方法。
【請求項５】
前記第１画像特徴量群と前記第２画像特徴量群は、それぞれ、前記補正演算用画像の分割領域に依存する領域依存画像特徴量と前記補正演算用画像の分割領域に依存しない領域非依存画像特徴量の両方を含んでいることを特徴とする請求項１から４のいずれか一項に記載の画像補正方法。
【請求項６】
入力画像を適正画像に補正曲線を用いて補正する画像補正装置において、
前記入力画像に対応する補正演算用画像に対して第１サイズのサブマトリックスを用いて第１モザイク処理画像を生成するとともに、前記第１サイズより小さい第２サイズのサブマトリックスを用いて第２モザイク処理画像を生成するモザイク処理部と、
前記第１モザイク処理画像から第１画像特徴量群を求めるとともに、前記第２モザイク処理画像から第２画像特徴量群を求める画像特徴量演算部と、
前記第１画像特徴量群に基づいて粗画像補正曲線を生成する粗画像補正曲線生成部と、
前記第２画像特徴量群に基づいて密画像補正曲線を生成する密画像補正曲線生成部と、
前記粗画像補正曲線と前記密画像補正曲線とを融合させて融合補正曲線を生成する融合部と、
前記融合補正曲線で前記入力画像を画像補正する画像補正部と、
からなる画像補正装置。
【請求項７】
前記粗画像補正曲線生成部が、用意された多数のサンプル画像に対して前記第１サイズのサブマトリックスを用いて生成された第１モザイク処理画像から得られる第１画像特徴量群を入力値とするとともに前記サンプル画像から適正画像を作り出す画像補正曲線を教師値として学習させた粗画像ニューラルネットワーク部であり、かつ
前記密画像補正曲線生成部が、前記サンプル画像に対して前記第２サイズのサブマトリックスを用いて生成された第２モザイク処理画像から得られる第２画像特徴量群を入力値とするとともに前記サンプル画像から適正画像を作り出す画像補正曲線を教師値として学習させた密画像ニューラルネットワーク部であることを特徴とする請求項６に記載の画像補正装置。
【請求項１】
入力画像を適正画像に補正曲線を用いて補正する画像補正方法において、
前記入力画像に対応する補正演算用画像に対して第１サイズのサブマトリックスを用いて第１モザイク処理画像を生成するステップと、
前記第１モザイク処理画像から第１画像特徴量群を求めるステップと、
前記第１画像特徴量群に基づいて粗画像補正曲線を生成するステップと、
前記入力画像に対応する補正演算用画像に対して前記第１サイズより小さい第２サイズのサブマトリックスを用いて第２モザイク処理画像を生成するステップと、
前記第２モザイク処理画像から第２画像特徴量群を求めるステップと、
前記第２画像特徴量群に基づいて密画像補正曲線を生成するステップと、
前記粗画像補正曲線と前記密画像補正曲線とを融合させて融合補正曲線を生成するステップと、
前記融合補正曲線で前記入力画像を画像補正するステップと、
からなる画像補正方法。
【請求項２】
前記粗画像補正曲線を生成するステップにおいて、用意された多数のサンプル画像に対して前記第１サイズのサブマトリックスを用いて生成された第１モザイク処理画像から得られる第１画像特徴量群を入力値とするとともに前記サンプル画像から適正画像を作り出す画像補正曲線を教師値として学習させた粗画像ニューラルネットワーク部が用いられ、かつ
前記密画像補正曲線を生成するステップにおいて、前記サンプル画像に対して前記第２サイズのサブマトリックスを用いて生成された第２モザイク処理画像から得られる第２画像特徴量群を入力値とするとともに前記サンプル画像から適正画像を作り出す画像補正曲線を教師値として学習させた密画像ニューラルネットワーク部が用いられることを特徴とする請求項１に記載の画像補正方法。
【請求項３】
前記融合補正曲線を作成するための前記粗画像補正曲線と前記密画像補正曲線との融合率は調整可能であることを特徴とする請求項１又は２に記載の画像補正方法。
【請求項４】
前記融合率は前記入力画像の空間周波数分析値に基づいて調整されることを特徴とする請求項３に記載の画像補正方法。
【請求項５】
前記第１画像特徴量群と前記第２画像特徴量群は、それぞれ、前記補正演算用画像の分割領域に依存する領域依存画像特徴量と前記補正演算用画像の分割領域に依存しない領域非依存画像特徴量の両方を含んでいることを特徴とする請求項１から４のいずれか一項に記載の画像補正方法。
【請求項６】
入力画像を適正画像に補正曲線を用いて補正する画像補正装置において、
前記入力画像に対応する補正演算用画像に対して第１サイズのサブマトリックスを用いて第１モザイク処理画像を生成するとともに、前記第１サイズより小さい第２サイズのサブマトリックスを用いて第２モザイク処理画像を生成するモザイク処理部と、
前記第１モザイク処理画像から第１画像特徴量群を求めるとともに、前記第２モザイク処理画像から第２画像特徴量群を求める画像特徴量演算部と、
前記第１画像特徴量群に基づいて粗画像補正曲線を生成する粗画像補正曲線生成部と、
前記第２画像特徴量群に基づいて密画像補正曲線を生成する密画像補正曲線生成部と、
前記粗画像補正曲線と前記密画像補正曲線とを融合させて融合補正曲線を生成する融合部と、
前記融合補正曲線で前記入力画像を画像補正する画像補正部と、
からなる画像補正装置。
【請求項７】
前記粗画像補正曲線生成部が、用意された多数のサンプル画像に対して前記第１サイズのサブマトリックスを用いて生成された第１モザイク処理画像から得られる第１画像特徴量群を入力値とするとともに前記サンプル画像から適正画像を作り出す画像補正曲線を教師値として学習させた粗画像ニューラルネットワーク部であり、かつ
前記密画像補正曲線生成部が、前記サンプル画像に対して前記第２サイズのサブマトリックスを用いて生成された第２モザイク処理画像から得られる第２画像特徴量群を入力値とするとともに前記サンプル画像から適正画像を作り出す画像補正曲線を教師値として学習させた密画像ニューラルネットワーク部であることを特徴とする請求項６に記載の画像補正装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２００９−４８８７（Ｐ２００９−４８８７Ａ）
【公開日】平成２１年１月８日（２００９．１．８）
【国際特許分類】
【出願番号】特願２００７−１６１５６０（Ｐ２００７−１６１５６０）
【出願日】平成１９年６月１９日（２００７．６．１９）
【出願人】（０００１３５３１３）ノーリツ鋼機株式会社 (1,824)
【Ｆターム（参考）】
【公開日】平成２１年１月８日（２００９．１．８）
【国際特許分類】
【出願日】平成１９年６月１９日（２００７．６．１９）
【出願人】（０００１３５３１３）ノーリツ鋼機株式会社 (1,824)
【Ｆターム（参考）】
[ Back to top ]