画像補正方法および画像補正装置
【課題】画像の補正精度を判断する人間の趣向に沿った補正量を効率よく求める技術を提供する。
【解決手段】入力画像の特徴量を算出する手段（5）と、入力画像に関し分類属性および補正量を指定する手段（2,4）と、特徴量と指定された分類属性とを用いたニューラルネットワークの学習処理により、入力画像を分類するための分類係数を算出する手段（7）と、分類係数を用いたニューラルネットワークの学習処理により入力画像をカテゴリに分類する手段（8）と、特徴量と指定された補正量とを用いたニューラルネットワークの学習処理により、カテゴリに分類された入力画像の補正量係数を算出する手段（9）と、補正量係数を用いたニューラルネットワークの学習処理により、入力画像に適用すべき補正量を推定する手段（11）とを備える。
【解決手段】入力画像の特徴量を算出する手段（5）と、入力画像に関し分類属性および補正量を指定する手段（2,4）と、特徴量と指定された分類属性とを用いたニューラルネットワークの学習処理により、入力画像を分類するための分類係数を算出する手段（7）と、分類係数を用いたニューラルネットワークの学習処理により入力画像をカテゴリに分類する手段（8）と、特徴量と指定された補正量とを用いたニューラルネットワークの学習処理により、カテゴリに分類された入力画像の補正量係数を算出する手段（9）と、補正量係数を用いたニューラルネットワークの学習処理により、入力画像に適用すべき補正量を推定する手段（11）とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を補正する技術に関し、特に、その補正量の算出にニューラルネットワークの学習処理を利用する技術に関する。
【背景技術】
【０００２】
色補正や階調補正などの画像補正における補正量は、画像に応じて最適な値に設定する必要がある。この最適値は、画像内容に依存し、また、見る人の好みにも依存する。従って、理想的な画像補正のためには、その画像に対し、人間が手動で補正量を調整することが望ましい。しかしながら、手動で大量の画像補正を行うには、莫大な工数を必要とする。
【０００３】
手動での煩雑な画像補正に替えて、自動的に補正量を制御する方法として、例えば、後述の非特許文献１に記載されているような、ヒストグラム解析を利用した自動画像補正方式がある。
【０００４】
また、自動補正に関する他の方法として、近年、ニューラルネットワーク（Neural Network）による学習処理を用いて画像補正量を算出する方法が提案されている。ニューラルネットワークに対し画像の入力データと教師データとを与えることにより、画像に表われる複雑な現象をニューロンの係数として学習することが可能となる。ここで、入力データおよび教師データの組み合わせを訓練データと呼び、入力データと教師データとを用いてニューラルネットワークの係数を算出することを学習と呼ぶ。
【０００５】
ニューラルネットワークの係数を学習する方法として、画像の特徴量を入力データとし、画像補正量を教師データとして用いるという方法がある。例えば、後述の特許文献１には、画像信号を入力とし、オペレータが与えた補正値を教師値として学習した係数を画像補正に用いる技術が記載されている。この技術では、ハイライト値、ミドル値、シャドー値、トナー濃度、湿度などをニューラルネットワークへの入力とし、階調補正の係数がニューラルネットワークの出力として学習が行われる。
【０００６】
また、後述の特許文献２には、入力画像から画質特性値を算出し、ニューラルネットワークを用いて階調補正パラメータを学習する方法が記載されている。この文献には、さらに、オペレータ指示により追加学習を行い、追加学習後の新しいニューラルネットワークの誤差が古いネットワークの誤差よりも小さい時にはネットワークを置き換えることが記載されている。
【０００７】
このように、特許文献１及び２に記載の方法は、いずれも、画像から検出された特徴量をニューラルネットワークにより学習し、その学習結果を画像の補正に適用するというものである。
【０００８】
ここで、図１２に、画像補正量を算出する一般的な装置の構成を模式的に示す。装置100は、入力画像に対して補正を行う画像補正部101と、オペレータが補正量を指定するための補正量指定部102と、画像を表示するモニタ103と、入力画像から特徴量を抽出する特徴抽出部104と、特徴量および補正量を蓄積する蓄積部105と、特徴量と補正量との関係をニューラルネットワークの係数として学習する係数学習部106と、学習された係数を用いて入力画像に対する補正量を推定する補正量推定部107とからなる。
【０００９】
画像補正部101の一例として、γ補正のような階調補正がある。補正量指定部102の一例として、γ値をキーボードで指定する方法がある。特徴抽出部104の一例として、画像中のRGB値のヒストグラムを作成し、それぞれの最大値、最小値、平均値を抽出するという方法がある。蓄積部105の一例として、HDDや不揮発メモリ等がある。係数学習部106の一例としては、３層ニューラルネットワークにおける誤差伝播法による係数算出処理を実行する方法がある。
【特許文献１】特開平０９−１８７１６号公報
【特許文献２】特開２００６−３１４４０号公報
【非特許文献１】A. Inoue and J. Tajima、“Adaptive Quality Improvement Method for Color Images”、Proc. of SPIE, Vol. 2179、pp.429-439、1994
【発明の開示】
【発明が解決しようとする課題】
【００１０】
しかしながら、前述の特許文献１及び２に記載の方法のように、画像から得られた特徴量のみを補正量の学習に用いるという方法には、次のような問題点がある。
【００１１】
まず、特徴量のみによる学習では、画像の補正精度を向上させ難い。なぜなら、モニタに表示された画像に対する補正精度の判断には、人間の主観的な感覚が影響するからである。よって、入力画像から定量的に得られた特徴量のみを補正に用いても、人間の主観に依存する補正精度を高めることは困難である。
【００１２】
一方で、補正量係数の最適化には、ニューラルネットワークの学習回数を増やすことが有益である。よって、前述の技術の場合、係数学習部106（図１２）の学習回数を増やすことにより精度が上がると考えられる。しかしながら、学習の履歴が蓄積されるにつれて、演算が煩雑になることから、係数学習部106に多大な処理負荷が掛かり、また、処理時間が長引くという問題が生じる。
【００１３】
本発明は、上記課題に鑑みてなされたものであり、その目的は、画像の補正精度を判断する人間の趣向に沿った補正量を効率よく求める技術を提供することにある。
【課題を解決するための手段】
【００１４】
本発明に係る画像補正方法は、入力画像の特徴量を算出し、前記特徴量と前記入力画像に関し指定された分類属性とを用いたニューラルネットワークの学習処理により、前記入力画像を分類するための分類係数を算出し、前記分類係数を用いたニューラルネットワークの学習処理により前記入力画像をカテゴリに分類し、前記特徴量と前記入力画像に関し指定された補正量とを用いたニューラルネットワークの学習処理により、前記カテゴリに分類された前記入力画像の補正量係数を算出し、前記補正量係数を用いたニューラルネットワークの学習処理により、前記入力画像に適用すべき補正量を推定するという方法である。
【００１５】
本発明に係る画像補正装置は、入力画像の特徴量を算出する手段と、前記入力画像に関し分類属性および補正量を指定する手段と、前記特徴量と前記入力画像に関し指定された分類属性とを用いたニューラルネットワークの学習処理により、前記入力画像を分類するための分類係数を算出する手段と、前記分類係数を用いたニューラルネットワークの学習処理により前記入力画像をカテゴリに分類する手段と、前記特徴量と前記入力画像に関し指定された補正量とを用いたニューラルネットワークの学習処理により、前記カテゴリに分類された前記入力画像の補正量係数を算出する手段と、前記補正量係数を用いたニューラルネットワークの学習処理により、前記入力画像に適用すべき補正量を推定する手段とを備える。
【００１６】
本発明に係るプログラムは、コンピュータを上記画像補正装置として機能させるものである。
【発明の効果】
【００１７】
本発明によれば、入力画像に対し指定された情報に見合った補正量を求めることができる。また、補正量係数が入力画像のカテゴリ別に学習されることから、１つの補正量係数を得るための演算量が抑えられる。したがって、画像の補正精度の向上、及び、補正処理の効率化を図ることができる。
【発明を実施するための最良の形態】
【００１８】
図１に、本発明の第１の実施形態の構成を示す。本実施形態の画像補正装置101は、入力された訓練画像に対して画像処理による補正を行う画像補正部1と、オペレータが補正の強度（補正量）を指定するための補正量指定部2と、画像を表示するモニタ3と、オペレータが入力画像の分類属性を指定するための分類属性指定部4と、入力画像から特徴量を抽出する特徴抽出部5と、抽出した特徴量と指定された補正量及び分類属性とを蓄積する蓄積部6と、蓄積部6にある分類属性と特徴量とを用いて分類係数を算出する分類係数学習部7と、分類係数を用いて入力画像をカテゴリに自動分類する自動分類部8と、カテゴリに分類された入力画像の特徴量と補正量とを用いて、補正量係数を算出するカテゴリ別係数学習部9と、補正量係数を用いて入力画像に対する補正量を推定する補正量推定部11とを備える。
【００１９】
カテゴリ別係数学習部9は、分類上のN番目（N=1,2,…,n）のカテゴリの補正量係数を学習するカテゴリN係数学習部10を含む。
【００２０】
画像補正部1の一例として、γ補正や明度補正などの階調補正部や、彩度強調などの色補正部がある。補正量指定部2の一例として、端末から彩度強調量や、明度補正量、γ値などをキーボードで指定するという方法がある。蓄積部6の一例として、HDDや不揮発メモリ等がある。
【００２１】
分類属性指定部4の一例として、図２に示すような画面を用いてオペレータが指定するという方法がある。図示の分類属性指定画面31は、入力画像表示領域32と、注目領域指定33と、照明指定34と、被写体指定35とからなる。注目領域指定33では、その画像の、どの領域に重点をおいて補正処理を行うべきかが指定される。照明指定34では、その画像がどのような環境下で撮影されたかが指定される。被写体指定33では、その画像における被写体の種別が指定される。これらの分類属性（33,34,35）は、補正後の画像品質に及ぼす物理的および心理的な要因を反映したものである。
【００２２】
上記の分類属性に関し、まず、注目領域指定33について説明する。人間は、対象となる入力画像において、注目する領域だけを重点的に見るものと考えられる。例えば、中心に人物が写っており且つ背景が単調な風景という画像の場合、人物にのみに注目することが多い。この場合、背景の色が多少悪くても視覚的にはほとんど影響はなく、中央の人物領域の画質が、画像の総合的な品質を決定する要因となる。このような、人間の「注目する」という心理的活動についての情報を、分類属性の一つとして付与することにより、最適な画像補正量を算出することが可能となる。
【００２３】
図３に注目領域指定33の具体例を示す。第１の注目領域指定41は、画面全体を指定するものである。これは、その画面の全体を均等に補正するよう指示することを示す。第２の注目領域指定42は、画像の中心付近を指定するものである。これは、その画像の中心付近を重点的に補正するよう指示することを示す。第３の注目領域指定43は、画像に映されている人物の頭部付近を指定するものである。これは、人物領域を重点的に補正するよう指示することを示す。
【００２４】
次に、照明指定34および被写体指定35について説明する。画像の補正量は、注目領域（図３）に、何が、どのような環境で撮影されているのかに影響される。人間が観測する物体色は、照明の分光分布と、物体の反射率と、人間の視覚感度分布との積分によって算出される。人間の視覚感度が一定であるとすると、物体色は、照明光と物体の反射率とによって決まると考えられている。しかしながら、デジタルカメラによる撮影には、さらに、CCDの分光特性、ガンマ補正、AWB影響等が加わることから、人間の見た目と差分が生ずる。そこで、分類属性として、照明及び被写体の種類を指定することで、補正量の学習に一定の制約が与えられ、これにより最適値算出を容易にすることができる。
【００２５】
図４に、照明指定（34）の際に用いるメニュー51を示す。図示のメニュー51には、「環境光」と、物体に照射されている「物体入射光」と、逆光・順光といった光の相互作用である「状態」の３種類がある。また、それぞれの下位層には、具体的な選択肢がメニュー形式で表示されている。照明指定（34）の一例として、オペレータが、入力画像に該当する項目をメニュー51から選択し、それを指示入力するという方法がある。
【００２６】
図５に、被写体指定（35）の際に用いるメニュー61を示す。図示のメニュー61は、「人物」、「自然物」、「人工物」の３種類の項目がある。それぞれの下位層には、選択肢としての「顔」、「花」、「自動車」といった具体的な物体名がメニュー形式で表示されている。被写体指定（35）の一例として、オペレータが、入力画像に該当する項目をメニュー61から選択し、それを指示入力するという方法がある。
【００２７】
図１の特徴抽出部5の一例としては、画像のRGB値のヒストグラムを作成し、それぞれの最大値、最小値、平均値を抽出するという方法がある。また、図６に示すように、画像を複数の部分領域に分割してもよい。すなわち、画像の部分領域からヒストグラム81を作成し、各部分領域におけるRGBの最大値、最小値、平均値や、部分領域における彩度の最大値、最小値、平均値や、部分領域における輝度の最大値、最小値、平均値などを抽出して、それらを特徴量とする方法である。
【００２８】
分類係数学習部7は、ニューラルネットワークにより、画像補正の傾向が類似する入力画像を分類するための分類係数を学習する。なお、この分類係数を用いた実際の分類処理は、後段の自動分類部8により行われる。入力画像に対し、補正の傾向が類似すると思われるカテゴリとして、例えば、風景、人物、人工物、花、夜景などがある。分類係数学習部7は、分類係数の学習の前に、分類属性指定部4によって指定された項目を用いて、入力画像に教師カテゴリ番号を付与する。
【００２９】
教師カテゴリ番号とは、上記の分類係数を学習する際の教師データとなるカテゴリの番号である。教師カテゴリ番号は、分類属性指定の項目（図３〜図５）の一部あるいは全てを使って、あらかじめ決められた規則に従って付与される。
【００３０】
教師カテゴリ番号を付与する方法の一例として、照明指定メニュー51（図４）の「環境光」及び「状態」についての選択結果を利用するという方法がある。この場合は、「（晴天、曇天、日陰、夜景、蛍光灯、タングステン、その他）×（順光、逆光）」により、１４種類（7x2=14）のカテゴリが形成される。そして、入力画像に、「１」〜「１４」のうちのいずれかの番号が付与される。さらに、同じ照明指定メニュー51における「物体入射光」の配下の７種類を加えた場合は、９８種類（7x7x2=98）のカテゴリが形成されることになる。
【００３１】
上記の例は、カテゴリの形成に照明指定（34）を利用したものであったが、この他に、注目領域指定（33）や被写体指定（35）をそれぞれ単独で、あるいは、照明指定を含めた組み合わせで利用することもできる。なお、カテゴリ数を増やしすぎると、訓練データ、すなわち入力データと教師データとの組み合わせが大量に必要となる。よって、例えば、照明指定および被写体指定をそれぞれ４種類程度用いるのが実用的である。
【００３２】
図７に、カテゴリの構成例を示す。図示のカテゴリ番号リスト91は、カテゴリの形成に照明指定（34）と被写体指定（35）との組み合わせを用いたものである。例えば、照明として「屋外」が指定され、被写体として「夜景」が指定された入力画像に対しては、教師カテゴリ番号「３」が付与される。
【００３３】
図１の分類係数学習部7を実現する方法としては、例えば、単層パーセプトロン（Single-layer Perceptron）、多層パーセプトロン（Multi-layer Perceptron）、RBFネットワーク（Radical Basis Function Network）といったニューラルネットワークの係数を学習するという方法がある。
【００３４】
単層パーセプトロンについて説明する。単層パーセプトロンは、次の式（１）によって判別を行うニューラルネットワークである。
【００３５】
【数１】
式（１）において、「xi」（i=1,2,…,n）はｎ次元の特徴量を表し、「ai」（i=1,2, …,n）は係数を表し、「y」は推定量を表す。通常、ニューラルネットワークのモデルでは、係数「ai」の他にオフセット値「a0」が必要であるが、値が常に「１」である特徴量を「xi」に含めることにより、上記の式（１）を、オフセット値を含むものとして取り扱うことができる。また、関数U(x)は、出力関数と呼ばれ、例えば、しきい値ｔ以上の場合は「１」を出力し、ｔ未満の場合には「−１」を出力する関数である。
【００３６】
分類係数学習部7における学習処理において、式（１）の「y」には入力画像に対する教師カテゴリ番号を与える。そして、「xi」は入力画像のｎ次元の特徴量である。分類係数学習部7における学習とは、すなわち、複数の入力画像の「xi」（特徴量）及び「y」（教師カテゴリ番号）の組み合わせを基に、分類係数「ai」を求めることを指す。
【００３７】
ここで、関数U(x)を「U(x)=x」と考えた場合、式（1）は線形判別関数である。これを行列形式で表すと式（2）のようになる。
【００３８】
【数２】
式（2）において、行列「X」は、複数の入力画像から得られた特徴量「xi」の集合を表す。行列「Y」は、それら入力画像に対応する「y」の集合を表す。ベクトル「a」は、係数「ai」を表す。これを解くと、次の式（3）の行列演算によって係数「ai」を求めることができる。
【００３９】
【数３】
式（３）により求められた係数「a」を用いて式（３）の演算を行うことで、後述の画像分類処理や、補正量の推定を行うことができる。
【００４０】
多層パーセプトロンについて説明する。図８に、３層の多層パーセプトロンである３層ニューラルネットワーク71を示す。３層ニューラルネットワーク71は、特徴量「xi」を入力層、分類カテゴリを出力層とし、中間層として１層を持つニューラルネットワークである。３層ニューラルネットワークは、次の式（４）によって表すことができる。
【００４１】
【数４】
式（４）において、「xi」（i=1,2,…,n）はｎ次元の特徴量を表し、「ai」（i=1,2,…,n）及び「bj」（j=1,2,…,m）は係数を表し、「y」は推定量を表す。関数f(x)としては、次の式（5）のシグモイド（Sigmoid）関数を利用することができる。
【００４２】
【数５】
なお、３層ニューラルネットワーク71のような多層パーセプトロンは、一般に、バックプロパゲーション法（Backpropergation：誤差逆伝播法）という逐次計算によって係数学習を行うことができる。
【００４３】
RBFネットワークについて説明する。RBFネットワークは、次の式（６）で表すことができる。
【００４４】
【数６】
式（６）において、「xi」（i=1,2,…,n）はｎ次元の特徴量を表し、「ci」（i=1,2,…,m）は係数を表し、「zj」（j=1,2,…,m）は中間ユニットを表す。関数「φ」には、式（７）が利用される。
【００４５】
【数７】
RBFネットワークは、中間ユニット「zj」として、訓練サンプル近傍の値を採用することができる。従って、「zj」を訓練サンプルの分布に応じて予め決めておくことができ、極端な場合は全ての入力特徴量を「zj」として用いることもできるので、実際に推定するのは、係数「cj」（j=1,2,…,m）だけである。
【００４６】
また、式（６）において、関数U(x)を「U(x)=x」と考えた場合、係数「cj」は、式（８）により得ることができる。
【数８】
【００４７】
式（８）において、行列「S」は、中間ユニット出力「sj」の集合を表す。行列「Y」は、サンプルに対応する推定量「y」の集合を表す。ベクトル「c」は、係数「cj」（j=1,2,…,m）を表す。これを解くと、次の式（９）の行列演算によって係数「cj」を求めることができる。
【００４８】
【数９】
なお、分類係数学習部7における学習において、オペレータから指定される分類属性（図２）の情報を、入力画像の特徴量に対する重み付けに利用することができる。例えば、分類属性のうちの注目領域に対しては、照明や被写体といった他の属性の２倍の重みをつけて学習するというものである。
【００４９】
図１の自動分類部8は、分類係数学習部7で得られた分類係数を用いたニューラルネットワークの学習処理により、入力画像をカテゴリに分類する。この自動分類部8でのニューラルネットワークの例として、単層パーセプトロン、多層パーセプトロン、RBFネットワークなどがある。自動分類部8に適用するニューラルネットワークには、分類係数学習部7と同じ形式のものを用いる。これら３種類のニューラルネットワークによる自動分類の演算は、入力画像の特徴量を用いて、前述の式（１）または式（４）あるいは式（６）によって行うことができる。
【００５０】
なお、自動分類部8による入力画像の分類結果、すなわち入力画像に付与されるカテゴリ番号は、必ずしも、指定された分類属性に基づく教師カテゴリ番号（図７）と一致するとは限らない。なぜなら、分類学習に用いる分類係数が、式（１）のような数学モデル（ニューラルネットワーク）から得られる値だからである。
【００５１】
図１のカテゴリ別係数学習部9は、分類されたカテゴリ別に、カテゴリN係数学習部10により補正量を学習し、カテゴリ別に最適な補正量係数を算出する。カテゴリ別係数学習部9での学習方法の一例として、分類係数学習部7で用いたニューラルネットワークを用いることができる。カテゴリ別係数学習部9で実行される学習処理において、「xi」は入力画像のｎ次元の特徴量であり、「y」は入力画像に対してオペレータから指定された補正量である。
【００５２】
補正量推定部11は、カテゴリ別係数学習部9で得られる補正量係数を用いた学習処理により、入力画像に適用すべき最適な補正量を推定する。補正量推定部11の学習処理にも、分類係数学習部7でのニューラルネットワークを用いることができる。この補正量推定部11により得られた補正量を画像補正部1に与えることにより、補正結果の画像がモニタ3に表示される。オペレータは、モニタ3の画像を閲覧することにより、補正精度を確認することができる。
【００５３】
図９に示すフローチャートを参照して、上記構成による画像補正装置101の一連の動作を説明する。まず、補正対象の画像が入力されると（ステップS1）、その入力画像が画像補正部1および特徴抽出部5へ供給される。特徴抽出部5は、入力画像の特徴量を算出し、結果を画像ＩＤと共に蓄積部6へ格納する（ステップS2）。
【００５４】
一方、上記の入力画像を画像補正部1がモニタ3に出力すると、それを閲覧したオペレータが、所望の補正量を指定すると共に、図２のような画面上で分類属性を指定する。指定された情報は、補正量指定部2および分類属性指定部4により入力され、蓄積部6に格納される（ステップS3）。蓄積部6では、格納された特徴量や分類属性が、それぞれに対応する入力画像の識別情報（ＩＤ）と共に保存される。
【００５５】
分類係数学習部7は、蓄積部6から入力画像の特徴量と分類属性とを読み出し、読み出した分類属性に対応する教師カテゴリ番号を、リスト91（図７）のような規定の情報に基づき決定する。そして、決定した教師カテゴリ番号と、読み出した特徴量とをニューラルネットワークに与えることにより、分類係数を算出する（ステップS4）。
【００５６】
自動分類部8は、分類係数学習部7が算出した分類係数をニューラルネットワークに与えることにより、入力画像をカテゴリに分類する（ステップS5）。これにより、入力画像にカテゴリ番号が付与される。
【００５７】
カテゴリ別係数学習部9は、入力画像の特徴量と、オペレータから指定された補正量と、自動分類部8が算出したカテゴリ番号とを認識すると、そのカテゴリ番号（N）に対応するカテゴリN係数学習部10が、ニューラルネットワークにより補正量係数を算出する（ステップS6）。
【００５８】
補正量推定部11は、カテゴリN係数学習部10からの補正量係数をニューラルネットワークに与えることにより、入力画像に適用すべき最適な補正量を推定する（ステップS7）。
【００５９】
画像補正部1は、推定された補正量を用いて、対応する入力画像を補正し（ステップS8）、その画像をモニタ3へ供給する。これにより、モニタ3に、補正結果となる画像が表示され（ステップS9）、オペレータがその画像を確認する。
【００６０】
このように、本実施形態では、入力画像に関しオペレータから指定された情報がニューラルネットワークの学習処理に反映される。これにより、オペレータが指定した情報に見合った補正量を求めることができる。また、入力画像を、補正の傾向が類似するカテゴリに分類し、それらのカテゴリ別に補正量係数を学習するため、学習すべき分布形状が単純化される。よって、１つの補正量係数を得るための演算量が抑えられるので、画像の補正処理を効率化することができる。
【００６１】
次に、本発明の他の実施形態について図面を参照して詳細に説明する。図１０に、本実施形態における画像補正装置102の構成を示す。本実施形態において、前述の実施形態（図１）との構成上の差異は、補正量分布解析部12が付加された点である。補正量分布解析部12は、各カテゴリについて補正量推定部11から得られる補正量からその分布を解析し、解析の結果に基づいて、カテゴリの統合または分離の要否を判定する。
【００６２】
図１１に示すフローチャートを参照して、本実施形態の動作を説明する。ここでは、主に、前述の実施形態での動作（図９）との差異を述べる。
【００６３】
補正量分布解析部12は、補正量推定部11から得られた補正量について、カテゴリ別に平均値を求め、それらをカテゴリ間で比較する（ステップS11）。比較の結果、補正量の平均値が近似するカテゴリの組み合わせが検出された場合（ステップS12：Yes）、その組み合わせのカテゴリを統合すべきと判定する（ステップS13）。なお、統合されるカテゴリ数は、２つに限らず、３つ以上であってもよい。
【００６４】
また、補正量分布解析部12は、各カテゴリにおける補正量の分布幅を求め、それらを規定の分布幅と比較する（ステップS14）。比較の結果、規定幅を上回る分布幅を示すカテゴリが検出された場合（ステップS15：Yes）、そのカテゴリを複数に分割すべきと判断する（ステップS16）。分割数は、２分割といった固定値に限らず、算出された分布幅の大きさに応じて変動してもよい。後者の場合は、変動のための閾値を予め設定しておく。
【００６５】
一方、補正量の平均値が近似するカテゴリの組み合わせが検出されず（ステップS12：No）、規定幅を上回る分布幅のカテゴリも検出されない場合（ステップS15：No）、現時点ではカテゴリの統合または分割が不要であると判断する（ステップS17）。
【００６６】
カテゴリの統合または分割が発生する場合、補正量分布解析部12は、分類係数学習部7に対し、教師カテゴリ番号の統合または分割を指示する。また、入力画像に付与すべき新たな教師カテゴリ番号を算出し（ステップS18）、それを分類係数学習部7に指定する。
【００６７】
新たな教師カテゴリ番号の算出方法には、例えば、一般的に知られているK-means法などのクラスタ分析法を用いることができる。K-means法によれば、補正量の分布から自動的にＫ個のクラスタに分類することができる。このK-means法を用いる場合、補正量分布解析部12は、クラスタ分析で得られたクラスタ番号を新たな教師カテゴリ番号として分類係数学習部7に指示する。
【００６８】
分類係数学習部7は、補正量分布解析部12から上記指示を受けると、入力画像に新たな教師カテゴリ番号を付与する。そして、新たな教師カテゴリ番号を用いて、前述の実施形態と同様な学習処理（図９：S4）により、新たな分類係数を算出する（ステップS19）。
【００６９】
自動分類部8は、分類係数学習部7からの新たな分類係数を用いて、前述の実施形態と同様な学習処理（図９：S5）により、入力画像をカテゴリ分けする（ステップS20）。分類係数が変更されたことにより、入力画像の分類結果も変わる。そのため、カテゴリ別係数学習部9が、自動分類部8からの新たな分類結果（カテゴリ番号N）を用いて、前述の実施形態と同様な学習処理（図９：S6）により、補正量係数を算出する（ステップS21）。このようにして、補正量分布解析部12が、カテゴリの統合または分割が不要と判断するまで（ステップS17）、分類係数学習と補正量係数学習とを繰り返す。
【００７０】
本実施形態によれば、分類に用いるカテゴリを、推定補正量の学習結果を用いて修正することができるので、補正量の推定の精度を一層高めることができる。
【００７１】
本発明は、上記の各実施形態に限らず、それらの動作に対応したコンピュータプログラム、あるいは、そのプログラムを記憶した記録媒体として実施してもよい。
【図面の簡単な説明】
【００７２】
【図１】本発明の実施形態の構成を示すブロック図である。
【図２】本発明の実施形態に係る分類属性の指定に関する説明図である。
【図３】本発明の実施形態に係る注目領域指定に関する説明図である。
【図４】本発明の実施形態に係る照明指定に関する説明図である。
【図５】本発明の実施形態に係る被写体指定に関する説明図である。
【図６】本発明の実施形態に係る画像特徴量の抽出に関する説明図である。
【図７】本発明の実施形態に係る教師カテゴリの付与に関する説明図である。
【図８】本発明の実施形態に係る３層ニューラルネットワークに関する説明図である。
【図９】本発明の実施形態の動作に関するフローチャートである。
【図１０】本発明の他の実施形態の構成を示すブロック図である。
【図１１】本発明の他の実施形態の動作に関するフローチャートである。
【図１２】一般的な画像補正装置の構成例を示すブロック図である。
【符号の説明】
【００７３】
101,102 画像補正装置
1 画像補正部
2 補正量指定部
3 モニタ
4 分類属性指定部
5 特徴抽出部
6 蓄積部
7 分類係数学習部
8 自動分類部
9 カテゴリ別係数学習部
10 カテゴリＮ係数学習部
11 補正量推定部
12 補正量分布解析部
【技術分野】
【０００１】
本発明は、画像を補正する技術に関し、特に、その補正量の算出にニューラルネットワークの学習処理を利用する技術に関する。
【背景技術】
【０００２】
色補正や階調補正などの画像補正における補正量は、画像に応じて最適な値に設定する必要がある。この最適値は、画像内容に依存し、また、見る人の好みにも依存する。従って、理想的な画像補正のためには、その画像に対し、人間が手動で補正量を調整することが望ましい。しかしながら、手動で大量の画像補正を行うには、莫大な工数を必要とする。
【０００３】
手動での煩雑な画像補正に替えて、自動的に補正量を制御する方法として、例えば、後述の非特許文献１に記載されているような、ヒストグラム解析を利用した自動画像補正方式がある。
【０００４】
また、自動補正に関する他の方法として、近年、ニューラルネットワーク（Neural Network）による学習処理を用いて画像補正量を算出する方法が提案されている。ニューラルネットワークに対し画像の入力データと教師データとを与えることにより、画像に表われる複雑な現象をニューロンの係数として学習することが可能となる。ここで、入力データおよび教師データの組み合わせを訓練データと呼び、入力データと教師データとを用いてニューラルネットワークの係数を算出することを学習と呼ぶ。
【０００５】
ニューラルネットワークの係数を学習する方法として、画像の特徴量を入力データとし、画像補正量を教師データとして用いるという方法がある。例えば、後述の特許文献１には、画像信号を入力とし、オペレータが与えた補正値を教師値として学習した係数を画像補正に用いる技術が記載されている。この技術では、ハイライト値、ミドル値、シャドー値、トナー濃度、湿度などをニューラルネットワークへの入力とし、階調補正の係数がニューラルネットワークの出力として学習が行われる。
【０００６】
また、後述の特許文献２には、入力画像から画質特性値を算出し、ニューラルネットワークを用いて階調補正パラメータを学習する方法が記載されている。この文献には、さらに、オペレータ指示により追加学習を行い、追加学習後の新しいニューラルネットワークの誤差が古いネットワークの誤差よりも小さい時にはネットワークを置き換えることが記載されている。
【０００７】
このように、特許文献１及び２に記載の方法は、いずれも、画像から検出された特徴量をニューラルネットワークにより学習し、その学習結果を画像の補正に適用するというものである。
【０００８】
ここで、図１２に、画像補正量を算出する一般的な装置の構成を模式的に示す。装置100は、入力画像に対して補正を行う画像補正部101と、オペレータが補正量を指定するための補正量指定部102と、画像を表示するモニタ103と、入力画像から特徴量を抽出する特徴抽出部104と、特徴量および補正量を蓄積する蓄積部105と、特徴量と補正量との関係をニューラルネットワークの係数として学習する係数学習部106と、学習された係数を用いて入力画像に対する補正量を推定する補正量推定部107とからなる。
【０００９】
画像補正部101の一例として、γ補正のような階調補正がある。補正量指定部102の一例として、γ値をキーボードで指定する方法がある。特徴抽出部104の一例として、画像中のRGB値のヒストグラムを作成し、それぞれの最大値、最小値、平均値を抽出するという方法がある。蓄積部105の一例として、HDDや不揮発メモリ等がある。係数学習部106の一例としては、３層ニューラルネットワークにおける誤差伝播法による係数算出処理を実行する方法がある。
【特許文献１】特開平０９−１８７１６号公報
【特許文献２】特開２００６−３１４４０号公報
【非特許文献１】A. Inoue and J. Tajima、“Adaptive Quality Improvement Method for Color Images”、Proc. of SPIE, Vol. 2179、pp.429-439、1994
【発明の開示】
【発明が解決しようとする課題】
【００１０】
しかしながら、前述の特許文献１及び２に記載の方法のように、画像から得られた特徴量のみを補正量の学習に用いるという方法には、次のような問題点がある。
【００１１】
まず、特徴量のみによる学習では、画像の補正精度を向上させ難い。なぜなら、モニタに表示された画像に対する補正精度の判断には、人間の主観的な感覚が影響するからである。よって、入力画像から定量的に得られた特徴量のみを補正に用いても、人間の主観に依存する補正精度を高めることは困難である。
【００１２】
一方で、補正量係数の最適化には、ニューラルネットワークの学習回数を増やすことが有益である。よって、前述の技術の場合、係数学習部106（図１２）の学習回数を増やすことにより精度が上がると考えられる。しかしながら、学習の履歴が蓄積されるにつれて、演算が煩雑になることから、係数学習部106に多大な処理負荷が掛かり、また、処理時間が長引くという問題が生じる。
【００１３】
本発明は、上記課題に鑑みてなされたものであり、その目的は、画像の補正精度を判断する人間の趣向に沿った補正量を効率よく求める技術を提供することにある。
【課題を解決するための手段】
【００１４】
本発明に係る画像補正方法は、入力画像の特徴量を算出し、前記特徴量と前記入力画像に関し指定された分類属性とを用いたニューラルネットワークの学習処理により、前記入力画像を分類するための分類係数を算出し、前記分類係数を用いたニューラルネットワークの学習処理により前記入力画像をカテゴリに分類し、前記特徴量と前記入力画像に関し指定された補正量とを用いたニューラルネットワークの学習処理により、前記カテゴリに分類された前記入力画像の補正量係数を算出し、前記補正量係数を用いたニューラルネットワークの学習処理により、前記入力画像に適用すべき補正量を推定するという方法である。
【００１５】
本発明に係る画像補正装置は、入力画像の特徴量を算出する手段と、前記入力画像に関し分類属性および補正量を指定する手段と、前記特徴量と前記入力画像に関し指定された分類属性とを用いたニューラルネットワークの学習処理により、前記入力画像を分類するための分類係数を算出する手段と、前記分類係数を用いたニューラルネットワークの学習処理により前記入力画像をカテゴリに分類する手段と、前記特徴量と前記入力画像に関し指定された補正量とを用いたニューラルネットワークの学習処理により、前記カテゴリに分類された前記入力画像の補正量係数を算出する手段と、前記補正量係数を用いたニューラルネットワークの学習処理により、前記入力画像に適用すべき補正量を推定する手段とを備える。
【００１６】
本発明に係るプログラムは、コンピュータを上記画像補正装置として機能させるものである。
【発明の効果】
【００１７】
本発明によれば、入力画像に対し指定された情報に見合った補正量を求めることができる。また、補正量係数が入力画像のカテゴリ別に学習されることから、１つの補正量係数を得るための演算量が抑えられる。したがって、画像の補正精度の向上、及び、補正処理の効率化を図ることができる。
【発明を実施するための最良の形態】
【００１８】
図１に、本発明の第１の実施形態の構成を示す。本実施形態の画像補正装置101は、入力された訓練画像に対して画像処理による補正を行う画像補正部1と、オペレータが補正の強度（補正量）を指定するための補正量指定部2と、画像を表示するモニタ3と、オペレータが入力画像の分類属性を指定するための分類属性指定部4と、入力画像から特徴量を抽出する特徴抽出部5と、抽出した特徴量と指定された補正量及び分類属性とを蓄積する蓄積部6と、蓄積部6にある分類属性と特徴量とを用いて分類係数を算出する分類係数学習部7と、分類係数を用いて入力画像をカテゴリに自動分類する自動分類部8と、カテゴリに分類された入力画像の特徴量と補正量とを用いて、補正量係数を算出するカテゴリ別係数学習部9と、補正量係数を用いて入力画像に対する補正量を推定する補正量推定部11とを備える。
【００１９】
カテゴリ別係数学習部9は、分類上のN番目（N=1,2,…,n）のカテゴリの補正量係数を学習するカテゴリN係数学習部10を含む。
【００２０】
画像補正部1の一例として、γ補正や明度補正などの階調補正部や、彩度強調などの色補正部がある。補正量指定部2の一例として、端末から彩度強調量や、明度補正量、γ値などをキーボードで指定するという方法がある。蓄積部6の一例として、HDDや不揮発メモリ等がある。
【００２１】
分類属性指定部4の一例として、図２に示すような画面を用いてオペレータが指定するという方法がある。図示の分類属性指定画面31は、入力画像表示領域32と、注目領域指定33と、照明指定34と、被写体指定35とからなる。注目領域指定33では、その画像の、どの領域に重点をおいて補正処理を行うべきかが指定される。照明指定34では、その画像がどのような環境下で撮影されたかが指定される。被写体指定33では、その画像における被写体の種別が指定される。これらの分類属性（33,34,35）は、補正後の画像品質に及ぼす物理的および心理的な要因を反映したものである。
【００２２】
上記の分類属性に関し、まず、注目領域指定33について説明する。人間は、対象となる入力画像において、注目する領域だけを重点的に見るものと考えられる。例えば、中心に人物が写っており且つ背景が単調な風景という画像の場合、人物にのみに注目することが多い。この場合、背景の色が多少悪くても視覚的にはほとんど影響はなく、中央の人物領域の画質が、画像の総合的な品質を決定する要因となる。このような、人間の「注目する」という心理的活動についての情報を、分類属性の一つとして付与することにより、最適な画像補正量を算出することが可能となる。
【００２３】
図３に注目領域指定33の具体例を示す。第１の注目領域指定41は、画面全体を指定するものである。これは、その画面の全体を均等に補正するよう指示することを示す。第２の注目領域指定42は、画像の中心付近を指定するものである。これは、その画像の中心付近を重点的に補正するよう指示することを示す。第３の注目領域指定43は、画像に映されている人物の頭部付近を指定するものである。これは、人物領域を重点的に補正するよう指示することを示す。
【００２４】
次に、照明指定34および被写体指定35について説明する。画像の補正量は、注目領域（図３）に、何が、どのような環境で撮影されているのかに影響される。人間が観測する物体色は、照明の分光分布と、物体の反射率と、人間の視覚感度分布との積分によって算出される。人間の視覚感度が一定であるとすると、物体色は、照明光と物体の反射率とによって決まると考えられている。しかしながら、デジタルカメラによる撮影には、さらに、CCDの分光特性、ガンマ補正、AWB影響等が加わることから、人間の見た目と差分が生ずる。そこで、分類属性として、照明及び被写体の種類を指定することで、補正量の学習に一定の制約が与えられ、これにより最適値算出を容易にすることができる。
【００２５】
図４に、照明指定（34）の際に用いるメニュー51を示す。図示のメニュー51には、「環境光」と、物体に照射されている「物体入射光」と、逆光・順光といった光の相互作用である「状態」の３種類がある。また、それぞれの下位層には、具体的な選択肢がメニュー形式で表示されている。照明指定（34）の一例として、オペレータが、入力画像に該当する項目をメニュー51から選択し、それを指示入力するという方法がある。
【００２６】
図５に、被写体指定（35）の際に用いるメニュー61を示す。図示のメニュー61は、「人物」、「自然物」、「人工物」の３種類の項目がある。それぞれの下位層には、選択肢としての「顔」、「花」、「自動車」といった具体的な物体名がメニュー形式で表示されている。被写体指定（35）の一例として、オペレータが、入力画像に該当する項目をメニュー61から選択し、それを指示入力するという方法がある。
【００２７】
図１の特徴抽出部5の一例としては、画像のRGB値のヒストグラムを作成し、それぞれの最大値、最小値、平均値を抽出するという方法がある。また、図６に示すように、画像を複数の部分領域に分割してもよい。すなわち、画像の部分領域からヒストグラム81を作成し、各部分領域におけるRGBの最大値、最小値、平均値や、部分領域における彩度の最大値、最小値、平均値や、部分領域における輝度の最大値、最小値、平均値などを抽出して、それらを特徴量とする方法である。
【００２８】
分類係数学習部7は、ニューラルネットワークにより、画像補正の傾向が類似する入力画像を分類するための分類係数を学習する。なお、この分類係数を用いた実際の分類処理は、後段の自動分類部8により行われる。入力画像に対し、補正の傾向が類似すると思われるカテゴリとして、例えば、風景、人物、人工物、花、夜景などがある。分類係数学習部7は、分類係数の学習の前に、分類属性指定部4によって指定された項目を用いて、入力画像に教師カテゴリ番号を付与する。
【００２９】
教師カテゴリ番号とは、上記の分類係数を学習する際の教師データとなるカテゴリの番号である。教師カテゴリ番号は、分類属性指定の項目（図３〜図５）の一部あるいは全てを使って、あらかじめ決められた規則に従って付与される。
【００３０】
教師カテゴリ番号を付与する方法の一例として、照明指定メニュー51（図４）の「環境光」及び「状態」についての選択結果を利用するという方法がある。この場合は、「（晴天、曇天、日陰、夜景、蛍光灯、タングステン、その他）×（順光、逆光）」により、１４種類（7x2=14）のカテゴリが形成される。そして、入力画像に、「１」〜「１４」のうちのいずれかの番号が付与される。さらに、同じ照明指定メニュー51における「物体入射光」の配下の７種類を加えた場合は、９８種類（7x7x2=98）のカテゴリが形成されることになる。
【００３１】
上記の例は、カテゴリの形成に照明指定（34）を利用したものであったが、この他に、注目領域指定（33）や被写体指定（35）をそれぞれ単独で、あるいは、照明指定を含めた組み合わせで利用することもできる。なお、カテゴリ数を増やしすぎると、訓練データ、すなわち入力データと教師データとの組み合わせが大量に必要となる。よって、例えば、照明指定および被写体指定をそれぞれ４種類程度用いるのが実用的である。
【００３２】
図７に、カテゴリの構成例を示す。図示のカテゴリ番号リスト91は、カテゴリの形成に照明指定（34）と被写体指定（35）との組み合わせを用いたものである。例えば、照明として「屋外」が指定され、被写体として「夜景」が指定された入力画像に対しては、教師カテゴリ番号「３」が付与される。
【００３３】
図１の分類係数学習部7を実現する方法としては、例えば、単層パーセプトロン（Single-layer Perceptron）、多層パーセプトロン（Multi-layer Perceptron）、RBFネットワーク（Radical Basis Function Network）といったニューラルネットワークの係数を学習するという方法がある。
【００３４】
単層パーセプトロンについて説明する。単層パーセプトロンは、次の式（１）によって判別を行うニューラルネットワークである。
【００３５】
【数１】
式（１）において、「xi」（i=1,2,…,n）はｎ次元の特徴量を表し、「ai」（i=1,2, …,n）は係数を表し、「y」は推定量を表す。通常、ニューラルネットワークのモデルでは、係数「ai」の他にオフセット値「a0」が必要であるが、値が常に「１」である特徴量を「xi」に含めることにより、上記の式（１）を、オフセット値を含むものとして取り扱うことができる。また、関数U(x)は、出力関数と呼ばれ、例えば、しきい値ｔ以上の場合は「１」を出力し、ｔ未満の場合には「−１」を出力する関数である。
【００３６】
分類係数学習部7における学習処理において、式（１）の「y」には入力画像に対する教師カテゴリ番号を与える。そして、「xi」は入力画像のｎ次元の特徴量である。分類係数学習部7における学習とは、すなわち、複数の入力画像の「xi」（特徴量）及び「y」（教師カテゴリ番号）の組み合わせを基に、分類係数「ai」を求めることを指す。
【００３７】
ここで、関数U(x)を「U(x)=x」と考えた場合、式（1）は線形判別関数である。これを行列形式で表すと式（2）のようになる。
【００３８】
【数２】
式（2）において、行列「X」は、複数の入力画像から得られた特徴量「xi」の集合を表す。行列「Y」は、それら入力画像に対応する「y」の集合を表す。ベクトル「a」は、係数「ai」を表す。これを解くと、次の式（3）の行列演算によって係数「ai」を求めることができる。
【００３９】
【数３】
式（３）により求められた係数「a」を用いて式（３）の演算を行うことで、後述の画像分類処理や、補正量の推定を行うことができる。
【００４０】
多層パーセプトロンについて説明する。図８に、３層の多層パーセプトロンである３層ニューラルネットワーク71を示す。３層ニューラルネットワーク71は、特徴量「xi」を入力層、分類カテゴリを出力層とし、中間層として１層を持つニューラルネットワークである。３層ニューラルネットワークは、次の式（４）によって表すことができる。
【００４１】
【数４】
式（４）において、「xi」（i=1,2,…,n）はｎ次元の特徴量を表し、「ai」（i=1,2,…,n）及び「bj」（j=1,2,…,m）は係数を表し、「y」は推定量を表す。関数f(x)としては、次の式（5）のシグモイド（Sigmoid）関数を利用することができる。
【００４２】
【数５】
なお、３層ニューラルネットワーク71のような多層パーセプトロンは、一般に、バックプロパゲーション法（Backpropergation：誤差逆伝播法）という逐次計算によって係数学習を行うことができる。
【００４３】
RBFネットワークについて説明する。RBFネットワークは、次の式（６）で表すことができる。
【００４４】
【数６】
式（６）において、「xi」（i=1,2,…,n）はｎ次元の特徴量を表し、「ci」（i=1,2,…,m）は係数を表し、「zj」（j=1,2,…,m）は中間ユニットを表す。関数「φ」には、式（７）が利用される。
【００４５】
【数７】
RBFネットワークは、中間ユニット「zj」として、訓練サンプル近傍の値を採用することができる。従って、「zj」を訓練サンプルの分布に応じて予め決めておくことができ、極端な場合は全ての入力特徴量を「zj」として用いることもできるので、実際に推定するのは、係数「cj」（j=1,2,…,m）だけである。
【００４６】
また、式（６）において、関数U(x)を「U(x)=x」と考えた場合、係数「cj」は、式（８）により得ることができる。
【数８】
【００４７】
式（８）において、行列「S」は、中間ユニット出力「sj」の集合を表す。行列「Y」は、サンプルに対応する推定量「y」の集合を表す。ベクトル「c」は、係数「cj」（j=1,2,…,m）を表す。これを解くと、次の式（９）の行列演算によって係数「cj」を求めることができる。
【００４８】
【数９】
なお、分類係数学習部7における学習において、オペレータから指定される分類属性（図２）の情報を、入力画像の特徴量に対する重み付けに利用することができる。例えば、分類属性のうちの注目領域に対しては、照明や被写体といった他の属性の２倍の重みをつけて学習するというものである。
【００４９】
図１の自動分類部8は、分類係数学習部7で得られた分類係数を用いたニューラルネットワークの学習処理により、入力画像をカテゴリに分類する。この自動分類部8でのニューラルネットワークの例として、単層パーセプトロン、多層パーセプトロン、RBFネットワークなどがある。自動分類部8に適用するニューラルネットワークには、分類係数学習部7と同じ形式のものを用いる。これら３種類のニューラルネットワークによる自動分類の演算は、入力画像の特徴量を用いて、前述の式（１）または式（４）あるいは式（６）によって行うことができる。
【００５０】
なお、自動分類部8による入力画像の分類結果、すなわち入力画像に付与されるカテゴリ番号は、必ずしも、指定された分類属性に基づく教師カテゴリ番号（図７）と一致するとは限らない。なぜなら、分類学習に用いる分類係数が、式（１）のような数学モデル（ニューラルネットワーク）から得られる値だからである。
【００５１】
図１のカテゴリ別係数学習部9は、分類されたカテゴリ別に、カテゴリN係数学習部10により補正量を学習し、カテゴリ別に最適な補正量係数を算出する。カテゴリ別係数学習部9での学習方法の一例として、分類係数学習部7で用いたニューラルネットワークを用いることができる。カテゴリ別係数学習部9で実行される学習処理において、「xi」は入力画像のｎ次元の特徴量であり、「y」は入力画像に対してオペレータから指定された補正量である。
【００５２】
補正量推定部11は、カテゴリ別係数学習部9で得られる補正量係数を用いた学習処理により、入力画像に適用すべき最適な補正量を推定する。補正量推定部11の学習処理にも、分類係数学習部7でのニューラルネットワークを用いることができる。この補正量推定部11により得られた補正量を画像補正部1に与えることにより、補正結果の画像がモニタ3に表示される。オペレータは、モニタ3の画像を閲覧することにより、補正精度を確認することができる。
【００５３】
図９に示すフローチャートを参照して、上記構成による画像補正装置101の一連の動作を説明する。まず、補正対象の画像が入力されると（ステップS1）、その入力画像が画像補正部1および特徴抽出部5へ供給される。特徴抽出部5は、入力画像の特徴量を算出し、結果を画像ＩＤと共に蓄積部6へ格納する（ステップS2）。
【００５４】
一方、上記の入力画像を画像補正部1がモニタ3に出力すると、それを閲覧したオペレータが、所望の補正量を指定すると共に、図２のような画面上で分類属性を指定する。指定された情報は、補正量指定部2および分類属性指定部4により入力され、蓄積部6に格納される（ステップS3）。蓄積部6では、格納された特徴量や分類属性が、それぞれに対応する入力画像の識別情報（ＩＤ）と共に保存される。
【００５５】
分類係数学習部7は、蓄積部6から入力画像の特徴量と分類属性とを読み出し、読み出した分類属性に対応する教師カテゴリ番号を、リスト91（図７）のような規定の情報に基づき決定する。そして、決定した教師カテゴリ番号と、読み出した特徴量とをニューラルネットワークに与えることにより、分類係数を算出する（ステップS4）。
【００５６】
自動分類部8は、分類係数学習部7が算出した分類係数をニューラルネットワークに与えることにより、入力画像をカテゴリに分類する（ステップS5）。これにより、入力画像にカテゴリ番号が付与される。
【００５７】
カテゴリ別係数学習部9は、入力画像の特徴量と、オペレータから指定された補正量と、自動分類部8が算出したカテゴリ番号とを認識すると、そのカテゴリ番号（N）に対応するカテゴリN係数学習部10が、ニューラルネットワークにより補正量係数を算出する（ステップS6）。
【００５８】
補正量推定部11は、カテゴリN係数学習部10からの補正量係数をニューラルネットワークに与えることにより、入力画像に適用すべき最適な補正量を推定する（ステップS7）。
【００５９】
画像補正部1は、推定された補正量を用いて、対応する入力画像を補正し（ステップS8）、その画像をモニタ3へ供給する。これにより、モニタ3に、補正結果となる画像が表示され（ステップS9）、オペレータがその画像を確認する。
【００６０】
このように、本実施形態では、入力画像に関しオペレータから指定された情報がニューラルネットワークの学習処理に反映される。これにより、オペレータが指定した情報に見合った補正量を求めることができる。また、入力画像を、補正の傾向が類似するカテゴリに分類し、それらのカテゴリ別に補正量係数を学習するため、学習すべき分布形状が単純化される。よって、１つの補正量係数を得るための演算量が抑えられるので、画像の補正処理を効率化することができる。
【００６１】
次に、本発明の他の実施形態について図面を参照して詳細に説明する。図１０に、本実施形態における画像補正装置102の構成を示す。本実施形態において、前述の実施形態（図１）との構成上の差異は、補正量分布解析部12が付加された点である。補正量分布解析部12は、各カテゴリについて補正量推定部11から得られる補正量からその分布を解析し、解析の結果に基づいて、カテゴリの統合または分離の要否を判定する。
【００６２】
図１１に示すフローチャートを参照して、本実施形態の動作を説明する。ここでは、主に、前述の実施形態での動作（図９）との差異を述べる。
【００６３】
補正量分布解析部12は、補正量推定部11から得られた補正量について、カテゴリ別に平均値を求め、それらをカテゴリ間で比較する（ステップS11）。比較の結果、補正量の平均値が近似するカテゴリの組み合わせが検出された場合（ステップS12：Yes）、その組み合わせのカテゴリを統合すべきと判定する（ステップS13）。なお、統合されるカテゴリ数は、２つに限らず、３つ以上であってもよい。
【００６４】
また、補正量分布解析部12は、各カテゴリにおける補正量の分布幅を求め、それらを規定の分布幅と比較する（ステップS14）。比較の結果、規定幅を上回る分布幅を示すカテゴリが検出された場合（ステップS15：Yes）、そのカテゴリを複数に分割すべきと判断する（ステップS16）。分割数は、２分割といった固定値に限らず、算出された分布幅の大きさに応じて変動してもよい。後者の場合は、変動のための閾値を予め設定しておく。
【００６５】
一方、補正量の平均値が近似するカテゴリの組み合わせが検出されず（ステップS12：No）、規定幅を上回る分布幅のカテゴリも検出されない場合（ステップS15：No）、現時点ではカテゴリの統合または分割が不要であると判断する（ステップS17）。
【００６６】
カテゴリの統合または分割が発生する場合、補正量分布解析部12は、分類係数学習部7に対し、教師カテゴリ番号の統合または分割を指示する。また、入力画像に付与すべき新たな教師カテゴリ番号を算出し（ステップS18）、それを分類係数学習部7に指定する。
【００６７】
新たな教師カテゴリ番号の算出方法には、例えば、一般的に知られているK-means法などのクラスタ分析法を用いることができる。K-means法によれば、補正量の分布から自動的にＫ個のクラスタに分類することができる。このK-means法を用いる場合、補正量分布解析部12は、クラスタ分析で得られたクラスタ番号を新たな教師カテゴリ番号として分類係数学習部7に指示する。
【００６８】
分類係数学習部7は、補正量分布解析部12から上記指示を受けると、入力画像に新たな教師カテゴリ番号を付与する。そして、新たな教師カテゴリ番号を用いて、前述の実施形態と同様な学習処理（図９：S4）により、新たな分類係数を算出する（ステップS19）。
【００６９】
自動分類部8は、分類係数学習部7からの新たな分類係数を用いて、前述の実施形態と同様な学習処理（図９：S5）により、入力画像をカテゴリ分けする（ステップS20）。分類係数が変更されたことにより、入力画像の分類結果も変わる。そのため、カテゴリ別係数学習部9が、自動分類部8からの新たな分類結果（カテゴリ番号N）を用いて、前述の実施形態と同様な学習処理（図９：S6）により、補正量係数を算出する（ステップS21）。このようにして、補正量分布解析部12が、カテゴリの統合または分割が不要と判断するまで（ステップS17）、分類係数学習と補正量係数学習とを繰り返す。
【００７０】
本実施形態によれば、分類に用いるカテゴリを、推定補正量の学習結果を用いて修正することができるので、補正量の推定の精度を一層高めることができる。
【００７１】
本発明は、上記の各実施形態に限らず、それらの動作に対応したコンピュータプログラム、あるいは、そのプログラムを記憶した記録媒体として実施してもよい。
【図面の簡単な説明】
【００７２】
【図１】本発明の実施形態の構成を示すブロック図である。
【図２】本発明の実施形態に係る分類属性の指定に関する説明図である。
【図３】本発明の実施形態に係る注目領域指定に関する説明図である。
【図４】本発明の実施形態に係る照明指定に関する説明図である。
【図５】本発明の実施形態に係る被写体指定に関する説明図である。
【図６】本発明の実施形態に係る画像特徴量の抽出に関する説明図である。
【図７】本発明の実施形態に係る教師カテゴリの付与に関する説明図である。
【図８】本発明の実施形態に係る３層ニューラルネットワークに関する説明図である。
【図９】本発明の実施形態の動作に関するフローチャートである。
【図１０】本発明の他の実施形態の構成を示すブロック図である。
【図１１】本発明の他の実施形態の動作に関するフローチャートである。
【図１２】一般的な画像補正装置の構成例を示すブロック図である。
【符号の説明】
【００７３】
101,102 画像補正装置
1 画像補正部
2 補正量指定部
3 モニタ
4 分類属性指定部
5 特徴抽出部
6 蓄積部
7 分類係数学習部
8 自動分類部
9 カテゴリ別係数学習部
10 カテゴリＮ係数学習部
11 補正量推定部
12 補正量分布解析部
【特許請求の範囲】
【請求項１】
入力画像の特徴量を算出し、
前記特徴量と前記入力画像に関し指定された分類属性とを用いたニューラルネットワークの学習処理により、前記入力画像を分類するための分類係数を算出し、
前記分類係数を用いたニューラルネットワークの学習処理により前記入力画像をカテゴリに分類し、
前記特徴量と前記入力画像に関し指定された補正量とを用いたニューラルネットワークの学習処理により、前記カテゴリに分類された前記入力画像の補正量係数を算出し、
前記補正量係数を用いたニューラルネットワークの学習処理により、前記入力画像に適用すべき補正量を推定することを特徴とする画像補正方法。
【請求項２】
さらに、推定した補正量に関するカテゴリ内の平均値を複数のカテゴリ間で比較し、平均値が近似する複数のカテゴリを統合することを特徴とする請求項１記載の画像補正方法。
【請求項３】
さらに、推定した補正量に関するカテゴリ内の分布幅を算出し、前記分布幅が規定幅を超えるカテゴリを複数のカテゴリに分割することを特徴とする請求項１又は２記載の画像補正方法。
【請求項４】
前記分類属性が、前記入力画像に対する注目領域、照明種別および被写体種別のうちの一部または全てについて指定された情報であることを特徴とする請求項１乃至３のいずれか１項に記載の画像補正方法。
【請求項５】
前記各ニューラルネットワークが、単層パーセプトロン、多層パーセプトロンおよびＲＢＦパーセプトロンのいずれかであることを特徴とする請求項１乃至４のいずれか１項に記載の画像補正方法。
【請求項６】
入力画像の特徴量を算出する手段と、
前記入力画像に関し分類属性および補正量を指定する手段と、
前記特徴量と前記入力画像に関し指定された分類属性とを用いたニューラルネットワークの学習処理により、前記入力画像を分類するための分類係数を算出する手段と、
前記分類係数を用いたニューラルネットワークの学習処理により前記入力画像をカテゴリに分類する手段と、
前記特徴量と前記入力画像に関し指定された補正量とを用いたニューラルネットワークの学習処理により、前記カテゴリに分類された前記入力画像の補正量係数を算出する手段と、
前記補正量係数を用いたニューラルネットワークの学習処理により、前記入力画像に適用すべき補正量を推定する手段とを備えることを特徴とする画像補正装置。
【請求項７】
さらに、推定した補正量に関するカテゴリ内の平均値を複数のカテゴリ間で比較し、平均値が近似する複数のカテゴリを統合する手段を備えることを特徴とする請求項６記載の画像補正装置。
【請求項８】
さらに、推定した補正量に関するカテゴリ内の分布幅を算出し、前記分布幅が規定幅を超えるカテゴリを複数のカテゴリに分割する手段を備えることを特徴とする請求項６又は７記載の画像補正装置。
【請求項９】
前記分類属性が、前記入力画像に対する注目領域、照明種別および被写体種別のうちの一部または全てについて指定された情報であることを特徴とする請求項６乃至８のいずれか１項に記載の画像補正装置。
【請求項１０】
前記各ニューラルネットワークが、単層パーセプトロン、多層パーセプトロンおよびＲＢＦパーセプトロンのいずれかであることを特徴とする請求項６乃至９のいずれか１項に記載の画像補正装置。
【請求項１１】
コンピュータを請求項６乃至１０のいずれか１項に記載の画像補正装置として機能させることを特徴とするプログラム。
【請求項１】
入力画像の特徴量を算出し、
前記特徴量と前記入力画像に関し指定された分類属性とを用いたニューラルネットワークの学習処理により、前記入力画像を分類するための分類係数を算出し、
前記分類係数を用いたニューラルネットワークの学習処理により前記入力画像をカテゴリに分類し、
前記特徴量と前記入力画像に関し指定された補正量とを用いたニューラルネットワークの学習処理により、前記カテゴリに分類された前記入力画像の補正量係数を算出し、
前記補正量係数を用いたニューラルネットワークの学習処理により、前記入力画像に適用すべき補正量を推定することを特徴とする画像補正方法。
【請求項２】
さらに、推定した補正量に関するカテゴリ内の平均値を複数のカテゴリ間で比較し、平均値が近似する複数のカテゴリを統合することを特徴とする請求項１記載の画像補正方法。
【請求項３】
さらに、推定した補正量に関するカテゴリ内の分布幅を算出し、前記分布幅が規定幅を超えるカテゴリを複数のカテゴリに分割することを特徴とする請求項１又は２記載の画像補正方法。
【請求項４】
前記分類属性が、前記入力画像に対する注目領域、照明種別および被写体種別のうちの一部または全てについて指定された情報であることを特徴とする請求項１乃至３のいずれか１項に記載の画像補正方法。
【請求項５】
前記各ニューラルネットワークが、単層パーセプトロン、多層パーセプトロンおよびＲＢＦパーセプトロンのいずれかであることを特徴とする請求項１乃至４のいずれか１項に記載の画像補正方法。
【請求項６】
入力画像の特徴量を算出する手段と、
前記入力画像に関し分類属性および補正量を指定する手段と、
前記特徴量と前記入力画像に関し指定された分類属性とを用いたニューラルネットワークの学習処理により、前記入力画像を分類するための分類係数を算出する手段と、
前記分類係数を用いたニューラルネットワークの学習処理により前記入力画像をカテゴリに分類する手段と、
前記特徴量と前記入力画像に関し指定された補正量とを用いたニューラルネットワークの学習処理により、前記カテゴリに分類された前記入力画像の補正量係数を算出する手段と、
前記補正量係数を用いたニューラルネットワークの学習処理により、前記入力画像に適用すべき補正量を推定する手段とを備えることを特徴とする画像補正装置。
【請求項７】
さらに、推定した補正量に関するカテゴリ内の平均値を複数のカテゴリ間で比較し、平均値が近似する複数のカテゴリを統合する手段を備えることを特徴とする請求項６記載の画像補正装置。
【請求項８】
さらに、推定した補正量に関するカテゴリ内の分布幅を算出し、前記分布幅が規定幅を超えるカテゴリを複数のカテゴリに分割する手段を備えることを特徴とする請求項６又は７記載の画像補正装置。
【請求項９】
前記分類属性が、前記入力画像に対する注目領域、照明種別および被写体種別のうちの一部または全てについて指定された情報であることを特徴とする請求項６乃至８のいずれか１項に記載の画像補正装置。
【請求項１０】
前記各ニューラルネットワークが、単層パーセプトロン、多層パーセプトロンおよびＲＢＦパーセプトロンのいずれかであることを特徴とする請求項６乃至９のいずれか１項に記載の画像補正装置。
【請求項１１】
コンピュータを請求項６乃至１０のいずれか１項に記載の画像補正装置として機能させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２００９−１５１３５０（Ｐ２００９−１５１３５０Ａ）
【公開日】平成２１年７月９日（２００９．７．９）
【国際特許分類】
【出願番号】特願２００７−３２６０８１（Ｐ２００７−３２６０８１）
【出願日】平成１９年１２月１８日（２００７．１２．１８）
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
【Ｆターム（参考）】
【公開日】平成２１年７月９日（２００９．７．９）
【国際特許分類】
【出願日】平成１９年１２月１８日（２００７．１２．１８）
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
【Ｆターム（参考）】
[ Back to top ]