画像処理装置、画像処理方法、プログラムおよび記録媒体
【課題】画像全体で見て適切な明るさへ階調補正できるように、明るさに応じた少なくとも３つの領域を狙い通りに精度良く判定する。
【解決手段】閾値決定部１２は、入力画像のヒストグラムを分析して、入力画像が暗画像でない場合、ヒストグラムの谷位置に該当する第１の閾値と、第１の閾値よりも暗い部分のヒストグラムを分析して、ヒストグラムの谷位置に該当する第２の閾値を決定し、領域判定部４０は、第１、第２の閾値に基づき入力画像を明るさに応じたハイライト領域、暗部領域、暗部領域以外の被写体領域に分割する領域判定を行い、階調補正テーブル作成部１９は第１、第２の閾値を折点とする折れ線形状の階調補正テーブルを作成する。
【解決手段】閾値決定部１２は、入力画像のヒストグラムを分析して、入力画像が暗画像でない場合、ヒストグラムの谷位置に該当する第１の閾値と、第１の閾値よりも暗い部分のヒストグラムを分析して、ヒストグラムの谷位置に該当する第２の閾値を決定し、領域判定部４０は、第１、第２の閾値に基づき入力画像を明るさに応じたハイライト領域、暗部領域、暗部領域以外の被写体領域に分割する領域判定を行い、階調補正テーブル作成部１９は第１、第２の閾値を折点とする折れ線形状の階調補正テーブルを作成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルカメラやフィルムスキャナ等で撮影された画像に対して階調補正を施す画像処理装置、画像処理方法、プログラムおよび記録媒体に関し、ＭＦＰ、プリンタ、デジタルカメラの付属ソフトなどに好適な技術に関する。
【背景技術】
【０００２】
デジタルカメラにより逆光状態で撮影された画像や夜間撮影された画像は、露出不足のため被写体が暗く写され、また物陰に該当する部分を含んでいる場合には、画像の一部分が暗く写されてしまう。そのような画像に対しては、自動で明るさを補正する技術が種々研究され、既に実用化されている。
【０００３】
例えば、特許文献１は、輝度ヒストグラムの高輝度側と低輝度側で２つのピークがある逆光画像を想定し、輝度ヒストグラムの谷位置に該当する境界値を求め、境界値より低輝度側の重心が目標補正値になるように明るく補正する技術であり、また低輝度側の重心を目標補正値に補正すると同時に、境界値より高輝度側の重心位置により階調補正量を制限するようにした技術も開示されている。階調補正は、低輝度側や高輝度側の重心が各々の目標補正値（高輝度側は階調補正量を制限するための目標補正値）になるように作成した補正テーブルに従って行い、補正テーブルは、低輝度側や高輝度側の重心を折点とする折れ線形状で作成される。
【０００４】
特許文献２は、主要被写体領域を抽出し、主要被写体領域の中央値の関数として階調補正量を算出し、一方で主要被写体が属さない明度域（主要被写体よりも明るい明度域）を制御領域として階調補正量を制御することにより、過補正を防止する技術であり、主要被写体領域の輝度ヒストグラムの中央値Ａと最大値Ｃを折点とする折れ線形状の輝度補正カーブを作成し、ＡとＣの間の傾きを１にすることで主要被写体領域の階調性を損なわないようにしている。
【０００５】
ところで、特許文献１の技術では、重心に該当する輝度は最適な補正目標値に補正されるが、画像全体で見て最適な補正が行えるとは限らない。例えば、画像暗部に存在し、目視での識別が困難な複数の被写体オブジェクトが、補正によって十分に識別できるようになる保証はない。また、高輝度側の重心を使って補正量を制限できるが、これも重心の輝度値だけで制限するので、画像全体で見て制限が不十分になる可能性や、必要以上に補正量を制限してしまう可能性がある。特許文献２の技術も同様に、輝度ヒストグラムの中央値の関数として階調補正量を算出しているので、中央値に該当する輝度では最適であっても画像全体で見て最適な補正が行えるとは限らない。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明者は先に、画像の暗部領域を抽出して暗部領域を色差に応じてクラスタリングし、クラスタ数が１の場合は明るさ補正を行わず、クラスタ数が１より大きい場合はクラスタ間色差等に基づいて補正量を決定して明るさ補正することにより、暗部領域に物体が潜んでいる画像に限り、暗部領域の視認性が向上するように階調補正する技術（特願２００８−１８０３３７号）や、画像中の被写体領域を判定して被写体領域における代表色を抽出し、代表色における補正量上限を設定して代表色における階調補正前後の色差が補正量上限を超えない範囲内で補正量を決定して階調補正する技術（特願２００８−２２７０８６号）を提案した。
【０００７】
またハイライト領域の飽和度に基づき補正量を制限する技術も提案し、実施例では、両発明を組み合わせて輝度ヒストグラムから暗部領域、被写体領域、ハイライト領域を抽出し、各領域の閾値を折点とした折れ線形状の階調補正テーブル（補正トーンカーブ）を生成して階調補正を行う例を示した。この実施例では、特許文献１、２のように１〜２点の輝度値に対する補正目標値に基づいて階調補正テーブルを作成する手法とは相違し、暗部領域の視認性向上とノイズ防止、およびハイライト領域における階調つぶれ抑制、および、被写体領域に対して画像の印象を変えすぎないように考慮した補正量設定を行い、画像全体でバランスの取れた最適な明るさに階調を補正することができるが、画像全体でバランスの取れた最適な明るさに階調補正するためには、明るさに応じた少なくとも３つの領域を判定することが必要となる。
【０００８】
本発明は上記した課題に鑑みてなされたもので、
本発明の第一の目的は、画像全体で見て適切な明るさへ階調補正できるように、明るさに応じた少なくとも３つの領域を狙い通りに精度良く判定し、更には、輝度ヒストグラムが極端に偏っている全体的に暗い画像に対しても、画像全体で見て適切な明るさへ階調補正できるように、明るさに応じた少なくとも３つの領域を狙い通り精度良く判定する画像処理装置、画像処理方法、プログラムおよび記録媒体を提供することにある。
【０００９】
また、従来技術１では、重心を折れ線形状の階調補正テーブルの折点としているが、重心は頻度の高い輝度であることが多いので、頻度の高い輝度部分で、階調性が一様でなく不自然な感じに補正され、また従来技術２も輝度の中央値を折点としているため、同様に不自然に補正されてしまう。
【００１０】
そこで、折れ線形状ではなく、曲線形状の階調補正テーブルを用いることで、上記した問題を解消することができるが、補正量を反映した曲線形状の階調補正テーブルを作成すると計算量が多くなったり、あるいは補正量を細かく制御するのが難しいことなどから、必ずしも実用的な手法とはいえず、実際には、折れ線形状の階調補正テーブルが使用されている場合が多い。
【００１１】
本発明の第二の目的は、ヒストグラムの谷位置に該当する第一の閾値と第二の閾値に基づき、明るさに応じた少なくとも３つの領域を判定し、第一の閾値と第二の閾値を領域判定だけでなく、折れ線形状の階調補正テーブルを作成する際に折点として使用することにより、画像処理による不自然な階調性の劣化を防止した画像処理装置、画像処理方法、プログラムおよび記録媒体を提供することにある。
【課題を解決するための手段】
【００１２】
本発明は、入力画像のヒストグラムを作成するヒストグラム作成手段と、前記ヒストグラムを分析して、ヒストグラムの谷位置に該当する第一の閾値を決定する第一の閾値決定手段と、前記入力画像が全体的に暗い画像であるか否かを判定する暗画像判定手段と、前記暗画像判定手段の判定結果に応じて前記ヒストグラムの所定範囲を分析して、ヒストグラムの谷位置に該当する第二の閾値を決定する第二の閾値決定手段と、前記暗画像判定手段の判定結果に基づいて前記第一の閾値を修正する閾値修正手段と、前記第一の閾値または修正された第一の閾値および前記第二の閾値に基づいて、前記入力画像を明るさに応じた少なくとも３つの領域に分割する領域判定を行う領域判定手段と、前記領域判定手段の判定結果に基づいて、前記入力画像に対して画像処理を行う画像処理手段とを備えることを最も主要な特徴とする。
【発明の効果】
【００１３】
本発明によれば、画像全体で見て適切な明るさへ階調補正できるように、明るさに応じた少なくとも３つの領域を狙い通りに精度良く判定することができ、さらには、輝度ヒストグラムが極端に偏っている全体的に暗い画像に対しても、画像全体で見て適切な明るさへ階調補正できるように、明るさに応じた少なくとも３つの領域を狙い通りに精度良く判定することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施例１の構成を示す。
【図２】ヒストグラム例と、画像を領域判定した結果の一例を示す。
【図３】閾値決定部の構成を示す。
【図４】入力画像が暗画像でない場合の分析範囲１、分析範囲２、決定される閾値を示す。
【図５】入力画像が暗画像である場合の分析範囲１、分析範囲２、決定される閾値を示す。
【図６】本発明により作成される補正テーブルの形状を示す。
【図７】領域面積率計算部の構成を示す。
【図８】第一の補正量生成部の構成を示す。
【図９】クラスタリング部の構成を示す。
【図１０】予備クラスタリング部の処理フローチャートである。
【図１１】クラスタ統合部の処理フローチャートである。
【図１２】クラスタリング結果の例を示す。
【図１３】クラスタリング結果の他の例を示す。
【図１４】第１の補正量決定部の構成を示す。
【図１５】補正量算出部の構成を示す。
【図１６】最暗クラスタの補正量制限を説明する図である。
【図１７】第二の補正量生成部の構成を示す。
【図１８】仮補正テーブル作成部により作成される補正テーブルを示す。
【図１９】被写体代表色抽出部の構成を示す。
【図２０】第三の補正量生成部の構成を示す。
【図２１】補正量決定部の構成を示す。
【図２２】本発明の実施例２の構成を示す。
【図２３】実施例２における第一の補正量生成部の構成を示す。
【図２４】実施例２における第二の補正量生成部の構成を示す。
【発明を実施するための形態】
【００１５】
以下、発明の実施の形態について図面により詳細に説明する。
【実施例１】
【００１６】
図１は、本発明の実施例１の構成を示す。輝度変換部１０は、ビットマップ形式の入力画像データの各画素のＲＧＢ値を、次式で輝度Ｙに変換する。
Ｙ＝０．３０×Ｒ＋０．５９×Ｇ＋０．１１×Ｂ
ヒストグラム作成部１１は、輝度Ｙのヒストグラムを作成する。ＲＧＢが０〜２５５の各８ｂｉｔの値を持つ場合で説明すると、Ｙも０〜２５５の値を持つことになる。
【００１７】
閾値決定部１２は、作成したヒストグラムに基づき、画像内における被写体領域、暗部領域、ハイライト領域を判定するための閾値ｔｈ１，ｔｈ２を求める。図２（ａ）は、ヒストグラムの例を示す。閾値ｔｈ１はハイライト領域と被写体領域の境界に該当する閾値、閾値ｔｈ２は被写体領域内における暗部領域とその他の領域の境界に該当する閾値である。図２（ｂ）は、画像を領域判定した結果の一例を示す。上空部分がハイライト領域、被写体である建築物の影領域であって、何が写っているか視認困難な部分が暗部領域、それ以外の被写体部分が暗部領域以外の被写体領域として領域判定されている。閾値決定部１２では、このような領域判定を行うための閾値ｔｈ１，ｔｈ２を決定する。
【００１８】
図３（ａ）は、閾値決定部１２の構成を示す。図３（ａ）の１２０が第一の閾値決定部、１２１が第二の閾値決定部に該当する。ヒストグラム形状から適応的に背景と対象物を分離する二値化閾値を求める判別分析法を２回使用して閾値を決定する。
【００１９】
図３（ｂ）は、判別分析法を説明する図である。簡単に説明すると、ヒストグラムの入力の最小値ｓｔ〜閾値Ｔまでを一つのクラス、閾値Ｔ〜入力の最大値ｅｎまでを一つのクラスとして、判別分析法の評価値である（クラス間分散／クラス内分散）が最大になる閾値Ｔを求めることで、背景と対象物がよく分離され（即ちクラス間分散が大きい）、かつ、背景内および対象物内がよくまとまっている（即ちクラス内分散が小さい）二値化閾値を求める方法である。
【００２０】
判別分析法を用いることにより、分析範囲内における（局所的ではなく大局的な）谷位置を探すことができる。なお、判別分析法は、谷位置に該当する閾値を探すための手段として適切であるため、本実施例では判別分析法を使用した例を提示するが、判別分析法に近い精度で画像に対して適応的に谷位置を探すことができる方法であれば他の方法でも構わない。
【００２１】
判別分析法１２０１では、ヒストグラムの入力値の最小値から最大値までを分析範囲として（分析範囲１）判別分析法を適用し、二値化閾値ＴＨ１を求める。
【００２２】
暗画像判定部１２２では、閾値ＴＨ１を予め設定した閾値と比較することにより、入力画像が全体的に暗い画像であるか否かを判定する。ヒストグラムの入力輝度値が０〜２５５である場合、暗画像判定の閾値は５０くらいの値に設定するのが経験上妥当である。
【００２３】
ＴＨ１＜５０の場合は、全体的に暗い画像（暗画像）であると判定し、ＴＨ１≧５０の場合は、全体的に暗い画像ではないと判定する。なお、ここではＴＨ１を使って判定する例を示したが、暗画像を判定する他の手法として、例えば、ヒストグラムを暗い側から加算して、全体の１０％に該当する入力輝度値を求め、全体の１０％に該当する入力輝度値が予め設定した閾値よりも暗い側にあれば暗画像であると判定しても良い。
【００２４】
分析範囲２の設定部１２１１では、暗画像でない場合は、ヒストグラムの入力値のうち最小値から閾値ＴＨ１までの暗い側を分析範囲２として設定し、暗画像である場合は、ヒストグラムの入力値のうち閾値ＴＨ１から最大値までの明るい側を分析範囲２として設定する。
【００２５】
判別分析法１２１２では、設定した分析範囲２に対して判別分析法を適用し、閾値ＴＨ２を求める。閾値修正部１２０２は、暗画像である場合に、閾値ＴＨ１をＴＨ１よりも明るい値ＴＨ１’に修正する。修正方法に関しては後述する。暗画像でない場合はＴＨ１’＝ＴＨ１として修正は行わない。
【００２６】
３値化閾値決定部１２３では、暗画像でない場合は、ｔｈ１＝ＴＨ１’（＝ＴＨ１）、ｔｈ２＝ＴＨ２として閾値ｔｈ１，ｔｈ２を決定し、暗画像である場合は、ｔｈ１＝ＴＨ２、ｔｈ２＝ＴＨ１’として閾値ｔｈ１，ｔｈ２を決定する。
【００２７】
図４は、入力画像が暗画像でない場合の例であり、（ａ）はヒストグラム、（ｂ）は分析範囲１に対するクラス間分散とクラス内分散、（ｃ）は分析範囲１に対する判別分析法の評価値のグラフである。（ｂ）と（ｃ）の横軸は判別分析法の閾値Ｔである。分析範囲１と分析範囲２、および、決定される閾値は図示したとおりである。ＴＨ１よりも暗い側を分析範囲２として設定し、ＴＨ２を求めている。
【００２８】
図５は、入力画像が暗画像である場合の例であり、（ａ）はヒストグラム、（ｂ）は分析範囲１に対するクラス間分散とクラス内分散、（ｃ）は分析範囲１に対する判別分析法の評価値のグラフである。分析範囲１と分析範囲２、および、決定される閾値は図示したとおりである。ＴＨ１よりも明るい側を分析範囲２として設定し、ＴＨ２を求めている。
【００２９】
暗画像の場合、ハイライト側に山がないヒストグラム形状になっているため、第一の閾値決定部１２０で決定する谷位置に該当する閾値が、本来暗部領域として判定したい領域内における谷位置に設定されてしまう（そのためＴＨ１が５０未満の明らかに本来の暗部領域内であるはずの値になる）。これに対して暗画像か否かを区別せずに暗画像でない画像と同様の処理を行ってしまうと、次に決定される閾値ＴＨ２はＴＨ１よりも更に暗い値に設定されてしまい、本来の暗部領域内で閾値ｔｈ１，ｔｈ２が決定され狙い通りの領域判定ができない。
【００３０】
そこで、暗画像である場合には、分析範囲２をＴＨ１よりも明るい側に設定してＴＨ２が本来の暗部領域内の値でなく、それよりも明るい値に設定されるようにしている。その場合、ＴＨ１とＴＨ２の大小関係が暗画像でない場合とは逆になるので、３値化閾値決定部１２３では、ＴＨ１とＴＨ２の対応関係を逆転させてＴＨ２の方をハイライト領域と被写体領域の境界に該当する閾値ｔｈ１としている。
【００３１】
また、閾値ＴＨ１も前述の通り、本来の暗部領域内で設定されてしまっているので、閾値修正部１２０２では、ヒストグラム形状から見て、本来の暗部領域とその他の領域の境界付近と判断されるＴＨ１’へ修正している。
【００３２】
閾値修正部１２０２におけるＴＨ１’の求め方について説明する。図５の例では、本来暗部領域以外の画素はごく僅かで殆どが暗部領域の画素なので、図５（ａ）のヒストグラムでは、画素が集中している暗い側の輝度と、山が存在しない明るい側の輝度との境界付近（ヒストグラムの立下り位置）にＴＨ１’を設定し直したい。図５（ａ）のヒストグラムと図５（ｃ）の判別分析法の評価値を見比べると、ヒストグラムの立ち下がり位置は（ｃ）のグラフをハイライト側から見ていった時に最初に出現する評価値の変曲点と対応している。図５の例だけでなく、他の暗画像のヒストグラムおよび判別分析法の評価値でも同じ対応関係が成り立つ。
【００３３】
そこで、ハイライト側に最初に出現する変曲点の位置を求めて、閾値ＴＨ１の修正後の閾値ＴＨ１’とする。（ｃ）の変曲点は、閾値ＴＨ１と分析範囲１の最大値の位置における評価値グラフを直線で結び（図５（ｃ）のＡとＢ結んだ点線）、ＴＨ１よりも明るい範囲内でＡとＢ結んだ点線と評価値グラフの実線との距離が最大になる入力輝度値を見つけてそれをＴＨ１’とすることで求める。
【００３４】
画像サンプリング部３０は、画像が所定サイズよりも大きい場合には、画像を平均値でサンプリングする。使用する画像データの画素数が大きすぎると処理に時間がかかり、また性能面でも解像度が高すぎるとノイズの影響から階調補正のための補正量が正確に求められないことがあるので、画像が所定サイズよりも大きい場合には、画像を平均値でサンプリングする。例えば、長辺が６４０画素よりも大きい場合に、サンプリングを実施し、長辺の画素数が６４０の３倍の画像が入力された場合には、３×３画素毎に平均値を求めてサンプリング画像の画素値とする。
【００３５】
領域判定部４０は、サンプリング画像の各画素が暗部領域に属するか否か、ハイライト領域に属するか否かを、閾値ｔｈ１，ｔｈ２に基づき判定する。サンプリング画像のＲＧＢ値から輝度Ｙを求め、輝度Ｙを閾値ｔｈ１，ｔｈ２と比較する。
・Ｙ＜ｔｈ２、かつ、Ｍａｘ（Ｒ，Ｇ，Ｂ）−Ｍｉｎ（Ｒ，Ｇ，Ｂ）＜５０ならば、暗部領域の画素であると判定する。
・Ｙ≧ｔｈ１ならば、ハイライト領域の画素であると判定する。
【００３６】
暗部領域の画素の判定条件に、Ｍａｘ（Ｒ，Ｇ，Ｂ）−Ｍｉｎ（Ｒ，Ｇ，Ｂ）＜５０を加えているのは、彩度が比較的高く、視認可能な領域を暗部から除外して判定するためである。暗部領域とハイライト領域を判定することにより、どちらにも属さない画素は暗部領域以外の被写体領域に属する画素であることが自明であるので、図２（ｂ）のように画像を明るさに応じた３つの領域に分割する領域判定を行っていることになる。領域判定結果は２ビットで表し、最初の１ビットが暗部領域の画素であるか否かを表し、次の２ビットがハイライト領域の画素であるかを表すものとする。
【００３７】
階調補正テーブル生成部１９は、補正量決定部１８が決定した最終的な補正量Δに応じて階調補正テーブルを生成する。入力画像データや抽出した色情報等に基づき、第一の補正量生成部１５は、暗部領域の視認性向上に着目した補正量を生成し、第二の補正量生成部１６は、ハイライト領域の階調つぶれ抑制に着目した補正量を生成し、第三の補正量生成部１７は、補正前後で画像の印象を大きく変えないことに着目した補正量を生成し、補正量決定１８は、最終的な補正量Δを決定する。
【００３８】
図６は、最終的に作成する補正テーブルの形状を示したものである。補正テーブルは輝度Ｙの変換テーブルとする。制御点は、始点０と終点２５５以外では、入力Ｙ＝ｔｈ１，ｔｈ２，Ｙａの３点であり、各区間内では直線形状とする。制御点ｔｈ１とｔｈ２は前述の閾値決定部１２から出力される閾値であり、制御点Ｙａは後述の第一の補正量生成部１５から出力される暗部領域内の制御点である。補正量Δは、制御点Ｙａにおける入力Ｙに対する出力Ｙの増加分を表したものである。暗部領域における０≦入力Ｙ＜Ｙａの傾きα１は、ＹａとΔにより決まる。制約条件として、暗部領域以外の被写体領域に該当するｔｈ２≦入力Ｙ＜ｔｈ１で、傾きα３を１にして階調性を保存し、Ｙａ≦入力Ｙ＜ｔｈ２は区間境界で傾きが急激に変化することを防止するため傾きα２を傾きα１とα３の中間とする。これにより、３つの制御点と補正量Δが決まれば、補正テーブル全体が決まる。また、３つの制御点が決まっていれば、もう一つの情報は補正量Δでなくα４であっても、あるいは補正テーブルが通るどこか一点の入力と出力のデータセットであっても、上記制約条件から補正テーブル全体を決定することが可能である。
【００３９】
階調補正部２０は、生成した補正テーブルを基に、入力画像データの各画素に対して階調補正を施す。ＲＧＢから輝度変換により輝度Ｙを算出し、算出した輝度Ｙを入力として補正テーブルを参照して出力Ｙを求め、ＲＧＢの各信号に対して（出力Ｙ／入力Ｙ）を乗算したものを階調補正後のＲＧＢとする。
【００４０】
領域面積率計算部１３は、第一の補正量生成部１５で使用する暗部面積率Ｐｄと、第二の補正量生成部１６で使用するハイライト面積率Ｐｈを求めておく。
【００４１】
図７は、領域面積率計算部１３の構成を示す。図２（ａ）のヒストグラムと閾値ｔｈ１から、ハイライト／被写体画素数計数部１３０は、被写体領域の画素数Ｎａとハイライト領域の画素数Ｎｂを計数する。被写体領域の画素数はヒストグラムにおける０≦Ｙ＜ｔｈ１の画素数を全て足し合わせることで求められ、ハイライト領域の画素数はヒストグラムにおけるｔｈ１≦Ｙ≦２５５の画素数を全て足し合わせることで求められる。同様に、ヒストグラムと閾値ｔｈ２から、暗部画素数計数部１３２は、暗部領域の画素数Ｎｃを計数する。暗部領域の画素数はヒストグラムにおける０≦Ｙ＜ｔｈ２の画素数を全て足し合わせることにより求められる。
【００４２】
ハイライト面積率計算部１３１では、画像内におけるハイライト領域の面積率Ｐｈを次式で求める。
Ｐｈ＝Ｎｂ／（Ｎａ＋Ｎｂ）
暗部面積率計算部１３３では、被写体領域における暗部領域の面積率Ｐｄを次式で求める。
Ｐｄ＝Ｎｃ／Ｎａ
【００４３】
図８は、第一の補正量生成部１５の構成を示す。クラスタリング部１５３は、領域判定結果から暗部領域の画素であるか否かの情報を取得し、色変換部１５２でＬａｂに変換したサンプリング画像データを入力として、クラスタリングを行う。
【００４４】
図９は、クラスタリング部１５３の構成を示す。予備クラスタリング部１５６は、色差に応じて暗部領域判定結果を、１つ以上のクラスタに分割した後、クラスタ統合部１５７では、画素数の少ないクラスタを他のクラスタに統合する。
【００４５】
図１０は、予備クラスタリング部１５６の処理フローチャートである。注目画素のＬａｂを順次入力し（ステップ１５６１）、クラスタリングを行う。画像先端からスタートして初めて暗部領域の画素が入力された時点では、クラスタ数Ｎが初期化されてＮ＝０にセットされた状態であるため（ステップ１５６０）、色差による条件分岐（ステップ１５６５）で“Ｎｏ”の方に進んでクラスタ１を新規クラスタとして追加し、クラスタ数をＮ＝１に設定、クラスタ１の画素数をｎ（１）＝０に設定、クラスタ１の平均Ｌａｂに注目画素のＬａｂ値が設定される（ステップ１５６８，１５６９）。
【００４６】
その後は、順次入力される注目画素のＬａｂ値に対して、暗部領域の画素であれば（ステップ１５７０）、各クラスタの平均Ｌａｂとの色差を求め（ステップ１５６３）、その中で色差最小のクラスタ番号ｊと色差ｄＥ＿ｍｉｎの組を抽出する（ステップ１５６４）。色差による条件分岐（ステップ１５６５）で色差ｄＥ＿ｍｉｎが予め設定された閾値ｄＥ＿ｔｈ以下であれば“Ｙｅｓ”の方に進んでクラスタｊに注目画素を追加し、平均Ｌａｂを再計算する（ステップ１５６６，１５６７）。クラスタｊの画素数ｎ（ｊ）を＋１して、Ｌ＊ａ＊ｂ＊の平均値を以下の式に従い再計算する。
（再計算後の平均Ｌ）＝（（再計算前の平均Ｌ）×（ｎ（ｊ）−１）＋（注目画素のＬ））／ｎ（ｊ）
（再計算後の平均ａ）＝（（再計算前の平均ａ）×（ｎ（ｊ）−１）＋（注目画素のａ））／ｎ（ｊ）
（再計算後の平均ｂ）＝（（再計算前の平均ｂ）×（ｎ（ｊ）−１）＋（注目画素のｂ））／ｎ（ｊ）
色差による条件分岐（ステップ１５６５）で色差ｄＥ＿ｍｉｎが予め設定された閾値ｄＥ＿ｔｈより大きければ“Ｎｏ”の方に進んで新規クラスタを追加し、クラスタ数Ｎをカウントアップして新規クラスタの画素数を０に設定し、平均Ｌａｂに注目画素のＬａｂを設定する（ステップ１５６８，１５６９）。新規クラスタを追加するか否かの境界色差を表しているのがｄＥ＿ｔｈであり、暗部の何が写っているかはっきり視認できない領域を対象としていることを考慮してｄＥ＿ｔｈ＝３くらいの小さい値に設定しておくのが適当である。画像後端まで到達して入力するＬａｂデータが無くなった時点で、クラスタリング終了となる。
【００４７】
予備クラスタリング部１５６で分割されたクラスタのうち、ある程度画素数が少ないクラスタはノイズ成分に反応して発生したクラスタであることが多く、いずれにしても被写体を有意な塊単位で抽出する際に、不要または重要性が低いクラスタである。
【００４８】
図１１は、クラスタ統合部１５７の処理フローチャートである。各クラスタを順次見ていき、クラスタの画素数が所定閾値ｎ＿ｔｈより小さいか否かを判定し（ステップ１５７５）、小さい場合は注目クラスタｉの平均Ｌａｂと他のクラスタの平均Ｌａｂとの色差を求め（ステップ１５７６）、他のクラスタ全てに対して求めた色差のうち最小のものに該当するクラスタ番号ｊを抽出し（ステップ１５７７）、クラスタｉをクラスタｊに統合する（ステップ１５７８）。クラスタｊの画素数にクラスタｉの画素数を加算し、クラスタｉの画素数を０に変更する。統合するクラスタの画素数境界である閾値ｎ＿ｔｈは、暗部領域の画素数に対して例えば１５％（１０％〜２０％程度に設定するのが適当）の画素数に相当する値を画像毎に求めて、それを閾値とする。
【００４９】
図８に戻り、判断部１５４は、クラスタ数に応じて階調補正を行うか否か判断する。図１２、図１３（ａ）、（ｃ）はクラスタリング結果の例である。図１２（ａ）は、夜空を背景に花火を撮影した画像であり、暗部領域をクラスタリングした結果、暗部は全て一つのクラスタ（クラスタ１）になり、クラスタ数は１である。図１２（ｂ）は、夜間にライトアップされた建築物を撮影した画像であり、暗部領域をクラスタリングした結果、背景と建物が別々のクラスタに分割され、クラスタ数は２である。図１３（ａ）は、人物を逆光で撮影した画像であり、暗部は５つのクラスタに分割されている。図１３（ｂ）は花を撮影した画像であり、葉が重なり合って影になった暗部領域が存在する画像である。これをクラスタリングした結果が図１３（ｃ）であり、影に隠れた葉と葉脈が概ね別クラスタに分割され、クラスタ数は２である。
【００５０】
判断部１５４では、クラスタ数が１であれば階調補正を行わないと判断し、クラスタ数が１以外であれば階調補正を行うと判断する。これにより、夜空を背景に花火を撮影した画像のように暗部に該当する夜空に何もオブジェクトが潜んでおらず、明るく補正する必要がない画像が入力された場合に、階調補正を行わないと判断して処理することができる。
【００５１】
図１４は、第１の補正量決定部１５５の構成を示す。判断部１５４が階調補正を行わないと判断した場合は、選択部１５９はΔ１ｂ＝０を選択して、Δ１＝Δ１ａを補正量として出力することにより、実質的に階調補正を無効にする。判断部１５４が階調補正を行うと判断した場合は、補正量算出部１５８が算出した補正量Δ１ｂを選択して、Δ１＝Δ１ｂを補正量として出力する。
【００５２】
図１５は、補正量算出部１５８の構成を示す。第一のクラスタ抽出１５８０は、各クラスタの画素数を比較して画素数が最も多いクラスタとその次に多いクラスタを抽出する。２つのクラスタのうち明度が高い方をクラスタＡ、明度が低い方をクラスタＢと表記する。色差計算部１５８２では、クラスタＡとクラスタＢの補正前の平均Ｌａｂ同士の色差ｄＥ１を計算しておく。補正量生成部１５９２は補正量Δ１ｂを設定して、仮補正テーブル生成部１５９１は補正量に応じた仮補正テーブルを作成する。階調補正部１５８５は仮補正テーブルを用いた階調補正を、クラスタＡの平均Ｌａｂを色変換部１５８４でＲＧＢに変換したＲＧＢ＿ａと、クラスタＢの平均Ｌａｂを同じくＲＧＢに変換したＲＧＢ＿ｂに対して行い、補正後の値を色変換部１５８６で再度Ｌａｂ信号に変換する。色差計算部１５８７では、クラスタＡとクラスタＢの補正後の平均Ｌａｂ同士の色差ｄＥ２を計算する。色差比計算部１５８８では、補正前の色差ｄＥ１と補正後の色差ｄＥ２の比率を計算して求める。
【００５３】
第二のクラスタ抽出部１５８１では、最も暗いクラスタを抽出する。最も暗いクラスタをクラスタＣと表記する。ちなみに、画像によってはクラスタＢとクラスタＣが同じクラスタを指すこともあるが、それでも構わない。階調補正部１５８５では、仮補正テーブルを用いた階調補正を、クラスタＣの平均Ｌａｂを色変換部１５８４でＲＧＢに変換したＲＧＢ＿ｃに対して行い、補正後の値を色変換部１５８６で再度Ｌａｂ信号に変換する。
【００５４】
暗部補正量判定部１５８９では、以下の終了条件１または終了条件２を満たせば、その時点での補正量Δ１ｂを出力して終了する。どちらの終了条件も満たさなければ、補正量生成部１５９２では、変更した補正量を発生させ、終了条件を満足するまで処理を繰り返す。
［終了条件１］クラスタＡとクラスタＢの補正前後の色差比が、色差比目標値設定部１５８３に設定された目標値Ｘｄ以上である。
［終了条件２］クラスタＣの補正後の平均Ｌが、最暗クラスタの明度上限設定部１５９０に設定された上限値Ｌｃ＿ｔｈ以上である。
【００５５】
画素数が最も大きいクラスタと次に大きいクラスタの色差が補正前のＸ倍になるように補正するということは、他の面積の狭いクラスタ同士の色差比に着目して補正するよりも視認性が向上したことが観察者に認識されやすく、非常に効果的である。また、最も暗いクラスタが明るく補正されすぎないように補正量を制限することは、暗部ノイズが目立つ副作用を防止するのに有効である。
【００５６】
図１６は、最暗クラスタの補正量制限を説明する図である。（ａ）は暗部を示し、（ｂ）は暗部を拡大した図である。ＹｃとＹｃ＿ｔｈは、最暗クラスタの補正量制限をわかりやすく表現したものであり、ＹｃがクラスタＣの補正後の輝度を表しており、Ｙｃ＿ｔｈは上限値を輝度で表している。
【００５７】
図１５の補正量生成部１５９２は、Δ１ｂ＝０を初期値として、補正量生成の要求がある度に、Δ１ｂに＋１したものを次の補正量として発生させる。仮補正テーブル生成部１５９１では、ＲＧＢ＿ａを輝度変換して求めた輝度Ｙａを制御点として、図１６のような補正テーブルを作成する。制御点ＹａはクラスタＡ（面積が大きい２つのクラスタのうち明るい方）の輝度に該当する。制御点Ｙａにおける出力がＹａ＋Δ１ｂになるように補正テーブルを作成し、暗部領域以外は第一の補正量生成部１５で使用されず、どのように設定してもよいので、図１６のように、Ｙａ≦入力Ｙ＜２５５は直線で結んでおけば良い。
【００５８】
色差比目標値設定部１５８３では、暗部面積率Ｐｄに応じて色差比の目標値Ｘｄ＝３．５×Ｐｄを算出する。算出式は数十枚のサンプル画像を用意してどのくらいに設定すれば、ほぼ全ての画像（少なくとも用意したサンプルの８割）で適正な明るさに補正されるかを主観評価結果から導出したものである。被写体における暗部領域の占める割合が大きいほど暗部の視認性向上を重視した方が高評価を得る傾向があり、暗部領域の占める割合が小さいほど暗部以外の被写体画質を重視した方が高評価が得られ、暗部の視認性向上に対する要求レベルが下がる傾向があった。
【００５９】
最暗クラスタの明度上限設定部１５９０では、Ｌｃ＿ｔｈが１５くらいの値（１０〜１８の間）に設定されるのが適当である。これは予め決めておいた固定値でよい。
【００６０】
図１７は、第二の補正量生成部１６の構成を示す。第二の補正量生成部では、補正テーブルのハイライト領域における傾きα４’を補正量として求め、出力する。
【００６１】
ハイライト対象領域判定部１６０５では、領域判定結果からハイライト領域の画素であるか否かの情報を取得し、サンプリング画像のＲＧＢ値が全て２５５であるか否かを判定して、ＲＧＢ値が全て２５５である画素（白画素）を除外したハイライト領域を対象領域とする。
【００６２】
傾きα４’下限設定部１６００は、ハイライト面積率Ｐｈに応じてα４’の下限値Ｚ＝１／（−１．４×Ｐｈ＋２．４）を算出し、補正量生成部１６０１は、補正量の初期値としてＺを出力する。この算出式も主観評価結果から導出したものであり、画像内におけるハイライト対象領域の占める割合が大きいほどハイライトの階調つぶれ（白に飛んでしまうことも含む）が評価を下げる要因となる傾向があり、ハイライト対象領域の占める割合が小さいほどハイライトの階調つぶれよりも被写体画質が優先される傾向があった。補正量生成部１６０１では、以降要求がある度にα４’に＋０．０３したものを次の補正量として発生させる。
【００６３】
仮補正テーブル生成部１６０２では、ｔｈ１を制御点として、図１８のような補正テーブルを作成する。ハイライト領域であるｔｈ１≦入力Ｙ≦２５５で、傾きがα４’になるように補正テーブルを作成し、ハイライト領域以外は第二の補正量生成部１６で使用されず、どのように設定してもよいので、図１８のように０≦入力Ｙ＜ｔｈ１を直線で結んでおけば良い。
【００６４】
階調補正部１６０３は、作成した仮補正テーブルに基づき階調補正を行い、飽和画素判定部１６０６は、上記した対象領域であり、かつ、階調補正によって飽和したと判断された場合に、飽和画素であると判定する。階調補正によって飽和したかどうかは補正前後のＲＧＢ値を参照して判断する。ＲＧＢの３信号のうち補正後の値が（２５５−ｘ１）以上に飽和した信号数が、補正前に２５５に飽和している信号数よりも多ければ、階調補正によって飽和した画素であると判断する。ｘ１は飽和の判断を人の目視での判断に近づけるため、完全に２５５に飽和していないが飽和に近い画素も含めて飽和したと判定するためのパラメータであり、ｘ１＝２０くらいの値に設定しておくのが適当である。
【００６５】
飽和画素数計数部１６０７は、飽和したと判断された画素数Ｎｄを計数し、対象画素数計数部１６０８は、対象領域の画素数Ｎｅを計数する。飽和度算出部１６０９では、飽和度Ｐｗとして対象領域に対する飽和画素の割合を次式で求める。
Ｐｗ＝Ｎｄ／Ｎｅ
【００６６】
ハイライト補正量判定部１６１０では、飽和度が飽和度上限設定部１６１１に設定された上限値Ｘｈ以下になることを終了条件とし、終了条件を満たした時点でのα４’を補正量として出力して終了する。終了条件を満たさないうちは、補正量生成部１６０１は変更した補正量を発生させ、終了条件を満足するまで処理を繰り返す。
【００６７】
飽和度上限設定部１６１１では、Ｘｈが０．１５くらいの値（０．１〜０．２の間）に設定しておくのが適当である。予め決めておいた固定値でよい。
【００６８】
図１９（ａ）は、被写体代表色抽出部１４の構成を示す。被写体中央値抽出部１４６は、ヒストグラムから図１９（ｂ）に示す被写体領域における中央値Ｙｍを求める。Ｙ＝０から画素数を順に加算し、被写体領域の画素数の１／２以上になった時点での輝度値がＹｍである。次に、Ｙｍに対応するＬａｂ値を求める。サンプリング画像データの中から輝度値がＹｍに等しいものを中央値判定部１４８が抽出し、ＲＧＢ毎の加算演算部１４９では、輝度値がＹｍの画素の画素値をＲＧＢ毎に加算し、画像全体のＲＧＢ毎の加算が終了したら、ＲＧＢ平均値算出部１４００はＲＧＢ毎の加算値を中央値Ｙｍの画素数で割って輝度値がＹｍの画素のＲＧＢ平均値を算出し、色変換部１４０１ではＬａｂに変換したものを被写体の代表色Ｌａｂ＿ｄとして出力する。
【００６９】
図２０（ａ）は、第三の補正量生成部１７の構成を示す。第三の補正量生成部では、図２０（ｂ）に示すように、被写体の代表色Ｌａｂ＿ｄに対応する輝度Ｙｄにおける補正後の値をＹｄ＋βとして増加分βを補正量として求め、出力する。
【００７０】
色変換部１７０は、代表色Ｌａｂ＿ｄをＲＧＢに変換し、階調補正部１７３では、補正量生成部１７２で生成される補正量βに応じてＲＧＢ値を階調補正し、色変換部１７４は補正後の値をＬａｂに変換する。色差計算部１７５では、代表色の補正前後の色差を計算する。
【００７１】
被写体代表色補正量判定部１７６では、代表色の補正前後の色差が代表色補正量閾値設定部１７７に設定された閾値Ｘｍ以上になることを終了条件とし、終了条件を満たした時点でのβを補正量としてＹｄとセットで出力して終了する。終了条件を満たさないうちは、補正量生成部１７２は変更した補正量を発生させ、終了条件を満足するまで処理を繰り返す。
【００７２】
補正量生成部１７２は、β＝０を初期値として、補正量生成の要求がある度に、βに＋１したものを次の補正量として発生させる。
【００７３】
代表色補正量閾値設定部１７７では、予め決めておいた固定値を用いる場合、Ｘｍが１５くらいの値に設定するが、この値は、画像の過補正を防止して、印象を大きく変えない上限値（閾値）設定として適当である。
【００７４】
図２１は、補正量決定部１８の構成を示す。補正量Δ２算出部１８０では、図６に示した関係を使って、ハイライトの傾きがα４’である場合の補正量Δを求め、それをΔ２として出力する。補正量Δ３算出部１８１では、図６に示した関係を使って、補正テーブルが入力Ｙｄ、出力Ｙｄ＋βの点を通る場合の補正量Δを求め、それをΔ３として出力する。ここで、Δ２およびΔ３の算出には、図６より制御点Ｙａ，ｔｈ１，ｔｈ２のデータが必要であるので、補正量Δ２算出部１８０および補正量Δ３算出部１８１にＹａ，ｔｈ１，ｔｈ２を入力している。第一の補正量生成部１５で生成された補正量Δ１と、補正量Δ２算出部１８０で生成された補正量Δ２と、補正量Δ３算出部１８１で生成された補正量Δ３を参照して、最小値選択部１８２では、最小のものを選択して出力する（Δ＝ｍｉｎ（Δ１，Δ２，Δ３））。
【００７５】
以上、本実施例によれば、分析範囲を変えて判別分析法を２度適用し、ヒストグラムの谷位置を閾値として決定することにより、明るさに応じた領域判定のための閾値決定を適切に行うことができる。暗画像であるか否かを判定し、２回目の判別分析法（第二の閾値決定）の分析範囲を暗画像でない場合はＴＨ１よりも暗い側、暗画像である場合にはＴＨ１よりも明るい側に設定していることにより、いずれの場合も狙い通りの閾値設定を行うことができる。また、領域判定のための２つの閾値を折点とする折れ線形状の階調補正テーブルを作成し、折れ線形状の階調補正テーブルを使用して階調補正を行うため、画像処理による不自然な階調性劣化を防ぐことができる。
【００７６】
本発明によれば、入力画像のヒストグラムを作成し、前記ヒストグラムを分析して、ヒストグラムの谷位置に該当する第一の閾値を決定し、入力画像が全体的に暗い画像でない場合には、前記ヒストグラムのうち第一の閾値よりも暗い部分のヒストグラムを分析して、ヒストグラムの谷位置に該当する第二の閾値を決定し、第一の閾値および第二の閾値に基づき、入力画像を明るさに応じた少なくとも３つの領域に分割する領域判定を行い、領域判定の判定結果に基づき、入力画像に対して画像処理を行うため、入力画像を少なくとも暗部領域とハイライト領域とその他の領域の領域に分割し、各領域の特徴に基づいて適切な画像処理パラメータ（例えば階調補正テーブル）を設定し、好適な画像処理を行うことがきる。
【００７７】
また、本発明によれば、入力画像が全体的に暗い画像である場合には、第二の閾値決定手段は、前記ヒストグラムのうち第一の閾値よりも明るい部分のヒストグラムを分析して、ヒストグラムの谷位置に該当する第二の閾値を決定するため、入力画像が暗画像である場合も、領域判定のための閾値決定を狙い通りに行うことができる。
【００７８】
また、本発明によれば、入力画像が全体的に暗い画像である場合には、第一の閾値を明るい値に修正するため、本来は暗部領域である領域内に設定されてしまった第一の閾値を適切な値に設定し直すことができ、入力画像が暗画像である場合も、領域判定のための閾値決定を狙い通りに行うことができる。
【００７９】
さらに、本発明によれば、前記第一の閾値または明るい値に修正された第一の閾値および前記第二の閾値を折点とする折れ線形状の階調補正テーブルを作成し、前記階調補正テーブルに従って入力画像の階調を補正するため、画像処理による不自然な階調性劣化を防ぐことができる。
【実施例２】
【００８０】
実施例１では、領域判定部４０が明るさに応じて画像をハイライト領域と暗部領域とその他（暗部領域以外の被写体領域）の３つに分割する領域判定を行い、領域判定結果を第一の補正量生成部１５と第二の補正量生成部１６が参照する例を示したが、第一の補正量生成部１５が参照するのは暗部領域か否かの情報のみであるし、第二の補正量生成部１６が参照するのはハイライト領域か否かの情報のみであり、必ずしも１つの処理ブロックで全ての領域判定を完了させて領域判定結果を後段の処理ブロックに渡す必要はない。
【００８１】
図２２は、本発明の実施例２の構成を示す。本実施例では、予め全ての領域判定を完了させて後段に渡すのではなく、領域判定に必要な閾値を渡して第一の補正量生成部１５の内部で暗部領域であるか否かの判定を行い、第二の補正量生成部１６の内部でハイライト領域であるか否かの判定を行う。
【００８２】
図２３は、実施例２における第一の補正量生成部１５の構成を示す。サンプリング画像のＲＧＢ値を輝度変換部１５０で輝度値Ｙに変換し、暗部領域判定部１５１では、Ｙ＜ｔｈ２、かつ、Ｍａｘ（Ｒ，Ｇ，Ｂ）−Ｍｉｎ（Ｒ，Ｇ，Ｂ）＜５０ならば、暗部領域の画素であると判定する。クラスタリング部１５３は、暗部領域判定結果と、色変換部１５２でＬａｂに変換したサンプリング画像データを入力として、クラスタリングを行う。
【００８３】
図２４は、実施例２における第二の補正量生成部１６の構成を示す。サンプリング画像のＲＧＢ値を輝度変換部１６０４で輝度値に変換し、ハイライト対象領域判定部１６０５では、ｔｈ１≦Ｙ＜２５５であればハイライト対象領域の画素であると判定する。ここではＹ＝２５５である画素（白画素）をハイライト領域から除外した領域を対象領域とする。後の処理は実施例１と同様である。
【００８４】
本実施例では、実施例１とは異なり、１つの処理ブロックで全ての領域判定が完了しているわけではなく、第一の補正量生成部１５の内部における暗部領域判定部１５１と第二の補正量生成部１６の内部におけるハイライト対象領域判定部１６０５に分散して暗部領域か否か、ハイライト領域か否かの領域判定を行っているが、結果として得られる領域判定結果は、実質的には実施例１と同じであり、階調補正量および補正画像も実施例１と同じものが得られる。つまり、領域判定の処理ブロックが分散していても、全体としてみて、明るさに応じて画像を実質的に３つに分割する領域判定を行い、各領域の画像特徴に基づいて補正量を生成し、明るさに応じて画像を３つに領域分割する領域判定部を実質的に有していると言える。領域判定結果ではなく、閾値ｔｈ１，ｔｈ２を各補正量生成部１５、１６に渡すことにより、画像全体の領域判定結果を保持するための記憶領域が不要になり、低コストで実現することが出来るメリットがある。
【００８５】
以上、本実施例によれば、領域判定の処理ブロックを分散させて実装することにより、画像全体の領域判定結果を保持するための記憶領域が不要になり、低コストで実現できる。
【００８６】
本発明は、前述した実施例の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（ＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても達成される。この場合、記憶媒体から読出されたプログラムコード自体が前述した各実施例の機能を実現することになる。プログラムコードを供給するための記憶媒体としては、例えば、ハードディスク、光ディスク、光磁気ディスク、不揮発性のメモリカード、ＲＯＭなどを用いることができる。また、コンピュータが読出したプログラムコードを実行することにより、前述した実施例の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した各実施例の機能が実現される場合も含まれる。さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した各実施例の機能が実現される場合も含まれる。また、本発明の実施例の機能等を実現するためのプログラムは、ネットワークを介した通信によってサーバから提供されるものでも良い。
【符号の説明】
【００８７】
１０ 輝度変換部
１１ ヒストグラム作成部
１２ 閾値決定部
１３ 領域面積率計算部
１４ 被写体代表色抽出部
１５ 第一の補正量生成部
１６ 第二の補正量生成部
１７ 第三の補正量生成部
１８ 補正量決定部
１９ 階調補正テーブル作成部
２０ 階調補正部
３０ 画像サンプリング部
４０ 領域判定部
【先行技術文献】
【特許文献】
【００８８】
【特許文献１】特開２００３−６９８２５号公報
【特許文献２】特開２００３−６９８２２号公報
【技術分野】
【０００１】
本発明は、デジタルカメラやフィルムスキャナ等で撮影された画像に対して階調補正を施す画像処理装置、画像処理方法、プログラムおよび記録媒体に関し、ＭＦＰ、プリンタ、デジタルカメラの付属ソフトなどに好適な技術に関する。
【背景技術】
【０００２】
デジタルカメラにより逆光状態で撮影された画像や夜間撮影された画像は、露出不足のため被写体が暗く写され、また物陰に該当する部分を含んでいる場合には、画像の一部分が暗く写されてしまう。そのような画像に対しては、自動で明るさを補正する技術が種々研究され、既に実用化されている。
【０００３】
例えば、特許文献１は、輝度ヒストグラムの高輝度側と低輝度側で２つのピークがある逆光画像を想定し、輝度ヒストグラムの谷位置に該当する境界値を求め、境界値より低輝度側の重心が目標補正値になるように明るく補正する技術であり、また低輝度側の重心を目標補正値に補正すると同時に、境界値より高輝度側の重心位置により階調補正量を制限するようにした技術も開示されている。階調補正は、低輝度側や高輝度側の重心が各々の目標補正値（高輝度側は階調補正量を制限するための目標補正値）になるように作成した補正テーブルに従って行い、補正テーブルは、低輝度側や高輝度側の重心を折点とする折れ線形状で作成される。
【０００４】
特許文献２は、主要被写体領域を抽出し、主要被写体領域の中央値の関数として階調補正量を算出し、一方で主要被写体が属さない明度域（主要被写体よりも明るい明度域）を制御領域として階調補正量を制御することにより、過補正を防止する技術であり、主要被写体領域の輝度ヒストグラムの中央値Ａと最大値Ｃを折点とする折れ線形状の輝度補正カーブを作成し、ＡとＣの間の傾きを１にすることで主要被写体領域の階調性を損なわないようにしている。
【０００５】
ところで、特許文献１の技術では、重心に該当する輝度は最適な補正目標値に補正されるが、画像全体で見て最適な補正が行えるとは限らない。例えば、画像暗部に存在し、目視での識別が困難な複数の被写体オブジェクトが、補正によって十分に識別できるようになる保証はない。また、高輝度側の重心を使って補正量を制限できるが、これも重心の輝度値だけで制限するので、画像全体で見て制限が不十分になる可能性や、必要以上に補正量を制限してしまう可能性がある。特許文献２の技術も同様に、輝度ヒストグラムの中央値の関数として階調補正量を算出しているので、中央値に該当する輝度では最適であっても画像全体で見て最適な補正が行えるとは限らない。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明者は先に、画像の暗部領域を抽出して暗部領域を色差に応じてクラスタリングし、クラスタ数が１の場合は明るさ補正を行わず、クラスタ数が１より大きい場合はクラスタ間色差等に基づいて補正量を決定して明るさ補正することにより、暗部領域に物体が潜んでいる画像に限り、暗部領域の視認性が向上するように階調補正する技術（特願２００８−１８０３３７号）や、画像中の被写体領域を判定して被写体領域における代表色を抽出し、代表色における補正量上限を設定して代表色における階調補正前後の色差が補正量上限を超えない範囲内で補正量を決定して階調補正する技術（特願２００８−２２７０８６号）を提案した。
【０００７】
またハイライト領域の飽和度に基づき補正量を制限する技術も提案し、実施例では、両発明を組み合わせて輝度ヒストグラムから暗部領域、被写体領域、ハイライト領域を抽出し、各領域の閾値を折点とした折れ線形状の階調補正テーブル（補正トーンカーブ）を生成して階調補正を行う例を示した。この実施例では、特許文献１、２のように１〜２点の輝度値に対する補正目標値に基づいて階調補正テーブルを作成する手法とは相違し、暗部領域の視認性向上とノイズ防止、およびハイライト領域における階調つぶれ抑制、および、被写体領域に対して画像の印象を変えすぎないように考慮した補正量設定を行い、画像全体でバランスの取れた最適な明るさに階調を補正することができるが、画像全体でバランスの取れた最適な明るさに階調補正するためには、明るさに応じた少なくとも３つの領域を判定することが必要となる。
【０００８】
本発明は上記した課題に鑑みてなされたもので、
本発明の第一の目的は、画像全体で見て適切な明るさへ階調補正できるように、明るさに応じた少なくとも３つの領域を狙い通りに精度良く判定し、更には、輝度ヒストグラムが極端に偏っている全体的に暗い画像に対しても、画像全体で見て適切な明るさへ階調補正できるように、明るさに応じた少なくとも３つの領域を狙い通り精度良く判定する画像処理装置、画像処理方法、プログラムおよび記録媒体を提供することにある。
【０００９】
また、従来技術１では、重心を折れ線形状の階調補正テーブルの折点としているが、重心は頻度の高い輝度であることが多いので、頻度の高い輝度部分で、階調性が一様でなく不自然な感じに補正され、また従来技術２も輝度の中央値を折点としているため、同様に不自然に補正されてしまう。
【００１０】
そこで、折れ線形状ではなく、曲線形状の階調補正テーブルを用いることで、上記した問題を解消することができるが、補正量を反映した曲線形状の階調補正テーブルを作成すると計算量が多くなったり、あるいは補正量を細かく制御するのが難しいことなどから、必ずしも実用的な手法とはいえず、実際には、折れ線形状の階調補正テーブルが使用されている場合が多い。
【００１１】
本発明の第二の目的は、ヒストグラムの谷位置に該当する第一の閾値と第二の閾値に基づき、明るさに応じた少なくとも３つの領域を判定し、第一の閾値と第二の閾値を領域判定だけでなく、折れ線形状の階調補正テーブルを作成する際に折点として使用することにより、画像処理による不自然な階調性の劣化を防止した画像処理装置、画像処理方法、プログラムおよび記録媒体を提供することにある。
【課題を解決するための手段】
【００１２】
本発明は、入力画像のヒストグラムを作成するヒストグラム作成手段と、前記ヒストグラムを分析して、ヒストグラムの谷位置に該当する第一の閾値を決定する第一の閾値決定手段と、前記入力画像が全体的に暗い画像であるか否かを判定する暗画像判定手段と、前記暗画像判定手段の判定結果に応じて前記ヒストグラムの所定範囲を分析して、ヒストグラムの谷位置に該当する第二の閾値を決定する第二の閾値決定手段と、前記暗画像判定手段の判定結果に基づいて前記第一の閾値を修正する閾値修正手段と、前記第一の閾値または修正された第一の閾値および前記第二の閾値に基づいて、前記入力画像を明るさに応じた少なくとも３つの領域に分割する領域判定を行う領域判定手段と、前記領域判定手段の判定結果に基づいて、前記入力画像に対して画像処理を行う画像処理手段とを備えることを最も主要な特徴とする。
【発明の効果】
【００１３】
本発明によれば、画像全体で見て適切な明るさへ階調補正できるように、明るさに応じた少なくとも３つの領域を狙い通りに精度良く判定することができ、さらには、輝度ヒストグラムが極端に偏っている全体的に暗い画像に対しても、画像全体で見て適切な明るさへ階調補正できるように、明るさに応じた少なくとも３つの領域を狙い通りに精度良く判定することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施例１の構成を示す。
【図２】ヒストグラム例と、画像を領域判定した結果の一例を示す。
【図３】閾値決定部の構成を示す。
【図４】入力画像が暗画像でない場合の分析範囲１、分析範囲２、決定される閾値を示す。
【図５】入力画像が暗画像である場合の分析範囲１、分析範囲２、決定される閾値を示す。
【図６】本発明により作成される補正テーブルの形状を示す。
【図７】領域面積率計算部の構成を示す。
【図８】第一の補正量生成部の構成を示す。
【図９】クラスタリング部の構成を示す。
【図１０】予備クラスタリング部の処理フローチャートである。
【図１１】クラスタ統合部の処理フローチャートである。
【図１２】クラスタリング結果の例を示す。
【図１３】クラスタリング結果の他の例を示す。
【図１４】第１の補正量決定部の構成を示す。
【図１５】補正量算出部の構成を示す。
【図１６】最暗クラスタの補正量制限を説明する図である。
【図１７】第二の補正量生成部の構成を示す。
【図１８】仮補正テーブル作成部により作成される補正テーブルを示す。
【図１９】被写体代表色抽出部の構成を示す。
【図２０】第三の補正量生成部の構成を示す。
【図２１】補正量決定部の構成を示す。
【図２２】本発明の実施例２の構成を示す。
【図２３】実施例２における第一の補正量生成部の構成を示す。
【図２４】実施例２における第二の補正量生成部の構成を示す。
【発明を実施するための形態】
【００１５】
以下、発明の実施の形態について図面により詳細に説明する。
【実施例１】
【００１６】
図１は、本発明の実施例１の構成を示す。輝度変換部１０は、ビットマップ形式の入力画像データの各画素のＲＧＢ値を、次式で輝度Ｙに変換する。
Ｙ＝０．３０×Ｒ＋０．５９×Ｇ＋０．１１×Ｂ
ヒストグラム作成部１１は、輝度Ｙのヒストグラムを作成する。ＲＧＢが０〜２５５の各８ｂｉｔの値を持つ場合で説明すると、Ｙも０〜２５５の値を持つことになる。
【００１７】
閾値決定部１２は、作成したヒストグラムに基づき、画像内における被写体領域、暗部領域、ハイライト領域を判定するための閾値ｔｈ１，ｔｈ２を求める。図２（ａ）は、ヒストグラムの例を示す。閾値ｔｈ１はハイライト領域と被写体領域の境界に該当する閾値、閾値ｔｈ２は被写体領域内における暗部領域とその他の領域の境界に該当する閾値である。図２（ｂ）は、画像を領域判定した結果の一例を示す。上空部分がハイライト領域、被写体である建築物の影領域であって、何が写っているか視認困難な部分が暗部領域、それ以外の被写体部分が暗部領域以外の被写体領域として領域判定されている。閾値決定部１２では、このような領域判定を行うための閾値ｔｈ１，ｔｈ２を決定する。
【００１８】
図３（ａ）は、閾値決定部１２の構成を示す。図３（ａ）の１２０が第一の閾値決定部、１２１が第二の閾値決定部に該当する。ヒストグラム形状から適応的に背景と対象物を分離する二値化閾値を求める判別分析法を２回使用して閾値を決定する。
【００１９】
図３（ｂ）は、判別分析法を説明する図である。簡単に説明すると、ヒストグラムの入力の最小値ｓｔ〜閾値Ｔまでを一つのクラス、閾値Ｔ〜入力の最大値ｅｎまでを一つのクラスとして、判別分析法の評価値である（クラス間分散／クラス内分散）が最大になる閾値Ｔを求めることで、背景と対象物がよく分離され（即ちクラス間分散が大きい）、かつ、背景内および対象物内がよくまとまっている（即ちクラス内分散が小さい）二値化閾値を求める方法である。
【００２０】
判別分析法を用いることにより、分析範囲内における（局所的ではなく大局的な）谷位置を探すことができる。なお、判別分析法は、谷位置に該当する閾値を探すための手段として適切であるため、本実施例では判別分析法を使用した例を提示するが、判別分析法に近い精度で画像に対して適応的に谷位置を探すことができる方法であれば他の方法でも構わない。
【００２１】
判別分析法１２０１では、ヒストグラムの入力値の最小値から最大値までを分析範囲として（分析範囲１）判別分析法を適用し、二値化閾値ＴＨ１を求める。
【００２２】
暗画像判定部１２２では、閾値ＴＨ１を予め設定した閾値と比較することにより、入力画像が全体的に暗い画像であるか否かを判定する。ヒストグラムの入力輝度値が０〜２５５である場合、暗画像判定の閾値は５０くらいの値に設定するのが経験上妥当である。
【００２３】
ＴＨ１＜５０の場合は、全体的に暗い画像（暗画像）であると判定し、ＴＨ１≧５０の場合は、全体的に暗い画像ではないと判定する。なお、ここではＴＨ１を使って判定する例を示したが、暗画像を判定する他の手法として、例えば、ヒストグラムを暗い側から加算して、全体の１０％に該当する入力輝度値を求め、全体の１０％に該当する入力輝度値が予め設定した閾値よりも暗い側にあれば暗画像であると判定しても良い。
【００２４】
分析範囲２の設定部１２１１では、暗画像でない場合は、ヒストグラムの入力値のうち最小値から閾値ＴＨ１までの暗い側を分析範囲２として設定し、暗画像である場合は、ヒストグラムの入力値のうち閾値ＴＨ１から最大値までの明るい側を分析範囲２として設定する。
【００２５】
判別分析法１２１２では、設定した分析範囲２に対して判別分析法を適用し、閾値ＴＨ２を求める。閾値修正部１２０２は、暗画像である場合に、閾値ＴＨ１をＴＨ１よりも明るい値ＴＨ１’に修正する。修正方法に関しては後述する。暗画像でない場合はＴＨ１’＝ＴＨ１として修正は行わない。
【００２６】
３値化閾値決定部１２３では、暗画像でない場合は、ｔｈ１＝ＴＨ１’（＝ＴＨ１）、ｔｈ２＝ＴＨ２として閾値ｔｈ１，ｔｈ２を決定し、暗画像である場合は、ｔｈ１＝ＴＨ２、ｔｈ２＝ＴＨ１’として閾値ｔｈ１，ｔｈ２を決定する。
【００２７】
図４は、入力画像が暗画像でない場合の例であり、（ａ）はヒストグラム、（ｂ）は分析範囲１に対するクラス間分散とクラス内分散、（ｃ）は分析範囲１に対する判別分析法の評価値のグラフである。（ｂ）と（ｃ）の横軸は判別分析法の閾値Ｔである。分析範囲１と分析範囲２、および、決定される閾値は図示したとおりである。ＴＨ１よりも暗い側を分析範囲２として設定し、ＴＨ２を求めている。
【００２８】
図５は、入力画像が暗画像である場合の例であり、（ａ）はヒストグラム、（ｂ）は分析範囲１に対するクラス間分散とクラス内分散、（ｃ）は分析範囲１に対する判別分析法の評価値のグラフである。分析範囲１と分析範囲２、および、決定される閾値は図示したとおりである。ＴＨ１よりも明るい側を分析範囲２として設定し、ＴＨ２を求めている。
【００２９】
暗画像の場合、ハイライト側に山がないヒストグラム形状になっているため、第一の閾値決定部１２０で決定する谷位置に該当する閾値が、本来暗部領域として判定したい領域内における谷位置に設定されてしまう（そのためＴＨ１が５０未満の明らかに本来の暗部領域内であるはずの値になる）。これに対して暗画像か否かを区別せずに暗画像でない画像と同様の処理を行ってしまうと、次に決定される閾値ＴＨ２はＴＨ１よりも更に暗い値に設定されてしまい、本来の暗部領域内で閾値ｔｈ１，ｔｈ２が決定され狙い通りの領域判定ができない。
【００３０】
そこで、暗画像である場合には、分析範囲２をＴＨ１よりも明るい側に設定してＴＨ２が本来の暗部領域内の値でなく、それよりも明るい値に設定されるようにしている。その場合、ＴＨ１とＴＨ２の大小関係が暗画像でない場合とは逆になるので、３値化閾値決定部１２３では、ＴＨ１とＴＨ２の対応関係を逆転させてＴＨ２の方をハイライト領域と被写体領域の境界に該当する閾値ｔｈ１としている。
【００３１】
また、閾値ＴＨ１も前述の通り、本来の暗部領域内で設定されてしまっているので、閾値修正部１２０２では、ヒストグラム形状から見て、本来の暗部領域とその他の領域の境界付近と判断されるＴＨ１’へ修正している。
【００３２】
閾値修正部１２０２におけるＴＨ１’の求め方について説明する。図５の例では、本来暗部領域以外の画素はごく僅かで殆どが暗部領域の画素なので、図５（ａ）のヒストグラムでは、画素が集中している暗い側の輝度と、山が存在しない明るい側の輝度との境界付近（ヒストグラムの立下り位置）にＴＨ１’を設定し直したい。図５（ａ）のヒストグラムと図５（ｃ）の判別分析法の評価値を見比べると、ヒストグラムの立ち下がり位置は（ｃ）のグラフをハイライト側から見ていった時に最初に出現する評価値の変曲点と対応している。図５の例だけでなく、他の暗画像のヒストグラムおよび判別分析法の評価値でも同じ対応関係が成り立つ。
【００３３】
そこで、ハイライト側に最初に出現する変曲点の位置を求めて、閾値ＴＨ１の修正後の閾値ＴＨ１’とする。（ｃ）の変曲点は、閾値ＴＨ１と分析範囲１の最大値の位置における評価値グラフを直線で結び（図５（ｃ）のＡとＢ結んだ点線）、ＴＨ１よりも明るい範囲内でＡとＢ結んだ点線と評価値グラフの実線との距離が最大になる入力輝度値を見つけてそれをＴＨ１’とすることで求める。
【００３４】
画像サンプリング部３０は、画像が所定サイズよりも大きい場合には、画像を平均値でサンプリングする。使用する画像データの画素数が大きすぎると処理に時間がかかり、また性能面でも解像度が高すぎるとノイズの影響から階調補正のための補正量が正確に求められないことがあるので、画像が所定サイズよりも大きい場合には、画像を平均値でサンプリングする。例えば、長辺が６４０画素よりも大きい場合に、サンプリングを実施し、長辺の画素数が６４０の３倍の画像が入力された場合には、３×３画素毎に平均値を求めてサンプリング画像の画素値とする。
【００３５】
領域判定部４０は、サンプリング画像の各画素が暗部領域に属するか否か、ハイライト領域に属するか否かを、閾値ｔｈ１，ｔｈ２に基づき判定する。サンプリング画像のＲＧＢ値から輝度Ｙを求め、輝度Ｙを閾値ｔｈ１，ｔｈ２と比較する。
・Ｙ＜ｔｈ２、かつ、Ｍａｘ（Ｒ，Ｇ，Ｂ）−Ｍｉｎ（Ｒ，Ｇ，Ｂ）＜５０ならば、暗部領域の画素であると判定する。
・Ｙ≧ｔｈ１ならば、ハイライト領域の画素であると判定する。
【００３６】
暗部領域の画素の判定条件に、Ｍａｘ（Ｒ，Ｇ，Ｂ）−Ｍｉｎ（Ｒ，Ｇ，Ｂ）＜５０を加えているのは、彩度が比較的高く、視認可能な領域を暗部から除外して判定するためである。暗部領域とハイライト領域を判定することにより、どちらにも属さない画素は暗部領域以外の被写体領域に属する画素であることが自明であるので、図２（ｂ）のように画像を明るさに応じた３つの領域に分割する領域判定を行っていることになる。領域判定結果は２ビットで表し、最初の１ビットが暗部領域の画素であるか否かを表し、次の２ビットがハイライト領域の画素であるかを表すものとする。
【００３７】
階調補正テーブル生成部１９は、補正量決定部１８が決定した最終的な補正量Δに応じて階調補正テーブルを生成する。入力画像データや抽出した色情報等に基づき、第一の補正量生成部１５は、暗部領域の視認性向上に着目した補正量を生成し、第二の補正量生成部１６は、ハイライト領域の階調つぶれ抑制に着目した補正量を生成し、第三の補正量生成部１７は、補正前後で画像の印象を大きく変えないことに着目した補正量を生成し、補正量決定１８は、最終的な補正量Δを決定する。
【００３８】
図６は、最終的に作成する補正テーブルの形状を示したものである。補正テーブルは輝度Ｙの変換テーブルとする。制御点は、始点０と終点２５５以外では、入力Ｙ＝ｔｈ１，ｔｈ２，Ｙａの３点であり、各区間内では直線形状とする。制御点ｔｈ１とｔｈ２は前述の閾値決定部１２から出力される閾値であり、制御点Ｙａは後述の第一の補正量生成部１５から出力される暗部領域内の制御点である。補正量Δは、制御点Ｙａにおける入力Ｙに対する出力Ｙの増加分を表したものである。暗部領域における０≦入力Ｙ＜Ｙａの傾きα１は、ＹａとΔにより決まる。制約条件として、暗部領域以外の被写体領域に該当するｔｈ２≦入力Ｙ＜ｔｈ１で、傾きα３を１にして階調性を保存し、Ｙａ≦入力Ｙ＜ｔｈ２は区間境界で傾きが急激に変化することを防止するため傾きα２を傾きα１とα３の中間とする。これにより、３つの制御点と補正量Δが決まれば、補正テーブル全体が決まる。また、３つの制御点が決まっていれば、もう一つの情報は補正量Δでなくα４であっても、あるいは補正テーブルが通るどこか一点の入力と出力のデータセットであっても、上記制約条件から補正テーブル全体を決定することが可能である。
【００３９】
階調補正部２０は、生成した補正テーブルを基に、入力画像データの各画素に対して階調補正を施す。ＲＧＢから輝度変換により輝度Ｙを算出し、算出した輝度Ｙを入力として補正テーブルを参照して出力Ｙを求め、ＲＧＢの各信号に対して（出力Ｙ／入力Ｙ）を乗算したものを階調補正後のＲＧＢとする。
【００４０】
領域面積率計算部１３は、第一の補正量生成部１５で使用する暗部面積率Ｐｄと、第二の補正量生成部１６で使用するハイライト面積率Ｐｈを求めておく。
【００４１】
図７は、領域面積率計算部１３の構成を示す。図２（ａ）のヒストグラムと閾値ｔｈ１から、ハイライト／被写体画素数計数部１３０は、被写体領域の画素数Ｎａとハイライト領域の画素数Ｎｂを計数する。被写体領域の画素数はヒストグラムにおける０≦Ｙ＜ｔｈ１の画素数を全て足し合わせることで求められ、ハイライト領域の画素数はヒストグラムにおけるｔｈ１≦Ｙ≦２５５の画素数を全て足し合わせることで求められる。同様に、ヒストグラムと閾値ｔｈ２から、暗部画素数計数部１３２は、暗部領域の画素数Ｎｃを計数する。暗部領域の画素数はヒストグラムにおける０≦Ｙ＜ｔｈ２の画素数を全て足し合わせることにより求められる。
【００４２】
ハイライト面積率計算部１３１では、画像内におけるハイライト領域の面積率Ｐｈを次式で求める。
Ｐｈ＝Ｎｂ／（Ｎａ＋Ｎｂ）
暗部面積率計算部１３３では、被写体領域における暗部領域の面積率Ｐｄを次式で求める。
Ｐｄ＝Ｎｃ／Ｎａ
【００４３】
図８は、第一の補正量生成部１５の構成を示す。クラスタリング部１５３は、領域判定結果から暗部領域の画素であるか否かの情報を取得し、色変換部１５２でＬａｂに変換したサンプリング画像データを入力として、クラスタリングを行う。
【００４４】
図９は、クラスタリング部１５３の構成を示す。予備クラスタリング部１５６は、色差に応じて暗部領域判定結果を、１つ以上のクラスタに分割した後、クラスタ統合部１５７では、画素数の少ないクラスタを他のクラスタに統合する。
【００４５】
図１０は、予備クラスタリング部１５６の処理フローチャートである。注目画素のＬａｂを順次入力し（ステップ１５６１）、クラスタリングを行う。画像先端からスタートして初めて暗部領域の画素が入力された時点では、クラスタ数Ｎが初期化されてＮ＝０にセットされた状態であるため（ステップ１５６０）、色差による条件分岐（ステップ１５６５）で“Ｎｏ”の方に進んでクラスタ１を新規クラスタとして追加し、クラスタ数をＮ＝１に設定、クラスタ１の画素数をｎ（１）＝０に設定、クラスタ１の平均Ｌａｂに注目画素のＬａｂ値が設定される（ステップ１５６８，１５６９）。
【００４６】
その後は、順次入力される注目画素のＬａｂ値に対して、暗部領域の画素であれば（ステップ１５７０）、各クラスタの平均Ｌａｂとの色差を求め（ステップ１５６３）、その中で色差最小のクラスタ番号ｊと色差ｄＥ＿ｍｉｎの組を抽出する（ステップ１５６４）。色差による条件分岐（ステップ１５６５）で色差ｄＥ＿ｍｉｎが予め設定された閾値ｄＥ＿ｔｈ以下であれば“Ｙｅｓ”の方に進んでクラスタｊに注目画素を追加し、平均Ｌａｂを再計算する（ステップ１５６６，１５６７）。クラスタｊの画素数ｎ（ｊ）を＋１して、Ｌ＊ａ＊ｂ＊の平均値を以下の式に従い再計算する。
（再計算後の平均Ｌ）＝（（再計算前の平均Ｌ）×（ｎ（ｊ）−１）＋（注目画素のＬ））／ｎ（ｊ）
（再計算後の平均ａ）＝（（再計算前の平均ａ）×（ｎ（ｊ）−１）＋（注目画素のａ））／ｎ（ｊ）
（再計算後の平均ｂ）＝（（再計算前の平均ｂ）×（ｎ（ｊ）−１）＋（注目画素のｂ））／ｎ（ｊ）
色差による条件分岐（ステップ１５６５）で色差ｄＥ＿ｍｉｎが予め設定された閾値ｄＥ＿ｔｈより大きければ“Ｎｏ”の方に進んで新規クラスタを追加し、クラスタ数Ｎをカウントアップして新規クラスタの画素数を０に設定し、平均Ｌａｂに注目画素のＬａｂを設定する（ステップ１５６８，１５６９）。新規クラスタを追加するか否かの境界色差を表しているのがｄＥ＿ｔｈであり、暗部の何が写っているかはっきり視認できない領域を対象としていることを考慮してｄＥ＿ｔｈ＝３くらいの小さい値に設定しておくのが適当である。画像後端まで到達して入力するＬａｂデータが無くなった時点で、クラスタリング終了となる。
【００４７】
予備クラスタリング部１５６で分割されたクラスタのうち、ある程度画素数が少ないクラスタはノイズ成分に反応して発生したクラスタであることが多く、いずれにしても被写体を有意な塊単位で抽出する際に、不要または重要性が低いクラスタである。
【００４８】
図１１は、クラスタ統合部１５７の処理フローチャートである。各クラスタを順次見ていき、クラスタの画素数が所定閾値ｎ＿ｔｈより小さいか否かを判定し（ステップ１５７５）、小さい場合は注目クラスタｉの平均Ｌａｂと他のクラスタの平均Ｌａｂとの色差を求め（ステップ１５７６）、他のクラスタ全てに対して求めた色差のうち最小のものに該当するクラスタ番号ｊを抽出し（ステップ１５７７）、クラスタｉをクラスタｊに統合する（ステップ１５７８）。クラスタｊの画素数にクラスタｉの画素数を加算し、クラスタｉの画素数を０に変更する。統合するクラスタの画素数境界である閾値ｎ＿ｔｈは、暗部領域の画素数に対して例えば１５％（１０％〜２０％程度に設定するのが適当）の画素数に相当する値を画像毎に求めて、それを閾値とする。
【００４９】
図８に戻り、判断部１５４は、クラスタ数に応じて階調補正を行うか否か判断する。図１２、図１３（ａ）、（ｃ）はクラスタリング結果の例である。図１２（ａ）は、夜空を背景に花火を撮影した画像であり、暗部領域をクラスタリングした結果、暗部は全て一つのクラスタ（クラスタ１）になり、クラスタ数は１である。図１２（ｂ）は、夜間にライトアップされた建築物を撮影した画像であり、暗部領域をクラスタリングした結果、背景と建物が別々のクラスタに分割され、クラスタ数は２である。図１３（ａ）は、人物を逆光で撮影した画像であり、暗部は５つのクラスタに分割されている。図１３（ｂ）は花を撮影した画像であり、葉が重なり合って影になった暗部領域が存在する画像である。これをクラスタリングした結果が図１３（ｃ）であり、影に隠れた葉と葉脈が概ね別クラスタに分割され、クラスタ数は２である。
【００５０】
判断部１５４では、クラスタ数が１であれば階調補正を行わないと判断し、クラスタ数が１以外であれば階調補正を行うと判断する。これにより、夜空を背景に花火を撮影した画像のように暗部に該当する夜空に何もオブジェクトが潜んでおらず、明るく補正する必要がない画像が入力された場合に、階調補正を行わないと判断して処理することができる。
【００５１】
図１４は、第１の補正量決定部１５５の構成を示す。判断部１５４が階調補正を行わないと判断した場合は、選択部１５９はΔ１ｂ＝０を選択して、Δ１＝Δ１ａを補正量として出力することにより、実質的に階調補正を無効にする。判断部１５４が階調補正を行うと判断した場合は、補正量算出部１５８が算出した補正量Δ１ｂを選択して、Δ１＝Δ１ｂを補正量として出力する。
【００５２】
図１５は、補正量算出部１５８の構成を示す。第一のクラスタ抽出１５８０は、各クラスタの画素数を比較して画素数が最も多いクラスタとその次に多いクラスタを抽出する。２つのクラスタのうち明度が高い方をクラスタＡ、明度が低い方をクラスタＢと表記する。色差計算部１５８２では、クラスタＡとクラスタＢの補正前の平均Ｌａｂ同士の色差ｄＥ１を計算しておく。補正量生成部１５９２は補正量Δ１ｂを設定して、仮補正テーブル生成部１５９１は補正量に応じた仮補正テーブルを作成する。階調補正部１５８５は仮補正テーブルを用いた階調補正を、クラスタＡの平均Ｌａｂを色変換部１５８４でＲＧＢに変換したＲＧＢ＿ａと、クラスタＢの平均Ｌａｂを同じくＲＧＢに変換したＲＧＢ＿ｂに対して行い、補正後の値を色変換部１５８６で再度Ｌａｂ信号に変換する。色差計算部１５８７では、クラスタＡとクラスタＢの補正後の平均Ｌａｂ同士の色差ｄＥ２を計算する。色差比計算部１５８８では、補正前の色差ｄＥ１と補正後の色差ｄＥ２の比率を計算して求める。
【００５３】
第二のクラスタ抽出部１５８１では、最も暗いクラスタを抽出する。最も暗いクラスタをクラスタＣと表記する。ちなみに、画像によってはクラスタＢとクラスタＣが同じクラスタを指すこともあるが、それでも構わない。階調補正部１５８５では、仮補正テーブルを用いた階調補正を、クラスタＣの平均Ｌａｂを色変換部１５８４でＲＧＢに変換したＲＧＢ＿ｃに対して行い、補正後の値を色変換部１５８６で再度Ｌａｂ信号に変換する。
【００５４】
暗部補正量判定部１５８９では、以下の終了条件１または終了条件２を満たせば、その時点での補正量Δ１ｂを出力して終了する。どちらの終了条件も満たさなければ、補正量生成部１５９２では、変更した補正量を発生させ、終了条件を満足するまで処理を繰り返す。
［終了条件１］クラスタＡとクラスタＢの補正前後の色差比が、色差比目標値設定部１５８３に設定された目標値Ｘｄ以上である。
［終了条件２］クラスタＣの補正後の平均Ｌが、最暗クラスタの明度上限設定部１５９０に設定された上限値Ｌｃ＿ｔｈ以上である。
【００５５】
画素数が最も大きいクラスタと次に大きいクラスタの色差が補正前のＸ倍になるように補正するということは、他の面積の狭いクラスタ同士の色差比に着目して補正するよりも視認性が向上したことが観察者に認識されやすく、非常に効果的である。また、最も暗いクラスタが明るく補正されすぎないように補正量を制限することは、暗部ノイズが目立つ副作用を防止するのに有効である。
【００５６】
図１６は、最暗クラスタの補正量制限を説明する図である。（ａ）は暗部を示し、（ｂ）は暗部を拡大した図である。ＹｃとＹｃ＿ｔｈは、最暗クラスタの補正量制限をわかりやすく表現したものであり、ＹｃがクラスタＣの補正後の輝度を表しており、Ｙｃ＿ｔｈは上限値を輝度で表している。
【００５７】
図１５の補正量生成部１５９２は、Δ１ｂ＝０を初期値として、補正量生成の要求がある度に、Δ１ｂに＋１したものを次の補正量として発生させる。仮補正テーブル生成部１５９１では、ＲＧＢ＿ａを輝度変換して求めた輝度Ｙａを制御点として、図１６のような補正テーブルを作成する。制御点ＹａはクラスタＡ（面積が大きい２つのクラスタのうち明るい方）の輝度に該当する。制御点Ｙａにおける出力がＹａ＋Δ１ｂになるように補正テーブルを作成し、暗部領域以外は第一の補正量生成部１５で使用されず、どのように設定してもよいので、図１６のように、Ｙａ≦入力Ｙ＜２５５は直線で結んでおけば良い。
【００５８】
色差比目標値設定部１５８３では、暗部面積率Ｐｄに応じて色差比の目標値Ｘｄ＝３．５×Ｐｄを算出する。算出式は数十枚のサンプル画像を用意してどのくらいに設定すれば、ほぼ全ての画像（少なくとも用意したサンプルの８割）で適正な明るさに補正されるかを主観評価結果から導出したものである。被写体における暗部領域の占める割合が大きいほど暗部の視認性向上を重視した方が高評価を得る傾向があり、暗部領域の占める割合が小さいほど暗部以外の被写体画質を重視した方が高評価が得られ、暗部の視認性向上に対する要求レベルが下がる傾向があった。
【００５９】
最暗クラスタの明度上限設定部１５９０では、Ｌｃ＿ｔｈが１５くらいの値（１０〜１８の間）に設定されるのが適当である。これは予め決めておいた固定値でよい。
【００６０】
図１７は、第二の補正量生成部１６の構成を示す。第二の補正量生成部では、補正テーブルのハイライト領域における傾きα４’を補正量として求め、出力する。
【００６１】
ハイライト対象領域判定部１６０５では、領域判定結果からハイライト領域の画素であるか否かの情報を取得し、サンプリング画像のＲＧＢ値が全て２５５であるか否かを判定して、ＲＧＢ値が全て２５５である画素（白画素）を除外したハイライト領域を対象領域とする。
【００６２】
傾きα４’下限設定部１６００は、ハイライト面積率Ｐｈに応じてα４’の下限値Ｚ＝１／（−１．４×Ｐｈ＋２．４）を算出し、補正量生成部１６０１は、補正量の初期値としてＺを出力する。この算出式も主観評価結果から導出したものであり、画像内におけるハイライト対象領域の占める割合が大きいほどハイライトの階調つぶれ（白に飛んでしまうことも含む）が評価を下げる要因となる傾向があり、ハイライト対象領域の占める割合が小さいほどハイライトの階調つぶれよりも被写体画質が優先される傾向があった。補正量生成部１６０１では、以降要求がある度にα４’に＋０．０３したものを次の補正量として発生させる。
【００６３】
仮補正テーブル生成部１６０２では、ｔｈ１を制御点として、図１８のような補正テーブルを作成する。ハイライト領域であるｔｈ１≦入力Ｙ≦２５５で、傾きがα４’になるように補正テーブルを作成し、ハイライト領域以外は第二の補正量生成部１６で使用されず、どのように設定してもよいので、図１８のように０≦入力Ｙ＜ｔｈ１を直線で結んでおけば良い。
【００６４】
階調補正部１６０３は、作成した仮補正テーブルに基づき階調補正を行い、飽和画素判定部１６０６は、上記した対象領域であり、かつ、階調補正によって飽和したと判断された場合に、飽和画素であると判定する。階調補正によって飽和したかどうかは補正前後のＲＧＢ値を参照して判断する。ＲＧＢの３信号のうち補正後の値が（２５５−ｘ１）以上に飽和した信号数が、補正前に２５５に飽和している信号数よりも多ければ、階調補正によって飽和した画素であると判断する。ｘ１は飽和の判断を人の目視での判断に近づけるため、完全に２５５に飽和していないが飽和に近い画素も含めて飽和したと判定するためのパラメータであり、ｘ１＝２０くらいの値に設定しておくのが適当である。
【００６５】
飽和画素数計数部１６０７は、飽和したと判断された画素数Ｎｄを計数し、対象画素数計数部１６０８は、対象領域の画素数Ｎｅを計数する。飽和度算出部１６０９では、飽和度Ｐｗとして対象領域に対する飽和画素の割合を次式で求める。
Ｐｗ＝Ｎｄ／Ｎｅ
【００６６】
ハイライト補正量判定部１６１０では、飽和度が飽和度上限設定部１６１１に設定された上限値Ｘｈ以下になることを終了条件とし、終了条件を満たした時点でのα４’を補正量として出力して終了する。終了条件を満たさないうちは、補正量生成部１６０１は変更した補正量を発生させ、終了条件を満足するまで処理を繰り返す。
【００６７】
飽和度上限設定部１６１１では、Ｘｈが０．１５くらいの値（０．１〜０．２の間）に設定しておくのが適当である。予め決めておいた固定値でよい。
【００６８】
図１９（ａ）は、被写体代表色抽出部１４の構成を示す。被写体中央値抽出部１４６は、ヒストグラムから図１９（ｂ）に示す被写体領域における中央値Ｙｍを求める。Ｙ＝０から画素数を順に加算し、被写体領域の画素数の１／２以上になった時点での輝度値がＹｍである。次に、Ｙｍに対応するＬａｂ値を求める。サンプリング画像データの中から輝度値がＹｍに等しいものを中央値判定部１４８が抽出し、ＲＧＢ毎の加算演算部１４９では、輝度値がＹｍの画素の画素値をＲＧＢ毎に加算し、画像全体のＲＧＢ毎の加算が終了したら、ＲＧＢ平均値算出部１４００はＲＧＢ毎の加算値を中央値Ｙｍの画素数で割って輝度値がＹｍの画素のＲＧＢ平均値を算出し、色変換部１４０１ではＬａｂに変換したものを被写体の代表色Ｌａｂ＿ｄとして出力する。
【００６９】
図２０（ａ）は、第三の補正量生成部１７の構成を示す。第三の補正量生成部では、図２０（ｂ）に示すように、被写体の代表色Ｌａｂ＿ｄに対応する輝度Ｙｄにおける補正後の値をＹｄ＋βとして増加分βを補正量として求め、出力する。
【００７０】
色変換部１７０は、代表色Ｌａｂ＿ｄをＲＧＢに変換し、階調補正部１７３では、補正量生成部１７２で生成される補正量βに応じてＲＧＢ値を階調補正し、色変換部１７４は補正後の値をＬａｂに変換する。色差計算部１７５では、代表色の補正前後の色差を計算する。
【００７１】
被写体代表色補正量判定部１７６では、代表色の補正前後の色差が代表色補正量閾値設定部１７７に設定された閾値Ｘｍ以上になることを終了条件とし、終了条件を満たした時点でのβを補正量としてＹｄとセットで出力して終了する。終了条件を満たさないうちは、補正量生成部１７２は変更した補正量を発生させ、終了条件を満足するまで処理を繰り返す。
【００７２】
補正量生成部１７２は、β＝０を初期値として、補正量生成の要求がある度に、βに＋１したものを次の補正量として発生させる。
【００７３】
代表色補正量閾値設定部１７７では、予め決めておいた固定値を用いる場合、Ｘｍが１５くらいの値に設定するが、この値は、画像の過補正を防止して、印象を大きく変えない上限値（閾値）設定として適当である。
【００７４】
図２１は、補正量決定部１８の構成を示す。補正量Δ２算出部１８０では、図６に示した関係を使って、ハイライトの傾きがα４’である場合の補正量Δを求め、それをΔ２として出力する。補正量Δ３算出部１８１では、図６に示した関係を使って、補正テーブルが入力Ｙｄ、出力Ｙｄ＋βの点を通る場合の補正量Δを求め、それをΔ３として出力する。ここで、Δ２およびΔ３の算出には、図６より制御点Ｙａ，ｔｈ１，ｔｈ２のデータが必要であるので、補正量Δ２算出部１８０および補正量Δ３算出部１８１にＹａ，ｔｈ１，ｔｈ２を入力している。第一の補正量生成部１５で生成された補正量Δ１と、補正量Δ２算出部１８０で生成された補正量Δ２と、補正量Δ３算出部１８１で生成された補正量Δ３を参照して、最小値選択部１８２では、最小のものを選択して出力する（Δ＝ｍｉｎ（Δ１，Δ２，Δ３））。
【００７５】
以上、本実施例によれば、分析範囲を変えて判別分析法を２度適用し、ヒストグラムの谷位置を閾値として決定することにより、明るさに応じた領域判定のための閾値決定を適切に行うことができる。暗画像であるか否かを判定し、２回目の判別分析法（第二の閾値決定）の分析範囲を暗画像でない場合はＴＨ１よりも暗い側、暗画像である場合にはＴＨ１よりも明るい側に設定していることにより、いずれの場合も狙い通りの閾値設定を行うことができる。また、領域判定のための２つの閾値を折点とする折れ線形状の階調補正テーブルを作成し、折れ線形状の階調補正テーブルを使用して階調補正を行うため、画像処理による不自然な階調性劣化を防ぐことができる。
【００７６】
本発明によれば、入力画像のヒストグラムを作成し、前記ヒストグラムを分析して、ヒストグラムの谷位置に該当する第一の閾値を決定し、入力画像が全体的に暗い画像でない場合には、前記ヒストグラムのうち第一の閾値よりも暗い部分のヒストグラムを分析して、ヒストグラムの谷位置に該当する第二の閾値を決定し、第一の閾値および第二の閾値に基づき、入力画像を明るさに応じた少なくとも３つの領域に分割する領域判定を行い、領域判定の判定結果に基づき、入力画像に対して画像処理を行うため、入力画像を少なくとも暗部領域とハイライト領域とその他の領域の領域に分割し、各領域の特徴に基づいて適切な画像処理パラメータ（例えば階調補正テーブル）を設定し、好適な画像処理を行うことがきる。
【００７７】
また、本発明によれば、入力画像が全体的に暗い画像である場合には、第二の閾値決定手段は、前記ヒストグラムのうち第一の閾値よりも明るい部分のヒストグラムを分析して、ヒストグラムの谷位置に該当する第二の閾値を決定するため、入力画像が暗画像である場合も、領域判定のための閾値決定を狙い通りに行うことができる。
【００７８】
また、本発明によれば、入力画像が全体的に暗い画像である場合には、第一の閾値を明るい値に修正するため、本来は暗部領域である領域内に設定されてしまった第一の閾値を適切な値に設定し直すことができ、入力画像が暗画像である場合も、領域判定のための閾値決定を狙い通りに行うことができる。
【００７９】
さらに、本発明によれば、前記第一の閾値または明るい値に修正された第一の閾値および前記第二の閾値を折点とする折れ線形状の階調補正テーブルを作成し、前記階調補正テーブルに従って入力画像の階調を補正するため、画像処理による不自然な階調性劣化を防ぐことができる。
【実施例２】
【００８０】
実施例１では、領域判定部４０が明るさに応じて画像をハイライト領域と暗部領域とその他（暗部領域以外の被写体領域）の３つに分割する領域判定を行い、領域判定結果を第一の補正量生成部１５と第二の補正量生成部１６が参照する例を示したが、第一の補正量生成部１５が参照するのは暗部領域か否かの情報のみであるし、第二の補正量生成部１６が参照するのはハイライト領域か否かの情報のみであり、必ずしも１つの処理ブロックで全ての領域判定を完了させて領域判定結果を後段の処理ブロックに渡す必要はない。
【００８１】
図２２は、本発明の実施例２の構成を示す。本実施例では、予め全ての領域判定を完了させて後段に渡すのではなく、領域判定に必要な閾値を渡して第一の補正量生成部１５の内部で暗部領域であるか否かの判定を行い、第二の補正量生成部１６の内部でハイライト領域であるか否かの判定を行う。
【００８２】
図２３は、実施例２における第一の補正量生成部１５の構成を示す。サンプリング画像のＲＧＢ値を輝度変換部１５０で輝度値Ｙに変換し、暗部領域判定部１５１では、Ｙ＜ｔｈ２、かつ、Ｍａｘ（Ｒ，Ｇ，Ｂ）−Ｍｉｎ（Ｒ，Ｇ，Ｂ）＜５０ならば、暗部領域の画素であると判定する。クラスタリング部１５３は、暗部領域判定結果と、色変換部１５２でＬａｂに変換したサンプリング画像データを入力として、クラスタリングを行う。
【００８３】
図２４は、実施例２における第二の補正量生成部１６の構成を示す。サンプリング画像のＲＧＢ値を輝度変換部１６０４で輝度値に変換し、ハイライト対象領域判定部１６０５では、ｔｈ１≦Ｙ＜２５５であればハイライト対象領域の画素であると判定する。ここではＹ＝２５５である画素（白画素）をハイライト領域から除外した領域を対象領域とする。後の処理は実施例１と同様である。
【００８４】
本実施例では、実施例１とは異なり、１つの処理ブロックで全ての領域判定が完了しているわけではなく、第一の補正量生成部１５の内部における暗部領域判定部１５１と第二の補正量生成部１６の内部におけるハイライト対象領域判定部１６０５に分散して暗部領域か否か、ハイライト領域か否かの領域判定を行っているが、結果として得られる領域判定結果は、実質的には実施例１と同じであり、階調補正量および補正画像も実施例１と同じものが得られる。つまり、領域判定の処理ブロックが分散していても、全体としてみて、明るさに応じて画像を実質的に３つに分割する領域判定を行い、各領域の画像特徴に基づいて補正量を生成し、明るさに応じて画像を３つに領域分割する領域判定部を実質的に有していると言える。領域判定結果ではなく、閾値ｔｈ１，ｔｈ２を各補正量生成部１５、１６に渡すことにより、画像全体の領域判定結果を保持するための記憶領域が不要になり、低コストで実現することが出来るメリットがある。
【００８５】
以上、本実施例によれば、領域判定の処理ブロックを分散させて実装することにより、画像全体の領域判定結果を保持するための記憶領域が不要になり、低コストで実現できる。
【００８６】
本発明は、前述した実施例の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（ＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても達成される。この場合、記憶媒体から読出されたプログラムコード自体が前述した各実施例の機能を実現することになる。プログラムコードを供給するための記憶媒体としては、例えば、ハードディスク、光ディスク、光磁気ディスク、不揮発性のメモリカード、ＲＯＭなどを用いることができる。また、コンピュータが読出したプログラムコードを実行することにより、前述した実施例の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した各実施例の機能が実現される場合も含まれる。さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した各実施例の機能が実現される場合も含まれる。また、本発明の実施例の機能等を実現するためのプログラムは、ネットワークを介した通信によってサーバから提供されるものでも良い。
【符号の説明】
【００８７】
１０ 輝度変換部
１１ ヒストグラム作成部
１２ 閾値決定部
１３ 領域面積率計算部
１４ 被写体代表色抽出部
１５ 第一の補正量生成部
１６ 第二の補正量生成部
１７ 第三の補正量生成部
１８ 補正量決定部
１９ 階調補正テーブル作成部
２０ 階調補正部
３０ 画像サンプリング部
４０ 領域判定部
【先行技術文献】
【特許文献】
【００８８】
【特許文献１】特開２００３−６９８２５号公報
【特許文献２】特開２００３−６９８２２号公報
【特許請求の範囲】
【請求項１】
入力画像のヒストグラムを作成するヒストグラム作成手段と、前記ヒストグラムを分析して、ヒストグラムの谷位置に該当する第一の閾値を決定する第一の閾値決定手段と、前記入力画像が全体的に暗い画像であるか否かを判定する暗画像判定手段と、前記暗画像判定手段の判定結果に応じて前記ヒストグラムの所定範囲を分析して、ヒストグラムの谷位置に該当する第二の閾値を決定する第二の閾値決定手段と、前記暗画像判定手段の判定結果に基づいて前記第一の閾値を修正する閾値修正手段と、前記第一の閾値または修正された第一の閾値および前記第二の閾値に基づいて、前記入力画像を明るさに応じた少なくとも３つの領域に分割する領域判定を行う領域判定手段と、前記領域判定手段の判定結果に基づいて、前記入力画像に対して画像処理を行う画像処理手段とを備えることを特徴とする画像処理装置。
【請求項２】
前記入力画像が全体的に暗い画像でないと判定された場合には、前記第二の閾値決定手段は、前記ヒストグラムのうち前記第一の閾値よりも暗い部分のヒストグラムを分析して、ヒストグラムの谷位置に該当する第二の閾値を決定することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記入力画像が全体的に暗い画像であると判定された場合には、前記第二の閾値決定手段は、前記ヒストグラムのうち前記第一の閾値よりも明るい部分のヒストグラムを分析して、ヒストグラムの谷位置に該当する第二の閾値を決定し、前記閾値修正手段は、前記第一の閾値を明るい値に修正することを特徴とする請求項１記載の画像処理装置。
【請求項４】
前記画像処理手段は、前記入力画像の階調を補正する階調補正手段であり、前記第一の閾値または修正された第一の閾値および前記第二の閾値を折点とする折れ線形状の階調補正テーブルを作成する階調補正テーブル作成手段を備え、前記階調補正テーブルに従って前記入力画像の階調を補正することを特徴とする請求項１記載の画像処理装置。
【請求項５】
入力画像のヒストグラムを作成するヒストグラム作成工程と、前記ヒストグラムを分析して、ヒストグラムの谷位置に該当する第一の閾値を決定する第一の閾値決定工程と、前記入力画像が全体的に暗い画像であるか否かを判定する暗画像判定工程と、前記暗画像判定工程の判定結果に応じて前記ヒストグラムの所定範囲を分析して、ヒストグラムの谷位置に該当する第二の閾値を決定する第二の閾値決定工程と、前記暗画像判定工程の判定結果に基づいて前記第一の閾値を修正する閾値修正工程と、前記第一の閾値または修正された第一の閾値および前記第二の閾値に基づいて、前記入力画像を明るさに応じた少なくとも３つの領域に分割する領域判定を行う領域判定工程と、前記領域判定工程の判定結果に基づき、前記入力画像に対して画像処理を行う画像処理工程とを備えることを特徴とする画像処理方法。
【請求項６】
請求項５記載の画像処理方法をコンピュータに実現させるためのプログラム。
【請求項７】
請求項５記載の画像処理方法をコンピュータに実現させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１】
入力画像のヒストグラムを作成するヒストグラム作成手段と、前記ヒストグラムを分析して、ヒストグラムの谷位置に該当する第一の閾値を決定する第一の閾値決定手段と、前記入力画像が全体的に暗い画像であるか否かを判定する暗画像判定手段と、前記暗画像判定手段の判定結果に応じて前記ヒストグラムの所定範囲を分析して、ヒストグラムの谷位置に該当する第二の閾値を決定する第二の閾値決定手段と、前記暗画像判定手段の判定結果に基づいて前記第一の閾値を修正する閾値修正手段と、前記第一の閾値または修正された第一の閾値および前記第二の閾値に基づいて、前記入力画像を明るさに応じた少なくとも３つの領域に分割する領域判定を行う領域判定手段と、前記領域判定手段の判定結果に基づいて、前記入力画像に対して画像処理を行う画像処理手段とを備えることを特徴とする画像処理装置。
【請求項２】
前記入力画像が全体的に暗い画像でないと判定された場合には、前記第二の閾値決定手段は、前記ヒストグラムのうち前記第一の閾値よりも暗い部分のヒストグラムを分析して、ヒストグラムの谷位置に該当する第二の閾値を決定することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記入力画像が全体的に暗い画像であると判定された場合には、前記第二の閾値決定手段は、前記ヒストグラムのうち前記第一の閾値よりも明るい部分のヒストグラムを分析して、ヒストグラムの谷位置に該当する第二の閾値を決定し、前記閾値修正手段は、前記第一の閾値を明るい値に修正することを特徴とする請求項１記載の画像処理装置。
【請求項４】
前記画像処理手段は、前記入力画像の階調を補正する階調補正手段であり、前記第一の閾値または修正された第一の閾値および前記第二の閾値を折点とする折れ線形状の階調補正テーブルを作成する階調補正テーブル作成手段を備え、前記階調補正テーブルに従って前記入力画像の階調を補正することを特徴とする請求項１記載の画像処理装置。
【請求項５】
入力画像のヒストグラムを作成するヒストグラム作成工程と、前記ヒストグラムを分析して、ヒストグラムの谷位置に該当する第一の閾値を決定する第一の閾値決定工程と、前記入力画像が全体的に暗い画像であるか否かを判定する暗画像判定工程と、前記暗画像判定工程の判定結果に応じて前記ヒストグラムの所定範囲を分析して、ヒストグラムの谷位置に該当する第二の閾値を決定する第二の閾値決定工程と、前記暗画像判定工程の判定結果に基づいて前記第一の閾値を修正する閾値修正工程と、前記第一の閾値または修正された第一の閾値および前記第二の閾値に基づいて、前記入力画像を明るさに応じた少なくとも３つの領域に分割する領域判定を行う領域判定工程と、前記領域判定工程の判定結果に基づき、前記入力画像に対して画像処理を行う画像処理工程とを備えることを特徴とする画像処理方法。
【請求項６】
請求項５記載の画像処理方法をコンピュータに実現させるためのプログラム。
【請求項７】
請求項５記載の画像処理方法をコンピュータに実現させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【公開番号】特開２０１０−１６６１４３（Ｐ２０１０−１６６１４３Ａ）
【公開日】平成２２年７月２９日（２０１０．７．２９）
【国際特許分類】
【出願番号】特願２００９−４７９７（Ｐ２００９−４７９７）
【出願日】平成２１年１月１３日（２００９．１．１３）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
【公開日】平成２２年７月２９日（２０１０．７．２９）
【国際特許分類】
【出願日】平成２１年１月１３日（２００９．１．１３）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
[ Back to top ]