画像処理装置、画像処理方法
【課題】煩雑な処理を行なうことなく、良好な輝度補正を行なうことができる画像処理装置を提供する。
【解決手段】原画像の推定照明光成分を算出する照明光成分推定部１２０と、推定照明光成分を補正した補正推定照明光成分を出力する推定照明光成分補正部１３０と、原画像の輝度成分を補正された推定照明光成分で除算することで輝度成分を補正するレチネックス処理部１４０と、補正された輝度成分のゲイン調整を行なうゲイン調整部とを備え、推定照明光成分補正部は、０から基準値までの値の推定照明光成分は、補正推定照明光成分の最大値に変換し、基準値より大きい値の推定照明光成分は、推定照明光成分の値よりも補正推定照明光成分の値が大きな値となるように変換し、かつ、推定照明光成分の値が大きくなるにつれて、補正推定照明光成分の増加率が減少するような特性を用いる画像処理装置。
【解決手段】原画像の推定照明光成分を算出する照明光成分推定部１２０と、推定照明光成分を補正した補正推定照明光成分を出力する推定照明光成分補正部１３０と、原画像の輝度成分を補正された推定照明光成分で除算することで輝度成分を補正するレチネックス処理部１４０と、補正された輝度成分のゲイン調整を行なうゲイン調整部とを備え、推定照明光成分補正部は、０から基準値までの値の推定照明光成分は、補正推定照明光成分の最大値に変換し、基準値より大きい値の推定照明光成分は、推定照明光成分の値よりも補正推定照明光成分の値が大きな値となるように変換し、かつ、推定照明光成分の値が大きくなるにつれて、補正推定照明光成分の増加率が減少するような特性を用いる画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に係り、特に、煩雑な処理を行なうことなく、良好な輝度補正を行なうことができる画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
逆光などの偏った照明条件下で被写体を撮像したときに、照明の当たり具合によって明度差が非常に大きく、見にくい画像が生成されることがある。このような画像を画像処理によって補正することで、画像を見やすく改良することが行なわれている。
【０００３】
画像処理の方法として、原画像から照明光成分を抽出して、原画像の輝度成分を、照明光成分を用いて補正するレチネックス（Retinex）処理が知られている。レチネックス処理は、人の視覚は照明光を除去して外界を見る、明暗恒常性や色恒常性を備えているというレチネックス理論に基づく手法である。
【０００４】
レチネックス理論によると人間の視覚は各物体の反射率成分の比によって色を知覚する。反射率成分は、照明に依存しない被写体の画像成分である。これに対し、映像機器等に撮像された原画像は受光した物理的な光量によって各画素の値が決定されており、反射率成分と照明光成分との積で表わされる。したがって、原画像から照明光成分を分離して反射率成分を得ることによって、照明光成分に依存しない適切な画像を得ることができると考えられる。
【０００５】
レチネックス処理は、ＳＳＲ（Single-Scale-Retinex）、ＭＳＲ（Multi-Scale-Retinex）、ＬＲ（Linear Retinex）等種々の手法が提案されている。ここでは、簡易的に、数１に示すＬＲ法を例に説明する。
【数１】
【０００６】
数１において、Ｉi（ｘ，ｙ）は原画像の画素（ｘ，ｙ）の画素値であり、Ｙ（ｘ，ｙ）は原画像の画素（ｘ，ｙ）の輝度成分、Ｒi（ｘ，ｙ）は原画像Ｉi（ｘ，ｙ）の補正結果である。ｉは、原画像Ｉの各成分であり、原画像ＩがＲＧＢ成分で表される場合、ｉ＝Ｒ，Ｇ，Ｂとなる。右辺分母は、照明光成分に相当するものであり、輝度成分をぼかした画像が推定照明光成分として用いられている。Ｆは、画素（ｘ，ｙ）を周辺の画素を用いて平坦化するフィルタ関数であり、ガウスフィルタ等を用いることができる。
【０００７】
数１では、原画像の画素（ｘ，ｙ）の輝度成分を、輝度成分をぼかして得られる推定照明光成分で割るため、除算結果は１周辺に分布することになる。右辺Ａは、この分布を輝度信号のレンジ、例えば０〜２５５に対応させるためのゲイン補正値である。ゲイン補正値には、必要に応じてオフセット補正値が用いられたり、クリップが行なわれたりする。
【０００８】
例えば、ある原画像の輝度成分が図９（ａ）に示すような分布であったとする。本図において、横軸は輝度値を示し、縦軸は画素数を示しており、輝度値の低い暗部と輝度値の高い明部に画素が集中しており、輝度差の大きな画像となっている。
【０００９】
図９（ｂ）は、原画像の輝度成分をぼかして得られた推定照明光成分の分布を示したものであり、図９（ｃ）は、原画像の輝度成分を推定照明光成分で割った後の輝度分布を示したものである。
【００１０】
図９（ｃ）において、値が１に集中しているが、これらは、原画像の輝度成分値と、そのぼけ画像である推定照明光成分値とがほぼ等しい画素であると考えられる。すなわち、周囲の画素との変化が少ない一様な明るさの低空間周波数領域の画素である。
【００１１】
一方で、値が０に近い画素は、自身が低輝度で周辺が高輝度な画素と考えられ、値が大きな画素は、自身が高輝度で周辺が低輝度な画素と考えられる。前者の場合は、周辺に対して暗く補正され、後者の場合は周辺に対して明るく補正される。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】特開２００５−０３９４５８号公報
【特許文献２】特開２００８−７２４５０号公報
【発明の概要】
【発明が解決しようとする課題】
【００１３】
上述のように、図９（ｃ）に示した原画像の輝度成分を推定照明光成分で割った後の輝度分布に対して、輝度信号のレンジ、例えば、０〜２５５に対応させるためにゲイン補正が行なわれる。ゲインの設定によって白飛びが数多く発生したり、暗部ノイズが強調されたりして画像の品質に影響を与えるため、ゲイン設定は適切に行なう必要がある。しかしながら、輝度分布の形状や範囲は画像毎に異なるため、その画像に適したゲインを設定するのは困難であり、処理が煩雑化するという問題がある。
【００１４】
また、一様な明るさの低空間周波数領域は、原画像の輝度にかかわらず、推定照明光成分で割った後の値が１周辺の値となるため、明るい領域は暗く、暗い領域は明るく補正される傾向となる。このため、空などの色変化の少ない領域に、低周波領域のコントラストが低下する現象が発生するという問題もある。
【００１５】
さらには、エッジ部分等の周囲画素との輝度差が大きい領域では、推定照明光成分が輝度信号を平滑化して得られることに起因して、明るい方の境界部分が極端に高輝度に補正され、暗い方の境界部分が極端に低輝度に補正されるハロ（halo）と呼ばれる現象が発生するという問題がある。特に、逆光画像などにおいて、人物などの主たる被写体と背景の境界部分の明るい部分が極端に明るくされる高輝度側のハロが問題とされている。ハロに対しては、推定照明光成分の算出に際し、エッジ保存型のフィルタを適用することで抑制することが提案されているが、エッジ保存型のフィルタは計算量が多く、処理が煩雑化してしまう。
【００１６】
そこで、本発明は、煩雑な処理を行なうことなく、良好な輝度補正を行なうことができる画像処理装置および画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【００１７】
上記課題を解決するため、本発明の第１の態様である画像処理装置は、原画像の推定照明光成分を算出する照明光成分推定部と、前記推定照明光成分を補正した補正推定照明光成分を出力する推定照明光成分補正部と、前記原画像の輝度成分を前記補正推定照明光成分で除算することで前記輝度成分を補正するレチネックス処理部と、補正された前記輝度成分のゲイン調整を行なうゲイン調整部とを備え、前記推定照明光成分補正部は、０から基準値までの値の推定照明光成分は、補正推定照明光成分の最大値に変換し、前記基準値より大きい値の推定照明光成分は、推定照明光成分の値よりも補正推定照明光成分の値が大きな値となるように変換し、かつ、前記推定照明光成分の値が大きくなるにつれて、前記補正推定照明光成分の増加率が減少するような特性を用いることを特徴とする。
【００１８】
ここで、前記ゲイン調整部は、前記原画像の内容にかかわらず、一律のゲイン値を補正された前記輝度成分に乗ずることでゲイン調整を行なうことができる。
【００１９】
また、前記推定照明光成分補正部は、前記基準値より大きい値の推定照明光成分を、推定照明光成分の値の０．３乗で示す特性よりも大きな値の補正推定照明光成分に変換することが望ましい。
【００２０】
上記課題を解決するため、本発明の第２の態様である画像処理方法は、原画像の推定照明光成分を算出する照明光成分推定ステップと、前記推定照明光を補正した補正推定照明光成分を出力する推定照明光成分補正ステップと、前記原画像の輝度成分を前記補正推定照明光成分で除算することで前記輝度成分を補正するレチネックス処理ステップと、補正された前記輝度成分のゲイン調整を行なうゲイン調整ステップとを有し、前記推定照明光成分補正ステップは、０から基準値までの値の推定照明光成分は、補正推定照明光成分の最大値に変換し、前記基準値より大きい値の推定照明光成分は、推定照明光成分の値よりも補正推定照明光成分の値が大きな値となるように変換し、かつ、前記推定照明光成分の値が大きくなるにつれて、前記補正推定照明光成分の増加率が減少するような特性を用いることを特徴とすることを特徴とする。
【発明の効果】
【００２１】
本発明によれば、煩雑な処理を行なうことなく、良好な輝度補正を行なうことができる画像処理装置および画像処理方法が提供される。
【図面の簡単な説明】
【００２２】
【図１】本実施形態に係る画像処理装置の構成を示すブロック図である。
【図２】本実施形態における画像補正の手順について説明するフローチャートである。
【図３】推定照明光成分の補正例について説明する図である。
【図４】本実施形態の推定照明光成分の補正について説明する図である。
【図５】本実施形態の推定照明光成分の補正結果例について説明する図である。
【図６】推定照明光成分の補正が補正画像に与える影響を概説するための図である。
【図７】特性曲線の別例について説明する図である。
【図８】ハロに対する効果を説明する図である。
【図９】従来の輝度分布と推定照明光成分分布と除算結果の輝度分布を示す図である。
【発明を実施するための形態】
【００２３】
本発明の実施の形態について図面を参照して詳細に説明する。図１は、本実施形態に係る画像処理装置の構成を示すブロック図である。本実施形態において、画像処理装置１０は、原画像Ｉを入力し、レチネックス処理による輝度補正を施した補正画像ＩRを出力する処理を行なう。
【００２４】
本図に示すように、画像処理装置１０は、画像入力部１１０、照明光成分推定部１２０、推定照明光成分補正部１３０、レチネックス処理部１４０、ゲイン調整部１５０、画像出力部１６０を備えている。
【００２５】
画像入力部１１０は、原画像Ｉを入力する。原画像Ｉは、例えば、撮像装置によって撮像された画像とすることができ、静止画像、動画像を構成する画像のいずれであってもよい。このとき、原画像ＩがＲＧＢ形式の画像であれば、ＹＵＶ変換を行なう。ここで、ＹＵＶ形式は、画像信号を輝度信号Ｙ、色差信号（Ｃｂ）Ｕ、色差信号（Ｃｒ）Ｖで表現する形式である。ＹＵＶ形式に変換された原画像Ｉは、輝度信号Ｙi、色差信号（Ｃｂ）Ｕi、色差信号（Ｃｒ）Ｖiで表わすものとする。原画像Ｉが、輝度成分が分離された形式の画像フォーマットであれば、ＹＵＶ形式への変換処理は不要である。
【００２６】
照明光成分推定部１２０は、原画像Ｉの輝度信号Ｙiに対してフィルタリング処理を行なうことにより平坦化し、推定照明光成分Ｌを算出する。フィルタリングに用いる関数は、例えば、ガウス関数とすることができる。ガウス関数では、参照する周辺画素量を定めるスケールが設定されるが、用いるスケールは単数であっても、複数であってもよい。複数のスケールを用いる場合は、それぞれのスケールの大きさを異ならせ、それぞれに対して重み付けを行なうことができる。
【００２７】
推定照明光成分補正部１３０は、推定照明光成分Ｌに対する補正を行ない、補正推定照明光成分Ｌ’を生成する。推定照明光成分Ｌに対する補正は、本実施形態における特徴部分の１つである。推定照明光成分補正部１３０が行なう推定照明光成分Ｌに対する補正の具体的な内容については後述する。
【００２８】
レチネックス処理部１４０は、原画像Ｉの輝度信号Ｙiを、補正推定照明光成分Ｌ’で除算することにより補正し、補正輝度信号Ｙ’を生成する。以下では、原画像Ｉの輝度信号Ｙiを、推定照明光成分Ｌあるいは補正推定照明光成分Ｌ’で除算する処理をレチネックス処理と称する。
【００２９】
ゲイン調整部１５０は、１の周辺に分布する補正輝度信号Ｙ’を輝度信号のレンジに対応させるためのゲイン補正を行ない、調整補正後輝度信号ＹRを生成する。後述するように、本実施形態では、補正輝度信号Ｙ’は、ほぼ１以下の領域に分布するようになるため、画像の内容によらず、ゲイン値を一律に設定することができる。このため、画像毎に適切なゲインを設定する煩雑な処理を省くことができる。ゲイン値は、例えば、輝度信号のレンジが０〜２５５であれば、２５５とすることができる。この場合、オフセット値の設定は必須ではない。
【００３０】
画像出力部１６０は、原画像Ｉの輝度信号Ｙiが調整補正後輝度信号ＹRに補正された補正画像ＩRを出力する。補正画像ＩRをＲＧＢ形式で出力する場合には、ＹＵＶ形式からＲＧＢ形式への変換を行なう。ＲＧＢ形式への変換は、調整補正後輝度信号ＹRと、色差信号（Ｃｂ）Ｕiと、色差信号（Ｃｒ）Ｖiとを用いて行なう。
【００３１】
次に、本実施形態の画像処理装置１０における画像補正の手順について図２のフローチャートを参照して説明する。
【００３２】
まず、画像入力部１１０が、ＲＧＢ形式の原画像Ｉを入力する（Ｓ１０１）。画像入力部１１０は、ＲＧＢ形式の原画像ＩをＹＵＶ形式に変換する（Ｓ１０２）。ＹＵＶ形式に変換された後の原画像Ｉは、輝度信号Ｙi、色差信号（Ｃｂ）Ｕi、色差信号（Ｃｒ）Ｖiで表わすことができる。
【００３３】
そして、照明光成分推定部１２０において、輝度信号Ｙiをフィルタリングすることにより、推定照明光成分Ｌを生成する（Ｓ１０３）。フィルタリングは、複数のスケールを用いたガウス関数とするが、ローパスフィルタ等の他の平滑化フィルタを用いるようにしてもよい。また、他の手法により、照明光成分を推定するようにしてもよい。例えば、輝度信号に代えて、ＲＧＢ形式のＧ信号を用いるようにしてもよい。
【００３４】
推定照明光成分Ｌは、推定照明光成分補正部１３０において補正され、補正推定照明光成分Ｌ’が生成される（Ｓ１０４）。本処理の詳細な内容については後述する。
【００３５】
次いで、レチネックス処理部１４０が、原画像Ｉの輝度信号Ｙiを、補正推定照明光成分Ｌ’で除算することにより補正し、補正輝度信号Ｙ’を生成する（Ｓ１０５）。この補正輝度信号Ｙ’をゲイン調整部１５０が、例えば、ゲイン値を一律に２５５としたゲイン調整を行なって、調整補正後輝度信号ＹRを生成する（Ｓ１０６）。
【数２】
【００３６】
数２において、Ｙi（ｘ，ｙ）は原画像の画素（ｘ，ｙ）の輝度成分、ＹR（ｘ，ｙ）は補正後の（ｘ，ｙ）の輝度成分である。本実施形態では、上述した数１で示すＬＲ法に換えて、数２で示す輝度成分のみの補正を行うＬＲ法を用いるものである。
【００３７】
そして、画像出力部１６０が、調整補正後輝度信号ＹRと、原画像の色差信号（Ｃｂ）Ｕiと色差信号（Ｃｒ）Ｖiとを用いてＲＧＢ形式への変換を行ない（Ｓ１０７）、補正画像ＩRとして出力する（Ｓ１０８）。
【００３８】
次に、本実施形態における推定照明光成分Ｌの補正について説明する。本補正は、推定照明光成分補正部１３０が、上述のステップＳ１０４の処理において行なうものであり、補正の結果、補正推定照明光成分Ｌ’が生成される。
【００３９】
本補正の第１の目的は、補正輝度信号Ｙ’の分布を、なるべく補正前の傾向を保ったまま、１以下の領域に収めることである。これにより、一律のゲイン値を用いることができるようになり、画像毎に最適なゲイン値を設定する必要がなくなる。補正輝度信号Ｙ’は、原画像Ｉの輝度信号Ｙiを推定照明光成分Ｌで除算することにより得られることから、補正輝度信号Ｙ’の分布を１以下の範囲に収めるためには、推定照明光成分Ｌの値が大きくなるような傾向で補正すればよいことになる。
【００４０】
そこで、特許文献２の図５に記載されているように、平均輝度から得られる推定照明光成分Ｌを、図３（ａ）の曲線Ｑ１に示すような特性で補正することが考えられる。この結果、図９（ｂ）に示した推定照明光成分Ｌの分布は、図３（ｂ）に示すように、より低輝度の部分が高輝度になる傾向で、推定照明光成分Ｌが全体的に高輝度方向に圧縮された分布形状に補正される。
【００４１】
この補正推定照明光成分Ｌ’を用いて、原画像Ｉの輝度信号Ｙiの除算を行なうと、図３（ｃ）に示すような分布形状の補正輝度信号Ｙ’を得ることができる。補正輝度信号Ｙ’は、ほぼ１以下の範囲に収まっているため、ゲイン値を一律に設定することができ、画像毎に最適なゲイン値を設定する必要がなくなることになる。
【００４２】
しかしながら、図３（ａ）の曲線Ｑ１に示すような特性で推定照明光成分Ｌを補正すると、補正画像ＩRにおいて暗部ノイズが強調され、また、最低輝度である黒の部分が明るく補正されてしまう黒浮きと呼ばれる現象が発生する場合があり、必ずしも良好な補正画像が得られないという問題がある。
【００４３】
ここで、推定照明光成分Ｌの補正が補正画像に与える影響を、図６を参照して概説し、これらの問題が発生する理由について説明する。
【００４４】
図６に示した補正特性において、直線βは、補正前後の値が等しくなるため、推定照明光成分Ｌの補正を行なわないことと同義である。すなわち、原画像Ｉの輝度信号Ｙiを推定照明光成分Ｌで割るという従来のレチネックス処理と同様の効果を得ることができる。具体的には、暗い部分が明るく補正され、明るい部分が暗く補正されることになる。
【００４５】
一方、図６に示した補正特性において、直線αは、推定照明光成分Ｌの値を一律に最大値に置き換えることになる。原画像Ｉの輝度信号Ｙiを最大値で一律に割ると、原画像Ｉの輝度信号Ｙiが元の分布形状のまま、０〜１の範囲に正規化されることになる。すなわち、レチネックス処理による画像補正が行なわれないことと同等である。つまり、特性を示す線の傾きが大きいほど、暗い部分を明るく補正し、明るい部分を暗く補正するレチネックス効果が高いことになる。
【００４６】
したがって、図３（ａ）の曲線Ｑ１が示す補正特性は、傾きが少ない高輝度部分は原画像があまり補正されず、傾きが大きい低輝度部分ほど、レチネックス効果により明るく補正されることになる。一般に、暗い部分は暗部ノイズが含まれており、レチネックス効果により、暗部が明るく補正されると暗部ノイズまで強調されてしまう。また、最低輝度の黒の部分も補正により輝度が高く補正されることになり、黒浮きが発生することになる。
【００４７】
そこで、本実施形態では、推定照明光成分Ｌを、図４（ａ）のＰ１が示す特性を用いて補正することとする。本図に示すように特性Ｐ１は、推定照明光成分Ｌにおける輝度０からＸまでの低輝度部分を、推定照明光成分Ｌのスケールの最大値に変換し、輝度Ｘ＋１以降は、補正推定照明光成分Ｌ’の値が推定照明光成分Ｌよりも大きく変換され、かつ、推定照明光成分Ｌの輝度が高くなるにつれて、補正推定照明光成分Ｌ'の値の増加率が減少するような形状となっている。
【００４８】
本補正により、推定照明光成分Ｌにおける輝度０からＸまでの低輝度部分は、直線αと同一であるため暗部を明るくするレチネックス処理が行なわれないことになる。このため、補正画像ＩRにおいて暗部ノイズは強調されず、また、黒浮きが発生することを防ぐことができる。
【００４９】
なお、推定照明光成分Ｌにおける輝度０を最大値に補正することにより、従来、原画像Ｉの輝度信号Ｙiを推定照明光成分Ｌで割る際に考慮しなければならなかったゼロ割に対する特例処理を省くことができるようになるという効果も得られる。
【００５０】
また、本補正により、推定照明光成分Ｌの輝度Ｘ＋１以上の暗部から明部にかけては、十分なレチネックス効果が得られるため、コントラストが改善された補正画像ＩRを得ることができる。さらに、輝度が高くなっていくにしたがって、レチネックス効果が弱まっていくため、明るい部分が必要以上に暗く補正されることによる低周波領域のコントラスト低下を防ぐことができる。
【００５１】
なお、推定照明光Ｌのフルスケールが２５５の場合、Ｘの値は、２〜４とすることが、多くの撮影シーンに対して適切であることが実験により導出されている。さらには、入力画像Ｉが撮像装置からの画像である場合、撮像装置に用いられている撮像素子の暗部ノイズ特性に応じてＸの値を設定することが望ましい。例えば、暗部ノイズが広範囲に発生する場合には、Ｘの値を大きくすることができる。また、Ｘの値を可変とし、撮像装置内のＡＧＣ（Auto Gain Control）機能と連動させる方法も有効である。
【００５２】
特性Ｐ１において、輝度値がＸ＋１以上の部分では、カーブを描くことにより、推定照明光成分Ｌの値が低い部分で傾きが大きくなってレチネックス効果が高くなる。また、推定照明光成分Ｌの値が高い部分で傾きが小さくなってレチネックス効果が低くなる。このカーブは数３で表わされるカーブ（図４（ａ）中の曲線γ）よりも出力値を高く設定することで、入力画像によらず、暗い部分を明るく補正し、明るい部分は補正をほぼ行なわない、良好なコントラスト改善結果が得られることが実験により導出された。
【数３】
【００５３】
特性Ｐ１を用いることにより、推定照明光成分Ｌは、いずれの輝度範囲においても大きくなる傾向で補正されるため、図９（ｂ）に示した推定照明光成分Ｌの分布は、図４（ｂ）に示すように、より低輝度の部分が高輝度になる傾向で、推定照明光成分Ｌが全体的に高輝度方向に圧縮された分布形状の補正推定照明光成分Ｌ’に補正される。
【００５４】
この補正推定照明光成分Ｌ’を用いて、レチネックス処理を行なうと、図４（ｃ）に示すような分布形状の補正輝度信号Ｙ’を得ることができる。補正輝度信号Ｙ’は、図９（ａ）に示す原画像の輝度分布の傾向を残したまま、ほぼ１以下の範囲に収まっているため、ゲイン値を一律に設定することができ、画像毎に最適なゲイン値を設定する必要がなくなることになる。
【００５５】
図５（ａ）は、原画像Ｉの例を示し、図５（ｂ）は、原画像Ｉの推定照明光成分Ｌに対して本実施形態の補正を施した補正推定照明光成分Ｌ’の例を示している。図５（ｃ）は、補正推定照明光成分Ｌ’を用いて補正を行なった補正画像ＩRの例である。図４（ｂ）、図４（ｃ）に示したヒストグラムは、図５（ｂ）、図５（ｃ）に対応したものである。ここで、ゲイン値は２５５としている。本図の例からも、画像毎に最適なゲイン値を設定することなく、良好な輝度補正結果が得られていることが分かる。
【００５６】
なお、図４（ａ）は、ＸとＸ＋１の部分において特性Ｐ１に連続性を持たせた特性としたが、実装上は、推定照明光成分補正部１３０の設計を容易にするため、図７に示すＰ１’のように、輝度Ｘ以下の固定値特性と、輝度Ｘ＋１以上の漸次増加カーブ特性とをつなぎ合わせた特性としてもよい。
【００５７】
最後に、本実施形態の推定照明光成分Ｌの補正によるハロ抑制効果について説明する。図８（ａ）は、中央にエッジを含む一次元の画素列を想定したものであり、入力画像のエッジ部分の輝度値と、実際の照明光成分と、実際の照明光成分が得られたと仮定した場合のレチネックス処理後の補正輝度値との関係を模式的に示した図である。この後、補正輝度値は、ゲイン値が乗算され、出力画像に変換される。
【００５８】
図８（ｂ）は、同じ入力画像の輝度値に対して、補正を行なわない推定照明光成分を用いてレチネックス処理を行なった場合を示している。推定照明光成分は入力画像の輝度信号をフィルタリングによってぼかして得られるため、エッジ部分が正確に再現できず、平滑化されている。このため、レチネックス処理後の補正輝度値にエッジ成分が残ってしまう。この補正輝度値にゲイン値を乗じることにより、エッジ部分のみ輝度値が大きくなるハロが発生する。
【００５９】
これに対して、図８（ｃ）は、推定照明光成分に対して、本実施形態による補正を行なった補正推定照明光成分を用いてレチネックス処理を行なった場合を示している。推定照明光成分の明るい部分の補正量は少なく、最低輝度部分を除いた暗い部分が明るく非線形に圧縮されるように補正されるため、レチネックス処理後の補正輝度値は、ある程度のダイナミックレンジを有することになる。この結果、エッジ部分の輝度値の突出が目立たなくなり、明るい部分のハロの発生が抑制されることになる。
【００６０】
以上説明したように、本実施形態の画像処理装置１０によれば、０から基準値までの値は、最大値に変換し、基準値より後は、元の値よりも大きな値に変換し、かつ、値が大きくなるにつれて、傾きが減少するような特性を用いて推定照明光成分を補正して、レチネックス処理を行なうため、画像毎にゲイン値、オフセット値の設定を行なう必要がなくなるとともに、低輝度ノイズが目立たず、黒浮き、低周波領域のコントラスト低下、ハロが抑制された補正画像を得ることができる。すなわち、煩雑な処理を行なうことなく、良好な輝度補正を行なうことができるようになる。
【符号の説明】
【００６１】
１０…画像処理装置
１１０…画像入力部
１２０…照明光成分推定部
１３０…推定照明光成分補正部
１４０…レチネックス処理部
１５０…ゲイン調整部
１６０…画像出力部
【技術分野】
【０００１】
本発明は、画像処理装置に係り、特に、煩雑な処理を行なうことなく、良好な輝度補正を行なうことができる画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
逆光などの偏った照明条件下で被写体を撮像したときに、照明の当たり具合によって明度差が非常に大きく、見にくい画像が生成されることがある。このような画像を画像処理によって補正することで、画像を見やすく改良することが行なわれている。
【０００３】
画像処理の方法として、原画像から照明光成分を抽出して、原画像の輝度成分を、照明光成分を用いて補正するレチネックス（Retinex）処理が知られている。レチネックス処理は、人の視覚は照明光を除去して外界を見る、明暗恒常性や色恒常性を備えているというレチネックス理論に基づく手法である。
【０００４】
レチネックス理論によると人間の視覚は各物体の反射率成分の比によって色を知覚する。反射率成分は、照明に依存しない被写体の画像成分である。これに対し、映像機器等に撮像された原画像は受光した物理的な光量によって各画素の値が決定されており、反射率成分と照明光成分との積で表わされる。したがって、原画像から照明光成分を分離して反射率成分を得ることによって、照明光成分に依存しない適切な画像を得ることができると考えられる。
【０００５】
レチネックス処理は、ＳＳＲ（Single-Scale-Retinex）、ＭＳＲ（Multi-Scale-Retinex）、ＬＲ（Linear Retinex）等種々の手法が提案されている。ここでは、簡易的に、数１に示すＬＲ法を例に説明する。
【数１】
【０００６】
数１において、Ｉi（ｘ，ｙ）は原画像の画素（ｘ，ｙ）の画素値であり、Ｙ（ｘ，ｙ）は原画像の画素（ｘ，ｙ）の輝度成分、Ｒi（ｘ，ｙ）は原画像Ｉi（ｘ，ｙ）の補正結果である。ｉは、原画像Ｉの各成分であり、原画像ＩがＲＧＢ成分で表される場合、ｉ＝Ｒ，Ｇ，Ｂとなる。右辺分母は、照明光成分に相当するものであり、輝度成分をぼかした画像が推定照明光成分として用いられている。Ｆは、画素（ｘ，ｙ）を周辺の画素を用いて平坦化するフィルタ関数であり、ガウスフィルタ等を用いることができる。
【０００７】
数１では、原画像の画素（ｘ，ｙ）の輝度成分を、輝度成分をぼかして得られる推定照明光成分で割るため、除算結果は１周辺に分布することになる。右辺Ａは、この分布を輝度信号のレンジ、例えば０〜２５５に対応させるためのゲイン補正値である。ゲイン補正値には、必要に応じてオフセット補正値が用いられたり、クリップが行なわれたりする。
【０００８】
例えば、ある原画像の輝度成分が図９（ａ）に示すような分布であったとする。本図において、横軸は輝度値を示し、縦軸は画素数を示しており、輝度値の低い暗部と輝度値の高い明部に画素が集中しており、輝度差の大きな画像となっている。
【０００９】
図９（ｂ）は、原画像の輝度成分をぼかして得られた推定照明光成分の分布を示したものであり、図９（ｃ）は、原画像の輝度成分を推定照明光成分で割った後の輝度分布を示したものである。
【００１０】
図９（ｃ）において、値が１に集中しているが、これらは、原画像の輝度成分値と、そのぼけ画像である推定照明光成分値とがほぼ等しい画素であると考えられる。すなわち、周囲の画素との変化が少ない一様な明るさの低空間周波数領域の画素である。
【００１１】
一方で、値が０に近い画素は、自身が低輝度で周辺が高輝度な画素と考えられ、値が大きな画素は、自身が高輝度で周辺が低輝度な画素と考えられる。前者の場合は、周辺に対して暗く補正され、後者の場合は周辺に対して明るく補正される。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】特開２００５−０３９４５８号公報
【特許文献２】特開２００８−７２４５０号公報
【発明の概要】
【発明が解決しようとする課題】
【００１３】
上述のように、図９（ｃ）に示した原画像の輝度成分を推定照明光成分で割った後の輝度分布に対して、輝度信号のレンジ、例えば、０〜２５５に対応させるためにゲイン補正が行なわれる。ゲインの設定によって白飛びが数多く発生したり、暗部ノイズが強調されたりして画像の品質に影響を与えるため、ゲイン設定は適切に行なう必要がある。しかしながら、輝度分布の形状や範囲は画像毎に異なるため、その画像に適したゲインを設定するのは困難であり、処理が煩雑化するという問題がある。
【００１４】
また、一様な明るさの低空間周波数領域は、原画像の輝度にかかわらず、推定照明光成分で割った後の値が１周辺の値となるため、明るい領域は暗く、暗い領域は明るく補正される傾向となる。このため、空などの色変化の少ない領域に、低周波領域のコントラストが低下する現象が発生するという問題もある。
【００１５】
さらには、エッジ部分等の周囲画素との輝度差が大きい領域では、推定照明光成分が輝度信号を平滑化して得られることに起因して、明るい方の境界部分が極端に高輝度に補正され、暗い方の境界部分が極端に低輝度に補正されるハロ（halo）と呼ばれる現象が発生するという問題がある。特に、逆光画像などにおいて、人物などの主たる被写体と背景の境界部分の明るい部分が極端に明るくされる高輝度側のハロが問題とされている。ハロに対しては、推定照明光成分の算出に際し、エッジ保存型のフィルタを適用することで抑制することが提案されているが、エッジ保存型のフィルタは計算量が多く、処理が煩雑化してしまう。
【００１６】
そこで、本発明は、煩雑な処理を行なうことなく、良好な輝度補正を行なうことができる画像処理装置および画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【００１７】
上記課題を解決するため、本発明の第１の態様である画像処理装置は、原画像の推定照明光成分を算出する照明光成分推定部と、前記推定照明光成分を補正した補正推定照明光成分を出力する推定照明光成分補正部と、前記原画像の輝度成分を前記補正推定照明光成分で除算することで前記輝度成分を補正するレチネックス処理部と、補正された前記輝度成分のゲイン調整を行なうゲイン調整部とを備え、前記推定照明光成分補正部は、０から基準値までの値の推定照明光成分は、補正推定照明光成分の最大値に変換し、前記基準値より大きい値の推定照明光成分は、推定照明光成分の値よりも補正推定照明光成分の値が大きな値となるように変換し、かつ、前記推定照明光成分の値が大きくなるにつれて、前記補正推定照明光成分の増加率が減少するような特性を用いることを特徴とする。
【００１８】
ここで、前記ゲイン調整部は、前記原画像の内容にかかわらず、一律のゲイン値を補正された前記輝度成分に乗ずることでゲイン調整を行なうことができる。
【００１９】
また、前記推定照明光成分補正部は、前記基準値より大きい値の推定照明光成分を、推定照明光成分の値の０．３乗で示す特性よりも大きな値の補正推定照明光成分に変換することが望ましい。
【００２０】
上記課題を解決するため、本発明の第２の態様である画像処理方法は、原画像の推定照明光成分を算出する照明光成分推定ステップと、前記推定照明光を補正した補正推定照明光成分を出力する推定照明光成分補正ステップと、前記原画像の輝度成分を前記補正推定照明光成分で除算することで前記輝度成分を補正するレチネックス処理ステップと、補正された前記輝度成分のゲイン調整を行なうゲイン調整ステップとを有し、前記推定照明光成分補正ステップは、０から基準値までの値の推定照明光成分は、補正推定照明光成分の最大値に変換し、前記基準値より大きい値の推定照明光成分は、推定照明光成分の値よりも補正推定照明光成分の値が大きな値となるように変換し、かつ、前記推定照明光成分の値が大きくなるにつれて、前記補正推定照明光成分の増加率が減少するような特性を用いることを特徴とすることを特徴とする。
【発明の効果】
【００２１】
本発明によれば、煩雑な処理を行なうことなく、良好な輝度補正を行なうことができる画像処理装置および画像処理方法が提供される。
【図面の簡単な説明】
【００２２】
【図１】本実施形態に係る画像処理装置の構成を示すブロック図である。
【図２】本実施形態における画像補正の手順について説明するフローチャートである。
【図３】推定照明光成分の補正例について説明する図である。
【図４】本実施形態の推定照明光成分の補正について説明する図である。
【図５】本実施形態の推定照明光成分の補正結果例について説明する図である。
【図６】推定照明光成分の補正が補正画像に与える影響を概説するための図である。
【図７】特性曲線の別例について説明する図である。
【図８】ハロに対する効果を説明する図である。
【図９】従来の輝度分布と推定照明光成分分布と除算結果の輝度分布を示す図である。
【発明を実施するための形態】
【００２３】
本発明の実施の形態について図面を参照して詳細に説明する。図１は、本実施形態に係る画像処理装置の構成を示すブロック図である。本実施形態において、画像処理装置１０は、原画像Ｉを入力し、レチネックス処理による輝度補正を施した補正画像ＩRを出力する処理を行なう。
【００２４】
本図に示すように、画像処理装置１０は、画像入力部１１０、照明光成分推定部１２０、推定照明光成分補正部１３０、レチネックス処理部１４０、ゲイン調整部１５０、画像出力部１６０を備えている。
【００２５】
画像入力部１１０は、原画像Ｉを入力する。原画像Ｉは、例えば、撮像装置によって撮像された画像とすることができ、静止画像、動画像を構成する画像のいずれであってもよい。このとき、原画像ＩがＲＧＢ形式の画像であれば、ＹＵＶ変換を行なう。ここで、ＹＵＶ形式は、画像信号を輝度信号Ｙ、色差信号（Ｃｂ）Ｕ、色差信号（Ｃｒ）Ｖで表現する形式である。ＹＵＶ形式に変換された原画像Ｉは、輝度信号Ｙi、色差信号（Ｃｂ）Ｕi、色差信号（Ｃｒ）Ｖiで表わすものとする。原画像Ｉが、輝度成分が分離された形式の画像フォーマットであれば、ＹＵＶ形式への変換処理は不要である。
【００２６】
照明光成分推定部１２０は、原画像Ｉの輝度信号Ｙiに対してフィルタリング処理を行なうことにより平坦化し、推定照明光成分Ｌを算出する。フィルタリングに用いる関数は、例えば、ガウス関数とすることができる。ガウス関数では、参照する周辺画素量を定めるスケールが設定されるが、用いるスケールは単数であっても、複数であってもよい。複数のスケールを用いる場合は、それぞれのスケールの大きさを異ならせ、それぞれに対して重み付けを行なうことができる。
【００２７】
推定照明光成分補正部１３０は、推定照明光成分Ｌに対する補正を行ない、補正推定照明光成分Ｌ’を生成する。推定照明光成分Ｌに対する補正は、本実施形態における特徴部分の１つである。推定照明光成分補正部１３０が行なう推定照明光成分Ｌに対する補正の具体的な内容については後述する。
【００２８】
レチネックス処理部１４０は、原画像Ｉの輝度信号Ｙiを、補正推定照明光成分Ｌ’で除算することにより補正し、補正輝度信号Ｙ’を生成する。以下では、原画像Ｉの輝度信号Ｙiを、推定照明光成分Ｌあるいは補正推定照明光成分Ｌ’で除算する処理をレチネックス処理と称する。
【００２９】
ゲイン調整部１５０は、１の周辺に分布する補正輝度信号Ｙ’を輝度信号のレンジに対応させるためのゲイン補正を行ない、調整補正後輝度信号ＹRを生成する。後述するように、本実施形態では、補正輝度信号Ｙ’は、ほぼ１以下の領域に分布するようになるため、画像の内容によらず、ゲイン値を一律に設定することができる。このため、画像毎に適切なゲインを設定する煩雑な処理を省くことができる。ゲイン値は、例えば、輝度信号のレンジが０〜２５５であれば、２５５とすることができる。この場合、オフセット値の設定は必須ではない。
【００３０】
画像出力部１６０は、原画像Ｉの輝度信号Ｙiが調整補正後輝度信号ＹRに補正された補正画像ＩRを出力する。補正画像ＩRをＲＧＢ形式で出力する場合には、ＹＵＶ形式からＲＧＢ形式への変換を行なう。ＲＧＢ形式への変換は、調整補正後輝度信号ＹRと、色差信号（Ｃｂ）Ｕiと、色差信号（Ｃｒ）Ｖiとを用いて行なう。
【００３１】
次に、本実施形態の画像処理装置１０における画像補正の手順について図２のフローチャートを参照して説明する。
【００３２】
まず、画像入力部１１０が、ＲＧＢ形式の原画像Ｉを入力する（Ｓ１０１）。画像入力部１１０は、ＲＧＢ形式の原画像ＩをＹＵＶ形式に変換する（Ｓ１０２）。ＹＵＶ形式に変換された後の原画像Ｉは、輝度信号Ｙi、色差信号（Ｃｂ）Ｕi、色差信号（Ｃｒ）Ｖiで表わすことができる。
【００３３】
そして、照明光成分推定部１２０において、輝度信号Ｙiをフィルタリングすることにより、推定照明光成分Ｌを生成する（Ｓ１０３）。フィルタリングは、複数のスケールを用いたガウス関数とするが、ローパスフィルタ等の他の平滑化フィルタを用いるようにしてもよい。また、他の手法により、照明光成分を推定するようにしてもよい。例えば、輝度信号に代えて、ＲＧＢ形式のＧ信号を用いるようにしてもよい。
【００３４】
推定照明光成分Ｌは、推定照明光成分補正部１３０において補正され、補正推定照明光成分Ｌ’が生成される（Ｓ１０４）。本処理の詳細な内容については後述する。
【００３５】
次いで、レチネックス処理部１４０が、原画像Ｉの輝度信号Ｙiを、補正推定照明光成分Ｌ’で除算することにより補正し、補正輝度信号Ｙ’を生成する（Ｓ１０５）。この補正輝度信号Ｙ’をゲイン調整部１５０が、例えば、ゲイン値を一律に２５５としたゲイン調整を行なって、調整補正後輝度信号ＹRを生成する（Ｓ１０６）。
【数２】
【００３６】
数２において、Ｙi（ｘ，ｙ）は原画像の画素（ｘ，ｙ）の輝度成分、ＹR（ｘ，ｙ）は補正後の（ｘ，ｙ）の輝度成分である。本実施形態では、上述した数１で示すＬＲ法に換えて、数２で示す輝度成分のみの補正を行うＬＲ法を用いるものである。
【００３７】
そして、画像出力部１６０が、調整補正後輝度信号ＹRと、原画像の色差信号（Ｃｂ）Ｕiと色差信号（Ｃｒ）Ｖiとを用いてＲＧＢ形式への変換を行ない（Ｓ１０７）、補正画像ＩRとして出力する（Ｓ１０８）。
【００３８】
次に、本実施形態における推定照明光成分Ｌの補正について説明する。本補正は、推定照明光成分補正部１３０が、上述のステップＳ１０４の処理において行なうものであり、補正の結果、補正推定照明光成分Ｌ’が生成される。
【００３９】
本補正の第１の目的は、補正輝度信号Ｙ’の分布を、なるべく補正前の傾向を保ったまま、１以下の領域に収めることである。これにより、一律のゲイン値を用いることができるようになり、画像毎に最適なゲイン値を設定する必要がなくなる。補正輝度信号Ｙ’は、原画像Ｉの輝度信号Ｙiを推定照明光成分Ｌで除算することにより得られることから、補正輝度信号Ｙ’の分布を１以下の範囲に収めるためには、推定照明光成分Ｌの値が大きくなるような傾向で補正すればよいことになる。
【００４０】
そこで、特許文献２の図５に記載されているように、平均輝度から得られる推定照明光成分Ｌを、図３（ａ）の曲線Ｑ１に示すような特性で補正することが考えられる。この結果、図９（ｂ）に示した推定照明光成分Ｌの分布は、図３（ｂ）に示すように、より低輝度の部分が高輝度になる傾向で、推定照明光成分Ｌが全体的に高輝度方向に圧縮された分布形状に補正される。
【００４１】
この補正推定照明光成分Ｌ’を用いて、原画像Ｉの輝度信号Ｙiの除算を行なうと、図３（ｃ）に示すような分布形状の補正輝度信号Ｙ’を得ることができる。補正輝度信号Ｙ’は、ほぼ１以下の範囲に収まっているため、ゲイン値を一律に設定することができ、画像毎に最適なゲイン値を設定する必要がなくなることになる。
【００４２】
しかしながら、図３（ａ）の曲線Ｑ１に示すような特性で推定照明光成分Ｌを補正すると、補正画像ＩRにおいて暗部ノイズが強調され、また、最低輝度である黒の部分が明るく補正されてしまう黒浮きと呼ばれる現象が発生する場合があり、必ずしも良好な補正画像が得られないという問題がある。
【００４３】
ここで、推定照明光成分Ｌの補正が補正画像に与える影響を、図６を参照して概説し、これらの問題が発生する理由について説明する。
【００４４】
図６に示した補正特性において、直線βは、補正前後の値が等しくなるため、推定照明光成分Ｌの補正を行なわないことと同義である。すなわち、原画像Ｉの輝度信号Ｙiを推定照明光成分Ｌで割るという従来のレチネックス処理と同様の効果を得ることができる。具体的には、暗い部分が明るく補正され、明るい部分が暗く補正されることになる。
【００４５】
一方、図６に示した補正特性において、直線αは、推定照明光成分Ｌの値を一律に最大値に置き換えることになる。原画像Ｉの輝度信号Ｙiを最大値で一律に割ると、原画像Ｉの輝度信号Ｙiが元の分布形状のまま、０〜１の範囲に正規化されることになる。すなわち、レチネックス処理による画像補正が行なわれないことと同等である。つまり、特性を示す線の傾きが大きいほど、暗い部分を明るく補正し、明るい部分を暗く補正するレチネックス効果が高いことになる。
【００４６】
したがって、図３（ａ）の曲線Ｑ１が示す補正特性は、傾きが少ない高輝度部分は原画像があまり補正されず、傾きが大きい低輝度部分ほど、レチネックス効果により明るく補正されることになる。一般に、暗い部分は暗部ノイズが含まれており、レチネックス効果により、暗部が明るく補正されると暗部ノイズまで強調されてしまう。また、最低輝度の黒の部分も補正により輝度が高く補正されることになり、黒浮きが発生することになる。
【００４７】
そこで、本実施形態では、推定照明光成分Ｌを、図４（ａ）のＰ１が示す特性を用いて補正することとする。本図に示すように特性Ｐ１は、推定照明光成分Ｌにおける輝度０からＸまでの低輝度部分を、推定照明光成分Ｌのスケールの最大値に変換し、輝度Ｘ＋１以降は、補正推定照明光成分Ｌ’の値が推定照明光成分Ｌよりも大きく変換され、かつ、推定照明光成分Ｌの輝度が高くなるにつれて、補正推定照明光成分Ｌ'の値の増加率が減少するような形状となっている。
【００４８】
本補正により、推定照明光成分Ｌにおける輝度０からＸまでの低輝度部分は、直線αと同一であるため暗部を明るくするレチネックス処理が行なわれないことになる。このため、補正画像ＩRにおいて暗部ノイズは強調されず、また、黒浮きが発生することを防ぐことができる。
【００４９】
なお、推定照明光成分Ｌにおける輝度０を最大値に補正することにより、従来、原画像Ｉの輝度信号Ｙiを推定照明光成分Ｌで割る際に考慮しなければならなかったゼロ割に対する特例処理を省くことができるようになるという効果も得られる。
【００５０】
また、本補正により、推定照明光成分Ｌの輝度Ｘ＋１以上の暗部から明部にかけては、十分なレチネックス効果が得られるため、コントラストが改善された補正画像ＩRを得ることができる。さらに、輝度が高くなっていくにしたがって、レチネックス効果が弱まっていくため、明るい部分が必要以上に暗く補正されることによる低周波領域のコントラスト低下を防ぐことができる。
【００５１】
なお、推定照明光Ｌのフルスケールが２５５の場合、Ｘの値は、２〜４とすることが、多くの撮影シーンに対して適切であることが実験により導出されている。さらには、入力画像Ｉが撮像装置からの画像である場合、撮像装置に用いられている撮像素子の暗部ノイズ特性に応じてＸの値を設定することが望ましい。例えば、暗部ノイズが広範囲に発生する場合には、Ｘの値を大きくすることができる。また、Ｘの値を可変とし、撮像装置内のＡＧＣ（Auto Gain Control）機能と連動させる方法も有効である。
【００５２】
特性Ｐ１において、輝度値がＸ＋１以上の部分では、カーブを描くことにより、推定照明光成分Ｌの値が低い部分で傾きが大きくなってレチネックス効果が高くなる。また、推定照明光成分Ｌの値が高い部分で傾きが小さくなってレチネックス効果が低くなる。このカーブは数３で表わされるカーブ（図４（ａ）中の曲線γ）よりも出力値を高く設定することで、入力画像によらず、暗い部分を明るく補正し、明るい部分は補正をほぼ行なわない、良好なコントラスト改善結果が得られることが実験により導出された。
【数３】
【００５３】
特性Ｐ１を用いることにより、推定照明光成分Ｌは、いずれの輝度範囲においても大きくなる傾向で補正されるため、図９（ｂ）に示した推定照明光成分Ｌの分布は、図４（ｂ）に示すように、より低輝度の部分が高輝度になる傾向で、推定照明光成分Ｌが全体的に高輝度方向に圧縮された分布形状の補正推定照明光成分Ｌ’に補正される。
【００５４】
この補正推定照明光成分Ｌ’を用いて、レチネックス処理を行なうと、図４（ｃ）に示すような分布形状の補正輝度信号Ｙ’を得ることができる。補正輝度信号Ｙ’は、図９（ａ）に示す原画像の輝度分布の傾向を残したまま、ほぼ１以下の範囲に収まっているため、ゲイン値を一律に設定することができ、画像毎に最適なゲイン値を設定する必要がなくなることになる。
【００５５】
図５（ａ）は、原画像Ｉの例を示し、図５（ｂ）は、原画像Ｉの推定照明光成分Ｌに対して本実施形態の補正を施した補正推定照明光成分Ｌ’の例を示している。図５（ｃ）は、補正推定照明光成分Ｌ’を用いて補正を行なった補正画像ＩRの例である。図４（ｂ）、図４（ｃ）に示したヒストグラムは、図５（ｂ）、図５（ｃ）に対応したものである。ここで、ゲイン値は２５５としている。本図の例からも、画像毎に最適なゲイン値を設定することなく、良好な輝度補正結果が得られていることが分かる。
【００５６】
なお、図４（ａ）は、ＸとＸ＋１の部分において特性Ｐ１に連続性を持たせた特性としたが、実装上は、推定照明光成分補正部１３０の設計を容易にするため、図７に示すＰ１’のように、輝度Ｘ以下の固定値特性と、輝度Ｘ＋１以上の漸次増加カーブ特性とをつなぎ合わせた特性としてもよい。
【００５７】
最後に、本実施形態の推定照明光成分Ｌの補正によるハロ抑制効果について説明する。図８（ａ）は、中央にエッジを含む一次元の画素列を想定したものであり、入力画像のエッジ部分の輝度値と、実際の照明光成分と、実際の照明光成分が得られたと仮定した場合のレチネックス処理後の補正輝度値との関係を模式的に示した図である。この後、補正輝度値は、ゲイン値が乗算され、出力画像に変換される。
【００５８】
図８（ｂ）は、同じ入力画像の輝度値に対して、補正を行なわない推定照明光成分を用いてレチネックス処理を行なった場合を示している。推定照明光成分は入力画像の輝度信号をフィルタリングによってぼかして得られるため、エッジ部分が正確に再現できず、平滑化されている。このため、レチネックス処理後の補正輝度値にエッジ成分が残ってしまう。この補正輝度値にゲイン値を乗じることにより、エッジ部分のみ輝度値が大きくなるハロが発生する。
【００５９】
これに対して、図８（ｃ）は、推定照明光成分に対して、本実施形態による補正を行なった補正推定照明光成分を用いてレチネックス処理を行なった場合を示している。推定照明光成分の明るい部分の補正量は少なく、最低輝度部分を除いた暗い部分が明るく非線形に圧縮されるように補正されるため、レチネックス処理後の補正輝度値は、ある程度のダイナミックレンジを有することになる。この結果、エッジ部分の輝度値の突出が目立たなくなり、明るい部分のハロの発生が抑制されることになる。
【００６０】
以上説明したように、本実施形態の画像処理装置１０によれば、０から基準値までの値は、最大値に変換し、基準値より後は、元の値よりも大きな値に変換し、かつ、値が大きくなるにつれて、傾きが減少するような特性を用いて推定照明光成分を補正して、レチネックス処理を行なうため、画像毎にゲイン値、オフセット値の設定を行なう必要がなくなるとともに、低輝度ノイズが目立たず、黒浮き、低周波領域のコントラスト低下、ハロが抑制された補正画像を得ることができる。すなわち、煩雑な処理を行なうことなく、良好な輝度補正を行なうことができるようになる。
【符号の説明】
【００６１】
１０…画像処理装置
１１０…画像入力部
１２０…照明光成分推定部
１３０…推定照明光成分補正部
１４０…レチネックス処理部
１５０…ゲイン調整部
１６０…画像出力部
【特許請求の範囲】
【請求項１】
原画像の推定照明光成分を算出する照明光成分推定部と、
前記推定照明光成分を補正した補正推定照明光成分を出力する推定照明光成分補正部と、
前記原画像の輝度成分を前記補正推定照明光成分で除算することで前記輝度成分を補正するレチネックス処理部と、
補正された前記輝度成分のゲイン調整を行なうゲイン調整部とを備え、
前記推定照明光成分補正部は、０から基準値までの値の推定照明光成分は、補正推定照明光成分の最大値に変換し、前記基準値より大きい値の推定照明光成分は、推定照明光成分の値よりも補正推定照明光成分の値が大きな値となるように変換し、かつ、前記推定照明光成分の値が大きくなるにつれて、前記補正推定照明光成分の増加率が減少するような特性を用いることを特徴とする画像処理装置。
【請求項２】
前記ゲイン調整部は、前記原画像の内容にかかわらず、一律のゲイン値を補正された前記輝度成分に乗ずることでゲイン調整を行なうことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記推定照明光成分補正部は、前記基準値より大きい値の推定照明光成分を、推定照明光成分の値の０．３乗で示す特性よりも大きな値の補正推定照明光成分に変換することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
原画像の推定照明光成分を算出する照明光成分推定ステップと、
前記推定照明光を補正した補正推定照明光成分を出力する推定照明光成分補正ステップと、
前記原画像の輝度成分を前記補正推定照明光成分で除算することで前記輝度成分を補正するレチネックス処理ステップと、
補正された前記輝度成分のゲイン調整を行なうゲイン調整ステップとを有し、
前記推定照明光成分補正ステップは、０から基準値までの値の推定照明光成分は、補正推定照明光成分の最大値に変換し、前記基準値より大きい値の推定照明光成分は、推定照明光成分の値よりも補正推定照明光成分の値が大きな値となるように変換し、かつ、前記推定照明光成分の値が大きくなるにつれて、前記補正推定照明光成分の増加率が減少するような特性を用いることを特徴とする画像処理方法。
【請求項１】
原画像の推定照明光成分を算出する照明光成分推定部と、
前記推定照明光成分を補正した補正推定照明光成分を出力する推定照明光成分補正部と、
前記原画像の輝度成分を前記補正推定照明光成分で除算することで前記輝度成分を補正するレチネックス処理部と、
補正された前記輝度成分のゲイン調整を行なうゲイン調整部とを備え、
前記推定照明光成分補正部は、０から基準値までの値の推定照明光成分は、補正推定照明光成分の最大値に変換し、前記基準値より大きい値の推定照明光成分は、推定照明光成分の値よりも補正推定照明光成分の値が大きな値となるように変換し、かつ、前記推定照明光成分の値が大きくなるにつれて、前記補正推定照明光成分の増加率が減少するような特性を用いることを特徴とする画像処理装置。
【請求項２】
前記ゲイン調整部は、前記原画像の内容にかかわらず、一律のゲイン値を補正された前記輝度成分に乗ずることでゲイン調整を行なうことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記推定照明光成分補正部は、前記基準値より大きい値の推定照明光成分を、推定照明光成分の値の０．３乗で示す特性よりも大きな値の補正推定照明光成分に変換することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
原画像の推定照明光成分を算出する照明光成分推定ステップと、
前記推定照明光を補正した補正推定照明光成分を出力する推定照明光成分補正ステップと、
前記原画像の輝度成分を前記補正推定照明光成分で除算することで前記輝度成分を補正するレチネックス処理ステップと、
補正された前記輝度成分のゲイン調整を行なうゲイン調整ステップとを有し、
前記推定照明光成分補正ステップは、０から基準値までの値の推定照明光成分は、補正推定照明光成分の最大値に変換し、前記基準値より大きい値の推定照明光成分は、推定照明光成分の値よりも補正推定照明光成分の値が大きな値となるように変換し、かつ、前記推定照明光成分の値が大きくなるにつれて、前記補正推定照明光成分の増加率が減少するような特性を用いることを特徴とする画像処理方法。
【図１】
【図２】
【図６】
【図７】
【図８】
【図３】
【図４】
【図５】
【図９】
【図２】
【図６】
【図７】
【図８】
【図３】
【図４】
【図５】
【図９】
【公開番号】特開２０１２−１０８８９８（Ｐ２０１２−１０８８９８Ａ）
【公開日】平成２４年６月７日（２０１２．６．７）
【国際特許分類】
【出願番号】特願２０１１−２３４５２１（Ｐ２０１１−２３４５２１）
【出願日】平成２３年１０月２６日（２０１１．１０．２６）
【出願人】（３０８０３６４０２）株式会社ＪＶＣケンウッド (1,152)
【Ｆターム（参考）】
【公開日】平成２４年６月７日（２０１２．６．７）
【国際特許分類】
【出願日】平成２３年１０月２６日（２０１１．１０．２６）
【出願人】（３０８０３６４０２）株式会社ＪＶＣケンウッド (1,152)
【Ｆターム（参考）】
[ Back to top ]