画像処理装置及び画像処理方法
【課題】シェーディング補正を行う場合に高輝度部分が飽和してディテールが失われることを抑制する。
【解決手段】撮像素子によって撮像された画像を入力する入力部１００と、入力部から入力された画像にかけるシェーディング補正量を画素ごとに算出するシェーディング補正量算出部１０１と、撮像素子の画素の画素値およびシェーディング補正量に応じてγ補正ゲインを算出するγ補正ゲイン算出部１０３と、γ補正ゲインに基づいて画素値にゲイン補正を掛けるゲイン補正部１０４とを有し、シェーディング補正とγ補正とを同時に行う。
【解決手段】撮像素子によって撮像された画像を入力する入力部１００と、入力部から入力された画像にかけるシェーディング補正量を画素ごとに算出するシェーディング補正量算出部１０１と、撮像素子の画素の画素値およびシェーディング補正量に応じてγ補正ゲインを算出するγ補正ゲイン算出部１０３と、γ補正ゲインに基づいて画素値にゲイン補正を掛けるゲイン補正部１０４とを有し、シェーディング補正とγ補正とを同時に行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、シェーディング補正処理を行う技術に関するものである。
【背景技術】
【０００２】
撮像素子によって画像を撮像する撮像装置において、撮像レンズの特性による周辺光量落ちや、シャッターの先幕と後幕の速度差等の要因により、画素位置毎に結像される被写体像の明るさに差異ができる問題がある。この明るさの差異の補正処理は、シェーディング補正として一般に知られている。例えば、特許文献１には遮光手段の動きによって発生するシェーディングの補正について、特許文献２にはレンズの周辺光量落ちによるシェーディングの補正について記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１１−１６８６５９号公報
【特許文献２】特開２００５−２７７６１８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、従来、上記のようなシェーディング補正を行う場合に、シェーディングの掛かる画素位置に高輝度の被写体が結像されたとき、シェーディング補正を実施すると高輝度部が飽和値を超え、ディテールが失われてしまう問題があった。
【０００５】
本発明は上述した課題に鑑みてなされたものであり、その目的は、シェーディング補正を行う場合に高輝度部分が飽和してディテールが失われることを抑制することである。
【課題を解決するための手段】
【０００６】
本発明に係わる画像処理装置は、撮像素子によって撮像された画像を入力する入力手段と、前記入力手段から入力された画像にかけるシェーディング補正量を画素ごとに算出するシェーディング補正量算出手段と、前記撮像素子の画素の画素値および前記シェーディング補正量に応じてγ補正ゲインを算出するγ補正ゲイン算出手段と、前記γ補正ゲインに基づいて画素値にゲイン補正を掛けるゲイン補正手段とを有し、シェーディング補正とγ補正とを同時に行うことを特徴とする。
【発明の効果】
【０００７】
本発明によれば、シェーディング補正を行う場合に高輝度部分が飽和してディテールが失われることを抑制することが可能となる。
【図面の簡単な説明】
【０００８】
【図１】本発明の第１の実施形態に係わる画像処理装置のブロック図。
【図２】周辺光量落ちした場合の輝度レベル分布を示す図。
【図３】シェーディング補正量算出回路の例を示す図。
【図４】γ補正ゲイン算出回路におけるγ補正カーブの微調整例を示す図。
【図５】シェーディング補正ゲインの一例を示す図。
【図６】第１の実施形態におけるγ補正カーブの調整例を示す図。
【図７】第１の実施形態におけるγ補正カーブの調整例を示す図。
【図８】本発明の第２の実施形態に係わる画像処理装置のブロック図。
【図９】第２の実施形態におけるγ補正カーブの調整例を示す図。
【図１０】第２の実施形態におけるγ補正カーブの調整例を示す図。
【図１１】本発明の第３の実施形態に係わる画像処理装置のブロック図。
【図１２】ＨＤＲ合成回路の合成比率と明るさ信号の関係を示す図。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態について図面を参照して詳細に説明する。
【００１０】
（第１の実施形態）
図１は、本発明の第１の実施形態に係わる画像処理装置のブロック図である。
【００１１】
画像処理装置は、撮像素子によって撮像された画像を入力する入力端子１００と、入力端子１００から入力された画像にかけるシェーディング補正量を画素ごとに算出するシェーディング補正量算出回路１０１を備える。また、画素値およびシェーディング補正量に応じてγ補正ゲインを算出するγ補正ゲイン算出回路１０３と、入力端子１００から入力された画像に対してγ前信号処理を実施する第１の信号処理回路１０２も備える。また
、γ補正ゲインに基づいて第１の信号処理回路１０２の出力画像信号にゲイン補正を掛けるゲイン補正回路１０４を備える。さらに、ゲイン補正回路１０４の出力に対しγ補正後信号処理を実施する第２の信号処理回路１０５と、第２の信号処理回路１０５の信号を出力する出力端子１０６を有する。
【００１２】
入力端子１００から入力される画像は、シェーディングを伴う撮像系によって結像された画像である。本実形態では、撮像レンズの光学特性によって発生する周辺光量落ちによるシェーディングを想定して記載する。ただし、本実施形態は、そのようなシェーディングのみに限定するものではなく、シャッターの先幕と後幕の動作速度の差異によって発生するシェーディング等、均一の輝度の被写体を撮影した場合に結像画像に輝度差が発生するようなケース全般を含むものとする。
【００１３】
周辺光量落ちによるシェーディング（以後シェーディングと表記）とは、均一の輝度の被写体を撮影した場合、たとえば図２のような形状の輝度レベル分布に結像される状態のことである。図２のＸ軸・Ｙ軸は画像上の座標を示しており、Ｚ軸は輝度レベルを示している。
【００１４】
シェーディング補正量算出回路１０１は、演算によって図２の形状を均一に補正するゲインを算出する。演算では、撮像レンズの特性情報など補助情報を用いて演算する。シェーディング補正ゲインの算出方法はさまざまな方法が提案されているが、たとえば、図２のように画像の中心位置に光軸中心があり、その像高に応じて光量落ちが決まっているような場合、次のようにする。すなわち、図３に示すように、光軸中心座標（ＯＸ，ＯＹ）と、着目画素の座標（Ｘ，Ｙ）を用いて像高を求め、像高からゲインへ変換する変換関数を折れ線近似した変換回路を用いることによって実現できる。
【００１５】
第１の信号処理回路１０２は、γ補正前に実施すべき信号処理を実施する。例えば、ノイズリダクション処理等、主に撮像素子に起因する問題の対策や補正処理等が該当する。一般的なシェーディング補正処理は、この第１の信号処理回路１０２の前でシェーディング補正ゲインを掛けるが、本実施形態ではあえてその時点によるシェーディング補正は行わない。
【００１６】
γ補正ゲイン算出回路１０３は、画像に適用したいγ補正カーブを、シェーディング補正ゲインに応じて微調整する。微調整とは、γ補正カーブとシェーディング補正ゲインを単純に混合するだけでなく、シェーディング補正によって出力信号の最大値を超えてしまう信号が丸められないように、γ補正カーブの高輝度入力時の出力レベルを調整することである。図４にその微調整の結果のイメージを示す。
【００１７】
γ補正カーブの調整方法について以下に説明する。図５は、本実施形態におけるシェーディング補正ゲインを示している。画像上の光軸中心位置から画素位置までの距離を像高として、その像高に応じた画素値に対する係数を示している。この係数を画素値に乗じることで、均一輝度の被写体像が均一輝度に補正される。
【００１８】
入力画像に対して、図５のシェーディング補正ゲインを掛けると、像高の高い領域は、最大で２倍のゲインが乗じられる。入力画像に対して０％〜２００％の範囲の画素値を持つ画像に対して、図６（ａ）のγ補正を掛けてしまうと、１００％〜２００％に相当する入力画素値は、すべて１００％に置換されてしまい、高輝度部のディティールが失われてしまう。
【００１９】
本実施形態では、シェーディング補正とγ補正を同時に実施できるように、γ補正カーブをシェーディング補正ゲインによって変更する。例えば、像高５０％のシェーディング補正ゲインは、図５から１．２倍である。この時、図６（ａ）に示すγ補正カーブ９０１の出力が１．２倍になるように係数を掛け、かつ高輝度部が１００％を超えないように、入力画素値６０％〜１００％の範囲でゲインを落とす。これを示したカーブが図６（ｂ）のシェーディング補正も含むγ補正カーブ９０２である。同様に、像高１００％のシェーディング補正ゲインは、図８から２．０倍である。この時、図６（ａ）に示すγ補正カーブ９０３の出力が２倍になるように係数を掛け、かつ高輝度部が１００％を超えないように、入力画素値２０％〜１００％の範囲でゲインを落とす。これを示したカーブが図６（ｃ）のシェーディング補正も含むγ補正カーブ９０４である。
【００２０】
シェーディング補正によって１００％を超えてしまう画素値のすべてを利用せずに、極端に明るい部分は１００％に置換する補正カーブでも構わない。γ補正カーブを調整する範囲として、シェーディング補正ゲイン１．２倍のときに入力画素値６０％〜１００％、２倍のときに入力画素値２０％〜１００％の場合を例に挙げたが、この範囲は目的とする画質要件によって決定する。例えば、コントラスト重視にするか、階調性重視にするかによってγ補正カーブの変更範囲を選択する。シェーディング補正ゲイン１．２倍の場合における、コントラスト重視の場合のγ補正ゲインカーブの例を図７（ａ）に、階調性重視にする場合のγ補正ゲインカーブの例を図７（ｂ）に示す。
【００２１】
たとえば、コントラストを重視する場合は、飽和により１００％に丸められる範囲１１０１を少し残し、シェーディング補正ゲインを弱める範囲１１０２を広めにとる。階調性を重視する場合は、飽和により１００％に丸められる範囲を無くすか少なめにとり、シェーディング補正ゲインを弱める範囲１１０３を狭めにとる。このように、重視すべき画質要件によって、適正なγ補正カーブを選定する。
【００２２】
ゲイン補正回路１０４は、第１の信号処理回路１０２の出力信号レベルによって微調整されたγ補正カーブから求めたゲイン補正係数を出力信号に乗じる回路である。第２の信号処理回路１０５は、ゲイン補正回路１０４の出力信号に対して、γ補正後に実施すべき信号処理を実施する。例えば、ＲＧＢ信号をＹＵＶ信号へ変換する色空間変換や、エッジ強調処理等が該当する。出力端子１０６は、第２の信号処理回路の信号を、所望の出力先へ出力する。
【００２３】
本実施形態では、第１の信号処理回路にシェーディング補正前の信号が投入されるため、シェーディング補正の飽和処理（ゲインを乗じた後に最大値を超えた値を最大値に置き換える処理）による丸め演算の影響を受けずに処理できる。また、γ補正時に高輝度部を残すように処理するため、シェーディング補正ゲインが大きな画素における高輝度部のディティール消失が低減される。
【００２４】
本実施形態では、第１の信号処理が、シェーディング補正の掛かっていない画像（同一輝度の被写体でも、結像位置によって結像輝度レベルが異なる可能性がある）であることに留意しなければならない。
【００２５】
（第２の実施形態）
図８は、本発明の第２の実施形態に係わる画像処理装置のブロック図である。目的は第１の実施形態と同じであるが、若干構成が異なる。
【００２６】
画像処理装置は、撮像素子によって結像された画像を入力する入力端子２００と、入力端子２００から入力された画像にかけるシェーディング補正量を画素ごとに算出するシェーディング補正量算出回路２０１を備える。また、シェーディング補正量に基づいてシェーディング補正を実施するシェーディング補正回路２０２と、シェーディング補正量に基づいてγ補正ゲインを算出するγ補正ゲイン算出回路２０４も備える。また、γ補正ゲインに基づいてシェーディング補正回路２０２の出力に対して信号処理を実施する第１の信号処理回路２０３を備える。さらに、第１の信号処理回路２０３の出力に対してγ補正を掛けるゲイン補正回路２０５と、ゲイン補正回路２０５の出力に対して信号処理を実施する第２の信号処理回路２０６と、第２の信号処理回路の信号を出力する出力端子２０７を備える。
【００２７】
第１の実施形態と異なるのは、シェーディング補正量算出回路２０１の出力を用いて、γ補正とは独立してシェーディング補正を事前に実施してしまう部分である。
【００２８】
本実施形態では、シェーディング補正回路２０２の入力よりも出力の方をビット幅を広くして、シェーディング補正の飽和処理がかかりにくい状態にしてある。例えば、入力が１２ビットの画素値であった場合、出力を１６ビットにしておけば４ビットの余裕があり１６倍までのシェーディング補正において、飽和処理による値の丸めが行われないことになる。
【００２９】
本実施形態では、第１の実施形態とは異なり、シェーディング補正が掛かった画素値がゲイン補正回路２０５に投入される。シェーディング補正量は像高によって異なっているため、像高ごとに最大値としてとり得る値は異なっている。図９（ａ）は、入力画像にかけるγ補正カーブを示しているが、このγ補正カーブをシェーディング補正量に応じて調整して用いる。
【００３０】
例えば、像高５０％のシェーディング補正ゲインは、図５から１．２倍である。従って、入力端子２００から入力された画素値に対して、１２０％のゲインを持っているため、γ補正カーブを１２０％まで引き延ばす。この時、γ補正カーブ全体を引き延ばしてしまうのではなく、高輝度部だけを引き延ばし、低輝度部は所望のγ補正である図９（ａ）と同じにしたγ補正カーブが図９（ｂ）である。同様に、像高１００％のシェーディング補正ゲインは、図５から２．０倍である。このゲインにあわせて高輝度部のγ補正カーブを調整したのが図９（ｃ）である。
【００３１】
図９（ｂ）及び図９（ｃ）に示すγ補正カーブの調整では、入力画素値が５０％〜１００％の範囲でγ補正カーブを変形したが、この範囲でなくても構わない。この範囲は、目的とする画質要件によって決定する。例えば、コントラスト重視にするか、階調性重視にするかによってγ補正カーブの変更範囲を選択する。シェーディング補正ゲイン１．２倍の場合における、コントラスト重視の場合のγ補正ゲインカーブの例を図１０（ａ）に、階調性重視にする場合のγ補正ゲインカーブの例を図１０（ｂ）に示す。ただし、全体を均一に引き延ばす方法は採用しない。
【００３２】
本実施形態では、第１の実施形態と比べ、第１の信号処理の演算ビット幅が大きくなる傾向にあり、回路規模は大きくなる。しかし、一般的なシェーディング補正と同様の構成をとることができる。
【００３３】
（第３の実施形態）
図１１は、本発明の第３の実施形態に係わる画像処理装置のブロック図である。構成としては、第１の実施形態の構成に対して、明るさ算出回路３０３、出力先セレクタ３０７、第１のメモリ（第１の記憶部）３０８、第２のメモリ（第２の記憶部）３０９、ＨＤＲ合成回路３１０が追加されている。
【００３４】
本実施形態は、２枚の画像を入力してそれらを合成してダイナミックレンジ拡大（以後、ＨＤＲ処理と表記）を実施する画像処理装置の例である。
【００３５】
まず、短い露光時間で撮像された第１の入力画像を入力端子３００から入力する。第１の実施形態と同様に第２の信号処理回路３０６の出力を求める。出力先セレクタ３０７をｂ側へ接続して、第２の信号処理回路３０６の出力信号を第１のメモリ３０８へ記憶する。
【００３６】
また、第１の入力画像は、シェーディング補正量算出回路３０１の出力とともに明るさ算出回路３０３へ入力される。明るさ算出回路３０３は、第１の入力画像に対してローパスフィルタを掛け、細かいディティール（高域成分）を除去し、シェーディング補正量に基づいてシェーディング補正を掛ける。ただし、シェーディングを完全に除去せずに、若干シェーディングを残すように補正する。この補正結果を明るさ画像と呼称する。この明るさ画像を第２のメモリ３０９へ記憶する。
【００３７】
次に、第１の入力画像よりも長い露光時間で撮像された第２の入力画像を入力端子３００から入力する。第１の実施形態と同様に第２の信号処理回路３０６の出力を求める。出力先セレクタ３０７をａ側へ接続して、ＨＤＲ合成回路３１０へ入力する。また、第１のメモリに記憶されている第１の入力画像の信号処理結果と、第２のメモリに記憶されている明るさ画像も、同時にＨＤＲ合成回路３１０へ入力する。
【００３８】
ＨＤＲ合成回路３１０は、第２のメモリから読み出された明るさ情報に基づいて、第２の入力画像の信号処理結果と、第１のメモリから読み出された第１の入力画像の信号処理結果とを合成する。具体的な合成処理としては、たとえば図１２に示すような比率で線形補間によって求める方法などが挙げられる。
【００３９】
γ補正ゲイン算出回路３０４において、第１の入力画像の場合と、第２の入力画像の場合とで、γ補正カーブに異なるカーブを用いる。そして、第１の入力画像の場合は低輝度部のゲイン係数が大きくなるように、第２の入力画像の場合は高輝度部のディティールがあまり圧縮されないようにγ補正カーブを選択して使用する。
【００４０】
本実施形態では、明るさ算出回路３０３において、シェーディング補正を掛けるときに、意図的にシェーディングを少し残すことにより、シェーディングがない領域よりも、シェーディングがある領域の方が積極的に第２の入力画像を採用するようになる。第１の入力画像と、第２の入力画像のどちらが先に撮像された画像であるかは問わない。
【００４１】
以上のように、上記の実施形態では、シェーディング補正とγ補正を同時に実施して、かつ高輝度部は飽和させるのではなく、輝度レベルを圧縮する方法により、シェーディングが存在する部分で撮像されていた高輝度部のディテール消失を低減する。
【００４２】
また、上記の実施形態では、特に、高輝度部に色がついている場合に特定色のみが飽和処理されるような場合にも変色する問題を回避あるいは低減できる効果が得られる。さらに、ＨＤＲ（High Dynamic Range）処理を実施する際にシェーディング部分の高輝度被写体のディテール再現性が向上する。
【技術分野】
【０００１】
本発明は、シェーディング補正処理を行う技術に関するものである。
【背景技術】
【０００２】
撮像素子によって画像を撮像する撮像装置において、撮像レンズの特性による周辺光量落ちや、シャッターの先幕と後幕の速度差等の要因により、画素位置毎に結像される被写体像の明るさに差異ができる問題がある。この明るさの差異の補正処理は、シェーディング補正として一般に知られている。例えば、特許文献１には遮光手段の動きによって発生するシェーディングの補正について、特許文献２にはレンズの周辺光量落ちによるシェーディングの補正について記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１１−１６８６５９号公報
【特許文献２】特開２００５−２７７６１８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、従来、上記のようなシェーディング補正を行う場合に、シェーディングの掛かる画素位置に高輝度の被写体が結像されたとき、シェーディング補正を実施すると高輝度部が飽和値を超え、ディテールが失われてしまう問題があった。
【０００５】
本発明は上述した課題に鑑みてなされたものであり、その目的は、シェーディング補正を行う場合に高輝度部分が飽和してディテールが失われることを抑制することである。
【課題を解決するための手段】
【０００６】
本発明に係わる画像処理装置は、撮像素子によって撮像された画像を入力する入力手段と、前記入力手段から入力された画像にかけるシェーディング補正量を画素ごとに算出するシェーディング補正量算出手段と、前記撮像素子の画素の画素値および前記シェーディング補正量に応じてγ補正ゲインを算出するγ補正ゲイン算出手段と、前記γ補正ゲインに基づいて画素値にゲイン補正を掛けるゲイン補正手段とを有し、シェーディング補正とγ補正とを同時に行うことを特徴とする。
【発明の効果】
【０００７】
本発明によれば、シェーディング補正を行う場合に高輝度部分が飽和してディテールが失われることを抑制することが可能となる。
【図面の簡単な説明】
【０００８】
【図１】本発明の第１の実施形態に係わる画像処理装置のブロック図。
【図２】周辺光量落ちした場合の輝度レベル分布を示す図。
【図３】シェーディング補正量算出回路の例を示す図。
【図４】γ補正ゲイン算出回路におけるγ補正カーブの微調整例を示す図。
【図５】シェーディング補正ゲインの一例を示す図。
【図６】第１の実施形態におけるγ補正カーブの調整例を示す図。
【図７】第１の実施形態におけるγ補正カーブの調整例を示す図。
【図８】本発明の第２の実施形態に係わる画像処理装置のブロック図。
【図９】第２の実施形態におけるγ補正カーブの調整例を示す図。
【図１０】第２の実施形態におけるγ補正カーブの調整例を示す図。
【図１１】本発明の第３の実施形態に係わる画像処理装置のブロック図。
【図１２】ＨＤＲ合成回路の合成比率と明るさ信号の関係を示す図。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態について図面を参照して詳細に説明する。
【００１０】
（第１の実施形態）
図１は、本発明の第１の実施形態に係わる画像処理装置のブロック図である。
【００１１】
画像処理装置は、撮像素子によって撮像された画像を入力する入力端子１００と、入力端子１００から入力された画像にかけるシェーディング補正量を画素ごとに算出するシェーディング補正量算出回路１０１を備える。また、画素値およびシェーディング補正量に応じてγ補正ゲインを算出するγ補正ゲイン算出回路１０３と、入力端子１００から入力された画像に対してγ前信号処理を実施する第１の信号処理回路１０２も備える。また
、γ補正ゲインに基づいて第１の信号処理回路１０２の出力画像信号にゲイン補正を掛けるゲイン補正回路１０４を備える。さらに、ゲイン補正回路１０４の出力に対しγ補正後信号処理を実施する第２の信号処理回路１０５と、第２の信号処理回路１０５の信号を出力する出力端子１０６を有する。
【００１２】
入力端子１００から入力される画像は、シェーディングを伴う撮像系によって結像された画像である。本実形態では、撮像レンズの光学特性によって発生する周辺光量落ちによるシェーディングを想定して記載する。ただし、本実施形態は、そのようなシェーディングのみに限定するものではなく、シャッターの先幕と後幕の動作速度の差異によって発生するシェーディング等、均一の輝度の被写体を撮影した場合に結像画像に輝度差が発生するようなケース全般を含むものとする。
【００１３】
周辺光量落ちによるシェーディング（以後シェーディングと表記）とは、均一の輝度の被写体を撮影した場合、たとえば図２のような形状の輝度レベル分布に結像される状態のことである。図２のＸ軸・Ｙ軸は画像上の座標を示しており、Ｚ軸は輝度レベルを示している。
【００１４】
シェーディング補正量算出回路１０１は、演算によって図２の形状を均一に補正するゲインを算出する。演算では、撮像レンズの特性情報など補助情報を用いて演算する。シェーディング補正ゲインの算出方法はさまざまな方法が提案されているが、たとえば、図２のように画像の中心位置に光軸中心があり、その像高に応じて光量落ちが決まっているような場合、次のようにする。すなわち、図３に示すように、光軸中心座標（ＯＸ，ＯＹ）と、着目画素の座標（Ｘ，Ｙ）を用いて像高を求め、像高からゲインへ変換する変換関数を折れ線近似した変換回路を用いることによって実現できる。
【００１５】
第１の信号処理回路１０２は、γ補正前に実施すべき信号処理を実施する。例えば、ノイズリダクション処理等、主に撮像素子に起因する問題の対策や補正処理等が該当する。一般的なシェーディング補正処理は、この第１の信号処理回路１０２の前でシェーディング補正ゲインを掛けるが、本実施形態ではあえてその時点によるシェーディング補正は行わない。
【００１６】
γ補正ゲイン算出回路１０３は、画像に適用したいγ補正カーブを、シェーディング補正ゲインに応じて微調整する。微調整とは、γ補正カーブとシェーディング補正ゲインを単純に混合するだけでなく、シェーディング補正によって出力信号の最大値を超えてしまう信号が丸められないように、γ補正カーブの高輝度入力時の出力レベルを調整することである。図４にその微調整の結果のイメージを示す。
【００１７】
γ補正カーブの調整方法について以下に説明する。図５は、本実施形態におけるシェーディング補正ゲインを示している。画像上の光軸中心位置から画素位置までの距離を像高として、その像高に応じた画素値に対する係数を示している。この係数を画素値に乗じることで、均一輝度の被写体像が均一輝度に補正される。
【００１８】
入力画像に対して、図５のシェーディング補正ゲインを掛けると、像高の高い領域は、最大で２倍のゲインが乗じられる。入力画像に対して０％〜２００％の範囲の画素値を持つ画像に対して、図６（ａ）のγ補正を掛けてしまうと、１００％〜２００％に相当する入力画素値は、すべて１００％に置換されてしまい、高輝度部のディティールが失われてしまう。
【００１９】
本実施形態では、シェーディング補正とγ補正を同時に実施できるように、γ補正カーブをシェーディング補正ゲインによって変更する。例えば、像高５０％のシェーディング補正ゲインは、図５から１．２倍である。この時、図６（ａ）に示すγ補正カーブ９０１の出力が１．２倍になるように係数を掛け、かつ高輝度部が１００％を超えないように、入力画素値６０％〜１００％の範囲でゲインを落とす。これを示したカーブが図６（ｂ）のシェーディング補正も含むγ補正カーブ９０２である。同様に、像高１００％のシェーディング補正ゲインは、図８から２．０倍である。この時、図６（ａ）に示すγ補正カーブ９０３の出力が２倍になるように係数を掛け、かつ高輝度部が１００％を超えないように、入力画素値２０％〜１００％の範囲でゲインを落とす。これを示したカーブが図６（ｃ）のシェーディング補正も含むγ補正カーブ９０４である。
【００２０】
シェーディング補正によって１００％を超えてしまう画素値のすべてを利用せずに、極端に明るい部分は１００％に置換する補正カーブでも構わない。γ補正カーブを調整する範囲として、シェーディング補正ゲイン１．２倍のときに入力画素値６０％〜１００％、２倍のときに入力画素値２０％〜１００％の場合を例に挙げたが、この範囲は目的とする画質要件によって決定する。例えば、コントラスト重視にするか、階調性重視にするかによってγ補正カーブの変更範囲を選択する。シェーディング補正ゲイン１．２倍の場合における、コントラスト重視の場合のγ補正ゲインカーブの例を図７（ａ）に、階調性重視にする場合のγ補正ゲインカーブの例を図７（ｂ）に示す。
【００２１】
たとえば、コントラストを重視する場合は、飽和により１００％に丸められる範囲１１０１を少し残し、シェーディング補正ゲインを弱める範囲１１０２を広めにとる。階調性を重視する場合は、飽和により１００％に丸められる範囲を無くすか少なめにとり、シェーディング補正ゲインを弱める範囲１１０３を狭めにとる。このように、重視すべき画質要件によって、適正なγ補正カーブを選定する。
【００２２】
ゲイン補正回路１０４は、第１の信号処理回路１０２の出力信号レベルによって微調整されたγ補正カーブから求めたゲイン補正係数を出力信号に乗じる回路である。第２の信号処理回路１０５は、ゲイン補正回路１０４の出力信号に対して、γ補正後に実施すべき信号処理を実施する。例えば、ＲＧＢ信号をＹＵＶ信号へ変換する色空間変換や、エッジ強調処理等が該当する。出力端子１０６は、第２の信号処理回路の信号を、所望の出力先へ出力する。
【００２３】
本実施形態では、第１の信号処理回路にシェーディング補正前の信号が投入されるため、シェーディング補正の飽和処理（ゲインを乗じた後に最大値を超えた値を最大値に置き換える処理）による丸め演算の影響を受けずに処理できる。また、γ補正時に高輝度部を残すように処理するため、シェーディング補正ゲインが大きな画素における高輝度部のディティール消失が低減される。
【００２４】
本実施形態では、第１の信号処理が、シェーディング補正の掛かっていない画像（同一輝度の被写体でも、結像位置によって結像輝度レベルが異なる可能性がある）であることに留意しなければならない。
【００２５】
（第２の実施形態）
図８は、本発明の第２の実施形態に係わる画像処理装置のブロック図である。目的は第１の実施形態と同じであるが、若干構成が異なる。
【００２６】
画像処理装置は、撮像素子によって結像された画像を入力する入力端子２００と、入力端子２００から入力された画像にかけるシェーディング補正量を画素ごとに算出するシェーディング補正量算出回路２０１を備える。また、シェーディング補正量に基づいてシェーディング補正を実施するシェーディング補正回路２０２と、シェーディング補正量に基づいてγ補正ゲインを算出するγ補正ゲイン算出回路２０４も備える。また、γ補正ゲインに基づいてシェーディング補正回路２０２の出力に対して信号処理を実施する第１の信号処理回路２０３を備える。さらに、第１の信号処理回路２０３の出力に対してγ補正を掛けるゲイン補正回路２０５と、ゲイン補正回路２０５の出力に対して信号処理を実施する第２の信号処理回路２０６と、第２の信号処理回路の信号を出力する出力端子２０７を備える。
【００２７】
第１の実施形態と異なるのは、シェーディング補正量算出回路２０１の出力を用いて、γ補正とは独立してシェーディング補正を事前に実施してしまう部分である。
【００２８】
本実施形態では、シェーディング補正回路２０２の入力よりも出力の方をビット幅を広くして、シェーディング補正の飽和処理がかかりにくい状態にしてある。例えば、入力が１２ビットの画素値であった場合、出力を１６ビットにしておけば４ビットの余裕があり１６倍までのシェーディング補正において、飽和処理による値の丸めが行われないことになる。
【００２９】
本実施形態では、第１の実施形態とは異なり、シェーディング補正が掛かった画素値がゲイン補正回路２０５に投入される。シェーディング補正量は像高によって異なっているため、像高ごとに最大値としてとり得る値は異なっている。図９（ａ）は、入力画像にかけるγ補正カーブを示しているが、このγ補正カーブをシェーディング補正量に応じて調整して用いる。
【００３０】
例えば、像高５０％のシェーディング補正ゲインは、図５から１．２倍である。従って、入力端子２００から入力された画素値に対して、１２０％のゲインを持っているため、γ補正カーブを１２０％まで引き延ばす。この時、γ補正カーブ全体を引き延ばしてしまうのではなく、高輝度部だけを引き延ばし、低輝度部は所望のγ補正である図９（ａ）と同じにしたγ補正カーブが図９（ｂ）である。同様に、像高１００％のシェーディング補正ゲインは、図５から２．０倍である。このゲインにあわせて高輝度部のγ補正カーブを調整したのが図９（ｃ）である。
【００３１】
図９（ｂ）及び図９（ｃ）に示すγ補正カーブの調整では、入力画素値が５０％〜１００％の範囲でγ補正カーブを変形したが、この範囲でなくても構わない。この範囲は、目的とする画質要件によって決定する。例えば、コントラスト重視にするか、階調性重視にするかによってγ補正カーブの変更範囲を選択する。シェーディング補正ゲイン１．２倍の場合における、コントラスト重視の場合のγ補正ゲインカーブの例を図１０（ａ）に、階調性重視にする場合のγ補正ゲインカーブの例を図１０（ｂ）に示す。ただし、全体を均一に引き延ばす方法は採用しない。
【００３２】
本実施形態では、第１の実施形態と比べ、第１の信号処理の演算ビット幅が大きくなる傾向にあり、回路規模は大きくなる。しかし、一般的なシェーディング補正と同様の構成をとることができる。
【００３３】
（第３の実施形態）
図１１は、本発明の第３の実施形態に係わる画像処理装置のブロック図である。構成としては、第１の実施形態の構成に対して、明るさ算出回路３０３、出力先セレクタ３０７、第１のメモリ（第１の記憶部）３０８、第２のメモリ（第２の記憶部）３０９、ＨＤＲ合成回路３１０が追加されている。
【００３４】
本実施形態は、２枚の画像を入力してそれらを合成してダイナミックレンジ拡大（以後、ＨＤＲ処理と表記）を実施する画像処理装置の例である。
【００３５】
まず、短い露光時間で撮像された第１の入力画像を入力端子３００から入力する。第１の実施形態と同様に第２の信号処理回路３０６の出力を求める。出力先セレクタ３０７をｂ側へ接続して、第２の信号処理回路３０６の出力信号を第１のメモリ３０８へ記憶する。
【００３６】
また、第１の入力画像は、シェーディング補正量算出回路３０１の出力とともに明るさ算出回路３０３へ入力される。明るさ算出回路３０３は、第１の入力画像に対してローパスフィルタを掛け、細かいディティール（高域成分）を除去し、シェーディング補正量に基づいてシェーディング補正を掛ける。ただし、シェーディングを完全に除去せずに、若干シェーディングを残すように補正する。この補正結果を明るさ画像と呼称する。この明るさ画像を第２のメモリ３０９へ記憶する。
【００３７】
次に、第１の入力画像よりも長い露光時間で撮像された第２の入力画像を入力端子３００から入力する。第１の実施形態と同様に第２の信号処理回路３０６の出力を求める。出力先セレクタ３０７をａ側へ接続して、ＨＤＲ合成回路３１０へ入力する。また、第１のメモリに記憶されている第１の入力画像の信号処理結果と、第２のメモリに記憶されている明るさ画像も、同時にＨＤＲ合成回路３１０へ入力する。
【００３８】
ＨＤＲ合成回路３１０は、第２のメモリから読み出された明るさ情報に基づいて、第２の入力画像の信号処理結果と、第１のメモリから読み出された第１の入力画像の信号処理結果とを合成する。具体的な合成処理としては、たとえば図１２に示すような比率で線形補間によって求める方法などが挙げられる。
【００３９】
γ補正ゲイン算出回路３０４において、第１の入力画像の場合と、第２の入力画像の場合とで、γ補正カーブに異なるカーブを用いる。そして、第１の入力画像の場合は低輝度部のゲイン係数が大きくなるように、第２の入力画像の場合は高輝度部のディティールがあまり圧縮されないようにγ補正カーブを選択して使用する。
【００４０】
本実施形態では、明るさ算出回路３０３において、シェーディング補正を掛けるときに、意図的にシェーディングを少し残すことにより、シェーディングがない領域よりも、シェーディングがある領域の方が積極的に第２の入力画像を採用するようになる。第１の入力画像と、第２の入力画像のどちらが先に撮像された画像であるかは問わない。
【００４１】
以上のように、上記の実施形態では、シェーディング補正とγ補正を同時に実施して、かつ高輝度部は飽和させるのではなく、輝度レベルを圧縮する方法により、シェーディングが存在する部分で撮像されていた高輝度部のディテール消失を低減する。
【００４２】
また、上記の実施形態では、特に、高輝度部に色がついている場合に特定色のみが飽和処理されるような場合にも変色する問題を回避あるいは低減できる効果が得られる。さらに、ＨＤＲ（High Dynamic Range）処理を実施する際にシェーディング部分の高輝度被写体のディテール再現性が向上する。
【特許請求の範囲】
【請求項１】
撮像素子によって撮像された画像を入力する入力手段と、
前記入力手段から入力された画像にかけるシェーディング補正量を画素ごとに算出するシェーディング補正量算出手段と、
前記撮像素子の画素の画素値および前記シェーディング補正量に応じてγ補正ゲインを算出するγ補正ゲイン算出手段と、
前記γ補正ゲインに基づいて画素値にゲイン補正を掛けるゲイン補正手段とを有し、
シェーディング補正とγ補正とを同時に行うことを特徴とする画像処理装置。
【請求項２】
撮像素子によって撮像された画像を入力する入力手段と、
前記入力手段から入力された画像にかけるシェーディング補正量を画素ごとに算出するシェーディング補正量算出手段と、
前記シェーディング補正量に基づいてシェーディング補正を実施するシェーディング補正手段と、
前記シェーディング補正量に基づいてγ補正ゲインを算出するγ補正ゲイン算出手段と、
前記γ補正ゲインに基づいて、前記シェーディング補正手段の出力に対してγ補正を掛けるγ補正手段と、
を有することを特徴とする画像処理装置。
【請求項３】
前記入力手段は、短い露光時間で撮像された第１の入力画像と、前記第１の入力画像よりも長い露光時間で撮像された第２の入力画像とを入力し、
前記第１の入力画像と前記シェーディング補正量とに基づいて画像上の領域ごとの明るさを算出する明るさ算出手段と、前記第１の入力画像をγ補正した結果を記憶する第１のメモリ手段と、前記領域ごとの明るさを記憶する第２のメモリ手段と、前記第１のメモリ手段に記憶されている画像と前記第２の入力画像のγ補正の結果とを第２のメモリ手段に記憶されている明るさ情報に基づいて合成する合成手段と、をさらに有することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
撮像素子によって撮像された画像を入力する入力工程と、
前記入力工程で入力された画像にかけるシェーディング補正量を画素ごとに算出するシェーディング補正量算出工程と、
前記撮像素子の画素の画素値および前記シェーディング補正量に応じてγ補正ゲインを算出するγ補正ゲイン算出工程と、
前記γ補正ゲインに基づいて画素値にゲイン補正を掛けるゲイン補正工程とを有し、
シェーディング補正とγ補正を同時に行うことを特徴とする画像処理方法。
【請求項５】
撮像素子によって撮像された画像を入力する入力工程と、
前記入力工程で入力された画像にかけるシェーディング補正量を画素ごとに算出するシェーディング補正量算出工程と、
前記シェーディング補正量に基づいてシェーディング補正を実施するシェーディング補正工程と、
前記シェーディング補正量に基づいてγ補正ゲインを算出するγ補正ゲイン算出工程と、
前記γ補正ゲインに基づいて、前記シェーディング補正工程での出力に対してγ補正を掛けるγ補正工程と、
を有することを特徴とする画像処理方法。
【請求項６】
前記入力工程では、短い露光時間で結像された第１の入力画像と、前記第１の入力画像よりも長い露光時間で結像された第２の入力画像とを入力し、
前記第１の入力画像と前記シェーディング補正量とに基づいて画像上の領域ごとの明るさを算出する明るさ算出工程と、前記第１の入力画像をγ補正した結果を記憶する第１の記憶工程と、前記領域ごとの明るさを記憶する第２の記憶工程と、前記第１の記憶工程で記憶された画像と前記第２の入力画像のγ補正の結果とを第２の記憶工程で記憶された明るさ情報に基づいて合成する合成工程と、をさらに有することを特徴とする請求項４または５に記載の画像処理方法。
【請求項１】
撮像素子によって撮像された画像を入力する入力手段と、
前記入力手段から入力された画像にかけるシェーディング補正量を画素ごとに算出するシェーディング補正量算出手段と、
前記撮像素子の画素の画素値および前記シェーディング補正量に応じてγ補正ゲインを算出するγ補正ゲイン算出手段と、
前記γ補正ゲインに基づいて画素値にゲイン補正を掛けるゲイン補正手段とを有し、
シェーディング補正とγ補正とを同時に行うことを特徴とする画像処理装置。
【請求項２】
撮像素子によって撮像された画像を入力する入力手段と、
前記入力手段から入力された画像にかけるシェーディング補正量を画素ごとに算出するシェーディング補正量算出手段と、
前記シェーディング補正量に基づいてシェーディング補正を実施するシェーディング補正手段と、
前記シェーディング補正量に基づいてγ補正ゲインを算出するγ補正ゲイン算出手段と、
前記γ補正ゲインに基づいて、前記シェーディング補正手段の出力に対してγ補正を掛けるγ補正手段と、
を有することを特徴とする画像処理装置。
【請求項３】
前記入力手段は、短い露光時間で撮像された第１の入力画像と、前記第１の入力画像よりも長い露光時間で撮像された第２の入力画像とを入力し、
前記第１の入力画像と前記シェーディング補正量とに基づいて画像上の領域ごとの明るさを算出する明るさ算出手段と、前記第１の入力画像をγ補正した結果を記憶する第１のメモリ手段と、前記領域ごとの明るさを記憶する第２のメモリ手段と、前記第１のメモリ手段に記憶されている画像と前記第２の入力画像のγ補正の結果とを第２のメモリ手段に記憶されている明るさ情報に基づいて合成する合成手段と、をさらに有することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
撮像素子によって撮像された画像を入力する入力工程と、
前記入力工程で入力された画像にかけるシェーディング補正量を画素ごとに算出するシェーディング補正量算出工程と、
前記撮像素子の画素の画素値および前記シェーディング補正量に応じてγ補正ゲインを算出するγ補正ゲイン算出工程と、
前記γ補正ゲインに基づいて画素値にゲイン補正を掛けるゲイン補正工程とを有し、
シェーディング補正とγ補正を同時に行うことを特徴とする画像処理方法。
【請求項５】
撮像素子によって撮像された画像を入力する入力工程と、
前記入力工程で入力された画像にかけるシェーディング補正量を画素ごとに算出するシェーディング補正量算出工程と、
前記シェーディング補正量に基づいてシェーディング補正を実施するシェーディング補正工程と、
前記シェーディング補正量に基づいてγ補正ゲインを算出するγ補正ゲイン算出工程と、
前記γ補正ゲインに基づいて、前記シェーディング補正工程での出力に対してγ補正を掛けるγ補正工程と、
を有することを特徴とする画像処理方法。
【請求項６】
前記入力工程では、短い露光時間で結像された第１の入力画像と、前記第１の入力画像よりも長い露光時間で結像された第２の入力画像とを入力し、
前記第１の入力画像と前記シェーディング補正量とに基づいて画像上の領域ごとの明るさを算出する明るさ算出工程と、前記第１の入力画像をγ補正した結果を記憶する第１の記憶工程と、前記領域ごとの明るさを記憶する第２の記憶工程と、前記第１の記憶工程で記憶された画像と前記第２の入力画像のγ補正の結果とを第２の記憶工程で記憶された明るさ情報に基づいて合成する合成工程と、をさらに有することを特徴とする請求項４または５に記載の画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１３−１０６１５１（Ｐ２０１３−１０６１５１Ａ）
【公開日】平成２５年５月３０日（２０１３．５．３０）
【国際特許分類】
【出願番号】特願２０１１−２４７９６５（Ｐ２０１１−２４７９６５）
【出願日】平成２３年１１月１１日（２０１１．１１．１１）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２５年５月３０日（２０１３．５．３０）
【国際特許分類】
【出願日】平成２３年１１月１１日（２０１１．１１．１１）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]