画像処理装置、画像処理方法
【課題】過剰なリソースを必要とせずに、色再現性を良好に保ちつつ階調補正を行なうことができる画像処理装置を提供する。
【解決手段】入力画像の輝度信号に対して階調補正を行なう輝度信号補正部と、入力画像の輝度信号と階調補正後の輝度信号とから輝度信号変化率を算出する輝度信号変化率算出部と、輝度信号変化率を用いて入力画像の色差信号を補正する色差信号補正部と、先行する入力画像に対して行なった補正結果を所定の基準にしたがって評価する評価部と、を備え、輝度信号補正部は、評価部の評価結果に応じて、階調補正の量を制御し、色差信号補正部は、評価部の評価結果に応じて、輝度信号変化率算出部によって算出された輝度信号変化率を修正して、色差信号の補正に用いる画像処理装置。
【解決手段】入力画像の輝度信号に対して階調補正を行なう輝度信号補正部と、入力画像の輝度信号と階調補正後の輝度信号とから輝度信号変化率を算出する輝度信号変化率算出部と、輝度信号変化率を用いて入力画像の色差信号を補正する色差信号補正部と、先行する入力画像に対して行なった補正結果を所定の基準にしたがって評価する評価部と、を備え、輝度信号補正部は、評価部の評価結果に応じて、階調補正の量を制御し、色差信号補正部は、評価部の評価結果に応じて、輝度信号変化率算出部によって算出された輝度信号変化率を修正して、色差信号の補正に用いる画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理に係り、特に、過剰なリソースを必要とせずに、色再現性を良好に保ちつつ階調補正を行なうことができる画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
人間の視覚が非常に広いダイナミックレンジを持っているのに対し、ビデオカメラ等の撮像装置はダイナミックレンジが狭い。このため、人物などの主要な被写体と背景とを同時に撮影する場合、見た目と異なり、主要な被写体が暗く撮影されたり、背景が白く飛んで撮影されたりすることがある。このような画像に対して、暗すぎる部分を明るめにしたり、明るすぎる部分を暗めにする階調補正を施すことで、より自然で良好な画像に補正することが行なわれている。
【０００３】
しかしながら、カラー画像に対して階調補正を行なうと、ＲＧＢ等の色成分の比率が変化したり、色再現範囲を超える等によって、色相と彩度が変化してしまい、色の再現性が悪化する場合があるという課題があり、この課題に対応するため、従来から種々の方法が提案されている。
【０００４】
例えば、特許文献１には、原画像から算出された輝度信号に対してガンマ変換を施すことで階調を補正し、階調補正前の輝度信号に対する階調補正後の輝度信号の比率である変化率を算出した後、変化率を原画像のＲＧＢ成分それぞれに乗じる第１の階調補正と、変化率を原画像から算出された色差信号それぞれに加える第２の階調補正とを行ない、原画像の画素の輝度値に応じて、第１の階調補正、第２の階調補正のいずれか、あるいは両補正の合成を選択することにより、色彩と彩度の変化のない階調補正を行なうことが記載されている。
【０００５】
また、特許文献２には、原画像から算出された輝度信号に対してガンマ変換を施すことで階調を補正し、階調補正前の輝度信号に対する階調補正後の輝度信号の比率である変化率を算出した後、変化率をＲＧＢ成分とＲＧＢ成分の最大値との比を乗じることでＲＧＢ成分毎、画素毎に補正し、補正後変化率を原画像のＲＧＢ成分にそれぞれ乗算することにより、彩度変化のない階調補正を行なうことが記載されている。
【０００６】
ところで、階調を改善する手法として、特許文献１、特許文献２に記載されているような輝度信号に対してガンマ変換を施す手法の他に、視覚の色恒常性と空間特性を考慮したＲｅｔｉｎｅｘ理論を適用して、より人間の視覚に近い画像を得るような手法が知られている。
【０００７】
Ｒｅｔｉｎｅｘ理論によると、人間の視覚は、各物体の反射率の比によって色を知覚する。反射率は、照明に依存しない被写体の画像成分であり、したがって、入力画像Ｉから照明光Ｌを分離して反射光Ｒを得ることによって、画像の階調改善が可能になると考えられる。一般に、入力画像から照明光Ｌを正確に分離することは困難であるため、照明光成分は、入力画像から推定された値である推定照明光成分が用いられる。
【０００８】
数１は、Ｒｅｔｉｎｅｘ理論を適用したＬｉｎｅａｒ Ｒｅｔｉｎｅｘアルゴリズムを表わす数式であり、輝度信号Ｙのぼけ画像を推定照明光（右辺括弧内分母）として用いている。
【数１】
ここで、（ｘ，ｙ）は二次元画像の座標を表し、Ｉｉ（ｘ，ｙ）は座標（ｘ，ｙ）の画素値を示している。添え字ｉは入力画像の各色成分を表し、入力画像がＲＧＢ画像である場合、ｉ＝Ｒ，Ｇ，Ｂである。また、Ａは、ゲイン定数であり、Ｆ（ｘ，ｙ）は、輝度信号Ｙのぼけ画像を得るための周辺関数であり、ガウス関数等が用いられる。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開平５−７６０３６号公報
【特許文献２】特開２００６−１１５４４４号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
上述のように、カラー画像に対して階調補正を行なうと、色相と彩度が変化してしまい色の再現性が悪化する場合があるという課題に対応するため、従来から種々の方法が提案されている。しかしながら、特許文献１、特許文献２に記載されているような従来の方法は、ＲＧＢ信号それぞれに対して画素毎に補正を行なうため、大量の演算を行なわなくてはならず、多くのメモリと演算リソースとが要求される。
【００１１】
また、ガンマ変換による輝度信号の階調補正と輝度信号の変化率に基づく色信号の補正を行なう場合に、全画面で一様な比率で補正を行なうため、階調補正と色再現性のバランスを保つ補正処理を行なうことが困難であるという課題がある。
【００１２】
一般に、ビデオカメラ等の撮像装置は、組み込み機器として構成されることが多く、装置に搭載されるメモリや、積和演算等を高速に実行するための演算素子に制約が課せられるのに加え、画像を映像として出力するために一定の時間内に複数の処理を行なう必要がある。このため、従来の方法をそのまま適用すると、装置が大型化したり、大容量のメモリや高速の演算素子を多数用いることによってコストアップを招くことになり好ましくない。
【００１３】
そこで、本発明は、過剰なリソースを必要とせずに、色再現性を良好に保ちつつ階調補正を行なうことができる画像処理装置および画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【００１４】
上記課題を解決するため、本発明の第１の態様である画像処理装置は、入力画像の輝度信号に対して階調補正を行なう輝度信号補正部と、前記入力画像の輝度信号と前記階調補正後の輝度信号とから輝度信号変化率を算出する輝度信号変化率算出部と、前記輝度信号変化率を用いて前記入力画像の色差信号を補正する色差信号補正部と、先行する入力画像に対して行なった補正結果を所定の基準にしたがって評価する評価部と、を備え、前記輝度信号補正部は、前記評価部の評価結果に応じて、前記階調補正の量を制御し、前記色差信号補正部は、前記評価部の評価結果に応じて、前記輝度信号変化率算出部によって算出された輝度信号変化率を修正して、前記色差信号の補正に用いることを特徴とする。
【００１５】
ここで、前記輝度信号補正部は、前記入力画像の輝度信号から得られる推定照明光成分に対して前記評価部の評価結果に応じた非線形補正を行なって得られた補正後推定照明光成分を用いて、前記入力画像の輝度信号を補正することで、階調補正後の輝度信号を得ることができる。
【００１６】
また、前記色差信号補正部は、特定の輝度値範囲の画素を対象に前記輝度信号変化率を修正することができる。
【００１７】
また、前記評価部は、先行する入力画像に対して行なった輝度信号の階調補正および色差信号の補正について、過補正の度合いを所定の基準にしたがって評価することができる。
【００１８】
また、前記評価部は、対象入力画像に先行する連続した入力画像の相関を評価し、相関の度合いが所定値よりも高い場合に、前記対象入力画像についての前記輝度信号の階調補正および前記色差信号の補正を行なうように制御することができる。
【００１９】
また、前記階調補正された輝度信号および前記補正された色差信号に対して、補正前の輝度信号および補正前の色差信号を合成する合成部をさらに備えるようにしてもよい。
【００２０】
上記課題を解決するため、本発明の第２の態様である画像処理方法は、画像処理装置における画像処理方法であって、入力画像の輝度信号に対して階調補正を行なう輝度信号補正ステップと、前記入力画像の輝度信号と前記階調補正後の輝度信号とから輝度信号変化率を算出する輝度信号変化率算出ステップと、前記輝度信号変化率を用いて前記入力画像の色差信号を補正する色差信号補正ステップと、先行する入力画像に対して行なった補正結果を所定の基準にしたがって評価する評価ステップと、を有し、前記輝度信号補正ステップは、前記評価ステップにおける評価結果に応じて、前記階調補正の量を制御し、前記色差信号補正ステップは、前記評価ステップにおける評価結果に応じて、前記輝度信号変化率算出ステップによって算出された輝度信号変化率を修正して、前記色差信号の補正に用いることを特徴とする。
【発明の効果】
【００２１】
本発明によれば、過剰なリソースを必要とせずに、色再現性を良好に保ちつつ階調補正を行なうことができる画像処理装置および画像処理方法が提供される。
【図面の簡単な説明】
【００２２】
【図１】本発明の第１実施形態に係るビデオカメラの構成を示すブロック図である。
【図２】第１実施形態におけるビデオカメラの画像処理動作について説明するフローチャートである。
【図３】推定照明光成分に対する非線形補正の詳細な手順について説明するフローチャートである。
【図４】仮設定された非線形曲線と、この非線形曲線を用いた場合の補正輝度階調イメージと輝度変化率イメージとを示す図である。
【図５】修正された設定非線形曲線と、この非線形曲線を用いた場合の補正輝度階調イメージと輝度変化率イメージとを示す図である。
【図６】色差信号の補正の詳細な手順について説明するフローチャートである。
【図７】第２実施形態におけるビデオカメラの画像処理動作について説明するフローチャートである。
【図８】第３実施形態に係るビデオカメラの構成を示すブロック図である。
【図９】第３実施形態におけるビデオカメラの画像処理動作について説明するフローチャートである。
【図１０】第４実施形態に係るビデオカメラの構成を示すブロック図である。
【図１１】第４実施形態におけるビデオカメラの画像処理動作について説明するフローチャートである。
【発明を実施するための形態】
【００２３】
本発明の実施の形態について図面を参照して詳細に説明する。以下では、本発明の画像処理装置をビデオカメラに適用した場合について説明する。
（第１実施形態）
まず、本発明の第１実施形態について説明する。図１は、本発明の第１実施形態に係るビデオカメラの構成を示すブロック図である。本図に示すように、ビデオカメラ１００は、撮像部１１０と、入力信号処理部１２０と、輝度信号補正部１３０と、輝度信号変化率算出部１４０と、色差信号補正部１５０と、評価部１６０と、バッファメモリ部１７０と、記録・再生部１８０と、表示部１９０とを備えている。
【００２４】
撮像部１１０は、レンズ、絞り等の光学系や、ＣＣＤやＣＭＯＳ等の撮像素子、露出やピントの制御部等を備えており、レンズを通して撮像素子に入力された光情報を所定のタイミングで電気信号として取り出し、入力信号処理部１２０に送る。
【００２５】
入力信号処理部１２０は、撮像部１１０から送られた電気信号を受信して、所定の信号方式に変換を行なう。具体的には、受信した電気信号に対してＡ／Ｄ変換等を施した後、ＲＧＢ形式の色信号に変換し、さらに、輝度信号Ｙ、色差信号Ｃｂ、Ｃｒへの変換を行なう。色差信号Ｃｂ、Ｃｒは、輝度信号Ｙと時間軸多重を行なうことによって帯域を制限するようにしてもよい。本実施形態では、主として輝度信号Ｙ、色差信号Ｃｂ、Ｃｒを用いて画像処理を行なうことにより、画像補正に必要なメモリや演算リソースを節減することができる。
【００２６】
輝度信号補正部１３０は、入力信号処理部１２０から輝度信号Ｙを入力し、輝度信号の階調補正処理を行なう。本実施形態では、Ｒｅｔｉｎｅｘ理論に基づいた階調補正処理を行なうものとする。具体的には、原画像の推定照明光成分を算出し、推定照明光成分の階調補正を行なうために非線形補正を行なう。そして、原画像の輝度信号Ｙを階調補正後の推定照明光成分で割ることにより、輝度信号Ｙの階調補正を行なう。
【００２７】
これらの処理を行なうために、輝度信号補正部１３０は、推定照明光算出部１３１、非線形補正部１３２、非線形曲線設定部１３３、補正輝度信号算出部１３４を備えている。
【００２８】
推定照明光算出部１３１は、輝度信号Ｙのぼけ画像を算出し、推定照明光成分として出力する。輝度信号Ｙのぼけ画像は、輝度信号Ｙに対してガウスフィルタ等を施すことにより得ることができる。
【００２９】
非線形補正部１３２は、推定照明光成分に対して、非線形曲線設定部１３３が設定する非線形曲線を用いた補正を施すことにより、階調特性を変化させる非線形補正を行なう。非線形曲線は、入力信号（補正前推定照明光）と出力信号（補正後推定照明光）の特性を示した曲線である。ただし、パラメータ、関数、その他の手法を用いて推定照明光成分の非線形補正を行なうようにしてもよい。
【００３０】
非線形曲線設定部１３３は、原画像の平均輝度値、輝度ヒストグラム等に対応した非線形曲線を仮設定し、さらに、評価部１６０による先行する画像の補正結果等に対する評価に基づいて、仮設定された非線形曲線を修正して、非線形補正に用いる非線形曲線を設定する。仮設定された非線形曲線の修正は、主として、先行する画像で過補正が多く生じた場合に、それを抑制する目的で行なう。
【００３１】
補正輝度信号算出部１３４は、入力信号処理部１２０から入力した輝度信号Ｙを、階調補正後の推定照明光成分で割ることにより、補正後の輝度信号Ｙ'を算出する。算出された補正後輝度信号Ｙ'は、バッファメモリ部１７０に格納されるとともに、輝度信号変化率算出部１４０に出力される。
【００３２】
また、補正輝度信号算出部１３４は、輝度信号Ｙを補正後の推定照明光成分で割った値が、所定の基準値を超えた画素、すなわち、補正によって元の輝度値が大きく変化した画素に関する情報を輝度過補正情報として評価部１６０に出力する。輝度過補正情報は、評価部１６０によって評価され、後続画像における非線形曲線の修正に用いられる。
【００３３】
輝度信号変化率算出部１４０は、入力信号処理部１２０から入力した輝度信号Ｙと、輝度信号補正部１３０によって階調補正された輝度信号Ｙ'とから輝度信号の変化率を算出する。
【００３４】
色差信号補正部１５０は、入力信号処理部１２０から色差信号Ｃｂ、Ｃｒを入力し、輝度信号の階調補正に伴って色再現性が悪化しないように色差信号の補正処理を行なう。具体的には、原画像の色差信号Ｃｂ、Ｃｒに対して、輝度変化率に基づく値を掛け合わせて補正後の色差信号Ｃｂ'、Ｃｒ'とする。
【００３５】
例えば、明るい領域の階調を保持したまま暗い部分を明るめにする補正を行なっている場合は、明るい領域、すなわち、輝度値が所定の基準値より高い画素については、輝度変化率が小さくなるように補正が行なわれているため、求められた輝度変化率をそのまま原画像の色差信号に掛け合わせる。
【００３６】
一方、暗い領域、すなわち、輝度値が所定の基準値以下の画素については、先行画面の画素が色再現範囲内であれば、輝度変化率をそのまま色差に掛け合わせ、先行画面の画素が色再現範囲外であれば、過補正を抑制するために輝度変化率を小さく修正して原画像の色差信号に掛け合わせる。
【００３７】
これらの処理を行なうために、色差信号補正部１５０は、補正色差信号算出部１５１、輝度変化率修正部１５２を備えている。
【００３８】
色差信号補正部１５０は、色差信号Ｃｂ、Ｃｒに対して、輝度変化率に基づく値を掛け合わせて補正後色差信号Ｃｂ'、Ｃｒ'を算出する。算出された補正後色差信号Ｃｂ'、Ｃｒ'は、バッファメモリ部１７０に格納される。
【００３９】
また、色差信号補正部１５０は、補正後色差信号Ｃｂ'、Ｃｒ'が色再現範囲外となった画素に関する情報を色差過補正情報として評価部１６０に出力する。色差過補正情報は、評価部１６０によって評価され、後続画像における色差信号の補正の際の輝度変化率の修正に用いられる。さらに、後続画像における推定照明光成分の補正の際の非線形曲線の修正に用いるようにしてもよい。
【００４０】
輝度変化率修正部１５２は、評価部１６０の評価に基づき、必要に応じて、色差信号補正部１５０が補正に用いる輝度変化率の修正を行なう。輝度変化率の修正は、先行する画像に対する色差補正において過補正が発生して色再現範囲となった場合に、色差補正を抑制して色再現性を保持するために行なう。
【００４１】
例えば、明るい領域の階調を保持したまま暗い部分を明るめにする補正を行なっている場合は、輝度値が所定の基準値より高い画素については、輝度変化率を修正しない。
【００４２】
一方、輝度値が所定の基準値以下の画素については、先行画面の画素が色再現範囲内であれば、輝度変化率を修正せず、先行画面の画素が色再現範囲外であれば、輝度変化率を小さく修正する。輝度変化率を小さく修正する方法は、例えば、所定の値でクリップしたり、１未満の係数を乗じる等とすることができる。
【００４３】
評価部１６０は、先行する画像に対する補正結果等を評価して、後続の画像に対する補正内容を制御する。具体的には、先行する画像に対して行なった輝度信号補正の結果、過補正となった画素の数に応じて輝度信号補正部１３０の補正内容を制御する。また、先行する画像に対して行なった色差信号補正の結果、過補正となった画素に対して色差信号補正部１５０の補正内容を制御する。このため、評価部１６０は、評価に用いるデータを格納する評価用データ格納部１６１を備えている。
【００４４】
バッファメモリ部１７０は、階調補正された輝度信号Ｙ'および、補正後の色差信号Ｃｂ'、Ｃｒ'を一時的に保持しておくメモリである。
【００４５】
記録・再生部１８０は、バッファメモリ部１７０に保持された補正後輝度信号Ｙ'、補正後色差信号Ｃｂ'、Ｃｒ'を映像として表示部１９０に表示したり、補正後輝度信号Ｙ'、補正後色差信号Ｃｂ'、Ｃｒ'からＪＰＥＧ方式等にしたがって符号化データを生成してメディアに記録したり、メディアに記録されている符号化データを読み出して伸張処理を施して、映像として表示部１９０に表示する等の処理を行なう。
【００４６】
また、ＮＴＳＣ信号方式等に変換して外部に出力したり、表示部１９０への映像表示の際に、制御情報などをキャラクタデータとして表示したり、スーパーインポーズ処理等を行なうこともできる。
【００４７】
表示部１９０は、ＬＣＤパネルなどの表示デバイスで構成することができる。
【００４８】
なお、輝度信号補正部１３０、輝度信号変化率算出部１４０、色差信号補正部１５０、評価部１６０は、画像処理装置として機能し、１または複数の演算処理装置、メモリその他のハードウェアを用いて構成することができる。
【００４９】
次に、本実施形態の第１実施形態におけるビデオカメラ１００の画像処理動作について図２のフローチャートを参照して説明する。ここでは、明るい領域の階調を保持したまま暗い部分を明るめにする補正を行なう画像処理を例に説明するため、撮像部１１０では、高輝度部分が大幅に飽和しない程度に露出を低めに撮影を行なうようにする。
【００５０】
入力信号処理部１２０は、撮像部１１０から画像信号を入力すると（Ｓ１０１）、ＲＧＢ形式の色信号に変換し、さらに、輝度信号Ｙ、色差信号Ｃｂ、Ｃｒへの変換を行なう（Ｓ１０２）。変換された輝度信号Ｙは輝度信号補正部１３０、輝度信号変化率算出部１４０に出力され、色差信号Ｃｂ、Ｃｒは、色差信号補正部１５０に出力される。また、ＲＧＢ形式の色信号と輝度信号Ｙは、評価部１６０に出力される。
【００５１】
次に、輝度信号補正部１３０の推定照明光算出部１３１が、輝度信号Ｙのぼけ画像を算出し、推定照明光成分を得る（Ｓ１０３）。また、得られた推定照明光成分についてのヒストグラムを算出し、評価部１６０に出力する。
【００５２】
そして、非線形補正部１３２が、得られた推定照明光成分に対して、非線形曲線設定部１３３が設定する非線形曲線を用いた補正を施すことにより、階調特性を変化させる非線形補正を行なう（Ｓ１０４）。
【００５３】
ここで、推定照明光成分に対する非線形補正（Ｓ１０４）の詳細な手順について図３のフローチャートを参照して説明する。
【００５４】
まず、平均輝度値、輝度信号のヒストグラムを評価して、大まかな非線形曲線を仮設定する（Ｓ１０４１）。この処理は、従来のＲｅｔｉｎｅｘ理論における推定照明光成分に対する階調補正と同様に行なうことができる。
【００５５】
例えば、暗い領域が暗くなりすぎて階調表現が十分でない画像であれば暗部を明るくするための非線形曲線を仮設定し、明るい領域が明るくなりすぎて階調表現が十分でない画像であれば暗部を暗くするための非線形曲線を仮設定する。なお、仮設定のための画像評価に用いる平均輝度値、輝度信号ヒストグラムは、入力される輝度信号Ｙから内部生成してもよいし、撮像の際に露出やレンズ制御を行なうために生成したデータを用いてもよい。
【００５６】
本例では、暗い領域が暗くなりすぎて階調表現が十分でない画像について、明るい部分の階調を維持しながら、過補正なく暗い部分の階調を拡大する補正を想定しているため、図４（ａ）に示すような、暗部を持ち上げるような非線形曲線を仮設定するものとする。
【００５７】
次に、評価部１６０が、評価用データ格納部１６１に格納されている先行画像の過補正情報にしたがって、仮設定された非線形曲線に対して修正が必要かどうかを判定する（Ｓ１０４３）。
【００５８】
ここで、過補正情報は、先行する画像の輝度信号補正において、輝度信号Ｙを補正後の推定照明光成分で割った値が、所定の基準値を超えた画素、すなわち、補正によって元の輝度値が大きく変化した画素の数とすることができ、この数が、所定の基準値よりも多い場合に、仮設定された非線形曲線に対して修正が必要であると判定するものとする。
【００５９】
あるいは、先行する画像の輝度信号補正において、輝度信号変化率が所定の基準値を超えた画素の数を過補正情報としてもよい。さらに、先行する画像の色差過補正情報を考慮して、色差信号補正の結果、色再現範囲外となった画素の数を用いて修正の有無の判定を行なったり、推定照明光成分のヒストグラム、色差信号の最大値等を用いて修正の有無の判定を行なうようにしてもよい。
【００６０】
なお、先行する画像は、処理対象画像の直前あるいは数フレーム前の１画像とすることができる。あるいは、先行する複数フレームを平均化して先行画像として扱うようにしてもよい。
【００６１】
判定の結果、仮設定された非線形曲線に対して修正が必要と判定された場合には（Ｓ１０４３：Ｙｅｓ）、仮設定された非線形曲線に対して修正を行なう（Ｓ１０４４）。ここでは、暗い領域に対して階調補正の効果を抑え、過補正画素を減らすため、図５（ａ）に示すように、仮設定された非線形曲線の輝度の低い側において、出力値を明るい値でクリップする修正を行なうものとする。
【００６２】
このとき、過補正画素が多いほど、より明るい値でクリップを行なって階調補正が抑制されるようにし、過補正画素が少ないほど、より暗い値でクリップを行なうようにする。これにより、連続する画像において、非線形曲線に対する修正が最適化されていくため、映像が良好な画像に収束していくことになる。
【００６３】
ただし、修正の方法は、クリップに限られず、例えば、仮設定された非線形曲線に対して、所定の輝度値以下について、ある係数を乗じることで、暗い領域に対して階調補正の効果を抑えるようにしてもよい。また、輝度信号変化率や推定照明光成分のヒストグラム等の修正の有無の判定に用いた情報を用いて非線形曲線に対する修正を行なうようにしてもよい。
【００６４】
一方、仮設定された非線形曲線に対して修正が不要と判定された場合には（Ｓ１０４３：Ｎｏ）、仮設定の非線形曲線をそのまま補正に用いる非線形曲線として設定する。
【００６５】
そして、非線形補正部１３２が、推定照明光成分に対して、非線形曲線設定部１３３が設定した非線形曲線を施すことにより、非線形補正を行ない、階調特性を変化させる（Ｓ１０４５）。
【００６６】
図２のフローチャートの説明に戻って、補正輝度信号算出部１３４は、入力信号処理部１２０から入力した輝度信号Ｙを、上記の手順で得られた階調補正後の推定照明光成分で割ることにより、補正後の輝度信号Ｙ'を算出する（Ｓ１０５）。算出された補正後輝度信号Ｙ'は、バッファメモリ部１７０に格納するとともに、輝度信号変化率算出部１４０に出力し、さらに、輝度信号Ｙを補正後の推定照明光成分で割った値が、所定の基準値を超えた画素に関する情報を輝度過補正情報として評価部１６０に出力する。
【００６７】
図４（ｂ）は、仮設定のままの非線形曲線で補正された照明光成分を用いて算出された補正後輝度信号Ｙ'の一例を示し、図５（ｂ）は、修正された非線形曲線で補正された照明光成分を用いて算出された補正後輝度信号Ｙ'の一例を示している。これらの図に示されるように、仮設定された非線形曲線に対して修正を行なうことによって、暗い領域に対する階調補正の効果が抑えられている。したがって、輝度信号の変化率が抑圧されることで色差信号に対する過補正が抑制されて、色相の変化が抑制されるとともに、輝度信号に対する色差信号のバランスが保たれて、彩度の変化が抑制される。
【００６８】
次に、輝度信号変化率算出部１４０が、入力信号処理部１２０から入力した輝度信号Ｙと、輝度信号補正部１３０によって階調補正された輝度信号Ｙ'とから輝度信号の変化率を算出する（Ｓ１０６）。なお、帯域を制限するために時間軸多重された色差信号に対して補正を行なう場合には、２画素分を平均した値を輝度信号変化率とする。
【００６９】
図４（ｃ）は、仮設定のままの非線形曲線で補正された照明光成分を用いて算出された補正後輝度信号Ｙ'から得られる輝度信号の変化率の一例を示し、図５（ｃ）は、修正された非線形曲線で補正された照明光成分を用いて算出された補正後輝度信号Ｙ'から得られる輝度信号の変化率の一例を示している。これらの図に示されるように、仮設定された非線形曲線に対して修正を行なうことによって、暗い領域における輝度変化率が抑えられている。
【００７０】
そして、色差信号補正部１５０が、原画像の色差信号Ｃｂ、Ｃｒに対して、算出された輝度変化率に基づく値を掛け合わせて色差信号の補正を行なう（Ｓ１０７）。
【００７１】
ここで、色差信号の補正（Ｓ１０７）の詳細な手順について図６のフローチャートを参照して説明する。
【００７２】
色差信号の補正は、画素毎に行なうため、まず、対象画素を特定する（Ｓ１０７１）。そして、対象画素の輝度値が、所定の基準値より大きいかどうかを判定する（Ｓ１０７２）。本例では、明るい部分の階調を維持したまま、暗い部分を明るくする画像補正を行なっているため、対象画素の明るさに応じて場合分けを行なっている。基準値を３つ以上設けて、さらに処理を細分化するようにしてもよい。なお、本判定は、評価部１６０が行なってもよいし、色差信号補正部１５０が行なってもよい。
【００７３】
その結果、対象画素の輝度値が、所定の基準値より大きい場合（Ｓ１０７２：Ｙｅｓ）は、輝度変化率をそのまま原画像の色差信号に掛け合わせることで、色差信号の補正を行なう（Ｓ１０７３）。これにより、色相、彩度を保持することができる。
【００７４】
一方、対象画素の輝度値が、所定の基準値以下の場合（Ｓ１０７２：Ｎｏ）は、さらに、評価部１６０が、先行画像の対応画素が色再現範囲内であったかどうかを判定する（Ｓ１０７４）。その結果、先行画像の画素が色再現範囲内であった場合（Ｓ１０７４：Ｙｅｓ）は、輝度変化率をそのまま原画像の色差信号に掛け合わせることで、色差信号の補正を行なう（Ｓ１０７３）。これにより、色相、彩度を保持することができる。
【００７５】
先行画像の画素が色再現範囲内でなかった場合（Ｓ１０７４：Ｎｏ）は、所定の値でクリップしたり、１未満の係数を乗じる等により、輝度変化率を小さく修正する（Ｓ１０７５）。そして、修正後の輝度変化率を原画像の色差信号Ｃｂ、Ｃｒに掛け合わせることで、色差信号の補正を行なう（Ｓ１０７６）。これにより、色差信号の過補正を抑えることで色相、彩度を保持するようにする。
【００７６】
以上の処理を全画素に対して施すことで、色差信号の補正が行なわれる（Ｓ１０７７）。これらの処理の結果得られた補正後色差信号Ｃｂ'、Ｃｒ'は、バッファメモリ部１７０に格納される。また、補正後色差信号Ｃｂ'、Ｃｒ'が色再現範囲を超えた画素に関する情報は、色差過補正情報として評価部１６０に出力される。
【００７７】
以上の画像処理を、入力される画像データに対して繰り返し行なうことで、補正後の輝度信号Ｙ'、補正後の色差信号Ｃｂ'、Ｃｒ'が好ましい状態に収束していき、色再現性が良好に保たれ、階調が補正された良好な映像を得ることができる。また、補正は輝度信号Ｙ、色差信号Ｃｂ、Ｃｒに対して、照明光の非線形補正の修正と、輝度変化率の補正とによって行なうため、過剰なリソースは必要としない。このため、装置が大型化したり、大容量のメモリや高速の演算素子を多数用いることによるコストアップを防ぐことができる。
【００７８】
以上説明したように、本実施形態における輝度階調の改善は、Ｒｅｔｉｎｅｘ理論における推定照明光成分を非線形に補正を行なうことで、低輝度領域の階調改善を主に行ない、高輝度領域では階調を維持するよう補正を行なっている。このため、輝度信号の変化率を基本とする色差信号の補正量は、低輝度領域ほど大きくなる傾向となる。
【００７９】
したがって、高輝度領域については輝度信号の変化率そのものを使用して色差信号を補正しても、色相と彩度の変化を抑えた補正を行なえ、低輝度領域については、色再現範囲内に収まるように必要に応じて輝度信号の変化率を減少させて色差信号を補正することで、色相の変化を抑えるような補正を行なっている。
【００８０】
なお、第１実施形態においては、画像処理装置をビデオカメラ１００に適用した場合について説明したが、本発明は、輝度信号と色差信号からなるディジタル画像データを入出力することが可能である任意の装置、あるいはＲＧＢの原色色信号から輝度信号Ｙと色差信号Ｃｂ、Ｃｒを分離して処理を行なう任意の装置、例えば、ディスプレイ等の表示装置やコンピュータ等の情報処理装置に適用することができる。
【００８１】
また、第１実施形態においては、ビデオカメラ１００による処理を例に説明を行なったため、連続した画像データについて先行する画像に対する補正評価を利用して後続する画像の階調補正を行なう場合について説明してきたが、本発明は静止画に対しても適用することができる。この場合は、対象画像に対する補正結果の評価を反映してさらに対象画像を補正することで、補正の最適化を図ることができる。
【００８２】
また、第１実施形態においては、明るい領域の階調を保ったまま、暗い領域を明るめに補正する場合を例にしたが、本発明は、暗い領域の階調を保ったまま、明るい領域を暗めに補正する場合や、暗い領域をより暗く、あるいは、明るい領域をより明るく補正する場合にも適用することができる。この場合、非線形曲線に対する修正内容や、輝度変化率に対する修正内容は、それぞれの状況に対応させるものとする。
（第２実施形態）
次に、本発明の第２実施形態について説明する。第１実施形態では、先行する画像の補正結果を評価して、処理対象の画像の補正内容を制御していた。このため、連続する画像において、シーンが切り替わった場合には、画像の内容が変化するため、先行画像の補正結果を考慮することは好ましくない。そこで、第２実施形態では、連続する画像においてシーンの切り替わりを検出して、シーンが切り替わった直後においては、先行画像の補正結果の評価を利用した補正を行なわないようにする。このため、連続する画像の相関の度合いが所定値よりも高い場合に、対象入力画像についての輝度信号の階調補正および色差信号の補正を行なうように制御する。
【００８３】
第２実施形態においても、画像処理装置をビデオカメラに適用した場合を例に説明する。第２実施形態におけるビデオカメラの構成は、図１に示した第１実施形態と同様である。ただし、評価部１６０は、先行する複数の画像、例えば、前々画像と前画像との内容を評価して、両者に相関があるか否か、すなわち、連続するシーンであるか否かの判定を行なう機能をさらに備えている。また、評価用データ格納部１６１は、少なくとも２画面分の評価結果を格納できるようになっている。
【００８４】
第２実施形態におけるビデオカメラ１００の画像処理動作について図７のフローチャートを参照して説明する。図２に示したフローチャートと同じ処理については同じ符号を付して、説明を簡略化する。
【００８５】
入力信号処理部１２０は、撮像部１１０から画像信号を入力すると（Ｓ１０１）、輝度信号Ｙ、色差信号Ｃｂ、Ｃｒへの変換を行なう（Ｓ１０２）。これらのデータは、評価部１６０の評価用データ格納部１６１に格納される。
【００８６】
次に、評価部１６０が、評価用データ格納部１６１に格納されている評価用データを用いて前々画像と、前画像との相関の有無を評価する（Ｓ２０１）。
【００８７】
相関の評価は、例えば、両画像の平均輝度値の差と輝度信号のヒストグラム分布と推定照明光のヒストグラムを用いて行なうことができ、平均輝度値の差分値があらかじめ設定された閾値以上であり、かつ輝度信号のヒストグラム分布と推定照明光のヒストグラムとが所定の基準より大きく変化した場合に、２つの画面の相関がないと判断することができる。この場合、先行する２画面分の平均輝度値と輝度信号のヒストグラム分布と推定照明光のヒストグラムを評価用データ格納部１６１に格納しておくようにする。もちろん、従来用いられている他の方法を用いて相関の評価を行なってもよい。
【００８８】
その結果、前々画像と前画像とが相関ありと判定された場合（Ｓ２０２：Ｙｅｓ）は、第１実施形態と同様の処理を行なって、処理対象画像の輝度階調補正、色差補正を行なう（Ｓ１０３〜）。
【００８９】
一方、前々画像と前画像とが相関なしと判定された場合（Ｓ２０２：Ｎｏ）は、前画像の補正結果を用いて補正を行なうことは好ましくないため、先行画像の補正結果の評価を利用した補正は行なわずに、入力信号に係る輝度信号Ｙと色差信号Ｃｂ、Ｃｒをそのままバッファメモリ部１７０に格納する。ただし、後続画像の補正のために、評価用データは作成して評価部１６０の評価用データ格納部１６１に格納する（Ｓ２０３）。また、先行画像を利用しない画像補正は行なうようにしてもよい。
（第３実施形態）
次に、本発明の第３実施形態について説明する。第１実施形態では、先行する画像の補正結果を評価して、処理対象の画像の補正内容を制御していた。このため、補正が最適化されるまで、過補正が生じたりして多少のタイムラグが生じることになる。そこで、第３実施形態では、入力画像と補正後の画像とを必要に応じて合成することにより、補正が収束するまでの過渡期においても良好な画像が得られるようにする。
【００９０】
図８は、本発明の第３実施形態に係るビデオカメラ１００ａの構成を示すブロック図である。図１に示した第１実施形態に係るビデオカメラ１００と同じ構成については同じ符号を付し、説明を省略する。
【００９１】
本図に示すように、第３実施形態に係るビデオカメラ１００ａは、バッファメモリ部１７０の前段に、入力信号に係る輝度信号Ｙと色差信号Ｃｂ、Ｃｒと、補正された輝度信号Ｙ'と色差信号Ｃｂ'、Ｃｒ'とを所定の比率で合成する合成部２１０を備えている。
【００９２】
第３実施形態におけるビデオカメラ１００ａの画像処理動作について図９のフローチャートを参照して説明する。図２に示したフローチャートと同じ処理については同じ符号を付して、説明を簡略化する。
【００９３】
ビデオカメラ１００ａは、第１実施形態と同様に、入力画像に対して輝度信号の階調補正と色差信号の補正を行なう（Ｓ１０１〜Ｓ１０７）。補正後の輝度信号Ｙ'と色差信号Ｃｂ'、Ｃｒ'は、合成部２１０に入力される。また、補正前の輝度信号Ｙと色差信号Ｃｂ、Ｃｒも、合成部２１０に入力される。
【００９４】
そして、補正後の輝度信号Ｙ'と色差信号Ｃｂ'、Ｃｒ'に、補正前の輝度信号Ｙと色差信号Ｃｂ、Ｃｒを合成するか否かを判定する（Ｓ３０１）。合成するか否かの判定は、例えば、第２実施形態で行なったようなシーンの切り替わりを判別し、シーンが切り替わってから所定時間であれば合成を行なうようにすることができる。あるいは、常に合成を行なうように判定してもよい。
【００９５】
この結果、合成を行なわないと判定した場合（Ｓ３０１：Ｎｏ）は、合成を行なわずに、輝度信号Ｙ'と色差信号Ｃｂ'、Ｃｒ'をバッファメモリ部１７０に格納する。
【００９６】
一方、合成を行なうと判定した場合（Ｓ３０１：Ｙｅｓ）は、補正後の輝度信号Ｙ'と色差信号Ｃｂ'、Ｃｒ'に対して、所定の割合で補正前の輝度信号Ｙと色差信号Ｃｂ、Ｃｒを合成してバッファメモリ部１７０に格納する（Ｓ３０２）。
【００９７】
この際に、例えば、補正前の輝度信号Ｙが所定の輝度値以下の画素についてのみ合成を行なうようにしてもよい。明るい部分の階調を保ったまま、暗い部分を明るめに補正している場合には、暗い部分で過補正によるＳ／Ｎ悪化が起きやすいからである。もちろん、画像補正の状況によっては、全画素に対して合成を行なったり、所定の輝度値以上の画素についてのみ合成を行なうようにしてもよい。さらには、合成比率を動的に変更するようにしてもよい。
（第４実施形態）
次に、本発明の第４実施形態について説明する。近年、撮影装置において、見かけ上のダイナミックレンジを拡大するために、異なる露出で撮影した複数の画像を合成することが行なわれている。第４実施形態では、見かけ上のダイナミックレンジを拡大した画像に対して輝度信号補正と色差信号補正を行なう場合について説明する。
【００９８】
図１０は、本発明の第４実施形態に係るビデオカメラ１００ｂの構成を示すブロック図である。図１に示した第１実施形態に係るビデオカメラ１００と同じ構成については同じ符号を付し、説明を省略する。
【００９９】
本図に示すように、第４実施形態に係るビデオカメラ１００ｂは、入力信号処理部１２０の後段に、露出の異なる複数の画像を合成して見かけ上のダイナミックレンジを広げるダイナミックレンジ拡大部２２０を備えている。輝度信号補正部１３０は、見かけ上のダイナミックレンジ拡大後の輝度信号に対して補正を行ない、色差信号補正部１５０は、見かけ上のダイナミックレンジ拡大後の色差信号に対して補正を行なう。
【０１００】
第３実施形態におけるビデオカメラ１００ｂの画像処理動作について図１１のフローチャートを参照して説明する。図２に示したフローチャートと同じ処理については同じ符号を付して、説明を簡略化する。
【０１０１】
ビデオカメラ１００ｂの入力信号処理部１２０は、撮像部１１０によって露出を変更して連続的に撮影された複数の画像データを入力して、それぞれ輝度信号Ｙ、色差信号Ｃｂ、Ｃｒへの変換を行なう（Ｓ４０１）。複数の画像データは、例えば、シャッタースピードを調整して、高輝度領域に露出を合せた画像データと、低輝度領域に露出を合せた画像データとすることができる。
【０１０２】
次いで、これらの複数の画像に対してダイナミックレンジ拡大部２２０が見かけ上のダイナミックレンジを拡大する処理を行なう（Ｓ４０２）。見かけ上のダイナミックレンジを拡大する処理は、例えば、以下に示すような、従来から知られている手順で行なうことができる。
【０１０３】
すなわち、シャッタースピードの比率を次ブロックの入力ダイナミックレンジで正規化した、ゲイン補正のパラメータをそれぞれ乗算することで、次ブロックの入力ダイナミックレンジの中で被写体の照度に応じた領域にマッピングする。次いで、ゲインが補正された画像データのうち、所定の規則にしたがって設定された基準画像について、あらかじめ設定された閾値による有効領域を求める。そして、求められた有効領域を重み付けのパラメータとして、重み付けられたそれぞれの画像データを加算することで見かけ上のダイナミックレンジを拡大した合成画像データを得る。
【０１０４】
以降は、見かけ上のダイナミックレンジが拡大した合成画像データの輝度信号Ｙと色差信号Ｃｂ、Ｃｒに対して、第１実施形態と同様の補正処理を行なう（Ｓ１０３〜）。この際にＲｅｔｉｎｅｘ理論による階調圧縮効果を利用することで、後段の処理のダイナミックレンジに適した階調改善効果を得ることができる。
【０１０５】
なお、本実施形態における見かけ上のダイナミックレンジの拡大は、被写体を高輝度領域と低輝度領域に区分し、それぞれに適するように露出を変化させて撮像する場合について説明したが、さらに多くの異なる露出を設定して得られた複数の撮像データを用いて、見かけ上のダイナミックレンジの拡大処理を行なうようにしてもよい。
【０１０６】
また、本実施形態における見かけ上のダイナミックレンジの拡大は、露出を変化させ複数回撮像することで、異なる明るさに適応した画像データを得る場合について説明したが、明るさの異なる領域の撮像データを同時に撮像する撮像素子を利用して見かけ上のダイナミックレンジの拡大処理を行なうようにしてもよい。
【０１０７】
また、本実施形態における見かけ上のダイナミックレンジの拡大は、露出の比率によるゲインのパラメータを乗算した後に重み付けを行ない、合成する場合について説明したが、露出の比率によるオフセットのパラメータを加算した後に重み付けを行ない、合成することにより、見かけ上のダイナミックレンジの拡大処理を行なうようにしてもよい。
【符号の説明】
【０１０８】
１００…ビデオカメラ、１１０…撮像部、１２０…入力信号処理部、１３０…輝度信号補正部、１３１…推定照明光算出部、１３２…非線形補正部、１３３…非線形曲線設定部、１３４…補正輝度信号算出部、１４０…輝度信号変化率算出部、１５０…色差信号補正部、１５１…補正色差信号算出部、１５２…輝度変化率修正部、１６０…評価部、１６１…評価用データ格納部、１７０…バッファメモリ部、１８０…記録・再生部、１８０…記録・再生部、１９０…表示部、２１０…合成部、２２０…ダイナミックレンジ拡大部
【技術分野】
【０００１】
本発明は、画像処理に係り、特に、過剰なリソースを必要とせずに、色再現性を良好に保ちつつ階調補正を行なうことができる画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
人間の視覚が非常に広いダイナミックレンジを持っているのに対し、ビデオカメラ等の撮像装置はダイナミックレンジが狭い。このため、人物などの主要な被写体と背景とを同時に撮影する場合、見た目と異なり、主要な被写体が暗く撮影されたり、背景が白く飛んで撮影されたりすることがある。このような画像に対して、暗すぎる部分を明るめにしたり、明るすぎる部分を暗めにする階調補正を施すことで、より自然で良好な画像に補正することが行なわれている。
【０００３】
しかしながら、カラー画像に対して階調補正を行なうと、ＲＧＢ等の色成分の比率が変化したり、色再現範囲を超える等によって、色相と彩度が変化してしまい、色の再現性が悪化する場合があるという課題があり、この課題に対応するため、従来から種々の方法が提案されている。
【０００４】
例えば、特許文献１には、原画像から算出された輝度信号に対してガンマ変換を施すことで階調を補正し、階調補正前の輝度信号に対する階調補正後の輝度信号の比率である変化率を算出した後、変化率を原画像のＲＧＢ成分それぞれに乗じる第１の階調補正と、変化率を原画像から算出された色差信号それぞれに加える第２の階調補正とを行ない、原画像の画素の輝度値に応じて、第１の階調補正、第２の階調補正のいずれか、あるいは両補正の合成を選択することにより、色彩と彩度の変化のない階調補正を行なうことが記載されている。
【０００５】
また、特許文献２には、原画像から算出された輝度信号に対してガンマ変換を施すことで階調を補正し、階調補正前の輝度信号に対する階調補正後の輝度信号の比率である変化率を算出した後、変化率をＲＧＢ成分とＲＧＢ成分の最大値との比を乗じることでＲＧＢ成分毎、画素毎に補正し、補正後変化率を原画像のＲＧＢ成分にそれぞれ乗算することにより、彩度変化のない階調補正を行なうことが記載されている。
【０００６】
ところで、階調を改善する手法として、特許文献１、特許文献２に記載されているような輝度信号に対してガンマ変換を施す手法の他に、視覚の色恒常性と空間特性を考慮したＲｅｔｉｎｅｘ理論を適用して、より人間の視覚に近い画像を得るような手法が知られている。
【０００７】
Ｒｅｔｉｎｅｘ理論によると、人間の視覚は、各物体の反射率の比によって色を知覚する。反射率は、照明に依存しない被写体の画像成分であり、したがって、入力画像Ｉから照明光Ｌを分離して反射光Ｒを得ることによって、画像の階調改善が可能になると考えられる。一般に、入力画像から照明光Ｌを正確に分離することは困難であるため、照明光成分は、入力画像から推定された値である推定照明光成分が用いられる。
【０００８】
数１は、Ｒｅｔｉｎｅｘ理論を適用したＬｉｎｅａｒ Ｒｅｔｉｎｅｘアルゴリズムを表わす数式であり、輝度信号Ｙのぼけ画像を推定照明光（右辺括弧内分母）として用いている。
【数１】
ここで、（ｘ，ｙ）は二次元画像の座標を表し、Ｉｉ（ｘ，ｙ）は座標（ｘ，ｙ）の画素値を示している。添え字ｉは入力画像の各色成分を表し、入力画像がＲＧＢ画像である場合、ｉ＝Ｒ，Ｇ，Ｂである。また、Ａは、ゲイン定数であり、Ｆ（ｘ，ｙ）は、輝度信号Ｙのぼけ画像を得るための周辺関数であり、ガウス関数等が用いられる。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開平５−７６０３６号公報
【特許文献２】特開２００６−１１５４４４号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
上述のように、カラー画像に対して階調補正を行なうと、色相と彩度が変化してしまい色の再現性が悪化する場合があるという課題に対応するため、従来から種々の方法が提案されている。しかしながら、特許文献１、特許文献２に記載されているような従来の方法は、ＲＧＢ信号それぞれに対して画素毎に補正を行なうため、大量の演算を行なわなくてはならず、多くのメモリと演算リソースとが要求される。
【００１１】
また、ガンマ変換による輝度信号の階調補正と輝度信号の変化率に基づく色信号の補正を行なう場合に、全画面で一様な比率で補正を行なうため、階調補正と色再現性のバランスを保つ補正処理を行なうことが困難であるという課題がある。
【００１２】
一般に、ビデオカメラ等の撮像装置は、組み込み機器として構成されることが多く、装置に搭載されるメモリや、積和演算等を高速に実行するための演算素子に制約が課せられるのに加え、画像を映像として出力するために一定の時間内に複数の処理を行なう必要がある。このため、従来の方法をそのまま適用すると、装置が大型化したり、大容量のメモリや高速の演算素子を多数用いることによってコストアップを招くことになり好ましくない。
【００１３】
そこで、本発明は、過剰なリソースを必要とせずに、色再現性を良好に保ちつつ階調補正を行なうことができる画像処理装置および画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【００１４】
上記課題を解決するため、本発明の第１の態様である画像処理装置は、入力画像の輝度信号に対して階調補正を行なう輝度信号補正部と、前記入力画像の輝度信号と前記階調補正後の輝度信号とから輝度信号変化率を算出する輝度信号変化率算出部と、前記輝度信号変化率を用いて前記入力画像の色差信号を補正する色差信号補正部と、先行する入力画像に対して行なった補正結果を所定の基準にしたがって評価する評価部と、を備え、前記輝度信号補正部は、前記評価部の評価結果に応じて、前記階調補正の量を制御し、前記色差信号補正部は、前記評価部の評価結果に応じて、前記輝度信号変化率算出部によって算出された輝度信号変化率を修正して、前記色差信号の補正に用いることを特徴とする。
【００１５】
ここで、前記輝度信号補正部は、前記入力画像の輝度信号から得られる推定照明光成分に対して前記評価部の評価結果に応じた非線形補正を行なって得られた補正後推定照明光成分を用いて、前記入力画像の輝度信号を補正することで、階調補正後の輝度信号を得ることができる。
【００１６】
また、前記色差信号補正部は、特定の輝度値範囲の画素を対象に前記輝度信号変化率を修正することができる。
【００１７】
また、前記評価部は、先行する入力画像に対して行なった輝度信号の階調補正および色差信号の補正について、過補正の度合いを所定の基準にしたがって評価することができる。
【００１８】
また、前記評価部は、対象入力画像に先行する連続した入力画像の相関を評価し、相関の度合いが所定値よりも高い場合に、前記対象入力画像についての前記輝度信号の階調補正および前記色差信号の補正を行なうように制御することができる。
【００１９】
また、前記階調補正された輝度信号および前記補正された色差信号に対して、補正前の輝度信号および補正前の色差信号を合成する合成部をさらに備えるようにしてもよい。
【００２０】
上記課題を解決するため、本発明の第２の態様である画像処理方法は、画像処理装置における画像処理方法であって、入力画像の輝度信号に対して階調補正を行なう輝度信号補正ステップと、前記入力画像の輝度信号と前記階調補正後の輝度信号とから輝度信号変化率を算出する輝度信号変化率算出ステップと、前記輝度信号変化率を用いて前記入力画像の色差信号を補正する色差信号補正ステップと、先行する入力画像に対して行なった補正結果を所定の基準にしたがって評価する評価ステップと、を有し、前記輝度信号補正ステップは、前記評価ステップにおける評価結果に応じて、前記階調補正の量を制御し、前記色差信号補正ステップは、前記評価ステップにおける評価結果に応じて、前記輝度信号変化率算出ステップによって算出された輝度信号変化率を修正して、前記色差信号の補正に用いることを特徴とする。
【発明の効果】
【００２１】
本発明によれば、過剰なリソースを必要とせずに、色再現性を良好に保ちつつ階調補正を行なうことができる画像処理装置および画像処理方法が提供される。
【図面の簡単な説明】
【００２２】
【図１】本発明の第１実施形態に係るビデオカメラの構成を示すブロック図である。
【図２】第１実施形態におけるビデオカメラの画像処理動作について説明するフローチャートである。
【図３】推定照明光成分に対する非線形補正の詳細な手順について説明するフローチャートである。
【図４】仮設定された非線形曲線と、この非線形曲線を用いた場合の補正輝度階調イメージと輝度変化率イメージとを示す図である。
【図５】修正された設定非線形曲線と、この非線形曲線を用いた場合の補正輝度階調イメージと輝度変化率イメージとを示す図である。
【図６】色差信号の補正の詳細な手順について説明するフローチャートである。
【図７】第２実施形態におけるビデオカメラの画像処理動作について説明するフローチャートである。
【図８】第３実施形態に係るビデオカメラの構成を示すブロック図である。
【図９】第３実施形態におけるビデオカメラの画像処理動作について説明するフローチャートである。
【図１０】第４実施形態に係るビデオカメラの構成を示すブロック図である。
【図１１】第４実施形態におけるビデオカメラの画像処理動作について説明するフローチャートである。
【発明を実施するための形態】
【００２３】
本発明の実施の形態について図面を参照して詳細に説明する。以下では、本発明の画像処理装置をビデオカメラに適用した場合について説明する。
（第１実施形態）
まず、本発明の第１実施形態について説明する。図１は、本発明の第１実施形態に係るビデオカメラの構成を示すブロック図である。本図に示すように、ビデオカメラ１００は、撮像部１１０と、入力信号処理部１２０と、輝度信号補正部１３０と、輝度信号変化率算出部１４０と、色差信号補正部１５０と、評価部１６０と、バッファメモリ部１７０と、記録・再生部１８０と、表示部１９０とを備えている。
【００２４】
撮像部１１０は、レンズ、絞り等の光学系や、ＣＣＤやＣＭＯＳ等の撮像素子、露出やピントの制御部等を備えており、レンズを通して撮像素子に入力された光情報を所定のタイミングで電気信号として取り出し、入力信号処理部１２０に送る。
【００２５】
入力信号処理部１２０は、撮像部１１０から送られた電気信号を受信して、所定の信号方式に変換を行なう。具体的には、受信した電気信号に対してＡ／Ｄ変換等を施した後、ＲＧＢ形式の色信号に変換し、さらに、輝度信号Ｙ、色差信号Ｃｂ、Ｃｒへの変換を行なう。色差信号Ｃｂ、Ｃｒは、輝度信号Ｙと時間軸多重を行なうことによって帯域を制限するようにしてもよい。本実施形態では、主として輝度信号Ｙ、色差信号Ｃｂ、Ｃｒを用いて画像処理を行なうことにより、画像補正に必要なメモリや演算リソースを節減することができる。
【００２６】
輝度信号補正部１３０は、入力信号処理部１２０から輝度信号Ｙを入力し、輝度信号の階調補正処理を行なう。本実施形態では、Ｒｅｔｉｎｅｘ理論に基づいた階調補正処理を行なうものとする。具体的には、原画像の推定照明光成分を算出し、推定照明光成分の階調補正を行なうために非線形補正を行なう。そして、原画像の輝度信号Ｙを階調補正後の推定照明光成分で割ることにより、輝度信号Ｙの階調補正を行なう。
【００２７】
これらの処理を行なうために、輝度信号補正部１３０は、推定照明光算出部１３１、非線形補正部１３２、非線形曲線設定部１３３、補正輝度信号算出部１３４を備えている。
【００２８】
推定照明光算出部１３１は、輝度信号Ｙのぼけ画像を算出し、推定照明光成分として出力する。輝度信号Ｙのぼけ画像は、輝度信号Ｙに対してガウスフィルタ等を施すことにより得ることができる。
【００２９】
非線形補正部１３２は、推定照明光成分に対して、非線形曲線設定部１３３が設定する非線形曲線を用いた補正を施すことにより、階調特性を変化させる非線形補正を行なう。非線形曲線は、入力信号（補正前推定照明光）と出力信号（補正後推定照明光）の特性を示した曲線である。ただし、パラメータ、関数、その他の手法を用いて推定照明光成分の非線形補正を行なうようにしてもよい。
【００３０】
非線形曲線設定部１３３は、原画像の平均輝度値、輝度ヒストグラム等に対応した非線形曲線を仮設定し、さらに、評価部１６０による先行する画像の補正結果等に対する評価に基づいて、仮設定された非線形曲線を修正して、非線形補正に用いる非線形曲線を設定する。仮設定された非線形曲線の修正は、主として、先行する画像で過補正が多く生じた場合に、それを抑制する目的で行なう。
【００３１】
補正輝度信号算出部１３４は、入力信号処理部１２０から入力した輝度信号Ｙを、階調補正後の推定照明光成分で割ることにより、補正後の輝度信号Ｙ'を算出する。算出された補正後輝度信号Ｙ'は、バッファメモリ部１７０に格納されるとともに、輝度信号変化率算出部１４０に出力される。
【００３２】
また、補正輝度信号算出部１３４は、輝度信号Ｙを補正後の推定照明光成分で割った値が、所定の基準値を超えた画素、すなわち、補正によって元の輝度値が大きく変化した画素に関する情報を輝度過補正情報として評価部１６０に出力する。輝度過補正情報は、評価部１６０によって評価され、後続画像における非線形曲線の修正に用いられる。
【００３３】
輝度信号変化率算出部１４０は、入力信号処理部１２０から入力した輝度信号Ｙと、輝度信号補正部１３０によって階調補正された輝度信号Ｙ'とから輝度信号の変化率を算出する。
【００３４】
色差信号補正部１５０は、入力信号処理部１２０から色差信号Ｃｂ、Ｃｒを入力し、輝度信号の階調補正に伴って色再現性が悪化しないように色差信号の補正処理を行なう。具体的には、原画像の色差信号Ｃｂ、Ｃｒに対して、輝度変化率に基づく値を掛け合わせて補正後の色差信号Ｃｂ'、Ｃｒ'とする。
【００３５】
例えば、明るい領域の階調を保持したまま暗い部分を明るめにする補正を行なっている場合は、明るい領域、すなわち、輝度値が所定の基準値より高い画素については、輝度変化率が小さくなるように補正が行なわれているため、求められた輝度変化率をそのまま原画像の色差信号に掛け合わせる。
【００３６】
一方、暗い領域、すなわち、輝度値が所定の基準値以下の画素については、先行画面の画素が色再現範囲内であれば、輝度変化率をそのまま色差に掛け合わせ、先行画面の画素が色再現範囲外であれば、過補正を抑制するために輝度変化率を小さく修正して原画像の色差信号に掛け合わせる。
【００３７】
これらの処理を行なうために、色差信号補正部１５０は、補正色差信号算出部１５１、輝度変化率修正部１５２を備えている。
【００３８】
色差信号補正部１５０は、色差信号Ｃｂ、Ｃｒに対して、輝度変化率に基づく値を掛け合わせて補正後色差信号Ｃｂ'、Ｃｒ'を算出する。算出された補正後色差信号Ｃｂ'、Ｃｒ'は、バッファメモリ部１７０に格納される。
【００３９】
また、色差信号補正部１５０は、補正後色差信号Ｃｂ'、Ｃｒ'が色再現範囲外となった画素に関する情報を色差過補正情報として評価部１６０に出力する。色差過補正情報は、評価部１６０によって評価され、後続画像における色差信号の補正の際の輝度変化率の修正に用いられる。さらに、後続画像における推定照明光成分の補正の際の非線形曲線の修正に用いるようにしてもよい。
【００４０】
輝度変化率修正部１５２は、評価部１６０の評価に基づき、必要に応じて、色差信号補正部１５０が補正に用いる輝度変化率の修正を行なう。輝度変化率の修正は、先行する画像に対する色差補正において過補正が発生して色再現範囲となった場合に、色差補正を抑制して色再現性を保持するために行なう。
【００４１】
例えば、明るい領域の階調を保持したまま暗い部分を明るめにする補正を行なっている場合は、輝度値が所定の基準値より高い画素については、輝度変化率を修正しない。
【００４２】
一方、輝度値が所定の基準値以下の画素については、先行画面の画素が色再現範囲内であれば、輝度変化率を修正せず、先行画面の画素が色再現範囲外であれば、輝度変化率を小さく修正する。輝度変化率を小さく修正する方法は、例えば、所定の値でクリップしたり、１未満の係数を乗じる等とすることができる。
【００４３】
評価部１６０は、先行する画像に対する補正結果等を評価して、後続の画像に対する補正内容を制御する。具体的には、先行する画像に対して行なった輝度信号補正の結果、過補正となった画素の数に応じて輝度信号補正部１３０の補正内容を制御する。また、先行する画像に対して行なった色差信号補正の結果、過補正となった画素に対して色差信号補正部１５０の補正内容を制御する。このため、評価部１６０は、評価に用いるデータを格納する評価用データ格納部１６１を備えている。
【００４４】
バッファメモリ部１７０は、階調補正された輝度信号Ｙ'および、補正後の色差信号Ｃｂ'、Ｃｒ'を一時的に保持しておくメモリである。
【００４５】
記録・再生部１８０は、バッファメモリ部１７０に保持された補正後輝度信号Ｙ'、補正後色差信号Ｃｂ'、Ｃｒ'を映像として表示部１９０に表示したり、補正後輝度信号Ｙ'、補正後色差信号Ｃｂ'、Ｃｒ'からＪＰＥＧ方式等にしたがって符号化データを生成してメディアに記録したり、メディアに記録されている符号化データを読み出して伸張処理を施して、映像として表示部１９０に表示する等の処理を行なう。
【００４６】
また、ＮＴＳＣ信号方式等に変換して外部に出力したり、表示部１９０への映像表示の際に、制御情報などをキャラクタデータとして表示したり、スーパーインポーズ処理等を行なうこともできる。
【００４７】
表示部１９０は、ＬＣＤパネルなどの表示デバイスで構成することができる。
【００４８】
なお、輝度信号補正部１３０、輝度信号変化率算出部１４０、色差信号補正部１５０、評価部１６０は、画像処理装置として機能し、１または複数の演算処理装置、メモリその他のハードウェアを用いて構成することができる。
【００４９】
次に、本実施形態の第１実施形態におけるビデオカメラ１００の画像処理動作について図２のフローチャートを参照して説明する。ここでは、明るい領域の階調を保持したまま暗い部分を明るめにする補正を行なう画像処理を例に説明するため、撮像部１１０では、高輝度部分が大幅に飽和しない程度に露出を低めに撮影を行なうようにする。
【００５０】
入力信号処理部１２０は、撮像部１１０から画像信号を入力すると（Ｓ１０１）、ＲＧＢ形式の色信号に変換し、さらに、輝度信号Ｙ、色差信号Ｃｂ、Ｃｒへの変換を行なう（Ｓ１０２）。変換された輝度信号Ｙは輝度信号補正部１３０、輝度信号変化率算出部１４０に出力され、色差信号Ｃｂ、Ｃｒは、色差信号補正部１５０に出力される。また、ＲＧＢ形式の色信号と輝度信号Ｙは、評価部１６０に出力される。
【００５１】
次に、輝度信号補正部１３０の推定照明光算出部１３１が、輝度信号Ｙのぼけ画像を算出し、推定照明光成分を得る（Ｓ１０３）。また、得られた推定照明光成分についてのヒストグラムを算出し、評価部１６０に出力する。
【００５２】
そして、非線形補正部１３２が、得られた推定照明光成分に対して、非線形曲線設定部１３３が設定する非線形曲線を用いた補正を施すことにより、階調特性を変化させる非線形補正を行なう（Ｓ１０４）。
【００５３】
ここで、推定照明光成分に対する非線形補正（Ｓ１０４）の詳細な手順について図３のフローチャートを参照して説明する。
【００５４】
まず、平均輝度値、輝度信号のヒストグラムを評価して、大まかな非線形曲線を仮設定する（Ｓ１０４１）。この処理は、従来のＲｅｔｉｎｅｘ理論における推定照明光成分に対する階調補正と同様に行なうことができる。
【００５５】
例えば、暗い領域が暗くなりすぎて階調表現が十分でない画像であれば暗部を明るくするための非線形曲線を仮設定し、明るい領域が明るくなりすぎて階調表現が十分でない画像であれば暗部を暗くするための非線形曲線を仮設定する。なお、仮設定のための画像評価に用いる平均輝度値、輝度信号ヒストグラムは、入力される輝度信号Ｙから内部生成してもよいし、撮像の際に露出やレンズ制御を行なうために生成したデータを用いてもよい。
【００５６】
本例では、暗い領域が暗くなりすぎて階調表現が十分でない画像について、明るい部分の階調を維持しながら、過補正なく暗い部分の階調を拡大する補正を想定しているため、図４（ａ）に示すような、暗部を持ち上げるような非線形曲線を仮設定するものとする。
【００５７】
次に、評価部１６０が、評価用データ格納部１６１に格納されている先行画像の過補正情報にしたがって、仮設定された非線形曲線に対して修正が必要かどうかを判定する（Ｓ１０４３）。
【００５８】
ここで、過補正情報は、先行する画像の輝度信号補正において、輝度信号Ｙを補正後の推定照明光成分で割った値が、所定の基準値を超えた画素、すなわち、補正によって元の輝度値が大きく変化した画素の数とすることができ、この数が、所定の基準値よりも多い場合に、仮設定された非線形曲線に対して修正が必要であると判定するものとする。
【００５９】
あるいは、先行する画像の輝度信号補正において、輝度信号変化率が所定の基準値を超えた画素の数を過補正情報としてもよい。さらに、先行する画像の色差過補正情報を考慮して、色差信号補正の結果、色再現範囲外となった画素の数を用いて修正の有無の判定を行なったり、推定照明光成分のヒストグラム、色差信号の最大値等を用いて修正の有無の判定を行なうようにしてもよい。
【００６０】
なお、先行する画像は、処理対象画像の直前あるいは数フレーム前の１画像とすることができる。あるいは、先行する複数フレームを平均化して先行画像として扱うようにしてもよい。
【００６１】
判定の結果、仮設定された非線形曲線に対して修正が必要と判定された場合には（Ｓ１０４３：Ｙｅｓ）、仮設定された非線形曲線に対して修正を行なう（Ｓ１０４４）。ここでは、暗い領域に対して階調補正の効果を抑え、過補正画素を減らすため、図５（ａ）に示すように、仮設定された非線形曲線の輝度の低い側において、出力値を明るい値でクリップする修正を行なうものとする。
【００６２】
このとき、過補正画素が多いほど、より明るい値でクリップを行なって階調補正が抑制されるようにし、過補正画素が少ないほど、より暗い値でクリップを行なうようにする。これにより、連続する画像において、非線形曲線に対する修正が最適化されていくため、映像が良好な画像に収束していくことになる。
【００６３】
ただし、修正の方法は、クリップに限られず、例えば、仮設定された非線形曲線に対して、所定の輝度値以下について、ある係数を乗じることで、暗い領域に対して階調補正の効果を抑えるようにしてもよい。また、輝度信号変化率や推定照明光成分のヒストグラム等の修正の有無の判定に用いた情報を用いて非線形曲線に対する修正を行なうようにしてもよい。
【００６４】
一方、仮設定された非線形曲線に対して修正が不要と判定された場合には（Ｓ１０４３：Ｎｏ）、仮設定の非線形曲線をそのまま補正に用いる非線形曲線として設定する。
【００６５】
そして、非線形補正部１３２が、推定照明光成分に対して、非線形曲線設定部１３３が設定した非線形曲線を施すことにより、非線形補正を行ない、階調特性を変化させる（Ｓ１０４５）。
【００６６】
図２のフローチャートの説明に戻って、補正輝度信号算出部１３４は、入力信号処理部１２０から入力した輝度信号Ｙを、上記の手順で得られた階調補正後の推定照明光成分で割ることにより、補正後の輝度信号Ｙ'を算出する（Ｓ１０５）。算出された補正後輝度信号Ｙ'は、バッファメモリ部１７０に格納するとともに、輝度信号変化率算出部１４０に出力し、さらに、輝度信号Ｙを補正後の推定照明光成分で割った値が、所定の基準値を超えた画素に関する情報を輝度過補正情報として評価部１６０に出力する。
【００６７】
図４（ｂ）は、仮設定のままの非線形曲線で補正された照明光成分を用いて算出された補正後輝度信号Ｙ'の一例を示し、図５（ｂ）は、修正された非線形曲線で補正された照明光成分を用いて算出された補正後輝度信号Ｙ'の一例を示している。これらの図に示されるように、仮設定された非線形曲線に対して修正を行なうことによって、暗い領域に対する階調補正の効果が抑えられている。したがって、輝度信号の変化率が抑圧されることで色差信号に対する過補正が抑制されて、色相の変化が抑制されるとともに、輝度信号に対する色差信号のバランスが保たれて、彩度の変化が抑制される。
【００６８】
次に、輝度信号変化率算出部１４０が、入力信号処理部１２０から入力した輝度信号Ｙと、輝度信号補正部１３０によって階調補正された輝度信号Ｙ'とから輝度信号の変化率を算出する（Ｓ１０６）。なお、帯域を制限するために時間軸多重された色差信号に対して補正を行なう場合には、２画素分を平均した値を輝度信号変化率とする。
【００６９】
図４（ｃ）は、仮設定のままの非線形曲線で補正された照明光成分を用いて算出された補正後輝度信号Ｙ'から得られる輝度信号の変化率の一例を示し、図５（ｃ）は、修正された非線形曲線で補正された照明光成分を用いて算出された補正後輝度信号Ｙ'から得られる輝度信号の変化率の一例を示している。これらの図に示されるように、仮設定された非線形曲線に対して修正を行なうことによって、暗い領域における輝度変化率が抑えられている。
【００７０】
そして、色差信号補正部１５０が、原画像の色差信号Ｃｂ、Ｃｒに対して、算出された輝度変化率に基づく値を掛け合わせて色差信号の補正を行なう（Ｓ１０７）。
【００７１】
ここで、色差信号の補正（Ｓ１０７）の詳細な手順について図６のフローチャートを参照して説明する。
【００７２】
色差信号の補正は、画素毎に行なうため、まず、対象画素を特定する（Ｓ１０７１）。そして、対象画素の輝度値が、所定の基準値より大きいかどうかを判定する（Ｓ１０７２）。本例では、明るい部分の階調を維持したまま、暗い部分を明るくする画像補正を行なっているため、対象画素の明るさに応じて場合分けを行なっている。基準値を３つ以上設けて、さらに処理を細分化するようにしてもよい。なお、本判定は、評価部１６０が行なってもよいし、色差信号補正部１５０が行なってもよい。
【００７３】
その結果、対象画素の輝度値が、所定の基準値より大きい場合（Ｓ１０７２：Ｙｅｓ）は、輝度変化率をそのまま原画像の色差信号に掛け合わせることで、色差信号の補正を行なう（Ｓ１０７３）。これにより、色相、彩度を保持することができる。
【００７４】
一方、対象画素の輝度値が、所定の基準値以下の場合（Ｓ１０７２：Ｎｏ）は、さらに、評価部１６０が、先行画像の対応画素が色再現範囲内であったかどうかを判定する（Ｓ１０７４）。その結果、先行画像の画素が色再現範囲内であった場合（Ｓ１０７４：Ｙｅｓ）は、輝度変化率をそのまま原画像の色差信号に掛け合わせることで、色差信号の補正を行なう（Ｓ１０７３）。これにより、色相、彩度を保持することができる。
【００７５】
先行画像の画素が色再現範囲内でなかった場合（Ｓ１０７４：Ｎｏ）は、所定の値でクリップしたり、１未満の係数を乗じる等により、輝度変化率を小さく修正する（Ｓ１０７５）。そして、修正後の輝度変化率を原画像の色差信号Ｃｂ、Ｃｒに掛け合わせることで、色差信号の補正を行なう（Ｓ１０７６）。これにより、色差信号の過補正を抑えることで色相、彩度を保持するようにする。
【００７６】
以上の処理を全画素に対して施すことで、色差信号の補正が行なわれる（Ｓ１０７７）。これらの処理の結果得られた補正後色差信号Ｃｂ'、Ｃｒ'は、バッファメモリ部１７０に格納される。また、補正後色差信号Ｃｂ'、Ｃｒ'が色再現範囲を超えた画素に関する情報は、色差過補正情報として評価部１６０に出力される。
【００７７】
以上の画像処理を、入力される画像データに対して繰り返し行なうことで、補正後の輝度信号Ｙ'、補正後の色差信号Ｃｂ'、Ｃｒ'が好ましい状態に収束していき、色再現性が良好に保たれ、階調が補正された良好な映像を得ることができる。また、補正は輝度信号Ｙ、色差信号Ｃｂ、Ｃｒに対して、照明光の非線形補正の修正と、輝度変化率の補正とによって行なうため、過剰なリソースは必要としない。このため、装置が大型化したり、大容量のメモリや高速の演算素子を多数用いることによるコストアップを防ぐことができる。
【００７８】
以上説明したように、本実施形態における輝度階調の改善は、Ｒｅｔｉｎｅｘ理論における推定照明光成分を非線形に補正を行なうことで、低輝度領域の階調改善を主に行ない、高輝度領域では階調を維持するよう補正を行なっている。このため、輝度信号の変化率を基本とする色差信号の補正量は、低輝度領域ほど大きくなる傾向となる。
【００７９】
したがって、高輝度領域については輝度信号の変化率そのものを使用して色差信号を補正しても、色相と彩度の変化を抑えた補正を行なえ、低輝度領域については、色再現範囲内に収まるように必要に応じて輝度信号の変化率を減少させて色差信号を補正することで、色相の変化を抑えるような補正を行なっている。
【００８０】
なお、第１実施形態においては、画像処理装置をビデオカメラ１００に適用した場合について説明したが、本発明は、輝度信号と色差信号からなるディジタル画像データを入出力することが可能である任意の装置、あるいはＲＧＢの原色色信号から輝度信号Ｙと色差信号Ｃｂ、Ｃｒを分離して処理を行なう任意の装置、例えば、ディスプレイ等の表示装置やコンピュータ等の情報処理装置に適用することができる。
【００８１】
また、第１実施形態においては、ビデオカメラ１００による処理を例に説明を行なったため、連続した画像データについて先行する画像に対する補正評価を利用して後続する画像の階調補正を行なう場合について説明してきたが、本発明は静止画に対しても適用することができる。この場合は、対象画像に対する補正結果の評価を反映してさらに対象画像を補正することで、補正の最適化を図ることができる。
【００８２】
また、第１実施形態においては、明るい領域の階調を保ったまま、暗い領域を明るめに補正する場合を例にしたが、本発明は、暗い領域の階調を保ったまま、明るい領域を暗めに補正する場合や、暗い領域をより暗く、あるいは、明るい領域をより明るく補正する場合にも適用することができる。この場合、非線形曲線に対する修正内容や、輝度変化率に対する修正内容は、それぞれの状況に対応させるものとする。
（第２実施形態）
次に、本発明の第２実施形態について説明する。第１実施形態では、先行する画像の補正結果を評価して、処理対象の画像の補正内容を制御していた。このため、連続する画像において、シーンが切り替わった場合には、画像の内容が変化するため、先行画像の補正結果を考慮することは好ましくない。そこで、第２実施形態では、連続する画像においてシーンの切り替わりを検出して、シーンが切り替わった直後においては、先行画像の補正結果の評価を利用した補正を行なわないようにする。このため、連続する画像の相関の度合いが所定値よりも高い場合に、対象入力画像についての輝度信号の階調補正および色差信号の補正を行なうように制御する。
【００８３】
第２実施形態においても、画像処理装置をビデオカメラに適用した場合を例に説明する。第２実施形態におけるビデオカメラの構成は、図１に示した第１実施形態と同様である。ただし、評価部１６０は、先行する複数の画像、例えば、前々画像と前画像との内容を評価して、両者に相関があるか否か、すなわち、連続するシーンであるか否かの判定を行なう機能をさらに備えている。また、評価用データ格納部１６１は、少なくとも２画面分の評価結果を格納できるようになっている。
【００８４】
第２実施形態におけるビデオカメラ１００の画像処理動作について図７のフローチャートを参照して説明する。図２に示したフローチャートと同じ処理については同じ符号を付して、説明を簡略化する。
【００８５】
入力信号処理部１２０は、撮像部１１０から画像信号を入力すると（Ｓ１０１）、輝度信号Ｙ、色差信号Ｃｂ、Ｃｒへの変換を行なう（Ｓ１０２）。これらのデータは、評価部１６０の評価用データ格納部１６１に格納される。
【００８６】
次に、評価部１６０が、評価用データ格納部１６１に格納されている評価用データを用いて前々画像と、前画像との相関の有無を評価する（Ｓ２０１）。
【００８７】
相関の評価は、例えば、両画像の平均輝度値の差と輝度信号のヒストグラム分布と推定照明光のヒストグラムを用いて行なうことができ、平均輝度値の差分値があらかじめ設定された閾値以上であり、かつ輝度信号のヒストグラム分布と推定照明光のヒストグラムとが所定の基準より大きく変化した場合に、２つの画面の相関がないと判断することができる。この場合、先行する２画面分の平均輝度値と輝度信号のヒストグラム分布と推定照明光のヒストグラムを評価用データ格納部１６１に格納しておくようにする。もちろん、従来用いられている他の方法を用いて相関の評価を行なってもよい。
【００８８】
その結果、前々画像と前画像とが相関ありと判定された場合（Ｓ２０２：Ｙｅｓ）は、第１実施形態と同様の処理を行なって、処理対象画像の輝度階調補正、色差補正を行なう（Ｓ１０３〜）。
【００８９】
一方、前々画像と前画像とが相関なしと判定された場合（Ｓ２０２：Ｎｏ）は、前画像の補正結果を用いて補正を行なうことは好ましくないため、先行画像の補正結果の評価を利用した補正は行なわずに、入力信号に係る輝度信号Ｙと色差信号Ｃｂ、Ｃｒをそのままバッファメモリ部１７０に格納する。ただし、後続画像の補正のために、評価用データは作成して評価部１６０の評価用データ格納部１６１に格納する（Ｓ２０３）。また、先行画像を利用しない画像補正は行なうようにしてもよい。
（第３実施形態）
次に、本発明の第３実施形態について説明する。第１実施形態では、先行する画像の補正結果を評価して、処理対象の画像の補正内容を制御していた。このため、補正が最適化されるまで、過補正が生じたりして多少のタイムラグが生じることになる。そこで、第３実施形態では、入力画像と補正後の画像とを必要に応じて合成することにより、補正が収束するまでの過渡期においても良好な画像が得られるようにする。
【００９０】
図８は、本発明の第３実施形態に係るビデオカメラ１００ａの構成を示すブロック図である。図１に示した第１実施形態に係るビデオカメラ１００と同じ構成については同じ符号を付し、説明を省略する。
【００９１】
本図に示すように、第３実施形態に係るビデオカメラ１００ａは、バッファメモリ部１７０の前段に、入力信号に係る輝度信号Ｙと色差信号Ｃｂ、Ｃｒと、補正された輝度信号Ｙ'と色差信号Ｃｂ'、Ｃｒ'とを所定の比率で合成する合成部２１０を備えている。
【００９２】
第３実施形態におけるビデオカメラ１００ａの画像処理動作について図９のフローチャートを参照して説明する。図２に示したフローチャートと同じ処理については同じ符号を付して、説明を簡略化する。
【００９３】
ビデオカメラ１００ａは、第１実施形態と同様に、入力画像に対して輝度信号の階調補正と色差信号の補正を行なう（Ｓ１０１〜Ｓ１０７）。補正後の輝度信号Ｙ'と色差信号Ｃｂ'、Ｃｒ'は、合成部２１０に入力される。また、補正前の輝度信号Ｙと色差信号Ｃｂ、Ｃｒも、合成部２１０に入力される。
【００９４】
そして、補正後の輝度信号Ｙ'と色差信号Ｃｂ'、Ｃｒ'に、補正前の輝度信号Ｙと色差信号Ｃｂ、Ｃｒを合成するか否かを判定する（Ｓ３０１）。合成するか否かの判定は、例えば、第２実施形態で行なったようなシーンの切り替わりを判別し、シーンが切り替わってから所定時間であれば合成を行なうようにすることができる。あるいは、常に合成を行なうように判定してもよい。
【００９５】
この結果、合成を行なわないと判定した場合（Ｓ３０１：Ｎｏ）は、合成を行なわずに、輝度信号Ｙ'と色差信号Ｃｂ'、Ｃｒ'をバッファメモリ部１７０に格納する。
【００９６】
一方、合成を行なうと判定した場合（Ｓ３０１：Ｙｅｓ）は、補正後の輝度信号Ｙ'と色差信号Ｃｂ'、Ｃｒ'に対して、所定の割合で補正前の輝度信号Ｙと色差信号Ｃｂ、Ｃｒを合成してバッファメモリ部１７０に格納する（Ｓ３０２）。
【００９７】
この際に、例えば、補正前の輝度信号Ｙが所定の輝度値以下の画素についてのみ合成を行なうようにしてもよい。明るい部分の階調を保ったまま、暗い部分を明るめに補正している場合には、暗い部分で過補正によるＳ／Ｎ悪化が起きやすいからである。もちろん、画像補正の状況によっては、全画素に対して合成を行なったり、所定の輝度値以上の画素についてのみ合成を行なうようにしてもよい。さらには、合成比率を動的に変更するようにしてもよい。
（第４実施形態）
次に、本発明の第４実施形態について説明する。近年、撮影装置において、見かけ上のダイナミックレンジを拡大するために、異なる露出で撮影した複数の画像を合成することが行なわれている。第４実施形態では、見かけ上のダイナミックレンジを拡大した画像に対して輝度信号補正と色差信号補正を行なう場合について説明する。
【００９８】
図１０は、本発明の第４実施形態に係るビデオカメラ１００ｂの構成を示すブロック図である。図１に示した第１実施形態に係るビデオカメラ１００と同じ構成については同じ符号を付し、説明を省略する。
【００９９】
本図に示すように、第４実施形態に係るビデオカメラ１００ｂは、入力信号処理部１２０の後段に、露出の異なる複数の画像を合成して見かけ上のダイナミックレンジを広げるダイナミックレンジ拡大部２２０を備えている。輝度信号補正部１３０は、見かけ上のダイナミックレンジ拡大後の輝度信号に対して補正を行ない、色差信号補正部１５０は、見かけ上のダイナミックレンジ拡大後の色差信号に対して補正を行なう。
【０１００】
第３実施形態におけるビデオカメラ１００ｂの画像処理動作について図１１のフローチャートを参照して説明する。図２に示したフローチャートと同じ処理については同じ符号を付して、説明を簡略化する。
【０１０１】
ビデオカメラ１００ｂの入力信号処理部１２０は、撮像部１１０によって露出を変更して連続的に撮影された複数の画像データを入力して、それぞれ輝度信号Ｙ、色差信号Ｃｂ、Ｃｒへの変換を行なう（Ｓ４０１）。複数の画像データは、例えば、シャッタースピードを調整して、高輝度領域に露出を合せた画像データと、低輝度領域に露出を合せた画像データとすることができる。
【０１０２】
次いで、これらの複数の画像に対してダイナミックレンジ拡大部２２０が見かけ上のダイナミックレンジを拡大する処理を行なう（Ｓ４０２）。見かけ上のダイナミックレンジを拡大する処理は、例えば、以下に示すような、従来から知られている手順で行なうことができる。
【０１０３】
すなわち、シャッタースピードの比率を次ブロックの入力ダイナミックレンジで正規化した、ゲイン補正のパラメータをそれぞれ乗算することで、次ブロックの入力ダイナミックレンジの中で被写体の照度に応じた領域にマッピングする。次いで、ゲインが補正された画像データのうち、所定の規則にしたがって設定された基準画像について、あらかじめ設定された閾値による有効領域を求める。そして、求められた有効領域を重み付けのパラメータとして、重み付けられたそれぞれの画像データを加算することで見かけ上のダイナミックレンジを拡大した合成画像データを得る。
【０１０４】
以降は、見かけ上のダイナミックレンジが拡大した合成画像データの輝度信号Ｙと色差信号Ｃｂ、Ｃｒに対して、第１実施形態と同様の補正処理を行なう（Ｓ１０３〜）。この際にＲｅｔｉｎｅｘ理論による階調圧縮効果を利用することで、後段の処理のダイナミックレンジに適した階調改善効果を得ることができる。
【０１０５】
なお、本実施形態における見かけ上のダイナミックレンジの拡大は、被写体を高輝度領域と低輝度領域に区分し、それぞれに適するように露出を変化させて撮像する場合について説明したが、さらに多くの異なる露出を設定して得られた複数の撮像データを用いて、見かけ上のダイナミックレンジの拡大処理を行なうようにしてもよい。
【０１０６】
また、本実施形態における見かけ上のダイナミックレンジの拡大は、露出を変化させ複数回撮像することで、異なる明るさに適応した画像データを得る場合について説明したが、明るさの異なる領域の撮像データを同時に撮像する撮像素子を利用して見かけ上のダイナミックレンジの拡大処理を行なうようにしてもよい。
【０１０７】
また、本実施形態における見かけ上のダイナミックレンジの拡大は、露出の比率によるゲインのパラメータを乗算した後に重み付けを行ない、合成する場合について説明したが、露出の比率によるオフセットのパラメータを加算した後に重み付けを行ない、合成することにより、見かけ上のダイナミックレンジの拡大処理を行なうようにしてもよい。
【符号の説明】
【０１０８】
１００…ビデオカメラ、１１０…撮像部、１２０…入力信号処理部、１３０…輝度信号補正部、１３１…推定照明光算出部、１３２…非線形補正部、１３３…非線形曲線設定部、１３４…補正輝度信号算出部、１４０…輝度信号変化率算出部、１５０…色差信号補正部、１５１…補正色差信号算出部、１５２…輝度変化率修正部、１６０…評価部、１６１…評価用データ格納部、１７０…バッファメモリ部、１８０…記録・再生部、１８０…記録・再生部、１９０…表示部、２１０…合成部、２２０…ダイナミックレンジ拡大部
【特許請求の範囲】
【請求項１】
入力画像の輝度信号に対して階調補正を行なう輝度信号補正部と、
前記入力画像の輝度信号と前記階調補正後の輝度信号とから輝度信号変化率を算出する輝度信号変化率算出部と、
前記輝度信号変化率を用いて前記入力画像の色差信号を補正する色差信号補正部と、
先行する入力画像に対して行なった補正結果を所定の基準にしたがって評価する評価部と、を備え、
前記輝度信号補正部は、前記評価部の評価結果に応じて、前記階調補正の量を制御し、
前記色差信号補正部は、前記評価部の評価結果に応じて、前記輝度信号変化率算出部によって算出された輝度信号変化率を修正して、前記色差信号の補正に用いることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、
前記輝度信号補正部は、前記入力画像の輝度信号から得られる推定照明光成分に対して前記評価部の評価結果に応じた非線形補正を行なって得られた補正後推定照明光成分を用いて、前記入力画像の輝度信号の階調補正を行なうことを特徴とする画像処理装置。
【請求項３】
請求項１または２に記載の画像処理装置であって、
前記色差信号補正部は、特定の輝度値範囲の画素を対象に前記輝度信号変化率を修正することを特徴とする画像処理装置。
【請求項４】
請求項１から３のいずれか１項に記載の画像処理装置であって、
前記評価部は、先行する入力画像に対して行なった輝度信号の階調補正および色差信号の補正について、過補正の度合いを所定の基準にしたがって評価することを特徴とする画像処理装置。
【請求項５】
請求項１から４のいずれか１項に記載の画像処理装置であって、
前記評価部は、対象入力画像に先行する連続した入力画像の相関を評価し、相関の度合いが所定値よりも高い場合に、前記対象入力画像についての前記輝度信号の階調補正および前記色差信号の補正を行なうように制御することを特徴とする画像処理装置。
【請求項６】
請求項１から５のいずれか１項に記載の画像処理装置であって、
前記階調補正された輝度信号および前記補正された色差信号に対して、補正前の輝度信号および補正前の色差信号を合成する合成部をさらに備えたことを特徴とする画像処理装置。
【請求項７】
画像処理装置における画像処理方法であって、
入力画像の輝度信号に対して階調補正を行なう輝度信号補正ステップと、
前記入力画像の輝度信号と前記階調補正後の輝度信号とから輝度信号変化率を算出する輝度信号変化率算出ステップと、
前記輝度信号変化率を用いて前記入力画像の色差信号を補正する色差信号補正ステップと、
先行する入力画像に対して行なった補正結果を所定の基準にしたがって評価する評価ステップと、を有し、
前記輝度信号補正ステップは、前記評価ステップにおける評価結果に応じて、前記階調補正の量を制御し、
前記色差信号補正ステップは、前記評価ステップにおける評価結果に応じて、前記輝度信号変化率算出ステップによって算出された輝度信号変化率を修正して、前記色差信号の補正に用いることを特徴とする画像処理方法。
【請求項１】
入力画像の輝度信号に対して階調補正を行なう輝度信号補正部と、
前記入力画像の輝度信号と前記階調補正後の輝度信号とから輝度信号変化率を算出する輝度信号変化率算出部と、
前記輝度信号変化率を用いて前記入力画像の色差信号を補正する色差信号補正部と、
先行する入力画像に対して行なった補正結果を所定の基準にしたがって評価する評価部と、を備え、
前記輝度信号補正部は、前記評価部の評価結果に応じて、前記階調補正の量を制御し、
前記色差信号補正部は、前記評価部の評価結果に応じて、前記輝度信号変化率算出部によって算出された輝度信号変化率を修正して、前記色差信号の補正に用いることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、
前記輝度信号補正部は、前記入力画像の輝度信号から得られる推定照明光成分に対して前記評価部の評価結果に応じた非線形補正を行なって得られた補正後推定照明光成分を用いて、前記入力画像の輝度信号の階調補正を行なうことを特徴とする画像処理装置。
【請求項３】
請求項１または２に記載の画像処理装置であって、
前記色差信号補正部は、特定の輝度値範囲の画素を対象に前記輝度信号変化率を修正することを特徴とする画像処理装置。
【請求項４】
請求項１から３のいずれか１項に記載の画像処理装置であって、
前記評価部は、先行する入力画像に対して行なった輝度信号の階調補正および色差信号の補正について、過補正の度合いを所定の基準にしたがって評価することを特徴とする画像処理装置。
【請求項５】
請求項１から４のいずれか１項に記載の画像処理装置であって、
前記評価部は、対象入力画像に先行する連続した入力画像の相関を評価し、相関の度合いが所定値よりも高い場合に、前記対象入力画像についての前記輝度信号の階調補正および前記色差信号の補正を行なうように制御することを特徴とする画像処理装置。
【請求項６】
請求項１から５のいずれか１項に記載の画像処理装置であって、
前記階調補正された輝度信号および前記補正された色差信号に対して、補正前の輝度信号および補正前の色差信号を合成する合成部をさらに備えたことを特徴とする画像処理装置。
【請求項７】
画像処理装置における画像処理方法であって、
入力画像の輝度信号に対して階調補正を行なう輝度信号補正ステップと、
前記入力画像の輝度信号と前記階調補正後の輝度信号とから輝度信号変化率を算出する輝度信号変化率算出ステップと、
前記輝度信号変化率を用いて前記入力画像の色差信号を補正する色差信号補正ステップと、
先行する入力画像に対して行なった補正結果を所定の基準にしたがって評価する評価ステップと、を有し、
前記輝度信号補正ステップは、前記評価ステップにおける評価結果に応じて、前記階調補正の量を制御し、
前記色差信号補正ステップは、前記評価ステップにおける評価結果に応じて、前記輝度信号変化率算出ステップによって算出された輝度信号変化率を修正して、前記色差信号の補正に用いることを特徴とする画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１２−１０２２７（Ｐ２０１２−１０２２７Ａ）
【公開日】平成２４年１月１２日（２０１２．１．１２）
【国際特許分類】
【出願番号】特願２０１０−１４６０６７（Ｐ２０１０−１４６０６７）
【出願日】平成２２年６月２８日（２０１０．６．２８）
【出願人】（３０８０３６４０２）株式会社ＪＶＣケンウッド (1,152)
【Ｆターム（参考）】
【公開日】平成２４年１月１２日（２０１２．１．１２）
【国際特許分類】
【出願日】平成２２年６月２８日（２０１０．６．２８）
【出願人】（３０８０３６４０２）株式会社ＪＶＣケンウッド (1,152)
【Ｆターム（参考）】
[ Back to top ]