画像処理回路及び画像処理方法
【課題】 本発明は、画像処理回路及び画像処理方法に関し、例えばビデオカメラ、電子スチルカメラ等に適用して、コントラスト感の低下、不自然なエッジ強調を有効に回避して、高い圧縮率でダイナミックレンジを圧縮することができるようにする。
【解決手段】 本発明は、エッジを保存したまま入力画像Ｘを平滑化してゲイン補正係数Ｇを求め、このゲイン補正係数Ｇにより入力画像Ｘの画素値ｘ（ｉ，ｊ）を補正する。
【解決手段】 本発明は、エッジを保存したまま入力画像Ｘを平滑化してゲイン補正係数Ｇを求め、このゲイン補正係数Ｇにより入力画像Ｘの画素値ｘ（ｉ，ｊ）を補正する。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、画像処理回路及び画像処理方法に関し、例えばビデオカメラ、電子スチルカメラ等における撮像結果の処理、記録、液晶表示装置等における画像表示、パーソナルコンピュータ等による画像処理、画像合成、さらにはこれらによる画像の伝送に適用することができる。本発明は、エッジを保存したまま入力画像を平滑化してゲイン補正係数を求め、このゲイン補正係数により入力画像の画素値を補正することにより、コントラスト感の低下、不自然なエッジ強調を有効に回避して、高い圧縮率でダイナミックレンジを圧縮することができるようにする。
【０００２】
【従来の技術】従来、撮像装置等の種々の画像処理回路においては、画像のダイナミックレンジを圧縮して記録、再生等の種々の処理を実行するようになされている。
【０００３】このようなダイナミックレンジを圧縮する処理としては、画像全体の階調を補正する方法と、画像の低周波数成分についてのみ階調を補正する方法とがあり、前者においては、ガンマ補正、ニー補正、さらにはいわゆるヒストグラム等価等により階調を補正してダイナミックレンジを圧縮するようになされている。これに対して後者においては、ガンマ補正、ニー補正等によりダイナミックレンジを圧縮するようになされている。
【０００４】
【発明が解決しようとする課題】しかしながらこれらのダイナミックレンジ圧縮法にあっては、実用上未だ不十分な問題があった。
【０００５】すなわち画像全体の階調をガンマ補正、ニー補正等により補正する方法にあっては、ハイライト部やヒストグラムの少ない輝度域等の、コントラストの圧縮対象である輝度域において、ダイナミックレンジと同時に被写体のコントラストも圧縮される。これによりこの方法の場合では、ダイナミックレンジの圧縮率を大きくすることが困難で、またダイナミックレンジの圧縮によりコントラストの劣化したメリハリのない画像が生成される問題があった。
【０００６】これに対して画像の低周波数成分についてのみガンマ補正、ニー補正等により階調を補正する方法にあっては、ダイナミックレンジの圧縮により画像の低周波成分と高周波成分との比率が変化する。これによりこの方法の場合では、ダイナミックレンジの圧縮によりエッジが不自然に強調され、品位のない画像が生成される問題があった。
【０００７】本発明は以上の点を考慮してなされたもので、コントラスト感の低下、不自然なエッジ強調を有効に回避して、高い圧縮率でダイナミックレンジを圧縮することができる画像処理回路及び画像処理方法を提案しようとするものである。
【０００８】
【課題を解決するための手段】かかる課題を解決するため請求項１又は請求項２の発明においては、画像処理回路又は画像処理方法に適用して、入力画像のエッジを保存して入力画像の画素値を平滑化し、この平滑化の出力値に応じてゲイン補正係数を生成して入力画像の画素値を補正する。
【０００９】請求項１又は請求項２の構成によれば、入力画像のエッジを保存して入力画像の画素値を平滑化すれば、入力画像から、画像のダイナミックレンジを決定付ける成分だけを独立して取り出することができる。これによりこの平滑化の出力値に応じてゲイン補正係数を生成して入力画像の画素値を補正すれば、画像のダイナミックレンジとは独立な、圧縮せずに保存しておくことが望まれる被写体のコントラストについては劣化を有効に回避して、所望の圧縮率によりダイナミックレンジを圧縮することができる。また被写体のコントラストについては劣化を有効に回避できることにより、不自然なエッジ強調も防止することができ、これらにより入力画像の品位を維持したまま、高い圧縮率により入力画像のダイナミックレンジを圧縮することができる。
【００１０】
【発明の実施の形態】以下、適宜図面を参照しながら本発明の実施の形態を詳述する。
【００１１】（１）第１の実施の形態の構成（１−１）第１の実施の形態の全体構成図１は、本発明の第１の実施の形態に係る画像処理回路を示すブロック図である。この画像処理回路１は、ビデオカメラ、電子スチルカメラ等の撮像装置、種々の画像処理装置、画像伝送装置、さらにはパーソナルコンピュータにおける画像処理等に適用され、入力画像Ｘのダイナミックレンジを圧縮して出力画像Ｙをする。
【００１２】なおここで入力画像Ｘ及び出力画像Ｙは、２次元デジタル画像であり、以下においては、水平方向及び垂直方向における画素の位置をそれぞれ符号ｉ及びｊにより表して、それぞれ入力画像Ｘ及び出力画像Ｙの画素値をｘ（ｉ、ｊ）及びｙ（ｉ、ｊ）により表す。またこれら画素値ｘ（ｉ、ｊ）及びｙ（ｉ、ｊ）に対応する各処理値を同様に符号ｉ及びｊを用いて示す。
【００１３】この画像処理回路１において、非線型平滑化器２は、図２（Ａ）に示すように、大きなダイナミックレンジによる入力される入力画像Ｘの画素値ｘ（ｉ、ｊ）を平滑化して、画素値ｓ（ｉ、ｊ）（図２（Ｂ））による平滑化画像Ｓを出力する。この平滑化の処理において、非線型平滑化器２は、入力画像の画素値情報と空間情報とから、各画素値ｘ（ｉ、ｊ）がエッジにおけるものか否か判定して処理することにより、小振幅成分のみを平滑化し、大きなエッジ成分については、平滑化の処理を実行しないようにする。これにより非線型平滑化器２は、エッジを保存したまま入力画像Ｘの画素値ｘ（ｉ、ｊ）を平滑化し、画像のダイナミックレンジを決定付ける成分だけを独立して取り出すようになされている。
【００１４】ルックアップテーブル（ＬＵＴ）３は、非線型平滑化器２から出力される平滑化画像Ｓの画素値ｓ（ｉ、ｊ）を基準にして入力画像Ｘの画素値ｘ（ｉ、ｊ）を補正するためのゲイン補正係数ｇ（ｉ、ｊ）（図２（Ｃ））を出力する。ここで画像処理回路１では、このゲイン補正係数ｇ（ｉ、ｊ）により入力画像Ｘの画素値ｘ（ｉ、ｊ）を補正してダイナミックレンジを圧縮することにより、ルックアップテーブル３は、例えば図３に示すような単調減少特性を有する入出力特性によりこのゲイン補正係数ｇ（ｉ、ｊ）を出力する。なおここでこの図３に示す入出力特性においては、平滑化画像Ｓの画素値ｓ（ｉ、ｊ）が所定値ｓ１より小さい場合には、値１、０のゲイン補正係数ｇ（ｉ、ｊ）を出力し、平滑化画像Ｓの画素値ｓ（ｉ、ｊ）がこの所定値ｓ１より増大するに伴って指数関数的にゲイン補正係数ｇ（ｉ、ｊ）が減少し、画素値ｓ（ｉ、ｊ）の最大値ｓ ｍａｘでゲイン補正係数ｇ（ｉ、ｊ）が値ｇ１となる特性である。
【００１５】このような入出力特性により、ルックアップテーブル３は、例えば図２（Ａ）に示したような小さな画素値の変化を伴ってエッジの前後で入力画像Ｘの画素値ｘ（ｉ、ｊ）が立ち上がっている場合には、小さな画素値の変化が取り除かれてなる平滑化画像Ｓの画素値ｓ（ｉ、ｊ）が得られ、この平滑化画像Ｓの画素値ｓ（ｉ、ｊ）の小さな部位ほど値の小さなゲイン補正係数ｇ（ｉ、ｊ）（図２（Ｃ））を出力する。このとき平滑化画像Ｓの画素値ｓ（ｉ、ｊ）においてエッジが保存されていることにより、ルックアップテーブル３は、エッジの部分では値が急激に変化するようにゲイン補正係数ｇ（ｉ、ｊ）を出力する。
【００１６】遅延回路４は、非線型平滑化器２、ルックアップテーブル３における画像データの処理に要する時間の分だけ、入力画像Ｘを構成する画像データを所定時間遅延させ、これによりルックアップテーブル３から出力されるゲイン補正係数ｇ（ｉ、ｊ）に対して入力画像Ｘの画素値ｘ（ｉ、ｊ）をタイミング合わせして出力する。
【００１７】乗算回路５は、遅延回路４から出力される入力画像Ｘの画素値ｘ（ｉ、ｊ）をゲイン補正係数ｇ（ｉ、ｊ）で乗算することにより、入力画像Ｘの画素値ｘ（ｉ、ｊ）をゲイン補正係数ｇ（ｉ、ｊ）により補正して画素値ｚ（ｉ、ｊ）による画像Ｚを出力する。
【００１８】ここでこの実施の形態においては、ゲイン補正係数ｇ（ｉ、ｊ）が値１以下に設定されていることにより、乗算回路５は、図２（Ｄ）に示すように、入力画像Ｘのダイナミックレンジを圧縮してなる画素値ｚ（ｉ、ｊ）による画像Ｚを出力することになる。さらにエッジを保存したまま小さな画素値の変化が取り除かれてなる平滑化画像Ｓより、エッジの部分では値が急激に変化するようにゲイン補正係数ｇ（ｉ、ｊ）が生成されることにより、エッジを除く他の部分では、入力画像Ｘにおける小さな画素値の変化を保存したまま、エッジの部分だけ画素値の変化を圧縮した傾向により画素値ｚ（ｉ、ｊ）による画像Ｚが生成される。すなわち画像の大局的なダイナミックレンジのみ選択的に圧縮して画像Ｚが生成される。
【００１９】これによりこの実施の形態では、小さな画素値の変化が圧縮されてなるコントラスト感の低下、周波数特性の変化による不自然なエッジ強調を有効に回避して、高い圧縮率でダイナミックレンジを圧縮してなる画像Ｚを出力するようになされている。
【００２０】ルックアップテーブル（ＬＵＴ）６は、このようにしてダイナミックレンジを圧縮してなる画像Ｚの特性を最終的に設定して出力画像Ｙを生成する。すなわちルックアップテーブル６は、図４に示すように、黒近傍、白近傍の階調を圧縮する入出力特性に設定される。これによりルックアップテーブル６は、乗算回路５から出力される画像データのダイナミックレンジにおいて、出力画像Ｙのダイナミックレンジを越える部分における階調の飽和を防止し、出力画像Ｙにおいて黒近傍又は自近傍において階調が失われるような状況を有効に回避するようになされている。
【００２１】（１−２）非線型平滑化器図５は、非線型平滑化器２の構成を示すブロック図である。この非線型平滑化器２において、ローパスフィルタ（ＬＰＦ）１１は、入力画像Ｘを平滑化する二次元の線形ローパスフィルタにより構成され、入力画像Ｘにおける画素値ｘ（ｉ、ｊ）を事前にある程度平滑化することにより、以降の処理により点状のノイズの発生を防止する。なおローパスフィルタ（ＬＰＦ）１１は、入力画像Ｘの水平方向、垂直方向に対してそれぞれ１次元の線形ローパスフィルタを適用することもよっても、同様の処理を実行することができる。
【００２２】ルックアップテーブル（ＬＵＴ）１２は、ローパスフィルタ（ＬＰＦ）１１より出力される画像データＦ１の画素値を対数変換して出力し、これにより続く以降の処理において対数化された画素値により画素値を平滑化し、画素値によって平滑化の程度が異ならないようにする。
【００２３】改良型εフィルタ１３ＡＸは、εフィルタと呼ばれる非線型平滑化フィルタの一部を変更したフィルタであり、ルックアップテーブル１２より入力される入力画像Ｌ１の水平方向について、エッジを保存したまま画素値を平滑化して出力する。
【００２４】続く改良型εフィルタ１３ＢＸは、改良型εフィルタ１３ＡＸと同様の非線型平滑化フィルタであり、改良型εフィルタ１３ＡＸより入力される入力画像Ｌ２の水平方向について、エッジを保存したまま画素値を平滑化して出力する。改良型εフィルタ１３ＢＸは、後述する遅延回路における遅延時間が改良型εフィルタ１３ＡＸと異なることにより、平滑化の処理に供するサンプリングピッチが改良型εフィルタ１３ＢＸと異なる点を除いて、改良型εフィルタ１３ＢＸと同一に構成される。
【００２５】非線型平滑化器２では、このような平滑化の処理に供するサンプリングピッチが異なる改良型εフィルタを所定段数だけ直列に接続して配置する。これにより非線型平滑化器２では、各サンプリングピッチに対応する各周波数成分の画素値の変動に対してそれぞれ平滑化の処理を実行し、周波数帯域全体として見たときに、広い周波数帯域にわたって十分に平滑化の処理を実行するようになされている。
【００２６】改良型εフィルタ１３ＡＹ、１３ＢＹ、……は、垂直方向について平滑化の処理を実行する点を除いて、改良型εフィルタ１３ＡＸ、１３ＢＸ、……と同一に構成される。このためこれら改良型εフィルタ１３ＡＹ、１３ＢＹ、……の初段である改良型εフィルタ１３ＡＹは、図示しないメモリを介して画像データの配列が変更されて入力されるようになされている。これらにより非線型平滑化器２は、水平方向及び垂直方向に、エッジを保存したまま広い周波数帯域で平滑化の処理を実行する。
【００２７】ルックアップテーブル（ＬＵＴ）１４は、改良型εフィルタ１３ＡＹ、１３ＢＹ、……により平滑化された画像データに対して、ルックアップテーブル１２とは逆に、逆対数変換の処理を実行して出力する。ローパスフィルタ（ＬＰＦ）１５は、ローパスフィルタ１１と同様の線形ローパスフィルタであり、エッジを保存して平滑化されてなるルックアップテーブル１４の出力画像Ｌ２に対して、僅かにエッジを鈍らせ、これにより出力画像Ｙのエッジ近傍領域を滑らかにして、一連の処理による違和感を防止する。
【００２８】（１−２−１）改良型εフィルタ改良型εフィルタ１３ＡＸは、一般のεフィルタの構成を一部変更したフィルタであることにより、以下においてはεフィルタとの対比により改良型εフィルタ１３ＡＸの構成を説明する。なお改良型εフィルタ１３ＢＸ、……は、平滑化の処理に供するサンプリングピッチが異なる点を除いて、改良型εフィルタ１３ＡＸと同一の構成であることにより、ここではこの異なる構成に係る部位について適宜説明し、重複した説明は省略する。また改良型εフィルタ１３ＡＹ、１３ＢＹ、……については、処理対象である画像データの入力順序が異なる点を除いて、改良型εフィルタ１３ＡＸ、１３ＢＸ、……と同一構成であることにより、ここでは重複した説明を省略する。
【００２９】ここで通常のεフィルタは、１次元による２Ｎ＋１タップの場合、次式により入出力特性を表することができる。なおここでｓn は出力値であり、ｒn は入力値であり、εは所定の基準値である。またｒn は処理対象の中心の入力値であり、ａk は重み付け係数である。また第２式のシグマの範囲は、ｋ＝−Ｎからｋ＝Ｎの範囲である。
【００３０】
【数１】
【００３１】これによりεフィルタでは、図６（Ａ）に示すように、画素値ｒn である画素ｐn について出力値ｓn を計算する場合、計算の対象である画素ｐ1 〜ｐ2N+1のうちで、中心画素値ｒn に対する画素値差分の絶対値│ｒn −ｒn-k │が基準値εより大きな画素ｐn-k については、その画素値ｒn-k が中心画素値ｒn に置き換えられて、またこの画素値差分の絶対値│ｒn −ｒn-k │が基準値ε以下の画素ｐn-k については、この画素ｐn-k の画素値ｒn-k が使用されて、重み付け加算の処理が実行される。
【００３２】すなわちεフィルタでは、図６（Ａ）に示すように、画素Ｐn の出力値ｓn を計算する場合に、この画素Ｐn の前後の画素の中で、基準値εを判定基準として、画素Ｐn より大きく画素値ｒm が異なる画素ｐm については、画素値ｒm を画素値ｒn に置き換えて計算するものであり、これにより単なる線型ローパスフィルタによる処理との比較により図６（Ｂ）に示すように、エッジを保存したまま、小さな画素値の変化を抑圧する。
【００３３】ところがこの方法の場合、出力値を算出する画素Ｐn の値ｒn を中心にして基準値εにより画素値を判定し、画素Ｐn の画素値ｒn との置き換えにより重み付け加算して出力値ｓn を計算することにより、図６の示したエッジの両側のように、ほぼ一定の直流レベルにより画素値ｘが変化している場合には、エッジを保存して小さな画素値の変化を抑圧することができるのに対し、図７に示すように、直流レベルが変化している場合には、十分に平滑化することが困難になる。
【００３４】すなわち入力値ｒの直流レベルが徐々に増大又は減少している場合には、出力値ｓn を算出するＰn より遠ざかるに従って基準値εによる領域に含まれる画素数が少なくなる。またこの場合に、画素Ｐn の値ｒn の置き換えにより重み付け加算しても、正しく直流レベルの変化を反映して平滑化の処理を実施していないことになる。
【００３５】このためこの実施の形態では、（１）式との対比により次式により示すように、直流レベルの変化を一定の関数により近似し、画素Ｐn の画素値ｒn を中心にしてこの関数により領域（２ε１）を設定して画素値を判定する。またこの領域より飛び出す画素については、この関数上における画素値に置き換えて平滑化の処理を実行する。なおここで（２）式中の第２式のシグマの範囲は、ｋ＝−Ｎからｋ＝Ｎの範囲であり、（３）式中の第２式のシグマの範囲は、ｓ＝−Ｍからｓ＝Ｍ−１の範囲である。
【００３６】
【数２】
【００３７】
【数３】
【００３８】ここではこの関数に一次関数を適用し、このような直流レベルの変化を直線近似して処理する。すなわち出力値ｓn を計算する前後２Ｍ画素間で、隣接する画素間を結ぶ直線の傾きの平均値Ｋa を求め、さらにこの傾きの平均値Ｋa を基準にして領域を設定して画素値を判定し、さらにはこの直線上に位置するように画素値を置き換える。これによりこの実施の形態では、従来に比して一段と確実にエッジを保存しつつ平滑化の処理を実行できるようになされている。なお改良型εフィルタのＫa ＝０の場合が、図６について説明した一般のεフィルタによる特性である。
【００３９】図８は、改良型εフィルタ１３ＡＸを示すブロック図である。この改良型εフィルタ１３ＡＸは、所定の遅延時間による遅延回路（Ｄ）２１Ａ〜２１Ｆに平滑処理に、係る画素値ｒを順次入力し、これにより７タップにより構成される。ここでこれら遅延回路２１Ａ〜２１Ｆは、図９に示すように、所定段数（ｍ個）のレジスタ２２Ａ〜２２Ｎを直列接続して構成される。これにより改良型εフィルタ１３ＡＸは、レジスタ列２２Ａ〜２２Ｎの段数（すなわち遅延回路２１Ａ〜２１Ｆの遅延時間に対応する）に応じたサンプリングピッチにより、７サンプリングの画素値ｒ（ｉ，ｊ）を選択できるようになされている。
【００４０】かくするにつき改良型εフィルタ１３ＡＸは、このようにレジスタ２２Ａ〜２２Ｎの段数に対応するサンプリングピッチにより画素値ｒを選択して処理することにより、その分、出力値ｓを計算する画素の前後、広い範囲の画素値を使用して平滑化の処理を実行し、この広い範囲に対応する後段の処理を簡略化するようになされている。なお、このように広い範囲の画素値を使用して平滑化の処理を実行すれば、その分低い周波数による画素値の変化を十分に抑圧することができる。
【００４１】なお改良型εフィルタ１３ＢＸ、……においては、この改良型εフィルタ１３ＡＸとはこのレジスタの段数が異なるよう構成されて対応する遅延回路２１Ａ〜２１Ｆの遅延時間がこの改良型εフィルタ１３ＡＸとは異なるように設定され、これによりこの改良型εフィルタ１３ＡＸとは異なる周波数特性により平滑化の処理を実行するようになされている。
【００４２】傾き計算回路２４（図８）は、初段の遅延回路２１Ａに入力される画素値をこれら遅延回路２１Ａ〜２１Ｆの出力値と共に入力することにより、遅延回路２１Ａ〜２１Ｆの遅延時間に対応する７サンプリングのｒ（ｉ，ｊ）を入力し、（３）式の演算処理を実行することにより傾きの平均値ｋａを計算して出力する。
【００４３】演算回路２５Ａ〜２５Ｆは、それぞれ遅延回路２１Ａ〜２１Ｆより出力される７タップの画素値のうち、中心タップの出力値ｒn を除く各タップ出力ｒn-3m、ｒn-2m、ｒn-m 、ｒn+m 、ｒn+2m、ｒn+3mについて、（２）式中の第３式及び第４式の演算処理を実行し、演算結果ｗn-3m、ｗn-2m、ｗn-m 、ｗn+m 、ｗn+2m、ｗn+3mを出力する。なおここでｍは、遅延回路２１Ａ〜２１Ｆにおけるレジスタの段数である。
【００４４】すなわち演算回路２５Ａ（２５Ｂ〜２５Ｆ）は、図１０に示すように、乗算回路２８に傾きの平均値ｋａを入力し、ここでそれぞれ各タップ出力ｒn-3m、ｒn-2m、ｒn-m 、ｒn+m 、ｒn+2m、ｒn+3mに対応する中心タップからの距離ｋを乗算し、これにより傾きＫa による一次関数について、各タップ出力ｒn-3m、ｒn-2m、ｒn-m 、ｒn+m 、ｒn+2m、ｒn+3mのサンプリング点における中心タップ出力ｒn からの偏差Ｋa ｋを計算する（（２）式及び（３）式参照）。
【００４５】減算回路２９は、この乗算回路２８の出力値Ｋa ｋを各タップ出力ｒn-3m、ｒn-2m、ｒn-m 、ｒn+m 、ｒn+2m、ｒn+3mより減算することにより（２）式中のｖn-k を計算して出力する。
【００４６】減算回路３０は、この減算回路２９の出力値ｖn-k を中心タップ出力ｒn から減算することにより、（２）式中の（ｒn −ｖn-k ）を計算して出力する。
【００４７】絶対値化回路３１は、この減算回路３０の出力値（ｒn −ｖn-k ）を絶対値化することにより、（２）式中の│ｒn −ｖn-k │を計算して出力する。
【００４８】比較回路（ＣＭＰ）３２は、この絶対値化回路３１の出力値│ｒn −ｖn-k │と図７について上述した領域設定用の基準値ε１とを比較することにより、（２）式における大小判定の処理を実行し、判定結果をセレクタ（ＳＥＬ）の切り換え信号として出力する。
【００４９】加算回路３４は、中心タップ出力ｒn と乗算回路２８の出力値Ｋa ｋを加算することにより、（２）式中のｒn ＋Ｋa ・ｋを計算して出力する。
【００５０】セレクタ３３は、比較回路３２から出力される切り換え信号ＳＥＬにより、各各タップ出力ｒn-3m、ｒn-2m、ｒn-m 、ｒn+m 、ｒn+2m、ｒn+3m又は加算回路３４の出力値ｒn ＋Ｋa ・ｋを選択的に出力する。
【００５１】これらにより演算回路２５は、傾き計算回路２４で計算された傾きによる一次関数が出力値ｓを計算する画素ｐn の画素値ｒn の位置を通過するように配置すると共に、この配置による直線の上下に値ε１の領域を設定し、この領域より画素値が飛び出す画素については、エッジと判定してこの直線上における画素値を置き換え、この領域内の画素については、この画素本来の画素値により演算結果を出力する。
【００５２】重み付け回路３６Ａ〜３６Ｇは（図８）、それぞれ各タップ出力に対応する重み付け係数により演算回路２５Ａ〜２５Ｆの出力値又は中央タップの出力値を重み付けして出力し、これにより（２）式中の第１式におけるシグマの各項の演算処理を実行する。
【００５３】加算回路３７は、これら重み付け回路３６Ａ〜３６Ｇの出力値を加算し、これにより（２）式中の第１式の演算処理を実行し、処理結果を出力する。
【００５４】（１−２−２）ルックアップテーブル３ここで図１１は、この画像処理回路１による低周波数成分の階調変換特性を示す特性曲線図である。ルックアップテーブル３は、図１１に示す階調変換特性により入出力特性が設定される。
【００５５】すなわち符号Ｌ２による特性により示すように、この画像処理回路１において、最も大きな値により低周波数成分による画素値ｓ ｍａｘが入力された場合に、対応する出力値がｓ ｃｍｐとなるようにする。この場合ダイナミックレンジの圧縮率ｇ１は、ｓ ｃｍｐ／ｓ ｍａｘで表される。符号Ｌ２により表されるように、低周波数成分による画素値ｓ１までの範囲においては、入力値に対して利得１による出力値を出力するようにする。なお画素値ｓ１は、出力画像のダイナミックレンジの上限値より小さな値とし、入力画像Ｘにおいて値ｓ１以下の画素値については、敢えて階調を圧縮する必要が無いものとする。
【００５６】ルックアップテーブル３は、この画素値ｓ１までの変換特性である利得１の変換特性（符号Ｌ１により示す）を用いて、各縦軸の値をこの符号Ｌ１による変換特性により割り算して符号Ｌ２／Ｌ１により表される演算により入出力特性が設定されるようになされている。
【００５７】（２）第１の実施の形態の動作以上の構成において、画像処理回路１においては（図１）、撮像結果等による入力画像Ｘが非線型平滑化器２に入力され（図２（Ａ）及び（Ｂ））、ここでエッジを保存したまま平滑化処理されて平滑化画像Ｓが生成される。ここでこの平滑化画像Ｓにおいては、エッジを保存したまた平滑化処理されていることにより、画像のダイナミックレンジとは独立な、圧縮せずに保存しておくことが望まれる被写体のコントラストを決定付ける成分が除去されて、画像のダイナミックレンジを決定付ける成分だけを独立して取り出されていることになる。
【００５８】画像処理回路１においては、この平滑化画像Ｓによりルックアップテーブル３をアクセスしてゲイン補正係数ｇ（ｉ，ｊ）が順次生成され（図２（Ｃ）及び図３）、遅延回路４を介して入力される入力画像Ｘの画素値ｘ（ｉ，ｊ）が乗算回路５で乗算されて入力画像Ｘのダイナミックレンジが圧縮される（図２（Ｄ））。このとき入力画像Ｘにおいては、画像のダイナミックレンジを決定付ける成分だけである平滑化画像Ｓによるゲイン補正係数ｇ（ｉ，ｊ）により画素値ｘ（ｉ，ｊ）が補正されることにより、局所的な画素値の変化、画像のエッジについては保存されたまま、大局的な画素値の変化のみ選択的に圧縮されて生成され、これにより見た目のコントラストであるコントラスト感の劣化を防止してダイナミックレンジが十分に圧縮されてなる画像Ｚが生成される。またエッジについても、周波数特性の変化が防止され、これによりエッジの不自然な強調が防止される。
【００５９】画像処理回路１においては、このようにしてダイナミックレンジが圧縮されてなる画像Ｚの画素値によるルックアップテーブル６のアクセスにより（図１及び図４）、黒近傍、白近傍の階調が選択的に圧縮され、これにより極めて大きなダイナミックレンジによる入力画像Ｘが入力された場合であっても、黒近傍、白近傍で階調が失われる状況を有効に回避して出力画像Ｙが出力される。
【００６０】これにより画像処理回路１においては、例えばビデオカメラ、電子スチルカメラ等の撮像装置において、撮像結果よりダイナミックレンジの狭い記録再生系で撮像結果を記録再生して撮像結果の品位の劣化を防止することができる。なお撮像装置においては、撮像素子の選定により、また感度の異なる画像の合成等により、このような通常に比してダイナミックレンジに広い撮像結果を得ることができる。また画像表示装置に適用して、このようなダイナミックレンジの広い画像を表示する場合に、高品位の画像を表示することができる。
【００６１】また逆光補正等の画像補正、コンピュータによる画像合成、画像処理に適用して、広いダイナミックレンジによる画像を種々に処理しても、品位の劣化を防止して処理結果を伝送、記録、再生することができることにより、このような種々の処理についても高品位に処理することができる。また画像伝送装置に適用した場合には、画質の劣化を有効に回避して高速度で画像伝送することができる。
【００６２】このようにしてエッジ成分を保存して画素値を平滑化するにつき、画像処理回路１では（図５）、非線型平滑化器２において、ローパスフィルタ１１により入力画像Ｘの画素値ｘ（ｉ，ｊ）を帯域制限した後、改良型εフィルタ１３ＡＸ、……によりエッジを保存した平滑化の処理が実行され、これにより出力画像Ｙにおける点状のノイズが防止される。
【００６３】またこの非線型平滑化器２の最終段のローパスフィルタ１５によって平滑化画像Ｓを帯域制限することにより、エッジ近傍の不自然な画素値の変化が低減され、これによりエッジ近傍が滑らかに表現されてなる出力画像Ｙが得られる。
【００６４】さらにルックアップテーブル１２により画素値ｘ（ｉ，ｊ）を対数変換してエッジを保存した平滑化の処理を実行した後、ルックアップテーブル１４により逆対数変換して平滑化画像Ｓが生成され、これにより平滑化の処理結果における画素値による処理結果の相違が防止され、出力画像Ｙにおける不自然なダイナミックレンジの圧縮が防止される。
【００６５】さらに改良型εフィルタ１３ＡＸ、１３ＡＸ、……により、順次エッジを保存して高周波数成分を抑圧するフィルタリングの処理が水平方向に実行された後、続く改良型εフィルタ１３ＡＹ、１３ＡＹ、……により、同様の処理が垂直方向に実行され、これにより垂直、水平方向、さらには斜め方向に、十分なコントラスト感を確保し、かつエッジの不自然さを防止してなる出力画像Ｙを生成することが可能となる。
【００６６】さらにこのように各方向に順次エッジを保存したフィルタリング処理を実行する改良型εフィルタ１３ＡＸ、１３ＡＸ、……、１３ＡＹ、１３ＡＹ、……において、異なるサンプリングピッチによりフィルタリングの処理を繰り返し実行し、これにより画像処理回路１では、エッジの情報を保存したまま広い周波数帯域で十分平滑化されてなる平滑化画像Ｓが生成される。これにより画像処理回路１では、このような平滑化画像Ｓに特定周波数成分のみが選択的に残らないように平滑化の処理を実行することができ、その分出力画像Ｙの画質劣化を有効に回避することができる。
【００６７】各改良型εフィルタ１３ＡＸ、１３ＡＸ、……、１３ＡＹ、１３ＡＹ、……においては（図７及び図８）、遅延回路２１Ａ〜２１Ｆの直列回路に順次画素値ｒが入力され、この遅延回路２１Ａ〜２１Ｆよる７つのタップ出力について、中心タップ出力を基準にして他の各タップ出力の値がそれぞれ演算回路２５Ａ〜２５Ｆで判定される（図１０）。さらにこの判定により、中心タップ出力に対して大きく画素値が異なる場合にはエッジを跨ぐものと判定され、この大きく異なる画素値が所定値に置き換えられ、これら中心タップ出力と他のタップ出力との間の重み付け加算が重み付け回路３６Ａ〜３６Ｆ、加算回路３７により実行されて平滑化の処理が実行される。
【００６８】この処理において各改良型εフィルタ１３ＡＸ、１３ＡＸ、……、１３ＡＹ、１３ＡＹ、……においては、各遅延回路２１Ａ〜２１Ｆがレジスタ２２Ａ〜２２Ｎの直列回路により構成されていることにより、連続する画素値をこの直列接続したレジスタ数によるピッチによりサンプリングして平滑化の処理が実行される。これにより演算回路２５Ａ〜２５Ｆ、重み付け回路３６Ａ〜３６Ｆ、加算回路３７については、このタップ出力に対応する数だけ配置して平滑化の処理を実行でき、その分全体構成を簡略化することができる。また平滑化の処理対象である画素値については、これら演算回路２５Ａ〜２５Ｆ、重み付け回路３６Ａ〜３６Ｆ、加算回路３７の構成に比して、広い範囲の画素値を用いて平滑化の処理を実行することができ、これにより例えば低い周波数による脈動についても十分に平滑化することができる。
【００６９】画像処理回路１では、これら各改良型εフィルタ１３ＡＸ、１３ＡＸ、……、１３ＡＹ、１３ＡＹ、……において、この遅延回路２１Ａ〜２１Ｆ構成するレジスタ２２Ａ〜２２Ｎの段数が異なるように設定されていることにより、上述したように、異なるサンプリングピッチによりフィルタリングの処理を繰り返し実行し、出力画像Ｙの画質劣化が防止される。
【００７０】このようにして中心タップ出力を基準にしてエッジ判定して画素値を置き換える処理において、各改良型εフィルタ１３ＡＸ、１３ＡＸ、……、１３ＡＹ、１３ＡＹ、……においては、各タップ出力の低周波数成分を所定の関数に近似し、中心タップ出力を基準にしてこの関数により領域（２ε１）が設定され（図７）、この領域の属するか否かによりエッジ判定される。これにより各改良型εフィルタ１３ＡＸ、１３ＡＸ、……、１３ＡＹ、１３ＡＹ、……においては、画素値が徐々に増大傾向にある場合、減少傾向にある場合にあっても、このような変化の傾向が見られない場合と同様に、エッジを判定することができ、これによりこのような判定の変化による出力画像Ｙの劣化を防止することができる。
【００７１】またエッジの部分と判定して画素値を置き換える場合でも、このようにして求められた関数を基準にして置き換えの画素値が決定され、これにより画素値を置き換えて求められる重み付け処理結果にこのような低い周波数による画素値の変化を反映して出力画像をさらに一層高品位なものとすることができる。
【００７２】さらにこの実施の形態では、この関数として一次関数が適用されることにより、単に直線の傾きを求め、さらにはこの傾きにより判定等の処理を実行するだけの簡易な構成により一連の処理を実行することができる。
【００７３】すなわち各改良型εフィルタ１３ＡＸ、１３ＡＸ、……、１３ＡＹ、１３ＡＹ、……においては、傾き計算回路２４において、７つのタップ出力の中から隣接するタップ出力間で差分値が計算され、この差分値の平均化により傾きの平均値Ｋa が計算される。さらに各演算回路２５Ａ〜２５Ｆにおいて、中心タップを除く他のタップ出力のサンプリング位置について、この傾きの平均値Ｋa と、中心タップ位置からの距離ｋにより、この傾きによる場合の中心タップ出力からの差分値Ｋa ｋが乗算回路２８で計算され、続く減算回路２９、３０でこの傾きＫaによる関数上における画素値と実際のタップ出力による画素値との差分値が計算され、比較回路３２において、この差分値が基準値ε１より大きいか否か判定される。これにより一次関数による近似関数を用いて、エッジか否かの判定処理が実行される。
【００７４】さらに他方で、加算回路３４において、この傾きＫa による関数上における画素値が計算され、比較回路３２における判定結果に応じて、実際のタップ出力とこのようにして計算された関数上における画素値とが選択出力され、これによりエッジを跨ぐ場合には、一次関数による近似関数を用いて計算した画素値に置き換えられて各タップ出力が対応する重み付け回路に出力される。
【００７５】これらにより画像処理回路１では、ダイナミックレンジの広い種々の画質による入力画像Ｘについて、エッジの劣化、コントラスト感の低下を防止して十分にダイナミックレンジを圧縮することができる。
【００７６】（３）第１の実施の形態の効果以上の構成によれば、エッジを保存したまま入力画像Ｘを平滑化してゲイン補正係数ｇを求め、このゲイン補正係数ｇにより入力画像の画素値を補正することにより、コントラスト感の低下、不自然なエッジ強調等を有効に回避して、高い圧縮率でダイナミックレンジを圧縮することができるようにする。
【００７７】またこのようにしてダイナミックレンジを圧縮した後、さらにルックアップテーブル６により階調を補正することにより、黒近傍、白近傍における階調の喪失を有効に回避することができる。
【００７８】またこのようにエッジを保存したまま入力画像Ｘを平滑化する際に、ローパスフィルタにより帯域制限した後、対数変換して処理し、また処理結果を逆対数変換することにより、点状のノイズの発生を防止し、また画素値による処理結果の相違を防止することができる。
【００７９】さらにエッジを保存したまま入力画像Ｘを平滑化する際に、サンプリングピッチが異なる複数のフィルタリングを繰り返すことにより、広い周波数帯域で一様に平滑化することができ、これにより高い品位による出力画像Ｙを出力することができる。
【００８０】また連続する画素を所定ピッチによりサンプリングしてこの平滑化の処理を実行することにより、簡易な構成により広い範囲の画素値をサンプリングして平滑化の処理を実行することができ、これにより低い周波数についても十分に平滑化の処理を実行して、高品位の出力画像Ｙを得ることができる。
【００８１】またこの平滑化の処理において、画素値により関数を近似し、この関数により領域を設定してエッジ判定することにより、さらにこの関数を利用して置き換えの画素値を計算することによっても、高品位の出力画像Ｙを得ることができる。
【００８２】さらにこの関数を一次関数としたことにより、全体構成を簡略化することができる。
【００８３】（４）第２の実施の形態図１２は、図１との対比により本発明の第２の実施の形態に係る画像処理回路を示すブロック図である。この画像処理回路４１において、画像処理回路１との同一の構成は、対応する符号を付して示し、重複した説明は省略する。
【００８４】この画像処理回路４１は、画像処理回路１と同様に、図１３に示すように、画素値ｘ（ｉ，ｊ）による入力画像Ｘ（図１３（Ａ））を平滑化して平滑化画像Ｓを生成し（図１３（Ｂ））、この平滑化画像Ｓの画素値ｓ（ｉ，ｊ）より生成されるゲイン補正係数ｇ（ｉ，ｊ）（図１３（Ｃ））により入力画像Ｘのダイナミックレンジを圧縮する。この処理において、画像処理回路４１は、平滑化処理による出力値ｓ（ｉ，ｊ）を入力画像Ｘの画素値ｘ（ｉ，ｊ）より減算して得られる減算値ｘ（ｉ，ｊ）−ｓ（ｉ，ｊ）を用いて、出力画像Ｙの画素値ｙ（ｉ，ｊ）の変化を強調する。
【００８５】すなわちこの画像処理回路４１は、遅延回路４及び乗算回路５間に、順次減算回路４２、乗算回路４３、加算回路４４が配置される。ここで減算回路４２は、入力画像Ｘの画素値ｘ（ｉ，ｊ）より平滑化処理による出力値ｓ（ｉ，ｊ）を減算し、減算値ｘ（ｉ，ｊ）−ｓ（ｉ，ｊ）を出力する（図１３（Ｄ））。続く乗算回路４３は、この減算値ｘ（ｉ，ｊ）−ｓ（ｉ，ｊ）を所定利得Ｋにより増幅し（図１３（Ｅ））、加算回路４４は、この乗算回路４３の出力値に平滑化画像Ｓの画素値ｓ（ｉ，ｊ）を加算する。これによりこの画像処理回路４１は、入力画像Ｘに比して、非線型平滑化器２により除去される小さな脈動を強調してなる加算回路４４の加算結果を乗算回路５で乗算して出力画像Ｙを生成し、このように小さな脈動を強調してなる画像を処理する分、図１について上述した画像処理回路１に比していわゆるシャープな画像を出力することができるようになされている。
【００８６】図１２に示す構成によれば、平滑化処理による出力値ｓ（ｉ，ｊ）を入力画像Ｘの画素値ｘ（ｉ，ｊ）より減算して得られる減算値ｘ（ｉ，ｊ）−ｓ（ｉ，ｊ）を用いて出力画像Ｙの画素値ｙ（ｉ，ｊ）の変化を強調することにより、第１の実施の形態の効果に加えて、一段とシャープな画像を出力することができる。
【００８７】（５）第３の実施の形態図１４は、図１２との対比により本発明の第３の実施の形態に係る画像処理回路を示すブロック図である。この画像処理回路５１において、画像処理回路４１との同一の構成は、対応する符号を付して示し、重複した説明は省略する。
【００８８】この画像処理回路５１では、平滑化画像Ｓの出力値ｓ（ｉ、ｊ）によりルックアップテーブル（ＬＵＴ）５２をアクセスして乗算回路４３における利得を設定する。ここでこのルックアップテーブル５２においては、図１５に示すように入出力特性が設定される。これによりルックアップテーブル５２は、出力値ｓ（ｉ、ｊ）が所定値以下の場合には、乗算回路４３を一定利得に設定し、この所定値以上に出力値ｓ（ｉ、ｊ）が増大すると、徐々に値１に近づくように利得を設定する。
【００８９】これにより画像処理回路５１では、画素値の大きな領域については、コントラストを強調する程度を低減するようになされている。すなわち画像一般においては、大きい画素値を持つ画素近傍程、コントラストも十分に大きい場合が多く、一様にコントラストを強調したのでは、このような画素近傍では必要以上にコントラストを強調することになり、その分処理結果においては、品位が劣化して観察される。ところがこの実施の形態のように、画素値の大きな領域について、コントラストを強調する程度を低減すれば、全体として自然な品位の高い画像を出力することができる。
【００９０】図１４に示す構成によれば、画素値に応じて強調する程度を可変することにより、さらに一段と品位の高い画像を出力することができる。
【００９１】（６）第４の実施の形態図１６は、図１２との対比により本発明の第４の実施の形態に係る画像処理回路を示すブロック図である。
【００９２】この画像処理回路６１は、図１７に示すように、ノイズ除去フィルタ６２により入力画像Ｘのノイズを事前に除去した後、続く乗算回路６３により、一様な利得により乗算してダイナミックレンジを拡大し（図１７（Ａ）及び（Ｂ））、画像処理回路１によりダイナミックレンジを圧縮して元の入力画像Ｘのダイナミックレンジにより出力する（図１７（Ｃ））。
【００９３】ここでノイズ除去フィルタ６２は、一般的なコアリング処理、メディアンフィルタ、εフィルタ又は改良型εフィルタが適用される。またこの実施の形態において、画像処理回路１は、図３について上述した特性とは逆に、所定の画素値以上では一定の利得により画素値を補正し、所定の画素値以下の範囲では利得が低下するように画素値を補正する。
【００９４】この図１６に示す構成によれば、逆光画像などコントラストが極端に高い画像について、画質の劣化を有効に回避して階調の補正等の処理を実行することができる。
【００９５】すなわち図１等について上述した画像処理回路においては、図３に示すような単調減少による特性により画素値を補正することにより、入力画像Ｘの暗い部分の明度は下げずに、明るい部分のみ明度を下げてダイナミックレンジを圧縮することになる。ところがこの実施の形態では、これとは逆の特性によりダイナミックレンジを圧縮することにより、入力画像Ｘの適度な明るさを持つ部分はそれ以上明るくならないようにしながら、暗い部分のみ明度を上げて全体のコントラストを圧縮することができる。これにより逆光補正等の処理を実行することができる。
【００９６】（７）第５の実施の形態図１８は、本発明の第５の実施の形態に係る画像処理回路を示すブロック図である。この画像処理回路７１において、マトリクス回路７２は、赤色、青色、緑色の色信号Ｒ、Ｂ、Ｇを演算処理して輝度信号Ｙ、色差信号Ｒ−Ｙ、Ｂ−Ｙを生成する。
【００９７】画像処理回路１は、この輝度信号Ｙを選択的に処理することにより、輝度信号Ｙのダイナミックレンジを圧縮して出力する。かくするにつき、この画像処理回路７１は、このように輝度信号Ｙについてのみ画像処理回路１で選択的にダイナミックレンジを圧縮することにより、赤色、青色、緑色の色信号Ｒ、Ｂ、Ｇ間における信号レベルの比率の変化を防止し、この比率の変化による色相の変化を防止するようになされている。
【００９８】除算器７３及び７４は、それぞれ色差信号Ｒ−Ｙ、Ｂ−Ｙを輝度信号Ｙにより割り算することにより、色差信号Ｒ−Ｙ、Ｂ−Ｙを輝度信号Ｙにより正規化する。遅延回路７７及び７８は、この除算器７３及び７４から出力される色差信号Ｒ−Ｙ、Ｂ−Ｙを画像処理回路１における処理の分、遅延させて出力する。乗算回路７７及び７８は、それぞれ遅延回路７７及び７８から出力される色差信号Ｒ−Ｙ、Ｂ−Ｙに、画像処理回路１から出力される輝度信号Ｙを乗算することにより、除算器７３及び７４により正規化処理された色差信号の画素値を補正する。
【００９９】すなわち単に輝度信号のみのダイナミックレンジを圧縮した場合であっても、色差信号においては、輝度信号と色信号との差分信号であることにより、何ら色差信号の信号レベルを補正しない場合、対応する輝度レベルで彩度の成分の比率が上がり、結局画像全体として見たとき彩度が高くなってしまう。
【０１００】これによりこの実施の形態では、輝度信号成分により色差信号成分を事前に正規化して輝度信号成分のダイナミックレンジを圧縮した後、この輝度信号成分による画素値で正規化処理された色差信号成分の画素値を補正することにより、このような彩度の変化を防止してカラーによる映像信号のダイナミックレンジを良好に抑圧するようになされている。
【０１０１】（８）他の実施の形態なお上述の実施の形態においては、改良型εフィルタにおいて、１次関数の近似によりエッジ判定し、また画素値を置き換える場合について述べたが、本発明はこれに限らず、例えば２次関数等により近似してこれらの処理を実行してもよい。
【０１０２】また上述の実施の形態においては、改良型εフィルタにおいて、関数の近似によりエッジ判定し、また画素値を置き換える場合について述べたが、本発明はこれに限らず、エッジの判定だけ、又は画素値の置き換えだけに関数による近似を利用してもよい。
【０１０３】また上述の実施の形態においては、改良型εフィルタにおいて、連続する画素値を所定のサンプリングピッチによりサンプリングして処理する場合について述べたが、本発明はこれに限らず、実用上十分な回路規模を確保することができる場合等にあっては、連続する画素をそのまま処理するようにしてもよい。
【０１０４】また上述の実施の形態においては、改良型εフィルタによる繰り返しの処理により入力画像を平滑化する場合について述べたが、本発明はこれに限らず、実用上十分な特性を得ることができる場合、繰り返しの処理を省略してもよい。
【０１０５】また上述の実施の形態においては、改良型εフィルタにより非線型平滑化器を構成する場合について述べたが、本発明はこれに限らず、通常のεフィルタにより非線型平滑化器を構成してもよい。
【０１０６】また上述の実施の形態においては、最終的にルックアップテーブル６により入出力特性を補正する場合について述べたが、本発明はこれに限らず、このルックアップテーブル６による処理を省略してもよく、またルックアップテーブル３により併せて特性を補正するようにしてもよい。
【０１０７】また上述の実施の形態においては、各回路ブロックで画素値等を処理して画像処理回路を構成する場合について述べたが、本発明はこれに限らず、全体又は一部を演算処理により構成するようにしてもよい。
【０１０８】
【発明の効果】上述のように本発明によれば、エッジを保存したまま入力画像を平滑化してゲイン補正係数を求め、このゲイン補正係数により入力画像の画素値を補正することにより、コントラスト感の低下、不自然なエッジ強調を有効に回避して、高い圧縮率でダイナミックレンジを圧縮することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係る画像処理回路を示すブロック図である。
【図２】図１の画像処理回路の動作の説明に供するタイムチャートである。
【図３】図１の画像処理回路のルックアップテーブル３の特性を示す特性曲線図である。
【図４】図１の画像処理回路のルックアップテーブル６の特性を示す特性曲線図である。
【図５】図１の画像処理回路の非線型平滑化器を示すブロック図である。
【図６】図５の非線型平滑化器の動作の説明に供するタイムチャートである。
【図７】図５の非線型平滑化器の改良型εフィルタの説明に供するタイムチャートである。
【図８】図５の非線型平滑化器の改良型εフィルタを示すブロック図である。
【図９】図８の改良型εフィルタの遅延回路を示すブロック図である。
【図１０】図８の改良型εフィルタの演算回路を示すブロック図である。
【図１１】図１の画像処理回路のルックアップテーブル３の特性の説明に供する特性曲線図である。
【図１２】本発明の第２の実施の形態に係る画像処理回路を示すブロック図である。
【図１３】図１２の画像処理回路の動作の説明に供するタイムチャートである。
【図１４】本発明の第３の実施の形態に係る画像処理回路を示すブロック図である。
【図１５】図１２の画像処理回路のルックアップテーブル５２の説明に供する特性曲線図である。
【図１６】本発明の第４の実施の形態に係る画像処理回路を示すブロック図である。
【図１７】図１６の画像処理回路の動作の説明に供するタイムチャートである。
【図１８】本発明の第５の実施の形態に係る画像処理回路を示すブロック図である。
【符号の説明】
１、４１、５１、６１、７１……画像処理回路、２……非線型平滑化器、３、６、１２、１４、５２……ルックアップテーブル、１１、１５……ローパスフィルタ、１３ＡＸ、１３ＢＸ、１３ＡＹ、１３ＢＹ……改良型εフィルタ、２４……傾き検出回路、２５Ａ〜２５Ｆ……演算回路、６２……雑音除去フィルタ
【０００１】
【発明の属する技術分野】本発明は、画像処理回路及び画像処理方法に関し、例えばビデオカメラ、電子スチルカメラ等における撮像結果の処理、記録、液晶表示装置等における画像表示、パーソナルコンピュータ等による画像処理、画像合成、さらにはこれらによる画像の伝送に適用することができる。本発明は、エッジを保存したまま入力画像を平滑化してゲイン補正係数を求め、このゲイン補正係数により入力画像の画素値を補正することにより、コントラスト感の低下、不自然なエッジ強調を有効に回避して、高い圧縮率でダイナミックレンジを圧縮することができるようにする。
【０００２】
【従来の技術】従来、撮像装置等の種々の画像処理回路においては、画像のダイナミックレンジを圧縮して記録、再生等の種々の処理を実行するようになされている。
【０００３】このようなダイナミックレンジを圧縮する処理としては、画像全体の階調を補正する方法と、画像の低周波数成分についてのみ階調を補正する方法とがあり、前者においては、ガンマ補正、ニー補正、さらにはいわゆるヒストグラム等価等により階調を補正してダイナミックレンジを圧縮するようになされている。これに対して後者においては、ガンマ補正、ニー補正等によりダイナミックレンジを圧縮するようになされている。
【０００４】
【発明が解決しようとする課題】しかしながらこれらのダイナミックレンジ圧縮法にあっては、実用上未だ不十分な問題があった。
【０００５】すなわち画像全体の階調をガンマ補正、ニー補正等により補正する方法にあっては、ハイライト部やヒストグラムの少ない輝度域等の、コントラストの圧縮対象である輝度域において、ダイナミックレンジと同時に被写体のコントラストも圧縮される。これによりこの方法の場合では、ダイナミックレンジの圧縮率を大きくすることが困難で、またダイナミックレンジの圧縮によりコントラストの劣化したメリハリのない画像が生成される問題があった。
【０００６】これに対して画像の低周波数成分についてのみガンマ補正、ニー補正等により階調を補正する方法にあっては、ダイナミックレンジの圧縮により画像の低周波成分と高周波成分との比率が変化する。これによりこの方法の場合では、ダイナミックレンジの圧縮によりエッジが不自然に強調され、品位のない画像が生成される問題があった。
【０００７】本発明は以上の点を考慮してなされたもので、コントラスト感の低下、不自然なエッジ強調を有効に回避して、高い圧縮率でダイナミックレンジを圧縮することができる画像処理回路及び画像処理方法を提案しようとするものである。
【０００８】
【課題を解決するための手段】かかる課題を解決するため請求項１又は請求項２の発明においては、画像処理回路又は画像処理方法に適用して、入力画像のエッジを保存して入力画像の画素値を平滑化し、この平滑化の出力値に応じてゲイン補正係数を生成して入力画像の画素値を補正する。
【０００９】請求項１又は請求項２の構成によれば、入力画像のエッジを保存して入力画像の画素値を平滑化すれば、入力画像から、画像のダイナミックレンジを決定付ける成分だけを独立して取り出することができる。これによりこの平滑化の出力値に応じてゲイン補正係数を生成して入力画像の画素値を補正すれば、画像のダイナミックレンジとは独立な、圧縮せずに保存しておくことが望まれる被写体のコントラストについては劣化を有効に回避して、所望の圧縮率によりダイナミックレンジを圧縮することができる。また被写体のコントラストについては劣化を有効に回避できることにより、不自然なエッジ強調も防止することができ、これらにより入力画像の品位を維持したまま、高い圧縮率により入力画像のダイナミックレンジを圧縮することができる。
【００１０】
【発明の実施の形態】以下、適宜図面を参照しながら本発明の実施の形態を詳述する。
【００１１】（１）第１の実施の形態の構成（１−１）第１の実施の形態の全体構成図１は、本発明の第１の実施の形態に係る画像処理回路を示すブロック図である。この画像処理回路１は、ビデオカメラ、電子スチルカメラ等の撮像装置、種々の画像処理装置、画像伝送装置、さらにはパーソナルコンピュータにおける画像処理等に適用され、入力画像Ｘのダイナミックレンジを圧縮して出力画像Ｙをする。
【００１２】なおここで入力画像Ｘ及び出力画像Ｙは、２次元デジタル画像であり、以下においては、水平方向及び垂直方向における画素の位置をそれぞれ符号ｉ及びｊにより表して、それぞれ入力画像Ｘ及び出力画像Ｙの画素値をｘ（ｉ、ｊ）及びｙ（ｉ、ｊ）により表す。またこれら画素値ｘ（ｉ、ｊ）及びｙ（ｉ、ｊ）に対応する各処理値を同様に符号ｉ及びｊを用いて示す。
【００１３】この画像処理回路１において、非線型平滑化器２は、図２（Ａ）に示すように、大きなダイナミックレンジによる入力される入力画像Ｘの画素値ｘ（ｉ、ｊ）を平滑化して、画素値ｓ（ｉ、ｊ）（図２（Ｂ））による平滑化画像Ｓを出力する。この平滑化の処理において、非線型平滑化器２は、入力画像の画素値情報と空間情報とから、各画素値ｘ（ｉ、ｊ）がエッジにおけるものか否か判定して処理することにより、小振幅成分のみを平滑化し、大きなエッジ成分については、平滑化の処理を実行しないようにする。これにより非線型平滑化器２は、エッジを保存したまま入力画像Ｘの画素値ｘ（ｉ、ｊ）を平滑化し、画像のダイナミックレンジを決定付ける成分だけを独立して取り出すようになされている。
【００１４】ルックアップテーブル（ＬＵＴ）３は、非線型平滑化器２から出力される平滑化画像Ｓの画素値ｓ（ｉ、ｊ）を基準にして入力画像Ｘの画素値ｘ（ｉ、ｊ）を補正するためのゲイン補正係数ｇ（ｉ、ｊ）（図２（Ｃ））を出力する。ここで画像処理回路１では、このゲイン補正係数ｇ（ｉ、ｊ）により入力画像Ｘの画素値ｘ（ｉ、ｊ）を補正してダイナミックレンジを圧縮することにより、ルックアップテーブル３は、例えば図３に示すような単調減少特性を有する入出力特性によりこのゲイン補正係数ｇ（ｉ、ｊ）を出力する。なおここでこの図３に示す入出力特性においては、平滑化画像Ｓの画素値ｓ（ｉ、ｊ）が所定値ｓ１より小さい場合には、値１、０のゲイン補正係数ｇ（ｉ、ｊ）を出力し、平滑化画像Ｓの画素値ｓ（ｉ、ｊ）がこの所定値ｓ１より増大するに伴って指数関数的にゲイン補正係数ｇ（ｉ、ｊ）が減少し、画素値ｓ（ｉ、ｊ）の最大値ｓ ｍａｘでゲイン補正係数ｇ（ｉ、ｊ）が値ｇ１となる特性である。
【００１５】このような入出力特性により、ルックアップテーブル３は、例えば図２（Ａ）に示したような小さな画素値の変化を伴ってエッジの前後で入力画像Ｘの画素値ｘ（ｉ、ｊ）が立ち上がっている場合には、小さな画素値の変化が取り除かれてなる平滑化画像Ｓの画素値ｓ（ｉ、ｊ）が得られ、この平滑化画像Ｓの画素値ｓ（ｉ、ｊ）の小さな部位ほど値の小さなゲイン補正係数ｇ（ｉ、ｊ）（図２（Ｃ））を出力する。このとき平滑化画像Ｓの画素値ｓ（ｉ、ｊ）においてエッジが保存されていることにより、ルックアップテーブル３は、エッジの部分では値が急激に変化するようにゲイン補正係数ｇ（ｉ、ｊ）を出力する。
【００１６】遅延回路４は、非線型平滑化器２、ルックアップテーブル３における画像データの処理に要する時間の分だけ、入力画像Ｘを構成する画像データを所定時間遅延させ、これによりルックアップテーブル３から出力されるゲイン補正係数ｇ（ｉ、ｊ）に対して入力画像Ｘの画素値ｘ（ｉ、ｊ）をタイミング合わせして出力する。
【００１７】乗算回路５は、遅延回路４から出力される入力画像Ｘの画素値ｘ（ｉ、ｊ）をゲイン補正係数ｇ（ｉ、ｊ）で乗算することにより、入力画像Ｘの画素値ｘ（ｉ、ｊ）をゲイン補正係数ｇ（ｉ、ｊ）により補正して画素値ｚ（ｉ、ｊ）による画像Ｚを出力する。
【００１８】ここでこの実施の形態においては、ゲイン補正係数ｇ（ｉ、ｊ）が値１以下に設定されていることにより、乗算回路５は、図２（Ｄ）に示すように、入力画像Ｘのダイナミックレンジを圧縮してなる画素値ｚ（ｉ、ｊ）による画像Ｚを出力することになる。さらにエッジを保存したまま小さな画素値の変化が取り除かれてなる平滑化画像Ｓより、エッジの部分では値が急激に変化するようにゲイン補正係数ｇ（ｉ、ｊ）が生成されることにより、エッジを除く他の部分では、入力画像Ｘにおける小さな画素値の変化を保存したまま、エッジの部分だけ画素値の変化を圧縮した傾向により画素値ｚ（ｉ、ｊ）による画像Ｚが生成される。すなわち画像の大局的なダイナミックレンジのみ選択的に圧縮して画像Ｚが生成される。
【００１９】これによりこの実施の形態では、小さな画素値の変化が圧縮されてなるコントラスト感の低下、周波数特性の変化による不自然なエッジ強調を有効に回避して、高い圧縮率でダイナミックレンジを圧縮してなる画像Ｚを出力するようになされている。
【００２０】ルックアップテーブル（ＬＵＴ）６は、このようにしてダイナミックレンジを圧縮してなる画像Ｚの特性を最終的に設定して出力画像Ｙを生成する。すなわちルックアップテーブル６は、図４に示すように、黒近傍、白近傍の階調を圧縮する入出力特性に設定される。これによりルックアップテーブル６は、乗算回路５から出力される画像データのダイナミックレンジにおいて、出力画像Ｙのダイナミックレンジを越える部分における階調の飽和を防止し、出力画像Ｙにおいて黒近傍又は自近傍において階調が失われるような状況を有効に回避するようになされている。
【００２１】（１−２）非線型平滑化器図５は、非線型平滑化器２の構成を示すブロック図である。この非線型平滑化器２において、ローパスフィルタ（ＬＰＦ）１１は、入力画像Ｘを平滑化する二次元の線形ローパスフィルタにより構成され、入力画像Ｘにおける画素値ｘ（ｉ、ｊ）を事前にある程度平滑化することにより、以降の処理により点状のノイズの発生を防止する。なおローパスフィルタ（ＬＰＦ）１１は、入力画像Ｘの水平方向、垂直方向に対してそれぞれ１次元の線形ローパスフィルタを適用することもよっても、同様の処理を実行することができる。
【００２２】ルックアップテーブル（ＬＵＴ）１２は、ローパスフィルタ（ＬＰＦ）１１より出力される画像データＦ１の画素値を対数変換して出力し、これにより続く以降の処理において対数化された画素値により画素値を平滑化し、画素値によって平滑化の程度が異ならないようにする。
【００２３】改良型εフィルタ１３ＡＸは、εフィルタと呼ばれる非線型平滑化フィルタの一部を変更したフィルタであり、ルックアップテーブル１２より入力される入力画像Ｌ１の水平方向について、エッジを保存したまま画素値を平滑化して出力する。
【００２４】続く改良型εフィルタ１３ＢＸは、改良型εフィルタ１３ＡＸと同様の非線型平滑化フィルタであり、改良型εフィルタ１３ＡＸより入力される入力画像Ｌ２の水平方向について、エッジを保存したまま画素値を平滑化して出力する。改良型εフィルタ１３ＢＸは、後述する遅延回路における遅延時間が改良型εフィルタ１３ＡＸと異なることにより、平滑化の処理に供するサンプリングピッチが改良型εフィルタ１３ＢＸと異なる点を除いて、改良型εフィルタ１３ＢＸと同一に構成される。
【００２５】非線型平滑化器２では、このような平滑化の処理に供するサンプリングピッチが異なる改良型εフィルタを所定段数だけ直列に接続して配置する。これにより非線型平滑化器２では、各サンプリングピッチに対応する各周波数成分の画素値の変動に対してそれぞれ平滑化の処理を実行し、周波数帯域全体として見たときに、広い周波数帯域にわたって十分に平滑化の処理を実行するようになされている。
【００２６】改良型εフィルタ１３ＡＹ、１３ＢＹ、……は、垂直方向について平滑化の処理を実行する点を除いて、改良型εフィルタ１３ＡＸ、１３ＢＸ、……と同一に構成される。このためこれら改良型εフィルタ１３ＡＹ、１３ＢＹ、……の初段である改良型εフィルタ１３ＡＹは、図示しないメモリを介して画像データの配列が変更されて入力されるようになされている。これらにより非線型平滑化器２は、水平方向及び垂直方向に、エッジを保存したまま広い周波数帯域で平滑化の処理を実行する。
【００２７】ルックアップテーブル（ＬＵＴ）１４は、改良型εフィルタ１３ＡＹ、１３ＢＹ、……により平滑化された画像データに対して、ルックアップテーブル１２とは逆に、逆対数変換の処理を実行して出力する。ローパスフィルタ（ＬＰＦ）１５は、ローパスフィルタ１１と同様の線形ローパスフィルタであり、エッジを保存して平滑化されてなるルックアップテーブル１４の出力画像Ｌ２に対して、僅かにエッジを鈍らせ、これにより出力画像Ｙのエッジ近傍領域を滑らかにして、一連の処理による違和感を防止する。
【００２８】（１−２−１）改良型εフィルタ改良型εフィルタ１３ＡＸは、一般のεフィルタの構成を一部変更したフィルタであることにより、以下においてはεフィルタとの対比により改良型εフィルタ１３ＡＸの構成を説明する。なお改良型εフィルタ１３ＢＸ、……は、平滑化の処理に供するサンプリングピッチが異なる点を除いて、改良型εフィルタ１３ＡＸと同一の構成であることにより、ここではこの異なる構成に係る部位について適宜説明し、重複した説明は省略する。また改良型εフィルタ１３ＡＹ、１３ＢＹ、……については、処理対象である画像データの入力順序が異なる点を除いて、改良型εフィルタ１３ＡＸ、１３ＢＸ、……と同一構成であることにより、ここでは重複した説明を省略する。
【００２９】ここで通常のεフィルタは、１次元による２Ｎ＋１タップの場合、次式により入出力特性を表することができる。なおここでｓn は出力値であり、ｒn は入力値であり、εは所定の基準値である。またｒn は処理対象の中心の入力値であり、ａk は重み付け係数である。また第２式のシグマの範囲は、ｋ＝−Ｎからｋ＝Ｎの範囲である。
【００３０】
【数１】
【００３１】これによりεフィルタでは、図６（Ａ）に示すように、画素値ｒn である画素ｐn について出力値ｓn を計算する場合、計算の対象である画素ｐ1 〜ｐ2N+1のうちで、中心画素値ｒn に対する画素値差分の絶対値│ｒn −ｒn-k │が基準値εより大きな画素ｐn-k については、その画素値ｒn-k が中心画素値ｒn に置き換えられて、またこの画素値差分の絶対値│ｒn −ｒn-k │が基準値ε以下の画素ｐn-k については、この画素ｐn-k の画素値ｒn-k が使用されて、重み付け加算の処理が実行される。
【００３２】すなわちεフィルタでは、図６（Ａ）に示すように、画素Ｐn の出力値ｓn を計算する場合に、この画素Ｐn の前後の画素の中で、基準値εを判定基準として、画素Ｐn より大きく画素値ｒm が異なる画素ｐm については、画素値ｒm を画素値ｒn に置き換えて計算するものであり、これにより単なる線型ローパスフィルタによる処理との比較により図６（Ｂ）に示すように、エッジを保存したまま、小さな画素値の変化を抑圧する。
【００３３】ところがこの方法の場合、出力値を算出する画素Ｐn の値ｒn を中心にして基準値εにより画素値を判定し、画素Ｐn の画素値ｒn との置き換えにより重み付け加算して出力値ｓn を計算することにより、図６の示したエッジの両側のように、ほぼ一定の直流レベルにより画素値ｘが変化している場合には、エッジを保存して小さな画素値の変化を抑圧することができるのに対し、図７に示すように、直流レベルが変化している場合には、十分に平滑化することが困難になる。
【００３４】すなわち入力値ｒの直流レベルが徐々に増大又は減少している場合には、出力値ｓn を算出するＰn より遠ざかるに従って基準値εによる領域に含まれる画素数が少なくなる。またこの場合に、画素Ｐn の値ｒn の置き換えにより重み付け加算しても、正しく直流レベルの変化を反映して平滑化の処理を実施していないことになる。
【００３５】このためこの実施の形態では、（１）式との対比により次式により示すように、直流レベルの変化を一定の関数により近似し、画素Ｐn の画素値ｒn を中心にしてこの関数により領域（２ε１）を設定して画素値を判定する。またこの領域より飛び出す画素については、この関数上における画素値に置き換えて平滑化の処理を実行する。なおここで（２）式中の第２式のシグマの範囲は、ｋ＝−Ｎからｋ＝Ｎの範囲であり、（３）式中の第２式のシグマの範囲は、ｓ＝−Ｍからｓ＝Ｍ−１の範囲である。
【００３６】
【数２】
【００３７】
【数３】
【００３８】ここではこの関数に一次関数を適用し、このような直流レベルの変化を直線近似して処理する。すなわち出力値ｓn を計算する前後２Ｍ画素間で、隣接する画素間を結ぶ直線の傾きの平均値Ｋa を求め、さらにこの傾きの平均値Ｋa を基準にして領域を設定して画素値を判定し、さらにはこの直線上に位置するように画素値を置き換える。これによりこの実施の形態では、従来に比して一段と確実にエッジを保存しつつ平滑化の処理を実行できるようになされている。なお改良型εフィルタのＫa ＝０の場合が、図６について説明した一般のεフィルタによる特性である。
【００３９】図８は、改良型εフィルタ１３ＡＸを示すブロック図である。この改良型εフィルタ１３ＡＸは、所定の遅延時間による遅延回路（Ｄ）２１Ａ〜２１Ｆに平滑処理に、係る画素値ｒを順次入力し、これにより７タップにより構成される。ここでこれら遅延回路２１Ａ〜２１Ｆは、図９に示すように、所定段数（ｍ個）のレジスタ２２Ａ〜２２Ｎを直列接続して構成される。これにより改良型εフィルタ１３ＡＸは、レジスタ列２２Ａ〜２２Ｎの段数（すなわち遅延回路２１Ａ〜２１Ｆの遅延時間に対応する）に応じたサンプリングピッチにより、７サンプリングの画素値ｒ（ｉ，ｊ）を選択できるようになされている。
【００４０】かくするにつき改良型εフィルタ１３ＡＸは、このようにレジスタ２２Ａ〜２２Ｎの段数に対応するサンプリングピッチにより画素値ｒを選択して処理することにより、その分、出力値ｓを計算する画素の前後、広い範囲の画素値を使用して平滑化の処理を実行し、この広い範囲に対応する後段の処理を簡略化するようになされている。なお、このように広い範囲の画素値を使用して平滑化の処理を実行すれば、その分低い周波数による画素値の変化を十分に抑圧することができる。
【００４１】なお改良型εフィルタ１３ＢＸ、……においては、この改良型εフィルタ１３ＡＸとはこのレジスタの段数が異なるよう構成されて対応する遅延回路２１Ａ〜２１Ｆの遅延時間がこの改良型εフィルタ１３ＡＸとは異なるように設定され、これによりこの改良型εフィルタ１３ＡＸとは異なる周波数特性により平滑化の処理を実行するようになされている。
【００４２】傾き計算回路２４（図８）は、初段の遅延回路２１Ａに入力される画素値をこれら遅延回路２１Ａ〜２１Ｆの出力値と共に入力することにより、遅延回路２１Ａ〜２１Ｆの遅延時間に対応する７サンプリングのｒ（ｉ，ｊ）を入力し、（３）式の演算処理を実行することにより傾きの平均値ｋａを計算して出力する。
【００４３】演算回路２５Ａ〜２５Ｆは、それぞれ遅延回路２１Ａ〜２１Ｆより出力される７タップの画素値のうち、中心タップの出力値ｒn を除く各タップ出力ｒn-3m、ｒn-2m、ｒn-m 、ｒn+m 、ｒn+2m、ｒn+3mについて、（２）式中の第３式及び第４式の演算処理を実行し、演算結果ｗn-3m、ｗn-2m、ｗn-m 、ｗn+m 、ｗn+2m、ｗn+3mを出力する。なおここでｍは、遅延回路２１Ａ〜２１Ｆにおけるレジスタの段数である。
【００４４】すなわち演算回路２５Ａ（２５Ｂ〜２５Ｆ）は、図１０に示すように、乗算回路２８に傾きの平均値ｋａを入力し、ここでそれぞれ各タップ出力ｒn-3m、ｒn-2m、ｒn-m 、ｒn+m 、ｒn+2m、ｒn+3mに対応する中心タップからの距離ｋを乗算し、これにより傾きＫa による一次関数について、各タップ出力ｒn-3m、ｒn-2m、ｒn-m 、ｒn+m 、ｒn+2m、ｒn+3mのサンプリング点における中心タップ出力ｒn からの偏差Ｋa ｋを計算する（（２）式及び（３）式参照）。
【００４５】減算回路２９は、この乗算回路２８の出力値Ｋa ｋを各タップ出力ｒn-3m、ｒn-2m、ｒn-m 、ｒn+m 、ｒn+2m、ｒn+3mより減算することにより（２）式中のｖn-k を計算して出力する。
【００４６】減算回路３０は、この減算回路２９の出力値ｖn-k を中心タップ出力ｒn から減算することにより、（２）式中の（ｒn −ｖn-k ）を計算して出力する。
【００４７】絶対値化回路３１は、この減算回路３０の出力値（ｒn −ｖn-k ）を絶対値化することにより、（２）式中の│ｒn −ｖn-k │を計算して出力する。
【００４８】比較回路（ＣＭＰ）３２は、この絶対値化回路３１の出力値│ｒn −ｖn-k │と図７について上述した領域設定用の基準値ε１とを比較することにより、（２）式における大小判定の処理を実行し、判定結果をセレクタ（ＳＥＬ）の切り換え信号として出力する。
【００４９】加算回路３４は、中心タップ出力ｒn と乗算回路２８の出力値Ｋa ｋを加算することにより、（２）式中のｒn ＋Ｋa ・ｋを計算して出力する。
【００５０】セレクタ３３は、比較回路３２から出力される切り換え信号ＳＥＬにより、各各タップ出力ｒn-3m、ｒn-2m、ｒn-m 、ｒn+m 、ｒn+2m、ｒn+3m又は加算回路３４の出力値ｒn ＋Ｋa ・ｋを選択的に出力する。
【００５１】これらにより演算回路２５は、傾き計算回路２４で計算された傾きによる一次関数が出力値ｓを計算する画素ｐn の画素値ｒn の位置を通過するように配置すると共に、この配置による直線の上下に値ε１の領域を設定し、この領域より画素値が飛び出す画素については、エッジと判定してこの直線上における画素値を置き換え、この領域内の画素については、この画素本来の画素値により演算結果を出力する。
【００５２】重み付け回路３６Ａ〜３６Ｇは（図８）、それぞれ各タップ出力に対応する重み付け係数により演算回路２５Ａ〜２５Ｆの出力値又は中央タップの出力値を重み付けして出力し、これにより（２）式中の第１式におけるシグマの各項の演算処理を実行する。
【００５３】加算回路３７は、これら重み付け回路３６Ａ〜３６Ｇの出力値を加算し、これにより（２）式中の第１式の演算処理を実行し、処理結果を出力する。
【００５４】（１−２−２）ルックアップテーブル３ここで図１１は、この画像処理回路１による低周波数成分の階調変換特性を示す特性曲線図である。ルックアップテーブル３は、図１１に示す階調変換特性により入出力特性が設定される。
【００５５】すなわち符号Ｌ２による特性により示すように、この画像処理回路１において、最も大きな値により低周波数成分による画素値ｓ ｍａｘが入力された場合に、対応する出力値がｓ ｃｍｐとなるようにする。この場合ダイナミックレンジの圧縮率ｇ１は、ｓ ｃｍｐ／ｓ ｍａｘで表される。符号Ｌ２により表されるように、低周波数成分による画素値ｓ１までの範囲においては、入力値に対して利得１による出力値を出力するようにする。なお画素値ｓ１は、出力画像のダイナミックレンジの上限値より小さな値とし、入力画像Ｘにおいて値ｓ１以下の画素値については、敢えて階調を圧縮する必要が無いものとする。
【００５６】ルックアップテーブル３は、この画素値ｓ１までの変換特性である利得１の変換特性（符号Ｌ１により示す）を用いて、各縦軸の値をこの符号Ｌ１による変換特性により割り算して符号Ｌ２／Ｌ１により表される演算により入出力特性が設定されるようになされている。
【００５７】（２）第１の実施の形態の動作以上の構成において、画像処理回路１においては（図１）、撮像結果等による入力画像Ｘが非線型平滑化器２に入力され（図２（Ａ）及び（Ｂ））、ここでエッジを保存したまま平滑化処理されて平滑化画像Ｓが生成される。ここでこの平滑化画像Ｓにおいては、エッジを保存したまた平滑化処理されていることにより、画像のダイナミックレンジとは独立な、圧縮せずに保存しておくことが望まれる被写体のコントラストを決定付ける成分が除去されて、画像のダイナミックレンジを決定付ける成分だけを独立して取り出されていることになる。
【００５８】画像処理回路１においては、この平滑化画像Ｓによりルックアップテーブル３をアクセスしてゲイン補正係数ｇ（ｉ，ｊ）が順次生成され（図２（Ｃ）及び図３）、遅延回路４を介して入力される入力画像Ｘの画素値ｘ（ｉ，ｊ）が乗算回路５で乗算されて入力画像Ｘのダイナミックレンジが圧縮される（図２（Ｄ））。このとき入力画像Ｘにおいては、画像のダイナミックレンジを決定付ける成分だけである平滑化画像Ｓによるゲイン補正係数ｇ（ｉ，ｊ）により画素値ｘ（ｉ，ｊ）が補正されることにより、局所的な画素値の変化、画像のエッジについては保存されたまま、大局的な画素値の変化のみ選択的に圧縮されて生成され、これにより見た目のコントラストであるコントラスト感の劣化を防止してダイナミックレンジが十分に圧縮されてなる画像Ｚが生成される。またエッジについても、周波数特性の変化が防止され、これによりエッジの不自然な強調が防止される。
【００５９】画像処理回路１においては、このようにしてダイナミックレンジが圧縮されてなる画像Ｚの画素値によるルックアップテーブル６のアクセスにより（図１及び図４）、黒近傍、白近傍の階調が選択的に圧縮され、これにより極めて大きなダイナミックレンジによる入力画像Ｘが入力された場合であっても、黒近傍、白近傍で階調が失われる状況を有効に回避して出力画像Ｙが出力される。
【００６０】これにより画像処理回路１においては、例えばビデオカメラ、電子スチルカメラ等の撮像装置において、撮像結果よりダイナミックレンジの狭い記録再生系で撮像結果を記録再生して撮像結果の品位の劣化を防止することができる。なお撮像装置においては、撮像素子の選定により、また感度の異なる画像の合成等により、このような通常に比してダイナミックレンジに広い撮像結果を得ることができる。また画像表示装置に適用して、このようなダイナミックレンジの広い画像を表示する場合に、高品位の画像を表示することができる。
【００６１】また逆光補正等の画像補正、コンピュータによる画像合成、画像処理に適用して、広いダイナミックレンジによる画像を種々に処理しても、品位の劣化を防止して処理結果を伝送、記録、再生することができることにより、このような種々の処理についても高品位に処理することができる。また画像伝送装置に適用した場合には、画質の劣化を有効に回避して高速度で画像伝送することができる。
【００６２】このようにしてエッジ成分を保存して画素値を平滑化するにつき、画像処理回路１では（図５）、非線型平滑化器２において、ローパスフィルタ１１により入力画像Ｘの画素値ｘ（ｉ，ｊ）を帯域制限した後、改良型εフィルタ１３ＡＸ、……によりエッジを保存した平滑化の処理が実行され、これにより出力画像Ｙにおける点状のノイズが防止される。
【００６３】またこの非線型平滑化器２の最終段のローパスフィルタ１５によって平滑化画像Ｓを帯域制限することにより、エッジ近傍の不自然な画素値の変化が低減され、これによりエッジ近傍が滑らかに表現されてなる出力画像Ｙが得られる。
【００６４】さらにルックアップテーブル１２により画素値ｘ（ｉ，ｊ）を対数変換してエッジを保存した平滑化の処理を実行した後、ルックアップテーブル１４により逆対数変換して平滑化画像Ｓが生成され、これにより平滑化の処理結果における画素値による処理結果の相違が防止され、出力画像Ｙにおける不自然なダイナミックレンジの圧縮が防止される。
【００６５】さらに改良型εフィルタ１３ＡＸ、１３ＡＸ、……により、順次エッジを保存して高周波数成分を抑圧するフィルタリングの処理が水平方向に実行された後、続く改良型εフィルタ１３ＡＹ、１３ＡＹ、……により、同様の処理が垂直方向に実行され、これにより垂直、水平方向、さらには斜め方向に、十分なコントラスト感を確保し、かつエッジの不自然さを防止してなる出力画像Ｙを生成することが可能となる。
【００６６】さらにこのように各方向に順次エッジを保存したフィルタリング処理を実行する改良型εフィルタ１３ＡＸ、１３ＡＸ、……、１３ＡＹ、１３ＡＹ、……において、異なるサンプリングピッチによりフィルタリングの処理を繰り返し実行し、これにより画像処理回路１では、エッジの情報を保存したまま広い周波数帯域で十分平滑化されてなる平滑化画像Ｓが生成される。これにより画像処理回路１では、このような平滑化画像Ｓに特定周波数成分のみが選択的に残らないように平滑化の処理を実行することができ、その分出力画像Ｙの画質劣化を有効に回避することができる。
【００６７】各改良型εフィルタ１３ＡＸ、１３ＡＸ、……、１３ＡＹ、１３ＡＹ、……においては（図７及び図８）、遅延回路２１Ａ〜２１Ｆの直列回路に順次画素値ｒが入力され、この遅延回路２１Ａ〜２１Ｆよる７つのタップ出力について、中心タップ出力を基準にして他の各タップ出力の値がそれぞれ演算回路２５Ａ〜２５Ｆで判定される（図１０）。さらにこの判定により、中心タップ出力に対して大きく画素値が異なる場合にはエッジを跨ぐものと判定され、この大きく異なる画素値が所定値に置き換えられ、これら中心タップ出力と他のタップ出力との間の重み付け加算が重み付け回路３６Ａ〜３６Ｆ、加算回路３７により実行されて平滑化の処理が実行される。
【００６８】この処理において各改良型εフィルタ１３ＡＸ、１３ＡＸ、……、１３ＡＹ、１３ＡＹ、……においては、各遅延回路２１Ａ〜２１Ｆがレジスタ２２Ａ〜２２Ｎの直列回路により構成されていることにより、連続する画素値をこの直列接続したレジスタ数によるピッチによりサンプリングして平滑化の処理が実行される。これにより演算回路２５Ａ〜２５Ｆ、重み付け回路３６Ａ〜３６Ｆ、加算回路３７については、このタップ出力に対応する数だけ配置して平滑化の処理を実行でき、その分全体構成を簡略化することができる。また平滑化の処理対象である画素値については、これら演算回路２５Ａ〜２５Ｆ、重み付け回路３６Ａ〜３６Ｆ、加算回路３７の構成に比して、広い範囲の画素値を用いて平滑化の処理を実行することができ、これにより例えば低い周波数による脈動についても十分に平滑化することができる。
【００６９】画像処理回路１では、これら各改良型εフィルタ１３ＡＸ、１３ＡＸ、……、１３ＡＹ、１３ＡＹ、……において、この遅延回路２１Ａ〜２１Ｆ構成するレジスタ２２Ａ〜２２Ｎの段数が異なるように設定されていることにより、上述したように、異なるサンプリングピッチによりフィルタリングの処理を繰り返し実行し、出力画像Ｙの画質劣化が防止される。
【００７０】このようにして中心タップ出力を基準にしてエッジ判定して画素値を置き換える処理において、各改良型εフィルタ１３ＡＸ、１３ＡＸ、……、１３ＡＹ、１３ＡＹ、……においては、各タップ出力の低周波数成分を所定の関数に近似し、中心タップ出力を基準にしてこの関数により領域（２ε１）が設定され（図７）、この領域の属するか否かによりエッジ判定される。これにより各改良型εフィルタ１３ＡＸ、１３ＡＸ、……、１３ＡＹ、１３ＡＹ、……においては、画素値が徐々に増大傾向にある場合、減少傾向にある場合にあっても、このような変化の傾向が見られない場合と同様に、エッジを判定することができ、これによりこのような判定の変化による出力画像Ｙの劣化を防止することができる。
【００７１】またエッジの部分と判定して画素値を置き換える場合でも、このようにして求められた関数を基準にして置き換えの画素値が決定され、これにより画素値を置き換えて求められる重み付け処理結果にこのような低い周波数による画素値の変化を反映して出力画像をさらに一層高品位なものとすることができる。
【００７２】さらにこの実施の形態では、この関数として一次関数が適用されることにより、単に直線の傾きを求め、さらにはこの傾きにより判定等の処理を実行するだけの簡易な構成により一連の処理を実行することができる。
【００７３】すなわち各改良型εフィルタ１３ＡＸ、１３ＡＸ、……、１３ＡＹ、１３ＡＹ、……においては、傾き計算回路２４において、７つのタップ出力の中から隣接するタップ出力間で差分値が計算され、この差分値の平均化により傾きの平均値Ｋa が計算される。さらに各演算回路２５Ａ〜２５Ｆにおいて、中心タップを除く他のタップ出力のサンプリング位置について、この傾きの平均値Ｋa と、中心タップ位置からの距離ｋにより、この傾きによる場合の中心タップ出力からの差分値Ｋa ｋが乗算回路２８で計算され、続く減算回路２９、３０でこの傾きＫaによる関数上における画素値と実際のタップ出力による画素値との差分値が計算され、比較回路３２において、この差分値が基準値ε１より大きいか否か判定される。これにより一次関数による近似関数を用いて、エッジか否かの判定処理が実行される。
【００７４】さらに他方で、加算回路３４において、この傾きＫa による関数上における画素値が計算され、比較回路３２における判定結果に応じて、実際のタップ出力とこのようにして計算された関数上における画素値とが選択出力され、これによりエッジを跨ぐ場合には、一次関数による近似関数を用いて計算した画素値に置き換えられて各タップ出力が対応する重み付け回路に出力される。
【００７５】これらにより画像処理回路１では、ダイナミックレンジの広い種々の画質による入力画像Ｘについて、エッジの劣化、コントラスト感の低下を防止して十分にダイナミックレンジを圧縮することができる。
【００７６】（３）第１の実施の形態の効果以上の構成によれば、エッジを保存したまま入力画像Ｘを平滑化してゲイン補正係数ｇを求め、このゲイン補正係数ｇにより入力画像の画素値を補正することにより、コントラスト感の低下、不自然なエッジ強調等を有効に回避して、高い圧縮率でダイナミックレンジを圧縮することができるようにする。
【００７７】またこのようにしてダイナミックレンジを圧縮した後、さらにルックアップテーブル６により階調を補正することにより、黒近傍、白近傍における階調の喪失を有効に回避することができる。
【００７８】またこのようにエッジを保存したまま入力画像Ｘを平滑化する際に、ローパスフィルタにより帯域制限した後、対数変換して処理し、また処理結果を逆対数変換することにより、点状のノイズの発生を防止し、また画素値による処理結果の相違を防止することができる。
【００７９】さらにエッジを保存したまま入力画像Ｘを平滑化する際に、サンプリングピッチが異なる複数のフィルタリングを繰り返すことにより、広い周波数帯域で一様に平滑化することができ、これにより高い品位による出力画像Ｙを出力することができる。
【００８０】また連続する画素を所定ピッチによりサンプリングしてこの平滑化の処理を実行することにより、簡易な構成により広い範囲の画素値をサンプリングして平滑化の処理を実行することができ、これにより低い周波数についても十分に平滑化の処理を実行して、高品位の出力画像Ｙを得ることができる。
【００８１】またこの平滑化の処理において、画素値により関数を近似し、この関数により領域を設定してエッジ判定することにより、さらにこの関数を利用して置き換えの画素値を計算することによっても、高品位の出力画像Ｙを得ることができる。
【００８２】さらにこの関数を一次関数としたことにより、全体構成を簡略化することができる。
【００８３】（４）第２の実施の形態図１２は、図１との対比により本発明の第２の実施の形態に係る画像処理回路を示すブロック図である。この画像処理回路４１において、画像処理回路１との同一の構成は、対応する符号を付して示し、重複した説明は省略する。
【００８４】この画像処理回路４１は、画像処理回路１と同様に、図１３に示すように、画素値ｘ（ｉ，ｊ）による入力画像Ｘ（図１３（Ａ））を平滑化して平滑化画像Ｓを生成し（図１３（Ｂ））、この平滑化画像Ｓの画素値ｓ（ｉ，ｊ）より生成されるゲイン補正係数ｇ（ｉ，ｊ）（図１３（Ｃ））により入力画像Ｘのダイナミックレンジを圧縮する。この処理において、画像処理回路４１は、平滑化処理による出力値ｓ（ｉ，ｊ）を入力画像Ｘの画素値ｘ（ｉ，ｊ）より減算して得られる減算値ｘ（ｉ，ｊ）−ｓ（ｉ，ｊ）を用いて、出力画像Ｙの画素値ｙ（ｉ，ｊ）の変化を強調する。
【００８５】すなわちこの画像処理回路４１は、遅延回路４及び乗算回路５間に、順次減算回路４２、乗算回路４３、加算回路４４が配置される。ここで減算回路４２は、入力画像Ｘの画素値ｘ（ｉ，ｊ）より平滑化処理による出力値ｓ（ｉ，ｊ）を減算し、減算値ｘ（ｉ，ｊ）−ｓ（ｉ，ｊ）を出力する（図１３（Ｄ））。続く乗算回路４３は、この減算値ｘ（ｉ，ｊ）−ｓ（ｉ，ｊ）を所定利得Ｋにより増幅し（図１３（Ｅ））、加算回路４４は、この乗算回路４３の出力値に平滑化画像Ｓの画素値ｓ（ｉ，ｊ）を加算する。これによりこの画像処理回路４１は、入力画像Ｘに比して、非線型平滑化器２により除去される小さな脈動を強調してなる加算回路４４の加算結果を乗算回路５で乗算して出力画像Ｙを生成し、このように小さな脈動を強調してなる画像を処理する分、図１について上述した画像処理回路１に比していわゆるシャープな画像を出力することができるようになされている。
【００８６】図１２に示す構成によれば、平滑化処理による出力値ｓ（ｉ，ｊ）を入力画像Ｘの画素値ｘ（ｉ，ｊ）より減算して得られる減算値ｘ（ｉ，ｊ）−ｓ（ｉ，ｊ）を用いて出力画像Ｙの画素値ｙ（ｉ，ｊ）の変化を強調することにより、第１の実施の形態の効果に加えて、一段とシャープな画像を出力することができる。
【００８７】（５）第３の実施の形態図１４は、図１２との対比により本発明の第３の実施の形態に係る画像処理回路を示すブロック図である。この画像処理回路５１において、画像処理回路４１との同一の構成は、対応する符号を付して示し、重複した説明は省略する。
【００８８】この画像処理回路５１では、平滑化画像Ｓの出力値ｓ（ｉ、ｊ）によりルックアップテーブル（ＬＵＴ）５２をアクセスして乗算回路４３における利得を設定する。ここでこのルックアップテーブル５２においては、図１５に示すように入出力特性が設定される。これによりルックアップテーブル５２は、出力値ｓ（ｉ、ｊ）が所定値以下の場合には、乗算回路４３を一定利得に設定し、この所定値以上に出力値ｓ（ｉ、ｊ）が増大すると、徐々に値１に近づくように利得を設定する。
【００８９】これにより画像処理回路５１では、画素値の大きな領域については、コントラストを強調する程度を低減するようになされている。すなわち画像一般においては、大きい画素値を持つ画素近傍程、コントラストも十分に大きい場合が多く、一様にコントラストを強調したのでは、このような画素近傍では必要以上にコントラストを強調することになり、その分処理結果においては、品位が劣化して観察される。ところがこの実施の形態のように、画素値の大きな領域について、コントラストを強調する程度を低減すれば、全体として自然な品位の高い画像を出力することができる。
【００９０】図１４に示す構成によれば、画素値に応じて強調する程度を可変することにより、さらに一段と品位の高い画像を出力することができる。
【００９１】（６）第４の実施の形態図１６は、図１２との対比により本発明の第４の実施の形態に係る画像処理回路を示すブロック図である。
【００９２】この画像処理回路６１は、図１７に示すように、ノイズ除去フィルタ６２により入力画像Ｘのノイズを事前に除去した後、続く乗算回路６３により、一様な利得により乗算してダイナミックレンジを拡大し（図１７（Ａ）及び（Ｂ））、画像処理回路１によりダイナミックレンジを圧縮して元の入力画像Ｘのダイナミックレンジにより出力する（図１７（Ｃ））。
【００９３】ここでノイズ除去フィルタ６２は、一般的なコアリング処理、メディアンフィルタ、εフィルタ又は改良型εフィルタが適用される。またこの実施の形態において、画像処理回路１は、図３について上述した特性とは逆に、所定の画素値以上では一定の利得により画素値を補正し、所定の画素値以下の範囲では利得が低下するように画素値を補正する。
【００９４】この図１６に示す構成によれば、逆光画像などコントラストが極端に高い画像について、画質の劣化を有効に回避して階調の補正等の処理を実行することができる。
【００９５】すなわち図１等について上述した画像処理回路においては、図３に示すような単調減少による特性により画素値を補正することにより、入力画像Ｘの暗い部分の明度は下げずに、明るい部分のみ明度を下げてダイナミックレンジを圧縮することになる。ところがこの実施の形態では、これとは逆の特性によりダイナミックレンジを圧縮することにより、入力画像Ｘの適度な明るさを持つ部分はそれ以上明るくならないようにしながら、暗い部分のみ明度を上げて全体のコントラストを圧縮することができる。これにより逆光補正等の処理を実行することができる。
【００９６】（７）第５の実施の形態図１８は、本発明の第５の実施の形態に係る画像処理回路を示すブロック図である。この画像処理回路７１において、マトリクス回路７２は、赤色、青色、緑色の色信号Ｒ、Ｂ、Ｇを演算処理して輝度信号Ｙ、色差信号Ｒ−Ｙ、Ｂ−Ｙを生成する。
【００９７】画像処理回路１は、この輝度信号Ｙを選択的に処理することにより、輝度信号Ｙのダイナミックレンジを圧縮して出力する。かくするにつき、この画像処理回路７１は、このように輝度信号Ｙについてのみ画像処理回路１で選択的にダイナミックレンジを圧縮することにより、赤色、青色、緑色の色信号Ｒ、Ｂ、Ｇ間における信号レベルの比率の変化を防止し、この比率の変化による色相の変化を防止するようになされている。
【００９８】除算器７３及び７４は、それぞれ色差信号Ｒ−Ｙ、Ｂ−Ｙを輝度信号Ｙにより割り算することにより、色差信号Ｒ−Ｙ、Ｂ−Ｙを輝度信号Ｙにより正規化する。遅延回路７７及び７８は、この除算器７３及び７４から出力される色差信号Ｒ−Ｙ、Ｂ−Ｙを画像処理回路１における処理の分、遅延させて出力する。乗算回路７７及び７８は、それぞれ遅延回路７７及び７８から出力される色差信号Ｒ−Ｙ、Ｂ−Ｙに、画像処理回路１から出力される輝度信号Ｙを乗算することにより、除算器７３及び７４により正規化処理された色差信号の画素値を補正する。
【００９９】すなわち単に輝度信号のみのダイナミックレンジを圧縮した場合であっても、色差信号においては、輝度信号と色信号との差分信号であることにより、何ら色差信号の信号レベルを補正しない場合、対応する輝度レベルで彩度の成分の比率が上がり、結局画像全体として見たとき彩度が高くなってしまう。
【０１００】これによりこの実施の形態では、輝度信号成分により色差信号成分を事前に正規化して輝度信号成分のダイナミックレンジを圧縮した後、この輝度信号成分による画素値で正規化処理された色差信号成分の画素値を補正することにより、このような彩度の変化を防止してカラーによる映像信号のダイナミックレンジを良好に抑圧するようになされている。
【０１０１】（８）他の実施の形態なお上述の実施の形態においては、改良型εフィルタにおいて、１次関数の近似によりエッジ判定し、また画素値を置き換える場合について述べたが、本発明はこれに限らず、例えば２次関数等により近似してこれらの処理を実行してもよい。
【０１０２】また上述の実施の形態においては、改良型εフィルタにおいて、関数の近似によりエッジ判定し、また画素値を置き換える場合について述べたが、本発明はこれに限らず、エッジの判定だけ、又は画素値の置き換えだけに関数による近似を利用してもよい。
【０１０３】また上述の実施の形態においては、改良型εフィルタにおいて、連続する画素値を所定のサンプリングピッチによりサンプリングして処理する場合について述べたが、本発明はこれに限らず、実用上十分な回路規模を確保することができる場合等にあっては、連続する画素をそのまま処理するようにしてもよい。
【０１０４】また上述の実施の形態においては、改良型εフィルタによる繰り返しの処理により入力画像を平滑化する場合について述べたが、本発明はこれに限らず、実用上十分な特性を得ることができる場合、繰り返しの処理を省略してもよい。
【０１０５】また上述の実施の形態においては、改良型εフィルタにより非線型平滑化器を構成する場合について述べたが、本発明はこれに限らず、通常のεフィルタにより非線型平滑化器を構成してもよい。
【０１０６】また上述の実施の形態においては、最終的にルックアップテーブル６により入出力特性を補正する場合について述べたが、本発明はこれに限らず、このルックアップテーブル６による処理を省略してもよく、またルックアップテーブル３により併せて特性を補正するようにしてもよい。
【０１０７】また上述の実施の形態においては、各回路ブロックで画素値等を処理して画像処理回路を構成する場合について述べたが、本発明はこれに限らず、全体又は一部を演算処理により構成するようにしてもよい。
【０１０８】
【発明の効果】上述のように本発明によれば、エッジを保存したまま入力画像を平滑化してゲイン補正係数を求め、このゲイン補正係数により入力画像の画素値を補正することにより、コントラスト感の低下、不自然なエッジ強調を有効に回避して、高い圧縮率でダイナミックレンジを圧縮することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係る画像処理回路を示すブロック図である。
【図２】図１の画像処理回路の動作の説明に供するタイムチャートである。
【図３】図１の画像処理回路のルックアップテーブル３の特性を示す特性曲線図である。
【図４】図１の画像処理回路のルックアップテーブル６の特性を示す特性曲線図である。
【図５】図１の画像処理回路の非線型平滑化器を示すブロック図である。
【図６】図５の非線型平滑化器の動作の説明に供するタイムチャートである。
【図７】図５の非線型平滑化器の改良型εフィルタの説明に供するタイムチャートである。
【図８】図５の非線型平滑化器の改良型εフィルタを示すブロック図である。
【図９】図８の改良型εフィルタの遅延回路を示すブロック図である。
【図１０】図８の改良型εフィルタの演算回路を示すブロック図である。
【図１１】図１の画像処理回路のルックアップテーブル３の特性の説明に供する特性曲線図である。
【図１２】本発明の第２の実施の形態に係る画像処理回路を示すブロック図である。
【図１３】図１２の画像処理回路の動作の説明に供するタイムチャートである。
【図１４】本発明の第３の実施の形態に係る画像処理回路を示すブロック図である。
【図１５】図１２の画像処理回路のルックアップテーブル５２の説明に供する特性曲線図である。
【図１６】本発明の第４の実施の形態に係る画像処理回路を示すブロック図である。
【図１７】図１６の画像処理回路の動作の説明に供するタイムチャートである。
【図１８】本発明の第５の実施の形態に係る画像処理回路を示すブロック図である。
【符号の説明】
１、４１、５１、６１、７１……画像処理回路、２……非線型平滑化器、３、６、１２、１４、５２……ルックアップテーブル、１１、１５……ローパスフィルタ、１３ＡＸ、１３ＢＸ、１３ＡＹ、１３ＢＹ……改良型εフィルタ、２４……傾き検出回路、２５Ａ〜２５Ｆ……演算回路、６２……雑音除去フィルタ
【特許請求の範囲】
【請求項１】入力画像のダイナミックレンジを圧縮する画像処理回路において、前記入力画像のエッジを保存して前記入力画像の画素値を平滑化する平滑化手段と、前記平滑化手段の出力値に応じてゲイン補正係数を生成する補正係数生成手段と、前記ゲイン補正係数により前記入力画像の画素値を補正する画素値補正手段とを備えることを特徴とする画像処理回路。
【請求項２】入力画像のダイナミックレンジを圧縮する画像処理方法において、前記入力画像による画像のエッジを保存して前記入力画像の画素値を平滑化する平滑化処理と、前記平滑化処理の出力値に応じてゲイン補正係数を生成する補正係数生成処理と、前記ゲイン補正係数により前記入力画像の画素値を補正する画素値補正処理とを有することを特徴とする画像処理方法。
【請求項３】前記画素値補正処理により補正された画素値の階調を補正する階調補正処理を有することを特徴とする請求項２に記載の画像処理方法。
【請求項４】前記平滑化処理による出力値を前記入力画像の画素値より減算して得られる減算値を用いて、前記画素値補正処理により補正される画素値の変化を強調する画像強調処理を有することを特徴とする請求項２に記載の画像処理方法。
【請求項５】前記入力画像のノイズを事前に除去するノイズ除去処理と、前記ノイズ除去処理した前記入力画像の画素値を一様な利得により乗算してダイナミックレンジを拡大し、前記平滑化処理及び前記画素値補正処理に供給するダイナミックレンジ拡大処理とを有することを特徴とする請求項２に記載の画像処理方法。
【請求項６】前記平滑化処理は、前記入力画像より低周波数成分を抽出するフィルタリング処理と、前記フィルタリング処理した画素値を対数変換する対数変換処理と、前記対数変換処理した画像のエッジを保存して高周波数成分を抑圧する非線型のフィルタリング処理と、前記非線型のフィルタリング処理による画素値を逆対数変換する逆対数変換処理とを有することを特徴とする請求項２に記載の画像処理方法。
【請求項７】前記非線型のフィルタリング処理は、前記入力画像における画素値のサンプリングピッチが異なり、かつ画像のエッジを保存して高周波数成分を抑圧する複数のフィルタリングを繰り返して実行されることを特徴とする請求項６に記載の画像処理方法。
【請求項８】前記非線型のフィルタリング処理は、連続する画素を所定ピッチによりサンプリングして実行されることを特徴とする請求項６に記載の画像処理方法。
【請求項９】前記非線型のフィルタリング処理は、処理対象の画素を基準とした所定範囲の画素について、該画素の画素値の低周波数成分を近似する所定の近似関数を生成する近似関数生成の処理と、前記近似関数を基準にして、前記低周波数成分に対応する領域を設定する領域設定の処理と、前記処理対象の画素を基準とした所定範囲の画素のそれぞれについて、画素値が前記領域に属するか否か判定し、該判定結果に応じて前記近似関数による対応する画素値に、該判定に係る画素値を選択的に置き換える画素値の置き換え処理と、前記画素値の置き換え処理による画素値を重み付け加算する重み付け加算の処理とを有することを特徴とする請求項６に記載の画像処理方法。
【請求項１０】前記平滑化処理の出力値に対する前記ゲイン補正係数の特性が単調減少特性であることを特徴とする請求項２に記載の画像処理方法。
【請求項１１】前記ノイズ除去処理が、コアリング処理であることを特徴とする請求項５に記載の画像処理方法。
【請求項１２】前記ノイズ除去処理が、メディアンフィルタによる処理であることを特徴とする請求項５に記載の画像処理方法。
【請求項１３】前記ノイズ除去処理が、処理対象の画素を基準とした所定範囲の画素について、前記処理対象の画素の画素値を基準にした判定に応じて、該判定に係る画素値を選択的に置き換える画素値の置き換え処理と、前記画素値の置き換え処理による画素値を重み付け加算する重み付け加算の処理とを有することを特徴とする請求項６に記載の画像処理方法。
【請求項１４】前記入力画像の輝度信号成分により前記入力画像の色差信号成分を事前に正規化し、前記輝度信号成分による画素値を前記平滑化処理及び前記画素値補正処理に供給する正規化処理と、前記画素値補正処理された輝度信号成分による画素値により、前記正規化処理された色差信号成分の画素値を補正する色差信号補正処理とを有することを特徴とする請求項２に記載の画像処理方法。
【請求項１】入力画像のダイナミックレンジを圧縮する画像処理回路において、前記入力画像のエッジを保存して前記入力画像の画素値を平滑化する平滑化手段と、前記平滑化手段の出力値に応じてゲイン補正係数を生成する補正係数生成手段と、前記ゲイン補正係数により前記入力画像の画素値を補正する画素値補正手段とを備えることを特徴とする画像処理回路。
【請求項２】入力画像のダイナミックレンジを圧縮する画像処理方法において、前記入力画像による画像のエッジを保存して前記入力画像の画素値を平滑化する平滑化処理と、前記平滑化処理の出力値に応じてゲイン補正係数を生成する補正係数生成処理と、前記ゲイン補正係数により前記入力画像の画素値を補正する画素値補正処理とを有することを特徴とする画像処理方法。
【請求項３】前記画素値補正処理により補正された画素値の階調を補正する階調補正処理を有することを特徴とする請求項２に記載の画像処理方法。
【請求項４】前記平滑化処理による出力値を前記入力画像の画素値より減算して得られる減算値を用いて、前記画素値補正処理により補正される画素値の変化を強調する画像強調処理を有することを特徴とする請求項２に記載の画像処理方法。
【請求項５】前記入力画像のノイズを事前に除去するノイズ除去処理と、前記ノイズ除去処理した前記入力画像の画素値を一様な利得により乗算してダイナミックレンジを拡大し、前記平滑化処理及び前記画素値補正処理に供給するダイナミックレンジ拡大処理とを有することを特徴とする請求項２に記載の画像処理方法。
【請求項６】前記平滑化処理は、前記入力画像より低周波数成分を抽出するフィルタリング処理と、前記フィルタリング処理した画素値を対数変換する対数変換処理と、前記対数変換処理した画像のエッジを保存して高周波数成分を抑圧する非線型のフィルタリング処理と、前記非線型のフィルタリング処理による画素値を逆対数変換する逆対数変換処理とを有することを特徴とする請求項２に記載の画像処理方法。
【請求項７】前記非線型のフィルタリング処理は、前記入力画像における画素値のサンプリングピッチが異なり、かつ画像のエッジを保存して高周波数成分を抑圧する複数のフィルタリングを繰り返して実行されることを特徴とする請求項６に記載の画像処理方法。
【請求項８】前記非線型のフィルタリング処理は、連続する画素を所定ピッチによりサンプリングして実行されることを特徴とする請求項６に記載の画像処理方法。
【請求項９】前記非線型のフィルタリング処理は、処理対象の画素を基準とした所定範囲の画素について、該画素の画素値の低周波数成分を近似する所定の近似関数を生成する近似関数生成の処理と、前記近似関数を基準にして、前記低周波数成分に対応する領域を設定する領域設定の処理と、前記処理対象の画素を基準とした所定範囲の画素のそれぞれについて、画素値が前記領域に属するか否か判定し、該判定結果に応じて前記近似関数による対応する画素値に、該判定に係る画素値を選択的に置き換える画素値の置き換え処理と、前記画素値の置き換え処理による画素値を重み付け加算する重み付け加算の処理とを有することを特徴とする請求項６に記載の画像処理方法。
【請求項１０】前記平滑化処理の出力値に対する前記ゲイン補正係数の特性が単調減少特性であることを特徴とする請求項２に記載の画像処理方法。
【請求項１１】前記ノイズ除去処理が、コアリング処理であることを特徴とする請求項５に記載の画像処理方法。
【請求項１２】前記ノイズ除去処理が、メディアンフィルタによる処理であることを特徴とする請求項５に記載の画像処理方法。
【請求項１３】前記ノイズ除去処理が、処理対象の画素を基準とした所定範囲の画素について、前記処理対象の画素の画素値を基準にした判定に応じて、該判定に係る画素値を選択的に置き換える画素値の置き換え処理と、前記画素値の置き換え処理による画素値を重み付け加算する重み付け加算の処理とを有することを特徴とする請求項６に記載の画像処理方法。
【請求項１４】前記入力画像の輝度信号成分により前記入力画像の色差信号成分を事前に正規化し、前記輝度信号成分による画素値を前記平滑化処理及び前記画素値補正処理に供給する正規化処理と、前記画素値補正処理された輝度信号成分による画素値により、前記正規化処理された色差信号成分の画素値を補正する色差信号補正処理とを有することを特徴とする請求項２に記載の画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図６】
【図９】
【図１５】
【図１６】
【図５】
【図７】
【図１０】
【図１１】
【図１３】
【図８】
【図１２】
【図１４】
【図１７】
【図１８】
【図２】
【図３】
【図４】
【図６】
【図９】
【図１５】
【図１６】
【図５】
【図７】
【図１０】
【図１１】
【図１３】
【図８】
【図１２】
【図１４】
【図１７】
【図１８】
【公開番号】特開２００１−２７５０１５（Ｐ２００１−２７５０１５Ａ）
【公開日】平成１３年１０月５日（２００１．１０．５）
【国際特許分類】
【出願番号】特願２０００−８７０５３（Ｐ２０００−８７０５３）
【出願日】平成１２年３月２３日（２０００．３．２３）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成１３年１０月５日（２００１．１０．５）
【国際特許分類】
【出願日】平成１２年３月２３日（２０００．３．２３）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]