画像処理装置、画像処理方法、及び撮像装置
【課題】カラー画像を入力画像として採用した場合であっても、大規模なローパスフィルタを用いずに照明成分を精度良く抽出する。
【解決手段】照明成分抽出部６１は、ローパスフィルタを用いたフィルタ処理を実行した後、ダウンサンプリングを実行する平滑処理を複数回実行して入力画像Ｖから解像度の異なる複数の平滑画像を生成し、低解像度側の平滑画像のエッジ部分を上層の高解像度側の平滑画像で置き換えながらアップサンプリングする逆平滑処理を複数回実行することでカラー画像である入力画像Ｖから照明成分Ｌを抽出する。
【解決手段】照明成分抽出部６１は、ローパスフィルタを用いたフィルタ処理を実行した後、ダウンサンプリングを実行する平滑処理を複数回実行して入力画像Ｖから解像度の異なる複数の平滑画像を生成し、低解像度側の平滑画像のエッジ部分を上層の高解像度側の平滑画像で置き換えながらアップサンプリングする逆平滑処理を複数回実行することでカラー画像である入力画像Ｖから照明成分Ｌを抽出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力画像のダイナミックレンジを圧縮する画像処理の技術に関するものである。
【背景技術】
【０００２】
特許文献１には、規模の大きなフィルタを用いなくても、規模の大きなフィルタを用いた場合と同様の平滑化処理を実現することを目的として（段落［００７６］）、入力画像から平滑化の度合いの異なる複数の平滑化画像を生成し、これら複数の平滑化画像からエッジ強度を算出し、算出したエッジ強度に基づいて、複数の平滑化画像を合成することで入力画像から照明成分を抽出する技術が開示されている（段落［００４２］）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−８８９８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１の手法では、各画素で異なる分光感度を有するカラー画像を取り扱うことに関して何らの考慮もなされていないため、このようなカラー画像から精度良く照明成分を抽出することができない可能性がある。
【０００５】
本発明の目的は、カラー画像を入力画像として採用した場合であっても、大規模なローパスフィルタを用いずに照明成分を精度良く抽出することができる画像処理装置、画像処理方法、及び撮像装置を提供することである。
【課題を解決するための手段】
【０００６】
本発明による画像処理装置は、入力画像から照明成分を抽出する照明成分抽出手段と、前記照明成分抽出手段により抽出された照明成分と前記入力画像とを基に、反射率成分を抽出する反射率成分抽出手段と、前記照明成分抽出手段により抽出された照明成分のダイナミックレンジを圧縮する圧縮手段と、前記圧縮手段によりダイナミックレンジが圧縮された照明成分と、前記反射率成分抽出手段により抽出された反射率成分とを合成する合成手段とを備え、前記照明成分抽出手段は、二次元のローパスフィルタを用いたフィルタ処理を実行した後、ダウンサンプリングを実行する平滑処理を複数回実行して前記入力画像から解像度の異なる複数の平滑画像を生成し、低解像度側の平滑画像のエッジ部分を上層の高解像度側の平滑画像で置き換えながらアップサンプリングする逆平滑処理を複数回実行することで前記入力画像から照明成分を抽出し、前記入力画像は、カラー画像であり、前記ダウンサンプリングの比率と前記アップサンプリングの比率とが同じであり、且つ、前記平滑処理の回数と前記逆平滑処理の回数とが同じであり、前記圧縮手段は、圧縮特性として、圧縮前の照明成分が増大するにつれて、圧縮後の照明成分の変化率が連続的に小さくなるように圧縮後の照明成分が増大する特性を有していることを特徴とする。
【０００７】
この構成によれば、各画素で異なる分光感度を有するカラー画像が入力画像とされ、この入力画像に対して、所定サイズのローパスフィルタを用いた平滑処理が複数回実行され入力画像から解像度の異なる複数の平滑画像が生成され、低解像度側の平滑画像のエッジ部分が上層の高解像度側の平滑画像で置き換えながらアップサンプリングする逆平滑処理が複数回実行されることで入力画像から照明成分が抽出されるため、大規模なローパスフィルタを用いなくてもカラー画像から照明成分を精度良く抽出することができる。
【０００８】
また、前記ローパスフィルタのサイズが５×５画素以下であることが好ましい。
【０００９】
また、前記カラー画像は、ＲＧＢベイヤー配列の画像であることが好ましい。この構成によれば、ＲＧＢベイヤー配列の画像から精度良く照明成分を抽出することができる。
【００１０】
また、前記カラー画像は、補色フィルタ配列の画像であることが好ましい。この構成によれば、補色フィルタ配列の画像から精度良く照明成分を抽出することができる。
【００１１】
また、前記照明成分抽出部は、２ｎ（ｎは正の整数）：１の比率でダウンサンプリングすることが好ましい。この構成によれば、２ｎ：１の比率でダウンサンプリングされているため、注目画素が水平及び垂直方向において２ｎ毎に設定されることとなり、ＲＧＢベイヤー配列の画像又は補色フィルタ配列の画像の色の配列パターンの周期性より、注目画素として常に同じ色の画素が設定されると共に、注目画素に対する近傍画素の色の配列パターンが常に一定になる結果、各色に対するフィルタ係数の和が一定となり、より精度良く照明成分を抽出することができる。
【００１２】
また、前記ローパスフィルタは、各色のフィルタ係数の和が一定となるように各フィルタ係数が定められていることが好ましい。
【００１３】
この構成によれば、ローパスフィルタは、各色のフィルタ係数の和が一定となるようにフィルタ係数が定められているため、ダウンサンプリングの比率としてどのような比率を採用しても精度良く照明成分を抽出することができる。
【００１４】
また、前記照明成分抽出手段は、注目画素の色に対応するローパスフィルタを用いたフィルタ処理を実行することが好ましい。
【００１５】
この構成によれば、注目画素の色に応じて種類の異なるローパスフィルタが用いられているため、ダウンサンプリングの比率としてどのような比率を採用しても精度良く照明成分を抽出することができる。
【発明の効果】
【００１６】
本発明によれば、カラー画像を入力画像として採用した場合であっても、大規模なローパスフィルタを用いずに照明成分を精度良く抽出することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の実施の形態１による撮像装置のブロック図を示している。
【図２】図１に示す画像処理部の構成を示すブロック図である。
【図３】図２に示す圧縮部が用いる圧縮特性を示したグラフである。
【図４】照明成分のダイナミックレンジを圧縮することの効果を説明する模式図である。
【図５】図２に示す照明成分抽出部の詳細な構成を示すブロック図である。
【図６】図５に示すＬＰＦ部による処理を説明する模式図である。
【図７】図５に示すダウン部の処理を示す模式図である。
【図８】アップサンプリングを説明する図である。
【図９】図５に示すエッジ部による処理を説明するための図である。
【図１０】実施の形態２による平滑部によるダウンサンプリングを説明するための図である。
【図１１】処理対象となる補色フィルタ配列の画像を示した図である。
【図１２】処理対象となるＲＧＢベイヤー配列の画像を示している。
【発明を実施するための形態】
【００１８】
（実施の形態１）
以下、本発明の実施の形態１による撮像装置について説明する。図１は、本発明の実施の形態１による撮像装置のブロック図を示している。図１に示すように撮像装置１は、デジタルカメラから構成され、レンズ部２、撮像センサ３、アンプ４、Ａ／Ｄ変換部５、画像処理部６（画像処理装置の一例）、画像メモリ７、制御部８、モニタ部９及び操作部１０を備えている。
【００１９】
レンズ部２は、被写体の光像を取り込み、撮像センサ３へ導く光学レンズ系から構成される。光学レンズ系としては、被写体の光像の光軸ＬＺに沿って直列的に配置される例え
ばズームレンズやフォーカスレンズ、その他の固定レンズブロック等を採用することができる。また、レンズ部２は、透過光量を調節するための絞り（図略）、シャッタ（図略）等を備え、制御部８の制御の下、絞り及びシャッタの駆動が制御される。
【００２０】
撮像センサ３は、レンズ部２において結像された光像を光電変換して、光量に応じたレベルを有する各色成分の画像信号を生成し、アンプ４へ出力する。ここで、撮像センサ３としては、ＣＭＯＳイメージセンサ、ＶＭＩＳイメージセンサ、及びＣＣＤイメージセンサ等の種々の撮像センサを採用することができる。
【００２１】
アンプ４は、例えばＡＧＣ（オートゲインコントロール）回路、及びＣＤＳ（相関二重サンプリング）回路等を含み、撮像センサ３から出力された画像信号を増幅する。Ａ／Ｄ変換部５は、アンプ４により増幅された画像信号をデジタルの画像データに変換する。本実施の形態では、撮像センサ３の各画素で受光された画像信号は、例えば１２ビットの階調値を有する画像データに変換される。
【００２２】
画像処理部６は、Ａ／Ｄ変換部５から出力された画像データに対し、ＦＰＮ補正、黒基準補正、ホワイトバランス補正等の種々の画像処理を実行する他、図５で説明する後述の画像処理を実行する。以下、画像処理部６に入力された画像データを入力画像と称して説明する。画像メモリ７は、例えばＲＡＭ（Random Access Memory）から構成され、画像処理部６で画像処理が施された画像データ等を保存する。
【００２３】
制御部８は、各種制御プログラム等を記憶するＲＯＭ、一時的にデータを格納するＲＡＭ及び制御プログラム等をＲＯＭから読み出して実行する中央演算処理装置（ＣＰＵ）等からなり、撮像装置１全体の動作制御を司る。
【００２４】
モニタ部９は、例えば撮像装置１のハウジングの背面に配設されたカラー液晶表示器が採用され、撮像センサ３で撮影された画像或いは画像メモリ７に保存されていた画像等をモニタ表示する。
【００２５】
操作部１０は、電源スイッチ、レリーズスイッチ、各種撮影モードを設定するモード設定スイッチ、メニュー選択スイッチ等の各種の操作スイッチ群等を含む。レリーズスイッチが押されることで、撮像動作、すなわち撮像センサ３により被写体が撮像され、この撮像により得られた画像データに対して所要の画像処理が施され、画像メモリ７等に記録されるといった一連の撮影動作が実行される。なお、画像メモリ７等に記憶せず、画像処理部６からデジタル信号として出力したり、Ｄ／Ａ変換してＮＴＳＣ等のアナログ信号として出力したりして一連の撮像動作を終えてもよい。
【００２６】
図２は、図１に示す画像処理部６の構成を示すブロック図である。図２に示すように画像処理部６は、照明成分抽出部６１（照明成分抽出手段の一例）、圧縮部６２（圧縮手段の一例）、反射率成分抽出部６３（反射率成分抽出手段の一例）、及び合成部６４（合成手段の一例）を備えている。
【００２７】
照明成分抽出部６１は、所定サイズのローパスフィルタを用いたフィルタ処理を実行した後、ダウンサンプリングを実行する平滑処理を複数回実行して入力画像Ｖから解像度の異なる複数の平滑画像を生成し、低解像度側の平滑画像のエッジ部分を上層の高解像度側の平滑画像で置き換えながらアップサンプリングする逆平滑処理を複数回実行することで入力画像Ｖから照明成分Ｌを抽出する。この照明成分抽出部６１の処理の詳細については後述する。
【００２８】
圧縮部６２は、照明成分抽出部６１により抽出された照明成分のダイナミックレンジを
所定の圧縮特性を用いて圧縮する。図３は、圧縮部６２が用いる圧縮特性を示したグラフであり、縦軸は圧縮された照明成分Ｌ´を示し、横軸は圧縮される前の照明成分Ｌを示している。図３に示すように、圧縮特性は、照明成分Ｌが増大するにつれて、傾きが緩やかになるような放物線を描いて照明成分Ｌ´が増大する特性を有している。具体的には、圧縮部６２は、照明成分Ｌの各値と、照明成分Ｌの各値に対する圧縮後の照明成分Ｌ´の各値との関係を予め関連付けて記憶するルックアップテーブルを備え、このルックアップテーブルを用いて、各画素の照明成分Ｌに対する圧縮後の照明成分Ｌ´を特定する。なお、圧縮部６２は、ルックアップテーブルに代えて、図３に示す圧縮特性を示す関数を用いて照明成分Ｌを圧縮してもよい。
【００２９】
反射率成分抽出部６３は、入力画像Ｖを照明成分抽出部６１により抽出された照明成分Ｌで除すことで反射率成分Ｒを抽出する。入力画像Ｖは照明成分Ｌと反射率成分Ｒとの積、すなわち、Ｖ＝Ｒ＊Ｌによって表されるため（Ｒｅｔｉｎｅｘ理論）、Ｒ＝Ｖ／Ｌにより反射率成分Ｒを抽出することができる。
【００３０】
合成部６４は、照明成分Ｌ´に反射率成分Ｒを乗じる、すなわち、Ｖ´＝Ｒ＊Ｌ´の演算を行うことで出力画像Ｖ´を生成する。図４は、照明成分Ｌのダイナミックレンジを圧縮することの効果を説明する模式図であり、（ａ）の上段は反射率成分を示し、（ａ）の下段は照明成分を示し、（ｂ）の上段は照明成分を圧縮しなかった場合の出力画像を示し、（ｂ）の下段は照明成分を圧縮した場合の出力画像を示している。なお、図４（ａ），（ｂ）において、縦方向は１枚の画像を構成するある数個の画素の値を示している。
【００３１】
図４（ａ）に示すように照明成分は反射率成分に比べ、値が大きく変化し、かつ、同じ値を有する領域が広範囲に分布する特性を有している。したがって、照明成分を圧縮しない場合、図４（ｂ）の上段に示すように、照明成分の大きな画素は照明成分が支配的となり、反射率成分の特徴が表れず、シーンの特徴を詳細に再現することが困難となる。そこで、照明成分を圧縮した後、反射率成分を乗じて出力画像を生成すると、図４（ｂ）の下段に示すように照明成分が大きな画素において照明成分が支配的とならず、シーンの特徴を詳細に再現すことが可能となる。
【００３２】
図５は、図２に示す照明成分抽出部６１の詳細な構成を示すブロック図である。図５に示すように、照明成分抽出部６１は、３個の平滑部２１〜２３と、３個の逆平滑部３１〜３３とを備える。図５に示す照明成分抽出部６１は、各画素で異なる分光感度を有するカラー画像が入力画像として平滑部２１に入力され、このカラー画像の照明成分を表す輝度画像が出力画像として逆平滑部３１から出力される。
【００３３】
平滑部２１は、フィルタ処理を行うローパスフィルタ部（ＬＰＦ部）２１０と、ｎ（ｎは２以上の整数）：１の比率でダウンサンプリングを行うダウン部２２０とを備え、解像度の異なる複数の平滑画像を生成する。以下の説明では、説明の便宜上、ダウンサンプリングの比率を２：１とするが、これは一例であり、３：１，４：１等の他の比率を採用してもよい。ＬＰＦ部２１０は、入力画像に注目画素を順次設定し、注目画素の周辺隣接画素に重み付け係数（フィルタ係数）を乗算して加算した後、フィルタ係数の加算値で除するというように、所定行×所定列のローパスフィルタを用いたフィルタ処理を実行し、入力画像から低周波画像（低周波成分）を抽出する。ここで、ＬＰＦ部２１０は、１枚の画像の例えば左上の画素から右下の画素に向けてラスタ走査するように順次注目画素を設定する。
【００３４】
ローパスフィルタとしては、５×５、３×３というような比較的サイズの小さなローパスフィルタが採用され、本実施の形態では、３×３のローパスフィルタ、すなわち、ｋ１〜ｋ９の９個のフィルタ係数が３行３列にマトリックス状に配列されたローパスフィルタ
が採用される。
【００３５】
図６は、ＬＰＦ部２１０による処理を説明するための図である。図６に示す各升は入力画像を構成する各画素を示し、Ｄの添え字の１桁目は垂直方向の画素位置を示し、Ｄの添え字の２桁目は水平方向の画素位置を示し、Ｄは画素の値を示している。注目画素が例えばＤ１１に設定されている場合、Ｄ１１のフィルタ処理後の値である、Ｄ１１−ＬＰＦは、Ｄ１１−ＬＰＦ＝（ｋ１＊Ｄ００＋ｋ２＊Ｄ０１＋ｋ３＊Ｄ０２＋ｋ４＊Ｄ１０＋ｋ５＊Ｄ１１＋ｋ６＊Ｄ１２＋ｋ７＊Ｄ２０＋ｋ８＊Ｄ２１＋ｋ９＊Ｄ２２）／Ｋによって算出される。但し、Ｋ＝ｋ１＋ｋ２＋ｋ３＋ｋ４＋ｋ５＋ｋ６＋ｋ７＋ｋ８＋ｋ９である。そして、ＬＰＦ部２１０は、ＬＰＦ−Ｄ１１のフィルタ処理が終了すると、右隣のＤ１２を次の注目画素として設定し、ＬＰＦ−Ｄ１２を算出する。そして、ＬＰＦ部２１０は、このような演算を入力画像の各画素に対して実行し、入力画像から低周波画像を抽出する。
【００３６】
ダウン部２２０は、ＬＰＦ部２１０により抽出された低周波画像を２：１の比率でダウンサンプリングし、水平方向及び垂直方向の画素数が共に１／２個とされた平滑画像を生成する。図７は、ダウン部２２０の処理を示す図であり、（ａ）はダウンサンプリング前の画像を示し、（ｂ）はダウンサンプリング後の画像を示している。図７の場合、２：１でダウンサンプリングされているため、（ａ）に示すダウンサンプリング前の画像から（ｂ）に示すＤ００，Ｄ０２，Ｄ０４，Ｄ２０，Ｄ２２，Ｄ２４，Ｄ４０，Ｄ４２，Ｄ４４が抽出されるというように、ダウンサンプリング前の画像から水平方向に１つ飛ばしで画素が抽出され、垂直方向において画素が１つ飛ばしで画素が抽出され、水平方向及び垂直方向の画素数が共に、１／２に間引かれ、トータルの画素数が１／４に間引かれた平滑画像が生成されていることが分かる。なお、図７の例では、水平方向及び垂直方向共、奇数番目の画素が抽出されていたが、これに限定されず、偶数番目の画素を抽出してもよい。
【００３７】
図５に戻り、平滑部２２，２３は、平滑部２１と同様、ＬＰＦ部２１０及びダウン部２２０を備えている。平滑部２２は、平滑部２１で生成された平滑画像Ｄ１に対して、平滑部２１と同様の処理を行って平滑画像Ｄ２を生成して平滑部２３に出力し、平滑部２３は、平滑部２２で生成された平滑画像Ｄ２に対して、平滑部２１と同様の処理を行って平滑画像Ｄ３を生成し、逆平滑部３３に出力する。以上、平滑部２１〜２３の処理により、平滑処理が階層的に３回実行され、入力画像から解像度の異なる３つの平滑画像Ｄ１〜Ｄ３が生成される。
【００３８】
逆平滑部３３は、１：２の比率でアップサンプリングを行うアップ部３１０と、エッジ強度算出処理を行うエッジ処理部３２０と、合成処理を行う合成部３３０とを備え、逆平滑処理を実行する。
【００３９】
アップ部３１０は、平滑画像Ｄ３を１：２の比率で隣接画素を用いたアップサンプリングを行い、平滑画像Ｄ３の画素数を平滑部２３により処理される前の画素数に戻す。図８はアップサンプリングを説明する図であり、（ａ）はアップサンプリング前の画像を示し、（ｂ）はアップサンプリング後の画像を示す。図８の場合、１：２にアップサンプリングがなされているため、（ａ）に示すアップサンプリング前の画像は、（ｂ）に示すようにＤ００の右、下、斜め右下に隣接する３個の画素であるＤ０１，Ｄ１０，Ｄ１１がＤ００の値によって補間され、Ｄ０２の右、下、斜め右下に隣接する３個の画素であるＤ０３，Ｄ１２，Ｄ１３がＤ０２の値によって補間されるというようにして、ある１つの画素に隣接する３個の画素が当該１つの画素の値によって補間されていることが分かる。具体的には、Ｄ００＝Ｄ００、Ｄ０１＝Ｄ００、Ｄ１０＝Ｄ００、Ｄ１１＝Ｄ００、Ｄ０２＝Ｄ０２、Ｄ０３＝Ｄ０２、Ｄ１２＝Ｄ０２、Ｄ１３＝Ｄ０２と補間される。これにより、（ａ）に示すアップサンプリング前の画像は、水平方向及び垂直方向が共に、１画素ずつ補
間され、（ｂ）に示すように４倍の画像サイズにされる。
【００４０】
なお、アップ部３１０によるアップサンプリングは、上記の手法に限定されず、種々の手法を採用することが可能であり、例えば、アップサンプリング前の画像を周辺画像としてバイリニアによる補間処理を採用してもよい。
【００４１】
エッジ処理部３２０は、アップ部３１０によりアップサンプリングされた画像Ｄ３´に、所定サイズのエッジ抽出フィルタを用いたフィルタ処理を行い、画像Ｄ３´のエッジ強度を算出する。ここで、エッジ処理部３２０は、水平エッジの強度を求める水平エッジフィルタと、垂直エッジの強度を求める垂直エッジフィルタとを用いて、画像Ｄ３´の水平エッジ強度と垂直エッジ強度とを算出する。水平エッジフィルタ及び垂直エッジフィルタのサイズとしては、処理の高速化の観点から、比較的小サイズであることが好ましく、本実施の形態では３×３を採用することができる。
【００４２】
図９は、エッジ処理部３２０による処理を説明するための図である。エッジ処理部３２０は、図９に示すような画像が画像Ｄ３´として入力されると、例えば左上の画素から右下の画素に向けてラスタ走査するように順次注目画素を設定し、画像Ｄ３´の水平エッジ強度と垂直エッジ強度とを算出する。
【００４３】
図９において、Ｄ１１が注目画素として設定されている場合、Ｄ１１の水平エッジ強度であるＤ１１−ｅｄｇｅＨは、８近傍画素を用いて、Ｄ１１−ｅｄｇｅ＝（ｋ１＊Ｄ００＋ｋ２＊Ｄ０１＋ｋ３＊Ｄ０２＋ｋ４＊Ｄ１０＋ｋ５＊Ｄ１１＋ｋ６＊Ｄ１２＋ｋ７＊Ｄ２０＋ｋ８＊Ｄ２１＋ｋ９＊Ｄ２２）／Ｋによって算出される。但し、ｋ１＝−１、ｋ２＝−１、ｋ３＝−１、ｋ４＝０、ｋ５＝０、ｋ６＝０、ｋ７＝１、ｋ８＝１、ｋ９＝１、かつ、Ｋ＝ｋ１＋ｋ２＋ｋ３＋ｋ４＋ｋ５＋ｋ６＋ｋ７＋ｋ８＋ｋ９である。その他の画素についても同様に水平エッジ強度が算出される。
【００４４】
また、同様に、垂直エッジ強度であるＤ１１−ｅｄｇｅＶは、８近傍画素を用いて、Ｄ１１−ｅｄｇｅＶ＝（ｋ１＊Ｄ００＋ｋ２＊Ｄ０１＋ｋ３＊Ｄ０２＋ｋ４＊Ｄ１０＋ｋ５＊Ｄ１１＋ｋ６＊Ｄ１２＋ｋ７＊Ｄ２０＋ｋ８＊Ｄ２１＋ｋ９＊Ｄ２２）／Ｋによって算出される。但し、ｋ１＝−１、ｋ２＝０、ｋ３＝１、ｋ４＝−１、ｋ５＝０、ｋ６＝１、ｋ７＝−１、ｋ８＝０、ｋ９＝１、かつ、Ｋ＝ｋ１＋ｋ２＋ｋ３＋ｋ４＋ｋ５＋ｋ６＋ｋ７＋ｋ８＋ｋ９である。なお、上記ｋ１〜ｋ９は一例であり異なる値を適宜採用してもよい。その他の画素についても同様に垂直エッジ強度が算出される。
【００４５】
図５に戻り、合成部３３０は、画像Ｄ３´においてエッジ強度が所定の閾値以上の画素は、上層の平滑画像Ｄ２の画素を採用し、画像Ｄ３´においてエッジ強度が所定の閾値未満の画素は画像Ｄ３´の画素を採用するというようにして、画像Ｄ３´と上層の平滑画像Ｄ２とを合成して逆平滑画像Ｄ２´を生成する。
【００４６】
具体的には、合成部３３０は、水平エッジ強度の閾値をＴｈＨ、垂直エッジ強度の閾値をＴｈＶとし、画像Ｄ３´の水平及び垂直エッジ強度をＥＨ３及びＥＶ３とすると、ＥＨ３＜ＴｈＨ、かつ、ＥＶ３＜ＴｈＶの場合、Ｄ２´＝Ｄ３´とし、その他の場合、Ｄ２´＝Ｄ２とする。これにより、エッジ部分を保存しつつ低周波成分を抽出することが可能となり、大サイズのローパスフィルタを用いなくても照明成分を精度良く抽出することが可能となる。
【００４７】
ここで、合成部３３０による合成処理は上記の例に限定されず、例えば、水平エッジ強度及び垂直エッジ強度に応じた重み付け係数ｄ（０≦ｄ≦１）を予め定めておき、Ｄ２´＝ｄ＊Ｄ２＋Ｄ３´＊（１−ｄ）により合成処理を行っても良い。
【００４８】
逆平滑部３１，３２は、逆平滑部３３と同様、アップ部３１０、エッジ処理部３２０、及び合成部３３０を備えている。逆平滑部３２は、逆平滑部３３で生成された逆平滑画像Ｄ２´に対して、逆平滑部３３と同様の処理を行って逆平滑画像Ｄ１´を生成し、逆平滑部３１に出力し、逆平滑部３１は、逆平滑部３２から出力された逆平滑画像Ｄ１´に対して、逆平滑部３３と同様の処理を行い、出力画像である照明成分を生成する。
【００４９】
なお、図５においては、逆平滑部３２のアップ部３１０によりアップサンプリングされた画像は、Ｄ２´´とされ、逆平滑部３１のアップ部３１０によりアップサンプリングされた画像は、Ｄ１´´とされている。また、平滑部２３のダウン部２２０及び逆平滑部３３のアップ部３１０を省略してもよい。
【００５０】
次に、画像処理部６の動作について説明する。なお、以下の説明では、平滑部２１〜２３は、それぞれｎ（ｎは２以上の整数）：１の比率でダウンサンプリングし、逆平滑部３１〜３３は、それぞれ１：ｎの比率でアップサンプリングする。入力画像は、図５に示す平滑部２１によって画素数が１／ｎ２になるように平滑化されて平滑画像Ｄ１とされ、平滑画像Ｄ１は平滑部２２によって画素数が１／ｎ２になるように平滑化されて平滑画像Ｄ２とされ、平滑画像Ｄ２は平滑部２３によって画素数が１／ｎ２になるように平滑化されて平滑画像Ｄ３とされる。次に、平滑画像Ｄ３は、逆平滑部３３によって画素数がｎ２倍になるように逆平滑化されて逆平滑画像Ｄ２´とされ、逆平滑画像Ｄ２´は、逆平滑部３２によって画素数がｎ２倍になるように逆平滑化されて逆平滑画像Ｄ１´とされ、逆平滑画像Ｄ１´は、逆平滑部３１によって画素数がｎ２倍になるように逆平滑化され、照明成分が出力される。
【００５１】
このように、実施の形態１による画像処理装置によれば、比較的小さなサイズのローパスフィルタによる平滑処理の繰り返しにより、入力画像から広帯域の平滑画像が抽出された後、逆平滑処理の繰り返しにより、照明成分が抽出される結果、大サイズのローパスフィルタを用いなくても、エッジ部分が保持された広帯域の低周波成分を抽出することが可能となり、照明成分を精度良く抽出することができる。
【００５２】
なお、実施の形態１において、平滑部２１〜２３のダウンサンプリングの比率を各々ｎ：１としたが、これに限定されず、各々異なる比率にしてもよい。この場合、逆平滑部３１〜３３の各々のアップサンプリングの比率を平滑部２１〜２３の各々のアップサンプリングの比率と同じ比率にすることが好ましい。
【００５３】
また、実施の形態１では、平滑部の個数を３個としたが、これに限定されず、２個、又は４個以上としてもよい。この場合、逆平滑部の個数と平滑部の個数とを同一にすればよい。
【００５４】
（実施の形態２）
次に、本発明の実施の形態２による撮像装置ついて説明する。実施の形態２による撮像装置は、平滑処理のダウンサンプリングの比率を２ｎ：１にしたことを特徴とする。なお、本実施の形態において、実施の形態１と同一のものは同一の符号を付して説明を省略する。また、撮像装置の全体構成、画像処理部６の構成、及び照明成分抽出部６１の構成は、実施の形態１と同一であるため、図１，図２，図５を用いて説明する。
【００５５】
図１０は、実施の形態２による平滑部２１によるダウンサンプリングを説明するための図であり、（ａ）はダウンサンプリング前の画像を示し、（ｂ）はダウンサンプリング後の画像を示す。図１０（ａ）に示す画像は、ＲＧＢベイヤー配列の画像であり、Ｒ（赤）、Ｇ（緑）、Ｂ（青）は、各画素の色を示している。
【００５６】
図１０（ａ）に示すように、Ｒの画素は、１行１列目、１行３列目、３行１列目、３行３列目というように水平及び垂直方向が共に１画素飛ばしで配列されていることが分かる。また、Ｂ及びＧの画素もＲの画素と同様に水平及び垂直方向が共に１画素飛ばしで配列されていることが分かる。更に、Ｂの画素を注目画素とした場合、左上、右上、左下、右下の４つの画素が共にＲであり、残りの４つの画素が共にＧとなっており、８近傍画素の色が一定のパターンで配列されていることが分かる。また、Ｒ及びＧの画素を注目画素とした場合もＢの場合と同様、８近傍画素の色が一定のパターンで配列されていることが分かる。
【００５７】
以上のことから、ダウンサンプリングの比率を２ｎ：１とすると、常に同じ色の画素が注目画素として設定されることになり、また、注目画素が同色である場合、注目画素の８近傍画素の色のパターンは常に一定になるため、各色に対するフィルタ係数の和が常に一定となり、高精度のフィルタ処理を実現することが可能となる。
【００５８】
例えば、図１０（ａ）の画像に対し、２：１の比率でダウンサンプリングを行うと、注目画素としてＢ１１が設定された場合、図１０（ｂ）に示すＤ００が、Ｄ００＝（ｋ１＊Ｒ００＋ｋ２＊Ｇ０１＋ｋ３＊Ｒ０２＋ｋ４＊Ｇ１０＋ｋ５＊Ｂ１１＋ｋ６＊Ｇ１２＋ｋ７＊Ｒ２０＋ｋ８＊Ｇ２１＋ｋ９＊Ｒ２２）／Ｋによって算出される。但し、Ｋ＝ｋ１＋ｋ２＋ｋ３＋ｋ４＋ｋ５＋ｋ６＋ｋ７＋ｋ８＋ｋ９である。
【００５９】
また、注目画素としてＢ１３が設定されると、図１０（ｂ）に示すＤ０２は、Ｄ０２＝（ｋ１＊Ｒ０２＋ｋ２＊Ｇ０３＋ｋ３＊Ｒ０４＋ｋ４＊Ｇ１２＋ｋ５＊Ｂ１３＋ｋ６＊Ｇ１４＋ｋ７＊Ｒ２２＋ｋ８＊Ｇ２３＋ｋ９＊Ｒ２４）／Ｋによって算出される。
【００６０】
従って、２：１の比率でダウンサンプリングを行うと、注目画素の色は常にＢとなり、ｋ１，ｋ３，ｋ７，ｋ９のフィルタ係数は常にＲの画素に対応し、ｋ２，ｋ４，ｋ６，ｋ８のフィルタ係数は常にＧの画素に対応することになり、各色のフィルタ係数の和が一定になっていることが分かる。
【００６１】
また、図１０（ａ）の画像に対し、４：１の比率でダウンサンプリングを行うと、注目画素としてＢ３３が設定された場合、図１０（ｂ）に示すＤ００が、Ｄ００＝（ｋ１＊Ｒ２２＋ｋ２＊Ｇ２３＋ｋ３＊Ｒ２４＋ｋ４＊Ｇ３２＋ｋ５＊Ｂ３３＋ｋ６＊Ｇ３４＋ｋ７＊Ｒ４２＋ｋ８＊Ｇ４３＋ｋ９＊Ｒ４４）／Ｋによって算出される。
【００６２】
また、注目画素としてＢ３７が設定され、図１０（ｂ）に示すＤ０２が、Ｄ０２＝（ｋ１＊Ｒ２６＋ｋ２＊Ｇ２７＋ｋ３＊Ｒ２８＋ｋ４＊Ｇ３６＋ｋ５＊Ｂ３７＋ｋ６＊Ｇ３８＋ｋ７＊Ｒ４６＋ｋ８＊Ｇ４７＋ｋ９＊Ｒ４８）／Ｋによって算出される。
【００６３】
従って、４：１の比率でダウンサンプリングを行うと、注目画素の色は常にＢとなり、ｋ１，ｋ３，ｋ７，ｋ９のフィルタ係数は常にＲの画素に対応し、ｋ２，ｋ４，ｋ６，ｋ８のフィルタ係数は常にＧの画素に対応することになり、各色のフィルタ係数の和が一定になっていることが分かる。
【００６４】
このように、実施の形態２による撮像装置によれば、ダウンサンプリングの比率を２ｎ：１とすることで、常に、注目画素は同一色となり、各色のフィルタ係数の和が一定になるため、ＲＧＢベイヤー配列の画像から精度良く照明成分を抽出することができる。
【００６５】
なお、上述した処理はＲＧＢベイヤー配列の画像のみならず、例えば補色フィルタ配列の画像のように、各注目画素に対する近傍画素の色の配列が同一のパターンの画像であれ
ばどのような画像に対しても適用することが可能である。
【００６６】
図１１は、処理対象となる補色フィルタ配列の画像を示している。比率を２：１として、図１１に示す画像にダウンサンプリングを実行すると、ＲＧＢベイヤー配列の画像と同様、常に同じ色（例えば、Ｍｇ：マゼンタ）の画素が注目画素として設定され、また、ローパスフィルタのサイズを３×３とすると、ｋ１，ｋ３，ｋ７，ｋ９がＣｙ（シアン）の画素に対応し、ｋ２，ｋ８がＹｅ（イエロー）の画素に対応し、ｋ４，ｋ６がＧ（グリーン）の画素に対応することになり、各色のフィルタ係数の和が一定になることが分かる。
【００６７】
なお、上記説明では、ＲＧＢベイヤー配列においてはＢを注目画素として設定し、補色フィルタ配列の画像においては、Ｍｇを注目画素として設定したが、これは一例であり、他の色を注目画素として設定しても、ダウンサンプリングの比率を２ｎ：１とすることで、同様の効果を得ることができる。また、ローパスフィルタのサイズとして、５×５というような３×３以外のサイズを採用した場合においても、同様の効果を得ることができる。
【００６８】
（実施の形態３）
次に、本発明の実施の形態３による撮像装置ついて説明する。実施の形態３による撮像装置は、ローパスフィルタの係数が実施の形態１，２のものと相違する点を特徴としている。
【００６９】
なお、本実施の形態において、実施の形態１と同一のものは同一の符号を付して説明を省略する。また、撮像装置の全体構成、画像処理部６の構成、及び照明成分抽出部６１の構成は、実施の形態１と同一であるため、図１，図２，図５を用いて説明する。
【００７０】
図５に示す各ＬＰＦ部２１０は、注目画素の色に応じた種類のローパスフィルタを用いてフィルタ処理を行う。本実施の形態において、入力画像としては、ＲＧＢベイヤー配列の画像が使用されるため、ＬＰＦ部２１０は、注目画素がＲの場合は、Ｒのローパスフィルタを使用し、注目画素がＧの場合は、Ｇのローパスフィルタを使用し、注目画素がＢの場合は、Ｂのローパスフィルタを使用する。ここで、Ｒ，Ｇ，Ｂのローパスフィルタは、サイズが３×３であり、フィルタ係数を各々ｋ１〜ｋ９、ｋ１´〜ｋ９´、ｋ１´´〜ｋ９´´とする。
【００７１】
図１１は、処理対象となるＲＧＢベイヤー配列の画像を示している。ＬＰＦＰ部２１０は、注目画素がＢ１１である場合、Ｂ１１は青色であるため、Ｂのローパスフィルタを用い、フィルタ処理後の値であるＢ１１−ＬＰＦは、Ｂ１１−ＬＰＦ＝（ｋ１＊Ｒ００＋ｋ２＊Ｇ０１＋ｋ３＊Ｒ０２＋ｋ４＊Ｇ１０＋ｋ５＊Ｂ１１＋ｋ６＊Ｇ１２＋ｋ７＊Ｒ２０＋ｋ８＊Ｇ２１＋ｋ９＊Ｒ２２）／Ｋによって算出される。但し、Ｋ＝ｋ１＋ｋ２＋ｋ３＋ｋ４＋ｋ５＋ｋ６＋ｋ７＋ｋ８＋ｋ９である。
【００７２】
また、ＬＦＰ部２１０は、注目画素がＧ１２の場合、Ｇ１２は緑色であるため、Ｇのローパスフィルタを用い、フィルタ処理後の値であるＧ１２−ＬＰＦは、Ｇ１２−ＬＰＦ＝（ｋ１´＊Ｇ０１＋ｋ２´＊Ｒ０２＋ｋ３´＊Ｇ０３＋ｋ４´＊Ｂ１１＋ｋ５´＊Ｇ１２＋ｋ６´＊Ｂ１３＋ｋ７´＊Ｇ２１＋ｋ８´＊Ｒ２２＋ｋ９´＊Ｇ２３）／Ｋ´によって算出される。但し、Ｋ´＝ｋ１´＋ｋ２´＋ｋ３´＋ｋ４´＋ｋ５´＋ｋ６´＋ｋ７´＋ｋ８´＋ｋ９´である。
【００７３】
また、ＬＦＰ部２１０は、注目画素がＲ２２の場合、Ｒ２２は赤色であるため、Ｒのローパスフィルタを用い、フィルタ処理後の値であるＲ２２−ＬＰＦは、Ｒ２２−ＬＰＦ＝（ｋ１´´＊Ｂ１１＋ｋ２´´＊Ｇ１２＋ｋ３´´＊Ｂ１３＋ｋ４´´＊Ｇ２１＋ｋ５´
´＊Ｒ２２＋ｋ６´´＊Ｇ２３＋ｋ７´´＊Ｂ３１＋ｋ８´´＊Ｇ３２＋ｋ９´´＊Ｂ３３）／Ｋ´´によって算出される。但し、Ｋ´´＝ｋ１´´＋ｋ２´´＋ｋ３´´＋ｋ４´´＋ｋ５´´＋ｋ６´´＋ｋ７´´＋ｋ８´´＋ｋ９´´である。
【００７４】
そして、フィルタ係数ｋ１〜ｋ９、ｋ１´〜ｋ９´、ｋ１´´〜ｋ９´´は、以下の条件を満足する。
【００７５】
Ｂが注目画素となる場合、ＲＧＢベイヤー配列の画像は、ｋ１，ｋ３，ｋ７，ｋ９がＲの画素に対応し、ｋ５がＢの画素に対応し、ｋ２，ｋ４，ｋ６，ｋ８がＧの画素に対応するため、Ｒ，Ｇ，Ｂ毎のフィルタ係数の和であるＫＲ，ＫＧ，ＫＢは、ＫＲ＝ｋ１＋ｋ３＋ｋ７＋ｋ９となり、ＫＧ＝ｋ２＋ｋ４＋ｋ６＋ｋ８となり、ＫＢ＝ｋ５となる。
【００７６】
また、Ｇが注目画素となる場合、ＲＧＢベイヤー配列の画像は、ｋ２´，ｋ８´がＲの画素に対応し、ｋ４´，ｋ６´がＲの画素に対応し、ｋ１´，ｋ３´，ｋ５´，ｋ７´，ｋ９´がＧの画素に対応するため、Ｒ，Ｇ，Ｂ毎のフィルタ係数の和であるＫＲ´，ＫＧ´，ＫＢ´は、ＫＲ´＝ｋ４´＋ｋ６´となり、ＫＧ´＝ｋ１´＋ｋ３´＋ｋ５´＋ｋ７´＋ｋ９´となり、ＫＢ´＝ｋ２´＋ｋ８´となる。
【００７７】
また、Ｒが注目画素となる場合、ＲＧＢベイヤー配列の画像は、ｋ５´´がＲの画素に対応し、ｋ１´´，ｋ３´´，ｋ７´´，ｋ９´´がＢの画素に対応し、ｋ２´´，ｋ４´´，ｋ６´´，ｋ８´´がＧの画素に対応するため、Ｒ，Ｇ，Ｂ毎のフィルタ係数の和であるＫＲ´´，ＫＧ´´，ＫＢ´´は、ＫＲ´´＝ｋ５´´となり、ＫＧ´´＝ｋ２´´＋ｋ４´´＋ｋ６´´＋ｋ８´´となり、ＫＢ´´＝ｋ１´´＋ｋ３´´＋ｋ７´´＋ｋ９´´となる。
【００７８】
そして、ＫＲ，ＫＧ，ＫＢ，ＫＲ´，ＫＧ´，ＫＢ´，ＫＲ´´，ＫＧ´´，ＫＢ´´は、以下の条件を満たす。
ＫＲ／Ｋ＝ＫＲ´／Ｋ´＝ＫＲ´´／Ｋ´´
ＫＧ／Ｋ＝ＫＧ´／Ｋ´＝ＫＧ´´／Ｋ´´
ＫＢ／Ｋ＝ＫＢ´／Ｋ´＝ＫＢ´´／Ｋ´´
【００７９】
これにより、各色のフィルタ係数の比が一定になり、精度良く低周波画像を抽出することができる。また、更に、Ｋ＝Ｋ´＝Ｋ´´としてもよい。これにより、各ローパスフィルタ間で同色のフィルタ係数の和が等しい値になるため、ダウンサンプリングの比率としてどのような比率を採用しても、精度良く低周波画像を抽出することができる。
【００８０】
次に、本実施の形態による撮像装置の動作について説明する。画像処理部６に図１１に示すＲＧＢベイヤー配列の入力画像が入力されると、平滑部２１のＬＰＦ部２１０は、注目画素の色に応じてＲ，Ｇ，Ｂローパスフィルタを切り替ながら順次フィルタ処理実行する。次に、平滑部２１のダウン部２２０は、フィルタ処理された画像をｎ：１の比率でダウンサンプリングし、平滑画像Ｄ１を生成する。
【００８１】
次に、平滑部２２のＬＰＦ部２１０は、平滑部２１で生成された平滑画像Ｄ１に対して、上段のＬＰＦ部２１０と同様のフィルタ処理を実行し、ダウン部２２０は、上段のダウン部２２０と同様に、ｎ：１の比率でダウンサンプリングし、平滑画像Ｄ２を生成する。この場合、平滑部２２のＬＰＦ部２１０は、例えば、平滑部２１において、Ｒのローパスフィルタを用いて算出された画素はＲの画素、Ｇのローパスフィルタを用いて算出された画素はＧの画素、Ｂのローパスフィルタを用いて算出された画素はＢの画素として取り扱い、Ｒ，Ｇ，Ｂのローパスフィルタを適用してフィルタ処理を行えばよい。
【００８２】
次に、平滑部２３は、平滑部２２と同様にしてｎ：１の比率でダウンサンプリングして
平滑画像Ｄ３を生成する。平滑部２３で生成された平滑画像Ｄ３は、逆平滑部３３〜３１により１：ｎのアップサンプリングの比率で順次、逆平滑処理され、照明成分が出力される。
【００８３】
このように実施の形態３による撮像装置によれば、Ｒ，Ｇ，Ｂのローパスフィルタは、各色のフィルタ係数の和が一定、かつ、各ローパスフィルタ間で同色のフィルタ係数の和が等しくなるように各フィルタ係数が定められ、注目画素の色に応じたローパスフィルタを用いてダウンサンプリングが実行されるため、各色に対するフィルタ係数が一定となり、精度良く照明成分を抽出することができる。
【００８４】
なお、上述した処理はＲＧＢベイヤー配列の画像のみならず、例えば補色フィルタ配列の画像のように、各注目画素に対する近傍画素の色の配列が同一のパターンを有する画像であればどのような画像に対しても適用することが可能である。
【００８５】
例えば、入力画像として、図１２に示す補色フィルタ配列の画像を採用した場合は、フィルタ係数が下記の条件を満たすＣｙ，Ｙｅ，Ｍｇ，Ｇ，のローパスフィルタを用意し、注目画素の色に応じて、これらのローパスフィルタを切り換えて適用することで、ＲＧＢベイヤー配列の画像の場合と同様の効果を得ることができる。
【００８６】
ＫＣｙ／Ｋ＝ＫＣｙ´／Ｋ´＝ＫＣｙ´´／Ｋ´´＝ＫＣｙ´´´／Ｋ´´´
ＫＹｅ／Ｋ＝ＫＹｅ´／Ｋ´＝ＫＹｅ´´／Ｋ´´＝ＫＹｅ´´´／Ｋ´´´
ＫＭｇ／Ｋ＝ＫＭｇ´／Ｋ´＝ＫＭｇ´´／Ｋ´´＝ＫＭｇ´´´／Ｋ´´´
ＫＧ／Ｋ＝ＫＧ´／Ｋ´＝ＫＧ´´／Ｋ´´＝ＫＧ´´´／Ｋ´´´
但し、ＫＣｙ，ＫＹｅ，ＫＭｇ，ＫＧは、ＣｙのローパスフィルタにおけるＣｙ，Ｙｅ，Ｍｇ，ＫＧの画素に対応するフィルタ係数の和を示し、ＫＣｙ´，ＫＹｅ´，ＫＭｇ´，ＫＧ´は、ＹｅのローパスフィルタにおけるＣｙ，Ｙｅ，Ｍｇ，ＫＧの画素に対応するフィルタ係数の和を示し、ＫＣｙ´´，ＫＹｅ´´，ＫＭｇ´´，ＫＧ´´は、ＭｇのローパスフィルタにおけるＣｙ，Ｙｅ，Ｍｇ，ＫＧの画素に対応するフィルタ係数の和を示し、ＫＣｙ´´´，ＫＹｅ´´´，ＫＭｇ´´´，ＫＧ´´´は、ＫＧのローパスフィルタにおけるＣｙ，Ｙｅ，Ｍｇ，ＫＧの画素に対応するフィルタ係数の和を示す。また、Ｋ＝Ｋ´＝Ｋ´´＝Ｋ´´´としてもよい。
【００８７】
なお、上記説明では、ローパスフィルタが注目画素の色毎に異なる場合を前提にして説明したが、例えば、フィルタ係数が、ｋ１＝１，ｋ２＝２，ｋ３＝１，ｋ４＝２，ｋ５＝４，ｋ６＝２，ｋ７＝１，ｋ８＝２，ｋ９＝１であるようなローパスフィルタを採用した場合、注目画素の色に応じてローパスフィルタを変更しなくても、各色のフィルタ係数の和が一定となり、上記と同様の効果を得ることができる。
【００８８】
具体的には、このローパスフィルタをＲＧＢベイヤー配列の画像に適用すると、Ｂが注目画素である場合、フィルタ処理後の値は、（４Ｂ＋４Ｒ＋８Ｇ）／１６となる。ここで、Ｒ，Ｇ，Ｂは、ローパスフィルタ内の画像のＲ，Ｇ，Ｂの各々の画素値の総和を示している。また、Ｒが注目画素である場合、フィルタ処理後の値は、（４Ｒ＋４Ｂ＋８Ｇ）／１６となり、Ｇが注目画素である場合、フィルタ処理後の値は、（８Ｇ＋４Ｒ＋４Ｂ）／１６となる。したがって、注目画素の色に応じてローパスフィルタを変更しなくても各色のフィルタ係数の和がＫＲ，ＫＧ，ＫＢ＝４，８，４となり、各色のフィルタ係数の総和が一定となり、ダウンサンプリングの比率としてどのような比率を採用しても、精度良く低周波画像を抽出することができる。また、このローパスフィルタを補色フィルタ配列の画像に適用した場合も、ＫＣｙ，ＫＹｅ，ＫＭｇ，ＫＧ＝４，４，４，４となり、同様の効果を得ることができる。
【符号の説明】
【００８９】
１ 撮像装置
６ 画像処理部
６１ 照明成分抽出部
６２ 圧縮部
６３ 反射率成分抽出部
６４ 合成部
２１，２２，２３ 平滑部
３１，３２，３３ 逆平滑部
２１０ ＬＰＦ部
２２０ ダウン部
３１０ アップ部
３２０ エッジ処理部
３３０ 合成部
Ｄ１´〜Ｄ３´ 逆平滑画像
Ｄ１〜Ｄ３ 平滑画像
【技術分野】
【０００１】
本発明は、入力画像のダイナミックレンジを圧縮する画像処理の技術に関するものである。
【背景技術】
【０００２】
特許文献１には、規模の大きなフィルタを用いなくても、規模の大きなフィルタを用いた場合と同様の平滑化処理を実現することを目的として（段落［００７６］）、入力画像から平滑化の度合いの異なる複数の平滑化画像を生成し、これら複数の平滑化画像からエッジ強度を算出し、算出したエッジ強度に基づいて、複数の平滑化画像を合成することで入力画像から照明成分を抽出する技術が開示されている（段落［００４２］）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−８８９８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１の手法では、各画素で異なる分光感度を有するカラー画像を取り扱うことに関して何らの考慮もなされていないため、このようなカラー画像から精度良く照明成分を抽出することができない可能性がある。
【０００５】
本発明の目的は、カラー画像を入力画像として採用した場合であっても、大規模なローパスフィルタを用いずに照明成分を精度良く抽出することができる画像処理装置、画像処理方法、及び撮像装置を提供することである。
【課題を解決するための手段】
【０００６】
本発明による画像処理装置は、入力画像から照明成分を抽出する照明成分抽出手段と、前記照明成分抽出手段により抽出された照明成分と前記入力画像とを基に、反射率成分を抽出する反射率成分抽出手段と、前記照明成分抽出手段により抽出された照明成分のダイナミックレンジを圧縮する圧縮手段と、前記圧縮手段によりダイナミックレンジが圧縮された照明成分と、前記反射率成分抽出手段により抽出された反射率成分とを合成する合成手段とを備え、前記照明成分抽出手段は、二次元のローパスフィルタを用いたフィルタ処理を実行した後、ダウンサンプリングを実行する平滑処理を複数回実行して前記入力画像から解像度の異なる複数の平滑画像を生成し、低解像度側の平滑画像のエッジ部分を上層の高解像度側の平滑画像で置き換えながらアップサンプリングする逆平滑処理を複数回実行することで前記入力画像から照明成分を抽出し、前記入力画像は、カラー画像であり、前記ダウンサンプリングの比率と前記アップサンプリングの比率とが同じであり、且つ、前記平滑処理の回数と前記逆平滑処理の回数とが同じであり、前記圧縮手段は、圧縮特性として、圧縮前の照明成分が増大するにつれて、圧縮後の照明成分の変化率が連続的に小さくなるように圧縮後の照明成分が増大する特性を有していることを特徴とする。
【０００７】
この構成によれば、各画素で異なる分光感度を有するカラー画像が入力画像とされ、この入力画像に対して、所定サイズのローパスフィルタを用いた平滑処理が複数回実行され入力画像から解像度の異なる複数の平滑画像が生成され、低解像度側の平滑画像のエッジ部分が上層の高解像度側の平滑画像で置き換えながらアップサンプリングする逆平滑処理が複数回実行されることで入力画像から照明成分が抽出されるため、大規模なローパスフィルタを用いなくてもカラー画像から照明成分を精度良く抽出することができる。
【０００８】
また、前記ローパスフィルタのサイズが５×５画素以下であることが好ましい。
【０００９】
また、前記カラー画像は、ＲＧＢベイヤー配列の画像であることが好ましい。この構成によれば、ＲＧＢベイヤー配列の画像から精度良く照明成分を抽出することができる。
【００１０】
また、前記カラー画像は、補色フィルタ配列の画像であることが好ましい。この構成によれば、補色フィルタ配列の画像から精度良く照明成分を抽出することができる。
【００１１】
また、前記照明成分抽出部は、２ｎ（ｎは正の整数）：１の比率でダウンサンプリングすることが好ましい。この構成によれば、２ｎ：１の比率でダウンサンプリングされているため、注目画素が水平及び垂直方向において２ｎ毎に設定されることとなり、ＲＧＢベイヤー配列の画像又は補色フィルタ配列の画像の色の配列パターンの周期性より、注目画素として常に同じ色の画素が設定されると共に、注目画素に対する近傍画素の色の配列パターンが常に一定になる結果、各色に対するフィルタ係数の和が一定となり、より精度良く照明成分を抽出することができる。
【００１２】
また、前記ローパスフィルタは、各色のフィルタ係数の和が一定となるように各フィルタ係数が定められていることが好ましい。
【００１３】
この構成によれば、ローパスフィルタは、各色のフィルタ係数の和が一定となるようにフィルタ係数が定められているため、ダウンサンプリングの比率としてどのような比率を採用しても精度良く照明成分を抽出することができる。
【００１４】
また、前記照明成分抽出手段は、注目画素の色に対応するローパスフィルタを用いたフィルタ処理を実行することが好ましい。
【００１５】
この構成によれば、注目画素の色に応じて種類の異なるローパスフィルタが用いられているため、ダウンサンプリングの比率としてどのような比率を採用しても精度良く照明成分を抽出することができる。
【発明の効果】
【００１６】
本発明によれば、カラー画像を入力画像として採用した場合であっても、大規模なローパスフィルタを用いずに照明成分を精度良く抽出することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の実施の形態１による撮像装置のブロック図を示している。
【図２】図１に示す画像処理部の構成を示すブロック図である。
【図３】図２に示す圧縮部が用いる圧縮特性を示したグラフである。
【図４】照明成分のダイナミックレンジを圧縮することの効果を説明する模式図である。
【図５】図２に示す照明成分抽出部の詳細な構成を示すブロック図である。
【図６】図５に示すＬＰＦ部による処理を説明する模式図である。
【図７】図５に示すダウン部の処理を示す模式図である。
【図８】アップサンプリングを説明する図である。
【図９】図５に示すエッジ部による処理を説明するための図である。
【図１０】実施の形態２による平滑部によるダウンサンプリングを説明するための図である。
【図１１】処理対象となる補色フィルタ配列の画像を示した図である。
【図１２】処理対象となるＲＧＢベイヤー配列の画像を示している。
【発明を実施するための形態】
【００１８】
（実施の形態１）
以下、本発明の実施の形態１による撮像装置について説明する。図１は、本発明の実施の形態１による撮像装置のブロック図を示している。図１に示すように撮像装置１は、デジタルカメラから構成され、レンズ部２、撮像センサ３、アンプ４、Ａ／Ｄ変換部５、画像処理部６（画像処理装置の一例）、画像メモリ７、制御部８、モニタ部９及び操作部１０を備えている。
【００１９】
レンズ部２は、被写体の光像を取り込み、撮像センサ３へ導く光学レンズ系から構成される。光学レンズ系としては、被写体の光像の光軸ＬＺに沿って直列的に配置される例え
ばズームレンズやフォーカスレンズ、その他の固定レンズブロック等を採用することができる。また、レンズ部２は、透過光量を調節するための絞り（図略）、シャッタ（図略）等を備え、制御部８の制御の下、絞り及びシャッタの駆動が制御される。
【００２０】
撮像センサ３は、レンズ部２において結像された光像を光電変換して、光量に応じたレベルを有する各色成分の画像信号を生成し、アンプ４へ出力する。ここで、撮像センサ３としては、ＣＭＯＳイメージセンサ、ＶＭＩＳイメージセンサ、及びＣＣＤイメージセンサ等の種々の撮像センサを採用することができる。
【００２１】
アンプ４は、例えばＡＧＣ（オートゲインコントロール）回路、及びＣＤＳ（相関二重サンプリング）回路等を含み、撮像センサ３から出力された画像信号を増幅する。Ａ／Ｄ変換部５は、アンプ４により増幅された画像信号をデジタルの画像データに変換する。本実施の形態では、撮像センサ３の各画素で受光された画像信号は、例えば１２ビットの階調値を有する画像データに変換される。
【００２２】
画像処理部６は、Ａ／Ｄ変換部５から出力された画像データに対し、ＦＰＮ補正、黒基準補正、ホワイトバランス補正等の種々の画像処理を実行する他、図５で説明する後述の画像処理を実行する。以下、画像処理部６に入力された画像データを入力画像と称して説明する。画像メモリ７は、例えばＲＡＭ（Random Access Memory）から構成され、画像処理部６で画像処理が施された画像データ等を保存する。
【００２３】
制御部８は、各種制御プログラム等を記憶するＲＯＭ、一時的にデータを格納するＲＡＭ及び制御プログラム等をＲＯＭから読み出して実行する中央演算処理装置（ＣＰＵ）等からなり、撮像装置１全体の動作制御を司る。
【００２４】
モニタ部９は、例えば撮像装置１のハウジングの背面に配設されたカラー液晶表示器が採用され、撮像センサ３で撮影された画像或いは画像メモリ７に保存されていた画像等をモニタ表示する。
【００２５】
操作部１０は、電源スイッチ、レリーズスイッチ、各種撮影モードを設定するモード設定スイッチ、メニュー選択スイッチ等の各種の操作スイッチ群等を含む。レリーズスイッチが押されることで、撮像動作、すなわち撮像センサ３により被写体が撮像され、この撮像により得られた画像データに対して所要の画像処理が施され、画像メモリ７等に記録されるといった一連の撮影動作が実行される。なお、画像メモリ７等に記憶せず、画像処理部６からデジタル信号として出力したり、Ｄ／Ａ変換してＮＴＳＣ等のアナログ信号として出力したりして一連の撮像動作を終えてもよい。
【００２６】
図２は、図１に示す画像処理部６の構成を示すブロック図である。図２に示すように画像処理部６は、照明成分抽出部６１（照明成分抽出手段の一例）、圧縮部６２（圧縮手段の一例）、反射率成分抽出部６３（反射率成分抽出手段の一例）、及び合成部６４（合成手段の一例）を備えている。
【００２７】
照明成分抽出部６１は、所定サイズのローパスフィルタを用いたフィルタ処理を実行した後、ダウンサンプリングを実行する平滑処理を複数回実行して入力画像Ｖから解像度の異なる複数の平滑画像を生成し、低解像度側の平滑画像のエッジ部分を上層の高解像度側の平滑画像で置き換えながらアップサンプリングする逆平滑処理を複数回実行することで入力画像Ｖから照明成分Ｌを抽出する。この照明成分抽出部６１の処理の詳細については後述する。
【００２８】
圧縮部６２は、照明成分抽出部６１により抽出された照明成分のダイナミックレンジを
所定の圧縮特性を用いて圧縮する。図３は、圧縮部６２が用いる圧縮特性を示したグラフであり、縦軸は圧縮された照明成分Ｌ´を示し、横軸は圧縮される前の照明成分Ｌを示している。図３に示すように、圧縮特性は、照明成分Ｌが増大するにつれて、傾きが緩やかになるような放物線を描いて照明成分Ｌ´が増大する特性を有している。具体的には、圧縮部６２は、照明成分Ｌの各値と、照明成分Ｌの各値に対する圧縮後の照明成分Ｌ´の各値との関係を予め関連付けて記憶するルックアップテーブルを備え、このルックアップテーブルを用いて、各画素の照明成分Ｌに対する圧縮後の照明成分Ｌ´を特定する。なお、圧縮部６２は、ルックアップテーブルに代えて、図３に示す圧縮特性を示す関数を用いて照明成分Ｌを圧縮してもよい。
【００２９】
反射率成分抽出部６３は、入力画像Ｖを照明成分抽出部６１により抽出された照明成分Ｌで除すことで反射率成分Ｒを抽出する。入力画像Ｖは照明成分Ｌと反射率成分Ｒとの積、すなわち、Ｖ＝Ｒ＊Ｌによって表されるため（Ｒｅｔｉｎｅｘ理論）、Ｒ＝Ｖ／Ｌにより反射率成分Ｒを抽出することができる。
【００３０】
合成部６４は、照明成分Ｌ´に反射率成分Ｒを乗じる、すなわち、Ｖ´＝Ｒ＊Ｌ´の演算を行うことで出力画像Ｖ´を生成する。図４は、照明成分Ｌのダイナミックレンジを圧縮することの効果を説明する模式図であり、（ａ）の上段は反射率成分を示し、（ａ）の下段は照明成分を示し、（ｂ）の上段は照明成分を圧縮しなかった場合の出力画像を示し、（ｂ）の下段は照明成分を圧縮した場合の出力画像を示している。なお、図４（ａ），（ｂ）において、縦方向は１枚の画像を構成するある数個の画素の値を示している。
【００３１】
図４（ａ）に示すように照明成分は反射率成分に比べ、値が大きく変化し、かつ、同じ値を有する領域が広範囲に分布する特性を有している。したがって、照明成分を圧縮しない場合、図４（ｂ）の上段に示すように、照明成分の大きな画素は照明成分が支配的となり、反射率成分の特徴が表れず、シーンの特徴を詳細に再現することが困難となる。そこで、照明成分を圧縮した後、反射率成分を乗じて出力画像を生成すると、図４（ｂ）の下段に示すように照明成分が大きな画素において照明成分が支配的とならず、シーンの特徴を詳細に再現すことが可能となる。
【００３２】
図５は、図２に示す照明成分抽出部６１の詳細な構成を示すブロック図である。図５に示すように、照明成分抽出部６１は、３個の平滑部２１〜２３と、３個の逆平滑部３１〜３３とを備える。図５に示す照明成分抽出部６１は、各画素で異なる分光感度を有するカラー画像が入力画像として平滑部２１に入力され、このカラー画像の照明成分を表す輝度画像が出力画像として逆平滑部３１から出力される。
【００３３】
平滑部２１は、フィルタ処理を行うローパスフィルタ部（ＬＰＦ部）２１０と、ｎ（ｎは２以上の整数）：１の比率でダウンサンプリングを行うダウン部２２０とを備え、解像度の異なる複数の平滑画像を生成する。以下の説明では、説明の便宜上、ダウンサンプリングの比率を２：１とするが、これは一例であり、３：１，４：１等の他の比率を採用してもよい。ＬＰＦ部２１０は、入力画像に注目画素を順次設定し、注目画素の周辺隣接画素に重み付け係数（フィルタ係数）を乗算して加算した後、フィルタ係数の加算値で除するというように、所定行×所定列のローパスフィルタを用いたフィルタ処理を実行し、入力画像から低周波画像（低周波成分）を抽出する。ここで、ＬＰＦ部２１０は、１枚の画像の例えば左上の画素から右下の画素に向けてラスタ走査するように順次注目画素を設定する。
【００３４】
ローパスフィルタとしては、５×５、３×３というような比較的サイズの小さなローパスフィルタが採用され、本実施の形態では、３×３のローパスフィルタ、すなわち、ｋ１〜ｋ９の９個のフィルタ係数が３行３列にマトリックス状に配列されたローパスフィルタ
が採用される。
【００３５】
図６は、ＬＰＦ部２１０による処理を説明するための図である。図６に示す各升は入力画像を構成する各画素を示し、Ｄの添え字の１桁目は垂直方向の画素位置を示し、Ｄの添え字の２桁目は水平方向の画素位置を示し、Ｄは画素の値を示している。注目画素が例えばＤ１１に設定されている場合、Ｄ１１のフィルタ処理後の値である、Ｄ１１−ＬＰＦは、Ｄ１１−ＬＰＦ＝（ｋ１＊Ｄ００＋ｋ２＊Ｄ０１＋ｋ３＊Ｄ０２＋ｋ４＊Ｄ１０＋ｋ５＊Ｄ１１＋ｋ６＊Ｄ１２＋ｋ７＊Ｄ２０＋ｋ８＊Ｄ２１＋ｋ９＊Ｄ２２）／Ｋによって算出される。但し、Ｋ＝ｋ１＋ｋ２＋ｋ３＋ｋ４＋ｋ５＋ｋ６＋ｋ７＋ｋ８＋ｋ９である。そして、ＬＰＦ部２１０は、ＬＰＦ−Ｄ１１のフィルタ処理が終了すると、右隣のＤ１２を次の注目画素として設定し、ＬＰＦ−Ｄ１２を算出する。そして、ＬＰＦ部２１０は、このような演算を入力画像の各画素に対して実行し、入力画像から低周波画像を抽出する。
【００３６】
ダウン部２２０は、ＬＰＦ部２１０により抽出された低周波画像を２：１の比率でダウンサンプリングし、水平方向及び垂直方向の画素数が共に１／２個とされた平滑画像を生成する。図７は、ダウン部２２０の処理を示す図であり、（ａ）はダウンサンプリング前の画像を示し、（ｂ）はダウンサンプリング後の画像を示している。図７の場合、２：１でダウンサンプリングされているため、（ａ）に示すダウンサンプリング前の画像から（ｂ）に示すＤ００，Ｄ０２，Ｄ０４，Ｄ２０，Ｄ２２，Ｄ２４，Ｄ４０，Ｄ４２，Ｄ４４が抽出されるというように、ダウンサンプリング前の画像から水平方向に１つ飛ばしで画素が抽出され、垂直方向において画素が１つ飛ばしで画素が抽出され、水平方向及び垂直方向の画素数が共に、１／２に間引かれ、トータルの画素数が１／４に間引かれた平滑画像が生成されていることが分かる。なお、図７の例では、水平方向及び垂直方向共、奇数番目の画素が抽出されていたが、これに限定されず、偶数番目の画素を抽出してもよい。
【００３７】
図５に戻り、平滑部２２，２３は、平滑部２１と同様、ＬＰＦ部２１０及びダウン部２２０を備えている。平滑部２２は、平滑部２１で生成された平滑画像Ｄ１に対して、平滑部２１と同様の処理を行って平滑画像Ｄ２を生成して平滑部２３に出力し、平滑部２３は、平滑部２２で生成された平滑画像Ｄ２に対して、平滑部２１と同様の処理を行って平滑画像Ｄ３を生成し、逆平滑部３３に出力する。以上、平滑部２１〜２３の処理により、平滑処理が階層的に３回実行され、入力画像から解像度の異なる３つの平滑画像Ｄ１〜Ｄ３が生成される。
【００３８】
逆平滑部３３は、１：２の比率でアップサンプリングを行うアップ部３１０と、エッジ強度算出処理を行うエッジ処理部３２０と、合成処理を行う合成部３３０とを備え、逆平滑処理を実行する。
【００３９】
アップ部３１０は、平滑画像Ｄ３を１：２の比率で隣接画素を用いたアップサンプリングを行い、平滑画像Ｄ３の画素数を平滑部２３により処理される前の画素数に戻す。図８はアップサンプリングを説明する図であり、（ａ）はアップサンプリング前の画像を示し、（ｂ）はアップサンプリング後の画像を示す。図８の場合、１：２にアップサンプリングがなされているため、（ａ）に示すアップサンプリング前の画像は、（ｂ）に示すようにＤ００の右、下、斜め右下に隣接する３個の画素であるＤ０１，Ｄ１０，Ｄ１１がＤ００の値によって補間され、Ｄ０２の右、下、斜め右下に隣接する３個の画素であるＤ０３，Ｄ１２，Ｄ１３がＤ０２の値によって補間されるというようにして、ある１つの画素に隣接する３個の画素が当該１つの画素の値によって補間されていることが分かる。具体的には、Ｄ００＝Ｄ００、Ｄ０１＝Ｄ００、Ｄ１０＝Ｄ００、Ｄ１１＝Ｄ００、Ｄ０２＝Ｄ０２、Ｄ０３＝Ｄ０２、Ｄ１２＝Ｄ０２、Ｄ１３＝Ｄ０２と補間される。これにより、（ａ）に示すアップサンプリング前の画像は、水平方向及び垂直方向が共に、１画素ずつ補
間され、（ｂ）に示すように４倍の画像サイズにされる。
【００４０】
なお、アップ部３１０によるアップサンプリングは、上記の手法に限定されず、種々の手法を採用することが可能であり、例えば、アップサンプリング前の画像を周辺画像としてバイリニアによる補間処理を採用してもよい。
【００４１】
エッジ処理部３２０は、アップ部３１０によりアップサンプリングされた画像Ｄ３´に、所定サイズのエッジ抽出フィルタを用いたフィルタ処理を行い、画像Ｄ３´のエッジ強度を算出する。ここで、エッジ処理部３２０は、水平エッジの強度を求める水平エッジフィルタと、垂直エッジの強度を求める垂直エッジフィルタとを用いて、画像Ｄ３´の水平エッジ強度と垂直エッジ強度とを算出する。水平エッジフィルタ及び垂直エッジフィルタのサイズとしては、処理の高速化の観点から、比較的小サイズであることが好ましく、本実施の形態では３×３を採用することができる。
【００４２】
図９は、エッジ処理部３２０による処理を説明するための図である。エッジ処理部３２０は、図９に示すような画像が画像Ｄ３´として入力されると、例えば左上の画素から右下の画素に向けてラスタ走査するように順次注目画素を設定し、画像Ｄ３´の水平エッジ強度と垂直エッジ強度とを算出する。
【００４３】
図９において、Ｄ１１が注目画素として設定されている場合、Ｄ１１の水平エッジ強度であるＤ１１−ｅｄｇｅＨは、８近傍画素を用いて、Ｄ１１−ｅｄｇｅ＝（ｋ１＊Ｄ００＋ｋ２＊Ｄ０１＋ｋ３＊Ｄ０２＋ｋ４＊Ｄ１０＋ｋ５＊Ｄ１１＋ｋ６＊Ｄ１２＋ｋ７＊Ｄ２０＋ｋ８＊Ｄ２１＋ｋ９＊Ｄ２２）／Ｋによって算出される。但し、ｋ１＝−１、ｋ２＝−１、ｋ３＝−１、ｋ４＝０、ｋ５＝０、ｋ６＝０、ｋ７＝１、ｋ８＝１、ｋ９＝１、かつ、Ｋ＝ｋ１＋ｋ２＋ｋ３＋ｋ４＋ｋ５＋ｋ６＋ｋ７＋ｋ８＋ｋ９である。その他の画素についても同様に水平エッジ強度が算出される。
【００４４】
また、同様に、垂直エッジ強度であるＤ１１−ｅｄｇｅＶは、８近傍画素を用いて、Ｄ１１−ｅｄｇｅＶ＝（ｋ１＊Ｄ００＋ｋ２＊Ｄ０１＋ｋ３＊Ｄ０２＋ｋ４＊Ｄ１０＋ｋ５＊Ｄ１１＋ｋ６＊Ｄ１２＋ｋ７＊Ｄ２０＋ｋ８＊Ｄ２１＋ｋ９＊Ｄ２２）／Ｋによって算出される。但し、ｋ１＝−１、ｋ２＝０、ｋ３＝１、ｋ４＝−１、ｋ５＝０、ｋ６＝１、ｋ７＝−１、ｋ８＝０、ｋ９＝１、かつ、Ｋ＝ｋ１＋ｋ２＋ｋ３＋ｋ４＋ｋ５＋ｋ６＋ｋ７＋ｋ８＋ｋ９である。なお、上記ｋ１〜ｋ９は一例であり異なる値を適宜採用してもよい。その他の画素についても同様に垂直エッジ強度が算出される。
【００４５】
図５に戻り、合成部３３０は、画像Ｄ３´においてエッジ強度が所定の閾値以上の画素は、上層の平滑画像Ｄ２の画素を採用し、画像Ｄ３´においてエッジ強度が所定の閾値未満の画素は画像Ｄ３´の画素を採用するというようにして、画像Ｄ３´と上層の平滑画像Ｄ２とを合成して逆平滑画像Ｄ２´を生成する。
【００４６】
具体的には、合成部３３０は、水平エッジ強度の閾値をＴｈＨ、垂直エッジ強度の閾値をＴｈＶとし、画像Ｄ３´の水平及び垂直エッジ強度をＥＨ３及びＥＶ３とすると、ＥＨ３＜ＴｈＨ、かつ、ＥＶ３＜ＴｈＶの場合、Ｄ２´＝Ｄ３´とし、その他の場合、Ｄ２´＝Ｄ２とする。これにより、エッジ部分を保存しつつ低周波成分を抽出することが可能となり、大サイズのローパスフィルタを用いなくても照明成分を精度良く抽出することが可能となる。
【００４７】
ここで、合成部３３０による合成処理は上記の例に限定されず、例えば、水平エッジ強度及び垂直エッジ強度に応じた重み付け係数ｄ（０≦ｄ≦１）を予め定めておき、Ｄ２´＝ｄ＊Ｄ２＋Ｄ３´＊（１−ｄ）により合成処理を行っても良い。
【００４８】
逆平滑部３１，３２は、逆平滑部３３と同様、アップ部３１０、エッジ処理部３２０、及び合成部３３０を備えている。逆平滑部３２は、逆平滑部３３で生成された逆平滑画像Ｄ２´に対して、逆平滑部３３と同様の処理を行って逆平滑画像Ｄ１´を生成し、逆平滑部３１に出力し、逆平滑部３１は、逆平滑部３２から出力された逆平滑画像Ｄ１´に対して、逆平滑部３３と同様の処理を行い、出力画像である照明成分を生成する。
【００４９】
なお、図５においては、逆平滑部３２のアップ部３１０によりアップサンプリングされた画像は、Ｄ２´´とされ、逆平滑部３１のアップ部３１０によりアップサンプリングされた画像は、Ｄ１´´とされている。また、平滑部２３のダウン部２２０及び逆平滑部３３のアップ部３１０を省略してもよい。
【００５０】
次に、画像処理部６の動作について説明する。なお、以下の説明では、平滑部２１〜２３は、それぞれｎ（ｎは２以上の整数）：１の比率でダウンサンプリングし、逆平滑部３１〜３３は、それぞれ１：ｎの比率でアップサンプリングする。入力画像は、図５に示す平滑部２１によって画素数が１／ｎ２になるように平滑化されて平滑画像Ｄ１とされ、平滑画像Ｄ１は平滑部２２によって画素数が１／ｎ２になるように平滑化されて平滑画像Ｄ２とされ、平滑画像Ｄ２は平滑部２３によって画素数が１／ｎ２になるように平滑化されて平滑画像Ｄ３とされる。次に、平滑画像Ｄ３は、逆平滑部３３によって画素数がｎ２倍になるように逆平滑化されて逆平滑画像Ｄ２´とされ、逆平滑画像Ｄ２´は、逆平滑部３２によって画素数がｎ２倍になるように逆平滑化されて逆平滑画像Ｄ１´とされ、逆平滑画像Ｄ１´は、逆平滑部３１によって画素数がｎ２倍になるように逆平滑化され、照明成分が出力される。
【００５１】
このように、実施の形態１による画像処理装置によれば、比較的小さなサイズのローパスフィルタによる平滑処理の繰り返しにより、入力画像から広帯域の平滑画像が抽出された後、逆平滑処理の繰り返しにより、照明成分が抽出される結果、大サイズのローパスフィルタを用いなくても、エッジ部分が保持された広帯域の低周波成分を抽出することが可能となり、照明成分を精度良く抽出することができる。
【００５２】
なお、実施の形態１において、平滑部２１〜２３のダウンサンプリングの比率を各々ｎ：１としたが、これに限定されず、各々異なる比率にしてもよい。この場合、逆平滑部３１〜３３の各々のアップサンプリングの比率を平滑部２１〜２３の各々のアップサンプリングの比率と同じ比率にすることが好ましい。
【００５３】
また、実施の形態１では、平滑部の個数を３個としたが、これに限定されず、２個、又は４個以上としてもよい。この場合、逆平滑部の個数と平滑部の個数とを同一にすればよい。
【００５４】
（実施の形態２）
次に、本発明の実施の形態２による撮像装置ついて説明する。実施の形態２による撮像装置は、平滑処理のダウンサンプリングの比率を２ｎ：１にしたことを特徴とする。なお、本実施の形態において、実施の形態１と同一のものは同一の符号を付して説明を省略する。また、撮像装置の全体構成、画像処理部６の構成、及び照明成分抽出部６１の構成は、実施の形態１と同一であるため、図１，図２，図５を用いて説明する。
【００５５】
図１０は、実施の形態２による平滑部２１によるダウンサンプリングを説明するための図であり、（ａ）はダウンサンプリング前の画像を示し、（ｂ）はダウンサンプリング後の画像を示す。図１０（ａ）に示す画像は、ＲＧＢベイヤー配列の画像であり、Ｒ（赤）、Ｇ（緑）、Ｂ（青）は、各画素の色を示している。
【００５６】
図１０（ａ）に示すように、Ｒの画素は、１行１列目、１行３列目、３行１列目、３行３列目というように水平及び垂直方向が共に１画素飛ばしで配列されていることが分かる。また、Ｂ及びＧの画素もＲの画素と同様に水平及び垂直方向が共に１画素飛ばしで配列されていることが分かる。更に、Ｂの画素を注目画素とした場合、左上、右上、左下、右下の４つの画素が共にＲであり、残りの４つの画素が共にＧとなっており、８近傍画素の色が一定のパターンで配列されていることが分かる。また、Ｒ及びＧの画素を注目画素とした場合もＢの場合と同様、８近傍画素の色が一定のパターンで配列されていることが分かる。
【００５７】
以上のことから、ダウンサンプリングの比率を２ｎ：１とすると、常に同じ色の画素が注目画素として設定されることになり、また、注目画素が同色である場合、注目画素の８近傍画素の色のパターンは常に一定になるため、各色に対するフィルタ係数の和が常に一定となり、高精度のフィルタ処理を実現することが可能となる。
【００５８】
例えば、図１０（ａ）の画像に対し、２：１の比率でダウンサンプリングを行うと、注目画素としてＢ１１が設定された場合、図１０（ｂ）に示すＤ００が、Ｄ００＝（ｋ１＊Ｒ００＋ｋ２＊Ｇ０１＋ｋ３＊Ｒ０２＋ｋ４＊Ｇ１０＋ｋ５＊Ｂ１１＋ｋ６＊Ｇ１２＋ｋ７＊Ｒ２０＋ｋ８＊Ｇ２１＋ｋ９＊Ｒ２２）／Ｋによって算出される。但し、Ｋ＝ｋ１＋ｋ２＋ｋ３＋ｋ４＋ｋ５＋ｋ６＋ｋ７＋ｋ８＋ｋ９である。
【００５９】
また、注目画素としてＢ１３が設定されると、図１０（ｂ）に示すＤ０２は、Ｄ０２＝（ｋ１＊Ｒ０２＋ｋ２＊Ｇ０３＋ｋ３＊Ｒ０４＋ｋ４＊Ｇ１２＋ｋ５＊Ｂ１３＋ｋ６＊Ｇ１４＋ｋ７＊Ｒ２２＋ｋ８＊Ｇ２３＋ｋ９＊Ｒ２４）／Ｋによって算出される。
【００６０】
従って、２：１の比率でダウンサンプリングを行うと、注目画素の色は常にＢとなり、ｋ１，ｋ３，ｋ７，ｋ９のフィルタ係数は常にＲの画素に対応し、ｋ２，ｋ４，ｋ６，ｋ８のフィルタ係数は常にＧの画素に対応することになり、各色のフィルタ係数の和が一定になっていることが分かる。
【００６１】
また、図１０（ａ）の画像に対し、４：１の比率でダウンサンプリングを行うと、注目画素としてＢ３３が設定された場合、図１０（ｂ）に示すＤ００が、Ｄ００＝（ｋ１＊Ｒ２２＋ｋ２＊Ｇ２３＋ｋ３＊Ｒ２４＋ｋ４＊Ｇ３２＋ｋ５＊Ｂ３３＋ｋ６＊Ｇ３４＋ｋ７＊Ｒ４２＋ｋ８＊Ｇ４３＋ｋ９＊Ｒ４４）／Ｋによって算出される。
【００６２】
また、注目画素としてＢ３７が設定され、図１０（ｂ）に示すＤ０２が、Ｄ０２＝（ｋ１＊Ｒ２６＋ｋ２＊Ｇ２７＋ｋ３＊Ｒ２８＋ｋ４＊Ｇ３６＋ｋ５＊Ｂ３７＋ｋ６＊Ｇ３８＋ｋ７＊Ｒ４６＋ｋ８＊Ｇ４７＋ｋ９＊Ｒ４８）／Ｋによって算出される。
【００６３】
従って、４：１の比率でダウンサンプリングを行うと、注目画素の色は常にＢとなり、ｋ１，ｋ３，ｋ７，ｋ９のフィルタ係数は常にＲの画素に対応し、ｋ２，ｋ４，ｋ６，ｋ８のフィルタ係数は常にＧの画素に対応することになり、各色のフィルタ係数の和が一定になっていることが分かる。
【００６４】
このように、実施の形態２による撮像装置によれば、ダウンサンプリングの比率を２ｎ：１とすることで、常に、注目画素は同一色となり、各色のフィルタ係数の和が一定になるため、ＲＧＢベイヤー配列の画像から精度良く照明成分を抽出することができる。
【００６５】
なお、上述した処理はＲＧＢベイヤー配列の画像のみならず、例えば補色フィルタ配列の画像のように、各注目画素に対する近傍画素の色の配列が同一のパターンの画像であれ
ばどのような画像に対しても適用することが可能である。
【００６６】
図１１は、処理対象となる補色フィルタ配列の画像を示している。比率を２：１として、図１１に示す画像にダウンサンプリングを実行すると、ＲＧＢベイヤー配列の画像と同様、常に同じ色（例えば、Ｍｇ：マゼンタ）の画素が注目画素として設定され、また、ローパスフィルタのサイズを３×３とすると、ｋ１，ｋ３，ｋ７，ｋ９がＣｙ（シアン）の画素に対応し、ｋ２，ｋ８がＹｅ（イエロー）の画素に対応し、ｋ４，ｋ６がＧ（グリーン）の画素に対応することになり、各色のフィルタ係数の和が一定になることが分かる。
【００６７】
なお、上記説明では、ＲＧＢベイヤー配列においてはＢを注目画素として設定し、補色フィルタ配列の画像においては、Ｍｇを注目画素として設定したが、これは一例であり、他の色を注目画素として設定しても、ダウンサンプリングの比率を２ｎ：１とすることで、同様の効果を得ることができる。また、ローパスフィルタのサイズとして、５×５というような３×３以外のサイズを採用した場合においても、同様の効果を得ることができる。
【００６８】
（実施の形態３）
次に、本発明の実施の形態３による撮像装置ついて説明する。実施の形態３による撮像装置は、ローパスフィルタの係数が実施の形態１，２のものと相違する点を特徴としている。
【００６９】
なお、本実施の形態において、実施の形態１と同一のものは同一の符号を付して説明を省略する。また、撮像装置の全体構成、画像処理部６の構成、及び照明成分抽出部６１の構成は、実施の形態１と同一であるため、図１，図２，図５を用いて説明する。
【００７０】
図５に示す各ＬＰＦ部２１０は、注目画素の色に応じた種類のローパスフィルタを用いてフィルタ処理を行う。本実施の形態において、入力画像としては、ＲＧＢベイヤー配列の画像が使用されるため、ＬＰＦ部２１０は、注目画素がＲの場合は、Ｒのローパスフィルタを使用し、注目画素がＧの場合は、Ｇのローパスフィルタを使用し、注目画素がＢの場合は、Ｂのローパスフィルタを使用する。ここで、Ｒ，Ｇ，Ｂのローパスフィルタは、サイズが３×３であり、フィルタ係数を各々ｋ１〜ｋ９、ｋ１´〜ｋ９´、ｋ１´´〜ｋ９´´とする。
【００７１】
図１１は、処理対象となるＲＧＢベイヤー配列の画像を示している。ＬＰＦＰ部２１０は、注目画素がＢ１１である場合、Ｂ１１は青色であるため、Ｂのローパスフィルタを用い、フィルタ処理後の値であるＢ１１−ＬＰＦは、Ｂ１１−ＬＰＦ＝（ｋ１＊Ｒ００＋ｋ２＊Ｇ０１＋ｋ３＊Ｒ０２＋ｋ４＊Ｇ１０＋ｋ５＊Ｂ１１＋ｋ６＊Ｇ１２＋ｋ７＊Ｒ２０＋ｋ８＊Ｇ２１＋ｋ９＊Ｒ２２）／Ｋによって算出される。但し、Ｋ＝ｋ１＋ｋ２＋ｋ３＋ｋ４＋ｋ５＋ｋ６＋ｋ７＋ｋ８＋ｋ９である。
【００７２】
また、ＬＦＰ部２１０は、注目画素がＧ１２の場合、Ｇ１２は緑色であるため、Ｇのローパスフィルタを用い、フィルタ処理後の値であるＧ１２−ＬＰＦは、Ｇ１２−ＬＰＦ＝（ｋ１´＊Ｇ０１＋ｋ２´＊Ｒ０２＋ｋ３´＊Ｇ０３＋ｋ４´＊Ｂ１１＋ｋ５´＊Ｇ１２＋ｋ６´＊Ｂ１３＋ｋ７´＊Ｇ２１＋ｋ８´＊Ｒ２２＋ｋ９´＊Ｇ２３）／Ｋ´によって算出される。但し、Ｋ´＝ｋ１´＋ｋ２´＋ｋ３´＋ｋ４´＋ｋ５´＋ｋ６´＋ｋ７´＋ｋ８´＋ｋ９´である。
【００７３】
また、ＬＦＰ部２１０は、注目画素がＲ２２の場合、Ｒ２２は赤色であるため、Ｒのローパスフィルタを用い、フィルタ処理後の値であるＲ２２−ＬＰＦは、Ｒ２２−ＬＰＦ＝（ｋ１´´＊Ｂ１１＋ｋ２´´＊Ｇ１２＋ｋ３´´＊Ｂ１３＋ｋ４´´＊Ｇ２１＋ｋ５´
´＊Ｒ２２＋ｋ６´´＊Ｇ２３＋ｋ７´´＊Ｂ３１＋ｋ８´´＊Ｇ３２＋ｋ９´´＊Ｂ３３）／Ｋ´´によって算出される。但し、Ｋ´´＝ｋ１´´＋ｋ２´´＋ｋ３´´＋ｋ４´´＋ｋ５´´＋ｋ６´´＋ｋ７´´＋ｋ８´´＋ｋ９´´である。
【００７４】
そして、フィルタ係数ｋ１〜ｋ９、ｋ１´〜ｋ９´、ｋ１´´〜ｋ９´´は、以下の条件を満足する。
【００７５】
Ｂが注目画素となる場合、ＲＧＢベイヤー配列の画像は、ｋ１，ｋ３，ｋ７，ｋ９がＲの画素に対応し、ｋ５がＢの画素に対応し、ｋ２，ｋ４，ｋ６，ｋ８がＧの画素に対応するため、Ｒ，Ｇ，Ｂ毎のフィルタ係数の和であるＫＲ，ＫＧ，ＫＢは、ＫＲ＝ｋ１＋ｋ３＋ｋ７＋ｋ９となり、ＫＧ＝ｋ２＋ｋ４＋ｋ６＋ｋ８となり、ＫＢ＝ｋ５となる。
【００７６】
また、Ｇが注目画素となる場合、ＲＧＢベイヤー配列の画像は、ｋ２´，ｋ８´がＲの画素に対応し、ｋ４´，ｋ６´がＲの画素に対応し、ｋ１´，ｋ３´，ｋ５´，ｋ７´，ｋ９´がＧの画素に対応するため、Ｒ，Ｇ，Ｂ毎のフィルタ係数の和であるＫＲ´，ＫＧ´，ＫＢ´は、ＫＲ´＝ｋ４´＋ｋ６´となり、ＫＧ´＝ｋ１´＋ｋ３´＋ｋ５´＋ｋ７´＋ｋ９´となり、ＫＢ´＝ｋ２´＋ｋ８´となる。
【００７７】
また、Ｒが注目画素となる場合、ＲＧＢベイヤー配列の画像は、ｋ５´´がＲの画素に対応し、ｋ１´´，ｋ３´´，ｋ７´´，ｋ９´´がＢの画素に対応し、ｋ２´´，ｋ４´´，ｋ６´´，ｋ８´´がＧの画素に対応するため、Ｒ，Ｇ，Ｂ毎のフィルタ係数の和であるＫＲ´´，ＫＧ´´，ＫＢ´´は、ＫＲ´´＝ｋ５´´となり、ＫＧ´´＝ｋ２´´＋ｋ４´´＋ｋ６´´＋ｋ８´´となり、ＫＢ´´＝ｋ１´´＋ｋ３´´＋ｋ７´´＋ｋ９´´となる。
【００７８】
そして、ＫＲ，ＫＧ，ＫＢ，ＫＲ´，ＫＧ´，ＫＢ´，ＫＲ´´，ＫＧ´´，ＫＢ´´は、以下の条件を満たす。
ＫＲ／Ｋ＝ＫＲ´／Ｋ´＝ＫＲ´´／Ｋ´´
ＫＧ／Ｋ＝ＫＧ´／Ｋ´＝ＫＧ´´／Ｋ´´
ＫＢ／Ｋ＝ＫＢ´／Ｋ´＝ＫＢ´´／Ｋ´´
【００７９】
これにより、各色のフィルタ係数の比が一定になり、精度良く低周波画像を抽出することができる。また、更に、Ｋ＝Ｋ´＝Ｋ´´としてもよい。これにより、各ローパスフィルタ間で同色のフィルタ係数の和が等しい値になるため、ダウンサンプリングの比率としてどのような比率を採用しても、精度良く低周波画像を抽出することができる。
【００８０】
次に、本実施の形態による撮像装置の動作について説明する。画像処理部６に図１１に示すＲＧＢベイヤー配列の入力画像が入力されると、平滑部２１のＬＰＦ部２１０は、注目画素の色に応じてＲ，Ｇ，Ｂローパスフィルタを切り替ながら順次フィルタ処理実行する。次に、平滑部２１のダウン部２２０は、フィルタ処理された画像をｎ：１の比率でダウンサンプリングし、平滑画像Ｄ１を生成する。
【００８１】
次に、平滑部２２のＬＰＦ部２１０は、平滑部２１で生成された平滑画像Ｄ１に対して、上段のＬＰＦ部２１０と同様のフィルタ処理を実行し、ダウン部２２０は、上段のダウン部２２０と同様に、ｎ：１の比率でダウンサンプリングし、平滑画像Ｄ２を生成する。この場合、平滑部２２のＬＰＦ部２１０は、例えば、平滑部２１において、Ｒのローパスフィルタを用いて算出された画素はＲの画素、Ｇのローパスフィルタを用いて算出された画素はＧの画素、Ｂのローパスフィルタを用いて算出された画素はＢの画素として取り扱い、Ｒ，Ｇ，Ｂのローパスフィルタを適用してフィルタ処理を行えばよい。
【００８２】
次に、平滑部２３は、平滑部２２と同様にしてｎ：１の比率でダウンサンプリングして
平滑画像Ｄ３を生成する。平滑部２３で生成された平滑画像Ｄ３は、逆平滑部３３〜３１により１：ｎのアップサンプリングの比率で順次、逆平滑処理され、照明成分が出力される。
【００８３】
このように実施の形態３による撮像装置によれば、Ｒ，Ｇ，Ｂのローパスフィルタは、各色のフィルタ係数の和が一定、かつ、各ローパスフィルタ間で同色のフィルタ係数の和が等しくなるように各フィルタ係数が定められ、注目画素の色に応じたローパスフィルタを用いてダウンサンプリングが実行されるため、各色に対するフィルタ係数が一定となり、精度良く照明成分を抽出することができる。
【００８４】
なお、上述した処理はＲＧＢベイヤー配列の画像のみならず、例えば補色フィルタ配列の画像のように、各注目画素に対する近傍画素の色の配列が同一のパターンを有する画像であればどのような画像に対しても適用することが可能である。
【００８５】
例えば、入力画像として、図１２に示す補色フィルタ配列の画像を採用した場合は、フィルタ係数が下記の条件を満たすＣｙ，Ｙｅ，Ｍｇ，Ｇ，のローパスフィルタを用意し、注目画素の色に応じて、これらのローパスフィルタを切り換えて適用することで、ＲＧＢベイヤー配列の画像の場合と同様の効果を得ることができる。
【００８６】
ＫＣｙ／Ｋ＝ＫＣｙ´／Ｋ´＝ＫＣｙ´´／Ｋ´´＝ＫＣｙ´´´／Ｋ´´´
ＫＹｅ／Ｋ＝ＫＹｅ´／Ｋ´＝ＫＹｅ´´／Ｋ´´＝ＫＹｅ´´´／Ｋ´´´
ＫＭｇ／Ｋ＝ＫＭｇ´／Ｋ´＝ＫＭｇ´´／Ｋ´´＝ＫＭｇ´´´／Ｋ´´´
ＫＧ／Ｋ＝ＫＧ´／Ｋ´＝ＫＧ´´／Ｋ´´＝ＫＧ´´´／Ｋ´´´
但し、ＫＣｙ，ＫＹｅ，ＫＭｇ，ＫＧは、ＣｙのローパスフィルタにおけるＣｙ，Ｙｅ，Ｍｇ，ＫＧの画素に対応するフィルタ係数の和を示し、ＫＣｙ´，ＫＹｅ´，ＫＭｇ´，ＫＧ´は、ＹｅのローパスフィルタにおけるＣｙ，Ｙｅ，Ｍｇ，ＫＧの画素に対応するフィルタ係数の和を示し、ＫＣｙ´´，ＫＹｅ´´，ＫＭｇ´´，ＫＧ´´は、ＭｇのローパスフィルタにおけるＣｙ，Ｙｅ，Ｍｇ，ＫＧの画素に対応するフィルタ係数の和を示し、ＫＣｙ´´´，ＫＹｅ´´´，ＫＭｇ´´´，ＫＧ´´´は、ＫＧのローパスフィルタにおけるＣｙ，Ｙｅ，Ｍｇ，ＫＧの画素に対応するフィルタ係数の和を示す。また、Ｋ＝Ｋ´＝Ｋ´´＝Ｋ´´´としてもよい。
【００８７】
なお、上記説明では、ローパスフィルタが注目画素の色毎に異なる場合を前提にして説明したが、例えば、フィルタ係数が、ｋ１＝１，ｋ２＝２，ｋ３＝１，ｋ４＝２，ｋ５＝４，ｋ６＝２，ｋ７＝１，ｋ８＝２，ｋ９＝１であるようなローパスフィルタを採用した場合、注目画素の色に応じてローパスフィルタを変更しなくても、各色のフィルタ係数の和が一定となり、上記と同様の効果を得ることができる。
【００８８】
具体的には、このローパスフィルタをＲＧＢベイヤー配列の画像に適用すると、Ｂが注目画素である場合、フィルタ処理後の値は、（４Ｂ＋４Ｒ＋８Ｇ）／１６となる。ここで、Ｒ，Ｇ，Ｂは、ローパスフィルタ内の画像のＲ，Ｇ，Ｂの各々の画素値の総和を示している。また、Ｒが注目画素である場合、フィルタ処理後の値は、（４Ｒ＋４Ｂ＋８Ｇ）／１６となり、Ｇが注目画素である場合、フィルタ処理後の値は、（８Ｇ＋４Ｒ＋４Ｂ）／１６となる。したがって、注目画素の色に応じてローパスフィルタを変更しなくても各色のフィルタ係数の和がＫＲ，ＫＧ，ＫＢ＝４，８，４となり、各色のフィルタ係数の総和が一定となり、ダウンサンプリングの比率としてどのような比率を採用しても、精度良く低周波画像を抽出することができる。また、このローパスフィルタを補色フィルタ配列の画像に適用した場合も、ＫＣｙ，ＫＹｅ，ＫＭｇ，ＫＧ＝４，４，４，４となり、同様の効果を得ることができる。
【符号の説明】
【００８９】
１ 撮像装置
６ 画像処理部
６１ 照明成分抽出部
６２ 圧縮部
６３ 反射率成分抽出部
６４ 合成部
２１，２２，２３ 平滑部
３１，３２，３３ 逆平滑部
２１０ ＬＰＦ部
２２０ ダウン部
３１０ アップ部
３２０ エッジ処理部
３３０ 合成部
Ｄ１´〜Ｄ３´ 逆平滑画像
Ｄ１〜Ｄ３ 平滑画像
【特許請求の範囲】
【請求項１】
入力画像から照明成分を抽出する照明成分抽出手段と、
前記照明成分抽出手段により抽出された照明成分と前記入力画像とを基に、反射率成分を抽出する反射率成分抽出手段と、
前記照明成分抽出手段により抽出された照明成分のダイナミックレンジを圧縮する圧縮手段と、
前記圧縮手段によりダイナミックレンジが圧縮された照明成分と、前記反射率成分抽出手段により抽出された反射率成分とを合成する合成手段とを備え、
前記照明成分抽出手段は、二次元のローパスフィルタを用いたフィルタ処理を実行した後、ダウンサンプリングを実行する平滑処理を複数回実行して前記入力画像から解像度の異なる複数の平滑画像を生成し、低解像度側の平滑画像のエッジ部分を上層の高解像度側の平滑画像で置き換えながらアップサンプリングする逆平滑処理を複数回実行することで前記入力画像から照明成分を抽出し、
前記入力画像は、カラー画像であり、
前記ダウンサンプリングの比率と前記アップサンプリングの比率とが同じであり、且つ、前記平滑処理の回数と前記逆平滑処理の回数とが同じであり、
前記圧縮手段は、圧縮特性として、圧縮前の照明成分が増大するにつれて、圧縮後の照明成分の変化率が連続的に小さくなるように圧縮後の照明成分が増大する特性を有していることを特徴とする画像処理装置。
【請求項２】
前記ローパスフィルタのサイズが５×５画素以下であることを特徴とする請求項１記載の画像処理装置。
【請求項３】
請求項１又は２記載の画像処理装置を備えることを特徴とする撮像装置。
【請求項４】
入力画像から照明成分を抽出する照明成分抽出ステップと、
前記照明成分抽出ステップにより抽出された照明成分と前記入力画像とを基に、反射率成分を抽出する反射率成分抽出ステップと、
前記照明成分抽出ステップにより抽出された照明成分のダイナミックレンジを圧縮する圧縮ステップと、
前記圧縮ステップによりダイナミックレンジが圧縮された照明成分と、前記反射率成分抽出ステップにより抽出された反射率成分とを合成する合成ステップとを備え、
前記照明成分抽出ステップは、二次元のローパスフィルタを用いたフィルタ処理を実行した後、ダウンサンプリングを実行する平滑処理を複数回実行して前記入力画像から解像度の異なる複数の平滑画像を生成し、低解像度側の平滑画像のエッジ部分を上層の高解像度側の平滑画像で置き換えながらアップサンプリングする逆平滑処理を複数回実行することで前記入力画像から照明成分を抽出し、
前記入力画像は、カラー画像であり、
前記ダウンサンプリングの比率と前記アップサンプリングの比率とが同じであり、且つ、前記平滑処理の回数と前記逆平滑処理の回数とが同じであり、
前記圧縮ステップは、圧縮前の照明成分が増大するにつれて、圧縮後の照明成分の変化率が連続的に小さくなるように圧縮後の照明成分が増大する圧縮特性を用いて圧縮することを特徴とする画像処理方法。
【請求項５】
前記ローパスフィルタのサイズが５×５画素以下であることを特徴とする請求項４記載の画像処理方法。
【請求項１】
入力画像から照明成分を抽出する照明成分抽出手段と、
前記照明成分抽出手段により抽出された照明成分と前記入力画像とを基に、反射率成分を抽出する反射率成分抽出手段と、
前記照明成分抽出手段により抽出された照明成分のダイナミックレンジを圧縮する圧縮手段と、
前記圧縮手段によりダイナミックレンジが圧縮された照明成分と、前記反射率成分抽出手段により抽出された反射率成分とを合成する合成手段とを備え、
前記照明成分抽出手段は、二次元のローパスフィルタを用いたフィルタ処理を実行した後、ダウンサンプリングを実行する平滑処理を複数回実行して前記入力画像から解像度の異なる複数の平滑画像を生成し、低解像度側の平滑画像のエッジ部分を上層の高解像度側の平滑画像で置き換えながらアップサンプリングする逆平滑処理を複数回実行することで前記入力画像から照明成分を抽出し、
前記入力画像は、カラー画像であり、
前記ダウンサンプリングの比率と前記アップサンプリングの比率とが同じであり、且つ、前記平滑処理の回数と前記逆平滑処理の回数とが同じであり、
前記圧縮手段は、圧縮特性として、圧縮前の照明成分が増大するにつれて、圧縮後の照明成分の変化率が連続的に小さくなるように圧縮後の照明成分が増大する特性を有していることを特徴とする画像処理装置。
【請求項２】
前記ローパスフィルタのサイズが５×５画素以下であることを特徴とする請求項１記載の画像処理装置。
【請求項３】
請求項１又は２記載の画像処理装置を備えることを特徴とする撮像装置。
【請求項４】
入力画像から照明成分を抽出する照明成分抽出ステップと、
前記照明成分抽出ステップにより抽出された照明成分と前記入力画像とを基に、反射率成分を抽出する反射率成分抽出ステップと、
前記照明成分抽出ステップにより抽出された照明成分のダイナミックレンジを圧縮する圧縮ステップと、
前記圧縮ステップによりダイナミックレンジが圧縮された照明成分と、前記反射率成分抽出ステップにより抽出された反射率成分とを合成する合成ステップとを備え、
前記照明成分抽出ステップは、二次元のローパスフィルタを用いたフィルタ処理を実行した後、ダウンサンプリングを実行する平滑処理を複数回実行して前記入力画像から解像度の異なる複数の平滑画像を生成し、低解像度側の平滑画像のエッジ部分を上層の高解像度側の平滑画像で置き換えながらアップサンプリングする逆平滑処理を複数回実行することで前記入力画像から照明成分を抽出し、
前記入力画像は、カラー画像であり、
前記ダウンサンプリングの比率と前記アップサンプリングの比率とが同じであり、且つ、前記平滑処理の回数と前記逆平滑処理の回数とが同じであり、
前記圧縮ステップは、圧縮前の照明成分が増大するにつれて、圧縮後の照明成分の変化率が連続的に小さくなるように圧縮後の照明成分が増大する圧縮特性を用いて圧縮することを特徴とする画像処理方法。
【請求項５】
前記ローパスフィルタのサイズが５×５画素以下であることを特徴とする請求項４記載の画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１３−１７２４０（Ｐ２０１３−１７２４０Ａ）
【公開日】平成２５年１月２４日（２０１３．１．２４）
【国際特許分類】
【出願番号】特願２０１２−２２４８７４（Ｐ２０１２−２２４８７４）
【出願日】平成２４年１０月１０日（２０１２．１０．１０）
【分割の表示】特願２００７−２４５７２０（Ｐ２００７−２４５７２０）の分割
【原出願日】平成１９年９月２１日（２００７．９．２１）
【出願人】（３０３０００４０８）コニカミノルタアドバンストレイヤー株式会社 (3,255)
【Ｆターム（参考）】
【公開日】平成２５年１月２４日（２０１３．１．２４）
【国際特許分類】
【出願日】平成２４年１０月１０日（２０１２．１０．１０）
【分割の表示】特願２００７−２４５７２０（Ｐ２００７−２４５７２０）の分割
【原出願日】平成１９年９月２１日（２００７．９．２１）
【出願人】（３０３０００４０８）コニカミノルタアドバンストレイヤー株式会社 (3,255)
【Ｆターム（参考）】
[ Back to top ]