画像処理装置
【課題】後処理装置の周波数特性の変化に対応すると共に、適切なノイズ低減と画像細部の保持の両立が可能な画像処理装置の提供。
【解決手段】レンズ系１００、ＣＣＤ１０１を介して撮影された画像は、Ａ／Ｄ１０２においてデジタル信号に変換され、バッファ１０３に記憶される。バッファ１０３の出力は、ノイズ低減処理部１０４、エッジ強調処理部１０７、信号処理部１０５を順次介して、出力部１０６に接続されている。ノイズ低減処理部１０４は、バッファ１０３から読み出した画像信号を、複数の周波数成分に分解し、分解した各成分に変換処理を施した後、再合成し、ノイズを低減する。
【解決手段】レンズ系１００、ＣＣＤ１０１を介して撮影された画像は、Ａ／Ｄ１０２においてデジタル信号に変換され、バッファ１０３に記憶される。バッファ１０３の出力は、ノイズ低減処理部１０４、エッジ強調処理部１０７、信号処理部１０５を順次介して、出力部１０６に接続されている。ノイズ低減処理部１０４は、バッファ１０３から読み出した画像信号を、複数の周波数成分に分解し、分解した各成分に変換処理を施した後、再合成し、ノイズを低減する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、処理対象画像を複数の周波数成分に分解し、分解された周波数成分に対してノイズ低減等の画像処理を行う画像処理装置に関するものである。
【背景技術】
【０００２】
画像処理装置においては、画像の劣化を防止するためにノイズ低減等の処理が行われている。例えば特許文献１に示されているように、画像入力媒体のノイズ特性に基づいて,
平滑化フィルタのサイズを変更して、画像に平滑化処理を行っていた。これにより、画像の劣化を防止し、処理の高速化を図っている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０００−６９２９１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特許文献１に記載の従来技術は、次のような問題があった。（１）画像入力媒体のノイズ特性に基づいて平滑化処理の特性を変えているため、出力媒体や後処理装置の周波数特性の変化に対応して、変換処理の周波数特性を変えるという点について対応することができない。（２）ノイズ特性に基づいて、平滑化フィルタのサイズを変更して、画像に平滑化処理を行っていた。このため、複数のフィルタという点について対応することができない。
【０００５】
本発明は、従来技術のこのような問題点に鑑みてなされたものであり、前記（１）、（２）の問題を解決して、後処理装置の周波数特性の変化に対応すると共に、適切なノイズ低減と画像細部の保持の両立が可能な画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
（１）．上記目的を達成するために、第１の構成にかかる画像処理装置は、入力信号を低周波成分と少なくとも一つの高周波成分に分割する周波数分割手段と、前記高周波成分に対して変換処理を行う高周波成分変換手段と、前記低周波成分と前記変換処理された高周波成分とを合成する周波数合成手段と、出力信号に求められる周波数特性を設定する周波数特性設定手段と、前記周波数合成手段の出力信号に対して、さらに変換処理を行って、出力信号の周波数特性を、前記周波数特性設定手段で設定された周波数特性に調整する周波数特性調整手段と、周波数特性設定手段において設定される周波数特性に応じて、周波数分割手段における分割特性を設定する周波数分割特性設定手段と、を有することを特徴とする。
【０００７】
（１）の構成に関する実施形態は、図１〜図１０に示された第１の実施形態が対応する。（１）の構成において、周波数分割手段は、図２に示された低周波抽出部２００、高周波抽出部２０１が該当する。周波数成分変換手段は、図２に示された高周波変換部２０２が該当する。周波数合成手段は、図２に示された合成部２０９が該当する。周波数特性設定手段は、図１、図２に示されたエッジ強調パラメータ設定部１０８が該当する。周波数特性調整手段は、図１、図２に示されたエッジ強調処理部１０７が該当する。周波数分割特性設定手段は、図２に示されたＬＰＦフィルタ係数設定部２２２とＨＰＦフィルタ係数設定部２２１が該当する。
【０００８】
（１）の構成は、周波数特性設定手段により設定された周波数特性に応じて、周波数分割特性設定手段が周波数分割特性を設定する。周波数特性調整手段における周波数特性の調整に応じて、周波数分割手段における周波数の分割方法が変更される。この構成によれば、任意の周波数特性の調整を行っても、特定の周波数成分に対して意図しない調整が行われることを防止できるため、アーティファクトの発生が防止できる。
【０００９】
（２）の構成は、前記（１）の構成の前記周波数特性調整手段は、前記周波数合成手段の出力信号から所定の周波数成分を抽出する所定周波数成分抽出手段と、前記所定周波数成分抽出手段により抽出された前記所定の周波数成分に所定の強調処理を行う所定周波数成分強調手段と、前記所定周波数成分強調手段により前記所定の強調処理が行われた前記所定の周波数成分、および前記周波数合成手段の出力信号を合成する所定周波数成分合成手段と、からなることを特徴とする。
【００１０】
（２）の構成に関する実施形態は、図２に示されている第１の実施形態が対応する。（２）の構成において、所定周波数成分抽出手段はエッジ抽出部２１１が、所定周波数成分強調手段はエッジ強調部２１２が、所定周波数成分合成手段はエッジ加算部２１３がそれぞれ該当する。（２）の構成は、所定周波数成分強調手段により、強調係数を変えるような所定の強調処理が行われた所定の周波数成分と、（１）の構成の周波数合成手段の出力信号、すなわち低周波成分とを所定周波数成分合成手段で合成する。この構成によれば、鮮鋭感の調整が行われ、エッジ強調された画像信号が得られる。
【００１１】
（３）の構成は、前記（１）の構成において、前記周波数特性調整手段は、前記周波数合成手段の出力信号から所定の低周波成分を抽出する低周波成分抽出手段をさらに有し、前記所定周波数成分合成手段が、前記所定周波数成分強調手段により前記所定の強調処理が行われた前記所定の周波数成分と前記所定の低周波成分を合成することを特徴とする。
【００１２】
（３）の構成に関する実施形態は、図２に示されている第１の実施形態が対応する。（３）の構成において、低周波成分抽出手段は画素補間部２１０が該当する。（３）の構成は、低周波成分抽出手段で処理ブロックの領域中心のＧ画素を生成し、（２）の構成で所定の強調処理が行われた所定の周波数成分と所定周波数成分合成手段で合成される。この構成によれば、エッジ成分に変換処理を行って低周波成分に加算混合することにより、画像信号の鮮鋭感を調整することができる。
【００１３】
（４）の構成は、前記（１）の構成の前記高周波成分変換手段が、前記高周波成分のうち、所定の高周波成分における所定の範囲を有する要素を強調または抑制する高周波成分抑制手段と、所定の範囲を定める少なくとも一つの閾値を設定する閾値設定手段と、からなることを特徴とする。
【００１４】
（４）の構成に関する実施形態は、図２に示されている第１の実施形態が対応する。（４）の構成において、高周波成分変換手段が、所定の高周波成分における所定の範囲を有する要素を強調または抑制する高周波成分抑制手段と、所定の範囲を定める少なくとも一つの閾値を設定する閾値設定手段とを有することは、図１０の特性の処理を行うことが該当する。この構成によれば、例えば、４５度斜め高周波成分、１３５度斜め高周波成分、水平垂直高周波成分、残余高周波成分のような各高周波成分のうち、閾値よりも小さい振幅の成分を削除することによりノイズを低減することができる。
【００１５】
（５）の構成は、前記（１）の構成において、前記周波数特性設定手段が、前記所定周波数成分抽出手段を構成する所定周波数抽出フィルタの係数、もしくは、前記所定の強調処理の強調量、または、その両方を設定することを特徴とする。
【００１６】
（５）の構成の実施形態は、図２に示されている第１の実施形態が対応する。（５）の構成において、所定周波数抽出フィルタの係数設定はＢＰＦフィルタ係数設定部２３１が、所定の強調処理の強調量設定は強調量設定部２３２がそれぞれ該当する。この構成によれば、鮮鋭感の調整に応じて、エッジ強調処理バンドパスフィルタの周波数特性が変更された場合には、ノイズ低減処理の低周波抽出フィルタの周波数特性も変更する。このように周波数特性を変更することにより、ノイズ低減処理の低周波抽出フィルタの周波数特性と、エッジ強調処理のバンドパスフィルタの周波数特性に重なり部分が少なくなるようにして、残留したノイズ成分が強調されることによる画質の劣化を防止することができる。
【００１７】
（６）の構成は、前記（１）の構成の前記周波数分割特性設定手段は、前記周波数分割手段を構成する周波数分割フィルタ群のうち少なくとも一つの周波数分割フィルタの係数を設定することを特徴とする。
【００１８】
（６）の構成の実施形態は、図２に示されている第１の実施形態が対応する。周波数分割特性設定手段であるＬＰＦフィルタ係数設定部２２２は、図５または図６に示されているような低周波抽出フィルタの係数を設定する。また、周波数分割特性設定手段であるＨＰＦフィルタ係数設定部２２１は、図４に示す高周波抽出フィルタ（Ｈ１〜Ｈ１２）と、図７または図８に示されている残余高周波抽出フィルタの係数を設定する。この構成によれば、所定係数の高周波抽出フィルタで抽出された各高周波成分に変換処理を行うことにより、各高周波成分に含まれているノイズを低減することができる。
【００１９】
（７）．本発明の実施形態にかかる画像処理装置は、入力信号を低周波成分と少なくとも一つの高周波成分に分割する周波数分割手段と、前記高周波成分に対して変換処理を行う高周波成分変換手段と、前記低周波成分と変換処理された高周波成分とを合成する周波数合成手段と、前記入力信号のノイズ特性を推定するノイズ特性推定手段と、前記ノイズ特性推定手段における推定結果に応じて、周波数分割手段における分割特性を設定する周波数分割特性設定手段と、を有することを特徴とする。
【００２０】
（７）の発明に関する実施の形態は、図１１〜図２４に示された第２と第３の実施形態が対応する。（７）の発明における次の構成は図１２に示されている。周波数分割手段は、低周波抽出部２００、高周波抽出部２０１、第二低周波抽出部４１０、第二高周波抽出部４１１、が該当する。周波数成分変換手段は、高周波変換部２０２、高周波閾値算出部４５１、第二高周波変換部４１２、第二高周波閾値算出部４５２が該当する。周波数合成手段は、合成部２０９、第二合成部４０９が該当する。ノイズ特性推定手段は、感度設定部４０４が該当する。周波数分割特性設定手段は、信号選択部４０３が該当する。なお、周波数分割特性設定手段として、図１２の信号選択部４０３に代わる構成の図１８の重み付け加算部５００が該当する。
【００２１】
（７）の発明は、ノイズ特性推定手段により推定されたノイズ特性に応じて、周波数分割特性設定手段が周波数分割特性を設定する。ノイズ特性に応じて、周波数分割手段における周波数の分割方法が変更される。この構成によれば、ノイズ量に応じて、特定の周波数成分に対して意図しない調整が行われることを防止できるため、アーティファクトの発生が防止できる。
【００２２】
（８）の発明は、（７）の発明の前記高周波成分変換手段が、前記高周波成分のうち、所定の高周波成分における所定の範囲を有する要素を強調または抑制する高周波成分抑制手段と、所定の範囲を定める少なくとも一つの閾値を設定する閾値設定手段と、からなることを特徴とする。
【００２３】
（８）の発明に関する実施形態は、図１２に示されている第２の実施形態が対応する。
所定の高周波成分における所定の範囲を有する要素を強調または抑制する高周波成分抑制手段と、所定の範囲を定める少なくとも一つの閾値を設定する閾値設定手段を有する高周波成分変換手段は、高周波閾値算出部４５１、第二高周波閾値算出部４５２による図１０の処理を行う処理手段が該当する。この構成によれば、水平方向、垂直方向、斜め方向の各方向の各高周波成分のうち、閾値よりも小さい振幅の成分を削除することによりノイズを低減することができる。
【００２４】
（９）の発明は、（７）の発明のノイズ特性推定手段は、撮像素子の温度または前記入力信号に対するゲインまたは撮影時のシャッター速度のうち少なくとも一つの情報に基づき前記入力信号に含まれるノイズ量を推定するノイズ量推定手段からなることを特徴とする。
【００２５】
（９）の発明に関する実施形態は、図１２〜図１５に示されている第２の実施形態が対応する。図１３に示されているエッジ方向適応ノイズ低減処理部４０１の高周波閾値算出部４５１、図１５に示されているエッジ方向非適応ノイズ低減処理部４０２の第二高周波閾値算出部４５２は、それぞれ、撮像素子の温度または前記入力信号に対するゲインまたは撮影時のシャッター速度のうち少なくとも一つの情報に基づき前記入力信号に含まれるノイズ量を推定するノイズ量推定手段８０６を有している。この構成によれば、撮影感度に応じてノイズ低減処理を制御することにより、撮影感度が低い場合には、画像信号に含まれる本来の構造とノイズ成分を分離して、効果的にノイズ低減を行い、鮮鋭感の向上とノイズの低減を両立することができる。また、撮影感度が高い場合には、アーティファクトの発生を防止することができる。
【００２６】
（１０）の発明は、（７）の発明のノイズ特性推定手段は、ＩＳＯ感度、露出情報、ホワイトバランス情報の少なくとも一つ以上の情報に基づき前記ゲインを求めるゲイン算出手段をさらに有することを特徴とする。
【００２７】
（１０）の発明に関する実施形態は、図１２〜図１５に示されている第２の実施形態が対応する。図１３に示されているエッジ方向適応ノイズ低減処理部４０１の高周波閾値算出部４５１、図１５に示されているエッジ方向非適応ノイズ低減処理部４０２の第二高周波閾値算出部４５２は、それぞれ、ＩＳＯ感度、露出情報、ホワイトバランス情報の少なくとも一つ以上の情報に基づき前記ゲインを求めるゲイン算出手段をさらに有するノイズ量推定手段８０６を設けている。この構成によれば、撮影感度に応じてノイズ低減処理を制御することにより、撮影感度が低い場合には、画像信号に含まれる本来の構造とノイズ成分を分離して、効果的にノイズ低減を行い、鮮鋭感の向上とノイズの低減を両立することができる。また、撮影感度が高い場合には、アーティファクトの発生を防止することができる。
【００２８】
（１１）の発明は、（７）の発明の前記周波数分割特性設定手段が、前記周波数分割手段を構成する周波数分割フィルタ群のうち少なくとも一つの周波数分割フィルタの係数を設定することを特徴とする。
【００２９】
（１１）の発明に関する実施形態は、図１９に示された第３の実施形態が対応する。周波数分割手段を構成する周波数分割フィルタ群のうち少なくとも一つの周波数分割フィルタの係数が、フィルタ係数設定部２２０によって設定される。この構成によれば、各高周波成分に設定される抽出フィルタ係数が変更されることにより、エッジ方向適応ノイズ低減処理とエッジ方向非適応ノイズ低減処理の切り換えを行うことができる。
【００３０】
（１２）．本発明の第４の実施形態にかかる画像処理装置は、入力信号を低周波成分と少なくとも一つの高周波成分に分割する周波数分割手段と、前記高周波成分に対して変換
処理を行う高周波成分変換手段と、低周波成分と変換処理された高周波成分とを合成する周波数合成手段と、前記入力信号の周波数特性を推定する周波数特性推定手段と、前記周波数特性推定手段における推定結果に応じて、周波数分割手段における分割特性を設定する周波数分割特性設定手段と、を有することを特徴とする。
【００３１】
（１２）の発明の実施形態は、図２５〜図２７に示された第４の実施の形態が対応する。（１２）の発明の構成において、周波数分割手段は、図２６の水平垂直高周波抽出部２０１、４５度斜め高周波抽出部２０３、１３５度斜め高周波抽出部２０５、残余高周波抽出部２０７、図２７の斜め高周波抽出部４０５、垂直高周波抽出部４０３、水平高周波抽出部４２１が該当する。高周波成分変換手段は、図２６に示された水平垂直高周波変換処理部２０２、４５度斜め高周波変換処理部２０４、１３５度斜め高周波変換処理部２０６、残余高周波変換処理部２０８、高周波閾値算出部４５１、残余高周波閾値算出部９００が該当する。また、図２７に示された垂直高周波変換部４０４、斜め高周波変換部４０６、水平高周波変換処理部４２２、高周波閾値算出部４５１が該当する。周波数合成手段は、図２６、図２７に示された合成部２０９が該当する。周波数特性推定手段は、図２６に示された輝度色差分離部９１１が該当する。周波数分割特性設定手段は、図２６、図２７に示されたノイズ低減処理部１０４、色差ノイズ低減処理部４５０の低周波抽出フィルタ、各高周波抽出フィルタに対する図２のＨＰＦフィルタ設定部２２１、ＬＰＦフィルタ設定部２２２が該当する。
【００３２】
（１２）の発明は、輝度信号の周波数分割特性と色差信号の周波数分割特性が異なっており、輝度信号、および色差信号は、それぞれの信号に適した周波数分割方法で変換処理を行うことができる。
【００３３】
（１３）の発明は、（１２）の発明の前記高周波成分変換手段が、前記高周波成分のうち、所定の高周波成分における所定の範囲を有する要素を強調または抑制する高周波成分抑制手段と、所定の範囲を定める少なくとも一つの閾値を設定する閾値設定手段と、からなることを特徴とする。
【００３４】
（１３）の発明の実施形態は、図２６、図２７に示された第４の実施の形態が対応する。所定の高周波成分における所定の範囲を有する要素を強調または抑制する高周波成分抑制手段は、図２６の水平垂直高周波変換処理部２０２、４５度斜め高周波変換処理部２０４、１３５度斜め高周波変換処理部２０６、残余高周波変換処理部２０８、図２７の斜め高周波変換部４０６、垂直高周波変換部４０４、水平高周波変換部４２２が該当する。また所定の範囲を定める少なくとも一つの閾値を設定する閾値設定手段は、図２６の高周波閾値算出部４５１、残余高周波閾値算出部９００、図２７の高周波閾値算出部４５１が該当する。（１３）の発明は、前記のような閾値処理を行うことにより、高周波成分のノイズ成分を削除することができる。
【００３５】
（１４）の発明は、（１２）の発明の前記周波数特性推定手段は、撮像素子の前面に各画素ごとに設けられている少なくとも二種類の色フィルタの配置情報から前記色フィルタに対応する信号の周波数特性を推定することを特徴とする。
【００３６】
（１４）の発明の実施形態は、図２７に示されている第４の実施形態が対応する。撮像素子の前面に各画素ごとに設けられている少なくとも二種類の色フィルタの配置情報から前記色フィルタに対応する信号の周波数特性を推定することは、輝度色差分離部９１１の処理が該当する。この構成によれば、輝度信号（Ｇ）と色差信号（Ｒ−Ｇ、Ｂ−Ｇ）に対して、それぞれの信号に適した周波数分解方法で、ノイズ低減処理を行うことができる。
【００３７】
（１５）の発明は、（１２）の発明の前記周波数特性推定手段が、色信号の種別から当
該色信号の周波数特性を推定することを特徴とする。
【００３８】
（１５）の発明の実施形態は、図２７に示されている第４の実施形態が対応する。色信号の種別から当該色信号の周波数特性を推定することは、輝度色差分離部９１１の処理が該当する。この構成によれば、輝度信号、色差信号に対して、それぞれの周波数特性に適した周波数分割方法で、ノイズ低減処理を行うことができる。
【００３９】
（１６）の発明は、（１２）の発明の周波数分割特性設定手段が、前記周波数分割手段を構成する周波数分割フィルタ群のうち少なくとも一つの周波数分割フィルタの係数を設定することを特徴とする。
【００４０】
（１６）の発明の実施形態は、図２６、図２７に示されている第４の実施形態が対応する。周波数分割手段を構成する周波数分割フィルタ群のうち少なくとも一つの周波数分割フィルタの係数を設定することは、図２６の低周波抽出部２００が、図６に示す低周波抽出フィルタにより構成され、この低周波抽出フィルタは、図２に示したＬＰＦフィルタ係数設定部２２２で設定されることが該当する。また、水平垂直高周波抽出部２０１、４５度斜め高周波抽出部２０３、１３５度斜め抽出部２０５は、図４に示す高周波抽出フィルタ（Ｈ１〜Ｈ１２）により構成され、残余高周波抽出フィルタ２０７は、図８に示す残余高周波抽出フィルタにより構成される。これらの高周波抽出フィルタと残余高周波抽出フィルタは、図２に示したＨＰＦフィルタ係数設定部２２１で設定されることが「周波数分割手段を構成する周波数分割フィルタ群のうち少なくとも一つの周波数分割フィルタの係数を設定すること」に該当する。さらに、図２７の色差ノイズ低減処理部４５０において、低周波抽出部２００の低周波抽出フィルタ、各高周波抽出部４０３、４０５、４４１〜４４７の高周波抽出フィルタは、図２に示したノイズパラメータ設定部１０９のＨＰＦフィルタ係数設定部２２１、ＬＰＦフィルタ係数設定部２２２で設定されることが「周波数分割手段を構成する周波数分割フィルタ群のうち少なくとも一つの周波数分割フィルタの係数を設定すること」に該当する。この構成によれば、所定係数の高周波抽出フィルタで抽出された各高周波成分に変換処理を行うことにより、各高周波成分に含まれているノイズを低減することができる。
【発明の効果】
【００４１】
本発明においては、任意の周波数特性の調整を行っても、特定の周波数成分に対して意図しない調整が行われることを防止できる。このため、信号処理により不可避的に生じる不要な像または信号成分であるアーティファクトの発生を防止することができる。また、ノイズ量に応じて、特定の周波数成分に対して意図しない調整が行われることを防止できるため、アーティファクトの発生が防止できる。本発明は、画像信号処理の際に後処理装置の周波数特性の変化に応じて、周波数分解に基づく変換処理の周波数分解特性を変えることにより、画質の劣化を防止すると共に、適切なノイズ低減と画像細部の保持の両立が可能な画像処理装置を提供することができる。
【図面の簡単な説明】
【００４２】
【図１】第１の実施形態の構成図である。
【図２】図１の部分的な構成を示す構成図である。
【図３】ベイヤー配列を示す説明図である。
【図４】高周波抽出フィルタの例を示す説明図である。
【図５】低周波抽出フィルタの例を示す説明図である。
【図６】低周波抽出フィルタの例を示す説明図である。
【図７】残余高周波抽出フィルタの例を示す説明図である。
【図８】残余高周波抽出フィルタの例を示す説明図である。
【図９】バンドパスフィルタの特性を示す特性図である。
【図１０】コアリング変換処理の例を示す特性図である。
【図１１】第２の実施形態の構成図である。
【図１２】図１１の部分的な構成を示す構成図である。
【図１３】図１２の部分的な構成を示す構成図である。
【図１４】ノイズモデルの例を示す特性図である。
【図１５】図１２の部分的な構成を示す構成図である。
【図１６】高周波抽出フィルタの例を示す説明図である。
【図１７】低周波抽出フィルタの例を示す説明図である。
【図１８】図１２の変形例を示す構成図である。
【図１９】第３の実施形態の構成図である。
【図２０】高周波抽出フィルタの例を示す説明図である。
【図２１】第３の実施形態にかかる変形例の構成図である。
【図２２】図２１の部分的な構成を示す構成図である。
【図２３】画素の例を示す説明図である。
【図２４】局所分散値の例を示す特性図である。
【図２５】第４の実施形態の構成図である。
【図２６】図２４の部分的な構成を示す構成図である。
【図２７】図２４の部分的な構成を示す構成図である。
【発明を実施するための形態】
【００４３】
以下、第１の実施形態について図を参照して説明する。図１〜図１０は、第１の実施形態に適用される図である。図１は、第１の実施形態の構成図、図２は、図１の部分的な構成を示す構成図、図３はベイヤー配列を示す説明図、図４は高周波抽出フィルタの例を示す説明図、図５は低周波抽出フィルタの例を示す説明図、図６は低周波抽出フィルタの例を示す説明図、図７は残余高周波抽出フィルタの例を示す説明図、図８は残余高周波抽出フィルタの例を示す説明図、図９はバンドパスフィルタの特性を示す特性図、図１０はコアリング変換処理の例を示す特性図である。
【００４４】
画像処理装置の第１の実施形態は、デジタルカメラを想定したもので、被写体を撮影し、得られたデジタルデータを記憶媒体に記録する機能を実現するものである。図１において、レンズ系１００、ＣＣＤ１０１を介して撮影された画像は、Ａ／Ｄ１０２においてデジタル信号に変換され、バッファ１０３に記憶される。バッファ１０３の出力は、ノイズ低減処理部１０４、エッジ強調処理部１０７、信号処理部１０５を順次介して、出力部１０６に入力されている。
【００４５】
さらに、図示しない、マイクロコンピュータ等により構成される制御部が、各部と双方向に接続されている。バッファ１０３から読み出された画像信号は、ノイズ低減処理部１０４で、画像信号に含まれるノイズが低減された後、エッジ強調処理部１０７でエッジ強調処理が行われる。さらに信号処理部１０５において、色補正処理、圧縮処理などの、公知の信号処理が行われ、出力部１０６で記録媒体に保存される。また、ノイズ低減パラメータ設定部１０９がノイズ低減部１０４に、エッジ強調パラメータ設定部１０８がエッジ強調処理部１０７に接続されている。
【００４６】
ノイズ低減処理は、図３に示すような、縦５画素、横５画素のベイヤー配列からなる領域を処理単位として行われる。ノイズ低減処理が行われると、図３で領域中心のＧ画素の信号が変換される。領域を２画素ずつ移動させながら、同様の処理を行うことを繰り返すことにより、画像全体にノイズ低減処理が行われる。これらのイズ低減処理は、制御部の制御に基づき行われる。
【００４７】
図２には、図１のノイズ低減処理部１０４、エッジ強調処理部１０７、ノイズ低減パラ
メータ設定部１０９、エッジ強調パラメータ設定部１０８の詳細構成が示されている。ノイズ低減処理部１０４は、バッファ１０３から読み出した画像信号を、複数の周波数成分に分解し、分解した各成分に変換処理を施した後、再合成し、ノイズを低減する。ここでは、周波数分解は、方向性のある高周波抽出フィルタによって行われる。
【００４８】
低周波抽出部２００は、バッファ１０３から読み出された画像信号に、図５、または図６に示されている低周波抽出フィルタを適用し、低周波成分を抽出する。低周波抽出フィルタは、ＬＰＦフィルタ係数設定部２２２により設定される。低周波抽出部２００により抽出された低周波成分は、合成部２０９に出力される。高周波抽出部２０１は、バッファ１０３から読み出された画像信号に、図４に示す高周波抽出フィルタ（Ｈ１〜Ｈ１２）と、図７または、図８に示されている残余高周波抽出フィルタにより、１３種類の高周波成分を抽出する。
【００４９】
高周波抽出フィルタ（Ｈ１〜Ｈ１２）と残余高周波抽出フィルタは、ＨＰＦフィルタ係数設定部２２１により設定される。図４は、高周波抽出フィルタ（Ｈ１〜Ｈ１２）を示しており、（ａ）は４５度斜め高周波成分、（ｂ）は１３５度斜め高周波成分、（ｃ）は水平垂直高周波成分、をそれぞれ抽出する。また、４５度斜め高周波抽出フィルタは、第一〜第四の高周波抽出フィルタ（Ｈ１〜Ｈ４）からなる。また、１３５度斜め高周波抽出フィルタは、第一〜第四の高周波抽出フィルタ（Ｈ５〜Ｈ８）からなる。さらに、水平垂直高周波抽出フィルタは、第一〜第四の高周波抽出フィルタ（Ｈ９〜Ｈ１２）からなる。なお、１／１６は、ビットシフト演算されるレベル調整用の除数である。図２の高周波抽出部２０１は、図４（ａ）〜（ｃ）に示されているように、４５度斜め方向、１３５度斜め方向、水平垂直方向の方向性のある高周波成分を抽出している。
【００５０】
残余高周波成分は、原信号から、低周波成分、水平垂直高周波成分、４５度斜め高周波成分、１３５度斜め高周波成分を抽出した後の残りの成分である。図７または、図８に示されている残余高周波抽出フィルタは、低周波成分、水平垂直高周波成分、４５度斜め高周波成分、１３５度斜め高周波成分、残余高周波成分のすべての成分を合成することにより、原信号が完全に復元されるようにするために設けられている。
【００５１】
高周波変換部２０２は、抽出された各高周波成分に変換処理を行うことにより、各高周波成分に含まれているノイズを低減する。高周波変換部２０２では、図１０に示すようなコアリング変換処理が行われる。図１０において、○の部分は閾値よりも絶対値が小さい振幅の成分を示している。高周波変換部２０２では、図１０のコアリング変換処理を行い、各高周波成分のうち、前記○の部分である閾値よりも小さい振幅の成分を削除することにより、ノイズを低減する。ノイズが低減された高周波成分は、合成部２０９にて他の成分と合成される。
【００５２】
エッジ強調処理部１０７は、ノイズ低減処理が行われた画像信号から、エッジ成分と低周波成分を抽出し、適宜エッジ成分に変換処理を行った後、低周波成分に加算混合することにより、画像信号の鮮鋭感を調整する。画素補間部２１０は、図３に示す処理ブロックのＧ画素の信号にローパスフィルタをかけることにより、低周波成分を抽出する。この処理により、図３に示す処理ブロックのＲ／Ｂ画素におけるＧ成分が生成される。エッジ抽出部２１１は、図３に示す処理ブロックのＧ画素の信号にバンドパスフィルタをかけることにより、エッジ成分を抽出する。
【００５３】
エッジ強調部２１２は、エッジ成分に係数をかけることにより、エッジ成分の変換処理を行う。エッジ加算部２１３では、エッジ強調部２１２で変換処理されたエッジ成分と、画素補間部２１０で抽出された低周波成分を合成し、エッジ強調された画像信号を得る。強調量設定部２３２からエッジ強調部２１２に与えられる強調係数を変えたり、ＢＰＦフ
ィルタ係数設定部２３１からエッジ抽出部２１１に与えられるバンドパスフィルタ係数を変えることにより、鮮鋭感の調整が行われる。これらの係数の変更は、モード設定部２５０のモード設定に応じて行われる。エッジ強調モード設定に応じて、エッジ抽出部２１１のバンドパスフィルタの特性が、図９（ａ）に示すようにＢＰＦ１、もしくは図９（ｂ）に示すようにＢＰＦ２となるように、バンドパスフィルタの係数が切り換えられる。
【００５４】
エッジ抽出部２１１のバンドパスフィルタが切り換えられると、それに応じて、ノイズ低減処理部１０４における低周波抽出部２００の低周波抽出フィルタも切り換える。エッジ抽出フィルタＢＰＦ１の特性に対しては、図５に示す低周波抽出フィルタ１を、またエッジ抽出フィルタＢＰＦ２の特性に対しては、図６に示す低周波抽出フィルタ２を設定する。図５に示す低周波抽出フィルタ１は図９（ａ）のＬＰＦ１の特性を有し、図６に示す低周波抽出フィルタ２は図９（ｂ）のＬＰＦ２の特性を有している。
【００５５】
さらに、低周波抽出部２００の低周波抽出フィルタの切り換えに応じて、高周波抽出部２０１の残余高周波抽出フィルタも切り換える。図５に示す低周波抽出フィルタ１に対しては、図７に示す残余高周波抽出フィルタ１を設定する。また、図６に示す抽出フィルタ２に対しては、図８に示す残余高周波抽出フィルタ２を設定する。
【００５６】
ノイズ低減処理部１０４の低周波抽出部２００の出力は、そのまま、エッジ強調処理部１０７に入力される。このため、ノイズ低減処理部１０４の低周波抽出フィルタの周波数特性と、エッジ強調処理部１０７のバンドパスフィルタの周波数特性に、図９で示すような重なり部分が生じる。このように重なり部分があると、重なった部分の周波数成分が強調される。この周波数特性が重なった周波数領域にノイズの成分が残留していると、ノイズ成分が強調されて画質の劣化を招く。一方、エッジ強調処理部１０７のバンドパスフィルタの特性は、所望の鮮鋭感が得られるように、個別に調整されるため、ノイズ低減処理部１０４の低周波抽出フィルタの周波数特性と、エッジ強調処理部１０７のバンドパスフィルタの周波数特性の関係は、ひとつに定まらない。
【００５７】
そこで、上記のように、鮮鋭感の調整に応じて、エッジ強調処理部１０７のバンドパスフィルタの周波数特性が変更された場合には、ノイズ低減処理部１０４の低周波抽出フィルタの周波数特性も変更する。これにより、ノイズ低減処理部１０４の低周波抽出フィルタの周波数特性と、エッジ強調処理部１０７のバンドパスフィルタの周波数特性に重なり部分が少なくなるようにして、残留したノイズ成分が強調されることによる画質の劣化を防止する。
【００５８】
図１１〜図１８は、本発明の第２の実施形態に適用される図である。図１１は第２の実施形態の構成図、図１２は図１１の部分的な構成を示す構成図、図１３は図１２の部分的な構成を示す構成図、図１４はノイズモデルの例を示す特性図、図１５は図１２の部分的な構成を示す構成図、図１６は高周波抽出フィルタの例を示す説明図、図１７は低周波抽出フィルタの例を示す説明図、図１８は図１２の変形例を示す構成図である。なお、第１の実施形態で説明した図３のベイヤー配列を示す説明図と、図１０のコアリング変換処理の例を示す特性図は、第２の実施形態でも適用される。
【００５９】
図１１に、本発明の第２の実施形態における画像処理装置を示す。この発明の実施形態は、デジタルカメラを想定しており、被写体を撮影し、得られたデジタルデータを記憶媒体に記録する機能を実現するものである。レンズ系１００、ＣＣＤ１０１を介して撮影された画像は、Ａ／Ｄ１０２においてデジタル信号に変換され、バッファ１０３に記憶される。バッファ１０３の出力は、ノイズ低減処理部１０４、信号処理部１０５を順次介して、出力部１０６に入力されている。
【００６０】
さらに、図示しない、マイクロコンピュータ等により構成される制御部が、各部と双方向に接続されている。バッファ１０３から読み出された画像信号は、ノイズ低減処理部１０４で画像信号に含まれるノイズが低減された後、信号処理部１０５において、色補正処理、圧縮処理などの公知の信号処理が行われ、出力部１０６で記録媒体に保存される。また、感度設定部４０４が、ノイズ低減部１０４に接続されている。
【００６１】
ノイズ低減処理部１０４におけるノイズ低減処理は、第１の実施形態で説明したと同様に、図３で示された縦５画素、横５画素のベイヤー配列からなる領域を処理単位として行われる。ノイズ低減処理が行われると、図３で領域中心のＧ画素の信号が変換される。領域を２画素ずつ移動させながら、同様の処理を行うことを繰り返すことにより、画像全体にノイズ低減処理が行われる。これらのノイズ低減処理は、制御部の制御に基づき行われる。
【００６２】
図１２に、ノイズ低減処理部１０４の詳細な構成を示す。ノイズ低減処理部１０４は、エッジ方向適応ノイズ低減処理部４０１、エッジ方向非適応ノイズ低減処理部４０２と、エッジ方向適応ノイズ低減処理部４０１、およびエッジ方向非適応ノイズ低減処理部４０２のそれぞれの出力に接続された信号選択部４０３とからなる。エッジ方向適応ノイズ低減処理部４０１は、バッファ１０３から読み出した画像信号を、複数の周波数成分に分解し、分解した各成分に変換処理を施した後、再合成し、ノイズを低減する。ここでは、周波数分解は、方向性のある高周波抽出フィルタによって行われる。エッジ方向適応ノイズ低減処理部４０１で実現されるノイズ低減処理は、複数の高周波成分に分割し、分割された成分ごとにノイズ低減処理を行うため、画像信号に含まれる本来の構造と、ノイズ成分との分離性が良いという特徴がある。
【００６３】
低周波抽出部２００は、バッファ１０３から読み出された画像信号に、図１７に示す低周波抽出フィルタを適用し、低周波成分を抽出する。抽出された低周波成分は、合成部２０９に出力される。また、高周波抽出部２０１は、水平高周波抽出部４２１、垂直高周波抽出部４２３、斜め高周波抽出部４２５からなる。高周波抽出部２０１は、バッファ１０３から読み出された画像信号に、図１６に示す高周波抽出フィルタ（Ｈ１〜Ｈ１２）により、１２種類の高周波成分を抽出する。
【００６４】
高周波変換部２０２は、水平高周波変換部４２２、垂直高周波変換部４２４、斜め高周波変換部４２６を有している。高周波変換部２０２は、水平高周波抽出部４２１、垂直高周波抽出部４２３、斜め高周波抽出部４２５で抽出された各高周波成分に変換処理を行うことにより、各高周波成分に含まれているノイズを低減する。
【００６５】
図１６の高周波抽出フィルタ（Ｈ１〜Ｈ１２）において、（ａ）は水平高周波成分、（ｂ）は垂直高周波成分、（ｃ）は斜め高周波成分、をそれぞれ抽出する。図１６においては、図６で説明したと同様に、例えば、水平高周波抽出フィルタは、第一〜第四の高周波抽出フィルタ（Ｈ１〜Ｈ４）からなる。また、垂直高周波抽出フィルタは、第一〜第四の高周波抽出フィルタ（Ｈ５〜Ｈ８）からなる。さらに、斜め高周波抽出フィルタは、第一〜第四の高周波抽出フィルタ（Ｈ９〜Ｈ１２）からなる。このように、高周波抽出フィルタは、水平方向、垂直方向、斜め方向の方向性のある高周波抽出を行う。
【００６６】
高周波変換部２０２では、前記した図１０に示すようなコアリング変換処理が行われる。各高周波成分のうち、閾値よりも小さい振幅の成分（図１０の○印の領域）を削除することによりノイズを低減する。高周波閾値算出部４５１は、変換処理に用いられる閾値を決定する。ノイズが低減された高周波成分は、合成部２０９にて他の成分と合成される。
【００６７】
図１３に示されるように、高周波閾値算出部４５１は、ノイズ量推定部８０６、閾値調
整部４４９から構成される。ノイズ量推定部８０６は、図１４に示すノイズモデルと低周波抽出部２００で得られた低周波成分を用いて、高周波成分に含まれると推定されるノイズ量を求める。図１４のノイズモデルは、予め、理論計算や実測により定められており、実線が高感度時、破線が低感度時の特性を示している。図１３に示される閾値調整部４４９は、ノイズ量推定部８０６で得られたノイズ量に調整値を乗算する。この調整値は、水平高周波変換部４２２、垂直高周波変換部４２４、斜め高周波変換部４２６において行われる変換処理の強度を調整するための値で、所望の画質が得られるように、予め調整作業を行って決定された値が設定されている。
【００６８】
図ｌ５に示されたエッジ方向非適応ノイズ低減処理部４０２は、バッファ１０３から読み出した画像信号を、第二低周波抽出部４１０および第二高周波抽出部４１１で低周波成分と高周波成分に分解する。第二低周波抽出部４１０で抽出された低周波成分（Ａ）は、第二高周波閾値算出部４５２に入力される。また、第二低周波抽出部４１０で抽出された低周波成分は、符号が反転された後、第二高周波抽出部４１１の加算器Ｃでバッファ１０３から読み出した画像信号と合成される。この結果、画像信号に含まれる高周波成分が抽出される。
【００６９】
第二高周波閾値算出部４５２は、図１３で説明した高周波閾値算出部４５１と同じ構成で、ノイズ量推定部８０６、閾値調整部４４９から構成される。第二高周波閾値算出部４５２の出力は、第二高周波変換部４１２に入力され、第二高周波抽出部４１１で抽出された高周波成分に対する変換処理の強度を調整する。第二高周波変換部４１２で高周波成分に変換処理を施した後、第二合成部４０９において第二低周波抽出郁４１０で抽出された低周波成分と再合成し、ノイズを低減する。第二合成部４０９の出力は、信号選択部４０３に入力される。
【００７０】
図１２の第二低周波抽出部４１０は、バッファ１０３から読み出された画像信号に、図１７に示す低周波抽出フィルタを適用し、低周波成分を抽出する。低周波抽出フィルタで抽出された低周波成分は、第二合成部４０９に出力される。第二高周波抽出部４１１は、減算器で構成され、バッファ１０３から読み出された画像信号から、低周波成分を減算することにより、高周波成分を抽出する。第二高周波変換部４１２は、第二高周波抽出部４１１で抽出された高周波成分に変換処理を行うことにより、高周波成分に含まれているノイズを低減する。
【００７１】
第二高周波変換部４１２では、図１０に示すようなコアリング変換処理が行われる。すなわち、第二高周波変換部４１２は高周波成分のうち、閾値よりも小さい振幅の成分を削除することによりノイズを低減する。第二高周波閾値算出部４５２は、変換処理に用いられる閾値を決定する。第二高周波変換部４１２でノイズが低減された高周波成分は、第二低周波抽出部４１０で抽出された低周波成分と第二合成部４０９で合成される。第二高周波閾値算出部４５２は、高周波閾値算出部４５１と同じ構成で、ノイズモデル、調整値が異なるものとなっている。
【００７２】
信号選択部４０３は、エッジ方向適応ノイズ低減処理部４０１の出力と、エッジ方向非適応ノイズ低減処理部４０２の出力を入力とし、感度設定部４０４の撮影感度設定に応じて、どちらかの信号を選択して信号処理部１０５に出力する。撮影感度が予め決められた感度よりも高い場合、信号選択部４０３は、エッジ方向非適応ノイズ低減処理部４０２の出力を選択して信号処理部１０５に出力する。
【００７３】
感度設定部４０４では、撮像素子の温度または入力信号に対するゲインまたは撮影時のシャッター速度のうち少なくとも一つの情報に基づき撮影感度を設定する。また、感度設定部４０４は、ＩＳＯ感度、露出情報、ホワイトバランス情報の少なくとも一つ以上の情
報に基づき前記ゲインを求めるゲイン算出手段を有する。
【００７４】
撮影感度が高い場合、画像信号に含まれるノイズが増えるため、図３に示すような小さな処理ブロック領域内では、画像信号に含まれる本来の構造と、ノイズ成分によって偶々生じた構造との区別が難しくなってくる。このため、ノイズ成分の一部が低減されずに残留してアーティファクトを発生させてしまい、画質を劣化してしまう。この結果、撮影感度が高い場合、エッジ方向適応ノイズ低減処理部４０１で実現されるノイズ低減処理よりも、エッジ方向非適応ノイズ低減処理部４０２で実現されるノイズ低減処理の方が好ましい結果を得られる。
【００７５】
そこで、撮影感度が低い場合は、エッジ方向適応ノイズ低減処理部４０１の出力を、ノイズ低減処理部１０４の出力とする。また、撮影感度が高く、画像信号に含まれるノイズ量が多い場合には、エッジ方向非適応ノイズ低減処理部４０２の出力を、ノイズ低減処理部１０４の出力とする。このように、信号選択部４０３は、撮影感度に応じてエッジ方向適応ノイズ低減処理部４０１、またはエッジ方向非適応ノイズ低減処理部４０２の出力を選択して信号処理部１０５に出力する。
【００７６】
このように、撮影感度に応じてノイズ低減処理を制御することにより、撮影感度が低い場合には、画像信号に含まれる本来の構造とノイズ成分を分離して、効果的にノイズ低減を行い、鮮鋭感の向上とノイズの低減を両立する。また、撮影感度が高い場合には、アーティファクトの発生を防止する。なお、図１２の信号選択部４０３の代わりに、図１８に示すような重み付け加算部５００を設け、撮影感度が高くなるほど、エッジ方向非適応ノイズ低減処理部４０２の出力の重みを大きくするように制御しても良い。
【００７７】
図ｌ８の重み付け加算部５００は、乗算器Ｄ、Ｅと加算器Ｆからなる。係数生成部５０１は、感度設定部４０４で設定された撮影感度に応じて、エッジ方向適応ノイズ低減処理部４０１の出力に対する重み係数を決定して、乗算器Ｅに設定し、エッジ方向非適応ノイズ低減処理部４０２の出力に対する重み係数を決定して、乗算器Ｄに設定する。乗算器Ｅは、エッジ方向適応ノイズ低減処理部４０１の出力に対して、エッジ方向適応ノイズ低減処埋部４０１の出力に対する重み係数を乗算して、加算器Ｆに出力する。乗算器Ｄは、エッジ方向非適応ノイズ低減処理部４０２の出力に対して、エッジ方向非撓応ノイズ低減処理部４０２の出力に対する重み係数を乗算して、加算器Ｆに出力する。加算器Ｆは、係数生成部５０１によって決定された係数により重み付けされたエッジ方向適応ノイズ低減処理部４０１の出力とエッジ方向非適応ノイズ低減処理部４０２の出力を加算して信号処理部１０５に出力する。上記の例では、信号選択部４０３における信号の選択や、重み付け加算部５００における信号の重み付け加算処理は、感度設定部４０４で設定された撮影感度に応じて行われている。これらの信号選択や重み付け加算処理は、画像信号に含まれるノイズ量に応じて行われることが望ましい。そこで、感度設定部４０４で設定された撮影感度の代わりに、ノイズ推定部８０６から出力されるノイズ推定量に基づいて、信号選択部４０３における信号の選択や、重み付け加算部５００における信号の重み付け加算処理が行われる構成としても良い。
【００７８】
図１９〜図２４は、本発明の第３の実施形態に適用される図である。図１９は第３の実施形態の構成図、図２０は高周波抽出フィルタの例を示す説明図、図２１は第３の実施形態にかかる変形例の構成図、図２２は図２１の部分的な構成を示す構成図、図２３は画素の例を示す説明図、図２４は局所分散値の例を示す特性図である。なお、第２の実施形態で説明した図１６の高周波抽出フィルタの例を示す説明図、図１７で説明した低周波抽出フィルタの例を示す説明図も、第３の実施形態に適用される。
【００７９】
第２の実施形態では、図１２の構成図に示されているように、周波数分解の方法が異な
る二つのノイズ低減処理部であるエッジ方向適応ノイズ低減処理部４０１とエッジ方向非適応ノイズ低減処理部４０２を設け、信号選択部４０３で、それぞれの出力を選択して出力していた。第３の実施形態では、ノイズ低減処理部をエッジ方向適応ノイズ低減処理部４０１とエッジ方向非適応ノイズ低減処理部４０２の二つ設けることに代えて、フィルタ係数を切り換えることにより、実行されるノイズ低減処理を切り換えるものである。
【００８０】
本実施形態では、図１９に示されているように、図１２のエッジ方向適応ノイズ低減処理部４０１と同じ構成に、フィルタ係数設定部２２０を加えた構成からなるノイズ低減部１０４を設ける。図１９において、フィルタ係数設定部２２０は、水平高周波抽出部４２１、垂直高周波抽出部４２３、斜め高周波抽出部４２５に、感度設定部４０４の撮影感度に応じて異なる抽出フィルタ係数を設定する。
各高周波抽出部４２１、４２３、４２５には、それぞれ水平高周波変換部４２２、垂直高周波変換部４２４、斜め高周波変換部４２６が接続されている。
【００８１】
図１９において、感度設定部４０４で設定された撮影感度の設定に基づいてフィルタ係数設定部２２０で、各高周波成分に設定される抽出フィルタ係数が変更されることにより、エッジ方向適応ノイズ低減処理とエッジ方向非適応ノイズ低減処理の切り換えが行われる。撮影感度が予め決められた感度よりも低い場合は、第２の実施形態で説明した図１６（高周波抽出フィルタ）、図１７（低周波抽出フィルタ）に示すフィルタ係数が設定されることにより、エッジ方向適応ノイズ低減処理が行われる。一方、撮影感度が予め決められた感度よりも高い場合は、図２０（高周波抽出フィルタ）、図１７（低周波抽出フィルタ）に示すフィルタ係数が設定されることにより、エッジ方向非適応ノイズ低減処理が行われる。
【００８２】
ここで、図２０は、図１６と同様に、各高周波抽出部に設定される抽出フィルタを示したものである。撮影感度が予め決められた感度よりも高い場合は、エッジ方向非適応ノイズ低減処理が行われるようにする。このため、第一水平高周波抽出フィルタ（Ｈ１）のみを高周波抽出フイルタとして用い、他の高周波抽出フイルタ（Ｈ２〜Ｈ１２）には、すべて０の係数を設定する。この結果、第一水平高周波抽出フィルタにより、すベての方向の高周波戒分が抽出され、エッジ方向非適応ノイズ低減処理が行われる。
【００８３】
図２１に第３の実施形態の変形例を示す。図１９に示した第３の実施形態においては、感度設定部４０４の撮影感度の設定に応じて、低周波抽出部２００、および各高周波抽出部（４２１〜４２５）に設定される抽出フィルタ係数を変更していた。図２１に示す変形例では、画像信号に含まれるノイズ量を推定し、推定されたノイズ量に基づき、抽出フィルタ係数を変更する。図２１に示されているように、図１９の撮影感度を設定する感度設定部４０４に代えてノイズ量分析部８８１が設けられている。
【００８４】
図２２にノイズ量分析部８８１を示す。高周波抽出部８９１は、図２０の高周波抽出フィルタにおいて、Ｈ１で示すフィルタにより画像信号の高周波成分を抽出する。分散算出部８９２は、注目画素の周辺ｎ×ｎ画素における局所分散値を算出する。局所分散値は、図２３に示す注目画素の周辺ｎ×ｎ画素における高周波成分の二乗値を合計し、ｎの二乗で除算したものである。入力画像の全画素に対応する高周波成分に対して局所分散値を算出し、分散値バッファ８９３に一時的に保持する。
【００８５】
ヒストグラム生成部８９４は、分散値バッファ８９３の局所分散値に基づき、局所分散値のヒストグラムを生成する。最頻値検出部８９５は、図２４の特性図に示すように、局所分散値のヒストグラムから、最も発生頻度が高い局所分散値を決定し、この時の局所分散値を、画像信号に含まれるノイズ量の推定値として出力する。フィルタ係数設定部２２０は、図２１で説明したようにノイズ量の推定値に基づいて、低周波抽出部２００および
各高周波抽出部（４２１〜４２５）に設定される抽出フィルタ係数を変更する。
【００８６】
ノイズ量の推定値が、予め決められた値より小さいときは、図１６（高周波抽出フィルタ）、図１７（低周波抽出フィルタ）に示すフィルタ係数が設定されることにより、エッジ方向適応ノイズ低減処理が行われる。一方、ノイズ量の推定値が、予め決められた感度よりも高い場合は、図２０（高周波抽出フィルタ）、図１７（低周波抽出フィルタ）に示すフィルタ係数が設定されることにより、エッジ方向適応非ノイズ低減処理が行われる。また、ノイズ量の推定値は、閾値調整部４４９にも与えられ、各高周波成分の変換処理の閾値の基準としても用いられる。
【００８７】
本変形例では、画像信号から、画像信号に含まれるノイズ量の推定値を算出するに際して、分散算出部８９２の処理による局所分散値を用いる方法を示したが、これに限定されるものではない。
【００８８】
図２５〜図２７は第４の実施形態に適用される図である。図２５は第４の実施形態の構成図、図２６は、図２５の部分的な構成を示す構成図、図２７は図２５の部分的な構成を示す構成図である。また、図４の高周波抽出フィルタ、図６の低周波抽出フィルタ、図８の残余高周波抽出フィルタ、図１６の高周波抽出フィルタ、および図１７の低周波抽出フィルタも第４の実施形態に適用される。
【００８９】
図２５に、本発明の第４の実施形態における画像処理装置を示す。レンズ系１００、ＣＣＤ１０１を介して撮影された画像は、Ａ／Ｄ１０２においてデジタル信号に変換され、バッファ１０３に記憶される。バッファ１０３に得られたＲＧＢ原色信号は、輝度色差分離部９１１に入力され、輝度信号（Ｇ）と色差信号（Ｒ−Ｇ、Ｂ−Ｇ）に分離される。輝度信号は、ノイズ低減処理部１０４に入力され、色差信号は、色差ノイズ低減処理部４５０に入力されて、それぞれ別個にノイズ低滅処理がなされる。
【００９０】
図２６に、輝度信号（Ｇ）に対してノイズ低減処理を行うノイズ低減処理部１０４を示す。低周波抽出部２００は、図６に示す低周波抽出フィルタにより構成される。水平垂直高周波抽出部２０１、４５度斜め高周波抽出部２０３、１３５度斜め抽出部２０５は、図４に示す高周波抽出フィルタ（Ｈ１〜Ｈ１２）により構成される。残余高周波抽出フィルタ２０７は、図８に示す残余高周波抽出フィルタにより構成される。
【００９１】
高周波閾値算出部４５１は、図１３で説明したように、ノイズ量推定部８０６、閾値調整部４４９で構成される。ノイズ量推定部８０６は、高周波成分に含まれると推定されるノイズ量を求めその出力は閾値調整部４４９に入力される。閾値調整部４４９は、前記ノイズ量に調整値を乗算して閾値を算出する。閾値調整部４４９で算出された閾値の出力Ｂは、水平垂直高周波変換処理部２０２、４５度斜め高周波変換処理部２０４、１３５度斜め高周波変換処理部２０６に入力される。
【００９２】
残余高周波閾値算出部９００は、ノイズ量調整部９２０、閾値調整部９４９で構成される。高周波閾値算出部４５１のノイズ量推定部８０６の出力は、残余高周波閾値算出部９００のノイズ量調整部９２０にも入力される。ノイズ量調整部９２０の出力は閾値調整部９４９に入力され、ノイズ量に調整値を乗算してその出力は残余高周波変換処理部２０８に入力される。各高周波変換処理部２０２〜２０８でノイズを低減した高周波成分の出力は、合成部２０９に入力される。合成部２０９には、低周波抽出部２００でノイズを低減された低周波成分の出力も入力され、前記高周波成分の出力と合成される。合成部２０９で合成された出力は、図２５で示した信号処理部１０５に出力される。
【００９３】
図２７に色差信号（Ｒ−Ｇ）、（Ｂ−Ｇ）に対してノイズ低減処理を行う色差ノイズ低
減処理部４５０を示す。低周波抽出部２００は、図１７に示す低周波抽出フィルタにより構成される。水平高周波抽出部４２１、垂直高周波抽出部４０３、斜め高周波抽出部４０５は、図１６に示す高周波抽出フィルタ（Ｈ１〜Ｈ１２）により構成される。水平高周波抽出部４２１は、第一水平高周波抽出部４４１、第二水平高周波抽出部４４３、第三水平高周波抽出部４４５、第四水平高周波抽出部４４７からなる。また、水平高周波変換部４２２は、第一水平高周波変換部４４２、第二水平高周波変換部４４４、第三水平高周波変換部４４６、第四水平高周波変換部４４８からなる。垂直高周波抽出部４０３、斜め高周波抽出部４０５も、水平高周波抽出部４２１と同様に、第一から第四の四つの抽出部から構成されている。また、垂直高周波変換部４０４、斜め高周波変換部４０６も同様である。
【００９４】
輝度色差分離部９１１から出力された色差信号は、水平高周波抽出部４２１、垂直高周波抽出部４０３、斜め高周波抽出部４０５と低周波抽出部２００に入力される。低周波抽出部２００では、低周波抽出フィルタで低周波成分を抽出して出力を合成部２０９に入力する。また、低周波抽出部２００の出力は、図２６で説明したような、ノイズ量推定部８０６、閾値調整部４４９で構成される高周波閾値算出部４５１に入力される。閾値調整部４４９で低周波成分のノイズ量に調整値を乗算して算出された閾値の出力Ｂは、垂直高周波変換部４０６、斜め高周波変換部４０４に入力される。また、水平高周波変換部４２２の第一水平高周波変換部４４２、第二水平高周波変換部４４４、第三水平高周波変換部４４６、第四水平高周波変換部４４８に入力される。
【００９５】
輝度色差分離部９１１から入力され、各高周波抽出部（４２１、４０３、４０５）で抽出された高周波成分に対して、各高周波変換部（４２２、４０４、４０６）で、前記閾値調整部４４９で算出された閾値に基づき、閾値処理を行う。
このような閾値処理を行うことにより、高周波成分のノイズ成分を削除する。低周波抽出部２００で抽出された低周波成分と、垂直高周波変換部４０６、斜め高周波変換部４０４、および水平高周波変換部４２２の第一〜第四高周波変換部（４４２〜４４８）でノイズ成分を削除した高周波成分を、合成部２０９で合成することにより、ノイズを低減した画像信号を得る。この画像信号は、図２５で示した信号処理部１０５に出力される。
【００９６】
第４の実施形態においては、輝度信号の周波数分割特性と色差信号の周波数分割特性が異なることが特徴である。ベイヤー配列では、輝度信号の周波数特性と色差信号の周波数特性が異なる。輝度信号、および色差信号は、図２６、図２７で説明したように、それぞれに適した周波数分割方法で変換処理を行うことができる。
【産業上の利用可能性】
【００９７】
以上説明したように、本発明によれば、画像信号を処理する際の周波数特性の変化に対応すると共に、適切なノイズ低減と画像細部の保持の両立が可能な画像処理装置を提供することができる。
【符号の説明】
【００９８】
１００・・・レンズ系、１０１・・・ＣＣＤ、１０２・・・Ａ／Ｄ、１０３・・・バッファ、１０４・・・ノイズ低減処理部、１０５・・・信号処理部、１０６・・・出力部、１０７・・・エッジ強調処理、１０８・・・エッジ強調パラメータ設定部、１０９・・・ノイズ低減パラメータ設定部、２００・・・低周波抽出部、２０１・・・高周波抽出部、２０２・・・高周波変換部、２０９・・・合成部、２２０・・・フィルタ係数設定部、２２１・・・ＨＰＦフィルタ係数設定部、２２２・・・ＬＰＦフィルタ係数設定部、４００・・・色差信号生成部、４０１・・・エッジ方向適応ノイズ低減処理部、４０２・・・エッジ方向非適応ノイズ低減処理部、４０３・・・信号選択部、４０４・・・感度設定部、４０９・・・第２合成部、４１０・・・第２低周波抽出部、４１１・・・第２高周波抽出
部、４１２・・・第２高周波変換部、４２１・・・水平高周波抽出部、４２２・・・水平高周波変換部、４４９・・・閾値調整部、４５０・・・色差ノイズ低減処理部、４５１・・・高周波閾値算出部、４５２・・・第２高周波閾値算出部、５００・・・重み付け加算部、８０６・・・ノイズ量推定部、８８１・・・ノイズ量分析部、８９４・・・ヒストグラム生成部、８９５・・・最頻値検出部、９００・・・残余高周波閾値算出部、９１１・・・輝度色差分離部
【技術分野】
【０００１】
本発明は、処理対象画像を複数の周波数成分に分解し、分解された周波数成分に対してノイズ低減等の画像処理を行う画像処理装置に関するものである。
【背景技術】
【０００２】
画像処理装置においては、画像の劣化を防止するためにノイズ低減等の処理が行われている。例えば特許文献１に示されているように、画像入力媒体のノイズ特性に基づいて,
平滑化フィルタのサイズを変更して、画像に平滑化処理を行っていた。これにより、画像の劣化を防止し、処理の高速化を図っている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０００−６９２９１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特許文献１に記載の従来技術は、次のような問題があった。（１）画像入力媒体のノイズ特性に基づいて平滑化処理の特性を変えているため、出力媒体や後処理装置の周波数特性の変化に対応して、変換処理の周波数特性を変えるという点について対応することができない。（２）ノイズ特性に基づいて、平滑化フィルタのサイズを変更して、画像に平滑化処理を行っていた。このため、複数のフィルタという点について対応することができない。
【０００５】
本発明は、従来技術のこのような問題点に鑑みてなされたものであり、前記（１）、（２）の問題を解決して、後処理装置の周波数特性の変化に対応すると共に、適切なノイズ低減と画像細部の保持の両立が可能な画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
（１）．上記目的を達成するために、第１の構成にかかる画像処理装置は、入力信号を低周波成分と少なくとも一つの高周波成分に分割する周波数分割手段と、前記高周波成分に対して変換処理を行う高周波成分変換手段と、前記低周波成分と前記変換処理された高周波成分とを合成する周波数合成手段と、出力信号に求められる周波数特性を設定する周波数特性設定手段と、前記周波数合成手段の出力信号に対して、さらに変換処理を行って、出力信号の周波数特性を、前記周波数特性設定手段で設定された周波数特性に調整する周波数特性調整手段と、周波数特性設定手段において設定される周波数特性に応じて、周波数分割手段における分割特性を設定する周波数分割特性設定手段と、を有することを特徴とする。
【０００７】
（１）の構成に関する実施形態は、図１〜図１０に示された第１の実施形態が対応する。（１）の構成において、周波数分割手段は、図２に示された低周波抽出部２００、高周波抽出部２０１が該当する。周波数成分変換手段は、図２に示された高周波変換部２０２が該当する。周波数合成手段は、図２に示された合成部２０９が該当する。周波数特性設定手段は、図１、図２に示されたエッジ強調パラメータ設定部１０８が該当する。周波数特性調整手段は、図１、図２に示されたエッジ強調処理部１０７が該当する。周波数分割特性設定手段は、図２に示されたＬＰＦフィルタ係数設定部２２２とＨＰＦフィルタ係数設定部２２１が該当する。
【０００８】
（１）の構成は、周波数特性設定手段により設定された周波数特性に応じて、周波数分割特性設定手段が周波数分割特性を設定する。周波数特性調整手段における周波数特性の調整に応じて、周波数分割手段における周波数の分割方法が変更される。この構成によれば、任意の周波数特性の調整を行っても、特定の周波数成分に対して意図しない調整が行われることを防止できるため、アーティファクトの発生が防止できる。
【０００９】
（２）の構成は、前記（１）の構成の前記周波数特性調整手段は、前記周波数合成手段の出力信号から所定の周波数成分を抽出する所定周波数成分抽出手段と、前記所定周波数成分抽出手段により抽出された前記所定の周波数成分に所定の強調処理を行う所定周波数成分強調手段と、前記所定周波数成分強調手段により前記所定の強調処理が行われた前記所定の周波数成分、および前記周波数合成手段の出力信号を合成する所定周波数成分合成手段と、からなることを特徴とする。
【００１０】
（２）の構成に関する実施形態は、図２に示されている第１の実施形態が対応する。（２）の構成において、所定周波数成分抽出手段はエッジ抽出部２１１が、所定周波数成分強調手段はエッジ強調部２１２が、所定周波数成分合成手段はエッジ加算部２１３がそれぞれ該当する。（２）の構成は、所定周波数成分強調手段により、強調係数を変えるような所定の強調処理が行われた所定の周波数成分と、（１）の構成の周波数合成手段の出力信号、すなわち低周波成分とを所定周波数成分合成手段で合成する。この構成によれば、鮮鋭感の調整が行われ、エッジ強調された画像信号が得られる。
【００１１】
（３）の構成は、前記（１）の構成において、前記周波数特性調整手段は、前記周波数合成手段の出力信号から所定の低周波成分を抽出する低周波成分抽出手段をさらに有し、前記所定周波数成分合成手段が、前記所定周波数成分強調手段により前記所定の強調処理が行われた前記所定の周波数成分と前記所定の低周波成分を合成することを特徴とする。
【００１２】
（３）の構成に関する実施形態は、図２に示されている第１の実施形態が対応する。（３）の構成において、低周波成分抽出手段は画素補間部２１０が該当する。（３）の構成は、低周波成分抽出手段で処理ブロックの領域中心のＧ画素を生成し、（２）の構成で所定の強調処理が行われた所定の周波数成分と所定周波数成分合成手段で合成される。この構成によれば、エッジ成分に変換処理を行って低周波成分に加算混合することにより、画像信号の鮮鋭感を調整することができる。
【００１３】
（４）の構成は、前記（１）の構成の前記高周波成分変換手段が、前記高周波成分のうち、所定の高周波成分における所定の範囲を有する要素を強調または抑制する高周波成分抑制手段と、所定の範囲を定める少なくとも一つの閾値を設定する閾値設定手段と、からなることを特徴とする。
【００１４】
（４）の構成に関する実施形態は、図２に示されている第１の実施形態が対応する。（４）の構成において、高周波成分変換手段が、所定の高周波成分における所定の範囲を有する要素を強調または抑制する高周波成分抑制手段と、所定の範囲を定める少なくとも一つの閾値を設定する閾値設定手段とを有することは、図１０の特性の処理を行うことが該当する。この構成によれば、例えば、４５度斜め高周波成分、１３５度斜め高周波成分、水平垂直高周波成分、残余高周波成分のような各高周波成分のうち、閾値よりも小さい振幅の成分を削除することによりノイズを低減することができる。
【００１５】
（５）の構成は、前記（１）の構成において、前記周波数特性設定手段が、前記所定周波数成分抽出手段を構成する所定周波数抽出フィルタの係数、もしくは、前記所定の強調処理の強調量、または、その両方を設定することを特徴とする。
【００１６】
（５）の構成の実施形態は、図２に示されている第１の実施形態が対応する。（５）の構成において、所定周波数抽出フィルタの係数設定はＢＰＦフィルタ係数設定部２３１が、所定の強調処理の強調量設定は強調量設定部２３２がそれぞれ該当する。この構成によれば、鮮鋭感の調整に応じて、エッジ強調処理バンドパスフィルタの周波数特性が変更された場合には、ノイズ低減処理の低周波抽出フィルタの周波数特性も変更する。このように周波数特性を変更することにより、ノイズ低減処理の低周波抽出フィルタの周波数特性と、エッジ強調処理のバンドパスフィルタの周波数特性に重なり部分が少なくなるようにして、残留したノイズ成分が強調されることによる画質の劣化を防止することができる。
【００１７】
（６）の構成は、前記（１）の構成の前記周波数分割特性設定手段は、前記周波数分割手段を構成する周波数分割フィルタ群のうち少なくとも一つの周波数分割フィルタの係数を設定することを特徴とする。
【００１８】
（６）の構成の実施形態は、図２に示されている第１の実施形態が対応する。周波数分割特性設定手段であるＬＰＦフィルタ係数設定部２２２は、図５または図６に示されているような低周波抽出フィルタの係数を設定する。また、周波数分割特性設定手段であるＨＰＦフィルタ係数設定部２２１は、図４に示す高周波抽出フィルタ（Ｈ１〜Ｈ１２）と、図７または図８に示されている残余高周波抽出フィルタの係数を設定する。この構成によれば、所定係数の高周波抽出フィルタで抽出された各高周波成分に変換処理を行うことにより、各高周波成分に含まれているノイズを低減することができる。
【００１９】
（７）．本発明の実施形態にかかる画像処理装置は、入力信号を低周波成分と少なくとも一つの高周波成分に分割する周波数分割手段と、前記高周波成分に対して変換処理を行う高周波成分変換手段と、前記低周波成分と変換処理された高周波成分とを合成する周波数合成手段と、前記入力信号のノイズ特性を推定するノイズ特性推定手段と、前記ノイズ特性推定手段における推定結果に応じて、周波数分割手段における分割特性を設定する周波数分割特性設定手段と、を有することを特徴とする。
【００２０】
（７）の発明に関する実施の形態は、図１１〜図２４に示された第２と第３の実施形態が対応する。（７）の発明における次の構成は図１２に示されている。周波数分割手段は、低周波抽出部２００、高周波抽出部２０１、第二低周波抽出部４１０、第二高周波抽出部４１１、が該当する。周波数成分変換手段は、高周波変換部２０２、高周波閾値算出部４５１、第二高周波変換部４１２、第二高周波閾値算出部４５２が該当する。周波数合成手段は、合成部２０９、第二合成部４０９が該当する。ノイズ特性推定手段は、感度設定部４０４が該当する。周波数分割特性設定手段は、信号選択部４０３が該当する。なお、周波数分割特性設定手段として、図１２の信号選択部４０３に代わる構成の図１８の重み付け加算部５００が該当する。
【００２１】
（７）の発明は、ノイズ特性推定手段により推定されたノイズ特性に応じて、周波数分割特性設定手段が周波数分割特性を設定する。ノイズ特性に応じて、周波数分割手段における周波数の分割方法が変更される。この構成によれば、ノイズ量に応じて、特定の周波数成分に対して意図しない調整が行われることを防止できるため、アーティファクトの発生が防止できる。
【００２２】
（８）の発明は、（７）の発明の前記高周波成分変換手段が、前記高周波成分のうち、所定の高周波成分における所定の範囲を有する要素を強調または抑制する高周波成分抑制手段と、所定の範囲を定める少なくとも一つの閾値を設定する閾値設定手段と、からなることを特徴とする。
【００２３】
（８）の発明に関する実施形態は、図１２に示されている第２の実施形態が対応する。
所定の高周波成分における所定の範囲を有する要素を強調または抑制する高周波成分抑制手段と、所定の範囲を定める少なくとも一つの閾値を設定する閾値設定手段を有する高周波成分変換手段は、高周波閾値算出部４５１、第二高周波閾値算出部４５２による図１０の処理を行う処理手段が該当する。この構成によれば、水平方向、垂直方向、斜め方向の各方向の各高周波成分のうち、閾値よりも小さい振幅の成分を削除することによりノイズを低減することができる。
【００２４】
（９）の発明は、（７）の発明のノイズ特性推定手段は、撮像素子の温度または前記入力信号に対するゲインまたは撮影時のシャッター速度のうち少なくとも一つの情報に基づき前記入力信号に含まれるノイズ量を推定するノイズ量推定手段からなることを特徴とする。
【００２５】
（９）の発明に関する実施形態は、図１２〜図１５に示されている第２の実施形態が対応する。図１３に示されているエッジ方向適応ノイズ低減処理部４０１の高周波閾値算出部４５１、図１５に示されているエッジ方向非適応ノイズ低減処理部４０２の第二高周波閾値算出部４５２は、それぞれ、撮像素子の温度または前記入力信号に対するゲインまたは撮影時のシャッター速度のうち少なくとも一つの情報に基づき前記入力信号に含まれるノイズ量を推定するノイズ量推定手段８０６を有している。この構成によれば、撮影感度に応じてノイズ低減処理を制御することにより、撮影感度が低い場合には、画像信号に含まれる本来の構造とノイズ成分を分離して、効果的にノイズ低減を行い、鮮鋭感の向上とノイズの低減を両立することができる。また、撮影感度が高い場合には、アーティファクトの発生を防止することができる。
【００２６】
（１０）の発明は、（７）の発明のノイズ特性推定手段は、ＩＳＯ感度、露出情報、ホワイトバランス情報の少なくとも一つ以上の情報に基づき前記ゲインを求めるゲイン算出手段をさらに有することを特徴とする。
【００２７】
（１０）の発明に関する実施形態は、図１２〜図１５に示されている第２の実施形態が対応する。図１３に示されているエッジ方向適応ノイズ低減処理部４０１の高周波閾値算出部４５１、図１５に示されているエッジ方向非適応ノイズ低減処理部４０２の第二高周波閾値算出部４５２は、それぞれ、ＩＳＯ感度、露出情報、ホワイトバランス情報の少なくとも一つ以上の情報に基づき前記ゲインを求めるゲイン算出手段をさらに有するノイズ量推定手段８０６を設けている。この構成によれば、撮影感度に応じてノイズ低減処理を制御することにより、撮影感度が低い場合には、画像信号に含まれる本来の構造とノイズ成分を分離して、効果的にノイズ低減を行い、鮮鋭感の向上とノイズの低減を両立することができる。また、撮影感度が高い場合には、アーティファクトの発生を防止することができる。
【００２８】
（１１）の発明は、（７）の発明の前記周波数分割特性設定手段が、前記周波数分割手段を構成する周波数分割フィルタ群のうち少なくとも一つの周波数分割フィルタの係数を設定することを特徴とする。
【００２９】
（１１）の発明に関する実施形態は、図１９に示された第３の実施形態が対応する。周波数分割手段を構成する周波数分割フィルタ群のうち少なくとも一つの周波数分割フィルタの係数が、フィルタ係数設定部２２０によって設定される。この構成によれば、各高周波成分に設定される抽出フィルタ係数が変更されることにより、エッジ方向適応ノイズ低減処理とエッジ方向非適応ノイズ低減処理の切り換えを行うことができる。
【００３０】
（１２）．本発明の第４の実施形態にかかる画像処理装置は、入力信号を低周波成分と少なくとも一つの高周波成分に分割する周波数分割手段と、前記高周波成分に対して変換
処理を行う高周波成分変換手段と、低周波成分と変換処理された高周波成分とを合成する周波数合成手段と、前記入力信号の周波数特性を推定する周波数特性推定手段と、前記周波数特性推定手段における推定結果に応じて、周波数分割手段における分割特性を設定する周波数分割特性設定手段と、を有することを特徴とする。
【００３１】
（１２）の発明の実施形態は、図２５〜図２７に示された第４の実施の形態が対応する。（１２）の発明の構成において、周波数分割手段は、図２６の水平垂直高周波抽出部２０１、４５度斜め高周波抽出部２０３、１３５度斜め高周波抽出部２０５、残余高周波抽出部２０７、図２７の斜め高周波抽出部４０５、垂直高周波抽出部４０３、水平高周波抽出部４２１が該当する。高周波成分変換手段は、図２６に示された水平垂直高周波変換処理部２０２、４５度斜め高周波変換処理部２０４、１３５度斜め高周波変換処理部２０６、残余高周波変換処理部２０８、高周波閾値算出部４５１、残余高周波閾値算出部９００が該当する。また、図２７に示された垂直高周波変換部４０４、斜め高周波変換部４０６、水平高周波変換処理部４２２、高周波閾値算出部４５１が該当する。周波数合成手段は、図２６、図２７に示された合成部２０９が該当する。周波数特性推定手段は、図２６に示された輝度色差分離部９１１が該当する。周波数分割特性設定手段は、図２６、図２７に示されたノイズ低減処理部１０４、色差ノイズ低減処理部４５０の低周波抽出フィルタ、各高周波抽出フィルタに対する図２のＨＰＦフィルタ設定部２２１、ＬＰＦフィルタ設定部２２２が該当する。
【００３２】
（１２）の発明は、輝度信号の周波数分割特性と色差信号の周波数分割特性が異なっており、輝度信号、および色差信号は、それぞれの信号に適した周波数分割方法で変換処理を行うことができる。
【００３３】
（１３）の発明は、（１２）の発明の前記高周波成分変換手段が、前記高周波成分のうち、所定の高周波成分における所定の範囲を有する要素を強調または抑制する高周波成分抑制手段と、所定の範囲を定める少なくとも一つの閾値を設定する閾値設定手段と、からなることを特徴とする。
【００３４】
（１３）の発明の実施形態は、図２６、図２７に示された第４の実施の形態が対応する。所定の高周波成分における所定の範囲を有する要素を強調または抑制する高周波成分抑制手段は、図２６の水平垂直高周波変換処理部２０２、４５度斜め高周波変換処理部２０４、１３５度斜め高周波変換処理部２０６、残余高周波変換処理部２０８、図２７の斜め高周波変換部４０６、垂直高周波変換部４０４、水平高周波変換部４２２が該当する。また所定の範囲を定める少なくとも一つの閾値を設定する閾値設定手段は、図２６の高周波閾値算出部４５１、残余高周波閾値算出部９００、図２７の高周波閾値算出部４５１が該当する。（１３）の発明は、前記のような閾値処理を行うことにより、高周波成分のノイズ成分を削除することができる。
【００３５】
（１４）の発明は、（１２）の発明の前記周波数特性推定手段は、撮像素子の前面に各画素ごとに設けられている少なくとも二種類の色フィルタの配置情報から前記色フィルタに対応する信号の周波数特性を推定することを特徴とする。
【００３６】
（１４）の発明の実施形態は、図２７に示されている第４の実施形態が対応する。撮像素子の前面に各画素ごとに設けられている少なくとも二種類の色フィルタの配置情報から前記色フィルタに対応する信号の周波数特性を推定することは、輝度色差分離部９１１の処理が該当する。この構成によれば、輝度信号（Ｇ）と色差信号（Ｒ−Ｇ、Ｂ−Ｇ）に対して、それぞれの信号に適した周波数分解方法で、ノイズ低減処理を行うことができる。
【００３７】
（１５）の発明は、（１２）の発明の前記周波数特性推定手段が、色信号の種別から当
該色信号の周波数特性を推定することを特徴とする。
【００３８】
（１５）の発明の実施形態は、図２７に示されている第４の実施形態が対応する。色信号の種別から当該色信号の周波数特性を推定することは、輝度色差分離部９１１の処理が該当する。この構成によれば、輝度信号、色差信号に対して、それぞれの周波数特性に適した周波数分割方法で、ノイズ低減処理を行うことができる。
【００３９】
（１６）の発明は、（１２）の発明の周波数分割特性設定手段が、前記周波数分割手段を構成する周波数分割フィルタ群のうち少なくとも一つの周波数分割フィルタの係数を設定することを特徴とする。
【００４０】
（１６）の発明の実施形態は、図２６、図２７に示されている第４の実施形態が対応する。周波数分割手段を構成する周波数分割フィルタ群のうち少なくとも一つの周波数分割フィルタの係数を設定することは、図２６の低周波抽出部２００が、図６に示す低周波抽出フィルタにより構成され、この低周波抽出フィルタは、図２に示したＬＰＦフィルタ係数設定部２２２で設定されることが該当する。また、水平垂直高周波抽出部２０１、４５度斜め高周波抽出部２０３、１３５度斜め抽出部２０５は、図４に示す高周波抽出フィルタ（Ｈ１〜Ｈ１２）により構成され、残余高周波抽出フィルタ２０７は、図８に示す残余高周波抽出フィルタにより構成される。これらの高周波抽出フィルタと残余高周波抽出フィルタは、図２に示したＨＰＦフィルタ係数設定部２２１で設定されることが「周波数分割手段を構成する周波数分割フィルタ群のうち少なくとも一つの周波数分割フィルタの係数を設定すること」に該当する。さらに、図２７の色差ノイズ低減処理部４５０において、低周波抽出部２００の低周波抽出フィルタ、各高周波抽出部４０３、４０５、４４１〜４４７の高周波抽出フィルタは、図２に示したノイズパラメータ設定部１０９のＨＰＦフィルタ係数設定部２２１、ＬＰＦフィルタ係数設定部２２２で設定されることが「周波数分割手段を構成する周波数分割フィルタ群のうち少なくとも一つの周波数分割フィルタの係数を設定すること」に該当する。この構成によれば、所定係数の高周波抽出フィルタで抽出された各高周波成分に変換処理を行うことにより、各高周波成分に含まれているノイズを低減することができる。
【発明の効果】
【００４１】
本発明においては、任意の周波数特性の調整を行っても、特定の周波数成分に対して意図しない調整が行われることを防止できる。このため、信号処理により不可避的に生じる不要な像または信号成分であるアーティファクトの発生を防止することができる。また、ノイズ量に応じて、特定の周波数成分に対して意図しない調整が行われることを防止できるため、アーティファクトの発生が防止できる。本発明は、画像信号処理の際に後処理装置の周波数特性の変化に応じて、周波数分解に基づく変換処理の周波数分解特性を変えることにより、画質の劣化を防止すると共に、適切なノイズ低減と画像細部の保持の両立が可能な画像処理装置を提供することができる。
【図面の簡単な説明】
【００４２】
【図１】第１の実施形態の構成図である。
【図２】図１の部分的な構成を示す構成図である。
【図３】ベイヤー配列を示す説明図である。
【図４】高周波抽出フィルタの例を示す説明図である。
【図５】低周波抽出フィルタの例を示す説明図である。
【図６】低周波抽出フィルタの例を示す説明図である。
【図７】残余高周波抽出フィルタの例を示す説明図である。
【図８】残余高周波抽出フィルタの例を示す説明図である。
【図９】バンドパスフィルタの特性を示す特性図である。
【図１０】コアリング変換処理の例を示す特性図である。
【図１１】第２の実施形態の構成図である。
【図１２】図１１の部分的な構成を示す構成図である。
【図１３】図１２の部分的な構成を示す構成図である。
【図１４】ノイズモデルの例を示す特性図である。
【図１５】図１２の部分的な構成を示す構成図である。
【図１６】高周波抽出フィルタの例を示す説明図である。
【図１７】低周波抽出フィルタの例を示す説明図である。
【図１８】図１２の変形例を示す構成図である。
【図１９】第３の実施形態の構成図である。
【図２０】高周波抽出フィルタの例を示す説明図である。
【図２１】第３の実施形態にかかる変形例の構成図である。
【図２２】図２１の部分的な構成を示す構成図である。
【図２３】画素の例を示す説明図である。
【図２４】局所分散値の例を示す特性図である。
【図２５】第４の実施形態の構成図である。
【図２６】図２４の部分的な構成を示す構成図である。
【図２７】図２４の部分的な構成を示す構成図である。
【発明を実施するための形態】
【００４３】
以下、第１の実施形態について図を参照して説明する。図１〜図１０は、第１の実施形態に適用される図である。図１は、第１の実施形態の構成図、図２は、図１の部分的な構成を示す構成図、図３はベイヤー配列を示す説明図、図４は高周波抽出フィルタの例を示す説明図、図５は低周波抽出フィルタの例を示す説明図、図６は低周波抽出フィルタの例を示す説明図、図７は残余高周波抽出フィルタの例を示す説明図、図８は残余高周波抽出フィルタの例を示す説明図、図９はバンドパスフィルタの特性を示す特性図、図１０はコアリング変換処理の例を示す特性図である。
【００４４】
画像処理装置の第１の実施形態は、デジタルカメラを想定したもので、被写体を撮影し、得られたデジタルデータを記憶媒体に記録する機能を実現するものである。図１において、レンズ系１００、ＣＣＤ１０１を介して撮影された画像は、Ａ／Ｄ１０２においてデジタル信号に変換され、バッファ１０３に記憶される。バッファ１０３の出力は、ノイズ低減処理部１０４、エッジ強調処理部１０７、信号処理部１０５を順次介して、出力部１０６に入力されている。
【００４５】
さらに、図示しない、マイクロコンピュータ等により構成される制御部が、各部と双方向に接続されている。バッファ１０３から読み出された画像信号は、ノイズ低減処理部１０４で、画像信号に含まれるノイズが低減された後、エッジ強調処理部１０７でエッジ強調処理が行われる。さらに信号処理部１０５において、色補正処理、圧縮処理などの、公知の信号処理が行われ、出力部１０６で記録媒体に保存される。また、ノイズ低減パラメータ設定部１０９がノイズ低減部１０４に、エッジ強調パラメータ設定部１０８がエッジ強調処理部１０７に接続されている。
【００４６】
ノイズ低減処理は、図３に示すような、縦５画素、横５画素のベイヤー配列からなる領域を処理単位として行われる。ノイズ低減処理が行われると、図３で領域中心のＧ画素の信号が変換される。領域を２画素ずつ移動させながら、同様の処理を行うことを繰り返すことにより、画像全体にノイズ低減処理が行われる。これらのイズ低減処理は、制御部の制御に基づき行われる。
【００４７】
図２には、図１のノイズ低減処理部１０４、エッジ強調処理部１０７、ノイズ低減パラ
メータ設定部１０９、エッジ強調パラメータ設定部１０８の詳細構成が示されている。ノイズ低減処理部１０４は、バッファ１０３から読み出した画像信号を、複数の周波数成分に分解し、分解した各成分に変換処理を施した後、再合成し、ノイズを低減する。ここでは、周波数分解は、方向性のある高周波抽出フィルタによって行われる。
【００４８】
低周波抽出部２００は、バッファ１０３から読み出された画像信号に、図５、または図６に示されている低周波抽出フィルタを適用し、低周波成分を抽出する。低周波抽出フィルタは、ＬＰＦフィルタ係数設定部２２２により設定される。低周波抽出部２００により抽出された低周波成分は、合成部２０９に出力される。高周波抽出部２０１は、バッファ１０３から読み出された画像信号に、図４に示す高周波抽出フィルタ（Ｈ１〜Ｈ１２）と、図７または、図８に示されている残余高周波抽出フィルタにより、１３種類の高周波成分を抽出する。
【００４９】
高周波抽出フィルタ（Ｈ１〜Ｈ１２）と残余高周波抽出フィルタは、ＨＰＦフィルタ係数設定部２２１により設定される。図４は、高周波抽出フィルタ（Ｈ１〜Ｈ１２）を示しており、（ａ）は４５度斜め高周波成分、（ｂ）は１３５度斜め高周波成分、（ｃ）は水平垂直高周波成分、をそれぞれ抽出する。また、４５度斜め高周波抽出フィルタは、第一〜第四の高周波抽出フィルタ（Ｈ１〜Ｈ４）からなる。また、１３５度斜め高周波抽出フィルタは、第一〜第四の高周波抽出フィルタ（Ｈ５〜Ｈ８）からなる。さらに、水平垂直高周波抽出フィルタは、第一〜第四の高周波抽出フィルタ（Ｈ９〜Ｈ１２）からなる。なお、１／１６は、ビットシフト演算されるレベル調整用の除数である。図２の高周波抽出部２０１は、図４（ａ）〜（ｃ）に示されているように、４５度斜め方向、１３５度斜め方向、水平垂直方向の方向性のある高周波成分を抽出している。
【００５０】
残余高周波成分は、原信号から、低周波成分、水平垂直高周波成分、４５度斜め高周波成分、１３５度斜め高周波成分を抽出した後の残りの成分である。図７または、図８に示されている残余高周波抽出フィルタは、低周波成分、水平垂直高周波成分、４５度斜め高周波成分、１３５度斜め高周波成分、残余高周波成分のすべての成分を合成することにより、原信号が完全に復元されるようにするために設けられている。
【００５１】
高周波変換部２０２は、抽出された各高周波成分に変換処理を行うことにより、各高周波成分に含まれているノイズを低減する。高周波変換部２０２では、図１０に示すようなコアリング変換処理が行われる。図１０において、○の部分は閾値よりも絶対値が小さい振幅の成分を示している。高周波変換部２０２では、図１０のコアリング変換処理を行い、各高周波成分のうち、前記○の部分である閾値よりも小さい振幅の成分を削除することにより、ノイズを低減する。ノイズが低減された高周波成分は、合成部２０９にて他の成分と合成される。
【００５２】
エッジ強調処理部１０７は、ノイズ低減処理が行われた画像信号から、エッジ成分と低周波成分を抽出し、適宜エッジ成分に変換処理を行った後、低周波成分に加算混合することにより、画像信号の鮮鋭感を調整する。画素補間部２１０は、図３に示す処理ブロックのＧ画素の信号にローパスフィルタをかけることにより、低周波成分を抽出する。この処理により、図３に示す処理ブロックのＲ／Ｂ画素におけるＧ成分が生成される。エッジ抽出部２１１は、図３に示す処理ブロックのＧ画素の信号にバンドパスフィルタをかけることにより、エッジ成分を抽出する。
【００５３】
エッジ強調部２１２は、エッジ成分に係数をかけることにより、エッジ成分の変換処理を行う。エッジ加算部２１３では、エッジ強調部２１２で変換処理されたエッジ成分と、画素補間部２１０で抽出された低周波成分を合成し、エッジ強調された画像信号を得る。強調量設定部２３２からエッジ強調部２１２に与えられる強調係数を変えたり、ＢＰＦフ
ィルタ係数設定部２３１からエッジ抽出部２１１に与えられるバンドパスフィルタ係数を変えることにより、鮮鋭感の調整が行われる。これらの係数の変更は、モード設定部２５０のモード設定に応じて行われる。エッジ強調モード設定に応じて、エッジ抽出部２１１のバンドパスフィルタの特性が、図９（ａ）に示すようにＢＰＦ１、もしくは図９（ｂ）に示すようにＢＰＦ２となるように、バンドパスフィルタの係数が切り換えられる。
【００５４】
エッジ抽出部２１１のバンドパスフィルタが切り換えられると、それに応じて、ノイズ低減処理部１０４における低周波抽出部２００の低周波抽出フィルタも切り換える。エッジ抽出フィルタＢＰＦ１の特性に対しては、図５に示す低周波抽出フィルタ１を、またエッジ抽出フィルタＢＰＦ２の特性に対しては、図６に示す低周波抽出フィルタ２を設定する。図５に示す低周波抽出フィルタ１は図９（ａ）のＬＰＦ１の特性を有し、図６に示す低周波抽出フィルタ２は図９（ｂ）のＬＰＦ２の特性を有している。
【００５５】
さらに、低周波抽出部２００の低周波抽出フィルタの切り換えに応じて、高周波抽出部２０１の残余高周波抽出フィルタも切り換える。図５に示す低周波抽出フィルタ１に対しては、図７に示す残余高周波抽出フィルタ１を設定する。また、図６に示す抽出フィルタ２に対しては、図８に示す残余高周波抽出フィルタ２を設定する。
【００５６】
ノイズ低減処理部１０４の低周波抽出部２００の出力は、そのまま、エッジ強調処理部１０７に入力される。このため、ノイズ低減処理部１０４の低周波抽出フィルタの周波数特性と、エッジ強調処理部１０７のバンドパスフィルタの周波数特性に、図９で示すような重なり部分が生じる。このように重なり部分があると、重なった部分の周波数成分が強調される。この周波数特性が重なった周波数領域にノイズの成分が残留していると、ノイズ成分が強調されて画質の劣化を招く。一方、エッジ強調処理部１０７のバンドパスフィルタの特性は、所望の鮮鋭感が得られるように、個別に調整されるため、ノイズ低減処理部１０４の低周波抽出フィルタの周波数特性と、エッジ強調処理部１０７のバンドパスフィルタの周波数特性の関係は、ひとつに定まらない。
【００５７】
そこで、上記のように、鮮鋭感の調整に応じて、エッジ強調処理部１０７のバンドパスフィルタの周波数特性が変更された場合には、ノイズ低減処理部１０４の低周波抽出フィルタの周波数特性も変更する。これにより、ノイズ低減処理部１０４の低周波抽出フィルタの周波数特性と、エッジ強調処理部１０７のバンドパスフィルタの周波数特性に重なり部分が少なくなるようにして、残留したノイズ成分が強調されることによる画質の劣化を防止する。
【００５８】
図１１〜図１８は、本発明の第２の実施形態に適用される図である。図１１は第２の実施形態の構成図、図１２は図１１の部分的な構成を示す構成図、図１３は図１２の部分的な構成を示す構成図、図１４はノイズモデルの例を示す特性図、図１５は図１２の部分的な構成を示す構成図、図１６は高周波抽出フィルタの例を示す説明図、図１７は低周波抽出フィルタの例を示す説明図、図１８は図１２の変形例を示す構成図である。なお、第１の実施形態で説明した図３のベイヤー配列を示す説明図と、図１０のコアリング変換処理の例を示す特性図は、第２の実施形態でも適用される。
【００５９】
図１１に、本発明の第２の実施形態における画像処理装置を示す。この発明の実施形態は、デジタルカメラを想定しており、被写体を撮影し、得られたデジタルデータを記憶媒体に記録する機能を実現するものである。レンズ系１００、ＣＣＤ１０１を介して撮影された画像は、Ａ／Ｄ１０２においてデジタル信号に変換され、バッファ１０３に記憶される。バッファ１０３の出力は、ノイズ低減処理部１０４、信号処理部１０５を順次介して、出力部１０６に入力されている。
【００６０】
さらに、図示しない、マイクロコンピュータ等により構成される制御部が、各部と双方向に接続されている。バッファ１０３から読み出された画像信号は、ノイズ低減処理部１０４で画像信号に含まれるノイズが低減された後、信号処理部１０５において、色補正処理、圧縮処理などの公知の信号処理が行われ、出力部１０６で記録媒体に保存される。また、感度設定部４０４が、ノイズ低減部１０４に接続されている。
【００６１】
ノイズ低減処理部１０４におけるノイズ低減処理は、第１の実施形態で説明したと同様に、図３で示された縦５画素、横５画素のベイヤー配列からなる領域を処理単位として行われる。ノイズ低減処理が行われると、図３で領域中心のＧ画素の信号が変換される。領域を２画素ずつ移動させながら、同様の処理を行うことを繰り返すことにより、画像全体にノイズ低減処理が行われる。これらのノイズ低減処理は、制御部の制御に基づき行われる。
【００６２】
図１２に、ノイズ低減処理部１０４の詳細な構成を示す。ノイズ低減処理部１０４は、エッジ方向適応ノイズ低減処理部４０１、エッジ方向非適応ノイズ低減処理部４０２と、エッジ方向適応ノイズ低減処理部４０１、およびエッジ方向非適応ノイズ低減処理部４０２のそれぞれの出力に接続された信号選択部４０３とからなる。エッジ方向適応ノイズ低減処理部４０１は、バッファ１０３から読み出した画像信号を、複数の周波数成分に分解し、分解した各成分に変換処理を施した後、再合成し、ノイズを低減する。ここでは、周波数分解は、方向性のある高周波抽出フィルタによって行われる。エッジ方向適応ノイズ低減処理部４０１で実現されるノイズ低減処理は、複数の高周波成分に分割し、分割された成分ごとにノイズ低減処理を行うため、画像信号に含まれる本来の構造と、ノイズ成分との分離性が良いという特徴がある。
【００６３】
低周波抽出部２００は、バッファ１０３から読み出された画像信号に、図１７に示す低周波抽出フィルタを適用し、低周波成分を抽出する。抽出された低周波成分は、合成部２０９に出力される。また、高周波抽出部２０１は、水平高周波抽出部４２１、垂直高周波抽出部４２３、斜め高周波抽出部４２５からなる。高周波抽出部２０１は、バッファ１０３から読み出された画像信号に、図１６に示す高周波抽出フィルタ（Ｈ１〜Ｈ１２）により、１２種類の高周波成分を抽出する。
【００６４】
高周波変換部２０２は、水平高周波変換部４２２、垂直高周波変換部４２４、斜め高周波変換部４２６を有している。高周波変換部２０２は、水平高周波抽出部４２１、垂直高周波抽出部４２３、斜め高周波抽出部４２５で抽出された各高周波成分に変換処理を行うことにより、各高周波成分に含まれているノイズを低減する。
【００６５】
図１６の高周波抽出フィルタ（Ｈ１〜Ｈ１２）において、（ａ）は水平高周波成分、（ｂ）は垂直高周波成分、（ｃ）は斜め高周波成分、をそれぞれ抽出する。図１６においては、図６で説明したと同様に、例えば、水平高周波抽出フィルタは、第一〜第四の高周波抽出フィルタ（Ｈ１〜Ｈ４）からなる。また、垂直高周波抽出フィルタは、第一〜第四の高周波抽出フィルタ（Ｈ５〜Ｈ８）からなる。さらに、斜め高周波抽出フィルタは、第一〜第四の高周波抽出フィルタ（Ｈ９〜Ｈ１２）からなる。このように、高周波抽出フィルタは、水平方向、垂直方向、斜め方向の方向性のある高周波抽出を行う。
【００６６】
高周波変換部２０２では、前記した図１０に示すようなコアリング変換処理が行われる。各高周波成分のうち、閾値よりも小さい振幅の成分（図１０の○印の領域）を削除することによりノイズを低減する。高周波閾値算出部４５１は、変換処理に用いられる閾値を決定する。ノイズが低減された高周波成分は、合成部２０９にて他の成分と合成される。
【００６７】
図１３に示されるように、高周波閾値算出部４５１は、ノイズ量推定部８０６、閾値調
整部４４９から構成される。ノイズ量推定部８０６は、図１４に示すノイズモデルと低周波抽出部２００で得られた低周波成分を用いて、高周波成分に含まれると推定されるノイズ量を求める。図１４のノイズモデルは、予め、理論計算や実測により定められており、実線が高感度時、破線が低感度時の特性を示している。図１３に示される閾値調整部４４９は、ノイズ量推定部８０６で得られたノイズ量に調整値を乗算する。この調整値は、水平高周波変換部４２２、垂直高周波変換部４２４、斜め高周波変換部４２６において行われる変換処理の強度を調整するための値で、所望の画質が得られるように、予め調整作業を行って決定された値が設定されている。
【００６８】
図ｌ５に示されたエッジ方向非適応ノイズ低減処理部４０２は、バッファ１０３から読み出した画像信号を、第二低周波抽出部４１０および第二高周波抽出部４１１で低周波成分と高周波成分に分解する。第二低周波抽出部４１０で抽出された低周波成分（Ａ）は、第二高周波閾値算出部４５２に入力される。また、第二低周波抽出部４１０で抽出された低周波成分は、符号が反転された後、第二高周波抽出部４１１の加算器Ｃでバッファ１０３から読み出した画像信号と合成される。この結果、画像信号に含まれる高周波成分が抽出される。
【００６９】
第二高周波閾値算出部４５２は、図１３で説明した高周波閾値算出部４５１と同じ構成で、ノイズ量推定部８０６、閾値調整部４４９から構成される。第二高周波閾値算出部４５２の出力は、第二高周波変換部４１２に入力され、第二高周波抽出部４１１で抽出された高周波成分に対する変換処理の強度を調整する。第二高周波変換部４１２で高周波成分に変換処理を施した後、第二合成部４０９において第二低周波抽出郁４１０で抽出された低周波成分と再合成し、ノイズを低減する。第二合成部４０９の出力は、信号選択部４０３に入力される。
【００７０】
図１２の第二低周波抽出部４１０は、バッファ１０３から読み出された画像信号に、図１７に示す低周波抽出フィルタを適用し、低周波成分を抽出する。低周波抽出フィルタで抽出された低周波成分は、第二合成部４０９に出力される。第二高周波抽出部４１１は、減算器で構成され、バッファ１０３から読み出された画像信号から、低周波成分を減算することにより、高周波成分を抽出する。第二高周波変換部４１２は、第二高周波抽出部４１１で抽出された高周波成分に変換処理を行うことにより、高周波成分に含まれているノイズを低減する。
【００７１】
第二高周波変換部４１２では、図１０に示すようなコアリング変換処理が行われる。すなわち、第二高周波変換部４１２は高周波成分のうち、閾値よりも小さい振幅の成分を削除することによりノイズを低減する。第二高周波閾値算出部４５２は、変換処理に用いられる閾値を決定する。第二高周波変換部４１２でノイズが低減された高周波成分は、第二低周波抽出部４１０で抽出された低周波成分と第二合成部４０９で合成される。第二高周波閾値算出部４５２は、高周波閾値算出部４５１と同じ構成で、ノイズモデル、調整値が異なるものとなっている。
【００７２】
信号選択部４０３は、エッジ方向適応ノイズ低減処理部４０１の出力と、エッジ方向非適応ノイズ低減処理部４０２の出力を入力とし、感度設定部４０４の撮影感度設定に応じて、どちらかの信号を選択して信号処理部１０５に出力する。撮影感度が予め決められた感度よりも高い場合、信号選択部４０３は、エッジ方向非適応ノイズ低減処理部４０２の出力を選択して信号処理部１０５に出力する。
【００７３】
感度設定部４０４では、撮像素子の温度または入力信号に対するゲインまたは撮影時のシャッター速度のうち少なくとも一つの情報に基づき撮影感度を設定する。また、感度設定部４０４は、ＩＳＯ感度、露出情報、ホワイトバランス情報の少なくとも一つ以上の情
報に基づき前記ゲインを求めるゲイン算出手段を有する。
【００７４】
撮影感度が高い場合、画像信号に含まれるノイズが増えるため、図３に示すような小さな処理ブロック領域内では、画像信号に含まれる本来の構造と、ノイズ成分によって偶々生じた構造との区別が難しくなってくる。このため、ノイズ成分の一部が低減されずに残留してアーティファクトを発生させてしまい、画質を劣化してしまう。この結果、撮影感度が高い場合、エッジ方向適応ノイズ低減処理部４０１で実現されるノイズ低減処理よりも、エッジ方向非適応ノイズ低減処理部４０２で実現されるノイズ低減処理の方が好ましい結果を得られる。
【００７５】
そこで、撮影感度が低い場合は、エッジ方向適応ノイズ低減処理部４０１の出力を、ノイズ低減処理部１０４の出力とする。また、撮影感度が高く、画像信号に含まれるノイズ量が多い場合には、エッジ方向非適応ノイズ低減処理部４０２の出力を、ノイズ低減処理部１０４の出力とする。このように、信号選択部４０３は、撮影感度に応じてエッジ方向適応ノイズ低減処理部４０１、またはエッジ方向非適応ノイズ低減処理部４０２の出力を選択して信号処理部１０５に出力する。
【００７６】
このように、撮影感度に応じてノイズ低減処理を制御することにより、撮影感度が低い場合には、画像信号に含まれる本来の構造とノイズ成分を分離して、効果的にノイズ低減を行い、鮮鋭感の向上とノイズの低減を両立する。また、撮影感度が高い場合には、アーティファクトの発生を防止する。なお、図１２の信号選択部４０３の代わりに、図１８に示すような重み付け加算部５００を設け、撮影感度が高くなるほど、エッジ方向非適応ノイズ低減処理部４０２の出力の重みを大きくするように制御しても良い。
【００７７】
図ｌ８の重み付け加算部５００は、乗算器Ｄ、Ｅと加算器Ｆからなる。係数生成部５０１は、感度設定部４０４で設定された撮影感度に応じて、エッジ方向適応ノイズ低減処理部４０１の出力に対する重み係数を決定して、乗算器Ｅに設定し、エッジ方向非適応ノイズ低減処理部４０２の出力に対する重み係数を決定して、乗算器Ｄに設定する。乗算器Ｅは、エッジ方向適応ノイズ低減処理部４０１の出力に対して、エッジ方向適応ノイズ低減処埋部４０１の出力に対する重み係数を乗算して、加算器Ｆに出力する。乗算器Ｄは、エッジ方向非適応ノイズ低減処理部４０２の出力に対して、エッジ方向非撓応ノイズ低減処理部４０２の出力に対する重み係数を乗算して、加算器Ｆに出力する。加算器Ｆは、係数生成部５０１によって決定された係数により重み付けされたエッジ方向適応ノイズ低減処理部４０１の出力とエッジ方向非適応ノイズ低減処理部４０２の出力を加算して信号処理部１０５に出力する。上記の例では、信号選択部４０３における信号の選択や、重み付け加算部５００における信号の重み付け加算処理は、感度設定部４０４で設定された撮影感度に応じて行われている。これらの信号選択や重み付け加算処理は、画像信号に含まれるノイズ量に応じて行われることが望ましい。そこで、感度設定部４０４で設定された撮影感度の代わりに、ノイズ推定部８０６から出力されるノイズ推定量に基づいて、信号選択部４０３における信号の選択や、重み付け加算部５００における信号の重み付け加算処理が行われる構成としても良い。
【００７８】
図１９〜図２４は、本発明の第３の実施形態に適用される図である。図１９は第３の実施形態の構成図、図２０は高周波抽出フィルタの例を示す説明図、図２１は第３の実施形態にかかる変形例の構成図、図２２は図２１の部分的な構成を示す構成図、図２３は画素の例を示す説明図、図２４は局所分散値の例を示す特性図である。なお、第２の実施形態で説明した図１６の高周波抽出フィルタの例を示す説明図、図１７で説明した低周波抽出フィルタの例を示す説明図も、第３の実施形態に適用される。
【００７９】
第２の実施形態では、図１２の構成図に示されているように、周波数分解の方法が異な
る二つのノイズ低減処理部であるエッジ方向適応ノイズ低減処理部４０１とエッジ方向非適応ノイズ低減処理部４０２を設け、信号選択部４０３で、それぞれの出力を選択して出力していた。第３の実施形態では、ノイズ低減処理部をエッジ方向適応ノイズ低減処理部４０１とエッジ方向非適応ノイズ低減処理部４０２の二つ設けることに代えて、フィルタ係数を切り換えることにより、実行されるノイズ低減処理を切り換えるものである。
【００８０】
本実施形態では、図１９に示されているように、図１２のエッジ方向適応ノイズ低減処理部４０１と同じ構成に、フィルタ係数設定部２２０を加えた構成からなるノイズ低減部１０４を設ける。図１９において、フィルタ係数設定部２２０は、水平高周波抽出部４２１、垂直高周波抽出部４２３、斜め高周波抽出部４２５に、感度設定部４０４の撮影感度に応じて異なる抽出フィルタ係数を設定する。
各高周波抽出部４２１、４２３、４２５には、それぞれ水平高周波変換部４２２、垂直高周波変換部４２４、斜め高周波変換部４２６が接続されている。
【００８１】
図１９において、感度設定部４０４で設定された撮影感度の設定に基づいてフィルタ係数設定部２２０で、各高周波成分に設定される抽出フィルタ係数が変更されることにより、エッジ方向適応ノイズ低減処理とエッジ方向非適応ノイズ低減処理の切り換えが行われる。撮影感度が予め決められた感度よりも低い場合は、第２の実施形態で説明した図１６（高周波抽出フィルタ）、図１７（低周波抽出フィルタ）に示すフィルタ係数が設定されることにより、エッジ方向適応ノイズ低減処理が行われる。一方、撮影感度が予め決められた感度よりも高い場合は、図２０（高周波抽出フィルタ）、図１７（低周波抽出フィルタ）に示すフィルタ係数が設定されることにより、エッジ方向非適応ノイズ低減処理が行われる。
【００８２】
ここで、図２０は、図１６と同様に、各高周波抽出部に設定される抽出フィルタを示したものである。撮影感度が予め決められた感度よりも高い場合は、エッジ方向非適応ノイズ低減処理が行われるようにする。このため、第一水平高周波抽出フィルタ（Ｈ１）のみを高周波抽出フイルタとして用い、他の高周波抽出フイルタ（Ｈ２〜Ｈ１２）には、すべて０の係数を設定する。この結果、第一水平高周波抽出フィルタにより、すベての方向の高周波戒分が抽出され、エッジ方向非適応ノイズ低減処理が行われる。
【００８３】
図２１に第３の実施形態の変形例を示す。図１９に示した第３の実施形態においては、感度設定部４０４の撮影感度の設定に応じて、低周波抽出部２００、および各高周波抽出部（４２１〜４２５）に設定される抽出フィルタ係数を変更していた。図２１に示す変形例では、画像信号に含まれるノイズ量を推定し、推定されたノイズ量に基づき、抽出フィルタ係数を変更する。図２１に示されているように、図１９の撮影感度を設定する感度設定部４０４に代えてノイズ量分析部８８１が設けられている。
【００８４】
図２２にノイズ量分析部８８１を示す。高周波抽出部８９１は、図２０の高周波抽出フィルタにおいて、Ｈ１で示すフィルタにより画像信号の高周波成分を抽出する。分散算出部８９２は、注目画素の周辺ｎ×ｎ画素における局所分散値を算出する。局所分散値は、図２３に示す注目画素の周辺ｎ×ｎ画素における高周波成分の二乗値を合計し、ｎの二乗で除算したものである。入力画像の全画素に対応する高周波成分に対して局所分散値を算出し、分散値バッファ８９３に一時的に保持する。
【００８５】
ヒストグラム生成部８９４は、分散値バッファ８９３の局所分散値に基づき、局所分散値のヒストグラムを生成する。最頻値検出部８９５は、図２４の特性図に示すように、局所分散値のヒストグラムから、最も発生頻度が高い局所分散値を決定し、この時の局所分散値を、画像信号に含まれるノイズ量の推定値として出力する。フィルタ係数設定部２２０は、図２１で説明したようにノイズ量の推定値に基づいて、低周波抽出部２００および
各高周波抽出部（４２１〜４２５）に設定される抽出フィルタ係数を変更する。
【００８６】
ノイズ量の推定値が、予め決められた値より小さいときは、図１６（高周波抽出フィルタ）、図１７（低周波抽出フィルタ）に示すフィルタ係数が設定されることにより、エッジ方向適応ノイズ低減処理が行われる。一方、ノイズ量の推定値が、予め決められた感度よりも高い場合は、図２０（高周波抽出フィルタ）、図１７（低周波抽出フィルタ）に示すフィルタ係数が設定されることにより、エッジ方向適応非ノイズ低減処理が行われる。また、ノイズ量の推定値は、閾値調整部４４９にも与えられ、各高周波成分の変換処理の閾値の基準としても用いられる。
【００８７】
本変形例では、画像信号から、画像信号に含まれるノイズ量の推定値を算出するに際して、分散算出部８９２の処理による局所分散値を用いる方法を示したが、これに限定されるものではない。
【００８８】
図２５〜図２７は第４の実施形態に適用される図である。図２５は第４の実施形態の構成図、図２６は、図２５の部分的な構成を示す構成図、図２７は図２５の部分的な構成を示す構成図である。また、図４の高周波抽出フィルタ、図６の低周波抽出フィルタ、図８の残余高周波抽出フィルタ、図１６の高周波抽出フィルタ、および図１７の低周波抽出フィルタも第４の実施形態に適用される。
【００８９】
図２５に、本発明の第４の実施形態における画像処理装置を示す。レンズ系１００、ＣＣＤ１０１を介して撮影された画像は、Ａ／Ｄ１０２においてデジタル信号に変換され、バッファ１０３に記憶される。バッファ１０３に得られたＲＧＢ原色信号は、輝度色差分離部９１１に入力され、輝度信号（Ｇ）と色差信号（Ｒ−Ｇ、Ｂ−Ｇ）に分離される。輝度信号は、ノイズ低減処理部１０４に入力され、色差信号は、色差ノイズ低減処理部４５０に入力されて、それぞれ別個にノイズ低滅処理がなされる。
【００９０】
図２６に、輝度信号（Ｇ）に対してノイズ低減処理を行うノイズ低減処理部１０４を示す。低周波抽出部２００は、図６に示す低周波抽出フィルタにより構成される。水平垂直高周波抽出部２０１、４５度斜め高周波抽出部２０３、１３５度斜め抽出部２０５は、図４に示す高周波抽出フィルタ（Ｈ１〜Ｈ１２）により構成される。残余高周波抽出フィルタ２０７は、図８に示す残余高周波抽出フィルタにより構成される。
【００９１】
高周波閾値算出部４５１は、図１３で説明したように、ノイズ量推定部８０６、閾値調整部４４９で構成される。ノイズ量推定部８０６は、高周波成分に含まれると推定されるノイズ量を求めその出力は閾値調整部４４９に入力される。閾値調整部４４９は、前記ノイズ量に調整値を乗算して閾値を算出する。閾値調整部４４９で算出された閾値の出力Ｂは、水平垂直高周波変換処理部２０２、４５度斜め高周波変換処理部２０４、１３５度斜め高周波変換処理部２０６に入力される。
【００９２】
残余高周波閾値算出部９００は、ノイズ量調整部９２０、閾値調整部９４９で構成される。高周波閾値算出部４５１のノイズ量推定部８０６の出力は、残余高周波閾値算出部９００のノイズ量調整部９２０にも入力される。ノイズ量調整部９２０の出力は閾値調整部９４９に入力され、ノイズ量に調整値を乗算してその出力は残余高周波変換処理部２０８に入力される。各高周波変換処理部２０２〜２０８でノイズを低減した高周波成分の出力は、合成部２０９に入力される。合成部２０９には、低周波抽出部２００でノイズを低減された低周波成分の出力も入力され、前記高周波成分の出力と合成される。合成部２０９で合成された出力は、図２５で示した信号処理部１０５に出力される。
【００９３】
図２７に色差信号（Ｒ−Ｇ）、（Ｂ−Ｇ）に対してノイズ低減処理を行う色差ノイズ低
減処理部４５０を示す。低周波抽出部２００は、図１７に示す低周波抽出フィルタにより構成される。水平高周波抽出部４２１、垂直高周波抽出部４０３、斜め高周波抽出部４０５は、図１６に示す高周波抽出フィルタ（Ｈ１〜Ｈ１２）により構成される。水平高周波抽出部４２１は、第一水平高周波抽出部４４１、第二水平高周波抽出部４４３、第三水平高周波抽出部４４５、第四水平高周波抽出部４４７からなる。また、水平高周波変換部４２２は、第一水平高周波変換部４４２、第二水平高周波変換部４４４、第三水平高周波変換部４４６、第四水平高周波変換部４４８からなる。垂直高周波抽出部４０３、斜め高周波抽出部４０５も、水平高周波抽出部４２１と同様に、第一から第四の四つの抽出部から構成されている。また、垂直高周波変換部４０４、斜め高周波変換部４０６も同様である。
【００９４】
輝度色差分離部９１１から出力された色差信号は、水平高周波抽出部４２１、垂直高周波抽出部４０３、斜め高周波抽出部４０５と低周波抽出部２００に入力される。低周波抽出部２００では、低周波抽出フィルタで低周波成分を抽出して出力を合成部２０９に入力する。また、低周波抽出部２００の出力は、図２６で説明したような、ノイズ量推定部８０６、閾値調整部４４９で構成される高周波閾値算出部４５１に入力される。閾値調整部４４９で低周波成分のノイズ量に調整値を乗算して算出された閾値の出力Ｂは、垂直高周波変換部４０６、斜め高周波変換部４０４に入力される。また、水平高周波変換部４２２の第一水平高周波変換部４４２、第二水平高周波変換部４４４、第三水平高周波変換部４４６、第四水平高周波変換部４４８に入力される。
【００９５】
輝度色差分離部９１１から入力され、各高周波抽出部（４２１、４０３、４０５）で抽出された高周波成分に対して、各高周波変換部（４２２、４０４、４０６）で、前記閾値調整部４４９で算出された閾値に基づき、閾値処理を行う。
このような閾値処理を行うことにより、高周波成分のノイズ成分を削除する。低周波抽出部２００で抽出された低周波成分と、垂直高周波変換部４０６、斜め高周波変換部４０４、および水平高周波変換部４２２の第一〜第四高周波変換部（４４２〜４４８）でノイズ成分を削除した高周波成分を、合成部２０９で合成することにより、ノイズを低減した画像信号を得る。この画像信号は、図２５で示した信号処理部１０５に出力される。
【００９６】
第４の実施形態においては、輝度信号の周波数分割特性と色差信号の周波数分割特性が異なることが特徴である。ベイヤー配列では、輝度信号の周波数特性と色差信号の周波数特性が異なる。輝度信号、および色差信号は、図２６、図２７で説明したように、それぞれに適した周波数分割方法で変換処理を行うことができる。
【産業上の利用可能性】
【００９７】
以上説明したように、本発明によれば、画像信号を処理する際の周波数特性の変化に対応すると共に、適切なノイズ低減と画像細部の保持の両立が可能な画像処理装置を提供することができる。
【符号の説明】
【００９８】
１００・・・レンズ系、１０１・・・ＣＣＤ、１０２・・・Ａ／Ｄ、１０３・・・バッファ、１０４・・・ノイズ低減処理部、１０５・・・信号処理部、１０６・・・出力部、１０７・・・エッジ強調処理、１０８・・・エッジ強調パラメータ設定部、１０９・・・ノイズ低減パラメータ設定部、２００・・・低周波抽出部、２０１・・・高周波抽出部、２０２・・・高周波変換部、２０９・・・合成部、２２０・・・フィルタ係数設定部、２２１・・・ＨＰＦフィルタ係数設定部、２２２・・・ＬＰＦフィルタ係数設定部、４００・・・色差信号生成部、４０１・・・エッジ方向適応ノイズ低減処理部、４０２・・・エッジ方向非適応ノイズ低減処理部、４０３・・・信号選択部、４０４・・・感度設定部、４０９・・・第２合成部、４１０・・・第２低周波抽出部、４１１・・・第２高周波抽出
部、４１２・・・第２高周波変換部、４２１・・・水平高周波抽出部、４２２・・・水平高周波変換部、４４９・・・閾値調整部、４５０・・・色差ノイズ低減処理部、４５１・・・高周波閾値算出部、４５２・・・第２高周波閾値算出部、５００・・・重み付け加算部、８０６・・・ノイズ量推定部、８８１・・・ノイズ量分析部、８９４・・・ヒストグラム生成部、８９５・・・最頻値検出部、９００・・・残余高周波閾値算出部、９１１・・・輝度色差分離部
【特許請求の範囲】
【請求項１】
入力信号を低周波成分と少なくとも一つの高周波成分に分割する周波数分割手段と、前記高周波成分に対して変換処理を行う高周波成分変換手段と、前記低周波成分と変換処理された高周波成分とを合成する周波数合成手段と、前記入力信号のノイズ特性を推定するノイズ特性推定手段と、前記ノイズ特性推定手段における推定結果に応じて、周波数分割手段における分割特性を設定する周波数分割特性設定手段と、を有することを特徴とする画像処理装置。
【請求項２】
前記高周波成分変換手段は、前記高周波成分のうち、所定の高周波成分における所定の範囲を有する要素を強調または抑制する高周波成分抑制手段と、所定の範囲を定める少なくとも一つの閾値を設定する閾値設定手段と、からなることを特徴とする請求項２に記載の画像処理装置。
【請求項３】
ノイズ特性推定手段は、撮像素子の温度または前記入力信号に対するゲインまたは撮影時のシャッター速度のうち少なくとも一つの情報に基づき前記入力信号に含まれるノイズ量を推定するノイズ量推定手段からなることを特徴とする請求項１に記載の画像処理装置。
【請求項４】
ノイズ特性推定手段は、ＩＳＯ感度、露出情報、ホワイトバランス情報の少なくとも一つ以上の情報に基づき前記ゲインを求めるゲイン算出手段をさらに有することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記周波数分割特性設定手段は、前記周波数分割手段を構成する周波数分割フィルタ群のうち少なくとも一つの周波数分割フィルタの係数を設定することを特徴とする請求項１に記載の画像処理装置。
【請求項６】
入力信号を低周波成分と少なくとも一つの高周波成分に分割する周波数分割手段と、前記高周波成分に対して変換処理を行う高周波成分変換手段と、低周波成分と変換処理された高周波成分とを合成する周波数合成手段と、前記入力信号の周波数特性を推定する周波数特性推定手段と、前記周波数特性推定手段における推定結果に応じて、周波数分割手段における分割特性を設定する周波数分割特性設定手段と、を有することを特徴とする画像処理装置。
【請求項７】
前記高周波成分変換手段は、前記高周波成分のうち、所定の高周波成分における所定の範囲を有する要素を強調または抑制する高周波成分抑制手段と、所定の範囲を定める少なくとも一つの閾値を設定する閾値設定手段と、からなることを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記周波数特性推定手段は、撮像素子の前面に各画素ごとに設けられている少なくとも二種類の色フィルタの配置情報から前記色フィルタに対応する信号の周波数特性を推定することを特徴とする請求項６に記載の画像処理装置。
【請求項９】
前記周波数特性推定手段は、色信号の種別から当該色信号の周波数特性を推定することを特徴とする請求項６に記載の画像処理装置。
【請求項１０】
周波数分割特性設定手段は、前記周波数分割手段を構成する周波数分割フィルタ群のうち少なくとも一つの周波数分割フィルタの係数を設定することを特徴とする請求項６に記載の画像処理装置。
【請求項１】
入力信号を低周波成分と少なくとも一つの高周波成分に分割する周波数分割手段と、前記高周波成分に対して変換処理を行う高周波成分変換手段と、前記低周波成分と変換処理された高周波成分とを合成する周波数合成手段と、前記入力信号のノイズ特性を推定するノイズ特性推定手段と、前記ノイズ特性推定手段における推定結果に応じて、周波数分割手段における分割特性を設定する周波数分割特性設定手段と、を有することを特徴とする画像処理装置。
【請求項２】
前記高周波成分変換手段は、前記高周波成分のうち、所定の高周波成分における所定の範囲を有する要素を強調または抑制する高周波成分抑制手段と、所定の範囲を定める少なくとも一つの閾値を設定する閾値設定手段と、からなることを特徴とする請求項２に記載の画像処理装置。
【請求項３】
ノイズ特性推定手段は、撮像素子の温度または前記入力信号に対するゲインまたは撮影時のシャッター速度のうち少なくとも一つの情報に基づき前記入力信号に含まれるノイズ量を推定するノイズ量推定手段からなることを特徴とする請求項１に記載の画像処理装置。
【請求項４】
ノイズ特性推定手段は、ＩＳＯ感度、露出情報、ホワイトバランス情報の少なくとも一つ以上の情報に基づき前記ゲインを求めるゲイン算出手段をさらに有することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記周波数分割特性設定手段は、前記周波数分割手段を構成する周波数分割フィルタ群のうち少なくとも一つの周波数分割フィルタの係数を設定することを特徴とする請求項１に記載の画像処理装置。
【請求項６】
入力信号を低周波成分と少なくとも一つの高周波成分に分割する周波数分割手段と、前記高周波成分に対して変換処理を行う高周波成分変換手段と、低周波成分と変換処理された高周波成分とを合成する周波数合成手段と、前記入力信号の周波数特性を推定する周波数特性推定手段と、前記周波数特性推定手段における推定結果に応じて、周波数分割手段における分割特性を設定する周波数分割特性設定手段と、を有することを特徴とする画像処理装置。
【請求項７】
前記高周波成分変換手段は、前記高周波成分のうち、所定の高周波成分における所定の範囲を有する要素を強調または抑制する高周波成分抑制手段と、所定の範囲を定める少なくとも一つの閾値を設定する閾値設定手段と、からなることを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記周波数特性推定手段は、撮像素子の前面に各画素ごとに設けられている少なくとも二種類の色フィルタの配置情報から前記色フィルタに対応する信号の周波数特性を推定することを特徴とする請求項６に記載の画像処理装置。
【請求項９】
前記周波数特性推定手段は、色信号の種別から当該色信号の周波数特性を推定することを特徴とする請求項６に記載の画像処理装置。
【請求項１０】
周波数分割特性設定手段は、前記周波数分割手段を構成する周波数分割フィルタ群のうち少なくとも一つの周波数分割フィルタの係数を設定することを特徴とする請求項６に記載の画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【公開番号】特開２０１１−２４３２３３（Ｐ２０１１−２４３２３３Ａ）
【公開日】平成２３年１２月１日（２０１１．１２．１）
【国際特許分類】
【出願番号】特願２０１１−１９６９４７（Ｐ２０１１−１９６９４７）
【出願日】平成２３年９月９日（２０１１．９．９）
【分割の表示】特願２００５−２２４９２７（Ｐ２００５−２２４９２７）の分割
【原出願日】平成１７年８月３日（２００５．８．３）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２３年１２月１日（２０１１．１２．１）
【国際特許分類】
【出願日】平成２３年９月９日（２０１１．９．９）
【分割の表示】特願２００５−２２４９２７（Ｐ２００５−２２４９２７）の分割
【原出願日】平成１７年８月３日（２００５．８．３）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]