撮像装置
【課題】階調変換による伸張度合いの違いによってノイズが目立つことのないようにするとともにノイズ除去を高精度に行う。
【解決手段】ノイズ除去手段が、画像から低周波成分を抽出する低周波成分抽出手段と、画像から高周波成分を抽出する高周波成分抽出手段と、低周波成分抽出手段により抽出された低周波成分のレベルに応じて、正側のノイズに対するノイズ除去量である正側ノイズ除去量と、負側のノイズに対するノイズ除去量である負側ノイズ除去量とを算出するノイズ除去量算出手段と、高周波成分抽出手段により抽出された高周波成分に対して、ノイズ除去量算出手段により算出された正側ノイズ除去量及び負側ノイズ除去量に基づいてコアリング処理を行うコアリング手段と、コアリング手段によりコアリング処理が行われた高周波成分と、低周波成分抽出手段により抽出された低周波成分とを合成する合成手段とを備える。
【解決手段】ノイズ除去手段が、画像から低周波成分を抽出する低周波成分抽出手段と、画像から高周波成分を抽出する高周波成分抽出手段と、低周波成分抽出手段により抽出された低周波成分のレベルに応じて、正側のノイズに対するノイズ除去量である正側ノイズ除去量と、負側のノイズに対するノイズ除去量である負側ノイズ除去量とを算出するノイズ除去量算出手段と、高周波成分抽出手段により抽出された高周波成分に対して、ノイズ除去量算出手段により算出された正側ノイズ除去量及び負側ノイズ除去量に基づいてコアリング処理を行うコアリング手段と、コアリング手段によりコアリング処理が行われた高周波成分と、低周波成分抽出手段により抽出された低周波成分とを合成する合成手段とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の異なる光電変換特性を有する固体撮像素子を用いた撮像装置であって、特に、この固体撮像素子により得られた撮影画像に対するノイズ除去が可能な撮像装置に関するものである。
【背景技術】
【０００２】
従来、デジタルカメラ等の撮像装置は、所定の固体撮像素子（撮像センサ）を備え、この固体撮像素子による撮像によって撮影画像を取得する。一般的に、撮影画像（画像信号）にはノイズ成分が含まれるが、近年における更なる高画質化の要請にも伴い、このノイズ成分を好適に除去することが求められる。ところで、固体撮像素子には、該固体撮像素子の光電変換特性が複数の異なる光電変換特性からなるものがある。例えば、入射光量に対して電気信号が線形的に変換されて出力される線形の光電変換特性（線形特性という）と、入射光量に対して電気信号が対数的に変換されて出力される対数の光電変換特性（対数特性という）とからなる光電変換特性を有する固体撮像素子（リニアログセンサという）が知られている。なお、この線形特性及び対数特性（線形／対数特性という）を有するリニアログセンサによる撮影画像のことを「線形／対数画像」という。
【０００３】
この線形／対数特性のように複数の異なる光電変換特性を有する固体撮像素子により撮影する場合、対数特性において、入射光量に対して自然対数的に変換された出力が得られることから、広いダイナミックレンジ（広ダイナミックレンジ）が確保できるという利点がある反面、画像信号が対数圧縮されるためコントラスト性が悪くなる（対数特性の画像が低コントラストとなる）という不都合がある。そのため、画像から照明成分と反射率成分とを抽出し、対数特性の照明成分を線形変換して全体を線形特性に統一した後、これを圧縮することにより局所的なコントラストを保存したまま全体のダイナミックレンジ（ＤＲ）を圧縮するＤＲ圧縮などの階調変換を行うことで、当該対数特性における高コントラスト化が図られる。
【特許文献１】特願２００５−２７６２９９
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記階調変換に伴いノイズも増幅されてしまう、すなわち階調変換による画像データの伸張度合い（圧縮度合い）が大きな画素においては、コントラスト成分だけでなくノイズ成分も伸張されてしまい、一律のノイズ除去を行うだけでは伸張度合いの大きな領域でのノイズが目立ってしまっていた。
【０００５】
これに関し、例えば特許文献１には、ノイズ除去量を階調変換における伸張度合いに応じて制御することで、すなわち撮影画像における当該伸張度合いに相当する輝度レベルに応じてノイズ除去量に関するコアリング係数を算出し、これを用いたノイズ除去処理を行うことで、全体の残留ノイズ量が一定となるようにする技術が開示されている。しかしながら、この技術では、ノイズ除去量が一律なものとして扱われるため、正確にノイズ除去を行うことができなかった。
【０００６】
本発明は、上記事情に鑑みてなされたもので、階調変換による伸張度合いの違いによってノイズが目立つことのないようにすることができるとともに、ノイズ除去を高精度に行うことができ、ひいては高画質な撮影画像を得ることができる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明に係る撮像装置は、複数の異なる光電変換特性を有する固体撮像素子と、前記固体撮像素子による撮像により得られる画像に対するノイズ除去処理を行うノイズ除去手段と、前記ノイズ除去手段によりノイズ除去処理が行われた画像に対する階調変換処理を行う階調変換手段とを備える撮像装置であって、前記ノイズ除去手段は、前記画像から低周波成分を抽出する低周波成分抽出手段と、前記画像から高周波成分を抽出する高周波成分抽出手段と、前記画像の信号に対して該信号のレベルよりもレベルが高い側を正側、レベルが低い側を負側と定める場合において、前記低周波成分抽出手段により抽出された低周波成分のレベルに応じて、前記正側のノイズに対するノイズ除去量である正側ノイズ除去量と、前記負側のノイズに対するノイズ除去量である負側ノイズ除去量とを算出するノイズ除去量算出手段と、前記高周波成分抽出手段により抽出された高周波成分に対して、前記ノイズ除去量算出手段により算出された前記正側ノイズ除去量及び前記負側ノイズ除去量に基づいてコアリング処理を行うコアリング手段と、前記コアリング手段によりコアリング処理が行われた高周波成分と、前記低周波成分抽出手段により抽出された低周波成分とを合成する合成手段とを備えることを特徴とする。
【０００８】
上記構成によれば、固体撮像素子が複数の異なる光電変換特性を有するものとされ、ノイズ除去手段によって、固体撮像素子による撮像により得られる画像に対するノイズ除去処理が行われ、階調変換手段によって、ノイズ除去手段によりノイズ除去処理が行われた画像に対する階調変換処理が行われる。そして、ノイズ除去手段において、低周波成分抽出手段によって、画像から低周波成分が抽出され、高周波成分抽出手段によって、画像から高周波成分が抽出される。また、画像の信号に対して該信号のレベルよりもレベルが高い側を正側、レベルが低い側を負側と定める場合において、ノイズ除去量算出手段によって、低周波成分抽出手段により抽出された低周波成分のレベルに応じて、正側のノイズに対するノイズ除去量である正側ノイズ除去量と、負側のノイズに対するノイズ除去量である負側ノイズ除去量とが算出される。そして、コアリング手段によって、高周波成分抽出手段により抽出された高周波成分に対して、ノイズ除去量算出手段により算出された正側ノイズ除去量及び負側ノイズ除去量に基づいてコアリング処理が行われ、合成手段によって、コアリング手段によりコアリング処理が行われた高周波成分と、低周波成分抽出手段により抽出された低周波成分とが合成される。
【０００９】
また、上記構成において、前記正側ノイズ除去量及び負側ノイズ除去量は、前記コアリング処理におけるそれぞれのコアリング係数であって、前記ノイズ除去量算出手段は、前記ノイズ除去手段によりノイズ除去処理が行われた画像に対して前記階調変換手段による階調変換処理を行った後に該画像に残る残留ノイズ量が、前記正側及び負側それぞれにおいて前記低周波成分のレベルに依らず一定となるように前記各コアリング係数を算出することが好ましい。（請求項２）
【００１０】
これによれば、正側ノイズ除去量及び負側ノイズ除去量が、コアリング処理におけるそれぞれのコアリング係数とされ、ノイズ除去量算出手段によって、ノイズ除去手段によりノイズ除去処理が行われた画像に対して階調変換手段による階調変換処理を行った後に該画像に残る残留ノイズ量が、正側及び負側それぞれにおいて低周波成分のレベルに依らず一定となるように各コアリング係数が算出される。
【００１１】
また、上記構成において、前記固体撮像素子による撮像により得られる画像は、複数の異なる特性を有する複数特性画像であって、前記ノイズ除去手段は、前記複数特性画像における複数の異なる特性の画像を１種類の特性の画像に統一する変換処理を行う特性変換手段をさらに備え、当該特性変換手段による変換処理によって前記複数特性画像を特性が統一された統一特性画像に変換した後、該統一特性画像に対する前記ノイズ除去処理を行うことが好ましい。（請求項３）
【００１２】
これによれば、固体撮像素子による撮像により得られる画像が、複数の異なる特性を有する複数特性画像とされ、ノイズ除去手段において、特性変換手段によって、複数特性画像における複数の異なる特性の画像を１種類の特性の画像に統一する変換処理が行われて複数特性画像がその特性が統一された統一特性画像に変換された後、該統一特性画像に対するノイズ除去処理が行われる。
【００１３】
また、上記構成において、前記固体撮像素子による撮像により得られる画像は、複数の異なる特性を有する複数特性画像であって、前記ノイズ除去手段は、前記複数特性画像における複数の異なる特性の画像を１種類の特性の画像に統一する変換処理を行う特性変換手段をさらに備え、前記複数特性画像に対する前記ノイズ除去処理を行った後、前記特性変換手段による変換処理によって前記複数特性画像を特性が統一された統一特性画像に変換することが好ましい。（請求項４）
【００１４】
これによれば、固体撮像素子による撮像により得られる画像が、複数の異なる特性を有する複数特性画像とされ、ノイズ除去手段において、複数特性画像に対するノイズ除去処理が行われた後、特性変換手段によって、複数特性画像における複数の異なる特性の画像を１種類の特性の画像に統一する変換処理が行われて複数特性画像がその特性が統一された統一特性画像に変換される。
【００１５】
また、上記構成において、前記固体撮像素子は、入射光量に対して電気信号が線形的に変換されて出力される線形光電変換特性と、該入射光量に対して電気信号が対数的に変換されて出力される対数光電変換特性とからなる光電変換特性を有するものであって、前記複数特性画像は、線形特性の画像と対数特性の画像とからなる線形／対数画像であることが好ましい。（請求項５）
【００１６】
これによれば、固体撮像素子が、入射光量に対して電気信号が線形的に変換されて出力される線形光電変換特性と、該入射光量に対して電気信号が対数的に変換されて出力される対数光電変換特性とからなる光電変換特性を有するものとされ、複数特性画像が、線形特性の画像と対数特性の画像とからなる線形／対数画像とされる。
【００１７】
また、上記構成において、前記固体撮像素子は、入射光量に対して電気信号が線形的に変換されて出力される第１の線形光電変換特性と、該第１の線形光電変換特性とグラフ上の傾きが異なる第２の線形光電変換特性とからなる光電変換特性を有するものであって、前記複数特性画像は、２種類の線形特性の画像からなる線形／線形画像であることが好ましい。（請求項６）
【００１８】
これによれば、固体撮像素子が、入射光量に対して電気信号が線形的に変換されて出力される第１の線形光電変換特性と、該第１の線形光電変換特性とグラフ上の傾きが異なる第２の線形光電変換特性とからなる光電変換特性を有するものとされ、複数特性画像が、２種類の線形特性の画像からなる線形／線形画像とされる。
【００１９】
また、上記構成において、前記特性変換手段は、前記複数特性画像を線形特性の画像に統一する変換処理を行うことが好ましい。（請求項７）
【００２０】
これによれば、特性変換手段によって、複数特性画像を線形特性の画像に統一する変換処理が行われる。
【００２１】
また、上記構成において、前記ノイズ除去量算出手段は、前記低周波成分のレベルに応じて与えられる、前記階調変換手段による階調変換処理としてのダイナミックレンジ圧縮処理におけるダイナミックレンジ圧縮率（ｋ）と、既定値として与えられる前記画像のノイズ量（ｎ）及び前記残留ノイズ量（ｒ）とから前記各コアリング係数を算出することが好ましい。（請求項８）
【００２２】
これによれば、ノイズ除去量算出手段によって、低周波成分のレベルに応じて与えられる階調変換手段による階調変換処理としてのダイナミックレンジ圧縮処理におけるダイナミックレンジ圧縮率（ｋ）と、既定値として与えられる画像のノイズ量（ｎ）及び残留ノイズ量（ｒ）とから各コアリング係数が算出される。
【００２３】
また、上記構成において、前記ノイズ除去量算出手段は、前記ダイナミックレンジ圧縮率を「１」としてコアリング係数を算出することが好ましい。（請求項９）
【００２４】
これによれば、ノイズ除去量算出手段によって、ダイナミックレンジ圧縮率を「１」としてコアリング係数が算出される。
【００２５】
また、上記構成において、前記ノイズ除去手段は、前記固体撮像素子による撮像により得られる画像からエッジ量を検出するエッジ量検出手段と、前記エッジ量検出手段により検出されたエッジ量に基づいて、前記コアリング処理におけるコアリングの度合いを調整する調整手段とをさらに備えることが好ましい。（請求項１０）
【００２６】
これによれば、ノイズ除去手段において、エッジ量検出手段によって、固体撮像素子による撮像により得られる画像からエッジ量が検出され、調整手段によって、エッジ量検出手段により検出されたエッジ量に基づいて、コアリング処理におけるコアリングの度合いが調整される。
【発明の効果】
【００２７】
請求項１に係る撮像装置によれば、抽出された低周波成分のレベルに応じてノイズ除去量が算出されるので、すなわち階調変換処理を行うに際しての階調（輝度）レベル（低周波成分のレベルに対応する）に応じてノイズの除去量を設定することができるので、階調変換による伸張度合いが違うことによってノイズが目立つことのないようにすることができる。さらに、このノイズ除去量が、低周波成分のレベルに応じて、正側のノイズに対する正側ノイズ除去量と、負側のノイズに対する負側ノイズ除去量とに細分化して算出されて、この正側ノイズ除去量及び負側ノイズ除去量に基づいてコアリング処理が行われるので、ノイズ除去を高精度に行うことができる。これらのことにより、ひいては高画質な画像を得ることができる。
【００２８】
請求項２に係る撮像装置によれば、ノイズ除去処理が行われた画像に対して階調変換処理を行った後に該画像に残る残留ノイズ量が、正側及び負側それぞれにおいて低周波成分のレベルに依らず一定となるように各コアリング係数が算出されるので、当該コアリング係数の算出方法を用いて、正側ノイズ除去量或いは負側ノイズ除去量であるコアリング係数を、容易に且つ確実に算出することができる。
【００２９】
請求項３に係る撮像装置によれば、固体撮像素子により得られた画像（複数特性画像）がその特性が統一された統一特性画像に変換された後、この統一特性画像に対するノイズ除去処理が行われるので、統一特性画像にノイズ除去処理を施すことができる、すなわちノイズ除去処理が行われた時点で、既にその画像が統一特性画像であるようにすることができ、後段の階調変換手段における階調変換処理に、このノイズ除去処理後の画像をそのまま（変換処理動作を必要とせずに）使用可能な構成を実現することができる。
【００３０】
請求項４に係る撮像装置によれば、固体撮像素子により得られた画像（複数特性画像）に対するノイズ除去処理が行われた後、特性が統一された統一特性画像に変換される構成であるので、画像に対するノイズ除去処理と、統一特性画像に変換する変換処理とを別々に行うことができ、すなわち例えばノイズ除去処理が施された画像に対して別の処理を施した後に、階調変換処理に供するべく当該変換処理を行うことができ、ひいては画像の取り扱いの自由度が高くなる（取り扱い性が向上する）。
【００３１】
請求項５に係る撮像装置によれば、固体撮像素子が線形及び対数特性からなる光電変換特性を有し、この固体撮像素子により線形／対数画像が得られる構成であるので、広いダイナミックレンジを確保しつつ、当該正側及び負側のノイズを考慮した高精度のノイズ除去処理による高画質な画像を得ることが可能となる。
【００３２】
請求項６に係る撮像装置によれば、固体撮像素子が傾きの異なる（２種類の）線形特性からなる光電変換特性を有し、この固体撮像素子により線形／線形画像が得られる構成であるので、広いダイナミックレンジを確保しつつ、当該正側及び負側のノイズを考慮した高精度のノイズ除去処理による高画質な画像を得ることが可能となる。
【００３３】
請求項７に係る撮像装置によれば、複数特性画像が線形特性の画像に統一される、すなわち画像の特性が線形特性に統一される構成であるので、階調変換手段による階調変換処理を容易に行うことができるようになる。
【００３４】
請求項８に係る撮像装置によれば、正側及び負側のコアリング係数が、低周波成分のレベルに応じて与えられるダイナミックレンジ圧縮率（ｋ）と、既定値として与えられる画像のノイズ量（ｎ）及び残留ノイズ量（ｒ）とから算出されるので、すなわち、ノイズ量及び残留ノイズ量は既定値であり且つダイナミックレンジ圧縮率は低周波成分に応じて与えられるものであり、コアリング係数の算出に要する値は全て低周波成分に応じて定まると言うことができるので、正側及び負側のコアリング係数を、１つの評価（変化）パラメータである低周波成分を用いた簡易な演算によって容易に算出することができる。
【００３５】
請求項９に係る撮像装置によれば、ダイナミックレンジ圧縮率を「１」としてコアリング係数が算出される構成であるので、ダイナミックレンジ圧縮を行わない（ｋ＝１）つまり階調変換を行わない場合における当該正側及び負側のコアリング係数が算出され、階調変換を行う前の段階において正側及び負側の残留ノイズが一定とされた高精度にノイズ除去がなされた画像を得ることができる。
【００３６】
請求項１０に係る撮像装置によれば、画像から検出されたエッジ量に基づいて、コアリング処理におけるコアリングの度合いが調整されるので、正側ノイズ除去量及び負側ノイズ除去量に基づく高精度なノイズ除去が行われるとともに、エッジ量が考慮されたすなわちエッジ保存がなされた、より高画質な画像を得ることができる。
【発明を実施するための最良の形態】
【００３７】
（実施形態１）
図１は、第１の実施形態に係る撮像装置の一例であるデジタルカメラ１の主に撮像処理に関するブロック構成図を示す。図１に示すようにデジタルカメラ１は、レンズ部２、固体撮像素子３、アンプ４、Ａ／Ｄ変換部５、ノイズ除去部６、階調変換部７、画像メモリ８、全体制御部９、モニタ部１０及び操作部１１を備えている。
【００３８】
レンズ部２は、被写体光（光像）を取り込むレンズ窓として機能するとともに、この被写体光をカメラ本体の内部に配置されている固体撮像素子３へ導くための光学レンズ系を構成するものであり、例えば被写体光の光軸Ｌに沿って直列的に配置される例えばズームレンズやフォーカスレンズ、その他の固定レンズブロックからなるレンズ群である。レンズ部２は、当該レンズの透過光量を調節するための絞り（図略）やシャッタ（図略）を備えており、全体制御部９によってこの絞りやシャッタが駆動制御される。
【００３９】
固体撮像素子３は、レンズ部２により結像された被写体光像の光量に応じ、Ｒ、Ｇ、Ｂの各色成分の画像信号に光電変換して後段のアンプ４へ出力する撮像センサである。本実施形態においては、固体撮像素子３として、図４に示すような入力輝度（センサ入射輝度）が低い場合（暗時）に出力画素信号（光電変換により発生する出力電気信号）が線形的に変換されて出力される線形特性と、輝度が高い場合（明時）に出力画素信号が対数的に変換されて出力される対数特性とからなる光電変換特性、換言すれば、低輝度側が線形の光電変換特性、高輝度側が対数特性の光電変換特性を有するものが用いられる。このような光電変換特性を有する固体撮像素子３（リニアログセンサという）による撮像によって線形／対数画像が得られる。なお、線形特性と対数特性との切り替わり点（変曲点）は、固体撮像素子３の各画素回路に対する所定の制御信号に基づいて任意に変化させることが可能である。また、光電変換特性における上記線形特性に示すような低輝度側の特性を「低輝度側特性」、上記対数特性に示すような高輝度側の特性を「高輝度側特性」と表現するものとする。
【００４０】
図２は、固体撮像素子３の一例である二次元のＭＯＳ型固体撮像装置（ＣＭＯＳイメージセンサ）の概略構成図である。同図において、Ｇ１１〜Ｇｍｎは、行列（マトリクス）配列された画素を示している。この画素Ｇ１１〜Ｇｍｎからなる画素部の外周縁部近傍には、垂直走査回路３０１と水平走査回路３０２とが配設されている。垂直走査回路３０１は、行のライン（信号線）３０４−１、３０４−２、・・・３０４−ｎ（これらを纏めて行ライン３０４という）を順次走査する。水平走査回路３０２は、各画素から出力信号線３０６−１、３０６−２、・・・３０６−ｍ（これらを纏めて出力信号線３０６という）に導出された光電変換信号を画素毎に水平方向に順次読み出す。なお、各画素は電源ライン３０５により電力供給がなされている。
【００４１】
出力信号線３０６−１、３０６−２、・・・３０６−ｍには、それぞれ、後述のトランジスタＴ１２と対になって増幅回路を構成する定電流源３０７−１、３０７−２、・・・３０７−ｍ（これらを纏めて定電流源３０７という）が設けられている。ただし、この増幅回路として、定電流源３０７に代えて抵抗やトランジスタを設けてもよい。この出力信号線３０６を介して出力される各画素の撮像時の画像データ及びリセット時の補正データが、順次、選択回路（サンプルホールド回路）３０８−１、３０８−２、・・・３０８−ｍ（これらを纏めて選択回路３０８という）に出力される。この選択回路３０８に対して、行毎に画像データ及び補正データが出力されてサンプルホールドされる。サンプルホールドされた画像データ及び補正データは、列毎に、補正回路３０９に出力され、補正回路３０９において、感度バラツキによるノイズ成分が除去されるように、補正データに基づいて画像データの補正が行われる。そして、補正回路３０９から各画素の感度バラツキが補正された画像データが、各画素毎にシリアルに出力される。
【００４２】
図３は、図２に示す各画素Ｇ１１〜Ｇｍｎの構成例を示す回路図である。同図に示すように、固体撮像素子３の各画素は、フォトダイオードＰＤ１、ＭＯＳＦＥＴ（Metal Oxide Semiconductor Field Effect Transistor）としてのトランジスタＴ１０〜Ｔ１３、及びＦＤ（Floating Diffusion）から構成されている。トランジスタＴ１０〜Ｔ１３は、ここではＮチャンネルＭＯＳＦＥＴが採用されている。ＶＤＤ、φＲＳＢ、φＲＳＴ、φＴＸ及びφＶは、各トランジスタに対する信号（電圧）を示し、ＧＮＤは接地を示している。
【００４３】
フォトダイオードＰＤ１は、感光部（光電変換部）であり、被写体からの入射光量に応じた電気信号（光電流ＩＰＤ１）を出力する。トランジスタＴ１２は、図２に示す定電流源３０７と対になってソースフォロワ増幅用の増幅回路（ソースフォロワアンプ）を構成するものであり、後述する電圧Ｖ１ＯＵＴに対する増幅（電流増幅）を行う。トランジスタＴ１３は、ゲートに印加する電圧（信号φＶ）に応じてオン、オフされるスイッチとして動作する信号読み出し用のトランジスタ（行選択トランジスタ）である。トランジスタＴ１３のソースは、図２に示す出力信号線３０６に接続されており、トランジスタＴ１３がオンした場合、トランジスタＴ１２で増幅された電流を出力電流として出力信号線３０６へ導出する。
【００４４】
トランジスタＴ１０は、同トランジスタのゲートに印加される電圧に応じてオン、オフされるスイッチとして動作するものであって、当該ゲート電位の高低によるオン、オフ切り替えに応じて、フォトダイオードＰＤ１で発生した光電流ＩＰＤ１（電荷）のＦＤに対する転送、非転送の切り替えを行う所謂転送ゲートとなるものである。フォトダイオードＰＤ１で発生した光電流ＩＰＤ１はフォトダイオードＰＤ１の寄生容量に流れてその電荷が蓄積され、蓄積電荷量に応じた電圧が発生する。このときトランジスタＴ１０がオン状態であれば、この寄生容量に蓄積された電荷（負電荷）がＦＤへ向けて移動する。ＦＤは、電荷（信号電荷）を一旦保持しておく電荷保持部であり、この保持した電荷を電圧に変える（電荷電圧変換を行う）所謂キャパシタの役割を担うものである。
【００４５】
トランジスタＴ１１（リセットゲートトランジスタ）は、同トランジスタのゲート電圧の高低によるオン、オフ切り替えに応じてＦＤに対するリセットバイアスの印加、非印加の切り替えを行うものであるとともに（例えばトランジスタＴ１１がオン状態の場合、トランジスタＴ１０もオン状態となっており、トランジスタＴ１１、ＦＤ、トランジスタＴ１０及びフォトダイオードＰＤ１を挟んだφＲＳＢ及びＧＮＤ間にリセットバイアスがかけられた状態となる）、ゲート電圧をＭｉｄ電位（中間レベル）とすることで、フォトダイオードＰＤ１からＦＤに移動する電荷（ＦＤを流れる電流）のＦＤ及びトランジスタＴ１１による電荷電圧変換によってそれぞれ線形変換及び対数変換を行わせるものである。
【００４６】
この場合、トランジスタＴ１１には上記Ｍｉｄ電位に応じた電流（リセット電流）が流れ、トランジスタＴ１１のソースがこのリセット電流に応じた電位となる。そして、フォトダイオードＰＤ１から移動してくる電荷による電位が、Ｍｉｄ電位に応じたトランジスタＴ１１のソース電位より小さい場合には、すなわち撮像する被写体の輝度が低く、つまり被写体が暗く、フォトダイオードＰＤ１に入射される入射光量が少ない場合には、ＦＤにおいて線形変換としての電荷電圧変換が行われ、一方、ソース電位を超える場合には、すなわち撮像する被写体の輝度が高く、つまり被写体が明るく、フォトダイオードＰＤ１に入射される入射光量が多い場合には、トランジスタＴ１１において対数変換としての電荷電圧変換が行われる。
【００４７】
これにより、ＦＤとトランジスタＴ１２との接続ノード（出力Ｖ１ＯＵＴ）には、ＦＤにおける光電流ＩＰＤ１の積分値による線形出力としての電圧、或いはトランジスタＴ１１における光電流ＩＰＤ１に応じた電流−電圧変換による対数出力としての電圧が現れる。すなわち、光電変換特性における線形特性領域での出力値はＦＤにおける光電流ＩＰＤ１の積分値となるが、対数特性領域については、ＦＤ部に蓄えられた電荷による電位がトランジスタＴ１１（リセットゲート）のソース電流を超えた領域において、光電流ＩＰＤ１と等しい電流がトランジスタＴ１１に流れ、トランジスタＴ１１において光電流ＩＰＤ１が電流−電圧変換された値（電圧）が当該出力値としてＦＤ部に現れる（信号電荷を対数圧縮した電荷が上記寄生容量に蓄積される）。このトランジスタＴ１１での電流−電圧変換が上記対数変換に相当する。そして、トランジスタＴ１３がオンされると、これら各電圧に応じたトランジスタＴ１２による増幅電流が、トランジスタＴ１３を介して出力電流として出力信号線３０６に導出される。このように固体撮像素子３により、被写体輝度（センサ入射輝度）に応じて線形変換又は対数変換された出力信号が得られる。
【００４８】
なお、ここでは、固体撮像素子３の各画素において上記ＮチャンネルＭＯＳＦＥＴを採用しているが、ＰチャンネルＭＯＳＦＥＴを採用してもよい。また、固体撮像素子３として、上述のようにＦＤを用いて線形変換及び対数変換を行うＣＭＯＳイメージセンサに限らず、例えばＭＯＳＦＥＴ（Ｐ型又はＮ型）の所謂サブスレッショルド特性（ゲート電圧が閾値以下の時にサブスレッショルド電流と呼ばれる微小電流が流れる特性）を利用することで当該線形変換及び対数変換を行うＣＭＯＳイメージセンサを採用してもよい。ただし、ＣＭＯＳイメージセンサに限らず、ＶＭＩＳイメージセンサやＣＣＤイメージセンサ等であってもよい。
【００４９】
アンプ４は、例えばＡＧＣ（オートゲインコントロール）回路を備え、固体撮像素子３から入力されるアナログ画像信号がＡ／Ｄ変換部５の入力電圧範囲に合うように、適切な増幅率で増幅するものである。アンプ４は、ＡＧＣ回路の他、画像信号のサンプリングノイズの低減を行うＣＤＳ（相関二重サンプリング）回路等を備えていてもよい。なお、ＡＧＣ回路に対するゲイン値は全体制御部９によって設定される。
【００５０】
Ａ／Ｄ変換部５は、アンプ４にて増幅（ゲイン調整）されたアナログ画像信号をデジタル画像信号に変換するものであり、固体撮像素子３の各画素で受光して得られる画素信号をそれぞれ例えば１２ビットの画素データに変換する。
【００５１】
ノイズ除去部６は、Ａ／Ｄ変換部５から入力される画像信号のノイズを除去するものである。なお、ノイズ除去部６から出力される画像信号は、後述するように特性が線形特性に統一された状態の画像信号である。このノイズ除去部６の構成及び動作の詳細については後述する。
【００５２】
階調変換部７は、ノイズ除去部６から入力される画像信号（線形画像信号）が適切な出力レベルとなるように、画像信号に対して階調変換処理を行い、該画像信号の階調特性を変化させるものである。この階調変換においては、一般的にＤＲ圧縮と呼ばれる技術を利用する。ＤＲ圧縮技術の一例として、画像から照明成分と反射率成分とを抽出し（画像を照明成分と反射率成分とに分解し）、照明成分を圧縮した後、これを反射率成分と合成する方法がある。この技術は、広ダイナミックレンジ画像は、照明成分が広ダイナミックレンジであるので、この照明成分のダイナミックレンジを圧縮すればよい、という考えに基づいている。
【００５３】
画像（入力画像、基画像）Ｉは、照明成分Ｂと反射率成分Ｄとを用いて、以下の（１）式で表すことができる。
Ｉ＝Ｂ＊Ｄ ・・・（１）
但し、記号「＊」は乗算を示す（以降同じ）。
【００５４】
上記照明成分Ｂは、低周波であるとの仮定に基づき、画像Ｉをローパスフィルタ（ＬＰＦ）に通すことで求めることができる。ここで、照明成分Ｂの高輝度部を適切な出力レベルとなるように処理を施し、すなわちＤＲ圧縮を行い、これにより圧縮後の照明成分Ｂ’を得る。この照明成分Ｂ’を用いてＤＲ圧縮された画像Ｉ’は以下の（２）式により表される。
Ｉ’＝Ｂ’＊Ｄ ・・・（２）
【００５５】
また、上記（１）、（２）式より、画像Ｉ’は以下の（３）式で表される。
Ｉ’＝Ｉ＊Ｂ’／Ｂ＝ｋ（Ｂ）＊Ｉ ・・・（３）
但し、ｋ（Ｂ）（＝Ｂ’／Ｂ）（ｋ（Ｂ）を単にｋとも表す）は、ＤＲ圧縮率又は圧縮特性を示す。
【００５６】
画像メモリ８は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）等のメモリからなり、ノイズ除去部６や階調変換部７においてデータ処理される前のＲＡＷ画像データ、或いはノイズ除去部６、階調変換部７又は全体制御部９での各種データ処理時又は処理後の画像データ等を格納するものである。
【００５７】
全体制御部９は、各制御プログラム等を記憶するＲＯＭ、一時的に各種データを格納するＲＡＭ、及び制御プログラム等をＲＯＭから読み出して実行する中央演算処理装置（ＣＰＵ）等からなり、デジタルカメラ１全体の動作制御を司るものである。全体制御部９は、固体撮像素子３や操作部１１等の各処理部から送信されてくる情報（信号）と装置の動作状態とに基づき、各処理部が必要とするパラメータ等の動作情報を算出し、これを送信することで各処理部の動作を制御する。
【００５８】
モニタ部１０は、例えばカメラ背面に配設されたカラー液晶表示素子からなる液晶表示器（ＬＣＤ；Liquid Crystal Display）等からなり、固体撮像素子３による撮影画像、すなわちノイズ除去部６や階調変換部７で処理された画像や画像メモリ８に格納されている画像等を表示するものである。モニタ部１０は、後述のノイズ除去処理（コアリング処理）等の各種処理結果が反映された画像を表示してもよい。
【００５９】
操作部１１は、デジタルカメラ１に対するユーザによる操作指示（指示入力）を行うものであり、例えば電源スイッチ、レリーズスイッチ、各種撮影モードを設定するモード設定スイッチ等の各種の操作スイッチ群（操作ボタン群）からなる。例えば、上記レリーズスイッチが押下（オン）されることで、撮像動作すなわち固体撮像素子３により被写体光が撮像され、この撮像により得られた画像データに対して所要の画像処理が施された後、画像メモリ８等に記録されるといった一連の撮影動作が実行される。
【００６０】
ここで、ノイズ除去部６の構成及び動作の詳細について説明する。図５は、ノイズ除去部６の一例を示すブロック構成図である。同図に示すようにノイズ除去部６は、ＬＰＦ部６１、線形変換部６２Ａ、６２Ｂ、減算部６３、コアリング処理部６４、コアリング係数算出部６５、エッジ量検出部６６、合成係数算出部６７、合成部６８及び加算部６９を備えている。
【００６１】
ＬＰＦ部６１は、ノイズ除去部６に入力されてきた画像信号、すなわち固体撮像素子３により得られた線形／対数画像（基画像Ｉ）に対して、ガウシアンフィルタ等の線形のＬＰＦによるフィルタ処理（ＬＰＦ処理）を行い、この基画像Ｉから低周波成分を抽出するものである。ただし、このＬＰＦ処理に用いるＬＰＦは線形フィルタに限らず、メディアンフィルタ等の非線形フィルタであってもよい。
【００６２】
線形変換部６２Ａは、ＬＰＦ部６１によりＬＰＦ処理された線形／対数画像の低周波成分l（低周波成分画像）に対して、この線形／対数画像における対数特性の画像を線形特性の画像に変換する変換処理（対数特性を線形特性へ変換する変換処理のことを「ログリニア変換」という）を行うものである。これは、謂わば線形及び対数の２種類の特性からなる画像データを、線形特性１種類の画像データに統一して扱えるようにする処理である。なお、線形特性つまり線形画像に統一された画像のことを「統一線形画像」という。また、線形／対数画像に対してログリニア変換を行って統一線形画像を得ることを、適宜、線形／対数特性（画像）を線形変換するとも表現する。なお、低周波成分ｌが線形変換部６２Ａにより線形変換されて出力されたもの（統一線形画像）を低周波成分Ｌとする。
【００６３】
線形変換部６２Ｂは、ＬＰＦ部６１によりＬＰＦ処理されていないそのままの基画像Ｉ（線形／対数画像）に対して上記と同様に線形変換（ログリニア変換）を行い、統一線形画像として出力するものである。
【００６４】
減算部６３は、線形変換部６２Ｂから出力された統一線形画像（入力画像信号が線形変換された信号）から、線形変換部６２Ａから出力された低周波成分Ｌを減算（或いは低周波成分Ｌを負の値として加算）することで、当該統一線形画像から高周波成分Ｈを抽出するものである。
【００６５】
コアリング処理部６４は、後述するコアリング係数算出部６５により算出されたコアリング係数に基づいてコアリング処理を行うものである。コアリング処理は、画像信号における微小振幅信号をノイズと見なして取り除く処理である。コアリング処理部６４は、減算部６３により抽出された高周波成分Ｈに対して、図６に示す入出力特性（コアリング特性Ｃ１という）に基づくコアリング処理を行う。コアリング特性Ｃ１における記号「Ｓ」は、コアリング係数算出部６５で算出されるコアリング係数Ｓを示す。このコアリング処理では、入力が−Ｓより大きくＳより小さいときには出力がゼロ（０）となり、入力が−Ｓ以下であるときには出力が、入力に対してＳを加えた値となり、入力がＳ以上であるときには出力が、入力に対してＳを減じた値となるような変換処理が行われる。本実施形態では、このコアリング係数Ｓの値を、ノイズ除去精度が高くなるような値に設定する。この場合、コアリング係数Ｓは、低周波成分やＤＲ圧縮率により変化するだけでなく、低周波成分に対してノイズが正側又は負側のノイズであるということによっても変化する。
【００６６】
コアリング係数算出部６５は、コアリング係数Ｓを算出（設定）するものである。コアリング係数算出部６５は、線形変換部６２Ａから出力された低周波成分Ｌ及び減算部６３から出力された高周波成分Ｈ、並びにノイズ量（ｎ）、残留ノイズ量（ｒ）及びＤＲ圧縮率（ｋ）の情報を用いてコアリング係数Ｓを算出する。コアリング係数算出部６５において算出されたコアリング係数Ｓの情報はコアリング処理部６４に入力される。このコアリング係数Ｓの算出については後に詳述する。
【００６７】
ところで、ノイズ量ｎ、残留ノイズ量ｒ及びＤＲ圧縮率ｋの情報は、全体制御部９において設定される（全体制御部９から与えられる）ものであり、例えば全体制御部９内或いはこれに接続される所定のメモリに記憶されている。ノイズ量ｎ及び残留ノイズ量ｒは、例えば工場出荷時において、所定の基準画像（平坦な画像；例えば空や壁の画像）をデジタルカメラ１で撮影し、どれくらいのノイズ量ｎや残留ノイズ量ｒを与えてやれば高画質な画像が得られるのかを調整によって決める謂わば調整値である。例えばノイズ量ｎについては、製造された各デジタルカメラ１による撮影画像に固有のノイズ量ｎはどれくらいの大きさであるのかを測定するなどして定めた値（測定値、既定値）である。残留ノイズ量ｒは、ノイズ除去処理後にどれくらいのノイズ量ｒが残っていても許容されるのかつまりノイズの許容量について定めた値（既定値）であり、例えば、この残留ノイズ量ｒを０（ゼロ）と定めてもよいし、ノイズ量ｎの何分の１の量と定めてもよい。
【００６８】
また、ＤＲ圧縮率ｋは、階調変換部７によるＤＲ圧縮において使用される値として定められる。このＤＲ圧縮率ｋは、上記（３）式に示すように照明成分Ｂ、Ｂ’の関数すなわち低周波成分の関数（低周波成分に応じて決定される値）であるので、上記線形変換部６２Ａ等により得られる低周波成分Ｌの値に応じて決定される。この場合例えばメモリ（テーブル）に既定値（固定値）として記憶しておいた各種ＤＲ圧縮率ｋの中から当該低周波成分Ｌの値に対応するＤＲ圧縮率ｋの情報を取り出してくる構成としてもよい。なお、本実施形態では、コアリング係数算出部６５に低周波成分Ｌの情報が入力されると、コアリング係数算出部６５はこの低周波成分Ｌの情報を全体制御部９へ送信し、全体制御部９では、この低周波成分Ｌに対応するＤＲ圧縮率ｋを該全体制御部９内のメモリに記憶してある上記テーブルから選択するとともに、当該低周波成分Ｌに応じて選択したＤＲ圧縮率ｋ（ｋ（Ｌ））の情報をコアリング係数算出部６５へ送信する構成となっている。
【００６９】
なお、上述のようにノイズ量ｎ及び残留ノイズ量ｒは既定値であり、またＤＲ圧縮率ｋは低周波成分Ｌ（後述の第２の実施形態では低周波成分ｌ）によって決まる値である、つまりこれらパラメータは全て低周波成分Ｌで表せるものである（低周波成分の関数である）ことから、コアリング係数算出部６５は、コアリング係数Ｓを低周波成分のレベルに応じて（低周波成分に基づいて）算出（設定）する、と換言できる。
【００７０】
エッジ量検出部６６は、線形変換部６２Ｂから出力された統一線形画像（線形／対数画像）に対してエッジ検出処理を行い、この統一線形画像からエッジ量を検出するものである。具体的にはエッジ量検出部６６は、エッジ検出処理として、ＳｏｂｅｌフィルタやＰｒｅｗｉｔｔフィルタ等のエッジ強度検出用フィルタを用いたフィルタ処理を行うことで、画像ここでは統一線形画像（第２の実施形態では線形変換されていない画像Ｉ）からエッジ量ｅ（エッジ強度）を検出する。
【００７１】
合成係数算出部６７は、エッジ量検出部６６により検出したエッジ量ｅの情報を用いて合成係数（エッジ保存係数）Ｅを算出するものである。このエッジ量ｅの情報を用いた合成係数Ｅの算出は、例えば図７に示す特性に基づいて行われる。この特性において横軸はエッジ量ｅであり、縦軸は合成係数Ｅである。エッジ量ｅにおけるｅｌ、ｅｈの値は予め与えられる閾値である。合成係数Ｅはこの閾値のエッジ量ｅｌ、ｅｈを用いた以下に示される値として算出される。
ｅ≦ｅｌのとき Ｅ＝１．０
ｅｌ＜ｅ＜ｅｈのとき Ｅ＝（ｅｈ−ｅ）／（ｅｈ−ｅｌ）
ｅ≧ｅｈのとき Ｅ＝０（ゼロ）
【００７２】
なお、エッジ量ｅｌ、ｅｈの値は全体制御部９において設定或いは算出される（全体制御部９から与えられる）、すなわち例えば全体制御部９内或いはこれに接続されたメモリに既定値として記憶されたものであってもよいし、エッジ量検出部６６により検出されたエッジ量に応じて都度、算出されるものであってもよい。
【００７３】
合成部６８は、高周波成分Ｈと、上記コアリング処理部６４においてこの高周波成分Ｈにコアリング処理が施されてなる高周波成分Ｈｃとを、合成係数算出部６７により算出された合成係数Ｅを用いて合成するものである。当該合成により得られるものを高周波成分Ｈ’とすると、このＨ’は、例えばＨ’＝Ｅ＊Ｈｃ＋（１−Ｅ）＊Ｈの式で表される。この式は、謂わば高周波成分Ｈに対してどのくらいの割合でコアリングを行うか、すなわち、エッジ量ｅがｅｌより小さいものはコアリング処理した画像（Ｈｃ）をそのまま使用され（Ｅ＝１．０の場合でありＨ’＝Ｈｃとなる）、エッジ量ｅがエッジ量ｅｌより大きくなるにつれて徐々にコアリングされていない画像（Ｈ）に置き換えられる（コアリング量を小さくしていくことと同じ）ことを示している。
【００７４】
これらエッジ量検出部６６、合成係数算出部６７及び合成部６８によるエッジ量検出、合成係数算出及び合成処理は、コアリングするに際して、画像に必要なエッジ情報の欠落を低減するためのものであると言える。エッジ量が大きいほどノイズ成分除去（コアリング）の程度が抑えられてエッジ成分が保存される、すなわち、画像においてエッジ量ｅが大きい部分は、合成係数Ｅを小さくすることで、コアリング処理された高周波成分Ｈｃの合成比が小さくなり、一方、コアリング処理が行われていない高周波成分Ｈの合成比が大きくなるため、エッジ情報の欠落が低減される。合成された高周波成分Ｈ’は、エッジ部の情報は残されたまま、画像平坦部のノイズが除去された信号となっている。
【００７５】
加算部６９は、合成部６８により得られた高周波成分Ｈ’と、上記線形変換部６２Ａからの低周波成分Ｌとを加算（合成）するものである。この加算処理により、ノイズが除去された出力画像Ｏが得られる。この出力画像Ｏは後段の処理部へ出力される。
【００７６】
このような構成を備えたノイズ除去部６において、上述したようにコアリング係数Ｓの値をノイズ除去精度が高くなるような値に設定し、このコアリング係数Ｓに基づいて上記ノイズ除去処理（コアリング処理）を行う。以下に、このコアリング係数Ｓをどのような値に設定するか或いはどように算出するか等についてその原理を説明する。先ず、線形／対数特性から線形特性への変換によって、ノイズ量がどのように変化するのか或いはどのような値になるのかについて説明する。
【００７７】
［線形／対数特性から線形特性への変換におけるノイズについての説明］
線形／対数特性の光電変換特性は一般的に以下の（４）、（５）式のように表される。
ｖ＝ａ＊ｕ＋Ｂ （ｕ≦Ｕｔｈ） ・・・（４）
ｖ＝α＊ｌｎ（ｕ）＋β （ｕ＞Ｕｔｈ） ・・・（５）
【００７８】
ここで、上記（４）、（５）式におけるｘ＝ａ＊ｕ、ｙ＝ｖ−ｂとおくと（原点を通るようにする）、以下の（６）、（７）式が得られる。
ｙ＝ｘ （ｘ≦Ｔ、ｙ≦Ｔ） ・・・（６）
ｙ＝ｃ＊ｌｎ（ｘ）＋ｄ （ｘ＞Ｔ、ｙ＞Ｔ） ・・・（７）
但し、ｃ＝α、ｄ＝−α＊ｌｎ（ａ）＋β−ｂ、Ｔ＝ａ＊Ｕｔｈ
以下、この（６）、（７）式を線形／対数特性の光電変換特性として計算する。
【００７９】
この線形／対数特性の対数特性を線形特性に変換して全体で１つの線形特性にする（線形特性に統一する）。変換後の線形特性をＹとすると、Ｙは上記（６）、（７）式より以下の（８）、（９）式と表される。
Ｙ＝ｙ （ｙ≦Ｔ） ・・・（８）
Ｙ＝ｅｘｐ（（ｙ−ｄ）／ｃ） （ｙ＞Ｔ） ・・・（９）
但し、記号「／」は除算を示す（以降同じ）。
したがって、ｙがノイズの無い信号であるとすると、全ｙ（すなわち全ｘ）において、Ｙ＝ｘとなる。
【００８０】
ところで、固体撮像素子３により光電変換された後で、信号にのるノイズ（ランダムノイズ）は、線形特性領域、対数特性領域に関係なくその大きさが一定と考えられるので、ノイズを有する信号をｙｎ、ノイズをｎ（ｎ＞０）とすると、ｙｎ＝ｙ±ｎと表すことができる。すなわち、信号ｙｎ＝ｙ±ｎは、信号ｙに対してこのｙの値よりも大きな値となる（画像の信号ｙに対して該信号のレベルよりもレベルが高い値となる）つまりｙのグラフに対して正側（図における上側に存在する）のノイズと、ｙの値よりも小さな値となる（画像の信号ｙに対して該信号のレベルよりもレベルが低い値となる）つまりｙのグラフに対して負側（図における下側に存在する）のノイズとが当該信号ｙを挟んで略同等の振幅を有する波（ランダムな波形ではあるが、信号ｙを挟んで正側及び負側で略同じ大きさの波の高さを有している）として存在しており、この場合の正側の各ノイズ波の例えば包絡線（各ノイズ波の曲線族と接線を共有する線）に相当するものをｙｎ＝ｙ＋ｎとし、負側も同様に各ノイズ波の包絡線に相当するものをｙｎ＝ｙ−ｎとしている。なお、この信号ｙに対するノイズ±ｎは、このように包絡線に相当するものに限定されず、例えば正側、負側それぞれにおけるノイズの平均値（正側の平均値が＋ｎ、負側の平均値が−ｎ）、最高レベル、ピークtoピーク、或いはＲＭＳ（二乗平均粗さ）等、任意に設定可能である。
【００８１】
上記（６）、（７）式より、ノイズが正側のノイズ（ノイズ正側）である場合（ｙｎ＝ｙ＋ｎ）、以下の（１０）、（１１）式のように表される。
ノイズ正側
ｙｎ＝ｘ＋ｎ （ｘ≦Ｔ、ｙｎ≦Ｔ＋ｎ） ・・・（１０）
ｙｎ＝ｃ＊ｌｎ（ｘ）＋ｄ＋ｎ （ｘ＞Ｔ、ｙｎ＞Ｔ＋ｎ） ・・・（１１）
【００８２】
また、ノイズが負側のノイズ（ノイズ負側）である場合（ｙｎ＝ｙ−ｎ）、以下の（１０）’、（１１）’式のように表される。
ノイズ負側
ｙｎ＝ｘ−ｎ （ｘ≦Ｔ、ｙｎ≦Ｔ−ｎ） ・・・（１０）’
ｙｎ＝ｃ＊ｌｎ（ｘ）＋ｄ−ｎ （ｘ＞Ｔ、ｙｎ＞Ｔ−ｎ） ・・・（１１）’
【００８３】
ｙｎを線形特性に変換したものをＹｎとすると、このＹｎは、ノイズ正側の場合、上記（８）〜（１１）式より以下の（１２）〜（１４）式で表される。
ノイズ正側
Ｙｎ＝ｙｎ＝ｘ＋ｎ （ｙｎ≦Ｔ、ｘ≦Ｔ−ｎ） ・・・（１２）
Ｙｎ＝ｅｘｐ（（ｙｎ−ｄ）／ｃ）
＝ｅｘｐ（（ｘ＋ｎ−ｄ）／ｃ）
＝ｅｘｐ（（ｘ−ｄ）／ｃ）＊ｅｘｐ（ｎ／ｃ） （Ｔ＜ｙｎ≦Ｔ＋ｎ、Ｔ−ｎ＜ｘ≦Ｔ） ・・・（１３）
Ｙｎ＝ｅｘｐ（（ｙｎ−ｄ）／ｃ）
＝ｅｘｐ（（ｃ＊ｌｎ（ｘ）＋ｄ＋ｎ−ｄ）／ｃ）
＝ｘ＊ｅｘｐ（ｎ／ｃ） （Ｔ＋ｎ＜ｙｎ、Ｔ＜ｘ） ・・・（１４）
【００８４】
また、Ｙｎは、ノイズ負側の場合、上記（８）、（９）、（１０）’及び（１１）’式より、以下の（１２）’〜（１４）’式で表される。
ノイズ負側
Ｙｎ＝ｙｎ＝ｘ−ｎ （ｙｎ≦Ｔ−ｎ、ｘ≦Ｔ） ・・・（１２）’
Ｙｎ＝ｙｎ＝ｃ＊ｌｎ（ｘ）＋ｄ−ｎ （Ｔ−ｎ＜ｙｎ≦Ｔ、Ｔ＜ｘ≦Ｔ＊ｅｘｐ（ｎ／ｃ）） ・・・（１３）’
Ｙｎ＝ｅｘｐ（（ｙｎ−ｄ）／ｃ）
＝ｅｘｐ（（ｃ＊ｌｎ（ｘ）＋ｄ−ｎ−ｄ）／ｃ）
＝ｘ＊ｅｘｐ（−ｎ／ｃ） （Ｔ＜ｙｎ、Ｔ＊ｅｘｐ（ｎ／ｃ）＜ｘ） ・・・（１４）’
【００８５】
これら（１２）〜（１４）式及び（１２）’〜（１４）’式は、図８に示すグラフとなる。すなわち図８のグラフにおいて、ノイズ正側の場合、（１２）式に相当するものが符号４０１で示す特性（特性４０１）、（１３）式に相当するものが符号４０２で示す特性（特性４０２）、（１４）式に相当するものが符号４０３で示す特性（特性４０３）となる。また、ノイズ負側の場合、（１２）’式に相当するものが符号４１１で示す特性（特性４１１）、（１３）’式に相当するものが符号４１２で示す特性（特性４１２）、（１４）’式に相当するものが符号４１３で示す特性（特性４１３）となる。
【００８６】
ここで、図８の符号４２１で示す特性（特性４２１）は、上記（６）、（７）式に示す線形／対数特性であり、これが線形変換されてＹ＝ｘ（上記（８）、（９）式におけるノイズのない信号であると仮定した場合）の特性４２２（統一線形特性になる。一方、特性４２１の信号に対する正側のノイズは符号４３１で示す特性（特性４３１；ｙｎ（＋））で示され、特性４２１の信号に対する負側のノイズは符号４４１で示す特性（特性４４１；ｙｎ（−））で示される。この特性４３１、４４１が上記特性４２１から特性４２２への線形変換と同様に線形変換される場合に、それぞれ、線形の特性４４２、４３２（特性４２２と平行な特性グラフ）に変換されずに（特性４４２、４３２に変換されるのであれば問題がないが）、当該特性４０１、４０２及び４０３に示す正側の特性、及び特性４１１、４１２及び４１３に示す負側の特性に変換されてしまう。
【００８７】
なお、値Ｔを変曲点Ｔとすると、Ｔ−ｎ＜ｘ≦Ｔの範囲４０２１つまり正側の特性４０２は、理論的には特性４３２上の線形特性となる筈であるが、ノイズの各値（画素値）で見た場合、例えばノイズ波上の符号４５１の点に示すように、変曲点Ｔ（ｙ座標）を超えているので、実際には線形特性のデータであるにも拘わらず、当該変曲点Ｔを超えているノイズデータが対数特性のデータであると誤認識されてしまい（ノイズを対数特性の信号と間違ってしまい）、特性４０２のように変換される。Ｔ＜ｘ≦Ｔ＊ｅｘｐ（ｎ／ｃ）の範囲４１２１つまり負側の特性４１２も同様に、ノイズの各値（画素値）で見た場合、例えばノイズ波上の符号４６１の点に示すように、変曲点Ｔ（ｙ座標）より小さい値となっているので、実際には対数特性のデータであるにも拘わらず、当該変曲点Ｔ未満のノイズデータが線形特性のデータであると誤認識されてしまい（ノイズを線形特性の信号と間違ってしまい）、特性４１２のように変換される。特性４０３、４１３では、実際の特性と画素値の特性とが同じであるものの、当該信号ｙ（Ｙ）に対する対数領域でのノイズ＋ｎ、−ｎの所謂オフセットの分がそれぞれ上記特性４０２、４１２に対する変曲点Ｔ、Ｔ＊ｅｘｐ（ｎ／ｃ）（ｘ座標）からの続きの値として加えられたものとなる。このように、線形変換されることにより、正側、負側のノイズは、特性４３２、４４２とならずに、原点を通る直線上の特性４０３、４１３のようにｘ座標の値が大きくなるにつれて広がるような特性に変換されるので、Ｙ＝ｘの特性４２２に対する正側のノイズ量と負側のノイズ量とが、それぞれ、ｘ＞Ｔ−ｎの範囲において一定でなく、異なる値となってしまう。
【００８８】
上述においては、線形／対数特性から線形特性への変換により、ノイズ量が正側と負側とで異なるものとなることを示したが、次に、このような正側と負側とで異なる特徴を有するノイズに対してノイズ除去処理を行った後の残留ノイズ量が、どようなコアリング係数Ｓを設定すれば一定となるのかということについて説明する。
【００８９】
［コアリング係数算出についての説明］
ノイズがのった画像信号を低周波成分と高周波成分とに分けると、高周波成分には画像信号の高周波成分とノイズとが含まれるが、ここではコアリング係数を求めるべくノイズ量だけを計算上で求めたいので、このノイズについてだけ考えることとし、ノイズは画像の平坦部（信号波形における緩やか（なだらか）なところ；急峻でない変化の少ないところ）にのっているものと仮定して説明する。この場合、画像信号には高周波成分が存在せず、低周波成分が画像信号に等しいものとなり、ノイズ成分は高周波成分に相当するものとして扱う。
【００９０】
線形変換前のノイズを含んだ信号は前述のようにｙｎ＝ｙ±ｎである。このｙｎをＬＰＦに通してなる信号をｌ（Ｌの小文字）とすると、上記±ｎの項は平均化（キャンセル）されて０（ゼロ）となるので、ｌ＝ＬＰＦ（ｙｎ）＝ＬＰＦ（ｙ）と表される。但し、ＬＰＦ（ｙｎ）はＬＰＦにｙｎを通す処理（ＬＰＦ処理）を示している。ｙは低周波画像であるので、ＬＰＦ（ｙ）はｙと見なすことができ、上記（６）、（７）式を満たす。したがって、ｌは上記（８）、（９）式により線形変換することができ、以下の（１５）式で示すＬで表すことができる。
Ｌ＝Ｙ＝ｘ ・・・（１５）
但し、Ｌは線形変換後の画像信号（の低周波成分）となる。
【００９１】
なお、仮に、上記ｙｎを線形変換後にＬＰＦに通すとすると、上記（１３）、（１４）、（１３）’及び（１４）’式から分かるようにノイズは正側と負側とで等しくないので±ｎの項は０（ゼロ）にはならず、上記（１５）式は成立しない。このことから、ＬＰＦ処理後に線形変換するようにしている（ＬＰＦ部６１の後段に線形変換部６２Ａが配置されている）。
【００９２】
ここで、線形変換後のノイズを含んだ画像信号Ｙｎは、上記ノイズ正側の（１２）〜（１４）式及びノイズ負側の（１２）’〜（１４）’式に対して上記（１５）式を用いることで、それぞれ以下の（１６）〜（１８）式及び（１６）’〜（１８）’式に示すように低周波成分Ｌで表すことができる。
ノイズ正側
Ｙｎ＝Ｌ＋ｎ （Ｌ≦Ｔ−ｎ） ・・・（１６）
Ｙｎ＝ｅｘｐ（（Ｌ−ｄ）／ｃ）＊ｅｘｐ（ｎ／ｃ） （Ｔ−ｎ＜Ｌ≦Ｔ） ・・・（１７）
Ｙｎ＝Ｌ＊ｅｘｐ（ｎ／ｃ） （Ｔ＜Ｌ） ・・・（１８）
ノイズ負側
Ｙｎ＝Ｌ−ｎ （Ｌ≦Ｔ） ・・・（１６）’
Ｙｎ＝ｃ＊ｌｎ（Ｌ）＋ｄ−ｎ （Ｔ＜Ｌ≦Ｔ＊ｅｘｐ（ｎ／ｃ））・・・（１７）’
Ｙｎ＝Ｌ＊ｅｘｐ（−ｎ／ｃ） （Ｔ＊ｅｘｐ（ｎ／ｃ）＜Ｌ） ・・・（１８）’
【００９３】
＜ノイズ量の算出＞
高周波成分Ｈは、画像信号Ｙｎから上記（１５）式の低周波成分Ｌを減算したものであるから、Ｈ＝Ｙｎ−Ｌである。
ところで、これまでノイズ量を正側、負側というように正・負の値として扱ってきたが、説明の都合上（後述のコアリング係数を正、負に依らずに比較したいがため）、このノイズ量Ｎを“正”（Ｎ≧０）として扱いたいので、ノイズ量Ｎは高周波成分Ｈであることから、このＨを利用して、
Ｈ≧０のとき、ノイズ正側でＮ＝Ｈ
Ｈ＜０のとき、ノイズ負側でＮ＝−Ｈ
とする。すなわち、ノイズ量の“正・負”を、高周波成分Ｈの“正・負”に置き換えている（なお、ノイズ量Ｎが正側のものであるか負側のものであるかは、Ｈが正の値であるか負の値であるかによって判断できるとも言える）。
【００９４】
線形変換後のノイズ量Ｎは、ノイズ正側（Ｈ≧０）の場合、上記（１６）〜（１８）式より、以下の（１９）〜（２１）式で表される。
ノイズ正側
Ｎ＝Ｌ＋ｎ−Ｌ＝ｎ （Ｌ≦Ｔ−ｎ） ・・・（１９）
Ｎ＝ｅｘｐ（（Ｌ−ｄ）／ｃ）＊ｅｘｐ（ｎ／ｃ）−Ｌ （Ｔ−ｎ＜Ｌ≦Ｔ） ・・・（２０）
Ｎ＝Ｌ＊（ｅｘｐ（ｎ／ｃ）−１） （Ｔ＜Ｌ） ・・・（２１）
【００９５】
また、ノイズ負側（Ｈ＜０）の場合、上記（１６）’〜（１８）’式より、以下の（１９）’〜（２１）’式で表される。
ノイズ負側
Ｎ＝Ｌ−（Ｌ−ｎ）＝ｎ （Ｌ≦Ｔ） ・・・（１９）’
Ｎ＝Ｌ−（ｃ＊ｌｎ（Ｌ）＋ｄ−ｎ） （Ｔ＜Ｌ≦Ｔ＊ｅｘｐ（ｎ／ｃ）） ・・・（２０）’
Ｎ＝Ｌ＊（１−ｅｘｐ（−ｎ／ｃ）） （Ｔ＊ｅｘｐ（ｎ／ｃ）＜Ｌ） ・・・（２１）’
すなわち、ノイズ量Ｎは、これら（１９）〜（２１）式及び（１９）’〜（２１）’式に示すように低周波成分Ｌを用いて表すことができる。
【００９６】
なお、このように“線形変換後”のノイズ量Ｎについて考えるのは、ノイズ除去部６でのノイズ除去処理後における階調変換部７での階調変換処理に際して、一つの特性ここでは線形特性に統一された画像に対して階調変換（ＤＲ圧縮）が行われるので、線形変換後のノイズ量における階調変換による影響を考慮して逆算的に当該ノイズ量を評価するためである。
【００９７】
＜ＤＲ圧縮後の残留ノイズ量が一定となる条件＞
階調変換部７でのＤＲ圧縮後の残留ノイズ量ｒ（ｒ≧０）が輝度（或いは低周波成分のレベル）に依らず一定となるようにコアリング係数を求める。コアリング係数（コアリング量）をＳ（Ｓ≧０）、コアリング処理後のノイズ量をＲ（Ｒ≧０）とすると、ノイズ量Ｒは以下の（２２）式で表される。ただし、ここでは残留ノイズについて考えているので、Ｎ≧Ｓの場合のみを扱うものとする。すなわち、ノイズ量はコアリング量よりも大きいものであるとし（ノイズがコアリング量より大きな場合だけを考えるものとする）、ノイズ量がコアリング量よりも小さい場合は、図６より、以下の（２２）’式に示すように一律にゼロとなる。
Ｒ＝Ｎ−Ｓ （Ｎ≧Ｓ） ・・・（２２）
Ｒ＝０ （Ｎ＜Ｓ） ・・・（２２）’
【００９８】
コアリング処理後の画像信号をＹｓとすると、Ｙｓはノイズ正側及び負側において以下の（２３）、（２３）’式と表される。
ノイズ正側 Ｙｓ＝Ｌ＋Ｒ ・・・（２３）
ノイズ負側 Ｙｓ＝Ｌ−Ｒ ・・・（２３）’
【００９９】
ＤＲ圧縮後の画像信号をＹｓ’とすると、上記（３）、（２３）、（２３）’式より、Ｙｓ’はノイズ正側及び負側において以下の式で表される。
ノイズ正側 Ｙｓ’＝ｋ（Ｂ）＊（Ｌ＋Ｒ）＝ｋ（Ｂ）＊Ｌ＋ｋ（Ｂ）＊Ｒ
ノイズ負側 Ｙｓ’＝ｋ（Ｂ）＊（Ｌ−Ｒ）＝ｋ（Ｂ）＊Ｌ−ｋ（Ｂ）＊Ｒ
この式における残留ノイズ量は、ｋ（Ｂ）＊Ｒであり、これがｒ（ｒ≧０）一定であるので、ｋ（Ｂ）＊Ｒ＝ｒとなる。
ここで、上記（３）式のＤＲ圧縮率ｋ（Ｂ）のＢは、照明成分すなわち低周波成分である。画像Ｉからの照明成分Ｂと低周波成分Ｌとの抽出方法は異なる可能性があるが、ここでは前述のように画像平坦部のノイズを考えているため、照明成分Ｂと低周波成分Ｌとは等しいものと考えてよい。したがって、ｋ（Ｂ）＝ｋ（Ｌ）として、上記ｋ（Ｂ）＊Ｒ＝ｒは、以下の（２４）式で表されることになる。
ｋ（Ｌ）＊Ｒ＝ｒ ・・・（２４）
【０１００】
上記（２２）、（２４）式より、コアリング係数Ｓは以下の（２５）式で表される。
Ｓ＝Ｎ−ｒ／ｋ（Ｌ） ・・・（２５）
すなわちこの（２５）式を満たすコアリング係数Ｓを求めればよい。
【０１０１】
コアリング係数Ｓは、ノイズ正側の場合、上記（１９）〜（２１）式及び（２５）式により、以下の（２６）〜（２８）式で表される。
ノイズ正側
Ｓ＝ｎ−ｒ／ｋ（Ｌ） （Ｌ≦Ｔ−ｎ） ・・・（２６）
Ｓ＝ｅｘｐ（（Ｌ−ｄ）／ｃ）＊ｅｘｐ（ｎ／ｃ）−Ｌ−ｒ／ｋ（Ｌ） （Ｔ−ｎ＜Ｌ≦Ｔ） ・・・（２７）
Ｓ＝Ｌ＊（ｅｘｐ（ｎ／ｃ）−１）−ｒ／ｋ（Ｌ） （Ｔ＜Ｌ） ・・・（２８）
【０１０２】
また、ノイズ負側の場合、上記（１９）’〜（２１）’式及び（２５）式により、以下の（２６）’〜（２８）’式で表される。
ノイズ負側
Ｓ＝ｎ−ｒ／ｋ（Ｌ） （Ｌ≦Ｔ） ・・・（２６）’
Ｓ＝Ｌ−（ｃ＊ｌｎ（Ｌ）＋ｄ−ｎ）−ｒ／ｋ（Ｌ） （Ｔ＜Ｌ≦Ｔ＊ｅｘｐ（ｎ／ｃ）） ・・・（２７）’
Ｓ＝Ｌ＊（１−ｅｘｐ（−ｎ／ｃ））−ｒ／ｋ（Ｌ） （Ｔ＊ｅｘｐ（ｎ／ｃ）＜Ｌ） ・・・（２８）’
【０１０３】
これら（２６）〜（２８）式及び（２６）’〜（２８）’式に示すように、コアリング係数Ｓは、ＤＲ圧縮率ｋ（低周波成分Ｌに応じて決定されるＤＲ圧縮率ｋ）、ノイズ量ｎ、残留ノイズ量ｒを用いて表される。また、コアリング係数Ｓは、Ｌ＞Ｔ−ｎの範囲で、ノイズの正側と負側とで異なることが分かる。すなわち、ノイズを一律なものとしてではなく、ノイズを正側のノイズと、負側のノイズとに場合分けすることで、このように正側と負側とでコアリング係数Ｓが異なる値となる。このような値のコアリング係数Ｓを上記コアリング係数算出部６５により算出し、算出したこのコアリング係数Ｓを用いて上記コアリング処理部６４によるコアリング処理を行うことで、残留ノイズ量ｒを一定とすることができる。これにより、ノイズ除去を高精度に行うことが可能となる（以下の第２〜第４の実施形態でも同じ）。なお、コアリング係数算出部６５でのコアリング係数Ｓの算出においては、該コアリング係数算出部６５へ送信されてきた低周波成分Ｌ、ノイズ量ｎ、残留ノイズ量ｒ及びこの低周波成分Ｌに対応するＤＲ圧縮率ｋ（ｋ（Ｌ））の情報に基づいて、すなわち上述のように換言すれば、低周波成分Ｌのレベルに応じて、ノイズ正側及び負側においてそれぞれ上記（２６）〜（２８）式及び（２６）’〜（２８）’式を満たすようなコアリング係数Ｓが算出される。
【０１０４】
＜階調変換前において残留ノイズ量が一定となる条件＞
なお、基画像に対して階調変換を行わない場合、すなわち例えば線形特性（階調変換を行う前の全体が線形特性に統一されてなる線形特性）の状態のまま広ＤＲ画像として保存しておきたい場合や、階調変換部でのＤＲ圧縮率を予め決められない場合などには、階調変換前において残留ノイズ量が一定となるようにしてもよい。この場合、上記（２６）〜（２８）式及び（２６）’〜（２８）’式におけるｋ（Ｌ）の値を「１」にする、すなわちＤＲ圧縮率を１として（謂わばＤＲ圧縮のパラメータｋを除外して）、各コアリング係数Ｓを算出すればよい。この場合であっても、線形／対数画像を線形変換したときに増幅されるノイズを除去することができるので、ノイズ除去精度を高める効果がある。
【０１０５】
図９は、第１の実施形態におけるデジタルカメラ１の主にノイズ除去に関する動作の一例を示すフローチャートである。先ず固体撮像素子３による撮影により線形／対数画像が得られる（ステップＳ１）。この線形／対数画像（基画像Ｉ）がノイズ除去部６に入力され、ＬＰＦ部６１によりＬＰＦ処理されて低周波成分ｌ（線形／対数画像）が抽出される（ステップＳ２）。次に、この低周波成分ｌが線形変換部６２Ａにより線形変換されて低周波成分Ｌ（統一線形画像）が得られるとともに、上記ＬＰＦ処理されていない基画像Ｉに対して線形変換部６２Ａにより線形変換がなされる（この基画像Ｉの統一線形画像が得られる）（ステップＳ３）。エッジ量検出部６６によって、この線形変換部６２Ａにより線形変換がなされた基画像Ｉからエッジ量が検出される（ステップＳ４）。そして、検出されたこのエッジ量と全体制御部９から与えられるエッジ量の閾値ｅｌ、ｅｈとの情報に基づいて、合成係数算出部６７により合成係数Ｅが算出される（ステップＳ５）。
【０１０６】
一方、減算部６３によって、線形変換部６２Ｂからの基画像Ｉの統一線形画像信号から、線形変換部６２Ａからの低周波成分Ｌが減算されることで高周波成分Ｈが抽出される（ステップＳ６）。また、コアリング係数算出部６５によって、線形変換部６２Ａからの低周波成分Ｌと、減算部６３からの高周波成分Ｈと、全体制御部９から与えられるノイズ量ｎ、残留ノイズ量ｒ及びＤＲ圧縮率ｋ（ｋ（Ｌ））との情報に基づいて、上記ノイズ正側及び負側のコアリング係数Ｓが算出される（ステップＳ７）。この算出されたコアリング係数Ｓの情報に基づいて、コアリング処理部６４によって、減算部６３からの高周波成分Ｈに対するコアリング処理が施されて高周波成分Ｈｃが得られる（ステップＳ８）。そして、合成部６８によって、合成係数算出部６７からの合成係数Ｅの情報に基づいて、当該高周波成分Ｈｃと高周波成分Ｈとの合成処理が行われ（ステップＳ９）、加算部６９によって、この合成処理により得られた高周波成分Ｈ’と線形変換部６２Ａからの低周波成分Ｌとが加算されて出力画像Ｏとして後段の処理部（階調変換部７）へ出力される（ステップＳ１０）。
【０１０７】
（実施形態２）
第１の実施形態では、線形／対数特性から線形特性へ変換してからコアリング処理を行う構成であったが、第２の実施形態では、線形特性へ変換せずに、線形／対数特性（線形／対数画像）のままコアリング処理を行う構成となっている。図１０は、第２の実施形態に係るデジタルカメラ１におけるノイズ除去部６ａの一例を示すブロック構成図である。ノイズ除去部６ａは、ノイズ除去部６と比べて、線形変換部６２Ｃが異なる。すなわち、ノイズ除去部６では、図５に示すようにコアリング処理を行う機能部（コアリング処理部６４や合成部６８、加算部６９）の前段に線形変換を行う機能部（線形変換部６２Ａ、６２Ｂ）を設けているが、ノイズ除去部６ａではこの位置に設けずに、コアリング処理が行われた後の位置すなわち加算部６９の後段に線形変換を行う機能部（線形変換部６２Ｃ）を設けている。これ以外の構成は、ノイズ除去部６と同様でありその説明を省略する。
【０１０８】
ノイズ除去部６ａにおいて、固体撮像素子３により得られた線形／対数画像（基画像Ｉ）がＬＰＦ部６１によりＬＰＦ処理されたものが低周波成分l（低周波成分画像）であり、この低周波成分lが減算部６３、アリング係数算出部６５及び加算部６９に入力される。減算部６３では、基画像Ｉから低周波成分lが減算されて高周波成分ｈが抽出される。コアリング係数算出部６５は、これらＬＰＦ部６１からの低周波成分l及び減算部６３からの高周波成分ｈと、全体制御部９からのノイズ量ｎ、残留ノイズ量ｒ及びＤＲ圧縮率ｋとに基づいてコアリング係数Ｓを算出する。コアリング処理部６４は、高周波成分ｈに対してコアリング係数Ｓを用いてコアリング処理を施し、高周波成分ｈｃとして合成部６８へ出力する。合成部６８では、高周波成分ｈｃと高周波成分ｈと合成係数算出部６７からの合成係数Ｅとに基づいて合成処理が行われて、この結果、高周波成分ｈ’を加算部６９へ出力する。加算部６９による高周波成分ｈ’と低周波成分lとの加算処理により得られた画像（線形／対数画像）は、線形変換部６２Ｃにおいて統一線形画像に線形変換（ログリニア変換）された後、出力画像Ｏとして後段の処理部へ出力される。なお、このように線形変換部６２Ｃを備えて線形変換を行うのは、後段の階調変換部７において統一線形画像を用いて階調変換処理（ＤＲ圧縮処理）を行うことによる。
【０１０９】
以下に本実施形態の場合について、正側と負側とで異なる特徴を有するノイズに対してノイズ除去処理を行った後の残留ノイズ量が、どのようなコアリング係数Ｓを設定すれば、一定となるのかということについて説明する。
［コアリング係数算出についての説明］
ノイズがのった画像信号ｙｎは、第１の実施形態と同じであり、（１０）、（１１）、（１０）’及び（１１）’式で表される。
ノイズ正側（ｙｎ＝ｙ＋ｎ）
ｙｎ＝ｘ＋ｎ （ｘ≦Ｔ、ｙｎ≦Ｔ＋ｎ） ・・・（１０）
ｙｎ＝ｃ＊ｌｎ（ｘ）＋ｄ＋ｎ （ｘ＞Ｔ、ｙｎ＞Ｔ＋ｎ） ・・・（１１）
ノイズ負側（ｙｎ＝ｙ−ｎ）
ｙｎ＝ｘ−ｎ （ｘ≦Ｔ、ｙｎ≦Ｔ−ｎ） ・・・（１０）’
ｙｎ＝ｃ＊ｌｎ（ｘ）＋ｄ−ｎ （ｘ＞Ｔ、ｙｎ＞Ｔ−ｎ） ・・・（１１）’
【０１１０】
ＬＰＦを通った低周波成分ｌ（Ｌの小文字）は、以下の（２９）、（３０）式で表される。
ｌ＝ｘ （ｘ≦Ｔ、ｌ≦Ｔ） ・・・（２９）
ｌ＝ｃ＊ｌｎ（ｘ）＋ｄ （Ｔ≦ｘ、Ｔ≦ｌ） ・・・（３０）
【０１１１】
上記（１０）、（１１）式及び（１０）’（１１）’式を低周波成分ｌを用いて表すと、それぞれ以下に示す１つの（３１）、（３１）’式で表される。
ノイズ正側 ｙｎ＝ｌ＋ｎ ・・・（３１）
ノイズ負側 ｙｎ＝ｌ−ｎ ・・・（３１）’
【０１１２】
本実施形態では、線形／対数特性の状態のままでコアリング処理を行うので、ノイズ量はｎである。残留ノイズ量Ｒ、コアリング係数Ｓとして、Ｒ＝ｎ−Ｓとなるので、コアリング処理後の画像信号ｙｓは、以下の（３２）、（３２）’式で表される。
ノイズ正側 ｙｓ＝ｌ＋Ｒ＝ｌ＋ｎ−Ｓ ・・・（３２）
ノイズ負側 ｙｓ＝ｌ−Ｒ＝ｌ−ｎ＋Ｓ ・・・（３２）’
【０１１３】
一方、階調変換部７でのＤＲ圧縮後の画像信号Ｙｓ’は、線形変換後の低周波成分ＬをＤＲ圧縮率ｋ（Ｌ）で圧縮したものに残留ノイズ量ｒ（ｒ≧０：一定）がのったものとなるので、上記（３）式を参照して、以下の（３３）、（３３）’式で表される。なお、ｋ（Ｌ）を上記ｋ（Ｂ）と同様、単にｋとも表す。
ノイズ正側 Ｙｓ’＝ｋ（Ｌ）＊Ｌ＋ｒ ・・・（３３）
ノイズ負側 Ｙｓ’＝ｋ（Ｌ）＊Ｌ−ｒ ・・・（３３）’
【０１１４】
また、ＤＲ圧縮前の画像信号Ｙｓは、以下の（３４）、（３４）’式で表され、
ノイズ正側 Ｙｓ＝Ｌ＋ｒ／ｋ（Ｌ） ・・・（３４）
ノイズ負側 Ｙｓ＝Ｌ−ｒ／ｋ（Ｌ） ・・・（３４）’
これら画像信号Ｙｓの線形変換前の画像信号ｙｓは、以下の（３５）、（３６）式で表される。
ｙｓ＝Ｙｓ （Ｙｓ≦Ｔ、ｙｓ≦Ｔ） ・・・（３５）
ｙｓ＝ｃ＊ｌｎ（Ｙｓ）＋ｄ ・・・（３６）
【０１１５】
したがって、画像信号ｙｓは、ノイズ正側の場合、上記（３４）〜（３６）式により、以下の（３７）、（３８）式で表される。
ノイズ正側
ｙｓ＝Ｌ＋ｒ／ｋ（Ｌ） （ｙｓ≦Ｔ、Ｌ≦Ｔｐ） ・・・（３７）
ｙｓ＝ｃ＊ｌｎ（Ｌ＋ｒ／ｋ（Ｌ））＋ｄ （Ｔ＜ｙｓ、Ｔｐ＜Ｌ） ・・・（３８）
但し、Ｔｐは、Ｔ＝Ｔｐ＋ｒ／ｋ（Ｔｐ）を満たす。ＤＲ圧縮率（圧縮特性）ｋ（Ｌ）は設計上既知であるので、このＴｐも求まる。また、Ｔ−Ｔｐ＝ｒ／ｋ（Ｔｐ）＞０であるので、Ｔｐ＜Ｔである。
【０１１６】
また、画像信号ｙｓは、ノイズ負側の場合、上記（３４）’及び（３５）、（３６）式により、以下の（３７）’、（３８）’式で表される。
ノイズ負側
ｙｓ＝Ｌ−ｒ／ｋ（Ｌ） （ｙｓ≦Ｔ、Ｌ≦Ｔｍ） ・・・（３７）’
ｙｓ＝ｃ＊ｌｎ（Ｌ−ｒ／ｋ（Ｌ））＋ｄ （Ｔ＜ｙｓ、Ｔｍ＜Ｌ）・・・（３８）’
但し、Ｔｍは、Ｔ＝Ｔｍ−ｒ／ｋ（Ｔｍ）を満たす。また、Ｔ−Ｔｍ＝−ｒ／ｋ（Ｔｍ）＜０であるので、Ｔｍ＞Ｔである。
【０１１７】
ここで、線形／対数特性での低周波成分ｌと、線形変換後の低周波成分Ｌ（上記（２９）、（３０）式参照）との関係を示す。低周波成分Ｌは低周波成分ｌを線形変換したものに等しいので、
Ｌ＝ｌ （ｌ≦Ｔ） ・・・（３９）
Ｌ＝ｅｘｐ（（ｌ−ｄ）／ｃ）＝ｌ’ （Ｔ＜ｌ） ・・・（４０）
但し、ｌ’はｅｘｐ（（ｌ−ｄ）／ｃ）を簡略表記するものである。
【０１１８】
画像信号ｙｓを低周波成分ｌで表すと、ノイズ正側の場合、上記（３７）〜（４０）式により、以下の（４１）〜（４３）式となる。
ｙｓ＝ｌ＋ｒ／ｋ（ｌ） （ｌ≦Ｔｐ） ・・・（４１）
ｙｓ＝ｃ＊ｌｎ（ｌ＋ｒ／ｋ（ｌ））＋ｄ （Ｔｐ＜ｌ≦Ｔ） ・・・（４２）
ｙｓ＝ｃ＊ｌｎ（ｌ’＋ｒ／ｋ（ｌ’））＋ｄ （Ｔ＜ｌ、Ｔ＜ｌ’） ・・・（４３）
【０１１９】
また、ノイズ負側の場合、上記（３７）’、（３８）’、（３９）及び（４０）式により、以下の（４１）’〜（４３）’式となる。
ｙｓ＝ｌ−ｒ／ｋ（ｌ） （ｌ≦Ｔ） ・・・（４１）’
ｙｓ＝ｌ’−ｒ／ｋ（ｌ’） （Ｔ＜ｌ≦ｃ＊ｌｎ（Ｔｍ）＋ｄ、Ｔ＜ｌ’≦Ｔｍ） ・・・（４２）’
ｙｓ＝ｃ＊ｌｎ（ｌ’−ｒ／ｋ（ｌ’））＋ｄ （ｃ＊ｌｎ（Ｔｍ）＋ｄ＜ｌ、Ｔｍ＜ｌ’） ・・・（４３）’
【０１２０】
コアリング係数Ｓは、ノイズ正側の場合、上記（３２）式及び（４１）〜（４３）式により、以下の（４４）〜（４６）式で表される。
Ｓ＝ｎ−ｒ／ｋ（ｌ） （ｌ≦Ｔｐ） ・・・（４４）
Ｓ＝ｎ＋ｌ−（ｃ＊ｌｎ（ｌ＋ｒ／ｋ（ｌ））＋ｄ） （Ｔｐ＜ｌ≦Ｔ） ・・・（４５）
Ｓ＝ｎ＋ｌ−（ｃ＊ｌｎ（ｌ’＋ｒ／ｋ（ｌ’））＋ｄ） （Ｔ＜ｌ、Ｔ≦ｌ’） ・・・（４６）
【０１２１】
また、ノイズ負側の場合、上記（３２）’式及び（４１）’〜（４３）’式により、以下の（４４）’〜（４６）’式で表される。
Ｓ＝ｎ−ｒ／ｋ（ｌ） （ｌ≦Ｔ） ・・・（４４）’
Ｓ＝ｎ−ｌ＋ｌ’−ｒ／ｋ（ｌ’） （Ｔ＜ｌ≦ｃ＊ｌｎ（Ｔｍ）＋ｄ、Ｔ＜ｌ’≦Ｔｍ） ・・・（４５）’
Ｓ＝ｎ−ｌ＋ｃ＊ｌｎ（ｌ’−ｒ／ｋ（ｌ’））＋ｄ （ｃ＊ｌｎ（Ｔｍ）＋ｄ＜ｌ、Ｔｍ＜ｌ’） ・・・（４６）’
【０１２２】
これら（４４）〜（４６）式及び（４４）’〜（４６）’式から、コアリング係数Ｓは、ＤＲ圧縮率ｋ（低周波成分ｌに応じて決定されるＤＲ圧縮率ｋ）、ノイズ量ｎ、残留ノイズ量ｒを用いて表される。また、コアリング係数Ｓは、Ｌ＞Ｔｐの範囲で、ノイズの正側と負側とで異なることが分かる。このような値のコアリング係数Ｓをコアリング係数算出部６５により算出し、算出したこのコアリング係数Ｓを用いてコアリング処理部６４によるコアリング処理を行うことで、残留ノイズ量ｒを一定とすることができる。なお、コアリング係数算出部６５でのコアリング係数Ｓの算出においては、該コアリング係数算出部６５へ送信されてきた低周波成分ｌ、ノイズ量ｎ、残留ノイズ量ｒ及びこの低周波成分ｌに対応するＤＲ圧縮率ｋ（ｋ（ｌ））の情報に基づいて（ただし、ｌ’はｅｘｐ（（ｌ−ｄ）／ｃ）という低周波成分ｌの関数であるのでｋ（ｌ’）は低周波成分ｌの関数と見なしている）、すなわち上記と同様に換言すれば、低周波成分ｌのレベルに応じて、ノイズ正側及び負側においてそれぞれ上記（４４）〜（４６）式及び（４４）’〜（４６）’式を満たすようなコアリング係数Ｓが算出される。
【０１２３】
＜階調変換前において残留ノイズ量が一定となる条件＞
なお、第１の実施形態と同様に、上記（４４）〜（４６）式及び（４４）’〜（４６）’式におけるｋ（ｌ）、ｋ（ｌ’）の値を「１」として、階調変換前において残留ノイズ量が一定となるようにしてもよい。この場合も、線形／対数画像を線形変換したときに増幅されるノイズを除去することができるので、ノイズ除去精度を高める効果がある。
【０１２４】
図１１は、第２の実施形態におけるデジタルカメラ１の主にノイズ除去に関する動作の一例を示すフローチャートである。先ず固体撮像素子３による撮影により線形／対数画像が得られる（ステップＳ２１）。この線形／対数画像（基画像Ｉ）がノイズ除去部６ａに入力され、ＬＰＦ部６１によりＬＰＦ処理されて低周波成分ｌ（線形／対数画像）が抽出される（ステップＳ２２）。次に、エッジ量検出部６６によって、ＬＰＦ処理されていない基画像Ｉからエッジ量が検出される（ステップＳ２３）。そして、検出されたこのエッジ量と全体制御部９から与えられるエッジ量の閾値ｅｌ、ｅｈとの情報に基づいて、合成係数算出部６７により合成係数Ｅが算出される（ステップＳ２４）。一方、減算部６３によって、基画像Ｉから、ＬＰＦ部６１からの低周波成分ｌが減算されることで高周波成分ｈが抽出される（ステップＳ２５）。
【０１２５】
また、コアリング係数算出部６５によって、ＬＰＦ部６１からの低周波成分ｌと、減算部６３からの高周波成分ｈと、全体制御部９から与えられるノイズ量ｎ、残留ノイズ量ｒ及びＤＲ圧縮率ｋ（ｋ（ｌ））との情報に基づいて、上記ノイズ正側及び負側のコアリング係数Ｓが算出される（ステップＳ２６）。この算出されたコアリング係数Ｓの情報に基づいて、コアリング処理部６４によって、減算部６３からの高周波成分ｈに対するコアリング処理が施されて高周波成分ｈｃが得られる（ステップＳ２７）。そして、合成部６８によって、合成係数算出部６７からの合成係数Ｅの情報に基づいて、当該高周波成分ｈｃと高周波成分ｈとの合成処理が行われ（ステップＳ２８）、加算部６９によって、この合成処理により得られた高周波成分ｈ’とＬＰＦ部６１からの低周波成分ｌとが加算される（ステップＳ２９）。そして、この加算処理により得られた画像信号が線形変換部６２Ｃによって線形変換されて出力画像Ｏとして後段の処理部（階調変換部７）へ出力される（ステップＳ３０）。
【０１２６】
（実施形態３）
第１の実施形態では線形／対数特性から１つの線形特性への変換を行う構成であったが、第３の実施形態では、線形／線形特性から１つの線形特性への変換を行う構成となっている。すなわち、第３の実施形態では、ノイズ除去部の構成は第１の実施形態におけるノイズ除去部６（図５参照）と同じであるが、固体撮像素子３が、上記線形／対数特性ではなく線形／線形特性である光電変換特性を有するものとされている（その他の構成は第１の実施形態と同じであり、その説明を省略する）。
【０１２７】
ところで上記線形／線形特性とは、図１２に示すように、低輝度側、高輝度側ともに線形の光電変換特性（低輝度側を第１線形特性、高輝度側を第２線形特性とする）を有しており、輝度レベルに応じてすなわち所定の出力レベル点（変曲点）を境としてこれら光電変換特性の線形の傾きが変化する（異なる）光電変換特性である。この場合の光電変換特性も、上記線形／対数特性の場合と同様、複数の異なる光電変換特性からなるものであると言える。本実施形態では、固体撮像素子３として、このような線形／線形特性を有する例えば可変蓄積時間型撮像センサや可変蓄積容量型撮像センサが採用される。なお、露光量や感度の異なる複数の撮影画像を固体撮像素子外部で合成してなる画像等も、本実施形態に適用することが可能である。なお、本実施形態でも、第１の実施形態での線形／線形特性の場合と同様、線形／線形特性に対して線形変換（この場合をリニアリニア変換という）を行って１つの線形特性に統一するが、これは図１２に示すように、高輝度側の線形特性の傾きを低輝度側の線形特性の傾きと一致させるような変換を行うものである。
【０１２８】
以下、本実施形態において、線形／線形特性から線形特性への変換によって、ノイズ量がどのように変化するのか或いはどのような値になるのかについて説明する。
［線形／線形特性から線形特性への変換におけるノイズについての説明］
線形／線形特性の光電変換特性は、以下の（４７）、（４８）式のように表される。
ｙ＝ｘ （ｘ≦Ｔ、ｙ≦Ｔ） ・・・（４７）
ｙ＝ｃ＊ｘ＋ｄ （ｘ＞Ｔ、ｙ＞Ｔ） ・・・（４８）
【０１２９】
これを１つの線形特性に変換すると、変換後の特性Ｙは、以下の（４９）、（５０）式で表される。
Ｙ＝ｙ （ｙ≦Ｔ） ・・・（４９）
Ｙ＝（ｙ−ｄ）／ｃ （ｙ＞Ｔ）・・・（５０）
したがって、ｙがノイズの無い信号であるとすると、全ｙ（すなわち全ｘ）において、Ｙ＝ｘとなる。
【０１３０】
ノイズがのっている信号をｙｎ、このノイズをｎ（ｎ＞０）とすると、ｙｎ＝ｙ±ｎと表すことができるので、上記（４７）、（４８）式より、ノイズ正側の場合（ｙｎ＝ｙ＋ｎ）、以下の（５１）、（５２）式のように表される。
ノイズ正側
ｙｎ＝ｘ＋ｎ （ｘ≦Ｔ、ｙｎ≦Ｔ＋ｎ） ・・・（５１）
ｙｎ＝ｃ＊ｘ＋ｄ＋ｎ （ｘ＞Ｔ、ｙｎ＞Ｔ＋ｎ） ・・・（５２）
【０１３１】
また、ノイズ負側の場合（ｙｎ＝ｙ−ｎ）、以下の（５１）’、（５２）’式のように表される。
ノイズ負側
ｙｎ＝ｘ−ｎ （ｘ≦Ｔ、ｙｎ≦Ｔ−ｎ） ・・・（５１）’
ｙｎ＝ｃ＊ｘ＋ｄ−ｎ （ｘ＞Ｔ、ｙｎ＞Ｔ−ｎ） ・・・（５２）’
【０１３２】
ｙｎを線形特性に変換したものをＹｎとすると、このＹｎは、ノイズ正側の場合、上記（４９）〜（５２）式より以下の（５３）〜（５５）式で表される。
ノイズ正側
Ｙｎ＝ｙｎ＝ｘ＋ｎ （ｙｎ≦Ｔ、ｘ≦Ｔ−ｎ） ・・・（５３）
Ｙｎ＝（ｙｎ−ｄ）／ｃ
＝（ｘ＋ｎ−ｄ）／ｃ （Ｔ＜ｙｎ≦Ｔ＋ｎ、Ｔ−ｎ＜ｘ≦Ｔ） ・・・（５４）
Ｙｎ＝（ｙｎ−ｄ）／ｃ
＝（（ｃ＊ｘ＋ｄ＋ｎ）−ｄ）／ｃ
＝ｘ＋ｎ／ｃ （Ｔ＋ｎ＜ｙｎ、Ｔ＜ｘ） ・・・（５５）
【０１３３】
また、Ｙｎは、ノイズ負側の場合、上記（４９）、（５０）、（５１）’及び（５２）’式より、以下の（５３）’〜（５５）’式で表される。
ノイズ負側
Ｙｎ＝ｙｎ＝ｘ−ｎ （ｙｎ≦Ｔ−ｎ、ｘ≦Ｔ） ・・・（５３）’
Ｙｎ＝ｙｎ＝ｃ＊ｘ＋ｄ−ｎ （Ｔ−ｎ＜ｙｎ≦Ｔ、Ｔ＜ｘ≦（Ｔ−ｄ＋ｎ）／ｃ） ・・・（５４）’
Ｙｎ＝（ｙｎ−ｄ）／ｃ
＝（ｃ＊ｘ＋ｄ−ｎ−ｄ）／ｃ
＝ｘ−ｎ／ｃ （Ｔ＜ｙｎ、（Ｔ−ｄ＋ｎ）／ｃ＜ｘ） ・・・（５５）’
【０１３４】
これら（５３）〜（５５）式、及び（５３）’〜（５５）’式は、図１３に示すグラフとなる。すなわち図１２のグラフにおいて、ノイズ正側の場合、（５３）式に相当するものが符号５０１で示す特性（特性５０１）、（５４）式に相当するものが符号５０２で示す特性（特性５０２）、（５５）式に相当するものが符号５０３で示す特性（特性５０３）となる。また、ノイズ負側の場合、（５３）’式に相当するものが符号５１１で示す特性（特性５１１）、（５４）’式に相当するものが符号５１２で示す特性（特性５１２）、（５５）’式に相当するものが符号５１３で示す特性（特性５１３）となる。
【０１３５】
この場合も、図８での説明と同様、変曲点Ｔ（ｘ座標で考えている）を挟んでＴ−ｎ＜ｘ≦Ｔの範囲５０２１とＴ＜ｘ≦（Ｔ−ｄ＋ｎ）／ｃの範囲５１２１とにおいて、（４７）、（４８）式の異なる方で変換されてしまい、特性５０２、５１２となる（ただし、本実施形態では基画像Ｉが線形／線形特性であるので、この特性５０２、５１２は線形となる）。また、Ｔ＜ｘの範囲、（Ｔ−ｄ＋ｎ）／ｃ＜ｘの範囲では、それぞれ、線形変換する前の特性が線形特性であることから、特性５０３、５１３のようになる。これら特性５０３、５１３はそれぞれ特性５０１、５１１と平行な（傾きが同じ）グラフとなっている。この場合も、細部のグラフ形状は異なるものの、全体としては図８に示す場合と同様に、線形変換後、Ｙ＝ｘの特性５２２に対する正側のノイズ量と負側のノイズ量とが、それぞれ、ｘ全域（低輝度から高輝度にかけて）において一定でなく、異なる値となってしまう。
【０１３６】
次に、本実施形態の場合について、正側と負側とで異なる特徴を有するノイズに対してノイズ除去処理を行った後の残留ノイズ量が、どようなコアリング係数Ｓを設定すれば、一定となるのかということについて説明する。
［コアリング係数算出についての説明］
第１の実施形態と同様に、低周波成分Ｌを用いて、上記（５３）〜（５５）式及び（５３）’〜（５５）’式を表すと、以下の（５６）〜（５８）式及び（５６）’〜（５８）’式となる。
ノイズ正側
Ｙｎ＝Ｌ＋ｎ （Ｌ≦Ｔ−ｎ） ・・・（５６）
Ｙｎ＝（Ｌ−ｄ＋ｎ）／ｃ （Ｔ−ｎ＜Ｌ≦Ｔ） ・・・（５７）
Ｙｎ＝Ｌ＋ｎ／ｃ （Ｔ＜Ｌ） ・・・（５８）
ノイズ負側
Ｙｎ＝Ｌ−ｎ （Ｌ≦Ｔ） ・・・（５６）’
Ｙｎ＝ｃ＊Ｌ＋ｄ−ｎ （Ｔ＜Ｌ≦（Ｔ−ｄ＋ｎ）／ｃ）・・・（５７）’
Ｙｎ＝Ｌ−ｎ／ｃ （（Ｔ−ｄ＋ｎ）／ｃ＜Ｌ） ・・・（５８）’
【０１３７】
＜ノイズ量の算出＞
第１の実施形態と同様にノイズ量Ｎ（Ｎ≧０）を求める。ノイズ量Ｎは、ノイズ正側の場合、上記（５６）〜（５８）式から低周波成分Ｌを減算することにより、以下の（５９）〜（６１）式で表される。
ノイズ正側
Ｎ＝ｎ （Ｌ≦Ｔ−ｎ） ・・・（５９）
Ｎ＝（Ｌ−ｄ＋ｎ）／ｃ−Ｌ＝（（１−ｃ）＊Ｌ−ｄ＋ｎ）／ｃ （Ｔ−ｎ＜Ｌ≦Ｔ） ・・・（６０）
Ｎ＝ｎ／ｃ （Ｔ＜Ｌ） ・・・（６１）
【０１３８】
一方、ノイズ負側の場合、低周波成分Ｌから上記（５６）’〜（５８）’式を減算することにより、以下の（５９）’〜（６１）’式で表される。
ノイズ負側
Ｎ＝ｎ （Ｌ≦Ｔ） ・・・（５９）’
Ｎ＝Ｌ−（ｃ＊Ｌ＋ｄ−ｎ）＝（１−ｃ）＊Ｌ−ｄ＋ｎ （Ｔ＜Ｌ≦（Ｔ−ｄ＋ｎ）／ｃ） ・・・（６０）’
Ｎ＝ｎ／ｃ （（Ｔ−ｄ＋ｎ）／ｃ＜Ｌ） ・・・（６１）’
【０１３９】
＜ＤＲ圧縮後の残留ノイズ量が一定となる条件＞
これは第１の実施形態の場合と同じ条件が成立し、上記（２５）式と同じである。すなわち、ＤＲ圧縮後の残留ノイズ量ｒ（ｒ≧０：一定）、及びＤＲ圧縮率ｋ（Ｌ）を用いて、コアリング係数Ｓ（Ｓ≧０）を表すと、以下の（２５）式となる。
Ｓ＝Ｎ−ｒ／ｋ（Ｌ） ・・・（２５）
【０１４０】
コアリング係数Ｓは、ノイズ正側の場合、上記（２５）式及び（５９）〜（６１）式により、以下の（６２）〜（６４）式で表される。
ノイズ正側
Ｓ＝ｎ−ｒ／ｋ（Ｌ） （Ｌ≦Ｔ−ｎ） ・・・（６２）
Ｓ＝（（１−ｃ）＊Ｌ−ｄ＋ｎ）／ｃ−ｒ／ｋ（Ｌ） （Ｔ−ｎ＜Ｌ≦Ｔ） ・・・（６３）
Ｓ＝ｎ／ｃ−ｒ／ｋ（Ｌ） （Ｔ＜Ｌ） ・・・（６４）
【０１４１】
また、ノイズ負側の場合、上記（２５）式及び（５９）’〜（６１）’式により、以下の（６２）’〜（６４）’式で表される。
ノイズ負側
Ｓ＝ｎ−ｒ／ｋ（Ｌ） （Ｌ≦Ｔ） ・・・（６２）’
Ｓ＝（１−ｃ）＊Ｌ−ｄ＋ｎ−ｒ／ｋ（Ｌ） （Ｔ＜Ｌ≦（Ｔ−ｄ＋ｎ）／ｃ） ・・・（６３）’
Ｓ＝ｎ／ｃ−ｒ／ｋ（Ｌ） （（Ｔ−ｄ＋ｎ）／ｃ＜Ｌ） ・・・（６４）’
【０１４２】
これら（６２）〜（６４）式及び（６２）’〜（６４）’式から、コアリング係数Ｓは、ＤＲ圧縮率ｋ（低周波成分Ｌに応じて決定されるＤＲ圧縮率ｋ）、ノイズ量ｎ、残留ノイズ量ｒを用いて表される。コアリング係数Ｓは、Ｔ−ｎ＜Ｌ≦（Ｔ−ｄ＋ｎ）／ｃの範囲で、ノイズの正側と負側とで異なることが分かる。このような値のコアリング係数Ｓをコアリング係数算出部６５により算出し、算出したこのコアリング係数Ｓを用いてコアリング処理部６４によるコアリング処理を行うことで、残留ノイズ量ｒを一定とすることができる。なお、この場合も同様に、コアリング係数算出部６５でのコアリング係数Ｓの算出においては、該コアリング係数算出部６５へ送信されてきた低周波成分Ｌ、ノイズ量ｎ、残留ノイズ量ｒ及びこの低周波成分Ｌに対応するＤＲ圧縮率ｋ（ｋ（Ｌ））の情報に基づいて、すなわち上記と同様に換言すれば、低周波成分Ｌのレベルに応じて、ノイズ正側及び負側においてそれぞれ上記（６２）〜（６４）式及び（６２）’〜（６４）’式を満たすようなコアリング係数Ｓが算出される。
【０１４３】
＜階調変換前において残留ノイズ量が一定となる条件＞
なお、第１及び第２の実施形態と同様に、上記（６２）〜（６４）式及び（６２）’〜（６４）’式におけるｋ（Ｌ）の値を「１」として、階調変換前において残留ノイズ量が一定となるようにしてもよい。この場合も、線形／線形画像を線形変換したときに増幅されるノイズを除去することができるので、ノイズ除去精度を高める効果がある。
【０１４４】
なお、本実施形態の場合のフローチャートは、第１の実施形態における図９のフローチャートにおけるステップＳ１の線形／対数画像を、線形／線形画像に置き換えたものであり、この線形／線形画像に対して以下同様のフローにて処理が実行される。
【０１４５】
（実施形態４）
第３の実施形態では、線形／線形特性に対して線形変換を行ってから（統一線形画像にしてから）コアリング処理を行う構成であったが、第４の実施形態では、当該線形変換を行わずに、線形／線形特性（線形／線形画像）のままコアリング処理を行う構成となっている。すなわち、第４の実施形態では、ノイズ除去部の構成は第２の実施形態におけるノイズ除去部６ａ（図１０参照）と同じであるが、固体撮像素子３が線形／線形特性である光電変換特性を有するものとされている（その他の構成は第２の実施形態と同じでありその説明を省略する）。
【０１４６】
本実施形態における線形／線形特性の光電変換特性は、第３の実施形態と同じ上記（４７）、（４８）式で表され、１つの線形特性に変換するときの変換後の特性Ｙは第３の実施形態と同じ上記（４９）、（５０）式で表される。また、ノイズがのっている信号ｙｎは第３の実施形態と同じ上記（５１）、（５２）式及び（５１）’、（５２）’式で表される。
【０１４７】
ＬＰＦを通った低周波成分ｌ（Ｌの小文字）は、以下の（６５）、（６６）式で表される。
ｌ＝ｘ （ｘ≦Ｔ、ｌ≦Ｔ） ・・・（６５）
ｌ＝ｃ＊ｘ＋ｄ （Ｔ＜ｘ、Ｔ＜ｌ） ・・・（６６）
【０１４８】
上記（５１）、（５２）式及び（５１）’、（５２）’式を低周波成分ｌを用いて表すと、それぞれ以下に示す１つの（６７）、（６７）’式で表される。
ノイズ正側 ｙｎ＝ｌ＋ｎ ・・・（６７）
ノイズ負側 ｙｎ＝ｌ−ｎ ・・・（６７）’
【０１４９】
本実施形態では、線形／線形特性の状態のままでコアリング処理を行うので、ノイズ量はｎである。残留ノイズ量Ｒ、コアリング係数Ｓとして、Ｒ＝ｎ−Ｓとなるので、コアリング処理後の画像信号ｙｓは、以下の（６８）、（６８）’式で表される。
ノイズ正側 ｙｓ＝ｌ＋Ｒ＝ｌ＋ｎ−Ｓ ・・・（６８）
ノイズ負側 ｙｓ＝ｌ−Ｒ＝ｌ−ｎ＋Ｓ ・・・（６８）’
【０１５０】
一方、階調変換部７でのＤＲ圧縮後の画像信号Ｙｓ’は、線形変換後の低周波成分ＬをＤＲ圧縮率ｋ（Ｌ）で圧縮したものに残留ノイズ量ｒ（ｒ≧０：一定）がのったものとなるので、上記（３）式を参照して、以下の（６９）、（６９）’式で表される。
ノイズ正側 Ｙｓ’＝ｋ（Ｌ）＊Ｌ＋ｒ ・・・（６９）
ノイズ負側 Ｙｓ’＝ｋ（Ｌ）＊Ｌ−ｒ ・・・（６９）’
【０１５１】
また、ＤＲ圧縮前の画像信号Ｙｓは、以下の（７０）、（７０）’式で表され、
ノイズ正側 Ｙｓ＝Ｌ＋ｒ／ｋ（Ｌ） ・・・（７０）
ノイズ負側 Ｙｓ＝Ｌ−ｒ／ｋ（Ｌ） ・・・（７０）’
これら画像信号Ｙｓの線形変換前の画像信号ｙｓは、以下の（７１）、（７２）式で表される。
ｙｓ＝Ｙｓ （Ｙｓ≦Ｔ、ｙｓ≦Ｔ） ・・・（７１）
ｙｓ＝ｃ＊Ｙｓ＋ｄ ・・・（７２）
【０１５２】
したがって、画像信号ｙｓは、ノイズ正側の場合、上記（７０）〜（７２）式により、以下の（７３）、（７４）式で表される。
ノイズ正側
ｙｓ＝Ｌ＋ｒ／ｋ（Ｌ） （ｙｓ≦Ｔ、Ｌ≦Ｔｐ） ・・・（７３）
ｙｓ＝ｃ＊（Ｌ＋ｒ／ｋ（Ｌ））＋ｄ
＝ｃ＊Ｌ＋ｄ＋ｃ＊ｒ／ｋ（Ｌ） （Ｔ＜ｙｓ、Ｔｐ＜Ｌ） ・・・（７４）
但し、Ｔｐは、Ｔ＝Ｔｐ＋ｒ／ｋ（Ｔｐ）を満たす。ＤＲ圧縮率（圧縮特性）ｋ（Ｌ）は設計上既知であるので、このＴｐも求まる。また、Ｔ−Ｔｐ＝ｒ／ｋ（Ｔｐ）＞０であるので、Ｔｐ＜Ｔである。
【０１５３】
また、画像信号ｙｓは、ノイズ負側の場合、上記（７０）’式及び（７１）、（７２）式により、以下の（７３）’、（７４）’式で表される。
ノイズ負側
ｙｓ＝Ｌ−ｒ／ｋ（Ｌ） （ｙｓ≦Ｔ、Ｌ≦Ｔｍ） ・・・（７３）’
ｙｓ＝ｃ＊（Ｌ−ｒ／ｋ（Ｌ））＋ｄ
＝ｃ＊Ｌ＋ｄ−ｃ＊ｒ／ｋ（Ｌ） （Ｔ＜ｙｓ、Ｔｍ＜Ｌ）・・・（７４）’
但し、Ｔｍは、Ｔ＝Ｔｍ−ｒ／ｋ（Ｔｍ）を満たす。また、Ｔ−Ｔｍ＝−ｒ／ｋ（Ｔｍ）＜０であるので、Ｔｍ＞Ｔである。
【０１５４】
ここで、線形／線形特性での低周波成分ｌと、線形変換後の低周波成分Ｌ（上記（４９）、（５０）式参照）との関係を示す。低周波成分Ｌは低周波成分ｌを線形変換したものに等しいので、
Ｌ＝ｌ （ｌ≦Ｔ） ・・・（７５）
Ｌ＝（ｌ−ｄ）／ｃ＝ｌ’ （Ｔ＜ｌ） ・・・（７６）
但し、ｌ’は（ｌ−ｄ）／ｃを簡略表記するものである。
【０１５５】
線形／線形特性での画像信号ｙｓを線形／線形特性での低周波成分ｌで表すと、ノイズ正側の場合、上記（７３）〜（７６）式により、以下の（７７）〜（７９）式となる。
ｙｓ＝ｌ＋ｒ／ｋ（ｌ） （ｌ≦Ｔｐ） ・・・（７７）
ｙｓ＝ｃ＊（ｌ＋ｒ／ｋ（ｌ））＋ｄ
＝ｃ＊ｌ＋ｄ＋ｃ＊ｒ／ｋ（ｌ） （Ｔｐ＜ｌ≦Ｔ） ・・・（７８）
ｙｓ＝ｃ＊（ｌ’＋ｒ／ｋ（ｌ’））＋ｄ
＝ｌ＋ｃ＊ｒ／ｋ（ｌ’） （Ｔ＜ｌ、Ｔ＜ｌ’） ・・・（７９）
【０１５６】
また、ノイズ負側の場合、上記（７３）’、（７４）’、（７５）及び（７６）式により、以下の（７７）’〜（７９）’式となる。
ｙｓ＝ｌ−ｒ／ｋ（ｌ） （ｌ≦Ｔ） ・・・（７７）’
ｙｓ＝ｌ’−ｒ／ｋ（ｌ’）
＝（ｌ−ｄ）／ｃ−ｒ／ｋ（ｌ’） （Ｔ＜ｌ≦ｃ＊Ｔｍ＋ｄ、Ｔ＜ｌ’≦Ｔｍ） ・・・（７８）’
ｙｓ＝ｃ＊ｌ’＋ｄ−ｃ＊ｒ／ｋ（ｌ’）
＝ｌ−ｃ＊ｒ／ｋ（ｌ’） （ｃ＊Ｔｍ＋ｄ＜ｌ、Ｔｍ＜ｌ’）・・・（７９）’
【０１５７】
コアリング係数Ｓは、ノイズ正側の場合、上記（６８）式及び（７７）〜（７９）式により、以下の（８０）〜（８２）式で表される。
Ｓ＝ｎ−ｒ／ｋ（ｌ） （ｌ≦Ｔｐ） ・・・（８０）
Ｓ＝（ｌ−ｃ）＊ｌ−ｄ＋ｎ−ｃ＊ｒ／ｋ（ｌ） （Ｔｐ＜ｌ≦Ｔ） ・・・（８１）
Ｓ＝ｎ−ｃ＊ｒ／ｋ（ｌ’） （Ｔ＜ｌ、Ｔ＜ｌ’） ・・・（８２）
【０１５８】
また、ノイズ負側の場合、上記（６８）’式及び（７７）’〜（７９）’式により、以下の（８０）’〜（８２）’式で表される。
Ｓ＝ｎ−ｒ／ｋ（ｌ） （ｌ≦Ｔ） ・・・（８０）’
Ｓ＝（（１−ｃ）＊ｌ−ｄ）＋ｎ−ｒ／ｋ（ｌ’） （Ｔ＜ｌ≦ｃ＊Ｔｍ＋ｄ、Ｔ＜ｌ’≦Ｔｍ） ・・・（８１）’
Ｓ＝ｎ−ｃ＊ｒ／ｋ（ｌ’） （ｃ＊Ｔｍ＋ｄ＜ｌ、Ｔｍ＜ｌ’） ・・・（８２）’
【０１５９】
これら（８０）〜（８２）式及び（８０）’〜（８２）’式から、コアリング係数Ｓは、ＤＲ圧縮率ｋ（低周波成分ｌに応じて決定されるＤＲ圧縮率ｋ）、ノイズ量ｎ、残留ノイズ量ｒを用いて表される。また、コアリング係数Ｓは、Ｔｐ＜ｌ≦ｃ＊Ｔｍ＋ｄの範囲で、ノイズの正側と負側とで異なることが分かる。このような値のコアリング係数Ｓをコアリング係数算出部６５により算出し、算出したこのコアリング係数Ｓを用いてコアリング処理部６４によるコアリング処理を行うことで、残留ノイズ量ｒを一定とすることができる。なお、この場合も同様に、コアリング係数算出部６５でのコアリング係数Ｓの算出においては、該コアリング係数算出部６５へ送信されてきた低周波成分ｌ、ノイズ量ｎ、残留ノイズ量ｒ及びこの低周波成分ｌに対応するＤＲ圧縮率ｋ（ｋ（ｌ））の情報に基づいて、すなわち上記と同様に換言すれば、低周波成分ｌのレベルに応じて、ノイズ正側及び負側においてそれぞれ上記（８０）〜（８２）式及び（８０）’〜（８２）’式を満たすようなコアリング係数Ｓが算出される。
【０１６０】
＜階調変換前において残留ノイズ量が一定となる条件＞
なお、第１〜第３の実施形態と同様に、上記（８０）〜（８２）式及び（８０）’〜（８２）’式におけるｋ（ｌ）、ｋ（ｌ’）の値を「１」として、階調変換前において残留ノイズ量が一定となるようにしてもよい。この場合も線形／線形画像を線形変換したときに増幅されるノイズを除去することができるので、ノイズ除去精度を高める効果がある。
【０１６１】
なお、本実施形態の場合のフローチャートは、第２の実施形態における図１１のフローチャートにおけるステップＳ２１の線形／対数画像を、線形／線形画像に置き換えたものであり、この線形／線形画像に対して以下同様のフローにて処理が実行される。
【０１６２】
以上のように、上記各実施形態の撮像装置（デジタルカメラ１）によれば、固体撮像素子３が複数の異なる光電変換特性を有するものとされ、ノイズ除去部６（６ａ）（ノイズ除去手段）によって、固体撮像素子３による撮像により得られる画像（基画像Ｉ）に対するノイズ除去処理が行われ、線形変換部６２Ａ、６２Ｂ（６２Ｃ）（階調変換手段）によって、ノイズ除去手段によりノイズ除去処理が行われた画像に対する階調変換処理が行われる。そして、ノイズ除去手段において、ＬＰＦ部６１（低周波成分抽出手段）によって、画像から低周波成分Ｌ（ｌ）が抽出され、減算部６３（高周波成分抽出手段）によって、画像から高周波成分Ｈ（ｈ）が抽出される。また、画像の信号（ｙ）に対して該信号のレベルよりもレベルが高い側を正側、レベルが低い側を負側と定める（ノイズ信号ｙｎ＝ｙ±ｎと定める）場合において、コアリング係数算出部６５（ノイズ除去量算出手段）によって、低周波成分抽出手段により抽出された低周波成分のレベルに応じて、正側のノイズ（＋ｎ）に対するノイズ除去量である正側ノイズ除去量（例えば（２６）〜（２８）式参照）と、負側のノイズ（−ｎ）に対するノイズ除去量である負側ノイズ除去量（例えば（２６）’〜（２８）’式参照）とが算出される。そして、コアリング処理部６４（コアリング手段）によって、高周波成分抽出手段により抽出された高周波成分に対して、ノイズ除去量算出手段により算出された正側ノイズ除去量及び負側ノイズ除去量に基づいてコアリング処理が行われ、加算部６９（合成手段）によって、コアリング手段によりコアリング処理が行われた高周波成分と、低周波成分抽出手段により抽出された低周波成分とが合成される。
【０１６３】
このように、抽出された低周波成分Ｌ（ｌ）のレベルに応じてノイズ除去量が算出されるので、すなわち階調変換処理を行うに際しての階調（輝度）レベル（低周波成分のレベルに対応する）に応じてノイズの除去量を設定することができるので、階調変換による伸張度合いが違うことによってノイズが目立つことのないようにすることができる。さらに、このノイズ除去量が、低周波成分のレベルに応じて、正側のノイズに対する正側ノイズ除去量と、負側のノイズに対する負側ノイズ除去量とに細分化して算出されて、この正側ノイズ除去量及び負側ノイズ除去量に基づいてコアリング処理が行われるので、ノイズ除去を高精度に行うことができる。これらのことにより、ひいては高画質な画像を得ることができる。
【０１６４】
また、正側ノイズ除去量及び負側ノイズ除去量が、コアリング処理におけるそれぞれのコアリング係数Ｓとされ、ノイズ除去量算出手段によって、ノイズ除去手段によりノイズ除去処理が行われた画像に対して階調変換手段による階調変換処理を行った後に該画像に残る残留ノイズ量ｒが、正側及び負側それぞれにおいて低周波成分Ｌ（ｌ）のレベルに依らず（輝度に依らず；）一定となるように（（２４）式参照）各コアリング係数Ｓが算出されるので、当該コアリング係数の算出方法を用いて、正側ノイズ除去量或いは負側ノイズ除去量であるコアリング係数を、容易に且つ確実に算出することができる。
【０１６５】
また、固体撮像素子３により得られる画像が、複数の異なる特性を有する複数特性画像とされ、ノイズ除去手段において、線形変換部６２Ａ、６２Ｂ（特性変換手段）によって、複数特性画像における複数の異なる特性の画像を１種類の特性の画像に統一する変換処理が行われて複数特性画像がその特性が統一された統一特性画像に変換された後、該統一特性画像に対するノイズ除去処理が行われる。
【０１６６】
このように、固体撮像素子３により得られた画像（複数特性画像）がその特性が統一された統一特性画像に変換された後、この統一特性画像に対するノイズ除去処理が行われるので、統一特性画像にノイズ除去処理を施すことができる、すなわちノイズ除去処理が行われた時点で、既にその画像が統一特性画像であるようにすることができ、後段の階調変換手段における階調変換処理に、このノイズ除去処理後の画像をそのまま（変換処理動作を必要とせずに）使用可能な構成を実現することができる。
【０１６７】
また、固体撮像素子３により得られる画像が、複数の異なる特性を有する複数特性画像とされ、ノイズ除去手段において、複数特性画像に対するノイズ除去処理が行われた後、線形変換部６２Ｃ（特性変換手段）によって、複数特性画像における複数の異なる特性の画像を１種類の特性の画像に統一する変換処理が行われて複数特性画像がその特性が統一された統一特性画像に変換される。
【０１６８】
このように、固体撮像素子３により得られた画像（複数特性画像）に対するノイズ除去処理が行われた後、特性が統一された統一特性画像に変換される構成であるので、画像に対するノイズ除去処理と、統一特性画像に変換する変換処理とを別々に行うことができ、すなわち例えばノイズ除去処理が施された画像に対して別の処理を施した後に、階調変換処理に供するべく当該変換処理を行うことができ、ひいては画像の取り扱いの自由度が高くなる（取り扱い性が向上する）。
【０１６９】
また、固体撮像素子３が、入射光量に対して電気信号が線形的に変換されて出力される線形光電変換特性と、該入射光量に対して電気信号が対数的に変換されて出力される対数光電変換特性とからなる光電変換特性を有するものとされ（図４参照）、複数特性画像が、線形特性の画像と対数特性の画像とからなる線形／対数画像とされる。このように、固体撮像素子３が線形及び対数特性からなる光電変換特性を有し、この固体撮像素子３により線形／対数画像が得られる構成であるので、広ＤＲを確保しつつ（広ＤＲ画像であって且つ）、当該正側及び負側のノイズを考慮した高精度のノイズ除去処理による高画質な画像を得ることが可能となる。
【０１７０】
また、固体撮像素子３が、入射光量に対して電気信号が線形的に変換されて出力される第１の線形光電変換特性と、該第１の線形光電変換特性とグラフ上の傾きが異なる第２の線形光電変換特性とからなる光電変換特性を有するものとされ（図１２参照）、複数特性画像が、２種類の線形特性の画像からなる線形／線形画像とされる。このように、固体撮像素子３が傾きの異なる（２種類の）線形特性からなる光電変換特性を有し、この固体撮像素子３により線形／線形画像が得られる構成であるので、広ＤＲを確保しつつ、当該正側及び負側のノイズを考慮した高精度のノイズ除去処理による高画質な画像を得ることが可能となる。
【０１７１】
また、特性変換手段によって、複数特性画像を線形特性の画像に統一する変換処理が行われる、すなわち画像の特性が線形特性に統一される構成であるので、階調変換部７（階調変換手段）による階調変換処理を容易に行うことができるようになる。
【０１７２】
また、ノイズ除去量算出手段によって、低周波成分のレベルに応じて与えられる階調変換手段による階調変換処理としてのダイナミックレンジ圧縮処理におけるダイナミックレンジ圧縮率（ｋ）と、既定値として与えられる画像のノイズ量（ｎ）及び残留ノイズ量（ｒ）とから正側及び負側のコアリング係数が算出されるので、すなわち、ノイズ量及び残留ノイズ量は既定値であり且つダイナミックレンジ圧縮率は低周波成分に応じて与えられるものであり、コアリング係数Ｓの算出に要する値は全て低周波成分に応じて定まると言うことができるので、正側及び負側のコアリング係数を、１つの評価（変化）パラメータである低周波成分Ｌ（ｌ）を用いた簡易な演算によって容易に算出することができる。
【０１７３】
また、ノイズ除去量算出手段によって、ダイナミックレンジ圧縮率を「１」としてコアリング係数が算出される構成であるので、ダイナミックレンジ圧縮を行わない（圧縮率ｋ＝１）つまり階調変換を行わない場合における当該正側及び負側のコアリング係数Ｓが算出され、階調変換を行う前の段階において正側及び負側の残留ノイズが一定とされた高精度にノイズ除去がなされた画像を得ることができる。
【０１７４】
また、ノイズ除去手段において、エッジ量検出部６６（エッジ量検出手段）によって、固体撮像素子３により得られる画像からエッジ量ｅが検出され、合成部６８及び加算部６９（調整手段）によって、エッジ量検出手段により検出されたエッジ量ｅに基づいて、コアリング処理におけるコアリングの度合い（ノイズ除去の程度）が調整されるので、正側ノイズ除去量及び負側ノイズ除去量に基づく高精度なノイズ除去が行われるとともに、エッジ量が考慮されたすなわちエッジ保存がなされた、より高画質な画像を得ることができる。
【０１７５】
なお、本発明は、以下の態様をとることができる。
（Ａ）上記各実施形態においては、撮影画像に対するノイズ除去処理をデジタルカメラ１内（ノイズ除去部６、６ａ）で行う構成としているが、これに限らず、デジタルカメラ１外の所定の処理部において実行する構成としてもよい。具体的には、例えばＡＤ変換後のデータを、メモリカード等の記録メディア、或いは通信手段、すなわちＵＳＢや無線ＬＡＮ等による有線又は無線接続（ネットワーク接続）により情報伝達可能に構成されたユーザーインターフェイスを介して、ＰＣ（Personal Computer）やＰＤＡ（Personal Digital Assistant）等の情報処理機器に送信し、この情報処理機器内で当該ノイズ除去処理を行う構成としてもよい。
【０１７６】
（Ｂ）上記各実施形態においては、固体撮像素子３の光電変換特性は、２つの異なる光電変換特性（線形特性及び対数特性、或いは第１線形特性及び第２線形特性）からなるが、３つ以上の異なる光電変換特性からなっていてもよい。この場合も上記と同様に正側及び負側のノイズを設定するノイズ除去手法が適用される（光電変換特性についても３つ以上の異なる光電変換特性からいずれか１種類の光電変換特性に統一される）。
【図面の簡単な説明】
【０１７７】
【図１】第１の実施形態に係る撮像装置の一例であるデジタルカメラの主に撮像処理に関するブロック構成図である。
【図２】上記固体撮像素子の一例である二次元のＭＯＳ型固体撮像装置の概略構成図である。
【図３】図２に示す各画素Ｇ１１〜Ｇｍｎの構成例を示す回路図である。
【図４】上記固体撮像素子の光電変換特性の一例を示すグラフ図である。
【図５】図１に示すノイズ除去部の一例を示すブロック構成図である。
【図６】コアリング処理におけるコアリング特性を示すグラフ図である。
【図７】エッジ量と合成係数との関係を示すグラフ図である。
【図８】第１の実施形態における線形変換後の正側及び負側のノイズの特性について説明するグラフ図である。
【図９】第１の実施形態におけるデジタルカメラの主にノイズ除去に関する動作の一例を示すフローチャートである。
【図１０】第２の実施形態に係るデジタルカメラにおけるノイズ除去部の一例を示すブロック構成図である。
【図１１】第２の実施形態におけるデジタルカメラの主にノイズ除去に関する動作の一例を示すフローチャートである。
【図１２】第３及び第４の実施形態に係る固体撮像素子の光電変換特性の一例を示すグラフ図である。
【図１３】第３の実施形態における線形変換後の正側及び負側のノイズの特性について説明するグラフ図である。
【符号の説明】
【０１７８】
１ デジタルカメラ（撮像装置）
３ 固体撮像素子
６、６ａ ノイズ除去部（ノイズ除去手段）
６１ ＬＰＦ部（低周波成分抽出手段）
６２Ａ、６２Ｂ 線形変換部（請求項３に記載の特性変換手段）
６２Ｃ 線形変換部（請求項４に記載の特性変換手段）
６３ 減算部（高周波成分抽出手段）
６４ コアリング処理部（コアリング手段）
６５ コアリング係数算出部（ノイズ除去量算出手段）
６６ エッジ量検出部（エッジ量検出手段）
６７ 合成係数算出部（調整手段）
６８ 合成部（調整手段）
６９ 加算部（合成手段）
７ 階調変換部（階調変換手段）
【技術分野】
【０００１】
本発明は、複数の異なる光電変換特性を有する固体撮像素子を用いた撮像装置であって、特に、この固体撮像素子により得られた撮影画像に対するノイズ除去が可能な撮像装置に関するものである。
【背景技術】
【０００２】
従来、デジタルカメラ等の撮像装置は、所定の固体撮像素子（撮像センサ）を備え、この固体撮像素子による撮像によって撮影画像を取得する。一般的に、撮影画像（画像信号）にはノイズ成分が含まれるが、近年における更なる高画質化の要請にも伴い、このノイズ成分を好適に除去することが求められる。ところで、固体撮像素子には、該固体撮像素子の光電変換特性が複数の異なる光電変換特性からなるものがある。例えば、入射光量に対して電気信号が線形的に変換されて出力される線形の光電変換特性（線形特性という）と、入射光量に対して電気信号が対数的に変換されて出力される対数の光電変換特性（対数特性という）とからなる光電変換特性を有する固体撮像素子（リニアログセンサという）が知られている。なお、この線形特性及び対数特性（線形／対数特性という）を有するリニアログセンサによる撮影画像のことを「線形／対数画像」という。
【０００３】
この線形／対数特性のように複数の異なる光電変換特性を有する固体撮像素子により撮影する場合、対数特性において、入射光量に対して自然対数的に変換された出力が得られることから、広いダイナミックレンジ（広ダイナミックレンジ）が確保できるという利点がある反面、画像信号が対数圧縮されるためコントラスト性が悪くなる（対数特性の画像が低コントラストとなる）という不都合がある。そのため、画像から照明成分と反射率成分とを抽出し、対数特性の照明成分を線形変換して全体を線形特性に統一した後、これを圧縮することにより局所的なコントラストを保存したまま全体のダイナミックレンジ（ＤＲ）を圧縮するＤＲ圧縮などの階調変換を行うことで、当該対数特性における高コントラスト化が図られる。
【特許文献１】特願２００５−２７６２９９
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記階調変換に伴いノイズも増幅されてしまう、すなわち階調変換による画像データの伸張度合い（圧縮度合い）が大きな画素においては、コントラスト成分だけでなくノイズ成分も伸張されてしまい、一律のノイズ除去を行うだけでは伸張度合いの大きな領域でのノイズが目立ってしまっていた。
【０００５】
これに関し、例えば特許文献１には、ノイズ除去量を階調変換における伸張度合いに応じて制御することで、すなわち撮影画像における当該伸張度合いに相当する輝度レベルに応じてノイズ除去量に関するコアリング係数を算出し、これを用いたノイズ除去処理を行うことで、全体の残留ノイズ量が一定となるようにする技術が開示されている。しかしながら、この技術では、ノイズ除去量が一律なものとして扱われるため、正確にノイズ除去を行うことができなかった。
【０００６】
本発明は、上記事情に鑑みてなされたもので、階調変換による伸張度合いの違いによってノイズが目立つことのないようにすることができるとともに、ノイズ除去を高精度に行うことができ、ひいては高画質な撮影画像を得ることができる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明に係る撮像装置は、複数の異なる光電変換特性を有する固体撮像素子と、前記固体撮像素子による撮像により得られる画像に対するノイズ除去処理を行うノイズ除去手段と、前記ノイズ除去手段によりノイズ除去処理が行われた画像に対する階調変換処理を行う階調変換手段とを備える撮像装置であって、前記ノイズ除去手段は、前記画像から低周波成分を抽出する低周波成分抽出手段と、前記画像から高周波成分を抽出する高周波成分抽出手段と、前記画像の信号に対して該信号のレベルよりもレベルが高い側を正側、レベルが低い側を負側と定める場合において、前記低周波成分抽出手段により抽出された低周波成分のレベルに応じて、前記正側のノイズに対するノイズ除去量である正側ノイズ除去量と、前記負側のノイズに対するノイズ除去量である負側ノイズ除去量とを算出するノイズ除去量算出手段と、前記高周波成分抽出手段により抽出された高周波成分に対して、前記ノイズ除去量算出手段により算出された前記正側ノイズ除去量及び前記負側ノイズ除去量に基づいてコアリング処理を行うコアリング手段と、前記コアリング手段によりコアリング処理が行われた高周波成分と、前記低周波成分抽出手段により抽出された低周波成分とを合成する合成手段とを備えることを特徴とする。
【０００８】
上記構成によれば、固体撮像素子が複数の異なる光電変換特性を有するものとされ、ノイズ除去手段によって、固体撮像素子による撮像により得られる画像に対するノイズ除去処理が行われ、階調変換手段によって、ノイズ除去手段によりノイズ除去処理が行われた画像に対する階調変換処理が行われる。そして、ノイズ除去手段において、低周波成分抽出手段によって、画像から低周波成分が抽出され、高周波成分抽出手段によって、画像から高周波成分が抽出される。また、画像の信号に対して該信号のレベルよりもレベルが高い側を正側、レベルが低い側を負側と定める場合において、ノイズ除去量算出手段によって、低周波成分抽出手段により抽出された低周波成分のレベルに応じて、正側のノイズに対するノイズ除去量である正側ノイズ除去量と、負側のノイズに対するノイズ除去量である負側ノイズ除去量とが算出される。そして、コアリング手段によって、高周波成分抽出手段により抽出された高周波成分に対して、ノイズ除去量算出手段により算出された正側ノイズ除去量及び負側ノイズ除去量に基づいてコアリング処理が行われ、合成手段によって、コアリング手段によりコアリング処理が行われた高周波成分と、低周波成分抽出手段により抽出された低周波成分とが合成される。
【０００９】
また、上記構成において、前記正側ノイズ除去量及び負側ノイズ除去量は、前記コアリング処理におけるそれぞれのコアリング係数であって、前記ノイズ除去量算出手段は、前記ノイズ除去手段によりノイズ除去処理が行われた画像に対して前記階調変換手段による階調変換処理を行った後に該画像に残る残留ノイズ量が、前記正側及び負側それぞれにおいて前記低周波成分のレベルに依らず一定となるように前記各コアリング係数を算出することが好ましい。（請求項２）
【００１０】
これによれば、正側ノイズ除去量及び負側ノイズ除去量が、コアリング処理におけるそれぞれのコアリング係数とされ、ノイズ除去量算出手段によって、ノイズ除去手段によりノイズ除去処理が行われた画像に対して階調変換手段による階調変換処理を行った後に該画像に残る残留ノイズ量が、正側及び負側それぞれにおいて低周波成分のレベルに依らず一定となるように各コアリング係数が算出される。
【００１１】
また、上記構成において、前記固体撮像素子による撮像により得られる画像は、複数の異なる特性を有する複数特性画像であって、前記ノイズ除去手段は、前記複数特性画像における複数の異なる特性の画像を１種類の特性の画像に統一する変換処理を行う特性変換手段をさらに備え、当該特性変換手段による変換処理によって前記複数特性画像を特性が統一された統一特性画像に変換した後、該統一特性画像に対する前記ノイズ除去処理を行うことが好ましい。（請求項３）
【００１２】
これによれば、固体撮像素子による撮像により得られる画像が、複数の異なる特性を有する複数特性画像とされ、ノイズ除去手段において、特性変換手段によって、複数特性画像における複数の異なる特性の画像を１種類の特性の画像に統一する変換処理が行われて複数特性画像がその特性が統一された統一特性画像に変換された後、該統一特性画像に対するノイズ除去処理が行われる。
【００１３】
また、上記構成において、前記固体撮像素子による撮像により得られる画像は、複数の異なる特性を有する複数特性画像であって、前記ノイズ除去手段は、前記複数特性画像における複数の異なる特性の画像を１種類の特性の画像に統一する変換処理を行う特性変換手段をさらに備え、前記複数特性画像に対する前記ノイズ除去処理を行った後、前記特性変換手段による変換処理によって前記複数特性画像を特性が統一された統一特性画像に変換することが好ましい。（請求項４）
【００１４】
これによれば、固体撮像素子による撮像により得られる画像が、複数の異なる特性を有する複数特性画像とされ、ノイズ除去手段において、複数特性画像に対するノイズ除去処理が行われた後、特性変換手段によって、複数特性画像における複数の異なる特性の画像を１種類の特性の画像に統一する変換処理が行われて複数特性画像がその特性が統一された統一特性画像に変換される。
【００１５】
また、上記構成において、前記固体撮像素子は、入射光量に対して電気信号が線形的に変換されて出力される線形光電変換特性と、該入射光量に対して電気信号が対数的に変換されて出力される対数光電変換特性とからなる光電変換特性を有するものであって、前記複数特性画像は、線形特性の画像と対数特性の画像とからなる線形／対数画像であることが好ましい。（請求項５）
【００１６】
これによれば、固体撮像素子が、入射光量に対して電気信号が線形的に変換されて出力される線形光電変換特性と、該入射光量に対して電気信号が対数的に変換されて出力される対数光電変換特性とからなる光電変換特性を有するものとされ、複数特性画像が、線形特性の画像と対数特性の画像とからなる線形／対数画像とされる。
【００１７】
また、上記構成において、前記固体撮像素子は、入射光量に対して電気信号が線形的に変換されて出力される第１の線形光電変換特性と、該第１の線形光電変換特性とグラフ上の傾きが異なる第２の線形光電変換特性とからなる光電変換特性を有するものであって、前記複数特性画像は、２種類の線形特性の画像からなる線形／線形画像であることが好ましい。（請求項６）
【００１８】
これによれば、固体撮像素子が、入射光量に対して電気信号が線形的に変換されて出力される第１の線形光電変換特性と、該第１の線形光電変換特性とグラフ上の傾きが異なる第２の線形光電変換特性とからなる光電変換特性を有するものとされ、複数特性画像が、２種類の線形特性の画像からなる線形／線形画像とされる。
【００１９】
また、上記構成において、前記特性変換手段は、前記複数特性画像を線形特性の画像に統一する変換処理を行うことが好ましい。（請求項７）
【００２０】
これによれば、特性変換手段によって、複数特性画像を線形特性の画像に統一する変換処理が行われる。
【００２１】
また、上記構成において、前記ノイズ除去量算出手段は、前記低周波成分のレベルに応じて与えられる、前記階調変換手段による階調変換処理としてのダイナミックレンジ圧縮処理におけるダイナミックレンジ圧縮率（ｋ）と、既定値として与えられる前記画像のノイズ量（ｎ）及び前記残留ノイズ量（ｒ）とから前記各コアリング係数を算出することが好ましい。（請求項８）
【００２２】
これによれば、ノイズ除去量算出手段によって、低周波成分のレベルに応じて与えられる階調変換手段による階調変換処理としてのダイナミックレンジ圧縮処理におけるダイナミックレンジ圧縮率（ｋ）と、既定値として与えられる画像のノイズ量（ｎ）及び残留ノイズ量（ｒ）とから各コアリング係数が算出される。
【００２３】
また、上記構成において、前記ノイズ除去量算出手段は、前記ダイナミックレンジ圧縮率を「１」としてコアリング係数を算出することが好ましい。（請求項９）
【００２４】
これによれば、ノイズ除去量算出手段によって、ダイナミックレンジ圧縮率を「１」としてコアリング係数が算出される。
【００２５】
また、上記構成において、前記ノイズ除去手段は、前記固体撮像素子による撮像により得られる画像からエッジ量を検出するエッジ量検出手段と、前記エッジ量検出手段により検出されたエッジ量に基づいて、前記コアリング処理におけるコアリングの度合いを調整する調整手段とをさらに備えることが好ましい。（請求項１０）
【００２６】
これによれば、ノイズ除去手段において、エッジ量検出手段によって、固体撮像素子による撮像により得られる画像からエッジ量が検出され、調整手段によって、エッジ量検出手段により検出されたエッジ量に基づいて、コアリング処理におけるコアリングの度合いが調整される。
【発明の効果】
【００２７】
請求項１に係る撮像装置によれば、抽出された低周波成分のレベルに応じてノイズ除去量が算出されるので、すなわち階調変換処理を行うに際しての階調（輝度）レベル（低周波成分のレベルに対応する）に応じてノイズの除去量を設定することができるので、階調変換による伸張度合いが違うことによってノイズが目立つことのないようにすることができる。さらに、このノイズ除去量が、低周波成分のレベルに応じて、正側のノイズに対する正側ノイズ除去量と、負側のノイズに対する負側ノイズ除去量とに細分化して算出されて、この正側ノイズ除去量及び負側ノイズ除去量に基づいてコアリング処理が行われるので、ノイズ除去を高精度に行うことができる。これらのことにより、ひいては高画質な画像を得ることができる。
【００２８】
請求項２に係る撮像装置によれば、ノイズ除去処理が行われた画像に対して階調変換処理を行った後に該画像に残る残留ノイズ量が、正側及び負側それぞれにおいて低周波成分のレベルに依らず一定となるように各コアリング係数が算出されるので、当該コアリング係数の算出方法を用いて、正側ノイズ除去量或いは負側ノイズ除去量であるコアリング係数を、容易に且つ確実に算出することができる。
【００２９】
請求項３に係る撮像装置によれば、固体撮像素子により得られた画像（複数特性画像）がその特性が統一された統一特性画像に変換された後、この統一特性画像に対するノイズ除去処理が行われるので、統一特性画像にノイズ除去処理を施すことができる、すなわちノイズ除去処理が行われた時点で、既にその画像が統一特性画像であるようにすることができ、後段の階調変換手段における階調変換処理に、このノイズ除去処理後の画像をそのまま（変換処理動作を必要とせずに）使用可能な構成を実現することができる。
【００３０】
請求項４に係る撮像装置によれば、固体撮像素子により得られた画像（複数特性画像）に対するノイズ除去処理が行われた後、特性が統一された統一特性画像に変換される構成であるので、画像に対するノイズ除去処理と、統一特性画像に変換する変換処理とを別々に行うことができ、すなわち例えばノイズ除去処理が施された画像に対して別の処理を施した後に、階調変換処理に供するべく当該変換処理を行うことができ、ひいては画像の取り扱いの自由度が高くなる（取り扱い性が向上する）。
【００３１】
請求項５に係る撮像装置によれば、固体撮像素子が線形及び対数特性からなる光電変換特性を有し、この固体撮像素子により線形／対数画像が得られる構成であるので、広いダイナミックレンジを確保しつつ、当該正側及び負側のノイズを考慮した高精度のノイズ除去処理による高画質な画像を得ることが可能となる。
【００３２】
請求項６に係る撮像装置によれば、固体撮像素子が傾きの異なる（２種類の）線形特性からなる光電変換特性を有し、この固体撮像素子により線形／線形画像が得られる構成であるので、広いダイナミックレンジを確保しつつ、当該正側及び負側のノイズを考慮した高精度のノイズ除去処理による高画質な画像を得ることが可能となる。
【００３３】
請求項７に係る撮像装置によれば、複数特性画像が線形特性の画像に統一される、すなわち画像の特性が線形特性に統一される構成であるので、階調変換手段による階調変換処理を容易に行うことができるようになる。
【００３４】
請求項８に係る撮像装置によれば、正側及び負側のコアリング係数が、低周波成分のレベルに応じて与えられるダイナミックレンジ圧縮率（ｋ）と、既定値として与えられる画像のノイズ量（ｎ）及び残留ノイズ量（ｒ）とから算出されるので、すなわち、ノイズ量及び残留ノイズ量は既定値であり且つダイナミックレンジ圧縮率は低周波成分に応じて与えられるものであり、コアリング係数の算出に要する値は全て低周波成分に応じて定まると言うことができるので、正側及び負側のコアリング係数を、１つの評価（変化）パラメータである低周波成分を用いた簡易な演算によって容易に算出することができる。
【００３５】
請求項９に係る撮像装置によれば、ダイナミックレンジ圧縮率を「１」としてコアリング係数が算出される構成であるので、ダイナミックレンジ圧縮を行わない（ｋ＝１）つまり階調変換を行わない場合における当該正側及び負側のコアリング係数が算出され、階調変換を行う前の段階において正側及び負側の残留ノイズが一定とされた高精度にノイズ除去がなされた画像を得ることができる。
【００３６】
請求項１０に係る撮像装置によれば、画像から検出されたエッジ量に基づいて、コアリング処理におけるコアリングの度合いが調整されるので、正側ノイズ除去量及び負側ノイズ除去量に基づく高精度なノイズ除去が行われるとともに、エッジ量が考慮されたすなわちエッジ保存がなされた、より高画質な画像を得ることができる。
【発明を実施するための最良の形態】
【００３７】
（実施形態１）
図１は、第１の実施形態に係る撮像装置の一例であるデジタルカメラ１の主に撮像処理に関するブロック構成図を示す。図１に示すようにデジタルカメラ１は、レンズ部２、固体撮像素子３、アンプ４、Ａ／Ｄ変換部５、ノイズ除去部６、階調変換部７、画像メモリ８、全体制御部９、モニタ部１０及び操作部１１を備えている。
【００３８】
レンズ部２は、被写体光（光像）を取り込むレンズ窓として機能するとともに、この被写体光をカメラ本体の内部に配置されている固体撮像素子３へ導くための光学レンズ系を構成するものであり、例えば被写体光の光軸Ｌに沿って直列的に配置される例えばズームレンズやフォーカスレンズ、その他の固定レンズブロックからなるレンズ群である。レンズ部２は、当該レンズの透過光量を調節するための絞り（図略）やシャッタ（図略）を備えており、全体制御部９によってこの絞りやシャッタが駆動制御される。
【００３９】
固体撮像素子３は、レンズ部２により結像された被写体光像の光量に応じ、Ｒ、Ｇ、Ｂの各色成分の画像信号に光電変換して後段のアンプ４へ出力する撮像センサである。本実施形態においては、固体撮像素子３として、図４に示すような入力輝度（センサ入射輝度）が低い場合（暗時）に出力画素信号（光電変換により発生する出力電気信号）が線形的に変換されて出力される線形特性と、輝度が高い場合（明時）に出力画素信号が対数的に変換されて出力される対数特性とからなる光電変換特性、換言すれば、低輝度側が線形の光電変換特性、高輝度側が対数特性の光電変換特性を有するものが用いられる。このような光電変換特性を有する固体撮像素子３（リニアログセンサという）による撮像によって線形／対数画像が得られる。なお、線形特性と対数特性との切り替わり点（変曲点）は、固体撮像素子３の各画素回路に対する所定の制御信号に基づいて任意に変化させることが可能である。また、光電変換特性における上記線形特性に示すような低輝度側の特性を「低輝度側特性」、上記対数特性に示すような高輝度側の特性を「高輝度側特性」と表現するものとする。
【００４０】
図２は、固体撮像素子３の一例である二次元のＭＯＳ型固体撮像装置（ＣＭＯＳイメージセンサ）の概略構成図である。同図において、Ｇ１１〜Ｇｍｎは、行列（マトリクス）配列された画素を示している。この画素Ｇ１１〜Ｇｍｎからなる画素部の外周縁部近傍には、垂直走査回路３０１と水平走査回路３０２とが配設されている。垂直走査回路３０１は、行のライン（信号線）３０４−１、３０４−２、・・・３０４−ｎ（これらを纏めて行ライン３０４という）を順次走査する。水平走査回路３０２は、各画素から出力信号線３０６−１、３０６−２、・・・３０６−ｍ（これらを纏めて出力信号線３０６という）に導出された光電変換信号を画素毎に水平方向に順次読み出す。なお、各画素は電源ライン３０５により電力供給がなされている。
【００４１】
出力信号線３０６−１、３０６−２、・・・３０６−ｍには、それぞれ、後述のトランジスタＴ１２と対になって増幅回路を構成する定電流源３０７−１、３０７−２、・・・３０７−ｍ（これらを纏めて定電流源３０７という）が設けられている。ただし、この増幅回路として、定電流源３０７に代えて抵抗やトランジスタを設けてもよい。この出力信号線３０６を介して出力される各画素の撮像時の画像データ及びリセット時の補正データが、順次、選択回路（サンプルホールド回路）３０８−１、３０８−２、・・・３０８−ｍ（これらを纏めて選択回路３０８という）に出力される。この選択回路３０８に対して、行毎に画像データ及び補正データが出力されてサンプルホールドされる。サンプルホールドされた画像データ及び補正データは、列毎に、補正回路３０９に出力され、補正回路３０９において、感度バラツキによるノイズ成分が除去されるように、補正データに基づいて画像データの補正が行われる。そして、補正回路３０９から各画素の感度バラツキが補正された画像データが、各画素毎にシリアルに出力される。
【００４２】
図３は、図２に示す各画素Ｇ１１〜Ｇｍｎの構成例を示す回路図である。同図に示すように、固体撮像素子３の各画素は、フォトダイオードＰＤ１、ＭＯＳＦＥＴ（Metal Oxide Semiconductor Field Effect Transistor）としてのトランジスタＴ１０〜Ｔ１３、及びＦＤ（Floating Diffusion）から構成されている。トランジスタＴ１０〜Ｔ１３は、ここではＮチャンネルＭＯＳＦＥＴが採用されている。ＶＤＤ、φＲＳＢ、φＲＳＴ、φＴＸ及びφＶは、各トランジスタに対する信号（電圧）を示し、ＧＮＤは接地を示している。
【００４３】
フォトダイオードＰＤ１は、感光部（光電変換部）であり、被写体からの入射光量に応じた電気信号（光電流ＩＰＤ１）を出力する。トランジスタＴ１２は、図２に示す定電流源３０７と対になってソースフォロワ増幅用の増幅回路（ソースフォロワアンプ）を構成するものであり、後述する電圧Ｖ１ＯＵＴに対する増幅（電流増幅）を行う。トランジスタＴ１３は、ゲートに印加する電圧（信号φＶ）に応じてオン、オフされるスイッチとして動作する信号読み出し用のトランジスタ（行選択トランジスタ）である。トランジスタＴ１３のソースは、図２に示す出力信号線３０６に接続されており、トランジスタＴ１３がオンした場合、トランジスタＴ１２で増幅された電流を出力電流として出力信号線３０６へ導出する。
【００４４】
トランジスタＴ１０は、同トランジスタのゲートに印加される電圧に応じてオン、オフされるスイッチとして動作するものであって、当該ゲート電位の高低によるオン、オフ切り替えに応じて、フォトダイオードＰＤ１で発生した光電流ＩＰＤ１（電荷）のＦＤに対する転送、非転送の切り替えを行う所謂転送ゲートとなるものである。フォトダイオードＰＤ１で発生した光電流ＩＰＤ１はフォトダイオードＰＤ１の寄生容量に流れてその電荷が蓄積され、蓄積電荷量に応じた電圧が発生する。このときトランジスタＴ１０がオン状態であれば、この寄生容量に蓄積された電荷（負電荷）がＦＤへ向けて移動する。ＦＤは、電荷（信号電荷）を一旦保持しておく電荷保持部であり、この保持した電荷を電圧に変える（電荷電圧変換を行う）所謂キャパシタの役割を担うものである。
【００４５】
トランジスタＴ１１（リセットゲートトランジスタ）は、同トランジスタのゲート電圧の高低によるオン、オフ切り替えに応じてＦＤに対するリセットバイアスの印加、非印加の切り替えを行うものであるとともに（例えばトランジスタＴ１１がオン状態の場合、トランジスタＴ１０もオン状態となっており、トランジスタＴ１１、ＦＤ、トランジスタＴ１０及びフォトダイオードＰＤ１を挟んだφＲＳＢ及びＧＮＤ間にリセットバイアスがかけられた状態となる）、ゲート電圧をＭｉｄ電位（中間レベル）とすることで、フォトダイオードＰＤ１からＦＤに移動する電荷（ＦＤを流れる電流）のＦＤ及びトランジスタＴ１１による電荷電圧変換によってそれぞれ線形変換及び対数変換を行わせるものである。
【００４６】
この場合、トランジスタＴ１１には上記Ｍｉｄ電位に応じた電流（リセット電流）が流れ、トランジスタＴ１１のソースがこのリセット電流に応じた電位となる。そして、フォトダイオードＰＤ１から移動してくる電荷による電位が、Ｍｉｄ電位に応じたトランジスタＴ１１のソース電位より小さい場合には、すなわち撮像する被写体の輝度が低く、つまり被写体が暗く、フォトダイオードＰＤ１に入射される入射光量が少ない場合には、ＦＤにおいて線形変換としての電荷電圧変換が行われ、一方、ソース電位を超える場合には、すなわち撮像する被写体の輝度が高く、つまり被写体が明るく、フォトダイオードＰＤ１に入射される入射光量が多い場合には、トランジスタＴ１１において対数変換としての電荷電圧変換が行われる。
【００４７】
これにより、ＦＤとトランジスタＴ１２との接続ノード（出力Ｖ１ＯＵＴ）には、ＦＤにおける光電流ＩＰＤ１の積分値による線形出力としての電圧、或いはトランジスタＴ１１における光電流ＩＰＤ１に応じた電流−電圧変換による対数出力としての電圧が現れる。すなわち、光電変換特性における線形特性領域での出力値はＦＤにおける光電流ＩＰＤ１の積分値となるが、対数特性領域については、ＦＤ部に蓄えられた電荷による電位がトランジスタＴ１１（リセットゲート）のソース電流を超えた領域において、光電流ＩＰＤ１と等しい電流がトランジスタＴ１１に流れ、トランジスタＴ１１において光電流ＩＰＤ１が電流−電圧変換された値（電圧）が当該出力値としてＦＤ部に現れる（信号電荷を対数圧縮した電荷が上記寄生容量に蓄積される）。このトランジスタＴ１１での電流−電圧変換が上記対数変換に相当する。そして、トランジスタＴ１３がオンされると、これら各電圧に応じたトランジスタＴ１２による増幅電流が、トランジスタＴ１３を介して出力電流として出力信号線３０６に導出される。このように固体撮像素子３により、被写体輝度（センサ入射輝度）に応じて線形変換又は対数変換された出力信号が得られる。
【００４８】
なお、ここでは、固体撮像素子３の各画素において上記ＮチャンネルＭＯＳＦＥＴを採用しているが、ＰチャンネルＭＯＳＦＥＴを採用してもよい。また、固体撮像素子３として、上述のようにＦＤを用いて線形変換及び対数変換を行うＣＭＯＳイメージセンサに限らず、例えばＭＯＳＦＥＴ（Ｐ型又はＮ型）の所謂サブスレッショルド特性（ゲート電圧が閾値以下の時にサブスレッショルド電流と呼ばれる微小電流が流れる特性）を利用することで当該線形変換及び対数変換を行うＣＭＯＳイメージセンサを採用してもよい。ただし、ＣＭＯＳイメージセンサに限らず、ＶＭＩＳイメージセンサやＣＣＤイメージセンサ等であってもよい。
【００４９】
アンプ４は、例えばＡＧＣ（オートゲインコントロール）回路を備え、固体撮像素子３から入力されるアナログ画像信号がＡ／Ｄ変換部５の入力電圧範囲に合うように、適切な増幅率で増幅するものである。アンプ４は、ＡＧＣ回路の他、画像信号のサンプリングノイズの低減を行うＣＤＳ（相関二重サンプリング）回路等を備えていてもよい。なお、ＡＧＣ回路に対するゲイン値は全体制御部９によって設定される。
【００５０】
Ａ／Ｄ変換部５は、アンプ４にて増幅（ゲイン調整）されたアナログ画像信号をデジタル画像信号に変換するものであり、固体撮像素子３の各画素で受光して得られる画素信号をそれぞれ例えば１２ビットの画素データに変換する。
【００５１】
ノイズ除去部６は、Ａ／Ｄ変換部５から入力される画像信号のノイズを除去するものである。なお、ノイズ除去部６から出力される画像信号は、後述するように特性が線形特性に統一された状態の画像信号である。このノイズ除去部６の構成及び動作の詳細については後述する。
【００５２】
階調変換部７は、ノイズ除去部６から入力される画像信号（線形画像信号）が適切な出力レベルとなるように、画像信号に対して階調変換処理を行い、該画像信号の階調特性を変化させるものである。この階調変換においては、一般的にＤＲ圧縮と呼ばれる技術を利用する。ＤＲ圧縮技術の一例として、画像から照明成分と反射率成分とを抽出し（画像を照明成分と反射率成分とに分解し）、照明成分を圧縮した後、これを反射率成分と合成する方法がある。この技術は、広ダイナミックレンジ画像は、照明成分が広ダイナミックレンジであるので、この照明成分のダイナミックレンジを圧縮すればよい、という考えに基づいている。
【００５３】
画像（入力画像、基画像）Ｉは、照明成分Ｂと反射率成分Ｄとを用いて、以下の（１）式で表すことができる。
Ｉ＝Ｂ＊Ｄ ・・・（１）
但し、記号「＊」は乗算を示す（以降同じ）。
【００５４】
上記照明成分Ｂは、低周波であるとの仮定に基づき、画像Ｉをローパスフィルタ（ＬＰＦ）に通すことで求めることができる。ここで、照明成分Ｂの高輝度部を適切な出力レベルとなるように処理を施し、すなわちＤＲ圧縮を行い、これにより圧縮後の照明成分Ｂ’を得る。この照明成分Ｂ’を用いてＤＲ圧縮された画像Ｉ’は以下の（２）式により表される。
Ｉ’＝Ｂ’＊Ｄ ・・・（２）
【００５５】
また、上記（１）、（２）式より、画像Ｉ’は以下の（３）式で表される。
Ｉ’＝Ｉ＊Ｂ’／Ｂ＝ｋ（Ｂ）＊Ｉ ・・・（３）
但し、ｋ（Ｂ）（＝Ｂ’／Ｂ）（ｋ（Ｂ）を単にｋとも表す）は、ＤＲ圧縮率又は圧縮特性を示す。
【００５６】
画像メモリ８は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）等のメモリからなり、ノイズ除去部６や階調変換部７においてデータ処理される前のＲＡＷ画像データ、或いはノイズ除去部６、階調変換部７又は全体制御部９での各種データ処理時又は処理後の画像データ等を格納するものである。
【００５７】
全体制御部９は、各制御プログラム等を記憶するＲＯＭ、一時的に各種データを格納するＲＡＭ、及び制御プログラム等をＲＯＭから読み出して実行する中央演算処理装置（ＣＰＵ）等からなり、デジタルカメラ１全体の動作制御を司るものである。全体制御部９は、固体撮像素子３や操作部１１等の各処理部から送信されてくる情報（信号）と装置の動作状態とに基づき、各処理部が必要とするパラメータ等の動作情報を算出し、これを送信することで各処理部の動作を制御する。
【００５８】
モニタ部１０は、例えばカメラ背面に配設されたカラー液晶表示素子からなる液晶表示器（ＬＣＤ；Liquid Crystal Display）等からなり、固体撮像素子３による撮影画像、すなわちノイズ除去部６や階調変換部７で処理された画像や画像メモリ８に格納されている画像等を表示するものである。モニタ部１０は、後述のノイズ除去処理（コアリング処理）等の各種処理結果が反映された画像を表示してもよい。
【００５９】
操作部１１は、デジタルカメラ１に対するユーザによる操作指示（指示入力）を行うものであり、例えば電源スイッチ、レリーズスイッチ、各種撮影モードを設定するモード設定スイッチ等の各種の操作スイッチ群（操作ボタン群）からなる。例えば、上記レリーズスイッチが押下（オン）されることで、撮像動作すなわち固体撮像素子３により被写体光が撮像され、この撮像により得られた画像データに対して所要の画像処理が施された後、画像メモリ８等に記録されるといった一連の撮影動作が実行される。
【００６０】
ここで、ノイズ除去部６の構成及び動作の詳細について説明する。図５は、ノイズ除去部６の一例を示すブロック構成図である。同図に示すようにノイズ除去部６は、ＬＰＦ部６１、線形変換部６２Ａ、６２Ｂ、減算部６３、コアリング処理部６４、コアリング係数算出部６５、エッジ量検出部６６、合成係数算出部６７、合成部６８及び加算部６９を備えている。
【００６１】
ＬＰＦ部６１は、ノイズ除去部６に入力されてきた画像信号、すなわち固体撮像素子３により得られた線形／対数画像（基画像Ｉ）に対して、ガウシアンフィルタ等の線形のＬＰＦによるフィルタ処理（ＬＰＦ処理）を行い、この基画像Ｉから低周波成分を抽出するものである。ただし、このＬＰＦ処理に用いるＬＰＦは線形フィルタに限らず、メディアンフィルタ等の非線形フィルタであってもよい。
【００６２】
線形変換部６２Ａは、ＬＰＦ部６１によりＬＰＦ処理された線形／対数画像の低周波成分l（低周波成分画像）に対して、この線形／対数画像における対数特性の画像を線形特性の画像に変換する変換処理（対数特性を線形特性へ変換する変換処理のことを「ログリニア変換」という）を行うものである。これは、謂わば線形及び対数の２種類の特性からなる画像データを、線形特性１種類の画像データに統一して扱えるようにする処理である。なお、線形特性つまり線形画像に統一された画像のことを「統一線形画像」という。また、線形／対数画像に対してログリニア変換を行って統一線形画像を得ることを、適宜、線形／対数特性（画像）を線形変換するとも表現する。なお、低周波成分ｌが線形変換部６２Ａにより線形変換されて出力されたもの（統一線形画像）を低周波成分Ｌとする。
【００６３】
線形変換部６２Ｂは、ＬＰＦ部６１によりＬＰＦ処理されていないそのままの基画像Ｉ（線形／対数画像）に対して上記と同様に線形変換（ログリニア変換）を行い、統一線形画像として出力するものである。
【００６４】
減算部６３は、線形変換部６２Ｂから出力された統一線形画像（入力画像信号が線形変換された信号）から、線形変換部６２Ａから出力された低周波成分Ｌを減算（或いは低周波成分Ｌを負の値として加算）することで、当該統一線形画像から高周波成分Ｈを抽出するものである。
【００６５】
コアリング処理部６４は、後述するコアリング係数算出部６５により算出されたコアリング係数に基づいてコアリング処理を行うものである。コアリング処理は、画像信号における微小振幅信号をノイズと見なして取り除く処理である。コアリング処理部６４は、減算部６３により抽出された高周波成分Ｈに対して、図６に示す入出力特性（コアリング特性Ｃ１という）に基づくコアリング処理を行う。コアリング特性Ｃ１における記号「Ｓ」は、コアリング係数算出部６５で算出されるコアリング係数Ｓを示す。このコアリング処理では、入力が−Ｓより大きくＳより小さいときには出力がゼロ（０）となり、入力が−Ｓ以下であるときには出力が、入力に対してＳを加えた値となり、入力がＳ以上であるときには出力が、入力に対してＳを減じた値となるような変換処理が行われる。本実施形態では、このコアリング係数Ｓの値を、ノイズ除去精度が高くなるような値に設定する。この場合、コアリング係数Ｓは、低周波成分やＤＲ圧縮率により変化するだけでなく、低周波成分に対してノイズが正側又は負側のノイズであるということによっても変化する。
【００６６】
コアリング係数算出部６５は、コアリング係数Ｓを算出（設定）するものである。コアリング係数算出部６５は、線形変換部６２Ａから出力された低周波成分Ｌ及び減算部６３から出力された高周波成分Ｈ、並びにノイズ量（ｎ）、残留ノイズ量（ｒ）及びＤＲ圧縮率（ｋ）の情報を用いてコアリング係数Ｓを算出する。コアリング係数算出部６５において算出されたコアリング係数Ｓの情報はコアリング処理部６４に入力される。このコアリング係数Ｓの算出については後に詳述する。
【００６７】
ところで、ノイズ量ｎ、残留ノイズ量ｒ及びＤＲ圧縮率ｋの情報は、全体制御部９において設定される（全体制御部９から与えられる）ものであり、例えば全体制御部９内或いはこれに接続される所定のメモリに記憶されている。ノイズ量ｎ及び残留ノイズ量ｒは、例えば工場出荷時において、所定の基準画像（平坦な画像；例えば空や壁の画像）をデジタルカメラ１で撮影し、どれくらいのノイズ量ｎや残留ノイズ量ｒを与えてやれば高画質な画像が得られるのかを調整によって決める謂わば調整値である。例えばノイズ量ｎについては、製造された各デジタルカメラ１による撮影画像に固有のノイズ量ｎはどれくらいの大きさであるのかを測定するなどして定めた値（測定値、既定値）である。残留ノイズ量ｒは、ノイズ除去処理後にどれくらいのノイズ量ｒが残っていても許容されるのかつまりノイズの許容量について定めた値（既定値）であり、例えば、この残留ノイズ量ｒを０（ゼロ）と定めてもよいし、ノイズ量ｎの何分の１の量と定めてもよい。
【００６８】
また、ＤＲ圧縮率ｋは、階調変換部７によるＤＲ圧縮において使用される値として定められる。このＤＲ圧縮率ｋは、上記（３）式に示すように照明成分Ｂ、Ｂ’の関数すなわち低周波成分の関数（低周波成分に応じて決定される値）であるので、上記線形変換部６２Ａ等により得られる低周波成分Ｌの値に応じて決定される。この場合例えばメモリ（テーブル）に既定値（固定値）として記憶しておいた各種ＤＲ圧縮率ｋの中から当該低周波成分Ｌの値に対応するＤＲ圧縮率ｋの情報を取り出してくる構成としてもよい。なお、本実施形態では、コアリング係数算出部６５に低周波成分Ｌの情報が入力されると、コアリング係数算出部６５はこの低周波成分Ｌの情報を全体制御部９へ送信し、全体制御部９では、この低周波成分Ｌに対応するＤＲ圧縮率ｋを該全体制御部９内のメモリに記憶してある上記テーブルから選択するとともに、当該低周波成分Ｌに応じて選択したＤＲ圧縮率ｋ（ｋ（Ｌ））の情報をコアリング係数算出部６５へ送信する構成となっている。
【００６９】
なお、上述のようにノイズ量ｎ及び残留ノイズ量ｒは既定値であり、またＤＲ圧縮率ｋは低周波成分Ｌ（後述の第２の実施形態では低周波成分ｌ）によって決まる値である、つまりこれらパラメータは全て低周波成分Ｌで表せるものである（低周波成分の関数である）ことから、コアリング係数算出部６５は、コアリング係数Ｓを低周波成分のレベルに応じて（低周波成分に基づいて）算出（設定）する、と換言できる。
【００７０】
エッジ量検出部６６は、線形変換部６２Ｂから出力された統一線形画像（線形／対数画像）に対してエッジ検出処理を行い、この統一線形画像からエッジ量を検出するものである。具体的にはエッジ量検出部６６は、エッジ検出処理として、ＳｏｂｅｌフィルタやＰｒｅｗｉｔｔフィルタ等のエッジ強度検出用フィルタを用いたフィルタ処理を行うことで、画像ここでは統一線形画像（第２の実施形態では線形変換されていない画像Ｉ）からエッジ量ｅ（エッジ強度）を検出する。
【００７１】
合成係数算出部６７は、エッジ量検出部６６により検出したエッジ量ｅの情報を用いて合成係数（エッジ保存係数）Ｅを算出するものである。このエッジ量ｅの情報を用いた合成係数Ｅの算出は、例えば図７に示す特性に基づいて行われる。この特性において横軸はエッジ量ｅであり、縦軸は合成係数Ｅである。エッジ量ｅにおけるｅｌ、ｅｈの値は予め与えられる閾値である。合成係数Ｅはこの閾値のエッジ量ｅｌ、ｅｈを用いた以下に示される値として算出される。
ｅ≦ｅｌのとき Ｅ＝１．０
ｅｌ＜ｅ＜ｅｈのとき Ｅ＝（ｅｈ−ｅ）／（ｅｈ−ｅｌ）
ｅ≧ｅｈのとき Ｅ＝０（ゼロ）
【００７２】
なお、エッジ量ｅｌ、ｅｈの値は全体制御部９において設定或いは算出される（全体制御部９から与えられる）、すなわち例えば全体制御部９内或いはこれに接続されたメモリに既定値として記憶されたものであってもよいし、エッジ量検出部６６により検出されたエッジ量に応じて都度、算出されるものであってもよい。
【００７３】
合成部６８は、高周波成分Ｈと、上記コアリング処理部６４においてこの高周波成分Ｈにコアリング処理が施されてなる高周波成分Ｈｃとを、合成係数算出部６７により算出された合成係数Ｅを用いて合成するものである。当該合成により得られるものを高周波成分Ｈ’とすると、このＨ’は、例えばＨ’＝Ｅ＊Ｈｃ＋（１−Ｅ）＊Ｈの式で表される。この式は、謂わば高周波成分Ｈに対してどのくらいの割合でコアリングを行うか、すなわち、エッジ量ｅがｅｌより小さいものはコアリング処理した画像（Ｈｃ）をそのまま使用され（Ｅ＝１．０の場合でありＨ’＝Ｈｃとなる）、エッジ量ｅがエッジ量ｅｌより大きくなるにつれて徐々にコアリングされていない画像（Ｈ）に置き換えられる（コアリング量を小さくしていくことと同じ）ことを示している。
【００７４】
これらエッジ量検出部６６、合成係数算出部６７及び合成部６８によるエッジ量検出、合成係数算出及び合成処理は、コアリングするに際して、画像に必要なエッジ情報の欠落を低減するためのものであると言える。エッジ量が大きいほどノイズ成分除去（コアリング）の程度が抑えられてエッジ成分が保存される、すなわち、画像においてエッジ量ｅが大きい部分は、合成係数Ｅを小さくすることで、コアリング処理された高周波成分Ｈｃの合成比が小さくなり、一方、コアリング処理が行われていない高周波成分Ｈの合成比が大きくなるため、エッジ情報の欠落が低減される。合成された高周波成分Ｈ’は、エッジ部の情報は残されたまま、画像平坦部のノイズが除去された信号となっている。
【００７５】
加算部６９は、合成部６８により得られた高周波成分Ｈ’と、上記線形変換部６２Ａからの低周波成分Ｌとを加算（合成）するものである。この加算処理により、ノイズが除去された出力画像Ｏが得られる。この出力画像Ｏは後段の処理部へ出力される。
【００７６】
このような構成を備えたノイズ除去部６において、上述したようにコアリング係数Ｓの値をノイズ除去精度が高くなるような値に設定し、このコアリング係数Ｓに基づいて上記ノイズ除去処理（コアリング処理）を行う。以下に、このコアリング係数Ｓをどのような値に設定するか或いはどように算出するか等についてその原理を説明する。先ず、線形／対数特性から線形特性への変換によって、ノイズ量がどのように変化するのか或いはどのような値になるのかについて説明する。
【００７７】
［線形／対数特性から線形特性への変換におけるノイズについての説明］
線形／対数特性の光電変換特性は一般的に以下の（４）、（５）式のように表される。
ｖ＝ａ＊ｕ＋Ｂ （ｕ≦Ｕｔｈ） ・・・（４）
ｖ＝α＊ｌｎ（ｕ）＋β （ｕ＞Ｕｔｈ） ・・・（５）
【００７８】
ここで、上記（４）、（５）式におけるｘ＝ａ＊ｕ、ｙ＝ｖ−ｂとおくと（原点を通るようにする）、以下の（６）、（７）式が得られる。
ｙ＝ｘ （ｘ≦Ｔ、ｙ≦Ｔ） ・・・（６）
ｙ＝ｃ＊ｌｎ（ｘ）＋ｄ （ｘ＞Ｔ、ｙ＞Ｔ） ・・・（７）
但し、ｃ＝α、ｄ＝−α＊ｌｎ（ａ）＋β−ｂ、Ｔ＝ａ＊Ｕｔｈ
以下、この（６）、（７）式を線形／対数特性の光電変換特性として計算する。
【００７９】
この線形／対数特性の対数特性を線形特性に変換して全体で１つの線形特性にする（線形特性に統一する）。変換後の線形特性をＹとすると、Ｙは上記（６）、（７）式より以下の（８）、（９）式と表される。
Ｙ＝ｙ （ｙ≦Ｔ） ・・・（８）
Ｙ＝ｅｘｐ（（ｙ−ｄ）／ｃ） （ｙ＞Ｔ） ・・・（９）
但し、記号「／」は除算を示す（以降同じ）。
したがって、ｙがノイズの無い信号であるとすると、全ｙ（すなわち全ｘ）において、Ｙ＝ｘとなる。
【００８０】
ところで、固体撮像素子３により光電変換された後で、信号にのるノイズ（ランダムノイズ）は、線形特性領域、対数特性領域に関係なくその大きさが一定と考えられるので、ノイズを有する信号をｙｎ、ノイズをｎ（ｎ＞０）とすると、ｙｎ＝ｙ±ｎと表すことができる。すなわち、信号ｙｎ＝ｙ±ｎは、信号ｙに対してこのｙの値よりも大きな値となる（画像の信号ｙに対して該信号のレベルよりもレベルが高い値となる）つまりｙのグラフに対して正側（図における上側に存在する）のノイズと、ｙの値よりも小さな値となる（画像の信号ｙに対して該信号のレベルよりもレベルが低い値となる）つまりｙのグラフに対して負側（図における下側に存在する）のノイズとが当該信号ｙを挟んで略同等の振幅を有する波（ランダムな波形ではあるが、信号ｙを挟んで正側及び負側で略同じ大きさの波の高さを有している）として存在しており、この場合の正側の各ノイズ波の例えば包絡線（各ノイズ波の曲線族と接線を共有する線）に相当するものをｙｎ＝ｙ＋ｎとし、負側も同様に各ノイズ波の包絡線に相当するものをｙｎ＝ｙ−ｎとしている。なお、この信号ｙに対するノイズ±ｎは、このように包絡線に相当するものに限定されず、例えば正側、負側それぞれにおけるノイズの平均値（正側の平均値が＋ｎ、負側の平均値が−ｎ）、最高レベル、ピークtoピーク、或いはＲＭＳ（二乗平均粗さ）等、任意に設定可能である。
【００８１】
上記（６）、（７）式より、ノイズが正側のノイズ（ノイズ正側）である場合（ｙｎ＝ｙ＋ｎ）、以下の（１０）、（１１）式のように表される。
ノイズ正側
ｙｎ＝ｘ＋ｎ （ｘ≦Ｔ、ｙｎ≦Ｔ＋ｎ） ・・・（１０）
ｙｎ＝ｃ＊ｌｎ（ｘ）＋ｄ＋ｎ （ｘ＞Ｔ、ｙｎ＞Ｔ＋ｎ） ・・・（１１）
【００８２】
また、ノイズが負側のノイズ（ノイズ負側）である場合（ｙｎ＝ｙ−ｎ）、以下の（１０）’、（１１）’式のように表される。
ノイズ負側
ｙｎ＝ｘ−ｎ （ｘ≦Ｔ、ｙｎ≦Ｔ−ｎ） ・・・（１０）’
ｙｎ＝ｃ＊ｌｎ（ｘ）＋ｄ−ｎ （ｘ＞Ｔ、ｙｎ＞Ｔ−ｎ） ・・・（１１）’
【００８３】
ｙｎを線形特性に変換したものをＹｎとすると、このＹｎは、ノイズ正側の場合、上記（８）〜（１１）式より以下の（１２）〜（１４）式で表される。
ノイズ正側
Ｙｎ＝ｙｎ＝ｘ＋ｎ （ｙｎ≦Ｔ、ｘ≦Ｔ−ｎ） ・・・（１２）
Ｙｎ＝ｅｘｐ（（ｙｎ−ｄ）／ｃ）
＝ｅｘｐ（（ｘ＋ｎ−ｄ）／ｃ）
＝ｅｘｐ（（ｘ−ｄ）／ｃ）＊ｅｘｐ（ｎ／ｃ） （Ｔ＜ｙｎ≦Ｔ＋ｎ、Ｔ−ｎ＜ｘ≦Ｔ） ・・・（１３）
Ｙｎ＝ｅｘｐ（（ｙｎ−ｄ）／ｃ）
＝ｅｘｐ（（ｃ＊ｌｎ（ｘ）＋ｄ＋ｎ−ｄ）／ｃ）
＝ｘ＊ｅｘｐ（ｎ／ｃ） （Ｔ＋ｎ＜ｙｎ、Ｔ＜ｘ） ・・・（１４）
【００８４】
また、Ｙｎは、ノイズ負側の場合、上記（８）、（９）、（１０）’及び（１１）’式より、以下の（１２）’〜（１４）’式で表される。
ノイズ負側
Ｙｎ＝ｙｎ＝ｘ−ｎ （ｙｎ≦Ｔ−ｎ、ｘ≦Ｔ） ・・・（１２）’
Ｙｎ＝ｙｎ＝ｃ＊ｌｎ（ｘ）＋ｄ−ｎ （Ｔ−ｎ＜ｙｎ≦Ｔ、Ｔ＜ｘ≦Ｔ＊ｅｘｐ（ｎ／ｃ）） ・・・（１３）’
Ｙｎ＝ｅｘｐ（（ｙｎ−ｄ）／ｃ）
＝ｅｘｐ（（ｃ＊ｌｎ（ｘ）＋ｄ−ｎ−ｄ）／ｃ）
＝ｘ＊ｅｘｐ（−ｎ／ｃ） （Ｔ＜ｙｎ、Ｔ＊ｅｘｐ（ｎ／ｃ）＜ｘ） ・・・（１４）’
【００８５】
これら（１２）〜（１４）式及び（１２）’〜（１４）’式は、図８に示すグラフとなる。すなわち図８のグラフにおいて、ノイズ正側の場合、（１２）式に相当するものが符号４０１で示す特性（特性４０１）、（１３）式に相当するものが符号４０２で示す特性（特性４０２）、（１４）式に相当するものが符号４０３で示す特性（特性４０３）となる。また、ノイズ負側の場合、（１２）’式に相当するものが符号４１１で示す特性（特性４１１）、（１３）’式に相当するものが符号４１２で示す特性（特性４１２）、（１４）’式に相当するものが符号４１３で示す特性（特性４１３）となる。
【００８６】
ここで、図８の符号４２１で示す特性（特性４２１）は、上記（６）、（７）式に示す線形／対数特性であり、これが線形変換されてＹ＝ｘ（上記（８）、（９）式におけるノイズのない信号であると仮定した場合）の特性４２２（統一線形特性になる。一方、特性４２１の信号に対する正側のノイズは符号４３１で示す特性（特性４３１；ｙｎ（＋））で示され、特性４２１の信号に対する負側のノイズは符号４４１で示す特性（特性４４１；ｙｎ（−））で示される。この特性４３１、４４１が上記特性４２１から特性４２２への線形変換と同様に線形変換される場合に、それぞれ、線形の特性４４２、４３２（特性４２２と平行な特性グラフ）に変換されずに（特性４４２、４３２に変換されるのであれば問題がないが）、当該特性４０１、４０２及び４０３に示す正側の特性、及び特性４１１、４１２及び４１３に示す負側の特性に変換されてしまう。
【００８７】
なお、値Ｔを変曲点Ｔとすると、Ｔ−ｎ＜ｘ≦Ｔの範囲４０２１つまり正側の特性４０２は、理論的には特性４３２上の線形特性となる筈であるが、ノイズの各値（画素値）で見た場合、例えばノイズ波上の符号４５１の点に示すように、変曲点Ｔ（ｙ座標）を超えているので、実際には線形特性のデータであるにも拘わらず、当該変曲点Ｔを超えているノイズデータが対数特性のデータであると誤認識されてしまい（ノイズを対数特性の信号と間違ってしまい）、特性４０２のように変換される。Ｔ＜ｘ≦Ｔ＊ｅｘｐ（ｎ／ｃ）の範囲４１２１つまり負側の特性４１２も同様に、ノイズの各値（画素値）で見た場合、例えばノイズ波上の符号４６１の点に示すように、変曲点Ｔ（ｙ座標）より小さい値となっているので、実際には対数特性のデータであるにも拘わらず、当該変曲点Ｔ未満のノイズデータが線形特性のデータであると誤認識されてしまい（ノイズを線形特性の信号と間違ってしまい）、特性４１２のように変換される。特性４０３、４１３では、実際の特性と画素値の特性とが同じであるものの、当該信号ｙ（Ｙ）に対する対数領域でのノイズ＋ｎ、−ｎの所謂オフセットの分がそれぞれ上記特性４０２、４１２に対する変曲点Ｔ、Ｔ＊ｅｘｐ（ｎ／ｃ）（ｘ座標）からの続きの値として加えられたものとなる。このように、線形変換されることにより、正側、負側のノイズは、特性４３２、４４２とならずに、原点を通る直線上の特性４０３、４１３のようにｘ座標の値が大きくなるにつれて広がるような特性に変換されるので、Ｙ＝ｘの特性４２２に対する正側のノイズ量と負側のノイズ量とが、それぞれ、ｘ＞Ｔ−ｎの範囲において一定でなく、異なる値となってしまう。
【００８８】
上述においては、線形／対数特性から線形特性への変換により、ノイズ量が正側と負側とで異なるものとなることを示したが、次に、このような正側と負側とで異なる特徴を有するノイズに対してノイズ除去処理を行った後の残留ノイズ量が、どようなコアリング係数Ｓを設定すれば一定となるのかということについて説明する。
【００８９】
［コアリング係数算出についての説明］
ノイズがのった画像信号を低周波成分と高周波成分とに分けると、高周波成分には画像信号の高周波成分とノイズとが含まれるが、ここではコアリング係数を求めるべくノイズ量だけを計算上で求めたいので、このノイズについてだけ考えることとし、ノイズは画像の平坦部（信号波形における緩やか（なだらか）なところ；急峻でない変化の少ないところ）にのっているものと仮定して説明する。この場合、画像信号には高周波成分が存在せず、低周波成分が画像信号に等しいものとなり、ノイズ成分は高周波成分に相当するものとして扱う。
【００９０】
線形変換前のノイズを含んだ信号は前述のようにｙｎ＝ｙ±ｎである。このｙｎをＬＰＦに通してなる信号をｌ（Ｌの小文字）とすると、上記±ｎの項は平均化（キャンセル）されて０（ゼロ）となるので、ｌ＝ＬＰＦ（ｙｎ）＝ＬＰＦ（ｙ）と表される。但し、ＬＰＦ（ｙｎ）はＬＰＦにｙｎを通す処理（ＬＰＦ処理）を示している。ｙは低周波画像であるので、ＬＰＦ（ｙ）はｙと見なすことができ、上記（６）、（７）式を満たす。したがって、ｌは上記（８）、（９）式により線形変換することができ、以下の（１５）式で示すＬで表すことができる。
Ｌ＝Ｙ＝ｘ ・・・（１５）
但し、Ｌは線形変換後の画像信号（の低周波成分）となる。
【００９１】
なお、仮に、上記ｙｎを線形変換後にＬＰＦに通すとすると、上記（１３）、（１４）、（１３）’及び（１４）’式から分かるようにノイズは正側と負側とで等しくないので±ｎの項は０（ゼロ）にはならず、上記（１５）式は成立しない。このことから、ＬＰＦ処理後に線形変換するようにしている（ＬＰＦ部６１の後段に線形変換部６２Ａが配置されている）。
【００９２】
ここで、線形変換後のノイズを含んだ画像信号Ｙｎは、上記ノイズ正側の（１２）〜（１４）式及びノイズ負側の（１２）’〜（１４）’式に対して上記（１５）式を用いることで、それぞれ以下の（１６）〜（１８）式及び（１６）’〜（１８）’式に示すように低周波成分Ｌで表すことができる。
ノイズ正側
Ｙｎ＝Ｌ＋ｎ （Ｌ≦Ｔ−ｎ） ・・・（１６）
Ｙｎ＝ｅｘｐ（（Ｌ−ｄ）／ｃ）＊ｅｘｐ（ｎ／ｃ） （Ｔ−ｎ＜Ｌ≦Ｔ） ・・・（１７）
Ｙｎ＝Ｌ＊ｅｘｐ（ｎ／ｃ） （Ｔ＜Ｌ） ・・・（１８）
ノイズ負側
Ｙｎ＝Ｌ−ｎ （Ｌ≦Ｔ） ・・・（１６）’
Ｙｎ＝ｃ＊ｌｎ（Ｌ）＋ｄ−ｎ （Ｔ＜Ｌ≦Ｔ＊ｅｘｐ（ｎ／ｃ））・・・（１７）’
Ｙｎ＝Ｌ＊ｅｘｐ（−ｎ／ｃ） （Ｔ＊ｅｘｐ（ｎ／ｃ）＜Ｌ） ・・・（１８）’
【００９３】
＜ノイズ量の算出＞
高周波成分Ｈは、画像信号Ｙｎから上記（１５）式の低周波成分Ｌを減算したものであるから、Ｈ＝Ｙｎ−Ｌである。
ところで、これまでノイズ量を正側、負側というように正・負の値として扱ってきたが、説明の都合上（後述のコアリング係数を正、負に依らずに比較したいがため）、このノイズ量Ｎを“正”（Ｎ≧０）として扱いたいので、ノイズ量Ｎは高周波成分Ｈであることから、このＨを利用して、
Ｈ≧０のとき、ノイズ正側でＮ＝Ｈ
Ｈ＜０のとき、ノイズ負側でＮ＝−Ｈ
とする。すなわち、ノイズ量の“正・負”を、高周波成分Ｈの“正・負”に置き換えている（なお、ノイズ量Ｎが正側のものであるか負側のものであるかは、Ｈが正の値であるか負の値であるかによって判断できるとも言える）。
【００９４】
線形変換後のノイズ量Ｎは、ノイズ正側（Ｈ≧０）の場合、上記（１６）〜（１８）式より、以下の（１９）〜（２１）式で表される。
ノイズ正側
Ｎ＝Ｌ＋ｎ−Ｌ＝ｎ （Ｌ≦Ｔ−ｎ） ・・・（１９）
Ｎ＝ｅｘｐ（（Ｌ−ｄ）／ｃ）＊ｅｘｐ（ｎ／ｃ）−Ｌ （Ｔ−ｎ＜Ｌ≦Ｔ） ・・・（２０）
Ｎ＝Ｌ＊（ｅｘｐ（ｎ／ｃ）−１） （Ｔ＜Ｌ） ・・・（２１）
【００９５】
また、ノイズ負側（Ｈ＜０）の場合、上記（１６）’〜（１８）’式より、以下の（１９）’〜（２１）’式で表される。
ノイズ負側
Ｎ＝Ｌ−（Ｌ−ｎ）＝ｎ （Ｌ≦Ｔ） ・・・（１９）’
Ｎ＝Ｌ−（ｃ＊ｌｎ（Ｌ）＋ｄ−ｎ） （Ｔ＜Ｌ≦Ｔ＊ｅｘｐ（ｎ／ｃ）） ・・・（２０）’
Ｎ＝Ｌ＊（１−ｅｘｐ（−ｎ／ｃ）） （Ｔ＊ｅｘｐ（ｎ／ｃ）＜Ｌ） ・・・（２１）’
すなわち、ノイズ量Ｎは、これら（１９）〜（２１）式及び（１９）’〜（２１）’式に示すように低周波成分Ｌを用いて表すことができる。
【００９６】
なお、このように“線形変換後”のノイズ量Ｎについて考えるのは、ノイズ除去部６でのノイズ除去処理後における階調変換部７での階調変換処理に際して、一つの特性ここでは線形特性に統一された画像に対して階調変換（ＤＲ圧縮）が行われるので、線形変換後のノイズ量における階調変換による影響を考慮して逆算的に当該ノイズ量を評価するためである。
【００９７】
＜ＤＲ圧縮後の残留ノイズ量が一定となる条件＞
階調変換部７でのＤＲ圧縮後の残留ノイズ量ｒ（ｒ≧０）が輝度（或いは低周波成分のレベル）に依らず一定となるようにコアリング係数を求める。コアリング係数（コアリング量）をＳ（Ｓ≧０）、コアリング処理後のノイズ量をＲ（Ｒ≧０）とすると、ノイズ量Ｒは以下の（２２）式で表される。ただし、ここでは残留ノイズについて考えているので、Ｎ≧Ｓの場合のみを扱うものとする。すなわち、ノイズ量はコアリング量よりも大きいものであるとし（ノイズがコアリング量より大きな場合だけを考えるものとする）、ノイズ量がコアリング量よりも小さい場合は、図６より、以下の（２２）’式に示すように一律にゼロとなる。
Ｒ＝Ｎ−Ｓ （Ｎ≧Ｓ） ・・・（２２）
Ｒ＝０ （Ｎ＜Ｓ） ・・・（２２）’
【００９８】
コアリング処理後の画像信号をＹｓとすると、Ｙｓはノイズ正側及び負側において以下の（２３）、（２３）’式と表される。
ノイズ正側 Ｙｓ＝Ｌ＋Ｒ ・・・（２３）
ノイズ負側 Ｙｓ＝Ｌ−Ｒ ・・・（２３）’
【００９９】
ＤＲ圧縮後の画像信号をＹｓ’とすると、上記（３）、（２３）、（２３）’式より、Ｙｓ’はノイズ正側及び負側において以下の式で表される。
ノイズ正側 Ｙｓ’＝ｋ（Ｂ）＊（Ｌ＋Ｒ）＝ｋ（Ｂ）＊Ｌ＋ｋ（Ｂ）＊Ｒ
ノイズ負側 Ｙｓ’＝ｋ（Ｂ）＊（Ｌ−Ｒ）＝ｋ（Ｂ）＊Ｌ−ｋ（Ｂ）＊Ｒ
この式における残留ノイズ量は、ｋ（Ｂ）＊Ｒであり、これがｒ（ｒ≧０）一定であるので、ｋ（Ｂ）＊Ｒ＝ｒとなる。
ここで、上記（３）式のＤＲ圧縮率ｋ（Ｂ）のＢは、照明成分すなわち低周波成分である。画像Ｉからの照明成分Ｂと低周波成分Ｌとの抽出方法は異なる可能性があるが、ここでは前述のように画像平坦部のノイズを考えているため、照明成分Ｂと低周波成分Ｌとは等しいものと考えてよい。したがって、ｋ（Ｂ）＝ｋ（Ｌ）として、上記ｋ（Ｂ）＊Ｒ＝ｒは、以下の（２４）式で表されることになる。
ｋ（Ｌ）＊Ｒ＝ｒ ・・・（２４）
【０１００】
上記（２２）、（２４）式より、コアリング係数Ｓは以下の（２５）式で表される。
Ｓ＝Ｎ−ｒ／ｋ（Ｌ） ・・・（２５）
すなわちこの（２５）式を満たすコアリング係数Ｓを求めればよい。
【０１０１】
コアリング係数Ｓは、ノイズ正側の場合、上記（１９）〜（２１）式及び（２５）式により、以下の（２６）〜（２８）式で表される。
ノイズ正側
Ｓ＝ｎ−ｒ／ｋ（Ｌ） （Ｌ≦Ｔ−ｎ） ・・・（２６）
Ｓ＝ｅｘｐ（（Ｌ−ｄ）／ｃ）＊ｅｘｐ（ｎ／ｃ）−Ｌ−ｒ／ｋ（Ｌ） （Ｔ−ｎ＜Ｌ≦Ｔ） ・・・（２７）
Ｓ＝Ｌ＊（ｅｘｐ（ｎ／ｃ）−１）−ｒ／ｋ（Ｌ） （Ｔ＜Ｌ） ・・・（２８）
【０１０２】
また、ノイズ負側の場合、上記（１９）’〜（２１）’式及び（２５）式により、以下の（２６）’〜（２８）’式で表される。
ノイズ負側
Ｓ＝ｎ−ｒ／ｋ（Ｌ） （Ｌ≦Ｔ） ・・・（２６）’
Ｓ＝Ｌ−（ｃ＊ｌｎ（Ｌ）＋ｄ−ｎ）−ｒ／ｋ（Ｌ） （Ｔ＜Ｌ≦Ｔ＊ｅｘｐ（ｎ／ｃ）） ・・・（２７）’
Ｓ＝Ｌ＊（１−ｅｘｐ（−ｎ／ｃ））−ｒ／ｋ（Ｌ） （Ｔ＊ｅｘｐ（ｎ／ｃ）＜Ｌ） ・・・（２８）’
【０１０３】
これら（２６）〜（２８）式及び（２６）’〜（２８）’式に示すように、コアリング係数Ｓは、ＤＲ圧縮率ｋ（低周波成分Ｌに応じて決定されるＤＲ圧縮率ｋ）、ノイズ量ｎ、残留ノイズ量ｒを用いて表される。また、コアリング係数Ｓは、Ｌ＞Ｔ−ｎの範囲で、ノイズの正側と負側とで異なることが分かる。すなわち、ノイズを一律なものとしてではなく、ノイズを正側のノイズと、負側のノイズとに場合分けすることで、このように正側と負側とでコアリング係数Ｓが異なる値となる。このような値のコアリング係数Ｓを上記コアリング係数算出部６５により算出し、算出したこのコアリング係数Ｓを用いて上記コアリング処理部６４によるコアリング処理を行うことで、残留ノイズ量ｒを一定とすることができる。これにより、ノイズ除去を高精度に行うことが可能となる（以下の第２〜第４の実施形態でも同じ）。なお、コアリング係数算出部６５でのコアリング係数Ｓの算出においては、該コアリング係数算出部６５へ送信されてきた低周波成分Ｌ、ノイズ量ｎ、残留ノイズ量ｒ及びこの低周波成分Ｌに対応するＤＲ圧縮率ｋ（ｋ（Ｌ））の情報に基づいて、すなわち上述のように換言すれば、低周波成分Ｌのレベルに応じて、ノイズ正側及び負側においてそれぞれ上記（２６）〜（２８）式及び（２６）’〜（２８）’式を満たすようなコアリング係数Ｓが算出される。
【０１０４】
＜階調変換前において残留ノイズ量が一定となる条件＞
なお、基画像に対して階調変換を行わない場合、すなわち例えば線形特性（階調変換を行う前の全体が線形特性に統一されてなる線形特性）の状態のまま広ＤＲ画像として保存しておきたい場合や、階調変換部でのＤＲ圧縮率を予め決められない場合などには、階調変換前において残留ノイズ量が一定となるようにしてもよい。この場合、上記（２６）〜（２８）式及び（２６）’〜（２８）’式におけるｋ（Ｌ）の値を「１」にする、すなわちＤＲ圧縮率を１として（謂わばＤＲ圧縮のパラメータｋを除外して）、各コアリング係数Ｓを算出すればよい。この場合であっても、線形／対数画像を線形変換したときに増幅されるノイズを除去することができるので、ノイズ除去精度を高める効果がある。
【０１０５】
図９は、第１の実施形態におけるデジタルカメラ１の主にノイズ除去に関する動作の一例を示すフローチャートである。先ず固体撮像素子３による撮影により線形／対数画像が得られる（ステップＳ１）。この線形／対数画像（基画像Ｉ）がノイズ除去部６に入力され、ＬＰＦ部６１によりＬＰＦ処理されて低周波成分ｌ（線形／対数画像）が抽出される（ステップＳ２）。次に、この低周波成分ｌが線形変換部６２Ａにより線形変換されて低周波成分Ｌ（統一線形画像）が得られるとともに、上記ＬＰＦ処理されていない基画像Ｉに対して線形変換部６２Ａにより線形変換がなされる（この基画像Ｉの統一線形画像が得られる）（ステップＳ３）。エッジ量検出部６６によって、この線形変換部６２Ａにより線形変換がなされた基画像Ｉからエッジ量が検出される（ステップＳ４）。そして、検出されたこのエッジ量と全体制御部９から与えられるエッジ量の閾値ｅｌ、ｅｈとの情報に基づいて、合成係数算出部６７により合成係数Ｅが算出される（ステップＳ５）。
【０１０６】
一方、減算部６３によって、線形変換部６２Ｂからの基画像Ｉの統一線形画像信号から、線形変換部６２Ａからの低周波成分Ｌが減算されることで高周波成分Ｈが抽出される（ステップＳ６）。また、コアリング係数算出部６５によって、線形変換部６２Ａからの低周波成分Ｌと、減算部６３からの高周波成分Ｈと、全体制御部９から与えられるノイズ量ｎ、残留ノイズ量ｒ及びＤＲ圧縮率ｋ（ｋ（Ｌ））との情報に基づいて、上記ノイズ正側及び負側のコアリング係数Ｓが算出される（ステップＳ７）。この算出されたコアリング係数Ｓの情報に基づいて、コアリング処理部６４によって、減算部６３からの高周波成分Ｈに対するコアリング処理が施されて高周波成分Ｈｃが得られる（ステップＳ８）。そして、合成部６８によって、合成係数算出部６７からの合成係数Ｅの情報に基づいて、当該高周波成分Ｈｃと高周波成分Ｈとの合成処理が行われ（ステップＳ９）、加算部６９によって、この合成処理により得られた高周波成分Ｈ’と線形変換部６２Ａからの低周波成分Ｌとが加算されて出力画像Ｏとして後段の処理部（階調変換部７）へ出力される（ステップＳ１０）。
【０１０７】
（実施形態２）
第１の実施形態では、線形／対数特性から線形特性へ変換してからコアリング処理を行う構成であったが、第２の実施形態では、線形特性へ変換せずに、線形／対数特性（線形／対数画像）のままコアリング処理を行う構成となっている。図１０は、第２の実施形態に係るデジタルカメラ１におけるノイズ除去部６ａの一例を示すブロック構成図である。ノイズ除去部６ａは、ノイズ除去部６と比べて、線形変換部６２Ｃが異なる。すなわち、ノイズ除去部６では、図５に示すようにコアリング処理を行う機能部（コアリング処理部６４や合成部６８、加算部６９）の前段に線形変換を行う機能部（線形変換部６２Ａ、６２Ｂ）を設けているが、ノイズ除去部６ａではこの位置に設けずに、コアリング処理が行われた後の位置すなわち加算部６９の後段に線形変換を行う機能部（線形変換部６２Ｃ）を設けている。これ以外の構成は、ノイズ除去部６と同様でありその説明を省略する。
【０１０８】
ノイズ除去部６ａにおいて、固体撮像素子３により得られた線形／対数画像（基画像Ｉ）がＬＰＦ部６１によりＬＰＦ処理されたものが低周波成分l（低周波成分画像）であり、この低周波成分lが減算部６３、アリング係数算出部６５及び加算部６９に入力される。減算部６３では、基画像Ｉから低周波成分lが減算されて高周波成分ｈが抽出される。コアリング係数算出部６５は、これらＬＰＦ部６１からの低周波成分l及び減算部６３からの高周波成分ｈと、全体制御部９からのノイズ量ｎ、残留ノイズ量ｒ及びＤＲ圧縮率ｋとに基づいてコアリング係数Ｓを算出する。コアリング処理部６４は、高周波成分ｈに対してコアリング係数Ｓを用いてコアリング処理を施し、高周波成分ｈｃとして合成部６８へ出力する。合成部６８では、高周波成分ｈｃと高周波成分ｈと合成係数算出部６７からの合成係数Ｅとに基づいて合成処理が行われて、この結果、高周波成分ｈ’を加算部６９へ出力する。加算部６９による高周波成分ｈ’と低周波成分lとの加算処理により得られた画像（線形／対数画像）は、線形変換部６２Ｃにおいて統一線形画像に線形変換（ログリニア変換）された後、出力画像Ｏとして後段の処理部へ出力される。なお、このように線形変換部６２Ｃを備えて線形変換を行うのは、後段の階調変換部７において統一線形画像を用いて階調変換処理（ＤＲ圧縮処理）を行うことによる。
【０１０９】
以下に本実施形態の場合について、正側と負側とで異なる特徴を有するノイズに対してノイズ除去処理を行った後の残留ノイズ量が、どのようなコアリング係数Ｓを設定すれば、一定となるのかということについて説明する。
［コアリング係数算出についての説明］
ノイズがのった画像信号ｙｎは、第１の実施形態と同じであり、（１０）、（１１）、（１０）’及び（１１）’式で表される。
ノイズ正側（ｙｎ＝ｙ＋ｎ）
ｙｎ＝ｘ＋ｎ （ｘ≦Ｔ、ｙｎ≦Ｔ＋ｎ） ・・・（１０）
ｙｎ＝ｃ＊ｌｎ（ｘ）＋ｄ＋ｎ （ｘ＞Ｔ、ｙｎ＞Ｔ＋ｎ） ・・・（１１）
ノイズ負側（ｙｎ＝ｙ−ｎ）
ｙｎ＝ｘ−ｎ （ｘ≦Ｔ、ｙｎ≦Ｔ−ｎ） ・・・（１０）’
ｙｎ＝ｃ＊ｌｎ（ｘ）＋ｄ−ｎ （ｘ＞Ｔ、ｙｎ＞Ｔ−ｎ） ・・・（１１）’
【０１１０】
ＬＰＦを通った低周波成分ｌ（Ｌの小文字）は、以下の（２９）、（３０）式で表される。
ｌ＝ｘ （ｘ≦Ｔ、ｌ≦Ｔ） ・・・（２９）
ｌ＝ｃ＊ｌｎ（ｘ）＋ｄ （Ｔ≦ｘ、Ｔ≦ｌ） ・・・（３０）
【０１１１】
上記（１０）、（１１）式及び（１０）’（１１）’式を低周波成分ｌを用いて表すと、それぞれ以下に示す１つの（３１）、（３１）’式で表される。
ノイズ正側 ｙｎ＝ｌ＋ｎ ・・・（３１）
ノイズ負側 ｙｎ＝ｌ−ｎ ・・・（３１）’
【０１１２】
本実施形態では、線形／対数特性の状態のままでコアリング処理を行うので、ノイズ量はｎである。残留ノイズ量Ｒ、コアリング係数Ｓとして、Ｒ＝ｎ−Ｓとなるので、コアリング処理後の画像信号ｙｓは、以下の（３２）、（３２）’式で表される。
ノイズ正側 ｙｓ＝ｌ＋Ｒ＝ｌ＋ｎ−Ｓ ・・・（３２）
ノイズ負側 ｙｓ＝ｌ−Ｒ＝ｌ−ｎ＋Ｓ ・・・（３２）’
【０１１３】
一方、階調変換部７でのＤＲ圧縮後の画像信号Ｙｓ’は、線形変換後の低周波成分ＬをＤＲ圧縮率ｋ（Ｌ）で圧縮したものに残留ノイズ量ｒ（ｒ≧０：一定）がのったものとなるので、上記（３）式を参照して、以下の（３３）、（３３）’式で表される。なお、ｋ（Ｌ）を上記ｋ（Ｂ）と同様、単にｋとも表す。
ノイズ正側 Ｙｓ’＝ｋ（Ｌ）＊Ｌ＋ｒ ・・・（３３）
ノイズ負側 Ｙｓ’＝ｋ（Ｌ）＊Ｌ−ｒ ・・・（３３）’
【０１１４】
また、ＤＲ圧縮前の画像信号Ｙｓは、以下の（３４）、（３４）’式で表され、
ノイズ正側 Ｙｓ＝Ｌ＋ｒ／ｋ（Ｌ） ・・・（３４）
ノイズ負側 Ｙｓ＝Ｌ−ｒ／ｋ（Ｌ） ・・・（３４）’
これら画像信号Ｙｓの線形変換前の画像信号ｙｓは、以下の（３５）、（３６）式で表される。
ｙｓ＝Ｙｓ （Ｙｓ≦Ｔ、ｙｓ≦Ｔ） ・・・（３５）
ｙｓ＝ｃ＊ｌｎ（Ｙｓ）＋ｄ ・・・（３６）
【０１１５】
したがって、画像信号ｙｓは、ノイズ正側の場合、上記（３４）〜（３６）式により、以下の（３７）、（３８）式で表される。
ノイズ正側
ｙｓ＝Ｌ＋ｒ／ｋ（Ｌ） （ｙｓ≦Ｔ、Ｌ≦Ｔｐ） ・・・（３７）
ｙｓ＝ｃ＊ｌｎ（Ｌ＋ｒ／ｋ（Ｌ））＋ｄ （Ｔ＜ｙｓ、Ｔｐ＜Ｌ） ・・・（３８）
但し、Ｔｐは、Ｔ＝Ｔｐ＋ｒ／ｋ（Ｔｐ）を満たす。ＤＲ圧縮率（圧縮特性）ｋ（Ｌ）は設計上既知であるので、このＴｐも求まる。また、Ｔ−Ｔｐ＝ｒ／ｋ（Ｔｐ）＞０であるので、Ｔｐ＜Ｔである。
【０１１６】
また、画像信号ｙｓは、ノイズ負側の場合、上記（３４）’及び（３５）、（３６）式により、以下の（３７）’、（３８）’式で表される。
ノイズ負側
ｙｓ＝Ｌ−ｒ／ｋ（Ｌ） （ｙｓ≦Ｔ、Ｌ≦Ｔｍ） ・・・（３７）’
ｙｓ＝ｃ＊ｌｎ（Ｌ−ｒ／ｋ（Ｌ））＋ｄ （Ｔ＜ｙｓ、Ｔｍ＜Ｌ）・・・（３８）’
但し、Ｔｍは、Ｔ＝Ｔｍ−ｒ／ｋ（Ｔｍ）を満たす。また、Ｔ−Ｔｍ＝−ｒ／ｋ（Ｔｍ）＜０であるので、Ｔｍ＞Ｔである。
【０１１７】
ここで、線形／対数特性での低周波成分ｌと、線形変換後の低周波成分Ｌ（上記（２９）、（３０）式参照）との関係を示す。低周波成分Ｌは低周波成分ｌを線形変換したものに等しいので、
Ｌ＝ｌ （ｌ≦Ｔ） ・・・（３９）
Ｌ＝ｅｘｐ（（ｌ−ｄ）／ｃ）＝ｌ’ （Ｔ＜ｌ） ・・・（４０）
但し、ｌ’はｅｘｐ（（ｌ−ｄ）／ｃ）を簡略表記するものである。
【０１１８】
画像信号ｙｓを低周波成分ｌで表すと、ノイズ正側の場合、上記（３７）〜（４０）式により、以下の（４１）〜（４３）式となる。
ｙｓ＝ｌ＋ｒ／ｋ（ｌ） （ｌ≦Ｔｐ） ・・・（４１）
ｙｓ＝ｃ＊ｌｎ（ｌ＋ｒ／ｋ（ｌ））＋ｄ （Ｔｐ＜ｌ≦Ｔ） ・・・（４２）
ｙｓ＝ｃ＊ｌｎ（ｌ’＋ｒ／ｋ（ｌ’））＋ｄ （Ｔ＜ｌ、Ｔ＜ｌ’） ・・・（４３）
【０１１９】
また、ノイズ負側の場合、上記（３７）’、（３８）’、（３９）及び（４０）式により、以下の（４１）’〜（４３）’式となる。
ｙｓ＝ｌ−ｒ／ｋ（ｌ） （ｌ≦Ｔ） ・・・（４１）’
ｙｓ＝ｌ’−ｒ／ｋ（ｌ’） （Ｔ＜ｌ≦ｃ＊ｌｎ（Ｔｍ）＋ｄ、Ｔ＜ｌ’≦Ｔｍ） ・・・（４２）’
ｙｓ＝ｃ＊ｌｎ（ｌ’−ｒ／ｋ（ｌ’））＋ｄ （ｃ＊ｌｎ（Ｔｍ）＋ｄ＜ｌ、Ｔｍ＜ｌ’） ・・・（４３）’
【０１２０】
コアリング係数Ｓは、ノイズ正側の場合、上記（３２）式及び（４１）〜（４３）式により、以下の（４４）〜（４６）式で表される。
Ｓ＝ｎ−ｒ／ｋ（ｌ） （ｌ≦Ｔｐ） ・・・（４４）
Ｓ＝ｎ＋ｌ−（ｃ＊ｌｎ（ｌ＋ｒ／ｋ（ｌ））＋ｄ） （Ｔｐ＜ｌ≦Ｔ） ・・・（４５）
Ｓ＝ｎ＋ｌ−（ｃ＊ｌｎ（ｌ’＋ｒ／ｋ（ｌ’））＋ｄ） （Ｔ＜ｌ、Ｔ≦ｌ’） ・・・（４６）
【０１２１】
また、ノイズ負側の場合、上記（３２）’式及び（４１）’〜（４３）’式により、以下の（４４）’〜（４６）’式で表される。
Ｓ＝ｎ−ｒ／ｋ（ｌ） （ｌ≦Ｔ） ・・・（４４）’
Ｓ＝ｎ−ｌ＋ｌ’−ｒ／ｋ（ｌ’） （Ｔ＜ｌ≦ｃ＊ｌｎ（Ｔｍ）＋ｄ、Ｔ＜ｌ’≦Ｔｍ） ・・・（４５）’
Ｓ＝ｎ−ｌ＋ｃ＊ｌｎ（ｌ’−ｒ／ｋ（ｌ’））＋ｄ （ｃ＊ｌｎ（Ｔｍ）＋ｄ＜ｌ、Ｔｍ＜ｌ’） ・・・（４６）’
【０１２２】
これら（４４）〜（４６）式及び（４４）’〜（４６）’式から、コアリング係数Ｓは、ＤＲ圧縮率ｋ（低周波成分ｌに応じて決定されるＤＲ圧縮率ｋ）、ノイズ量ｎ、残留ノイズ量ｒを用いて表される。また、コアリング係数Ｓは、Ｌ＞Ｔｐの範囲で、ノイズの正側と負側とで異なることが分かる。このような値のコアリング係数Ｓをコアリング係数算出部６５により算出し、算出したこのコアリング係数Ｓを用いてコアリング処理部６４によるコアリング処理を行うことで、残留ノイズ量ｒを一定とすることができる。なお、コアリング係数算出部６５でのコアリング係数Ｓの算出においては、該コアリング係数算出部６５へ送信されてきた低周波成分ｌ、ノイズ量ｎ、残留ノイズ量ｒ及びこの低周波成分ｌに対応するＤＲ圧縮率ｋ（ｋ（ｌ））の情報に基づいて（ただし、ｌ’はｅｘｐ（（ｌ−ｄ）／ｃ）という低周波成分ｌの関数であるのでｋ（ｌ’）は低周波成分ｌの関数と見なしている）、すなわち上記と同様に換言すれば、低周波成分ｌのレベルに応じて、ノイズ正側及び負側においてそれぞれ上記（４４）〜（４６）式及び（４４）’〜（４６）’式を満たすようなコアリング係数Ｓが算出される。
【０１２３】
＜階調変換前において残留ノイズ量が一定となる条件＞
なお、第１の実施形態と同様に、上記（４４）〜（４６）式及び（４４）’〜（４６）’式におけるｋ（ｌ）、ｋ（ｌ’）の値を「１」として、階調変換前において残留ノイズ量が一定となるようにしてもよい。この場合も、線形／対数画像を線形変換したときに増幅されるノイズを除去することができるので、ノイズ除去精度を高める効果がある。
【０１２４】
図１１は、第２の実施形態におけるデジタルカメラ１の主にノイズ除去に関する動作の一例を示すフローチャートである。先ず固体撮像素子３による撮影により線形／対数画像が得られる（ステップＳ２１）。この線形／対数画像（基画像Ｉ）がノイズ除去部６ａに入力され、ＬＰＦ部６１によりＬＰＦ処理されて低周波成分ｌ（線形／対数画像）が抽出される（ステップＳ２２）。次に、エッジ量検出部６６によって、ＬＰＦ処理されていない基画像Ｉからエッジ量が検出される（ステップＳ２３）。そして、検出されたこのエッジ量と全体制御部９から与えられるエッジ量の閾値ｅｌ、ｅｈとの情報に基づいて、合成係数算出部６７により合成係数Ｅが算出される（ステップＳ２４）。一方、減算部６３によって、基画像Ｉから、ＬＰＦ部６１からの低周波成分ｌが減算されることで高周波成分ｈが抽出される（ステップＳ２５）。
【０１２５】
また、コアリング係数算出部６５によって、ＬＰＦ部６１からの低周波成分ｌと、減算部６３からの高周波成分ｈと、全体制御部９から与えられるノイズ量ｎ、残留ノイズ量ｒ及びＤＲ圧縮率ｋ（ｋ（ｌ））との情報に基づいて、上記ノイズ正側及び負側のコアリング係数Ｓが算出される（ステップＳ２６）。この算出されたコアリング係数Ｓの情報に基づいて、コアリング処理部６４によって、減算部６３からの高周波成分ｈに対するコアリング処理が施されて高周波成分ｈｃが得られる（ステップＳ２７）。そして、合成部６８によって、合成係数算出部６７からの合成係数Ｅの情報に基づいて、当該高周波成分ｈｃと高周波成分ｈとの合成処理が行われ（ステップＳ２８）、加算部６９によって、この合成処理により得られた高周波成分ｈ’とＬＰＦ部６１からの低周波成分ｌとが加算される（ステップＳ２９）。そして、この加算処理により得られた画像信号が線形変換部６２Ｃによって線形変換されて出力画像Ｏとして後段の処理部（階調変換部７）へ出力される（ステップＳ３０）。
【０１２６】
（実施形態３）
第１の実施形態では線形／対数特性から１つの線形特性への変換を行う構成であったが、第３の実施形態では、線形／線形特性から１つの線形特性への変換を行う構成となっている。すなわち、第３の実施形態では、ノイズ除去部の構成は第１の実施形態におけるノイズ除去部６（図５参照）と同じであるが、固体撮像素子３が、上記線形／対数特性ではなく線形／線形特性である光電変換特性を有するものとされている（その他の構成は第１の実施形態と同じであり、その説明を省略する）。
【０１２７】
ところで上記線形／線形特性とは、図１２に示すように、低輝度側、高輝度側ともに線形の光電変換特性（低輝度側を第１線形特性、高輝度側を第２線形特性とする）を有しており、輝度レベルに応じてすなわち所定の出力レベル点（変曲点）を境としてこれら光電変換特性の線形の傾きが変化する（異なる）光電変換特性である。この場合の光電変換特性も、上記線形／対数特性の場合と同様、複数の異なる光電変換特性からなるものであると言える。本実施形態では、固体撮像素子３として、このような線形／線形特性を有する例えば可変蓄積時間型撮像センサや可変蓄積容量型撮像センサが採用される。なお、露光量や感度の異なる複数の撮影画像を固体撮像素子外部で合成してなる画像等も、本実施形態に適用することが可能である。なお、本実施形態でも、第１の実施形態での線形／線形特性の場合と同様、線形／線形特性に対して線形変換（この場合をリニアリニア変換という）を行って１つの線形特性に統一するが、これは図１２に示すように、高輝度側の線形特性の傾きを低輝度側の線形特性の傾きと一致させるような変換を行うものである。
【０１２８】
以下、本実施形態において、線形／線形特性から線形特性への変換によって、ノイズ量がどのように変化するのか或いはどのような値になるのかについて説明する。
［線形／線形特性から線形特性への変換におけるノイズについての説明］
線形／線形特性の光電変換特性は、以下の（４７）、（４８）式のように表される。
ｙ＝ｘ （ｘ≦Ｔ、ｙ≦Ｔ） ・・・（４７）
ｙ＝ｃ＊ｘ＋ｄ （ｘ＞Ｔ、ｙ＞Ｔ） ・・・（４８）
【０１２９】
これを１つの線形特性に変換すると、変換後の特性Ｙは、以下の（４９）、（５０）式で表される。
Ｙ＝ｙ （ｙ≦Ｔ） ・・・（４９）
Ｙ＝（ｙ−ｄ）／ｃ （ｙ＞Ｔ）・・・（５０）
したがって、ｙがノイズの無い信号であるとすると、全ｙ（すなわち全ｘ）において、Ｙ＝ｘとなる。
【０１３０】
ノイズがのっている信号をｙｎ、このノイズをｎ（ｎ＞０）とすると、ｙｎ＝ｙ±ｎと表すことができるので、上記（４７）、（４８）式より、ノイズ正側の場合（ｙｎ＝ｙ＋ｎ）、以下の（５１）、（５２）式のように表される。
ノイズ正側
ｙｎ＝ｘ＋ｎ （ｘ≦Ｔ、ｙｎ≦Ｔ＋ｎ） ・・・（５１）
ｙｎ＝ｃ＊ｘ＋ｄ＋ｎ （ｘ＞Ｔ、ｙｎ＞Ｔ＋ｎ） ・・・（５２）
【０１３１】
また、ノイズ負側の場合（ｙｎ＝ｙ−ｎ）、以下の（５１）’、（５２）’式のように表される。
ノイズ負側
ｙｎ＝ｘ−ｎ （ｘ≦Ｔ、ｙｎ≦Ｔ−ｎ） ・・・（５１）’
ｙｎ＝ｃ＊ｘ＋ｄ−ｎ （ｘ＞Ｔ、ｙｎ＞Ｔ−ｎ） ・・・（５２）’
【０１３２】
ｙｎを線形特性に変換したものをＹｎとすると、このＹｎは、ノイズ正側の場合、上記（４９）〜（５２）式より以下の（５３）〜（５５）式で表される。
ノイズ正側
Ｙｎ＝ｙｎ＝ｘ＋ｎ （ｙｎ≦Ｔ、ｘ≦Ｔ−ｎ） ・・・（５３）
Ｙｎ＝（ｙｎ−ｄ）／ｃ
＝（ｘ＋ｎ−ｄ）／ｃ （Ｔ＜ｙｎ≦Ｔ＋ｎ、Ｔ−ｎ＜ｘ≦Ｔ） ・・・（５４）
Ｙｎ＝（ｙｎ−ｄ）／ｃ
＝（（ｃ＊ｘ＋ｄ＋ｎ）−ｄ）／ｃ
＝ｘ＋ｎ／ｃ （Ｔ＋ｎ＜ｙｎ、Ｔ＜ｘ） ・・・（５５）
【０１３３】
また、Ｙｎは、ノイズ負側の場合、上記（４９）、（５０）、（５１）’及び（５２）’式より、以下の（５３）’〜（５５）’式で表される。
ノイズ負側
Ｙｎ＝ｙｎ＝ｘ−ｎ （ｙｎ≦Ｔ−ｎ、ｘ≦Ｔ） ・・・（５３）’
Ｙｎ＝ｙｎ＝ｃ＊ｘ＋ｄ−ｎ （Ｔ−ｎ＜ｙｎ≦Ｔ、Ｔ＜ｘ≦（Ｔ−ｄ＋ｎ）／ｃ） ・・・（５４）’
Ｙｎ＝（ｙｎ−ｄ）／ｃ
＝（ｃ＊ｘ＋ｄ−ｎ−ｄ）／ｃ
＝ｘ−ｎ／ｃ （Ｔ＜ｙｎ、（Ｔ−ｄ＋ｎ）／ｃ＜ｘ） ・・・（５５）’
【０１３４】
これら（５３）〜（５５）式、及び（５３）’〜（５５）’式は、図１３に示すグラフとなる。すなわち図１２のグラフにおいて、ノイズ正側の場合、（５３）式に相当するものが符号５０１で示す特性（特性５０１）、（５４）式に相当するものが符号５０２で示す特性（特性５０２）、（５５）式に相当するものが符号５０３で示す特性（特性５０３）となる。また、ノイズ負側の場合、（５３）’式に相当するものが符号５１１で示す特性（特性５１１）、（５４）’式に相当するものが符号５１２で示す特性（特性５１２）、（５５）’式に相当するものが符号５１３で示す特性（特性５１３）となる。
【０１３５】
この場合も、図８での説明と同様、変曲点Ｔ（ｘ座標で考えている）を挟んでＴ−ｎ＜ｘ≦Ｔの範囲５０２１とＴ＜ｘ≦（Ｔ−ｄ＋ｎ）／ｃの範囲５１２１とにおいて、（４７）、（４８）式の異なる方で変換されてしまい、特性５０２、５１２となる（ただし、本実施形態では基画像Ｉが線形／線形特性であるので、この特性５０２、５１２は線形となる）。また、Ｔ＜ｘの範囲、（Ｔ−ｄ＋ｎ）／ｃ＜ｘの範囲では、それぞれ、線形変換する前の特性が線形特性であることから、特性５０３、５１３のようになる。これら特性５０３、５１３はそれぞれ特性５０１、５１１と平行な（傾きが同じ）グラフとなっている。この場合も、細部のグラフ形状は異なるものの、全体としては図８に示す場合と同様に、線形変換後、Ｙ＝ｘの特性５２２に対する正側のノイズ量と負側のノイズ量とが、それぞれ、ｘ全域（低輝度から高輝度にかけて）において一定でなく、異なる値となってしまう。
【０１３６】
次に、本実施形態の場合について、正側と負側とで異なる特徴を有するノイズに対してノイズ除去処理を行った後の残留ノイズ量が、どようなコアリング係数Ｓを設定すれば、一定となるのかということについて説明する。
［コアリング係数算出についての説明］
第１の実施形態と同様に、低周波成分Ｌを用いて、上記（５３）〜（５５）式及び（５３）’〜（５５）’式を表すと、以下の（５６）〜（５８）式及び（５６）’〜（５８）’式となる。
ノイズ正側
Ｙｎ＝Ｌ＋ｎ （Ｌ≦Ｔ−ｎ） ・・・（５６）
Ｙｎ＝（Ｌ−ｄ＋ｎ）／ｃ （Ｔ−ｎ＜Ｌ≦Ｔ） ・・・（５７）
Ｙｎ＝Ｌ＋ｎ／ｃ （Ｔ＜Ｌ） ・・・（５８）
ノイズ負側
Ｙｎ＝Ｌ−ｎ （Ｌ≦Ｔ） ・・・（５６）’
Ｙｎ＝ｃ＊Ｌ＋ｄ−ｎ （Ｔ＜Ｌ≦（Ｔ−ｄ＋ｎ）／ｃ）・・・（５７）’
Ｙｎ＝Ｌ−ｎ／ｃ （（Ｔ−ｄ＋ｎ）／ｃ＜Ｌ） ・・・（５８）’
【０１３７】
＜ノイズ量の算出＞
第１の実施形態と同様にノイズ量Ｎ（Ｎ≧０）を求める。ノイズ量Ｎは、ノイズ正側の場合、上記（５６）〜（５８）式から低周波成分Ｌを減算することにより、以下の（５９）〜（６１）式で表される。
ノイズ正側
Ｎ＝ｎ （Ｌ≦Ｔ−ｎ） ・・・（５９）
Ｎ＝（Ｌ−ｄ＋ｎ）／ｃ−Ｌ＝（（１−ｃ）＊Ｌ−ｄ＋ｎ）／ｃ （Ｔ−ｎ＜Ｌ≦Ｔ） ・・・（６０）
Ｎ＝ｎ／ｃ （Ｔ＜Ｌ） ・・・（６１）
【０１３８】
一方、ノイズ負側の場合、低周波成分Ｌから上記（５６）’〜（５８）’式を減算することにより、以下の（５９）’〜（６１）’式で表される。
ノイズ負側
Ｎ＝ｎ （Ｌ≦Ｔ） ・・・（５９）’
Ｎ＝Ｌ−（ｃ＊Ｌ＋ｄ−ｎ）＝（１−ｃ）＊Ｌ−ｄ＋ｎ （Ｔ＜Ｌ≦（Ｔ−ｄ＋ｎ）／ｃ） ・・・（６０）’
Ｎ＝ｎ／ｃ （（Ｔ−ｄ＋ｎ）／ｃ＜Ｌ） ・・・（６１）’
【０１３９】
＜ＤＲ圧縮後の残留ノイズ量が一定となる条件＞
これは第１の実施形態の場合と同じ条件が成立し、上記（２５）式と同じである。すなわち、ＤＲ圧縮後の残留ノイズ量ｒ（ｒ≧０：一定）、及びＤＲ圧縮率ｋ（Ｌ）を用いて、コアリング係数Ｓ（Ｓ≧０）を表すと、以下の（２５）式となる。
Ｓ＝Ｎ−ｒ／ｋ（Ｌ） ・・・（２５）
【０１４０】
コアリング係数Ｓは、ノイズ正側の場合、上記（２５）式及び（５９）〜（６１）式により、以下の（６２）〜（６４）式で表される。
ノイズ正側
Ｓ＝ｎ−ｒ／ｋ（Ｌ） （Ｌ≦Ｔ−ｎ） ・・・（６２）
Ｓ＝（（１−ｃ）＊Ｌ−ｄ＋ｎ）／ｃ−ｒ／ｋ（Ｌ） （Ｔ−ｎ＜Ｌ≦Ｔ） ・・・（６３）
Ｓ＝ｎ／ｃ−ｒ／ｋ（Ｌ） （Ｔ＜Ｌ） ・・・（６４）
【０１４１】
また、ノイズ負側の場合、上記（２５）式及び（５９）’〜（６１）’式により、以下の（６２）’〜（６４）’式で表される。
ノイズ負側
Ｓ＝ｎ−ｒ／ｋ（Ｌ） （Ｌ≦Ｔ） ・・・（６２）’
Ｓ＝（１−ｃ）＊Ｌ−ｄ＋ｎ−ｒ／ｋ（Ｌ） （Ｔ＜Ｌ≦（Ｔ−ｄ＋ｎ）／ｃ） ・・・（６３）’
Ｓ＝ｎ／ｃ−ｒ／ｋ（Ｌ） （（Ｔ−ｄ＋ｎ）／ｃ＜Ｌ） ・・・（６４）’
【０１４２】
これら（６２）〜（６４）式及び（６２）’〜（６４）’式から、コアリング係数Ｓは、ＤＲ圧縮率ｋ（低周波成分Ｌに応じて決定されるＤＲ圧縮率ｋ）、ノイズ量ｎ、残留ノイズ量ｒを用いて表される。コアリング係数Ｓは、Ｔ−ｎ＜Ｌ≦（Ｔ−ｄ＋ｎ）／ｃの範囲で、ノイズの正側と負側とで異なることが分かる。このような値のコアリング係数Ｓをコアリング係数算出部６５により算出し、算出したこのコアリング係数Ｓを用いてコアリング処理部６４によるコアリング処理を行うことで、残留ノイズ量ｒを一定とすることができる。なお、この場合も同様に、コアリング係数算出部６５でのコアリング係数Ｓの算出においては、該コアリング係数算出部６５へ送信されてきた低周波成分Ｌ、ノイズ量ｎ、残留ノイズ量ｒ及びこの低周波成分Ｌに対応するＤＲ圧縮率ｋ（ｋ（Ｌ））の情報に基づいて、すなわち上記と同様に換言すれば、低周波成分Ｌのレベルに応じて、ノイズ正側及び負側においてそれぞれ上記（６２）〜（６４）式及び（６２）’〜（６４）’式を満たすようなコアリング係数Ｓが算出される。
【０１４３】
＜階調変換前において残留ノイズ量が一定となる条件＞
なお、第１及び第２の実施形態と同様に、上記（６２）〜（６４）式及び（６２）’〜（６４）’式におけるｋ（Ｌ）の値を「１」として、階調変換前において残留ノイズ量が一定となるようにしてもよい。この場合も、線形／線形画像を線形変換したときに増幅されるノイズを除去することができるので、ノイズ除去精度を高める効果がある。
【０１４４】
なお、本実施形態の場合のフローチャートは、第１の実施形態における図９のフローチャートにおけるステップＳ１の線形／対数画像を、線形／線形画像に置き換えたものであり、この線形／線形画像に対して以下同様のフローにて処理が実行される。
【０１４５】
（実施形態４）
第３の実施形態では、線形／線形特性に対して線形変換を行ってから（統一線形画像にしてから）コアリング処理を行う構成であったが、第４の実施形態では、当該線形変換を行わずに、線形／線形特性（線形／線形画像）のままコアリング処理を行う構成となっている。すなわち、第４の実施形態では、ノイズ除去部の構成は第２の実施形態におけるノイズ除去部６ａ（図１０参照）と同じであるが、固体撮像素子３が線形／線形特性である光電変換特性を有するものとされている（その他の構成は第２の実施形態と同じでありその説明を省略する）。
【０１４６】
本実施形態における線形／線形特性の光電変換特性は、第３の実施形態と同じ上記（４７）、（４８）式で表され、１つの線形特性に変換するときの変換後の特性Ｙは第３の実施形態と同じ上記（４９）、（５０）式で表される。また、ノイズがのっている信号ｙｎは第３の実施形態と同じ上記（５１）、（５２）式及び（５１）’、（５２）’式で表される。
【０１４７】
ＬＰＦを通った低周波成分ｌ（Ｌの小文字）は、以下の（６５）、（６６）式で表される。
ｌ＝ｘ （ｘ≦Ｔ、ｌ≦Ｔ） ・・・（６５）
ｌ＝ｃ＊ｘ＋ｄ （Ｔ＜ｘ、Ｔ＜ｌ） ・・・（６６）
【０１４８】
上記（５１）、（５２）式及び（５１）’、（５２）’式を低周波成分ｌを用いて表すと、それぞれ以下に示す１つの（６７）、（６７）’式で表される。
ノイズ正側 ｙｎ＝ｌ＋ｎ ・・・（６７）
ノイズ負側 ｙｎ＝ｌ−ｎ ・・・（６７）’
【０１４９】
本実施形態では、線形／線形特性の状態のままでコアリング処理を行うので、ノイズ量はｎである。残留ノイズ量Ｒ、コアリング係数Ｓとして、Ｒ＝ｎ−Ｓとなるので、コアリング処理後の画像信号ｙｓは、以下の（６８）、（６８）’式で表される。
ノイズ正側 ｙｓ＝ｌ＋Ｒ＝ｌ＋ｎ−Ｓ ・・・（６８）
ノイズ負側 ｙｓ＝ｌ−Ｒ＝ｌ−ｎ＋Ｓ ・・・（６８）’
【０１５０】
一方、階調変換部７でのＤＲ圧縮後の画像信号Ｙｓ’は、線形変換後の低周波成分ＬをＤＲ圧縮率ｋ（Ｌ）で圧縮したものに残留ノイズ量ｒ（ｒ≧０：一定）がのったものとなるので、上記（３）式を参照して、以下の（６９）、（６９）’式で表される。
ノイズ正側 Ｙｓ’＝ｋ（Ｌ）＊Ｌ＋ｒ ・・・（６９）
ノイズ負側 Ｙｓ’＝ｋ（Ｌ）＊Ｌ−ｒ ・・・（６９）’
【０１５１】
また、ＤＲ圧縮前の画像信号Ｙｓは、以下の（７０）、（７０）’式で表され、
ノイズ正側 Ｙｓ＝Ｌ＋ｒ／ｋ（Ｌ） ・・・（７０）
ノイズ負側 Ｙｓ＝Ｌ−ｒ／ｋ（Ｌ） ・・・（７０）’
これら画像信号Ｙｓの線形変換前の画像信号ｙｓは、以下の（７１）、（７２）式で表される。
ｙｓ＝Ｙｓ （Ｙｓ≦Ｔ、ｙｓ≦Ｔ） ・・・（７１）
ｙｓ＝ｃ＊Ｙｓ＋ｄ ・・・（７２）
【０１５２】
したがって、画像信号ｙｓは、ノイズ正側の場合、上記（７０）〜（７２）式により、以下の（７３）、（７４）式で表される。
ノイズ正側
ｙｓ＝Ｌ＋ｒ／ｋ（Ｌ） （ｙｓ≦Ｔ、Ｌ≦Ｔｐ） ・・・（７３）
ｙｓ＝ｃ＊（Ｌ＋ｒ／ｋ（Ｌ））＋ｄ
＝ｃ＊Ｌ＋ｄ＋ｃ＊ｒ／ｋ（Ｌ） （Ｔ＜ｙｓ、Ｔｐ＜Ｌ） ・・・（７４）
但し、Ｔｐは、Ｔ＝Ｔｐ＋ｒ／ｋ（Ｔｐ）を満たす。ＤＲ圧縮率（圧縮特性）ｋ（Ｌ）は設計上既知であるので、このＴｐも求まる。また、Ｔ−Ｔｐ＝ｒ／ｋ（Ｔｐ）＞０であるので、Ｔｐ＜Ｔである。
【０１５３】
また、画像信号ｙｓは、ノイズ負側の場合、上記（７０）’式及び（７１）、（７２）式により、以下の（７３）’、（７４）’式で表される。
ノイズ負側
ｙｓ＝Ｌ−ｒ／ｋ（Ｌ） （ｙｓ≦Ｔ、Ｌ≦Ｔｍ） ・・・（７３）’
ｙｓ＝ｃ＊（Ｌ−ｒ／ｋ（Ｌ））＋ｄ
＝ｃ＊Ｌ＋ｄ−ｃ＊ｒ／ｋ（Ｌ） （Ｔ＜ｙｓ、Ｔｍ＜Ｌ）・・・（７４）’
但し、Ｔｍは、Ｔ＝Ｔｍ−ｒ／ｋ（Ｔｍ）を満たす。また、Ｔ−Ｔｍ＝−ｒ／ｋ（Ｔｍ）＜０であるので、Ｔｍ＞Ｔである。
【０１５４】
ここで、線形／線形特性での低周波成分ｌと、線形変換後の低周波成分Ｌ（上記（４９）、（５０）式参照）との関係を示す。低周波成分Ｌは低周波成分ｌを線形変換したものに等しいので、
Ｌ＝ｌ （ｌ≦Ｔ） ・・・（７５）
Ｌ＝（ｌ−ｄ）／ｃ＝ｌ’ （Ｔ＜ｌ） ・・・（７６）
但し、ｌ’は（ｌ−ｄ）／ｃを簡略表記するものである。
【０１５５】
線形／線形特性での画像信号ｙｓを線形／線形特性での低周波成分ｌで表すと、ノイズ正側の場合、上記（７３）〜（７６）式により、以下の（７７）〜（７９）式となる。
ｙｓ＝ｌ＋ｒ／ｋ（ｌ） （ｌ≦Ｔｐ） ・・・（７７）
ｙｓ＝ｃ＊（ｌ＋ｒ／ｋ（ｌ））＋ｄ
＝ｃ＊ｌ＋ｄ＋ｃ＊ｒ／ｋ（ｌ） （Ｔｐ＜ｌ≦Ｔ） ・・・（７８）
ｙｓ＝ｃ＊（ｌ’＋ｒ／ｋ（ｌ’））＋ｄ
＝ｌ＋ｃ＊ｒ／ｋ（ｌ’） （Ｔ＜ｌ、Ｔ＜ｌ’） ・・・（７９）
【０１５６】
また、ノイズ負側の場合、上記（７３）’、（７４）’、（７５）及び（７６）式により、以下の（７７）’〜（７９）’式となる。
ｙｓ＝ｌ−ｒ／ｋ（ｌ） （ｌ≦Ｔ） ・・・（７７）’
ｙｓ＝ｌ’−ｒ／ｋ（ｌ’）
＝（ｌ−ｄ）／ｃ−ｒ／ｋ（ｌ’） （Ｔ＜ｌ≦ｃ＊Ｔｍ＋ｄ、Ｔ＜ｌ’≦Ｔｍ） ・・・（７８）’
ｙｓ＝ｃ＊ｌ’＋ｄ−ｃ＊ｒ／ｋ（ｌ’）
＝ｌ−ｃ＊ｒ／ｋ（ｌ’） （ｃ＊Ｔｍ＋ｄ＜ｌ、Ｔｍ＜ｌ’）・・・（７９）’
【０１５７】
コアリング係数Ｓは、ノイズ正側の場合、上記（６８）式及び（７７）〜（７９）式により、以下の（８０）〜（８２）式で表される。
Ｓ＝ｎ−ｒ／ｋ（ｌ） （ｌ≦Ｔｐ） ・・・（８０）
Ｓ＝（ｌ−ｃ）＊ｌ−ｄ＋ｎ−ｃ＊ｒ／ｋ（ｌ） （Ｔｐ＜ｌ≦Ｔ） ・・・（８１）
Ｓ＝ｎ−ｃ＊ｒ／ｋ（ｌ’） （Ｔ＜ｌ、Ｔ＜ｌ’） ・・・（８２）
【０１５８】
また、ノイズ負側の場合、上記（６８）’式及び（７７）’〜（７９）’式により、以下の（８０）’〜（８２）’式で表される。
Ｓ＝ｎ−ｒ／ｋ（ｌ） （ｌ≦Ｔ） ・・・（８０）’
Ｓ＝（（１−ｃ）＊ｌ−ｄ）＋ｎ−ｒ／ｋ（ｌ’） （Ｔ＜ｌ≦ｃ＊Ｔｍ＋ｄ、Ｔ＜ｌ’≦Ｔｍ） ・・・（８１）’
Ｓ＝ｎ−ｃ＊ｒ／ｋ（ｌ’） （ｃ＊Ｔｍ＋ｄ＜ｌ、Ｔｍ＜ｌ’） ・・・（８２）’
【０１５９】
これら（８０）〜（８２）式及び（８０）’〜（８２）’式から、コアリング係数Ｓは、ＤＲ圧縮率ｋ（低周波成分ｌに応じて決定されるＤＲ圧縮率ｋ）、ノイズ量ｎ、残留ノイズ量ｒを用いて表される。また、コアリング係数Ｓは、Ｔｐ＜ｌ≦ｃ＊Ｔｍ＋ｄの範囲で、ノイズの正側と負側とで異なることが分かる。このような値のコアリング係数Ｓをコアリング係数算出部６５により算出し、算出したこのコアリング係数Ｓを用いてコアリング処理部６４によるコアリング処理を行うことで、残留ノイズ量ｒを一定とすることができる。なお、この場合も同様に、コアリング係数算出部６５でのコアリング係数Ｓの算出においては、該コアリング係数算出部６５へ送信されてきた低周波成分ｌ、ノイズ量ｎ、残留ノイズ量ｒ及びこの低周波成分ｌに対応するＤＲ圧縮率ｋ（ｋ（ｌ））の情報に基づいて、すなわち上記と同様に換言すれば、低周波成分ｌのレベルに応じて、ノイズ正側及び負側においてそれぞれ上記（８０）〜（８２）式及び（８０）’〜（８２）’式を満たすようなコアリング係数Ｓが算出される。
【０１６０】
＜階調変換前において残留ノイズ量が一定となる条件＞
なお、第１〜第３の実施形態と同様に、上記（８０）〜（８２）式及び（８０）’〜（８２）’式におけるｋ（ｌ）、ｋ（ｌ’）の値を「１」として、階調変換前において残留ノイズ量が一定となるようにしてもよい。この場合も線形／線形画像を線形変換したときに増幅されるノイズを除去することができるので、ノイズ除去精度を高める効果がある。
【０１６１】
なお、本実施形態の場合のフローチャートは、第２の実施形態における図１１のフローチャートにおけるステップＳ２１の線形／対数画像を、線形／線形画像に置き換えたものであり、この線形／線形画像に対して以下同様のフローにて処理が実行される。
【０１６２】
以上のように、上記各実施形態の撮像装置（デジタルカメラ１）によれば、固体撮像素子３が複数の異なる光電変換特性を有するものとされ、ノイズ除去部６（６ａ）（ノイズ除去手段）によって、固体撮像素子３による撮像により得られる画像（基画像Ｉ）に対するノイズ除去処理が行われ、線形変換部６２Ａ、６２Ｂ（６２Ｃ）（階調変換手段）によって、ノイズ除去手段によりノイズ除去処理が行われた画像に対する階調変換処理が行われる。そして、ノイズ除去手段において、ＬＰＦ部６１（低周波成分抽出手段）によって、画像から低周波成分Ｌ（ｌ）が抽出され、減算部６３（高周波成分抽出手段）によって、画像から高周波成分Ｈ（ｈ）が抽出される。また、画像の信号（ｙ）に対して該信号のレベルよりもレベルが高い側を正側、レベルが低い側を負側と定める（ノイズ信号ｙｎ＝ｙ±ｎと定める）場合において、コアリング係数算出部６５（ノイズ除去量算出手段）によって、低周波成分抽出手段により抽出された低周波成分のレベルに応じて、正側のノイズ（＋ｎ）に対するノイズ除去量である正側ノイズ除去量（例えば（２６）〜（２８）式参照）と、負側のノイズ（−ｎ）に対するノイズ除去量である負側ノイズ除去量（例えば（２６）’〜（２８）’式参照）とが算出される。そして、コアリング処理部６４（コアリング手段）によって、高周波成分抽出手段により抽出された高周波成分に対して、ノイズ除去量算出手段により算出された正側ノイズ除去量及び負側ノイズ除去量に基づいてコアリング処理が行われ、加算部６９（合成手段）によって、コアリング手段によりコアリング処理が行われた高周波成分と、低周波成分抽出手段により抽出された低周波成分とが合成される。
【０１６３】
このように、抽出された低周波成分Ｌ（ｌ）のレベルに応じてノイズ除去量が算出されるので、すなわち階調変換処理を行うに際しての階調（輝度）レベル（低周波成分のレベルに対応する）に応じてノイズの除去量を設定することができるので、階調変換による伸張度合いが違うことによってノイズが目立つことのないようにすることができる。さらに、このノイズ除去量が、低周波成分のレベルに応じて、正側のノイズに対する正側ノイズ除去量と、負側のノイズに対する負側ノイズ除去量とに細分化して算出されて、この正側ノイズ除去量及び負側ノイズ除去量に基づいてコアリング処理が行われるので、ノイズ除去を高精度に行うことができる。これらのことにより、ひいては高画質な画像を得ることができる。
【０１６４】
また、正側ノイズ除去量及び負側ノイズ除去量が、コアリング処理におけるそれぞれのコアリング係数Ｓとされ、ノイズ除去量算出手段によって、ノイズ除去手段によりノイズ除去処理が行われた画像に対して階調変換手段による階調変換処理を行った後に該画像に残る残留ノイズ量ｒが、正側及び負側それぞれにおいて低周波成分Ｌ（ｌ）のレベルに依らず（輝度に依らず；）一定となるように（（２４）式参照）各コアリング係数Ｓが算出されるので、当該コアリング係数の算出方法を用いて、正側ノイズ除去量或いは負側ノイズ除去量であるコアリング係数を、容易に且つ確実に算出することができる。
【０１６５】
また、固体撮像素子３により得られる画像が、複数の異なる特性を有する複数特性画像とされ、ノイズ除去手段において、線形変換部６２Ａ、６２Ｂ（特性変換手段）によって、複数特性画像における複数の異なる特性の画像を１種類の特性の画像に統一する変換処理が行われて複数特性画像がその特性が統一された統一特性画像に変換された後、該統一特性画像に対するノイズ除去処理が行われる。
【０１６６】
このように、固体撮像素子３により得られた画像（複数特性画像）がその特性が統一された統一特性画像に変換された後、この統一特性画像に対するノイズ除去処理が行われるので、統一特性画像にノイズ除去処理を施すことができる、すなわちノイズ除去処理が行われた時点で、既にその画像が統一特性画像であるようにすることができ、後段の階調変換手段における階調変換処理に、このノイズ除去処理後の画像をそのまま（変換処理動作を必要とせずに）使用可能な構成を実現することができる。
【０１６７】
また、固体撮像素子３により得られる画像が、複数の異なる特性を有する複数特性画像とされ、ノイズ除去手段において、複数特性画像に対するノイズ除去処理が行われた後、線形変換部６２Ｃ（特性変換手段）によって、複数特性画像における複数の異なる特性の画像を１種類の特性の画像に統一する変換処理が行われて複数特性画像がその特性が統一された統一特性画像に変換される。
【０１６８】
このように、固体撮像素子３により得られた画像（複数特性画像）に対するノイズ除去処理が行われた後、特性が統一された統一特性画像に変換される構成であるので、画像に対するノイズ除去処理と、統一特性画像に変換する変換処理とを別々に行うことができ、すなわち例えばノイズ除去処理が施された画像に対して別の処理を施した後に、階調変換処理に供するべく当該変換処理を行うことができ、ひいては画像の取り扱いの自由度が高くなる（取り扱い性が向上する）。
【０１６９】
また、固体撮像素子３が、入射光量に対して電気信号が線形的に変換されて出力される線形光電変換特性と、該入射光量に対して電気信号が対数的に変換されて出力される対数光電変換特性とからなる光電変換特性を有するものとされ（図４参照）、複数特性画像が、線形特性の画像と対数特性の画像とからなる線形／対数画像とされる。このように、固体撮像素子３が線形及び対数特性からなる光電変換特性を有し、この固体撮像素子３により線形／対数画像が得られる構成であるので、広ＤＲを確保しつつ（広ＤＲ画像であって且つ）、当該正側及び負側のノイズを考慮した高精度のノイズ除去処理による高画質な画像を得ることが可能となる。
【０１７０】
また、固体撮像素子３が、入射光量に対して電気信号が線形的に変換されて出力される第１の線形光電変換特性と、該第１の線形光電変換特性とグラフ上の傾きが異なる第２の線形光電変換特性とからなる光電変換特性を有するものとされ（図１２参照）、複数特性画像が、２種類の線形特性の画像からなる線形／線形画像とされる。このように、固体撮像素子３が傾きの異なる（２種類の）線形特性からなる光電変換特性を有し、この固体撮像素子３により線形／線形画像が得られる構成であるので、広ＤＲを確保しつつ、当該正側及び負側のノイズを考慮した高精度のノイズ除去処理による高画質な画像を得ることが可能となる。
【０１７１】
また、特性変換手段によって、複数特性画像を線形特性の画像に統一する変換処理が行われる、すなわち画像の特性が線形特性に統一される構成であるので、階調変換部７（階調変換手段）による階調変換処理を容易に行うことができるようになる。
【０１７２】
また、ノイズ除去量算出手段によって、低周波成分のレベルに応じて与えられる階調変換手段による階調変換処理としてのダイナミックレンジ圧縮処理におけるダイナミックレンジ圧縮率（ｋ）と、既定値として与えられる画像のノイズ量（ｎ）及び残留ノイズ量（ｒ）とから正側及び負側のコアリング係数が算出されるので、すなわち、ノイズ量及び残留ノイズ量は既定値であり且つダイナミックレンジ圧縮率は低周波成分に応じて与えられるものであり、コアリング係数Ｓの算出に要する値は全て低周波成分に応じて定まると言うことができるので、正側及び負側のコアリング係数を、１つの評価（変化）パラメータである低周波成分Ｌ（ｌ）を用いた簡易な演算によって容易に算出することができる。
【０１７３】
また、ノイズ除去量算出手段によって、ダイナミックレンジ圧縮率を「１」としてコアリング係数が算出される構成であるので、ダイナミックレンジ圧縮を行わない（圧縮率ｋ＝１）つまり階調変換を行わない場合における当該正側及び負側のコアリング係数Ｓが算出され、階調変換を行う前の段階において正側及び負側の残留ノイズが一定とされた高精度にノイズ除去がなされた画像を得ることができる。
【０１７４】
また、ノイズ除去手段において、エッジ量検出部６６（エッジ量検出手段）によって、固体撮像素子３により得られる画像からエッジ量ｅが検出され、合成部６８及び加算部６９（調整手段）によって、エッジ量検出手段により検出されたエッジ量ｅに基づいて、コアリング処理におけるコアリングの度合い（ノイズ除去の程度）が調整されるので、正側ノイズ除去量及び負側ノイズ除去量に基づく高精度なノイズ除去が行われるとともに、エッジ量が考慮されたすなわちエッジ保存がなされた、より高画質な画像を得ることができる。
【０１７５】
なお、本発明は、以下の態様をとることができる。
（Ａ）上記各実施形態においては、撮影画像に対するノイズ除去処理をデジタルカメラ１内（ノイズ除去部６、６ａ）で行う構成としているが、これに限らず、デジタルカメラ１外の所定の処理部において実行する構成としてもよい。具体的には、例えばＡＤ変換後のデータを、メモリカード等の記録メディア、或いは通信手段、すなわちＵＳＢや無線ＬＡＮ等による有線又は無線接続（ネットワーク接続）により情報伝達可能に構成されたユーザーインターフェイスを介して、ＰＣ（Personal Computer）やＰＤＡ（Personal Digital Assistant）等の情報処理機器に送信し、この情報処理機器内で当該ノイズ除去処理を行う構成としてもよい。
【０１７６】
（Ｂ）上記各実施形態においては、固体撮像素子３の光電変換特性は、２つの異なる光電変換特性（線形特性及び対数特性、或いは第１線形特性及び第２線形特性）からなるが、３つ以上の異なる光電変換特性からなっていてもよい。この場合も上記と同様に正側及び負側のノイズを設定するノイズ除去手法が適用される（光電変換特性についても３つ以上の異なる光電変換特性からいずれか１種類の光電変換特性に統一される）。
【図面の簡単な説明】
【０１７７】
【図１】第１の実施形態に係る撮像装置の一例であるデジタルカメラの主に撮像処理に関するブロック構成図である。
【図２】上記固体撮像素子の一例である二次元のＭＯＳ型固体撮像装置の概略構成図である。
【図３】図２に示す各画素Ｇ１１〜Ｇｍｎの構成例を示す回路図である。
【図４】上記固体撮像素子の光電変換特性の一例を示すグラフ図である。
【図５】図１に示すノイズ除去部の一例を示すブロック構成図である。
【図６】コアリング処理におけるコアリング特性を示すグラフ図である。
【図７】エッジ量と合成係数との関係を示すグラフ図である。
【図８】第１の実施形態における線形変換後の正側及び負側のノイズの特性について説明するグラフ図である。
【図９】第１の実施形態におけるデジタルカメラの主にノイズ除去に関する動作の一例を示すフローチャートである。
【図１０】第２の実施形態に係るデジタルカメラにおけるノイズ除去部の一例を示すブロック構成図である。
【図１１】第２の実施形態におけるデジタルカメラの主にノイズ除去に関する動作の一例を示すフローチャートである。
【図１２】第３及び第４の実施形態に係る固体撮像素子の光電変換特性の一例を示すグラフ図である。
【図１３】第３の実施形態における線形変換後の正側及び負側のノイズの特性について説明するグラフ図である。
【符号の説明】
【０１７８】
１ デジタルカメラ（撮像装置）
３ 固体撮像素子
６、６ａ ノイズ除去部（ノイズ除去手段）
６１ ＬＰＦ部（低周波成分抽出手段）
６２Ａ、６２Ｂ 線形変換部（請求項３に記載の特性変換手段）
６２Ｃ 線形変換部（請求項４に記載の特性変換手段）
６３ 減算部（高周波成分抽出手段）
６４ コアリング処理部（コアリング手段）
６５ コアリング係数算出部（ノイズ除去量算出手段）
６６ エッジ量検出部（エッジ量検出手段）
６７ 合成係数算出部（調整手段）
６８ 合成部（調整手段）
６９ 加算部（合成手段）
７ 階調変換部（階調変換手段）
【特許請求の範囲】
【請求項１】
複数の異なる光電変換特性を有する固体撮像素子と、
前記固体撮像素子による撮像により得られる画像に対するノイズ除去処理を行うノイズ除去手段と、
前記ノイズ除去手段によりノイズ除去処理が行われた画像に対する階調変換処理を行う階調変換手段とを備える撮像装置であって、
前記ノイズ除去手段は、
前記画像から低周波成分を抽出する低周波成分抽出手段と、
前記画像から高周波成分を抽出する高周波成分抽出手段と、
前記画像の信号に対して該信号のレベルよりもレベルが高い側を正側、レベルが低い側を負側と定める場合において、
前記低周波成分抽出手段により抽出された低周波成分のレベルに応じて、前記正側のノイズに対するノイズ除去量である正側ノイズ除去量と、前記負側のノイズに対するノイズ除去量である負側ノイズ除去量とを算出するノイズ除去量算出手段と、
前記高周波成分抽出手段により抽出された高周波成分に対して、前記ノイズ除去量算出手段により算出された前記正側ノイズ除去量及び前記負側ノイズ除去量に基づいてコアリング処理を行うコアリング手段と、
前記コアリング手段によりコアリング処理が行われた高周波成分と、前記低周波成分抽出手段により抽出された低周波成分とを合成する合成手段とを備えることを特徴とする撮像装置。
【請求項２】
前記正側ノイズ除去量及び負側ノイズ除去量は、前記コアリング処理におけるそれぞれのコアリング係数であって、
前記ノイズ除去量算出手段は、
前記ノイズ除去手段によりノイズ除去処理が行われた画像に対して前記階調変換手段による階調変換処理を行った後に該画像に残る残留ノイズ量が、前記正側及び負側それぞれにおいて前記低周波成分のレベルに依らず一定となるように前記各コアリング係数を算出することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記固体撮像素子による撮像により得られる画像は、複数の異なる特性を有する複数特性画像であって、
前記ノイズ除去手段は、
前記複数特性画像における複数の異なる特性の画像を１種類の特性の画像に統一する変換処理を行う特性変換手段をさらに備え、
当該特性変換手段による変換処理によって前記複数特性画像を特性が統一された統一特性画像に変換した後、該統一特性画像に対する前記ノイズ除去処理を行うことを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
前記固体撮像素子による撮像により得られる画像は、複数の異なる特性を有する複数特性画像であって、
前記ノイズ除去手段は、
前記複数特性画像における複数の異なる特性の画像を１種類の特性の画像に統一する変換処理を行う特性変換手段をさらに備え、
前記複数特性画像に対する前記ノイズ除去処理を行った後、前記特性変換手段による変換処理によって前記複数特性画像を特性が統一された統一特性画像に変換することを特徴とする請求項１又は２に記載の撮像装置。
【請求項５】
前記固体撮像素子は、入射光量に対して電気信号が線形的に変換されて出力される線形光電変換特性と、該入射光量に対して電気信号が対数的に変換されて出力される対数光電変換特性とからなる光電変換特性を有するものであって、
前記複数特性画像は、線形特性の画像と対数特性の画像とからなる線形／対数画像であることを特徴とする請求項３又は４に記載の撮像装置。
【請求項６】
前記固体撮像素子は、入射光量に対して電気信号が線形的に変換されて出力される第１の線形光電変換特性と、該第１の線形光電変換特性とグラフ上の傾きが異なる第２の線形光電変換特性とからなる光電変換特性を有するものであって、
前記複数特性画像は、２種類の線形特性の画像からなる線形／線形画像であることを特徴とする請求項３又は４に記載の撮像装置。
【請求項７】
前記特性変換手段は、前記複数特性画像を線形特性の画像に統一する変換処理を行うことを特徴とする請求項５又は６に記載の撮像装置。
【請求項８】
前記ノイズ除去量算出手段は、前記低周波成分のレベルに応じて与えられる、前記階調変換手段による階調変換処理としてのダイナミックレンジ圧縮処理におけるダイナミックレンジ圧縮率（ｋ）と、既定値として与えられる前記画像のノイズ量（ｎ）及び前記残留ノイズ量（ｒ）とから前記各コアリング係数を算出することを特徴とする請求項２に記載の撮像装置。
【請求項９】
前記ノイズ除去量算出手段は、前記ダイナミックレンジ圧縮率を「１」としてコアリング係数を算出することを特徴とする請求項８に記載の撮像装置。
【請求項１０】
前記ノイズ除去手段は、
前記固体撮像素子による撮像により得られる画像からエッジ量を検出するエッジ量検出手段と、
前記エッジ量検出手段により検出されたエッジ量に基づいて、前記コアリング処理におけるコアリングの度合いを調整する調整手段とをさらに備えることを特徴とする請求項１〜９のいずれかに記載の撮像装置。
【請求項１】
複数の異なる光電変換特性を有する固体撮像素子と、
前記固体撮像素子による撮像により得られる画像に対するノイズ除去処理を行うノイズ除去手段と、
前記ノイズ除去手段によりノイズ除去処理が行われた画像に対する階調変換処理を行う階調変換手段とを備える撮像装置であって、
前記ノイズ除去手段は、
前記画像から低周波成分を抽出する低周波成分抽出手段と、
前記画像から高周波成分を抽出する高周波成分抽出手段と、
前記画像の信号に対して該信号のレベルよりもレベルが高い側を正側、レベルが低い側を負側と定める場合において、
前記低周波成分抽出手段により抽出された低周波成分のレベルに応じて、前記正側のノイズに対するノイズ除去量である正側ノイズ除去量と、前記負側のノイズに対するノイズ除去量である負側ノイズ除去量とを算出するノイズ除去量算出手段と、
前記高周波成分抽出手段により抽出された高周波成分に対して、前記ノイズ除去量算出手段により算出された前記正側ノイズ除去量及び前記負側ノイズ除去量に基づいてコアリング処理を行うコアリング手段と、
前記コアリング手段によりコアリング処理が行われた高周波成分と、前記低周波成分抽出手段により抽出された低周波成分とを合成する合成手段とを備えることを特徴とする撮像装置。
【請求項２】
前記正側ノイズ除去量及び負側ノイズ除去量は、前記コアリング処理におけるそれぞれのコアリング係数であって、
前記ノイズ除去量算出手段は、
前記ノイズ除去手段によりノイズ除去処理が行われた画像に対して前記階調変換手段による階調変換処理を行った後に該画像に残る残留ノイズ量が、前記正側及び負側それぞれにおいて前記低周波成分のレベルに依らず一定となるように前記各コアリング係数を算出することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記固体撮像素子による撮像により得られる画像は、複数の異なる特性を有する複数特性画像であって、
前記ノイズ除去手段は、
前記複数特性画像における複数の異なる特性の画像を１種類の特性の画像に統一する変換処理を行う特性変換手段をさらに備え、
当該特性変換手段による変換処理によって前記複数特性画像を特性が統一された統一特性画像に変換した後、該統一特性画像に対する前記ノイズ除去処理を行うことを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
前記固体撮像素子による撮像により得られる画像は、複数の異なる特性を有する複数特性画像であって、
前記ノイズ除去手段は、
前記複数特性画像における複数の異なる特性の画像を１種類の特性の画像に統一する変換処理を行う特性変換手段をさらに備え、
前記複数特性画像に対する前記ノイズ除去処理を行った後、前記特性変換手段による変換処理によって前記複数特性画像を特性が統一された統一特性画像に変換することを特徴とする請求項１又は２に記載の撮像装置。
【請求項５】
前記固体撮像素子は、入射光量に対して電気信号が線形的に変換されて出力される線形光電変換特性と、該入射光量に対して電気信号が対数的に変換されて出力される対数光電変換特性とからなる光電変換特性を有するものであって、
前記複数特性画像は、線形特性の画像と対数特性の画像とからなる線形／対数画像であることを特徴とする請求項３又は４に記載の撮像装置。
【請求項６】
前記固体撮像素子は、入射光量に対して電気信号が線形的に変換されて出力される第１の線形光電変換特性と、該第１の線形光電変換特性とグラフ上の傾きが異なる第２の線形光電変換特性とからなる光電変換特性を有するものであって、
前記複数特性画像は、２種類の線形特性の画像からなる線形／線形画像であることを特徴とする請求項３又は４に記載の撮像装置。
【請求項７】
前記特性変換手段は、前記複数特性画像を線形特性の画像に統一する変換処理を行うことを特徴とする請求項５又は６に記載の撮像装置。
【請求項８】
前記ノイズ除去量算出手段は、前記低周波成分のレベルに応じて与えられる、前記階調変換手段による階調変換処理としてのダイナミックレンジ圧縮処理におけるダイナミックレンジ圧縮率（ｋ）と、既定値として与えられる前記画像のノイズ量（ｎ）及び前記残留ノイズ量（ｒ）とから前記各コアリング係数を算出することを特徴とする請求項２に記載の撮像装置。
【請求項９】
前記ノイズ除去量算出手段は、前記ダイナミックレンジ圧縮率を「１」としてコアリング係数を算出することを特徴とする請求項８に記載の撮像装置。
【請求項１０】
前記ノイズ除去手段は、
前記固体撮像素子による撮像により得られる画像からエッジ量を検出するエッジ量検出手段と、
前記エッジ量検出手段により検出されたエッジ量に基づいて、前記コアリング処理におけるコアリングの度合いを調整する調整手段とをさらに備えることを特徴とする請求項１〜９のいずれかに記載の撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２００８−８５６３３（Ｐ２００８−８５６３３Ａ）
【公開日】平成２０年４月１０日（２００８．４．１０）
【国際特許分類】
【出願番号】特願２００６−２６３０２５（Ｐ２００６−２６３０２５）
【出願日】平成１８年９月２７日（２００６．９．２７）
【出願人】（０００００１２７０）コニカミノルタホールディングス株式会社 (4,463)
【Ｆターム（参考）】
【公開日】平成２０年４月１０日（２００８．４．１０）
【国際特許分類】
【出願日】平成１８年９月２７日（２００６．９．２７）
【出願人】（０００００１２７０）コニカミノルタホールディングス株式会社 (4,463)
【Ｆターム（参考）】
[ Back to top ]