画像処理装置
【課題】センサーノイズを含む画像を処理する場合に適した階調空間を提供する。
【解決手段】画像を構成する全ての画素位置において全色成分（ＲＧＢ）の信号値を得るために、不足する色成分の信号値を補間する処理を以下のように線形階調空間からオフセット付き平方根階調空間に変換して行う。すなわち、線形階調信号ｘに対して撮像素子に設定されているＩＳＯ感度に比例するオフセットεを加え、オフセット後の(ｘ＋ε)を１／２乗のガンマ空間へ変換する。したがって、誤差伝播則によってガンマ変換後の信号値に含まれる誤差は全階調にわたって均等になる。オフセット付き平方根階調空間を示す曲線２３は、単なる平方根階調空間を示す曲線と比べると線形入力信号値が小さい領域（たとえば、０＜ｘ＜０．１）において傾きが急峻とならない。
【解決手段】画像を構成する全ての画素位置において全色成分（ＲＧＢ）の信号値を得るために、不足する色成分の信号値を補間する処理を以下のように線形階調空間からオフセット付き平方根階調空間に変換して行う。すなわち、線形階調信号ｘに対して撮像素子に設定されているＩＳＯ感度に比例するオフセットεを加え、オフセット後の(ｘ＋ε)を１／２乗のガンマ空間へ変換する。したがって、誤差伝播則によってガンマ変換後の信号値に含まれる誤差は全階調にわたって均等になる。オフセット付き平方根階調空間を示す曲線２３は、単なる平方根階調空間を示す曲線と比べると線形入力信号値が小さい領域（たとえば、０＜ｘ＜０．１）において傾きが急峻とならない。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ノイズを含む画像、とくに、撮像素子のノイズを含む画像を処理する場合に適した階調空間を利用する画像処理技術に関する。
【背景技術】
【０００２】
例えば、ベイア配列のような色配列を有するカラーフィルタを通して撮像され、その色成分がサブサンプリングされた画像を補間してカラー画像に復元する処理においては、補間処理を行うための階調空間がいくつか提案されている。特許文献１には、Ｇ色成分を線形階調で単純平均した後、Ｒ色、Ｇ色、Ｂ色の各色成分を対数階調空間へ変換し、この階調空間でＲ色成分およびＢ色成分をＧ色成分との差分をとることにより色差面で補間する技術が開示されている。また、特許文献２には、補間処理以降の圧縮処理、およびディスプレイ表示等の処理に合わせて、色成分信号をあらかじめΓ＝２．４のガンマ空間(Ｒ1/
Γ,Ｇ1/Γ,Ｂ1/Γ)へ変換し、このガンマ空間で補間処理等の画像処理を一本化して行う
ことによって階調変換の繰り返しに伴う量子化誤差を抑える技術が開示されている。特許文献３には、色成分信号を平方根特性のガンマ空間に変換し、このガンマ空間で補間処理を行うことによって画像に含まれているショットノイズの影響を抑えて鮮明な画像を得る技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】米国特許第４６４２６７８号明細書
【特許文献２】米国特許第５１７２２２７号明細書
【特許文献３】特開２００４−７１６４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述した階調空間はいずれも画像に含まれるダークノイズによる影響を受けやすく、撮像素子で生じる暗電流ノイズに関連したノイズを多く含む画像に対して補間処理を行うと、これらのダークノイズを増幅してしまい、復元後の画質を損ねてしまうおそれがあった。とくに、ＩＳＯ感度を高めて（たとえば、ＩＳＯ１６００相当以上）撮像された画像に対して補間処理を行う場合には問題となりやすい。画質劣化の例として、補間処理後の画像の赤地領域に黒点が発生することがあげられる。また、補間処理に限らず撮像素子を用いて取得した画像を処理するとき、一般にこれらセンサーノイズの影響を受ける。そこで本件は、センサーノイズを含む画像を処理する場合に適した階調空間を提供する。
【課題を解決するための手段】
【０００５】
請求項１に記載の画像処理装置は、入力色空間における画像信号を画像処理空間における画像信号に変換し、変換後の画像信号を用いて所定の画像処理を行い、画像処理後の画像信号を出力色空間の画像信号に変換する画像処理装置は、前記入力色空間から画像処理空間への変換過程において、各画素が受光量に比例した信号で表された線形階調の画像信号の各々を、前記画像処理空間における非線形階調の画像信号に変換する第１の階調変換部と、前記第１の階調変換部による階調変換後の複数画素の画像信号を用いて、前記所定の画像処理を行う画像処理部と、前記画像処理部による画像処理後の画像信号を、前記出力色空間への変換過程において、線形階調の画像信号に変換する第２の階調変換部と、画像の撮像時に撮像素子に設定されていた撮像感度に応じて、前記非線形階調の特性を変化させるように、前記第１の階調変換部を制御する制御部と、を備えることを特徴とする。
請求項２に記載の画像処理装置は、請求項１に記載の画像処理装置において、前記画像
処理空間は、ノイズが均等な均等ノイズ空間であることを特徴とする。
請求項３に記載の画像処理装置は、請求項１に記載の画像処理装置において、前記画像処理部は、前記第１の階調変換部による階調変換後の複数画素の画像信号を用いて、第１の画像を第２の画像に変換する処理を行うことを特徴とする。
請求項４に記載の画像処理装置は、請求項１に記載の画像処理装置において、前記入力色空間における画像信号は、各画素に少なくとも１つの色成分信号を有した複数種類の色成分信号からなり、それぞれが受光量に比例した信号で表される線形階調の画像信号であり、前記画像処理部は、前記第１の階調変換部による階調変換後の複数画素の画像信号を用いて、各画素に少なくとも１つの共通した色成分信号を生成する処理を行うことを特徴とする。
請求項５に記載の画像処理装置は、請求項１に記載の画像処理装置において、前記制御部は、前記撮像感度が低いほど低輝度側の階調特性の曲率を大きくし、前記撮像感度が高いほど低輝度側の階調特性の曲率を小さくするように、前記第１の階調変換部を制御することを特徴とする。
請求項６に記載の画像処理装置は、請求項１に記載の画像処理装置において、前記制御部は、前記撮像感度が低いほど、前記非線形階調特性が平方根階調特性に近づくように、前記第１の階調変換部を制御することを特徴とする。
請求項７に記載の画像処理装置は、請求項４に記載の画像処理装置において、前記画像処理部は、前記各画素に共通した色成分信号を、少なくとも２種類の色成分信号を用いて生成することを特徴とする。
請求項８に記載の画像処理装置は、請求項７に記載の画像処理装置において、前記画像処理部は、前記第１の階調変換部による階調変換後の複数画素の非線形色成分信号を用いて少なくとも２方向について類似度を算出し、各方向についての類似度間の差異を所定の閾値と比較することによって前記各方向についての類似性の強弱を判定し、この判定結果を用いて、前記各画素に共通した色成分信号を生成することを特徴とする。
請求項９に記載の画像処理装置は、請求項１に記載の画像処理装置において、前記第１の階調変換部は、前記入力色空間における画像信号が前記線形階調とは異なる画像信号で表されている場合、一旦、線形階調の画像信号に変換する処理を行ってから、前記非線形階調の画像信号に変換することを特徴とする。
請求項１０に記載の画像処理装置は、請求項１に記載の画像処理装置において、前記画像処理部が行う所定の画像処理には、ノイズ除去処理およびエッジ強調処理の少なくとも１つが含まれることを特徴とする。
上記階調変換部は、階調変換手段と置き換えてもよい。
上記制御部は、制御手段と置き換えてもよい。
【発明の効果】
【０００６】
本発明によれば、撮像素子に起因するノイズが含まれる画像であっても、当該ノイズの影響を受けにくい階調空間を利用して画像処理を行うことができる。
【図面の簡単な説明】
【０００７】
【図１】ベイア配列を示す図である。
【図２】本発明による画像補間処理の流れを説明するフローチャートである。
【図３】プログラムの提供形態を説明する図である。
【図４】Ｇ色補間を行う場合の画素位置を説明する図である。
【図５】Ｇ色補間を行う場合の画素位置を説明する図である。
【図６】Ｒ色補間を行う場合の画素位置を説明する図である。
【図７】Ｒ色補間を行う場合の画素位置を説明する図である。
【図８】Ｂ色補間を行う場合の画素位置を説明する図である。
【図９】Ｂ色補間を行う場合の画素位置を説明する図である。
【図１０】撮像素子の信号特性を説明する図である。
【図１１】均等ノイズ空間を説明する模式図である。
【図１２】各階調空間の入出力特性を示す図である。
【図１３】各階調空間の入出力特性を示す図である。
【図１４】第二の実施形態による画像処理の流れを説明するフローチャートである。
【図１５】ハイパスフィルタ処理を説明する図である。
【図１６】ローパスフィルタ処理を説明する図である。
【発明を実施するための形態】
【０００８】
以下、本発明を実施するための最良の形態について説明する。
（第一の実施形態）
第一の実施形態では、Ｒ（赤）、Ｇ（緑）、Ｂ（青）がベイア配列されたカラーフィルタを通して撮像された画像に対して補間処理を行う画像処理を例にあげて説明する。この場合の画像の色はＲＧＢ表色系で示される。
【０００９】
図１は、ベイア配列を示す図である。このようなカラーフィルタを備える撮像素子から出力される画像信号は、１画素当たりＲＧＢのうちいずれか１つの色成分の情報を有する。すなわち、Ｒ色フィルタに対応する画素からはＲ色の情報が出力され、Ｇ色フィルタに対応する画素からはＧ色の情報が出力され、Ｂ色フィルタに対応する画素からはＢ色の情報が出力される。Ｒ色フィルタに対応する画素情報を例にとれば、Ｒ成分の情報だけでＧ成分、Ｂ成分の情報がない。このため、画像を構成する全ての画素位置においてＲＧＢ全色分の情報を得るためには、各画素位置において不足する色成分の情報を補間処理によって算出する必要がある。
【００１０】
図２は、本発明による画像補間処理の流れを説明するフローチャートである。本実施形態では、図２による処理を行うプログラムを図３に示すコンピュータ装置１００に実行させることにより、画像処理装置を提供する。プログラムをパーソナルコンピュータ１００に取込む場合には、パーソナルコンピュータ１００のデータストレージ装置にプログラムをローディングした上で当該プログラムを実行させることにより、画像処理装置として使用する。
【００１１】
プログラムのローディングは、プログラムを格納したＣＤ−ＲＯＭなどの記録媒体１０４をパーソナルコンピュータ１００にセットして行ってもよいし、ネットワークなどの通信回線１０１を経由する方法でパーソナルコンピュータ１００へローディングしてもよい。ネットワーク１０１を経由する場合は、ネットワーク１０１に接続されたサーバコンピュータ１０２のハードディスク装置１０３などにプログラムを格納しておく。このように、プログラムは記録媒体１０４や通信回線１０１を介する提供などの種々の形態のコンピュータプログラム製品として供給される。
【００１２】
図２のステップＳ１において、コンピュータ装置１００（図３）のＣＰＵは、線形階調空間で表された画像信号（ベイア信号）を入力してステップＳ２へ進む。具体的には、補間処理の対象とする画像データをワークエリアに読み出す。このとき、各色成分がガンマ補正された階調空間で表されている場合には、ガンマ補正前の線形階調空間における信号値へ戻す。
【００１３】
ステップＳ２において、ＣＰＵは、画像を構成する全画素に対応する画像信号に対してそれぞれオフセット処理を行ってステップＳ３へ進む。具体的には、次式（１）で示すように、画素位置[i,j]で示される画素に対応する信号値Ｘ[i,j]にオフセットΛを加え、オフセット処理後の信号値Ｘ'[i,j]を得る。
Ｘ'[i,j]＝Ｘ[i,j]＋Λ （１）
ただし、オフセットΛは撮影時に撮像素子に対して設定されていた撮像感度（以後ＩＳＯ
感度と呼ぶ）に応じて決定する。たとえば、ＩＳＯ６４００相当の場合にはΛ＝０．０５Ｘmaxに、ＩＳＯ１６００相当の場合にはΛ＝０．０２Ｘmaxに、ＩＳＯ２００相当以下ではΛ＝０にする。Ｘmaxは、入力される画像信号Ｘの階調数の最大値（すなわち、フルス
ケール値）である。すなわち、線形入力階調信号Ｘの範囲は０≦Ｘ≦Ｘmaxである。本実
施形態では、Ｒ成分、Ｇ成分、およびＢ成分に対して共通のオフセットΛを加える。
【００１４】
ステップＳ３において、ＣＰＵは、オフセット処理後の信号値Ｘ'[i,j]に対して次式（２）による平方根階調空間へのガンマ補正を行ってステップＳ４へ進む。ガンマ補正後の平方根階調空間は、補間処理用の空間である。
Ｙ＝Ｙmax×√(Ｘ'／Ｘmax) （２）
ただし、階調変換後の信号Ｙの範囲は０≦Ｙ≦Ｙmaxである。
【００１５】
ステップＳ４において、ＣＰＵは以下のように補間処理を行う。ここで、Ｒ成分の色情報を有する画素をＲ画素、Ｂ成分の色情報を有する画素をＢ画素、Ｇ成分の色情報を有する画素をＧ画素と呼び、補間処理用の空間における画素位置[i,j]で示される画素に対応
するＲ成分の信号値をＲ[i,j]、Ｇ成分の信号値をＧ[i,j]、Ｂ成分の信号値をＢ[i,j]で
表すことにする。
【００１６】
（方向判定）
ＣＰＵは、画素位置[i,j]で示されるＧ画素でない画素（Ｒ画素もしくはＢ画素）に関
して、縦方向の類似度CvＮ[i,j]、および横方向の類似度ChＮ[i,j]をそれぞれ次式（３）、（４）により算出する。
【００１７】
【数１】
ただし、Z［i,j］は画素位置［i,j］で示されるＲ成分またはＢ成分の信号値である。
【００１８】
上式(３)、(４)における第１項の絶対値は、Ｇ色成分同士で比較して大まかな方向性を検出するものである。上式(３)、(４)の第２項および第３項の絶対値は、第１項では検出できない細かな類似性を検出するものである。ＣＰＵは、上式(３)、(４)により得られた縦方向の類似度および横方向の類似度を各座標ごとに算出し、対象とする座標［i,j］に
おける縦横の類似度に基づいて次式（５）により類似性の方向を判定する。
【００１９】
【数２】
ただし、Thは信号値に含まれるノイズによる誤判定を避けるために用いられる判定閾値であり、上記ＩＳＯ感度に応じて変化させる。HV［i,j］は画素位置［i,j］に関する類似性の方向を示し、HV［i,j］=0の場合は縦横両方向類似、HV［i,j］=1の場合は縦方向類似、HV［i,j］=-1の場合は横方向類似である。
【００２０】
（Ｇ補間）
ＣＰＵは、判定した類似方向に基づき、Ｒ成分もしくはＢ成分の凸凹情報を利用してＧ成分の補間を行う。Ｇ色補間は、たとえば図４で示される中央のＲ画素の位置［i,j］に
対して、縦方向類似の場合は次式(６)および（９）により算出し、横方向類似の場合は次式(７)および（１０）により算出する。Ｂ画素の位置に対してＧ色補間を行う場合の画素
位置は図５によって示される。
【００２１】
【数３】
ただし、Z［i,j］は画素位置［i,j］で示されるＲ成分またはＢ成分の信号値である。
【００２２】
上式(９)における第１項は、画素位置［i,j］に対して縦に並ぶＧ成分の信号値Ｇ［i,j-1］およびＧ［i,j+1］から算出される平均値を表す。上式(９)における第２項は、縦に
並ぶＲ成分の信号値Ｒ［i,j］、Ｒ［i,j-2］およびＲ［i,j+2］から算出される変化量を
表す。Ｇ成分の信号値の平均値にＲ成分の信号値の変化量を加えることにより、Ｇ成分の補間値Ｇ［i,j］が得られる。このような補間をＧ成分の内分点以外も予測可能なことか
ら、便宜的に外挿補間と呼ぶことにする。
【００２３】
上式(１０)は、上述した縦方向の外挿補間の場合と同様に、画素位置［i,j］に対して
横に並ぶ画素の信号値を用いて横方向に外挿補間を行うものである。
【００２４】
ＣＰＵは、類似の方向が縦横両方向と分類されている場合は、上式(９)および(１０)によりＧ色補間値をそれぞれ算出し、算出された２つのＧ色補間値の平均をとってＧ色補間値とする。
【００２５】
（Ｒ補間）
Ｒ色補間は、たとえば図６で示されるＲ画素の位置［i,j］以外の画素位置［i+1,j］、［i,j+1］、［i+1,j+1］に対して、それぞれ次式(１１)〜(１３)により算出される。このとき、上述したＧ補間により得られた全ての画素位置に対応するＧ成分信号値（図７）の凸凹情報が利用される。
【００２６】
【数４】
【００２７】
上式(１１)〜(１３)における第１項は、Ｒ成分補間の対象とする座標に隣接するＲ成分信号値から算出される平均値を表し、上式(１１)〜(１３)における第２項は、Ｒ成分補間の対象とする座標およびこの座標に隣接するＧ成分信号値から算出される変化量を表す。すなわち、Ｇ補間で行われた外挿補間と同様に、Ｒ成分信号値の平均値にＧ成分の信号値の変化量を加えてＲ成分の補間値を得る。これは、Ｒ位置で色差Ｃｒ＝Ｒ−Ｇを生成し、この色差面内で平均補間する方式と等価である。
【００２８】
（Ｂ補間）
Ｂ成分補間についてもＲ成分と同様に補間処理を行う。たとえば図８で示されるＢ画素の位置［i,j］以外の画素位置［i+1,j］、［i,j+1］、［i+1,j+1］に対して、それぞれ次式(１４)〜(１６)により算出される。このとき、上述したＧ補間により得られた全ての画
素位置に対応するＧ成分信号値（図９）の凸凹情報が利用される。
【００２９】
【数５】
【００３０】
上式(１４)〜(１６)によれば、Ｂ成分信号値の平均値にＧ成分の信号値の変化量を加えてＢ成分の補間値を得る。これは、Ｂ位置で色差Ｃｂ＝Ｂ−Ｇを生成し、この色差面内で平均補間する方式と等価である。Ｒ成分およびＢ成分は、Ｇ成分に比べてサンプル周波数が低いので、色差Ｒ−Ｇ、色差Ｂ−Ｇを利用してＧ成分信号値が有する高周波数成分を反映させる。よって、このようなクロマ成分に対する補間を便宜的に色差補間と呼ぶことにする。
【００３１】
以上説明した補間処理により、全画素位置に対応したＧ成分、Ｒ成分、およびＢ成分の３色分の信号値を有する画像が復元される。ＣＰＵは、補間処理を終了するとステップＳ５へ進む。
【００３２】
ステップＳ５において、ＣＰＵは、画像復元後の信号値Ｙ＝Ｒ,Ｇ,Ｂに対して次式（１７）による線形階調空間への逆ガンマ補正を行ってステップＳ６へ進む。
Ｘ'＝Ｘmax×(Ｙ／Ｙmax)2 （１７）
ただし、Ｘ'＝Ｒout',Ｇout',Ｂout'を表す。
【００３３】
ステップＳ６において、ＣＰＵは、全画素に対応する画像信号に対してそれぞれ逆オフセット処理を行ってステップＳ７へ進む。具体的には、次式（１８）で示すように、画素位置[i,j]で示される画素に対応する信号値Ｘ'[i,j]からオフセットΛを減じ、逆オフセ
ット処理後の信号値Ｘ[i,j]を得る。
Ｘ[i,j]＝Ｘ'[i,j]−Λ （１８）
ただし、Ｘ＝Ｒout,Ｇout,Ｂoutを表す。
【００３４】
ステップＳ７において、ＣＰＵは、復元後の画像、すなわち、線形階調空間で表された画像信号（ＲＧＢ信号）を出力して図２による処理を終了する。ＣＰＵは、このＲＧＢ信号に対して最終的なガンマ補正（たとえば、使用する表示モニタに適した補正）や色調整（ユーザーにより指示された調整やデバイスインディペンデントな色空間に変換するための調整）などを必要に応じて行う。
【００３５】
（オフセット付き平方根変換による均等ノイズ空間）
上述した補間処理用の空間について、さらに詳細に説明する。一般に、撮像素子から出力される画像信号には種々のノイズが含まれている。ノイズはランダムノイズと固定パターンノイズとに大別され、ランダムノイズはさらに、ショットノイズとダークノイズとに分類される。
【００３６】
固定パターンノイズは、撮像素子の製造プロセスにおいて発生する開口ムラなどに起因する素子固有のノイズである。ショットノイズおよびダークノイズは、撮像素子の画素を構成するフォトダイオードなどの光電変換素子の特性に起因するノイズである。ショットノイズはフォトンの揺らぎによって生じするノイズであり、入射光量の平方根に比例して増加する。ダークノイズは暗電流ノイズを含み、入射光量に無関係に生じるとともに、アナログゲインに比例して増加する。アナログゲインは、ＩＳＯ感度を決定するパラメータ
である。
【００３７】
図１０は、撮像素子の信号特性を説明する図である。両対数スケールで表された図１０において、横軸は撮像面照度を、縦軸は信号の電子数をそれぞれ表す。直線１１は光信号を表し、入射光量に比例して光信号（電子数）が増加することを示している。直線１２は光ショットノイズを表し、入射光量の１／２乗に比例してノイズ（電子数）が増加することを示している。直線１３はダークノイズを表し、入射光量にかかわらずノイズ（電子数）が存在することを示している。
【００３８】
階調変換時に影響を及ぼすダークノイズ、ショットノイズに着目すると、トータルノイズδｘは次式（１９）で表される。
δｘ＝√(Ｎｓ2＋Ｎｄ2) （１９）
ただし、Ｎｓはショットノイズ、Ｎｄはダークノイズである。ｘはＡ／Ｄ変換直後の信号レベルであり、既にアナログゲインによって増幅されている。また、ｘは便宜上入力される信号の階調数の最大値（すなわち、フルスケール値）で除して規格化されているものとする。
【００３９】
ショットノイズおよびダークノイズは、それぞれ次式（２０）および（２１）のようにモデル化できる。
Ｎｓ(ｇ)＝ｍｓ×√(ｇ×ｘ) （２０）
Ｎｄ(ｇ)＝ｍｄ×ｇ＋ｎｄ （２１）
ただし、ｍおよびｎはノイズモデルのパラメータ、ｇはアナログゲイン（すなわち、撮像素子に対して設定されているＩＳＯ感度）である。
【００４０】
上式（２０）および（２１）によるノイズモデルを式（１９）へ代入し、パラメータを簡略な形式に再定義すると次式（２２）が得られる。
δｘ＝２α(ｇ)×√(ｘ＋β(ｇ)) （２２）
【００４１】
一方、上述したオフセット処理（ステップＳ２）後の平方根ガンマ処理（ステップＳ３）によって変換された補間処理用の空間（オフセット付き平方根階調空間と呼ぶ）は、次式（２３）で表される。
ｙ＝√(ｘ＋ε) （２３）
ただし、ｘ＝Ｘ／Ｘmax、ｙ＝Ｙ／Ｙmax、εはオフセットΛに対応する（ε＝Λ／Ｘmax
）。
【００４２】
式（２３）の補間用階調空間におけるノイズδｙは、誤差伝播則を用いると次式（２４）で表される。
δｙ＝√((dｙ/dｘ)2×δｘ2) （２４）
式（２４）に上式（２２）および（２３）を代入するとノイズδｙは次式（２５）のように求まる。
δｙ＝α(ｇ)×√((ｘ＋β(ｇ))/(ｘ＋ε)) （２５）
【００４３】
上式（２５）は、ε＝β(ｇ)が成立する場合にノイズδｙが線形入力階調信号の値ｘによらず一定値α(ｇ)となることを示す。つまり、オフセット付き平方根階調空間は、ε＝β(ｇ)が成立する場合に均等ノイズ空間になる。本発明では、オフセット量ε（ステップＳ２のΛ）をＩＳＯ感度に応じて変化させることにより、ε＝β(ｇ)を成立させる。この成立条件の例が、上述したΛ＝０．０５Ｘmax（ＩＳＯ６４００相当）、Λ＝０．０２Ｘmax（ＩＳＯ１６００相当）である。なお、均等ノイズα(ｇ)はＩＳＯ感度に応じて変化する（ここでは増加）ため、上述した判定閾値Thについて、Th∝α(ｇ)の関係を有するように変化させる。
【００４４】
図１１は、均等ノイズ空間を説明する模式図である。図１１において、横軸は線形階調信号の入力値ｘを、縦軸は階調変換後の出力値ｙを示す。曲線２３によって表される出力値ｙには誤差δｙが重畳し、この誤差δｙは入力値ｘの値によらず常に一定値α(ｇ)である。つまり、均等ノイズ空間ではノイズの揺らぎ幅が画像の明るさ（入力値の大きさ）によらず常に一定になる。
【００４５】
（平方根階調空間との比較）
図１２は、線形階調空間、平方根階調空間、およびオフセット付き平方根階調空間におけるそれぞれの入出力特性を示す図である。図１２において、横軸は線形階調信号入力値ｘを、縦軸は階調変換後の出力値ｙをそれぞれ表す。直線２１は線形変換時の入出力特性を、曲線２２は平方根空間への入出力特性を、曲線２３はオフセット付き平方根空間への入出力特性を、それぞれ示す。曲線２２によれば、ダークノイズが支配的となる線形入力値が小さい領域（たとえば、０＜ｘ＜０．１）、すなわち、低輝度領域において傾きが急峻になる。このため、入力値にノイズによる揺らぎが生じると、入力側で生じた揺らぎより大きく増幅された揺らぎが出力される。
【００４６】
平方根階調空間で発生する揺らぎの増幅によって生じる画質劣化について説明する。Ｒ成分補間を例にとれば、Ｇ補間により得られたＧ成分信号値の凸凹情報を利用してＲ成分を補間するので、補間されたＲ成分信号値はＧ成分信号値に含まれるノイズ揺らぎの影響を受ける。補間されたＲ成分信号値に含まれるノイズδＲinterpolatedは、誤差伝播則を用いると次式（２６）で表される。
【００４７】
【数６】
ただし、各誤差項の前につく偏微分係数は１程度の値なので省略している。
【００４８】
赤地の画像の場合、Ｒ画素で得られる信号値は大きく、補間されるＧ成分信号値は小さい。上述したように、平方根階調空間（曲線２２）では暗い（線形入力値が小さい）ところでノイズが増幅されるので、大きなＲ成分の信号値に重畳するノイズδＲBayerに比べ
て小さなＧ成分信号値に重畳するノイズδＧinterpolatedは非常に大きな値になる。この結果、補間されるＲ成分信号値のノイズδＲinterpolatedがノイズδＧinterpolatedによって大きく振られた場合には当該Ｒ成分信号値が０付近まで小さく落ち込むので、この信号値は赤地の中の黒点として表現されてしまう。このように、単なる平方根階調空間で補間処理を行うと、Ｒ、Ｇ、Ｂそれぞれの明るさに依存してδＲBayerとδＧinterpolated
とが振れてしまう。
【００４９】
これに対して、オフセット付き平方根階調空間（曲線２３）では、ダークノイズが支配的となる領域（たとえば、０＜ｘ＜０．１）でも傾きが急峻にならない。したがって、赤地の画像の場合に小さなＧ成分信号値に重畳するノイズδＧinterpolatedが大きな値にならないため、補間されたＲ成分信号値に含まれるノイズδＲinterpolatedが振られることがなくなり、赤地の中に黒点が生じることがなくなる。
【００５０】
以上説明した第一の実施形態によれば、次の作用効果が得られる。
（１）画像を構成する全ての画素位置において全色成分（上記の例ではＲＧＢ）の信号値を得るために、不足する色成分の信号値を補間する処理を以下のように線形階調空間からオフセット付き平方根階調空間に変換して行う。すなわち、線形階調信号ｘに対して撮像素子に設定されているＩＳＯ感度の関数として表されるオフセットε（ε＝β(ＩＳＯ感
度））を加え、オフセット後の(ｘ＋ε)を１／２乗のガンマ空間へ変換する。したがって
、誤差伝播則によってガンマ変換後の信号値に含まれる誤差は、オフセットεを付加してからガンマ補正するので全階調にわたって均等になる。全階調にわたって均等化されたノイズの揺らぎ幅をＩＳＯ感度毎のノイズプロファイルとして１つの代表値で表し、この代表値に応じて方向判定閾値Th（Th∝(ＩＳＯ感度））を定める結果、補間処理時の方向判
定精度が高まると同時に、補間後（画像復元後）の画像の色鮮明性が向上するという、平方根特性が有する高画質な画像復元の性質をも継承できる。
【００５１】
（２）上記（１）に加えて、オフセット付き平方根階調空間を示す曲線２３は、単なる平方根階調空間を示す曲線２２と比べると線形入力信号値が小さい領域（たとえば、０＜ｘ＜０．１）において傾きが急峻とならない。この結果、線形入力値に生じたノイズより大きく増幅されたノイズが出力され、増幅されたノイズで画像復元後の画質が劣化するという平方根階調空間で補間処理を行う場合に生じる問題を解消できる。とくに、ダークノイズが多く含まれる状態（撮像素子の感度をＩＳＯ１６００相当〜６４００相当に高めた場合や、撮像素子を構成する光電変換素子の暗電流が大きい場合）において顕著な効果が得られる。
【００５２】
（３）上記（１）および（２）により、線形階調空間で生じやすい暗部との色境界での滲みが無く、鮮明で、かつ平方根階調空間より曲がり（曲率）が強いガンマ空間や対数空間で生じやすい色境界での黒筋・黒縁の発生がない高画質な復元画像が得られる。
【００５３】
上述した説明では、ベイア配列のカラーフィルタを例に説明したが、デルタ配列をはじめとする他のフィルタ配列の場合にも適用できる。
【００５４】
上記の説明で行った補間処理（画像復元）は一例であり、他の補間方式による処理を行ってもよい。たとえば、米国特許出願公開第２００２／０００１４０９号明細書に記載されている多色外挿補間、国際公開ＷＯ０２／０７１７６１号パンフレットに記載のＹ方式補間、米国特許第５５５２８２７号明細書に記載の色比補間または色差・外挿補間、特開２００３−３４８６０８号公報に記載のデルタ配列補間などである。
【００５５】
以上の説明では、カラーフィルタを介して単板式撮像素子で撮像される画像について説明したが、２板式撮像素子で撮像される画像に対して適用してもよい。
【００５６】
上述したオフセット値Λ＝０．０５Ｘmax（ＩＳＯ６４００相当）、Λ＝０．０２Ｘmax（ＩＳＯ１６００相当）は一例であり、設定されているアナログゲイン、周囲温度、実際のノイズの状態に応じて適宜変更してよい。
【００５７】
上記の説明では、Ｒ成分、Ｇ成分、およびＢ成分に対して共通のオフセットΛを加えるようにした。この代わりに、各成分に対してそれぞれ異なるオフセットを加えるようにしてもよい。
【００５８】
上述したオフセット処理（ステップＳ２）および平方根ガンマ補正処理（ステップＳ３）を補間用ガンマ補正処理として纏めて行うようにしてもよい。
【００５９】
上述した逆ガンマ補正処理（ステップＳ５）および逆オフセット処理（ステップＳ６）を逆ガンマ補正処理として纏めて行うようにしてもよい。
【００６０】
補間用ガンマ補正処理として纏めて行う場合、次式（２７）で表される補間処理用空間へ変換してもよい。
【００６１】
【数７】
ただし、ｘ＝Ｘ／Ｘmax、ｙ＝Ｙ／Ｙmax、εはオフセットΛに対応する（ε＝Λ／Ｘmax
）。
【００６２】
式（２７）の補間用階調空間におけるノイズδｙは、誤差伝播則を用いると次式（２８）で表される。上式（２８）にε＝β(ｇ)を代入するとノイズδｙは式（２９）で表され、補間用階調空間はε＝β(ｇ)が成立する場合に均等ノイズ空間になる。
【００６３】
図１３は、線形階調空間、平方根階調空間、および式（２７）による補間用階調空間におけるそれぞれの入出力特性を示す図である。図１３において、横軸は線形階調信号入力値ｘを、縦軸は階調変換後の出力値ｙをそれぞれ表す。直線２１および曲線２２は図１２と同一であり、それぞれ線形変換時の入出力特性、および平方根空間への入出力特性を示す。曲線３１は補間用階調空間への入出力特性を示す。曲線３１は、原点を通る点が図１２の曲線２３と異なっている。この様な補間用階調空間を用いて画像復元処理を行う場合にも、図１２の曲線２３が示すオフセット付き平方根階調空間を用いる場合と同様に、高画質な画像復元を行うことができる。
【００６４】
オフセット付き平方根階調空間（曲線２３）の代わりに、撮像素子に設定されているＩＳＯ感度に応じて曲率が異なる曲線によって示される階調空間を用いてもよい。この場合には、ＩＳＯ感度が低いほど曲率を大きく、ＩＳＯ感度が高いほど曲率を小さくする。曲率を大きくするには平方根特性（曲線）に近づければよく、曲率を小さくするには、線形特性（直線）に近づければよい。このような階調空間は、たとえば、線形特性（直線）＋平方根特性（曲線）で構成される入出力特性を有する空間、Γ＝１．６７のガンマ空間などによって与えられる。
【００６５】
（第二の実施形態）
第一の実施形態では均等ノイズ空間（オフセット付き平方根階調空間（もしくは補間処理用空間））で補間処理を行って画像を復元する画像処理装置について説明した。均等ノイズ空間は、補間処理以外の他の処理を行う場合にも有効である。第二の実施形態では、均等ノイズ空間において画像の平坦部（変化がない部分）を検出し、検出した平坦部に対してぼかし処理を行う場合について説明する。
【００６６】
図１４は、第二の実施形態による画像処理の流れを説明するフローチャートである。図１４のステップＳ１１において、コンピュータ装置１００（図３）のＣＰＵは、線形階調空間で表された画像信号を入力してステップＳ２へ進む。画像信号は、たとえば、モノクロ単板画像、３板式カラー画像、および第一の実施形態による補間処理で得られた補間済みカラー画像などである。
【００６７】
ステップＳ２およびステップＳ３は、図２における同一ステップ番号の処理と同一なので説明を省略する。
【００６８】
ステップＳ１４において、ＣＰＵは画像処理（この場合は平坦部検出処理およびぼかし処理）を行う。
（平坦部検出）
入力された画像信号がモノクロ画像の場合を例にすると、ＣＰＵは次式（３０）および図１５によって示される高周波数成分の抽出（ハイパスフィルタ処理）を行う。
【００６９】
【数８】
ただし、注目画素は図１５において中心に位置する画素とし、式（３０）におけるΔはラプラシアン演算子を表す。
【００７０】
ＣＰＵは、上式(３０)により得られた高周波数成分に基づいて次式（３１）により平坦度を判定する。
【００７１】
【数９】
ただし、σThは信号に含まれるノイズによる誤判定を避けるために用いられる判定閾値であり、σTh∝α（ｇ）の関係を有する。ＣＰＵは、上式（３１）で１が得られる場合に画像が平坦であると判定し、０が得られる場合には平坦でないと判定する。
【００７２】
（ぼかし処理）
ＣＰＵは、上式(３１)により得られた判定結果に基づいて次式（３２）および図１６によって示されるローパスフィルタ処理を行う。この処理により、高周波数成分が除去されてぼかし効果が得られる。ＣＰＵは、ローパスフィルタ処理（ぼかし処理）を終了すると図１４のステップＳ５へ進む。
【００７３】
【数１０】
【００７４】
ステップＳ５およびステップＳ６は、図２における同一ステップ番号の処理と同一なので説明を省略する。
【００７５】
ステップＳ１７において、ＣＰＵは、補正処理後の画像、すなわち、線形階調空間で表された画像信号を出力して図１４による処理を終了する。
【００７６】
以上説明した第二の実施形態によれば、均等ノイズ空間を利用することにより全階調にわたってＩＳＯ感度毎のノイズプロファイルを１つの代表値（α（ｇ））で表すことができ、この代表値に応じて平坦部検出時の判定閾値σTh（σTh∝α（ｇ））を定めることが
できるので、画像の平坦部検出を極めて簡略に、かつ正確に抽出することができる。このように抽出した平坦部に対してぼかし処理を行うので、画像の明るさによって特性の異なるノイズの影響を受けてぼかし処理を施したり施さなかったりすることがなくなり、全階調にわたって適切にぼかし処理を行うことができる。
【００７７】
上式（３２）によるＬＰＦ（ローパスフィルタ）処理の代わりにＢＰＦ（バンドパスフィルタ）処理を行うことにより、エッジ強調を行う構成にしてもよい。ただし、この場合は平坦部でない領域にかけるのが望ましい。
【００７８】
（第三の実施形態）
第三の実施形態では、均等ノイズ空間においてカラー画像の輝度面、色差面のそれぞれにノイズ除去処理を行う場合について説明する。
【００７９】
図１４のステップＳ１１において、ＣＰＵは、線形階調空間で表された補間済みカラー画像信号を入力してステップＳ２へ進む。ステップＳ２およびステップＳ３は、図２における同一ステップ番号の処理と同一なので説明を省略する。
【００８０】
ステップＳ１４において、ＣＰＵは画像処理（この場合は色空間変換（ＲＧＢ→ＹＣｂＣｒ）処理、ノイズ除去処理および色空間変換（ＹＣｂＣｒ→ＲＧＢ）処理）を行う。ＣＰＵは、たとえば、３×３マトリクス係数を用いた周知の色空間変換処理を施すことによって画像信号を色空間（ＲＧＢ）から色空間（ＹＣｂＣｒ）へ変換する。ＣＰＵはさらに、変換後の輝度信号Ｙ、色差信号ＣｂおよびＣｒのそれぞれに対して次式（３３）によるノイズ除去処理（この例ではガウスぼかし処理）を行う。
【００８１】
【数１１】
ただし、ｘは２次元平面内の注目画素、ｘ'はその近傍画素を示す。平滑化の加重係数を
閾値σTh（σTh∝α（ｇ））に対する画素値差分｜Ａ（ｘ）−Ａ（ｘ'）｜の変化比に応
じて決定するため、ＹＣｂＣｒ各面がノイズ揺らぎの大きさに応じてぼかし処理される。すなわち、平坦部では信号はＡ（ｘ'）≒Ａ（ｘ）であってもＡ（ｘ'）＝Ａ（ｘ）±σTh程度の揺らぎをもっており、この程度に揺らぐ似たような信号領域は平滑化対象領域となり、エッジ部などの構造が異なる領域は｜Ａ（ｘ'）−Ａ（ｘ）｜≫σThとなるので平滑
化対象領域からはずれることになる。なお、平滑化の積分範囲は７×７画素や１５×１５画素といったように目的に応じて任意に設定してよい。ＣＰＵは、上記ガウスぼかし処理を終了すると色空間（ＹＣｂＣｒ）から色空間（ＲＧＢ）に変換した後、図１４のステップＳ５へ進む。
【００８２】
ステップＳ５およびステップＳ６は、図２における同一ステップ番号の処理と同一なので説明を省略する。
【００８３】
ステップＳ１７において、ＣＰＵは画像処理後の画像、すなわち、線形階調空間で表された画像信号を出力して図１４による処理を終了する。
【００８４】
以上説明した第三の実施形態によれば、均等ノイズ空間を利用することにより全階調に
わたってＩＳＯ感度毎のノイズプロファイルを１つの代表値で表すことができ、この代表値に応じてガウスぼかし処理における信号差分に基づいた平滑化加重係数の割合を定めるので、画像の明るさによって特性の異なるノイズの影響を受けてガウスぼかし処理の程度が変化することがなくなり、ガウスぼかし処理が非常に行いやすくなる。また、全階調にわたって抜群のノイズ除去効果を得ることができる。
【００８５】
上記色差面に対するノイズ除去処理は、色まだらや色モアレの抑制に効果が得られる。また、上記輝度面に対するノイズ除去処理は、ざらつきを抑える効果が得られる。
【００８６】
上述した説明では、輝度および色差に対して共通の閾値σThを用いてノイズ除去処理を行うようにしたが、それぞれ異なるパラメータを用いて独立した処理を行うようにしてもよい。また、色差面に対する処理だけを行ってもよいし、輝度面に対する処理だけを行ってもよい。
【００８７】
以上の説明では種々の実施形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も、本発明の範囲内に含まれる。
【００８８】
次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
日本国特許出願２００４年第２００８９０号（２００４年７月７日出願）
【技術分野】
【０００１】
本発明は、ノイズを含む画像、とくに、撮像素子のノイズを含む画像を処理する場合に適した階調空間を利用する画像処理技術に関する。
【背景技術】
【０００２】
例えば、ベイア配列のような色配列を有するカラーフィルタを通して撮像され、その色成分がサブサンプリングされた画像を補間してカラー画像に復元する処理においては、補間処理を行うための階調空間がいくつか提案されている。特許文献１には、Ｇ色成分を線形階調で単純平均した後、Ｒ色、Ｇ色、Ｂ色の各色成分を対数階調空間へ変換し、この階調空間でＲ色成分およびＢ色成分をＧ色成分との差分をとることにより色差面で補間する技術が開示されている。また、特許文献２には、補間処理以降の圧縮処理、およびディスプレイ表示等の処理に合わせて、色成分信号をあらかじめΓ＝２．４のガンマ空間(Ｒ1/
Γ,Ｇ1/Γ,Ｂ1/Γ)へ変換し、このガンマ空間で補間処理等の画像処理を一本化して行う
ことによって階調変換の繰り返しに伴う量子化誤差を抑える技術が開示されている。特許文献３には、色成分信号を平方根特性のガンマ空間に変換し、このガンマ空間で補間処理を行うことによって画像に含まれているショットノイズの影響を抑えて鮮明な画像を得る技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】米国特許第４６４２６７８号明細書
【特許文献２】米国特許第５１７２２２７号明細書
【特許文献３】特開２００４−７１６４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述した階調空間はいずれも画像に含まれるダークノイズによる影響を受けやすく、撮像素子で生じる暗電流ノイズに関連したノイズを多く含む画像に対して補間処理を行うと、これらのダークノイズを増幅してしまい、復元後の画質を損ねてしまうおそれがあった。とくに、ＩＳＯ感度を高めて（たとえば、ＩＳＯ１６００相当以上）撮像された画像に対して補間処理を行う場合には問題となりやすい。画質劣化の例として、補間処理後の画像の赤地領域に黒点が発生することがあげられる。また、補間処理に限らず撮像素子を用いて取得した画像を処理するとき、一般にこれらセンサーノイズの影響を受ける。そこで本件は、センサーノイズを含む画像を処理する場合に適した階調空間を提供する。
【課題を解決するための手段】
【０００５】
請求項１に記載の画像処理装置は、入力色空間における画像信号を画像処理空間における画像信号に変換し、変換後の画像信号を用いて所定の画像処理を行い、画像処理後の画像信号を出力色空間の画像信号に変換する画像処理装置は、前記入力色空間から画像処理空間への変換過程において、各画素が受光量に比例した信号で表された線形階調の画像信号の各々を、前記画像処理空間における非線形階調の画像信号に変換する第１の階調変換部と、前記第１の階調変換部による階調変換後の複数画素の画像信号を用いて、前記所定の画像処理を行う画像処理部と、前記画像処理部による画像処理後の画像信号を、前記出力色空間への変換過程において、線形階調の画像信号に変換する第２の階調変換部と、画像の撮像時に撮像素子に設定されていた撮像感度に応じて、前記非線形階調の特性を変化させるように、前記第１の階調変換部を制御する制御部と、を備えることを特徴とする。
請求項２に記載の画像処理装置は、請求項１に記載の画像処理装置において、前記画像
処理空間は、ノイズが均等な均等ノイズ空間であることを特徴とする。
請求項３に記載の画像処理装置は、請求項１に記載の画像処理装置において、前記画像処理部は、前記第１の階調変換部による階調変換後の複数画素の画像信号を用いて、第１の画像を第２の画像に変換する処理を行うことを特徴とする。
請求項４に記載の画像処理装置は、請求項１に記載の画像処理装置において、前記入力色空間における画像信号は、各画素に少なくとも１つの色成分信号を有した複数種類の色成分信号からなり、それぞれが受光量に比例した信号で表される線形階調の画像信号であり、前記画像処理部は、前記第１の階調変換部による階調変換後の複数画素の画像信号を用いて、各画素に少なくとも１つの共通した色成分信号を生成する処理を行うことを特徴とする。
請求項５に記載の画像処理装置は、請求項１に記載の画像処理装置において、前記制御部は、前記撮像感度が低いほど低輝度側の階調特性の曲率を大きくし、前記撮像感度が高いほど低輝度側の階調特性の曲率を小さくするように、前記第１の階調変換部を制御することを特徴とする。
請求項６に記載の画像処理装置は、請求項１に記載の画像処理装置において、前記制御部は、前記撮像感度が低いほど、前記非線形階調特性が平方根階調特性に近づくように、前記第１の階調変換部を制御することを特徴とする。
請求項７に記載の画像処理装置は、請求項４に記載の画像処理装置において、前記画像処理部は、前記各画素に共通した色成分信号を、少なくとも２種類の色成分信号を用いて生成することを特徴とする。
請求項８に記載の画像処理装置は、請求項７に記載の画像処理装置において、前記画像処理部は、前記第１の階調変換部による階調変換後の複数画素の非線形色成分信号を用いて少なくとも２方向について類似度を算出し、各方向についての類似度間の差異を所定の閾値と比較することによって前記各方向についての類似性の強弱を判定し、この判定結果を用いて、前記各画素に共通した色成分信号を生成することを特徴とする。
請求項９に記載の画像処理装置は、請求項１に記載の画像処理装置において、前記第１の階調変換部は、前記入力色空間における画像信号が前記線形階調とは異なる画像信号で表されている場合、一旦、線形階調の画像信号に変換する処理を行ってから、前記非線形階調の画像信号に変換することを特徴とする。
請求項１０に記載の画像処理装置は、請求項１に記載の画像処理装置において、前記画像処理部が行う所定の画像処理には、ノイズ除去処理およびエッジ強調処理の少なくとも１つが含まれることを特徴とする。
上記階調変換部は、階調変換手段と置き換えてもよい。
上記制御部は、制御手段と置き換えてもよい。
【発明の効果】
【０００６】
本発明によれば、撮像素子に起因するノイズが含まれる画像であっても、当該ノイズの影響を受けにくい階調空間を利用して画像処理を行うことができる。
【図面の簡単な説明】
【０００７】
【図１】ベイア配列を示す図である。
【図２】本発明による画像補間処理の流れを説明するフローチャートである。
【図３】プログラムの提供形態を説明する図である。
【図４】Ｇ色補間を行う場合の画素位置を説明する図である。
【図５】Ｇ色補間を行う場合の画素位置を説明する図である。
【図６】Ｒ色補間を行う場合の画素位置を説明する図である。
【図７】Ｒ色補間を行う場合の画素位置を説明する図である。
【図８】Ｂ色補間を行う場合の画素位置を説明する図である。
【図９】Ｂ色補間を行う場合の画素位置を説明する図である。
【図１０】撮像素子の信号特性を説明する図である。
【図１１】均等ノイズ空間を説明する模式図である。
【図１２】各階調空間の入出力特性を示す図である。
【図１３】各階調空間の入出力特性を示す図である。
【図１４】第二の実施形態による画像処理の流れを説明するフローチャートである。
【図１５】ハイパスフィルタ処理を説明する図である。
【図１６】ローパスフィルタ処理を説明する図である。
【発明を実施するための形態】
【０００８】
以下、本発明を実施するための最良の形態について説明する。
（第一の実施形態）
第一の実施形態では、Ｒ（赤）、Ｇ（緑）、Ｂ（青）がベイア配列されたカラーフィルタを通して撮像された画像に対して補間処理を行う画像処理を例にあげて説明する。この場合の画像の色はＲＧＢ表色系で示される。
【０００９】
図１は、ベイア配列を示す図である。このようなカラーフィルタを備える撮像素子から出力される画像信号は、１画素当たりＲＧＢのうちいずれか１つの色成分の情報を有する。すなわち、Ｒ色フィルタに対応する画素からはＲ色の情報が出力され、Ｇ色フィルタに対応する画素からはＧ色の情報が出力され、Ｂ色フィルタに対応する画素からはＢ色の情報が出力される。Ｒ色フィルタに対応する画素情報を例にとれば、Ｒ成分の情報だけでＧ成分、Ｂ成分の情報がない。このため、画像を構成する全ての画素位置においてＲＧＢ全色分の情報を得るためには、各画素位置において不足する色成分の情報を補間処理によって算出する必要がある。
【００１０】
図２は、本発明による画像補間処理の流れを説明するフローチャートである。本実施形態では、図２による処理を行うプログラムを図３に示すコンピュータ装置１００に実行させることにより、画像処理装置を提供する。プログラムをパーソナルコンピュータ１００に取込む場合には、パーソナルコンピュータ１００のデータストレージ装置にプログラムをローディングした上で当該プログラムを実行させることにより、画像処理装置として使用する。
【００１１】
プログラムのローディングは、プログラムを格納したＣＤ−ＲＯＭなどの記録媒体１０４をパーソナルコンピュータ１００にセットして行ってもよいし、ネットワークなどの通信回線１０１を経由する方法でパーソナルコンピュータ１００へローディングしてもよい。ネットワーク１０１を経由する場合は、ネットワーク１０１に接続されたサーバコンピュータ１０２のハードディスク装置１０３などにプログラムを格納しておく。このように、プログラムは記録媒体１０４や通信回線１０１を介する提供などの種々の形態のコンピュータプログラム製品として供給される。
【００１２】
図２のステップＳ１において、コンピュータ装置１００（図３）のＣＰＵは、線形階調空間で表された画像信号（ベイア信号）を入力してステップＳ２へ進む。具体的には、補間処理の対象とする画像データをワークエリアに読み出す。このとき、各色成分がガンマ補正された階調空間で表されている場合には、ガンマ補正前の線形階調空間における信号値へ戻す。
【００１３】
ステップＳ２において、ＣＰＵは、画像を構成する全画素に対応する画像信号に対してそれぞれオフセット処理を行ってステップＳ３へ進む。具体的には、次式（１）で示すように、画素位置[i,j]で示される画素に対応する信号値Ｘ[i,j]にオフセットΛを加え、オフセット処理後の信号値Ｘ'[i,j]を得る。
Ｘ'[i,j]＝Ｘ[i,j]＋Λ （１）
ただし、オフセットΛは撮影時に撮像素子に対して設定されていた撮像感度（以後ＩＳＯ
感度と呼ぶ）に応じて決定する。たとえば、ＩＳＯ６４００相当の場合にはΛ＝０．０５Ｘmaxに、ＩＳＯ１６００相当の場合にはΛ＝０．０２Ｘmaxに、ＩＳＯ２００相当以下ではΛ＝０にする。Ｘmaxは、入力される画像信号Ｘの階調数の最大値（すなわち、フルス
ケール値）である。すなわち、線形入力階調信号Ｘの範囲は０≦Ｘ≦Ｘmaxである。本実
施形態では、Ｒ成分、Ｇ成分、およびＢ成分に対して共通のオフセットΛを加える。
【００１４】
ステップＳ３において、ＣＰＵは、オフセット処理後の信号値Ｘ'[i,j]に対して次式（２）による平方根階調空間へのガンマ補正を行ってステップＳ４へ進む。ガンマ補正後の平方根階調空間は、補間処理用の空間である。
Ｙ＝Ｙmax×√(Ｘ'／Ｘmax) （２）
ただし、階調変換後の信号Ｙの範囲は０≦Ｙ≦Ｙmaxである。
【００１５】
ステップＳ４において、ＣＰＵは以下のように補間処理を行う。ここで、Ｒ成分の色情報を有する画素をＲ画素、Ｂ成分の色情報を有する画素をＢ画素、Ｇ成分の色情報を有する画素をＧ画素と呼び、補間処理用の空間における画素位置[i,j]で示される画素に対応
するＲ成分の信号値をＲ[i,j]、Ｇ成分の信号値をＧ[i,j]、Ｂ成分の信号値をＢ[i,j]で
表すことにする。
【００１６】
（方向判定）
ＣＰＵは、画素位置[i,j]で示されるＧ画素でない画素（Ｒ画素もしくはＢ画素）に関
して、縦方向の類似度CvＮ[i,j]、および横方向の類似度ChＮ[i,j]をそれぞれ次式（３）、（４）により算出する。
【００１７】
【数１】
ただし、Z［i,j］は画素位置［i,j］で示されるＲ成分またはＢ成分の信号値である。
【００１８】
上式(３)、(４)における第１項の絶対値は、Ｇ色成分同士で比較して大まかな方向性を検出するものである。上式(３)、(４)の第２項および第３項の絶対値は、第１項では検出できない細かな類似性を検出するものである。ＣＰＵは、上式(３)、(４)により得られた縦方向の類似度および横方向の類似度を各座標ごとに算出し、対象とする座標［i,j］に
おける縦横の類似度に基づいて次式（５）により類似性の方向を判定する。
【００１９】
【数２】
ただし、Thは信号値に含まれるノイズによる誤判定を避けるために用いられる判定閾値であり、上記ＩＳＯ感度に応じて変化させる。HV［i,j］は画素位置［i,j］に関する類似性の方向を示し、HV［i,j］=0の場合は縦横両方向類似、HV［i,j］=1の場合は縦方向類似、HV［i,j］=-1の場合は横方向類似である。
【００２０】
（Ｇ補間）
ＣＰＵは、判定した類似方向に基づき、Ｒ成分もしくはＢ成分の凸凹情報を利用してＧ成分の補間を行う。Ｇ色補間は、たとえば図４で示される中央のＲ画素の位置［i,j］に
対して、縦方向類似の場合は次式(６)および（９）により算出し、横方向類似の場合は次式(７)および（１０）により算出する。Ｂ画素の位置に対してＧ色補間を行う場合の画素
位置は図５によって示される。
【００２１】
【数３】
ただし、Z［i,j］は画素位置［i,j］で示されるＲ成分またはＢ成分の信号値である。
【００２２】
上式(９)における第１項は、画素位置［i,j］に対して縦に並ぶＧ成分の信号値Ｇ［i,j-1］およびＧ［i,j+1］から算出される平均値を表す。上式(９)における第２項は、縦に
並ぶＲ成分の信号値Ｒ［i,j］、Ｒ［i,j-2］およびＲ［i,j+2］から算出される変化量を
表す。Ｇ成分の信号値の平均値にＲ成分の信号値の変化量を加えることにより、Ｇ成分の補間値Ｇ［i,j］が得られる。このような補間をＧ成分の内分点以外も予測可能なことか
ら、便宜的に外挿補間と呼ぶことにする。
【００２３】
上式(１０)は、上述した縦方向の外挿補間の場合と同様に、画素位置［i,j］に対して
横に並ぶ画素の信号値を用いて横方向に外挿補間を行うものである。
【００２４】
ＣＰＵは、類似の方向が縦横両方向と分類されている場合は、上式(９)および(１０)によりＧ色補間値をそれぞれ算出し、算出された２つのＧ色補間値の平均をとってＧ色補間値とする。
【００２５】
（Ｒ補間）
Ｒ色補間は、たとえば図６で示されるＲ画素の位置［i,j］以外の画素位置［i+1,j］、［i,j+1］、［i+1,j+1］に対して、それぞれ次式(１１)〜(１３)により算出される。このとき、上述したＧ補間により得られた全ての画素位置に対応するＧ成分信号値（図７）の凸凹情報が利用される。
【００２６】
【数４】
【００２７】
上式(１１)〜(１３)における第１項は、Ｒ成分補間の対象とする座標に隣接するＲ成分信号値から算出される平均値を表し、上式(１１)〜(１３)における第２項は、Ｒ成分補間の対象とする座標およびこの座標に隣接するＧ成分信号値から算出される変化量を表す。すなわち、Ｇ補間で行われた外挿補間と同様に、Ｒ成分信号値の平均値にＧ成分の信号値の変化量を加えてＲ成分の補間値を得る。これは、Ｒ位置で色差Ｃｒ＝Ｒ−Ｇを生成し、この色差面内で平均補間する方式と等価である。
【００２８】
（Ｂ補間）
Ｂ成分補間についてもＲ成分と同様に補間処理を行う。たとえば図８で示されるＢ画素の位置［i,j］以外の画素位置［i+1,j］、［i,j+1］、［i+1,j+1］に対して、それぞれ次式(１４)〜(１６)により算出される。このとき、上述したＧ補間により得られた全ての画
素位置に対応するＧ成分信号値（図９）の凸凹情報が利用される。
【００２９】
【数５】
【００３０】
上式(１４)〜(１６)によれば、Ｂ成分信号値の平均値にＧ成分の信号値の変化量を加えてＢ成分の補間値を得る。これは、Ｂ位置で色差Ｃｂ＝Ｂ−Ｇを生成し、この色差面内で平均補間する方式と等価である。Ｒ成分およびＢ成分は、Ｇ成分に比べてサンプル周波数が低いので、色差Ｒ−Ｇ、色差Ｂ−Ｇを利用してＧ成分信号値が有する高周波数成分を反映させる。よって、このようなクロマ成分に対する補間を便宜的に色差補間と呼ぶことにする。
【００３１】
以上説明した補間処理により、全画素位置に対応したＧ成分、Ｒ成分、およびＢ成分の３色分の信号値を有する画像が復元される。ＣＰＵは、補間処理を終了するとステップＳ５へ進む。
【００３２】
ステップＳ５において、ＣＰＵは、画像復元後の信号値Ｙ＝Ｒ,Ｇ,Ｂに対して次式（１７）による線形階調空間への逆ガンマ補正を行ってステップＳ６へ進む。
Ｘ'＝Ｘmax×(Ｙ／Ｙmax)2 （１７）
ただし、Ｘ'＝Ｒout',Ｇout',Ｂout'を表す。
【００３３】
ステップＳ６において、ＣＰＵは、全画素に対応する画像信号に対してそれぞれ逆オフセット処理を行ってステップＳ７へ進む。具体的には、次式（１８）で示すように、画素位置[i,j]で示される画素に対応する信号値Ｘ'[i,j]からオフセットΛを減じ、逆オフセ
ット処理後の信号値Ｘ[i,j]を得る。
Ｘ[i,j]＝Ｘ'[i,j]−Λ （１８）
ただし、Ｘ＝Ｒout,Ｇout,Ｂoutを表す。
【００３４】
ステップＳ７において、ＣＰＵは、復元後の画像、すなわち、線形階調空間で表された画像信号（ＲＧＢ信号）を出力して図２による処理を終了する。ＣＰＵは、このＲＧＢ信号に対して最終的なガンマ補正（たとえば、使用する表示モニタに適した補正）や色調整（ユーザーにより指示された調整やデバイスインディペンデントな色空間に変換するための調整）などを必要に応じて行う。
【００３５】
（オフセット付き平方根変換による均等ノイズ空間）
上述した補間処理用の空間について、さらに詳細に説明する。一般に、撮像素子から出力される画像信号には種々のノイズが含まれている。ノイズはランダムノイズと固定パターンノイズとに大別され、ランダムノイズはさらに、ショットノイズとダークノイズとに分類される。
【００３６】
固定パターンノイズは、撮像素子の製造プロセスにおいて発生する開口ムラなどに起因する素子固有のノイズである。ショットノイズおよびダークノイズは、撮像素子の画素を構成するフォトダイオードなどの光電変換素子の特性に起因するノイズである。ショットノイズはフォトンの揺らぎによって生じするノイズであり、入射光量の平方根に比例して増加する。ダークノイズは暗電流ノイズを含み、入射光量に無関係に生じるとともに、アナログゲインに比例して増加する。アナログゲインは、ＩＳＯ感度を決定するパラメータ
である。
【００３７】
図１０は、撮像素子の信号特性を説明する図である。両対数スケールで表された図１０において、横軸は撮像面照度を、縦軸は信号の電子数をそれぞれ表す。直線１１は光信号を表し、入射光量に比例して光信号（電子数）が増加することを示している。直線１２は光ショットノイズを表し、入射光量の１／２乗に比例してノイズ（電子数）が増加することを示している。直線１３はダークノイズを表し、入射光量にかかわらずノイズ（電子数）が存在することを示している。
【００３８】
階調変換時に影響を及ぼすダークノイズ、ショットノイズに着目すると、トータルノイズδｘは次式（１９）で表される。
δｘ＝√(Ｎｓ2＋Ｎｄ2) （１９）
ただし、Ｎｓはショットノイズ、Ｎｄはダークノイズである。ｘはＡ／Ｄ変換直後の信号レベルであり、既にアナログゲインによって増幅されている。また、ｘは便宜上入力される信号の階調数の最大値（すなわち、フルスケール値）で除して規格化されているものとする。
【００３９】
ショットノイズおよびダークノイズは、それぞれ次式（２０）および（２１）のようにモデル化できる。
Ｎｓ(ｇ)＝ｍｓ×√(ｇ×ｘ) （２０）
Ｎｄ(ｇ)＝ｍｄ×ｇ＋ｎｄ （２１）
ただし、ｍおよびｎはノイズモデルのパラメータ、ｇはアナログゲイン（すなわち、撮像素子に対して設定されているＩＳＯ感度）である。
【００４０】
上式（２０）および（２１）によるノイズモデルを式（１９）へ代入し、パラメータを簡略な形式に再定義すると次式（２２）が得られる。
δｘ＝２α(ｇ)×√(ｘ＋β(ｇ)) （２２）
【００４１】
一方、上述したオフセット処理（ステップＳ２）後の平方根ガンマ処理（ステップＳ３）によって変換された補間処理用の空間（オフセット付き平方根階調空間と呼ぶ）は、次式（２３）で表される。
ｙ＝√(ｘ＋ε) （２３）
ただし、ｘ＝Ｘ／Ｘmax、ｙ＝Ｙ／Ｙmax、εはオフセットΛに対応する（ε＝Λ／Ｘmax
）。
【００４２】
式（２３）の補間用階調空間におけるノイズδｙは、誤差伝播則を用いると次式（２４）で表される。
δｙ＝√((dｙ/dｘ)2×δｘ2) （２４）
式（２４）に上式（２２）および（２３）を代入するとノイズδｙは次式（２５）のように求まる。
δｙ＝α(ｇ)×√((ｘ＋β(ｇ))/(ｘ＋ε)) （２５）
【００４３】
上式（２５）は、ε＝β(ｇ)が成立する場合にノイズδｙが線形入力階調信号の値ｘによらず一定値α(ｇ)となることを示す。つまり、オフセット付き平方根階調空間は、ε＝β(ｇ)が成立する場合に均等ノイズ空間になる。本発明では、オフセット量ε（ステップＳ２のΛ）をＩＳＯ感度に応じて変化させることにより、ε＝β(ｇ)を成立させる。この成立条件の例が、上述したΛ＝０．０５Ｘmax（ＩＳＯ６４００相当）、Λ＝０．０２Ｘmax（ＩＳＯ１６００相当）である。なお、均等ノイズα(ｇ)はＩＳＯ感度に応じて変化する（ここでは増加）ため、上述した判定閾値Thについて、Th∝α(ｇ)の関係を有するように変化させる。
【００４４】
図１１は、均等ノイズ空間を説明する模式図である。図１１において、横軸は線形階調信号の入力値ｘを、縦軸は階調変換後の出力値ｙを示す。曲線２３によって表される出力値ｙには誤差δｙが重畳し、この誤差δｙは入力値ｘの値によらず常に一定値α(ｇ)である。つまり、均等ノイズ空間ではノイズの揺らぎ幅が画像の明るさ（入力値の大きさ）によらず常に一定になる。
【００４５】
（平方根階調空間との比較）
図１２は、線形階調空間、平方根階調空間、およびオフセット付き平方根階調空間におけるそれぞれの入出力特性を示す図である。図１２において、横軸は線形階調信号入力値ｘを、縦軸は階調変換後の出力値ｙをそれぞれ表す。直線２１は線形変換時の入出力特性を、曲線２２は平方根空間への入出力特性を、曲線２３はオフセット付き平方根空間への入出力特性を、それぞれ示す。曲線２２によれば、ダークノイズが支配的となる線形入力値が小さい領域（たとえば、０＜ｘ＜０．１）、すなわち、低輝度領域において傾きが急峻になる。このため、入力値にノイズによる揺らぎが生じると、入力側で生じた揺らぎより大きく増幅された揺らぎが出力される。
【００４６】
平方根階調空間で発生する揺らぎの増幅によって生じる画質劣化について説明する。Ｒ成分補間を例にとれば、Ｇ補間により得られたＧ成分信号値の凸凹情報を利用してＲ成分を補間するので、補間されたＲ成分信号値はＧ成分信号値に含まれるノイズ揺らぎの影響を受ける。補間されたＲ成分信号値に含まれるノイズδＲinterpolatedは、誤差伝播則を用いると次式（２６）で表される。
【００４７】
【数６】
ただし、各誤差項の前につく偏微分係数は１程度の値なので省略している。
【００４８】
赤地の画像の場合、Ｒ画素で得られる信号値は大きく、補間されるＧ成分信号値は小さい。上述したように、平方根階調空間（曲線２２）では暗い（線形入力値が小さい）ところでノイズが増幅されるので、大きなＲ成分の信号値に重畳するノイズδＲBayerに比べ
て小さなＧ成分信号値に重畳するノイズδＧinterpolatedは非常に大きな値になる。この結果、補間されるＲ成分信号値のノイズδＲinterpolatedがノイズδＧinterpolatedによって大きく振られた場合には当該Ｒ成分信号値が０付近まで小さく落ち込むので、この信号値は赤地の中の黒点として表現されてしまう。このように、単なる平方根階調空間で補間処理を行うと、Ｒ、Ｇ、Ｂそれぞれの明るさに依存してδＲBayerとδＧinterpolated
とが振れてしまう。
【００４９】
これに対して、オフセット付き平方根階調空間（曲線２３）では、ダークノイズが支配的となる領域（たとえば、０＜ｘ＜０．１）でも傾きが急峻にならない。したがって、赤地の画像の場合に小さなＧ成分信号値に重畳するノイズδＧinterpolatedが大きな値にならないため、補間されたＲ成分信号値に含まれるノイズδＲinterpolatedが振られることがなくなり、赤地の中に黒点が生じることがなくなる。
【００５０】
以上説明した第一の実施形態によれば、次の作用効果が得られる。
（１）画像を構成する全ての画素位置において全色成分（上記の例ではＲＧＢ）の信号値を得るために、不足する色成分の信号値を補間する処理を以下のように線形階調空間からオフセット付き平方根階調空間に変換して行う。すなわち、線形階調信号ｘに対して撮像素子に設定されているＩＳＯ感度の関数として表されるオフセットε（ε＝β(ＩＳＯ感
度））を加え、オフセット後の(ｘ＋ε)を１／２乗のガンマ空間へ変換する。したがって
、誤差伝播則によってガンマ変換後の信号値に含まれる誤差は、オフセットεを付加してからガンマ補正するので全階調にわたって均等になる。全階調にわたって均等化されたノイズの揺らぎ幅をＩＳＯ感度毎のノイズプロファイルとして１つの代表値で表し、この代表値に応じて方向判定閾値Th（Th∝(ＩＳＯ感度））を定める結果、補間処理時の方向判
定精度が高まると同時に、補間後（画像復元後）の画像の色鮮明性が向上するという、平方根特性が有する高画質な画像復元の性質をも継承できる。
【００５１】
（２）上記（１）に加えて、オフセット付き平方根階調空間を示す曲線２３は、単なる平方根階調空間を示す曲線２２と比べると線形入力信号値が小さい領域（たとえば、０＜ｘ＜０．１）において傾きが急峻とならない。この結果、線形入力値に生じたノイズより大きく増幅されたノイズが出力され、増幅されたノイズで画像復元後の画質が劣化するという平方根階調空間で補間処理を行う場合に生じる問題を解消できる。とくに、ダークノイズが多く含まれる状態（撮像素子の感度をＩＳＯ１６００相当〜６４００相当に高めた場合や、撮像素子を構成する光電変換素子の暗電流が大きい場合）において顕著な効果が得られる。
【００５２】
（３）上記（１）および（２）により、線形階調空間で生じやすい暗部との色境界での滲みが無く、鮮明で、かつ平方根階調空間より曲がり（曲率）が強いガンマ空間や対数空間で生じやすい色境界での黒筋・黒縁の発生がない高画質な復元画像が得られる。
【００５３】
上述した説明では、ベイア配列のカラーフィルタを例に説明したが、デルタ配列をはじめとする他のフィルタ配列の場合にも適用できる。
【００５４】
上記の説明で行った補間処理（画像復元）は一例であり、他の補間方式による処理を行ってもよい。たとえば、米国特許出願公開第２００２／０００１４０９号明細書に記載されている多色外挿補間、国際公開ＷＯ０２／０７１７６１号パンフレットに記載のＹ方式補間、米国特許第５５５２８２７号明細書に記載の色比補間または色差・外挿補間、特開２００３−３４８６０８号公報に記載のデルタ配列補間などである。
【００５５】
以上の説明では、カラーフィルタを介して単板式撮像素子で撮像される画像について説明したが、２板式撮像素子で撮像される画像に対して適用してもよい。
【００５６】
上述したオフセット値Λ＝０．０５Ｘmax（ＩＳＯ６４００相当）、Λ＝０．０２Ｘmax（ＩＳＯ１６００相当）は一例であり、設定されているアナログゲイン、周囲温度、実際のノイズの状態に応じて適宜変更してよい。
【００５７】
上記の説明では、Ｒ成分、Ｇ成分、およびＢ成分に対して共通のオフセットΛを加えるようにした。この代わりに、各成分に対してそれぞれ異なるオフセットを加えるようにしてもよい。
【００５８】
上述したオフセット処理（ステップＳ２）および平方根ガンマ補正処理（ステップＳ３）を補間用ガンマ補正処理として纏めて行うようにしてもよい。
【００５９】
上述した逆ガンマ補正処理（ステップＳ５）および逆オフセット処理（ステップＳ６）を逆ガンマ補正処理として纏めて行うようにしてもよい。
【００６０】
補間用ガンマ補正処理として纏めて行う場合、次式（２７）で表される補間処理用空間へ変換してもよい。
【００６１】
【数７】
ただし、ｘ＝Ｘ／Ｘmax、ｙ＝Ｙ／Ｙmax、εはオフセットΛに対応する（ε＝Λ／Ｘmax
）。
【００６２】
式（２７）の補間用階調空間におけるノイズδｙは、誤差伝播則を用いると次式（２８）で表される。上式（２８）にε＝β(ｇ)を代入するとノイズδｙは式（２９）で表され、補間用階調空間はε＝β(ｇ)が成立する場合に均等ノイズ空間になる。
【００６３】
図１３は、線形階調空間、平方根階調空間、および式（２７）による補間用階調空間におけるそれぞれの入出力特性を示す図である。図１３において、横軸は線形階調信号入力値ｘを、縦軸は階調変換後の出力値ｙをそれぞれ表す。直線２１および曲線２２は図１２と同一であり、それぞれ線形変換時の入出力特性、および平方根空間への入出力特性を示す。曲線３１は補間用階調空間への入出力特性を示す。曲線３１は、原点を通る点が図１２の曲線２３と異なっている。この様な補間用階調空間を用いて画像復元処理を行う場合にも、図１２の曲線２３が示すオフセット付き平方根階調空間を用いる場合と同様に、高画質な画像復元を行うことができる。
【００６４】
オフセット付き平方根階調空間（曲線２３）の代わりに、撮像素子に設定されているＩＳＯ感度に応じて曲率が異なる曲線によって示される階調空間を用いてもよい。この場合には、ＩＳＯ感度が低いほど曲率を大きく、ＩＳＯ感度が高いほど曲率を小さくする。曲率を大きくするには平方根特性（曲線）に近づければよく、曲率を小さくするには、線形特性（直線）に近づければよい。このような階調空間は、たとえば、線形特性（直線）＋平方根特性（曲線）で構成される入出力特性を有する空間、Γ＝１．６７のガンマ空間などによって与えられる。
【００６５】
（第二の実施形態）
第一の実施形態では均等ノイズ空間（オフセット付き平方根階調空間（もしくは補間処理用空間））で補間処理を行って画像を復元する画像処理装置について説明した。均等ノイズ空間は、補間処理以外の他の処理を行う場合にも有効である。第二の実施形態では、均等ノイズ空間において画像の平坦部（変化がない部分）を検出し、検出した平坦部に対してぼかし処理を行う場合について説明する。
【００６６】
図１４は、第二の実施形態による画像処理の流れを説明するフローチャートである。図１４のステップＳ１１において、コンピュータ装置１００（図３）のＣＰＵは、線形階調空間で表された画像信号を入力してステップＳ２へ進む。画像信号は、たとえば、モノクロ単板画像、３板式カラー画像、および第一の実施形態による補間処理で得られた補間済みカラー画像などである。
【００６７】
ステップＳ２およびステップＳ３は、図２における同一ステップ番号の処理と同一なので説明を省略する。
【００６８】
ステップＳ１４において、ＣＰＵは画像処理（この場合は平坦部検出処理およびぼかし処理）を行う。
（平坦部検出）
入力された画像信号がモノクロ画像の場合を例にすると、ＣＰＵは次式（３０）および図１５によって示される高周波数成分の抽出（ハイパスフィルタ処理）を行う。
【００６９】
【数８】
ただし、注目画素は図１５において中心に位置する画素とし、式（３０）におけるΔはラプラシアン演算子を表す。
【００７０】
ＣＰＵは、上式(３０)により得られた高周波数成分に基づいて次式（３１）により平坦度を判定する。
【００７１】
【数９】
ただし、σThは信号に含まれるノイズによる誤判定を避けるために用いられる判定閾値であり、σTh∝α（ｇ）の関係を有する。ＣＰＵは、上式（３１）で１が得られる場合に画像が平坦であると判定し、０が得られる場合には平坦でないと判定する。
【００７２】
（ぼかし処理）
ＣＰＵは、上式(３１)により得られた判定結果に基づいて次式（３２）および図１６によって示されるローパスフィルタ処理を行う。この処理により、高周波数成分が除去されてぼかし効果が得られる。ＣＰＵは、ローパスフィルタ処理（ぼかし処理）を終了すると図１４のステップＳ５へ進む。
【００７３】
【数１０】
【００７４】
ステップＳ５およびステップＳ６は、図２における同一ステップ番号の処理と同一なので説明を省略する。
【００７５】
ステップＳ１７において、ＣＰＵは、補正処理後の画像、すなわち、線形階調空間で表された画像信号を出力して図１４による処理を終了する。
【００７６】
以上説明した第二の実施形態によれば、均等ノイズ空間を利用することにより全階調にわたってＩＳＯ感度毎のノイズプロファイルを１つの代表値（α（ｇ））で表すことができ、この代表値に応じて平坦部検出時の判定閾値σTh（σTh∝α（ｇ））を定めることが
できるので、画像の平坦部検出を極めて簡略に、かつ正確に抽出することができる。このように抽出した平坦部に対してぼかし処理を行うので、画像の明るさによって特性の異なるノイズの影響を受けてぼかし処理を施したり施さなかったりすることがなくなり、全階調にわたって適切にぼかし処理を行うことができる。
【００７７】
上式（３２）によるＬＰＦ（ローパスフィルタ）処理の代わりにＢＰＦ（バンドパスフィルタ）処理を行うことにより、エッジ強調を行う構成にしてもよい。ただし、この場合は平坦部でない領域にかけるのが望ましい。
【００７８】
（第三の実施形態）
第三の実施形態では、均等ノイズ空間においてカラー画像の輝度面、色差面のそれぞれにノイズ除去処理を行う場合について説明する。
【００７９】
図１４のステップＳ１１において、ＣＰＵは、線形階調空間で表された補間済みカラー画像信号を入力してステップＳ２へ進む。ステップＳ２およびステップＳ３は、図２における同一ステップ番号の処理と同一なので説明を省略する。
【００８０】
ステップＳ１４において、ＣＰＵは画像処理（この場合は色空間変換（ＲＧＢ→ＹＣｂＣｒ）処理、ノイズ除去処理および色空間変換（ＹＣｂＣｒ→ＲＧＢ）処理）を行う。ＣＰＵは、たとえば、３×３マトリクス係数を用いた周知の色空間変換処理を施すことによって画像信号を色空間（ＲＧＢ）から色空間（ＹＣｂＣｒ）へ変換する。ＣＰＵはさらに、変換後の輝度信号Ｙ、色差信号ＣｂおよびＣｒのそれぞれに対して次式（３３）によるノイズ除去処理（この例ではガウスぼかし処理）を行う。
【００８１】
【数１１】
ただし、ｘは２次元平面内の注目画素、ｘ'はその近傍画素を示す。平滑化の加重係数を
閾値σTh（σTh∝α（ｇ））に対する画素値差分｜Ａ（ｘ）−Ａ（ｘ'）｜の変化比に応
じて決定するため、ＹＣｂＣｒ各面がノイズ揺らぎの大きさに応じてぼかし処理される。すなわち、平坦部では信号はＡ（ｘ'）≒Ａ（ｘ）であってもＡ（ｘ'）＝Ａ（ｘ）±σTh程度の揺らぎをもっており、この程度に揺らぐ似たような信号領域は平滑化対象領域となり、エッジ部などの構造が異なる領域は｜Ａ（ｘ'）−Ａ（ｘ）｜≫σThとなるので平滑
化対象領域からはずれることになる。なお、平滑化の積分範囲は７×７画素や１５×１５画素といったように目的に応じて任意に設定してよい。ＣＰＵは、上記ガウスぼかし処理を終了すると色空間（ＹＣｂＣｒ）から色空間（ＲＧＢ）に変換した後、図１４のステップＳ５へ進む。
【００８２】
ステップＳ５およびステップＳ６は、図２における同一ステップ番号の処理と同一なので説明を省略する。
【００８３】
ステップＳ１７において、ＣＰＵは画像処理後の画像、すなわち、線形階調空間で表された画像信号を出力して図１４による処理を終了する。
【００８４】
以上説明した第三の実施形態によれば、均等ノイズ空間を利用することにより全階調に
わたってＩＳＯ感度毎のノイズプロファイルを１つの代表値で表すことができ、この代表値に応じてガウスぼかし処理における信号差分に基づいた平滑化加重係数の割合を定めるので、画像の明るさによって特性の異なるノイズの影響を受けてガウスぼかし処理の程度が変化することがなくなり、ガウスぼかし処理が非常に行いやすくなる。また、全階調にわたって抜群のノイズ除去効果を得ることができる。
【００８５】
上記色差面に対するノイズ除去処理は、色まだらや色モアレの抑制に効果が得られる。また、上記輝度面に対するノイズ除去処理は、ざらつきを抑える効果が得られる。
【００８６】
上述した説明では、輝度および色差に対して共通の閾値σThを用いてノイズ除去処理を行うようにしたが、それぞれ異なるパラメータを用いて独立した処理を行うようにしてもよい。また、色差面に対する処理だけを行ってもよいし、輝度面に対する処理だけを行ってもよい。
【００８７】
以上の説明では種々の実施形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も、本発明の範囲内に含まれる。
【００８８】
次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
日本国特許出願２００４年第２００８９０号（２００４年７月７日出願）
【特許請求の範囲】
【請求項１】
入力色空間における画像信号を画像処理空間における画像信号に変換し、変換後の画像信号を用いて所定の画像処理を行い、画像処理後の画像信号を出力色空間の画像信号に変換する画像処理装置は、
前記入力色空間から画像処理空間への変換過程において、各画素が受光量に比例した信号で表された線形階調の画像信号の各々を、前記画像処理空間における非線形階調の画像信号に変換する第１の階調変換部と、
前記第１の階調変換部による階調変換後の複数画素の画像信号を用いて、前記所定の画像処理を行う画像処理部と、
前記画像処理部による画像処理後の画像信号を、前記出力色空間への変換過程において、線形階調の画像信号に変換する第２の階調変換部と、
画像の撮像時に撮像素子に設定されていた撮像感度に応じて、前記非線形階調の特性を変化させるように、前記第１の階調変換部を制御する制御部と、を備えることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記画像処理空間は、ノイズが均等な均等ノイズ空間であることを特徴とする画像処理装置。
【請求項３】
請求項１に記載の画像処理装置において、
前記画像処理部は、前記第１の階調変換部による階調変換後の複数画素の画像信号を用いて、第１の画像を第２の画像に変換する処理を行うことを特徴とする画像処理装置。
【請求項４】
請求項１に記載の画像処理装置において、
前記入力色空間における画像信号は、各画素に少なくとも１つの色成分信号を有した複数種類の色成分信号からなり、それぞれが受光量に比例した信号で表される線形階調の画像信号であり、
前記画像処理部は、前記第１の階調変換部による階調変換後の複数画素の画像信号を用いて、各画素に少なくとも１つの共通した色成分信号を生成する処理を行うことを特徴とする画像処理装置。
【請求項５】
請求項１に記載の画像処理装置において、
前記制御部は、前記撮像感度が低いほど低輝度側の階調特性の曲率を大きくし、前記撮像感度が高いほど低輝度側の階調特性の曲率を小さくするように、前記第１の階調変換部を制御することを特徴とする画像処理装置。
【請求項６】
請求項１に記載の画像処理装置において、
前記制御部は、前記撮像感度が低いほど、前記非線形階調特性が平方根階調特性に近づくように、前記第１の階調変換部を制御することを特徴とする画像処理装置。
【請求項７】
請求項４に記載の画像処理装置において、
前記画像処理部は、前記各画素に共通した色成分信号を、少なくとも２種類の色成分信号を用いて生成することを特徴とする画像処理装置。
【請求項８】
請求項７に記載の画像処理装置において、
前記画像処理部は、前記第１の階調変換部による階調変換後の複数画素の非線形色成分信号を用いて少なくとも２方向について類似度を算出し、各方向についての類似度間の差異を所定の閾値と比較することによって前記各方向についての類似性の強弱を判定し、この判定結果を用いて、前記各画素に共通した色成分信号を生成することを特徴とする画像
処理装置。
【請求項９】
請求項１に記載の画像処理装置において、
前記第１の階調変換部は、前記入力色空間における画像信号が前記線形階調とは異なる画像信号で表されている場合、一旦、線形階調の画像信号に変換する処理を行ってから、前記非線形階調の画像信号に変換することを特徴とする画像処理装置。
【請求項１０】
請求項１に記載の画像処理装置において、
前記画像処理部が行う所定の画像処理には、ノイズ除去処理およびエッジ強調処理の少なくとも１つが含まれることを特徴とする画像処理装置。
【請求項１】
入力色空間における画像信号を画像処理空間における画像信号に変換し、変換後の画像信号を用いて所定の画像処理を行い、画像処理後の画像信号を出力色空間の画像信号に変換する画像処理装置は、
前記入力色空間から画像処理空間への変換過程において、各画素が受光量に比例した信号で表された線形階調の画像信号の各々を、前記画像処理空間における非線形階調の画像信号に変換する第１の階調変換部と、
前記第１の階調変換部による階調変換後の複数画素の画像信号を用いて、前記所定の画像処理を行う画像処理部と、
前記画像処理部による画像処理後の画像信号を、前記出力色空間への変換過程において、線形階調の画像信号に変換する第２の階調変換部と、
画像の撮像時に撮像素子に設定されていた撮像感度に応じて、前記非線形階調の特性を変化させるように、前記第１の階調変換部を制御する制御部と、を備えることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記画像処理空間は、ノイズが均等な均等ノイズ空間であることを特徴とする画像処理装置。
【請求項３】
請求項１に記載の画像処理装置において、
前記画像処理部は、前記第１の階調変換部による階調変換後の複数画素の画像信号を用いて、第１の画像を第２の画像に変換する処理を行うことを特徴とする画像処理装置。
【請求項４】
請求項１に記載の画像処理装置において、
前記入力色空間における画像信号は、各画素に少なくとも１つの色成分信号を有した複数種類の色成分信号からなり、それぞれが受光量に比例した信号で表される線形階調の画像信号であり、
前記画像処理部は、前記第１の階調変換部による階調変換後の複数画素の画像信号を用いて、各画素に少なくとも１つの共通した色成分信号を生成する処理を行うことを特徴とする画像処理装置。
【請求項５】
請求項１に記載の画像処理装置において、
前記制御部は、前記撮像感度が低いほど低輝度側の階調特性の曲率を大きくし、前記撮像感度が高いほど低輝度側の階調特性の曲率を小さくするように、前記第１の階調変換部を制御することを特徴とする画像処理装置。
【請求項６】
請求項１に記載の画像処理装置において、
前記制御部は、前記撮像感度が低いほど、前記非線形階調特性が平方根階調特性に近づくように、前記第１の階調変換部を制御することを特徴とする画像処理装置。
【請求項７】
請求項４に記載の画像処理装置において、
前記画像処理部は、前記各画素に共通した色成分信号を、少なくとも２種類の色成分信号を用いて生成することを特徴とする画像処理装置。
【請求項８】
請求項７に記載の画像処理装置において、
前記画像処理部は、前記第１の階調変換部による階調変換後の複数画素の非線形色成分信号を用いて少なくとも２方向について類似度を算出し、各方向についての類似度間の差異を所定の閾値と比較することによって前記各方向についての類似性の強弱を判定し、この判定結果を用いて、前記各画素に共通した色成分信号を生成することを特徴とする画像
処理装置。
【請求項９】
請求項１に記載の画像処理装置において、
前記第１の階調変換部は、前記入力色空間における画像信号が前記線形階調とは異なる画像信号で表されている場合、一旦、線形階調の画像信号に変換する処理を行ってから、前記非線形階調の画像信号に変換することを特徴とする画像処理装置。
【請求項１０】
請求項１に記載の画像処理装置において、
前記画像処理部が行う所定の画像処理には、ノイズ除去処理およびエッジ強調処理の少なくとも１つが含まれることを特徴とする画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１２−５４９８５（Ｐ２０１２−５４９８５Ａ）
【公開日】平成２４年３月１５日（２０１２．３．１５）
【国際特許分類】
【出願番号】特願２０１１−２２９７１４（Ｐ２０１１−２２９７１４）
【出願日】平成２３年１０月１９日（２０１１．１０．１９）
【分割の表示】特願２００６−５２８６１１（Ｐ２００６−５２８６１１）の分割
【原出願日】平成１７年６月２４日（２００５．６．２４）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２４年３月１５日（２０１２．３．１５）
【国際特許分類】
【出願日】平成２３年１０月１９日（２０１１．１０．１９）
【分割の表示】特願２００６−５２８６１１（Ｐ２００６−５２８６１１）の分割
【原出願日】平成１７年６月２４日（２００５．６．２４）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]