画像処理方法、画像処理プログラムを記録した機械読み取り可能な記録媒体、および画像処理装置
【課題】 本発明は、画像データにローパス処理を施す画像処理方法に関し、画像の鮮鋭度をなるべく落とさずに、ノイズおよびジャギーを適切に除去することを目的とする。
【解決手段】 対象画素を含む局所領域内で少なくとも４方向について非類似度を求め、非類似度の低い方向（類似している方向）の加算重みを増やして、対象画素に周辺画素を加重平均する。このとき、対象画素の隣接ライン上の画素間レベル差を非類似度の値に含めることにより、従来除去が困難であったジャギーを綺麗に除去することが可能となる。さらに、異色画素間の特徴差などの色情報を加味して類似性を判断することにより、画像構造の判断がさらに正確になり、より適正な方向依存ローパス処理を実行することが可能となる。
【解決手段】 対象画素を含む局所領域内で少なくとも４方向について非類似度を求め、非類似度の低い方向（類似している方向）の加算重みを増やして、対象画素に周辺画素を加重平均する。このとき、対象画素の隣接ライン上の画素間レベル差を非類似度の値に含めることにより、従来除去が困難であったジャギーを綺麗に除去することが可能となる。さらに、異色画素間の特徴差などの色情報を加味して類似性を判断することにより、画像構造の判断がさらに正確になり、より適正な方向依存ローパス処理を実行することが可能となる。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、デジタルスチルカメラ等で撮影・記録される画像データに対して、空間周波数のローパス処理を行う画像処理方法に関する。また、本発明は、その画像処理方法をコンピュータ上で実現するための画像処理プログラムを記録した記録媒体に関する。さらに、本発明は、その画像処理方法を実行する画像処理装置に関する。
【０００２】
【従来の技術】従来、画像データのノイズを除去する目的から、画像データにローパス処理をかけることが良く知られている。
【０００３】
【発明が解決しようとする課題】しかしながら、通常の等方的なフィルターをかけた場合は、上記の効果は得られるものの、微細構造も同時に失われるという欠点が生じていた。したがって、本発明の目的は、画像の微細構造を失わないように、画像データにローパス処理を施すことである。特に、請求項２の発明の目的は、従来除去が困難であったジャギー（傾斜エッジなどに発生するギザギザ）を的確に除去することが可能な画像処理方法を提供することである。
【０００４】
【課題を解決するための手段】以下、後述する実施形態のステップ番号を対応付けながら、解決するための手段を説明する。なお、これらの対応付けは参考のためであり、本発明の内容を限定するものではない。
【０００５】《請求項１》請求項１に記載の発明は、画像データに対して、空間周波数のローパス処理を施す画像処理方法において、ローパス処理の対象画素を含む局所領域に関して、少なくとも４つの方向における画素の類似性を判定する類似性判定手順（Ｓ２〜５）と、類似性判定手順の判定結果に基づいて画素類似性の強い方向の重み比率を増やしたうえで、対象画素に周辺画素を加重平均する方向依存ローパス演算手順（Ｓ６〜７）とを有することを特徴とする。
【０００６】上記の画像処理方法では、まず、対象画素を含む局所領域において、少なくとも４つの方向（例えば、『縦』『横』『斜め上』『斜め下』）に画素ラインを設定する。これらの画素ラインごとに、画素間の特徴差（レベル差、色相差、彩度差など）などを検出して、各方向の画素類似性を判定する。次に、この画素類似性の強い方向の重み比率を増やしたうえで、対象画素に周辺画素を加重平均する。したがって、画素類似性の低い方向については、小さな重み比率（ゼロも含む）で加重平均がなされるため、対象画素の画像構造をさほど損なうことがない。また、画素類似性の強い方向については、大きな重み比率で加重平均がなされるため、対象画素の微小な起伏（ノイズなど）を効果的に抑制することができる。
【０００７】《請求項２》請求項２に記載の発明は、請求項１に記載の画像処理方法において、類似性判定手順（Ｓ２〜５）は、所定方向の非類似度を、下記（１）（２）のいずれか一方の値または両方の値に基づいて算出し、非類似度に基づいて画素類似性の判定を行うことを特徴とする。
（１）対象画素を通る所定方向のライン上に位置する画素間の特徴差（２）対象画素の近くを通る所定方向のライン上に位置する画素間の特徴差以下、場合に分けて説明を行う。
【０００８】◎前者（１）の特徴差のみを使用して類似性判定を行う場合前者（１）の特徴差が小さければ、対象画素と周辺画素との類似性（以下『中心ライン上の類似性』という）は高いと判定できる。
【０００９】このような中心ライン上の類似性に基づいて重み比率を決定した場合、対象画素のもつ画像構造（エッジ構造など）を確実に保ちつつ、対象画素の微小な起伏（すなわちノイズ）を強く抑制することができる。
【００１０】◎後者（２）の特徴差のみを使用して類似性判定を行う場合後者（２）の特徴差が小さければ、対象画素の隣接ライン上における、周辺画素同士の類似性（以下『隣接ライン上の類似性』という）が高いと判定できる。このような隣接ライン上の類似性に基づいて重み比率を決定した場合、後述の実施形態（図３）にも示されるように、ジャギーを効果的に除去することが可能となる。以下、このような効果の理由について説明する。通常、目立つジャギーは、傾斜エッジや傾斜ラインの境界線上に発生する。このようにジャギーを発生している画素は、周辺画素との連続性が顕著に途切れている。そのため、周辺との特徴差（前者（１）の特徴差に相当）が大きく、ジャギー発生画素を中心に周辺との特徴差をとっても画像構造との区別がなかなかつかない。そこで、ジャギー発生範囲（箇所）に隣接し、かつ各方向に伸びる隣接ラインに注目する。これら隣接ラインのうちで、傾斜エッジや傾斜ラインの境界線と略平行する方向に伸びる隣接ライン（以下『傾斜方向の隣接ライン』という）は、局所領域内において傾斜エッジや傾斜ラインの境界線内側（または外側）を通過する。このような境界線内側は、境界線の直上におけるジャギーの影響をさほど受けず、かつ画像構造上も濃淡差が少ないため、画素の連続性がよく保たれている。したがって、傾斜方向の隣接ラインの上では、画素間の特徴差は小さく、その結果、傾斜方向の類似性は高いと判定される。一方、傾斜方向とは異なる方向へ伸びる隣接ラインは、傾斜エッジや傾斜ラインの境界線と交差したり、ジャギー発生箇所を直にまたぐため、画素の連続性が顕著に途切れてしまう。そのため、傾斜方向以外の隣接ラインでは、画素間の特徴差が大きく発生する。その結果、傾斜方向以外の隣接ラインについては、画素類似性が低いと判定される。このような画素類似性の判定結果に従って、傾斜方向の重み比率が特に大きく設定される。そのため、ジャギー発生画素は、傾斜方向に沿って画素値が平滑化されることなり、ジャギーが軽減する。また、このような傾斜方向の平滑化では、傾斜エッジや傾斜ラインの画像構造を保つ（ジャギーで崩れた線については修復する）ことができる。このような理由から、後者（２）の特徴差を用いて類似性判定を行った場合、画像上のジャギーを効果的に除去し、併せてジャギーで崩れた画像構造を修復することも可能となる。
【００１１】◎両方の特徴差を使用して類似性判定を行う場合この場合、両方の特徴差について、類似性判定に反映する度合いを適宜に調整することが可能となる。その結果、上記した両方の効果を適宜に調整し、画像のノイズとジャギーとをバランス良く除去することが可能となる。
【００１２】《請求項３》請求項３に記載の発明は、請求項１または請求項２に記載の画像処理方法において、類似性判定手順は、少なくとも４方向の非類似度を、局所領域内の画素間の特徴差に基づいて算出し（Ｓ３）、少なくとも４方向の非類似度について平均またはメディアンを取ることにより非類似度の代表値ｍ１を求め（Ｓ４）、少なくとも４方向の非類似度ｔｔ１，ｙｙ１，ｎｕ１，ｎｓ１と、代表値ｍ１とに基づいて［式１〜４］の非線形変換を実行して、ｔｔ２＝max｛ｍ１−ｔｔ１＋δ，γ｝・・・［式１］
ｙｙ２＝max｛ｍ１−ｙｙ１＋δ，γ｝・・・［式２］
ｎｕ２＝max｛ｍ１−ｎｕ１＋δ，γ｝・・・［式３］
ｎｓ２＝max｛ｍ１−ｎｓ１＋δ，γ｝・・・［式４］
（ただし、上式中のδ，γは予め定められた値であり、０の場合も含む）
類似度ｔｔ２，ｙｙ２，ｎｕ２，ｎｓ２を求める動作（Ｓ５）を行う手順であり、方向依存ローパス演算手順は、求めた類似度ｔｔ２，ｙｙ２，ｎｕ２，ｎｓ２に応じて、少なくとも４方向に位置する周辺画素の重み比率を決定し（Ｓ６）、対象画素に周辺画素を加重平均する動作（Ｓ７）を行う手順であることを特徴とする。以下、［式１〜４］に示される非線形変換の特徴点［Ａ］，［Ｂ］について説明する。
【００１３】［Ａ］代表値ｍ１を基準にした相対的な変換である。代表値ｍ１は、対象画素ごとに非類似度の平均（ふつうの加算平均、二乗平均、メディアン、あるいはその他の平均法でもよい）をとって決定される。この場合、非類似度が総体的に高いと代表値ｍ１は高くなるし、非類似度が全体的に低いと代表値ｍ１は低くなる。［式１〜４］では、max演算の比較第１項の中で、このような代表値ｍ１と、非類似度ｔｔ１，ｙｙ１，ｎｕ１，ｎｓ１との差分をとる。この差分は、代表値ｍ１を基準にした相対差分である。したがって、ある方向の非類似度が低くても、その他の非類似度が同様に低ければ、上記差分の絶対値は小さくなる。この場合は、非類似度がたとえ低くても、類似度の値は小さく、さほど類似性はないと判断される。逆に、ある方向の非類似度がその他の非類似度に比べて突出して低いような場合、上記差分は大きくなる。この場合は、その非類似度がある程度高い値であったとしても、類似度の値は相対的に大きくなり、類似性は高いと判断される。したがって、絶対基準の変換（非類似度の逆数をとって類似度とするなど）とは異なり、非類似度の突出度合いなどを十分考慮に入れた、より適切な類似度を求めることが可能となる。なお、上記差分の算出にあたっては、オフセット項δを加算する。この場合、オフセット項δが大きくなるに従って、［式１〜４］の各値の差異が小さくなり、均等な重みのローパス処理に近づく。このように、オフセット項δの分だけ、設計上の自由度を高くすることも可能となっている。
【００１４】［Ｂ］閾値（ｍ１＋δ−γ）を上限値とした、非線形な変換（リミッタ）である。非類似度が閾値（ｍ１＋δ−γ）を上回ると、max演算中の比較第１項はγよりも小さくなる。この場合、［式１〜４］の計算結果は、γの値に制限される。したがって、明らかに画像構造などに起因すると思われる『閾値以上の非類似度』については、重み比率への反映をγに制限することが可能となる。好ましくは、このγの値をゼロにしておけば、明らかに画像構造と思われる方向（類似性が特に低い方向）の重み比率がゼロとなる。この場合、類似性の低い方向の寄与を排除して、類似性の高い方向だけでローパスをかけることになるので、画像構造を確実に維持することが可能となる。また、このγの値を負の値としておけば、明らかに画像構造と思われる方向については、結果的にハイパス処理（重み比率が負の値）を施すこととなり、その方向の画像コントラストを強調することが可能となる。上記の［Ａ］，［Ｂ］に説明したように、［式１〜４］の非線形変換を使用することにより、ローパス処理の重み比率をより適切に決定することが可能となる。
【００１５】《請求項４》請求項４に記載の発明は、請求項１ないし請求項３のいずれか１項に記載の画像処理方法において、画像データは、カラー画像データであり、類似性判定手順（Ｓ４１〜Ｓ４３）は、カラー画像データの２種類以上の色情報に基づいて類似性の判定を行うことを特徴とする。上記構成では、カラー画像データの２種類以上の色情報に基づいて類似性の判定を行う。したがって、１種類の色情報では差が現れないような色の境界を的確に判断して、方向依存ローパス処理を適正に実行することが可能となる。
【００１６】《請求項５》請求項５に記載の発明は、請求項４に記載の画像処理方法において、類似性判定手順（Ｓ４１〜Ｓ４３）は、補間処理前のカラー画像データに基づいて類似性の判定を行うことを特徴とする。上記構成では、補間処理前のカラー画像データに基づいて類似性の判定を行う。したがって、補間処理後に生じる偽色成分などによって、画像構造の方向性を誤判断するおそれがない。また、Ｇ全面補間前の情報で類似性の判定ができるので、処理の規模を小さくすることができる。
【００１７】《請求項６》請求項６に記載の発明は、請求項４または請求項５に記載の画像処理方法において、類似性判定手順（Ｓ４１〜Ｓ４３）は、所定方向の非類似度を、所定方向における同色画素間および／または異色画素間の特徴差を用いて算出し、非類似度に応じて類似性の判定を行うことを特徴とする。以下、場合に分けて説明を行う。
【００１８】◎同色画素間の特徴差のみを使用して非類似度を算出する場合同色画素間の特徴差を取るので、高彩度な局所領域において画像構造の方向性を正確に判断することができる。
【００１９】◎異色画素間の特徴差のみを使用して非類似度を算出する場合最近接画素間の特徴差を取ることなどが可能となり、より微細な画像構造の方向性を判断することが可能となる。（ただし、高彩度な局所領域では類似性に関して適切な結果を与えない場合があるので、その点に留意することが好ましい。）
【００２０】◎同色画素間および異色画素間の特徴差を使用して非類似度を算出する場合この場合、類似性判定に反映する両特徴差の度合いを適宜に調整することが可能となる。その結果、上記した両方の利点を兼ね合わせて、画像構造の方向性を最適に判断することが可能となる。
【００２１】《請求項７》請求項７に記載の発明は、請求項６に記載の画像処理方法において、類似性判定手順（Ｓ４１〜Ｓ４３）は、ホワイトバランス処理後のカラー画像データから異色画素間の特徴差を算出することを特徴とする。上記構成では、ホワイトバランス処理後のカラー画像データを用いて異色画素間の特徴差を算出する。この場合、ホワイトバランス処理によって、カラー画像データの極端な色の偏りが抑制される。したがって色の偏りが特徴差として現れるおそれが少なく、画像構造の方向性を正確に判断することが可能となる。
【００２２】《請求項８》請求項８に記載の発明は、請求項６または請求項７のいずれか１項に記載の画像処理方法において、類似性判定手順は、ローパス処理の対象画素について彩度を検出し（Ｓ５１）、検出した彩度に対応して、非類似度の算出における異色画素間の特徴差の寄与率を可変すること（Ｓ５２）を特徴とする。一般に、極端に高彩度な箇所では、異色画素間の特徴差が大きくなるため、これを画像構造の方向性と誤って判断するおそれが高い。そこで、上記構成では、彩度に対応して非類似度における異色画素間の特徴差の寄与率を可変する。その結果、画像構造の方向性をより正確に判断することが可能となる。
【００２３】《請求項９》請求項９に記載の発明は、請求項１ないし８のいずれか１項に記載の画像処理方法において、画像データは、欠落した画素について補間処理が施された画像データであり、方向依存ローパス演算手順は、補間処理が実施された画素のみを対象画素としてローパス処理を施すこと（Ｓ２８，Ｓ２９）を特徴とする。
【００２４】通常、補間処理に起因して偽色やジャギーが発生する場合がある。本発明の画像処理方法は、このような偽色やジャギーを軽減する上で有効な方法である。そこで、補間処理が実施されて偽色やジャギーを発生している可能性のある画素に対して、本発明のローパス処理を重点的にかける。その結果、補間処理に起因する偽色やジャギーを確実に軽減することが可能となる。一方、非補間画素に対しては、ローパス処理を施さない（または弱くかける）。したがって、非補間画素については、データが忠実に保存される。したがって、ユーザー側では、非補間画素の忠実なデータに基づいて、所望の画像処理を後日改めて実施することなどが可能となる。
【００２５】《請求項１０》請求項１０に記載の発明は、請求項１ないし９のいずれか１項に記載の画像処理方法において、画像データは、欠落した画素について補間処理が施された画像データであり、類似性判定手順は、ローパス処理に先だって、補間処理が実施された画素の値を、その画素近傍の所定領域における画素最大値または最小値に対応する境界値で制限する（Ｓ２７）ことを特徴とする。特殊な補間処理においては、補間画素にピークが生じる場合がある。請求項５の画像処理方法では、このような補間画素のピークを、ローパス処理に先立って制限する。したがって、ローパス処理を介して補間画素のピークが周辺画素に拡大しなくなり、画質が向上する。
【００２６】《請求項１１》請求項１１に記載の発明は、請求項１ないし１０のいずれか１項に記載の画像処理方法において、画像データは、画素密度の一番高い第１色と、空格子を有して画素密度の低い第２色とを少なくとも有するカラー画像データであり、第２色の存在する画素について、第２色と第１色の色差をとる色差算出手順（Ｓ２５）と、第２色の存在しない画素について、色差算出手順で得た色差に基づいて色差補間値を求める色差補間手順（Ｓ２６）と、色差補間手順で求めた色差補間値を、第１色を用いて第２色に変換する第２色復元手順（Ｓ３０）とを有し、色差算出手順において、色差の算出に使用する第１色は、ローパス処理前の第１色であることを特徴とする。上記の画像処理方法では、画素の色差について補間処理を行う。この場合、色差の算出に際して、ローパス処理前の第１色を使用する。したがって、ローパス処理前の豊富な情報量に基づいて色差を求め、その豊富な情報量の色差に基づいて、なるべく元画像に忠実な補間処理を実施することが可能となる。
【００２７】《請求項１２》請求項１２に記載の発明は、請求項１１に記載の画像処理方法において、第２色復元手順（Ｓ３０）において、第２色の算出に使用する第１色は、ローパス処理後の第１色であることを特徴とする。ローパス処理により、第１色についてはノイズまたはジャギーが適度に抑制されている。このローパス処理後の第１色を、補間処理後の色差に加算（または乗算）して、第２色を生成する。この場合、第１色を介して、第２色に混入するノイズやジャギーが少なくなり、第２色に対するその後の画像処理（ローパス処理など）を省いたり、軽減することが可能となる。
【００２８】《請求項１３》請求項１３に記載の発明は、請求項１１または請求項１２に記載の画像処理方法において、方向依存ローパス演算手順は、前記第１色から重み比率を求め、その重み比率を利用して前記第２色または前記色差にローパス処理を施す（Ｓ２９）を特徴とする。第１色は画素密度が一番高いため、第１色から求めた重み比率は、画像の起伏を最も高精度に反映した重み比率となる。このような重み比率を利用して、第２色（または色差）にローパス処理を施すことにより、第２色に対して的確なローパス処理を施すことが可能となる。また、この場合は、第１色のローパス処理時に求めた重み比率を流用することが可能となる。したがって、第２色用に重み比率を新たに算出するなどの手間を省くことが可能となり、画像処理の所要時間を短縮することが可能となる。
【００２９】《請求項１４》請求項１４に記載の発明は、請求項１ないし請求項１３に記載の画像処理方法において、前記方向依存ローパス演算手順は、少なくとも、類似性の最も低い方向の重み比率を実質的にゼロにすることを特徴とする。このように、類似性の最も低い方向の重み比率を実質的にゼロとすることにより、その方向の画像構造を確実に維持することが可能となり、ローパス処理による画像の崩れを確実に防ぐことができる。
【００３０】《請求項１５》請求項１５に記載の記録媒体は、コンピュータに請求項１ないし請求項１４のいずれか１項に記載の全ての手順を実行させるための画像処理プログラムが記録されていることを特徴とする。この記録媒体内の画像処理プログラムをコンピュータ上で実行することにより、請求項１ないし１４のいずれか１項に記載の画像処理方法を実行することが可能となる。
【００３１】なお、デジタルスチルカメラ等の携帯型装置では、例えば、本発明の記録媒体は、装置内のＲＯＭメモリに該当する。また、本発明の記録媒体として、前記携帯型装置に脱着可能な記録媒体（例えばメモリカードなど）を使用することもできる。この場合、前記携帯型装置（のＣＰＵ）は、装着された前記記録媒体から画像処理プログラムを読み出して実行することになる。
【００３２】《請求項１６》請求項１６に記載の画像処理装置は、請求項１ないし請求項１４のいずれか１項に記載される全ての手順を実行する画像処理部を備えて構成される。なお、後述する第１の実施形態では、画像処理プログラムに沿って各手順を実行するコンピュータが画像処理装置に該当する。また、第２および第４の実施形態では、画像処理部１５または電子カメラ１１が画像処理装置に該当する。
【００３３】
【発明の実施の形態】以下、図面を用いて、発明の実施形態について説明する。
【００３４】《第１の実施形態》第１の実施形態は、請求項１〜３、１５、１６に記載の発明に対応する実施形態である。なお、本実施形態は、コンピュータ上において、画像処理プログラムを実行するものであり、そのための画像処理プログラムは記録媒体に記録された状態で製造および配布される。また、通信回線を介して画像処理プログラムを提供して相手国内の記録媒体（コンピュータの内部メモリやハードディスクなど）に記録されることにより、相手国内において上記記録媒体を製造する場合もある。
【００３５】図１は、この画像処理プログラムの動作手順を説明する流れ図である。以下、図１に示す動作手順に従って、第１の実施形態の動作を説明する。まず、コンピュータは、処理対象とする画像ファイルを読み出し、画像データに展開してメモリ上に格納する（ステップＳ１）。
【００３６】ここでの画像処理は、このようにメモリ上に展開された単色の画像データ（カラー画像の各色ごとのデータも含む。あるいは複数色から合成した輝度画像であってもよい。）を対象に実施される。コンピュータは、この画像データの中からｉ行ｊ列目に位置する対象画素FG[i, j]を一つ選択し、その対象画素を中心にして５行５列程度の局所領域を設定する（ステップＳ２）。
【００３７】コンピュータは、この局所領域内の画素間レベル差に基づいて下式を計算し、４方向（縦，横，斜め上，斜め下）の非類似度ｔｔ１,ｙｙ１,ｎｕ１,ｎｓ１をそれぞれ算出する（ステップＳ３）。
縦方向の非類似度ｔｔ１：ｔｔ１＝ a×(|FG[i,j]-FG[i,j-1]|+|FG[i,j]-FG[i,j+1]|) + b×(|FG[i,j+1]-FG[i,j-1]|+|FG[i-1,j]-FG[i-1,j+2]|+|FG[i-1,j]-FG[i-1,j-2]|) + c×(|FG[i, j+1]-FG[i, j-1]|+|FG[i+1, j]-FG[i+1, j+2]|+|FG[i+1, j]-FG[i+1, j-2]|) ・・・［式５］
横方向の非類似度ｙｙ１：ｙｙ１＝ a×(|FG[i,j]-FG[i-1,j]|+|FG[i,j]-FG[i+1,j]|) + b×(|FG[i+1,j]-FG[i-1,j]|+|FG[i,j-1]-FG[i+2,j-1]|+|FG[i,j-1]-FG[i-2,j-1]|) + c×(|FG[i+1,j]-FG[i-1,j]|+|FG[i,j+1]-FG[i+2,j+1]|+|FG[i,j+1]-FG[i-2,j+1]|) ・・・［式６］
斜め上方向の非類似度ｎｕ１：ｎｕ１＝ a×(|FG[i,j]-FG[i+1,j-1]|+|FG[i,j]-FG[i-1,j+1]|) + b×(|FG[i-2,j+1]-FG[i-1,j]|+|FG[i-1,j]-FG[i,j-1]|+|FG[i,j-1]-FG[i+1,j-2]|) + c×(|FG[i-1,j+2]-FG[i,j+1]|+|FG[i,j+1]-FG[i+1,j]|+|FG[i+1,j]-FG[i+2,j-1]|) ・・・［式７］
斜め下方向の非類似度ｎｓ１：ｎｓ１＝ a×(|FG[i,j]-FG[i-1,j-1]|+|FG[i,j]-FG[i+1,j+1]|) + b×(|FG[i-2,j-1]-FG[i-1,j]|+|FG[i-1,j]-FG[i,j+1]|+|FG[i,j+1]-FG[i+1,j+2]|) + c×(|FG[i-1,j-2]-FG[i,j-1]|+|FG[i,j-1]-FG[i+1,j]|+|FG[i+1,j]-FG[i+2,j+1]|) ・・・［式８］
図２(1)〜(4)は、上記の［式５〜８］の演算式をそれぞれ図示したものである。図２中において、両端向きの矢印はレベル差算出を行う画素位置を示し、矢印上のａ，ｂはレベル差の比例定数を表す。なお、図示していない比例定数ｃの項については、対象画素を挟んで、比例定数ｂの項と対称関係に位置する。
【００３８】次に、コンピュータは、４方向の非類似度について、下記の平均演算を行い、代表値ｍ１を算出する（ステップＳ４）。
ｍ１＝(ｔｔ１＋ｙｙ１＋ｎｕ１＋ｎｓ１)/４ ・・・［式９］
【００３９】続いて、コンピュータは、４方向の非類似度ｔｔ１，ｙｙ１，ｎｕ１，ｎｓ１と、代表値ｍ１とに基づいて、次の非線形変換を実施し、ｔｔ２＝max｛ｍ１−ｔｔ１＋δ，γ｝・・・［式１０］
ｙｙ２＝max｛ｍ１−ｙｙ１＋δ，γ｝・・・［式１１］
ｎｕ２＝max｛ｍ１−ｎｕ１＋δ，γ｝・・・［式１２］
ｎｓ２＝max｛ｍ１−ｎｓ１＋δ，γ｝・・・［式１３］
（例えば、δ＝０，γ＝０）
４方向の類似度ｔｔ２，ｙｙ２，ｎｕ２，ｎｓ２を算出する（ステップＳ５）。
【００４０】次に、コンピュータは、４方向の類似度ｔｔ２，ｙｙ２，ｎｕ２，ｎｓ２を正規化して、ｍ２＝ｔｔ２＋ｙｙ２＋ｎｕ２＋ｎｓ２ ・・・［式１４］
ｔｔ＝ｔｔ２／ｍ２ ・・・［式１５］
ｙｙ＝ｙｙ２／ｍ２ ・・・［式１６］
ｎｕ＝ｎｕ２／ｍ２ ・・・［式１７］
ｎｓ＝ｎｓ２／ｍ２ ・・・［式１８］
４方向の重み比率ｔｔ，ｙｙ，ｎｕ，ｎｓを求める（ステップＳ６）。
【００４１】ここで、コンピュータは、対象画素ＦＧ[i,j]に周辺画素を加重平均し、Ｇ[i,j]＝｛ＦＧ[i,j] ＋ｋ×ｔｔ（ＦＧ[i,j-1]＋ＦＧ[i,j+1]）
＋ｋ×ｙｙ（ＦＧ[i-1,j]＋ＦＧ[i+1,j]）
＋ｋ×ｎｕ（ＦＧ[i-1,j+1]＋ＦＧ[i+1,j-1]）
＋ｋ×ｎｓ（ＦＧ[i-1,j-1]＋ＦＧ[i+1,j+1]）｝／（１＋ｋ×２）
・・・［式１９］
（ただし、ｋはローパス処理の強さを調整する定数値。例えば、ｋ＝１／２）
ローパス処理後の対象画素Ｇ［ｉ，ｊ］を算出する（ステップＳ７）。
【００４２】コンピュータは、このローパス処理後の対象画素Ｇ［ｉ，ｊ］を、メモリ上に設けられるローパス処理結果の記憶領域に記録する（ステップＳ８）。
【００４３】ここで、コンピュータは、全画素についてローパス処理が完了したか否かを判断する（ステップＳ９）。ローパス処理が完了していない場合（ステップＳ９のＮＯ側）、コンピュータは、新たな対象画素を画像データの中から選んだ後（ステップＳ１０）、上述したステップＳ２に動作を戻す。一方、ローパス処理が全画素について完了した場合（ステップＳ９のＹＥＳ側）、コンピュータは、ローパス処理後の画像データを、所定形式の画像ファイルに変換するなどした後、動作を終了する。
【００４４】（第１の実施形態の効果）図３(1)〜(5)は、第１の実施形態におけるローパス処理の効果を示す、ディスプレイ上の中間調画像の写真である。図３(1)は、ローパス処理前の元画像データである。なお、図中には、画像の微細構造、ジャギーＡ，Ｂの発生箇所を白点線で囲って示す。
【００４５】図３(2)は、方向依存性のないローパス処理（対象画素の重み係数を１／２とし、周辺８画素の重み係数を均等に１／１６とした局所平均演算）を施した画像データである。この場合、画像全体のノイズは低減する。しかしながら、鮮明度も落ち、微細構造はかなり失われる。また、ジャギーＡ，Ｂは依然として残存し、傾斜ライン上のギザギザが目立つ。
【００４６】図３(3)は、非類似度の計算式［式５〜８］において、比例定数をａ＝１，ｂ＝ｃ＝０として、本実施形態のローパス処理を施した画像データである。この場合のローパス処理は、図２に示されるように、対象画素を通る中心ラインＬｃ上の画素間レベル差を主として、非類似度を算出したケースである。このようなローパス処理により、画像全体のノイズは低減する。また、鮮明度の低下は見られず、微細構造もよく保持される。さらに、ジャギーＢには一応の改善が見られる。しかしながら、ジャギーＡについては依然として残存し、傾斜ライン上のギザギザが目立っている。
【００４７】図３(4)は、非類似度の計算式［式５〜８］において、比例定数をｂ＝１，ａ＝ｃ＝０として、本実施形態のローパス処理を施した画像データである。この場合のローパス処理は、図２に示されるように、対象画素に隣接する隣接ラインＬｎ上の画素間レベル差を主として、非類似度を算出したケースである。このようなローパス処理により、画像全体のノイズは低減する。また、鮮明度は若干低下し、微細構造が僅かに損なわれている。一方、ジャギーＡ，Ｂについては顕著な改善が見られ、傾斜ライン上のギザギザが小さな画素単位に分散（平滑化）されて、明らかに目立たなくなっている。
【００４８】図３(5)は、非類似度の計算式［式５〜８］において、比例定数をａ＝ｂ＝１，ｃ＝０として、本実施形態のローパス処理を施した画像データである。この場合のローパス処理は、図２に示されるように、『中心ラインＬｃ上の画素間レベル差』および『隣接ラインＬｎ上の画素間レベル差』の両方に基づいて、非類似度を算出したケースである。このようなローパス処理により、画像全体のノイズは低減する。また、画像全体の鮮明度は低下せず、微細構造はよく維持されている。さらに、ジャギーＡ，Ｂについても顕著な改善が見られ、傾斜ライン上のギザギザが小さな画素単位に分散されて、明らかに目立たなくなっている。
【００４９】（第１の実施形態の補足事項）なお、上述した実施形態では、画素間のレベル差に基づいて非類似度を算出しているが、これに限定されるものではない。一般的には、画素間の特徴の違いに基づいて非類似度を算出すればよい。例えば、カラー画像であれば、色相差や彩度差などに基づいて非類似度を算出してもよい。また、空間周波数領域における特徴差（特定の周波数帯域を含むか否かなどの特徴差）や、画像データをハイパス処理して得たエッジ成分画像のレベル差などに基づいて、非類似度を算出してもよい。
【００５０】また、上述した実施形態では、［式５〜８］を用いて非類似度を算出しているが、これに限定されるものではない。一般的には、対象画素を含む局所領域内において、対象画素を通る中心ラインＬｃと、対象画素に隣接する隣接ラインＬｎとを設定する。そして、これらラインＬｃ，Ｌｎ上において（隣接もしくは１コ間をおいて並ぶ）画素間の特徴差をそれぞれ求め、この特徴差を所定比率で加算することにより非類似度を算出すればよい。
【００５１】例えば、下記の［式２０，２１］を用いて非類似度ｔｔ１,ｙｙ１を算出してもよい。
縦方向の非類似度ｔｔ１：ｔｔ１＝ a×(|FG[i,j]-FG[i,j-1]|+|FG[i,j]-FG[i,j+1]|) + b×(|FG[i-1,j]-FG[i-1,j+2]|+|FG[i-1,j]-FG[i-1,j-2]|)×ｓ + c×(|FG[i+1,j]-FG[i+1,j+2]|+|FG[i+1,j]-FG[i+1,j-2]|)×ｓ ・・・［式２０］
横方向の非類似度ｙｙ１：ｙｙ１＝ a×(|FG[i,j]-FG[i-1,j]|+|FG[i,j]-FG[i+1,j]|) + b×(|FG[i,j-1]-FG[i+2,j-1]|+|FG[i,j-1]-FG[i-2,j-1]|)×ｓ + c×(|FG[i,j+1]-FG[i+2,j+1]|+|FG[i,j+1]-FG[i-2,j+1]|)×ｓ ・・・［式２１］
（ただし、ｓは、絶対値の加算項の数が斜め方向に比べて少ないことを補うための係数であり、例えば１〜1.5に設定される）また、上述した実施形態では、［式９〜１３］を用いて類似度を算出しているが、これに限定されるものではない。例えば、［式９〜１３］の代わりに、下記の［式１０１〜１０７］を用いて類似度を算出してもよい。
ｔｙ＝ ｔｔ１−ｙｙ１ ・・・［式１０１］
ｕｓ＝ ｎｕ１−ｎｓ１ ・・・［式１０２］
ｔｔ２＝max｛−ｔｙ，０｝ ・・・［式１０３］
ｙｙ２＝max｛ｔｙ，０｝ ・・・［式１０４］
ｎｕ２＝max｛−ｕｓ，０｝ ・・・［式１０５］
ｎｓ２＝max｛ｕｓ，０｝ ・・・［式１０６］
ｉｆ ｔｔ２＋ｙｙ２＋ｎｕ２＋ｎｓ２==０ ｔｈｅｎ ｔｔ２＝１，ｙｙ２＝１，ｎｕ２＝１，ｎｓ２＝１ ［式１０７］
【００５２】この［式１０１〜１０６］では、次の独立した処理■■が一度になされている。
■『縦と横』，『斜め上と斜め下』などといった略直交する２方向において、類似性のより低い方向は、方向依存ローパス処理の重み比率が実質ゼロに設定される。
■『縦と横』，『斜め上と斜め下』などといった略直交する２方向において、類似性のより高い方向は、方向依存ローパス処理の重み比率が『２方向の非類似度の差の絶対値』に基づいて決定される。
【００５３】上記の処理■では、略直交する２方向の内、どちらか１方向のみについてローパス処理が実行される。したがって、略直交する２方向にローパス処理が同時に施されることはなく、画像構造の方向性をより明確に維持することが可能となる。一方、上記の処理■では、略直交する２方向の非類似度が明らかに異なるほど、類似性のより高い方向にかかるローパス処理が強くなる。したがって、明らかに類似している方向に対して強力にノイズやジャギーを軽減することが可能となる。次に、別の実施形態について説明する。
【００５４】《第２の実施形態》第２の実施形態は、請求項１〜３，９〜１６に記載の発明に対応する電子カメラ１１の実施形態である。図４は、電子カメラ１１の構成ブロック図である。図４において、電子カメラ１１には撮影レンズ１２が装着される。この撮影レンズ１２の像空間には、撮像素子１３の受光面が配置される。撮像素子１３から出力されるＲＧＢの画像データは、Ａ／Ｄ変換部１４を介してディジタル化された後、マイクロプロセッサからなる画像処理部１５に入力される。画像処理部１５には、データバス１６を介して読み出し専用メモリ１７（請求項１５の記録媒体に対応）および画像メモリ１８などが接続される。読み出し専用メモリ１７には画像処理プログラムが記録されている。画像処理部１５は、この画像処理プログラムを読み出して実行する。
【００５５】図５は、この画像処理プログラムの動作手順を示す流れ図である。図６は、画像処理の各過程における画像データを示すデータフローである。以下、図４〜図６を用いて、本実施形態の画像処理動作について説明する。撮像素子１３から出力される画像データＯＲＧは、３色ＲＧＢがベイヤ配列されたデータである。この画像データＯＲＧの画素一つ一つには、ベイヤ配列のルールに従って、Ｇ［○，△］，Ｒ［○，△］，Ｂ［○，△］のいずれか１つの画素値が割り当てられている。画像処理部１５は、この画像データＯＲＧを取り込み、以下の手順で画像処理を実行する。
【００５６】◎ステップＳ２１：補間処理用の非類似度計算まず、画像処理部１５は、Ｇ色成分（請求項１１の第１色に対応する）の空き格子位置［ｉ，ｊ］を対象に、下記の［式２２〜２７］を実行し、縦方向の非類似度Ｃｖ０および横方向の非類似度Ｃｈ０を算出する。
Ｃｖ１＝|G[i, j-1]-G[i, j+1]| ・・［式２２］
Ｃｖ２＝(|G[i, j-1]-Z[i, j]|+|G[i, j+1]-Z[i, j]|)/2 ・・［式２３］
Ｃｈ１＝|G[i-1, j]-G[i+1, j]| ・・［式２４］
Ｃｈ２＝(|G[i-1, j]-Z[i, j]|+|G[i+1, j]-Z[i, j]|)/2 ・・［式２５］
Ｃｖ０［ｉ，ｊ］＝Ａ１・Ｃｖ１＋Ａ２・Ｃｖ２ ・・［式２６］
Ｃｈ０［ｉ，ｊ］＝Ａ１・Ｃｈ１＋Ａ２・Ｃｈ２ ・・［式２７］
（ただし、ＺはＲ，Ｂいずれかの値を使用する。また、Ａ１，Ａ２は重み係数であり、少なくとも一方は非零である。代表的にはＡ１＝Ａ２＝１）。
【００５７】◎ステップＳ２２：非類似度の平滑化処理次に、画像処理部１５は、非類似度Ｃｖ０，Ｃｈ０について、下記の［式２８，２９］を用いて近傍平均をとり、非類似度Ｃｖ，Ｃｈを算出する。
Ｃｖ［ｉ，ｊ］＝(4・Cv0[i, j]+Cv0[i-1,j-1]+Cv0[i+1,j-1]+Cv0[i-1,j+1]+Cv0[i+1,j+1])/8 ・・・［式２８］
Ｃｈ［ｉ，ｊ］＝(4・Ch0[i, j]+Ch0[i-1,j-1]+Ch0[i+1,j-1]+Ch0[i-1,j+1]+Ch0[i+1,j+1])/8 ・・・［式２９］
なお、この近傍平均を省略してＣｖ［ｉ，ｊ］＝Ｃｖ０［ｉ，ｊ］
Ｃｈ［ｉ，ｊ］＝Ｃｈ０［ｉ，ｊ］
としてもよい。
【００５８】◎ステップＳ２３：非類似度に基づく補間方向の判定次に、画像処理部１５は、下記の条件判定に従って、方向フラグＨＶを設定する。
縦類似の判定 ： Cv[i, j]＋th0 ＜ Ch[i, j]ならば 、HV[i, j]=1 とする横類似の判定 ： Ch[i, j]＋th0 ＜ Cv[i, j]ならば、 HV[i, j]=−1 とする方向性ナシの判定：上記以外は HV[i, j]=0とする（例えば、th0は、Ｇ（ｉ，ｊ）のとりうる範囲が０〜２５５の場合、０〜数１０程度の閾値）
【００５９】◎ステップＳ２４：Ｇの補間演算画像処理部１５は、方向フラグＨＶに従って、下記の補間演算を実行する。
非空格子の場合：FG[i, j]=G[i, j]とする縦類似の場合 ：HV[i, j]=1 ならば、 FG[i, j]=Gv とする横類似の場合 ：HV[i, j]=-1 ならば、FG[i, j]=Gh とする方向性ナシの場合：HV[i, j]=0 ならば、 FG[i, j]= (Gv+Gh)/2 とするなお、上記のGvおよびGhは、下式の値である。
Gv=(G[i, j-1]+G[i, j+1])/2+C1・(2・Z[i,j]-Z[i,j-2]-Z[i,j+2])/4Gh=(G[i-1, j]+G[i+1, j])/2+C1・(2・Z[i,j]-Z[i-2,j]-Z[i+2,j])/4（ここでＣ１は所定の定数であり、零又は１又はその中間値である）
【００６０】◎ステップＳ２５：ＲおよびＢの色差変換画像処理部１５は、Ｒ色成分およびＢ色成分（請求項１１の第２色に対応する）の画素位置に関して、補間後のＧを基準にして、下記の色差変換を実行する。
DR[i, j]=R[i, j]-FG[i, j] ・・・［式３０］
DB[i, j]=B[i, j]-FG[i, j] ・・・［式３１］
【００６１】◎ステップＳ２６：色差補間画像処理部１５は、色差について、下記の補間処理を実行する。
上下にＲの画素がある場合：FDR[i, j]=(DR[i, j-1]+DR[i, j+1])/2左右にＲの画素がある場合：FDR[i, j]=(DR[i-1, j]+DR[i+1, j])/2斜めにＲの画素がある場合：FDR[i, j]=(DR[i-1, j-1]+DR[i-1, j+1]+DR[i+1, j-1]+DR[i+1, j+1])/4上下にＢの画素がある場合：FDB[i, j]=(DB[i, j-1]+DB[i, j+1])/2左右にＢの画素がある場合：FDB[i, j]=(DB[i-1, j]+DB[i+1, j])/2斜めにＢの画素がある場合：FDB[i, j]=(DB[i-1, j-1]+DB[i-1, j+1]+DB[i+1, j-1]+DB[i+1, j+1])/4
【００６２】◎ステップＳ２７：Ｇ補間値の範囲制限画像処理部１５は、Ｇ補間値について、周辺８画素の最大値Ｇmax、最小値Ｇminを用いて範囲制限を行う。
最大値以上の場合： FG[i, j]＞(Ｇmax＋Th4)ならば、FG[i, j]=Ｇmaxとする最小値以下の場合： FG[i, j]＜(Ｇmin−Th4)ならば、FG[i, j]=Ｇminとする（なお、Th4は、補間値のピークをどこまで許容するかを決定する閾値である。また、周辺画素数は８個である必要はなく、６個程度以上あればよい。）
【００６３】◎ステップＳ２８：Ｇ補間画素に対するローパス処理画像処理部１５は、Ｇ補間画素について、第１の実施形態と同様の方向依存ローパス処理を実行する。この場合、次の２通りのローパス処理が可能である。
（ａ）第１の実施形態と同様に、すべてのＧ画素について方向依存ローパス処理を施す。
（ｂ）補間処理されていないＧ画素については、方向依存ローパス処理を実行せず、補間処理されたＧ画素のみに方向依存ローパス処理を施す。
【００６４】◎ステップＳ２９：色差補間画素に対するローパス処理画像処理部１５は、補間処理後のＧ面について、第１の実施形態と同様にして重み比率ｔｔ，ｙｙ，ｎｕ，ｎｓを算出する（ステップＳ２８で既に重み比率を求めていた画素位置については、その重み比率を再利用する）。画像処理部１５は、色差補間画素について、この重み比率に基づく方向依存ローパス処理を下式により実行する。
Tmp_DR[i, j]=[FDR[i,j] +k×tt(FDR[i,j-1]+FDR[i,j+1]) +k×yy(FDR[i-1,j]+FDR[i+1,j]) +k×nu(FDR[i-1,j+1]+FDR[i+1,j-1]) +k×ns(FDR[i-1,j-1]+FDR[i+1,j+1])]/(1+k×2) ・・・［式３２］
Tmp_DB[i, j]=[FDB[i,j] +k×tt(FDB[i,j-1]+FDB[i,j+1]) +k×yy(FDB[i-1,j]+FDB[i+1,j]) +k×nu(FDB[i-1,j+1]+FDB[i+1,j-1]) +k×ns(FDB[i-1,j-1]+FDB[i+1,j+1])]/(1+k×2) ・・・［式３３］
（ただし、ｋはローパス処理の強さを調整する定数値であり、例えばｋ＝１／２）
画像処理部１５は、上記の加重平均が画面全体について完了した後、下記の置き換えを実行する。
FDR[i, j]=Tmp_DR[i, j]FDB[i, j]=Tmp_DB[i, j]
【００６５】◎ステップＳ３０：Ｒ、Ｂの復元画像処理部１５は、色差面に対して、ローパス処理後のＧ面を加算して、ＲおよびＢを復元する。
FR[i, j]=FG[i, j] ＋FDR[i, j] ・・・［式３４］
FB[i, j]=FG[i, j] ＋FDB[i, j] ・・・［式３５］
画像処理部１５は、以上のようにして求めた、FR[i, j]、FG[i, j]、FB[i, j]を記録機構などへ出力する。
【００６６】（第２の実施形態の効果）以上説明したように、第２の実施形態においても、第１の実施形態と同様な効果を得ることができる。特に、第２の実施形態に特有な効果としては、次の点が挙げられる。
【００６７】◎画像処理部１５はＧ補間画素、色差補間画素に対してローパス処理をかける。したがって、補間処理に起因する偽色やジャギーを十分に軽減することが可能となる。また、画像処理部１５が、それ以外の非補間画素にローパス処理をかけない場合、元々の画像データを忠実に維持し、かつ処理時間を短縮することができる。なお、全画素に対してローパス処理をかけた場合には、十分にジャギーなどを除去した滑らかな画像を得ることができる。
【００６８】◎画像処理部１５は、補間画素のピークを、ローパス処理に先立って範囲制限する。したがって、補間画素のピークを目立たなくすると同時に、ローパス処理を介して補間画素のピークが周辺画素に拡大するのを防ぐことができる。
【００６９】◎画像処理部１５は、情報量が豊富なローパス処理前のＧ色成分を基準にして色差を求める。したがって、色差の情報量が豊かになり、より的確な色差補間を行うことが可能となる。
【００７０】◎画像処理部１５は、色差からＲ（Ｂ）色成分を復元するにあたり、ローパス処理後のＧ色成分を使用する。したがって、Ｇ色成分を介して、Ｒ（Ｂ）色成分にノイズやジャギーが混入する不具合を防止することができる。
【００７１】◎画像処理部１５は、情報量の豊富なＧ色成分について重み比率を求め、その重み比率を利用して、Ｒ（Ｂ）色成分にローパス処理を施す。したがって、Ｒ（Ｂ）色成分に対して、Ｇ色成分の精細な起伏に適応したローパス処理を施すことが可能となる。なお、本発明者は、上述した実施形態において補間処理の前後どちらに階調変換（階調補正も含む）を行っても、本発明の方向依存ローパス処理が良好な効果を得られることを、画質の主観評価によって確認している。
【００７２】（第２の実施形態の補足事項）なお、上述した実施形態では、画像処理部１５が画像処理プログラムを実行する場合について説明したが、これに限定されるものではない。例えば、画像処理部１５の処理速度を上げるために、上述した画像処理の一部もしくは全部を演算回路などで実行してもよい。また、上述した実施形態では、色差に対してローパス処理を実行しているが、これに限定されるものではない。例えば、色差から復元したＲ（Ｂ）に対してローパス処理を施してもよい。この場合も、Ｇ色成分について求めた重み比率を利用することにより、Ｒ（Ｂ）のローパス処理を正確に行うことが可能となる。さらに、上述した実施形態では、色差（またはＲ，Ｂ）に対してローパス処理を施しているが、これに限定されるものではない。一般に、色差やＲ，Ｂ成分は輝度成分（Ｇ、Ｙ）に比較して改善効果が目立たないので、色差（またはＲ、Ｂなど）に対するローパス処理を省いてもよい。この場合は、処理時間を短縮できるという利点がある。以下、別の実施形態について説明する。
【００７３】《第３の実施形態》第３の実施形態は、請求項４，６に対応した実施形態であり、類似性の判断に２種類以上の色情報を使用する点に特徴を有する。以下、第３の実施形態について、非類似度の算出動作を説明する。まず、第３の実施形態は、非類似度の算出用に、ＲＧＢからなる３面の色情報を用意する。なお、ＲＧＢ３面の色情報が揃っていない場合には、補間処理を先行して、ＲＧＢ３面の色情報を用意する。
【００７４】第３の実施形態では、このように用意したＲＧＢ３面の色情報について、下記の［式１１０〜１１３］を算出して、ｉ行ｊ列目における非類似度を求める。
縦方向の非類似度ｔｔ１：ｔｔ１＝ a×(|FG[i,j]-FG[i,j-1]|+|FG[i,j]-FG[i,j+1]|)+b×(|FG[i,j+1]-FG[i,j-1]|+|FG[i-1,j]-FG[i-1,j+2]|+|FG[i-1,j]-FG[i-1,j-2]|)+a1×(|FR[i,j]-FR[i,j-1]|+|FR[i,j]-FR[i,j+1]|)+b1×(|FR[i,j+1]-FR[i,j-1]|+|FR[i-1,j]-FR[i-1,j+2]|+|FR[i-1,j]-FR[i-1,j-2]|)+a2×(|FB[i,j]-FB[i,j-1]|+|FB[i,j]-FB[i,j+1]|)+b2×(|FB[i,j+1]-FB[i,j-1]|+|FB[i-1,j]-FB[i-1,j+2]|+|FB[i-1,j]-FB[i-1,j-2]|) ・・・［式１１０］
横方向の非類似度ｙｙ１：ｙｙ１＝ a×(|FG[i,j]-FG[i-1,j]|+|FG[i,j]-FG[i+1,j]|)+b×(|FG[i+1,j]-FG[i-1,j]|+|FG[i,j-1]-FG[i+2,j-1]|+|FG[i,j-1]-FG[i-2,j-1]|)+a1×(|FR[i,j]-FR[i-1,j]|+|FR[i,j]-FR[i+1,j]|)+b1×(|FR[i+1,j]-FR[i-1,j]|+|FR[i,j-1]-FR[i+2,j-1]|+|FR[i,j-1]-FR[i-2,j-1]|)+a2×(|FB[i,j]-FB[i-1,j]|+|FB[i,j]-FB[i+1,j]|)+b2×(|FB[i+1,j]-FB[i-1,j]|+|FB[i,j-1]-FB[i+2,j-1]|+|FB[i,j-1]-FB[i-2,j-1]|) ・・・［式１１１］
斜め上方向の非類似度ｎｕ１：ｎｕ１＝ a×(|FG[i,j]-FG[i+1,j-1]|+|FG[i,j]-FG[i-1,j+1]|)+b×(|FG[i-2,j+1]-FG[i-1,j]|+|FG[i-1,j]-FG[i,j-1]|+|FG[i,j-1]-FG[i+1,j-2]|)+a1×(|FR[i,j]-FR[i+1,j-1]|+|FR[i,j]-FR[i-1,j+1]|)+b1×(|FR[i-2,j+1]-FR[i-1,j]|+|FR[i-1,j]-FR[i,j-1]|+|FR[i,j-1]-FR[i+1,j-2]|)+a2×(|FB[i,j]-FB[i+1,j-1]|+|FB[i,j]-FB[i-1,j+1]|)+b2×(|FB[i-2,j+1]-FB[i-1,j]|+|FB[i-1,j]-FB[i,j-1]|+|FB[i,j-1]-FB[i+1,j-2]|) ・・・［式１１２］
斜め下方向の非類似度ｎｓ１：ｎｓ１＝ a×(|FG[i,j]-FG[i-1,j-1]|+|FG[i,j]-FG[i+1,j+1]|)+b×(|FG[i-2,j-1]-FG[i-1,j]|+|FG[i-1,j]-FG[i,j+1]|+|FG[i,j+1]-FG[i+1,j+2]|)+a1×(|FR[i,j]-FR[i-1,j-1]|+|FR[i,j]-FR[i+1,j+1]|)+b1×(|FR[i-2,j-1]-FR[i-1,j]|+|FR[i-1,j]-FR[i,j+1]|+|FR[i,j+1]-FR[i+1,j+2]|)+a2×(|FB[i,j]-FB[i-1,j-1]|+|FB[i,j]-FB[i+1,j+1]|)+b2×(|FB[i-2,j-1]-FB[i-1,j]|+|FB[i-1,j]-FB[i,j+1]|+|FB[i,j+1]-FB[i+1,j+2]|) ・・・［式１１３］
なお、上式において、FR[○,△]、FG[○,△]、FB[○,△]は、ＲＧＢ３面の色情報における○行△列目の各値である。また、ａ１，ａ，ａ２、ｂ１，ｂ，ｂ２は、非類似度におけるＲＧＢ色の寄与率を決定する重み係数である。上記のように求めた非類似度から出発して、方向依存ローパス処理を行う過程については、第１の実施形態または第２の実施形態と同じため、ここでの説明を省略する。
【００７５】（第３の実施形態の効果など）第３の実施形態においても、第１の実施形態および第２の実施形態と同様の効果を得ることが可能となる。特に、第３の実施形態では、カラー画像データの色情報を２種類以上加味して非類似度の算出を行っている。したがって、Ｇ面はほぼ一様でＲ面またはＢ面のみが変化している画像においても、色の境界を正確に判断することが可能となる。したがって、このような色の境界を十分保存しながらノイズやジャギーを適切に除去することが可能となる。
【００７６】（第３の実施形態の補足事項）なお、上述した実施形態では、ＲＧＢを用いて非類似度の算出を行っているが、これに限定されるものではない。一般的には、画像の色に関する情報を２種類以上用いて類似性の判定を行えばよい。例えば、色情報として色差値や補色値その他の色刺激値を用いてもよい。
【００７７】また例えば、下記の［式１１４］のように、カラー画像データの２種類以上の色情報を用いて適当な画像データＹをまず合成し、その画像データＹについて類似性を判定してもよい。
Ｙ＝ａ×Ｇ＋ｂ×Ｒ＋ｃ×Ｂ ・・・［式１１４］
なお、上式の重み係数ａ，ｂ，ｃは、各色情報の視覚感度に対応した値に設定することが好ましい。この場合は、視覚感度に沿って類似性を判断することが可能となる。また、重み係数ａ，ｂ，ｃを逆に偏った値（負値も含む）に設定することにより、特定の分光エネルギー分布について類似性を判断することも可能となる。
【００７８】なお、上述した実施形態では、上記算出式を用いて一度に非類似度を算出しているが、これに限定されるものではない。例えば、視覚感度の高い色情報について類似性を判定し、その類似性から画像構造の方向性が不明確な場合のみ、その他の色情報について改めて類似性を判定してもよい。このような段階的な演算動作では、視覚感度の高い色情報を優先して類似性が判定されるので、視覚感度に合ったローパス処理を実行することが可能となる。また、大部分の画素では、１回目の演算で類似性を判断できるので、全体の演算処理量を軽減することも可能となる。次に、別の実施形態について説明する。
【００７９】《第４の実施形態》第４の実施形態は、請求項１〜１６の発明に対応した電子カメラの実施形態である。なお、第４の実施形態の装置構成については、第２の実施形態（図４）と同一のため、ここでの説明を省略する。図７は、第４の実施形態における画像処理動作を説明する流れ図である。なお、この画像処理動作は、第２の実施形態（図５）のステップＳ２８〜Ｓ２９をステップＳ４１〜Ｓ４５に代えたものである。以下、この差異部分について説明する。
【００８０】◎ステップＳ４１：同色画素間および異色画素間による非類似度の算出画像メモリ１８には、撮像素子１３から読み出されたベイヤ配列の画像データＯＲＧが残存する。この画像データＯＲＧは、ホワイトバランス処理後で、かつ色に関する補間処理前のカラー画像データである。画像処理部１５は、この画像データＯＲＧについて下記の演算を実行し、ｉ行ｊ列目における非類似度を求める。（なお、ここでは、画像データＯＲＧの画素値を、ＲＧＢいずれの色であるかを問わず、全てＺ［○，△］と表記する。）
縦方向の非類似度ｔｔ１：ｔｔ１＝p1×(|Z[i,j]-Z[i,j-1]|+|Z[i,j]-Z[i,j+1]|)+p2×(|Z[i-1,j]-Z[i-1,j-1]|+|Z[i-1,j]-Z[i-1,j+1]|)+p3×(|Z[i,j+1]-Z[i,j-1]|+|Z[i,j]-Z[i,j-2]| +|Z[i,j]-Z[i,j+2]|)+p4×(|Z[i-1,j+1]-Z[i-1,j-1]|+|Z[i-1,j]-Z[i-1,j-2]|+|Z[i-1,j]-Z[i-1,j+2]|) ・・・［式１２４］
横方向の非類似度ｙｙ１：ｙｙ１＝q1×(|Z[i,j]-Z[i-1,j]|+|Z[i,j]-Z[i+1,j]|)+q2×(|Z[i,j-1]-Z[i-1,j-1]|+|Z[i,j-1]-Z[i+1,j-1]|)+q3×(|Z[i+1,j]-Z[i-1,j]|+|Z[i,j]-Z[i+2,j]|+|Z[i,j]-Z[i-2,j]|)+q4×(|Z[i+1,j-1]-Z[i-1,j-1]|+|Z[i,j-1]-Z[i+2,j-1]|+|Z[i,j-1]-Z[i-2,j-1]|) ・・・［式１２５］
斜め上方向の非類似度ｎｕ１：ｎｕ１＝r1×(|Z[i,j]-Z[i+1,j-1]|+|Z[i,j]-Z[i-1,j+1]|)+r2×(|Z[i-1,j]-Z[i,j-1]|+|Z[i-1,j]-Z[i-2,j+1]|)+r3×(|Z[i-1,j+1]-Z[i+1,j-1]|+|Z[i,j]-Z[i+2,j-2]| +|Z[i,j]-Z[i-2,j+2]|)+r4×(|Z[i-2,j+1]-Z[i,j-1]| +|Z[i-1,j]-Z[i+1,j-2]|) ・・・［式１２６］
斜め下方向の非類似度ｎｓ１：ｎｓ１＝s1×(|Z[i,j]-Z[i-1,j-1]|+|Z[i,j]-Z[i+1,j+1]|)+s2×(|Z[i+1,j]-Z[i,j-1]|+|Z[i+1,j]-Z[i+2,j+1]|)+s3×(|Z[i+1,j+1]-Z[i-1,j-1]|+|Z[i,j]-Z[i-2,j-2]| +|Z[i,j]-Z[i+2,j+2]|)+s4×(|Z[i+2,j+1]-Z[i,j-1]| +|Z[i+1,j]-Z[i-1,j-2]|) ・・・［式１２７］
ただし、上式において、Z[○,△]は、画像データＯＲＧの○行△列目に位置するＲＧＢいずれかの値である。また、p1〜４，q1〜４，r1〜４，s1〜４は、非類似度における各項の寄与率を決定する重み係数（例えば、すべて１）である。
【００８１】また、絶対値の加算に重み付けを行ってもよい。例えば［式１２４］の第３項について一例を挙げると、p3×(|Z[i,j+1]-Z[i,j-1]|+ｕ・|Z[i,j]-Z[i,j-2]| +ｖ・|Z[i,j]-Z[i,j+2]|)（ただし、ｕ＝ｖ＝１／２程度が好ましい）
としても良い。
【００８２】◎ステップＳ４２：非類似度における方向別の重み調整画像処理部１５は、求めた非類似度に対して、方向別に重みを変更しても良い。この場合、例えば、次の２通りの重み調整が好ましい。
（ａ）ｔｔ１＝ｔｔ１，ｙｙ１＝ｙｙ１，ｎｕ１＝ｎｕ１，ｎｓ１＝ｎｓ１（ｂ）ｔｔ１＝ｔｔ１×２，ｙｙ１＝ｙｙ１×２，ｎｕ１＝ｎｕ１，ｎｓ１＝ｎｓ１特に、（ｂ）の重み調整では、斜め方向の非類似度が相対的に小さくなるので、方向依存ローパス処理において斜め方向の重み比率が高くなる。そのため、例えば、奇数列（行）と偶数列（行）とにゲイン差などの段差を生じる撮像素子において、その段差ノイズをキャンセルする効果が大きくなる。なお実際的には、画像データの特徴（欠陥）に応じて適正な重み調整を実行することが、より好ましい。（より具体的には、テスト画像の主観評価実験などを通して、上記（ａ）（ｂ）のいずれか、あるいは更に別の重みを用いるかなどを最終的に決定する）
【００８３】◎ステップＳ４３：重み比率の決定次に、画像処理部１５は、非類似度について、下記の平均演算を行い、代表値ｍ１を算出する。
ｍ１＝(ｔｔ１＋ｙｙ１＋ｎｕ１＋ｎｓ１)/４ ・・・［式１２８］
続いて、画像処理部１５は、４方向の非類似度ｔｔ１，ｙｙ１，ｎｕ１，ｎｓ１と、代表値ｍ１とに基づいて、次の非線形変換を実施し、ｔｔ２＝max｛ｍ１−ｔｔ１＋δ，γ｝・・・［式１２９］
ｙｙ２＝max｛ｍ１−ｙｙ１＋δ，γ｝・・・［式１３０］
ｎｕ２＝max｛ｍ１−ｎｕ１＋δ，γ｝・・・［式１３１］
ｎｓ２＝max｛ｍ１−ｎｓ１＋δ，γ｝・・・［式１３２］
（例えば、δ＝１，γ＝０）
４方向の類似度ｔｔ２，ｙｙ２，ｎｕ２，ｎｓ２を算出する。次に、画像処理部１５は、４方向の類似度ｔｔ２，ｙｙ２，ｎｕ２，ｎｓ２を正規化して、ｍ２＝ｔｔ２＋ｙｙ２＋ｎｕ２＋ｎｓ２ ・・・［式１３３］
ｔｔ＝ｔｔ２／ｍ２ ・・・［式１３４］
ｙｙ＝ｙｙ２／ｍ２ ・・・［式１３５］
ｎｕ＝ｎｕ２／ｍ２ ・・・［式１３６］
ｎｓ＝ｎｓ２／ｍ２ ・・・［式１３７］
４方向の重み比率ｔｔ，ｙｙ，ｎｕ，ｎｓを求める。
【００８４】◎ステップＳ４４：Ｇ面に対する方向依存ローパス処理ここで、画像処理部１５は、対象画素ＦＧ[i,j]に周辺画素を加重平均し、Tmp_FG[i,j]＝｛ＦＧ[i,j] ＋ｋ×ｔｔ（ＦＧ[i,j-1]＋ＦＧ[i,j+1]）
＋ｋ×ｙｙ（ＦＧ[i-1,j]＋ＦＧ[i+1,j]）
＋ｋ×ｎｕ（ＦＧ[i-1,j+1]＋ＦＧ[i+1,j-1]）
＋ｋ×ｎｓ（ＦＧ[i-1,j-1]＋ＦＧ[i+1,j+1]）｝／（１＋ｋ×２）
・・・［式１３８］
（ただし、ｋはローパス処理の強さを調整する数値。例えば、ｋ＝１／２）ローパス処理後の対象画素ＦＧ［ｉ，ｊ］を算出する。
【００８５】◎ステップＳ４５：色差補間画素に対するローパス処理画像処理部１５は、色差補間画素について方向依存ローパス処理を下式により実行する。
Tmp_DR[i, j]=[FDR[i,j] +k×tt(FDR[i,j-1]+FDR[i,j+1]) +k×yy(FDR[i-1,j]+FDR[i+1,j]) +k×nu(FDR[i-1,j+1]+FDR[i+1,j-1]) +k×ns(FDR[i-1,j-1]+FDR[i+1,j+1])]/(1+k×2) ・・・［式１３９］
Tmp_DB[i, j]=[FDB[i,j] +k×tt(FDB[i,j-1]+FDB[i,j+1]) +k×yy(FDB[i-1,j]+FDB[i+1,j]) +k×nu(FDB[i-1,j+1]+FDB[i+1,j-1]) +k×ns(FDB[i-1,j-1]+FDB[i+1,j+1])]/(1+k×2) ・・・［式１４０］
（ただし、ｋはローパス処理の強さを調整する定数値であり、例えばｋ＝１／２）
画像処理部１５は、上記の方向依存ローパス処理が画面全体について完了した後、下記の置き換えを実行する。
FG[i, j]=Tmp_FG[i, j]FDR[i, j]=Tmp_DR[i, j]FDB[i, j]=Tmp_DB[i, j]
【００８６】（第４の実施形態の効果など）第４の実施形態においても、第２の実施形態と同様の効果を得ることが可能となる。特に、第４の実施形態では、補間処理前のデータで非類似度の計算を行うので、処理規模が少なくてすむ利点がある。また、第４の実施形態では、ホワイトバランス処理後のカラー画像データを用いて異色画素間の特徴差を算出するのが好ましい。このホワイトバランス処理によって、色の極端な偏りが予め抑制されるので、色の偏りに起因する類似性の誤判断を低減することが可能となる。なお、本発明者は、上述した実施形態において補間処理の前後どちらに階調変換や階調補正を行っても、本発明の方向依存ローパス処理が良好な効果をもたらすことを、画質の主観評価によって確認している。
【００８７】（第４の実施形態の補足事項など）なお、上述した実施形態では、画像処理部１５が画像処理プログラムを実行する場合について説明したが、これに限定されるものではない。例えば、画像処理部１５の処理速度を上げるために、上述した画像処理の一部もしくは全部を演算回路などで実行してもよい。
【００８８】なお、第４の実施形態においては、画像データが高彩度の場合に非類似度における異色画素間の特徴差の寄与率を低くし、低彩度の場合に非類似度における異色画素間の特徴差の寄与率を高くすることが好ましい。図８は、このような寄与率の自動調整を追加した流れ図である。以下、追加部分の動作について説明する。
【００８９】◎ステップＳ５１：２種類の彩度算出画像処理部１５は、下式を用いて、画像データＯＲＧについてｉ行ｊ列目の彩度ＣＣｔ，ＣＣｙを算出する。
ＣＣｔ＝(|Z[i,j-1]-Z[i,j]|+|Z[i,j+1]-Z[i,j]|)/2ＣＣｙ＝(|Z[i-1,j]-Z[i,j]|+|Z[i+1,j]-Z[i,j]|)/2
【００９０】◎ステップＳ５２：彩度の判定画像処理部１５は、次の条件式を判定する。
（ＣＣｔ＞ＢＷｔｈ） ａｎｄ （ＣＣｙ＞ＢＷｔｈ）
２種類の彩度ＣＣｔ，ＣＣｙがどちらも閾値ＢＷｔｈを上回った場合、高彩度箇所である可能性が高い。この場合、画像処理部１５は、異色画素間の特徴差の係数p1〜2，q1〜2，r1〜2，s1〜2を低減し、同色画素間の特徴差の係数p3〜4，q3〜4，r3〜4，s3〜4を増やして、異色画素間の特徴差の寄与率を低下させる。逆に、２種類の彩度ＣＣｔ，ＣＣｙのいずれかが閾値ＢＷｔｈを下回った場合低彩度と判断される。この場合、画像処理部１５は、異色画素間の特徴差の係数p1〜2，q1〜2，r1〜2，s1〜2を増やすなどして、異色画素間の特徴差の寄与率を高くする。
【００９１】なお、極端な場合、次のように係数を可変してもよい。
（ａ）完全に同色画素間と異色画素間とを切り換えるケース高彩度と判断した場合に、画像処理部１５は、異色画素間の特徴差の係数p1〜2，q1〜2，r1〜2，s1〜2をゼロにし、同色画素間の特徴差の係数p3〜4，q3〜4，r3〜4，s3〜4を１にする。一方、低彩度と判断した場合に、画像処理部１５は、異色画素間の特徴差の係数p1〜2，q1〜2，r1〜2，s1〜2を１にし、同色画素間の特徴差の係数p3〜4，q3〜4，r3〜4，s3〜4をゼロにする。
（ｂ）高彩度時は同色画素間のみ使用するケース高彩度と判断した場合に、画像処理部１５は、異色画素間の特徴差の係数p1〜2，q1〜2，r1〜2，s1〜2をゼロにし、同色画素間の特徴差の係数p3〜4，q3〜4，r3〜4，s3〜4を１にする。一方、低彩度と判断した場合に、画像処理部１５は、異色画素間の特徴差の係数p1〜2，q1〜2，r1〜2，s1〜2を１にし、同色画素間の特徴差の係数p3〜4，q3〜4，r3〜4，s3〜4を１にする。
【００９２】以上のように、非類似度における異色画素間の特徴差の寄与率を彩度に応じて可変することにより、高彩度箇所を画像構造と誤判断することが少なくなる。したがって、画像構造の方向性をより正確に判断して、方向依存ローパス処理を実行することが可能となる。なお正確には、Ｇ格子の位置においてr1，s1は同色画素間の特徴差の係数となり、ＲＢ格子の位置においてr2，s2は同色画素間の特徴差の係数となる。そこで、Ｇ格子かＲＢ格子かに応じて、r1〜2，s1〜2の値を更に可変してもよい。この場合には、より厳密に画像構造を判断できるという利点がある。しかしながら、この場合には、格子位置によって非類似度の算出値が上下し、方向依存ローパス処理後に格子状の固定むらが生じるおそれがある。このような不具合を生じる場合には、上記処理に示したように、r1〜2，s1〜2を一律に異色画素間の特徴差の係数として扱うことが好ましい。
【００９３】なお、上述した第１〜４の実施形態では、それぞれ特徴的な類似性判断の手法を述べたが、これらの手法を適宜に組み合わせたり、各手法の判断結果を比較して顕著な差の現れたものを採用したり、平均的なものを採用するなどしてもよい。このような複合的な手法により、一段と適切な類似性判断が可能となる。
【００９４】また、上述した第１〜４の実施形態では、説明をわかりやすくするために、非類似度などの変数名を請求項中の変数名と一致させている。しかしながら、このような具体的な記載によって、請求項中の変数の内容が不必要に限定されるものではない。
【００９５】なお、上述した第１〜４の実施形態では、マトリクス画素配列やベイヤ配列の場合について説明したが、これに限定されるものではない。例えば、ハニカム画素配列その他の特殊な画素配列においても、各方向の画素間隔などを考慮して『少なくとも４方向』や『重み比率の値』などを適宜に決定すれば、本発明が適用可能である。
【００９６】
【発明の効果】《請求項１》請求項１に記載の発明では、類似性の低い方向については、小さな重み比率で加重平均がなされるため、画像構造の劣化が極めて少ない。また、類似性の強い方向については、大きな重み比率で加重平均がなされるため、微小な起伏（ノイズなど）を効果的に抑制することができる。
【００９７】《請求項２》請求項２に記載の発明では、前者（１）の特徴差を使用して類似性判定を行うことにより、対象画素のノイズを効果的に抑制することができる。一方、後者（２）の特徴差を使用して類似性判定を行うことにより、対象画素のジャギーを顕著に抑制することができる。さらに、（１）および（２）の特徴差を加味して類似性判定を行うことにより、ノイズとジャギーとをバランス良く抑制することが可能となる。
【００９８】《請求項３》請求項３に記載の発明では、非類似度を重み比率に変換する過程で、［式１〜４］に示す非線形変換を実施する。この非線形変換により、非類似度の突出度合いなどを考慮した、相対的な重み比率を決定することが可能となる。また、この非線形変換は、閾値以上の非類似度を持つ方向について、重み比率への反映を一律にγに制限することが可能となる。例えば、このγの値をゼロにしておけば、明らかに画像構造と思われる方向の重み比率がゼロとなり、その方向の画像構造を確実に維持することが可能となる。
【００９９】《請求項４》請求項４に記載の発明では、カラー画像データの２種類以上の色情報に基づいて類似性の判定を行う。したがって、同一輝度の色境界などのように画像構造の判断が困難な箇所を的確に判断することが可能となる。したがって、同一輝度の色境界などを十分保存しながら、ノイズやジャギーを抑制することが可能となる。
【０１００】《請求項５》請求項５に記載の発明では、補間処理前のカラー画像データに基づいて類似性の判定を行う。したがって、補間処理後に生じる偽色成分などによって、画像構造の方向性を誤判断するおそれがない。
【０１０１】《請求項６》請求項６に記載の発明では、同色画素間の特徴差から非類似度を算出することにより、高彩度箇所において画像構造の方向性を正確に判断できる。また、異色画素間の特徴差から非類似度を算出することにより、単板式などで撮像された画像データにおいても最近接画素間の特徴差を取ることが可能となり、より微細な画像構造の方向性を判断することが可能となる。さらに、両特徴差を加味して非類似度を算出することにより、両特徴差の利点を兼ね合わせて画像構造の方向性を判断することが可能となる。
【０１０２】《請求項７》請求項７に記載の発明では、ホワイトバランス処理によってカラー画像データの極端な色の偏りを抑制した後に、異色画素間の特徴差を算出する。この場合、極端な色の偏りによって異色画素間の特徴差が大きくなるなどの弊害を防止することができる。したがって、画像構造の方向性をより正確に判断することが可能となる。
【０１０３】《請求項８》請求項８に記載の発明では、高彩度な箇所において異色画素間の特徴差の寄与率を下げることが可能となり、画像構造の方向性を彩度によって誤判断するおそれが少なくなる。したがって、画像構造をより正確に判断しながら、ノイズやジャギーを抑制することが可能となる。
【０１０４】《請求項９》請求項９に記載の発明では、補間画素に対してローパス処理を重点的にかけるので、補間処理に起因する偽色やジャギーを軽減することが可能となる。
【０１０５】《請求項１０》請求項１０に記載の発明では、補間画素のピークをローパス処理に先立って制限する。したがって、ローパス処理によって補間画素のピークが周辺画素に拡大して目立つのを防ぐことができる。
【０１０６】《請求項１１》請求項１１に記載の発明では、情報量が豊富なローパス処理前の第１色を用いて色差を求める。したがって、情報量の豊富の色差を求めることができる。
【０１０７】《請求項１２》請求項１２に記載の発明では、第２色の変換に際して、ローパス処理後の第１色を使用する。したがって、第１色を介して、第２色に混入するノイズやジャギーが少なく、第２色に対するその後の画像処理を省いたり、軽減することが可能となる。
【０１０８】《請求項１３》請求項１３に記載の発明では、第１色から求めた正確な重み比率を使用して、第２色または色差にローパス処理を施す。したがって、第２色に対して適切なローパス処理をかけることができる。
【０１０９】《請求項１４》請求項１４に記載の発明では、類似性が最も低い方向の重み比率を実質的にゼロとする。したがって、その方向について画像構造を正確に保存することが可能となり、ローパス処理による画像の崩れを確実的に回避することができる。
【０１１０】《請求項１５》請求項１５に記載の記録媒体を使用することにより、コンピュータ上で請求項１ないし１４のいずれか１項に記載の画像処理方法を実行することが可能となる。
【０１１１】《請求項１６》請求項１６に記載の画像処理装置を用いて、請求項１ないし１４のいずれか１項に記載の画像処理方法を実行することが可能となる。
【図面の簡単な説明】
【図１】第１の実施形態における画像処理プログラムを示す図である。
【図２】非類似度の計算を説明するための図である。
【図３】ディスプレイ上の中間調画像の写真である。
【図４】電子カメラ１１の構成ブロック図である。
【図５】第２の実施形態における画像処理プログラムを示す流れ図である。
【図６】画像処理プログラムの動作手順を説明するための図である。
【図７】電子カメラの画像処理動作を説明する流れ図である。
【図８】電子カメラの画像処理動作を説明する流れ図である。
【符号の説明】
１１ 電子カメラ
１２ 撮影レンズ
１３ 撮像素子
１４ Ａ／Ｄ変換部
１５ 画像処理部
１６ データバス
１７ 読み出し専用メモリ
１８ 画像メモリ
【０００１】
【発明の属する技術分野】本発明は、デジタルスチルカメラ等で撮影・記録される画像データに対して、空間周波数のローパス処理を行う画像処理方法に関する。また、本発明は、その画像処理方法をコンピュータ上で実現するための画像処理プログラムを記録した記録媒体に関する。さらに、本発明は、その画像処理方法を実行する画像処理装置に関する。
【０００２】
【従来の技術】従来、画像データのノイズを除去する目的から、画像データにローパス処理をかけることが良く知られている。
【０００３】
【発明が解決しようとする課題】しかしながら、通常の等方的なフィルターをかけた場合は、上記の効果は得られるものの、微細構造も同時に失われるという欠点が生じていた。したがって、本発明の目的は、画像の微細構造を失わないように、画像データにローパス処理を施すことである。特に、請求項２の発明の目的は、従来除去が困難であったジャギー（傾斜エッジなどに発生するギザギザ）を的確に除去することが可能な画像処理方法を提供することである。
【０００４】
【課題を解決するための手段】以下、後述する実施形態のステップ番号を対応付けながら、解決するための手段を説明する。なお、これらの対応付けは参考のためであり、本発明の内容を限定するものではない。
【０００５】《請求項１》請求項１に記載の発明は、画像データに対して、空間周波数のローパス処理を施す画像処理方法において、ローパス処理の対象画素を含む局所領域に関して、少なくとも４つの方向における画素の類似性を判定する類似性判定手順（Ｓ２〜５）と、類似性判定手順の判定結果に基づいて画素類似性の強い方向の重み比率を増やしたうえで、対象画素に周辺画素を加重平均する方向依存ローパス演算手順（Ｓ６〜７）とを有することを特徴とする。
【０００６】上記の画像処理方法では、まず、対象画素を含む局所領域において、少なくとも４つの方向（例えば、『縦』『横』『斜め上』『斜め下』）に画素ラインを設定する。これらの画素ラインごとに、画素間の特徴差（レベル差、色相差、彩度差など）などを検出して、各方向の画素類似性を判定する。次に、この画素類似性の強い方向の重み比率を増やしたうえで、対象画素に周辺画素を加重平均する。したがって、画素類似性の低い方向については、小さな重み比率（ゼロも含む）で加重平均がなされるため、対象画素の画像構造をさほど損なうことがない。また、画素類似性の強い方向については、大きな重み比率で加重平均がなされるため、対象画素の微小な起伏（ノイズなど）を効果的に抑制することができる。
【０００７】《請求項２》請求項２に記載の発明は、請求項１に記載の画像処理方法において、類似性判定手順（Ｓ２〜５）は、所定方向の非類似度を、下記（１）（２）のいずれか一方の値または両方の値に基づいて算出し、非類似度に基づいて画素類似性の判定を行うことを特徴とする。
（１）対象画素を通る所定方向のライン上に位置する画素間の特徴差（２）対象画素の近くを通る所定方向のライン上に位置する画素間の特徴差以下、場合に分けて説明を行う。
【０００８】◎前者（１）の特徴差のみを使用して類似性判定を行う場合前者（１）の特徴差が小さければ、対象画素と周辺画素との類似性（以下『中心ライン上の類似性』という）は高いと判定できる。
【０００９】このような中心ライン上の類似性に基づいて重み比率を決定した場合、対象画素のもつ画像構造（エッジ構造など）を確実に保ちつつ、対象画素の微小な起伏（すなわちノイズ）を強く抑制することができる。
【００１０】◎後者（２）の特徴差のみを使用して類似性判定を行う場合後者（２）の特徴差が小さければ、対象画素の隣接ライン上における、周辺画素同士の類似性（以下『隣接ライン上の類似性』という）が高いと判定できる。このような隣接ライン上の類似性に基づいて重み比率を決定した場合、後述の実施形態（図３）にも示されるように、ジャギーを効果的に除去することが可能となる。以下、このような効果の理由について説明する。通常、目立つジャギーは、傾斜エッジや傾斜ラインの境界線上に発生する。このようにジャギーを発生している画素は、周辺画素との連続性が顕著に途切れている。そのため、周辺との特徴差（前者（１）の特徴差に相当）が大きく、ジャギー発生画素を中心に周辺との特徴差をとっても画像構造との区別がなかなかつかない。そこで、ジャギー発生範囲（箇所）に隣接し、かつ各方向に伸びる隣接ラインに注目する。これら隣接ラインのうちで、傾斜エッジや傾斜ラインの境界線と略平行する方向に伸びる隣接ライン（以下『傾斜方向の隣接ライン』という）は、局所領域内において傾斜エッジや傾斜ラインの境界線内側（または外側）を通過する。このような境界線内側は、境界線の直上におけるジャギーの影響をさほど受けず、かつ画像構造上も濃淡差が少ないため、画素の連続性がよく保たれている。したがって、傾斜方向の隣接ラインの上では、画素間の特徴差は小さく、その結果、傾斜方向の類似性は高いと判定される。一方、傾斜方向とは異なる方向へ伸びる隣接ラインは、傾斜エッジや傾斜ラインの境界線と交差したり、ジャギー発生箇所を直にまたぐため、画素の連続性が顕著に途切れてしまう。そのため、傾斜方向以外の隣接ラインでは、画素間の特徴差が大きく発生する。その結果、傾斜方向以外の隣接ラインについては、画素類似性が低いと判定される。このような画素類似性の判定結果に従って、傾斜方向の重み比率が特に大きく設定される。そのため、ジャギー発生画素は、傾斜方向に沿って画素値が平滑化されることなり、ジャギーが軽減する。また、このような傾斜方向の平滑化では、傾斜エッジや傾斜ラインの画像構造を保つ（ジャギーで崩れた線については修復する）ことができる。このような理由から、後者（２）の特徴差を用いて類似性判定を行った場合、画像上のジャギーを効果的に除去し、併せてジャギーで崩れた画像構造を修復することも可能となる。
【００１１】◎両方の特徴差を使用して類似性判定を行う場合この場合、両方の特徴差について、類似性判定に反映する度合いを適宜に調整することが可能となる。その結果、上記した両方の効果を適宜に調整し、画像のノイズとジャギーとをバランス良く除去することが可能となる。
【００１２】《請求項３》請求項３に記載の発明は、請求項１または請求項２に記載の画像処理方法において、類似性判定手順は、少なくとも４方向の非類似度を、局所領域内の画素間の特徴差に基づいて算出し（Ｓ３）、少なくとも４方向の非類似度について平均またはメディアンを取ることにより非類似度の代表値ｍ１を求め（Ｓ４）、少なくとも４方向の非類似度ｔｔ１，ｙｙ１，ｎｕ１，ｎｓ１と、代表値ｍ１とに基づいて［式１〜４］の非線形変換を実行して、ｔｔ２＝max｛ｍ１−ｔｔ１＋δ，γ｝・・・［式１］
ｙｙ２＝max｛ｍ１−ｙｙ１＋δ，γ｝・・・［式２］
ｎｕ２＝max｛ｍ１−ｎｕ１＋δ，γ｝・・・［式３］
ｎｓ２＝max｛ｍ１−ｎｓ１＋δ，γ｝・・・［式４］
（ただし、上式中のδ，γは予め定められた値であり、０の場合も含む）
類似度ｔｔ２，ｙｙ２，ｎｕ２，ｎｓ２を求める動作（Ｓ５）を行う手順であり、方向依存ローパス演算手順は、求めた類似度ｔｔ２，ｙｙ２，ｎｕ２，ｎｓ２に応じて、少なくとも４方向に位置する周辺画素の重み比率を決定し（Ｓ６）、対象画素に周辺画素を加重平均する動作（Ｓ７）を行う手順であることを特徴とする。以下、［式１〜４］に示される非線形変換の特徴点［Ａ］，［Ｂ］について説明する。
【００１３】［Ａ］代表値ｍ１を基準にした相対的な変換である。代表値ｍ１は、対象画素ごとに非類似度の平均（ふつうの加算平均、二乗平均、メディアン、あるいはその他の平均法でもよい）をとって決定される。この場合、非類似度が総体的に高いと代表値ｍ１は高くなるし、非類似度が全体的に低いと代表値ｍ１は低くなる。［式１〜４］では、max演算の比較第１項の中で、このような代表値ｍ１と、非類似度ｔｔ１，ｙｙ１，ｎｕ１，ｎｓ１との差分をとる。この差分は、代表値ｍ１を基準にした相対差分である。したがって、ある方向の非類似度が低くても、その他の非類似度が同様に低ければ、上記差分の絶対値は小さくなる。この場合は、非類似度がたとえ低くても、類似度の値は小さく、さほど類似性はないと判断される。逆に、ある方向の非類似度がその他の非類似度に比べて突出して低いような場合、上記差分は大きくなる。この場合は、その非類似度がある程度高い値であったとしても、類似度の値は相対的に大きくなり、類似性は高いと判断される。したがって、絶対基準の変換（非類似度の逆数をとって類似度とするなど）とは異なり、非類似度の突出度合いなどを十分考慮に入れた、より適切な類似度を求めることが可能となる。なお、上記差分の算出にあたっては、オフセット項δを加算する。この場合、オフセット項δが大きくなるに従って、［式１〜４］の各値の差異が小さくなり、均等な重みのローパス処理に近づく。このように、オフセット項δの分だけ、設計上の自由度を高くすることも可能となっている。
【００１４】［Ｂ］閾値（ｍ１＋δ−γ）を上限値とした、非線形な変換（リミッタ）である。非類似度が閾値（ｍ１＋δ−γ）を上回ると、max演算中の比較第１項はγよりも小さくなる。この場合、［式１〜４］の計算結果は、γの値に制限される。したがって、明らかに画像構造などに起因すると思われる『閾値以上の非類似度』については、重み比率への反映をγに制限することが可能となる。好ましくは、このγの値をゼロにしておけば、明らかに画像構造と思われる方向（類似性が特に低い方向）の重み比率がゼロとなる。この場合、類似性の低い方向の寄与を排除して、類似性の高い方向だけでローパスをかけることになるので、画像構造を確実に維持することが可能となる。また、このγの値を負の値としておけば、明らかに画像構造と思われる方向については、結果的にハイパス処理（重み比率が負の値）を施すこととなり、その方向の画像コントラストを強調することが可能となる。上記の［Ａ］，［Ｂ］に説明したように、［式１〜４］の非線形変換を使用することにより、ローパス処理の重み比率をより適切に決定することが可能となる。
【００１５】《請求項４》請求項４に記載の発明は、請求項１ないし請求項３のいずれか１項に記載の画像処理方法において、画像データは、カラー画像データであり、類似性判定手順（Ｓ４１〜Ｓ４３）は、カラー画像データの２種類以上の色情報に基づいて類似性の判定を行うことを特徴とする。上記構成では、カラー画像データの２種類以上の色情報に基づいて類似性の判定を行う。したがって、１種類の色情報では差が現れないような色の境界を的確に判断して、方向依存ローパス処理を適正に実行することが可能となる。
【００１６】《請求項５》請求項５に記載の発明は、請求項４に記載の画像処理方法において、類似性判定手順（Ｓ４１〜Ｓ４３）は、補間処理前のカラー画像データに基づいて類似性の判定を行うことを特徴とする。上記構成では、補間処理前のカラー画像データに基づいて類似性の判定を行う。したがって、補間処理後に生じる偽色成分などによって、画像構造の方向性を誤判断するおそれがない。また、Ｇ全面補間前の情報で類似性の判定ができるので、処理の規模を小さくすることができる。
【００１７】《請求項６》請求項６に記載の発明は、請求項４または請求項５に記載の画像処理方法において、類似性判定手順（Ｓ４１〜Ｓ４３）は、所定方向の非類似度を、所定方向における同色画素間および／または異色画素間の特徴差を用いて算出し、非類似度に応じて類似性の判定を行うことを特徴とする。以下、場合に分けて説明を行う。
【００１８】◎同色画素間の特徴差のみを使用して非類似度を算出する場合同色画素間の特徴差を取るので、高彩度な局所領域において画像構造の方向性を正確に判断することができる。
【００１９】◎異色画素間の特徴差のみを使用して非類似度を算出する場合最近接画素間の特徴差を取ることなどが可能となり、より微細な画像構造の方向性を判断することが可能となる。（ただし、高彩度な局所領域では類似性に関して適切な結果を与えない場合があるので、その点に留意することが好ましい。）
【００２０】◎同色画素間および異色画素間の特徴差を使用して非類似度を算出する場合この場合、類似性判定に反映する両特徴差の度合いを適宜に調整することが可能となる。その結果、上記した両方の利点を兼ね合わせて、画像構造の方向性を最適に判断することが可能となる。
【００２１】《請求項７》請求項７に記載の発明は、請求項６に記載の画像処理方法において、類似性判定手順（Ｓ４１〜Ｓ４３）は、ホワイトバランス処理後のカラー画像データから異色画素間の特徴差を算出することを特徴とする。上記構成では、ホワイトバランス処理後のカラー画像データを用いて異色画素間の特徴差を算出する。この場合、ホワイトバランス処理によって、カラー画像データの極端な色の偏りが抑制される。したがって色の偏りが特徴差として現れるおそれが少なく、画像構造の方向性を正確に判断することが可能となる。
【００２２】《請求項８》請求項８に記載の発明は、請求項６または請求項７のいずれか１項に記載の画像処理方法において、類似性判定手順は、ローパス処理の対象画素について彩度を検出し（Ｓ５１）、検出した彩度に対応して、非類似度の算出における異色画素間の特徴差の寄与率を可変すること（Ｓ５２）を特徴とする。一般に、極端に高彩度な箇所では、異色画素間の特徴差が大きくなるため、これを画像構造の方向性と誤って判断するおそれが高い。そこで、上記構成では、彩度に対応して非類似度における異色画素間の特徴差の寄与率を可変する。その結果、画像構造の方向性をより正確に判断することが可能となる。
【００２３】《請求項９》請求項９に記載の発明は、請求項１ないし８のいずれか１項に記載の画像処理方法において、画像データは、欠落した画素について補間処理が施された画像データであり、方向依存ローパス演算手順は、補間処理が実施された画素のみを対象画素としてローパス処理を施すこと（Ｓ２８，Ｓ２９）を特徴とする。
【００２４】通常、補間処理に起因して偽色やジャギーが発生する場合がある。本発明の画像処理方法は、このような偽色やジャギーを軽減する上で有効な方法である。そこで、補間処理が実施されて偽色やジャギーを発生している可能性のある画素に対して、本発明のローパス処理を重点的にかける。その結果、補間処理に起因する偽色やジャギーを確実に軽減することが可能となる。一方、非補間画素に対しては、ローパス処理を施さない（または弱くかける）。したがって、非補間画素については、データが忠実に保存される。したがって、ユーザー側では、非補間画素の忠実なデータに基づいて、所望の画像処理を後日改めて実施することなどが可能となる。
【００２５】《請求項１０》請求項１０に記載の発明は、請求項１ないし９のいずれか１項に記載の画像処理方法において、画像データは、欠落した画素について補間処理が施された画像データであり、類似性判定手順は、ローパス処理に先だって、補間処理が実施された画素の値を、その画素近傍の所定領域における画素最大値または最小値に対応する境界値で制限する（Ｓ２７）ことを特徴とする。特殊な補間処理においては、補間画素にピークが生じる場合がある。請求項５の画像処理方法では、このような補間画素のピークを、ローパス処理に先立って制限する。したがって、ローパス処理を介して補間画素のピークが周辺画素に拡大しなくなり、画質が向上する。
【００２６】《請求項１１》請求項１１に記載の発明は、請求項１ないし１０のいずれか１項に記載の画像処理方法において、画像データは、画素密度の一番高い第１色と、空格子を有して画素密度の低い第２色とを少なくとも有するカラー画像データであり、第２色の存在する画素について、第２色と第１色の色差をとる色差算出手順（Ｓ２５）と、第２色の存在しない画素について、色差算出手順で得た色差に基づいて色差補間値を求める色差補間手順（Ｓ２６）と、色差補間手順で求めた色差補間値を、第１色を用いて第２色に変換する第２色復元手順（Ｓ３０）とを有し、色差算出手順において、色差の算出に使用する第１色は、ローパス処理前の第１色であることを特徴とする。上記の画像処理方法では、画素の色差について補間処理を行う。この場合、色差の算出に際して、ローパス処理前の第１色を使用する。したがって、ローパス処理前の豊富な情報量に基づいて色差を求め、その豊富な情報量の色差に基づいて、なるべく元画像に忠実な補間処理を実施することが可能となる。
【００２７】《請求項１２》請求項１２に記載の発明は、請求項１１に記載の画像処理方法において、第２色復元手順（Ｓ３０）において、第２色の算出に使用する第１色は、ローパス処理後の第１色であることを特徴とする。ローパス処理により、第１色についてはノイズまたはジャギーが適度に抑制されている。このローパス処理後の第１色を、補間処理後の色差に加算（または乗算）して、第２色を生成する。この場合、第１色を介して、第２色に混入するノイズやジャギーが少なくなり、第２色に対するその後の画像処理（ローパス処理など）を省いたり、軽減することが可能となる。
【００２８】《請求項１３》請求項１３に記載の発明は、請求項１１または請求項１２に記載の画像処理方法において、方向依存ローパス演算手順は、前記第１色から重み比率を求め、その重み比率を利用して前記第２色または前記色差にローパス処理を施す（Ｓ２９）を特徴とする。第１色は画素密度が一番高いため、第１色から求めた重み比率は、画像の起伏を最も高精度に反映した重み比率となる。このような重み比率を利用して、第２色（または色差）にローパス処理を施すことにより、第２色に対して的確なローパス処理を施すことが可能となる。また、この場合は、第１色のローパス処理時に求めた重み比率を流用することが可能となる。したがって、第２色用に重み比率を新たに算出するなどの手間を省くことが可能となり、画像処理の所要時間を短縮することが可能となる。
【００２９】《請求項１４》請求項１４に記載の発明は、請求項１ないし請求項１３に記載の画像処理方法において、前記方向依存ローパス演算手順は、少なくとも、類似性の最も低い方向の重み比率を実質的にゼロにすることを特徴とする。このように、類似性の最も低い方向の重み比率を実質的にゼロとすることにより、その方向の画像構造を確実に維持することが可能となり、ローパス処理による画像の崩れを確実に防ぐことができる。
【００３０】《請求項１５》請求項１５に記載の記録媒体は、コンピュータに請求項１ないし請求項１４のいずれか１項に記載の全ての手順を実行させるための画像処理プログラムが記録されていることを特徴とする。この記録媒体内の画像処理プログラムをコンピュータ上で実行することにより、請求項１ないし１４のいずれか１項に記載の画像処理方法を実行することが可能となる。
【００３１】なお、デジタルスチルカメラ等の携帯型装置では、例えば、本発明の記録媒体は、装置内のＲＯＭメモリに該当する。また、本発明の記録媒体として、前記携帯型装置に脱着可能な記録媒体（例えばメモリカードなど）を使用することもできる。この場合、前記携帯型装置（のＣＰＵ）は、装着された前記記録媒体から画像処理プログラムを読み出して実行することになる。
【００３２】《請求項１６》請求項１６に記載の画像処理装置は、請求項１ないし請求項１４のいずれか１項に記載される全ての手順を実行する画像処理部を備えて構成される。なお、後述する第１の実施形態では、画像処理プログラムに沿って各手順を実行するコンピュータが画像処理装置に該当する。また、第２および第４の実施形態では、画像処理部１５または電子カメラ１１が画像処理装置に該当する。
【００３３】
【発明の実施の形態】以下、図面を用いて、発明の実施形態について説明する。
【００３４】《第１の実施形態》第１の実施形態は、請求項１〜３、１５、１６に記載の発明に対応する実施形態である。なお、本実施形態は、コンピュータ上において、画像処理プログラムを実行するものであり、そのための画像処理プログラムは記録媒体に記録された状態で製造および配布される。また、通信回線を介して画像処理プログラムを提供して相手国内の記録媒体（コンピュータの内部メモリやハードディスクなど）に記録されることにより、相手国内において上記記録媒体を製造する場合もある。
【００３５】図１は、この画像処理プログラムの動作手順を説明する流れ図である。以下、図１に示す動作手順に従って、第１の実施形態の動作を説明する。まず、コンピュータは、処理対象とする画像ファイルを読み出し、画像データに展開してメモリ上に格納する（ステップＳ１）。
【００３６】ここでの画像処理は、このようにメモリ上に展開された単色の画像データ（カラー画像の各色ごとのデータも含む。あるいは複数色から合成した輝度画像であってもよい。）を対象に実施される。コンピュータは、この画像データの中からｉ行ｊ列目に位置する対象画素FG[i, j]を一つ選択し、その対象画素を中心にして５行５列程度の局所領域を設定する（ステップＳ２）。
【００３７】コンピュータは、この局所領域内の画素間レベル差に基づいて下式を計算し、４方向（縦，横，斜め上，斜め下）の非類似度ｔｔ１,ｙｙ１,ｎｕ１,ｎｓ１をそれぞれ算出する（ステップＳ３）。
縦方向の非類似度ｔｔ１：ｔｔ１＝ a×(|FG[i,j]-FG[i,j-1]|+|FG[i,j]-FG[i,j+1]|) + b×(|FG[i,j+1]-FG[i,j-1]|+|FG[i-1,j]-FG[i-1,j+2]|+|FG[i-1,j]-FG[i-1,j-2]|) + c×(|FG[i, j+1]-FG[i, j-1]|+|FG[i+1, j]-FG[i+1, j+2]|+|FG[i+1, j]-FG[i+1, j-2]|) ・・・［式５］
横方向の非類似度ｙｙ１：ｙｙ１＝ a×(|FG[i,j]-FG[i-1,j]|+|FG[i,j]-FG[i+1,j]|) + b×(|FG[i+1,j]-FG[i-1,j]|+|FG[i,j-1]-FG[i+2,j-1]|+|FG[i,j-1]-FG[i-2,j-1]|) + c×(|FG[i+1,j]-FG[i-1,j]|+|FG[i,j+1]-FG[i+2,j+1]|+|FG[i,j+1]-FG[i-2,j+1]|) ・・・［式６］
斜め上方向の非類似度ｎｕ１：ｎｕ１＝ a×(|FG[i,j]-FG[i+1,j-1]|+|FG[i,j]-FG[i-1,j+1]|) + b×(|FG[i-2,j+1]-FG[i-1,j]|+|FG[i-1,j]-FG[i,j-1]|+|FG[i,j-1]-FG[i+1,j-2]|) + c×(|FG[i-1,j+2]-FG[i,j+1]|+|FG[i,j+1]-FG[i+1,j]|+|FG[i+1,j]-FG[i+2,j-1]|) ・・・［式７］
斜め下方向の非類似度ｎｓ１：ｎｓ１＝ a×(|FG[i,j]-FG[i-1,j-1]|+|FG[i,j]-FG[i+1,j+1]|) + b×(|FG[i-2,j-1]-FG[i-1,j]|+|FG[i-1,j]-FG[i,j+1]|+|FG[i,j+1]-FG[i+1,j+2]|) + c×(|FG[i-1,j-2]-FG[i,j-1]|+|FG[i,j-1]-FG[i+1,j]|+|FG[i+1,j]-FG[i+2,j+1]|) ・・・［式８］
図２(1)〜(4)は、上記の［式５〜８］の演算式をそれぞれ図示したものである。図２中において、両端向きの矢印はレベル差算出を行う画素位置を示し、矢印上のａ，ｂはレベル差の比例定数を表す。なお、図示していない比例定数ｃの項については、対象画素を挟んで、比例定数ｂの項と対称関係に位置する。
【００３８】次に、コンピュータは、４方向の非類似度について、下記の平均演算を行い、代表値ｍ１を算出する（ステップＳ４）。
ｍ１＝(ｔｔ１＋ｙｙ１＋ｎｕ１＋ｎｓ１)/４ ・・・［式９］
【００３９】続いて、コンピュータは、４方向の非類似度ｔｔ１，ｙｙ１，ｎｕ１，ｎｓ１と、代表値ｍ１とに基づいて、次の非線形変換を実施し、ｔｔ２＝max｛ｍ１−ｔｔ１＋δ，γ｝・・・［式１０］
ｙｙ２＝max｛ｍ１−ｙｙ１＋δ，γ｝・・・［式１１］
ｎｕ２＝max｛ｍ１−ｎｕ１＋δ，γ｝・・・［式１２］
ｎｓ２＝max｛ｍ１−ｎｓ１＋δ，γ｝・・・［式１３］
（例えば、δ＝０，γ＝０）
４方向の類似度ｔｔ２，ｙｙ２，ｎｕ２，ｎｓ２を算出する（ステップＳ５）。
【００４０】次に、コンピュータは、４方向の類似度ｔｔ２，ｙｙ２，ｎｕ２，ｎｓ２を正規化して、ｍ２＝ｔｔ２＋ｙｙ２＋ｎｕ２＋ｎｓ２ ・・・［式１４］
ｔｔ＝ｔｔ２／ｍ２ ・・・［式１５］
ｙｙ＝ｙｙ２／ｍ２ ・・・［式１６］
ｎｕ＝ｎｕ２／ｍ２ ・・・［式１７］
ｎｓ＝ｎｓ２／ｍ２ ・・・［式１８］
４方向の重み比率ｔｔ，ｙｙ，ｎｕ，ｎｓを求める（ステップＳ６）。
【００４１】ここで、コンピュータは、対象画素ＦＧ[i,j]に周辺画素を加重平均し、Ｇ[i,j]＝｛ＦＧ[i,j] ＋ｋ×ｔｔ（ＦＧ[i,j-1]＋ＦＧ[i,j+1]）
＋ｋ×ｙｙ（ＦＧ[i-1,j]＋ＦＧ[i+1,j]）
＋ｋ×ｎｕ（ＦＧ[i-1,j+1]＋ＦＧ[i+1,j-1]）
＋ｋ×ｎｓ（ＦＧ[i-1,j-1]＋ＦＧ[i+1,j+1]）｝／（１＋ｋ×２）
・・・［式１９］
（ただし、ｋはローパス処理の強さを調整する定数値。例えば、ｋ＝１／２）
ローパス処理後の対象画素Ｇ［ｉ，ｊ］を算出する（ステップＳ７）。
【００４２】コンピュータは、このローパス処理後の対象画素Ｇ［ｉ，ｊ］を、メモリ上に設けられるローパス処理結果の記憶領域に記録する（ステップＳ８）。
【００４３】ここで、コンピュータは、全画素についてローパス処理が完了したか否かを判断する（ステップＳ９）。ローパス処理が完了していない場合（ステップＳ９のＮＯ側）、コンピュータは、新たな対象画素を画像データの中から選んだ後（ステップＳ１０）、上述したステップＳ２に動作を戻す。一方、ローパス処理が全画素について完了した場合（ステップＳ９のＹＥＳ側）、コンピュータは、ローパス処理後の画像データを、所定形式の画像ファイルに変換するなどした後、動作を終了する。
【００４４】（第１の実施形態の効果）図３(1)〜(5)は、第１の実施形態におけるローパス処理の効果を示す、ディスプレイ上の中間調画像の写真である。図３(1)は、ローパス処理前の元画像データである。なお、図中には、画像の微細構造、ジャギーＡ，Ｂの発生箇所を白点線で囲って示す。
【００４５】図３(2)は、方向依存性のないローパス処理（対象画素の重み係数を１／２とし、周辺８画素の重み係数を均等に１／１６とした局所平均演算）を施した画像データである。この場合、画像全体のノイズは低減する。しかしながら、鮮明度も落ち、微細構造はかなり失われる。また、ジャギーＡ，Ｂは依然として残存し、傾斜ライン上のギザギザが目立つ。
【００４６】図３(3)は、非類似度の計算式［式５〜８］において、比例定数をａ＝１，ｂ＝ｃ＝０として、本実施形態のローパス処理を施した画像データである。この場合のローパス処理は、図２に示されるように、対象画素を通る中心ラインＬｃ上の画素間レベル差を主として、非類似度を算出したケースである。このようなローパス処理により、画像全体のノイズは低減する。また、鮮明度の低下は見られず、微細構造もよく保持される。さらに、ジャギーＢには一応の改善が見られる。しかしながら、ジャギーＡについては依然として残存し、傾斜ライン上のギザギザが目立っている。
【００４７】図３(4)は、非類似度の計算式［式５〜８］において、比例定数をｂ＝１，ａ＝ｃ＝０として、本実施形態のローパス処理を施した画像データである。この場合のローパス処理は、図２に示されるように、対象画素に隣接する隣接ラインＬｎ上の画素間レベル差を主として、非類似度を算出したケースである。このようなローパス処理により、画像全体のノイズは低減する。また、鮮明度は若干低下し、微細構造が僅かに損なわれている。一方、ジャギーＡ，Ｂについては顕著な改善が見られ、傾斜ライン上のギザギザが小さな画素単位に分散（平滑化）されて、明らかに目立たなくなっている。
【００４８】図３(5)は、非類似度の計算式［式５〜８］において、比例定数をａ＝ｂ＝１，ｃ＝０として、本実施形態のローパス処理を施した画像データである。この場合のローパス処理は、図２に示されるように、『中心ラインＬｃ上の画素間レベル差』および『隣接ラインＬｎ上の画素間レベル差』の両方に基づいて、非類似度を算出したケースである。このようなローパス処理により、画像全体のノイズは低減する。また、画像全体の鮮明度は低下せず、微細構造はよく維持されている。さらに、ジャギーＡ，Ｂについても顕著な改善が見られ、傾斜ライン上のギザギザが小さな画素単位に分散されて、明らかに目立たなくなっている。
【００４９】（第１の実施形態の補足事項）なお、上述した実施形態では、画素間のレベル差に基づいて非類似度を算出しているが、これに限定されるものではない。一般的には、画素間の特徴の違いに基づいて非類似度を算出すればよい。例えば、カラー画像であれば、色相差や彩度差などに基づいて非類似度を算出してもよい。また、空間周波数領域における特徴差（特定の周波数帯域を含むか否かなどの特徴差）や、画像データをハイパス処理して得たエッジ成分画像のレベル差などに基づいて、非類似度を算出してもよい。
【００５０】また、上述した実施形態では、［式５〜８］を用いて非類似度を算出しているが、これに限定されるものではない。一般的には、対象画素を含む局所領域内において、対象画素を通る中心ラインＬｃと、対象画素に隣接する隣接ラインＬｎとを設定する。そして、これらラインＬｃ，Ｌｎ上において（隣接もしくは１コ間をおいて並ぶ）画素間の特徴差をそれぞれ求め、この特徴差を所定比率で加算することにより非類似度を算出すればよい。
【００５１】例えば、下記の［式２０，２１］を用いて非類似度ｔｔ１,ｙｙ１を算出してもよい。
縦方向の非類似度ｔｔ１：ｔｔ１＝ a×(|FG[i,j]-FG[i,j-1]|+|FG[i,j]-FG[i,j+1]|) + b×(|FG[i-1,j]-FG[i-1,j+2]|+|FG[i-1,j]-FG[i-1,j-2]|)×ｓ + c×(|FG[i+1,j]-FG[i+1,j+2]|+|FG[i+1,j]-FG[i+1,j-2]|)×ｓ ・・・［式２０］
横方向の非類似度ｙｙ１：ｙｙ１＝ a×(|FG[i,j]-FG[i-1,j]|+|FG[i,j]-FG[i+1,j]|) + b×(|FG[i,j-1]-FG[i+2,j-1]|+|FG[i,j-1]-FG[i-2,j-1]|)×ｓ + c×(|FG[i,j+1]-FG[i+2,j+1]|+|FG[i,j+1]-FG[i-2,j+1]|)×ｓ ・・・［式２１］
（ただし、ｓは、絶対値の加算項の数が斜め方向に比べて少ないことを補うための係数であり、例えば１〜1.5に設定される）また、上述した実施形態では、［式９〜１３］を用いて類似度を算出しているが、これに限定されるものではない。例えば、［式９〜１３］の代わりに、下記の［式１０１〜１０７］を用いて類似度を算出してもよい。
ｔｙ＝ ｔｔ１−ｙｙ１ ・・・［式１０１］
ｕｓ＝ ｎｕ１−ｎｓ１ ・・・［式１０２］
ｔｔ２＝max｛−ｔｙ，０｝ ・・・［式１０３］
ｙｙ２＝max｛ｔｙ，０｝ ・・・［式１０４］
ｎｕ２＝max｛−ｕｓ，０｝ ・・・［式１０５］
ｎｓ２＝max｛ｕｓ，０｝ ・・・［式１０６］
ｉｆ ｔｔ２＋ｙｙ２＋ｎｕ２＋ｎｓ２==０ ｔｈｅｎ ｔｔ２＝１，ｙｙ２＝１，ｎｕ２＝１，ｎｓ２＝１ ［式１０７］
【００５２】この［式１０１〜１０６］では、次の独立した処理
【００５３】上記の処理
【００５４】《第２の実施形態》第２の実施形態は、請求項１〜３，９〜１６に記載の発明に対応する電子カメラ１１の実施形態である。図４は、電子カメラ１１の構成ブロック図である。図４において、電子カメラ１１には撮影レンズ１２が装着される。この撮影レンズ１２の像空間には、撮像素子１３の受光面が配置される。撮像素子１３から出力されるＲＧＢの画像データは、Ａ／Ｄ変換部１４を介してディジタル化された後、マイクロプロセッサからなる画像処理部１５に入力される。画像処理部１５には、データバス１６を介して読み出し専用メモリ１７（請求項１５の記録媒体に対応）および画像メモリ１８などが接続される。読み出し専用メモリ１７には画像処理プログラムが記録されている。画像処理部１５は、この画像処理プログラムを読み出して実行する。
【００５５】図５は、この画像処理プログラムの動作手順を示す流れ図である。図６は、画像処理の各過程における画像データを示すデータフローである。以下、図４〜図６を用いて、本実施形態の画像処理動作について説明する。撮像素子１３から出力される画像データＯＲＧは、３色ＲＧＢがベイヤ配列されたデータである。この画像データＯＲＧの画素一つ一つには、ベイヤ配列のルールに従って、Ｇ［○，△］，Ｒ［○，△］，Ｂ［○，△］のいずれか１つの画素値が割り当てられている。画像処理部１５は、この画像データＯＲＧを取り込み、以下の手順で画像処理を実行する。
【００５６】◎ステップＳ２１：補間処理用の非類似度計算まず、画像処理部１５は、Ｇ色成分（請求項１１の第１色に対応する）の空き格子位置［ｉ，ｊ］を対象に、下記の［式２２〜２７］を実行し、縦方向の非類似度Ｃｖ０および横方向の非類似度Ｃｈ０を算出する。
Ｃｖ１＝|G[i, j-1]-G[i, j+1]| ・・［式２２］
Ｃｖ２＝(|G[i, j-1]-Z[i, j]|+|G[i, j+1]-Z[i, j]|)/2 ・・［式２３］
Ｃｈ１＝|G[i-1, j]-G[i+1, j]| ・・［式２４］
Ｃｈ２＝(|G[i-1, j]-Z[i, j]|+|G[i+1, j]-Z[i, j]|)/2 ・・［式２５］
Ｃｖ０［ｉ，ｊ］＝Ａ１・Ｃｖ１＋Ａ２・Ｃｖ２ ・・［式２６］
Ｃｈ０［ｉ，ｊ］＝Ａ１・Ｃｈ１＋Ａ２・Ｃｈ２ ・・［式２７］
（ただし、ＺはＲ，Ｂいずれかの値を使用する。また、Ａ１，Ａ２は重み係数であり、少なくとも一方は非零である。代表的にはＡ１＝Ａ２＝１）。
【００５７】◎ステップＳ２２：非類似度の平滑化処理次に、画像処理部１５は、非類似度Ｃｖ０，Ｃｈ０について、下記の［式２８，２９］を用いて近傍平均をとり、非類似度Ｃｖ，Ｃｈを算出する。
Ｃｖ［ｉ，ｊ］＝(4・Cv0[i, j]+Cv0[i-1,j-1]+Cv0[i+1,j-1]+Cv0[i-1,j+1]+Cv0[i+1,j+1])/8 ・・・［式２８］
Ｃｈ［ｉ，ｊ］＝(4・Ch0[i, j]+Ch0[i-1,j-1]+Ch0[i+1,j-1]+Ch0[i-1,j+1]+Ch0[i+1,j+1])/8 ・・・［式２９］
なお、この近傍平均を省略してＣｖ［ｉ，ｊ］＝Ｃｖ０［ｉ，ｊ］
Ｃｈ［ｉ，ｊ］＝Ｃｈ０［ｉ，ｊ］
としてもよい。
【００５８】◎ステップＳ２３：非類似度に基づく補間方向の判定次に、画像処理部１５は、下記の条件判定に従って、方向フラグＨＶを設定する。
縦類似の判定 ： Cv[i, j]＋th0 ＜ Ch[i, j]ならば 、HV[i, j]=1 とする横類似の判定 ： Ch[i, j]＋th0 ＜ Cv[i, j]ならば、 HV[i, j]=−1 とする方向性ナシの判定：上記以外は HV[i, j]=0とする（例えば、th0は、Ｇ（ｉ，ｊ）のとりうる範囲が０〜２５５の場合、０〜数１０程度の閾値）
【００５９】◎ステップＳ２４：Ｇの補間演算画像処理部１５は、方向フラグＨＶに従って、下記の補間演算を実行する。
非空格子の場合：FG[i, j]=G[i, j]とする縦類似の場合 ：HV[i, j]=1 ならば、 FG[i, j]=Gv とする横類似の場合 ：HV[i, j]=-1 ならば、FG[i, j]=Gh とする方向性ナシの場合：HV[i, j]=0 ならば、 FG[i, j]= (Gv+Gh)/2 とするなお、上記のGvおよびGhは、下式の値である。
Gv=(G[i, j-1]+G[i, j+1])/2+C1・(2・Z[i,j]-Z[i,j-2]-Z[i,j+2])/4Gh=(G[i-1, j]+G[i+1, j])/2+C1・(2・Z[i,j]-Z[i-2,j]-Z[i+2,j])/4（ここでＣ１は所定の定数であり、零又は１又はその中間値である）
【００６０】◎ステップＳ２５：ＲおよびＢの色差変換画像処理部１５は、Ｒ色成分およびＢ色成分（請求項１１の第２色に対応する）の画素位置に関して、補間後のＧを基準にして、下記の色差変換を実行する。
DR[i, j]=R[i, j]-FG[i, j] ・・・［式３０］
DB[i, j]=B[i, j]-FG[i, j] ・・・［式３１］
【００６１】◎ステップＳ２６：色差補間画像処理部１５は、色差について、下記の補間処理を実行する。
上下にＲの画素がある場合：FDR[i, j]=(DR[i, j-1]+DR[i, j+1])/2左右にＲの画素がある場合：FDR[i, j]=(DR[i-1, j]+DR[i+1, j])/2斜めにＲの画素がある場合：FDR[i, j]=(DR[i-1, j-1]+DR[i-1, j+1]+DR[i+1, j-1]+DR[i+1, j+1])/4上下にＢの画素がある場合：FDB[i, j]=(DB[i, j-1]+DB[i, j+1])/2左右にＢの画素がある場合：FDB[i, j]=(DB[i-1, j]+DB[i+1, j])/2斜めにＢの画素がある場合：FDB[i, j]=(DB[i-1, j-1]+DB[i-1, j+1]+DB[i+1, j-1]+DB[i+1, j+1])/4
【００６２】◎ステップＳ２７：Ｇ補間値の範囲制限画像処理部１５は、Ｇ補間値について、周辺８画素の最大値Ｇmax、最小値Ｇminを用いて範囲制限を行う。
最大値以上の場合： FG[i, j]＞(Ｇmax＋Th4)ならば、FG[i, j]=Ｇmaxとする最小値以下の場合： FG[i, j]＜(Ｇmin−Th4)ならば、FG[i, j]=Ｇminとする（なお、Th4は、補間値のピークをどこまで許容するかを決定する閾値である。また、周辺画素数は８個である必要はなく、６個程度以上あればよい。）
【００６３】◎ステップＳ２８：Ｇ補間画素に対するローパス処理画像処理部１５は、Ｇ補間画素について、第１の実施形態と同様の方向依存ローパス処理を実行する。この場合、次の２通りのローパス処理が可能である。
（ａ）第１の実施形態と同様に、すべてのＧ画素について方向依存ローパス処理を施す。
（ｂ）補間処理されていないＧ画素については、方向依存ローパス処理を実行せず、補間処理されたＧ画素のみに方向依存ローパス処理を施す。
【００６４】◎ステップＳ２９：色差補間画素に対するローパス処理画像処理部１５は、補間処理後のＧ面について、第１の実施形態と同様にして重み比率ｔｔ，ｙｙ，ｎｕ，ｎｓを算出する（ステップＳ２８で既に重み比率を求めていた画素位置については、その重み比率を再利用する）。画像処理部１５は、色差補間画素について、この重み比率に基づく方向依存ローパス処理を下式により実行する。
Tmp_DR[i, j]=[FDR[i,j] +k×tt(FDR[i,j-1]+FDR[i,j+1]) +k×yy(FDR[i-1,j]+FDR[i+1,j]) +k×nu(FDR[i-1,j+1]+FDR[i+1,j-1]) +k×ns(FDR[i-1,j-1]+FDR[i+1,j+1])]/(1+k×2) ・・・［式３２］
Tmp_DB[i, j]=[FDB[i,j] +k×tt(FDB[i,j-1]+FDB[i,j+1]) +k×yy(FDB[i-1,j]+FDB[i+1,j]) +k×nu(FDB[i-1,j+1]+FDB[i+1,j-1]) +k×ns(FDB[i-1,j-1]+FDB[i+1,j+1])]/(1+k×2) ・・・［式３３］
（ただし、ｋはローパス処理の強さを調整する定数値であり、例えばｋ＝１／２）
画像処理部１５は、上記の加重平均が画面全体について完了した後、下記の置き換えを実行する。
FDR[i, j]=Tmp_DR[i, j]FDB[i, j]=Tmp_DB[i, j]
【００６５】◎ステップＳ３０：Ｒ、Ｂの復元画像処理部１５は、色差面に対して、ローパス処理後のＧ面を加算して、ＲおよびＢを復元する。
FR[i, j]=FG[i, j] ＋FDR[i, j] ・・・［式３４］
FB[i, j]=FG[i, j] ＋FDB[i, j] ・・・［式３５］
画像処理部１５は、以上のようにして求めた、FR[i, j]、FG[i, j]、FB[i, j]を記録機構などへ出力する。
【００６６】（第２の実施形態の効果）以上説明したように、第２の実施形態においても、第１の実施形態と同様な効果を得ることができる。特に、第２の実施形態に特有な効果としては、次の点が挙げられる。
【００６７】◎画像処理部１５はＧ補間画素、色差補間画素に対してローパス処理をかける。したがって、補間処理に起因する偽色やジャギーを十分に軽減することが可能となる。また、画像処理部１５が、それ以外の非補間画素にローパス処理をかけない場合、元々の画像データを忠実に維持し、かつ処理時間を短縮することができる。なお、全画素に対してローパス処理をかけた場合には、十分にジャギーなどを除去した滑らかな画像を得ることができる。
【００６８】◎画像処理部１５は、補間画素のピークを、ローパス処理に先立って範囲制限する。したがって、補間画素のピークを目立たなくすると同時に、ローパス処理を介して補間画素のピークが周辺画素に拡大するのを防ぐことができる。
【００６９】◎画像処理部１５は、情報量が豊富なローパス処理前のＧ色成分を基準にして色差を求める。したがって、色差の情報量が豊かになり、より的確な色差補間を行うことが可能となる。
【００７０】◎画像処理部１５は、色差からＲ（Ｂ）色成分を復元するにあたり、ローパス処理後のＧ色成分を使用する。したがって、Ｇ色成分を介して、Ｒ（Ｂ）色成分にノイズやジャギーが混入する不具合を防止することができる。
【００７１】◎画像処理部１５は、情報量の豊富なＧ色成分について重み比率を求め、その重み比率を利用して、Ｒ（Ｂ）色成分にローパス処理を施す。したがって、Ｒ（Ｂ）色成分に対して、Ｇ色成分の精細な起伏に適応したローパス処理を施すことが可能となる。なお、本発明者は、上述した実施形態において補間処理の前後どちらに階調変換（階調補正も含む）を行っても、本発明の方向依存ローパス処理が良好な効果を得られることを、画質の主観評価によって確認している。
【００７２】（第２の実施形態の補足事項）なお、上述した実施形態では、画像処理部１５が画像処理プログラムを実行する場合について説明したが、これに限定されるものではない。例えば、画像処理部１５の処理速度を上げるために、上述した画像処理の一部もしくは全部を演算回路などで実行してもよい。また、上述した実施形態では、色差に対してローパス処理を実行しているが、これに限定されるものではない。例えば、色差から復元したＲ（Ｂ）に対してローパス処理を施してもよい。この場合も、Ｇ色成分について求めた重み比率を利用することにより、Ｒ（Ｂ）のローパス処理を正確に行うことが可能となる。さらに、上述した実施形態では、色差（またはＲ，Ｂ）に対してローパス処理を施しているが、これに限定されるものではない。一般に、色差やＲ，Ｂ成分は輝度成分（Ｇ、Ｙ）に比較して改善効果が目立たないので、色差（またはＲ、Ｂなど）に対するローパス処理を省いてもよい。この場合は、処理時間を短縮できるという利点がある。以下、別の実施形態について説明する。
【００７３】《第３の実施形態》第３の実施形態は、請求項４，６に対応した実施形態であり、類似性の判断に２種類以上の色情報を使用する点に特徴を有する。以下、第３の実施形態について、非類似度の算出動作を説明する。まず、第３の実施形態は、非類似度の算出用に、ＲＧＢからなる３面の色情報を用意する。なお、ＲＧＢ３面の色情報が揃っていない場合には、補間処理を先行して、ＲＧＢ３面の色情報を用意する。
【００７４】第３の実施形態では、このように用意したＲＧＢ３面の色情報について、下記の［式１１０〜１１３］を算出して、ｉ行ｊ列目における非類似度を求める。
縦方向の非類似度ｔｔ１：ｔｔ１＝ a×(|FG[i,j]-FG[i,j-1]|+|FG[i,j]-FG[i,j+1]|)+b×(|FG[i,j+1]-FG[i,j-1]|+|FG[i-1,j]-FG[i-1,j+2]|+|FG[i-1,j]-FG[i-1,j-2]|)+a1×(|FR[i,j]-FR[i,j-1]|+|FR[i,j]-FR[i,j+1]|)+b1×(|FR[i,j+1]-FR[i,j-1]|+|FR[i-1,j]-FR[i-1,j+2]|+|FR[i-1,j]-FR[i-1,j-2]|)+a2×(|FB[i,j]-FB[i,j-1]|+|FB[i,j]-FB[i,j+1]|)+b2×(|FB[i,j+1]-FB[i,j-1]|+|FB[i-1,j]-FB[i-1,j+2]|+|FB[i-1,j]-FB[i-1,j-2]|) ・・・［式１１０］
横方向の非類似度ｙｙ１：ｙｙ１＝ a×(|FG[i,j]-FG[i-1,j]|+|FG[i,j]-FG[i+1,j]|)+b×(|FG[i+1,j]-FG[i-1,j]|+|FG[i,j-1]-FG[i+2,j-1]|+|FG[i,j-1]-FG[i-2,j-1]|)+a1×(|FR[i,j]-FR[i-1,j]|+|FR[i,j]-FR[i+1,j]|)+b1×(|FR[i+1,j]-FR[i-1,j]|+|FR[i,j-1]-FR[i+2,j-1]|+|FR[i,j-1]-FR[i-2,j-1]|)+a2×(|FB[i,j]-FB[i-1,j]|+|FB[i,j]-FB[i+1,j]|)+b2×(|FB[i+1,j]-FB[i-1,j]|+|FB[i,j-1]-FB[i+2,j-1]|+|FB[i,j-1]-FB[i-2,j-1]|) ・・・［式１１１］
斜め上方向の非類似度ｎｕ１：ｎｕ１＝ a×(|FG[i,j]-FG[i+1,j-1]|+|FG[i,j]-FG[i-1,j+1]|)+b×(|FG[i-2,j+1]-FG[i-1,j]|+|FG[i-1,j]-FG[i,j-1]|+|FG[i,j-1]-FG[i+1,j-2]|)+a1×(|FR[i,j]-FR[i+1,j-1]|+|FR[i,j]-FR[i-1,j+1]|)+b1×(|FR[i-2,j+1]-FR[i-1,j]|+|FR[i-1,j]-FR[i,j-1]|+|FR[i,j-1]-FR[i+1,j-2]|)+a2×(|FB[i,j]-FB[i+1,j-1]|+|FB[i,j]-FB[i-1,j+1]|)+b2×(|FB[i-2,j+1]-FB[i-1,j]|+|FB[i-1,j]-FB[i,j-1]|+|FB[i,j-1]-FB[i+1,j-2]|) ・・・［式１１２］
斜め下方向の非類似度ｎｓ１：ｎｓ１＝ a×(|FG[i,j]-FG[i-1,j-1]|+|FG[i,j]-FG[i+1,j+1]|)+b×(|FG[i-2,j-1]-FG[i-1,j]|+|FG[i-1,j]-FG[i,j+1]|+|FG[i,j+1]-FG[i+1,j+2]|)+a1×(|FR[i,j]-FR[i-1,j-1]|+|FR[i,j]-FR[i+1,j+1]|)+b1×(|FR[i-2,j-1]-FR[i-1,j]|+|FR[i-1,j]-FR[i,j+1]|+|FR[i,j+1]-FR[i+1,j+2]|)+a2×(|FB[i,j]-FB[i-1,j-1]|+|FB[i,j]-FB[i+1,j+1]|)+b2×(|FB[i-2,j-1]-FB[i-1,j]|+|FB[i-1,j]-FB[i,j+1]|+|FB[i,j+1]-FB[i+1,j+2]|) ・・・［式１１３］
なお、上式において、FR[○,△]、FG[○,△]、FB[○,△]は、ＲＧＢ３面の色情報における○行△列目の各値である。また、ａ１，ａ，ａ２、ｂ１，ｂ，ｂ２は、非類似度におけるＲＧＢ色の寄与率を決定する重み係数である。上記のように求めた非類似度から出発して、方向依存ローパス処理を行う過程については、第１の実施形態または第２の実施形態と同じため、ここでの説明を省略する。
【００７５】（第３の実施形態の効果など）第３の実施形態においても、第１の実施形態および第２の実施形態と同様の効果を得ることが可能となる。特に、第３の実施形態では、カラー画像データの色情報を２種類以上加味して非類似度の算出を行っている。したがって、Ｇ面はほぼ一様でＲ面またはＢ面のみが変化している画像においても、色の境界を正確に判断することが可能となる。したがって、このような色の境界を十分保存しながらノイズやジャギーを適切に除去することが可能となる。
【００７６】（第３の実施形態の補足事項）なお、上述した実施形態では、ＲＧＢを用いて非類似度の算出を行っているが、これに限定されるものではない。一般的には、画像の色に関する情報を２種類以上用いて類似性の判定を行えばよい。例えば、色情報として色差値や補色値その他の色刺激値を用いてもよい。
【００７７】また例えば、下記の［式１１４］のように、カラー画像データの２種類以上の色情報を用いて適当な画像データＹをまず合成し、その画像データＹについて類似性を判定してもよい。
Ｙ＝ａ×Ｇ＋ｂ×Ｒ＋ｃ×Ｂ ・・・［式１１４］
なお、上式の重み係数ａ，ｂ，ｃは、各色情報の視覚感度に対応した値に設定することが好ましい。この場合は、視覚感度に沿って類似性を判断することが可能となる。また、重み係数ａ，ｂ，ｃを逆に偏った値（負値も含む）に設定することにより、特定の分光エネルギー分布について類似性を判断することも可能となる。
【００７８】なお、上述した実施形態では、上記算出式を用いて一度に非類似度を算出しているが、これに限定されるものではない。例えば、視覚感度の高い色情報について類似性を判定し、その類似性から画像構造の方向性が不明確な場合のみ、その他の色情報について改めて類似性を判定してもよい。このような段階的な演算動作では、視覚感度の高い色情報を優先して類似性が判定されるので、視覚感度に合ったローパス処理を実行することが可能となる。また、大部分の画素では、１回目の演算で類似性を判断できるので、全体の演算処理量を軽減することも可能となる。次に、別の実施形態について説明する。
【００７９】《第４の実施形態》第４の実施形態は、請求項１〜１６の発明に対応した電子カメラの実施形態である。なお、第４の実施形態の装置構成については、第２の実施形態（図４）と同一のため、ここでの説明を省略する。図７は、第４の実施形態における画像処理動作を説明する流れ図である。なお、この画像処理動作は、第２の実施形態（図５）のステップＳ２８〜Ｓ２９をステップＳ４１〜Ｓ４５に代えたものである。以下、この差異部分について説明する。
【００８０】◎ステップＳ４１：同色画素間および異色画素間による非類似度の算出画像メモリ１８には、撮像素子１３から読み出されたベイヤ配列の画像データＯＲＧが残存する。この画像データＯＲＧは、ホワイトバランス処理後で、かつ色に関する補間処理前のカラー画像データである。画像処理部１５は、この画像データＯＲＧについて下記の演算を実行し、ｉ行ｊ列目における非類似度を求める。（なお、ここでは、画像データＯＲＧの画素値を、ＲＧＢいずれの色であるかを問わず、全てＺ［○，△］と表記する。）
縦方向の非類似度ｔｔ１：ｔｔ１＝p1×(|Z[i,j]-Z[i,j-1]|+|Z[i,j]-Z[i,j+1]|)+p2×(|Z[i-1,j]-Z[i-1,j-1]|+|Z[i-1,j]-Z[i-1,j+1]|)+p3×(|Z[i,j+1]-Z[i,j-1]|+|Z[i,j]-Z[i,j-2]| +|Z[i,j]-Z[i,j+2]|)+p4×(|Z[i-1,j+1]-Z[i-1,j-1]|+|Z[i-1,j]-Z[i-1,j-2]|+|Z[i-1,j]-Z[i-1,j+2]|) ・・・［式１２４］
横方向の非類似度ｙｙ１：ｙｙ１＝q1×(|Z[i,j]-Z[i-1,j]|+|Z[i,j]-Z[i+1,j]|)+q2×(|Z[i,j-1]-Z[i-1,j-1]|+|Z[i,j-1]-Z[i+1,j-1]|)+q3×(|Z[i+1,j]-Z[i-1,j]|+|Z[i,j]-Z[i+2,j]|+|Z[i,j]-Z[i-2,j]|)+q4×(|Z[i+1,j-1]-Z[i-1,j-1]|+|Z[i,j-1]-Z[i+2,j-1]|+|Z[i,j-1]-Z[i-2,j-1]|) ・・・［式１２５］
斜め上方向の非類似度ｎｕ１：ｎｕ１＝r1×(|Z[i,j]-Z[i+1,j-1]|+|Z[i,j]-Z[i-1,j+1]|)+r2×(|Z[i-1,j]-Z[i,j-1]|+|Z[i-1,j]-Z[i-2,j+1]|)+r3×(|Z[i-1,j+1]-Z[i+1,j-1]|+|Z[i,j]-Z[i+2,j-2]| +|Z[i,j]-Z[i-2,j+2]|)+r4×(|Z[i-2,j+1]-Z[i,j-1]| +|Z[i-1,j]-Z[i+1,j-2]|) ・・・［式１２６］
斜め下方向の非類似度ｎｓ１：ｎｓ１＝s1×(|Z[i,j]-Z[i-1,j-1]|+|Z[i,j]-Z[i+1,j+1]|)+s2×(|Z[i+1,j]-Z[i,j-1]|+|Z[i+1,j]-Z[i+2,j+1]|)+s3×(|Z[i+1,j+1]-Z[i-1,j-1]|+|Z[i,j]-Z[i-2,j-2]| +|Z[i,j]-Z[i+2,j+2]|)+s4×(|Z[i+2,j+1]-Z[i,j-1]| +|Z[i+1,j]-Z[i-1,j-2]|) ・・・［式１２７］
ただし、上式において、Z[○,△]は、画像データＯＲＧの○行△列目に位置するＲＧＢいずれかの値である。また、p1〜４，q1〜４，r1〜４，s1〜４は、非類似度における各項の寄与率を決定する重み係数（例えば、すべて１）である。
【００８１】また、絶対値の加算に重み付けを行ってもよい。例えば［式１２４］の第３項について一例を挙げると、p3×(|Z[i,j+1]-Z[i,j-1]|+ｕ・|Z[i,j]-Z[i,j-2]| +ｖ・|Z[i,j]-Z[i,j+2]|)（ただし、ｕ＝ｖ＝１／２程度が好ましい）
としても良い。
【００８２】◎ステップＳ４２：非類似度における方向別の重み調整画像処理部１５は、求めた非類似度に対して、方向別に重みを変更しても良い。この場合、例えば、次の２通りの重み調整が好ましい。
（ａ）ｔｔ１＝ｔｔ１，ｙｙ１＝ｙｙ１，ｎｕ１＝ｎｕ１，ｎｓ１＝ｎｓ１（ｂ）ｔｔ１＝ｔｔ１×２，ｙｙ１＝ｙｙ１×２，ｎｕ１＝ｎｕ１，ｎｓ１＝ｎｓ１特に、（ｂ）の重み調整では、斜め方向の非類似度が相対的に小さくなるので、方向依存ローパス処理において斜め方向の重み比率が高くなる。そのため、例えば、奇数列（行）と偶数列（行）とにゲイン差などの段差を生じる撮像素子において、その段差ノイズをキャンセルする効果が大きくなる。なお実際的には、画像データの特徴（欠陥）に応じて適正な重み調整を実行することが、より好ましい。（より具体的には、テスト画像の主観評価実験などを通して、上記（ａ）（ｂ）のいずれか、あるいは更に別の重みを用いるかなどを最終的に決定する）
【００８３】◎ステップＳ４３：重み比率の決定次に、画像処理部１５は、非類似度について、下記の平均演算を行い、代表値ｍ１を算出する。
ｍ１＝(ｔｔ１＋ｙｙ１＋ｎｕ１＋ｎｓ１)/４ ・・・［式１２８］
続いて、画像処理部１５は、４方向の非類似度ｔｔ１，ｙｙ１，ｎｕ１，ｎｓ１と、代表値ｍ１とに基づいて、次の非線形変換を実施し、ｔｔ２＝max｛ｍ１−ｔｔ１＋δ，γ｝・・・［式１２９］
ｙｙ２＝max｛ｍ１−ｙｙ１＋δ，γ｝・・・［式１３０］
ｎｕ２＝max｛ｍ１−ｎｕ１＋δ，γ｝・・・［式１３１］
ｎｓ２＝max｛ｍ１−ｎｓ１＋δ，γ｝・・・［式１３２］
（例えば、δ＝１，γ＝０）
４方向の類似度ｔｔ２，ｙｙ２，ｎｕ２，ｎｓ２を算出する。次に、画像処理部１５は、４方向の類似度ｔｔ２，ｙｙ２，ｎｕ２，ｎｓ２を正規化して、ｍ２＝ｔｔ２＋ｙｙ２＋ｎｕ２＋ｎｓ２ ・・・［式１３３］
ｔｔ＝ｔｔ２／ｍ２ ・・・［式１３４］
ｙｙ＝ｙｙ２／ｍ２ ・・・［式１３５］
ｎｕ＝ｎｕ２／ｍ２ ・・・［式１３６］
ｎｓ＝ｎｓ２／ｍ２ ・・・［式１３７］
４方向の重み比率ｔｔ，ｙｙ，ｎｕ，ｎｓを求める。
【００８４】◎ステップＳ４４：Ｇ面に対する方向依存ローパス処理ここで、画像処理部１５は、対象画素ＦＧ[i,j]に周辺画素を加重平均し、Tmp_FG[i,j]＝｛ＦＧ[i,j] ＋ｋ×ｔｔ（ＦＧ[i,j-1]＋ＦＧ[i,j+1]）
＋ｋ×ｙｙ（ＦＧ[i-1,j]＋ＦＧ[i+1,j]）
＋ｋ×ｎｕ（ＦＧ[i-1,j+1]＋ＦＧ[i+1,j-1]）
＋ｋ×ｎｓ（ＦＧ[i-1,j-1]＋ＦＧ[i+1,j+1]）｝／（１＋ｋ×２）
・・・［式１３８］
（ただし、ｋはローパス処理の強さを調整する数値。例えば、ｋ＝１／２）ローパス処理後の対象画素ＦＧ［ｉ，ｊ］を算出する。
【００８５】◎ステップＳ４５：色差補間画素に対するローパス処理画像処理部１５は、色差補間画素について方向依存ローパス処理を下式により実行する。
Tmp_DR[i, j]=[FDR[i,j] +k×tt(FDR[i,j-1]+FDR[i,j+1]) +k×yy(FDR[i-1,j]+FDR[i+1,j]) +k×nu(FDR[i-1,j+1]+FDR[i+1,j-1]) +k×ns(FDR[i-1,j-1]+FDR[i+1,j+1])]/(1+k×2) ・・・［式１３９］
Tmp_DB[i, j]=[FDB[i,j] +k×tt(FDB[i,j-1]+FDB[i,j+1]) +k×yy(FDB[i-1,j]+FDB[i+1,j]) +k×nu(FDB[i-1,j+1]+FDB[i+1,j-1]) +k×ns(FDB[i-1,j-1]+FDB[i+1,j+1])]/(1+k×2) ・・・［式１４０］
（ただし、ｋはローパス処理の強さを調整する定数値であり、例えばｋ＝１／２）
画像処理部１５は、上記の方向依存ローパス処理が画面全体について完了した後、下記の置き換えを実行する。
FG[i, j]=Tmp_FG[i, j]FDR[i, j]=Tmp_DR[i, j]FDB[i, j]=Tmp_DB[i, j]
【００８６】（第４の実施形態の効果など）第４の実施形態においても、第２の実施形態と同様の効果を得ることが可能となる。特に、第４の実施形態では、補間処理前のデータで非類似度の計算を行うので、処理規模が少なくてすむ利点がある。また、第４の実施形態では、ホワイトバランス処理後のカラー画像データを用いて異色画素間の特徴差を算出するのが好ましい。このホワイトバランス処理によって、色の極端な偏りが予め抑制されるので、色の偏りに起因する類似性の誤判断を低減することが可能となる。なお、本発明者は、上述した実施形態において補間処理の前後どちらに階調変換や階調補正を行っても、本発明の方向依存ローパス処理が良好な効果をもたらすことを、画質の主観評価によって確認している。
【００８７】（第４の実施形態の補足事項など）なお、上述した実施形態では、画像処理部１５が画像処理プログラムを実行する場合について説明したが、これに限定されるものではない。例えば、画像処理部１５の処理速度を上げるために、上述した画像処理の一部もしくは全部を演算回路などで実行してもよい。
【００８８】なお、第４の実施形態においては、画像データが高彩度の場合に非類似度における異色画素間の特徴差の寄与率を低くし、低彩度の場合に非類似度における異色画素間の特徴差の寄与率を高くすることが好ましい。図８は、このような寄与率の自動調整を追加した流れ図である。以下、追加部分の動作について説明する。
【００８９】◎ステップＳ５１：２種類の彩度算出画像処理部１５は、下式を用いて、画像データＯＲＧについてｉ行ｊ列目の彩度ＣＣｔ，ＣＣｙを算出する。
ＣＣｔ＝(|Z[i,j-1]-Z[i,j]|+|Z[i,j+1]-Z[i,j]|)/2ＣＣｙ＝(|Z[i-1,j]-Z[i,j]|+|Z[i+1,j]-Z[i,j]|)/2
【００９０】◎ステップＳ５２：彩度の判定画像処理部１５は、次の条件式を判定する。
（ＣＣｔ＞ＢＷｔｈ） ａｎｄ （ＣＣｙ＞ＢＷｔｈ）
２種類の彩度ＣＣｔ，ＣＣｙがどちらも閾値ＢＷｔｈを上回った場合、高彩度箇所である可能性が高い。この場合、画像処理部１５は、異色画素間の特徴差の係数p1〜2，q1〜2，r1〜2，s1〜2を低減し、同色画素間の特徴差の係数p3〜4，q3〜4，r3〜4，s3〜4を増やして、異色画素間の特徴差の寄与率を低下させる。逆に、２種類の彩度ＣＣｔ，ＣＣｙのいずれかが閾値ＢＷｔｈを下回った場合低彩度と判断される。この場合、画像処理部１５は、異色画素間の特徴差の係数p1〜2，q1〜2，r1〜2，s1〜2を増やすなどして、異色画素間の特徴差の寄与率を高くする。
【００９１】なお、極端な場合、次のように係数を可変してもよい。
（ａ）完全に同色画素間と異色画素間とを切り換えるケース高彩度と判断した場合に、画像処理部１５は、異色画素間の特徴差の係数p1〜2，q1〜2，r1〜2，s1〜2をゼロにし、同色画素間の特徴差の係数p3〜4，q3〜4，r3〜4，s3〜4を１にする。一方、低彩度と判断した場合に、画像処理部１５は、異色画素間の特徴差の係数p1〜2，q1〜2，r1〜2，s1〜2を１にし、同色画素間の特徴差の係数p3〜4，q3〜4，r3〜4，s3〜4をゼロにする。
（ｂ）高彩度時は同色画素間のみ使用するケース高彩度と判断した場合に、画像処理部１５は、異色画素間の特徴差の係数p1〜2，q1〜2，r1〜2，s1〜2をゼロにし、同色画素間の特徴差の係数p3〜4，q3〜4，r3〜4，s3〜4を１にする。一方、低彩度と判断した場合に、画像処理部１５は、異色画素間の特徴差の係数p1〜2，q1〜2，r1〜2，s1〜2を１にし、同色画素間の特徴差の係数p3〜4，q3〜4，r3〜4，s3〜4を１にする。
【００９２】以上のように、非類似度における異色画素間の特徴差の寄与率を彩度に応じて可変することにより、高彩度箇所を画像構造と誤判断することが少なくなる。したがって、画像構造の方向性をより正確に判断して、方向依存ローパス処理を実行することが可能となる。なお正確には、Ｇ格子の位置においてr1，s1は同色画素間の特徴差の係数となり、ＲＢ格子の位置においてr2，s2は同色画素間の特徴差の係数となる。そこで、Ｇ格子かＲＢ格子かに応じて、r1〜2，s1〜2の値を更に可変してもよい。この場合には、より厳密に画像構造を判断できるという利点がある。しかしながら、この場合には、格子位置によって非類似度の算出値が上下し、方向依存ローパス処理後に格子状の固定むらが生じるおそれがある。このような不具合を生じる場合には、上記処理に示したように、r1〜2，s1〜2を一律に異色画素間の特徴差の係数として扱うことが好ましい。
【００９３】なお、上述した第１〜４の実施形態では、それぞれ特徴的な類似性判断の手法を述べたが、これらの手法を適宜に組み合わせたり、各手法の判断結果を比較して顕著な差の現れたものを採用したり、平均的なものを採用するなどしてもよい。このような複合的な手法により、一段と適切な類似性判断が可能となる。
【００９４】また、上述した第１〜４の実施形態では、説明をわかりやすくするために、非類似度などの変数名を請求項中の変数名と一致させている。しかしながら、このような具体的な記載によって、請求項中の変数の内容が不必要に限定されるものではない。
【００９５】なお、上述した第１〜４の実施形態では、マトリクス画素配列やベイヤ配列の場合について説明したが、これに限定されるものではない。例えば、ハニカム画素配列その他の特殊な画素配列においても、各方向の画素間隔などを考慮して『少なくとも４方向』や『重み比率の値』などを適宜に決定すれば、本発明が適用可能である。
【００９６】
【発明の効果】《請求項１》請求項１に記載の発明では、類似性の低い方向については、小さな重み比率で加重平均がなされるため、画像構造の劣化が極めて少ない。また、類似性の強い方向については、大きな重み比率で加重平均がなされるため、微小な起伏（ノイズなど）を効果的に抑制することができる。
【００９７】《請求項２》請求項２に記載の発明では、前者（１）の特徴差を使用して類似性判定を行うことにより、対象画素のノイズを効果的に抑制することができる。一方、後者（２）の特徴差を使用して類似性判定を行うことにより、対象画素のジャギーを顕著に抑制することができる。さらに、（１）および（２）の特徴差を加味して類似性判定を行うことにより、ノイズとジャギーとをバランス良く抑制することが可能となる。
【００９８】《請求項３》請求項３に記載の発明では、非類似度を重み比率に変換する過程で、［式１〜４］に示す非線形変換を実施する。この非線形変換により、非類似度の突出度合いなどを考慮した、相対的な重み比率を決定することが可能となる。また、この非線形変換は、閾値以上の非類似度を持つ方向について、重み比率への反映を一律にγに制限することが可能となる。例えば、このγの値をゼロにしておけば、明らかに画像構造と思われる方向の重み比率がゼロとなり、その方向の画像構造を確実に維持することが可能となる。
【００９９】《請求項４》請求項４に記載の発明では、カラー画像データの２種類以上の色情報に基づいて類似性の判定を行う。したがって、同一輝度の色境界などのように画像構造の判断が困難な箇所を的確に判断することが可能となる。したがって、同一輝度の色境界などを十分保存しながら、ノイズやジャギーを抑制することが可能となる。
【０１００】《請求項５》請求項５に記載の発明では、補間処理前のカラー画像データに基づいて類似性の判定を行う。したがって、補間処理後に生じる偽色成分などによって、画像構造の方向性を誤判断するおそれがない。
【０１０１】《請求項６》請求項６に記載の発明では、同色画素間の特徴差から非類似度を算出することにより、高彩度箇所において画像構造の方向性を正確に判断できる。また、異色画素間の特徴差から非類似度を算出することにより、単板式などで撮像された画像データにおいても最近接画素間の特徴差を取ることが可能となり、より微細な画像構造の方向性を判断することが可能となる。さらに、両特徴差を加味して非類似度を算出することにより、両特徴差の利点を兼ね合わせて画像構造の方向性を判断することが可能となる。
【０１０２】《請求項７》請求項７に記載の発明では、ホワイトバランス処理によってカラー画像データの極端な色の偏りを抑制した後に、異色画素間の特徴差を算出する。この場合、極端な色の偏りによって異色画素間の特徴差が大きくなるなどの弊害を防止することができる。したがって、画像構造の方向性をより正確に判断することが可能となる。
【０１０３】《請求項８》請求項８に記載の発明では、高彩度な箇所において異色画素間の特徴差の寄与率を下げることが可能となり、画像構造の方向性を彩度によって誤判断するおそれが少なくなる。したがって、画像構造をより正確に判断しながら、ノイズやジャギーを抑制することが可能となる。
【０１０４】《請求項９》請求項９に記載の発明では、補間画素に対してローパス処理を重点的にかけるので、補間処理に起因する偽色やジャギーを軽減することが可能となる。
【０１０５】《請求項１０》請求項１０に記載の発明では、補間画素のピークをローパス処理に先立って制限する。したがって、ローパス処理によって補間画素のピークが周辺画素に拡大して目立つのを防ぐことができる。
【０１０６】《請求項１１》請求項１１に記載の発明では、情報量が豊富なローパス処理前の第１色を用いて色差を求める。したがって、情報量の豊富の色差を求めることができる。
【０１０７】《請求項１２》請求項１２に記載の発明では、第２色の変換に際して、ローパス処理後の第１色を使用する。したがって、第１色を介して、第２色に混入するノイズやジャギーが少なく、第２色に対するその後の画像処理を省いたり、軽減することが可能となる。
【０１０８】《請求項１３》請求項１３に記載の発明では、第１色から求めた正確な重み比率を使用して、第２色または色差にローパス処理を施す。したがって、第２色に対して適切なローパス処理をかけることができる。
【０１０９】《請求項１４》請求項１４に記載の発明では、類似性が最も低い方向の重み比率を実質的にゼロとする。したがって、その方向について画像構造を正確に保存することが可能となり、ローパス処理による画像の崩れを確実的に回避することができる。
【０１１０】《請求項１５》請求項１５に記載の記録媒体を使用することにより、コンピュータ上で請求項１ないし１４のいずれか１項に記載の画像処理方法を実行することが可能となる。
【０１１１】《請求項１６》請求項１６に記載の画像処理装置を用いて、請求項１ないし１４のいずれか１項に記載の画像処理方法を実行することが可能となる。
【図面の簡単な説明】
【図１】第１の実施形態における画像処理プログラムを示す図である。
【図２】非類似度の計算を説明するための図である。
【図３】ディスプレイ上の中間調画像の写真である。
【図４】電子カメラ１１の構成ブロック図である。
【図５】第２の実施形態における画像処理プログラムを示す流れ図である。
【図６】画像処理プログラムの動作手順を説明するための図である。
【図７】電子カメラの画像処理動作を説明する流れ図である。
【図８】電子カメラの画像処理動作を説明する流れ図である。
【符号の説明】
１１ 電子カメラ
１２ 撮影レンズ
１３ 撮像素子
１４ Ａ／Ｄ変換部
１５ 画像処理部
１６ データバス
１７ 読み出し専用メモリ
１８ 画像メモリ
【特許請求の範囲】
【請求項１】 画像データに対して、空間周波数のローパス処理を施す画像処理方法において、ローパス処理の対象画素を含む局所領域に関して、少なくとも４つの方向における画素の類似性を判定する類似性判定手順と、前記類似性判定手順の判定結果に基づいて前記類似性の強い方向の重み比率を増やしたうえで、前記対象画素に周辺画素を加重平均する方向依存ローパス演算手順とを有することを特徴とする画像処理方法。
【請求項２】 請求項１に記載の画像処理方法において、前記類似性判定手順は、所定方向の非類似度を、下記（１）（２）のいずれか一方の値または両方の値を用いて算出し、前記非類似度に基づいて類似性の判定を行うことを特徴とする画像処理方法。
（１）対象画素を通る所定方向のライン上に位置する画素間の特徴差（２）対象画素の近くを通る所定方向のライン上に位置する画素間の特徴差
【請求項３】 請求項１または請求項２に記載の画像処理方法において、前記類似性判定手順は、少なくとも４方向の非類似度ｔｔ１，ｙｙ１，ｎｕ１，ｎｓ１を、前記局所領域内の画素間の特徴差に基づいて算出し、前記少なくとも４方向の非類似度ｔｔ１，ｙｙ１，ｎｕ１，ｎｓ１について平均またはメディアンを取ることにより、非類似度の代表値ｍ１を求め、前記少なくとも４方向の非類似度ｔｔ１，ｙｙ１，ｎｕ１，ｎｓ１と、前記代表値ｍ１とに基づいて、下記の非線形変換を実行して、ｔｔ２＝max｛ｍ１−ｔｔ１＋δ，γ｝ ・・・［式１］
ｙｙ２＝max｛ｍ１−ｙｙ１＋δ，γ｝ ・・・［式２］
ｎｕ２＝max｛ｍ１−ｎｕ１＋δ，γ｝ ・・・［式３］
ｎｓ２＝max｛ｍ１−ｎｓ１＋δ，γ｝ ・・・［式４］
（ただし、上式中のδ，γは予め定められた値であり、０の場合も含む）
類似度ｔｔ２，ｙｙ２，ｎｕ２，ｎｓ２を求める手順であり、前記方向依存ローパス演算手順は、求めた類似度ｔｔ２，ｙｙ２，ｎｕ２，ｎｓ２に応じて、少なくとも４方向に位置する周辺画素の重み比率を決定し、対象画素に周辺画素を加重平均する手順であることを特徴とする画像処理方法。
【請求項４】 請求項１ないし請求項３のいずれか１項に記載の画像処理方法において、前記画像データは、カラー画像データであり、前記類似性判定手順は、カラー画像データの２種類以上の色情報に基づいて前記類似性の判定を行うことを特徴とする画像処理方法。
【請求項５】 請求項４に記載の画像処理方法において、前記類似性判定手順は、補間処理前のカラー画像データに基づいて前記類似性の判定を行うことを特徴とする画像処理方法。
【請求項６】 請求項４または請求項５に記載の画像処理方法において、前記類似性判定手順は、所定方向の非類似度を、所定方向における同色画素間および／または異色画素間の特徴差を用いて算出し、前記非類似度に応じて類似性の判定を行うことを特徴とする画像処理方法。
【請求項７】 請求項６に記載の画像処理方法において、前記類似性判定手順は、ホワイトバランス処理後のカラー画像データから異色画素間の特徴差を算出することを特徴とする画像処理方法。
【請求項８】 請求項６または請求項７のいずれか１項に記載の画像処理方法において、前記類似性判定手順は、ローパス処理の対象画素について彩度を検出し、検出した彩度に対応して、非類似度の算出における異色画素間の特徴差の寄与率を可変することを特徴とする画像処理方法。
【請求項９】 請求項１ないし請求項８のいずれか１項に記載の画像処理方法において、前記画像データは、欠落した画素について補間処理が施された画像データであり、前記方向依存ローパス演算手順は、補間処理が実施された画素のみを対象画素として、前記ローパス処理を施すことを特徴とする画像処理方法。
【請求項１０】 請求項１ないし請求項９のいずれか１項に記載の画像処理方法において、前記画像データは、欠落した画素について補間処理が施された画像データであり、前記類似性判定手順は、ローパス処理に先だって、補間処理が実施された画素の値を、その画素近傍の所定領域における画素最大値または最小値に対応する境界値で制限することを特徴とする画像処理方法。
【請求項１１】 請求項１ないし請求項１０のいずれか１項に記載の画像処理方法において、前記画像データは、画素密度の一番高い第１色と、空格子を有して画素密度の低い第２色とを少なくとも有するカラー画像データであり、前記第２色の存在する画素について、第２色と第１色の色差をとる色差算出手順と、前記第２色の存在しない画素について、前記色差算出手順で得た色差に基づいて色差補間値を求める色差補間手順と、前記色差補間手順で求めた色差補間値と第１色とに基づいて、第２色を復元する第２色復元手順とを有し、前記色差算出手順において、色差の算出に使用する第１色は、前記ローパス処理前の第１色であることを特徴とする画像処理方法。
【請求項１２】 請求項１１に記載の画像処理方法において、前記第２色復元手順において、第２色の復元に使用する第１色は、前記ローパス処理後の第１色であることを特徴とする画像処理方法。
【請求項１３】 請求項１１または請求項１２に記載の画像処理方法において、前記方向依存ローパス演算手順は、前記第１色から重み比率を求め、その重み比率を用いて前記第２色または前記色差を加重平均することを特徴とする画像処理方法。
【請求項１４】 請求項１ないし請求項１３に記載の画像処理方法において、前記方向依存ローパス演算手順は、少なくとも、類似性の最も低い方向の重み比率を実質的にゼロにすることを特徴とする画像処理方法。
【請求項１５】 コンピュータに、請求項１ないし請求項１４のいずれか１項に記載の画像処理方法を実行させるための画像処理プログラムを記録した機械読み取り可能な記録媒体。
【請求項１６】 請求項１ないし請求項１４のいずれか１項に記載の全ての手順を実行する画像処理部を備えたことを特徴とする画像処理装置。
【請求項１】 画像データに対して、空間周波数のローパス処理を施す画像処理方法において、ローパス処理の対象画素を含む局所領域に関して、少なくとも４つの方向における画素の類似性を判定する類似性判定手順と、前記類似性判定手順の判定結果に基づいて前記類似性の強い方向の重み比率を増やしたうえで、前記対象画素に周辺画素を加重平均する方向依存ローパス演算手順とを有することを特徴とする画像処理方法。
【請求項２】 請求項１に記載の画像処理方法において、前記類似性判定手順は、所定方向の非類似度を、下記（１）（２）のいずれか一方の値または両方の値を用いて算出し、前記非類似度に基づいて類似性の判定を行うことを特徴とする画像処理方法。
（１）対象画素を通る所定方向のライン上に位置する画素間の特徴差（２）対象画素の近くを通る所定方向のライン上に位置する画素間の特徴差
【請求項３】 請求項１または請求項２に記載の画像処理方法において、前記類似性判定手順は、少なくとも４方向の非類似度ｔｔ１，ｙｙ１，ｎｕ１，ｎｓ１を、前記局所領域内の画素間の特徴差に基づいて算出し、前記少なくとも４方向の非類似度ｔｔ１，ｙｙ１，ｎｕ１，ｎｓ１について平均またはメディアンを取ることにより、非類似度の代表値ｍ１を求め、前記少なくとも４方向の非類似度ｔｔ１，ｙｙ１，ｎｕ１，ｎｓ１と、前記代表値ｍ１とに基づいて、下記の非線形変換を実行して、ｔｔ２＝max｛ｍ１−ｔｔ１＋δ，γ｝ ・・・［式１］
ｙｙ２＝max｛ｍ１−ｙｙ１＋δ，γ｝ ・・・［式２］
ｎｕ２＝max｛ｍ１−ｎｕ１＋δ，γ｝ ・・・［式３］
ｎｓ２＝max｛ｍ１−ｎｓ１＋δ，γ｝ ・・・［式４］
（ただし、上式中のδ，γは予め定められた値であり、０の場合も含む）
類似度ｔｔ２，ｙｙ２，ｎｕ２，ｎｓ２を求める手順であり、前記方向依存ローパス演算手順は、求めた類似度ｔｔ２，ｙｙ２，ｎｕ２，ｎｓ２に応じて、少なくとも４方向に位置する周辺画素の重み比率を決定し、対象画素に周辺画素を加重平均する手順であることを特徴とする画像処理方法。
【請求項４】 請求項１ないし請求項３のいずれか１項に記載の画像処理方法において、前記画像データは、カラー画像データであり、前記類似性判定手順は、カラー画像データの２種類以上の色情報に基づいて前記類似性の判定を行うことを特徴とする画像処理方法。
【請求項５】 請求項４に記載の画像処理方法において、前記類似性判定手順は、補間処理前のカラー画像データに基づいて前記類似性の判定を行うことを特徴とする画像処理方法。
【請求項６】 請求項４または請求項５に記載の画像処理方法において、前記類似性判定手順は、所定方向の非類似度を、所定方向における同色画素間および／または異色画素間の特徴差を用いて算出し、前記非類似度に応じて類似性の判定を行うことを特徴とする画像処理方法。
【請求項７】 請求項６に記載の画像処理方法において、前記類似性判定手順は、ホワイトバランス処理後のカラー画像データから異色画素間の特徴差を算出することを特徴とする画像処理方法。
【請求項８】 請求項６または請求項７のいずれか１項に記載の画像処理方法において、前記類似性判定手順は、ローパス処理の対象画素について彩度を検出し、検出した彩度に対応して、非類似度の算出における異色画素間の特徴差の寄与率を可変することを特徴とする画像処理方法。
【請求項９】 請求項１ないし請求項８のいずれか１項に記載の画像処理方法において、前記画像データは、欠落した画素について補間処理が施された画像データであり、前記方向依存ローパス演算手順は、補間処理が実施された画素のみを対象画素として、前記ローパス処理を施すことを特徴とする画像処理方法。
【請求項１０】 請求項１ないし請求項９のいずれか１項に記載の画像処理方法において、前記画像データは、欠落した画素について補間処理が施された画像データであり、前記類似性判定手順は、ローパス処理に先だって、補間処理が実施された画素の値を、その画素近傍の所定領域における画素最大値または最小値に対応する境界値で制限することを特徴とする画像処理方法。
【請求項１１】 請求項１ないし請求項１０のいずれか１項に記載の画像処理方法において、前記画像データは、画素密度の一番高い第１色と、空格子を有して画素密度の低い第２色とを少なくとも有するカラー画像データであり、前記第２色の存在する画素について、第２色と第１色の色差をとる色差算出手順と、前記第２色の存在しない画素について、前記色差算出手順で得た色差に基づいて色差補間値を求める色差補間手順と、前記色差補間手順で求めた色差補間値と第１色とに基づいて、第２色を復元する第２色復元手順とを有し、前記色差算出手順において、色差の算出に使用する第１色は、前記ローパス処理前の第１色であることを特徴とする画像処理方法。
【請求項１２】 請求項１１に記載の画像処理方法において、前記第２色復元手順において、第２色の復元に使用する第１色は、前記ローパス処理後の第１色であることを特徴とする画像処理方法。
【請求項１３】 請求項１１または請求項１２に記載の画像処理方法において、前記方向依存ローパス演算手順は、前記第１色から重み比率を求め、その重み比率を用いて前記第２色または前記色差を加重平均することを特徴とする画像処理方法。
【請求項１４】 請求項１ないし請求項１３に記載の画像処理方法において、前記方向依存ローパス演算手順は、少なくとも、類似性の最も低い方向の重み比率を実質的にゼロにすることを特徴とする画像処理方法。
【請求項１５】 コンピュータに、請求項１ないし請求項１４のいずれか１項に記載の画像処理方法を実行させるための画像処理プログラムを記録した機械読み取り可能な記録媒体。
【請求項１６】 請求項１ないし請求項１４のいずれか１項に記載の全ての手順を実行する画像処理部を備えたことを特徴とする画像処理装置。
【図４】
【図１】
【図２】
【図３】
【図５】
【図６】
【図７】
【図８】
【図１】
【図２】
【図３】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２００１−６１１５７（Ｐ２００１−６１１５７Ａ）
【公開日】平成１３年３月６日（２００１．３．６）
【国際特許分類】
【出願番号】特願２０００−９８９３７（Ｐ２０００−９８９３７）
【出願日】平成１２年３月３１日（２０００．３．３１）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成１３年３月６日（２００１．３．６）
【国際特許分類】
【出願日】平成１２年３月３１日（２０００．３．３１）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]