説明

カラーデジタル画像のエイリアジング・アーチファクト除去方法

【課題】 カラーピクセルを有するカラーデジタル画像のカラー・エイリアジング・アーチファクトを最小化する方法の提供を目的とする。
【解決手段】 本方法は、カラーデジタル画像から輝度信号とクロミナンス信号を供給し、エッジを画成するピクセルによって実質的に仕切られる、処理されるピクセル近傍を計算するため、輝度信号とクロミナンス信号を使用し、クロミナンス信号に対して低周波クロミナンス信号を生成し、ノイズが除去されたクロミナンス信号を生成するため、低周波クロミナンス信号及び計算されたピクセル近傍を使用し、アップサンプリングされたノイズ除去クロミナンス信号を生成するため、上記ノイズ除去クロミナンス信号をアップサンプリングし、低減されたカラー・エイリアジング・アーチファクトのカラーデジタル画像を供給するため、輝度信号及びアップサンプリングされたノイズ除去クロミナンス信号を使用することを含む。

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、色つきのデジタル画像におけるエイリアジング・アーチファクトを最小化することに関する。
【0002】
【従来の技術】カラーデジタルカメラ画像において見出されるノイズの一タイプは、例えば衣類のツイード模様のような、低周波数で、高度に色付けされた模様として現れる。カラーモアレ模様、若しくは単にカラーモアレと称されるこれらの模様は、その他の空間的にビジーな領域にゆっくりと変化する大きな波状の色つき模様を形成する。カラーモアレ模様は、また、クロミナンス・エイリアジング模様、若しくは単にクロミナンス・エイリアジングと称される。
【0003】デジタル画像のカラーモアレ模様を低減する多くの方法が先行技術として存在する。その中で多くの特許は、第1にカラーモアレを誘起するエイリアジングを回避するため、デジタルカメラ内に光学式ぼかしフィルターを使用したカラーモアレ模様低減方法について述べている。しかし、これらのぼかしフィルターは、画像の本当の空間的な細部をもぼかし、これは、後の画像処理方法によって回復可能でないであろう。
【0004】クロミナンスノイズアーチファクトを低減し若しくは除去するデジタル画像方法を特に扱うアプローチもある。デジタルカメラの特許の一クラスは、高周波数のクロミナンスノイズアーチファクトを低減し若しくは除去するカラーフィルターアレイ(CFA)補間処理に対する改善点を開示する。その他のクラスの特許は、クロミナンスノイズアーチファクトを低減し若しくは除去するCFA補間処理を伴い、異なるピクセル形状(すなわち、正方形の代わりに長方形)及び異なる配置(すなわち、各行が、ピクセル幅の半分だけその前の行からオフセットしている)を使用することを教授する。しかし、これらの技術は、高周波数のクロミナンスノイズアーチファクトに対処するのみで、低周波数のカラーモアレに対しては実質的に効果がない。
【0005】公開された文献において、CIELAB(CIE国際標準)のようなクロミナンス−クロミナンス空間に画像を変換し、クロミナンスチャンネルをぼかし、その後その画像を原画像空間に戻す、クロミナンスノイズアーチファクトをデジタル画像から取り除く多くの公知技術が存在する。この処理は、クロミナンスノイズを抑制するために用いられる標準的な技術である。このアプローチを用いた不利な点は、ぼかしステップ中、クロミナンスノイズアーチファクトと本当のクロミナンス風景細部との間に区別がないことである。結果的に、画像の鮮明な色つきエッジは、ぼかしがより積極的になるにつれて、にじみ始める。通常、カラーにじみは、画像から低周波数のカラーモアレが除去される前に、許容できなくなる。また、後の画像処理がその画像に実行される場合、カラーにじみの可視性を増強してしまう可能性がある。このアプローチの第2の不利な点は、固定値の小さいぼけカーネルが、カラーにじみの問題点を抑制しようとするときに必要とされることである。しかしながら、低周波数のカラーモアレを対処するためには、大きなぼけカーネルが、所望のノイズ清掃を達成するために必要とされるだろう。
【0006】
【発明が解決しようとする課題】そこで、本発明の目的は、カラーデジタル画像のエイリアジング・アーチファクトを最小化する効果的な方法を提供することにある。
【0007】
【課題を解決するための手段】この目的は、(a)カラーデジタル画像から輝度信号とクロミナンス信号を供給し、(b)エッジを画成するピクセルによって実質的に仕切られる、処理されるべきピクセルの近傍を、計算するため、上記輝度信号とクロミナンス信号を使用し、(c)上記クロミナンス信号に対して低周波クロミナンス信号を生成し、(d)ノイズが除去されたクロミナンス信号を生成するため、上記低周波クロミナンス信号及び上記計算されたピクセルの近傍を使用し、(e)アップサンプリングされたノイズが除去されたクロミナンス信号を生成するため、上記ノイズが除去されたクロミナンス信号をアップサンプリング処理し、(f)低減されたカラー・エイリアジング・アーチファクトを備えたカラーデジタル画像を供給するため、上記輝度信号及び上記アップサンプリング処理されたノイズが除去されたクロミナンス信号を使用することを含む、カラーピクセルを有するカラーデジタル画像のカラー・エイリアジング・アーチファクトを最小化する方法によって達成される。
【0008】
【発明の実施の形態】図1を参照するに、ブロック10は、RGB画像データでありうるカラーデジタルデータからの輝度値の計算を示す。適切な変換は、次式の通りであるだろう。
【0009】
【数1】


ブロック12は、RGB画像データからのクロミナンス値の計算を示す。適切な変換は、次式の通りであるだろう。
【0010】
【数2】


カラーデジタル画像からの輝度及びクロミナンス値の計算は、当業者にとって公知であるので、かかる計算についてこれ以上言及しない。
【0011】ブロック14は、処理されるべきピクセルの近傍の計算を示す。ここで、かかるピクセルの近傍は、エッジを画成するピクセルを実質的に除外するだろう。この計算は、低周波数の活性近傍(activity neighborhoods)を決定する。かかる近傍は、3分の一にダウンサンプリング処理された画像平面における各ピクセル位置に対して一度生成され、その近傍は、両方のクロミナンス平面によって使用される。活性近傍は、複数(一般的な数は8)の方向性のある活性近傍として表現される。ブロック14は、4つのステップのシーケンスとして図2に更に示される。
【0012】ブロック16は、低周波数のクロミナンスの計算を示す。効果的な方法は、3つのピクセルを一辺に有する正方形を用いて各クロミナンスデータ平面を基盤目状にすることである。各クロミナンスデータ平面の3分の一のダウンサンプリング処理は、各正方形の9つのピクセルを、9つのクロミナンス値の重み付けされた平均をその値として有する単一のピクセルに、置き換えることによって実行される。重みのマトリックスの一般的な選択は、次の通りである。
【0013】
【数3】


図1では、ブロック18は、本発明によるノイズが除去された低周波数クロミナンス信号の生成を示す。低周波数のクロミナンスデータ平面のそれぞれにおける各ピクセルに対して、低周波数の活性近傍内の低周波数クロミナンス値が、ノイズが除去された低周波クロミナンス値を生成するため、結合される。ブロック18は、3つのステップのシーケンスとして図3に更に示される。
【0014】ブロック20は、ノイズが除去されたクロミナンス値のアップサンプリング処理を示す。ノイズが除去された低周波クロミナンスデータ平面は、双一次補間を使用して、3倍のアップサンプリング処理される。これらのノイズが除去されたクロミナンスデータ平面、及びブロック10からの輝度データ平面のすべては、同一の大きさ(ディメンジョン)を有する。
【0015】ブロック22(図1)は、ブロック10及びブロック12で実行された変換の逆変換を使用した、輝度及びノイズが除去されたクロミナンスのRGB画像データへの変換を示す。即ち、次のように示される。
【0016】
【数4】


ブロック14がより詳細に示された図2を参照するに、ブロック30は、活性値の計算を示す。この例では、エッジ情報は、計算されたピクセルの近傍を境界付けるために使用される。各ピクセルに対して、近接する輝度値及びクロミナンス値に依存する活性値が存在する。3つのデータ平面のそれぞれに対して、水平及び垂直方向の活性値が、データの重み付けされた総和をとることによって計算される。水平及び垂直方向の重みカーネル図4a及び図4bのそれぞれに示される。結果としての6つの値の絶対値は、総和され、その結果が現在のピクセルの活性値である。当業者であれば、図4a及び図4bは、ブロック30において活性値を計算するために使用される低周波エッジ検出カーネルであることを認識するだろう。
【0017】図2では、ブロック32は、低周波活性ベクトルの計算を示す。この処理は、活性値データ平面を一辺に3つのピクセルを有する正方形を用いて碁盤目状にすることによって開始される。3×3の各正方形に対して、活性化ベクトルは、3つの成分を有して生成される。第1の成分は、3×3の正方形の中心において見出される活性値である。第2の成分は、3×3の正方形において見出される9つの活性値のうち2番目に小さい値である。第3の成分は、3×3の正方形において見出される9つの活性値のうち2番目に大きい値である。低周波活性化ベクトルの第3の成分は、傾向数(trend numbers)とみなされることができる。これらの傾向数は、ブロック34においてピクセルの近傍を決定するために使用される。この例において、ピクセルの近傍の所望の特性は、それらがエッジによって境界付けられることである。後に説明されるように、他の画像特性も、本発明により、ピクセルの近傍を境界付けるために使用されることができる。より詳細には、傾向数は、対象ピクセルから複数の方向におけるピクセルの最大数を定義するために使用される。これは、特定されたピクセルの最大数を含むピクセルの近傍の決定をもたらす。これは、図5において示される。
【0018】ブロック34は、方向性のある低周波活性近傍の計算を示す。示された好ましい実施例は、図5に示されたような8つの方向を利用するが、異なる数の方向も代わりに利用されてよいことは理解されるべきである。選択されたピクセルに対して、Aは、その活性化ベクトルの第1の成分を表現することとする。選択されたピクセルから、8つの方向性のある低周波活性化近傍は、次のように生成される。選択されたピクセルから開始し、特定の方向に進行し、次のピクセルを検査する。Al0及びAh0は、その活性化ベクトルの第2の成分及び第3の成分をそれぞれ表現することとする。両絶対値、ABS(A−Al0)及びABS(A−Ah0)が予め設定された閾値T(例えば、12ビットの画像に対して60)以下である場合、このピクセルは、方向性のある低周波活性近傍の要素として確定され、この処理は同一方向にある次のピクセルに対して継続される。
【0019】絶対値のいずれかがTを超える場合、そのピクセルは、拒絶され、その特定方向に対する処理が停止される。この処理は、近傍が予め設定された要素の最大数(例えば、10個のピクセル)に到達したときも停止される。方向性のある低周波活性近傍は、最初に選択されたピクセルを含まないので、それらが空になることは可能である。
【0020】最後に、図2のブロック36は、低周波活性近傍の計算を示す。選択されたピクセルは、方向性のある低周波活性近傍のすべてのピクセルと共に、選択されたピクセルの低周波活性化近傍を構成する。
【0021】ブロック14は、ピクセルの近傍がエッジを含まないことを確認する時の使用に特に適している。ピクセルの近傍は、エッジを除外する基礎となることができるだけでなく、肌、空、葉、及び草のようなキーカラーのみを含ませるためにも使用することができる。更に、ピクセルの近傍は、衣類、髪、及び石積み、若しくはハイライト及び影のような、テクスチャー及びテクスチャーのない領域だけを含ませるために使用することができる。更に、人の顔、自動車、及び文字のような他の特別な対象物が使用されることができる。
【0022】図3を参照するに、ブロック40は、方向性のある低周波活性近傍に対する重み付けられたクロミナンス値の計算を示す。各方向に対して、対応する活性化近傍にあるピクセルを考慮する。各ピクセルは、その近傍におけるピクセル位置によって決定される重みを乗算された低周波クロミナンス値を有する。Cjkがj番目の方向性のある活性近傍におけるk番目のクロミナンス値である場合、Cは、j番目の方向性のある活性近傍に対する重み付けされた平均のクロミナンス値であり、その値は、次のように計算される。
【0023】
【数5】


重みに対する代表的な選択は、次のようになる。
【0024】
【数6】


この重みのセットは、0の重みを得る最も離れたピクセルを除いて、1の重みを得る方向性をもつ活性化近傍におけるすべての点を示す。その他の重みの割り当ても可能であることを理解されるべきである。
【0025】図3にブロック42は、重み付けられたクロミナンス値のフィルター処理を示す。各クロミナンスデータ平面に対して、ブロック42からの重み付けられたクロミナンス値は、サイズごとに格納される。最も高い値及び最も低い値は、捨てられ、残りのクロミナンス値が、それらの重みの総和と共に、ブロック44に通される。空でない方向性のある近傍が3つより少ない場合、フィルター処理は、フィルター処理されたクロミナンス値を一切通さないだろう。フィルター処理は、各クロミナンスデータ平面に対し分離して実行される。
【0026】最後に、図3のブロック44は、ブロック42からのフィルター処理されたクロミナンス値とピクセルクロミナンスとの結合を示す。フィルター処理されたクロミナンス値は、それらの個別の重みの総和によって重み付けられ、かつ、選択されたピクセルのクロミナンス値に、1の重みと共に結合される。その結果は、選択されたピクセルに対するノイズが除去された低周波クロミナンス値である。この処理は、両クロミナンスデータ平面に対し分離して実行される。ブロック42からのフィルター処理されたクロミナンス値が一切通されない場合、選択されたピクセルのクロミナンス値に変更はなされない。
【0027】当業者であれば、本発明が、デジタル画像処理の鎖(chain)の部分として使用されることができ、その他の画像処理ステップを備えるシーケンスに挿入されることができることを理解するだろう。
【0028】
【発明の効果】本発明は、以上説明したようなものであるから、以下に記載されるような効果を奏する。本発明では、輝度及びクロミナンス信号は、エイリアジング・アーチファクトを低減するだけでなく、ノイズが除去されたクロミナンス信号を生成することにも使用されることができる。
【0029】その他の効果は、計算全体量の低減によって、著しく計算時間が短縮されることである。大きな実効的な近傍を用いた高度に積極的なノイズ清掃は、大きな範囲の画像が計算メモリに残存されることを必要とすることなく、実行されることができる。画像のエッジ細部は、処理中に保護され、保存される。
【0030】本発明は、画像の初期的なカラー空間に繊細でない、即ち、本発明は、RGB、CMY、CMYG、若しくは画像を定義する他のカラー空間に基づいても同等に作用する。
【図面の簡単な説明】
【図1】本発明による好ましい方法を示すブロック図である。
【図2】図1のブロック14をより詳細に示すブロック図である。
【図3】図1のブロック18をより詳細に示すブロック図である。
【図4】図4a及び図4bは、図1のブロック14で使用される2つの低周波エッジ検出用カーネルをそれぞれ示す。
【図5】図1のブロック14で生成されブロック18で使用される処理されるべきピクセルの近傍を決定する際に採用されることができる方向を矢印により示す図である。
【符号の説明】
10 輝度値計算ブロック
12 クロミナンス値計算ブロック
14 低周波近傍計算ブロック
16 低周波クロミナンス計算ブロック
18 ノイズ除去低周波クロミナンスの計算ブロック
20 ノイズ除去クロミナンスのアップサンプリングブロック
22 ノイズ除去RGBの計算ブロック

【特許請求の範囲】
【請求項1】 (a)カラーデジタル画像から輝度信号とクロミナンス信号を供給し、(b)エッジを画成するピクセルによって実質的に仕切られる、処理されるべきピクセルの近傍を、計算するため、上記輝度信号とクロミナンス信号を使用し、(c)上記クロミナンス信号に対する低周波クロミナンス信号を生成し、(d)ノイズが除去されたクロミナンス信号を生成するため、上記低周波クロミナンス信号及び上記計算されたピクセルの近傍を使用し、(e)アップサンプリングされたノイズが除去されたクロミナンス信号を生成するため、上記ノイズが除去されたクロミナンス信号をアップサンプリング処理し、(f)低減されたカラー・エイリアジング・アーチファクトを備えたカラーデジタル画像を供給するため、上記輝度信号及び上記アップサンプリング処理されたノイズが除去されたクロミナンス信号を使用することを含む、カラーピクセルを有するカラーデジタル画像のカラー・エイリアジング・アーチファクトを最小化する方法。
【請求項2】 (a)入力カラーデジタル画像以外の修正された表現を有する新たなカラーデジタル画像を生成するため、入力カラーデジタルを画像処理し、(b)少なくとも1つの解像度のより低いカラーデジタル画像を提供するため、上記入力カラーデジタルのカラーピクセルの数若しくは上記新たなカラーデジタル画像のカラーピクセルの数を減少させ、(c)上記解像度のより低いカラーデジタル画像を、輝度及びクロミナンス成分を有する空間に変換し、(d)上記解像度のより低いカラーデジタル画像の上記クロミナンス成分におけるエイリアジング・アーチファクトを、対象となるカラーピクセルの近傍のクロミナンス値の平均化であって、上記対象となるカラーピクセルの近傍にある平均化されるカラーピクセルが上記カラーデジタル画像の隣接エッジからの距離に関係付けられる平均化を実行することによって、減少させ、(e)上記エイリアジング・アーチファクトが減少されたクロミナンス成分を、より高い解像度まで補間し、(f)上記処理されたデジタル画像が最小化されたカラー・エイリアジング・アーチファクトを有するように、上記入力カラーデジタル画像若しくは上記新たなカラーデジタル画像であるカラーデジタル画像を提供するため、上記最初の輝度成分及び上記補間されたクロミナンス成分を使用することからなる、処理されたカラーデジタル画像からカラー・エイリアジング・アーチファクトを最小化することを含むカラーデジタル画像を処理する方法。
【請求項3】 特定の画像特性を含むように仕切られるピクセルの近傍を計算する方法であって、(a)上記特定の画像特性を画成するピクセルによって実質的に仕切られる、処理されるピクセルの近傍を、計算するためデジタル画像を使用し、(b)隣接ピクセルの値に基づいて、各ピクセルに対し活性数を計算し、(c)上記特定の画像特性に関する各ピクセルに対する複数の傾向数を生成するため、各ピクセルに対する上記活性数及び所定の近傍にある隣接ピクセルに対する活性数を使用し、(d)上記特定の画像特性を仕切る上記ピクセルの近傍を決定するため、各ピクセルに対する上記傾向数を使用することを含む、方法。

【図1】
image rotate


【図2】
image rotate


【図3】
image rotate


【図4】
image rotate


【図5】
image rotate


【公開番号】特開2002−185811(P2002−185811A)
【公開日】平成14年6月28日(2002.6.28)
【国際特許分類】
【出願番号】特願2001−315988(P2001−315988)
【出願日】平成13年10月12日(2001.10.12)
【出願人】(590000846)イーストマン コダック カンパニー (1,594)
【Fターム(参考)】