レティネックス型アルゴリズムを高速化する方法
入力画像のレティネックス処理の高速化に使用可能な、装置及び対応する方法。この装置は、入力画像をサブサンプリングした画像を生成するためのサブサンプリングアルゴリズムを有するダウンサンプリングモジュール(110)と、サブサンプリングされた画像を受信し、対応する暫定的な照度推定を生成する非線形照度推定モジュール(120)とを含む。最後に、この装置は、１以上のアップサンプリングアルゴリズム(150)を有するアップサンプリングモジュール(140)を含む。暫定的な照度推定は補間され(152)、照度推定が生成され、その照度推定を使用して、入力画像に対するレティネックス補正を実施することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
技術分野は、カラービジョン補正であり、具体的には、レティネックス型アルゴリズムを使用したカラービジョン補正である。
【背景技術】
【０００２】
中心／周辺レティネックス（網膜及び皮質）の概念を中心とした人間の視覚の理論が、エドウィン・ランドにより、「An Alternative Technique for the Computation of the Designator in the Retinex Theory of Color Vision」（全米科学アカデミー会報、第８３巻、第３０７８〜３０８０頁、１９８６年）において紹介された。ランドは、「Color Vision and The Natural Image」（全米科学アカデミー解放、４５巻、１１５〜１２９頁、１９５９年）に開示した自身の以前のレティネックス概念を参考にし、それらの概念を、視覚の神経生理学の一定の研究結果に調和させた。レティネックス概念は全て、人間の色知覚のモデル化を目的とするものであった。
【０００３】
ランドの人間の視覚理論の画像処理への応用は、従来技術として既に試みられている。たとえば、人間の視覚のダイナミックレンジ圧縮を模倣するために、アナログＶＬＳＩシリコンチップに組み込まれた処理機能を有する検出器アレイは、周辺形成の前に対数変換を使用していた。はＣ・ミード（Mead）著「Analog VLSI and Neural Systems」（Addison-Wesley, Reading, Mass., 1989）を参照して欲しい。色恒常性を向上させる試みとして、アナログＶＬＳＩ技術においてカラーレティネックスを実施することが、ムーア（Moore）他により、「A Real-time Neural System for Color Constancy」（IEEE Transactions on Neural Network、第２巻、第２３７〜２４７頁、１９９１年３月）に提案されている。ムーア他の文献では、周辺関数として指数関数を使用し、画像を表示する前の最終処理において、３つ色帯域の信号値全体における絶対最大値及び絶対最小値を見つけることにより自身を設定する、可変利得調節を使用しなければならなかった。
【０００４】
これらの従来技術及び他の従来技術のレティネックス法の中心になるものは、レティネックス型アルゴリズムである。知覚される画像Ｓは、可視表面に照射された光の照度Ｌと、対応するそれら表面の反射率Ｒとの積である。つまり、
（１） Ｓ＝Ｒ・Ｌ
である。レティネックスアルゴリズムの基礎となる前提は、照度Ｌがアーチファクトであるということである。照度Ｌは推定され、Ｓ１＝Ｓ／Ｌ＝Ｒによって完全に除去されるか、又は、Ｓ２＝Ｓ／ｆ（Ｌ）によって部分的に除去される。ただし、ｆ（Ｌ）は照度の関数である。ＳからＬを推定することが、レティネックスアルゴリズムを使用するときの主なアルゴリズム的な計算上の問題である。
【０００５】
従来技術のレティネックス型アルゴリズムは、図１に示すような２モジュール構造を特徴とする。局部統計モジュール１０は、入力画像Ｓを平滑化したバージョンＬ（すなわち、局部統計値）を算出する。通常、平滑化されたバージョンＬは、入力画像Ｓの線形ローパスフィルタ又は非線形ローパスフィルタである。次に、操作モジュール２０が、局部統計Ｌにおける対応する位置にある値に従って、画像Ｓのピクセルを操作する。レティネックス型アルゴリズムでは、局部統計Ｌは通常、照度に関するものであり、Ｓの局部平均値又は局部エンベロープ（最大値）である。場合によっては、局部統計Ｌは、Ｓの強靭な局部平均値又は強靭な局部エンベロープとなる場合もある。そのため、強靭とは、局部平均値や局部エンベロープの判定に関係する幾つかのピクセルが、知覚的に重要な画像エッジの同じ側に中心ピクセルとして存在することを意味する。下記の説明では、Ｌを照度と呼ぶ。ただし、Ｌは、もっと一般的な意味も有するものとして解釈しなければならない。
【０００６】
図１では、便宜上、入力画像Ｓが、レティネックスアルゴリズムへの入力として描かれている。しかしながら、当業者には知られているように、レティネックス型アルゴリズムは通常、対数領域で動作する。同様に当業者には知られているように、照度Ｌは、「エンベロープ」と呼ばれることが多い。エンベロープは、平滑なものであってもよいし、区画ごとに平滑なものであってもよい。
【０００７】
また、従来技術のレティネックスアルゴリズムは通常、照度推定モジュール１０において、線形空間不変ローパスフィルタや偏微分方程式を使用している。変化には、ゆっくりと変化するエンベロープ、すなわち、局部平均値の代わりとなる局部エンベロープと、入力の急激な変化に応じて急激に変化する場合がある、区画ごとに平滑な平均値又はエンベロープとなる強靭なローパスとがある。
【０００８】
照度操作モジュール２０モジュールでは、照度Ｌが部分的に減算される場合があり、たとえば、入力画像Ｓから照度Ｌの２分の１が減算される場合がある。代替的な操作方法では、入力画像Ｓに対応する照度Ｌの値が増加するほど、減算される入力画像Ｓの値の数を増やす場合がある。
【０００９】
従来技術のレティネックスアルゴリズムは、白黒画像に適用される場合もあれば、カラー画像に適用される場合もある。カラー画像の場合、レティネックスアルゴリズムは、すべての平面に適用することもできるし、照度Ｌ（たとえば、Ｙ）平面にのみ適用することもできる。
【００１０】
従来技術のレティネックスアルゴリズムの中には、照度推定モジュール１０と照度操作モジュール２０の両方を反復フィルタリング・減算方式で実施するものがある。他の従来技術のレティネックスアルゴリズムとして、モジュール１０とモジュール２０をスケール空間でインターリーブするものがある。
【００１１】
改良された従来技術のレティネックス型アルゴリズムとして、入力画像Ｓを部分的にサンプリングしたものから照度Ｌを得るものがある。そのような改良されたレティネックス型アルゴリズムを図２にブロック図の形で示す。図２において、レティネックス型アルゴリズムは、線形照度推定モジュール３０及び照度操作モジュール２０を含む。まず、画像信号Ｓが、ダウンサンプリングモジュール３２に入力される。ダウンサンプリングモジュール３２では、当業者にとって既知の技法を使用して、画像信号Ｓがサブサンプリングされ、サブサンプリングされた画像Ｓ’が生成される。このサブサンプリングは、例えば、画像Ｓ中の４つのピクセルのブロックを平均化することからなる。次に、線形照度推定モジュール３０は、サブサンプリングされた画像Ｓ’に基づいて、照度Ｌ’の推定値を生成する。次に、照度Ｌ’はアップサンプリングモジュール３４に供給され、補間及び当業者にとって既知の類似の技法を使用して、画像Ｓ全体の照度Ｌ”の推定値が生成される。
【００１２】
サブサンプリング及びその後の補間は、計算が集中的に行われるレティネックスプロセスを高速化することを目的としたものである。一方、図２に示すレティネックス型アルゴリズムは、１セットの滑らかな低解像度の中間画像（すなわち、画像Ｓ’）に対して補間を実施し、その結果得られた１セットの高解像度画像Ｌ”から、高解像度入力画像Ｓを使用して、対応する出力ピクセルを選択する。この補間方式によれば、低解像度の区画ごとに平滑な照度画像を補間する必要はなくなる。したがって、図２に示すレティネックス型アルゴリズムは、アルゴリズムの計算が集中して行われる演算によって滑らかな関数（平均値又はエンベロープ）が生成される場合にしか、使用することができない。そのようなレティネックス型アルゴリズムの一例は、Ｆ．デュランド及びＪ．ドーセイ著の「Fast Bilateral Filtering for the Display of High Dynamic Range Images」に記載され、http://graphics.lcs.mit.edu/~fredo/DurandBilateral.pdfにプレプリントされている。したがって、図２に示すレティネックス型アルゴリズムは、バイラテラルフィルタリングを使用するレティネックス型アルゴリズム以外の強靭なレティネックス型アルゴリズムに使用することはできない。また、レティネックス型アルゴリズムの計算が集中的に行われる演算は、各中間画像Ｓ’に対して１回ずつ、複数回繰り返される。
【発明の開示】
【課題を解決するための手段】
【００１３】
入力画像のレティネックス型処理を高速化するための装置を開示する。この装置は、入力画像をサブサンプリングした画像を生成するためのサブサンプリングアルゴリズムを有するダウンサンプリングモジュールと、サブサンプリングされた画像を受信し、対応する暫定的な照度推定を生成する非線形照度推定モジュールとを含む。最後に、この装置は、１以上のアップサンプリングアルゴリズム有するアップサンプリングモジュールを含む。暫定的な照度推定を補間することにより照度推定を生成し、その照度推定を使用して、入力画像に対するレティネックス補正を実施することができる。
【００１４】
また、高解像度入力画像のレティネックス型処理を高速化するための方法も開示する。この方法は、高解像度入力画像をサブサンプリングし、１以上の低解像度入力画像を生成するステップと、各低解像度入力画像について暫定的な照度推定値を生成し、それらの低解像度入力画像の照度を推定するステップと、前記暫定的な照度推定値をアップサンプリングし、レティネックス補正に適した照度推定値を生成するステップとを含む。
【００１５】
詳細な説明では添付の図面を参照する。図面において、同じ番号は同じものを指す。
【発明を実施するための最良の形態】
【００１６】
下記の説明では、「線形」という用語を次の２つの意味のうちのいずれかの意味で使用する。
【００１７】
１．非線形アルゴリズムに対する、線形アルゴリズム（たとえば、線形畳み込み演算）
２．たとえば、２乗計算の複雑度や対数計算の複雑度に対する、線形計算の複雑度。具体的には、この記載は、入力複雑度に関する線形複雑度又は準線形複雑度を意味する。すなわち、この記載は、入力ピクセル数に比例して計算が集中的に行われる演算の個数、又は、入力ピクセル数をサンプリングファクタで除算した数に比例して計算が集中的に行われる演算の個数を意味する。
【００１８】
サブサンプリングされたデータに対して強靭なレティネックスアルゴリズムを使用することに伴なう主な問題は、強靭なレティネックスアルゴリズムの区分ごとに平滑な照度推定結果をうまく補間することができず、出力照度にアーチファクトが発生する可能性があることである。この問題を克服するために、本明細書に開示する改良された強靭なレティネックスアルゴリズムは、強靭なレティネックス照度推定値を補間するときのアーチファクトを回避することにより、従来技術のレティネックスアルゴリズムを上回る大幅な処理の高速化を可能にしている。
【００１９】
強靭な照度推定モジュールと強靭でない照度推定モジュールのいずれにおいても、サブサンプリングは、サブサンプルＳ’の照度推定値Ｌ’が局部最大値であるか、それとも局部平均値であるのかという質問を表示する。強靭な照度推定モジュールでは、アーチファクトは、アップサンプリング中、すなわち補間中に生成される。しかしながら、出力画像のサイズや視距離に比べてサンプリングファクタが小さい場合、その出力画像は、サブサンプリングされていない出力画像に比べて、アーチファクトが鮮明なものになる。したがって、或る程度までは、これらのアーチファクトは利点とみなすことができる。強靭な照度推定モジュールにおいては、サブサンプリングが比較的強い場合、必要なアップサンプリング中に生成された過度に鮮明化されたアーチファクトやハローアーチファクトにより、出力画像の品質は劣化する場合がある。そのような場合、代わりとなる非標準的な補間手法をアップサンプリング段階で使用してもよい。この補間手法については、後で詳しく説明する。一方、この代替的なアップサンプリングは、不鮮明なアーチファクトを生成する。最後に、このアップサンプリングアルゴリズムは、少なくとも下記の方法のうちの１つと組み合わせることにより、ある補間アルゴリズムの不鮮明化に対する他の補間アルゴリズムの鮮明化のバランスを取ることができる：
所望の鮮明度に応じて２つのアップサンプリングアルゴリズムを平均化すること。
【００２０】
画像全体にわたり、画像Ｓの局部的特性に応じて平均化率を変更すること。
【００２１】
２つのアップサンプリングアルゴリズムをカスケード接続すること。得られる相対補間率によって、全体の鮮明度が決まる。
【００２２】
画像全体にわたり、画像の局部的特性に応じて、カスケード率を変更すること。
【００２３】
図３は、レティネックス処理を高速化する改良されたレティネックスアルゴリズム１００の一実施形態を示すブロック図である。レティネックスアルゴリズム１００は、入力信号Ｓを処理し、出力信号Ｒを生成する。レティネックスアルゴリズム１００は、ダウンサンプリングモジュール１１０を含む。ダウンサンプリングモジュール１１０は、入力信号Ｓを受信し、ダウンサンプリングアルゴリズム（図３には図示せず）に従ってダウンサンプリングを実施し、１以上のサブサンプリングされた画像Ｓ’を生成する。次に、そのサブサンプリングされた画像Ｓ’は、非線形照度推定モジュール１２０に渡される。非線形照度推定モジュール１２０は、サブサンプリングされた画像Ｓ’のそれぞれについて暫定的な照度推定Ｌ’を生成する。この暫定的な照度推定Ｌ’は、アップサンプリングモジュール１４０に渡される。アップサンプリングモジュール１４０は、アップサンプリングアルゴリズム（図３には図示せず）を使用して、フルサイズの照度推定Ｌ”を生成する。次に、その照度推定Ｌ”は、照度操作モジュール１８０に渡される。照度操作モジュール１８０は、更に入力信号Ｓを受信する。照度操作モジュール１８０は、受信した照度推定Ｌ”及び入力信号を処理し、出力信号Ｒを生成する。
【００２４】
ダウンサンプリングモジュール１１０は、入力画像Ｓをフィルタリングしてサブサンプリングする。照度Ｌが局部平均値ではなくエンベロープである場合、ダウンサンプリングモジュール１１０によって実施されるサブサンプリングは、入力画像Ｓの極大値のサンプリングであってもよい。あるいは、サンプリングファクタが大きい場合、幾つかのサブサンプリングアルゴリズムの組み合わせを使用してもよい。たとえば、ダウンサンプリングモジュール１１０によるサブサンプリングは、全体的なサンプリングファクタＳ＝ｓ１＊ｓ２について、平均化（極大値）を使用したファクタｓ１によるサンプリングと、極大値（平均化）を使用したファクタｓ２によるサンプリングとを含む場合がある。
【００２５】
非線形照度推定Ｌが強靭でないエンベロープである場合、極大値サンプリングが好ましい場合がある。平均化は、小さな明るい構造（ここでは、サンプリングファクタに比べて小さいという意味）のコントラストを低減する。場合によっては、出力画像Ｒに生じる可能性がある鏡面性を低減するためには、この種のアーチファクトが望ましいこともある。その場合、平均化は、鏡面性の予測サイズを超えてはならない。サンプリングファクタが比較的大きい場合、入力画像Ｓの残りの部分は、極大値を使用してダウンサンプリングすべきである。
【００２６】
非線形照度推定Ｌが強靭なエンベロープである場合、極大値サンプリングを使用すると、後述するように、ハローアーチファクトが増加する場合がある。極大値に基づくサンプリングファクタに対するこの制約条件と、平均化に基づくサンプリングファクタに対する制約条件とを組み合わせることにより、強靭でないエンベロープモジュールのサンプリングファクタを制限することができる。
【００２７】
アップサンプリングモジュール１４０は、画像／信号処理の技術分野において既知のようなアップサンプリングアルゴリズムを使用する。アップサンプリングアルゴリズムによっては、適当なアップサンプリングレートにおいて、低解像度入力サンプル間を新たなサンプルで補間するものがある。標準的なアップサンプリングアルゴリズムには、最近傍補間、バイリニア補間、及びバイキュービック補間がある。一方、レティネックスアルゴリズム１００では、高解像度出力画像Ｒの細部が、元の入力画像Ｓの細部に一致しないことはありあえない（不正確な位置にある細部はアーチファクトになる）。この問題の解決策には、補間によって細部が追加されないようにアップサンプリングアルゴリズムを設計することや、入力画像Ｓを細部配置のためのガイドとして使用することである。
【００２８】
図４は、アルゴリズム１５０の２つの設計オプションの詳細を示している。図４ａにおいて、照度補間アルゴリズム１５０’は、補間ルーチン１５２及び極大値ルーチン１５４を含む。補間ルーチン１５２は、低解像度照度推定及びサンプリングレートを受信し、高解像度照度値を生成する。補間ルーチン１５２は、たとえば、バイリニア補間である。新たな細部を推定したり新たな細部を生成したりするものでなければ、他の補間方法を補間ルーチン１５２と共に使用してもよい。推定照度Ｌが平均値ではなくエンベロープであり、且つ、補間された照度が高解像度入力画像を下回るという稀な場合は、極大値ルーチン１５４を使用して、エンベロープ制約条件が明示的に課せられる。
【００２９】
図４ｂは、差分補間アルゴリズム１５０”を示すブロック図である。アルゴリズム１５０”は、アルゴリズム１５０’に関して上で説明したものと同じ機能を実施する補間ルーチン１５２を含む。しかしながら、アルゴリズム１５０”は、図４ａに関して上述したものと同じ補間方法を使用して、（照度Ｌと入力画像Ｓとの間の）高解像度差分値及び低解像度値を補間する。アルゴリズム１５０”は加算器１５３を含む。加算器１５３は、低解像度入力（すなわち、入力画像のサブサンプル）を低解像度の暫定的な照度推定Ｌと結合する。次に、結合された値は、補間ルーチン１５２に渡される。次に、補間された差分出力が、加算器１５５において高解像度画像入力と結合される。
【００３０】
図５は、２つの補間アルゴリズム１５０’及び１５０”を通る信号を示す概略図である。図５ａ、図５ｂ、及び図５ｃにおいて、高解像度入力画像Ｓは曲線２０１として示され、対応する低解像度エンベロープＬは曲線２０３として示されている。低解像度サンプルは、図５ｂにドット２０５として示され、区画ごとに一定の曲線２０３を形成するように補間される。図４ａで説明したアルゴリズム１５０’によって実施される場合がある区画ごとの直線補間は、図５ａに曲線２０７として示されている。重なった曲線２０７は、クリッピングの結果を示す最終出力画像Ｒであり、曲線２０９として示される。見やすくするために、曲線２０７と曲線２０９は、図５ａではわずかにずらしてある。
【００３１】
図５ｂは、差分補間アルゴリズム１５０”の信号を示している。高解像度入力画像曲線２０１及び低解像度エンベロープ曲線２０３の他に、差分補間が曲線２１１として示されている。
【００３２】
図５ａの信号と図５ｂの信号を比較すると、図５ａの線形補間曲線２０７は新たな細部を有しないのに対し、図５ｂの差分補間曲線２１１は、入力画像の細部の多くを有する（すなわち、曲線２１１が入力画像曲線２０１に十分に一致している）ことが分かる。
【００３３】
図３に戻ると、照度操作モジュール１８０は、照度推定Ｌと入力画像Ｓとの差分を実質的に生成するルーチンを実行する。従って、照度操作モジュール１８０の出力Ｒは、照度画像Ｌの特性を反転させた特性を有する。この状態を図５ｃに概略的に示す。図５ｃにおいて曲線２１３は、照度補間アルゴリズム１５０’の出力が、曲線２１５に示す差分補間アルゴリズム１５０”の出力よりも遥かに鮮明であることを示している。
【００３４】
サブサンプリングされた非線形レティネックスアルゴリズムの一例を図６に示す。図６は、中庭のさまざまな部分を示している。この中庭は内部に、後壁、祭壇、及びフェンスを幾つかの特徴の中でも特に含み、図６ａは入力画像を示している。図６ｂは、図６ａの入力画像の拡大部分を示している。図６ｃは、図６ｂに示す拡大部分からサブサンプリング（１：５）された画像の推定照度の１：５の照度補間を示している。図６ｄは、図６ｃに対応するレティネックス補正を示している。図６ｅは、図６ｂの入力画像の拡大部分からサブサンプリング（１：５）された画像の推定照度の１：５差分補間を示している。図６ｆは、図６ｅに対応するレティネックス補正を示している。ここで、図６ｄに示す比較的鮮明なレティネックス出力は、図６ｃの不鮮明な補間された照度に対応し、図６ｆに示すあまり鮮明でないレティネックス出力は、図６ｅの比較的鮮明な差分補間に対応することに注意して欲しい。
【００３５】
補間アルゴリズムは、撮影目的や必要とされる補間率に応じて選択される。一般的には鮮明な画像が望ましいが、用途によっては、行き過ぎた鮮明化が問題となる場合もある。また、サンプリングレートが高いと、アーチファクトは鮮明なアーチファクトではなく、ハローアーチファクトになる。いずれの場合においても、照度補間のアーチファクトに対して、差分補間の不鮮明なアーチファクトのバランスをとることができる。代替案としては、１）照度補間によって得られる照度画像と差分補間によって得られる照度画像を平均化することや、２）合計補間率が所望の補間になるように、照度補間と差分補間をカスケード接続することがある。
【００３６】
図７ａ及び図７ｂは、アーチファクトのバランスをとるための、平均化アルゴリズム２２０とカスケードアルゴリズム２３０の代替アルゴリズムをそれぞれ示すブロック図である。アルゴリズム２３０が必要なアップサンプリングを実施する場合、ＲＯ＝ＲＩ＊ＲＤである。ここで、ＲＯは全体的なサンプリングレートであり、ＲＩは補間サンプリングレートであり、ＲＤは差分サンプリングレートである。
【００３７】
図７ａにおいて、平均化アルゴリズム２２０は、平均化ルーチン１５７を使用して、照度補間アルゴリズム１５０’と差分補間アルゴリズム１５０”の加重平均を得る。平均化ルーチン１５７は、重みＷＤを差分補間の結果に適用し、重みＷＩを照度補間の結果に適用する。ＷＩ＋ＷＤ＝１であるから、重みＷｉは、アルゴリズム２３０のレート比Ｒｉ／ＲＯと同じような役割を持つ。
【００３８】
図７ｂにおいて、カスケードアルゴリズム２３０は、まず、差分補間アルゴリズム１５０”を低解像度照度に適用し、その後、照度補間アルゴリズム１５０’を適用する。
【００３９】
図８ａは、照度補間アルゴリズム１５０’の適用結果を示し、図８ｂは、差分補間アルゴリズム１５０”の適用結果を示している。図８ｃは、ＷＩ＝ＷＤ＝０．５としたときの、平均アルゴリズム２２０の適用結果を示している。
【００４０】
画像中の異なる位置にある異なるアーチファクトが重要であるということから、２つの補間アルゴリズム１５０’及び１５０”を組み合わせる種々の方法が想起される。たとえば、片側が中間階調になっている太いエッジの近くでは、比較的多数のハローが見られる（高い階調や低い階調では、ハローがあまり目立たない）。これは、図６ｃ及び図６ｄから明らかである。図６ｃ及び図６ｄでは、暗い祭壇にある一部のハローが、後壁にあるハローよりも目立たない。また、たとえば、壁を背景とした、テキスチャを有する暗いフェンスと祭壇の一部と壁との間のエッジ部分の場合のように、テキスチャ領域のハローは非常に目立たない。そのような場合、レートＲｉ又は重みＷｉを局部的に画像の特性に従って変更することが好ましい場合がある。
【図面の簡単な説明】
【００４１】
【図１】従来技術のレティネックス型アルゴリズムのブロック図である。
【図２】従来技術のレティネックス型アルゴリズムのブロック図である。
【図３】従来技術に比べて改良されたレティネックス型アルゴリズムの一実施形態を示すブロック図である。
【図４ａ】図３のレティネックスアルゴリズムと共に使用することが可能なアップサンプリングアルゴリズムを示すブロック図である。
【図４ｂ】図３のレティネックスアルゴリズムと共に使用することが可能なアップサンプリングアルゴリズムを示すブロック図である。
【図５ａ】図４ａ及び図４ｂの２つのアップサンプリングアルゴリズムを通る信号を示す概略図である。
【図５ｂ】図４ａ及び図４ｂの２つのアップサンプリングアルゴリズムを通る信号を示す概略図である。
【図５ｃ】図４ａ及び図４ｂの２つのアップサンプリングアルゴリズムを通る信号を示す概略図である。
【図６ａ】サブサンプリングされた非線形レティネックスアルゴリズムの一例を示す図である。
【図６ｂ】サブサンプリングされた非線形レティネックスアルゴリズムの一例を示す図である。
【図６ｃ】サブサンプリングされた非線形レティネックスアルゴリズムの一例を示す図である。
【図６ｄ】サブサンプリングされた非線形レティネックスアルゴリズムの一例を示す図である。
【図６ｅ】サブサンプリングされた非線形レティネックスアルゴリズムの一例を示す図である。
【図６ｆ】サブサンプリングされた非線形レティネックスアルゴリズムの一例を示す図である。
【図７ａ】不鮮明なアーチファクトと過度に鮮明化されるアーチファクトとの間のバランスをとるためのアップサンプリングの組み合わせを示すブロック図である。
【図７ｂ】不鮮明なアーチファクトと過度に鮮明化されるアーチファクトとの間のバランスをとるためのアップサンプリングの組み合わせを示すブロック図である。
【図８ａ】アップサンプリングアルゴリズムの組み合わせによる結果をアップサンプリングアルゴリズムを個別に使用した結果と対比して示す図である。
【図８ｂ】アップサンプリングアルゴリズムの組み合わせによる結果をアップサンプリングアルゴリズムを個別に使用した結果と対比して示す図である。
【図８ｃ】アップサンプリングアルゴリズムの組み合わせによる結果をアップサンプリングアルゴリズムを個別に使用した結果と対比して示す図である。
【技術分野】
【０００１】
技術分野は、カラービジョン補正であり、具体的には、レティネックス型アルゴリズムを使用したカラービジョン補正である。
【背景技術】
【０００２】
中心／周辺レティネックス（網膜及び皮質）の概念を中心とした人間の視覚の理論が、エドウィン・ランドにより、「An Alternative Technique for the Computation of the Designator in the Retinex Theory of Color Vision」（全米科学アカデミー会報、第８３巻、第３０７８〜３０８０頁、１９８６年）において紹介された。ランドは、「Color Vision and The Natural Image」（全米科学アカデミー解放、４５巻、１１５〜１２９頁、１９５９年）に開示した自身の以前のレティネックス概念を参考にし、それらの概念を、視覚の神経生理学の一定の研究結果に調和させた。レティネックス概念は全て、人間の色知覚のモデル化を目的とするものであった。
【０００３】
ランドの人間の視覚理論の画像処理への応用は、従来技術として既に試みられている。たとえば、人間の視覚のダイナミックレンジ圧縮を模倣するために、アナログＶＬＳＩシリコンチップに組み込まれた処理機能を有する検出器アレイは、周辺形成の前に対数変換を使用していた。はＣ・ミード（Mead）著「Analog VLSI and Neural Systems」（Addison-Wesley, Reading, Mass., 1989）を参照して欲しい。色恒常性を向上させる試みとして、アナログＶＬＳＩ技術においてカラーレティネックスを実施することが、ムーア（Moore）他により、「A Real-time Neural System for Color Constancy」（IEEE Transactions on Neural Network、第２巻、第２３７〜２４７頁、１９９１年３月）に提案されている。ムーア他の文献では、周辺関数として指数関数を使用し、画像を表示する前の最終処理において、３つ色帯域の信号値全体における絶対最大値及び絶対最小値を見つけることにより自身を設定する、可変利得調節を使用しなければならなかった。
【０００４】
これらの従来技術及び他の従来技術のレティネックス法の中心になるものは、レティネックス型アルゴリズムである。知覚される画像Ｓは、可視表面に照射された光の照度Ｌと、対応するそれら表面の反射率Ｒとの積である。つまり、
（１） Ｓ＝Ｒ・Ｌ
である。レティネックスアルゴリズムの基礎となる前提は、照度Ｌがアーチファクトであるということである。照度Ｌは推定され、Ｓ１＝Ｓ／Ｌ＝Ｒによって完全に除去されるか、又は、Ｓ２＝Ｓ／ｆ（Ｌ）によって部分的に除去される。ただし、ｆ（Ｌ）は照度の関数である。ＳからＬを推定することが、レティネックスアルゴリズムを使用するときの主なアルゴリズム的な計算上の問題である。
【０００５】
従来技術のレティネックス型アルゴリズムは、図１に示すような２モジュール構造を特徴とする。局部統計モジュール１０は、入力画像Ｓを平滑化したバージョンＬ（すなわち、局部統計値）を算出する。通常、平滑化されたバージョンＬは、入力画像Ｓの線形ローパスフィルタ又は非線形ローパスフィルタである。次に、操作モジュール２０が、局部統計Ｌにおける対応する位置にある値に従って、画像Ｓのピクセルを操作する。レティネックス型アルゴリズムでは、局部統計Ｌは通常、照度に関するものであり、Ｓの局部平均値又は局部エンベロープ（最大値）である。場合によっては、局部統計Ｌは、Ｓの強靭な局部平均値又は強靭な局部エンベロープとなる場合もある。そのため、強靭とは、局部平均値や局部エンベロープの判定に関係する幾つかのピクセルが、知覚的に重要な画像エッジの同じ側に中心ピクセルとして存在することを意味する。下記の説明では、Ｌを照度と呼ぶ。ただし、Ｌは、もっと一般的な意味も有するものとして解釈しなければならない。
【０００６】
図１では、便宜上、入力画像Ｓが、レティネックスアルゴリズムへの入力として描かれている。しかしながら、当業者には知られているように、レティネックス型アルゴリズムは通常、対数領域で動作する。同様に当業者には知られているように、照度Ｌは、「エンベロープ」と呼ばれることが多い。エンベロープは、平滑なものであってもよいし、区画ごとに平滑なものであってもよい。
【０００７】
また、従来技術のレティネックスアルゴリズムは通常、照度推定モジュール１０において、線形空間不変ローパスフィルタや偏微分方程式を使用している。変化には、ゆっくりと変化するエンベロープ、すなわち、局部平均値の代わりとなる局部エンベロープと、入力の急激な変化に応じて急激に変化する場合がある、区画ごとに平滑な平均値又はエンベロープとなる強靭なローパスとがある。
【０００８】
照度操作モジュール２０モジュールでは、照度Ｌが部分的に減算される場合があり、たとえば、入力画像Ｓから照度Ｌの２分の１が減算される場合がある。代替的な操作方法では、入力画像Ｓに対応する照度Ｌの値が増加するほど、減算される入力画像Ｓの値の数を増やす場合がある。
【０００９】
従来技術のレティネックスアルゴリズムは、白黒画像に適用される場合もあれば、カラー画像に適用される場合もある。カラー画像の場合、レティネックスアルゴリズムは、すべての平面に適用することもできるし、照度Ｌ（たとえば、Ｙ）平面にのみ適用することもできる。
【００１０】
従来技術のレティネックスアルゴリズムの中には、照度推定モジュール１０と照度操作モジュール２０の両方を反復フィルタリング・減算方式で実施するものがある。他の従来技術のレティネックスアルゴリズムとして、モジュール１０とモジュール２０をスケール空間でインターリーブするものがある。
【００１１】
改良された従来技術のレティネックス型アルゴリズムとして、入力画像Ｓを部分的にサンプリングしたものから照度Ｌを得るものがある。そのような改良されたレティネックス型アルゴリズムを図２にブロック図の形で示す。図２において、レティネックス型アルゴリズムは、線形照度推定モジュール３０及び照度操作モジュール２０を含む。まず、画像信号Ｓが、ダウンサンプリングモジュール３２に入力される。ダウンサンプリングモジュール３２では、当業者にとって既知の技法を使用して、画像信号Ｓがサブサンプリングされ、サブサンプリングされた画像Ｓ’が生成される。このサブサンプリングは、例えば、画像Ｓ中の４つのピクセルのブロックを平均化することからなる。次に、線形照度推定モジュール３０は、サブサンプリングされた画像Ｓ’に基づいて、照度Ｌ’の推定値を生成する。次に、照度Ｌ’はアップサンプリングモジュール３４に供給され、補間及び当業者にとって既知の類似の技法を使用して、画像Ｓ全体の照度Ｌ”の推定値が生成される。
【００１２】
サブサンプリング及びその後の補間は、計算が集中的に行われるレティネックスプロセスを高速化することを目的としたものである。一方、図２に示すレティネックス型アルゴリズムは、１セットの滑らかな低解像度の中間画像（すなわち、画像Ｓ’）に対して補間を実施し、その結果得られた１セットの高解像度画像Ｌ”から、高解像度入力画像Ｓを使用して、対応する出力ピクセルを選択する。この補間方式によれば、低解像度の区画ごとに平滑な照度画像を補間する必要はなくなる。したがって、図２に示すレティネックス型アルゴリズムは、アルゴリズムの計算が集中して行われる演算によって滑らかな関数（平均値又はエンベロープ）が生成される場合にしか、使用することができない。そのようなレティネックス型アルゴリズムの一例は、Ｆ．デュランド及びＪ．ドーセイ著の「Fast Bilateral Filtering for the Display of High Dynamic Range Images」に記載され、http://graphics.lcs.mit.edu/~fredo/DurandBilateral.pdfにプレプリントされている。したがって、図２に示すレティネックス型アルゴリズムは、バイラテラルフィルタリングを使用するレティネックス型アルゴリズム以外の強靭なレティネックス型アルゴリズムに使用することはできない。また、レティネックス型アルゴリズムの計算が集中的に行われる演算は、各中間画像Ｓ’に対して１回ずつ、複数回繰り返される。
【発明の開示】
【課題を解決するための手段】
【００１３】
入力画像のレティネックス型処理を高速化するための装置を開示する。この装置は、入力画像をサブサンプリングした画像を生成するためのサブサンプリングアルゴリズムを有するダウンサンプリングモジュールと、サブサンプリングされた画像を受信し、対応する暫定的な照度推定を生成する非線形照度推定モジュールとを含む。最後に、この装置は、１以上のアップサンプリングアルゴリズム有するアップサンプリングモジュールを含む。暫定的な照度推定を補間することにより照度推定を生成し、その照度推定を使用して、入力画像に対するレティネックス補正を実施することができる。
【００１４】
また、高解像度入力画像のレティネックス型処理を高速化するための方法も開示する。この方法は、高解像度入力画像をサブサンプリングし、１以上の低解像度入力画像を生成するステップと、各低解像度入力画像について暫定的な照度推定値を生成し、それらの低解像度入力画像の照度を推定するステップと、前記暫定的な照度推定値をアップサンプリングし、レティネックス補正に適した照度推定値を生成するステップとを含む。
【００１５】
詳細な説明では添付の図面を参照する。図面において、同じ番号は同じものを指す。
【発明を実施するための最良の形態】
【００１６】
下記の説明では、「線形」という用語を次の２つの意味のうちのいずれかの意味で使用する。
【００１７】
１．非線形アルゴリズムに対する、線形アルゴリズム（たとえば、線形畳み込み演算）
２．たとえば、２乗計算の複雑度や対数計算の複雑度に対する、線形計算の複雑度。具体的には、この記載は、入力複雑度に関する線形複雑度又は準線形複雑度を意味する。すなわち、この記載は、入力ピクセル数に比例して計算が集中的に行われる演算の個数、又は、入力ピクセル数をサンプリングファクタで除算した数に比例して計算が集中的に行われる演算の個数を意味する。
【００１８】
サブサンプリングされたデータに対して強靭なレティネックスアルゴリズムを使用することに伴なう主な問題は、強靭なレティネックスアルゴリズムの区分ごとに平滑な照度推定結果をうまく補間することができず、出力照度にアーチファクトが発生する可能性があることである。この問題を克服するために、本明細書に開示する改良された強靭なレティネックスアルゴリズムは、強靭なレティネックス照度推定値を補間するときのアーチファクトを回避することにより、従来技術のレティネックスアルゴリズムを上回る大幅な処理の高速化を可能にしている。
【００１９】
強靭な照度推定モジュールと強靭でない照度推定モジュールのいずれにおいても、サブサンプリングは、サブサンプルＳ’の照度推定値Ｌ’が局部最大値であるか、それとも局部平均値であるのかという質問を表示する。強靭な照度推定モジュールでは、アーチファクトは、アップサンプリング中、すなわち補間中に生成される。しかしながら、出力画像のサイズや視距離に比べてサンプリングファクタが小さい場合、その出力画像は、サブサンプリングされていない出力画像に比べて、アーチファクトが鮮明なものになる。したがって、或る程度までは、これらのアーチファクトは利点とみなすことができる。強靭な照度推定モジュールにおいては、サブサンプリングが比較的強い場合、必要なアップサンプリング中に生成された過度に鮮明化されたアーチファクトやハローアーチファクトにより、出力画像の品質は劣化する場合がある。そのような場合、代わりとなる非標準的な補間手法をアップサンプリング段階で使用してもよい。この補間手法については、後で詳しく説明する。一方、この代替的なアップサンプリングは、不鮮明なアーチファクトを生成する。最後に、このアップサンプリングアルゴリズムは、少なくとも下記の方法のうちの１つと組み合わせることにより、ある補間アルゴリズムの不鮮明化に対する他の補間アルゴリズムの鮮明化のバランスを取ることができる：
所望の鮮明度に応じて２つのアップサンプリングアルゴリズムを平均化すること。
【００２０】
画像全体にわたり、画像Ｓの局部的特性に応じて平均化率を変更すること。
【００２１】
２つのアップサンプリングアルゴリズムをカスケード接続すること。得られる相対補間率によって、全体の鮮明度が決まる。
【００２２】
画像全体にわたり、画像の局部的特性に応じて、カスケード率を変更すること。
【００２３】
図３は、レティネックス処理を高速化する改良されたレティネックスアルゴリズム１００の一実施形態を示すブロック図である。レティネックスアルゴリズム１００は、入力信号Ｓを処理し、出力信号Ｒを生成する。レティネックスアルゴリズム１００は、ダウンサンプリングモジュール１１０を含む。ダウンサンプリングモジュール１１０は、入力信号Ｓを受信し、ダウンサンプリングアルゴリズム（図３には図示せず）に従ってダウンサンプリングを実施し、１以上のサブサンプリングされた画像Ｓ’を生成する。次に、そのサブサンプリングされた画像Ｓ’は、非線形照度推定モジュール１２０に渡される。非線形照度推定モジュール１２０は、サブサンプリングされた画像Ｓ’のそれぞれについて暫定的な照度推定Ｌ’を生成する。この暫定的な照度推定Ｌ’は、アップサンプリングモジュール１４０に渡される。アップサンプリングモジュール１４０は、アップサンプリングアルゴリズム（図３には図示せず）を使用して、フルサイズの照度推定Ｌ”を生成する。次に、その照度推定Ｌ”は、照度操作モジュール１８０に渡される。照度操作モジュール１８０は、更に入力信号Ｓを受信する。照度操作モジュール１８０は、受信した照度推定Ｌ”及び入力信号を処理し、出力信号Ｒを生成する。
【００２４】
ダウンサンプリングモジュール１１０は、入力画像Ｓをフィルタリングしてサブサンプリングする。照度Ｌが局部平均値ではなくエンベロープである場合、ダウンサンプリングモジュール１１０によって実施されるサブサンプリングは、入力画像Ｓの極大値のサンプリングであってもよい。あるいは、サンプリングファクタが大きい場合、幾つかのサブサンプリングアルゴリズムの組み合わせを使用してもよい。たとえば、ダウンサンプリングモジュール１１０によるサブサンプリングは、全体的なサンプリングファクタＳ＝ｓ１＊ｓ２について、平均化（極大値）を使用したファクタｓ１によるサンプリングと、極大値（平均化）を使用したファクタｓ２によるサンプリングとを含む場合がある。
【００２５】
非線形照度推定Ｌが強靭でないエンベロープである場合、極大値サンプリングが好ましい場合がある。平均化は、小さな明るい構造（ここでは、サンプリングファクタに比べて小さいという意味）のコントラストを低減する。場合によっては、出力画像Ｒに生じる可能性がある鏡面性を低減するためには、この種のアーチファクトが望ましいこともある。その場合、平均化は、鏡面性の予測サイズを超えてはならない。サンプリングファクタが比較的大きい場合、入力画像Ｓの残りの部分は、極大値を使用してダウンサンプリングすべきである。
【００２６】
非線形照度推定Ｌが強靭なエンベロープである場合、極大値サンプリングを使用すると、後述するように、ハローアーチファクトが増加する場合がある。極大値に基づくサンプリングファクタに対するこの制約条件と、平均化に基づくサンプリングファクタに対する制約条件とを組み合わせることにより、強靭でないエンベロープモジュールのサンプリングファクタを制限することができる。
【００２７】
アップサンプリングモジュール１４０は、画像／信号処理の技術分野において既知のようなアップサンプリングアルゴリズムを使用する。アップサンプリングアルゴリズムによっては、適当なアップサンプリングレートにおいて、低解像度入力サンプル間を新たなサンプルで補間するものがある。標準的なアップサンプリングアルゴリズムには、最近傍補間、バイリニア補間、及びバイキュービック補間がある。一方、レティネックスアルゴリズム１００では、高解像度出力画像Ｒの細部が、元の入力画像Ｓの細部に一致しないことはありあえない（不正確な位置にある細部はアーチファクトになる）。この問題の解決策には、補間によって細部が追加されないようにアップサンプリングアルゴリズムを設計することや、入力画像Ｓを細部配置のためのガイドとして使用することである。
【００２８】
図４は、アルゴリズム１５０の２つの設計オプションの詳細を示している。図４ａにおいて、照度補間アルゴリズム１５０’は、補間ルーチン１５２及び極大値ルーチン１５４を含む。補間ルーチン１５２は、低解像度照度推定及びサンプリングレートを受信し、高解像度照度値を生成する。補間ルーチン１５２は、たとえば、バイリニア補間である。新たな細部を推定したり新たな細部を生成したりするものでなければ、他の補間方法を補間ルーチン１５２と共に使用してもよい。推定照度Ｌが平均値ではなくエンベロープであり、且つ、補間された照度が高解像度入力画像を下回るという稀な場合は、極大値ルーチン１５４を使用して、エンベロープ制約条件が明示的に課せられる。
【００２９】
図４ｂは、差分補間アルゴリズム１５０”を示すブロック図である。アルゴリズム１５０”は、アルゴリズム１５０’に関して上で説明したものと同じ機能を実施する補間ルーチン１５２を含む。しかしながら、アルゴリズム１５０”は、図４ａに関して上述したものと同じ補間方法を使用して、（照度Ｌと入力画像Ｓとの間の）高解像度差分値及び低解像度値を補間する。アルゴリズム１５０”は加算器１５３を含む。加算器１５３は、低解像度入力（すなわち、入力画像のサブサンプル）を低解像度の暫定的な照度推定Ｌと結合する。次に、結合された値は、補間ルーチン１５２に渡される。次に、補間された差分出力が、加算器１５５において高解像度画像入力と結合される。
【００３０】
図５は、２つの補間アルゴリズム１５０’及び１５０”を通る信号を示す概略図である。図５ａ、図５ｂ、及び図５ｃにおいて、高解像度入力画像Ｓは曲線２０１として示され、対応する低解像度エンベロープＬは曲線２０３として示されている。低解像度サンプルは、図５ｂにドット２０５として示され、区画ごとに一定の曲線２０３を形成するように補間される。図４ａで説明したアルゴリズム１５０’によって実施される場合がある区画ごとの直線補間は、図５ａに曲線２０７として示されている。重なった曲線２０７は、クリッピングの結果を示す最終出力画像Ｒであり、曲線２０９として示される。見やすくするために、曲線２０７と曲線２０９は、図５ａではわずかにずらしてある。
【００３１】
図５ｂは、差分補間アルゴリズム１５０”の信号を示している。高解像度入力画像曲線２０１及び低解像度エンベロープ曲線２０３の他に、差分補間が曲線２１１として示されている。
【００３２】
図５ａの信号と図５ｂの信号を比較すると、図５ａの線形補間曲線２０７は新たな細部を有しないのに対し、図５ｂの差分補間曲線２１１は、入力画像の細部の多くを有する（すなわち、曲線２１１が入力画像曲線２０１に十分に一致している）ことが分かる。
【００３３】
図３に戻ると、照度操作モジュール１８０は、照度推定Ｌと入力画像Ｓとの差分を実質的に生成するルーチンを実行する。従って、照度操作モジュール１８０の出力Ｒは、照度画像Ｌの特性を反転させた特性を有する。この状態を図５ｃに概略的に示す。図５ｃにおいて曲線２１３は、照度補間アルゴリズム１５０’の出力が、曲線２１５に示す差分補間アルゴリズム１５０”の出力よりも遥かに鮮明であることを示している。
【００３４】
サブサンプリングされた非線形レティネックスアルゴリズムの一例を図６に示す。図６は、中庭のさまざまな部分を示している。この中庭は内部に、後壁、祭壇、及びフェンスを幾つかの特徴の中でも特に含み、図６ａは入力画像を示している。図６ｂは、図６ａの入力画像の拡大部分を示している。図６ｃは、図６ｂに示す拡大部分からサブサンプリング（１：５）された画像の推定照度の１：５の照度補間を示している。図６ｄは、図６ｃに対応するレティネックス補正を示している。図６ｅは、図６ｂの入力画像の拡大部分からサブサンプリング（１：５）された画像の推定照度の１：５差分補間を示している。図６ｆは、図６ｅに対応するレティネックス補正を示している。ここで、図６ｄに示す比較的鮮明なレティネックス出力は、図６ｃの不鮮明な補間された照度に対応し、図６ｆに示すあまり鮮明でないレティネックス出力は、図６ｅの比較的鮮明な差分補間に対応することに注意して欲しい。
【００３５】
補間アルゴリズムは、撮影目的や必要とされる補間率に応じて選択される。一般的には鮮明な画像が望ましいが、用途によっては、行き過ぎた鮮明化が問題となる場合もある。また、サンプリングレートが高いと、アーチファクトは鮮明なアーチファクトではなく、ハローアーチファクトになる。いずれの場合においても、照度補間のアーチファクトに対して、差分補間の不鮮明なアーチファクトのバランスをとることができる。代替案としては、１）照度補間によって得られる照度画像と差分補間によって得られる照度画像を平均化することや、２）合計補間率が所望の補間になるように、照度補間と差分補間をカスケード接続することがある。
【００３６】
図７ａ及び図７ｂは、アーチファクトのバランスをとるための、平均化アルゴリズム２２０とカスケードアルゴリズム２３０の代替アルゴリズムをそれぞれ示すブロック図である。アルゴリズム２３０が必要なアップサンプリングを実施する場合、ＲＯ＝ＲＩ＊ＲＤである。ここで、ＲＯは全体的なサンプリングレートであり、ＲＩは補間サンプリングレートであり、ＲＤは差分サンプリングレートである。
【００３７】
図７ａにおいて、平均化アルゴリズム２２０は、平均化ルーチン１５７を使用して、照度補間アルゴリズム１５０’と差分補間アルゴリズム１５０”の加重平均を得る。平均化ルーチン１５７は、重みＷＤを差分補間の結果に適用し、重みＷＩを照度補間の結果に適用する。ＷＩ＋ＷＤ＝１であるから、重みＷｉは、アルゴリズム２３０のレート比Ｒｉ／ＲＯと同じような役割を持つ。
【００３８】
図７ｂにおいて、カスケードアルゴリズム２３０は、まず、差分補間アルゴリズム１５０”を低解像度照度に適用し、その後、照度補間アルゴリズム１５０’を適用する。
【００３９】
図８ａは、照度補間アルゴリズム１５０’の適用結果を示し、図８ｂは、差分補間アルゴリズム１５０”の適用結果を示している。図８ｃは、ＷＩ＝ＷＤ＝０．５としたときの、平均アルゴリズム２２０の適用結果を示している。
【００４０】
画像中の異なる位置にある異なるアーチファクトが重要であるということから、２つの補間アルゴリズム１５０’及び１５０”を組み合わせる種々の方法が想起される。たとえば、片側が中間階調になっている太いエッジの近くでは、比較的多数のハローが見られる（高い階調や低い階調では、ハローがあまり目立たない）。これは、図６ｃ及び図６ｄから明らかである。図６ｃ及び図６ｄでは、暗い祭壇にある一部のハローが、後壁にあるハローよりも目立たない。また、たとえば、壁を背景とした、テキスチャを有する暗いフェンスと祭壇の一部と壁との間のエッジ部分の場合のように、テキスチャ領域のハローは非常に目立たない。そのような場合、レートＲｉ又は重みＷｉを局部的に画像の特性に従って変更することが好ましい場合がある。
【図面の簡単な説明】
【００４１】
【図１】従来技術のレティネックス型アルゴリズムのブロック図である。
【図２】従来技術のレティネックス型アルゴリズムのブロック図である。
【図３】従来技術に比べて改良されたレティネックス型アルゴリズムの一実施形態を示すブロック図である。
【図４ａ】図３のレティネックスアルゴリズムと共に使用することが可能なアップサンプリングアルゴリズムを示すブロック図である。
【図４ｂ】図３のレティネックスアルゴリズムと共に使用することが可能なアップサンプリングアルゴリズムを示すブロック図である。
【図５ａ】図４ａ及び図４ｂの２つのアップサンプリングアルゴリズムを通る信号を示す概略図である。
【図５ｂ】図４ａ及び図４ｂの２つのアップサンプリングアルゴリズムを通る信号を示す概略図である。
【図５ｃ】図４ａ及び図４ｂの２つのアップサンプリングアルゴリズムを通る信号を示す概略図である。
【図６ａ】サブサンプリングされた非線形レティネックスアルゴリズムの一例を示す図である。
【図６ｂ】サブサンプリングされた非線形レティネックスアルゴリズムの一例を示す図である。
【図６ｃ】サブサンプリングされた非線形レティネックスアルゴリズムの一例を示す図である。
【図６ｄ】サブサンプリングされた非線形レティネックスアルゴリズムの一例を示す図である。
【図６ｅ】サブサンプリングされた非線形レティネックスアルゴリズムの一例を示す図である。
【図６ｆ】サブサンプリングされた非線形レティネックスアルゴリズムの一例を示す図である。
【図７ａ】不鮮明なアーチファクトと過度に鮮明化されるアーチファクトとの間のバランスをとるためのアップサンプリングの組み合わせを示すブロック図である。
【図７ｂ】不鮮明なアーチファクトと過度に鮮明化されるアーチファクトとの間のバランスをとるためのアップサンプリングの組み合わせを示すブロック図である。
【図８ａ】アップサンプリングアルゴリズムの組み合わせによる結果をアップサンプリングアルゴリズムを個別に使用した結果と対比して示す図である。
【図８ｂ】アップサンプリングアルゴリズムの組み合わせによる結果をアップサンプリングアルゴリズムを個別に使用した結果と対比して示す図である。
【図８ｃ】アップサンプリングアルゴリズムの組み合わせによる結果をアップサンプリングアルゴリズムを個別に使用した結果と対比して示す図である。
【特許請求の範囲】
【請求項１】
入力画像のレティネックス型処理を高速化するための装置であって、
前記入力画像の１以上のサブサンプリングされた画像を生成するサブサンプリングアルゴリズム(120)と、
前記サブサンプリングされた画像を受信し、対応する暫定的な照度推定を生成する非線形照度推定モジュール(120)と、
前記暫定的な照度推定を補間して照度推定を生成し、該照度推定を使用して前記入力画像に対するレティネックス型補正を実施することが可能な１以上のアップサンプリングアルゴリズム(150)と
からなる装置。
【請求項２】
前記アップサンプリングアルゴリズムは、照度補間アルゴリズム(150',150'')を含み、前記照度補間アルゴリズムは、前記暫定的な照度推定及びサンプリングレートを受信し、前記照度推定を生成する補間ルーチン(152)を含む、請求項１に記載の装置。
【請求項３】
前記照度補間アルゴリズムは、エンベロープ制約条件を課すための極大値ルーチン(154)を更に含む、請求項２に記載の装置。
【請求項４】
前記アップサンプリングアルゴリズムは、
前記サブサンプリングされた画像と前記暫定的な照度推定との間の差分及びサンプリングレートを受信し、補間された差分を生成する、差分補間アルゴリズム(152)と、
前記補間された差分を前記入力画像に加算する加算器(155)と
を含む、請求項１に記載の装置。
【請求項５】
前記アップサンプリングアルゴリズムは、
差分補間された照度推定を生成する差分補間アルゴリズム(150'')と、
照度補間された照度推定を生成する照度補間アルゴリズム(150')と、
前記照度補間された照度と前記差分補間された照度を平均化し、前記照度推定を生成する平均化モジュール(157)と
を含む、請求項１に記載の装置。
【請求項６】
高解像度入力画像のレティネックス処理を高速化するための方法であって、
前記高解像度入力画像をサブサンプリングし、１以上の低解像度入力画像を生成するステップ(110)と、
前記低解像度入力画像の照度を推定し、前記低解像度入力画像のそれぞれについて暫定的な照度推定を生成するステップ(120)と、
前記暫定的な照度推定をアップサンプリングし、レティネックス型補正に適した照度推定を生成するステップ(140)と
からなる方法。
【請求項７】
前記アップサンプリングするステップは、
前記暫定的な照度推定及びサンプリングレートを受信し、前記照度推定を生成するステップ(152)と、
極大値ルーチンを使用して、エンベロープ制約条件を課すステップ(154)と
を含む、請求項６に記載の方法。
【請求項８】
前記アップサンプリングするステップは、
前記低解像度画像と前記暫定的な照度推定との間で減算を行い、差分画像を得るステップ(153)と、
前記差分画像及びサンプリングレートを受信するステップ(152)と、
前記照度推定を生成すること(152)と、
前記照度推定を前記入力画像に加算するステップ(155)と
を含む、請求項６に記載の方法。
【請求項９】
前記アップサンプリングするステップは、
前記暫定的な照度推定に差分補間アルゴリズム(150'')を適用し、差分補間された照度推定を生成するステップと、
照度補間アルゴリズム(150')を使用して、照度補間された照度推定を生成するステップと、
前記照度補間された照度推定と前記差分補間された照度推定を平均化(157)し、前記照度推定を生成するステップと、
を含む、請求項６に記載の方法。
【請求項１０】
画像のレティネックス処理を高速化するための方法であって、
前記画像をサブサンプリングし、低解像度画像を生成するステップ(110)と、
前記低解像度画像のそれぞれの照度を推定し、前記低解像度画像のそれぞれについて照度推定を生成するステップ(120)、
前記暫定的な照度推定に差分補間アルゴリズム(150'')を適用し、差分補間された照度推定を生成するステップと、
照度補間アルゴリズム(150')を使用して、照度補間された照度推定を生成するステップと、
前記照度補間された照度推定と前記差分補間された照度推定を平均化し、前記照度推定を生成するステップと
からなる方法。
【請求項１】
入力画像のレティネックス型処理を高速化するための装置であって、
前記入力画像の１以上のサブサンプリングされた画像を生成するサブサンプリングアルゴリズム(120)と、
前記サブサンプリングされた画像を受信し、対応する暫定的な照度推定を生成する非線形照度推定モジュール(120)と、
前記暫定的な照度推定を補間して照度推定を生成し、該照度推定を使用して前記入力画像に対するレティネックス型補正を実施することが可能な１以上のアップサンプリングアルゴリズム(150)と
からなる装置。
【請求項２】
前記アップサンプリングアルゴリズムは、照度補間アルゴリズム(150',150'')を含み、前記照度補間アルゴリズムは、前記暫定的な照度推定及びサンプリングレートを受信し、前記照度推定を生成する補間ルーチン(152)を含む、請求項１に記載の装置。
【請求項３】
前記照度補間アルゴリズムは、エンベロープ制約条件を課すための極大値ルーチン(154)を更に含む、請求項２に記載の装置。
【請求項４】
前記アップサンプリングアルゴリズムは、
前記サブサンプリングされた画像と前記暫定的な照度推定との間の差分及びサンプリングレートを受信し、補間された差分を生成する、差分補間アルゴリズム(152)と、
前記補間された差分を前記入力画像に加算する加算器(155)と
を含む、請求項１に記載の装置。
【請求項５】
前記アップサンプリングアルゴリズムは、
差分補間された照度推定を生成する差分補間アルゴリズム(150'')と、
照度補間された照度推定を生成する照度補間アルゴリズム(150')と、
前記照度補間された照度と前記差分補間された照度を平均化し、前記照度推定を生成する平均化モジュール(157)と
を含む、請求項１に記載の装置。
【請求項６】
高解像度入力画像のレティネックス処理を高速化するための方法であって、
前記高解像度入力画像をサブサンプリングし、１以上の低解像度入力画像を生成するステップ(110)と、
前記低解像度入力画像の照度を推定し、前記低解像度入力画像のそれぞれについて暫定的な照度推定を生成するステップ(120)と、
前記暫定的な照度推定をアップサンプリングし、レティネックス型補正に適した照度推定を生成するステップ(140)と
からなる方法。
【請求項７】
前記アップサンプリングするステップは、
前記暫定的な照度推定及びサンプリングレートを受信し、前記照度推定を生成するステップ(152)と、
極大値ルーチンを使用して、エンベロープ制約条件を課すステップ(154)と
を含む、請求項６に記載の方法。
【請求項８】
前記アップサンプリングするステップは、
前記低解像度画像と前記暫定的な照度推定との間で減算を行い、差分画像を得るステップ(153)と、
前記差分画像及びサンプリングレートを受信するステップ(152)と、
前記照度推定を生成すること(152)と、
前記照度推定を前記入力画像に加算するステップ(155)と
を含む、請求項６に記載の方法。
【請求項９】
前記アップサンプリングするステップは、
前記暫定的な照度推定に差分補間アルゴリズム(150'')を適用し、差分補間された照度推定を生成するステップと、
照度補間アルゴリズム(150')を使用して、照度補間された照度推定を生成するステップと、
前記照度補間された照度推定と前記差分補間された照度推定を平均化(157)し、前記照度推定を生成するステップと、
を含む、請求項６に記載の方法。
【請求項１０】
画像のレティネックス処理を高速化するための方法であって、
前記画像をサブサンプリングし、低解像度画像を生成するステップ(110)と、
前記低解像度画像のそれぞれの照度を推定し、前記低解像度画像のそれぞれについて照度推定を生成するステップ(120)、
前記暫定的な照度推定に差分補間アルゴリズム(150'')を適用し、差分補間された照度推定を生成するステップと、
照度補間アルゴリズム(150')を使用して、照度補間された照度推定を生成するステップと、
前記照度補間された照度推定と前記差分補間された照度推定を平均化し、前記照度推定を生成するステップと
からなる方法。
【図１】
【図２】
【図３】
【図４ａ】
【図４ｂ】
【図５ａ】
【図５ｂ】
【図５ｃ】
【図６ａ】
【図６ｂ】
【図６ｃ】
【図６ｄ】
【図６ｅ】
【図６ｆ】
【図７ａ】
【図７ｂ】
【図８ａ】
【図８ｂ】
【図８ｃ】
【図２】
【図３】
【図４ａ】
【図４ｂ】
【図５ａ】
【図５ｂ】
【図５ｃ】
【図６ａ】
【図６ｂ】
【図６ｃ】
【図６ｄ】
【図６ｅ】
【図６ｆ】
【図７ａ】
【図７ｂ】
【図８ａ】
【図８ｂ】
【図８ｃ】
【公表番号】特表２００７−５０７８０９（Ｐ２００７−５０７８０９Ａ）
【公表日】平成１９年３月２９日（２００７．３．２９）
【国際特許分類】
【出願番号】特願２００６−５３４１３０（Ｐ２００６−５３４１３０）
【出願日】平成１６年９月２９日（２００４．９．２９）
【国際出願番号】ＰＣＴ／ＵＳ２００４／０３２２９５
【国際公開番号】ＷＯ２００５／０３６８７０
【国際公開日】平成１７年４月２１日（２００５．４．２１）
【出願人】（５０３００３８５４）ヒューレット−パッカード デベロップメント カンパニー エル．ピー． (1,145)
【Ｆターム（参考）】
【公表日】平成１９年３月２９日（２００７．３．２９）
【国際特許分類】
【出願日】平成１６年９月２９日（２００４．９．２９）
【国際出願番号】ＰＣＴ／ＵＳ２００４／０３２２９５
【国際公開番号】ＷＯ２００５／０３６８７０
【国際公開日】平成１７年４月２１日（２００５．４．２１）
【出願人】（５０３００３８５４）ヒューレット−パッカード デベロップメント カンパニー エル．ピー． (1,145)
【Ｆターム（参考）】
[ Back to top ]