説明

デジタル画像の露出補正

デジタル画像の露出を補正する手法について開示する。グランドトゥルースデータが既知である画像の集合に基づいて、露出予測子が生成され得る。最適な特徴の集合を識別した後において、選択された最適な特徴の値を画像から抽出し、予測子を用いて画像に対する所望の露出補正を予測し、予測された所望量により画像の露出を補正することにより、デジタル画像の露出が補正され得る。露出補正は、ワールドの光の強度をデジタル画像のRGB値に関連付けるモデルに基づく。そのモデルは、典型的なモニタの応答をモデル化するガンマ関数と、ワールドの広いダイナミックレンジをRGB値空間の狭いダイナミックレンジに圧縮するS字型曲線とを備える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、デジタル画像処理に関し、より詳しくは、デジタル画像の露出補正に関する。
【背景技術】
【0002】
適切にデジタル画像を露出することにより、モニタまたはプリンタなどの出力装置上に元のシーンの高品質な映しを得ることは重要である。デジタル画像の「露出」とは、画像キャプチャ用センサーに作用し得る光の量を指す。露出は、センサーに当たる光の強度(口径と照明の強度とにより制御される)と、時間(シャッタースピードにより制御される)との積である。露出の値が大きい場合にはより明るい画像が生じ、その逆も同様である。種々の理由により、通常、入力装置(例えば、デジタルカメラ)により設定された元の露出を基にすることによっては、最上品質はもたらされない。例えば、画像取得の条件およびシーンの成分がいろいろとあるために、元の露出は極めて変わりやすく、好適な露出と異なり得る。さらに、入力装置は、通常、ダイナミックレンジが制限されており、それ故に、クリッピングによる画像内の情報の損失を避けるために画像の露出を不十分にする。露出の足りない画像は所望されるよりも暗く見え得るが、その画像は、露出しすぎた画像よりも多くの情報を保持する傾向にあり、それ故に、画像は、印刷または出力装置上への表示にさらに適するようにするための取得後の露出補正に耐え得る。
【0003】
好適には、出力装置は、種々の(あるいは不明である)画像取得装置を用いて取得された画像から適切に露出された映しを生成するように備えられる。例えば、卓上型デジタルフォトプリンタまたはフォト販売キオスクは、広範囲にわたるデジタルカメラ、またはスキャナ、または別の入力装置のうちの任意の装置を用いて広範な条件下において取得されたデジタル画像を受け取ることができ得る。好適には、そのようなプリンタまたはキオスクは、そのプリンタまたはキオスクが受け取る任意の画像の露出を補正することができ、それ故に、そのような画像が最適な露出に印刷され得る。
【0004】
従って、デジタル画像の露出を補正する改良された手法が必要とされる。
【発明の開示】
【課題を解決するための手段】
【0005】
デジタル画像の露出を補正するための手法を開示する。グラウンドトゥルースデータが既知である画像の集合(set)に基づいて、露出予測子が生成され得る。広範な画像全てに対して、予測誤差の最小化と優れた結果の生成とのバランスを引き起こす最適な特徴の集合が識別され得る。画像に対する所望の露出補正を予測する予測子を用いて、画像から、選択された最適な特徴の値を抽出することと、予測された所望量により画像の露出を補正することとにより、画像の露出が補正され得る。露出補正を容易にするために、ワールドの光の強度をデジタル画像のRGB値に関連付けるモデルを提案する。このモデルは、典型的なモニタの応答をモデル化するガンマ関数と、RGB値空間の狭いダイナミックレンジへのワールドの広いダイナミックレンジの圧縮を可能にするS字形の曲線とを備える。次いで、画像をワールドの対数的な強度に変換する、このモデルの逆のモデルを用い、かつ、画像からオフセット(所望の露出補正により与えられる)を加算または減算し、かつ、次いで上記モデルを用いて画像をRGB値空間に再びマッピングすることにより、画像の露出が補正され得る。例えば、本発明の一局面において、ソース画像の露出を補正する方法が提供される。この方法は、(A)画像キャプチャ空間のソース画像を非線形性の強度空間に変換することにより、第1の変換済み画像を生成する工程と、(B)非線形性の強度空間において変換済み画像の露出を補正することにより、補正された変換済み画像を生成する工程と、(C)補正された変換済み画像を画像キャプチャ空間に変換することにより、第2の変換済み画像を生成する工程とを包含する。工程(C)は、(C)(1)S字形の曲線を用いて、補正された変換済み画像を第3の変換済み画像に変換する工程と、(C)(2)ガンマ関数を用いて、第3の変換済み画像を第2の変換済み画像に変換する工程とを包含し得る。
【0006】
iが非線形性の強度空間における強度を表す場合において、工程(C)は、
式:T(i)=(A+Btanh(−s(i+o)))1/γを用いて、補正された変換済み画像を第2の変換済み画像に変換する工程を包含し得て、工程(A)は、ソース画像のグレイレベルgに関数T−1(g)を適用してグレイレベルを変換することにより、変換済み強度を生成し得て、工程(B)は、変換済み強度に露出オフセットΔeを加算することにより、補正された変換済み強度を生成する工程を包含し得る。
【0007】
本発明の別の局面において、画像を処理する方法が提供される。この方法は、(A)画像のサムネイルと、画像の輝度チャネルと、画像において着目領域と、アクティビティスレッショルドを満たす複数のピクセルを含む画像の部分集合とを含む特徴の集合から選択された少なくとも1つの特徴の値を画像から抽出する工程と、(B)抽出された特徴の値に基づいて画像の所望の露出補正を予測する工程と、(C)予測された露出補正により画像の露出を補正することによって、露出補正のなされた画像を生成する工程とを包含する。その特徴の集合は、列挙した特徴に代えて別の特徴を、または列挙した特徴に加えて別の特徴を含み得る。
【0008】
その着目領域は、(1)その領域内のアクティビティの平均が、所定の最小アクティビティスレッショルドを越えるという性質と、(2)その領域を含まない画像の部分の輝度の平均に対するその領域の輝度の平均の比の対数の絶対値が、画像内の所定の複数の領域に対するその比の対数の絶対値の中で最大であるという性質とを有し得る。その着目領域は、画像の大きさに比例したベースサイズを有し得る。また、その着目領域の大きさは、ベースサイズに画像内のアクティビティの平均の測定値を乗じたものに比例し得る。
【0009】
本発明の別の局面において、画像の露出を調節するためのシステムに用いられる特徴の集合を選択する方法が提供される。その方法は、(A)特徴の集合を特徴の主集合(master set)Mにセットする工程と、(B)特徴の現集合Cをヌル値に初期化する工程と、(C)主集合Mの各特徴Fに対して、(1)特徴の現集合Cと特徴Fとを組み合わせたものを特徴の仮集合Sにセットする工程と、(2)集合Sを特徴の集合として用いて、複数の画像に対してleave−n−out誤差Eを算出する工程と、(3)誤差Eが最小誤差EMIN未満である場合において、EMINにEの値を指定し、変数FMINに特徴Fの識別を記録する工程とを行う工程と、(D)EMINがグローバル誤差E未満である場合において、EにEMINの値を指定し、FMINに記録された特徴Fを集合Cに加え、FMINに記録された特徴Fを集合Mから除去する工程と、(E)集合Mが空集合でない場合において、工程(C)に戻る工程と、(F)集合Mが空集合であるか、またはEMINの値がEの値よりも大きい場合において、画像の露出を調節するシステムに用いられる特徴の集合として集合Cを選択する工程とを包含する。
【0010】
本発明の種々の局面および実施形態における別の特徴および有利な点は、以下の記載および特許請求の範囲から明らかになる。
【発明を実施するための最良の形態】
【0011】
概して、本明細書に開示する露出補正アルゴリズムは、2つの部分に分割され得る。第1の部分は、入力画像から、画像の露出に最も関連のある情報を含む特徴の集合の値を抽出する。第2の部分は、抽出された特徴に作用することにより、画像に適用される予測された露出補正を生成する予測子を検出する。予測された露出補正を画像に適用することにより、露出補正のなされた画像が生成される。予測子は、例えば、予測された露出と画像の所望の露出との誤差が最小二乗の意味において最小化されるように選択された線形予測子であり得る。最適な線形予測子を生成する理論は統計上および信号処理の技術において周知であるために、本明細書の開示では、所望の露出に極めて良く相関する優れた特徴を識別する手法と、グランドトゥルース(ground truth)データを考え、最適な線形予測子を生じる最適な特徴の集合を決定する手法とに重点を置く。
【0012】
図1Aを説明すると、本発明の一実施形態による、画像の露出を補正する方法100のフローチャートが示されている。図2Aを説明すると、図1Aに示される方法100により実行されたオペレーションを図示するデータフロー図200が示されている。
【0013】
方法100では、種々のソース(例えば、デジタルカメラまたはスキャナ)から受け取られ得る入力画像202(図2A)に作用する。入力画像202は、デジタル画像を表す種々の規格(例えば、JPEG規格)のいずれかにおいて表され得る。
【0014】
方法100では、選択された特徴218の集合の値208を画像202から抽出する(工程106)。選択された特徴218は、例えば、工程106において抽出される特定の特徴を識別する識別子または別の記述子であり得る。工程106において抽出され得る特徴の例と、それらを抽出する手法の例について、図1B、1C、2C、3、および4に関連して以下に記載する。特徴218の集合を選択するために用いられ得る手法について、図9に関連して以下に記載する。
【0015】
方法100では、グランドトゥルース画像の集合に対するグランドトゥルースデータ210に基づいて、予測子216を生成する(工程108)。方法100を実行するたびに工程108を実行する必要はないということに留意されたい。それよりはむしろ、方法100を実行する前に、予測子216は一回生成され得る。次いで、方法100を実行するたびに、工程108を実行する必要なしに、生成された予測子216が用いられ得る。予測子216の生成に用いられ得る手法について、図5〜9に関連して以下に記載する。方法100では、予測子216を用いることにより、抽出された特徴の値208に基づいて、予測の露出オフセット212を生成する(工程110)。
【0016】
方法100では、予測の露出オフセット212により入力画像202の露出を変更することによって、入力画像202の露出を補正し、それにより、露出の補正のなされた画像214が生成される(工程112)。露出補正の実行に用いられ得る手法について、図11に関連して以下に記載する。
【0017】
種々の手法をオプションとして適用することにより、画像202のコントラストが改善され得る。例えば、画像202における強度の範囲は、下記のとおり、利用可能な強度の範囲(例えば、[0,255])にわたるように伸ばされ得る。入力画像202の赤チャネルRは線形化され得る。それにより、式R=(R/255)γを用いて、線形化された赤チャネルRが生成される。線形化された緑チャネルGおよび青チャネルBも同様に生成され得る。RGB空間の画像202にガンマ関数を適用することにより、画像202を、画像202の元のダイナミックレンジをより正確に反映する線形性の強度空間に変換する。本明細書における用語「RGB空間」は、画像が取り込まれ得る全ての空間(本明細書において、この空間を「画像キャプチャ空間」と称する)を指す。
【0018】
式mn=min(R,G,B)、および、式mx=max(R,G,B)を用いて、画像202に対する強度の最小値mnおよび最大値mxが得られ得る。線形化された赤チャネルRは伸ばされ得る。それにより、式R’=(R−mn)/(mx−mn)を用いて、伸ばされた線形化済み赤チャネルR’が生成される。伸ばされた線形化済み緑チャネルG’および青チャネルB’も同様に生成され得る。以下に記載する、後に続くオペレーション(例えば、特徴の抽出)は、チャネルR’、G’、およびB’上において行われ得る。
【0019】
式R=255(R’)1/γを用いて、チャネルR’は、チャネルR’に再変換され得る。チャネルG’およびB’も、同様の態様でチャネルG’およびB’から得られうる。以下の記載において、チャネルR、G、およびB上、またはR、G、およびB上において実行されるように記載されるオペレーションは、もしくはチャネルR’、G’、およびB’上、またはR’、G’、およびB’上において実行され得る。
【0020】
本発明は、全ての個々の特徴、および特徴の全ての組み合わせとともに用いられ得る。最初の特徴の集合から、抽出のための最適な特徴の集合の選択に用いられ得る手法の例について、図9に関連して以下に説明する。上記のような手法を用いて特定の特徴の集合が選択さると、選択された特徴218の値208が画像202から抽出され得る(工程106)。本発明の実施形態とともに用いられ得る特徴の個々の例、およびそのような特徴の値を抽出する手法について、以下に記載する。
【0021】
本発明の一実施形態において、入力画像202の大きさは、特徴抽出の割合と同程度低減される。通常、個々の画像は全て、所望の露出と無関係な多量の情報を有し得るために、入力画像202は低減され得る。例えば、カラー画像のクロミナンスチャネルは画像の露出に依存せず、それ故に、所望の露出に関するいかなる情報も生じない。以下により詳しく記載するように、そのような無関係な情報を放棄することにより、本明細書に記載の露出補正手法の計算上の複雑さが低減され得、かつ、予測子216の係数526(図6)が正確に推定され得る。そのような無関係な情報を排除しないことにより、係数の推定の精度が減少し得る。それは、実際には、所望の露出(グランドトゥルース)が既知である、制限されたトレーニング画像の集合のみしかないためである。このことにより、トレーニング集合716(図7D)の画像の数が、特徴の集合208の選択された特徴の数に適切に対応し得ない場合において、予測子の係数526の推定にバイアスがかかりやすくなる。特徴の最適な数を決定することは、重要かつ困難な問題であり、図9に関連して以下により詳しく記載する。
【0022】
図1Bを説明すると、本発明の一実施形態による、画像202を低減するために用いられ得る方法のフローチャートが示されている。図2Bを説明すると、図1Bに示される方法102により実行されたオペレーションを図示するデータフロー図220が示されている。方法102では、入力画像202のサムネイル222を生成する(工程122)。通常、画像のサムネイルは、あるダウンサンプリングの方法により生成された、画像の大きさが低減されたものである。サムネイルを生成する手法は、当業者には周知である。
【0023】
本発明の一実施形態において、入力画像202の大抵の露出情報は画像202の輝度チャネルに含まれるということを想定する。したがって、方法102では、サムネイル222から線形性の輝度チャネル224を抽出し(工程124)、サムネイル222から非線形性の輝度チャネル226を抽出し(工程126)、それにより、線形性の輝度チャネル224上のみ、および非線形性の輝度チャネル226上のみにおいて、後に続く処理が実行される。例えば、入力画像202のRチャネルがチャネルRへと、GチャネルがチャネルGへと、BチャネルがチャネルBへと線形化された場合において、下記のとおりに、線形性の輝度チャネル224、および非線形性の輝度チャネル226が生成され得る。線形化された輝度チャネル224はLにより表され、式L=aR+bG+cBを用いて生成され得る。ここで、a、b、およびcは定数である。非線形性の輝度チャネル226はLにより表され、式L=255(L1/γにより、線形化された輝度チャネル224 Lから生成され得る。
【0024】
図1Cを説明すると、本発明の一実施形態による、入力画像202からさらなる特徴を抽出するために用いられ得る方法のフローチャートが示されている。図2Cを説明すると、図1Cに示される方法140により実行されたオペレーションを図示するデータフロー図240が示されている。図1Bおよび2Bに関連して上述した手法を用いて、入力画像202を低減することにより線形性の輝度チャネル224および非線形性の輝度チャネル226が生成される(工程102)。
【0025】
非線形性の輝度チャネル226の部分集合を分離することにより、予測子216の性能が改善され得る。通常の場合、画像の全ての部分が画像の好適な露出の主観による判断に等しく影響を及ぼすわけではないという知見に基づいて、例えば、非線形性の輝度チャネル226全てではなく非線形性の輝度チャネル226の部分集合が露出の補正に用いられ得る。例えば、被写体が平坦でありかつ模様の少ない壁の前に位置する画像の所望の露出は、おそらく、壁の輝度の値によっては決定されない。従って、壁のピクセルを用いずに、以下に記載するヒストグラムを算出することにより、予測子216の性能が改善され得る。露出に影響を及ぼす要素は極めて主観によるものであるが、「アクティビティ(activity)」がほとんどないか、または全くない物体は、通常、露出に影響を及ぼさないということが判明した。従って、まず、アクティビティに対して非線形性の輝度チャネル226をスクリーニングすることにより、アクティビティスレッショルドを満たす非線形性の輝度チャネル226におけるピクセルの位置を識別するアクティブ画像マップ206が生成され得る(工程104)。
【0026】
アクティブ画像マップ206に基づいて、アクティブかつ非線形性の輝度画像209が、非線形性の輝度チャネル226から抽出され得る207。入力画像202の非線形性の輝度チャネル226にのみ作用する実施形態において、アクティブな画像209は、「アクティブ輝度チャネル」とも称され得る。アクティビティを測定するために用いられ得る手法は、発明者Boyackらによるタイトルが「Brightness Adjustment of Images Using Digital Scene Analysis」(1998年3月3日公表)である共有の米国特許番号第5,724,456号においてより詳しく記載されており、その特許文献は本明細書において援用される。
【0027】
方法140では、アクティブな画像209に基づいてヒストグラム244(「アクティブヒストグラム」と称されるか、または、輝度チャネルのみが用いられる実施形態において「アクティブ輝度ヒストグラム」(ALH)と称される)を生成する(工程130)。アクティブヒストグラム244は、工程106において自身の値が抽出され得る特徴の一例である。
しかし、特徴として全てのアクティブヒストグラム244を用いることは、被写体が屋外において明るい背景に対して撮影される画像、または屋内においてカメラのフラッシュを用いて撮影される画像を処理するには不適切であり得る。そのような画像は、被写体と背景との露出が互いに有意に異なるという事実により区別される。画像において被写体が占める部分が小さく、背景のアクティビティが多い場合において、全てのアクティブヒストグラム244を用いて生成された露出予測子は背景に有利に働く。それにより、屋外の場合における被写体の露出は不十分になり、屋内の場合における被写体の露出は過度になる。
【0028】
この問題に対処するために、着目領域(region of interest:ROI)(元の入力画像202の露出を決定する可能性が最も高い、低減された画像204の領域)の概念を導入する。方法140では、線形性の輝度チャネル224およびアクティブ画像マップ206を用いて着目領域242を識別し得る(工程132)。次いで、方法140では、識別された着目領域242内にあるアクティブな画像209の部分のヒストグラム246を生成し得る(工程134)。アクティブヒストグラム244およびROIヒストグラム246はともに、工程106において抽出され得る特徴の例である。
【0029】
方法140では、ROIヒストグラム246とアクティブヒストグラム244との加重平均をとることにより、平均ヒストグラム248も生成し得る(工程136)。この平均ヒストグラムは、工程106において抽出され得る特徴の別の例である。平均ヒストグラム248を生成する手法について、図4に関連して以下に記載する。
【0030】
大きさが可変な長方形のウィンドウを用いて、手法の例について以下に説明する。そのウィンドウは、サムネイル画像222のROI 242を探し、識別する(工程132)。本発明の一実施形態において、ROI 242は、(1)ROI 242内のアクティビティの平均(ROI内の総ピクセル数に対するROI内のアクティブなピクセル数の比として定義される)が、指定された最小アクティビティスレッショルドAMINよりも大きいという条件と、(2)残りの画像(換言すると、ROI 242が含まれない、線形化された輝度チャネル224の部分)の線形性の輝度の平均に対するROI内の線形性の輝度の平均の比の対数の絶対値がサムネイル画像222において最大であるという条件とを満たす長方形のウィンドウとして定義される。
この実施形態において、輝度の平均は、アクティブな画像206内のピクセルのみならず、線形化された輝度チャネル224における全てのピクセルにわたって算出される。
【0031】
条件(1)により、ROI 242が、サムネイル画像222の重要な内容の幾ばくかを含むということが保証される。条件(2)は、屋内においてフラッシュを用いたシーンにおける被写体、および屋外における逆光のシーンにおける被写体の識別の役目を果たす。線形化された輝度チャネル224における任意の一部分と、残りの線形化された輝度チャネル224との輝度に有意な差がないシーンに対して、ROI 242は、条件(1)および(2)をともに満たす輝度チャネル226の任意の領域を含む。しかし、この場合において、ROI 242は、露出補正のなされた最終画像214の露出に有意な寄与はしない。その性質は、以下の記載から明らかになる。
【0032】
図3を説明すると、着目領域242を識別する(工程132)ために用いられ得る手法のフローチャートが示されている。まず、着目領域242の大きさD(例えば、幅、および高さ)を選択する。着目領域242のアスペクト比は、サムネイル222のアスペクト比と同じであり得る。着目領域242のベースの大きさは、サムネイル222の大きさの一定の割合と等しくあり得る。例えば、Dがサムネイル222の大きさを表し(工程302)、Fが所定の割合の乗数である(工程304)場合において、着目領域242のベースサイズBは、F*Dと等しく設定され得る(工程306)。
【0033】
着目領域242の実際の大きさDは、非線形性の輝度チャネル226の平均アクティビティを用いてベースの大きさBを線形にスケールしたものである。換言すると、Aが全てのアクティブ画像マップ206の平均アクティビティである(工程308)場合において、着目領域242の大きさDはB*Aと等しい(工程310)。直感によると、希薄なアクティビティの画像における着目領域は小さく、その逆も同様である。工程310に表されるスケーリングの性質も、着目領域242が条件(1)を満たす助けをする。
【0034】
着目領域242の大きさDを選択すると、上述した条件(1)および(2)をともに満たす領域は、着目領域242として選択され得る。再度図3を説明すると、着目領域242は、下記のとおりに選択され得る。
【0035】
変数LOGMAXを0に初期化し、変数rROIを1に初期化する(工程312)。LOGMAXおよびrROIの意味は、以下の記載から明らかになる。方法132では、変数ROI_foundの値をFALSEに設定する(工程313)。その名称が暗示するように、ROI_foundは、方法132により着目領域が検出されたか否かを表す。
【0036】
方法132は、サムネイル222における各候補領域Cにわたるループに移る(工程314)。領域Cの平均アクティビティAを算出する(工程316)。方法132では、A≧AMINであるか否かを決定し(工程318)、それにより、条件(1)が満たされたか否かが決定される。A<AMINである場合において、方法132は、次の領域に対して継続する(工程334)。
【0037】
方法132では、A≧AMINである場合において、線形性の輝度チャネル224の領域Cの平均輝度Lを算出し(工程322)、線形性の輝度チャネル224の残りの部分(換言すると、領域Cを含まない線形性の輝度チャネル224の部分)の線形輝度の平均Lを算出する(工程324)。Lに対するLの比を変数rROIに指定し、rROIの対数の絶対値(換言すると、|log/L|)を算出し、rROIをLOGCURと命名する変数に指定する(工程326)。
【0038】
方法132では、LOGCURの値がLOGMAXの値よりも大きいか否かを決定する(工程328)。換言すると、方法132では、現段階において、線形性の輝度チャネル224の残りの領域における輝度の平均に対する領域Cにおける輝度の平均の比の対数の絶対値が線形性の輝度チャネル224において最大であるか否かを決定する。LOGCURがLOGMAXよりも大きい場合において、変数ROIにCの値を指定し(工程330)、変数LOGMAXにLOGCURの値を指定する(工程332)。着目領域が検出されたために、ROI_foundの値をTRUEに設定する(工程333)。サムネイル222内の残りの領域Cに対して、工程316〜333を繰り返す(工程334)。
【0039】
そのループが完結したときに、方法132では、ROI_foundの値がTRUEと等しいか否かを決定する(工程336)。等しい場合において、方法132は終了する。そうでない場合において、着目領域は検出されておらず、方法132では、全ての入力画像202を含むように変数ROIを設定する(工程338)。
方法132が完了したときにおいて、変数ROIの値は、条件(1)および(2)をともに満たす画像202内の領域を識別する。そのような領域が存在する場合において、その領域は、着目領域242として用いられ得る。
図4を説明すると、アクティブROIヒストグラム246およびアクティブヒストグラム244からさらなる特徴を抽出するために用いられ得る方法のフローチャートが示されている。着目領域242が画像202の所望の露出に影響を及ぼす確率を表す確率数は、背景を介して、着目領域242に関連し得る。rROIを残りの画像の線形性の輝度の平均に対するROI線形輝度の平均の比(換言すると、L/L、ここで、C=ROI)とする。その結果、着目領域242に関連した確率は、(1)式により与えられる(図4、工程402)。
【0040】
【数3】

ここで、sおよびoは、調節可能なパラメータである。パラメータoは、着目領域242に関連した確率が0.5である場合における、着目領域242と残りの画像との絞り(stop)における輝度の差を表す。パラメータsは、|logROI|=oにおける確率関数の傾きに比例する。|logROI|→∞のときに、p(ROI)→1.0となるために、着目領域242の線形性の輝度の平均と線形性の輝度チャネル224の残りの線形性の輝度の平均との差が大きいということは、着目領域242が画像202の最終露出に影響を及ぼす確率が高いということを意味し、その逆も同様である。ROIの確率p(ROI)が特徴値208の最終ベクトルへのROIの寄与に重みをかける態様を決定する手法について、以下に記載する。
【0041】
ROI(・)が、アクティブROI輝度ヒストグラム246を指すものとする(図4、工程404)。H(・)が、アクティブ輝度ヒストグラム244を指すものとする(工程406)。その結果、全体の平均ヒストグラムH(・)248が、(2)式により与えられる(工程408)。
H(・)=(1−p(ROI))H(・)+p(ROI)HROI(・) (2)
ヒストグラムH(・)248は、工程106において抽出され得る特徴の一例である。しかし、ヒストグラムH(・)248から線形性の特徴および非線形性の特徴を幾つか抽出することにより(工程410および412)、特徴空間の大きさは、さらに低減されうる。そのような特徴は、工程106において抽出され得る特徴の例である。抽出され得る非線形性の特徴の例には、ヒストグラムH(・)248の異なったパーセンタイル値が含まれ得る。抽出され得る線形性の特徴の例には、ヒストグラムH(・)248の異なったモーメントが含まれ得る。
【0042】
上述したように、グランドトゥルース画像の集合522に対するグランドトゥルースデータ210に基づいて予測子216が生成され得る(工程108)。本発明の一実施形態において、予測子216は線形予測子である。
【0043】
Nを特徴値208の総数とし、fを特徴値ベクトルのi番目の特徴値を表すものとする。xを予測子216の係数526(図6)を表すものとする。その結果、(3)式において示されるように、工程110において、露出シフト予測
【0044】
【数4】

が生成され得る。
【0045】
【数5】

ここで、fは特徴値ベクトル208であり、xは係数ベクトル526である。
【0046】
図5を説明すると、本発明の一実施形態による、予測子216を生成する(工程108)方法500のフローチャートが示されている。図6を説明すると、図5に示される方法108により実行されるオペレーションを図示するデータフロー図520が示されている。方法108では、グランドトゥルース画像の集合522における全ての画像に対して、グランドトゥルースデータ210を得る(工程502)。グランドトゥルースデータ210を取得する手法の例について、図7Bに関連して以下に記載する。方法108では、グランドトゥルースデータ210に基づいて最適な特徴の集合218を選択する(工程504)。特徴の集合218を選択する手法の例について、図9に関連して以下に記載する。方法108では、グランドトゥルースデータ210と選択された特徴218とに基づいて予測子216の係数526を算出する(工程506)。図6を説明すると、例えば、選択された特徴218に基づいてトレーニング画像の集合528からトレーニング特徴の集合534を抽出すること532と、グランドトゥルースデータ210とトレーニング特徴534とに基づいて予測子の係数を生成すること(工程506)とにより、工程506が実行され得る。トレーニング集合528は、予測子216をトレーニングし、かつグランドトゥルース集合522の部分集合である画像の任意の集合であり得る。方法108では、選択された特徴218と選択された係数526とに基づいて予測子216を生成する(工程508)。
【0047】
図5に示される方法108について、以下により詳しく記載する。図7Aを説明すると、グランドトゥルースデータ210を生成するために用いられ(図5、工程502)得る方法700のフローチャートが示されている。図7Bを説明すると、図7Aに示される方法700により実行されるオペレーションを図示するデータフロー図750が示されている。
【0048】
グランドトゥルースデータ210は、心理物理的尺度構成法を行うことにより、得られ得る。その心理物理的尺度構成法では、人間主体が、グランドトゥルース集合522の画像522a〜dの各々に対して最適な露出を決定するよう求められる。図7Bには4つの画像522a〜dのみが示されているが、実際には、さらに多数のグランドトゥルース画像があり得る。
【0049】
方法700は、グランドトゥルース集合210の各画像にわたるループに移り得る(工程702)。図7Cを説明すると、グランドトゥルース集合522の単一画像522aに対するグランドトゥルースデータ736aの生成を例として図示するデータフロー図720が示されている。方法700では、複数人の人間主体722a〜dにおける各人間主体Sに対して(工程704)、画像Iに対する所望の露出の主体からの指示を受ける(工程706)。例えば、図10を説明すると、露出調節曲線のファミリーのグラフ1000が示されており、その曲線の個々の特徴について、以下により詳しく記載する。そのような曲線の各々を画像に適用することにより、その画像に対して特定の露出補正が行われ得る。
【0050】
本発明の一実施形態において、グラフ1000に示される露出調節曲線の各々を画像Iに適用し、その結果の露出調節のなされた画像が主体Sに表示される。単一数Δeは、露出調節曲線の各々に関連し、単一数Δeは、その曲線に関連した特定の露出調節を反映する。主体Sは、露出調節のなされた画像から特定の1つを選択するが、その画像は、露出調節がなされた全画像のうちから最適な露出を有すると主体が考える画像である。工程706において、主体Sが選択した画像に対応する露出調節曲線に関連した露出補正Δeが、所望の露出の指示として提供される。
【0051】
例えば、図7Cに示されるように、主体722aは、最適な露出を有するものとして、露出調節のなされた画像のうちの特定の1つを選択することにより、所望の露出724aを指示する。同様に、方法700では、残りの主体からの所望の露出の指示を受ける(工程708)。例えば、図7Cに示されるように、主体722bは所望の露出724bを指示し、主体722cは所望の露出724cを指示し、主体722dは所望の露出724dを指示する。
【0052】
方法700では、工程704〜708のループにおいて受けた露出の全指示の平均をとることにより、単一露出補正数Δeを生成する(工程710)。単一露出補正数Δeは、画像Iに対する「グランドトゥルースデータ」と称される。例えば、図7Cに示されるように、画像522aに対してグランドトゥルースデータ736aが生成される。主体722a〜dに指示された所望の露出724a〜dの分散の逆数は、予測子216の設計における平均二乗誤差の重みに用いられ得る。これにより、画像Iの最適露出に関する意見が主体間で大きく異なる場合において、予測の重みの決定における任意の画像の影響を低減することができる。
【0053】
方法700では、同一の手法を用いて、グランドトゥルース集合522の残りの画像に対するグランドトゥルースデータを生成する(工程712)。例えば、図7Bに示されるように、トレーニング集合の画像522bに対してグランドトゥルースデータ736bが生成され得て、グランドトゥルース集合の画像522cに対してグランドトゥルースデータ736cが生成され得て、グランドトゥルース集合の画像522dに対してグランドトゥルースデータ736dが生成され得る。
【0054】
特徴の選択(工程504)の実行の態様について記載する前に、特定の特徴の集合が与えられた場合における予測子の係数526を生成する手法について記載する。例えば、eを、グランドトゥルース集合522の全ての画像522a〜dに対するグランドトゥルースデータ210を含む列ベクトルを示すものとする。グランドトゥルース集合522の各画像522a〜dの特徴ベクトルは、行列Fの行を形成するものとする。その結果、(4)式を用いて、予測子の係数x 526が生成され(工程506)得る。
x=(FF)−1e (4)
もしくは、Wがグランドトゥルースデータ210の分散の逆数を用いて算出した重み付き対角行列である場合において、係数x526は(5)式を用いて生成され得る(工程506)。x=(FWF)−1We (5)
どちらの場合においても、特徴の数および型が決定されると(図9)、(4)式または(5)式の閉じた形態の表現を用いて、係数x 526が生成され得る。残りの問題は、選択された特徴218として選択されるべき特徴を決定することである。
【0055】
選択された特徴の集合218の算入に最適な特徴を決定する手法およびその特徴の数を決定する手法の例について、以下に記載する。本発明の一実施形態において、グランドトゥルース画像の集合522は、2つの部分集合、トレーニング集合(例えば、図7Dに示されるトレーニング集合716)およびテスト集合(図示せず)に分けられる。トレーニング集合は、トレーニング予測子726(図7D)を設計するために用いられる。テスト集合は、予測子726をテストし、予測の誤差を算出するために用いられる。
【0056】
実際には、グランドトゥルース集合522におけるグランドトゥルース画像の数は制限される。グランドトゥルース集合522の画像を部分集合に分けることにより、設計またはテストサンプルの数がさらに制限され、それによって、予測子216の品質が潜在的に低減される。図8を説明すると、この問題に対処するために用いられ得る方法800のフローチャートが示されている。
【0057】
通常、方法800では、全てのグランドトゥルース画像の集合522を介してn個の画像を同時に回帰するleave−n−outアプローチを用いる。図8に示される特殊な方法800において、n=1である。各サイクルにおいて、テスト画像に対してグランドトゥルース集合522から一画像のみを選択し、グランドトゥルース集合522の残りの画像は予測子726を設計するために用いられる。次いで、テスト集合の単一画像に対して予測の誤差を算出する。全手順をグランドトゥルース集合522内の次の画像に対して繰り返し、以下も同様である。この方法の有利な点は、予測子726の設計に1つを除いて全ての画像が用いられ、予測子726のテストに全ての画像が用いられるということである。これにより、予測子726の設計におけるバイアスおよびテスト誤差とが最小化される。しかし、この手順の不利な点は、設計手順をグランドトゥルース集合522の画像の数と同数回繰り返す必要があるということである。
【0058】
概略を記載した手順について、以下により詳しく記載する。図8を説明すると、ループはグランドトゥルース画像の集合G 522の各画像Iへと移される(工程802)。テスト集合に単一画像Iを配置し(工程804)、トレーニング集合に画像Iを除く全てのグランドトゥルース画像522a〜dを配置する(工程806)。
【0059】
図7Dを説明すると、テスト集合の画像I 762と現トレーニング集合716とに基づいた、方法800による予測の誤差766aの算出を図示するデータフロー図760が示されている。方法800では、例えば(4)式または(5)式を用いて、トレーニング集合に基づいてトレーニング予測子の係数744を生成する(工程808)。特に、方法800では、特徴の現集合734に基づいて、トレーニング集合716から特徴728を抽出718し得る。方法800では、トレーニング集合716および抽出されたトレーニング集合の特徴728に対するグランドトゥルースデータ770に基づいてトレーニング係数744を生成し得る。
【0060】
方法800では、特徴識別子の現集合734およびトレーニング予測子の係数744((3)式の構造に基づく)に基づいてトレーニング予測子726を生成する(工程810)。図9に関連して以下に記載するように、特徴の現集合734が選択され得る。
【0061】
方法800では、テスト集合の画像I 762から、選択された現特徴734を抽出することにより、テスト集合の画像の特徴746が生成される(工程812)。方法800では、トレーニング予測子726を用いることにより、(3)式を用いて、抽出された特徴746に基づいてテスト集合の画像762に対する予測の露出シフト768が生成される(工程814)。方法800では、テスト集合の画像I 762に対するグランドトゥルースデータ764から、予測の露出シフト768を取り去ることにより、テスト集合の画像762に対する予測誤差E 766aを算出する(工程816)。グランドトゥルース集合G 522の残りの画像に対して、予測誤差が同じ態様で生成される(工程818)。
【0062】
図7Eを説明すると、例えば、1つがグランドトゥルース集合522内の各画像522a〜dに対するものである複数の予測誤差766の生成を図示するデータフロー図754が示されている。グランドトゥルース画像522a〜dの各々がテスト集合の画像762として用いられるために、対応する予測誤差が生成される。例えば、予測誤差766aは画像522aに対して生成され、予測誤差766bは画像522bに対して生成され、予測誤差766cは画像522cに対して生成され、予測誤差766dは画像522dに対して生成される。予測誤差E 766a〜dがグランドトゥルース集合522の各画像に対して生成されると、予測誤差E 766a〜dの二乗平均(RMS)をとることにより、グランドトゥルース集合522に対する予測誤差の平均E 758が生成される(工程820)。以下により詳しく記載するように、予測誤差の平均E 758は、選択された特徴218として用いられる特徴の最適数および特徴の最適な組み合わせを選択するために用いられ得る。
【0063】
図9を説明すると、選択された特徴218として用いられる特徴の最適数および特徴の最適な組み合わせを選択するために用いられ得る方法900のフローチャートが示されている。利用可能な全ての特徴を特徴の主集合Mに配置する(工程902)。特徴の主集合は任意の態様で選択され得る。特徴の主集合Mに配置され得る特徴の例には、ROIヒストグラム246と、アクティブヒストグラム244と、平均ヒストグラム248と、列挙した特徴から抽出された線形性の特徴および非線形性の特徴とが含まれる。特徴の現集合Cを空集合に初期化し(工程904)、グローバル誤差値Eを無限大に初期化し(工程906)、最小誤差値EMINを無限大に初期化する(工程908)。
【0064】
主集合Mの各特徴Fにわたるループに移る(工程910)。集合Sは、特徴の現集合Cに特徴Fを加えることにより形成される(工程912)。図8に示される方法800を用いることにより、集合Sを選択された特徴の現集合734として用いてグランドトゥルース画像の集合522の画像522a〜dに対してleave−n−out誤差の平均Eが算出される(工程800)。
【0065】
誤差の平均Eが最小誤差EMIN未満である場合において(工程914)、最小誤差EMINにEの値を指定し(工程916)、変数FMINにFの値(現特徴)を指定する(工程918)。そのループは工程910においてはじまり、現集合Cの各特徴Fに対して繰り返される(工程920)。
【0066】
工程910〜920において実行されるループが完了すると、EMINには、そのループの全ての反復において得られた最小leave−n−out予測誤差が含まれ、FMINは、最小誤差EMINを生じた特徴を示す。方法900では、最小誤差EMINがグローバル誤差Eよりも大きいか否かを決定する(工程922)。EMIN>Eである場合において、特徴の現集合Cは、選択された特徴の集合218として提供される。EMIN≦Eである場合において、EにEMINの値を指定し(工程924)、特徴の現集合Cに特徴FMINを追加し、主集合Mから特徴FMINを取り除く(工程926)。
【0067】
方法900では、主集合Mが空集合であるか否かを決定する(工程928)。主集合Mが空集合でない場合において、更新済み主集合Mおよび現集合Cを用いて、工程910〜926に関連して上述した手順を再度実行する。主集合Mが空集合である場合において、特徴の現集合Cは、選択された特徴の集合218として提供される。
【0068】
要約すると、方法900では、工程910において始まるループの第1の反復において、最小平均予測誤差を生じる単一の最適な特徴を識別する。そのループの第2の反復において、方法900では、第1の特徴とともに最小誤差を生じる次の最適な特徴を識別する。特徴を追加することにより最小平均予測誤差EMINがついに増加しだすまで、この態様で方法900を続ける。その時点において、方法900を終了する。方法900が終了するときにおいて現集合Cにある特徴は、選択された特徴218として提供され得る最適な特徴の集合を表す。
【0069】
図5および6に関連して上述したように、選択された特徴218が選択されると(図9)、例えば(4)式または(5)式を用いて、グランドトゥルースデータ210と特徴識別子218とに基づいて予測子の係数526が生成され得て(工程506)、例えば(3)式の構造を用いて、特徴218と係数526とに基づいて予測子216が生成され得る(工程508)。
【0070】
全てのグランドトゥルース集合522を予測子216の設計およびテストに用いる場合において、現集合Cに新たな特徴を追加すると、最小誤差EMINは常に減少するということに留意されたい。実際には、グランドトゥルース集合522にm個の画像がある場合において、m個の独立な特徴を選択することにより、最小誤差EMINは正確に0になる。それは、Fの列空間がグランドトゥルースベクトルeに及んでいるという事実に基づく。そのような場合において、生成された予測子は最適でなくあり得る。より正確に記載すると、生成された予測子はグランドトゥルース集合522のm個の画像を単に完全に予測し得るが、別の画像の性能は特定され得ない。実際には、この態様で設計された予測子のこの領域における動作は不良であり得る。それは、その態様では、予測子の予測が、グランドトゥルース集合外の画像に対して十分に一般化され得ないためである。トレーニング集合と独立な集合を用いたテストを行うことにより、別の画像に対して良く概括する特徴のみを特徴の最終集合218に加え、ノイズにまさに適合する特徴を排除するということが保証される。
【0071】
予測子216の生成方法について記載したが、以下では、画像202の露出を所望の値に変化(補正)させる(工程112)手法について開示する。露出を変化させるアルゴリズムでは、そのプロセスにおいて画像の色のバランスを変化させてはならない。これは、輝度/クロミナンス空間における画像の輝度チャネルのみに作用することにより、達成され得る。もしくは、RGB空間において露出補正アルゴリズムを用いる場合においては、画像の色のバランスを変化させないようにするために、全てのチャネルに同一の変換を適用する必要がある。後者のアプローチを用いた手法について、以下に記載する。その理由は、少なくとも1つの画像チャネルが全グレイスケールを占めるように画像を変換することが望ましく、その変換を行うことはRGB空間において特に容易であることにある。
【0072】
予測子216が生成されると、(3)式を用いて、抽出された特徴値208に基づいて画像202に対する予測の露出オフセット212が生成され得る(工程110)。図11を説明すると、本発明の一実施形態による、露出オフセット212を入力画像202に適用することにより露出補正のなされた画像214を生成する(工程112)方法のフローチャートが示されている。方法112では、入力画像202をRGB空間から元のシーンにおける強度(すなわち、ワールド強度空間)に再変換する(工程1102)。方法112では、変換済み画像に対して露出補正を行う(工程1104)。方法1100では、露出補正のなされた画像をワールド強度空間からRGB空間に再変換することにより、露出補正のなされた画像214を生成する(工程1106)。
【0073】
本発明の一実施形態において、ワールド対数的な強度空間からRGB空間へと前変換すること(工程1106)は、明るい領域および暗い領域に色調を圧縮する役割をするS字型の曲線によりモデル化される。この後に、典型的なモニタの逆応答をモデル化するように設計されたガンマ関数が続く。S字型の色調を複製する曲線とガンマとを組み合わせることにより、本明細書においてT(・)として表される完全な前変換が形成される。
【0074】
iをワールド対数的な強度を指すものとする。それにより、T(i)は(6)式により定義される。
T(i)=(A+Btanh(−s(i+o)))1/γ (6)
ここで、A、B、s、およびoは、S字型の色調を複製する曲線のパラメータであり、γはモニタのガンマである。(6)式におけるパラメータsおよびoが、(1)式におけるパラメータsおよびoと同一でないことは理解されるべきである。
【0075】
従って、RGB空間の特定のグレイレベルgに対してRGB空間からワールド対数的な強度空間に逆変換すること(工程1102)は、T−1(g)として表され得る。従って、ワールド強度空間における所望の露出オフセットΔe(絞りにおける測定値)によるグレイレベルgの露出補正(工程1102および1104)は、T−1(g)+Δeにより表され得る。逆変換および前変換を含めたRGB空間のグレイレベルgの完全な露出補正は、図11に示される露出補正方法1100により実行され、(7)式により表され得る。
g’=T(T−1(g)+Δe) (7)
ここで、g’は、RGB空間における露出補正のなされたグレイレベルである。図10のグラフ1000は、各々の曲線が値の異なったΔeに対応する、曲線のファミリーを示す。
【0076】
予測の露出オフセットΔe 212が生成されると、全てのグレイレベルに対して(7)式の結果が算出され得て、グレイレベルとそれに対応する補正されたグレイレベルのペアがルックアップテーブル(LUT)に格納され得る。その後、画像の各ピクセルまたはグレイレベルに対して(7)式の結果を算出するよりもむしろ、ルックアップテーブルを用いて、画像の各チャネルに対して露出補正が行われ得る。それにより、露出補正が行われ得るスピードが有意に増加する。
【0077】
上記の手法の一つの有利な点は、ワールド強度空間から、取り込まれた画像202の強度空間(例えばRGB空間)へのマッピングをモデル化するモデルに基づいて、露出補正を実行するということである。上述したように、そのモデルには、典型的なモニタの応答をモデル化するガンマ関数と、ワールドの広いダイナミックレンジを画像キャプチャ(例えばRGB)空間の狭いダイナミックレンジに圧縮するS字型の曲線とが含まれる。上記のようなモデルを用いることにより、そのモデルの逆のモデルを用いることにより画像202の露出が補正され得て、画像からオフセット(所望の露出補正により与えられる)を加算または減算し、次いで上記モデルを用いてRGB値空間にその画像を再マッピングすることにより、画像をワールド対数的な強度に変換する。上記のようなモデルを用いることの一つの有利な点は、それを用いることにより、ワールド強度空間に露出補正を適用することができるということであり、そのモデルが画像202を取り込むために用いられる伝送関数を適度に反映すると想定すると、そのような補正の意図した効果は強度の全範囲にわたる可能性が高い。
【0078】
本発明の実施形態は、プリンタなどのレンダリング装置に出力されるときにおいて、通常デジタル画像に行うカラーマッピングプロセスと一体化され得る。例えば、図12を説明すると、本発明の一実施形態による、カラーマッピングと露出補正とを一体化する方法1200のフローチャートが示されている。方法1200では、デジタルカメラなどのソースから画像を受け取り(工程1202)、画像にJPEG復元を行う(工程1204)。方法1200では、図1Bおよび2Bと関連して上述した手法を用いて画像を低減する(工程102)。次いで、方法1200では、一体化されたプロセスを用いて、画像に対して、自動カラーバランシングおよび自動露出補正を行う。カラーバランシングは、例えば、多くの場合RGB空間において3つの一次元ルックアップテーブルを用いて行われる。上記のようなルックアップテーブルを上述した露出補正用ルックアップテーブルと組み合わせることにより、一次元ルックアップの単一集合を用いてカラーバランシングと露出補正とをともに行う3つの一次元ルックアップテーブルが生成され得る。
【0079】
例えば、本明細書において開示した手法を用いて露出補正の推定を行うことにより(工程1218)、3つの一次元露出補正用ルックアップテーブルが生成され得る(工程1219)。3つの一次元カラーバランシング用ルックアップテーブルも算出され得て(工程1220)、工程1219において生成された露出補正用ルックアップテーブルと組み合わせられ得る(工程1222)。方法1200では、復元された画像に対して、種々の画像処理工程(例えば画像の回転(工程1206)および画像の鮮鋭化(工程1208))が行われ得る。この特定の画像処理工程は、例示を目的としてのみ示されたものであり、本発明の制限を構成するものではない。
【0080】
方法1200では、画像に対してカラーマッピングを行う(工程1210)。カラーマッピングには、多くの場合、一次元のプレルックアップテーブルと、三次元の行列または三次元のルックアップと、一次元のポストルックアップテーブルとを含めた種々のオペレーションが含まれる。3つの一次元ルックアップテーブルの単一集合(工程1222において生成される)を用いて、露出補正が一次元のプレルックアップテーブルオペレーションに一体化され得る。その3つの一次元ルックアップテーブルは、露出補正と、カラーバランスと、カラーマッピングの一次元プレルックアップテーブル部分との組み合せの機能を行う。
【0081】
その方法では、画像を拡大することにより(工程1214)、画像の印刷(または別の出力)の用意をする。次いで、方法1200では、画像を印刷する(工程1216)。方法1200の種々の工程(例えば、工程1204、1206、1208、1214、および1216)は、入力画像202の処理とともに行われ得る工程の例としてのみ提供したものであり、本発明の制限を構成するものではないということが理解されるべきである。
【0082】
本明細書において開示した手法の一つの有利な点は、その手法がRGB空間において行われ得て、それにより、列挙したカラーマッピングとの一体化が可能になるということである。カラーマッピングと露出補正を一体化することにより、画像の印刷への最適化に必要とされる工程の数が低減し、それ故に、輝度−クロミナンス空間または別の非線形性の空間において画像の露出を補正する別の方法と比べて、上記のような処理をよりはやく実行することが可能になる。
【0083】
特定の実施形態に関して本発明について開示してきたが、上記の実施形態は例示としてのみ提供したものであり、本発明の範囲を制限または定義するものではないということが理解されるべきである。下記の事項を含むがそれには制限されない種々の別の実施形態も、特許請求の範囲の範囲内である。
【0084】
本明細書において記載された要素および成分は、さらなる成分に分割され得るか、または結合されて同一の機能を行うより少ない成分を形成し得る。
【0085】
上述した手法は、例えば、ハードウェア、またはソフトウェア、またはファームウェア、またはそれらの組み合わせにおいて実行され得る。上述した手法は、プロセッサと、プロセッサにより読み込み可能な記憶媒体(例えば、揮発性および不揮発性メモリおよび/または記憶要素)と、少なくとも1つの入力装置と、少なくとも1つの出力装置とを備えたプログラム可能なコンピュータにおいて実行する1つまたは複数のコンピュータプログラムにおいて実行され得る。入力装置を用いてプログラムコードを入力された入力に適用することにより、上記の機能が行われ得て、出力が生成され得る。出力は、1つまたは複数の出力装置に提供され得る。
【0086】
添付の特許請求の範囲の範囲内の各コンピュータプログラムは、任意のプログラム言語(例えば、アッセンブリ言語、機械語、ハイレベルな手続き型プログラム言語、またはオブジェクト指向のプログラム言語)において実行され得る。プログラム言語は、例えば、コンパイルされたプログラム言語またはインタープリタ型プログラム言語であり得る。
【0087】
上記のようなコンピュータプログラムの各々は、コンピュータプロセッサにより実行される機械読取り可能記憶装置において明白に具体化されるコンピュータプログラム製品において実行され得る。本発明の方法工程は、コンピュータ読取り可能媒体において明白に具体化されたプログラムを実行するコンピュータプロセッサにより実行され得て、それにより、入力に作用し出力を生成することによって本発明の機能が実行される。例えば、適切なプロセッサには、汎用マイクロプロセッサと特殊用途マイクロプロセッサとがともに含まれる。概して、プロセッサは、読み込み専用のメモリおよび/またはランダムアクセスメモリから、指示およびデータを受け取る。コンピュータプログラムの指示を明白に具体化するに適した記憶装置には、例えば、全種類の不揮発性メモリ(例えば、EPROMと、EEPROMと、フラッシュメモリ装置とを含めた半導体メモリデバイス)と、内部ハードディスクおよびリムーバブルディスクなどの磁気ディスクと、光磁気ディスクと、CD−ROMとが含まれる。前述のいずれかは、特殊に設計されたASIC(特殊用途向け集積回路)により補われ得るか、または、特殊に設計されたASICに組み込まれ得る。コンピュータは、通常、内部ディスク(図示せず)またはリムーバブルディスクなどの記憶媒体から、プログラムおよびデータを受け取ることができる。従来のデスクトップコンピュータまたはワークステーションコンピュータと同様に、本明細書において記載した方法を実行するコンピュータプログラムの実行に適した別のコンピュータにおいて、その要素は見出され得る。それらは、デジタルプリントエンジンもしくはマーキングエンジン、またはディスプレイモニタ、または、紙、もしくはフィルム、もしくはディスプレイスクリーン、もしくは別の出力媒体上に色ピクセルもしくはグレイスケールピクセルを生成することができる別のレーザー出力装置のいずれかとともに用いられ得る。
【図面の簡単な説明】
【0088】
【図1A】本発明の一実施形態による、画像の露出を補正する方法のフローチャートである。
【図1B】本発明の一実施形態による、画像を低減する方法のフローチャートである。
【図1C】本発明の一実施形態による、画像から特徴を抽出する方法のフローチャートである。
【図2A】図1Aに示される方法により実行されたオペレーションを図示するデータフロー図である。
【図2B】図1Bに示される方法により実行されたオペレーションを図示するデータフロー図である。
【図2C】図1Cに示される方法により実行されたオペレーションを図示するデータフロー図である。
【図3】本発明の一実施形態による、画像における着目領域を識別する方法のフローチャートである。
【図4】本発明の一実施形態による、画像から特徴を抽出する方法のフローチャートである。
【図5】本発明の一実施形態による、所望の画像の露出を予測する予測子を生成する方法のフローチャートである。
【図6】図5に示される方法により実行されたオペレーションを図示するデータフロー図である。
【図7A】本発明の一実施形態による、グランドトゥルース画像の集合のためのグランドトゥルースデータを生成する方法のフローチャートである。
【図7B】本発明の一実施形態による、図7Aの方法により実行されたオペレーションを図示するデータフロー図である。
【図7C】本発明の一実施形態による、画像のグランドトゥルース集合における画像のためのグランドトゥルースデータの生成を図示するデータフロー図である。
【図7D】本発明の一実施形態による、テスト集合の画像に対する誤差の予測の算出を図示するデータフロー図である。
【図7E】本発明の一実施形態による、グランドトゥルース画像の集合における複数の画像に対する予測誤差の平均の算出を図示するデータフロー図である。
【図8】本発明の一実施形態による、グランドトゥルース画像の集合における複数の画像に対する予測誤差の平均を算出する方法のフローチャートである。
【図9】本発明の一実施形態による、最適数を選択し、露出補正に用いられる特徴を組み合わせる方法のフローチャートである。
【図10】本発明の一実施形態による、露出補正に用いられる露出調節曲線のファミリーを図示するグラフである。
【図11】本発明の一実施形態による、画像に露出補正を適用することにより露出の補正された画像を生成する方法のフローチャートである。
【図12】本発明の一実施形態による、カラーマッピングおよび露出補正が一体化された方法のフローチャートである。

【特許請求の範囲】
【請求項1】
(A)画像キャプチャ空間のソース画像を非線性の強度空間に変換することにより、第1の変換済み画像を生成する工程と、
(B)該非線形性の強度空間において該変換済み画像の露出を補正することにより、補正された変換済み画像を生成する工程と、
(C)該補正された変換済み画像を該画像キャプチャ空間に変換することにより、第2の変換済み画像を生成する工程と
を包含する、ソース画像の露出を補正する方法。
【請求項2】
前記工程(C)が、
(C)(1)S字型の曲線を用いることにより、前記補正された変換済み画像を第3の変換済み画像に変換する工程と、
(C)(2)ガンマ関数を用いることにより、該第3の変換済み画像を前記第2の変換済み画像に変換する工程とを包含する、請求項1に記載の方法。
【請求項3】
iが前記非線形性の強度空間における強度を表し、前記工程(C)が、
式:T(i)=(A+Btanh(−s(i+o)))1/γを用いることにより、前記補正された変換済み画像を前記第2の変換済み画像に変換する工程を包含する、請求項2に記載の方法。
【請求項4】
関数:T(i)=(A+Btanh(−s(i+o)))1/γが、前記非線形性の強度空間の強度iを前記画像キャプチャ空間におけるグレイレベルに変換し、前記工程(A)が、前記ソース画像のグレイレベルgに関数T−1(・)を適用することにより該グレイレベルを変換することによって、変換済み強度を生成する工程を包含する、請求項1に記載の方法。
【請求項5】
前記工程(B)が、前記変換済み強度に露出オフセットΔeを加算することにより、シフトされた変換済み強度を生成する工程を包含する、請求項4に記載の方法。
【請求項6】
前記工程(A)〜(C)が、工程(A)〜(C)に従って前記画像キャプチャ空間における強度を該画像キャプチャ空間における変換済み強度に変換する少なくとも1つのルックアップテーブルを用いて実行される、請求項1に記載の方法。
【請求項7】
前記少なくとも1つのルックアップテーブルがさらに、前記ソース画像にカラーマッピングを行う、請求項6に記載の方法。
【請求項8】
画像キャプチャ空間のソース画像を非線性の強度空間に変換することにより、第1の変換済み画像を生成する第1の変換手段と、
該非線形性の強度空間において該変換済み画像の露出を補正することにより、補正された変換済み画像を生成する補正手段と、
該補正された変換済み画像を該画像キャプチャ空間に変換することにより、第2の変換済み画像を生成する第2の変換手段と
を備える、ソース画像の露出を補正する装置。
【請求項9】
前記第2の変換手段が、
S字型の曲線を用いることにより、前記補正された変換済み画像を第3の変換済み画像に変換する手段と、
ガンマ関数を用いることにより、該第3の変換済み画像を前記第2の変換済み画像に変換する手段とを備える、請求項8に記載の装置。
【請求項10】
iが前記非線形性の強度空間における強度を表し、前記第2の変換手段が、
式:T(i)=(A+Btanh(−s(i+o)))1/γを用いることにより、前記補正された変換済み画像を前記第2の変換済み画像に変換する手段を備える、請求項9に記載の装置。
【請求項11】
関数:T(i)=(A+Btanh(−s(i+o)))1/γが、前記非線形性の強度空間の強度iを前記画像キャプチャ空間におけるグレイレベルに変換し、前記第1の変換手段が、前記ソース画像のグレイレベルgに関数T−1(g)を適用することにより該グレイレベルを変換することによって、変換済み強度を生成する手段を備える、請求項8に記載の装置。
【請求項12】
前記補正手段が、前記変換済み強度に露出オフセットΔeを加算することにより、シフトされた変換済み強度を生成する手段を備える、請求項11に記載の装置。
【請求項13】
前記第1の変換手段と、前記補正手段と、前記第2の変換手段とが、前記画像キャプチャ空間における強度を該画像キャプチャ空間における変換済み強度にマッピングする少なくとも1つのルックアップテーブルにおいて実現される、請求項8に記載の装置。
【請求項14】
前記少なくとも1つのルックアップテーブルがさらに、前記ソース画像にカラーマッピングを行う、請求項13に記載の装置。
【請求項15】
(A)特徴の集合から選択された少なくとも1つの特徴の値を画像から抽出する工程であって、該特徴の集合が、該画像のサムネイルと、該画像の輝度チャネルと、該画像におけるアクティブな着目領域と、アクティビティスレッショルドを満たす複数のピクセルを含む該画像の部分集合とから得られた特徴からなる、工程と、
(B)該抽出された特徴の値に基づいて該画像の所望の露出補正を予測する工程と、
(C)該予測された露出補正により該画像の露出を補正することにより、露出補正のなされた画像を生成する工程と
を包含する、画像を処理する方法。
【請求項16】
前記着目領域が、(1)該領域内のアクティビティの平均が所定の最小アクティビティスレッショルドを超えるという性質と、(2)該領域を含まない前記画像の部分の輝度の平均に対する該領域の輝度の平均の比の対数の絶対値が、該画像内の所定の複数の領域に対するその比の対数の絶対値の中で最大であるという性質とを有する、請求項15に記載の方法。
【請求項17】
前記着目領域のベースサイズが前記画像の大きさに比例し、該着目領域の大きさが該ベースサイズに該画像内のアクティビティの平均の測定値を乗じたものに比例する、請求項15に記載の方法。
【請求項18】
前記工程(A)が、
(A)(1) 前記画像内の前記アクティブな着目領域を識別する工程と、
(A)(2) アクティビティに対して該画像をスクリーニングすることにより、アクティブな画像を生成する工程と、
(A)(3) 該アクティブな着目領域のヒストグラムと該アクティブな画像のヒストグラムとの加重平均として平均ヒストグラムを生成する工程と、
(A)(4) 該平均ヒストグラムから特徴の値を抽出する工程とを包含する、請求項15に記載の方法。
【請求項19】
前記工程(A)(3)が、
(A)(3)(a) 前記着目領域が前記画像の所望な露出のシフトに影響を及ぼす可能性を算出する工程と、
(A)(3)(b) 前記アクティブな着目領域のヒストグラムと前記アクティブな画像のヒストグラムとに該可能性の重みをつけた平均として前記平均ヒストグラムを生成する工程とを包含する、請求項18に記載の方法。
【請求項20】
前記工程(A)(3)(a)が、式:
【数1】

を用いて前記確率を算出する工程を包含し、oが、該確率が0.5である場合における、前記着目領域と該着目領域を含まない前記画像の部分との絞りにおける輝度の差を表し、sが、|logROI|=oにおける該式の傾きに比例し、rROIが、該着目領域を含まない該画像の部分における線形性の輝度の平均に対する該着目領域における線形性の輝度の平均の比である、請求項19に記載の方法。
【請求項21】
前記工程(A)(4)が、前記平均ヒストグラムから線形性の特徴の値を抽出する工程を包含する、請求項18に記載の方法。
【請求項22】
前記工程(A)(4)が、前記平均ヒストグラムから少なくとも1つのモーメントを抽出する工程を包含する、請求項21に記載の方法。
【請求項23】
前記工程(A)(4)が、前記平均ヒストグラムから非線形性の特徴の値を抽出する工程を包含する、請求項18に記載の方法。
【請求項24】
前記工程(A)(4)が、前記平均ヒストグラムから少なくとも1つのパーセンタイル値を抽出する工程を包含する、請求項23に記載の方法。
【請求項25】
特徴の集合から選択された少なくとも1つの特徴の値を画像から抽出する抽出手段であって、該特徴の集合が、該画像のサムネイルと、該画像の輝度チャネルと、該画像におけるアクティブな着目領域と、アクティビティスレッショルドを満たす複数のピクセルを含む該画像の部分集合とから得られた特徴からなる、抽出手段と、
該抽出された特徴の値に基づいて該画像の所望の露出補正を予測する予測手段と、
該予測された露出補正により該画像の露出を補正することにより、露出補正のなされた画像を生成する補正手段と
を備える、画像を処理する装置。
【請求項26】
前記着目領域が、(1)該領域内のアクティビティの平均が所定の最小アクティビティスレッショルドを超えるという性質と、(2)該領域を含まない前記画像の部分の輝度の平均に対する該領域の輝度の平均の比の対数の絶対値が、該画像内の所定の複数の領域に対するその比の対数の絶対値の中で最大であるという性質とを有する、請求項25に記載の装置。
【請求項27】
前記着目領域のベースサイズが前記画像の大きさに比例し、該着目領域の大きさが該ベースサイズに該画像内のアクティビティの平均の測定値を乗じたものに比例する、請求項25に記載の装置。
【請求項28】
前記抽出手段が、
前記画像内の前記着目領域を識別する手段と、
アクティビティに対して該画像をスクリーニングすることにより、アクティブな画像を生成する手段と、
該アクティブな着目領域のヒストグラムと該アクティブな画像のヒストグラムとの加重平均として平均ヒストグラムを生成する手段と、
該平均ヒストグラムから特徴の値を抽出する手段とを備える、請求項25に記載の装置。
【請求項29】
前記生成する手段が、
前記着目領域が前記画像の所望な露出のシフトに影響を及ぼす可能性を算出する手段と、
前記アクティブな着目領域のヒストグラムと前記アクティブな画像のヒストグラムとに該可能性の重みをつけた平均として前記平均ヒストグラムを生成する手段とを備える、請求項28に記載の装置。
【請求項30】
前記算出する手段が、式:
【数2】

を用いて前記確率を算出する手段を備え、oが、該確率が0.5である場合における、前記着目領域と該着目領域を含まない前記画像の部分との絞りにおける輝度の差を表し、sが、|logROI|=oにおける該式の傾きに比例し、rROIが、該着目領域を含まない該画像の部分における線形性の輝度の平均に対する該着目領域における線形性の輝度の平均の比である、請求項29に記載の装置。
【請求項31】
前記平均ヒストグラムを生成する手段が、該平均ヒストグラムから線形性の特徴の値を抽出する手段を備える、請求項28に記載の装置。
【請求項32】
前記平均ヒストグラムを生成する手段が、該平均ヒストグラムから少なくとも1つのモーメントを抽出する手段を備える、請求項31に記載の装置。
【請求項33】
前記平均ヒストグラムを生成する手段が、該平均ヒストグラムから非線形性の特徴の値を抽出する手段を備える、請求項28に記載の装置。
【請求項34】
前記平均ヒストグラムを生成する手段が、該平均ヒストグラムから少なくとも1つのパーセンタイル値を抽出する手段を備える、請求項33に記載の装置。
【請求項35】
画像の露出を調節するシステムに用いられる特徴の集合を選択する方法であって、
(A)特徴の集合を特徴の主集合Mにセットする工程と、
(B)特徴の現集合Cをヌル値に初期化する工程と、
(C)特徴の現集合Cをヌル値に初期設定する工程であって、
(1)該特徴の現集合Cと特徴Fとを特徴の仮集合Sにセットし、
(2)集合Sを特徴の集合として用いることにより、複数の画像に対してleave−n−out誤差Eを算出し、
(3)該誤差Eが最小誤差EMINよりも小さい場合において、EMINにEの値を指定し、変数FMINに特徴Fの識別を記録する、工程と、
(D)EMINがグローバル誤差Eよりも小さい場合において、EにEMINの値を指定し、FMINに記録された該特徴Fを該集合Cに加え、FMINに記録された該特徴Fを該集合Mから除去する工程と、
(E)該集合Mが空集合でない場合において、工程(C)に戻る工程と、
(F)該集合Mが空集合であり、または該EMINの値が該Eの値よりも大きい場合において、該画像の露出を調節するシステムに用いられる特徴の集合として該集合Cを選択する工程と
を包含する、方法。
【請求項36】
画像の露出を調節するシステムに用いられる、特徴の集合を選択する装置であって、
特徴の集合を特徴の主集合Mにセットする手段と、
特徴の現集合Cをヌル値に初期化する手段と、
反復手段であって
該主集合Mの各特徴Fに対して、
該特徴の現集合Cと該特徴Fとを特徴の仮集合Sにセットする手段と、
集合Sを特徴の集合として用いることにより、複数の画像に対してleave−n−out誤差Eを算出する手段と、
該誤差Eが最小誤差EMINよりも小さい場合において、EMINにEの値を指定し、変数FMINに特徴Fの識別を記録する手段とを備えた、反復手段と、
MINがグローバル誤差Eよりも小さい場合において、EにEMINの値を指定し、FMINに記録された該特徴Fを該集合Cに加え、FMINに記録された該特徴Fを該集合Mから除去する手段と、
該集合Mが空集合でない場合において、該反復手段を作動させる手段と、
該集合Mが空集合であり、または該EMINの値が該Eの値よりも大きい場合において、該画像の露出を調節するシステムに用いられる特徴の集合として該集合Cを選択する手段と
を備える、装置。

【図1A】
image rotate

【図1B】
image rotate

【図1C】
image rotate

【図2A】
image rotate

【図2B】
image rotate

【図2C】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7A】
image rotate

【図7B】
image rotate

【図7C】
image rotate

【図7D】
image rotate

【図7E】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate


【公表番号】特表2006−515136(P2006−515136A)
【公表日】平成18年5月18日(2006.5.18)
【国際特許分類】
【出願番号】特願2005−518583(P2005−518583)
【出願日】平成16年2月19日(2004.2.19)
【国際出願番号】PCT/US2004/004964
【国際公開番号】WO2004/077816
【国際公開日】平成16年9月10日(2004.9.10)
【出願人】(591193347)ポラロイド コーポレイション (27)
【Fターム(参考)】