説明

画像を調整するためのパラメータを決定する方法および装置

画像(10)を調整するためのパラメータ値を決定するコンピュータプログラムプロダクトを含む、方法と装置である。画像(10)内の局所的な属性に係る第1の関数(122)が指定される。ここに、第1の関数(122)とは、局所的な属性に係る異なる値が生じたことを特徴付ける関数である。局所的な属性に係る第2の関数(124)が指定される。ここに、第2の関数(124)とは、調整パラメータ(135)の関数である画像調整(130)に基づく関数である。2つ以上の調整パラメータ(135)の値の各々に対してオブジェクト関数の値(127)が計算される。ここに、オブジェクト関数の値(127)の各々は、局所的な属性に係る複数の値における、第1の関数(122)と第2の関数(124)との累積差の関数である。計算されたオブジェクト関数の値(127)は、画像(10)を調整する調整パラメータ(135)の値を決定するために用いられる。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理に関する。
【背景技術】
【0002】
デジタル画像のような電子的な画像は、密に充填された、基本的な画像素子である、ピクセルの配列によって表現され得る。各ピクセルは画像の局所部分を表現し、単独で、または他のピクセルと共に、上記局所部分のグラフィカル属性を決定する。上記グラフィカル属性は、色、グレイレベル、ルミノシティ(luminosity)、または、透明度を含み得る。電子的な画像は、グラフィカルソフトウェア・アプリケーションによって、または、スキャナもしくはデジタルカメラのような電子的な装置によって、生成され得る。上記グラフィカルソフトウェア・アプリケーションは、プレゼンテーション、アニメーション、ペインティング、および、デザインに関するアプリケーションを含む。上記生成された画像は、上記と同じ、または、別の、装置またはアプリケーションによって、更に処理され得る。画像処理の間、グラフィカル属性は、明るさ(brightness)、コントラスト、または、色の調整を含む、様々なビジュアル効果を実現する画像のピクセルに調整され得る。
【発明の開示】
【課題を解決するための手段】
【0003】
(発明の概要)
画像を調整するために、上記画像内のグラフィカル属性の値と上記グラフィカル属性に関する調整マッピングとに基づいて、1つ以上の調整パラメータが決定される。ここに、調整マッピングとは、画像の調整に基づき、調整パラメータに依存しているマッピングをいう。一般に、一局面では、本発明は、画像調整のためのパラメータ値を決定する方法と装置とを提供し、上記方法と装置は、コンピュータプログラムプロダクトを含む。局所的な属性に関する第1の関数は、画像内の局所的な属性の値に基づいて指定される。局所的な属性に関する第2の関数は、調整パラメータに依存する画像調整に基づいて指定される。上記調整パラメータの2つ以上の値の各々に対して、オブジェクト関数(object function)の値が計算され、各オブジェクト関数の値は、複数の局所的な属性の値に対する上記第1および第2の関数の累積差を含む。計算されたオブジェクト関数の値に基づいて、画像調整のための調整パラメータの値が決定される。
【0004】
詳細な実施形態は、以下に述べられる特徴の1つ以上を含み得る。局所的な属性に関する第1の関数を指定することが、別の画像調整によって生成された局所的な属性に関するモディファイされた値が画像に適用された際に、上記モディファイされた値に基づいて第1の関数を指定することを含み得るという点。局所的な属性に関する第1の関数を指定することが、上記画像内の局所的な属性の値に関する累積分布に基づいて第1の関数を指定することを含み得るという点。上記累積分布が、画像内の局所的な属性に係る値を分類し、所定の区間で合計する(binning)ことによって生成される、濃度ヒストグラムに基づいて指定されるという点。
【0005】
局所的な属性に関する第2の関数を指定することが、上記画像調整に基づいて上記局所的な属性に関する属性マッピングを指定することを含み得、上記属性マッピングが調整パラメータに依存しているという点。上記画像内の各指定位置に対し、上記属性マッピングが、上記指定位置を囲んでいる近傍のピクセル値を特徴付ける近傍輝度(neighborhood intensity)に依存した非局所的な関数によって指定されるという点。上記画像内の各指定位置に対し、上記局所的な属性に関する第2の関数を指定することが、対応する近傍輝度を上記指定位置におけるピクセル値に置き換えることを含むという点。上記局所的な属性に関する第2の関数を指定することが、上記属性マッピングと上記局所的な属性に対して所望の分布を規定する非線形関数とに基づいて、上記局所的な属性に関する合成関数を指定することを含み得るという点。上記所望の分布は、上記局所的な属性に関するガウス密度(Gaussian density)に対応している。
【0006】
オブジェクト関数の値を計算することが、上記局所的な属性に関する中間値と、上記局所的な属性に関する複数の値における第2の関数の値との間の差を累積することを含み得るという点。上記第1および第2の関数の間の累積差が、上記中間値と上記第2の関数との累積差に組み合わされ得るという点。上記オブジェクト関数の値を計算するステップが、上記局所的な属性の値に依存する関数の重みに従って、上記第1および第2の関数の差を累積することを含み得るという点。上記オブジェクト関数の値を計算することが、上記複数の局所的な属性の値に対する第1および第2の関数の間の差の平方を累積することを含み得るという点。
【0007】
画像を調整するための調整パラメータの値を決定することが、オブジェクト関数の値が最小になるような調整パラメータ値を求めることを含み得るという点。上記画像が上記調整パラメータの決定された値を用いた画像調整によって調整され得るという点。上記局所的な属性がルミノシティまたはカラー値(color value)に依存しているという点。上記画像調整が異なる色調(tone)に対する個別の色調調整を含み得るという点。上記色調調整がシャドウ調整およびハイライト調整を含み得るという点。
【0008】
本発明は、以下に述べられる利点の1つ以上を実現するように実施され得る。パラメータが画像調整に対して自動的に決定され得るという点。例えば、調整パラメータは、露出不足、露出オーバー、バックライト対象または過彩色のハイライトのような、ライトニング(lightning)に関する問題を有するデジタル画像を修正するように決定され得る。これらのパラメータは、本発明によって自動的に決定されるため、これら画像に関する問題は、ユーザに対し、特定の画像を手動で画像調整するように要求することなしに修正され得る。このため、ユーザは、ボタンを一押しすることによって、画像の修正を行なうことが出来る。更なる制御を求めるユーザに対して、ユーザインターフェースがダイアログボックスまたはスライドつまみを提供し、画像調整のためのパラメータを変更出来るようにするという点。上記ユーザインターフェースにおいて、調整パラメータは、最適な値の周辺で容易に変化出来るように、自動的に決定された値に初期化され得る。上記の自動的なパラメータ選択は、ソフトウェア・アプリケーション自身に加えて、電子的な画像を生成するデジタルカメラ、スキャン装置およびファックス装置のような画像キャプチャ装置、または、電子的な画像を表示するポータブルデジタルアシスタントもしくは携帯電話のような携帯型のディスプレイ装置を例とする、ソフトウェアまたはハードウェアに組み込まれ得るという点。自動的なパラメータ選択を組み込むことによって、上記のような装置はライトニングが修正された画像を自動的に生成することが出来る。画像を調整するために、簡単かつ全自動的な技術が、1つ以上のパラメータの設定を必要とする、より複雑な技術と共に組み合わされ得るという点。上記2つの技術は、新しい自動的な技術を用いることによって、調整された画像内でアーティファクト(artifact)、ノイズ、過度なコントラスト、または、望ましくない色を生成しないよう、画像を調整出来るように組み合わされ得る。
【0009】
本発明に係る1つ以上の実施形態に関する詳細は、添付の図面と以下の記述を通して述べられる。本発明に係るその他の特徴および利点は、以下の記述、図面、および請求の範囲から明白に理解され得る。
【0010】
図面内の同一の参照番号と名前が同一の要素を示す。
【発明を実施するための最良の形態】
【0011】
(好ましい実施形態に関する記述)
図1は、電子的な画像10を調整するためのパラメータ値を自動的に決定する、画像プロセッサ100を示している。上記決定されたパラメータ値を用いることにより、上記画像プロセッサ100は上記画像10内のグラフィカル属性を調整し、調整された画像12を生成する。上記調整されたグラフィカル属性は、色、グレイレベル、ルミナンス、彩度、または、透明度を含む。上記画像10は、ピクセル属性がビットマップ内の数値によって指定されるようなデジタル画像であり得る。デジタル画像に対しては、上記画像プロセッサ100は1つ以上のソフトウェア・アプリケーションに組み込まれるかソフトウェア・アプリケーションのプラグインであり得る。代替的に、受信された画像は、カメラまたはスキャナのような電子的な装置におけるアナログ電子信号によって指定され得る。上記画像プロセッサ100は、上記画像10を処理する前に、上記アナログ信号をデジタル化する。代替的に、上記画像プロセッサ100は、アナログデータ処理装置によって上記画像10のアナログ信号を処理するように実施され得る。
【0012】
上記画像プロセッサ100は、画像解析装置110と、パラメータ計算装置120と、調整ツール130とを含む。上記調整ツール130は、例えば、2003年10月3日出願の、TONE SELECTIVE ADJUSTMENT OF IMAGESと題された、米国特許出願第10/678,366号に記述されている、選択的に色調を調整する局所調整ツールのようなものであり得る。上記画像解析装置110は画像10を解析し、解析の結果をパラメータ計算装置120に提供する。上記の解析に基づき、上記パラメータ計算装置120は、画像10を調整するために、調整ツール130に対するパラメータを決定する。上記調整ツール130は、上記決定されたパラメータを直接的に用いて画像を調整し得る。あるいは、調整ツール130は、上記決定されたパラメータをモディファイするユーザ入力を受信し、モディファイしたパラメータを用いて画像10を調整し得る。
【0013】
画像解析装置110は、画像10内の1つ以上のグラフィカル属性を解析する。例えば、上記画像解析装置110は、上記画像10内に現れている局所的な属性に係る値の全てを収集することが出来る。上記局所的な属性は、上記画像10のピクセルによって指定されたカラー値、ルミノシティ、または、彩度のうちの少なくとも1つ以上を含み得る。一実施形態においては、上記画像解析装置110は、RGB色空間における、赤(「R」)、緑(「G」)、青(「B」)のカラー値を指定するピクセルに係る、ルミノシティ値(「L」)を収集する。RGB色空間におけるピクセルに対し、ルミノシティは、L=0.30R+0.59G+0.11Bによって定義される。他の色空間(例えば、L*a*b色空間)においては、ピクセルは、ルミノシティ値Lを陽に(explicitely)指定する。代替的な実施形態においては、局所的な属性は、上記ピクセルのカラー値の最大値(「Vmax」)によって指定される。尚、RGBにおいては、Vmax=Maximun[R,G,B]である。
【0014】
随意的に、画像解析装置110は、局所的な属性に係る濃度ヒストグラムを指定する。濃度ヒストグラムとは、画像内の局所的な属性に係る値を収集・分類・合計したものである。濃度ヒストグラムは、収集された属性の値を分類し、所定の区間で合計することによって生成される。濃度ヒストグラムとは、収集された値が上記区間内にどの程度あるかを各区間について示したものである。上記所定の区間は、局所的な属性が取り得る値の全範囲を、所定の個数(「N個」)の区間に分割することによって、得ることが出来る。例えば、0から1までの値の全範囲は、N個の区間に均等に分割され得、n番目(n=1,・・・,N)の区間は、(n−1)/Nからn/Nまでの、属性に係る値に対応する。
【0015】
局所的な属性に加えて、画像解析装置110は、選択的な色調調整のための近傍輝度のような、非局所的な画像特徴を収集し得る。画像10内の各ピクセルに対し、上記画像解析装置110は、近傍内のピクセルのグラフィック属性に基づいて、対応する近傍輝度を計算し得る。例えば、上記近傍輝度は、上記近傍内のピクセルに係る平均的なルミノシティまたは彩度を含み得る。
【0016】
パラメータ計算装置120は、累積分布122と、属性マッピング124と、オプティマイザ126とを含む。上記累積分布122は、画像解析装置110によって収集された属性に係る値に基づいており、上記属性マッピング124は、調整ツール130によって指定された調整に基づいている。上記の累積分布122と属性マッピング124は、画像10を調整するため、調整ツール130に対するパラメータ値を生成するように、上記オプティマイザ126によって使用される。
【0017】
累積分布122は、局所的な属性(例えば、ルミナンスL)の関数であり、画像解析装置110によって収集された属性に係る値に基づいて、画像10内の局所的な属性に係る異なる値が生じたことを特徴付ける関数である。局所的な属性に係る特定の値に対し、上記累積分布122は、対応する分布値を指定する。ここに、上記対応する分布値とは、上記収集された属性に係る値のうち、その値が上記特定の値以下である値の割合に他ならない。各分布値は、収集された値のうち、その値が、対応する局所的な属性の値以下である値の実際の個数を示す整数であってよい。代替的に、上記分布値は、例えば0から1までの区間のような所定の区間に納まるように、正規化されていてもよい。
【0018】
0から1までの間の分布値を用いると、累積分布122は、画像内の属性に係る値のうち、その値が局所的な属性に係る特定の値(「LA」)以下である値を求める確率(「P」)に対応する。ゆえに、確率P(LA)は、局所的な属性の値LAが増加するのに伴って、単調増加する。局所的な属性の最大値(「LAmax」)において、確率Pは1になる(P(LAmax)=1)。上記の最大値LAmaxは、8ビットのカラー表示では255であり、16ビットのカラー表示では32768であり得る。もしくは、上記表示とは独立に、局所的な属性の値は最大値1を取る(LAmax=1.0)ように正規化され得る。典型的な累積分布は図4に示されている。
【0019】
累積分布122は、画像プロセッサ100内で画像解析装置110またはパラメータ計算装置120によって収集された、属性に係る値から計算され得る。上記累積分布122を計算するため、局所的な属性の値の範囲は、例えば0とLAmaxとの間に等間隔に配置されたN個の値のような、上記局所的な属性に係る複数の所定の値によって規定され得る。所定の値の各々に対し、上記画像プロセッサは、受け取った値のうち、その値が上記所定の値以下である値がいくつあるかを計算することによって、分布値を指定する。上記累積分布122は、上記局所的な属性に係る所定の値を上記計算された分布値に結びつけることによって求められる。
【0020】
累積分布122はまた、画像内の局所的な属性に係るピクセル値を収集する画像解析装置110によって生成された、濃度ヒストグラムからも計算され得る。上記濃度ヒストグラムは、等間隔に配置された値(「x」)の一様な区間を指定する。各区間に対し、収集された属性値の割合「p(x)」は、区間(x,x+dx)に存在する。属性の値LAに対し、上記累積分布122は、LA以下である属性の値xに対応する割合p(x)から、分布値(「P(LA)」)を指定し得る。すなわち、P(LA)=Integral(0,LA)dxp(x)である。ここに、Integral(0,LA)は、0からLAの間にあるxの値に関する総和を表す。
【0021】
属性マッピング124は、累積分布122によって記述される同一の局所的な属性(例えばルミノシティ)に対するマッピングを指定する。上記属性マッピング124(「F」)は、属性値(「LA」)を、同じ局所的な属性の値(「MLA」)にマッピングする(MLA=F(LA))。例えば、上記属性マッピング124はルミノシティ値をルミノシティ値にマッピングする、または、カラー値をカラー値にマッピングし得る。
【0022】
属性マッピング124は、調整ツール130によって実行され得る画像調整に基づいている。属性マッピング124は、上記調整ツール130によって陽に指定され得る、あるいは、陽なマッピングが存在しない場合は局所的な属性に対する画像調整の適用に係る効果を計算またはシミュレートすることによって決定され得る。
【0023】
図3を参照して以下で述べられるように、パラメータ計算装置120は、属性マッピング124を定義するために、調整ツール130によって指定されたマッピングをモディファイする(例えば、簡略化する)ことが出来る。
【0024】
属性マッピング124は、1つ以上のパラメータ125に依存する。上記パラメータ125は、調整ツール130によって実行される画像調整に係る、1つ以上の調整パラメータに対応している。上記パラメータ125は、上記調整ツール130によって、陽に指定され得る。例えば、上記調整ツール130は、シャドウ調整およびハイライト調整を実行する個別の色調調整を含み得、上記パラメータ125は、上記シャドウ調整およびハイライト調整の各々に係る個別の強さパラメータ(strength parameter)を含み得る。代替的に、上記パラメータ125は、露出不足(または、露出オーバー)のみを調整するための単一のパラメータを含み得、上記のシャドウ調整およびハイライト調整に係る強さパラメータは、いくつかの所定のルールに従って上記単一のパラメータから計算され得る。
【0025】
オプティマイザ126は、局所的な属性に係る累積分布122と属性マッピング124を用いて、オブジェクト関数127を生成する。上記オブジェクト関数127は、パラメータ値125の最適値を決定するために最小化される(minimized)。上記オブジェクト関数127は、パラメータ125の関数であり、画像内の局所的な部分に関する所望の累積分布と、マッピングされた累積分布との間の差を測る関数である。上記所望の分布は、審美的な(esthetic)考察に依存して、一様な密度、または、ガウス関数(ベル(bell)曲線)あるいはその他の関数に従う密度を有する、ルミノシティ値に対応し得る。上記マッピングされた分布は、局所的な属性に係るマッピングされた値の分布を表し、上記マッピングされた値とは、累積分布122によって特徴付けられた属性値に属性マッピング124を適用することによって生成された値をいう。オブジェクト関数を生成すること、および、オブジェクト関数を最小化することについては、図3および図4を参照して詳細に述べられる。
【0026】
調整ツール130は、パラメータ計算装置120によって最適化されたパラメータ値を用いて、1つ以上の調整パラメータ135をセットする。上記調整ツール130は、最適化された値(および、随意的にいくつかのデフォルト値)を用い、ユーザに対し、いかなるパラメータ135をもセットすることを要求すること無しに、画像10を調整し得る。あるいは、ユーザによる要求の下、上記調整ツール130は、ユーザに対してダイアログボックスまたは調整つまみを含むユーザインターフェースを提供し、1つ以上の調整パラメータ135をセット出来るようにする。上記ユーザインターフェースにおいては、1つ以上の調整パラメータ135は、変更した場合に良い効果が実現されるとユーザが所望する最適な値に初期化され得る。
【0027】
調整ツール130は、画像10内の1つ以上の調整を実行し得る。例えば、複数の色調要素は、異なる色調、例えば、シャドウ、ハイライト、または、ミッドトーン(midtone)に対する、異なるルミノシティ調整を指定し得る。各色調に対し、調整パラメータ135は、色調調整の強さ、または、近傍内の色調を特徴付けるパラメータのような、個別の調整パラメータを含み得る。上記調整ツール130はまた、ぼかし(blurring)またはシャープ化(sharpening)のようなフィルタリング、あるいは、色合いまたは彩度のような、色に係るパラメータの調整をも実行し得る。もしくは、上記調整ツール130は、色調をマッピングする関数を用いた調整を実行し得る。上記関数は、J.TumblinおよびH.Rushmeierによって、「Tone Reproduction for Realistic Images」、IEEE Computer Graphics and Applications IEEE Computer Graphics and Applications,November 1993,13(6),42―48において、または、Zia−ur Rahmanによって、「A Multiscale Retinex for Color Rendition and Dynamic Range Compression」、SPIE International Symposium on AeroSense,Visual Information Processing IX,April 2000において述べられている。調整パラメータ135は、上記にある任意の調整に対応するパラメータをも含み得る。
【0028】
図2は、電子的な画像を調整するための方法200を示している。上記方法200は、画像プロセッサ100(図1)を含む、画像処理システム内で実行され得る。
【0029】
システムは、電子的な画像を受信する(ステップ210)。上記画像は、電子的な装置(例えば、スキャナまたはデジタルカメラ)、ローカルな格納装置(例えば、メモリ装置またはディスクドライブ)、または、インターネットのようなコンピュータネットワークを介したリモートソースから受信され得る。上記受信された画像は、デジタル画像またはアナログ画像であり得る。アナログ画像を処理するには、上記システムは、画像をデジタル化する、または、アナログ画像処理装置を使用し得る。
【0030】
システムは、受信された画像を解析する(ステップ220)。上記システムは、画像内のピクセルによって指定された局所的な属性の値を収集し得る。上記局所的な属性は、画像内の個々のピクセルによって指定されたグラフィカル属性、例えば、色、ルミナンス、または、彩度に係る値、あるいは、上記ピクセル値の組み合わせであり得る。上記局所的な属性はまた、1つ以上のピクセルからの寄与をも含み得る。例えば、ある指定位置でのルミナンスの階調度は、上記指定位置周辺のピクセルに基づき得る。上記収集された値は、ソートされ、または、均等に配置された値によって規定される区間のような、オーバーラップしない区間で、分類・合計され得る。随意的に、上記システムは、指定位置を囲む近傍内のピクセル値に基づく近傍輝度のような非局所的な特徴を、検知し得る。
【0031】
システムは、画像の解析に基づいて、1つ以上の画像調整に係るパラメータ値を決定し(ステップ230)、上記決定されたパラメータ値に従う画像調整を用いて、画像を調整し得る(ステップ240)。ルミノシティのような局所的な属性に対し、上記システムは、上記解析によって収集された属性値に基づく累積分布と、上記画像調整に基づく属性マッピングとを指定し得る。上記局所的な属性に対する属性マッピングは、画像調整に係る1つ以上のパラメータに依存し、上記画像調整が上記局所的な属性にいかなる影響を与えるかを表す。累積分布と属性マッピングに基づいて、上記システムは、画像調整のパラメータに依存するオブジェクト関数を規定し、これらパラメータに対する最適値を決定するために最小化され得る。このことは、図3と図4を参照して以下で述べられる。
【0032】
図3は、画像を調整するためのパラメータ値を決定する方法300を図示している。上記方法300は、パラメータ計算装置120を含む、画像処理システム内で実行され得る(図1)。
【0033】
システムは、局所的な属性に係る値の累積分布を指定する(ステップ310)。上記累積分布は、画像内の局所的な属性の値に基づき得る。代替的に、累積分布は上記局所的な属性に係るモディファイされた値に基づき得、上記モディファイされた値は、上記画像の自動調整に対応し得る。通常、上記局所的な属性は、色、ルミナンス、または、彩度に係る値(または、上記ピクセル値の組み合わせ)のような、画像内の個々のピクセルによって指定されるグラフィカル属性である。上記累積分布を決定するため、上記局所的な属性の値は、画像を解析するステップによって収集される。上記累積分布は、局所的な属性の関数である。局所的な属性に係る特定の値に対し、上記関数は、収集された属性値のうち、上記特定の値以下である属性値の割合を測る、対応する分布値を指定する。上記累積分布は、0から1の間に分布値を有するように、正規化され得る。
【0034】
一実施形態において、システムは、収集された属性値に係る割合を特徴付ける線形的な尺度を用いて、累積分布を指定する。線形的な尺度を用いると、累積分布は、上記収集された属性値のうち、上記局所的な属性に係る値以下である値の個数に比例する分布値を有する。上記累積分布は、上記収集された属性値のうち、上記局所的な属性に係る値以下である値の数に比例する、分布値を有する。代替的に、上記システムは、上記収集された局所的な属性値の割合を特徴付ける非線形的な尺度を指定する、または、上記線形的な尺度によって指定された累積分布をモディファイし得る。例えば、画像内のコントラストは、コントラストに拘束された累積分布を指定することによって拘束され得る。上記コントラストに拘束された累積分布は、Gregory Ward Larson,et al、「A Visibility Matching Tone Reproduction Operator for High Dynamic Range Imagery」、1997,IEEE Transactions on Visualization and Computer Graphicsに述べられているようなものであり得る。上記コントラストに拘束された累積分布は、非常に暗い領域、または、非常に明るい領域において、ライトニングに係る修正がわずかしか必要でない場合に用いられ得る。
【0035】
システムは、画像調整に基づいて、局所的な属性に対する属性マッピングを指定し得る(ステップ320)。上記属性マッピングはまた、上記画像調整に係る1つ以上の調整パラメータに依存し、上記局所的な属性の値の各々を、局所的な属性にマッピングする。画像調整が局所的な属性に対するマッピングを陽に指定する場合、上記システムは、上記マッピングを属性マッピングとして使用し得る。陽なマッピングが利用できない場合、上記システムは、上記画像調整が局所的な属性に対し、いかなる影響を与えるかに基づいて、属性マッピングを計算する。随意的に、上記システムは、画像調整に係るマッピングをモディファイし、属性マッピングを指定する。
【0036】
画像調整は、画像内の各ピクセルにおけるカラー値をマッピングする、カラーマッピング(color mapping)を含み得る。上記カラーマッピングは、カラー値(「C」、例えば、赤、緑、または、青のカラー値)をカラー値(「MC」)にマッピングし、1つ以上のパラメータ値(「pv」)と、指定位置を囲む近傍内のピクセルの輝度に基づく近傍輝度(「NI」)とに依存する、非局所的な関数(「A」)によって指定される。すなわち、MC=A(C,NI,pv)である。
【0037】
カラー値Cに対する属性マッピングを指定するため、システムは、非局所的な関数Aを画像内のピクセル値に直接的に適用する。これにより、色に対する属性マッピングは、マッピングされたカラー値(「MC」)を提供する関数(「FC」)によって、MC=FC(C,pv;NI)=A(C,NI,pv)として規定される。あるいは、属性マッピングは、ルミノシティ(L)に対し、赤(「R」)、緑(「G」)、および、青(「B」)の各カラー値に対して非局所的な関数Aを適用することによって得られる関数(「FL」)によって規定され得、マッピングされたカラー値を組み合わせることによって、マッピングされたルミノシティ値(「ML」)を得ることが出来る。すなわち、ML=FL(L,pv;NI)=0.3FC(R,pv;NI)+0.59FC(G,pv;NI)+0.11FC(B,pv;NI)である。代替的に、上記関数FCは、カラー値Cをルミノシティ値Lで置き換えることによって、ルミノシティマッピング(luminosity mapping)に対して別の関数(「FL」)を規定するように、モディファイされ得る。すなわち、ML=FL(L,pv;NI)=A(L,NI,pv)である。
【0038】
関数FC、FL、および、FLは、局所的な属性の値に依存するだけでなく、画像内の異なる指定位置において異なる値を取り得る対応する近傍輝度NIにも依存する、非局所的な関数である。これらの関数を用いるため、システムは、画像内の属性値を収集するのに加え、対応する近傍輝度を収集する。更に、上記属性値と対応する近傍輝度の両方を用いて、マッピングされた属性値を求める。代替的に、これら関数は、画像に対して直接的に適用され、マッピングされた属性値はその度ごとに評価される。
【0039】
属性マッピングを指定するため、非局所的な関数Aは、デフォルト値による指定位置、または、上記指定位置での局所的な属性(「LA」)に対応する、非局所的な変数NIを置き換えることによって、局所的な関数に簡易化され得る。例えば、指定位置におけるルミノシティLは、上記指定位置を囲んでいる近傍におけるルミノシティを特徴付ける近傍輝度NIの代わりに用いられ得る。ゆえに、ルミナンスマッピングに対する関数FLは、更に簡易化され別の関数(「F」)を定義し得、局所的な属性に係る値を値(「MLA」)にマッピングし得る。すなわち、MLA=F(LA,pv)=A(LA,LA,pv)である。上記局所的な属性LAはまた、色または彩度のような、別の局所的な属性にも依存し得る。
【0040】
システムは、指定された累積分布と、局所的な属性に対する属性マッピングに基づいて、オブジェクト関数の値を計算する(ステップ330)。上記オブジェクト関数は、属性マッピングのパラメータの関数である。上記オブジェクト関数は、所望の分布とマッピングされた分布との間の差を測るように定義され得る2つの関数を比較する。上記所望の分布は、一様な密度、または、ガウス関数もしくはその他の所定の密度関数を有する属性値に対応し得る。異なる所望の分布に対してオブジェクト関数を定義することは、図4を参照して詳しく議論される。
【0041】
一様な密度関数を有する所望の分布に対し、オブジェクト関数は、指定された累積分布(「P」)と局所的な属性(「LA」)に対する属性マッピング(「F」)とを比較する。上記比較のため、累積分布Pと属性マッピングFは、属性値と関数値が共通の値の範囲(例えば、属性値と関数値の両方に対して0から1までの範囲)を持つように、正規化される。上記オブジェクト関数は、累積分布Pと属性マッピングFとが同じ関数形である場合に最小値が0となるような非負関数として、定義され得る。
【0042】
例えば、オブジェクト関数OFは、属性値LAが0と1との間を動く場合のPとFとの差の平方を積分することによって定義され得る。すなわち、OF(pv)=Integral(0,1)dLA[P(LA)−F(LA,pv)]^2である。
【0043】
別のオブジェクト関数OFは、非負な関数の重み(「MU」)を用いた積分によって、定義され得る。すなわち、OF(pv)=Integral(0,1)dLA MU(LA)[P(LA)−F(LA,pv)]^2である。
【0044】
関数の重みMUは、局所的な属性の値に依存する。上記局所的な属性に係る値は、いくつかの効果を実現出来るように選択され得る、いくつかの関数形に従う値である。オブジェクト関数に更なる重みを付与し、属性値を大きくする(例えば、ピクセルを明るくする)ために、関数の重みMUは、線形形式、例えば、MU(LA)=LAを有し得る。オブジェクト関数に更なる重みを付与し、画像内の属性値をより重く(heavily)するために、関数の重みは、画像内の属性値を表現し、幅がdLAである一様な区間で分類・合計された濃度ヒストグラム(「p」)に比例し得る。(濃度ヒストグラムpは、累積分布Pの微分に比例する)。あるいは、関数の重みMUは、濃度ヒストグラム(MU(LA)=p(LA)^b)の指数(「b」)に比例し得る。指数は、密(higly populated)である局所的な属性値の範囲に係る重みよりも小さく、疎(less populated)である値の範囲に係る重みよりも大きい。
【0045】
PとFとを比較する項に加えて、オブジェクト関数は、特定の効果を実現するための追加的な項をも含み得る。属性値(LA)を、局所的な属性に対して指定される全範囲の中心(1/2)周辺に集中させるため、追加的な項(「AT」)は、次のような形を取り得る。すなわち、AT(pv)=Integral(0,1)dLA[1/2−F(LA,pv)]^2である。また、オブジェクト関数OFは、ミックスイン・パラメータ(mix−in parameter、「M」)を用いて、OF(pv)=OF(pv)+M AT(pv)と定義され得る。ミックスイン・パラメータMは、属性値を集中させることの重要度を表す定数である。例えば、混合パラメータMは、約0.5であり得る。
【0046】
システムは、オブジェクト関数に基づき、1つ以上の調整パラメータに対する最適値を決定する(ステップ340)。上記システムは、オブジェクト関数を最小化し、上記調整パラメータに対する最適値を決定し得る。一実施形態において、上記システムは、1つ以上の調整パラメータの値を複数生成し、上記生成されたパラメータ値の全てに対してオブジェクト関数を評価し、更に、上記生成されたパラメータ値に対し、オブジェクト関数が最小となるようなパラメータ値を選択する。
【0047】
システムは、2つのパラメータ、例えば、色調が選択可能な画像調整においてシャドウとハイライトの強さを調整するパラメータの両方を、同時に最適化し得る。上記シャドウとハイライトに対する強さの調整は、シャドウの明るさとハイライトの暗さの度合いの各々を制御する。シャドウとハイライトの強さの各々に対して20通りの異なる値が生成された場合、最適なシャドウとハイライトの強さの値の対は、対応するオブジェクト関数の値に基づく400通りの組み合わせから、選択され得る。強さパラメータが最適化されたとしても、その他のパラメータは、シャドウ/ハイライト調整に対してデフォルト値を有し得る。随意的に、既に最適化された強さパラメータの値を用いたステップを通して、上記その他のパラメータの1つ以上が最適化され得る。各ステップが少数の(1個または2個の)パラメータを最適化するステップであるような一続きの最適化ステップを通して、多数のパラメータが最適化され得る。ここに、各ステップは、少数(1個または2個)のパラメータを最適化する。随意的に、同一のパラメータは、複数回最適化され得る。
【0048】
システムは、調整パラメータに対する最適値を求めるために、その他すべての最適化技術をも用い得る。例えば、オプティマイザは、階調の降下(descent)に基づく最適化のような、非線形な最適化技術を用い得る。非線形の最適化技術はまた、単純な技術によって得られた粗い値を精密化するためにも用いられる。最適な値は、オブジェクト関数を最小化する解析解から導かれる、陽な数学的公式によって求められ得る。
【0049】
図4は、典型的な分布410と420、および、属性マッピング430を示している。上記分布410は、カラー値または画像内のピクセルのルミノシティのような、局所的な属性の累積分布Pを表している。上記分布420は、累積分布Pを有する属性値に属性マッピング430(「F」)を適用することで生成される、マッピングされた属性値に対する、マッピングされた分布P’である。上記分布P’は、均等に分布しているマッピングされた属性値に対応し、上記分布は、画像内のコントラストを最大化するために所望される分布であり得る。
【0050】
累積分布Pとマッピングされた分布P’との間の関係は、2つの典型的な属性値VnとVmとを用いて示される。属性値LmとLnとに対し、累積分布Pは分布値VmとVnとを指定する。属性値Vmは、画像内の属性値のうちLm以下のものの個数に比例し、属性値Vnは、画像内の属性値のうちLn以下のものの個数に比例する。
【0051】
属性マッピングFは、局所的な属性の値LmとLnとの各々を、属性値Lm’=F(Lm)とLn’=F(Ln)とにマッピングする。上記属性マッピングFは、属性値の順序を保存する単調な(monotone)マッピングである。従って、LmはLnよりも小さいため、Lm’はLn’よりも小さい。上記マッピングFは単調なため、属性値Lnが属性値Ln’にマッピングされる場合、累積分布Pとマッピングされた分布P’において、同じ分布値Vnが指定される。同様に、VmはLmをLm’へマッピングすることによって変化しない。この関係は、LA’=F(LA)にマッピングされる任意の属性値LAに対して保存される。すなわち、V=P(LA)=P’(LA’)=P’(F(LA))が成り立つ。
【0052】
この公式に従うと、属性マッピングF(LA)が累積分布P(LA)と一致する場合、マッピングされた属性は線形、すなわち、P’(LA’)=LA’=F(LA)である。従って、所望のマッピングされた分布P’は、P(LA)とF(LA)との間の差を最小化することによって求められ得る。このことは、図3を参照して上記で議論されている。上記マッピングされた分布P’は、合成関数DP(F(LA))が累積分布P(LA)と一致する場合にP’(LA’)=DP(LA’)=DP(F(LA))となる、所望の非線形関数形(「DP」)を有し得る。従って、所望の分布DPは、P(LA)とDP(F(LA))との間の差を最小化することによって求められ得る。差を最小化するため、オブジェクト関数(「OFDP」)は、OFDP(pv)=Integral(0,1)dLA[P(LA)−DP(F(LA,pv))]^2のように定義され得る。図3を参照して上記で議論された一様な場合も同様に、オブジェクト関数は、追加的な項、または、関数の重みの積分を用いて定義され得る。
【0053】
所望の非線形分布は、多くの場合は目に快い(pleasing to the eye)ガウス密度に対応し得る。ガウス密度に対する累積分布は、シグモイド関数S(x)=1/[1+exp(−x)]を用いて近似され得る誤差関数である。シグモイド関数Sを用いると、所望の分布関数DPは、DP(LA’)=[S(g(LA’−1/2 LAmax))−S(−g/2 LAmax)]/[S(g/2 LAmax)−S(−g/2 LAmax)]として表され得る。ここに、LAmaxは局所的な属性の最大値であり、gは対応するガウス密度分布の幅に対応するゲインパラメータ(gain parameter)である。例えば、gの値は、約2.0を取り得る。
【0054】
本発明は、デジタル電子回路、または、コンピュータハードウェア、ファームウェア、または、それらの組み合わせに実装され得る。本発明は、コンピュータプログラムプロダクトとして実施され得る。すなわち、情報担体、例えば、機械によって読み取り可能な格納装置または伝搬信号内に具体的に実施され得る。ここに、上記信号は、プログラム可能なプロセッサ、コンピュータ、または、複数のコンピュータによって実行される、あるいは、これらの操作を制御する、信号であり得る。上記コンピュータプログラムは、コンパイルされた言語、または、インタープリットされた言語を含む、任意の形式のプログラム言語で記述され得、スタンドアロンのプログラムとして、または、モジュールとして、サブルーチン、または、コンピューティング環境での使用に適したその他の装置を含む任意の形態で、配備され得る。コンピュータプログラムは、1つのサイトまたは通信ネットワークによって相互接続された分布した複数のサイトにおいて、1つのコンピュータまたは複数のコンピュータの上で実行されるように配備され得る。
【0055】
本発明の方法に係るステップは、入力データを操作し、出力を生成することによって本発明に関する機能を実施することの出来るコンピュータプログラムを実行する、1つ以上のプログラム可能なプロセッサによって実施され得る。本発明の方法に係るステップはまた、特殊な目的の論理回路、例えば、FPGA(field programmable gate array)またはASIC(application−specific integrated circuit)によって実施され得、あるいは、本発明の装置は、これらのような形態で実装され得る。
【0056】
プロセッサは、コンピュータプログラムの実行に適し、一例として、汎用性のマイクロプロセッサまたは特殊目的のマイクロプロセッサの両方、および、デジタルコンピュータに係る任意の種類のプロセッサの1つ以上を含む。一般に、プロセッサは、読み出し専用メモリまたはランダムアクセスメモリ、あるいはその両方からの命令とデータとを受信する。コンピュータの主要な要素は、命令を実行するプロセッサと、命令およびデータを格納する1つ以上の記憶装置である。一般に、コンピュータはまた、磁気ディスク、光磁気ディスク、光学ディスクのような、データを格納する1つ以上の大容量記憶装置からのデータの受信、または、これらへのデータの送信、あるいはその両方を包含する、もしくは、これらのことが出来るように、共役させられる。情報担体は、コンピュータプログラム命令またはデータを実体化するのに適するものであり、一例として、EPROM,EEPROM、フラッシュメモリのような半導体メモリを含む任意の形態の非揮発性のメモリと、内蔵ハードディスクまたは取り外し可能なディスクのような磁気ディスクと、光磁気ディスクと、CD−ROMディスクまたはDVD−ROMディスクとの、全ての形態を包含するものであってよい。プロセッサとメモリは、特殊な目的の論理回路によって補完される、または、そのような論理回路に組み込まれる。
【0057】
ユーザとの相互関係を提供するため、本発明は、ユーザへの情報を表示するCRT(cathode ray tube)またはLCD(liquid crystal display)モニタのようなディスプレイ装置と、ユーザがコンピュータへの入力を提供出来るようにするキーボードと、マウスまたはトラックボールのようなポインタ装置とを有するコンピュータに実装され得る。ユーザとの間の相互関係を提供するために、その他の種類の装置も同様に用いられ得る。例えば、ユーザに提供されたフィードバックは、視覚性のフィードバック、聴覚性のフィードバック、または、触覚性のフィードバックのような、任意の形態の、知覚性のフィードバックであり得る。また、ユーザからの入力は、音声による入力、話し言葉による入力、または、触覚性の入力を含む、任意の形態で受信され得る。
【0058】
一例として、PostScript(登録商標)のようなページ記述言語に対するインタープリタを実装するプリント装置は、プリンタのランダムアクセスメモリ(RAM)とプリンタの読み出し専用メモリ(ROM)とに格納され、プリンタのマーキングエンジン(marking engine)を制御するプログラム命令(フォントに関する命令を含む)を実行するための、プロセッサを含む。上記RAMは、ハードディスクのような大容量記憶装置によって随意的に補完される。コンピュータの主要な要素は、命令を実行するプロセッサと、メモリである。一般に、コンピュータはまた、内蔵のディスクまたは取り外し可能なディスクのような格納媒体からのプログラムとデータとを受信し得る。これらの要素はまた、上述の方法を実施するコンピュータプログラムを実行させるのに適した、その他のコンピュータと同様に、従来のデスクトップコンピュータ、または、ワークステーションコンピュータにおいても見出すことが出来る。上記コンピュータは、任意のデジタルプリントエンジンまたはマーキングエンジン、ディスプレイモニタ、または、紙面上にカラーまたはグレイスケールのピクセルを提供することが出来るその他のラスタ出力装置、フィルム、ディスプレイスクリーン、または、その他の出力媒体と共に、使用され得るコンピュータである。
【0059】
本発明は、特定の実施形態に関して記述されてきた。その他の実施形態は、以下の請求の範囲の目的の範囲から逸れない。例えば、本発明に係るステップが異なる順序で実施されたとしても、やはり所望の結果をもたらすことになる。
【図面の簡単な説明】
【0060】
【図1】図1は、画像調整のためのパラメータを自動的に決定することの出来る画像プロセッサを示すスキーム図である。
【図2】図2は、画像調整の方法を示す流れ図である。
【図3】図3は、画像調整の方法を示す流れ図である。
【図4】図4は、画像調整のためのパラメータを決定するために用いられる典型的なディストリビューションを示すスキーム図である。

【特許請求の範囲】
【請求項1】
画像を調整するためのパラメータ値を決定する方法であって、
画像内の局所的な属性に関する第1の関数を指定するステップであって、該第1の関数は該画像内の局所的な属性に関して異なる値が生じたことを特徴付ける関数である、ステップと、
該局所的な属性に関する第2の関数を指定するステップであって、該第2の関数は画像調整に基づいており、該画像調整は調整パラメータの関数である、ステップと、
2つ以上の調整パラメータ値の各々に対してオブジェクト関数の値を計算するステップであって、各オブジェクト関数の値は複数の局所的な属性の値に対する該第1および第2の関数の累積差である関数である、ステップと、
該計算されたオブジェクト関数の値を用いて該画像を調整するための調整パラメータ値を計算するステップと
を含む、方法。
【請求項2】
前記局所的な属性に関する第1の関数を指定するステップが、前記画像内の局所的な属性の値に関する累積分布に基づいて第1の関数を指定するステップを含む、
請求項1に記載の方法。
【請求項3】
前記累積分布がコントラストに拘束された累積分布である、請求項2に記載の方法。
【請求項4】
前記局所的な属性に関する第2の関数を指定するステップが、前記画像調整に基づいて該局所的な属性に対する属性マッピングを指定するステップを含み、該属性マッピングは前記調整パラメータに依存している、請求項1に記載の方法。
【請求項5】
前記画像内の各指定位置に対し、前記属性マッピングが、該指定位置を囲んでいる近傍のピクセル値を特徴付ける近傍輝度に依存した非局所的な関数によって指定される、請求項4に記載の方法。
【請求項6】
前記局所的な属性に関する第2の関数を指定するステップが、前記属性マッピングと該局所的な属性に対して所望の分布を規定する非線形関数とに基づいて、該局所的な属性に関する合成関数を指定するステップを含む、請求項4に記載の方法。
【請求項7】
前記オブジェクト関数の値を計算するステップが、
前記局所的な属性に関する中間値と、該局所的な属性に関する複数の値における前記第2の関数の値との間の差を累積するステップと、
前記第1および第2の関数の間の累積差を、該中心値と該第2の関数との累積差に組み合わせるステップと
を含む、請求項1に記載の方法。
【請求項8】
前記オブジェクト関数の値を計算するステップが、前記局所的な属性の値に依存する関数の重みに従って、前記第1および第2の関数の差を累積するステップを含む、請求項1に記載の方法。
【請求項9】
前記オブジェクト関数の値を計算するステップが、前記複数の局所的な属性の値に
対する第1および第2の関数の差の平方を累積するステップを含み、
該計算されたオブジェクト関数の値を用いて前記画像を調整するための調整パラメータ値を決定するステップが、オブジェクト関数の値が最小になるような調整パラメータ値を求めるステップを含む、
請求項1に記載の方法。
【請求項10】
前記局所的な属性がルミノシティまたは色、あるいは、その両方に依存している、請求項1に記載の方法。
【請求項11】
前記画像調整が異なる色調に対する個別の色調調整を含む、請求項1に記載の方法。
【請求項12】
画像を調整するためのパラメータ値を決定するために機械可読媒体に実体的に具現化されたソフトウェアプロダクトであって、該ソフトウェアプロダクトは、以下のオペレーションを実行する1つ以上のデータ処理装置を起動させるように実行出来る命令を含み、該命令は、
画像内の局所的な属性に関する第1の関数を指定する命令であって、該第1の関数は該画像内の局所的な属性に関して異なる値が生じたことを特徴付ける関数である、命令と、
該局所的な属性に関する第2の関数を指定する命令であって、該第2の関数は画像調整に基づいており、該画像調整は調整パラメータの関数である、命令と、
2つ以上の調整パラメータ値の各々に対してオブジェクト関数の値を計算する命令であって、各オブジェクト関数の値は複数の局所的な属性の値に対する該第1および第2の関数の累積差である関数である、命令と、
該計算されたオブジェクト関数の値を用いて該画像を調整するための調整パラメータ値を計算する命令と
を含む、ソフトウェアプロダクト。
【請求項13】
前記局所的な属性に関する第1の関数を指定する命令が、前記画像内の局所的な属性の値に関する累積分布に基づいて第1の関数を指定する命令を含む、
請求項12に記載のソフトウェアプロダクト。
【請求項14】
前記累積分布がコントラストに拘束された累積分布である、請求項13に記載のソフトウェアプロダクト。
【請求項15】
前記局所的な属性に関する第2の関数を指定する命令が、前記画像調整に基づいて該局所的な属性に対する属性マッピングを指定する命令を含み、該属性マッピングは前記調整パラメータに依存している、請求項12に記載のソフトウェアプロダクト。
【請求項16】
前記画像内の各指定位置に対し、前記属性マッピングが、該指定位置を囲んでいる近傍のピクセル値を特徴付ける近傍輝度に依存した非局所的な関数によって指定される、請求項15に記載のソフトウェアプロダクト。
【請求項17】
前記局所的な属性に関する第2の関数を指定する命令が、前記属性マッピングと該局所的な属性に対して所望の分布を規定する非線形関数とに基づいて、該局所的な属性に関する合成関数を指定する命令を含む、請求項15に記載のソフトウェアプロダクト。
【請求項18】
前記オブジェクト関数の値を計算する命令が、
前記局所的な属性に関する中間値と、該局所的な属性に関する複数の値における前記第2の関数の値との間の差を累積する命令と、
前記第1および第2の関数の間の累積差を、該中心値と該第2の関数との累積差に組み合わせる命令と
を含む、請求項12に記載のソフトウェアプロダクト。
【請求項19】
前記オブジェクト関数の値を計算する命令が、前記局所的な属性の値に依存する関数の重みに従って、前記第1および第2の関数の差を累積する命令を含む、請求項12に記載のソフトウェアプロダクト。
【請求項20】
前記オブジェクト関数の値を計算する命令が、前記複数の局所的な属性の値に
対する第1および第2の関数の差の平方を累積する命令を含み、
該計算されたオブジェクト関数の値を用いて前記画像を調整するための調整パラメータ値を決定する命令が、オブジェクト関数の値が最小になるような調整パラメータ値を求める命令を含む、
請求項12に記載のソフトウェアプロダクト。
【請求項21】
前記局所的な属性がルミノシティまたは色、あるいは、その両方に依存している、請求項12に記載のソフトウェアプロダクト。
【請求項22】
前記画像調整が異なる色調に対する個別の色調調整を含む、請求項12に記載のソフトウェアプロダクト。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate


【公表番号】特表2007−507803(P2007−507803A)
【公表日】平成19年3月29日(2007.3.29)
【国際特許分類】
【出願番号】特願2006−533984(P2006−533984)
【出願日】平成16年9月24日(2004.9.24)
【国際出願番号】PCT/US2004/031469
【国際公開番号】WO2005/038713
【国際公開日】平成17年4月28日(2005.4.28)
【出願人】(595097771)アドビ システムズ, インコーポレイテッド (22)
【氏名又は名称原語表記】ADOBE SYSTEMS, INC.
【Fターム(参考)】