画像処理方法及び装置
【課題】ＨＤＲ画像が２つ以上の照明源を有することを承認するハイダイナミックレンジ画像のホワイトバランス正規化の方法および機器が提供すること。
【解決手段】ハイダイナミックレンジ画像のホワイトバランス正規化が、画像の比較的明るい部分に対する第１の画像順応点および画像の比較的暗い部分に対する第２の画像順応点を特定することによって行われる。画像のより明るい部分に対する第１の白色点調節は、第１の画像順応点を用いて行われ、画像のより暗い部分に対する第２の白色点調節は、第２の画像順応点を用いて行われる。このため、ハイダイナミックレンジ画像を描画する際に複数の照明源を考慮に入れ、視覚的により魅力的な描画後の画像を提供することができる。
【解決手段】ハイダイナミックレンジ画像のホワイトバランス正規化が、画像の比較的明るい部分に対する第１の画像順応点および画像の比較的暗い部分に対する第２の画像順応点を特定することによって行われる。画像のより明るい部分に対する第１の白色点調節は、第１の画像順応点を用いて行われ、画像のより暗い部分に対する第２の白色点調節は、第２の画像順応点を用いて行われる。このため、ハイダイナミックレンジ画像を描画する際に複数の照明源を考慮に入れ、視覚的により魅力的な描画後の画像を提供することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ハイダイナミックレンジ画像の描画に関し、特に、複数の順応点を用いたホワイトバランス正規化に関する。
【背景技術】
【０００２】
デジタル画像がますます一般的になるにつれて、消費者は、デジタルイメージング装置により高品質の画像を要求してきている。改善の必要なデジタルイメージングの領域の１つは、ハイダイナミックレンジ（ＨＤＲ（high dynamic range））画像の描画である。ＨＤＲ画像のフォーマットは、１チャネルあたり３２ビットまでを、普通は指数付きの「Float」（浮動小数点）フォーマットでサポートしている。例えば、ＲＧＢフォーマットのＨＤＲ画像では、１ピクセルあたり９６ビットまでが必要となる。ＴＩＦＦ Ｆｌｏａｔは、ＨＤＲフォーマットの別の例である。ＨＤＲフォーマットにより、人間の視覚によって知覚可能な全色調範囲（tonalrange）のエンコードが可能になる。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ＨＤＲ画像をうまく描画することは困難であることが知られている。ＨＤＲ画像の圧縮に使用されるトーンマッピング（tone mapping）の従来の技法は、計算量が大きく、また、明るい光源のまわりのリンギング（ringing）などのアーティファクトが生じる可能性がある。また、従来の方法では、描画後の画像の特定の領域で不快な輝度圧縮およびカラーシフトが生じる可能性がある。
【０００４】
発明の要約
以上の点に取り組むために、本発明は、しばしば２つ以上の照明源が存在することが認識されたハイダイナミックレンジ画像のホワイトバランス正規化の方法および機器を提供する。本発明によれば、画像を描画するときに画像の複数の照明源を考慮に入れられることが可能になる。
【０００５】
ＨＤＲのシーンは、複数の照明源の結果である場合が多い。よく知られている例の１つは、窓がある部屋であり、その部屋は、例えばタングステン灯で、薄暗く照らされ、戸外のシーンは日光で明るく照らされている。そのようなシーンは、タングステン灯の照らす内部の輝度と日光の照らす外部の輝度との大きな差が原因で、ハイダイナミックレンジを有する。そのようなシーンのＨＤＲ画像を従来の技法で描画すると、不快な輝度圧縮およびカラーシフトが生じることがある。これは、従来の画像処理技法は、順応（adaptation）のために、１つだけの基準白色点（普通はその画像の最も明るい点）を使用するからである。
【０００６】
これと対照的に、本発明では、複数の順応点を用いてＨＤＲ画像を描画する。本発明によれば、ハイダイナミックレンジ画像のホワイトバランス正規化は、画像の比較的明るい部分に対する第１の画像順応点と、画像の比較的暗い部分に対する第２の画像順応点とを特定することを含む。第１の白色点調節は、画像の比較的明るい部分に対して第１の画像順応点を用いて行われ、そして、第２の白色点調節は、画像の比較的暗い部分に対して第２の画像順応点を用いて行われる。好ましくは、白色点調節は、メモリ内でその場で（in situ）行って、それにより、メモリを節約し、また上述のプロセスの完了時に画像がすぐ描画できるようにする。その後、画像は、例えば、ディスプレイまたはプリンタ上に描画される。
【０００７】
従来の技法では、異なる複数の照明源に対処していないため、上述した窓が１つある部屋のようなＨＤＲのシーンのトーンマッピングが従来の技法で行われると、結果画像は、通常、一様でないホワイトバランスに悩まされることになる。これに対して、本発明は、ＨＤＲ画像の描画を、その画像の比較的明るい部分に対する順応点、およびその画像の比較的暗い部分に対する順応点に基づいて行う。このため、本発明により、ＨＤＲ画像を描画する際に複数の照明源を考慮に入れられるようになる。
【０００８】
比較的明るい部分と比較的暗い部分を判定するために、輝度を尺度とする閾値を使用することができる。比較的明るい部分は、その閾値よりも輝度の大きい画像部分を含み、比較的暗い部分は、その閾値よりも輝度の小さいまたは等しい画像部分を含む。閾値の決定は、画像の輝度の累積ヒストグラムを計算し、その累積ヒストグラムの傾きが最小の点での輝度の値を当該閾値とすることによって行うことができる。或いは、閾値の決定は、画像のＩＳＯＤＡＴＡ閾値を特定し、そのＩＳＯＤＡＴＡ閾値を当該閾値とすることによっても行うことができる。
【０００９】
比較的明るい部分および比較的暗い部分の画像順応点の計算は、例えば、グレーワールドアサンプション（gray world assumption）、最大輝度点、および他の方法を用いて行うことができる。
【００１０】
画像順応点を用いたこれら部分のそれぞれの白色点調節は、グレーワールド仮定および／または完全拡散反射面（perfect reflecting diffuser）（ＰＤＲ）アサンプションに基づいて行うことができる。しかし、好ましくは、白色点調節は、グレーワールドアサンプションのＰＤＲアサンプションに対するそれぞれの比に基づいて行われる。より具体的には、第１の白色点調節は、第１のグレーワールドアサンプションの第１のＰＤＲアサンプションに対する第１の比に基づき、第２の白色点調節は、第２のグレーワールドアサンプションの第２のＰＤＲアサンプションに対する第２の比に基づく。第１のグレーワールドアサンプションおよび第１のＰＤＲアサンプションは、比較的明るい部分に対して、第１の画像順応点に基づいて決定される。第２のグレーワールドアサンプションおよび第２のＰＤＲアサンプションは、比較的暗い部分に対して、第２の画像順応点に基づいて決定される。
【００１１】
視覚的に快い結果は、多くの場合、順応点の導出に先立って、及び白色点調節に先立って行われる画像の前処理によって得られる。一態様では、画像の対数が計算され、画像の最小値が０に等しく、画像の最大値が１に等しく、画像の平均値が０．５に等しくなるようにその画像の対数は正規化される。この正規化された対数が、ＨＳＶフォーマットの画像へと変換され、このＨＳＶフォーマットの画像に対して少なくとも１つの彩度強調（saturation boost）およびシャープネス強調（sharpness enhancement）が行われて、新しいＨＳＶ画像が得られる。ユーザは、彩度強調のうちの少なくとも１つのレベルを選択することができる。
【００１２】
新しいＨＳＶ画像の輝度の累積ヒストグラムが計算され、閾値の決定は、そのヒストグラムの傾きが最小の点での輝度の値を当該閾値とすることによって行われる。新しいＨＳＶ画像は、ＲＧＢフォーマットの画像へと変換される。このＲＧＢ画像の比較的明るい部分が特定され、この比較的明るい部分は、輝度の値が閾値よりも大きいピクセルを含む。また、ＲＧＢ画像の比較的暗い部分が特定され、この比較的暗い部分は、輝度の値が閾値よりも小さいまたは等しいピクセルを含む。そして、比較的明るい部分に対する第１の白色点調節および比較的暗い部分に対する第２の白色点調節が行われる。画像の描画は、画像依存のガンマ補正、彩度調節、およびシャープ化フィルタを適用した後で行われる。
【００１３】
また、本発明は、方法、機器、またはコンピュータ実行可能プログラムコードの形で実施することができる。
【００１４】
以上の簡潔な要約は、本発明の性質を迅速に理解できるように提供したものである。本発明のより完全な理解は、以下の詳細な説明を添付の図面とともに参照することによって得ることが可能である。
【発明を実施するための最良の形態】
【００１５】
以下、本発明の実施形態について、添付の図面を参照して説明する。これらの実施形態では、ＨＤＲ画像が多くの場合複数の発光源の結果であることを認知したホワイトバランス正規化の方法を説明する。複数の発光源のそれぞれが、ＨＤＲ画像中の色および輝度の順応のための視覚的基準を提供する。以下で説明する諸方法では、複数の発光源に対処することにより、特に、好ましい大局的な輝度圧縮を引き起こし、カラーシフトを最小にするという点で、より正確なＨＤＲ画像の描画を容易に実現できる。
【００１６】
以下で説明する方法では、シーン内で観察可能な複数の光源が原因で単一の画像内に複数の順応のある状態が存在する可能性があることを認めている。例えば、一般的なハイダイナミックレンジの室内／戸外のシーンには、タングステン電球などの室内の光源、ならびに日光などの戸外の光源を基準として有するであろう。従来の描画方法では、単一の基準白色点の使用が、そのシーンの１つまたは複数の領域が正しく描画されないということを引き起こす可能性がある。しかし、以下の方法が承認するように、複数の基準白色点が利用されると、画像の各構成部分の描画を、それ自体の順応基準点に基づいて行うことができ、したがって、例えば、望ましくないカラーシフトを低減することができる。さらに、輝度範囲のそれぞれを、画像の特定の領域に関してスケーリングすることができ、その結果、輝度および色の順応の組合せが得られる。
【００１７】
輝度および色順応に続いて、画像が描画される。描画は、画像依存のガンマ補正を彩度調節と並んで含むことができ、これはしばしば有益である。さらに、小さなシャープ化フィルタを使用すると、広範囲の輝度圧縮が発生した場合に生じ得るぼけの一部を除去することができる。
【００１８】
図１は、本発明の代表的な一実施形態を示す。デジタルカメラ５は、ＣＰＵ１５、ストレージ装置２０、およびディスプレイ２５を有するパーソナルコンピュータ１０に接続されている。ストレージ装置２０は、以下で説明する本発明の一実施形態によるコンピュータ実行可能な動作命令３０を格納するコンピュータ可読メモリ媒体（これは、ネットワーク化されたディスクドライブ媒体など、ローカルでも非ローカルでもよい）である。パーソナルコンピュータ１０は、プリンタ３５にも接続されている。
【００１９】
デジタルカメラ５は、複数のデジタル画像４０を格納する。これらは、ＨＤＲシーンのダイナミックレンジをブラケット（bracket）する、複数の露出（exposures）にて撮影された画像である。デジタル画像４０は、パーソナルコンピュータ１０へ転送され、動作命令３０に従った処理に応じてＨＤＲ画像４５へと合成される。ＣＰＵ１５は、ＨＤＲ画像４５を動作命令３０に従って描画する。結果となる描画後の画像５０は、ディスプレイ２５上に表示されたり、プリンタ３５で印刷されたりすることができる。
【００２０】
図２は、ホワイトバランス正規化を行い、上記のＨＤＲ画像４５などのＨＤＲ画像を描画するための、本発明の一実施形態に従った方法のプロセスフローチャートを示している。ステップＳ２０１からＳ２０４では、強調の効果が現れるようにＨＤＲ画像データを前処理する。こうしたステップは、厳密には必要ではないが、しばしばより満足のいく視覚的描画を生じさせるため、好ましいものである。
【００２１】
ステップＳ２０１で、ＲＧＢ放射輝度（radiance）フォーマットによるＨＤＲ原画像が入力されると、この原画像の対数が計算されて、対数画像（log image）が作成される。この対数画像は、対数画像のピクセルを０から１までのスケールにマッピングすることによって正規化され、正規化画像が作成される。
【００２２】
図３に、Ｓ２０２の正規化プロセスの一例を示している。図３を参照すると、原画像のピクセルの平均値が計算される（Ｓ３０１）。原画像の各ピクセル値が、この平均値と比較される（Ｓ３０２）。原画像のピクセル値が、ピクセル値の平均よりも大きい場合、対応する対数画像ピクセルは０．５と１の間にマッピングされる（Ｓ３０３）。一方、原画像のピクセル値が、ピクセル値の平均よりも小さいまたは等しい場合、対応する対数画像ピクセルは０と０．５の間にマッピングされる（Ｓ３０４）。このプロセスは、原画像の全てのピクセルがこの平均値と比較されるまで続く（Ｓ３０５）。こうして正規化画像が作成される。
【００２３】
図２に戻って、Ｓ２０３でＨＳＶ画像を作成するために正規化画像はＨＳＶフォーマットへと変換され、彩度強調（saturation boost）がこのＨＳＶ画像に対して行われ、ＨＳＶ画像からＶチャネルが抽出される。一般的な彩度強調が、Ｓチャネルに対して適用されて（Ｓ２０４）、新しいＨＳＶ画像が生成される。彩度強調は、所望の彩度レベルを選択するためのユーザインターフェースを介して達成することができる。上述した処理（Ｓ２０１からＳ２０４）は、原ＨＤＲ画像の前処理を詳しく述べたものであり、これにより、視覚的により満足のいく最終画像をもたらすことができる。
【００２４】
尚、Ｓ２０１からＳ２０４の前処理ステップが行われない場合は、ＲＧＢ放射輝度フォーマットである入力ＨＤＲ画像をＨＳＶ空間へ変換すれば十分である。
【００２５】
前処理の後で、Ｖチャネルの累積ヒストグラムを用いて閾値が決定される（Ｓ２０５）。図４は、Ｓ２０５のより詳細な図である。図４を参照すると、Ｖチャネルの累積ヒストグラムが計算される（Ｓ４０１）。累積ヒストグラム上の傾きが最小の点が決定される（Ｓ４０２）。この傾きが最小の点が閾値として決定される（Ｓ４０３）。
【００２６】
図５は、Ｓ２０５における閾値決定の別の方法を示す。図５を参照すると、閾値は、ＩＳＯＤＡＴＡ計算を行うことによって計算することができる。したがって、図４に示される閾値を計算するためのプロセスを図５のプロセスで置き換えることができる。図５に示すように、必要な数のクラスタが識別される（Ｓ５０１）。本例では光源毎に１つのクラスタが識別される。ＩＳＯＤＡＴＡ計算が行われる（Ｓ５０２）。このＩＳＯＤＡＴＡ計算は、画像中の全範囲のピクセルの平均および標準偏差に基づいて、画像中の各ピクセルの値を所与のクラスタへ分離することを、繰り返し行うものである。全てのピクセル値を２つのクラスタのうちの１つへと割り当てるための繰り返しが収束した後で、クラスタの境界値を示す閾値が特定される（Ｓ５０３）。尚、累積ヒストグラムを用いる方法およびＩＳＯＤＡＴＡ計算を用いる方法は、閾値を計算する方法の１例に過ぎない。閾値の計算に適する他の方法があることは、当業者に容易に理解されよう。
【００２７】
図２に戻って、Ｓ２０６で、ＨＳＶ画像の比較的明るい部分および比較的暗い部分が、この閾値を適用することによって決定される。図６は、Ｓ２０６のより詳細な図である。
【００２８】
図６を参照すると、ＨＳＶ画像のピクセルのＶ値が閾値と比較される（Ｓ６０１）。Ｖ値が閾値よりも大きい場合は、そのＨＳＶピクセルは、比較的明るいピクセルに分類される（Ｓ６０２）。一方、Ｖ値が閾値よりも小さいまたは等しい場合は、そのＨＳＶピクセルは、比較的暗いピクセルに分類される（Ｓ６０３）。このプロセスが、ＨＳＶ画像中のピクセルのすべてに対して繰り返される（Ｓ６０４）。したがって、ＨＳＶ画像の比較的明るい部分は、比較的明るいピクセルを含み、ＨＳＶ画像の比較的暗い部分は、比較的暗いピクセルを含む。
【００２９】
図２に戻ると、新しいＨＳＶ画像がＲＧＢフォーマットへと変換されて、ＲＧＢ画像が作成される。ここで、この新しいＨＳＶ画像の比較的明るい部分および比較的暗い部分（閾値領域（threshold areas））の記憶を維持したまま行われる。そして、新しいＨＳＶの閾値領域に対応するＲＧＢ画像の画像セグメントが抽出される（Ｓ２０８）。したがって、ＲＧＢ画像の比較的明るい部分（即ち「ハイキー」（highkey）部分）はＨＳＶ画像の比較的明るい部分に対応し、ＲＧＢ画像の比較的暗い部分（即ち「ローキー」（lowkey）部分）はＨＳＶ画像の比較的暗い部分に対応する。メモリを節約するとともに、（ステップＳ２１５で）画像をすぐ描画できるように、画像セグメントはメモリ内でその場で（insitu）識別され処理される。しかしながら、図解の目的で図２には、ＲＧＢ画像から「抽出」された分離後の画像セグメントを、ハイキーとローキーの部分にそれぞれ対応する画像Ａ（Ｓ２０９）と画像Ｂ（Ｓ２１０）として示している。画像セグメントは、後続するホワイトバランス処理のために分離することができるが、その場での処理により、計算の複雑さおよびメモリ要求が低減される。
【００３０】
画像Ａに対する画像順応点が特定される（Ｓ２１１）。同様に、画像Ｂに対する画像順応点も特定される（Ｓ２１２）。画像順応点を特定するための一つの方法では、最大輝度点を利用する。画像Ａを例に取ると、最大輝度点は、画像Ａ中には、ＲＧＢ成分ごとに反射が最大の点が１つまたは複数存在するという事実に基づいている。この１つまたは複数の点が、画像Ａに対する画像順応点として使用される。
【００３１】
画像順応点は、グレーワールドアサンプションを用いて決定することもできる。グレーワールドアサンプションは、色の変動の量が十分な画像があるとき、その画像の赤、緑、および青の成分の平均値は、平均されて共通のグレーの値になるはずである、ということを述べている。このアサンプションは、所与のどのような実世界のシーンでも、多くの異なる色の変動が存在するということは多くの場合において正しいため、一般には有効である。色の変動はランダムで独立であるため、十分な数のサンプルがあるとき、その平均はグレーを表す平均値へと収束する傾向があるはずであると言って差し支えない。再び画像Ａを例に取ると、グレーワールドアサンプションでは、画像Ａ中の色すべての平均はグレーに等しいとされており、したがって、平均画像のＲＧＢ成分は等しい。画像順応点は、画像Ａが、この計算されたグレーから逸脱する量によって決定される。
【００３２】
画像Ａおよび画像Ｂに対して画像順応点が特定された後で、画像Ａおよび画像Ｂ上の白色点調節が、それぞれの画像順応点を用いて行われる。白色点調節が、画像Ａ、すなわちＲＧＢ画像のハイキーの部分に対して行われる（Ｓ２１３）。また、白色点調節は、画像Ｂ、すなわちＲＧＢ画像のローキーの部分に対しても行われる（Ｓ２１４）。白色点調節を行う一つの方法によれば、その画像セグメントに対するグレーワールドアサンプションが計算され、その画像セグメントに対する完全拡散反射面アサンプションが計算される。グレーワールドアサンプションおよび完全拡散反射面アサンプションは、その画像セグメントに対する画像順応点に基づいている。白色点調節は、グレーワールドアサンプションと完全拡散反射面アサンプションの比に基づいている。また、白色点調節は、グレーワールドアサンプションだけ、または完全拡散反射面アサンプションだけを用いて行うこともできる。
【００３３】
最後に、処理後の画像が、例えば、ディスプレイまたはプリンタ上で描画される（Ｓ２１５）。図７は、Ｓ２１５のより詳細な図である。図７を参照すると、画像依存のガンマ補正が処理後の画像に対して行われる（Ｓ７０１）。処理後の画像の彩度の調節が行われる（Ｓ７０２）。小さなシャープ化フィルタが処理後の画像に適用される（Ｓ７０３）。最後に、処理後の画像が描画される（Ｓ７０４）。
【００３４】
この発明の説明を、特定の具体的な実施形態の助けを借りて行ってきたが、多くのさらに別の変更形態および変形形態が、当業者には明らかであろう。したがって、この発明は、具体的に説明した以外のように実施できることを了解されたい。したがって、本発明の上述の実施形態は、すべての点で、例示的であり、限定的ではなく、本発明の範囲は特許請求の範囲およびその均等物によって決定されると見なされるべきである。
【図面の簡単な説明】
【００３５】
【図１】本発明の一実施形態を実現することのできる例示的な環境のブロック図である。
【図２】本発明の一実施形態による、ＨＤＲ画像を描画するための方法を示すプロセスフローチャートである。
【図３】本発明の一実施形態による、対数画像を正規化するための方法を示すプロセスフローチャートである。
【図４】本発明の一実施形態による、閾値を特定するための方法を示すプロセスフローチャートである。
【図５】本発明の一実施形態による、閾値を特定するための他の方法を示すプロセスフローチャートである。
【図６】本発明の一実施形態による、閾値領域を特定するための方法を示すプロセスフローチャートである。
【図７】本発明の一実施形態による、処理後の画像を描画するための方法を示すプロセスフローチャートである。
【技術分野】
【０００１】
本発明は、ハイダイナミックレンジ画像の描画に関し、特に、複数の順応点を用いたホワイトバランス正規化に関する。
【背景技術】
【０００２】
デジタル画像がますます一般的になるにつれて、消費者は、デジタルイメージング装置により高品質の画像を要求してきている。改善の必要なデジタルイメージングの領域の１つは、ハイダイナミックレンジ（ＨＤＲ（high dynamic range））画像の描画である。ＨＤＲ画像のフォーマットは、１チャネルあたり３２ビットまでを、普通は指数付きの「Float」（浮動小数点）フォーマットでサポートしている。例えば、ＲＧＢフォーマットのＨＤＲ画像では、１ピクセルあたり９６ビットまでが必要となる。ＴＩＦＦ Ｆｌｏａｔは、ＨＤＲフォーマットの別の例である。ＨＤＲフォーマットにより、人間の視覚によって知覚可能な全色調範囲（tonalrange）のエンコードが可能になる。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ＨＤＲ画像をうまく描画することは困難であることが知られている。ＨＤＲ画像の圧縮に使用されるトーンマッピング（tone mapping）の従来の技法は、計算量が大きく、また、明るい光源のまわりのリンギング（ringing）などのアーティファクトが生じる可能性がある。また、従来の方法では、描画後の画像の特定の領域で不快な輝度圧縮およびカラーシフトが生じる可能性がある。
【０００４】
発明の要約
以上の点に取り組むために、本発明は、しばしば２つ以上の照明源が存在することが認識されたハイダイナミックレンジ画像のホワイトバランス正規化の方法および機器を提供する。本発明によれば、画像を描画するときに画像の複数の照明源を考慮に入れられることが可能になる。
【０００５】
ＨＤＲのシーンは、複数の照明源の結果である場合が多い。よく知られている例の１つは、窓がある部屋であり、その部屋は、例えばタングステン灯で、薄暗く照らされ、戸外のシーンは日光で明るく照らされている。そのようなシーンは、タングステン灯の照らす内部の輝度と日光の照らす外部の輝度との大きな差が原因で、ハイダイナミックレンジを有する。そのようなシーンのＨＤＲ画像を従来の技法で描画すると、不快な輝度圧縮およびカラーシフトが生じることがある。これは、従来の画像処理技法は、順応（adaptation）のために、１つだけの基準白色点（普通はその画像の最も明るい点）を使用するからである。
【０００６】
これと対照的に、本発明では、複数の順応点を用いてＨＤＲ画像を描画する。本発明によれば、ハイダイナミックレンジ画像のホワイトバランス正規化は、画像の比較的明るい部分に対する第１の画像順応点と、画像の比較的暗い部分に対する第２の画像順応点とを特定することを含む。第１の白色点調節は、画像の比較的明るい部分に対して第１の画像順応点を用いて行われ、そして、第２の白色点調節は、画像の比較的暗い部分に対して第２の画像順応点を用いて行われる。好ましくは、白色点調節は、メモリ内でその場で（in situ）行って、それにより、メモリを節約し、また上述のプロセスの完了時に画像がすぐ描画できるようにする。その後、画像は、例えば、ディスプレイまたはプリンタ上に描画される。
【０００７】
従来の技法では、異なる複数の照明源に対処していないため、上述した窓が１つある部屋のようなＨＤＲのシーンのトーンマッピングが従来の技法で行われると、結果画像は、通常、一様でないホワイトバランスに悩まされることになる。これに対して、本発明は、ＨＤＲ画像の描画を、その画像の比較的明るい部分に対する順応点、およびその画像の比較的暗い部分に対する順応点に基づいて行う。このため、本発明により、ＨＤＲ画像を描画する際に複数の照明源を考慮に入れられるようになる。
【０００８】
比較的明るい部分と比較的暗い部分を判定するために、輝度を尺度とする閾値を使用することができる。比較的明るい部分は、その閾値よりも輝度の大きい画像部分を含み、比較的暗い部分は、その閾値よりも輝度の小さいまたは等しい画像部分を含む。閾値の決定は、画像の輝度の累積ヒストグラムを計算し、その累積ヒストグラムの傾きが最小の点での輝度の値を当該閾値とすることによって行うことができる。或いは、閾値の決定は、画像のＩＳＯＤＡＴＡ閾値を特定し、そのＩＳＯＤＡＴＡ閾値を当該閾値とすることによっても行うことができる。
【０００９】
比較的明るい部分および比較的暗い部分の画像順応点の計算は、例えば、グレーワールドアサンプション（gray world assumption）、最大輝度点、および他の方法を用いて行うことができる。
【００１０】
画像順応点を用いたこれら部分のそれぞれの白色点調節は、グレーワールド仮定および／または完全拡散反射面（perfect reflecting diffuser）（ＰＤＲ）アサンプションに基づいて行うことができる。しかし、好ましくは、白色点調節は、グレーワールドアサンプションのＰＤＲアサンプションに対するそれぞれの比に基づいて行われる。より具体的には、第１の白色点調節は、第１のグレーワールドアサンプションの第１のＰＤＲアサンプションに対する第１の比に基づき、第２の白色点調節は、第２のグレーワールドアサンプションの第２のＰＤＲアサンプションに対する第２の比に基づく。第１のグレーワールドアサンプションおよび第１のＰＤＲアサンプションは、比較的明るい部分に対して、第１の画像順応点に基づいて決定される。第２のグレーワールドアサンプションおよび第２のＰＤＲアサンプションは、比較的暗い部分に対して、第２の画像順応点に基づいて決定される。
【００１１】
視覚的に快い結果は、多くの場合、順応点の導出に先立って、及び白色点調節に先立って行われる画像の前処理によって得られる。一態様では、画像の対数が計算され、画像の最小値が０に等しく、画像の最大値が１に等しく、画像の平均値が０．５に等しくなるようにその画像の対数は正規化される。この正規化された対数が、ＨＳＶフォーマットの画像へと変換され、このＨＳＶフォーマットの画像に対して少なくとも１つの彩度強調（saturation boost）およびシャープネス強調（sharpness enhancement）が行われて、新しいＨＳＶ画像が得られる。ユーザは、彩度強調のうちの少なくとも１つのレベルを選択することができる。
【００１２】
新しいＨＳＶ画像の輝度の累積ヒストグラムが計算され、閾値の決定は、そのヒストグラムの傾きが最小の点での輝度の値を当該閾値とすることによって行われる。新しいＨＳＶ画像は、ＲＧＢフォーマットの画像へと変換される。このＲＧＢ画像の比較的明るい部分が特定され、この比較的明るい部分は、輝度の値が閾値よりも大きいピクセルを含む。また、ＲＧＢ画像の比較的暗い部分が特定され、この比較的暗い部分は、輝度の値が閾値よりも小さいまたは等しいピクセルを含む。そして、比較的明るい部分に対する第１の白色点調節および比較的暗い部分に対する第２の白色点調節が行われる。画像の描画は、画像依存のガンマ補正、彩度調節、およびシャープ化フィルタを適用した後で行われる。
【００１３】
また、本発明は、方法、機器、またはコンピュータ実行可能プログラムコードの形で実施することができる。
【００１４】
以上の簡潔な要約は、本発明の性質を迅速に理解できるように提供したものである。本発明のより完全な理解は、以下の詳細な説明を添付の図面とともに参照することによって得ることが可能である。
【発明を実施するための最良の形態】
【００１５】
以下、本発明の実施形態について、添付の図面を参照して説明する。これらの実施形態では、ＨＤＲ画像が多くの場合複数の発光源の結果であることを認知したホワイトバランス正規化の方法を説明する。複数の発光源のそれぞれが、ＨＤＲ画像中の色および輝度の順応のための視覚的基準を提供する。以下で説明する諸方法では、複数の発光源に対処することにより、特に、好ましい大局的な輝度圧縮を引き起こし、カラーシフトを最小にするという点で、より正確なＨＤＲ画像の描画を容易に実現できる。
【００１６】
以下で説明する方法では、シーン内で観察可能な複数の光源が原因で単一の画像内に複数の順応のある状態が存在する可能性があることを認めている。例えば、一般的なハイダイナミックレンジの室内／戸外のシーンには、タングステン電球などの室内の光源、ならびに日光などの戸外の光源を基準として有するであろう。従来の描画方法では、単一の基準白色点の使用が、そのシーンの１つまたは複数の領域が正しく描画されないということを引き起こす可能性がある。しかし、以下の方法が承認するように、複数の基準白色点が利用されると、画像の各構成部分の描画を、それ自体の順応基準点に基づいて行うことができ、したがって、例えば、望ましくないカラーシフトを低減することができる。さらに、輝度範囲のそれぞれを、画像の特定の領域に関してスケーリングすることができ、その結果、輝度および色の順応の組合せが得られる。
【００１７】
輝度および色順応に続いて、画像が描画される。描画は、画像依存のガンマ補正を彩度調節と並んで含むことができ、これはしばしば有益である。さらに、小さなシャープ化フィルタを使用すると、広範囲の輝度圧縮が発生した場合に生じ得るぼけの一部を除去することができる。
【００１８】
図１は、本発明の代表的な一実施形態を示す。デジタルカメラ５は、ＣＰＵ１５、ストレージ装置２０、およびディスプレイ２５を有するパーソナルコンピュータ１０に接続されている。ストレージ装置２０は、以下で説明する本発明の一実施形態によるコンピュータ実行可能な動作命令３０を格納するコンピュータ可読メモリ媒体（これは、ネットワーク化されたディスクドライブ媒体など、ローカルでも非ローカルでもよい）である。パーソナルコンピュータ１０は、プリンタ３５にも接続されている。
【００１９】
デジタルカメラ５は、複数のデジタル画像４０を格納する。これらは、ＨＤＲシーンのダイナミックレンジをブラケット（bracket）する、複数の露出（exposures）にて撮影された画像である。デジタル画像４０は、パーソナルコンピュータ１０へ転送され、動作命令３０に従った処理に応じてＨＤＲ画像４５へと合成される。ＣＰＵ１５は、ＨＤＲ画像４５を動作命令３０に従って描画する。結果となる描画後の画像５０は、ディスプレイ２５上に表示されたり、プリンタ３５で印刷されたりすることができる。
【００２０】
図２は、ホワイトバランス正規化を行い、上記のＨＤＲ画像４５などのＨＤＲ画像を描画するための、本発明の一実施形態に従った方法のプロセスフローチャートを示している。ステップＳ２０１からＳ２０４では、強調の効果が現れるようにＨＤＲ画像データを前処理する。こうしたステップは、厳密には必要ではないが、しばしばより満足のいく視覚的描画を生じさせるため、好ましいものである。
【００２１】
ステップＳ２０１で、ＲＧＢ放射輝度（radiance）フォーマットによるＨＤＲ原画像が入力されると、この原画像の対数が計算されて、対数画像（log image）が作成される。この対数画像は、対数画像のピクセルを０から１までのスケールにマッピングすることによって正規化され、正規化画像が作成される。
【００２２】
図３に、Ｓ２０２の正規化プロセスの一例を示している。図３を参照すると、原画像のピクセルの平均値が計算される（Ｓ３０１）。原画像の各ピクセル値が、この平均値と比較される（Ｓ３０２）。原画像のピクセル値が、ピクセル値の平均よりも大きい場合、対応する対数画像ピクセルは０．５と１の間にマッピングされる（Ｓ３０３）。一方、原画像のピクセル値が、ピクセル値の平均よりも小さいまたは等しい場合、対応する対数画像ピクセルは０と０．５の間にマッピングされる（Ｓ３０４）。このプロセスは、原画像の全てのピクセルがこの平均値と比較されるまで続く（Ｓ３０５）。こうして正規化画像が作成される。
【００２３】
図２に戻って、Ｓ２０３でＨＳＶ画像を作成するために正規化画像はＨＳＶフォーマットへと変換され、彩度強調（saturation boost）がこのＨＳＶ画像に対して行われ、ＨＳＶ画像からＶチャネルが抽出される。一般的な彩度強調が、Ｓチャネルに対して適用されて（Ｓ２０４）、新しいＨＳＶ画像が生成される。彩度強調は、所望の彩度レベルを選択するためのユーザインターフェースを介して達成することができる。上述した処理（Ｓ２０１からＳ２０４）は、原ＨＤＲ画像の前処理を詳しく述べたものであり、これにより、視覚的により満足のいく最終画像をもたらすことができる。
【００２４】
尚、Ｓ２０１からＳ２０４の前処理ステップが行われない場合は、ＲＧＢ放射輝度フォーマットである入力ＨＤＲ画像をＨＳＶ空間へ変換すれば十分である。
【００２５】
前処理の後で、Ｖチャネルの累積ヒストグラムを用いて閾値が決定される（Ｓ２０５）。図４は、Ｓ２０５のより詳細な図である。図４を参照すると、Ｖチャネルの累積ヒストグラムが計算される（Ｓ４０１）。累積ヒストグラム上の傾きが最小の点が決定される（Ｓ４０２）。この傾きが最小の点が閾値として決定される（Ｓ４０３）。
【００２６】
図５は、Ｓ２０５における閾値決定の別の方法を示す。図５を参照すると、閾値は、ＩＳＯＤＡＴＡ計算を行うことによって計算することができる。したがって、図４に示される閾値を計算するためのプロセスを図５のプロセスで置き換えることができる。図５に示すように、必要な数のクラスタが識別される（Ｓ５０１）。本例では光源毎に１つのクラスタが識別される。ＩＳＯＤＡＴＡ計算が行われる（Ｓ５０２）。このＩＳＯＤＡＴＡ計算は、画像中の全範囲のピクセルの平均および標準偏差に基づいて、画像中の各ピクセルの値を所与のクラスタへ分離することを、繰り返し行うものである。全てのピクセル値を２つのクラスタのうちの１つへと割り当てるための繰り返しが収束した後で、クラスタの境界値を示す閾値が特定される（Ｓ５０３）。尚、累積ヒストグラムを用いる方法およびＩＳＯＤＡＴＡ計算を用いる方法は、閾値を計算する方法の１例に過ぎない。閾値の計算に適する他の方法があることは、当業者に容易に理解されよう。
【００２７】
図２に戻って、Ｓ２０６で、ＨＳＶ画像の比較的明るい部分および比較的暗い部分が、この閾値を適用することによって決定される。図６は、Ｓ２０６のより詳細な図である。
【００２８】
図６を参照すると、ＨＳＶ画像のピクセルのＶ値が閾値と比較される（Ｓ６０１）。Ｖ値が閾値よりも大きい場合は、そのＨＳＶピクセルは、比較的明るいピクセルに分類される（Ｓ６０２）。一方、Ｖ値が閾値よりも小さいまたは等しい場合は、そのＨＳＶピクセルは、比較的暗いピクセルに分類される（Ｓ６０３）。このプロセスが、ＨＳＶ画像中のピクセルのすべてに対して繰り返される（Ｓ６０４）。したがって、ＨＳＶ画像の比較的明るい部分は、比較的明るいピクセルを含み、ＨＳＶ画像の比較的暗い部分は、比較的暗いピクセルを含む。
【００２９】
図２に戻ると、新しいＨＳＶ画像がＲＧＢフォーマットへと変換されて、ＲＧＢ画像が作成される。ここで、この新しいＨＳＶ画像の比較的明るい部分および比較的暗い部分（閾値領域（threshold areas））の記憶を維持したまま行われる。そして、新しいＨＳＶの閾値領域に対応するＲＧＢ画像の画像セグメントが抽出される（Ｓ２０８）。したがって、ＲＧＢ画像の比較的明るい部分（即ち「ハイキー」（highkey）部分）はＨＳＶ画像の比較的明るい部分に対応し、ＲＧＢ画像の比較的暗い部分（即ち「ローキー」（lowkey）部分）はＨＳＶ画像の比較的暗い部分に対応する。メモリを節約するとともに、（ステップＳ２１５で）画像をすぐ描画できるように、画像セグメントはメモリ内でその場で（insitu）識別され処理される。しかしながら、図解の目的で図２には、ＲＧＢ画像から「抽出」された分離後の画像セグメントを、ハイキーとローキーの部分にそれぞれ対応する画像Ａ（Ｓ２０９）と画像Ｂ（Ｓ２１０）として示している。画像セグメントは、後続するホワイトバランス処理のために分離することができるが、その場での処理により、計算の複雑さおよびメモリ要求が低減される。
【００３０】
画像Ａに対する画像順応点が特定される（Ｓ２１１）。同様に、画像Ｂに対する画像順応点も特定される（Ｓ２１２）。画像順応点を特定するための一つの方法では、最大輝度点を利用する。画像Ａを例に取ると、最大輝度点は、画像Ａ中には、ＲＧＢ成分ごとに反射が最大の点が１つまたは複数存在するという事実に基づいている。この１つまたは複数の点が、画像Ａに対する画像順応点として使用される。
【００３１】
画像順応点は、グレーワールドアサンプションを用いて決定することもできる。グレーワールドアサンプションは、色の変動の量が十分な画像があるとき、その画像の赤、緑、および青の成分の平均値は、平均されて共通のグレーの値になるはずである、ということを述べている。このアサンプションは、所与のどのような実世界のシーンでも、多くの異なる色の変動が存在するということは多くの場合において正しいため、一般には有効である。色の変動はランダムで独立であるため、十分な数のサンプルがあるとき、その平均はグレーを表す平均値へと収束する傾向があるはずであると言って差し支えない。再び画像Ａを例に取ると、グレーワールドアサンプションでは、画像Ａ中の色すべての平均はグレーに等しいとされており、したがって、平均画像のＲＧＢ成分は等しい。画像順応点は、画像Ａが、この計算されたグレーから逸脱する量によって決定される。
【００３２】
画像Ａおよび画像Ｂに対して画像順応点が特定された後で、画像Ａおよび画像Ｂ上の白色点調節が、それぞれの画像順応点を用いて行われる。白色点調節が、画像Ａ、すなわちＲＧＢ画像のハイキーの部分に対して行われる（Ｓ２１３）。また、白色点調節は、画像Ｂ、すなわちＲＧＢ画像のローキーの部分に対しても行われる（Ｓ２１４）。白色点調節を行う一つの方法によれば、その画像セグメントに対するグレーワールドアサンプションが計算され、その画像セグメントに対する完全拡散反射面アサンプションが計算される。グレーワールドアサンプションおよび完全拡散反射面アサンプションは、その画像セグメントに対する画像順応点に基づいている。白色点調節は、グレーワールドアサンプションと完全拡散反射面アサンプションの比に基づいている。また、白色点調節は、グレーワールドアサンプションだけ、または完全拡散反射面アサンプションだけを用いて行うこともできる。
【００３３】
最後に、処理後の画像が、例えば、ディスプレイまたはプリンタ上で描画される（Ｓ２１５）。図７は、Ｓ２１５のより詳細な図である。図７を参照すると、画像依存のガンマ補正が処理後の画像に対して行われる（Ｓ７０１）。処理後の画像の彩度の調節が行われる（Ｓ７０２）。小さなシャープ化フィルタが処理後の画像に適用される（Ｓ７０３）。最後に、処理後の画像が描画される（Ｓ７０４）。
【００３４】
この発明の説明を、特定の具体的な実施形態の助けを借りて行ってきたが、多くのさらに別の変更形態および変形形態が、当業者には明らかであろう。したがって、この発明は、具体的に説明した以外のように実施できることを了解されたい。したがって、本発明の上述の実施形態は、すべての点で、例示的であり、限定的ではなく、本発明の範囲は特許請求の範囲およびその均等物によって決定されると見なされるべきである。
【図面の簡単な説明】
【００３５】
【図１】本発明の一実施形態を実現することのできる例示的な環境のブロック図である。
【図２】本発明の一実施形態による、ＨＤＲ画像を描画するための方法を示すプロセスフローチャートである。
【図３】本発明の一実施形態による、対数画像を正規化するための方法を示すプロセスフローチャートである。
【図４】本発明の一実施形態による、閾値を特定するための方法を示すプロセスフローチャートである。
【図５】本発明の一実施形態による、閾値を特定するための他の方法を示すプロセスフローチャートである。
【図６】本発明の一実施形態による、閾値領域を特定するための方法を示すプロセスフローチャートである。
【図７】本発明の一実施形態による、処理後の画像を描画するための方法を示すプロセスフローチャートである。
【特許請求の範囲】
【請求項１】
ハイダイナミックレンジ画像のホワイトバランス正規化を行うための方法であって、
前記画像の比較的明るい部分に対する第１の画像順応点および前記画像の比較的暗い部分に対する第２の画像順応点を特定し、
前記画像の前記より明るい部分に対する第１の白色点調節を前記第１の画像順応点を用いて、前記画像の前記より暗い部分に対する第２の白色点調節を前記第２の画像順応点を用いて行うことを特徴とする方法。
【請求項２】
更に、前記比較的明るい部分および前記比較的暗い部分を閾値を用いて決定することを特徴とする請求項１に記載の方法。
【請求項３】
前記閾値は輝度を尺度とし、前記比較的明るい部分は、前記画像の、輝度の値が前記閾値よりも大きい領域を含み、前記比較的暗い部分は、前記画像の、輝度の値が前記閾値よりも小さいまたは等しい領域を含むことを特徴とする請求項２に記載の方法。
【請求項４】
前記閾値の決定は、
前記画像の輝度の累積ヒストグラムを計算し、
前記ヒストグラムの傾きが最小の点での輝度の値を前記閾値とすることによってなされることを特徴とする請求項３に記載の方法。
【請求項５】
前記閾値の決定は、
前記画像のＩＳＯＤＡＴＡ閾値を決定し、
前記ＩＳＯＤＡＴＡ閾値を前記閾値とすることによってなされることを特徴とする請求項３に記載の方法。
【請求項６】
前記第１の白色点調節は、前記第１の画像順応点を用い、前記比較的明るい部分に対する第１のグレーワールドアサンプションに基づき、前記第２の白色点調節は、前記第２の画像順応点を用い、前記比較的暗い部分に対する第２のグレーワールドアサンプションに基づくことを特徴とする請求項１に記載の方法。
【請求項７】
前記第１の白色点調節は、前記第１の画像順応点を用い、前記比較的明るい部分に対する第１の完全拡散反射面アサンプションに基づき、前記第２の白色点調節は、前記第２の画像順応点を用い、前記比較的暗い部分に対する第２の完全拡散反射面アサンプションに基づくことを特徴とする請求項１に記載の方法。
【請求項８】
前記第１の白色点調節は、第１のグレーワールドアサンプションの第１の完全拡散反射面アサンプションに対する第１の比に基づき、
前記第２の白色点調節は、第２のグレーワールドアサンプションの第２の完全拡散反射面アサンプションに対する第２の比に基づき、
前記第１のグレーワールドアサンプションおよび前記第１の完全拡散反射面アサンプションは、前記比較的明るい部分に対して決定され、前記第１の画像順応点に基づいており、前記第２のグレーワールドアサンプションおよび前記第２の完全拡散反射面アサンプションは、前記比較的暗い部分に対して決定され、前記第２の画像順応点に基づいていることを特徴とする請求項１に記載の方法。
【請求項９】
更に、
前記画像の対数を計算し、
前記画像の前記対数を、画像の最小値が０に等しく、画像の最大値が１に等しく、画像の平均値が０．５に等しくなるように正規化することを特徴とする請求項１に記載の方法。
【請求項１０】
更に、
前記正規化された前記画像の対数をＨＳＶフォーマットのＨＳＶ画像へと変換し、
少なくとも１つの彩度強調およびシャープネス強調を前記ＨＳＶ画像に対して行って新しいＨＳＶ画像を取得し、
前記新しいＨＳＶ画像をＲＧＢフォーマットのＲＧＢ画像へと変換することを特徴とする請求項９に記載の方法。
【請求項１１】
更に、
前記新しいＨＳＶ画像の輝度の累積ヒストグラムを計算し、
前記ヒストグラムの傾きが最小の点での輝度の値を閾値に設定することを特徴とする請求項１０に記載の方法。
【請求項１２】
前記比較的明るい部分は、前記ＲＧＢ画像の輝度の値が前記閾値よりも大きい部分を含み、前記比較的暗い部分は、前記ＲＧＢ画像の輝度の値が前記閾値よりも小さいまたは等しい部分を含むことを特徴とする請求項１１に記載の方法。
【請求項１３】
ユーザが彩度強調のレベルを選択することを特徴とする請求項１２に記載の方法。
【請求項１４】
前記第１および第２の順応点は特定プロセスを用いて特定され、前記特定プロセスはグレーワールドアサンプションおよび最大輝度点からなるグループから選択されることを特徴とする請求項１に記載の方法。
【請求項１５】
更に、前記第１の白色点調節および前記第２の白色点調節に続いて、前記画像を描画することを特徴とする請求項１に記載の方法。
【請求項１６】
前記描画が、画像依存のガンマ補正、彩度調節、およびシャープ化フィルタを適用することをさらに含むことを特徴とする請求項１５に記載の方法。
【請求項１７】
ハイダイナミックレンジ画像のホワイトバランス正規化を行うための装置であって、
前記画像の比較的明るい部分に対する第１の画像順応点および前記画像の比較的暗い部分に対する第２の画像順応点を特定する特定手段と、
前記画像の前記より明るい部分に対する第１の白色点調節を前記第１の画像順応点を用いて行い、前記画像の前記より暗い部分に対する第２の白色点調節を前記第２の画像順応点を用いて行う白色点調節手段とを備えることを特徴とする装置。
【請求項１８】
コンピュータ可読媒体上に格納されたコンピュータ実行可能命令であって、前記コンピュータ実行可能命令はハイダイナミックレンジ画像のホワイトバランス正規化を行うように実行可能であり、前記コンピュータ実行可能プロセスステップは請求項１から１６のいずれかに記載の方法を行うように実行可能なプロセスステップを備えることを特徴とするコンピュータ実行可能命令。
【請求項１９】
コンピュータ実行可能プロセスステップを含むコンピュータ可読媒体であって、前記コンピュータ実行可能プロセスステップはハイダイナミックレンジ画像のホワイトバランス正規化を行うように実行可能であり、前記コンピュータ実行可能命令は請求項１から１６のいずれかに記載の方法を行うように実行可能であることを特徴とするコンピュータ可読媒体。
【請求項２０】
ハイダイナミックレンジ画像のホワイトバランス正規化を行うための装置であって、
請求項１から１６のいずれかに記載の方法を行うように実行可能なプロセスステップを格納するプログラムメモリと、
前記プログラムメモリ内に格納されたプロセスステップを実行するプログラムメモリに結合されたプロセッサとを備えることを特徴とする装置。
【特許請求の範囲】
【請求項１】
ハイダイナミックレンジ画像の白色点調整を行うための方法であって、
画素の明るさ情報に基づき、画像を複数の領域に分割する分割工程と、
前記分割された画像の領域の各々における画素値に基づき、該分割された画像の領域の各々における画像順応点を設定する画像順応点設定工程と、
前記分割された画像の領域の各々に対して、前記画像順応点設定工程において設定された対応する画像順応点を用いて白色点調節を行う白色点調節工程とを有することを特徴とする画像処理方法。
【請求項２】
前記ハイダイナミックレンジ画像の画素値を０から１の範囲のデータに変換する変換工程を更に有し、
前記分割工程は、前記変換工程で変換された画像データに対して、前記分割を行うことを特徴とする請求項１記載の画像処理方法。
【請求項３】
前記分割工程は、前記画像の明るさ情報のヒストグラムを作成し、該ヒストグラムに基づき閾値を決定し、該閾値を用いて前記画像を複数の領域に分割することを特徴とする請求項１または２記載の画像処理方法。
【請求項４】
ハイダイナミックレンジ画像の白色点調整処理をコンピュータに実行させるための制御プログラムであって、前記白色点調整処理が、
画素の明るさ情報に基づき、画像を複数の領域に分割する分割工程と、
前記分割された画像の領域の各々における画素値に基づき、該分割された画像の領域の各々における画像順応点を設定する画像順応点設定工程と、
前記分割された画像の領域の各々に対して、前記画像順応点設定工程において設定された対応する画像順応点を用いて白色点調節を行う白色点調節工程とを有することを特徴とする制御プログラム。
【請求項５】
前記白色点調整処理において、
前記ハイダイナミックレンジ画像の画素値を０から１の範囲のデータに変換する変換工程を更に有し、
前記分割工程は、前記変換工程で変換された画像データに対して、前記分割を行うことを特徴とする請求項４に記載の制御プログラム。
【請求項６】
前記白色点調整処理において、
前記分割工程は、前記画像の明るさ情報のヒストグラムを作成し、該ヒストグラムに基づき閾値を決定し、該閾値を用いて前記画像を複数の領域に分割することを特徴とする請求項４または５記載の制御プログラム。
【請求項７】
ハイダイナミックレンジ画像の白色点調整を行う装置であって、
画素の明るさ情報に基づき、画像を複数の領域に分割する分割手段と、
前記分割された画像の領域の各々における画素値に基づき、該分割された画像の領域の各々における画像順応点を設定する画像順応点設定手段と、
前記分割された画像の領域の各々に対して、前記画像順応点設定手段によって設定された対応する画像順応点を用いて白色点調節を行う白色点調節手段とを有することを特徴とする画像処理装置。
【請求項１】
ハイダイナミックレンジ画像のホワイトバランス正規化を行うための方法であって、
前記画像の比較的明るい部分に対する第１の画像順応点および前記画像の比較的暗い部分に対する第２の画像順応点を特定し、
前記画像の前記より明るい部分に対する第１の白色点調節を前記第１の画像順応点を用いて、前記画像の前記より暗い部分に対する第２の白色点調節を前記第２の画像順応点を用いて行うことを特徴とする方法。
【請求項２】
更に、前記比較的明るい部分および前記比較的暗い部分を閾値を用いて決定することを特徴とする請求項１に記載の方法。
【請求項３】
前記閾値は輝度を尺度とし、前記比較的明るい部分は、前記画像の、輝度の値が前記閾値よりも大きい領域を含み、前記比較的暗い部分は、前記画像の、輝度の値が前記閾値よりも小さいまたは等しい領域を含むことを特徴とする請求項２に記載の方法。
【請求項４】
前記閾値の決定は、
前記画像の輝度の累積ヒストグラムを計算し、
前記ヒストグラムの傾きが最小の点での輝度の値を前記閾値とすることによってなされることを特徴とする請求項３に記載の方法。
【請求項５】
前記閾値の決定は、
前記画像のＩＳＯＤＡＴＡ閾値を決定し、
前記ＩＳＯＤＡＴＡ閾値を前記閾値とすることによってなされることを特徴とする請求項３に記載の方法。
【請求項６】
前記第１の白色点調節は、前記第１の画像順応点を用い、前記比較的明るい部分に対する第１のグレーワールドアサンプションに基づき、前記第２の白色点調節は、前記第２の画像順応点を用い、前記比較的暗い部分に対する第２のグレーワールドアサンプションに基づくことを特徴とする請求項１に記載の方法。
【請求項７】
前記第１の白色点調節は、前記第１の画像順応点を用い、前記比較的明るい部分に対する第１の完全拡散反射面アサンプションに基づき、前記第２の白色点調節は、前記第２の画像順応点を用い、前記比較的暗い部分に対する第２の完全拡散反射面アサンプションに基づくことを特徴とする請求項１に記載の方法。
【請求項８】
前記第１の白色点調節は、第１のグレーワールドアサンプションの第１の完全拡散反射面アサンプションに対する第１の比に基づき、
前記第２の白色点調節は、第２のグレーワールドアサンプションの第２の完全拡散反射面アサンプションに対する第２の比に基づき、
前記第１のグレーワールドアサンプションおよび前記第１の完全拡散反射面アサンプションは、前記比較的明るい部分に対して決定され、前記第１の画像順応点に基づいており、前記第２のグレーワールドアサンプションおよび前記第２の完全拡散反射面アサンプションは、前記比較的暗い部分に対して決定され、前記第２の画像順応点に基づいていることを特徴とする請求項１に記載の方法。
【請求項９】
更に、
前記画像の対数を計算し、
前記画像の前記対数を、画像の最小値が０に等しく、画像の最大値が１に等しく、画像の平均値が０．５に等しくなるように正規化することを特徴とする請求項１に記載の方法。
【請求項１０】
更に、
前記正規化された前記画像の対数をＨＳＶフォーマットのＨＳＶ画像へと変換し、
少なくとも１つの彩度強調およびシャープネス強調を前記ＨＳＶ画像に対して行って新しいＨＳＶ画像を取得し、
前記新しいＨＳＶ画像をＲＧＢフォーマットのＲＧＢ画像へと変換することを特徴とする請求項９に記載の方法。
【請求項１１】
更に、
前記新しいＨＳＶ画像の輝度の累積ヒストグラムを計算し、
前記ヒストグラムの傾きが最小の点での輝度の値を閾値に設定することを特徴とする請求項１０に記載の方法。
【請求項１２】
前記比較的明るい部分は、前記ＲＧＢ画像の輝度の値が前記閾値よりも大きい部分を含み、前記比較的暗い部分は、前記ＲＧＢ画像の輝度の値が前記閾値よりも小さいまたは等しい部分を含むことを特徴とする請求項１１に記載の方法。
【請求項１３】
ユーザが彩度強調のレベルを選択することを特徴とする請求項１２に記載の方法。
【請求項１４】
前記第１および第２の順応点は特定プロセスを用いて特定され、前記特定プロセスはグレーワールドアサンプションおよび最大輝度点からなるグループから選択されることを特徴とする請求項１に記載の方法。
【請求項１５】
更に、前記第１の白色点調節および前記第２の白色点調節に続いて、前記画像を描画することを特徴とする請求項１に記載の方法。
【請求項１６】
前記描画が、画像依存のガンマ補正、彩度調節、およびシャープ化フィルタを適用することをさらに含むことを特徴とする請求項１５に記載の方法。
【請求項１７】
ハイダイナミックレンジ画像のホワイトバランス正規化を行うための装置であって、
前記画像の比較的明るい部分に対する第１の画像順応点および前記画像の比較的暗い部分に対する第２の画像順応点を特定する特定手段と、
前記画像の前記より明るい部分に対する第１の白色点調節を前記第１の画像順応点を用いて行い、前記画像の前記より暗い部分に対する第２の白色点調節を前記第２の画像順応点を用いて行う白色点調節手段とを備えることを特徴とする装置。
【請求項１８】
コンピュータ可読媒体上に格納されたコンピュータ実行可能命令であって、前記コンピュータ実行可能命令はハイダイナミックレンジ画像のホワイトバランス正規化を行うように実行可能であり、前記コンピュータ実行可能プロセスステップは請求項１から１６のいずれかに記載の方法を行うように実行可能なプロセスステップを備えることを特徴とするコンピュータ実行可能命令。
【請求項１９】
コンピュータ実行可能プロセスステップを含むコンピュータ可読媒体であって、前記コンピュータ実行可能プロセスステップはハイダイナミックレンジ画像のホワイトバランス正規化を行うように実行可能であり、前記コンピュータ実行可能命令は請求項１から１６のいずれかに記載の方法を行うように実行可能であることを特徴とするコンピュータ可読媒体。
【請求項２０】
ハイダイナミックレンジ画像のホワイトバランス正規化を行うための装置であって、
請求項１から１６のいずれかに記載の方法を行うように実行可能なプロセスステップを格納するプログラムメモリと、
前記プログラムメモリ内に格納されたプロセスステップを実行するプログラムメモリに結合されたプロセッサとを備えることを特徴とする装置。
【特許請求の範囲】
【請求項１】
ハイダイナミックレンジ画像の白色点調整を行うための方法であって、
画素の明るさ情報に基づき、画像を複数の領域に分割する分割工程と、
前記分割された画像の領域の各々における画素値に基づき、該分割された画像の領域の各々における画像順応点を設定する画像順応点設定工程と、
前記分割された画像の領域の各々に対して、前記画像順応点設定工程において設定された対応する画像順応点を用いて白色点調節を行う白色点調節工程とを有することを特徴とする画像処理方法。
【請求項２】
前記ハイダイナミックレンジ画像の画素値を０から１の範囲のデータに変換する変換工程を更に有し、
前記分割工程は、前記変換工程で変換された画像データに対して、前記分割を行うことを特徴とする請求項１記載の画像処理方法。
【請求項３】
前記分割工程は、前記画像の明るさ情報のヒストグラムを作成し、該ヒストグラムに基づき閾値を決定し、該閾値を用いて前記画像を複数の領域に分割することを特徴とする請求項１または２記載の画像処理方法。
【請求項４】
ハイダイナミックレンジ画像の白色点調整処理をコンピュータに実行させるための制御プログラムであって、前記白色点調整処理が、
画素の明るさ情報に基づき、画像を複数の領域に分割する分割工程と、
前記分割された画像の領域の各々における画素値に基づき、該分割された画像の領域の各々における画像順応点を設定する画像順応点設定工程と、
前記分割された画像の領域の各々に対して、前記画像順応点設定工程において設定された対応する画像順応点を用いて白色点調節を行う白色点調節工程とを有することを特徴とする制御プログラム。
【請求項５】
前記白色点調整処理において、
前記ハイダイナミックレンジ画像の画素値を０から１の範囲のデータに変換する変換工程を更に有し、
前記分割工程は、前記変換工程で変換された画像データに対して、前記分割を行うことを特徴とする請求項４に記載の制御プログラム。
【請求項６】
前記白色点調整処理において、
前記分割工程は、前記画像の明るさ情報のヒストグラムを作成し、該ヒストグラムに基づき閾値を決定し、該閾値を用いて前記画像を複数の領域に分割することを特徴とする請求項４または５記載の制御プログラム。
【請求項７】
ハイダイナミックレンジ画像の白色点調整を行う装置であって、
画素の明るさ情報に基づき、画像を複数の領域に分割する分割手段と、
前記分割された画像の領域の各々における画素値に基づき、該分割された画像の領域の各々における画像順応点を設定する画像順応点設定手段と、
前記分割された画像の領域の各々に対して、前記画像順応点設定手段によって設定された対応する画像順応点を用いて白色点調節を行う白色点調節手段とを有することを特徴とする画像処理装置。
【図１】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【公開番号】特開２００６−３４５５０９（Ｐ２００６−３４５５０９Ａ）
【公開日】平成１８年１２月２１日（２００６．１２．２１）
【国際特許分類】
【外国語出願】
【出願番号】特願２００６−１４３３３０（Ｐ２００６−１４３３３０）
【出願日】平成１８年５月２３日（２００６．５．２３）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成１８年１２月２１日（２００６．１２．２１）
【国際特許分類】
【出願番号】特願２００６−１４３３３０（Ｐ２００６−１４３３３０）
【出願日】平成１８年５月２３日（２００６．５．２３）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]