説明

ホワイトバランス補正方法及び装置並びに該方法を実行するためのプログラムを記録した記録媒体

【課題】ミックス光源で撮影したカラー画像から、均一光源でないことによる色味付きを除去し、画面全体にわたってホワイトバランスの整った画像を得る。
【解決手段】入力されたカラー画像を、複数の小画面に分割し、該分割された各小画面毎に、前記カラー画像を撮影した際の撮影光源の色温度を推定し、各小画面毎の推定色温度のヒストグラムを作成し、前記各小画面をグループ分けし、該グループ毎に、再度撮影光源の色温度を推定し、該グループ毎の色温度推定結果により、各グループ毎にホワイトバランス補正量を算出し、該グループ内の各小画面に対し、前記各グループ毎に算出されたホワイトバランス補正量によりそれぞれホワイトバランス補正を施す。

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、ホワイトバランス補正方法及び装置並びに該方法を実行するためのプログラムを記録した記録媒体に係り、特に、複数の異種光源により撮影を行った、いわゆるミックス光源画像のホワイトバランス補正技術に関する。
【0002】
【従来の技術】従来、カラーネガフィルムは、多数の一般ユーザによって広く利用されているが、そのネガフィルムへの原稿画像の撮影状態は必ずしも一様ではなく、例えば、昼光や蛍光灯等の様々な光源下で使用されている。従って、現像済ネガフィルムからプリントを作成する場合、プリント光源の光質を一定にして、焼き付けを行うと、撮影光源の色味が直接プリントに反映されてしまい、不適切なプリントになってしまうことがあった。また、近年普及しているデジタルカメラにおいても、様々な光源下で撮影するため、自動的にホワイトバランス補正を行う機能(AWB機能)を搭載したものも開発されていが、AWB機能が正しく作動せず、プリント作成時にさらにホワイトバランス補正をする必要がある場合もあった。
【0003】そのため、従来、プリント上でホワイトバランス(あるいはグレーバランス)を調整するために様々な工夫がなされている。特に、均一光源の場合には、撮影光源が未知であっても、撮影画像から光源の色温度を推定し、ホワイトバランス補正を行う方法が知られている。例えば、米国特許US5,636,143号には、色温度が既知の物体の分光エネルギー分布、測光系の分光感度分布、及び予め定めた3つの関数の1次結合で表した分光反射率分布の積の積和または積分値で定められた基準値を求め、色温度推定対象光源からの反射光の少なくとも一部を信号として測定し、前記基準値と測定値との差が最小となる分光反射率分布を色温度毎に求め、前記求めた分光反射率の最大値が1.0を越えた異常成分の和を評価値として求め、前記評価値の最小値に対応する色温度を前記色温度推定対象抗原の色温度と推定し、この推定した色温度及び測光データに基づいて、写真フィルムの焼き付け対象画像のグレイが推定した色温度によるグレイとなるように、複写感材としてのプリント感材に焼き付けるための露光量を決定することにより、撮影時の撮影光源の色味が反映された最適な露光量で焼き付け対象画像を焼き付けることができる旨開示されている。また、このような色温度推定装置は、ビデオ装置等のホワイトバランス調整装置に用いて有効である旨記載されている。
【0004】
【発明が解決しようとする課題】しかしながら、ミックス光源で撮影した場合、例えば、蛍光灯の灯る室内で、北窓にまどろむ女性を撮影したような場合には、北窓付近は白く、室内は緑味になってしまい適切な色再現を行うことが出来ないという問題があった。これに対して、カラーフィルムでは、撮影感材の分光感度に工夫を凝らし、第4の感光層を導入して、これを是正した例が報告されているが、一般のカラーフィルムやDSC(デジタルスチルカメラ)で撮影した場合には、ミックス光源による、画面の一部色味付き等の影響を避けることはできない。
【0005】また、上述したように、均一光源の場合には、撮影光源が未知であっても、撮影画像から光源色温度を推定しホワイトバランス補正を行う方法がいくつか提案されている。しかし、均一光源でなく、ミックス光源の場合には、ミックス光源で撮影したカラー画像から、色味付き等のミックス光源による影響を除去し、満足できるカラー画像を復元する技術は、従来は知られていなかった。
【0006】本発明は、前記従来の問題に鑑みてなされたものであり、ミックス光源で撮影したカラー画像から、均一光源でないことによる色味付きを除去し、画面全体にわたってホワイトバランスの整った画像を得ることのできるホワイトバランス補正方法及び装置並びに該方法を実行するためのプログラムを記録した記録媒体を提供することを課題とする。
【0007】
【課題を解決するための手段】前記課題を解決するために、本発明の第1の態様は、入力されたカラー画像を、複数の小画面に分割し、該分割された各小画面毎に、前記カラー画像を撮影した際の撮影光源の色温度を推定し、各小画面毎の推定色温度のヒストグラムを作成し、前記各小画面をグループ分けし、該グループ毎に、再度撮影光源の色温度を推定し、該グループ毎の色温度推定結果により、各グループ毎にホワイトバランス補正量を算出し、該グループ内の各小画面に対し、前記各グループ毎に算出されたホワイトバランス補正量によりそれぞれホワイトバランス補正を施すことを特徴とするホワイトバランス補正方法を提供する。
【0008】また、前記各小画面毎の推定色温度のヒストグラムを作成し、各小画面をグループ分けする際、ヒストグラムの頻度の高い方から2つのピークを選び、これら2つの中間色温度を定め、該中間色温度を境にして、推定色温度がこれより上及び下の2つのグループに分けるようにしたことが好ましい。
【0009】また、前記複数の小画面への分割数を4以上16以下としたことが好ましい。
【0010】また、同様に前記課題を解決するために、本発明の第2の態様は、入力されたカラー画像に対して、デジタル画像処理を施しプリントを作成する際の、ホワイトバランスを補正するホワイトバランス補正装置であって、入力されたカラー画像を、複数の小画面に分割する手段と、該分割された各小画面毎に、前記カラー画像を撮影した際の撮影光源の色温度を推定する手段と、各小画面毎の推定色温度のヒストグラムを作成する手段と、該ヒストグラム作成結果により前記各小画面をグループ分けする手段と、該グループ毎に、再度撮影光源の色温度を推定する手段と、該グループ毎の色温度推定結果により、各グループ毎にホワイトバランス補正量を算出する手段と、該グループ内の各小画面に対し、前記各グループ毎に算出されたホワイトバランス補正量によりそれぞれホワイトバランス補正を施す手段と、を備えたことを特徴とするホワイトバランス補正装置を提供する。
【0011】また、前記ヒストグラム作成結果により前記各小画面をグループ分けする手段は、ヒストグラムの頻度の高い方から2つのピークを選び、これら2つの中間色温度を定め、該中間色温度を境にして、推定色温度がこれより上及び下の2つのグループに分けるようにしたことが好ましい。
【0012】また、前記複数の小画面に分割する手段による小画面への分割数は、4以上16以下であることが好ましい。
【0013】また、同様に前記課題を解決するために、本発明の第3の態様は、請求項1〜3のいずれかに記載のホワイトバランス補正方法を、コンピュータに実行させるためのプログラムとして、コンピュータにより読み取り可能に記録したことを特徴とする、前記ホワイトバランス補正方法を実行するためのプログラムを記録した記録媒体を提供する。
【0014】
【発明の実施の形態】以下、本発明に係るホワイトバランス補正方法及び装置並びに該方法を実行するためのプログラムを記録した記録媒体について、添付の図面に示される好適実施形態を基に、詳細に説明する。
【0015】図1は、本発明に係るホワイトバランス補正装置の一実施形態の概略を示すブロック図である。図1に示すホワイトバランス補正装置は、例えばミックス光源下で撮影された入力画像信号に対して、デジタル画像処理を施し、プリントを作成する際の、ホワイトバランス補正を行うためのものであり、例えば、デジタルフォトプリンタ等の画像処理装置内に設置される。
【0016】図1に示すように、ホワイトバランス補正装置10は、例えば複数の異種光源(ミックス光源)12によって照射された被写体14をデジタルカメラ等の画像撮像装置16で撮影して得られた画像を入力し、これに対してホワイトバランス補正を施すものである。ホワイトバランス補正装置10は、入力された画像(1画面)を複数個の小画面に分割する小画面分割手段18、入力画像データから撮影光源の色温度を推定する色温度推定手段20、推定された色温度のヒストグラムを作成するヒストグラム作成手段22、ヒストグラム作成結果に基づいて前記複数個に分割された小画面をグループ分けするグループ分け手段24、グループ毎に再度色温度を推定した結果により各グループ毎のホワイトバランス補正量を算出するホワイトバランス補正量算出手段26、及び算出されたホワイトバランス補正量により各グループ毎の小画面に対してホワイトバランス補正を施すホワイトバランス補正手段28を含んで構成される。
【0017】本発明は、ミックス光源で撮影したカラー画像から、ミックス光源による色味付き等の影響を除去し、画面全体にわたってホワイトバランスの整った画像を得るようにするものである。従って、本実施形態のホワイトバランス補正装置10に入力される画像は、ミックス光源下で撮影された画像である。ミックス光源12としては、特に限定されるものではなく、屋内の窓辺で撮影する場合のように蛍光灯と太陽光の他、屋内において蛍光灯とタングステン光を併用するような場合、あるいは地下街等においてストロボ光を利用する場合等特殊な状況での撮影等が考えられる。また、画像を撮影する画像撮像装置16もデジタルカメラに限定されるものではなく、ミックス光源下で普通のフィルムカメラで撮影し、現像したネガフィルムをスキャナで読み取って画像を入力するようにしてもよい。
【0018】小画面分割手段18は、入力画像を複数の小画面に分割するものであり、分割の方法は特に限定されないが、処理の便宜を考慮すると、画像(1画面)をそれぞれ縦m、横nに分割し、全体をmn=k個の小矩形領域(小画面)に分割するのが良い。色温度推定手段20は、各小画面について、各小画面毎に撮影光源の色温度Ti(i=1、・・・、k)を推定する。色温度推定方法については、後述する。ヒストグラム作成手段22は、推定された各小画面毎の色温度Tiの出現頻度のヒストグラムを作成する。
【0019】グループ分け手段24は、作成されたヒストグラムを用いてk個の各小画面をグループ分けする。ヒストグラムを用いたグループ分けの方法やグループの個数等も特に限定されるものではなく、様々な方法が利用可能である。例えば、均一光源の場合は、ヒストグラムのピークは単一のピークとなるが、ミックス光源の場合には、2〜3のピークを有するヒストグラムが得られる。これより、撮影光源がミックス光源か否かわからない場合でも、ヒストグラムのピークの高い方から2つのピークを選び、その2つのピーク間の色温度差が一定値以上離れている場合には、ミックス光源であると判断することができる。そこで、ヒストグラムのピークの高い方から2つとり、そのピーク間の中間色温度Tcを定め、各小画面の推定色温度Tiがこの中間色温度Tcより大きいか小さいかで、各小画面を2つのグループにグループ分けすることができる。
【0020】グループ分け手段24は、各小画面をグループ分けすると、色温度推定手段20に、グループ毎のデータを送り、今度は各グループ毎に撮影光源の色温度を推定する。ホワイトバランス補正量算出手段26は、各グループのデータ及び色温度推定手段20からのデータを基に各グループ毎のホワイトバランス補正量を算出する。ホワイトバランス補正手段28は、各グループ毎に算出されたホワイトバランス補正量を用いて、各グループ内の小画面すべてに対してそのグループについてのホワイトバランス補正量を乗算してホワイトバランス補正を施す。
【0021】以下、図2のフローチャートに沿って、本実施形態の作用を説明する。まず、ステップ100において、ミックス光源12の下で、所定の被写体14を、例えばデジタルカメラ等の画像撮像装置16で、撮影する。ステップ110において、撮影された画像を所定の画像入力手段(図示省略)によりホワイトバランス補正装置10に入力する。ホワイトバランス補正装置10に入力された入力画像データは、小画面分割手段18に送られる。
【0022】ステップ120において、小画面分割手段18において、入力画像(1画面)を縦m、横nに分割し、全体で、mn=k個の小画面に分割する。このとき、分割の個数は、特に制限はないが、あまり少なくては本発明の効果はなく、またあまり多くても処理が大変であるため、分割数kとしては、4〜16個ぐらいが好ましい。次にステップ130において、各小画面毎のデータを色温度推定手段20に送り各小画面毎の撮影光源の色温度Tiを推定する。次にこの色温度推定方法について詳述する。色温度推定方法は、特に限定されるものではない。以下説明する色温度推定方法は、本出願人が特許出願2000−257469において提案しているものである。
【0023】カラーネガフィルムの場合でも、デジタルカメラの場合でも同じであり、以下デジタルカメラにより、一般的な条件でシーンを撮影した場合を例にとり説明する。例えば、デジタルカメラにより、色温度4000Kの自然昼光でグレー部分(グレー及びその近似色)を含むシーンを撮影したとする。このとき、撮影したグレー部分の画像信号(R,G,B)を次の式(1)により、色度座標(r,b)に変換して、色度図にプロットする。
r=R/(R+G+B)
b=B/(R+G+B) ・・・・・・(1)
【0024】図3に色度図を示す。図3において、曲線Gは、グレーの黒体軌跡である。黒体軌跡とは、良く知られているように、色温度をT、色温度Tの黒体放射エネルギ分布をP(λ)、被写体の分光反射率分布をρ(λ)、CCDセンサの分光感度分布をSi (λ)(ただし、i=B、G、R)としたとき、次の式(2)で計算されるEi を上の式(1)により色度座標(r,b)に変換して色度図にプロットしたとき、色温度Tを動かしたときの軌跡である。
Ei = ∫ P(λ)ρ(λ)Si (λ)dλ ・・・・・・(2)
黒体軌跡は、CCDセンサの分光分布および被写体の色ごとに存在し、グレーの黒体軌跡は、被写体をグレーとしたときの被写体の分光反射率ρ(λ)を1として得られる。
【0025】上に述べたグレー部分の画像信号を図3の色度図にプロットすると、グレーの黒体軌跡Gの4000Kの近傍G0 に散布すると考えられる。しかし、最近のDSCは、ほとんどAWB(オートホワイトバランス)機能を有しているため、この機能が上手く作動した場合には、グレー部分は標準白色(例えば、5500K)の近傍G1 に散布するが、逆にこの機能が上手く作動しなかった場合には、撮影温度4000Kから離れた位置不明な場所(例えば、図3中符号Aで示す場所)に散布してしまう。
【0026】ここで変換(ベクトル)αは、DSC側のAWB機能の不完全性により引き起こされた黒体軌跡Gからのずれ量を補正するものである。この変換αにより、図3のAの部分が黒体軌跡G上の部分G0 に変換される。この変換αが求められれば、これから、撮影光源の色温度Tを推定することができる。以下、与えられた画像データから色温度を推定する方法及びホワイトバランス補正量を算出する方法について説明する。
【0027】デジタルカメラの画像信号R、G、BのうちR、Gに対し、それぞれ所定の係数α1 、α2 を次の式(3)のように乗算し、R、GをR’、G’に変換する。


ここで、この変換は3信号を変化させる必要はなく、2信号で充分である。本来グレーであるべき点が移動したAは、未知であるため、どれがグレーかはわからない。そこで次に、一次変換を施した信号をグレーの黒体軌跡と比較して、黒体軌跡の近傍として検出される画素をグレーの可能性が高いとして、グレー候補画素とする。近傍であるかの判断は、色度座標(r,b)上で所定距離例えば0.01の範囲内であるかどうかで行えばよい。
【0028】次に、上で検出したグレー候補画素の個数を数えて、グレー候補画素の個数が最大となるように、所定の係数α1 、α2 を変えながら上と同じ操作を行い、係数α1 、α2 を最適化する。最適化の方法は、特に限定されるものではなく、例えば、数値計算における標準的手法であるシンプレックス法が好適に例示される。このようにして、最適化で求められた一次変換、式(3)の係数α1 、α2 がDSCのAWB機能の逆操作に対応し、ベクトルαの成分となる。すなわち、α=(α1 ,α2 )である。
【0029】このようにして、最適化された係数α1、α2を用いて画像信号を変換し、グレーの黒体軌跡上のグレー候補画素群の平均色温度Tg を算出し、これから撮影光源の色温度Tを算出する。このとき、同様にして、肌色の黒体軌跡上の肌色候補画素群の平均色温度Tf をも算出して、これも用いるようにしてもよい。推定色温度Tから基準白色(5500K)への変換は図3のベクトルβで示される。これは予めTの関数として計算しておくことができる。図3のAから基準白色へのホワイトバランス補正量はベクトルαとβの積となる。
【0030】次に、ステップ140において、ヒストグラム作成手段22において、各小画面毎に算出された色温度Tiのヒストグラムを作成する。ステップ150では、このヒストグラムを用いてk個の各小画面をグループ分けする。グループ分けの方法は特に限定されないが、例えば、ヒストグラムのピークを高い方から2つとり、その2つのピーク間の色温度差が一定以上離れている場合には、ミックス光源であるとして、2ピーク間の中間色温度Tc を境として、各小画面をその色温度Tiが中間色温度Tc より大きいか小さいかにより、各小画面を2つのグループにグループ分けする。
【0031】次にステップ160において、グループ分けした各グループ毎のデータを色温度推定手段20に送り、再度グループ毎の色温度を推定する。そして、ステップ170において、ホワイトバランス補正量を各グループ毎に算出する。このホワイトバランス補正量を(a1 ,a2 ,a3 )とする。次に、ステップ180において、ホワイトバランス補正手段28において、このホワイトバランス補正量を用いて、次の式(4)によりグループ内の小画面すべてに対してホワイトバランス補正を施す。


なお、ここで、R、G、Bは元の画像信号であり、R*、G*、B*は、ホワイトバランス補正後の信号である。
【0032】このようにして、ホワイトバランス補正を行うことにより、画面全体にわたってホワイトバランスのとれた画像が得られる。なお、上記のようにグループ毎にホワイトバランス補正を施すのではなく、分割された各小画面毎にホワイトバランス補正量を算出し、それに基づいて各小画面毎にホワイトバランス補正を施す方法も考えられるが、画面が小さい程、そこに含まれる色の偏りが大きくなり、ホワイトバランス補正量の信頼性が低下するのが一般的である。従って、各小画面毎のホワイトバランス補正量によりホワイトバランス補正をした場合には、最悪の場合、小画面毎に色のばらつきが生じ、画面全体でみた場合、変に色味付いた小画面がモザイク状になって再現されてしまう虞がある。そこで、本実施形態では、上に説明したように、各小画面を推定色温度のヒストグラムによりグループ分けして、各グループ毎にホワイトバランス補正を施すようにしているのである。
【0033】また、以上のホワイトバランス補正方法を、コンピュータで実行可能なプログラムとして、コンピュータで読み取り可能な記録媒体に記録しておけば、この記録媒体からプログラムを入力することにより、任意の画像処理装置等で、本発明のホワイトバランス補正方法が実行可能となる。
【0034】以下、より具体的な実施例について説明する。
(実施例)タングステン灯のともる室内で、窓辺にいる女性を富士写真フイルム社製デジタルカメラFinePix1500 で撮影した。撮影した画像をデジタルフォトプリンタに入力し、CRTで撮影画像を確認すると、画面のほぼ1/3は白く、残りの部分は黄赤味を帯びていた。ここで、m=4、n=4として、画面を16分割し、上で説明した方法で撮影光源の色温度推定を行った。
【0035】16個の各小画面の推定色温度Ti(i=1,・・・,16)についてヒストグラムを500K刻みで作成したところ、2つのピークが認められた。一つは、Th=6000Kであり、他は、Tl=3500Kであった。ピーク間の中間色温度Tcは4750Kである。16個の各小画面をこの色温度を境に、上下2つのグループに分類した。
【0036】各グループ毎に再度色温度を推定し、グループ毎に色温度とホワイトバランス補正量を算出した。その結果、色温度の高いグループのホワイトバランス補正量は、a1 =1.05、a2 =1.00、a3 =0.94であり、色温度の低いグループのホワイトバランス補正量は、a1 =0.72、a2 =1.00、a3 =1.39であった。この補正をグループ内の小画面すべてに施したところ、画面のほぼ2/3を占めていた黄赤味を帯びていた部分がほぼ満足できる白さに再現され、もともと白かった部分も白く再現され、本発明の効果を確認することができた。
【0037】以上、本発明のホワイトバランス補正方法及び装置並びに該方法を実行するためのプログラムを記録した記録媒体について詳細に説明したが、本発明は、以上の例には限定されず、本発明の要旨を逸脱しない範囲において、各種の改良や変更を行ってもよいのはもちろんである。
【0038】
【発明の効果】以上説明した通り、本発明によれば、ミックス光源で撮影したカラー画像からミックス光源による影響である色味付きを除き、画面全体にわたってホワイトバランスの整った画像を再現することができ、ミックス光源で撮影した画像を、あたかも均一光源で撮影したか如き画像として再現することが可能となる。
【図面の簡単な説明】
【図1】 本発明に係るホワイトバランス補正装置の一実施形態の概略を示すブロック図である。
【図2】 本実施形態の作用を示すフローチャートである。
【図3】 本実施形態における色温度推定方法の原理を示す色度図である。
【符号の説明】
10 ホワイトバランス補正装置
12 ミックス光源
14 被写体
16 画像撮像装置(デジタルカメラ)
18 小画面分割手段
20 色温度推定手段
22 ヒストグラム作成手段
24 グループ分け手段
26 ホワイトバランス補正量算出手段
28 ホワイトバランス補正手段

【特許請求の範囲】
【請求項1】入力されたカラー画像を、複数の小画面に分割し、該分割された各小画面毎に、前記カラー画像を撮影した際の撮影光源の色温度を推定し、各小画面毎の推定色温度のヒストグラムを作成し、前記各小画面をグループ分けし、該グループ毎に、再度撮影光源の色温度を推定し、該グループ毎の色温度推定結果により、各グループ毎にホワイトバランス補正量を算出し、該グループ内の各小画面に対し、前記各グループ毎に算出されたホワイトバランス補正量によりそれぞれホワイトバランス補正を施すことを特徴とするホワイトバランス補正方法。
【請求項2】前記各小画面毎の推定色温度のヒストグラムを作成し、各小画面をグループ分けする際、ヒストグラムの頻度の高い方から2つのピークを選び、これら2つの中間色温度を定め、該中間色温度を境にして、推定色温度がこれより上及び下の2つのグループに分けるようにした請求項1に記載のホワイトバランス補正方法。
【請求項3】前記複数の小画面への分割数を4以上16以下とした請求項1または2に記載のホワイトバランス補正方法。
【請求項4】入力されたカラー画像に対して、デジタル画像処理を施しプリントを作成する際の、ホワイトバランスを補正するホワイトバランス補正装置であって、入力されたカラー画像を、複数の小画面に分割する手段と、該分割された各小画面毎に、前記カラー画像を撮影した際の撮影光源の色温度を推定する手段と、各小画面毎の推定色温度のヒストグラムを作成する手段と、該ヒストグラム作成結果により前記各小画面をグループ分けする手段と、該グループ毎に、再度撮影光源の色温度を推定する手段と、該グループ毎の色温度推定結果により、各グループ毎にホワイトバランス補正量を算出する手段と、該グループ内の各小画面に対し、前記各グループ毎に算出されたホワイトバランス補正量によりそれぞれホワイトバランス補正を施す手段と、を備えたことを特徴とするホワイトバランス補正装置。
【請求項5】前記ヒストグラム作成結果により前記各小画面をグループ分けする手段は、ヒストグラムの頻度の高い方から2つのピークを選び、これら2つの中間色温度を定め、該中間色温度を境にして、推定色温度がこれより上及び下の2つのグループに分けるようにした請求項4に記載のホワイトバランス補正装置。
【請求項6】前記複数の小画面に分割する手段による小画面への分割数は、4以上16以下である請求項4または5に記載のホワイトバランス補正装置。
【請求項7】請求項1〜3のいずれかに記載のホワイトバランス補正方法を、コンピュータに実行させるためのプログラムとして、コンピュータにより読み取り可能に記録したことを特徴とする、前記ホワイトバランス補正方法を実行するためのプログラムを記録した記録媒体。

【図3】
image rotate


【図1】
image rotate


【図2】
image rotate


【公開番号】特開2002−271638(P2002−271638A)
【公開日】平成14年9月20日(2002.9.20)
【国際特許分類】
【出願番号】特願2001−67078(P2001−67078)
【出願日】平成13年3月9日(2001.3.9)
【出願人】(000005201)富士写真フイルム株式会社 (7,609)
【Fターム(参考)】