ホワイトバランス補正装置及び信号処理プログラム
【課題】精度のよいホワイトバランス補正を行えるようにすること。
【解決手段】撮像素子２１より得られる画像データを入力して現フレームの画像データの色信号間のバランスを調整するホワイトバランス補正装置１０における、上記現フレームの画像データおよびそれよりも過去に撮像された少なくとも１つの過去フレームの画像データから各画素位置における色信号データを評価値として複数組取得するＷＢ評価値抽出部１２は、上記少なくとも１つの過去フレームの画像データと上記現フレームの画像データとで互いに重複する画像領域を検出する重複領域検出部１２１を備え、上記少なくとも１つの過去フレームの画像データから取得する評価値に関しては、その検出結果に応じて選択的に取得することで、ＷＢ係数算出部１４においてホワイトバランス係数を算出する際に、不適当な評価値を用いないようにする。
【解決手段】撮像素子２１より得られる画像データを入力して現フレームの画像データの色信号間のバランスを調整するホワイトバランス補正装置１０における、上記現フレームの画像データおよびそれよりも過去に撮像された少なくとも１つの過去フレームの画像データから各画素位置における色信号データを評価値として複数組取得するＷＢ評価値抽出部１２は、上記少なくとも１つの過去フレームの画像データと上記現フレームの画像データとで互いに重複する画像領域を検出する重複領域検出部１２１を備え、上記少なくとも１つの過去フレームの画像データから取得する評価値に関しては、その検出結果に応じて選択的に取得することで、ＷＢ係数算出部１４においてホワイトバランス係数を算出する際に、不適当な評価値を用いないようにする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルカメラやビデオカメラ等において使用されるホワイトバランス補正装置及びコンピュータにホワイトバランス係数を算出させる信号処理プログラムに関する。
【背景技術】
【０００２】
一般にデジタルカメラやビデオカメラにおいては、白色光源の色が無彩色となるようにカラーバランスを自動補正するオートホワイトバランス補正装置が搭載されている。これにより、人間の視覚系における色順応の効果をできあがりの写真に擬似的に果たすことにより、違和感のない色調の写真を得ることが可能となる。このホワイトバランス補正を行うためには、まず白色自体を測定することが必要であり、従来は、カメラの撮像素子とは別に設けた測光センサの出力を用いて白を測定する方法、もしくは、撮像素子からの画像データをもとに白を検出する方法が採られていた。測光センサを用いる方法は、コストが高くなり、また撮像範囲と測光範囲は少なからず一致していないため、誤差もある。そのため、一般的には、撮像素子からの画像データをもとに光源の色（無彩色）を検出する方法が主流である。
【０００３】
しかしながら、そのような画像データをもとに光源の色を検出する方法では、画像データに光源の色（無彩色）が無いまたは非常に少ない場合には、正確なホワイトバランスが行えないという欠点がある。このような問題に対し、特許文献１や特許文献２に開示されているように、過去に撮像された画像データを含む複数フレームの画像を用いてホワイトバランス制御を行えば、ホワイトバランスを行う画像中に光源の色が無くとも、他のフレームの画像を利用して光源色の検出確率を上げることが可能である。
【特許文献１】特開平９−４６５７９号公報
【特許文献２】特開平５−８３７２９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上記特許文献１及び特許文献２に開示されている技術はいずれも、照明条件が単一であれば有効である。しかしながら、照明条件がミックス光下のように幾つかの色温度の照明光が混合されて照らされている環境下においては、複数フレーム間の互いに重複する領域に光源色があった場合、その光源色を過大評価し、一方に偏った照明光の補正をしてしまい、正確なホワイトバランス補正値を求めることができないことがある。また、照明環境の径時変化により複数フレーム間で照明環境が異なっている場合には、正確なホワイトバランスが行えないといった問題がある。
【０００５】
このように、上記特許文献１及び特許文献２に開示されている技術では、ホワイトバランス補正を精度よく行うことができなかった。
【０００６】
本発明は、上記の点に鑑みてなされたもので、精度のよいホワイトバランス補正が行えるホワイトバランス補正装置及びそのためのホワイトバランス係数をコンピュータに算出させる信号処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明のホワイトバランス補正装置の一態様は、
撮像素子より得られる画像データを入力して現フレームの画像データの色信号間のバランスを調整するホワイトバランス補正装置であって、
上記現フレームよりも過去に撮像された少なくとも１つの過去フレームの画像データを記憶する画像データ記憶部と、
上記現フレームの画像データおよび上記少なくとも１つの過去フレームの画像データから各画素位置における色信号データを評価値として、複数組取得する評価値取得部と、
上記評価値取得部により得られた複数組の評価値に基づきホワイトバランス係数を算出するホワイトバランス係数算出部と、
上記ホワイトバランス係数算出部で算出した上記ホワイトバランス係数に基づいて、上記撮像素子より得られる現フレームの画像データを補正するホワイトバランス補正部と、
を備え、
上記評価値取得部は、
上記少なくとも１つの過去フレームの画像データと上記現フレームの画像データとで互いに重複する画像領域を検出する重複領域検出部を備え、
上記少なくとも１つの過去フレームの画像データから取得する評価値に関しては、上記重複領域検出部による検出結果に応じて選択的に取得することを特徴とする。
本発明の画像処理プログラムの一態様は、
撮像素子より得られる現フレームの画像データおよび該現フレームのよりも過去に撮像された少なくとも１つの過去フレームの画像データから、各画素位置における色信号データを評価値として、複数組取得するステップと、
上記取得された複数組の評価値に基づきホワイトバランス係数を算出するステップと、
をコンピュータに発揮させて、撮像素子より得られる現フレームの画像データの色信号間のバランスを調整するためのホワイトバランス係数をコンピュータに算出させる信号処理プログラムであって、
上記評価値を複数組取得するステップは、
上記少なくとも１つの過去フレームの画像データと上記現フレームの画像データとで互いに重複する画像領域を検出するステップを含み、
上記少なくとも１つの過去フレームの画像データから取得する評価値に関しては、上記重複する画像領域の検出結果に応じてコンピュータに選択的に取得させることを特徴とする。
これらの態様によれば、ホワイトバランス係数算出部においてホワイトバランス係数を算出する際に用いる評価値として、少なくとも１つの過去フレームの画像から取得した評価値を全て用いるのではなく、過去フレームの画像データと現フレームの画像データとで互いに重複する画像領域の検出結果に応じて選択的に取得した評価値を用いるようにしているので、例えば、照明環境の径時変化により複数フレーム間で照明環境が異なってしまう場合には過去フレームの何れの画像データの評価値を用いるか選択し、複数フレーム間の互いに重複する領域に光源色があった場合には過去画像データの何れの画像領域の評価値を用いるか選択する等、不適当な評価値を用いないようにすることができるため、精度のよいホワイトバランス補正が行える。
【発明の効果】
【０００８】
本発明によれば、精度のよいホワイトバランス補正が行えるホワイトバランス補正装置及びそのためのホワイトバランス係数をコンピュータに算出させる信号処理プログラムを提供することができる。
【発明を実施するための最良の形態】
【０００９】
以下、本発明を実施するための最良の形態を図面を参照して説明する。
【００１０】
図１は、本発明の一実施形態に係るホワイトバランス補正装置１０の全体構成を示す図である。本実施形態におけるホワイトバランス補正装置は、本ホワイトバランス補正装置１０が搭載されるカメラの撮像素子２１より得られる画像データを入力して現フレームの画像の色信号間のバランスを調整するものである。
【００１１】
即ち、本ホワイトバランス補正装置１０は、被写体の像を撮像レンズ２２を介して撮像する撮像素子２１により現在からある所定時間内に撮像された過去のフレームを含む複数枚のフレームの画像データ、つまり最新のフレーム（現フレーム）の画像データと少なくとも１つの過去フレームの画像データとを記憶する画像データ記憶部として機能する時系列画像蓄積部１１と、上記時系列画像蓄積部１１に記憶された複数フレームの画像データから照明環境が同一であるシーンを判定して該同一シーンの画像データよりホワイトバランス係数を算出するための評価値を抽出するＷＢ評価値抽出部１２と、上記ＷＢ評価値抽出部１２により抽出された評価値を蓄積するＷＢ評価値蓄積部１３と、上記ＷＢ評価値蓄積部１３に蓄積された評価値に基づきホワイトバランス係数を算出するホワイトバランス係数算出部として機能するＷＢ係数算出部１４と、撮像素子により撮像された現フレームの画像に対し上記ＷＢ係数算出部１４により算出されたＷＢ係数を乗算することで現フレームの画像データを補正するホワイトバランス補正部として機能するＷＢ係数乗算部１５と、で構成される。
【００１２】
ここで、上記時系列画像蓄積部１１は、ある所定時間内に撮像された過去フレームの画像データを記憶するが、必ずしも所定時間内に撮像された全てのフレーム画像データを記憶する必要はなく、例えば所定時間内において所定のインターバル期間により間引いたフレームの画像データのみを記憶してもよい。また、各々のフレーム画像データに対しても必ずしも全画素を記憶する必要もなく、ある所定の比率により縮小された縮小画像データにして記憶してもよい。このような間引きまたは縮小を行えば、上記時系列画像蓄積部を構成するメモリが有する所定のメモリ量に対して、より長い期間のフレーム画像データを記憶することができるので、後段のＷＢ係数算出部１４において光源色の検出確率を増やすことが可能となる。
【００１３】
また、上記ＷＢ評価値抽出部１２は、詳細には、各フレーム間の互いに重複する画像領域を検出する重複領域検出部１２１と、上記重複領域検出部１２１により検出された重複部における各フレーム間の画像データの色信号データを比較して各々のフレームの画像データが同一の照明環境で撮像されたか否かを判定する環境判定部として機能する色度比較部１２２と、さらには同一シーンと判定されたフレームの画像データの画角サイズが、現在（最新）のフレームの画像データの画角サイズに対してどの程度、拡大または縮小されて撮像されているかを算出する相対画角検出部１２３と、を備えている。
【００１４】
以下、上記ＷＢ評価値抽出部１２において照明環境が同一であるシーンを判定して評価値を抽出する過程を図２に示すフローチャートに基づき説明する。
【００１５】
ＷＢ評価値抽出部１２は、まず、上記時系列画像蓄積部１１に記憶された現在（最新）のフレームの画像データから画像領域全体にわたる各画素位置の色信号データをＷＢ評価値として取得し、後段のＷＢ評価値蓄積部１３へ出力してそこに格納する（ステップＳ１）。このとき、図３（Ａ）に示すように、現フレーム画像領域１００全体のうちある一定間隔で間引いた画素位置を評価値抽出位置１０１として、該評価値抽出位置１０１の色信号データを評価値として抽出してもよいし、また図３（Ｂ）に示すように、ある一定サイズの評価値抽出領域１０２毎に色信号データの平均値を求め、その求めた平均値を抽出するようにしてもよい。
【００１６】
次に、ステップＳ２以降により、現在よりも過去のフレーム画像データに対して現在のフレーム画像データと同一シーンか否かを判定し、過去のフレーム画像データの評価値を抽出する。ここでは仮定として、時系列画像蓄積部１１にはＮ枚のフレーム画像データが記憶されているとし、０番目のフレームが一番過去に撮像されたフレーム、Ｎ番目のフレームが現在（最新）のフレームとする。
【００１７】
まず、判定のための初期設定を行う（ステップＳ２）。即ち、この段階では、まず、判定結果の初期化として、全ての過去フレーム（０番目からＮ−１番目のフレーム）に対して判定結果を同一シーンでないと設定する。また、後段の判定処理により判定結果が更新されたか否かを示す判定更新フラグを「０」に初期化し、さらに判定を行う最初の判定対象フレームをＮ−１番目のフレームに設定する。
【００１８】
次に、同一シーンか否かの判定をする際の基準となるフレーム（比較対象フレーム）の画像データをＮ番目のフレーム（現在のフレーム画像）の画像データと設定する（ステップＳ３）。
【００１９】
その後、上記判定対象フレームの画像データと比較対象フレームの画像データとで互いに重複する重複領域を、図１における重複領域検出部１２１を用いて検出する（ステップＳ４）。そして、上記判定対象フレームの画像データと比較対象フレームの画像データとで互いに重複する領域があるか否かを判別し（ステップＳ５）、重複領域がある場合には、後段のステップＳ６に進む。一方、重複する領域がない場合には、ステップＳ１２〜Ｓ１５の処理により比較対象フレームを既に同一シーンとして判定された他のフレームに更新して、再び上記ステップＳ４、Ｓ５の処理を繰り返す。即ち、比較対象フレームを１つ過去のフレームに更新し（ステップＳ１２）、その結果、−１番目のフレームとなってしまったか否か、つまり全ての比較対象フレームに対する判定処理を終了したか否かを判別する（ステップＳ１３）。そして、まだ全ての比較対象フレームに対する判定処理が終了していない場合には、その更新した比較対象フレームの画像データの判定結果を参照して（ステップＳ１４）、既に同一シーンであると判定された過去のフレームの画像データであるかどうか確認する（ステップＳ１５）。ここで、同一シーンでなければ上記ステップＳ１２に戻り、同一シーンであれば上記ステップＳ４に戻る。また、上記ステップＳ１３において、全ての比較対象フレームの画像データに対して判定処理が終了したと判断した場合には、ステップＳ１６により判定対象フレームを次のフレームに更新し、判定処理を続行する。
【００２０】
なお、上記重複領域検出部１２１において重複領域を検出する具体的方法としては、画像データの部分領域毎のパターンや特徴量のマッチングを行い、フレーム間で対応する領域を検出してもよいし、また図示しないが、装置外部に設けたジャイロセンサ等を用いて装置の位置や角度変化を検出して記憶しておき、フレーム間の装置の位置や角度変化から画角変化を推定して重複領域を算出してもよい。
【００２１】
上記ステップＳ５において重複する領域があると判別した場合には、ＷＢ評価値抽出部１２は、図１における色度比較部１２２を用いて、判定対象フレームの画像データと比較対象フレームの画像データとで互いに重複する領域の色信号データを比較する（ステップＳ６）。即ち、判定対象フレームの画像データにおける色信号データをＲｉ（ｘ，ｙ），Ｇｉ（ｘ，ｙ），Ｂｉ（ｘ，ｙ）、比較対象フレームの画像データにおける色信号データをＲｋ（ｘ，ｙ），Ｇｋ（ｘ，ｙ），Ｂｋ（ｘ，ｙ）とすれば、以下の式（１）で表されるΔＲＢをフレーム間の色度比較値とする。
【数１】
【００２２】
なおここで、Ωは上記重複領域を示し、Σは上記重複領域の各々の画素について累積することを示している。
【００２３】
そして、上記色度比較部１２２は、上記色度比較値がある所定値以内であるか否かにより、フレーム間の色信号データが同じか否か、つまり、フレーム間で照明環境が同一であるか否かを判定する（ステップＳ７）。ここで、上記色度比較値がある所定値以内であれば、フレーム間で照明環境は同一であると判断して、上記判定対象フレームは現在のフレームと同一シーンであると判断され、上記判定対象フレームに対する判定結果を同一シーンであると更新する（ステップＳ８）。一方、上記色度比較値が上記ある所定値以上であれば、フレーム間に照明環境の変化があったとして、上述と同様ステップＳ１２〜Ｓ１５の処理により比較対象フレームを更新して、再び上記ステップＳ４、Ｓ５の処理を繰り返す。
【００２４】
このように、ＷＢ評価値抽出部１２は、色度比較部１２２による判定結果に応じて当該判定対象フレームの画像データの評価値を用いるか用いないかを取捨選択する。
【００２５】
上記ステップＳ８において判定結果を更新後は、図１における相対画角検出部１２３を用いて、上記判定対象フレームの画像データと比較対象フレームの画像データとで互いに重複する領域のパターン（もしくは特徴量）の大きさの変化から画角サイズの変化率を算出し、その画角サイズ変化率から上記判定対象フレームの画像データの現在のフレームの画像データに対する相対的な画角の大きさ比率である画角サイズ係数を算出する（ステップＳ９）。ここで、もし上記比較対象フレームの画像データが現在（Ｎ番目）のフレームのものであれば、上記判定対象フレームの画像データと比較対象フレームの画像データとの画角サイズの変化率をそのまま画角サイズ係数とすればよい。一方、上記比較対象フレームの画像データが既に同一シーンであると判定された過去のフレームのものであれば、その比較対象フレームの画像データに対して既に求められた画角サイズ係数に、上記判定対象フレームの画像データと比較対象フレームの画像データとの画角サイズの変化率を乗算することにより、現在（Ｎ番目）のフレームの画像データに対する画角サイズ係数を求めることができる。
【００２６】
次に、ＷＢ評価値抽出部１２は、同一シーンであると判定された上記判定対象フレームからＷＢ評価値を抽出して、図１におけるＷＢ評価値蓄積部１３へ出力してそこに格納する（ステップＳ１０）。
【００２７】
図４は、このステップＳ１０におけるＷＢ評価値の抽出・格納の過程をフローチャートで示す図である。まず、上記ステップＳ４における重複領域の検出結果から、上記判定対象フレームの画像データに対して上記比較対象フレームの画像データと重複しない領域である非重複領域を、ＷＢ評価領域として抽出する（ステップＳ２０１）。さらに、ステップＳ２０２からステップＳ２０８において比較対象フレームを更新していき、最終的には現在のフレームの画像データも含め既に同一シーンとして判定された全てのフレームの画像データに対して重複しない領域を上記判定対象フレームの画像領域から求め、これをＷＢ評価領域とする。即ち、比較対象フレームを１つ過去のフレームに更新し（ステップＳ２０２）、その結果、−１番目のフレームとなってしまったか否か、つまり全ての比較対象フレームに対するＷＢ評価領域の検出処理を終了したか否かを判別する（ステップＳ２０３）。そして、まだ全ての比較対象フレームに対する処理が終了していない場合には、その更新した比較対象フレームの画像データの判定結果を参照して（ステップＳ２０４）、既に同一シーンであると判定された過去のフレームの画像データであるかどうか確認する（ステップＳ２０５）。ここで、同一シーンでなければ上記ステップＳ２０２に戻る。これに対して、同一シーンであれば、図１における重複領域検出部１２１を用いて、現在ＷＢ評価領域として抽出されている領域と上記比較対象フレームの画像データとで互いに重複する領域を検出する（ステップＳ２０６）。そして、上記ＷＢ評価領域と比較対象フレームの画像データとで互いに重複する領域があるか否かを判別し（ステップＳ２０７）、重複領域が無ければ上記ステップＳ２０２に戻る。これに対して、重複領域がある場合には、上記ＷＢ評価領域からその検出した重複領域を除いた領域を新たなＷＢ評価領域として更新して（ステップＳ２０８）、上記ステップＳ２０３に戻る。
【００２８】
而して、上記ステップＳ２０３において、全ての比較対象フレームについて処理を行ったと判定したならば、図３（Ｃ）に示すように、判定対象フレーム画像領域１０３から比較対象フレーム画像領域１０４との重複領域１０５を除いた領域として最終的に検出された判定対象フレーム画像領域１０３のＷＢ評価領域１０６から、各評価値抽出位置１０１、例えば各画素位置における色信号データをＷＢ評価値として取得する（ステップＳ２０９）。また、上記ＷＢ評価領域１０６から、評価値抽出領域１０２毎に求めた色信号データの平均値をＷＢ評価値として取得するようにしてもよい。そしてさらに、上記ステップＳ９において求めた画角サイズ係数を重み付け係数として、この重み付け係数とともに、取得されたＷＢ評価値をＷＢ評価値蓄積部１３へ出力してそこに格納し（ステップＳ２１０）、図２におけるステップＳ１０の処理が終了する。
【００２９】
このように、ＷＢ評価値抽出部１２は、上記重複領域検出部１２１を用いて検出した重複領域に基づき、上記少なくとも１つの過去フレームの画像データから、上記現フレームの画像データとは重複しない画像領域における色信号データをＷＢ評価値として抽出する。
【００３０】
次に、ＷＢ評価値抽出部１２は、上記判定対象フレームについて判定結果が更新されたことを示す判定更新フラグを「１」に更新する（ステップＳ１１）。そして、ステップＳ１６〜ステップＳ１９の処理により判定対象フレームを更新する。即ち、判定対象フレームを１つ過去のフレームに更新して（ステップＳ１６）、当該判定対象フレームの画像データの判定結果を参照して（ステップＳ１７）、既に同一シーンであると判定された過去のフレームの画像データであるかどうか確認する（ステップＳ１８）。ここで、同一シーンであれば上記ステップＳ１６に戻る。これに対して、同一シーンでなければ、上記判定対象フレームの更新の結果、−１番目のフレームとなってしまったか否か、つまり全ての判定対象フレームに対する判定処理を終了したか否かを判別する（ステップＳ１９）。そして、まだ全ての判定対象フレームに対する処理が終了していない場合には、上記ステップＳ３に戻る。このように判定対象フレームを更新しつつ、上記説明したステップＳ３〜ステップＳ１５までの処理を繰り返すことにより、全てのフレームについて同一シーンであるか否かを判定していく。
【００３１】
而して、上記ステップＳ１９において、全ての判定対象フレームに対する判定処理を行ったと判定したならば、判定結果が更新されたことを示す判定更新フラグを判別することで、上述のステップＳ３〜ステップＳ１９の処理を行った結果、一回でも上記ステップＳ１１において判定結果が更新されたか否かを判別する（ステップＳ２０）。そして、もし一回でも判定結果が更新されていれば、即ち、同一シーンであると判断されたフレームが増えていれば、再び判定更新フラグを「０」に初期化すると共に判定対象フレームをＮ−１番目のフレームに初期化する（ステップＳ２１）。その後、上記ステップＳ１７に戻った後、上記ステップＳ１８、Ｓ１９を介して上記ステップＳ３の処理に戻り、同一シーンとして判定されていないフレームに対して判定処理を再び行う。一方、上記ステップＳ２０において、同一シーンであると判断されたフレームが増えてなければ、処理を終了する。
【００３２】
以下、具体的に説明する。
例えば、現フレームが４番目（Ｎ＝３）のフレームであるとすれば、ステップＳ２においてｉ＝２、ステップＳ３においてｋ＝３として、ステップＳ４で重複領域１０５が検出され、ステップＳ５〜Ｓ７で重複領域１０５が有って、色信号データが同じであると判定されれば、ステップＳ８において３番目のフレーム（１つ過去のフレーム）の画像データは同一シーンであることに更新し、ステップＳ９，Ｓ１０で画角サイズ係数、ＷＢ評価値をＷＢ評価値蓄積部１３に格納し、ステップＳ１１で判定更新フラグを「１」に更新する。
【００３３】
その後、ステップＳ１６でｉ＝１と判定対象フレームを更新すると、ステップＳ１７〜Ｓ１９を経てステップＳ３に戻り、同様にしてステップＳ４〜Ｓ１１で、２番目のフレーム（２つ過去のフレーム）の画像データも同一シーンであるとして、画角サイズ係数、ＷＢ評価値をＷＢ評価値蓄積部１３に格納する。
【００３４】
そして、またステップＳ１６でｉ＝０と判定対象フレームを更新し、ステップＳ１７〜Ｓ１９を経てステップＳ３に戻り、ステップＳ４〜Ｓ１１で、１番目のフレーム（３つ過去のフレーム）の画像データも同一シーンであるとして、画角サイズ係数、ＷＢ評価値をＷＢ評価値蓄積部１３に格納する。その後、ステップＳ１６でｉ＝−１と判定対象フレームが更新されると、ステップＳ１７〜Ｓ１９を経てステップＳ２０に進み、判定更新フラグが「１」であるので、ステップＳ２１において該判定更新フラグを「０」に初期化すると共にｉ＝２として、ステップＳ１７に進む。すると、ステップＳ１８で同一シーンであると判定されるため、ステップＳ１６にてｉ＝１とされ、ステップＳ１７を経てステップＳ１８で同様に同一シーンと判定されて、更にステップＳ１６でｉ＝−１とされる。今度はステップＳ１８にて同一シーンでないと判定されるため、ステップＳ１９，Ｓ２０と進み、判定更新フラグは「０」に初期化されているので、処理を終了する。
【００３５】
このようにして、ＷＢ評価値抽出部１２は、現フレーム及び過去フレームの画像データから、評価値を複数組取得する。
【００３６】
次に、色信号データが変化した場合を説明する。
例えば、１番目のフレームと２番目のフレームの重複領域１０５において異なる色信号データが検出された場合には、２番目のフレームにおいて、ｉ＝０，ｋ＝１の状態で、ステップＳ７にて色信号データが同じでないと判別され、ステップＳ１２にてｋ＝０とする。そして、ステップＳ１３，Ｓ１４，Ｓ１５を経て、再度ステップＳ１２にてｋ＝−１となり、ステップＳ１３からステップＳ１６に進む。ここでｉ＝−１として、ステップＳ１７〜Ｓ１９，Ｓ２０と進み、判定更新フラグは「０」のままであるので、処理を終了する。
【００３７】
次の３番目のフレームでは、ステップＳ２においてｉ＝１、ステップＳ３においてｋ＝２として、ステップＳ４〜Ｓ７に進む。このとき、現フレームである３番目のフレームと１つ過去のフレームである２番目のフレームとでは色信号データが同じであるので、ステップＳ８〜Ｓ１１で、２番目のフレーム（１つ過去のフレーム）の画像データは同一シーンであるとして、画角サイズ係数、ＷＢ評価値をＷＢ評価値蓄積部１３に格納する。
【００３８】
そして、ステップＳ１６でｉ＝０と判定対象フレームを更新し、ステップＳ１７〜Ｓ１９を経てステップＳ３に戻り、ステップＳ４〜Ｓ６を経てステップＳ７に進む。ここで、ｋ（＝２）番目のフレームつまり現フレームである３番目のフレームとｉ（＝０）番目のフレームつまり２つ過去のフレームである１番目のフレームとでは色信号データが同じではないので、ステップＳ１２に進み、ｋ＝１と比較対象フレームを更新する。そして、ステップＳ１３，Ｓ１４と進み、ステップＳ１５で２番目のフレームの画像データは同一シーンと判定されて、ステップＳ４に進むこととなる。ステップＳ４においては、今度は、１番目のフレームと２番目のフレームとを比較することとなるので、ステップＳ５，Ｓ６を経てステップＳ７において、やはり色信号データが同じでないと判定されて、ステップＳ１２に進む。そして、ｋ＝０と比較対象フレームを更新する。今度は、ステップＳ１３，Ｓ１４からステップＳ１５に進むと、同一シーンではないと判定されるため、ステップＳ１２に戻り、更にｋ＝−１と比較対象フレームを更新する。そして、ステップＳ１３からステップＳ１６に進み、ｉ＝−１と判定対象フレームが更新される。
【００３９】
すると、ステップＳ１７〜Ｓ１９を経てステップＳ２０に進み、判定更新フラグが「１」であるので、ステップＳ２１において該判定更新フラグを「０」に初期化すると共にｉ＝１として、ステップＳ１７に進む。そして、ステップＳ１８で同一シーンと判定されるので、ステップＳ１６に戻り、ｉ＝０とする。今度は、ステップＳ１７を経てステップＳ１８で同一シーンでないと判定されるので、ステップＳ１９からステップＳ３に進んで、ｋ＝２とされる。その後、ステップＳ４，Ｓ５，Ｓ６を経てステップＳ７において色信号データが同じでないと判定されて、ステップＳ１２に進む。そして、ｋ＝１として、ステップＳ１３，Ｓ１４からステップＳ１５に進むと、同一シーンと判定されて、ステップＳ４へ進む。そして、ステップＳ５，Ｓ６を経てステップＳ７において色信号データが同じでないと判定されて、ステップＳ１２に進む。そして、ｋ＝０として、ステップＳ１３からステップＳ１４，Ｓ１５を経て、再度ステップＳ１２にてｋ＝−１となり、ステップＳ１３からステップＳ１６に進む。ここでｉ＝−１として、ステップＳ１７〜Ｓ１９，Ｓ２０と進み、判定更新フラグは「０」のままであるので、処理を終了する。
【００４０】
次の４番目のフレームでは、ステップＳ２においてｉ＝２、ステップＳ３においてｋ＝３として、ステップＳ４〜Ｓ７に進む。このとき、現フレームである４番目のフレームと１つ過去のフレームである３番目のフレームとでは色信号データが同じであるので、ステップＳ８〜Ｓ１１で、３番目のフレーム（１つ過去のフレーム）の画像データは同一シーンであるとして、画角サイズ係数、ＷＢ評価値をＷＢ評価値蓄積部１３に格納する。
【００４１】
そして、ステップＳ１６でｉ＝１と判定対象フレームを更新し、ステップＳ１７〜Ｓ１９を経てステップＳ３に戻り、ステップＳ４〜Ｓ６を経てステップＳ７に進む。ここで、現フレームである４番目のフレームと２つ過去のフレームである２番目のフレームとでは色信号データが同じであるので、ステップＳ８〜Ｓ１１で、２番目のフレーム（２つ過去のフレーム）の画像データも同一シーンであるとして、画角サイズ係数、ＷＢ評価値をＷＢ評価値蓄積部１３に格納する。
【００４２】
そして、ステップＳ１６でｉ＝０と判定対象フレームを更新し、ステップＳ１７〜Ｓ１９を経てステップＳ３に戻り、ステップＳ４〜Ｓ６を経てステップＳ７に進む。ここで、ｋ（＝３）番目のフレームつまり現フレームである４番目のフレームとｉ（＝０）番目のフレームつまり３つ過去のフレームである１番目のフレームとでは色信号データが同じではないので、ステップＳ１２に進み、ｋ＝２と比較対象フレームを更新する。そして、ステップＳ１３，Ｓ１４と進み、ステップＳ１５で３番目のフレームの画像データは同一シーンと判定されて、ステップＳ４に進むこととなる。ステップＳ４においては、今度は、１番目のフレームと３番目のフレームとを比較することとなるので、ステップＳ５，Ｓ６を経てステップＳ７において、やはり色信号データが同じでないと判定されて、ステップＳ１２に進む。そして、ｋ＝１と比較対象フレームを更新する。そして、ステップＳ１３，Ｓ１４と進み、ステップＳ１５で２番目のフレームの画像データは同一シーンと判定されて、ステップＳ４に進むこととなる。ステップＳ４においては、今度は、１番目のフレームと２番目のフレームとを比較することとなるので、ステップＳ５，Ｓ６を経てステップＳ７において、やはり色信号データが同じでないと判定されて、ステップＳ１２に進む。そして、ｋ＝０と比較対象フレームを更新する。今度は、ステップＳ１３，Ｓ１４からステップＳ１５に進むと、同一シーンではないと判定されるため、ステップＳ１２に戻り、更にｋ＝−１と比較対象フレームを更新する。そして、ステップＳ１３からステップＳ１６に進み、ｉ＝−１と判定対象フレームが更新される。
【００４３】
すると、ステップＳ１７〜Ｓ１９を経てステップＳ２０に進み、判定更新フラグが「１」であるので、ステップＳ２１において該判定更新フラグを「０」に初期化すると共にｉ＝２として、ステップＳ１７に進む。そして、ステップＳ１８で同一シーンと判定されるので、ステップＳ１６に戻り、ｉ＝１とする。今度も、ステップＳ１８で同一シーンと判定されるので、ステップＳ１６に戻り、更にｉ＝０とする。すると、ステップＳ１７を経てステップＳ１８で同一シーンでないと判定されるので、ステップＳ１９からステップＳ３に進んで、ｋ＝３とされる。その後、ステップＳ４，Ｓ５，Ｓ６を経てステップＳ７において色信号データが同じでないと判定されて、ステップＳ１２に進む。そして、ｋ＝２として、ステップＳ１３，Ｓ１４と進み、ステップＳ１５で３番目のフレームの画像データは同一シーンと判定されて、ステップＳ４に進むこととなる。ステップＳ４においては、今度は、１番目のフレームと３番目のフレームとを比較することとなるので、ステップＳ５，Ｓ６を経てステップＳ７において、やはり色信号データが同じでないと判定されて、ステップＳ１２に進む。そして、ｋ＝１と比較対象フレームを更新して、ステップＳ１３，Ｓ１４からステップＳ１５に進むと、同一シーンと判定されて、ステップＳ４へ進む。そして、ステップＳ５，Ｓ６を経てステップＳ７において色信号データが同じでないと判定されて、ステップＳ１２に進む。そして、ｋ＝０として、ステップＳ１３からステップＳ１４，Ｓ１５を経て、再度ステップＳ１２にてｋ＝−１となり、ステップＳ１３からステップＳ１６に進む。ここでｉ＝−１として、ステップＳ１７〜Ｓ１９，Ｓ２０と進み、判定更新フラグは「０」のままであるので、処理を終了する。
【００４４】
このようにして、ＷＢ評価値抽出部１２は、現フレームの画像データ及び該現フレームと同一シーンつまり同一の照明環境で撮像された過去フレームの画像データから、評価値を複数組取得する。
【００４５】
次に、重複領域が無くなった場合を説明する。
例えば、１番目のフレームと２番目のフレームで重複領域１０５が検出されなかった場合には、２番目のフレームにおいて、ｉ＝０，ｋ＝１の状態で、ステップＳ５にて重複する領域がないと判別され、ステップＳ１２にてｋ＝０とする。そして、ステップＳ１３，Ｓ１４，Ｓ１５を経て、再度ステップＳ１２にてｋ＝−１となり、ステップＳ１３からステップＳ１６に進む。ここでｉ＝−１として、ステップＳ１７〜Ｓ１９，Ｓ２０と進み、判定更新フラグは「０」のままであるので、処理を終了する。
【００４６】
次の３番目のフレームでは、ステップＳ２においてｉ＝１、ステップＳ３においてｋ＝２として、ステップＳ４を経てステップＳ５に進む。このとき、現フレームである３番目のフレームと１つ過去のフレームである２番目のフレームとで重複領域１０５があれば、ステップＳ８〜Ｓ１１で、２番目のフレーム（１つ過去のフレーム）の画像データは同一シーンであるとして、画角サイズ係数、ＷＢ評価値をＷＢ評価値蓄積部１３に格納する。
【００４７】
そして、ステップＳ１６でｉ＝０と判定対象フレームを更新し、ステップＳ１７〜Ｓ１９を経てステップＳ３に戻り、ステップＳ４を経てステップＳ５に進む。ここで、ｋ（＝２）番目のフレームつまり現フレームである３番目のフレームとｉ（＝０）番目のフレームつまり２つ過去のフレームである１番目のフレームとでは重複領域１０５が存在しないので、ステップＳ１２に進み、ｋ＝１と比較対象フレームを更新する。そして、ステップＳ１３，Ｓ１４と進み、ステップＳ１５で２番目のフレームの画像データは同一シーンと判定されて、ステップＳ４に進むこととなる。ステップＳ４においては、今度は、１番目のフレームと２番目のフレームとを比較することとなるので、ステップＳ５において、やはり重複する領域が無いと判定されて、ステップＳ１２に進む。そして、ｋ＝０と比較対象フレームを更新する。今度は、ステップＳ１３，Ｓ１４からステップＳ１５に進むと、同一シーンではないと判定されるため、ステップＳ１２に戻り、更にｋ＝−１と比較対象フレームを更新する。そして、ステップＳ１３からステップＳ１６に進み、ｉ＝−１と判定対象フレームが更新される。
【００４８】
すると、ステップＳ１７〜Ｓ１９を経てステップＳ２０に進み、判定更新フラグが「１」であるので、ステップＳ２１において該判定更新フラグを「０」に初期化すると共にｉ＝１として、ステップＳ１７に進む。そして、ステップＳ１８で同一シーンと判定されるので、ステップＳ１６に戻り、ｉ＝０とする。今度は、ステップＳ１７を経てステップＳ１８で同一シーンでないと判定されるので、ステップＳ１９からステップＳ３に進んで、ｋ＝２とされる。その後、ステップＳ４を経てステップＳ５において重複する領域が無いと判定されて、ステップＳ１２に進む。そして、ｋ＝１として、ステップＳ１３，Ｓ１４からステップＳ１５に進むと、同一シーンと判定されて、ステップＳ４へ進む。そして、ステップＳ５において重複する領域が無いと判定されて、ステップＳ１２に進む。そして、ｋ＝０として、ステップＳ１３からステップＳ１４，Ｓ１５を経て、再度ステップＳ１２にてｋ＝−１となり、ステップＳ１３からステップＳ１６に進む。ここでｉ＝−１として、ステップＳ１７〜Ｓ１９，Ｓ２０と進み、判定更新フラグは「０」のままであるので、処理を終了する。
【００４９】
次の４番目のフレームでは、ステップＳ２においてｉ＝２、ステップＳ３においてｋ＝３として、ステップＳ４，Ｓ５と進む。このとき、現フレームである４番目のフレームと１つ過去のフレームである３番目のフレームとでは重複する領域があるので、ステップＳ６〜Ｓ１１で、３番目のフレーム（１つ過去のフレーム）の画像データは同一シーンであるとして、画角サイズ係数、ＷＢ評価値をＷＢ評価値蓄積部１３に格納する。
【００５０】
そして、ステップＳ１６でｉ＝１と判定対象フレームを更新し、ステップＳ１７〜Ｓ１９を経てステップＳ３に戻り、ステップＳ４を経てステップＳ５に進む。ここで、現フレームである４番目のフレームと２つ過去のフレームである２番目のフレームとでは重複する領域があるので、ステップＳ６〜Ｓ１１で、２番目のフレーム（２つ過去のフレーム）の画像データも同一シーンであるとして、画角サイズ係数、ＷＢ評価値をＷＢ評価値蓄積部１３に格納する。
【００５１】
そして、ステップＳ１６でｉ＝０と判定対象フレームを更新し、ステップＳ１７〜Ｓ１９を経てステップＳ３に戻り、ステップＳ４を経てステップＳ５に進む。ここで、ｋ（＝３）番目のフレームつまり現フレームである４番目のフレームとｉ（＝０）番目のフレームつまり３つ過去のフレームである１番目のフレームとでは重複する領域が無いので、ステップＳ１２に進み、ｋ＝２と比較対象フレームを更新する。そして、ステップＳ１３，Ｓ１４と進み、ステップＳ１５で３番目のフレームの画像データは同一シーンと判定されて、ステップＳ４に進むこととなる。ステップＳ４においては、今度は、１番目のフレームと３番目のフレームとを比較することとなるので、ステップＳ５において、やはり重複する領域が無いと判定されて、ステップＳ１２に進む。そして、ｋ＝１と比較対象フレームを更新し、ステップＳ１３，Ｓ１４と進み、ステップＳ１５で２番目のフレームの画像データは同一シーンと判定されて、ステップＳ４に進むこととなる。ステップＳ４においては、今度は、１番目のフレームと２番目のフレームとを比較することとなるので、ステップＳ５において、やはり重複する領域が無いと判定されて、ステップＳ１２に進む。そして、ｋ＝０と比較対象フレームを更新する。今度は、ステップＳ１３，Ｓ１４からステップＳ１５に進むと、同一シーンではないと判定されるため、ステップＳ１２に戻り、更にｋ＝−１と比較対象フレームを更新する。そして、ステップＳ１３からステップＳ１６に進み、ｉ＝−１と判定対象フレームが更新される。
【００５２】
すると、ステップＳ１７〜Ｓ１９を経てステップＳ２０に進み、判定更新フラグが「１」であるので、ステップＳ２１において該判定更新フラグを「０」に初期化すると共にｉ＝２として、ステップＳ１７に進む。そして、ステップＳ１８で同一シーンと判定されるので、ステップＳ１６に戻り、ｉ＝１とする。今度も、ステップＳ１８で同一シーンと判定されるので、ステップＳ１６に戻り、更にｉ＝０とする。すると、ステップＳ１７を経てステップＳ１８で同一シーンでないと判定されるので、ステップＳ１９からステップＳ３に進んで、ｋ＝３とされる。その後、ステップＳ４を経てステップＳ５において重複する領域が無いと判定されて、ステップＳ１２に進む。そして、ｋ＝２として、ステップＳ１３，Ｓ１４と進み、ステップＳ１５で３番目のフレームの画像データは同一シーンと判定されて、ステップＳ４に進むこととなる。ステップＳ４においては、今度は、１番目のフレームと３番目のフレームとを比較することとなるので、ステップＳ５において、やはり重複する領域が無いと判定されて、ステップＳ１２に進む。そして、ｋ＝１と比較対象フレームを更新して、ステップＳ１３，Ｓ１４からステップＳ１５に進むと、同一シーンと判定されて、ステップＳ４へ進む。そして、ステップＳ５において重複する領域が無いと判定されて、ステップＳ１２に進む。そして、ｋ＝０として、ステップＳ１３からステップＳ１４，Ｓ１５を経て、再度ステップＳ１２にてｋ＝−１となり、ステップＳ１３からステップＳ１６に進む。ここでｉ＝−１として、ステップＳ１７〜Ｓ１９，Ｓ２０と進み、判定更新フラグは「０」のままであるので、処理を終了する。
【００５３】
このようにして、ＷＢ評価値抽出部１２は、現フレームの画像データと過去フレームの画像データとで重複しない領域から、評価値を複数組取得する。
【００５４】
以上のようにして、ＷＢ評価値抽出部１２は、現フレーム及び過去フレームの画像データから、評価値を複数組、取得する評価値取得部として機能する。また、判定対象フレームである過去フレームの画像データから取得する評価値は、同一シーンとして判定されたフレームであって、且つ、そのフレームの非重複領域であるＷＢ評価領域１０６からのみ取得するように、選択的に取得する。
【００５５】
以上により図１におけるＷＢ評価値抽出部１２の処理が終了すると、ＷＢ係数算出部１４においてＷＢ評価値蓄積部１３に蓄積されたＷＢ評価値を用いてＷＢ係数の算出処理が行われる。
【００５６】
図５は、このＷＢ係数算出部１４におけるＷＢ係数算出処理の過程をフローチャートで示す図である。まず、ＷＢ評価値蓄積部１３に蓄積されたＷＢ評価値およびその評価値に対応する重み付け係数を一つずつ取得し（ステップＳ３０１）、その取得したＷＢ評価値である色信号データに基づき色度値（Ｒ／Ｇ、Ｂ／Ｇ）を算出する（ステップＳ３０２）。そして、図６に示すような色度空間において定義された光源色エリア１０７に上記算出した色度値が入っているか否かを判定する（ステップＳ３０３）。ここで、該色度値が光源色エリア１０７に入っていなければ、全てのＷＢ評価値において上記処理を終了したか否かを判別し（ステップＳ３０５）、まだ処理の終了していないＷＢ評価値がＷＢ評価値蓄積部１３にあるならば、上記ステップＳ３０１に戻って、次のＷＢ評価値および重み付け係数を取得することとなる。
【００５７】
これに対して、上記算出した色度値が上記光源色エリア１０７に入っている場合には、上記色度値および重み付け係数を各々の累積値に加算していく（ステップＳ３０６）。そして、上記ステップＳ３０５に進んで、全てのＷＢ評価値において上記処理を終了したか否かを判別し、まだ処理の終了していないＷＢ評価値がＷＢ評価値蓄積部１３にあるならば、上記ステップＳ３０１に戻る。
【００５８】
而して、上記ステップＳ３０５において、全てのＷＢ評価値において上記処理を終了したと判別したならば、上記色度値および重み付け係数の累積値からＷＢ係数ＷｒおよびＷｂを算出して（ステップＳ３０７）、終了する。ここで、ＷＢ係数ＷｒおよびＷｂは、光源色エリア１０７内と判定された色度値および重み付け係数の累積値を各々（Ｒ／Ｇ）ｓｕｍ、（Ｂ／Ｇ）ｓｕｍ、Ｋｓｕｍとすれば、以下の式（２）のように求める。
【数２】
【００５９】
以上のようにして、ＷＢ係数算出部１４は、相対的な画角の大きさ比率である画角サイズ係数を重み付け係数として、該重み付け係数に基づきＷＢ評価値毎に重み付けを行ってホワイトバランス係数を算出する。
【００６０】
以上により、図１におけるＷＢ係数算出部１４の処理が終了すると、ＷＢ係数乗算部１５において上記ＷＢ係数算出部１４にて算出されたＷＢ係数を現フレームの画像データに乗算し、ホワイトバランス補正が行われる。
【００６１】
以上説明した本実施形態によれば、重複領域１０５の色信号データに基づいて照明環境が同一と判定された過去のフレームの画像データを利用することにより、光源色が少ないシーンにおいて、照明環境の径時変化により複数フレーム間で照明環境が異なってしまっても、高精度にホワイトバランス補正を行うことができる。
【００６２】
また、ＷＢ係数算出に用いるＷＢ評価値は、重複領域１０５を除いたＷＢ評価領域１０６の画像データから取得することにより、複数フレーム間の互いに重複する領域に光源色があった場合でも、その光源色を過大評価して、一方に偏った照明光の補正をしてしまうようなことがなく、正確なＷＢ係数を求めることができ、高精度にホワイトバランス補正を行うことができる。
【００６３】
以上、一実施形態に基づいて本発明を説明したが、本発明は上述した一実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。
【００６４】
例えば、上記ＷＢ評価値抽出部１２やＷＢ係数算出部１４の機能を実現するソフトウェアのプログラムをコンピュータに供給し、当該コンピュータがこのプログラムを実行することによって、上記機能を実現することも可能である。
【００６５】
また、上述した一実施形態では、ＷＢ係数算出において光源色の評価値のみを用いてＷＢ係数を算出しているが、これに限ることはなく、例えば肌色や緑色の葉の色等、ある程度出現頻度が多く色の範囲が特定できるような被写体色を評価値から検出して、該被写体色より光源色を推定してもよい。この場合においても、照明環境が同一と判定された過去のフレームの画像を利用することにより、より精度のよいホワイトバランス補正を行うことができる。
【００６６】
（付記）
前記の具体的実施形態から、以下のような構成の発明を抽出することができる。
【００６７】
（１） 撮像素子より得られる画像データを入力して現フレームの画像データの色信号間のバランスを調整するホワイトバランス補正装置であって、
上記現フレームよりも過去に撮像された少なくとも１つの過去フレームの画像データを記憶する画像データ記憶部と、
上記現フレームの画像データおよび上記少なくとも１つの過去フレームの画像データから各画素位置における色信号データを評価値として、複数組取得する評価値取得部と、
上記評価値取得部により得られた複数組の評価値に基づきホワイトバランス係数を算出するホワイトバランス係数算出部と、
上記ホワイトバランス係数算出部で算出した上記ホワイトバランス係数に基づいて、上記撮像素子より得られる現フレームの画像データを補正するホワイトバランス補正部と、
を備え、
上記評価値取得部は、
上記少なくとも１つの過去フレームの画像データと上記現フレームの画像データとで互いに重複する画像領域を検出する重複領域検出部を備え、
上記少なくとも１つの過去フレームの画像データから取得する評価値に関しては、上記重複領域検出部による検出結果に応じて選択的に取得することを特徴とするホワイトバランス補正装置。
【００６８】
（実施形態との対応）
この（１）に記載のホワイトバランス補正装置において、一例として、上記ホワイトバランス補正装置が一実施形態におけるホワイトバランス補正装置１０に、上記撮像素子が一実施形態における撮像素子２１に、上記画像データ記憶部が一実施形態における時系列画像蓄積部１１に、上記評価値取得部が一実施形態におけるＷＢ評価値抽出部１２に、上記ホワイトバランス係数算出部が一実施形態におけるＷＢ係数算出部１４に、上記ホワイトバランス補正部が一実施形態におけるＷＢ係数乗算部１５に、上記重複領域検出部が一実施形態における重複領域検出部１２１に、それぞれ対応する。
【００６９】
（作用効果）
この（１）に記載のホワイトバランス補正装置は、ホワイトバランス係数算出部においてホワイトバランス係数を算出する際に用いる評価値として、少なくとも１つの過去フレームの画像から取得した評価値を全て用いるのではなく、過去フレームの画像データと現フレームの画像データとで互いに重複する画像領域の検出結果に応じて選択的に取得した評価値を用いるようにしている。
従って、この（１）に記載のホワイトバランス補正装置によれば、例えば、照明環境の径時変化により複数フレーム間で照明環境が異なってしまう場合には過去フレームの何れの画像データの評価値を用いるか選択し、複数フレーム間の互いに重複する領域に光源色があった場合には過去画像データの何れの画像領域の評価値を用いるか選択する等、不適当な評価値を用いないようにすることができるため、精度のよいホワイトバランス補正が行える。
【００７０】
（２） 上記評価値取得部は、
上記重複領域検出部により検出された重複領域に基づき、上記少なくとも１つの過去フレームの画像データと上記現フレームの画像データとで互いに重複する画像領域の色信号データを比較して各々のフレームの画像データが同一の照明環境で撮像されたか否かを判定する環境判定部をさらに備え、
上記環境判定部による判定結果に応じて上記少なくとも１つの過去フレームの各画像データの評価値を用いるか用いないかを取捨選択して上記評価値を抽出することを特徴とする（１）に記載のホワイトバランス補正装置。
【００７１】
（実施形態との対応）
この（２）に記載のホワイトバランス補正装置において、一例として、上記環境判定部が一実施形態における色度比較部１２２に対応する。
【００７２】
（作用効果）
この（２）に記載のホワイトバランス補正装置は、環境判定部によって各々のフレームの画像データが同一の照明環境で撮像されたか否かを判定し、その判定結果に応じて過去フレームの各画像データの評価値を用いるか用いないかを取捨選択して評価値を抽出するようにしている。
従って、この（２）に記載のホワイトバランス補正装置によれば、例えば照明環境の径時変化により複数フレーム間で照明環境が異なってしまう場合には、同一の照明環境で撮像されたものではないと判定されたフレームの画像データの評価値を用いないようにすることができるため、精度のよいホワイトバランス補正が行える。
【００７３】
（３） 上記評価値取得部は、上記重複領域検出部により検出された重複領域に基づき、上記少なくとも１つの過去フレームの画像データから、上記現フレームの画像データとは重複しない画像領域における色信号データを評価値として抽出することを特徴とする（１）または（２）に記載のホワイトバランス補正装置。
【００７４】
（実施形態との対応）
この（３）に記載のホワイトバランス補正装置において、一例として、上記重複領域が一実施形態における重複領域１０５に、上記重複しない画像領域が一実施形態におけるＷＢ評価領域１０６に、それぞれ対応する。
【００７５】
（作用効果）
この（３）に記載のホワイトバランス補正装置は、過去フレームの画像データから現フレームの画像データとは重複しない画像領域における色信号データを評価値として抽出するようにしている。
従って、この（３）に記載のホワイトバランス補正装置によれば、例えば複数フレーム間の互いに重複する領域に光源色があった場合には、その重複する領域の評価値を用いないようにすることができるため、精度のよいホワイトバランス補正が行える。
【００７６】
（４） 上記少なくとも１つの過去フレームの各画像データの現フレームの画像データに対する相対的な画角の大きさ比率を算出する比率算出部を更に備え、
上記ホワイトバランス係数算出部は、上記比率算出部で算出された上記相対的な画角の大きさ比率に基づき上記評価値毎に重み付けを行い上記ホワイトバランス係数を算出することを特徴とする（１）乃至（３）の何れかに記載のホワイトバランス制御装置。
【００７７】
（実施形態との対応）
この（４）に記載のホワイトバランス補正装置において、一例として、上記比率算出部が一実施形態における相対画角検出部１２３に対応する。
【００７８】
（作用効果）
この（４）に記載のホワイトバランス補正装置は、相対的な画角の大きさ比率に基づき評価値毎に重み付けを行ってホワイトバランス係数を算出するようにしている。
従って、この（４）に記載のホワイトバランス補正装置によれば、評価値を画角の変化に応じて補正することとなるので、より精度よくホワイトバランス補正が行える。
【００７９】
（５） 撮像素子より得られる現フレームの画像データおよび該現フレームのよりも過去に撮像された少なくとも１つの過去フレームの画像データから、各画素位置における色信号データを評価値として、複数組取得するステップと、
上記取得された複数組の評価値に基づきホワイトバランス係数を算出するステップと、
をコンピュータに発揮させて、撮像素子より得られる現フレームの画像データの色信号間のバランスを調整するためのホワイトバランス係数をコンピュータに算出させる信号処理プログラムであって、
上記評価値を複数組取得するステップは、
上記少なくとも１つの過去フレームの画像データと上記現フレームの画像データとで互いに重複する画像領域を検出するステップを含み、
上記少なくとも１つの過去フレームの画像データから取得する評価値に関しては、上記重複する画像領域の検出結果に応じてコンピュータに選択的に取得させることを特徴とする信号処理プログラム。
【００８０】
（実施形態との対応）
この（５）に記載の信号処理プログラムにおいて、一例として、上記評価値を複数組取得するステップが一実施形態におけるＷＢ評価値抽出部１２の機能を実現するソフトウェアのプログラムに、上記ホワイトバランス係数を算出するステップが一実施形態におけるＷＢ係数算出部１４の機能を実現するソフトウェアのプログラムに、上記重複する画像領域を検出するステップが一実施形態におけるＷＢ評価値抽出部１２の重複領域検出部１２１の機能を実現するソフトウェアのプログラムに、それぞれ対応する。
【００８１】
（作用効果）
この（５）に記載の信号処理プログラムは、コンピュータに、ホワイトバランス係数を算出させる際に用いる評価値として、少なくとも１つの過去フレームの画像から取得した評価値を全て用いるのではなく、過去フレームの画像データと現フレームの画像データとで互いに重複する画像領域の検出結果に応じて選択的に取得した評価値を用いさせるようにしている。
従って、この（５）に記載の信号処理プログラムによれば、例えば、照明環境の径時変化により複数フレーム間で照明環境が異なってしまう場合には過去フレームの何れの画像データの評価値を用いるか選択させ、複数フレーム間の互いに重複する領域に光源色があった場合には過去画像データの何れの画像領域の評価値を用いるか選択させる等、コンピュータに、不適当な評価値を用いないようにさせることができるため、精度のよいホワイトバランス補正が行える。
【図面の簡単な説明】
【００８２】
【図１】図１は、本発明の一実施形態に係るホワイトバランス補正装置の全体構成を示す図である。
【図２】図２は、図１におけるＷＢ評価値抽出部におけるＷＢ評価値抽出の過程を説明するためのフローチャートを示す図である。
【図３】図３（Ａ）は、評価値抽出位置を説明するための図であり、図３（Ｂ）は、評価値抽出領域を説明するための図であり、図３（Ｃ）は、ＷＢ評価領域を説明するための図である。
【図４】図４は、図２におけるステップＳ１０の具体的な処理の流れを説明するためのフローチャートを示す図である。
【図５】図５は、図１におけるＷＢ係数算出部におけるＷＢ係数算出の過程を説明するためのフローチャートを示す図である。
【図６】図６は、色度空間内に定義された光源色エリアを説明するための図である。
【符号の説明】
【００８３】
１０…ホワイトバランス補正装置、 １１…時系列画像蓄積部、 １２…ＷＢ評価値抽出、 １３…ＷＢ評価値蓄積部、 １４…ＷＢ係数算出部、 １５…ＷＢ係数乗算部、 ２１…撮像素子、 ２２…撮像レンズ、 １００…現フレーム画像領域、 １０１…評価値抽出位置、 １０２…評価値抽出領域、 １０３…判定対象フレーム画像領域、 １０４…比較対象フレーム画像領域、 １０５…重複領域、 １０６…ＷＢ評価領域、 １０７…光源色エリア、 １２１…重複領域検出部、 １２２…色度比較部、 １２３…相対画角検出部。
【技術分野】
【０００１】
本発明は、デジタルカメラやビデオカメラ等において使用されるホワイトバランス補正装置及びコンピュータにホワイトバランス係数を算出させる信号処理プログラムに関する。
【背景技術】
【０００２】
一般にデジタルカメラやビデオカメラにおいては、白色光源の色が無彩色となるようにカラーバランスを自動補正するオートホワイトバランス補正装置が搭載されている。これにより、人間の視覚系における色順応の効果をできあがりの写真に擬似的に果たすことにより、違和感のない色調の写真を得ることが可能となる。このホワイトバランス補正を行うためには、まず白色自体を測定することが必要であり、従来は、カメラの撮像素子とは別に設けた測光センサの出力を用いて白を測定する方法、もしくは、撮像素子からの画像データをもとに白を検出する方法が採られていた。測光センサを用いる方法は、コストが高くなり、また撮像範囲と測光範囲は少なからず一致していないため、誤差もある。そのため、一般的には、撮像素子からの画像データをもとに光源の色（無彩色）を検出する方法が主流である。
【０００３】
しかしながら、そのような画像データをもとに光源の色を検出する方法では、画像データに光源の色（無彩色）が無いまたは非常に少ない場合には、正確なホワイトバランスが行えないという欠点がある。このような問題に対し、特許文献１や特許文献２に開示されているように、過去に撮像された画像データを含む複数フレームの画像を用いてホワイトバランス制御を行えば、ホワイトバランスを行う画像中に光源の色が無くとも、他のフレームの画像を利用して光源色の検出確率を上げることが可能である。
【特許文献１】特開平９−４６５７９号公報
【特許文献２】特開平５−８３７２９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上記特許文献１及び特許文献２に開示されている技術はいずれも、照明条件が単一であれば有効である。しかしながら、照明条件がミックス光下のように幾つかの色温度の照明光が混合されて照らされている環境下においては、複数フレーム間の互いに重複する領域に光源色があった場合、その光源色を過大評価し、一方に偏った照明光の補正をしてしまい、正確なホワイトバランス補正値を求めることができないことがある。また、照明環境の径時変化により複数フレーム間で照明環境が異なっている場合には、正確なホワイトバランスが行えないといった問題がある。
【０００５】
このように、上記特許文献１及び特許文献２に開示されている技術では、ホワイトバランス補正を精度よく行うことができなかった。
【０００６】
本発明は、上記の点に鑑みてなされたもので、精度のよいホワイトバランス補正が行えるホワイトバランス補正装置及びそのためのホワイトバランス係数をコンピュータに算出させる信号処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明のホワイトバランス補正装置の一態様は、
撮像素子より得られる画像データを入力して現フレームの画像データの色信号間のバランスを調整するホワイトバランス補正装置であって、
上記現フレームよりも過去に撮像された少なくとも１つの過去フレームの画像データを記憶する画像データ記憶部と、
上記現フレームの画像データおよび上記少なくとも１つの過去フレームの画像データから各画素位置における色信号データを評価値として、複数組取得する評価値取得部と、
上記評価値取得部により得られた複数組の評価値に基づきホワイトバランス係数を算出するホワイトバランス係数算出部と、
上記ホワイトバランス係数算出部で算出した上記ホワイトバランス係数に基づいて、上記撮像素子より得られる現フレームの画像データを補正するホワイトバランス補正部と、
を備え、
上記評価値取得部は、
上記少なくとも１つの過去フレームの画像データと上記現フレームの画像データとで互いに重複する画像領域を検出する重複領域検出部を備え、
上記少なくとも１つの過去フレームの画像データから取得する評価値に関しては、上記重複領域検出部による検出結果に応じて選択的に取得することを特徴とする。
本発明の画像処理プログラムの一態様は、
撮像素子より得られる現フレームの画像データおよび該現フレームのよりも過去に撮像された少なくとも１つの過去フレームの画像データから、各画素位置における色信号データを評価値として、複数組取得するステップと、
上記取得された複数組の評価値に基づきホワイトバランス係数を算出するステップと、
をコンピュータに発揮させて、撮像素子より得られる現フレームの画像データの色信号間のバランスを調整するためのホワイトバランス係数をコンピュータに算出させる信号処理プログラムであって、
上記評価値を複数組取得するステップは、
上記少なくとも１つの過去フレームの画像データと上記現フレームの画像データとで互いに重複する画像領域を検出するステップを含み、
上記少なくとも１つの過去フレームの画像データから取得する評価値に関しては、上記重複する画像領域の検出結果に応じてコンピュータに選択的に取得させることを特徴とする。
これらの態様によれば、ホワイトバランス係数算出部においてホワイトバランス係数を算出する際に用いる評価値として、少なくとも１つの過去フレームの画像から取得した評価値を全て用いるのではなく、過去フレームの画像データと現フレームの画像データとで互いに重複する画像領域の検出結果に応じて選択的に取得した評価値を用いるようにしているので、例えば、照明環境の径時変化により複数フレーム間で照明環境が異なってしまう場合には過去フレームの何れの画像データの評価値を用いるか選択し、複数フレーム間の互いに重複する領域に光源色があった場合には過去画像データの何れの画像領域の評価値を用いるか選択する等、不適当な評価値を用いないようにすることができるため、精度のよいホワイトバランス補正が行える。
【発明の効果】
【０００８】
本発明によれば、精度のよいホワイトバランス補正が行えるホワイトバランス補正装置及びそのためのホワイトバランス係数をコンピュータに算出させる信号処理プログラムを提供することができる。
【発明を実施するための最良の形態】
【０００９】
以下、本発明を実施するための最良の形態を図面を参照して説明する。
【００１０】
図１は、本発明の一実施形態に係るホワイトバランス補正装置１０の全体構成を示す図である。本実施形態におけるホワイトバランス補正装置は、本ホワイトバランス補正装置１０が搭載されるカメラの撮像素子２１より得られる画像データを入力して現フレームの画像の色信号間のバランスを調整するものである。
【００１１】
即ち、本ホワイトバランス補正装置１０は、被写体の像を撮像レンズ２２を介して撮像する撮像素子２１により現在からある所定時間内に撮像された過去のフレームを含む複数枚のフレームの画像データ、つまり最新のフレーム（現フレーム）の画像データと少なくとも１つの過去フレームの画像データとを記憶する画像データ記憶部として機能する時系列画像蓄積部１１と、上記時系列画像蓄積部１１に記憶された複数フレームの画像データから照明環境が同一であるシーンを判定して該同一シーンの画像データよりホワイトバランス係数を算出するための評価値を抽出するＷＢ評価値抽出部１２と、上記ＷＢ評価値抽出部１２により抽出された評価値を蓄積するＷＢ評価値蓄積部１３と、上記ＷＢ評価値蓄積部１３に蓄積された評価値に基づきホワイトバランス係数を算出するホワイトバランス係数算出部として機能するＷＢ係数算出部１４と、撮像素子により撮像された現フレームの画像に対し上記ＷＢ係数算出部１４により算出されたＷＢ係数を乗算することで現フレームの画像データを補正するホワイトバランス補正部として機能するＷＢ係数乗算部１５と、で構成される。
【００１２】
ここで、上記時系列画像蓄積部１１は、ある所定時間内に撮像された過去フレームの画像データを記憶するが、必ずしも所定時間内に撮像された全てのフレーム画像データを記憶する必要はなく、例えば所定時間内において所定のインターバル期間により間引いたフレームの画像データのみを記憶してもよい。また、各々のフレーム画像データに対しても必ずしも全画素を記憶する必要もなく、ある所定の比率により縮小された縮小画像データにして記憶してもよい。このような間引きまたは縮小を行えば、上記時系列画像蓄積部を構成するメモリが有する所定のメモリ量に対して、より長い期間のフレーム画像データを記憶することができるので、後段のＷＢ係数算出部１４において光源色の検出確率を増やすことが可能となる。
【００１３】
また、上記ＷＢ評価値抽出部１２は、詳細には、各フレーム間の互いに重複する画像領域を検出する重複領域検出部１２１と、上記重複領域検出部１２１により検出された重複部における各フレーム間の画像データの色信号データを比較して各々のフレームの画像データが同一の照明環境で撮像されたか否かを判定する環境判定部として機能する色度比較部１２２と、さらには同一シーンと判定されたフレームの画像データの画角サイズが、現在（最新）のフレームの画像データの画角サイズに対してどの程度、拡大または縮小されて撮像されているかを算出する相対画角検出部１２３と、を備えている。
【００１４】
以下、上記ＷＢ評価値抽出部１２において照明環境が同一であるシーンを判定して評価値を抽出する過程を図２に示すフローチャートに基づき説明する。
【００１５】
ＷＢ評価値抽出部１２は、まず、上記時系列画像蓄積部１１に記憶された現在（最新）のフレームの画像データから画像領域全体にわたる各画素位置の色信号データをＷＢ評価値として取得し、後段のＷＢ評価値蓄積部１３へ出力してそこに格納する（ステップＳ１）。このとき、図３（Ａ）に示すように、現フレーム画像領域１００全体のうちある一定間隔で間引いた画素位置を評価値抽出位置１０１として、該評価値抽出位置１０１の色信号データを評価値として抽出してもよいし、また図３（Ｂ）に示すように、ある一定サイズの評価値抽出領域１０２毎に色信号データの平均値を求め、その求めた平均値を抽出するようにしてもよい。
【００１６】
次に、ステップＳ２以降により、現在よりも過去のフレーム画像データに対して現在のフレーム画像データと同一シーンか否かを判定し、過去のフレーム画像データの評価値を抽出する。ここでは仮定として、時系列画像蓄積部１１にはＮ枚のフレーム画像データが記憶されているとし、０番目のフレームが一番過去に撮像されたフレーム、Ｎ番目のフレームが現在（最新）のフレームとする。
【００１７】
まず、判定のための初期設定を行う（ステップＳ２）。即ち、この段階では、まず、判定結果の初期化として、全ての過去フレーム（０番目からＮ−１番目のフレーム）に対して判定結果を同一シーンでないと設定する。また、後段の判定処理により判定結果が更新されたか否かを示す判定更新フラグを「０」に初期化し、さらに判定を行う最初の判定対象フレームをＮ−１番目のフレームに設定する。
【００１８】
次に、同一シーンか否かの判定をする際の基準となるフレーム（比較対象フレーム）の画像データをＮ番目のフレーム（現在のフレーム画像）の画像データと設定する（ステップＳ３）。
【００１９】
その後、上記判定対象フレームの画像データと比較対象フレームの画像データとで互いに重複する重複領域を、図１における重複領域検出部１２１を用いて検出する（ステップＳ４）。そして、上記判定対象フレームの画像データと比較対象フレームの画像データとで互いに重複する領域があるか否かを判別し（ステップＳ５）、重複領域がある場合には、後段のステップＳ６に進む。一方、重複する領域がない場合には、ステップＳ１２〜Ｓ１５の処理により比較対象フレームを既に同一シーンとして判定された他のフレームに更新して、再び上記ステップＳ４、Ｓ５の処理を繰り返す。即ち、比較対象フレームを１つ過去のフレームに更新し（ステップＳ１２）、その結果、−１番目のフレームとなってしまったか否か、つまり全ての比較対象フレームに対する判定処理を終了したか否かを判別する（ステップＳ１３）。そして、まだ全ての比較対象フレームに対する判定処理が終了していない場合には、その更新した比較対象フレームの画像データの判定結果を参照して（ステップＳ１４）、既に同一シーンであると判定された過去のフレームの画像データであるかどうか確認する（ステップＳ１５）。ここで、同一シーンでなければ上記ステップＳ１２に戻り、同一シーンであれば上記ステップＳ４に戻る。また、上記ステップＳ１３において、全ての比較対象フレームの画像データに対して判定処理が終了したと判断した場合には、ステップＳ１６により判定対象フレームを次のフレームに更新し、判定処理を続行する。
【００２０】
なお、上記重複領域検出部１２１において重複領域を検出する具体的方法としては、画像データの部分領域毎のパターンや特徴量のマッチングを行い、フレーム間で対応する領域を検出してもよいし、また図示しないが、装置外部に設けたジャイロセンサ等を用いて装置の位置や角度変化を検出して記憶しておき、フレーム間の装置の位置や角度変化から画角変化を推定して重複領域を算出してもよい。
【００２１】
上記ステップＳ５において重複する領域があると判別した場合には、ＷＢ評価値抽出部１２は、図１における色度比較部１２２を用いて、判定対象フレームの画像データと比較対象フレームの画像データとで互いに重複する領域の色信号データを比較する（ステップＳ６）。即ち、判定対象フレームの画像データにおける色信号データをＲｉ（ｘ，ｙ），Ｇｉ（ｘ，ｙ），Ｂｉ（ｘ，ｙ）、比較対象フレームの画像データにおける色信号データをＲｋ（ｘ，ｙ），Ｇｋ（ｘ，ｙ），Ｂｋ（ｘ，ｙ）とすれば、以下の式（１）で表されるΔＲＢをフレーム間の色度比較値とする。
【数１】
【００２２】
なおここで、Ωは上記重複領域を示し、Σは上記重複領域の各々の画素について累積することを示している。
【００２３】
そして、上記色度比較部１２２は、上記色度比較値がある所定値以内であるか否かにより、フレーム間の色信号データが同じか否か、つまり、フレーム間で照明環境が同一であるか否かを判定する（ステップＳ７）。ここで、上記色度比較値がある所定値以内であれば、フレーム間で照明環境は同一であると判断して、上記判定対象フレームは現在のフレームと同一シーンであると判断され、上記判定対象フレームに対する判定結果を同一シーンであると更新する（ステップＳ８）。一方、上記色度比較値が上記ある所定値以上であれば、フレーム間に照明環境の変化があったとして、上述と同様ステップＳ１２〜Ｓ１５の処理により比較対象フレームを更新して、再び上記ステップＳ４、Ｓ５の処理を繰り返す。
【００２４】
このように、ＷＢ評価値抽出部１２は、色度比較部１２２による判定結果に応じて当該判定対象フレームの画像データの評価値を用いるか用いないかを取捨選択する。
【００２５】
上記ステップＳ８において判定結果を更新後は、図１における相対画角検出部１２３を用いて、上記判定対象フレームの画像データと比較対象フレームの画像データとで互いに重複する領域のパターン（もしくは特徴量）の大きさの変化から画角サイズの変化率を算出し、その画角サイズ変化率から上記判定対象フレームの画像データの現在のフレームの画像データに対する相対的な画角の大きさ比率である画角サイズ係数を算出する（ステップＳ９）。ここで、もし上記比較対象フレームの画像データが現在（Ｎ番目）のフレームのものであれば、上記判定対象フレームの画像データと比較対象フレームの画像データとの画角サイズの変化率をそのまま画角サイズ係数とすればよい。一方、上記比較対象フレームの画像データが既に同一シーンであると判定された過去のフレームのものであれば、その比較対象フレームの画像データに対して既に求められた画角サイズ係数に、上記判定対象フレームの画像データと比較対象フレームの画像データとの画角サイズの変化率を乗算することにより、現在（Ｎ番目）のフレームの画像データに対する画角サイズ係数を求めることができる。
【００２６】
次に、ＷＢ評価値抽出部１２は、同一シーンであると判定された上記判定対象フレームからＷＢ評価値を抽出して、図１におけるＷＢ評価値蓄積部１３へ出力してそこに格納する（ステップＳ１０）。
【００２７】
図４は、このステップＳ１０におけるＷＢ評価値の抽出・格納の過程をフローチャートで示す図である。まず、上記ステップＳ４における重複領域の検出結果から、上記判定対象フレームの画像データに対して上記比較対象フレームの画像データと重複しない領域である非重複領域を、ＷＢ評価領域として抽出する（ステップＳ２０１）。さらに、ステップＳ２０２からステップＳ２０８において比較対象フレームを更新していき、最終的には現在のフレームの画像データも含め既に同一シーンとして判定された全てのフレームの画像データに対して重複しない領域を上記判定対象フレームの画像領域から求め、これをＷＢ評価領域とする。即ち、比較対象フレームを１つ過去のフレームに更新し（ステップＳ２０２）、その結果、−１番目のフレームとなってしまったか否か、つまり全ての比較対象フレームに対するＷＢ評価領域の検出処理を終了したか否かを判別する（ステップＳ２０３）。そして、まだ全ての比較対象フレームに対する処理が終了していない場合には、その更新した比較対象フレームの画像データの判定結果を参照して（ステップＳ２０４）、既に同一シーンであると判定された過去のフレームの画像データであるかどうか確認する（ステップＳ２０５）。ここで、同一シーンでなければ上記ステップＳ２０２に戻る。これに対して、同一シーンであれば、図１における重複領域検出部１２１を用いて、現在ＷＢ評価領域として抽出されている領域と上記比較対象フレームの画像データとで互いに重複する領域を検出する（ステップＳ２０６）。そして、上記ＷＢ評価領域と比較対象フレームの画像データとで互いに重複する領域があるか否かを判別し（ステップＳ２０７）、重複領域が無ければ上記ステップＳ２０２に戻る。これに対して、重複領域がある場合には、上記ＷＢ評価領域からその検出した重複領域を除いた領域を新たなＷＢ評価領域として更新して（ステップＳ２０８）、上記ステップＳ２０３に戻る。
【００２８】
而して、上記ステップＳ２０３において、全ての比較対象フレームについて処理を行ったと判定したならば、図３（Ｃ）に示すように、判定対象フレーム画像領域１０３から比較対象フレーム画像領域１０４との重複領域１０５を除いた領域として最終的に検出された判定対象フレーム画像領域１０３のＷＢ評価領域１０６から、各評価値抽出位置１０１、例えば各画素位置における色信号データをＷＢ評価値として取得する（ステップＳ２０９）。また、上記ＷＢ評価領域１０６から、評価値抽出領域１０２毎に求めた色信号データの平均値をＷＢ評価値として取得するようにしてもよい。そしてさらに、上記ステップＳ９において求めた画角サイズ係数を重み付け係数として、この重み付け係数とともに、取得されたＷＢ評価値をＷＢ評価値蓄積部１３へ出力してそこに格納し（ステップＳ２１０）、図２におけるステップＳ１０の処理が終了する。
【００２９】
このように、ＷＢ評価値抽出部１２は、上記重複領域検出部１２１を用いて検出した重複領域に基づき、上記少なくとも１つの過去フレームの画像データから、上記現フレームの画像データとは重複しない画像領域における色信号データをＷＢ評価値として抽出する。
【００３０】
次に、ＷＢ評価値抽出部１２は、上記判定対象フレームについて判定結果が更新されたことを示す判定更新フラグを「１」に更新する（ステップＳ１１）。そして、ステップＳ１６〜ステップＳ１９の処理により判定対象フレームを更新する。即ち、判定対象フレームを１つ過去のフレームに更新して（ステップＳ１６）、当該判定対象フレームの画像データの判定結果を参照して（ステップＳ１７）、既に同一シーンであると判定された過去のフレームの画像データであるかどうか確認する（ステップＳ１８）。ここで、同一シーンであれば上記ステップＳ１６に戻る。これに対して、同一シーンでなければ、上記判定対象フレームの更新の結果、−１番目のフレームとなってしまったか否か、つまり全ての判定対象フレームに対する判定処理を終了したか否かを判別する（ステップＳ１９）。そして、まだ全ての判定対象フレームに対する処理が終了していない場合には、上記ステップＳ３に戻る。このように判定対象フレームを更新しつつ、上記説明したステップＳ３〜ステップＳ１５までの処理を繰り返すことにより、全てのフレームについて同一シーンであるか否かを判定していく。
【００３１】
而して、上記ステップＳ１９において、全ての判定対象フレームに対する判定処理を行ったと判定したならば、判定結果が更新されたことを示す判定更新フラグを判別することで、上述のステップＳ３〜ステップＳ１９の処理を行った結果、一回でも上記ステップＳ１１において判定結果が更新されたか否かを判別する（ステップＳ２０）。そして、もし一回でも判定結果が更新されていれば、即ち、同一シーンであると判断されたフレームが増えていれば、再び判定更新フラグを「０」に初期化すると共に判定対象フレームをＮ−１番目のフレームに初期化する（ステップＳ２１）。その後、上記ステップＳ１７に戻った後、上記ステップＳ１８、Ｓ１９を介して上記ステップＳ３の処理に戻り、同一シーンとして判定されていないフレームに対して判定処理を再び行う。一方、上記ステップＳ２０において、同一シーンであると判断されたフレームが増えてなければ、処理を終了する。
【００３２】
以下、具体的に説明する。
例えば、現フレームが４番目（Ｎ＝３）のフレームであるとすれば、ステップＳ２においてｉ＝２、ステップＳ３においてｋ＝３として、ステップＳ４で重複領域１０５が検出され、ステップＳ５〜Ｓ７で重複領域１０５が有って、色信号データが同じであると判定されれば、ステップＳ８において３番目のフレーム（１つ過去のフレーム）の画像データは同一シーンであることに更新し、ステップＳ９，Ｓ１０で画角サイズ係数、ＷＢ評価値をＷＢ評価値蓄積部１３に格納し、ステップＳ１１で判定更新フラグを「１」に更新する。
【００３３】
その後、ステップＳ１６でｉ＝１と判定対象フレームを更新すると、ステップＳ１７〜Ｓ１９を経てステップＳ３に戻り、同様にしてステップＳ４〜Ｓ１１で、２番目のフレーム（２つ過去のフレーム）の画像データも同一シーンであるとして、画角サイズ係数、ＷＢ評価値をＷＢ評価値蓄積部１３に格納する。
【００３４】
そして、またステップＳ１６でｉ＝０と判定対象フレームを更新し、ステップＳ１７〜Ｓ１９を経てステップＳ３に戻り、ステップＳ４〜Ｓ１１で、１番目のフレーム（３つ過去のフレーム）の画像データも同一シーンであるとして、画角サイズ係数、ＷＢ評価値をＷＢ評価値蓄積部１３に格納する。その後、ステップＳ１６でｉ＝−１と判定対象フレームが更新されると、ステップＳ１７〜Ｓ１９を経てステップＳ２０に進み、判定更新フラグが「１」であるので、ステップＳ２１において該判定更新フラグを「０」に初期化すると共にｉ＝２として、ステップＳ１７に進む。すると、ステップＳ１８で同一シーンであると判定されるため、ステップＳ１６にてｉ＝１とされ、ステップＳ１７を経てステップＳ１８で同様に同一シーンと判定されて、更にステップＳ１６でｉ＝−１とされる。今度はステップＳ１８にて同一シーンでないと判定されるため、ステップＳ１９，Ｓ２０と進み、判定更新フラグは「０」に初期化されているので、処理を終了する。
【００３５】
このようにして、ＷＢ評価値抽出部１２は、現フレーム及び過去フレームの画像データから、評価値を複数組取得する。
【００３６】
次に、色信号データが変化した場合を説明する。
例えば、１番目のフレームと２番目のフレームの重複領域１０５において異なる色信号データが検出された場合には、２番目のフレームにおいて、ｉ＝０，ｋ＝１の状態で、ステップＳ７にて色信号データが同じでないと判別され、ステップＳ１２にてｋ＝０とする。そして、ステップＳ１３，Ｓ１４，Ｓ１５を経て、再度ステップＳ１２にてｋ＝−１となり、ステップＳ１３からステップＳ１６に進む。ここでｉ＝−１として、ステップＳ１７〜Ｓ１９，Ｓ２０と進み、判定更新フラグは「０」のままであるので、処理を終了する。
【００３７】
次の３番目のフレームでは、ステップＳ２においてｉ＝１、ステップＳ３においてｋ＝２として、ステップＳ４〜Ｓ７に進む。このとき、現フレームである３番目のフレームと１つ過去のフレームである２番目のフレームとでは色信号データが同じであるので、ステップＳ８〜Ｓ１１で、２番目のフレーム（１つ過去のフレーム）の画像データは同一シーンであるとして、画角サイズ係数、ＷＢ評価値をＷＢ評価値蓄積部１３に格納する。
【００３８】
そして、ステップＳ１６でｉ＝０と判定対象フレームを更新し、ステップＳ１７〜Ｓ１９を経てステップＳ３に戻り、ステップＳ４〜Ｓ６を経てステップＳ７に進む。ここで、ｋ（＝２）番目のフレームつまり現フレームである３番目のフレームとｉ（＝０）番目のフレームつまり２つ過去のフレームである１番目のフレームとでは色信号データが同じではないので、ステップＳ１２に進み、ｋ＝１と比較対象フレームを更新する。そして、ステップＳ１３，Ｓ１４と進み、ステップＳ１５で２番目のフレームの画像データは同一シーンと判定されて、ステップＳ４に進むこととなる。ステップＳ４においては、今度は、１番目のフレームと２番目のフレームとを比較することとなるので、ステップＳ５，Ｓ６を経てステップＳ７において、やはり色信号データが同じでないと判定されて、ステップＳ１２に進む。そして、ｋ＝０と比較対象フレームを更新する。今度は、ステップＳ１３，Ｓ１４からステップＳ１５に進むと、同一シーンではないと判定されるため、ステップＳ１２に戻り、更にｋ＝−１と比較対象フレームを更新する。そして、ステップＳ１３からステップＳ１６に進み、ｉ＝−１と判定対象フレームが更新される。
【００３９】
すると、ステップＳ１７〜Ｓ１９を経てステップＳ２０に進み、判定更新フラグが「１」であるので、ステップＳ２１において該判定更新フラグを「０」に初期化すると共にｉ＝１として、ステップＳ１７に進む。そして、ステップＳ１８で同一シーンと判定されるので、ステップＳ１６に戻り、ｉ＝０とする。今度は、ステップＳ１７を経てステップＳ１８で同一シーンでないと判定されるので、ステップＳ１９からステップＳ３に進んで、ｋ＝２とされる。その後、ステップＳ４，Ｓ５，Ｓ６を経てステップＳ７において色信号データが同じでないと判定されて、ステップＳ１２に進む。そして、ｋ＝１として、ステップＳ１３，Ｓ１４からステップＳ１５に進むと、同一シーンと判定されて、ステップＳ４へ進む。そして、ステップＳ５，Ｓ６を経てステップＳ７において色信号データが同じでないと判定されて、ステップＳ１２に進む。そして、ｋ＝０として、ステップＳ１３からステップＳ１４，Ｓ１５を経て、再度ステップＳ１２にてｋ＝−１となり、ステップＳ１３からステップＳ１６に進む。ここでｉ＝−１として、ステップＳ１７〜Ｓ１９，Ｓ２０と進み、判定更新フラグは「０」のままであるので、処理を終了する。
【００４０】
次の４番目のフレームでは、ステップＳ２においてｉ＝２、ステップＳ３においてｋ＝３として、ステップＳ４〜Ｓ７に進む。このとき、現フレームである４番目のフレームと１つ過去のフレームである３番目のフレームとでは色信号データが同じであるので、ステップＳ８〜Ｓ１１で、３番目のフレーム（１つ過去のフレーム）の画像データは同一シーンであるとして、画角サイズ係数、ＷＢ評価値をＷＢ評価値蓄積部１３に格納する。
【００４１】
そして、ステップＳ１６でｉ＝１と判定対象フレームを更新し、ステップＳ１７〜Ｓ１９を経てステップＳ３に戻り、ステップＳ４〜Ｓ６を経てステップＳ７に進む。ここで、現フレームである４番目のフレームと２つ過去のフレームである２番目のフレームとでは色信号データが同じであるので、ステップＳ８〜Ｓ１１で、２番目のフレーム（２つ過去のフレーム）の画像データも同一シーンであるとして、画角サイズ係数、ＷＢ評価値をＷＢ評価値蓄積部１３に格納する。
【００４２】
そして、ステップＳ１６でｉ＝０と判定対象フレームを更新し、ステップＳ１７〜Ｓ１９を経てステップＳ３に戻り、ステップＳ４〜Ｓ６を経てステップＳ７に進む。ここで、ｋ（＝３）番目のフレームつまり現フレームである４番目のフレームとｉ（＝０）番目のフレームつまり３つ過去のフレームである１番目のフレームとでは色信号データが同じではないので、ステップＳ１２に進み、ｋ＝２と比較対象フレームを更新する。そして、ステップＳ１３，Ｓ１４と進み、ステップＳ１５で３番目のフレームの画像データは同一シーンと判定されて、ステップＳ４に進むこととなる。ステップＳ４においては、今度は、１番目のフレームと３番目のフレームとを比較することとなるので、ステップＳ５，Ｓ６を経てステップＳ７において、やはり色信号データが同じでないと判定されて、ステップＳ１２に進む。そして、ｋ＝１と比較対象フレームを更新する。そして、ステップＳ１３，Ｓ１４と進み、ステップＳ１５で２番目のフレームの画像データは同一シーンと判定されて、ステップＳ４に進むこととなる。ステップＳ４においては、今度は、１番目のフレームと２番目のフレームとを比較することとなるので、ステップＳ５，Ｓ６を経てステップＳ７において、やはり色信号データが同じでないと判定されて、ステップＳ１２に進む。そして、ｋ＝０と比較対象フレームを更新する。今度は、ステップＳ１３，Ｓ１４からステップＳ１５に進むと、同一シーンではないと判定されるため、ステップＳ１２に戻り、更にｋ＝−１と比較対象フレームを更新する。そして、ステップＳ１３からステップＳ１６に進み、ｉ＝−１と判定対象フレームが更新される。
【００４３】
すると、ステップＳ１７〜Ｓ１９を経てステップＳ２０に進み、判定更新フラグが「１」であるので、ステップＳ２１において該判定更新フラグを「０」に初期化すると共にｉ＝２として、ステップＳ１７に進む。そして、ステップＳ１８で同一シーンと判定されるので、ステップＳ１６に戻り、ｉ＝１とする。今度も、ステップＳ１８で同一シーンと判定されるので、ステップＳ１６に戻り、更にｉ＝０とする。すると、ステップＳ１７を経てステップＳ１８で同一シーンでないと判定されるので、ステップＳ１９からステップＳ３に進んで、ｋ＝３とされる。その後、ステップＳ４，Ｓ５，Ｓ６を経てステップＳ７において色信号データが同じでないと判定されて、ステップＳ１２に進む。そして、ｋ＝２として、ステップＳ１３，Ｓ１４と進み、ステップＳ１５で３番目のフレームの画像データは同一シーンと判定されて、ステップＳ４に進むこととなる。ステップＳ４においては、今度は、１番目のフレームと３番目のフレームとを比較することとなるので、ステップＳ５，Ｓ６を経てステップＳ７において、やはり色信号データが同じでないと判定されて、ステップＳ１２に進む。そして、ｋ＝１と比較対象フレームを更新して、ステップＳ１３，Ｓ１４からステップＳ１５に進むと、同一シーンと判定されて、ステップＳ４へ進む。そして、ステップＳ５，Ｓ６を経てステップＳ７において色信号データが同じでないと判定されて、ステップＳ１２に進む。そして、ｋ＝０として、ステップＳ１３からステップＳ１４，Ｓ１５を経て、再度ステップＳ１２にてｋ＝−１となり、ステップＳ１３からステップＳ１６に進む。ここでｉ＝−１として、ステップＳ１７〜Ｓ１９，Ｓ２０と進み、判定更新フラグは「０」のままであるので、処理を終了する。
【００４４】
このようにして、ＷＢ評価値抽出部１２は、現フレームの画像データ及び該現フレームと同一シーンつまり同一の照明環境で撮像された過去フレームの画像データから、評価値を複数組取得する。
【００４５】
次に、重複領域が無くなった場合を説明する。
例えば、１番目のフレームと２番目のフレームで重複領域１０５が検出されなかった場合には、２番目のフレームにおいて、ｉ＝０，ｋ＝１の状態で、ステップＳ５にて重複する領域がないと判別され、ステップＳ１２にてｋ＝０とする。そして、ステップＳ１３，Ｓ１４，Ｓ１５を経て、再度ステップＳ１２にてｋ＝−１となり、ステップＳ１３からステップＳ１６に進む。ここでｉ＝−１として、ステップＳ１７〜Ｓ１９，Ｓ２０と進み、判定更新フラグは「０」のままであるので、処理を終了する。
【００４６】
次の３番目のフレームでは、ステップＳ２においてｉ＝１、ステップＳ３においてｋ＝２として、ステップＳ４を経てステップＳ５に進む。このとき、現フレームである３番目のフレームと１つ過去のフレームである２番目のフレームとで重複領域１０５があれば、ステップＳ８〜Ｓ１１で、２番目のフレーム（１つ過去のフレーム）の画像データは同一シーンであるとして、画角サイズ係数、ＷＢ評価値をＷＢ評価値蓄積部１３に格納する。
【００４７】
そして、ステップＳ１６でｉ＝０と判定対象フレームを更新し、ステップＳ１７〜Ｓ１９を経てステップＳ３に戻り、ステップＳ４を経てステップＳ５に進む。ここで、ｋ（＝２）番目のフレームつまり現フレームである３番目のフレームとｉ（＝０）番目のフレームつまり２つ過去のフレームである１番目のフレームとでは重複領域１０５が存在しないので、ステップＳ１２に進み、ｋ＝１と比較対象フレームを更新する。そして、ステップＳ１３，Ｓ１４と進み、ステップＳ１５で２番目のフレームの画像データは同一シーンと判定されて、ステップＳ４に進むこととなる。ステップＳ４においては、今度は、１番目のフレームと２番目のフレームとを比較することとなるので、ステップＳ５において、やはり重複する領域が無いと判定されて、ステップＳ１２に進む。そして、ｋ＝０と比較対象フレームを更新する。今度は、ステップＳ１３，Ｓ１４からステップＳ１５に進むと、同一シーンではないと判定されるため、ステップＳ１２に戻り、更にｋ＝−１と比較対象フレームを更新する。そして、ステップＳ１３からステップＳ１６に進み、ｉ＝−１と判定対象フレームが更新される。
【００４８】
すると、ステップＳ１７〜Ｓ１９を経てステップＳ２０に進み、判定更新フラグが「１」であるので、ステップＳ２１において該判定更新フラグを「０」に初期化すると共にｉ＝１として、ステップＳ１７に進む。そして、ステップＳ１８で同一シーンと判定されるので、ステップＳ１６に戻り、ｉ＝０とする。今度は、ステップＳ１７を経てステップＳ１８で同一シーンでないと判定されるので、ステップＳ１９からステップＳ３に進んで、ｋ＝２とされる。その後、ステップＳ４を経てステップＳ５において重複する領域が無いと判定されて、ステップＳ１２に進む。そして、ｋ＝１として、ステップＳ１３，Ｓ１４からステップＳ１５に進むと、同一シーンと判定されて、ステップＳ４へ進む。そして、ステップＳ５において重複する領域が無いと判定されて、ステップＳ１２に進む。そして、ｋ＝０として、ステップＳ１３からステップＳ１４，Ｓ１５を経て、再度ステップＳ１２にてｋ＝−１となり、ステップＳ１３からステップＳ１６に進む。ここでｉ＝−１として、ステップＳ１７〜Ｓ１９，Ｓ２０と進み、判定更新フラグは「０」のままであるので、処理を終了する。
【００４９】
次の４番目のフレームでは、ステップＳ２においてｉ＝２、ステップＳ３においてｋ＝３として、ステップＳ４，Ｓ５と進む。このとき、現フレームである４番目のフレームと１つ過去のフレームである３番目のフレームとでは重複する領域があるので、ステップＳ６〜Ｓ１１で、３番目のフレーム（１つ過去のフレーム）の画像データは同一シーンであるとして、画角サイズ係数、ＷＢ評価値をＷＢ評価値蓄積部１３に格納する。
【００５０】
そして、ステップＳ１６でｉ＝１と判定対象フレームを更新し、ステップＳ１７〜Ｓ１９を経てステップＳ３に戻り、ステップＳ４を経てステップＳ５に進む。ここで、現フレームである４番目のフレームと２つ過去のフレームである２番目のフレームとでは重複する領域があるので、ステップＳ６〜Ｓ１１で、２番目のフレーム（２つ過去のフレーム）の画像データも同一シーンであるとして、画角サイズ係数、ＷＢ評価値をＷＢ評価値蓄積部１３に格納する。
【００５１】
そして、ステップＳ１６でｉ＝０と判定対象フレームを更新し、ステップＳ１７〜Ｓ１９を経てステップＳ３に戻り、ステップＳ４を経てステップＳ５に進む。ここで、ｋ（＝３）番目のフレームつまり現フレームである４番目のフレームとｉ（＝０）番目のフレームつまり３つ過去のフレームである１番目のフレームとでは重複する領域が無いので、ステップＳ１２に進み、ｋ＝２と比較対象フレームを更新する。そして、ステップＳ１３，Ｓ１４と進み、ステップＳ１５で３番目のフレームの画像データは同一シーンと判定されて、ステップＳ４に進むこととなる。ステップＳ４においては、今度は、１番目のフレームと３番目のフレームとを比較することとなるので、ステップＳ５において、やはり重複する領域が無いと判定されて、ステップＳ１２に進む。そして、ｋ＝１と比較対象フレームを更新し、ステップＳ１３，Ｓ１４と進み、ステップＳ１５で２番目のフレームの画像データは同一シーンと判定されて、ステップＳ４に進むこととなる。ステップＳ４においては、今度は、１番目のフレームと２番目のフレームとを比較することとなるので、ステップＳ５において、やはり重複する領域が無いと判定されて、ステップＳ１２に進む。そして、ｋ＝０と比較対象フレームを更新する。今度は、ステップＳ１３，Ｓ１４からステップＳ１５に進むと、同一シーンではないと判定されるため、ステップＳ１２に戻り、更にｋ＝−１と比較対象フレームを更新する。そして、ステップＳ１３からステップＳ１６に進み、ｉ＝−１と判定対象フレームが更新される。
【００５２】
すると、ステップＳ１７〜Ｓ１９を経てステップＳ２０に進み、判定更新フラグが「１」であるので、ステップＳ２１において該判定更新フラグを「０」に初期化すると共にｉ＝２として、ステップＳ１７に進む。そして、ステップＳ１８で同一シーンと判定されるので、ステップＳ１６に戻り、ｉ＝１とする。今度も、ステップＳ１８で同一シーンと判定されるので、ステップＳ１６に戻り、更にｉ＝０とする。すると、ステップＳ１７を経てステップＳ１８で同一シーンでないと判定されるので、ステップＳ１９からステップＳ３に進んで、ｋ＝３とされる。その後、ステップＳ４を経てステップＳ５において重複する領域が無いと判定されて、ステップＳ１２に進む。そして、ｋ＝２として、ステップＳ１３，Ｓ１４と進み、ステップＳ１５で３番目のフレームの画像データは同一シーンと判定されて、ステップＳ４に進むこととなる。ステップＳ４においては、今度は、１番目のフレームと３番目のフレームとを比較することとなるので、ステップＳ５において、やはり重複する領域が無いと判定されて、ステップＳ１２に進む。そして、ｋ＝１と比較対象フレームを更新して、ステップＳ１３，Ｓ１４からステップＳ１５に進むと、同一シーンと判定されて、ステップＳ４へ進む。そして、ステップＳ５において重複する領域が無いと判定されて、ステップＳ１２に進む。そして、ｋ＝０として、ステップＳ１３からステップＳ１４，Ｓ１５を経て、再度ステップＳ１２にてｋ＝−１となり、ステップＳ１３からステップＳ１６に進む。ここでｉ＝−１として、ステップＳ１７〜Ｓ１９，Ｓ２０と進み、判定更新フラグは「０」のままであるので、処理を終了する。
【００５３】
このようにして、ＷＢ評価値抽出部１２は、現フレームの画像データと過去フレームの画像データとで重複しない領域から、評価値を複数組取得する。
【００５４】
以上のようにして、ＷＢ評価値抽出部１２は、現フレーム及び過去フレームの画像データから、評価値を複数組、取得する評価値取得部として機能する。また、判定対象フレームである過去フレームの画像データから取得する評価値は、同一シーンとして判定されたフレームであって、且つ、そのフレームの非重複領域であるＷＢ評価領域１０６からのみ取得するように、選択的に取得する。
【００５５】
以上により図１におけるＷＢ評価値抽出部１２の処理が終了すると、ＷＢ係数算出部１４においてＷＢ評価値蓄積部１３に蓄積されたＷＢ評価値を用いてＷＢ係数の算出処理が行われる。
【００５６】
図５は、このＷＢ係数算出部１４におけるＷＢ係数算出処理の過程をフローチャートで示す図である。まず、ＷＢ評価値蓄積部１３に蓄積されたＷＢ評価値およびその評価値に対応する重み付け係数を一つずつ取得し（ステップＳ３０１）、その取得したＷＢ評価値である色信号データに基づき色度値（Ｒ／Ｇ、Ｂ／Ｇ）を算出する（ステップＳ３０２）。そして、図６に示すような色度空間において定義された光源色エリア１０７に上記算出した色度値が入っているか否かを判定する（ステップＳ３０３）。ここで、該色度値が光源色エリア１０７に入っていなければ、全てのＷＢ評価値において上記処理を終了したか否かを判別し（ステップＳ３０５）、まだ処理の終了していないＷＢ評価値がＷＢ評価値蓄積部１３にあるならば、上記ステップＳ３０１に戻って、次のＷＢ評価値および重み付け係数を取得することとなる。
【００５７】
これに対して、上記算出した色度値が上記光源色エリア１０７に入っている場合には、上記色度値および重み付け係数を各々の累積値に加算していく（ステップＳ３０６）。そして、上記ステップＳ３０５に進んで、全てのＷＢ評価値において上記処理を終了したか否かを判別し、まだ処理の終了していないＷＢ評価値がＷＢ評価値蓄積部１３にあるならば、上記ステップＳ３０１に戻る。
【００５８】
而して、上記ステップＳ３０５において、全てのＷＢ評価値において上記処理を終了したと判別したならば、上記色度値および重み付け係数の累積値からＷＢ係数ＷｒおよびＷｂを算出して（ステップＳ３０７）、終了する。ここで、ＷＢ係数ＷｒおよびＷｂは、光源色エリア１０７内と判定された色度値および重み付け係数の累積値を各々（Ｒ／Ｇ）ｓｕｍ、（Ｂ／Ｇ）ｓｕｍ、Ｋｓｕｍとすれば、以下の式（２）のように求める。
【数２】
【００５９】
以上のようにして、ＷＢ係数算出部１４は、相対的な画角の大きさ比率である画角サイズ係数を重み付け係数として、該重み付け係数に基づきＷＢ評価値毎に重み付けを行ってホワイトバランス係数を算出する。
【００６０】
以上により、図１におけるＷＢ係数算出部１４の処理が終了すると、ＷＢ係数乗算部１５において上記ＷＢ係数算出部１４にて算出されたＷＢ係数を現フレームの画像データに乗算し、ホワイトバランス補正が行われる。
【００６１】
以上説明した本実施形態によれば、重複領域１０５の色信号データに基づいて照明環境が同一と判定された過去のフレームの画像データを利用することにより、光源色が少ないシーンにおいて、照明環境の径時変化により複数フレーム間で照明環境が異なってしまっても、高精度にホワイトバランス補正を行うことができる。
【００６２】
また、ＷＢ係数算出に用いるＷＢ評価値は、重複領域１０５を除いたＷＢ評価領域１０６の画像データから取得することにより、複数フレーム間の互いに重複する領域に光源色があった場合でも、その光源色を過大評価して、一方に偏った照明光の補正をしてしまうようなことがなく、正確なＷＢ係数を求めることができ、高精度にホワイトバランス補正を行うことができる。
【００６３】
以上、一実施形態に基づいて本発明を説明したが、本発明は上述した一実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。
【００６４】
例えば、上記ＷＢ評価値抽出部１２やＷＢ係数算出部１４の機能を実現するソフトウェアのプログラムをコンピュータに供給し、当該コンピュータがこのプログラムを実行することによって、上記機能を実現することも可能である。
【００６５】
また、上述した一実施形態では、ＷＢ係数算出において光源色の評価値のみを用いてＷＢ係数を算出しているが、これに限ることはなく、例えば肌色や緑色の葉の色等、ある程度出現頻度が多く色の範囲が特定できるような被写体色を評価値から検出して、該被写体色より光源色を推定してもよい。この場合においても、照明環境が同一と判定された過去のフレームの画像を利用することにより、より精度のよいホワイトバランス補正を行うことができる。
【００６６】
（付記）
前記の具体的実施形態から、以下のような構成の発明を抽出することができる。
【００６７】
（１） 撮像素子より得られる画像データを入力して現フレームの画像データの色信号間のバランスを調整するホワイトバランス補正装置であって、
上記現フレームよりも過去に撮像された少なくとも１つの過去フレームの画像データを記憶する画像データ記憶部と、
上記現フレームの画像データおよび上記少なくとも１つの過去フレームの画像データから各画素位置における色信号データを評価値として、複数組取得する評価値取得部と、
上記評価値取得部により得られた複数組の評価値に基づきホワイトバランス係数を算出するホワイトバランス係数算出部と、
上記ホワイトバランス係数算出部で算出した上記ホワイトバランス係数に基づいて、上記撮像素子より得られる現フレームの画像データを補正するホワイトバランス補正部と、
を備え、
上記評価値取得部は、
上記少なくとも１つの過去フレームの画像データと上記現フレームの画像データとで互いに重複する画像領域を検出する重複領域検出部を備え、
上記少なくとも１つの過去フレームの画像データから取得する評価値に関しては、上記重複領域検出部による検出結果に応じて選択的に取得することを特徴とするホワイトバランス補正装置。
【００６８】
（実施形態との対応）
この（１）に記載のホワイトバランス補正装置において、一例として、上記ホワイトバランス補正装置が一実施形態におけるホワイトバランス補正装置１０に、上記撮像素子が一実施形態における撮像素子２１に、上記画像データ記憶部が一実施形態における時系列画像蓄積部１１に、上記評価値取得部が一実施形態におけるＷＢ評価値抽出部１２に、上記ホワイトバランス係数算出部が一実施形態におけるＷＢ係数算出部１４に、上記ホワイトバランス補正部が一実施形態におけるＷＢ係数乗算部１５に、上記重複領域検出部が一実施形態における重複領域検出部１２１に、それぞれ対応する。
【００６９】
（作用効果）
この（１）に記載のホワイトバランス補正装置は、ホワイトバランス係数算出部においてホワイトバランス係数を算出する際に用いる評価値として、少なくとも１つの過去フレームの画像から取得した評価値を全て用いるのではなく、過去フレームの画像データと現フレームの画像データとで互いに重複する画像領域の検出結果に応じて選択的に取得した評価値を用いるようにしている。
従って、この（１）に記載のホワイトバランス補正装置によれば、例えば、照明環境の径時変化により複数フレーム間で照明環境が異なってしまう場合には過去フレームの何れの画像データの評価値を用いるか選択し、複数フレーム間の互いに重複する領域に光源色があった場合には過去画像データの何れの画像領域の評価値を用いるか選択する等、不適当な評価値を用いないようにすることができるため、精度のよいホワイトバランス補正が行える。
【００７０】
（２） 上記評価値取得部は、
上記重複領域検出部により検出された重複領域に基づき、上記少なくとも１つの過去フレームの画像データと上記現フレームの画像データとで互いに重複する画像領域の色信号データを比較して各々のフレームの画像データが同一の照明環境で撮像されたか否かを判定する環境判定部をさらに備え、
上記環境判定部による判定結果に応じて上記少なくとも１つの過去フレームの各画像データの評価値を用いるか用いないかを取捨選択して上記評価値を抽出することを特徴とする（１）に記載のホワイトバランス補正装置。
【００７１】
（実施形態との対応）
この（２）に記載のホワイトバランス補正装置において、一例として、上記環境判定部が一実施形態における色度比較部１２２に対応する。
【００７２】
（作用効果）
この（２）に記載のホワイトバランス補正装置は、環境判定部によって各々のフレームの画像データが同一の照明環境で撮像されたか否かを判定し、その判定結果に応じて過去フレームの各画像データの評価値を用いるか用いないかを取捨選択して評価値を抽出するようにしている。
従って、この（２）に記載のホワイトバランス補正装置によれば、例えば照明環境の径時変化により複数フレーム間で照明環境が異なってしまう場合には、同一の照明環境で撮像されたものではないと判定されたフレームの画像データの評価値を用いないようにすることができるため、精度のよいホワイトバランス補正が行える。
【００７３】
（３） 上記評価値取得部は、上記重複領域検出部により検出された重複領域に基づき、上記少なくとも１つの過去フレームの画像データから、上記現フレームの画像データとは重複しない画像領域における色信号データを評価値として抽出することを特徴とする（１）または（２）に記載のホワイトバランス補正装置。
【００７４】
（実施形態との対応）
この（３）に記載のホワイトバランス補正装置において、一例として、上記重複領域が一実施形態における重複領域１０５に、上記重複しない画像領域が一実施形態におけるＷＢ評価領域１０６に、それぞれ対応する。
【００７５】
（作用効果）
この（３）に記載のホワイトバランス補正装置は、過去フレームの画像データから現フレームの画像データとは重複しない画像領域における色信号データを評価値として抽出するようにしている。
従って、この（３）に記載のホワイトバランス補正装置によれば、例えば複数フレーム間の互いに重複する領域に光源色があった場合には、その重複する領域の評価値を用いないようにすることができるため、精度のよいホワイトバランス補正が行える。
【００７６】
（４） 上記少なくとも１つの過去フレームの各画像データの現フレームの画像データに対する相対的な画角の大きさ比率を算出する比率算出部を更に備え、
上記ホワイトバランス係数算出部は、上記比率算出部で算出された上記相対的な画角の大きさ比率に基づき上記評価値毎に重み付けを行い上記ホワイトバランス係数を算出することを特徴とする（１）乃至（３）の何れかに記載のホワイトバランス制御装置。
【００７７】
（実施形態との対応）
この（４）に記載のホワイトバランス補正装置において、一例として、上記比率算出部が一実施形態における相対画角検出部１２３に対応する。
【００７８】
（作用効果）
この（４）に記載のホワイトバランス補正装置は、相対的な画角の大きさ比率に基づき評価値毎に重み付けを行ってホワイトバランス係数を算出するようにしている。
従って、この（４）に記載のホワイトバランス補正装置によれば、評価値を画角の変化に応じて補正することとなるので、より精度よくホワイトバランス補正が行える。
【００７９】
（５） 撮像素子より得られる現フレームの画像データおよび該現フレームのよりも過去に撮像された少なくとも１つの過去フレームの画像データから、各画素位置における色信号データを評価値として、複数組取得するステップと、
上記取得された複数組の評価値に基づきホワイトバランス係数を算出するステップと、
をコンピュータに発揮させて、撮像素子より得られる現フレームの画像データの色信号間のバランスを調整するためのホワイトバランス係数をコンピュータに算出させる信号処理プログラムであって、
上記評価値を複数組取得するステップは、
上記少なくとも１つの過去フレームの画像データと上記現フレームの画像データとで互いに重複する画像領域を検出するステップを含み、
上記少なくとも１つの過去フレームの画像データから取得する評価値に関しては、上記重複する画像領域の検出結果に応じてコンピュータに選択的に取得させることを特徴とする信号処理プログラム。
【００８０】
（実施形態との対応）
この（５）に記載の信号処理プログラムにおいて、一例として、上記評価値を複数組取得するステップが一実施形態におけるＷＢ評価値抽出部１２の機能を実現するソフトウェアのプログラムに、上記ホワイトバランス係数を算出するステップが一実施形態におけるＷＢ係数算出部１４の機能を実現するソフトウェアのプログラムに、上記重複する画像領域を検出するステップが一実施形態におけるＷＢ評価値抽出部１２の重複領域検出部１２１の機能を実現するソフトウェアのプログラムに、それぞれ対応する。
【００８１】
（作用効果）
この（５）に記載の信号処理プログラムは、コンピュータに、ホワイトバランス係数を算出させる際に用いる評価値として、少なくとも１つの過去フレームの画像から取得した評価値を全て用いるのではなく、過去フレームの画像データと現フレームの画像データとで互いに重複する画像領域の検出結果に応じて選択的に取得した評価値を用いさせるようにしている。
従って、この（５）に記載の信号処理プログラムによれば、例えば、照明環境の径時変化により複数フレーム間で照明環境が異なってしまう場合には過去フレームの何れの画像データの評価値を用いるか選択させ、複数フレーム間の互いに重複する領域に光源色があった場合には過去画像データの何れの画像領域の評価値を用いるか選択させる等、コンピュータに、不適当な評価値を用いないようにさせることができるため、精度のよいホワイトバランス補正が行える。
【図面の簡単な説明】
【００８２】
【図１】図１は、本発明の一実施形態に係るホワイトバランス補正装置の全体構成を示す図である。
【図２】図２は、図１におけるＷＢ評価値抽出部におけるＷＢ評価値抽出の過程を説明するためのフローチャートを示す図である。
【図３】図３（Ａ）は、評価値抽出位置を説明するための図であり、図３（Ｂ）は、評価値抽出領域を説明するための図であり、図３（Ｃ）は、ＷＢ評価領域を説明するための図である。
【図４】図４は、図２におけるステップＳ１０の具体的な処理の流れを説明するためのフローチャートを示す図である。
【図５】図５は、図１におけるＷＢ係数算出部におけるＷＢ係数算出の過程を説明するためのフローチャートを示す図である。
【図６】図６は、色度空間内に定義された光源色エリアを説明するための図である。
【符号の説明】
【００８３】
１０…ホワイトバランス補正装置、 １１…時系列画像蓄積部、 １２…ＷＢ評価値抽出、 １３…ＷＢ評価値蓄積部、 １４…ＷＢ係数算出部、 １５…ＷＢ係数乗算部、 ２１…撮像素子、 ２２…撮像レンズ、 １００…現フレーム画像領域、 １０１…評価値抽出位置、 １０２…評価値抽出領域、 １０３…判定対象フレーム画像領域、 １０４…比較対象フレーム画像領域、 １０５…重複領域、 １０６…ＷＢ評価領域、 １０７…光源色エリア、 １２１…重複領域検出部、 １２２…色度比較部、 １２３…相対画角検出部。
【特許請求の範囲】
【請求項１】
撮像素子より得られる画像データを入力して現フレームの画像データの色信号間のバランスを調整するホワイトバランス補正装置であって、
上記現フレームよりも過去に撮像された少なくとも１つの過去フレームの画像データを記憶する画像データ記憶部と、
上記現フレームの画像データおよび上記少なくとも１つの過去フレームの画像データから各画素位置における色信号データを評価値として、複数組取得する評価値取得部と、
上記評価値取得部により得られた複数組の評価値に基づきホワイトバランス係数を算出するホワイトバランス係数算出部と、
上記ホワイトバランス係数算出部で算出した上記ホワイトバランス係数に基づいて、上記撮像素子より得られる現フレームの画像データを補正するホワイトバランス補正部と、
を備え、
上記評価値取得部は、
上記少なくとも１つの過去フレームの画像データと上記現フレームの画像データとで互いに重複する画像領域を検出する重複領域検出部を備え、
上記少なくとも１つの過去フレームの画像データから取得する評価値に関しては、上記重複領域検出部による検出結果に応じて選択的に取得することを特徴とするホワイトバランス補正装置。
【請求項２】
上記評価値取得部は、
上記重複領域検出部により検出された重複領域に基づき、上記少なくとも１つの過去フレームの画像データと上記現フレームの画像データとで互いに重複する画像領域の色信号データを比較して各々のフレームの画像データが同一の照明環境で撮像されたか否かを判定する環境判定部をさらに備え、
上記環境判定部による判定結果に応じて上記少なくとも１つの過去フレームの各画像データの評価値を用いるか用いないかを取捨選択して上記評価値を抽出することを特徴とする請求項１に記載のホワイトバランス補正装置。
【請求項３】
上記評価値取得部は、上記重複領域検出部により検出された重複領域に基づき、上記少なくとも１つの過去フレームの画像データから、上記現フレームの画像データとは重複しない画像領域における色信号データを評価値として抽出することを特徴とする請求項１または２に記載のホワイトバランス補正装置。
【請求項４】
上記少なくとも１つの過去フレームの各画像データの現フレームの画像データに対する相対的な画角の大きさ比率を算出する比率算出部を更に備え、
上記ホワイトバランス係数算出部は、上記比率算出部で算出された上記相対的な画角の大きさ比率に基づき上記評価値毎に重み付けを行い上記ホワイトバランス係数を算出することを特徴とする請求項１乃至３の何れかに記載のホワイトバランス制御装置。
【請求項５】
撮像素子より得られる現フレームの画像データおよび該現フレームのよりも過去に撮像された少なくとも１つの過去フレームの画像データから、各画素位置における色信号データを評価値として、複数組取得するステップと、
上記取得された複数組の評価値に基づきホワイトバランス係数を算出するステップと、
をコンピュータに発揮させて、撮像素子より得られる現フレームの画像データの色信号間のバランスを調整するためのホワイトバランス係数をコンピュータに算出させる信号処理プログラムであって、
上記評価値を複数組取得するステップは、
上記少なくとも１つの過去フレームの画像データと上記現フレームの画像データとで互いに重複する画像領域を検出するステップを含み、
上記少なくとも１つの過去フレームの画像データから取得する評価値に関しては、上記重複する画像領域の検出結果に応じてコンピュータに選択的に取得させることを特徴とする信号処理プログラム。
【請求項１】
撮像素子より得られる画像データを入力して現フレームの画像データの色信号間のバランスを調整するホワイトバランス補正装置であって、
上記現フレームよりも過去に撮像された少なくとも１つの過去フレームの画像データを記憶する画像データ記憶部と、
上記現フレームの画像データおよび上記少なくとも１つの過去フレームの画像データから各画素位置における色信号データを評価値として、複数組取得する評価値取得部と、
上記評価値取得部により得られた複数組の評価値に基づきホワイトバランス係数を算出するホワイトバランス係数算出部と、
上記ホワイトバランス係数算出部で算出した上記ホワイトバランス係数に基づいて、上記撮像素子より得られる現フレームの画像データを補正するホワイトバランス補正部と、
を備え、
上記評価値取得部は、
上記少なくとも１つの過去フレームの画像データと上記現フレームの画像データとで互いに重複する画像領域を検出する重複領域検出部を備え、
上記少なくとも１つの過去フレームの画像データから取得する評価値に関しては、上記重複領域検出部による検出結果に応じて選択的に取得することを特徴とするホワイトバランス補正装置。
【請求項２】
上記評価値取得部は、
上記重複領域検出部により検出された重複領域に基づき、上記少なくとも１つの過去フレームの画像データと上記現フレームの画像データとで互いに重複する画像領域の色信号データを比較して各々のフレームの画像データが同一の照明環境で撮像されたか否かを判定する環境判定部をさらに備え、
上記環境判定部による判定結果に応じて上記少なくとも１つの過去フレームの各画像データの評価値を用いるか用いないかを取捨選択して上記評価値を抽出することを特徴とする請求項１に記載のホワイトバランス補正装置。
【請求項３】
上記評価値取得部は、上記重複領域検出部により検出された重複領域に基づき、上記少なくとも１つの過去フレームの画像データから、上記現フレームの画像データとは重複しない画像領域における色信号データを評価値として抽出することを特徴とする請求項１または２に記載のホワイトバランス補正装置。
【請求項４】
上記少なくとも１つの過去フレームの各画像データの現フレームの画像データに対する相対的な画角の大きさ比率を算出する比率算出部を更に備え、
上記ホワイトバランス係数算出部は、上記比率算出部で算出された上記相対的な画角の大きさ比率に基づき上記評価値毎に重み付けを行い上記ホワイトバランス係数を算出することを特徴とする請求項１乃至３の何れかに記載のホワイトバランス制御装置。
【請求項５】
撮像素子より得られる現フレームの画像データおよび該現フレームのよりも過去に撮像された少なくとも１つの過去フレームの画像データから、各画素位置における色信号データを評価値として、複数組取得するステップと、
上記取得された複数組の評価値に基づきホワイトバランス係数を算出するステップと、
をコンピュータに発揮させて、撮像素子より得られる現フレームの画像データの色信号間のバランスを調整するためのホワイトバランス係数をコンピュータに算出させる信号処理プログラムであって、
上記評価値を複数組取得するステップは、
上記少なくとも１つの過去フレームの画像データと上記現フレームの画像データとで互いに重複する画像領域を検出するステップを含み、
上記少なくとも１つの過去フレームの画像データから取得する評価値に関しては、上記重複する画像領域の検出結果に応じてコンピュータに選択的に取得させることを特徴とする信号処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１０−３４９５５（Ｐ２０１０−３４９５５Ａ）
【公開日】平成２２年２月１２日（２０１０．２．１２）
【国際特許分類】
【出願番号】特願２００８−１９６２４６（Ｐ２００８−１９６２４６）
【出願日】平成２０年７月３０日（２００８．７．３０）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２２年２月１２日（２０１０．２．１２）
【国際特許分類】
【出願日】平成２０年７月３０日（２００８．７．３０）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]