撮像装置
【課題】画像のホワイトバランスを適切に調整する撮像装置を提供する。
【解決手段】色温度の算出をする色温度算出部と、ホワイトバランスのゲインを算出するゲイン算出部と、色温度の信頼性を評価する色温度評価部と、色温度の信頼性評価に応じてホワイトバランスのゲインを制御するホワイトバランス制御部とを備え、ホワイトバランス制御部は、第１の撮影で算出した色温度の信頼性評価が、第１の撮影よりも前の第２の撮影で算出した色温度の信頼性評価よりも高い場合には、第１の撮影でゲイン算出部により算出されたホワイトバランスのゲインの第１の重みを、第２の撮影で適用したホワイトバランスのゲインの第２の重みよりも大きくして、第１の撮影の撮影画像に適用するホワイトバランスのゲインを制御する撮像装置とする。
【解決手段】色温度の算出をする色温度算出部と、ホワイトバランスのゲインを算出するゲイン算出部と、色温度の信頼性を評価する色温度評価部と、色温度の信頼性評価に応じてホワイトバランスのゲインを制御するホワイトバランス制御部とを備え、ホワイトバランス制御部は、第１の撮影で算出した色温度の信頼性評価が、第１の撮影よりも前の第２の撮影で算出した色温度の信頼性評価よりも高い場合には、第１の撮影でゲイン算出部により算出されたホワイトバランスのゲインの第１の重みを、第２の撮影で適用したホワイトバランスのゲインの第２の重みよりも大きくして、第１の撮影の撮影画像に適用するホワイトバランスのゲインを制御する撮像装置とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像のホワイトバランスを適切に調整する撮像装置に関する。
【背景技術】
【０００２】
画像撮像装置において、いわゆるホワイトバランス制御は、ＲＧＢ（赤、緑、青）の三色の色情報のゲインを調整することで行われる。一般に、このホワイトバランスの調整は、画像撮像素子から取り込んだ任意の時間における画面全体の色情報の平均値を算出し、ＲＢ（赤、青）の色情報に対して、算出したＧ（緑）を基準としたゲインを係数として掛けることで成される。
【０００３】
この場合、ホワイトバランスの過度の制御による画像の色合いの不安定化を避けるために、画像撮像素子から取り込んだ画面中に、所定の設定値以上の色温度変化があった場合にのみホワイトバランスのゲインを再算出し、再調整を行う。さらに、ホワイトバランスのゲインを急変させると、その補正により画像全体の色合いが急変し経時的に見づらい動画像となるため、段階的なホワイトバランスの変更を行うことが、例えば特開平９−３０７９１３に開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平９−３０７９１３
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、実際の撮影では撮像素子で取り込んだ画像中には無彩色や有彩色がランダムに含まれあるいは含まれないこと、または画角の変化等により取り込み画像の全体としての色温度を安定的に算出することは難しく、これに基づくホワイトバランスの調整も不安定なものとなっていた。
また、照明光源が同じでホワイトバランスの調整も同じであることが好ましい場合であっても、照明光源の種類や被写体の色によって、画面中に存在する色の色温度を誤推定すること（いわゆるカラーフェイラ）により色温度算出の不安定化の要因となっていた。
【０００６】
このような不安定な状況で算出された色温度に基づくホワイトバランスの調整ゲインが、適切に更新されることなく不適切な状態のまま、一定時間利用され、その調整ゲインによるホワイトバランス制御がその画像や、それ以降に撮影された画像に適用され続けるという問題があった。
【課題を解決するための手段】
【０００７】
この発明にかかる撮像装置は、撮影画像から色温度の算出をする色温度算出部と、撮影画像に基づいて、ホワイトバランスのゲインを算出するゲイン算出部と、色温度算出部で算出した色温度の信頼性を評価する色温度評価部と、色温度評価部による色温度の信頼性評価に応じてホワイトバランスのゲインを制御するホワイトバランス制御部とを備え、ホワイトバランス制御部は、第１の撮影で算出した色温度の信頼性評価が、第１の撮影よりも前の第２の撮影で算出した色温度の信頼性評価よりも高い場合には、第１の撮影でゲイン算出部により算出されたホワイトバランスのゲインの第１の重みを、第２の撮影で適用したホワイトバランスのゲインの第２の重みよりも大きくして、第１の撮影の撮影画像に適用するホワイトバランスのゲインを制御することを特徴とする。
【０００８】
また、この発明にかかる撮像装置は、好ましくは撮影画像の色温度の算出確からしさを判定する色温度算出確信度判定部と、撮影画像中の無彩色個数を検出しカウントする無彩色個数計数部とを備え、ホワイトバランス制御部は、色温度算出確信度判定部による色温度の算出確からしさの判定結果と、無彩色個数計数部による無彩色個数のカウント値とに応じて前記重みを変えることを特徴とする。
【０００９】
また、この発明にかかる撮像装置は、好ましくは撮影位置の変化を検出する撮影位置変化検出部と、撮影画像の輝度変化を測定する輝度変化測定部と、撮影時間を定義する計時部と、撮影画像変化度合い推定部とをさらに備え、撮影画像変化度合い推定部は、撮影位置変化検出部により検出された撮影位置の変化と、輝度変化測定部により測定された撮影画像の輝度変化と、計時部により検出された経過時間とを用いて撮影画像の変化度合いを推定し、ホワイトバランス制御部は、推定した撮影画像の変化度合いに応じて重みを変えることを特徴とする。
【００１０】
また、この発明にかかる撮像装置は、好ましくは色温度算出信頼度推定部をさらに備え、色温度算出信頼度推定部は、色温度算出確信度判定部による色温度の算出確からしさの判定結果と、無彩色個数計数部によるカウント値とを用いて色温度算出の信頼度を推定し、ホワイトバランス制御部は、色温度算出の信頼度が大きくなるか、または、撮影画像の変化度合いが大きくなった場合に、第１の重みを第２の重みよりも大きくすることを特徴とする。
【００１１】
また、この発明にかかる撮像装置は、好ましくはホワイトバランス制御部は、色温度算出の信頼度が大きくなった場合に、信頼度が大きくなった時のホワイトバランスのゲインを、信頼度が大きくなる以前の撮影画像に遡及させてホワイトバランス制御を行うことを特徴とする。
【００１２】
また、この発明にかかる撮像装置は、好ましくは撮影画像には、被写界も含まれることを特徴とする。
【発明の効果】
【００１３】
本発明により、信頼性の高い色温度を算出した場合の適切な信頼性の高いホワイトバランスの補正ゲインを用いて、より適切な制御タイミングで他の画像もホワイトバランス制御を行うことができる。
【図面の簡単な説明】
【００１４】
【図１】撮影シーン説明模式図
【図２】本発明の実施形態にかかるフローチャート
【図３】本発明の実施形態にかかるブロック図
【図４】ホワイトバランス更新率演算部のブロック図
【図５】ホワイトバランス制御部の補正ブロック図
【図６】画像処理装置の処理概要ブロック図
【図７】画像演算処理部の概念ブロック図
【発明を実施するための形態】
【００１５】
（実施形態１）
本発明の実施形態について以下、順次説明する。
いわゆる撮像装置においては、適正な色再現を行うためにＣＣＤ撮像素子から取り込んだＲ，Ｇ，Ｂ（赤、緑、青）の色情報である電気信号を加工し、補正する。この補正のひとつが、一般にホワイトバランスといわれるもので、緑の信号強度を基調として、赤と青に所定のゲインを係数として掛けることで色あいの調整を行うものである。
【００１６】
すなわちＲ＝α・Ｇ、Ｂ＝β・Ｇ、となるようにゲインαとβが算出される。このゲイン算出は、画像中の無彩色たる白や灰色等を検出し、そこからの反射検出光が所定の光源の特徴となるように、あるいは画面全体の平均値や時間積分値をとることで算出される。光源は蛍光灯や水銀灯、白色灯等各々の光源によって光の特徴が異なるため、通常、光源の数に対応するだけの複数光源の特徴として、例えば複数の黒体放射上の特徴が撮像装置に予め記憶されている。
【００１７】
ここで、図２は撮影しようとするシーンを表した撮影シーン説明模式図である。例えば、電車のみの像２０のズーム撮影する状態から、背景のビルも含めた全体像２１としての撮影へとワイド化した場合、一連の撮影にもかかわらず、撮影画像中に含まれる無彩色の数や光源の数、光源の種類等が大きく異なる。
したがって、電車のみの像２０のシーン下でのホワイトバランスの補正ゲインと、全体像２１のシーン下での補正ゲインとでは値が大きく異なり、その結果この間で急激に同じ対象（例えば電車の車体）の色合いが変化する。
【００１８】
また、このような急激な色合いの変化を防止する制限回路等が設定されている場合には、逆にズーム画面である電車のみの像２０下で算出されたローカルな補正ゲインが、ワイド化された後の全体像２１のグローバル撮影時に適用されて、不適切なホワイトバランス制御が行われることになる。
すなわち、一連のシーン撮影下において画面が変わることで、突如としてホワイトバランスの補正ゲインが変わり、それにより色合いが急変する。また、初期の補正ゲインが不適正な値であるにもかかわらず、その後の撮影においてその補正ゲインが適用されることとなる。
【００１９】
このため、このような一連の撮影において、同一又は類似の補正ゲインによるホワイトバランス制御が望まれる場合であっても、図２に示すように、撮影画像中の光源の有無や無彩色の有無が各々異なり、各画像すべてにおいて最適な補正ゲインを各々画像ごとに算出できるとは限らない状態が生じる。
そこで、図１に示す本発明の実施形態にかかるフローチャートのようにホワイトバランス制御を行う。図１は一眼レフタイプのディジタルカメラの場合の処理フローを説明するものである。
【００２０】
（ステップ１）一眼レフタイプのディジタルカメラでは、撮影用のＣＣＤとは別に露出制御用の測光センサとして測光用カラーＣＣＤ撮像素子を備える。その測光センサで、撮影画像又は撮影しようとする画像の色温度算出の確信度を算出する。
色温度算出の確信度は、情報の比較、典型的にはパターンマッチング等によって色温度算出の確からしさを判定するものをいう。すなわち、被写界たる撮影画像又は撮影しようとする画像の輝度分布状態や色分布状態等を、予め記憶させた色温度算出誤認を生じやすいシーンの各々の分布パターン等と比較することで判断する。
【００２１】
色温度算出の誤認を生じやすいシーンとは、例えば、緑の芝生や草木と蛍光灯や水銀灯の光源、紅葉や人物の顔と白色電球、日陰と青空等が挙げられる。これらの輝度分布パターン、色分布パターン等を予め記憶しておく。
パターンマッチングは、マトリックス状の色や輝度の空間分布、時間分布、ＲＧＢ三原色分布、ＲＧＢ三原色強度分布、その他のスペクトル分光装置を用いたスペクトル分布のマッチングとしてもよい。また、ＣＩＥ色度図表上でのドットパターンや、所定の黒体放射領域やその周辺部に限定した対応する画素分布を比較するものであってもよく、また、特定の信号強度をもつ画素数のみ、一定以上のＳ／Ｎ比を有する画素数の抽出をするものでもよい。
【００２２】
また、パターンマッチングの演算手法も分散に基づく手法等複数知られているが、いずれの演算手法やマッチング手法を用いたものでもよい。すなわち、色温度の算出を間違いやすいシーンとして予め記憶した所定の情報と、撮影画像又はこれから撮影しようとする画像のシーンから得られる情報とを比較できるパターンマッチングであれば適用してよい。さらに、パターンマッチングの為の比較情報を撮像装置であるカメラで抽出するために、新たな装置として例えば分光器やスペクトル分析器等及びその比較装置、及び記憶装置を搭載してもよい。
【００２３】
（ステップ２）次に、レリーズにて撮影状態を判定する。レリーズされていなければ、すなわち一眼レフタイプのディジタルカメラにおいて、撮影用ＣＣＤ前方の反射ミラーが存在すれば、まだ撮影しないこととなる。レリーズされていれば、撮影場面の光信号は撮影用ＣＣＤに入射しており、撮影が可能となる。なお、コンパクトタイプのディジタルカメラにおいては、電源ＯＮである限り常時撮影用ＣＣＤにおいてモニタし測光しているため、このレリーズ判定工程は不要となる。
【００２４】
（ステップ３）次に、撮影用ＣＣＤに入射した光を検出した撮影画像や被写界の信号から、無彩色の種類や個数を検出する。この無彩色の検出は、撮影画像を複数の領域に分割し、領域ごとにその領域内にあるＲＧＢ信号から無彩色に該当するかどうかの評価をすることで行う。領域分割は例えば、撮影画像を５００分割として、その各分割領域中のＲＧＢ信号強度の平均値、又は積算値で算出することができる。
【００２５】
具体的には、光源の照明の種類に該当するＣＩＥ色度座標（色空間座標）近傍のデフォルト値と、撮影画像の一又は複数の画素からなる領域ごとの画像情報を比較することで、無彩色の判定し、各光源に近い分割領域の個数をカウントする。従って、太陽光のカウント値が４つ、蛍光灯のカウント値が８つ、という具合に一の撮影画像中に分割領域ごとにその無彩色有無と光源特徴が判断される。さらに、カウント値では蛍光灯が多いが、太陽光のカウント分による領域の輝度が高いので、太陽光光源下での撮影と判断してもよい。
【００２６】
（ステップ４）続いて、無彩色として評価された領域の個数を集計し、同時に、その無彩色領域から色温度を算出する。
標準光源は、例えばＡ（０．４４８，０．４０７）、Ｄ５０（０．３４６，０．３５９）、Ｄ５５（０．３３２，０．３４８）、Ｄ６５（０．３１３，０．３２９）、Ｄ７５（０．２９９，０．３１５）、蛍光灯光源ではＦ２（０．３７２，０．３７５）、Ｆ８（０．３４６，０．３５９）Ｆ１１（０．３８１，０．３７７）等が知られている。
【００２７】
色温度の算出（例えば、“５０００Ｋ”）がおわると、色温度算出の信頼度を算出する（ステップ５）。色温度算出の信頼度は、予め撮影前に測光センサを用いて算出した色温度算出の確信度と、撮影時に算出した撮影画像の無彩色検出個数を用いて決定する。色温度算出の信頼度は、色温度算出の確信度が高く（例えば１０００等絶対値の大きい値）また無彩色検出個数が多いほど（例えば“５００”）高くなり、色温度算出の確信度が低く（例えば１等）また無彩色検出個数が少ない（例えば“１”）ほど低くなるように加算や乗算等で算出する。
【００２８】
色温度算出の確信度は、予め測光用ＣＣＤの検出光から算出される。この確信度が低いということは、すなわち、色温度の算出に誤認を生じ易い撮影シーンであるとカメラが判断したことである。また、無彩色検出個数が少ないということは、それだけ色温度算出の基準となる無彩色が撮影画像中に少ないことであり、いずれの場合であっても色温度の正確な算出は困難なことから、色温度算出の信頼度は低くなる。
【００２９】
（ステップ６）続いて、前回撮影時の色温度算出の信頼度や前回撮影時からの経過時間、前回撮影時からの輝度変化を算出し、ホワイトバランス制御の更新率を算出する。輝度変化は測光用ＣＣＤの測定輝度データを経過時間は時計等の計時手段のデータを各々記憶しておき、前回と今回の撮影で記憶したデータと比較する。
この比較結果をもとに、撮影シーンの変化が大きいのか小さいのかが判断できる。すなわち、前回の撮影と比較して信頼度の変化が大きく、経過時間も長く、輝度変化も大きい場合には、撮影シーンたる撮影画像の性質は大きく異なり変化が大きいと判断し、前回の撮影と比較して信頼度の変化が小さく、経過時間も短く、輝度変化も小さい場合には、撮影シーンたる撮影画像の性質は大きく異ならず変化が小さいと判断する。
【００３０】
さらに、ステップ６では、この判断をもとに、ホワイトバランスの更新率、すなわち、前回のホワイトバランスの補正ゲインに対して、今回のホワイトバランスの補正ゲインの適用割合を０％−１００％間で決定する。撮影シーンの変化が大きい場合には更新率を大きくし、撮影シーンの変化が小さい場合には更新率を小さく設定する。
たとえば、更新率を８０％とした場合には、前回のゲインの２０％値と今回の算出ゲインの８０％を加算したゲインを今回のゲインとして採用する。
【００３１】
（ステップ７）さらに、このゲイン値でホワイトバランス制御を行う。また、前回の撮影時に５０００Ｋとの色温度が算出され、今回の色温度が５５００Ｋと算出された場合、５０００Ｋに２０％を掛け、５５００Ｋに８０％を掛けて５４００Ｋを乗算し加算算出し、算出した５４００Ｋに対応する補正ゲインを決定してもよい。
また、撮影シーンの変化があった場合、ホワイトバランスのゲインの更新可否と更新率の決定は、色温度算出確信度判定の判定結果にかかわらず優先的に適用する。すなわち、撮影シーンが明らかに変わっている場合には、もはや前回撮影との比較を要せず新たな更新ゲインを１００％適用すればよい。
【００３２】
ここで、撮影シーンの変化の判断は、例えば加速度センサや角速度センサを搭載することで、カメラの動きの変化を検出し、カメラの動きの変化が大きい場合には撮影シーンの変化が大きいとしてもよい。
（ステップ８）次に、この撮影画像に紐づけて色温度算出の信頼度や撮影時刻、測定輝度等の撮影画像に関連する測定情報や演算情報を画像関連情報として記憶装置に記憶する。この紐付けは、撮影画像との関係で関連づけがとれればよいので、必ずしも、同一の記憶装置に記憶する必要はない。たとえば、特定のＩＮＤＥＸを画像関連情報に付し、同一のＩＮＤＥＸを該当する画像にも付与することで、それぞれ別々の記憶装置に記録し、後日、画像を読み出したときに、紐付け参照できるようにしてもよい。
【００３３】
この実施形態により、一眼レフタイプのディジタルカメラにおいて、撮影前に予め推定
した撮影画像の色温度算出確からしさを指標の一つとして、撮影画像中の無彩色個数、前回撮影からの経過時間、輝度変化、色温度変化、カメラの動き変化をも加味したホワイトバランスの補正ゲイン更新率が決定できる。従って、不必要な撮影画像毎の補正ゲインの大幅変更が生じず、また、不適正な補正ゲインがその後の撮影画像に適用され続けることもない。従って、適切に更新された補正ゲインを用いたホワイトバランス制御を可能とする。
【００３４】
なお、ゲイン更新率は前回と今回とのゲイン適用比率割合だけでなく、例えば、適用ゲインの変更を行うまでの時間関数（緩和時間）としてゲイン更新率を定義してもよく、また、それらの併用タイプとしてもよい。
次に、図３に示す本発明の実施形態にかかるブロック概念図を用いて各部の機能を説明する。この図は、ホワイトバランス制御部周辺のブロック図を示しており、撮像素子３０は、典型的には撮影用カラーＣＣＤであるが、測光用カラーＣＣＤを用いてもよい。
【００３５】
撮像素子３０において検出された光信号は、光電変換され撮像情報を有する電気信号として、画素ごとにＲＧＢ信号等となり信号処理される。この電気信号は、各種遅延回路や分離回路等を経て一定の処理がされた状態で、ホワイトバランス制御を行うホワイトバランス制御回路へ送られる。
ここでホワイトバランスの補正ゲインを算出するホワイトバランスゲイン演算部３１では、撮像素子３０からの所定の入力信号を色温度算出部３２による色温度の算出値とともに処理することで、α、βの補正ゲインの計算が成される。これは、いわば生ゲインともいえるもので、撮影画像毎に個々別々に補正ゲインを算出する。ゲインの計算は、例えば、撮影画像中の無彩色箇所を基準として光源色にて決定する方法や、時間積分、空間積分、極端な有彩色を除外して平均値を出す方法等を用いることができ、他の任意の方法としてよい。
【００３６】
一方、色温度算出確信度判定部３３では、入力された画像情報と図示しない記憶装置に予め記憶させた色温度等の、間違いやすい状態を示す情報と比較することで、この撮影画像の算出色温度が確からしいかどうかを判断する。例えば、草木の緑と水銀灯の色特徴を記憶しておき、これと、入力された撮影画像の画像情報とを色温度算出確信度判定部３３で比較することで、間違えやすい画素がいくつあるかにより判定してもよい。
【００３７】
また、無彩色個数計数部３５では、入力された画像情報から撮影画像等に含まれる無彩色の個数をカウントする。無彩色の個数は例えば、領域分割された領域内のＲＧＢ信号強度比率等から、無彩色と判定された領域の個数や該当画素数の総計としてカウントするようにしてもよい。無彩色個数あるいは面積等の無彩色情報は、色温度を決定するための重要な要素の一つであり、色温度算出の正確性にもつながる要素である。このため、カウント結果は、ホワイトバランス制御の補正ゲイン更新率を決定する際の一要素として、色温度算出確信度判定部３３の判定結果と、後述する撮影画像変化度合い推定部３ｂによる推定結果とともに、ホワイトバランスゲイン更新率演算部３４に入力される。
【００３８】
また、シーン連続性判定部３７は、撮影位置変化検出部３８と輝度変化測定部３９と計時部３ａを有し、この情報を基に撮影シーンたる撮影画像が、前回の撮影と今回の撮影とで、一体連続性があるのかないのかを判定する撮影画像変化度合い推定部３ｂを備える。シーン連続性判定部３７からの情報は、撮影画像に関わる付帯情報として、その撮影画像とリンク又は同期してホワイトバランスゲイン更新率演算部３４に入力される。
【００３９】
ここで、撮影位置変化検出部３８は、撮影位置が変化したかどうか検出するものであって、例えば、速度センサや加速度センサや角速度センサや角加速度センサ等からなり、撮影位置の変化を認識できるセンサが用いられる。この意味において、撮影位置変化検出部３８は地磁気検出を基準とした方位計や、太陽光源や月光等の主要光源の位置を検出し、その方位とカメラ向きのずれ角等から撮影位置の動き変化を検出する構成としてもよい。
【００４０】
また、輝度変化測定部３９は、前回の撮影画像と今回の撮影画像間での輝度の変化を測定できればよいので、撮影用ＣＣＤを用いる構成としても、測光用ＣＣＤやその他の輝度センサを用いる構成としてもよい。
また、計時部３ａは、典型的には前回の撮影から今回の撮影までの時間を測定できればよく、時計、タイマー、時刻電波受信装置等であってもよい。また、計時する期間は、前回撮影との間だけでなく、前々回や前々前回等、少なくとも一連一体的撮影と見なしうる間のすべての撮影画像について、その撮影時と今回の撮影時の経過時間や各撮影間隔を測定できるものが望ましい。
【００４１】
これらの撮影位置変化検出部３８と輝度変化測定部３９と計時部３ａの情報は、撮影画像変化度合い推定部３ｂにて、演算処理されることで、撮影画像がどの程度変化したのかあるいは、変化していないのかの推定がなされる。
この３つの要素に基づく変化度合い推定の決定方法は任意の関係式等による演算でもよい。例えば、撮影位置の変化が大きく、輝度変化も大きく、時間経過も大きい場合には撮影画像の変化度合いが大きいと判断することができる。一方、撮影位置の変化が小さく、輝度変化も小さく、時間経過も小さい場合には、撮影画像の変化度合いが小さいと判断することができる。また、これらの推定値を数値化して用いてもよい。
【００４２】
さらに、これら３つの要素に重み付けをして屋外、屋内、遠景、接写、スポーツ等の撮影カテゴリーに応じて、撮影画像の変化度合いの推定結果に反映させることができる。例えば、展示会等の撮影においては、撮影対象たる展示物は、概ね同一の照明下で同一の明るさのもとで展示されることが多い。従って、このモードにおいては計時部３ａや撮影位置変化検出部３８による経過時間情報や撮影位置変化情報の重みを軽くすることで、たとえ時間経過が大きくて撮影位置の変化が大きくても、撮影画像の変化は少ないと推定させてもよい。
【００４３】
また、例えば、夕日を１時間連続で連写する場合など、前回との一こま一こま間では輝度変化や撮影位置変化は少ないが、１時間前と比較すると大きく変化している場合がある。このような撮影モードにおいては、計時部３ａによる時間経過に重み付けをすることで、撮影画像の変化度合い推定の演算が可能となる。
次に、ホワイトバランスゲイン更新率演算部３４では、色温度算出確信度判定部３３による色温度算出の確からしさと、無彩色個数計数部３５による無彩色のカウント値と、シーン連続性判定部３７による撮影画像変化度合いの推定結果（シーン連続性の有無）と、が入力されることで、補正ゲインの更新率が決定される。
【００４４】
ホワイトバランス制御の補正ゲイン更新率は、典型的には、前回の撮影画像の補正ゲインに対して今回の撮影画像からの算出生ゲインをどの程度の割合と重み付けで演算することで、今回の撮影画像に実際に適用する補正ゲインを決定するか、を示すものである。
これは、各撮影時に各撮影画像から各々ホワイトバランスゲイン演算部３１で計算される生ゲイン（α、β）は、各撮影画像中の個別の不安定ファクターの混在によって、必ずしも適切な値であるとは限らないという経験則に基づくものである。
【００４５】
したがって、前回の撮影画像に適用したゲインに対して、今回の撮影画像から得られた生ゲイン（α，β）を所定の演算比率たる更新率として重み付けし加算した上で、新たな補正ゲインとして、今回の撮影画像にホワイトバランス制御制御を行う。
ゲイン更新率は、典型的には上述のようになるが、前回との関係に限らず、前々回や前々前回等の過去の撮影画像における補正ゲインを考慮した重み付けや更新率としてもよい。また、更新率を演算後の補正ゲインは、今回の撮影画像だけに限らず、過去の撮影画像に遡及的に適用してもよく、未来の撮影画像に適用すべく保持しておいてもよい。
【００４６】
色温度算出の確信度等は撮影画像毎に異なるため、一連の撮影中には好ましくないゲインが算出される撮影画像が含まれることもあるため、この場合、その一連一体的な撮影中において、もっとも正確と思われる信頼度の高い撮影画像の補正ゲインを、その撮影画像の全部や一部に適用することができる。ここでいう一連一体的な撮影とは、典型的には、撮影画像変化度合い推定部３ｂで、撮影画像変化度合いが少ないと推定される場合である。
【００４７】
ホワイトバランスゲイン演算部３１で計算された補正生ゲイン（α、β）と、ホワイトバランスゲイン更新率演算部３４で決定された更新率は、ホワイトバランス制御部３６へ送られ、更新率に従って決定されたゲインの適用により、撮影画像のホワイトバランス制御が行われる。
なお、ホワイトバランスゲインの決定等については、無彩色の色を抽出してそこから所定の光源色となるホワイトバランスの算出をする方法と、撮影画像の色温度を決定しその色温度に基づいてホワイトバランスの算出をする方法と、があるがいずれの方法を適用してもよい。
【００４８】
次に、ホワイトバランスゲイン更新率演算部３４の詳細について、図４に示すホワイトバランス更新率演算部のブロック図を用いて説明する。撮像素子４０にて光電変換された撮影映像の情報は、記憶装置４４に記憶し保持され、撮影完了後の画像処理に用いることができる。
一方、色温度算出確信度判定部３３と無彩色個数計数部３５の情報は、色温度算出の信頼度推定部４１へ入力され、色温度算出の信頼度が推定され決定される。ここで色温度算出の信頼度とは、色温度算出確信度や撮影画像中に無彩色の個数がいくつあるかに基づき決定される色温度算出信頼度をいう。
【００４９】
すなわち、色温度算出確信度が高く無彩色検出個数が多いほど色温度算出の信頼度は高く推定され、逆に、色温度算出確信度が低く無彩色検出個数が少ないほど色温度算出の信頼度は、低く推定される。
色温度算出の信頼度推定部４１で評価された推定結果は、推定値変化検出部４２へ入力されるとともに、撮像素子４０の画像情報と共に関連づけして記憶装置４４に記憶されることで撮影完了後の画像処理に用いることができる。
推定値変化検出部４２では、撮影画像変化度合い推定部３ｂからの推定値と色温度算出の信頼度推定部４１からの推定値のそれぞれについて、経時的な変化検出を行っている。
【００５０】
そして、色温度算出の信頼度推定部４１による色温度算出の信頼度の評価推定値が大きくなるか、撮影画像変化度合い推定部３ｂによる撮影画像変化度合いの評価推定値が大きくなれば、ホワイトバランスゲイン更新率決定部４３にてゲイン更新率を大きく決定するように出力する。すなわち、推定値変化検出部４２は、入力された推定値の時間微分が正になったときに、その値を出力する構成とする。
【００５１】
また、色温度算出の信頼度推定部４１による色温度算出の信頼度の評価推定値が小さくなるか、撮影画像変化度合い推定部３ｂによる撮影画像変化度合いの評価推定値が小さくなれば、ホワイトバランスゲイン更新率決定部４３にてゲイン更新率を小さく決定するように出力する。すなわち、推定値変化検出部４２は、入力された推定値の時間微分が負になったときに、その値を出力する構成とする。
【００５２】
次に、図５に示すホワイトバランス制御部の補正ブロック図を用いてホワイトバランス制御部について詳述する。撮像素子５０による撮影画像に関わる入力画像情報からホワイトバランスゲイン演算部５１にて、生補正ゲイン（α，β）が算出される。算出された生補正ゲイン（α，β）は、ホワイトバランス制御部５４へと出力される。また、撮像素子５０からの撮影画像情報はバッファ部５３にて、一時記憶される。
【００５３】
一方、ホワイトバランスゲイン更新率演算部５２にて決定されたゲイン更新率は、ホワイトバランス制御部５４へと出力され、画像に実際に適用する補正ゲインが決定される。例えば、生補正ゲイン（α，β）に対して、更新率が８０％であれば、（０．８α＋０．２α'，０．８β＋０．２β'）とできる。ここで、（α'，β'）は、前回のホワイトバランス制御時に、画像補正に実際に適用した補正ゲイン（α'，β'）を意味している。
【００５４】
また、ホワイトバランスゲイン更新率演算部５２では、色温度算出確信度判定部３３と無彩色個数計数部３５とシーン連続性判定部３７からの各入力情報からゲインの更新率が決定される。決定されたゲイン更新率は、ホワイトバランスゲイン演算部５１で演算された補正ゲイン値とともに、ホワイトバランス制御部５４へ入力される。
ホワイトバランス制御部５４では、入力値をもとに撮影画像に実際に適用する適用ゲインを決定する。決定されたゲインは、バッファ部５３に一時記憶されていた適用対象となる撮影画像に対して、実際に適用されホワイトバランス制御後の補正画像５５が出力される。
【００５５】
この実施形態により、適切な画像シーン判断指標から色温度推定の正確性やシーン変化有無が判断されるので、ホワイトバランス制御のゲインを変更すべきかどうかや、変更すべき場合にはどの程度変更すべきか、についてのホワイトバランス制御の更新率を適切に決定し、適用できることとなる。
（実施形態２）
次に、図６に示す画像処理装置の処理概要ブロック図を用いて実施形態２にかかる画像処理装置について説明する。画像処理装置６０では、記憶装置６１に記憶された撮影画像情報と色温度算出信頼度を、撮影画像読み取り装置６２にて読み出すことができる。
【００５６】
ここで、記憶装置６１は撮像装置において撮影された撮影画像やその関連情報を、例えば経時的に記憶する。しかし、撮影画像の情報自体と、それに関連する色温度算出信頼度の情報とでは、必ずしも同一の記憶装置６１に記憶する必然性はない。
すなわち、画像処理装置６０において撮影画像を読み出して画像処理する際に、画像情報とその画像にかかる色温度算出信頼度の情報が関連づけて認識できればよい。従って、例えば、２以上の記憶装置に別々の情報として、それぞれ関連づけて記憶しておいてもよい。
【００５７】
次に、撮影画像読み取り装置６２によって、読み出された撮影画像６３とその画像に関わる色温度算出信頼度推定値６４とは、画像演算処理部６５に入力される。画像演算処理部６５では、入力された撮影画像６３により、ホワイトバランスのゲインを演算し、また、撮影画像は遅延回路にて一定の時間バッファされる。
この様子を図７の画像演算処理部の概念ブロック図に示す。撮影画像読み取り部６２にて読み取った撮影画像関連情報である色温度算出信頼度推定値は、色温度算出信頼度推定値変化検出部７０へ入力され、画像が変わる際の推定値変化が検出される。
【００５８】
ここで、画像が変わる際とは、撮影時間経過による経過時間軸にもとづく撮影画像の変化であってもよいし、撮影時間とは無関係に類似画像を抽出し、一定の順序で配列変更した後の撮影画像について場面が変わるごと、であってもよい。また、撮影画像一画像ごとであってもよいし、一又は複数の撮影画像グループごととしてもよい。特に、一の撮影画像について、その一部を一又は複数の画像に場面を分割して新たな一画像として処理したい場合には、新たな一又は複数の画面はもとの画像と同一の画像として扱うことも可能である。
【００５９】
色温度算出信頼度推定値変化検出部７０で検出された信頼度推定値変化と、ホワイトバランスゲイン演算部７１で演算されたその画像の補正ゲイン（α，β）とは、ホワイトバランス制御部７３に入力され、実際に適用する適用ゲインが決定される。このとき、適用ゲインを決定するプロセスは、実施形態１と同様の処理とすることができる。
一方、これとは別に画像情報はバッファ回路７２に保存されているので、適用ゲインが決まれば、その画像だけにとどまらず、保存されているそれより以前の画像についても、この適用ゲインを遡及的に適用することができる。
【００６０】
また、ホワイトバランス制御部７３に決定した適用ゲインを記憶しておいて、それ以降の処理画像について、この適用ゲインを適用してもよい。すなわち、一定期間または一定枚数、一定シーンなど任意の一又は複数の画像について、その中で最適なホワイトバランスの補正ゲインを用いた画像処理を遡及的に、あるいは将来的に、適用してもよい。
また、最適な補正ゲインとは、既に述べたように、典型的にはその信頼度が極大化する画像に基づき算出された補正ゲイン又は、適用ゲインのことであるが、色温度算出確信度を含めた一又は複数の因子に基づき決定された補正ゲインであってもよい。
【００６１】
この実施形態における画像処理装置は、例えばＮＩＫＯＮキャプチャーのような汎用画像処理装置に併合してさらに付加価値を高め、より高機能化した画像処理装置とすることができる。
また、この実施形態にかかる画像処理装置は、パソコンやワークステーション等の電子演算処理機器を用いて処理するようプログラムしてもよい。この場合には、図１に示すチャートに従う所定の処理プログラムとすることができる。
【００６２】
実施形態における撮像装置では、撮影画像の色温度の算出をする色温度算出部と、撮影画像の色温度の算出確からしさを判定する色温度算出確信度判定部と、撮影画像中の無彩色個数を検出しカウントする無彩色個数計数部とを備え、色温度算出確信度判定部による色温度の算出確からしさの判定結果と、無彩色個数計数部による無彩色個数のカウント値と、に応じてホワイトバランス制御のゲイン更新率を変える。
【００６３】
従って、ゲイン更新に適切な重み付けがされることで、不必要なゲイン更新によるホワイトバランス制御で画像の色合い急変等の発生が低減される。さらに、その重み付けは、撮影画像中の無彩色の有無や色温度の算出の確からしさに基づいて決定されるので、より信頼性の高い、ホワイトバランス制御のゲイン更新率の設定が可能となる。また、画角変化やアングル変化への適切な対応も可能となる。
【００６４】
また、実施形態における撮像装置では、撮影位置の変化を検出する撮影位置変化検出部と、撮影画像の輝度変化を測定する輝度変化測定部と、撮影時間を定義する計時部とを備え、撮影位置変化検出部により検出された撮影位置の変化と、輝度変化測定部により測定された撮影画像の輝度変化と、計時部により検出された経過時間とから、撮影画像の変化度合いを推定し、推定した撮影画像の変化度合いに応じてホワイトバランス制御のゲイン更新率を変える。
【００６５】
これにより、撮影位置（シーン）が変化したり、輝度が所定値以上に変化したり、前回の撮影から相当の時間経過があった場合には、連続撮影でない別個独立の撮影であると判断し、シーンの連続性がないとして、ホワイトバランスのゲインを１００％更新することができる。また、やや連続性がある場合には、ホワイトバランスのゲイン更新率を例えば８０％とし、新しい撮影画像の色温度で算出されたゲインに８０％の重みを付け、残りの２０％は前回の撮影時のゲインを適用する重み付けをすることも可能となる。
【００６６】
また、実施形態における撮像装置では、色温度算出確信度判定部による色温度の算出確からしさの判定結果と、無彩色個数計数部によるカウント値とから、色温度算出の信頼度を推定し、色温度算出の信頼度が大きくなるか、または、撮影画像の変化度合いが大きくなった場合に、ホワイトバランス制御のゲイン更新率を大きくする。
従って、色温度の算出について無彩色の多少をも加味することで、信頼性評価がより高い確度で信頼度として推定可能となり、この高い信頼度のゲインにより重みを付けて撮影画像に適用することができる。また、撮影画像の変化度をモニターし変化度に応じてホワイトバランスのゲインの重み付けをすることで、不必要なゲインの更新を低減するだけでなく、ゲイン更新の必要性有無のこの判断指標によって、必要時に適切な更新が可能となる。
【００６７】
また、実施形態における撮像装置では、色温度算出の信頼度が大きくなった場合に、信頼度が大きくなった時のホワイトバランスのゲインを、信頼度が大きくなる以前の撮影画像に遡及させてホワイトバランス制御を行う。
これにより、例えばバッファに保存されている過去に撮影された画像についても、別個独立の撮影でなければ、新しく撮影され信頼度の高いホワイトバランスのゲインを適用したホワイトバランス制御を行ってもよい。また、その後、未来の撮影についても、現在より信頼度が上がらなければ現在のゲインを継続適用してもよい。すなわち、連続撮影にかかる一連の撮影において、最も信頼度の高いホワイトバランスのゲインを、その一連の撮影画像の一部又は全部に適用できることとなり、的確なホワイトバランス制御とすることができる。
【００６８】
また、実施形態における色温度算出信頼度推定部は、撮影画像の色温度の算出をする色温度算出部と、撮影画像の色温度の算出確からしさを判定する色温度算出確信度判定部と、撮影画像中の無彩色個数を検出しカウントする無彩色個数計数部とを備え、色温度算出確信度判定部による色温度の算出確からしさの判定結果と、無彩色個数計数部によるカウント値とに基づき、色温度算出の信頼度を推定する。
【００６９】
従って、より正確で適切な色温度算出の信頼度を推定し、信頼度に応じた画像処理ができる。
また、実施形態における撮影装置は、撮影画像の色温度の算出をする色温度算出部と、撮影画像の色温度の算出確からしさを判定する色温度算出確信度判定部と、撮影画像中の無彩色個数を検出しカウントする無彩色個数計数部と、色温度算出確信度判定部による色温度の算出確からしさの判定結果と、無彩色個数計数部によるカウント値とに基づき、色温度算出の信頼度を推定する色温度算出信頼度推定部と、色温度算出信頼度推定部により推定された信頼度を、撮影画像に関連づけて記録する記憶部とを備える。
【００７０】
これにより、的確に推定された色温度算出信頼度が、撮影画像とともに紐づけられて記憶することができるので、後日、記憶した信頼度にもとづいて撮影画像を画像処理してもよい。
また、実施形態における画像処理装置は、記憶装置に記憶された撮影画像を読み取るための撮影画像読み取り部を備え、撮影画像と関連付けて記憶装置に記憶された撮影画像の色温度算出の信頼度を推定した色温度算出信頼度推定値を用いて、読み取り部により読み取った撮影画像の処理を行う。
【００７１】
従って、撮影時の如何にかかわりなく撮影の後日、画像処理装置を用いてその画像の色温度算出信頼度推定値をもとに画像処理を行える。
また、実施形態における画像処理装置は、撮影画像の処理が、記憶部に記憶された色温度算出信頼度推定値の変化を検出し、色温度算出信頼度推定値が大きくなった時のホワイトバランス制御のゲインを、色温度算出信頼度推定値が大きくなった時より前の撮影画像に対し遡及適用するホワイトバランス制御処理を含む。
【００７２】
これにより、一連の撮影画像に対して画像処理段階で信頼度推定値のより大きいホワイトバランスのゲインを他の画像に遡及適用してもよい。
また、実施形態における画像作成方法は、画像の色温度の算出をする色温度算出工程と、算出した色温度の確からしさを判定する色温度算出確信度判定工程と、色温度算出確信度判定工程による判定結果と、画像中の無彩色個数を検出しカウントしたカウント値と、に応じてホワイトバランス制御のゲイン更新率を変更する工程とを有する。
【００７３】
これにより、的確なホワイトバランス制御のゲイン更新率の設定と更新を行うことができる。ゲイン更新率は、前回撮影の算出ゲインと今回の色温度からの算出ゲイン間で重み付けをし、新たなゲインを算出するものでもよい。また、前回撮影の算出ゲインと今回の算出ゲイン間で、新たなゲインの適用に変更するまでの時定数との関連において、ゲイン更新率を算出するものでもよい。
【００７４】
また、実施形態における画像作成方法は、撮影位置の変化を検出する撮影位置変化検出部と、撮影画像の輝度変化を測定する輝度変化測定部と、撮影時間を定義する計時部とを備え、撮影位置変化検出部により検出された撮影位置の変化と、輝度変化測定部により測定された撮影画像の輝度変化と、計時部により検出された経過時間とから、撮影画像の変化度合いを推定する工程と、撮影画像の変化度合いを推定する工程による推定結果に応じてホワイトバランス制御のゲイン更新率を変更する工程とを有する。
【００７５】
これにより、撮影画像の変化度合いとしてのシーンの連続性を、例えば、加速度センサや角加速度センサ等による撮影位置の変化検出と輝度変化と経過時間とから判断することができる。さらに、シーンの連続性が絶たれたと判断した場合には、ホワイトバランス制御のゲインを新たに更新して制御し、また、シーンの連続性がある場合には、前回のホワイトバランスのゲインを全部あるいは一部更新して適用する等してもよい。従って、より的確なホワイトバランス処理による画像作成ができる。
【００７６】
また、実施形態における画像作成方法は、色温度算出確信度判定工程による色温度の算出確からしさの判定結果と、画像中の無彩色個数を検出しカウントしたカウント値とから、色温度算出の信頼度を推定する工程と、色温度算出の信頼度が大きくなるか、または、撮影画像の変化度合いが大きくなった場合に、ホワイトバランス制御のゲイン更新率を大きくする工程とを有する。
【００７７】
これにより、より信頼度の大きい撮影画像の色温度から算出されたホワイトバランス制御のゲインに、より大きな重み付けをしたホワイトバランス制御となる。従って、過去の信頼度の低い撮影画像に基づく補正ゲインを用いなくてもよい。
また、撮影位置の変化を検出する撮影位置変化検出部と、撮影画像の輝度変化を測定する輝度変化測定部と、撮影時間を定義する計時部とを備えた撮像装置において、撮影位置変化検出部により検出された撮影位置の変化と、輝度変化測定部により測定された撮影画像の輝度変化と、計時部により検出された経過時間とから、撮影画像の変化度合いを推定する工程と、撮影画像の変化度合いを推定する工程による推定結果に応じてホワイトバランス制御のゲイン更新率を変更する工程とを有する画像作成方法とすることができる。
【００７８】
また、色温度算出確信度判定工程による色温度の算出確からしさの判定結果と、画像中の無彩色個数を検出しカウントしたカウント値とから、色温度算出の信頼度を推定する工程と、色温度算出の信頼度が大きくなるか、または、撮影画像の変化度合いが大きくなった場合に、ホワイトバランス制御のゲイン更新率を大きくする工程と、を有する画像作成方法とすることができる。
【００７９】
また、被写界を撮影して撮影画像を生成する撮像部と、被写界または撮影画像から色温度を検出する色温度検出部と、色温度の過去値および現在値に基づいて、ホワイトバランスの調整ゲインを決定するゲイン更新部と、ゲイン更新部で更新された調整ゲインを用いて、撮影画像のホワイトバランスを調整するホワイトバランス制御部と、色温度検出部による色温度検出を評価して、色温度検出の信頼度を求める評価部とを備え、ゲイン更新部は、信頼度に応じて、調整ゲインの決定に対する過去値と現在値の寄与率を変更する撮像装置とすることができる。
【００８０】
好ましくは、ゲイン更新部は、現在の信頼度が過去の信頼度に比べて高く変化した場合、現在値の寄与率を高く変更する撮像装置とすることができる。
また、実施形態において色温度を算出し前回の撮影と今回の撮影との比較した色温度差が所定の値、例えば５００Ｋ以上ある場合のみ、ホワイトバランスのゲイン変更を行うこととし、この変更を行う場合に実施形態を適用することとしてもよい。このような制御とすると、所定の色温度差より小さい色温度の変化では、ホワイトバランス制御のゲイン値変更は行われないので、画像の色合いが安定化し、唐突な画像の変化がなく、落ち着いた連続画像とすることができる。
【００８１】
また、実施形態においてゲイン更新率を撮影画像に適用する際には、一定の時定数を持たせることで緩和時間を設定し、徐々に一定の時間を消費しながら段階的に新たな適用ゲインへと、変化する構成としてもよい。この場合には、瞬時に新たなゲインへと変更しないので、ホワイトバランスの補正が徐々に変わることとなり、画像を見る者に違和感が無く、滑らかに画像の色合いを変化させることができる。
【００８２】
また、実施形態において電源ＯＮ後に短時間のうちに最初の撮影をする場合には、予め被写界や撮影しようとする画像からの画像信号を積分して、安定的な色温度やホワイトバランス制御ゲインを計算するだけの十分な時間がとれない場合もある。このような場合には、撮影シーンに応じたデフォルト値としての色温度やホワイトバランス制御ゲインを撮像装置に予め記憶させておいて、その補正ゲインと実際の撮影画像から算出した色温度確信度や検出した無彩色個数に基づき、適用ゲインを決定してもよい。
【００８３】
たとえば、夜間のスポーツ観戦の撮影などでは、グラウンドの照明色やユニフォーム色彩、グラウンドの芝の色合いなど、大まかな配色は決まっているので、予めデフォルト値を持たせておくことも可能となる。
また、撮影画像や撮影しようとする画像や被写界の画像からホワイトバランス制御を行う処理をするに際し、撮像素子から入力されたＲＧＢ信号の各々の平均値を取ることで撮影画像等の特徴を得るようにしてもよい。さらに、この平均値は、単純平均値でもよく、極端な色を除外して、又は重み付けを行って演算させてもよく、各色毎のヒストグラムを作成し、累積ヒストグラム上の中央値または適当な頻度値を平均値として用いてもよい。
【００８４】
なお、ＣＩＥ色度点の座標計算は所定のマトリクスによりＲＧＢ平均値から三刺激値（Ｘ，Ｙ，Ｚ）に変換し、さらに、（ｘ，ｙ）色度座標変換することで算出できるが、この際、Ｒ−Ｙ、Ｂ−Ｙなどのいわゆる色差信号を用いてもよい。また、変換マトリックスは、できるだけ理論値にあうように最小二乗法を用いて決定してもよい。この変換により、任意の画像の色調を、例えば昼光色下における色調に変換することができる。
【００８５】
また、実施形態における過去の撮影画像の適用ゲインは、これに代えて、カメラ等の撮像装置の電源ＯＮ中に撮影者がカメラを構えている間一定時間毎に、自動的に画像を取り込むことでホワイトバランスのゲインや色温度等のデータを取得し、これを過去のデータとして記憶して比較利用する構成としてもよい。
また、実施形態においてゲイン更新率を決定する際の過去のゲインの重み付け、典型的には寄与率を決定するに当たって、時系列的に現在時刻との差を用いて、重み係数＝１／（（現在時との差）＋係数）としてもよい。この場合の係数は、例えば１０とすることができる。このような重み付けによれば、現在時との差が小さい撮影画像は、撮影からの経過時間が短いので、この差が小さいほど最新の撮影画像と同じ環境下で撮影された可能性が高いこととなる。すなわち、照明光源や室内外の分別が同じである可能性が高いとして、大きな重み付けとすることができる。
【００８６】
また、色温度等の算出のサンプルから特定の画素を除外することと、ゲイン更新率の決定の際その画素の重み付けを“０”とすることは、その画素に関する限りいわゆる考慮の対象としないこととなるので、実質的に等しいこととなる。したがって、現在時刻との差が所定の値以上である撮影画像のゲインや色温度の画素データを、平均値等算出の演算対象から除外する構成としてもよい。
【００８７】
また、現在時刻との差異だけでなく、輝度データや色温度や無彩色個数や色温度算出の確信度や色温度算出の信頼度のデータから任意の一又は複数の組み合わせデータとし、この組み合わせデータに基づいて、ゲイン更新率の重み付け決定をする構成としてもよい。例えば、輝度データや色温度データが最新の撮影画像から大きく異なっている画像については、室内外の分別や照明光源の相違が生じている可能性が高く、このような異なる撮影画像については小さい重み付け係数として、例えば“０”を与えてもよい。
【００８８】
また、任意の光源で照明したときの色調を得るために、光源が異なる場合の色度とマトリックス情報をすべて又は、できる限り多く、連続的にカメラに記憶させておくことが好ましい。ただし、実際の記憶容量には限界があるので、撮影頻度の高いシーンについての光源にかかる情報から優先的に記憶してくことが好ましい。
典型的には、予め複数の標準光源毎にＣＩＥ色度座標点を記憶しておき、実際に求められた撮影時の色度座標点と各標準光源の色度座標点との座標平面上での距離を計算し、距離が最小である標準光源を撮影時の光源とすることができる。好ましくは、さらに、輝度データをも加味し、複数の標準光源に近い距離の色座標であった場合には、距離だけでなく、より輝度が大きい光源を撮影時の光源と認識する構成とすることが好ましい。
【００８９】
また、実施形態に用いる撮影用ＣＣＤ素子、測光用ＣＣＤ素子、その他の輝度センサ等は、いわゆる対数圧縮型の光電変換特性を有する撮像素子を用いることができる。同一光源下での動体撮影のように、撮影画像ごとにホワイトバランス制御を行うと同一動体の色が不安定になり見づらくなる場合や、逆に、ホワイトバランスのゲイン調整周期を長く設定することで、被写体の光源変化に追随できない場合に実施形態を適用してもよい。
【００９０】
また、実施形態において光源の色温度を示す照明部等をハイライト部分として抽出し、色度座標がＣＩＥ黒体放射軌跡上もしくはその近傍にあれば、ハイライト部に光源を含んでいると判断し、色温度算出の確度を向上させ、ＣＩＥ黒体放射軌跡上から離れれば光源を含まないとすることで、色温度算出の確度を低下させてもよい。
この場合においても、前述のようにハイライト部の光源輝度の大小により重み付けをすることで、色温度算出の確からしさに反映させてもよい。すなわち、輝度が小さい光源である場合には、ハイライト部にその光源が含まれるとの判断は信頼性が小さくなり、色温度算出の信頼度を低く推定することができる。
【産業上の利用可能性】
【００９１】
本発明は、ディジタルカメラやコンパクトカメラやその他の電子スチルカメラを有する携帯端末における撮像装置又は画像処理装置に適用し又は搭載することができる。
【符号の説明】
【００９２】
３０・・撮像素子、３１・・ホワイトバランスゲイン演算部、３２・・色温度算出部、３３・・色温度算出確信度判定部、３４・・ホワイトバランスゲイン更新率演算部、３５・・無彩色個数計数部、３６・・ホワイトバランス制御部、３７・・シーン連続性判定部、３８・・撮影位置変化検出部、３９・・輝度変化測定部、３ａ・・計時部、３ｂ・・撮影画像変化度合い推定部、４０・・撮像素子、４１・・色温度算出の信頼度推定部、４２・・推定値変化検出部、４３・・ホワイトバランスゲイン更新率決定部、４４・・記憶装置
【技術分野】
【０００１】
本発明は、画像のホワイトバランスを適切に調整する撮像装置に関する。
【背景技術】
【０００２】
画像撮像装置において、いわゆるホワイトバランス制御は、ＲＧＢ（赤、緑、青）の三色の色情報のゲインを調整することで行われる。一般に、このホワイトバランスの調整は、画像撮像素子から取り込んだ任意の時間における画面全体の色情報の平均値を算出し、ＲＢ（赤、青）の色情報に対して、算出したＧ（緑）を基準としたゲインを係数として掛けることで成される。
【０００３】
この場合、ホワイトバランスの過度の制御による画像の色合いの不安定化を避けるために、画像撮像素子から取り込んだ画面中に、所定の設定値以上の色温度変化があった場合にのみホワイトバランスのゲインを再算出し、再調整を行う。さらに、ホワイトバランスのゲインを急変させると、その補正により画像全体の色合いが急変し経時的に見づらい動画像となるため、段階的なホワイトバランスの変更を行うことが、例えば特開平９−３０７９１３に開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平９−３０７９１３
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、実際の撮影では撮像素子で取り込んだ画像中には無彩色や有彩色がランダムに含まれあるいは含まれないこと、または画角の変化等により取り込み画像の全体としての色温度を安定的に算出することは難しく、これに基づくホワイトバランスの調整も不安定なものとなっていた。
また、照明光源が同じでホワイトバランスの調整も同じであることが好ましい場合であっても、照明光源の種類や被写体の色によって、画面中に存在する色の色温度を誤推定すること（いわゆるカラーフェイラ）により色温度算出の不安定化の要因となっていた。
【０００６】
このような不安定な状況で算出された色温度に基づくホワイトバランスの調整ゲインが、適切に更新されることなく不適切な状態のまま、一定時間利用され、その調整ゲインによるホワイトバランス制御がその画像や、それ以降に撮影された画像に適用され続けるという問題があった。
【課題を解決するための手段】
【０００７】
この発明にかかる撮像装置は、撮影画像から色温度の算出をする色温度算出部と、撮影画像に基づいて、ホワイトバランスのゲインを算出するゲイン算出部と、色温度算出部で算出した色温度の信頼性を評価する色温度評価部と、色温度評価部による色温度の信頼性評価に応じてホワイトバランスのゲインを制御するホワイトバランス制御部とを備え、ホワイトバランス制御部は、第１の撮影で算出した色温度の信頼性評価が、第１の撮影よりも前の第２の撮影で算出した色温度の信頼性評価よりも高い場合には、第１の撮影でゲイン算出部により算出されたホワイトバランスのゲインの第１の重みを、第２の撮影で適用したホワイトバランスのゲインの第２の重みよりも大きくして、第１の撮影の撮影画像に適用するホワイトバランスのゲインを制御することを特徴とする。
【０００８】
また、この発明にかかる撮像装置は、好ましくは撮影画像の色温度の算出確からしさを判定する色温度算出確信度判定部と、撮影画像中の無彩色個数を検出しカウントする無彩色個数計数部とを備え、ホワイトバランス制御部は、色温度算出確信度判定部による色温度の算出確からしさの判定結果と、無彩色個数計数部による無彩色個数のカウント値とに応じて前記重みを変えることを特徴とする。
【０００９】
また、この発明にかかる撮像装置は、好ましくは撮影位置の変化を検出する撮影位置変化検出部と、撮影画像の輝度変化を測定する輝度変化測定部と、撮影時間を定義する計時部と、撮影画像変化度合い推定部とをさらに備え、撮影画像変化度合い推定部は、撮影位置変化検出部により検出された撮影位置の変化と、輝度変化測定部により測定された撮影画像の輝度変化と、計時部により検出された経過時間とを用いて撮影画像の変化度合いを推定し、ホワイトバランス制御部は、推定した撮影画像の変化度合いに応じて重みを変えることを特徴とする。
【００１０】
また、この発明にかかる撮像装置は、好ましくは色温度算出信頼度推定部をさらに備え、色温度算出信頼度推定部は、色温度算出確信度判定部による色温度の算出確からしさの判定結果と、無彩色個数計数部によるカウント値とを用いて色温度算出の信頼度を推定し、ホワイトバランス制御部は、色温度算出の信頼度が大きくなるか、または、撮影画像の変化度合いが大きくなった場合に、第１の重みを第２の重みよりも大きくすることを特徴とする。
【００１１】
また、この発明にかかる撮像装置は、好ましくはホワイトバランス制御部は、色温度算出の信頼度が大きくなった場合に、信頼度が大きくなった時のホワイトバランスのゲインを、信頼度が大きくなる以前の撮影画像に遡及させてホワイトバランス制御を行うことを特徴とする。
【００１２】
また、この発明にかかる撮像装置は、好ましくは撮影画像には、被写界も含まれることを特徴とする。
【発明の効果】
【００１３】
本発明により、信頼性の高い色温度を算出した場合の適切な信頼性の高いホワイトバランスの補正ゲインを用いて、より適切な制御タイミングで他の画像もホワイトバランス制御を行うことができる。
【図面の簡単な説明】
【００１４】
【図１】撮影シーン説明模式図
【図２】本発明の実施形態にかかるフローチャート
【図３】本発明の実施形態にかかるブロック図
【図４】ホワイトバランス更新率演算部のブロック図
【図５】ホワイトバランス制御部の補正ブロック図
【図６】画像処理装置の処理概要ブロック図
【図７】画像演算処理部の概念ブロック図
【発明を実施するための形態】
【００１５】
（実施形態１）
本発明の実施形態について以下、順次説明する。
いわゆる撮像装置においては、適正な色再現を行うためにＣＣＤ撮像素子から取り込んだＲ，Ｇ，Ｂ（赤、緑、青）の色情報である電気信号を加工し、補正する。この補正のひとつが、一般にホワイトバランスといわれるもので、緑の信号強度を基調として、赤と青に所定のゲインを係数として掛けることで色あいの調整を行うものである。
【００１６】
すなわちＲ＝α・Ｇ、Ｂ＝β・Ｇ、となるようにゲインαとβが算出される。このゲイン算出は、画像中の無彩色たる白や灰色等を検出し、そこからの反射検出光が所定の光源の特徴となるように、あるいは画面全体の平均値や時間積分値をとることで算出される。光源は蛍光灯や水銀灯、白色灯等各々の光源によって光の特徴が異なるため、通常、光源の数に対応するだけの複数光源の特徴として、例えば複数の黒体放射上の特徴が撮像装置に予め記憶されている。
【００１７】
ここで、図２は撮影しようとするシーンを表した撮影シーン説明模式図である。例えば、電車のみの像２０のズーム撮影する状態から、背景のビルも含めた全体像２１としての撮影へとワイド化した場合、一連の撮影にもかかわらず、撮影画像中に含まれる無彩色の数や光源の数、光源の種類等が大きく異なる。
したがって、電車のみの像２０のシーン下でのホワイトバランスの補正ゲインと、全体像２１のシーン下での補正ゲインとでは値が大きく異なり、その結果この間で急激に同じ対象（例えば電車の車体）の色合いが変化する。
【００１８】
また、このような急激な色合いの変化を防止する制限回路等が設定されている場合には、逆にズーム画面である電車のみの像２０下で算出されたローカルな補正ゲインが、ワイド化された後の全体像２１のグローバル撮影時に適用されて、不適切なホワイトバランス制御が行われることになる。
すなわち、一連のシーン撮影下において画面が変わることで、突如としてホワイトバランスの補正ゲインが変わり、それにより色合いが急変する。また、初期の補正ゲインが不適正な値であるにもかかわらず、その後の撮影においてその補正ゲインが適用されることとなる。
【００１９】
このため、このような一連の撮影において、同一又は類似の補正ゲインによるホワイトバランス制御が望まれる場合であっても、図２に示すように、撮影画像中の光源の有無や無彩色の有無が各々異なり、各画像すべてにおいて最適な補正ゲインを各々画像ごとに算出できるとは限らない状態が生じる。
そこで、図１に示す本発明の実施形態にかかるフローチャートのようにホワイトバランス制御を行う。図１は一眼レフタイプのディジタルカメラの場合の処理フローを説明するものである。
【００２０】
（ステップ１）一眼レフタイプのディジタルカメラでは、撮影用のＣＣＤとは別に露出制御用の測光センサとして測光用カラーＣＣＤ撮像素子を備える。その測光センサで、撮影画像又は撮影しようとする画像の色温度算出の確信度を算出する。
色温度算出の確信度は、情報の比較、典型的にはパターンマッチング等によって色温度算出の確からしさを判定するものをいう。すなわち、被写界たる撮影画像又は撮影しようとする画像の輝度分布状態や色分布状態等を、予め記憶させた色温度算出誤認を生じやすいシーンの各々の分布パターン等と比較することで判断する。
【００２１】
色温度算出の誤認を生じやすいシーンとは、例えば、緑の芝生や草木と蛍光灯や水銀灯の光源、紅葉や人物の顔と白色電球、日陰と青空等が挙げられる。これらの輝度分布パターン、色分布パターン等を予め記憶しておく。
パターンマッチングは、マトリックス状の色や輝度の空間分布、時間分布、ＲＧＢ三原色分布、ＲＧＢ三原色強度分布、その他のスペクトル分光装置を用いたスペクトル分布のマッチングとしてもよい。また、ＣＩＥ色度図表上でのドットパターンや、所定の黒体放射領域やその周辺部に限定した対応する画素分布を比較するものであってもよく、また、特定の信号強度をもつ画素数のみ、一定以上のＳ／Ｎ比を有する画素数の抽出をするものでもよい。
【００２２】
また、パターンマッチングの演算手法も分散に基づく手法等複数知られているが、いずれの演算手法やマッチング手法を用いたものでもよい。すなわち、色温度の算出を間違いやすいシーンとして予め記憶した所定の情報と、撮影画像又はこれから撮影しようとする画像のシーンから得られる情報とを比較できるパターンマッチングであれば適用してよい。さらに、パターンマッチングの為の比較情報を撮像装置であるカメラで抽出するために、新たな装置として例えば分光器やスペクトル分析器等及びその比較装置、及び記憶装置を搭載してもよい。
【００２３】
（ステップ２）次に、レリーズにて撮影状態を判定する。レリーズされていなければ、すなわち一眼レフタイプのディジタルカメラにおいて、撮影用ＣＣＤ前方の反射ミラーが存在すれば、まだ撮影しないこととなる。レリーズされていれば、撮影場面の光信号は撮影用ＣＣＤに入射しており、撮影が可能となる。なお、コンパクトタイプのディジタルカメラにおいては、電源ＯＮである限り常時撮影用ＣＣＤにおいてモニタし測光しているため、このレリーズ判定工程は不要となる。
【００２４】
（ステップ３）次に、撮影用ＣＣＤに入射した光を検出した撮影画像や被写界の信号から、無彩色の種類や個数を検出する。この無彩色の検出は、撮影画像を複数の領域に分割し、領域ごとにその領域内にあるＲＧＢ信号から無彩色に該当するかどうかの評価をすることで行う。領域分割は例えば、撮影画像を５００分割として、その各分割領域中のＲＧＢ信号強度の平均値、又は積算値で算出することができる。
【００２５】
具体的には、光源の照明の種類に該当するＣＩＥ色度座標（色空間座標）近傍のデフォルト値と、撮影画像の一又は複数の画素からなる領域ごとの画像情報を比較することで、無彩色の判定し、各光源に近い分割領域の個数をカウントする。従って、太陽光のカウント値が４つ、蛍光灯のカウント値が８つ、という具合に一の撮影画像中に分割領域ごとにその無彩色有無と光源特徴が判断される。さらに、カウント値では蛍光灯が多いが、太陽光のカウント分による領域の輝度が高いので、太陽光光源下での撮影と判断してもよい。
【００２６】
（ステップ４）続いて、無彩色として評価された領域の個数を集計し、同時に、その無彩色領域から色温度を算出する。
標準光源は、例えばＡ（０．４４８，０．４０７）、Ｄ５０（０．３４６，０．３５９）、Ｄ５５（０．３３２，０．３４８）、Ｄ６５（０．３１３，０．３２９）、Ｄ７５（０．２９９，０．３１５）、蛍光灯光源ではＦ２（０．３７２，０．３７５）、Ｆ８（０．３４６，０．３５９）Ｆ１１（０．３８１，０．３７７）等が知られている。
【００２７】
色温度の算出（例えば、“５０００Ｋ”）がおわると、色温度算出の信頼度を算出する（ステップ５）。色温度算出の信頼度は、予め撮影前に測光センサを用いて算出した色温度算出の確信度と、撮影時に算出した撮影画像の無彩色検出個数を用いて決定する。色温度算出の信頼度は、色温度算出の確信度が高く（例えば１０００等絶対値の大きい値）また無彩色検出個数が多いほど（例えば“５００”）高くなり、色温度算出の確信度が低く（例えば１等）また無彩色検出個数が少ない（例えば“１”）ほど低くなるように加算や乗算等で算出する。
【００２８】
色温度算出の確信度は、予め測光用ＣＣＤの検出光から算出される。この確信度が低いということは、すなわち、色温度の算出に誤認を生じ易い撮影シーンであるとカメラが判断したことである。また、無彩色検出個数が少ないということは、それだけ色温度算出の基準となる無彩色が撮影画像中に少ないことであり、いずれの場合であっても色温度の正確な算出は困難なことから、色温度算出の信頼度は低くなる。
【００２９】
（ステップ６）続いて、前回撮影時の色温度算出の信頼度や前回撮影時からの経過時間、前回撮影時からの輝度変化を算出し、ホワイトバランス制御の更新率を算出する。輝度変化は測光用ＣＣＤの測定輝度データを経過時間は時計等の計時手段のデータを各々記憶しておき、前回と今回の撮影で記憶したデータと比較する。
この比較結果をもとに、撮影シーンの変化が大きいのか小さいのかが判断できる。すなわち、前回の撮影と比較して信頼度の変化が大きく、経過時間も長く、輝度変化も大きい場合には、撮影シーンたる撮影画像の性質は大きく異なり変化が大きいと判断し、前回の撮影と比較して信頼度の変化が小さく、経過時間も短く、輝度変化も小さい場合には、撮影シーンたる撮影画像の性質は大きく異ならず変化が小さいと判断する。
【００３０】
さらに、ステップ６では、この判断をもとに、ホワイトバランスの更新率、すなわち、前回のホワイトバランスの補正ゲインに対して、今回のホワイトバランスの補正ゲインの適用割合を０％−１００％間で決定する。撮影シーンの変化が大きい場合には更新率を大きくし、撮影シーンの変化が小さい場合には更新率を小さく設定する。
たとえば、更新率を８０％とした場合には、前回のゲインの２０％値と今回の算出ゲインの８０％を加算したゲインを今回のゲインとして採用する。
【００３１】
（ステップ７）さらに、このゲイン値でホワイトバランス制御を行う。また、前回の撮影時に５０００Ｋとの色温度が算出され、今回の色温度が５５００Ｋと算出された場合、５０００Ｋに２０％を掛け、５５００Ｋに８０％を掛けて５４００Ｋを乗算し加算算出し、算出した５４００Ｋに対応する補正ゲインを決定してもよい。
また、撮影シーンの変化があった場合、ホワイトバランスのゲインの更新可否と更新率の決定は、色温度算出確信度判定の判定結果にかかわらず優先的に適用する。すなわち、撮影シーンが明らかに変わっている場合には、もはや前回撮影との比較を要せず新たな更新ゲインを１００％適用すればよい。
【００３２】
ここで、撮影シーンの変化の判断は、例えば加速度センサや角速度センサを搭載することで、カメラの動きの変化を検出し、カメラの動きの変化が大きい場合には撮影シーンの変化が大きいとしてもよい。
（ステップ８）次に、この撮影画像に紐づけて色温度算出の信頼度や撮影時刻、測定輝度等の撮影画像に関連する測定情報や演算情報を画像関連情報として記憶装置に記憶する。この紐付けは、撮影画像との関係で関連づけがとれればよいので、必ずしも、同一の記憶装置に記憶する必要はない。たとえば、特定のＩＮＤＥＸを画像関連情報に付し、同一のＩＮＤＥＸを該当する画像にも付与することで、それぞれ別々の記憶装置に記録し、後日、画像を読み出したときに、紐付け参照できるようにしてもよい。
【００３３】
この実施形態により、一眼レフタイプのディジタルカメラにおいて、撮影前に予め推定
した撮影画像の色温度算出確からしさを指標の一つとして、撮影画像中の無彩色個数、前回撮影からの経過時間、輝度変化、色温度変化、カメラの動き変化をも加味したホワイトバランスの補正ゲイン更新率が決定できる。従って、不必要な撮影画像毎の補正ゲインの大幅変更が生じず、また、不適正な補正ゲインがその後の撮影画像に適用され続けることもない。従って、適切に更新された補正ゲインを用いたホワイトバランス制御を可能とする。
【００３４】
なお、ゲイン更新率は前回と今回とのゲイン適用比率割合だけでなく、例えば、適用ゲインの変更を行うまでの時間関数（緩和時間）としてゲイン更新率を定義してもよく、また、それらの併用タイプとしてもよい。
次に、図３に示す本発明の実施形態にかかるブロック概念図を用いて各部の機能を説明する。この図は、ホワイトバランス制御部周辺のブロック図を示しており、撮像素子３０は、典型的には撮影用カラーＣＣＤであるが、測光用カラーＣＣＤを用いてもよい。
【００３５】
撮像素子３０において検出された光信号は、光電変換され撮像情報を有する電気信号として、画素ごとにＲＧＢ信号等となり信号処理される。この電気信号は、各種遅延回路や分離回路等を経て一定の処理がされた状態で、ホワイトバランス制御を行うホワイトバランス制御回路へ送られる。
ここでホワイトバランスの補正ゲインを算出するホワイトバランスゲイン演算部３１では、撮像素子３０からの所定の入力信号を色温度算出部３２による色温度の算出値とともに処理することで、α、βの補正ゲインの計算が成される。これは、いわば生ゲインともいえるもので、撮影画像毎に個々別々に補正ゲインを算出する。ゲインの計算は、例えば、撮影画像中の無彩色箇所を基準として光源色にて決定する方法や、時間積分、空間積分、極端な有彩色を除外して平均値を出す方法等を用いることができ、他の任意の方法としてよい。
【００３６】
一方、色温度算出確信度判定部３３では、入力された画像情報と図示しない記憶装置に予め記憶させた色温度等の、間違いやすい状態を示す情報と比較することで、この撮影画像の算出色温度が確からしいかどうかを判断する。例えば、草木の緑と水銀灯の色特徴を記憶しておき、これと、入力された撮影画像の画像情報とを色温度算出確信度判定部３３で比較することで、間違えやすい画素がいくつあるかにより判定してもよい。
【００３７】
また、無彩色個数計数部３５では、入力された画像情報から撮影画像等に含まれる無彩色の個数をカウントする。無彩色の個数は例えば、領域分割された領域内のＲＧＢ信号強度比率等から、無彩色と判定された領域の個数や該当画素数の総計としてカウントするようにしてもよい。無彩色個数あるいは面積等の無彩色情報は、色温度を決定するための重要な要素の一つであり、色温度算出の正確性にもつながる要素である。このため、カウント結果は、ホワイトバランス制御の補正ゲイン更新率を決定する際の一要素として、色温度算出確信度判定部３３の判定結果と、後述する撮影画像変化度合い推定部３ｂによる推定結果とともに、ホワイトバランスゲイン更新率演算部３４に入力される。
【００３８】
また、シーン連続性判定部３７は、撮影位置変化検出部３８と輝度変化測定部３９と計時部３ａを有し、この情報を基に撮影シーンたる撮影画像が、前回の撮影と今回の撮影とで、一体連続性があるのかないのかを判定する撮影画像変化度合い推定部３ｂを備える。シーン連続性判定部３７からの情報は、撮影画像に関わる付帯情報として、その撮影画像とリンク又は同期してホワイトバランスゲイン更新率演算部３４に入力される。
【００３９】
ここで、撮影位置変化検出部３８は、撮影位置が変化したかどうか検出するものであって、例えば、速度センサや加速度センサや角速度センサや角加速度センサ等からなり、撮影位置の変化を認識できるセンサが用いられる。この意味において、撮影位置変化検出部３８は地磁気検出を基準とした方位計や、太陽光源や月光等の主要光源の位置を検出し、その方位とカメラ向きのずれ角等から撮影位置の動き変化を検出する構成としてもよい。
【００４０】
また、輝度変化測定部３９は、前回の撮影画像と今回の撮影画像間での輝度の変化を測定できればよいので、撮影用ＣＣＤを用いる構成としても、測光用ＣＣＤやその他の輝度センサを用いる構成としてもよい。
また、計時部３ａは、典型的には前回の撮影から今回の撮影までの時間を測定できればよく、時計、タイマー、時刻電波受信装置等であってもよい。また、計時する期間は、前回撮影との間だけでなく、前々回や前々前回等、少なくとも一連一体的撮影と見なしうる間のすべての撮影画像について、その撮影時と今回の撮影時の経過時間や各撮影間隔を測定できるものが望ましい。
【００４１】
これらの撮影位置変化検出部３８と輝度変化測定部３９と計時部３ａの情報は、撮影画像変化度合い推定部３ｂにて、演算処理されることで、撮影画像がどの程度変化したのかあるいは、変化していないのかの推定がなされる。
この３つの要素に基づく変化度合い推定の決定方法は任意の関係式等による演算でもよい。例えば、撮影位置の変化が大きく、輝度変化も大きく、時間経過も大きい場合には撮影画像の変化度合いが大きいと判断することができる。一方、撮影位置の変化が小さく、輝度変化も小さく、時間経過も小さい場合には、撮影画像の変化度合いが小さいと判断することができる。また、これらの推定値を数値化して用いてもよい。
【００４２】
さらに、これら３つの要素に重み付けをして屋外、屋内、遠景、接写、スポーツ等の撮影カテゴリーに応じて、撮影画像の変化度合いの推定結果に反映させることができる。例えば、展示会等の撮影においては、撮影対象たる展示物は、概ね同一の照明下で同一の明るさのもとで展示されることが多い。従って、このモードにおいては計時部３ａや撮影位置変化検出部３８による経過時間情報や撮影位置変化情報の重みを軽くすることで、たとえ時間経過が大きくて撮影位置の変化が大きくても、撮影画像の変化は少ないと推定させてもよい。
【００４３】
また、例えば、夕日を１時間連続で連写する場合など、前回との一こま一こま間では輝度変化や撮影位置変化は少ないが、１時間前と比較すると大きく変化している場合がある。このような撮影モードにおいては、計時部３ａによる時間経過に重み付けをすることで、撮影画像の変化度合い推定の演算が可能となる。
次に、ホワイトバランスゲイン更新率演算部３４では、色温度算出確信度判定部３３による色温度算出の確からしさと、無彩色個数計数部３５による無彩色のカウント値と、シーン連続性判定部３７による撮影画像変化度合いの推定結果（シーン連続性の有無）と、が入力されることで、補正ゲインの更新率が決定される。
【００４４】
ホワイトバランス制御の補正ゲイン更新率は、典型的には、前回の撮影画像の補正ゲインに対して今回の撮影画像からの算出生ゲインをどの程度の割合と重み付けで演算することで、今回の撮影画像に実際に適用する補正ゲインを決定するか、を示すものである。
これは、各撮影時に各撮影画像から各々ホワイトバランスゲイン演算部３１で計算される生ゲイン（α、β）は、各撮影画像中の個別の不安定ファクターの混在によって、必ずしも適切な値であるとは限らないという経験則に基づくものである。
【００４５】
したがって、前回の撮影画像に適用したゲインに対して、今回の撮影画像から得られた生ゲイン（α，β）を所定の演算比率たる更新率として重み付けし加算した上で、新たな補正ゲインとして、今回の撮影画像にホワイトバランス制御制御を行う。
ゲイン更新率は、典型的には上述のようになるが、前回との関係に限らず、前々回や前々前回等の過去の撮影画像における補正ゲインを考慮した重み付けや更新率としてもよい。また、更新率を演算後の補正ゲインは、今回の撮影画像だけに限らず、過去の撮影画像に遡及的に適用してもよく、未来の撮影画像に適用すべく保持しておいてもよい。
【００４６】
色温度算出の確信度等は撮影画像毎に異なるため、一連の撮影中には好ましくないゲインが算出される撮影画像が含まれることもあるため、この場合、その一連一体的な撮影中において、もっとも正確と思われる信頼度の高い撮影画像の補正ゲインを、その撮影画像の全部や一部に適用することができる。ここでいう一連一体的な撮影とは、典型的には、撮影画像変化度合い推定部３ｂで、撮影画像変化度合いが少ないと推定される場合である。
【００４７】
ホワイトバランスゲイン演算部３１で計算された補正生ゲイン（α、β）と、ホワイトバランスゲイン更新率演算部３４で決定された更新率は、ホワイトバランス制御部３６へ送られ、更新率に従って決定されたゲインの適用により、撮影画像のホワイトバランス制御が行われる。
なお、ホワイトバランスゲインの決定等については、無彩色の色を抽出してそこから所定の光源色となるホワイトバランスの算出をする方法と、撮影画像の色温度を決定しその色温度に基づいてホワイトバランスの算出をする方法と、があるがいずれの方法を適用してもよい。
【００４８】
次に、ホワイトバランスゲイン更新率演算部３４の詳細について、図４に示すホワイトバランス更新率演算部のブロック図を用いて説明する。撮像素子４０にて光電変換された撮影映像の情報は、記憶装置４４に記憶し保持され、撮影完了後の画像処理に用いることができる。
一方、色温度算出確信度判定部３３と無彩色個数計数部３５の情報は、色温度算出の信頼度推定部４１へ入力され、色温度算出の信頼度が推定され決定される。ここで色温度算出の信頼度とは、色温度算出確信度や撮影画像中に無彩色の個数がいくつあるかに基づき決定される色温度算出信頼度をいう。
【００４９】
すなわち、色温度算出確信度が高く無彩色検出個数が多いほど色温度算出の信頼度は高く推定され、逆に、色温度算出確信度が低く無彩色検出個数が少ないほど色温度算出の信頼度は、低く推定される。
色温度算出の信頼度推定部４１で評価された推定結果は、推定値変化検出部４２へ入力されるとともに、撮像素子４０の画像情報と共に関連づけして記憶装置４４に記憶されることで撮影完了後の画像処理に用いることができる。
推定値変化検出部４２では、撮影画像変化度合い推定部３ｂからの推定値と色温度算出の信頼度推定部４１からの推定値のそれぞれについて、経時的な変化検出を行っている。
【００５０】
そして、色温度算出の信頼度推定部４１による色温度算出の信頼度の評価推定値が大きくなるか、撮影画像変化度合い推定部３ｂによる撮影画像変化度合いの評価推定値が大きくなれば、ホワイトバランスゲイン更新率決定部４３にてゲイン更新率を大きく決定するように出力する。すなわち、推定値変化検出部４２は、入力された推定値の時間微分が正になったときに、その値を出力する構成とする。
【００５１】
また、色温度算出の信頼度推定部４１による色温度算出の信頼度の評価推定値が小さくなるか、撮影画像変化度合い推定部３ｂによる撮影画像変化度合いの評価推定値が小さくなれば、ホワイトバランスゲイン更新率決定部４３にてゲイン更新率を小さく決定するように出力する。すなわち、推定値変化検出部４２は、入力された推定値の時間微分が負になったときに、その値を出力する構成とする。
【００５２】
次に、図５に示すホワイトバランス制御部の補正ブロック図を用いてホワイトバランス制御部について詳述する。撮像素子５０による撮影画像に関わる入力画像情報からホワイトバランスゲイン演算部５１にて、生補正ゲイン（α，β）が算出される。算出された生補正ゲイン（α，β）は、ホワイトバランス制御部５４へと出力される。また、撮像素子５０からの撮影画像情報はバッファ部５３にて、一時記憶される。
【００５３】
一方、ホワイトバランスゲイン更新率演算部５２にて決定されたゲイン更新率は、ホワイトバランス制御部５４へと出力され、画像に実際に適用する補正ゲインが決定される。例えば、生補正ゲイン（α，β）に対して、更新率が８０％であれば、（０．８α＋０．２α'，０．８β＋０．２β'）とできる。ここで、（α'，β'）は、前回のホワイトバランス制御時に、画像補正に実際に適用した補正ゲイン（α'，β'）を意味している。
【００５４】
また、ホワイトバランスゲイン更新率演算部５２では、色温度算出確信度判定部３３と無彩色個数計数部３５とシーン連続性判定部３７からの各入力情報からゲインの更新率が決定される。決定されたゲイン更新率は、ホワイトバランスゲイン演算部５１で演算された補正ゲイン値とともに、ホワイトバランス制御部５４へ入力される。
ホワイトバランス制御部５４では、入力値をもとに撮影画像に実際に適用する適用ゲインを決定する。決定されたゲインは、バッファ部５３に一時記憶されていた適用対象となる撮影画像に対して、実際に適用されホワイトバランス制御後の補正画像５５が出力される。
【００５５】
この実施形態により、適切な画像シーン判断指標から色温度推定の正確性やシーン変化有無が判断されるので、ホワイトバランス制御のゲインを変更すべきかどうかや、変更すべき場合にはどの程度変更すべきか、についてのホワイトバランス制御の更新率を適切に決定し、適用できることとなる。
（実施形態２）
次に、図６に示す画像処理装置の処理概要ブロック図を用いて実施形態２にかかる画像処理装置について説明する。画像処理装置６０では、記憶装置６１に記憶された撮影画像情報と色温度算出信頼度を、撮影画像読み取り装置６２にて読み出すことができる。
【００５６】
ここで、記憶装置６１は撮像装置において撮影された撮影画像やその関連情報を、例えば経時的に記憶する。しかし、撮影画像の情報自体と、それに関連する色温度算出信頼度の情報とでは、必ずしも同一の記憶装置６１に記憶する必然性はない。
すなわち、画像処理装置６０において撮影画像を読み出して画像処理する際に、画像情報とその画像にかかる色温度算出信頼度の情報が関連づけて認識できればよい。従って、例えば、２以上の記憶装置に別々の情報として、それぞれ関連づけて記憶しておいてもよい。
【００５７】
次に、撮影画像読み取り装置６２によって、読み出された撮影画像６３とその画像に関わる色温度算出信頼度推定値６４とは、画像演算処理部６５に入力される。画像演算処理部６５では、入力された撮影画像６３により、ホワイトバランスのゲインを演算し、また、撮影画像は遅延回路にて一定の時間バッファされる。
この様子を図７の画像演算処理部の概念ブロック図に示す。撮影画像読み取り部６２にて読み取った撮影画像関連情報である色温度算出信頼度推定値は、色温度算出信頼度推定値変化検出部７０へ入力され、画像が変わる際の推定値変化が検出される。
【００５８】
ここで、画像が変わる際とは、撮影時間経過による経過時間軸にもとづく撮影画像の変化であってもよいし、撮影時間とは無関係に類似画像を抽出し、一定の順序で配列変更した後の撮影画像について場面が変わるごと、であってもよい。また、撮影画像一画像ごとであってもよいし、一又は複数の撮影画像グループごととしてもよい。特に、一の撮影画像について、その一部を一又は複数の画像に場面を分割して新たな一画像として処理したい場合には、新たな一又は複数の画面はもとの画像と同一の画像として扱うことも可能である。
【００５９】
色温度算出信頼度推定値変化検出部７０で検出された信頼度推定値変化と、ホワイトバランスゲイン演算部７１で演算されたその画像の補正ゲイン（α，β）とは、ホワイトバランス制御部７３に入力され、実際に適用する適用ゲインが決定される。このとき、適用ゲインを決定するプロセスは、実施形態１と同様の処理とすることができる。
一方、これとは別に画像情報はバッファ回路７２に保存されているので、適用ゲインが決まれば、その画像だけにとどまらず、保存されているそれより以前の画像についても、この適用ゲインを遡及的に適用することができる。
【００６０】
また、ホワイトバランス制御部７３に決定した適用ゲインを記憶しておいて、それ以降の処理画像について、この適用ゲインを適用してもよい。すなわち、一定期間または一定枚数、一定シーンなど任意の一又は複数の画像について、その中で最適なホワイトバランスの補正ゲインを用いた画像処理を遡及的に、あるいは将来的に、適用してもよい。
また、最適な補正ゲインとは、既に述べたように、典型的にはその信頼度が極大化する画像に基づき算出された補正ゲイン又は、適用ゲインのことであるが、色温度算出確信度を含めた一又は複数の因子に基づき決定された補正ゲインであってもよい。
【００６１】
この実施形態における画像処理装置は、例えばＮＩＫＯＮキャプチャーのような汎用画像処理装置に併合してさらに付加価値を高め、より高機能化した画像処理装置とすることができる。
また、この実施形態にかかる画像処理装置は、パソコンやワークステーション等の電子演算処理機器を用いて処理するようプログラムしてもよい。この場合には、図１に示すチャートに従う所定の処理プログラムとすることができる。
【００６２】
実施形態における撮像装置では、撮影画像の色温度の算出をする色温度算出部と、撮影画像の色温度の算出確からしさを判定する色温度算出確信度判定部と、撮影画像中の無彩色個数を検出しカウントする無彩色個数計数部とを備え、色温度算出確信度判定部による色温度の算出確からしさの判定結果と、無彩色個数計数部による無彩色個数のカウント値と、に応じてホワイトバランス制御のゲイン更新率を変える。
【００６３】
従って、ゲイン更新に適切な重み付けがされることで、不必要なゲイン更新によるホワイトバランス制御で画像の色合い急変等の発生が低減される。さらに、その重み付けは、撮影画像中の無彩色の有無や色温度の算出の確からしさに基づいて決定されるので、より信頼性の高い、ホワイトバランス制御のゲイン更新率の設定が可能となる。また、画角変化やアングル変化への適切な対応も可能となる。
【００６４】
また、実施形態における撮像装置では、撮影位置の変化を検出する撮影位置変化検出部と、撮影画像の輝度変化を測定する輝度変化測定部と、撮影時間を定義する計時部とを備え、撮影位置変化検出部により検出された撮影位置の変化と、輝度変化測定部により測定された撮影画像の輝度変化と、計時部により検出された経過時間とから、撮影画像の変化度合いを推定し、推定した撮影画像の変化度合いに応じてホワイトバランス制御のゲイン更新率を変える。
【００６５】
これにより、撮影位置（シーン）が変化したり、輝度が所定値以上に変化したり、前回の撮影から相当の時間経過があった場合には、連続撮影でない別個独立の撮影であると判断し、シーンの連続性がないとして、ホワイトバランスのゲインを１００％更新することができる。また、やや連続性がある場合には、ホワイトバランスのゲイン更新率を例えば８０％とし、新しい撮影画像の色温度で算出されたゲインに８０％の重みを付け、残りの２０％は前回の撮影時のゲインを適用する重み付けをすることも可能となる。
【００６６】
また、実施形態における撮像装置では、色温度算出確信度判定部による色温度の算出確からしさの判定結果と、無彩色個数計数部によるカウント値とから、色温度算出の信頼度を推定し、色温度算出の信頼度が大きくなるか、または、撮影画像の変化度合いが大きくなった場合に、ホワイトバランス制御のゲイン更新率を大きくする。
従って、色温度の算出について無彩色の多少をも加味することで、信頼性評価がより高い確度で信頼度として推定可能となり、この高い信頼度のゲインにより重みを付けて撮影画像に適用することができる。また、撮影画像の変化度をモニターし変化度に応じてホワイトバランスのゲインの重み付けをすることで、不必要なゲインの更新を低減するだけでなく、ゲイン更新の必要性有無のこの判断指標によって、必要時に適切な更新が可能となる。
【００６７】
また、実施形態における撮像装置では、色温度算出の信頼度が大きくなった場合に、信頼度が大きくなった時のホワイトバランスのゲインを、信頼度が大きくなる以前の撮影画像に遡及させてホワイトバランス制御を行う。
これにより、例えばバッファに保存されている過去に撮影された画像についても、別個独立の撮影でなければ、新しく撮影され信頼度の高いホワイトバランスのゲインを適用したホワイトバランス制御を行ってもよい。また、その後、未来の撮影についても、現在より信頼度が上がらなければ現在のゲインを継続適用してもよい。すなわち、連続撮影にかかる一連の撮影において、最も信頼度の高いホワイトバランスのゲインを、その一連の撮影画像の一部又は全部に適用できることとなり、的確なホワイトバランス制御とすることができる。
【００６８】
また、実施形態における色温度算出信頼度推定部は、撮影画像の色温度の算出をする色温度算出部と、撮影画像の色温度の算出確からしさを判定する色温度算出確信度判定部と、撮影画像中の無彩色個数を検出しカウントする無彩色個数計数部とを備え、色温度算出確信度判定部による色温度の算出確からしさの判定結果と、無彩色個数計数部によるカウント値とに基づき、色温度算出の信頼度を推定する。
【００６９】
従って、より正確で適切な色温度算出の信頼度を推定し、信頼度に応じた画像処理ができる。
また、実施形態における撮影装置は、撮影画像の色温度の算出をする色温度算出部と、撮影画像の色温度の算出確からしさを判定する色温度算出確信度判定部と、撮影画像中の無彩色個数を検出しカウントする無彩色個数計数部と、色温度算出確信度判定部による色温度の算出確からしさの判定結果と、無彩色個数計数部によるカウント値とに基づき、色温度算出の信頼度を推定する色温度算出信頼度推定部と、色温度算出信頼度推定部により推定された信頼度を、撮影画像に関連づけて記録する記憶部とを備える。
【００７０】
これにより、的確に推定された色温度算出信頼度が、撮影画像とともに紐づけられて記憶することができるので、後日、記憶した信頼度にもとづいて撮影画像を画像処理してもよい。
また、実施形態における画像処理装置は、記憶装置に記憶された撮影画像を読み取るための撮影画像読み取り部を備え、撮影画像と関連付けて記憶装置に記憶された撮影画像の色温度算出の信頼度を推定した色温度算出信頼度推定値を用いて、読み取り部により読み取った撮影画像の処理を行う。
【００７１】
従って、撮影時の如何にかかわりなく撮影の後日、画像処理装置を用いてその画像の色温度算出信頼度推定値をもとに画像処理を行える。
また、実施形態における画像処理装置は、撮影画像の処理が、記憶部に記憶された色温度算出信頼度推定値の変化を検出し、色温度算出信頼度推定値が大きくなった時のホワイトバランス制御のゲインを、色温度算出信頼度推定値が大きくなった時より前の撮影画像に対し遡及適用するホワイトバランス制御処理を含む。
【００７２】
これにより、一連の撮影画像に対して画像処理段階で信頼度推定値のより大きいホワイトバランスのゲインを他の画像に遡及適用してもよい。
また、実施形態における画像作成方法は、画像の色温度の算出をする色温度算出工程と、算出した色温度の確からしさを判定する色温度算出確信度判定工程と、色温度算出確信度判定工程による判定結果と、画像中の無彩色個数を検出しカウントしたカウント値と、に応じてホワイトバランス制御のゲイン更新率を変更する工程とを有する。
【００７３】
これにより、的確なホワイトバランス制御のゲイン更新率の設定と更新を行うことができる。ゲイン更新率は、前回撮影の算出ゲインと今回の色温度からの算出ゲイン間で重み付けをし、新たなゲインを算出するものでもよい。また、前回撮影の算出ゲインと今回の算出ゲイン間で、新たなゲインの適用に変更するまでの時定数との関連において、ゲイン更新率を算出するものでもよい。
【００７４】
また、実施形態における画像作成方法は、撮影位置の変化を検出する撮影位置変化検出部と、撮影画像の輝度変化を測定する輝度変化測定部と、撮影時間を定義する計時部とを備え、撮影位置変化検出部により検出された撮影位置の変化と、輝度変化測定部により測定された撮影画像の輝度変化と、計時部により検出された経過時間とから、撮影画像の変化度合いを推定する工程と、撮影画像の変化度合いを推定する工程による推定結果に応じてホワイトバランス制御のゲイン更新率を変更する工程とを有する。
【００７５】
これにより、撮影画像の変化度合いとしてのシーンの連続性を、例えば、加速度センサや角加速度センサ等による撮影位置の変化検出と輝度変化と経過時間とから判断することができる。さらに、シーンの連続性が絶たれたと判断した場合には、ホワイトバランス制御のゲインを新たに更新して制御し、また、シーンの連続性がある場合には、前回のホワイトバランスのゲインを全部あるいは一部更新して適用する等してもよい。従って、より的確なホワイトバランス処理による画像作成ができる。
【００７６】
また、実施形態における画像作成方法は、色温度算出確信度判定工程による色温度の算出確からしさの判定結果と、画像中の無彩色個数を検出しカウントしたカウント値とから、色温度算出の信頼度を推定する工程と、色温度算出の信頼度が大きくなるか、または、撮影画像の変化度合いが大きくなった場合に、ホワイトバランス制御のゲイン更新率を大きくする工程とを有する。
【００７７】
これにより、より信頼度の大きい撮影画像の色温度から算出されたホワイトバランス制御のゲインに、より大きな重み付けをしたホワイトバランス制御となる。従って、過去の信頼度の低い撮影画像に基づく補正ゲインを用いなくてもよい。
また、撮影位置の変化を検出する撮影位置変化検出部と、撮影画像の輝度変化を測定する輝度変化測定部と、撮影時間を定義する計時部とを備えた撮像装置において、撮影位置変化検出部により検出された撮影位置の変化と、輝度変化測定部により測定された撮影画像の輝度変化と、計時部により検出された経過時間とから、撮影画像の変化度合いを推定する工程と、撮影画像の変化度合いを推定する工程による推定結果に応じてホワイトバランス制御のゲイン更新率を変更する工程とを有する画像作成方法とすることができる。
【００７８】
また、色温度算出確信度判定工程による色温度の算出確からしさの判定結果と、画像中の無彩色個数を検出しカウントしたカウント値とから、色温度算出の信頼度を推定する工程と、色温度算出の信頼度が大きくなるか、または、撮影画像の変化度合いが大きくなった場合に、ホワイトバランス制御のゲイン更新率を大きくする工程と、を有する画像作成方法とすることができる。
【００７９】
また、被写界を撮影して撮影画像を生成する撮像部と、被写界または撮影画像から色温度を検出する色温度検出部と、色温度の過去値および現在値に基づいて、ホワイトバランスの調整ゲインを決定するゲイン更新部と、ゲイン更新部で更新された調整ゲインを用いて、撮影画像のホワイトバランスを調整するホワイトバランス制御部と、色温度検出部による色温度検出を評価して、色温度検出の信頼度を求める評価部とを備え、ゲイン更新部は、信頼度に応じて、調整ゲインの決定に対する過去値と現在値の寄与率を変更する撮像装置とすることができる。
【００８０】
好ましくは、ゲイン更新部は、現在の信頼度が過去の信頼度に比べて高く変化した場合、現在値の寄与率を高く変更する撮像装置とすることができる。
また、実施形態において色温度を算出し前回の撮影と今回の撮影との比較した色温度差が所定の値、例えば５００Ｋ以上ある場合のみ、ホワイトバランスのゲイン変更を行うこととし、この変更を行う場合に実施形態を適用することとしてもよい。このような制御とすると、所定の色温度差より小さい色温度の変化では、ホワイトバランス制御のゲイン値変更は行われないので、画像の色合いが安定化し、唐突な画像の変化がなく、落ち着いた連続画像とすることができる。
【００８１】
また、実施形態においてゲイン更新率を撮影画像に適用する際には、一定の時定数を持たせることで緩和時間を設定し、徐々に一定の時間を消費しながら段階的に新たな適用ゲインへと、変化する構成としてもよい。この場合には、瞬時に新たなゲインへと変更しないので、ホワイトバランスの補正が徐々に変わることとなり、画像を見る者に違和感が無く、滑らかに画像の色合いを変化させることができる。
【００８２】
また、実施形態において電源ＯＮ後に短時間のうちに最初の撮影をする場合には、予め被写界や撮影しようとする画像からの画像信号を積分して、安定的な色温度やホワイトバランス制御ゲインを計算するだけの十分な時間がとれない場合もある。このような場合には、撮影シーンに応じたデフォルト値としての色温度やホワイトバランス制御ゲインを撮像装置に予め記憶させておいて、その補正ゲインと実際の撮影画像から算出した色温度確信度や検出した無彩色個数に基づき、適用ゲインを決定してもよい。
【００８３】
たとえば、夜間のスポーツ観戦の撮影などでは、グラウンドの照明色やユニフォーム色彩、グラウンドの芝の色合いなど、大まかな配色は決まっているので、予めデフォルト値を持たせておくことも可能となる。
また、撮影画像や撮影しようとする画像や被写界の画像からホワイトバランス制御を行う処理をするに際し、撮像素子から入力されたＲＧＢ信号の各々の平均値を取ることで撮影画像等の特徴を得るようにしてもよい。さらに、この平均値は、単純平均値でもよく、極端な色を除外して、又は重み付けを行って演算させてもよく、各色毎のヒストグラムを作成し、累積ヒストグラム上の中央値または適当な頻度値を平均値として用いてもよい。
【００８４】
なお、ＣＩＥ色度点の座標計算は所定のマトリクスによりＲＧＢ平均値から三刺激値（Ｘ，Ｙ，Ｚ）に変換し、さらに、（ｘ，ｙ）色度座標変換することで算出できるが、この際、Ｒ−Ｙ、Ｂ−Ｙなどのいわゆる色差信号を用いてもよい。また、変換マトリックスは、できるだけ理論値にあうように最小二乗法を用いて決定してもよい。この変換により、任意の画像の色調を、例えば昼光色下における色調に変換することができる。
【００８５】
また、実施形態における過去の撮影画像の適用ゲインは、これに代えて、カメラ等の撮像装置の電源ＯＮ中に撮影者がカメラを構えている間一定時間毎に、自動的に画像を取り込むことでホワイトバランスのゲインや色温度等のデータを取得し、これを過去のデータとして記憶して比較利用する構成としてもよい。
また、実施形態においてゲイン更新率を決定する際の過去のゲインの重み付け、典型的には寄与率を決定するに当たって、時系列的に現在時刻との差を用いて、重み係数＝１／（（現在時との差）＋係数）としてもよい。この場合の係数は、例えば１０とすることができる。このような重み付けによれば、現在時との差が小さい撮影画像は、撮影からの経過時間が短いので、この差が小さいほど最新の撮影画像と同じ環境下で撮影された可能性が高いこととなる。すなわち、照明光源や室内外の分別が同じである可能性が高いとして、大きな重み付けとすることができる。
【００８６】
また、色温度等の算出のサンプルから特定の画素を除外することと、ゲイン更新率の決定の際その画素の重み付けを“０”とすることは、その画素に関する限りいわゆる考慮の対象としないこととなるので、実質的に等しいこととなる。したがって、現在時刻との差が所定の値以上である撮影画像のゲインや色温度の画素データを、平均値等算出の演算対象から除外する構成としてもよい。
【００８７】
また、現在時刻との差異だけでなく、輝度データや色温度や無彩色個数や色温度算出の確信度や色温度算出の信頼度のデータから任意の一又は複数の組み合わせデータとし、この組み合わせデータに基づいて、ゲイン更新率の重み付け決定をする構成としてもよい。例えば、輝度データや色温度データが最新の撮影画像から大きく異なっている画像については、室内外の分別や照明光源の相違が生じている可能性が高く、このような異なる撮影画像については小さい重み付け係数として、例えば“０”を与えてもよい。
【００８８】
また、任意の光源で照明したときの色調を得るために、光源が異なる場合の色度とマトリックス情報をすべて又は、できる限り多く、連続的にカメラに記憶させておくことが好ましい。ただし、実際の記憶容量には限界があるので、撮影頻度の高いシーンについての光源にかかる情報から優先的に記憶してくことが好ましい。
典型的には、予め複数の標準光源毎にＣＩＥ色度座標点を記憶しておき、実際に求められた撮影時の色度座標点と各標準光源の色度座標点との座標平面上での距離を計算し、距離が最小である標準光源を撮影時の光源とすることができる。好ましくは、さらに、輝度データをも加味し、複数の標準光源に近い距離の色座標であった場合には、距離だけでなく、より輝度が大きい光源を撮影時の光源と認識する構成とすることが好ましい。
【００８９】
また、実施形態に用いる撮影用ＣＣＤ素子、測光用ＣＣＤ素子、その他の輝度センサ等は、いわゆる対数圧縮型の光電変換特性を有する撮像素子を用いることができる。同一光源下での動体撮影のように、撮影画像ごとにホワイトバランス制御を行うと同一動体の色が不安定になり見づらくなる場合や、逆に、ホワイトバランスのゲイン調整周期を長く設定することで、被写体の光源変化に追随できない場合に実施形態を適用してもよい。
【００９０】
また、実施形態において光源の色温度を示す照明部等をハイライト部分として抽出し、色度座標がＣＩＥ黒体放射軌跡上もしくはその近傍にあれば、ハイライト部に光源を含んでいると判断し、色温度算出の確度を向上させ、ＣＩＥ黒体放射軌跡上から離れれば光源を含まないとすることで、色温度算出の確度を低下させてもよい。
この場合においても、前述のようにハイライト部の光源輝度の大小により重み付けをすることで、色温度算出の確からしさに反映させてもよい。すなわち、輝度が小さい光源である場合には、ハイライト部にその光源が含まれるとの判断は信頼性が小さくなり、色温度算出の信頼度を低く推定することができる。
【産業上の利用可能性】
【００９１】
本発明は、ディジタルカメラやコンパクトカメラやその他の電子スチルカメラを有する携帯端末における撮像装置又は画像処理装置に適用し又は搭載することができる。
【符号の説明】
【００９２】
３０・・撮像素子、３１・・ホワイトバランスゲイン演算部、３２・・色温度算出部、３３・・色温度算出確信度判定部、３４・・ホワイトバランスゲイン更新率演算部、３５・・無彩色個数計数部、３６・・ホワイトバランス制御部、３７・・シーン連続性判定部、３８・・撮影位置変化検出部、３９・・輝度変化測定部、３ａ・・計時部、３ｂ・・撮影画像変化度合い推定部、４０・・撮像素子、４１・・色温度算出の信頼度推定部、４２・・推定値変化検出部、４３・・ホワイトバランスゲイン更新率決定部、４４・・記憶装置
【特許請求の範囲】
【請求項１】
撮影画像から色温度の算出をする色温度算出部と、
前記撮影画像に基づいて、ホワイトバランスのゲインを算出するゲイン算出部と、
前記色温度算出部で算出した色温度の信頼性を評価する色温度評価部と、
前記色温度評価部による色温度の信頼性評価に応じてホワイトバランスのゲインを制御するホワイトバランス制御部とを備え、
前記ホワイトバランス制御部は、第１の撮影で算出した色温度の信頼性評価が、前記第１の撮影よりも前の第２の撮影で算出した色温度の信頼性評価よりも高い場合には、前記第１の撮影で前記ゲイン算出部により算出されたホワイトバランスのゲインの第１の重みを、前記第２の撮影で適用したホワイトバランスのゲインの第２の重みよりも大きくして、前記第１の撮影の撮影画像に適用するホワイトバランスのゲインを制御する、
ことを特徴とする撮像装置。
【請求項２】
請求項１に記載の撮像装置において、
前記撮影画像の色温度の算出確からしさを判定する色温度算出確信度判定部と、
撮影画像中の無彩色個数を検出しカウントする無彩色個数計数部とを備え、
前記ホワイトバランス制御部は、前記色温度算出確信度判定部による色温度の算出確からしさの判定結果と、前記無彩色個数計数部による無彩色個数のカウント値とに応じて前記重みを変える、
ことを特徴とする撮像装置。
【請求項３】
請求項１または請求項２に記載の撮像装置において、
撮影位置の変化を検出する撮影位置変化検出部と、
撮影画像の輝度変化を測定する輝度変化測定部と、
撮影時間を定義する計時部と、
撮影画像変化度合い推定部とをさらに備え、
前記撮影画像変化度合い推定部は、前記撮影位置変化検出部により検出された撮影位置の変化と、前記輝度変化測定部により測定された撮影画像の輝度変化と、前記計時部により検出された経過時間とを用いて前記撮影画像の変化度合いを推定し、
前記ホワイトバランス制御部は、前記推定した撮影画像の変化度合いに応じて前記重みを変える、
ことを特徴とする撮像装置。
【請求項４】
請求項１から請求項３のいずれか１項に記載の撮像装置において、
色温度算出信頼度推定部をさらに備え、
前記色温度算出信頼度推定部は、前記色温度算出確信度判定部による色温度の算出確からしさの判定結果と、前記無彩色個数計数部による前記カウント値とを用いて色温度算出の信頼度を推定し、
前記ホワイトバランス制御部は、前記色温度算出の信頼度が大きくなるか、または、前記撮影画像の変化度合いが大きくなった場合に、前記第１の重みを前記第２の重みよりも大きくする、
ことを特徴とする撮像装置。
【請求項５】
請求項４に記載の撮像装置において、
前記ホワイトバランス制御部は、前記色温度算出の信頼度が大きくなった場合に、前記信頼度が大きくなった時のホワイトバランスのゲインを、前記信頼度が大きくなる以前の撮影画像に遡及させてホワイトバランス制御を行う、
ことを特徴とする撮像装置。
【請求項６】
請求項１から請求項５のいずれか１項に記載の撮像装置において、
前記撮影画像には、被写界も含まれる、
ことを特徴とする撮像装置。
【請求項１】
撮影画像から色温度の算出をする色温度算出部と、
前記撮影画像に基づいて、ホワイトバランスのゲインを算出するゲイン算出部と、
前記色温度算出部で算出した色温度の信頼性を評価する色温度評価部と、
前記色温度評価部による色温度の信頼性評価に応じてホワイトバランスのゲインを制御するホワイトバランス制御部とを備え、
前記ホワイトバランス制御部は、第１の撮影で算出した色温度の信頼性評価が、前記第１の撮影よりも前の第２の撮影で算出した色温度の信頼性評価よりも高い場合には、前記第１の撮影で前記ゲイン算出部により算出されたホワイトバランスのゲインの第１の重みを、前記第２の撮影で適用したホワイトバランスのゲインの第２の重みよりも大きくして、前記第１の撮影の撮影画像に適用するホワイトバランスのゲインを制御する、
ことを特徴とする撮像装置。
【請求項２】
請求項１に記載の撮像装置において、
前記撮影画像の色温度の算出確からしさを判定する色温度算出確信度判定部と、
撮影画像中の無彩色個数を検出しカウントする無彩色個数計数部とを備え、
前記ホワイトバランス制御部は、前記色温度算出確信度判定部による色温度の算出確からしさの判定結果と、前記無彩色個数計数部による無彩色個数のカウント値とに応じて前記重みを変える、
ことを特徴とする撮像装置。
【請求項３】
請求項１または請求項２に記載の撮像装置において、
撮影位置の変化を検出する撮影位置変化検出部と、
撮影画像の輝度変化を測定する輝度変化測定部と、
撮影時間を定義する計時部と、
撮影画像変化度合い推定部とをさらに備え、
前記撮影画像変化度合い推定部は、前記撮影位置変化検出部により検出された撮影位置の変化と、前記輝度変化測定部により測定された撮影画像の輝度変化と、前記計時部により検出された経過時間とを用いて前記撮影画像の変化度合いを推定し、
前記ホワイトバランス制御部は、前記推定した撮影画像の変化度合いに応じて前記重みを変える、
ことを特徴とする撮像装置。
【請求項４】
請求項１から請求項３のいずれか１項に記載の撮像装置において、
色温度算出信頼度推定部をさらに備え、
前記色温度算出信頼度推定部は、前記色温度算出確信度判定部による色温度の算出確からしさの判定結果と、前記無彩色個数計数部による前記カウント値とを用いて色温度算出の信頼度を推定し、
前記ホワイトバランス制御部は、前記色温度算出の信頼度が大きくなるか、または、前記撮影画像の変化度合いが大きくなった場合に、前記第１の重みを前記第２の重みよりも大きくする、
ことを特徴とする撮像装置。
【請求項５】
請求項４に記載の撮像装置において、
前記ホワイトバランス制御部は、前記色温度算出の信頼度が大きくなった場合に、前記信頼度が大きくなった時のホワイトバランスのゲインを、前記信頼度が大きくなる以前の撮影画像に遡及させてホワイトバランス制御を行う、
ことを特徴とする撮像装置。
【請求項６】
請求項１から請求項５のいずれか１項に記載の撮像装置において、
前記撮影画像には、被写界も含まれる、
ことを特徴とする撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１３−１３１３４（Ｐ２０１３−１３１３４Ａ）
【公開日】平成２５年１月１７日（２０１３．１．１７）
【国際特許分類】
【出願番号】特願２０１２−１９５０４５（Ｐ２０１２−１９５０４５）
【出願日】平成２４年９月５日（２０１２．９．５）
【分割の表示】特願２００７−２５６５（Ｐ２００７−２５６５）の分割
【原出願日】平成１９年１月１０日（２００７．１．１０）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２５年１月１７日（２０１３．１．１７）
【国際特許分類】
【出願日】平成２４年９月５日（２０１２．９．５）
【分割の表示】特願２００７−２５６５（Ｐ２００７−２５６５）の分割
【原出願日】平成１９年１月１０日（２００７．１．１０）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]