光源判定装置および光源判定方法
【課題】本発明は、確率的な手法を用いず簡便かつ正確にＬＥＤ光源判別を行う。
【解決手段】固体撮像素子から得られた８０ｎｍ付近の波長の光に対応する撮像信号の信号量と４５０ｎｍ付近の波長の光に対応する撮像信号の信号量とに基づき、簡便かつ正確に光源が白色ＬＥＤであるか否かを判断することができる。
【解決手段】固体撮像素子から得られた８０ｎｍ付近の波長の光に対応する撮像信号の信号量と４５０ｎｍ付近の波長の光に対応する撮像信号の信号量とに基づき、簡便かつ正確に光源が白色ＬＥＤであるか否かを判断することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像シーンの光源判定に関し、特に、白色ＬＥＤ光源の判定に関する。
【背景技術】
【０００２】
特許文献１では、黒体軌跡と蛍光灯軌跡を用いてホワイトバランスゲインを算出する技術が開示されている。
【０００３】
特許文献２では、波長ごとの分光特性を測定し、分光エネルギー分布から色温度を算出し、色温度に応じてホワイトバランスゲインを算出する技術が開示されている。
【０００４】
特許文献３によると、評価空間内の写像された位置によって光源を推定する方式では、発光ダイオード（ＬＥＤ）のＹＡＧ（イットリウム・アルミニウム・ガーネット）タイプのものと昼光の観測値の多くが重複してしまい、これら２つの光源を判別することが非常に難しく、自然な色を再現することが困難であった。このため、特許文献３の発明では、光源推定回路は、ＲＧＢにエメラルドを追加した４種類のカラーフィルタを有する撮像素子によって撮像された入力画像をＡ／Ｄ変換回路を介してＲＧＢＥ信号として出力し、ＲＧＢＥ信号を線形判別法の一次元の軸に射影することによってＬＥＤを含む光源を推定する。
【０００５】
特許文献４および５はメンバシップ関数の一例を示す。メンバシップ関数は、輝度レベルを変数として日陰やデーライトなど各種光源の確からしさを表す評価値を出力する関数である。
【０００６】
特許文献４では、日陰やデーライトに対して良好なホワイトバランスを行うためのホワイトバランスゲイン値Ｒｇ、Ｇｇ、Ｂｇが予め準備されており、これらのゲイン値Ｒｇ、Ｇｇ、Ｂｇがホワイトバランス調整回路に加えられることによって、評価値から判定された光源に適したホワイトバランス制御が行われる。
【０００７】
特許文献５では、各々の光源下での撮影においてホワイトバランスが適正となるよう、ホワイトバランス補正値Ｒｇ、Ｇｇ、Ｂｇは、基準ＷＢゲイン値から環境光源の色を所定色にするための制御値ＧＲ、ＧＢ、ＧＧとの間の値で、かつ評価値Ｈｍａｘで特定された環境光源に適したホワイトバランス制御を行うことができる値となるため、各々の環境光源に対して適正にホワイトバランス制御することができ、カラーフェリアの発生を抑えることができる。
【０００８】
特許文献６は蛍光灯軌跡より下側に分布する色情報の補正方法を例示する。
【０００９】
特許文献７は相関色温度の算出式の一例である。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開2003-259196号公報
【特許文献２】特開2006-54678号公報
【特許文献３】特開2007-300253号公報
【特許文献４】特開2000-224608号公報
【特許文献５】特開2004-186876号公報（特に段落０１１５）
【特許文献６】特開2006-222672号公報（特に段落００６１）
【特許文献７】特開2010-258703（特に段落００３２）
【発明の概要】
【発明が解決しようとする課題】
【００１１】
図１０は、電球、電球色蛍光灯、白色蛍光灯、昼白色蛍光灯、昼光色蛍光灯、ナトリウムランプ、水銀灯、白色ＬＥＤといった人工光源に対応する相関色温度・被写体輝度の分布範囲を示している。また、図１０は、朝焼け／夕景、デーライト光源、曇天・日陰といった自然光源に対応する相関色温度・被写体輝度の分布範囲を示している。
【００１２】
シーンの色温度（相関色温度）と明るさ（被写体輝度）が、図１０のような分布範囲のいずれに属するかに応じて、屋外光源／屋内光源（蛍光灯、電球）を判別する手法が一般的に知られている。白色ＬＥＤは、従来光源よりも明るいため、その分布範囲は屋外光源の分布範囲と重複する。よって、相関色温度・被写体輝度の分布範囲に基づいてＬＥＤ光源と屋外光源を判別するのは困難である。
【００１３】
ＬＥＤ光源は従来の人工光源よりも非常に明るく、むしろ屋外光源の明るさに近いため、特に屋外光源との判別が難しい。特許文献３では、線形判別法により確率的にＬＥＤ光源と太陽光を判別するため、判別の正確性がサンプルに依存する。また、特許文献３では、1次元空間に情報を射影して光源判別しているので、判別精度が高くない。
【００１４】
本発明は、確率的な手法を用いず簡便かつ正確にＬＥＤ光源判別を行う。また本発明は、ＬＥＤ光源と判定された場合に、適切なオートホワイトバランス補正を施す。
【課題を解決するための手段】
【００１５】
本発明は、固体撮像素子から出力される撮像信号に基づき、４８０ｎｍ付近の波長の光に対応する撮像信号の信号量と４５０ｎｍ付近の波長の光に対応する撮像信号の信号量とを取得する信号量取得部と、信号量取得部の取得した４８０ｎｍ付近の波長の光に対応する撮像信号の信号量と４５０ｎｍ付近の波長の光に対応する撮像信号の信号量の比を算出する信号比算出部と、信号比算出部の算出した比と所定の閾値との大小関係に応じて、光源が白色ＬＥＤであるか否かを判断する白色ＬＥＤ光源判断部と、を備える光源判定装置を提供する。
【００１６】
好ましくは、上記光源判定装置は、白色ＬＥＤ光源判断部が、光源が白色ＬＥＤであると判断した場合、白色ＬＥＤに適したホワイトバランス補正量を設定し、設定されたホワイトバランス補正量に従って撮像信号のホワイトバランスを補正するＡＷＢ補正部をさらに備える。
【００１７】
好ましくは、ＡＷＢ補正部は、白色ＬＥＤ光源判断部が、光源が白色ＬＥＤであると判断した場合、撮像信号から推定した代表色の赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各色信号レベルが等しくなるような通常のホワイトバランス補正量を設定する。
【００１８】
好ましくは、上記光源判定装置は、固体撮像素子から出力される撮像信号に基づき、被写体輝度を算出する被写体輝度算出部と、被写体輝度算出部の算出した被写体輝度を変数とするメンバシップ関数に基づいて光源の確からしさを示す評価値を算出する評価値算出部と、を備える。
【００１９】
好ましくは、上記光源判定装置は、白色ＬＥＤ光源判断部が、光源が白色ＬＥＤでないと判断した場合、光源が白色ＬＥＤ以外の人工光源であるか否かを判断する従来人工光源判断部を備え、ＡＷＢ補正部は、従来人工光源判断部が、光源が白色ＬＥＤ以外の人工光源であると判断した場合、評価値算出部の算出した評価値に従い、ホワイトバランス補正量を通常のホワイトバランス補正量よりも小さいかもしくはそれと同程度に設定する。
【００２０】
好ましくは、上記光源判定装置は、白色ＬＥＤ光源判断部が、光源が白色ＬＥＤでないと判断した場合、光源が自然光源であるか否かを判断する自然光源判断部を備え、ＡＷＢ補正部は、自然光源判断部が、光源が自然光源であると判断した場合、評価値算出部の算出した評価値に従い、ホワイトバランス補正量を通常のホワイトバランス補正量よりも小さく設定する。
【００２１】
好ましくは、上記光源判定装置は、所定の色空間における白色ＬＥＤ光源の色温度の分布を示した軌跡を記憶する軌跡記憶部と、撮像信号からなる画像を複数のエリアに分割する信号分割部と、信号分割部の分割した各々のエリアの色情報を取得する分割エリア色情報取得部と、分割エリア色情報取得部の取得した各々のエリアの色情報を、軌跡記憶部の記憶した軌跡に基づいて補正する色情報補正部と、を備え、ＡＷＢ補正部は、白色ＬＥＤ光源判断部が、光源が白色ＬＥＤであると判断した場合、色情報補正部が色情報を補正した後の撮像信号に基づいて、白色ＬＥＤに適したホワイトバランスゲインを設定し、色情報補正部が色情報の補正した後の撮像信号のホワイトバランスを補正する。
【００２２】
好ましくは、色情報補正部は、各々のエリアの色情報を、軌跡記憶部の記憶した軌跡に近づけるよう補正する。
【００２３】
信号量取得部は、所定の色フィルタに対応する固体撮像素子の画素群の内、シアン色フィルタに対応する特定の画素から得られた撮像信号から４８０ｎｍ付近の波長の光に対応する撮像信号の信号量を取得するとともに、青色フィルタに対応する特定の画素から得られた撮像信号から４５０ｎｍ付近の波長の光に対応する撮像信号の信号量を取得する。
【００２４】
本発明は、光源判定装置が、固体撮像素子から出力される撮像信号に基づき、４８０ｎｍ付近の波長の光に対応する撮像信号の信号量と４５０ｎｍ付近の波長の光に対応する撮像信号の信号量とを取得するステップと、取得した４８０ｎｍ付近の波長の光に対応する撮像信号の信号量と４５０ｎｍ付近の波長の光に対応する撮像信号の信号量の比を算出するステップと、算出した比と所定の閾値との大小関係に応じて、光源が白色ＬＥＤであるか否かを判断するステップと、を実行する。
【発明の効果】
【００２５】
本発明によると、固体撮像素子から得られた８０ｎｍ付近の波長の光に対応する撮像信号の信号量と４５０ｎｍ付近の波長の光に対応する撮像信号の信号量とに基づき、簡便かつ正確に光源が白色ＬＥＤであるか否かを判断することができる。また本発明は、２次元の情報で光源判別するので、光源判別の情報量が従来技術よりも多く正確である。
【図面の簡単な説明】
【００２６】
【図１】第１実施形態の撮像装置のブロック図
【図２】Ｃ／Ｂ画素群Ｘの配列を例示した図
【図３】第１実施形態の光源判別・ＡＷＢ補正処理のフローチャート
【図４】白色ＬＥＤの分光特性を例示した図
【図５】第２実施形態の撮像装置のブロック図
【図６】第２実施形態の光源判別・ＡＷＢ補正処理のフローチャート
【図７】第３実施形態の撮像装置のブロック図
【図８】第３実施形態の光源判別・ＡＷＢ補正処理のフローチャート
【図９】軌跡Ｌ１〜Ｌ３を例示した図
【図１０】各種光源に対応する相関色温度・被写体輝度の分布範囲を例示した図
【図１１】被写体輝度値を変数とするＡＷＢ補正量のメンバシップ関数を例示した図
【発明を実施するための形態】
【００２７】
＜第１実施形態＞
図１は、本発明の一実施形態に係る光源判定装置が適用された撮像装置１００を示すブロック図である。同図に示す撮像装置１００は、静止画や動画の記録及び再生機能を備えたデジタルカメラであり、撮像装置１００全体の動作は中央処理装置（ＣＰＵ）１３によって統括制御される。ＣＰＵ１３は、所定のプログラムに従って本カメラシステムを制御する制御手段として機能するとともに、自動露出（ＡＥ）演算、自動焦点調節（ＡＦ）演算、ホワイトバランス（ＷＢ）調整演算など、各種演算を実施する演算手段として機能する。
【００２８】
バス１を介してＣＰＵ１３と接続されたＲＯＭ１８には、ＣＰＵ１３が実行するプログラム及び制御に必要な各種データ、ＣＣＤ画素欠陥情報、カメラ動作に関する各種定数／情報等が格納されている。
【００２９】
また、ＲＡＭ１１は、プログラムの展開領域及びＣＰＵ１３の演算作業用領域として利用されるとともに、画像データや音声データの一時記憶領域として利用される。
【００３０】
撮像装置１００には、モード選択スイッチ、撮影ボタン、メニュー／ＯＫキー、十字キー、キャンセルキーなどを含む操作部１９が設けられている。操作部１９からの信号はＣＰＵ１３に入力され、ＣＰＵ１３はこの入力信号に基づいて撮像装置１００の各回路を制御し、例えば、レンズ駆動制御、撮影動作制御、画像処理制御、画像データの記録／再生制御、表示装置３０の表示制御などを行う。
【００３１】
モード選択スイッチは、撮像装置１００の動作モードを撮影モードまたは再生モードに切り換えるための操作手段である。
【００３２】
撮影ボタンは、撮影開始の指示を入力する操作ボタンであり、半押し時にＯＮするＳ１スイッチと、全押し時にＯＮするＳ２スイッチとを有する二段ストローク式のスイッチで構成されている。
【００３３】
メニュー／ＯＫキーは、表示装置３０の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行などを指令するＯＫボタンとしての機能とを兼備した操作キーである。十字キーは、上下左右の４方向の指示を入力する操作部であり、メニュー画面から項目を選択したり、各メニューから各種設定項目の選択を指示したりするボタン（カーソル移動操作手段）として機能する。また、十字キーの上／下キーは撮影時のズームスイッチあるいは再生時の再生ズームスイッチとして機能し、左／右キーは再生モード時のコマ送り（順方向／逆方向送り）ボタンとして機能する。キャンセルキーは、選択項目など所望の対象の消去や指示内容の取消し、あるいは１つ前の操作状態に戻らせる時などに使用される。
【００３４】
表示装置３０は、カラー表示可能な液晶ディスプレイで構成されている。表示装置３０は、撮影時に画角確認用の電子ファインダとして使用できるとともに、記録済み画像を再生表示する手段として利用される。また、表示装置３０は、ユーザインターフェース用表示画面としても利用され、必要に応じてメニュー情報や選択項目、設定内容などの情報が表示される。液晶ディスプレイに代えて、有機ＥＬなど他の方式の表示装置（表示手段）を用いることも可能である。
【００３５】
撮像装置１００は、外部メモリＩ／Ｆ１６を有し、外部メモリＩ／Ｆ１６にはメモリカード１７を装着することができる。外部メモリＩ／Ｆ１６に装着される記録メディアの形態はメモリカード１７に限定されず、xD-PictureCard（商標）、スマートメディア（商標）に代表される半導体メモリカード、可搬型小型ハードディスク、磁気ディスク、光ディスク、光磁気ディスクなど、種々の媒体を用いることができる。
【００３６】
圧縮伸張処理回路１２は、外部メモリＩ／Ｆ１６に装着されるメモリカード１７に適した入出力信号の受渡しを行うために所要の信号変換を行う。
【００３７】
次に、撮像装置１００の撮影機能について説明する。モード選択スイッチによって撮像装置１００の動作モードが撮影モードに設定されると、カラーＣＣＤ固体撮像素子（以下ＣＣＤと記載）２１を含む撮像部２に電源が供給され、撮影可能な状態になる。
【００３８】
光学ユニット２０は、フォーカスレンズを含む撮影レンズと絞り兼用メカシャッターとを含む。光学ユニット２０は、ＣＰＵ１３によって制御されるモータ駆動部２４によって電動駆動され、ズーム制御、フォーカス制御及びアイリス制御が行われる。
【００３９】
光学ユニット２０を通過した光は、ＣＣＤ２１の受光面に結像される。ＣＣＤ２１の受光面には多数のフォトダイオード（受光素子）が二次元的に配置されており、各フォトダイオードに対応して赤（Ｒ）、緑（Ｇ）、青（Ｂ）の原色カラーフィルタが所定の配列構造（ベイヤー、Ｇストライプなど）で配置されている。これにより各色に対応する画素がＣＣＤ２１の受光面に形成される。
【００４０】
また、ＣＣＤ２１の受光面は、Ｂフィルタに対応する画素とシアン（Ｃ）の原色カラーフィルタに対応する画素とが所定サイズ（２画素以上）の近傍領域内で隣接した、Ｃ／Ｂ画素群を含んでいる。ＣＣＤ２１の受光面のどこにＣ／Ｂ画素群を設けるかは任意である。好ましくは、２次元画像の形成に使用されないか、２次元画像の形成に支障のない領域内にＣ／Ｂ画素群を配置する。Ｃ／Ｂ画素群の最小単位は１つのＣ画素と１つのＢ画素である。ただし、白色ＬＥＤ光源とは関係なく偶然にＣの光とＢの光が入射する場合もあるから、Ｃ／Ｂ画素群の単位は２画素を超え、広い範囲の画素群でＣ・Ｂ信号量を平均化することが好ましい。
【００４１】
例えば、図２（ａ）に示すように、ＲＧＢフィルタがベイヤ型に配列された受光面の有効画素領域の周縁部において、ＧＢのラインのＧフィルタの代わりに、Ｃを配置することで、Ｃ／Ｂ画素群Ｘを形成することができる。
【００４２】
あるいは、撮像装置１００が位相差のある画像を取得可能な光学系を採用している場合は、受光面の有効画素領域のうち、位相差を取得する領域内（例えば位相差ＡＦ領域や視差画像取得領域）で、ＧとＢの代わりに、ＣとＢを交互に配置することで、Ｃ／Ｂ画素群を形成することができる。図２（ｂ）では、位相差を取得する領域Ｒ内で、左の視点画像の画素群（主画素）と右の視点画像の画素群（副画素）のいずれか一方または双方のＧＢのラインのＧフィルタの代わりにＣを配置することで、Ｃ／Ｂ画素群Ｘを形成している。なお、図示は省略するが、領域Ｒの外側には、２次元画像を形成する画素群が配置されていてもよく、位相差を取得する領域内でのＣ画素の色情報は、周辺のＧ画素で補完することもできる。シアン（Ｃ）フィルタの代わりにエメラルド（Ｅ）フィルタを用いることもできる。ＣフィルタまたはＥフィルタに対応する画素の画像信号は、画像の形成に使用されてもよいし、されなくてもよい。
【００４３】
また、ＣＣＤ２１は、各フォトダイオードの電荷蓄積時間（シャッタースピード）を制御する電子シャッター機能を有している。ＣＰＵ１３は、タイミングジェネレータ（ＴＧ）３１を介してＣＣＤ２１での電荷蓄積時間を制御する。尚、ＣＣＤ２１に代えてＭＯＳ型など他の方式の撮像素子を用いてもよい。
【００４４】
ＣＣＤ２１の受光面に結像された被写体像は、各フォトダイオードによって入射光量に応じた量の信号電荷に変換される。各フォトダイオードに蓄積された信号電荷は、ＣＰＵ１３の指令に従いＴＧ３１から与えられる駆動パルスに基づいて信号電荷に応じた電圧信号（画像信号）として順次読み出される。
【００４５】
ＣＣＤ２１から出力された信号はアナログ信号処理部２２に送られ、ここで画素ごとのＲ，Ｇ，Ｂ信号がサンプリングホールド（相関二重サンプリング処理）され、増幅された後、Ａ／Ｄ変換器２３に加えられる。Ａ／Ｄ変換器２３によってデジタル信号に変換された点順次のＲ，Ｇ，Ｂ，Ｃ信号は、メモリＩ／Ｆ１０を介してＲＡＭ１１に記憶される。
【００４６】
デジタル信号処理部３は、ＲＡＭ１１に記憶されたＲ，Ｇ，Ｂ信号をＣＰＵ１３の指令に従って処理する。即ち、デジタル信号処理部３は、同時化回路（単板ＣＣＤのカラーフィルタ配列に伴う色信号の空間的なズレを補間して色信号を同時式に変換する処理回路）、ホワイトバランス補正回路、ガンマ補正回路、輪郭補正回路、輝度・色差信号生成回路等を含む画像処理手段として機能し、ＣＰＵ１３からのコマンドに従ってＲＡＭ１１を活用しながら所定の信号処理を行う。
【００４７】
デジタル信号処理部３は、入力されたＲＧＢの画像データを、輝度信号（Ｙ信号）及び色差信号（Ｃｒ，Ｃｂ信号）に変換するとともに、ガンマ補正等の所定の処理を施す。デジタル信号処理部３で処理された画像データはＲＡＭ１１に格納される。
【００４８】
撮影画像を表示装置３０にモニタ出力する場合、ＲＡＭ１１から画像データが読み出され、バス１を介してビデオエンコーダ３２に送られる。ビデオエンコーダ３２は、入力された画像データを表示用の所定方式の信号（例えば、ＮＴＳＣ方式のカラー複合映像信号）に変換して表示装置３０に出力する。
【００４９】
ＣＣＤ２１から出力される画像信号によって、１コマ分の画像を表す画像データがＲＡＭ１１のＡ領域とＢ領域とで交互に書き換えられる。ＲＡＭ１１のＡ領域及びＢ領域のうち、画像データが書き換えられている方の領域以外の領域から、書き込まれている画像データが読み出される。このようにしてＲＡＭ１１内の画像データが定期的に書き換えられ、その画像データから生成される映像信号が表示装置３０に供給されることにより、撮像中の映像がリアルタイムに表示装置３０に表示される。撮影者は、表示装置３０に表示される映像（スルームービー画）によって撮影画角を確認できる。
【００５０】
撮影ボタンが半押し（Ｓ１＝ＯＮ）されると、撮像装置１００はＡＥ及びＡＦ処理を開始する。即ち、ＣＣＤ２１から出力された画像信号はＡ／Ｄ変換後に画像入力コントローラ５６を介してＡＦ検出回路５並びにＡＥ／ＡＷＢ検出回路４に入力される。
【００５１】
ＡＥ／ＡＷＢ検出回路４は、１画面を複数のエリア（例えば、８×８乃至１６×１６）に分割し、分割エリアごとにＲＧＢ信号を積算する回路を含み、その積算値をＣＰＵ１３に提供する。ＣＰＵ１３は、ＡＥ／ＡＷＢ検出回路４から得た積算値に基づいて被写体の明るさ（被写体輝度）を検出し、撮影に適した露出値（撮影ＥＶ値）を算出する。求めた露出値と所定のプログラム線図に従い、絞り値とシャッタースピードが決定され、これに従いＣＰＵ１３はＣＣＤ２１の電子シャッター及びアイリスを制御して適正な露光量を得る。
【００５２】
また、ＡＥ／ＡＷＢ検出回路４は、自動ホワイトバランス調整時には、分割エリアごとにＲＧＢ信号の色別の平均積算値を算出する。ＡＥ／ＡＷＢ検出回路４は、Ｒの積算値、Ｂの積算値、Ｇの積算値を得て、分割エリアごとにＲ／Ｇ及びＢ／Ｇの比を求め、これらＲ／Ｇ、Ｂ／Ｇの値のＲ／Ｇ、Ｂ／Ｇ軸座標の色空間における分布等に基づいて光源種判別を行う。ＡＥ／ＡＷＢ検出回路４は、判別された光源種に応じてＲ，Ｇ，Ｂ信号に対するＡＷＢ補正値（ＡＷＢゲイン値）を算出し、このＡＷＢ補正値で各色チャンネルの信号に補正をかけるようデジタル信号処理部３を制御する。尚、ホワイトバランス調整の詳細は後述する。
【００５３】
本撮像装置１００におけるＡＦ制御は、例えば映像信号のＧ信号の高周波成分が極大になるようにフォーカシングレンズ（撮影レンズ４２を構成するレンズ光学系のうちフォーカス調整に寄与する移動レンズ）を移動させるコントラストＡＦが適用される。即ち、ＡＦ検出回路５は、Ｇ信号の高周波成分のみを通過させるハイパスフィルタ、絶対値化処理部、画面内（例えば、画面中央部）に予め設定されているＡＦエリア内の信号を切り出すＡＦエリア抽出部、及びＡＦエリア内の絶対値データを積算する積算部から構成される。
【００５４】
ＡＦ検出回路５で求めた積算値のデータはＣＰＵ１３に通知される。ＣＰＵ１３は、モータ駆動部２４を制御してフォーカシングレンズを移動させながら、複数のＡＦ検出ポイントで焦点評価値（ＡＦ評価値）を演算し、評価値が極大となるレンズ位置を合焦位置として決定する。そして、求めた合焦位置にフォーカシングレンズを移動させるようにモータ駆動部２４を制御する。尚、ＡＦ評価値の演算はＧ信号を利用する態様に限らず、輝度信号（Ｙ信号）を利用してもよい。また、位相差ＡＦその他のＡＦ制御が行われてもよい。
【００５５】
上記のように、撮影ボタンの半押し（Ｓ１＝ＯＮ）によってＡＥ／ＡＦ処理が行われると、撮影ボタンの全押し（Ｓ２＝ＯＮ）によって記録用の撮影動作がスタートする。Ｓ２＝ＯＮに応動して取得された画像データはデジタル信号処理部３において輝度／色差信号（Ｙ／Ｃ信号）に変換され、ガンマ補正等の所定の処理が施された後、ＲＡＭ１１に格納される。
【００５６】
ＲＡＭ１１に格納されたＹ／Ｃ信号は、圧縮伸張処理回路１２によって所定のフォーマットに従って圧縮された後、外部メモリＩ／Ｆ１６を介してメモリカード１７に記録される。例えば、静止画についてはＪＰＥＧ（Joint Photographic Experts Group）形式で記録される。
【００５７】
モード選択スイッチにより再生モードが選択されると、メモリカード１７に記録されている最終の画像ファイル（最後に記録されたファイル）の圧縮データが読み出される。最後に記録されたファイルが静止画ファイルの場合、この読み出された画像圧縮データは、圧縮伸張回路１２を介して非圧縮のＹＣ信号に伸張され、デジタル信号処理部３及びビデオエンコーダ３２を介して表示用の信号に変換された後、表示装置３０に出力される。これにより、当該ファイルの画像内容が表示装置３０の画面上に表示される。
【００５８】
静止画の一コマ再生中（動画の先頭フレーム再生中も含む）に、十字キーの右キー又は左キーを操作することによって、再生対象のファイルを切り換えること（順コマ送り／逆コマ送り）ができる。コマ送りされた位置の画像ファイルがメモリカード１７から読み出され、上記と同様にして静止画像や動画が表示装置３０に再生表示される。
【００５９】
ＡＥ／ＡＷＢ検出回路４は、信号比率算出部４０、ＡＷＢ補正ゲイン算出部４１、ＬＥＤ光源判定部４２、被写体輝度値算出部４３、従来人工光源／屋外光源判定部４４、相関色温度算出部４５、従来光源判定閾値演算部４６を含む。これらの機能は後述する。
【００６０】
図３は撮像装置１００が実行する光源判別・ＡＷＢ補正処理のフローチャートを示す。この処理はシャッターボタンの半押しに応じて開始する。
【００６１】
Ｓ１では、相関色温度算出部４５は、Ａ／Ｄ変換器２３から出力されたＲＧＢ信号に基づき、相関色温度Ｋ０を算出する。これは例えば特許文献７と同様にして行うことができる。
【００６２】
Ｓ２では、ＬＥＤ光源判定部４２は、Ａ／Ｄ変換器２３から出力された、Ｃ／Ｂ画素群に対応するＣ信号の信号電圧（画素信号）の積算値を取得する。
【００６３】
Ｓ３では、ＬＥＤ光源判定部４２は、Ａ／Ｄ変換器２３から出力された、Ｃ／Ｂ画素群に対応するＢ信号の信号電圧（画素信号）の積算値を取得する。
【００６４】
Ｓ４では、信号比率算出部４０は、Ｃ信号の積算値とＢ信号の積算値の比率ｒを算出する。すなわち、
ｒ＝Ｃ信号の積算値／Ｂ信号の積算値である。
【００６５】
なお、Ｃ信号・Ｂ信号の信号電圧の積算値の代わりに、Ｃ信号・Ｂ信号の信号電圧の平均値を算出し、Ｃ信号の信号電圧の平均値とＢ信号の信号電圧の平均値の比率ｒを算出してもよい。エメラルド（Ｅ）フィルタを用いる場合も同様に、積算値の比率、平均値の比率のいずれが算出されてもよい。
【００６６】
Ｓ５では、ＬＥＤ光源判定部４２は、比率ｒ＜所定の閾値Thresh_LEDであるか否かを判断する。Ｎｏの場合はＳ６、Ｙｅｓの場合はＳ７に進む。Thresh_LEDはＲＯＭ１８に記憶されているものとする。
【００６７】
これは、図４のような白色ＬＥＤの分光特性に基づき、光源がＬＥＤか否かを判断している。図４に例示するように、白色ＬＥＤの分光特性によると、Ｃ（４８０ｎｍ付近）が極端に低く、Ｂ（４５０ｎｍ付近）が極端に高い。よって、白色ＬＥＤ下のシーンでは、ｒが極端に低い値となり、ある閾値Thresh_LED未満となると考えられる。
【００６８】
Ｓ６では、ＬＥＤ光源判定部４２は、光源が白色ＬＥＤでないと判定する。
【００６９】
Ｓ７では、ＬＥＤ光源判定部４２は、光源が白色ＬＥＤであると判定する。
【００７０】
Ｓ８では、ＡＷＢ補正ゲイン算出部４１は、光源が白色ＬＥＤであると判定された場合はＳ９〜Ｓ１３の処理に分岐し、光源が白色ＬＥＤであると判定された場合はＳ１４の処理に分岐する。
【００７１】
Ｓ９では、従来光源判定閾値演算部４６は、人工光源判定閾値Thresh_K0を算出する。具体的には、図１０のような、電球や電球色蛍光灯といった白色ＬＥＤ以外の各人工光源に対応する分布範囲の被写体輝度の上限値がThresh_K0となる。
【００７２】
Ｓ１０では、被写体輝度値算出部４３は、被写体輝度値Bv0を算出する。
【００７３】
Ｓ１１では、従来人工光源／屋外光源判定部４４は、Bv0＜Thresh_K0であるか否かを判断する。Ｎｏの場合はＳ１２、Ｙｅｓの場合はＳ１３に進む。
【００７４】
Ｓ１２では、ＡＷＢ補正ゲイン算出部４１は、屋外光源（太陽光）に最適なＡＷＢゲインを算出する。
【００７５】
Ｓ１３では、ＡＷＢ補正ゲイン算出部４１は、人工光源に最適なＡＷＢゲインを算出する。
【００７６】
Ｓ１４では、ＡＷＢ補正ゲイン算出部４１は、白色ＬＥＤに最適なＡＷＢゲインを算出する。
【００７７】
デジタル信号処理部３は、Ｓ１２、Ｓ１３またはＳ１４で算出されたＡＷＢゲインをＲＧＢ各色の信号に掛けることによって、画像のホワイトバランスを補正する。
【００７８】
このように、４８０ｎｍ付近の波長の光に対応する撮像信号の信号量と４５０ｎｍ付近の波長の光に対応する撮像信号の信号量とに基づき、簡便かつ正確に光源が白色ＬＥＤであるか否かを判断することができる。
【００７９】
＜第２実施形態＞
図５は第２実施形態に係る撮像装置２００を示すブロック図である。図中第１実施形態と同じブロックには同じ符号を付している。撮像装置２００は、ＡＷＢ補正量算出部４７をさらに備えている。
【００８０】
図６は撮像装置２００が実行する光源判別・ＡＷＢ補正処理のフローチャートを示す。
【００８１】
Ｓ１〜Ｓ１１は第１実施形態と同様である。ただし、Ｓ１１にてＮｏと判定された場合はＳ２１に進み、Ｙｅｓと判定された場合はＳ２３に進む。
【００８２】
Ｓ２１では、ＡＷＢ補正量算出部４７は、被写体輝度値Bv0を変数とするメンバシップ関数で得られた評価値に応じて、ＡＷＢ補正量LW_AWBを、通常のＡＷＢ補正量よりも小さく設定する。通常のＡＷＢ補正量とは、入力された画像データの赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各色信号レベルが等しくなる（Ｒ＝Ｇ＝Ｂ：グレイ）ようなＡＷＢ補正量をいう。
【００８３】
Ｓ２２では、ＡＷＢ補正ゲイン算出部４１は、Ｓ２１で設定されたＡＷＢ補正量LW_AWBに応じたＡＷＢゲインを算出する。デジタル信号処理部３は、算出されたＡＷＢゲインをＲＧＢ各色の信号に掛けることによって、画像のホワイトバランスを補正する。
【００８４】
Ｓ２３では、ＡＷＢ補正量算出部４７は、被写体輝度値Bv0を変数とするメンバシップ関数で得られた評価値に応じて、ＡＷＢ補正量LW_AWBを、通常のＡＷＢ補正量よりも小さいか、あるいは通常のＡＷＢ補正量と同程度に設定する。
【００８５】
Ｓ２４では、ＡＷＢ補正ゲイン算出部４１は、Ｓ２３で設定されたＡＷＢ補正量LW_AWBに応じて、ＡＷＢゲインを算出する。デジタル信号処理部３は、算出されたＡＷＢゲインをＲＧＢ各色の信号に掛けることによって、画像のホワイトバランスを補正する。
【００８６】
Ｓ２５では、ＡＷＢ補正量算出部４７は、ＡＷＢ補正量LW_AWBを通常のＡＷＢ補正量と同程度に設定する。例えば、画像データを所定の単位で分割したエリアごとに、Ｒ，Ｇ，Ｂ信号の平均値、Ｒｉ，Ｇｉ，Ｂｉを求め、分割エリアＸｉごとに、Ｒ／Ｇ−Ｂ／Ｇ平面の座標Ｃｉ＝（Ｒｉ／Ｇｉ，Ｂｉ／Ｇｉ）を算出する。ＡＷＢ補正量算出部４７は、この各分割エリアのCiの分布から画像の代表色C（光源座標）を推定する。代表色はCiの分布の平均や重心などから推定される。そして、ＡＷＢ補正量算出部４７は、画像の代表色Cの赤（R）、緑（G）、青（B）の各色信号レベルが等しくなるようなAWB補正量（通常のAWB補正量）を画像のLW_AWBとする。
【００８７】
Ｓ２６では、ＡＷＢ補正ゲイン算出部４１は、Ｓ２５で設定されたＡＷＢ補正量LW_AWBに応じて、ＡＷＢゲインを算出する。
【００８８】
デジタル信号処理部３は、Ｓ２２、Ｓ２４またはＳ２６で算出されたＡＷＢゲインをＲＧＢ各色の信号に掛けることによって、画像のホワイトバランスを補正する。
【００８９】
相関色温度−被写体輝度値空間（図１０参照）において、従来人工光源あるいは屋外光源の分布範囲はで若干重複する部分がある。そのため、被写体輝度値を変数とするＡＷＢ補正量のメンバシップ関数（例えば図１１参照）で得られた評価値に応じてＡＷＢ補正量を変動させる必要がある。それに対して白色ＬＥＤについては、相関色温度、被写体輝度値とは異なる観点から光源判別を行っているため、評価値に応じて補正量を変動させる必要はなく、常にＡＷＢ補正量（ゲイン）を通常の補正量にする。
【００９０】
白色ＬＥＤは屋内光源であり、光源色残りが嫌われるが、上記の処理では、白色ＬＥＤと判別された場合のＡＷＢ補正量を通常の補正量に設定し、従来人工光源あるいは屋外光源よりもＡＷＢ補正を強くする。これにより、屋外光源シーンや従来人工光源シーンのＡＷＢ補正に弊害を生じることなく、白色ＬＥＤシーンの光源色残りを改善できる。
【００９１】
＜第３実施形態＞
図７は第３実施形態に係る撮像装置３００を示すブロック図である。図中第１実施形態と同じブロックには同じ符号を付している。撮像装置３００は、信号分割部５０、色情報算出部５１、色情報補正部５２、軌跡保持部５３をさらに備えている。
【００９２】
図８は撮像装置３００が実行する光源判別・ＡＷＢ補正処理のフローチャートを示す。
【００９３】
Ｓ１〜Ｓ１１は第１実施形態と同様である。
【００９４】
Ｓ３１では、信号分割部５０は、ＲＡＭ１１に格納されている１画面分の画像データ（Ｒ／Ｇ／Ｂ信号）を複数のエリアに分割する。色情報算出部５１は、エリアごとにＲ，Ｇ，Ｂ信号の平均値、Ｒｉ，Ｇｉ，Ｂｉを求める。そして色情報算出部５１は、分割エリアＸｉごとに、Ｒ／Ｇ−Ｂ／Ｇ平面の座標Ｃｉ＝（Ｒｉ／Ｇｉ，Ｂｉ／Ｇｉ）を算出する。
【００９５】
色情報補正部５２は、軌跡保持部５３に記憶されている、屋外光源に対応する軌跡（黒体軌跡）Ｌ１を読み出し、分割エリアＸｉごとに、座標Ｃｉから黒体軌跡Ｌ１に伸びる法線と黒体軌跡Ｌ１との交点Ｐｉを算出する。色情報補正部５２は、分割エリアＸｉごとに、座標ＣｉをＰｉに近づける（一致させる）補正を行う。すなわち、屋外光源の光源色分布特性に基づいて、画像データから物体色を排除する。
【００９６】
Ｓ３２では、Ｓ３２の補正後のＲ，Ｇ，Ｂ信号に対するＡＷＢ補正量LW_AWBを算出し、LW_AWBに基づいて、ＡＷＢゲインを算出する。これは特許文献６と同様である。
【００９７】
Ｓ３３では、Ｓ３１と同様、色情報算出部５１は、分割エリアＸｉごとに、Ｒ／Ｇ−Ｂ／Ｇ平面の座標Ｃｉを算出する。色情報補正部５２は、軌跡保持部５３に記憶されている、ＬＥＤ以外の人工光源としてありえる色範囲を包括した軌跡Ｌ２を読み出し、分割エリアＸｉごとに、座標Ｃｉから軌跡Ｌ２に伸びる法線と軌跡Ｌ２との交点Ｑｉを算出する。ＬＥＤ以外の人工光源としてありえる範囲は、軌跡Ｌ１と軌跡Ｌ２に挟まれた範囲である。色情報補正部５２は、分割エリアＸｉごとに、座標ＣｉをＱｉに近づける（一致させる）補正を行う。すなわち、ＬＥＤ以外の人工光源の光源色分布特性に基づいて、画像データから物体色を排除する。
【００９８】
Ｓ３４では、Ｓ３３の補正後のＲ，Ｇ，Ｂ信号に対するＡＷＢ補正量LW_AWBを算出し、ＡＷＢ補正量LW_AWBに基づいて、ＡＷＢゲインを算出する。これは特許文献６と同様である。
【００９９】
Ｓ３５では、Ｓ３１と同様、色情報算出部５１は、分割エリアＸｉごとに、Ｒ／Ｇ−Ｂ／Ｇ平面の座標Ｃｉを算出する。
【０１００】
色情報補正部５２は、軌跡保持部５３に記憶されている、ＬＥＤ光源に対応する軌跡Ｌ３を読み出し、分割エリアＸｉごとに、座標Ｃｉから軌跡Ｌ３に伸びる法線と軌跡Ｌ３との交点Ｒｉを算出する。交点の算出手法は特許文献５と同様に行われる。色情報補正部５２は、分割エリアＸｉごとに、座標ＣｉをＲｉに近づける（一致させる）補正を行う。すなわち、ＬＥＤ光源の光源色分布特性に基づいて、画像データから物体色を排除する。
【０１０１】
Ｓ３６では、Ｓ３５の補正後のＲ，Ｇ，Ｂ信号に対するＡＷＢ補正量LW_AWBを算出し、ＡＷＢ補正量LW_AWBに基づいて、ＡＷＢゲインを算出する。ＡＷＢ補正量LW_AWBの算出方法は第２実施形態と同様である。例えば、軌跡Ｌ３に近づいた後の各座標Ｃｉの代表値の、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各色信号レベルが等しくなるようなＡＷＢ補正量を、LW_AWBとする。
【０１０２】
デジタル信号処理部３は、Ｓ３２、Ｓ３４またはＳ３６で算出されたＡＷＢゲインをＲＧＢ各色の信号に掛けることによって、画像のホワイトバランスを補正する。
【０１０３】
図９（ａ）は黒体軌跡Ｌ１、分割エリアの光源検出値Ｃｉ、Ｃｉに対応する交点Ｐ’ｉの一例を示す。図９（ｂ）は軌跡Ｌ２、分割エリアの光源検出値Ｃｉ、Ｃｉに対応する交点Ｑ’ｉの一例を示す。図９（ｃ）は軌跡Ｌ３、分割エリアの光源検出値Ｃｉ、Ｃｉに対応する交点Ｒ’ｉの一例を示す。
【０１０４】
黒体軌跡Ｌ１は、太陽光源（高色温度〜低色温度）下でグレーを撮影したときの軌跡である。太陽光源下では黒体軌跡から外れている積算値は物体色の影響を受けている。図９（ａ）では、黒体軌跡Ｌ１よりも上に分布するＣ３と、下に分布するＣ２、Ｃ４が、それぞれ黒体軌跡Ｌ１に近づいた座標Ｐ’３、Ｐ’２、Ｐ’４に補正されている。
【０１０５】
ＬＥＤ以外の人工光源軌跡Ｌ２は、ＬＥＤ以外の人工光源としてありえる色範囲を包括した軌跡である。黒体軌跡と人工光源軌跡Ｌ２に挟まれた部分が光源色としてありえる範囲である。Ｒ／Ｇ−Ｂ／Ｇ平面上で、人工光源軌跡Ｌ２よりも下に分布する積算値は物体色の影響を受けている。図９（ｂ）では、軌跡Ｌ２よりも上に分布するＣ３と、下に分布するＣ４が、それぞれ軌跡Ｌ２に近づいた座標Ｑ’３、Ｑ’４に補正されている。
【０１０６】
ＬＥＤ軌跡Ｌ３は、ＬＥＤ光源（調色できるので高色温度〜低色温度）下でグレーを撮影したときの軌跡である。図９（ｃ）に示すとおり、黒体軌跡Ｌ１ともＬＥＤ以外の人工光源軌跡Ｌ２とも異なる。ＬＥＤ光源下ではこの軌跡から外れている積算値は物体色の影響を受けている。図９（ｃ）では、軌跡Ｌ３よりも上に分布するＣ１、Ｃ３と、下に分布するＣ４が、それぞれ軌跡Ｌ３に近づいた座標Ｒ’１、Ｒ’３、Ｒ’４に補正されている。なお、軌跡Ｌ１〜Ｌ３に近づけるための移動方向は法線方向に限られず、その他の方向でもよい。
【０１０７】
シーンが白色ＬＥＤ光源下であることが分かれば、光源色は必ず白色ＬＥＤ軌跡上になる。光源色が白色ＬＥＤ軌跡上にならない場合は物体色の影響を受けているので、白色ＬＥＤ軌跡に近づける物体色補正を行う。これにより、屋外光源シーンや従来人工光源シーンのＡＷＢ補正に弊害を生じることなく、白色ＬＥＤシーンの光源色残りを改善できる。さらに、白色ＬＥＤ光源下のシーンでの物体色によるＡＷＢカラーフェリアを抑えることができる。
【符号の説明】
【０１０８】
２：撮像部、３：デジタル信号処理部、４：ＡＥ／ＡＷＢ補正部、１３：ＣＰＵ、４０：信号比率算出部、４１：ＡＷＢ補正ゲイン算出部、４２：ＬＥＤ判定部、４３：被写体輝度値算出部、４４：従来人工光源／屋外光源判定部、４５：相関色温度算出部、４６：従来光源判定閾値演算部、４７：ＡＷＢ補正量演算部、５０：信号分割部、５１：色情報算出部、５２：色情報補正部、５３：軌跡保持部
【技術分野】
【０００１】
本発明は撮像シーンの光源判定に関し、特に、白色ＬＥＤ光源の判定に関する。
【背景技術】
【０００２】
特許文献１では、黒体軌跡と蛍光灯軌跡を用いてホワイトバランスゲインを算出する技術が開示されている。
【０００３】
特許文献２では、波長ごとの分光特性を測定し、分光エネルギー分布から色温度を算出し、色温度に応じてホワイトバランスゲインを算出する技術が開示されている。
【０００４】
特許文献３によると、評価空間内の写像された位置によって光源を推定する方式では、発光ダイオード（ＬＥＤ）のＹＡＧ（イットリウム・アルミニウム・ガーネット）タイプのものと昼光の観測値の多くが重複してしまい、これら２つの光源を判別することが非常に難しく、自然な色を再現することが困難であった。このため、特許文献３の発明では、光源推定回路は、ＲＧＢにエメラルドを追加した４種類のカラーフィルタを有する撮像素子によって撮像された入力画像をＡ／Ｄ変換回路を介してＲＧＢＥ信号として出力し、ＲＧＢＥ信号を線形判別法の一次元の軸に射影することによってＬＥＤを含む光源を推定する。
【０００５】
特許文献４および５はメンバシップ関数の一例を示す。メンバシップ関数は、輝度レベルを変数として日陰やデーライトなど各種光源の確からしさを表す評価値を出力する関数である。
【０００６】
特許文献４では、日陰やデーライトに対して良好なホワイトバランスを行うためのホワイトバランスゲイン値Ｒｇ、Ｇｇ、Ｂｇが予め準備されており、これらのゲイン値Ｒｇ、Ｇｇ、Ｂｇがホワイトバランス調整回路に加えられることによって、評価値から判定された光源に適したホワイトバランス制御が行われる。
【０００７】
特許文献５では、各々の光源下での撮影においてホワイトバランスが適正となるよう、ホワイトバランス補正値Ｒｇ、Ｇｇ、Ｂｇは、基準ＷＢゲイン値から環境光源の色を所定色にするための制御値ＧＲ、ＧＢ、ＧＧとの間の値で、かつ評価値Ｈｍａｘで特定された環境光源に適したホワイトバランス制御を行うことができる値となるため、各々の環境光源に対して適正にホワイトバランス制御することができ、カラーフェリアの発生を抑えることができる。
【０００８】
特許文献６は蛍光灯軌跡より下側に分布する色情報の補正方法を例示する。
【０００９】
特許文献７は相関色温度の算出式の一例である。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開2003-259196号公報
【特許文献２】特開2006-54678号公報
【特許文献３】特開2007-300253号公報
【特許文献４】特開2000-224608号公報
【特許文献５】特開2004-186876号公報（特に段落０１１５）
【特許文献６】特開2006-222672号公報（特に段落００６１）
【特許文献７】特開2010-258703（特に段落００３２）
【発明の概要】
【発明が解決しようとする課題】
【００１１】
図１０は、電球、電球色蛍光灯、白色蛍光灯、昼白色蛍光灯、昼光色蛍光灯、ナトリウムランプ、水銀灯、白色ＬＥＤといった人工光源に対応する相関色温度・被写体輝度の分布範囲を示している。また、図１０は、朝焼け／夕景、デーライト光源、曇天・日陰といった自然光源に対応する相関色温度・被写体輝度の分布範囲を示している。
【００１２】
シーンの色温度（相関色温度）と明るさ（被写体輝度）が、図１０のような分布範囲のいずれに属するかに応じて、屋外光源／屋内光源（蛍光灯、電球）を判別する手法が一般的に知られている。白色ＬＥＤは、従来光源よりも明るいため、その分布範囲は屋外光源の分布範囲と重複する。よって、相関色温度・被写体輝度の分布範囲に基づいてＬＥＤ光源と屋外光源を判別するのは困難である。
【００１３】
ＬＥＤ光源は従来の人工光源よりも非常に明るく、むしろ屋外光源の明るさに近いため、特に屋外光源との判別が難しい。特許文献３では、線形判別法により確率的にＬＥＤ光源と太陽光を判別するため、判別の正確性がサンプルに依存する。また、特許文献３では、1次元空間に情報を射影して光源判別しているので、判別精度が高くない。
【００１４】
本発明は、確率的な手法を用いず簡便かつ正確にＬＥＤ光源判別を行う。また本発明は、ＬＥＤ光源と判定された場合に、適切なオートホワイトバランス補正を施す。
【課題を解決するための手段】
【００１５】
本発明は、固体撮像素子から出力される撮像信号に基づき、４８０ｎｍ付近の波長の光に対応する撮像信号の信号量と４５０ｎｍ付近の波長の光に対応する撮像信号の信号量とを取得する信号量取得部と、信号量取得部の取得した４８０ｎｍ付近の波長の光に対応する撮像信号の信号量と４５０ｎｍ付近の波長の光に対応する撮像信号の信号量の比を算出する信号比算出部と、信号比算出部の算出した比と所定の閾値との大小関係に応じて、光源が白色ＬＥＤであるか否かを判断する白色ＬＥＤ光源判断部と、を備える光源判定装置を提供する。
【００１６】
好ましくは、上記光源判定装置は、白色ＬＥＤ光源判断部が、光源が白色ＬＥＤであると判断した場合、白色ＬＥＤに適したホワイトバランス補正量を設定し、設定されたホワイトバランス補正量に従って撮像信号のホワイトバランスを補正するＡＷＢ補正部をさらに備える。
【００１７】
好ましくは、ＡＷＢ補正部は、白色ＬＥＤ光源判断部が、光源が白色ＬＥＤであると判断した場合、撮像信号から推定した代表色の赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各色信号レベルが等しくなるような通常のホワイトバランス補正量を設定する。
【００１８】
好ましくは、上記光源判定装置は、固体撮像素子から出力される撮像信号に基づき、被写体輝度を算出する被写体輝度算出部と、被写体輝度算出部の算出した被写体輝度を変数とするメンバシップ関数に基づいて光源の確からしさを示す評価値を算出する評価値算出部と、を備える。
【００１９】
好ましくは、上記光源判定装置は、白色ＬＥＤ光源判断部が、光源が白色ＬＥＤでないと判断した場合、光源が白色ＬＥＤ以外の人工光源であるか否かを判断する従来人工光源判断部を備え、ＡＷＢ補正部は、従来人工光源判断部が、光源が白色ＬＥＤ以外の人工光源であると判断した場合、評価値算出部の算出した評価値に従い、ホワイトバランス補正量を通常のホワイトバランス補正量よりも小さいかもしくはそれと同程度に設定する。
【００２０】
好ましくは、上記光源判定装置は、白色ＬＥＤ光源判断部が、光源が白色ＬＥＤでないと判断した場合、光源が自然光源であるか否かを判断する自然光源判断部を備え、ＡＷＢ補正部は、自然光源判断部が、光源が自然光源であると判断した場合、評価値算出部の算出した評価値に従い、ホワイトバランス補正量を通常のホワイトバランス補正量よりも小さく設定する。
【００２１】
好ましくは、上記光源判定装置は、所定の色空間における白色ＬＥＤ光源の色温度の分布を示した軌跡を記憶する軌跡記憶部と、撮像信号からなる画像を複数のエリアに分割する信号分割部と、信号分割部の分割した各々のエリアの色情報を取得する分割エリア色情報取得部と、分割エリア色情報取得部の取得した各々のエリアの色情報を、軌跡記憶部の記憶した軌跡に基づいて補正する色情報補正部と、を備え、ＡＷＢ補正部は、白色ＬＥＤ光源判断部が、光源が白色ＬＥＤであると判断した場合、色情報補正部が色情報を補正した後の撮像信号に基づいて、白色ＬＥＤに適したホワイトバランスゲインを設定し、色情報補正部が色情報の補正した後の撮像信号のホワイトバランスを補正する。
【００２２】
好ましくは、色情報補正部は、各々のエリアの色情報を、軌跡記憶部の記憶した軌跡に近づけるよう補正する。
【００２３】
信号量取得部は、所定の色フィルタに対応する固体撮像素子の画素群の内、シアン色フィルタに対応する特定の画素から得られた撮像信号から４８０ｎｍ付近の波長の光に対応する撮像信号の信号量を取得するとともに、青色フィルタに対応する特定の画素から得られた撮像信号から４５０ｎｍ付近の波長の光に対応する撮像信号の信号量を取得する。
【００２４】
本発明は、光源判定装置が、固体撮像素子から出力される撮像信号に基づき、４８０ｎｍ付近の波長の光に対応する撮像信号の信号量と４５０ｎｍ付近の波長の光に対応する撮像信号の信号量とを取得するステップと、取得した４８０ｎｍ付近の波長の光に対応する撮像信号の信号量と４５０ｎｍ付近の波長の光に対応する撮像信号の信号量の比を算出するステップと、算出した比と所定の閾値との大小関係に応じて、光源が白色ＬＥＤであるか否かを判断するステップと、を実行する。
【発明の効果】
【００２５】
本発明によると、固体撮像素子から得られた８０ｎｍ付近の波長の光に対応する撮像信号の信号量と４５０ｎｍ付近の波長の光に対応する撮像信号の信号量とに基づき、簡便かつ正確に光源が白色ＬＥＤであるか否かを判断することができる。また本発明は、２次元の情報で光源判別するので、光源判別の情報量が従来技術よりも多く正確である。
【図面の簡単な説明】
【００２６】
【図１】第１実施形態の撮像装置のブロック図
【図２】Ｃ／Ｂ画素群Ｘの配列を例示した図
【図３】第１実施形態の光源判別・ＡＷＢ補正処理のフローチャート
【図４】白色ＬＥＤの分光特性を例示した図
【図５】第２実施形態の撮像装置のブロック図
【図６】第２実施形態の光源判別・ＡＷＢ補正処理のフローチャート
【図７】第３実施形態の撮像装置のブロック図
【図８】第３実施形態の光源判別・ＡＷＢ補正処理のフローチャート
【図９】軌跡Ｌ１〜Ｌ３を例示した図
【図１０】各種光源に対応する相関色温度・被写体輝度の分布範囲を例示した図
【図１１】被写体輝度値を変数とするＡＷＢ補正量のメンバシップ関数を例示した図
【発明を実施するための形態】
【００２７】
＜第１実施形態＞
図１は、本発明の一実施形態に係る光源判定装置が適用された撮像装置１００を示すブロック図である。同図に示す撮像装置１００は、静止画や動画の記録及び再生機能を備えたデジタルカメラであり、撮像装置１００全体の動作は中央処理装置（ＣＰＵ）１３によって統括制御される。ＣＰＵ１３は、所定のプログラムに従って本カメラシステムを制御する制御手段として機能するとともに、自動露出（ＡＥ）演算、自動焦点調節（ＡＦ）演算、ホワイトバランス（ＷＢ）調整演算など、各種演算を実施する演算手段として機能する。
【００２８】
バス１を介してＣＰＵ１３と接続されたＲＯＭ１８には、ＣＰＵ１３が実行するプログラム及び制御に必要な各種データ、ＣＣＤ画素欠陥情報、カメラ動作に関する各種定数／情報等が格納されている。
【００２９】
また、ＲＡＭ１１は、プログラムの展開領域及びＣＰＵ１３の演算作業用領域として利用されるとともに、画像データや音声データの一時記憶領域として利用される。
【００３０】
撮像装置１００には、モード選択スイッチ、撮影ボタン、メニュー／ＯＫキー、十字キー、キャンセルキーなどを含む操作部１９が設けられている。操作部１９からの信号はＣＰＵ１３に入力され、ＣＰＵ１３はこの入力信号に基づいて撮像装置１００の各回路を制御し、例えば、レンズ駆動制御、撮影動作制御、画像処理制御、画像データの記録／再生制御、表示装置３０の表示制御などを行う。
【００３１】
モード選択スイッチは、撮像装置１００の動作モードを撮影モードまたは再生モードに切り換えるための操作手段である。
【００３２】
撮影ボタンは、撮影開始の指示を入力する操作ボタンであり、半押し時にＯＮするＳ１スイッチと、全押し時にＯＮするＳ２スイッチとを有する二段ストローク式のスイッチで構成されている。
【００３３】
メニュー／ＯＫキーは、表示装置３０の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行などを指令するＯＫボタンとしての機能とを兼備した操作キーである。十字キーは、上下左右の４方向の指示を入力する操作部であり、メニュー画面から項目を選択したり、各メニューから各種設定項目の選択を指示したりするボタン（カーソル移動操作手段）として機能する。また、十字キーの上／下キーは撮影時のズームスイッチあるいは再生時の再生ズームスイッチとして機能し、左／右キーは再生モード時のコマ送り（順方向／逆方向送り）ボタンとして機能する。キャンセルキーは、選択項目など所望の対象の消去や指示内容の取消し、あるいは１つ前の操作状態に戻らせる時などに使用される。
【００３４】
表示装置３０は、カラー表示可能な液晶ディスプレイで構成されている。表示装置３０は、撮影時に画角確認用の電子ファインダとして使用できるとともに、記録済み画像を再生表示する手段として利用される。また、表示装置３０は、ユーザインターフェース用表示画面としても利用され、必要に応じてメニュー情報や選択項目、設定内容などの情報が表示される。液晶ディスプレイに代えて、有機ＥＬなど他の方式の表示装置（表示手段）を用いることも可能である。
【００３５】
撮像装置１００は、外部メモリＩ／Ｆ１６を有し、外部メモリＩ／Ｆ１６にはメモリカード１７を装着することができる。外部メモリＩ／Ｆ１６に装着される記録メディアの形態はメモリカード１７に限定されず、xD-PictureCard（商標）、スマートメディア（商標）に代表される半導体メモリカード、可搬型小型ハードディスク、磁気ディスク、光ディスク、光磁気ディスクなど、種々の媒体を用いることができる。
【００３６】
圧縮伸張処理回路１２は、外部メモリＩ／Ｆ１６に装着されるメモリカード１７に適した入出力信号の受渡しを行うために所要の信号変換を行う。
【００３７】
次に、撮像装置１００の撮影機能について説明する。モード選択スイッチによって撮像装置１００の動作モードが撮影モードに設定されると、カラーＣＣＤ固体撮像素子（以下ＣＣＤと記載）２１を含む撮像部２に電源が供給され、撮影可能な状態になる。
【００３８】
光学ユニット２０は、フォーカスレンズを含む撮影レンズと絞り兼用メカシャッターとを含む。光学ユニット２０は、ＣＰＵ１３によって制御されるモータ駆動部２４によって電動駆動され、ズーム制御、フォーカス制御及びアイリス制御が行われる。
【００３９】
光学ユニット２０を通過した光は、ＣＣＤ２１の受光面に結像される。ＣＣＤ２１の受光面には多数のフォトダイオード（受光素子）が二次元的に配置されており、各フォトダイオードに対応して赤（Ｒ）、緑（Ｇ）、青（Ｂ）の原色カラーフィルタが所定の配列構造（ベイヤー、Ｇストライプなど）で配置されている。これにより各色に対応する画素がＣＣＤ２１の受光面に形成される。
【００４０】
また、ＣＣＤ２１の受光面は、Ｂフィルタに対応する画素とシアン（Ｃ）の原色カラーフィルタに対応する画素とが所定サイズ（２画素以上）の近傍領域内で隣接した、Ｃ／Ｂ画素群を含んでいる。ＣＣＤ２１の受光面のどこにＣ／Ｂ画素群を設けるかは任意である。好ましくは、２次元画像の形成に使用されないか、２次元画像の形成に支障のない領域内にＣ／Ｂ画素群を配置する。Ｃ／Ｂ画素群の最小単位は１つのＣ画素と１つのＢ画素である。ただし、白色ＬＥＤ光源とは関係なく偶然にＣの光とＢの光が入射する場合もあるから、Ｃ／Ｂ画素群の単位は２画素を超え、広い範囲の画素群でＣ・Ｂ信号量を平均化することが好ましい。
【００４１】
例えば、図２（ａ）に示すように、ＲＧＢフィルタがベイヤ型に配列された受光面の有効画素領域の周縁部において、ＧＢのラインのＧフィルタの代わりに、Ｃを配置することで、Ｃ／Ｂ画素群Ｘを形成することができる。
【００４２】
あるいは、撮像装置１００が位相差のある画像を取得可能な光学系を採用している場合は、受光面の有効画素領域のうち、位相差を取得する領域内（例えば位相差ＡＦ領域や視差画像取得領域）で、ＧとＢの代わりに、ＣとＢを交互に配置することで、Ｃ／Ｂ画素群を形成することができる。図２（ｂ）では、位相差を取得する領域Ｒ内で、左の視点画像の画素群（主画素）と右の視点画像の画素群（副画素）のいずれか一方または双方のＧＢのラインのＧフィルタの代わりにＣを配置することで、Ｃ／Ｂ画素群Ｘを形成している。なお、図示は省略するが、領域Ｒの外側には、２次元画像を形成する画素群が配置されていてもよく、位相差を取得する領域内でのＣ画素の色情報は、周辺のＧ画素で補完することもできる。シアン（Ｃ）フィルタの代わりにエメラルド（Ｅ）フィルタを用いることもできる。ＣフィルタまたはＥフィルタに対応する画素の画像信号は、画像の形成に使用されてもよいし、されなくてもよい。
【００４３】
また、ＣＣＤ２１は、各フォトダイオードの電荷蓄積時間（シャッタースピード）を制御する電子シャッター機能を有している。ＣＰＵ１３は、タイミングジェネレータ（ＴＧ）３１を介してＣＣＤ２１での電荷蓄積時間を制御する。尚、ＣＣＤ２１に代えてＭＯＳ型など他の方式の撮像素子を用いてもよい。
【００４４】
ＣＣＤ２１の受光面に結像された被写体像は、各フォトダイオードによって入射光量に応じた量の信号電荷に変換される。各フォトダイオードに蓄積された信号電荷は、ＣＰＵ１３の指令に従いＴＧ３１から与えられる駆動パルスに基づいて信号電荷に応じた電圧信号（画像信号）として順次読み出される。
【００４５】
ＣＣＤ２１から出力された信号はアナログ信号処理部２２に送られ、ここで画素ごとのＲ，Ｇ，Ｂ信号がサンプリングホールド（相関二重サンプリング処理）され、増幅された後、Ａ／Ｄ変換器２３に加えられる。Ａ／Ｄ変換器２３によってデジタル信号に変換された点順次のＲ，Ｇ，Ｂ，Ｃ信号は、メモリＩ／Ｆ１０を介してＲＡＭ１１に記憶される。
【００４６】
デジタル信号処理部３は、ＲＡＭ１１に記憶されたＲ，Ｇ，Ｂ信号をＣＰＵ１３の指令に従って処理する。即ち、デジタル信号処理部３は、同時化回路（単板ＣＣＤのカラーフィルタ配列に伴う色信号の空間的なズレを補間して色信号を同時式に変換する処理回路）、ホワイトバランス補正回路、ガンマ補正回路、輪郭補正回路、輝度・色差信号生成回路等を含む画像処理手段として機能し、ＣＰＵ１３からのコマンドに従ってＲＡＭ１１を活用しながら所定の信号処理を行う。
【００４７】
デジタル信号処理部３は、入力されたＲＧＢの画像データを、輝度信号（Ｙ信号）及び色差信号（Ｃｒ，Ｃｂ信号）に変換するとともに、ガンマ補正等の所定の処理を施す。デジタル信号処理部３で処理された画像データはＲＡＭ１１に格納される。
【００４８】
撮影画像を表示装置３０にモニタ出力する場合、ＲＡＭ１１から画像データが読み出され、バス１を介してビデオエンコーダ３２に送られる。ビデオエンコーダ３２は、入力された画像データを表示用の所定方式の信号（例えば、ＮＴＳＣ方式のカラー複合映像信号）に変換して表示装置３０に出力する。
【００４９】
ＣＣＤ２１から出力される画像信号によって、１コマ分の画像を表す画像データがＲＡＭ１１のＡ領域とＢ領域とで交互に書き換えられる。ＲＡＭ１１のＡ領域及びＢ領域のうち、画像データが書き換えられている方の領域以外の領域から、書き込まれている画像データが読み出される。このようにしてＲＡＭ１１内の画像データが定期的に書き換えられ、その画像データから生成される映像信号が表示装置３０に供給されることにより、撮像中の映像がリアルタイムに表示装置３０に表示される。撮影者は、表示装置３０に表示される映像（スルームービー画）によって撮影画角を確認できる。
【００５０】
撮影ボタンが半押し（Ｓ１＝ＯＮ）されると、撮像装置１００はＡＥ及びＡＦ処理を開始する。即ち、ＣＣＤ２１から出力された画像信号はＡ／Ｄ変換後に画像入力コントローラ５６を介してＡＦ検出回路５並びにＡＥ／ＡＷＢ検出回路４に入力される。
【００５１】
ＡＥ／ＡＷＢ検出回路４は、１画面を複数のエリア（例えば、８×８乃至１６×１６）に分割し、分割エリアごとにＲＧＢ信号を積算する回路を含み、その積算値をＣＰＵ１３に提供する。ＣＰＵ１３は、ＡＥ／ＡＷＢ検出回路４から得た積算値に基づいて被写体の明るさ（被写体輝度）を検出し、撮影に適した露出値（撮影ＥＶ値）を算出する。求めた露出値と所定のプログラム線図に従い、絞り値とシャッタースピードが決定され、これに従いＣＰＵ１３はＣＣＤ２１の電子シャッター及びアイリスを制御して適正な露光量を得る。
【００５２】
また、ＡＥ／ＡＷＢ検出回路４は、自動ホワイトバランス調整時には、分割エリアごとにＲＧＢ信号の色別の平均積算値を算出する。ＡＥ／ＡＷＢ検出回路４は、Ｒの積算値、Ｂの積算値、Ｇの積算値を得て、分割エリアごとにＲ／Ｇ及びＢ／Ｇの比を求め、これらＲ／Ｇ、Ｂ／Ｇの値のＲ／Ｇ、Ｂ／Ｇ軸座標の色空間における分布等に基づいて光源種判別を行う。ＡＥ／ＡＷＢ検出回路４は、判別された光源種に応じてＲ，Ｇ，Ｂ信号に対するＡＷＢ補正値（ＡＷＢゲイン値）を算出し、このＡＷＢ補正値で各色チャンネルの信号に補正をかけるようデジタル信号処理部３を制御する。尚、ホワイトバランス調整の詳細は後述する。
【００５３】
本撮像装置１００におけるＡＦ制御は、例えば映像信号のＧ信号の高周波成分が極大になるようにフォーカシングレンズ（撮影レンズ４２を構成するレンズ光学系のうちフォーカス調整に寄与する移動レンズ）を移動させるコントラストＡＦが適用される。即ち、ＡＦ検出回路５は、Ｇ信号の高周波成分のみを通過させるハイパスフィルタ、絶対値化処理部、画面内（例えば、画面中央部）に予め設定されているＡＦエリア内の信号を切り出すＡＦエリア抽出部、及びＡＦエリア内の絶対値データを積算する積算部から構成される。
【００５４】
ＡＦ検出回路５で求めた積算値のデータはＣＰＵ１３に通知される。ＣＰＵ１３は、モータ駆動部２４を制御してフォーカシングレンズを移動させながら、複数のＡＦ検出ポイントで焦点評価値（ＡＦ評価値）を演算し、評価値が極大となるレンズ位置を合焦位置として決定する。そして、求めた合焦位置にフォーカシングレンズを移動させるようにモータ駆動部２４を制御する。尚、ＡＦ評価値の演算はＧ信号を利用する態様に限らず、輝度信号（Ｙ信号）を利用してもよい。また、位相差ＡＦその他のＡＦ制御が行われてもよい。
【００５５】
上記のように、撮影ボタンの半押し（Ｓ１＝ＯＮ）によってＡＥ／ＡＦ処理が行われると、撮影ボタンの全押し（Ｓ２＝ＯＮ）によって記録用の撮影動作がスタートする。Ｓ２＝ＯＮに応動して取得された画像データはデジタル信号処理部３において輝度／色差信号（Ｙ／Ｃ信号）に変換され、ガンマ補正等の所定の処理が施された後、ＲＡＭ１１に格納される。
【００５６】
ＲＡＭ１１に格納されたＹ／Ｃ信号は、圧縮伸張処理回路１２によって所定のフォーマットに従って圧縮された後、外部メモリＩ／Ｆ１６を介してメモリカード１７に記録される。例えば、静止画についてはＪＰＥＧ（Joint Photographic Experts Group）形式で記録される。
【００５７】
モード選択スイッチにより再生モードが選択されると、メモリカード１７に記録されている最終の画像ファイル（最後に記録されたファイル）の圧縮データが読み出される。最後に記録されたファイルが静止画ファイルの場合、この読み出された画像圧縮データは、圧縮伸張回路１２を介して非圧縮のＹＣ信号に伸張され、デジタル信号処理部３及びビデオエンコーダ３２を介して表示用の信号に変換された後、表示装置３０に出力される。これにより、当該ファイルの画像内容が表示装置３０の画面上に表示される。
【００５８】
静止画の一コマ再生中（動画の先頭フレーム再生中も含む）に、十字キーの右キー又は左キーを操作することによって、再生対象のファイルを切り換えること（順コマ送り／逆コマ送り）ができる。コマ送りされた位置の画像ファイルがメモリカード１７から読み出され、上記と同様にして静止画像や動画が表示装置３０に再生表示される。
【００５９】
ＡＥ／ＡＷＢ検出回路４は、信号比率算出部４０、ＡＷＢ補正ゲイン算出部４１、ＬＥＤ光源判定部４２、被写体輝度値算出部４３、従来人工光源／屋外光源判定部４４、相関色温度算出部４５、従来光源判定閾値演算部４６を含む。これらの機能は後述する。
【００６０】
図３は撮像装置１００が実行する光源判別・ＡＷＢ補正処理のフローチャートを示す。この処理はシャッターボタンの半押しに応じて開始する。
【００６１】
Ｓ１では、相関色温度算出部４５は、Ａ／Ｄ変換器２３から出力されたＲＧＢ信号に基づき、相関色温度Ｋ０を算出する。これは例えば特許文献７と同様にして行うことができる。
【００６２】
Ｓ２では、ＬＥＤ光源判定部４２は、Ａ／Ｄ変換器２３から出力された、Ｃ／Ｂ画素群に対応するＣ信号の信号電圧（画素信号）の積算値を取得する。
【００６３】
Ｓ３では、ＬＥＤ光源判定部４２は、Ａ／Ｄ変換器２３から出力された、Ｃ／Ｂ画素群に対応するＢ信号の信号電圧（画素信号）の積算値を取得する。
【００６４】
Ｓ４では、信号比率算出部４０は、Ｃ信号の積算値とＢ信号の積算値の比率ｒを算出する。すなわち、
ｒ＝Ｃ信号の積算値／Ｂ信号の積算値である。
【００６５】
なお、Ｃ信号・Ｂ信号の信号電圧の積算値の代わりに、Ｃ信号・Ｂ信号の信号電圧の平均値を算出し、Ｃ信号の信号電圧の平均値とＢ信号の信号電圧の平均値の比率ｒを算出してもよい。エメラルド（Ｅ）フィルタを用いる場合も同様に、積算値の比率、平均値の比率のいずれが算出されてもよい。
【００６６】
Ｓ５では、ＬＥＤ光源判定部４２は、比率ｒ＜所定の閾値Thresh_LEDであるか否かを判断する。Ｎｏの場合はＳ６、Ｙｅｓの場合はＳ７に進む。Thresh_LEDはＲＯＭ１８に記憶されているものとする。
【００６７】
これは、図４のような白色ＬＥＤの分光特性に基づき、光源がＬＥＤか否かを判断している。図４に例示するように、白色ＬＥＤの分光特性によると、Ｃ（４８０ｎｍ付近）が極端に低く、Ｂ（４５０ｎｍ付近）が極端に高い。よって、白色ＬＥＤ下のシーンでは、ｒが極端に低い値となり、ある閾値Thresh_LED未満となると考えられる。
【００６８】
Ｓ６では、ＬＥＤ光源判定部４２は、光源が白色ＬＥＤでないと判定する。
【００６９】
Ｓ７では、ＬＥＤ光源判定部４２は、光源が白色ＬＥＤであると判定する。
【００７０】
Ｓ８では、ＡＷＢ補正ゲイン算出部４１は、光源が白色ＬＥＤであると判定された場合はＳ９〜Ｓ１３の処理に分岐し、光源が白色ＬＥＤであると判定された場合はＳ１４の処理に分岐する。
【００７１】
Ｓ９では、従来光源判定閾値演算部４６は、人工光源判定閾値Thresh_K0を算出する。具体的には、図１０のような、電球や電球色蛍光灯といった白色ＬＥＤ以外の各人工光源に対応する分布範囲の被写体輝度の上限値がThresh_K0となる。
【００７２】
Ｓ１０では、被写体輝度値算出部４３は、被写体輝度値Bv0を算出する。
【００７３】
Ｓ１１では、従来人工光源／屋外光源判定部４４は、Bv0＜Thresh_K0であるか否かを判断する。Ｎｏの場合はＳ１２、Ｙｅｓの場合はＳ１３に進む。
【００７４】
Ｓ１２では、ＡＷＢ補正ゲイン算出部４１は、屋外光源（太陽光）に最適なＡＷＢゲインを算出する。
【００７５】
Ｓ１３では、ＡＷＢ補正ゲイン算出部４１は、人工光源に最適なＡＷＢゲインを算出する。
【００７６】
Ｓ１４では、ＡＷＢ補正ゲイン算出部４１は、白色ＬＥＤに最適なＡＷＢゲインを算出する。
【００７７】
デジタル信号処理部３は、Ｓ１２、Ｓ１３またはＳ１４で算出されたＡＷＢゲインをＲＧＢ各色の信号に掛けることによって、画像のホワイトバランスを補正する。
【００７８】
このように、４８０ｎｍ付近の波長の光に対応する撮像信号の信号量と４５０ｎｍ付近の波長の光に対応する撮像信号の信号量とに基づき、簡便かつ正確に光源が白色ＬＥＤであるか否かを判断することができる。
【００７９】
＜第２実施形態＞
図５は第２実施形態に係る撮像装置２００を示すブロック図である。図中第１実施形態と同じブロックには同じ符号を付している。撮像装置２００は、ＡＷＢ補正量算出部４７をさらに備えている。
【００８０】
図６は撮像装置２００が実行する光源判別・ＡＷＢ補正処理のフローチャートを示す。
【００８１】
Ｓ１〜Ｓ１１は第１実施形態と同様である。ただし、Ｓ１１にてＮｏと判定された場合はＳ２１に進み、Ｙｅｓと判定された場合はＳ２３に進む。
【００８２】
Ｓ２１では、ＡＷＢ補正量算出部４７は、被写体輝度値Bv0を変数とするメンバシップ関数で得られた評価値に応じて、ＡＷＢ補正量LW_AWBを、通常のＡＷＢ補正量よりも小さく設定する。通常のＡＷＢ補正量とは、入力された画像データの赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各色信号レベルが等しくなる（Ｒ＝Ｇ＝Ｂ：グレイ）ようなＡＷＢ補正量をいう。
【００８３】
Ｓ２２では、ＡＷＢ補正ゲイン算出部４１は、Ｓ２１で設定されたＡＷＢ補正量LW_AWBに応じたＡＷＢゲインを算出する。デジタル信号処理部３は、算出されたＡＷＢゲインをＲＧＢ各色の信号に掛けることによって、画像のホワイトバランスを補正する。
【００８４】
Ｓ２３では、ＡＷＢ補正量算出部４７は、被写体輝度値Bv0を変数とするメンバシップ関数で得られた評価値に応じて、ＡＷＢ補正量LW_AWBを、通常のＡＷＢ補正量よりも小さいか、あるいは通常のＡＷＢ補正量と同程度に設定する。
【００８５】
Ｓ２４では、ＡＷＢ補正ゲイン算出部４１は、Ｓ２３で設定されたＡＷＢ補正量LW_AWBに応じて、ＡＷＢゲインを算出する。デジタル信号処理部３は、算出されたＡＷＢゲインをＲＧＢ各色の信号に掛けることによって、画像のホワイトバランスを補正する。
【００８６】
Ｓ２５では、ＡＷＢ補正量算出部４７は、ＡＷＢ補正量LW_AWBを通常のＡＷＢ補正量と同程度に設定する。例えば、画像データを所定の単位で分割したエリアごとに、Ｒ，Ｇ，Ｂ信号の平均値、Ｒｉ，Ｇｉ，Ｂｉを求め、分割エリアＸｉごとに、Ｒ／Ｇ−Ｂ／Ｇ平面の座標Ｃｉ＝（Ｒｉ／Ｇｉ，Ｂｉ／Ｇｉ）を算出する。ＡＷＢ補正量算出部４７は、この各分割エリアのCiの分布から画像の代表色C（光源座標）を推定する。代表色はCiの分布の平均や重心などから推定される。そして、ＡＷＢ補正量算出部４７は、画像の代表色Cの赤（R）、緑（G）、青（B）の各色信号レベルが等しくなるようなAWB補正量（通常のAWB補正量）を画像のLW_AWBとする。
【００８７】
Ｓ２６では、ＡＷＢ補正ゲイン算出部４１は、Ｓ２５で設定されたＡＷＢ補正量LW_AWBに応じて、ＡＷＢゲインを算出する。
【００８８】
デジタル信号処理部３は、Ｓ２２、Ｓ２４またはＳ２６で算出されたＡＷＢゲインをＲＧＢ各色の信号に掛けることによって、画像のホワイトバランスを補正する。
【００８９】
相関色温度−被写体輝度値空間（図１０参照）において、従来人工光源あるいは屋外光源の分布範囲はで若干重複する部分がある。そのため、被写体輝度値を変数とするＡＷＢ補正量のメンバシップ関数（例えば図１１参照）で得られた評価値に応じてＡＷＢ補正量を変動させる必要がある。それに対して白色ＬＥＤについては、相関色温度、被写体輝度値とは異なる観点から光源判別を行っているため、評価値に応じて補正量を変動させる必要はなく、常にＡＷＢ補正量（ゲイン）を通常の補正量にする。
【００９０】
白色ＬＥＤは屋内光源であり、光源色残りが嫌われるが、上記の処理では、白色ＬＥＤと判別された場合のＡＷＢ補正量を通常の補正量に設定し、従来人工光源あるいは屋外光源よりもＡＷＢ補正を強くする。これにより、屋外光源シーンや従来人工光源シーンのＡＷＢ補正に弊害を生じることなく、白色ＬＥＤシーンの光源色残りを改善できる。
【００９１】
＜第３実施形態＞
図７は第３実施形態に係る撮像装置３００を示すブロック図である。図中第１実施形態と同じブロックには同じ符号を付している。撮像装置３００は、信号分割部５０、色情報算出部５１、色情報補正部５２、軌跡保持部５３をさらに備えている。
【００９２】
図８は撮像装置３００が実行する光源判別・ＡＷＢ補正処理のフローチャートを示す。
【００９３】
Ｓ１〜Ｓ１１は第１実施形態と同様である。
【００９４】
Ｓ３１では、信号分割部５０は、ＲＡＭ１１に格納されている１画面分の画像データ（Ｒ／Ｇ／Ｂ信号）を複数のエリアに分割する。色情報算出部５１は、エリアごとにＲ，Ｇ，Ｂ信号の平均値、Ｒｉ，Ｇｉ，Ｂｉを求める。そして色情報算出部５１は、分割エリアＸｉごとに、Ｒ／Ｇ−Ｂ／Ｇ平面の座標Ｃｉ＝（Ｒｉ／Ｇｉ，Ｂｉ／Ｇｉ）を算出する。
【００９５】
色情報補正部５２は、軌跡保持部５３に記憶されている、屋外光源に対応する軌跡（黒体軌跡）Ｌ１を読み出し、分割エリアＸｉごとに、座標Ｃｉから黒体軌跡Ｌ１に伸びる法線と黒体軌跡Ｌ１との交点Ｐｉを算出する。色情報補正部５２は、分割エリアＸｉごとに、座標ＣｉをＰｉに近づける（一致させる）補正を行う。すなわち、屋外光源の光源色分布特性に基づいて、画像データから物体色を排除する。
【００９６】
Ｓ３２では、Ｓ３２の補正後のＲ，Ｇ，Ｂ信号に対するＡＷＢ補正量LW_AWBを算出し、LW_AWBに基づいて、ＡＷＢゲインを算出する。これは特許文献６と同様である。
【００９７】
Ｓ３３では、Ｓ３１と同様、色情報算出部５１は、分割エリアＸｉごとに、Ｒ／Ｇ−Ｂ／Ｇ平面の座標Ｃｉを算出する。色情報補正部５２は、軌跡保持部５３に記憶されている、ＬＥＤ以外の人工光源としてありえる色範囲を包括した軌跡Ｌ２を読み出し、分割エリアＸｉごとに、座標Ｃｉから軌跡Ｌ２に伸びる法線と軌跡Ｌ２との交点Ｑｉを算出する。ＬＥＤ以外の人工光源としてありえる範囲は、軌跡Ｌ１と軌跡Ｌ２に挟まれた範囲である。色情報補正部５２は、分割エリアＸｉごとに、座標ＣｉをＱｉに近づける（一致させる）補正を行う。すなわち、ＬＥＤ以外の人工光源の光源色分布特性に基づいて、画像データから物体色を排除する。
【００９８】
Ｓ３４では、Ｓ３３の補正後のＲ，Ｇ，Ｂ信号に対するＡＷＢ補正量LW_AWBを算出し、ＡＷＢ補正量LW_AWBに基づいて、ＡＷＢゲインを算出する。これは特許文献６と同様である。
【００９９】
Ｓ３５では、Ｓ３１と同様、色情報算出部５１は、分割エリアＸｉごとに、Ｒ／Ｇ−Ｂ／Ｇ平面の座標Ｃｉを算出する。
【０１００】
色情報補正部５２は、軌跡保持部５３に記憶されている、ＬＥＤ光源に対応する軌跡Ｌ３を読み出し、分割エリアＸｉごとに、座標Ｃｉから軌跡Ｌ３に伸びる法線と軌跡Ｌ３との交点Ｒｉを算出する。交点の算出手法は特許文献５と同様に行われる。色情報補正部５２は、分割エリアＸｉごとに、座標ＣｉをＲｉに近づける（一致させる）補正を行う。すなわち、ＬＥＤ光源の光源色分布特性に基づいて、画像データから物体色を排除する。
【０１０１】
Ｓ３６では、Ｓ３５の補正後のＲ，Ｇ，Ｂ信号に対するＡＷＢ補正量LW_AWBを算出し、ＡＷＢ補正量LW_AWBに基づいて、ＡＷＢゲインを算出する。ＡＷＢ補正量LW_AWBの算出方法は第２実施形態と同様である。例えば、軌跡Ｌ３に近づいた後の各座標Ｃｉの代表値の、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各色信号レベルが等しくなるようなＡＷＢ補正量を、LW_AWBとする。
【０１０２】
デジタル信号処理部３は、Ｓ３２、Ｓ３４またはＳ３６で算出されたＡＷＢゲインをＲＧＢ各色の信号に掛けることによって、画像のホワイトバランスを補正する。
【０１０３】
図９（ａ）は黒体軌跡Ｌ１、分割エリアの光源検出値Ｃｉ、Ｃｉに対応する交点Ｐ’ｉの一例を示す。図９（ｂ）は軌跡Ｌ２、分割エリアの光源検出値Ｃｉ、Ｃｉに対応する交点Ｑ’ｉの一例を示す。図９（ｃ）は軌跡Ｌ３、分割エリアの光源検出値Ｃｉ、Ｃｉに対応する交点Ｒ’ｉの一例を示す。
【０１０４】
黒体軌跡Ｌ１は、太陽光源（高色温度〜低色温度）下でグレーを撮影したときの軌跡である。太陽光源下では黒体軌跡から外れている積算値は物体色の影響を受けている。図９（ａ）では、黒体軌跡Ｌ１よりも上に分布するＣ３と、下に分布するＣ２、Ｃ４が、それぞれ黒体軌跡Ｌ１に近づいた座標Ｐ’３、Ｐ’２、Ｐ’４に補正されている。
【０１０５】
ＬＥＤ以外の人工光源軌跡Ｌ２は、ＬＥＤ以外の人工光源としてありえる色範囲を包括した軌跡である。黒体軌跡と人工光源軌跡Ｌ２に挟まれた部分が光源色としてありえる範囲である。Ｒ／Ｇ−Ｂ／Ｇ平面上で、人工光源軌跡Ｌ２よりも下に分布する積算値は物体色の影響を受けている。図９（ｂ）では、軌跡Ｌ２よりも上に分布するＣ３と、下に分布するＣ４が、それぞれ軌跡Ｌ２に近づいた座標Ｑ’３、Ｑ’４に補正されている。
【０１０６】
ＬＥＤ軌跡Ｌ３は、ＬＥＤ光源（調色できるので高色温度〜低色温度）下でグレーを撮影したときの軌跡である。図９（ｃ）に示すとおり、黒体軌跡Ｌ１ともＬＥＤ以外の人工光源軌跡Ｌ２とも異なる。ＬＥＤ光源下ではこの軌跡から外れている積算値は物体色の影響を受けている。図９（ｃ）では、軌跡Ｌ３よりも上に分布するＣ１、Ｃ３と、下に分布するＣ４が、それぞれ軌跡Ｌ３に近づいた座標Ｒ’１、Ｒ’３、Ｒ’４に補正されている。なお、軌跡Ｌ１〜Ｌ３に近づけるための移動方向は法線方向に限られず、その他の方向でもよい。
【０１０７】
シーンが白色ＬＥＤ光源下であることが分かれば、光源色は必ず白色ＬＥＤ軌跡上になる。光源色が白色ＬＥＤ軌跡上にならない場合は物体色の影響を受けているので、白色ＬＥＤ軌跡に近づける物体色補正を行う。これにより、屋外光源シーンや従来人工光源シーンのＡＷＢ補正に弊害を生じることなく、白色ＬＥＤシーンの光源色残りを改善できる。さらに、白色ＬＥＤ光源下のシーンでの物体色によるＡＷＢカラーフェリアを抑えることができる。
【符号の説明】
【０１０８】
２：撮像部、３：デジタル信号処理部、４：ＡＥ／ＡＷＢ補正部、１３：ＣＰＵ、４０：信号比率算出部、４１：ＡＷＢ補正ゲイン算出部、４２：ＬＥＤ判定部、４３：被写体輝度値算出部、４４：従来人工光源／屋外光源判定部、４５：相関色温度算出部、４６：従来光源判定閾値演算部、４７：ＡＷＢ補正量演算部、５０：信号分割部、５１：色情報算出部、５２：色情報補正部、５３：軌跡保持部
【特許請求の範囲】
【請求項１】
固体撮像素子から出力される撮像信号に基づき、４８０ｎｍ付近の波長の光に対応する撮像信号の信号量と４５０ｎｍ付近の波長の光に対応する撮像信号の信号量とを取得する信号量取得部と、
前記信号量取得部の取得した４８０ｎｍ付近の波長の光に対応する撮像信号の信号量と４５０ｎｍ付近の波長の光に対応する撮像信号の信号量の比を算出する信号比算出部と、
前記信号比算出部の算出した比と所定の閾値との大小関係に応じて、光源が白色ＬＥＤであるか否かを判断する白色ＬＥＤ光源判断部と、
を備える光源判定装置。
【請求項２】
前記白色ＬＥＤ光源判断部が、光源が白色ＬＥＤであると判断した場合、前記白色ＬＥＤに適したホワイトバランス補正量を設定し、前記設定されたホワイトバランス補正量に従って前記撮像信号のホワイトバランスを補正するＡＷＢ補正部をさらに備える請求項１に記載の光源判定装置。
【請求項３】
前記ＡＷＢ補正部は、前記白色ＬＥＤ光源判断部が、光源が白色ＬＥＤであると判断した場合、前記撮像信号から推定した代表色の赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各色信号レベルが等しくなるような通常のホワイトバランス補正量を設定する請求項２に記載の光源判定装置。
【請求項４】
前記固体撮像素子から出力される撮像信号に基づき、被写体輝度を算出する被写体輝度算出部と、
前記被写体輝度算出部の算出した被写体輝度を変数とするメンバシップ関数に基づいて光源の確からしさを示す評価値を算出する評価値算出部と、
を備える請求項２または３に記載の光源判定装置。
【請求項５】
前記白色ＬＥＤ光源判断部が、光源が白色ＬＥＤでないと判断した場合、光源が白色ＬＥＤ以外の人工光源であるか否かを判断する従来人工光源判断部を備え、
前記ＡＷＢ補正部は、前記従来人工光源判断部が、光源が白色ＬＥＤ以外の人工光源であると判断した場合、前記評価値算出部の算出した評価値に従い、ホワイトバランス補正量を前記通常のホワイトバランス補正量よりも小さいかもしくはそれと同程度に設定する請求項４に記載の光源判定装置。
【請求項６】
前記白色ＬＥＤ光源判断部が、光源が白色ＬＥＤでないと判断した場合、光源が自然光源であるか否かを判断する自然光源判断部を備え、
前記ＡＷＢ補正部は、前記自然光源判断部が、光源が自然光源であると判断した場合、前記評価値算出部の算出した評価値に従い、ホワイトバランス補正量を前記通常のホワイトバランス補正量よりも小さく設定する請求項４または５に記載の光源判定装置。
【請求項７】
所定の色空間における白色ＬＥＤ光源の色温度の分布を示した軌跡を記憶する軌跡記憶部と、
前記撮像信号からなる画像を複数のエリアに分割する信号分割部と、
前記信号分割部の分割した各々のエリアの色情報を取得する分割エリア色情報取得部と、
前記分割エリア色情報取得部の取得した各々のエリアの色情報を、前記軌跡記憶部の記憶した軌跡に基づいて補正する色情報補正部と、
を備え、
前記ＡＷＢ補正部は、前記白色ＬＥＤ光源判断部が、光源が白色ＬＥＤであると判断した場合、前記色情報補正部が色情報を補正した後の撮像信号に基づいて、白色ＬＥＤに適したホワイトバランスゲインを設定し、前記色情報補正部が色情報の補正した後の撮像信号のホワイトバランスを補正する請求項２〜６のいずれか１項に記載の光源判定装置。
【請求項８】
前記色情報補正部は、各々のエリアの色情報を、前記軌跡記憶部の記憶した軌跡に近づけるよう補正する請求項７に記載の光源判定装置。
【請求項９】
前記信号量取得部は、所定の色フィルタに対応する前記固体撮像素子の画素群の内、シアン色フィルタに対応する特定の画素から得られた撮像信号から４８０ｎｍ付近の波長の光に対応する撮像信号の信号量を取得するとともに、青色フィルタに対応する特定の画素から得られた撮像信号から４５０ｎｍ付近の波長の光に対応する撮像信号の信号量を取得する請求項１〜８のいずれか１項に記載の光源判定装置。
【請求項１０】
前記信号比算出部は、前記信号量取得部の取得した４８０ｎｍ付近の波長の光に対応する撮像信号の平均信号量と４５０ｎｍ付近の波長の光に対応する撮像信号の平均信号量の比を算出する請求項１〜９のいずれか１項に記載の光源判定装置。
【請求項１１】
前記信号比算出部は、前記信号量取得部の取得した４８０ｎｍ付近の波長の光に対応する撮像信号の積算信号量と４５０ｎｍ付近の波長の光に対応する撮像信号の積算信号量の比を算出する請求項１〜９のいずれか１項に記載の光源判定装置。
【請求項１２】
光源判定装置が、
固体撮像素子から出力される撮像信号に基づき、４８０ｎｍ付近の波長の光に対応する撮像信号の信号量と４５０ｎｍ付近の波長の光に対応する撮像信号の信号量とを取得するステップと、
前記取得した４８０ｎｍ付近の波長の光に対応する撮像信号の信号量と４５０ｎｍ付近の波長の光に対応する撮像信号の信号量の比を算出するステップと、
前記算出した比と所定の閾値との大小関係に応じて、光源が白色ＬＥＤであるか否かを判断するステップと、
を実行する光源判定方法。
【請求項１】
固体撮像素子から出力される撮像信号に基づき、４８０ｎｍ付近の波長の光に対応する撮像信号の信号量と４５０ｎｍ付近の波長の光に対応する撮像信号の信号量とを取得する信号量取得部と、
前記信号量取得部の取得した４８０ｎｍ付近の波長の光に対応する撮像信号の信号量と４５０ｎｍ付近の波長の光に対応する撮像信号の信号量の比を算出する信号比算出部と、
前記信号比算出部の算出した比と所定の閾値との大小関係に応じて、光源が白色ＬＥＤであるか否かを判断する白色ＬＥＤ光源判断部と、
を備える光源判定装置。
【請求項２】
前記白色ＬＥＤ光源判断部が、光源が白色ＬＥＤであると判断した場合、前記白色ＬＥＤに適したホワイトバランス補正量を設定し、前記設定されたホワイトバランス補正量に従って前記撮像信号のホワイトバランスを補正するＡＷＢ補正部をさらに備える請求項１に記載の光源判定装置。
【請求項３】
前記ＡＷＢ補正部は、前記白色ＬＥＤ光源判断部が、光源が白色ＬＥＤであると判断した場合、前記撮像信号から推定した代表色の赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各色信号レベルが等しくなるような通常のホワイトバランス補正量を設定する請求項２に記載の光源判定装置。
【請求項４】
前記固体撮像素子から出力される撮像信号に基づき、被写体輝度を算出する被写体輝度算出部と、
前記被写体輝度算出部の算出した被写体輝度を変数とするメンバシップ関数に基づいて光源の確からしさを示す評価値を算出する評価値算出部と、
を備える請求項２または３に記載の光源判定装置。
【請求項５】
前記白色ＬＥＤ光源判断部が、光源が白色ＬＥＤでないと判断した場合、光源が白色ＬＥＤ以外の人工光源であるか否かを判断する従来人工光源判断部を備え、
前記ＡＷＢ補正部は、前記従来人工光源判断部が、光源が白色ＬＥＤ以外の人工光源であると判断した場合、前記評価値算出部の算出した評価値に従い、ホワイトバランス補正量を前記通常のホワイトバランス補正量よりも小さいかもしくはそれと同程度に設定する請求項４に記載の光源判定装置。
【請求項６】
前記白色ＬＥＤ光源判断部が、光源が白色ＬＥＤでないと判断した場合、光源が自然光源であるか否かを判断する自然光源判断部を備え、
前記ＡＷＢ補正部は、前記自然光源判断部が、光源が自然光源であると判断した場合、前記評価値算出部の算出した評価値に従い、ホワイトバランス補正量を前記通常のホワイトバランス補正量よりも小さく設定する請求項４または５に記載の光源判定装置。
【請求項７】
所定の色空間における白色ＬＥＤ光源の色温度の分布を示した軌跡を記憶する軌跡記憶部と、
前記撮像信号からなる画像を複数のエリアに分割する信号分割部と、
前記信号分割部の分割した各々のエリアの色情報を取得する分割エリア色情報取得部と、
前記分割エリア色情報取得部の取得した各々のエリアの色情報を、前記軌跡記憶部の記憶した軌跡に基づいて補正する色情報補正部と、
を備え、
前記ＡＷＢ補正部は、前記白色ＬＥＤ光源判断部が、光源が白色ＬＥＤであると判断した場合、前記色情報補正部が色情報を補正した後の撮像信号に基づいて、白色ＬＥＤに適したホワイトバランスゲインを設定し、前記色情報補正部が色情報の補正した後の撮像信号のホワイトバランスを補正する請求項２〜６のいずれか１項に記載の光源判定装置。
【請求項８】
前記色情報補正部は、各々のエリアの色情報を、前記軌跡記憶部の記憶した軌跡に近づけるよう補正する請求項７に記載の光源判定装置。
【請求項９】
前記信号量取得部は、所定の色フィルタに対応する前記固体撮像素子の画素群の内、シアン色フィルタに対応する特定の画素から得られた撮像信号から４８０ｎｍ付近の波長の光に対応する撮像信号の信号量を取得するとともに、青色フィルタに対応する特定の画素から得られた撮像信号から４５０ｎｍ付近の波長の光に対応する撮像信号の信号量を取得する請求項１〜８のいずれか１項に記載の光源判定装置。
【請求項１０】
前記信号比算出部は、前記信号量取得部の取得した４８０ｎｍ付近の波長の光に対応する撮像信号の平均信号量と４５０ｎｍ付近の波長の光に対応する撮像信号の平均信号量の比を算出する請求項１〜９のいずれか１項に記載の光源判定装置。
【請求項１１】
前記信号比算出部は、前記信号量取得部の取得した４８０ｎｍ付近の波長の光に対応する撮像信号の積算信号量と４５０ｎｍ付近の波長の光に対応する撮像信号の積算信号量の比を算出する請求項１〜９のいずれか１項に記載の光源判定装置。
【請求項１２】
光源判定装置が、
固体撮像素子から出力される撮像信号に基づき、４８０ｎｍ付近の波長の光に対応する撮像信号の信号量と４５０ｎｍ付近の波長の光に対応する撮像信号の信号量とを取得するステップと、
前記取得した４８０ｎｍ付近の波長の光に対応する撮像信号の信号量と４５０ｎｍ付近の波長の光に対応する撮像信号の信号量の比を算出するステップと、
前記算出した比と所定の閾値との大小関係に応じて、光源が白色ＬＥＤであるか否かを判断するステップと、
を実行する光源判定方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１２−１１９８８５（Ｐ２０１２−１１９８８５Ａ）
【公開日】平成２４年６月２１日（２０１２．６．２１）
【国際特許分類】
【出願番号】特願２０１０−２６７０５２（Ｐ２０１０−２６７０５２）
【出願日】平成２２年１１月３０日（２０１０．１１．３０）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
【公開日】平成２４年６月２１日（２０１２．６．２１）
【国際特許分類】
【出願日】平成２２年１１月３０日（２０１０．１１．３０）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
[ Back to top ]