オートホワイトバランス補正値算出装置、方法およびプログラムならびに撮像装置
【課題】顔検出機能を用いたオートホワイトバランス補正における誤補正を防ぐ。
【解決手段】Ｓ１３８では、各エリアの代表色と光源色との差分（距離）Ｌｉを算出する。Ｓ１４６では、各差分Ｌｉに対応する重みβｉで各差分Ｌｉを重みづけして平均した差分の加重平均Ｌ’を算出する。Ｓ１４７では、最終ＷＢ補正値算出部５２ｇが、差分加重平均Ｌ’に基づき、適切な補正値算出方法を選択する。これにより、カラーフェリアが発生することを防げる。
【解決手段】Ｓ１３８では、各エリアの代表色と光源色との差分（距離）Ｌｉを算出する。Ｓ１４６では、各差分Ｌｉに対応する重みβｉで各差分Ｌｉを重みづけして平均した差分の加重平均Ｌ’を算出する。Ｓ１４７では、最終ＷＢ補正値算出部５２ｇが、差分加重平均Ｌ’に基づき、適切な補正値算出方法を選択する。これにより、カラーフェリアが発生することを防げる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顔検出機能を用いた画像のホワイトバランス調節に関する。
【背景技術】
【０００２】
特許文献１では、画像内の肌色領域を特定し、肌領域の色味に応じて光源を特定し、ホワイトバランス（ＷＢ）補正値を求める。
【０００３】
特許文献２では、画像内の顔領域を特定し、顔領域内から代表肌色を抽出し、代表肌色に応じて光源を特定し、ＷＢ補正値を求める。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１１−２８３０２５号公報
【特許文献２】特表２００５−５３１１８９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
特許文献１および２では、彫像や石像など人以外の顔が検出された場合や、フェイスペイントして肌色でない人の顔が検出された場合、正しい光源を特定することができず、適切なホワイトバランス補正値を求めることができない。例えば、白い石像の顔の色分布から、青い光が顔の肌色に当たって白くなっていると推定したとする。この青い光が光源色であるとの前提でホワイトバランス調整を行うと、画像が黄色くなってしまう（いわゆるカラーフェリア現象）。
【０００６】
本発明は、顔検出機能を用いたオートホワイトバランス補正における誤補正を防ぐことを目的とする。
【課題を解決するための手段】
【０００７】
本発明に係るオートホワイトバランス補正値算出方法は、画像データを入力するステップと、入力された画像データに基づいて第１のオートホワイトバランス（ＡＷＢ）補正値である通常ＡＷＢ補正値を算出するステップと、画像データから顔領域を特定するステップと、画像データの顔領域に基づいて第２のＡＷＢ補正値である顔ＡＷＢ補正値を算出するステップと、画像データから第１の特徴データを抽出するとともに、顔領域中の画像データから第２の特徴データを抽出するステップと、第１の特徴データと第２の特徴データとの比較結果に基づき、顔ＡＷＢ補正値および通常ＡＷＢ補正値のうち少なくとも一方に応じた最終的なＡＷＢ補正値を算出するステップと、を含む。
【０００８】
第１の特徴データは画像データに基づいて特定された光源色であり、第２の特徴データは顔領域に基づいて特定された光源色である。
【０００９】
この方法は、画像データの光源色と顔領域の光源色との差分量を算出するステップと、差分量に基づき、最終的なＡＷＢ補正値を算出するステップと、をさらに含んでもよい。
【００１０】
この方法は、第１の特徴データと第２の特徴データとの比較結果に基づき、顔ＡＷＢ補正値または通常ＡＷＢ補正値のうちいずれか一方を最終的なＡＷＢ補正値として選択するステップをさらに含んでもよい。
【００１１】
第１の特徴データと第２の特徴データとの比較結果に基づき、顔ＡＷＢ補正値および通常ＡＷＢ補正値を０％以上１００％以下の所定の重みαにより加重平均することで最終的なＡＷＢ補正値を算出するステップをさらに含んでもよい。
【００１２】
第１の特徴データと第２の特徴データとの比較結果に基づき、画像データの光源色および顔領域の光源色の各々を０％以上１００％以下の所定の重みαにより加重平均することで最終的な光源色を求めるステップと、最終的な光源色に応じて最終的なＡＷＢ補正値を算出するステップと、をさらに含んでもよい。
【００１３】
本発明に係るオートホワイトバランス補正値算出方法は、画像データを入力するステップと、入力された画像データに基づいて第１のオートホワイトバランス（ＡＷＢ）補正値である通常ＡＷＢ補正値を算出するステップと、画像データから顔領域を特定するステップと、画像データの顔領域に基づいて第２のＡＷＢ補正値である顔ＡＷＢ補正値を算出するステップと、画像データを１または複数のエリアに分割し、各エリアから特徴データを抽出するステップと、顔領域から特徴データを抽出するステップと、各エリアから抽出された特徴データと顔領域から抽出された特徴データとの比較結果に基づき、顔ＡＷＢ補正値および通常ＡＷＢ補正値のうち少なくとも一方に応じた最終的なＡＷＢ補正値を算出するステップと、を含む。
【００１４】
顔領域からは、特徴データとして光源色が抽出され、各エリアからは、特徴データとして各エリアの代表色が抽出される。
【００１５】
この方法は、各エリアの代表色のうち特定エリアの代表色と顔領域の光源色との差分量を算出するステップと、差分量に基づき、最終的なＡＷＢ補正値を算出するステップと、をさらに含んでもよい。
【００１６】
各エリアの代表色のうち特定エリアの代表色と顔領域の光源色との差分量を算出するステップと、差分量のうち顔領域の近傍にある所定数のエリアについての差分量を、差分量に対応する０％以上１００％以下の所定の重みβで加重平均して得られた値に基づき、最終的なＡＷＢ補正値を算出するステップと、をさらに含んでもよい。
【００１７】
各エリアから抽出された特徴データと顔領域から抽出された特徴データとの比較結果に基づき、顔ＡＷＢ補正値または通常ＡＷＢ補正値のうちいずれか一方を最終的なＡＷＢ補正値として選択するステップをさらに含んでもよい。
【００１８】
各エリアから抽出された特徴データと顔領域から抽出された特徴データとの比較結果に基づき、顔ＡＷＢ補正値および通常ＡＷＢ補正値を０％以上１００％以下の所定の重みαにより加重平均することで最終的なＡＷＢ補正値を算出するステップをさらに含んでもよい。
【００１９】
画像データの光源色および顔領域の光源色の各々を０％以上１００％以下の所定の重みαにより加重平均することで最終的な光源色を求めるステップと、最終的な光源色に応じて最終的なＡＷＢ補正値を算出するステップと、をさらに含んでもよい。
【００２０】
最終的なＡＷＢ補正値を表示するステップをさらに含んでもよい。
【００２１】
顔領域の特徴データと比較された特徴データの抽出されたエリアを表示するステップをさらに含んでもよい。
【００２２】
顔優先度の選択を受け付けるステップと、顔優先度に応じて最終的なＡＷＢ補正値の重みを変化させるステップと、をさらに含んでもよい。
【００２３】
上記のオートホワイトバランス補正値算出方法をコンピュータに実行させるオートホワイトバランス補正値算出プログラムも本発明に含まれる。
【００２４】
本発明に係るオートホワイトバランス補正値算出装置は、画像データを入力する画像データ入力部と、画像データ入力部に入力された画像データに基づいて第１のオートホワイトバランス（ＡＷＢ）補正値である通常ＡＷＢ補正値を算出する通常ＡＷＢ補正値算出部と、画像データから顔領域を特定する顔領域特定部と、画像データの顔領域に基づいて第２のＡＷＢ補正値である顔ＡＷＢ補正値を算出する顔ＡＷＢ補正値算出部と、画像データから第１の特徴データを抽出するとともに、顔領域中の画像データから第２の特徴データを抽出する特徴データ抽出部と、第１の特徴データと第２の特徴データとの比較結果に基づき、顔ＡＷＢ補正値および通常ＡＷＢ補正値のうち少なくとも一方に応じた最終的なＡＷＢ補正値を算出する最終ＡＷＢ補正値算出部と、を備える。
【００２５】
第１の特徴データは画像データに基づいて特定された光源色であり、第２の特徴データは顔領域に基づいて特定された光源色である。
【００２６】
この装置は、画像データの光源色と顔領域の光源色との差分量を算出する差分量算出部をさらに備え、最終ＡＷＢ補正値算出部は、差分量に基づき、最終的なＡＷＢ補正値を算出してもよい。
【００２７】
最終ＡＷＢ補正値算出部は、第１の特徴データと第２の特徴データとの比較結果に基づき、顔ＡＷＢ補正値または通常ＡＷＢ補正値のうちいずれか一方を最終的なＡＷＢ補正値として選択してもよい。
【００２８】
最終ＡＷＢ補正値算出部は、第１の特徴データと第２の特徴データとの比較結果に基づき、顔ＡＷＢ補正値および通常ＡＷＢ補正値を０％以上１００％以下の所定の重みαにより加重平均することで最終的なＡＷＢ補正値を算出してもよい。
【００２９】
第１の特徴データと第２の特徴データとの比較結果に基づき、画像データの光源色および顔領域の光源色の各々を０％以上１００％以下の所定の重みαにより加重平均することで最終的な光源色を求める最終光源色算出部をさらに備え、最終ＡＷＢ補正値算出部は、最終的な光源色に応じて最終的なＡＷＢ補正値を算出してもよい。
【００３０】
画像データを入力する画像データ入力部と、画像データ入力部に入力された画像データに基づいて第１のオートホワイトバランス（ＡＷＢ）補正値である通常ＡＷＢ補正値を算出する通常ＡＷＢ補正値算出部と、画像データから顔領域を特定する顔領域特定部と、画像データの顔領域に基づいて第２のＡＷＢ補正値である顔ＡＷＢ補正値を算出する顔ＡＷＢ補正値算出部と、画像データを１または複数のエリアに分割し、各エリアから特徴データを抽出するエリア特徴データ抽出部と、顔領域から特徴データを抽出する顔領域特徴データ抽出部と、各エリアから抽出された特徴データと顔領域から抽出された特徴データとの比較結果に基づき、顔ＡＷＢ補正値および通常ＡＷＢ補正値のうち少なくとも一方に応じた最終的なＡＷＢ補正値を算出する最終ＡＷＢ補正値算出部と、を備える。
【００３１】
顔領域からは、特徴データとして光源色が抽出され、各エリアからは、特徴データとして各エリアの代表色が抽出される。
【００３２】
この装置は、各エリアの代表色のうち特定エリアの代表色と顔領域の光源色との差分量を算出する差分量算出部をさらに備え、最終ＡＷＢ補正値算出部は、差分量に基づき、最終的なＡＷＢ補正値を算出してもよい。
【００３３】
各エリアの代表色のうち特定エリアの代表色と顔領域の光源色との差分量を算出する差分量算出部をさらに備え、最終ＡＷＢ補正値算出部は、差分量のうち顔領域の近傍にある所定数のエリアについての差分量を、差分量に対応する０％以上１００％以下の所定の重みβで加重平均して得られた値に基づき、最終的なＡＷＢ補正値を算出してもよい。
【００３４】
最終ＡＷＢ補正値算出部は、各エリアから抽出された特徴データと顔領域から抽出された特徴データとの比較結果に基づき、顔ＡＷＢ補正値または通常ＡＷＢ補正値のうちいずれか一方を最終的なＡＷＢ補正値として選択してもよい。
【００３５】
最終ＡＷＢ補正値算出部は、各エリアから抽出された特徴データと顔領域から抽出された特徴データとの比較結果に基づき、顔ＡＷＢ補正値および通常ＡＷＢ補正値を０％以上１００％以下の所定の重みαにより加重平均することで最終的なＡＷＢ補正値を算出してもよい。
【００３６】
画像データの光源色および顔領域の光源色の各々を０％以上１００％以下の所定の重みαにより加重平均することで最終的な光源色を求める最終光源色算出部をさらに備え、最終ＡＷＢ補正値算出部は、最終的な光源色に応じて最終的なＡＷＢ補正値を算出してもよい。
【００３７】
最終的なＡＷＢ補正値を表示する表示部をさらに備えてもよい。
【００３８】
顔領域の特徴データと比較された特徴データの抽出されたエリアを表示する表示部をさらに備えてもよい。
【００３９】
顔優先度の選択を受け付ける顔優先度選択部をさらに備え、最終ＡＷＢ補正値算出部は、顔優先度に応じて最終的なＡＷＢ補正値の重みを変化させてもよい。
【００４０】
本発明に係る撮像装置は、上記のオートホワイトバランス補正値算出装置と、撮影光学系を介して被写体像を受光し、該被写体像を示すアナログ画像信号を出力する撮像素子と、アナログ画像信号をデジタル画像データに変換して画像データ入力部に出力する画像データ出力部と、オートホワイトバランス補正値算出装置の算出した最終的なＡＷＢ補正値に基づいて画像データのホワイトバランスを補正する補正部と、を備える。
【発明の効果】
【００４１】
この発明によると、顔領域を基準としたホワイトバランス補正を行う際、通常の肌色を有さない顔が特定された場合でも、その顔に基づいて誤ったホワイトバランス調整がされるのを可及的に避けることができる。
【図面の簡単な説明】
【００４２】
【図１】デジタルカメラの電気的構成を示す図
【図２】第１実施形態に係る画像信号処理回路のブロック図
【図３】第１実施形態に係るホワイトバランス補正処理のフローチャート
【図４】第２実施形態に係る画像信号処理回路のブロック図
【図５】色空間（Ｒ／Ｇ，Ｂ／Ｇ）における光源色Ｌ１およびＬ２を例示した図
【図６】第２実施形態に係るホワイトバランス補正処理のフローチャート
【図７】第３実施形態に係る画像信号処理回路のブロック図
【図８】光源色Ｌ１およびＬ２の差分量（距離）の算出式の一例を示す図
【図９】第３実施形態に係るホワイトバランス補正処理のフローチャート
【図１０】第４実施形態に係る画像信号処理回路のブロック図
【図１１】第４実施形態に係るホワイトバランス補正処理のフローチャート
【図１２】光源色Ｌ１とＬ２と閾値の関係を例示した図
【図１３】本実施形態のホワイトバランス補正による具体的効果を例示した図
【図１４】第５実施形態に係る画像信号処理回路のブロック図
【図１５】重みα特定関数および通常ＡＷＢ補正値と顔ＡＷＢ補正値とを加重平均する数式を例示した図
【図１６】第５実施形態に係るホワイトバランス補正処理のフローチャート
【図１７】第６実施形態に係る画像信号処理回路のブロック図
【図１８】重みα特定関数および通常ＡＷＢ光源色と顔ＡＷＢ光源色とを加重平均する数式を例示した図
【図１９】第６実施形態に係るホワイトバランス補正処理のフローチャート
【図２０】第７実施形態に係る画像信号処理回路のブロック図
【図２１】画像データ全体を所定の１または複数のエリアに分割した様子を例示した図
【図２２】第７実施形態に係るホワイトバランス補正処理のフローチャート
【図２３】本実施形態のホワイトバランス補正による具体的効果を例示した図
【図２４】通常ＡＷＢにおける光源推定が、顔ＡＷＢにおける光源推定とかけ離れている画像データを例示した図
【図２５】第８実施形態に係る画像信号処理回路のブロック図
【図２６】第８実施形態に係るホワイトバランス補正処理のフローチャート
【図２７】顔領域の光源色および各エリアの代表色が色空間にプロットされた様子を例示した図
【図２８】第９実施形態に係る画像信号処理回路のブロック図
【図２９】色空間における各エリアの代表色と顔ＡＷＢ光源色抽出部５２ｃ−１の得た光源色との差分（距離）Ｌを算出する数式を例示した図
【図３０】第９実施形態に係るホワイトバランス補正処理のフローチャート
【図３１】各エリアの代表色ごとに求められた顔領域の光源色との差分Ｌｉのうち最小値Ｌｍｉｎを例示した図
【図３２】第１０実施形態に係る画像信号処理回路のブロック図
【図３３】光源色の近傍に位置する所定個数の代表色と光源色の色空間における位置を例示した図
【図３４】重みβｉを特定するための差分量と重みの関係を規定する関数を例示した図
【図３５】距離Ｌｉの加重平均Ｌを例示した図
【図３６】第１０実施形態に係るホワイトバランス補正処理のフローチャート
【図３７】第１１実施形態に係る画像信号処理回路のブロック図
【図３８】第１１実施形態に係るホワイトバランス補正処理のフローチャート
【図３９】第１２実施形態に係る画像信号処理回路のブロック図
【図４０】差分Ｌの値に対応する重みαを特定するための差分量と重みの関係を規定する関数を例示した図
【図４１】第１２実施形態に係るホワイトバランス補正処理のフローチャート
【図４２】第１３実施形態に係る画像信号処理回路のブロック図
【図４３】重みα決定関数を例示した図
【図４４】第１３実施形態に係るホワイトバランス補正処理のフローチャート
【図４５】第１４実施形態に係る画像信号処理回路のブロック図
【図４６】重みαを画像データに重畳してポストビュー表示した一例を示す図
【図４７】第１４実施形態に係るホワイトバランス補正処理のフローチャート
【図４８】第１５実施形態に係る画像信号処理回路のブロック図
【図４９】顔ＡＷＢの光源色と代表色が比較された分割エリアを示す枠を画像データに重畳してポストビュー表示した一例を示す図
【図５０】第１５実施形態に係るホワイトバランス補正処理のフローチャート
【図５１】第１６実施形態に係る画像信号処理回路のブロック図
【図５２】第１６実施形態に係るホワイトバランス補正処理のフローチャート
【発明を実施するための最良の形態】
【００４３】
＜第１実施形態＞
図１はデジタルカメラ２の電気的構成を示す。撮像レンズ１０には、レンズモータ３０が接続されている。また、絞り３１には、アイリスモータ３２が接続されている。これらのモータ３０、３２はステッピングモータからなり、ＣＰＵ３３に接続されたモータドライバ３４、３５から送信される駆動パルスにより動作制御され、レリーズボタン１２の半押しに伴う撮影準備処理を行う。
【００４４】
レンズモータ３０は、ズーム操作ボタン２４の操作に連動して、撮像レンズ１０のズームレンズをワイド側、あるいはテレ側に移動させる。また、ズームレンズの変倍などに応じて撮像レンズ１０のフォーカスレンズ（図示せず）を移動させ、撮影条件が最適となるように焦点調整を行う。アイリスモータ３２は、絞り３１を動作させ、露出調整を行う。
【００４５】
撮像レンズ１０の背後には、撮像レンズ１０を透過した被写体像が撮像されるＣＣＤ３６が配置されている。ＣＣＤ３６には、ＣＰＵ３３によって制御されるタイミングジェネレータ（ＴＧ）３７が接続され、このＴＧ３７から入力されるタイミング信号（クロックパルス）により、電子シャッタのシャッタ速度が決定される。
【００４６】
ＣＣＤ３６から出力された撮像信号は、相関二重サンプリング回路（ＣＤＳ）３８に入力され、ＣＣＤ３６の各セルの蓄積電荷量に正確に対応したＲ、Ｇ、Ｂの画像データとして出力される。ＣＤＳ３８から出力された画像データは、増幅器（ＡＭＰ）３９で増幅され、Ａ／Ｄ変換器（Ａ／Ｄ）４０でデジタルの画像データに変換される。
【００４７】
画像入力コントローラ４１は、バス４２を介してＣＰＵ３３に接続され、ＣＰＵ３３の制御命令に応じて、ＣＣＤ３６、ＣＤＳ３８、ＡＭＰ３９、およびＡ／Ｄ４０を制御する。Ａ／Ｄ４０から出力された画像データは、ＳＤＲＡＭ４３に一時記録される。
【００４８】
画像信号処理回路４４は、ＳＤＲＡＭ４３から画像データを読み出して、階調変換、ホワイトバランス補正、γ補正処理などの各種画像処理を施し、この画像データを再度ＳＤＲＡＭ４３に記録する。ＹＣ変換処理回路４５は、画像信号処理回路４４で各種処理を施された画像データをＳＤＲＡＭ４３から読み出し、輝度信号Ｙと色差信号Ｃｒ、Ｃｂとに変換する。
【００４９】
ＶＲＡＭ４６は、ＬＣＤ２２にスルー画像を出力するためのメモリであり、画像信号処理回路４４、ＹＣ変換処理回路４５を経た画像データが格納される。ＶＲＡＭ４６には、画像データの書き込みと読み出しを並行して行えるように、２フレーム分のメモリ４６ａ、４６ｂが確保されている。ＶＲＡＭ４６に格納された画像データは、ＬＣＤドライバ４７でアナログのコンポジット信号に変換され、ＬＣＤ２２にスルー画像として表示される。
【００５０】
圧縮伸長処理回路４８は、ＹＣ変換処理回路４５でＹＣ変換された画像データに対して、所定の圧縮形式（例えばＪＰＥＧ形式）で画像圧縮を施す。圧縮された画像データは、メディアコントローラ４９を経由してメモリカード５０に記憶される。
【００５１】
ＣＰＵ３３には、前述のレリーズボタン１２、受信部２０、操作部２３の他に、ＥＥＰＲＯＭ５１が接続されている。ＥＥＰＲＯＭ５１には、各種制御用のプログラムや設定情報などが記録されている。ＣＰＵ３３は、これらの情報をＥＥＰＲＯＭ５１から作業用メモリであるＳＤＲＡＭ４３に読み出して、各種処理を実行する。
【００５２】
バス４２には、露出量、すなわち電子シャッタのシャッタ速度、および絞り３１の絞り値が撮影に適切か否かを検出するとともに、ホワイトバランスが撮影に適切か否かを検出するＡＥ／ＡＷＢ検出回路５２と、撮像レンズ１０の焦点調整が撮影に適切か否かを検出するＡＦ検出回路５３と、ストロボ装置５４の動作を制御するストロボ制御回路５５とが接続されている。
【００５３】
ＡＥ／ＡＷＢ検出回路５２は、ＹＣ変換処理回路４５でＹＣ変換された画像データの輝度信号Ｙと色差信号Ｃｒ、Ｃｂとの積算値を元に、露出量、およびホワイトバランスの適否を検出し、この検出結果をＣＰＵ３３に送信する。ＣＰＵ３３は、ＡＥ／ＡＷＢ検出回路５２から送信された検出結果に基づいて、撮像レンズ１０、絞り３１、およびＣＣＤ３６の動作を制御する。
【００５４】
ＡＦ検出回路５３は、Ａ／Ｄ４０でデジタル化された画像データから画像の鮮鋭度を表すフォーカス評価値を算出し、この算出結果をＣＰＵ３３に送信する。フォーカス評価値は、画像の特定のエリア、例えば、撮影画角の中央部分の画像データに対して、バンドパスフィルタなどで輪郭抽出処理を施し、これにより抽出した輪郭信号、および中央部分の画像データの輝度値を積算することで得られる。ここで、フォーカス評価値が大きいほどその部分の高周波成分が多く、その部分が合焦状態にあることを表している。
【００５５】
ＣＰＵ３３は、レリーズボタン１２の半押しに伴う撮影準備処理時に、そのときのズームレンズの位置からフォーカスレンズの合焦位置の探索範囲を決定し、モータドライバ３４を介してレンズモータ３０の動作を制御して、決定した探索範囲内で、フォーカスレンズを例えば近点側から遠点側に移動させ、そのときＡＦ検出回路５３から順次送信されるフォーカス評価値の大小を比較することで、フォーカス評価値が最大となる位置、つまり合焦位置でフォーカスレンズを停止させる。
【００５６】
セルフ撮影モード下において、リモートコントローラ１６から受信部２０を介してレリーズ信号を受信し、且つＡＥ／ＡＷＢ検出回路５２による輝度の積算値の算出結果が、予め設定された閾値よりも小さい場合、画像信号処理回路４４は、ＳＤＲＡＭ４３から読み出した画像データから、レリーズ信号の送信時にリモートコントローラ１６の光源１９から発せられた光を表す画像データを抽出する。
【００５７】
光源１９から発せられた光を表す画像データの抽出は、具体的には、前フレームと現フレームの画像データの差分をとっておき、光源１９から発せられた光が撮像されているフレームと、されていないフレームの画像データの差分から、光が撮像されている部分を特定し、その部分、あるいはその部分を含む周囲を表す画像データを抽出する。なお、ＡＥ／ＡＷＢ検出回路５２による輝度の積算値の算出結果が、予め設定された閾値よりも小さい場合とは、焦点調整が困難な状況（暗所など）であることを意味する。
【００５８】
ＡＦ検出回路５３は、画像信号処理回路４４で抽出した光を表す画像データに対してフォーカス評価値の算出を行う。ＣＰＵ３３は、フォーカス評価値の波形が谷間となる点を合焦位置とし、モータドライバ３４を介してレンズモータの動作を制御して、この位置でフォーカスレンズを停止させる。
【００５９】
図２は第１実施形態に係る画像信号処理回路４４の要部ブロック構成を示す。この図に開示された各ブロックの詳細な機能は後述する。
【００６０】
顔領域特定部５２ａは、ＳＤＲＡＭ４３のデジタル画像データ（記録用の静止画像、スルー画像あるいは動画フレーム）から人物の顔部分を含む領域である顔領域を特定する。顔領域の検出方法としては、例えば本出願人による特許公開２００７−１２４１１２号公報において開示された技術を適用することができる。
【００６１】
すなわち、顔領域特定部５２ａは、撮影された画像の画像データＰ0′を読み込み、画像Ｐ0′中の顔部分Ｐ0f′を検出する。具体的には、特開２００５−１０８１９５号公報に記載されているように、画像Ｐ0′の各画素におけるエッジの向きと大きさを表す勾配ベクトルの向きを表す第１の特徴量を、複数の第１の識別器に入力することによって画像Ｐ0′中に顔候補領域が存在するかどうかを判定し、さらに、顔候補領域が存在する場合には、その領域を抽出し、抽出された顔候補領域の各画素における勾配ベクトルの大きさを正規化し、正規化後の勾配ベクトルの大きさと向きを表す第２の特徴量を、第２の識別器に入力することによって、抽出された顔候補領域が真の顔領域であるかどうかを判定し、真の顔領域であれば、その領域を顔部分Ｐ0f′として検出することが考えられる。ここで、第１／第２の識別器は、学習用サンプルとなる顔であることがわかっている複数の画像と顔でないことがわかっている複数の画像の各々について算出された第１／第２の特徴量を入力する、AdaBoost等のマシンラーニングの手法を用いた学習処理によって各々得られたものである。
【００６２】
なお、顔部分Ｐ１fの検出方法としては、特表２００４−５２７８６３号公報に記載されているような固有顔表現と画像自体との相関スコアを用いる方法の他、知識ベース、特徴抽出、テンプレートマッチング、グラフマッチング、統計的手法(ニューラルネットワーク、SVM、HMM)等の様々な公知の手法を用いることができる。ただし、人物の顔の色に依存しないような顔検出を可能とするため（例えば銅像の顔やフェイスペイントした顔も検出できるようにするため）、本願明細書の各実施形態では、人物の顔の色に依存した顔検出方法、例えば肌色検出を用いる方法は採用しないものとする。
【００６３】
顔ＡＷＢ補正値算出部５２ｂは、顔領域特定部５２ａが特定した顔領域の画像データに基づき、画像全体に施すホワイトバランスの補正値を決定する。
【００６４】
顔ＡＷＢ特徴データ抽出部５２ｃは、顔領域特定部５２ａが特定した顔領域内の画像データに基づいて特徴データを抽出する。特徴データとは、例えば、顔領域内の画像データから推定される光源の種類（太陽光、タングステン、蛍光など）、あるいは光源の色温度（例えば２５００Ｋ〜９４００Ｋの間で色温度を推定）である。あるいは顔領域の代表色でもよい。
【００６５】
通常ＡＷＢ補正値算出部５２ｄは、通常ホワイトバランス補正値決定用の特定領域である通常ＡＷＢ領域（例えば画像データの全体、あるいは、画像データ全体から所定の周縁領域を除いた残りの部分。ただし、特定領域は顔領域と同一ではない）に基づいて画像全体に施すホワイトバランスの補正値を決定する。
【００６６】
通常ＡＷＢ特徴データ抽出部５２ｅは、通常ＡＷＢ領域に基づいて特徴データを抽出する。特徴データとは、通常ＡＷＢ領域の画像データから推定される光源種、色温度、代表色などである。
【００６７】
ＷＢ補正部５２ｈは、光源の種類あるいは光源の色温度に応じた比率で各色の画像データを増減することにより、撮影画像を適切なホワイトバランスに調整、すなわち白色が色味を帯びないように色補正する。
【００６８】
特徴データ比較部５２ｆは、顔ＡＷＢ特徴データ抽出部５２ｃの得た特徴データと、通常ＡＷＢ特徴データ抽出部５２ｅの得た特徴データとを比較する。これは後述するが、例えば、各種の色空間における光源色Ｌ１と光源色Ｌ２との距離を求めることである。
【００６９】
最終ＷＢ補正値算出部５２ｇは、通常ＡＷＢ特徴データ抽出部５２ｅおよび顔ＡＷＢ特徴データ抽出部５２ｃからの２つの特徴データの比較結果に基づき、画像全体に対するホワイトバランス補正値の算出方法を選択する。これは後述するが、例えば、光源色Ｌ１とＬ２との距離が所定の閾値以上であるか未満であるかに基づいて、通常ＡＷＢ補正値算出部５２ｄの用いる補正値算出式および顔ＡＷＢ補正値算出部５２ｂの用いる補正値算出式のうちいずれか一方の補正値算出式を選択することである。
【００７０】
ＷＢ補正部５２ｈは、最終ＷＢ補正値算出部５２ｇの選択した算出方法で算出されたホワイトバランス補正値によって画像全体のホワイトバランスを補正する。
【００７１】
図３は第１実施形態に係る画像信号処理回路４４で実行されるホワイトバランス補正処理のフローチャートである。
【００７２】
Ｓ１では、通常ＡＷＢ補正値算出部５２ｄが、補正値を算出する。
【００７３】
Ｓ２では、顔領域特定部５２ａが、顔領域の特定を試みる。
【００７４】
Ｓ３では、顔領域特定部５２ａが、顔領域の特定に成功したか否かを判断する。顔領域の特定に成功した場合はＳ４、失敗した場合はＳ１０に進む。
【００７５】
Ｓ４では、顔ＡＷＢ補正値算出部５２ｂが、顔ＡＷＢ補正値を算出する。
【００７６】
Ｓ５では、顔ＡＷＢ特徴データ抽出部５２ｃ、通常ＡＷＢ特徴データ抽出部５２ｅが、それぞれ色空間における特徴データを抽出する。
【００７７】
Ｓ６では、特徴データ比較部５２ｆが、Ｓ５で抽出された２つの特徴データを比較する。例えば、通常ＡＷＢ領域、顔領域における２つの代表色を求め、所定の色空間または色度図上における両代表色の各色差（距離）を比較する。
【００７８】
Ｓ７では、最終ＷＢ補正値算出部５２ｇが、２つの特徴データの比較結果に基づき、画像全体に対するホワイトバランス補正値の算出方法として適切なものを１つ、例えば、顔ＡＷＢ補正値算出部５２ｂによる算出方法および通常ＡＷＢ補正値算出部５２ｄによる算出方法のうちいずれか一方を選択する。顔ＡＷＢ補正値算出部５２ｂによる算出方法を選択した場合はＳ８、通常ＡＷＢ補正値算出部５２ｄによる算出方法を選択した場合はＳ９に進む。２つの特徴データの比較結果に基づいた算出方法の選択は、例えば、両代表色の各色差（距離）が所定の閾値未満であれば顔ＡＷＢの算出方法、所定の閾値であれば通常ＡＷＢの算出方法を選択する。
【００７９】
Ｓ８では、ＷＢ補正部５２ｈは、最終ＷＢ補正値算出部５２ｇの選択したホワイトバランス補正値算出方法で得られた最終ＷＢ補正値＝顔ＡＷＢ補正値によって画像全体のホワイトバランスを補正する。
【００８０】
Ｓ９では、ＷＢ補正部５２ｈは、最終ＷＢ補正値算出部５２ｇの選択したホワイトバランス補正値算出方法で得られた最終ＷＢ補正値＝通常ＡＷＢ補正値によって画像全体のホワイトバランスを補正する。
【００８１】
Ｓ１０では、ＷＢ補正部５２ｈは、通常ＡＷＢ補正値によって画像全体のホワイトバランスを補正する。
【００８２】
すなわち、本実施形態では、通常ＡＷＢ領域の特徴データと、顔領域の特徴データとの比較結果に応じて補正値算出方法を選択する。
【００８３】
＜第２実施形態＞
図４は第２実施形態に係る画像信号処理回路４４の詳細ブロック構成を示す。ここでは図２における顔ＡＷＢ特徴データ抽出部５２ｃの一例として顔ＡＷＢ光源色抽出部５２ｃ−１が、通常ＡＷＢ特徴データ抽出部５２ｅの一例として通常ＡＷＢ光源色抽出部５２ｅ−１が、特徴データ比較部５２ｆの一例として光源色比較部５２ｆ−１が示されている。
【００８４】
顔ＡＷＢ光源色抽出部５２ｃ−１は、顔領域特定部５２ａが特定した顔領域内の画像データに基づいて光源色を抽出する。これは、例えば、ホワイトバランス調整のために画像データの一部から光源色を推定する各種の方法（例えば、特許公開２０００−２０９５９８号公報や、特許公開２００６−２２２９２８号公報に開示されたもの）を用いて光源色（Ｒ１、Ｇ１、Ｂ１）を推定し、この推定した光源色を、Ｒ／ＧおよびＢ／Ｇの比からなる色空間の座標Ｌ１＝（Ｒ１／Ｇ１，Ｂ１／Ｇ１）へ変換する（図５）。なお、光源色をプロットする色空間はＹＣｒＣｂなど各種のものであってもよい。
【００８５】
通常ＡＷＢ光源色抽出部５２ｅ−１は、通常ＡＷＢ領域の画像データに基づいて光源色を抽出する。これは例えば、ホワイトバランス調整のために画像データの全部から光源色を推定する各種の方法を用いて光源色（Ｒ２、Ｇ２、Ｂ２）を推定し、この推定した光源色を、Ｒ／ＧおよびＢ／Ｇの比からなる色空間の色空間の座標Ｌ２＝（Ｒ２／Ｇ２，Ｂ２／Ｇ２）へ変換する（図５）。
【００８６】
光源色比較部５２ｆ−１は、顔ＡＷＢ光源色抽出部５２ｃ−１の得た光源色Ｌ１と、通常ＡＷＢ光源色抽出部５２ｅ−１の得た光源色Ｌ２とを比較する。これは後述するが、例えば、光源色Ｌ１と光源色Ｌ２との色差（色空間における距離）を求めることである。
【００８７】
通常ＡＷＢ補正値算出部５２ｄは、画像全体に施すホワイトバランスの補正値を、通常ＡＷＢ領域の画像データに基づいて決定する。
【００８８】
ＷＢ補正部５２ｈは、光源の種類あるいは光源の色温度に応じた比率で各色の画像データを増減することにより、撮影画像を適切なホワイトバランスに調整、すなわち白色が色味を帯びないように色補正する。
【００８９】
最終ＷＢ補正値算出部５２ｇは、色空間における光源色Ｌ１とＬ２との比較結果に基づき、画像全体に対するホワイトバランス補正値の算出方法を選択する。これは後述するが、例えば、光源色Ｌ１とＬ２との距離が所定の閾値以上であるか未満であるかに基づいて、通常ＡＷＢ補正値算出部５２ｄの算出した補正値および顔ＡＷＢ補正値算出部５２ｂの算出した補正値のうちいずれか一方の補正値を選択することである。
【００９０】
ＷＢ補正部５２ｈは、最終ＷＢ補正値算出部５２ｇの選択した算出方法で算出されたホワイトバランス補正値によって画像全体のホワイトバランスを補正する。
【００９１】
図６は画像信号処理回路４４で実行されるホワイトバランス補正処理の流れを示す。
【００９２】
Ｓ１では、通常ＡＷＢ補正値算出部５２ｄが、補正値を算出する。
【００９３】
Ｓ２では、顔領域特定部５２ａが、顔領域の特定を試みる。
【００９４】
Ｓ３では、顔領域特定部５２ａが、顔領域の特定に成功したか否かを判断する。顔領域の特定に成功した場合はＳ４、失敗した場合はＳ１０に進む。
【００９５】
Ｓ４では、顔ＡＷＢ補正値算出部５２ｂが、顔ＡＷＢ補正値を算出する。
【００９６】
Ｓ５−１では、顔ＡＷＢ光源色抽出部５２ｃ−１、通常ＡＷＢ光源色抽出部５２ｅ−１が、それぞれ顔領域、通常ＡＷＢ領域における光源色Ｌ１、Ｌ２を抽出する。
【００９７】
Ｓ６−１では、光源色比較部５２ｆ−１が、光源色Ｌ１とＬ２とを比較する。
【００９８】
Ｓ７−１では、最終ＷＢ補正値算出部５２ｇが、光源色比較部５２ｆ−１による光源色Ｌ１とＬ２との比較結果に基づき、画像全体に対するホワイトバランス補正値算出方法として適切なものを１つ、例えば、顔ＡＷＢ補正値算出部５２ｂによる算出方法および通常ＡＷＢ補正値算出部５２ｄによる算出方法のうちいずれか一方を選択する。顔ＡＷＢ補正値算出部５２ｂによる算出方法を選択した場合はＳ８、通常ＡＷＢ補正値算出部５２ｄによる算出方法を選択した場合はＳ９に進む。
【００９９】
Ｓ８では、ＷＢ補正部５２ｈは、最終ＷＢ補正値算出部５２ｇの選択したホワイトバランス補正値算出方法で得た最終ＷＢ補正値＝顔ＡＷＢ補正値によって画像全体のホワイトバランスを補正する。
【０１００】
Ｓ９では、ＷＢ補正部５２ｈは、最終ＷＢ補正値算出部５２ｇの選択したホワイトバランス補正値算出方法で得た最終ＷＢ補正値＝通常ＡＷＢ補正値によって画像全体のホワイトバランスを補正する。
【０１０１】
Ｓ１０では、ＷＢ補正部５２ｈは、通常ＡＷＢ補正値によって画像全体のホワイトバランスを補正する。
【０１０２】
すなわち、本実施形態では、通常ＡＷＢ領域の光源色と、顔領域の光源色との比較結果に応じて補正値算出方法を選択する。
【０１０３】
＜第３実施形態＞
図７は第３実施形態に係る画像信号処理回路４４のブロック構成を示す。ここでは図２における光源色比較部５２ｆ−１の一例として、光源色の差分算出部５２ｆ−２が示されている。
【０１０４】
光源色の差分算出部５２ｆ−２は、顔ＡＷＢ光源色抽出部５２ｃ−１の得た光源色Ｌ１と、通常ＡＷＢ光源色抽出部５２ｅ−１の得た光源色Ｌ２との差分を算出する。これは後述するが、例えば、図８に示すように、色空間における光源色Ｌ１と光源色Ｌ２との距離Ｌを求めることである。
【０１０５】
図９は画像信号処理回路４４で実行されるホワイトバランス補正処理の流れを示す。
【０１０６】
Ｓ１１〜Ｓ１５はそれぞれ図３のＳ１〜Ｓ５と同様である。
【０１０７】
Ｓ１６では、光源色の差分算出部５２ｆ−２が、光源色Ｌ１とＬ２との差分Ｌを算出する。差分Ｌとは、具体的には図８（ａ）に示すように、色空間における光源色Ｌ１とＬ２との距離（色差）を指す。その値は、図８（ｂ）に示すような数式で求めることができる。
【０１０８】
Ｓ１７では、最終ＷＢ補正値算出部５２ｇが、光源色の差分算出部５２ｆ−２の算出した、光源色Ｌ１とＬ２との差分Ｌに基づき、最適な補正値算出方法（例えば第１・２実施形態と同様のもの）を選択する。顔ＡＷＢ補正値の算出方法を選択した場合はＳ１８、通常ＡＷＢ補正値の算出方法を選択した場合はＳ１９に進む。
【０１０９】
Ｓ１８〜Ｓ２０は、Ｓ８〜Ｓ１０と同様である。
【０１１０】
＜第４実施形態＞
図１０は第４実施形態に係る画像信号処理回路４４のブロック構成を示す。ここでは図２および図５における最終ＷＢ補正値算出部５２ｇの一例として、最終ＷＢ選択部５２ｇ−１が示されている。この機能は後述する。
【０１１１】
図１１は画像信号処理回路４４で実行されるホワイトバランス補正処理の流れを示す。
【０１１２】
Ｓ２１〜Ｓ２６はそれぞれＳ１１〜Ｓ１６と同様である。
【０１１３】
Ｓ２７では、最終ＷＢ補正値算出部５２ｇが、光源色Ｌ１とＬ２との差分Ｌが、所定の閾値Ｔ１以下であるか否かを判断する。Ｌ≦Ｔ１の場合はＳ２８、Ｌ＞Ｔ１の場合はＳ２９に進む。図１２は、Ｌ＞Ｔ１の場合を例示している。Ｔ１は、顔ＡＷＢ補正値と通常ＡＷＢ補正値のいずれを使用することが適切なホワイトバランス補正となるかを区別する値であるから、撮影条件に応じて経験的に定めるとよい。
【０１１４】
Ｓ２８では、最終ＷＢ補正値算出部５２ｇは、顔ＡＷＢ補正値を最終ＷＢ補正値に決定する。ＷＢ補正部５２ｈは、最終ＷＢ補正値算出部５２ｇの決定した最終ＷＢ補正値＝顔ＡＷＢ補正値によって画像全体のホワイトバランスを補正する。
【０１１５】
Ｓ２９では、最終ＷＢ補正値算出部５２ｇは、通常ＡＷＢ補正値を最終ＷＢ補正値に決定する。ＷＢ補正部５２ｈは、最終ＷＢ補正値算出部５２ｇの決定した最終ＷＢ補正値＝通常ＡＷＢ補正値によって画像全体のホワイトバランスを補正する。
【０１１６】
Ｓ３０は、Ｓ１０と同様である。
【０１１７】
図１３は、このホワイトバランス補正による具体的効果を例示する。
【０１１８】
例えば、図１３（ａ）に示すように、太陽光が照射している白色系の石像を被写体とした画像データが取得されたものとする。
【０１１９】
図１３（ｂ）に示すように、通常ＡＷＢ光源色抽出部５２ｅ−１は、画像データ全体の色分布などから光源色を推定する。図１３（ｃ）に示すように、ここでは太陽光と推定したとする。
【０１２０】
図１３（ｄ）に示すように、顔ＡＷＢ光源色抽出部５２ｃ−１は、画像データ中の顔領域特定部５２ａが特定した顔領域の色分布などから光源色を推定する。図１３（ｅ）に示すように、ここでは、白い石像の顔の色分布から、青い光が顔の肌色に当たって白くなっていると推定したとする。この青い光が光源色であるとの前提でホワイトバランス調整を行うと、画像が黄色くなってしまう。
【０１２１】
この場合、図１３（ｆ）に示すように、顔ＡＷＢ光源色抽出部５２ｃ−１の光源色Ｌ１と通常ＡＷＢ光源色抽出部５２ｅ−１の光源色Ｌ２との距離Ｌは、離れる傾向にある。この距離Ｌが所定の閾値Ｔ１を超えていれば、両者の食い違いが大きく、顔ＡＷＢ光源色抽出部５２ｃ−１の光源色Ｌ１の推定は信頼性が低く、通常ＡＷＢ光源色抽出部５２ｅ−１の光源色Ｌ２に基づいてＷＢ補正値を決める方がより適切といえる。そこでＬ＞Ｔ１の場合、通常ＡＷＢ補正値によって画像全体のホワイトバランスを補正する。
【０１２２】
一方、Ｌ≦Ｔ１の場合は、光源色Ｌ１の推定は信頼性が一定程度確保されているから、この場合、顔ＡＷＢ補正値によって画像全体のホワイトバランスを補正する。
【０１２３】
こうすることで、顔領域を基準としたホワイトバランス補正を行う際、通常の肌色を有さない顔が特定された場合でも、その顔に基づいて誤ったホワイトバランス調整がされるのを可及的に避けることができる。
【０１２４】
＜第５実施形態＞
図１４は第５実施形態に係る画像信号処理回路４４のブロック構成を示す。ここでは重みα算出部５２ｉが追加されている。
【０１２５】
例えば図１５（ａ）のような差分Ｌと重みαとの関係を規定した関数（重みα決定関数）が、予め重みα算出部５２ｉに記憶されており、重みα算出部５２ｉは、差分Ｌの値に対応する重みαを該関数から特定することで、関数の重みαを算出する。
【０１２６】
最終ＷＢ補正値算出部５２ｇは、例えば図１５（ｂ）のような、重みαで通常ＡＷＢ補正値と顔ＡＷＢ補正値とを加重平均する数式により、最終ＷＢ補正値を算出する。
【０１２７】
図１６は第５実施形態に係るホワイトバランス補正処理を示すフローチャートである。
【０１２８】
Ｓ３１〜Ｓ３６はＳ１１〜Ｓ１６と同様である。
【０１２９】
Ｓ３７では、差分Ｌが所定の閾値Ｔ２以下であるか否かを判断する。Ｌ≦Ｔ２の場合はＳ３８、Ｌ＞Ｔ２の場合はＳ４１に進む。
【０１３０】
Ｓ３８では、重みα＝１００（％）とする。
【０１３１】
Ｓ４０では、最終ＷＢ補正値を顔ＡＷＢ補正値とする。なおこの値は図１５（ｂ）の数式でα＝１００とした値である。
【０１３２】
Ｓ４１では、差分Ｌが所定の閾値Ｔ３以上であるか否かを判断する。Ｌ≧Ｔ３の場合はＳ４２、Ｌ＜Ｔ３の場合はＳ４５に進む。
【０１３３】
Ｓ４２では、重みα＝０（％）とする。
【０１３４】
Ｓ４４では、最終ＷＢ補正値を通常ＡＷＢ補正値とする。なおこの値は図１５（ｂ）の数式でα＝０とした値である。
【０１３５】
Ｓ４５では、差分Ｌに対応した重みα＝１〜９９（％）の値とする。例えば図１５（ａ）のような差分Ｌと重みαとの関係を規定した関数（重みα決定関数）を予め記憶しておき、差分Ｌの値に対応する重みαを該関数から特定する。
【０１３６】
Ｓ４７では、例えば図１５（ｂ）のような、重みαで通常ＡＷＢ補正値と顔ＡＷＢ補正値とを加重平均する数式により、最終ＷＢ補正値を算出する。
【０１３７】
Ｓ４８は、Ｓ１０と同様である。
【０１３８】
＜第６実施形態＞
図１７は第６実施形態に係る画像信号処理回路４４のブロック構成を示す。ここでは最終光源色算出部５２ｊが追加されている。
【０１３９】
例えば図１８（ａ）のような差分Ｌと重みαとの関係を規定した関数（重みα決定関数）を予め重みα算出部５２ｉに記憶しておき、重みα算出部５２ｉは、差分Ｌの値に対応する重みαを該関数から特定することで、光源色の重みαを算出する。
【０１４０】
最終光源色算出部５２ｊは、例えば図１８（ｂ）のような重みαで通常ＡＷＢ光源色と顔ＡＷＢ光源色とを加重平均する数式により、最終光源色を算出する。
【０１４１】
図１９は第６実施形態に係るホワイトバランス補正処理を示すフローチャートである。
【０１４２】
Ｓ５１〜Ｓ５６はＳ３１〜Ｓ３６と同様である。
【０１４３】
Ｓ５７では、差分Ｌが所定の閾値Ｔ４以下であるか否かを判断する。Ｌ≦Ｔ４の場合はＳ５８、Ｌ＞Ｔ４の場合はＳ６１に進む。
【０１４４】
Ｓ５８では、重みα＝１００（％）とする。
【０１４５】
Ｓ５９では、最終光源色を顔ＡＷＢ光源色抽出部５２ｃ−１の抽出した光源色とする。
【０１４６】
Ｓ６０では、最終光源色である顔ＡＷＢ光源色抽出部５２ｃ−１の抽出した光源色を補正値の算出基準とし、最終ＷＢ補正値を顔ＡＷＢ補正値とする。
【０１４７】
Ｓ６１では、差分Ｌが所定の閾値Ｔ５以上であるか否かを判断する。Ｌ≧Ｔ５の場合はＳ６２、Ｌ＜Ｔ５の場合はＳ６５に進む。
【０１４８】
Ｓ６２では、重みα＝０（％）とする。
【０１４９】
Ｓ６３では、最終光源色を通常ＡＷＢ光源色抽出部５２ｅ−１の抽出した光源色とする。
【０１５０】
Ｓ６４では、最終光源色である通常ＡＷＢ光源色抽出部５２ｅ−１の抽出した光源色を補正値の算出基準とし、最終ＷＢ補正値を通常ＡＷＢ補正値とする。
【０１５１】
Ｓ６５では、差分Ｌに対応した重みα＝１〜９９（％）の値とする。例えば図１８（ａ）のような差分Ｌと重みαとの関係を規定した関数（重みα決定関数）を予め記憶しておき、差分Ｌの値に対応する重みαを該関数から特定する。
【０１５２】
Ｓ６６では、例えば図１８（ｂ）のような、２つの光源色を重みαで加重平均する数式により、最終光源色を算出する。
【０１５３】
Ｓ６７では、最終光源色を補正値の算出基準とし、最終ＷＢ補正値を算出する。
【０１５４】
Ｓ６８は、Ｓ１０と同様である。
【０１５５】
＜第７実施形態＞
図２０は第７実施形態に係る画像信号処理回路４４のブロック構成を示す。上記実施形態と同一のブロックには同一の符号を付しており、説明は省略する。ここではエリア分割部５２ｋ、エリア特徴データ抽出部５２ｌが追加されている。
【０１５６】
エリア分割部５２ｋは、画像データ全体を所定の１または複数のエリアに分割する。
【０１５７】
図２１は複数のエリアに分割した場合の一例である。複数のエリアへの区分の仕方は図示したものに限らず、これよりも多数あるいは少数の小領域に区分してもよい。また、分割面積は等面積、等間隔である必然性はなく、領域の特徴（例えば顔領域に包含される領域であるか否か）や重要度に応じてより精緻な領域分割を行ってもよい。あるいは、異なる色相ごとに画像を分割してもよい。なお、１つのエリアに分割するとは画像データ全体そのものを得ることと同じである。
【０１５８】
図２２は第７実施形態に係るホワイトバランス補正処理のフローチャートである。
【０１５９】
Ｓ７１〜Ｓ７５はＳ１〜Ｓ５と同様である。
【０１６０】
Ｓ７６では、エリア分割部５２ｋが画像データ全体を１または複数のエリアに分割する。
【０１６１】
Ｓ７７では、エリア特徴データ抽出部５２ｌが各エリアの特徴データを抽出する。特徴データとは例えば各エリアの代表色である。エリアの代表色の求め方としては、例えば本出願人による特許公開２００７−３６４６２号公報、段落００３８に記載されるように、エリアの各画像データを用いて、各画素の色をＲ／Ｇ−Ｂ／Ｇ空間の座標にそれぞれ変換し、それら各座標の重心の座標を求め、これを代表色の座標とする。
【０１６２】
Ｓ７８では、特徴データ比較部５２ｆが、各エリアの特徴データを顔領域からの特徴データと比較する。
【０１６３】
Ｓ７９では、各エリアの特徴データを顔領域からの特徴データと比較した結果に応じて、適切な補正値算出式を選択する。例えば上述と同様、通常ＡＷＢ補正値算出部５２ｄの算出した補正値（通常ＡＷＢ補正値）および顔ＡＷＢ補正値算出部５２ｂの算出した補正値（顔ＡＷＢ補正値）のうちいずれか一方の最適な補正値を選択する。
【０１６４】
Ｓ８０〜Ｓ８２は、Ｓ８〜Ｓ１０と同様である。
【０１６５】
図２３は、このホワイトバランス補正による具体的効果を例示する。
【０１６６】
例えば、図２３（ａ）に示すように、１つの画像データ中に、人には赤い光源が照らされており、背景には青い水槽が存在していたとする。
【０１６７】
この場合、図２３（ｂ）に示すように、１画面を複数のエリアに分割し、かつ、図２３（ｃ）に示すように、各エリアの特徴データとして各エリアの代表色を算出する。この場合、水槽側のエリアでは青、光源側のエリアでは赤が代表色となる。
【０１６８】
また、図２３（ｄ）に示すように、検出された顔領域から、光源色を推定する。この場合、図２３（ｅ）に示すように、顔色から赤い光源と推定される。
【０１６９】
つまり、各エリアの特徴データと顔領域の特徴データの間では、食い違いが生じ、それぞれの特徴データに従ってホワイトバランス補正を行った場合、得られる画像データも異なってくる。従って、いずれか一方の特徴データを基準としたより適切なホワイトバランス補正を行う必要がある。
【０１７０】
図２３（ｆ）に示すように、顔領域の特徴データ（代表色）および各エリアの特徴データ（代表色）を、Ｒ／Ｇ−Ｂ／Ｇ色空間にプロットすると、顔領域の特徴データの周辺には、赤い光源が支配的な光源近傍のエリアの特徴データが集中し、また、水槽近傍のエリアは青が支配的な位置に集中する。
【０１７１】
この、顔領域を中心とした所定の閾値Ｔの近傍内に、一定程度の分割エリアの特徴データが存在していれば、これが正しい光源色を表していると判断でき、近傍外にある青の特徴データは、背景を支配する色であるということが識別でき、顔ＡＷＢによるホワイトバランス補正がよりよい補正方法であると識別できる。
【０１７２】
この方式は図２４のように、本来の光源とは関係のない色で画像の大部分が支配されることで、通常ＡＷＢにおける光源推定が顔ＡＷＢにおける光源推定とかけ離れてしまうときに特に有効である。
【０１７３】
＜第８実施形態＞
図２５は第８実施形態に係る画像信号処理回路４４のブロック構成を示す。他の実施形態と同一のブロックには同一の符号を付している。
【０１７４】
図２６は第８実施形態に係るホワイトバランス補正処理のフローチャートである。
【０１７５】
Ｓ９１〜Ｓ９４はＳ７１〜Ｓ７４と同様である。
【０１７６】
Ｓ９５では、顔ＡＷＢ特徴データ抽出部５２ｃが、顔領域から光源色を抽出する。そして、抽出した光源色を色空間にプロットする（例えば図２７を参照）。
【０１７７】
Ｓ９６は、Ｓ７６と同様である。
【０１７８】
Ｓ９７では、エリア特徴データ抽出部５２ｌが各エリアの代表色（例えばエリアごとの画素の平均色）を抽出する。そして、抽出した各エリアの代表色を色空間にプロットする（例えば図２７を参照）。
【０１７９】
Ｓ９８では、特徴データ比較部５２ｆが、各エリアの代表色を顔領域からの光源色と比較する。
【０１８０】
Ｓ９９は、Ｓ９８の比較結果に応じ、Ｓ１００またはＳ１０１に分岐する。
【０１８１】
Ｓ１００〜Ｓ１０２は、Ｓ８０〜Ｓ８２と同様である。
【０１８２】
＜第９実施形態＞
図２８は第９実施形態に係る画像信号処理回路４４のブロック構成を示す。他の実施形態と同一のブロックには同一の符号を付している。
【０１８３】
光源色と特定のエリアの代表色との差分算出部５２ｆ−３は、図２９に例示するような数式により、色空間における各エリアの代表色と顔ＡＷＢ光源色抽出部５２の得た光源色との差分（距離）Ｌを算出する。
【０１８４】
図３０は第９実施形態に係るホワイトバランス補正処理のフローチャートである。
【０１８５】
Ｓ１１１〜Ｓ１１７は、Ｓ９１〜Ｓ９７と同様である。
【０１８６】
Ｓ１１８では、例えば図２９に例示する数式により、色空間における各エリアＲｉ（ｉはエリアに付与された添え字）の代表色と顔ＡＷＢ光源色抽出部５２の得た光源色との差分（距離）Ｌｉを算出する。そして、各エリアごとに求められた差分Ｌｉのうち最小値Ｌｍｉｎを確定する（図３１参照）。
【０１８７】
Ｓ１１９では、最終ＷＢ補正値算出部５２ｇが、差分Ｌｍｉｎに基づき、適切な補正値算出方法を選択する。これは例えば上述と同様、差分Ｌｍｉｎとある所定の閾値との大小関係に応じて、通常ＡＷＢ補正値算出部５２ｄの算出した補正値（通常ＡＷＢ補正値）および顔ＡＷＢ補正値算出部５２ｂの算出した補正値（顔ＡＷＢ補正値）のうちいずれか一方の最適な補正値を選択する。顔ＡＷＢ補正値を選択した場合はＳ１２０、通常ＡＷＢ補正値を選択した場合はＳ１２１に進む。
【０１８８】
Ｓ１２０〜Ｓ１２２は、Ｓ１００〜Ｓ１０２と同様である。
【０１８９】
＜第１０実施形態＞
図３２は第１０実施形態に係る画像信号処理回路４４のブロック構成を示す。他の実施形態と同一のブロックには同一の符号を付している。
【０１９０】
光源色とｎ個のエリアの代表色との差分算出部５２ｆ−４は、各エリアの代表色と顔ＡＷＢ光源色抽出部５２ｃ−１からの光源色との差分を算出する。
【０１９１】
例えば図３３に示すように、光源色の近傍に位置する所定個数（例えば総エリア個数の５〜２０％程度の個数）の代表色と光源色との距離を、代表色ごとにそれぞれ求める。
【０１９２】
重みづけ平均部５２ｐは、各エリアと光源色との差分（距離）Ｌｉに対応する重みβｉを乗じることで、差分の加重平均を算出する（図３５）。各差分Ｌｉに対応する重みβｉは例えば図３４に示すような、差分量と重みの関係を規定する重みβｉ決定関数から特定する。
【０１９３】
図３６は第１０実施形態に係るホワイトバランス補正処理のフローチャートである。
【０１９４】
Ｓ１３１〜１３７は、Ｓ１１１〜Ｓ１１７と同様である。
【０１９５】
Ｓ１３８では、各エリアの代表色と光源色との差分（距離）Ｌｉを算出する。
【０１９６】
Ｓ１３９〜Ｓ１４５は、各エリアの各差分Ｌｉに対応するに対応する重みβｉが全て（ｎ個）算出するまで繰り返される処理単位である。
【０１９７】
Ｓ１４０では、差分Ｌｉが所定の閾値Ｔ６以下であるか否かを判断する。判断が“Ｙ”ならばＳ１４２、“Ｎ”ならばＳ１４１に進む。
【０１９８】
Ｓ１４１では、差分Ｌｉが所定の閾値Ｔ７以上であるか否かを判断する。判断が“Ｙ”ならばＳ１４３、“Ｎ”ならばＳ１４４に進む。
【０１９９】
Ｓ１４２では、図３４の重み決定関数に従い、重みβｉ＝１００％とする。
【０２００】
Ｓ１４３では、図３４の重み決定関数に従い、重みβｉ＝０％とする。
【０２０１】
Ｓ１４４では、図３４の重み決定関数に従い、重みβｉ＝１〜９９％とする。
【０２０２】
Ｓ１４５では、ｎ個の重みが算出されたか否かを判断し、算出されればＳ１４６に進む。算出されていなければＳ１４０に戻る。
【０２０３】
Ｓ１４６では、各差分Ｌｉに対応する重みβｉで各差分Ｌｉを重みづけして平均した差分の加重平均Ｌ’を算出する（図３５参照）。
【０２０４】
Ｓ１４７では、最終ＷＢ補正値算出部５２ｇが、差分加重平均Ｌ’に基づき、適切な補正値算出方法を選択する。これの具体例は上述と同様である。第１の算出方法（例えば顔ＡＷＢ補正値）を選択した場合はＳ１４８、第２の算出方法（例えば通常ＡＷＢ補正値）を選択した場合はＳ１４９に進む。
【０２０５】
Ｓ１４８〜Ｓ１５０は、Ｓ１２０〜Ｓ１２２と同様である。
【０２０６】
＜第１１実施形態＞
図３７は第１１実施形態に係る画像信号処理回路４４のブロック構成を示す。他の実施形態と同一のブロックには同一の符号を付している。
【０２０７】
光源色と代表色との差分算出部５２ｆ−５は、各エリアの代表色と顔ＡＷＢ光源色抽出部５２ｃ−１からの光源色との差分を算出する。
【０２０８】
図３８は第１１実施形態に係るホワイトバランス補正処理のフローチャートである。
【０２０９】
Ｓ１６１〜Ｓ１６７は、Ｓ１３１〜Ｓ１３７と同様である。
【０２１０】
Ｓ１６８では、顔ＡＷＢの光源色と各エリアの代表色との差分Ｌを算出する。どのような差分を用いるかは任意であり、例えば上述した差分最小値Ｌｍｉｎや重みづけ差分平均Ｌ’などである。
【０２１１】
Ｓ１６９では、差分Ｌが所定の閾値Ｔ５以下であるか否かを判断する。Ｌ≦Ｔ５ならばＳ１７０，Ｌ＞Ｔ５ならばＳ１７１に進む。
【０２１２】
Ｓ１７０〜Ｓ１７２はＳ２８〜Ｓ３０と同様である。
【０２１３】
＜第１２実施形態＞
図３９は第１２実施形態に係る画像信号処理回路４４のブロック構成を示す。他の実施形態と同一のブロックには同一の符号を付している。
【０２１４】
重みα算出部５２ｉは、例えば図４０のような差分Ｌと重みαとの関係を規定した関数を予め記憶しておき、差分Ｌの値に対応する重みαを該関数から特定することで、重みαを算出する。
【０２１５】
図４１は第１２実施形態に係るホワイトバランス補正処理のフローチャートである。
【０２１６】
Ｓ１８１〜１８８は、Ｓ１６１〜Ｓ１６８と同様である。
【０２１７】
Ｓ１８９〜Ｓ２００は、Ｓ３７〜Ｓ４８（図１６）と同様である。ただし、Ｓ１８９、Ｓ１９３で用いられる閾値は、それぞれＴ６、Ｔ７である。
【０２１８】
＜第１３実施形態＞
図４２は第１３実施形態に係る画像信号処理回路４４のブロック構成を示す。他の実施形態と同一のブロックには同一の符号を付している。
【０２１９】
最終光源色算出部５２ｊは、例えば図４３のような差分Ｌと重みαとの関係を規定した重み決定関数を予め記憶しておき、差分Ｌの値に対応する重みαを該関数から特定することで、重みαを算出する。
【０２２０】
図４４は第１３実施形態に係るホワイトバランス補正処理のフローチャートである。
【０２２１】
Ｓ２１１〜Ｓ２１８は、Ｓ１８１〜Ｓ１８８と同様である。
【０２２２】
Ｓ２１９〜Ｓ２３０は、Ｓ５７〜Ｓ６８（図１９）と同様である。ただし、Ｓ２１９、Ｓ２２３で用いられる閾値は、それぞれＴ８、Ｔ９である。
【０２２３】
＜第１４実施形態＞
図４５は第１４実施形態に係る画像信号処理回路４４のブロック構成を示す。他の実施形態と同一のブロックには同一の符号を付している。
【０２２４】
図４６に例示するように、表示アイコン作成部５２ｑは、重みα（）を示すアイコンＩＣの映像信号を生成し、これを撮像された画像データに重畳して、ＬＣＤ２２に出力して画像とともに表示させる。
【０２２５】
図４７は第１４実施形態に係るホワイトバランス補正処理のフローチャートである。
【０２２６】
Ｓ２４１〜Ｓ２５７は、Ｓ１８１〜Ｓ２００（図４１）と同様である。
【０２２７】
Ｓ２５８では、重みαを示すアイコンＩＣの映像信号を生成し、これを撮像された画像データに重畳して、ＬＣＤ２２に出力して画像とともにポストビュー（撮像後の画像ビュー）として表示させる。これにより、ユーザはどのような重みが加えられているかを知ることができ、目視でそれが不適切と判断すれば、撮影のやり直しをすることができる。
【０２２８】
＜第１５実施形態＞
図４８は第１５実施形態に係る画像信号処理回路４４のブロック構成を示す。他の実施形態と同一のブロックには同一の符号を付している。
【０２２９】
図４９に例示するように、表示枠作成部５２ｑは、顔ＡＷＢの光源色に最も近い代表色を有するエリアを示す枠Ｆの映像信号を生成し、これを撮像された画像データに重畳して、ＬＣＤ２２に出力して画像とともに表示させる。
【０２３０】
図５０は第１５実施形態に係るホワイトバランス補正処理のフローチャートである。
【０２３１】
Ｓ２６１〜Ｓ２６７は、Ｓ１８１〜Ｓ２００と同様である。
【０２３２】
Ｓ２７８では、顔ＡＷＢの光源色に最も近い代表色を有するエリアを示す枠Ｆの映像信号を生成し、これを撮像された画像データに重畳して、ＬＣＤ２２に出力して画像とともにポストビューとして表示させる。これにより、ユーザはどのエリアの特徴データがホワイトバランスの基準となっているかを知ることができ、目視でそれが不適切と判断すれば、撮影のやり直しをすることができる。
【０２３３】
＜第１６実施形態＞
図５１は第１６実施形態に係る画像信号処理回路４４のブロック構成を示す。他の実施形態と同一のブロックには同一の符号を付している。
【０２３４】
重みα’算出部５２ｓは、ＣＰＵ３３の指令に従って操作部２３から読み込まれた顔ＡＷＢの優先度に基づき、重みα’を算出する。
【０２３５】
ここで、顔ＡＷＢの優先度とは、例えば、高（設定優先度が標準の優先度よりも高く、画像信号処理回路４４で算出した重みαよりも重みα’を大きくする）、中（設定優先度と標準の優先度が同じであり、画像信号処理回路４４で算出した重みαと重みα’を同じにする）、低（設定優先度が標準の優先度よりも低く、画像信号処理回路４４で算出した重みαよりも重みα’を小さくする）の３段階のレベルからなり、その中から、ユーザが所望のレベルを１つ選択できる。無論、高および低の段階は、さらに重みα’を所望の幅で増減可能にするため、さらに細分された段階を有していてもよい。
【０２３６】
図５２は第１６実施形態に係るホワイトバランス補正処理のフローチャートである。
【０２３７】
Ｓ２８１〜Ｓ２９５は、Ｓ２６１〜Ｓ２７５（図５０）と同様である。
【０２３８】
Ｓ２９６では、操作部２３から、顔ＡＷＢの優先度の設定（重みα’）を読み込む。そして、設定された顔ＡＷＢの優先度（重みα’）と基準の顔ＡＷＢの優先度（重みα）が一致しているかを判断する。両者が一致する場合はＳ２９７、一致しない場合にはＳ２９８に進む。
【０２３９】
Ｓ２９７では、Ｓ４７と同様、重みαに基づいて最終ＷＢ補正値を算出する。
【０２４０】
Ｓ２９８では、設定された顔ＡＷＢの優先度（重みα’）が基準の顔ＡＷＢの優先度（重みα）よりも大きいかを判断する。“Ｙ”の場合はＳ２９９、“Ｎ”の場合場合にはＳ３０１に進む。
【０２４１】
Ｓ２９９では、重みα’に基づいて最終ＷＢ補正値を算出する。この場合、結果的に顔ＡＷＢの重みが上がるから、顔ＡＷＢ補正値に近い最終補正値が得られる（Ｓ３００）。
【０２４２】
Ｓ３０１では、重みα’に基づいて最終ＷＢ補正値を算出する。この場合、結果的に顔ＡＷＢの重みが下がるから、通常ＡＷＢ補正値に近い最終補正値が得られる（Ｓ３０２）。
【０２４３】
Ｓ３０３は、Ｓ２７７と同様である。
【０２４４】
このように、ユーザの好みに応じて顔ＡＷＢ、通常ＡＷＢの重みを変えることで、ユーザの意図通りの画像データを得ることができる。
【符号の説明】
【０２４５】
４４：画像信号処理回路、５２ａ：顔領域特定部、５２ｂ：顔ＡＷＢ補正値算出部、５２ｃ：顔ＡＷＢ特徴データ抽出部、５２ｄ：通常ＡＷＢ補正値算出部、５２ｅ：通常ＡＷＢ特徴データ抽出部、５２ｆ：特徴データ比較部、５２ｇ：最終ＡＷＢ補正値算出部、５２ｈ：ＷＢ補正部
【技術分野】
【０００１】
本発明は、顔検出機能を用いた画像のホワイトバランス調節に関する。
【背景技術】
【０００２】
特許文献１では、画像内の肌色領域を特定し、肌領域の色味に応じて光源を特定し、ホワイトバランス（ＷＢ）補正値を求める。
【０００３】
特許文献２では、画像内の顔領域を特定し、顔領域内から代表肌色を抽出し、代表肌色に応じて光源を特定し、ＷＢ補正値を求める。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１１−２８３０２５号公報
【特許文献２】特表２００５−５３１１８９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
特許文献１および２では、彫像や石像など人以外の顔が検出された場合や、フェイスペイントして肌色でない人の顔が検出された場合、正しい光源を特定することができず、適切なホワイトバランス補正値を求めることができない。例えば、白い石像の顔の色分布から、青い光が顔の肌色に当たって白くなっていると推定したとする。この青い光が光源色であるとの前提でホワイトバランス調整を行うと、画像が黄色くなってしまう（いわゆるカラーフェリア現象）。
【０００６】
本発明は、顔検出機能を用いたオートホワイトバランス補正における誤補正を防ぐことを目的とする。
【課題を解決するための手段】
【０００７】
本発明に係るオートホワイトバランス補正値算出方法は、画像データを入力するステップと、入力された画像データに基づいて第１のオートホワイトバランス（ＡＷＢ）補正値である通常ＡＷＢ補正値を算出するステップと、画像データから顔領域を特定するステップと、画像データの顔領域に基づいて第２のＡＷＢ補正値である顔ＡＷＢ補正値を算出するステップと、画像データから第１の特徴データを抽出するとともに、顔領域中の画像データから第２の特徴データを抽出するステップと、第１の特徴データと第２の特徴データとの比較結果に基づき、顔ＡＷＢ補正値および通常ＡＷＢ補正値のうち少なくとも一方に応じた最終的なＡＷＢ補正値を算出するステップと、を含む。
【０００８】
第１の特徴データは画像データに基づいて特定された光源色であり、第２の特徴データは顔領域に基づいて特定された光源色である。
【０００９】
この方法は、画像データの光源色と顔領域の光源色との差分量を算出するステップと、差分量に基づき、最終的なＡＷＢ補正値を算出するステップと、をさらに含んでもよい。
【００１０】
この方法は、第１の特徴データと第２の特徴データとの比較結果に基づき、顔ＡＷＢ補正値または通常ＡＷＢ補正値のうちいずれか一方を最終的なＡＷＢ補正値として選択するステップをさらに含んでもよい。
【００１１】
第１の特徴データと第２の特徴データとの比較結果に基づき、顔ＡＷＢ補正値および通常ＡＷＢ補正値を０％以上１００％以下の所定の重みαにより加重平均することで最終的なＡＷＢ補正値を算出するステップをさらに含んでもよい。
【００１２】
第１の特徴データと第２の特徴データとの比較結果に基づき、画像データの光源色および顔領域の光源色の各々を０％以上１００％以下の所定の重みαにより加重平均することで最終的な光源色を求めるステップと、最終的な光源色に応じて最終的なＡＷＢ補正値を算出するステップと、をさらに含んでもよい。
【００１３】
本発明に係るオートホワイトバランス補正値算出方法は、画像データを入力するステップと、入力された画像データに基づいて第１のオートホワイトバランス（ＡＷＢ）補正値である通常ＡＷＢ補正値を算出するステップと、画像データから顔領域を特定するステップと、画像データの顔領域に基づいて第２のＡＷＢ補正値である顔ＡＷＢ補正値を算出するステップと、画像データを１または複数のエリアに分割し、各エリアから特徴データを抽出するステップと、顔領域から特徴データを抽出するステップと、各エリアから抽出された特徴データと顔領域から抽出された特徴データとの比較結果に基づき、顔ＡＷＢ補正値および通常ＡＷＢ補正値のうち少なくとも一方に応じた最終的なＡＷＢ補正値を算出するステップと、を含む。
【００１４】
顔領域からは、特徴データとして光源色が抽出され、各エリアからは、特徴データとして各エリアの代表色が抽出される。
【００１５】
この方法は、各エリアの代表色のうち特定エリアの代表色と顔領域の光源色との差分量を算出するステップと、差分量に基づき、最終的なＡＷＢ補正値を算出するステップと、をさらに含んでもよい。
【００１６】
各エリアの代表色のうち特定エリアの代表色と顔領域の光源色との差分量を算出するステップと、差分量のうち顔領域の近傍にある所定数のエリアについての差分量を、差分量に対応する０％以上１００％以下の所定の重みβで加重平均して得られた値に基づき、最終的なＡＷＢ補正値を算出するステップと、をさらに含んでもよい。
【００１７】
各エリアから抽出された特徴データと顔領域から抽出された特徴データとの比較結果に基づき、顔ＡＷＢ補正値または通常ＡＷＢ補正値のうちいずれか一方を最終的なＡＷＢ補正値として選択するステップをさらに含んでもよい。
【００１８】
各エリアから抽出された特徴データと顔領域から抽出された特徴データとの比較結果に基づき、顔ＡＷＢ補正値および通常ＡＷＢ補正値を０％以上１００％以下の所定の重みαにより加重平均することで最終的なＡＷＢ補正値を算出するステップをさらに含んでもよい。
【００１９】
画像データの光源色および顔領域の光源色の各々を０％以上１００％以下の所定の重みαにより加重平均することで最終的な光源色を求めるステップと、最終的な光源色に応じて最終的なＡＷＢ補正値を算出するステップと、をさらに含んでもよい。
【００２０】
最終的なＡＷＢ補正値を表示するステップをさらに含んでもよい。
【００２１】
顔領域の特徴データと比較された特徴データの抽出されたエリアを表示するステップをさらに含んでもよい。
【００２２】
顔優先度の選択を受け付けるステップと、顔優先度に応じて最終的なＡＷＢ補正値の重みを変化させるステップと、をさらに含んでもよい。
【００２３】
上記のオートホワイトバランス補正値算出方法をコンピュータに実行させるオートホワイトバランス補正値算出プログラムも本発明に含まれる。
【００２４】
本発明に係るオートホワイトバランス補正値算出装置は、画像データを入力する画像データ入力部と、画像データ入力部に入力された画像データに基づいて第１のオートホワイトバランス（ＡＷＢ）補正値である通常ＡＷＢ補正値を算出する通常ＡＷＢ補正値算出部と、画像データから顔領域を特定する顔領域特定部と、画像データの顔領域に基づいて第２のＡＷＢ補正値である顔ＡＷＢ補正値を算出する顔ＡＷＢ補正値算出部と、画像データから第１の特徴データを抽出するとともに、顔領域中の画像データから第２の特徴データを抽出する特徴データ抽出部と、第１の特徴データと第２の特徴データとの比較結果に基づき、顔ＡＷＢ補正値および通常ＡＷＢ補正値のうち少なくとも一方に応じた最終的なＡＷＢ補正値を算出する最終ＡＷＢ補正値算出部と、を備える。
【００２５】
第１の特徴データは画像データに基づいて特定された光源色であり、第２の特徴データは顔領域に基づいて特定された光源色である。
【００２６】
この装置は、画像データの光源色と顔領域の光源色との差分量を算出する差分量算出部をさらに備え、最終ＡＷＢ補正値算出部は、差分量に基づき、最終的なＡＷＢ補正値を算出してもよい。
【００２７】
最終ＡＷＢ補正値算出部は、第１の特徴データと第２の特徴データとの比較結果に基づき、顔ＡＷＢ補正値または通常ＡＷＢ補正値のうちいずれか一方を最終的なＡＷＢ補正値として選択してもよい。
【００２８】
最終ＡＷＢ補正値算出部は、第１の特徴データと第２の特徴データとの比較結果に基づき、顔ＡＷＢ補正値および通常ＡＷＢ補正値を０％以上１００％以下の所定の重みαにより加重平均することで最終的なＡＷＢ補正値を算出してもよい。
【００２９】
第１の特徴データと第２の特徴データとの比較結果に基づき、画像データの光源色および顔領域の光源色の各々を０％以上１００％以下の所定の重みαにより加重平均することで最終的な光源色を求める最終光源色算出部をさらに備え、最終ＡＷＢ補正値算出部は、最終的な光源色に応じて最終的なＡＷＢ補正値を算出してもよい。
【００３０】
画像データを入力する画像データ入力部と、画像データ入力部に入力された画像データに基づいて第１のオートホワイトバランス（ＡＷＢ）補正値である通常ＡＷＢ補正値を算出する通常ＡＷＢ補正値算出部と、画像データから顔領域を特定する顔領域特定部と、画像データの顔領域に基づいて第２のＡＷＢ補正値である顔ＡＷＢ補正値を算出する顔ＡＷＢ補正値算出部と、画像データを１または複数のエリアに分割し、各エリアから特徴データを抽出するエリア特徴データ抽出部と、顔領域から特徴データを抽出する顔領域特徴データ抽出部と、各エリアから抽出された特徴データと顔領域から抽出された特徴データとの比較結果に基づき、顔ＡＷＢ補正値および通常ＡＷＢ補正値のうち少なくとも一方に応じた最終的なＡＷＢ補正値を算出する最終ＡＷＢ補正値算出部と、を備える。
【００３１】
顔領域からは、特徴データとして光源色が抽出され、各エリアからは、特徴データとして各エリアの代表色が抽出される。
【００３２】
この装置は、各エリアの代表色のうち特定エリアの代表色と顔領域の光源色との差分量を算出する差分量算出部をさらに備え、最終ＡＷＢ補正値算出部は、差分量に基づき、最終的なＡＷＢ補正値を算出してもよい。
【００３３】
各エリアの代表色のうち特定エリアの代表色と顔領域の光源色との差分量を算出する差分量算出部をさらに備え、最終ＡＷＢ補正値算出部は、差分量のうち顔領域の近傍にある所定数のエリアについての差分量を、差分量に対応する０％以上１００％以下の所定の重みβで加重平均して得られた値に基づき、最終的なＡＷＢ補正値を算出してもよい。
【００３４】
最終ＡＷＢ補正値算出部は、各エリアから抽出された特徴データと顔領域から抽出された特徴データとの比較結果に基づき、顔ＡＷＢ補正値または通常ＡＷＢ補正値のうちいずれか一方を最終的なＡＷＢ補正値として選択してもよい。
【００３５】
最終ＡＷＢ補正値算出部は、各エリアから抽出された特徴データと顔領域から抽出された特徴データとの比較結果に基づき、顔ＡＷＢ補正値および通常ＡＷＢ補正値を０％以上１００％以下の所定の重みαにより加重平均することで最終的なＡＷＢ補正値を算出してもよい。
【００３６】
画像データの光源色および顔領域の光源色の各々を０％以上１００％以下の所定の重みαにより加重平均することで最終的な光源色を求める最終光源色算出部をさらに備え、最終ＡＷＢ補正値算出部は、最終的な光源色に応じて最終的なＡＷＢ補正値を算出してもよい。
【００３７】
最終的なＡＷＢ補正値を表示する表示部をさらに備えてもよい。
【００３８】
顔領域の特徴データと比較された特徴データの抽出されたエリアを表示する表示部をさらに備えてもよい。
【００３９】
顔優先度の選択を受け付ける顔優先度選択部をさらに備え、最終ＡＷＢ補正値算出部は、顔優先度に応じて最終的なＡＷＢ補正値の重みを変化させてもよい。
【００４０】
本発明に係る撮像装置は、上記のオートホワイトバランス補正値算出装置と、撮影光学系を介して被写体像を受光し、該被写体像を示すアナログ画像信号を出力する撮像素子と、アナログ画像信号をデジタル画像データに変換して画像データ入力部に出力する画像データ出力部と、オートホワイトバランス補正値算出装置の算出した最終的なＡＷＢ補正値に基づいて画像データのホワイトバランスを補正する補正部と、を備える。
【発明の効果】
【００４１】
この発明によると、顔領域を基準としたホワイトバランス補正を行う際、通常の肌色を有さない顔が特定された場合でも、その顔に基づいて誤ったホワイトバランス調整がされるのを可及的に避けることができる。
【図面の簡単な説明】
【００４２】
【図１】デジタルカメラの電気的構成を示す図
【図２】第１実施形態に係る画像信号処理回路のブロック図
【図３】第１実施形態に係るホワイトバランス補正処理のフローチャート
【図４】第２実施形態に係る画像信号処理回路のブロック図
【図５】色空間（Ｒ／Ｇ，Ｂ／Ｇ）における光源色Ｌ１およびＬ２を例示した図
【図６】第２実施形態に係るホワイトバランス補正処理のフローチャート
【図７】第３実施形態に係る画像信号処理回路のブロック図
【図８】光源色Ｌ１およびＬ２の差分量（距離）の算出式の一例を示す図
【図９】第３実施形態に係るホワイトバランス補正処理のフローチャート
【図１０】第４実施形態に係る画像信号処理回路のブロック図
【図１１】第４実施形態に係るホワイトバランス補正処理のフローチャート
【図１２】光源色Ｌ１とＬ２と閾値の関係を例示した図
【図１３】本実施形態のホワイトバランス補正による具体的効果を例示した図
【図１４】第５実施形態に係る画像信号処理回路のブロック図
【図１５】重みα特定関数および通常ＡＷＢ補正値と顔ＡＷＢ補正値とを加重平均する数式を例示した図
【図１６】第５実施形態に係るホワイトバランス補正処理のフローチャート
【図１７】第６実施形態に係る画像信号処理回路のブロック図
【図１８】重みα特定関数および通常ＡＷＢ光源色と顔ＡＷＢ光源色とを加重平均する数式を例示した図
【図１９】第６実施形態に係るホワイトバランス補正処理のフローチャート
【図２０】第７実施形態に係る画像信号処理回路のブロック図
【図２１】画像データ全体を所定の１または複数のエリアに分割した様子を例示した図
【図２２】第７実施形態に係るホワイトバランス補正処理のフローチャート
【図２３】本実施形態のホワイトバランス補正による具体的効果を例示した図
【図２４】通常ＡＷＢにおける光源推定が、顔ＡＷＢにおける光源推定とかけ離れている画像データを例示した図
【図２５】第８実施形態に係る画像信号処理回路のブロック図
【図２６】第８実施形態に係るホワイトバランス補正処理のフローチャート
【図２７】顔領域の光源色および各エリアの代表色が色空間にプロットされた様子を例示した図
【図２８】第９実施形態に係る画像信号処理回路のブロック図
【図２９】色空間における各エリアの代表色と顔ＡＷＢ光源色抽出部５２ｃ−１の得た光源色との差分（距離）Ｌを算出する数式を例示した図
【図３０】第９実施形態に係るホワイトバランス補正処理のフローチャート
【図３１】各エリアの代表色ごとに求められた顔領域の光源色との差分Ｌｉのうち最小値Ｌｍｉｎを例示した図
【図３２】第１０実施形態に係る画像信号処理回路のブロック図
【図３３】光源色の近傍に位置する所定個数の代表色と光源色の色空間における位置を例示した図
【図３４】重みβｉを特定するための差分量と重みの関係を規定する関数を例示した図
【図３５】距離Ｌｉの加重平均Ｌを例示した図
【図３６】第１０実施形態に係るホワイトバランス補正処理のフローチャート
【図３７】第１１実施形態に係る画像信号処理回路のブロック図
【図３８】第１１実施形態に係るホワイトバランス補正処理のフローチャート
【図３９】第１２実施形態に係る画像信号処理回路のブロック図
【図４０】差分Ｌの値に対応する重みαを特定するための差分量と重みの関係を規定する関数を例示した図
【図４１】第１２実施形態に係るホワイトバランス補正処理のフローチャート
【図４２】第１３実施形態に係る画像信号処理回路のブロック図
【図４３】重みα決定関数を例示した図
【図４４】第１３実施形態に係るホワイトバランス補正処理のフローチャート
【図４５】第１４実施形態に係る画像信号処理回路のブロック図
【図４６】重みαを画像データに重畳してポストビュー表示した一例を示す図
【図４７】第１４実施形態に係るホワイトバランス補正処理のフローチャート
【図４８】第１５実施形態に係る画像信号処理回路のブロック図
【図４９】顔ＡＷＢの光源色と代表色が比較された分割エリアを示す枠を画像データに重畳してポストビュー表示した一例を示す図
【図５０】第１５実施形態に係るホワイトバランス補正処理のフローチャート
【図５１】第１６実施形態に係る画像信号処理回路のブロック図
【図５２】第１６実施形態に係るホワイトバランス補正処理のフローチャート
【発明を実施するための最良の形態】
【００４３】
＜第１実施形態＞
図１はデジタルカメラ２の電気的構成を示す。撮像レンズ１０には、レンズモータ３０が接続されている。また、絞り３１には、アイリスモータ３２が接続されている。これらのモータ３０、３２はステッピングモータからなり、ＣＰＵ３３に接続されたモータドライバ３４、３５から送信される駆動パルスにより動作制御され、レリーズボタン１２の半押しに伴う撮影準備処理を行う。
【００４４】
レンズモータ３０は、ズーム操作ボタン２４の操作に連動して、撮像レンズ１０のズームレンズをワイド側、あるいはテレ側に移動させる。また、ズームレンズの変倍などに応じて撮像レンズ１０のフォーカスレンズ（図示せず）を移動させ、撮影条件が最適となるように焦点調整を行う。アイリスモータ３２は、絞り３１を動作させ、露出調整を行う。
【００４５】
撮像レンズ１０の背後には、撮像レンズ１０を透過した被写体像が撮像されるＣＣＤ３６が配置されている。ＣＣＤ３６には、ＣＰＵ３３によって制御されるタイミングジェネレータ（ＴＧ）３７が接続され、このＴＧ３７から入力されるタイミング信号（クロックパルス）により、電子シャッタのシャッタ速度が決定される。
【００４６】
ＣＣＤ３６から出力された撮像信号は、相関二重サンプリング回路（ＣＤＳ）３８に入力され、ＣＣＤ３６の各セルの蓄積電荷量に正確に対応したＲ、Ｇ、Ｂの画像データとして出力される。ＣＤＳ３８から出力された画像データは、増幅器（ＡＭＰ）３９で増幅され、Ａ／Ｄ変換器（Ａ／Ｄ）４０でデジタルの画像データに変換される。
【００４７】
画像入力コントローラ４１は、バス４２を介してＣＰＵ３３に接続され、ＣＰＵ３３の制御命令に応じて、ＣＣＤ３６、ＣＤＳ３８、ＡＭＰ３９、およびＡ／Ｄ４０を制御する。Ａ／Ｄ４０から出力された画像データは、ＳＤＲＡＭ４３に一時記録される。
【００４８】
画像信号処理回路４４は、ＳＤＲＡＭ４３から画像データを読み出して、階調変換、ホワイトバランス補正、γ補正処理などの各種画像処理を施し、この画像データを再度ＳＤＲＡＭ４３に記録する。ＹＣ変換処理回路４５は、画像信号処理回路４４で各種処理を施された画像データをＳＤＲＡＭ４３から読み出し、輝度信号Ｙと色差信号Ｃｒ、Ｃｂとに変換する。
【００４９】
ＶＲＡＭ４６は、ＬＣＤ２２にスルー画像を出力するためのメモリであり、画像信号処理回路４４、ＹＣ変換処理回路４５を経た画像データが格納される。ＶＲＡＭ４６には、画像データの書き込みと読み出しを並行して行えるように、２フレーム分のメモリ４６ａ、４６ｂが確保されている。ＶＲＡＭ４６に格納された画像データは、ＬＣＤドライバ４７でアナログのコンポジット信号に変換され、ＬＣＤ２２にスルー画像として表示される。
【００５０】
圧縮伸長処理回路４８は、ＹＣ変換処理回路４５でＹＣ変換された画像データに対して、所定の圧縮形式（例えばＪＰＥＧ形式）で画像圧縮を施す。圧縮された画像データは、メディアコントローラ４９を経由してメモリカード５０に記憶される。
【００５１】
ＣＰＵ３３には、前述のレリーズボタン１２、受信部２０、操作部２３の他に、ＥＥＰＲＯＭ５１が接続されている。ＥＥＰＲＯＭ５１には、各種制御用のプログラムや設定情報などが記録されている。ＣＰＵ３３は、これらの情報をＥＥＰＲＯＭ５１から作業用メモリであるＳＤＲＡＭ４３に読み出して、各種処理を実行する。
【００５２】
バス４２には、露出量、すなわち電子シャッタのシャッタ速度、および絞り３１の絞り値が撮影に適切か否かを検出するとともに、ホワイトバランスが撮影に適切か否かを検出するＡＥ／ＡＷＢ検出回路５２と、撮像レンズ１０の焦点調整が撮影に適切か否かを検出するＡＦ検出回路５３と、ストロボ装置５４の動作を制御するストロボ制御回路５５とが接続されている。
【００５３】
ＡＥ／ＡＷＢ検出回路５２は、ＹＣ変換処理回路４５でＹＣ変換された画像データの輝度信号Ｙと色差信号Ｃｒ、Ｃｂとの積算値を元に、露出量、およびホワイトバランスの適否を検出し、この検出結果をＣＰＵ３３に送信する。ＣＰＵ３３は、ＡＥ／ＡＷＢ検出回路５２から送信された検出結果に基づいて、撮像レンズ１０、絞り３１、およびＣＣＤ３６の動作を制御する。
【００５４】
ＡＦ検出回路５３は、Ａ／Ｄ４０でデジタル化された画像データから画像の鮮鋭度を表すフォーカス評価値を算出し、この算出結果をＣＰＵ３３に送信する。フォーカス評価値は、画像の特定のエリア、例えば、撮影画角の中央部分の画像データに対して、バンドパスフィルタなどで輪郭抽出処理を施し、これにより抽出した輪郭信号、および中央部分の画像データの輝度値を積算することで得られる。ここで、フォーカス評価値が大きいほどその部分の高周波成分が多く、その部分が合焦状態にあることを表している。
【００５５】
ＣＰＵ３３は、レリーズボタン１２の半押しに伴う撮影準備処理時に、そのときのズームレンズの位置からフォーカスレンズの合焦位置の探索範囲を決定し、モータドライバ３４を介してレンズモータ３０の動作を制御して、決定した探索範囲内で、フォーカスレンズを例えば近点側から遠点側に移動させ、そのときＡＦ検出回路５３から順次送信されるフォーカス評価値の大小を比較することで、フォーカス評価値が最大となる位置、つまり合焦位置でフォーカスレンズを停止させる。
【００５６】
セルフ撮影モード下において、リモートコントローラ１６から受信部２０を介してレリーズ信号を受信し、且つＡＥ／ＡＷＢ検出回路５２による輝度の積算値の算出結果が、予め設定された閾値よりも小さい場合、画像信号処理回路４４は、ＳＤＲＡＭ４３から読み出した画像データから、レリーズ信号の送信時にリモートコントローラ１６の光源１９から発せられた光を表す画像データを抽出する。
【００５７】
光源１９から発せられた光を表す画像データの抽出は、具体的には、前フレームと現フレームの画像データの差分をとっておき、光源１９から発せられた光が撮像されているフレームと、されていないフレームの画像データの差分から、光が撮像されている部分を特定し、その部分、あるいはその部分を含む周囲を表す画像データを抽出する。なお、ＡＥ／ＡＷＢ検出回路５２による輝度の積算値の算出結果が、予め設定された閾値よりも小さい場合とは、焦点調整が困難な状況（暗所など）であることを意味する。
【００５８】
ＡＦ検出回路５３は、画像信号処理回路４４で抽出した光を表す画像データに対してフォーカス評価値の算出を行う。ＣＰＵ３３は、フォーカス評価値の波形が谷間となる点を合焦位置とし、モータドライバ３４を介してレンズモータの動作を制御して、この位置でフォーカスレンズを停止させる。
【００５９】
図２は第１実施形態に係る画像信号処理回路４４の要部ブロック構成を示す。この図に開示された各ブロックの詳細な機能は後述する。
【００６０】
顔領域特定部５２ａは、ＳＤＲＡＭ４３のデジタル画像データ（記録用の静止画像、スルー画像あるいは動画フレーム）から人物の顔部分を含む領域である顔領域を特定する。顔領域の検出方法としては、例えば本出願人による特許公開２００７−１２４１１２号公報において開示された技術を適用することができる。
【００６１】
すなわち、顔領域特定部５２ａは、撮影された画像の画像データＰ0′を読み込み、画像Ｐ0′中の顔部分Ｐ0f′を検出する。具体的には、特開２００５−１０８１９５号公報に記載されているように、画像Ｐ0′の各画素におけるエッジの向きと大きさを表す勾配ベクトルの向きを表す第１の特徴量を、複数の第１の識別器に入力することによって画像Ｐ0′中に顔候補領域が存在するかどうかを判定し、さらに、顔候補領域が存在する場合には、その領域を抽出し、抽出された顔候補領域の各画素における勾配ベクトルの大きさを正規化し、正規化後の勾配ベクトルの大きさと向きを表す第２の特徴量を、第２の識別器に入力することによって、抽出された顔候補領域が真の顔領域であるかどうかを判定し、真の顔領域であれば、その領域を顔部分Ｐ0f′として検出することが考えられる。ここで、第１／第２の識別器は、学習用サンプルとなる顔であることがわかっている複数の画像と顔でないことがわかっている複数の画像の各々について算出された第１／第２の特徴量を入力する、AdaBoost等のマシンラーニングの手法を用いた学習処理によって各々得られたものである。
【００６２】
なお、顔部分Ｐ１fの検出方法としては、特表２００４−５２７８６３号公報に記載されているような固有顔表現と画像自体との相関スコアを用いる方法の他、知識ベース、特徴抽出、テンプレートマッチング、グラフマッチング、統計的手法(ニューラルネットワーク、SVM、HMM)等の様々な公知の手法を用いることができる。ただし、人物の顔の色に依存しないような顔検出を可能とするため（例えば銅像の顔やフェイスペイントした顔も検出できるようにするため）、本願明細書の各実施形態では、人物の顔の色に依存した顔検出方法、例えば肌色検出を用いる方法は採用しないものとする。
【００６３】
顔ＡＷＢ補正値算出部５２ｂは、顔領域特定部５２ａが特定した顔領域の画像データに基づき、画像全体に施すホワイトバランスの補正値を決定する。
【００６４】
顔ＡＷＢ特徴データ抽出部５２ｃは、顔領域特定部５２ａが特定した顔領域内の画像データに基づいて特徴データを抽出する。特徴データとは、例えば、顔領域内の画像データから推定される光源の種類（太陽光、タングステン、蛍光など）、あるいは光源の色温度（例えば２５００Ｋ〜９４００Ｋの間で色温度を推定）である。あるいは顔領域の代表色でもよい。
【００６５】
通常ＡＷＢ補正値算出部５２ｄは、通常ホワイトバランス補正値決定用の特定領域である通常ＡＷＢ領域（例えば画像データの全体、あるいは、画像データ全体から所定の周縁領域を除いた残りの部分。ただし、特定領域は顔領域と同一ではない）に基づいて画像全体に施すホワイトバランスの補正値を決定する。
【００６６】
通常ＡＷＢ特徴データ抽出部５２ｅは、通常ＡＷＢ領域に基づいて特徴データを抽出する。特徴データとは、通常ＡＷＢ領域の画像データから推定される光源種、色温度、代表色などである。
【００６７】
ＷＢ補正部５２ｈは、光源の種類あるいは光源の色温度に応じた比率で各色の画像データを増減することにより、撮影画像を適切なホワイトバランスに調整、すなわち白色が色味を帯びないように色補正する。
【００６８】
特徴データ比較部５２ｆは、顔ＡＷＢ特徴データ抽出部５２ｃの得た特徴データと、通常ＡＷＢ特徴データ抽出部５２ｅの得た特徴データとを比較する。これは後述するが、例えば、各種の色空間における光源色Ｌ１と光源色Ｌ２との距離を求めることである。
【００６９】
最終ＷＢ補正値算出部５２ｇは、通常ＡＷＢ特徴データ抽出部５２ｅおよび顔ＡＷＢ特徴データ抽出部５２ｃからの２つの特徴データの比較結果に基づき、画像全体に対するホワイトバランス補正値の算出方法を選択する。これは後述するが、例えば、光源色Ｌ１とＬ２との距離が所定の閾値以上であるか未満であるかに基づいて、通常ＡＷＢ補正値算出部５２ｄの用いる補正値算出式および顔ＡＷＢ補正値算出部５２ｂの用いる補正値算出式のうちいずれか一方の補正値算出式を選択することである。
【００７０】
ＷＢ補正部５２ｈは、最終ＷＢ補正値算出部５２ｇの選択した算出方法で算出されたホワイトバランス補正値によって画像全体のホワイトバランスを補正する。
【００７１】
図３は第１実施形態に係る画像信号処理回路４４で実行されるホワイトバランス補正処理のフローチャートである。
【００７２】
Ｓ１では、通常ＡＷＢ補正値算出部５２ｄが、補正値を算出する。
【００７３】
Ｓ２では、顔領域特定部５２ａが、顔領域の特定を試みる。
【００７４】
Ｓ３では、顔領域特定部５２ａが、顔領域の特定に成功したか否かを判断する。顔領域の特定に成功した場合はＳ４、失敗した場合はＳ１０に進む。
【００７５】
Ｓ４では、顔ＡＷＢ補正値算出部５２ｂが、顔ＡＷＢ補正値を算出する。
【００７６】
Ｓ５では、顔ＡＷＢ特徴データ抽出部５２ｃ、通常ＡＷＢ特徴データ抽出部５２ｅが、それぞれ色空間における特徴データを抽出する。
【００７７】
Ｓ６では、特徴データ比較部５２ｆが、Ｓ５で抽出された２つの特徴データを比較する。例えば、通常ＡＷＢ領域、顔領域における２つの代表色を求め、所定の色空間または色度図上における両代表色の各色差（距離）を比較する。
【００７８】
Ｓ７では、最終ＷＢ補正値算出部５２ｇが、２つの特徴データの比較結果に基づき、画像全体に対するホワイトバランス補正値の算出方法として適切なものを１つ、例えば、顔ＡＷＢ補正値算出部５２ｂによる算出方法および通常ＡＷＢ補正値算出部５２ｄによる算出方法のうちいずれか一方を選択する。顔ＡＷＢ補正値算出部５２ｂによる算出方法を選択した場合はＳ８、通常ＡＷＢ補正値算出部５２ｄによる算出方法を選択した場合はＳ９に進む。２つの特徴データの比較結果に基づいた算出方法の選択は、例えば、両代表色の各色差（距離）が所定の閾値未満であれば顔ＡＷＢの算出方法、所定の閾値であれば通常ＡＷＢの算出方法を選択する。
【００７９】
Ｓ８では、ＷＢ補正部５２ｈは、最終ＷＢ補正値算出部５２ｇの選択したホワイトバランス補正値算出方法で得られた最終ＷＢ補正値＝顔ＡＷＢ補正値によって画像全体のホワイトバランスを補正する。
【００８０】
Ｓ９では、ＷＢ補正部５２ｈは、最終ＷＢ補正値算出部５２ｇの選択したホワイトバランス補正値算出方法で得られた最終ＷＢ補正値＝通常ＡＷＢ補正値によって画像全体のホワイトバランスを補正する。
【００８１】
Ｓ１０では、ＷＢ補正部５２ｈは、通常ＡＷＢ補正値によって画像全体のホワイトバランスを補正する。
【００８２】
すなわち、本実施形態では、通常ＡＷＢ領域の特徴データと、顔領域の特徴データとの比較結果に応じて補正値算出方法を選択する。
【００８３】
＜第２実施形態＞
図４は第２実施形態に係る画像信号処理回路４４の詳細ブロック構成を示す。ここでは図２における顔ＡＷＢ特徴データ抽出部５２ｃの一例として顔ＡＷＢ光源色抽出部５２ｃ−１が、通常ＡＷＢ特徴データ抽出部５２ｅの一例として通常ＡＷＢ光源色抽出部５２ｅ−１が、特徴データ比較部５２ｆの一例として光源色比較部５２ｆ−１が示されている。
【００８４】
顔ＡＷＢ光源色抽出部５２ｃ−１は、顔領域特定部５２ａが特定した顔領域内の画像データに基づいて光源色を抽出する。これは、例えば、ホワイトバランス調整のために画像データの一部から光源色を推定する各種の方法（例えば、特許公開２０００−２０９５９８号公報や、特許公開２００６−２２２９２８号公報に開示されたもの）を用いて光源色（Ｒ１、Ｇ１、Ｂ１）を推定し、この推定した光源色を、Ｒ／ＧおよびＢ／Ｇの比からなる色空間の座標Ｌ１＝（Ｒ１／Ｇ１，Ｂ１／Ｇ１）へ変換する（図５）。なお、光源色をプロットする色空間はＹＣｒＣｂなど各種のものであってもよい。
【００８５】
通常ＡＷＢ光源色抽出部５２ｅ−１は、通常ＡＷＢ領域の画像データに基づいて光源色を抽出する。これは例えば、ホワイトバランス調整のために画像データの全部から光源色を推定する各種の方法を用いて光源色（Ｒ２、Ｇ２、Ｂ２）を推定し、この推定した光源色を、Ｒ／ＧおよびＢ／Ｇの比からなる色空間の色空間の座標Ｌ２＝（Ｒ２／Ｇ２，Ｂ２／Ｇ２）へ変換する（図５）。
【００８６】
光源色比較部５２ｆ−１は、顔ＡＷＢ光源色抽出部５２ｃ−１の得た光源色Ｌ１と、通常ＡＷＢ光源色抽出部５２ｅ−１の得た光源色Ｌ２とを比較する。これは後述するが、例えば、光源色Ｌ１と光源色Ｌ２との色差（色空間における距離）を求めることである。
【００８７】
通常ＡＷＢ補正値算出部５２ｄは、画像全体に施すホワイトバランスの補正値を、通常ＡＷＢ領域の画像データに基づいて決定する。
【００８８】
ＷＢ補正部５２ｈは、光源の種類あるいは光源の色温度に応じた比率で各色の画像データを増減することにより、撮影画像を適切なホワイトバランスに調整、すなわち白色が色味を帯びないように色補正する。
【００８９】
最終ＷＢ補正値算出部５２ｇは、色空間における光源色Ｌ１とＬ２との比較結果に基づき、画像全体に対するホワイトバランス補正値の算出方法を選択する。これは後述するが、例えば、光源色Ｌ１とＬ２との距離が所定の閾値以上であるか未満であるかに基づいて、通常ＡＷＢ補正値算出部５２ｄの算出した補正値および顔ＡＷＢ補正値算出部５２ｂの算出した補正値のうちいずれか一方の補正値を選択することである。
【００９０】
ＷＢ補正部５２ｈは、最終ＷＢ補正値算出部５２ｇの選択した算出方法で算出されたホワイトバランス補正値によって画像全体のホワイトバランスを補正する。
【００９１】
図６は画像信号処理回路４４で実行されるホワイトバランス補正処理の流れを示す。
【００９２】
Ｓ１では、通常ＡＷＢ補正値算出部５２ｄが、補正値を算出する。
【００９３】
Ｓ２では、顔領域特定部５２ａが、顔領域の特定を試みる。
【００９４】
Ｓ３では、顔領域特定部５２ａが、顔領域の特定に成功したか否かを判断する。顔領域の特定に成功した場合はＳ４、失敗した場合はＳ１０に進む。
【００９５】
Ｓ４では、顔ＡＷＢ補正値算出部５２ｂが、顔ＡＷＢ補正値を算出する。
【００９６】
Ｓ５−１では、顔ＡＷＢ光源色抽出部５２ｃ−１、通常ＡＷＢ光源色抽出部５２ｅ−１が、それぞれ顔領域、通常ＡＷＢ領域における光源色Ｌ１、Ｌ２を抽出する。
【００９７】
Ｓ６−１では、光源色比較部５２ｆ−１が、光源色Ｌ１とＬ２とを比較する。
【００９８】
Ｓ７−１では、最終ＷＢ補正値算出部５２ｇが、光源色比較部５２ｆ−１による光源色Ｌ１とＬ２との比較結果に基づき、画像全体に対するホワイトバランス補正値算出方法として適切なものを１つ、例えば、顔ＡＷＢ補正値算出部５２ｂによる算出方法および通常ＡＷＢ補正値算出部５２ｄによる算出方法のうちいずれか一方を選択する。顔ＡＷＢ補正値算出部５２ｂによる算出方法を選択した場合はＳ８、通常ＡＷＢ補正値算出部５２ｄによる算出方法を選択した場合はＳ９に進む。
【００９９】
Ｓ８では、ＷＢ補正部５２ｈは、最終ＷＢ補正値算出部５２ｇの選択したホワイトバランス補正値算出方法で得た最終ＷＢ補正値＝顔ＡＷＢ補正値によって画像全体のホワイトバランスを補正する。
【０１００】
Ｓ９では、ＷＢ補正部５２ｈは、最終ＷＢ補正値算出部５２ｇの選択したホワイトバランス補正値算出方法で得た最終ＷＢ補正値＝通常ＡＷＢ補正値によって画像全体のホワイトバランスを補正する。
【０１０１】
Ｓ１０では、ＷＢ補正部５２ｈは、通常ＡＷＢ補正値によって画像全体のホワイトバランスを補正する。
【０１０２】
すなわち、本実施形態では、通常ＡＷＢ領域の光源色と、顔領域の光源色との比較結果に応じて補正値算出方法を選択する。
【０１０３】
＜第３実施形態＞
図７は第３実施形態に係る画像信号処理回路４４のブロック構成を示す。ここでは図２における光源色比較部５２ｆ−１の一例として、光源色の差分算出部５２ｆ−２が示されている。
【０１０４】
光源色の差分算出部５２ｆ−２は、顔ＡＷＢ光源色抽出部５２ｃ−１の得た光源色Ｌ１と、通常ＡＷＢ光源色抽出部５２ｅ−１の得た光源色Ｌ２との差分を算出する。これは後述するが、例えば、図８に示すように、色空間における光源色Ｌ１と光源色Ｌ２との距離Ｌを求めることである。
【０１０５】
図９は画像信号処理回路４４で実行されるホワイトバランス補正処理の流れを示す。
【０１０６】
Ｓ１１〜Ｓ１５はそれぞれ図３のＳ１〜Ｓ５と同様である。
【０１０７】
Ｓ１６では、光源色の差分算出部５２ｆ−２が、光源色Ｌ１とＬ２との差分Ｌを算出する。差分Ｌとは、具体的には図８（ａ）に示すように、色空間における光源色Ｌ１とＬ２との距離（色差）を指す。その値は、図８（ｂ）に示すような数式で求めることができる。
【０１０８】
Ｓ１７では、最終ＷＢ補正値算出部５２ｇが、光源色の差分算出部５２ｆ−２の算出した、光源色Ｌ１とＬ２との差分Ｌに基づき、最適な補正値算出方法（例えば第１・２実施形態と同様のもの）を選択する。顔ＡＷＢ補正値の算出方法を選択した場合はＳ１８、通常ＡＷＢ補正値の算出方法を選択した場合はＳ１９に進む。
【０１０９】
Ｓ１８〜Ｓ２０は、Ｓ８〜Ｓ１０と同様である。
【０１１０】
＜第４実施形態＞
図１０は第４実施形態に係る画像信号処理回路４４のブロック構成を示す。ここでは図２および図５における最終ＷＢ補正値算出部５２ｇの一例として、最終ＷＢ選択部５２ｇ−１が示されている。この機能は後述する。
【０１１１】
図１１は画像信号処理回路４４で実行されるホワイトバランス補正処理の流れを示す。
【０１１２】
Ｓ２１〜Ｓ２６はそれぞれＳ１１〜Ｓ１６と同様である。
【０１１３】
Ｓ２７では、最終ＷＢ補正値算出部５２ｇが、光源色Ｌ１とＬ２との差分Ｌが、所定の閾値Ｔ１以下であるか否かを判断する。Ｌ≦Ｔ１の場合はＳ２８、Ｌ＞Ｔ１の場合はＳ２９に進む。図１２は、Ｌ＞Ｔ１の場合を例示している。Ｔ１は、顔ＡＷＢ補正値と通常ＡＷＢ補正値のいずれを使用することが適切なホワイトバランス補正となるかを区別する値であるから、撮影条件に応じて経験的に定めるとよい。
【０１１４】
Ｓ２８では、最終ＷＢ補正値算出部５２ｇは、顔ＡＷＢ補正値を最終ＷＢ補正値に決定する。ＷＢ補正部５２ｈは、最終ＷＢ補正値算出部５２ｇの決定した最終ＷＢ補正値＝顔ＡＷＢ補正値によって画像全体のホワイトバランスを補正する。
【０１１５】
Ｓ２９では、最終ＷＢ補正値算出部５２ｇは、通常ＡＷＢ補正値を最終ＷＢ補正値に決定する。ＷＢ補正部５２ｈは、最終ＷＢ補正値算出部５２ｇの決定した最終ＷＢ補正値＝通常ＡＷＢ補正値によって画像全体のホワイトバランスを補正する。
【０１１６】
Ｓ３０は、Ｓ１０と同様である。
【０１１７】
図１３は、このホワイトバランス補正による具体的効果を例示する。
【０１１８】
例えば、図１３（ａ）に示すように、太陽光が照射している白色系の石像を被写体とした画像データが取得されたものとする。
【０１１９】
図１３（ｂ）に示すように、通常ＡＷＢ光源色抽出部５２ｅ−１は、画像データ全体の色分布などから光源色を推定する。図１３（ｃ）に示すように、ここでは太陽光と推定したとする。
【０１２０】
図１３（ｄ）に示すように、顔ＡＷＢ光源色抽出部５２ｃ−１は、画像データ中の顔領域特定部５２ａが特定した顔領域の色分布などから光源色を推定する。図１３（ｅ）に示すように、ここでは、白い石像の顔の色分布から、青い光が顔の肌色に当たって白くなっていると推定したとする。この青い光が光源色であるとの前提でホワイトバランス調整を行うと、画像が黄色くなってしまう。
【０１２１】
この場合、図１３（ｆ）に示すように、顔ＡＷＢ光源色抽出部５２ｃ−１の光源色Ｌ１と通常ＡＷＢ光源色抽出部５２ｅ−１の光源色Ｌ２との距離Ｌは、離れる傾向にある。この距離Ｌが所定の閾値Ｔ１を超えていれば、両者の食い違いが大きく、顔ＡＷＢ光源色抽出部５２ｃ−１の光源色Ｌ１の推定は信頼性が低く、通常ＡＷＢ光源色抽出部５２ｅ−１の光源色Ｌ２に基づいてＷＢ補正値を決める方がより適切といえる。そこでＬ＞Ｔ１の場合、通常ＡＷＢ補正値によって画像全体のホワイトバランスを補正する。
【０１２２】
一方、Ｌ≦Ｔ１の場合は、光源色Ｌ１の推定は信頼性が一定程度確保されているから、この場合、顔ＡＷＢ補正値によって画像全体のホワイトバランスを補正する。
【０１２３】
こうすることで、顔領域を基準としたホワイトバランス補正を行う際、通常の肌色を有さない顔が特定された場合でも、その顔に基づいて誤ったホワイトバランス調整がされるのを可及的に避けることができる。
【０１２４】
＜第５実施形態＞
図１４は第５実施形態に係る画像信号処理回路４４のブロック構成を示す。ここでは重みα算出部５２ｉが追加されている。
【０１２５】
例えば図１５（ａ）のような差分Ｌと重みαとの関係を規定した関数（重みα決定関数）が、予め重みα算出部５２ｉに記憶されており、重みα算出部５２ｉは、差分Ｌの値に対応する重みαを該関数から特定することで、関数の重みαを算出する。
【０１２６】
最終ＷＢ補正値算出部５２ｇは、例えば図１５（ｂ）のような、重みαで通常ＡＷＢ補正値と顔ＡＷＢ補正値とを加重平均する数式により、最終ＷＢ補正値を算出する。
【０１２７】
図１６は第５実施形態に係るホワイトバランス補正処理を示すフローチャートである。
【０１２８】
Ｓ３１〜Ｓ３６はＳ１１〜Ｓ１６と同様である。
【０１２９】
Ｓ３７では、差分Ｌが所定の閾値Ｔ２以下であるか否かを判断する。Ｌ≦Ｔ２の場合はＳ３８、Ｌ＞Ｔ２の場合はＳ４１に進む。
【０１３０】
Ｓ３８では、重みα＝１００（％）とする。
【０１３１】
Ｓ４０では、最終ＷＢ補正値を顔ＡＷＢ補正値とする。なおこの値は図１５（ｂ）の数式でα＝１００とした値である。
【０１３２】
Ｓ４１では、差分Ｌが所定の閾値Ｔ３以上であるか否かを判断する。Ｌ≧Ｔ３の場合はＳ４２、Ｌ＜Ｔ３の場合はＳ４５に進む。
【０１３３】
Ｓ４２では、重みα＝０（％）とする。
【０１３４】
Ｓ４４では、最終ＷＢ補正値を通常ＡＷＢ補正値とする。なおこの値は図１５（ｂ）の数式でα＝０とした値である。
【０１３５】
Ｓ４５では、差分Ｌに対応した重みα＝１〜９９（％）の値とする。例えば図１５（ａ）のような差分Ｌと重みαとの関係を規定した関数（重みα決定関数）を予め記憶しておき、差分Ｌの値に対応する重みαを該関数から特定する。
【０１３６】
Ｓ４７では、例えば図１５（ｂ）のような、重みαで通常ＡＷＢ補正値と顔ＡＷＢ補正値とを加重平均する数式により、最終ＷＢ補正値を算出する。
【０１３７】
Ｓ４８は、Ｓ１０と同様である。
【０１３８】
＜第６実施形態＞
図１７は第６実施形態に係る画像信号処理回路４４のブロック構成を示す。ここでは最終光源色算出部５２ｊが追加されている。
【０１３９】
例えば図１８（ａ）のような差分Ｌと重みαとの関係を規定した関数（重みα決定関数）を予め重みα算出部５２ｉに記憶しておき、重みα算出部５２ｉは、差分Ｌの値に対応する重みαを該関数から特定することで、光源色の重みαを算出する。
【０１４０】
最終光源色算出部５２ｊは、例えば図１８（ｂ）のような重みαで通常ＡＷＢ光源色と顔ＡＷＢ光源色とを加重平均する数式により、最終光源色を算出する。
【０１４１】
図１９は第６実施形態に係るホワイトバランス補正処理を示すフローチャートである。
【０１４２】
Ｓ５１〜Ｓ５６はＳ３１〜Ｓ３６と同様である。
【０１４３】
Ｓ５７では、差分Ｌが所定の閾値Ｔ４以下であるか否かを判断する。Ｌ≦Ｔ４の場合はＳ５８、Ｌ＞Ｔ４の場合はＳ６１に進む。
【０１４４】
Ｓ５８では、重みα＝１００（％）とする。
【０１４５】
Ｓ５９では、最終光源色を顔ＡＷＢ光源色抽出部５２ｃ−１の抽出した光源色とする。
【０１４６】
Ｓ６０では、最終光源色である顔ＡＷＢ光源色抽出部５２ｃ−１の抽出した光源色を補正値の算出基準とし、最終ＷＢ補正値を顔ＡＷＢ補正値とする。
【０１４７】
Ｓ６１では、差分Ｌが所定の閾値Ｔ５以上であるか否かを判断する。Ｌ≧Ｔ５の場合はＳ６２、Ｌ＜Ｔ５の場合はＳ６５に進む。
【０１４８】
Ｓ６２では、重みα＝０（％）とする。
【０１４９】
Ｓ６３では、最終光源色を通常ＡＷＢ光源色抽出部５２ｅ−１の抽出した光源色とする。
【０１５０】
Ｓ６４では、最終光源色である通常ＡＷＢ光源色抽出部５２ｅ−１の抽出した光源色を補正値の算出基準とし、最終ＷＢ補正値を通常ＡＷＢ補正値とする。
【０１５１】
Ｓ６５では、差分Ｌに対応した重みα＝１〜９９（％）の値とする。例えば図１８（ａ）のような差分Ｌと重みαとの関係を規定した関数（重みα決定関数）を予め記憶しておき、差分Ｌの値に対応する重みαを該関数から特定する。
【０１５２】
Ｓ６６では、例えば図１８（ｂ）のような、２つの光源色を重みαで加重平均する数式により、最終光源色を算出する。
【０１５３】
Ｓ６７では、最終光源色を補正値の算出基準とし、最終ＷＢ補正値を算出する。
【０１５４】
Ｓ６８は、Ｓ１０と同様である。
【０１５５】
＜第７実施形態＞
図２０は第７実施形態に係る画像信号処理回路４４のブロック構成を示す。上記実施形態と同一のブロックには同一の符号を付しており、説明は省略する。ここではエリア分割部５２ｋ、エリア特徴データ抽出部５２ｌが追加されている。
【０１５６】
エリア分割部５２ｋは、画像データ全体を所定の１または複数のエリアに分割する。
【０１５７】
図２１は複数のエリアに分割した場合の一例である。複数のエリアへの区分の仕方は図示したものに限らず、これよりも多数あるいは少数の小領域に区分してもよい。また、分割面積は等面積、等間隔である必然性はなく、領域の特徴（例えば顔領域に包含される領域であるか否か）や重要度に応じてより精緻な領域分割を行ってもよい。あるいは、異なる色相ごとに画像を分割してもよい。なお、１つのエリアに分割するとは画像データ全体そのものを得ることと同じである。
【０１５８】
図２２は第７実施形態に係るホワイトバランス補正処理のフローチャートである。
【０１５９】
Ｓ７１〜Ｓ７５はＳ１〜Ｓ５と同様である。
【０１６０】
Ｓ７６では、エリア分割部５２ｋが画像データ全体を１または複数のエリアに分割する。
【０１６１】
Ｓ７７では、エリア特徴データ抽出部５２ｌが各エリアの特徴データを抽出する。特徴データとは例えば各エリアの代表色である。エリアの代表色の求め方としては、例えば本出願人による特許公開２００７−３６４６２号公報、段落００３８に記載されるように、エリアの各画像データを用いて、各画素の色をＲ／Ｇ−Ｂ／Ｇ空間の座標にそれぞれ変換し、それら各座標の重心の座標を求め、これを代表色の座標とする。
【０１６２】
Ｓ７８では、特徴データ比較部５２ｆが、各エリアの特徴データを顔領域からの特徴データと比較する。
【０１６３】
Ｓ７９では、各エリアの特徴データを顔領域からの特徴データと比較した結果に応じて、適切な補正値算出式を選択する。例えば上述と同様、通常ＡＷＢ補正値算出部５２ｄの算出した補正値（通常ＡＷＢ補正値）および顔ＡＷＢ補正値算出部５２ｂの算出した補正値（顔ＡＷＢ補正値）のうちいずれか一方の最適な補正値を選択する。
【０１６４】
Ｓ８０〜Ｓ８２は、Ｓ８〜Ｓ１０と同様である。
【０１６５】
図２３は、このホワイトバランス補正による具体的効果を例示する。
【０１６６】
例えば、図２３（ａ）に示すように、１つの画像データ中に、人には赤い光源が照らされており、背景には青い水槽が存在していたとする。
【０１６７】
この場合、図２３（ｂ）に示すように、１画面を複数のエリアに分割し、かつ、図２３（ｃ）に示すように、各エリアの特徴データとして各エリアの代表色を算出する。この場合、水槽側のエリアでは青、光源側のエリアでは赤が代表色となる。
【０１６８】
また、図２３（ｄ）に示すように、検出された顔領域から、光源色を推定する。この場合、図２３（ｅ）に示すように、顔色から赤い光源と推定される。
【０１６９】
つまり、各エリアの特徴データと顔領域の特徴データの間では、食い違いが生じ、それぞれの特徴データに従ってホワイトバランス補正を行った場合、得られる画像データも異なってくる。従って、いずれか一方の特徴データを基準としたより適切なホワイトバランス補正を行う必要がある。
【０１７０】
図２３（ｆ）に示すように、顔領域の特徴データ（代表色）および各エリアの特徴データ（代表色）を、Ｒ／Ｇ−Ｂ／Ｇ色空間にプロットすると、顔領域の特徴データの周辺には、赤い光源が支配的な光源近傍のエリアの特徴データが集中し、また、水槽近傍のエリアは青が支配的な位置に集中する。
【０１７１】
この、顔領域を中心とした所定の閾値Ｔの近傍内に、一定程度の分割エリアの特徴データが存在していれば、これが正しい光源色を表していると判断でき、近傍外にある青の特徴データは、背景を支配する色であるということが識別でき、顔ＡＷＢによるホワイトバランス補正がよりよい補正方法であると識別できる。
【０１７２】
この方式は図２４のように、本来の光源とは関係のない色で画像の大部分が支配されることで、通常ＡＷＢにおける光源推定が顔ＡＷＢにおける光源推定とかけ離れてしまうときに特に有効である。
【０１７３】
＜第８実施形態＞
図２５は第８実施形態に係る画像信号処理回路４４のブロック構成を示す。他の実施形態と同一のブロックには同一の符号を付している。
【０１７４】
図２６は第８実施形態に係るホワイトバランス補正処理のフローチャートである。
【０１７５】
Ｓ９１〜Ｓ９４はＳ７１〜Ｓ７４と同様である。
【０１７６】
Ｓ９５では、顔ＡＷＢ特徴データ抽出部５２ｃが、顔領域から光源色を抽出する。そして、抽出した光源色を色空間にプロットする（例えば図２７を参照）。
【０１７７】
Ｓ９６は、Ｓ７６と同様である。
【０１７８】
Ｓ９７では、エリア特徴データ抽出部５２ｌが各エリアの代表色（例えばエリアごとの画素の平均色）を抽出する。そして、抽出した各エリアの代表色を色空間にプロットする（例えば図２７を参照）。
【０１７９】
Ｓ９８では、特徴データ比較部５２ｆが、各エリアの代表色を顔領域からの光源色と比較する。
【０１８０】
Ｓ９９は、Ｓ９８の比較結果に応じ、Ｓ１００またはＳ１０１に分岐する。
【０１８１】
Ｓ１００〜Ｓ１０２は、Ｓ８０〜Ｓ８２と同様である。
【０１８２】
＜第９実施形態＞
図２８は第９実施形態に係る画像信号処理回路４４のブロック構成を示す。他の実施形態と同一のブロックには同一の符号を付している。
【０１８３】
光源色と特定のエリアの代表色との差分算出部５２ｆ−３は、図２９に例示するような数式により、色空間における各エリアの代表色と顔ＡＷＢ光源色抽出部５２の得た光源色との差分（距離）Ｌを算出する。
【０１８４】
図３０は第９実施形態に係るホワイトバランス補正処理のフローチャートである。
【０１８５】
Ｓ１１１〜Ｓ１１７は、Ｓ９１〜Ｓ９７と同様である。
【０１８６】
Ｓ１１８では、例えば図２９に例示する数式により、色空間における各エリアＲｉ（ｉはエリアに付与された添え字）の代表色と顔ＡＷＢ光源色抽出部５２の得た光源色との差分（距離）Ｌｉを算出する。そして、各エリアごとに求められた差分Ｌｉのうち最小値Ｌｍｉｎを確定する（図３１参照）。
【０１８７】
Ｓ１１９では、最終ＷＢ補正値算出部５２ｇが、差分Ｌｍｉｎに基づき、適切な補正値算出方法を選択する。これは例えば上述と同様、差分Ｌｍｉｎとある所定の閾値との大小関係に応じて、通常ＡＷＢ補正値算出部５２ｄの算出した補正値（通常ＡＷＢ補正値）および顔ＡＷＢ補正値算出部５２ｂの算出した補正値（顔ＡＷＢ補正値）のうちいずれか一方の最適な補正値を選択する。顔ＡＷＢ補正値を選択した場合はＳ１２０、通常ＡＷＢ補正値を選択した場合はＳ１２１に進む。
【０１８８】
Ｓ１２０〜Ｓ１２２は、Ｓ１００〜Ｓ１０２と同様である。
【０１８９】
＜第１０実施形態＞
図３２は第１０実施形態に係る画像信号処理回路４４のブロック構成を示す。他の実施形態と同一のブロックには同一の符号を付している。
【０１９０】
光源色とｎ個のエリアの代表色との差分算出部５２ｆ−４は、各エリアの代表色と顔ＡＷＢ光源色抽出部５２ｃ−１からの光源色との差分を算出する。
【０１９１】
例えば図３３に示すように、光源色の近傍に位置する所定個数（例えば総エリア個数の５〜２０％程度の個数）の代表色と光源色との距離を、代表色ごとにそれぞれ求める。
【０１９２】
重みづけ平均部５２ｐは、各エリアと光源色との差分（距離）Ｌｉに対応する重みβｉを乗じることで、差分の加重平均を算出する（図３５）。各差分Ｌｉに対応する重みβｉは例えば図３４に示すような、差分量と重みの関係を規定する重みβｉ決定関数から特定する。
【０１９３】
図３６は第１０実施形態に係るホワイトバランス補正処理のフローチャートである。
【０１９４】
Ｓ１３１〜１３７は、Ｓ１１１〜Ｓ１１７と同様である。
【０１９５】
Ｓ１３８では、各エリアの代表色と光源色との差分（距離）Ｌｉを算出する。
【０１９６】
Ｓ１３９〜Ｓ１４５は、各エリアの各差分Ｌｉに対応するに対応する重みβｉが全て（ｎ個）算出するまで繰り返される処理単位である。
【０１９７】
Ｓ１４０では、差分Ｌｉが所定の閾値Ｔ６以下であるか否かを判断する。判断が“Ｙ”ならばＳ１４２、“Ｎ”ならばＳ１４１に進む。
【０１９８】
Ｓ１４１では、差分Ｌｉが所定の閾値Ｔ７以上であるか否かを判断する。判断が“Ｙ”ならばＳ１４３、“Ｎ”ならばＳ１４４に進む。
【０１９９】
Ｓ１４２では、図３４の重み決定関数に従い、重みβｉ＝１００％とする。
【０２００】
Ｓ１４３では、図３４の重み決定関数に従い、重みβｉ＝０％とする。
【０２０１】
Ｓ１４４では、図３４の重み決定関数に従い、重みβｉ＝１〜９９％とする。
【０２０２】
Ｓ１４５では、ｎ個の重みが算出されたか否かを判断し、算出されればＳ１４６に進む。算出されていなければＳ１４０に戻る。
【０２０３】
Ｓ１４６では、各差分Ｌｉに対応する重みβｉで各差分Ｌｉを重みづけして平均した差分の加重平均Ｌ’を算出する（図３５参照）。
【０２０４】
Ｓ１４７では、最終ＷＢ補正値算出部５２ｇが、差分加重平均Ｌ’に基づき、適切な補正値算出方法を選択する。これの具体例は上述と同様である。第１の算出方法（例えば顔ＡＷＢ補正値）を選択した場合はＳ１４８、第２の算出方法（例えば通常ＡＷＢ補正値）を選択した場合はＳ１４９に進む。
【０２０５】
Ｓ１４８〜Ｓ１５０は、Ｓ１２０〜Ｓ１２２と同様である。
【０２０６】
＜第１１実施形態＞
図３７は第１１実施形態に係る画像信号処理回路４４のブロック構成を示す。他の実施形態と同一のブロックには同一の符号を付している。
【０２０７】
光源色と代表色との差分算出部５２ｆ−５は、各エリアの代表色と顔ＡＷＢ光源色抽出部５２ｃ−１からの光源色との差分を算出する。
【０２０８】
図３８は第１１実施形態に係るホワイトバランス補正処理のフローチャートである。
【０２０９】
Ｓ１６１〜Ｓ１６７は、Ｓ１３１〜Ｓ１３７と同様である。
【０２１０】
Ｓ１６８では、顔ＡＷＢの光源色と各エリアの代表色との差分Ｌを算出する。どのような差分を用いるかは任意であり、例えば上述した差分最小値Ｌｍｉｎや重みづけ差分平均Ｌ’などである。
【０２１１】
Ｓ１６９では、差分Ｌが所定の閾値Ｔ５以下であるか否かを判断する。Ｌ≦Ｔ５ならばＳ１７０，Ｌ＞Ｔ５ならばＳ１７１に進む。
【０２１２】
Ｓ１７０〜Ｓ１７２はＳ２８〜Ｓ３０と同様である。
【０２１３】
＜第１２実施形態＞
図３９は第１２実施形態に係る画像信号処理回路４４のブロック構成を示す。他の実施形態と同一のブロックには同一の符号を付している。
【０２１４】
重みα算出部５２ｉは、例えば図４０のような差分Ｌと重みαとの関係を規定した関数を予め記憶しておき、差分Ｌの値に対応する重みαを該関数から特定することで、重みαを算出する。
【０２１５】
図４１は第１２実施形態に係るホワイトバランス補正処理のフローチャートである。
【０２１６】
Ｓ１８１〜１８８は、Ｓ１６１〜Ｓ１６８と同様である。
【０２１７】
Ｓ１８９〜Ｓ２００は、Ｓ３７〜Ｓ４８（図１６）と同様である。ただし、Ｓ１８９、Ｓ１９３で用いられる閾値は、それぞれＴ６、Ｔ７である。
【０２１８】
＜第１３実施形態＞
図４２は第１３実施形態に係る画像信号処理回路４４のブロック構成を示す。他の実施形態と同一のブロックには同一の符号を付している。
【０２１９】
最終光源色算出部５２ｊは、例えば図４３のような差分Ｌと重みαとの関係を規定した重み決定関数を予め記憶しておき、差分Ｌの値に対応する重みαを該関数から特定することで、重みαを算出する。
【０２２０】
図４４は第１３実施形態に係るホワイトバランス補正処理のフローチャートである。
【０２２１】
Ｓ２１１〜Ｓ２１８は、Ｓ１８１〜Ｓ１８８と同様である。
【０２２２】
Ｓ２１９〜Ｓ２３０は、Ｓ５７〜Ｓ６８（図１９）と同様である。ただし、Ｓ２１９、Ｓ２２３で用いられる閾値は、それぞれＴ８、Ｔ９である。
【０２２３】
＜第１４実施形態＞
図４５は第１４実施形態に係る画像信号処理回路４４のブロック構成を示す。他の実施形態と同一のブロックには同一の符号を付している。
【０２２４】
図４６に例示するように、表示アイコン作成部５２ｑは、重みα（）を示すアイコンＩＣの映像信号を生成し、これを撮像された画像データに重畳して、ＬＣＤ２２に出力して画像とともに表示させる。
【０２２５】
図４７は第１４実施形態に係るホワイトバランス補正処理のフローチャートである。
【０２２６】
Ｓ２４１〜Ｓ２５７は、Ｓ１８１〜Ｓ２００（図４１）と同様である。
【０２２７】
Ｓ２５８では、重みαを示すアイコンＩＣの映像信号を生成し、これを撮像された画像データに重畳して、ＬＣＤ２２に出力して画像とともにポストビュー（撮像後の画像ビュー）として表示させる。これにより、ユーザはどのような重みが加えられているかを知ることができ、目視でそれが不適切と判断すれば、撮影のやり直しをすることができる。
【０２２８】
＜第１５実施形態＞
図４８は第１５実施形態に係る画像信号処理回路４４のブロック構成を示す。他の実施形態と同一のブロックには同一の符号を付している。
【０２２９】
図４９に例示するように、表示枠作成部５２ｑは、顔ＡＷＢの光源色に最も近い代表色を有するエリアを示す枠Ｆの映像信号を生成し、これを撮像された画像データに重畳して、ＬＣＤ２２に出力して画像とともに表示させる。
【０２３０】
図５０は第１５実施形態に係るホワイトバランス補正処理のフローチャートである。
【０２３１】
Ｓ２６１〜Ｓ２６７は、Ｓ１８１〜Ｓ２００と同様である。
【０２３２】
Ｓ２７８では、顔ＡＷＢの光源色に最も近い代表色を有するエリアを示す枠Ｆの映像信号を生成し、これを撮像された画像データに重畳して、ＬＣＤ２２に出力して画像とともにポストビューとして表示させる。これにより、ユーザはどのエリアの特徴データがホワイトバランスの基準となっているかを知ることができ、目視でそれが不適切と判断すれば、撮影のやり直しをすることができる。
【０２３３】
＜第１６実施形態＞
図５１は第１６実施形態に係る画像信号処理回路４４のブロック構成を示す。他の実施形態と同一のブロックには同一の符号を付している。
【０２３４】
重みα’算出部５２ｓは、ＣＰＵ３３の指令に従って操作部２３から読み込まれた顔ＡＷＢの優先度に基づき、重みα’を算出する。
【０２３５】
ここで、顔ＡＷＢの優先度とは、例えば、高（設定優先度が標準の優先度よりも高く、画像信号処理回路４４で算出した重みαよりも重みα’を大きくする）、中（設定優先度と標準の優先度が同じであり、画像信号処理回路４４で算出した重みαと重みα’を同じにする）、低（設定優先度が標準の優先度よりも低く、画像信号処理回路４４で算出した重みαよりも重みα’を小さくする）の３段階のレベルからなり、その中から、ユーザが所望のレベルを１つ選択できる。無論、高および低の段階は、さらに重みα’を所望の幅で増減可能にするため、さらに細分された段階を有していてもよい。
【０２３６】
図５２は第１６実施形態に係るホワイトバランス補正処理のフローチャートである。
【０２３７】
Ｓ２８１〜Ｓ２９５は、Ｓ２６１〜Ｓ２７５（図５０）と同様である。
【０２３８】
Ｓ２９６では、操作部２３から、顔ＡＷＢの優先度の設定（重みα’）を読み込む。そして、設定された顔ＡＷＢの優先度（重みα’）と基準の顔ＡＷＢの優先度（重みα）が一致しているかを判断する。両者が一致する場合はＳ２９７、一致しない場合にはＳ２９８に進む。
【０２３９】
Ｓ２９７では、Ｓ４７と同様、重みαに基づいて最終ＷＢ補正値を算出する。
【０２４０】
Ｓ２９８では、設定された顔ＡＷＢの優先度（重みα’）が基準の顔ＡＷＢの優先度（重みα）よりも大きいかを判断する。“Ｙ”の場合はＳ２９９、“Ｎ”の場合場合にはＳ３０１に進む。
【０２４１】
Ｓ２９９では、重みα’に基づいて最終ＷＢ補正値を算出する。この場合、結果的に顔ＡＷＢの重みが上がるから、顔ＡＷＢ補正値に近い最終補正値が得られる（Ｓ３００）。
【０２４２】
Ｓ３０１では、重みα’に基づいて最終ＷＢ補正値を算出する。この場合、結果的に顔ＡＷＢの重みが下がるから、通常ＡＷＢ補正値に近い最終補正値が得られる（Ｓ３０２）。
【０２４３】
Ｓ３０３は、Ｓ２７７と同様である。
【０２４４】
このように、ユーザの好みに応じて顔ＡＷＢ、通常ＡＷＢの重みを変えることで、ユーザの意図通りの画像データを得ることができる。
【符号の説明】
【０２４５】
４４：画像信号処理回路、５２ａ：顔領域特定部、５２ｂ：顔ＡＷＢ補正値算出部、５２ｃ：顔ＡＷＢ特徴データ抽出部、５２ｄ：通常ＡＷＢ補正値算出部、５２ｅ：通常ＡＷＢ特徴データ抽出部、５２ｆ：特徴データ比較部、５２ｇ：最終ＡＷＢ補正値算出部、５２ｈ：ＷＢ補正部
【特許請求の範囲】
【請求項１】
画像データを入力するステップと、
入力された画像データに基づいて第１のオートホワイトバランス（ＡＷＢ）補正値である通常ＡＷＢ補正値を算出するステップと、
前記画像データから顔領域を特定するステップと、
前記画像データの顔領域に基づいて第２のＡＷＢ補正値である顔ＡＷＢ補正値を算出するステップと、
前記画像データを１または複数のエリアに分割し、各エリアから特徴データを抽出するステップと、
前記顔領域から特徴データを抽出するステップと、
前記各エリアから抽出された特徴データと前記顔領域から抽出された特徴データとの比較結果に基づき、前記顔ＡＷＢ補正値および前記通常ＡＷＢ補正値のうち少なくとも一方に応じた最終的なＡＷＢ補正値を算出するステップと、
を含むオートホワイトバランス補正値算出方法。
【請求項２】
前記顔領域からは、前記特徴データとして光源色が抽出され、
前記各エリアからは、前記特徴データとして前記各エリアの代表色が抽出される請求項１に記載のオートホワイトバランス補正値算出方法。
【請求項３】
前記各エリアの代表色のうち特定エリアの代表色と前記顔領域の光源色との差分量を算出するステップと、
前記差分量に基づき、最終的なＡＷＢ補正値を算出するステップと、
をさらに含む請求項２に記載のオートホワイトバランス補正値算出方法。
【請求項４】
前記各エリアの代表色のうち特定エリアの代表色と前記顔領域の光源色との差分量を算出するステップと、
前記差分量のうち前記顔領域の近傍にある所定数のエリアについての差分量を、前記差分量に対応する０％以上１００％以下の所定の重みβで加重平均して得られた値に基づき、最終的なＡＷＢ補正値を算出するステップと、
をさらに含む請求項２に記載のオートホワイトバランス補正値算出方法。
【請求項５】
前記各エリアから抽出された特徴データと前記顔領域から抽出された特徴データとの比較結果に基づき、顔ＡＷＢ補正値または通常ＡＷＢ補正値のうちいずれか一方を最終的なＡＷＢ補正値として選択するステップをさらに含む請求項１〜４のいずれかに記載のオートホワイトバランス補正値算出方法。
【請求項６】
前記各エリアから抽出された特徴データと前記顔領域から抽出された特徴データとの比較結果に基づき、顔ＡＷＢ補正値および通常ＡＷＢ補正値を０％以上１００％以下の所定の重みαにより加重平均することで最終的なＡＷＢ補正値を算出するステップをさらに含む請求項１〜４のいずれかに記載のオートホワイトバランス補正値算出方法。
【請求項７】
前記画像データの光源色および前記顔領域の光源色の各々を０％以上１００％以下の所定の重みαにより加重平均することで最終的な光源色を求めるステップと、
前記最終的な光源色に応じて最終的なＡＷＢ補正値を算出するステップと、
をさらに含む請求項２〜４のいずれかに記載のオートホワイトバランス補正値算出方法。
【請求項８】
前記最終的なＡＷＢ補正値を表示するステップをさらに含む請求項１〜７のいずれかに記載のオートホワイトバランス補正値算出方法。
【請求項９】
前記顔領域の特徴データと比較された特徴データの抽出されたエリアを表示するステップをさらに含む請求項１〜７のいずれかに記載のオートホワイトバランス補正値算出方法。
【請求項１０】
顔優先度の選択を受け付けるステップと、
前記顔優先度に応じて前記重みを変化させるステップと、
をさらに含む請求項４、６または７に記載のオートホワイトバランス補正値算出方法。
【請求項１１】
画像データを入力するステップと、
入力された画像データに基づいて第１のオートホワイトバランス（ＡＷＢ）補正値である通常ＡＷＢ補正値を算出するステップと、
前記画像データから顔領域を特定するステップと、
前記画像データの顔領域に基づいて第２のＡＷＢ補正値である顔ＡＷＢ補正値を算出するステップと、
前記画像データを１または複数のエリアに分割し、各エリアから特徴データを抽出するステップと、
前記顔領域から特徴データを抽出するステップと、
前記各エリアから抽出された特徴データと前記顔領域から抽出された特徴データとの比較結果に基づき、前記顔ＡＷＢ補正値および前記通常ＡＷＢ補正値のうち少なくとも一方に応じた最終的なＡＷＢ補正値を算出するステップと、
をコンピュータに実行させるオートホワイトバランス補正値算出プログラム。
【請求項１２】
画像データを入力する画像データ入力部と、
前記画像データ入力部に入力された画像データに基づいて第１のオートホワイトバランス（ＡＷＢ）補正値である通常ＡＷＢ補正値を算出する通常ＡＷＢ補正値算出部と、
前記画像データから顔領域を特定する顔領域特定部と、
前記画像データの顔領域に基づいて第２のＡＷＢ補正値である顔ＡＷＢ補正値を算出する顔ＡＷＢ補正値算出部と、
前記画像データを１または複数のエリアに分割し、各エリアから特徴データを抽出するエリア特徴データ抽出部と、
前記顔領域から特徴データを抽出する顔領域特徴データ抽出部と、
前記各エリアから抽出された特徴データと前記顔領域から抽出された特徴データとの比較結果に基づき、前記顔ＡＷＢ補正値および前記通常ＡＷＢ補正値のうち少なくとも一方に応じた最終的なＡＷＢ補正値を算出する最終ＡＷＢ補正値算出部と、
を備えるオートホワイトバランス補正値算出装置。
【請求項１３】
前記顔領域からは、前記特徴データとして光源色が抽出され、
前記各エリアからは、前記特徴データとして前記各エリアの代表色が抽出される請求項１２に記載のオートホワイトバランス補正値算出装置。
【請求項１４】
前記各エリアの代表色のうち特定エリアの代表色と前記顔領域の光源色との差分量を算出する差分量算出部をさらに備え、
前記最終ＡＷＢ補正値算出部は、前記差分量に基づき、最終的なＡＷＢ補正値を算出する請求項１３に記載のオートホワイトバランス補正値算出装置。
【請求項１５】
前記各エリアの代表色のうち特定エリアの代表色と前記顔領域の光源色との差分量を算出する差分量算出部をさらに備え、
前記最終ＡＷＢ補正値算出部は、前記差分量のうち前記顔領域の近傍にある所定数のエリアについての差分量を、前記差分量に対応する０％以上１００％以下の所定の重みβで加重平均して得られた値に基づき、最終的なＡＷＢ補正値を算出する請求項１３に記載のオートホワイトバランス補正値算出装置。
【請求項１６】
前記最終ＡＷＢ補正値算出部は、前記各エリアから抽出された特徴データと前記顔領域から抽出された特徴データとの比較結果に基づき、顔ＡＷＢ補正値または通常ＡＷＢ補正値のうちいずれか一方を最終的なＡＷＢ補正値として選択する請求項１２〜１５のいずれかに記載のオートホワイトバランス補正値算出装置。
【請求項１７】
前記最終ＡＷＢ補正値算出部は、前記各エリアから抽出された特徴データと前記顔領域から抽出された特徴データとの比較結果に基づき、顔ＡＷＢ補正値および通常ＡＷＢ補正値を０％以上１００％以下の所定の重みαにより加重平均することで最終的なＡＷＢ補正値を算出する請求項１２〜１５のいずれかに記載のオートホワイトバランス補正値算出装置。
【請求項１８】
前記画像データの光源色および前記顔領域の光源色の各々を０％以上１００％以下の所定の重みαにより加重平均することで最終的な光源色を求める最終光源色算出部をさらに備え、
前記最終ＡＷＢ補正値算出部は、前記最終的な光源色に応じて最終的なＡＷＢ補正値を算出する請求項１３〜１５のいずれかに記載のオートホワイトバランス補正値算出装置。
【請求項１９】
前記最終的なＡＷＢ補正値を表示する表示部をさらに備える請求項１２〜１８のいずれかに記載のオートホワイトバランス補正値算出装置。
【請求項２０】
前記顔領域の特徴データと比較された特徴データの抽出されたエリアを表示する表示部をさらに備える請求項１２〜１８のいずれかに記載のオートホワイトバランス補正値算出装置。
【請求項２１】
顔優先度の選択を受け付ける顔優先度選択部をさらに備え、
前記最終ＡＷＢ補正値算出部は、前記顔優先度に応じて前記重みを変化させる請求項１５、１７または１８に記載のオートホワイトバランス補正値算出装置。
【請求項２２】
請求項１２〜２１のいずれかに記載のオートホワイトバランス補正値算出装置と、
撮影光学系を介して被写体像を受光し、該被写体像を示すアナログ画像信号を出力する撮像素子と、
前記アナログ画像信号をデジタル画像データに変換して前記画像データ入力部に出力する画像データ出力部と、
前記オートホワイトバランス補正値算出装置の算出した最終的なＡＷＢ補正値に基づいて前記画像データのホワイトバランスを補正する補正部と、
を備える撮像装置。
【請求項１】
画像データを入力するステップと、
入力された画像データに基づいて第１のオートホワイトバランス（ＡＷＢ）補正値である通常ＡＷＢ補正値を算出するステップと、
前記画像データから顔領域を特定するステップと、
前記画像データの顔領域に基づいて第２のＡＷＢ補正値である顔ＡＷＢ補正値を算出するステップと、
前記画像データを１または複数のエリアに分割し、各エリアから特徴データを抽出するステップと、
前記顔領域から特徴データを抽出するステップと、
前記各エリアから抽出された特徴データと前記顔領域から抽出された特徴データとの比較結果に基づき、前記顔ＡＷＢ補正値および前記通常ＡＷＢ補正値のうち少なくとも一方に応じた最終的なＡＷＢ補正値を算出するステップと、
を含むオートホワイトバランス補正値算出方法。
【請求項２】
前記顔領域からは、前記特徴データとして光源色が抽出され、
前記各エリアからは、前記特徴データとして前記各エリアの代表色が抽出される請求項１に記載のオートホワイトバランス補正値算出方法。
【請求項３】
前記各エリアの代表色のうち特定エリアの代表色と前記顔領域の光源色との差分量を算出するステップと、
前記差分量に基づき、最終的なＡＷＢ補正値を算出するステップと、
をさらに含む請求項２に記載のオートホワイトバランス補正値算出方法。
【請求項４】
前記各エリアの代表色のうち特定エリアの代表色と前記顔領域の光源色との差分量を算出するステップと、
前記差分量のうち前記顔領域の近傍にある所定数のエリアについての差分量を、前記差分量に対応する０％以上１００％以下の所定の重みβで加重平均して得られた値に基づき、最終的なＡＷＢ補正値を算出するステップと、
をさらに含む請求項２に記載のオートホワイトバランス補正値算出方法。
【請求項５】
前記各エリアから抽出された特徴データと前記顔領域から抽出された特徴データとの比較結果に基づき、顔ＡＷＢ補正値または通常ＡＷＢ補正値のうちいずれか一方を最終的なＡＷＢ補正値として選択するステップをさらに含む請求項１〜４のいずれかに記載のオートホワイトバランス補正値算出方法。
【請求項６】
前記各エリアから抽出された特徴データと前記顔領域から抽出された特徴データとの比較結果に基づき、顔ＡＷＢ補正値および通常ＡＷＢ補正値を０％以上１００％以下の所定の重みαにより加重平均することで最終的なＡＷＢ補正値を算出するステップをさらに含む請求項１〜４のいずれかに記載のオートホワイトバランス補正値算出方法。
【請求項７】
前記画像データの光源色および前記顔領域の光源色の各々を０％以上１００％以下の所定の重みαにより加重平均することで最終的な光源色を求めるステップと、
前記最終的な光源色に応じて最終的なＡＷＢ補正値を算出するステップと、
をさらに含む請求項２〜４のいずれかに記載のオートホワイトバランス補正値算出方法。
【請求項８】
前記最終的なＡＷＢ補正値を表示するステップをさらに含む請求項１〜７のいずれかに記載のオートホワイトバランス補正値算出方法。
【請求項９】
前記顔領域の特徴データと比較された特徴データの抽出されたエリアを表示するステップをさらに含む請求項１〜７のいずれかに記載のオートホワイトバランス補正値算出方法。
【請求項１０】
顔優先度の選択を受け付けるステップと、
前記顔優先度に応じて前記重みを変化させるステップと、
をさらに含む請求項４、６または７に記載のオートホワイトバランス補正値算出方法。
【請求項１１】
画像データを入力するステップと、
入力された画像データに基づいて第１のオートホワイトバランス（ＡＷＢ）補正値である通常ＡＷＢ補正値を算出するステップと、
前記画像データから顔領域を特定するステップと、
前記画像データの顔領域に基づいて第２のＡＷＢ補正値である顔ＡＷＢ補正値を算出するステップと、
前記画像データを１または複数のエリアに分割し、各エリアから特徴データを抽出するステップと、
前記顔領域から特徴データを抽出するステップと、
前記各エリアから抽出された特徴データと前記顔領域から抽出された特徴データとの比較結果に基づき、前記顔ＡＷＢ補正値および前記通常ＡＷＢ補正値のうち少なくとも一方に応じた最終的なＡＷＢ補正値を算出するステップと、
をコンピュータに実行させるオートホワイトバランス補正値算出プログラム。
【請求項１２】
画像データを入力する画像データ入力部と、
前記画像データ入力部に入力された画像データに基づいて第１のオートホワイトバランス（ＡＷＢ）補正値である通常ＡＷＢ補正値を算出する通常ＡＷＢ補正値算出部と、
前記画像データから顔領域を特定する顔領域特定部と、
前記画像データの顔領域に基づいて第２のＡＷＢ補正値である顔ＡＷＢ補正値を算出する顔ＡＷＢ補正値算出部と、
前記画像データを１または複数のエリアに分割し、各エリアから特徴データを抽出するエリア特徴データ抽出部と、
前記顔領域から特徴データを抽出する顔領域特徴データ抽出部と、
前記各エリアから抽出された特徴データと前記顔領域から抽出された特徴データとの比較結果に基づき、前記顔ＡＷＢ補正値および前記通常ＡＷＢ補正値のうち少なくとも一方に応じた最終的なＡＷＢ補正値を算出する最終ＡＷＢ補正値算出部と、
を備えるオートホワイトバランス補正値算出装置。
【請求項１３】
前記顔領域からは、前記特徴データとして光源色が抽出され、
前記各エリアからは、前記特徴データとして前記各エリアの代表色が抽出される請求項１２に記載のオートホワイトバランス補正値算出装置。
【請求項１４】
前記各エリアの代表色のうち特定エリアの代表色と前記顔領域の光源色との差分量を算出する差分量算出部をさらに備え、
前記最終ＡＷＢ補正値算出部は、前記差分量に基づき、最終的なＡＷＢ補正値を算出する請求項１３に記載のオートホワイトバランス補正値算出装置。
【請求項１５】
前記各エリアの代表色のうち特定エリアの代表色と前記顔領域の光源色との差分量を算出する差分量算出部をさらに備え、
前記最終ＡＷＢ補正値算出部は、前記差分量のうち前記顔領域の近傍にある所定数のエリアについての差分量を、前記差分量に対応する０％以上１００％以下の所定の重みβで加重平均して得られた値に基づき、最終的なＡＷＢ補正値を算出する請求項１３に記載のオートホワイトバランス補正値算出装置。
【請求項１６】
前記最終ＡＷＢ補正値算出部は、前記各エリアから抽出された特徴データと前記顔領域から抽出された特徴データとの比較結果に基づき、顔ＡＷＢ補正値または通常ＡＷＢ補正値のうちいずれか一方を最終的なＡＷＢ補正値として選択する請求項１２〜１５のいずれかに記載のオートホワイトバランス補正値算出装置。
【請求項１７】
前記最終ＡＷＢ補正値算出部は、前記各エリアから抽出された特徴データと前記顔領域から抽出された特徴データとの比較結果に基づき、顔ＡＷＢ補正値および通常ＡＷＢ補正値を０％以上１００％以下の所定の重みαにより加重平均することで最終的なＡＷＢ補正値を算出する請求項１２〜１５のいずれかに記載のオートホワイトバランス補正値算出装置。
【請求項１８】
前記画像データの光源色および前記顔領域の光源色の各々を０％以上１００％以下の所定の重みαにより加重平均することで最終的な光源色を求める最終光源色算出部をさらに備え、
前記最終ＡＷＢ補正値算出部は、前記最終的な光源色に応じて最終的なＡＷＢ補正値を算出する請求項１３〜１５のいずれかに記載のオートホワイトバランス補正値算出装置。
【請求項１９】
前記最終的なＡＷＢ補正値を表示する表示部をさらに備える請求項１２〜１８のいずれかに記載のオートホワイトバランス補正値算出装置。
【請求項２０】
前記顔領域の特徴データと比較された特徴データの抽出されたエリアを表示する表示部をさらに備える請求項１２〜１８のいずれかに記載のオートホワイトバランス補正値算出装置。
【請求項２１】
顔優先度の選択を受け付ける顔優先度選択部をさらに備え、
前記最終ＡＷＢ補正値算出部は、前記顔優先度に応じて前記重みを変化させる請求項１５、１７または１８に記載のオートホワイトバランス補正値算出装置。
【請求項２２】
請求項１２〜２１のいずれかに記載のオートホワイトバランス補正値算出装置と、
撮影光学系を介して被写体像を受光し、該被写体像を示すアナログ画像信号を出力する撮像素子と、
前記アナログ画像信号をデジタル画像データに変換して前記画像データ入力部に出力する画像データ出力部と、
前記オートホワイトバランス補正値算出装置の算出した最終的なＡＷＢ補正値に基づいて前記画像データのホワイトバランスを補正する補正部と、
を備える撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【図４０】
【図４１】
【図４２】
【図４３】
【図４４】
【図４５】
【図４６】
【図４７】
【図４８】
【図４９】
【図５０】
【図５１】
【図５２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【図４０】
【図４１】
【図４２】
【図４３】
【図４４】
【図４５】
【図４６】
【図４７】
【図４８】
【図４９】
【図５０】
【図５１】
【図５２】
【公開番号】特開２０１１−１３９４８１（Ｐ２０１１−１３９４８１Ａ）
【公開日】平成２３年７月１４日（２０１１．７．１４）
【国際特許分類】
【出願番号】特願２０１１−１４４２６（Ｐ２０１１−１４４２６）
【出願日】平成２３年１月２６日（２０１１．１．２６）
【分割の表示】特願２００７−１８５８７３（Ｐ２００７−１８５８７３）の分割
【原出願日】平成１９年７月１７日（２００７．７．１７）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
【公開日】平成２３年７月１４日（２０１１．７．１４）
【国際特許分類】
【出願日】平成２３年１月２６日（２０１１．１．２６）
【分割の表示】特願２００７−１８５８７３（Ｐ２００７−１８５８７３）の分割
【原出願日】平成１９年７月１７日（２００７．７．１７）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
[ Back to top ]