ホワイトバランス補正係数決定方法、ホワイトバランス補正係数決定装置、ホワイトバランス補正方法、ホワイトバランス補正装置、及び撮像装置
【課題】撮像した画像中に含まれる人物の白目領域の色情報に基づき、ホワイトバランス補正において適切に使用可能なホワイトバランス補正係数を決定することができるホワイトバランス補正係数決定方法、ホワイトバランス補正係数決定装置、ホワイトバランス補正方法、ホワイトバランス補正装置、及び撮像装置を提供する。
【解決手段】撮像素子から出力された画像データと対応する画像中に含まれる人物の顔面領域を検出する顔面領域検出ステップＳ４１と、顔面領域検出ステップで検出された顔面領域中に含まれる白目領域を検出する白目領域検出ステップＳ４３と、白目領域検出ステップで複数の白目領域が検出された場合に当該複数の白目領域の色情報に基づき画像のホワイトバランス補正において使用する補正係数を予め定めた決定手順に従って決定する補正係数決定ステップとなる基準白目領域ＷＢ処理ルーチンのステップＳ４９を備える。
【解決手段】撮像素子から出力された画像データと対応する画像中に含まれる人物の顔面領域を検出する顔面領域検出ステップＳ４１と、顔面領域検出ステップで検出された顔面領域中に含まれる白目領域を検出する白目領域検出ステップＳ４３と、白目領域検出ステップで複数の白目領域が検出された場合に当該複数の白目領域の色情報に基づき画像のホワイトバランス補正において使用する補正係数を予め定めた決定手順に従って決定する補正係数決定ステップとなる基準白目領域ＷＢ処理ルーチンのステップＳ４９を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ホワイトバランス補正係数決定方法、ホワイトバランス補正係数決定装置、ホワイトバランス補正方法、ホワイトバランス補正装置、及び撮像装置に関する。
【背景技術】
【０００２】
従来から、例えば特許文献１に記載されるように、電子カメラ等の撮像装置により撮像された画像のホワイトバランスを補正する技術が知られている。すなわち、特許文献１の撮像装置では、撮像画像中に含まれる人物の顔面領域中から白目領域を検出すると共に、その白目領域の色情報に基づいてホワイトバランス補正係数（以下、「ＷＢ補正係数」ともいう。）を決定し、そのＷＢ補正係数を使用して画像中の白目領域が白色に写るように画像全体のホワイトバランスを補正している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−１８２３６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、特許文献１の撮像装置では、撮像画像中に複数の顔面領域（すなわち、複数の人物）が写っている場合、それらのうちから任意の一人の顔面領域を検出し、その任意の一人の顔面領域に含まれる目領域中の白目領域の色情報に基づいてＷＢ補正係数を決定している。そのため、その任意の一人の白目領域が、たまたま充血していたり、病気等で変色していたりすると、その画像全体のホワイトバランス補正に使用するには適切でないＷＢ補正係数に決定してしまう虞があり、そうなると高精度なホワイトバランスの補正が期待できなくなるという問題があった。
【０００５】
本発明は、このような事情に鑑みてなされたものであり、その目的は、撮像した画像中に含まれる人物の白目領域の色情報に基づき、ホワイトバランス補正において適切に使用可能なホワイトバランス補正係数を決定することができるホワイトバランス補正係数決定方法、ホワイトバランス補正係数決定装置を提供することにある。また、本発明の更なる目的は、高精度なホワイトバランス補正が期待できるホワイトバランス補正方法、ホワイトバランス補正装置、及び撮像装置を提供することにある。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明のホワイトバランス補正係数決定方法は、被写体からの光を受光して電気信号に変換する撮像素子から出力された画像データと対応する画像中に含まれる人物の顔面領域を検出する顔面領域検出ステップと、前記顔面領域検出ステップで検出された顔面領域中に含まれる白目領域を検出する白目領域検出ステップと、前記白目領域検出ステップで複数の白目領域が検出された場合に当該複数の白目領域の色情報に基づき前記画像のホワイトバランス補正において使用する補正係数を予め定めた決定手順に従って決定する補正係数決定ステップとを備えたことを要旨とする。
【０００７】
また、本発明のホワイトバランス補正係数決定方法において、前記補正係数決定ステップでは、前記白目領域検出ステップで検出した前記複数の白目領域から予め定めた異常条件に該当する異常白目領域を除外した残りの白目領域の色情報に基づき前記補正係数を決定することを要旨とする。
【０００８】
また、本発明のホワイトバランス補正係数決定方法において、前記補正係数決定ステップでは、前記複数の白目領域のうちから予め定めた基準条件に該当する一つの白目領域を基準白目領域として決定し、当該基準白目領域の色情報に基づき前記補正係数を決定することを要旨とする。
【０００９】
また、本発明のホワイトバランス補正係数決定方法は、前記顔面領域検出ステップで複数の顔面領域が検出された場合に前記各顔面領域のうち主要被写体となる人物の顔面領域を予め定めた決定手順に従って基準顔面領域として決定する基準顔面領域決定ステップを更に備え、前記白目領域検出ステップでは、前記基準顔面領域中に含まれる白目領域を検出することを要旨とする。
【００１０】
また、本発明のホワイトバランス補正係数決定方法において、前記補正係数決定ステップでは、前記複数の白目領域から予め定めた異常条件に該当する異常白目領域を除外した残りの白目領域を少なくとも含む一群の白目領域の各色情報が示す一群の色情報値の平均値に基づき前記補正係数を決定することを要旨とする。
【００１１】
また、本発明のホワイトバランス補正係数決定装置は、被写体からの光を受光して電気信号に変換する撮像素子から出力された画像データと対応する画像中に含まれる人物の顔面領域を検出する顔面領域検出手段と、前記顔面領域検出手段により検出された顔面領域中に含まれる白目領域を検出する白目領域検出手段と、前記白目領域検出手段により複数の白目領域が検出された場合に当該複数の白目領域の色情報に基づき前記画像のホワイトバランス補正において使用する補正係数を予め定めた決定手順に従って決定する補正係数決定手段とを備えたことを要旨とする。
【００１２】
また、本発明のホワイトバランス補正係数決定装置において、前記顔面領域検出手段により複数の顔面領域が検出された場合に前記各顔面領域のうち主要被写体となる人物の顔面領域を予め定めた決定手順に従って基準顔面領域として決定する基準顔面領域決定手段を更に備え、前記白目領域検出手段は、前記基準顔面領域中に含まれる白目領域を検出することを要旨とする。
【００１３】
また、本発明のホワイトバランス補正方法は、被写体からの光を受光して電気信号に変換する撮像素子から出力された画像データと対応する画像のホワイトバランスを上記ホワイトバランス補正係数決定方法によって決定した補正係数を使用して補正する補正ステップを備えたことを要旨とする。
【００１４】
また、本発明のホワイトバランス補正装置は、被写体からの光を受光して電気信号に変換する撮像素子から出力された画像データと対応する画像のホワイトバランスを上記ホワイトバランス補正係数決定方法によって決定した補正係数を使用して補正する補正手段を備えたことを要旨とする。
【００１５】
また、本発明の撮像装置は、被写体からの光を受光して電気信号に変換する撮像素子と、前記撮像素子から出力された画像データと対応する画像を表示する表示手段と、上記のホワイトバランス補正係数決定装置と、前記補正係数決定装置により決定された補正係数を用いて前記画像のホワイトバランスを補正する補正手段とを備えたことを要旨とする。
【発明の効果】
【００１６】
本発明によれば、撮像した画像中に含まれる人物の白目領域の色情報に基づいてホワイトバランス補正において適切に使用可能なホワイトバランス補正係数を決定することができると共に、高精度なホワイトバランス補正が期待できる。
【図面の簡単な説明】
【００１７】
【図１】デジタルカメラの回路構成を示すブロック図。
【図２】第１実施形態における人物集合写真の画面図。
【図３】撮影処理ルーチンのフローチャート。
【図４】ＷＢ処理ルーチンのフローチャート。
【図５】特別ＡＷＢ処理ルーチンのフローチャート。
【図６】基準白目領域ＷＢ処理ルーチンのフローチャート。
【図７】ＨＳＶ色空間における色相値の異常範囲を示す模式図。
【図８】ＨＳＶ色空間における彩度値の異常範囲を示す模式図。
【図９】ＨＳＶ色空間における明度値の異常範囲を示す模式図。
【図１０】第２実施形態における人物集合写真の画面図。
【図１１】変形例における人物集合写真の画面図。
【図１２】他の変形例における人物集合写真の画面図。
【発明を実施するための形態】
【００１８】
（第１実施形態）
以下、本発明を撮像装置としてのデジタルスチルカメラ（以下、「カメラ」という。）で撮像した画像のホワイトバランス（以下、「ＷＢ」と称することもある。）を補正する際のＷＢ補正係数決定方法とＷＢ補正方法、及びその際に使用するＷＢ補正係数決定装置とＷＢ補正装置に具体化した第１実施形態を図１〜図６に基づいて説明する。
【００１９】
図１はカメラ１１の回路構成を示すブロック図であり、同図に示すように、カメラ１１は、ズームレンズなどの複数のレンズからなるレンズ部１２（図１では図面の簡略化のため１つのレンズのみ図示）と、レンズ部１２を通過した被写体光をレンズ部１２の像空間側において結像させる撮像素子１３をカメラ本体（図示略）内に有している。撮像素子１３の出力側には、ＡＦＥ（Analog Front End）１４と画像処理回路１５が直列に接続されている。そして、ＭＰＵ（Micro Processing Unit）１６に対して画像処理回路１５がデータバス１７を介して接続されている。
【００２０】
また、ＭＰＵ１６には、カメラ１１の制御プログラムを記憶した不揮発性メモリ１８、バッファメモリとして機能するＲＡＭ１９、表示手段として機能する液晶表示のモニタ２０、及び記録媒体であるメモリカード２１を挿脱可能なカードＩ／Ｆ（Inter-Face）２２がデータバス１７を介して接続されている。さらに、カメラ本体には、そのカメラ１１の使用者により操作されるモード切り替えボタンやレリーズボタン等からなる操作部材２３がＭＰＵ１６との間でデータ通信可能に設けられている。
【００２１】
撮像素子１３は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ、又はＣＣＤ（Charge Coupled Device）イメージセンサからなり、その入射側となる撮像面には多数の受光素子（図示略）が二次元的に配列されると共に、その表面側にはＲ（赤），Ｇ（緑），Ｂ（青）の原色フィルタ（図示略）が規則的に配列されている。そして、撮像素子１３は、その撮像面に結像した被写体像に対応した信号電荷を蓄積し、その蓄積した信号電荷を画像データの元となる画素信号と呼ばれるアナログ信号でＡＦＥ１４に出力する。
【００２２】
ＡＦＥ１４は、撮像素子１３から入力したアナログ信号の画素信号を所定のタイミングでサンプリング（相関二重サンプリング）し、例えばＩＳＯ感度に基づく所定信号レベルとなるように増幅する信号処理部（図示略）と、その増幅後の画素信号をデジタル信号に変換するＡ／Ｄ変換部（図示略）を有している。そして、ＡＦＥ１４は、アナログ信号の画素信号をＡ／Ｄ変換部でデジタル化することにより生成した画像データを画像処理回路１５に出力する。なお、このときＡＦＥ１４から出力される画像データは、画素毎にＲ，Ｇ，Ｂの濃度値を持つ画像データではあるが、未だ画像ファイルに変換処理（すなわち、現像処理）される前の生のデータ（以下、「ＲＡＷデータ」という。）であるため、そのままでは画像として見ることはできない。
【００２３】
画像処理回路１５は、ＡＦＥ１４から入力したＲＡＷデータの画像データに対して、色補間処理、階調補正、ホワイトバランス（ＷＢ）補正処理及び輪郭補償等の各種の表示用画像処理を施し、画像として見られるデータ内容にする。そして、そのように表示用画像処理を施した画像データを、画像処理回路１５は、ＲＡＭ１９に一旦記憶させると共に、モニタ２０にスルー画像として表示させる。また、レリーズボタンが全押し操作された場合は、そのときの画像データと対応する画像をモニタ２０に確認用画像として表示させる一方、例えばＪＰＥＧ圧縮のためのフォーマット処理等の所定の画像処理を施した後に、メモリカード２１に画像ファイルとして記録させる。
【００２４】
ＭＰＵ１６は、不揮発性メモリ１８に記憶された制御プログラムに基づきカメラ１１における各種の処理動作（例えば画像処理回路１５での画像処理等）を統括的に制御する。そして、データバス１７は、そうしたＭＰＵ１６の制御に伴う各種データの伝送路として機能する。また、操作部材２３のモード切り替えボタンはカメラ１１の動作モードを例えば撮影モードと再生モードとの間で切り替える場合に操作されるボタンであり、レリーズボタンは撮影モードにおいて被写体を撮影するときに押し下げ操作されるボタンである。
【００２５】
そして、このカメラ１１では、操作部材２３におけるレリーズボタンが半押し操作された段階で、被写体に対する焦点合わせのためのＡＦ（Auto Focus）処理と露出調整のためのＡＥ（Auto Exposure）処理が実行されるようになっている。また、その後においてレリーズボタンが全押し操作された段階で、図２に示すような写真Ｐ１（図２の場合は、７人の人物が写った集合写真）が撮影され、その写真Ｐ１の画像について各種の画像処理が実行されるようになっている。
【００２６】
そこで次に、被写体の撮影時にカメラ１１のＭＰＵ１６が実行する撮影処理ルーチンの概要を図３のフローチャートを参照しながら以下説明する。
さて、ＭＰＵ１６は、カメラ１１における電源ボタン（図示略）がＯＮ操作された状態において操作部材２３のモード切り替えボタンが撮影モードに切り替えられると、図３に示す「撮影処理ルーチン」を開始する。そして先ずステップＳ１１において、ＭＰＵ１６は、リセット処理など必要とされる初期化処理を行った後に所定の画像処理を実行する。すなわち、撮像素子１３からＡＦＥ１４を介して画像処理回路１５に入力されたＲＡＷデータの画像データに対してスルー画像表示のための解像度変換処理を含む表示用画像処理を画像処理回路１５において行なわせた後、その処理を次のステップＳ１２に移行する。
【００２７】
そして、次のステップＳ１２において、ＭＰＵ１６は、画像処理回路１５で表示用画像処理が施された画像データに対応したスルー画像をモニタ２０に表示させる。そして、次のステップＳ１３において、ＭＰＵ１６は、モニタ２０上に動画態様で表示される被写体のスルー画像に対して図４に示すＷＢ処理ルーチンを実行する。すなわち、モニタ２０に表示されるスルー画像中の白色の領域が撮影時の光源の下で白色に写るように画像全体のホワイトバランスを補正するための処理を実行する。なお、このＷＢ処理ルーチンの詳細については後述する。
【００２８】
さて、ステップＳ１３でＷＢ処理ルーチンを実行すると、ＭＰＵ１６は、次のステップＳ１４に処理を移行する。そして、ステップＳ１４において、ＭＰＵ１６は、先のステップＳ１３でのＷＢ補正内容が反映されたスルー画像をモニタ２０に表示させる。その後、スルー画像の表示状態を継続させつつ、ＭＰＵ１６は、その処理を次のステップＳ１５に移行する。そして次のステップＳ１５において、ＭＰＵ１６は、操作部材２３のレリーズボタンが半押しされたか否かを判定する。
【００２９】
そして、このステップＳ１５の判定結果が否定判定（ステップＳ１５＝ＮＯ）である場合、ＭＰＵ１６は、その処理を次のステップＳ１６に移行し、ステップＳ１６において、電源ボタンがＯＦＦされたか否かを判定する。そして、このステップＳ１６の判定結果が肯定判定（ステップＳ１６＝ＹＥＳ）である場合、ＭＰＵ１６は、本撮影処理ルーチンを終了する。その一方、ステップＳ１６の判定結果が否定判定（ステップＳ１６＝ＮＯ）である場合、ＭＰＵ１６は、その処理をステップＳ１５に戻す。そして、レリーズボタンが半押しされたか否かの判定を繰り返し、このステップＳ１５の判定結果が肯定判定（ステップＳ１５＝ＹＥＳ）になると、ＭＰＵ１６は、その処理を次のステップＳ１７に移行する。
【００３０】
そして、ステップＳ１７において、ＭＰＵ１６は、レンズ部１２のズームレンズを駆動制御することにより、被写体に対する焦点合わせのためのＡＦ処理を実行した後、その次のステップＳ１８において、図示しない絞り機構を駆動制御することにより、露出調整のためのＡＥ処理を実行する。そして、ＡＦ処理及びＡＥ処理を実行すると、次のステップＳ１９において、ＭＰＵ１６は、操作部材２３のレリーズボタンが全押しされたか否かを判定する。
【００３１】
そして、このステップＳ１９の判定結果が否定判定（ステップＳ１９＝ＮＯ）である場合、ＭＰＵ１６は、その処理を次のステップＳ２０に移行し、ステップＳ２０において、レリーズボタンの半押し状態が解除されたか否かを判定する。そして、このステップＳ２０の判定結果が肯定判定（ステップＳ２０＝ＹＥＳ）である場合、ＭＰＵ１６は、その処理を先のステップＳ１５に戻し、ステップＳ１５以下の各処理を繰り返す。その一方、ステップＳ２０の判定結果が否定判定（ステップＳ２０＝ＮＯ）である場合、ＭＰＵ１６は、その処理をステップＳ１９に戻す。そして、レリーズボタンが全押しされたか否かの判定を繰り返し、このステップＳ１９の判定結果が肯定判定（ステップＳ１９＝ＹＥＳ）になると、ＭＰＵ１６は、その処理を次のステップＳ２１に移行する。
【００３２】
そして、ステップＳ２１において、ＭＰＵ１６は、その時点で撮像素子１３からＡＦＥ１４を介して画像処理回路１５に入力されたＲＡＷデータの画像データに対して確認用の静止画像を表示させるための表示用画像処理を画像処理回路１５において行なわせた後、その処理を次のステップＳ２２に移行する。そして、次のステップＳ２２において、ＭＰＵ１６は、その画像処理が施された画像データと対応する表示用画像に対して図４に示すＷＢ処理ルーチンを実行する。すなわち、モニタ２０に表示される静止画像中の白色の領域が撮影時の光源の下で白色に写るように画像全体のホワイトバランスを補正するための処理を実行する。
【００３３】
このステップＳ２２でのＷＢ処理ルーチンを実行すると、ＭＰＵ１６は、次のステップＳ２３に処理を移行する。そして、ステップＳ２３において、ＭＰＵ１６は、ステップＳ２２でのＷＢ補正内容が反映された静止画像をモニタ２０に表示させた後、その静止画像の表示状態を継続させつつ、次のステップＳ２４に処理を移行する。そして次のステップＳ２４において、ＭＰＵ１６は、メタデータにファイル名及び所定の付加情報を含ませた画像ファイルを画像処理回路１５において作成させる。そして次のステップＳ２５において、ＭＰＵ１６は、ＪＰＥＧ圧縮等の所定のフォーマット処理を施された画像ファイルをカードＩ／Ｆ２２に挿入されているメモリカード２１に記録させた後、ステップＳ１２に処理を戻し、以後、再びステップＳ１２以降の各処理を繰り返す。
【００３４】
次に、ＭＰＵ１６が撮影処理ルーチンのステップＳ１３（及びステップＳ２２）で実行するＷＢ処理ルーチンについて図４を参照しながら説明する。
さて、ＷＢ処理ルーチンが開始すると、まずステップＳ３１において、ＭＰＵ１６は、その時点でのカメラ１１におけるＷＢ処理の設定モードを判定する。具体的には、光源の色温度の違いに応じて自動的にＷＢ補正が実行されるＡＷＢ（オートホワイトバランス）モードに設定されているか否かを判定する。
【００３５】
そして、このステップＳ３１の判定結果が否定判定（ステップＳ３１＝ＮＯ）である場合、ＭＰＵ１６は、その処理をステップＳ３２に移行する。そして、次のステップＳ３２において、ＭＰＵ１６は、「マニュアルＷＢ処理ルーチン」を実行する。すなわち、その時点でユーザによるダイヤル操作等の手動操作で設定されているＷＢ補正係数を所定のメモリ（例えば、不揮発性メモリ１８）から読み出し、その読み出したＷＢ補正係数を使用して画像全体のホワイトバランス補正を行なう。その後、ＭＰＵ１６は、撮影処理ルーチンにおける次のステップ（Ｓ１４又はＳ２３）に処理を移行する。
【００３６】
一方、先のステップＳ３１の判定結果が肯定判定（ステップＳ３１＝ＹＥＳ）であった場合、ＭＰＵ１６は、ステップＳ３３において、その時点でのカメラ１１におけるシーンモードが風景モードやペットモード等以外の人物を被写体に含む特別シーンモードに設定されているか否かを判定する。そして、このステップＳ３３の判定結果が否定判定（ステップＳ３３＝ＮＯ）である場合、ＭＰＵ１６は、その処理をステップＳ３４に移行する。
【００３７】
そして次のステップＳ３４において、ＭＰＵ１６は、自動的に画像全体の色情報を平均化して無彩色とするようなＷＢ補正が行われる周知の「通常ＡＷＢ処理ルーチン」を実行する。すなわち、その時点でモニタ２０に表示されている画像全体をモニタ２０の画面内で複数のエリアに分割し、分割エリア毎にＲ，Ｇ，Ｂの各色信号の平均積算値を求めると共に、その平均積算値からＲ信号の積算値とＧ信号の積算値との比（Ｒ／Ｂ）及びＢ信号の積算値とＧ信号の積算値との比（Ｂ／Ｇ）をＷＢ補正係数として求める。そして、そのようにして求めたＷＢ補正係数を使用して、画像内におけるＲ，Ｇ，Ｂの各色信号の相対比率が１：１：１となるように、画像全体のホワイトバランスを補正する。その後、ＭＰＵ１６は、撮影処理ルーチンにおける次のステップ（Ｓ１４又はＳ２３）に処理を移行する。
【００３８】
また一方、先のステップＳ３３での判定結果が肯定判定（ステップＳ３３＝ＹＥＳ）である場合、ＭＰＵ１６は、その処理をステップＳ３５に移行する。そして次のステップＳ３５において、ＭＰＵ１６は、画像内に被写体として写っている人物の白目領域の色情報に基づきＷＢ補正が行われる「特別ＡＷＢ処理ルーチン」を実行する。
【００３９】
そこで次に、ＭＰＵ１６がＷＢ処理ルーチンのステップＳ３５で実行する特別ＡＷＢ処理ルーチンについて図５を参照しながら説明する。
さて、特別ＡＷＢ処理ルーチンが開始すると、まず、ステップＳ４１において、ＭＰＵ１６は、モニタ２０に表示される画像（スルー画像又は静止画像）中に含まれる人物の顔面領域３０（図２参照）を検出する。すなわち、ＭＰＵ１６は、顔面領域検出手段として顔面領域検出ステップを実行する。そして、次のステップＳ４２において、ＭＰＵ１６は、顔面領域３０が検出されたか否か、すなわち画像中に人物の顔が写っているか否かを判定する。そして、このステップＳ４２の判定結果が否定判定（ステップＳ４２＝ＮＯ）である場合、ＭＰＵ１６は、その処理を図４のＷＢ処理ルーチンにおけるステップＳ３４に移行し、既述した通常ＡＷＢ処理ルーチンを実行する。
【００４０】
その一方、ステップＳ４２の判定結果が肯定判定（ステップＳ４２＝ＹＥＳ）である場合、ＭＰＵ１６は、次のステップＳ４３において、その検出された顔面領域３０中に含まれる目領域３１（図２参照）中の白目領域３２（図２参照）を検出する。すなわち、ＭＰＵ１６は、白目領域検出手段として白目領域検出ステップを実行する。そして、次のステップＳ４４において、ＭＰＵ１６は、白目領域３２が検出されたか否か、すなわち、顔面領域３０中から目領域３１が検出されたとしても、その目領域３１中に白目領域３２が含まれているか否かを判定する。そして、このステップＳ４４の判定結果が否定判定（ステップＳ４４＝ＮＯ）である場合、ＭＰＵ１６は、その処理を図４のＷＢ処理ルーチンにおけるステップＳ３４に移行し、既述した通常ＡＷＢ処理ルーチンを実行する。
【００４１】
その一方、ステップＳ４４の判定結果が肯定判定（ステップＳ４４＝ＹＥＳ）である場合、ＭＰＵ１６は、次のステップＳ４５において、その検出された白目領域３２の数は１つであるか否かを判定する。そして、その判定結果が肯定判定（ステップＳ４５＝ＹＥＳ）である場合、ＭＰＵ１６は、次のステップＳ４６において、その１つの白目領域３２内の色情報に基づきＷＢ補正係数を算出する。すなわち、その１つの白目領域３２内を複数のエリアに分割し、分割エリア毎にＲ，Ｇ，Ｂの各色信号の平均積算値を求めると共に、その平均積算値からＲ信号の積算値とＧ信号の積算値との比（Ｒ／Ｂ）及びＢ信号の積算値とＧ信号の積算値との比（Ｂ／Ｇ）をＷＢ補正係数として求める。
【００４２】
そして、次のステップＳ４７において、ＭＰＵ１６は、そのようにして求めたＷＢ補正係数をＲＡＭ１９に一旦記憶させて、画像全体のＷＢ補正に使用する補正係数として設定する。そして、次のステップＳ４８において、ＭＰＵ１６は、ＲＡＭ１９から読み出したＷＢ補正係数を使用して、画像内におけるＲ，Ｇ，Ｂの各色信号の相対比率が１：１：１となるように、画像全体のホワイトバランスを補正する。すなわち、ＭＰＵ１６は、補正手段として補正ステップを実行する。そして、その後、ＭＰＵ１６は、撮影処理ルーチンにおける次のステップ（Ｓ１４又はＳ２３）に処理を移行する。
【００４３】
一方、先のステップＳ４５の判定結果が否定判定（ステップＳ＝ＮＯ）である場合、ＭＰＵ１６は、その処理をステップＳ４９に移行し、基準となる１つの白目領域３２を決定してＷＢ補正処理を行う基準白目領域ＷＢ処理ルーチンを実行する。すなわち、ＭＰＵ１６は、補正係数決定ステップを実行する。
【００４４】
そこで次に、ＭＰＵ１６が特別ＡＷＢ処理ルーチンのステップＳ４９で実行する基準白目領域ＷＢ処理ルーチンについて図６を参照しながら説明する。
さて、基準白目領域ＷＢ処理ルーチンが開始すると、まずステップＳ５１において、ＭＰＵ１６は、その時点で検出されている複数の白目領域３２を選考対象白目領域として、当該選考対象白目領域の色情報を表す色空間をＲＧＢ色空間からＨＳＶ色空間へと色変換する。すなわち、各白目領域３２の色情報を表すための色空間を、Ｒ（赤），Ｇ（緑），Ｂ（青）の各濃度値（色情報値）で表わすＲＧＢ色空間から、Ｈ（色相），Ｓ（彩度），Ｖ（明度）の各値（色情報値）で表わすＨＳＶ色空間４０（図７〜図９参照）へと色変換する。
【００４５】
ここで、ＨＳＶ色空間４０について説明する。
図７〜図９に示すように、ＨＳＶ色空間４０は、無彩色軸線４０ａを中心軸線とする円錐形状の色空間であり、色相Ｈは、図７に示すように、無彩色軸線４０ａを中心とする色空間内の周方向における角度位置が、Ｒ（赤）→Ｙ（黄）→Ｇ（緑）→Ｃ（シアン）→Ｂ（青）→Ｍ（マゼンタ）という各色の色相値を表すようになっている。そして、図７に示すように、周方向でＲ（赤）と対応したＲ角度位置からＹ（黄）方向へ所定角度位置ずれした第１閾値位置４１ａよりもＲ角度位置側であって、且つ同じくＲ角度位置からＭ（マゼンタ）方向へ所定角度位置ずれした第２閾値位置４１ｂよりもＲ角度位置側となる所定角度範囲のハッチング領域が色相異常領域４１とされている。
【００４６】
また、彩度Ｓは、図８に示すように、無彩色軸線４０ａを中心とする色空間内の径方向における中心からの距離が、その色空間内での各色の彩度値を表すようになっている。そして、図８に示すように、径方向で無彩色軸線４０ａからの距離が第１閾値位置４２ａよりも大きくなる外側ハッチング領域と、同じく無彩色軸線４０ａからの距離が第２閾値位置４２ｂ（＜第１閾値位置４２ａ）よりも小さくなる内側ハッチング領域とが、彩度異常領域４２とされている。
【００４７】
また、明度Ｖは、図９に示すように、無彩色軸線４０ａを中心とする色空間内の軸線方向における高さ位置が、その色空間内での各色の明度値を表すようになっている。そして、図９に示すように、軸線方向で第１閾値位置４３ａよりも高さ位置が高くなる上側ハッチング領域と、第２閾値位置４３ｂ（＜第１閾値位置４３ａ）よりも高さ位置が低くなる下側ハッチング領域とが、明度異常領域４３とされている。
【００４８】
再び、図６に戻って、ステップＳ５１でのＨＳＶ色空間４０への色変換を実行すると、次のステップＳ５２において、ＭＰＵ１６は、その時点で検出されている複数の白目領域３２のうちから当該白目領域３２における色相Ｈの色情報値（色相値）が異常である色相異常白目領域を特定する。すなわち、その時点で選考対象とされる複数の白目領域３２を第一次選考対象白目領域として、それら複数の第一次選考対象白目領域のうちから、図７にハッチング領域で示す色相異常領域４１内に色相値が存在することになる白目領域３２を、色相異常白目領域として特定する。
【００４９】
そして次のステップＳ５３において、ＭＰＵ１６は、それら複数の第一次選考対象白目領域のうちで色相異常白目領域とされる白目領域３２の比率が５０％未満であるか否かを判定する。そして、その判定結果が肯定判定（ステップＳ５３＝ＹＥＳ）である場合、次のステップＳ５５において、ＭＰＵ１６は、それら複数の第一次選考対象白目領域から色相異常白目領域を除外する。その結果、第一次選考対象白目領域よりも数量の少ない白目領域３２が第二次選考対象白目領域として残ることになる。そして、ＭＰＵ１６は、その処理を次のステップＳ５５に移行する。
【００５０】
その一方、ステップＳ５３の判定結果が否定判定（ステップＳ５３＝ＮＯ）である場合、ＭＰＵ１６は、ステップＳ５４の処理をすることなく、その処理をステップＳ５５に移行する。したがって、この場合は、第一次選考対象白目領域と同じ数量の白目領域３２が第二次選考対象白目領域として残ることになる。
【００５１】
以上のようにして基準白目領域の第一次選考が終了すると、次のステップＳ５５において、ＭＰＵ１６は、その時点で残っている第二次選考対象白目領域のうちから当該白目領域３２における彩度Ｓの色情報値（彩度値）が異常である彩度異常白目領域を特定する。すなわち、その時点で残っている第二次選考対象白目領域のうちから、図８にハッチング領域で示す彩度異常領域４２内に彩度値が存在することになる白目領域３２を、彩度異常白目領域として特定する。
【００５２】
そして次のステップＳ５６において、ＭＰＵ１６は、それら複数の第二次選考対象白目領域のうちで彩度異常白目領域とされる白目領域３２の比率が５０％未満であるか否かを判定する。そして、その判定結果が肯定判定（ステップＳ５６＝ＹＥＳ）である場合、次のステップＳ５７において、ＭＰＵ１６は、それら複数の第二次選考対象白目領域から彩度異常白目領域を除外する。その結果、第二次次選考対象白目領域よりも数量の少ない白目領域３２が第三次選考対象白目領域として残ることになる。そして、ＭＰＵ１６は、その処理を次のステップＳ５８に移行する。
【００５３】
その一方、ステップＳ５６の判定結果が否定判定（ステップＳ５６＝ＮＯ）である場合、ＭＰＵ１６は、ステップＳ５７の処理をすることなく、その処理をステップＳ５８に移行する。したがって、この場合は、第二次選考対象白目領域と同じ数量の白目領域３２が第三次選考対象白目領域として残ることになる。
【００５４】
以上のようにして基準白目領域の第二次選考が終了すると、次のステップＳ５８において、ＭＰＵ１６は、その時点で残っている第三次選考対象白目領域のうちから当該白目領域３２における明度Ｖの色情報値（明度値）が異常である明度異常白目領域を特定する。すなわち、その時点で残っている第三次選考対象白目領域のうちから、図９にハッチング領域で示す明度異常領域４３内に明度値が存在することになる白目領域３２を、明度異常白目領域として特定する。
【００５５】
そして次のステップＳ５９において、ＭＰＵ１６は、それら複数の第三次選考対象白目領域のうちで明度異常白目領域とされる白目領域３２の比率が５０％未満であるか否かを判定する。そして、その判定結果が肯定判定（ステップＳ５９＝ＹＥＳ）である場合、次のステップＳ６０において、ＭＰＵ１６は、それら複数の第三次選考対象白目領域から明度異常白目領域を除外する。その結果、第三次選考対象白目領域よりも数量の少ない白目領域３２が最終選考対象白目領域として残ることになる。そして、ＭＰＵ１６は、その処理を次のステップＳ６１に移行する。
【００５６】
その一方、ステップＳ５９の判定結果が否定判定（ステップＳ５９＝ＮＯ）である場合、ＭＰＵ１６は、ステップＳ６０の処理をすることなく、その処理をステップＳ６１に移行する。したがって、この場合は、第三次選考対象白目領域と同じ数量の白目領域３２が最終選考対象白目領域として残ることになる。
【００５７】
以上のようにして基準白目領域の第三次選考が終了すると、次のステップＳ６１において、ＭＰＵ１６は、その時点で残っている最終選考対象白目領域のうちからＷＢ補正係数を算出するための色情報を取得する対象領域となる基準白目領域を特定する。すなわち、その時点で残っている最終選考対象白目領域のうちから予め定めた選考基準値（本実施形態では彩度値）が中央値となる１つの白目領域３２を基準白目領域として特定する。
【００５８】
そして、基準白目領域が特定されると、次のステップＳ６２において、ＭＰＵ１６は、その基準白目領域内の色情報に基づきＷＢ補正係数を算出する。すなわち、基準白目領域内を複数のエリアに分割し、分割エリア毎にＲ，Ｇ，Ｂの各色信号の平均積算値を求めると共に、その平均積算値からＲ信号の積算値とＧ信号の積算値との比（Ｒ／Ｂ）及びＢ信号の積算値とＧ信号の積算値との比（Ｂ／Ｇ）をＷＢ補正係数として求める。
【００５９】
そして、次のステップＳ６３において、ＭＰＵ１６は、そのようにして求めたＷＢ補正係数をＲＡＭ１９に一旦記憶させて、画像全体のＷＢ補正に使用する補正係数として設定する。その後、ＭＰＵ１６は、特別ＡＷＢ処理ルーチンにおける次のステップ（Ｓ４８）に処理を移行する。そして、そのステップＳ４８において、ＭＰＵ１６は、ＲＡＭ１９から読み出したＷＢ補正係数を使用して、画像内におけるＲ，Ｇ，Ｂの各色信号の相対比率が１：１：１となるように、画像全体のホワイトバランスを補正する。すなわち、ＭＰＵ１６は、ここでも補正手段として補正ステップを実行する。そして、その後、ＭＰＵ１６は、撮影処理ルーチンにおける次のステップ（Ｓ１４又はＳ２３）に処理を移行する。
【００６０】
次に、以上のように構成された本実施形態のカメラ１１の作用について、特に、撮影時においてモニタ２０に表示される画像のホワイトバランス（ＷＢ）を補正する場合に使用するＷＢ補正係数の決定方法及びその補正係数を使用したＷＢの補正方法に着目して以下説明する。
【００６１】
なお、説明の前提として、この場合にカメラ１１で撮影する写真は図２に示す人物集合写真であって、Ａさん〜Ｇさんまでの７人全員の顔がそれぞれ両目を開けた状態で写っているものとする。但し、そのうちで後列右から二人目のＢさんは左目が赤っぽく充血していると共に、前列右端のＥさんは左右両目共に日が陰って暗くなった陰領域Ｋに位置しており、さらに前列左端のＧさんは左右両目共に肝臓疾患が原因で黄ばみを生じているものとする。そして、撮影時点でのカメラ１１のＷＢ補正の設定モードは自動的にＷＢ補正が行なわれるＡＷＢモードになっていると共に、その際のシーンモードは特別シーンモードに設定されているものとする。
【００６２】
さて、以上のような前提の下、カメラ１１が電源ボタンをＯＮ操作された状態でレンズ部１２を被写体となる７人の人物（Ａさん〜Ｇさん）に向けると、その７人の集合写真の画像がスルー画像としてモニタ２０に表示される。そして、この場合は、ＷＢ補正の設定モードがＡＷＢモードであって且つシーンモードが特別シーンモードであるため、画像中の白目領域３２の色情報に基づきＷＢ補正係数が決定されると共に、そのようにして決定されたＷＢ補正係数を用いてＷＢ補正が行なわれることになる。
【００６３】
まず、モニタ２０のスルー画像では７人全員の顔が両目を各々開けた状態で写っているため、全部で１４の白目領域３２が１つの基準白目領域を選考する際の選考対象白目領域となる。そして、それら１４個の第一次選考対象白目領域のうちから、まず色相Ｈの色情報値である色相値が異常な色相異常白目領域が除外される。この場合、後列右から二人目のＢさんは左目が赤っぽく充血しているため、その左目の白目領域３２は色相値が色相異常領域４１内に位置する。したがって、この第一次選考ではＢさんの左目の白目領域３２が除外されることになり、残り１３個の白目領域３２が第二次選考対象白目領域とされる。
【００６４】
すると次に、残り１３個の第二次選考対象白目領域のうちから、彩度Ｓの色情報値である彩度値が異常な彩度異常白目領域が除外される。この場合、前列左端のＧさんは左右両目共に肝臓疾患が原因で黄ばみを生じており、ややくすんだ色合いをしているため、それら左右両目の各白目領域３２は彩度値が低く彩度異常領域４２内に位置する。したがって、この第二次選考ではＧさんの左右両目の白目領域３２が除外されることになり、残り１１個の白目領域３２が第三次選考対象白目領域とされる。
【００６５】
すると次に、残り１１個の第三次選考対象白目領域のうちから、明度Ｖの色情報値である明度値が異常な明度異常白目領域が除外される。この場合、前列右端のＥさんは左右両目共に日陰の暗い陰領域Ｋ内に位置しているため、その左右両目の各白目領域３２は明度値が明度異常領域４３内に位置する。したがって、第三次選考ではＥさんの左右両目の白目領域３２が除外されることになり、残り９個の白目領域３２が最終選考対象白目領域とされる。
【００６６】
すると次に、残り９個の最終選考対象白目領域のうちから、彩度Ｓの色情報値である彩度値が中央値となる１つの白目領域３２が基準白目領域として決定される。ここで、残り９個の各白目領域３２の彩度値の相対比較では、後列右端のＡさんの左右両目の彩度値が最低値（０．１５）である一方、後列左端のＤさんの左右両目の彩度値が最高値（０．３５）であり、そして前列中央のＦさんの左目の彩度値が中央値（０．２５）であったとする。
【００６７】
すると、この場合は、彩度値が最高値でも最低値でもない中央値であるＦさんの左目の白目領域３２が基準白目領域として決定される。そして、Ｆさんの左目の白目領域３２の色情報（Ｒ，Ｇ，Ｂの各色の濃度値）からスルー画像のＷＢ補正用のＷＢ補正係数が求められ、そのようにして求められた補正係数を使用して次フレームからのスルー画像の画像全体のホワイトバランスが補正される。
【００６８】
その後、レリーズボタンが半押しされると、ＡＦ処理及びＡＥ処理がなされ、さらに、全押しされると、その時点のＲＡＷデータと対応した画像中の顔面領域３０から、スルー画像のＷＢ補正の場合と同様に、１つの基準白目領域が選考される。そして、そのようにして選考された基準白目領域の色情報（Ｒ，Ｇ，Ｂの各色の濃度値）から確認用静止画像のＷＢ補正用のＷＢ補正係数が求められ、そのようにして求められた補正係数を使用して確認用静止画像の画像全体のホワイトバランスが補正される。
【００６９】
以上のように、本実施形態では、白目領域３２の色情報（色相Ｈ、彩度Ｓ、明度Ｖ）を数値化して表示する色情報値（色相値、彩度値、明度値）が色相異常領域４１内や彩度異常領域４２内や明度異常領域４３内に位置することになる異常白目領域（Ｂさんの左目、Ｇさんの左右両目、Ｅさんの左右両目）を基準白目領域として選考することはない。したがって、そうした異常白目領域の色情報に基づいて画像全体のＷＢ補正に用いるＷＢ補正係数として不適切な補正係数を算出してしまう虞がない。
【００７０】
また、そのように異常白目領域を除外して残った最終選考対象白目領域のうちからも、それらの中で色情報値（例えば彩度値）が最大値や最低値のものではなく、最も平均的な値とみなせる中央値となる白目領域３２が基準白目領域として決定されるため、バランスを失した偏りのあるＷＢ補正係数を算出することも抑制される。その結果、撮影時の光源の違いに関わらず画像全体のＷＢ補正において適切に使用可能なＷＢ補正係数が決定されるようになり、そうした補正係数が用いられることから高精度なＷＢ補正が期待される。
【００７１】
以上のような第 １実施形態によれば、以下のような効果を得ることができる。
（１）画像データと対応する画像の中から複数の白目領域３２が検出された場合には、基準白目領域ＷＢ処理ルーチン（ステップＳ４９）をＭＰＵ１６が実行することにより、予め定めた決定手順に従って適切な１つの基準白目領域を決定でき、その基準白目領域の色情報に基づき適切なＷＢ補正係数を算出することができる。したがって、撮像した画像中に含まれる人物の白目領域３２の色情報に基づき、ホワイトバランス補正において適切に使用可能なホワイトバランス補正係数を決定することができると共に、そのようにして決定したＷＢ補正係数を使用することで高精度なホワイトバランス補正が期待できる。
【００７２】
（２）基準白目領域を選考する際の母集団となる選考対象白目領域が多数存在する場合でも、それらの中から予め定めた異常条件に該当する（すなわち、その白目領域３２の色情報値がＨＳＶ色空間４０内の異常領域４１，４２，４３内に位置する）白目領域３２については、これらを異常白目領域として除外した残りから選考を行なうことができる。したがって、基準白目領域の選考を効率良く行なうことができる。
【００７３】
（３）基準白目領域を選考する際には、ＨＳＶ色空間４０の色情報を構成する色相Ｈと彩度Ｓと明度Ｖの各々について、その時点で選考対象白目領域として残っている白目領域３２の色情報値（色相値、彩度値、明度値）が異常領域４１，４２，４３内に位置するか否かを判定した結果で選考対象白目領域を次々に絞り込んでいる。したがって、基準白目領域の選考をきめ細かく行なうことができる。
【００７４】
（４）最終的に１つの基準白目領域を決定するにあたり、その時点で選考対象白目領域として残っている白目領域３２の中から、その色情報値（本実施形態の場合は、彩度値）が最大値でも最低値でもない中央値である白目領域３２を選んでいるので、ＷＢ補正係数としてバランスを失した偏りのあるＷＢ補正係数を算出することを抑制できる。
【００７５】
（５）基準白目領域の選考において、その時点での選考対象白目領域の中に占める当該選考段階で除外対象候補とされる異常白目領域の比率が大きい（本実施形態の場合は５０％以上）の場合には、それらの異常白目領域を除外せずに、色情報値が広範囲に亘る多数の白目領域の中から基準白目領域を選考するようにしている。したがって、基準白目領域の選考を柔軟な選考基準でもって行なうことができる。
【００７６】
（第２実施形態）
次に、本発明の第２実施形態について説明する。なお、第２実施形態は第１実施形態との対比において、図５に示す特別ＡＷＢ処理ルーチンのステップＳ４２とステップＳ４３の間に基準顔面領域決定ステップを有する点、及び、ステップＳ４９の基準白目領域ＷＢ処理ルーチンの一部を変更した点でのみ相違している。したがって、以下ではこの相違点について主に説明することにし、その他の共通する点については同一符号などを付すことで重複した説明を省略する。
【００７７】
さて、特別ＡＷＢ処理ルーチンにおけるステップＳ４２の判定結果が肯定判定（すなわち、ステップＳ４２＝ＹＥＳ）である場合、ＭＰＵ１６は、基準顔面領域決定ステップを実行する。
【００７８】
すなわち、ＭＰＵ１６は、まず検出された顔面領域３０が複数あるか否かを判定する。そして、その判定結果が否定判定（すなわち、検出された顔面領域３０は１つ）である場合、ＭＰＵ１６は、その処理を次のステップＳ４３に移行し、以後、第１実施形態の場合と同様の処理を行なう。その一方、判定結果が肯定判定（すなわち、検出された顔面領域３０が複数）である場合、ＭＰＵ１６は、それら複数の顔面領域３０から予め定めた決定手順に従って一つの基準顔面領域を決定する。
【００７９】
本実施形態の場合は、図１０の写真Ｐ２に示すように、顔面積の大きさが最大となる人物（図２の場合は前列中央のＦさん）を主要被写体とみなし、かかる主要被写体とみなされる人物の顔面領域３０を基準顔面領域に決定する。この点で、こうした基準顔面領域決定ステップを実行するＭＰＵ１６は、基準顔面領域決定手段として機能することになる。
【００８０】
そして次のステップＳ４３において、ＭＰＵ１６は、主要被写体とみなされたＦさんの顔面領域３０を基準顔面領域として、当該顔面領域中から白目領域３２を検出する。そしてステップＳ４５における判定結果が否定判定となった場合、次のステップＳ４９で基準白目領域ＷＢ処理ルーチンを実行し、１つの基準白目領域を決定する。
【００８１】
このステップＳ４９の基準白目領域ＷＢ処理ルーチンにおいて、本実施形態では、２つの白目領域３２（すなわち、Ｆさんの左右両目）のうち何れか一方の白目領域の色情報値（色相値、彩度値、明度値）が異常領域４１，４２，４３内に位置することになると、その一方の白目領域３２が選考対象白目領域から除外される。そして、残る１つの白目領域３２が次の選考段階で他の色情報値（色相値、彩度値、明度値）が異常領域４１，４２，４３内に位置することになってしまった場合には、先の選考段階で除外された前記一方の白目領域３２も含めて２つの白目領域３２が有する色情報値の合計を２で除することにより平均値を求めるようにしている。
【００８２】
そして、以上のような手順に従ってＷＢ補正係数を算出し、そのようにして算出された補正係数を用いてＷＢ補正が行なわれる。したがって、この第２実施形態によれば、第１実施形態における（１）に相当する効果を得ることができると共に、その写真Ｐ２の画像内で主要被写体とみなされる人物の白目領域を基準にしてＷＢ補正係数を求めることができるので、主要被写体を鮮やかに表現できるようになる。
【００８３】
（第３実施形態）
次に、本発明の第３実施形態について説明する。なお、第３実施形態は第１実施形態との対比において、図５に示す特別ＡＷＢ処理ルーチンのステップＳ４２とステップＳ４３の間に基準顔面領域決定ステップを有する点、及び、ステップＳ４９の基準白目領域ＷＢ処理ルーチンの一部を変更した点でのみ相違している。したがって、以下ではこの相違点について主に説明することにし、その他の共通する点については同一符号などを付すことで重複した説明を省略する。
【００８４】
さて、特別ＡＷＢ処理ルーチンにおけるステップＳ４２の判定結果が肯定判定（すなわち、ステップＳ４２＝ＹＥＳ）である場合、ＭＰＵ１６は、基準顔面領域決定ステップを実行する。この点で、第３実施形態は第２実施形態と共通しているといえる。
【００８５】
すなわち、第３実施形態でも、ＭＰＵ１６は、検出された顔面領域３０が複数あると、それら複数の顔面領域３０から予め定めた決定手順に従って主要被写体とみなされる人物の顔面領域３０を一つの基準顔面領域として決定する。
【００８６】
但し、本実施形態の場合は、ステップＳ４９の基準白目領域ＷＢ処理ルーチンにおいて２つの白目領域３２（すなわち、Ｆさんの左右両目）が各々有する色情報値の合計を２で除することにより平均値を求め、その平均値に基づきＷＢ補正係数を算出し、そのようにして算出された補正係数を用いてＷＢ補正が行なわれるようになっている。
【００８７】
したがって、この第３実施形態においても、第１実施形態における（１）に相当する効果を得ることができると共に、その画像内で主要被写体とみなされる人物の白目領域を基準にしてＷＢ補正係数を求めることができるので、主要被写体を鮮やかに表現できるようになる。さらには、効率良く基準白目領域を決定することができるようになる。
【００８８】
（第４実施形態）
次に、本発明の第４実施形態について説明する。なお、第４実施形態は第１実施形態との対比において、図５に示す特別ＡＷＢ処理ルーチンでのステップＳ４９の基準白目領域ＷＢ処理ルーチンの処理内容を変更した点でのみ相違している。したがって、以下ではこの相違点について主に説明することにし、その他の共通する点については同一符号などを付すことで重複した説明を省略する。
【００８９】
さて、特別ＡＷＢ処理ルーチンにおけるステップＳ４５の判定結果が否定判定となった場合、ＭＰＵ１６は、次のステップＳ４９で基準白目領域ＷＢ処理ルーチンを実行する。そして、この場合、第４実施形態では、選考対象白目領域とされる複数の白目領域３２の各々が有する色情報値の合計を、そのときの選考対象白目領域とされている白目領域３２の数で除することにより平均値を求め、その平均値に基づきＷＢ補正係数を算出し、そのようにして算出された補正係数を用いてＷＢ補正が行なわれるようになっている。
【００９０】
但し、その白目領域３２が有する色情報値が異常領域４１，４２，４３に位置することになる異常白目領域は除外して残った一群の白目領域を選考対象白目領域として、それらの各白目領域３２が各々有する色情報値の平均値をＷＢ補正係数として求めるようにしてもよい。
【００９１】
したがって、この第４実施形態においても、第１実施形態における（１）に相当する効果を得ることができると共に、選考対象白目領域とされる複数の白目領域３２がそれぞれ有している各色情報値の合計の平均値に基づき効率良くＷＢ補正係数を求めることができるようになる。
【００９２】
なお、上記各実施形態は以下のような別の実施形態に変更してもよい。
・上記各実施形態において、選考対象白目領域の中から異常白目領域を除外することをせずに、選考対象白目領域の全てからダイレクトに基準白目領域を予め定めた決定手順に従い選考するようにしてもよい。
【００９３】
・上記第１実施形態及び第２実施形態において、最終選考では、色情報値（彩度値）が中央値ではなくて最頻値となる白目領域３２を基準白目領域に決定してもよい。
・上記第１実施形態及び第２実施形態において、最終選考では、彩度値以外の他の色情報値（色相値、明度値）が中央値（又は最頻値）となる白目領域３２を基準白目領域に決定してもよい。
【００９４】
・上記第１実施形態及び第２実施形態において、色相値による第一次選考、彩度値による第二次選考、明度値による第三次選考は省略し、何れか一つの色情報値（例えば、彩度値）による最終選考だけでもよい。または、第一次選考〜第三次選考は、それらの少なくとも一つが行なわれるものであってもよい。
【００９５】
・上記第１実施形態及び第２実施形態において、ＨＳＶ色空間４０内において色情報値の異常領域４１，４２，４３の範囲を規定する第１閾値位置４１ａ，４２ａ，４３ａ及び第２閾値位置４１ｂ，４２ｂ，４３ｂは任意に変更可能である。
【００９６】
・上記第１実施形態及び第２実施形態において、基準白目領域ＷＢ処理ルーチンにおけるステップＳ５３，Ｓ５６，Ｓ５９で異常白目領域の占有率を判定する際の数値は５０％に限定されず任意に変更可能である。
【００９７】
・上記第２実施形態及び第３実施形態において、主要被写体を選択する際には、図１１の写真Ｐ３に示すように、その顔に焦点３３が合っている人物（図１１の場合は前列中央のＦさん）を主要被写体とみなして基準顔面領域を決定するようにしてもよい。又は、図１２の写真Ｐ４に示すように、その顔に焦点３３が一番近い人物（図１２の場合は後列左端のＤさん）を主要被写体とみなして基準顔面領域を決定するようにしてもよい。要するに、画像中において、最も焦点３３に近い顔面領域３０の人物を主要被写体とみなして基準顔面領域を決定するようにしてもよい。
【００９８】
・上記各実施形態において、ＭＰＵ１６は、画像処理回路１５においてＲＡＷデータの画像ファイルを生成させると共に、そのメタデータに付加情報としてＷＢ補正係数の情報を組み込み、その画像ファイルのデータをカメラ１１とは別のホワイトバランス補正装置として機能するＰＣ等で読み込ませて、その画像のＷＢ補正を行なうようにしてもよい。
【００９９】
・上記実施形態においては、撮像装置の一種であるデジタルスチルカメラに具体化したが、例えばデジタルビデオカメラやカメラ機能付き携帯電話などの他の撮像装置に具体化してもよい。
【符号の説明】
【０１００】
１１…カメラ（撮像装置）、１３…撮像素子、１５…画像処理回路、１６…ＭＰＵ（顔面領域検出手段、白目領域検出手段、補正係数決定手段、基準顔面領域決定手段、補正手段、ホワイトバランス補正係数決定装置、ホワイトバランス補正装置）、２０…モニタ（表示手段）、３０…顔面領域、３２…白目領域。
【技術分野】
【０００１】
本発明は、ホワイトバランス補正係数決定方法、ホワイトバランス補正係数決定装置、ホワイトバランス補正方法、ホワイトバランス補正装置、及び撮像装置に関する。
【背景技術】
【０００２】
従来から、例えば特許文献１に記載されるように、電子カメラ等の撮像装置により撮像された画像のホワイトバランスを補正する技術が知られている。すなわち、特許文献１の撮像装置では、撮像画像中に含まれる人物の顔面領域中から白目領域を検出すると共に、その白目領域の色情報に基づいてホワイトバランス補正係数（以下、「ＷＢ補正係数」ともいう。）を決定し、そのＷＢ補正係数を使用して画像中の白目領域が白色に写るように画像全体のホワイトバランスを補正している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−１８２３６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、特許文献１の撮像装置では、撮像画像中に複数の顔面領域（すなわち、複数の人物）が写っている場合、それらのうちから任意の一人の顔面領域を検出し、その任意の一人の顔面領域に含まれる目領域中の白目領域の色情報に基づいてＷＢ補正係数を決定している。そのため、その任意の一人の白目領域が、たまたま充血していたり、病気等で変色していたりすると、その画像全体のホワイトバランス補正に使用するには適切でないＷＢ補正係数に決定してしまう虞があり、そうなると高精度なホワイトバランスの補正が期待できなくなるという問題があった。
【０００５】
本発明は、このような事情に鑑みてなされたものであり、その目的は、撮像した画像中に含まれる人物の白目領域の色情報に基づき、ホワイトバランス補正において適切に使用可能なホワイトバランス補正係数を決定することができるホワイトバランス補正係数決定方法、ホワイトバランス補正係数決定装置を提供することにある。また、本発明の更なる目的は、高精度なホワイトバランス補正が期待できるホワイトバランス補正方法、ホワイトバランス補正装置、及び撮像装置を提供することにある。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明のホワイトバランス補正係数決定方法は、被写体からの光を受光して電気信号に変換する撮像素子から出力された画像データと対応する画像中に含まれる人物の顔面領域を検出する顔面領域検出ステップと、前記顔面領域検出ステップで検出された顔面領域中に含まれる白目領域を検出する白目領域検出ステップと、前記白目領域検出ステップで複数の白目領域が検出された場合に当該複数の白目領域の色情報に基づき前記画像のホワイトバランス補正において使用する補正係数を予め定めた決定手順に従って決定する補正係数決定ステップとを備えたことを要旨とする。
【０００７】
また、本発明のホワイトバランス補正係数決定方法において、前記補正係数決定ステップでは、前記白目領域検出ステップで検出した前記複数の白目領域から予め定めた異常条件に該当する異常白目領域を除外した残りの白目領域の色情報に基づき前記補正係数を決定することを要旨とする。
【０００８】
また、本発明のホワイトバランス補正係数決定方法において、前記補正係数決定ステップでは、前記複数の白目領域のうちから予め定めた基準条件に該当する一つの白目領域を基準白目領域として決定し、当該基準白目領域の色情報に基づき前記補正係数を決定することを要旨とする。
【０００９】
また、本発明のホワイトバランス補正係数決定方法は、前記顔面領域検出ステップで複数の顔面領域が検出された場合に前記各顔面領域のうち主要被写体となる人物の顔面領域を予め定めた決定手順に従って基準顔面領域として決定する基準顔面領域決定ステップを更に備え、前記白目領域検出ステップでは、前記基準顔面領域中に含まれる白目領域を検出することを要旨とする。
【００１０】
また、本発明のホワイトバランス補正係数決定方法において、前記補正係数決定ステップでは、前記複数の白目領域から予め定めた異常条件に該当する異常白目領域を除外した残りの白目領域を少なくとも含む一群の白目領域の各色情報が示す一群の色情報値の平均値に基づき前記補正係数を決定することを要旨とする。
【００１１】
また、本発明のホワイトバランス補正係数決定装置は、被写体からの光を受光して電気信号に変換する撮像素子から出力された画像データと対応する画像中に含まれる人物の顔面領域を検出する顔面領域検出手段と、前記顔面領域検出手段により検出された顔面領域中に含まれる白目領域を検出する白目領域検出手段と、前記白目領域検出手段により複数の白目領域が検出された場合に当該複数の白目領域の色情報に基づき前記画像のホワイトバランス補正において使用する補正係数を予め定めた決定手順に従って決定する補正係数決定手段とを備えたことを要旨とする。
【００１２】
また、本発明のホワイトバランス補正係数決定装置において、前記顔面領域検出手段により複数の顔面領域が検出された場合に前記各顔面領域のうち主要被写体となる人物の顔面領域を予め定めた決定手順に従って基準顔面領域として決定する基準顔面領域決定手段を更に備え、前記白目領域検出手段は、前記基準顔面領域中に含まれる白目領域を検出することを要旨とする。
【００１３】
また、本発明のホワイトバランス補正方法は、被写体からの光を受光して電気信号に変換する撮像素子から出力された画像データと対応する画像のホワイトバランスを上記ホワイトバランス補正係数決定方法によって決定した補正係数を使用して補正する補正ステップを備えたことを要旨とする。
【００１４】
また、本発明のホワイトバランス補正装置は、被写体からの光を受光して電気信号に変換する撮像素子から出力された画像データと対応する画像のホワイトバランスを上記ホワイトバランス補正係数決定方法によって決定した補正係数を使用して補正する補正手段を備えたことを要旨とする。
【００１５】
また、本発明の撮像装置は、被写体からの光を受光して電気信号に変換する撮像素子と、前記撮像素子から出力された画像データと対応する画像を表示する表示手段と、上記のホワイトバランス補正係数決定装置と、前記補正係数決定装置により決定された補正係数を用いて前記画像のホワイトバランスを補正する補正手段とを備えたことを要旨とする。
【発明の効果】
【００１６】
本発明によれば、撮像した画像中に含まれる人物の白目領域の色情報に基づいてホワイトバランス補正において適切に使用可能なホワイトバランス補正係数を決定することができると共に、高精度なホワイトバランス補正が期待できる。
【図面の簡単な説明】
【００１７】
【図１】デジタルカメラの回路構成を示すブロック図。
【図２】第１実施形態における人物集合写真の画面図。
【図３】撮影処理ルーチンのフローチャート。
【図４】ＷＢ処理ルーチンのフローチャート。
【図５】特別ＡＷＢ処理ルーチンのフローチャート。
【図６】基準白目領域ＷＢ処理ルーチンのフローチャート。
【図７】ＨＳＶ色空間における色相値の異常範囲を示す模式図。
【図８】ＨＳＶ色空間における彩度値の異常範囲を示す模式図。
【図９】ＨＳＶ色空間における明度値の異常範囲を示す模式図。
【図１０】第２実施形態における人物集合写真の画面図。
【図１１】変形例における人物集合写真の画面図。
【図１２】他の変形例における人物集合写真の画面図。
【発明を実施するための形態】
【００１８】
（第１実施形態）
以下、本発明を撮像装置としてのデジタルスチルカメラ（以下、「カメラ」という。）で撮像した画像のホワイトバランス（以下、「ＷＢ」と称することもある。）を補正する際のＷＢ補正係数決定方法とＷＢ補正方法、及びその際に使用するＷＢ補正係数決定装置とＷＢ補正装置に具体化した第１実施形態を図１〜図６に基づいて説明する。
【００１９】
図１はカメラ１１の回路構成を示すブロック図であり、同図に示すように、カメラ１１は、ズームレンズなどの複数のレンズからなるレンズ部１２（図１では図面の簡略化のため１つのレンズのみ図示）と、レンズ部１２を通過した被写体光をレンズ部１２の像空間側において結像させる撮像素子１３をカメラ本体（図示略）内に有している。撮像素子１３の出力側には、ＡＦＥ（Analog Front End）１４と画像処理回路１５が直列に接続されている。そして、ＭＰＵ（Micro Processing Unit）１６に対して画像処理回路１５がデータバス１７を介して接続されている。
【００２０】
また、ＭＰＵ１６には、カメラ１１の制御プログラムを記憶した不揮発性メモリ１８、バッファメモリとして機能するＲＡＭ１９、表示手段として機能する液晶表示のモニタ２０、及び記録媒体であるメモリカード２１を挿脱可能なカードＩ／Ｆ（Inter-Face）２２がデータバス１７を介して接続されている。さらに、カメラ本体には、そのカメラ１１の使用者により操作されるモード切り替えボタンやレリーズボタン等からなる操作部材２３がＭＰＵ１６との間でデータ通信可能に設けられている。
【００２１】
撮像素子１３は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ、又はＣＣＤ（Charge Coupled Device）イメージセンサからなり、その入射側となる撮像面には多数の受光素子（図示略）が二次元的に配列されると共に、その表面側にはＲ（赤），Ｇ（緑），Ｂ（青）の原色フィルタ（図示略）が規則的に配列されている。そして、撮像素子１３は、その撮像面に結像した被写体像に対応した信号電荷を蓄積し、その蓄積した信号電荷を画像データの元となる画素信号と呼ばれるアナログ信号でＡＦＥ１４に出力する。
【００２２】
ＡＦＥ１４は、撮像素子１３から入力したアナログ信号の画素信号を所定のタイミングでサンプリング（相関二重サンプリング）し、例えばＩＳＯ感度に基づく所定信号レベルとなるように増幅する信号処理部（図示略）と、その増幅後の画素信号をデジタル信号に変換するＡ／Ｄ変換部（図示略）を有している。そして、ＡＦＥ１４は、アナログ信号の画素信号をＡ／Ｄ変換部でデジタル化することにより生成した画像データを画像処理回路１５に出力する。なお、このときＡＦＥ１４から出力される画像データは、画素毎にＲ，Ｇ，Ｂの濃度値を持つ画像データではあるが、未だ画像ファイルに変換処理（すなわち、現像処理）される前の生のデータ（以下、「ＲＡＷデータ」という。）であるため、そのままでは画像として見ることはできない。
【００２３】
画像処理回路１５は、ＡＦＥ１４から入力したＲＡＷデータの画像データに対して、色補間処理、階調補正、ホワイトバランス（ＷＢ）補正処理及び輪郭補償等の各種の表示用画像処理を施し、画像として見られるデータ内容にする。そして、そのように表示用画像処理を施した画像データを、画像処理回路１５は、ＲＡＭ１９に一旦記憶させると共に、モニタ２０にスルー画像として表示させる。また、レリーズボタンが全押し操作された場合は、そのときの画像データと対応する画像をモニタ２０に確認用画像として表示させる一方、例えばＪＰＥＧ圧縮のためのフォーマット処理等の所定の画像処理を施した後に、メモリカード２１に画像ファイルとして記録させる。
【００２４】
ＭＰＵ１６は、不揮発性メモリ１８に記憶された制御プログラムに基づきカメラ１１における各種の処理動作（例えば画像処理回路１５での画像処理等）を統括的に制御する。そして、データバス１７は、そうしたＭＰＵ１６の制御に伴う各種データの伝送路として機能する。また、操作部材２３のモード切り替えボタンはカメラ１１の動作モードを例えば撮影モードと再生モードとの間で切り替える場合に操作されるボタンであり、レリーズボタンは撮影モードにおいて被写体を撮影するときに押し下げ操作されるボタンである。
【００２５】
そして、このカメラ１１では、操作部材２３におけるレリーズボタンが半押し操作された段階で、被写体に対する焦点合わせのためのＡＦ（Auto Focus）処理と露出調整のためのＡＥ（Auto Exposure）処理が実行されるようになっている。また、その後においてレリーズボタンが全押し操作された段階で、図２に示すような写真Ｐ１（図２の場合は、７人の人物が写った集合写真）が撮影され、その写真Ｐ１の画像について各種の画像処理が実行されるようになっている。
【００２６】
そこで次に、被写体の撮影時にカメラ１１のＭＰＵ１６が実行する撮影処理ルーチンの概要を図３のフローチャートを参照しながら以下説明する。
さて、ＭＰＵ１６は、カメラ１１における電源ボタン（図示略）がＯＮ操作された状態において操作部材２３のモード切り替えボタンが撮影モードに切り替えられると、図３に示す「撮影処理ルーチン」を開始する。そして先ずステップＳ１１において、ＭＰＵ１６は、リセット処理など必要とされる初期化処理を行った後に所定の画像処理を実行する。すなわち、撮像素子１３からＡＦＥ１４を介して画像処理回路１５に入力されたＲＡＷデータの画像データに対してスルー画像表示のための解像度変換処理を含む表示用画像処理を画像処理回路１５において行なわせた後、その処理を次のステップＳ１２に移行する。
【００２７】
そして、次のステップＳ１２において、ＭＰＵ１６は、画像処理回路１５で表示用画像処理が施された画像データに対応したスルー画像をモニタ２０に表示させる。そして、次のステップＳ１３において、ＭＰＵ１６は、モニタ２０上に動画態様で表示される被写体のスルー画像に対して図４に示すＷＢ処理ルーチンを実行する。すなわち、モニタ２０に表示されるスルー画像中の白色の領域が撮影時の光源の下で白色に写るように画像全体のホワイトバランスを補正するための処理を実行する。なお、このＷＢ処理ルーチンの詳細については後述する。
【００２８】
さて、ステップＳ１３でＷＢ処理ルーチンを実行すると、ＭＰＵ１６は、次のステップＳ１４に処理を移行する。そして、ステップＳ１４において、ＭＰＵ１６は、先のステップＳ１３でのＷＢ補正内容が反映されたスルー画像をモニタ２０に表示させる。その後、スルー画像の表示状態を継続させつつ、ＭＰＵ１６は、その処理を次のステップＳ１５に移行する。そして次のステップＳ１５において、ＭＰＵ１６は、操作部材２３のレリーズボタンが半押しされたか否かを判定する。
【００２９】
そして、このステップＳ１５の判定結果が否定判定（ステップＳ１５＝ＮＯ）である場合、ＭＰＵ１６は、その処理を次のステップＳ１６に移行し、ステップＳ１６において、電源ボタンがＯＦＦされたか否かを判定する。そして、このステップＳ１６の判定結果が肯定判定（ステップＳ１６＝ＹＥＳ）である場合、ＭＰＵ１６は、本撮影処理ルーチンを終了する。その一方、ステップＳ１６の判定結果が否定判定（ステップＳ１６＝ＮＯ）である場合、ＭＰＵ１６は、その処理をステップＳ１５に戻す。そして、レリーズボタンが半押しされたか否かの判定を繰り返し、このステップＳ１５の判定結果が肯定判定（ステップＳ１５＝ＹＥＳ）になると、ＭＰＵ１６は、その処理を次のステップＳ１７に移行する。
【００３０】
そして、ステップＳ１７において、ＭＰＵ１６は、レンズ部１２のズームレンズを駆動制御することにより、被写体に対する焦点合わせのためのＡＦ処理を実行した後、その次のステップＳ１８において、図示しない絞り機構を駆動制御することにより、露出調整のためのＡＥ処理を実行する。そして、ＡＦ処理及びＡＥ処理を実行すると、次のステップＳ１９において、ＭＰＵ１６は、操作部材２３のレリーズボタンが全押しされたか否かを判定する。
【００３１】
そして、このステップＳ１９の判定結果が否定判定（ステップＳ１９＝ＮＯ）である場合、ＭＰＵ１６は、その処理を次のステップＳ２０に移行し、ステップＳ２０において、レリーズボタンの半押し状態が解除されたか否かを判定する。そして、このステップＳ２０の判定結果が肯定判定（ステップＳ２０＝ＹＥＳ）である場合、ＭＰＵ１６は、その処理を先のステップＳ１５に戻し、ステップＳ１５以下の各処理を繰り返す。その一方、ステップＳ２０の判定結果が否定判定（ステップＳ２０＝ＮＯ）である場合、ＭＰＵ１６は、その処理をステップＳ１９に戻す。そして、レリーズボタンが全押しされたか否かの判定を繰り返し、このステップＳ１９の判定結果が肯定判定（ステップＳ１９＝ＹＥＳ）になると、ＭＰＵ１６は、その処理を次のステップＳ２１に移行する。
【００３２】
そして、ステップＳ２１において、ＭＰＵ１６は、その時点で撮像素子１３からＡＦＥ１４を介して画像処理回路１５に入力されたＲＡＷデータの画像データに対して確認用の静止画像を表示させるための表示用画像処理を画像処理回路１５において行なわせた後、その処理を次のステップＳ２２に移行する。そして、次のステップＳ２２において、ＭＰＵ１６は、その画像処理が施された画像データと対応する表示用画像に対して図４に示すＷＢ処理ルーチンを実行する。すなわち、モニタ２０に表示される静止画像中の白色の領域が撮影時の光源の下で白色に写るように画像全体のホワイトバランスを補正するための処理を実行する。
【００３３】
このステップＳ２２でのＷＢ処理ルーチンを実行すると、ＭＰＵ１６は、次のステップＳ２３に処理を移行する。そして、ステップＳ２３において、ＭＰＵ１６は、ステップＳ２２でのＷＢ補正内容が反映された静止画像をモニタ２０に表示させた後、その静止画像の表示状態を継続させつつ、次のステップＳ２４に処理を移行する。そして次のステップＳ２４において、ＭＰＵ１６は、メタデータにファイル名及び所定の付加情報を含ませた画像ファイルを画像処理回路１５において作成させる。そして次のステップＳ２５において、ＭＰＵ１６は、ＪＰＥＧ圧縮等の所定のフォーマット処理を施された画像ファイルをカードＩ／Ｆ２２に挿入されているメモリカード２１に記録させた後、ステップＳ１２に処理を戻し、以後、再びステップＳ１２以降の各処理を繰り返す。
【００３４】
次に、ＭＰＵ１６が撮影処理ルーチンのステップＳ１３（及びステップＳ２２）で実行するＷＢ処理ルーチンについて図４を参照しながら説明する。
さて、ＷＢ処理ルーチンが開始すると、まずステップＳ３１において、ＭＰＵ１６は、その時点でのカメラ１１におけるＷＢ処理の設定モードを判定する。具体的には、光源の色温度の違いに応じて自動的にＷＢ補正が実行されるＡＷＢ（オートホワイトバランス）モードに設定されているか否かを判定する。
【００３５】
そして、このステップＳ３１の判定結果が否定判定（ステップＳ３１＝ＮＯ）である場合、ＭＰＵ１６は、その処理をステップＳ３２に移行する。そして、次のステップＳ３２において、ＭＰＵ１６は、「マニュアルＷＢ処理ルーチン」を実行する。すなわち、その時点でユーザによるダイヤル操作等の手動操作で設定されているＷＢ補正係数を所定のメモリ（例えば、不揮発性メモリ１８）から読み出し、その読み出したＷＢ補正係数を使用して画像全体のホワイトバランス補正を行なう。その後、ＭＰＵ１６は、撮影処理ルーチンにおける次のステップ（Ｓ１４又はＳ２３）に処理を移行する。
【００３６】
一方、先のステップＳ３１の判定結果が肯定判定（ステップＳ３１＝ＹＥＳ）であった場合、ＭＰＵ１６は、ステップＳ３３において、その時点でのカメラ１１におけるシーンモードが風景モードやペットモード等以外の人物を被写体に含む特別シーンモードに設定されているか否かを判定する。そして、このステップＳ３３の判定結果が否定判定（ステップＳ３３＝ＮＯ）である場合、ＭＰＵ１６は、その処理をステップＳ３４に移行する。
【００３７】
そして次のステップＳ３４において、ＭＰＵ１６は、自動的に画像全体の色情報を平均化して無彩色とするようなＷＢ補正が行われる周知の「通常ＡＷＢ処理ルーチン」を実行する。すなわち、その時点でモニタ２０に表示されている画像全体をモニタ２０の画面内で複数のエリアに分割し、分割エリア毎にＲ，Ｇ，Ｂの各色信号の平均積算値を求めると共に、その平均積算値からＲ信号の積算値とＧ信号の積算値との比（Ｒ／Ｂ）及びＢ信号の積算値とＧ信号の積算値との比（Ｂ／Ｇ）をＷＢ補正係数として求める。そして、そのようにして求めたＷＢ補正係数を使用して、画像内におけるＲ，Ｇ，Ｂの各色信号の相対比率が１：１：１となるように、画像全体のホワイトバランスを補正する。その後、ＭＰＵ１６は、撮影処理ルーチンにおける次のステップ（Ｓ１４又はＳ２３）に処理を移行する。
【００３８】
また一方、先のステップＳ３３での判定結果が肯定判定（ステップＳ３３＝ＹＥＳ）である場合、ＭＰＵ１６は、その処理をステップＳ３５に移行する。そして次のステップＳ３５において、ＭＰＵ１６は、画像内に被写体として写っている人物の白目領域の色情報に基づきＷＢ補正が行われる「特別ＡＷＢ処理ルーチン」を実行する。
【００３９】
そこで次に、ＭＰＵ１６がＷＢ処理ルーチンのステップＳ３５で実行する特別ＡＷＢ処理ルーチンについて図５を参照しながら説明する。
さて、特別ＡＷＢ処理ルーチンが開始すると、まず、ステップＳ４１において、ＭＰＵ１６は、モニタ２０に表示される画像（スルー画像又は静止画像）中に含まれる人物の顔面領域３０（図２参照）を検出する。すなわち、ＭＰＵ１６は、顔面領域検出手段として顔面領域検出ステップを実行する。そして、次のステップＳ４２において、ＭＰＵ１６は、顔面領域３０が検出されたか否か、すなわち画像中に人物の顔が写っているか否かを判定する。そして、このステップＳ４２の判定結果が否定判定（ステップＳ４２＝ＮＯ）である場合、ＭＰＵ１６は、その処理を図４のＷＢ処理ルーチンにおけるステップＳ３４に移行し、既述した通常ＡＷＢ処理ルーチンを実行する。
【００４０】
その一方、ステップＳ４２の判定結果が肯定判定（ステップＳ４２＝ＹＥＳ）である場合、ＭＰＵ１６は、次のステップＳ４３において、その検出された顔面領域３０中に含まれる目領域３１（図２参照）中の白目領域３２（図２参照）を検出する。すなわち、ＭＰＵ１６は、白目領域検出手段として白目領域検出ステップを実行する。そして、次のステップＳ４４において、ＭＰＵ１６は、白目領域３２が検出されたか否か、すなわち、顔面領域３０中から目領域３１が検出されたとしても、その目領域３１中に白目領域３２が含まれているか否かを判定する。そして、このステップＳ４４の判定結果が否定判定（ステップＳ４４＝ＮＯ）である場合、ＭＰＵ１６は、その処理を図４のＷＢ処理ルーチンにおけるステップＳ３４に移行し、既述した通常ＡＷＢ処理ルーチンを実行する。
【００４１】
その一方、ステップＳ４４の判定結果が肯定判定（ステップＳ４４＝ＹＥＳ）である場合、ＭＰＵ１６は、次のステップＳ４５において、その検出された白目領域３２の数は１つであるか否かを判定する。そして、その判定結果が肯定判定（ステップＳ４５＝ＹＥＳ）である場合、ＭＰＵ１６は、次のステップＳ４６において、その１つの白目領域３２内の色情報に基づきＷＢ補正係数を算出する。すなわち、その１つの白目領域３２内を複数のエリアに分割し、分割エリア毎にＲ，Ｇ，Ｂの各色信号の平均積算値を求めると共に、その平均積算値からＲ信号の積算値とＧ信号の積算値との比（Ｒ／Ｂ）及びＢ信号の積算値とＧ信号の積算値との比（Ｂ／Ｇ）をＷＢ補正係数として求める。
【００４２】
そして、次のステップＳ４７において、ＭＰＵ１６は、そのようにして求めたＷＢ補正係数をＲＡＭ１９に一旦記憶させて、画像全体のＷＢ補正に使用する補正係数として設定する。そして、次のステップＳ４８において、ＭＰＵ１６は、ＲＡＭ１９から読み出したＷＢ補正係数を使用して、画像内におけるＲ，Ｇ，Ｂの各色信号の相対比率が１：１：１となるように、画像全体のホワイトバランスを補正する。すなわち、ＭＰＵ１６は、補正手段として補正ステップを実行する。そして、その後、ＭＰＵ１６は、撮影処理ルーチンにおける次のステップ（Ｓ１４又はＳ２３）に処理を移行する。
【００４３】
一方、先のステップＳ４５の判定結果が否定判定（ステップＳ＝ＮＯ）である場合、ＭＰＵ１６は、その処理をステップＳ４９に移行し、基準となる１つの白目領域３２を決定してＷＢ補正処理を行う基準白目領域ＷＢ処理ルーチンを実行する。すなわち、ＭＰＵ１６は、補正係数決定ステップを実行する。
【００４４】
そこで次に、ＭＰＵ１６が特別ＡＷＢ処理ルーチンのステップＳ４９で実行する基準白目領域ＷＢ処理ルーチンについて図６を参照しながら説明する。
さて、基準白目領域ＷＢ処理ルーチンが開始すると、まずステップＳ５１において、ＭＰＵ１６は、その時点で検出されている複数の白目領域３２を選考対象白目領域として、当該選考対象白目領域の色情報を表す色空間をＲＧＢ色空間からＨＳＶ色空間へと色変換する。すなわち、各白目領域３２の色情報を表すための色空間を、Ｒ（赤），Ｇ（緑），Ｂ（青）の各濃度値（色情報値）で表わすＲＧＢ色空間から、Ｈ（色相），Ｓ（彩度），Ｖ（明度）の各値（色情報値）で表わすＨＳＶ色空間４０（図７〜図９参照）へと色変換する。
【００４５】
ここで、ＨＳＶ色空間４０について説明する。
図７〜図９に示すように、ＨＳＶ色空間４０は、無彩色軸線４０ａを中心軸線とする円錐形状の色空間であり、色相Ｈは、図７に示すように、無彩色軸線４０ａを中心とする色空間内の周方向における角度位置が、Ｒ（赤）→Ｙ（黄）→Ｇ（緑）→Ｃ（シアン）→Ｂ（青）→Ｍ（マゼンタ）という各色の色相値を表すようになっている。そして、図７に示すように、周方向でＲ（赤）と対応したＲ角度位置からＹ（黄）方向へ所定角度位置ずれした第１閾値位置４１ａよりもＲ角度位置側であって、且つ同じくＲ角度位置からＭ（マゼンタ）方向へ所定角度位置ずれした第２閾値位置４１ｂよりもＲ角度位置側となる所定角度範囲のハッチング領域が色相異常領域４１とされている。
【００４６】
また、彩度Ｓは、図８に示すように、無彩色軸線４０ａを中心とする色空間内の径方向における中心からの距離が、その色空間内での各色の彩度値を表すようになっている。そして、図８に示すように、径方向で無彩色軸線４０ａからの距離が第１閾値位置４２ａよりも大きくなる外側ハッチング領域と、同じく無彩色軸線４０ａからの距離が第２閾値位置４２ｂ（＜第１閾値位置４２ａ）よりも小さくなる内側ハッチング領域とが、彩度異常領域４２とされている。
【００４７】
また、明度Ｖは、図９に示すように、無彩色軸線４０ａを中心とする色空間内の軸線方向における高さ位置が、その色空間内での各色の明度値を表すようになっている。そして、図９に示すように、軸線方向で第１閾値位置４３ａよりも高さ位置が高くなる上側ハッチング領域と、第２閾値位置４３ｂ（＜第１閾値位置４３ａ）よりも高さ位置が低くなる下側ハッチング領域とが、明度異常領域４３とされている。
【００４８】
再び、図６に戻って、ステップＳ５１でのＨＳＶ色空間４０への色変換を実行すると、次のステップＳ５２において、ＭＰＵ１６は、その時点で検出されている複数の白目領域３２のうちから当該白目領域３２における色相Ｈの色情報値（色相値）が異常である色相異常白目領域を特定する。すなわち、その時点で選考対象とされる複数の白目領域３２を第一次選考対象白目領域として、それら複数の第一次選考対象白目領域のうちから、図７にハッチング領域で示す色相異常領域４１内に色相値が存在することになる白目領域３２を、色相異常白目領域として特定する。
【００４９】
そして次のステップＳ５３において、ＭＰＵ１６は、それら複数の第一次選考対象白目領域のうちで色相異常白目領域とされる白目領域３２の比率が５０％未満であるか否かを判定する。そして、その判定結果が肯定判定（ステップＳ５３＝ＹＥＳ）である場合、次のステップＳ５５において、ＭＰＵ１６は、それら複数の第一次選考対象白目領域から色相異常白目領域を除外する。その結果、第一次選考対象白目領域よりも数量の少ない白目領域３２が第二次選考対象白目領域として残ることになる。そして、ＭＰＵ１６は、その処理を次のステップＳ５５に移行する。
【００５０】
その一方、ステップＳ５３の判定結果が否定判定（ステップＳ５３＝ＮＯ）である場合、ＭＰＵ１６は、ステップＳ５４の処理をすることなく、その処理をステップＳ５５に移行する。したがって、この場合は、第一次選考対象白目領域と同じ数量の白目領域３２が第二次選考対象白目領域として残ることになる。
【００５１】
以上のようにして基準白目領域の第一次選考が終了すると、次のステップＳ５５において、ＭＰＵ１６は、その時点で残っている第二次選考対象白目領域のうちから当該白目領域３２における彩度Ｓの色情報値（彩度値）が異常である彩度異常白目領域を特定する。すなわち、その時点で残っている第二次選考対象白目領域のうちから、図８にハッチング領域で示す彩度異常領域４２内に彩度値が存在することになる白目領域３２を、彩度異常白目領域として特定する。
【００５２】
そして次のステップＳ５６において、ＭＰＵ１６は、それら複数の第二次選考対象白目領域のうちで彩度異常白目領域とされる白目領域３２の比率が５０％未満であるか否かを判定する。そして、その判定結果が肯定判定（ステップＳ５６＝ＹＥＳ）である場合、次のステップＳ５７において、ＭＰＵ１６は、それら複数の第二次選考対象白目領域から彩度異常白目領域を除外する。その結果、第二次次選考対象白目領域よりも数量の少ない白目領域３２が第三次選考対象白目領域として残ることになる。そして、ＭＰＵ１６は、その処理を次のステップＳ５８に移行する。
【００５３】
その一方、ステップＳ５６の判定結果が否定判定（ステップＳ５６＝ＮＯ）である場合、ＭＰＵ１６は、ステップＳ５７の処理をすることなく、その処理をステップＳ５８に移行する。したがって、この場合は、第二次選考対象白目領域と同じ数量の白目領域３２が第三次選考対象白目領域として残ることになる。
【００５４】
以上のようにして基準白目領域の第二次選考が終了すると、次のステップＳ５８において、ＭＰＵ１６は、その時点で残っている第三次選考対象白目領域のうちから当該白目領域３２における明度Ｖの色情報値（明度値）が異常である明度異常白目領域を特定する。すなわち、その時点で残っている第三次選考対象白目領域のうちから、図９にハッチング領域で示す明度異常領域４３内に明度値が存在することになる白目領域３２を、明度異常白目領域として特定する。
【００５５】
そして次のステップＳ５９において、ＭＰＵ１６は、それら複数の第三次選考対象白目領域のうちで明度異常白目領域とされる白目領域３２の比率が５０％未満であるか否かを判定する。そして、その判定結果が肯定判定（ステップＳ５９＝ＹＥＳ）である場合、次のステップＳ６０において、ＭＰＵ１６は、それら複数の第三次選考対象白目領域から明度異常白目領域を除外する。その結果、第三次選考対象白目領域よりも数量の少ない白目領域３２が最終選考対象白目領域として残ることになる。そして、ＭＰＵ１６は、その処理を次のステップＳ６１に移行する。
【００５６】
その一方、ステップＳ５９の判定結果が否定判定（ステップＳ５９＝ＮＯ）である場合、ＭＰＵ１６は、ステップＳ６０の処理をすることなく、その処理をステップＳ６１に移行する。したがって、この場合は、第三次選考対象白目領域と同じ数量の白目領域３２が最終選考対象白目領域として残ることになる。
【００５７】
以上のようにして基準白目領域の第三次選考が終了すると、次のステップＳ６１において、ＭＰＵ１６は、その時点で残っている最終選考対象白目領域のうちからＷＢ補正係数を算出するための色情報を取得する対象領域となる基準白目領域を特定する。すなわち、その時点で残っている最終選考対象白目領域のうちから予め定めた選考基準値（本実施形態では彩度値）が中央値となる１つの白目領域３２を基準白目領域として特定する。
【００５８】
そして、基準白目領域が特定されると、次のステップＳ６２において、ＭＰＵ１６は、その基準白目領域内の色情報に基づきＷＢ補正係数を算出する。すなわち、基準白目領域内を複数のエリアに分割し、分割エリア毎にＲ，Ｇ，Ｂの各色信号の平均積算値を求めると共に、その平均積算値からＲ信号の積算値とＧ信号の積算値との比（Ｒ／Ｂ）及びＢ信号の積算値とＧ信号の積算値との比（Ｂ／Ｇ）をＷＢ補正係数として求める。
【００５９】
そして、次のステップＳ６３において、ＭＰＵ１６は、そのようにして求めたＷＢ補正係数をＲＡＭ１９に一旦記憶させて、画像全体のＷＢ補正に使用する補正係数として設定する。その後、ＭＰＵ１６は、特別ＡＷＢ処理ルーチンにおける次のステップ（Ｓ４８）に処理を移行する。そして、そのステップＳ４８において、ＭＰＵ１６は、ＲＡＭ１９から読み出したＷＢ補正係数を使用して、画像内におけるＲ，Ｇ，Ｂの各色信号の相対比率が１：１：１となるように、画像全体のホワイトバランスを補正する。すなわち、ＭＰＵ１６は、ここでも補正手段として補正ステップを実行する。そして、その後、ＭＰＵ１６は、撮影処理ルーチンにおける次のステップ（Ｓ１４又はＳ２３）に処理を移行する。
【００６０】
次に、以上のように構成された本実施形態のカメラ１１の作用について、特に、撮影時においてモニタ２０に表示される画像のホワイトバランス（ＷＢ）を補正する場合に使用するＷＢ補正係数の決定方法及びその補正係数を使用したＷＢの補正方法に着目して以下説明する。
【００６１】
なお、説明の前提として、この場合にカメラ１１で撮影する写真は図２に示す人物集合写真であって、Ａさん〜Ｇさんまでの７人全員の顔がそれぞれ両目を開けた状態で写っているものとする。但し、そのうちで後列右から二人目のＢさんは左目が赤っぽく充血していると共に、前列右端のＥさんは左右両目共に日が陰って暗くなった陰領域Ｋに位置しており、さらに前列左端のＧさんは左右両目共に肝臓疾患が原因で黄ばみを生じているものとする。そして、撮影時点でのカメラ１１のＷＢ補正の設定モードは自動的にＷＢ補正が行なわれるＡＷＢモードになっていると共に、その際のシーンモードは特別シーンモードに設定されているものとする。
【００６２】
さて、以上のような前提の下、カメラ１１が電源ボタンをＯＮ操作された状態でレンズ部１２を被写体となる７人の人物（Ａさん〜Ｇさん）に向けると、その７人の集合写真の画像がスルー画像としてモニタ２０に表示される。そして、この場合は、ＷＢ補正の設定モードがＡＷＢモードであって且つシーンモードが特別シーンモードであるため、画像中の白目領域３２の色情報に基づきＷＢ補正係数が決定されると共に、そのようにして決定されたＷＢ補正係数を用いてＷＢ補正が行なわれることになる。
【００６３】
まず、モニタ２０のスルー画像では７人全員の顔が両目を各々開けた状態で写っているため、全部で１４の白目領域３２が１つの基準白目領域を選考する際の選考対象白目領域となる。そして、それら１４個の第一次選考対象白目領域のうちから、まず色相Ｈの色情報値である色相値が異常な色相異常白目領域が除外される。この場合、後列右から二人目のＢさんは左目が赤っぽく充血しているため、その左目の白目領域３２は色相値が色相異常領域４１内に位置する。したがって、この第一次選考ではＢさんの左目の白目領域３２が除外されることになり、残り１３個の白目領域３２が第二次選考対象白目領域とされる。
【００６４】
すると次に、残り１３個の第二次選考対象白目領域のうちから、彩度Ｓの色情報値である彩度値が異常な彩度異常白目領域が除外される。この場合、前列左端のＧさんは左右両目共に肝臓疾患が原因で黄ばみを生じており、ややくすんだ色合いをしているため、それら左右両目の各白目領域３２は彩度値が低く彩度異常領域４２内に位置する。したがって、この第二次選考ではＧさんの左右両目の白目領域３２が除外されることになり、残り１１個の白目領域３２が第三次選考対象白目領域とされる。
【００６５】
すると次に、残り１１個の第三次選考対象白目領域のうちから、明度Ｖの色情報値である明度値が異常な明度異常白目領域が除外される。この場合、前列右端のＥさんは左右両目共に日陰の暗い陰領域Ｋ内に位置しているため、その左右両目の各白目領域３２は明度値が明度異常領域４３内に位置する。したがって、第三次選考ではＥさんの左右両目の白目領域３２が除外されることになり、残り９個の白目領域３２が最終選考対象白目領域とされる。
【００６６】
すると次に、残り９個の最終選考対象白目領域のうちから、彩度Ｓの色情報値である彩度値が中央値となる１つの白目領域３２が基準白目領域として決定される。ここで、残り９個の各白目領域３２の彩度値の相対比較では、後列右端のＡさんの左右両目の彩度値が最低値（０．１５）である一方、後列左端のＤさんの左右両目の彩度値が最高値（０．３５）であり、そして前列中央のＦさんの左目の彩度値が中央値（０．２５）であったとする。
【００６７】
すると、この場合は、彩度値が最高値でも最低値でもない中央値であるＦさんの左目の白目領域３２が基準白目領域として決定される。そして、Ｆさんの左目の白目領域３２の色情報（Ｒ，Ｇ，Ｂの各色の濃度値）からスルー画像のＷＢ補正用のＷＢ補正係数が求められ、そのようにして求められた補正係数を使用して次フレームからのスルー画像の画像全体のホワイトバランスが補正される。
【００６８】
その後、レリーズボタンが半押しされると、ＡＦ処理及びＡＥ処理がなされ、さらに、全押しされると、その時点のＲＡＷデータと対応した画像中の顔面領域３０から、スルー画像のＷＢ補正の場合と同様に、１つの基準白目領域が選考される。そして、そのようにして選考された基準白目領域の色情報（Ｒ，Ｇ，Ｂの各色の濃度値）から確認用静止画像のＷＢ補正用のＷＢ補正係数が求められ、そのようにして求められた補正係数を使用して確認用静止画像の画像全体のホワイトバランスが補正される。
【００６９】
以上のように、本実施形態では、白目領域３２の色情報（色相Ｈ、彩度Ｓ、明度Ｖ）を数値化して表示する色情報値（色相値、彩度値、明度値）が色相異常領域４１内や彩度異常領域４２内や明度異常領域４３内に位置することになる異常白目領域（Ｂさんの左目、Ｇさんの左右両目、Ｅさんの左右両目）を基準白目領域として選考することはない。したがって、そうした異常白目領域の色情報に基づいて画像全体のＷＢ補正に用いるＷＢ補正係数として不適切な補正係数を算出してしまう虞がない。
【００７０】
また、そのように異常白目領域を除外して残った最終選考対象白目領域のうちからも、それらの中で色情報値（例えば彩度値）が最大値や最低値のものではなく、最も平均的な値とみなせる中央値となる白目領域３２が基準白目領域として決定されるため、バランスを失した偏りのあるＷＢ補正係数を算出することも抑制される。その結果、撮影時の光源の違いに関わらず画像全体のＷＢ補正において適切に使用可能なＷＢ補正係数が決定されるようになり、そうした補正係数が用いられることから高精度なＷＢ補正が期待される。
【００７１】
以上のような第 １実施形態によれば、以下のような効果を得ることができる。
（１）画像データと対応する画像の中から複数の白目領域３２が検出された場合には、基準白目領域ＷＢ処理ルーチン（ステップＳ４９）をＭＰＵ１６が実行することにより、予め定めた決定手順に従って適切な１つの基準白目領域を決定でき、その基準白目領域の色情報に基づき適切なＷＢ補正係数を算出することができる。したがって、撮像した画像中に含まれる人物の白目領域３２の色情報に基づき、ホワイトバランス補正において適切に使用可能なホワイトバランス補正係数を決定することができると共に、そのようにして決定したＷＢ補正係数を使用することで高精度なホワイトバランス補正が期待できる。
【００７２】
（２）基準白目領域を選考する際の母集団となる選考対象白目領域が多数存在する場合でも、それらの中から予め定めた異常条件に該当する（すなわち、その白目領域３２の色情報値がＨＳＶ色空間４０内の異常領域４１，４２，４３内に位置する）白目領域３２については、これらを異常白目領域として除外した残りから選考を行なうことができる。したがって、基準白目領域の選考を効率良く行なうことができる。
【００７３】
（３）基準白目領域を選考する際には、ＨＳＶ色空間４０の色情報を構成する色相Ｈと彩度Ｓと明度Ｖの各々について、その時点で選考対象白目領域として残っている白目領域３２の色情報値（色相値、彩度値、明度値）が異常領域４１，４２，４３内に位置するか否かを判定した結果で選考対象白目領域を次々に絞り込んでいる。したがって、基準白目領域の選考をきめ細かく行なうことができる。
【００７４】
（４）最終的に１つの基準白目領域を決定するにあたり、その時点で選考対象白目領域として残っている白目領域３２の中から、その色情報値（本実施形態の場合は、彩度値）が最大値でも最低値でもない中央値である白目領域３２を選んでいるので、ＷＢ補正係数としてバランスを失した偏りのあるＷＢ補正係数を算出することを抑制できる。
【００７５】
（５）基準白目領域の選考において、その時点での選考対象白目領域の中に占める当該選考段階で除外対象候補とされる異常白目領域の比率が大きい（本実施形態の場合は５０％以上）の場合には、それらの異常白目領域を除外せずに、色情報値が広範囲に亘る多数の白目領域の中から基準白目領域を選考するようにしている。したがって、基準白目領域の選考を柔軟な選考基準でもって行なうことができる。
【００７６】
（第２実施形態）
次に、本発明の第２実施形態について説明する。なお、第２実施形態は第１実施形態との対比において、図５に示す特別ＡＷＢ処理ルーチンのステップＳ４２とステップＳ４３の間に基準顔面領域決定ステップを有する点、及び、ステップＳ４９の基準白目領域ＷＢ処理ルーチンの一部を変更した点でのみ相違している。したがって、以下ではこの相違点について主に説明することにし、その他の共通する点については同一符号などを付すことで重複した説明を省略する。
【００７７】
さて、特別ＡＷＢ処理ルーチンにおけるステップＳ４２の判定結果が肯定判定（すなわち、ステップＳ４２＝ＹＥＳ）である場合、ＭＰＵ１６は、基準顔面領域決定ステップを実行する。
【００７８】
すなわち、ＭＰＵ１６は、まず検出された顔面領域３０が複数あるか否かを判定する。そして、その判定結果が否定判定（すなわち、検出された顔面領域３０は１つ）である場合、ＭＰＵ１６は、その処理を次のステップＳ４３に移行し、以後、第１実施形態の場合と同様の処理を行なう。その一方、判定結果が肯定判定（すなわち、検出された顔面領域３０が複数）である場合、ＭＰＵ１６は、それら複数の顔面領域３０から予め定めた決定手順に従って一つの基準顔面領域を決定する。
【００７９】
本実施形態の場合は、図１０の写真Ｐ２に示すように、顔面積の大きさが最大となる人物（図２の場合は前列中央のＦさん）を主要被写体とみなし、かかる主要被写体とみなされる人物の顔面領域３０を基準顔面領域に決定する。この点で、こうした基準顔面領域決定ステップを実行するＭＰＵ１６は、基準顔面領域決定手段として機能することになる。
【００８０】
そして次のステップＳ４３において、ＭＰＵ１６は、主要被写体とみなされたＦさんの顔面領域３０を基準顔面領域として、当該顔面領域中から白目領域３２を検出する。そしてステップＳ４５における判定結果が否定判定となった場合、次のステップＳ４９で基準白目領域ＷＢ処理ルーチンを実行し、１つの基準白目領域を決定する。
【００８１】
このステップＳ４９の基準白目領域ＷＢ処理ルーチンにおいて、本実施形態では、２つの白目領域３２（すなわち、Ｆさんの左右両目）のうち何れか一方の白目領域の色情報値（色相値、彩度値、明度値）が異常領域４１，４２，４３内に位置することになると、その一方の白目領域３２が選考対象白目領域から除外される。そして、残る１つの白目領域３２が次の選考段階で他の色情報値（色相値、彩度値、明度値）が異常領域４１，４２，４３内に位置することになってしまった場合には、先の選考段階で除外された前記一方の白目領域３２も含めて２つの白目領域３２が有する色情報値の合計を２で除することにより平均値を求めるようにしている。
【００８２】
そして、以上のような手順に従ってＷＢ補正係数を算出し、そのようにして算出された補正係数を用いてＷＢ補正が行なわれる。したがって、この第２実施形態によれば、第１実施形態における（１）に相当する効果を得ることができると共に、その写真Ｐ２の画像内で主要被写体とみなされる人物の白目領域を基準にしてＷＢ補正係数を求めることができるので、主要被写体を鮮やかに表現できるようになる。
【００８３】
（第３実施形態）
次に、本発明の第３実施形態について説明する。なお、第３実施形態は第１実施形態との対比において、図５に示す特別ＡＷＢ処理ルーチンのステップＳ４２とステップＳ４３の間に基準顔面領域決定ステップを有する点、及び、ステップＳ４９の基準白目領域ＷＢ処理ルーチンの一部を変更した点でのみ相違している。したがって、以下ではこの相違点について主に説明することにし、その他の共通する点については同一符号などを付すことで重複した説明を省略する。
【００８４】
さて、特別ＡＷＢ処理ルーチンにおけるステップＳ４２の判定結果が肯定判定（すなわち、ステップＳ４２＝ＹＥＳ）である場合、ＭＰＵ１６は、基準顔面領域決定ステップを実行する。この点で、第３実施形態は第２実施形態と共通しているといえる。
【００８５】
すなわち、第３実施形態でも、ＭＰＵ１６は、検出された顔面領域３０が複数あると、それら複数の顔面領域３０から予め定めた決定手順に従って主要被写体とみなされる人物の顔面領域３０を一つの基準顔面領域として決定する。
【００８６】
但し、本実施形態の場合は、ステップＳ４９の基準白目領域ＷＢ処理ルーチンにおいて２つの白目領域３２（すなわち、Ｆさんの左右両目）が各々有する色情報値の合計を２で除することにより平均値を求め、その平均値に基づきＷＢ補正係数を算出し、そのようにして算出された補正係数を用いてＷＢ補正が行なわれるようになっている。
【００８７】
したがって、この第３実施形態においても、第１実施形態における（１）に相当する効果を得ることができると共に、その画像内で主要被写体とみなされる人物の白目領域を基準にしてＷＢ補正係数を求めることができるので、主要被写体を鮮やかに表現できるようになる。さらには、効率良く基準白目領域を決定することができるようになる。
【００８８】
（第４実施形態）
次に、本発明の第４実施形態について説明する。なお、第４実施形態は第１実施形態との対比において、図５に示す特別ＡＷＢ処理ルーチンでのステップＳ４９の基準白目領域ＷＢ処理ルーチンの処理内容を変更した点でのみ相違している。したがって、以下ではこの相違点について主に説明することにし、その他の共通する点については同一符号などを付すことで重複した説明を省略する。
【００８９】
さて、特別ＡＷＢ処理ルーチンにおけるステップＳ４５の判定結果が否定判定となった場合、ＭＰＵ１６は、次のステップＳ４９で基準白目領域ＷＢ処理ルーチンを実行する。そして、この場合、第４実施形態では、選考対象白目領域とされる複数の白目領域３２の各々が有する色情報値の合計を、そのときの選考対象白目領域とされている白目領域３２の数で除することにより平均値を求め、その平均値に基づきＷＢ補正係数を算出し、そのようにして算出された補正係数を用いてＷＢ補正が行なわれるようになっている。
【００９０】
但し、その白目領域３２が有する色情報値が異常領域４１，４２，４３に位置することになる異常白目領域は除外して残った一群の白目領域を選考対象白目領域として、それらの各白目領域３２が各々有する色情報値の平均値をＷＢ補正係数として求めるようにしてもよい。
【００９１】
したがって、この第４実施形態においても、第１実施形態における（１）に相当する効果を得ることができると共に、選考対象白目領域とされる複数の白目領域３２がそれぞれ有している各色情報値の合計の平均値に基づき効率良くＷＢ補正係数を求めることができるようになる。
【００９２】
なお、上記各実施形態は以下のような別の実施形態に変更してもよい。
・上記各実施形態において、選考対象白目領域の中から異常白目領域を除外することをせずに、選考対象白目領域の全てからダイレクトに基準白目領域を予め定めた決定手順に従い選考するようにしてもよい。
【００９３】
・上記第１実施形態及び第２実施形態において、最終選考では、色情報値（彩度値）が中央値ではなくて最頻値となる白目領域３２を基準白目領域に決定してもよい。
・上記第１実施形態及び第２実施形態において、最終選考では、彩度値以外の他の色情報値（色相値、明度値）が中央値（又は最頻値）となる白目領域３２を基準白目領域に決定してもよい。
【００９４】
・上記第１実施形態及び第２実施形態において、色相値による第一次選考、彩度値による第二次選考、明度値による第三次選考は省略し、何れか一つの色情報値（例えば、彩度値）による最終選考だけでもよい。または、第一次選考〜第三次選考は、それらの少なくとも一つが行なわれるものであってもよい。
【００９５】
・上記第１実施形態及び第２実施形態において、ＨＳＶ色空間４０内において色情報値の異常領域４１，４２，４３の範囲を規定する第１閾値位置４１ａ，４２ａ，４３ａ及び第２閾値位置４１ｂ，４２ｂ，４３ｂは任意に変更可能である。
【００９６】
・上記第１実施形態及び第２実施形態において、基準白目領域ＷＢ処理ルーチンにおけるステップＳ５３，Ｓ５６，Ｓ５９で異常白目領域の占有率を判定する際の数値は５０％に限定されず任意に変更可能である。
【００９７】
・上記第２実施形態及び第３実施形態において、主要被写体を選択する際には、図１１の写真Ｐ３に示すように、その顔に焦点３３が合っている人物（図１１の場合は前列中央のＦさん）を主要被写体とみなして基準顔面領域を決定するようにしてもよい。又は、図１２の写真Ｐ４に示すように、その顔に焦点３３が一番近い人物（図１２の場合は後列左端のＤさん）を主要被写体とみなして基準顔面領域を決定するようにしてもよい。要するに、画像中において、最も焦点３３に近い顔面領域３０の人物を主要被写体とみなして基準顔面領域を決定するようにしてもよい。
【００９８】
・上記各実施形態において、ＭＰＵ１６は、画像処理回路１５においてＲＡＷデータの画像ファイルを生成させると共に、そのメタデータに付加情報としてＷＢ補正係数の情報を組み込み、その画像ファイルのデータをカメラ１１とは別のホワイトバランス補正装置として機能するＰＣ等で読み込ませて、その画像のＷＢ補正を行なうようにしてもよい。
【００９９】
・上記実施形態においては、撮像装置の一種であるデジタルスチルカメラに具体化したが、例えばデジタルビデオカメラやカメラ機能付き携帯電話などの他の撮像装置に具体化してもよい。
【符号の説明】
【０１００】
１１…カメラ（撮像装置）、１３…撮像素子、１５…画像処理回路、１６…ＭＰＵ（顔面領域検出手段、白目領域検出手段、補正係数決定手段、基準顔面領域決定手段、補正手段、ホワイトバランス補正係数決定装置、ホワイトバランス補正装置）、２０…モニタ（表示手段）、３０…顔面領域、３２…白目領域。
【特許請求の範囲】
【請求項１】
被写体からの光を受光して電気信号に変換する撮像素子から出力された画像データと対応する画像中に含まれる人物の顔面領域を検出する顔面領域検出ステップと、
前記顔面領域検出ステップで検出された顔面領域中に含まれる白目領域を検出する白目領域検出ステップと、
前記白目領域検出ステップで複数の白目領域が検出された場合に当該複数の白目領域の色情報に基づき前記画像のホワイトバランス補正において使用する補正係数を予め定めた決定手順に従って決定する補正係数決定ステップと
を備えたことを特徴とするホワイトバランス補正係数決定方法。
【請求項２】
請求項１に記載のホワイトバランス補正係数決定方法において、
前記補正係数決定ステップでは、前記白目領域検出ステップで検出した前記複数の白目領域から予め定めた異常条件に該当する異常白目領域を除外した残りの白目領域の色情報に基づき前記補正係数を決定することを特徴とするホワイトバランス補正係数決定方法。
【請求項３】
請求項１又は請求項２に記載のホワイトバランス補正係数決定方法において、
前記補正係数決定ステップでは、前記複数の白目領域のうちから予め定めた基準条件に該当する一つの白目領域を基準白目領域として決定し、当該基準白目領域の色情報に基づき前記補正係数を決定することを特徴とするホワイトバランス補正係数決定方法。
【請求項４】
請求項１〜請求項３のうち何れか一項に記載のホワイトバランス補正係数決定方法において、
前記顔面領域検出ステップで複数の顔面領域が検出された場合に前記各顔面領域のうち主要被写体となる人物の顔面領域を予め定めた決定手順に従って基準顔面領域として決定する基準顔面領域決定ステップを更に備え、
前記白目領域検出ステップでは、前記基準顔面領域中に含まれる白目領域を検出することを特徴とするホワイトバランス補正係数決定方法。
【請求項５】
請求項１又は請求項２に記載のホワイトバランス補正係数決定方法において、
前記補正係数決定ステップでは、前記複数の白目領域から予め定めた異常条件に該当する異常白目領域を除外した残りの白目領域を少なくとも含む一群の白目領域の各色情報が示す一群の色情報値の平均値に基づき前記補正係数を決定することを特徴とするホワイトバランス補正係数決定方法。
【請求項６】
被写体からの光を受光して電気信号に変換する撮像素子から出力された画像データと対応する画像中に含まれる人物の顔面領域を検出する顔面領域検出手段と、
前記顔面領域検出手段により検出された顔面領域中に含まれる白目領域を検出する白目領域検出手段と、
前記白目領域検出手段により複数の白目領域が検出された場合に当該複数の白目領域の色情報に基づき前記画像のホワイトバランス補正において使用する補正係数を予め定めた決定手順に従って決定する補正係数決定手段と
を備えたことを特徴とするホワイトバランス補正係数決定装置。
【請求項７】
請求項６に記載のホワイトバランス補正係数決定装置において、
前記顔面領域検出手段により複数の顔面領域が検出された場合に前記各顔面領域のうち主要被写体となる人物の顔面領域を予め定めた決定手順に従って基準顔面領域として決定する基準顔面領域決定手段を更に備え、
前記白目領域検出手段は、前記基準顔面領域中に含まれる白目領域を検出することを特徴とするホワイトバランス補正係数決定装置。
【請求項８】
被写体からの光を受光して電気信号に変換する撮像素子から出力された画像データと対応する画像のホワイトバランスを請求項１〜請求項５のうち何れか一項に記載のホワイトバランス補正係数決定方法によって決定した補正係数を使用して補正する補正ステップを備えたことを特徴とするホワイトバランス補正方法。
【請求項９】
被写体からの光を受光して電気信号に変換する撮像素子から出力された画像データと対応する画像のホワイトバランスを請求項１〜請求項５のうち何れか一項に記載のホワイトバランス補正係数決定方法によって決定した補正係数を使用して補正する補正手段を備えたことを特徴とするホワイトバランス補正装置。
【請求項１０】
被写体からの光を受光して電気信号に変換する撮像素子と、
前記撮像素子から出力された画像データと対応する画像を表示する表示手段と、
請求項６又は請求項７に記載のホワイトバランス補正係数決定装置と、
前記補正係数決定装置により決定された補正係数を用いて前記画像のホワイトバランスを補正する補正手段と
を備えたことを特徴とする撮像装置。
【請求項１】
被写体からの光を受光して電気信号に変換する撮像素子から出力された画像データと対応する画像中に含まれる人物の顔面領域を検出する顔面領域検出ステップと、
前記顔面領域検出ステップで検出された顔面領域中に含まれる白目領域を検出する白目領域検出ステップと、
前記白目領域検出ステップで複数の白目領域が検出された場合に当該複数の白目領域の色情報に基づき前記画像のホワイトバランス補正において使用する補正係数を予め定めた決定手順に従って決定する補正係数決定ステップと
を備えたことを特徴とするホワイトバランス補正係数決定方法。
【請求項２】
請求項１に記載のホワイトバランス補正係数決定方法において、
前記補正係数決定ステップでは、前記白目領域検出ステップで検出した前記複数の白目領域から予め定めた異常条件に該当する異常白目領域を除外した残りの白目領域の色情報に基づき前記補正係数を決定することを特徴とするホワイトバランス補正係数決定方法。
【請求項３】
請求項１又は請求項２に記載のホワイトバランス補正係数決定方法において、
前記補正係数決定ステップでは、前記複数の白目領域のうちから予め定めた基準条件に該当する一つの白目領域を基準白目領域として決定し、当該基準白目領域の色情報に基づき前記補正係数を決定することを特徴とするホワイトバランス補正係数決定方法。
【請求項４】
請求項１〜請求項３のうち何れか一項に記載のホワイトバランス補正係数決定方法において、
前記顔面領域検出ステップで複数の顔面領域が検出された場合に前記各顔面領域のうち主要被写体となる人物の顔面領域を予め定めた決定手順に従って基準顔面領域として決定する基準顔面領域決定ステップを更に備え、
前記白目領域検出ステップでは、前記基準顔面領域中に含まれる白目領域を検出することを特徴とするホワイトバランス補正係数決定方法。
【請求項５】
請求項１又は請求項２に記載のホワイトバランス補正係数決定方法において、
前記補正係数決定ステップでは、前記複数の白目領域から予め定めた異常条件に該当する異常白目領域を除外した残りの白目領域を少なくとも含む一群の白目領域の各色情報が示す一群の色情報値の平均値に基づき前記補正係数を決定することを特徴とするホワイトバランス補正係数決定方法。
【請求項６】
被写体からの光を受光して電気信号に変換する撮像素子から出力された画像データと対応する画像中に含まれる人物の顔面領域を検出する顔面領域検出手段と、
前記顔面領域検出手段により検出された顔面領域中に含まれる白目領域を検出する白目領域検出手段と、
前記白目領域検出手段により複数の白目領域が検出された場合に当該複数の白目領域の色情報に基づき前記画像のホワイトバランス補正において使用する補正係数を予め定めた決定手順に従って決定する補正係数決定手段と
を備えたことを特徴とするホワイトバランス補正係数決定装置。
【請求項７】
請求項６に記載のホワイトバランス補正係数決定装置において、
前記顔面領域検出手段により複数の顔面領域が検出された場合に前記各顔面領域のうち主要被写体となる人物の顔面領域を予め定めた決定手順に従って基準顔面領域として決定する基準顔面領域決定手段を更に備え、
前記白目領域検出手段は、前記基準顔面領域中に含まれる白目領域を検出することを特徴とするホワイトバランス補正係数決定装置。
【請求項８】
被写体からの光を受光して電気信号に変換する撮像素子から出力された画像データと対応する画像のホワイトバランスを請求項１〜請求項５のうち何れか一項に記載のホワイトバランス補正係数決定方法によって決定した補正係数を使用して補正する補正ステップを備えたことを特徴とするホワイトバランス補正方法。
【請求項９】
被写体からの光を受光して電気信号に変換する撮像素子から出力された画像データと対応する画像のホワイトバランスを請求項１〜請求項５のうち何れか一項に記載のホワイトバランス補正係数決定方法によって決定した補正係数を使用して補正する補正手段を備えたことを特徴とするホワイトバランス補正装置。
【請求項１０】
被写体からの光を受光して電気信号に変換する撮像素子と、
前記撮像素子から出力された画像データと対応する画像を表示する表示手段と、
請求項６又は請求項７に記載のホワイトバランス補正係数決定装置と、
前記補正係数決定装置により決定された補正係数を用いて前記画像のホワイトバランスを補正する補正手段と
を備えたことを特徴とする撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１１−１０９４１１（Ｐ２０１１−１０９４１１Ａ）
【公開日】平成２３年６月２日（２０１１．６．２）
【国際特許分類】
【出願番号】特願２００９−２６２２８６（Ｐ２００９−２６２２８６）
【出願日】平成２１年１１月１７日（２００９．１１．１７）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２３年６月２日（２０１１．６．２）
【国際特許分類】
【出願日】平成２１年１１月１７日（２００９．１１．１７）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]