ホワイトバランス調整装置、ホワイトバランス調整方法、ホワイトバランス調整プログラム、および、撮像装置
【課題】ホワイトバランス調整を行うための光源を正確に検出することができない。
【解決手段】ホワイトバランス調整装置は、撮像画像において、光源色を推定するための光源色推定エリアを少なくとも１つ推定するエリア推定部と、光源色推定エリアについて、撮像画像の奥行き方向における距離を光源色推定エリアの距離として算出する距離算出部と、光源色推定エリアの色度を算出する色度算出部と、光源色推定エリアの距離、および、光源色推定エリアの色度に基づいて、ホワイトバランス調整値を算出するホワイトバランス調整値算出部とを備える。
【解決手段】ホワイトバランス調整装置は、撮像画像において、光源色を推定するための光源色推定エリアを少なくとも１つ推定するエリア推定部と、光源色推定エリアについて、撮像画像の奥行き方向における距離を光源色推定エリアの距離として算出する距離算出部と、光源色推定エリアの色度を算出する色度算出部と、光源色推定エリアの距離、および、光源色推定エリアの色度に基づいて、ホワイトバランス調整値を算出するホワイトバランス調整値算出部とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像画像のホワイトバランスを調整するためのホワイトバランス調整値を算出する技術に関する。
【背景技術】
【０００２】
従来、被写体が撮像された画面を複数のエリアに分割して、各エリアごとに色情報を取得し、取得した各エリアごとの色情報と光源種に対応する色分布とに基づいて、光源種を判別して、光源種に適したホワイトバランス調整を行う技術が知られている（特許文献１参照）。
【０００３】
また、カメラから被写体までの距離情報に基づいて、被写体距離に近い画像領域を撮像画像から抽出し、抽出した画像領域に関する撮像信号に基づいて、ホワイトバランス調整のための制御量を算出する技術が知られている（特許文献２参照）。
【特許文献１】特開２０００−２２４６０８号公報
【特許文献２】特開２００１−２８７６２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載の技術では、複数の光源下におけるシーンや、光源と間違えやすい被写体の入ったシーン等では、正しいホワイトバランス調整を行うことができないという問題があった。また、特許文献２に記載の技術では、被写体に近い領域に光源色などの光源判別可能な情報が無いと、正確な光源検出を行うことができないという問題があった。
【０００５】
本発明は上記の課題に鑑みてなされたものであり、その目的は、光源を精度良く推定して、精度の良いホワイトバランス調整を行うことを目的とする。
【課題を解決するための手段】
【０００６】
本発明のある態様に係るホワイトバランス調整装置は、撮像画像において、光源色を推定するための光源色推定エリアを少なくとも１つ推定するエリア推定部と、前記光源色推定エリアについて、前記撮像画像の奥行き方向における距離を、前記光源色推定エリアの距離として算出する距離算出部と、前記光源色推定エリアの色度を算出する色度算出部と、前記光源色推定エリアの距離、および、前記光源色推定エリアの色度に基づいて、ホワイトバランス調整値を算出するホワイトバランス調整値算出部と、を備えることを特徴とする。
【０００７】
本発明の別の態様に係るホワイトバランス調整方法は、撮像画像において、光源色を推定するための光源色推定エリアを少なくとも１つ推定するステップと、前記光源色推定エリアについて、前記撮像画像の奥行き方向における距離を、前記光源色推定エリアの距離として算出するステップと、前記光源色推定エリアの色度を算出するステップと、前記光源色推定エリアの距離、および、前記光源色推定エリアの色度に基づいて、ホワイトバランス調整値を算出するステップと、を備えることを特徴とする。
【０００８】
本発明のさらに別の態様に係るホワイトバランス調整プログラムは、撮像画像において、光源色を推定するための光源色推定エリアを少なくとも１つ推定するステップと、前記光源色推定エリアについて、前記撮像画像の奥行き方向における距離を、前記光源色推定エリアの距離として算出するステップと、前記光源色推定エリアの色度を算出するステップと、前記光源色推定エリアの距離、および、前記光源色推定エリアの色度に基づいて、ホワイトバランス調整値を算出するステップと、をコンピュータに実行させることを特徴とする。
【０００９】
これらの態様によれば、光源色推定エリアの距離、および、光源色推定エリアの色度に基づいて、ホワイトバランス調整値を算出するので、例えば、複数の光源下におけるシーンや、光源と間違えやすい被写体の入ったシーン等においても、実際の光源に応じた精度の良いホワイトバランス調整値を算出して、精度の良いホワイトバランス調整を行うことができる。
【発明の効果】
【００１０】
本発明によれば、精度の良いホワイトバランス調整を行うことができる。
【発明を実施するための最良の形態】
【００１１】
−第１の実施形態−
図１は、本発明の第１の実施形態におけるホワイトバランス調整装置が適用される撮像装置の概略構成を示したブロック図である。撮像装置１は、例えば、デジタルカメラであり、撮像部２と画像処理装置３とを備えている。ホワイトバランス調整装置は、画像処理装置３の内部に設けられている第２画像処理部２７に対応する。
【００１２】
撮像部２は、レンズ１０、シャッタ１１、ＣＣＤ１２、ＣＣＤ制御部１３、レンズ駆動部１４、および、ストロボ１５を備えている。なお、他の例として、本実施形態に係るホワイトバランス調整装置は、デジタルカメラ以外の、ホワイトバランスを調整可能な様々な電子機器に搭載されてもよい。
【００１３】
レンズ１０には、ピント調節および焦点距離調節用の撮影レンズと、開口量を調節するための絞り１０ａが配置されている。この絞り１０ａの役割は、撮影制御部２０からの制御指令に基づいて、撮像面へ照射する光の明るさと深度を調整することであるが、深度調整の必要性の少ない廉価な撮像装置においては、明るさ調節の目的のために、例えば、光量調節のためのＮＤフィルタで代用することも可能である。
【００１４】
レンズ１０は、後述する撮影制御部２０の制御によりレンズ駆動部１４が作動することにより駆動される。これにより、撮影制御部２０からの制御指令に基づいて、ピント合わせやズーム駆動等が行われる。ストロボ１５は、撮影制御部２０の制御により、被写体に光を照射可能となっている。
【００１５】
レンズ１０の後方には、露光時間制御用のシャッタ１１が配置されている。このシャッタ１１は、撮影制御部２０によって駆動制御される。シャッタ１１は、スルー画像撮影時には常に開いた状態とされる。この時、ＣＣＤ１２の露光量制御は、ＣＣＤ１２の有する電子シャッタ機能を用いて実現される。また、いわゆる静止画（以下「スチル撮影」という）の撮影時には、シャッタ１１によりＣＣＤ１２への露光量が制御される。
【００１６】
シャッタ１１の後方には、二次元撮像素子としてのＣＣＤ１２が配置されており、レンズ１０によって結像される被写体像を電気信号に光電変換する。なお、本実施形態では、撮像素子としてＣＣＤを用いているが、これに限らず、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の二次元撮像素子を使用できることは言うまでもない。
【００１７】
ＣＣＤ制御部１３は、ＣＣＤインターフェイス２１に接続されている。ＣＣＤ制御部１３は、ＣＣＤインターフェイス２１を介して後述するシーケンスコントローラ（以下「ボディＣＰＵ」という）２２からの制御信号を受信し、この制御信号に基づいてＣＣＤ１２の電源のオン・オフ制御等を行い、撮像のタイミングを調整し、光電変換信号の増幅（ゲイン調整）等を行う。
【００１８】
ＣＣＤ１２により取得されたアナログ信号の画像信号は、画像処理装置３に入力され、ＣＣＤインターフェイス２１によりデジタル信号に変換される。
【００１９】
画像処理装置３は、例えば、ＡＳＩＣであり、上述の撮影制御部２０、ＣＣＤインターフェイス２１、ボディＣＰＵ２２、輝度算出部２３、ＡＦ演算部２４、第１画像処理部２５、顔検出部２６、第２画像処理部２７、および、第３画像処理部２８等を備えている。これら各部は、画像処理装置３内のデータバス３０を介して相互に接続されている。
【００２０】
ボディＣＰＵ２２は、撮像装置１が備える各部の制御を行う。輝度算出部２３は、画像信号を所定の分割エリアごとに平均して、輝度信号に変換し、被写体の輝度分布情報を算出する。
【００２１】
ＡＦ演算部２４は、画像信号を所定の領域に分割して、領域毎にコントラスト情報を算出し、レンズ駆動部１４の制御と同期して、所定領域のコントラストが最大となるように、レンズ１０を駆動することにより、被写体に焦点を合わせる。
【００２２】
第１画像処理部２５、第２画像処理部２７、および、第３画像処理部２８は、撮像部２により取得された画像信号に対して、ＯＢ減算、色補正、階調補正、白黒・カラーモード処理、ホワイトバランス処理、スルー画像処理といった各種の画像処理を行う。特に、第２画像処理部２７で行われるホワイトバランス処理の詳細については、後述する。
【００２３】
顔検出部２６は、画像信号を基に、顔検出に適したサイズの画像を作成し、例えば、特開２００６−２２７９９５号公報に開示されているような公知の技術を用いて、処理対象画像中から顔の部分に類似する特徴量を持つ部分を探索して顔候補領域を抽出し、顔候補領域の種々の情報を用いて、顔か否かの判断を行い、顔領域の位置と大きさを検出する。
【００２４】
ここで、より具体的な顔検出方法は、例えば、Ｐ．Ｖｉｏｌａ ａｎｄ Ｍ．Ｊｏｎｅｓ，“Ｒａｐｉｄ ｏｂｊｅｃｔ ｄｅｔｅｃｔｉｏｎ ｕｓｉｎｇ ａ ｂｏｏｓｔｅｄ ｃａｓｃａｄｅ ｏｆ ｓｉｍｐｌｅ ｆｅａｔｕｒｅｓ，”Ｐｒｏｃ． ｏｆ ＣＶＰＲ，２００１に開示されているような、Ｖｉｏｌａ−Ｊｏｎｅｓの顔検出方法である。Ｖｉｏｌａ−Ｊｏｎｅｓの顔検出方法は、Ａｄａｂｏｏｓｔの学習によって選択された顔検出に最適な矩形フィルタを顔検出対象画像に照合させ、顔を検出する方法である。上記矩形フィルタをカスケード型に配することで処理を高速化している。
【００２５】
また、上記データバス３０には、上述した構成要素のほか、圧縮部３１、ＳＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）制御部３２、フラッシュメモリ制御部３３、操作検出部３４、記録媒体制御部３５、ビデオ信号出力部３６などが接続されている。
【００２６】
圧縮部３１は、後述するＳＤＲＡＭ４１に記憶された画像データ等をＪＰＥＧで圧縮するためのブロックである。なお、画像圧縮はＪＰＥＧに限らず、他の圧縮方法も適用できる。
【００２７】
フラッシュメモリ制御部３３は、フラッシュメモリ４２に接続されている。このフラッシュメモリ４２には、撮像装置１における各処理を制御するための画像処理プログラムが記憶されており、ボディＣＰＵ２２は、このフラッシュメモリ４２に記憶されているプログラムに従って各部の制御を行う。なお、フラッシュメモリ４２は、電気的に書換可能な不揮発性メモリである。
【００２８】
ＳＤＲＡＭ４１は、ＳＤＲＡＭ制御部３２を介してデータバス３０に接続されている。ＳＤＲＡＭ４１は、第１画像処理部２５等によって画像処理された画像情報または圧縮部３１によって圧縮された画像情報を一時的に記憶するためのメモリである。
【００２９】
撮影制御部２０は、データバス３０を介してボディＣＰＵ２２等の各部と接続している。記録媒体制御部３５は、記録媒体４３に接続され、この記録媒体４３への画像データ等の記録の制御を行う。記録媒体４３は、ｘＤピクチャーカード（登録商標）、メモリスティック（登録商標）またはハードディスクドライブ（ＨＤ）等の書換可能な記録媒体で構成され、撮像装置本体に対して着脱可能とされている。
【００３０】
ビデオ信号出力部３６は、表示モニタ制御部４５を介して表示モニタ４６に接続されている。ビデオ信号出力部３６は、ＳＤＲＡＭ４１または記録媒体４３に記憶された画像データを、表示モニタ４６に表示するためのビデオ信号に変換するための回路である。表示モニタ４６は、例えば、撮像装置本体の背面に配置されている液晶表示装置であるが、撮影者が観察できる位置であれば、背面に限らないし、また液晶に限らず他の表示装置であってもよい。
【００３１】
操作部４７は、撮像装置１の撮影指示を示すレリーズを検出するスイッチや、モードダイヤル、パワースイッチ、コントロールダイヤル、再生ボタン、メニューボタン、十字キー、ＯＫ釦等を含み、操作検出部３４を介してデータバス３０に接続されている。
【００３２】
このような構成を備える撮像装置１において、ユーザによってパワースイッチ（図示略）がオンされると、以下に示す表示シーケンスがボディＣＰＵ２２によって実行され、ボディＣＰＵ２２からの制御により各部が作動する。以下、表示シーケンスの動作フローについて図２を参照して説明する。
【００３３】
〔表示シーケンス〕
ユーザによって電源がオンされると、ステップＳＡ１において、撮像部２によるスルー画像の撮影が開始される。スルー画像の画像信号は、ＣＣＤインターフェイス２１によりデジタル信号に変換され、変換後の画像信号（以下、「スルー画像信号」という）が画像処理装置３内に入力される。
【００３４】
ステップＳＡ２では、第１画像処理部２５により、スルー画像信号に対して第１画像処理、すなわち、公知のＯＢ補正処理等を行う。ステップＳＡ３では、顔検出部２６により、スルー画像信号を顔検出に適した画像に変換し、所定の領域毎に顔の特徴量とのマッチング比較を行って、顔の位置および大きさを検出する。ステップＳＡ４では、被写体を推定する。被写体の推定処理の詳細については、図３に示すフローチャートを用いて後述する。
【００３５】
ステップＳＡ５では、第２画像処理部２７により、第２画像処理、すなわち、ホワイトバランス処理を行う。ホワイトバランス処理の詳細については、図６に示すフローチャートを用いて後述する。
【００３６】
ステップＳＡ６では、第３画像処理部２８により、第３画像処理、すなわち、既知のＹＣ変換処理、階調変換処理、圧縮、リサイズ等の処理を行う。ステップＳＡ７では、処理後のスルー画像信号を表示モニタ４６に表示させる。
【００３７】
ステップＳＡ８では、顔検出の結果が前回の顔検出結果に対して変化したか否かを判定する。例えば、前回のスルー画像信号においては顔検出がされたのに、今回のスルー画像信号においては検出されなかった場合や、逆に、前回のスルー画像信号においては顔検出がされなかったのに、今回のスルー画像信号において検出された場合のように、顔検出の結果が変化した場合には、ステップＳＡ９に進む。
【００３８】
ステップＳＡ９では、被写体の距離が前回のスルー画像信号のときと変動しているか否かを判定する。この距離の変動は、例えば、以前にオートフォーカスを行って取得したスルー画像信号における合焦エリアと、今回得られたスルー画像信号の同エリアにおけるコントラストの差分を算出し、その差分が所定値以上であれば、被写体の距離が変動していると判断する。この結果、被写体の距離が変動していたと判定するとステップＳＡ１０に進む。
【００３９】
ステップＳＡ１０では、オートフォーカス処理を行う。具体的には、オートフォーカス用に撮影とレンズ駆動を複数回繰り返し、撮影により得られた信号を複数のエリアに分割（例えば、縦２０分割、横３０分割）し、エリア毎のコントラストを算出し、コントラスト値が最大となる位置にレンズ１０を駆動することで、被写体への合焦動作を行う。
【００４０】
分割したエリアのうち、どのエリアのコントラストを重視して、レンズ駆動を行うかは、公知のアルゴリズムにより決定される。例えば、本実施形態では、直前の顔検出の結果を用いて、顔が検出された場合には、顔の位置情報、大きさ情報を基に顔に近いエリアを重視し、顔が検出されなかった場合には、最も至近のエリアを重視する。
【００４１】
ステップＳＡ１１では、各分割エリアの被写体距離分布を算出する。具体的には、オートフォーカス処理におけるレンズ駆動終了後に、各撮影時のコントラスト情報とそのときのレンズ位置、最終駆動終了時のレンズ位置情報を基に、各分割エリアの被写体距離を算出し、被写体距離分布情報として所定のメモリに記憶する。被写体距離は、撮像画像の奥行き方向における距離であり、本実施形態では、ＣＣＤ１２から被写体までの距離である。ただし、被写体には、撮影対象である人物や物だけでなく、背景も含まれる。また、オートフォーカス処理時に重視したエリア、および、そのエリアのコントラスト値についてもメモリに記憶する。この処理が終了すると、ステップＳＡ１２に進む。
【００４２】
一方、ステップＳＡ８において、顔検出の結果が前回と今回とで変化していない場合、あるいは、ステップＳＡ９において、被写体の距離が変動していない場合には、ステップＳＡ１２に進む。
【００４３】
ステップＳＡ１２では、スルー画像信号を用いて、被写体の輝度分布を算出するとともに、上記顔検出結果を用いて、被写体エリア、被写体周辺エリアの輝度を算出する。ステップＳＡ１３では、ステップＳＡ１２で得られた被写体の輝度分布情報をもとに、スルー画像中のシャッタ速度、絞り、ＩＳＯ感度を決定し、これらのＡＰＥＸ値（ａｖ、ｔｖ、ｓｖ）をメモリに記憶し、次回のスルー画像露出時に反映する。
【００４４】
ステップＳＡ１４では、操作検出部３４で撮影者によりレリーズボタンが押されたか否かを判定する。レリーズボタンが押されたと判定すると、ステップＳＡ１５に進み、スチル撮影を実施する。スチル撮影の処理については、図４に示すフローチャートを用いて後述する。スチル撮影が終了した場合、あるいは、ステップＳＡ１４において、レリーズボタンが押されていない場合には、ステップＳＡ１６に進む。
【００４５】
ステップＳＡ１６では、操作検出部３４で、撮影者によりパワースイッチが押されて電源がオフされたか否かを判定する。電源がオフされていないと判定するとステップＳＡ１に戻り、ユーザによって電源がオフされるまで、上述の処理を繰り返し実行する。一方、電源がオフされたと判定すると、ステップＳＡ１７に進んで、表示シーケンスのスタンバイ処理を行って、フローチャートの処理を終了する。
【００４６】
〔被写体推定〕
図３は、図２に示すフローチャートのステップＳＡ４で行われる被写体推定処理の詳細を示すフローチャートである。被写体推定処理では、後述するように、主要被写体の有無、主要被写体箇所、および、主要被写体までの距離を求める。なお、主要被写体までの距離は、図２のステップＳＡ１１で求めた被写体距離分布情報を用いる。
【００４７】
ステップＳＢ１では、図２のステップＳＡ３で行われた顔検出の結果に基づいて、顔が検出されたか否かを判定する。顔が検出されたと判定するとステップＳＢ２に進む。ステップＳＢ２では、主要被写体箇所を「顔」、主要被写体は「あり」、主要被写体距離を「主要被写体箇所の距離」として、被写体推定処理を終了する。
【００４８】
一方、ステップＳＢ１において、顔が検出されていないと判定すると、ステップＳＢ３に進む。ステップＳＢ３では、距離測定が不能であるか否かを判定する。例えば、図２のステップＳＡ１０において行ったオートフォーカス処理時に、コントラスト値の検出ができないなどで、オートフォーカスできなかった場合には、距離測定が不能であると判定して、ステップＳＢ４に進む。ステップＳＢ４では、主要被写体箇所は「不明」、主要被写体は「なし」として、被写体推定処理を終了する。
【００４９】
ステップＳＢ３において、距離測定が可能であると判定すると、ステップＳＢ５に進む。ステップＳＢ５では、図２のステップＳＡ４で検出した被写体距離が１ｍより長く、かつ、５ｍより短いかを判定する。被写体距離が１ｍより長く、かつ、５ｍより短いと判定すると、ステップＳＢ６に進む。ステップＳＢ６では、主要被写体箇所は「測距箇所」、主要被写体は「あり」、主要被写体距離を「主要被写体箇所の距離」として、被写体推定処理を終了する。なお、本実施形態に係るホワイトバランス調整装置は、被写体推定処理の判定基準を「１ｍ」および「５ｍ」と設定したが、これに限られず、他の例として、「２ｍ」および「６ｍ」と設定してもよい。
【００５０】
一方、ステップＳＢ５において、被写体距離が１ｍ以下、または、５ｍ以上であると判定すると、ステップＳＢ７に進む。ステップＳＢ７では、主要被写体箇所は「画像全体」、主要被写体は「なし」として、被写体推定処理を終了する。
【００５１】
〔スチル撮影〕
次に、図２のフローチャートを用いて説明した表示シーケンスのステップＳＡ１５で行われるスチル撮影について、図４を参照して説明する。図４は、スチル撮影の処理手順を示すフローチャートである。
【００５２】
図４のステップＳＣ１では、プリ撮影が実施される。撮像部２にて取得された画像信号は、ＣＣＤインターフェイス２１においてデジタル化された後、撮像処理装置３内の各部へ転送される。
【００５３】
ステップＳＣ２では、第１画像処理部２５により、プリ撮影で得られた画像信号に対してＯＢ処理等の第１画像処理を行う。ステップＳＣ３では、顔検出部２６により、第１画像処理後の画像信号に基づいて、顔検出処理を行う。ステップＳＣ４では、オートフォーカス処理を行う。ステップＳＣ５では、被写体の距離分布を算出する。ステップＳＣ６では、被写体を推定する。顔検出処理、オートフォーカス処理、被写体の距離分布算出処理、被写体の推定処理については、図２のステップＳＡ３、ステップＳＡ１０、ステップＳＡ１１、ステップＳＡ４の処理と同じであるので、詳しい説明は省略する。
【００５４】
ステップＳＣ７では、被写体の輝度分布を算出する。この処理は、図２のステップＳＡ１２の処理と同じである。ステップＳＣ８では、ステップＳＣ７で得られた被写体の輝度分布情報に基づいて、露光条件を決定するための目標輝度を求め、この目標輝度に基づいて、本撮影でのシャッタ速度、絞り、ＩＳＯ感度等の露光条件を決定し、これらのＡＰＥＸ値（ａｖ、ｔｖ、ｓｖ）を記憶する。
【００５５】
ステップＳＣ９では、ストロボ１５の発光の必要性の有無を判断する。例えば、逆光時や低輝度時には、ストロボ１５の発光が必要であると判断する。この結果、ストロボ発光が必要でないと判断された場合には、ステップＳＣ１０に進む。ステップＳＣ１０では、絞り１０ａ、シャッタ１１、ＣＣＤ１２を制御して、ステップＳＣ８で決定した露光条件で撮影を行う。撮像部２において取得された画像信号は、ＣＣＤインターフェイス２１においてデジタル信号に変換され、画像処理装置３内の各部に転送される。
【００５６】
ステップＳＣ９において、ストロボ１５の発光が必要であると判断された場合には、ステップＳＣ１１に進む。ステップＳＣ１１では、ストロボ発光と撮像を行うプリ露光を実施し、得られたＣＣＤ出力データを読み出して所定の処理を行う。ステップＳＣ１２では、ステップＳＣ１１で得られたＣＣＤ出力データを基に、ストロボ光照射時の被写体の輝度分布情報を作成し、作成した輝度分布情報に基づいて、ストロボ発光量を演算する。
【００５７】
ステップＳＣ１３では、絞り１０ａ、シャッタ１１、ストロボ１５、ＣＣＤ１２等を制御して、ステップＳＣ８で決定した露光条件、および、ステップＳＣ１２で演算した発光量にて、ストロボ発光および撮影を行う。撮像部２において取得された画像信号は、ＣＣＤインターフェイス２１においてデジタル信号に変換され、画像処理装置３内の各部に転送される。
【００５８】
ステップＳＣ１４では、第１画像処理部２５にて、画像信号に対して公知のＯＢ補正処理等の第１画像処理を実施する。第１画像処理後の画像信号は、第２画像処理部２７に転送される。
【００５９】
ステップＳＣ１５では、第２画像処理部２７において、第１画像処理部２５から転送されてきた画像信号に対して、ホワイトバランス調整処理等の第２画像処理を実施する。第２画像処理後の画像信号は、第３画像処理部２８に転送される。なお、第２画像処理部２７において行われるホワイトバランス調整処理の詳細については、図６を用いて後述する。
【００６０】
ステップＳＣ１６では、第３画像処理部２８において、第２画像処理部２７から転送されてきた画像信号に対して、色補正、ノイズ補正、ＹＣ変換、階調変換、圧縮等の第３画像処理を実施する。
【００６１】
ステップＳＣ１７では、画像処理の終了した画像を記録媒体４３に記録する。ステップＳＣ１８では、画像処理の終了した画像を、ビデオ信号出力部３６等を介して表示モニタ４６に表示する。
【００６２】
図５は、第２画像処理部２７の詳細な構成を示すブロック図である。第２画像処理部２７は、光源候補推定部２７１と、光源候補信頼性推定部２７２と、光源候補エリア距離算出部２７３と、光源決定部２７４と、ホワイトバランス調整部２７５とを備える。以下、図６に示すフローチャートを用いて、各部２７１〜２７５で行われる処理について説明する。
【００６３】
〔ホワイトバランス処理〕
図６は、第２画像処理部２７で行われるホワイトバランス処理の詳細な内容を示すフローチャートである。ステップＳＤ１〜ステップＳＤ３の処理は、光源候補推定部２７１で行われ、ステップＳＤ４〜ステップＳＤ５の処理は、光源候補信頼性推定部２７２で行われる。また、ステップＳＤ６〜ステップＳＤ９の処理は、光源候補エリア距離算出部２７３で行われ、ステップＳＤ１０の処理は、光源決定部２７３で行われ、ステップＳＤ１１〜ステップＳＤ１２の処理は、ホワイトバランス調整部２７５で行われる。
【００６４】
ステップＳＤ１では、撮影により得られた画像を複数のエリアに分割（例えば、縦２０分割、横３０分割）し、分割したエリア毎に、各色のＣＣＤ出力値Ｒ，Ｇ，Ｂの平均値を算出する。図７は、２０×３０のエリアに分割された撮影画像７０の一例を示す図である。ここでは、撮影画像７０の左下を基準として、横方向にｉ番目、縦方向にｊ番目の分割エリアのＲ平均値、Ｇ平均値、Ｂ平均値をそれぞれ、Ｒｉｊ、Ｇｉｊ、Ｂｉｊとする。
【００６５】
ステップＳＤ２では、分割した各エリアの評価値として、Ｒｉｊ／Ｇｉｊ、Ｂｉｊ／Ｇｉｊを算出する。評価値は、撮像画像から光源色を推定するために用いる指標である。
【００６６】
ステップＳＤ３では、ステップＳＤ２で求めた評価値を、Ｒ／Ｇをｘ軸、Ｂ／Ｇをｙ軸とする平面上にプロットし、この平面上に設定される各光源色候補エリア内に含まれる評価値の重心値を求める。
【００６７】
図８は、Ｒ／Ｇをｘ軸、Ｂ／Ｇをｙ軸とする平面上に設定される光源色候補エリア８１〜８６の一例を示す図である。光源色候補エリア８１〜８６は、光源に照らされたと推定される無彩色の色度分布の範囲を規定したものであり、それぞれ、日陰、曇天、晴天、蛍光灯、その他の光源、電球の色度分布の範囲を規定したものである。光源色候補エリア８５のその他の光源には、夕日や、様々な光源のミックス光等が含まれる。
【００６８】
図８では、光源色候補エリア８１〜８６とともに、光源色を推定するための光源推定可能色候補エリア８７〜８９も示している。光源推定可能色候補エリア８７〜８９は、光源に照らされたと推定される特定の有彩色の色度分布の範囲を規定したものであり、それぞれ、曇天下の肌色、晴天下の肌色、晴天下の緑色の色度が分布する範囲を規定したものである。
【００６９】
上述した光源色候補エリア８１〜８６、および、光源推定可能色候補エリア８７〜８９は、撮像画像から光源色を推定するための領域である。
【００７０】
評価値の重心値は、光源色候補エリア８１〜８６ごとに、エリア内に含まれる評価値の平均値を演算することにより求める。ここでは、光源色候補エリア８１〜８６の重心値（ｘ、ｙ）をそれぞれ、ＺＰＯＩＮＴ＿１（ｘ、ｙ）〜ＺＰＯＩＮＴ＿６（ｘ、ｙ）と表す。例えば、光源色候補エリア８１内に含まれる評価値の平均値がＲ／Ｇ＝０．２、Ｂ／Ｇ＝０．８の場合には、ＺＰＯＩＮＴ＿１（０．２，０．８）のように表す。また、光源色候補エリア８１内に含まれる評価値が一個もない場合には、ＺＰＯＩＮＴ＿１（０，０）と記載することにする。
【００７１】
なお、ここでは、図８に示す光源色候補エリア８１〜８６、および、光源推定可能色候補エリア８７〜８９内に、撮像画像の各分割エリアの評価値を当てはめる処理を行っているが、これは、撮像画像において、光源色を推定するための光源色推定エリアを特定する処理、すなわち、撮像画像において、光源色候補エリア８１〜８６、および、光源推定可能色候補エリア８７〜８９の光源の色度と等しい色度を有するエリアを特定する処理と等しい。
【００７２】
ステップＳＤ４では、各光源色候補エリア８１〜８６に対応する光源色の信頼性係数α１〜α６、および、各光源推定可能色候補エリア８７〜８９に対応する光源推定可能色の信頼性係数α７〜α９を求める。信頼性係数α１〜α９は、撮像画像のホワイトバランス調整に用いる光源色または光源推定可能色の確からしさを示す係数であり、ここでは、第１の信頼性係数と呼ぶ。第１の信頼性係数α１〜α９は、後述するように、図４に示すフローチャートのステップＳＣ７で求めた撮影時の被写体輝度情報、またはステップＳＣ８で求めた撮影のための目標輝度情報に基づいて求める（本実施形態では、ステップＳＣ８で求めた値を使用し、以下、適宜「撮影輝度」という）。
【００７３】
図９は、第１の信頼性係数α１〜α９を算出するための信頼性係数算出関数の一例を示す図である。図９において、横軸は撮影輝度（被写体輝度）、縦軸は第１の信頼性係数である。光源によって絶対的な明るさに差があり、撮影輝度も光源によって異なるという性質に基づいて、撮影輝度に応じた信頼性係数算出関数を設定している。図９に示す例では、光源色候補エリア８４，８６に対応する光源色の信頼性係数算出関数を９１、光源色候補エリア８１，８２に対応する光源色、および、光源推定可能色候補エリア８７に対応する光源推定可能色の信頼性係数算出関数を９２、光源色候補エリア８３に対応する光源色、および、光源推定可能色候補エリア８８，８９に対応する光源推定可能色の信頼性係数算出関数を９３、光源色候補エリア８５に対応する光源色の信頼性係数算出関数を９４で示している。
【００７４】
例えば、光源が晴天時の太陽光（光源色候補エリア８３）の信頼性係数算出関数９３は、撮影輝度が高くなるほど第１の信頼性係数α３が高くなる関数となっている。一方、光源が蛍光灯（光源色候補エリア８４）の場合には、光源輝度がそれほど高くなく、太陽光による晴天時ほど撮影輝度は高くない。従って、信頼性係数算出関数９１は、所定輝度以下の輝度領域において、第１の信頼性係数α４が高くなる関数となっている。
【００７５】
光源候補信頼性推定部２７２は、撮影輝度から第１の信頼性係数を算出するための信頼性係数算出関数９１〜９４を記憶しており、これらの関数９１〜９４と撮影輝度とから、第１の信頼性係数α１〜α９を算出する。なお、信頼性係数算出関数９１〜９４の代わりに、図９に示すような撮影輝度と第１の信頼性係数との関係を定めたテーブルを光源候補信頼性推定部２７２に記憶させておき、このテーブルと撮影輝度とから、第１の信頼性係数α１〜α９を算出するようにしてもよい。
【００７６】
ステップＳＤ５では、各光源色候補エリア８１〜８６に対応する光源色の第２の信頼性係数α’１〜α’６、および、各光源推定可能色候補エリア８７〜８９に対応する光源推定可能色の第２の信頼性係数α’７〜α’９を求める。ここでは、各エリア８１〜８９に含まれる評価値の個数に基づいて、第２の信頼性係数α’１〜α’９を求める。
【００７７】
図１０は、第２の信頼性係数α’１〜α’９を算出するための信頼性係数算出関数の一例を示す図である。図１０において、横軸は各エリア８１〜８９に含まれる評価値の個数、縦軸は第２の信頼性係数である。図１０に示す例では、光源色候補エリア８４，８６に対応する光源色の信頼性係数算出関数を１０１、それ以外のエリア８１〜８３，８５，８７〜８９に対応する光源色または光源推定可能色の信頼性係数算出関数を１０２でそれぞれ示している。図１０に示すように、エリア内に含まれる個数が多いほど、信頼性係数は高い。また、エリア内に含まれる評価値の数が０の場合には、第２の信頼性係数α’は０とする。
【００７８】
なお、各エリア８１〜８９に含まれる評価値の数が多いというのは、撮像画像において、光源色を推定するための光源色推定エリアが広い（または光源色推定エリアの箇所が多い）ということと同等である。
【００７９】
図１０に示す信頼性係数算出関数１０１，１０２、および各エリア８１〜８９内に含まれる評価値の個数に基づいて、第２の信頼性係数α’１〜α’９をそれぞれ算出すると、ステップＳＤ６に進む。ステップＳＤ６では、各エリア８１〜８９の被写体の撮像面からの距離を算出する。
【００８０】
図１１は、ステップＳＤ１で求めた複数の分割エリア（ｉ，ｊ）ごとの距離情報の一例を示す図である。この距離情報は、図４に示すフローチャートのステップＳＣ５で求めたものである。
【００８１】
まず、各光源色候補エリア８１〜８６、および、各光源推定可能色候補エリア８７〜８９に含まれる評価値に対応する分割エリアの距離の値を読み出し、エリア８１〜８９ごとに距離ヒストグラムを図１１にもとづき作成する。
【００８２】
図１２〜図１４は、光源色候補エリア８３、８４、８１の距離ヒストグラムの一例を示す図である。図１２〜図１４において、横軸は距離、縦軸は頻度（個数）である。ここでは、作成した距離ヒストグラムにおいて、所定の頻度しきい値Ｔｈ以上のピーク値の距離を、その光源の距離とする。図１２に示す例では、光源色候補エリア８３に対応する光源の距離は、ｄｖ＿３＿ｐｅａｋ１となる。
【００８３】
所定の頻度しきい値Ｔｈ以上の距離ピーク値が複数ある場合には、それら複数のピーク値の距離を、その光源の距離とする。図１３に示す例では、所定の頻度しきい値Ｔｈ以上の距離ピーク値が２つあるため、光源色候補エリア８４に対応する光源の距離は、ｄｖ＿４＿ｐｅａｋ１、および、ｄｖ＿４＿ｐｅａｋ２となる。
【００８４】
距離のピーク値が所定の頻度しきい値Ｔｈ未満の場合には、最大の値をとる距離を、その光源の距離とする。図１４に示す例では、光源色候補エリア８１に対応する光源の距離は、ｄｖ＿１＿ｐｅａｋ１となる。
【００８５】
ステップＳＤ７では、主要被写体が存在するか否かを判定する。この判定は、図３に示すフローチャートの処理において、主要被写体が「あり」と判断したか、「なし」と判断したかに基づいて行う。主要被写体が存在しないと判定するとステップＳＤ８に進む。
【００８６】
ステップＳＤ８では、ステップＳＤ６で求めた光源の距離に基づいて、距離信頼性係数Ｋを求める。距離信頼性係数Ｋは、光源の距離に応じて、その光源の信頼性（確からしさ）を表す係数であり、値が大きいほど、信頼性が高いことを意味する。
【００８７】
図１５は、ステップＳＤ８において、距離信頼性係数Ｋを算出するための距離信頼性係数算出関数の一例を図である。図１５において、横軸は光源の距離、縦軸は距離信頼性係数Ｋである。図１５に示す例では、光源色候補エリア８６に対応する光源の距離信頼性係数算出関数を１５１、光源色候補エリア８４に対応する光源の距離信頼性係数算出関数を１５２、その他のエリア８１〜８３、８５、８７〜８９に対応する光源の距離信頼性係数算出関数を１５３でそれぞれ示している。
【００８８】
例えば、蛍光灯（光源色候補エリア８４）や電球（光源色候補エリア８６）等の人工光は、室内等の距離的に近い部分を照らす光源であり、遠距離を照射することは考えにくく、また、遠距離を照射するような明るさもない。従って、光源の距離が遠い場合には、画像内の主要な光源である可能性は低いため、距離信頼性係数は低くなる。
【００８９】
また、複数の光源が含まれているような場合には、撮影者により近い側の方が被写体を照らしている可能性が高く、撮影者により近い方の光源に順応している可能性が高い。従って、距離信頼性係数算出関数１５３では、距離が近い方ほど、距離信頼性係数を大きくしている。
【００９０】
ステップＳＤ８では、ステップＳＤ６で求めた距離と、図１５に示す距離信頼性係数算出関数とに基づいて、各エリア８１〜８９に対応する光源の距離信頼性係数Ｋを算出する。
【００９１】
なお、距離信頼性係数算出関数の代わりに、光源の距離と距離信頼性係数Ｋとの関係を定めたテーブルデータを光源候補エリア距離算出部２７３に記憶させておき、ステップＳＤ６で求めた距離に基づいて、上記テーブルデータを参照することにより、各エリア８１〜８９に対応する光源の距離信頼性係数Ｋを算出するようにしてもよい。
【００９２】
一方、ステップＳＤ７の判定において、主要被写体が存在すると判定すると、ステップＳＤ９に進む。ステップＳＤ９では、図１６に示す距離信頼性係数算出関数に基づいて、距離信頼性係数Ｋを算出する。図１６において、横軸は光源の距離、縦軸は距離信頼性係数Ｋである。
【００９３】
図１６に示す例では、ストロボ発光時と、ストロボ非発光時とに応じて、２種類の距離信頼性係数算出関数１６１，１６２を設定している。この関数１６１，１６２は、図３に示すフローチャートの処理で求めた主要被写体距離に応じて設定する。すなわち、主要被写体距離から第１の所定距離の位置がピーク値となるように、ストロボ発光時の距離信頼性係数算出関数１６１を設定し、主要被写体距離から第２の所定距離の位置がピーク値となるように、ストロボ非発光時の距離信頼性係数算出関数１６２を設定する。これは、主要被写体近辺であって、主要被写体より撮影者に近い位置におけるものが主要被写体と同じ光源条件である可能性が高いためである。
【００９４】
また、ストロボ発光時には、撮影者に近いほどストロボ光の影響が大きくなり、光源色または光源推定可能色としての確からしさが低くなる。従って、図１６に示すように、ストロボ発光時と、ストロボ非発光時とに応じて、異なる距離信頼性係数算出関数を設定している。
【００９５】
なお、図１６に示す距離信頼性係数算出関数では、各エリア８１〜８９に関係なく、光源の距離およびストロボの有無に応じて、距離信頼性係数Ｋが定まる関数となっているが、図１５に示す距離信頼性係数算出関数のように、各エリア８１〜８９ごとに、光源の特性に応じて異なる関数を設定するようにしてもよい。
【００９６】
ステップＳＤ９では、画像が撮像された時にストロボ１５が発光されたか否かを検出し、その検出結果と、図１６に示す距離信頼性係数算出関数１６１，１６２と、光源の距離とに基づいて、距離信頼性係数Ｋを算出する。
【００９７】
ステップＳＤ１０では、次式（１）より、撮像画像中の光源の色度Ｌ＿ＰＯＩＮＴ（ｘ，ｙ）を算出する。
【００９８】
Ｌ＿ＰＯＩＮＴ（ｘ，ｙ）＝１／（α１×α’１×Ｋ１＋α２×α’２×Ｋ２＋α３×α’３×Ｋ３＋α４×α’４×Ｋ４＋α５×α’５×Ｋ５＋α６×α’６×Ｋ６＋α７×α’７×Ｋ７＋α８×α’８×Ｋ８＋α９×α’９×Ｋ９＋ｍ）×｛α１×α’１×Ｋ１×ＺＰＯＩＮＴ＿１（ｘ，ｙ）＋α２×α’２×Ｋ２×ＺＰＯＩＮＴ＿２（ｘ，ｙ）＋α３×α’３×Ｋ３×ＺＰＯＩＮＴ＿３（ｘ，ｙ）＋α４×α’４×Ｋ４×ＺＰＯＩＮＴ＿４（ｘ，ｙ）＋α５×α’５×Ｋ５×ＺＰＯＩＮＴ＿５（ｘ，ｙ）＋α６×α’６×Ｋ６×ＺＰＯＩＮＴ＿６（ｘ，ｙ）＋α７×α’７×Ｋ７×ＺＰＯＩＮＴ＿２ｄｅｆ（ｘ，ｙ）＋α８×α’８×Ｋ８×ＺＰＯＩＮＴ＿３ｄｅｆ（ｘ，ｙ）＋α９×α’９×Ｋ９×ＺＰＯＩＮＴ＿３ｄｅｆ（ｘ，ｙ）＋ｍ×ＺＰＯＩＮＴ＿３ｄｅｆ（ｘ，ｙ）｝ （１）
【００９９】
ただし、式（１）において、ＺＰＯＩＮＴ＿２ｄｅｆ（ｘ，ｙ）は、曇天の光源に対応する光源色候補エリア８２の代表的色度、ＺＰＯＩＮＴ＿３ｄｅｆ（ｘ，ｙ）は、晴天の光源色候補エリア８３の代表的色度であり、それぞれ適切な値を予め設定しておく。光源推定可能色候補エリア８７〜８９はそれぞれ、曇天下の肌色、晴天下の肌色、晴天下の緑色が分布する色領域である。従って、エリア８７〜８９に位置する点の個数が多い場合には、撮像画面中に曇天下の肌色、晴天下の肌色、晴天下の緑色が存在する可能性が高いため、光源がそれぞれ曇天、晴天、晴天であると推測することができる。従って、式（１）では、光源推定可能色候補エリア８７に対応する色度として、曇天の光源に対応する光源色候補エリア８２の代表的色度ＺＰＯＩＮＴ＿２ｄｅｆ（ｘ，ｙ）を用い、光源推定可能色候補エリア８８，８９に対応する色度として、晴天の光源に対応する光源色候補エリア８３の代表的色度ＺＰＯＩＮＴ＿３ｄｅｆ（ｘ，ｙ）を用いている。
【０１００】
また、式（１）において、ｍは所定の値（例えば、０に近い小さい値）であり、撮像画面内に、光源色が少ない場合や、光源があっても、第１の信頼性係数や、第２の信頼性係数、距離信頼性係数が小さくて、光源としての信頼性が低い場合に、それらの光源の色度に対して晴天の色度の重みが相対的に大きくなるようにするための係数である。例えば、検出された光源色が個数も少なく、輝度的にも光源に照らされた光の可能性が低く、かつ、距離的にも被写体から遠いような場合には、無難でよくある光源である晴天の色度に近い色度になる。また、撮像画像中に、光源色が無い場合、すなわち、光源色推定エリアが検出されなかった場合には、撮像画像中の光源の色度Ｌ＿ＰＯＩＮＴ（ｘ，ｙ）は、晴天の色度となる。
【０１０１】
なお、光源の色度Ｌ＿ＰＯＩＮＴ（ｘ，ｙ）を算出する式は、式（１）に限られない。例えば、式（１）では、全てのエリア８１〜８９の色度を用いるようにしたが、第１の信頼性係数×第２の信頼性係数×距離信頼性係数Ｋの値が大きい所定の数（例えば、３個）の色度のみを用いて算出するようにしてもよい。
【０１０２】
ステップＳＤ１１では、ホワイトバランスゲインを算出して、ホワイトバランス調整を行う。ここでは、ステップＳＤ１０で算出した光源の色度（Ｒ／Ｇ，Ｂ／Ｇ）の逆数Ｇ／Ｒ、Ｇ／Ｂをホワイトバランスゲインとし、算出したホワイトバランスゲインを、全てのピクセルのＲ、Ｂ出力値に乗算する。光源色の部分は、この処理により、Ｇ＝Ｒ＝Ｂとなり、白として表現される。
【０１０３】
ステップＳＤ１２では、色マトリックスを選択する。色マトリックスは、撮像素子の特性に合わせて、各光源色候補エリア８１〜８６に対応する光源色用に、それぞれメモリ内に予め格納されている。ステップＳＤ１０で算出した光源の色度（Ｒ／Ｇ，Ｂ／Ｇ）が各光源色候補エリア８１〜８６に対応する光源色のうち、どの光源色に対応するか、または、どの光源色に最も近いかを求め、求めた光源色の色マトリックスを、Ｒ，Ｇ，Ｂから、例えば、Ｙ，Ｃｒ，Ｃｂに色変換する際に使用する。
【０１０４】
以上、第１の実施形態におけるホワイトバランス調整装置によれば、撮像画像において、光源色を推定するための光源色推定エリアを少なくとも１つ推定し、推定した光源色推定エリアについて、撮像画像の奥行き方向における距離を光源色推定エリアの距離として算出するとともに、光源色推定エリアの色度を算出し、光源色推定エリアの距離および光源色推定エリアの色度に基づいて、ホワイトバランス調整値を算出する。これにより、撮像画像中に複数の光源が存在する場合でも、複数の光源に応じた適切なホワイトバランス調整値を算出することができる。また、撮像画像中に、光源と間違いやすい被写体が存在する場合でも、光源色推定エリアの距離および色度に基づいてホワイトバランス調整値を算出することにより、光源と間違いやすい被写体を主要な光源と誤認識することなく、適切なホワイトバランス調整値を算出することができる。
【０１０５】
特に、第１の実施形態におけるホワイトバランス調整装置によれば、推定した光源色推定エリアの確からしさを示す信頼性を判定し、光源色推定エリアの距離、色度、および信頼性に基づいてホワイトバランス調整値を算出するので、より適切なホワイトバランス調整を行うことができる。また、撮像画像が撮像された時の輝度情報に基づいて、光源色推定エリアの信頼性を判定するので、光源色推定エリアの信頼性を精度良く判定することができる。さらに、光源色推定エリアの広さに基づいて、光源色推定エリアの信頼性を判定するので、光源色推定エリアの信頼性を精度良く判定することができる。さらに、光源色推定の距離と主要被写体の距離とに基づいて、光源色推定エリアの信頼性を判定するので、被写体を照らしている光源をより精度良く判定することができる。
【０１０６】
また、撮像画像を複数のエリアに分割して、光源色推定エリア内の分割エリアごとに、撮像画像の奥行き方向における距離を算出し、算出した距離の頻度が所定の頻度しきい値以上である距離のピーク値を、光源色推定エリアの距離として算出する。この時、所定の頻度しきい値以上である距離のピーク値が複数存在する場合には、それら複数のピーク値の距離を、光源色推定エリアの距離として算出するので、より多くの情報を用いて、さらに精度良くホワイトバランス調整値を算出することができる。また、頻度が所定の頻度しきい値以上である距離が存在しない場合には、頻度が所定の頻度しきい値未満の距離の中で最も頻度が多い距離を、光源色推定エリアの距離として算出するので、ホワイトバランス調整値の算出に際し、頻度が所定の頻度しきい値未満の距離の光源色推定エリアが除外されることもない。
【０１０７】
−第２の実施形態−
図１７は、第２の実施形態におけるホワイトバランス処理の詳細な内容を示すフローチャートであり、第２画像処理部２７によって行われる。図１７に示すフローチャートにおいて、図６に示すフローチャートの処理と同一の処理を行うステップについては、同一の符号を付して詳しい説明は省略する。
【０１０８】
ステップＳＤ１〜ステップＳＤ５の処理に続くステップＳＤ２０では、光源色候補エリア８１〜８６および光源推定可能色候補エリア８７〜８９の中から、ステップＳＤ４で算出した第１の信頼性係数と、ステップＳＤ５で算出した第２の信頼性係数とを乗算した値が大きい順に、２つのエリアを選択する。ここでは、選択した２つのエリアの第１の信頼性係数をそれぞれ、α＿ｌｉｇｈｔ１、α＿ｌｉｇｈｔ２、第２の信頼性係数をそれぞれ、α’＿ｌｉｇｈｔ１、α’＿ｌｉｇｈｔ２、エリア内の評価値の重心値をそれぞれ、ＺＰＯＩＮＴ＿ｌｉｇｈｔ１、ＺＰＯＩＮＴ＿ｌｉｇｈｔ２とする。
【０１０９】
なお、ステップＳＤ３では、光源色候補エリア８１〜８６の重心値しか求めていないが、図６のステップＳＤ１０の処理で説明したように、光源推定可能色候補エリア８７〜８９の重心値は、それぞれ、ＺＰＯＩＮＴ＿２ｄｅｆ（ｘ，ｙ）、ＺＰＯＩＮＴ＿３ｄｅｆ（ｘ，ｙ）、ＺＰＯＩＮＴ＿３ｄｅｆ（ｘ，ｙ）とする。
【０１１０】
ステップＳＤ２１では、ステップＳＤ２０で選択した２つのエリアの被写体の撮像面からの距離を算出する。距離の算出は、図６のステップＳＤ６の距離算出と基本的に同じであるが、距離ヒストグラムを作成した際に、所定の頻度しきい値Ｔｈとの比較は行わない。すなわち、作成した距離ヒストグラムにおける１つのピーク値の距離を、その光源の距離とする。ここでは、ステップＳＤ２０で選択した２つのエリアに対して求めた距離をそれぞれ、ｄｖ＿ｌｉｇｈｔ１、ｄｖ＿ｌｉｇｈｔ２とする。
【０１１１】
ステップＳＤ２２では、光源が複数存在するか、すなわち、２つ存在するか否かを判定する。ステップＳＤ６において、２つの光源を選択した場合には、ステップＳＤ２３に進む。ステップＳＤ２３では、主要被写体が存在するか否かを判定する。この判定は、図３に示すフローチャートの処理において、主要被写体が「あり」と判断したか、「なし」と判断したかに基づいて行う。主要被写体が存在すると判定するとステップＳＤ２４に進む。
【０１１２】
ステップＳＤ２４では、次式（２）より、撮像画中の光源の色度Ｌ＿ＰＯＩＮＴ（ｘ，ｙ）を算出する。ただし、式（２）において、ｄｖ＿ｏｂｊｅｃｔは、図３に示すフローチャートの処理で求めた主要被写体距離である。
【０１１３】
Ｌ＿ＰＯＩＮＴ（ｘ，ｙ）＝｜ｄｖ＿ｌｉｇｈｔ２−ｄｖ＿ｏｂｊｅｃｔ｜／｜ｄｖ＿ｌｉｇｈｔ１−ｄｖ＿ｌｉｇｈｔ２｜×ＺＰＯＩＮＴ＿ｌｉｇｈｔ１（ｘ，ｙ）＋｜ｄｖ＿ｌｉｇｈｔ１−ｄｖ＿ｏｂｊｅｃｔ｜／｜ｄｖ＿ｌｉｇｈｔ１−ｄｖ＿ｌｉｇｈｔ２｜×ＺＰＯＩＮＴ＿ｌｉｇｈｔ２（ｘ，ｙ） （２）
【０１１４】
式（２）では、ステップＳＤ２０で選択した２つのエリアに対応する光源の色度を重み付け加算する際に、主要被写体に近い光源ほど、重みが大きくなるような演算を行っている。
【０１１５】
一方、ステップＳＤ２３において、主要被写体が存在しないと判定すると、ステップＳＤ２５に進む。ステップＳＤ２５では、ｄｖ＿ｌｉｇｈｔ１がｄｖ＿ｌｉｇｈｔ２より小さいか否かを判定する。ｄｖ＿ｌｉｇｈｔ１がｄｖ＿ｌｉｇｈｔ２より小さいと判定すると、ステップＳＤ２６に進む。
【０１１６】
ステップＳＤ２６では、次式（３）より、撮像画中の光源の色度Ｌ＿ＰＯＩＮＴ（ｘ，ｙ）を算出する。
【０１１７】
Ｌ＿ＰＯＩＮＴ（ｘ，ｙ）＝２／３×ＺＰＯＩＮＴ＿ｌｉｇｈｔ１（ｘ，ｙ）＋１／３×ＺＰＯＩＮＴ＿ｌｉｇｈｔ２（ｘ，ｙ） （３）
【０１１８】
式（３）に示すように、ｄｖ＿ｌｉｇｈｔ１がｄｖ＿ｌｉｇｈｔ２より小さい場合には、ｄｖ＿ｌｉｇｈｔ１に対応する光源の色度の重みが、ｄｖ＿ｌｉｇｈｔ２に対応する光源の色度の重みより大きくなるような重み付け演算を行う。
【０１１９】
一方、ステップＳＤ２５において、ｄｖ＿ｌｉｇｈｔ１がｄｖ＿ｌｉｇｈｔ２以上であると判定すると、ステップＳＤ２７に進む。ステップＳＤ２７では、次式（４）より、撮像画中の光源の色度Ｌ＿ＰＯＩＮＴ（ｘ，ｙ）を算出する。
【０１２０】
Ｌ＿ＰＯＩＮＴ（ｘ，ｙ）＝１／３×ＺＰＯＩＮＴ＿ｌｉｇｈｔ１（ｘ，ｙ）＋２／３×ＺＰＯＩＮＴ＿ｌｉｇｈｔ２（ｘ，ｙ） （４）
【０１２１】
式（４）に示すように、ｄｖ＿ｌｉｇｈｔ１がｄｖ＿ｌｉｇｈｔ２以上である場合には、ｄｖ＿ｌｉｇｈｔ２に対応する光源の色度の重みが、ｄｖ＿ｌｉｇｈｔ１に対応する光源の色度の重みより大きくなるような重み付け演算を行う。
【０１２２】
ステップＳＤ２２において、１つの光源しか存在しない場合、すなわち、ステップＳＤ２０の処理において、９つのエリア８１〜８９のうち、第１の信頼性係数と第２の信頼性係数とを乗算した値が０となるエリアが８つあり、１つの光源しか選択できかった場合には、ステップＳＤ２８に進む。ステップＳＤ２８では、次式（５）の関係が成り立つか否かを判定する。ただし、式（５）において、α＿ｔｈは、光源の信頼性を判定するための所定のしきい値である。
【０１２３】
α＿ｌｉｇｈｔ１×α’＿ｌｉｇｈｔ１＞α＿ｔｈ （５）
【０１２４】
式（５）の関係が成り立つと判定すると、ステップＳＤ２９に進む。ステップＳＤ２９では、光源の信頼性が高いと判断して、選択した光源の色度をそのまま、光源の色度Ｌ＿ＰＯＩＮＴ（ｘ，ｙ）とする。すなわち、次式（６）より、光源の色度Ｌ＿ＰＯＩＮＴ（ｘ，ｙ）を算出する。ただし、ＺＰＯＩＮＴ＿ｌｉｇｈｔ１（ｘ，ｙ）は、選択した１つのエリア内の評価値の重心値である。
【０１２５】
Ｌ＿ＰＯＩＮＴ（ｘ，ｙ）＝ＺＰＯＩＮＴ＿ｌｉｇｈｔ１（ｘ，ｙ） （６）
【０１２６】
一方、ステップＳＤ２８において、式（５）の関係が成り立たないと判定すると、ステップＳＤ３０に進む。ステップＳＤ３０では、主要被写体が存在するか否かを判定する。主要被写体が存在すると判定するとステップＳＤ３１に進む。
【０１２７】
ステップＳＤ３１では、次式（７）の関係が成り立つか否かを判定し、成り立つと判定すると、ステップＳＤ３２に進む。ただし、式（７）におけるｄｖ＿ｔｈは、所定の距離しきい値である。
【０１２８】
｜ｄｖ＿ｌｉｇｈｔ１−ｄｖ＿ｏｂｊｅｃｔ｜＜ｄｖ＿ｔｈ （７）
【０１２９】
ステップＳＤ３２では、次式（８）より、撮像画像中の光源の色度Ｌ＿ＰＯＩＮＴ（ｘ，ｙ）を算出する。
【０１３０】
Ｌ＿ＰＯＩＮＴ（ｘ，ｙ）＝｜ｄｖ＿ｌｉｇｈｔ＿ｄｅｆ−ｄｖ＿ｏｂｊｅｃｔ｜／｜ｄｖ＿ｌｉｇｈｔ１−ｄｖ＿ｌｉｇｈｔ＿ｄｅｆ｜×ＺＰＯＩＮＴ＿ｌｉｇｈｔ１（ｘ，ｙ）＋｜ｄｖ＿ｌｉｇｈｔ１−ｄｖ＿ｏｂｊｅｃｔ｜／｜ｄｖ＿ｌｉｇｈｔ１−ｄｖ＿ｌｉｇｈｔ＿ｄｅｆ｜×ＺＰＯＩＮＴ＿ｌｉｇｈｔ＿ｄｅｆ（ｘ，ｙ） （８）
【０１３１】
ただし、式（８）において、ＺＰＯＩＮＴ＿ｌｉｇｈｔ＿ｄｅｆ（ｘ，ｙ）は、所定の光源の色度であり、本実施の形態では、晴天の色度ＺＰＯＩＮＴ＿３ｄｅｆ（ｘ，ｙ）とする。また、ｄｖ＿ｌｉｇｈｔ＿ｄｅｆは、晴天の光源距離であり、予め定められた値を用いる。
【０１３２】
ステップＳＤ３０で主要被写体が存在しないと判定した場合、および、ステップＳＤ３１で式（７）の関係が成り立たないと判定したい場合には、ステップＳＤ３３に進む。ステップＳＤ３３では、次式（９）より、撮像画像中の光源の色度Ｌ＿ＰＯＩＮＴ（ｘ，ｙ）を算出する。ただし、式（９）において、ｎ（０＜ｎ＜１）は、所定の重み係数である。
【０１３３】
Ｌ＿ＰＯＩＮＴ（ｘ，ｙ）＝ｎ×ＺＰＯＩＮＴ＿ｌｉｇｈｔ１（ｘ，ｙ）＋（１−ｎ）×ＺＰＯＩＮＴ＿ｌｉｇｈｔ＿ｄｅｆ（ｘ，ｙ） （９）
【０１３４】
光源の色度を求めた後の処理、すなわち、ステップＳＤ１１およびステップＳＤ１２の処理は、図６に示すフローチャートのステップＳＤ１１およびステップＳＤ１２の処理と同じである。
【０１３５】
以上、第２の実施形態におけるホワイトバランス調整装置においても、第１の実施の形態におけるホワイトバランス調整装置と同様に、撮像画像中に複数の光源が存在する場合や、撮像画像中に、光源と間違いやすい被写体が存在する場合でも、適切なホワイトバランス調整値を算出することができる。
【０１３６】
第２の実施形態におけるホワイトバランス調整装置によれば、光源色推定エリアが１つしか推定されなかった場合であって、推定された光源色推定エリアの信頼性が所定の信頼性よりも低い場合に、推定された光源色推定エリアの色度と所定の光源の色度とに基づいてホワイトバランス調整値を算出する。これにより、信頼性の低い光源の色度のみに基づいたホワイトバランス調整値が算出されるのを防ぐことができる。
【０１３７】
また、第２の実施形態におけるホワイトバランス調整装置によれば、光源色推定エリアが２つ以上推定された場合であって、撮像画像中に主要な被写体が存在すると判定した場合に、光源色推定エリアの距離が主要な被写体までの距離に近い光源色推定エリアほど重みが大きくなるように重み付けをして、ホワイトバランス調整値を算出するので、主要な被写体に近い光源色推定エリアの色度を重視した適切なホワイトバランス調整値を算出することができる。
【０１３８】
さらに、光源色推定エリアが２つ以上推定された場合であって、撮像画像中に主要な被写体が存在しないと判定した場合に、光源色推定エリアの距離が近い光源色推定エリアほど重みが大きくなるように重み付けをして、ホワイトバランス調整値を算出するので、被写体を照らしている可能性が高い方の光源を重視したホワイトバランス調整値を算出することができる。
【０１３９】
本発明は、上述した各実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。そうした変形例を以下に挙げる。
【０１４０】
表示シーケンス（図２参照）におけるオートフォーカス処理は、スチル撮影（図４参照）におけるオートフォーカス処理と同じであるが、スルー画像信号を表示モニタ４６に表示させている時に頻繁に実施すると、スルー画像の視認性が悪くなる。従って、図２を用いて説明したように、顔検出の結果が変化（ステップＳＡ８の判定を肯定）した場合であって、かつ、被写体の距離が変動（ステップＳＡ９の判定を肯定）した場合に、オートフォーカス処理を行う。この場合、オートフォーカス処理の結果を用いて算出される被写体距離の精度は、スチル撮影時に比べて悪くなる。上述した実施形態では、表示シーケンスでもスチル撮影時と同様に、距離情報を用いたホワイトバランス処理を行うものとして説明したが、下記（ｉ）や（ｉｉ）の処理を行うようにしてもよい。
（ｉ）表示シーケンスでは、距離情報を用いない従来のホワイトバランス処理を行う。
（ｉｉ）表示シーケンスでは、オートフォーカスが動作して正確な被写体距離情報が得られた場合にのみ、図６を用いて説明したホワイトバランス処理を行い、それ以外の場合には、従来のホワイトバランス処理を行う。
【０１４１】
上述した実施形態では、第１の信頼性係数α、第２の信頼性係数α’、距離信頼性係数Ｋをそれぞれ、撮影輝度、エリア内の評価値の個数、光源の距離に基づいて算出したが、光源色の輝度や、光源色の分散値、黒体放射軌跡との色差等も考慮して求めるようにしてもよい。
【０１４２】
光源色推定エリアの距離は、撮像画像の奥行き方向における距離であり、上述した実施形態では、ＣＣＤ１２から光源色推定エリアの被写体までの距離としたが、例えば、撮像画面上における主要被写体から、光源色推定エリアの被写体までの距離としてもよい。この距離は、撮像画面上において、撮像画面上の主要被写体と光源色推定エリアの被写体との距離を測定し、撮影レンズの焦点距離に基づいて、測定した距離を実際の距離に換算することにより求めることができる。
【０１４３】
上述した実施形態では、光源色推定エリアの距離を、オートフォーカス処理時の焦点位置から求めるＤＦＦ法を利用して求めたが、画像のぼけ量と距離の相関モデルを用いたＤＦＤ法を利用して求めてもよいし、距離測定用のセンサを別途設け、このセンサを用いて、距離を測定するようにしてもよい。
【０１４４】
図１７に示すフローチャートのステップＳＤ２０では、光源色候補エリア８１〜８６および光源推定可能色候補エリア８７〜８９の中から、２つのエリアを選択したが、３つ以上のエリアを選択するようにしてもよい。この場合、ステップＳＤ２４では、選択した各エリアの距離が主要な被写体までの距離に近いエリアほど、そのエリアの色度の重みが大きくなるように重み付けをして、撮像画像中の光源の色度Ｌ＿ＰＯＩＮＴ（ｘ，ｙ）を求めればよい。また、ステップＳＤ２３の判定を否定した後の処理では、選択した各エリアの距離が近いほど、そのエリアの色度の重みが大きくなるように重み付けをして、撮像画像中の光源の色度Ｌ＿ＰＯＩＮＴ（ｘ，ｙ）を求めるようにすればよい。
【図面の簡単な説明】
【０１４５】
【図１】本発明の第１の実施形態におけるホワイトバランス調整装置が適用される撮像装置の概略構成を示したブロック図である。
【図２】表示シーケンスの処理手順を示すフローチャートである。
【図３】被写体推定処理の詳細を示すフローチャートである。
【図４】スチル撮影の処理手順を示すフローチャートである。
【図５】第２画像処理部の詳細な構成を示すブロック図である。
【図６】ホワイトバランス処理の詳細な内容を示すフローチャートである。
【図７】２０×３０のエリアに分割された撮影画像の一例を示す図である。
【図８】Ｒ／Ｇをｘ軸、Ｂ／Ｇをｙ軸とする平面上に設定される光源色候補エリアの一例を示す図である。
【図９】第１の信頼性係数を算出するための信頼性係数算出関数の一例を示す図である。
【図１０】第２の信頼性係数を算出するための信頼性係数算出関数の一例を示す図である。
【図１１】複数の分割エリア（ｉ，ｊ）の距離情報の一例を示す図である。
【図１２】光源色候補エリア８３の距離ヒストグラムの一例を示す図である。
【図１３】光源色候補エリア８４の距離ヒストグラムの一例を示す図である。
【図１４】光源色候補エリア８１の距離ヒストグラムの一例を示す図である。
【図１５】主要被写体が存在しない場合に、距離信頼性係数Ｋを算出するための距離信頼性係数算出関数の一例を図である。
【図１６】主要被写体が存在する場合に、距離信頼性係数Ｋを算出するための距離信頼性係数算出関数の一例を図である。
【図１７】第２の実施の形態におけるホワイトバランス処理の詳細な内容を示すフローチャートである。
【符号の説明】
【０１４６】
１…撮像装置
２…撮像部
３…画像処理装置
１０…レンズ
１１…シャッタ
１２…ＣＣＤ
１３…ＣＣＤ制御部
１４…レンズ駆動部
１５…ストロボ
２０…撮影制御部
２１…ＣＣＤインターフェイス
２２…シーケンスコントローラ
２３…輝度算出部
２４…ＡＦ算出部
２５…第１画像処理部
２６…顔検出部
２７…第２画像処理部
２８…第３画像処理部
３０…データバス
４１…ＳＤＲＡＭ
４２…フラッシュメモリ
４３…記録媒体
４６…表示モニタ
４７…操作部
【技術分野】
【０００１】
本発明は、撮像画像のホワイトバランスを調整するためのホワイトバランス調整値を算出する技術に関する。
【背景技術】
【０００２】
従来、被写体が撮像された画面を複数のエリアに分割して、各エリアごとに色情報を取得し、取得した各エリアごとの色情報と光源種に対応する色分布とに基づいて、光源種を判別して、光源種に適したホワイトバランス調整を行う技術が知られている（特許文献１参照）。
【０００３】
また、カメラから被写体までの距離情報に基づいて、被写体距離に近い画像領域を撮像画像から抽出し、抽出した画像領域に関する撮像信号に基づいて、ホワイトバランス調整のための制御量を算出する技術が知られている（特許文献２参照）。
【特許文献１】特開２０００−２２４６０８号公報
【特許文献２】特開２００１−２８７６２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載の技術では、複数の光源下におけるシーンや、光源と間違えやすい被写体の入ったシーン等では、正しいホワイトバランス調整を行うことができないという問題があった。また、特許文献２に記載の技術では、被写体に近い領域に光源色などの光源判別可能な情報が無いと、正確な光源検出を行うことができないという問題があった。
【０００５】
本発明は上記の課題に鑑みてなされたものであり、その目的は、光源を精度良く推定して、精度の良いホワイトバランス調整を行うことを目的とする。
【課題を解決するための手段】
【０００６】
本発明のある態様に係るホワイトバランス調整装置は、撮像画像において、光源色を推定するための光源色推定エリアを少なくとも１つ推定するエリア推定部と、前記光源色推定エリアについて、前記撮像画像の奥行き方向における距離を、前記光源色推定エリアの距離として算出する距離算出部と、前記光源色推定エリアの色度を算出する色度算出部と、前記光源色推定エリアの距離、および、前記光源色推定エリアの色度に基づいて、ホワイトバランス調整値を算出するホワイトバランス調整値算出部と、を備えることを特徴とする。
【０００７】
本発明の別の態様に係るホワイトバランス調整方法は、撮像画像において、光源色を推定するための光源色推定エリアを少なくとも１つ推定するステップと、前記光源色推定エリアについて、前記撮像画像の奥行き方向における距離を、前記光源色推定エリアの距離として算出するステップと、前記光源色推定エリアの色度を算出するステップと、前記光源色推定エリアの距離、および、前記光源色推定エリアの色度に基づいて、ホワイトバランス調整値を算出するステップと、を備えることを特徴とする。
【０００８】
本発明のさらに別の態様に係るホワイトバランス調整プログラムは、撮像画像において、光源色を推定するための光源色推定エリアを少なくとも１つ推定するステップと、前記光源色推定エリアについて、前記撮像画像の奥行き方向における距離を、前記光源色推定エリアの距離として算出するステップと、前記光源色推定エリアの色度を算出するステップと、前記光源色推定エリアの距離、および、前記光源色推定エリアの色度に基づいて、ホワイトバランス調整値を算出するステップと、をコンピュータに実行させることを特徴とする。
【０００９】
これらの態様によれば、光源色推定エリアの距離、および、光源色推定エリアの色度に基づいて、ホワイトバランス調整値を算出するので、例えば、複数の光源下におけるシーンや、光源と間違えやすい被写体の入ったシーン等においても、実際の光源に応じた精度の良いホワイトバランス調整値を算出して、精度の良いホワイトバランス調整を行うことができる。
【発明の効果】
【００１０】
本発明によれば、精度の良いホワイトバランス調整を行うことができる。
【発明を実施するための最良の形態】
【００１１】
−第１の実施形態−
図１は、本発明の第１の実施形態におけるホワイトバランス調整装置が適用される撮像装置の概略構成を示したブロック図である。撮像装置１は、例えば、デジタルカメラであり、撮像部２と画像処理装置３とを備えている。ホワイトバランス調整装置は、画像処理装置３の内部に設けられている第２画像処理部２７に対応する。
【００１２】
撮像部２は、レンズ１０、シャッタ１１、ＣＣＤ１２、ＣＣＤ制御部１３、レンズ駆動部１４、および、ストロボ１５を備えている。なお、他の例として、本実施形態に係るホワイトバランス調整装置は、デジタルカメラ以外の、ホワイトバランスを調整可能な様々な電子機器に搭載されてもよい。
【００１３】
レンズ１０には、ピント調節および焦点距離調節用の撮影レンズと、開口量を調節するための絞り１０ａが配置されている。この絞り１０ａの役割は、撮影制御部２０からの制御指令に基づいて、撮像面へ照射する光の明るさと深度を調整することであるが、深度調整の必要性の少ない廉価な撮像装置においては、明るさ調節の目的のために、例えば、光量調節のためのＮＤフィルタで代用することも可能である。
【００１４】
レンズ１０は、後述する撮影制御部２０の制御によりレンズ駆動部１４が作動することにより駆動される。これにより、撮影制御部２０からの制御指令に基づいて、ピント合わせやズーム駆動等が行われる。ストロボ１５は、撮影制御部２０の制御により、被写体に光を照射可能となっている。
【００１５】
レンズ１０の後方には、露光時間制御用のシャッタ１１が配置されている。このシャッタ１１は、撮影制御部２０によって駆動制御される。シャッタ１１は、スルー画像撮影時には常に開いた状態とされる。この時、ＣＣＤ１２の露光量制御は、ＣＣＤ１２の有する電子シャッタ機能を用いて実現される。また、いわゆる静止画（以下「スチル撮影」という）の撮影時には、シャッタ１１によりＣＣＤ１２への露光量が制御される。
【００１６】
シャッタ１１の後方には、二次元撮像素子としてのＣＣＤ１２が配置されており、レンズ１０によって結像される被写体像を電気信号に光電変換する。なお、本実施形態では、撮像素子としてＣＣＤを用いているが、これに限らず、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の二次元撮像素子を使用できることは言うまでもない。
【００１７】
ＣＣＤ制御部１３は、ＣＣＤインターフェイス２１に接続されている。ＣＣＤ制御部１３は、ＣＣＤインターフェイス２１を介して後述するシーケンスコントローラ（以下「ボディＣＰＵ」という）２２からの制御信号を受信し、この制御信号に基づいてＣＣＤ１２の電源のオン・オフ制御等を行い、撮像のタイミングを調整し、光電変換信号の増幅（ゲイン調整）等を行う。
【００１８】
ＣＣＤ１２により取得されたアナログ信号の画像信号は、画像処理装置３に入力され、ＣＣＤインターフェイス２１によりデジタル信号に変換される。
【００１９】
画像処理装置３は、例えば、ＡＳＩＣであり、上述の撮影制御部２０、ＣＣＤインターフェイス２１、ボディＣＰＵ２２、輝度算出部２３、ＡＦ演算部２４、第１画像処理部２５、顔検出部２６、第２画像処理部２７、および、第３画像処理部２８等を備えている。これら各部は、画像処理装置３内のデータバス３０を介して相互に接続されている。
【００２０】
ボディＣＰＵ２２は、撮像装置１が備える各部の制御を行う。輝度算出部２３は、画像信号を所定の分割エリアごとに平均して、輝度信号に変換し、被写体の輝度分布情報を算出する。
【００２１】
ＡＦ演算部２４は、画像信号を所定の領域に分割して、領域毎にコントラスト情報を算出し、レンズ駆動部１４の制御と同期して、所定領域のコントラストが最大となるように、レンズ１０を駆動することにより、被写体に焦点を合わせる。
【００２２】
第１画像処理部２５、第２画像処理部２７、および、第３画像処理部２８は、撮像部２により取得された画像信号に対して、ＯＢ減算、色補正、階調補正、白黒・カラーモード処理、ホワイトバランス処理、スルー画像処理といった各種の画像処理を行う。特に、第２画像処理部２７で行われるホワイトバランス処理の詳細については、後述する。
【００２３】
顔検出部２６は、画像信号を基に、顔検出に適したサイズの画像を作成し、例えば、特開２００６−２２７９９５号公報に開示されているような公知の技術を用いて、処理対象画像中から顔の部分に類似する特徴量を持つ部分を探索して顔候補領域を抽出し、顔候補領域の種々の情報を用いて、顔か否かの判断を行い、顔領域の位置と大きさを検出する。
【００２４】
ここで、より具体的な顔検出方法は、例えば、Ｐ．Ｖｉｏｌａ ａｎｄ Ｍ．Ｊｏｎｅｓ，“Ｒａｐｉｄ ｏｂｊｅｃｔ ｄｅｔｅｃｔｉｏｎ ｕｓｉｎｇ ａ ｂｏｏｓｔｅｄ ｃａｓｃａｄｅ ｏｆ ｓｉｍｐｌｅ ｆｅａｔｕｒｅｓ，”Ｐｒｏｃ． ｏｆ ＣＶＰＲ，２００１に開示されているような、Ｖｉｏｌａ−Ｊｏｎｅｓの顔検出方法である。Ｖｉｏｌａ−Ｊｏｎｅｓの顔検出方法は、Ａｄａｂｏｏｓｔの学習によって選択された顔検出に最適な矩形フィルタを顔検出対象画像に照合させ、顔を検出する方法である。上記矩形フィルタをカスケード型に配することで処理を高速化している。
【００２５】
また、上記データバス３０には、上述した構成要素のほか、圧縮部３１、ＳＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）制御部３２、フラッシュメモリ制御部３３、操作検出部３４、記録媒体制御部３５、ビデオ信号出力部３６などが接続されている。
【００２６】
圧縮部３１は、後述するＳＤＲＡＭ４１に記憶された画像データ等をＪＰＥＧで圧縮するためのブロックである。なお、画像圧縮はＪＰＥＧに限らず、他の圧縮方法も適用できる。
【００２７】
フラッシュメモリ制御部３３は、フラッシュメモリ４２に接続されている。このフラッシュメモリ４２には、撮像装置１における各処理を制御するための画像処理プログラムが記憶されており、ボディＣＰＵ２２は、このフラッシュメモリ４２に記憶されているプログラムに従って各部の制御を行う。なお、フラッシュメモリ４２は、電気的に書換可能な不揮発性メモリである。
【００２８】
ＳＤＲＡＭ４１は、ＳＤＲＡＭ制御部３２を介してデータバス３０に接続されている。ＳＤＲＡＭ４１は、第１画像処理部２５等によって画像処理された画像情報または圧縮部３１によって圧縮された画像情報を一時的に記憶するためのメモリである。
【００２９】
撮影制御部２０は、データバス３０を介してボディＣＰＵ２２等の各部と接続している。記録媒体制御部３５は、記録媒体４３に接続され、この記録媒体４３への画像データ等の記録の制御を行う。記録媒体４３は、ｘＤピクチャーカード（登録商標）、メモリスティック（登録商標）またはハードディスクドライブ（ＨＤ）等の書換可能な記録媒体で構成され、撮像装置本体に対して着脱可能とされている。
【００３０】
ビデオ信号出力部３６は、表示モニタ制御部４５を介して表示モニタ４６に接続されている。ビデオ信号出力部３６は、ＳＤＲＡＭ４１または記録媒体４３に記憶された画像データを、表示モニタ４６に表示するためのビデオ信号に変換するための回路である。表示モニタ４６は、例えば、撮像装置本体の背面に配置されている液晶表示装置であるが、撮影者が観察できる位置であれば、背面に限らないし、また液晶に限らず他の表示装置であってもよい。
【００３１】
操作部４７は、撮像装置１の撮影指示を示すレリーズを検出するスイッチや、モードダイヤル、パワースイッチ、コントロールダイヤル、再生ボタン、メニューボタン、十字キー、ＯＫ釦等を含み、操作検出部３４を介してデータバス３０に接続されている。
【００３２】
このような構成を備える撮像装置１において、ユーザによってパワースイッチ（図示略）がオンされると、以下に示す表示シーケンスがボディＣＰＵ２２によって実行され、ボディＣＰＵ２２からの制御により各部が作動する。以下、表示シーケンスの動作フローについて図２を参照して説明する。
【００３３】
〔表示シーケンス〕
ユーザによって電源がオンされると、ステップＳＡ１において、撮像部２によるスルー画像の撮影が開始される。スルー画像の画像信号は、ＣＣＤインターフェイス２１によりデジタル信号に変換され、変換後の画像信号（以下、「スルー画像信号」という）が画像処理装置３内に入力される。
【００３４】
ステップＳＡ２では、第１画像処理部２５により、スルー画像信号に対して第１画像処理、すなわち、公知のＯＢ補正処理等を行う。ステップＳＡ３では、顔検出部２６により、スルー画像信号を顔検出に適した画像に変換し、所定の領域毎に顔の特徴量とのマッチング比較を行って、顔の位置および大きさを検出する。ステップＳＡ４では、被写体を推定する。被写体の推定処理の詳細については、図３に示すフローチャートを用いて後述する。
【００３５】
ステップＳＡ５では、第２画像処理部２７により、第２画像処理、すなわち、ホワイトバランス処理を行う。ホワイトバランス処理の詳細については、図６に示すフローチャートを用いて後述する。
【００３６】
ステップＳＡ６では、第３画像処理部２８により、第３画像処理、すなわち、既知のＹＣ変換処理、階調変換処理、圧縮、リサイズ等の処理を行う。ステップＳＡ７では、処理後のスルー画像信号を表示モニタ４６に表示させる。
【００３７】
ステップＳＡ８では、顔検出の結果が前回の顔検出結果に対して変化したか否かを判定する。例えば、前回のスルー画像信号においては顔検出がされたのに、今回のスルー画像信号においては検出されなかった場合や、逆に、前回のスルー画像信号においては顔検出がされなかったのに、今回のスルー画像信号において検出された場合のように、顔検出の結果が変化した場合には、ステップＳＡ９に進む。
【００３８】
ステップＳＡ９では、被写体の距離が前回のスルー画像信号のときと変動しているか否かを判定する。この距離の変動は、例えば、以前にオートフォーカスを行って取得したスルー画像信号における合焦エリアと、今回得られたスルー画像信号の同エリアにおけるコントラストの差分を算出し、その差分が所定値以上であれば、被写体の距離が変動していると判断する。この結果、被写体の距離が変動していたと判定するとステップＳＡ１０に進む。
【００３９】
ステップＳＡ１０では、オートフォーカス処理を行う。具体的には、オートフォーカス用に撮影とレンズ駆動を複数回繰り返し、撮影により得られた信号を複数のエリアに分割（例えば、縦２０分割、横３０分割）し、エリア毎のコントラストを算出し、コントラスト値が最大となる位置にレンズ１０を駆動することで、被写体への合焦動作を行う。
【００４０】
分割したエリアのうち、どのエリアのコントラストを重視して、レンズ駆動を行うかは、公知のアルゴリズムにより決定される。例えば、本実施形態では、直前の顔検出の結果を用いて、顔が検出された場合には、顔の位置情報、大きさ情報を基に顔に近いエリアを重視し、顔が検出されなかった場合には、最も至近のエリアを重視する。
【００４１】
ステップＳＡ１１では、各分割エリアの被写体距離分布を算出する。具体的には、オートフォーカス処理におけるレンズ駆動終了後に、各撮影時のコントラスト情報とそのときのレンズ位置、最終駆動終了時のレンズ位置情報を基に、各分割エリアの被写体距離を算出し、被写体距離分布情報として所定のメモリに記憶する。被写体距離は、撮像画像の奥行き方向における距離であり、本実施形態では、ＣＣＤ１２から被写体までの距離である。ただし、被写体には、撮影対象である人物や物だけでなく、背景も含まれる。また、オートフォーカス処理時に重視したエリア、および、そのエリアのコントラスト値についてもメモリに記憶する。この処理が終了すると、ステップＳＡ１２に進む。
【００４２】
一方、ステップＳＡ８において、顔検出の結果が前回と今回とで変化していない場合、あるいは、ステップＳＡ９において、被写体の距離が変動していない場合には、ステップＳＡ１２に進む。
【００４３】
ステップＳＡ１２では、スルー画像信号を用いて、被写体の輝度分布を算出するとともに、上記顔検出結果を用いて、被写体エリア、被写体周辺エリアの輝度を算出する。ステップＳＡ１３では、ステップＳＡ１２で得られた被写体の輝度分布情報をもとに、スルー画像中のシャッタ速度、絞り、ＩＳＯ感度を決定し、これらのＡＰＥＸ値（ａｖ、ｔｖ、ｓｖ）をメモリに記憶し、次回のスルー画像露出時に反映する。
【００４４】
ステップＳＡ１４では、操作検出部３４で撮影者によりレリーズボタンが押されたか否かを判定する。レリーズボタンが押されたと判定すると、ステップＳＡ１５に進み、スチル撮影を実施する。スチル撮影の処理については、図４に示すフローチャートを用いて後述する。スチル撮影が終了した場合、あるいは、ステップＳＡ１４において、レリーズボタンが押されていない場合には、ステップＳＡ１６に進む。
【００４５】
ステップＳＡ１６では、操作検出部３４で、撮影者によりパワースイッチが押されて電源がオフされたか否かを判定する。電源がオフされていないと判定するとステップＳＡ１に戻り、ユーザによって電源がオフされるまで、上述の処理を繰り返し実行する。一方、電源がオフされたと判定すると、ステップＳＡ１７に進んで、表示シーケンスのスタンバイ処理を行って、フローチャートの処理を終了する。
【００４６】
〔被写体推定〕
図３は、図２に示すフローチャートのステップＳＡ４で行われる被写体推定処理の詳細を示すフローチャートである。被写体推定処理では、後述するように、主要被写体の有無、主要被写体箇所、および、主要被写体までの距離を求める。なお、主要被写体までの距離は、図２のステップＳＡ１１で求めた被写体距離分布情報を用いる。
【００４７】
ステップＳＢ１では、図２のステップＳＡ３で行われた顔検出の結果に基づいて、顔が検出されたか否かを判定する。顔が検出されたと判定するとステップＳＢ２に進む。ステップＳＢ２では、主要被写体箇所を「顔」、主要被写体は「あり」、主要被写体距離を「主要被写体箇所の距離」として、被写体推定処理を終了する。
【００４８】
一方、ステップＳＢ１において、顔が検出されていないと判定すると、ステップＳＢ３に進む。ステップＳＢ３では、距離測定が不能であるか否かを判定する。例えば、図２のステップＳＡ１０において行ったオートフォーカス処理時に、コントラスト値の検出ができないなどで、オートフォーカスできなかった場合には、距離測定が不能であると判定して、ステップＳＢ４に進む。ステップＳＢ４では、主要被写体箇所は「不明」、主要被写体は「なし」として、被写体推定処理を終了する。
【００４９】
ステップＳＢ３において、距離測定が可能であると判定すると、ステップＳＢ５に進む。ステップＳＢ５では、図２のステップＳＡ４で検出した被写体距離が１ｍより長く、かつ、５ｍより短いかを判定する。被写体距離が１ｍより長く、かつ、５ｍより短いと判定すると、ステップＳＢ６に進む。ステップＳＢ６では、主要被写体箇所は「測距箇所」、主要被写体は「あり」、主要被写体距離を「主要被写体箇所の距離」として、被写体推定処理を終了する。なお、本実施形態に係るホワイトバランス調整装置は、被写体推定処理の判定基準を「１ｍ」および「５ｍ」と設定したが、これに限られず、他の例として、「２ｍ」および「６ｍ」と設定してもよい。
【００５０】
一方、ステップＳＢ５において、被写体距離が１ｍ以下、または、５ｍ以上であると判定すると、ステップＳＢ７に進む。ステップＳＢ７では、主要被写体箇所は「画像全体」、主要被写体は「なし」として、被写体推定処理を終了する。
【００５１】
〔スチル撮影〕
次に、図２のフローチャートを用いて説明した表示シーケンスのステップＳＡ１５で行われるスチル撮影について、図４を参照して説明する。図４は、スチル撮影の処理手順を示すフローチャートである。
【００５２】
図４のステップＳＣ１では、プリ撮影が実施される。撮像部２にて取得された画像信号は、ＣＣＤインターフェイス２１においてデジタル化された後、撮像処理装置３内の各部へ転送される。
【００５３】
ステップＳＣ２では、第１画像処理部２５により、プリ撮影で得られた画像信号に対してＯＢ処理等の第１画像処理を行う。ステップＳＣ３では、顔検出部２６により、第１画像処理後の画像信号に基づいて、顔検出処理を行う。ステップＳＣ４では、オートフォーカス処理を行う。ステップＳＣ５では、被写体の距離分布を算出する。ステップＳＣ６では、被写体を推定する。顔検出処理、オートフォーカス処理、被写体の距離分布算出処理、被写体の推定処理については、図２のステップＳＡ３、ステップＳＡ１０、ステップＳＡ１１、ステップＳＡ４の処理と同じであるので、詳しい説明は省略する。
【００５４】
ステップＳＣ７では、被写体の輝度分布を算出する。この処理は、図２のステップＳＡ１２の処理と同じである。ステップＳＣ８では、ステップＳＣ７で得られた被写体の輝度分布情報に基づいて、露光条件を決定するための目標輝度を求め、この目標輝度に基づいて、本撮影でのシャッタ速度、絞り、ＩＳＯ感度等の露光条件を決定し、これらのＡＰＥＸ値（ａｖ、ｔｖ、ｓｖ）を記憶する。
【００５５】
ステップＳＣ９では、ストロボ１５の発光の必要性の有無を判断する。例えば、逆光時や低輝度時には、ストロボ１５の発光が必要であると判断する。この結果、ストロボ発光が必要でないと判断された場合には、ステップＳＣ１０に進む。ステップＳＣ１０では、絞り１０ａ、シャッタ１１、ＣＣＤ１２を制御して、ステップＳＣ８で決定した露光条件で撮影を行う。撮像部２において取得された画像信号は、ＣＣＤインターフェイス２１においてデジタル信号に変換され、画像処理装置３内の各部に転送される。
【００５６】
ステップＳＣ９において、ストロボ１５の発光が必要であると判断された場合には、ステップＳＣ１１に進む。ステップＳＣ１１では、ストロボ発光と撮像を行うプリ露光を実施し、得られたＣＣＤ出力データを読み出して所定の処理を行う。ステップＳＣ１２では、ステップＳＣ１１で得られたＣＣＤ出力データを基に、ストロボ光照射時の被写体の輝度分布情報を作成し、作成した輝度分布情報に基づいて、ストロボ発光量を演算する。
【００５７】
ステップＳＣ１３では、絞り１０ａ、シャッタ１１、ストロボ１５、ＣＣＤ１２等を制御して、ステップＳＣ８で決定した露光条件、および、ステップＳＣ１２で演算した発光量にて、ストロボ発光および撮影を行う。撮像部２において取得された画像信号は、ＣＣＤインターフェイス２１においてデジタル信号に変換され、画像処理装置３内の各部に転送される。
【００５８】
ステップＳＣ１４では、第１画像処理部２５にて、画像信号に対して公知のＯＢ補正処理等の第１画像処理を実施する。第１画像処理後の画像信号は、第２画像処理部２７に転送される。
【００５９】
ステップＳＣ１５では、第２画像処理部２７において、第１画像処理部２５から転送されてきた画像信号に対して、ホワイトバランス調整処理等の第２画像処理を実施する。第２画像処理後の画像信号は、第３画像処理部２８に転送される。なお、第２画像処理部２７において行われるホワイトバランス調整処理の詳細については、図６を用いて後述する。
【００６０】
ステップＳＣ１６では、第３画像処理部２８において、第２画像処理部２７から転送されてきた画像信号に対して、色補正、ノイズ補正、ＹＣ変換、階調変換、圧縮等の第３画像処理を実施する。
【００６１】
ステップＳＣ１７では、画像処理の終了した画像を記録媒体４３に記録する。ステップＳＣ１８では、画像処理の終了した画像を、ビデオ信号出力部３６等を介して表示モニタ４６に表示する。
【００６２】
図５は、第２画像処理部２７の詳細な構成を示すブロック図である。第２画像処理部２７は、光源候補推定部２７１と、光源候補信頼性推定部２７２と、光源候補エリア距離算出部２７３と、光源決定部２７４と、ホワイトバランス調整部２７５とを備える。以下、図６に示すフローチャートを用いて、各部２７１〜２７５で行われる処理について説明する。
【００６３】
〔ホワイトバランス処理〕
図６は、第２画像処理部２７で行われるホワイトバランス処理の詳細な内容を示すフローチャートである。ステップＳＤ１〜ステップＳＤ３の処理は、光源候補推定部２７１で行われ、ステップＳＤ４〜ステップＳＤ５の処理は、光源候補信頼性推定部２７２で行われる。また、ステップＳＤ６〜ステップＳＤ９の処理は、光源候補エリア距離算出部２７３で行われ、ステップＳＤ１０の処理は、光源決定部２７３で行われ、ステップＳＤ１１〜ステップＳＤ１２の処理は、ホワイトバランス調整部２７５で行われる。
【００６４】
ステップＳＤ１では、撮影により得られた画像を複数のエリアに分割（例えば、縦２０分割、横３０分割）し、分割したエリア毎に、各色のＣＣＤ出力値Ｒ，Ｇ，Ｂの平均値を算出する。図７は、２０×３０のエリアに分割された撮影画像７０の一例を示す図である。ここでは、撮影画像７０の左下を基準として、横方向にｉ番目、縦方向にｊ番目の分割エリアのＲ平均値、Ｇ平均値、Ｂ平均値をそれぞれ、Ｒｉｊ、Ｇｉｊ、Ｂｉｊとする。
【００６５】
ステップＳＤ２では、分割した各エリアの評価値として、Ｒｉｊ／Ｇｉｊ、Ｂｉｊ／Ｇｉｊを算出する。評価値は、撮像画像から光源色を推定するために用いる指標である。
【００６６】
ステップＳＤ３では、ステップＳＤ２で求めた評価値を、Ｒ／Ｇをｘ軸、Ｂ／Ｇをｙ軸とする平面上にプロットし、この平面上に設定される各光源色候補エリア内に含まれる評価値の重心値を求める。
【００６７】
図８は、Ｒ／Ｇをｘ軸、Ｂ／Ｇをｙ軸とする平面上に設定される光源色候補エリア８１〜８６の一例を示す図である。光源色候補エリア８１〜８６は、光源に照らされたと推定される無彩色の色度分布の範囲を規定したものであり、それぞれ、日陰、曇天、晴天、蛍光灯、その他の光源、電球の色度分布の範囲を規定したものである。光源色候補エリア８５のその他の光源には、夕日や、様々な光源のミックス光等が含まれる。
【００６８】
図８では、光源色候補エリア８１〜８６とともに、光源色を推定するための光源推定可能色候補エリア８７〜８９も示している。光源推定可能色候補エリア８７〜８９は、光源に照らされたと推定される特定の有彩色の色度分布の範囲を規定したものであり、それぞれ、曇天下の肌色、晴天下の肌色、晴天下の緑色の色度が分布する範囲を規定したものである。
【００６９】
上述した光源色候補エリア８１〜８６、および、光源推定可能色候補エリア８７〜８９は、撮像画像から光源色を推定するための領域である。
【００７０】
評価値の重心値は、光源色候補エリア８１〜８６ごとに、エリア内に含まれる評価値の平均値を演算することにより求める。ここでは、光源色候補エリア８１〜８６の重心値（ｘ、ｙ）をそれぞれ、ＺＰＯＩＮＴ＿１（ｘ、ｙ）〜ＺＰＯＩＮＴ＿６（ｘ、ｙ）と表す。例えば、光源色候補エリア８１内に含まれる評価値の平均値がＲ／Ｇ＝０．２、Ｂ／Ｇ＝０．８の場合には、ＺＰＯＩＮＴ＿１（０．２，０．８）のように表す。また、光源色候補エリア８１内に含まれる評価値が一個もない場合には、ＺＰＯＩＮＴ＿１（０，０）と記載することにする。
【００７１】
なお、ここでは、図８に示す光源色候補エリア８１〜８６、および、光源推定可能色候補エリア８７〜８９内に、撮像画像の各分割エリアの評価値を当てはめる処理を行っているが、これは、撮像画像において、光源色を推定するための光源色推定エリアを特定する処理、すなわち、撮像画像において、光源色候補エリア８１〜８６、および、光源推定可能色候補エリア８７〜８９の光源の色度と等しい色度を有するエリアを特定する処理と等しい。
【００７２】
ステップＳＤ４では、各光源色候補エリア８１〜８６に対応する光源色の信頼性係数α１〜α６、および、各光源推定可能色候補エリア８７〜８９に対応する光源推定可能色の信頼性係数α７〜α９を求める。信頼性係数α１〜α９は、撮像画像のホワイトバランス調整に用いる光源色または光源推定可能色の確からしさを示す係数であり、ここでは、第１の信頼性係数と呼ぶ。第１の信頼性係数α１〜α９は、後述するように、図４に示すフローチャートのステップＳＣ７で求めた撮影時の被写体輝度情報、またはステップＳＣ８で求めた撮影のための目標輝度情報に基づいて求める（本実施形態では、ステップＳＣ８で求めた値を使用し、以下、適宜「撮影輝度」という）。
【００７３】
図９は、第１の信頼性係数α１〜α９を算出するための信頼性係数算出関数の一例を示す図である。図９において、横軸は撮影輝度（被写体輝度）、縦軸は第１の信頼性係数である。光源によって絶対的な明るさに差があり、撮影輝度も光源によって異なるという性質に基づいて、撮影輝度に応じた信頼性係数算出関数を設定している。図９に示す例では、光源色候補エリア８４，８６に対応する光源色の信頼性係数算出関数を９１、光源色候補エリア８１，８２に対応する光源色、および、光源推定可能色候補エリア８７に対応する光源推定可能色の信頼性係数算出関数を９２、光源色候補エリア８３に対応する光源色、および、光源推定可能色候補エリア８８，８９に対応する光源推定可能色の信頼性係数算出関数を９３、光源色候補エリア８５に対応する光源色の信頼性係数算出関数を９４で示している。
【００７４】
例えば、光源が晴天時の太陽光（光源色候補エリア８３）の信頼性係数算出関数９３は、撮影輝度が高くなるほど第１の信頼性係数α３が高くなる関数となっている。一方、光源が蛍光灯（光源色候補エリア８４）の場合には、光源輝度がそれほど高くなく、太陽光による晴天時ほど撮影輝度は高くない。従って、信頼性係数算出関数９１は、所定輝度以下の輝度領域において、第１の信頼性係数α４が高くなる関数となっている。
【００７５】
光源候補信頼性推定部２７２は、撮影輝度から第１の信頼性係数を算出するための信頼性係数算出関数９１〜９４を記憶しており、これらの関数９１〜９４と撮影輝度とから、第１の信頼性係数α１〜α９を算出する。なお、信頼性係数算出関数９１〜９４の代わりに、図９に示すような撮影輝度と第１の信頼性係数との関係を定めたテーブルを光源候補信頼性推定部２７２に記憶させておき、このテーブルと撮影輝度とから、第１の信頼性係数α１〜α９を算出するようにしてもよい。
【００７６】
ステップＳＤ５では、各光源色候補エリア８１〜８６に対応する光源色の第２の信頼性係数α’１〜α’６、および、各光源推定可能色候補エリア８７〜８９に対応する光源推定可能色の第２の信頼性係数α’７〜α’９を求める。ここでは、各エリア８１〜８９に含まれる評価値の個数に基づいて、第２の信頼性係数α’１〜α’９を求める。
【００７７】
図１０は、第２の信頼性係数α’１〜α’９を算出するための信頼性係数算出関数の一例を示す図である。図１０において、横軸は各エリア８１〜８９に含まれる評価値の個数、縦軸は第２の信頼性係数である。図１０に示す例では、光源色候補エリア８４，８６に対応する光源色の信頼性係数算出関数を１０１、それ以外のエリア８１〜８３，８５，８７〜８９に対応する光源色または光源推定可能色の信頼性係数算出関数を１０２でそれぞれ示している。図１０に示すように、エリア内に含まれる個数が多いほど、信頼性係数は高い。また、エリア内に含まれる評価値の数が０の場合には、第２の信頼性係数α’は０とする。
【００７８】
なお、各エリア８１〜８９に含まれる評価値の数が多いというのは、撮像画像において、光源色を推定するための光源色推定エリアが広い（または光源色推定エリアの箇所が多い）ということと同等である。
【００７９】
図１０に示す信頼性係数算出関数１０１，１０２、および各エリア８１〜８９内に含まれる評価値の個数に基づいて、第２の信頼性係数α’１〜α’９をそれぞれ算出すると、ステップＳＤ６に進む。ステップＳＤ６では、各エリア８１〜８９の被写体の撮像面からの距離を算出する。
【００８０】
図１１は、ステップＳＤ１で求めた複数の分割エリア（ｉ，ｊ）ごとの距離情報の一例を示す図である。この距離情報は、図４に示すフローチャートのステップＳＣ５で求めたものである。
【００８１】
まず、各光源色候補エリア８１〜８６、および、各光源推定可能色候補エリア８７〜８９に含まれる評価値に対応する分割エリアの距離の値を読み出し、エリア８１〜８９ごとに距離ヒストグラムを図１１にもとづき作成する。
【００８２】
図１２〜図１４は、光源色候補エリア８３、８４、８１の距離ヒストグラムの一例を示す図である。図１２〜図１４において、横軸は距離、縦軸は頻度（個数）である。ここでは、作成した距離ヒストグラムにおいて、所定の頻度しきい値Ｔｈ以上のピーク値の距離を、その光源の距離とする。図１２に示す例では、光源色候補エリア８３に対応する光源の距離は、ｄｖ＿３＿ｐｅａｋ１となる。
【００８３】
所定の頻度しきい値Ｔｈ以上の距離ピーク値が複数ある場合には、それら複数のピーク値の距離を、その光源の距離とする。図１３に示す例では、所定の頻度しきい値Ｔｈ以上の距離ピーク値が２つあるため、光源色候補エリア８４に対応する光源の距離は、ｄｖ＿４＿ｐｅａｋ１、および、ｄｖ＿４＿ｐｅａｋ２となる。
【００８４】
距離のピーク値が所定の頻度しきい値Ｔｈ未満の場合には、最大の値をとる距離を、その光源の距離とする。図１４に示す例では、光源色候補エリア８１に対応する光源の距離は、ｄｖ＿１＿ｐｅａｋ１となる。
【００８５】
ステップＳＤ７では、主要被写体が存在するか否かを判定する。この判定は、図３に示すフローチャートの処理において、主要被写体が「あり」と判断したか、「なし」と判断したかに基づいて行う。主要被写体が存在しないと判定するとステップＳＤ８に進む。
【００８６】
ステップＳＤ８では、ステップＳＤ６で求めた光源の距離に基づいて、距離信頼性係数Ｋを求める。距離信頼性係数Ｋは、光源の距離に応じて、その光源の信頼性（確からしさ）を表す係数であり、値が大きいほど、信頼性が高いことを意味する。
【００８７】
図１５は、ステップＳＤ８において、距離信頼性係数Ｋを算出するための距離信頼性係数算出関数の一例を図である。図１５において、横軸は光源の距離、縦軸は距離信頼性係数Ｋである。図１５に示す例では、光源色候補エリア８６に対応する光源の距離信頼性係数算出関数を１５１、光源色候補エリア８４に対応する光源の距離信頼性係数算出関数を１５２、その他のエリア８１〜８３、８５、８７〜８９に対応する光源の距離信頼性係数算出関数を１５３でそれぞれ示している。
【００８８】
例えば、蛍光灯（光源色候補エリア８４）や電球（光源色候補エリア８６）等の人工光は、室内等の距離的に近い部分を照らす光源であり、遠距離を照射することは考えにくく、また、遠距離を照射するような明るさもない。従って、光源の距離が遠い場合には、画像内の主要な光源である可能性は低いため、距離信頼性係数は低くなる。
【００８９】
また、複数の光源が含まれているような場合には、撮影者により近い側の方が被写体を照らしている可能性が高く、撮影者により近い方の光源に順応している可能性が高い。従って、距離信頼性係数算出関数１５３では、距離が近い方ほど、距離信頼性係数を大きくしている。
【００９０】
ステップＳＤ８では、ステップＳＤ６で求めた距離と、図１５に示す距離信頼性係数算出関数とに基づいて、各エリア８１〜８９に対応する光源の距離信頼性係数Ｋを算出する。
【００９１】
なお、距離信頼性係数算出関数の代わりに、光源の距離と距離信頼性係数Ｋとの関係を定めたテーブルデータを光源候補エリア距離算出部２７３に記憶させておき、ステップＳＤ６で求めた距離に基づいて、上記テーブルデータを参照することにより、各エリア８１〜８９に対応する光源の距離信頼性係数Ｋを算出するようにしてもよい。
【００９２】
一方、ステップＳＤ７の判定において、主要被写体が存在すると判定すると、ステップＳＤ９に進む。ステップＳＤ９では、図１６に示す距離信頼性係数算出関数に基づいて、距離信頼性係数Ｋを算出する。図１６において、横軸は光源の距離、縦軸は距離信頼性係数Ｋである。
【００９３】
図１６に示す例では、ストロボ発光時と、ストロボ非発光時とに応じて、２種類の距離信頼性係数算出関数１６１，１６２を設定している。この関数１６１，１６２は、図３に示すフローチャートの処理で求めた主要被写体距離に応じて設定する。すなわち、主要被写体距離から第１の所定距離の位置がピーク値となるように、ストロボ発光時の距離信頼性係数算出関数１６１を設定し、主要被写体距離から第２の所定距離の位置がピーク値となるように、ストロボ非発光時の距離信頼性係数算出関数１６２を設定する。これは、主要被写体近辺であって、主要被写体より撮影者に近い位置におけるものが主要被写体と同じ光源条件である可能性が高いためである。
【００９４】
また、ストロボ発光時には、撮影者に近いほどストロボ光の影響が大きくなり、光源色または光源推定可能色としての確からしさが低くなる。従って、図１６に示すように、ストロボ発光時と、ストロボ非発光時とに応じて、異なる距離信頼性係数算出関数を設定している。
【００９５】
なお、図１６に示す距離信頼性係数算出関数では、各エリア８１〜８９に関係なく、光源の距離およびストロボの有無に応じて、距離信頼性係数Ｋが定まる関数となっているが、図１５に示す距離信頼性係数算出関数のように、各エリア８１〜８９ごとに、光源の特性に応じて異なる関数を設定するようにしてもよい。
【００９６】
ステップＳＤ９では、画像が撮像された時にストロボ１５が発光されたか否かを検出し、その検出結果と、図１６に示す距離信頼性係数算出関数１６１，１６２と、光源の距離とに基づいて、距離信頼性係数Ｋを算出する。
【００９７】
ステップＳＤ１０では、次式（１）より、撮像画像中の光源の色度Ｌ＿ＰＯＩＮＴ（ｘ，ｙ）を算出する。
【００９８】
Ｌ＿ＰＯＩＮＴ（ｘ，ｙ）＝１／（α１×α’１×Ｋ１＋α２×α’２×Ｋ２＋α３×α’３×Ｋ３＋α４×α’４×Ｋ４＋α５×α’５×Ｋ５＋α６×α’６×Ｋ６＋α７×α’７×Ｋ７＋α８×α’８×Ｋ８＋α９×α’９×Ｋ９＋ｍ）×｛α１×α’１×Ｋ１×ＺＰＯＩＮＴ＿１（ｘ，ｙ）＋α２×α’２×Ｋ２×ＺＰＯＩＮＴ＿２（ｘ，ｙ）＋α３×α’３×Ｋ３×ＺＰＯＩＮＴ＿３（ｘ，ｙ）＋α４×α’４×Ｋ４×ＺＰＯＩＮＴ＿４（ｘ，ｙ）＋α５×α’５×Ｋ５×ＺＰＯＩＮＴ＿５（ｘ，ｙ）＋α６×α’６×Ｋ６×ＺＰＯＩＮＴ＿６（ｘ，ｙ）＋α７×α’７×Ｋ７×ＺＰＯＩＮＴ＿２ｄｅｆ（ｘ，ｙ）＋α８×α’８×Ｋ８×ＺＰＯＩＮＴ＿３ｄｅｆ（ｘ，ｙ）＋α９×α’９×Ｋ９×ＺＰＯＩＮＴ＿３ｄｅｆ（ｘ，ｙ）＋ｍ×ＺＰＯＩＮＴ＿３ｄｅｆ（ｘ，ｙ）｝ （１）
【００９９】
ただし、式（１）において、ＺＰＯＩＮＴ＿２ｄｅｆ（ｘ，ｙ）は、曇天の光源に対応する光源色候補エリア８２の代表的色度、ＺＰＯＩＮＴ＿３ｄｅｆ（ｘ，ｙ）は、晴天の光源色候補エリア８３の代表的色度であり、それぞれ適切な値を予め設定しておく。光源推定可能色候補エリア８７〜８９はそれぞれ、曇天下の肌色、晴天下の肌色、晴天下の緑色が分布する色領域である。従って、エリア８７〜８９に位置する点の個数が多い場合には、撮像画面中に曇天下の肌色、晴天下の肌色、晴天下の緑色が存在する可能性が高いため、光源がそれぞれ曇天、晴天、晴天であると推測することができる。従って、式（１）では、光源推定可能色候補エリア８７に対応する色度として、曇天の光源に対応する光源色候補エリア８２の代表的色度ＺＰＯＩＮＴ＿２ｄｅｆ（ｘ，ｙ）を用い、光源推定可能色候補エリア８８，８９に対応する色度として、晴天の光源に対応する光源色候補エリア８３の代表的色度ＺＰＯＩＮＴ＿３ｄｅｆ（ｘ，ｙ）を用いている。
【０１００】
また、式（１）において、ｍは所定の値（例えば、０に近い小さい値）であり、撮像画面内に、光源色が少ない場合や、光源があっても、第１の信頼性係数や、第２の信頼性係数、距離信頼性係数が小さくて、光源としての信頼性が低い場合に、それらの光源の色度に対して晴天の色度の重みが相対的に大きくなるようにするための係数である。例えば、検出された光源色が個数も少なく、輝度的にも光源に照らされた光の可能性が低く、かつ、距離的にも被写体から遠いような場合には、無難でよくある光源である晴天の色度に近い色度になる。また、撮像画像中に、光源色が無い場合、すなわち、光源色推定エリアが検出されなかった場合には、撮像画像中の光源の色度Ｌ＿ＰＯＩＮＴ（ｘ，ｙ）は、晴天の色度となる。
【０１０１】
なお、光源の色度Ｌ＿ＰＯＩＮＴ（ｘ，ｙ）を算出する式は、式（１）に限られない。例えば、式（１）では、全てのエリア８１〜８９の色度を用いるようにしたが、第１の信頼性係数×第２の信頼性係数×距離信頼性係数Ｋの値が大きい所定の数（例えば、３個）の色度のみを用いて算出するようにしてもよい。
【０１０２】
ステップＳＤ１１では、ホワイトバランスゲインを算出して、ホワイトバランス調整を行う。ここでは、ステップＳＤ１０で算出した光源の色度（Ｒ／Ｇ，Ｂ／Ｇ）の逆数Ｇ／Ｒ、Ｇ／Ｂをホワイトバランスゲインとし、算出したホワイトバランスゲインを、全てのピクセルのＲ、Ｂ出力値に乗算する。光源色の部分は、この処理により、Ｇ＝Ｒ＝Ｂとなり、白として表現される。
【０１０３】
ステップＳＤ１２では、色マトリックスを選択する。色マトリックスは、撮像素子の特性に合わせて、各光源色候補エリア８１〜８６に対応する光源色用に、それぞれメモリ内に予め格納されている。ステップＳＤ１０で算出した光源の色度（Ｒ／Ｇ，Ｂ／Ｇ）が各光源色候補エリア８１〜８６に対応する光源色のうち、どの光源色に対応するか、または、どの光源色に最も近いかを求め、求めた光源色の色マトリックスを、Ｒ，Ｇ，Ｂから、例えば、Ｙ，Ｃｒ，Ｃｂに色変換する際に使用する。
【０１０４】
以上、第１の実施形態におけるホワイトバランス調整装置によれば、撮像画像において、光源色を推定するための光源色推定エリアを少なくとも１つ推定し、推定した光源色推定エリアについて、撮像画像の奥行き方向における距離を光源色推定エリアの距離として算出するとともに、光源色推定エリアの色度を算出し、光源色推定エリアの距離および光源色推定エリアの色度に基づいて、ホワイトバランス調整値を算出する。これにより、撮像画像中に複数の光源が存在する場合でも、複数の光源に応じた適切なホワイトバランス調整値を算出することができる。また、撮像画像中に、光源と間違いやすい被写体が存在する場合でも、光源色推定エリアの距離および色度に基づいてホワイトバランス調整値を算出することにより、光源と間違いやすい被写体を主要な光源と誤認識することなく、適切なホワイトバランス調整値を算出することができる。
【０１０５】
特に、第１の実施形態におけるホワイトバランス調整装置によれば、推定した光源色推定エリアの確からしさを示す信頼性を判定し、光源色推定エリアの距離、色度、および信頼性に基づいてホワイトバランス調整値を算出するので、より適切なホワイトバランス調整を行うことができる。また、撮像画像が撮像された時の輝度情報に基づいて、光源色推定エリアの信頼性を判定するので、光源色推定エリアの信頼性を精度良く判定することができる。さらに、光源色推定エリアの広さに基づいて、光源色推定エリアの信頼性を判定するので、光源色推定エリアの信頼性を精度良く判定することができる。さらに、光源色推定の距離と主要被写体の距離とに基づいて、光源色推定エリアの信頼性を判定するので、被写体を照らしている光源をより精度良く判定することができる。
【０１０６】
また、撮像画像を複数のエリアに分割して、光源色推定エリア内の分割エリアごとに、撮像画像の奥行き方向における距離を算出し、算出した距離の頻度が所定の頻度しきい値以上である距離のピーク値を、光源色推定エリアの距離として算出する。この時、所定の頻度しきい値以上である距離のピーク値が複数存在する場合には、それら複数のピーク値の距離を、光源色推定エリアの距離として算出するので、より多くの情報を用いて、さらに精度良くホワイトバランス調整値を算出することができる。また、頻度が所定の頻度しきい値以上である距離が存在しない場合には、頻度が所定の頻度しきい値未満の距離の中で最も頻度が多い距離を、光源色推定エリアの距離として算出するので、ホワイトバランス調整値の算出に際し、頻度が所定の頻度しきい値未満の距離の光源色推定エリアが除外されることもない。
【０１０７】
−第２の実施形態−
図１７は、第２の実施形態におけるホワイトバランス処理の詳細な内容を示すフローチャートであり、第２画像処理部２７によって行われる。図１７に示すフローチャートにおいて、図６に示すフローチャートの処理と同一の処理を行うステップについては、同一の符号を付して詳しい説明は省略する。
【０１０８】
ステップＳＤ１〜ステップＳＤ５の処理に続くステップＳＤ２０では、光源色候補エリア８１〜８６および光源推定可能色候補エリア８７〜８９の中から、ステップＳＤ４で算出した第１の信頼性係数と、ステップＳＤ５で算出した第２の信頼性係数とを乗算した値が大きい順に、２つのエリアを選択する。ここでは、選択した２つのエリアの第１の信頼性係数をそれぞれ、α＿ｌｉｇｈｔ１、α＿ｌｉｇｈｔ２、第２の信頼性係数をそれぞれ、α’＿ｌｉｇｈｔ１、α’＿ｌｉｇｈｔ２、エリア内の評価値の重心値をそれぞれ、ＺＰＯＩＮＴ＿ｌｉｇｈｔ１、ＺＰＯＩＮＴ＿ｌｉｇｈｔ２とする。
【０１０９】
なお、ステップＳＤ３では、光源色候補エリア８１〜８６の重心値しか求めていないが、図６のステップＳＤ１０の処理で説明したように、光源推定可能色候補エリア８７〜８９の重心値は、それぞれ、ＺＰＯＩＮＴ＿２ｄｅｆ（ｘ，ｙ）、ＺＰＯＩＮＴ＿３ｄｅｆ（ｘ，ｙ）、ＺＰＯＩＮＴ＿３ｄｅｆ（ｘ，ｙ）とする。
【０１１０】
ステップＳＤ２１では、ステップＳＤ２０で選択した２つのエリアの被写体の撮像面からの距離を算出する。距離の算出は、図６のステップＳＤ６の距離算出と基本的に同じであるが、距離ヒストグラムを作成した際に、所定の頻度しきい値Ｔｈとの比較は行わない。すなわち、作成した距離ヒストグラムにおける１つのピーク値の距離を、その光源の距離とする。ここでは、ステップＳＤ２０で選択した２つのエリアに対して求めた距離をそれぞれ、ｄｖ＿ｌｉｇｈｔ１、ｄｖ＿ｌｉｇｈｔ２とする。
【０１１１】
ステップＳＤ２２では、光源が複数存在するか、すなわち、２つ存在するか否かを判定する。ステップＳＤ６において、２つの光源を選択した場合には、ステップＳＤ２３に進む。ステップＳＤ２３では、主要被写体が存在するか否かを判定する。この判定は、図３に示すフローチャートの処理において、主要被写体が「あり」と判断したか、「なし」と判断したかに基づいて行う。主要被写体が存在すると判定するとステップＳＤ２４に進む。
【０１１２】
ステップＳＤ２４では、次式（２）より、撮像画中の光源の色度Ｌ＿ＰＯＩＮＴ（ｘ，ｙ）を算出する。ただし、式（２）において、ｄｖ＿ｏｂｊｅｃｔは、図３に示すフローチャートの処理で求めた主要被写体距離である。
【０１１３】
Ｌ＿ＰＯＩＮＴ（ｘ，ｙ）＝｜ｄｖ＿ｌｉｇｈｔ２−ｄｖ＿ｏｂｊｅｃｔ｜／｜ｄｖ＿ｌｉｇｈｔ１−ｄｖ＿ｌｉｇｈｔ２｜×ＺＰＯＩＮＴ＿ｌｉｇｈｔ１（ｘ，ｙ）＋｜ｄｖ＿ｌｉｇｈｔ１−ｄｖ＿ｏｂｊｅｃｔ｜／｜ｄｖ＿ｌｉｇｈｔ１−ｄｖ＿ｌｉｇｈｔ２｜×ＺＰＯＩＮＴ＿ｌｉｇｈｔ２（ｘ，ｙ） （２）
【０１１４】
式（２）では、ステップＳＤ２０で選択した２つのエリアに対応する光源の色度を重み付け加算する際に、主要被写体に近い光源ほど、重みが大きくなるような演算を行っている。
【０１１５】
一方、ステップＳＤ２３において、主要被写体が存在しないと判定すると、ステップＳＤ２５に進む。ステップＳＤ２５では、ｄｖ＿ｌｉｇｈｔ１がｄｖ＿ｌｉｇｈｔ２より小さいか否かを判定する。ｄｖ＿ｌｉｇｈｔ１がｄｖ＿ｌｉｇｈｔ２より小さいと判定すると、ステップＳＤ２６に進む。
【０１１６】
ステップＳＤ２６では、次式（３）より、撮像画中の光源の色度Ｌ＿ＰＯＩＮＴ（ｘ，ｙ）を算出する。
【０１１７】
Ｌ＿ＰＯＩＮＴ（ｘ，ｙ）＝２／３×ＺＰＯＩＮＴ＿ｌｉｇｈｔ１（ｘ，ｙ）＋１／３×ＺＰＯＩＮＴ＿ｌｉｇｈｔ２（ｘ，ｙ） （３）
【０１１８】
式（３）に示すように、ｄｖ＿ｌｉｇｈｔ１がｄｖ＿ｌｉｇｈｔ２より小さい場合には、ｄｖ＿ｌｉｇｈｔ１に対応する光源の色度の重みが、ｄｖ＿ｌｉｇｈｔ２に対応する光源の色度の重みより大きくなるような重み付け演算を行う。
【０１１９】
一方、ステップＳＤ２５において、ｄｖ＿ｌｉｇｈｔ１がｄｖ＿ｌｉｇｈｔ２以上であると判定すると、ステップＳＤ２７に進む。ステップＳＤ２７では、次式（４）より、撮像画中の光源の色度Ｌ＿ＰＯＩＮＴ（ｘ，ｙ）を算出する。
【０１２０】
Ｌ＿ＰＯＩＮＴ（ｘ，ｙ）＝１／３×ＺＰＯＩＮＴ＿ｌｉｇｈｔ１（ｘ，ｙ）＋２／３×ＺＰＯＩＮＴ＿ｌｉｇｈｔ２（ｘ，ｙ） （４）
【０１２１】
式（４）に示すように、ｄｖ＿ｌｉｇｈｔ１がｄｖ＿ｌｉｇｈｔ２以上である場合には、ｄｖ＿ｌｉｇｈｔ２に対応する光源の色度の重みが、ｄｖ＿ｌｉｇｈｔ１に対応する光源の色度の重みより大きくなるような重み付け演算を行う。
【０１２２】
ステップＳＤ２２において、１つの光源しか存在しない場合、すなわち、ステップＳＤ２０の処理において、９つのエリア８１〜８９のうち、第１の信頼性係数と第２の信頼性係数とを乗算した値が０となるエリアが８つあり、１つの光源しか選択できかった場合には、ステップＳＤ２８に進む。ステップＳＤ２８では、次式（５）の関係が成り立つか否かを判定する。ただし、式（５）において、α＿ｔｈは、光源の信頼性を判定するための所定のしきい値である。
【０１２３】
α＿ｌｉｇｈｔ１×α’＿ｌｉｇｈｔ１＞α＿ｔｈ （５）
【０１２４】
式（５）の関係が成り立つと判定すると、ステップＳＤ２９に進む。ステップＳＤ２９では、光源の信頼性が高いと判断して、選択した光源の色度をそのまま、光源の色度Ｌ＿ＰＯＩＮＴ（ｘ，ｙ）とする。すなわち、次式（６）より、光源の色度Ｌ＿ＰＯＩＮＴ（ｘ，ｙ）を算出する。ただし、ＺＰＯＩＮＴ＿ｌｉｇｈｔ１（ｘ，ｙ）は、選択した１つのエリア内の評価値の重心値である。
【０１２５】
Ｌ＿ＰＯＩＮＴ（ｘ，ｙ）＝ＺＰＯＩＮＴ＿ｌｉｇｈｔ１（ｘ，ｙ） （６）
【０１２６】
一方、ステップＳＤ２８において、式（５）の関係が成り立たないと判定すると、ステップＳＤ３０に進む。ステップＳＤ３０では、主要被写体が存在するか否かを判定する。主要被写体が存在すると判定するとステップＳＤ３１に進む。
【０１２７】
ステップＳＤ３１では、次式（７）の関係が成り立つか否かを判定し、成り立つと判定すると、ステップＳＤ３２に進む。ただし、式（７）におけるｄｖ＿ｔｈは、所定の距離しきい値である。
【０１２８】
｜ｄｖ＿ｌｉｇｈｔ１−ｄｖ＿ｏｂｊｅｃｔ｜＜ｄｖ＿ｔｈ （７）
【０１２９】
ステップＳＤ３２では、次式（８）より、撮像画像中の光源の色度Ｌ＿ＰＯＩＮＴ（ｘ，ｙ）を算出する。
【０１３０】
Ｌ＿ＰＯＩＮＴ（ｘ，ｙ）＝｜ｄｖ＿ｌｉｇｈｔ＿ｄｅｆ−ｄｖ＿ｏｂｊｅｃｔ｜／｜ｄｖ＿ｌｉｇｈｔ１−ｄｖ＿ｌｉｇｈｔ＿ｄｅｆ｜×ＺＰＯＩＮＴ＿ｌｉｇｈｔ１（ｘ，ｙ）＋｜ｄｖ＿ｌｉｇｈｔ１−ｄｖ＿ｏｂｊｅｃｔ｜／｜ｄｖ＿ｌｉｇｈｔ１−ｄｖ＿ｌｉｇｈｔ＿ｄｅｆ｜×ＺＰＯＩＮＴ＿ｌｉｇｈｔ＿ｄｅｆ（ｘ，ｙ） （８）
【０１３１】
ただし、式（８）において、ＺＰＯＩＮＴ＿ｌｉｇｈｔ＿ｄｅｆ（ｘ，ｙ）は、所定の光源の色度であり、本実施の形態では、晴天の色度ＺＰＯＩＮＴ＿３ｄｅｆ（ｘ，ｙ）とする。また、ｄｖ＿ｌｉｇｈｔ＿ｄｅｆは、晴天の光源距離であり、予め定められた値を用いる。
【０１３２】
ステップＳＤ３０で主要被写体が存在しないと判定した場合、および、ステップＳＤ３１で式（７）の関係が成り立たないと判定したい場合には、ステップＳＤ３３に進む。ステップＳＤ３３では、次式（９）より、撮像画像中の光源の色度Ｌ＿ＰＯＩＮＴ（ｘ，ｙ）を算出する。ただし、式（９）において、ｎ（０＜ｎ＜１）は、所定の重み係数である。
【０１３３】
Ｌ＿ＰＯＩＮＴ（ｘ，ｙ）＝ｎ×ＺＰＯＩＮＴ＿ｌｉｇｈｔ１（ｘ，ｙ）＋（１−ｎ）×ＺＰＯＩＮＴ＿ｌｉｇｈｔ＿ｄｅｆ（ｘ，ｙ） （９）
【０１３４】
光源の色度を求めた後の処理、すなわち、ステップＳＤ１１およびステップＳＤ１２の処理は、図６に示すフローチャートのステップＳＤ１１およびステップＳＤ１２の処理と同じである。
【０１３５】
以上、第２の実施形態におけるホワイトバランス調整装置においても、第１の実施の形態におけるホワイトバランス調整装置と同様に、撮像画像中に複数の光源が存在する場合や、撮像画像中に、光源と間違いやすい被写体が存在する場合でも、適切なホワイトバランス調整値を算出することができる。
【０１３６】
第２の実施形態におけるホワイトバランス調整装置によれば、光源色推定エリアが１つしか推定されなかった場合であって、推定された光源色推定エリアの信頼性が所定の信頼性よりも低い場合に、推定された光源色推定エリアの色度と所定の光源の色度とに基づいてホワイトバランス調整値を算出する。これにより、信頼性の低い光源の色度のみに基づいたホワイトバランス調整値が算出されるのを防ぐことができる。
【０１３７】
また、第２の実施形態におけるホワイトバランス調整装置によれば、光源色推定エリアが２つ以上推定された場合であって、撮像画像中に主要な被写体が存在すると判定した場合に、光源色推定エリアの距離が主要な被写体までの距離に近い光源色推定エリアほど重みが大きくなるように重み付けをして、ホワイトバランス調整値を算出するので、主要な被写体に近い光源色推定エリアの色度を重視した適切なホワイトバランス調整値を算出することができる。
【０１３８】
さらに、光源色推定エリアが２つ以上推定された場合であって、撮像画像中に主要な被写体が存在しないと判定した場合に、光源色推定エリアの距離が近い光源色推定エリアほど重みが大きくなるように重み付けをして、ホワイトバランス調整値を算出するので、被写体を照らしている可能性が高い方の光源を重視したホワイトバランス調整値を算出することができる。
【０１３９】
本発明は、上述した各実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。そうした変形例を以下に挙げる。
【０１４０】
表示シーケンス（図２参照）におけるオートフォーカス処理は、スチル撮影（図４参照）におけるオートフォーカス処理と同じであるが、スルー画像信号を表示モニタ４６に表示させている時に頻繁に実施すると、スルー画像の視認性が悪くなる。従って、図２を用いて説明したように、顔検出の結果が変化（ステップＳＡ８の判定を肯定）した場合であって、かつ、被写体の距離が変動（ステップＳＡ９の判定を肯定）した場合に、オートフォーカス処理を行う。この場合、オートフォーカス処理の結果を用いて算出される被写体距離の精度は、スチル撮影時に比べて悪くなる。上述した実施形態では、表示シーケンスでもスチル撮影時と同様に、距離情報を用いたホワイトバランス処理を行うものとして説明したが、下記（ｉ）や（ｉｉ）の処理を行うようにしてもよい。
（ｉ）表示シーケンスでは、距離情報を用いない従来のホワイトバランス処理を行う。
（ｉｉ）表示シーケンスでは、オートフォーカスが動作して正確な被写体距離情報が得られた場合にのみ、図６を用いて説明したホワイトバランス処理を行い、それ以外の場合には、従来のホワイトバランス処理を行う。
【０１４１】
上述した実施形態では、第１の信頼性係数α、第２の信頼性係数α’、距離信頼性係数Ｋをそれぞれ、撮影輝度、エリア内の評価値の個数、光源の距離に基づいて算出したが、光源色の輝度や、光源色の分散値、黒体放射軌跡との色差等も考慮して求めるようにしてもよい。
【０１４２】
光源色推定エリアの距離は、撮像画像の奥行き方向における距離であり、上述した実施形態では、ＣＣＤ１２から光源色推定エリアの被写体までの距離としたが、例えば、撮像画面上における主要被写体から、光源色推定エリアの被写体までの距離としてもよい。この距離は、撮像画面上において、撮像画面上の主要被写体と光源色推定エリアの被写体との距離を測定し、撮影レンズの焦点距離に基づいて、測定した距離を実際の距離に換算することにより求めることができる。
【０１４３】
上述した実施形態では、光源色推定エリアの距離を、オートフォーカス処理時の焦点位置から求めるＤＦＦ法を利用して求めたが、画像のぼけ量と距離の相関モデルを用いたＤＦＤ法を利用して求めてもよいし、距離測定用のセンサを別途設け、このセンサを用いて、距離を測定するようにしてもよい。
【０１４４】
図１７に示すフローチャートのステップＳＤ２０では、光源色候補エリア８１〜８６および光源推定可能色候補エリア８７〜８９の中から、２つのエリアを選択したが、３つ以上のエリアを選択するようにしてもよい。この場合、ステップＳＤ２４では、選択した各エリアの距離が主要な被写体までの距離に近いエリアほど、そのエリアの色度の重みが大きくなるように重み付けをして、撮像画像中の光源の色度Ｌ＿ＰＯＩＮＴ（ｘ，ｙ）を求めればよい。また、ステップＳＤ２３の判定を否定した後の処理では、選択した各エリアの距離が近いほど、そのエリアの色度の重みが大きくなるように重み付けをして、撮像画像中の光源の色度Ｌ＿ＰＯＩＮＴ（ｘ，ｙ）を求めるようにすればよい。
【図面の簡単な説明】
【０１４５】
【図１】本発明の第１の実施形態におけるホワイトバランス調整装置が適用される撮像装置の概略構成を示したブロック図である。
【図２】表示シーケンスの処理手順を示すフローチャートである。
【図３】被写体推定処理の詳細を示すフローチャートである。
【図４】スチル撮影の処理手順を示すフローチャートである。
【図５】第２画像処理部の詳細な構成を示すブロック図である。
【図６】ホワイトバランス処理の詳細な内容を示すフローチャートである。
【図７】２０×３０のエリアに分割された撮影画像の一例を示す図である。
【図８】Ｒ／Ｇをｘ軸、Ｂ／Ｇをｙ軸とする平面上に設定される光源色候補エリアの一例を示す図である。
【図９】第１の信頼性係数を算出するための信頼性係数算出関数の一例を示す図である。
【図１０】第２の信頼性係数を算出するための信頼性係数算出関数の一例を示す図である。
【図１１】複数の分割エリア（ｉ，ｊ）の距離情報の一例を示す図である。
【図１２】光源色候補エリア８３の距離ヒストグラムの一例を示す図である。
【図１３】光源色候補エリア８４の距離ヒストグラムの一例を示す図である。
【図１４】光源色候補エリア８１の距離ヒストグラムの一例を示す図である。
【図１５】主要被写体が存在しない場合に、距離信頼性係数Ｋを算出するための距離信頼性係数算出関数の一例を図である。
【図１６】主要被写体が存在する場合に、距離信頼性係数Ｋを算出するための距離信頼性係数算出関数の一例を図である。
【図１７】第２の実施の形態におけるホワイトバランス処理の詳細な内容を示すフローチャートである。
【符号の説明】
【０１４６】
１…撮像装置
２…撮像部
３…画像処理装置
１０…レンズ
１１…シャッタ
１２…ＣＣＤ
１３…ＣＣＤ制御部
１４…レンズ駆動部
１５…ストロボ
２０…撮影制御部
２１…ＣＣＤインターフェイス
２２…シーケンスコントローラ
２３…輝度算出部
２４…ＡＦ算出部
２５…第１画像処理部
２６…顔検出部
２７…第２画像処理部
２８…第３画像処理部
３０…データバス
４１…ＳＤＲＡＭ
４２…フラッシュメモリ
４３…記録媒体
４６…表示モニタ
４７…操作部
【特許請求の範囲】
【請求項１】
撮像画像において、光源色を推定するための光源色推定エリアを少なくとも１つ推定するエリア推定部と、
前記光源色推定エリアについて、前記撮像画像の奥行き方向における距離を、前記光源色推定エリアの距離として算出する距離算出部と、
前記光源色推定エリアの色度を算出する色度算出部と、
前記光源色推定エリアの距離、および、前記光源色推定エリアの色度に基づいて、ホワイトバランス調整値を算出するホワイトバランス調整値算出部と、
を備えることを特徴とするホワイトバランス調整装置。
【請求項２】
前記推定された光源色推定エリアの確からしさを示す信頼性を判定する信頼性判定部をさらに備え、
前記ホワイトバランス調整値算出部は、前記光源色推定エリアの距離、前記光源色推定エリアの色度、および、前記光源色推定エリアの信頼性に基づいて、前記ホワイトバランス調整値を算出することを特徴とする請求項１に記載のホワイトバランス調整装置。
【請求項３】
前記撮像画像に写された被写体の輝度を表す被写体輝度情報を取得する輝度情報取得部をさらに備え、
前記信頼性判定部は、前記被写体輝度情報に基づいて、前記光源色推定エリアの信頼性を判定することを特徴とする請求項２に記載のホワイトバランス調整装置。
【請求項４】
前記推定された光源色推定エリアの広さを検出する光源色推定エリア広さ検出部をさらに備え、
前記信頼性判定部は、前記光源色推定エリアの広さに基づいて、前記光源色推定エリアの信頼性を判定することを特徴とする請求項２または請求項３に記載のホワイトバランス調整装置。
【請求項５】
前記ホワイトバランス調整値算出部は、前記光源色推定エリアが複数推定された場合には、前記距離算出部によって算出された距離が近い光源色推定エリアの色度の重みが大きくなるように重み付けをして、前記ホワイトバランス調整値を算出することを特徴とする請求項１から請求項４のいずれか一項に記載のホワイトバランス調整装置。
【請求項６】
前記ホワイトバランス調整値算出部は、前記距離算出部によって算出された距離に応じた重み付け度合いを定めた関数に基づいて、前記重み付けの度合いを決定することを特徴とする請求項５に記載のホワイトバランス調整装置。
【請求項７】
前記距離に応じた重み付け度合いを定めた関数は、光源の種類に応じてそれぞれ設定されていることを特徴とする請求項６に記載のホワイトバランス調整装置。
【請求項８】
前記光源色推定エリアの色情報に基づいて、前記光源色推定エリアごとに前記光源の種類を判定する光源種判定部をさらに備えることを特徴とする請求項７に記載のホワイトバランス調整装置。
【請求項９】
前記ホワイトバランス調整値算出部は、前記光源色推定エリアの距離と前記重み付けの度合いとの関係を定めたテーブルデータを有しており、前記距離算出部によって算出された距離に基づいて、前記テーブルデータを参照することにより、前記重み付けの度合いを決定することを特徴とする請求項５に記載のホワイトバランス調整装置。
【請求項１０】
前記撮像画像の主要な被写体を推定する主要被写体推定部と、
前記撮像画像の奥行き方向における、前記推定された主要な被写体までの距離を算出する被写体距離算出部と、
をさらに備え、
前記ホワイトバランス調整値算出部は、前記光源色推定エリアが複数推定された場合には、各光源色推定エリアの距離と前記主要な被写体までの距離との関係に応じて、各光源色推定エリアの重みを決定し、決定した重みに応じて各光源色推定エリアの色度を重み付けして、前記ホワイトバランス調整値を算出することを特徴とする請求項１から請求項４のいずれか一項に記載のホワイトバランス調整装置。
【請求項１１】
前記撮像画像が撮像された時にストロボが発光されたか否かを検出するストロボ発光検出部をさらに備え、
前記ホワイトバランス調整値算出部は、前記ストロボ発光の有無に応じて、前記各光源色推定エリアの重みを変更することを特徴とする請求項１０に記載のホワイトバランス調整装置。
【請求項１２】
前記ホワイトバランス調整値算出部は、前記光源色推定エリアの信頼性が低くなるほど、所定の光源の色度の重みが大きくなるように重み付けをして、前記ホワイトバランス調整値を算出することを特徴とする請求項２から請求項４のいずれか一項に記載のホワイトバランス調整装置。
【請求項１３】
前記ホワイトバランス調整値算出部は、前記光源色推定エリアが１つも推定されなかった場合に、所定の光源の色度を用いて、前記ホワイトバランス調整値を算出することを特徴とする請求項１から請求項１２のいずれか一項に記載のホワイトバランス調整装置。
【請求項１４】
撮像画像を複数のエリアに分割するエリア分割部をさらに備え、
前記距離算出部は、前記光源色推定エリア内の分割エリアごとに、前記撮像画像の奥行き方向における距離を算出し、算出した距離の頻度が所定の頻度しきい値以上である距離のピーク値を、前記光源色推定エリアの距離として算出することを特徴とする請求項１から請求項１３のいずれか一項に記載のホワイトバランス調整装置。
【請求項１５】
前記距離算出部は、算出した距離の頻度が前記所定の頻度しきい値以上である距離のピーク値が複数存在する場合には、それら複数のピーク値の距離を、前記光源色推定エリアの距離として算出することを特徴とする請求項１４に記載のホワイトバランス調整装置。
【請求項１６】
前記距離算出部は、算出した距離の頻度が前記所定の頻度しきい値以上である距離が存在しない場合には、頻度が前記所定の頻度しきい値未満の距離の中で最も頻度が多い距離を、前記光源色推定エリアの距離として算出することを特徴とする請求項１４または請求項１５に記載のホワイトバランス調整装置。
【請求項１７】
前記ホワイトバランス調整値算出部は、前記光源色推定エリアが１つしか推定されなかった場合において、前記推定された光源色推定エリアの信頼性が所定の信頼性よりも低い場合に、前記推定された光源色推定エリアの色度と所定の光源の色度とに基づいてホワイトバランス調整値を算出することを特徴とする請求項２から請求項４のいずれか一項に記載のホワイトバランス調整装置。
【請求項１８】
前記ホワイトバランス調整値算出部は、前記光源色推定エリアが２つ以上推定された場合において、
前記撮像画像中に主要な被写体が存在するか否かを判定する主要被写体判定部と、
前記主要な被写体が存在すると判定された場合に、前記撮像画像の奥行き方向における前記主要な被写体までの距離を算出する被写体距離算出部と、
をさらに備え、
前記ホワイトバランス調整値算出部は、前記主要な被写体が存在すると判定された場合に、前記光源色推定エリアの距離が前記主要な被写体までの距離に近い光源色推定エリアほど、その光源色推定エリアの色度の重みが大きくなるように重み付けをして、前記ホワイトバランス調整値を算出することを特徴とする請求項１から請求項４のいずれか一項に記載のホワイトバランス調整装置。
【請求項１９】
前記ホワイトバランス調整値算出部は、前記エリア推定部によって前記光源色推定エリアが２つ以上推定された場合において、
前記撮像画像中に主要な被写体が存在するか否かを判定する主要被写体判定部をさらに備え、
前記ホワイトバランス調整値算出部は、前記主要な被写体が存在しないと判定された場合に、前記光源色推定エリアの距離が近い光源色推定エリアほど、その光源色推定エリアの色度の重みが大きくなるように重み付けをして、前記ホワイトバランス調整値を算出することを特徴とする請求項１から請求項４のいずれか一項に記載のホワイトバランス調整装置。
【請求項２０】
請求項１から請求項１９のいずれか一項に記載のホワイトバランス調整装置を備えることを特徴とする撮像装置。
【請求項２１】
撮像画像において、光源色を推定するための光源色推定エリアを少なくとも１つ推定するステップと、
前記光源色推定エリアについて、前記撮像画像の奥行き方向における距離を、前記光源色推定エリアの距離として算出するステップと、
前記光源色推定エリアの色度を算出するステップと、
前記光源色推定エリアの距離、および、前記光源色推定エリアの色度に基づいて、ホワイトバランス調整値を算出するステップと、
を備えることを特徴とするホワイトバランス調整方法。
【請求項２２】
撮像画像において、光源色を推定するための光源色推定エリアを少なくとも１つ推定するステップと、
前記光源色推定エリアについて、前記撮像画像の奥行き方向における距離を、前記光源色推定エリアの距離として算出するステップと、
前記光源色推定エリアの色度を算出するステップと、
前記光源色推定エリアの距離、および、前記光源色推定エリアの色度に基づいて、ホワイトバランス調整値を算出するステップと、
をコンピュータに実行させることを特徴とするホワイトバランス調整プログラム。
【請求項１】
撮像画像において、光源色を推定するための光源色推定エリアを少なくとも１つ推定するエリア推定部と、
前記光源色推定エリアについて、前記撮像画像の奥行き方向における距離を、前記光源色推定エリアの距離として算出する距離算出部と、
前記光源色推定エリアの色度を算出する色度算出部と、
前記光源色推定エリアの距離、および、前記光源色推定エリアの色度に基づいて、ホワイトバランス調整値を算出するホワイトバランス調整値算出部と、
を備えることを特徴とするホワイトバランス調整装置。
【請求項２】
前記推定された光源色推定エリアの確からしさを示す信頼性を判定する信頼性判定部をさらに備え、
前記ホワイトバランス調整値算出部は、前記光源色推定エリアの距離、前記光源色推定エリアの色度、および、前記光源色推定エリアの信頼性に基づいて、前記ホワイトバランス調整値を算出することを特徴とする請求項１に記載のホワイトバランス調整装置。
【請求項３】
前記撮像画像に写された被写体の輝度を表す被写体輝度情報を取得する輝度情報取得部をさらに備え、
前記信頼性判定部は、前記被写体輝度情報に基づいて、前記光源色推定エリアの信頼性を判定することを特徴とする請求項２に記載のホワイトバランス調整装置。
【請求項４】
前記推定された光源色推定エリアの広さを検出する光源色推定エリア広さ検出部をさらに備え、
前記信頼性判定部は、前記光源色推定エリアの広さに基づいて、前記光源色推定エリアの信頼性を判定することを特徴とする請求項２または請求項３に記載のホワイトバランス調整装置。
【請求項５】
前記ホワイトバランス調整値算出部は、前記光源色推定エリアが複数推定された場合には、前記距離算出部によって算出された距離が近い光源色推定エリアの色度の重みが大きくなるように重み付けをして、前記ホワイトバランス調整値を算出することを特徴とする請求項１から請求項４のいずれか一項に記載のホワイトバランス調整装置。
【請求項６】
前記ホワイトバランス調整値算出部は、前記距離算出部によって算出された距離に応じた重み付け度合いを定めた関数に基づいて、前記重み付けの度合いを決定することを特徴とする請求項５に記載のホワイトバランス調整装置。
【請求項７】
前記距離に応じた重み付け度合いを定めた関数は、光源の種類に応じてそれぞれ設定されていることを特徴とする請求項６に記載のホワイトバランス調整装置。
【請求項８】
前記光源色推定エリアの色情報に基づいて、前記光源色推定エリアごとに前記光源の種類を判定する光源種判定部をさらに備えることを特徴とする請求項７に記載のホワイトバランス調整装置。
【請求項９】
前記ホワイトバランス調整値算出部は、前記光源色推定エリアの距離と前記重み付けの度合いとの関係を定めたテーブルデータを有しており、前記距離算出部によって算出された距離に基づいて、前記テーブルデータを参照することにより、前記重み付けの度合いを決定することを特徴とする請求項５に記載のホワイトバランス調整装置。
【請求項１０】
前記撮像画像の主要な被写体を推定する主要被写体推定部と、
前記撮像画像の奥行き方向における、前記推定された主要な被写体までの距離を算出する被写体距離算出部と、
をさらに備え、
前記ホワイトバランス調整値算出部は、前記光源色推定エリアが複数推定された場合には、各光源色推定エリアの距離と前記主要な被写体までの距離との関係に応じて、各光源色推定エリアの重みを決定し、決定した重みに応じて各光源色推定エリアの色度を重み付けして、前記ホワイトバランス調整値を算出することを特徴とする請求項１から請求項４のいずれか一項に記載のホワイトバランス調整装置。
【請求項１１】
前記撮像画像が撮像された時にストロボが発光されたか否かを検出するストロボ発光検出部をさらに備え、
前記ホワイトバランス調整値算出部は、前記ストロボ発光の有無に応じて、前記各光源色推定エリアの重みを変更することを特徴とする請求項１０に記載のホワイトバランス調整装置。
【請求項１２】
前記ホワイトバランス調整値算出部は、前記光源色推定エリアの信頼性が低くなるほど、所定の光源の色度の重みが大きくなるように重み付けをして、前記ホワイトバランス調整値を算出することを特徴とする請求項２から請求項４のいずれか一項に記載のホワイトバランス調整装置。
【請求項１３】
前記ホワイトバランス調整値算出部は、前記光源色推定エリアが１つも推定されなかった場合に、所定の光源の色度を用いて、前記ホワイトバランス調整値を算出することを特徴とする請求項１から請求項１２のいずれか一項に記載のホワイトバランス調整装置。
【請求項１４】
撮像画像を複数のエリアに分割するエリア分割部をさらに備え、
前記距離算出部は、前記光源色推定エリア内の分割エリアごとに、前記撮像画像の奥行き方向における距離を算出し、算出した距離の頻度が所定の頻度しきい値以上である距離のピーク値を、前記光源色推定エリアの距離として算出することを特徴とする請求項１から請求項１３のいずれか一項に記載のホワイトバランス調整装置。
【請求項１５】
前記距離算出部は、算出した距離の頻度が前記所定の頻度しきい値以上である距離のピーク値が複数存在する場合には、それら複数のピーク値の距離を、前記光源色推定エリアの距離として算出することを特徴とする請求項１４に記載のホワイトバランス調整装置。
【請求項１６】
前記距離算出部は、算出した距離の頻度が前記所定の頻度しきい値以上である距離が存在しない場合には、頻度が前記所定の頻度しきい値未満の距離の中で最も頻度が多い距離を、前記光源色推定エリアの距離として算出することを特徴とする請求項１４または請求項１５に記載のホワイトバランス調整装置。
【請求項１７】
前記ホワイトバランス調整値算出部は、前記光源色推定エリアが１つしか推定されなかった場合において、前記推定された光源色推定エリアの信頼性が所定の信頼性よりも低い場合に、前記推定された光源色推定エリアの色度と所定の光源の色度とに基づいてホワイトバランス調整値を算出することを特徴とする請求項２から請求項４のいずれか一項に記載のホワイトバランス調整装置。
【請求項１８】
前記ホワイトバランス調整値算出部は、前記光源色推定エリアが２つ以上推定された場合において、
前記撮像画像中に主要な被写体が存在するか否かを判定する主要被写体判定部と、
前記主要な被写体が存在すると判定された場合に、前記撮像画像の奥行き方向における前記主要な被写体までの距離を算出する被写体距離算出部と、
をさらに備え、
前記ホワイトバランス調整値算出部は、前記主要な被写体が存在すると判定された場合に、前記光源色推定エリアの距離が前記主要な被写体までの距離に近い光源色推定エリアほど、その光源色推定エリアの色度の重みが大きくなるように重み付けをして、前記ホワイトバランス調整値を算出することを特徴とする請求項１から請求項４のいずれか一項に記載のホワイトバランス調整装置。
【請求項１９】
前記ホワイトバランス調整値算出部は、前記エリア推定部によって前記光源色推定エリアが２つ以上推定された場合において、
前記撮像画像中に主要な被写体が存在するか否かを判定する主要被写体判定部をさらに備え、
前記ホワイトバランス調整値算出部は、前記主要な被写体が存在しないと判定された場合に、前記光源色推定エリアの距離が近い光源色推定エリアほど、その光源色推定エリアの色度の重みが大きくなるように重み付けをして、前記ホワイトバランス調整値を算出することを特徴とする請求項１から請求項４のいずれか一項に記載のホワイトバランス調整装置。
【請求項２０】
請求項１から請求項１９のいずれか一項に記載のホワイトバランス調整装置を備えることを特徴とする撮像装置。
【請求項２１】
撮像画像において、光源色を推定するための光源色推定エリアを少なくとも１つ推定するステップと、
前記光源色推定エリアについて、前記撮像画像の奥行き方向における距離を、前記光源色推定エリアの距離として算出するステップと、
前記光源色推定エリアの色度を算出するステップと、
前記光源色推定エリアの距離、および、前記光源色推定エリアの色度に基づいて、ホワイトバランス調整値を算出するステップと、
を備えることを特徴とするホワイトバランス調整方法。
【請求項２２】
撮像画像において、光源色を推定するための光源色推定エリアを少なくとも１つ推定するステップと、
前記光源色推定エリアについて、前記撮像画像の奥行き方向における距離を、前記光源色推定エリアの距離として算出するステップと、
前記光源色推定エリアの色度を算出するステップと、
前記光源色推定エリアの距離、および、前記光源色推定エリアの色度に基づいて、ホワイトバランス調整値を算出するステップと、
をコンピュータに実行させることを特徴とするホワイトバランス調整プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図７】
【公開番号】特開２０１０−１３０４６８（Ｐ２０１０−１３０４６８Ａ）
【公開日】平成２２年６月１０日（２０１０．６．１０）
【国際特許分類】
【出願番号】特願２００８−３０４３０２（Ｐ２００８−３０４３０２）
【出願日】平成２０年１１月２８日（２００８．１１．２８）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２２年６月１０日（２０１０．６．１０）
【国際特許分類】
【出願日】平成２０年１１月２８日（２００８．１１．２８）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]