撮像装置及び撮像方法
【課題】輝度成分によらず安定した領域分割を行い、更に同じ距離に位置する被写体に対しても良好なホワイトバランス補正を行う撮像装置および撮像方法、並びにコンピュータに実行可能な記録媒体を提供すること。
【解決手段】光学系から入射した光を電気信号に変換して撮像信号として出力する撮像素子と、測距対象との距離情報を取得する距離情報取得手段と、前記撮像信号からホワイトバランス評価値を抽出するホワイトバランス評価値取得手段とを備える撮像装置において、前記距離情報と色差情報とに基づき、前記撮像信号を複数の領域に分割する領域分割手段と、当該分割された領域毎のホワイトバランス評価値に基づいて領域毎のホワイトバランス補正係数を算出する補正係数算出手段と、当該分割された領域毎に前記ホワイトバランス補正係数を設定するホワイトバランス演算手段とを備えることを特徴とする。
【解決手段】光学系から入射した光を電気信号に変換して撮像信号として出力する撮像素子と、測距対象との距離情報を取得する距離情報取得手段と、前記撮像信号からホワイトバランス評価値を抽出するホワイトバランス評価値取得手段とを備える撮像装置において、前記距離情報と色差情報とに基づき、前記撮像信号を複数の領域に分割する領域分割手段と、当該分割された領域毎のホワイトバランス評価値に基づいて領域毎のホワイトバランス補正係数を算出する補正係数算出手段と、当該分割された領域毎に前記ホワイトバランス補正係数を設定するホワイトバランス演算手段とを備えることを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置及び撮像方法、並びにコンピュータ読み取り可能な記録媒体に関し、特に、良好なホワイトバランス補正が可能なホワイトバランス制御機能を備えた撮像装置及び撮像方法に関するものである。
【背景技術】
【０００２】
従来の撮像装置では、画面全体に均一な光源であれば、光源を推定して画面全体に同じホワイトバランスをかけるといった方法が広く用いられている。しかし、画面内に異なる種類の光源の照射エリアが存在する場合、画面全体に同じホワイトバランスをかける方法であると、異なる種類の光源の照射エリアそれぞれに対して適切なホワイトバランスとすることができない。
【０００３】
そこで特許文献１では、小領域に分割したエリア毎にホワイトバランスを掛けることで、画面全体に対して色ずれを生じさせないホワイトバランス制御機能が開示されている。
また特許文献２では、隣り合うエリアで異なるホワイトバランスが掛けられたエリア境界での色ずれを解消するために、画素毎にホワイトバランス係数を掛けるホワイトバランス制御機能が開示されている。
さらに特許文献３では、カラー画像を照明成分の輝度値によって複数種類の光源に対応する領域に分割し、領域毎の補正係数を算出するホワイトバランス制御機能が開示されている。
【０００４】
【特許文献１】特開２００２−２７１６３８号公報
【特許文献２】特開２００５−３４７８１１号公報
【特許文献３】特開２００７−１２９６２２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、上記した特許文献１〜３に記載の発明では、同じ距離に位置する被写体に対して複数の光源が存在する場合、例えば、顔の半分が日向で、半分が日陰だとすると、同一の物体に対して複数のホワイトバランスが掛かることになり、不自然な画像となる。
また、黄色は比較的輝度が高く、一方で青色は輝度が低いため、日向の青色が日陰の黄色よりも輝度が低いといった減少が起こるので、撮影シーンによっては輝度成分のみを基にした領域分割では必ずしも光源に対応したホワイトバランス補正を行うことができないということが課題となっている。
【０００６】
さらに、光源毎に領域を分割してそれぞれの領域で白抽出を行っても色温度追従範囲を広くする目的で白抽出範囲を広く設けているために、有彩色の影響により領域毎に最適なホワイトバランスをかけることができないといった問題がある。即ち、日向と日陰では色情報の分布が似ており領域毎に白抽出を行っても有彩色の影響を受けた結果、日向領域と日陰領域のホワイトバランスがほとんど同じになってしまう。このため、画面全体に同じホワイトバランスをかける場合と同様、日向（高輝度領域）と日陰（低輝度領域）とが存在するシーンでは、日向に最適なホワイトバランスをかけると日陰領域が青くなり、日陰領域の肌が青白くなる。また逆に、日陰領域に最適なホワイトバランスかけると日向領域が黄色くなり、日陰領域の白い部分と空の評価値がほぼ同じ位置に分布することから空を白くしてしまうといった問題が生じてしまう。
従来、ダイナミックレンジの狭いセンサーを用いた撮像装置では、日陰領域と空（日向領域）が存在する場合、日陰領域に合った露出では、日陰領域に最適なホワイトバランスを空に対して掛けてもそもそも空は白飛びしている為に問題とならなかった。また、空に合った露出では空を白くしないホワイトバランスを日陰領域に対して掛けてもそもそも日陰領域は暗くなり極端に彩度が落ちていた為、問題がなかった。しかし、今後はダイナミックレンジが広いセンサーを用いた撮像装置若しくは画像処理によるダイナミックレンジ拡大の普及が予想されるので、日陰領域に最適なホワイトバランスをかけた場合でも空を白くしない、また日向領域、空に最適なホワイトバランスをかけた場合でも日陰領域の肌を青白くしないようにすることが要求される。
【０００７】
本発明は、以上の従来技術における問題に鑑みてなされたものであり、輝度成分によらず安定した領域分割を行い、更に同じ距離に位置する被写体に対しても良好なホワイトバランス補正を行う撮像装置及び撮像方法、並びにコンピュータ読み取り可能な記録媒体を提供することを目的とする。
【課題を解決するための手段】
【０００８】
即ち、上記課題を解決するために本発明に係る撮像装置及び撮像方法、並びにコンピュータ読取可能な記録媒体は、具体的には下記（１）〜（１８）に記載の技術的特徴を有する。
（１）：光学系から入射した光を電気信号に変換して撮像信号として出力する撮像素子と、測距対象との距離情報を取得する距離情報取得手段と、前記撮像信号からホワイトバランス評価値を抽出するホワイトバランス評価値取得手段とを備える撮像装置において、前記距離情報と色差情報とに基づき、前記撮像信号を複数の領域に分割する領域分割手段と、当該分割された領域毎のホワイトバランス評価値に基づいて領域毎のホワイトバランス補正係数を算出する補正係数算出手段と、当該分割された領域毎に前記ホワイトバランス補正係数を設定するホワイトバランス演算手段とを備えることを特徴とする撮像装置である。
【０００９】
（２）：前記領域分割手段は、前記撮像信号の距離情報と、色情報と、輝度情報とから、高輝度領域と低輝度領域とに分割し、前記高輝度領域および前記低輝度領域の夫々に対して、領域毎に白抽出範囲を変えて白抽出を行う白抽出手段を備え、前記補正係数算出手段は、前記白抽出手段によって得られた白抽出結果と、当該分割された領域毎のホワイトバランス評価値とに基づいて領域毎のホワイトバランス用の補正係数を算出することを特徴とする上記（１）に記載の撮像装置である。
【００１０】
（３）：前記白抽出手段は、前記高輝度領域において、当該高輝度領域のホワイトバランス評価値と、高輝度領域用白抽出範囲とを基に白抽出を行い、前記低輝度領域において、当該低輝度領域のホワイトバランス評価値と、低輝度領域用白抽出範囲とを基に白抽出を行うことを特徴とする上記（２）に記載の撮像装置である。
【００１１】
（４）：前記白抽出手段は、前記高輝度領域および前記低輝度領域のいずれか一方の領域が存在しない場合、他方の領域において、当該他方の領域のホワイトバランス評価値と、白抽出範囲とに基づいて白抽出を行い、該白抽出範囲は、高輝度領域用白抽出範囲と、低輝度領域用白抽出範囲とからなることを特徴とする上記（２）に記載の撮像装置である。
【００１２】
（５）：前記撮像信号を複数のブロックに分割するブロック分割手段を備え、当該分割されたブロックは、注目画素と、非注目画素とを有し、前記ホワイトバランス演算手段は、当該分割されたブロック毎の注目画素に、前記ホワイトバランス補正係数を取得する第１補正係数取得手段と、当該分割されたブロック毎の非注目画素に、周辺の注目画素のホワイトバランス補正係数と、当該非注目画素から前記周辺の注目画素までの距離による補間で前記ホワイトバランス補正係数を取得する第２補正係数取得手段と、を有し、前記第１補正係数取得手段と前記第２補正係数取得手段とによって取得したホワイトバラン補正係数を画素毎に設定することを特徴とする上記（１）乃至（４）のいずれか１項に記載の撮像装置である。
【００１３】
（６）：前記注目画素は、当該分割されたブロックの中央に位置する画素であることを特徴とする上記（５）に記載の撮像装置である。
【００１４】
（７）：光学系から入射した光を電気信号に変換して撮像信号として出力する光電変換工程と、測距対象との距離情報を取得する距離情報取得工程と、前記撮像信号からホワイトバランス評価値を抽出するホワイトバランス評価値取得工程とを備える撮像方法において、前記距離情報と色差情報とに基づき、前記撮像信号を複数の領域に分割する領域分割工程と、当該分割された領域毎のホワイトバランス評価値に基づいて領域毎のホワイトバランス補正係数を算出する補正係数算出工程と、当該分割された領域毎に前記ホワイトバランス補正係数を設定するホワイトバランス演算工程とを備えることを特徴とする撮像方法である。
【００１５】
（８）：前記領域分割工程は、前記撮像信号の距離情報と、色情報と、輝度情報とから、高輝度領域と低輝度領域とに分割し、前記高輝度領域および前記低輝度領域の夫々に対して、領域毎に白抽出範囲を変えて白抽出を行う白抽出工程を備え、前記補正係数算出工程は、前記白抽出工程によって得られた白抽出結果と、当該分割された領域毎のホワイトバランス評価値とに基づいて領域毎のホワイトバランス用の補正係数を算出することを特徴とする上記（７）に記載の撮像方法である。
【００１６】
（９）：前記白抽出工程は、前記高輝度領域において、当該高輝度領域のホワイトバランス評価値と、高輝度領域用白抽出範囲とを基に白抽出を行い、前記低輝度領域において、当該低輝度領域のホワイトバランス評価値と、低輝度領域用白抽出範囲とを基に白抽出を行うことを特徴とする上記（８）に記載の撮像方法である。
【００１７】
（１０）：前記白抽出工程は、前記高輝度領域および前記低輝度領域のいずれか一方の領域が存在しない場合、他方の領域において、当該他方の領域のホワイトバランス評価値と、白抽出範囲とに基づいて白抽出を行い、該白抽出範囲は、高輝度領域用白抽出範囲と、低輝度領域用白抽出範囲とからなることを特徴とする上記（８）に記載の撮像方法である。
【００１８】
（１１）：前記撮像信号を複数のブロックに分割するブロック分割工程を備え、当該分割されたブロックは、注目画素と、非注目画素とを有し、前記ホワイトバランス演算工程は、当該分割されたブロック毎の注目画素に、前記ホワイトバランス補正係数を取得する第１補正係数取得工程と、当該分割されたブロック毎の非注目画素に、周辺の注目画素のホワイトバランス補正係数と、当該非注目画素から前記周辺の注目画素までの距離による補間で前記ホワイトバランス補正係数を取得する第２補正係数取得工程と、を有し、前記第１補正係数取得工程と前記第２補正係数取得工程とによって取得したホワイトバラン補正係数を画素毎に設定することを特徴とする上記（７）乃至（１０）のいずれか１項に記載の撮像方法である。
【００１９】
（１２）：前記注目画素は、当該分割されたブロックの中央に位置する画素であることを特徴とする上記（１１）に記載の撮像装置である。
【００２０】
（１３）：光学系から入射した光を電気信号に変換して撮像信号として出力する光電変換処理と、測距対象との距離情報を取得する距離情報取得処理と、前記撮像信号からホワイトバランス評価値を抽出するホワイトバランス評価値取得処理とをコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、前記距離情報と色差情報とに基づき、前記撮像信号を複数の領域に分割する領域分割処理と、当該分割された領域毎のホワイトバランス評価値に基づいて領域毎のホワイトバランス補正係数を算出する補正係数算出処理と、当該分割された領域毎に前記ホワイトバランス補正係数を設定するホワイトバランス演算処理とを備えることを特徴とするコンピュータ読み取り可能な記録媒体である。
【００２１】
（１４）：前記領域分割処理は、前記撮像信号の距離情報と、色情報と、輝度情報とから、高輝度領域と低輝度領域とに分割し、前記高輝度領域および前記低輝度領域の夫々に対して、領域毎に白抽出範囲を変えて白抽出を行う白抽出処理を備え、前記補正係数算出処理は、前記白抽出処理によって得られた白抽出結果と、当該分割された領域毎のホワイトバランス評価値とに基づいて領域毎のホワイトバランス用の補正係数を算出することを特徴とする上記（１３）に記載のコンピュータ読み取り可能な記録媒体である。
【００２２】
（１５）：前記白抽出処理は、前記高輝度領域において、当該高輝度領域のホワイトバランス評価値と、高輝度領域用白抽出範囲とを基に白抽出を行い、前記低輝度領域において、当該低輝度領域のホワイトバランス評価値と、低輝度領域用白抽出範囲とを基に白抽出を行うことを特徴とする上記（１４）に記載のコンピュータ読み取り可能な記録媒体である。
【００２３】
（１６）：前記白抽出処理は、前記高輝度領域および前記低輝度領域のいずれか一方の領域が存在しない場合、他方の領域において、当該他方の領域のホワイトバランス評価値と、白抽出範囲とに基づいて白抽出を行い、該白抽出範囲は、高輝度領域用白抽出範囲と、低輝度領域用白抽出範囲とからなることを特徴とする上記（１４）に記載のコンピュータ読み取り可能な記録媒体である。
【００２４】
（１７）：前記撮像信号を複数のブロックに分割するブロック分割処理を備え、当該分割されたブロックは、注目画素と、非注目画素とを有し、前記ホワイトバランス演算処理は、当該分割されたブロック毎の注目画素に、前記ホワイトバランス補正係数を取得する第１補正係数取得処理と、当該分割されたブロック毎の非注目画素に、周辺の注目画素のホワイトバランス補正係数と、当該非注目画素から前記周辺の注目画素までの距離による補間で前記ホワイトバランス補正係数を取得する第２補正係数取得処理と、を有し、前記第１補正係数取得処理と前記第２補正係数取得処理とによって取得したホワイトバラン補正係数を画素毎に設定することを特徴とする上記（１３）乃至（１６）のいずれか１項に記載のコンピュータ読み取り可能な記録媒体である。
【００２５】
（１８）：前記注目画素は、当該分割されたブロックの中央に位置する画素であることを特徴とする上記（１７）に記載のコンピュータ読み取り可能な記録媒体である。
【発明の効果】
【００２６】
本発明によれば、輝度成分によらず安定した領域分割を行い、更に同じ距離に位置する被写体に対しても良好なホワイトバランス補正を行う撮像装置および撮像方法、並びにコンピュータに実行可能な記録媒体を提供することができる。
【発明を実施するための最良の形態】
【００２７】
本発明の撮像装置は、光学系から入射した光を電気信号に変換して撮像信号として出力する撮像素子と、測距対象との距離情報を取得する距離情報取得手段と、前記撮像信号からホワイトバランス評価値を抽出するホワイトバランス評価値取得手段とを備える撮像装置において、前記距離情報と色差情報とに基づき、前記撮像信号を複数の領域に分割する領域分割手段と、当該分割された領域毎のホワイトバランス評価値に基づいて領域毎のホワイトバランス補正係数を算出する補正係数算出手段と、当該分割された領域毎に前記ホワイトバランス補正係数を設定するホワイトバランス演算手段とを備えることを特徴とする。
【００２８】
次に、図面を用いて本発明に係る撮像装置の基本的な構成についてさらに詳細に説明する。
尚、以下に述べる実施の形態は、本発明の好適な実施の形態であるから、技術的に好ましい種々の限定が付されているが、本発明の範囲は以下の説明において特に本発明を限定する旨の記載がない限りこれらの態様に限られるものではない。
【００２９】
〔第１の実施の形態〕
（デジタルカメラの外観構成）
図１は、本実施形態に係る撮像装置の第１の実施の形態であるデジタルカメラの外観を示す概略図である。
図１に示すように、本実施の形態に係るデジタルカメラの上面側には、レリーズボタン（シャッタボタン）、電源ボタン、撮影・再生切替ダイアルが設けられており、デジタルカメラの正面（前面）側には、撮影レンズ系を有する鏡胴ユニット、ストロボ発光部、光学ファインダが設けられている。
【００３０】
デジタルカメラの背面側には、液晶モニタ（ＬＣＤ）、前記光学ファインダの接眼レンズ部、広角側ズーム（Ｗ）スイッチ、望遠側ズーム（Ｔ）スイッチ、メニュー（ＭＥＮＵ）ボタン、確定ボタン（ＯＫボタン）等が設けられている。また、デジタルカメラの側面内部には、撮影した画像データを保存するためのメモリカードを収納するメモリカード収納部が設けられている。
【００３１】
（デジタルカメラのシステム構成）
図２は、本発明に係る撮像装置の第１の実施の形態であるデジタルカメラの構成を示すブロック図である。
図２に示すように、このデジタルカメラ内には、鏡胴ユニットに設置した撮影レンズ系（光学系）を通して入射される被写体画像が受光面上に結像する固体撮像素子としてのＣＣＤ、ＣＣＤから出力される電気信号（アナログＲＧＢ画像信号）をデジタル信号（撮像信号）に処理するアナログフロントエンド部（ＡＦＥ部）、ＡＦＥ部から出力されるデジタル信号を処理する信号処理部、データを一時的に格納するＳＤＲＡＭ、制御プログラム等が記憶されたＲＯＭ、モータドライバ等が設けられている。
【００３２】
鏡胴ユニットは、ズームレンズやフォーカスレンズ等を有する撮影レンズ系、絞りユニット、メカシャッタユニットを備えており、撮影レンズ系、絞りユニット、メカシャッタユニットの各駆動ユニット（不図示）は、モータドライバによって駆動される。モータドライバは、信号処理部の制御部（ＣＰＵ）からの駆動信号により駆動制御される。
【００３３】
ＣＣＤは、ＣＣＤを構成する複数の画素上に色分解フィルタとしてのＲＧＢ原色フィルタが配置されており、ＲＧＢ３原色に対応した電気信号（アナログＲＧＢ画像信号）が出力される。
【００３４】
ＡＦＥ部は、ＣＣＤを駆動するＴＧ（タイミング信号発生部）、ＣＣＤから出力される電気信号（アナログＲＧＢ画像信号）をサンプリングするＣＤＳ（相関２重サンプリング部）、ＣＤＳにてサンプリングされた画像信号のゲインを調整するＡＧＣ（アナログ利得制御部）、ＡＧＣでゲイン調整された画像信号をデジタル信号（ＲＡＷ−ＲＧＢデータ）に変換するＡ／Ｄを備えている。
【００３５】
信号処理部は、ＡＦＥ部のＴＧへ画面水平同期信号（ＨＤ）と画面垂直同期信号（ＶＤ）の出力を行い、これらの同期信号に合わせて、ＡＦＥ部のＡ／Ｄから出力されるＲＡＷ−ＲＧＢデータを取り込むＣＣＤインターフェース（ＣＣＤＩ／Ｆ）と、ＳＤＲＡＭを制御するメモリコントローラと、取り込んだＲＡＷ−ＲＧＢデータを表示や記録が可能なＹＵＶ形式の画像データに変換するＹＵＶ変換部と、表示や記録される画像データのサイズに合わせて画像サイズを変更するリサイズ処理部と、画像データの表示出力を制御する表示出力制御部と、画像データをＪＰＥＧ形成などで記録するためのデータ圧縮部と、画像データをメモリカードへ書き込み、又はメモリカードに書き込まれた画像データを読み出すメディアインターフェース（メディアＩ／Ｆ）と、操作部からの操作入力情報に基づき、ＲＯＭに記憶された制御プログラムに基づいてデジタルカメラ全体のシステム制御等を行う制御部（ＣＰＵ）を備えている。
【００３６】
操作部は、デジタルカメラ（図１参照）の外観表面に設けられているレリーズボタン、電源ボタン、撮影・再生切替ダイアル、広角側ズームスイッチ、望遠側ズームスイッチ、メニューボタン、確定ボタン等であり、撮影者の操作によって所定の動作指示信号が制御部に入力される。
【００３７】
ＳＤＲＡＭには、ＣＣＤＩ／Ｆに取り込まれたＲＡＷ−ＲＧＢデータが保存されると共に、ＹＵＶ変換部で変換処理されたＹＵＶデータ（ＹＵＶ形式の画像データ）が保存され、更に、データ圧縮部で圧縮処理されたＪＰＥＧ形成などの画像データが保存される。また、ＯＳＤ（オンスクリーンディスプレイ）とは、ＬＣＤディスプレイに表示させるデータであり、ＹＵＶデータ若しくはＪＰＥＧ画像の上に操作系の設定情報を重ねたものとなる。
【００３８】
なお、前記ＹＵＶデータのＹＵＶは、輝度データ（Ｙ）と、色差（輝度データと青色（Ｂ）成分データの差分（Ｕ）と、輝度データと赤色（Ｒ）成分データの差分（Ｖ））の情報で色を表現する形式である。この画像変換をする際に、制御部からＩＳＰに対して、ＷＢゲインＲｇ、Ｂｇを設定する。
【００３９】
ＩＳＰ（イメージシグナルプロセッサ）とは、ホワイトバランス、ガンマ補正、色補正等を行う信号処理部のメイン部分である。
【００４０】
（デジタルカメラのモニタリング動作、静止画撮影動作）
次に、前記したデジタルカメラのモニタリング動作と静止画撮影動作について説明する。このデジタルカメラは、静止画撮影モード時には、以下に説明するようなモニタリング動作を実行しながら静止画撮影動作が行われる。
【００４１】
先ず、撮影者が電源ボタンをＯＮし、撮影・再生切替ダイアルを撮影モード（静止画撮影モード）に設定することで、デジタルカメラが記録モードで起動する。電源ボタンがＯＮされて、撮影・再生切替ダイアルが撮影モードに設定されたことを制御部が検知すると、制御部はモータドライバに制御信号を出力して、鏡胴ユニットを撮影可能位置に移動させ、かつ、ＣＣＤ、ＡＦＥ部、信号処理部、ＳＤＲＡＭ、ＲＯＭ、液晶モニタ等を起動させる。
【００４２】
そして、鏡胴ユニットの撮影レンズ系を被写体に向けることにより、撮影レンズ系を通して入射される被写体画像がＣＣＤの各画素の受光面上に結像する。そして、ＣＣＤから出力される被写体画像に応じた電気信号（アナログＲＧＢ画像信号）は、ＣＤＳ、ＡＧＣを介してＡ／Ｄに入力され、Ａ／Ｄにより１２ビット（ｂｉｔ）のＲＡＷ−ＲＧＢデータに変換する。
【００４３】
このＲＡＷ−ＲＧＢデータは、信号処理部のＣＣＤＩ／Ｆに取り込まれてメモリコントローラを介してＳＤＲＡＭに保存される。そして、ＳＤＲＡＭから読み出されたＲＡＷ−ＲＧＢデータは、ＹＵＶ変換部に入力されて表示可能な形式であるＹＵＶデータ（ＹＵＶ信号）に変換された後に、メモリコントローラを介してＳＤＲＡＭにＹＵＶデータが保存される。
【００４４】
そして、ＳＤＲＡＭからメモリコントローラを介して読み出したＹＵＶデータは、表示出力制御部を介して液晶モニタ（ＬＣＤディスプレイ）へ送られ、撮影画像（動画）が表示される。前記した液晶モニタ（ＬＣＤディスプレイ）に撮影画像を表示しているモニタリング時においては、ＣＣＤＩ／Ｆによる画素数の間引き処理により１／３０秒の時間で１フレームを読み出している。
【００４５】
なお、このモニタリング動作時は、電子ファインダとして機能する液晶モニタ（ＬＣＤディスプレイ）に撮影画像（動画）が表示されているだけで、まだレリーズボタンが押圧（半押も含む）操作されていない状態である。
【００４６】
この撮影画像の液晶モニタ（ＬＣＤ）への表示によって、静止画を撮影するための構図の確認等をすることができる。なお、表示出力制御部からＴＶビデオ信号として出力して、ビデオケーブルを介して外部のＴＶ（テレビ）に撮影画像（動画）を表示することもできる。
【００４７】
そして、信号処理部のＣＣＤＩ／Ｆは、取り込まれたＲＡＷ−ＲＧＢデータより、ＡＦ（自動合焦）評価値、ＡＥ（自動露出）評価値、ＡＷＢ（オートホワイトバランス）評価値を算出する。
尚、本発明において、輝度情報とはＡＥ評価値であり、ホワイトバランス評価値とは、ＡＷＢ評価値であり、ホワイトバランス評価値取得手段および距離情報取得手段とは、それぞれ信号処理部のＣＣＤＩ／Ｆの一部である。
【００４８】
ＡＦ評価値は、例えば高周波成分抽出フィルタの出力積分値や、近接画素の輝度差の積分値によって算出される。合焦状態にあるときは、被写体のエッジ部分がはっきりとしているため、高周波成分が一番高くなる。これを利用して、ＡＦ動作時（合焦検出動作時）には、撮影レンズ系内の各フォーカスレンズ位置におけるＡＦ評価値を取得して、その極大になる点を合焦検出位置としてＡＦ動作が実行される。
【００４９】
ＡＥ評価値とＡＷＢ評価値は、ＲＡＷ−ＲＧＢデータにおけるＲＧＢ値のそれぞれの積分値から算出される。例えば、信号処理部のＣＣＤＩ／Ｆの一部である検波回路（ブロック分割手段）によってＣＣＤの全画素の受光面に対応した画面を２５６エリア（ブロック）に等分割（水平１６分割、垂直１６分割）された後、それぞれのエリア（ブロック）のＲＧＢ積算値がＣＣＤＩ／Ｆによって算出される。
【００５０】
そして、制御部は、算出されたＲＧＢ積算値を読み出し、適正なホワイトバランスになるようなＷＢのゲインＲgainとＢgainを算出する。また、ＡＥ処理では、画面のそれぞれのエリア（ブロック）の輝度を算出して、輝度分布から適正な露光量を決定する。決定した露光量に基づいて、露光条件（ＣＣＤの電子シャッタ回数、絞りユニットの絞り値、ＮＤフィルタの出し入れ等）を設定する。さらに、ＡＷＢ処理では、ＲＧＢの分布から被写体の光源の色に合わせたＡＷＢの制御値を決定する。このＡＷＢ処理により、ＹＵＶ変換部でＹＵＶデータに変換処理するときのホワイトバランスを合わせる。なお、前記したＡＥ処理とＡＷＢ処理は、前記モニタリング時には連続的に行われている。
【００５１】
そして、前記したモニタリング動作時に、レリーズボタンが押圧（半押しから全押し）操作される静止画撮影動作が開始されると、合焦位置検出動作であるＡＦ動作と静止画記録処理が行われる。
【００５２】
即ち、レリーズボタンが押圧（半押しから全押し）操作されると、制御部からモータドライバへの駆動指令により撮影レンズ系のフォーカスレンズが移動し、例えば、いわゆる山登りＡＦと称されるコントラスト評価方式のＡＦ動作が実行される。
【００５３】
いわゆる山登りＡＦとは、ＡＦ（合焦）対象範囲が無限から至近までの全領域であった場合、撮影レンズ系のフォーカスレンズは、至近から無限、又は無限から至近までの間の各フォーカス位置に移動し、ＣＣＤＩ／Ｆ（距離情報取得手段）で算出されている各フォーカス位置における前記ＡＦ評価値を制御部が読み出す。そして、各フォーカス位置のＡＦ評価値が極大になる点を合焦位置としてフォーカスレンズを合焦位置に移動させ、合焦させる。
【００５４】
そして、前記したＡＥ処理が行われ、露光完了時点で、制御部からモータドライバへの駆動指令によりメカシャッタユニットが閉じられ、ＣＣＤから静止画用のアナログＲＧＢ画像信号が出力される。そして、前記モニタリング時と同様に、ＡＦＥ部のＡ／Ｄ変換部によりＲＡＷ−ＲＧＢデータに変換される。
【００５５】
そして、このＲＡＷ−ＲＧＢデータ（撮像信号）は、信号処理部のＣＣＤＩ／Ｆに取り込まれ、ＹＵＶ変換部でＹＵＶデータに変換されて、メモリコントローラを介してＳＤＲＡＭに保存される。そして、このＹＵＶデータはＳＤＲＡＭから読み出されて、リサイズ処理部で記録画素数に対応するサイズに変換され、データ圧縮部でＪＰＥＧ形式等の画像データへと圧縮される。圧縮されたＪＰＥＧ形式等の画像データは、ＳＤＲＡＭに書き戻された後にメモリコントローラを介してＳＤＲＡＭから読み出され、メディアＩ／Ｆを介してメモリカードに保存される。
【００５６】
次に、本発明の特徴となる撮像動作について説明する。
図３は本実施の形態におけるホワイトバランス（以下、ＷＢとも称する）補正の一連の処理をフローにしたものである。
先ず、静止画撮影動作におけるＷＢ、ガンマ補正、色補正等の一連の信号処理を終えた後、ＩＳＰより出力されたＹＵＶデータと信号処理前のＣＣＤ−Ｉ／Ｆより出力されたＲａｗ−ＲＧＢデータとがＳＤＲＡＭに格納される。ここで格納されたＹＵＶデータは領域毎のＷＢ補正を行う上で必要なデータであって、最終的にメモリカードへ保存されるデータではない。
【００５７】
そして、ＳＤＲＡＭに格納されたＹＵＶデータを再度読み出し、色とエッジ情報を基に画素単位でいくつかのまとまった領域に分割する（Ｓ１；領域分割手段）。この時点の分割結果では多くの細かい領域が存在するため、それぞれの領域に対して個別のＷＢ処理を行うには処理時間が増えるなどの不都合が生じるので、領域毎のＷＢ処理にはＳ１終了時点での分割結果を使用することができない。
【００５８】
次に、色とエッジ情報を基に領域分割した画像に対して更に距離情報を使用して、Ｓ１で分割された領域それぞれを距離情報に応じて被写体領域と背景領域としてまとめる（Ｓ２；領域分割手段）。距離情報は水平１６×垂直１６分割のブロック単位で出力され、Ｓ１における分割も同様にブロック単位で行う。距離情報のみで領域を分割する方法もあるが、必ずしも全てのブロックで距離情報が取得できるとは限らないため、最初に色とエッジ情報を基に分割し、細かく分割された領域に対して補助する目的で距離情報を使用する。
【００５９】
ここで言う距離情報とは、撮像時のオートフォーカス動作で、フォーカス位置を変えて各フォーカス位置で得られるハイパスフィルタ出力値である。このハイパスフィルタ出力値は撮像時ＣＣＤ−Ｉ／ＦでＲａｗ−ＲＧＢデータより水平１６×垂直１６分割のブロック単位で抽出される。そして、フォーカス位置毎のハイパスフィルタ出力値からピーク検出による合焦を行い、合焦ブロックを被写体領域とし非合焦ブロックを背景領域とする。
図４はブロック単位で領域分割を行ったもので１は被写体領域を表し、２は背景領域を表す。
【００６０】
次に、領域毎にＲＧＢ積算値を求めるために、ＳＤＲＡＭに格納されたＲａｗ−ＲＧＢデータに対して領域分割と距離情報取得時と同様に水平１６×垂直１６のブロック単位で分割を行い、Ｓ２の領域分割によって分割されたそれぞれの領域に対応する複数のブロックのＲＧＢを積算する（Ｓ３；ブロック分割手段）。
【００６１】
次に、領域毎にそれぞれ白抽出を行う（Ｓ４；白抽出手段）。白抽出は領域毎にブロック単位で取得したＲＧＢ積算値からブロック毎のＧ／Ｒ、Ｇ／Ｂを求め、閾値と比較して閾値以下のブロックを白抽出ブロックとして記憶する。
【００６２】
それぞれの領域のうち、白抽出ブロック数がある一定基準以上ある領域は、白抽出ブロックのＧ／Ｒ、Ｇ／Ｂと当該ブロックの平均輝度値の重み付けによって補正係数を算出する。白抽出ブロック数がある一定基準未満の領域は、その領域内の全ブロックのＧ／Ｒ、Ｇ／Ｂに対して、それぞれのブロックの平均輝度値の重み付けによってホワイトバランス補正係数を算出するか、白抽出ブロック数がある一定基準以上の領域で算出したホワイトバランス補正係数を、白抽出ブロック数がある一定基準未満の領域のホワイトバランス補正係数とする（Ｓ５；補正係数算出手段）。
【００６３】
各領域いずれにも一定基準を満たす白抽出ブロックが存在しない場合、画面全体のＧ／Ｒ、Ｇ／Ｂと画面全体の平均輝度値の重み付けによってホワイトバランス補正係数を算出する。
【００６４】
白抽出ブロックとは、図４のような撮像画像で具体例を示すとすると、被写体である人物の画像における白い服の領域に存在する（を有する）ブロック、背景の画像における白い雲の領域に存在する（を有する）ブロック等が挙げられる。
【００６５】
本発明においてホワイトバランス補正係数は、平均輝度値が高い領域を重視するような補正係数であることが好ましく、Ｇ／Ｒ、Ｇ／Ｂに対して平均輝度値が高い領域を重視するような演算を行うことで算出できる。
【００６６】
図５のように各ブロックの中央を注目画素とし、領域毎に算出したホワイトバランス補正係数Ｒgain、Ｂgainをそれぞれの領域に対応するブロックの注目画素に設定する（Ｓ６；ホワイトバランス演算手段）。図５の３は被写体領域で算出したホワイトバランス補正係数Ｒgain、Ｂgainを設定する注目画素、図５の４は背景領域に算出したホワイトバランス補正係数Ｒgain、Ｂgainを設定する注目画素である。
【００６７】
非注目画素のホワイトバランス補正係数Ｒgain、Ｂgainは当該ブロックの注目画素と周辺の注目画素に設定されているホワイトバランス補正係数と当該画素からの距離による補間によって求める（Ｓ７；ホワイトバランス演算手段）。
【００６８】
図６を基に非注目画素のホワイトバランス補正係数算出方法を説明する。ホワイトバランス補正係数の算出対象とする非注目画素のＲgain（Ｂgain）を１１とし周辺の注目画素のホワイトバランス補正係数Ｒgain（Ｂgain）をＲ０（Ｂ０）、Ｒ１（Ｂ１）、Ｒ２（Ｂ２）、Ｒ３（Ｂ３）とする。Ｒ３（Ｂ３）の位置を１で正規化し補正係数の算出対象となる非注目画素の位置をｘ、ｙで表し以下の計算式によって補正係数を算出する。
【００６９】
Ｒgain＝（１−ｘ）（１−ｙ）Ｒ０＋ｘ（１−ｙ）Ｒ１＋（１−ｘ）ｙＲ２＋ｘｙＲ３
Ｂgain＝（１−ｘ）（１−ｙ）Ｂ０＋ｘ（１−ｙ）Ｂ１＋（１−ｘ）ｙＢ２＋ｘｙＢ３
【００７０】
具体的には、例えばＲ０＝１．５、Ｒ１＝１．２、Ｒ２＝１．２、Ｒ３＝１．２、ｘ＝０．７、ｙ＝０．６とした場合の非注目画素のＲgainは以下のようになる。
Ｒgain＝｛（１−０．７）×（１−０．６）×１．５｝＋｛０．７×（１−０．６）×１．２｝＋｛（１−０．７）×０．６×１．２｝＋｛０．７×０．６×１．２｝＝１．２３６
【００７１】
図７の１２部分の画素のように周辺の注目画素が１つしか存在しない場合は、当該ブロックのホワイトバランス補正係数を設定する。
【００７２】
図８の１３、１４、１５、１６部分の画素のように周辺の注目画素が２つしか存在しない場合は、２つのホワイトバランス補正係数と当該画素からの距離による補間によって求める。計算式を以下に示す。
【００７３】
領域１３の場合
Ｒgain＝（１−ｘ）Ｒ２＋ｘＲ３
Ｂgain＝（１−ｘ）Ｂ２＋ｘＢ３
【００７４】
領域１４の場合
Ｒgain＝（１−ｘ）Ｒ０＋ｘＲ１
Ｂgain＝（１−ｘ）Ｂ０＋ｘＢ１
【００７５】
領域１５の場合
Ｒgain＝（１−ｙ）Ｒ１＋ｙＲ３
Ｂgain＝（１−ｙ）Ｂ１＋ｙＢ３
【００７６】
領域１６の場合
Ｒgain＝（１−ｙ）Ｒ０＋ｙＲ２
Ｂgain＝（１−ｙ）Ｂ０＋ｙＢ２
【００７７】
ＳＤＲＡＭに格納されたＲａｗ−ＲＧＢデータのＲ、Ｂデータそれぞれに対して、画素毎に算出したホワイトバランス補正係数Ｒgain、Ｂgainを掛ける（Ｓ８）。
【００７８】
本実施の形態によれば、領域毎に照射される色温度が異なる場合でもそれぞれに対して良好なＷＢを掛けることができる。また距離情報を使用して領域を分割することで、例えば被写体と背景といった具合に領域を分割することができ、被写体が日陰で背景が日向、若しくはその逆であって、どちらか一方が最適でもう一方が不自然なＷＢになるといった一般的に問題となるシーンで、それぞれの領域に対して良好なＷＢを掛けることができる。
【００７９】
また、一つの被写体に対して複数の光源があたる場合でも距離情報を使用した領域分割を行うことで被写体と背景といった具合に領域を分割することができ、被写体領域全体に同一の補正係数が掛かかり、また、背景領域全体も同様に同一の補正係数が掛かるので、同一被写体に対して複数のＷＢが掛かることなく全体に良好で違和感のない画像を表示することができる。
【００８０】
さらに、画素間の補正係数にローパスフィルタがかかる為、ＷＢ補正係数が異なるそれぞれの領域が存在する画像に於いて、領域の境界で不自然なＷＢが掛かることを回避することができる。
【００８１】
また、領域毎に補正係数を算出する為、ブロック毎または画素毎に算出する方法に比べ補正係数の算出に要する計算量を少なくすることができる。
【００８２】
ここで、本実施の形態では距離情報取得時と領域分割時に画面全体に対して水平１６×垂直１６のブロックで分割したが任意の分割数で分割しても良い。
本実施の形態では距離情報取得時と領域分割時に画面全体に対して水平１６×垂直１６のブロックで分割したが、任意の分割数で分割しても良い。また、分割は格子状であることが好ましい。
【００８３】
〔第２の実施の形態〕
第２の実施の形態はＳ１、Ｓ２の領域分割の方法が第１の実施の形態と異なる。Ｓ３〜Ｓ８は第１の実施の形態と同じである。
第１の実施の形態では領域分割の際、撮像信号からのハイパスフィルタ出力値を基に距離情報を取得したが本実施の形態では画面全体に対して水平１６×垂直１６分割のブロック毎に距離画像ＣＭＯＳによって得られた距離情報を基に合焦させた領域を被写体領域、それ以外の領域を背景領域とする領域分割を行う。画素毎に距離情報を取得できる場合でも領域分割の際は、画面全体に対して水平１６×垂直１６分割のブロック単位で領域分割を行う。よって、ブロック毎の領域の判定はブロック内に占める割合の多い方の領域となる。
【００８４】
距離画像ＣＭＯＳとは対象物を照射させる光源を備え、光源から光を投射し対象物からの反射光をイメージセンサにて検出して、光の飛行時間によって対象物までの距離を算出するものである。尚、距離画像ＣＭＯＳとは、本発明における測距手段と撮像素子とに相当するものである。
【００８５】
これにより、ＡＦによる距離情報の取得に比べ距離情報を取得に要する時間が大幅に削減することができる。
【００８６】
〔第３の実施の形態〕
図９は第３の実施の形態におけるホワイトバランス補正の一連の処理をフローにしたものである。
本実施の形態では、高輝度領域を日向領域とし、また、低輝度領域を日陰領域とする例について述べるが、本発明はこれに限定されるものではなく、任意の輝度で領域を分割することができる。
【００８７】
先ず、静止画撮像動作におけるＲＡＷ−ＲＧＢデータからＡＥ処理、ＷＢ処理等一連の画像処理を通した後のＹＵＶデータに対して、水平１６分割、垂直１６分割のブロック毎に高輝度領域としての日向領域と、低輝度領域としての日陰領域とに分割する（Ｓ１；領域分割手段）。この時に設定するブロックは、ＡＷＢ評価値を取得する際に設定したブロックと同様にする。
【００８８】
日向領域と日陰領域とに分割する方法としては、距離情報と、色情報と、輝度情報とから分割する方法であれば良く、例えば輝度とＢ／Ｒとの関係から細かい領域分割した後、距離情報を補助的に用いて領域をまとめる方法がある。
【００８９】
具体的には、一定の閾値以上の輝度を有する領域を日向領域としても良く、Ｂ／Ｒを変数として輝度の閾値を表し、その閾値以上の輝度を有する領域を日向領域としても良い。次いで、細かく分割された日向領域と日陰領域は、それぞれを距離情報に応じてまとめる。
距離情報のみで領域を分割する方法もあるが、必ずしも全てのブロックで距離情報が取得できるとは限らないため、最初に日向領域と日陰領域とに分割し、細かく分割された領域に対して補助する目的で距離情報を使用する。
【００９０】
ここで言う距離情報とは、撮像時のオートフォーカス動作で、フォーカス位置を変えて各フォーカス位置で得られるハイパスフィルタ出力値である。このハイパスフィルタ出力値は撮像時ＣＣＤ−Ｉ／ＦでＲａｗ−ＲＧＢデータより水平１６×垂直１６分割のブロック単位で抽出される。そして、フォーカス位置毎のハイパスフィルタ出力値からピーク検出による合焦を行い、合焦ブロックを被写体領域とし非合焦ブロックを背景領域とする。
図４はブロック単位で領域分割を行ったもので１は被写体領域を表し、２は背景領域を表す。
【００９１】
日向領域と日陰領域の分割結果を基に領域毎のＡＷＢ評価値から白抽出を行う。
白抽出はブロック単位で取得したＡＷＢ評価値に対して予め設定してある白抽出範囲内であれば白抽出ブロックとして記憶する（Ｓ２；白抽出手段）。各ブロックのＡＷＢ評価値はＧ／Ｒ、Ｇ／Ｂという形で表される。白抽出範囲は図１０のようにＧ／Ｒをｘ軸、Ｇ／Ｂをｙ軸とする２次元の色座標上で、図１０の黒体輻射カーブに沿った複数の楕円若しくは矩形の枠にて設定される。本実施の形態における白抽出範囲は、複数の楕円枠を用い個々の楕円枠は各光源に対応する白抽出枠となっており、日向領域と日陰領域とで白抽出範囲が異なる。日向領域、日陰領域のいずれも存在しない場合、全ての白抽出枠を有効とした白抽出範囲にて白抽出を行う。また、図１０に示すＧ／Ｒ−Ｇ／Ｂ軸上の白抽出範囲は一例であり、ＣＣＤの構成などによって変化するものである。
【００９２】
予め設定してある白抽出範囲とは、例えば図１１および図１２に示すような例が挙げられる。図１１の斜線部分は日向領域の白抽出範囲（高輝度領域用白抽出範囲）で約２３００〜約５８００Ｋ（ケルビン）まで、図１２の斜線部分は日陰領域の白抽出範囲（低輝度領域用白抽出範囲）で約５８００〜約８０００Ｋまでに対応する。
【００９３】
図１３はブロック単位で日向領域と日陰領域とで領域分割を行ったものである。図１３の５は日陰領域を表し、図１３の６は日向領域を表す。
【００９４】
Ｓ３−３〜Ｓ３−６の各ステップは、第１の実施の形態におけるＳ５〜８と同じであるので詳細は省略する。
【００９５】
本実施の形態によれば、日向領域（高輝度領域）、日陰領域（低輝度領域）それぞれで有彩色の影響を受けずに白抽出を行うことができる。
【００９６】
また、日向領域と日陰領域とで照射される色温度が異なる場合でもそれぞれに対して良好なホワイトバランスを掛けることができる。
【００９７】
さらに、画素間の補正係数にローパスフィルタがかかる為、ＷＢ補正係数が異なるそれぞれの領域が存在する画像に於いて、領域の境界で不自然なホワイトバランスが掛かることを回避することができる。
【００９８】
また、画面を局所的にＷＢを変えることで複数枚撮影による合成を行うことなく領域毎に最適なＷＢをかけることができ、撮影に要する時間を短くすることができる。
【００９９】
さらに、領域毎にＷＢ補正係数を算出する為、ブロック毎または画素毎に算出する方法に比べＷＢ補正係数の算出に要する計算量を少なくすることができる。
【０１００】
本実施の形態では、水平１６分割、垂直１６分割のブロックで分割したが任意の分割数で分割しても良い。その場合は領域分割での分割数とＡＷＢ評価値（Ｇ／Ｒ、Ｇ／Ｂ）を取得する際の分割数とＷＢ補正係数を設定する際の分割数を合わせる必要がある。
【図面の簡単な説明】
【０１０１】
【図１】本発明に係る撮像装置の第１の実施の形態であるデジタルカメラの外観を示す概略図である。
【図２】本発明に係る撮像装置の第１の実施の形態における構成を示すブロック図である。
【図３】第１の実施の形態におけるホワイトバランス補正の一連の処理のフローを示すフロー図である。
【図４】本発明に係る撮像装置の第１の実施の形態における撮像信号が格子状のブロックに分割された模式図と、該模式図における被写体領域と背景領域を説明する説明図である。
【図５】図４の模式図における被写体領域ブロック中央画素及び背景領域ブロック中央画素を説明する説明図である。
【図６】補間によるＷＢ補正係数の算出方法の説明図である。
【図７】図４の模式図における領域１２を説明する説明図である。
【図８】図４の模式図における領域１３、１４、１５、１６を説明する説明図ある。
【図９】第２の実施の形態におけるホワイトバランス補正の一連の処理のフローを示すフロー図である。
【図１０】Ｇ／Ｒ−Ｇ／Ｂ座標における白抽出範囲を示すグラフである。
【図１１】図１０における日向領域の白抽出範囲を示すグラフである。
【図１２】図１０における日陰領域の白抽出範囲を示すグラフである。
【図１３】本発明に係る撮像装置の第２の実施の形態における撮像信号が格子状のブロックに分割された模式図と、該模式図における日向領域と日陰領域を説明する説明図である。
【符号の説明】
【０１０２】
１ 被写体領域
２ 背景領域
３ 被写体領域注目画素
４ 背景領域注目画素
５ 日陰領域
６ 日向領域
１２、１３、１４、１５、１６ 領域
【技術分野】
【０００１】
本発明は、撮像装置及び撮像方法、並びにコンピュータ読み取り可能な記録媒体に関し、特に、良好なホワイトバランス補正が可能なホワイトバランス制御機能を備えた撮像装置及び撮像方法に関するものである。
【背景技術】
【０００２】
従来の撮像装置では、画面全体に均一な光源であれば、光源を推定して画面全体に同じホワイトバランスをかけるといった方法が広く用いられている。しかし、画面内に異なる種類の光源の照射エリアが存在する場合、画面全体に同じホワイトバランスをかける方法であると、異なる種類の光源の照射エリアそれぞれに対して適切なホワイトバランスとすることができない。
【０００３】
そこで特許文献１では、小領域に分割したエリア毎にホワイトバランスを掛けることで、画面全体に対して色ずれを生じさせないホワイトバランス制御機能が開示されている。
また特許文献２では、隣り合うエリアで異なるホワイトバランスが掛けられたエリア境界での色ずれを解消するために、画素毎にホワイトバランス係数を掛けるホワイトバランス制御機能が開示されている。
さらに特許文献３では、カラー画像を照明成分の輝度値によって複数種類の光源に対応する領域に分割し、領域毎の補正係数を算出するホワイトバランス制御機能が開示されている。
【０００４】
【特許文献１】特開２００２−２７１６３８号公報
【特許文献２】特開２００５−３４７８１１号公報
【特許文献３】特開２００７−１２９６２２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、上記した特許文献１〜３に記載の発明では、同じ距離に位置する被写体に対して複数の光源が存在する場合、例えば、顔の半分が日向で、半分が日陰だとすると、同一の物体に対して複数のホワイトバランスが掛かることになり、不自然な画像となる。
また、黄色は比較的輝度が高く、一方で青色は輝度が低いため、日向の青色が日陰の黄色よりも輝度が低いといった減少が起こるので、撮影シーンによっては輝度成分のみを基にした領域分割では必ずしも光源に対応したホワイトバランス補正を行うことができないということが課題となっている。
【０００６】
さらに、光源毎に領域を分割してそれぞれの領域で白抽出を行っても色温度追従範囲を広くする目的で白抽出範囲を広く設けているために、有彩色の影響により領域毎に最適なホワイトバランスをかけることができないといった問題がある。即ち、日向と日陰では色情報の分布が似ており領域毎に白抽出を行っても有彩色の影響を受けた結果、日向領域と日陰領域のホワイトバランスがほとんど同じになってしまう。このため、画面全体に同じホワイトバランスをかける場合と同様、日向（高輝度領域）と日陰（低輝度領域）とが存在するシーンでは、日向に最適なホワイトバランスをかけると日陰領域が青くなり、日陰領域の肌が青白くなる。また逆に、日陰領域に最適なホワイトバランスかけると日向領域が黄色くなり、日陰領域の白い部分と空の評価値がほぼ同じ位置に分布することから空を白くしてしまうといった問題が生じてしまう。
従来、ダイナミックレンジの狭いセンサーを用いた撮像装置では、日陰領域と空（日向領域）が存在する場合、日陰領域に合った露出では、日陰領域に最適なホワイトバランスを空に対して掛けてもそもそも空は白飛びしている為に問題とならなかった。また、空に合った露出では空を白くしないホワイトバランスを日陰領域に対して掛けてもそもそも日陰領域は暗くなり極端に彩度が落ちていた為、問題がなかった。しかし、今後はダイナミックレンジが広いセンサーを用いた撮像装置若しくは画像処理によるダイナミックレンジ拡大の普及が予想されるので、日陰領域に最適なホワイトバランスをかけた場合でも空を白くしない、また日向領域、空に最適なホワイトバランスをかけた場合でも日陰領域の肌を青白くしないようにすることが要求される。
【０００７】
本発明は、以上の従来技術における問題に鑑みてなされたものであり、輝度成分によらず安定した領域分割を行い、更に同じ距離に位置する被写体に対しても良好なホワイトバランス補正を行う撮像装置及び撮像方法、並びにコンピュータ読み取り可能な記録媒体を提供することを目的とする。
【課題を解決するための手段】
【０００８】
即ち、上記課題を解決するために本発明に係る撮像装置及び撮像方法、並びにコンピュータ読取可能な記録媒体は、具体的には下記（１）〜（１８）に記載の技術的特徴を有する。
（１）：光学系から入射した光を電気信号に変換して撮像信号として出力する撮像素子と、測距対象との距離情報を取得する距離情報取得手段と、前記撮像信号からホワイトバランス評価値を抽出するホワイトバランス評価値取得手段とを備える撮像装置において、前記距離情報と色差情報とに基づき、前記撮像信号を複数の領域に分割する領域分割手段と、当該分割された領域毎のホワイトバランス評価値に基づいて領域毎のホワイトバランス補正係数を算出する補正係数算出手段と、当該分割された領域毎に前記ホワイトバランス補正係数を設定するホワイトバランス演算手段とを備えることを特徴とする撮像装置である。
【０００９】
（２）：前記領域分割手段は、前記撮像信号の距離情報と、色情報と、輝度情報とから、高輝度領域と低輝度領域とに分割し、前記高輝度領域および前記低輝度領域の夫々に対して、領域毎に白抽出範囲を変えて白抽出を行う白抽出手段を備え、前記補正係数算出手段は、前記白抽出手段によって得られた白抽出結果と、当該分割された領域毎のホワイトバランス評価値とに基づいて領域毎のホワイトバランス用の補正係数を算出することを特徴とする上記（１）に記載の撮像装置である。
【００１０】
（３）：前記白抽出手段は、前記高輝度領域において、当該高輝度領域のホワイトバランス評価値と、高輝度領域用白抽出範囲とを基に白抽出を行い、前記低輝度領域において、当該低輝度領域のホワイトバランス評価値と、低輝度領域用白抽出範囲とを基に白抽出を行うことを特徴とする上記（２）に記載の撮像装置である。
【００１１】
（４）：前記白抽出手段は、前記高輝度領域および前記低輝度領域のいずれか一方の領域が存在しない場合、他方の領域において、当該他方の領域のホワイトバランス評価値と、白抽出範囲とに基づいて白抽出を行い、該白抽出範囲は、高輝度領域用白抽出範囲と、低輝度領域用白抽出範囲とからなることを特徴とする上記（２）に記載の撮像装置である。
【００１２】
（５）：前記撮像信号を複数のブロックに分割するブロック分割手段を備え、当該分割されたブロックは、注目画素と、非注目画素とを有し、前記ホワイトバランス演算手段は、当該分割されたブロック毎の注目画素に、前記ホワイトバランス補正係数を取得する第１補正係数取得手段と、当該分割されたブロック毎の非注目画素に、周辺の注目画素のホワイトバランス補正係数と、当該非注目画素から前記周辺の注目画素までの距離による補間で前記ホワイトバランス補正係数を取得する第２補正係数取得手段と、を有し、前記第１補正係数取得手段と前記第２補正係数取得手段とによって取得したホワイトバラン補正係数を画素毎に設定することを特徴とする上記（１）乃至（４）のいずれか１項に記載の撮像装置である。
【００１３】
（６）：前記注目画素は、当該分割されたブロックの中央に位置する画素であることを特徴とする上記（５）に記載の撮像装置である。
【００１４】
（７）：光学系から入射した光を電気信号に変換して撮像信号として出力する光電変換工程と、測距対象との距離情報を取得する距離情報取得工程と、前記撮像信号からホワイトバランス評価値を抽出するホワイトバランス評価値取得工程とを備える撮像方法において、前記距離情報と色差情報とに基づき、前記撮像信号を複数の領域に分割する領域分割工程と、当該分割された領域毎のホワイトバランス評価値に基づいて領域毎のホワイトバランス補正係数を算出する補正係数算出工程と、当該分割された領域毎に前記ホワイトバランス補正係数を設定するホワイトバランス演算工程とを備えることを特徴とする撮像方法である。
【００１５】
（８）：前記領域分割工程は、前記撮像信号の距離情報と、色情報と、輝度情報とから、高輝度領域と低輝度領域とに分割し、前記高輝度領域および前記低輝度領域の夫々に対して、領域毎に白抽出範囲を変えて白抽出を行う白抽出工程を備え、前記補正係数算出工程は、前記白抽出工程によって得られた白抽出結果と、当該分割された領域毎のホワイトバランス評価値とに基づいて領域毎のホワイトバランス用の補正係数を算出することを特徴とする上記（７）に記載の撮像方法である。
【００１６】
（９）：前記白抽出工程は、前記高輝度領域において、当該高輝度領域のホワイトバランス評価値と、高輝度領域用白抽出範囲とを基に白抽出を行い、前記低輝度領域において、当該低輝度領域のホワイトバランス評価値と、低輝度領域用白抽出範囲とを基に白抽出を行うことを特徴とする上記（８）に記載の撮像方法である。
【００１７】
（１０）：前記白抽出工程は、前記高輝度領域および前記低輝度領域のいずれか一方の領域が存在しない場合、他方の領域において、当該他方の領域のホワイトバランス評価値と、白抽出範囲とに基づいて白抽出を行い、該白抽出範囲は、高輝度領域用白抽出範囲と、低輝度領域用白抽出範囲とからなることを特徴とする上記（８）に記載の撮像方法である。
【００１８】
（１１）：前記撮像信号を複数のブロックに分割するブロック分割工程を備え、当該分割されたブロックは、注目画素と、非注目画素とを有し、前記ホワイトバランス演算工程は、当該分割されたブロック毎の注目画素に、前記ホワイトバランス補正係数を取得する第１補正係数取得工程と、当該分割されたブロック毎の非注目画素に、周辺の注目画素のホワイトバランス補正係数と、当該非注目画素から前記周辺の注目画素までの距離による補間で前記ホワイトバランス補正係数を取得する第２補正係数取得工程と、を有し、前記第１補正係数取得工程と前記第２補正係数取得工程とによって取得したホワイトバラン補正係数を画素毎に設定することを特徴とする上記（７）乃至（１０）のいずれか１項に記載の撮像方法である。
【００１９】
（１２）：前記注目画素は、当該分割されたブロックの中央に位置する画素であることを特徴とする上記（１１）に記載の撮像装置である。
【００２０】
（１３）：光学系から入射した光を電気信号に変換して撮像信号として出力する光電変換処理と、測距対象との距離情報を取得する距離情報取得処理と、前記撮像信号からホワイトバランス評価値を抽出するホワイトバランス評価値取得処理とをコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、前記距離情報と色差情報とに基づき、前記撮像信号を複数の領域に分割する領域分割処理と、当該分割された領域毎のホワイトバランス評価値に基づいて領域毎のホワイトバランス補正係数を算出する補正係数算出処理と、当該分割された領域毎に前記ホワイトバランス補正係数を設定するホワイトバランス演算処理とを備えることを特徴とするコンピュータ読み取り可能な記録媒体である。
【００２１】
（１４）：前記領域分割処理は、前記撮像信号の距離情報と、色情報と、輝度情報とから、高輝度領域と低輝度領域とに分割し、前記高輝度領域および前記低輝度領域の夫々に対して、領域毎に白抽出範囲を変えて白抽出を行う白抽出処理を備え、前記補正係数算出処理は、前記白抽出処理によって得られた白抽出結果と、当該分割された領域毎のホワイトバランス評価値とに基づいて領域毎のホワイトバランス用の補正係数を算出することを特徴とする上記（１３）に記載のコンピュータ読み取り可能な記録媒体である。
【００２２】
（１５）：前記白抽出処理は、前記高輝度領域において、当該高輝度領域のホワイトバランス評価値と、高輝度領域用白抽出範囲とを基に白抽出を行い、前記低輝度領域において、当該低輝度領域のホワイトバランス評価値と、低輝度領域用白抽出範囲とを基に白抽出を行うことを特徴とする上記（１４）に記載のコンピュータ読み取り可能な記録媒体である。
【００２３】
（１６）：前記白抽出処理は、前記高輝度領域および前記低輝度領域のいずれか一方の領域が存在しない場合、他方の領域において、当該他方の領域のホワイトバランス評価値と、白抽出範囲とに基づいて白抽出を行い、該白抽出範囲は、高輝度領域用白抽出範囲と、低輝度領域用白抽出範囲とからなることを特徴とする上記（１４）に記載のコンピュータ読み取り可能な記録媒体である。
【００２４】
（１７）：前記撮像信号を複数のブロックに分割するブロック分割処理を備え、当該分割されたブロックは、注目画素と、非注目画素とを有し、前記ホワイトバランス演算処理は、当該分割されたブロック毎の注目画素に、前記ホワイトバランス補正係数を取得する第１補正係数取得処理と、当該分割されたブロック毎の非注目画素に、周辺の注目画素のホワイトバランス補正係数と、当該非注目画素から前記周辺の注目画素までの距離による補間で前記ホワイトバランス補正係数を取得する第２補正係数取得処理と、を有し、前記第１補正係数取得処理と前記第２補正係数取得処理とによって取得したホワイトバラン補正係数を画素毎に設定することを特徴とする上記（１３）乃至（１６）のいずれか１項に記載のコンピュータ読み取り可能な記録媒体である。
【００２５】
（１８）：前記注目画素は、当該分割されたブロックの中央に位置する画素であることを特徴とする上記（１７）に記載のコンピュータ読み取り可能な記録媒体である。
【発明の効果】
【００２６】
本発明によれば、輝度成分によらず安定した領域分割を行い、更に同じ距離に位置する被写体に対しても良好なホワイトバランス補正を行う撮像装置および撮像方法、並びにコンピュータに実行可能な記録媒体を提供することができる。
【発明を実施するための最良の形態】
【００２７】
本発明の撮像装置は、光学系から入射した光を電気信号に変換して撮像信号として出力する撮像素子と、測距対象との距離情報を取得する距離情報取得手段と、前記撮像信号からホワイトバランス評価値を抽出するホワイトバランス評価値取得手段とを備える撮像装置において、前記距離情報と色差情報とに基づき、前記撮像信号を複数の領域に分割する領域分割手段と、当該分割された領域毎のホワイトバランス評価値に基づいて領域毎のホワイトバランス補正係数を算出する補正係数算出手段と、当該分割された領域毎に前記ホワイトバランス補正係数を設定するホワイトバランス演算手段とを備えることを特徴とする。
【００２８】
次に、図面を用いて本発明に係る撮像装置の基本的な構成についてさらに詳細に説明する。
尚、以下に述べる実施の形態は、本発明の好適な実施の形態であるから、技術的に好ましい種々の限定が付されているが、本発明の範囲は以下の説明において特に本発明を限定する旨の記載がない限りこれらの態様に限られるものではない。
【００２９】
〔第１の実施の形態〕
（デジタルカメラの外観構成）
図１は、本実施形態に係る撮像装置の第１の実施の形態であるデジタルカメラの外観を示す概略図である。
図１に示すように、本実施の形態に係るデジタルカメラの上面側には、レリーズボタン（シャッタボタン）、電源ボタン、撮影・再生切替ダイアルが設けられており、デジタルカメラの正面（前面）側には、撮影レンズ系を有する鏡胴ユニット、ストロボ発光部、光学ファインダが設けられている。
【００３０】
デジタルカメラの背面側には、液晶モニタ（ＬＣＤ）、前記光学ファインダの接眼レンズ部、広角側ズーム（Ｗ）スイッチ、望遠側ズーム（Ｔ）スイッチ、メニュー（ＭＥＮＵ）ボタン、確定ボタン（ＯＫボタン）等が設けられている。また、デジタルカメラの側面内部には、撮影した画像データを保存するためのメモリカードを収納するメモリカード収納部が設けられている。
【００３１】
（デジタルカメラのシステム構成）
図２は、本発明に係る撮像装置の第１の実施の形態であるデジタルカメラの構成を示すブロック図である。
図２に示すように、このデジタルカメラ内には、鏡胴ユニットに設置した撮影レンズ系（光学系）を通して入射される被写体画像が受光面上に結像する固体撮像素子としてのＣＣＤ、ＣＣＤから出力される電気信号（アナログＲＧＢ画像信号）をデジタル信号（撮像信号）に処理するアナログフロントエンド部（ＡＦＥ部）、ＡＦＥ部から出力されるデジタル信号を処理する信号処理部、データを一時的に格納するＳＤＲＡＭ、制御プログラム等が記憶されたＲＯＭ、モータドライバ等が設けられている。
【００３２】
鏡胴ユニットは、ズームレンズやフォーカスレンズ等を有する撮影レンズ系、絞りユニット、メカシャッタユニットを備えており、撮影レンズ系、絞りユニット、メカシャッタユニットの各駆動ユニット（不図示）は、モータドライバによって駆動される。モータドライバは、信号処理部の制御部（ＣＰＵ）からの駆動信号により駆動制御される。
【００３３】
ＣＣＤは、ＣＣＤを構成する複数の画素上に色分解フィルタとしてのＲＧＢ原色フィルタが配置されており、ＲＧＢ３原色に対応した電気信号（アナログＲＧＢ画像信号）が出力される。
【００３４】
ＡＦＥ部は、ＣＣＤを駆動するＴＧ（タイミング信号発生部）、ＣＣＤから出力される電気信号（アナログＲＧＢ画像信号）をサンプリングするＣＤＳ（相関２重サンプリング部）、ＣＤＳにてサンプリングされた画像信号のゲインを調整するＡＧＣ（アナログ利得制御部）、ＡＧＣでゲイン調整された画像信号をデジタル信号（ＲＡＷ−ＲＧＢデータ）に変換するＡ／Ｄを備えている。
【００３５】
信号処理部は、ＡＦＥ部のＴＧへ画面水平同期信号（ＨＤ）と画面垂直同期信号（ＶＤ）の出力を行い、これらの同期信号に合わせて、ＡＦＥ部のＡ／Ｄから出力されるＲＡＷ−ＲＧＢデータを取り込むＣＣＤインターフェース（ＣＣＤＩ／Ｆ）と、ＳＤＲＡＭを制御するメモリコントローラと、取り込んだＲＡＷ−ＲＧＢデータを表示や記録が可能なＹＵＶ形式の画像データに変換するＹＵＶ変換部と、表示や記録される画像データのサイズに合わせて画像サイズを変更するリサイズ処理部と、画像データの表示出力を制御する表示出力制御部と、画像データをＪＰＥＧ形成などで記録するためのデータ圧縮部と、画像データをメモリカードへ書き込み、又はメモリカードに書き込まれた画像データを読み出すメディアインターフェース（メディアＩ／Ｆ）と、操作部からの操作入力情報に基づき、ＲＯＭに記憶された制御プログラムに基づいてデジタルカメラ全体のシステム制御等を行う制御部（ＣＰＵ）を備えている。
【００３６】
操作部は、デジタルカメラ（図１参照）の外観表面に設けられているレリーズボタン、電源ボタン、撮影・再生切替ダイアル、広角側ズームスイッチ、望遠側ズームスイッチ、メニューボタン、確定ボタン等であり、撮影者の操作によって所定の動作指示信号が制御部に入力される。
【００３７】
ＳＤＲＡＭには、ＣＣＤＩ／Ｆに取り込まれたＲＡＷ−ＲＧＢデータが保存されると共に、ＹＵＶ変換部で変換処理されたＹＵＶデータ（ＹＵＶ形式の画像データ）が保存され、更に、データ圧縮部で圧縮処理されたＪＰＥＧ形成などの画像データが保存される。また、ＯＳＤ（オンスクリーンディスプレイ）とは、ＬＣＤディスプレイに表示させるデータであり、ＹＵＶデータ若しくはＪＰＥＧ画像の上に操作系の設定情報を重ねたものとなる。
【００３８】
なお、前記ＹＵＶデータのＹＵＶは、輝度データ（Ｙ）と、色差（輝度データと青色（Ｂ）成分データの差分（Ｕ）と、輝度データと赤色（Ｒ）成分データの差分（Ｖ））の情報で色を表現する形式である。この画像変換をする際に、制御部からＩＳＰに対して、ＷＢゲインＲｇ、Ｂｇを設定する。
【００３９】
ＩＳＰ（イメージシグナルプロセッサ）とは、ホワイトバランス、ガンマ補正、色補正等を行う信号処理部のメイン部分である。
【００４０】
（デジタルカメラのモニタリング動作、静止画撮影動作）
次に、前記したデジタルカメラのモニタリング動作と静止画撮影動作について説明する。このデジタルカメラは、静止画撮影モード時には、以下に説明するようなモニタリング動作を実行しながら静止画撮影動作が行われる。
【００４１】
先ず、撮影者が電源ボタンをＯＮし、撮影・再生切替ダイアルを撮影モード（静止画撮影モード）に設定することで、デジタルカメラが記録モードで起動する。電源ボタンがＯＮされて、撮影・再生切替ダイアルが撮影モードに設定されたことを制御部が検知すると、制御部はモータドライバに制御信号を出力して、鏡胴ユニットを撮影可能位置に移動させ、かつ、ＣＣＤ、ＡＦＥ部、信号処理部、ＳＤＲＡＭ、ＲＯＭ、液晶モニタ等を起動させる。
【００４２】
そして、鏡胴ユニットの撮影レンズ系を被写体に向けることにより、撮影レンズ系を通して入射される被写体画像がＣＣＤの各画素の受光面上に結像する。そして、ＣＣＤから出力される被写体画像に応じた電気信号（アナログＲＧＢ画像信号）は、ＣＤＳ、ＡＧＣを介してＡ／Ｄに入力され、Ａ／Ｄにより１２ビット（ｂｉｔ）のＲＡＷ−ＲＧＢデータに変換する。
【００４３】
このＲＡＷ−ＲＧＢデータは、信号処理部のＣＣＤＩ／Ｆに取り込まれてメモリコントローラを介してＳＤＲＡＭに保存される。そして、ＳＤＲＡＭから読み出されたＲＡＷ−ＲＧＢデータは、ＹＵＶ変換部に入力されて表示可能な形式であるＹＵＶデータ（ＹＵＶ信号）に変換された後に、メモリコントローラを介してＳＤＲＡＭにＹＵＶデータが保存される。
【００４４】
そして、ＳＤＲＡＭからメモリコントローラを介して読み出したＹＵＶデータは、表示出力制御部を介して液晶モニタ（ＬＣＤディスプレイ）へ送られ、撮影画像（動画）が表示される。前記した液晶モニタ（ＬＣＤディスプレイ）に撮影画像を表示しているモニタリング時においては、ＣＣＤＩ／Ｆによる画素数の間引き処理により１／３０秒の時間で１フレームを読み出している。
【００４５】
なお、このモニタリング動作時は、電子ファインダとして機能する液晶モニタ（ＬＣＤディスプレイ）に撮影画像（動画）が表示されているだけで、まだレリーズボタンが押圧（半押も含む）操作されていない状態である。
【００４６】
この撮影画像の液晶モニタ（ＬＣＤ）への表示によって、静止画を撮影するための構図の確認等をすることができる。なお、表示出力制御部からＴＶビデオ信号として出力して、ビデオケーブルを介して外部のＴＶ（テレビ）に撮影画像（動画）を表示することもできる。
【００４７】
そして、信号処理部のＣＣＤＩ／Ｆは、取り込まれたＲＡＷ−ＲＧＢデータより、ＡＦ（自動合焦）評価値、ＡＥ（自動露出）評価値、ＡＷＢ（オートホワイトバランス）評価値を算出する。
尚、本発明において、輝度情報とはＡＥ評価値であり、ホワイトバランス評価値とは、ＡＷＢ評価値であり、ホワイトバランス評価値取得手段および距離情報取得手段とは、それぞれ信号処理部のＣＣＤＩ／Ｆの一部である。
【００４８】
ＡＦ評価値は、例えば高周波成分抽出フィルタの出力積分値や、近接画素の輝度差の積分値によって算出される。合焦状態にあるときは、被写体のエッジ部分がはっきりとしているため、高周波成分が一番高くなる。これを利用して、ＡＦ動作時（合焦検出動作時）には、撮影レンズ系内の各フォーカスレンズ位置におけるＡＦ評価値を取得して、その極大になる点を合焦検出位置としてＡＦ動作が実行される。
【００４９】
ＡＥ評価値とＡＷＢ評価値は、ＲＡＷ−ＲＧＢデータにおけるＲＧＢ値のそれぞれの積分値から算出される。例えば、信号処理部のＣＣＤＩ／Ｆの一部である検波回路（ブロック分割手段）によってＣＣＤの全画素の受光面に対応した画面を２５６エリア（ブロック）に等分割（水平１６分割、垂直１６分割）された後、それぞれのエリア（ブロック）のＲＧＢ積算値がＣＣＤＩ／Ｆによって算出される。
【００５０】
そして、制御部は、算出されたＲＧＢ積算値を読み出し、適正なホワイトバランスになるようなＷＢのゲインＲgainとＢgainを算出する。また、ＡＥ処理では、画面のそれぞれのエリア（ブロック）の輝度を算出して、輝度分布から適正な露光量を決定する。決定した露光量に基づいて、露光条件（ＣＣＤの電子シャッタ回数、絞りユニットの絞り値、ＮＤフィルタの出し入れ等）を設定する。さらに、ＡＷＢ処理では、ＲＧＢの分布から被写体の光源の色に合わせたＡＷＢの制御値を決定する。このＡＷＢ処理により、ＹＵＶ変換部でＹＵＶデータに変換処理するときのホワイトバランスを合わせる。なお、前記したＡＥ処理とＡＷＢ処理は、前記モニタリング時には連続的に行われている。
【００５１】
そして、前記したモニタリング動作時に、レリーズボタンが押圧（半押しから全押し）操作される静止画撮影動作が開始されると、合焦位置検出動作であるＡＦ動作と静止画記録処理が行われる。
【００５２】
即ち、レリーズボタンが押圧（半押しから全押し）操作されると、制御部からモータドライバへの駆動指令により撮影レンズ系のフォーカスレンズが移動し、例えば、いわゆる山登りＡＦと称されるコントラスト評価方式のＡＦ動作が実行される。
【００５３】
いわゆる山登りＡＦとは、ＡＦ（合焦）対象範囲が無限から至近までの全領域であった場合、撮影レンズ系のフォーカスレンズは、至近から無限、又は無限から至近までの間の各フォーカス位置に移動し、ＣＣＤＩ／Ｆ（距離情報取得手段）で算出されている各フォーカス位置における前記ＡＦ評価値を制御部が読み出す。そして、各フォーカス位置のＡＦ評価値が極大になる点を合焦位置としてフォーカスレンズを合焦位置に移動させ、合焦させる。
【００５４】
そして、前記したＡＥ処理が行われ、露光完了時点で、制御部からモータドライバへの駆動指令によりメカシャッタユニットが閉じられ、ＣＣＤから静止画用のアナログＲＧＢ画像信号が出力される。そして、前記モニタリング時と同様に、ＡＦＥ部のＡ／Ｄ変換部によりＲＡＷ−ＲＧＢデータに変換される。
【００５５】
そして、このＲＡＷ−ＲＧＢデータ（撮像信号）は、信号処理部のＣＣＤＩ／Ｆに取り込まれ、ＹＵＶ変換部でＹＵＶデータに変換されて、メモリコントローラを介してＳＤＲＡＭに保存される。そして、このＹＵＶデータはＳＤＲＡＭから読み出されて、リサイズ処理部で記録画素数に対応するサイズに変換され、データ圧縮部でＪＰＥＧ形式等の画像データへと圧縮される。圧縮されたＪＰＥＧ形式等の画像データは、ＳＤＲＡＭに書き戻された後にメモリコントローラを介してＳＤＲＡＭから読み出され、メディアＩ／Ｆを介してメモリカードに保存される。
【００５６】
次に、本発明の特徴となる撮像動作について説明する。
図３は本実施の形態におけるホワイトバランス（以下、ＷＢとも称する）補正の一連の処理をフローにしたものである。
先ず、静止画撮影動作におけるＷＢ、ガンマ補正、色補正等の一連の信号処理を終えた後、ＩＳＰより出力されたＹＵＶデータと信号処理前のＣＣＤ−Ｉ／Ｆより出力されたＲａｗ−ＲＧＢデータとがＳＤＲＡＭに格納される。ここで格納されたＹＵＶデータは領域毎のＷＢ補正を行う上で必要なデータであって、最終的にメモリカードへ保存されるデータではない。
【００５７】
そして、ＳＤＲＡＭに格納されたＹＵＶデータを再度読み出し、色とエッジ情報を基に画素単位でいくつかのまとまった領域に分割する（Ｓ１；領域分割手段）。この時点の分割結果では多くの細かい領域が存在するため、それぞれの領域に対して個別のＷＢ処理を行うには処理時間が増えるなどの不都合が生じるので、領域毎のＷＢ処理にはＳ１終了時点での分割結果を使用することができない。
【００５８】
次に、色とエッジ情報を基に領域分割した画像に対して更に距離情報を使用して、Ｓ１で分割された領域それぞれを距離情報に応じて被写体領域と背景領域としてまとめる（Ｓ２；領域分割手段）。距離情報は水平１６×垂直１６分割のブロック単位で出力され、Ｓ１における分割も同様にブロック単位で行う。距離情報のみで領域を分割する方法もあるが、必ずしも全てのブロックで距離情報が取得できるとは限らないため、最初に色とエッジ情報を基に分割し、細かく分割された領域に対して補助する目的で距離情報を使用する。
【００５９】
ここで言う距離情報とは、撮像時のオートフォーカス動作で、フォーカス位置を変えて各フォーカス位置で得られるハイパスフィルタ出力値である。このハイパスフィルタ出力値は撮像時ＣＣＤ−Ｉ／ＦでＲａｗ−ＲＧＢデータより水平１６×垂直１６分割のブロック単位で抽出される。そして、フォーカス位置毎のハイパスフィルタ出力値からピーク検出による合焦を行い、合焦ブロックを被写体領域とし非合焦ブロックを背景領域とする。
図４はブロック単位で領域分割を行ったもので１は被写体領域を表し、２は背景領域を表す。
【００６０】
次に、領域毎にＲＧＢ積算値を求めるために、ＳＤＲＡＭに格納されたＲａｗ−ＲＧＢデータに対して領域分割と距離情報取得時と同様に水平１６×垂直１６のブロック単位で分割を行い、Ｓ２の領域分割によって分割されたそれぞれの領域に対応する複数のブロックのＲＧＢを積算する（Ｓ３；ブロック分割手段）。
【００６１】
次に、領域毎にそれぞれ白抽出を行う（Ｓ４；白抽出手段）。白抽出は領域毎にブロック単位で取得したＲＧＢ積算値からブロック毎のＧ／Ｒ、Ｇ／Ｂを求め、閾値と比較して閾値以下のブロックを白抽出ブロックとして記憶する。
【００６２】
それぞれの領域のうち、白抽出ブロック数がある一定基準以上ある領域は、白抽出ブロックのＧ／Ｒ、Ｇ／Ｂと当該ブロックの平均輝度値の重み付けによって補正係数を算出する。白抽出ブロック数がある一定基準未満の領域は、その領域内の全ブロックのＧ／Ｒ、Ｇ／Ｂに対して、それぞれのブロックの平均輝度値の重み付けによってホワイトバランス補正係数を算出するか、白抽出ブロック数がある一定基準以上の領域で算出したホワイトバランス補正係数を、白抽出ブロック数がある一定基準未満の領域のホワイトバランス補正係数とする（Ｓ５；補正係数算出手段）。
【００６３】
各領域いずれにも一定基準を満たす白抽出ブロックが存在しない場合、画面全体のＧ／Ｒ、Ｇ／Ｂと画面全体の平均輝度値の重み付けによってホワイトバランス補正係数を算出する。
【００６４】
白抽出ブロックとは、図４のような撮像画像で具体例を示すとすると、被写体である人物の画像における白い服の領域に存在する（を有する）ブロック、背景の画像における白い雲の領域に存在する（を有する）ブロック等が挙げられる。
【００６５】
本発明においてホワイトバランス補正係数は、平均輝度値が高い領域を重視するような補正係数であることが好ましく、Ｇ／Ｒ、Ｇ／Ｂに対して平均輝度値が高い領域を重視するような演算を行うことで算出できる。
【００６６】
図５のように各ブロックの中央を注目画素とし、領域毎に算出したホワイトバランス補正係数Ｒgain、Ｂgainをそれぞれの領域に対応するブロックの注目画素に設定する（Ｓ６；ホワイトバランス演算手段）。図５の３は被写体領域で算出したホワイトバランス補正係数Ｒgain、Ｂgainを設定する注目画素、図５の４は背景領域に算出したホワイトバランス補正係数Ｒgain、Ｂgainを設定する注目画素である。
【００６７】
非注目画素のホワイトバランス補正係数Ｒgain、Ｂgainは当該ブロックの注目画素と周辺の注目画素に設定されているホワイトバランス補正係数と当該画素からの距離による補間によって求める（Ｓ７；ホワイトバランス演算手段）。
【００６８】
図６を基に非注目画素のホワイトバランス補正係数算出方法を説明する。ホワイトバランス補正係数の算出対象とする非注目画素のＲgain（Ｂgain）を１１とし周辺の注目画素のホワイトバランス補正係数Ｒgain（Ｂgain）をＲ０（Ｂ０）、Ｒ１（Ｂ１）、Ｒ２（Ｂ２）、Ｒ３（Ｂ３）とする。Ｒ３（Ｂ３）の位置を１で正規化し補正係数の算出対象となる非注目画素の位置をｘ、ｙで表し以下の計算式によって補正係数を算出する。
【００６９】
Ｒgain＝（１−ｘ）（１−ｙ）Ｒ０＋ｘ（１−ｙ）Ｒ１＋（１−ｘ）ｙＲ２＋ｘｙＲ３
Ｂgain＝（１−ｘ）（１−ｙ）Ｂ０＋ｘ（１−ｙ）Ｂ１＋（１−ｘ）ｙＢ２＋ｘｙＢ３
【００７０】
具体的には、例えばＲ０＝１．５、Ｒ１＝１．２、Ｒ２＝１．２、Ｒ３＝１．２、ｘ＝０．７、ｙ＝０．６とした場合の非注目画素のＲgainは以下のようになる。
Ｒgain＝｛（１−０．７）×（１−０．６）×１．５｝＋｛０．７×（１−０．６）×１．２｝＋｛（１−０．７）×０．６×１．２｝＋｛０．７×０．６×１．２｝＝１．２３６
【００７１】
図７の１２部分の画素のように周辺の注目画素が１つしか存在しない場合は、当該ブロックのホワイトバランス補正係数を設定する。
【００７２】
図８の１３、１４、１５、１６部分の画素のように周辺の注目画素が２つしか存在しない場合は、２つのホワイトバランス補正係数と当該画素からの距離による補間によって求める。計算式を以下に示す。
【００７３】
領域１３の場合
Ｒgain＝（１−ｘ）Ｒ２＋ｘＲ３
Ｂgain＝（１−ｘ）Ｂ２＋ｘＢ３
【００７４】
領域１４の場合
Ｒgain＝（１−ｘ）Ｒ０＋ｘＲ１
Ｂgain＝（１−ｘ）Ｂ０＋ｘＢ１
【００７５】
領域１５の場合
Ｒgain＝（１−ｙ）Ｒ１＋ｙＲ３
Ｂgain＝（１−ｙ）Ｂ１＋ｙＢ３
【００７６】
領域１６の場合
Ｒgain＝（１−ｙ）Ｒ０＋ｙＲ２
Ｂgain＝（１−ｙ）Ｂ０＋ｙＢ２
【００７７】
ＳＤＲＡＭに格納されたＲａｗ−ＲＧＢデータのＲ、Ｂデータそれぞれに対して、画素毎に算出したホワイトバランス補正係数Ｒgain、Ｂgainを掛ける（Ｓ８）。
【００７８】
本実施の形態によれば、領域毎に照射される色温度が異なる場合でもそれぞれに対して良好なＷＢを掛けることができる。また距離情報を使用して領域を分割することで、例えば被写体と背景といった具合に領域を分割することができ、被写体が日陰で背景が日向、若しくはその逆であって、どちらか一方が最適でもう一方が不自然なＷＢになるといった一般的に問題となるシーンで、それぞれの領域に対して良好なＷＢを掛けることができる。
【００７９】
また、一つの被写体に対して複数の光源があたる場合でも距離情報を使用した領域分割を行うことで被写体と背景といった具合に領域を分割することができ、被写体領域全体に同一の補正係数が掛かかり、また、背景領域全体も同様に同一の補正係数が掛かるので、同一被写体に対して複数のＷＢが掛かることなく全体に良好で違和感のない画像を表示することができる。
【００８０】
さらに、画素間の補正係数にローパスフィルタがかかる為、ＷＢ補正係数が異なるそれぞれの領域が存在する画像に於いて、領域の境界で不自然なＷＢが掛かることを回避することができる。
【００８１】
また、領域毎に補正係数を算出する為、ブロック毎または画素毎に算出する方法に比べ補正係数の算出に要する計算量を少なくすることができる。
【００８２】
ここで、本実施の形態では距離情報取得時と領域分割時に画面全体に対して水平１６×垂直１６のブロックで分割したが任意の分割数で分割しても良い。
本実施の形態では距離情報取得時と領域分割時に画面全体に対して水平１６×垂直１６のブロックで分割したが、任意の分割数で分割しても良い。また、分割は格子状であることが好ましい。
【００８３】
〔第２の実施の形態〕
第２の実施の形態はＳ１、Ｓ２の領域分割の方法が第１の実施の形態と異なる。Ｓ３〜Ｓ８は第１の実施の形態と同じである。
第１の実施の形態では領域分割の際、撮像信号からのハイパスフィルタ出力値を基に距離情報を取得したが本実施の形態では画面全体に対して水平１６×垂直１６分割のブロック毎に距離画像ＣＭＯＳによって得られた距離情報を基に合焦させた領域を被写体領域、それ以外の領域を背景領域とする領域分割を行う。画素毎に距離情報を取得できる場合でも領域分割の際は、画面全体に対して水平１６×垂直１６分割のブロック単位で領域分割を行う。よって、ブロック毎の領域の判定はブロック内に占める割合の多い方の領域となる。
【００８４】
距離画像ＣＭＯＳとは対象物を照射させる光源を備え、光源から光を投射し対象物からの反射光をイメージセンサにて検出して、光の飛行時間によって対象物までの距離を算出するものである。尚、距離画像ＣＭＯＳとは、本発明における測距手段と撮像素子とに相当するものである。
【００８５】
これにより、ＡＦによる距離情報の取得に比べ距離情報を取得に要する時間が大幅に削減することができる。
【００８６】
〔第３の実施の形態〕
図９は第３の実施の形態におけるホワイトバランス補正の一連の処理をフローにしたものである。
本実施の形態では、高輝度領域を日向領域とし、また、低輝度領域を日陰領域とする例について述べるが、本発明はこれに限定されるものではなく、任意の輝度で領域を分割することができる。
【００８７】
先ず、静止画撮像動作におけるＲＡＷ−ＲＧＢデータからＡＥ処理、ＷＢ処理等一連の画像処理を通した後のＹＵＶデータに対して、水平１６分割、垂直１６分割のブロック毎に高輝度領域としての日向領域と、低輝度領域としての日陰領域とに分割する（Ｓ１；領域分割手段）。この時に設定するブロックは、ＡＷＢ評価値を取得する際に設定したブロックと同様にする。
【００８８】
日向領域と日陰領域とに分割する方法としては、距離情報と、色情報と、輝度情報とから分割する方法であれば良く、例えば輝度とＢ／Ｒとの関係から細かい領域分割した後、距離情報を補助的に用いて領域をまとめる方法がある。
【００８９】
具体的には、一定の閾値以上の輝度を有する領域を日向領域としても良く、Ｂ／Ｒを変数として輝度の閾値を表し、その閾値以上の輝度を有する領域を日向領域としても良い。次いで、細かく分割された日向領域と日陰領域は、それぞれを距離情報に応じてまとめる。
距離情報のみで領域を分割する方法もあるが、必ずしも全てのブロックで距離情報が取得できるとは限らないため、最初に日向領域と日陰領域とに分割し、細かく分割された領域に対して補助する目的で距離情報を使用する。
【００９０】
ここで言う距離情報とは、撮像時のオートフォーカス動作で、フォーカス位置を変えて各フォーカス位置で得られるハイパスフィルタ出力値である。このハイパスフィルタ出力値は撮像時ＣＣＤ−Ｉ／ＦでＲａｗ−ＲＧＢデータより水平１６×垂直１６分割のブロック単位で抽出される。そして、フォーカス位置毎のハイパスフィルタ出力値からピーク検出による合焦を行い、合焦ブロックを被写体領域とし非合焦ブロックを背景領域とする。
図４はブロック単位で領域分割を行ったもので１は被写体領域を表し、２は背景領域を表す。
【００９１】
日向領域と日陰領域の分割結果を基に領域毎のＡＷＢ評価値から白抽出を行う。
白抽出はブロック単位で取得したＡＷＢ評価値に対して予め設定してある白抽出範囲内であれば白抽出ブロックとして記憶する（Ｓ２；白抽出手段）。各ブロックのＡＷＢ評価値はＧ／Ｒ、Ｇ／Ｂという形で表される。白抽出範囲は図１０のようにＧ／Ｒをｘ軸、Ｇ／Ｂをｙ軸とする２次元の色座標上で、図１０の黒体輻射カーブに沿った複数の楕円若しくは矩形の枠にて設定される。本実施の形態における白抽出範囲は、複数の楕円枠を用い個々の楕円枠は各光源に対応する白抽出枠となっており、日向領域と日陰領域とで白抽出範囲が異なる。日向領域、日陰領域のいずれも存在しない場合、全ての白抽出枠を有効とした白抽出範囲にて白抽出を行う。また、図１０に示すＧ／Ｒ−Ｇ／Ｂ軸上の白抽出範囲は一例であり、ＣＣＤの構成などによって変化するものである。
【００９２】
予め設定してある白抽出範囲とは、例えば図１１および図１２に示すような例が挙げられる。図１１の斜線部分は日向領域の白抽出範囲（高輝度領域用白抽出範囲）で約２３００〜約５８００Ｋ（ケルビン）まで、図１２の斜線部分は日陰領域の白抽出範囲（低輝度領域用白抽出範囲）で約５８００〜約８０００Ｋまでに対応する。
【００９３】
図１３はブロック単位で日向領域と日陰領域とで領域分割を行ったものである。図１３の５は日陰領域を表し、図１３の６は日向領域を表す。
【００９４】
Ｓ３−３〜Ｓ３−６の各ステップは、第１の実施の形態におけるＳ５〜８と同じであるので詳細は省略する。
【００９５】
本実施の形態によれば、日向領域（高輝度領域）、日陰領域（低輝度領域）それぞれで有彩色の影響を受けずに白抽出を行うことができる。
【００９６】
また、日向領域と日陰領域とで照射される色温度が異なる場合でもそれぞれに対して良好なホワイトバランスを掛けることができる。
【００９７】
さらに、画素間の補正係数にローパスフィルタがかかる為、ＷＢ補正係数が異なるそれぞれの領域が存在する画像に於いて、領域の境界で不自然なホワイトバランスが掛かることを回避することができる。
【００９８】
また、画面を局所的にＷＢを変えることで複数枚撮影による合成を行うことなく領域毎に最適なＷＢをかけることができ、撮影に要する時間を短くすることができる。
【００９９】
さらに、領域毎にＷＢ補正係数を算出する為、ブロック毎または画素毎に算出する方法に比べＷＢ補正係数の算出に要する計算量を少なくすることができる。
【０１００】
本実施の形態では、水平１６分割、垂直１６分割のブロックで分割したが任意の分割数で分割しても良い。その場合は領域分割での分割数とＡＷＢ評価値（Ｇ／Ｒ、Ｇ／Ｂ）を取得する際の分割数とＷＢ補正係数を設定する際の分割数を合わせる必要がある。
【図面の簡単な説明】
【０１０１】
【図１】本発明に係る撮像装置の第１の実施の形態であるデジタルカメラの外観を示す概略図である。
【図２】本発明に係る撮像装置の第１の実施の形態における構成を示すブロック図である。
【図３】第１の実施の形態におけるホワイトバランス補正の一連の処理のフローを示すフロー図である。
【図４】本発明に係る撮像装置の第１の実施の形態における撮像信号が格子状のブロックに分割された模式図と、該模式図における被写体領域と背景領域を説明する説明図である。
【図５】図４の模式図における被写体領域ブロック中央画素及び背景領域ブロック中央画素を説明する説明図である。
【図６】補間によるＷＢ補正係数の算出方法の説明図である。
【図７】図４の模式図における領域１２を説明する説明図である。
【図８】図４の模式図における領域１３、１４、１５、１６を説明する説明図ある。
【図９】第２の実施の形態におけるホワイトバランス補正の一連の処理のフローを示すフロー図である。
【図１０】Ｇ／Ｒ−Ｇ／Ｂ座標における白抽出範囲を示すグラフである。
【図１１】図１０における日向領域の白抽出範囲を示すグラフである。
【図１２】図１０における日陰領域の白抽出範囲を示すグラフである。
【図１３】本発明に係る撮像装置の第２の実施の形態における撮像信号が格子状のブロックに分割された模式図と、該模式図における日向領域と日陰領域を説明する説明図である。
【符号の説明】
【０１０２】
１ 被写体領域
２ 背景領域
３ 被写体領域注目画素
４ 背景領域注目画素
５ 日陰領域
６ 日向領域
１２、１３、１４、１５、１６ 領域
【特許請求の範囲】
【請求項１】
光学系から入射した光を電気信号に変換して撮像信号として出力する撮像素子と、
測距対象との距離情報を取得する距離情報取得手段と、
前記撮像信号からホワイトバランス評価値を抽出するホワイトバランス評価値取得手段とを備える撮像装置において、
前記距離情報と色差情報とに基づき、前記撮像信号を複数の領域に分割する領域分割手段と、
当該分割された領域毎のホワイトバランス評価値に基づいて領域毎のホワイトバランス補正係数を算出する補正係数算出手段と、
当該分割された領域毎に前記ホワイトバランス補正係数を設定するホワイトバランス演算手段とを備えることを特徴とする撮像装置。
【請求項２】
前記領域分割手段は、前記撮像信号の距離情報と、色情報と、輝度情報とから、高輝度領域と低輝度領域とに分割し、
前記高輝度領域および前記低輝度領域の夫々に対して、領域毎に白抽出範囲を変えて白抽出を行う白抽出手段を備え、
前記補正係数算出手段は、前記白抽出手段によって得られた白抽出結果と、当該分割された領域毎のホワイトバランス評価値とに基づいて領域毎のホワイトバランス用の補正係数を算出することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記白抽出手段は、
前記高輝度領域において、当該高輝度領域のホワイトバランス評価値と、高輝度領域用白抽出範囲とを基に白抽出を行い、
前記低輝度領域において、当該低輝度領域のホワイトバランス評価値と、低輝度領域用白抽出範囲とを基に白抽出を行うことを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記白抽出手段は、前記高輝度領域および前記低輝度領域のいずれか一方の領域が存在しない場合、他方の領域において、当該他方の領域のホワイトバランス評価値と、白抽出範囲とに基づいて白抽出を行い、
該白抽出範囲は、高輝度領域用白抽出範囲と、低輝度領域用白抽出範囲とからなることを特徴とする請求項２に記載の撮像装置。
【請求項５】
前記撮像信号を複数のブロックに分割するブロック分割手段を備え、
当該分割されたブロックは、注目画素と、非注目画素とを有し、
前記ホワイトバランス演算手段は、
当該分割されたブロック毎の注目画素に、前記ホワイトバランス補正係数を取得する第１補正係数取得手段と、
当該分割されたブロック毎の非注目画素に、周辺の注目画素のホワイトバランス補正係数と、当該非注目画素から前記周辺の注目画素までの距離による補間で前記ホワイトバランス補正係数を取得する第２補正係数取得手段と、を有し、
前記第１補正係数取得手段と前記第２補正係数取得手段とによって取得したホワイトバラン補正係数を画素毎に設定することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
【請求項６】
前記注目画素は、当該分割されたブロックの中央に位置する画素であることを特徴とする請求項５に記載の撮像装置。
【請求項７】
光学系から入射した光を電気信号に変換して撮像信号として出力する光電変換工程と、
測距対象との距離情報を取得する距離情報取得工程と、
前記撮像信号からホワイトバランス評価値を抽出するホワイトバランス評価値取得工程とを備える撮像方法において、
前記距離情報と色差情報とに基づき、前記撮像信号を複数の領域に分割する領域分割工程と、
当該分割された領域毎のホワイトバランス評価値に基づいて領域毎のホワイトバランス補正係数を算出する補正係数算出工程と、
当該分割された領域毎に前記ホワイトバランス補正係数を設定するホワイトバランス演算工程とを備えることを特徴とする撮像方法。
【請求項８】
前記領域分割工程は、前記撮像信号の距離情報と、色情報と、輝度情報とから、高輝度領域と低輝度領域とに分割し、
前記高輝度領域および前記低輝度領域の夫々に対して、領域毎に白抽出範囲を変えて白抽出を行う白抽出工程を備え、
前記補正係数算出工程は、前記白抽出工程によって得られた白抽出結果と、当該分割された領域毎のホワイトバランス評価値とに基づいて領域毎のホワイトバランス用の補正係数を算出することを特徴とする請求項７に記載の撮像方法。
【請求項９】
前記白抽出工程は、
前記高輝度領域において、当該高輝度領域のホワイトバランス評価値と、高輝度領域用白抽出範囲とを基に白抽出を行い、
前記低輝度領域において、当該低輝度領域のホワイトバランス評価値と、低輝度領域用白抽出範囲とを基に白抽出を行うことを特徴とする請求項８に記載の撮像方法。
【請求項１０】
前記白抽出工程は、前記高輝度領域および前記低輝度領域のいずれか一方の領域が存在しない場合、他方の領域において、当該他方の領域のホワイトバランス評価値と、白抽出範囲とに基づいて白抽出を行い、
該白抽出範囲は、高輝度領域用白抽出範囲と、低輝度領域用白抽出範囲とからなることを特徴とする請求項８に記載の撮像方法。
【請求項１１】
前記撮像信号を複数のブロックに分割するブロック分割工程を備え、
当該分割されたブロックは、注目画素と、非注目画素とを有し、
前記ホワイトバランス演算工程は、
当該分割されたブロック毎の注目画素に、前記ホワイトバランス補正係数を取得する第１補正係数取得工程と、
当該分割されたブロック毎の非注目画素に、周辺の注目画素のホワイトバランス補正係数と、当該非注目画素から前記周辺の注目画素までの距離による補間で前記ホワイトバランス補正係数を取得する第２補正係数取得工程と、を有し、
前記第１補正係数取得工程と前記第２補正係数取得工程とによって取得したホワイトバラン補正係数を画素毎に設定することを特徴とする請求項７乃至１０のいずれか１項に記載の撮像方法。
【請求項１２】
前記注目画素は、当該分割されたブロックの中央に位置する画素であることを特徴とする請求項１１に記載の撮像装置。
【請求項１３】
光学系から入射した光を電気信号に変換して撮像信号として出力する光電変換処理と、
測距対象との距離情報を取得する距離情報取得処理と、
前記撮像信号からホワイトバランス評価値を抽出するホワイトバランス評価値取得処理とをコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
前記距離情報と色差情報とに基づき、前記撮像信号を複数の領域に分割する領域分割処理と、
当該分割された領域毎のホワイトバランス評価値に基づいて領域毎のホワイトバランス補正係数を算出する補正係数算出処理と、
当該分割された領域毎に前記ホワイトバランス補正係数を設定するホワイトバランス演算処理とを備えることを特徴とするコンピュータ読み取り可能な記録媒体。
【請求項１４】
前記領域分割処理は、前記撮像信号の距離情報と、色情報と、輝度情報とから、高輝度領域と低輝度領域とに分割し、
前記高輝度領域および前記低輝度領域の夫々に対して、領域毎に白抽出範囲を変えて白抽出を行う白抽出処理を備え、
前記補正係数算出処理は、前記白抽出処理によって得られた白抽出結果と、当該分割された領域毎のホワイトバランス評価値とに基づいて領域毎のホワイトバランス用の補正係数を算出することを特徴とする請求項１３に記載のコンピュータ読み取り可能な記録媒体。
【請求項１５】
前記白抽出処理は、
前記高輝度領域において、当該高輝度領域のホワイトバランス評価値と、高輝度領域用白抽出範囲とを基に白抽出を行い、
前記低輝度領域において、当該低輝度領域のホワイトバランス評価値と、低輝度領域用白抽出範囲とを基に白抽出を行うことを特徴とする請求項１４に記載のコンピュータ読み取り可能な記録媒体。
【請求項１６】
前記白抽出処理は、前記高輝度領域および前記低輝度領域のいずれか一方の領域が存在しない場合、他方の領域において、当該他方の領域のホワイトバランス評価値と、白抽出範囲とに基づいて白抽出を行い、
該白抽出範囲は、高輝度領域用白抽出範囲と、低輝度領域用白抽出範囲とからなることを特徴とする請求項１４に記載のコンピュータ読み取り可能な記録媒体。
【請求項１７】
前記撮像信号を複数のブロックに分割するブロック分割処理を備え、
当該分割されたブロックは、注目画素と、非注目画素とを有し、
前記ホワイトバランス演算処理は、
当該分割されたブロック毎の注目画素に、前記ホワイトバランス補正係数を取得する第１補正係数取得処理と、
当該分割されたブロック毎の非注目画素に、周辺の注目画素のホワイトバランス補正係数と、当該非注目画素から前記周辺の注目画素までの距離による補間で前記ホワイトバランス補正係数を取得する第２補正係数取得処理と、を有し、
前記第１補正係数取得処理と前記第２補正係数取得処理とによって取得したホワイトバラン補正係数を画素毎に設定することを特徴とする請求項１３乃至１６のいずれか１項に記載のコンピュータ読み取り可能な記録媒体。
【請求項１８】
前記注目画素は、当該分割されたブロックの中央に位置する画素であることを特徴とする請求項１７に記載のコンピュータ読み取り可能な記録媒体。
【請求項１】
光学系から入射した光を電気信号に変換して撮像信号として出力する撮像素子と、
測距対象との距離情報を取得する距離情報取得手段と、
前記撮像信号からホワイトバランス評価値を抽出するホワイトバランス評価値取得手段とを備える撮像装置において、
前記距離情報と色差情報とに基づき、前記撮像信号を複数の領域に分割する領域分割手段と、
当該分割された領域毎のホワイトバランス評価値に基づいて領域毎のホワイトバランス補正係数を算出する補正係数算出手段と、
当該分割された領域毎に前記ホワイトバランス補正係数を設定するホワイトバランス演算手段とを備えることを特徴とする撮像装置。
【請求項２】
前記領域分割手段は、前記撮像信号の距離情報と、色情報と、輝度情報とから、高輝度領域と低輝度領域とに分割し、
前記高輝度領域および前記低輝度領域の夫々に対して、領域毎に白抽出範囲を変えて白抽出を行う白抽出手段を備え、
前記補正係数算出手段は、前記白抽出手段によって得られた白抽出結果と、当該分割された領域毎のホワイトバランス評価値とに基づいて領域毎のホワイトバランス用の補正係数を算出することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記白抽出手段は、
前記高輝度領域において、当該高輝度領域のホワイトバランス評価値と、高輝度領域用白抽出範囲とを基に白抽出を行い、
前記低輝度領域において、当該低輝度領域のホワイトバランス評価値と、低輝度領域用白抽出範囲とを基に白抽出を行うことを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記白抽出手段は、前記高輝度領域および前記低輝度領域のいずれか一方の領域が存在しない場合、他方の領域において、当該他方の領域のホワイトバランス評価値と、白抽出範囲とに基づいて白抽出を行い、
該白抽出範囲は、高輝度領域用白抽出範囲と、低輝度領域用白抽出範囲とからなることを特徴とする請求項２に記載の撮像装置。
【請求項５】
前記撮像信号を複数のブロックに分割するブロック分割手段を備え、
当該分割されたブロックは、注目画素と、非注目画素とを有し、
前記ホワイトバランス演算手段は、
当該分割されたブロック毎の注目画素に、前記ホワイトバランス補正係数を取得する第１補正係数取得手段と、
当該分割されたブロック毎の非注目画素に、周辺の注目画素のホワイトバランス補正係数と、当該非注目画素から前記周辺の注目画素までの距離による補間で前記ホワイトバランス補正係数を取得する第２補正係数取得手段と、を有し、
前記第１補正係数取得手段と前記第２補正係数取得手段とによって取得したホワイトバラン補正係数を画素毎に設定することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
【請求項６】
前記注目画素は、当該分割されたブロックの中央に位置する画素であることを特徴とする請求項５に記載の撮像装置。
【請求項７】
光学系から入射した光を電気信号に変換して撮像信号として出力する光電変換工程と、
測距対象との距離情報を取得する距離情報取得工程と、
前記撮像信号からホワイトバランス評価値を抽出するホワイトバランス評価値取得工程とを備える撮像方法において、
前記距離情報と色差情報とに基づき、前記撮像信号を複数の領域に分割する領域分割工程と、
当該分割された領域毎のホワイトバランス評価値に基づいて領域毎のホワイトバランス補正係数を算出する補正係数算出工程と、
当該分割された領域毎に前記ホワイトバランス補正係数を設定するホワイトバランス演算工程とを備えることを特徴とする撮像方法。
【請求項８】
前記領域分割工程は、前記撮像信号の距離情報と、色情報と、輝度情報とから、高輝度領域と低輝度領域とに分割し、
前記高輝度領域および前記低輝度領域の夫々に対して、領域毎に白抽出範囲を変えて白抽出を行う白抽出工程を備え、
前記補正係数算出工程は、前記白抽出工程によって得られた白抽出結果と、当該分割された領域毎のホワイトバランス評価値とに基づいて領域毎のホワイトバランス用の補正係数を算出することを特徴とする請求項７に記載の撮像方法。
【請求項９】
前記白抽出工程は、
前記高輝度領域において、当該高輝度領域のホワイトバランス評価値と、高輝度領域用白抽出範囲とを基に白抽出を行い、
前記低輝度領域において、当該低輝度領域のホワイトバランス評価値と、低輝度領域用白抽出範囲とを基に白抽出を行うことを特徴とする請求項８に記載の撮像方法。
【請求項１０】
前記白抽出工程は、前記高輝度領域および前記低輝度領域のいずれか一方の領域が存在しない場合、他方の領域において、当該他方の領域のホワイトバランス評価値と、白抽出範囲とに基づいて白抽出を行い、
該白抽出範囲は、高輝度領域用白抽出範囲と、低輝度領域用白抽出範囲とからなることを特徴とする請求項８に記載の撮像方法。
【請求項１１】
前記撮像信号を複数のブロックに分割するブロック分割工程を備え、
当該分割されたブロックは、注目画素と、非注目画素とを有し、
前記ホワイトバランス演算工程は、
当該分割されたブロック毎の注目画素に、前記ホワイトバランス補正係数を取得する第１補正係数取得工程と、
当該分割されたブロック毎の非注目画素に、周辺の注目画素のホワイトバランス補正係数と、当該非注目画素から前記周辺の注目画素までの距離による補間で前記ホワイトバランス補正係数を取得する第２補正係数取得工程と、を有し、
前記第１補正係数取得工程と前記第２補正係数取得工程とによって取得したホワイトバラン補正係数を画素毎に設定することを特徴とする請求項７乃至１０のいずれか１項に記載の撮像方法。
【請求項１２】
前記注目画素は、当該分割されたブロックの中央に位置する画素であることを特徴とする請求項１１に記載の撮像装置。
【請求項１３】
光学系から入射した光を電気信号に変換して撮像信号として出力する光電変換処理と、
測距対象との距離情報を取得する距離情報取得処理と、
前記撮像信号からホワイトバランス評価値を抽出するホワイトバランス評価値取得処理とをコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
前記距離情報と色差情報とに基づき、前記撮像信号を複数の領域に分割する領域分割処理と、
当該分割された領域毎のホワイトバランス評価値に基づいて領域毎のホワイトバランス補正係数を算出する補正係数算出処理と、
当該分割された領域毎に前記ホワイトバランス補正係数を設定するホワイトバランス演算処理とを備えることを特徴とするコンピュータ読み取り可能な記録媒体。
【請求項１４】
前記領域分割処理は、前記撮像信号の距離情報と、色情報と、輝度情報とから、高輝度領域と低輝度領域とに分割し、
前記高輝度領域および前記低輝度領域の夫々に対して、領域毎に白抽出範囲を変えて白抽出を行う白抽出処理を備え、
前記補正係数算出処理は、前記白抽出処理によって得られた白抽出結果と、当該分割された領域毎のホワイトバランス評価値とに基づいて領域毎のホワイトバランス用の補正係数を算出することを特徴とする請求項１３に記載のコンピュータ読み取り可能な記録媒体。
【請求項１５】
前記白抽出処理は、
前記高輝度領域において、当該高輝度領域のホワイトバランス評価値と、高輝度領域用白抽出範囲とを基に白抽出を行い、
前記低輝度領域において、当該低輝度領域のホワイトバランス評価値と、低輝度領域用白抽出範囲とを基に白抽出を行うことを特徴とする請求項１４に記載のコンピュータ読み取り可能な記録媒体。
【請求項１６】
前記白抽出処理は、前記高輝度領域および前記低輝度領域のいずれか一方の領域が存在しない場合、他方の領域において、当該他方の領域のホワイトバランス評価値と、白抽出範囲とに基づいて白抽出を行い、
該白抽出範囲は、高輝度領域用白抽出範囲と、低輝度領域用白抽出範囲とからなることを特徴とする請求項１４に記載のコンピュータ読み取り可能な記録媒体。
【請求項１７】
前記撮像信号を複数のブロックに分割するブロック分割処理を備え、
当該分割されたブロックは、注目画素と、非注目画素とを有し、
前記ホワイトバランス演算処理は、
当該分割されたブロック毎の注目画素に、前記ホワイトバランス補正係数を取得する第１補正係数取得処理と、
当該分割されたブロック毎の非注目画素に、周辺の注目画素のホワイトバランス補正係数と、当該非注目画素から前記周辺の注目画素までの距離による補間で前記ホワイトバランス補正係数を取得する第２補正係数取得処理と、を有し、
前記第１補正係数取得処理と前記第２補正係数取得処理とによって取得したホワイトバラン補正係数を画素毎に設定することを特徴とする請求項１３乃至１６のいずれか１項に記載のコンピュータ読み取り可能な記録媒体。
【請求項１８】
前記注目画素は、当該分割されたブロックの中央に位置する画素であることを特徴とする請求項１７に記載のコンピュータ読み取り可能な記録媒体。
【図１】
【図２】
【図３】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図４】
【図５】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図４】
【図５】
【図１１】
【図１２】
【図１３】
【公開番号】特開２００９−２１２７８７（Ｐ２００９−２１２７８７Ａ）
【公開日】平成２１年９月１７日（２００９．９．１７）
【国際特許分類】
【出願番号】特願２００８−５３３７７（Ｐ２００８−５３３７７）
【出願日】平成２０年３月４日（２００８．３．４）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
【公開日】平成２１年９月１７日（２００９．９．１７）
【国際特許分類】
【出願日】平成２０年３月４日（２００８．３．４）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
[ Back to top ]