撮像装置、撮像方法
【課題】ストロボ撮影において画面全体に色ずれを生じさせない良好なホワイトバランス補正を、通常の一枚撮影と同程度の処理時間で実行可能な撮像装置及び撮像方法を提供すること。
【解決手段】撮像手段は、発光なしのモニタリング映像を第１の撮像信号として、発光ありの映像を第２の撮像信号としてメモリに格納し、第１及び第２の撮影信号を同様の複数のブロックに分割するブロック分割手段と、当該ブロック毎に輝度信号を積算して輝度積算結果を算出する輝度信号積算手段と、第１及び第２の撮像信号のブロックの輝度積算結果において、同一の位置で演算して算出した算出値と、基準値とを比較して、領域を分割する領域分割手段と、当該領域毎のホワイトバランス評価値に基づいて領域毎のホワイトバランス用の補正係数を算出する補正係数算出手段と、当該領域毎にホワイトバランス用の補正係数を設定するホワイトバランス演算手段とを備えることを特徴とする。
【解決手段】撮像手段は、発光なしのモニタリング映像を第１の撮像信号として、発光ありの映像を第２の撮像信号としてメモリに格納し、第１及び第２の撮影信号を同様の複数のブロックに分割するブロック分割手段と、当該ブロック毎に輝度信号を積算して輝度積算結果を算出する輝度信号積算手段と、第１及び第２の撮像信号のブロックの輝度積算結果において、同一の位置で演算して算出した算出値と、基準値とを比較して、領域を分割する領域分割手段と、当該領域毎のホワイトバランス評価値に基づいて領域毎のホワイトバランス用の補正係数を算出する補正係数算出手段と、当該領域毎にホワイトバランス用の補正係数を設定するホワイトバランス演算手段とを備えることを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ストロボホワイトバランス制御を行う技術を備える撮像装置及び撮像方法、並びにコンピュータ読み取り可能な記録媒体に関するものである。
【背景技術】
【０００２】
従来、ストロボを発光させて撮影した画像に対して、本来は白いものであろう被写体に対して白くなるようなホワイトバランスを画面全体にかけるといったものが広く用いられているが、カメラから近い距離に位置するエリアにおいてはストロボ光の影響を強く受け、またカメラから遠い距離に位置するエリアにおいてはストロボ光の影響が少なく外光の影響を強く受ける。そのため、ストロボ光に合わせたホワイトバランスゲインを画面全体にかけた場合、外光の影響が強いエリアに対しては最適なホワイトバランスをかけることができない。また、逆に外光に合わせたホワイトバランスゲインを画面全体にかけた場合、ストロボ光の影響が強いエリアに対しては最適なホワイトバランスをかけることができない。従って、両方のエリアが存在するシーンにおいては画面全体に最適なホワイトバランスをかけることが難しいといった問題がある。
【０００３】
上記問題を解決するため、ストロボを発光させた画像と発光させない画像とで比較し領域分割を行い、領域毎にホワイトバランスを掛けることで画面全体に対して色ずれ生じさせないものがある。（例えば特許文献１）
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述の従来の技術によれば、ブロック毎にホワイトバランスゲインを設定しているためブロックの境界で不自然な色ずれが発生し、また、ストロボ発光ありとなしの撮影画像を必要とするため、２枚の撮像画像を格納するためのメモリが必要になるといった問題、および撮影に要する処理時間が増えるといった問題がある。
本発明は上記のような実情に鑑みてなされたもので、ストロボ撮影において画面全体に色ずれを生じさせない良好なホワイトバランス補正を、通常の一枚撮影と同程度の処理時間で、且つ、少ないメモリで実行可能な撮像装置及び撮像方法、並びにコンピュータ読み取り可能な記録媒体を提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明者らは上記課題を解決するために鋭意検討を重ねた結果、少なくとも、本発明に係る撮像装置及び撮像方法、並びにコンピュータ読み取り可能な記録媒体は、具体的には下記（１）〜（９）に記載の技術的特徴を有することで上記課題が解決されることを見出し、本発明を完成するに至った。
【０００６】
（１）：光学系から入射した光を電気信号に変換して撮像信号として出力する撮像素子と、前記撮像信号をメモリに格納する撮像手段と、前記撮像信号からホワイトバランス評価値を抽出するホワイトバランス評価値取得手段と、を備える撮像装置において、前記撮像手段は、ストロボ発光なしの撮像信号を第１の撮像信号として前記メモリに格納する第１撮像機能と、ストロボ発光ありの撮像信号を第２の撮像信号として前記メモリに格納する第２撮像機能と、を有し、前記第１の撮像信号及び前記第２の撮影信号を複数のブロックに分割するブロック分割手段と、当該分割されたブロック毎に輝度信号を積算して輝度積算結果を算出する輝度信号積算手段と、前記第１の撮像信号のブロックの輝度積算結果と、前記第２の撮像信号のブロックの輝度積算結果と、において、同一の位置のブロック同士で夫々演算してストロボ光量を算出するストロボ光量算出手段と、前記ホワイトバランス評価値と、予め設定してある白検出範囲と、を基に白検出を行う白検出手段と、該白検出手段によって検出された白検出結果を基に、ホワイトバランス用の第１ホワイトバランス補正係数を算出する第１ホワイトバランス補正係数算出手段と、ストロボ光の影響が強い場合に良好なホワイトバランスとなるホワイトバランス用の第２ホワイトバランス補正係数を算出する第２ホワイトバランス補正係数算出手段と、当該分割されたブロック毎のストロボ光量に基づき、前記第１ホワイトバランス補正係数と、前記第２ホワイトバランス補正係数と、の加重平均で第３ホワイトバランス補正係数を算出する第３ホワイトバランス補正係数算出手段と、当該分割されたブロック毎に前記第３ホワイトバランス補正係数を設定するホワイトバランス演算手段と、を備えることを特徴とする撮像装置である。
【０００７】
（２）：光学系から入射した光を電気信号に変換して撮像信号として出力する撮像素子と、前記撮像信号をメモリに格納する撮像手段と、前記撮像信号からホワイトバランス評価値を抽出するホワイトバランス評価値取得手段と、を備える撮像装置において、前記撮像手段は、ストロボ発光なしの撮像信号を第１の撮像信号として前記メモリに格納する第１撮像機能と、ストロボ発光ありの撮像信号を第２の撮像信号として前記メモリに格納する第２撮像機能と、を有し、前記第１の撮像信号及び前記第２の撮影信号を複数のブロックに分割するブロック分割手段と、当該分割されたブロック毎に輝度信号を積算して輝度積算結果を算出する輝度信号積算手段と、前記第１の撮像信号のブロックの輝度積算結果と、前記第２の撮像信号のブロックの輝度積算結果と、において、同一の位置のブロック同士で夫々演算してストロボ光量を算出するストロボ光量算出手段と、前記ホワイトバランス評価値と、予め設定してある白検出範囲と、を基に白検出を行う白検出手段と、当該分割されたブロックのうち、所定の値未満のストロボ光量のブロックから、前記白検出手段によって検出された白検出結果を基に、ホワイトバランス用の補正係数を算出し、所定の値以上のストロボ光量のブロックから、前記白検出手段によって検出された白検出結果を基に、ホワイトバランス用の補正係数を算出する補正係数算出手段と、当該分割されたブロック毎にホワイトバランス用の補正係数を設定するホワイトバランス演算手段と、を備えることを特徴とする撮像装置である。
【０００８】
（３）：当該分割されたブロックが有する画素は、前記ブロック分割手段によって分割されたブロックにおいて中央に配置されたブロック中央画素と、中央に配置されていない非ブロック中央画素とからなり、前記ホワイトバランス演算手段は、前記ブロック中央画素に、領域毎に算出したホワイトバランス用の補正係数を取得して設定する第１補正係数取得手段と、前記非ブロック中央画素に、周辺のブロック中央画素の補正係数と当該非ブロック中央画素からの距離による補間でホワイトバランス用の補正係数を取得して設定する第２補正係数取得手段とを備えることを特徴とする上記（１）または（２）に記載の撮像装置である。
【０００９】
（４）：光学系から入射した光を撮像素子で電気信号に変換して撮像信号として出力する光電変換工程と、前記撮像信号をメモリに格納する撮像工程と、前記撮像信号からホワイトバランス評価値を抽出するホワイトバランス評価値取得工程と、を備える撮像方法において、前記撮像工程は、ストロボ発光なしの撮像信号を第１の撮像信号として前記メモリに格納する第１撮像工程と、ストロボ発光ありの撮像信号を第２の撮像信号として前記メモリに格納する第２撮像工程と、を有し、前記第１の撮像信号及び前記第２の撮影信号を複数のブロックに分割するブロック分割工程と、当該分割されたブロック毎に輝度信号を積算して輝度積算結果を算出する輝度信号積算工程と、前記第１の撮像信号のブロックの輝度積算結果と、前記第２の撮像信号のブロックの輝度積算結果と、において、同一の位置のブロック同士で夫々演算してストロボ光量を算出するストロボ光量算出工程と、前記ホワイトバランス評価値と、予め設定してある白検出範囲と、を基に白検出を行う白検出工程と、該白検出工程によって検出された白検出結果を基に、ホワイトバランス用の第１ホワイトバランス補正係数を算出する第１ホワイトバランス補正係数算出工程と、ストロボ光の影響が強い場合に良好なホワイトバランスとなるホワイトバランス用の第２ホワイトバランス補正係数を算出する第２ホワイトバランス補正係数算出工程と、当該分割されたブロック毎のストロボ光量に基づき、前記第１ホワイトバランス補正係数と、前記第２ホワイトバランス補正係数と、の加重平均で第３ホワイトバランス補正係数を算出する第３ホワイトバランス補正係数算出工程と、当該分割されたブロック毎に前記第３ホワイトバランス補正係数を設定するホワイトバランス演算工程と、を備えることを特徴とする撮像方法である。
【００１０】
（５）：光学系から入射した光を撮像素子で電気信号に変換して撮像信号として出力する光電変換工程と、前記撮像信号をメモリに格納する撮像工程と、前記撮像信号からホワイトバランス評価値を抽出するホワイトバランス評価値取得工程と、を備える撮像方法において、前記撮像工程は、ストロボ発光なしの撮像信号を第１の撮像信号として前記メモリに格納する第１撮像工程と、ストロボ発光ありの撮像信号を第２の撮像信号として前記メモリに格納する第２撮像工程と、を有し、前記第１の撮像信号及び前記第２の撮影信号を複数のブロックに分割するブロック分割工程と、当該分割されたブロック毎に輝度信号を積算して輝度積算結果を算出する輝度信号積算工程と、前記第１の撮像信号のブロックの輝度積算結果と、前記第２の撮像信号のブロックの輝度積算結果と、において、同一の位置のブロック同士で夫々演算してストロボ光量を算出するストロボ光量算出工程と、前記ホワイトバランス評価値と、予め設定してある白検出範囲と、を基に白検出を行う白検出工程と、当該分割されたブロックのうち、所定の値未満のストロボ光量のブロックから、前記白検出工程によって検出された白検出結果を基に、ホワイトバランス用の補正係数を算出し、所定の値以上のストロボ光量のブロックから、前記白検出工程によって検出された白検出結果を基に、ホワイトバランス用の補正係数を算出する補正係数算出工程と、当該分割されたブロック毎にホワイトバランス用の補正係数を設定するホワイトバランス演算工程と、を備えることを特徴とする撮像方法である。
【００１１】
（６）：当該分割されたブロックが有する画素は、前記ブロック分割工程によって分割されたブロックにおいて中央に配置されたブロック中央画素と、中央に配置されていない非ブロック中央画素とからなり、前記ホワイトバランス演算工程は、前記ブロック中央画素に、領域毎に算出したホワイトバランス用の補正係数を取得して設定する第１補正係数取得工程と、前記非ブロック中央画素に、周辺のブロック中央画素の補正係数と当該非ブロック中央画素からの距離による補間でホワイトバランス用の補正係数を取得して設定する第２補正係数取得工程とを備えることを特徴とする上記（４）または（５）に記載の撮像方法である。
【００１２】
（７）：画像処理機能を有する装置が備えるコンピュータに、光学系から入射した光を撮像素子で電気信号に変換して撮像信号として出力する光電変換処理と、前記撮像信号をメモリに格納する撮像処理と、前記撮像信号からホワイトバランス評価値を抽出するホワイトバランス評価値取得処理と、を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、前記撮像処理は、ストロボ発光なしの撮像信号を第１の撮像信号として前記メモリに格納する第１撮像処理と、ストロボ発光ありの撮像信号を第２の撮像信号として前記メモリに格納する第２撮像処理と、を有し、前記第１の撮像信号及び前記第２の撮影信号を複数のブロックに分割するブロック分割処理と、当該分割されたブロック毎に輝度信号を積算して輝度積算結果を算出する輝度信号積算処理と、前記第１の撮像信号のブロックの輝度積算結果と、前記第２の撮像信号のブロックの輝度積算結果と、において、同一の位置のブロック同士で夫々演算してストロボ光量を算出するストロボ光量算出処理と、前記ホワイトバランス評価値と、予め設定してある白検出範囲と、を基に白検出を行う白検出処理と、該白検出処理によって検出された白検出結果を基に、ホワイトバランス用の第１ホワイトバランス補正係数を算出する第１ホワイトバランス補正係数算出処理と、ストロボ光の影響が強い場合に良好なホワイトバランスとなるホワイトバランス用の第２ホワイトバランス補正係数を算出する第２ホワイトバランス補正係数算出処理と、当該分割されたブロック毎のストロボ光量に基づき、前記第１ホワイトバランス補正係数と、前記第２ホワイトバランス補正係数と、の加重平均で第３ホワイトバランス補正係数を算出する第３ホワイトバランス補正係数算出処理と、当該分割されたブロック毎に前記第３ホワイトバランス補正係数を設定するホワイトバランス演算処理と、を備えることを特徴とするホワイトバランス演算処理を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体である。
【００１３】
（８）：画像処理機能を有する装置が備えるコンピュータに、光学系から入射した光を撮像素子で電気信号に変換して撮像信号として出力する光電変換処理と、前記撮像信号をメモリに格納する撮像処理と、前記撮像信号からホワイトバランス評価値を抽出するホワイトバランス評価値取得処理と、を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、前記撮像処理は、ストロボ発光なしの撮像信号を第１の撮像信号として前記メモリに格納する第１撮像処理と、ストロボ発光ありの撮像信号を第２の撮像信号として前記メモリに格納する第２撮像処理と、を有し、前記第１の撮像信号及び前記第２の撮影信号を複数のブロックに分割するブロック分割処理と、当該分割されたブロック毎に輝度信号を積算して輝度積算結果を算出する輝度信号積算処理と、前記第１の撮像信号のブロックの輝度積算結果と、前記第２の撮像信号のブロックの輝度積算結果と、において、同一の位置のブロック同士で夫々演算してストロボ光量を算出するストロボ光量算出処理と、前記ホワイトバランス評価値と、予め設定してある白検出範囲と、を基に白検出を行う白検出処理と、当該分割されたブロックのうち、所定の値未満のストロボ光量のブロックから、前記白検出処理によって検出された白検出結果を基に、ホワイトバランス用の補正係数を算出し、所定の値以上のストロボ光量のブロックから、前記白検出処理によって検出された白検出結果を基に、ホワイトバランス用の補正係数を算出する補正係数算出処理と、当該分割されたブロック毎にホワイトバランス用の補正係数を設定するホワイトバランス演算処理と、を備えることを特徴とするホワイトバランス演算処理を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体である。
【００１４】
（９）：当該分割されたブロックが有する画素は、前記ブロック分割処理によって分割されたブロックにおいて中央に配置されたブロック中央画素と、中央に配置されていない非ブロック中央画素とからなり、前記ホワイトバランス演算処理は、前記ブロック中央画素に、領域毎に算出したホワイトバランス用の補正係数を取得して設定する第１補正係数取得処理と、前記非ブロック中央画素に、周辺のブロック中央画素の補正係数と当該非ブロック中央画素からの距離による補間でホワイトバランス用の補正係数を取得して設定する第２補正係数取得処理とを備えることを特徴とする上記（７）または（８）に記載のホワイトバランス演算処理を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体である。
【発明の効果】
【００１５】
本発明によれば、ストロボ撮影において画面全体に色ずれを生じさせない良好なホワイトバランス補正を、通常の一枚撮影と同程度の処理時間で実行可能な撮像装置及び撮像方法、並びにコンピュータ読み取り可能な記録媒体を提供することができる。
【図面の簡単な説明】
【００１６】
【図１】本発明に係る撮像装置の第１の実施の形態であるデジタルカメラの外観を示す概略図である。
【図２】本発明に係る撮像装置の第１の実施の形態における構成を示すブロック図である。
【図３】第１の実施の形態に係るストロボＷＢ補正の一連の処理のフローを示すブロック図である。
【図４】ＡＥ制御値の一例を示す図である。
【図５】本発明に係る撮像装置の第１の実施の形態における撮像信号が格子状のブロックに分割された模式図と、該模式図におけるストロボ照射領域とストロボ非照射領域を説明する説明図である。
【図６】図５の模式図におけるストロボ照射領域ブロック中央画素及びストロボ非照射領域ブロック中央画素を説明する説明図である。
【図７】補間によるＷＢ補正係数の算出方法の説明図である。
【図８】図５の模式図における領域１２を説明する説明図である。
【図９】図５の模式図における領域１３、１４、１５、１６を説明する説明図ある。
【図１０】本発明に係る撮像装置の第２の実施の形態におけるストロボＷＢ補正の一連の処理のフロー図である。
【図１１】ガンマ特性を示すグラフである。
【図１２】本発明に係る撮像装置の第３の実施の形態におけるストロボＷＢ補正の一連の処理のフロー図である。
【図１３】本発明に係る撮像装置の第４の実施の形態におけるストロボＷＢ補正の一連の処理のフロー図である。
【図１４】本発明に係る撮像装置の第５の実施の形態におけるストロボＷＢ補正の一連の処理のフロー図である。
【発明を実施するための形態】
【００１７】
次に図面を用いて本発明に係る撮像装置の基本的な構成についてさらに詳細に説明する。
尚、以下に述べる実施の形態は本発明の好適な実施の形態であるから、技術的に好ましい種々の限定が付されているが、本発明の範囲は以下の説明において特に本発明を限定する旨の記載がない限りこれらの態様に限られるものではない。ただし、第１の実施の形態は本発明の範囲に属しない参考例としての例である。
【００１８】
〔第１の実施の形態〕
（デジタルカメラの外観構成）
図１は本発明に係る撮像装置の第１の実施の形態であるデジタルカメラの外観を示す概略図である。
図１に示すように、本実施の形態に係るデジタルカメラの上面側には、レリーズボタン（シャッタボタン）、電源ボタン、撮影・再生切替ダイアルが設けられており、デジタルカメラの正面（前面）側には、撮影レンズ系を有する鏡胴ユニット、ストロボ発光部、光学ファインダが設けられている。
【００１９】
デジタルカメラの背面側には、液晶モニタ（ＬＣＤ）、前記光学ファインダの接眼レンズ部、広角側ズーム（Ｗ）スイッチ、望遠側ズーム（Ｔ）スイッチ、メニュー（ＭＥＮＵ）ボタン、確定ボタン（ＯＫボタン）等が設けられている。また、デジタルカメラの側面内部には、撮影した画像データを保存するためのメモリカードを収納するメモリカード収納部が設けられている。
【００２０】
（デジタルカメラのシステム構成）
図２は、本発明に係る撮像装置の第１の実施の形態であるデジタルカメラの構成を示すブロック図である。
図２に示すように、このデジタルカメラ内には、鏡胴ユニットに設置した撮影レンズ系（光学系）を通して入射される被写体画像が受光面上に結像する固体撮像素子としてのＣＣＤ、ＣＣＤから出力される電気信号（アナログＲＧＢ画像信号）をデジタル信号（撮像信号）に処理するアナログフロントエンド部（ＡＦＥ部）、ＡＦＥ部から出力されるデジタル信号を処理する信号処理部、データを一時的に格納するＳＤＲＡＭ（メモリ）、制御プログラム等が記憶されたＲＯＭ、モータドライバ等が設けられている。
【００２１】
鏡胴ユニットは、ズームレンズやフォーカスレンズ等を有する撮影レンズ系、絞りユニット、メカシャッタユニットを備えており、撮影レンズ系、絞りユニット、メカシャッタユニットの各駆動ユニット（不図示）は、モータドライバによって駆動される。モータドライバは、信号処理部の制御部（ＣＰＵ）からの駆動信号により駆動制御される。
【００２２】
ＣＣＤは、ＣＣＤを構成する複数の画素上に色分解フィルタとしてのＲＧＢ原色フィルタが配置されており、ＲＧＢ３原色に対応した電気信号（アナログＲＧＢ画像信号）が出力される。
【００２３】
ＡＦＥ部は、ＣＣＤを駆動するＴＧ（タイミング信号発生部）、ＣＣＤから出力される電気信号（アナログＲＧＢ画像信号）をサンプリングするＣＤＳ（相関２重サンプリング部）、ＣＤＳにてサンプリングされた画像信号のゲインを調整するＡＧＣ（アナログ利得制御部）、ＡＧＣでゲイン調整された画像信号をデジタル信号（ＲＡＷ−ＲＧＢデータ）に変換するＡ／Ｄを備えている。
【００２４】
信号処理部は、ＡＦＥ部のＴＧへ画面水平同期信号（ＨＤ）と画面垂直同期信号（ＶＤ）の出力を行い、これらの同期信号に合わせて、ＡＦＥ部のＡ／Ｄから出力されるＲＡＷ−ＲＧＢデータを取り込むＣＣＤインターフェース（ＣＣＤＩ／Ｆ）と、ＳＤＲＡＭを制御するメモリコントローラと、取り込んだＲＡＷ−ＲＧＢデータを表示や記録が可能なＹＵＶ形式の画像データに変換するＹＵＶ変換部と、表示や記録される画像データのサイズに合わせて画像サイズを変更するリサイズ処理部と、画像データの表示出力を制御する表示出力制御部と、画像データをＪＰＥＧ形成などで記録するためのデータ圧縮部と、画像データをメモリカードへ書き込み、又はメモリカードに書き込まれた画像データを読み出すメディアインターフェース（メディアＩ／Ｆ）と、操作部からの操作入力情報に基づき、ＲＯＭに記憶された制御プログラムに基づいてデジタルカメラ全体のシステム制御等を行う制御部（ＣＰＵ）を備えている。
尚、ＣＣＤＩ／Ｆの一部は、本発明における撮像手段として機能する。
【００２５】
操作部は、デジタルカメラ（図１参照）の外観表面に設けられているレリーズボタン、電源ボタン、撮影・再生切替ダイアル、広角側ズームスイッチ、望遠側ズームスイッチ、メニューボタン、確定ボタン等であり、撮影者の操作によって所定の動作指示信号が制御部に入力される。
【００２６】
ＳＤＲＡＭには、ＣＣＤＩ／Ｆに取り込まれたＲＡＷ−ＲＧＢデータが保存されると共に、ＹＵＶ変換部で変換処理されたＹＵＶデータ（ＹＵＶ形式の画像データ）が保存され、更に、データ圧縮部で圧縮処理されたＪＰＥＧ形成などの画像データが保存される。
【００２７】
なお、前記ＹＵＶデータのＹＵＶは、輝度データ（Ｙ）と、色差（輝度データと青色（Ｂ）成分データの差分（Ｕ）と、輝度データと赤色（Ｒ）成分データの差分（Ｖ））の情報で色を表現する形式である。
【００２８】
（デジタルカメラのモニタリング動作、静止画撮影動作）
次に、前記したデジタルカメラのモニタリング動作と静止画撮影動作について説明する。このデジタルカメラは、静止画撮影モード時には、以下に説明するようなモニタリング動作を実行しながら静止画撮影動作が行われる。
【００２９】
先ず、撮影者が電源ボタンをＯＮし、撮影・再生切替ダイアルを撮影モード（静止画撮影モード）に設定することで、デジタルカメラが記録モードで起動する。電源ボタンがＯＮされて、撮影・再生切替ダイアルが撮影モードに設定されたことを制御部が検知すると、制御部はモータドライバに制御信号を出力して、鏡胴ユニットを撮影可能位置に移動させ、かつ、ＣＣＤ、ＡＦＥ部、信号処理部、ＳＤＲＡＭ、ＲＯＭ、液晶モニタ等を起動させる。
【００３０】
そして、鏡胴ユニットの撮影レンズ系を被写体に向けることにより、撮影レンズ系を通して入射される被写体画像がＣＣＤの各画素の受光面上に結像する。そして、ＣＣＤから出力される被写体画像に応じた電気信号（アナログＲＧＢ画像信号）は、ＣＤＳ、ＡＧＣを介してＡ／Ｄに入力され、Ａ／Ｄにより１２ビット（ｂｉｔ）のＲＡＷ−ＲＧＢデータに変換する。
【００３１】
このＲＡＷ−ＲＧＢデータ（第１の撮像信号）は、信号処理部のＣＣＤＩ／Ｆに取り込まれて（第１撮像機能）メモリコントローラを介してＳＤＲＡＭに保存される。そして、ＳＤＲＡＭから読み出されたＲＡＷ−ＲＧＢデータは、ＹＵＶ変換部に入力されて表示可能な形式であるＹＵＶデータ（ＹＵＶ信号）に変換された後に、メモリコントローラを介してＳＤＲＡＭにＹＵＶデータが保存される。
【００３２】
そして、ＳＤＲＡＭからメモリコントローラを介して読み出したＹＵＶデータは、表示出力制御部を介して液晶モニタ（ＬＣＤ）へ送られ、撮影画像（動画）が表示される。前記した液晶モニタ（ＬＣＤ）に撮影画像を表示しているモニタリング時においては、ＣＣＤＩ／Ｆによる画素数の間引き処理により１／３０秒の時間で１フレームを読み出している。
【００３３】
なお、このモニタリング動作時は、電子ファインダとして機能する液晶モニタ（ＬＣＤ）に撮影画像（動画）が表示されているだけで、まだレリーズボタンが押圧（半押も含む）操作されていない状態である。
【００３４】
この撮影画像の液晶モニタ（ＬＣＤ）への表示によって、静止画を撮影するための構図の確認等をすることができる。なお、表示出力制御部からＴＶビデオ信号として出力して、ビデオケーブルを介して外部のＴＶ（テレビ）に撮影画像（動画）を表示することもできる。
【００３５】
そして、信号処理部のＣＣＤＩ／Ｆは、取り込まれたＲＡＷ−ＲＧＢデータより、ＡＦ（自動合焦）評価値、ＡＥ（自動露出）評価値、ＡＷＢ（オートホワイトバランス）評価値を算出する。
尚、本発明において、ホワイトバランス評価値とは、ＡＷＢ評価値であり、輝度積算結果とはＡＥ評価値であって、ホワイトバランス評価値取得手段と輝度信号積算手段とは、それぞれ信号処理部のＣＣＤＩ／Ｆの一部である。
【００３６】
ＡＦ評価値は、例えば高周波成分抽出フィルタの出力積分値や、近接画素の輝度差の積分値によって算出される。合焦状態にあるときは、被写体のエッジ部分がはっきりとしているため、高周波成分が一番高くなる。これを利用して、ＡＦ動作時（合焦検出動作時）には、撮影レンズ系内の各フォーカスレンズ位置におけるＡＦ評価値を取得して、その極大になる点を合焦検出位置としてＡＦ動作が実行される。
【００３７】
ＡＥ評価値とＡＷＢ評価値は、ＲＡＷ−ＲＧＢデータにおけるＲＧＢ値のそれぞれの積分値から算出される。例えば、ブロック分割手段である信号処理部のＣＣＤＩ／Ｆの一部である検波回路によってＣＣＤの全画素の受光面に対応した画面を２５６エリア（ブロック）に等分割（水平１６分割、垂直１６分割）された後、それぞれのエリア（ブロック）のＲＧＢ積算値がＣＣＤＩ／Ｆによって算出される。
【００３８】
そして制御部は、算出されたＲＧＢ積算値を読み出し、ＡＥ処理では、画面のそれぞれのエリア（ブロック）の輝度を算出して、輝度分布から適正な露光量を決定する。決定した露光量に基づいて、露光条件（ＣＣＤの電子シャッタ回数、絞りユニットの絞り値、ＮＤフィルタの出し入れ等）を設定する。また、ＡＷＢ処理では、ＲＧＢの分布から被写体の光源の色に合わせたＡＷＢの制御値を決定する。このＡＷＢ処理により、ＹＵＶ変換部でＹＵＶデータに変換処理するときのホワイトバランスを合わせる。なお、前記したＡＥ処理とＡＷＢ処理は、前記モニタリング時には連続的に行われている。
【００３９】
そして、前記したモニタリング動作時に、レリーズボタンが押圧（半押しから全押し）操作される静止画撮影動作が開始されると、合焦位置検出動作であるＡＦ動作と静止画記録処理が行われる。
【００４０】
即ち、レリーズボタンが押圧（半押しから全押し）操作されると、制御部からモータドライバへの駆動指令により撮影レンズ系のフォーカスレンズが移動し、例えば、いわゆる山登りＡＦと称されるコントラスト評価方式のＡＦ動作が実行される。
【００４１】
いわゆる山登りＡＦとは、ＡＦ（合焦）対象範囲が無限から至近までの全領域であった場合、撮影レンズ系のフォーカスレンズは、至近から無限、又は無限から至近までの間の各フォーカス位置に移動し、ＣＣＤＩ／Ｆで算出されている各フォーカス位置における前記ＡＦ評価値を制御部が読み出す。そして、各フォーカス位置のＡＦ評価値が極大になる点を合焦位置としてフォーカスレンズを合焦位置に移動させ、合焦させる。
【００４２】
そして、前記したＡＥ処理が行われ、露光完了時点で、制御部からモータドライバへの駆動指令によりメカシャッタユニットが閉じられ、ＣＣＤから静止画用のアナログＲＧＢ画像信号が出力される。そして、前記モニタリング時と同様に、ＡＦＥ部のＡ／Ｄ変換部によりＲＡＷ−ＲＧＢデータに変換される。
【００４３】
そして、このＲＡＷ−ＲＧＢデータ（第２の撮像信号）は、信号処理部のＣＣＤＩ／Ｆに取り込まれ（第２撮像機能）、ＹＵＶ変換部でＹＵＶデータに変換されて、メモリコントローラを介してＳＤＲＡＭに保存される。そして、このＹＵＶデータはＳＤＲＡＭから読み出されて、リサイズ処理部で記録画素数に対応するサイズに変換され、データ圧縮部でＪＰＥＧ形式等の画像データへと圧縮される。圧縮されたＪＰＥＧ形式等の画像データは、ＳＤＲＡＭに書き戻された後にメモリコントローラを介してＳＤＲＡＭから読み出され、メディアＩ／Ｆを介してメモリカードに保存される。
【００４４】
次に、本発明の特徴となる撮像動作（第２撮像機能の作動開始時以降の動作）について説明する。
図３は第１の実施の形態におけるストロボＷＢ補正の一連の処理をフローにしたものである。
最初に、ストロボ発光による撮影時のＲＡＷ−ＲＧＢがＳＤＲＡＭに格納される（Ｓ１）。ストロボ発光量は本発光前のプリ発光によって得られた対象物からの反射光をＣＣＤで検出することで調節している。
【００４５】
ＳＤＲＡＭに格納されたＲＡＷ−ＲＧＢは、ブロック分割手段である信号処理部のＣＣＤＩ／Ｆの一部である検波回路によって水平１６×垂直１６の２５６ブロックに分割される。
また、同時に撮影時のＡＷＢ評価値（ホワイトバランス評価値）、ＡＥ評価値（輝度信号積算結果）とＡＥ制御値（シャッタースピード、絞り値、ＡＧＣのゲイン値、ＮＤフィルタ位置）が内部のＲＡＭへ格納される（Ｓ２）。ＡＷＢ評価値はブロック毎にＲ、Ｇ、Ｂそれぞれを積算し１画素あたりのＲ、Ｇ、Ｂを算出したあとＧ／Ｒ、Ｇ／Ｂという形で表される。ＡＥ評価値はブロック毎にＲ、Ｇ、Ｂそれぞれを積算し１画素あたりのＲ、Ｇ、Ｂを算出した後、以下の式の結果で表される。
【００４６】
ＡＥ評価値＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ
【００４７】
次に、撮影直前のモニタリング時の露光量と撮影時の露光量とが同じになるように、後述する算出方法で算出された露出補正係数（ｋ）を、モニタリング画像に対応したブロック毎のＡＥ評価値及び／または撮影時のブロック毎のＡＥ評価値に対して設定する（Ｓ３；露出補正係数算出手段）。撮影直前のモニタリング画像（第１の撮像信号）に対応したＡＥ評価値は、レリーズの最後のフレームから撮影時と同じ計算式にて算出されたものがＲＡＭに格納される。また、撮影時と同様にこの時のＡＥ制御値（シャッタースピード、絞り値、ＡＧＣのゲイン値、ＮＤフィルタ位置、画素加算分）も内部のＲＡＭに格納される。また、露光量を合わせる際、光量がないブロックに露出補正係数を乗算しても変化が無く、差分の大きさによって分割する分割方法では分割が難しくなる為、露光量が少ない画像の露光量に合わせるように、露光量の多い画像に露出補正係数（ｋ）を掛けることが好ましい。
【００４８】
図４に本実施の形態におけるＡＥ制御値の例を示すが、本発明におけるＡＥ制御値はこれに限定されるものではない。
各ＡＥ制御値の１ステップあたりの明るさ変化量は同じであるため、撮影時とモニタリング時それぞれの各ＡＥ制御値の加算結果から、減算によって撮影時とモニタリング時の明るさの差分（ｄｅｌｔａ Ｅｖ）を求めることができる。本実施の形態におけるＡＥ制御値の例では制御値の差が１６で１ＥＶ差、つまり明るさが２倍違うことになる。露出補正係数（ｋ）の算出方法を下記式１に示す。
【００４９】
【数１】
【００５０】
モニタリング時に水平垂直の画素を加算した結果からＡＥ評価値を算出している場合は、露出補正係数算出時に画素加算分も考慮する必要があり、露出補正係数（ｋ）の算出方法は下記式２となる。例えば、モニタリング時は水平２画素、垂直２画素を合計した結果（４画素分）がＣＣＤから読み出される場合、画素加算を行わない撮影時（１画素分）に比べて、モニタリング時は２ＥＶ（４倍）明るいことになる。
【００５１】
【数２】
【００５２】
そして、同一ブロックの撮影画像のＡＥ評価値から撮影直前のモニタリング画像のＡＥ評価値を減算し、予め設定されている基準値と比較し、基準値以上のブロックをストロボ照射領域とし基準値未満のブロックをストロボ非照射領域とする領域分割を行う（Ｓ４；領域分割手段）。
尚、本発明におけるストロボ照射領域の判定方法はＳ４の判定方法に限定されるものではなく、ストロボ発光によって充分に光が照射されているブロックを判定できる演算方法であればいかなる判定方法であっても良く、また、予め設定されている基準値は任意で設定することができる。
【００５３】
Ｓ１〜Ｓ４により、撮影時とモニタリング時で露光量が異なる場合でもストロボの影響が強いブロックを抽出することが可能となる。
【００５４】
図５はブロック単位でストロボ照射領域とストロボ非照射領域とで領域分割を行ったものである。図５の１はストロボ照射領域を表し、図５の２はストロボ非照射領域を表す。
【００５５】
次に、領域毎にそれぞれ白抽出（本発明では白検出とも称する；以下同様である。）を行う（Ｓ５；白検出手段）。白抽出は領域毎にブロック単位で取得したＡＷＢ評価値を閾値と比較して、閾値以下のブロックを白抽出ブロックとして記憶する。
【００５６】
白抽出ブロックとは、図５のような撮像画像で具体例を示すとすると、被写体である人物の画像における白い服の領域に存在する（を有する）ブロック、背景の画像における白い雲の領域に存在する（を有する）ブロック等が挙げられる。
【００５７】
ここで、本実施の形態における白抽出の処理は、抽出されるブロックのＡＷＢ評価値が所定の閾値以上であるか、所定の閾値未満であるかをもって、白抽出ブロックの判定を行っている。所定の閾値は任意で設定することができる。
尚、本発明は上述の白抽出の処理の実施の形態に限られるものではなく、被写体や背景等において白が存在するブロックを一定の基準に従い、高い信頼性をもって抽出可能であればいかなる形態であっても良い。また、本実施の形態および後述の実施の形態において、白抽出を行う範囲（白検出範囲）は、白抽出ブロックが高い信頼性をもって抽出できる任意の範囲とすることができる。
【００５８】
ストロボ照射領域及びストロボ非照射領域のいずれの領域においても白抽出ブロック数が一定基準以上である場合、ストロボ照射領域とストロボ非照射領域のそれぞれの領域毎に、各白抽出ブロックにおけるＡＷＢ評価値とＡＥ評価値とに基づき演算することで、ホワイトバランス補正係数を算出できる。
ホワイトバランス補正係数は、ＡＥ評価値が高い領域を重視するような補正係数であることが好ましく、例えば、下記式３に示すように、ＡＷＢ評価値にＡＥ評価値の重み付けを行うことで算出できる。
【００５９】
【数３】
【００６０】
また、ストロボ照射領域及びストロボ非照射領域のうち、いずれか一方の領域で白抽出ブロック数が一定基準未満の場合、当該白抽出ブロック数が一定基準未満の領域は、各ブロックにおけるＡＷＢ評価値とＡＥ評価値とに基づき演算することで、ホワイトバランス補正係数を算出できる。
ホワイトバランス補正係数は、ＡＥ評価値が高い領域を重視するような補正係数であることが好ましく、例えば、下記式４に示すように、ＡＷＢ評価値にＡＥ評価値の重み付けを行うことで算出できる。
【００６１】
【数４】
【００６２】
若しくは、ストロボ照射領域及びストロボ非照射領域のうち、いずれか一方の領域で白抽出ブロック数が一定基準未満の場合、当該白抽出ブロック数が一定基準未満の領域は、他方の白抽出ブロック数が一定基準以上の領域のホワイトバランス補正係数を使用しても良い。
【００６３】
ストロボ照射領域及びストロボ非照射領域のいずれも白抽出ブロック数が一定基準未満の場合、画面全体の各ブロックにおけるＡＷＢ評価値とＡＥ評価値とに基づき演算することで、ホワイトバランス係数を算出できる。
ホワイトバランス補正係数は、ＡＥ評価値が高い領域を重視するような補正係数であることが好ましく、例えば、下記式５に示すように、ＡＷＢ評価値にＡＥ評価値の重み付けを行うことで算出できる（Ｓ６；補正係数算出手段）。
【００６４】
【数５】
【００６５】
次に、ＳＤＲＡＭよりＲＡＷ−ＲＧＢを読み出し、図６のようにブロックの中央に位置する画素をブロック中央画素として、領域毎に算出したＷＢ補正係数Ｒgain、Ｂgainをそれぞれの領域に対応するブロック中央画素に設定する（Ｓ７；ホワイトバランス演算手段）。図６の３はストロボ照射領域で算出したホワイトバランス補正係数Ｒgain、Ｂgainを設定するブロック中央画素、図６の４はストロボ非照射領域に算出したホワイトバランス補正係数Ｒgain、Ｂgainを設定するブロック中央画素である。
【００６６】
非ブロック中央画素のホワイトバランス補正係数Ｒgain、Ｂgainは、当該ブロックのブロック中央画素と周辺のブロック中央画素に設定されているホワイトバランス補正係数と当該画素からの距離による補間によって求めることが好ましい（Ｓ８）。
【００６７】
図７を基に非ブロック中央画素のホワイトバランス補正係数算出方法を説明する。ホワイトバランス補正係数の算出対象とする非ブロック中央画素を１１とし周辺のブロック中央画素をＲ０、Ｒ１、Ｒ２、Ｒ３とする。Ｒ３を１で正規化しホワイトバランス補正係数の算出対象となる非ブロック中央画素の位置をｘ、ｙで表し、以下の計算式によってホワイトバランス補正係数を算出する。
【００６８】
Ｒgain＝（１−ｘ）（１−ｙ）Ｒ０＋ｘ（１−ｙ）Ｒ１＋（１−ｘ）ｙＲ２＋ｘｙＲ３
Ｂgain＝（１−ｘ）（１−ｙ）Ｂ０＋ｘ（１−ｙ）Ｂ１＋（１−ｘ）ｙＢ２＋ｘｙＢ３
【００６９】
図８の１２部分の画素のように周辺のブロック中央画素が１つしか存在しない場合は、当該ブロックのホワイトバランス補正係数を設定する。
【００７０】
図９の１３、１４、１５、１６部分の画素のように周辺のブロック中央画素が２つしか存在しない場合は、２つの補正係数と当該画素からの距離による補間によって求める。計算式を以下に示す。
【００７１】
領域１３の場合
Ｒgain＝（１−ｘ）Ｒ２＋ｘＲ３
Ｂgain＝（１−ｘ）Ｂ２＋ｘＢ３
【００７２】
領域１４の場合
Ｒgain＝（１−ｘ）Ｒ０＋ｘＲ１
Ｂgain＝（１−ｘ）Ｂ０＋ｘＢ１
【００７３】
領域１５の場合
Ｒgain＝（１−ｙ）Ｒ１＋ｙＲ３
Ｂgain＝（１−ｙ）Ｂ１＋ｙＢ３
【００７４】
領域１６の場合
Ｒgain＝（１−ｙ）Ｒ０＋ｙＲ２
Ｂgain＝（１−ｙ）Ｂ０＋ｙＢ２
【００７５】
画面全体のＲ、Ｂデータそれぞれに対して、画素毎に算出したホワイトバランス補正係数Ｒgain、Ｂgainを掛ける（Ｓ９）。
【００７６】
これにより、ストロボ照射領域とストロボ非照射領域とで照射される光源の色温度が異なる場合でもそれぞれに対して良好なホワイトバランスを掛けることができる。
【００７７】
これにより、画素間の補正係数にローパスフィルタがかかる為、ホワイトバランス補正係数が異なるそれぞれの領域が存在する画像に於いて、領域の境界で不自然なホワイトバランスが掛かることを回避することができる。
【００７８】
また、ブロック単位のＡＥ評価値の差分から領域分割を行うため、計算量を少なくすることができる。
【００７９】
また、ストロボ撮影直前のモニタリング画像を利用することで複数枚撮影することなく領域分割することができ、撮影に要する時間を短くすることができる。
【００８０】
また、領域毎にホワイトバランス補正係数を算出する為、ブロック毎または画素毎に算出する方法に比べてホワイトバランス補正係数の算出に要する計算量を少なくすることができる。
【００８１】
本実施の形態では撮影画像及びモニタリング画像に対して水平１６×垂直１６のブロックで分割したが、任意の分割数で分割しても良い。その場合は領域分割の際、撮影画像とモニタリング画像における同一ブロック毎に、ＡＥ評価値からストロボ照射領域かストロボ非照射領域かの判別を行うため、撮影画像とモニタリング画像の分割数を合わせる必要がある。また、分割は格子状であることが好ましいが、撮影画像とモニタリング画像とにおいて対応するブロックが同一形状であればいかなる形状に分割しても良い。このことは、後述する実施の形態においても同様である。
【００８２】
〔第２の実施の形態〕
第１の実施の形態ではブロック単位でストロボ照射領域とストロボ非照射領域に分割し、それぞれの領域毎にホワイトバランス補正係数を算出するのに対し、本実施の形態では、ブロック毎にストロボ光量を算出しブロック毎にストロボ光量の割合に応じたホワイトバランス補正係数を算出する。
【００８３】
図１０は本発明に係る撮像装置の第２の実施の形態のストロボＷＢ補正の一連の処理をフローにしたものである。
最初に、ストロボ発光による撮影時のＲＡＷ−ＲＧＢがＳＤＲＡＭに格納される（Ｓ１）。ストロボ発光量は本発光前のプリ発光によって得られた対象物からの反射光をＣＣＤで検出することで調節している。
ＳＤＲＡＭに格納されたＲＡＷ−ＲＧＢは、ブロック分割手段である信号処理部のＣＣＤＩ／Ｆの一部である検波回路によって水平１６×垂直１６の２５６ブロックに分割される。
また、同時に撮影時のＡＷＢ評価値（ホワイトバランス評価値）、ＡＥ評価値（輝度信号積算結果）とＡＥ制御値（シャッタースピード、絞り値、ＡＧＣのゲイン値、ＮＤフィルタ位置）が内部のＲＡＭへ格納される（Ｓ２）。ＡＷＢ評価値はブロック毎にＲ、Ｇ、Ｂそれぞれを積算し１画素あたりのＲ、Ｇ、Ｂを算出したあとＧ／Ｒ、Ｇ／Ｂという形で表される。ＡＥ評価値はブロック毎にＲ、Ｇ、Ｂそれぞれを積算し１画素あたりのＲ、Ｇ、Ｂを算出した後、以下の式の結果で表される。
【００８４】
ＡＥ評価値＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ
【００８５】
次に、撮影直前のモニタリング時の露光量と撮影時の露光量とが同じになるように、後述する算出方法で算出された露出補正係数（ｋ）を、モニタリング画像に対応したブロック毎のＡＥ評価値及び／または撮影時のブロック毎のＡＥ評価値に対して設定する（Ｓ３；露出補正係数算出手段）。撮影直前のモニタリング画像（第１の撮像信号）に対応したＡＥ評価値は、レリーズの最後のフレームから撮影時と同じ計算式にて算出されたものがＲＡＭに格納される。また、撮影時と同様にこの時のＡＥ制御値（シャッタースピード、絞り値、ＡＧＣのゲイン値、ＮＤフィルタ位置、画素加算分）も内部のＲＡＭに格納される。
【００８６】
また、露光量を合わせる際、光量がないブロックに露出補正係数を乗算しても変化が無く、差分によるストロボ寄与率算出が難しくなる為、露光量が少ない画像の露光量に合わせるように、露光量の多い画像に露出補正係数（ｋ）を掛けることが好ましい。
【００８７】
また、露光量が多い画像の露光量に合わせるように、露光量の少ない画像に露出補正係数（ｋ）を掛ける場合、一定以下のＡＥ評価値ではノイズが占める割合が大きくなるため下位１ＥＶ以下のＡＥ評価値のブロックに対しては、後述する算出方法で算出した露出補正係数（ｋ）に対してＡＥ評価値に連動して線形に変化するように重み付けを行うことが好ましい。
具体的には、例えば、下記式に示すような露出補正係数（ｋ）に対してＡＥ評価値の重み付けを行う演算を用いて算出することができる。
【００８８】
ｋ’＝ｋ×（ＡＥ評価値／１ＥＶ分のＡＥ評価値）
【００８９】
更に、モニタリング画像と撮影画像とでシェーディング補正パラメータが異なる場合、モニタリング画像と撮影画像のシェーディング補正パラメータの差分を各ブロックの露出補正係数（ｋ’）に対して加味することが好ましい。
【００９０】
図４に本実施の形態におけるＡＥ制御値の例を示すが、本発明におけるＡＥ制御値はこれに限定されるものではない。
各ＡＥ制御値の１ステップあたりの明るさ変化量は同じであるため、撮影時とモニタリング時それぞれの各ＡＥ制御値の加算結果から減算によって撮影時とモニタリング時の明るさの差分（ｄｅｌｔａ Ｅｖ）を求めることができる。本実施の形態におけるＡＥ制御値の例では制御値の差が１６で１ＥＶ差、つまり明るさが２倍違うことになる。露出補正係数（ｋ）の算出方法を下記式１に示す。
【００９１】
【数６】
【００９２】
モニタリング時に水平垂直の画素を加算した結果からＡＥ評価値を算出している場合は露出補正係数算出時に画素加算分も考慮する必要があり、露出補正係数（ｋ）の算出方法は下記式２となる。例えば、モニタリング時は水平２画素、垂直２画素を合計した結果（４画素分）がＣＣＤから読み出される場合、画素加算を行わない撮影時（１画素分）に比べて、モニタリング時は２ＥＶ（４倍）明るいことになる。
【００９３】
【数７】
【００９４】
次いで、同一ブロックの撮影画像のＡＥ評価値と撮影直前のモニタリング画像のＡＥ評価値との減算によるブロック毎のストロボ光量を算出する（Ｓ４）。
尚、本発明におけるストロボ照射領域の判定方法はＳ４の判定方法に限定されるものではなく、ストロボ発光によって充分に光が照射されているブロックを判定できる演算方法であればいかなる判定方法であっても良く、また、予め設定されている基準値は任意で設定することができる。
【００９５】
Ｓ１〜Ｓ４により、撮影時とモニタリング時で露光量が異なる場合でもブロック毎のストロボ光量を算出することが可能となる。
【００９６】
さらに、各ブロックについて、外光量とストロボ光量の割合から、当該ブロックにおけるストロボ寄与率を算出する。外光量とは、露出補正後のモニタリング画像のＡＥ評価値を指す。また、各ブロックのストロボ寄与率は外光量とストロボ光量とを足したものを１００％とした場合のストロボ光量の割合を示す。
【００９７】
次に、白抽出を行う（Ｓ５；白検出手段）。白抽出は画面全体におけるブロック単位で取得したＡＷＢ評価値に対して、閾値以下のブロックを白抽出ブロックとして記憶するか、ストロボ寄与率が一定以下のブロックの中から、閾値未満のブロックを白抽出ブロックとして記憶する。
【００９８】
白抽出ブロック数が一定基準以上である場合、各白抽出ブロックにおけるＡＷＢ評価値と、ＡＥ評価値とに基づき演算することで、第１ホワイトバランス補正係数を算出できる。
第１ホワイトバランス補正係数は、ＡＥ評価値が高い領域を重視するような補正係数であることが好ましく、例えば、下記式３に示すように、ＡＷＢ評価値にＡＥ評価値の重み付けを行うことで算出できる。
【００９９】
【数８】
【０１００】
さらに、ストロボ寄与率に応じて、第１ホワイトバランス係数と、ストロボの影響が１００％時に良好なホワイトバランスに補正することができる第２ホワイトバランス係数と、に基づき演算することで、ブロック毎に第３ホワイトバランス補正係数を算出できる。
第３ホワイトバランス補正係数は、ストロボ寄与率が高いブロックが、ストロボ寄与率が低いブロックよりも第２ホワイトバランス係数を重視するような補正係数であることが好ましく、例えば、下記式６に示すように、第１ホワイトバランス係数と、第２ホワイトバランス係数との加重平均でブロック毎に算出できる。
【０１０１】
【数９】
【０１０２】
白抽出ブロック数が一定基準未満である場合、画面全体について各ブロックのＡＷＢ評価値とＡＥ評価値とに基づき演算することで、第１ホワイトバランス補正係数を算出できる。
第１ホワイトバランス補正係数は、ＡＥ評価値が高い領域を重視するような補正係数であることが好ましく、例えば、下記式４に示すように、ＡＷＢ評価値にＡＥ評価値の重み付けを行うことで算出できる。
【０１０３】
【数１０】
【０１０４】
若しくは、撮影直前のモニタリング画像で設定していたホワイトバランス補正係数を、第１ホワイトバランス補正係数とする。
【０１０５】
さらに、ストロボ寄与率に応じて、第１ホワイトバランス係数と、ストロボの影響が１００％時に良好なホワイトバランスに補正することができる第２ホワイトバランス係数と、に基づき演算することで、ブロック毎に第３ホワイトバランス補正係数を算出できる（Ｓ６）。
第３ホワイトバランス補正係数は、ストロボ寄与率が高いブロックが、ストロボ寄与率が低いブロックよりも第２ホワイトバランス係数を重視するような補正係数であることが好ましく、例えば、上記式６に示すように、第１ホワイトバランス係数と、第２ホワイトバランス係数との加重平均でブロック毎に算出できる（Ｓ６；第１〜３ホワイトバランス補正係数算出手段）。
【０１０６】
ここで、第２ホワイトバランス補正係数とは、予めストロボの影響が１００％時に良好なホワイトバランスに補正することができる補正係数として所定の値として設定しておいても良いが、ストロボを発光する際の電圧によってストロボ光の色温度の変化が大きい場合には、予め下限電圧で発光した時のＷＢと上限電圧で発光した時のＷＢとを内部データとして保持しておき、ストロボ発光時の電圧から線形補間によって第２ホワイトバランス補正係数を算出することが好ましい。
【０１０７】
次にＳＤＲＡＭよりＲＡＷ−ＲＧＢを読み出し、図６のようにブロックの中央に位置する画素をブロック中央画素としブロック毎に算出した第３ホワイトバランス補正係数Ｒgain、Ｂgainを対応するブロックの中央画素に設定する（Ｓ７；ホワイトバランス設定手段）。
【０１０８】
以降、ブロック毎のホワイトバランス補正係数の設定方法（図１０のＳ８〜Ｓ９）は第１の実施の形態の（図３のＳ８〜Ｓ９）と同様である。
【０１０９】
本実施の形態によれば、ブロック毎にストロボの影響に応じた細かいホワイトバランス補正係数を設定することができる。
また、ストロボ照射領域とストロボ非照射領域とで照射される光源の色温度が異なる場合でも、それぞれに対して良好なホワイトバランスを掛けることができる。
さらに、画素間の補正係数にローパスフィルタがかかる為、ホワイトバランス補正係数が異なるそれぞれの領域が存在する画像に於いて、領域の境界で不自然なホワイトバランスが掛かることを回避することができる。
また、ブロック単位のＡＥ評価値の差分から領域分割を行うため、計算量を少なくすることができる。
さらに、ストロボ撮影直前のモニタリング画像を利用することで複数枚撮影することなく領域分割することができ、撮影に要する時間を短くすることができる。
【０１１０】
本実施の形態では撮影画像及びモニタリング画像に対して水平１６×垂直１６のブロックで分割したが任意の分割数で分割しても良い。
【０１１１】
〔第３の実施の形態〕
第１の実施の形態では撮影時とモニタリング時の各ブロックのＡＥ評価値の差分から領域分割を行ったが、本実施の形態では画像処理（ＷＢ、ガンマ補正、色補正等）後の撮影画像と撮影直前のモニタリング画像の輝度を基に画素単位で領域分割を行う。
【０１１２】
図１２は本発明に係る撮像装置の第３の実施の形態のストロボＷＢ補正の一連の処理をフローにしたものである。
【０１１３】
最初に、ストロボ発光による撮影時のＲＡＷ−ＲＧＢとＹＵＶがＳＤＲＡＭに格納される（Ｓ１）。また、ストロボ発光量は本発光前のプリ発光によって得られた対象物からの反射光をＣＣＤで検出することで調節している。
【０１１４】
また、同時に撮影時のＡＷＢ評価値、ＡＥ制御値（シャッタースピード、絞り値、ＡＧＣのゲイン値、ＮＤフィルタ位置）が内部のＲＡＭへ格納される（Ｓ２）。
【０１１５】
次に、ＳＤＲＡＭから撮影画像を読み出しモニタリング画像と同じサイズになるようリサイズ処理を施したものをリサイズ前の撮影画像とは別のＳＤＲＡＭ領域に保存する（Ｓ３）。
【０１１６】
撮影時と撮影直前のモニタリングのＹＵＶに対してデガンマ処理を行う（Ｓ４）。撮影時と撮影直前のモニタリングのＹＵＶはガンマ補正後のデータなので、入力に対して出力が線形で変化しない。通常ガンマは低輝度から中輝度にかけて持ち上げて階調の変化を急にして、高輝度側の階調を緩やかにする特性をもっている。図１１にガンマ特性を示す。この特性のため、低輝度側での少しの変化で出力が大きく変わるため撮影画像と撮影直前のモニタリング画像の画素毎の輝度の差分で領域を分割する場合、正確なストロボの影響度を求めることができない。よって、デガンマにて線形な値に戻す処理を行う。撮影時とモニタリング時で使用するガンマテーブルが異なる場合は使用したガンマテーブルに対応するデガンマ処理を行う。
【０１１７】
次に、撮影画像と撮影直前のモニタリング画像の画素単位の輝度情報を算出する（Ｓ５）。輝度情報の算出方法を以下に示す。
【０１１８】
輝度情報＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ
【０１１９】
次に、撮影直前のモニタリング画像（第１の撮像信号）の露光量と撮影画像の露光量とが同じになるよう露出補正係数（ｋ）をモニタリング画像及び／または撮影画像の各画素の輝度情報に対して設定する（Ｓ６；露出補正係数算出手段）。露出補正係数の算出方法は第１の実施の形態と同様である。モニタリング画像はＣＣＤＩ／Ｆを通って画像処理された後ＹＵＶとして随時ＳＤＲＡＭに上書き保存される。また、撮影直前のモニタリング時のＡＥ制御値（シャッタースピード、絞り値、ＡＧＣのゲイン値、ＮＤフィルタ位置、画素加算分）は内部のＲＡＭに格納される。
【０１２０】
同一画素において、撮影画像の輝度情報からモニタリング画像の輝度情報を減算し、予め設定されている基準値と比較し、基準値以上の画素をストロボ照射領域とし基準値未満の画素をストロボ非照射領域とする領域分割を行う（Ｓ７）。さらに、画素単位の領域分割結果を基に、複数画素で構成されるブロック単位で領域を分割する（Ｓ８；領域分割手段）。
【０１２１】
図５はブロック単位でストロボ照射領域とストロボ非照射領域とで領域分割を行ったものである。図５の１はストロボ照射領域を表し、図５の２はストロボ非照射領域を表す。
【０１２２】
ブロックの分割はＡＷＢ評価値、ＡＥ評価値を算出するためのＲＧＢ積算値を取得する際に設定したものと対応付けされており、ブロックのストロボ照射領域またはストロボ非照射領域かの判別はブロック内に含まれるストロボ照射領域の画素の割合によって判別される。
【０１２３】
次に、領域毎にそれぞれ白抽出を行う（Ｓ９；白検出手段）。白抽出は領域毎にブロック単位で取得したＡＷＢ評価値に対して、閾値と比較して閾値以下のブロックを白抽出ブロックとして記憶する。
【０１２４】
ストロボ照射領域及びストロボ非照射領域のいずれの領域においても白抽出ブロック数が一定基準以上である場合、ストロボ照射領域とストロボ非照射領域のそれぞれの領域毎に、各白抽出ブロックにおけるＡＷＢ評価値とＡＥ評価値とに基づき演算することで、ホワイトバランス補正係数を算出できる。
ホワイトバランス補正係数は、ＡＥ評価値が高い領域を重視するような補正係数であることが好ましく、例えば、下記式３に示すように、ＡＷＢ評価値にＡＥ評価値の重み付けを行うことで算出できる。
【０１２５】
【数１１】
【０１２６】
また、ストロボ照射領域及びストロボ非照射領域のうち、いずれか一方の領域で白抽出ブロック数が一定基準未満の場合、当該白抽出ブロック数が一定基準未満の領域は、各ブロックにおけるＡＷＢ評価値とＡＥ評価値とに基づき演算することで、ホワイトバランス補正係数を算出できる。
ホワイトバランス補正係数は、ＡＥ評価値が高い領域を重視するような補正係数であることが好ましく、例えば、下記式４に示すように、ＡＷＢ評価値にＡＥ評価値の重み付けを行うことで算出できる。
【０１２７】
【数１２】
【０１２８】
若しくは、ストロボ照射領域及びストロボ非照射領域のうち、いずれか一方の領域で白抽出ブロック数が一定基準未満の場合、当該白抽出ブロック数が一定基準未満の領域は、他方の白抽出ブロック数が一定基準以上の領域のホワイトバランス補正係数を使用しても良い。
【０１２９】
ストロボ照射領域及びストロボ非照射領域のいずれも白抽出ブロック数が一定基準未満の場合、画面全体の各ブロックにおけるＡＷＢ評価値とＡＥ評価値とに基づき演算することで、ホワイトバランス係数を算出できる。
ホワイトバランス補正係数は、ＡＥ評価値が高い領域を重視するような補正係数であることが好ましく、例えば、下記式５に示すように、ＡＷＢ評価値にＡＥ評価値の重み付けを行うことで算出できる（Ｓ１０；補正係数算出手段）。
【０１３０】
【数１３】
【０１３１】
図６のようにブロックの中央に位置する画素をブロック中央画素とし領域毎に算出したＷＢ補正係数Ｒgain、Ｂgainをそれぞれの領域に対応するブロック中央画素に設定する（Ｓ１１；ホワイトバランス演算手段）。図６の３はストロボ照射領域で算出したホワイトラバランス補正係数Ｒgain、Ｂgainを設定するブロック中央画素、図６の４はストロボ非照射領域に算出したＲgain、Ｂgainを設定するブロック中央画素である。
【０１３２】
以降、ブロック毎のＷＢ補正係数の設定方法（図１２のＳ１２〜Ｓ１３）は第１の実施の形態（図３のＳ８〜Ｓ９）と同じである。
【０１３３】
本実施の形態によれば、ストロボ照射領域とストロボ非照射領域とで照射される光源の色温度が異なる場合でもそれぞれに対して良好なホワイトバランスを掛けることができる。
また、画素間の補正係数にローパスフィルタがかかる為、ＷＢ補正係数が異なるそれぞれの領域が存在する画像に於いて、領域の境界で不自然なホワイトバランスが掛かることを回避することができる。
さらに、ストロボ撮影直前のモニタリング画像を利用することで複数枚撮影することなく領域分割することができ、撮影に要する時間を短くすることができる。
また、領域毎にＷＢ補正係数を算出する為、ブロック毎または画素毎に算出する方法に比べＷＢ補正係数の算出に要する計算量を少なくすることができる。
さらに、ブロック内に画素単位でストロボ照射領域とストロボ非照射領域が混在する場合でもブロック内で占める画素単位の領域分割結果の割合に応じて細かくブロック毎の領域分割を行うことができる。
【０１３４】
本実施の形態では撮影画像及びモニタリング画像に対して水平１６×垂直１６のブロックで分割したが任意の分割数で分割しても良い。その場合は領域分割の際、撮影画像とモニタリング画像の同一ブロック毎にストロボ光量からストロボ照射領域かストロボ非照射領域かの判別を行うため撮影画像とモニタリング画像の分割数を合わせる必要がある。
【０１３５】
〔第４の実施の形態〕
第３の実施の形態では画素単位でストロボ照射領域とストロボ非照射領域に分割し、更にブロック内のストロボ照射領域の割合に応じてブロック単位に領域を分割した結果それぞれの領域毎にＷＢ補正係数を算出するのに対し、本実施の形態では画素毎にストロボ光量を算出し、更にブロック内のストロボ光量に応じてブロック単位に領域を分割して、ブロック毎にストロボ光量の割合に応じたＷＢ補正係数を算出する。
【０１３６】
図１３は本実施例に係るストロボＷＢ補正の一連の処理をフローにしたものである。
最初にストロボ発光による撮影時のＲＡＷ−ＲＧＢとＹＵＶがＳＤＲＡＭに格納される（Ｓ１）。また、ストロボ発光量は本発光前のプリ発光によって得られた対象物からの反射光をＣＣＤで検出することで調節している。
【０１３７】
また、同時に撮影時のＡＷＢ評価値、ＡＥ制御値（シャッタースピード、絞り値、ＡＧＣのゲイン値、ＮＤフィルタ位置）が内部のＲＡＭへ格納される（Ｓ２）。
【０１３８】
次に、ＳＤＲＡＭから撮影画像を読み出しモニタリング画像と同じサイズになるようリサイズ処理を施したものをリサイズ前の撮影画像とは別のＳＤＲＡＭ領域に保存する（Ｓ３）。
【０１３９】
撮影時と撮影直前のモニタリングのＹＵＶに対してデガンマ処理を行う（Ｓ４）。撮影時と撮影直前のモニタリングのＹＵＶはガンマ補正後のデータなので、入力に対して出力が線形で変化しない。通常ガンマは低輝度から中輝度にかけて持ち上げて階調の変化を急にして、高輝度側の階調を緩やかにする特性をもっている。図１１にガンマ特性を示す。この特性のため、低輝度側での少しの変化で出力が大きく変わるため撮影画像と撮影直前のモニタリング画像の画素毎の輝度の差分で領域を分割する場合、正確なストロボの影響度を求めることができない。よって、デガンマにて線形な値に戻す処理を行う。撮影時とモニタリング時で使用するガンマテーブルが異なる場合は使用したガンマテーブルに対応するデガンマ処理を行う。
【０１４０】
次に撮影画像と撮影直前のモニタリング画像の画素単位の輝度情報を算出する（Ｓ５）。輝度情報の算出方法を以下に示す。
【０１４１】
輝度情報＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ
【０１４２】
次に、撮影直前のモニタリング画像（第１の撮像信号）の露光量と撮影画像の露光量とが同じになるよう露出補正係数（ｋ）をモニタリング画像及び／または撮影画像の各画素の輝度情報に対して設定する（Ｓ６；露光補正係数算出手段）。露出補正係数の算出方法は第１の実施の形態と同様である。モニタリング画像はＣＣＤＩ／Ｆを通って画像処理された後ＹＵＶとして随時ＳＤＲＡＭに上書き保存される。また、撮影直前のモニタリング時のＡＥ制御値（シャッタースピード、絞り値、ＡＧＣのゲイン値、ＮＤフィルタ位置、画素加算分）は内部のＲＡＭに格納される。
【０１４３】
また、露光量を合わせる際、光量のない画素に露出補正係数を乗算しても変化が無く差分の大きさによって分割する分割方法では分割が難しくなる為、露光量が少ない画像の露光量に合わせるように、露光量の多い画像に露出補正係数（ｋ）を掛けることが好ましい。
【０１４４】
更に、モニタリング画像と撮影画像とでシェーディング補正パラメータが異なる場合、モニタリング画像と撮影画像のシェーディング補正パラメータの差分を各画素の露出補正係数に対して加味することが好ましい。
【０１４５】
次に、同一画素において、撮影画像の輝度情報とモニタリング画像の輝度情報との減算による画素単位のストロボ光量を算出する（Ｓ７）。
【０１４６】
さらに、複数画素で構成されるブロック単位で領域を分割する（Ｓ８；領域分割手段）。ブロックの分割はＡＷＢ評価値、ＡＥ評価値を算出するためのＲＧＢ積算値を取得する際に設定したものと対応付けされている。
そして、画素単位のストロボ光量を基にブロック単位のストロボ光量を算出する（Ｓ９；ストロボ光量算出手段）。
【０１４７】
各ブロックにおける外光量とストロボ光量との割合から、各ブロックのストロボ寄与率を算出する。外光量は露出補正後のモニタリング画像のＡＥ評価値を指す。各ブロックのストロボ寄与率は外光量とストロボ光量とを足したものを１００％とした場合のストロボ光量の割合を示す。
【０１４８】
次に、白抽出を行う（Ｓ１０；白検出手段）。白抽出は画面全体からブロック単位で取得したＡＷＢ評価値に対して、閾値と比較して閾値以下のブロックを白抽出ブロックとして記憶する、若しくは、ストロボ寄与率が一定以下のブロックの中から、閾値と比較して閾値以下のブロックを白抽出ブロックとして記憶する。
【０１４９】
白抽出ブロック数が一定基準以上である場合、各白抽出ブロックにおけるＡＷＢ評価値と、ＡＥ評価値とに基づき演算することで、第１ホワイトバランス補正係数を算出できる。
第１ホワイトバランス補正係数は、ＡＥ評価値が高い領域を重視するような補正係数であることが好ましく、例えば、下記式３に示すように、ＡＷＢ評価値にＡＥ評価値の重み付けを行うことで算出できる。
【０１５０】
【数１４】
【０１５１】
さらに、ストロボ寄与率に応じて、第１ホワイトバランス係数と、ストロボの影響が１００％時に良好なホワイトバランスに補正することができる第２ホワイトバランス係数と、に基づき演算することで、ブロック毎に第３ホワイトバランス補正係数を算出できる。
第３ホワイトバランス補正係数は、ストロボ寄与率が高いブロックが、ストロボ寄与率が低いブロックよりも第２ホワイトバランス係数を重視するような補正係数であることが好ましく、例えば、下記式６に示すように、第１ホワイトバランス係数と、第２ホワイトバランス係数との加重平均でブロック毎に算出できる。
【０１５２】
【数１５】
【０１５３】
白抽出ブロック数が一定基準未満である場合、画面全体について各ブロックのＡＷＢ評価値とＡＥ評価値とに基づき演算することで、第１ホワイトバランス補正係数を算出できる。
第１ホワイトバランス補正係数は、ＡＥ評価値が高い領域を重視するような補正係数であることが好ましく、例えば、下記式４に示すように、ＡＷＢ評価値にＡＥ評価値の重み付けを行うことで算出できる。
【０１５４】
【数１６】
【０１５５】
若しくは、撮影直前のモニタリング画像で設定していたホワイトバランス補正係数を、第１ホワイトバランス補正係数とする。
【０１５６】
さらに、ストロボ寄与率に応じて、第１ホワイトバランス係数と、ストロボの影響が１００％時に良好なホワイトバランスに補正することができる第２ホワイトバランス係数と、に基づき演算することで、ブロック毎に第３ホワイトバランス補正係数を算出できる（Ｓ６）。
第３ホワイトバランス補正係数は、ストロボ寄与率が高いブロックが、ストロボ寄与率が低いブロックよりも第２ホワイトバランス係数を重視するような補正係数であることが好ましく、例えば、上記式６に示すように、第１ホワイトバランス係数と、第２ホワイトバランス係数との加重平均でブロック毎に算出できる（Ｓ１１；第１〜３ホワイトバランス補正係数算出手段）。
【０１５７】
ここで、第２ホワイトバランス補正係数とは、予めストロボの影響が１００％時に良好なホワイトバランスに補正することができる補正係数として所定の値として設定しておいても良いが、ストロボを発光する際の電圧によってストロボ光の色温度の変化が大きい場合には、予め下限電圧で発光した時のＷＢと上限電圧で発光した時のＷＢとを内部データとして保持しておき、ストロボ発光時の電圧から線形補間によって第２ホワイトバランス補正係数を算出することが好ましい。
【０１５８】
次にＳＤＲＡＭよりＲＡＷ−ＲＧＢを読み出し、図６のようにブロックの中央に位置する画素をブロック中央画素としブロック毎に算出した第３ホワイトバランス補正係数Ｒgain、Ｂgainを対応するブロックの中央画素に設定する（Ｓ１２；ホワイトバランス演算手段）。
【０１５９】
以降、ブロック毎のＷＢ補正係数の設定方法（図１３のＳ１３〜Ｓ１４）は第１の実施の形態（図３のＳ８〜Ｓ９）と同じである。
【０１６０】
本実施の形態によれば、ブロック毎にストロボの影響に応じた細かいＷＢ補正係数を設定することができる。
また、ストロボ照射領域とストロボ非照射領域とで照射される光源の色温度が異なる場合でもそれぞれに対して良好なホワイトバランスを掛けることができる。
さらに、画素間の補正係数にローパスフィルタがかかる為、ＷＢ補正係数が異なるそれぞれの領域が存在する画像に於いて、領域の境界で不自然なホワイトバランスが掛かることを回避することができる。
またさらに、ストロボ撮影直前のモニタリング画像を利用することで複数枚撮影することなく領域分割することができ、撮影に要する時間を短くすることができる。
【０１６１】
本実施の形態では撮影画像及びモニタリング画像に対して水平１６×垂直１６のブロックで分割したが任意の分割数で分割しても良い。
【０１６２】
〔第５の実施の形態〕
図１４は第５の実施の形態に係るストロボＷＢ補正の一連の処理のフローを示す。
最初にストロボ発光での撮影画像（第２の撮像信号）がＹＣＣデータとしてＳＤＲＡＭに格納される（メモリ格納手段）。この時、撮影画像には直前までモニタリング画像に対して設定されていたＷＢゲイン、ガンマテーブル、色補正パラメータが適用される（Ｓ１）。また、ストロボ発光量は本発光前のプリ発光によって得られた対象物からの反射光をＣＣＤで検出することで調節している。
【０１６３】
次に、ＳＤＲＡＭから撮影画像を読み出しモニタリング画像と同じサイズになるようリサイズ処理を施したものを、リサイズ前の撮影画像とは別のＳＤＲＡＭ領域に保存する（Ｓ２）。
【０１６４】
このリサイズ後の撮影画像に対して画像全体を格子状に水平１６×垂直１６のブロックに分割し（ブロック分割手段）、ブロック毎にＹ信号の積算値を算出（輝度信号算出手段）する（Ｓ３）。
【０１６５】
さらに、撮影直前のモニタリング画像（第１の撮像信号）に対して撮影画像と同じ露出条件となるよう露出補正係数（ｋ）をモニタリング画像の各画素のＹ信号に対して設定する（Ｓ４）。モニタリング画像はＣＣＤＩ／Ｆを通って画像処理された後ＹＣＣデータとして、随時ＳＤＲＡＭに上書き保存される（メモリ格納手段）。
露出補正係数（ｋ）は下記式によって算出される。また、撮影時と撮影直前のモニタリング画像のシャッタースピード、絞り値、ＮＤフィルタ位置は同じものとする。
【０１６６】
ｋ ＝ ｓｔｉｌｌＡＧＣ／ｍｏｎＡＧＣ
【０１６７】
ここで、ｓｔｉｌｌＡＧＣは撮影画像時ＡＧＣ、ｍｏｎＡＧＣはモニタリング画像時ＡＧＣを表す。
【０１６８】
次に、ＳＤＲＡＭから露出補正後のモニタリング画像を読み出し、モニタリング画像全体を格子状に水平１６×垂直１６のブロックに分割し（ブロック分割手段）、ブロック毎にＹ信号の積算値を算出（輝度信号積算手段）する（Ｓ５）。
【０１６９】
さらに、同一ブロックの撮影画像のＹ信号積算値から、モニタリング画像のＹ信号積算値を減算して予め設定されている基準値と比較し、基準値以上のブロックをストロボ照射領域とし、基準値以下のブロックをストロボ非照射領域とする領域分割（ストロボ光量算出手段、領域分割手段）を行う（Ｓ６）。
【０１７０】
図５はブロック単位でストロボ照射領域とストロボ非照射領域とで領域分割を行ったものである。図５の１はストロボ照射領域を表し、図５の２はストロボ非照射領域を表す。
【０１７１】
次に、領域毎にＡＷＢ評価値を求める為、それぞれの領域に対応する複数のブロックのＲＧＢを積算する（Ｓ７）。
【０１７２】
さらに、領域毎にそれぞれ白抽出（白検出手段）を行う（Ｓ８）。白抽出は領域毎にブロック単位で取得したＡＷＢ評価値に対して、閾値と比較して閾値以下のブロックを白抽出ブロックとして記憶する。
【０１７３】
ここで、それぞれの領域に対して白抽出ブロック数がある一定基準以上である場合は、白抽出ブロックのＡＷＢ評価値と当該ブロックの平均輝度値の重み付けによってＷＢ補正係数を算出する。また、一定基準以上でない場合は、領域内の全ブロックのＡＷＢ評価値と当該ブロックの平均輝度値の重み付けによってＷＢ補正係数を算出するか、当該領域以外の領域で算出したＷＢ補正係数を当該領域のＷＢ補正係数とする（Ｓ９）。ここで、Ｓ９は本発明における補正係数算出手段である。
【０１７４】
各領域いずれにも一定基準を満たす白抽出ブロックが存在しない場合、画面全体における各ブロックのＡＷＢ評価値と、当該ブロックの平均輝度値の重み付けによってＷＢ補正係数を算出する。
【０１７５】
図６のようにブロックの中央に位置する画素をブロック中央画素とし、領域毎に算出したＷＢ補正係数（第１補正係数）Ｒgain、Ｂgainをそれぞれの領域に対応するブロック中央画素に設定する（Ｓ１０）。図６の領域中心に配置された白丸はストロボ照射領域で算出したＷＢ補正係数Ｒgain、Ｂgainを設定するストロボ照射領域ブロック中央画素３、図６の領域中心に配置された黒丸はストロボ非照射領域に算出したＲgain、Ｂgainを設定するストロボ非照射領域ブロック中央画素４である。
【０１７６】
非ブロック中央画素のＷＢ補正係数（第２補正係数）Ｒgain、Ｂgainは、当該ブロックのブロック中央画素と周辺のブロック中央画素に設定されているＷＢ補正係数（第１補正係数）と、当該画素からの距離による補間によって求める（Ｓ１１）。ここで、Ｓ１０及びＳ１１は本発明におけるホワイトバランス演算手段である。
【０１７７】
図７に示す補間によるＷＢ補正係数の算出方法の説明図を基に、非ブロック中央画素のＷＢ補正係数算出方法を説明する。補間によるＷＢ補正係数の算出を行うＷＢ補正係数の算出対象を非ブロック中央画素１１とし、非ブロック中央画素１１の周辺のブロック中央画素を夫々Ｒ０、Ｒ１、Ｒ２、Ｒ３とする。Ｒ３を１で正規化しＷＢ補正係数の算出対象となる非ブロック中央画素の位置をｘ、ｙで表し、以下の式によってＷＢ補正係数を算出する。
【０１７８】
Ｒgain＝（１−ｘ）（１−ｙ）Ｒ０＋ｘ（１−ｙ）Ｒ１＋（１−ｘ）ｙＲ２＋ｘｙＲ３
Ｂgain＝（１−ｘ）（１−ｙ）Ｂ０＋ｘ（１−ｙ）Ｂ１＋（１−ｘ）ｙＢ２＋ｘｙＢ３
【０１７９】
図８の１２部分の画素のように周辺のブロック中央画素が１つしか存在しない場合は、当該ブロック中央画素のＷＢ補正係数を１２部分のＷＢ補正係数（第２補正係数）として設定する。
【０１８０】
図９の１３、１４、１５、１６部分の画素のように周辺のブロック中央画素が２つしか存在しない場合は、当該２のブロック中央画素の２つの補正係数と当該画素からの距離による補間によってＷＢ補正係数（第２補正係数）を求める。計算式は以下の式に示す。
【０１８１】
領域１３の場合
Ｒgain＝（１−ｘ）Ｒ２＋ｘＲ３
Ｂgain＝（１−ｘ）Ｂ２＋ｘＢ３
【０１８２】
領域１４の場合
Ｒgain＝（１−ｘ）Ｒ０＋ｘＲ１
Ｂgain＝（１−ｘ）Ｂ０＋ｘＢ１
【０１８３】
領域１５の場合
Ｒgain＝（１−ｙ）Ｒ１＋ｙＲ３
Ｂgain＝（１−ｙ）Ｂ１＋ｙＢ３
【０１８４】
領域１６の場合
Ｒgain＝（１−ｙ）Ｒ０＋ｙＲ２
Ｂgain＝（１−ｙ）Ｂ０＋ｙＢ２
【０１８５】
画面全体のＲ、Ｂデータそれぞれに対して、画素毎に算出したＷＢ補正係数Ｒgain、Ｂgainを掛ける（Ｓ１２）。
【０１８６】
（周辺の中央画素）
また、本発明における周辺の中央画素とは、周辺に配置されている中央画素のことを指し、例えば、周辺の中央画素と第２補正係数を取得する画素とを結ぶ線分が、全ての中央画素同士を格子状に結ぶ線分と交差しないような中央画素のことを言う。
但し、中央画素と第２補正係数を取得する画素を結ぶ線分は、１のブロックの対角線の線分の長さ以下である。
【０１８７】
また、周辺の中央画素は、第２補正係数を取得する画素が、全ての中央画素同士を格子状に結ぶ線分のうちのいずれか１の線上に存在する場合は、当該線分及び中央画素同士を結ぶ線分によって構成される四角形のうち、最小の四角形を構成する４の中央画素であることが好ましい。
【０１８８】
また一方、周辺の中央画素は、第２補正係数を取得する画素が、全ての中央画素同士を格子状に結ぶ線分のうちのいずれか１の線上に存在する場合は、当該線分の両端に配置された２の中央画素であっても良い。
【０１８９】
本実施の形態によれば、ストロボ照射領域とストロボ非照射領域とで照射される光源の色温度が異なる場合でもそれぞれに対して良好なホワイトバランスを掛けることができる。また、画素間の補正係数にローパスフィルタがかかる為、ＷＢ補正係数が異なるそれぞれの領域が存在する画像に於いて、領域の境界で不自然なホワイトバランスが掛かることを回避することができる。
【０１９０】
さらに、ストロボ撮影直前のモニタリング画像を利用することで複数枚撮影することなく領域分割することができ、撮影に要する時間を短くすることができる。
【０１９１】
またさらに、領域毎にＷＢ補正係数を算出する為、ブロック毎または画素毎に算出する方法に比べＷＢ補正係数の算出に要する計算量を少なくすることができる。
【０１９２】
本実施の形態では、撮影画像及びモニタリング画像に対して水平１６×垂直１６のブロックで分割したが任意の分割数で分割しても良い。その場合は、領域分割の際に撮影画像とモニタリング画像の同一ブロック毎に、Ｙ信号の積算値からストロボ照射領域か、ストロボ非照射領域かの判別を行うため、撮影画像とモニタリング画像の分割数を合わせる必要がある。
【符号の説明】
【０１９３】
１ ストロボ照射領域
２ ストロボ非照射領域
３ ストロボ照射領域ブロック中央画素
４ ストロボ非照射領域ブロック中央画素
１２、１３、１４、１５、１６ 領域
【先行技術文献】
【特許文献】
【０１９４】
【特許文献１】特許３５６９３５２号公報
【技術分野】
【０００１】
本発明は、ストロボホワイトバランス制御を行う技術を備える撮像装置及び撮像方法、並びにコンピュータ読み取り可能な記録媒体に関するものである。
【背景技術】
【０００２】
従来、ストロボを発光させて撮影した画像に対して、本来は白いものであろう被写体に対して白くなるようなホワイトバランスを画面全体にかけるといったものが広く用いられているが、カメラから近い距離に位置するエリアにおいてはストロボ光の影響を強く受け、またカメラから遠い距離に位置するエリアにおいてはストロボ光の影響が少なく外光の影響を強く受ける。そのため、ストロボ光に合わせたホワイトバランスゲインを画面全体にかけた場合、外光の影響が強いエリアに対しては最適なホワイトバランスをかけることができない。また、逆に外光に合わせたホワイトバランスゲインを画面全体にかけた場合、ストロボ光の影響が強いエリアに対しては最適なホワイトバランスをかけることができない。従って、両方のエリアが存在するシーンにおいては画面全体に最適なホワイトバランスをかけることが難しいといった問題がある。
【０００３】
上記問題を解決するため、ストロボを発光させた画像と発光させない画像とで比較し領域分割を行い、領域毎にホワイトバランスを掛けることで画面全体に対して色ずれ生じさせないものがある。（例えば特許文献１）
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述の従来の技術によれば、ブロック毎にホワイトバランスゲインを設定しているためブロックの境界で不自然な色ずれが発生し、また、ストロボ発光ありとなしの撮影画像を必要とするため、２枚の撮像画像を格納するためのメモリが必要になるといった問題、および撮影に要する処理時間が増えるといった問題がある。
本発明は上記のような実情に鑑みてなされたもので、ストロボ撮影において画面全体に色ずれを生じさせない良好なホワイトバランス補正を、通常の一枚撮影と同程度の処理時間で、且つ、少ないメモリで実行可能な撮像装置及び撮像方法、並びにコンピュータ読み取り可能な記録媒体を提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明者らは上記課題を解決するために鋭意検討を重ねた結果、少なくとも、本発明に係る撮像装置及び撮像方法、並びにコンピュータ読み取り可能な記録媒体は、具体的には下記（１）〜（９）に記載の技術的特徴を有することで上記課題が解決されることを見出し、本発明を完成するに至った。
【０００６】
（１）：光学系から入射した光を電気信号に変換して撮像信号として出力する撮像素子と、前記撮像信号をメモリに格納する撮像手段と、前記撮像信号からホワイトバランス評価値を抽出するホワイトバランス評価値取得手段と、を備える撮像装置において、前記撮像手段は、ストロボ発光なしの撮像信号を第１の撮像信号として前記メモリに格納する第１撮像機能と、ストロボ発光ありの撮像信号を第２の撮像信号として前記メモリに格納する第２撮像機能と、を有し、前記第１の撮像信号及び前記第２の撮影信号を複数のブロックに分割するブロック分割手段と、当該分割されたブロック毎に輝度信号を積算して輝度積算結果を算出する輝度信号積算手段と、前記第１の撮像信号のブロックの輝度積算結果と、前記第２の撮像信号のブロックの輝度積算結果と、において、同一の位置のブロック同士で夫々演算してストロボ光量を算出するストロボ光量算出手段と、前記ホワイトバランス評価値と、予め設定してある白検出範囲と、を基に白検出を行う白検出手段と、該白検出手段によって検出された白検出結果を基に、ホワイトバランス用の第１ホワイトバランス補正係数を算出する第１ホワイトバランス補正係数算出手段と、ストロボ光の影響が強い場合に良好なホワイトバランスとなるホワイトバランス用の第２ホワイトバランス補正係数を算出する第２ホワイトバランス補正係数算出手段と、当該分割されたブロック毎のストロボ光量に基づき、前記第１ホワイトバランス補正係数と、前記第２ホワイトバランス補正係数と、の加重平均で第３ホワイトバランス補正係数を算出する第３ホワイトバランス補正係数算出手段と、当該分割されたブロック毎に前記第３ホワイトバランス補正係数を設定するホワイトバランス演算手段と、を備えることを特徴とする撮像装置である。
【０００７】
（２）：光学系から入射した光を電気信号に変換して撮像信号として出力する撮像素子と、前記撮像信号をメモリに格納する撮像手段と、前記撮像信号からホワイトバランス評価値を抽出するホワイトバランス評価値取得手段と、を備える撮像装置において、前記撮像手段は、ストロボ発光なしの撮像信号を第１の撮像信号として前記メモリに格納する第１撮像機能と、ストロボ発光ありの撮像信号を第２の撮像信号として前記メモリに格納する第２撮像機能と、を有し、前記第１の撮像信号及び前記第２の撮影信号を複数のブロックに分割するブロック分割手段と、当該分割されたブロック毎に輝度信号を積算して輝度積算結果を算出する輝度信号積算手段と、前記第１の撮像信号のブロックの輝度積算結果と、前記第２の撮像信号のブロックの輝度積算結果と、において、同一の位置のブロック同士で夫々演算してストロボ光量を算出するストロボ光量算出手段と、前記ホワイトバランス評価値と、予め設定してある白検出範囲と、を基に白検出を行う白検出手段と、当該分割されたブロックのうち、所定の値未満のストロボ光量のブロックから、前記白検出手段によって検出された白検出結果を基に、ホワイトバランス用の補正係数を算出し、所定の値以上のストロボ光量のブロックから、前記白検出手段によって検出された白検出結果を基に、ホワイトバランス用の補正係数を算出する補正係数算出手段と、当該分割されたブロック毎にホワイトバランス用の補正係数を設定するホワイトバランス演算手段と、を備えることを特徴とする撮像装置である。
【０００８】
（３）：当該分割されたブロックが有する画素は、前記ブロック分割手段によって分割されたブロックにおいて中央に配置されたブロック中央画素と、中央に配置されていない非ブロック中央画素とからなり、前記ホワイトバランス演算手段は、前記ブロック中央画素に、領域毎に算出したホワイトバランス用の補正係数を取得して設定する第１補正係数取得手段と、前記非ブロック中央画素に、周辺のブロック中央画素の補正係数と当該非ブロック中央画素からの距離による補間でホワイトバランス用の補正係数を取得して設定する第２補正係数取得手段とを備えることを特徴とする上記（１）または（２）に記載の撮像装置である。
【０００９】
（４）：光学系から入射した光を撮像素子で電気信号に変換して撮像信号として出力する光電変換工程と、前記撮像信号をメモリに格納する撮像工程と、前記撮像信号からホワイトバランス評価値を抽出するホワイトバランス評価値取得工程と、を備える撮像方法において、前記撮像工程は、ストロボ発光なしの撮像信号を第１の撮像信号として前記メモリに格納する第１撮像工程と、ストロボ発光ありの撮像信号を第２の撮像信号として前記メモリに格納する第２撮像工程と、を有し、前記第１の撮像信号及び前記第２の撮影信号を複数のブロックに分割するブロック分割工程と、当該分割されたブロック毎に輝度信号を積算して輝度積算結果を算出する輝度信号積算工程と、前記第１の撮像信号のブロックの輝度積算結果と、前記第２の撮像信号のブロックの輝度積算結果と、において、同一の位置のブロック同士で夫々演算してストロボ光量を算出するストロボ光量算出工程と、前記ホワイトバランス評価値と、予め設定してある白検出範囲と、を基に白検出を行う白検出工程と、該白検出工程によって検出された白検出結果を基に、ホワイトバランス用の第１ホワイトバランス補正係数を算出する第１ホワイトバランス補正係数算出工程と、ストロボ光の影響が強い場合に良好なホワイトバランスとなるホワイトバランス用の第２ホワイトバランス補正係数を算出する第２ホワイトバランス補正係数算出工程と、当該分割されたブロック毎のストロボ光量に基づき、前記第１ホワイトバランス補正係数と、前記第２ホワイトバランス補正係数と、の加重平均で第３ホワイトバランス補正係数を算出する第３ホワイトバランス補正係数算出工程と、当該分割されたブロック毎に前記第３ホワイトバランス補正係数を設定するホワイトバランス演算工程と、を備えることを特徴とする撮像方法である。
【００１０】
（５）：光学系から入射した光を撮像素子で電気信号に変換して撮像信号として出力する光電変換工程と、前記撮像信号をメモリに格納する撮像工程と、前記撮像信号からホワイトバランス評価値を抽出するホワイトバランス評価値取得工程と、を備える撮像方法において、前記撮像工程は、ストロボ発光なしの撮像信号を第１の撮像信号として前記メモリに格納する第１撮像工程と、ストロボ発光ありの撮像信号を第２の撮像信号として前記メモリに格納する第２撮像工程と、を有し、前記第１の撮像信号及び前記第２の撮影信号を複数のブロックに分割するブロック分割工程と、当該分割されたブロック毎に輝度信号を積算して輝度積算結果を算出する輝度信号積算工程と、前記第１の撮像信号のブロックの輝度積算結果と、前記第２の撮像信号のブロックの輝度積算結果と、において、同一の位置のブロック同士で夫々演算してストロボ光量を算出するストロボ光量算出工程と、前記ホワイトバランス評価値と、予め設定してある白検出範囲と、を基に白検出を行う白検出工程と、当該分割されたブロックのうち、所定の値未満のストロボ光量のブロックから、前記白検出工程によって検出された白検出結果を基に、ホワイトバランス用の補正係数を算出し、所定の値以上のストロボ光量のブロックから、前記白検出工程によって検出された白検出結果を基に、ホワイトバランス用の補正係数を算出する補正係数算出工程と、当該分割されたブロック毎にホワイトバランス用の補正係数を設定するホワイトバランス演算工程と、を備えることを特徴とする撮像方法である。
【００１１】
（６）：当該分割されたブロックが有する画素は、前記ブロック分割工程によって分割されたブロックにおいて中央に配置されたブロック中央画素と、中央に配置されていない非ブロック中央画素とからなり、前記ホワイトバランス演算工程は、前記ブロック中央画素に、領域毎に算出したホワイトバランス用の補正係数を取得して設定する第１補正係数取得工程と、前記非ブロック中央画素に、周辺のブロック中央画素の補正係数と当該非ブロック中央画素からの距離による補間でホワイトバランス用の補正係数を取得して設定する第２補正係数取得工程とを備えることを特徴とする上記（４）または（５）に記載の撮像方法である。
【００１２】
（７）：画像処理機能を有する装置が備えるコンピュータに、光学系から入射した光を撮像素子で電気信号に変換して撮像信号として出力する光電変換処理と、前記撮像信号をメモリに格納する撮像処理と、前記撮像信号からホワイトバランス評価値を抽出するホワイトバランス評価値取得処理と、を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、前記撮像処理は、ストロボ発光なしの撮像信号を第１の撮像信号として前記メモリに格納する第１撮像処理と、ストロボ発光ありの撮像信号を第２の撮像信号として前記メモリに格納する第２撮像処理と、を有し、前記第１の撮像信号及び前記第２の撮影信号を複数のブロックに分割するブロック分割処理と、当該分割されたブロック毎に輝度信号を積算して輝度積算結果を算出する輝度信号積算処理と、前記第１の撮像信号のブロックの輝度積算結果と、前記第２の撮像信号のブロックの輝度積算結果と、において、同一の位置のブロック同士で夫々演算してストロボ光量を算出するストロボ光量算出処理と、前記ホワイトバランス評価値と、予め設定してある白検出範囲と、を基に白検出を行う白検出処理と、該白検出処理によって検出された白検出結果を基に、ホワイトバランス用の第１ホワイトバランス補正係数を算出する第１ホワイトバランス補正係数算出処理と、ストロボ光の影響が強い場合に良好なホワイトバランスとなるホワイトバランス用の第２ホワイトバランス補正係数を算出する第２ホワイトバランス補正係数算出処理と、当該分割されたブロック毎のストロボ光量に基づき、前記第１ホワイトバランス補正係数と、前記第２ホワイトバランス補正係数と、の加重平均で第３ホワイトバランス補正係数を算出する第３ホワイトバランス補正係数算出処理と、当該分割されたブロック毎に前記第３ホワイトバランス補正係数を設定するホワイトバランス演算処理と、を備えることを特徴とするホワイトバランス演算処理を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体である。
【００１３】
（８）：画像処理機能を有する装置が備えるコンピュータに、光学系から入射した光を撮像素子で電気信号に変換して撮像信号として出力する光電変換処理と、前記撮像信号をメモリに格納する撮像処理と、前記撮像信号からホワイトバランス評価値を抽出するホワイトバランス評価値取得処理と、を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、前記撮像処理は、ストロボ発光なしの撮像信号を第１の撮像信号として前記メモリに格納する第１撮像処理と、ストロボ発光ありの撮像信号を第２の撮像信号として前記メモリに格納する第２撮像処理と、を有し、前記第１の撮像信号及び前記第２の撮影信号を複数のブロックに分割するブロック分割処理と、当該分割されたブロック毎に輝度信号を積算して輝度積算結果を算出する輝度信号積算処理と、前記第１の撮像信号のブロックの輝度積算結果と、前記第２の撮像信号のブロックの輝度積算結果と、において、同一の位置のブロック同士で夫々演算してストロボ光量を算出するストロボ光量算出処理と、前記ホワイトバランス評価値と、予め設定してある白検出範囲と、を基に白検出を行う白検出処理と、当該分割されたブロックのうち、所定の値未満のストロボ光量のブロックから、前記白検出処理によって検出された白検出結果を基に、ホワイトバランス用の補正係数を算出し、所定の値以上のストロボ光量のブロックから、前記白検出処理によって検出された白検出結果を基に、ホワイトバランス用の補正係数を算出する補正係数算出処理と、当該分割されたブロック毎にホワイトバランス用の補正係数を設定するホワイトバランス演算処理と、を備えることを特徴とするホワイトバランス演算処理を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体である。
【００１４】
（９）：当該分割されたブロックが有する画素は、前記ブロック分割処理によって分割されたブロックにおいて中央に配置されたブロック中央画素と、中央に配置されていない非ブロック中央画素とからなり、前記ホワイトバランス演算処理は、前記ブロック中央画素に、領域毎に算出したホワイトバランス用の補正係数を取得して設定する第１補正係数取得処理と、前記非ブロック中央画素に、周辺のブロック中央画素の補正係数と当該非ブロック中央画素からの距離による補間でホワイトバランス用の補正係数を取得して設定する第２補正係数取得処理とを備えることを特徴とする上記（７）または（８）に記載のホワイトバランス演算処理を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体である。
【発明の効果】
【００１５】
本発明によれば、ストロボ撮影において画面全体に色ずれを生じさせない良好なホワイトバランス補正を、通常の一枚撮影と同程度の処理時間で実行可能な撮像装置及び撮像方法、並びにコンピュータ読み取り可能な記録媒体を提供することができる。
【図面の簡単な説明】
【００１６】
【図１】本発明に係る撮像装置の第１の実施の形態であるデジタルカメラの外観を示す概略図である。
【図２】本発明に係る撮像装置の第１の実施の形態における構成を示すブロック図である。
【図３】第１の実施の形態に係るストロボＷＢ補正の一連の処理のフローを示すブロック図である。
【図４】ＡＥ制御値の一例を示す図である。
【図５】本発明に係る撮像装置の第１の実施の形態における撮像信号が格子状のブロックに分割された模式図と、該模式図におけるストロボ照射領域とストロボ非照射領域を説明する説明図である。
【図６】図５の模式図におけるストロボ照射領域ブロック中央画素及びストロボ非照射領域ブロック中央画素を説明する説明図である。
【図７】補間によるＷＢ補正係数の算出方法の説明図である。
【図８】図５の模式図における領域１２を説明する説明図である。
【図９】図５の模式図における領域１３、１４、１５、１６を説明する説明図ある。
【図１０】本発明に係る撮像装置の第２の実施の形態におけるストロボＷＢ補正の一連の処理のフロー図である。
【図１１】ガンマ特性を示すグラフである。
【図１２】本発明に係る撮像装置の第３の実施の形態におけるストロボＷＢ補正の一連の処理のフロー図である。
【図１３】本発明に係る撮像装置の第４の実施の形態におけるストロボＷＢ補正の一連の処理のフロー図である。
【図１４】本発明に係る撮像装置の第５の実施の形態におけるストロボＷＢ補正の一連の処理のフロー図である。
【発明を実施するための形態】
【００１７】
次に図面を用いて本発明に係る撮像装置の基本的な構成についてさらに詳細に説明する。
尚、以下に述べる実施の形態は本発明の好適な実施の形態であるから、技術的に好ましい種々の限定が付されているが、本発明の範囲は以下の説明において特に本発明を限定する旨の記載がない限りこれらの態様に限られるものではない。ただし、第１の実施の形態は本発明の範囲に属しない参考例としての例である。
【００１８】
〔第１の実施の形態〕
（デジタルカメラの外観構成）
図１は本発明に係る撮像装置の第１の実施の形態であるデジタルカメラの外観を示す概略図である。
図１に示すように、本実施の形態に係るデジタルカメラの上面側には、レリーズボタン（シャッタボタン）、電源ボタン、撮影・再生切替ダイアルが設けられており、デジタルカメラの正面（前面）側には、撮影レンズ系を有する鏡胴ユニット、ストロボ発光部、光学ファインダが設けられている。
【００１９】
デジタルカメラの背面側には、液晶モニタ（ＬＣＤ）、前記光学ファインダの接眼レンズ部、広角側ズーム（Ｗ）スイッチ、望遠側ズーム（Ｔ）スイッチ、メニュー（ＭＥＮＵ）ボタン、確定ボタン（ＯＫボタン）等が設けられている。また、デジタルカメラの側面内部には、撮影した画像データを保存するためのメモリカードを収納するメモリカード収納部が設けられている。
【００２０】
（デジタルカメラのシステム構成）
図２は、本発明に係る撮像装置の第１の実施の形態であるデジタルカメラの構成を示すブロック図である。
図２に示すように、このデジタルカメラ内には、鏡胴ユニットに設置した撮影レンズ系（光学系）を通して入射される被写体画像が受光面上に結像する固体撮像素子としてのＣＣＤ、ＣＣＤから出力される電気信号（アナログＲＧＢ画像信号）をデジタル信号（撮像信号）に処理するアナログフロントエンド部（ＡＦＥ部）、ＡＦＥ部から出力されるデジタル信号を処理する信号処理部、データを一時的に格納するＳＤＲＡＭ（メモリ）、制御プログラム等が記憶されたＲＯＭ、モータドライバ等が設けられている。
【００２１】
鏡胴ユニットは、ズームレンズやフォーカスレンズ等を有する撮影レンズ系、絞りユニット、メカシャッタユニットを備えており、撮影レンズ系、絞りユニット、メカシャッタユニットの各駆動ユニット（不図示）は、モータドライバによって駆動される。モータドライバは、信号処理部の制御部（ＣＰＵ）からの駆動信号により駆動制御される。
【００２２】
ＣＣＤは、ＣＣＤを構成する複数の画素上に色分解フィルタとしてのＲＧＢ原色フィルタが配置されており、ＲＧＢ３原色に対応した電気信号（アナログＲＧＢ画像信号）が出力される。
【００２３】
ＡＦＥ部は、ＣＣＤを駆動するＴＧ（タイミング信号発生部）、ＣＣＤから出力される電気信号（アナログＲＧＢ画像信号）をサンプリングするＣＤＳ（相関２重サンプリング部）、ＣＤＳにてサンプリングされた画像信号のゲインを調整するＡＧＣ（アナログ利得制御部）、ＡＧＣでゲイン調整された画像信号をデジタル信号（ＲＡＷ−ＲＧＢデータ）に変換するＡ／Ｄを備えている。
【００２４】
信号処理部は、ＡＦＥ部のＴＧへ画面水平同期信号（ＨＤ）と画面垂直同期信号（ＶＤ）の出力を行い、これらの同期信号に合わせて、ＡＦＥ部のＡ／Ｄから出力されるＲＡＷ−ＲＧＢデータを取り込むＣＣＤインターフェース（ＣＣＤＩ／Ｆ）と、ＳＤＲＡＭを制御するメモリコントローラと、取り込んだＲＡＷ−ＲＧＢデータを表示や記録が可能なＹＵＶ形式の画像データに変換するＹＵＶ変換部と、表示や記録される画像データのサイズに合わせて画像サイズを変更するリサイズ処理部と、画像データの表示出力を制御する表示出力制御部と、画像データをＪＰＥＧ形成などで記録するためのデータ圧縮部と、画像データをメモリカードへ書き込み、又はメモリカードに書き込まれた画像データを読み出すメディアインターフェース（メディアＩ／Ｆ）と、操作部からの操作入力情報に基づき、ＲＯＭに記憶された制御プログラムに基づいてデジタルカメラ全体のシステム制御等を行う制御部（ＣＰＵ）を備えている。
尚、ＣＣＤＩ／Ｆの一部は、本発明における撮像手段として機能する。
【００２５】
操作部は、デジタルカメラ（図１参照）の外観表面に設けられているレリーズボタン、電源ボタン、撮影・再生切替ダイアル、広角側ズームスイッチ、望遠側ズームスイッチ、メニューボタン、確定ボタン等であり、撮影者の操作によって所定の動作指示信号が制御部に入力される。
【００２６】
ＳＤＲＡＭには、ＣＣＤＩ／Ｆに取り込まれたＲＡＷ−ＲＧＢデータが保存されると共に、ＹＵＶ変換部で変換処理されたＹＵＶデータ（ＹＵＶ形式の画像データ）が保存され、更に、データ圧縮部で圧縮処理されたＪＰＥＧ形成などの画像データが保存される。
【００２７】
なお、前記ＹＵＶデータのＹＵＶは、輝度データ（Ｙ）と、色差（輝度データと青色（Ｂ）成分データの差分（Ｕ）と、輝度データと赤色（Ｒ）成分データの差分（Ｖ））の情報で色を表現する形式である。
【００２８】
（デジタルカメラのモニタリング動作、静止画撮影動作）
次に、前記したデジタルカメラのモニタリング動作と静止画撮影動作について説明する。このデジタルカメラは、静止画撮影モード時には、以下に説明するようなモニタリング動作を実行しながら静止画撮影動作が行われる。
【００２９】
先ず、撮影者が電源ボタンをＯＮし、撮影・再生切替ダイアルを撮影モード（静止画撮影モード）に設定することで、デジタルカメラが記録モードで起動する。電源ボタンがＯＮされて、撮影・再生切替ダイアルが撮影モードに設定されたことを制御部が検知すると、制御部はモータドライバに制御信号を出力して、鏡胴ユニットを撮影可能位置に移動させ、かつ、ＣＣＤ、ＡＦＥ部、信号処理部、ＳＤＲＡＭ、ＲＯＭ、液晶モニタ等を起動させる。
【００３０】
そして、鏡胴ユニットの撮影レンズ系を被写体に向けることにより、撮影レンズ系を通して入射される被写体画像がＣＣＤの各画素の受光面上に結像する。そして、ＣＣＤから出力される被写体画像に応じた電気信号（アナログＲＧＢ画像信号）は、ＣＤＳ、ＡＧＣを介してＡ／Ｄに入力され、Ａ／Ｄにより１２ビット（ｂｉｔ）のＲＡＷ−ＲＧＢデータに変換する。
【００３１】
このＲＡＷ−ＲＧＢデータ（第１の撮像信号）は、信号処理部のＣＣＤＩ／Ｆに取り込まれて（第１撮像機能）メモリコントローラを介してＳＤＲＡＭに保存される。そして、ＳＤＲＡＭから読み出されたＲＡＷ−ＲＧＢデータは、ＹＵＶ変換部に入力されて表示可能な形式であるＹＵＶデータ（ＹＵＶ信号）に変換された後に、メモリコントローラを介してＳＤＲＡＭにＹＵＶデータが保存される。
【００３２】
そして、ＳＤＲＡＭからメモリコントローラを介して読み出したＹＵＶデータは、表示出力制御部を介して液晶モニタ（ＬＣＤ）へ送られ、撮影画像（動画）が表示される。前記した液晶モニタ（ＬＣＤ）に撮影画像を表示しているモニタリング時においては、ＣＣＤＩ／Ｆによる画素数の間引き処理により１／３０秒の時間で１フレームを読み出している。
【００３３】
なお、このモニタリング動作時は、電子ファインダとして機能する液晶モニタ（ＬＣＤ）に撮影画像（動画）が表示されているだけで、まだレリーズボタンが押圧（半押も含む）操作されていない状態である。
【００３４】
この撮影画像の液晶モニタ（ＬＣＤ）への表示によって、静止画を撮影するための構図の確認等をすることができる。なお、表示出力制御部からＴＶビデオ信号として出力して、ビデオケーブルを介して外部のＴＶ（テレビ）に撮影画像（動画）を表示することもできる。
【００３５】
そして、信号処理部のＣＣＤＩ／Ｆは、取り込まれたＲＡＷ−ＲＧＢデータより、ＡＦ（自動合焦）評価値、ＡＥ（自動露出）評価値、ＡＷＢ（オートホワイトバランス）評価値を算出する。
尚、本発明において、ホワイトバランス評価値とは、ＡＷＢ評価値であり、輝度積算結果とはＡＥ評価値であって、ホワイトバランス評価値取得手段と輝度信号積算手段とは、それぞれ信号処理部のＣＣＤＩ／Ｆの一部である。
【００３６】
ＡＦ評価値は、例えば高周波成分抽出フィルタの出力積分値や、近接画素の輝度差の積分値によって算出される。合焦状態にあるときは、被写体のエッジ部分がはっきりとしているため、高周波成分が一番高くなる。これを利用して、ＡＦ動作時（合焦検出動作時）には、撮影レンズ系内の各フォーカスレンズ位置におけるＡＦ評価値を取得して、その極大になる点を合焦検出位置としてＡＦ動作が実行される。
【００３７】
ＡＥ評価値とＡＷＢ評価値は、ＲＡＷ−ＲＧＢデータにおけるＲＧＢ値のそれぞれの積分値から算出される。例えば、ブロック分割手段である信号処理部のＣＣＤＩ／Ｆの一部である検波回路によってＣＣＤの全画素の受光面に対応した画面を２５６エリア（ブロック）に等分割（水平１６分割、垂直１６分割）された後、それぞれのエリア（ブロック）のＲＧＢ積算値がＣＣＤＩ／Ｆによって算出される。
【００３８】
そして制御部は、算出されたＲＧＢ積算値を読み出し、ＡＥ処理では、画面のそれぞれのエリア（ブロック）の輝度を算出して、輝度分布から適正な露光量を決定する。決定した露光量に基づいて、露光条件（ＣＣＤの電子シャッタ回数、絞りユニットの絞り値、ＮＤフィルタの出し入れ等）を設定する。また、ＡＷＢ処理では、ＲＧＢの分布から被写体の光源の色に合わせたＡＷＢの制御値を決定する。このＡＷＢ処理により、ＹＵＶ変換部でＹＵＶデータに変換処理するときのホワイトバランスを合わせる。なお、前記したＡＥ処理とＡＷＢ処理は、前記モニタリング時には連続的に行われている。
【００３９】
そして、前記したモニタリング動作時に、レリーズボタンが押圧（半押しから全押し）操作される静止画撮影動作が開始されると、合焦位置検出動作であるＡＦ動作と静止画記録処理が行われる。
【００４０】
即ち、レリーズボタンが押圧（半押しから全押し）操作されると、制御部からモータドライバへの駆動指令により撮影レンズ系のフォーカスレンズが移動し、例えば、いわゆる山登りＡＦと称されるコントラスト評価方式のＡＦ動作が実行される。
【００４１】
いわゆる山登りＡＦとは、ＡＦ（合焦）対象範囲が無限から至近までの全領域であった場合、撮影レンズ系のフォーカスレンズは、至近から無限、又は無限から至近までの間の各フォーカス位置に移動し、ＣＣＤＩ／Ｆで算出されている各フォーカス位置における前記ＡＦ評価値を制御部が読み出す。そして、各フォーカス位置のＡＦ評価値が極大になる点を合焦位置としてフォーカスレンズを合焦位置に移動させ、合焦させる。
【００４２】
そして、前記したＡＥ処理が行われ、露光完了時点で、制御部からモータドライバへの駆動指令によりメカシャッタユニットが閉じられ、ＣＣＤから静止画用のアナログＲＧＢ画像信号が出力される。そして、前記モニタリング時と同様に、ＡＦＥ部のＡ／Ｄ変換部によりＲＡＷ−ＲＧＢデータに変換される。
【００４３】
そして、このＲＡＷ−ＲＧＢデータ（第２の撮像信号）は、信号処理部のＣＣＤＩ／Ｆに取り込まれ（第２撮像機能）、ＹＵＶ変換部でＹＵＶデータに変換されて、メモリコントローラを介してＳＤＲＡＭに保存される。そして、このＹＵＶデータはＳＤＲＡＭから読み出されて、リサイズ処理部で記録画素数に対応するサイズに変換され、データ圧縮部でＪＰＥＧ形式等の画像データへと圧縮される。圧縮されたＪＰＥＧ形式等の画像データは、ＳＤＲＡＭに書き戻された後にメモリコントローラを介してＳＤＲＡＭから読み出され、メディアＩ／Ｆを介してメモリカードに保存される。
【００４４】
次に、本発明の特徴となる撮像動作（第２撮像機能の作動開始時以降の動作）について説明する。
図３は第１の実施の形態におけるストロボＷＢ補正の一連の処理をフローにしたものである。
最初に、ストロボ発光による撮影時のＲＡＷ−ＲＧＢがＳＤＲＡＭに格納される（Ｓ１）。ストロボ発光量は本発光前のプリ発光によって得られた対象物からの反射光をＣＣＤで検出することで調節している。
【００４５】
ＳＤＲＡＭに格納されたＲＡＷ−ＲＧＢは、ブロック分割手段である信号処理部のＣＣＤＩ／Ｆの一部である検波回路によって水平１６×垂直１６の２５６ブロックに分割される。
また、同時に撮影時のＡＷＢ評価値（ホワイトバランス評価値）、ＡＥ評価値（輝度信号積算結果）とＡＥ制御値（シャッタースピード、絞り値、ＡＧＣのゲイン値、ＮＤフィルタ位置）が内部のＲＡＭへ格納される（Ｓ２）。ＡＷＢ評価値はブロック毎にＲ、Ｇ、Ｂそれぞれを積算し１画素あたりのＲ、Ｇ、Ｂを算出したあとＧ／Ｒ、Ｇ／Ｂという形で表される。ＡＥ評価値はブロック毎にＲ、Ｇ、Ｂそれぞれを積算し１画素あたりのＲ、Ｇ、Ｂを算出した後、以下の式の結果で表される。
【００４６】
ＡＥ評価値＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ
【００４７】
次に、撮影直前のモニタリング時の露光量と撮影時の露光量とが同じになるように、後述する算出方法で算出された露出補正係数（ｋ）を、モニタリング画像に対応したブロック毎のＡＥ評価値及び／または撮影時のブロック毎のＡＥ評価値に対して設定する（Ｓ３；露出補正係数算出手段）。撮影直前のモニタリング画像（第１の撮像信号）に対応したＡＥ評価値は、レリーズの最後のフレームから撮影時と同じ計算式にて算出されたものがＲＡＭに格納される。また、撮影時と同様にこの時のＡＥ制御値（シャッタースピード、絞り値、ＡＧＣのゲイン値、ＮＤフィルタ位置、画素加算分）も内部のＲＡＭに格納される。また、露光量を合わせる際、光量がないブロックに露出補正係数を乗算しても変化が無く、差分の大きさによって分割する分割方法では分割が難しくなる為、露光量が少ない画像の露光量に合わせるように、露光量の多い画像に露出補正係数（ｋ）を掛けることが好ましい。
【００４８】
図４に本実施の形態におけるＡＥ制御値の例を示すが、本発明におけるＡＥ制御値はこれに限定されるものではない。
各ＡＥ制御値の１ステップあたりの明るさ変化量は同じであるため、撮影時とモニタリング時それぞれの各ＡＥ制御値の加算結果から、減算によって撮影時とモニタリング時の明るさの差分（ｄｅｌｔａ Ｅｖ）を求めることができる。本実施の形態におけるＡＥ制御値の例では制御値の差が１６で１ＥＶ差、つまり明るさが２倍違うことになる。露出補正係数（ｋ）の算出方法を下記式１に示す。
【００４９】
【数１】
【００５０】
モニタリング時に水平垂直の画素を加算した結果からＡＥ評価値を算出している場合は、露出補正係数算出時に画素加算分も考慮する必要があり、露出補正係数（ｋ）の算出方法は下記式２となる。例えば、モニタリング時は水平２画素、垂直２画素を合計した結果（４画素分）がＣＣＤから読み出される場合、画素加算を行わない撮影時（１画素分）に比べて、モニタリング時は２ＥＶ（４倍）明るいことになる。
【００５１】
【数２】
【００５２】
そして、同一ブロックの撮影画像のＡＥ評価値から撮影直前のモニタリング画像のＡＥ評価値を減算し、予め設定されている基準値と比較し、基準値以上のブロックをストロボ照射領域とし基準値未満のブロックをストロボ非照射領域とする領域分割を行う（Ｓ４；領域分割手段）。
尚、本発明におけるストロボ照射領域の判定方法はＳ４の判定方法に限定されるものではなく、ストロボ発光によって充分に光が照射されているブロックを判定できる演算方法であればいかなる判定方法であっても良く、また、予め設定されている基準値は任意で設定することができる。
【００５３】
Ｓ１〜Ｓ４により、撮影時とモニタリング時で露光量が異なる場合でもストロボの影響が強いブロックを抽出することが可能となる。
【００５４】
図５はブロック単位でストロボ照射領域とストロボ非照射領域とで領域分割を行ったものである。図５の１はストロボ照射領域を表し、図５の２はストロボ非照射領域を表す。
【００５５】
次に、領域毎にそれぞれ白抽出（本発明では白検出とも称する；以下同様である。）を行う（Ｓ５；白検出手段）。白抽出は領域毎にブロック単位で取得したＡＷＢ評価値を閾値と比較して、閾値以下のブロックを白抽出ブロックとして記憶する。
【００５６】
白抽出ブロックとは、図５のような撮像画像で具体例を示すとすると、被写体である人物の画像における白い服の領域に存在する（を有する）ブロック、背景の画像における白い雲の領域に存在する（を有する）ブロック等が挙げられる。
【００５７】
ここで、本実施の形態における白抽出の処理は、抽出されるブロックのＡＷＢ評価値が所定の閾値以上であるか、所定の閾値未満であるかをもって、白抽出ブロックの判定を行っている。所定の閾値は任意で設定することができる。
尚、本発明は上述の白抽出の処理の実施の形態に限られるものではなく、被写体や背景等において白が存在するブロックを一定の基準に従い、高い信頼性をもって抽出可能であればいかなる形態であっても良い。また、本実施の形態および後述の実施の形態において、白抽出を行う範囲（白検出範囲）は、白抽出ブロックが高い信頼性をもって抽出できる任意の範囲とすることができる。
【００５８】
ストロボ照射領域及びストロボ非照射領域のいずれの領域においても白抽出ブロック数が一定基準以上である場合、ストロボ照射領域とストロボ非照射領域のそれぞれの領域毎に、各白抽出ブロックにおけるＡＷＢ評価値とＡＥ評価値とに基づき演算することで、ホワイトバランス補正係数を算出できる。
ホワイトバランス補正係数は、ＡＥ評価値が高い領域を重視するような補正係数であることが好ましく、例えば、下記式３に示すように、ＡＷＢ評価値にＡＥ評価値の重み付けを行うことで算出できる。
【００５９】
【数３】
【００６０】
また、ストロボ照射領域及びストロボ非照射領域のうち、いずれか一方の領域で白抽出ブロック数が一定基準未満の場合、当該白抽出ブロック数が一定基準未満の領域は、各ブロックにおけるＡＷＢ評価値とＡＥ評価値とに基づき演算することで、ホワイトバランス補正係数を算出できる。
ホワイトバランス補正係数は、ＡＥ評価値が高い領域を重視するような補正係数であることが好ましく、例えば、下記式４に示すように、ＡＷＢ評価値にＡＥ評価値の重み付けを行うことで算出できる。
【００６１】
【数４】
【００６２】
若しくは、ストロボ照射領域及びストロボ非照射領域のうち、いずれか一方の領域で白抽出ブロック数が一定基準未満の場合、当該白抽出ブロック数が一定基準未満の領域は、他方の白抽出ブロック数が一定基準以上の領域のホワイトバランス補正係数を使用しても良い。
【００６３】
ストロボ照射領域及びストロボ非照射領域のいずれも白抽出ブロック数が一定基準未満の場合、画面全体の各ブロックにおけるＡＷＢ評価値とＡＥ評価値とに基づき演算することで、ホワイトバランス係数を算出できる。
ホワイトバランス補正係数は、ＡＥ評価値が高い領域を重視するような補正係数であることが好ましく、例えば、下記式５に示すように、ＡＷＢ評価値にＡＥ評価値の重み付けを行うことで算出できる（Ｓ６；補正係数算出手段）。
【００６４】
【数５】
【００６５】
次に、ＳＤＲＡＭよりＲＡＷ−ＲＧＢを読み出し、図６のようにブロックの中央に位置する画素をブロック中央画素として、領域毎に算出したＷＢ補正係数Ｒgain、Ｂgainをそれぞれの領域に対応するブロック中央画素に設定する（Ｓ７；ホワイトバランス演算手段）。図６の３はストロボ照射領域で算出したホワイトバランス補正係数Ｒgain、Ｂgainを設定するブロック中央画素、図６の４はストロボ非照射領域に算出したホワイトバランス補正係数Ｒgain、Ｂgainを設定するブロック中央画素である。
【００６６】
非ブロック中央画素のホワイトバランス補正係数Ｒgain、Ｂgainは、当該ブロックのブロック中央画素と周辺のブロック中央画素に設定されているホワイトバランス補正係数と当該画素からの距離による補間によって求めることが好ましい（Ｓ８）。
【００６７】
図７を基に非ブロック中央画素のホワイトバランス補正係数算出方法を説明する。ホワイトバランス補正係数の算出対象とする非ブロック中央画素を１１とし周辺のブロック中央画素をＲ０、Ｒ１、Ｒ２、Ｒ３とする。Ｒ３を１で正規化しホワイトバランス補正係数の算出対象となる非ブロック中央画素の位置をｘ、ｙで表し、以下の計算式によってホワイトバランス補正係数を算出する。
【００６８】
Ｒgain＝（１−ｘ）（１−ｙ）Ｒ０＋ｘ（１−ｙ）Ｒ１＋（１−ｘ）ｙＲ２＋ｘｙＲ３
Ｂgain＝（１−ｘ）（１−ｙ）Ｂ０＋ｘ（１−ｙ）Ｂ１＋（１−ｘ）ｙＢ２＋ｘｙＢ３
【００６９】
図８の１２部分の画素のように周辺のブロック中央画素が１つしか存在しない場合は、当該ブロックのホワイトバランス補正係数を設定する。
【００７０】
図９の１３、１４、１５、１６部分の画素のように周辺のブロック中央画素が２つしか存在しない場合は、２つの補正係数と当該画素からの距離による補間によって求める。計算式を以下に示す。
【００７１】
領域１３の場合
Ｒgain＝（１−ｘ）Ｒ２＋ｘＲ３
Ｂgain＝（１−ｘ）Ｂ２＋ｘＢ３
【００７２】
領域１４の場合
Ｒgain＝（１−ｘ）Ｒ０＋ｘＲ１
Ｂgain＝（１−ｘ）Ｂ０＋ｘＢ１
【００７３】
領域１５の場合
Ｒgain＝（１−ｙ）Ｒ１＋ｙＲ３
Ｂgain＝（１−ｙ）Ｂ１＋ｙＢ３
【００７４】
領域１６の場合
Ｒgain＝（１−ｙ）Ｒ０＋ｙＲ２
Ｂgain＝（１−ｙ）Ｂ０＋ｙＢ２
【００７５】
画面全体のＲ、Ｂデータそれぞれに対して、画素毎に算出したホワイトバランス補正係数Ｒgain、Ｂgainを掛ける（Ｓ９）。
【００７６】
これにより、ストロボ照射領域とストロボ非照射領域とで照射される光源の色温度が異なる場合でもそれぞれに対して良好なホワイトバランスを掛けることができる。
【００７７】
これにより、画素間の補正係数にローパスフィルタがかかる為、ホワイトバランス補正係数が異なるそれぞれの領域が存在する画像に於いて、領域の境界で不自然なホワイトバランスが掛かることを回避することができる。
【００７８】
また、ブロック単位のＡＥ評価値の差分から領域分割を行うため、計算量を少なくすることができる。
【００７９】
また、ストロボ撮影直前のモニタリング画像を利用することで複数枚撮影することなく領域分割することができ、撮影に要する時間を短くすることができる。
【００８０】
また、領域毎にホワイトバランス補正係数を算出する為、ブロック毎または画素毎に算出する方法に比べてホワイトバランス補正係数の算出に要する計算量を少なくすることができる。
【００８１】
本実施の形態では撮影画像及びモニタリング画像に対して水平１６×垂直１６のブロックで分割したが、任意の分割数で分割しても良い。その場合は領域分割の際、撮影画像とモニタリング画像における同一ブロック毎に、ＡＥ評価値からストロボ照射領域かストロボ非照射領域かの判別を行うため、撮影画像とモニタリング画像の分割数を合わせる必要がある。また、分割は格子状であることが好ましいが、撮影画像とモニタリング画像とにおいて対応するブロックが同一形状であればいかなる形状に分割しても良い。このことは、後述する実施の形態においても同様である。
【００８２】
〔第２の実施の形態〕
第１の実施の形態ではブロック単位でストロボ照射領域とストロボ非照射領域に分割し、それぞれの領域毎にホワイトバランス補正係数を算出するのに対し、本実施の形態では、ブロック毎にストロボ光量を算出しブロック毎にストロボ光量の割合に応じたホワイトバランス補正係数を算出する。
【００８３】
図１０は本発明に係る撮像装置の第２の実施の形態のストロボＷＢ補正の一連の処理をフローにしたものである。
最初に、ストロボ発光による撮影時のＲＡＷ−ＲＧＢがＳＤＲＡＭに格納される（Ｓ１）。ストロボ発光量は本発光前のプリ発光によって得られた対象物からの反射光をＣＣＤで検出することで調節している。
ＳＤＲＡＭに格納されたＲＡＷ−ＲＧＢは、ブロック分割手段である信号処理部のＣＣＤＩ／Ｆの一部である検波回路によって水平１６×垂直１６の２５６ブロックに分割される。
また、同時に撮影時のＡＷＢ評価値（ホワイトバランス評価値）、ＡＥ評価値（輝度信号積算結果）とＡＥ制御値（シャッタースピード、絞り値、ＡＧＣのゲイン値、ＮＤフィルタ位置）が内部のＲＡＭへ格納される（Ｓ２）。ＡＷＢ評価値はブロック毎にＲ、Ｇ、Ｂそれぞれを積算し１画素あたりのＲ、Ｇ、Ｂを算出したあとＧ／Ｒ、Ｇ／Ｂという形で表される。ＡＥ評価値はブロック毎にＲ、Ｇ、Ｂそれぞれを積算し１画素あたりのＲ、Ｇ、Ｂを算出した後、以下の式の結果で表される。
【００８４】
ＡＥ評価値＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ
【００８５】
次に、撮影直前のモニタリング時の露光量と撮影時の露光量とが同じになるように、後述する算出方法で算出された露出補正係数（ｋ）を、モニタリング画像に対応したブロック毎のＡＥ評価値及び／または撮影時のブロック毎のＡＥ評価値に対して設定する（Ｓ３；露出補正係数算出手段）。撮影直前のモニタリング画像（第１の撮像信号）に対応したＡＥ評価値は、レリーズの最後のフレームから撮影時と同じ計算式にて算出されたものがＲＡＭに格納される。また、撮影時と同様にこの時のＡＥ制御値（シャッタースピード、絞り値、ＡＧＣのゲイン値、ＮＤフィルタ位置、画素加算分）も内部のＲＡＭに格納される。
【００８６】
また、露光量を合わせる際、光量がないブロックに露出補正係数を乗算しても変化が無く、差分によるストロボ寄与率算出が難しくなる為、露光量が少ない画像の露光量に合わせるように、露光量の多い画像に露出補正係数（ｋ）を掛けることが好ましい。
【００８７】
また、露光量が多い画像の露光量に合わせるように、露光量の少ない画像に露出補正係数（ｋ）を掛ける場合、一定以下のＡＥ評価値ではノイズが占める割合が大きくなるため下位１ＥＶ以下のＡＥ評価値のブロックに対しては、後述する算出方法で算出した露出補正係数（ｋ）に対してＡＥ評価値に連動して線形に変化するように重み付けを行うことが好ましい。
具体的には、例えば、下記式に示すような露出補正係数（ｋ）に対してＡＥ評価値の重み付けを行う演算を用いて算出することができる。
【００８８】
ｋ’＝ｋ×（ＡＥ評価値／１ＥＶ分のＡＥ評価値）
【００８９】
更に、モニタリング画像と撮影画像とでシェーディング補正パラメータが異なる場合、モニタリング画像と撮影画像のシェーディング補正パラメータの差分を各ブロックの露出補正係数（ｋ’）に対して加味することが好ましい。
【００９０】
図４に本実施の形態におけるＡＥ制御値の例を示すが、本発明におけるＡＥ制御値はこれに限定されるものではない。
各ＡＥ制御値の１ステップあたりの明るさ変化量は同じであるため、撮影時とモニタリング時それぞれの各ＡＥ制御値の加算結果から減算によって撮影時とモニタリング時の明るさの差分（ｄｅｌｔａ Ｅｖ）を求めることができる。本実施の形態におけるＡＥ制御値の例では制御値の差が１６で１ＥＶ差、つまり明るさが２倍違うことになる。露出補正係数（ｋ）の算出方法を下記式１に示す。
【００９１】
【数６】
【００９２】
モニタリング時に水平垂直の画素を加算した結果からＡＥ評価値を算出している場合は露出補正係数算出時に画素加算分も考慮する必要があり、露出補正係数（ｋ）の算出方法は下記式２となる。例えば、モニタリング時は水平２画素、垂直２画素を合計した結果（４画素分）がＣＣＤから読み出される場合、画素加算を行わない撮影時（１画素分）に比べて、モニタリング時は２ＥＶ（４倍）明るいことになる。
【００９３】
【数７】
【００９４】
次いで、同一ブロックの撮影画像のＡＥ評価値と撮影直前のモニタリング画像のＡＥ評価値との減算によるブロック毎のストロボ光量を算出する（Ｓ４）。
尚、本発明におけるストロボ照射領域の判定方法はＳ４の判定方法に限定されるものではなく、ストロボ発光によって充分に光が照射されているブロックを判定できる演算方法であればいかなる判定方法であっても良く、また、予め設定されている基準値は任意で設定することができる。
【００９５】
Ｓ１〜Ｓ４により、撮影時とモニタリング時で露光量が異なる場合でもブロック毎のストロボ光量を算出することが可能となる。
【００９６】
さらに、各ブロックについて、外光量とストロボ光量の割合から、当該ブロックにおけるストロボ寄与率を算出する。外光量とは、露出補正後のモニタリング画像のＡＥ評価値を指す。また、各ブロックのストロボ寄与率は外光量とストロボ光量とを足したものを１００％とした場合のストロボ光量の割合を示す。
【００９７】
次に、白抽出を行う（Ｓ５；白検出手段）。白抽出は画面全体におけるブロック単位で取得したＡＷＢ評価値に対して、閾値以下のブロックを白抽出ブロックとして記憶するか、ストロボ寄与率が一定以下のブロックの中から、閾値未満のブロックを白抽出ブロックとして記憶する。
【００９８】
白抽出ブロック数が一定基準以上である場合、各白抽出ブロックにおけるＡＷＢ評価値と、ＡＥ評価値とに基づき演算することで、第１ホワイトバランス補正係数を算出できる。
第１ホワイトバランス補正係数は、ＡＥ評価値が高い領域を重視するような補正係数であることが好ましく、例えば、下記式３に示すように、ＡＷＢ評価値にＡＥ評価値の重み付けを行うことで算出できる。
【００９９】
【数８】
【０１００】
さらに、ストロボ寄与率に応じて、第１ホワイトバランス係数と、ストロボの影響が１００％時に良好なホワイトバランスに補正することができる第２ホワイトバランス係数と、に基づき演算することで、ブロック毎に第３ホワイトバランス補正係数を算出できる。
第３ホワイトバランス補正係数は、ストロボ寄与率が高いブロックが、ストロボ寄与率が低いブロックよりも第２ホワイトバランス係数を重視するような補正係数であることが好ましく、例えば、下記式６に示すように、第１ホワイトバランス係数と、第２ホワイトバランス係数との加重平均でブロック毎に算出できる。
【０１０１】
【数９】
【０１０２】
白抽出ブロック数が一定基準未満である場合、画面全体について各ブロックのＡＷＢ評価値とＡＥ評価値とに基づき演算することで、第１ホワイトバランス補正係数を算出できる。
第１ホワイトバランス補正係数は、ＡＥ評価値が高い領域を重視するような補正係数であることが好ましく、例えば、下記式４に示すように、ＡＷＢ評価値にＡＥ評価値の重み付けを行うことで算出できる。
【０１０３】
【数１０】
【０１０４】
若しくは、撮影直前のモニタリング画像で設定していたホワイトバランス補正係数を、第１ホワイトバランス補正係数とする。
【０１０５】
さらに、ストロボ寄与率に応じて、第１ホワイトバランス係数と、ストロボの影響が１００％時に良好なホワイトバランスに補正することができる第２ホワイトバランス係数と、に基づき演算することで、ブロック毎に第３ホワイトバランス補正係数を算出できる（Ｓ６）。
第３ホワイトバランス補正係数は、ストロボ寄与率が高いブロックが、ストロボ寄与率が低いブロックよりも第２ホワイトバランス係数を重視するような補正係数であることが好ましく、例えば、上記式６に示すように、第１ホワイトバランス係数と、第２ホワイトバランス係数との加重平均でブロック毎に算出できる（Ｓ６；第１〜３ホワイトバランス補正係数算出手段）。
【０１０６】
ここで、第２ホワイトバランス補正係数とは、予めストロボの影響が１００％時に良好なホワイトバランスに補正することができる補正係数として所定の値として設定しておいても良いが、ストロボを発光する際の電圧によってストロボ光の色温度の変化が大きい場合には、予め下限電圧で発光した時のＷＢと上限電圧で発光した時のＷＢとを内部データとして保持しておき、ストロボ発光時の電圧から線形補間によって第２ホワイトバランス補正係数を算出することが好ましい。
【０１０７】
次にＳＤＲＡＭよりＲＡＷ−ＲＧＢを読み出し、図６のようにブロックの中央に位置する画素をブロック中央画素としブロック毎に算出した第３ホワイトバランス補正係数Ｒgain、Ｂgainを対応するブロックの中央画素に設定する（Ｓ７；ホワイトバランス設定手段）。
【０１０８】
以降、ブロック毎のホワイトバランス補正係数の設定方法（図１０のＳ８〜Ｓ９）は第１の実施の形態の（図３のＳ８〜Ｓ９）と同様である。
【０１０９】
本実施の形態によれば、ブロック毎にストロボの影響に応じた細かいホワイトバランス補正係数を設定することができる。
また、ストロボ照射領域とストロボ非照射領域とで照射される光源の色温度が異なる場合でも、それぞれに対して良好なホワイトバランスを掛けることができる。
さらに、画素間の補正係数にローパスフィルタがかかる為、ホワイトバランス補正係数が異なるそれぞれの領域が存在する画像に於いて、領域の境界で不自然なホワイトバランスが掛かることを回避することができる。
また、ブロック単位のＡＥ評価値の差分から領域分割を行うため、計算量を少なくすることができる。
さらに、ストロボ撮影直前のモニタリング画像を利用することで複数枚撮影することなく領域分割することができ、撮影に要する時間を短くすることができる。
【０１１０】
本実施の形態では撮影画像及びモニタリング画像に対して水平１６×垂直１６のブロックで分割したが任意の分割数で分割しても良い。
【０１１１】
〔第３の実施の形態〕
第１の実施の形態では撮影時とモニタリング時の各ブロックのＡＥ評価値の差分から領域分割を行ったが、本実施の形態では画像処理（ＷＢ、ガンマ補正、色補正等）後の撮影画像と撮影直前のモニタリング画像の輝度を基に画素単位で領域分割を行う。
【０１１２】
図１２は本発明に係る撮像装置の第３の実施の形態のストロボＷＢ補正の一連の処理をフローにしたものである。
【０１１３】
最初に、ストロボ発光による撮影時のＲＡＷ−ＲＧＢとＹＵＶがＳＤＲＡＭに格納される（Ｓ１）。また、ストロボ発光量は本発光前のプリ発光によって得られた対象物からの反射光をＣＣＤで検出することで調節している。
【０１１４】
また、同時に撮影時のＡＷＢ評価値、ＡＥ制御値（シャッタースピード、絞り値、ＡＧＣのゲイン値、ＮＤフィルタ位置）が内部のＲＡＭへ格納される（Ｓ２）。
【０１１５】
次に、ＳＤＲＡＭから撮影画像を読み出しモニタリング画像と同じサイズになるようリサイズ処理を施したものをリサイズ前の撮影画像とは別のＳＤＲＡＭ領域に保存する（Ｓ３）。
【０１１６】
撮影時と撮影直前のモニタリングのＹＵＶに対してデガンマ処理を行う（Ｓ４）。撮影時と撮影直前のモニタリングのＹＵＶはガンマ補正後のデータなので、入力に対して出力が線形で変化しない。通常ガンマは低輝度から中輝度にかけて持ち上げて階調の変化を急にして、高輝度側の階調を緩やかにする特性をもっている。図１１にガンマ特性を示す。この特性のため、低輝度側での少しの変化で出力が大きく変わるため撮影画像と撮影直前のモニタリング画像の画素毎の輝度の差分で領域を分割する場合、正確なストロボの影響度を求めることができない。よって、デガンマにて線形な値に戻す処理を行う。撮影時とモニタリング時で使用するガンマテーブルが異なる場合は使用したガンマテーブルに対応するデガンマ処理を行う。
【０１１７】
次に、撮影画像と撮影直前のモニタリング画像の画素単位の輝度情報を算出する（Ｓ５）。輝度情報の算出方法を以下に示す。
【０１１８】
輝度情報＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ
【０１１９】
次に、撮影直前のモニタリング画像（第１の撮像信号）の露光量と撮影画像の露光量とが同じになるよう露出補正係数（ｋ）をモニタリング画像及び／または撮影画像の各画素の輝度情報に対して設定する（Ｓ６；露出補正係数算出手段）。露出補正係数の算出方法は第１の実施の形態と同様である。モニタリング画像はＣＣＤＩ／Ｆを通って画像処理された後ＹＵＶとして随時ＳＤＲＡＭに上書き保存される。また、撮影直前のモニタリング時のＡＥ制御値（シャッタースピード、絞り値、ＡＧＣのゲイン値、ＮＤフィルタ位置、画素加算分）は内部のＲＡＭに格納される。
【０１２０】
同一画素において、撮影画像の輝度情報からモニタリング画像の輝度情報を減算し、予め設定されている基準値と比較し、基準値以上の画素をストロボ照射領域とし基準値未満の画素をストロボ非照射領域とする領域分割を行う（Ｓ７）。さらに、画素単位の領域分割結果を基に、複数画素で構成されるブロック単位で領域を分割する（Ｓ８；領域分割手段）。
【０１２１】
図５はブロック単位でストロボ照射領域とストロボ非照射領域とで領域分割を行ったものである。図５の１はストロボ照射領域を表し、図５の２はストロボ非照射領域を表す。
【０１２２】
ブロックの分割はＡＷＢ評価値、ＡＥ評価値を算出するためのＲＧＢ積算値を取得する際に設定したものと対応付けされており、ブロックのストロボ照射領域またはストロボ非照射領域かの判別はブロック内に含まれるストロボ照射領域の画素の割合によって判別される。
【０１２３】
次に、領域毎にそれぞれ白抽出を行う（Ｓ９；白検出手段）。白抽出は領域毎にブロック単位で取得したＡＷＢ評価値に対して、閾値と比較して閾値以下のブロックを白抽出ブロックとして記憶する。
【０１２４】
ストロボ照射領域及びストロボ非照射領域のいずれの領域においても白抽出ブロック数が一定基準以上である場合、ストロボ照射領域とストロボ非照射領域のそれぞれの領域毎に、各白抽出ブロックにおけるＡＷＢ評価値とＡＥ評価値とに基づき演算することで、ホワイトバランス補正係数を算出できる。
ホワイトバランス補正係数は、ＡＥ評価値が高い領域を重視するような補正係数であることが好ましく、例えば、下記式３に示すように、ＡＷＢ評価値にＡＥ評価値の重み付けを行うことで算出できる。
【０１２５】
【数１１】
【０１２６】
また、ストロボ照射領域及びストロボ非照射領域のうち、いずれか一方の領域で白抽出ブロック数が一定基準未満の場合、当該白抽出ブロック数が一定基準未満の領域は、各ブロックにおけるＡＷＢ評価値とＡＥ評価値とに基づき演算することで、ホワイトバランス補正係数を算出できる。
ホワイトバランス補正係数は、ＡＥ評価値が高い領域を重視するような補正係数であることが好ましく、例えば、下記式４に示すように、ＡＷＢ評価値にＡＥ評価値の重み付けを行うことで算出できる。
【０１２７】
【数１２】
【０１２８】
若しくは、ストロボ照射領域及びストロボ非照射領域のうち、いずれか一方の領域で白抽出ブロック数が一定基準未満の場合、当該白抽出ブロック数が一定基準未満の領域は、他方の白抽出ブロック数が一定基準以上の領域のホワイトバランス補正係数を使用しても良い。
【０１２９】
ストロボ照射領域及びストロボ非照射領域のいずれも白抽出ブロック数が一定基準未満の場合、画面全体の各ブロックにおけるＡＷＢ評価値とＡＥ評価値とに基づき演算することで、ホワイトバランス係数を算出できる。
ホワイトバランス補正係数は、ＡＥ評価値が高い領域を重視するような補正係数であることが好ましく、例えば、下記式５に示すように、ＡＷＢ評価値にＡＥ評価値の重み付けを行うことで算出できる（Ｓ１０；補正係数算出手段）。
【０１３０】
【数１３】
【０１３１】
図６のようにブロックの中央に位置する画素をブロック中央画素とし領域毎に算出したＷＢ補正係数Ｒgain、Ｂgainをそれぞれの領域に対応するブロック中央画素に設定する（Ｓ１１；ホワイトバランス演算手段）。図６の３はストロボ照射領域で算出したホワイトラバランス補正係数Ｒgain、Ｂgainを設定するブロック中央画素、図６の４はストロボ非照射領域に算出したＲgain、Ｂgainを設定するブロック中央画素である。
【０１３２】
以降、ブロック毎のＷＢ補正係数の設定方法（図１２のＳ１２〜Ｓ１３）は第１の実施の形態（図３のＳ８〜Ｓ９）と同じである。
【０１３３】
本実施の形態によれば、ストロボ照射領域とストロボ非照射領域とで照射される光源の色温度が異なる場合でもそれぞれに対して良好なホワイトバランスを掛けることができる。
また、画素間の補正係数にローパスフィルタがかかる為、ＷＢ補正係数が異なるそれぞれの領域が存在する画像に於いて、領域の境界で不自然なホワイトバランスが掛かることを回避することができる。
さらに、ストロボ撮影直前のモニタリング画像を利用することで複数枚撮影することなく領域分割することができ、撮影に要する時間を短くすることができる。
また、領域毎にＷＢ補正係数を算出する為、ブロック毎または画素毎に算出する方法に比べＷＢ補正係数の算出に要する計算量を少なくすることができる。
さらに、ブロック内に画素単位でストロボ照射領域とストロボ非照射領域が混在する場合でもブロック内で占める画素単位の領域分割結果の割合に応じて細かくブロック毎の領域分割を行うことができる。
【０１３４】
本実施の形態では撮影画像及びモニタリング画像に対して水平１６×垂直１６のブロックで分割したが任意の分割数で分割しても良い。その場合は領域分割の際、撮影画像とモニタリング画像の同一ブロック毎にストロボ光量からストロボ照射領域かストロボ非照射領域かの判別を行うため撮影画像とモニタリング画像の分割数を合わせる必要がある。
【０１３５】
〔第４の実施の形態〕
第３の実施の形態では画素単位でストロボ照射領域とストロボ非照射領域に分割し、更にブロック内のストロボ照射領域の割合に応じてブロック単位に領域を分割した結果それぞれの領域毎にＷＢ補正係数を算出するのに対し、本実施の形態では画素毎にストロボ光量を算出し、更にブロック内のストロボ光量に応じてブロック単位に領域を分割して、ブロック毎にストロボ光量の割合に応じたＷＢ補正係数を算出する。
【０１３６】
図１３は本実施例に係るストロボＷＢ補正の一連の処理をフローにしたものである。
最初にストロボ発光による撮影時のＲＡＷ−ＲＧＢとＹＵＶがＳＤＲＡＭに格納される（Ｓ１）。また、ストロボ発光量は本発光前のプリ発光によって得られた対象物からの反射光をＣＣＤで検出することで調節している。
【０１３７】
また、同時に撮影時のＡＷＢ評価値、ＡＥ制御値（シャッタースピード、絞り値、ＡＧＣのゲイン値、ＮＤフィルタ位置）が内部のＲＡＭへ格納される（Ｓ２）。
【０１３８】
次に、ＳＤＲＡＭから撮影画像を読み出しモニタリング画像と同じサイズになるようリサイズ処理を施したものをリサイズ前の撮影画像とは別のＳＤＲＡＭ領域に保存する（Ｓ３）。
【０１３９】
撮影時と撮影直前のモニタリングのＹＵＶに対してデガンマ処理を行う（Ｓ４）。撮影時と撮影直前のモニタリングのＹＵＶはガンマ補正後のデータなので、入力に対して出力が線形で変化しない。通常ガンマは低輝度から中輝度にかけて持ち上げて階調の変化を急にして、高輝度側の階調を緩やかにする特性をもっている。図１１にガンマ特性を示す。この特性のため、低輝度側での少しの変化で出力が大きく変わるため撮影画像と撮影直前のモニタリング画像の画素毎の輝度の差分で領域を分割する場合、正確なストロボの影響度を求めることができない。よって、デガンマにて線形な値に戻す処理を行う。撮影時とモニタリング時で使用するガンマテーブルが異なる場合は使用したガンマテーブルに対応するデガンマ処理を行う。
【０１４０】
次に撮影画像と撮影直前のモニタリング画像の画素単位の輝度情報を算出する（Ｓ５）。輝度情報の算出方法を以下に示す。
【０１４１】
輝度情報＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ
【０１４２】
次に、撮影直前のモニタリング画像（第１の撮像信号）の露光量と撮影画像の露光量とが同じになるよう露出補正係数（ｋ）をモニタリング画像及び／または撮影画像の各画素の輝度情報に対して設定する（Ｓ６；露光補正係数算出手段）。露出補正係数の算出方法は第１の実施の形態と同様である。モニタリング画像はＣＣＤＩ／Ｆを通って画像処理された後ＹＵＶとして随時ＳＤＲＡＭに上書き保存される。また、撮影直前のモニタリング時のＡＥ制御値（シャッタースピード、絞り値、ＡＧＣのゲイン値、ＮＤフィルタ位置、画素加算分）は内部のＲＡＭに格納される。
【０１４３】
また、露光量を合わせる際、光量のない画素に露出補正係数を乗算しても変化が無く差分の大きさによって分割する分割方法では分割が難しくなる為、露光量が少ない画像の露光量に合わせるように、露光量の多い画像に露出補正係数（ｋ）を掛けることが好ましい。
【０１４４】
更に、モニタリング画像と撮影画像とでシェーディング補正パラメータが異なる場合、モニタリング画像と撮影画像のシェーディング補正パラメータの差分を各画素の露出補正係数に対して加味することが好ましい。
【０１４５】
次に、同一画素において、撮影画像の輝度情報とモニタリング画像の輝度情報との減算による画素単位のストロボ光量を算出する（Ｓ７）。
【０１４６】
さらに、複数画素で構成されるブロック単位で領域を分割する（Ｓ８；領域分割手段）。ブロックの分割はＡＷＢ評価値、ＡＥ評価値を算出するためのＲＧＢ積算値を取得する際に設定したものと対応付けされている。
そして、画素単位のストロボ光量を基にブロック単位のストロボ光量を算出する（Ｓ９；ストロボ光量算出手段）。
【０１４７】
各ブロックにおける外光量とストロボ光量との割合から、各ブロックのストロボ寄与率を算出する。外光量は露出補正後のモニタリング画像のＡＥ評価値を指す。各ブロックのストロボ寄与率は外光量とストロボ光量とを足したものを１００％とした場合のストロボ光量の割合を示す。
【０１４８】
次に、白抽出を行う（Ｓ１０；白検出手段）。白抽出は画面全体からブロック単位で取得したＡＷＢ評価値に対して、閾値と比較して閾値以下のブロックを白抽出ブロックとして記憶する、若しくは、ストロボ寄与率が一定以下のブロックの中から、閾値と比較して閾値以下のブロックを白抽出ブロックとして記憶する。
【０１４９】
白抽出ブロック数が一定基準以上である場合、各白抽出ブロックにおけるＡＷＢ評価値と、ＡＥ評価値とに基づき演算することで、第１ホワイトバランス補正係数を算出できる。
第１ホワイトバランス補正係数は、ＡＥ評価値が高い領域を重視するような補正係数であることが好ましく、例えば、下記式３に示すように、ＡＷＢ評価値にＡＥ評価値の重み付けを行うことで算出できる。
【０１５０】
【数１４】
【０１５１】
さらに、ストロボ寄与率に応じて、第１ホワイトバランス係数と、ストロボの影響が１００％時に良好なホワイトバランスに補正することができる第２ホワイトバランス係数と、に基づき演算することで、ブロック毎に第３ホワイトバランス補正係数を算出できる。
第３ホワイトバランス補正係数は、ストロボ寄与率が高いブロックが、ストロボ寄与率が低いブロックよりも第２ホワイトバランス係数を重視するような補正係数であることが好ましく、例えば、下記式６に示すように、第１ホワイトバランス係数と、第２ホワイトバランス係数との加重平均でブロック毎に算出できる。
【０１５２】
【数１５】
【０１５３】
白抽出ブロック数が一定基準未満である場合、画面全体について各ブロックのＡＷＢ評価値とＡＥ評価値とに基づき演算することで、第１ホワイトバランス補正係数を算出できる。
第１ホワイトバランス補正係数は、ＡＥ評価値が高い領域を重視するような補正係数であることが好ましく、例えば、下記式４に示すように、ＡＷＢ評価値にＡＥ評価値の重み付けを行うことで算出できる。
【０１５４】
【数１６】
【０１５５】
若しくは、撮影直前のモニタリング画像で設定していたホワイトバランス補正係数を、第１ホワイトバランス補正係数とする。
【０１５６】
さらに、ストロボ寄与率に応じて、第１ホワイトバランス係数と、ストロボの影響が１００％時に良好なホワイトバランスに補正することができる第２ホワイトバランス係数と、に基づき演算することで、ブロック毎に第３ホワイトバランス補正係数を算出できる（Ｓ６）。
第３ホワイトバランス補正係数は、ストロボ寄与率が高いブロックが、ストロボ寄与率が低いブロックよりも第２ホワイトバランス係数を重視するような補正係数であることが好ましく、例えば、上記式６に示すように、第１ホワイトバランス係数と、第２ホワイトバランス係数との加重平均でブロック毎に算出できる（Ｓ１１；第１〜３ホワイトバランス補正係数算出手段）。
【０１５７】
ここで、第２ホワイトバランス補正係数とは、予めストロボの影響が１００％時に良好なホワイトバランスに補正することができる補正係数として所定の値として設定しておいても良いが、ストロボを発光する際の電圧によってストロボ光の色温度の変化が大きい場合には、予め下限電圧で発光した時のＷＢと上限電圧で発光した時のＷＢとを内部データとして保持しておき、ストロボ発光時の電圧から線形補間によって第２ホワイトバランス補正係数を算出することが好ましい。
【０１５８】
次にＳＤＲＡＭよりＲＡＷ−ＲＧＢを読み出し、図６のようにブロックの中央に位置する画素をブロック中央画素としブロック毎に算出した第３ホワイトバランス補正係数Ｒgain、Ｂgainを対応するブロックの中央画素に設定する（Ｓ１２；ホワイトバランス演算手段）。
【０１５９】
以降、ブロック毎のＷＢ補正係数の設定方法（図１３のＳ１３〜Ｓ１４）は第１の実施の形態（図３のＳ８〜Ｓ９）と同じである。
【０１６０】
本実施の形態によれば、ブロック毎にストロボの影響に応じた細かいＷＢ補正係数を設定することができる。
また、ストロボ照射領域とストロボ非照射領域とで照射される光源の色温度が異なる場合でもそれぞれに対して良好なホワイトバランスを掛けることができる。
さらに、画素間の補正係数にローパスフィルタがかかる為、ＷＢ補正係数が異なるそれぞれの領域が存在する画像に於いて、領域の境界で不自然なホワイトバランスが掛かることを回避することができる。
またさらに、ストロボ撮影直前のモニタリング画像を利用することで複数枚撮影することなく領域分割することができ、撮影に要する時間を短くすることができる。
【０１６１】
本実施の形態では撮影画像及びモニタリング画像に対して水平１６×垂直１６のブロックで分割したが任意の分割数で分割しても良い。
【０１６２】
〔第５の実施の形態〕
図１４は第５の実施の形態に係るストロボＷＢ補正の一連の処理のフローを示す。
最初にストロボ発光での撮影画像（第２の撮像信号）がＹＣＣデータとしてＳＤＲＡＭに格納される（メモリ格納手段）。この時、撮影画像には直前までモニタリング画像に対して設定されていたＷＢゲイン、ガンマテーブル、色補正パラメータが適用される（Ｓ１）。また、ストロボ発光量は本発光前のプリ発光によって得られた対象物からの反射光をＣＣＤで検出することで調節している。
【０１６３】
次に、ＳＤＲＡＭから撮影画像を読み出しモニタリング画像と同じサイズになるようリサイズ処理を施したものを、リサイズ前の撮影画像とは別のＳＤＲＡＭ領域に保存する（Ｓ２）。
【０１６４】
このリサイズ後の撮影画像に対して画像全体を格子状に水平１６×垂直１６のブロックに分割し（ブロック分割手段）、ブロック毎にＹ信号の積算値を算出（輝度信号算出手段）する（Ｓ３）。
【０１６５】
さらに、撮影直前のモニタリング画像（第１の撮像信号）に対して撮影画像と同じ露出条件となるよう露出補正係数（ｋ）をモニタリング画像の各画素のＹ信号に対して設定する（Ｓ４）。モニタリング画像はＣＣＤＩ／Ｆを通って画像処理された後ＹＣＣデータとして、随時ＳＤＲＡＭに上書き保存される（メモリ格納手段）。
露出補正係数（ｋ）は下記式によって算出される。また、撮影時と撮影直前のモニタリング画像のシャッタースピード、絞り値、ＮＤフィルタ位置は同じものとする。
【０１６６】
ｋ ＝ ｓｔｉｌｌＡＧＣ／ｍｏｎＡＧＣ
【０１６７】
ここで、ｓｔｉｌｌＡＧＣは撮影画像時ＡＧＣ、ｍｏｎＡＧＣはモニタリング画像時ＡＧＣを表す。
【０１６８】
次に、ＳＤＲＡＭから露出補正後のモニタリング画像を読み出し、モニタリング画像全体を格子状に水平１６×垂直１６のブロックに分割し（ブロック分割手段）、ブロック毎にＹ信号の積算値を算出（輝度信号積算手段）する（Ｓ５）。
【０１６９】
さらに、同一ブロックの撮影画像のＹ信号積算値から、モニタリング画像のＹ信号積算値を減算して予め設定されている基準値と比較し、基準値以上のブロックをストロボ照射領域とし、基準値以下のブロックをストロボ非照射領域とする領域分割（ストロボ光量算出手段、領域分割手段）を行う（Ｓ６）。
【０１７０】
図５はブロック単位でストロボ照射領域とストロボ非照射領域とで領域分割を行ったものである。図５の１はストロボ照射領域を表し、図５の２はストロボ非照射領域を表す。
【０１７１】
次に、領域毎にＡＷＢ評価値を求める為、それぞれの領域に対応する複数のブロックのＲＧＢを積算する（Ｓ７）。
【０１７２】
さらに、領域毎にそれぞれ白抽出（白検出手段）を行う（Ｓ８）。白抽出は領域毎にブロック単位で取得したＡＷＢ評価値に対して、閾値と比較して閾値以下のブロックを白抽出ブロックとして記憶する。
【０１７３】
ここで、それぞれの領域に対して白抽出ブロック数がある一定基準以上である場合は、白抽出ブロックのＡＷＢ評価値と当該ブロックの平均輝度値の重み付けによってＷＢ補正係数を算出する。また、一定基準以上でない場合は、領域内の全ブロックのＡＷＢ評価値と当該ブロックの平均輝度値の重み付けによってＷＢ補正係数を算出するか、当該領域以外の領域で算出したＷＢ補正係数を当該領域のＷＢ補正係数とする（Ｓ９）。ここで、Ｓ９は本発明における補正係数算出手段である。
【０１７４】
各領域いずれにも一定基準を満たす白抽出ブロックが存在しない場合、画面全体における各ブロックのＡＷＢ評価値と、当該ブロックの平均輝度値の重み付けによってＷＢ補正係数を算出する。
【０１７５】
図６のようにブロックの中央に位置する画素をブロック中央画素とし、領域毎に算出したＷＢ補正係数（第１補正係数）Ｒgain、Ｂgainをそれぞれの領域に対応するブロック中央画素に設定する（Ｓ１０）。図６の領域中心に配置された白丸はストロボ照射領域で算出したＷＢ補正係数Ｒgain、Ｂgainを設定するストロボ照射領域ブロック中央画素３、図６の領域中心に配置された黒丸はストロボ非照射領域に算出したＲgain、Ｂgainを設定するストロボ非照射領域ブロック中央画素４である。
【０１７６】
非ブロック中央画素のＷＢ補正係数（第２補正係数）Ｒgain、Ｂgainは、当該ブロックのブロック中央画素と周辺のブロック中央画素に設定されているＷＢ補正係数（第１補正係数）と、当該画素からの距離による補間によって求める（Ｓ１１）。ここで、Ｓ１０及びＳ１１は本発明におけるホワイトバランス演算手段である。
【０１７７】
図７に示す補間によるＷＢ補正係数の算出方法の説明図を基に、非ブロック中央画素のＷＢ補正係数算出方法を説明する。補間によるＷＢ補正係数の算出を行うＷＢ補正係数の算出対象を非ブロック中央画素１１とし、非ブロック中央画素１１の周辺のブロック中央画素を夫々Ｒ０、Ｒ１、Ｒ２、Ｒ３とする。Ｒ３を１で正規化しＷＢ補正係数の算出対象となる非ブロック中央画素の位置をｘ、ｙで表し、以下の式によってＷＢ補正係数を算出する。
【０１７８】
Ｒgain＝（１−ｘ）（１−ｙ）Ｒ０＋ｘ（１−ｙ）Ｒ１＋（１−ｘ）ｙＲ２＋ｘｙＲ３
Ｂgain＝（１−ｘ）（１−ｙ）Ｂ０＋ｘ（１−ｙ）Ｂ１＋（１−ｘ）ｙＢ２＋ｘｙＢ３
【０１７９】
図８の１２部分の画素のように周辺のブロック中央画素が１つしか存在しない場合は、当該ブロック中央画素のＷＢ補正係数を１２部分のＷＢ補正係数（第２補正係数）として設定する。
【０１８０】
図９の１３、１４、１５、１６部分の画素のように周辺のブロック中央画素が２つしか存在しない場合は、当該２のブロック中央画素の２つの補正係数と当該画素からの距離による補間によってＷＢ補正係数（第２補正係数）を求める。計算式は以下の式に示す。
【０１８１】
領域１３の場合
Ｒgain＝（１−ｘ）Ｒ２＋ｘＲ３
Ｂgain＝（１−ｘ）Ｂ２＋ｘＢ３
【０１８２】
領域１４の場合
Ｒgain＝（１−ｘ）Ｒ０＋ｘＲ１
Ｂgain＝（１−ｘ）Ｂ０＋ｘＢ１
【０１８３】
領域１５の場合
Ｒgain＝（１−ｙ）Ｒ１＋ｙＲ３
Ｂgain＝（１−ｙ）Ｂ１＋ｙＢ３
【０１８４】
領域１６の場合
Ｒgain＝（１−ｙ）Ｒ０＋ｙＲ２
Ｂgain＝（１−ｙ）Ｂ０＋ｙＢ２
【０１８５】
画面全体のＲ、Ｂデータそれぞれに対して、画素毎に算出したＷＢ補正係数Ｒgain、Ｂgainを掛ける（Ｓ１２）。
【０１８６】
（周辺の中央画素）
また、本発明における周辺の中央画素とは、周辺に配置されている中央画素のことを指し、例えば、周辺の中央画素と第２補正係数を取得する画素とを結ぶ線分が、全ての中央画素同士を格子状に結ぶ線分と交差しないような中央画素のことを言う。
但し、中央画素と第２補正係数を取得する画素を結ぶ線分は、１のブロックの対角線の線分の長さ以下である。
【０１８７】
また、周辺の中央画素は、第２補正係数を取得する画素が、全ての中央画素同士を格子状に結ぶ線分のうちのいずれか１の線上に存在する場合は、当該線分及び中央画素同士を結ぶ線分によって構成される四角形のうち、最小の四角形を構成する４の中央画素であることが好ましい。
【０１８８】
また一方、周辺の中央画素は、第２補正係数を取得する画素が、全ての中央画素同士を格子状に結ぶ線分のうちのいずれか１の線上に存在する場合は、当該線分の両端に配置された２の中央画素であっても良い。
【０１８９】
本実施の形態によれば、ストロボ照射領域とストロボ非照射領域とで照射される光源の色温度が異なる場合でもそれぞれに対して良好なホワイトバランスを掛けることができる。また、画素間の補正係数にローパスフィルタがかかる為、ＷＢ補正係数が異なるそれぞれの領域が存在する画像に於いて、領域の境界で不自然なホワイトバランスが掛かることを回避することができる。
【０１９０】
さらに、ストロボ撮影直前のモニタリング画像を利用することで複数枚撮影することなく領域分割することができ、撮影に要する時間を短くすることができる。
【０１９１】
またさらに、領域毎にＷＢ補正係数を算出する為、ブロック毎または画素毎に算出する方法に比べＷＢ補正係数の算出に要する計算量を少なくすることができる。
【０１９２】
本実施の形態では、撮影画像及びモニタリング画像に対して水平１６×垂直１６のブロックで分割したが任意の分割数で分割しても良い。その場合は、領域分割の際に撮影画像とモニタリング画像の同一ブロック毎に、Ｙ信号の積算値からストロボ照射領域か、ストロボ非照射領域かの判別を行うため、撮影画像とモニタリング画像の分割数を合わせる必要がある。
【符号の説明】
【０１９３】
１ ストロボ照射領域
２ ストロボ非照射領域
３ ストロボ照射領域ブロック中央画素
４ ストロボ非照射領域ブロック中央画素
１２、１３、１４、１５、１６ 領域
【先行技術文献】
【特許文献】
【０１９４】
【特許文献１】特許３５６９３５２号公報
【特許請求の範囲】
【請求項１】
光学系から入射した光を電気信号に変換して撮像信号として出力する撮像素子と、
前記撮像信号をメモリに格納する撮像手段と、
前記撮像信号からホワイトバランス評価値を抽出するホワイトバランス評価値取得手段と、を備える撮像装置において、
前記撮像手段は、ストロボ発光なしの撮像信号を第１の撮像信号として前記メモリに格納する第１撮像機能と、
ストロボ発光ありの撮像信号を第２の撮像信号として前記メモリに格納する第２撮像機能と、を有し、
前記第１の撮像信号及び前記第２の撮影信号を複数のブロックに分割するブロック分割手段と、
当該分割されたブロック毎に輝度信号を積算して輝度積算結果を算出する輝度信号積算手段と、
前記第１の撮像信号のブロックの輝度積算結果と、前記第２の撮像信号のブロックの輝度積算結果と、において、同一の位置のブロック同士で夫々演算してストロボ光量を算出するストロボ光量算出手段と、
前記ホワイトバランス評価値と、予め設定してある白検出範囲と、を基に白検出を行う白検出手段と、
該白検出手段によって検出された白検出結果を基に、ホワイトバランス用の第１ホワイトバランス補正係数を算出する第１ホワイトバランス補正係数算出手段と、
ストロボ光の影響が強い場合に良好なホワイトバランスとなるホワイトバランス用の第２ホワイトバランス補正係数を算出する第２ホワイトバランス補正係数算出手段と、
当該分割されたブロック毎のストロボ光量に基づき、前記第１ホワイトバランス補正係数と、前記第２ホワイトバランス補正係数と、の加重平均で第３ホワイトバランス補正係数を算出する第３ホワイトバランス補正係数算出手段と、
当該分割されたブロック毎に前記第３ホワイトバランス補正係数を設定するホワイトバランス演算手段と、を備えることを特徴とする撮像装置。
【請求項２】
光学系から入射した光を電気信号に変換して撮像信号として出力する撮像素子と、
前記撮像信号をメモリに格納する撮像手段と、
前記撮像信号からホワイトバランス評価値を抽出するホワイトバランス評価値取得手段と、を備える撮像装置において、
前記撮像手段は、ストロボ発光なしの撮像信号を第１の撮像信号として前記メモリに格納する第１撮像機能と、
ストロボ発光ありの撮像信号を第２の撮像信号として前記メモリに格納する第２撮像機能と、を有し、
前記第１の撮像信号及び前記第２の撮影信号を複数のブロックに分割するブロック分割手段と、
当該分割されたブロック毎に輝度信号を積算して輝度積算結果を算出する輝度信号積算手段と、
前記第１の撮像信号のブロックの輝度積算結果と、前記第２の撮像信号のブロックの輝度積算結果と、において、同一の位置のブロック同士で夫々演算してストロボ光量を算出するストロボ光量算出手段と、
前記ホワイトバランス評価値と、予め設定してある白検出範囲と、を基に白検出を行う白検出手段と、
当該分割されたブロックのうち、所定の値未満のストロボ光量のブロックから、前記白検出手段によって検出された白検出結果を基に、ホワイトバランス用の補正係数を算出し、
所定の値以上のストロボ光量のブロックから、前記白検出手段によって検出された白検出結果を基に、ホワイトバランス用の補正係数を算出する補正係数算出手段と、
当該分割されたブロック毎にホワイトバランス用の補正係数を設定するホワイトバランス演算手段と、を備えることを特徴とする撮像装置。
【請求項３】
当該分割されたブロックが有する画素は、前記ブロック分割手段によって分割されたブロックにおいて中央に配置されたブロック中央画素と、中央に配置されていない非ブロック中央画素とからなり、
前記ホワイトバランス演算手段は、
前記ブロック中央画素に、領域毎に算出したホワイトバランス用の補正係数を取得して設定する第１補正係数取得手段と、
前記非ブロック中央画素に、周辺のブロック中央画素の補正係数と当該非ブロック中央画素からの距離による補間でホワイトバランス用の補正係数を取得して設定する第２補正係数取得手段とを備えることを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
光学系から入射した光を撮像素子で電気信号に変換して撮像信号として出力する光電変換工程と、
前記撮像信号をメモリに格納する撮像工程と、
前記撮像信号からホワイトバランス評価値を抽出するホワイトバランス評価値取得工程と、を備える撮像方法において、
前記撮像工程は、ストロボ発光なしの撮像信号を第１の撮像信号として前記メモリに格納する第１撮像工程と、
ストロボ発光ありの撮像信号を第２の撮像信号として前記メモリに格納する第２撮像工程と、を有し、
前記第１の撮像信号及び前記第２の撮影信号を複数のブロックに分割するブロック分割工程と、
当該分割されたブロック毎に輝度信号を積算して輝度積算結果を算出する輝度信号積算工程と、
前記第１の撮像信号のブロックの輝度積算結果と、前記第２の撮像信号のブロックの輝度積算結果と、において、同一の位置のブロック同士で夫々演算してストロボ光量を算出するストロボ光量算出工程と、
前記ホワイトバランス評価値と、予め設定してある白検出範囲と、を基に白検出を行う白検出工程と、
該白検出工程によって検出された白検出結果を基に、ホワイトバランス用の第１ホワイトバランス補正係数を算出する第１ホワイトバランス補正係数算出工程と、
ストロボ光の影響が強い場合に良好なホワイトバランスとなるホワイトバランス用の第２ホワイトバランス補正係数を算出する第２ホワイトバランス補正係数算出工程と、
当該分割されたブロック毎のストロボ光量に基づき、前記第１ホワイトバランス補正係数と、前記第２ホワイトバランス補正係数と、の加重平均で第３ホワイトバランス補正係数を算出する第３ホワイトバランス補正係数算出工程と、
当該分割されたブロック毎に前記第３ホワイトバランス補正係数を設定するホワイトバランス演算工程と、を備えることを特徴とする撮像方法。
【請求項５】
光学系から入射した光を撮像素子で電気信号に変換して撮像信号として出力する光電変換工程と、
前記撮像信号をメモリに格納する撮像工程と、
前記撮像信号からホワイトバランス評価値を抽出するホワイトバランス評価値取得工程と、を備える撮像方法において、
前記撮像工程は、ストロボ発光なしの撮像信号を第１の撮像信号として前記メモリに格納する第１撮像工程と、
ストロボ発光ありの撮像信号を第２の撮像信号として前記メモリに格納する第２撮像工程と、を有し、
前記第１の撮像信号及び前記第２の撮影信号を複数のブロックに分割するブロック分割工程と、
当該分割されたブロック毎に輝度信号を積算して輝度積算結果を算出する輝度信号積算工程と、
前記第１の撮像信号のブロックの輝度積算結果と、前記第２の撮像信号のブロックの輝度積算結果と、において、同一の位置のブロック同士で夫々演算してストロボ光量を算出するストロボ光量算出工程と、
前記ホワイトバランス評価値と、予め設定してある白検出範囲と、を基に白検出を行う白検出工程と、
当該分割されたブロックのうち、所定の値未満のストロボ光量のブロックから、前記白検出工程によって検出された白検出結果を基に、ホワイトバランス用の補正係数を算出し、
所定の値以上のストロボ光量のブロックから、前記白検出工程によって検出された白検出結果を基に、ホワイトバランス用の補正係数を算出する補正係数算出工程と、
当該分割されたブロック毎にホワイトバランス用の補正係数を設定するホワイトバランス演算工程と、を備えることを特徴とする撮像方法。
【請求項６】
当該分割されたブロックが有する画素は、前記ブロック分割工程によって分割されたブロックにおいて中央に配置されたブロック中央画素と、中央に配置されていない非ブロック中央画素とからなり、
前記ホワイトバランス演算工程は、
前記ブロック中央画素に、領域毎に算出したホワイトバランス用の補正係数を取得して設定する第１補正係数取得工程と、
前記非ブロック中央画素に、周辺のブロック中央画素の補正係数と当該非ブロック中央画素からの距離による補間でホワイトバランス用の補正係数を取得して設定する第２補正係数取得工程とを備えることを特徴とする請求項４または５に記載の撮像方法。
【請求項７】
画像処理機能を有する装置が備えるコンピュータに、
光学系から入射した光を撮像素子で電気信号に変換して撮像信号として出力する光電変換処理と、
前記撮像信号をメモリに格納する撮像処理と、
前記撮像信号からホワイトバランス評価値を抽出するホワイトバランス評価値取得処理と、を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
前記撮像処理は、ストロボ発光なしの撮像信号を第１の撮像信号として前記メモリに格納する第１撮像処理と、
ストロボ発光ありの撮像信号を第２の撮像信号として前記メモリに格納する第２撮像処理と、を有し、
前記第１の撮像信号及び前記第２の撮影信号を複数のブロックに分割するブロック分割処理と、
当該分割されたブロック毎に輝度信号を積算して輝度積算結果を算出する輝度信号積算処理と、
前記第１の撮像信号のブロックの輝度積算結果と、前記第２の撮像信号のブロックの輝度積算結果と、において、同一の位置のブロック同士で夫々演算してストロボ光量を算出するストロボ光量算出処理と、
前記ホワイトバランス評価値と、予め設定してある白検出範囲と、を基に白検出を行う白検出処理と、
該白検出処理によって検出された白検出結果を基に、ホワイトバランス用の第１ホワイトバランス補正係数を算出する第１ホワイトバランス補正係数算出処理と、
ストロボ光の影響が強い場合に良好なホワイトバランスとなるホワイトバランス用の第２ホワイトバランス補正係数を算出する第２ホワイトバランス補正係数算出処理と、
当該分割されたブロック毎のストロボ光量に基づき、前記第１ホワイトバランス補正係数と、前記第２ホワイトバランス補正係数と、の加重平均で第３ホワイトバランス補正係数を算出する第３ホワイトバランス補正係数算出処理と、
当該分割されたブロック毎に前記第３ホワイトバランス補正係数を設定するホワイトバランス演算処理と、を備えることを特徴とするホワイトバランス演算処理を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項８】
画像処理機能を有する装置が備えるコンピュータに、
光学系から入射した光を撮像素子で電気信号に変換して撮像信号として出力する光電変換処理と、
前記撮像信号をメモリに格納する撮像処理と、
前記撮像信号からホワイトバランス評価値を抽出するホワイトバランス評価値取得処理と、を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
前記撮像処理は、ストロボ発光なしの撮像信号を第１の撮像信号として前記メモリに格納する第１撮像処理と、
ストロボ発光ありの撮像信号を第２の撮像信号として前記メモリに格納する第２撮像処理と、を有し、
前記第１の撮像信号及び前記第２の撮影信号を複数のブロックに分割するブロック分割処理と、
当該分割されたブロック毎に輝度信号を積算して輝度積算結果を算出する輝度信号積算処理と、
前記第１の撮像信号のブロックの輝度積算結果と、前記第２の撮像信号のブロックの輝度積算結果と、において、同一の位置のブロック同士で夫々演算してストロボ光量を算出するストロボ光量算出処理と、
前記ホワイトバランス評価値と、予め設定してある白検出範囲と、を基に白検出を行う白検出処理と、
当該分割されたブロックのうち、所定の値未満のストロボ光量のブロックから、前記白検出処理によって検出された白検出結果を基に、ホワイトバランス用の補正係数を算出し、
所定の値以上のストロボ光量のブロックから、前記白検出処理によって検出された白検出結果を基に、ホワイトバランス用の補正係数を算出する補正係数算出処理と、
当該分割されたブロック毎にホワイトバランス用の補正係数を設定するホワイトバランス演算処理と、を備えることを特徴とするホワイトバランス演算処理を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項９】
当該分割されたブロックが有する画素は、前記ブロック分割処理によって分割されたブロックにおいて中央に配置されたブロック中央画素と、中央に配置されていない非ブロック中央画素とからなり、
前記ホワイトバランス演算処理は、
前記ブロック中央画素に、領域毎に算出したホワイトバランス用の補正係数を取得して設定する第１補正係数取得処理と、
前記非ブロック中央画素に、周辺のブロック中央画素の補正係数と当該非ブロック中央画素からの距離による補間でホワイトバランス用の補正係数を取得して設定する第２補正係数取得処理とを備えることを特徴とする請求項７または８に記載のホワイトバランス演算処理を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１】
光学系から入射した光を電気信号に変換して撮像信号として出力する撮像素子と、
前記撮像信号をメモリに格納する撮像手段と、
前記撮像信号からホワイトバランス評価値を抽出するホワイトバランス評価値取得手段と、を備える撮像装置において、
前記撮像手段は、ストロボ発光なしの撮像信号を第１の撮像信号として前記メモリに格納する第１撮像機能と、
ストロボ発光ありの撮像信号を第２の撮像信号として前記メモリに格納する第２撮像機能と、を有し、
前記第１の撮像信号及び前記第２の撮影信号を複数のブロックに分割するブロック分割手段と、
当該分割されたブロック毎に輝度信号を積算して輝度積算結果を算出する輝度信号積算手段と、
前記第１の撮像信号のブロックの輝度積算結果と、前記第２の撮像信号のブロックの輝度積算結果と、において、同一の位置のブロック同士で夫々演算してストロボ光量を算出するストロボ光量算出手段と、
前記ホワイトバランス評価値と、予め設定してある白検出範囲と、を基に白検出を行う白検出手段と、
該白検出手段によって検出された白検出結果を基に、ホワイトバランス用の第１ホワイトバランス補正係数を算出する第１ホワイトバランス補正係数算出手段と、
ストロボ光の影響が強い場合に良好なホワイトバランスとなるホワイトバランス用の第２ホワイトバランス補正係数を算出する第２ホワイトバランス補正係数算出手段と、
当該分割されたブロック毎のストロボ光量に基づき、前記第１ホワイトバランス補正係数と、前記第２ホワイトバランス補正係数と、の加重平均で第３ホワイトバランス補正係数を算出する第３ホワイトバランス補正係数算出手段と、
当該分割されたブロック毎に前記第３ホワイトバランス補正係数を設定するホワイトバランス演算手段と、を備えることを特徴とする撮像装置。
【請求項２】
光学系から入射した光を電気信号に変換して撮像信号として出力する撮像素子と、
前記撮像信号をメモリに格納する撮像手段と、
前記撮像信号からホワイトバランス評価値を抽出するホワイトバランス評価値取得手段と、を備える撮像装置において、
前記撮像手段は、ストロボ発光なしの撮像信号を第１の撮像信号として前記メモリに格納する第１撮像機能と、
ストロボ発光ありの撮像信号を第２の撮像信号として前記メモリに格納する第２撮像機能と、を有し、
前記第１の撮像信号及び前記第２の撮影信号を複数のブロックに分割するブロック分割手段と、
当該分割されたブロック毎に輝度信号を積算して輝度積算結果を算出する輝度信号積算手段と、
前記第１の撮像信号のブロックの輝度積算結果と、前記第２の撮像信号のブロックの輝度積算結果と、において、同一の位置のブロック同士で夫々演算してストロボ光量を算出するストロボ光量算出手段と、
前記ホワイトバランス評価値と、予め設定してある白検出範囲と、を基に白検出を行う白検出手段と、
当該分割されたブロックのうち、所定の値未満のストロボ光量のブロックから、前記白検出手段によって検出された白検出結果を基に、ホワイトバランス用の補正係数を算出し、
所定の値以上のストロボ光量のブロックから、前記白検出手段によって検出された白検出結果を基に、ホワイトバランス用の補正係数を算出する補正係数算出手段と、
当該分割されたブロック毎にホワイトバランス用の補正係数を設定するホワイトバランス演算手段と、を備えることを特徴とする撮像装置。
【請求項３】
当該分割されたブロックが有する画素は、前記ブロック分割手段によって分割されたブロックにおいて中央に配置されたブロック中央画素と、中央に配置されていない非ブロック中央画素とからなり、
前記ホワイトバランス演算手段は、
前記ブロック中央画素に、領域毎に算出したホワイトバランス用の補正係数を取得して設定する第１補正係数取得手段と、
前記非ブロック中央画素に、周辺のブロック中央画素の補正係数と当該非ブロック中央画素からの距離による補間でホワイトバランス用の補正係数を取得して設定する第２補正係数取得手段とを備えることを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
光学系から入射した光を撮像素子で電気信号に変換して撮像信号として出力する光電変換工程と、
前記撮像信号をメモリに格納する撮像工程と、
前記撮像信号からホワイトバランス評価値を抽出するホワイトバランス評価値取得工程と、を備える撮像方法において、
前記撮像工程は、ストロボ発光なしの撮像信号を第１の撮像信号として前記メモリに格納する第１撮像工程と、
ストロボ発光ありの撮像信号を第２の撮像信号として前記メモリに格納する第２撮像工程と、を有し、
前記第１の撮像信号及び前記第２の撮影信号を複数のブロックに分割するブロック分割工程と、
当該分割されたブロック毎に輝度信号を積算して輝度積算結果を算出する輝度信号積算工程と、
前記第１の撮像信号のブロックの輝度積算結果と、前記第２の撮像信号のブロックの輝度積算結果と、において、同一の位置のブロック同士で夫々演算してストロボ光量を算出するストロボ光量算出工程と、
前記ホワイトバランス評価値と、予め設定してある白検出範囲と、を基に白検出を行う白検出工程と、
該白検出工程によって検出された白検出結果を基に、ホワイトバランス用の第１ホワイトバランス補正係数を算出する第１ホワイトバランス補正係数算出工程と、
ストロボ光の影響が強い場合に良好なホワイトバランスとなるホワイトバランス用の第２ホワイトバランス補正係数を算出する第２ホワイトバランス補正係数算出工程と、
当該分割されたブロック毎のストロボ光量に基づき、前記第１ホワイトバランス補正係数と、前記第２ホワイトバランス補正係数と、の加重平均で第３ホワイトバランス補正係数を算出する第３ホワイトバランス補正係数算出工程と、
当該分割されたブロック毎に前記第３ホワイトバランス補正係数を設定するホワイトバランス演算工程と、を備えることを特徴とする撮像方法。
【請求項５】
光学系から入射した光を撮像素子で電気信号に変換して撮像信号として出力する光電変換工程と、
前記撮像信号をメモリに格納する撮像工程と、
前記撮像信号からホワイトバランス評価値を抽出するホワイトバランス評価値取得工程と、を備える撮像方法において、
前記撮像工程は、ストロボ発光なしの撮像信号を第１の撮像信号として前記メモリに格納する第１撮像工程と、
ストロボ発光ありの撮像信号を第２の撮像信号として前記メモリに格納する第２撮像工程と、を有し、
前記第１の撮像信号及び前記第２の撮影信号を複数のブロックに分割するブロック分割工程と、
当該分割されたブロック毎に輝度信号を積算して輝度積算結果を算出する輝度信号積算工程と、
前記第１の撮像信号のブロックの輝度積算結果と、前記第２の撮像信号のブロックの輝度積算結果と、において、同一の位置のブロック同士で夫々演算してストロボ光量を算出するストロボ光量算出工程と、
前記ホワイトバランス評価値と、予め設定してある白検出範囲と、を基に白検出を行う白検出工程と、
当該分割されたブロックのうち、所定の値未満のストロボ光量のブロックから、前記白検出工程によって検出された白検出結果を基に、ホワイトバランス用の補正係数を算出し、
所定の値以上のストロボ光量のブロックから、前記白検出工程によって検出された白検出結果を基に、ホワイトバランス用の補正係数を算出する補正係数算出工程と、
当該分割されたブロック毎にホワイトバランス用の補正係数を設定するホワイトバランス演算工程と、を備えることを特徴とする撮像方法。
【請求項６】
当該分割されたブロックが有する画素は、前記ブロック分割工程によって分割されたブロックにおいて中央に配置されたブロック中央画素と、中央に配置されていない非ブロック中央画素とからなり、
前記ホワイトバランス演算工程は、
前記ブロック中央画素に、領域毎に算出したホワイトバランス用の補正係数を取得して設定する第１補正係数取得工程と、
前記非ブロック中央画素に、周辺のブロック中央画素の補正係数と当該非ブロック中央画素からの距離による補間でホワイトバランス用の補正係数を取得して設定する第２補正係数取得工程とを備えることを特徴とする請求項４または５に記載の撮像方法。
【請求項７】
画像処理機能を有する装置が備えるコンピュータに、
光学系から入射した光を撮像素子で電気信号に変換して撮像信号として出力する光電変換処理と、
前記撮像信号をメモリに格納する撮像処理と、
前記撮像信号からホワイトバランス評価値を抽出するホワイトバランス評価値取得処理と、を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
前記撮像処理は、ストロボ発光なしの撮像信号を第１の撮像信号として前記メモリに格納する第１撮像処理と、
ストロボ発光ありの撮像信号を第２の撮像信号として前記メモリに格納する第２撮像処理と、を有し、
前記第１の撮像信号及び前記第２の撮影信号を複数のブロックに分割するブロック分割処理と、
当該分割されたブロック毎に輝度信号を積算して輝度積算結果を算出する輝度信号積算処理と、
前記第１の撮像信号のブロックの輝度積算結果と、前記第２の撮像信号のブロックの輝度積算結果と、において、同一の位置のブロック同士で夫々演算してストロボ光量を算出するストロボ光量算出処理と、
前記ホワイトバランス評価値と、予め設定してある白検出範囲と、を基に白検出を行う白検出処理と、
該白検出処理によって検出された白検出結果を基に、ホワイトバランス用の第１ホワイトバランス補正係数を算出する第１ホワイトバランス補正係数算出処理と、
ストロボ光の影響が強い場合に良好なホワイトバランスとなるホワイトバランス用の第２ホワイトバランス補正係数を算出する第２ホワイトバランス補正係数算出処理と、
当該分割されたブロック毎のストロボ光量に基づき、前記第１ホワイトバランス補正係数と、前記第２ホワイトバランス補正係数と、の加重平均で第３ホワイトバランス補正係数を算出する第３ホワイトバランス補正係数算出処理と、
当該分割されたブロック毎に前記第３ホワイトバランス補正係数を設定するホワイトバランス演算処理と、を備えることを特徴とするホワイトバランス演算処理を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項８】
画像処理機能を有する装置が備えるコンピュータに、
光学系から入射した光を撮像素子で電気信号に変換して撮像信号として出力する光電変換処理と、
前記撮像信号をメモリに格納する撮像処理と、
前記撮像信号からホワイトバランス評価値を抽出するホワイトバランス評価値取得処理と、を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
前記撮像処理は、ストロボ発光なしの撮像信号を第１の撮像信号として前記メモリに格納する第１撮像処理と、
ストロボ発光ありの撮像信号を第２の撮像信号として前記メモリに格納する第２撮像処理と、を有し、
前記第１の撮像信号及び前記第２の撮影信号を複数のブロックに分割するブロック分割処理と、
当該分割されたブロック毎に輝度信号を積算して輝度積算結果を算出する輝度信号積算処理と、
前記第１の撮像信号のブロックの輝度積算結果と、前記第２の撮像信号のブロックの輝度積算結果と、において、同一の位置のブロック同士で夫々演算してストロボ光量を算出するストロボ光量算出処理と、
前記ホワイトバランス評価値と、予め設定してある白検出範囲と、を基に白検出を行う白検出処理と、
当該分割されたブロックのうち、所定の値未満のストロボ光量のブロックから、前記白検出処理によって検出された白検出結果を基に、ホワイトバランス用の補正係数を算出し、
所定の値以上のストロボ光量のブロックから、前記白検出処理によって検出された白検出結果を基に、ホワイトバランス用の補正係数を算出する補正係数算出処理と、
当該分割されたブロック毎にホワイトバランス用の補正係数を設定するホワイトバランス演算処理と、を備えることを特徴とするホワイトバランス演算処理を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項９】
当該分割されたブロックが有する画素は、前記ブロック分割処理によって分割されたブロックにおいて中央に配置されたブロック中央画素と、中央に配置されていない非ブロック中央画素とからなり、
前記ホワイトバランス演算処理は、
前記ブロック中央画素に、領域毎に算出したホワイトバランス用の補正係数を取得して設定する第１補正係数取得処理と、
前記非ブロック中央画素に、周辺のブロック中央画素の補正係数と当該非ブロック中央画素からの距離による補間でホワイトバランス用の補正係数を取得して設定する第２補正係数取得処理とを備えることを特徴とする請求項７または８に記載のホワイトバランス演算処理を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図７】
【図８】
【図９】
【図１０】
【図１２】
【図１３】
【図１４】
【図５】
【図６】
【図１１】
【図２】
【図３】
【図４】
【図７】
【図８】
【図９】
【図１０】
【図１２】
【図１３】
【図１４】
【図５】
【図６】
【図１１】
【公開番号】特開２０１３−３４２６１（Ｐ２０１３−３４２６１Ａ）
【公開日】平成２５年２月１４日（２０１３．２．１４）
【国際特許分類】
【出願番号】特願２０１２−２５２０８０（Ｐ２０１２−２５２０８０）
【出願日】平成２４年１１月１６日（２０１２．１１．１６）
【分割の表示】特願２００８−５３６７８（Ｐ２００８−５３６７８）の分割
【原出願日】平成２０年３月４日（２００８．３．４）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
【公開日】平成２５年２月１４日（２０１３．２．１４）
【国際特許分類】
【出願日】平成２４年１１月１６日（２０１２．１１．１６）
【分割の表示】特願２００８−５３６７８（Ｐ２００８−５３６７８）の分割
【原出願日】平成２０年３月４日（２００８．３．４）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
[ Back to top ]