説明

撮像装置およびホワイトバランス補正方法

【課題】ホワイトバランス補正を精度良く行える撮像装置の技術を提供する。
【解決手段】撮像装置では、撮像素子によって取得された撮像画像に基づき被写体を照らす光源の推定処理を行い、推定処理によって推定された光源に基づくホワイトバランス補正を行う。この光源の推定処理では、色空間において例えばタングステン光源下では現れない色領域Evに属する色(例えば太陽光下の青色Pbやシアン色Pc)が撮像画像から検出される場合には、このタングステン光源を光源の候補から除外するようにする。これにより、光源の推定精度が向上してホワイトバランス補正を精度良く行える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、被写体を撮像し撮像画像を取得する撮像手段を備えた撮像装置の技術に関する。
【背景技術】
【0002】
撮像素子を用いて被写体の画像を取得するデジタルカメラ(撮像装置)では、被写体を照らす照明(光源)の種類に応じて被写体画像の色が変化するため、被写体における実際の白色が被写体画像で白色として再現されるようにする補正、つまりホワイトバランス補正(ホワイトバランス制御)が可能な構成となっている。
【0003】
このホワイトバランス補正に関しては、例えば予め様々な光源下で白い被写体が取り得る色空間の領域(以下では「白色検出領域」ともいう)を設定しておき、この白色検出領域内の色成分を有した画素(画像部分)を被写体の白色部分(積分対象)と判断し、その積分(画素値の加算)を行ってホワイトバランスゲインを決定する技術が知られている。
【0004】
ただし、この技術では、色空間において太陽光下の肌色を表す色領域とタングステン光源下の白色を表す色領域とが重なっているため、太陽光下の肌色がタングステン光源下の白色と誤判定されてしまうという不具合がある。
【0005】
上記の不具合を改善する技術としては、例えば特許文献1のようなホワイトバランス補正技術が提案されている。この技術によれば、被写体画像から検出される顔領域を上記の積分対象から除外してホワイトバランスゲインを決定することで、上記の誤判定を防ぐようにしている。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2003−189325号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、上記特許文献1のホワイトバランス補正技術では、上記の積分対象から除外する顔領域の検出処理が行われることとなるが、顔以外(腕など)の肌色や肌色の類似色などは顔領域の検出処理では検出されないため、これらの画像部分が積分されホワイトバランスゲインに反映されてしまう。これでは、ホワイトバランス補正を精度良く行うのは困難である。
【0008】
本発明は、上記課題に鑑みてなされたものであり、ホワイトバランス補正を精度良く行える撮像装置の技術を提供することを目的とする。
【課題を解決するための手段】
【0009】
本発明の1つの側面は、撮像装置であって、被写体を撮像し撮像画像を取得する撮像手段と、前記撮像画像に基づき前記被写体を照らす光源の推定処理を行う光源推定手段と、前記推定処理によって推定された光源に基づきホワイトバランス補正を行う補正手段とを備え、前記光源推定手段は、色空間において特定の光源下では現れない色領域に属する色を、前記撮像画像から検出する検出手段と、前記検出手段により前記撮像画像から前記色領域に属する色が検出される場合には、前記推定処理において前記特定の光源を除外する除外手段とを有する。
【発明の効果】
【0010】
本発明によれば、色空間において特定の光源下では現れない色領域に属する色が撮像画像から検出される場合には、この特定の光源を、撮像画像に基づき被写体を照らす光源の推定処理において除外する。このような推定処理によって推定された光源に基づきホワイトバランス補正を行うことにより、ホワイトバランス補正を精度良く行える。
【図面の簡単な説明】
【0011】
【図1】本発明の実施形態に係る撮像装置の外観構成を示す図である。
【図2】撮像装置の外観構成を示す図である。
【図3】撮像装置の縦断面図である。
【図4】ミラー部におけるミラーアップの状態を示す図である。
【図5】撮像装置の電気的な構成を示すブロック図である。
【図6】タングステン光源下と太陽光下とで測定した各色の分布を示す図である。
【図7】タングステン光源下では存在しない色の領域を説明するための図である。
【図8】タングステン光源が除外される場合のホワイトバランス補正を説明するための図である。
【図9】日陰の光源下と太陽光下とで測定した各色の分布を示す図である。
【図10】日陰の光源下では存在しない色の領域を説明するための図である。
【図11】日陰の光源が除外される場合のホワイトバランス補正を説明するための図である。
【図12】光源除外処理に関する撮像装置の基本的な動作を示すフローチャートである。
【図13】撮像画像の領域分割を説明するための図である。
【図14】ホワイトバランス補正処理に関する撮像装置の基本的な動作を示すフローチャートである。
【発明を実施するための形態】
【0012】
<実施形態>
[撮像装置の外観構成]
図1および図2は、本発明の実施形態に係る撮像装置1の外観構成を示す図である。ここで、図1および図2は、それぞれ正面図および背面図を示している。
【0013】
撮像装置1は、例えば一眼レフレックスタイプのデジタルスチルカメラとして構成されており、カメラボディ10と、カメラボディ10に着脱自在な撮影レンズとしての交換レンズ2とを備えている。
【0014】
図1において、カメラボディ10の正面側には、正面略中央に交換レンズ2が装着されるマウント部301と、マウント部301の右横に配置されたレンズ交換ボタン302と、把持可能とするためのグリップ部303とが設けられている。また、カメラボディ10には、正面左上部に配置されたモード設定ダイアル305と、正面右上部に配置された制御値設定ダイアル306と、グリップ部303の上面に配置されたシャッターボタン307とが設けられている。
【0015】
また、図2において、カメラボディ10の背面側には、LCD(Liquid Crystal Display)311と、LCD311の左方に配置された設定ボタン群312と、LCD311の右方に配置された十字キー314と、十字キー314の中央に配置されたプッシュボタン315とが備えられている。また、カメラボディ10の背面側には、LCD311の上方に配設されたファインダ窓316と、ファインダ窓316の周囲を囲むアイカップ321と、ファインダ窓316の左方に配設されたメインスイッチ317とが設けられている。さらに、カメラボディ10は、その背面側にファインダ窓316の右方に配設された露出補正ボタン323およびAEロックボタン324と、ファインダ窓316の上方に配設されたフラッシュ部318および接続端子部319とを備えている。
【0016】
マウント部301には、装着された交換レンズ2との電気的接続を行うためコネクタEc(図5参照)や、機械的接続を行うためのカプラ75(図5参照)が設けられている。
【0017】
レンズ交換ボタン302は、マウント部301に装着された交換レンズ2を取り外す際に押下されるボタンである。
【0018】
グリップ部303は、ユーザが撮影時に撮像装置1を把持する部分であり、フィッティング性を高めるために指形状に合わせた表面凹凸が設けられている。なお、グリップ部303の内部には電池収納室およびカード収納室(不図示)が設けられている。電池収納室にはカメラの電源として電池69B(図5参照)が収納されており、カード収納室には撮影画像の画像データを記録するためのメモリカード67(図5参照)が着脱可能に収納されるようになっている。なお、グリップ部303には、当該グリップ部303をユーザが把持したか否かを検出するためのグリップセンサを設けるようにしても良い。
【0019】
モード設定ダイアル305及び制御値設定ダイアル306は、カメラボディ10の上面と略平行な面内で回転可能な略円盤状の部材からなる。モード設定ダイアル305は、自動露出(AE)制御モードや自動焦点(AF;オートフォーカス)制御モード、或いは1枚の静止画を撮影する静止画撮影モードや連続撮影を行う連続撮影モード等の各種撮影モード、記録済みの画像を再生する再生モード等、撮像装置1に搭載されたモードや機能を択一的に選択するためのものである。一方、制御値設定ダイアル306は、撮像装置1に搭載された各種の機能に対する制御値を設定するためのものである。
【0020】
シャッターボタン307は、途中まで押し込んだ「半押し状態」の操作と、さらに押し込んだ「全押し状態」の操作とが可能とされた押下スイッチである。静止画撮影モードにおいてシャッターボタン307が半押しされると、被写体の静止画を撮影するための準備動作(露出制御値の設定や焦点検出等の準備動作)が実行される。また、シャッターボタン307が全押しされると、撮影動作(撮像素子101(図3参照)を露光し、その露光によって得られた画像信号に所定の画像処理を施してメモリカード等に記録する一連の動作)が実行される。
【0021】
LCD311は、画像表示が可能なカラー液晶パネルを備えており、撮像素子101(図3参照)により被写体を撮像して取得された画像の表示や記録済みの画像の再生表示等を行うとともに、撮像装置1に搭載される機能やモードの設定画面を表示するものである。なお、LCD311に代えて、有機ELやプラズマ表示装置を用いるようにしても良い。
【0022】
設定ボタン群312は、撮像装置1に搭載された各種の機能に対する操作を行うボタンである。この設定ボタン群312には、例えばLCD311に表示されるメニュー画面で選択された内容を確定するための選択確定スイッチ、選択取り消しスイッチ、メニュー画面の内容を切り替えるメニュー表示スイッチ、表示オン/オフスイッチ、表示拡大スイッチなどが含まれる。
【0023】
十字キー314は、円周方向に一定間隔で配置された複数の押圧部(図中の三角印の部分)を備える環状の部材を有し、各押圧部に対応して備えられた図示省略の接点(スイッチ)により押圧部の押圧操作が検出されるように構成されている。また、プッシュボタン315は、十字キー314の中央に配置されている。十字キー314及びプッシュボタン315は、撮影倍率の変更(ズームレンズ212(図5参照)のワイド方向やテレ方向への移動)、LCD311等に再生する記録画像のコマ送り、及び撮影条件(絞り値、シャッタスピード、フラッシュ発光の有無等)の設定等の指示を入力するためのものである。
【0024】
ファインダ窓316は、被写体が撮影される範囲を光学的に表示するものである。すなわち、ファインダ窓316には、交換レンズ2からの被写体像が導かれており、ユーザは、このファインダ窓316を覗くことにより、実際に撮像素子101にて撮像される被写体を視認することができる。
【0025】
メインスイッチ317は、左右にスライドする2接点のスライドスイッチからなり、左にセットすると撮像装置1の電源がオンされ、右にセットすると電源がオフされる。
【0026】
フラッシュ部318は、ポップアップ式の内蔵フラッシュとして構成されている。一方、外部フラッシュ等をカメラボディ10に取り付ける場合には、接続端子部319を使用して接続する。
【0027】
アイカップ321は、遮光性を有してファインダ窓316への外光の侵入を抑制する「コ」字状の遮光部材である。
【0028】
露出補正ボタン323は、露出値(絞り値やシャッタースピード)を手動で調整するためのボタンであり、AEロックボタン324は、露出を固定するためのボタンである。
【0029】
交換レンズ2は、被写体からの光(光像)を取り込むレンズ窓として機能するとともに、当該被写体光をカメラボディ10の内部に配置されている撮像素子101に導くための撮影光学系として機能するものである。この交換レンズ2は、上述のレンズ交換ボタン302を押下操作することで、カメラボディ10から取り外すことが可能となっている。
【0030】
交換レンズ2は、光軸LTに沿って直列的に配置された複数のレンズからなるレンズ群21を備えている(図5参照)。このレンズ群21には、焦点の調節を行うためのフォーカスレンズ211(図5参照)と、変倍を行うためのズームレンズ212(図5参照)とが含まれており、それぞれ光軸LT(図3参照)方向に駆動されることで、変倍や焦点調節が行われる。また、交換レンズ2には、その鏡胴の外周適所に該鏡胴の外周面に沿って回転可能な操作環が備えられており、上記のズームレンズ212は、マニュアル操作或いはオート操作により、上記操作環の回転方向及び回転量に応じて光軸方向に移動し、その移動先の位置に応じたズーム倍率(撮影倍率)に設定されるようになっている。
【0031】
[撮像装置1の内部構成]
次に、撮像装置1の内部構成について説明する。図3は、撮像装置1の縦断面図である。図3に示すように、カメラボディ10の内部には、撮像素子101、ファインダ部102(ファインダ光学系)、ミラー部103、位相差AFモジュール107などが備えられている。
【0032】
撮像素子101は、カメラボディ10に交換レンズ2が装着された場合の当該交換レンズ2が備えているレンズ群の光軸LT上において、光軸LTに対して垂直となる方向に配置されている。撮像素子101としては、例えばフォトダイオードを有して構成される複数の画素がマトリクス状に2次元配置され、各画素の受光面に、それぞれ分光特性の異なる例えばR(赤)、G(緑)、B(青)のカラーフィルタが1:2:1の比率で配設されてなるベイヤー配列のCMOSカラーエリアセンサ(CMOS型の撮像素子)が用いられる。撮像素子101は、交換レンズ2を通って結像された被写体の光像をR(赤)、G(緑)、B(青)各色成分のアナログの電気信号(画像信号)に変換し、R、G、B各色の画像信号として出力する。
【0033】
上記の光軸LT上において、被写体光をファインダ部102へ向けて反射される位置には、ミラー部103が配置されている。交換レンズ2を通過した被写体光は、ミラー部103(後述の主ミラー1031)によって上方へ反射される。交換レンズ2を通過した被写体光の一部はこのミラー部103を透過する。
【0034】
ファインダ部102は、ペンタプリズム105、接眼レンズ106及びファインダ窓316を備えている。ペンタプリズム105は、断面5角形を呈し、その下面から入射された被写体光像を内部での反射によって当該光像の天地左右を入れ替えて正立像にするためのプリズムである。接眼レンズ106は、ペンタプリズム105により正立像にされた被写体像をファインダ窓316の外側に導く。このような構成により、ファインダ部102は、本撮影前の撮影待機時において被写体を確認するためのファインダとして機能する。
【0035】
ミラー部103は、主ミラー1031及びサブミラー1032から構成されており、主ミラー1031の背面側において、サブミラー1032が主ミラー1031の背面に向けて倒れるように回動可能に設けられている。主ミラー1031を透過した被写体光の一部はサブミラー1032によって反射され、この反射された被写体光は位相差AFモジュール107に入射される。
【0036】
上記のミラー部103は、所謂クイックリターンミラーとして構成されており、露光時(本撮影時)には図4に示すように回転軸1033を回動支点として上方に向けて跳ね上がる。この際、サブミラー1032は、上記のミラー部103がペンタプリズム105の下方位置で停止したときには、主ミラー1031と略平行となるように折り畳まれた状態となる。これにより、ミラー部103によって遮られることなく、光軸LT上の光路に沿って交換レンズ2から導光された被写体光が、撮像素子(撮像センサ)101で受光される。撮像素子101が露光される撮像動作が終了すると、ミラー部103は元の位置(図3に示す位置)に復帰する。
【0037】
また、ミラー部103を本撮影(画像記録用の撮影)の前に図4に示すミラーアップの状態にすることにより撮像装置1は、撮像素子101で順次に生成される画像信号に基づき動画的態様で被写体をLCD311に表示するライブビュー(プレビュー)表示が可能となっている。すなわち、本撮影前の撮像装置1では、上記のライブビュー表示が行われる電子ファインダ(ライブビューモード)、または光学ファインダを選択して被写体の構図決めが可能である。なお、電子ファインダと光学ファインダとの切替えは、図2に示す切替スイッチ85を操作することにより行われる。
【0038】
また、ファインダ部102におけるペンタプリズム106の下方には、焦点板(フォーカシングスクリーン)77が配設されるとともに、ペンタプリズム106の上面に沿って測光センサ78が設けられている。
【0039】
焦点板77では、主ミラー1031で反射されて上方に進路を変更した被写体光が結像される。
【0040】
測光センサ78は、測光素子として構成され、焦点板77を通ってペンタプリズム105内に入射された被写体光を受光し、測光を行って被写体に関する測光値を取得する。
【0041】
位相差AFモジュール107は、被写体のピント情報を検出する測距素子等からなる所謂AFセンサとして構成されている。この位相差AFモジュール107は、ミラー部103の底部に配設されており、位相差検出方式の焦点検出(以下では「位相差AF」ともいう)により合焦位置を検出する。すなわち、撮影待機時においてユーザがファインダ窓316で被写体を確認する場合には、図3に示すように主ミラー1031およびサブミラー1032がダウンされた状態で位相差AFモジュール107に被写体からの光が導かれる。そして、位相差AFモジュール107からの出力に基づき交換レンズ2内のフォーカスレンズ211が駆動されてピント合わせが行われる。
【0042】
撮像素子101の光軸方向前方には、シャッタユニット40が配置されている。このシャッタユニット40は、上下方向に移動する幕体を備え、その開動作および閉動作により光軸LTに沿って撮像素子101に導かれる被写体光の光路開口動作および光路遮断動作を行うメカニカルフォーカルプレーンシャッタとして構成されている。なお、シャッタユニット40は、撮像素子101が完全電子シャッター可能な撮像素子である場合には省略可能である。
【0043】
[撮像装置1の電気的構成]
図5は、撮像装置1の電気的な構成を示すブロック図である。ここで、図1〜図4と同一の部材等については、同一の符号を付している。なお、説明の便宜上、交換レンズ2の電気的構成について先ず説明する。
【0044】
交換レンズ2は、上述したレンズ群21に加え、レンズ駆動機構24と、レンズ位置検出部25と、レンズ制御部26と、絞り駆動機構27とを備えている。
【0045】
レンズ群21では、フォーカスレンズ211及びズームレンズ212と、カメラボディ10に備えられた撮像素子101へ入射される光量を調節するための絞り23とが、鏡胴22内において光軸LT(図3)方向に保持されており、被写体の光像を取り込んで撮像素子101に結像させる。AF制御では、フォーカスレンズ211が交換レンズ2内のAFアクチュエータ71Mにより光軸LT方向に駆動されることで焦点調節が行われる。
【0046】
フォーカス駆動制御部71Aは、レンズ制御部26を介してメイン制御部62から与えられるAF制御信号に基づき、フォーカスレンズ211を合焦位置に移動させるために必要な、AFアクチュエータ71Mに対する駆動制御信号を生成するものである。AFアクチュエータ71Mは、ステッピングモータ等からなり、レンズ駆動機構24にレンズ駆動力を与える。
【0047】
レンズ駆動機構24は、例えばヘリコイド及び該ヘリコイドを回転させる図示省略のギア等で構成され、AFアクチュエータ71Mからの駆動力を受けて、フォーカスレンズ211等を光軸LTと平行な方向に駆動させるものである。なお、フォーカスレンズ211の移動方向及び移動量は、それぞれAFアクチュエータ71Mの回転方向及び回転数に従う。
【0048】
レンズ位置検出部25は、レンズ群21の移動範囲内において光軸LT方向に複数個のコードパターンが所定ピッチで形成されたエンコード板と、このエンコード板に摺接しながらレンズと一体的に移動するエンコーダブラシとを備えており、レンズ群21の焦点調節時の移動量を検出する。なお、レンズ位置検出部24で検出されたレンズ位置は、例えばパルス数として出力される。
【0049】
レンズ制御部26は、例えば制御プログラムを記憶するROMや状態情報に関するデータを記憶するフラッシュメモリ等のメモリが内蔵されたマイクロコンピュータからなっている。
【0050】
また、レンズ制御部26は、コネクタEcを介してカメラボディ10のメイン制御部62との間で通信を行う通信機能を有している。これにより、例えばレンズ群21の焦点距離、射出瞳位置、絞り値、合焦距離及び周辺光量状態等の状態情報データや、レンズ位置検出部25で検出されるフォーカスレンズ211の位置情報をメイン制御部62に送信できるとともに、メイン制御部62から例えばフォーカスレンズ211の駆動量のデータを受信できる。
【0051】
絞り駆動機構27は、カプラ75を介して絞り駆動アクチュエータ76Mからの駆動力を受けて、絞り23の絞り径を変更するものである。
【0052】
続いて、カメラボディ10の電気的構成について説明する。カメラボディ10は、先に説明した撮像素子101、シャッタユニット40等の他に、AFE(アナログフロントエンド)5および画像処理部61、画像メモリ614、メイン制御部62、フラッシュ回路63、操作部64、VRAM65、カードI/F66、メモリカード67を備えて構成される。また、カメラボディ10は、通信用I/F68、電源回路69、電池69B、ミラー駆動制御部72A及びミラー駆動アクチュエータ72M、シャッタ駆動制御部73A及びシャッタ駆動アクチュエータ73M、絞り駆動制御部76A及び絞り駆動アクチュエータ76Mを備えて構成されている。
【0053】
撮像素子101は、先に説明した通りCMOSカラーエリアセンサからなり、後述のタイミング制御回路51により、当該撮像素子101の露光動作の開始(及び終了)や、撮像素子101が備える各画素の出力選択、画素信号の読出し等の撮像動作が制御される。
【0054】
AFE5は、撮像素子101に対して所定の動作を行わせるタイミングパルスを与えるとともに、撮像素子101から出力される被写体の画像信号に所定の信号処理を施し、デジタル信号に変換して画像処理部61に出力するものである。このAFE5は、タイミング制御回路51、信号処理部52及びA/D変換部53などを備えて構成されている。
【0055】
タイミング制御回路51は、メイン制御部62から出力される基準クロックに基づいて所定のタイミングパルス(垂直走査パルスφVn、水平走査パルスφVm、リセット信号φVr等を発生させるパルス)を生成して撮像素子101に出力し、撮像素子101の撮像動作を制御する。また、所定のタイミングパルスを信号処理部52やA/D変換部53にそれぞれ出力することにより、信号処理部52及びA/D変換部53の動作を制御する。
【0056】
信号処理部52は、撮像素子101から出力されるアナログの画像信号に所定のアナログ信号処理を施すもので、CDS(相関二重サンプリング)回路、AGC(オートゲインコントロール)回路及びクランプ回路等が設けられている。このAGC回路では、撮像素子101で生成された画像信号を増幅率(ゲイン)可変に増幅することができる。また、A/D変換部53は、信号処理部52から出力されたアナログのR、G、Bの画像信号を、タイミング制御回路51から出力されるタイミングパルスに基づいて、複数のビット(例えば12ビット)からなるデジタルの画像信号に変換するものである。
【0057】
画像処理部61は、AFE5から出力される画像データに所定の信号処理を行って画像ファイルを作成するもので、黒レベル補正回路611、ホワイトバランス補正回路612及びガンマ補正回路613等を備えて構成されている。なお、画像処理部61へ取り込まれた画像データは、撮像素子101の読み出しに同期して画像メモリ614に一旦書き込まれ、以後この画像メモリ614に書き込まれた画像データにアクセスして、画像処理部61の各ブロックにおいて処理が行われる。
【0058】
黒レベル補正回路611は、A/D変換部53によりA/D変換されたR、G、Bの各デジタル画像信号の黒レベルを、基準の黒レベルに補正するものである。
【0059】
ホワイトバランス補正回路612は、光源に応じた白の基準に基づいて、R(赤)、G(緑)、B(青)の各色成分のデジタル信号のレベル変換(ホワイトバランス(WB)調整)を行うものである。すなわち、ホワイトバランス補正回路612は、メイン制御部62(の光源推定部621)と協働して、撮影被写体において輝度や彩度データ等から本来白色であると推定される部分を特定し、その部分のR、G、Bそれぞれの色成分の積分(または平均)と、G/R比及びG/B比とを求め、これをR、Bの補正ゲイン(ホワイトバランスゲイン)としてレベル補正する。
【0060】
ガンマ補正回路613は、WB調整された画像データの階調特性を補正するものである。具体的にはガンマ補正回路613は、画像データのレベルを色成分毎に予め設定されたガンマ補正用テーブルを用いて非線形変換するとともにオフセット調整を行う。
【0061】
画像メモリ614は、撮影モード時には、画像処理部61から出力される画像データを一時的に記憶するとともに、この画像データに対しメイン制御部62により所定の処理を行うための作業領域として用いられるメモリである。また、再生モード時には、メモリカード67から読み出した画像データを一時的に記憶する。
【0062】
メイン制御部62は、マイクロコンピュータとして構成されており、主にCPU、RAMおよびROMを備えている。このメイン制御部62は、ROM内に格納されるプログラムを読み出し、当該プログラムをCPUで実行することによって、各種機能をソフトウェア的に実現する。例えば、メイン制御部62は、位相差AFモジュール107およびフォーカス駆動制御部71A等と協動して、フォーカスレンズ211の位置を制御する合焦制御動作を行う。
【0063】
また、メイン制御部62は、ソフトウェア的に実現される光源推定部621を有している。光源推定部621は、ホワイトバランス補正回路612において適切なホワイトバランス補正が行えるように、撮像素子101で撮像して取得された画像(以下では「撮像画像」ともいう)に基づき光源の推定処理を行う。この光源推定部621における光源の推定処理では、太陽光やタングステン光源などの複数の光源候補から被写体を照らす光源を抽出する処理が行われるが、この処理の詳細については後述する。そして、光源推定部621での推定処理によって推定された光源に基づきホワイトバランス補正回路612にてホワイトバランス補正が行われる。
【0064】
フラッシュ回路63は、フラッシュ撮影モードにおいて、フラッシュ部318または接続端子部319に接続される外部フラッシュの発光量を、メイン制御部62により設定された発光量に制御するものである。
【0065】
操作部64は、上述のモード設定ダイアル305、制御値設定ダイアル306、シャッターボタン307、設定ボタン群312、十字キー314、プッシュボタン315、メインスイッチ317等を含み、操作情報をメイン制御部62に入力するためのものである。
【0066】
VRAM65は、LCD311の画素数に対応した画像信号の記憶容量を有し、メイン制御部62とLCD311との間のバッファメモリである。カードI/F66は、メモリカード67とメイン制御部62との間で信号の送受信を可能とするためのインターフェースである。メモリカード67は、メイン制御部62で生成された画像データを保存する記録媒体である。通信用I/F68は、パーソナルコンピュータやその他の外部機器に対する画像データ等の伝送を可能とするためのインターフェースである。
【0067】
電源回路69は、例えば定電圧回路等からなり、メイン制御部62等の制御部、撮像素子101、その他の各種駆動部等、撮像装置1全体を駆動させるための電圧を生成する。なお、撮像素子101への通電制御は、メイン制御部62から電源回路69に与えられる制御信号により行われる。電池69Bは、ニッケル水素充電池等の二次電池や、アルカリ乾電池等の一次電池からなり、撮像装置1全体に電力を供給する電源である。
【0068】
ミラー駆動制御部72Aは、撮影動作のタイミングに合わせて、ミラー駆動アクチュエータ72Mを駆動させる駆動信号を生成するものである。ミラー駆動アクチュエータ72Mは、ミラー部103(クイックリターンミラー)を、水平姿勢若しくは傾斜姿勢に回動させるアクチュエータである。
【0069】
シャッタ駆動制御部73Aは、メイン制御部62から与えられる制御信号に基づき、シャッタ駆動アクチュエータ73Mに対する駆動制御信号を生成するものである。シャッタ駆動アクチュエータ73Mは、シャッタユニット40の開閉駆動(開閉動作)を行うアクチュエータである。
【0070】
絞り駆動制御部76Aは、メイン制御部62から与えられる制御信号に基づき、絞り駆動アクチュエータ76Mに対する駆動制御信号を生成するものである。絞り駆動アクチュエータ76Mは、カプラ75を介して絞り駆動機構27に駆動力を与える。
【0071】
[光源の推定処理について]
本実施形態の撮像装置1では、被写体を照らす光源の推定処理において、撮像素子101で取得された撮像画像に基づき、その撮像時に被写体を照明している光源として有り得ない光源を特定し、これを光源の候補から除外する処理(以下では「光源除外処理」ともいう)が可能な構成となっている。この光源除外処理について、まず具体例としてタングステン光源を挙げて説明する。
【0072】
図6は、タングステン光源下と太陽光下とで測定した各色の分布を示す図である。この図6では、横軸が赤色(R)のレベルに対する緑色(G)のレベルの比率(評価値)を示し、縦軸が青色(B)のレベルに対する緑色(G)のレベルの比率(評価値)を示している。そして、太陽光下の各色を白抜きの四角マークで表し、タングステン光源下の各色を白抜きの三角マークで表している。
【0073】
図6のように、太陽光で照明された被写体の各色(赤色Pr、緑色Pg、青色Pb、黄色Py、マゼンタ色Pm、シアン色Pc)は、タングステン光源で照明されると、図中の矢印のように色分布が変化する。すなわち、タングステン光源で照明された被写体の各色(赤色Qr、緑色Qg、青色Qb、黄色Qy、マゼンタ色Qm、シアン色Qc)は、太陽光下に比べて赤みがかった方向に分布することとなる。
【0074】
このような太陽光下およびタングステン光源下における色分布の違いを利用し、撮像装置1では、タングステン光源を除外する処理(光源除外処理)を行えるようになっている。具体的には、図7に示すように太陽光下では存在するがタングステン光源下では存在しない色の領域(色領域)Ev(網掛け部)を、予め各光源で測定したデータに基づき色空間に設定する。この領域Ev内の色、例えば太陽光下の青色Pbやシアン色Pcが撮像画像から検出される場合には、その撮像時の光源がタングステン光源でないことを判断でき、これを光源推定で除外することが可能となる。このように図7に示す色空間においてタングステン光源(特定の光源)下では現れない色領域Evに属する色が撮像画像から検出される場合に、このタングステン光源を光源の推定処理において除外すれば、光源の推定精度が向上し、延いてはホワイトバランス補正を精度良く行えることとなる。
【0075】
そして、撮像装置1では、光源の推定処理において光源の候補からタングステン光源が除外される場合には、これを反映したホワイトバランス補正(ホワイトバランス制御)が可能になっている。以下では、このホワイトバランス補正を説明する。
【0076】
図8は、タングステン光源が除外される場合のホワイトバランス補正を説明するための図である。この図8では、図6と同様に、横軸が評価値(G/R)を示し、縦軸が評価値(G/B)を示している。なお、図8において矢印Acが色温度の低い方向を表し、矢印Adが色温度の高い方向を表している。
【0077】
撮像装置1では、黒体放射線Cvに沿って湾曲した帯状の領域Eoが、被写体における白色部分の検出に用いるホワイトバランス補正用の白色検出領域として色空間に規定されている。この領域Eoは、太陽光やタングステン光源などの様々な光源下で予め白い被写体を撮影して得られた評価値(G/R、G/B)に基づいて設定されている。すなわち、領域Eoは、複数の光源候補それぞれに関する白色検出領域の和領域(OR領域)であって、これらの白色検出領域を包括する領域(以下では「白色検出の包括領域」ともいう)として規定されている。
【0078】
そして、撮像時の光源がタングステン光源でないと判断された場合には、この白色検出の包括領域Eoからタングステン光源下の白色検出領域Et(網掛け部)を除外した(切り欠いた)領域Eaを、ホワイトバランス補正に用いる白色検出領域(以下では「補正用の白色検出領域」ともいう)として設定する。これにより、被写体を照らす光源として有り得ない光源を除外したホワイトバランス補正を行えるため、精度の良い補正が可能となる。
【0079】
以上ではタングステン光源を除外する手法を述べたが、次に、被写体を照明する光源としての日陰(以下では「日陰の光源」ともいう)を除外する手法について説明する。
【0080】
図9は、図6に対応しており、日陰の光源下と太陽光下とで測定した各色の分布を示す図である。
【0081】
図9のように、太陽光で照明された被写体の各色(赤色Pr、緑色Pg、青色Pb、黄色Py、マゼンタ色Pm、シアン色Pc)は、日陰の光源下では、図中の矢印のように色分布が変化する。すなわち、日陰の光源下における被写体の各色(赤色Sr、緑色Sg、青色Sb、黄色Sy、マゼンタ色Sm、シアン色Sc)は、太陽光下に比べて青みがかった方向に分布することとなる。
【0082】
このような太陽光下および日陰の光源下における色分布の違いを利用し、撮像装置1では、日陰についての光源除外処理を行えるようになっている。具体的には、図10に示すように太陽光下では存在するが日陰の光源下では存在しない色の領域(色領域)Ew(網掛け部)を、予め各光源で測定したデータに基づき色空間に設定する。この領域Ew内の色、例えば太陽光下の黄色Pyが撮像画像から検出される場合には、その撮像時の光源が日陰の光源でないことを判断でき、これを光源推定で除外することが可能となる。このように図10に示す色空間において日陰の光源(特定の光源)下では現れない色領域Ewに属する色が撮像画像から検出される場合に、この日陰の光源を光源の推定処理において除外すれば、光源の推定精度が向上し、延いてはホワイトバランス補正を精度良く行えることとなる。
【0083】
そして、撮像装置1では、光源の推定処理において光源の候補から日陰の光源が除外される場合には、これを反映したホワイトバランス補正(ホワイトバランス制御)が可能になっている。以下では、このホワイトバランス補正を説明する。
【0084】
図11は、図8に対応しており、日陰の光源が除外される場合のホワイトバランス補正を説明するための図である。
【0085】
図11においては、図8と同様に黒体放射線Cvに沿って湾曲した帯状の形状を有する白色検出の包括領域Eoが、ホワイトバランス補正で用いる白色検出領域として色空間に設定されている。
【0086】
そして、撮像時の光源が日陰の光源でないと判断された場合には、この白色検出の包括領域Eoから日陰の光源下の白色検出領域Es(網掛け部)を除外した領域Ebを、補正用の白色検出領域として設定する。これにより、考慮する必要のない光源を除外したホワイトバランス補正を行えるため、精度の良い補正が可能となる。
【0087】
以上のように撮像装置1では、タングステン光源や日陰の光源を除外する光源除外処理と、この光源除外処理を反映したホワイトバランス補正処理とが可能となっているが、これらの処理に関する撮像装置1の具体的な動作を以下で説明する。
【0088】
[撮像装置1の動作について]
図12は、光源除外処理に関する撮像装置1の基本的な動作を示すフローチャートである。この動作は、メイン制御部62によって実行される。
【0089】
ステップST1では、撮像素子101で撮像し取得された撮像画像を複数のブロックに分割する。具体的には、図13に示すように撮像画像Gsを縦・横方向に領域分割し、例えば1200個(=水平40個×垂直30個)のブロック(部分領域)Bkを規定(設定)する。このように領域分割して各ブロックBk毎の演算を行えば、画像全体で必要な演算量の削減が図れることとなる。
【0090】
ステップST2では、ステップST1で規定した各ブロックBk毎にRGBの画素値を積分する。具体的には、各ブロックBk内で画像を構成する各画素の輝度レベルを赤(R)、緑(G)および青(B)毎に加算する。
【0091】
ステップST3では、ステップST2で積分したRGBの画素値に基づき、各ブロックBk毎にホワイトバランス補正で用いる評価値(G/R、G/B)を算出する。具体的には、各ブロックBkにおいて、赤色(R)の積分値に対する緑色(G)の積分値の比率を評価値(G/R)として求めるとともに、青色(B)の積分値に対する緑色(G)の積分値の比率を評価値(G/B)として求める。
【0092】
ステップST4では、ステップST3で算出された評価値が、特定の光源下で存在しない色領域(以下では「不存在の色領域」ともいう)内にあるかを判定する。具体的には、各ブロックBkの評価値のいずれかが、例えばタングステン光源(特定の光源)下で現れない色の領域Ev(図7)に含まれるか否かの判断や、日陰の光源(特定の光源)下で現れない色の領域Ew(図10)に含まれるか否かの判断を行う。ここで、評価値が不存在の色領域内にある場合には、ステップST5に進み、そうでない場合には、本フローチャートを抜ける。
【0093】
ステップST5では、ステップST4で評価値が含まれる不存在の色領域を有した特定の光源(例えばタングステン光源や日陰の光源)を、後述のホワイトバランス補正処理で除外する光源(以下では「除外光源」ともいう)として設定する。
【0094】
以上のように撮像装置1においては、撮像画像Gsに規定される複数個のブロック(部分領域)Bk(図13)のうち少なくとも1個のブロックBkで、タングステン光源下や日陰の光源下で現れない色領域Ev(図7)、Ew(図10)に属する色が検出される場合には、光源推定部621での光源推定処理において上記のタングステン光源や日陰の光源が除外される。これにより、光源の推定精度が向上して、次で説明するホワイトバランス補正処理を精度良く行えることとなる。
【0095】
図14は、ホワイトバランス補正処理に関する撮像装置1の基本的な動作を示すフローチャートである。この動作は、メイン制御部62によって実行される。
【0096】
ステップST11では、図12に示すステップST5の動作により除外光源が設定されているかを判定する。ここで、除外光源が設定されている場合には、ステップST12に進み、設定されていない場合には、ステップST13に進む。
【0097】
ステップST12では、上記のステップST5で設定された除外光源の白色検出領域を上述した白色検出の包括領域Eoから除外して補正用の白色検出領域を規定する。例えば、タングステン光源が除外光源として設定されている場合には、図8のように白色検出の包括領域Eoからタングステン光源下の白色検出領域Etが除外され、補正用の白色検出領域Eaが設定される。また、日陰の光源が除外光源として設定されている場合には、図11のように白色検出の包括領域Eoから日陰の光源下の白色検出領域Esが除外され、補正用の白色検出領域Ebが設定される。
【0098】
ステップST13では、白色検出の包括領域Eo(図8、図11)を補正用の白色検出領域に規定する。
【0099】
以上のようにステップST12では、特定の光源下で現れない色領域に属する色が撮像画像から検出される場合には、この特定の光源に係る白色検出領域を白色検出の包括領域Eoから除外した領域が、補正用の白色検出領域(規定領域)として設定される。一方、ステップST13では、特定の光源下で現れない色領域に属する色が撮像画像から検出されない場合には、白色検出の包括領域Eoが補正用の白色検出領域として設定される。これにより、ホワイトバランス補正に必要な補正用の白色検出領域を適切に定めることが可能となる。
【0100】
ステップST14〜ST16では、図12のフローチャートに示すステップST1〜ST3と同様の動作を行う。
【0101】
ステップST17では、ステップST12またはステップST13で規定された補正用の白色検出領域にステップST16で算出された評価値が含まれるブロックBkを抽出し、この抽出されたブロックBkを白色と判断して、そのRGBの画素値を積分する。
【0102】
ステップST18では、ステップST17において補正用の白色検出領域(規定領域)に基づき得られた結果(RGBの積分値)から、ホワイトバランスゲイン(ホワイトバランス補正値)を決定する。そして、この決定されたホワイトバランスゲインに基づく補正を行えば、適切なホワイトバランス補正が可能となる。この場合、被写体が写る撮像画像から公知(周知)の手法によって主要被写体(例えば人物)を検出し、その主要被写体に関する画像部分に対してホワイトバランス補正を施すようにするのが好ましい。これにより、主要被写体に対して適切なホワイトバランス補正を行えることとなる。
【0103】
以上のような撮像装置1の動作により、特定の光源(上記のタングステン光源や日陰の光源)下では存在しない色領域Ev(図7)、Ew(図10)内の色が撮像画像から検出される場合には、この特定の光源が光源推定処理で除外される。その結果、光源の推定精度が高まって精度の良いホワイトバランス補正が可能となる。
【0104】
<変形例>
上記の実施形態における光源除外処理については、タングステン光源や日陰の光源を除外するのは必須でなく、上述した不存在の色領域を有した他の光源を除外するようにしても良い。
【0105】
本発明は詳細に説明されたが、以上の説明は、すべての局面において、例示であって、この発明がそれに限定されるものではない。例示されていない無数の変形例が、この発明の範囲から外れることなく想定され得るものと解される。
【符号の説明】
【0106】
1 撮像装置
2 交換レンズ
10 カメラボディ
62 メイン制御部
101 撮像素子
612 ホワイトバランス補正回路
621 光源推定部
Bk ブロック
Ea、Eb 補正用の白色検出領域
Eo 白色検出の包括領域
Es 日陰の光源下の白色検出領域
Et タングステン光源下の白色検出領域
Ev タングステン光源下では存在しない色の領域(不存在の色領域)
Ew 日陰の光源下では存在しない色の領域(不存在の色領域)

【特許請求の範囲】
【請求項1】
被写体を撮像し撮像画像を取得する撮像手段と、
前記撮像画像に基づき前記被写体を照らす光源の推定処理を行う光源推定手段と、
前記推定処理によって推定された光源に基づきホワイトバランス補正を行う補正手段と、
を備え、
前記光源推定手段は、
色空間において特定の光源下では現れない色領域に属する色を、前記撮像画像から検出する検出手段と、
前記検出手段により前記撮像画像から前記色領域に属する色が検出される場合には、前記推定処理において前記特定の光源を除外する除外手段と、
を有する撮像装置。
【請求項2】
前記除外手段は、
前記撮像画像を領域分割し、複数の部分領域を規定する規定手段と、
前記複数の部分領域のうち少なくとも1の部分領域で前記色領域に属する色が検出される場合には、前記推定処理において前記特定の光源を除外する手段と、
を有する請求項1記載の撮像装置。
【請求項3】
前記補正手段は、
前記推定処理によって推定された光源に基づき、前記被写体のうちの主要被写体に係る画像部分に対して前記ホワイトバランス補正を行う手段、
を有する請求項1記載の撮像装置。
【請求項4】
前記推定処理では、複数の光源候補から前記被写体を照らす光源を抽出する処理が行われ、
前記補正手段は、
前記被写体における白色部分の検出に用いる白色検出領域として前記色空間に規定される規定領域に基づき、前記ホワイトバランス補正を行うホワイトバランス補正手段、
を有するとともに、
前記ホワイトバランス補正手段は、
前記検出手段により前記撮像画像から前記色領域に属する色が検出されない場合には、前記複数の光源候補それぞれに係る前記白色検出領域を包括する包括領域を、前記規定領域として設定する第1設定手段と、
前記検出手段により前記撮像画像から前記色領域に属する色が検出される場合には、前記包括領域から前記特定の光源に係る前記白色検出領域を除外した領域を、前記規定領域として設定する第2設定手段と、
を有する請求項1記載の撮像装置。
【請求項5】
被写体を撮像し撮像画像を取得する撮像工程と、
前記撮像画像に基づき前記被写体を照らす光源の推定処理を行う光源推定工程と、
前記推定処理によって推定された光源に基づきホワイトバランス補正を行う補正工程と、
を備え、
前記光源推定工程は、
色空間において特定の光源下では現れない色領域に属する色を、前記撮像画像から検出する検出工程と、
前記検出工程で前記撮像画像から前記色領域に属する色が検出される場合には、前記推定処理において前記特定の光源を除外する除外工程と、
を有するホワイトバランス補正方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate


【公開番号】特開2011−49720(P2011−49720A)
【公開日】平成23年3月10日(2011.3.10)
【国際特許分類】
【出願番号】特願2009−195034(P2009−195034)
【出願日】平成21年8月26日(2009.8.26)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】