説明

撮像装置

【課題】適切な色の画像になるよう色調節することが可能な撮像装置を提供することを目的とする。
【解決手段】デジタルカメラ100は、被写体像を撮像して画像情報を生成するCCDイメージセンサ120と、画像情報のホワイトバランスを調節するための、ホワイトバランス制御値を算出する光源推定部182と、ホワイトバランス制御値に従って画像情報のホワイトバランスを調節するWB制御部183と、ホワイトバランスが調節された後の画像情報に対して、ホワイトバランス制御値に対応する色を補正する色調節部184とを備える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は撮像装置に関し、特にホワイトバランス調節が可能な撮像装置に関する。
【背景技術】
【0002】
動画や静止画を撮影するデジタルカメラ等の撮像装置は、撮像している被写体の光源の色温度を検出し、無彩色が無彩色に、すなわち白が白になるようにホワイトバランスを制御するホワイトバランス調節機能を搭載している。例えば、特許文献1は、撮像手段から出力される画像情報を複数の領域に分割し、分割された複数の領域の各々について所定の基準に従って選択又は非選択の決定を行い、選択された複数の情報に基づいてホワイトバランスゲインを決定し、ホワイトバランスを調節する撮像装置を開示している。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2002−095004号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、このようなホワイトバランスを調節する撮像装置では、例えば、水銀灯光源と、蛍光灯など他の光源とが混在しているような撮影において、それぞれの光源に合ったホワイトバランス調節ができず、緑がかった画像や赤みがかった画像が生成されてしまうという課題があった。
【0005】
本発明は上記課題に鑑みてなされたものであり、撮像した画像が適切な色の画像になるよう色調節することが可能な撮像装置を提供する。
【課題を解決するための手段】
【0006】
上記課題を解決するために、本発明の撮像装置は、被写体像を撮像して画像情報を生成する撮像部と、前記画像情報のホワイトバランスを調節するための、ホワイトバランス制御値を算出する制御値算出部と、前記ホワイトバランス制御値に従って前記画像情報のホワイトバランスを調節するホワイトバランス調節部と、ホワイトバランスが調節された後の画像情報に対して、前記ホワイトバランス制御値に対応する色を補正する色調節部とを備えることを特徴とする。
【0007】
ある実施の形態によれば、前記制御値算出部は、第一の色範囲に含まれる前記画像情報の色情報に基づいて第一のホワイトバランス制御値を算出し、第二の色範囲に含まれる前記画像情報の色情報に基づいて第二のホワイトバランス制御値を算出し、前記制御値算出部は、前記第一のホワイトバランス制御値と前記第二のホワイトバランス制御値との比較結果に応じて、前記画像情報のホワイトバランスを調節するための前記ホワイトバランス制御値を決定する。
【0008】
ある実施の形態によれば、前記第一の色範囲は、前記画像情報全体の色範囲であり、前記第二の色範囲は、特定の光源色を示す色範囲であって、前記色調節部は、前記第一のホワイトバランス制御値に従って前記画像情報がホワイトバランス調節されたときは、前記特定の光源色に対応する第一の色を補正し、前記色調節部は、前記第二のホワイトバランス制御値に従って前記画像情報がホワイトバランス調節されたときは、前記特定の光源色に対応する第二の色を補正する。
【0009】
ある実施の形態によれば、前記特定の光源は、水銀灯であり、前記第一の色は緑色であり、前記第二の色はマゼンタである。
【0010】
ある実施の形態によれば、前記特定の光源は、ナトリウムランプであり、前記第一の色は橙色であり、前記第二の色は青色である。
【0011】
ある実施の形態によれば、前記第一の色と前記第二の色とは補色の関係にある。
【0012】
ある実施の形態によれば、前記画像情報を複数のブロックに分割し、前記ブロックごとの原色の光量の平均値を示すブロックメモリデータを算出するブロックメモリデータ算出部をさらに備え、前記制御値算出部は、前記第一の色範囲に対応する前記ブロックメモリデータに基づいて前記第一のホワイトバランス制御値を算出し、前記第二の色範囲に対応する前記ブロックメモリデータに基づいて前記第二のホワイトバランス制御値を算出する。
【0013】
ある実施の形態によれば、前記制御値算出部は、前記第一のホワイトバランス制御値と前記第二のホワイトバランス制御値との差を算出し、前記差と所定のしきい値との大小関係に応じて、前記第一および第二のホワイトバランス制御値のうちの一方を、前記画像情報のホワイトバランスを調節するための前記ホワイトバランス制御値として採用する。
【0014】
また、上記課題を解決するために、本発明の画像処理方法は、入力された画像情報のホワイトバランスを調節するための、ホワイトバランス制御値を算出するステップと、前記ホワイトバランス制御値に従って前記画像情報のホワイトバランスを調節するステップと、ホワイトバランスが調節された後の画像情報に対して、前記ホワイトバランス制御値に対応する色を補正するステップとを包含することを特徴とする。
【発明の効果】
【0015】
本発明によれば、撮像部により生成された画像情報がホワイトバランス制御値に従ってホワイトバランスが調節された後、その画像情報に対して、該ホワイトバランス制御値に対応する色を補正する。これにより、撮像した画像を適切な色の画像になるよう色調節することができる。
【図面の簡単な説明】
【0016】
【図1】本発明の実施の形態1に係るデジタルカメラの前面構成図である。
【図2】本発明の実施の形態1に係るデジタルカメラの背面構成図である。
【図3】本発明の実施の形態1に係るデジタルカメラの電気的構成図である。
【図4】本発明の実施の形態1に係るBM積算回路の機能の概要を説明する図である。
【図5】本発明の実施の形態1に係るWB補正回路の構成図である。
【図6】本発明の実施の形態1に係る色調節動作を説明するフローチャートである。
【図7】本発明の実施の形態1に係るBMデータごとのWB制御値(ゲイン)を説明する図である。
【図8】本発明の実施の形態1に係る水銀灯色範囲でのWB制御値平均と、画像全体でのWB制御値平均との差が大きい状態を説明する図である。
【図9】本発明の実施の形態1に係る水銀灯色範囲でのWB制御値平均と、画像全体でのWB制御値平均との差が小さい状態を説明する図である。
【発明を実施するための形態】
【0017】
〔実施の形態1〕
本発明の実施の形態1のデジタルカメラ100では、CCDイメージセンサ120(図3)により生成された画像情報がホワイトバランス制御値に従ってホワイトバランスが調節された後、その画像情報に対して、該ホワイトバランス制御値に対応する色を補正する。これにより、適切な色の画像になるよう色調節することができる。以下、デジタルカメラ100の構成および動作を説明する。
【0018】
〔1.構成〕
以下、図を用いてデジタルカメラ100の構成を説明する。
【0019】
〔1−1.デジタルカメラ100の構成〕
図1は、デジタルカメラ100の前面構成図である。デジタルカメラ100は前面に光学系110を納める鏡筒や、フラッシュ160を備える。また、デジタルカメラ100は上面にレリーズ釦201やズームレバー202、電源釦203などの操作釦を備える。
【0020】
図2は、デジタルカメラ100の背面構成図である。デジタルカメラ100は背面に液晶モニタ123や、中央釦204や十字釦205などの操作釦を備える。
【0021】
図3は、デジタルカメラ100の電気的構成図である。デジタルカメラ100は、光学系110を介して形成された被写体像をCCDイメージセンサ120で撮像する。CCDイメージセンサ120は撮像した被写体像に基づく画像情報を生成する。撮像により生成された画像情報は、AFE(アナログ・フロント・エンド)121や画像処理部122において各種処理が施される。生成された画像情報はフラッシュメモリ142やメモリカード140に記録される。フラッシュメモリ142やメモリカード140に記録された画像情報は、使用者による操作部150の操作を受け付けて液晶モニタ123上に表示される。以下に、図1から図3に示す各構成要素の詳細を説明する。
【0022】
光学系110は、フォーカスレンズ111やズームレンズ112、絞り113、シャッタ114等を備える。図示していないが、光学系110は、光学式手ぶれ補正レンズOIS(Optical Image Stabilizer)を含んでいてもよい。なお、光学系110を構成する各種レンズは何枚から構成されるものでも、何群から構成されるものでもよい。また、絞り113に代えて、光量調節にNDフィルタを用いてもよい。
【0023】
フォーカスレンズ111は被写体のフォーカス状態の調節に用いられる。ズームレンズ112は被写体の画角の調節に用いられる。絞り113は、CCDイメージセンサ120に入射する光量の調節に用いられる。シャッタ114は、CCDイメージセンサ120に入射する光の露出時間を調節する。フォーカスレンズ111、ズームレンズ112、絞り113、シャッタ114は、それぞれに対応したDCモータやステッピングモータ等の駆動手段により、コントローラ130から通知された制御信号に従って駆動される。
【0024】
CCDイメージセンサ120は、光学系110を通して形成された被写体像を撮像して画像情報を生成する。CCDイメージセンサ120の受光面には多数のフォトダイオードが2次元的に配列されている。また、各フォトダイオードに対応してR、G、Bの原色カラーフィルタが所定の配列構造で配置されている。図4(b)に示す例では、各フォトダイオードに対応して、R、G、Bのカラーフィルタが1:2:1の比率にて配置されている。撮像対象となる被写体からの光は、光学系110を通過した後に、CCDイメージセンサ120の受光面に結像される。結像された被写体像は、各フォトダイオードへ入射した光量に応じてR、G、Bに仕分けられた色情報に変換される。その結果、被写体像を示す全体の画像情報が生成される。各フォトダイオードは、CCDイメージセンサ120の画素に対応する。しかし、各フォトダイオードから実際に出力される色情報は、R、G、Bのいずれかの原色情報である。そのため、各画素のそれぞれで発現させるべき色は、後段の画像処理部122において、各画素に対応するフォトダイオードおよび、その周辺のフォトダイオードから出力される原色情報(色、光量)に基づき生成される。以下の説明において、各画素のそれぞれで発現すべき色を構成するR、G、Bの組合せを(R、G、B)と表記することにする。このとき、(R、G、B)の各成分のR、G、Bは、それぞれの原色の組合せ度合を示す。なお、CCDイメージセンサ120は、デジタルカメラ100が撮影モードにあるとき、一定時間ごとに新しいフレームの画像情報を生成することができる。
【0025】
AFE121では、CCDイメージセンサ120から読み出された画像情報に対して、相関二重サンプリングによる雑音抑圧、アナログゲインコントローラによるADコンバータ(図示せず)の入力レンジ幅への増幅、ADコンバータによるAD変換が施される。その後、AFE121は画像情報を画像処理部122に出力する。
【0026】
画像処理部122は、AFE121から出力された画像情報に対して各種の処理を施す。各種処理としては、BM(ブロックメモリ)積算、スミア補正、ホワイトバランス補正、ガンマ補正、YC変換処理、電子ズーム処理、圧縮処理、伸張処理等が挙げられるが、本発明はこれらに限定されるものではない。画像処理部122は、ハードワイヤードな電子回路で構成してもよいし、プログラムを用いたマイクロコンピュータなどで構成してもよい。またコントローラ130等とともに1つの半導体チップで構成してもよい。
【0027】
BM積算回路170は、入力された画像情報に対してBMデータを生成するために、画像処理部122に有する回路である。図4は、BM積算回路170の機能を説明する図である。図4(a)に示すように、BM積算回路170は、入力された同一フレームの画像情報を複数のブロックに分割する。例えば、同一フレームの画像情報を縦12×横12の144個のブロックに分割する。ここで、図4(b)に示すように、分割された各ブロックは、R、G、Bの各原色情報を、ブロック内に含まれる画素数分有する。
【0028】
続いて、BM積算回路170は、各ブロックにおいて、ブロック内に含まれる画素数分のR、G、Bの各チャネルの値を積算し、ブロック内のR光量、G光量、B光量それぞれの平均値を算出する。ここで、実施の形態1の例では、各フォトダイオードに対応して、R、G、Bのカラーフィルタが1:2:1の比率にて配置されているため、Gのチャネル数は、RやBのチャネル数よりも2倍多い。BM積算回路170は、このR、G、Bのチャネル数を考慮して、ブロック内のR光量、G光量、B光量それぞれの平均値を算出する。この算出されたブロック内のR、G、Bそれぞれの平均値を、以下の説明においてBMデータと呼ぶことにする。ブロック内のR、G、Bそれぞれの平均値をRAVG、GAVG、BAVGとしたとき、そのブロックのBMデータは、(RAVG、GAVG、BAVG)と表すことができる。算出されたBMデータは、ブロック毎にメモリ(不図示)に格納され、必要に応じて取り出される。以上のようにして、BM積算回路170は、分割した144個のブロックのそれぞれにおいてBMデータを生成する。
【0029】
ホワイトバランス補正回路180(以下、WB補正回路180と呼ぶことにする)は、入力された画像情報に対して、ホワイトバランス(WB)の調節や特定の色の補正をするために、画像処理部122に有する回路である。図5にWB補正回路180の構成を示す。WB補正回路180は、入力端子181、光源推定部182、WB制御部183、色調節部184、出力端子185を備える。
【0030】
入力端子181は、入力されたBMデータや画像情報を、光源推定部182と、WB制御部183にそれぞれ供給する。光源推定部182、WB制御部183、色調節部184のそれぞれの機能の詳細については後述する。出力端子185は、光源推定部182、WB制御部183、色調節部184によって適切な色に調節された画像情報を出力する。WB補正回路180から出力された画像情報は、画像処理部122による他の画像処理が施される。
【0031】
液晶モニタ123(図2、図3)は、デジタルカメラ100の背面に備わる。液晶モニタ123は、画像処理部122にて処理された画像情報に基づく画像を表示する。液晶モニタ123が表示する画像には、スルー画像や記録画像がある。スルー画像は、CCDイメージセンサ120により一定時間ごとに生成される新しいフレームの画像を連続して表示する画像である。通常は、デジタルカメラ100が撮影モードにあるときに、画像処理部122がCCDイメージセンサ120の生成した画像情報からスルー画像を生成する。使用者は、液晶モニタ123に表示されるスルー画像を参照することにより、被写体の構図を確認しながら撮影できる。記録画像は、デジタルカメラ100が再生モードにあるときに、メモリカード140等に記録された高画素の画像を液晶モニタ123に表示するために低画素に縮小した画像である。メモリカード140に記録される高画素の画像情報は、使用者によるレリーズ釦201の操作を受け付けた後に、CCDイメージセンサ120が生成した画像情報に基づいて画像処理部122により生成される。
【0032】
コントローラ130は、デジタルカメラ100全体の動作を統括制御する。コントローラ130は、プログラム等の情報を格納するROMや、プログラム等の情報を処理するCPUなどにより構成される。ROMは、オートフォーカス制御(AF制御)や自動露出制御(AE制御)、フラッシュ160の発光制御に関するプログラムの他、デジタルカメラ100全体の動作を統括制御するためのプログラムを格納している。
【0033】
コントローラ130は、ハードワイヤードな電子回路で構成してもよいし、マイクロコンピュータなどで構成してもよい。また、画像処理部122などと共に1つの半導体チップで構成してもよい。また、ROMはコントローラ130の内部構成である必要はなく、コントローラ130の外部に備わったものでもよい。
【0034】
バッファメモリ124は、画像処理部122やコントローラ130のワークメモリとして機能する記憶手段である。バッファメモリ124はDRAM(Dynamic Random Access Memory)などで実現できる。また、フラッシュメモリ142は、画像情報等を記録するための内部メモリとして機能する。
【0035】
カードスロット141は、メモリカード140を着脱可能な接続手段である。カードスロット141は、メモリカード140を電気的及び機械的に接続可能である。また、カードスロット141は、メモリカード120を制御する機能を備えてもよい。
【0036】
メモリカード140は、内部にフラッシュメモリ等の記録部を備えた外部メモリである。メモリカード140は、画像処理部122で処理される画像情報などのデータを記録可能である。
【0037】
操作部150は、デジタルカメラ100の外装に備わっている操作釦や操作ダイヤルの総称であり、使用者による操作を受け付ける。例えば図1や図2に示したレリーズ釦201や、ズームレバー202、電源釦203、中央釦204、十字釦205などがこれにあたる。操作部150は使用者による操作を受け付けると、コントローラ130に種々の動作指示信号を通知する。
【0038】
レリーズ釦201は、半押し状態と全押し状態の二段階押下式釦である。レリーズ釦201が使用者により半押しされると、コントローラ130は、AF(Auto Focus)制御や、AE(Auto Exposure)制御を実行し撮影条件を決定する。続いて、レリーズ釦201が、使用者により全押しされると、コントローラ130は、全押しのタイミングに撮像された画像情報を記録用画像としてメモリカード140等に記録する。
【0039】
ズームレバー202は画角調節についての広角端と望遠端を有する中央位置自己復帰式のレバーである。ズームレバー202は、使用者により操作されるとコントローラ130にズームレンズ112を駆動するための動作指示信号を通知する。すなわち、ズームレバー202が広角端に操作されると、コントローラ130は、被写体を広角で捉えられるようにズームレンズ112を駆動する。同様に、ズームレバー201が望遠端に操作されると、コントローラ130は、被写体を望遠で捉えられるようにズームレンズ112を駆動する。
【0040】
電源釦203は、デジタルカメラ100を構成する各部への電力供給をON/OFFするための押下式釦である。電源OFF時に電源釦203が使用者により押下されると、コントローラ130はデジタルカメラ100を構成する各部に電力を供給し、起動させる。また、電源ON時に電源釦203が使用者により押下されると、コントローラ130は各部への電力供給を停止する。
【0041】
中央釦204は、押下式釦である。デジタルカメラ100が撮影モードあるいは再生モードにあるときに、中央釦204が使用者により押下されると、コントローラ130は液晶モニタ123にメニュー画面を表示する。メニュー画面は、撮影/再生のための各種条件を設定するための画面である。各種条件の設定項目が選択されているときに押下されると、中央釦204は決定釦としても機能する。
【0042】
十字釦205は、上下左右方向に設けられた押下式釦である。使用者は、十字釦205のいずれかの方向を押下することにより、液晶モニタ123に表示される各種条件項目を選択することができる。
【0043】
フラッシュ160は、キセノン管と、コンデンサと、昇圧回路と、発光トリガ回路などから構成される。昇圧回路は、コントローラ130からの制御信号に従って、コンデンサに高電圧を印加する。発光トリガ回路は、コントローラ130からの制御信号に従って、印加充電されたコンデンサの高電圧を放電させて、キセノン管内のキセノンガスを瞬間的に発光させる。発光トリガ回路は、コンデンサの高電圧を撮影と同期して放電させる。これにより、デジタルカメラ100は、発光された光を受けた被写体を撮影することができる。すなわち、フラッシュ113が被写体に対して撮像時に瞬間的に発光することによって、被写体の明るさを補った撮影ができる。なお、フラッシュ160の発光には、プリ発光と本発光がある。プリ発光は、フラッシュ発光による被写体からの反射光量の度合(以下、反射レベルと称す)に基づいて被写体までの距離を判定し、判定結果に応じて撮影時のフラッシュ113の発光量を求めるための、撮影事前の発光である。本発光は、プリ発光により求められた発光量により、撮影のタイミングと同期して実行される発光である。
【0044】
〔1−2.各構成要素の対応関係〕
CCDイメージセンサ120は、本発明の撮像部の一例である。光源推定部182は、本発明の制御値算出部の一例である。WB制御部183は、本発明のホワイトバランス調節部の一例である。色調節部184は、本発明の色調節部の一例である。BM積算回路170は本発明のブロックメモリデータ算出部の一例である。コントローラ130は、本発明の制御部の一例である。画像情報全体の色範囲は、本発明の第一の色範囲の一例である。水銀灯は、本発明の特定の光源の一例である。デジタルカメラ100は、本発明の撮像装置の一例である。
【0045】
〔2.色調節動作〕
以下、図6を用いて、デジタルカメラ100の色調節動作を説明する。図6は、実施の形態1に係るデジタルカメラ100の色調節動作を示すフローチャートである。
【0046】
デジタルカメラ100が撮影モードにあるとき、CCDイメージセンサ120は、被写体像を撮像して画像情報を生成する(S301)。コントローラ130は、CCDイメージセンサ120が生成した画像情報を、AFE121において各種の処理が施された後、画像処理部122に出力する。続いて、コントローラ130は、画像処理部122に入力された画像情報から、上述のとおり、BM積算回路170にて、分割されたブロックのそれぞれのBMデータを生成する(S302)。コントローラ130は、生成された画像情報およびBMデータをWB補正回路180に出力する。
【0047】
コントローラ130は、分割されたブロックのそれぞれのBMデータをWB補正回路180内の光源推定部182に出力する。光源推定部182は、入力されたBMデータに基づいて、各BMデータに対するWB制御値(ゲイン)をそれぞれ算出する。このとき、光源推定部182は、例えば、色範囲ごとに設定された重み付けに従って、GをRで除算したり、GをBで除算したりして、WB制御値をそれぞれ算出する。
【0048】
図7は、分割されたBMごとに生成されたWB制御値をR−B空間にそれぞれプロットしたイメージ図である。画像信号が縦12×横12に分割されている場合、BMの総数は144個となるが、説明の便宜上、数個のみをプロットしたイメージ図としている。RおよびBを、Gで正規化して示す。即ち、図7の縦軸はG/Rとして求めたWB制御値を示し、横軸はG/Bとして求めたWB制御値を示している。ここで、コントローラ130内のROM(不図示)は、水銀灯色に対するWB制御値(ゲイン)の範囲情報(以下、水銀灯色範囲を呼ぶことにする)を有している。例えば、図7の直線70よりも右上の領域が水銀灯色に該当する。また、図7の実線の四角形で囲んだ範囲は、重み付けを行った場合の水銀灯色範囲を示している。コントローラ130は、水銀灯色範囲情報を参照することにより、この範囲内に含まれるWB制御値を有するBMの数を把握することができる。コントローラ130は、生成されたWB制御値において、水銀灯色範囲に含まれるBM数情報を光源推定部182に通知する。これにより、光源推定部182は、水銀灯色範囲に含まれるWB制御値の平均値、および色範囲全体でのWB制御値の平均値を算出することができる(S303)。
【0049】
続いて、光源推定部182は、水銀灯色範囲に含まれるWB制御値の平均値と、色範囲全体でのWB制御値の平均値とを比較し、WB制御値の平均値と色範囲全体でのWB制御値の平均値との差dを算出する(S304)。次に、光源推定部182は、算出した平均値の差d(絶対値)と、所定の閾値Dとを比較する(S305)。
【0050】
図8は、水銀灯色範囲でのWB制御値平均と、画像全体でのWB制御値平均との差dが所定の閾値Dよりも大きい状態を示す。また、図9は、水銀灯色範囲でのWB制御値平均と、画像全体でのWB制御値平均との差dが所定の閾値Dよりも小さい状態を示す。図8の状態の場合と図9の状態の場合とで、後段のWB調節にて使用するWB制御値が異なる。図8に示すように、平均値の差dが閾値Dよりも大きいことは、撮像された画像情報において、水銀灯光源の存在による色の影響が少ないことを示す。この場合、光源推定部182は、画像全体の色範囲で算出したWB制御値の平均値を、WB調節の際に使用するWB制御値として採用する(S306)。ここで採用されたWB制御値を、R、G、Bの順に(α、1、β)と、以下の説明において表記することにする。
【0051】
一方、図9に示すように、平均値の差dが閾値Dよりも小さいことは、撮像された画像情報において、水銀灯光源の存在による色の影響が大きいことを示す。この場合、光源推定部182は、水銀灯色範囲で算出したWB制御値の平均値を、WB調節の際に使用するWB制御値として採用する(S308)。ここで採用されたWB制御値を、R、G、Bの順に(α’、1、β’)と、以下の説明において表記することにする。光源推定部182は、採用したWB制御値をWB制御部183および色調節部184に通知する。なお、平均値の差dと閾値Dとが等しい場合は、画像全体の色範囲で算出したWB制御値の平均値を、WB調節の際に使用するWB制御値として採用するが、装置の設定によっては水銀灯色範囲で算出したWB制御値の平均値を、WB調節の際に使用するWB制御値として採用してもよい。
【0052】
WB制御部183は、入力端子181から画像情報を取得し、光源推定部182から、採用されたWB制御値を取得する。WB制御部183は、画像情報に対し、採用されたWB制御値に基づきWB調節を行う。即ち、WB制御部183は、画像情報のうちの、ある画素のR、G、Bの組合せ(R、G、B)に、ステップS306またはステップS308において採用されたWB制御値を乗じる。画像全体の色範囲で算出したWB制御値の平均値を、WB調節の際に使用するWB制御値として採用した場合、得られるWB調節後の色情報は(αR、G、βB)となる。一方、水銀灯色範囲で算出したWB制御値の平均値を、WB調節の際に使用するWB制御値として採用した場合、得られるWB調節後の色情報は(α’R、G、β’B)となる。WB制御部183は、WB調節後の画像情報を色調節部184に供給する。
【0053】
色調節部184は、WB制御部183からWB調節後の画像情報を取得する。また、色調節部184は、光源推定部182から、採用したWB制御値を取得する。色調節部184は、画像全体の色範囲と水銀灯の色範囲のいずれから算出したWB制御値を採用したかに基づいて、WB調節後の画像情報の色を調節する。
【0054】
画像全体の色範囲から算出したWB制御値を使用して画像情報をWB調節した場合、水銀灯光源の緑色が残った画像に仕上がる。この場合、色調節部184は、画像情報の色情報(αR、G、βB)から「緑色」を構成するR、G、Bの組合せの値を低めの値に調節する(S307)。例えば、10〜20%程度低い値に調節する。調節は1画素ごとに行うのが望ましい。色調節部184が「緑色」として認定するR、G、Bの値の取り得る範囲は予めROM(不図示)に記憶されている。これにより、色調節部184は、画像に残った水銀灯光源の緑色を調節して、適切な色の画像を得ることが可能となる。
【0055】
一方、水銀灯の色範囲から算出したWB制御値を使用して画像情報をWB調節した場合、水銀灯以外の光源の色が赤味を帯びた画像に仕上がる。この場合、色調節部184は、画像情報の色情報(α’R、G、β’B)から「マゼンタ」を構成するR、G、Bの組合せの値を低めの値に調節する(S309)。例えば、10〜20%程度低い値に調節する。調節は1画素ごとに行うのが望ましい。色調節部184が「マゼンタ」として認定するR、G、Bの値の取り得る範囲は予めROM(不図示)に記憶されている。これにより、色調節部184は、画像の赤味を帯びた部分を調節して、適切な色の画像を得ることが可能となる。
【0056】
〔3.まとめ〕
以上のように、実施の形態1に係るデジタルカメラ100は、被写体像を撮像して画像情報を生成するCCDイメージセンサ120と、画像情報のホワイトバランスを調節するための、ホワイトバランス制御値を算出する光源推定部182と、ホワイトバランス制御値に従って画像情報のホワイトバランスを調節するWB制御部183と、ホワイトバランスが調節された後の画像情報に対して、ホワイトバランス制御値に対応する色を補正する色調節部184とを備える。これにより、デジタルカメラ100は、CCDイメージセンサ120により生成された画像情報がホワイトバランス制御値に従ってホワイトバランスが調節された後、画像情報に対して、ホワイトバランス制御値に対応する色を補正する。従って、撮像した画像が適切な色の画像になるよう色調節することが可能なデジタルカメラ100を提供することができる。
【0057】
また、実施の形態1に係るデジタルカメラ100において、第一の色範囲に含まれる画像情報の色情報に基づいて第一のホワイトバランス制御値を算出し、第二の色範囲に含まれる画像情報の色情報に基づいて第二のホワイトバランス制御値を算出するよう光源推定部182を制御するコントローラ130を更に備える。光源推定部182は、第一のホワイトバランス制御値と、第二のホワイトバランス制御値との比較結果に応じてホワイトバランスを調節するためのホワイトバランス制御値を決定する。これにより、デジタルカメラ100は、第一の色範囲に含まれる画像情報の色情報に基づいて算出された第一のホワイトバランス制御値と、第二の色範囲に含まれる画像情報の色情報に基づいて算出された第二のホワイトバランス制御値との比較結果に応じてホワイトバランスを調節するためのホワイトバランス制御値を決定する。従って、第一の色範囲および第二の色範囲に含まれる画像情報のそれぞれの色情報に基づいて、適切なホワイトバランス制御値を算出可能なデジタルカメラ100を提供することができる。
【0058】
また、実施の形態1に係るデジタルカメラ100において、第一の色範囲は、画像情報全体の色範囲であり、第二の色範囲は、特定の光源色を示す色範囲である。そして、色調節部184は、画像情報全体の色範囲に基づく第一のホワイトバランス制御値に従って画像情報がホワイトバランス調節されたときは、特定の光源色に対応する第一の色を補正する。色調節部184は、特定の光源色を示す色範囲に基づく第二のホワイトバランス制御値に従って画像情報がホワイトバランス調節されたときは特定の光源色に対応する第二の色を補正する。これにより、デジタルカメラ100は、ホワイトバランス制御値を算出した基の色範囲に応じて、特定の光源色に対応したそれぞれの色を補正する。従って、ホワイトバランス制御値を算出した基の色範囲に応じて、特定の光源の存在により影響を受ける色を補正可能なデジタルカメラ100を提供することができる。
【0059】
また、実施の形態1に係るデジタルカメラ100において、特定の光源は水銀灯であって、第一の色は緑色であり、第二の色はマゼンタである。これにより、水銀灯が含まれるような撮影画像であっても、適切に色を調節可能なデジタルカメラ100を提供することができる。
【0060】
〔2.他の実施の形態〕
本発明は、上記実施の形態に限定されず、種々の実施形態が考えられる。以下、本発明の他の実施の形態についてまとめて記載する。
【0061】
上記実施の形態において、CCDイメージセンサ120を、撮像部の一例として説明したが、本発明はこれに限定されない。すなわち、CMOSイメージセンサや、NMOSイメージセンサなど他の撮像素子であっても本発明に適用可能である。また上記実施の形態において、色分離のためのフィルタ構成を、RGBの原色フィルタとしたが、CMY等の補色フィルタでも良い。また、RGBそれぞれについて撮像素子を持つ3板式か、それ以上の方式でも良い。
【0062】
上記実施の形態において、光源推定部182、WB制御部183、および色調節部184を、WB補正回路180を構成する回路の一部として説明したが本発明はこれに限定されない。すなわち、光源推定部182、WB制御部183、および色調節部184と同様の機能を、コントローラ130や画像処理部122が所定のプログラムを実行することにより実現するようにしてもよい。
【0063】
上記実施の形態において、WB補正回路180では、WB制御部183にてWB調節した後、画像情報を色調節部184に供給するとした。しかし、本発明においては、WB制御部183にてWB調節した後に、他の処理を経由してから、画像情報を色調節部184に供給するようにしても同様の効果を奏する。
【0064】
上記実施の形態において、光源推定部182は、画像全体の色範囲のWB制御値平均を算出するようにしたが、本発明はこれに限定されない。即ち、画像全体の色範囲から、例えば色破綻の原因となる不要な色範囲を除外した範囲からWB制御値平均を算出するようにしてもよい。また、上記実施の形態において、WB制御部183は、平均値の差dが、所定の閾値Dより小さいとき、水銀灯色範囲に含まれるWB制御値の平均値を使用していたが、本発明はこれに限定されない。すなわち、平均値の差dが、所定の閾値Dより小さいとき、水銀灯色範囲のWB制御値の平均値と、画像全体の色範囲のWB制御値の平均値とに大差がないため、画像全体の色範囲のWB制御値の平均値を使用するようにしてもよい。なお、この場合でも、図6のS309に示す処理を行うことで、画像の赤味を帯びた部分は調節され、適切な色の画像を得ることが可能となる。また、上記実施の形態において、WB制御値をR、G、Bの順に(α、1、β)と表していたが、Gの値で正規化せずに、(α、γ、β)としても良い。
【0065】
また、上記実施の形態において、色調節部184が色調節する際、水銀灯色範囲のWB制御値の平均値と、画像全体の色範囲のWB制御値の平均値の差dに応じて、色調節部184で調整する程度を、線形的に変えても良い。すなわち、平均値の差dが、所定の閾値Dよりも十分に大きいときは、より多く「緑色」を調節し、所定の閾値Dよりやや大きいときは、より弱く「緑色」を調節するようにしてもよい。また同様に、平均値の差dが、所定の閾値Dより小さく、かつ0に近いときは、より多く「マゼンタ」を調節し、所定の閾値Dよりやや小さいときは、より弱く「マゼンタ」を調節するようにしてもよい。これにより、デジタルカメラ100は、水銀灯のような特定の光源が存在している撮影画像であっても、その光源色の画像への影響度に応じて適切な色の画像になるように色調節することができる。
【0066】
また、上記実施の形態のデジタルカメラ100において、色調節部184が「緑色」や「マゼンタ」として認定するR、G、Bの値の取り得る範囲を予めROMに記憶させておくとしたが、本発明はこれに限定されない。すなわち、R、G、Bの色空間ではなく、Y、Cr、Cbの色空間や、CIELAB色空間のL*a*b*によって、「緑色」や「マゼンタ」を認定するようにしてもよい。
【0067】
また、上記実施の形態のデジタルカメラ100において、一つの所定の閾値Dとの大小に応じて、「緑色」あるいは「マゼンタ」を調節するようにしたが、本発明はこれに限定されない。すなわち、所定の閾値Dとそれよりも大きい所定の閾値D’の2つ別の値を設定してもよい。このとき、水銀灯の色範囲のWB制御値の平均値と、画像全体の色範囲のWB制御値の平均値との差dが、所定の閾値Dよりも小さければ水銀灯の影響が大きいと判定し、WB調節後に「緑色」を調節する。また、差dが所定の閾値Dよりも大きい所定の閾値D’よりも大きければ水銀灯の影響が小さいと判定し、WB調節後に「マゼンタ」を調節するようにしてもよい。また、差dが所定の閾値Dと所定の閾値D’の間の値であるときは、差dの値が閾値Dと閾値D’のどちらに近いかに応じて、より弱く「緑色」を調節してもよいし、より弱く「マゼンタ」を調節してもよいし、色調節をしなくてもよい。
【0068】
上記実施の形態では、水銀灯色範囲にプロットされるBMが存在する場合を説明した。一方、水銀灯色範囲にプロットされるBMがなく、水銀灯色範囲に対するWB制御値が算出できないときは、水銀灯の色範囲のWB制御値の平均値と、画像全体の色範囲のWB制御値の平均値との差dに、所定の閾値Dの値を代入して、後段の色調節の演算をするようにすればよい。
【0069】
上記実施の形態において、特定の光源の一例として水銀灯の場合を説明したが、本発明はこれに限定されない。すなわち、特定の光源として、画像中に昼光色蛍光灯、白熱灯またはLED光源などの光源の色の影響が現れる場合であっても本発明を応用可能である。本発明は、単一のスペクトルを有する光の影響を受ける画像に対して特に好適である。単一スペクトル光源としては、水銀灯の他の一例として、ナトリウムランプが挙げられる。
【0070】
ナトリウムランプの光が含まれる画像に対して色調節を行う場合、図6を参照して説明した水銀灯色範囲の代わりに、ナトリウムランプ色範囲が適用される。ナトリウムランプ色に対するWB制御値の範囲は、図7に示す水銀灯色に対するWB制御値の範囲と比較して、縦軸方向(Rゲイン方向)に15程度小さく、横軸方向(Bゲイン方向)に5程度大きい位置となる。また、S307の処理では、画像情報の色情報(αR、G、βB)から「橙色」を構成するR、G、Bの組合せの値を低めの値に調節する。S309の処理では、画像情報の色情報(α’R、G、β’B)から「青色」を構成するR、G、Bの組合せの値を低めの値に調節する。これにより、適切な色の画像を得ることができる。
【0071】
なお、上述した「緑色」と「マゼンタ」は互いに補色の関係にあり、「橙色」と「青色」も互いに補色の関係にある。このように、S306の処理の段階で強めに現れる特定の色(緑色、橙色等)と補色の関係にある色(マゼンタ、青色等)を弱める処理をS309で行うことにより、上述した特定の光源の影響を強く受ける画像に対して適切な色調節を行うことができる。
【0072】
また、上記実施の形態において、BM積算回路170は、R光量、G光量、B光量それぞれの平均値を算出するとした。ここでいう平均値は、R光量、G光量、B光量の値を積算した結果値であってもよいし、R光量、G光量、B光量の値の合計を個数で割った結果値であってもよい。
【0073】
また、外部メモリとしてメモリカード140を例示したが、外部メモリは他の様々な種類の半導体メモリであってもよく、またHDDや光ディスク等であってもよい。
【0074】
以上のように、本発明によれば、撮像した画像が適切な色の画像になるよう色調節することが可能な撮像装置を提供することができる。
【産業上の利用可能性】
【0075】
本発明はデジタルカメラに限定されない。例えば、ムービーカメラやカメラ付き携帯電話など、撮像時にホワイトバランス調節を行う撮像装置に本発明は適用可能である。
【符号の説明】
【0076】
100 デジタルカメラ
111 フォーカスレンズ
112 ズームレンズ
113 絞り
114 シャッタ
120 CCDイメージセンサ
121 AFE(アナログ・フロント・エンド)
122 画像処理部
123 液晶モニタ
124 バッファメモリ
130 コントローラ
140 メモリカード
141 カードスロット
142 フラッシュメモリ
150 操作部
160 フラッシュ
170 BM積算回路
180 WB補正回路
182 光源推定部
183 WB制御部
184 色調節部
201 レリーズ釦
202 ズームレバー
203 電源釦
204 中央釦
205 十字釦

【特許請求の範囲】
【請求項1】
被写体像を撮像して画像情報を生成する撮像部と、
前記画像情報のホワイトバランスを調節するための、ホワイトバランス制御値を算出する制御値算出部と、
前記ホワイトバランス制御値に従って前記画像情報のホワイトバランスを調節するホワイトバランス調節部と、
ホワイトバランスが調節された後の画像情報に対して、前記ホワイトバランス制御値に対応する色を補正する色調節部と、
を備えた撮像装置。
【請求項2】
前記制御値算出部は、第一の色範囲に含まれる前記画像情報の色情報に基づいて第一のホワイトバランス制御値を算出し、第二の色範囲に含まれる前記画像情報の色情報に基づいて第二のホワイトバランス制御値を算出し、
前記制御値算出部は、前記第一のホワイトバランス制御値と前記第二のホワイトバランス制御値との比較結果に応じて、前記画像情報のホワイトバランスを調節するための前記ホワイトバランス制御値を決定する、請求項1に記載の撮像装置。
【請求項3】
前記第一の色範囲は、前記画像情報全体の色範囲であり、
前記第二の色範囲は、特定の光源色を示す色範囲であって、
前記色調節部は、前記第一のホワイトバランス制御値に従って前記画像情報がホワイトバランス調節されたときは、前記特定の光源色に対応する第一の色を補正し、
前記色調節部は、前記第二のホワイトバランス制御値に従って前記画像情報がホワイトバランス調節されたときは、前記特定の光源色に対応する第二の色を補正する、請求項2に記載の撮像装置。
【請求項4】
前記特定の光源は、水銀灯であり、
前記第一の色は緑色であり、前記第二の色はマゼンタである、請求項3に記載の撮像装置。
【請求項5】
前記特定の光源は、ナトリウムランプであり、
前記第一の色は橙色であり、前記第二の色は青色である、請求項3に記載の撮像装置。
【請求項6】
前記第一の色と前記第二の色とは補色の関係にある、請求項3に記載の撮像装置。
【請求項7】
前記画像情報を複数のブロックに分割し、前記ブロックごとの原色の光量の平均値を示すブロックメモリデータを算出するブロックメモリデータ算出部をさらに備え、
前記制御値算出部は、前記第一の色範囲に対応する前記ブロックメモリデータに基づいて前記第一のホワイトバランス制御値を算出し、前記第二の色範囲に対応する前記ブロックメモリデータに基づいて前記第二のホワイトバランス制御値を算出する、請求項2に記載の撮像装置。
【請求項8】
前記制御値算出部は、前記第一のホワイトバランス制御値と前記第二のホワイトバランス制御値との差を算出し、
前記差と所定のしきい値との大小関係に応じて、前記第一および第二のホワイトバランス制御値のうちの一方を、前記画像情報のホワイトバランスを調節するための前記ホワイトバランス制御値として採用する、請求項2に記載の撮像装置。
【請求項9】
入力された画像情報のホワイトバランスを調節するための、ホワイトバランス制御値を算出するステップと、
前記ホワイトバランス制御値に従って前記画像情報のホワイトバランスを調節するステップと、
ホワイトバランスが調節された後の画像情報に対して、前記ホワイトバランス制御値に対応する色を補正するステップと、
を包含する画像処理方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate


【公開番号】特開2011−166753(P2011−166753A)
【公開日】平成23年8月25日(2011.8.25)
【国際特許分類】
【出願番号】特願2011−3666(P2011−3666)
【出願日】平成23年1月12日(2011.1.12)
【出願人】(000005821)パナソニック株式会社 (73,050)
【Fターム(参考)】