画像処理装置、画像処理方法
【課題】ＢＬＣに不具合があった場合でも、精度の高いＡＷＢ制御を実現する画像処理装置を提供すること。
【解決手段】入射光を光電変換する撮像素子３２と、前記撮像素子が出力する画像信号を増幅する増幅回路３２４と、画像信号に含まれる色成分を用いて前記増幅回路のゲインを調整し画像信号のホワイトバランスを調整するホワイトバランス調整手段４１３、４１４、４１５、４８１と、画像信号に含まれる輝度情報の大きさが下限閾値以上か否かを判定し、輝度情報の大きさが下限閾値以上の場合にのみ、前記ホワイトバランス調整手段に画像信号のホワイトバランスの調整を許可するホワイトバランス調整許可手段４１２と、を有する画像処理装置を提供する。
【解決手段】入射光を光電変換する撮像素子３２と、前記撮像素子が出力する画像信号を増幅する増幅回路３２４と、画像信号に含まれる色成分を用いて前記増幅回路のゲインを調整し画像信号のホワイトバランスを調整するホワイトバランス調整手段４１３、４１４、４１５、４８１と、画像信号に含まれる輝度情報の大きさが下限閾値以上か否かを判定し、輝度情報の大きさが下限閾値以上の場合にのみ、前記ホワイトバランス調整手段に画像信号のホワイトバランスの調整を許可するホワイトバランス調整許可手段４１２と、を有する画像処理装置を提供する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像素子が撮像した画像信号のホワイトバランスを調整する画像処理装置に関する。
【背景技術】
【０００２】
デジタルカメラで撮影すると、光源の色温度により被写体の白色部及び彩色部の色彩が変化してしまうことが知られている。この色温度による被写体の色彩の変化を低減する機能がホワイトバランス（ＷＢ）機能であり、カメラが自動で行うオートホワイトバランス（ＡＷＢ）機能とユーザがマニュアルで行うホワイトバランス機能がある。
【０００３】
一般的なＡＷＢ機能は、撮像している被写体の全画面の色を平均化すると色成分がほとんどなくなり、白色となることを利用している。具体的には、色情報である色差成分Ｒ−Ｙ（赤系色差成分）、Ｂ−Ｙ（青系色差成分）のそれぞれの積分値がゼロとなるように、ＣＰＵが撮像素子や画像処理部にフィードバック制御を行っている。そして、制御回路がＲチャネルのゲイン及びＢチャネルのゲインを調整する。
【０００４】
ところが、ＲゲインとＢゲインを独立に制御すると、画面内に占める色占有率の変化により色バランスが崩れるという不都合があった。この不都合を改善するため、ＡＷＢ機能の制御に使用するＲゲインとＢゲインの可変制御範囲を一定の範囲に制限するという技術が提案されている（例えば、特許文献１参照。)。
【０００５】
ところで、デジタルカメラでは、画像の最も暗い部分を黒く表示するためブラックレベルを制御している。これをブラックレベルコントロール（ＢＬＣ）といい、次のようにして行われている。撮像素子の有効画素以外の領域にオプティカルブラック領域が設けられている。この領域は遮光されているため、出力される電荷量はゼロ(黒)であるはずだが、実際には微小の電流（これを暗電流という）が流れている。暗電流は温度上昇とともに増加する傾向がある。画像のＲＧＢ信号からＲ画素、Ｇ画素、Ｂ画素の暗電流（オフセット）をそれぞれ差し引く制御がＢＬＣである。こうすることで、Ｒ画素、Ｇ画素、Ｂ画素の光電変換率の相違をキャンセルし、最も暗い部分を黒として捉えることができる。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１のＡＷＢ機能のようにＲゲインとＢゲインの可変制御範囲を一定の範囲に制限すると、ＢＬＣに不具合があった場合にＡＷＢの精度が低下するという問題がある。ＢＬＣが正常に動作している場合、暗部のノイズであるＲ成分、Ｇ成分、Ｂ成分がほぼ同じ量になるはずであるが、ＢＬＣに不具合がある場合、暗部のノイズのＲ成分、Ｇ成分、Ｂ成分が同じ量にならない。この結果、ＡＷＢ処理の精度が下がってしまう。以下に詳しく説明する。
【０００７】
撮像素子が撮影するＲ、Ｇ、Ｂそれぞれの色成分の大きさを
色成分の大きさ = 暗部の色ノイズ成分 + 被写体の色成分
と表す。
【０００８】
Ｒ成分の暗部のノイズが大きく、被写体の色が白の場合を考える。
Ｒ = 50 + 100 = 150
Ｇ = 10 + 100 = 110
Ｂ = 10 + 100 = 110
ＡＷＢ処理では、Ｇ成分を固定して、Ｒ成分とＢ成分の量を調整して、Ｒ、Ｇ、Ｂの量を1：1：1にする。Ｒ画素、Ｇ画素、Ｂ画素をそれぞれ１１０にするため、以下の計算を行う。
Ｒ = （110/150）× (50 + 100) = 110/3 + 220/3 = 36.666 + 73.333 = 110
Ｇ = 10 + 100 = 110
Ｂ = （110/110）× (10 + 100) = 10 + 100 = 110
Ｒ画素、Ｇ画素、Ｂ画素の被写体の色成分は、ＡＷＢ処理前はすべて100であったが、ＡＷＢ処理後はそれぞれ73、100、100となり、被写体のＲ成分の割合が低下している。これは、Ｒ成分の暗部ノイズが他に比較して大きいため、Ｒ成分、Ｇ成分、Ｂ成分の量を1：1：1にすると、色成分である１００までもが暗部ノイズと同じように低減されてしまうためである。
【０００９】
このように、ＢＬＣに不具合があると、暗部ノイズのＲ成分、Ｇ成分、Ｂ成分が同じ比率を維持できず、ＡＷＢ処理の精度が低下してしまう。
【００１０】
また、撮像している被写体の全画面の色を平均化しても白色とならないような被写体の場合、ＡＷＢ処理を行うと色成分の強い色の影響によりＡＷＢ処理が適切に行われないおそれがある。
【００１１】
本発明は、上記課題に鑑み、ＢＬＣに不具合があった場合でも、精度の高いＡＷＢ処理を実現する画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明は、入射光を光電変換する撮像素子と、前記撮像素子が出力する画像信号を増幅する増幅回路と、画像信号に含まれる色成分を用いて前記増幅回路のゲインを調整し画像信号のホワイトバランスを調整するホワイトバランス調整手段と、画像信号に含まれる輝度情報の大きさが下限閾値以上か否かを判定し、輝度情報の大きさが下限閾値以上の場合にのみ、前記ホワイトバランス調整手段に画像信号のホワイトバランスの調整を許可するホワイトバランス調整許可手段と、を有する画像処理装置を提供する。
【発明の効果】
【００１３】
ＢＬＣに不具合があった場合でも、精度の高いＡＷＢ処理を実現する画像処理装置を提供することができる。
【図面の簡単な説明】
【００１４】
【図１】デジタルカメラの概略的な特徴を模式的に示す図の一例である。
【図２】ＡＷＢ機能が搭載されたデジタルスチルカメラの外観図の一例である。
【図３】デジタルスチルカメラのハードウェア構成図の一例である。
【図４】ＡＷＢ処理を模式的に説明する図の一例である。
【図５】ゲインが決定される手順を示すフローチャート図の一例である。
【図６】撮像センサからの信号がYCrCbの場合のＡＷＢ処理を模式的に説明する図の一例である。
【図７】ＡＷＢ処理を模式的に説明する図の一例である（実施例２）。
【図８】閾値決定部が撮像素子の温度に応じてY_min及びY_maxを輝度値判定部に設定する手順を示すフローチャート図の一例である。
【図９】ＡＷＢ処理を模式的に説明する図の一例である（実施例３）。
【図１０】閾値決定部が撮像素子の温度を推定してY_min及びY_maxを輝度値判定部に設定する手順を示すフローチャート図の一例である。
【図１１】ＡＷＢ処理を模式的に説明する図の一例である（実施例４）。
【図１２】閾値決定部が撮像センサのゲインに応じてY_min及びY_maxを輝度値判定部に設定する手順を示すフローチャート図の一例である。
【図１３】ＡＷＢ処理を模式的に説明する図の一例である（実施例５）。
【図１４】閾値決定部が画像信号の明るさに応じてY_min及びY_maxを輝度値判定部に設定する手順を示すフローチャート図の一例である。
【図１５】撮像センサからの信号がYCrCbの場合のＡＷＢ処理を模式的に説明する図の一例である。
【発明を実施するための形態】
【００１５】
以下、本発明を実施するための形態について図面を参照しながら実施例を挙げて説明する。
【実施例１】
【００１６】
図１は、本実施形態のデジタルカメラの概略的な特徴を模式的に示す図の一例である。撮像素子が撮影した画像信号は画像処理のための例えば画像処理ＩＣに入力される。画像信号はＲＧＢ又はYCrCbを色空間とする場合がある。
【００１７】
画像処理ＩＣはまず画像信号から輝度値Ｙを取得する。そして、輝度値が予め定められたY_min以上かつY_min以下の画像信号のみを積算する。すなわち、画像処理ＩＣは、オートホワイトバランス（ＡＷＢ）処理のため、Ｒ画素の積算値、Ｇ画素の積算値、及び、Ｂ画素の積算値を算出するが、算出対象の画像信号はある輝度範囲に入るものだけになる。輝度値がY_min以上の画像信号だけを積算することで、ＢＬＣの暗電流に異常値が含まれていても、その画像信号に含まれる色ノイズ成分を排除することができる。
【００１８】
また、輝度値がY_max以下の画像信号だけを積算することで、ある１色だけ飽和している（例えば、８bit値の場合の２５５）場合などのように、特定色の色成分が強い場合に、その色成分が積算値に影響を与えないようにすることができる。したがって、撮像している被写体の全画面の色を平均化しても白色とならないような被写体に基づきＡＷＢ処理することが抑制され、ＡＷＢ処理の精度を向上することができる。
【００１９】
〔構成例〕
図２は、本実施例のＡＷＢ機能が搭載されたデジタルスチルカメラ１００の外観図の一例を示す。図２（ａ）は正面図を、図２（ｂ）は背面図をそれぞれ示す。図の外観は一例に過ぎない。なお、本実施例ではデジタルスチルカメラ１００を例に説明するが、静止画又は動画の撮影機能を備えたデジタルカメラであれば本実施例のＡＷＢ処理を好適に適用できる。例えば、デジタルスチルカメラ１００はコンパクトデジカメ、マイクロフォーサーズを搭載したデジタル一眼レフ（ミラーレス一眼レフ）又はレフレックスを搭載した一眼レフのいずれでもよい。また、静止画の撮像機能を備えたデジタルビデオカメラ、携帯電話、スマートフォン等にも本実施例のＡＷＢ処理を搭載できる。
【００２０】
図２（ａ）に示すように、デジタルスチルカメラ１００は、レリーズボタン１２、モードダイヤル１１、光学ファインダ１４、フラッシュ２２、撮影レンズ２３を有し、図２（ｂ）に示すように、ＬＣＤ２４、広角ズームＳＷ１６、望遠ズームＳＷ１３、メニューＳＷ１５、上移動／ストロボ設定ＳＷ１７、右移動ＳＷ２１、下移動／マクロ設定ＳＷ１９、左移動／画像確認ＳＷ１８、セルフタイマＳＷ２５等を有する。この他、電源スイッチＳＷ等が配置されている。
【００２１】
レリーズボタン１２は静止画及び動画を撮像するためのボタンであり、モードダイヤル１１は、撮像と再生を切り替えるためのボタンである。光学ファインダ１４は透明なガラスやプラスチックを通してユーザが被写体を視認するためのファインダである。ＬＣＤ２４は、撮像された画像、撮像された動画及びメニュー等の表示、並びに、撮像前の電子ビューファインダとして使用される。ＬＣＤ２４はタッチパネルになっており、ユーザの操作を受け付けることもできる。
【００２２】
広角ズームＳＷ１６は、被写体を小さくして広い範囲を撮影するためのボタンである。望遠ズームＳＷ１３は、範囲を狭めて被写体を大きく撮影するためのボタンである。メニューＳＷ１５は、ＬＣＤ２４にメニューを表示させたり、メニューに表示される設定を変更するためのスイッチである。上移動／ストロボ設定ＳＷ１７は、ＬＣＤ２４のカーソルを上方向に移動させ、また、ストロボ（フラッシュ）の発光を設定するためのボタンである。右移動ＳＷ２１はＬＣＤ２４のカーソルを右方向に移動させるスイッチである。下移動／マクロ設定ＳＷ１９は、ＬＣＤ２４のカーソルをした方向に移動させ、また、レンズを被写体に接近させて撮影するためのボタンである。左移動／画像確認ＳＷ１８は、ＬＣＤ２４のカーソルをした方向に移動させ、また、ＬＣＤ２４に再生された画像を切り換えるスイッチである。セルフタイマＳＷ２５は、タイマ設定を行うためのスイッチである。
【００２３】
図３は、デジタルスチルカメラ１００のハードウェア構成図の一例を示す。図３において図２と同一部には同一の符号を付しその説明は省略する。デジタルスチルカメラ１００は、撮像レンズ２３、メカシャッタ３１、モータドライバ３３、撮像センサ３２、画像処理ＩＣ３５、操作部３９、ＲＯＭ３８、及び、ＳＤＲＡＭ３４等を有している。
【００２４】
操作部３９は、図２にて説明した各種のボタンやメニュー画面が相当する。ＲＯＭ３８には、ＯＳ（オペレーティングシステム）、画像処理ＩＣ３５の初期化、メモリーカードの初期化処理を行ったり、ユーザ操作に応じて各部を制御する処理などを行うプログラム５２が記憶されている。また、ＯＳＤ（Ｏｎ Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）用にメニュー表示のための不図示の画面情報を記憶している。
【００２５】
ＳＤＲＡＭ３４は、画像データを一時的に記憶する高速な揮発性のメモリであり、図示するフォーマット（ＲＡＷ−ＲＧＢ、ＹＵＶ、ＪＰＥＧ）の画像データが記憶される。最終的な画像データは、メモリーカード３６又はＮＶＲＡＭ４６に記憶される。また、不図示のＵＳＢ Ｉ／ＦからＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）に接続し、メモリーカード３６やＮＶＲＡＭ４６からＰＣに画像データを送信することもできる。
【００２６】
モータドライバ３３は、ＣＰＵ（プログラム）４８からの指示により、焦点合わせ（ＡＦ）や光学ズームする際に、撮像レンズ２３及びメカシャッタ３１を光軸方向に移動させる。デジタルスチルカメラ１００は設定された露光時間毎にＣＣＤなどから電荷を読み出す電子シャッタを備えるが、メカシャッタ３１は露光時間外に電子シャッタに到達する光を遮断する。
【００２７】
撮像センサ３２は、受光センサ３２１、ＴＧ（タイミングジェネレータ）３２３、及び、Ａ／Ｄ変換器３２２を有する。受光センサ３２１はＣＣＤやＣＭＯＳなどの撮像素子である。受光センサ３２１は、ＣＤＳ（画像ノイズ除去用相関二重サンプリング部）やＡＧＣ（利得調整部）を有している。ＴＧ３２３は、クロック信号から垂直同期信号ＶＤ、水平同期信号ＨＤを生成し、受光センサ３２１及びＡ／Ｄ変換器３２２に供給する。撮像センサ３２が出力する画像信号はＲＧＢ又はYCrCbを色空間とする。
【００２８】
デジタルスチルカメラ１００の電源が投入され、撮像が開始されると、撮像レンズ２３を通して受光センサ３２１に入射した光が、電気に変換されてＡ／Ｄ変換器３２２に送られる。Ａ／Ｄ変換器３２２は、入力されたアナログ信号を例えば１２ｂｉｔのデジタルデータ（画像信号）に変換する。デジタル信号に変換された画像信号は、画像処理ＩＣ３５のセンサＩ／Ｆ４１に取り込まれる。
【００２９】
画像処理ＩＣ３５は、センサＩ／Ｆ４１、メモリコントローラ４２、ＹＵＶ変換部４９、圧縮伸張部５１、ＣＰＵ４８、表示出力制御部４３、リサイズ処理部４４、メディアＩ／Ｆ４５、及び、音声処理部４７を有する。
【００３０】
センサＩ／Ｆ４１は撮像センサ３２からＡ／Ｄ変換されたデジタルの画像データを取得する。この時点の画像信号の色空間はデジタルのＲＧＢ又はYCrCbである。
【００３１】
また、センサＩ／Ｆ４１は、ブロック内に取り込まれた画像信号よりＡＷＢ（オートホワイトバランス）評価値を算出して、ＣＰＵ４８に出力する。このＡＷＢ評価値が上記の積算値であるが、詳細は後述する。なお、センサＩ／Ｆ４１は、この他、画面の合焦度合いを示すＡＦ（オートフォーカス）評価値、及び、被写体輝度を検出したＡＥ（Automatic Exposure：自動露光）評価値、を算出する。ＣＰＵ４８は、これらの評価値データをＡＷＢ、ＡＥ、ＡＦのそれぞれの処理に利用する。
【００３２】
ＡＦ評価値は、例えば高周波成分抽出フィルタの出力積分値や、近接画素の輝度差の積分値によって作成される。合焦状態にあるときは、被写体のエッジ部分がはっきりとしているため、高周波成分が一番高くなる。デジタルスチルカメラ１００がＡＦに設定されＡＦによる合焦検出動作時は、ＣＰＵ４８は各フォーカスレンズ位置におけるＡＦ評価値を取得して、その極大になる点を合焦位置とすることでＡＦによる合焦位置を取得する。
【００３３】
ＡＥ評価値は、画像信号のＲＧＢ値それぞれの積分値から作成される。センサＩ／Ｆ４１は画面を例えば１０２４エリアに等分割（水平３２分割、垂直３２分割）し、それぞれのエリアのＲＧＢ積算値を算出する。ＣＰＵ４８はセンサＩ／Ｆ４１からＲＧＢ積分値を読み出し、それぞれのエリアの輝度を算出して、輝度分布から適正な露光時間を決定する。
【００３４】
ＡＥとＡＷＢの処理は、ＬＣＤ２４に映像が出力されている間は連続的に行われている。被写体が撮像された場合、ＡＦ評価値、ＡＥ評価値及びＡＷＢ評価値は画像データと共にファイルに記憶される。
【００３５】
ＡＦ完了後に撮像センサ３２から出力されセンサＩ／Ｆ４１が取り込んだ画像信号は、メモリコントローラ４２によりＳＤＲＡＭ(フレームメモリという場合もある)３４に格納される。この画像データが「ＲＡＷ−ＲＧＢ」と呼ばれる。
【００３６】
メモリコントローラ４２は、画像データをＳＤＲＡＭ３４から読み出し、ＹＵＶ変換部４９に送出する。ＹＵＶ変換部４９は、ＲＧＢ信号をＹＵＶ信号に変換しメモリコントローラ４２に送出するので、メモリコントローラ４２は、ＹＵＶ信号をＳＤＲＡＭ３４に記憶する。ＹＵＶ信号に変換するのは、ＲＧＢ信号よりも容量を小さくできるためと、ＬＣＤ２４のビデオ信号への変換が容易になるためである。メモリコントローラ４２は、ＹＵＶ信号を読み出して表示出力制御部４３に出力する。
【００３７】
表示出力制御部４３はＹＵＶの画像データをＮＴＳＣ信号やＰＡＬ信号などのビデオ信号に変換し、ＬＣＤ２４に出力する。デジタルスチルカメラ１００がＡＶケーブルなどでＴＶと接続されている場合はビデオ信号がＴＶにも出力される。ＬＣＤ２４が画像データを表示している間、画像信号からビデオ信号への変換までの処理は１／３０秒間隔で行われ、１／３０秒ごとにＬＣＤ２４の画面が更新される。
【００３８】
なお、リサイズ処理部４４は、デジタルズームのための処理部で、ＹＵＶの画像データを補間処理により拡大／縮小する。ユーザがデジタルズームの操作を行うと、ＹＵＶの画像データから必要な部分を切り出し、画像サイズを変更する。リサイズ処理はスチル画像の撮像時も有効である。
【００３９】
デジタルスチルカメラ１００は、ユーザが動画撮像を選択した場合、一連のＹＵＶの画像データを映像としてメモリーカード等に記憶することができる。動画の記録フォーマットは例えば、ＡＶＩ（Open DML Motion JPEG フォーマット準拠）やＪＰＥＧ ベースライン方式に準拠したフォーマットである。なお、これらの記録フォーマットに圧縮する場合は、圧縮伸張部５１が圧縮する。
【００４０】
スチル画像撮像時、ユーザは撮像前にＡＦの操作としてレリーズボタン１２を半押しする。これにより、操作部３９から静止画撮像開始信号がＣＰＵ４８に取り込まれると、ＣＰＵ４８はフレームレートに同期してモータドライバ３３を介してレンズを駆動し、山登りＡＦを実行する。ＡＦ対象範囲が無限から至近までの全領域であった場合、フォーカスレンズは至近から無限、または無限から至近までの間の各フォーカス位置まで移動し、センサＩ／Ｆ４１が作成した各フレーム（＝各フォーカス位置）におけるＡＦ評価値がＣＰＵ４８に読み出される。ＣＰＵ４８は、各フォーカス位置のＡＦ評価値が極大になる点を合焦位置として、フォーカスレンズを合焦位置に移動すると共に、光学ファインダ１４にＡＦ完了のランプなどを表示する。これにより、ユーザはレリーズボタンを全押しして撮像することができる。
【００４１】
ＣＰＵ４８はレリーズボタン１２が全押しされたことを操作部３９から検知して撮像センサ３２に通知することで、スチル画像撮像時の画像信号が画像処理ＩＣ３５に出力される。ＹＵＶ変換部４９は画像信号をＹＵＶの画像信号に変換し、ＳＤＲＡＭ３４に記憶する。メモリコントローラ４２はＹＵＶに変換された画像データを圧縮伸張部５１に送出する。圧縮伸張部５１は送られたＹＵＶの画像データを圧縮し、ＳＤＲＡＭ３４に書き戻す。圧縮のフォーマットは種々あるが、図ではＪＰＥＧで示されている。メモリコントローラ４２は圧縮された画像データを読み出し、フラッシュメモリの等の内蔵するＮＶＲＡＭ４６に記憶したり又はメディアＩ／Ｆ４５に対しメモリーカード３６に記憶させる。
【００４２】
静止画の画像データは、ＪＰＥＧの画像データをExif形式で記録する記録フォーマットが知られている。Exifは画像データと撮像条件などの情報を１つのファイルの中に記述できる記録フォーマットである。例えば、撮像された日時や機種名、シャッタースピード、絞り値等、撮像に関する情報、画像データの圧縮モード、色空間、画素数などの情報を記述することができる。
【００４３】
〔ＡＷＢ処理〕
図４は、本実施例のＡＷＢ処理を模式的に説明する図の一例である。図４において図３と同一構成部には同一の符号を付しその説明は省略する。なお図４では画像信号の色空間がＲＧＢであるとする。センサＩ／Ｆ４１はＡＷＢ評価値を算出するため、輝度値算出部４１１、輝度値判定部４１２、Ｒ積算部４１３、Ｇ積算部４１４、及び、Ｂ積算部４１５を有する。
【００４４】
輝度値算出部４１１は、ＲＧＢの画像信号から輝度値Ｙを算出する。ＲＧＢから輝度値へは、例えば以下のように変換される。また、輝度値Ｙが求められると、色差成分Ｒ−Ｙ、Ｂ−Ｙも求めることができる。
Y = 0.299*R +0.587*G +0.114*B
R-Y = +0.701*R -0.587*G -0.114*B
B-Y = -0.299*R -0.587*G +0.886*B
輝度値判定部４１２は、輝度値Ｙが予め定められたY_min以上かつY_max以下の間に入るか否かを判定し、輝度値YがY_min以上かつY_max以下の場合にのみ、画像信号をＲ積算部４１３、Ｇ積算部４１４、及び、Ｂ積算部４１５に出力する。
【００４５】
Ｒ積算部４１３は、画像信号のＲ成分を画像１画面分積算する。積算値をＲ_sumとする。Ｇ積算部４１４は、画像信号のＧ成分を画像１画面分積算する。積算値をG_sumとする。Ｂ積算部４１５は、画像信号のＢ成分を画像１画面分積算する。積算値をＢ_sumとする。Ｒ_sum、G_sum、Ｂ_sumはＣＰＵ４８に送られる。これらの積算値がＡＷＢ評価値である。
【００４６】
ＣＰＵ４８は、プログラム５２を実行して実現されるゲイン決定部４８１を有する。ゲイン決定部４８１は、Ｒの積算値、Ｂの積算値、Ｇの積算値から、Ｒ、Ｇ、Ｂの積算値の比が１：１：１になるようにゲインを決定する。
【００４７】
図５は、ゲインが決定される手順を示すフローチャート図の一例である。図５（ａ）は、Ｒチャネルのゲインが決定される手順を示すフローチャート図を、図５（ｂ）は、Ｂチャネルのゲインが決定される手順を示すフローチャート図を、それぞれ示す。
【００４８】
なお、Ｒ_gain（ｔ）は現在のＲチャネルの増幅回路３２４のゲイン、Ｂ_gain（ｔ）は現在のＢチャネルの増幅回路３２４のゲイン、Ｒ_gain（ｔ+1）は次に設定するＲチャネルの増幅回路３２４のゲイン、Ｂ_gain（ｔ+1）は次に設定するＢチャネルの増幅回路３２４のゲインである。
【００４９】
まず、ゲイン決定部４８１は、R_sum及びG_sumを取得する（Ｓ１０）。
【００５０】
次に、ゲイン決定部４８１は、
R_gain（ｔ＋１）＝R_gain（ｔ）＋ｋ＊（G_sum−R_sum）
を計算する（Ｓ２０）。すなわち、基準であるGの積算値G_sumに対し、Ｒの積算値R_sumを減じて、ゲインへの変換係数ｋ＊を乗じる。これにより、Ｒの積算値R_sumがＧ_sumと同様になるようなゲインの補正値がえられる。この補正値を現在のＲチャネルのゲインR_gain（ｔ）に加えることで、次に設定するR_gain（ｔ＋１）が得られる。
【００５１】
ＣＰＵ４８は、R_gain（ｔ＋１）をＲチャネルの増幅回路３２４に設定するので、次回、センサＩ／Ｆ４１からは適切なホワイトバランスが得られるＲ値が出力される。
【００５２】
Ｂチェネルの増幅回路３２４についても同様に説明できる。まず、ゲイン決定部４８１は、Ｂ_sum及びG_sumを取得する（Ｓ１０）。
【００５３】
次に、ゲイン決定部４８１は、
Ｂ_gain（ｔ＋１）＝Ｂ_gain（ｔ）＋ｋ＊（G_sum−Ｂ_sum）
を計算する（Ｓ２０）。すなわち、基準であるGの積算値G_sumに対し、Ｂの積算値Ｂ_sumを減じて、ゲインへの変換係数ｋ＊を乗じる。これにより、Ｂの積算値Ｂ_sumがＧ_sumと同様になるようなゲインの補正値がえられる。この補正値を現在のＢチャネルのゲインＢ_gain（ｔ）に加えることで、次に設定するＢ_gain（ｔ＋１）が得られる。
【００５４】
ＣＰＵ４８は、Ｂ_gain（ｔ＋１）をＢチャネルの増幅回路３２４に設定するので、次回、センサＩ／Ｆ４１からは適切なホワイトバランスが得られるＢ値が出力される。
【００５５】
＜撮像センサからの信号がYCrCbの場合＞
撮像センサ３２からの信号がYCrCbの場合もほぼ同様に処理できる。
図６は、撮像センサ３２からの画像信号の色空間がYCrCbの場合のＡＷＢ処理を模式的に説明する図の一例である。図６において図４と同一構成部には同一の符号を付しその説明は省略する。図６では撮像センサ３２が出力する画像信号の色空間がYCrCbである。ＣＣＤやＣＭＯＳが出力する画像信号はＲＧＢを色空間とするので、輝度値変換部３２５が画像信号をＲＧＢからYCrCbを色空間とする画像信号に変換する。
【００５６】
センサＩ／Ｆ４１はＡＷＢ評価値を算出するため、輝度値判定部４１２、ＲＧＢ変換部４１６、Ｒ積算部４１３、Ｇ積算部４１４、及び、Ｂ積算部４１５を有する。
【００５７】
図６では、撮像センサ３２が輝度値Ｙを出力しているので、センサＩ／Ｆ４１は輝度値Ｙを算出する必要はない。輝度値判定部４１２は、輝度値Ｙが予め定められたY_min以上かつY_max以下の間に入るか否かを判定し、輝度値ＹがY_min以上かつY_max以下の場合にのみ、画像信号をＲＧＢ変換部４１６に出力する。
【００５８】
ＲＧＢ変換部４１６はYCrCbの色空間の画像信号をＲＧＢの色空間の画像信号に変換する。YCrCbからＲＧＢへは、例えば以下のように変換される。
R = Y+1.402Cr
G = Y-0.714Cr-0.344Cb
B = Y+1.772Cb
Ｒ積算部４１３、Ｇ積算部４１４及びＢ積算部４１５については図4と同様である。また、ゲイン決定部４８１がR_gain（ｔ＋１）及びＢ_gain（ｔ＋１）を計算する手順も図５と同様である。
【００５９】
このように、撮像センサ３２の色空間に関わらず、センサＩ／Ｆ４１はＡＷＢ評価値を計算でき、ＣＰＵ４８は適切なホワイトバランスが得られるゲインを撮像センサ３２に設定できる。
【実施例２】
【００６０】
撮像センサ３２の暗電流は温度が高いほど大きくなることが知られている。このため、温度が高いほど暗部のノイズが大きくなり、ＡＷＢ処理の精度が低下する。そこで、本実施例では、温度に応じて、ＡＷＢ評価値を算出するか否かの閾値、Y_min及びY_maxを変更するデジタルスチルカメラ１００について説明する。温度に応じてY_minを変更するので、温度が変わっても暗部のノイズを大きく含まない画像信号によりＡＷＢ処理が実行される。
【００６１】
図７は、本実施例のＡＷＢ処理を模式的に説明する図の一例である。図７において図４と同一構成部には同一の符号を付しその説明は省略する。本実施例では、画像信号がＲＧＢであるとして説明するが、YCrCbの場合も同様に処理できる。
【００６２】
まず、撮像センサ３２には温度センサ３２６が配置されている。温度センサ３２６は例えばサーミスタであり、ＣＰＵ４８が温度を要求すると現在の温度値をＣＰＵ４８に出力する。ＣＰＵ４８は、プログラムを実行することで実現される閾値決定部４８２を新たに有する。閾値決定部４８２は、撮像センサ３２の温度に応じてY_min及びY_maxを決定する。
【００６３】
ＲＯＭ３８にはＲＧＢの各チャネル毎に、温度とオフセット値を対応づけた温度オフセット値テーブル４８３を記憶している。オフセット値は暗電流の大きさをＲ画素、Ｇ画素、Ｂ画素の値に変換したものである。
【００６４】
温度オフセット値テーブル４８３において、例えば、ある温度Ｔ１におけるＲチャネルのオフセット値がＲ１、Ｇチャネルのオフセット値がＧ１、Ｂチャネルのオフセット値がＢ１、の場合、閾値決定部４８２は以下のようにしてY_minを決定する。
Y_min = 0.299*R１ +0.587*G１ +0.114*B１
なお、温度オフセット値テーブル４８３において、温度と輝度値のオフセット値を対応づけておいてもよい。
【００６５】
Y_maxは、２５５−Y_minから算出してもよいし、ｐを定数としてｐ×Y_minから算出してもよいし、経験値（固定値）としてもよい。
【００６６】
閾値決定部４８２はこのようにして決定したY_min及びY_maxを輝度値判定部４１２に設定する。Y_min及びY_maxの更新は、例えば、デジタルスチルカメラ１００が起動した後の可能な限り早いタイミング、定期的（例えば30分ごと）なタイミング、及び、閾値決定部４８２が撮像センサ３２の温度を監視しておき、温度が所定値以上変化したタイミングなどで行われる。
【００６７】
図８は、閾値決定部４８２が撮像素子の温度に応じてY_min及びY_maxを輝度値判定部４１２に設定する手順を示すフローチャート図の一例である。
【００６８】
まず、閾値決定部４８２は撮像センサ３２の温度を温度センサ３２６から取得する（Ｓ１１０）。
【００６９】
次に、閾値決定部４８２は、温度オフセット値テーブル４８３から、温度に対応したＲ、Ｇ、Ｂの各チェネルのオフセット値を読み出し、Y_minを決定する（Ｓ１２０）。
【００７０】
次に、閾値決定部４８２は、Y_minを利用するなどの所定の算出方法に基づきY_maxを決定する（Ｓ１３０）。
【００７１】
次に、閾値決定部４８２はセンサＩ／Ｆ４１の輝度値判定部４１２にY_min及びY_maxを設定する（Ｓ１４０）。
【００７２】
以上のように、本実施例のデジタルスチルカメラ１００は、温度に応じてY_min及びY_maxを更新でき、温度が変化してもＡＷＢ処理を精度よく行うことができる。
【実施例３】
【００７３】
撮像センサ３２に温度センサ３２６が配置されていない場合があるが、その場合、実施例２のY_min及びY_maxの更新が困難になる。そこで、本実施例では、撮像センサ３２に温度センサ３２６が配置されていない場合にもY_min及びY_maxの更新が可能なデジタルスチルカメラ１００について説明する。
【００７４】
図９は、本実施例のＡＷＢ処理を模式的に説明する図の一例である。図９において図７と同一構成部には同一の符号を付しその説明は省略する。
【００７５】
まず、撮像センサ３２には温度センサ３２６が配置されていないが、ＣＰＵ４８は撮像センサ３２のオプティカルブラック３２７の電荷量を取得することができる。オプティカルブラック３２７は撮像センサ３２のうち入射光から遮蔽された素子である。電荷量は電圧値として読み出される。
【００７６】
本実施例ではＲＯＭ３８に、ＲＧＢそれぞれのオプティカルブラック３２７について、温度と出力電荷量が対応づけられた温度出力電荷量テーブル４８４が記憶されている。閾値決定部４８２は、検出されたＲ画素、Ｇ画素、Ｂ画素それぞれの出力電荷量に基づき、温度出力電荷量テーブル４８４を参照して、撮像センサ３２の温度を推定する。
【００７７】
閾値決定部４８２はこの温度に基づき、温度オフセット値テーブル４８３を参照してＲ画素、Ｇ画素、Ｂ画素それぞれのオフセット値を読み出し、実施例２と同様にY_min及びY_maxを決定する。
【００７８】
図１０は、閾値決定部４８２が撮像素子の温度を推定してY_min及びY_maxを輝度値判定部４１２に設定する手順を示すフローチャート図の一例である。
【００７９】
まず、閾値決定部４８２はＲ画素、Ｇ画素、Ｂ画素それぞれのオプティカルブラック３２７の出力電荷量を取得する（Ｓ１１２）。
【００８０】
閾値決定部４８２は、出力電荷量に基づき温度出力電荷量テーブル４８４を参照し、撮像センサ３２の温度を推定する（Ｓ１１４）。Ｒ画素、Ｇ画素、Ｂ画素それぞれの出力電荷量から３つの温度が得られるので、閾値決定部４８２はＲＧＢ毎に温度を推定する。
【００８１】
次に、閾値決定部４８２は、推定した温度に基づきＲＧＢ各チェネルのオフセット値を読み出し、Y_minを決定する（Ｓ１２０）。
【００８２】
次に、閾値決定部４８２は、Y_minを利用するなどの所定の算出方法に基づきY_maxを決定する（Ｓ１３０）。
【００８３】
次に、閾値決定部４８２はセンサＩ／Ｆ４１の輝度値判定部４１２にY_min及びY_maxを設定する（Ｓ１４０）。
【００８４】
以上のように、本実施例のデジタルスチルカメラ１００は、温度センサ３２６が配置されていなくても、温度を推定してY_min及びY_maxを更新でき、温度が変化してもＡＷＢ処理を精度よく行うことができる。
【実施例４】
【００８５】
撮像センサ３２が出力する画像信号の値が小さいと、色成分に対する暗部の色ノイズ成分が相対的に大きくなる。画像信号の値が小さくなるのは、撮像センサ３２への入射光量が小さい場合である。そこで、本実施例では、撮像センサ３２への入射光量が小さい場合に、Y_min及びY_maxを更新して、ＡＷＢ制御の精度を向上することができるデジタルスチルカメラ１００について説明する。
【００８６】
図１１は、本実施例のＡＷＢ処理を模式的に説明する図の一例である。図１１において図７と同一構成部には同一の符号を付しその説明は省略する。ＡＧＣにより増幅回路３２４のゲインは、入射光量が小さいと大きくなるように設定されるので、ゲインの値から入射光量が小さいことが判別される。
【００８７】
ＲＯＭ３８にはゲインに対応づけてY_minとY_maxが登録されたゲイン閾値テーブル４８５が記憶されている。閾値決定部４８２は、撮像センサ３２のゲインを読み出し、ゲイン閾値テーブル４８５からゲインに対応付けられたY_minとY_maxを読み出す。ゲインは、例えば電圧を１倍する増幅率がゼロ〔dB〕であり、１０倍する増幅率が２０〔dB〕となる。この増幅率が大きいほど入射光量が少ないことになる。ゲイン閾値テーブル４８５には、ゲインが大きいほど（入射光量が小さいほど）、Y_minは大きくなり、Y_maxは小さくなるようにY_minとY_maxが登録されている。これにより、入射光量が小さいほど、ＡＷＢ評価値を算出する画像信号を絞り込むことができる。
【００８８】
なお、ゲインが０〔ｄB〕以下の場合、閾値決定部４８２はY_minとY_maxを設定しない。この場合、入射光量は十分に大きいと推定され、センサＩ／Ｆ４１は画像信号の全てからＡＷＢ評価値を算出する。
【００８９】
図１２は、閾値決定部４８２が撮像センサ３２のゲインに応じてY_min及びY_maxを輝度値判定部４１２に設定する手順を示すフローチャート図の一例である。
【００９０】
まず、閾値決定部４８２は撮像センサ３２からＲ、Ｇ、Ｂそれぞれのチャネルのゲインを取得する（Ｓ１１５）。ＲＧＢそれぞれから３つのゲインが得られるため、輝度値に最も影響の大きいＧのゲインを参照してもよいし、３つのゲインの平均を参照してもよいし、最も大きいゲインを参照してもよい。
【００９１】
閾値決定部４８２は、ゲインがゼロ以下か否かを判定する（Ｓ１１６）。ゲインがゼロ以下の場合（Ｓ１１６のＹｅｓ）、入射光量は十分に大きいので、閾値決定部４８２はセンサＩ／Ｆ４１にY_min及びY_maxを設定しない。
【００９２】
ゲインがゼロ以下でない場合（Ｓ１１６のＮｏ）、入射光量が小さいので、閾値決定部４８２はゲイン閾値テーブル４８５からゲインに対応付けられたY_min及びY_maxを読み出す（Ｓ１１７）。
【００９３】
閾値決定部４８２は、読み出したY_min及びY_maxを輝度値判定部４１２に設定する（Ｓ１４０）。
【００９４】
以上のように、本実施例のデジタルスチルカメラ１００は、入射光量に応じてY_min及びY_maxを更新でき、暗電流の比率が大きい場合でもＡＷＢ処理を精度よく行うことができる。
【実施例５】
【００９５】
実施例４では撮像センサ３２のゲインから入射光量を推定したが、本実施例では画像信号から入射光量が小さいことを検出するデジタルスチルカメラ１００について説明する。
【００９６】
図１３は、本実施例のＡＷＢ処理を模式的に説明する図の一例である。図１３において図４と同一構成部には同一の符号を付しその説明は省略する。本実施例のセンサＩ／Ｆ４１はＹ積算部４１７を有する。Ｙ積算部４１７は、輝度値算出部４１１が算出した輝度値を１画面分積算した輝度値を算出する（以下、積算輝度値という）。
【００９７】
ＲＯＭ３８には積算輝度値に対応づけてY_minとY_maxが登録された輝度値閾値テーブル４８６が記憶されている。閾値決定部４８２は、輝度値閾値テーブル４８６から積算輝度値に対応付けられたY_minとY_maxを読み出す。積算輝度値が小さいほど（入射光量が小さいほど）、Y_minは大きくなり、Y_maxは小さくなる。すなわち、入射光量が小さいほど、ＡＷＢ評価値を算出する画像信号を絞り込むことができる。
【００９８】
図１４は、閾値決定部４８２が画像信号の明るさに応じてY_min及びY_maxを輝度値判定部４１２に設定する手順を示すフローチャート図の一例である。
【００９９】
まず、閾値決定部４８２はＹ積算部４１７から積算輝度値を取得する（Ｓ１１５−１）。
【０１００】
閾値決定部４８２は、積算輝度値が所定値以上か否かを判定する（Ｓ１１６−１）。積算輝度値が所定値以上の場合（Ｓ１１６−１のＹｅｓ）、入射光量は十分に大きいので、閾値決定部４８２はセンサＩ／Ｆ４１にY_min及びY_maxを設定しない。
【０１０１】
積算輝度値が所定値以上でない場合（Ｓ１１６−１のＮｏ）、入射光量が小さいので、閾値決定部４８２は輝度値閾値テーブル４８６から積算輝度値に対応付けられたY_min及びY_maxを読み出す（Ｓ１１７）。
【０１０２】
閾値決定部４８２は、読み出したY_min及びY_maxを輝度値判定部４１２に設定する（Ｓ１４０）。
【０１０３】
以上のように、本実施例のデジタルスチルカメラ１００は、入射光量に応じてY_min及びY_maxを更新でき、暗電流の比率が大きい場合にＡＷＢ処理を正確に行うことができる。
【０１０４】
＜撮像センサからの信号がYCrCbの場合＞
撮像センサ３２からの信号がYCrCbの場合もほぼ同様に処理できる。
図１５は、撮像センサ３２からの信号がYCrCbの場合のＡＷＢ処理を模式的に説明する図の一例である。図１５において図１３と同一構成部には同一の符号を付しその説明は省略する。
【０１０５】
図１５では撮像センサ３２が出力する画像信号の色空間がYCrCbである。センサＩ／Ｆ４１はＡＷＢ評価値を算出するため、輝度値判定部４１２、ＲＧＢ変換部４１６、Ｒ積算部４１３、Ｇ積算部４１４、Ｂ積算部４１５及びＹ積算部４１７を有する。
【０１０６】
図１５のＹ積算部４１７は、輝度値判定部４１２が出力した輝度値を１画面分積算して積算輝度値を積算する。閾値決定部４８２は、積算輝度値に対応付けられたY_minとY_maxを読み出す。こうすることで、入射光量が小さいほど、ＡＷＢ評価値を算出する画像信号を絞り込むことができる。なお、フローチャート図は図１４と同じなので説明を省略する。
【符号の説明】
【０１０７】
２３ 撮像レンズ
２４ ＬＣＤ
３２ 撮像センサ
３４ ＳＤＲＡＭ
３５ 画像処理ＩＣ
４１ センサＩ／Ｆ
４２ メモリコントローラ
４８ ＣＰＵ
１００ デジタルスチルカメラ
４１１ 輝度値算出部
４１２ 輝度値判定部
４１３ Ｒ積算部
４１４ Ｇ積算部
４１５ Ｂ積算部
４１６ ＲＧＢ変換部
４８１ ゲイン決定部
４８２ 閾値決定部
【先行技術文献】
【特許文献】
【０１０８】
【特許文献１】特開平６−３３５００８号公報
【技術分野】
【０００１】
本発明は、撮像素子が撮像した画像信号のホワイトバランスを調整する画像処理装置に関する。
【背景技術】
【０００２】
デジタルカメラで撮影すると、光源の色温度により被写体の白色部及び彩色部の色彩が変化してしまうことが知られている。この色温度による被写体の色彩の変化を低減する機能がホワイトバランス（ＷＢ）機能であり、カメラが自動で行うオートホワイトバランス（ＡＷＢ）機能とユーザがマニュアルで行うホワイトバランス機能がある。
【０００３】
一般的なＡＷＢ機能は、撮像している被写体の全画面の色を平均化すると色成分がほとんどなくなり、白色となることを利用している。具体的には、色情報である色差成分Ｒ−Ｙ（赤系色差成分）、Ｂ−Ｙ（青系色差成分）のそれぞれの積分値がゼロとなるように、ＣＰＵが撮像素子や画像処理部にフィードバック制御を行っている。そして、制御回路がＲチャネルのゲイン及びＢチャネルのゲインを調整する。
【０００４】
ところが、ＲゲインとＢゲインを独立に制御すると、画面内に占める色占有率の変化により色バランスが崩れるという不都合があった。この不都合を改善するため、ＡＷＢ機能の制御に使用するＲゲインとＢゲインの可変制御範囲を一定の範囲に制限するという技術が提案されている（例えば、特許文献１参照。)。
【０００５】
ところで、デジタルカメラでは、画像の最も暗い部分を黒く表示するためブラックレベルを制御している。これをブラックレベルコントロール（ＢＬＣ）といい、次のようにして行われている。撮像素子の有効画素以外の領域にオプティカルブラック領域が設けられている。この領域は遮光されているため、出力される電荷量はゼロ(黒)であるはずだが、実際には微小の電流（これを暗電流という）が流れている。暗電流は温度上昇とともに増加する傾向がある。画像のＲＧＢ信号からＲ画素、Ｇ画素、Ｂ画素の暗電流（オフセット）をそれぞれ差し引く制御がＢＬＣである。こうすることで、Ｒ画素、Ｇ画素、Ｂ画素の光電変換率の相違をキャンセルし、最も暗い部分を黒として捉えることができる。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１のＡＷＢ機能のようにＲゲインとＢゲインの可変制御範囲を一定の範囲に制限すると、ＢＬＣに不具合があった場合にＡＷＢの精度が低下するという問題がある。ＢＬＣが正常に動作している場合、暗部のノイズであるＲ成分、Ｇ成分、Ｂ成分がほぼ同じ量になるはずであるが、ＢＬＣに不具合がある場合、暗部のノイズのＲ成分、Ｇ成分、Ｂ成分が同じ量にならない。この結果、ＡＷＢ処理の精度が下がってしまう。以下に詳しく説明する。
【０００７】
撮像素子が撮影するＲ、Ｇ、Ｂそれぞれの色成分の大きさを
色成分の大きさ = 暗部の色ノイズ成分 + 被写体の色成分
と表す。
【０００８】
Ｒ成分の暗部のノイズが大きく、被写体の色が白の場合を考える。
Ｒ = 50 + 100 = 150
Ｇ = 10 + 100 = 110
Ｂ = 10 + 100 = 110
ＡＷＢ処理では、Ｇ成分を固定して、Ｒ成分とＢ成分の量を調整して、Ｒ、Ｇ、Ｂの量を1：1：1にする。Ｒ画素、Ｇ画素、Ｂ画素をそれぞれ１１０にするため、以下の計算を行う。
Ｒ = （110/150）× (50 + 100) = 110/3 + 220/3 = 36.666 + 73.333 = 110
Ｇ = 10 + 100 = 110
Ｂ = （110/110）× (10 + 100) = 10 + 100 = 110
Ｒ画素、Ｇ画素、Ｂ画素の被写体の色成分は、ＡＷＢ処理前はすべて100であったが、ＡＷＢ処理後はそれぞれ73、100、100となり、被写体のＲ成分の割合が低下している。これは、Ｒ成分の暗部ノイズが他に比較して大きいため、Ｒ成分、Ｇ成分、Ｂ成分の量を1：1：1にすると、色成分である１００までもが暗部ノイズと同じように低減されてしまうためである。
【０００９】
このように、ＢＬＣに不具合があると、暗部ノイズのＲ成分、Ｇ成分、Ｂ成分が同じ比率を維持できず、ＡＷＢ処理の精度が低下してしまう。
【００１０】
また、撮像している被写体の全画面の色を平均化しても白色とならないような被写体の場合、ＡＷＢ処理を行うと色成分の強い色の影響によりＡＷＢ処理が適切に行われないおそれがある。
【００１１】
本発明は、上記課題に鑑み、ＢＬＣに不具合があった場合でも、精度の高いＡＷＢ処理を実現する画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明は、入射光を光電変換する撮像素子と、前記撮像素子が出力する画像信号を増幅する増幅回路と、画像信号に含まれる色成分を用いて前記増幅回路のゲインを調整し画像信号のホワイトバランスを調整するホワイトバランス調整手段と、画像信号に含まれる輝度情報の大きさが下限閾値以上か否かを判定し、輝度情報の大きさが下限閾値以上の場合にのみ、前記ホワイトバランス調整手段に画像信号のホワイトバランスの調整を許可するホワイトバランス調整許可手段と、を有する画像処理装置を提供する。
【発明の効果】
【００１３】
ＢＬＣに不具合があった場合でも、精度の高いＡＷＢ処理を実現する画像処理装置を提供することができる。
【図面の簡単な説明】
【００１４】
【図１】デジタルカメラの概略的な特徴を模式的に示す図の一例である。
【図２】ＡＷＢ機能が搭載されたデジタルスチルカメラの外観図の一例である。
【図３】デジタルスチルカメラのハードウェア構成図の一例である。
【図４】ＡＷＢ処理を模式的に説明する図の一例である。
【図５】ゲインが決定される手順を示すフローチャート図の一例である。
【図６】撮像センサからの信号がYCrCbの場合のＡＷＢ処理を模式的に説明する図の一例である。
【図７】ＡＷＢ処理を模式的に説明する図の一例である（実施例２）。
【図８】閾値決定部が撮像素子の温度に応じてY_min及びY_maxを輝度値判定部に設定する手順を示すフローチャート図の一例である。
【図９】ＡＷＢ処理を模式的に説明する図の一例である（実施例３）。
【図１０】閾値決定部が撮像素子の温度を推定してY_min及びY_maxを輝度値判定部に設定する手順を示すフローチャート図の一例である。
【図１１】ＡＷＢ処理を模式的に説明する図の一例である（実施例４）。
【図１２】閾値決定部が撮像センサのゲインに応じてY_min及びY_maxを輝度値判定部に設定する手順を示すフローチャート図の一例である。
【図１３】ＡＷＢ処理を模式的に説明する図の一例である（実施例５）。
【図１４】閾値決定部が画像信号の明るさに応じてY_min及びY_maxを輝度値判定部に設定する手順を示すフローチャート図の一例である。
【図１５】撮像センサからの信号がYCrCbの場合のＡＷＢ処理を模式的に説明する図の一例である。
【発明を実施するための形態】
【００１５】
以下、本発明を実施するための形態について図面を参照しながら実施例を挙げて説明する。
【実施例１】
【００１６】
図１は、本実施形態のデジタルカメラの概略的な特徴を模式的に示す図の一例である。撮像素子が撮影した画像信号は画像処理のための例えば画像処理ＩＣに入力される。画像信号はＲＧＢ又はYCrCbを色空間とする場合がある。
【００１７】
画像処理ＩＣはまず画像信号から輝度値Ｙを取得する。そして、輝度値が予め定められたY_min以上かつY_min以下の画像信号のみを積算する。すなわち、画像処理ＩＣは、オートホワイトバランス（ＡＷＢ）処理のため、Ｒ画素の積算値、Ｇ画素の積算値、及び、Ｂ画素の積算値を算出するが、算出対象の画像信号はある輝度範囲に入るものだけになる。輝度値がY_min以上の画像信号だけを積算することで、ＢＬＣの暗電流に異常値が含まれていても、その画像信号に含まれる色ノイズ成分を排除することができる。
【００１８】
また、輝度値がY_max以下の画像信号だけを積算することで、ある１色だけ飽和している（例えば、８bit値の場合の２５５）場合などのように、特定色の色成分が強い場合に、その色成分が積算値に影響を与えないようにすることができる。したがって、撮像している被写体の全画面の色を平均化しても白色とならないような被写体に基づきＡＷＢ処理することが抑制され、ＡＷＢ処理の精度を向上することができる。
【００１９】
〔構成例〕
図２は、本実施例のＡＷＢ機能が搭載されたデジタルスチルカメラ１００の外観図の一例を示す。図２（ａ）は正面図を、図２（ｂ）は背面図をそれぞれ示す。図の外観は一例に過ぎない。なお、本実施例ではデジタルスチルカメラ１００を例に説明するが、静止画又は動画の撮影機能を備えたデジタルカメラであれば本実施例のＡＷＢ処理を好適に適用できる。例えば、デジタルスチルカメラ１００はコンパクトデジカメ、マイクロフォーサーズを搭載したデジタル一眼レフ（ミラーレス一眼レフ）又はレフレックスを搭載した一眼レフのいずれでもよい。また、静止画の撮像機能を備えたデジタルビデオカメラ、携帯電話、スマートフォン等にも本実施例のＡＷＢ処理を搭載できる。
【００２０】
図２（ａ）に示すように、デジタルスチルカメラ１００は、レリーズボタン１２、モードダイヤル１１、光学ファインダ１４、フラッシュ２２、撮影レンズ２３を有し、図２（ｂ）に示すように、ＬＣＤ２４、広角ズームＳＷ１６、望遠ズームＳＷ１３、メニューＳＷ１５、上移動／ストロボ設定ＳＷ１７、右移動ＳＷ２１、下移動／マクロ設定ＳＷ１９、左移動／画像確認ＳＷ１８、セルフタイマＳＷ２５等を有する。この他、電源スイッチＳＷ等が配置されている。
【００２１】
レリーズボタン１２は静止画及び動画を撮像するためのボタンであり、モードダイヤル１１は、撮像と再生を切り替えるためのボタンである。光学ファインダ１４は透明なガラスやプラスチックを通してユーザが被写体を視認するためのファインダである。ＬＣＤ２４は、撮像された画像、撮像された動画及びメニュー等の表示、並びに、撮像前の電子ビューファインダとして使用される。ＬＣＤ２４はタッチパネルになっており、ユーザの操作を受け付けることもできる。
【００２２】
広角ズームＳＷ１６は、被写体を小さくして広い範囲を撮影するためのボタンである。望遠ズームＳＷ１３は、範囲を狭めて被写体を大きく撮影するためのボタンである。メニューＳＷ１５は、ＬＣＤ２４にメニューを表示させたり、メニューに表示される設定を変更するためのスイッチである。上移動／ストロボ設定ＳＷ１７は、ＬＣＤ２４のカーソルを上方向に移動させ、また、ストロボ（フラッシュ）の発光を設定するためのボタンである。右移動ＳＷ２１はＬＣＤ２４のカーソルを右方向に移動させるスイッチである。下移動／マクロ設定ＳＷ１９は、ＬＣＤ２４のカーソルをした方向に移動させ、また、レンズを被写体に接近させて撮影するためのボタンである。左移動／画像確認ＳＷ１８は、ＬＣＤ２４のカーソルをした方向に移動させ、また、ＬＣＤ２４に再生された画像を切り換えるスイッチである。セルフタイマＳＷ２５は、タイマ設定を行うためのスイッチである。
【００２３】
図３は、デジタルスチルカメラ１００のハードウェア構成図の一例を示す。図３において図２と同一部には同一の符号を付しその説明は省略する。デジタルスチルカメラ１００は、撮像レンズ２３、メカシャッタ３１、モータドライバ３３、撮像センサ３２、画像処理ＩＣ３５、操作部３９、ＲＯＭ３８、及び、ＳＤＲＡＭ３４等を有している。
【００２４】
操作部３９は、図２にて説明した各種のボタンやメニュー画面が相当する。ＲＯＭ３８には、ＯＳ（オペレーティングシステム）、画像処理ＩＣ３５の初期化、メモリーカードの初期化処理を行ったり、ユーザ操作に応じて各部を制御する処理などを行うプログラム５２が記憶されている。また、ＯＳＤ（Ｏｎ Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）用にメニュー表示のための不図示の画面情報を記憶している。
【００２５】
ＳＤＲＡＭ３４は、画像データを一時的に記憶する高速な揮発性のメモリであり、図示するフォーマット（ＲＡＷ−ＲＧＢ、ＹＵＶ、ＪＰＥＧ）の画像データが記憶される。最終的な画像データは、メモリーカード３６又はＮＶＲＡＭ４６に記憶される。また、不図示のＵＳＢ Ｉ／ＦからＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）に接続し、メモリーカード３６やＮＶＲＡＭ４６からＰＣに画像データを送信することもできる。
【００２６】
モータドライバ３３は、ＣＰＵ（プログラム）４８からの指示により、焦点合わせ（ＡＦ）や光学ズームする際に、撮像レンズ２３及びメカシャッタ３１を光軸方向に移動させる。デジタルスチルカメラ１００は設定された露光時間毎にＣＣＤなどから電荷を読み出す電子シャッタを備えるが、メカシャッタ３１は露光時間外に電子シャッタに到達する光を遮断する。
【００２７】
撮像センサ３２は、受光センサ３２１、ＴＧ（タイミングジェネレータ）３２３、及び、Ａ／Ｄ変換器３２２を有する。受光センサ３２１はＣＣＤやＣＭＯＳなどの撮像素子である。受光センサ３２１は、ＣＤＳ（画像ノイズ除去用相関二重サンプリング部）やＡＧＣ（利得調整部）を有している。ＴＧ３２３は、クロック信号から垂直同期信号ＶＤ、水平同期信号ＨＤを生成し、受光センサ３２１及びＡ／Ｄ変換器３２２に供給する。撮像センサ３２が出力する画像信号はＲＧＢ又はYCrCbを色空間とする。
【００２８】
デジタルスチルカメラ１００の電源が投入され、撮像が開始されると、撮像レンズ２３を通して受光センサ３２１に入射した光が、電気に変換されてＡ／Ｄ変換器３２２に送られる。Ａ／Ｄ変換器３２２は、入力されたアナログ信号を例えば１２ｂｉｔのデジタルデータ（画像信号）に変換する。デジタル信号に変換された画像信号は、画像処理ＩＣ３５のセンサＩ／Ｆ４１に取り込まれる。
【００２９】
画像処理ＩＣ３５は、センサＩ／Ｆ４１、メモリコントローラ４２、ＹＵＶ変換部４９、圧縮伸張部５１、ＣＰＵ４８、表示出力制御部４３、リサイズ処理部４４、メディアＩ／Ｆ４５、及び、音声処理部４７を有する。
【００３０】
センサＩ／Ｆ４１は撮像センサ３２からＡ／Ｄ変換されたデジタルの画像データを取得する。この時点の画像信号の色空間はデジタルのＲＧＢ又はYCrCbである。
【００３１】
また、センサＩ／Ｆ４１は、ブロック内に取り込まれた画像信号よりＡＷＢ（オートホワイトバランス）評価値を算出して、ＣＰＵ４８に出力する。このＡＷＢ評価値が上記の積算値であるが、詳細は後述する。なお、センサＩ／Ｆ４１は、この他、画面の合焦度合いを示すＡＦ（オートフォーカス）評価値、及び、被写体輝度を検出したＡＥ（Automatic Exposure：自動露光）評価値、を算出する。ＣＰＵ４８は、これらの評価値データをＡＷＢ、ＡＥ、ＡＦのそれぞれの処理に利用する。
【００３２】
ＡＦ評価値は、例えば高周波成分抽出フィルタの出力積分値や、近接画素の輝度差の積分値によって作成される。合焦状態にあるときは、被写体のエッジ部分がはっきりとしているため、高周波成分が一番高くなる。デジタルスチルカメラ１００がＡＦに設定されＡＦによる合焦検出動作時は、ＣＰＵ４８は各フォーカスレンズ位置におけるＡＦ評価値を取得して、その極大になる点を合焦位置とすることでＡＦによる合焦位置を取得する。
【００３３】
ＡＥ評価値は、画像信号のＲＧＢ値それぞれの積分値から作成される。センサＩ／Ｆ４１は画面を例えば１０２４エリアに等分割（水平３２分割、垂直３２分割）し、それぞれのエリアのＲＧＢ積算値を算出する。ＣＰＵ４８はセンサＩ／Ｆ４１からＲＧＢ積分値を読み出し、それぞれのエリアの輝度を算出して、輝度分布から適正な露光時間を決定する。
【００３４】
ＡＥとＡＷＢの処理は、ＬＣＤ２４に映像が出力されている間は連続的に行われている。被写体が撮像された場合、ＡＦ評価値、ＡＥ評価値及びＡＷＢ評価値は画像データと共にファイルに記憶される。
【００３５】
ＡＦ完了後に撮像センサ３２から出力されセンサＩ／Ｆ４１が取り込んだ画像信号は、メモリコントローラ４２によりＳＤＲＡＭ(フレームメモリという場合もある)３４に格納される。この画像データが「ＲＡＷ−ＲＧＢ」と呼ばれる。
【００３６】
メモリコントローラ４２は、画像データをＳＤＲＡＭ３４から読み出し、ＹＵＶ変換部４９に送出する。ＹＵＶ変換部４９は、ＲＧＢ信号をＹＵＶ信号に変換しメモリコントローラ４２に送出するので、メモリコントローラ４２は、ＹＵＶ信号をＳＤＲＡＭ３４に記憶する。ＹＵＶ信号に変換するのは、ＲＧＢ信号よりも容量を小さくできるためと、ＬＣＤ２４のビデオ信号への変換が容易になるためである。メモリコントローラ４２は、ＹＵＶ信号を読み出して表示出力制御部４３に出力する。
【００３７】
表示出力制御部４３はＹＵＶの画像データをＮＴＳＣ信号やＰＡＬ信号などのビデオ信号に変換し、ＬＣＤ２４に出力する。デジタルスチルカメラ１００がＡＶケーブルなどでＴＶと接続されている場合はビデオ信号がＴＶにも出力される。ＬＣＤ２４が画像データを表示している間、画像信号からビデオ信号への変換までの処理は１／３０秒間隔で行われ、１／３０秒ごとにＬＣＤ２４の画面が更新される。
【００３８】
なお、リサイズ処理部４４は、デジタルズームのための処理部で、ＹＵＶの画像データを補間処理により拡大／縮小する。ユーザがデジタルズームの操作を行うと、ＹＵＶの画像データから必要な部分を切り出し、画像サイズを変更する。リサイズ処理はスチル画像の撮像時も有効である。
【００３９】
デジタルスチルカメラ１００は、ユーザが動画撮像を選択した場合、一連のＹＵＶの画像データを映像としてメモリーカード等に記憶することができる。動画の記録フォーマットは例えば、ＡＶＩ（Open DML Motion JPEG フォーマット準拠）やＪＰＥＧ ベースライン方式に準拠したフォーマットである。なお、これらの記録フォーマットに圧縮する場合は、圧縮伸張部５１が圧縮する。
【００４０】
スチル画像撮像時、ユーザは撮像前にＡＦの操作としてレリーズボタン１２を半押しする。これにより、操作部３９から静止画撮像開始信号がＣＰＵ４８に取り込まれると、ＣＰＵ４８はフレームレートに同期してモータドライバ３３を介してレンズを駆動し、山登りＡＦを実行する。ＡＦ対象範囲が無限から至近までの全領域であった場合、フォーカスレンズは至近から無限、または無限から至近までの間の各フォーカス位置まで移動し、センサＩ／Ｆ４１が作成した各フレーム（＝各フォーカス位置）におけるＡＦ評価値がＣＰＵ４８に読み出される。ＣＰＵ４８は、各フォーカス位置のＡＦ評価値が極大になる点を合焦位置として、フォーカスレンズを合焦位置に移動すると共に、光学ファインダ１４にＡＦ完了のランプなどを表示する。これにより、ユーザはレリーズボタンを全押しして撮像することができる。
【００４１】
ＣＰＵ４８はレリーズボタン１２が全押しされたことを操作部３９から検知して撮像センサ３２に通知することで、スチル画像撮像時の画像信号が画像処理ＩＣ３５に出力される。ＹＵＶ変換部４９は画像信号をＹＵＶの画像信号に変換し、ＳＤＲＡＭ３４に記憶する。メモリコントローラ４２はＹＵＶに変換された画像データを圧縮伸張部５１に送出する。圧縮伸張部５１は送られたＹＵＶの画像データを圧縮し、ＳＤＲＡＭ３４に書き戻す。圧縮のフォーマットは種々あるが、図ではＪＰＥＧで示されている。メモリコントローラ４２は圧縮された画像データを読み出し、フラッシュメモリの等の内蔵するＮＶＲＡＭ４６に記憶したり又はメディアＩ／Ｆ４５に対しメモリーカード３６に記憶させる。
【００４２】
静止画の画像データは、ＪＰＥＧの画像データをExif形式で記録する記録フォーマットが知られている。Exifは画像データと撮像条件などの情報を１つのファイルの中に記述できる記録フォーマットである。例えば、撮像された日時や機種名、シャッタースピード、絞り値等、撮像に関する情報、画像データの圧縮モード、色空間、画素数などの情報を記述することができる。
【００４３】
〔ＡＷＢ処理〕
図４は、本実施例のＡＷＢ処理を模式的に説明する図の一例である。図４において図３と同一構成部には同一の符号を付しその説明は省略する。なお図４では画像信号の色空間がＲＧＢであるとする。センサＩ／Ｆ４１はＡＷＢ評価値を算出するため、輝度値算出部４１１、輝度値判定部４１２、Ｒ積算部４１３、Ｇ積算部４１４、及び、Ｂ積算部４１５を有する。
【００４４】
輝度値算出部４１１は、ＲＧＢの画像信号から輝度値Ｙを算出する。ＲＧＢから輝度値へは、例えば以下のように変換される。また、輝度値Ｙが求められると、色差成分Ｒ−Ｙ、Ｂ−Ｙも求めることができる。
Y = 0.299*R +0.587*G +0.114*B
R-Y = +0.701*R -0.587*G -0.114*B
B-Y = -0.299*R -0.587*G +0.886*B
輝度値判定部４１２は、輝度値Ｙが予め定められたY_min以上かつY_max以下の間に入るか否かを判定し、輝度値YがY_min以上かつY_max以下の場合にのみ、画像信号をＲ積算部４１３、Ｇ積算部４１４、及び、Ｂ積算部４１５に出力する。
【００４５】
Ｒ積算部４１３は、画像信号のＲ成分を画像１画面分積算する。積算値をＲ_sumとする。Ｇ積算部４１４は、画像信号のＧ成分を画像１画面分積算する。積算値をG_sumとする。Ｂ積算部４１５は、画像信号のＢ成分を画像１画面分積算する。積算値をＢ_sumとする。Ｒ_sum、G_sum、Ｂ_sumはＣＰＵ４８に送られる。これらの積算値がＡＷＢ評価値である。
【００４６】
ＣＰＵ４８は、プログラム５２を実行して実現されるゲイン決定部４８１を有する。ゲイン決定部４８１は、Ｒの積算値、Ｂの積算値、Ｇの積算値から、Ｒ、Ｇ、Ｂの積算値の比が１：１：１になるようにゲインを決定する。
【００４７】
図５は、ゲインが決定される手順を示すフローチャート図の一例である。図５（ａ）は、Ｒチャネルのゲインが決定される手順を示すフローチャート図を、図５（ｂ）は、Ｂチャネルのゲインが決定される手順を示すフローチャート図を、それぞれ示す。
【００４８】
なお、Ｒ_gain（ｔ）は現在のＲチャネルの増幅回路３２４のゲイン、Ｂ_gain（ｔ）は現在のＢチャネルの増幅回路３２４のゲイン、Ｒ_gain（ｔ+1）は次に設定するＲチャネルの増幅回路３２４のゲイン、Ｂ_gain（ｔ+1）は次に設定するＢチャネルの増幅回路３２４のゲインである。
【００４９】
まず、ゲイン決定部４８１は、R_sum及びG_sumを取得する（Ｓ１０）。
【００５０】
次に、ゲイン決定部４８１は、
R_gain（ｔ＋１）＝R_gain（ｔ）＋ｋ＊（G_sum−R_sum）
を計算する（Ｓ２０）。すなわち、基準であるGの積算値G_sumに対し、Ｒの積算値R_sumを減じて、ゲインへの変換係数ｋ＊を乗じる。これにより、Ｒの積算値R_sumがＧ_sumと同様になるようなゲインの補正値がえられる。この補正値を現在のＲチャネルのゲインR_gain（ｔ）に加えることで、次に設定するR_gain（ｔ＋１）が得られる。
【００５１】
ＣＰＵ４８は、R_gain（ｔ＋１）をＲチャネルの増幅回路３２４に設定するので、次回、センサＩ／Ｆ４１からは適切なホワイトバランスが得られるＲ値が出力される。
【００５２】
Ｂチェネルの増幅回路３２４についても同様に説明できる。まず、ゲイン決定部４８１は、Ｂ_sum及びG_sumを取得する（Ｓ１０）。
【００５３】
次に、ゲイン決定部４８１は、
Ｂ_gain（ｔ＋１）＝Ｂ_gain（ｔ）＋ｋ＊（G_sum−Ｂ_sum）
を計算する（Ｓ２０）。すなわち、基準であるGの積算値G_sumに対し、Ｂの積算値Ｂ_sumを減じて、ゲインへの変換係数ｋ＊を乗じる。これにより、Ｂの積算値Ｂ_sumがＧ_sumと同様になるようなゲインの補正値がえられる。この補正値を現在のＢチャネルのゲインＢ_gain（ｔ）に加えることで、次に設定するＢ_gain（ｔ＋１）が得られる。
【００５４】
ＣＰＵ４８は、Ｂ_gain（ｔ＋１）をＢチャネルの増幅回路３２４に設定するので、次回、センサＩ／Ｆ４１からは適切なホワイトバランスが得られるＢ値が出力される。
【００５５】
＜撮像センサからの信号がYCrCbの場合＞
撮像センサ３２からの信号がYCrCbの場合もほぼ同様に処理できる。
図６は、撮像センサ３２からの画像信号の色空間がYCrCbの場合のＡＷＢ処理を模式的に説明する図の一例である。図６において図４と同一構成部には同一の符号を付しその説明は省略する。図６では撮像センサ３２が出力する画像信号の色空間がYCrCbである。ＣＣＤやＣＭＯＳが出力する画像信号はＲＧＢを色空間とするので、輝度値変換部３２５が画像信号をＲＧＢからYCrCbを色空間とする画像信号に変換する。
【００５６】
センサＩ／Ｆ４１はＡＷＢ評価値を算出するため、輝度値判定部４１２、ＲＧＢ変換部４１６、Ｒ積算部４１３、Ｇ積算部４１４、及び、Ｂ積算部４１５を有する。
【００５７】
図６では、撮像センサ３２が輝度値Ｙを出力しているので、センサＩ／Ｆ４１は輝度値Ｙを算出する必要はない。輝度値判定部４１２は、輝度値Ｙが予め定められたY_min以上かつY_max以下の間に入るか否かを判定し、輝度値ＹがY_min以上かつY_max以下の場合にのみ、画像信号をＲＧＢ変換部４１６に出力する。
【００５８】
ＲＧＢ変換部４１６はYCrCbの色空間の画像信号をＲＧＢの色空間の画像信号に変換する。YCrCbからＲＧＢへは、例えば以下のように変換される。
R = Y+1.402Cr
G = Y-0.714Cr-0.344Cb
B = Y+1.772Cb
Ｒ積算部４１３、Ｇ積算部４１４及びＢ積算部４１５については図4と同様である。また、ゲイン決定部４８１がR_gain（ｔ＋１）及びＢ_gain（ｔ＋１）を計算する手順も図５と同様である。
【００５９】
このように、撮像センサ３２の色空間に関わらず、センサＩ／Ｆ４１はＡＷＢ評価値を計算でき、ＣＰＵ４８は適切なホワイトバランスが得られるゲインを撮像センサ３２に設定できる。
【実施例２】
【００６０】
撮像センサ３２の暗電流は温度が高いほど大きくなることが知られている。このため、温度が高いほど暗部のノイズが大きくなり、ＡＷＢ処理の精度が低下する。そこで、本実施例では、温度に応じて、ＡＷＢ評価値を算出するか否かの閾値、Y_min及びY_maxを変更するデジタルスチルカメラ１００について説明する。温度に応じてY_minを変更するので、温度が変わっても暗部のノイズを大きく含まない画像信号によりＡＷＢ処理が実行される。
【００６１】
図７は、本実施例のＡＷＢ処理を模式的に説明する図の一例である。図７において図４と同一構成部には同一の符号を付しその説明は省略する。本実施例では、画像信号がＲＧＢであるとして説明するが、YCrCbの場合も同様に処理できる。
【００６２】
まず、撮像センサ３２には温度センサ３２６が配置されている。温度センサ３２６は例えばサーミスタであり、ＣＰＵ４８が温度を要求すると現在の温度値をＣＰＵ４８に出力する。ＣＰＵ４８は、プログラムを実行することで実現される閾値決定部４８２を新たに有する。閾値決定部４８２は、撮像センサ３２の温度に応じてY_min及びY_maxを決定する。
【００６３】
ＲＯＭ３８にはＲＧＢの各チャネル毎に、温度とオフセット値を対応づけた温度オフセット値テーブル４８３を記憶している。オフセット値は暗電流の大きさをＲ画素、Ｇ画素、Ｂ画素の値に変換したものである。
【００６４】
温度オフセット値テーブル４８３において、例えば、ある温度Ｔ１におけるＲチャネルのオフセット値がＲ１、Ｇチャネルのオフセット値がＧ１、Ｂチャネルのオフセット値がＢ１、の場合、閾値決定部４８２は以下のようにしてY_minを決定する。
Y_min = 0.299*R１ +0.587*G１ +0.114*B１
なお、温度オフセット値テーブル４８３において、温度と輝度値のオフセット値を対応づけておいてもよい。
【００６５】
Y_maxは、２５５−Y_minから算出してもよいし、ｐを定数としてｐ×Y_minから算出してもよいし、経験値（固定値）としてもよい。
【００６６】
閾値決定部４８２はこのようにして決定したY_min及びY_maxを輝度値判定部４１２に設定する。Y_min及びY_maxの更新は、例えば、デジタルスチルカメラ１００が起動した後の可能な限り早いタイミング、定期的（例えば30分ごと）なタイミング、及び、閾値決定部４８２が撮像センサ３２の温度を監視しておき、温度が所定値以上変化したタイミングなどで行われる。
【００６７】
図８は、閾値決定部４８２が撮像素子の温度に応じてY_min及びY_maxを輝度値判定部４１２に設定する手順を示すフローチャート図の一例である。
【００６８】
まず、閾値決定部４８２は撮像センサ３２の温度を温度センサ３２６から取得する（Ｓ１１０）。
【００６９】
次に、閾値決定部４８２は、温度オフセット値テーブル４８３から、温度に対応したＲ、Ｇ、Ｂの各チェネルのオフセット値を読み出し、Y_minを決定する（Ｓ１２０）。
【００７０】
次に、閾値決定部４８２は、Y_minを利用するなどの所定の算出方法に基づきY_maxを決定する（Ｓ１３０）。
【００７１】
次に、閾値決定部４８２はセンサＩ／Ｆ４１の輝度値判定部４１２にY_min及びY_maxを設定する（Ｓ１４０）。
【００７２】
以上のように、本実施例のデジタルスチルカメラ１００は、温度に応じてY_min及びY_maxを更新でき、温度が変化してもＡＷＢ処理を精度よく行うことができる。
【実施例３】
【００７３】
撮像センサ３２に温度センサ３２６が配置されていない場合があるが、その場合、実施例２のY_min及びY_maxの更新が困難になる。そこで、本実施例では、撮像センサ３２に温度センサ３２６が配置されていない場合にもY_min及びY_maxの更新が可能なデジタルスチルカメラ１００について説明する。
【００７４】
図９は、本実施例のＡＷＢ処理を模式的に説明する図の一例である。図９において図７と同一構成部には同一の符号を付しその説明は省略する。
【００７５】
まず、撮像センサ３２には温度センサ３２６が配置されていないが、ＣＰＵ４８は撮像センサ３２のオプティカルブラック３２７の電荷量を取得することができる。オプティカルブラック３２７は撮像センサ３２のうち入射光から遮蔽された素子である。電荷量は電圧値として読み出される。
【００７６】
本実施例ではＲＯＭ３８に、ＲＧＢそれぞれのオプティカルブラック３２７について、温度と出力電荷量が対応づけられた温度出力電荷量テーブル４８４が記憶されている。閾値決定部４８２は、検出されたＲ画素、Ｇ画素、Ｂ画素それぞれの出力電荷量に基づき、温度出力電荷量テーブル４８４を参照して、撮像センサ３２の温度を推定する。
【００７７】
閾値決定部４８２はこの温度に基づき、温度オフセット値テーブル４８３を参照してＲ画素、Ｇ画素、Ｂ画素それぞれのオフセット値を読み出し、実施例２と同様にY_min及びY_maxを決定する。
【００７８】
図１０は、閾値決定部４８２が撮像素子の温度を推定してY_min及びY_maxを輝度値判定部４１２に設定する手順を示すフローチャート図の一例である。
【００７９】
まず、閾値決定部４８２はＲ画素、Ｇ画素、Ｂ画素それぞれのオプティカルブラック３２７の出力電荷量を取得する（Ｓ１１２）。
【００８０】
閾値決定部４８２は、出力電荷量に基づき温度出力電荷量テーブル４８４を参照し、撮像センサ３２の温度を推定する（Ｓ１１４）。Ｒ画素、Ｇ画素、Ｂ画素それぞれの出力電荷量から３つの温度が得られるので、閾値決定部４８２はＲＧＢ毎に温度を推定する。
【００８１】
次に、閾値決定部４８２は、推定した温度に基づきＲＧＢ各チェネルのオフセット値を読み出し、Y_minを決定する（Ｓ１２０）。
【００８２】
次に、閾値決定部４８２は、Y_minを利用するなどの所定の算出方法に基づきY_maxを決定する（Ｓ１３０）。
【００８３】
次に、閾値決定部４８２はセンサＩ／Ｆ４１の輝度値判定部４１２にY_min及びY_maxを設定する（Ｓ１４０）。
【００８４】
以上のように、本実施例のデジタルスチルカメラ１００は、温度センサ３２６が配置されていなくても、温度を推定してY_min及びY_maxを更新でき、温度が変化してもＡＷＢ処理を精度よく行うことができる。
【実施例４】
【００８５】
撮像センサ３２が出力する画像信号の値が小さいと、色成分に対する暗部の色ノイズ成分が相対的に大きくなる。画像信号の値が小さくなるのは、撮像センサ３２への入射光量が小さい場合である。そこで、本実施例では、撮像センサ３２への入射光量が小さい場合に、Y_min及びY_maxを更新して、ＡＷＢ制御の精度を向上することができるデジタルスチルカメラ１００について説明する。
【００８６】
図１１は、本実施例のＡＷＢ処理を模式的に説明する図の一例である。図１１において図７と同一構成部には同一の符号を付しその説明は省略する。ＡＧＣにより増幅回路３２４のゲインは、入射光量が小さいと大きくなるように設定されるので、ゲインの値から入射光量が小さいことが判別される。
【００８７】
ＲＯＭ３８にはゲインに対応づけてY_minとY_maxが登録されたゲイン閾値テーブル４８５が記憶されている。閾値決定部４８２は、撮像センサ３２のゲインを読み出し、ゲイン閾値テーブル４８５からゲインに対応付けられたY_minとY_maxを読み出す。ゲインは、例えば電圧を１倍する増幅率がゼロ〔dB〕であり、１０倍する増幅率が２０〔dB〕となる。この増幅率が大きいほど入射光量が少ないことになる。ゲイン閾値テーブル４８５には、ゲインが大きいほど（入射光量が小さいほど）、Y_minは大きくなり、Y_maxは小さくなるようにY_minとY_maxが登録されている。これにより、入射光量が小さいほど、ＡＷＢ評価値を算出する画像信号を絞り込むことができる。
【００８８】
なお、ゲインが０〔ｄB〕以下の場合、閾値決定部４８２はY_minとY_maxを設定しない。この場合、入射光量は十分に大きいと推定され、センサＩ／Ｆ４１は画像信号の全てからＡＷＢ評価値を算出する。
【００８９】
図１２は、閾値決定部４８２が撮像センサ３２のゲインに応じてY_min及びY_maxを輝度値判定部４１２に設定する手順を示すフローチャート図の一例である。
【００９０】
まず、閾値決定部４８２は撮像センサ３２からＲ、Ｇ、Ｂそれぞれのチャネルのゲインを取得する（Ｓ１１５）。ＲＧＢそれぞれから３つのゲインが得られるため、輝度値に最も影響の大きいＧのゲインを参照してもよいし、３つのゲインの平均を参照してもよいし、最も大きいゲインを参照してもよい。
【００９１】
閾値決定部４８２は、ゲインがゼロ以下か否かを判定する（Ｓ１１６）。ゲインがゼロ以下の場合（Ｓ１１６のＹｅｓ）、入射光量は十分に大きいので、閾値決定部４８２はセンサＩ／Ｆ４１にY_min及びY_maxを設定しない。
【００９２】
ゲインがゼロ以下でない場合（Ｓ１１６のＮｏ）、入射光量が小さいので、閾値決定部４８２はゲイン閾値テーブル４８５からゲインに対応付けられたY_min及びY_maxを読み出す（Ｓ１１７）。
【００９３】
閾値決定部４８２は、読み出したY_min及びY_maxを輝度値判定部４１２に設定する（Ｓ１４０）。
【００９４】
以上のように、本実施例のデジタルスチルカメラ１００は、入射光量に応じてY_min及びY_maxを更新でき、暗電流の比率が大きい場合でもＡＷＢ処理を精度よく行うことができる。
【実施例５】
【００９５】
実施例４では撮像センサ３２のゲインから入射光量を推定したが、本実施例では画像信号から入射光量が小さいことを検出するデジタルスチルカメラ１００について説明する。
【００９６】
図１３は、本実施例のＡＷＢ処理を模式的に説明する図の一例である。図１３において図４と同一構成部には同一の符号を付しその説明は省略する。本実施例のセンサＩ／Ｆ４１はＹ積算部４１７を有する。Ｙ積算部４１７は、輝度値算出部４１１が算出した輝度値を１画面分積算した輝度値を算出する（以下、積算輝度値という）。
【００９７】
ＲＯＭ３８には積算輝度値に対応づけてY_minとY_maxが登録された輝度値閾値テーブル４８６が記憶されている。閾値決定部４８２は、輝度値閾値テーブル４８６から積算輝度値に対応付けられたY_minとY_maxを読み出す。積算輝度値が小さいほど（入射光量が小さいほど）、Y_minは大きくなり、Y_maxは小さくなる。すなわち、入射光量が小さいほど、ＡＷＢ評価値を算出する画像信号を絞り込むことができる。
【００９８】
図１４は、閾値決定部４８２が画像信号の明るさに応じてY_min及びY_maxを輝度値判定部４１２に設定する手順を示すフローチャート図の一例である。
【００９９】
まず、閾値決定部４８２はＹ積算部４１７から積算輝度値を取得する（Ｓ１１５−１）。
【０１００】
閾値決定部４８２は、積算輝度値が所定値以上か否かを判定する（Ｓ１１６−１）。積算輝度値が所定値以上の場合（Ｓ１１６−１のＹｅｓ）、入射光量は十分に大きいので、閾値決定部４８２はセンサＩ／Ｆ４１にY_min及びY_maxを設定しない。
【０１０１】
積算輝度値が所定値以上でない場合（Ｓ１１６−１のＮｏ）、入射光量が小さいので、閾値決定部４８２は輝度値閾値テーブル４８６から積算輝度値に対応付けられたY_min及びY_maxを読み出す（Ｓ１１７）。
【０１０２】
閾値決定部４８２は、読み出したY_min及びY_maxを輝度値判定部４１２に設定する（Ｓ１４０）。
【０１０３】
以上のように、本実施例のデジタルスチルカメラ１００は、入射光量に応じてY_min及びY_maxを更新でき、暗電流の比率が大きい場合にＡＷＢ処理を正確に行うことができる。
【０１０４】
＜撮像センサからの信号がYCrCbの場合＞
撮像センサ３２からの信号がYCrCbの場合もほぼ同様に処理できる。
図１５は、撮像センサ３２からの信号がYCrCbの場合のＡＷＢ処理を模式的に説明する図の一例である。図１５において図１３と同一構成部には同一の符号を付しその説明は省略する。
【０１０５】
図１５では撮像センサ３２が出力する画像信号の色空間がYCrCbである。センサＩ／Ｆ４１はＡＷＢ評価値を算出するため、輝度値判定部４１２、ＲＧＢ変換部４１６、Ｒ積算部４１３、Ｇ積算部４１４、Ｂ積算部４１５及びＹ積算部４１７を有する。
【０１０６】
図１５のＹ積算部４１７は、輝度値判定部４１２が出力した輝度値を１画面分積算して積算輝度値を積算する。閾値決定部４８２は、積算輝度値に対応付けられたY_minとY_maxを読み出す。こうすることで、入射光量が小さいほど、ＡＷＢ評価値を算出する画像信号を絞り込むことができる。なお、フローチャート図は図１４と同じなので説明を省略する。
【符号の説明】
【０１０７】
２３ 撮像レンズ
２４ ＬＣＤ
３２ 撮像センサ
３４ ＳＤＲＡＭ
３５ 画像処理ＩＣ
４１ センサＩ／Ｆ
４２ メモリコントローラ
４８ ＣＰＵ
１００ デジタルスチルカメラ
４１１ 輝度値算出部
４１２ 輝度値判定部
４１３ Ｒ積算部
４１４ Ｇ積算部
４１５ Ｂ積算部
４１６ ＲＧＢ変換部
４８１ ゲイン決定部
４８２ 閾値決定部
【先行技術文献】
【特許文献】
【０１０８】
【特許文献１】特開平６−３３５００８号公報
【特許請求の範囲】
【請求項１】
入射光を光電変換する撮像素子と、
前記撮像素子が出力する画像信号を増幅する増幅回路と、
画像信号に含まれる色成分を用いて前記増幅回路のゲインを調整し画像信号のホワイトバランスを調整するホワイトバランス調整手段と、
画像信号に含まれる輝度情報の大きさが下限閾値以上か否かを判定し、輝度情報の大きさが下限閾値以上の場合にのみ、前記ホワイトバランス調整手段に画像信号のホワイトバランスの調整を許可するホワイトバランス調整許可手段と、
を有する画像処理装置。
【請求項２】
前記ホワイトバランス調整許可手段は、画像信号に含まれる輝度情報の大きさが上限閾値以下か否かを判定し、輝度情報の大きさが下限閾値以上かつ上限閾値以下の場合にのみ、前記ホワイトバランス調整手段に画像信号のホワイトバランスの調整を許可する
ことを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記撮像素子の温度を検出する温度センサと、
前記画像信号のオフセット値と温度とを対応づけて登録した温度オフセット変換テーブルと、
前記温度オフセット変換テーブルにて、前記温度センサが検出した温度が対応づけられたオフセット値を読み出し、該オフセット値を前記下限閾値として前記ホワイトバランス調整許可手段に設定する下限閾値決定手段と、
を有することを特徴とする請求項１又は２記載の画像処理装置。
【請求項４】
前記撮像素子のうち入射光の進入が遮蔽されたオプティカルブラック部位の電圧値と、温度を対応づけた電圧値温度変換テーブルと、
前記画像信号のオフセット値と温度とを対応づけて登録した温度オフセット変換テーブルと、
前記オプティカルブラック部位の電圧値を取得して、前記電圧値温度変換テーブルから温度を読み出し、該温度に対応づけられたオフセット値を前記温度オフセット変換テーブルから読み出し、該オフセット値を前記下限閾値として前記ホワイトバランス調整許可手段に設定する下限閾値決定手段と、
を有することを特徴とする請求項１又は２記載の画像処理装置。
【請求項５】
前記増幅回路のゲイン値と前記下限閾値を対応づけたゲイン閾値変換テーブルと、
前記増幅回路のゲイン値を取得して、前記ゲイン閾値変換テーブルから該ゲイン値に対応づけられた前記下限閾値を読み出し、前記ホワイトバランス調整許可手段に設定する下限閾値決定手段と、
を有することを特徴とする請求項１又は２記載の画像処理装置。
【請求項６】
画像信号に含まれる輝度情報と前記下限閾値を対応づけた輝度情報閾値変換テーブルと、
画像信号に含まれる輝度情報を検出する輝度情報大きさ検出手段と、
前記輝度情報大きさ検出手段が検出した輝度情報に対応づけられた前記下限閾値を前記輝度情報閾値変換テーブルから読み出し、前記ホワイトバランス調整許可手段に設定する下限閾値決定手段と、
を有することを特徴とする請求項１又は２記載の画像処理装置。
【請求項７】
前記撮像素子が出力する画像信号がＲＧＢの色空間である場合、画像信号から輝度情報を算出する輝度情報算出部を有する、
ことを特徴とする請求項１〜６いずれか１項記載の画像処理装置。
【請求項８】
前記撮像素子が出力する画像信号がＹＣｒＣｂの色空間である、ことを特徴とする請求項１〜６いずれか１項記載の画像処理装置。
【請求項９】
撮像素子が、入射光を光電変換するステップと、
増幅回路が、前記撮像素子が出力する画像信号を増幅するステップと、
ホワイトバランス調整許可手段が、画像信号に含まれる輝度情報の大きさが下限閾値以上か否かを判定し、輝度情報の大きさが下限閾値以上の場合にのみ、ホワイトバランス調整手段に画像信号のホワイトバランスの調整を許可するステップと、
ホワイトバランス調整手段が、画像信号に含まれる色成分を用いて前記増幅回路のゲインを調整し画像信号のホワイトバランスを調整するステップと、
を有する画像処理方法。
【請求項１】
入射光を光電変換する撮像素子と、
前記撮像素子が出力する画像信号を増幅する増幅回路と、
画像信号に含まれる色成分を用いて前記増幅回路のゲインを調整し画像信号のホワイトバランスを調整するホワイトバランス調整手段と、
画像信号に含まれる輝度情報の大きさが下限閾値以上か否かを判定し、輝度情報の大きさが下限閾値以上の場合にのみ、前記ホワイトバランス調整手段に画像信号のホワイトバランスの調整を許可するホワイトバランス調整許可手段と、
を有する画像処理装置。
【請求項２】
前記ホワイトバランス調整許可手段は、画像信号に含まれる輝度情報の大きさが上限閾値以下か否かを判定し、輝度情報の大きさが下限閾値以上かつ上限閾値以下の場合にのみ、前記ホワイトバランス調整手段に画像信号のホワイトバランスの調整を許可する
ことを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記撮像素子の温度を検出する温度センサと、
前記画像信号のオフセット値と温度とを対応づけて登録した温度オフセット変換テーブルと、
前記温度オフセット変換テーブルにて、前記温度センサが検出した温度が対応づけられたオフセット値を読み出し、該オフセット値を前記下限閾値として前記ホワイトバランス調整許可手段に設定する下限閾値決定手段と、
を有することを特徴とする請求項１又は２記載の画像処理装置。
【請求項４】
前記撮像素子のうち入射光の進入が遮蔽されたオプティカルブラック部位の電圧値と、温度を対応づけた電圧値温度変換テーブルと、
前記画像信号のオフセット値と温度とを対応づけて登録した温度オフセット変換テーブルと、
前記オプティカルブラック部位の電圧値を取得して、前記電圧値温度変換テーブルから温度を読み出し、該温度に対応づけられたオフセット値を前記温度オフセット変換テーブルから読み出し、該オフセット値を前記下限閾値として前記ホワイトバランス調整許可手段に設定する下限閾値決定手段と、
を有することを特徴とする請求項１又は２記載の画像処理装置。
【請求項５】
前記増幅回路のゲイン値と前記下限閾値を対応づけたゲイン閾値変換テーブルと、
前記増幅回路のゲイン値を取得して、前記ゲイン閾値変換テーブルから該ゲイン値に対応づけられた前記下限閾値を読み出し、前記ホワイトバランス調整許可手段に設定する下限閾値決定手段と、
を有することを特徴とする請求項１又は２記載の画像処理装置。
【請求項６】
画像信号に含まれる輝度情報と前記下限閾値を対応づけた輝度情報閾値変換テーブルと、
画像信号に含まれる輝度情報を検出する輝度情報大きさ検出手段と、
前記輝度情報大きさ検出手段が検出した輝度情報に対応づけられた前記下限閾値を前記輝度情報閾値変換テーブルから読み出し、前記ホワイトバランス調整許可手段に設定する下限閾値決定手段と、
を有することを特徴とする請求項１又は２記載の画像処理装置。
【請求項７】
前記撮像素子が出力する画像信号がＲＧＢの色空間である場合、画像信号から輝度情報を算出する輝度情報算出部を有する、
ことを特徴とする請求項１〜６いずれか１項記載の画像処理装置。
【請求項８】
前記撮像素子が出力する画像信号がＹＣｒＣｂの色空間である、ことを特徴とする請求項１〜６いずれか１項記載の画像処理装置。
【請求項９】
撮像素子が、入射光を光電変換するステップと、
増幅回路が、前記撮像素子が出力する画像信号を増幅するステップと、
ホワイトバランス調整許可手段が、画像信号に含まれる輝度情報の大きさが下限閾値以上か否かを判定し、輝度情報の大きさが下限閾値以上の場合にのみ、ホワイトバランス調整手段に画像信号のホワイトバランスの調整を許可するステップと、
ホワイトバランス調整手段が、画像信号に含まれる色成分を用いて前記増幅回路のゲインを調整し画像信号のホワイトバランスを調整するステップと、
を有する画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１３−４２２９０（Ｐ２０１３−４２２９０Ａ）
【公開日】平成２５年２月２８日（２０１３．２．２８）
【国際特許分類】
【出願番号】特願２０１１−１７７０２３（Ｐ２０１１−１７７０２３）
【出願日】平成２３年８月１２日（２０１１．８．１２）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
【公開日】平成２５年２月２８日（２０１３．２．２８）
【国際特許分類】
【出願日】平成２３年８月１２日（２０１１．８．１２）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
[ Back to top ]