画像処理装置、撮像装置、画像処理方法、及びプログラム
【課題】ホワイトバランス処理において、色温度に関する意図を画像に反映させる際の精度を向上する。
【解決手段】画像処理装置は、画像のホワイトバランスの補正値を求める第１の計算手段と、第１の軸と第１の軸に直交する第２の軸とを有する色度図における黒体放射カーブに沿った方向に補正値を調整するための指定値を受け付ける指定手段と、複数の指定値とそれぞれ第１の軸に沿った複数の第１の調整量とが対応付けられた調整情報を記憶する記憶手段と、指定手段により受け付けられた指定値と調整情報とにより前記第１の軸に沿った第１の調整量を決定し、色度図における補正値の黒体放射カーブからの距離が一定に保たれるように補正値と第１の調整量とに応じて第２の調整量を決定し、第１の調整量と第２の調整量とに応じて補正値を黒体放射カーブに沿った方向に調整し、調整された補正値に応じて前記画像のホワイトバランスを補正する補正手段とを備えている。
【解決手段】画像処理装置は、画像のホワイトバランスの補正値を求める第１の計算手段と、第１の軸と第１の軸に直交する第２の軸とを有する色度図における黒体放射カーブに沿った方向に補正値を調整するための指定値を受け付ける指定手段と、複数の指定値とそれぞれ第１の軸に沿った複数の第１の調整量とが対応付けられた調整情報を記憶する記憶手段と、指定手段により受け付けられた指定値と調整情報とにより前記第１の軸に沿った第１の調整量を決定し、色度図における補正値の黒体放射カーブからの距離が一定に保たれるように補正値と第１の調整量とに応じて第２の調整量を決定し、第１の調整量と第２の調整量とに応じて補正値を黒体放射カーブに沿った方向に調整し、調整された補正値に応じて前記画像のホワイトバランスを補正する補正手段とを備えている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、撮像装置、画像処理方法、及びプログラムに関する。
【背景技術】
【０００２】
デジタルカメラなどの撮像装置では、撮像センサが被写体の画像に応じた画像信号を生成し、制御用の回路が、撮像センサから出力された画像信号に対して、画像のホワイトバランスを自動的に補正するオートホワイトバランス（ＡＷＢ）処理を行う。具体的には、ＡＷＢ処理において、撮像センサから出力された画像信号がＡＤ変換によってデジタル化され複数のブロックに分割される。そのブロック信号はＲ、Ｇ、Ｂを含む色信号で構成されており、そのブロックの色評価値として次の式（１）、（２）で示す値が算出される。
【０００３】
Ｃｘ［ｉ］＝（Ｒ［ｉ］−Ｂ［ｉ］）／Ｙ［ｉ］×１０２４・・・（１）
Ｃｙ［ｉ］＝（Ｒ［ｉ］＋Ｂ［ｉ］−２Ｇ［ｉ］）／Ｙ［ｉ］×１０２４・・・（２）
ただし、式（１）、（２）において、
Ｙ［ｉ］＝Ｒ［ｉ］＋２Ｇ［ｉ］＋Ｂ［ｉ］・・・（３）
である。ＡＷＢ処理では、予め設定した白検出範囲に色評価値（Ｃｘ［ｉ］、Ｃｙ［ｉ］）が含まれる場合、そのブロックが白であると判定する。そして、白検出範囲に入った色画素の積分値ＳｕｍＲ、ＳｕｍＧ、ＳｕｍＢを算出して、次の式（４）〜（６）のようにホワイトバランス係数を算出する。
【０００４】
ＷＢＣｏ＿Ｒ＝ＳｕｍＹ×１０２４／ＳｕｍＲ・・・（４）
ＷＢＣｏ＿Ｇ＝ＳｕｍＹ×１０２４／ＳｕｍＧ・・・（５）
ＷＢＣｏ＿Ｂ＝ＳｕｍＹ×１０２４／ＳｕｍＢ・・・（６）
ただし、式（４）〜（６）において、
ＳｕｍＹ＝（ＳｕｍＲ＋２×ＳｕｍＧ＋ＳｕｍＢ）／４・・・（７）
である。
【０００５】
このようなＡＷＢ処理では、特殊光源や複数の光源色の混在しているＭｉｘ光源などの被写体に追従できず、ユーザの意図に反して、処理後の画像に色残りが生じてしまう場合がある。また、ＡＷＢ処理では、光源などの被写体に追従できても、処理後の画像がユーザの意図したものと異なることがある。
【０００６】
特許文献１には、撮像装置が、手動設定モードにおいて、Ｒ（赤）及びＢ（青）のホワイトバランス（ＷＢ）ゲインの可変範囲を現設定値とともに表示することが記載されている。具体的には、特許文献１の図３に示すように、現設定値表示画像２００内に、Ｒ（赤）に対するＷＢゲインの可変範囲を示すＲレベルゲージ２０１と、Ｂ（青）に対するＷＢゲインの可変範囲を示すＢレベルゲージ２０２と、現設定値マーク２０３とが表示される。これにより、特許文献１によれば、手動モード設定時にＲ（赤）及びＢ（青）のＷＢゲインの関係が一目で分かるので、ＷＢゲインの手動設定時での操作性を向上することができるとされている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特許０４０２８３５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
一方、ユーザは、画像を単純に適正な色に調整するのではなく、被写体の色温度に関して微調整したいと意図することがある。例えば、ユーザは、低色温度光源の雰囲気を残したいと意図することがある。特許文献１には、色温度に関するユーザの意図を画像に反映させる際における精度をどのようにして向上させるのかについて記載がない。
【０００９】
本発明の目的は、ホワイトバランス処理において、色温度に関するユーザの意図を画像に反映させる際における精度を向上することにある。
【課題を解決するための手段】
【００１０】
本発明の１つの側面に係る画像処理装置は、画像のホワイトバランスの補正値を求める第１の計算手段と、第１の軸と前記第１の軸に直交する第２の軸とを有する色度図における黒体放射カーブに沿った方向に前記補正値を調整するための指定値を受け付ける指定手段と、複数の指定値とそれぞれ前記第１の軸に沿った複数の第１の調整量とが対応付けられた調整情報を記憶する記憶手段と、前記指定手段により受け付けられた指定値と前記調整情報とに応じて前記第１の軸に沿った第１の調整量を決定し、前記色度図における補正値の黒体放射カーブからの距離が一定に保たれるように前記補正値と前記第１の調整量とに応じて前記第２の軸に沿った第２の調整量を決定し、前記第１の調整量と前記第２の調整量とに応じて前記補正値を黒体放射カーブに沿った方向に調整し、調整された補正値に応じて前記画像のホワイトバランスを補正する補正手段とを備えたことを特徴とする。
【発明の効果】
【００１１】
本発明によれば、ホワイトバランス処理において、色温度に関するユーザの意図を画像に反映させる際における精度を向上することができる。
【図面の簡単な説明】
【００１２】
【図１】第１実施形態に係る撮像装置の構成を示す図。
【図２】第１のＷＢ補正算出処理を示すフローチャート。
【図３】第２のＷＢ補正算出処理を示すフローチャート。
【図４】白検出範囲を示す図。
【図５】撮像装置の表示部を示す図。
【図６】ユーザーが手動設定する指定値と補正量の関係を示すテーブル。
【図７】第１実施形態におけるＷＢ補正の概念図。
【図８】Ｂ−Ａ補正とＧ−Ｍ補正の補正方向の関係を示した図。
【図９】第２実施形態におけるＷＢ補正の概念図。
【図１０】第２実施形態におけるＧ−Ｍ補正した際のＣｘ方向補正に関するテーブル。
【図１１】色温度とＣｘの関係図。
【発明を実施するための形態】
【００１３】
本発明の第１実施形態に係る撮像装置１００を、図１を用いて説明する。撮像装置１００は、光学系１１５、撮像センサ（撮像手段）１０１、及び画像処理装置１１９を備える。
【００１４】
光学系１１５は、シャッター、レンズ、及び絞りを含む。シャッターは、光路上においてレンズの手前に設けられ、露出を制御する。レンズは、入射した光を屈折させて、撮像センサ１０１の撮像面に被写体の像を形成する。レンズは、光路に沿って駆動可能なフォーカスレンズを含む。絞りは、光路上においてレンズと撮像センサ１０１との間に設けられ、レンズを通過後に撮像センサ１０１へ導かれる光の量を調節する。
【００１５】
撮像センサ１０１は、画素配列（撮像面）に形成された被写体の像を画像信号に変換する。その撮像面は、例えばベイヤー配列のようなＲＧＢカラーフィルタにより覆われ、カラー撮影が可能な構成となっている。撮像センサ１０１は、その画像信号を画素配列から読み出して出力する。撮像センサ１０１は、例えば、ＣＣＤイメージセンサ、又はＣＭＯＳイメージセンサである。
【００１６】
画像処理装置１１９は、撮像センサ１０１により取得された画像を処理する。画像処理装置１１９は、以下の構成要素を備える。
【００１７】
メモリ１０２は、撮像センサ１０１から出力された画像信号を一時的に記憶する。そして、メモリ１０２は、記憶している画像信号をホワイトバランス（ＷＢ）制御部１０３へ供給する。
【００１８】
ＷＢ制御部１０３は、メモリ１０２から供給された画像信号に基づいて、ＡＷＢ（自動ホワイトバランス）処理を行い、画像のホワイトバランスの補正値を求める。また、ＷＢ制御部１０３は、求めた補正値を用いて画像のホワイトバランスを補正する。ＷＢ制御部１０３は、求めた補正値と補正した画像の画像信号とを表示制御部１１７へ供給する。
【００１９】
表示制御部１１７は、補正値を調整するためのウィンドウを補正値を示すアイコンとともに表示部１１８に表示させる。また、表示制御部１１７は、補正した画像も表示部１１８に表示させる。
【００２０】
指定部１１６は、表示部１１８を閲覧しているユーザから、補正値を調整するための後述の指定値を受け付ける。指定部１１６は、受け付けた指定値をＷＢ制御部１０３へ供給する。
【００２１】
ＷＢ制御部１０３は、求めた補正値を指定値に応じて調整し、調整された補正値を用いて画像のホワイトバランスを再び補正する。ＷＢ制御部１０３は、補正後の画像信号を、ＣＰＵ１１４と色変換マトリックス（ＭＴＸ）回路１０４と輝度信号（Ｙ）生成回路１１１とへ供給する。なお、このＷＢ制御部１０３の詳細構成およびＷＢ補正値の算出方法については、後述する。
【００２２】
ＣＰＵ１１４は、画像信号に基づいて、ＡＦ（自動焦点調節）処理、ＡＥ（自動露出制御）処理を行う。
【００２３】
例えば、ＣＰＵ１１４は、ＡＦ処理において、合焦領域内にある被写体に合焦するようにフォーカスレンズの駆動量を計算して制御回路１１３へ供給する。これにより、制御回路１１３は、計算された駆動量でフォーカスレンズが駆動されるように、光学系１１５を制御する。
【００２４】
例えば、ＣＰＵ１１４は、ＡＥ処理において、適正な露出値（明るさ）が得られるように、シャッター速度及び絞り値を計算して制御回路１１３へ供給する。これにより、制御回路１１３は、計算されたシャッター速度で撮像センサ１０１の画素配列における各画素が電荷蓄積動作（露光動作）を行うように、光学系１１５内のシャッターと撮像センサ１０１とを制御する。
【００２５】
色変換ＭＴＸ回路１０４は、ＷＢ制御部１０３によりＷＢ補正された画像信号が適正な色で再現されるように画像信号に対して色ゲインをかけることにより、画像信号を色差信号Ｒ-Ｙ、Ｂ-Ｙに変換する。色変換ＭＴＸ回路１０４は、変換後の色差信号Ｒ-Ｙ、Ｂ-Ｙをローパスフィルタ（ＬＰＦ）回路１０５へ供給する。
【００２６】
ＬＰＦ回路１０５は、色差信号Ｒ-Ｙ、Ｂ-Ｙの帯域を閾値以下の成分に制限する。すなわち、ＬＰＦ回路１０５は、色差信号Ｒ-Ｙ、Ｂ-Ｙのうち閾値以下の空間周波数を有した成分を選択的に通過させる。ＬＰＦ回路１０５は、通過させた色差信号Ｒ-Ｙ、Ｂ-ＹをＣＳＵＰ（Ｃｈｒｏｍａ Ｓｕｐｒｅｓｓ）回路１０６へ供給する。
【００２７】
ＣＳＵＰ回路１０６は、ＬＰＦ回路１０５で帯域制限された色差信号Ｒ-Ｙ、Ｂ-Ｙのうち飽和部分の偽色信号を抑圧する処理を行う。ＣＳＵＰ回路１０６は、処理後の色差信号Ｒ-Ｙ、Ｂ-ＹをＲＧＢ変換回路１０７へ供給する。
【００２８】
一方、Ｙ生成回路１１１は、ＷＢ制御部１０３によりＷＢ補正された画像信号に基づいて輝度信号Ｙを生成する。Ｙ生成回路１１１は、生成した輝度信号Ｙをエッジ強調回路１１２へ供給する。
【００２９】
エッジ強調回路１１２は、輝度信号Ｙに応じた画像におけるエッジ検出を行い、検出されたエッジ部分を強調するエッジ強調処理を施す。エッジ強調回路１１２は、処理後の輝度信号Ｙ（に応じた画像）をＲＧＢ変換回路１０７へ供給する。
【００３０】
ＲＧＢ変換回路１０７は、ＣＳＵＰ回路１０６から供給された色差信号Ｒ-Ｙ、Ｂ-Ｙと、エッジ強調回路１１２から供給された輝度信号Ｙとを合成し、合成後の信号をＲＧＢ信号に変換する。ＲＧＢ変換回路１０７は、変換後のＲＧＢ信号をガンマ（γ）補正回路１０８へ供給する。
【００３１】
γ補正回路１０８は、ＲＧＢ信号に対して階調補正を施す。γ補正回路１０８は、補正後のＲＧＢ信号を色輝度変換回路１０９へ供給する。
【００３２】
色輝度変換回路１０９は、ＲＧＢ信号をＹＵＶ信号に変換する。色輝度変換回路１０９は、ＹＵＶ信号を圧縮回路１１０へ供給する。
【００３３】
圧縮回路１１０は、ＹＵＶ信号を所定の圧縮方式（例えば、ＪＰＥＧ方式）で圧縮して圧縮画像信号を生成する。圧縮回路１１０は、圧縮画像信号を外部記録媒体（図示せず）又は内部記録媒体（図示せず）に記録する。外部記録媒体は、撮像装置１００に着脱可能に接続され、内部記録媒体は、撮像装置１００に内蔵されている。外部記録媒体は、例えば、光磁気ディスク、又はメモリカードである。内部記録媒体は、例えば、ＨＤＤ（ハードディスクドライブ）である。
【００３４】
次に、ＷＢ制御部１０３の詳細構成を、図１を用いて説明する。
【００３５】
ＷＢ制御部１０３は、第１の計算部１０３ａ、記憶部１０３ｂ、第２の計算部１０３ｃ、及び補正部１０３ｄを含む。
【００３６】
第１の計算部１０３ａは、メモリ１０２から供給された画像信号に基づいて、ＡＷＢ（自動ホワイトバランス）処理を行い、画像のホワイトバランスの補正値を求める。また、第１の計算部１０３ａは、求めた補正値を用いて画像のホワイトバランスを補正する。第１の計算部１０３ａは、求めた補正値と補正後の画像の画像信号とを表示制御部１１７へ供給する。表示制御部１１７は、補正値を調整するためのウィンドウを補正値を示すアイコンとともに表示部１１８に表示させる。表示部１１８は、図５に示すディスプレイ５０１を含む。ディスプレイ５０１は、例えば、補正値を調整するためのウィンドウ５０２と、補正値を示すアイコン５０３とを表示する。ウィンドウ５０２は、Ｂ（ブルー）−Ａ（アンバ）方向と、Ｇ（グリーン）−Ｍ（マゼンタ）方向とを２つの軸とする。
【００３７】
Ｂ−Ａ方向は、色度図（図４、図７参照）における黒体放射カーブ３０２に沿った方向であり、色温度を変化させる色温度方向である。Ｂ−Ａ方向の軸は、黒体放射軸、又は色温度軸とも呼ばれる。色度図は、例えば、図４又は図７に示すように、Ｃｘ軸（第１の軸）と、Ｃｘ軸に直交するＣｙ軸（第２の軸）とを有する。Ｃｘ軸方向（第１の軸方向）の座標は、数式（１）により求めた色評価値である。Ｃｙ軸方向（第２の軸方向）の座標は、数式（２）により求めた色評価値である。また、Ｇ−Ｍ方向は、色度図における黒体放射カーブ３０２に直交する方向であり、色温度方向と直交する蛍光灯方向である。ウィンドウ５０２では、ＡＷＢ処理により求められた補正値を示すアイコン５０３が原点として表示されている。また、ディスプレイ５０１は、ＥＶＦ（Ｅｌｅｃｔｒｏｎｉｃ Ｖｉｅｗ Ｆｉｎｄｅｒ）としての機能も有しており、ＡＷＢ処理により補正された画像も表示する。
【００３８】
これに応じて、指定部１１６は、表示部１１８を閲覧しているユーザから、Ｂ−Ａ方向に補正値を調整するためのＢ−Ａ指定値と、Ｇ−Ｍ方向に補正値を調整するためのＧ−Ｍ指定値（第２の指定値）とを受け付ける。指定部１１６は、受け付けたＢ−Ａ指定値とＧ−Ｍ指定値とを表示制御部１１７へ供給する。表示制御部１１７は、ウィンドウ５０２における補正値Ｂ−Ａ指定値とＧ−Ｍ指定値とに応じたＢ−Ａ方向及びＧ−Ｍ方向の座標位置を決定する。表示制御部１１７は、決定した座標位置に応じて、指定された調整量に応じた補正値を示すアイコンを表示部１１８にさらに表示させる。表示部１１８のディスプレイ５０１は、例えば、ウィンドウ５０２内に、指定された調整量に応じた補正値を示すアイコン５０４をさらに表示する。ウィンドウ５０２では、ＡＷＢ処理により求められた補正値を示すアイコン５０３が原点として表示されているので、アイコン５０４の座標がＢ−Ａ方向及びＧ−Ｍ方向それぞれの調整量を示している。また、指定部１１６は、受け付けたＢ−Ａ指定値とＧ−Ｍ指定値とを補正部１０３ｄへも供給する。
【００３９】
記憶部１０３ｂは、図６（ａ）に示すような、複数のＢ−Ａ指定値と複数の第１の調整量とが対応付けられた調整情報を記憶する。複数のＢ−Ａ指定値は、それぞれ、指定部１１６が受け付けるべきＢ−Ａ指定値の候補となる値である。複数の第１の調整量は、それぞれ、Ｃｘ軸に沿った調整量であり、Ｂ−Ａ方向の調整量がウィンドウ５０２内に示されるべきＢ−Ａ方向の調整量に対応するように予め求められた量である。この調整情報を参照することにより、補正部１０３ｄは、後述のように、指定部１１６により受け付けられたＢ−Ａ指定値に対応した第１の調整量を決定することができる。
【００４０】
また、記憶部１０３ｂは、図６（ｂ）に示すような、複数のＧ−Ｍ指定値と複数の第３の調整量とが対応付けられた第２の調整情報を記憶する。複数のＧ−Ｍ指定値は、それぞれ、指定部１１６が受け付けるべきＧ−Ｍ指定値の候補となる値である。複数の第３の調整量は、それぞれ、Ｃｙ軸に沿った調整量であり、Ｇ−Ｍ方向の調整量がウィンドウ５０２内に示されるべきＧ−Ｍ方向の調整量に対応するように予め求められた量である。この第２の調整情報を参照することにより、補正部１０３ｄは、後述のように、指定部１１６により受け付けられたＧ−Ｍ指定値に対応した第３の調整量を決定することができる。
【００４１】
第２の計算部１０３ｃは、色度図（図７参照）における補正値（Ｃｘ０，Ｃｙ０）の黒体放射カーブ３０２からのＣｙ軸に沿った距離ＤｉｓＣｙを求める。補正値（Ｃｘ０，Ｃｙ０）は、第１の計算部１０３ａによるＡＷＢ処理で求められた補正値である。第２の計算部１０３ｃは、求めた距離ＤｉｓＣｙの情報を補正部１０３ｄへ供給する。
【００４２】
補正部１０３ｄは、指定部１１６からＢ−Ａ指定値が供給されたことに応じて、記憶部１０３ｂにアクセスして調整情報（図６（ａ）参照）を参照する。補正部１０３ｄは、指定部１１６により受け付けられたＢ−Ａ指定値と調整情報とに応じてＣｘ軸に沿った第１の調整量ΔＣｘを決定する。また、補正部１０３ｄは、第２の計算部１０３ｃにより求められた距離が一定に保たれるように、ＡＷＢ処理で求められた補正値（Ｃｘ０，Ｃｙ０）と上記の決定した第１の調整量ΔＣｘとに応じてＣｙ軸に沿った第２の調整量ΔＣｘ＿ｙを決定する。そして、補正部１０３ｄは、第１の調整量ΔＣｘと第２の調整量ΔＣｘ＿ｙとに応じて補正値（Ｃｘ０，Ｃｙ０）を黒体放射カーブ３０２に沿った方向に調整し、調整された補正値（Ｃｘ’，Ｃｙ’）を得る。
【００４３】
また、補正部１０３ｄは、指定部１１６からＧ−Ｍ指定値が供給されたことに応じて、記憶部１０３ｂにアクセスして第２の調整情報（図６（ｂ）参照）を参照する。補正部１０３ｄは、指定部１１６により受け付けられたＧ−Ｍ指定値と第２の調整情報とに応じてＣｙ軸に沿った第３の調整量ΔＣｙを決定する。そして、補正部１０３ｄは、第３の調整量ΔＣｙに応じて補正値（Ｃｘ０，Ｃｙ０）を黒体放射カーブ３０２に直交する方向にさらに調整する。すなわち、補正部１０３ｄは、第３の調整量ΔＣｙに応じて、調整された補正値（Ｃｘ’，Ｃｙ’）を黒体放射カーブ３０２に直交する方向にさらに調整し、調整された補正値（Ｃｘ’，Ｃｙ”）を得る。補正部１０３ｄは、調整された補正値（Ｃｘ’，Ｃｙ”）を用いて画像のホワイトバランスを補正する。
【００４４】
このように、ＡＷＢ処理で求められた補正値を、指定部１１６により受け付けられたＢ−Ａ指定値に対応した調整量で黒体放射カーブからの距離を保ちながら調整する。これにより、ホワイトバランスの補正値を、色温度方向のユーザの意図に追従した値へ調整できる。また、ホワイトバランスの補正値を、ウィンドウ５０２内におけるアイコン５０４（図５参照）のＢ−Ａ方向の座標に対応した調整量で調整することができる。すなわち、ホワイトバランス処理において、色温度に関するユーザの意図を画像に反映させる際における精度を向上することができる。
【００４５】
さらに、調整された補正値を、指定部１１６により受け付けられたＧ−Ｍ指定値に対応した調整量で調整する。これにより、ホワイトバランスの補正値を、色温度方向と直交する方向のユーザの意図に追従した値へ調整できる。また、ホワイトバランスの補正値を、ウィンドウ５０２内におけるアイコン５０４（図５参照）のＧ−Ｍ方向の座標に対応した調整量で調整することができる。すなわち、この点からも、ホワイトバランス処理において、色温度に関するユーザの意図を画像に反映させる際における精度を向上することができる。
【００４６】
次に、ＷＢ制御部１０３におけるＷＢ補正値算出方法について、図２を用いて説明する。
【００４７】
図２に示すＳ２０１では、第１の計算部１０３ａが、ＡＷＢ処理を行い、画像のホワイトバランスの補正値を求める。また、第１の計算部１０３ａは、求めた補正値を用いて画像のホワイトバランスを補正する。第１の計算部１０３ａは、求めた補正値と補正後の画像の画像信号とを表示制御部１１７へ供給する。具体的には、第１の計算部１０３ａが、図３に示すＡＷＢ処理を行う。
【００４８】
図３に示すＳ１０１では、第１の計算部１０３ａが、メモリ１０２に記憶された画像信号を読み出し、そのフレームを複数（例えばｍ個）のブロックに分割する。第１の計算部１０３ａは、複数のブロックから処理対象（例えば、ｉ番目）のブロックを選択する。
【００４９】
Ｓ１０２では、第１の計算部１０３ａが、処理対象（例えば、ｉ番目）のブロックにおいて、画素値を各色で加算平均して色平均値（Ｒ［ｉ］、Ｇ［ｉ］、Ｂ［ｉ］、）を算出し、式（８）、（９）を用いて色評価値（Ｃｘ［ｉ］、Ｃｙ［ｉ］）を算出する。
【００５０】
Ｃｘ［ｉ］＝（Ｒ［ｉ］−Ｂ［ｉ］）／Ｙ［ｉ］×１０２４・・・（８）
Ｃｙ［ｉ］＝（Ｒ［ｉ］＋Ｂ［ｉ］−２Ｇ［ｉ］）／Ｙ［ｉ］×１０２４・・・（９）
ただし、式（８）、（９）において、
Ｙ［ｉ］＝Ｒ［ｉ］＋２Ｇ［ｉ］＋Ｂ［ｉ］・・・（１０）
である。
【００５１】
Ｓ１０３では、第１の計算部１０３ａが、Ｓ１０２で算出したｉ番目のブロックの色評価値（Ｃｘ［ｉ］、Ｃｙ［ｉ］）が、予め設定した白検出範囲３０１（図４参照）に含まれるかどうかを判断する。白検出範囲３０１は、予め異なる光源下で白色物体を撮影し、算出した色評価値をプロットしたものである。図４の色度図におけるｘ座標（Ｃｘ）の負方向が高色温度被写体の白を撮影したときの色評価値、正方向が低色温度被写体の白を撮影したときの色評価値である。またｙ座標（Ｃｙ）は光源の緑成分の度合いを意味しており、負方向になるにつれＧｒｅｅｎ成分が大きくなり、つまり蛍光灯であることを示している。
【００５２】
第１の計算部１０３ａは、算出した色評価値（Ｃｘ［ｉ］、Ｃｙ［ｉ］）が白検出範囲３０１に含まれると判断した場合（Ｓ１０３でＹＥＳ）、処理をＳ１０４へ進める。第１の計算部１０３ａは、算出した色評価値（Ｃｘ［ｉ］、Ｃｙ［ｉ］）が白検出範囲３０１に含まれないと判断した場合（Ｓ１０３でＮＯ）、処理をＳ１０５へ進める。
【００５３】
Ｓ１０４では、第１の計算部１０３ａが、そのブロックが白色であると判断して、そのブロックの色平均値（Ｒ［ｉ］、Ｇ［ｉ］、Ｂ［ｉ］）を積算していく。この処理は、式（１１）〜（１３）により表すことができる
ＳｕｍＲ＝Σｉ＝０ｍＳｗ［ｉ］×Ｒ［ｉ］・・・（１１）
ＳｕｍＧ＝ｉ＝０ΣｍＳｗ［ｉ］×Ｇ［ｉ］・・・（１２）
ＳｕｍＢ＝ｉ＝０ΣｍＳｗ［ｉ］×Ｂ［ｉ］・・・（１３）
式（１１）〜（１３）において、色評価値（Ｃｘ［ｉ］、Ｃｙ［ｉ］）が白検出範囲（図４の３０１）に含まれる場合はＳｗ［ｉ］を１に、含まれない場合にはＳｗ［ｉ］を０とすることにより、Ｓ１０３の判断により色評価値（Ｒ［ｉ］、Ｇ［ｉ］、Ｂ［ｉ］）加算を行うか、行わないかの処理を実質的に行っている。
【００５４】
Ｓ１０５では、第１の計算部１０３ａが、すべてのブロックについて上記処理を行ったかどうかを判断する。第１の計算部１０３ａは、未処理のブロックがあると判断した場合、未処理のブロックから処理対象のブロックを選択して処理をＳ１０２に戻す。第１の計算部１０３ａは、未処理のブロックがないと判断した場合、処理をＳ１０６へ進める。
【００５５】
Ｓ１０６では、第１の計算部１０３ａが、得られた色評価値の積分値（ＳｕｍＲ、ＳｕｍＧ、ＳｕｍＢ）から、以下の式（１４）〜を用いて、ＷＢ補正値（ＷＢＣｏ＿Ｒ、ＷＢＣｏ＿Ｇ、ＷＢＣｏ＿Ｂ）を算出する。
【００５６】
ＷＢＣｏ＿Ｒ＝ＳｕｍＹ×１０２４／ＳｕｍＲ・・・（１４）
ＷＢＣｏ＿Ｇ＝ＳｕｍＹ×１０２４／ＳｕｍＧ・・・（１５）
ＷＢＣｏ＿Ｂ＝ＳｕｍＹ×１０２４／ＳｕｍＢ・・・（１６）
ただし、式（１４）〜（１６）において、
ＳｕｍＹ＝（ＳｕｍＲ＋２×ＳｕｍＧ＋ＳｕｍＢ）／４・・・（１７）
である。
【００５７】
図２に示すＳ２０２では、補正部１０３ｄが、ユーザーがＷＢ補正値を指定したか否かを判断する。具体的には、補正部１０３ｄは、指定部１１６からＢ−Ａ指定値及びＧ−Ｍ指定値が供給されたことに応じて、ユーザーがＷＢ補正値を指定したと判断する。補正部１０３ｄは、所定時間経過しても指定部１１６からＢ−Ａ指定値及びＧ−Ｍ指定値が供給されなかったことに応じて、ユーザーがＷＢ補正値を指定しなかったと判断する。補正部１０３ｄは、ユーザーがＷＢ補正値を指定したと判断した場合、処理をＳ２０３へ進め、ユーザーがＷＢ補正値を指定しなかったと判断した場合、処理をＳ２０６へ進める。
【００５８】
Ｓ２０３では、補正部１０３ｄが、記憶部１０３ｂにアクセスして調整情報（図６（ａ）参照）を参照する。補正部１０３ｄは、指定部１１６により受け付けられたＢ−Ａ指定値と調整情報とに応じてＣｘ軸に沿った第１の調整量ΔＣｘを決定する。補正部１０３ｄは、補正値のｘ座標Ｃｘ０に第１の調整量ΔＣｘを加算して、調整された補正値のｘ座標
Ｃｘ’＝Ｃｘ０＋ΔＣｘ・・・（１８）
を得る。
【００５９】
一方、第２の計算部１０３ｃは、色度図（図７参照）における補正値（Ｃｘ０，Ｃｙ０）の黒体放射カーブ３０２からのＣｙ軸に沿った距離ＤｉｓＣｙを算出する。具体的には、第２の計算部１０３ｃは、黒体放射カーブ３０２における補正値（Ｃｘ０，Ｃｙ０）に対応した部分を点ＡＢ間に決定する。第２の計算部１０３ｃは、点Ａ（Ｃｘ＿Ａ，Ｃｙ＿Ａ）と点Ｂ（Ｃｘ＿Ｂ，Ｃｙ＿Ｂ）との間を結ぶ直線の傾き
ａ１＝（Ｃｙ＿Ｂ−Ｃｙ＿Ａ）／（Ｃｘ＿Ｂ−Ｃｘ＿Ａ）・・・（１９）
とｙ切片
ｂ１＝Ｃｙ＿Ａ−ａ１×Ｃｘ＿Ａ・・・（２０）
とを求める。そして、第２の計算部１０３ｃは、その直線の傾きａ１とｙ切片ｂ１とを用いて、Ｃｙ軸に沿った距離
ＤｉｓＣｙ＝ａ１×Ｃｘ０＋ｂ１−Ｃｙ０・・・（２１）
を求める。第２の計算部１０３ｃは、求めた距離ＤｉｓＣｙの情報を補正部１０３ｄへ供給する。
【００６０】
そして、補正部１０３ｄは、第２の計算部１０３ｃにより求められた距離が一定に保たれるように、ＡＷＢ処理で求められた補正値（Ｃｘ０，Ｃｙ０）と上記の決定した第１の調整量ΔＣｘとに応じてＣｙ軸に沿った第２の調整量ΔＣｘ＿ｙを決定する。具体的には、補正部１０３ｄは、黒体放射カーブ３０２における調整された補正値のｘ座標Ｃｘ’に対応した部分を点ＢＣ間に決定する。補正部１０３ｄは、点Ｂ（Ｃｘ＿Ｂ，Ｃｙ＿Ｂ）と点Ｃ（Ｃｘ＿Ｃ，Ｃｙ＿Ｃ）との間を結ぶ直線の傾き
ａ２＝（Ｃｙ＿Ｃ−Ｃｙ＿Ｂ）／（Ｃｘ＿Ｃ−Ｃｘ＿Ｂ）・・・（２２）
とｙ切片
ｂ２＝Ｃｙ＿Ｂ−ａ２×Ｃｘ＿Ｂ・・・（２３）
とを求める。そして、補正部１０３ｄは、その直線の傾きａ２とｙ切片ｂ２と上記の距離ＤｉｓＣｙとを用いて、調整された補正値のｙ座標
Ｃｙ’＝ａ２×Ｃｘ’＋ｂ２−ＤｉｓＣｙ・・・（２４）
を得る。ここで、式（２４）に式（２１）を代入すると、
Ｃｙ’＝ａ２×Ｃｘ’＋ｂ２−（ａ１×Ｃｘ０＋ｂ１−Ｃｙ０）
＝Ｃｙ０＋（ａ２×Ｃｘ’＋ｂ２−ａ１×Ｃｘ０−ｂ１）
＝Ｃｙ０＋ΔＣｘ＿ｙ・・・（２５）
となる。すなわち、式（２４）に示されるように、補正部１０３ｄは、補正値のｙ座標Ｃｙ０と第２の調整量ΔＣｘ＿ｙとを加算して、調整された補正値のｙ座標Ｃｙ’を得る。
【００６１】
このように、補正部１０３ｄは、第１の調整量ΔＣｘと第２の調整量ΔＣｘ＿ｙとに応じて補正値（Ｃｘ０，Ｃｙ０）を黒体放射カーブ３０２に沿った方向に調整し、調整された補正値（Ｃｘ’，Ｃｙ’）を得る。
【００６２】
Ｓ２０４では、補正部１０３ｄが、記憶部１０３ｂにアクセスして第２の調整情報（図６（ｂ）参照）を参照する。補正部１０３ｄは、指定部１１６により受け付けられたＧ−Ｍ指定値と第２の調整情報とに応じてＣｙ軸に沿った第３の調整量ΔＣｙを決定する。補正部１０３ｄは、調整された補正値のｙ座標Ｃｙ’に第３の調整量ΔＣｙを加算して、さらに調整された補正値のｙ座標
Ｃｙ”＝Ｃｙ’＋ΔＣｙ・・・（２６）
を得る。このように、補正部１０３ｄは、第３の調整量ΔＣｙに応じて、調整された補正値（Ｃｘ’，Ｃｙ’）を黒体放射カーブ３０２に直交する方向にさらに調整し、調整された補正値（Ｃｘ’，Ｃｙ”）を得る。
【００６３】
Ｓ２０５では、補正部１０３ｄが、調整された補正値（Ｃｘ’，Ｃｙ”）を用いて画像のホワイトバランスを補正する。
【００６４】
Ｓ２０６では、補正部１０３ｄが、ＡＷＢ処理で求められた補正値（Ｃｘ０，Ｃｙ０）を用いて画像のホワイトバランスを補正する。
【００６５】
次に、本発明の第２実施形態に係る撮像装置を、図８〜図１０を用いて説明する。以下では、第１実施形態と異なる部分を中心に説明する。
【００６６】
第２実施形態では、図８に示すように、Ｇ−Ｍ方向の補正において黒体放射カーブ３０２の傾きに応じてＣｘ方向の補正量を調節する。
【００６７】
ここで、黒体放射カーブの傾きが急峻な場合には、図１０（ａ）のようにＢ−Ａ方向の調整量とＧ−Ｍ方向の調整量との直交性が低下する。すなわち、図５に示すように、ディスプレイ５０１は、ウィンドウ５０２内にＢ−Ａ方向の軸とＧ−Ｍ方向の軸とを直交させた形態で表示している。そして、ディスプレイ５０１は、ウィンドウ５０２内におけるアイコン５０４のＢ−Ａ方向の座標でＢ−Ａ方向の調整量を示し、アイコン５０４のＧ−Ｍ方向の座標でＧ−Ｍ方向の調整量を示している。そのため、Ｂ−Ａ方向の調整量とＧ−Ｍ方向の調整量との直交性が低下すると、それらの実際の調整量が、ウィンドウ５０２内におけるアイコン５０４で示されたものと対応しなくなる可能性がある。
【００６８】
それに対して、本実施形態では、記憶部１０３ｂが、図９に示すように、複数のＧ−Ｍ指定値と複数の傾きと複数の第４の調整量とが対応付けられた第３の調整情報をさらに記憶する。複数の第４の調整量は、それぞれ、Ｃｘ軸に沿った調整量であり、Ｇ−Ｍ方向の調整量がウィンドウ５０２内に示されるべきＧ−Ｍ方向の調整量に対応するように、すなわちＢ−Ａ方向との間の直交性が向上するように予め求められた量である。
【００６９】
補正部１０３ｄは、指定部１１６により受け付けられたＧ−Ｍ指定値と第２の計算部１０３ｃにより求められた傾きａ２（式（２２）参照）と第３の調整情報とに応じてＣｘ軸に沿った第４の調整量ΔＣｘ＿ｙを決定する。補正部１０３ｄは、調整された補正値のｘ座標Ｃｘ’に第４の調整量ΔＣｘ＿ｙを加算して、調整された補正値のｘ座標
Ｃｘ”＝Ｃｘ’＋ΔＣｘ＿ｙ・・・（２７）
を得る。補正部１０３ｄは、調整された補正値（Ｃｘ”，Ｃｙ”）を用いて画像のホワイトバランスを補正する。すなわち、補正部１０３ｄは、Ｇ−Ｍ方向の補正において、第３の調整量ΔＣｙと第４の調整量ΔＣｘ＿ｙとに応じて、調整された補正値（Ｃｘ’，Ｃｙ’）を黒体放射カーブ３０２に直交する方向にさらに調整し、調整された補正値（Ｃｘ”，Ｃｙ”）を得る。補正部１０３ｄは、調整された補正値（Ｃｘ”，Ｃｙ”）を用いて画像のホワイトバランスを補正する。
【００７０】
このように、ＡＷＢ処理で求められた補正値を、Ｇ−Ｍ方向の補正において、Ｂ−Ａ方向との間の直交性が向上するように、指定部１１６により受け付けられたＧ−Ｍ指定値に対応した調整量で調整する。これにより、ホワイトバランスの補正値を、色温度方向と直交する方向のユーザの意図に追従した値へ調整できる。また、ホワイトバランスの補正値を、ウィンドウ５０２内におけるアイコン５０４（図５参照）のＧ−Ｍ方向の座標に対応した調整量で調整することができる。すなわち、ホワイトバランス処理において、色温度に関するユーザの意図を画像に反映させる際における精度をさらに向上することができる。
【００７１】
なお、補正部１０３ｄは、第２の計算部１０３ｃにより求められた傾きが、図９で示す傾きの間の値をとる場合、線形補間により第４の調整量ΔＣｘ＿ｙを算出してもよい。
【００７２】
次に、本発明の第３実施形態に係る撮像装置を、図１１を用いて説明する。以下では、第１実施形態と異なる部分を中心に説明する。
【００７３】
第１の実施形態では、Ｂ−Ａ方向に補正する場合、ユーザーが設定したＢ−Ａ指定値と第１の調整量ΔＣｘとを対応付けている。
【００７４】
本実施形態では、Ｂ−Ａ方向に補正する場合、ユーザーが設定したＢ−Ａ指定値とミレッド（色温度変換フィルターの濃度を表す時などに使用される色温度単位。ミレッド＝１０の６乗／色温度）と色温度とで対応付けした形態である。
【００７５】
具体的には、記憶部１０３ｂが、図１１に示すように、複数の色温度とそれぞれＣｘ軸を基準とした複数の座標（例えば、Ｃｘ１〜Ｃｘ６）とが対応付けられた対応情報を記憶する。補正部１０３ｄは、記憶部１０３ｂにアクセスして対応情報を参照し、その対応情報を用いて、ＡＷＢ処理で求めた補正値のｘ座標Ｃｘ０を色温度Ｔに変換する。Ｃｘと色温度との対応付けられた対応情報は、予め代表的な色温度の光源とＣｘとをプロットすることで取得されたものである。ここで算出された色温度Ｔを式（２８）によりミレッド値Ｍに変換する。
【００７６】
Ｍ＝１０６／Ｔ・・・（２８）
そして、ユーザーが指定するＢ−Ａ指定値の１刻みの幅をΔＭミレッドと定義してユーザーが指定した補正強度ｎに応じて式（２８）により求めたミレッドを調整する。例えば、調整されたミレッド値をＭ’とすると、Ｂ−Ａ方向におけるＢ（Ｂｌｕｅ）方向に補正したい場合、
Ｍ’＝Ｍ＋ｎ×ΔＭ・・・（２９）
とし、Ｂ−Ａ方向におけるＡ（Ａｍｂｅｒ）方向に補正した場合、
Ｍ’＝Ｍ−ｎ×ΔＭ・・・（３０）
とする。すなわち、補正部１０３ｄは、Ｂ−Ａ指定値からミレッド値の調整量を決定し、決定した調整量（ｎ×ΔＭ、又は−ｎ×ΔＭ）に応じてミレッド値Ｍを調整する。そして、補正部１０３ｄは、式（３１）により、調整されたミレッド値Ｍ’を、調整された色温度Ｔ’に変換する。
【００７７】
Ｔ’＝１０６／Ｍ’・・・（３１）
さらに、補正部１０３ｄは、図１１に示す対応情報に応じて、調整された色温度Ｔ’を調整された補正値の座標Ｃｘ’に変換する。そして、補正部１０３ｄは、調整された補正値の座標Ｃｘ’に応じた補正値（Ｃｘ’，Ｃｙ’）を用いて、画像のホワイトバランスを補正する。
【００７８】
このように、ＡＷＢ処理で求めた補正値の座標を、人間の視覚における色の認識に近くほぼ比例関係にあるとみなせるミレッド値に変換するので、その比例関係を用いてＢ−Ａ指定値からミレッド値の調整量を決定することができる。したがって、このような方法によっても、ホワイトバランスの補正値を、色温度方向のユーザの意図に追従した値へ調整できる。
【００７９】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【技術分野】
【０００１】
本発明は、画像処理装置、撮像装置、画像処理方法、及びプログラムに関する。
【背景技術】
【０００２】
デジタルカメラなどの撮像装置では、撮像センサが被写体の画像に応じた画像信号を生成し、制御用の回路が、撮像センサから出力された画像信号に対して、画像のホワイトバランスを自動的に補正するオートホワイトバランス（ＡＷＢ）処理を行う。具体的には、ＡＷＢ処理において、撮像センサから出力された画像信号がＡＤ変換によってデジタル化され複数のブロックに分割される。そのブロック信号はＲ、Ｇ、Ｂを含む色信号で構成されており、そのブロックの色評価値として次の式（１）、（２）で示す値が算出される。
【０００３】
Ｃｘ［ｉ］＝（Ｒ［ｉ］−Ｂ［ｉ］）／Ｙ［ｉ］×１０２４・・・（１）
Ｃｙ［ｉ］＝（Ｒ［ｉ］＋Ｂ［ｉ］−２Ｇ［ｉ］）／Ｙ［ｉ］×１０２４・・・（２）
ただし、式（１）、（２）において、
Ｙ［ｉ］＝Ｒ［ｉ］＋２Ｇ［ｉ］＋Ｂ［ｉ］・・・（３）
である。ＡＷＢ処理では、予め設定した白検出範囲に色評価値（Ｃｘ［ｉ］、Ｃｙ［ｉ］）が含まれる場合、そのブロックが白であると判定する。そして、白検出範囲に入った色画素の積分値ＳｕｍＲ、ＳｕｍＧ、ＳｕｍＢを算出して、次の式（４）〜（６）のようにホワイトバランス係数を算出する。
【０００４】
ＷＢＣｏ＿Ｒ＝ＳｕｍＹ×１０２４／ＳｕｍＲ・・・（４）
ＷＢＣｏ＿Ｇ＝ＳｕｍＹ×１０２４／ＳｕｍＧ・・・（５）
ＷＢＣｏ＿Ｂ＝ＳｕｍＹ×１０２４／ＳｕｍＢ・・・（６）
ただし、式（４）〜（６）において、
ＳｕｍＹ＝（ＳｕｍＲ＋２×ＳｕｍＧ＋ＳｕｍＢ）／４・・・（７）
である。
【０００５】
このようなＡＷＢ処理では、特殊光源や複数の光源色の混在しているＭｉｘ光源などの被写体に追従できず、ユーザの意図に反して、処理後の画像に色残りが生じてしまう場合がある。また、ＡＷＢ処理では、光源などの被写体に追従できても、処理後の画像がユーザの意図したものと異なることがある。
【０００６】
特許文献１には、撮像装置が、手動設定モードにおいて、Ｒ（赤）及びＢ（青）のホワイトバランス（ＷＢ）ゲインの可変範囲を現設定値とともに表示することが記載されている。具体的には、特許文献１の図３に示すように、現設定値表示画像２００内に、Ｒ（赤）に対するＷＢゲインの可変範囲を示すＲレベルゲージ２０１と、Ｂ（青）に対するＷＢゲインの可変範囲を示すＢレベルゲージ２０２と、現設定値マーク２０３とが表示される。これにより、特許文献１によれば、手動モード設定時にＲ（赤）及びＢ（青）のＷＢゲインの関係が一目で分かるので、ＷＢゲインの手動設定時での操作性を向上することができるとされている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特許０４０２８３５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
一方、ユーザは、画像を単純に適正な色に調整するのではなく、被写体の色温度に関して微調整したいと意図することがある。例えば、ユーザは、低色温度光源の雰囲気を残したいと意図することがある。特許文献１には、色温度に関するユーザの意図を画像に反映させる際における精度をどのようにして向上させるのかについて記載がない。
【０００９】
本発明の目的は、ホワイトバランス処理において、色温度に関するユーザの意図を画像に反映させる際における精度を向上することにある。
【課題を解決するための手段】
【００１０】
本発明の１つの側面に係る画像処理装置は、画像のホワイトバランスの補正値を求める第１の計算手段と、第１の軸と前記第１の軸に直交する第２の軸とを有する色度図における黒体放射カーブに沿った方向に前記補正値を調整するための指定値を受け付ける指定手段と、複数の指定値とそれぞれ前記第１の軸に沿った複数の第１の調整量とが対応付けられた調整情報を記憶する記憶手段と、前記指定手段により受け付けられた指定値と前記調整情報とに応じて前記第１の軸に沿った第１の調整量を決定し、前記色度図における補正値の黒体放射カーブからの距離が一定に保たれるように前記補正値と前記第１の調整量とに応じて前記第２の軸に沿った第２の調整量を決定し、前記第１の調整量と前記第２の調整量とに応じて前記補正値を黒体放射カーブに沿った方向に調整し、調整された補正値に応じて前記画像のホワイトバランスを補正する補正手段とを備えたことを特徴とする。
【発明の効果】
【００１１】
本発明によれば、ホワイトバランス処理において、色温度に関するユーザの意図を画像に反映させる際における精度を向上することができる。
【図面の簡単な説明】
【００１２】
【図１】第１実施形態に係る撮像装置の構成を示す図。
【図２】第１のＷＢ補正算出処理を示すフローチャート。
【図３】第２のＷＢ補正算出処理を示すフローチャート。
【図４】白検出範囲を示す図。
【図５】撮像装置の表示部を示す図。
【図６】ユーザーが手動設定する指定値と補正量の関係を示すテーブル。
【図７】第１実施形態におけるＷＢ補正の概念図。
【図８】Ｂ−Ａ補正とＧ−Ｍ補正の補正方向の関係を示した図。
【図９】第２実施形態におけるＷＢ補正の概念図。
【図１０】第２実施形態におけるＧ−Ｍ補正した際のＣｘ方向補正に関するテーブル。
【図１１】色温度とＣｘの関係図。
【発明を実施するための形態】
【００１３】
本発明の第１実施形態に係る撮像装置１００を、図１を用いて説明する。撮像装置１００は、光学系１１５、撮像センサ（撮像手段）１０１、及び画像処理装置１１９を備える。
【００１４】
光学系１１５は、シャッター、レンズ、及び絞りを含む。シャッターは、光路上においてレンズの手前に設けられ、露出を制御する。レンズは、入射した光を屈折させて、撮像センサ１０１の撮像面に被写体の像を形成する。レンズは、光路に沿って駆動可能なフォーカスレンズを含む。絞りは、光路上においてレンズと撮像センサ１０１との間に設けられ、レンズを通過後に撮像センサ１０１へ導かれる光の量を調節する。
【００１５】
撮像センサ１０１は、画素配列（撮像面）に形成された被写体の像を画像信号に変換する。その撮像面は、例えばベイヤー配列のようなＲＧＢカラーフィルタにより覆われ、カラー撮影が可能な構成となっている。撮像センサ１０１は、その画像信号を画素配列から読み出して出力する。撮像センサ１０１は、例えば、ＣＣＤイメージセンサ、又はＣＭＯＳイメージセンサである。
【００１６】
画像処理装置１１９は、撮像センサ１０１により取得された画像を処理する。画像処理装置１１９は、以下の構成要素を備える。
【００１７】
メモリ１０２は、撮像センサ１０１から出力された画像信号を一時的に記憶する。そして、メモリ１０２は、記憶している画像信号をホワイトバランス（ＷＢ）制御部１０３へ供給する。
【００１８】
ＷＢ制御部１０３は、メモリ１０２から供給された画像信号に基づいて、ＡＷＢ（自動ホワイトバランス）処理を行い、画像のホワイトバランスの補正値を求める。また、ＷＢ制御部１０３は、求めた補正値を用いて画像のホワイトバランスを補正する。ＷＢ制御部１０３は、求めた補正値と補正した画像の画像信号とを表示制御部１１７へ供給する。
【００１９】
表示制御部１１７は、補正値を調整するためのウィンドウを補正値を示すアイコンとともに表示部１１８に表示させる。また、表示制御部１１７は、補正した画像も表示部１１８に表示させる。
【００２０】
指定部１１６は、表示部１１８を閲覧しているユーザから、補正値を調整するための後述の指定値を受け付ける。指定部１１６は、受け付けた指定値をＷＢ制御部１０３へ供給する。
【００２１】
ＷＢ制御部１０３は、求めた補正値を指定値に応じて調整し、調整された補正値を用いて画像のホワイトバランスを再び補正する。ＷＢ制御部１０３は、補正後の画像信号を、ＣＰＵ１１４と色変換マトリックス（ＭＴＸ）回路１０４と輝度信号（Ｙ）生成回路１１１とへ供給する。なお、このＷＢ制御部１０３の詳細構成およびＷＢ補正値の算出方法については、後述する。
【００２２】
ＣＰＵ１１４は、画像信号に基づいて、ＡＦ（自動焦点調節）処理、ＡＥ（自動露出制御）処理を行う。
【００２３】
例えば、ＣＰＵ１１４は、ＡＦ処理において、合焦領域内にある被写体に合焦するようにフォーカスレンズの駆動量を計算して制御回路１１３へ供給する。これにより、制御回路１１３は、計算された駆動量でフォーカスレンズが駆動されるように、光学系１１５を制御する。
【００２４】
例えば、ＣＰＵ１１４は、ＡＥ処理において、適正な露出値（明るさ）が得られるように、シャッター速度及び絞り値を計算して制御回路１１３へ供給する。これにより、制御回路１１３は、計算されたシャッター速度で撮像センサ１０１の画素配列における各画素が電荷蓄積動作（露光動作）を行うように、光学系１１５内のシャッターと撮像センサ１０１とを制御する。
【００２５】
色変換ＭＴＸ回路１０４は、ＷＢ制御部１０３によりＷＢ補正された画像信号が適正な色で再現されるように画像信号に対して色ゲインをかけることにより、画像信号を色差信号Ｒ-Ｙ、Ｂ-Ｙに変換する。色変換ＭＴＸ回路１０４は、変換後の色差信号Ｒ-Ｙ、Ｂ-Ｙをローパスフィルタ（ＬＰＦ）回路１０５へ供給する。
【００２６】
ＬＰＦ回路１０５は、色差信号Ｒ-Ｙ、Ｂ-Ｙの帯域を閾値以下の成分に制限する。すなわち、ＬＰＦ回路１０５は、色差信号Ｒ-Ｙ、Ｂ-Ｙのうち閾値以下の空間周波数を有した成分を選択的に通過させる。ＬＰＦ回路１０５は、通過させた色差信号Ｒ-Ｙ、Ｂ-ＹをＣＳＵＰ（Ｃｈｒｏｍａ Ｓｕｐｒｅｓｓ）回路１０６へ供給する。
【００２７】
ＣＳＵＰ回路１０６は、ＬＰＦ回路１０５で帯域制限された色差信号Ｒ-Ｙ、Ｂ-Ｙのうち飽和部分の偽色信号を抑圧する処理を行う。ＣＳＵＰ回路１０６は、処理後の色差信号Ｒ-Ｙ、Ｂ-ＹをＲＧＢ変換回路１０７へ供給する。
【００２８】
一方、Ｙ生成回路１１１は、ＷＢ制御部１０３によりＷＢ補正された画像信号に基づいて輝度信号Ｙを生成する。Ｙ生成回路１１１は、生成した輝度信号Ｙをエッジ強調回路１１２へ供給する。
【００２９】
エッジ強調回路１１２は、輝度信号Ｙに応じた画像におけるエッジ検出を行い、検出されたエッジ部分を強調するエッジ強調処理を施す。エッジ強調回路１１２は、処理後の輝度信号Ｙ（に応じた画像）をＲＧＢ変換回路１０７へ供給する。
【００３０】
ＲＧＢ変換回路１０７は、ＣＳＵＰ回路１０６から供給された色差信号Ｒ-Ｙ、Ｂ-Ｙと、エッジ強調回路１１２から供給された輝度信号Ｙとを合成し、合成後の信号をＲＧＢ信号に変換する。ＲＧＢ変換回路１０７は、変換後のＲＧＢ信号をガンマ（γ）補正回路１０８へ供給する。
【００３１】
γ補正回路１０８は、ＲＧＢ信号に対して階調補正を施す。γ補正回路１０８は、補正後のＲＧＢ信号を色輝度変換回路１０９へ供給する。
【００３２】
色輝度変換回路１０９は、ＲＧＢ信号をＹＵＶ信号に変換する。色輝度変換回路１０９は、ＹＵＶ信号を圧縮回路１１０へ供給する。
【００３３】
圧縮回路１１０は、ＹＵＶ信号を所定の圧縮方式（例えば、ＪＰＥＧ方式）で圧縮して圧縮画像信号を生成する。圧縮回路１１０は、圧縮画像信号を外部記録媒体（図示せず）又は内部記録媒体（図示せず）に記録する。外部記録媒体は、撮像装置１００に着脱可能に接続され、内部記録媒体は、撮像装置１００に内蔵されている。外部記録媒体は、例えば、光磁気ディスク、又はメモリカードである。内部記録媒体は、例えば、ＨＤＤ（ハードディスクドライブ）である。
【００３４】
次に、ＷＢ制御部１０３の詳細構成を、図１を用いて説明する。
【００３５】
ＷＢ制御部１０３は、第１の計算部１０３ａ、記憶部１０３ｂ、第２の計算部１０３ｃ、及び補正部１０３ｄを含む。
【００３６】
第１の計算部１０３ａは、メモリ１０２から供給された画像信号に基づいて、ＡＷＢ（自動ホワイトバランス）処理を行い、画像のホワイトバランスの補正値を求める。また、第１の計算部１０３ａは、求めた補正値を用いて画像のホワイトバランスを補正する。第１の計算部１０３ａは、求めた補正値と補正後の画像の画像信号とを表示制御部１１７へ供給する。表示制御部１１７は、補正値を調整するためのウィンドウを補正値を示すアイコンとともに表示部１１８に表示させる。表示部１１８は、図５に示すディスプレイ５０１を含む。ディスプレイ５０１は、例えば、補正値を調整するためのウィンドウ５０２と、補正値を示すアイコン５０３とを表示する。ウィンドウ５０２は、Ｂ（ブルー）−Ａ（アンバ）方向と、Ｇ（グリーン）−Ｍ（マゼンタ）方向とを２つの軸とする。
【００３７】
Ｂ−Ａ方向は、色度図（図４、図７参照）における黒体放射カーブ３０２に沿った方向であり、色温度を変化させる色温度方向である。Ｂ−Ａ方向の軸は、黒体放射軸、又は色温度軸とも呼ばれる。色度図は、例えば、図４又は図７に示すように、Ｃｘ軸（第１の軸）と、Ｃｘ軸に直交するＣｙ軸（第２の軸）とを有する。Ｃｘ軸方向（第１の軸方向）の座標は、数式（１）により求めた色評価値である。Ｃｙ軸方向（第２の軸方向）の座標は、数式（２）により求めた色評価値である。また、Ｇ−Ｍ方向は、色度図における黒体放射カーブ３０２に直交する方向であり、色温度方向と直交する蛍光灯方向である。ウィンドウ５０２では、ＡＷＢ処理により求められた補正値を示すアイコン５０３が原点として表示されている。また、ディスプレイ５０１は、ＥＶＦ（Ｅｌｅｃｔｒｏｎｉｃ Ｖｉｅｗ Ｆｉｎｄｅｒ）としての機能も有しており、ＡＷＢ処理により補正された画像も表示する。
【００３８】
これに応じて、指定部１１６は、表示部１１８を閲覧しているユーザから、Ｂ−Ａ方向に補正値を調整するためのＢ−Ａ指定値と、Ｇ−Ｍ方向に補正値を調整するためのＧ−Ｍ指定値（第２の指定値）とを受け付ける。指定部１１６は、受け付けたＢ−Ａ指定値とＧ−Ｍ指定値とを表示制御部１１７へ供給する。表示制御部１１７は、ウィンドウ５０２における補正値Ｂ−Ａ指定値とＧ−Ｍ指定値とに応じたＢ−Ａ方向及びＧ−Ｍ方向の座標位置を決定する。表示制御部１１７は、決定した座標位置に応じて、指定された調整量に応じた補正値を示すアイコンを表示部１１８にさらに表示させる。表示部１１８のディスプレイ５０１は、例えば、ウィンドウ５０２内に、指定された調整量に応じた補正値を示すアイコン５０４をさらに表示する。ウィンドウ５０２では、ＡＷＢ処理により求められた補正値を示すアイコン５０３が原点として表示されているので、アイコン５０４の座標がＢ−Ａ方向及びＧ−Ｍ方向それぞれの調整量を示している。また、指定部１１６は、受け付けたＢ−Ａ指定値とＧ−Ｍ指定値とを補正部１０３ｄへも供給する。
【００３９】
記憶部１０３ｂは、図６（ａ）に示すような、複数のＢ−Ａ指定値と複数の第１の調整量とが対応付けられた調整情報を記憶する。複数のＢ−Ａ指定値は、それぞれ、指定部１１６が受け付けるべきＢ−Ａ指定値の候補となる値である。複数の第１の調整量は、それぞれ、Ｃｘ軸に沿った調整量であり、Ｂ−Ａ方向の調整量がウィンドウ５０２内に示されるべきＢ−Ａ方向の調整量に対応するように予め求められた量である。この調整情報を参照することにより、補正部１０３ｄは、後述のように、指定部１１６により受け付けられたＢ−Ａ指定値に対応した第１の調整量を決定することができる。
【００４０】
また、記憶部１０３ｂは、図６（ｂ）に示すような、複数のＧ−Ｍ指定値と複数の第３の調整量とが対応付けられた第２の調整情報を記憶する。複数のＧ−Ｍ指定値は、それぞれ、指定部１１６が受け付けるべきＧ−Ｍ指定値の候補となる値である。複数の第３の調整量は、それぞれ、Ｃｙ軸に沿った調整量であり、Ｇ−Ｍ方向の調整量がウィンドウ５０２内に示されるべきＧ−Ｍ方向の調整量に対応するように予め求められた量である。この第２の調整情報を参照することにより、補正部１０３ｄは、後述のように、指定部１１６により受け付けられたＧ−Ｍ指定値に対応した第３の調整量を決定することができる。
【００４１】
第２の計算部１０３ｃは、色度図（図７参照）における補正値（Ｃｘ０，Ｃｙ０）の黒体放射カーブ３０２からのＣｙ軸に沿った距離ＤｉｓＣｙを求める。補正値（Ｃｘ０，Ｃｙ０）は、第１の計算部１０３ａによるＡＷＢ処理で求められた補正値である。第２の計算部１０３ｃは、求めた距離ＤｉｓＣｙの情報を補正部１０３ｄへ供給する。
【００４２】
補正部１０３ｄは、指定部１１６からＢ−Ａ指定値が供給されたことに応じて、記憶部１０３ｂにアクセスして調整情報（図６（ａ）参照）を参照する。補正部１０３ｄは、指定部１１６により受け付けられたＢ−Ａ指定値と調整情報とに応じてＣｘ軸に沿った第１の調整量ΔＣｘを決定する。また、補正部１０３ｄは、第２の計算部１０３ｃにより求められた距離が一定に保たれるように、ＡＷＢ処理で求められた補正値（Ｃｘ０，Ｃｙ０）と上記の決定した第１の調整量ΔＣｘとに応じてＣｙ軸に沿った第２の調整量ΔＣｘ＿ｙを決定する。そして、補正部１０３ｄは、第１の調整量ΔＣｘと第２の調整量ΔＣｘ＿ｙとに応じて補正値（Ｃｘ０，Ｃｙ０）を黒体放射カーブ３０２に沿った方向に調整し、調整された補正値（Ｃｘ’，Ｃｙ’）を得る。
【００４３】
また、補正部１０３ｄは、指定部１１６からＧ−Ｍ指定値が供給されたことに応じて、記憶部１０３ｂにアクセスして第２の調整情報（図６（ｂ）参照）を参照する。補正部１０３ｄは、指定部１１６により受け付けられたＧ−Ｍ指定値と第２の調整情報とに応じてＣｙ軸に沿った第３の調整量ΔＣｙを決定する。そして、補正部１０３ｄは、第３の調整量ΔＣｙに応じて補正値（Ｃｘ０，Ｃｙ０）を黒体放射カーブ３０２に直交する方向にさらに調整する。すなわち、補正部１０３ｄは、第３の調整量ΔＣｙに応じて、調整された補正値（Ｃｘ’，Ｃｙ’）を黒体放射カーブ３０２に直交する方向にさらに調整し、調整された補正値（Ｃｘ’，Ｃｙ”）を得る。補正部１０３ｄは、調整された補正値（Ｃｘ’，Ｃｙ”）を用いて画像のホワイトバランスを補正する。
【００４４】
このように、ＡＷＢ処理で求められた補正値を、指定部１１６により受け付けられたＢ−Ａ指定値に対応した調整量で黒体放射カーブからの距離を保ちながら調整する。これにより、ホワイトバランスの補正値を、色温度方向のユーザの意図に追従した値へ調整できる。また、ホワイトバランスの補正値を、ウィンドウ５０２内におけるアイコン５０４（図５参照）のＢ−Ａ方向の座標に対応した調整量で調整することができる。すなわち、ホワイトバランス処理において、色温度に関するユーザの意図を画像に反映させる際における精度を向上することができる。
【００４５】
さらに、調整された補正値を、指定部１１６により受け付けられたＧ−Ｍ指定値に対応した調整量で調整する。これにより、ホワイトバランスの補正値を、色温度方向と直交する方向のユーザの意図に追従した値へ調整できる。また、ホワイトバランスの補正値を、ウィンドウ５０２内におけるアイコン５０４（図５参照）のＧ−Ｍ方向の座標に対応した調整量で調整することができる。すなわち、この点からも、ホワイトバランス処理において、色温度に関するユーザの意図を画像に反映させる際における精度を向上することができる。
【００４６】
次に、ＷＢ制御部１０３におけるＷＢ補正値算出方法について、図２を用いて説明する。
【００４７】
図２に示すＳ２０１では、第１の計算部１０３ａが、ＡＷＢ処理を行い、画像のホワイトバランスの補正値を求める。また、第１の計算部１０３ａは、求めた補正値を用いて画像のホワイトバランスを補正する。第１の計算部１０３ａは、求めた補正値と補正後の画像の画像信号とを表示制御部１１７へ供給する。具体的には、第１の計算部１０３ａが、図３に示すＡＷＢ処理を行う。
【００４８】
図３に示すＳ１０１では、第１の計算部１０３ａが、メモリ１０２に記憶された画像信号を読み出し、そのフレームを複数（例えばｍ個）のブロックに分割する。第１の計算部１０３ａは、複数のブロックから処理対象（例えば、ｉ番目）のブロックを選択する。
【００４９】
Ｓ１０２では、第１の計算部１０３ａが、処理対象（例えば、ｉ番目）のブロックにおいて、画素値を各色で加算平均して色平均値（Ｒ［ｉ］、Ｇ［ｉ］、Ｂ［ｉ］、）を算出し、式（８）、（９）を用いて色評価値（Ｃｘ［ｉ］、Ｃｙ［ｉ］）を算出する。
【００５０】
Ｃｘ［ｉ］＝（Ｒ［ｉ］−Ｂ［ｉ］）／Ｙ［ｉ］×１０２４・・・（８）
Ｃｙ［ｉ］＝（Ｒ［ｉ］＋Ｂ［ｉ］−２Ｇ［ｉ］）／Ｙ［ｉ］×１０２４・・・（９）
ただし、式（８）、（９）において、
Ｙ［ｉ］＝Ｒ［ｉ］＋２Ｇ［ｉ］＋Ｂ［ｉ］・・・（１０）
である。
【００５１】
Ｓ１０３では、第１の計算部１０３ａが、Ｓ１０２で算出したｉ番目のブロックの色評価値（Ｃｘ［ｉ］、Ｃｙ［ｉ］）が、予め設定した白検出範囲３０１（図４参照）に含まれるかどうかを判断する。白検出範囲３０１は、予め異なる光源下で白色物体を撮影し、算出した色評価値をプロットしたものである。図４の色度図におけるｘ座標（Ｃｘ）の負方向が高色温度被写体の白を撮影したときの色評価値、正方向が低色温度被写体の白を撮影したときの色評価値である。またｙ座標（Ｃｙ）は光源の緑成分の度合いを意味しており、負方向になるにつれＧｒｅｅｎ成分が大きくなり、つまり蛍光灯であることを示している。
【００５２】
第１の計算部１０３ａは、算出した色評価値（Ｃｘ［ｉ］、Ｃｙ［ｉ］）が白検出範囲３０１に含まれると判断した場合（Ｓ１０３でＹＥＳ）、処理をＳ１０４へ進める。第１の計算部１０３ａは、算出した色評価値（Ｃｘ［ｉ］、Ｃｙ［ｉ］）が白検出範囲３０１に含まれないと判断した場合（Ｓ１０３でＮＯ）、処理をＳ１０５へ進める。
【００５３】
Ｓ１０４では、第１の計算部１０３ａが、そのブロックが白色であると判断して、そのブロックの色平均値（Ｒ［ｉ］、Ｇ［ｉ］、Ｂ［ｉ］）を積算していく。この処理は、式（１１）〜（１３）により表すことができる
ＳｕｍＲ＝Σｉ＝０ｍＳｗ［ｉ］×Ｒ［ｉ］・・・（１１）
ＳｕｍＧ＝ｉ＝０ΣｍＳｗ［ｉ］×Ｇ［ｉ］・・・（１２）
ＳｕｍＢ＝ｉ＝０ΣｍＳｗ［ｉ］×Ｂ［ｉ］・・・（１３）
式（１１）〜（１３）において、色評価値（Ｃｘ［ｉ］、Ｃｙ［ｉ］）が白検出範囲（図４の３０１）に含まれる場合はＳｗ［ｉ］を１に、含まれない場合にはＳｗ［ｉ］を０とすることにより、Ｓ１０３の判断により色評価値（Ｒ［ｉ］、Ｇ［ｉ］、Ｂ［ｉ］）加算を行うか、行わないかの処理を実質的に行っている。
【００５４】
Ｓ１０５では、第１の計算部１０３ａが、すべてのブロックについて上記処理を行ったかどうかを判断する。第１の計算部１０３ａは、未処理のブロックがあると判断した場合、未処理のブロックから処理対象のブロックを選択して処理をＳ１０２に戻す。第１の計算部１０３ａは、未処理のブロックがないと判断した場合、処理をＳ１０６へ進める。
【００５５】
Ｓ１０６では、第１の計算部１０３ａが、得られた色評価値の積分値（ＳｕｍＲ、ＳｕｍＧ、ＳｕｍＢ）から、以下の式（１４）〜を用いて、ＷＢ補正値（ＷＢＣｏ＿Ｒ、ＷＢＣｏ＿Ｇ、ＷＢＣｏ＿Ｂ）を算出する。
【００５６】
ＷＢＣｏ＿Ｒ＝ＳｕｍＹ×１０２４／ＳｕｍＲ・・・（１４）
ＷＢＣｏ＿Ｇ＝ＳｕｍＹ×１０２４／ＳｕｍＧ・・・（１５）
ＷＢＣｏ＿Ｂ＝ＳｕｍＹ×１０２４／ＳｕｍＢ・・・（１６）
ただし、式（１４）〜（１６）において、
ＳｕｍＹ＝（ＳｕｍＲ＋２×ＳｕｍＧ＋ＳｕｍＢ）／４・・・（１７）
である。
【００５７】
図２に示すＳ２０２では、補正部１０３ｄが、ユーザーがＷＢ補正値を指定したか否かを判断する。具体的には、補正部１０３ｄは、指定部１１６からＢ−Ａ指定値及びＧ−Ｍ指定値が供給されたことに応じて、ユーザーがＷＢ補正値を指定したと判断する。補正部１０３ｄは、所定時間経過しても指定部１１６からＢ−Ａ指定値及びＧ−Ｍ指定値が供給されなかったことに応じて、ユーザーがＷＢ補正値を指定しなかったと判断する。補正部１０３ｄは、ユーザーがＷＢ補正値を指定したと判断した場合、処理をＳ２０３へ進め、ユーザーがＷＢ補正値を指定しなかったと判断した場合、処理をＳ２０６へ進める。
【００５８】
Ｓ２０３では、補正部１０３ｄが、記憶部１０３ｂにアクセスして調整情報（図６（ａ）参照）を参照する。補正部１０３ｄは、指定部１１６により受け付けられたＢ−Ａ指定値と調整情報とに応じてＣｘ軸に沿った第１の調整量ΔＣｘを決定する。補正部１０３ｄは、補正値のｘ座標Ｃｘ０に第１の調整量ΔＣｘを加算して、調整された補正値のｘ座標
Ｃｘ’＝Ｃｘ０＋ΔＣｘ・・・（１８）
を得る。
【００５９】
一方、第２の計算部１０３ｃは、色度図（図７参照）における補正値（Ｃｘ０，Ｃｙ０）の黒体放射カーブ３０２からのＣｙ軸に沿った距離ＤｉｓＣｙを算出する。具体的には、第２の計算部１０３ｃは、黒体放射カーブ３０２における補正値（Ｃｘ０，Ｃｙ０）に対応した部分を点ＡＢ間に決定する。第２の計算部１０３ｃは、点Ａ（Ｃｘ＿Ａ，Ｃｙ＿Ａ）と点Ｂ（Ｃｘ＿Ｂ，Ｃｙ＿Ｂ）との間を結ぶ直線の傾き
ａ１＝（Ｃｙ＿Ｂ−Ｃｙ＿Ａ）／（Ｃｘ＿Ｂ−Ｃｘ＿Ａ）・・・（１９）
とｙ切片
ｂ１＝Ｃｙ＿Ａ−ａ１×Ｃｘ＿Ａ・・・（２０）
とを求める。そして、第２の計算部１０３ｃは、その直線の傾きａ１とｙ切片ｂ１とを用いて、Ｃｙ軸に沿った距離
ＤｉｓＣｙ＝ａ１×Ｃｘ０＋ｂ１−Ｃｙ０・・・（２１）
を求める。第２の計算部１０３ｃは、求めた距離ＤｉｓＣｙの情報を補正部１０３ｄへ供給する。
【００６０】
そして、補正部１０３ｄは、第２の計算部１０３ｃにより求められた距離が一定に保たれるように、ＡＷＢ処理で求められた補正値（Ｃｘ０，Ｃｙ０）と上記の決定した第１の調整量ΔＣｘとに応じてＣｙ軸に沿った第２の調整量ΔＣｘ＿ｙを決定する。具体的には、補正部１０３ｄは、黒体放射カーブ３０２における調整された補正値のｘ座標Ｃｘ’に対応した部分を点ＢＣ間に決定する。補正部１０３ｄは、点Ｂ（Ｃｘ＿Ｂ，Ｃｙ＿Ｂ）と点Ｃ（Ｃｘ＿Ｃ，Ｃｙ＿Ｃ）との間を結ぶ直線の傾き
ａ２＝（Ｃｙ＿Ｃ−Ｃｙ＿Ｂ）／（Ｃｘ＿Ｃ−Ｃｘ＿Ｂ）・・・（２２）
とｙ切片
ｂ２＝Ｃｙ＿Ｂ−ａ２×Ｃｘ＿Ｂ・・・（２３）
とを求める。そして、補正部１０３ｄは、その直線の傾きａ２とｙ切片ｂ２と上記の距離ＤｉｓＣｙとを用いて、調整された補正値のｙ座標
Ｃｙ’＝ａ２×Ｃｘ’＋ｂ２−ＤｉｓＣｙ・・・（２４）
を得る。ここで、式（２４）に式（２１）を代入すると、
Ｃｙ’＝ａ２×Ｃｘ’＋ｂ２−（ａ１×Ｃｘ０＋ｂ１−Ｃｙ０）
＝Ｃｙ０＋（ａ２×Ｃｘ’＋ｂ２−ａ１×Ｃｘ０−ｂ１）
＝Ｃｙ０＋ΔＣｘ＿ｙ・・・（２５）
となる。すなわち、式（２４）に示されるように、補正部１０３ｄは、補正値のｙ座標Ｃｙ０と第２の調整量ΔＣｘ＿ｙとを加算して、調整された補正値のｙ座標Ｃｙ’を得る。
【００６１】
このように、補正部１０３ｄは、第１の調整量ΔＣｘと第２の調整量ΔＣｘ＿ｙとに応じて補正値（Ｃｘ０，Ｃｙ０）を黒体放射カーブ３０２に沿った方向に調整し、調整された補正値（Ｃｘ’，Ｃｙ’）を得る。
【００６２】
Ｓ２０４では、補正部１０３ｄが、記憶部１０３ｂにアクセスして第２の調整情報（図６（ｂ）参照）を参照する。補正部１０３ｄは、指定部１１６により受け付けられたＧ−Ｍ指定値と第２の調整情報とに応じてＣｙ軸に沿った第３の調整量ΔＣｙを決定する。補正部１０３ｄは、調整された補正値のｙ座標Ｃｙ’に第３の調整量ΔＣｙを加算して、さらに調整された補正値のｙ座標
Ｃｙ”＝Ｃｙ’＋ΔＣｙ・・・（２６）
を得る。このように、補正部１０３ｄは、第３の調整量ΔＣｙに応じて、調整された補正値（Ｃｘ’，Ｃｙ’）を黒体放射カーブ３０２に直交する方向にさらに調整し、調整された補正値（Ｃｘ’，Ｃｙ”）を得る。
【００６３】
Ｓ２０５では、補正部１０３ｄが、調整された補正値（Ｃｘ’，Ｃｙ”）を用いて画像のホワイトバランスを補正する。
【００６４】
Ｓ２０６では、補正部１０３ｄが、ＡＷＢ処理で求められた補正値（Ｃｘ０，Ｃｙ０）を用いて画像のホワイトバランスを補正する。
【００６５】
次に、本発明の第２実施形態に係る撮像装置を、図８〜図１０を用いて説明する。以下では、第１実施形態と異なる部分を中心に説明する。
【００６６】
第２実施形態では、図８に示すように、Ｇ−Ｍ方向の補正において黒体放射カーブ３０２の傾きに応じてＣｘ方向の補正量を調節する。
【００６７】
ここで、黒体放射カーブの傾きが急峻な場合には、図１０（ａ）のようにＢ−Ａ方向の調整量とＧ−Ｍ方向の調整量との直交性が低下する。すなわち、図５に示すように、ディスプレイ５０１は、ウィンドウ５０２内にＢ−Ａ方向の軸とＧ−Ｍ方向の軸とを直交させた形態で表示している。そして、ディスプレイ５０１は、ウィンドウ５０２内におけるアイコン５０４のＢ−Ａ方向の座標でＢ−Ａ方向の調整量を示し、アイコン５０４のＧ−Ｍ方向の座標でＧ−Ｍ方向の調整量を示している。そのため、Ｂ−Ａ方向の調整量とＧ−Ｍ方向の調整量との直交性が低下すると、それらの実際の調整量が、ウィンドウ５０２内におけるアイコン５０４で示されたものと対応しなくなる可能性がある。
【００６８】
それに対して、本実施形態では、記憶部１０３ｂが、図９に示すように、複数のＧ−Ｍ指定値と複数の傾きと複数の第４の調整量とが対応付けられた第３の調整情報をさらに記憶する。複数の第４の調整量は、それぞれ、Ｃｘ軸に沿った調整量であり、Ｇ−Ｍ方向の調整量がウィンドウ５０２内に示されるべきＧ−Ｍ方向の調整量に対応するように、すなわちＢ−Ａ方向との間の直交性が向上するように予め求められた量である。
【００６９】
補正部１０３ｄは、指定部１１６により受け付けられたＧ−Ｍ指定値と第２の計算部１０３ｃにより求められた傾きａ２（式（２２）参照）と第３の調整情報とに応じてＣｘ軸に沿った第４の調整量ΔＣｘ＿ｙを決定する。補正部１０３ｄは、調整された補正値のｘ座標Ｃｘ’に第４の調整量ΔＣｘ＿ｙを加算して、調整された補正値のｘ座標
Ｃｘ”＝Ｃｘ’＋ΔＣｘ＿ｙ・・・（２７）
を得る。補正部１０３ｄは、調整された補正値（Ｃｘ”，Ｃｙ”）を用いて画像のホワイトバランスを補正する。すなわち、補正部１０３ｄは、Ｇ−Ｍ方向の補正において、第３の調整量ΔＣｙと第４の調整量ΔＣｘ＿ｙとに応じて、調整された補正値（Ｃｘ’，Ｃｙ’）を黒体放射カーブ３０２に直交する方向にさらに調整し、調整された補正値（Ｃｘ”，Ｃｙ”）を得る。補正部１０３ｄは、調整された補正値（Ｃｘ”，Ｃｙ”）を用いて画像のホワイトバランスを補正する。
【００７０】
このように、ＡＷＢ処理で求められた補正値を、Ｇ−Ｍ方向の補正において、Ｂ−Ａ方向との間の直交性が向上するように、指定部１１６により受け付けられたＧ−Ｍ指定値に対応した調整量で調整する。これにより、ホワイトバランスの補正値を、色温度方向と直交する方向のユーザの意図に追従した値へ調整できる。また、ホワイトバランスの補正値を、ウィンドウ５０２内におけるアイコン５０４（図５参照）のＧ−Ｍ方向の座標に対応した調整量で調整することができる。すなわち、ホワイトバランス処理において、色温度に関するユーザの意図を画像に反映させる際における精度をさらに向上することができる。
【００７１】
なお、補正部１０３ｄは、第２の計算部１０３ｃにより求められた傾きが、図９で示す傾きの間の値をとる場合、線形補間により第４の調整量ΔＣｘ＿ｙを算出してもよい。
【００７２】
次に、本発明の第３実施形態に係る撮像装置を、図１１を用いて説明する。以下では、第１実施形態と異なる部分を中心に説明する。
【００７３】
第１の実施形態では、Ｂ−Ａ方向に補正する場合、ユーザーが設定したＢ−Ａ指定値と第１の調整量ΔＣｘとを対応付けている。
【００７４】
本実施形態では、Ｂ−Ａ方向に補正する場合、ユーザーが設定したＢ−Ａ指定値とミレッド（色温度変換フィルターの濃度を表す時などに使用される色温度単位。ミレッド＝１０の６乗／色温度）と色温度とで対応付けした形態である。
【００７５】
具体的には、記憶部１０３ｂが、図１１に示すように、複数の色温度とそれぞれＣｘ軸を基準とした複数の座標（例えば、Ｃｘ１〜Ｃｘ６）とが対応付けられた対応情報を記憶する。補正部１０３ｄは、記憶部１０３ｂにアクセスして対応情報を参照し、その対応情報を用いて、ＡＷＢ処理で求めた補正値のｘ座標Ｃｘ０を色温度Ｔに変換する。Ｃｘと色温度との対応付けられた対応情報は、予め代表的な色温度の光源とＣｘとをプロットすることで取得されたものである。ここで算出された色温度Ｔを式（２８）によりミレッド値Ｍに変換する。
【００７６】
Ｍ＝１０６／Ｔ・・・（２８）
そして、ユーザーが指定するＢ−Ａ指定値の１刻みの幅をΔＭミレッドと定義してユーザーが指定した補正強度ｎに応じて式（２８）により求めたミレッドを調整する。例えば、調整されたミレッド値をＭ’とすると、Ｂ−Ａ方向におけるＢ（Ｂｌｕｅ）方向に補正したい場合、
Ｍ’＝Ｍ＋ｎ×ΔＭ・・・（２９）
とし、Ｂ−Ａ方向におけるＡ（Ａｍｂｅｒ）方向に補正した場合、
Ｍ’＝Ｍ−ｎ×ΔＭ・・・（３０）
とする。すなわち、補正部１０３ｄは、Ｂ−Ａ指定値からミレッド値の調整量を決定し、決定した調整量（ｎ×ΔＭ、又は−ｎ×ΔＭ）に応じてミレッド値Ｍを調整する。そして、補正部１０３ｄは、式（３１）により、調整されたミレッド値Ｍ’を、調整された色温度Ｔ’に変換する。
【００７７】
Ｔ’＝１０６／Ｍ’・・・（３１）
さらに、補正部１０３ｄは、図１１に示す対応情報に応じて、調整された色温度Ｔ’を調整された補正値の座標Ｃｘ’に変換する。そして、補正部１０３ｄは、調整された補正値の座標Ｃｘ’に応じた補正値（Ｃｘ’，Ｃｙ’）を用いて、画像のホワイトバランスを補正する。
【００７８】
このように、ＡＷＢ処理で求めた補正値の座標を、人間の視覚における色の認識に近くほぼ比例関係にあるとみなせるミレッド値に変換するので、その比例関係を用いてＢ−Ａ指定値からミレッド値の調整量を決定することができる。したがって、このような方法によっても、ホワイトバランスの補正値を、色温度方向のユーザの意図に追従した値へ調整できる。
【００７９】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【特許請求の範囲】
【請求項１】
画像のホワイトバランスの補正値を求める第１の計算手段と、
第１の軸と前記第１の軸に直交する第２の軸とを有する色度図における黒体放射カーブに沿った方向に前記補正値を調整するための指定値を受け付ける指定手段と、
複数の指定値とそれぞれ前記第１の軸に沿った複数の第１の調整量とが対応付けられた調整情報を記憶する記憶手段と、
前記指定手段により受け付けられた指定値と前記調整情報とに応じて前記第１の軸に沿った第１の調整量を決定し、前記色度図における補正値の黒体放射カーブからの距離が一定に保たれるように前記補正値と前記第１の調整量とに応じて前記第２の軸に沿った第２の調整量を決定し、前記第１の調整量と前記第２の調整量とに応じて前記補正値を黒体放射カーブに沿った方向に調整し、調整された補正値に応じて前記画像のホワイトバランスを補正する補正手段と、
を備えたことを特徴とする画像処理装置。
【請求項２】
前記指定手段は、前記色度図における黒体放射カーブに直交する方向に前記補正値を調整するための第２の指定値をさらに受け付け、
前記記憶手段は、複数の第２の指定値とそれぞれ前記第２の軸に沿った複数の第３の調整量とが対応付けられた第２の調整情報をさらに記憶し、
前記補正手段は、前記指定手段により受け付けられた第２の指定値と前記第２の調整情報とに応じて前記第２の軸に沿った第３の調整量を決定し、前記第３の調整量に応じて前記補正値を黒体放射カーブに直交する方向に調整する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記色度図における黒体放射カーブの前記補正値と前記第１の調整量とに対応した部分の傾きを求める第２の計算手段をさらに備え、
前記記憶手段は、複数の第２の指定値と複数の傾きとそれぞれ前記第１の軸に沿った複数の第４の調整量とが対応付けられた第３の調整情報をさらに記憶し、
前記補正手段は、前記指定手段により受け付けられた第２の指定値と前記第２の計算手段により求められた傾きと前記第３の調整情報とに応じて前記第１の軸に沿った第４の調整量を決定し、前記第３の調整量と前記第４の調整量とに応じて前記補正値を黒体放射カーブに直交する方向に調整する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
黒体放射カーブに沿った方向と黒体放射カーブに直交する方向とを２つの軸とするウィンドウを前記補正値を示すアイコンとともに表示手段に表示させる表示制御手段をさらに備えた
ことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
画像のホワイトバランスの補正値を求める第１の計算手段と、
第１の軸と前記第１の軸に直交する第２の軸とを有する色度図における黒体放射カーブに沿った方向に前記補正値を調整するための指定値を受け付ける指定手段と、
前記色度図における前記補正値の前記第１の軸方向の座標を求める第２の計算手段と、
複数の色温度とそれぞれ複数の前記第１の軸方向の座標とが対応付けられた対応情報を記憶する記憶手段と、
前記対応情報に応じて前記補正値の前記第１の軸方向の座標を色温度に変換し、前記色温度をミレッド値にさらに変換した後、前記指定手段により受け付けられた指定値に応じて前記ミレッド値に対する調整量を決定し、前記調整量に応じて前記ミレッド値を調整し、調整されたミレッド値を調整された色温度に変換し、前記対応情報に応じて前記調整された色温度を調整された補正値の座標に変換した後、調整された補正値の前記第１の軸方向の座標に応じて前記画像のホワイトバランスを補正する補正手段と、
を備えたことを特徴とする画像処理装置。
【請求項６】
撮像手段と、
前記撮像手段により取得された画像を処理する請求項１から５のいずれか１項に記載の画像処理装置と、
を備えたことを特徴とする撮像装置。
【請求項７】
第１の計算手段が、画像のホワイトバランスの補正値を求める第１の計算工程と、
指定手段が、第１の軸と前記第１の軸に直交する第２の軸とを有する色度図における黒体放射カーブに沿った方向に前記補正値を調整するための指定値を受け付ける指定工程と、
記憶手段が、複数の指定値とそれぞれ前記第１の軸に沿った複数の第１の調整量とが対応付けられた調整情報を記憶する記憶工程と、
補正手段が、前記指定手段により受け付けられた指定値と前記調整情報とに応じて前記第１の軸に沿った第１の調整量を決定し、前記色度図における補正値の黒体放射カーブからの距離が一定に保たれるように前記補正値と前記第１の調整量とに応じて前記第２の軸に沿った第２の調整量を決定し、前記第１の調整量と前記第２の調整量とに応じて前記補正値を黒体放射カーブに沿った方向に調整し、調整された補正値を用いて前記画像のホワイトバランスを補正する補正工程と、
を備えたことを特徴とする画像処理方法。
【請求項８】
コンピュータを、
画像のホワイトバランスの補正値を求める第１の計算手段と、
第１の軸と前記第１の軸に直交する第２の軸とを有する色度図における黒体放射カーブに沿った方向に前記補正値を調整するための指定値を受け付ける指定手段と、
複数の指定値とそれぞれ前記第１の軸に沿った複数の第１の調整量とが対応付けられた調整情報を記憶する記憶手段と、
前記指定手段により受け付けられた指定値と前記調整情報とに応じて前記第１の軸に沿った第１の調整量を決定し、前記色度図における補正値の黒体放射カーブからの距離が一定に保たれるように前記補正値と前記第１の調整量とに応じて前記第２の軸に沿った第２の調整量を決定し、前記第１の調整量と前記第２の調整量とに応じて前記補正値を黒体放射カーブに沿った方向に調整し、調整された補正値を用いて前記画像のホワイトバランスを補正する補正手段と、
として機能させるためのプログラム。
【請求項１】
画像のホワイトバランスの補正値を求める第１の計算手段と、
第１の軸と前記第１の軸に直交する第２の軸とを有する色度図における黒体放射カーブに沿った方向に前記補正値を調整するための指定値を受け付ける指定手段と、
複数の指定値とそれぞれ前記第１の軸に沿った複数の第１の調整量とが対応付けられた調整情報を記憶する記憶手段と、
前記指定手段により受け付けられた指定値と前記調整情報とに応じて前記第１の軸に沿った第１の調整量を決定し、前記色度図における補正値の黒体放射カーブからの距離が一定に保たれるように前記補正値と前記第１の調整量とに応じて前記第２の軸に沿った第２の調整量を決定し、前記第１の調整量と前記第２の調整量とに応じて前記補正値を黒体放射カーブに沿った方向に調整し、調整された補正値に応じて前記画像のホワイトバランスを補正する補正手段と、
を備えたことを特徴とする画像処理装置。
【請求項２】
前記指定手段は、前記色度図における黒体放射カーブに直交する方向に前記補正値を調整するための第２の指定値をさらに受け付け、
前記記憶手段は、複数の第２の指定値とそれぞれ前記第２の軸に沿った複数の第３の調整量とが対応付けられた第２の調整情報をさらに記憶し、
前記補正手段は、前記指定手段により受け付けられた第２の指定値と前記第２の調整情報とに応じて前記第２の軸に沿った第３の調整量を決定し、前記第３の調整量に応じて前記補正値を黒体放射カーブに直交する方向に調整する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記色度図における黒体放射カーブの前記補正値と前記第１の調整量とに対応した部分の傾きを求める第２の計算手段をさらに備え、
前記記憶手段は、複数の第２の指定値と複数の傾きとそれぞれ前記第１の軸に沿った複数の第４の調整量とが対応付けられた第３の調整情報をさらに記憶し、
前記補正手段は、前記指定手段により受け付けられた第２の指定値と前記第２の計算手段により求められた傾きと前記第３の調整情報とに応じて前記第１の軸に沿った第４の調整量を決定し、前記第３の調整量と前記第４の調整量とに応じて前記補正値を黒体放射カーブに直交する方向に調整する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
黒体放射カーブに沿った方向と黒体放射カーブに直交する方向とを２つの軸とするウィンドウを前記補正値を示すアイコンとともに表示手段に表示させる表示制御手段をさらに備えた
ことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
画像のホワイトバランスの補正値を求める第１の計算手段と、
第１の軸と前記第１の軸に直交する第２の軸とを有する色度図における黒体放射カーブに沿った方向に前記補正値を調整するための指定値を受け付ける指定手段と、
前記色度図における前記補正値の前記第１の軸方向の座標を求める第２の計算手段と、
複数の色温度とそれぞれ複数の前記第１の軸方向の座標とが対応付けられた対応情報を記憶する記憶手段と、
前記対応情報に応じて前記補正値の前記第１の軸方向の座標を色温度に変換し、前記色温度をミレッド値にさらに変換した後、前記指定手段により受け付けられた指定値に応じて前記ミレッド値に対する調整量を決定し、前記調整量に応じて前記ミレッド値を調整し、調整されたミレッド値を調整された色温度に変換し、前記対応情報に応じて前記調整された色温度を調整された補正値の座標に変換した後、調整された補正値の前記第１の軸方向の座標に応じて前記画像のホワイトバランスを補正する補正手段と、
を備えたことを特徴とする画像処理装置。
【請求項６】
撮像手段と、
前記撮像手段により取得された画像を処理する請求項１から５のいずれか１項に記載の画像処理装置と、
を備えたことを特徴とする撮像装置。
【請求項７】
第１の計算手段が、画像のホワイトバランスの補正値を求める第１の計算工程と、
指定手段が、第１の軸と前記第１の軸に直交する第２の軸とを有する色度図における黒体放射カーブに沿った方向に前記補正値を調整するための指定値を受け付ける指定工程と、
記憶手段が、複数の指定値とそれぞれ前記第１の軸に沿った複数の第１の調整量とが対応付けられた調整情報を記憶する記憶工程と、
補正手段が、前記指定手段により受け付けられた指定値と前記調整情報とに応じて前記第１の軸に沿った第１の調整量を決定し、前記色度図における補正値の黒体放射カーブからの距離が一定に保たれるように前記補正値と前記第１の調整量とに応じて前記第２の軸に沿った第２の調整量を決定し、前記第１の調整量と前記第２の調整量とに応じて前記補正値を黒体放射カーブに沿った方向に調整し、調整された補正値を用いて前記画像のホワイトバランスを補正する補正工程と、
を備えたことを特徴とする画像処理方法。
【請求項８】
コンピュータを、
画像のホワイトバランスの補正値を求める第１の計算手段と、
第１の軸と前記第１の軸に直交する第２の軸とを有する色度図における黒体放射カーブに沿った方向に前記補正値を調整するための指定値を受け付ける指定手段と、
複数の指定値とそれぞれ前記第１の軸に沿った複数の第１の調整量とが対応付けられた調整情報を記憶する記憶手段と、
前記指定手段により受け付けられた指定値と前記調整情報とに応じて前記第１の軸に沿った第１の調整量を決定し、前記色度図における補正値の黒体放射カーブからの距離が一定に保たれるように前記補正値と前記第１の調整量とに応じて前記第２の軸に沿った第２の調整量を決定し、前記第１の調整量と前記第２の調整量とに応じて前記補正値を黒体放射カーブに沿った方向に調整し、調整された補正値を用いて前記画像のホワイトバランスを補正する補正手段と、
として機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１１−４０９７５（Ｐ２０１１−４０９７５Ａ）
【公開日】平成２３年２月２４日（２０１１．２．２４）
【国際特許分類】
【出願番号】特願２００９−１８６１５４（Ｐ２００９−１８６１５４）
【出願日】平成２１年８月１０日（２００９．８．１０）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２３年２月２４日（２０１１．２．２４）
【国際特許分類】
【出願日】平成２１年８月１０日（２００９．８．１０）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]