画像撮影装置、画像撮影方法、画像処理装置、および画像処理方法
【課題】スミア補正の誤補正による画像の劣化が抑えられた画像撮影装置等を提供する。
【解決手段】画像撮影装置において、撮像素子１２０によって生成された画像信号からスミア成分を検出するとともにスミア領域を検出するスミア検出部１０２と、撮像素子によって生成された画像信号のうちの、スミア領域からスミア成分を減算することによりスミア補正を行うスミア補正部１０９と、スミア補正部によりスミア補正された画像信号のホワイトバランス調整を行うホワイトバランス調整部１０３と、ホワイトバランス調整部により調整された画像信号に対し、画像の中のスミア領域を構成する各画素のうち、スミア成分を含まないグレー成分が仮にスミア補正およびホワイトバランス調整により変換された場合に得られる色を含む特定色範囲内にある画素の色をグレーに近づける色低減処理を行う色低減部１０４とを備える。
【解決手段】画像撮影装置において、撮像素子１２０によって生成された画像信号からスミア成分を検出するとともにスミア領域を検出するスミア検出部１０２と、撮像素子によって生成された画像信号のうちの、スミア領域からスミア成分を減算することによりスミア補正を行うスミア補正部１０９と、スミア補正部によりスミア補正された画像信号のホワイトバランス調整を行うホワイトバランス調整部１０３と、ホワイトバランス調整部により調整された画像信号に対し、画像の中のスミア領域を構成する各画素のうち、スミア成分を含まないグレー成分が仮にスミア補正およびホワイトバランス調整により変換された場合に得られる色を含む特定色範囲内にある画素の色をグレーに近づける色低減処理を行う色低減部１０４とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像撮影装置、画像撮影方法、画像処理装置、および画像処理方法に関し、特にスミア現象に対応した画像撮影装置、画像撮影方法、画像処理装置、および画像処理方法に関する。
【背景技術】
【０００２】
デジタルカメラやビデオカメラに代表される画像撮影装置には、画像信号を生成する撮像素子としてＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）撮像素子が広く採用されている。ＣＣＤ撮像素子を使った画像撮影装置によって被写体を撮影する場合に、例えば太陽やライトといった高輝度の被写体を撮影すると、撮影された画像に、画面縦方向に延びる明るい帯状の線が現れる。これはスミア現象と呼ばれている。スミア現象は、ＣＣＤ撮像素子内の各画素に対応した素子で生じた電荷信号を、垂直転送路を介して転送して読み出す際に、強い光を受けた素子の電荷がスミア成分として垂直転送路に溢れ出すことによって生じる。
【０００３】
スミア現象による帯状の線（以降、単にスミアと称する）は、通常、色に対するＣＣＤ撮像素子の感度や画像調整の影響を受け、色を有しているのが普通である。例えば、ＲＧＢのカラーフィルタを採用したＣＣＤ撮像素子は一般的に緑に対して高い感度を有しているため、標準光源下における撮影の場合、ＣＣＤ撮像素子によって生成された画像信号に対しホワイトバランス調整で緑の成分を抑えることにより、通常の画像における色のバランスを保っている。一方、ＣＣＤ撮像素子で画像信号に含まれるスミア成分は、通常、各色について等しい量であるが、画像信号に対する上記ホワイトバランス調整によって緑成分が抑えられる結果、スミア現象により生じる線は紫がかったものとなる。
【０００４】
デジタルカメラの中でも、機械式シャッタを用いて静止画撮影する機種であれば、スミアがない静止画を撮影することが可能である。しかし、機械式シャッタを有さないデジタルカメラの場合や、機械式シャッタを備えたデジタルカメラでも、スルー画と称される動画を表示する場合、そして、ビデオカメラによる動画撮影の場合にはスミア現象の発生を避けることが困難である。
【０００５】
ここで、画像からスミアを除去するために、ＣＣＤ撮像素子から読み出された信号から画面上におけるスミアの位置、およびスミア成分の量を検出し、検出した位置の信号から、スミア成分の量を減算することで、最終的に得られる画像中のスミアを除去する技術が知られている（例えば、引用文献１〜９）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００４−１５６５３号公報
【特許文献２】特開２００６−１２８８８２号公報
【特許文献３】特開２００６−２１１３６８号公報
【特許文献４】特開２００８−８５８５５号公報
【特許文献５】特開２００８−４２７４９号公報
【特許文献６】特開２００７−１８９５４４号公報
【特許文献７】特開２００７−１１６３３４号公報
【特許文献８】特開２００５−５１６３４号公報
【特許文献９】特開２００２−２７１８０２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
スミア成分の検出と補正は、ＣＣＤ撮像素子から順次読み出されるフレームまたはフィールドに対し実行されるが、スミアの検出からスミアの補正までには遅延があるため、例えば動く被写体を撮影する場合に、補正の時点でもはやスミアが含まれていない位置に対してスミア補正を行う誤補正が生じることがある。誤補正の場合には、スミアがもはや存在しない位置にスミア補正が行われることによって、スミアとは別の線が現れることととなる。誤補正によって現れる線は、ホワイトバランス調整の結果、スミアの色に対する補色を有する。例えば、スミア成分の量は各色につき均等であるとして、スミア補正（誤補正）によって各色の信号値から均等の量が減算されると、緑色に対応する減算量は、ホワイトバランス調整によって目減りする。すなわち、緑色の成分は赤および青に比べて減算量が少ない。このため、例えば被写体が色の無いグレーの場合に、誤補正の結果として、緑がかった線が現れることとなる。
【０００８】
このように、誤補正が生じると、不自然な色の線が現れる。また、このような問題は、スミアが含まれていない位置に対してスミア補正を行う場合だけでなく、例えばスミアの量を多く見積もったことによる誤補正（過補正）にも生じ得る。
【０００９】
本発明は上記問題点を解決し、スミア補正の誤補正による画像の劣化が抑えられた画像撮影装置、画像撮影方法、画像処理装置、および画像処理方法を提供することを目的とするものである。
【課題を解決するための手段】
【００１０】
上記目的を達成する本発明の画像撮影装置は、
被写体光を受光してこの被写体を表わす画像信号を生成する撮像素子と、
上記撮像素子によって生成された画像信号からスミア成分を検出するとともにこの画像信号により表される画像内においてこのスミア成分が含まれたスミア領域を検出するスミア検出部と、
上記撮像素子によって生成された画像信号のうちの、上記スミア領域に対応する部分からスミア成分を減算することによりスミア補正を行うスミア補正部と、
上記スミア補正部によりスミア補正された画像信号に対し、この画像信号により表される画像のホワイトバランス調整を行うホワイトバランス調整部と、
上記ホワイトバランス調整部により調整された画像信号に対し、この画像信号により表される画像の中の上記スミア領域を構成する各画素のうち、スミア成分を含まないグレー成分が仮にスミア補正およびホワイトバランス調整により変換された場合に得られる色を含む特定色範囲内にある画素の色をグレーに近づける色低減処理を行う色低減部とを備えたことを特徴とする。
【００１１】
本発明の画像撮影装置では、スミア領域を構成する各画素のうち、スミア成分を含まないグレー成分が仮にスミア補正およびホワイトバランス調整により変換された場合に得られる色は、グレーに近づける色低減処理が施されるため、例えばスミア成分を含まない部分に誤補正がなされた場合であっても、本来グレーの部分について誤補正により生じた色が低減されるため、誤補正により生じる画像の劣化が抑えられる。
【００１２】
ここで、上記本発明の画像撮影装置において、上記ホワイトバランス調整部が、上記撮像素子によって生成された画像信号に基づいたホワイトバランス調整量を決定し、この画像信号を、決定したホワイトバランス調整量だけ調整するものであり、
上記色低減部が、上記ホワイトバランス調整部におけるホワイトバランス調整量に応じて、上記特定色範囲を決定するものであることが好ましい。
【００１３】
スミア補正の誤補正により本来グレーの領域に生じる色は、光源の種類に応じたホワイトバランス調整量によって異なる。ホワイトバランス調整量に応じて、特定色範囲が決定することにより、光源の種類に応じた適切な色低減処理が実行される。
【００１４】
また、上記本発明の画像撮影装置は、上記撮像素子によって順次生成された複数の画像を表わす画像信号を比較することによってこの画像上の被写体の動きを検出する動き検出部を更に備え、
上記色低減部が、上記動き検出部による動きが検出された場合に上記色低減処理を行うものであることが好ましい。
【００１５】
スミア補正の誤補正は、被写体が動いている場合に特に生じやすい、そこで、色低減処理を動きが検出された場合に行うことにより、被写体が動いていない場合に処理負担を低減するとともに、被写体が動いて誤補正が生じる可能性がある場合に効率よく色低減処理を実行する。
【００１６】
また、上記目的を達成する本発明の画像撮影方法は、撮像素子に被写体光を受光させてこの被写体を表わす画像信号を生成させる撮像ステップと、
上記撮像ステップで生成された画像信号からスミア成分を検出するとともにこの画像信号により表される画像内においてこのスミア成分が含まれたスミア領域を検出するスミア検出ステップと、
上記撮像素子によって生成された画像信号のうちの、上記スミア領域に対応する部分からスミア成分を減算することによりスミア補正を行うスミア補正ステップと、
上記スミア補正ステップによりスミア補正された画像信号に対し、この画像信号により表される画像のホワイトバランス調整を行うホワイトバランス調整ステップと、
上記ホワイトバランス調整ステップにより調整された画像信号に対し、この画像信号により表される画像の中の上記スミア領域を構成する各画素のうち、スミア成分を含まないグレー成分が仮にスミア補正およびホワイトバランス調整により変換された場合に得られる色を含む特定色範囲内にある画素の色をグレーに近づける色低減処理を行う色低減ステップとを備えたことを特徴とする。
【００１７】
また、上記本発明の画像撮影方法において、上記撮像素子によって生成された画像信号に基づいたホワイトバランス調整量を決定し、この画像信号を、決定したホワイトバランス調整量だけ調整するものであり、
上記色低減ステップが、上記ホワイトバランス調整ステップにおけるホワイトバランス調整量に応じて、上記特定色範囲を決定するものであることが好ましい。
【００１８】
また、上記本発明の画像撮影方法は、上記撮像素子によって順次生成された複数の画像を表わす画像信号を比較することによってこの画像上の被写体の動きを検出する動き検出ステップを更に備え、
上記色成分低減ステップが、上記動き検出ステップによる動きが検出された場合に上記色低減処理を行うものであることが好ましい。
【００１９】
また、上記目的を達成する本発明の画像処理装置は、
画像を表わす画像信号からスミア成分を検出するとともにこの画像信号により表される画像内においてこのスミア成分が含まれたスミア領域を検出するスミア検出部と、
上記画像信号のうちの、上記スミア領域に対応する部分からスミア成分を減算することによりスミア補正を行うスミア補正部と、
上記スミア補正部によりスミア補正された画像信号に対し、この画像信号により表される画像のホワイトバランス調整を行うホワイトバランス調整部と、
上記ホワイトバランス調整部により調整された画像信号に対し、この画像信号により表される画像の中の上記スミア領域を構成する各画素のうち、スミア成分を含まないグレー成分が仮にスミア補正およびホワイトバランス調整により変換された場合に得られる色を含む特定色範囲内にある画素の色をグレーに近づける色低減処理を行う色低減部とを備えたことを特徴とする。
【００２０】
また、上記目的を達成する本発明の画像処理方法は、
画像を表わす画像信号からスミア成分を検出するとともにこの画像信号により表される画像内においてこのスミア成分が含まれたスミア領域を検出するスミア検出ステップと、
上記画像信号のうちの、上記スミア領域に対応する部分からスミア成分を減算することによりスミア補正を行うスミア補正ステップと、
上記スミア補正ステップによりスミア補正された画像信号に対し、この画像信号により表される画像のホワイトバランス調整を行うホワイトバランス調整ステップと、
上記ホワイトバランス調整ステップにより調整された画像信号に対し、この画像信号により表される画像の中の上記スミア領域を構成する各画素のうち、スミア成分を含まないグレー成分が仮にスミア補正およびホワイトバランス調整により変換された場合に得られる色を含む特定色範囲内にある画素の色をグレーに近づける色低減処理を行う色低減ステップとを備えたことを特徴とする。
【発明の効果】
【００２１】
以上説明したように、本発明によれば、スミア補正の誤補正による画像の劣化が抑えられた画像撮影装置、画像撮影方法、画像処理装置、および画像処理方法が実現する。
【図面の簡単な説明】
【００２２】
【図１】本発明の画像撮影装置の第１実施形態であるデジタルカメラの外観を示す図である。
【図２】図１に示すデジタルカメラの内部の構成を示すブロック図である。
【図３】撮像素子から読み出された画像の例を示す図である。
【図４】図２に示すデジタルカメラの内部構成のうち、スミア補正に関連するブロックと信号の主要な流れを示すブロック図である。
【図５】太陽光におけるグレーの被写体部分を撮影した画像信号の処理を説明する表である。
【図６】スミア現象が発生した場合の画像信号の例を示す表である。
【図７】誤補正がなされた場合の画像信号の値を示す表である。
【図８】太陽光以外の光源時におけるホワイトバランスゲインの代表値を示す表である。
【図９】太陽光以外の光源時におけるグレーの被写体部分を撮影した画像信号の処理を説明する表である。
【図１０】太陽光以外の光源時においてスミア現象が発生した場合の画像信号の例を示す表である。
【図１１】太陽光以外の光源時において誤補正がなされた場合の画像信号の値を示す表である。
【図１２】誤補正がなされた場合にグレーの部分が変化する画像信号のＣｒおよびＣｂの値を光源時の種類ごとに表したグラフである。
【図１３】色低減部が色の低減を行う対象とする特定色範囲を示す図である。
【図１４】デジタルカメラにおける処理の概要を示すフローチャートである。
【図１５】第２実施形態のデジタルカメラの内部の構成を示すブロック図である。
【図１６】図１５に示すデジタルカメラの内部構成のうち、スミア補正に関連するブロックと信号の主要な流れを示すブロック図である。
【図１７】第２実施形態のデジタルカメラにおける処理の概要を示すフローチャートである。
【発明を実施するための形態】
【００２３】
以下図面を参照して本発明の実施の形態を説明する。
【００２４】
図１は、本発明の画像撮影装置の第１実施形態であるデジタルカメラの外観を示す図である。図１（ａ）には、デジタルカメラ１を正面から見た図が示されており、図１（ｂ）には、デジタルカメラ１を背面から見た図が示されている。
【００２５】
図１（ａ）に示すように、ボディ１ａの中央には撮影レンズ１１０１が備えられており、その撮影レンズ１１０１の右斜め上方には発光窓１９０Ａが備えられている。さらにボディ１ａ上面にはレリーズボタン１０ａなどが備えられている。また、図１（ｂ）に示すように、ボディ１ａ背面には表示画面１２５Ａが備えられており、その表示画面１２５Ａの隣にはメニューを表示画面１２５Ａ上に表示するときに操作されるＭＥＮＵ／ＯＫキー１０ｂやそのメニュー内のいずれかの項目を選択するときに操作される十字キー１０ｃや、表示画面１２５Ａを非表示にしたり表示にしたりする時に操作されるＤＩＳＰ／ＢＡＣＫボタン１０ｄや表示画面１２５Ａ上に既撮影画像を再生表示するときに操作される再生釦１０ｅやズームスイッチ１０ｆやキャンセルキー１０ｇなどの操作子が備えられている。尚以降においては、これらの操作子をまとめて操作子群１０と記載することがある。
【００２６】
図２は、図１に示すデジタルカメラの内部の構成を示すブロック図である。
【００２７】
図２に示すデジタルカメラ１は、画像の撮影を担う撮像部Ｓ、デジタルカメラ１の動作を統括的に制御するＣＰＵ１００、撮影補助光を発光するフラッシュ１３０、フラッシュ１３０に電源を供給する充電部１３１、画像を表示するＬＣＤ１４０、ＬＣＤ１４０の信号中継を担うＬＣＤＩ／Ｆ１４１、データを一時記憶するＲＡＭ１０６、プログラムが記憶されたＲＯＭ１０７、メモリＩ／Ｆ１０５、画像信号が最終的に記憶されるメモリカード１５０、外部メモリＩ／Ｆ１５１、および、操作子群１０を備えている。また、デジタルカメラ１には、デジタル化された画像信号に対し画像処理を行う画像処理部Ｄと、画像信号の圧縮・伸張処理を行う圧縮伸張処理部１０８も備えられている。画像処理部Ｄは、スミア検出部１０２、スミア補正部１０９、ホワイトバランス調整部１０３、および色低減部１０４を備えている。
【００２８】
本実施形態のデジタルカメラ１の動作は、ＣＰＵ１００によって統括的に制御されている。ＣＰＵ１００には、バスＢおよびメモリインターフェース（メモリＩ／Ｆ）１０５を介してＲＡＭ１０６およびＲＯＭ１０７が接続されている。ＲＯＭ１０７内にプログラムが書き込まれている。本実施形態のデジタルカメラ１においては電源が投入されたことを受けてＣＰＵ１００がそのＲＯＭ１０７にメモリＩ／Ｆ１０５を介してアクセスして内部のプログラムの手順にしたがってこのデジタルカメラ１の動作の制御を開始する。
【００２９】
撮像部Ｓは、光学ユニット１１０、モータ駆動部１０１、撮像素子１２０、タイミングジェネレータ１２１、アナログ信号処理部１２３、ＡＤコンバータ（ＡＤＣ）１２４、および、画像入力インターフェース（画像入力Ｉ／Ｆ）１２５を有している。光学ユニット１１０は、撮影レンズ１１０１や絞りを有しており、光学ユニット１１０の撮影レンズ１１０１で捉えられている被写体が撮像素子１２０に結像される。このときには、フォーカスと露出が調整された被写体光を撮像素子１２０に結像させる必要があるので、ＣＰＵ１００によってモータ駆動部１０１が制御され、光学ユニット１１０内の絞りの径が変更され露出調節が行なわれるとともに、撮影レンズのフォーカス位置が調整されることによりピント調整が行なわれる。また、光学ユニット１１０は、被写体光を制限するための図示しない機械式シャッタも備えており、静止画撮影時のスミア現象を防止している。
【００３０】
撮像素子１２０は、光学ユニット１１０の撮影レンズで結像されてなる被写体光を受光して被写体を表わす画像信号を生成する。本明細書では、画像信号により表される被写体の画像を、信号上の画像、また単に画像とも称する。本実施形態において、撮像素子１２０は、ＣＣＤイメージセンサである。撮像素子１２０は、矩形状の領域に２次元配列された、図示しない多数のフォトダイオードや、垂直転送路および水平転送路とを有しており、フォトダイオードのそれぞれに光量に応じて蓄積された電荷の信号を、垂直転送路および水平転送路によって垂直方向および水平方向に順次転送することにより、画像信号を出力する。本実施形態において、フォトダイオードのそれぞれは赤（Ｒ）緑（Ｇ）青（Ｂ）のいずれかの色に対応しており、撮像素子１２０は、画像の画素単位ごとにＲＧＢ各色に対応した信号を出力する。また、矩形状の領域に配置されたフォトダイオードのうち、矩形の一辺に配置されたフォトダイオードは、遮光材で覆われており被写体光を受光せず、通常は黒レベルの信号を出力する。
【００３１】
アナログ信号処理部１２３は、撮像素子１２０から出力された画像信号を受けてノイズ低減処理といったアナログ信号処理を行う。
【００３２】
ＡＤＣ１２４は、アナログ信号処理部１２３処理が行われた画像信号をデジタル信号の画像信号に変換する。変換された画像信号は、画像入力Ｉ／Ｆ１２５によってバスＢに導かれる。
【００３３】
タイミングジェネレータ１２１は、撮像素子１２０に対し、画像信号を読み出すためのタイミング信号を供給する。撮像素子１２０は、タイミングジェネレータ１２１から供給されるタイミング信号に応じて画像信号を出力する。
【００３４】
図１に示すデジタルカメラにおいては、表示画面１２５Ａがファインダ代わりに用いられる。したがって、表示画面１２５Ａ上に動画を表示するため、電源が投入されたときにＣＰＵ１００は、およびタイミングジェネレータ１２１に指示して、所定の間隔ごとに撮像素子１２０に１画面（１フレーム）分の画像を生成させてはアナログ信号処理部１２３へと画像信号を出力させている。撮像素子１２０から、アナログ信号処理部１２３、Ａ／Ｄ１２２、画像入力Ｉ／Ｆ１２５を経てバスＢ上に導かれた画像信号は、まずＲＡＭ１０６にすべて転送される。この後、画像信号は、スミア検出部１０２、スミア補正部１０９、ホワイトバランス調整部１０３、および色低減部１０４を経た後、ＬＣＤＩ／Ｆ１４１を介してＬＣＤ１４０に転送される。この結果、ＬＣＤ１４０には画像信号に基づく画像が表示される。ＣＰＵ１００は、前述した様に撮像素子１２０に所定の間隔ごとに画像を生成させては出力させているので、ＬＣＤ１４０には光学ユニット１１０が捉えている被写体像（以降スルー画という）が動画として表示される。
【００３５】
ホワイトバランス調整部１０３は、撮像素子１２０における色の感度特性や、光源の種類によって変わる画像の色調を補正し、光源にかかわらず白さが同じに見えるようにする。より詳細には、ホワイトバランス調整部１０３は、撮像素子１２０で生成された画像を解析し光源の色調を推定することによって補正係数すなわちゲインを決定し、画像信号のＲＧＢ各成分の値に補正係数を乗じることによって補正を行う。また、本実施形態のホワイトバランス調整部１０３は、画像信号の階調を調整するためのガンマ補正、およびＲＧＢ色空間からＹＣｒＣｂ色空間への色空間変換も行う。スミア検出部１０２およびスミア補正部１０９は、画像中のスミア検出およびスミア補正を行う。色低減部１０４は、スミア補正部１０９による誤補正（過補正を含む）の影響を低減する。スミア検出部１０２、およびスミア補正部１０９、および色低減部１０４の詳細については後述する。
【００３６】
図１に示すデジタルカメラにおいて、ＬＣＤ１４０上のスルー画を見ながらシャッタチャンスにレリーズボタン１０ａが押されると、まずレリーズボタン１０ａが半押しされたときにＣＰＵ１００が測光および測距を行ってモータ駆動部１０１に指示して絞りの径を調節させるとともにフォーカスレンズを合焦位置に移動させてピント調整を行わせる。
【００３７】
続いてレリーズボタン１０ａが全押しされたときにＣＰＵ１００は、半押し時に予め算出しておいたシャッタ速度でタイミングジェネレータ１２１に指示して撮像素子１２０に露光を行わせ、露光終了後に被写体を表わす画像信号をアナログ信号処理部１２３へと出力させる。
【００３８】
撮像素子１２０から出力された画像信号がアナログ信号処理部１２３へ供給されると、アナログ信号処理部１２３ではノイズ低減処理などが行なわれ、ＡＤＣ１２４でデジタル信号に変換された画像信号がバスＢ上に導かれ、バスに導かれた画像信号がＲＡＭ１０６にすべて導かれる。
【００３９】
ＲＡＭ１０６に記憶された画像信号は、今度はバスＢを経由して圧縮伸張処理部１０８に転送される。圧縮伸張処理部１０８は、画像信号に対し圧縮処理を施す。圧縮処理された画像信号は外部メモリＩ／Ｆ１５１に転送されメモリカード１５０に記録される。
【００４０】
図１に示すデジタルカメラにおいて、撮像素子１２０はＣＣＤ撮像素子であり、撮像素子１２０の一部が強い光を受けた場合には、その光を受けたフォトダイオードから溢れた電荷が垂直転送路を転送中の電荷に加わるスミア現象が発生する。撮像素子１２０において、遮光材で覆われたフォトダイオードは通常、黒レベルの信号を出力するが、スミア現象の影響は他のフォトダイオードと同様に受けるため、スミアに対応する電荷の値が出力される。
【００４１】
図３は、撮像素子から読み出された画像の例を示す図である。ここに示されているのは、グレーの背景に自動車が配された被写体を表わす画像である。
【００４２】
図３に示された画像１６０は、撮像素子１２０の矩形領域に対応して、撮像素子１２０から出力された画像信号の状態を表わしている。矩形の下辺には、遮光されたフォトダイオードの信号に対応した黒レベル部分１６１がある。また、画像１６０にはスミア１６２が現れている。スミア１６２は、黒レベル部分１６１にも現れる。スミア検出部１０２およびスミア補正部１０９は、スミアの検出および補正を行う。
【００４３】
図４は、図２に示すデジタルカメラの内部構成のうち、スミア補正に関連するブロックと信号の流れを示すブロック図である。
【００４４】
撮像素子１２０で生成された画像信号は、アナログ信号処理部１２３でアナログ処理を受け、ＡＤＣ１２４でデジタル変換された後、スミア検出部１０２とスミア補正部１０９に供給される。スミア検出部１０２は、供給された画像信号からスミア成分を検出するとともに画像信号が表わす画像内においてスミア成分が含まれたスミア領域を検出する。検出結果はＣＰＵ１００に供給される。一方、スミア補正部１０９では検出結果に基づいてスミア補正が行われ、スミア補正された画像信号はホワイトバランス調整部１０３、および色低減部１０４による処理を経てＬＣＤ１４０に表示される。なお、図４では、画像入力Ｉ／Ｆ１２５、ＲＡＭ１０６、およびＬＣＤ Ｉ／Ｆ１４１は省略されている。また、図４に示す、スミア検出部１０２、スミア補正部１０９、ホワイトバランス調整部１０３、および色低減部１０４の組合せが本発明の画像処理装置の一実施形態にも相当している。
【００４５】
まず、スミア補正の処理について説明する前に、撮像素子で生成される信号の値とホワイトバランス調整部における値の調整について説明する。
【００４６】
図５は、太陽光におけるグレーの被写体部分を撮影した画像信号の処理を説明する表である。
【００４７】
本実施形態の撮像素子１２０はＲＧＢのカラーフィルタを使用しており、緑に対して高い感度を有している。このため、標準光源として太陽光下における撮影の場合、ＣＣＤ撮像素子によって生成された画像信号に対しホワイトバランス調整で緑の成分を抑えることにより、画像における色のバランスが保たれている。図５に示す例では、緑に対する感度は赤や青に対する感度に比べ２倍であり、この場合、ホワイトバランス調整部１０３における補正係数であるホワイトバランスゲイン（ＷＢゲイン）は、赤、緑、青について２、１、２であり、赤および青のゲインは緑のゲインの２倍である（Ｒ／Ｇ＝２、Ｂ／Ｇ＝２）。図５に示すように、標準の明るさを有するグレーの被写体（例えば図３における背景のうちの点ｐ１）のある画素について、撮像素子１２０からは赤、緑、青の各色について１４ｂｉｔ値として、３０００、６０００、３０００の値が出力される。これらの値は、ホワイトバランス調整部１０３で各色のＷＢゲインが乗算されると、赤、緑、青の値は全て６０００になる。このようにして、画像のホワイトバランス調整が行われる。この後、ガンマ係数を２．２としたガンマ補正と８ビット変換によって、赤、緑、青の値はすべて１６０になり、色空間変換処理によって、Ｙ＝１６０、Ｃｒ＝０、そしてＣｂ＝０の値が生成される。ここでＹは画像の輝度を表わし、Ｃｒは赤についての色成分を表わし、Ｃｂは青についての色成分を表わす。色成分ＣｒおよびＣｂのそれぞれは０を中心として正負の値をとり得る。上記変換後の値は、Ｃｒ＝０およびＣｂ＝０であり、色成分が無いグレーを表わしている。
【００４８】
図６は、スミア現象が発生した場合の画像信号の例を示す表である。
【００４９】
スミアは通常、撮像素子で生成される信号のうち赤、緑、青の各色について均等に加算される。例えば図３におけるグレーの背景のうちの点ｐ２にはスミアが現れている。ここで例えば、スミア成分として、赤、緑、青に１０００が加算されると、撮像素子から出力される赤、緑、青の信号値は、４０００、７０００、４０００となる。なお、遮光材で覆われた部分（図３における点ｐ３）については、本来の黒レベルの信号値（例えば０）に、スミア成分が加わった値（例えば１０００）が出力される。
【００５０】
図６に示すように、グレーの部分にスミアが加わり、赤、緑、青の値は、４０００、７０００、４０００となった場合、ホワイトバランス調整によって、赤、青の値が緑の値の２倍に調整されると、赤、緑、青の値は、８０００、７０００、８０００となる。ガンマ補正および色空間変換の結果、輝度成分Ｙの値は１７６となり、色成分Ｃｒ，Ｃｂの値はともに６．６となる。Ｃｒ，Ｃｂの値がともに正の値であり、画像に現れるスミアは紫がかったものであることを意味する。
【００５１】
続いて、スミアの補正と誤補正について説明する。
【００５２】
スミア検出部１０２は、この部分の画像における位置および値から、画像内においてスミア成分が含まれたスミア領域を検出する。検出は、画像の黒レベル部分の信号値に基づいて行う。例えば、図３に示す黒レベル部分１６１における信号値のうち、通常の黒レベルの値とはことなり所定の閾値を超える部分にスミアがあると判定し、黒レベルを超える量がスミア成分の量であるとする。また、スミア検出部１０２は、黒レベル部分１６１のスミアが検出された部分Ｐ３を含んだ、画像１６０を縦に延びる帯状の領域をスミア領域１６２ａと判定する。スミア領域およびスミア成分の量の情報は、ＣＰＵ１００に供給される。スミア補正部１０９は、ＣＰＵ１００の制御に基づき、スミア領域およびスミア成分の量の情報に応じたスミア補正を行う。具体的には、スミア補正部１０９は、撮像素子１２０で生成された画像のうちの、スミア領域からスミア成分を減算することによりスミア補正を行う。スミア補正が適正に行われれば、スミアが除去された画像が得られることとなる。
【００５３】
例えば、被写体が動かない場合のように、あるフレームの画像におけるスミア成分およびスミア領域がそれ以前のフレームの画像信号から検出されたものと一致する場合には、スミア成分は適切に除去される。例えば、図６に示すように、グレーの部分にスミア成分としての値１０００が加わり、４０００、７０００、４０００となった赤、緑、青の値から、検出に応じて１０００の値が減算された場合には、値が３０００、６０００、３０００となり、図５に示すスミア無しの場合と同じ値に回復される。
【００５４】
しかし、スミア検出部１０２によるスミア成分の検出からスミア補正部１０９による補正までは遅延がある。つまり、スミア検出部１０２による検出結果は、検出対象となったフレームの画像よりも後で生成されたフレームの画像に対する補正に反映される。このため、スミアの位置が、検知したフレームにおける位置からずれていた場合には、スミアの無い位置にスミア補正がなされる誤補正が生じる。
【００５５】
図７は、誤補正がなされた場合の画像信号の値を示す表である。
【００５６】
図７の例では、標準の明るさを有するグレーの被写体に対して、撮像素子１２０によって生成される値が３０００、６０００、３０００であった場合に（図５参照）、この部分がスミアが検出されたとしてスミア成分の値として１０００が減算されると、スミア補正後の値は、図７に示すように、赤、緑、青の各色について、２０００，５０００，２０００となる。この値は、ホワイトバランス調整部１０３によるホワイトバランス調整によって、４０００，５０００，４０００となる。この値の、ガンマ補正およびＹＣＣ色空間への色空間変換の結果、Ｙの値は１４１となり、ＣｒおよびＣｂの値はともにー９となる。Ｃｒ，Ｃｂの値がともに負の値であり、スミア誤補正の結果は、緑がかった線として現れることとなる。
【００５７】
このように、スミア成分を含まないグレーを表す値に対し、誤補正によるスミア補正とホワイトバランス調整が行われると、緑色の値となる。したがって、画像には、本来グレーの部分に緑色の帯状の線が現れることとなる。
【００５８】
そこで、色低減部１０４は、誤補正により生じる線の色をグレーに近づける色低減処理を行う。具体的には、色低減部１０４は、スミア成分を含まないグレー成分が仮にスミア補正およびホワイトバランス調整により変換された場合に得られる色を含む特定色範囲内にある画素の色をグレーに近づける処理を行う。より詳細には、画像のうちの、スミア補正部１０９によってスミア補正が行われたスミア領域に対応する画像信号のうち、グレー成分が仮にスミア補正およびホワイトバランス調整により変換された場合に得られる緑色を含む特定色範囲内にある画素の色成分を減ずる。特定色範囲は、例えば、正負の値をとり得る色成分ＣｒおよびＣｂに対し、緑を含んだ、Ｃｒが負の値でかつＣｂも負の値となる範囲とする。また、減ずる割合としては、例えば１／２である。例えば図７の表を参照して説明した例では、ＣｒおよびＣｂの値９が、係数１／２を乗算することによってー４．５となり、色の彩度が低減する。このため、誤補正の結果生じる線の緑の色が弱められ、誤補正による画像の劣化が抑えられる。
【００５９】
なお、図５，６，７の表では、被写体を照らす光の光源が標準光（太陽光）の場合を説明したが、本実施形態のデジタルカメラ１は、ホワイトバランス調整部１０３におけるゲインが標準光の場合に固定されるものではなく、いわゆるオートホワイトバランス機能を有している。すなわち、撮像素子１２０によって生成された画像信号に基づいたホワイトバランス調整量を決定し、画像信号のホワイトバランスを、決定したホワイトバランス調整量だけ調整している。また、色低減部１０４は、ホワイトバランス調整部１０３におけるホワイトバランス調整量に応じて、特定色範囲を決定する。
【００６０】
図８は、太陽光以外の光源時におけるホワイトバランスゲインの代表値を示す表である。
【００６１】
図８の表に示すように、例えば、光源の種類が電球の場合には、光源からの光の青の成分が少ないため、ホワイトバランス調整における青のＷＢゲインは、赤および緑のＷＢゲインの４倍（Ｒ／Ｇ＝１，Ｂ／Ｇ＝４）となる。また、水中の撮影では、ホワイトバランス調整における赤のＷＢゲインが緑および青のＷＢゲインの４倍となる（Ｒ／Ｇ＝４，Ｂ／Ｇ＝１）。また、光源の種類が水銀灯の場合には、赤および青のゲインが緑のＷＢゲインの４倍となり（Ｒ／Ｇ＝４，Ｂ／Ｇ＝４）、紫系の特殊光源では、緑のＷＢゲインが赤および青のＷＢゲインの２倍となる（Ｒ／Ｇ＝０．５，Ｂ／Ｇ＝０．５）。なお、図８に示すＷＢゲインの値は典型例であって、ＷＢゲインは撮像素子１２０で生成された画像の解析結果による。ここで、ＷＢゲインは本発明にいうホワイトバランス調整量の一例に相当する。
【００６２】
図９は、太陽光以外の光源時におけるグレーの被写体部分を撮影した画像信号の処理を説明する表である。
【００６３】
図９に示すように、光源の種類が太陽光以外の場合には、撮像素子１２０によって生成される、グレーの被写体に対応した画像信号は、光源に応じた赤、緑、青の値を有しているが、図４に示したＷＢゲインに応じたホワイトバランス調整によって、最終的には、Ｙの値が１６０となり、ＣｒおよびＣｂの値が０となる。すなわち、グレーを表す値に統一される。
【００６４】
この一方、スミアの色は決定されたＷＢゲインによって異なるものとなる。そして、スミア補正が過補正となった場合に、本来グレーの部分に過補正によって生じる線の色もまた、決定されたＷＢゲインによって異なるものとなる。
【００６５】
図１０は、太陽光以外の光源時においてスミア現象が発生した場合の画像信号の例を示す表である。また、図１１は、太陽光以外の光源時において誤補正がなされた場合の画像信号の値を示す表である。
【００６６】
例えば、光源の種類が電球の場合には、図１０に示すように、本来グレーの部分はスミア現象によってＹの値が１７５．２となり、Ｃｒの値がー３．２となり、Ｃｂの値が２８．８となる。つまり、スミアはシアンの色を有する。また、図１０に示すように、誤補正の場合には、グレーの部分は、Ｙの値が１４１．６であり、Ｃｒの値が５．４であり、Ｃｂの値がー４８．６となる。つまり黄色になる。この他の種類の光源についても、誤補正の結果、被写体のグレーの部分には、ＷＢゲインに応じた色の線が現れる。
【００６７】
図１２は、誤補正がなされた場合にグレーの部分が変化する画像信号のＣｒおよびＣｂの値を光源時の種類ごとに表したグラフである。
【００６８】
図１２に示すグラフでは、ＹＣｒＣｂ空間における画像信号の値Ｙ，Ｃｒ，Ｃｂのうち、Ｃｒ成分すなわち赤についての成分が横軸に表わされ、Ｃｂ成分すなわち青についての成分が縦軸に表わされている。グラフにおけるＣｒ＝０かつＣｂ＝０の位置、すなわちグラフの原点は、色が無いすなわちグレーを意味する。なお、グレーの明度はＹの値で決定されることとなる。また、グラフの第１象限（Ｃｒ＞０，Ｃｂ＞０）は、紫がかった色の範囲であり、第２象限（Ｃｒ＜０，Ｃｂ＞０）は、シアンの範囲であり、第３象限（Ｃｒ＜０，Ｃｂ＜０）は、緑がかった色の範囲であり、第４象限（Ｃｒ＞０，Ｃｂ＜０）は、黄色がかった色の範囲である。
【００６９】
上述したようにＷＢゲインが変化するため、誤補正の結果、グレーの部分に生じる色は様々な範囲に分布する。例えば、太陽光および水銀灯の場合は緑となり、電球の場合は黄色となり、水中の場合はシアンとなり、特殊光源の場合は紫となる。
【００７０】
そこで、色低減部１０４は、ホワイトバランス調整部におけるホワイトバランス調整量に応じて、色の低減を行う対象となる特定色範囲を決定している。より詳細には、特定色範囲は、画像信号をＹＣｒＣｂ色空間における値に変換した場合に、Ｃｒ軸Ｃｂ軸がなす平面において、スミア成分を含まないグレー成分が仮にスミア補正およびホワイトバランス調整により変換された場合に得られる色の座標位置を含む象限を選択することで決定される。
【００７１】
図１３は、色低減部が色の低減を行う対象とする特定色範囲を示す図である。
【００７２】
色低減部１０４は、例えば、図５に示すように赤と青のホワイトバランスゲインが緑のものに比べて大きい（Ｒ／Ｇ＞１，Ｂ／Ｇ＞１）場合には、誤補正の結果、グレーの部分に生じる色はＣｒ＜０かつＣｂ＜０の第３象限に含まれる。このとき、特定色範囲は、第１〜第４象限のうち緑を含む範囲である第３象限Ｗ３（Ｃｒ＜０かつＣｂ＜０）とする。また、電球のように、青のホワイトバランスゲインが緑および赤に比べて大きい場合には、誤補正の結果、グレーの部分に生じる色は第４象限Ｗ４（Ｃｒ＞０，Ｃｂ＜０）に含まれる。このとき、特定色範囲は、第１〜第４象限のうち黄色を含む範囲である第４象限（Ｃｒ＞０，Ｃｂ＜０）とする。
【００７３】
色低減部１０４は、画像信号の色成分Ｃｒ，Ｃｂが特定色範囲にある場合に、色成分Ｃｒ，Ｃｂを低減して、色をグレーに近づける。
【００７４】
このように、オートホワイトバランスのホワイトバランス調整量に応じて、特定色範囲Ｗ１〜Ｗ４が決定することにより、光源の種類に応じた適切な色低減処理が実行される。
【００７５】
ここで、デジタルカメラ１におけるスミア補正関連の処理を説明する。
【００７６】
図１４は、デジタルカメラにおける処理の概要を示すフローチャートである。図１４には、デジタルカメラ１のスルー画表示において、撮像素子によって生成された画像信号のスミア補正に関連する処理が示されている。
【００７７】
デジタルカメラ１では、撮像素子１２０の撮像処理によって被写体を表わす画像信号が生成される（ステップＳ１１）。撮像素子１２０は、スルー画を表示させるためフレームを表す画像信号を定期的に生成する。したがって、図１４のフローチャートは繰り返し実行されることとなる。
【００７８】
次に、スミア検出部１０２が、上記ステップＳ１１で生成された画像からスミア成分およびスミア領域を検出する（ステップＳ１３）。このステップの処理でスミア成分が検出された場合には（ステップＳ１４でＹ）、スミア補正部１０９が撮像素子１２０によって生成された画像信号のうちのスミア領域からスミア成分を減算することによりスミア補正を行う（ステップＳ１５）。
【００７９】
この後、ホワイトバランス調整部１０３が、画像に基づいたホワイトバランス調整量を決定し、画像のホワイトバランス調整処理を行う（ステップＳ１６）。
【００８０】
次に、色低減部１０４が、色低減処理を行う特定色範囲を決定する。特定色範囲は、色空間において色低減処理の対象となる色の範囲である。より具体的には、特定色範囲は、スミア成分を含まないグレー成分が仮にスミア補正およびホワイトバランス調整により変換された場合に得られる色を含む範囲である。つまり、特定色範囲はホワイトバランス調整量に応じて決定される。本実施形態では、特定色範囲は、画像信号をＹＣｒＣｂ色空間における値に変換した場合に、Ｃｒ軸Ｃｂ軸がなす平面において、スミア成分を含まないグレー成分が仮にスミア補正およびホワイトバランス調整により変換された場合に得られる色の値Ｃｒ、Ｃｂを含む象限を選択することで決定される。特定色範囲は、より詳細には、赤（Ｒ）、緑（Ｇ）、青（Ｂ）各色のホワイトバランス（ＷＢ）ゲインについて、Ｒ／ＧおよびＢ／Ｇのそれぞれの値が所定の閾値ｒａｔｅ１，ｒａｔｅ２，ｒａｔｅ３よりも大きいか否かによって決定される。ここで、ｒａｔｅ１，ｒａｔｅ２，ｒａｔｅ３の値は例えば１であり、値は１であるとして説明する。
【００８１】
ステップＳ１７〜Ｓ１９の判定において、Ｒ／Ｇ＞ｒａｔｅ１であり、かつ、Ｂ／Ｇ＞ｒａｔｅ２である場合（ステップＳ１７でＹ，Ｓ１８でＹ）、つまりＲおよびＢのゲインがＧに比べて大きい場合には、特定色範囲は図１３に示すＷ３、つまりＣｒ＜０，Ｃｂ＜０の範囲に決定される（ステップＳ２１）。また、Ｒ／Ｇ＞ｒａｔｅ１であり、かつ、Ｂ／Ｇ＞ｒａｔｅ２でない場合（ステップＳ１７でＹ，Ｓ１８でＮ）、つまりＲのゲインがＧに比べて大きく、ＢのゲインがＧに比べて小さい場合には、特定色範囲は図１３に示すＷ２、つまりＣｒ＜０，Ｃｂ＞０の範囲に決定される（ステップＳ２２）。また、Ｒ／Ｇ＞ｒａｔｅ１でなく、かつ、Ｂ／Ｇ＞ｒａｔｅ３である場合（ステップＳ１７でＮ，Ｓ１８でＹ）、つまりＲのゲインがＧに比べて小さく、ＢのゲインがＧに比べて大きい場合には、特定色範囲は図１３に示すＷ４、つまりＣｒ＞０，Ｃｂ＜０の範囲に決定される（ステップＳ２３）。また、Ｒ／Ｇ＞ｒａｔｅ１でなく、かつ、Ｂ／Ｇ＞ｒａｔｅ３でない場合（ステップＳ１７でＮ，Ｓ１８でＮ）、つまりＲおよびＢのゲインがＧに比べて小さい場合には、特定色範囲は図１３に示すＷ１、つまりＣｒ＞０，Ｃｂ＞０の範囲に決定される（ステップＳ２４）。
【００８２】
例えば太陽光下の撮影では、ホワイトバランス調整部１０３は、画像信号から、ホワイトバランス調整量を、Ｒ／Ｇ＞１、Ｂ／Ｇ＞１となる値に決定する。この場合、ステップＳ１７〜Ｓ１９の判定において、ステップＳ１７でＹ，ステップＳ１８でＹと判定された結果ステップＳ２１で、特定色範囲が、図１３に示すＷ３、つまりＣｒ＜０，Ｃｂ＜０の範囲に決定される（ステップＳ２１）。
【００８３】
特定色範囲を決定した後、色低減部１０４が特定色補正の処理を実行する（ステップＳ２５）。色低減部１０４は、ステップＳ１５のスミア補正、およびステップＳ１６のホワイトバランス調整が実行された画像のうちスミア補正がなされたスミア領域を構成する各画素のうち、ＹＣｒＣｂ色空間における特定色範囲内にある画素の色をグレーに近づける色低減処理を行う。より詳細には、特定色範囲内にある画素の色成分であるＣｒ，Ｃｂの値に、０より大きく１以下の係数、例えば１／２を乗じて、値を低減する。
【００８４】
このステップＳ２５により、誤補正の結果生じる線の色が低減し、誤補正による画像の劣化が抑えられる。
【００８５】
この後、画像信号は、ＬＣＤ１４０に送られ、スルー画が表示される（ステップＳ２７）。なお、上記ステップＳ１４でスミアが検出されない場合には（ステップＳ１４でＮ）、スミア補正や色低減処理は実行されず、ホワイトバランス調整部１０３が、画像信号のホワイトバランス調整処理を行う（ステップＳ２６）。
【００８６】
図１４のフローチャートに示す処理が本発明の画像撮影方法の一実施形態に相当し、このフローチャートのうちステップＳ１３以降の処理が本発明の画像処理方法の一実施形態に相当する。
【００８７】
次に、本発明の第２実施形態について説明する。以下の第２実施形態の説明にあたっては、これまで説明してきた実施形態における各要素と同一の要素には同一の符号を付けて示し、前述の実施形態との相違点について説明する。
【００８８】
図１５は、第２実施形態のデジタルカメラの内部の構成を示すブロック図である。
【００８９】
第２実施形態のデジタルカメラ２は、動き検出部１７０をさらに備えた点が、第１実施形態のデジタルカメラ１と異なる。
【００９０】
動き検出部１７０は、撮像素子１２０によって順次生成された複数の画像を比較することによって画像上の被写体の動きを検出する。より詳細には、先に生成された画像のうちの特定の部分と一致する部分が、後で生成された画像のどこにあるかを検索することによって、画像上の被写体の動きを検出する。
【００９１】
スミア補正の誤補正は、被写体そのもの特に高輝度となる部分が動くことや、デジタルカメラを構える位置や向きが変動することによって、被写体が動く場合に特に発生しやすい。
【００９２】
第２実施形態のデジタルカメラ２では、被写体の動きを検出しない場合には色低減処理を実行しないことによって処理負担の低減を図し、画像上の被写体の動きを検出した場合に色低減処理を行い、効率よく色低減処理を実行する。
【００９３】
図１６は、図１５に示すデジタルカメラの内部構成のうち、スミア補正に関連するブロックと信号の主要な流れを示すブロック図である。
【００９４】
撮像素子１２０で生成され、アナログ信号処理部１２３、ＡＤＣ１２４を経た画像の信号は、スミア検出部１０２とスミア補正部１０９に加え、動き検出部１７０にも供給される。動き検出部１７０で被写体の動きの検出結果はＣＰＵ１００に供給され、ＣＰＵ１００は、検出結果に応じて色低減部１０４の動作を制御する。
【００９５】
図１７は、第２実施形態のデジタルカメラにおける処理の概要を示すフローチャートである。
【００９６】
第２実施形態のデジタルカメラ２における処理は、図１４に示す処理に対し、動き検出を行う点（ステップＳ３１，３２）が異なる。スミア補正の処理（ステップＳ１５）およびホワイトバランス調整の処理（ステップＳ１６）に続いて、動き検出部１７０が動き検出を行う（ステップＳ３１）。動き検出部１７０によって動きが検出された場合には（ステップＳ３２でＹ）、図１４で説明した特定色範囲の設定（ステップＳ１７〜２４）および特定色補正（ステップＳ２５）を実行する。この一方、動き検出部１７０によって動きが検出されない場合には（ステップＳ３２でＮ）、特定色補正は実行しない。
【００９７】
このように第２実施形態のデジタルカメラ２では、被写体の動きを検出しない場合には色低減処理を実行しないことによって処理負担の低減を図し、画像上の被写体の動きを検出した場合に色低減処理を行い、効率よく色低減処理を実行する。
【００９８】
なお、上述した実施形態では、本発明にいう画像撮影装置の例として、デジタルカメラを示したが、本発明はこれに限られるものではなく、例えば、ビデオカメラであってもよい。
【００９９】
また、上述した実施形態では、本発明にいう画像処理装置および画像処理方法の例として、撮像素子によって生成された画像信号を直ちに処理するデジタルカメラを説明したが、本発明はこれに限られるものではなく、例えば、メモリ等記憶装置に記憶された画像信号の処理に適用するものであってもよい。
【０１００】
また、上述した実施形態では、本発明にいうスミア補正および色低減処理の例として、スルー画として表示する画像に対する処理を示したが、本発明はこれに限られるものではなく、例えば、機械式シャッターを具備しない場合の記録用画像信号に対する処理に応用してもよい。
【０１０１】
また、上述した実施形態では、本発明にいう色低減処理の対象となる特定色範囲の例として、ＹＣｒＣｂ色空間におけるＣｒ＞０か否か、およびＣｂ＞０か否かによって分かれる４つの範囲のいずれかを特定色範囲とする場合を示したが、本発明はこれに限られるものではなく、例えば、Ｃｒ＞αかあるいはＣｒ＜−α（αは正の実数）であるか、および、Ｃｒ＞βかあるいはＣｒ＜−β（ベータは正の実数）であるかで区切られる範囲から選択するものであってもよく、また、範囲は、色空間上での特定の条件による境界により囲まれた範囲であってもよい。
【０１０２】
また、上述した実施形態では、本発明にいう色低減処理の例として、Ｃｒ，Ｃｂの値を１／２とする処理を示したが、本発明はこれに限られるものではなく、例えば、処理としては、０〜１の範囲のいずれかの値を乗ずるものであってもよい。
【０１０３】
また、上述した実施形態では、本発明にいう色低減部の例として、ホワイトバランス調整部におけるオートホワイトバランスのホワイトバランス調整量に応じて、特定色範囲を決定する例を示したが、本発明はこれに限られるものではなく、例えば、オートホワイトバランスを備えず、例えば、特定色範囲が、標準光源を前提とした固定されたものであってもよい。
【０１０４】
また、上述した実施形態では、スミア検出部１０２、スミア補正部１０９、ホワイトバランス調整部１０３、および色低減部１０４を独立したブロックとして説明したが、本発明はこれに限られるものではなく、各部の処理は、例えばＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）に代表されるプロセッサとプログラムの協同により実行されるものであってもよい。
【符号の説明】
【０１０５】
１，２ デジタルカメラ
１０２ スミア検出部
１０３ ホワイトバランス調整部
１０４ 色低減部
１０８ 圧縮伸張処理部
１０９ スミア補正部
１２０ 撮像素子
１２１ タイミングジェネレータ
１２３ アナログ信号処理部
１７０ 動き検出部
Ｗ１，Ｗ２，Ｗ３，Ｗ４ 特定色範囲
【技術分野】
【０００１】
本発明は、画像撮影装置、画像撮影方法、画像処理装置、および画像処理方法に関し、特にスミア現象に対応した画像撮影装置、画像撮影方法、画像処理装置、および画像処理方法に関する。
【背景技術】
【０００２】
デジタルカメラやビデオカメラに代表される画像撮影装置には、画像信号を生成する撮像素子としてＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）撮像素子が広く採用されている。ＣＣＤ撮像素子を使った画像撮影装置によって被写体を撮影する場合に、例えば太陽やライトといった高輝度の被写体を撮影すると、撮影された画像に、画面縦方向に延びる明るい帯状の線が現れる。これはスミア現象と呼ばれている。スミア現象は、ＣＣＤ撮像素子内の各画素に対応した素子で生じた電荷信号を、垂直転送路を介して転送して読み出す際に、強い光を受けた素子の電荷がスミア成分として垂直転送路に溢れ出すことによって生じる。
【０００３】
スミア現象による帯状の線（以降、単にスミアと称する）は、通常、色に対するＣＣＤ撮像素子の感度や画像調整の影響を受け、色を有しているのが普通である。例えば、ＲＧＢのカラーフィルタを採用したＣＣＤ撮像素子は一般的に緑に対して高い感度を有しているため、標準光源下における撮影の場合、ＣＣＤ撮像素子によって生成された画像信号に対しホワイトバランス調整で緑の成分を抑えることにより、通常の画像における色のバランスを保っている。一方、ＣＣＤ撮像素子で画像信号に含まれるスミア成分は、通常、各色について等しい量であるが、画像信号に対する上記ホワイトバランス調整によって緑成分が抑えられる結果、スミア現象により生じる線は紫がかったものとなる。
【０００４】
デジタルカメラの中でも、機械式シャッタを用いて静止画撮影する機種であれば、スミアがない静止画を撮影することが可能である。しかし、機械式シャッタを有さないデジタルカメラの場合や、機械式シャッタを備えたデジタルカメラでも、スルー画と称される動画を表示する場合、そして、ビデオカメラによる動画撮影の場合にはスミア現象の発生を避けることが困難である。
【０００５】
ここで、画像からスミアを除去するために、ＣＣＤ撮像素子から読み出された信号から画面上におけるスミアの位置、およびスミア成分の量を検出し、検出した位置の信号から、スミア成分の量を減算することで、最終的に得られる画像中のスミアを除去する技術が知られている（例えば、引用文献１〜９）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００４−１５６５３号公報
【特許文献２】特開２００６−１２８８８２号公報
【特許文献３】特開２００６−２１１３６８号公報
【特許文献４】特開２００８−８５８５５号公報
【特許文献５】特開２００８−４２７４９号公報
【特許文献６】特開２００７−１８９５４４号公報
【特許文献７】特開２００７−１１６３３４号公報
【特許文献８】特開２００５−５１６３４号公報
【特許文献９】特開２００２−２７１８０２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
スミア成分の検出と補正は、ＣＣＤ撮像素子から順次読み出されるフレームまたはフィールドに対し実行されるが、スミアの検出からスミアの補正までには遅延があるため、例えば動く被写体を撮影する場合に、補正の時点でもはやスミアが含まれていない位置に対してスミア補正を行う誤補正が生じることがある。誤補正の場合には、スミアがもはや存在しない位置にスミア補正が行われることによって、スミアとは別の線が現れることととなる。誤補正によって現れる線は、ホワイトバランス調整の結果、スミアの色に対する補色を有する。例えば、スミア成分の量は各色につき均等であるとして、スミア補正（誤補正）によって各色の信号値から均等の量が減算されると、緑色に対応する減算量は、ホワイトバランス調整によって目減りする。すなわち、緑色の成分は赤および青に比べて減算量が少ない。このため、例えば被写体が色の無いグレーの場合に、誤補正の結果として、緑がかった線が現れることとなる。
【０００８】
このように、誤補正が生じると、不自然な色の線が現れる。また、このような問題は、スミアが含まれていない位置に対してスミア補正を行う場合だけでなく、例えばスミアの量を多く見積もったことによる誤補正（過補正）にも生じ得る。
【０００９】
本発明は上記問題点を解決し、スミア補正の誤補正による画像の劣化が抑えられた画像撮影装置、画像撮影方法、画像処理装置、および画像処理方法を提供することを目的とするものである。
【課題を解決するための手段】
【００１０】
上記目的を達成する本発明の画像撮影装置は、
被写体光を受光してこの被写体を表わす画像信号を生成する撮像素子と、
上記撮像素子によって生成された画像信号からスミア成分を検出するとともにこの画像信号により表される画像内においてこのスミア成分が含まれたスミア領域を検出するスミア検出部と、
上記撮像素子によって生成された画像信号のうちの、上記スミア領域に対応する部分からスミア成分を減算することによりスミア補正を行うスミア補正部と、
上記スミア補正部によりスミア補正された画像信号に対し、この画像信号により表される画像のホワイトバランス調整を行うホワイトバランス調整部と、
上記ホワイトバランス調整部により調整された画像信号に対し、この画像信号により表される画像の中の上記スミア領域を構成する各画素のうち、スミア成分を含まないグレー成分が仮にスミア補正およびホワイトバランス調整により変換された場合に得られる色を含む特定色範囲内にある画素の色をグレーに近づける色低減処理を行う色低減部とを備えたことを特徴とする。
【００１１】
本発明の画像撮影装置では、スミア領域を構成する各画素のうち、スミア成分を含まないグレー成分が仮にスミア補正およびホワイトバランス調整により変換された場合に得られる色は、グレーに近づける色低減処理が施されるため、例えばスミア成分を含まない部分に誤補正がなされた場合であっても、本来グレーの部分について誤補正により生じた色が低減されるため、誤補正により生じる画像の劣化が抑えられる。
【００１２】
ここで、上記本発明の画像撮影装置において、上記ホワイトバランス調整部が、上記撮像素子によって生成された画像信号に基づいたホワイトバランス調整量を決定し、この画像信号を、決定したホワイトバランス調整量だけ調整するものであり、
上記色低減部が、上記ホワイトバランス調整部におけるホワイトバランス調整量に応じて、上記特定色範囲を決定するものであることが好ましい。
【００１３】
スミア補正の誤補正により本来グレーの領域に生じる色は、光源の種類に応じたホワイトバランス調整量によって異なる。ホワイトバランス調整量に応じて、特定色範囲が決定することにより、光源の種類に応じた適切な色低減処理が実行される。
【００１４】
また、上記本発明の画像撮影装置は、上記撮像素子によって順次生成された複数の画像を表わす画像信号を比較することによってこの画像上の被写体の動きを検出する動き検出部を更に備え、
上記色低減部が、上記動き検出部による動きが検出された場合に上記色低減処理を行うものであることが好ましい。
【００１５】
スミア補正の誤補正は、被写体が動いている場合に特に生じやすい、そこで、色低減処理を動きが検出された場合に行うことにより、被写体が動いていない場合に処理負担を低減するとともに、被写体が動いて誤補正が生じる可能性がある場合に効率よく色低減処理を実行する。
【００１６】
また、上記目的を達成する本発明の画像撮影方法は、撮像素子に被写体光を受光させてこの被写体を表わす画像信号を生成させる撮像ステップと、
上記撮像ステップで生成された画像信号からスミア成分を検出するとともにこの画像信号により表される画像内においてこのスミア成分が含まれたスミア領域を検出するスミア検出ステップと、
上記撮像素子によって生成された画像信号のうちの、上記スミア領域に対応する部分からスミア成分を減算することによりスミア補正を行うスミア補正ステップと、
上記スミア補正ステップによりスミア補正された画像信号に対し、この画像信号により表される画像のホワイトバランス調整を行うホワイトバランス調整ステップと、
上記ホワイトバランス調整ステップにより調整された画像信号に対し、この画像信号により表される画像の中の上記スミア領域を構成する各画素のうち、スミア成分を含まないグレー成分が仮にスミア補正およびホワイトバランス調整により変換された場合に得られる色を含む特定色範囲内にある画素の色をグレーに近づける色低減処理を行う色低減ステップとを備えたことを特徴とする。
【００１７】
また、上記本発明の画像撮影方法において、上記撮像素子によって生成された画像信号に基づいたホワイトバランス調整量を決定し、この画像信号を、決定したホワイトバランス調整量だけ調整するものであり、
上記色低減ステップが、上記ホワイトバランス調整ステップにおけるホワイトバランス調整量に応じて、上記特定色範囲を決定するものであることが好ましい。
【００１８】
また、上記本発明の画像撮影方法は、上記撮像素子によって順次生成された複数の画像を表わす画像信号を比較することによってこの画像上の被写体の動きを検出する動き検出ステップを更に備え、
上記色成分低減ステップが、上記動き検出ステップによる動きが検出された場合に上記色低減処理を行うものであることが好ましい。
【００１９】
また、上記目的を達成する本発明の画像処理装置は、
画像を表わす画像信号からスミア成分を検出するとともにこの画像信号により表される画像内においてこのスミア成分が含まれたスミア領域を検出するスミア検出部と、
上記画像信号のうちの、上記スミア領域に対応する部分からスミア成分を減算することによりスミア補正を行うスミア補正部と、
上記スミア補正部によりスミア補正された画像信号に対し、この画像信号により表される画像のホワイトバランス調整を行うホワイトバランス調整部と、
上記ホワイトバランス調整部により調整された画像信号に対し、この画像信号により表される画像の中の上記スミア領域を構成する各画素のうち、スミア成分を含まないグレー成分が仮にスミア補正およびホワイトバランス調整により変換された場合に得られる色を含む特定色範囲内にある画素の色をグレーに近づける色低減処理を行う色低減部とを備えたことを特徴とする。
【００２０】
また、上記目的を達成する本発明の画像処理方法は、
画像を表わす画像信号からスミア成分を検出するとともにこの画像信号により表される画像内においてこのスミア成分が含まれたスミア領域を検出するスミア検出ステップと、
上記画像信号のうちの、上記スミア領域に対応する部分からスミア成分を減算することによりスミア補正を行うスミア補正ステップと、
上記スミア補正ステップによりスミア補正された画像信号に対し、この画像信号により表される画像のホワイトバランス調整を行うホワイトバランス調整ステップと、
上記ホワイトバランス調整ステップにより調整された画像信号に対し、この画像信号により表される画像の中の上記スミア領域を構成する各画素のうち、スミア成分を含まないグレー成分が仮にスミア補正およびホワイトバランス調整により変換された場合に得られる色を含む特定色範囲内にある画素の色をグレーに近づける色低減処理を行う色低減ステップとを備えたことを特徴とする。
【発明の効果】
【００２１】
以上説明したように、本発明によれば、スミア補正の誤補正による画像の劣化が抑えられた画像撮影装置、画像撮影方法、画像処理装置、および画像処理方法が実現する。
【図面の簡単な説明】
【００２２】
【図１】本発明の画像撮影装置の第１実施形態であるデジタルカメラの外観を示す図である。
【図２】図１に示すデジタルカメラの内部の構成を示すブロック図である。
【図３】撮像素子から読み出された画像の例を示す図である。
【図４】図２に示すデジタルカメラの内部構成のうち、スミア補正に関連するブロックと信号の主要な流れを示すブロック図である。
【図５】太陽光におけるグレーの被写体部分を撮影した画像信号の処理を説明する表である。
【図６】スミア現象が発生した場合の画像信号の例を示す表である。
【図７】誤補正がなされた場合の画像信号の値を示す表である。
【図８】太陽光以外の光源時におけるホワイトバランスゲインの代表値を示す表である。
【図９】太陽光以外の光源時におけるグレーの被写体部分を撮影した画像信号の処理を説明する表である。
【図１０】太陽光以外の光源時においてスミア現象が発生した場合の画像信号の例を示す表である。
【図１１】太陽光以外の光源時において誤補正がなされた場合の画像信号の値を示す表である。
【図１２】誤補正がなされた場合にグレーの部分が変化する画像信号のＣｒおよびＣｂの値を光源時の種類ごとに表したグラフである。
【図１３】色低減部が色の低減を行う対象とする特定色範囲を示す図である。
【図１４】デジタルカメラにおける処理の概要を示すフローチャートである。
【図１５】第２実施形態のデジタルカメラの内部の構成を示すブロック図である。
【図１６】図１５に示すデジタルカメラの内部構成のうち、スミア補正に関連するブロックと信号の主要な流れを示すブロック図である。
【図１７】第２実施形態のデジタルカメラにおける処理の概要を示すフローチャートである。
【発明を実施するための形態】
【００２３】
以下図面を参照して本発明の実施の形態を説明する。
【００２４】
図１は、本発明の画像撮影装置の第１実施形態であるデジタルカメラの外観を示す図である。図１（ａ）には、デジタルカメラ１を正面から見た図が示されており、図１（ｂ）には、デジタルカメラ１を背面から見た図が示されている。
【００２５】
図１（ａ）に示すように、ボディ１ａの中央には撮影レンズ１１０１が備えられており、その撮影レンズ１１０１の右斜め上方には発光窓１９０Ａが備えられている。さらにボディ１ａ上面にはレリーズボタン１０ａなどが備えられている。また、図１（ｂ）に示すように、ボディ１ａ背面には表示画面１２５Ａが備えられており、その表示画面１２５Ａの隣にはメニューを表示画面１２５Ａ上に表示するときに操作されるＭＥＮＵ／ＯＫキー１０ｂやそのメニュー内のいずれかの項目を選択するときに操作される十字キー１０ｃや、表示画面１２５Ａを非表示にしたり表示にしたりする時に操作されるＤＩＳＰ／ＢＡＣＫボタン１０ｄや表示画面１２５Ａ上に既撮影画像を再生表示するときに操作される再生釦１０ｅやズームスイッチ１０ｆやキャンセルキー１０ｇなどの操作子が備えられている。尚以降においては、これらの操作子をまとめて操作子群１０と記載することがある。
【００２６】
図２は、図１に示すデジタルカメラの内部の構成を示すブロック図である。
【００２７】
図２に示すデジタルカメラ１は、画像の撮影を担う撮像部Ｓ、デジタルカメラ１の動作を統括的に制御するＣＰＵ１００、撮影補助光を発光するフラッシュ１３０、フラッシュ１３０に電源を供給する充電部１３１、画像を表示するＬＣＤ１４０、ＬＣＤ１４０の信号中継を担うＬＣＤＩ／Ｆ１４１、データを一時記憶するＲＡＭ１０６、プログラムが記憶されたＲＯＭ１０７、メモリＩ／Ｆ１０５、画像信号が最終的に記憶されるメモリカード１５０、外部メモリＩ／Ｆ１５１、および、操作子群１０を備えている。また、デジタルカメラ１には、デジタル化された画像信号に対し画像処理を行う画像処理部Ｄと、画像信号の圧縮・伸張処理を行う圧縮伸張処理部１０８も備えられている。画像処理部Ｄは、スミア検出部１０２、スミア補正部１０９、ホワイトバランス調整部１０３、および色低減部１０４を備えている。
【００２８】
本実施形態のデジタルカメラ１の動作は、ＣＰＵ１００によって統括的に制御されている。ＣＰＵ１００には、バスＢおよびメモリインターフェース（メモリＩ／Ｆ）１０５を介してＲＡＭ１０６およびＲＯＭ１０７が接続されている。ＲＯＭ１０７内にプログラムが書き込まれている。本実施形態のデジタルカメラ１においては電源が投入されたことを受けてＣＰＵ１００がそのＲＯＭ１０７にメモリＩ／Ｆ１０５を介してアクセスして内部のプログラムの手順にしたがってこのデジタルカメラ１の動作の制御を開始する。
【００２９】
撮像部Ｓは、光学ユニット１１０、モータ駆動部１０１、撮像素子１２０、タイミングジェネレータ１２１、アナログ信号処理部１２３、ＡＤコンバータ（ＡＤＣ）１２４、および、画像入力インターフェース（画像入力Ｉ／Ｆ）１２５を有している。光学ユニット１１０は、撮影レンズ１１０１や絞りを有しており、光学ユニット１１０の撮影レンズ１１０１で捉えられている被写体が撮像素子１２０に結像される。このときには、フォーカスと露出が調整された被写体光を撮像素子１２０に結像させる必要があるので、ＣＰＵ１００によってモータ駆動部１０１が制御され、光学ユニット１１０内の絞りの径が変更され露出調節が行なわれるとともに、撮影レンズのフォーカス位置が調整されることによりピント調整が行なわれる。また、光学ユニット１１０は、被写体光を制限するための図示しない機械式シャッタも備えており、静止画撮影時のスミア現象を防止している。
【００３０】
撮像素子１２０は、光学ユニット１１０の撮影レンズで結像されてなる被写体光を受光して被写体を表わす画像信号を生成する。本明細書では、画像信号により表される被写体の画像を、信号上の画像、また単に画像とも称する。本実施形態において、撮像素子１２０は、ＣＣＤイメージセンサである。撮像素子１２０は、矩形状の領域に２次元配列された、図示しない多数のフォトダイオードや、垂直転送路および水平転送路とを有しており、フォトダイオードのそれぞれに光量に応じて蓄積された電荷の信号を、垂直転送路および水平転送路によって垂直方向および水平方向に順次転送することにより、画像信号を出力する。本実施形態において、フォトダイオードのそれぞれは赤（Ｒ）緑（Ｇ）青（Ｂ）のいずれかの色に対応しており、撮像素子１２０は、画像の画素単位ごとにＲＧＢ各色に対応した信号を出力する。また、矩形状の領域に配置されたフォトダイオードのうち、矩形の一辺に配置されたフォトダイオードは、遮光材で覆われており被写体光を受光せず、通常は黒レベルの信号を出力する。
【００３１】
アナログ信号処理部１２３は、撮像素子１２０から出力された画像信号を受けてノイズ低減処理といったアナログ信号処理を行う。
【００３２】
ＡＤＣ１２４は、アナログ信号処理部１２３処理が行われた画像信号をデジタル信号の画像信号に変換する。変換された画像信号は、画像入力Ｉ／Ｆ１２５によってバスＢに導かれる。
【００３３】
タイミングジェネレータ１２１は、撮像素子１２０に対し、画像信号を読み出すためのタイミング信号を供給する。撮像素子１２０は、タイミングジェネレータ１２１から供給されるタイミング信号に応じて画像信号を出力する。
【００３４】
図１に示すデジタルカメラにおいては、表示画面１２５Ａがファインダ代わりに用いられる。したがって、表示画面１２５Ａ上に動画を表示するため、電源が投入されたときにＣＰＵ１００は、およびタイミングジェネレータ１２１に指示して、所定の間隔ごとに撮像素子１２０に１画面（１フレーム）分の画像を生成させてはアナログ信号処理部１２３へと画像信号を出力させている。撮像素子１２０から、アナログ信号処理部１２３、Ａ／Ｄ１２２、画像入力Ｉ／Ｆ１２５を経てバスＢ上に導かれた画像信号は、まずＲＡＭ１０６にすべて転送される。この後、画像信号は、スミア検出部１０２、スミア補正部１０９、ホワイトバランス調整部１０３、および色低減部１０４を経た後、ＬＣＤＩ／Ｆ１４１を介してＬＣＤ１４０に転送される。この結果、ＬＣＤ１４０には画像信号に基づく画像が表示される。ＣＰＵ１００は、前述した様に撮像素子１２０に所定の間隔ごとに画像を生成させては出力させているので、ＬＣＤ１４０には光学ユニット１１０が捉えている被写体像（以降スルー画という）が動画として表示される。
【００３５】
ホワイトバランス調整部１０３は、撮像素子１２０における色の感度特性や、光源の種類によって変わる画像の色調を補正し、光源にかかわらず白さが同じに見えるようにする。より詳細には、ホワイトバランス調整部１０３は、撮像素子１２０で生成された画像を解析し光源の色調を推定することによって補正係数すなわちゲインを決定し、画像信号のＲＧＢ各成分の値に補正係数を乗じることによって補正を行う。また、本実施形態のホワイトバランス調整部１０３は、画像信号の階調を調整するためのガンマ補正、およびＲＧＢ色空間からＹＣｒＣｂ色空間への色空間変換も行う。スミア検出部１０２およびスミア補正部１０９は、画像中のスミア検出およびスミア補正を行う。色低減部１０４は、スミア補正部１０９による誤補正（過補正を含む）の影響を低減する。スミア検出部１０２、およびスミア補正部１０９、および色低減部１０４の詳細については後述する。
【００３６】
図１に示すデジタルカメラにおいて、ＬＣＤ１４０上のスルー画を見ながらシャッタチャンスにレリーズボタン１０ａが押されると、まずレリーズボタン１０ａが半押しされたときにＣＰＵ１００が測光および測距を行ってモータ駆動部１０１に指示して絞りの径を調節させるとともにフォーカスレンズを合焦位置に移動させてピント調整を行わせる。
【００３７】
続いてレリーズボタン１０ａが全押しされたときにＣＰＵ１００は、半押し時に予め算出しておいたシャッタ速度でタイミングジェネレータ１２１に指示して撮像素子１２０に露光を行わせ、露光終了後に被写体を表わす画像信号をアナログ信号処理部１２３へと出力させる。
【００３８】
撮像素子１２０から出力された画像信号がアナログ信号処理部１２３へ供給されると、アナログ信号処理部１２３ではノイズ低減処理などが行なわれ、ＡＤＣ１２４でデジタル信号に変換された画像信号がバスＢ上に導かれ、バスに導かれた画像信号がＲＡＭ１０６にすべて導かれる。
【００３９】
ＲＡＭ１０６に記憶された画像信号は、今度はバスＢを経由して圧縮伸張処理部１０８に転送される。圧縮伸張処理部１０８は、画像信号に対し圧縮処理を施す。圧縮処理された画像信号は外部メモリＩ／Ｆ１５１に転送されメモリカード１５０に記録される。
【００４０】
図１に示すデジタルカメラにおいて、撮像素子１２０はＣＣＤ撮像素子であり、撮像素子１２０の一部が強い光を受けた場合には、その光を受けたフォトダイオードから溢れた電荷が垂直転送路を転送中の電荷に加わるスミア現象が発生する。撮像素子１２０において、遮光材で覆われたフォトダイオードは通常、黒レベルの信号を出力するが、スミア現象の影響は他のフォトダイオードと同様に受けるため、スミアに対応する電荷の値が出力される。
【００４１】
図３は、撮像素子から読み出された画像の例を示す図である。ここに示されているのは、グレーの背景に自動車が配された被写体を表わす画像である。
【００４２】
図３に示された画像１６０は、撮像素子１２０の矩形領域に対応して、撮像素子１２０から出力された画像信号の状態を表わしている。矩形の下辺には、遮光されたフォトダイオードの信号に対応した黒レベル部分１６１がある。また、画像１６０にはスミア１６２が現れている。スミア１６２は、黒レベル部分１６１にも現れる。スミア検出部１０２およびスミア補正部１０９は、スミアの検出および補正を行う。
【００４３】
図４は、図２に示すデジタルカメラの内部構成のうち、スミア補正に関連するブロックと信号の流れを示すブロック図である。
【００４４】
撮像素子１２０で生成された画像信号は、アナログ信号処理部１２３でアナログ処理を受け、ＡＤＣ１２４でデジタル変換された後、スミア検出部１０２とスミア補正部１０９に供給される。スミア検出部１０２は、供給された画像信号からスミア成分を検出するとともに画像信号が表わす画像内においてスミア成分が含まれたスミア領域を検出する。検出結果はＣＰＵ１００に供給される。一方、スミア補正部１０９では検出結果に基づいてスミア補正が行われ、スミア補正された画像信号はホワイトバランス調整部１０３、および色低減部１０４による処理を経てＬＣＤ１４０に表示される。なお、図４では、画像入力Ｉ／Ｆ１２５、ＲＡＭ１０６、およびＬＣＤ Ｉ／Ｆ１４１は省略されている。また、図４に示す、スミア検出部１０２、スミア補正部１０９、ホワイトバランス調整部１０３、および色低減部１０４の組合せが本発明の画像処理装置の一実施形態にも相当している。
【００４５】
まず、スミア補正の処理について説明する前に、撮像素子で生成される信号の値とホワイトバランス調整部における値の調整について説明する。
【００４６】
図５は、太陽光におけるグレーの被写体部分を撮影した画像信号の処理を説明する表である。
【００４７】
本実施形態の撮像素子１２０はＲＧＢのカラーフィルタを使用しており、緑に対して高い感度を有している。このため、標準光源として太陽光下における撮影の場合、ＣＣＤ撮像素子によって生成された画像信号に対しホワイトバランス調整で緑の成分を抑えることにより、画像における色のバランスが保たれている。図５に示す例では、緑に対する感度は赤や青に対する感度に比べ２倍であり、この場合、ホワイトバランス調整部１０３における補正係数であるホワイトバランスゲイン（ＷＢゲイン）は、赤、緑、青について２、１、２であり、赤および青のゲインは緑のゲインの２倍である（Ｒ／Ｇ＝２、Ｂ／Ｇ＝２）。図５に示すように、標準の明るさを有するグレーの被写体（例えば図３における背景のうちの点ｐ１）のある画素について、撮像素子１２０からは赤、緑、青の各色について１４ｂｉｔ値として、３０００、６０００、３０００の値が出力される。これらの値は、ホワイトバランス調整部１０３で各色のＷＢゲインが乗算されると、赤、緑、青の値は全て６０００になる。このようにして、画像のホワイトバランス調整が行われる。この後、ガンマ係数を２．２としたガンマ補正と８ビット変換によって、赤、緑、青の値はすべて１６０になり、色空間変換処理によって、Ｙ＝１６０、Ｃｒ＝０、そしてＣｂ＝０の値が生成される。ここでＹは画像の輝度を表わし、Ｃｒは赤についての色成分を表わし、Ｃｂは青についての色成分を表わす。色成分ＣｒおよびＣｂのそれぞれは０を中心として正負の値をとり得る。上記変換後の値は、Ｃｒ＝０およびＣｂ＝０であり、色成分が無いグレーを表わしている。
【００４８】
図６は、スミア現象が発生した場合の画像信号の例を示す表である。
【００４９】
スミアは通常、撮像素子で生成される信号のうち赤、緑、青の各色について均等に加算される。例えば図３におけるグレーの背景のうちの点ｐ２にはスミアが現れている。ここで例えば、スミア成分として、赤、緑、青に１０００が加算されると、撮像素子から出力される赤、緑、青の信号値は、４０００、７０００、４０００となる。なお、遮光材で覆われた部分（図３における点ｐ３）については、本来の黒レベルの信号値（例えば０）に、スミア成分が加わった値（例えば１０００）が出力される。
【００５０】
図６に示すように、グレーの部分にスミアが加わり、赤、緑、青の値は、４０００、７０００、４０００となった場合、ホワイトバランス調整によって、赤、青の値が緑の値の２倍に調整されると、赤、緑、青の値は、８０００、７０００、８０００となる。ガンマ補正および色空間変換の結果、輝度成分Ｙの値は１７６となり、色成分Ｃｒ，Ｃｂの値はともに６．６となる。Ｃｒ，Ｃｂの値がともに正の値であり、画像に現れるスミアは紫がかったものであることを意味する。
【００５１】
続いて、スミアの補正と誤補正について説明する。
【００５２】
スミア検出部１０２は、この部分の画像における位置および値から、画像内においてスミア成分が含まれたスミア領域を検出する。検出は、画像の黒レベル部分の信号値に基づいて行う。例えば、図３に示す黒レベル部分１６１における信号値のうち、通常の黒レベルの値とはことなり所定の閾値を超える部分にスミアがあると判定し、黒レベルを超える量がスミア成分の量であるとする。また、スミア検出部１０２は、黒レベル部分１６１のスミアが検出された部分Ｐ３を含んだ、画像１６０を縦に延びる帯状の領域をスミア領域１６２ａと判定する。スミア領域およびスミア成分の量の情報は、ＣＰＵ１００に供給される。スミア補正部１０９は、ＣＰＵ１００の制御に基づき、スミア領域およびスミア成分の量の情報に応じたスミア補正を行う。具体的には、スミア補正部１０９は、撮像素子１２０で生成された画像のうちの、スミア領域からスミア成分を減算することによりスミア補正を行う。スミア補正が適正に行われれば、スミアが除去された画像が得られることとなる。
【００５３】
例えば、被写体が動かない場合のように、あるフレームの画像におけるスミア成分およびスミア領域がそれ以前のフレームの画像信号から検出されたものと一致する場合には、スミア成分は適切に除去される。例えば、図６に示すように、グレーの部分にスミア成分としての値１０００が加わり、４０００、７０００、４０００となった赤、緑、青の値から、検出に応じて１０００の値が減算された場合には、値が３０００、６０００、３０００となり、図５に示すスミア無しの場合と同じ値に回復される。
【００５４】
しかし、スミア検出部１０２によるスミア成分の検出からスミア補正部１０９による補正までは遅延がある。つまり、スミア検出部１０２による検出結果は、検出対象となったフレームの画像よりも後で生成されたフレームの画像に対する補正に反映される。このため、スミアの位置が、検知したフレームにおける位置からずれていた場合には、スミアの無い位置にスミア補正がなされる誤補正が生じる。
【００５５】
図７は、誤補正がなされた場合の画像信号の値を示す表である。
【００５６】
図７の例では、標準の明るさを有するグレーの被写体に対して、撮像素子１２０によって生成される値が３０００、６０００、３０００であった場合に（図５参照）、この部分がスミアが検出されたとしてスミア成分の値として１０００が減算されると、スミア補正後の値は、図７に示すように、赤、緑、青の各色について、２０００，５０００，２０００となる。この値は、ホワイトバランス調整部１０３によるホワイトバランス調整によって、４０００，５０００，４０００となる。この値の、ガンマ補正およびＹＣＣ色空間への色空間変換の結果、Ｙの値は１４１となり、ＣｒおよびＣｂの値はともにー９となる。Ｃｒ，Ｃｂの値がともに負の値であり、スミア誤補正の結果は、緑がかった線として現れることとなる。
【００５７】
このように、スミア成分を含まないグレーを表す値に対し、誤補正によるスミア補正とホワイトバランス調整が行われると、緑色の値となる。したがって、画像には、本来グレーの部分に緑色の帯状の線が現れることとなる。
【００５８】
そこで、色低減部１０４は、誤補正により生じる線の色をグレーに近づける色低減処理を行う。具体的には、色低減部１０４は、スミア成分を含まないグレー成分が仮にスミア補正およびホワイトバランス調整により変換された場合に得られる色を含む特定色範囲内にある画素の色をグレーに近づける処理を行う。より詳細には、画像のうちの、スミア補正部１０９によってスミア補正が行われたスミア領域に対応する画像信号のうち、グレー成分が仮にスミア補正およびホワイトバランス調整により変換された場合に得られる緑色を含む特定色範囲内にある画素の色成分を減ずる。特定色範囲は、例えば、正負の値をとり得る色成分ＣｒおよびＣｂに対し、緑を含んだ、Ｃｒが負の値でかつＣｂも負の値となる範囲とする。また、減ずる割合としては、例えば１／２である。例えば図７の表を参照して説明した例では、ＣｒおよびＣｂの値９が、係数１／２を乗算することによってー４．５となり、色の彩度が低減する。このため、誤補正の結果生じる線の緑の色が弱められ、誤補正による画像の劣化が抑えられる。
【００５９】
なお、図５，６，７の表では、被写体を照らす光の光源が標準光（太陽光）の場合を説明したが、本実施形態のデジタルカメラ１は、ホワイトバランス調整部１０３におけるゲインが標準光の場合に固定されるものではなく、いわゆるオートホワイトバランス機能を有している。すなわち、撮像素子１２０によって生成された画像信号に基づいたホワイトバランス調整量を決定し、画像信号のホワイトバランスを、決定したホワイトバランス調整量だけ調整している。また、色低減部１０４は、ホワイトバランス調整部１０３におけるホワイトバランス調整量に応じて、特定色範囲を決定する。
【００６０】
図８は、太陽光以外の光源時におけるホワイトバランスゲインの代表値を示す表である。
【００６１】
図８の表に示すように、例えば、光源の種類が電球の場合には、光源からの光の青の成分が少ないため、ホワイトバランス調整における青のＷＢゲインは、赤および緑のＷＢゲインの４倍（Ｒ／Ｇ＝１，Ｂ／Ｇ＝４）となる。また、水中の撮影では、ホワイトバランス調整における赤のＷＢゲインが緑および青のＷＢゲインの４倍となる（Ｒ／Ｇ＝４，Ｂ／Ｇ＝１）。また、光源の種類が水銀灯の場合には、赤および青のゲインが緑のＷＢゲインの４倍となり（Ｒ／Ｇ＝４，Ｂ／Ｇ＝４）、紫系の特殊光源では、緑のＷＢゲインが赤および青のＷＢゲインの２倍となる（Ｒ／Ｇ＝０．５，Ｂ／Ｇ＝０．５）。なお、図８に示すＷＢゲインの値は典型例であって、ＷＢゲインは撮像素子１２０で生成された画像の解析結果による。ここで、ＷＢゲインは本発明にいうホワイトバランス調整量の一例に相当する。
【００６２】
図９は、太陽光以外の光源時におけるグレーの被写体部分を撮影した画像信号の処理を説明する表である。
【００６３】
図９に示すように、光源の種類が太陽光以外の場合には、撮像素子１２０によって生成される、グレーの被写体に対応した画像信号は、光源に応じた赤、緑、青の値を有しているが、図４に示したＷＢゲインに応じたホワイトバランス調整によって、最終的には、Ｙの値が１６０となり、ＣｒおよびＣｂの値が０となる。すなわち、グレーを表す値に統一される。
【００６４】
この一方、スミアの色は決定されたＷＢゲインによって異なるものとなる。そして、スミア補正が過補正となった場合に、本来グレーの部分に過補正によって生じる線の色もまた、決定されたＷＢゲインによって異なるものとなる。
【００６５】
図１０は、太陽光以外の光源時においてスミア現象が発生した場合の画像信号の例を示す表である。また、図１１は、太陽光以外の光源時において誤補正がなされた場合の画像信号の値を示す表である。
【００６６】
例えば、光源の種類が電球の場合には、図１０に示すように、本来グレーの部分はスミア現象によってＹの値が１７５．２となり、Ｃｒの値がー３．２となり、Ｃｂの値が２８．８となる。つまり、スミアはシアンの色を有する。また、図１０に示すように、誤補正の場合には、グレーの部分は、Ｙの値が１４１．６であり、Ｃｒの値が５．４であり、Ｃｂの値がー４８．６となる。つまり黄色になる。この他の種類の光源についても、誤補正の結果、被写体のグレーの部分には、ＷＢゲインに応じた色の線が現れる。
【００６７】
図１２は、誤補正がなされた場合にグレーの部分が変化する画像信号のＣｒおよびＣｂの値を光源時の種類ごとに表したグラフである。
【００６８】
図１２に示すグラフでは、ＹＣｒＣｂ空間における画像信号の値Ｙ，Ｃｒ，Ｃｂのうち、Ｃｒ成分すなわち赤についての成分が横軸に表わされ、Ｃｂ成分すなわち青についての成分が縦軸に表わされている。グラフにおけるＣｒ＝０かつＣｂ＝０の位置、すなわちグラフの原点は、色が無いすなわちグレーを意味する。なお、グレーの明度はＹの値で決定されることとなる。また、グラフの第１象限（Ｃｒ＞０，Ｃｂ＞０）は、紫がかった色の範囲であり、第２象限（Ｃｒ＜０，Ｃｂ＞０）は、シアンの範囲であり、第３象限（Ｃｒ＜０，Ｃｂ＜０）は、緑がかった色の範囲であり、第４象限（Ｃｒ＞０，Ｃｂ＜０）は、黄色がかった色の範囲である。
【００６９】
上述したようにＷＢゲインが変化するため、誤補正の結果、グレーの部分に生じる色は様々な範囲に分布する。例えば、太陽光および水銀灯の場合は緑となり、電球の場合は黄色となり、水中の場合はシアンとなり、特殊光源の場合は紫となる。
【００７０】
そこで、色低減部１０４は、ホワイトバランス調整部におけるホワイトバランス調整量に応じて、色の低減を行う対象となる特定色範囲を決定している。より詳細には、特定色範囲は、画像信号をＹＣｒＣｂ色空間における値に変換した場合に、Ｃｒ軸Ｃｂ軸がなす平面において、スミア成分を含まないグレー成分が仮にスミア補正およびホワイトバランス調整により変換された場合に得られる色の座標位置を含む象限を選択することで決定される。
【００７１】
図１３は、色低減部が色の低減を行う対象とする特定色範囲を示す図である。
【００７２】
色低減部１０４は、例えば、図５に示すように赤と青のホワイトバランスゲインが緑のものに比べて大きい（Ｒ／Ｇ＞１，Ｂ／Ｇ＞１）場合には、誤補正の結果、グレーの部分に生じる色はＣｒ＜０かつＣｂ＜０の第３象限に含まれる。このとき、特定色範囲は、第１〜第４象限のうち緑を含む範囲である第３象限Ｗ３（Ｃｒ＜０かつＣｂ＜０）とする。また、電球のように、青のホワイトバランスゲインが緑および赤に比べて大きい場合には、誤補正の結果、グレーの部分に生じる色は第４象限Ｗ４（Ｃｒ＞０，Ｃｂ＜０）に含まれる。このとき、特定色範囲は、第１〜第４象限のうち黄色を含む範囲である第４象限（Ｃｒ＞０，Ｃｂ＜０）とする。
【００７３】
色低減部１０４は、画像信号の色成分Ｃｒ，Ｃｂが特定色範囲にある場合に、色成分Ｃｒ，Ｃｂを低減して、色をグレーに近づける。
【００７４】
このように、オートホワイトバランスのホワイトバランス調整量に応じて、特定色範囲Ｗ１〜Ｗ４が決定することにより、光源の種類に応じた適切な色低減処理が実行される。
【００７５】
ここで、デジタルカメラ１におけるスミア補正関連の処理を説明する。
【００７６】
図１４は、デジタルカメラにおける処理の概要を示すフローチャートである。図１４には、デジタルカメラ１のスルー画表示において、撮像素子によって生成された画像信号のスミア補正に関連する処理が示されている。
【００７７】
デジタルカメラ１では、撮像素子１２０の撮像処理によって被写体を表わす画像信号が生成される（ステップＳ１１）。撮像素子１２０は、スルー画を表示させるためフレームを表す画像信号を定期的に生成する。したがって、図１４のフローチャートは繰り返し実行されることとなる。
【００７８】
次に、スミア検出部１０２が、上記ステップＳ１１で生成された画像からスミア成分およびスミア領域を検出する（ステップＳ１３）。このステップの処理でスミア成分が検出された場合には（ステップＳ１４でＹ）、スミア補正部１０９が撮像素子１２０によって生成された画像信号のうちのスミア領域からスミア成分を減算することによりスミア補正を行う（ステップＳ１５）。
【００７９】
この後、ホワイトバランス調整部１０３が、画像に基づいたホワイトバランス調整量を決定し、画像のホワイトバランス調整処理を行う（ステップＳ１６）。
【００８０】
次に、色低減部１０４が、色低減処理を行う特定色範囲を決定する。特定色範囲は、色空間において色低減処理の対象となる色の範囲である。より具体的には、特定色範囲は、スミア成分を含まないグレー成分が仮にスミア補正およびホワイトバランス調整により変換された場合に得られる色を含む範囲である。つまり、特定色範囲はホワイトバランス調整量に応じて決定される。本実施形態では、特定色範囲は、画像信号をＹＣｒＣｂ色空間における値に変換した場合に、Ｃｒ軸Ｃｂ軸がなす平面において、スミア成分を含まないグレー成分が仮にスミア補正およびホワイトバランス調整により変換された場合に得られる色の値Ｃｒ、Ｃｂを含む象限を選択することで決定される。特定色範囲は、より詳細には、赤（Ｒ）、緑（Ｇ）、青（Ｂ）各色のホワイトバランス（ＷＢ）ゲインについて、Ｒ／ＧおよびＢ／Ｇのそれぞれの値が所定の閾値ｒａｔｅ１，ｒａｔｅ２，ｒａｔｅ３よりも大きいか否かによって決定される。ここで、ｒａｔｅ１，ｒａｔｅ２，ｒａｔｅ３の値は例えば１であり、値は１であるとして説明する。
【００８１】
ステップＳ１７〜Ｓ１９の判定において、Ｒ／Ｇ＞ｒａｔｅ１であり、かつ、Ｂ／Ｇ＞ｒａｔｅ２である場合（ステップＳ１７でＹ，Ｓ１８でＹ）、つまりＲおよびＢのゲインがＧに比べて大きい場合には、特定色範囲は図１３に示すＷ３、つまりＣｒ＜０，Ｃｂ＜０の範囲に決定される（ステップＳ２１）。また、Ｒ／Ｇ＞ｒａｔｅ１であり、かつ、Ｂ／Ｇ＞ｒａｔｅ２でない場合（ステップＳ１７でＹ，Ｓ１８でＮ）、つまりＲのゲインがＧに比べて大きく、ＢのゲインがＧに比べて小さい場合には、特定色範囲は図１３に示すＷ２、つまりＣｒ＜０，Ｃｂ＞０の範囲に決定される（ステップＳ２２）。また、Ｒ／Ｇ＞ｒａｔｅ１でなく、かつ、Ｂ／Ｇ＞ｒａｔｅ３である場合（ステップＳ１７でＮ，Ｓ１８でＹ）、つまりＲのゲインがＧに比べて小さく、ＢのゲインがＧに比べて大きい場合には、特定色範囲は図１３に示すＷ４、つまりＣｒ＞０，Ｃｂ＜０の範囲に決定される（ステップＳ２３）。また、Ｒ／Ｇ＞ｒａｔｅ１でなく、かつ、Ｂ／Ｇ＞ｒａｔｅ３でない場合（ステップＳ１７でＮ，Ｓ１８でＮ）、つまりＲおよびＢのゲインがＧに比べて小さい場合には、特定色範囲は図１３に示すＷ１、つまりＣｒ＞０，Ｃｂ＞０の範囲に決定される（ステップＳ２４）。
【００８２】
例えば太陽光下の撮影では、ホワイトバランス調整部１０３は、画像信号から、ホワイトバランス調整量を、Ｒ／Ｇ＞１、Ｂ／Ｇ＞１となる値に決定する。この場合、ステップＳ１７〜Ｓ１９の判定において、ステップＳ１７でＹ，ステップＳ１８でＹと判定された結果ステップＳ２１で、特定色範囲が、図１３に示すＷ３、つまりＣｒ＜０，Ｃｂ＜０の範囲に決定される（ステップＳ２１）。
【００８３】
特定色範囲を決定した後、色低減部１０４が特定色補正の処理を実行する（ステップＳ２５）。色低減部１０４は、ステップＳ１５のスミア補正、およびステップＳ１６のホワイトバランス調整が実行された画像のうちスミア補正がなされたスミア領域を構成する各画素のうち、ＹＣｒＣｂ色空間における特定色範囲内にある画素の色をグレーに近づける色低減処理を行う。より詳細には、特定色範囲内にある画素の色成分であるＣｒ，Ｃｂの値に、０より大きく１以下の係数、例えば１／２を乗じて、値を低減する。
【００８４】
このステップＳ２５により、誤補正の結果生じる線の色が低減し、誤補正による画像の劣化が抑えられる。
【００８５】
この後、画像信号は、ＬＣＤ１４０に送られ、スルー画が表示される（ステップＳ２７）。なお、上記ステップＳ１４でスミアが検出されない場合には（ステップＳ１４でＮ）、スミア補正や色低減処理は実行されず、ホワイトバランス調整部１０３が、画像信号のホワイトバランス調整処理を行う（ステップＳ２６）。
【００８６】
図１４のフローチャートに示す処理が本発明の画像撮影方法の一実施形態に相当し、このフローチャートのうちステップＳ１３以降の処理が本発明の画像処理方法の一実施形態に相当する。
【００８７】
次に、本発明の第２実施形態について説明する。以下の第２実施形態の説明にあたっては、これまで説明してきた実施形態における各要素と同一の要素には同一の符号を付けて示し、前述の実施形態との相違点について説明する。
【００８８】
図１５は、第２実施形態のデジタルカメラの内部の構成を示すブロック図である。
【００８９】
第２実施形態のデジタルカメラ２は、動き検出部１７０をさらに備えた点が、第１実施形態のデジタルカメラ１と異なる。
【００９０】
動き検出部１７０は、撮像素子１２０によって順次生成された複数の画像を比較することによって画像上の被写体の動きを検出する。より詳細には、先に生成された画像のうちの特定の部分と一致する部分が、後で生成された画像のどこにあるかを検索することによって、画像上の被写体の動きを検出する。
【００９１】
スミア補正の誤補正は、被写体そのもの特に高輝度となる部分が動くことや、デジタルカメラを構える位置や向きが変動することによって、被写体が動く場合に特に発生しやすい。
【００９２】
第２実施形態のデジタルカメラ２では、被写体の動きを検出しない場合には色低減処理を実行しないことによって処理負担の低減を図し、画像上の被写体の動きを検出した場合に色低減処理を行い、効率よく色低減処理を実行する。
【００９３】
図１６は、図１５に示すデジタルカメラの内部構成のうち、スミア補正に関連するブロックと信号の主要な流れを示すブロック図である。
【００９４】
撮像素子１２０で生成され、アナログ信号処理部１２３、ＡＤＣ１２４を経た画像の信号は、スミア検出部１０２とスミア補正部１０９に加え、動き検出部１７０にも供給される。動き検出部１７０で被写体の動きの検出結果はＣＰＵ１００に供給され、ＣＰＵ１００は、検出結果に応じて色低減部１０４の動作を制御する。
【００９５】
図１７は、第２実施形態のデジタルカメラにおける処理の概要を示すフローチャートである。
【００９６】
第２実施形態のデジタルカメラ２における処理は、図１４に示す処理に対し、動き検出を行う点（ステップＳ３１，３２）が異なる。スミア補正の処理（ステップＳ１５）およびホワイトバランス調整の処理（ステップＳ１６）に続いて、動き検出部１７０が動き検出を行う（ステップＳ３１）。動き検出部１７０によって動きが検出された場合には（ステップＳ３２でＹ）、図１４で説明した特定色範囲の設定（ステップＳ１７〜２４）および特定色補正（ステップＳ２５）を実行する。この一方、動き検出部１７０によって動きが検出されない場合には（ステップＳ３２でＮ）、特定色補正は実行しない。
【００９７】
このように第２実施形態のデジタルカメラ２では、被写体の動きを検出しない場合には色低減処理を実行しないことによって処理負担の低減を図し、画像上の被写体の動きを検出した場合に色低減処理を行い、効率よく色低減処理を実行する。
【００９８】
なお、上述した実施形態では、本発明にいう画像撮影装置の例として、デジタルカメラを示したが、本発明はこれに限られるものではなく、例えば、ビデオカメラであってもよい。
【００９９】
また、上述した実施形態では、本発明にいう画像処理装置および画像処理方法の例として、撮像素子によって生成された画像信号を直ちに処理するデジタルカメラを説明したが、本発明はこれに限られるものではなく、例えば、メモリ等記憶装置に記憶された画像信号の処理に適用するものであってもよい。
【０１００】
また、上述した実施形態では、本発明にいうスミア補正および色低減処理の例として、スルー画として表示する画像に対する処理を示したが、本発明はこれに限られるものではなく、例えば、機械式シャッターを具備しない場合の記録用画像信号に対する処理に応用してもよい。
【０１０１】
また、上述した実施形態では、本発明にいう色低減処理の対象となる特定色範囲の例として、ＹＣｒＣｂ色空間におけるＣｒ＞０か否か、およびＣｂ＞０か否かによって分かれる４つの範囲のいずれかを特定色範囲とする場合を示したが、本発明はこれに限られるものではなく、例えば、Ｃｒ＞αかあるいはＣｒ＜−α（αは正の実数）であるか、および、Ｃｒ＞βかあるいはＣｒ＜−β（ベータは正の実数）であるかで区切られる範囲から選択するものであってもよく、また、範囲は、色空間上での特定の条件による境界により囲まれた範囲であってもよい。
【０１０２】
また、上述した実施形態では、本発明にいう色低減処理の例として、Ｃｒ，Ｃｂの値を１／２とする処理を示したが、本発明はこれに限られるものではなく、例えば、処理としては、０〜１の範囲のいずれかの値を乗ずるものであってもよい。
【０１０３】
また、上述した実施形態では、本発明にいう色低減部の例として、ホワイトバランス調整部におけるオートホワイトバランスのホワイトバランス調整量に応じて、特定色範囲を決定する例を示したが、本発明はこれに限られるものではなく、例えば、オートホワイトバランスを備えず、例えば、特定色範囲が、標準光源を前提とした固定されたものであってもよい。
【０１０４】
また、上述した実施形態では、スミア検出部１０２、スミア補正部１０９、ホワイトバランス調整部１０３、および色低減部１０４を独立したブロックとして説明したが、本発明はこれに限られるものではなく、各部の処理は、例えばＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）に代表されるプロセッサとプログラムの協同により実行されるものであってもよい。
【符号の説明】
【０１０５】
１，２ デジタルカメラ
１０２ スミア検出部
１０３ ホワイトバランス調整部
１０４ 色低減部
１０８ 圧縮伸張処理部
１０９ スミア補正部
１２０ 撮像素子
１２１ タイミングジェネレータ
１２３ アナログ信号処理部
１７０ 動き検出部
Ｗ１，Ｗ２，Ｗ３，Ｗ４ 特定色範囲
【特許請求の範囲】
【請求項１】
被写体光を受光して該被写体を表わす画像信号を生成する撮像素子と、
前記撮像素子によって生成された画像信号からスミア成分を検出するとともに該画像信号により表される画像内において該スミア成分が含まれたスミア領域を検出するスミア検出部と、
前記撮像素子によって生成された画像信号のうちの、前記スミア領域に対応する部分からスミア成分を減算することによりスミア補正を行うスミア補正部と、
前記スミア補正部によりスミア補正された画像信号に対し、該画像信号により表される画像のホワイトバランス調整を行うホワイトバランス調整部と、
前記ホワイトバランス調整部により調整された画像信号に対し、該画像信号により表される画像の中の前記スミア領域を構成する各画素のうち、スミア成分を含まないグレー成分が仮にスミア補正およびホワイトバランス調整により変換された場合に得られる色を含む特定色範囲内にある画素の色をグレーに近づける色低減処理を行う色低減部とを備えたことを特徴とする画像撮影装置。
【請求項２】
前記ホワイトバランス調整部が、前記撮像素子によって生成された画像信号に基づいたホワイトバランス調整量を決定し、該画像信号を、決定したホワイトバランス調整量だけ調整するものであり、
前記色低減部が、前記ホワイトバランス調整部におけるホワイトバランス調整量に応じて、前記特定色範囲を決定するものであることを特徴とする請求項１記載の画像撮影装置。
【請求項３】
前記撮像素子によって順次生成された複数の画像を表わす画像信号を比較することによって該画像上の被写体の動きを検出する動き検出部を更に備え、
前記色低減部が、前記動き検出部による動きが検出された場合に前記色低減処理を行うものであることを特徴とする請求項１または２記載の画像撮影装置。
【請求項４】
撮像素子に被写体光を受光させて該被写体を表わす画像信号を生成させる撮像ステップと、
前記撮像ステップで生成された画像信号からスミア成分を検出するとともに該画像信号により表される画像内において該スミア成分が含まれたスミア領域を検出するスミア検出ステップと、
前記撮像素子によって生成された画像信号のうちの、前記スミア領域に対応する部分からスミア成分を減算することによりスミア補正を行うスミア補正ステップと、
前記スミア補正ステップによりスミア補正された画像信号に対し、該画像信号により表される画像のホワイトバランス調整を行うホワイトバランス調整ステップと、
前記ホワイトバランス調整ステップにより調整された画像信号に対し、該画像信号により表される画像の中の前記スミア領域を構成する各画素のうち、スミア成分を含まないグレー成分が仮にスミア補正およびホワイトバランス調整により変換された場合に得られる色を含む特定色範囲内にある画素の色をグレーに近づける色低減処理を行う色低減ステップとを備えたことを特徴とする画像撮影方法。
【請求項５】
前記ホワイトバランス調整ステップが、前記撮像素子によって生成された画像信号に基づいたホワイトバランス調整量を決定し、該画像信号を、決定したホワイトバランス調整量だけ調整するものであり、
前記色低減ステップが、前記ホワイトバランス調整ステップにおけるホワイトバランス調整量に応じて、前記特定色範囲を決定するものであることを特徴とする請求項４記載の画像撮影方法。
【請求項６】
前記撮像素子によって順次生成された複数の画像を表わす画像信号を比較することによって該画像上の被写体の動きを検出する動き検出ステップを更に備え、
前記色成分低減ステップが、前記動き検出ステップによる動きが検出された場合に前記色低減処理を行うものであることを特徴とする請求項４または５記載の画像撮影方法。
【請求項７】
画像を表わす画像信号からスミア成分を検出するとともに該画像信号により表される画像内において該スミア成分が含まれたスミア領域を検出するスミア検出部と、
前記画像信号のうちの、前記スミア領域に対応する部分からスミア成分を減算することによりスミア補正を行うスミア補正部と、
前記スミア補正部によりスミア補正された画像信号に対し、該画像信号により表される画像のホワイトバランス調整を行うホワイトバランス調整部と、
前記ホワイトバランス調整部により調整された画像信号に対し、該画像信号により表される画像の中の前記スミア領域を構成する各画素のうち、スミア成分を含まないグレー成分が仮にスミア補正およびホワイトバランス調整により変換された場合に得られる色を含む特定色範囲内にある画素の色をグレーに近づける色低減処理を行う色低減部とを備えたことを特徴とする画像処理装置。
【請求項８】
画像を表わす画像信号からスミア成分を検出するとともに該画像信号により表される画像内において該スミア成分が含まれたスミア領域を検出するスミア検出ステップと、
前記画像信号のうちの、前記スミア領域に対応する部分からスミア成分を減算することによりスミア補正を行うスミア補正ステップと、
前記スミア補正ステップによりスミア補正された画像信号に対し、該画像信号により表される画像のホワイトバランス調整を行うホワイトバランス調整ステップと、
前記ホワイトバランス調整ステップにより調整された画像信号に対し、該画像信号により表される画像の中の前記スミア領域を構成する各画素のうち、スミア成分を含まないグレー成分が仮にスミア補正およびホワイトバランス調整により変換された場合に得られる色を含む特定色範囲内にある画素の色をグレーに近づける色低減処理を行う色低減ステップとを備えたことを特徴とする画像撮影方法。
【請求項１】
被写体光を受光して該被写体を表わす画像信号を生成する撮像素子と、
前記撮像素子によって生成された画像信号からスミア成分を検出するとともに該画像信号により表される画像内において該スミア成分が含まれたスミア領域を検出するスミア検出部と、
前記撮像素子によって生成された画像信号のうちの、前記スミア領域に対応する部分からスミア成分を減算することによりスミア補正を行うスミア補正部と、
前記スミア補正部によりスミア補正された画像信号に対し、該画像信号により表される画像のホワイトバランス調整を行うホワイトバランス調整部と、
前記ホワイトバランス調整部により調整された画像信号に対し、該画像信号により表される画像の中の前記スミア領域を構成する各画素のうち、スミア成分を含まないグレー成分が仮にスミア補正およびホワイトバランス調整により変換された場合に得られる色を含む特定色範囲内にある画素の色をグレーに近づける色低減処理を行う色低減部とを備えたことを特徴とする画像撮影装置。
【請求項２】
前記ホワイトバランス調整部が、前記撮像素子によって生成された画像信号に基づいたホワイトバランス調整量を決定し、該画像信号を、決定したホワイトバランス調整量だけ調整するものであり、
前記色低減部が、前記ホワイトバランス調整部におけるホワイトバランス調整量に応じて、前記特定色範囲を決定するものであることを特徴とする請求項１記載の画像撮影装置。
【請求項３】
前記撮像素子によって順次生成された複数の画像を表わす画像信号を比較することによって該画像上の被写体の動きを検出する動き検出部を更に備え、
前記色低減部が、前記動き検出部による動きが検出された場合に前記色低減処理を行うものであることを特徴とする請求項１または２記載の画像撮影装置。
【請求項４】
撮像素子に被写体光を受光させて該被写体を表わす画像信号を生成させる撮像ステップと、
前記撮像ステップで生成された画像信号からスミア成分を検出するとともに該画像信号により表される画像内において該スミア成分が含まれたスミア領域を検出するスミア検出ステップと、
前記撮像素子によって生成された画像信号のうちの、前記スミア領域に対応する部分からスミア成分を減算することによりスミア補正を行うスミア補正ステップと、
前記スミア補正ステップによりスミア補正された画像信号に対し、該画像信号により表される画像のホワイトバランス調整を行うホワイトバランス調整ステップと、
前記ホワイトバランス調整ステップにより調整された画像信号に対し、該画像信号により表される画像の中の前記スミア領域を構成する各画素のうち、スミア成分を含まないグレー成分が仮にスミア補正およびホワイトバランス調整により変換された場合に得られる色を含む特定色範囲内にある画素の色をグレーに近づける色低減処理を行う色低減ステップとを備えたことを特徴とする画像撮影方法。
【請求項５】
前記ホワイトバランス調整ステップが、前記撮像素子によって生成された画像信号に基づいたホワイトバランス調整量を決定し、該画像信号を、決定したホワイトバランス調整量だけ調整するものであり、
前記色低減ステップが、前記ホワイトバランス調整ステップにおけるホワイトバランス調整量に応じて、前記特定色範囲を決定するものであることを特徴とする請求項４記載の画像撮影方法。
【請求項６】
前記撮像素子によって順次生成された複数の画像を表わす画像信号を比較することによって該画像上の被写体の動きを検出する動き検出ステップを更に備え、
前記色成分低減ステップが、前記動き検出ステップによる動きが検出された場合に前記色低減処理を行うものであることを特徴とする請求項４または５記載の画像撮影方法。
【請求項７】
画像を表わす画像信号からスミア成分を検出するとともに該画像信号により表される画像内において該スミア成分が含まれたスミア領域を検出するスミア検出部と、
前記画像信号のうちの、前記スミア領域に対応する部分からスミア成分を減算することによりスミア補正を行うスミア補正部と、
前記スミア補正部によりスミア補正された画像信号に対し、該画像信号により表される画像のホワイトバランス調整を行うホワイトバランス調整部と、
前記ホワイトバランス調整部により調整された画像信号に対し、該画像信号により表される画像の中の前記スミア領域を構成する各画素のうち、スミア成分を含まないグレー成分が仮にスミア補正およびホワイトバランス調整により変換された場合に得られる色を含む特定色範囲内にある画素の色をグレーに近づける色低減処理を行う色低減部とを備えたことを特徴とする画像処理装置。
【請求項８】
画像を表わす画像信号からスミア成分を検出するとともに該画像信号により表される画像内において該スミア成分が含まれたスミア領域を検出するスミア検出ステップと、
前記画像信号のうちの、前記スミア領域に対応する部分からスミア成分を減算することによりスミア補正を行うスミア補正ステップと、
前記スミア補正ステップによりスミア補正された画像信号に対し、該画像信号により表される画像のホワイトバランス調整を行うホワイトバランス調整ステップと、
前記ホワイトバランス調整ステップにより調整された画像信号に対し、該画像信号により表される画像の中の前記スミア領域を構成する各画素のうち、スミア成分を含まないグレー成分が仮にスミア補正およびホワイトバランス調整により変換された場合に得られる色を含む特定色範囲内にある画素の色をグレーに近づける色低減処理を行う色低減ステップとを備えたことを特徴とする画像撮影方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２０１０−１９９８４５（Ｐ２０１０−１９９８４５Ａ）
【公開日】平成２２年９月９日（２０１０．９．９）
【国際特許分類】
【出願番号】特願２００９−４１０７６（Ｐ２００９−４１０７６）
【出願日】平成２１年２月２４日（２００９．２．２４）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
【公開日】平成２２年９月９日（２０１０．９．９）
【国際特許分類】
【出願日】平成２１年２月２４日（２００９．２．２４）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
[ Back to top ]