撮像装置及び信号処理方法
【課題】動画撮影中に取得した画像に対して、動画に適したスミア補正を行うと共に、静止画を処理するためのパラメータの取得に適したスミア補正を行う。
【解決手段】光電変換を行って画像信号を出力するＣＣＤと、ＣＣＤから連続的に出力される連続画像信号からスミア成分を検出するスミア検出部と、検出されたスミア成分に基づいて、スミアを補正するための第１のＥＶＦ用スミア補正量決定部と当該第１の補正量よりも大きい第２の静止画用スミア補正量決定部と、連続画像信号に対して、第１及び第２の補正量によりスミア補正を行うＥＶＦ用及び静止画ＷＢ検出用スミア補正部と、第１の補正量により連続画像信号に対して、記録及び表示の少なくとも一方のための信号処理部と、第２の補正量により補正された連続画像信号に基づいて、前記静止画撮影で得られる画像信号を処理するための処理パラメータを決定する静止画用ＷＢ検出部とを有する。
【解決手段】光電変換を行って画像信号を出力するＣＣＤと、ＣＣＤから連続的に出力される連続画像信号からスミア成分を検出するスミア検出部と、検出されたスミア成分に基づいて、スミアを補正するための第１のＥＶＦ用スミア補正量決定部と当該第１の補正量よりも大きい第２の静止画用スミア補正量決定部と、連続画像信号に対して、第１及び第２の補正量によりスミア補正を行うＥＶＦ用及び静止画ＷＢ検出用スミア補正部と、第１の補正量により連続画像信号に対して、記録及び表示の少なくとも一方のための信号処理部と、第２の補正量により補正された連続画像信号に基づいて、前記静止画撮影で得られる画像信号を処理するための処理パラメータを決定する静止画用ＷＢ検出部とを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はデジタルカメラなどの撮像装置における信号処理方法であって、より詳しくは動画用処理時に動画用と静止画用の両方のＷＢ補正係数を算出することにより静止画撮影時に高速に処理することが可能にする信号処理装置に関するものである。
【背景技術】
【０００２】
従来、デジタルカメラ等の撮像装置が行う撮影方法は、静止画の撮影を行う静止画撮影と動画記録またはライブビューを表示させるための動画撮影に大別される。
【０００３】
静止画を撮影するときは、例えば特許文献１に開示されているように、電子シャッターおよびメカニカルシャッターを使用して撮影が行われる。ここで、従来一般的に行われる静止画の撮影シーケンスについて簡単に説明する。
【０００４】
まず固体撮像装置（例えば、ＣＣＤ）をリセットし（電子シャッター）、電荷蓄積を開始して、所望の電荷蓄積時間終了後、メカニカルシャッターを閉じて露光を終了し、蓄積した電荷をＣＣＤから読み出す。電荷をＣＣＤから読み出す際には、読み出しに先だってＣＣＤの転送路上のスミア成分を高速に除去する。そして、スミア成分の除去後に電荷を転送路上に読み出し、転送することで静止画撮影がなされる。
【０００５】
一方、動画を撮影する際には、動画の規格で定められた予め設定された周期で、順次１フィールドまたは１フレーム分の画像の電荷を転送路上に読み出して、ＣＣＤの外部へ転送する。動画の撮影時にはメカニカルシャッターは使用せず、一回の画像の読み出しから、次の画像の読み出しまでが電荷蓄積時間となる。
【０００６】
このように、動画撮影においては、静止画と異なり、電荷の読み出しに先だって転送路上に発生するスミア成分の吐き出しを行わないため、スミア成分が画像に悪影響を及ぼしてしまうという問題点がある。例えば、被写体輝度が高く、スミア成分が大量に画像に含まれているような被写体の場合には、スミア成分のために露出が明るく設定されてしまったり、ホワイトバランスがマゼンタに色被りするといった現象が生じる。
【０００７】
それに対して特許文献２では、スミアがその発生原理から垂直方向にほぼ同レベルで発生することに着目して、スミア成分を除去する方法が開示されている。この方法では、先ず、ＣＣＤの有効画素領域外の遮光された領域に垂直ＯＢ画素（オプティカルブラック）を設け、複数ラインの画素を垂直方向に加算平均した平均値を算出する。そして、算出した平均値を基準信号として、有効画面の画素から得られる信号から減算する方法が開示されている。
【０００８】
また、特許文献３においては、垂直ＯＢ画素領域が設定できない場合に、ダミー画素を用いて同様の補正を行う方法が開示されている。
【０００９】
更に、特許文献４においては、輝度レベルに応じて補正量を変えることが開示されており、飽和領域における補正をこれらの手法を用いることである程度改善されることが示されている。
【００１０】
【特許文献１】特開平２−１６２９７６号公報
【特許文献２】特開平７−６７０３８号公報
【特許文献３】特開２０００−５０１６５号公報
【特許文献４】特開２００１−２４９４３号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
しかしながら、近年のＣＣＤの高画素化、高精細化に伴い、スミアレベルが悪化してきており、前述したような手法を用いて補正を行ったとしても十分補正を行うことができなくなっている。その場合、例えば特許文献４に記載されているように、輝度レベルに応じて補正レベルを変えてスミア補正を行うと、信号レベルのリニアリティを悪化させてしてしまい、画像が劣化してしまう。リニアリティが悪化しない程度に補正することも可能であるが、その場合には、十分にスミア補正を行うことができないため、十分な画質の画像を得られないという問題点がある。
【００１２】
また、近年のデジタルカメラの中には、動画撮影中に静止画を撮影する、動画中静止画機能が搭載されるものがある。このような記録方式の場合は、静止画撮影のため前述したようにメカシャッターが使用されて動画撮影が一旦中断されるが、少しでも早い動画撮影への復帰が求められ、高速に静止画を撮影することが求められる。
【００１３】
また、ライブビュー機能を有する撮像装置も存在する。ライブビュー用の画像は上述した動画撮影と同様にして所定周期で撮影され、撮影した画像を撮像装置に備えられた表示器に順次表示することでライブビューを実現することができる。このような撮像装置では、ユーザーがライブビュー画像を観察し、所望のタイミングで静止画の撮影を指示することで、静止画の撮影が行われる。この時、スミアの影響を避けるために、上述したように複数フィールド分の電荷を読み出した後に画像解析してからホワイトバランスや露出補正の計算を行うと、算出までの時間がかかってしまうという問題があった。
【００１４】
静止画撮影を高速化するために、動画撮影中やライブビュー画像を観察しながら静止画の撮影を行う場合に、動画やライブビュー画像の画像データから静止画を撮影する際に必要な解析情報を取得することが考えられる。しかしながら、静止画撮影時と動画撮影時とでは、スミアの影響により、ＣＣＤから出力される信号の出力バランスが異なるため、動画やライブビュー画像から算出された露出やホワイトバランスの制御情報を静止画の撮影にそのまま使用することはできない。即ち、動画やライブビュー画像の画像データから静止画を撮影する際に必要な解析情報を取得するためには、スミアの影響を十分に排除することが必要になる。
【００１５】
しかしながら、前述した理由により、動画においてスミア補正を十分に行ってしまうとリニアリティの劣化が生じて画質が損なわれてしまうため、十分な画質の動画を撮影するためにはスミア補正を十分に行うことができないという問題があった。
【課題を解決するための手段】
【００１６】
上記問題点を解決するために、光電変換を行って画像信号を出力する固体撮像素子と、前記固体撮像素子から連続的に出力される連続画像信号から、スミア成分を検出するスミア検出手段と、前記スミア検出手段により検出されたスミア成分に基づいて、スミアを補正するための第１の補正量を決定する第１の決定手段と、前記スミア検出手段により検出されたスミア成分に基づいて、スミアを補正するための前記第１の補正量よりも大きい第２の補正量を決定する第２の決定手段と、前記連続画像信号に対して、前記第１の補正量によりスミア補正を行う第１の補正手段と、前記第１の補正手段によりスミア補正された前記連続画像信号に対して、前記連続画像信号の記録及び表示の少なくとも一方のための信号処理を行う信号処理手段と、前記連続画像信号に対して、前記第２の補正量によりスミア補正を行う第２の補正手段と、前記第２の補正手段によりスミア補正された前記連続画像信号に基づいて、前記静止画撮影を行った際に得られる画像信号を処理するための処理パラメータを決定する決定手段とを有する撮像装置を提供する。
【００１７】
また、前記固体撮像素子から連続的に出力される連続画像信号から、スミア成分を検出するスミア検出工程と、前記スミア検出工程で検出されたスミア成分に基づいて、第１の補正量を決定する第１の決定工程と、前記スミア検出工程で検出されたスミア成分に基づいて、前記第１の補正量よりも大きい第２の補正量を決定する第２の決定工程と、前記連続画像信号に対して、前記第１の補正量によりスミア補正を行う第１の補正工程と、前記第１の補正工程でスミア補正された前記連続画像信号に対して、前記連続画像信号の記録及び表示の少なくとも一方のための信号処理を行う信号処理工程と、前記連続画像信号に対して、前記第２の補正量によりスミア補正を行う第２の補正工程と、前記第２の補正工程でスミア補正された前記連続画像信号に基づいて、前記静止画撮影を行った際に得られる画像信号を処理するための処理パラメータを決定する決定工程とを有することを特徴とする信号処理方法を提供する。
【発明の効果】
【００１８】
本発明によれば、連続画像に適したスミア補正を行うことができると共に、静止画を処理するためのパラメータの取得に適したスミア補正を行うことが可能となる。
【発明を実施するための最良の形態】
【００１９】
以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。
【００２０】
図１は本発明の実施の形態の撮像装置における信号処理機能を示すブロック図である。なお、本実施の形態における撮像装置は、電子ビューファインダ（ＥＶＦ）に表示されるライブビュー画像を観察しながら、静止画を撮影する機能を有するものとする。
【００２１】
図１において、１００は、光電変換により被写体光学像を電荷に変換する、ＣＣＤに代表される固体撮像素子（以下、ＣＣＤ）である。ＣＣＤ１００は、図２に示すように、撮影時には露光されて画像信号を出力する有効領域と、遮光されたＯＢ（オプティカルブラック）部を有する。ＯＢ部の内、有効領域の下部に構成されたＯＢ部は、本実施の形態ではスミアを検出するために用いるので、特にスミア検出領域と呼ぶ。１０１はＣＣＤ１００から読み出された画像信号を保持するバッファである。
【００２２】
１０２は画像バッファ１０１内に保持された画像信号の内、スミア検出領域の画像信号からスミアを検出するスミア検出部である。スミア検出部１０２による検出結果は、ＥＶＦ用の処理系と、静止画ＷＢ（ホワイトバランス）用の処理系とにそれぞれ出力される。
【００２３】
先ず、ＥＶＦ用の処理系について説明する。１０３はＥＶＦ用スミア補正量決定部（第１の決定手段）で、スミア検出部１０２による検出結果に応じてＥＶＦ用のスミア補正量を決定する。１０５はＥＶＦ用スミア補正部で、ＥＶＦ用スミア補正量決定部１０３が決定したＥＶＦ用のスミア補正量に基づいて、画像バッファ１０１内に保持された画像信号の内、有効領域の画像信号に対してスミア補正を行う。１０６はＥＶＦ用ＷＢ検出部で、ＥＶＦ用スミア補正部１０５によりスミア補正された画像信号から、ＥＶＦ用のＷＢ補正係数を算出する。１０７は信号処理部であり、ＥＶＦ用ＷＢ検出部１０６により算出されたＷＢ補正係数を用いてスミア補正された画像信号にＷＢ補正を行ったり、ＥＶＦ表示に適した画像データに変換するなど、予め決められた信号処理を行う。
【００２４】
次に、静止画ＷＢ用の処理系について説明する。１０４は静止画用スミア補正量決定部（第２の決定手段）で、スミア検出部１０２による検出結果に応じて静止画用のスミア補正量を決定する。１０８は静止画ＷＢ検出用スミア補正部で、静止画用スミア補正量決定部１０４が決定した静止画用スミア補正量に基づいて、画像バッファ１０１内に保持された画像信号の内、有効領域の画像信号を補正する。１０９は静止画用ＷＢ検出部（決定手段）であり、静止画ＷＢ検出用スミア補正部１０８によりスミア補正された画像信号に基づいて、静止画用のＷＢ補正係数を算出する。
【００２５】
次に、本実施の形態における上記構成を有する撮像装置の動作について、図３のフローチャートを参照して説明する。なお、ここでは、静止画を撮影するためにＥＶＦ表示が行われているものとして説明する。
【００２６】
先ず、ステップＳ１では、ＣＣＤ１００から連続的に画像信号を読み出し、画像バッファ１０１に蓄積する。上述したように、ここではＥＶＦ表示の為にＣＣＤ１００の駆動及び画像信号（連続画像信号）の読み出しを行う。ＥＶＦ表示に必要な画像信号の解像度や更新レートは、表示先である表示器によって決められており、特に解像度は、通常、表示先などの制約を受けない静止画像と比較して低い。そのため、ステップＳ１で読み出される画像信号は、ＣＣＤ１００を加算読み出し及び／または間引き読み出しなどを行って読み出された、解像度の低い（データ量の少ない）画像信号である。
【００２７】
次に、ステップＳ２において、スミア検出部１０２は、ステップＳ１で画像バッファ１０１に蓄積された画像信号の内、図２に示すＯＢ領域の画像信号の平均値を算出して黒信号レベルを取得する。次に、ステップＳ３では、スミア検出部１０２は更に図２に示すスミア検出領域の画像信号を垂直方向に加算してから平均値を計算する。ステップＳ４では、ステップＳ３で算出した平均値から、ステップＳ２で算出した黒信号レベルを減算することで、水平方向（列毎）のスミア成分を検出する。ステップＳ４において、スミア検出部１０２によりスミア成分が検出されると、検出されたスミア成分を用いて、上述したＥＶＦ用の処理系による動画用処理と、静止画ＷＢ用の処理系による静止画用ＷＢ検出処理が行われる。
【００２８】
先ず、動画用処理について説明する。
【００２９】
ステップＳ５では、ステップＳ４で検出されたスミア成分の量に応じて、ＥＶＦ用スミア補正量決定部１０３によってＥＶＦ用のスミア補正量（第１の補正量）を決定する。なお、ステップＳ５で決定されるＥＶＦ用スミア補正量については、詳細に後述する。続いてステップＳ６において、ＥＶＦ用スミア補正部１０５により、ステップＳ５で決定したＥＶＦ用スミア補正量を用いて、ステップＳ１で読み出した画像信号の内、図２に示す有効領域の画像信号の内の画像信号を取り出してスミア補正を行う。（第１のスミア補正）。
【００３０】
ステップＳ７では、ＥＶＦ用ＷＢ検出部１０６により、スミア補正された画像信号からＷＢ補正係数を算出し、ステップＳ８では、この算出したＷＢ補正係数を用いて、信号処理部１０７がスミア補正された画像信号のＷＢ補正を行う。更に、ステップＳ９において、信号処理部１０７はＥＶＦ表示に必要な信号処理をＷＢ補正した画像信号に対して行う。信号処理された画像信号は、ステップＳ１０で不図示の表示器に表示されて、上述した一連の処理を終了する。
【００３１】
次に、静止画用ＷＢ検出処理について説明する。
【００３２】
ステップＳ１１では、ステップＳ４で検出されたスミア成分の量に応じて、静止画用スミア補正量決定部１０４によって静止画用のスミア補正量（第２の補正量）を決定する。ここでは静止画用のスミア補正量として、ＥＶＦ用のスミア補正量よりもスミア成分をより強く削減できるような値が決定される。なお、ステップＳ１１で決定される静止画用スミア補正量については、ステップＳ５で決定されるＥＶＦ用スミア補正量と合わせて後述する。続いてステップＳ１２において、静止画ＷＢ検出用スミア補正部１０８により、ステップＳ１１で決定した静止画用スミア補正量を用いて、ステップＳ１で読み出した画像信号の内、図２に示す有効領域の画像信号を取り出してスミア補正を行う。（第２のスミア補正）。
【００３３】
ステップＳ１３では、静止画用ＷＢ検出部１０９により、スミア補正された画像信号からＷＢ補正係数を算出する。その後、ステップＳ１４では、静止画とＥＶＦ画像の撮像駆動モードの差、特に電荷蓄積時間の差を鑑みて感度・色補正を行い、最終的な静止画のＷＢ補正係数を算出する。ステップＳ１５では、ステップＳ１４で算出された静止画用のＷＢ補正係数を保存する。これにより、静止画撮影時にＷＢ補正係数の検出を再度行うことなく、静止画の信号処理を開始することが可能となる。静止画のＷＢ補正係数を保存すると、上述した一連の処理を終了する。
【００３４】
また、ＷＢ補正係数は色温度を推定した結果であるため、推定された色温度に伴ってその他の画像パラメータを決定してもよい。
【００３５】
例えば、ＷＢ補正係数と色温度の対応関係を予め求めておくと共に、例えば色信号処理を行う際のＲ−Ｙ、Ｂ−Ｙ信号に対するゲイン値などの画像処理パラメータを色温度毎に保持しておく。これにより、ＷＢ補正係数及び推定した色温度に応じてパラメータを選択することで、信号処理用のパラメータを決定することが可能である。
【００３６】
次に、ステップＳ７及びステップＳ１３で行割れるＷＢ補正係数の算出方法について説明する。なお、ＷＢ補正係数の算出は一般的な技術であり、公知の算出方法を用いることができるので、ここではその一例について簡単に説明する。また、以下ではＥＶＦ用ＷＢ検出部１０６の動作について説明するが、静止画用ＷＢ検出部１０９も同様にしてＷＢ補正係数を検出することが可能である。その際に、検出対象の画像として、静止画ＷＢ検出用スミア補正部１０８によりスミア補正された静止画用の画像を用いればよい。
【００３７】
ＣＣＤ１００は図４に示す原色ベイヤー配列のフィルタにより覆われているものとし、下記式により色評価値を求める。
Ex=(R-B)/Ｙ
Ey＝((R+B)/2−(G1+G2)/2)/Ｙ
ただし、Y=0.3R+0.59G+0.11B
【００３８】
図５は、予め白色の被写体を自然界に存在する複数の色温度で撮影し、各色温度における色評価値を求めたものである。
【００３９】
図６は本実施の形態におけるＷＢ補正係数の算出機能を示すブロック図である。なお、図１と同様の構成には同じ参照番号を付している。図６において、不図示の制御部から出力されるＷＢ補正係数の取得を指示するＷＢ制御設定信号や、駆動モードに応じて、ＷＢ検出パラメータ決定回路１１０によりＷＢ検出パラメータをＷＢ検出パラメータ候補群１１１より選択して決定する。そして、決定したＷＢ検出パラメータ（色評価値座標上での白色部検出領域や検出色温度設定範囲）をＥＶＦ用ＷＢ検出部１０６に設定する。ＥＶＦ用ＷＢ検出部１０６では、設定されたＷＢ検出パラメータを用いて、白画素を検出する。
【００４０】
白画素の検出には、先ず、画像を複数の小領域（サンプルエリア）に分割する。ここで、小領域とは、１画面をｍ個の領域に分割した内の１つの領域を示し、その小領域に存在するＲＧＢ信号を画素毎に平均化した信号を取得する。
【００４１】
次に、各サンプルエリアにおいて取得した平均化した信号に基づいてそれぞれ求められた色評価値を、設定されたＷＢ検出パラメータに照らし合わせ、各サンプルエリアが図５の白判別範囲５００に含まれるか否かをそれぞれ判別する。白判別範囲５００は色評価値空間上に設定された白判別範囲の一例であり、色度座標上などの色空間上に座標値などで白判別範囲を指定することが可能である。またこれらのＷＢ検出パラメータは被写体輝度やホワイトバランスのモード等に応じて変更されるのが一般的である。
【００４２】
サンプルエリアが白判別範囲５００に含まれる場合は、そのサンプルエリアの画素から出力される出力値を各色毎に加算する。上述した判別を画面上の全てのサンプルポイントで行い、それらの加算平均値から、ＲＧＢ信号の平均値が同じレベルになるように色毎に利得を求めて、その利得をＷＢ補正係数とする。以上のようにして、ＷＢ補正係数を求めることが可能である。
【００４３】
次にＥＶＦ用にスミア補正された信号は、信号処理部１０７内のＷＢ制御部１１２にて算出されたＷＢ補正係数によりＷＢ補正が行われる。ＷＢ補正された信号は、色信号処理部１１３にて色マトリックスや高輝度色消し、高彩度色抑圧などを行うことにより彩度・色相の制御が行われ、色信号が作成される。また、ＷＢ補正された信号は、輝度信号処理部１１４にて輝度階調補正やエッジ強調信号処理などが行われて輝度信号が作成される。
【００４４】
次に、ステップＳ５及びステップＳ１１で行われるスミア補正量の決定方法について説明を行う。
【００４５】
図７は、動画用及び静止画用のスミア補正特性を示したものである。横軸が入力であるスミア検出値、縦軸が出力であるスミア補正量を表している。図７に示すように、本実施の形態では、スミア量が予め決められたスミア量（所定量）よりも少ない場合には（図７ではスミア検出信号が１００までの範囲）、検出されたスミア検出値を用いてそのまま補正を行う。そして、スミア量が増加するにつれてスミア補正量を小さくするよう設定する。また、静止画用のスミア補正量は、予め決められたスミア量を超えた場合に、動画用よりも大きくなる特性を有する。このようにスミア補正量を設定する理由について以下に説明する。
【００４６】
前述したとおり、スミア成分は、その原理上、固体撮像信号から出力された信号値から、スミア成分として検出された信号量を減算することで除去補正することが可能である。
【００４７】
図８（ａ）は通常露光領域（有効領域から出力された画像信号の内、飽和していない画素から出力された画像信号のレベルの領域）におけるスミアと信号値の関係を示す図である。また、図８（ｂ）は図８（ａ）に示す画像信号に対してスミア成分を減算した後の信号値を示す図である。図８から分かるように、通常露光領域においては通常のリニアリティが保たれているため、スミア成分をそのまま減算することで適切にスミア補正することが可能である。
【００４８】
これに対し、スミア成分が大きくなり過ぎると、飽和が起きている領域においてはスミア成分を減算することで信号値が必要以上に下がってしまう。スミア成分の減算により飽和レベルに到達しなくなるとともに、色づいてしまうという画像劣化が生じる。
【００４９】
一般的に、センサー出力に対してＡＦＥ（Analog Fornt End）内で黒レベル調整とＡ／Ｄ変換が行われる。例えば、ＡＦＥが１０ビットでＡ／Ｄ変換を行う場合、センサーの出力が非常に高く、ＡＦＥに１０ビットを超えるような飽和信号が入力されると、Ａ／Ｄ変換がなされると１０ビットの範囲でクリップされる。
【００５０】
図９（ａ）は飽和領域（有効領域から出力された画像信号の内、飽和している画素から出力された画像信号のレベルの領域）におけるスミアと信号値の関係を示している。また、図９（ｂ）はＡＦＥにてクリップした後の信号値、図９（ｃ）は図９（ｂ）に示す画像信号に対して、スミア補正を実施した例を示す。図９から分かるように、飽和領域の画像信号に対してスミア除去を行うと、信号値に不足分が生じてしまう。
【００５１】
上述した現象のため、液晶などに表示させる表示用画像や動画記録される画像から検出されたスミア成分をそのまま除去すると、高輝度部分が暗く表現されるために画質が損なわれてしまう。また最近のセンサーの微細化に伴いスミアの発生量が増大してきていることを考え合わせると、完全に除去することは更に難しい。
【００５２】
一方、静止画ＷＢ検出用の画像信号に関しては、補正後の画像信号を表示することはない。また、実際の静止画撮影においては、画像信号の読み出しに先だって転送路上のスミアを吐き出すために、スミアの影響を受けない。そのため、ＥＶＦ表示時に得られる画像から静止画用のＷＢ補正係数を算出するためには、スミア成分を十分に除去することが必要になる。ＥＶＦ表示時に得られる画像からスミア成分を十分に除去するためには、動画用に比べて静止画用の補正特性を強めにする、つまり補正量の値を大きくする。
【００５３】
また、ＥＶＦ表示用の画像に対しては、スミア成分の補正量をリニアリティが悪化しない程度にする。このようにすることで、ＥＶＦ用の画像の画質劣化を抑えながら、静止画用のＷＢ補正係数算出用には、十分にスミア成分を除去した画像信号を得ることができる。
【００５４】
ＥＶＦ用スミア補正量決定部１０３及び静止画用スミア補正量決定部１０４に、図７に示すスミア成分の量（スミア検出信号）に対するスミア補正量を保持しておく。これにより、スミア検出部１０２により検出されたスミア成分の量に応じたスミア補正量を決定することができる。または、図７に示すスミア検出信号に対するスミア補正量を不図示のメモリに保持しておき、ＥＶＦ用スミア補正量決定部１０３及び静止画用スミア補正量決定部１０４が必要に応じて参照できるように構成しても良い。
【００５５】
上記の通り本実施の形態によれば、スミア補正を行う場合に、ＥＶＦ表示用の画像ではスミア補正による画質劣化を抑えると共に、静止画を処理するためのパラメータを取得する為には、十分にスミア補正を行った画像信号を得ることが可能になる。
【００５６】
なお、上述した実施の形態においては、静止画を撮影するためにＥＶＦ表示が行われている場合について説明したが、動画記録中に静止画を撮影する場合にも本発明を同様に適用することが可能である。
【図面の簡単な説明】
【００５７】
【図１】本発明の実施の形態の撮像装置における信号処理機能を示すブロック図である。
【図２】本発明の実施の形態におけるＣＣＤの領域を説明するための図である。
【図３】本発明の実施の形態における動作を示すフローチャートである。
【図４】カラーフィルタ配列の一例を示す図である。
【図５】ホワイトバランス用の色評価値空間及び白判別範囲の一例を示す図である。
【図６】本発明の実施の形態におけるＷＢ補正係数の算出機能を示すブロック図である。
【図７】動画用及び静止画用のスミア補正特性を示す図である。
【図８】通常露光領域におけるスミアと信号値の関係を示す図である。
【図９】飽和領域におけるスミア補正の様子を示した図である。
【符号の説明】
【００５８】
１００ 固体撮像素子
１０１ 画像バッファ
１０２ スミア検出部
１０３ ＥＶＦ用スミア補正量決定部
１０４ 静止画用スミア補正量決定部
１０５ ＥＶＦ用スミア補正部
１０６ ＥＶＦ用ＷＢ検出部
１０７ 信号処理部
１０８ 静止画ＷＢ検出用スミア補正部
１０９ 静止画用ＷＢ検出部
１１０ ＷＢ検出用パラメータ決定回路
１１１ ＷＢ検出用パラメータ候補群
１１２ ＷＢ制御部
１１３ 色信号処理部
１１４ 輝度信号処理部
【技術分野】
【０００１】
本発明はデジタルカメラなどの撮像装置における信号処理方法であって、より詳しくは動画用処理時に動画用と静止画用の両方のＷＢ補正係数を算出することにより静止画撮影時に高速に処理することが可能にする信号処理装置に関するものである。
【背景技術】
【０００２】
従来、デジタルカメラ等の撮像装置が行う撮影方法は、静止画の撮影を行う静止画撮影と動画記録またはライブビューを表示させるための動画撮影に大別される。
【０００３】
静止画を撮影するときは、例えば特許文献１に開示されているように、電子シャッターおよびメカニカルシャッターを使用して撮影が行われる。ここで、従来一般的に行われる静止画の撮影シーケンスについて簡単に説明する。
【０００４】
まず固体撮像装置（例えば、ＣＣＤ）をリセットし（電子シャッター）、電荷蓄積を開始して、所望の電荷蓄積時間終了後、メカニカルシャッターを閉じて露光を終了し、蓄積した電荷をＣＣＤから読み出す。電荷をＣＣＤから読み出す際には、読み出しに先だってＣＣＤの転送路上のスミア成分を高速に除去する。そして、スミア成分の除去後に電荷を転送路上に読み出し、転送することで静止画撮影がなされる。
【０００５】
一方、動画を撮影する際には、動画の規格で定められた予め設定された周期で、順次１フィールドまたは１フレーム分の画像の電荷を転送路上に読み出して、ＣＣＤの外部へ転送する。動画の撮影時にはメカニカルシャッターは使用せず、一回の画像の読み出しから、次の画像の読み出しまでが電荷蓄積時間となる。
【０００６】
このように、動画撮影においては、静止画と異なり、電荷の読み出しに先だって転送路上に発生するスミア成分の吐き出しを行わないため、スミア成分が画像に悪影響を及ぼしてしまうという問題点がある。例えば、被写体輝度が高く、スミア成分が大量に画像に含まれているような被写体の場合には、スミア成分のために露出が明るく設定されてしまったり、ホワイトバランスがマゼンタに色被りするといった現象が生じる。
【０００７】
それに対して特許文献２では、スミアがその発生原理から垂直方向にほぼ同レベルで発生することに着目して、スミア成分を除去する方法が開示されている。この方法では、先ず、ＣＣＤの有効画素領域外の遮光された領域に垂直ＯＢ画素（オプティカルブラック）を設け、複数ラインの画素を垂直方向に加算平均した平均値を算出する。そして、算出した平均値を基準信号として、有効画面の画素から得られる信号から減算する方法が開示されている。
【０００８】
また、特許文献３においては、垂直ＯＢ画素領域が設定できない場合に、ダミー画素を用いて同様の補正を行う方法が開示されている。
【０００９】
更に、特許文献４においては、輝度レベルに応じて補正量を変えることが開示されており、飽和領域における補正をこれらの手法を用いることである程度改善されることが示されている。
【００１０】
【特許文献１】特開平２−１６２９７６号公報
【特許文献２】特開平７−６７０３８号公報
【特許文献３】特開２０００−５０１６５号公報
【特許文献４】特開２００１−２４９４３号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
しかしながら、近年のＣＣＤの高画素化、高精細化に伴い、スミアレベルが悪化してきており、前述したような手法を用いて補正を行ったとしても十分補正を行うことができなくなっている。その場合、例えば特許文献４に記載されているように、輝度レベルに応じて補正レベルを変えてスミア補正を行うと、信号レベルのリニアリティを悪化させてしてしまい、画像が劣化してしまう。リニアリティが悪化しない程度に補正することも可能であるが、その場合には、十分にスミア補正を行うことができないため、十分な画質の画像を得られないという問題点がある。
【００１２】
また、近年のデジタルカメラの中には、動画撮影中に静止画を撮影する、動画中静止画機能が搭載されるものがある。このような記録方式の場合は、静止画撮影のため前述したようにメカシャッターが使用されて動画撮影が一旦中断されるが、少しでも早い動画撮影への復帰が求められ、高速に静止画を撮影することが求められる。
【００１３】
また、ライブビュー機能を有する撮像装置も存在する。ライブビュー用の画像は上述した動画撮影と同様にして所定周期で撮影され、撮影した画像を撮像装置に備えられた表示器に順次表示することでライブビューを実現することができる。このような撮像装置では、ユーザーがライブビュー画像を観察し、所望のタイミングで静止画の撮影を指示することで、静止画の撮影が行われる。この時、スミアの影響を避けるために、上述したように複数フィールド分の電荷を読み出した後に画像解析してからホワイトバランスや露出補正の計算を行うと、算出までの時間がかかってしまうという問題があった。
【００１４】
静止画撮影を高速化するために、動画撮影中やライブビュー画像を観察しながら静止画の撮影を行う場合に、動画やライブビュー画像の画像データから静止画を撮影する際に必要な解析情報を取得することが考えられる。しかしながら、静止画撮影時と動画撮影時とでは、スミアの影響により、ＣＣＤから出力される信号の出力バランスが異なるため、動画やライブビュー画像から算出された露出やホワイトバランスの制御情報を静止画の撮影にそのまま使用することはできない。即ち、動画やライブビュー画像の画像データから静止画を撮影する際に必要な解析情報を取得するためには、スミアの影響を十分に排除することが必要になる。
【００１５】
しかしながら、前述した理由により、動画においてスミア補正を十分に行ってしまうとリニアリティの劣化が生じて画質が損なわれてしまうため、十分な画質の動画を撮影するためにはスミア補正を十分に行うことができないという問題があった。
【課題を解決するための手段】
【００１６】
上記問題点を解決するために、光電変換を行って画像信号を出力する固体撮像素子と、前記固体撮像素子から連続的に出力される連続画像信号から、スミア成分を検出するスミア検出手段と、前記スミア検出手段により検出されたスミア成分に基づいて、スミアを補正するための第１の補正量を決定する第１の決定手段と、前記スミア検出手段により検出されたスミア成分に基づいて、スミアを補正するための前記第１の補正量よりも大きい第２の補正量を決定する第２の決定手段と、前記連続画像信号に対して、前記第１の補正量によりスミア補正を行う第１の補正手段と、前記第１の補正手段によりスミア補正された前記連続画像信号に対して、前記連続画像信号の記録及び表示の少なくとも一方のための信号処理を行う信号処理手段と、前記連続画像信号に対して、前記第２の補正量によりスミア補正を行う第２の補正手段と、前記第２の補正手段によりスミア補正された前記連続画像信号に基づいて、前記静止画撮影を行った際に得られる画像信号を処理するための処理パラメータを決定する決定手段とを有する撮像装置を提供する。
【００１７】
また、前記固体撮像素子から連続的に出力される連続画像信号から、スミア成分を検出するスミア検出工程と、前記スミア検出工程で検出されたスミア成分に基づいて、第１の補正量を決定する第１の決定工程と、前記スミア検出工程で検出されたスミア成分に基づいて、前記第１の補正量よりも大きい第２の補正量を決定する第２の決定工程と、前記連続画像信号に対して、前記第１の補正量によりスミア補正を行う第１の補正工程と、前記第１の補正工程でスミア補正された前記連続画像信号に対して、前記連続画像信号の記録及び表示の少なくとも一方のための信号処理を行う信号処理工程と、前記連続画像信号に対して、前記第２の補正量によりスミア補正を行う第２の補正工程と、前記第２の補正工程でスミア補正された前記連続画像信号に基づいて、前記静止画撮影を行った際に得られる画像信号を処理するための処理パラメータを決定する決定工程とを有することを特徴とする信号処理方法を提供する。
【発明の効果】
【００１８】
本発明によれば、連続画像に適したスミア補正を行うことができると共に、静止画を処理するためのパラメータの取得に適したスミア補正を行うことが可能となる。
【発明を実施するための最良の形態】
【００１９】
以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。
【００２０】
図１は本発明の実施の形態の撮像装置における信号処理機能を示すブロック図である。なお、本実施の形態における撮像装置は、電子ビューファインダ（ＥＶＦ）に表示されるライブビュー画像を観察しながら、静止画を撮影する機能を有するものとする。
【００２１】
図１において、１００は、光電変換により被写体光学像を電荷に変換する、ＣＣＤに代表される固体撮像素子（以下、ＣＣＤ）である。ＣＣＤ１００は、図２に示すように、撮影時には露光されて画像信号を出力する有効領域と、遮光されたＯＢ（オプティカルブラック）部を有する。ＯＢ部の内、有効領域の下部に構成されたＯＢ部は、本実施の形態ではスミアを検出するために用いるので、特にスミア検出領域と呼ぶ。１０１はＣＣＤ１００から読み出された画像信号を保持するバッファである。
【００２２】
１０２は画像バッファ１０１内に保持された画像信号の内、スミア検出領域の画像信号からスミアを検出するスミア検出部である。スミア検出部１０２による検出結果は、ＥＶＦ用の処理系と、静止画ＷＢ（ホワイトバランス）用の処理系とにそれぞれ出力される。
【００２３】
先ず、ＥＶＦ用の処理系について説明する。１０３はＥＶＦ用スミア補正量決定部（第１の決定手段）で、スミア検出部１０２による検出結果に応じてＥＶＦ用のスミア補正量を決定する。１０５はＥＶＦ用スミア補正部で、ＥＶＦ用スミア補正量決定部１０３が決定したＥＶＦ用のスミア補正量に基づいて、画像バッファ１０１内に保持された画像信号の内、有効領域の画像信号に対してスミア補正を行う。１０６はＥＶＦ用ＷＢ検出部で、ＥＶＦ用スミア補正部１０５によりスミア補正された画像信号から、ＥＶＦ用のＷＢ補正係数を算出する。１０７は信号処理部であり、ＥＶＦ用ＷＢ検出部１０６により算出されたＷＢ補正係数を用いてスミア補正された画像信号にＷＢ補正を行ったり、ＥＶＦ表示に適した画像データに変換するなど、予め決められた信号処理を行う。
【００２４】
次に、静止画ＷＢ用の処理系について説明する。１０４は静止画用スミア補正量決定部（第２の決定手段）で、スミア検出部１０２による検出結果に応じて静止画用のスミア補正量を決定する。１０８は静止画ＷＢ検出用スミア補正部で、静止画用スミア補正量決定部１０４が決定した静止画用スミア補正量に基づいて、画像バッファ１０１内に保持された画像信号の内、有効領域の画像信号を補正する。１０９は静止画用ＷＢ検出部（決定手段）であり、静止画ＷＢ検出用スミア補正部１０８によりスミア補正された画像信号に基づいて、静止画用のＷＢ補正係数を算出する。
【００２５】
次に、本実施の形態における上記構成を有する撮像装置の動作について、図３のフローチャートを参照して説明する。なお、ここでは、静止画を撮影するためにＥＶＦ表示が行われているものとして説明する。
【００２６】
先ず、ステップＳ１では、ＣＣＤ１００から連続的に画像信号を読み出し、画像バッファ１０１に蓄積する。上述したように、ここではＥＶＦ表示の為にＣＣＤ１００の駆動及び画像信号（連続画像信号）の読み出しを行う。ＥＶＦ表示に必要な画像信号の解像度や更新レートは、表示先である表示器によって決められており、特に解像度は、通常、表示先などの制約を受けない静止画像と比較して低い。そのため、ステップＳ１で読み出される画像信号は、ＣＣＤ１００を加算読み出し及び／または間引き読み出しなどを行って読み出された、解像度の低い（データ量の少ない）画像信号である。
【００２７】
次に、ステップＳ２において、スミア検出部１０２は、ステップＳ１で画像バッファ１０１に蓄積された画像信号の内、図２に示すＯＢ領域の画像信号の平均値を算出して黒信号レベルを取得する。次に、ステップＳ３では、スミア検出部１０２は更に図２に示すスミア検出領域の画像信号を垂直方向に加算してから平均値を計算する。ステップＳ４では、ステップＳ３で算出した平均値から、ステップＳ２で算出した黒信号レベルを減算することで、水平方向（列毎）のスミア成分を検出する。ステップＳ４において、スミア検出部１０２によりスミア成分が検出されると、検出されたスミア成分を用いて、上述したＥＶＦ用の処理系による動画用処理と、静止画ＷＢ用の処理系による静止画用ＷＢ検出処理が行われる。
【００２８】
先ず、動画用処理について説明する。
【００２９】
ステップＳ５では、ステップＳ４で検出されたスミア成分の量に応じて、ＥＶＦ用スミア補正量決定部１０３によってＥＶＦ用のスミア補正量（第１の補正量）を決定する。なお、ステップＳ５で決定されるＥＶＦ用スミア補正量については、詳細に後述する。続いてステップＳ６において、ＥＶＦ用スミア補正部１０５により、ステップＳ５で決定したＥＶＦ用スミア補正量を用いて、ステップＳ１で読み出した画像信号の内、図２に示す有効領域の画像信号の内の画像信号を取り出してスミア補正を行う。（第１のスミア補正）。
【００３０】
ステップＳ７では、ＥＶＦ用ＷＢ検出部１０６により、スミア補正された画像信号からＷＢ補正係数を算出し、ステップＳ８では、この算出したＷＢ補正係数を用いて、信号処理部１０７がスミア補正された画像信号のＷＢ補正を行う。更に、ステップＳ９において、信号処理部１０７はＥＶＦ表示に必要な信号処理をＷＢ補正した画像信号に対して行う。信号処理された画像信号は、ステップＳ１０で不図示の表示器に表示されて、上述した一連の処理を終了する。
【００３１】
次に、静止画用ＷＢ検出処理について説明する。
【００３２】
ステップＳ１１では、ステップＳ４で検出されたスミア成分の量に応じて、静止画用スミア補正量決定部１０４によって静止画用のスミア補正量（第２の補正量）を決定する。ここでは静止画用のスミア補正量として、ＥＶＦ用のスミア補正量よりもスミア成分をより強く削減できるような値が決定される。なお、ステップＳ１１で決定される静止画用スミア補正量については、ステップＳ５で決定されるＥＶＦ用スミア補正量と合わせて後述する。続いてステップＳ１２において、静止画ＷＢ検出用スミア補正部１０８により、ステップＳ１１で決定した静止画用スミア補正量を用いて、ステップＳ１で読み出した画像信号の内、図２に示す有効領域の画像信号を取り出してスミア補正を行う。（第２のスミア補正）。
【００３３】
ステップＳ１３では、静止画用ＷＢ検出部１０９により、スミア補正された画像信号からＷＢ補正係数を算出する。その後、ステップＳ１４では、静止画とＥＶＦ画像の撮像駆動モードの差、特に電荷蓄積時間の差を鑑みて感度・色補正を行い、最終的な静止画のＷＢ補正係数を算出する。ステップＳ１５では、ステップＳ１４で算出された静止画用のＷＢ補正係数を保存する。これにより、静止画撮影時にＷＢ補正係数の検出を再度行うことなく、静止画の信号処理を開始することが可能となる。静止画のＷＢ補正係数を保存すると、上述した一連の処理を終了する。
【００３４】
また、ＷＢ補正係数は色温度を推定した結果であるため、推定された色温度に伴ってその他の画像パラメータを決定してもよい。
【００３５】
例えば、ＷＢ補正係数と色温度の対応関係を予め求めておくと共に、例えば色信号処理を行う際のＲ−Ｙ、Ｂ−Ｙ信号に対するゲイン値などの画像処理パラメータを色温度毎に保持しておく。これにより、ＷＢ補正係数及び推定した色温度に応じてパラメータを選択することで、信号処理用のパラメータを決定することが可能である。
【００３６】
次に、ステップＳ７及びステップＳ１３で行割れるＷＢ補正係数の算出方法について説明する。なお、ＷＢ補正係数の算出は一般的な技術であり、公知の算出方法を用いることができるので、ここではその一例について簡単に説明する。また、以下ではＥＶＦ用ＷＢ検出部１０６の動作について説明するが、静止画用ＷＢ検出部１０９も同様にしてＷＢ補正係数を検出することが可能である。その際に、検出対象の画像として、静止画ＷＢ検出用スミア補正部１０８によりスミア補正された静止画用の画像を用いればよい。
【００３７】
ＣＣＤ１００は図４に示す原色ベイヤー配列のフィルタにより覆われているものとし、下記式により色評価値を求める。
Ex=(R-B)/Ｙ
Ey＝((R+B)/2−(G1+G2)/2)/Ｙ
ただし、Y=0.3R+0.59G+0.11B
【００３８】
図５は、予め白色の被写体を自然界に存在する複数の色温度で撮影し、各色温度における色評価値を求めたものである。
【００３９】
図６は本実施の形態におけるＷＢ補正係数の算出機能を示すブロック図である。なお、図１と同様の構成には同じ参照番号を付している。図６において、不図示の制御部から出力されるＷＢ補正係数の取得を指示するＷＢ制御設定信号や、駆動モードに応じて、ＷＢ検出パラメータ決定回路１１０によりＷＢ検出パラメータをＷＢ検出パラメータ候補群１１１より選択して決定する。そして、決定したＷＢ検出パラメータ（色評価値座標上での白色部検出領域や検出色温度設定範囲）をＥＶＦ用ＷＢ検出部１０６に設定する。ＥＶＦ用ＷＢ検出部１０６では、設定されたＷＢ検出パラメータを用いて、白画素を検出する。
【００４０】
白画素の検出には、先ず、画像を複数の小領域（サンプルエリア）に分割する。ここで、小領域とは、１画面をｍ個の領域に分割した内の１つの領域を示し、その小領域に存在するＲＧＢ信号を画素毎に平均化した信号を取得する。
【００４１】
次に、各サンプルエリアにおいて取得した平均化した信号に基づいてそれぞれ求められた色評価値を、設定されたＷＢ検出パラメータに照らし合わせ、各サンプルエリアが図５の白判別範囲５００に含まれるか否かをそれぞれ判別する。白判別範囲５００は色評価値空間上に設定された白判別範囲の一例であり、色度座標上などの色空間上に座標値などで白判別範囲を指定することが可能である。またこれらのＷＢ検出パラメータは被写体輝度やホワイトバランスのモード等に応じて変更されるのが一般的である。
【００４２】
サンプルエリアが白判別範囲５００に含まれる場合は、そのサンプルエリアの画素から出力される出力値を各色毎に加算する。上述した判別を画面上の全てのサンプルポイントで行い、それらの加算平均値から、ＲＧＢ信号の平均値が同じレベルになるように色毎に利得を求めて、その利得をＷＢ補正係数とする。以上のようにして、ＷＢ補正係数を求めることが可能である。
【００４３】
次にＥＶＦ用にスミア補正された信号は、信号処理部１０７内のＷＢ制御部１１２にて算出されたＷＢ補正係数によりＷＢ補正が行われる。ＷＢ補正された信号は、色信号処理部１１３にて色マトリックスや高輝度色消し、高彩度色抑圧などを行うことにより彩度・色相の制御が行われ、色信号が作成される。また、ＷＢ補正された信号は、輝度信号処理部１１４にて輝度階調補正やエッジ強調信号処理などが行われて輝度信号が作成される。
【００４４】
次に、ステップＳ５及びステップＳ１１で行われるスミア補正量の決定方法について説明を行う。
【００４５】
図７は、動画用及び静止画用のスミア補正特性を示したものである。横軸が入力であるスミア検出値、縦軸が出力であるスミア補正量を表している。図７に示すように、本実施の形態では、スミア量が予め決められたスミア量（所定量）よりも少ない場合には（図７ではスミア検出信号が１００までの範囲）、検出されたスミア検出値を用いてそのまま補正を行う。そして、スミア量が増加するにつれてスミア補正量を小さくするよう設定する。また、静止画用のスミア補正量は、予め決められたスミア量を超えた場合に、動画用よりも大きくなる特性を有する。このようにスミア補正量を設定する理由について以下に説明する。
【００４６】
前述したとおり、スミア成分は、その原理上、固体撮像信号から出力された信号値から、スミア成分として検出された信号量を減算することで除去補正することが可能である。
【００４７】
図８（ａ）は通常露光領域（有効領域から出力された画像信号の内、飽和していない画素から出力された画像信号のレベルの領域）におけるスミアと信号値の関係を示す図である。また、図８（ｂ）は図８（ａ）に示す画像信号に対してスミア成分を減算した後の信号値を示す図である。図８から分かるように、通常露光領域においては通常のリニアリティが保たれているため、スミア成分をそのまま減算することで適切にスミア補正することが可能である。
【００４８】
これに対し、スミア成分が大きくなり過ぎると、飽和が起きている領域においてはスミア成分を減算することで信号値が必要以上に下がってしまう。スミア成分の減算により飽和レベルに到達しなくなるとともに、色づいてしまうという画像劣化が生じる。
【００４９】
一般的に、センサー出力に対してＡＦＥ（Analog Fornt End）内で黒レベル調整とＡ／Ｄ変換が行われる。例えば、ＡＦＥが１０ビットでＡ／Ｄ変換を行う場合、センサーの出力が非常に高く、ＡＦＥに１０ビットを超えるような飽和信号が入力されると、Ａ／Ｄ変換がなされると１０ビットの範囲でクリップされる。
【００５０】
図９（ａ）は飽和領域（有効領域から出力された画像信号の内、飽和している画素から出力された画像信号のレベルの領域）におけるスミアと信号値の関係を示している。また、図９（ｂ）はＡＦＥにてクリップした後の信号値、図９（ｃ）は図９（ｂ）に示す画像信号に対して、スミア補正を実施した例を示す。図９から分かるように、飽和領域の画像信号に対してスミア除去を行うと、信号値に不足分が生じてしまう。
【００５１】
上述した現象のため、液晶などに表示させる表示用画像や動画記録される画像から検出されたスミア成分をそのまま除去すると、高輝度部分が暗く表現されるために画質が損なわれてしまう。また最近のセンサーの微細化に伴いスミアの発生量が増大してきていることを考え合わせると、完全に除去することは更に難しい。
【００５２】
一方、静止画ＷＢ検出用の画像信号に関しては、補正後の画像信号を表示することはない。また、実際の静止画撮影においては、画像信号の読み出しに先だって転送路上のスミアを吐き出すために、スミアの影響を受けない。そのため、ＥＶＦ表示時に得られる画像から静止画用のＷＢ補正係数を算出するためには、スミア成分を十分に除去することが必要になる。ＥＶＦ表示時に得られる画像からスミア成分を十分に除去するためには、動画用に比べて静止画用の補正特性を強めにする、つまり補正量の値を大きくする。
【００５３】
また、ＥＶＦ表示用の画像に対しては、スミア成分の補正量をリニアリティが悪化しない程度にする。このようにすることで、ＥＶＦ用の画像の画質劣化を抑えながら、静止画用のＷＢ補正係数算出用には、十分にスミア成分を除去した画像信号を得ることができる。
【００５４】
ＥＶＦ用スミア補正量決定部１０３及び静止画用スミア補正量決定部１０４に、図７に示すスミア成分の量（スミア検出信号）に対するスミア補正量を保持しておく。これにより、スミア検出部１０２により検出されたスミア成分の量に応じたスミア補正量を決定することができる。または、図７に示すスミア検出信号に対するスミア補正量を不図示のメモリに保持しておき、ＥＶＦ用スミア補正量決定部１０３及び静止画用スミア補正量決定部１０４が必要に応じて参照できるように構成しても良い。
【００５５】
上記の通り本実施の形態によれば、スミア補正を行う場合に、ＥＶＦ表示用の画像ではスミア補正による画質劣化を抑えると共に、静止画を処理するためのパラメータを取得する為には、十分にスミア補正を行った画像信号を得ることが可能になる。
【００５６】
なお、上述した実施の形態においては、静止画を撮影するためにＥＶＦ表示が行われている場合について説明したが、動画記録中に静止画を撮影する場合にも本発明を同様に適用することが可能である。
【図面の簡単な説明】
【００５７】
【図１】本発明の実施の形態の撮像装置における信号処理機能を示すブロック図である。
【図２】本発明の実施の形態におけるＣＣＤの領域を説明するための図である。
【図３】本発明の実施の形態における動作を示すフローチャートである。
【図４】カラーフィルタ配列の一例を示す図である。
【図５】ホワイトバランス用の色評価値空間及び白判別範囲の一例を示す図である。
【図６】本発明の実施の形態におけるＷＢ補正係数の算出機能を示すブロック図である。
【図７】動画用及び静止画用のスミア補正特性を示す図である。
【図８】通常露光領域におけるスミアと信号値の関係を示す図である。
【図９】飽和領域におけるスミア補正の様子を示した図である。
【符号の説明】
【００５８】
１００ 固体撮像素子
１０１ 画像バッファ
１０２ スミア検出部
１０３ ＥＶＦ用スミア補正量決定部
１０４ 静止画用スミア補正量決定部
１０５ ＥＶＦ用スミア補正部
１０６ ＥＶＦ用ＷＢ検出部
１０７ 信号処理部
１０８ 静止画ＷＢ検出用スミア補正部
１０９ 静止画用ＷＢ検出部
１１０ ＷＢ検出用パラメータ決定回路
１１１ ＷＢ検出用パラメータ候補群
１１２ ＷＢ制御部
１１３ 色信号処理部
１１４ 輝度信号処理部
【特許請求の範囲】
【請求項１】
光電変換を行って画像信号を出力する固体撮像素子と、
前記固体撮像素子から連続的に出力される連続画像信号から、スミア成分を検出するスミア検出手段と、
前記スミア検出手段により検出されたスミア成分に基づいて、スミアを補正するための第１の補正量を決定する第１の決定手段と、
前記スミア検出手段により検出されたスミア成分に基づいて、スミアを補正するための前記第１の補正量よりも大きい第２の補正量を決定する第２の決定手段と、
前記連続画像信号に対して、前記第１の補正量によりスミア補正を行う第１の補正手段と、
前記第１の補正手段によりスミア補正された前記連続画像信号に対して、前記連続画像信号の記録及び表示の少なくとも一方のための信号処理を行う信号処理手段と、
前記連続画像信号に対して、前記第２の補正量によりスミア補正を行う第２の補正手段と、
前記第２の補正手段によりスミア補正された前記連続画像信号に基づいて、静止画撮影を行った際に得られる画像信号を処理するための処理パラメータを決定する決定手段と
を有することを特徴とする撮像装置。
【請求項２】
前記処理パラメータは、ＷＢ補正係数を含むことを特徴とする請求項１に記載の撮像装置。
【請求項３】
光電変換を行って画像信号を出力する固体撮像素子を有する撮像装置における信号処理方法であって、
前記固体撮像素子から連続的に出力される連続画像信号から、スミア成分を検出するスミア検出工程と、
前記スミア検出工程で検出されたスミア成分に基づいて、第１の補正量を決定する第１の決定工程と、
前記スミア検出工程で検出されたスミア成分に基づいて、前記第１の補正量よりも大きい第２の補正量を決定する第２の決定工程と、
前記連続画像信号に対して、前記第１の補正量によりスミア補正を行う第１の補正工程と、
前記第１の補正工程でスミア補正された前記連続画像信号に対して、前記連続画像信号の記録及び表示の少なくとも一方のための信号処理を行う信号処理工程と、
前記連続画像信号に対して、前記第２の補正量によりスミア補正を行う第２の補正工程と、
前記第２の補正工程でスミア補正された前記連続画像信号に基づいて、静止画撮影を行った際に得られる画像信号を処理するための処理パラメータを決定する決定工程と
を有することを特徴とする信号処理方法。
【請求項１】
光電変換を行って画像信号を出力する固体撮像素子と、
前記固体撮像素子から連続的に出力される連続画像信号から、スミア成分を検出するスミア検出手段と、
前記スミア検出手段により検出されたスミア成分に基づいて、スミアを補正するための第１の補正量を決定する第１の決定手段と、
前記スミア検出手段により検出されたスミア成分に基づいて、スミアを補正するための前記第１の補正量よりも大きい第２の補正量を決定する第２の決定手段と、
前記連続画像信号に対して、前記第１の補正量によりスミア補正を行う第１の補正手段と、
前記第１の補正手段によりスミア補正された前記連続画像信号に対して、前記連続画像信号の記録及び表示の少なくとも一方のための信号処理を行う信号処理手段と、
前記連続画像信号に対して、前記第２の補正量によりスミア補正を行う第２の補正手段と、
前記第２の補正手段によりスミア補正された前記連続画像信号に基づいて、静止画撮影を行った際に得られる画像信号を処理するための処理パラメータを決定する決定手段と
を有することを特徴とする撮像装置。
【請求項２】
前記処理パラメータは、ＷＢ補正係数を含むことを特徴とする請求項１に記載の撮像装置。
【請求項３】
光電変換を行って画像信号を出力する固体撮像素子を有する撮像装置における信号処理方法であって、
前記固体撮像素子から連続的に出力される連続画像信号から、スミア成分を検出するスミア検出工程と、
前記スミア検出工程で検出されたスミア成分に基づいて、第１の補正量を決定する第１の決定工程と、
前記スミア検出工程で検出されたスミア成分に基づいて、前記第１の補正量よりも大きい第２の補正量を決定する第２の決定工程と、
前記連続画像信号に対して、前記第１の補正量によりスミア補正を行う第１の補正工程と、
前記第１の補正工程でスミア補正された前記連続画像信号に対して、前記連続画像信号の記録及び表示の少なくとも一方のための信号処理を行う信号処理工程と、
前記連続画像信号に対して、前記第２の補正量によりスミア補正を行う第２の補正工程と、
前記第２の補正工程でスミア補正された前記連続画像信号に基づいて、静止画撮影を行った際に得られる画像信号を処理するための処理パラメータを決定する決定工程と
を有することを特徴とする信号処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２００９−２７５５５（Ｐ２００９−２７５５５Ａ）
【公開日】平成２１年２月５日（２００９．２．５）
【国際特許分類】
【出願番号】特願２００７−１８９９９３（Ｐ２００７−１８９９９３）
【出願日】平成１９年７月２０日（２００７．７．２０）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２１年２月５日（２００９．２．５）
【国際特許分類】
【出願日】平成１９年７月２０日（２００７．７．２０）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]