撮像装置及びその信号処理方法
【課題】被写体の状態や撮影シーンに依らず、精度良くフリッカの影響を除去することができる撮像装置を提供する。
【解決手段】ラインフリッカのような一次元の光シェーディングの影響を受ける撮像装置を用いる場合、撮像素子１０３の一部分に拡散光を入射させるべく、撮像素子１０３の前面に光学的拡散部である拡散板３０１を配置する。拡散板３０１によって拡散された入射光による撮像素子１０３からの出力信号を用いて、その光シェーディングパターンを検出する。そして、フリッカパターンとして想定される光シェーディングを補正する。
【解決手段】ラインフリッカのような一次元の光シェーディングの影響を受ける撮像装置を用いる場合、撮像素子１０３の一部分に拡散光を入射させるべく、撮像素子１０３の前面に光学的拡散部である拡散板３０１を配置する。拡散板３０１によって拡散された入射光による撮像素子１０３からの出力信号を用いて、その光シェーディングパターンを検出する。そして、フリッカパターンとして想定される光シェーディングを補正する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、静止画像や動画像を撮像する撮像装置及びその信号処理方法に関する。
【背景技術】
【０００２】
従来、この種の撮像装置として、固体メモリ素子を有するメモリカードを記録媒体とし、ＣＣＤ、ＣＭＯＳ等の固体撮像素子で撮像した静止画像や動画像を記録、再生する電子カメラ等の撮像装置が既に市販されている。特に、ＣＭＯＳイメージセンサは、低電圧、低消費電力等の点から、撮像装置に搭載される撮像素子として用いられる頻度が増してきている。
【０００３】
ところで、撮影環境に蛍光灯などの点滅する光源がある場合、撮像装置で撮像される画像はその光源によるフリッカの影響を受ける。特に、ＣＭＯＳイメージセンサによる撮像においては、撮像素子の各行の露光時刻が異なるため、発生するフリッカは、図７に示す画像のように、画面垂直方向に出力が変化するラインフリッカとなる。図７はＣＭＯＳイメージセンサで発生するラインフリッカの一例を示す図である。
【０００４】
このような撮像システムによって撮影される被写体に、蛍光灯などのフリッカの影響が及ぼされている場合、そのフリッカによる影響を除去もしくは低減させるような補正処理方法がいくつか提案されている。
【０００５】
例えば、特許文献１には、垂直走査周期毎の信号出力値の比較によりフリッカの有無を検知し、その結果に応じて信号蓄積時間を変えることで、フリッカの影響を低減させる方法が示されている。しかし、このような信号処理方法では、フリッカを検出するために２回以上の撮影が必要になり、撮影時間が余計にかかってしまう。また、フリッカ検出に用いる画像の撮影時刻と実際の撮影画像の撮影時刻との間には、必ず時間差が発生するため、その間にフリッカの状態が変化してしまうと、正しくフリッカパターンを除去できないおそれもある。
【０００６】
一方、撮影された画像自身を解析し、その画像に含まれているフリッカパターンを検出することが可能であれば、撮影時間を延ばすこともなく、パターンのずれも無く、補正が可能である。このため、複数枚の画像からの情報を元にフリッカパターンを補正する方法よりも、精度良くフリッカパターンを除去できる点で、このような方法は有利である。具体的に、撮影された画像自身を用い、その垂直方向のシェーディングを検出することで、撮影画像に含まれるフリッカパターンを検出するという方法が考えられている。例えば、特許文献２には、行毎に画素レベルを積算して算出されたライン明度値の変動周期からフリッカの存在を検出する方法が示されている。
【特許文献１】特公平８−１５３２４号公報
【特許文献２】特開２００４−２６０５７４公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記従来の信号処理方法には、以下に掲げる問題があった。図７のように、被写体の背景が“均一輝度面”である場合、背景部の信号振幅から精度良くフリッカパターンを検出することは可能である。しかし、現実的に撮影画面内には様々な被写体が存在しており、背景が“均一輝度面”であることは極めて稀である。従って、撮影された画像から、その画像の持つフリッカパターンを検出することは、通常困難である。
【０００８】
そこで、本発明は、上記問題を解決するためになされたものであり、被写体の状態や撮影シーンに依らず、精度良くフリッカの影響を除去することができる撮像装置及びその信号処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明の撮像装置は、被写体を撮像する撮像装置において、入射光を電気信号に変換する複数の画素からなる撮像素子と、前記撮像素子からの電気信号を処理する信号処理手段と、前記撮像素子に入射する光束の一部を拡散させる光学的拡散手段とを備え、前記信号処理手段は、前記光学的拡散手段により拡散された光束に対応する前記撮像素子からの電気信号の一部を基に、当該撮像素子からの電気信号に対し、シェーディングを補正することを特徴とする。
【００１０】
本発明の撮像装置の信号処理方法は、入射光を電気信号に変換する複数の画素からなる撮像素子と、前記撮像素子からの電気信号を処理する信号処理手段とを備え、被写体を撮像する撮像装置の信号処理方法において、前記撮像装置の光学的拡散手段が前記撮像素子に入射する光束の一部を拡散させる光学的拡散ステップと、前記信号処理手段が、前記拡散された光束に対応する前記撮像素子からの電気信号の一部を基に、当該撮像素子からの電気信号に対し、シェーディングを補正する補正ステップとを有することを特徴とする。
【発明の効果】
【００１１】
本発明の請求項１に係る撮像装置は、光学的拡散手段により撮像素子の一部分に入射する光束の一部を拡散する。この拡散された入射光に対応する撮像素子からの電気信号の一部を基に、信号処理手段は、撮像素子からの電気信号に対し、光シェーディングを補正する。これにより、ラインフリッカのような一次元の光シェーディングの影響を受ける撮像素子を用いた場合、フリッカパターンとして想定される光シェーディングを補正することができる。従って、余計なフリッカ検出のために撮影時間を延ばすことも無く、被写体の状態や撮影シーンに依らず、精度良くフリッカの影響を除去することができる。
【００１２】
請求項２に係る撮像装置によれば、フリッカパターンの検出を確実に行うことができる。請求項３に係る撮像装置によれば、出力画像に用いられる撮像素子の画素領域を避けることが可能となる。請求項４に係る撮像装置によれば、シェーディング補正を精度良く行うことができる。請求項５に係る撮像装置によれば、ノイズ等の高周波成分を取り除くことができる。請求項６に係る撮像装置によれば、データ量を減らすことができ、処理の高速化に繋がる。
【００１３】
請求項７に係る撮像装置によれば、拡散板を用いることで光束を容易に拡散させることができる。請求項８に係る撮像装置によれば、光学的拡散手段を光学フィルタの一部とすることで別の部材として設ける必要が無く、スペースを有効活用することができる。請求項９に係る撮像装置によれば、光学的拡散手段をカバーガラスの一部とすることで別の部材として設ける必要が無く、スペースを有効活用することができる。請求項１０に係る撮像装置によれば、アスペクト比の設定や、手ブレなどの状態に応じて撮像面の使用領域を変える電子防振機能に対応することができる。請求項１１に係る撮像装置によれば、出力画像に用いられる撮像素子の画素領域と拡散光が到達する画素領域とが重ならないようにすることができる。
【発明を実施するための最良の形態】
【００１４】
本発明の撮像装置及びその信号処理方法の実施の形態について図面を参照しながら説明する。本実施形態の撮像装置はＣＭＯＳイメージセンサを撮像素子として用いたデジタルカメラに適用される。
【００１５】
[第１の実施形態]
図１は第１の実施形態におけるＣＭＯＳイメージセンサを用いた撮像装置の構成を示す図である。撮像装置は、レンズおよび絞りからなる光学系１０１、メカニカルシャッタ（図中、メカシャッタ）１０２、入射光を電気信号に変換する撮像素子１０３、および撮像素子１０３に達する入射光の一部を拡散させる光学的拡散部１３０を有する。撮像素子１０３は行方向および列方向に配置された複数の画素を有する。
【００１６】
また、撮像装置は、撮像素子１０３から出力される画像信号に対してアナログ信号処理を行うアナログ信号処理回路１０６を有する。アナログ信号処理回路１０６の内部には、相関二重サンプリングを行うＣＤＳ回路１０７、アナログ信号を増幅させる信号増幅器（ＰＧＡ回路）１０８、およびアナログ信号をデジタル信号に変換するＡ／Ｄ変換器１０９が設けられている。
【００１７】
また、撮像装置は、撮像素子１０３、 ＣＤＳ回路１０７およびＡ／Ｄ変換器１０９を動作させる信号を発生するタイミング信号発生回路１１０、および光学系１０１、メカニカルシャッタ１０２および光学的拡散部１３０を駆動する駆動回路１１１を有する。また、撮像装置は、撮影した画像データに必要な信号処理を行うデジタル信号処理回路１１２、信号処理が行われた画像データを記憶する画像メモリ１１３、および撮像装置から取り外し可能な画像記録媒体（図中、記録媒体）１１４を有する。
【００１８】
また、撮像装置は、信号処理が行われた画像データを画像記録媒体１１４に記録する記録回路１１５、信号処理が行われた画像データを表示する画像表示装置１１６、および画像表示装置１１６に画像を表示する表示回路１１７を有する。
【００１９】
また、撮像装置は、撮像装置全体を制御するシステム制御部１１８、不揮発性メモリ（ＲＯＭ）１１９および揮発性メモリ（ＲＡＭ）１２０を有する。ＲＯＭ１１９には、システム制御部１１８で実行される制御方法を記載したプログラム、このプログラムを実行する際に使用されるパラメータやテーブル等の制御データ、およびキズアドレス等の補正データが記憶される。システム制御部１１８は、不揮発性メモリ１１９に記憶されたプログラム、制御データおよび補正データを、撮像装置を制御する際に使用するＲＡＭ１２０に転送して記憶しておく。
【００２０】
上記構成を有する撮像装置を用いた撮影動作について説明する。撮影動作に先立ち、撮像装置の電源投入時等のシステム制御部１１８の動作開始時、システム制御部１１８は、前述したように、不揮発性メモリ１１９から必要なプログラム、制御データおよび補正データを揮発性メモリ１２０に転送して記憶しておくものとする。
【００２１】
また、システム制御部１１８は、これらのプログラムやデータを、撮像装置を制御する際に使用する。また、システム制御部１１８は、必要に応じて、追加のプログラムやデータを不揮発性メモリ１１９から揮発性メモリ１２０に転送したり、不揮発性メモリ１１９内のデータを直接読み出して使用する。
【００２２】
光学系１０１は、前述したように絞りとレンズからなり、システム制御部１１８からの制御信号により制御される駆動回路１１１によって駆動され、適切な明るさに設定された被写体像を撮像素子１０３に結像させる。
【００２３】
メカニカルシャッタ１０２は、静止画撮影時、システム制御部１１８からの制御信号により制御される駆動回路１１１によって駆動され、必要な露光時間となるように撮像素子１０３の動作に合わせて撮像素子１０３を遮光する。このとき、撮像素子１０３が電子シャッタ機能を有する場合、メカニカルシャッタ１０２と併用して、必要な露光時間を確保するようにしてもよい。
【００２４】
なお、動画撮影時および静止画撮影時、メカシャッタ１０２を用いずに撮像素子１０３の電子シャッタ機能のみで露光時間を制御するモードで撮影する場合、撮影動作中、メカシャッタ１０２を常に開いた状態に維持しておく。
【００２５】
光学的拡散部１３０は、システム制御部１１８からの制御信号により制御される駆動回路１１１によって駆動され、撮影シーンや駆動条件に応じて、撮像素子１０３の撮像面における光学的拡散部１３０による拡散光が達する範囲が変化するように移動する。基本的に、最終的に生成される画像に使用される領域と、光学的拡散部１３０による拡散光が達する領域とが重ならないように、光学的拡散部１３０の移動は制御される。
【００２６】
撮像素子１０３は、システム制御部１１８により制御されるタイミング信号発生回路１１０が発生する動作パルスを元にした駆動パルスで駆動され、被写体像を光電変換により電気信号に変換してアナログ画像信号として出力する。撮像素子１０３から出力されたアナログ画像信号は、ＣＤＳ回路１０７でクロック同期性ノイズが除去され、ＰＧＡ（programmable gain amplifier）回路１０８で入射光量に応じて設定された増幅率（ゲイン）で増幅される。さらに、このアナログ信号はＡ／Ｄ変換器１０９でデジタル画像信号に変換される。これらの動作は、システム制御部１１８により制御されるタイミング信号発生回路１１０が発生する動作パルスにより行われる。
【００２７】
デジタル信号処理回路１１２は、システム制御部１１８により制御され、デジタル画像信号中のフリッカパターン成分の検出および補正を行う。また、デジタル信号処理回路１１２は、デジタル画像信号に対し、色変換、ホワイトバランス、ガンマ補正等の画像処理、解像度変換処理、画像圧縮処理等を行う。画像メモリ１１３は、信号処理中のデジタル画像信号を一時的に記憶し、また、信号処理が行われたデジタル画像信号である画像データを記憶する。
【００２８】
デジタル信号処理回路１１２で信号処理が行われた画像データや、画像メモリ１１３に記憶されている画像データは、記録回路１１５によって画像記録媒体１１４に適したデータに変換され、画像記録媒体１１４に記録される。画像記録媒体１１４に適したデータとして、例えば階層構造を持つファイルシステムデータが挙げられる。また、これらの画像データは、デジタル信号処理回路１１２で解像度変換処理が行われた後、表示回路１１７において画像表示装置１１６に適した信号（例えばＮＴＳＣ方式のアナログ信号等）に変換され、画像表示装置１１６に表示される。
【００２９】
ここで、デジタル信号処理回路１１２は、システム制御部１１８からの制御信号により信号処理を行わずにデジタル画像信号をそのまま画像データとして、画像メモリ１１３や記録回路１１５に出力してもよい。
【００３０】
また、デジタル信号処理回路１１２は、システム制御部１１８から要求があった場合、信号処理の過程で生じたデジタル画像信号や画像データの情報をシステム制御部１１８に出力する。この情報として、例えば、画像の空間周波数、指定領域の平均値、圧縮画像のデータ量等の情報、あるいは、それらから抽出された情報が挙げられる。さらに、記録回路１１５は、システム制御部１１８から要求があった場合、画像記録媒体１１４の種類や空き容量等の情報をシステム制御部１１８に出力する。
【００３１】
さらに、画像記録媒体１１４に画像データが記録されている場合の再生動作について説明する。記録回路１１５は、システム制御部１１８からの制御信号により、画像記録媒体１１４から画像データを読み出す。デジタル信号処理回路１１２は、同じくシステム制御部１１８からの制御信号により、画像データが圧縮画像であった場合、画像伸長処理を行い、画像メモリ１１３に記憶する。画像メモリ１１３に記憶されている画像データは、デジタル信号処理回路１１２で解像度変換処理が行われた後、表示回路１１７によって画像表示装置１１６に適した信号に変換され、画像表示装置１１６に表示される。
【００３２】
つぎに、撮像装置におけるフリッカ検出およびその補正動作を示す。図２は撮像装置における撮像動作手順を示すフローチャートである。この処理プログラムはＲＯＭ１１９に格納されており、システム制御部１１８内のＣＰＵ（図示せず）によって実行される。
【００３３】
撮像シーケンスの開始後、次のような動作が行われる。まず、システム制御部１１８は、撮影モードに応じて、ＡＥ，ＡＦなどの結果を基に、駆動回路１１１およびタイミング信号発生回路１１０を介して、光学系１０１、撮像素子１０３、アナログ信号処理回路１０６などの初期設定を行う（ステップＳ１）。
【００３４】
システム制御部１１８は、ステップＳ１で設定された撮影モードの初期設定に応じて、光学的拡散部１３０の位置を制御する（ステップＳ２）。具体的に、例えばアスペクト比の設定や手ブレなど状態に応じて撮像面の使用領域を変える電子防振機能により、出力画像に用いられる撮像素子１０３の画素領域が変化する場合、次のような動作が行われる。すなわち、システム制御部１１８は、その画素領域の変化に連動して拡散光の達する領域も移動するように、光学的拡散部１３０の位置を変化させる。
【００３５】
システム制御部１１８は、メカシャッタ１０２を制御し、１回の撮影を行う（ステップＳ３）。システム制御部１１８は、デジタル信号処理回路１１２により、撮影された画像からフリッカパターンを検出する（ステップＳ４）。具体的に、デジタル信号処理回路１１２は、デジタル信号処理回路１１２に入力された画像信号のうち、光学的拡散部１３０による拡散光が入射される領域の画像信号に対し、行方向である水平方向に射影を求める。そして、デジタル信号処理回路１１２は、水平方向に射影された画像信号の垂直写像信号に対し、必要であれば移動平均やフィルタ処理を行ってノイズ等の高周波成分を取り除いた後、離散フーリエ変換等を施す。そして、デジタル信号処理回路１１２は、離散フーリエ変換を施して得られた空間周波数を基に、フリッカパターンとして想定される垂直方向の光シェーディングの振幅、周波数および位相を求める。このように、水平方向に射影された画像信号の垂直写像信号を用いることで、シェーディング補正を精度良く行うことが可能となる。また、移動平均やフィルタ処理を行うことで、ノイズ等の高周波成分を取り除くことができる。また、離散フーリエ変換を施すことで、データ量を減らすことができ、処理の高速化に繋がる。
【００３６】
デジタル信号処理回路１１２は、ステップＳ４におけるフリッカパターンの検出結果を基に、撮影環境下にフリッカが存在するか否かを判定する（ステップＳ５）。ステップＳ５の判定の結果、フリッカが存在すると判定された場合、デジタル信号処理回路１１２は、ステップＳ４の検出結果を基に、周知の光シェーディング補正（例えは、輝度値を変化させる補正）を用いて、フリッカパターンを補正する（ステップＳ６）。この後、デジタル信号処理回路１１２は、ステップＳ７の処理に進む。一方、ステップＳ５における判定の結果、フリッカが存在しないと判定された場合、デジタル信号処理回路１１２は、そのままステップＳ７の処理に進む。
【００３７】
デジタル信号処理回路１１２は、ステップＳ６においてフリッカ補正処理が施された画像信号を画像メモリ１１３に記憶する（ステップＳ７）。デジタル信号処理回路１１２は、画像メモリ１１３に記憶されている画像信号に対し、デジタル信号処理回路１１２によって色変換、ホワイトバランス、ガンマ補正等の画像処理、解像度変換処理、画像圧縮処理等を施す。この後、デジタル信号処理回路１１２は、各種処理が施された画像信号を、記録回路１１５によって画像記録媒体１１４に適したデータに変換し、画像記録媒体１１４に記録する（ステップＳ８）。また、デジタル信号処理回路１１２は、表示回路１１７によって画像表示装置１１６に適した信号に変換し、画像表示装置１１６に表示する。この後、デジタル信号処理回路１１２は、一連の撮像動作を終了する。
【００３８】
つぎに、本実施形態における光学的拡散部と撮像素子との位置関係について説明する。図３は光学的拡散部として拡散板を使用する場合の光学的拡散部の構成および拡散板と撮像素子との位置関係を示す図である。拡散板３０１は、撮像素子１０３の一部分（図中右側部分）に入射光を拡散させるように配置されている。このように、入射光が拡散して入射する撮像素子１０３の一部分では、あたかも背景が“均一輝度面”であるかのような被写体像が撮像される。従って、この部分の撮像信号を用いることにより、ステップＳ４におけるフリッカパターン（光シェーディングパターン）の検出を精度良く行うことができる。
【００３９】
また、拡散板３０１は、ホルダ３０２によって保持されている。ホルダ３０２は、駆動回路１１１によって駆動され、図中左右方向に移動自在な構造となっている。例えば、アスペクト比の設定や手ブレなどの状態に応じて撮像面の使用領域を変える電子防振機能により、出力画像に用いられる撮像素子１０３の画素領域は変化する。このように、出力画像に用いられる撮像素子１０３の画素領域が変化する場合、ホルダ３０２は、その領域に連動して拡散光の達する領域も移動するように、拡散板３０１の位置を図中左右方向に変化させる。
【００４０】
このように、第１の実施形態の撮像装置では、ラインフリッカのような一次元の光シェーディングの影響を受ける撮像装置を用いた場合、撮像素子の一部分に拡散光を入射させるべく、撮像素子の前面に光学的拡散部を配置する。そして、拡散された入射光による出力信号を用い、フリッカパターンとして想定されるその光シェーディングパターンを検出する。これにより、余計なフリッカ検出のために撮影時間を延ばすことも無く、被写体の状態や撮影シーンに依らず、精度良くフリッカの影響を除去することができる。また、フリッカパターンの検出を確実に行うことができる。また、撮像面周辺に位置する複数列の画素領域を含むように、拡散板が配置されるので、出力画像に用いられる撮像素子の画素領域を避けることが可能となる。また、拡散板を用いることで光束を容易に拡散させることができる。また、アスペクト比の設定や、手ブレなどの状態に応じて撮像面の使用領域を変える電子防振機能に対応することができる。また、出力画像に用いられる撮像素子の画素領域と拡散光が到達する画素領域とが重ならないようにすることができる。
【００４１】
［第２の実施形態］
図４は第２の実施形態における光学的拡散部として拡散板を使用する場合の光学的拡散部の構成および拡散板と撮像素子との位置関係を示す図である。なお、撮像装置におけるその他の構成および動作は前記第１の実施形態と同様である。
【００４２】
拡散板４０１は、透明な部分４０１ａと光を拡散する部分４０１ｂとから構成されている。前記第１の実施形態の図３と同様、拡散板４０１は、その光を拡散する部分４０１ｂによって、撮像素子１０３の一部分（図中右側）に入射光を拡散させるように、配置されている。また、拡散板４０１は、ホルダ４０２によって保持されている。ホルダ４０２も、前記第１の実施形態（図３参照）におけるホルダ３０２と同様、図中左右方向に移動自在な構造を有しており、撮影条件に応じて拡散板の位置を変化させる。
【００４３】
このように、第２の実施形態の撮像装置においても、前記第１の実施形態と同様の効果が発揮される。
【００４４】
［第３の実施形態］
図５は第３の実施形態における光学的拡散部としてローパスフィルタや赤外カットフィルタなど別の機能を有する光学フィルタの一部を使用する場合の光学フィルタの構成およびそれと撮像素子との位置関係を示す図である。なお、撮像装置におけるその他の構成および動作は前記第１の実施形態と同様である。
【００４５】
光学フィルタ５０１は、撮像素子１０３の前面に配置されており、ホルダ５０２によって保持されている。また、光学フィルタ５０１の図中右側部分は、入射光が拡散されるような拡散機能を有する部分５０１ａとなっている。この拡散機能を有する部分５０１ａは、撮像素子１０３の図中右側の一部分に入射光を拡散させるように位置する。なお、ホルダ５０２も、前記第１の実施形態（図３参照）におけるホルダ３０２と同様、図中左右方向に移動自在な構造を有し、撮影条件に応じてその位置を変化させる。
【００４６】
このように、第３の実施形態の撮像装置によれば、拡散機能を有する部分を光学フィルタの一部とすることで別の部材として設ける必要が無く、スペースを有効活用することができる。
【００４７】
［第４の実施形態］
図６は第４の実施形態における光学的拡散部として撮像素子１０３の前面に配置されたカバーガラスの一部を使用する場合のカバーガラスの構成およびそれと撮像素子との位置関係を示す図である。なお、撮像装置におけるその他の構成および動作は前記第１の実施形態と同様である。
【００４８】
撮像素子１０３の前面は、撮像面を保護するために、カバーガラス６０１で覆われている。また、カバーガラス６０１の図中右側部分は、入射光が拡散されるような拡散機能を有する領域６０１ａとなっている。この入射光を拡散させる領域６０１ａによって、その拡散光が撮像素子１０３の図中右側に位置する所定の画素に到達するように、カバーガラス６０１は配置される。
【００４９】
このように、第４の実施形態の撮像装置によれば、拡散機能を有する領域をカバーガラスの一部とすることで、別の部材として設ける必要が無く、スペースを有効活用することができる。
【００５０】
なお、本発明は、上記実施形態の構成に限られるものではなく、特許請求の範囲で示した機能、または本実施形態の構成が持つ機能が達成できる構成であればどのようなものであっても適用可能である。
【００５１】
例えば、上記各実施形態では、いずれも撮像素子の左右一方のみにフリッカ検出領域を設ける場合を想定し、光学的拡散部も左右一方のみに配置する構成とした。しかし、本発明は、これに限定されるものではなく、左右両方にフリッカ検出領域を設け、光学的拡散部も左右両方に配置する構成とすることも可能である。また同様に、画素間引き等により、最終的に生成される画像に使用されない画素の領域が画面左右以外にも存在する場合、
そのような領域をフリッカ検出領域とするように、光学的拡散部を配置してもよい。
【００５２】
また、上記実施形態では、撮像素子は行毎に読み出す構成を有し、撮像素子の各行の露光時刻が異なるために、画面では横縞のフリッカが発生するものとして説明してきた。しかし、本発明はこれに限定されるものではなく、撮像素子は列毎に読み出す構成を有してもよい。このように、縦縞のフリッカパターンが発生するような構造を有する撮像装置では、画面の上下部分に拡散光が入射するように、光学的拡散部を撮像素子の画面上下に配置してもよい。
【００５３】
また、上記実施形態では、わかりやすい事例としてラインフリッカを補正する場合について説明した。本発明は、これに限定されるものではなく、水平および垂直のうち一方向に発生する一次元の光シェーディングの補正にも有効であり、様々な一次元の光シェーディングの補正を行う構成に適用可能である。
【図面の簡単な説明】
【００５４】
【図１】第１の実施形態におけるＣＭＯＳイメージセンサを用いた撮像装置の構成を示す図である。
【図２】撮像装置における撮像動作手順を示すフローチャートである。
【図３】光学的拡散部として拡散板を使用する場合の光学的拡散部の構成および拡散板と撮像素子との位置関係を示す図である。
【図４】第２の実施形態における光学的拡散部として拡散板を使用する場合の光学的拡散部の構成および拡散板と撮像素子との位置関係を示す図である。
【図５】第３の実施形態における光学的拡散部としてローパスフィルタや赤外カットフィルタなど別の機能を有する光学フィルタの一部を使用する場合の光学フィルタの構成およびそれと撮像素子との位置関係を示す図である。
【図６】第４の実施形態における光学的拡散部として撮像素子１０３の前面に配置されたカバーガラスの一部を使用する場合のカバーガラスの構成およびそれと撮像素子との位置関係を示す図である。
【図７】ＣＭＯＳイメージセンサで発生するラインフリッカの一例を示す図である。
【符号の説明】
【００５５】
１０３ 撮像素子
１１２ デジタル信号処理回路
１１８ システム制御部
１３０ 光学的拡散部
３０１ 拡散板
３０２ ホルダ
５０１ 光学フィルタ
６０１ ガラスカバー
【技術分野】
【０００１】
本発明は、静止画像や動画像を撮像する撮像装置及びその信号処理方法に関する。
【背景技術】
【０００２】
従来、この種の撮像装置として、固体メモリ素子を有するメモリカードを記録媒体とし、ＣＣＤ、ＣＭＯＳ等の固体撮像素子で撮像した静止画像や動画像を記録、再生する電子カメラ等の撮像装置が既に市販されている。特に、ＣＭＯＳイメージセンサは、低電圧、低消費電力等の点から、撮像装置に搭載される撮像素子として用いられる頻度が増してきている。
【０００３】
ところで、撮影環境に蛍光灯などの点滅する光源がある場合、撮像装置で撮像される画像はその光源によるフリッカの影響を受ける。特に、ＣＭＯＳイメージセンサによる撮像においては、撮像素子の各行の露光時刻が異なるため、発生するフリッカは、図７に示す画像のように、画面垂直方向に出力が変化するラインフリッカとなる。図７はＣＭＯＳイメージセンサで発生するラインフリッカの一例を示す図である。
【０００４】
このような撮像システムによって撮影される被写体に、蛍光灯などのフリッカの影響が及ぼされている場合、そのフリッカによる影響を除去もしくは低減させるような補正処理方法がいくつか提案されている。
【０００５】
例えば、特許文献１には、垂直走査周期毎の信号出力値の比較によりフリッカの有無を検知し、その結果に応じて信号蓄積時間を変えることで、フリッカの影響を低減させる方法が示されている。しかし、このような信号処理方法では、フリッカを検出するために２回以上の撮影が必要になり、撮影時間が余計にかかってしまう。また、フリッカ検出に用いる画像の撮影時刻と実際の撮影画像の撮影時刻との間には、必ず時間差が発生するため、その間にフリッカの状態が変化してしまうと、正しくフリッカパターンを除去できないおそれもある。
【０００６】
一方、撮影された画像自身を解析し、その画像に含まれているフリッカパターンを検出することが可能であれば、撮影時間を延ばすこともなく、パターンのずれも無く、補正が可能である。このため、複数枚の画像からの情報を元にフリッカパターンを補正する方法よりも、精度良くフリッカパターンを除去できる点で、このような方法は有利である。具体的に、撮影された画像自身を用い、その垂直方向のシェーディングを検出することで、撮影画像に含まれるフリッカパターンを検出するという方法が考えられている。例えば、特許文献２には、行毎に画素レベルを積算して算出されたライン明度値の変動周期からフリッカの存在を検出する方法が示されている。
【特許文献１】特公平８−１５３２４号公報
【特許文献２】特開２００４−２６０５７４公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記従来の信号処理方法には、以下に掲げる問題があった。図７のように、被写体の背景が“均一輝度面”である場合、背景部の信号振幅から精度良くフリッカパターンを検出することは可能である。しかし、現実的に撮影画面内には様々な被写体が存在しており、背景が“均一輝度面”であることは極めて稀である。従って、撮影された画像から、その画像の持つフリッカパターンを検出することは、通常困難である。
【０００８】
そこで、本発明は、上記問題を解決するためになされたものであり、被写体の状態や撮影シーンに依らず、精度良くフリッカの影響を除去することができる撮像装置及びその信号処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明の撮像装置は、被写体を撮像する撮像装置において、入射光を電気信号に変換する複数の画素からなる撮像素子と、前記撮像素子からの電気信号を処理する信号処理手段と、前記撮像素子に入射する光束の一部を拡散させる光学的拡散手段とを備え、前記信号処理手段は、前記光学的拡散手段により拡散された光束に対応する前記撮像素子からの電気信号の一部を基に、当該撮像素子からの電気信号に対し、シェーディングを補正することを特徴とする。
【００１０】
本発明の撮像装置の信号処理方法は、入射光を電気信号に変換する複数の画素からなる撮像素子と、前記撮像素子からの電気信号を処理する信号処理手段とを備え、被写体を撮像する撮像装置の信号処理方法において、前記撮像装置の光学的拡散手段が前記撮像素子に入射する光束の一部を拡散させる光学的拡散ステップと、前記信号処理手段が、前記拡散された光束に対応する前記撮像素子からの電気信号の一部を基に、当該撮像素子からの電気信号に対し、シェーディングを補正する補正ステップとを有することを特徴とする。
【発明の効果】
【００１１】
本発明の請求項１に係る撮像装置は、光学的拡散手段により撮像素子の一部分に入射する光束の一部を拡散する。この拡散された入射光に対応する撮像素子からの電気信号の一部を基に、信号処理手段は、撮像素子からの電気信号に対し、光シェーディングを補正する。これにより、ラインフリッカのような一次元の光シェーディングの影響を受ける撮像素子を用いた場合、フリッカパターンとして想定される光シェーディングを補正することができる。従って、余計なフリッカ検出のために撮影時間を延ばすことも無く、被写体の状態や撮影シーンに依らず、精度良くフリッカの影響を除去することができる。
【００１２】
請求項２に係る撮像装置によれば、フリッカパターンの検出を確実に行うことができる。請求項３に係る撮像装置によれば、出力画像に用いられる撮像素子の画素領域を避けることが可能となる。請求項４に係る撮像装置によれば、シェーディング補正を精度良く行うことができる。請求項５に係る撮像装置によれば、ノイズ等の高周波成分を取り除くことができる。請求項６に係る撮像装置によれば、データ量を減らすことができ、処理の高速化に繋がる。
【００１３】
請求項７に係る撮像装置によれば、拡散板を用いることで光束を容易に拡散させることができる。請求項８に係る撮像装置によれば、光学的拡散手段を光学フィルタの一部とすることで別の部材として設ける必要が無く、スペースを有効活用することができる。請求項９に係る撮像装置によれば、光学的拡散手段をカバーガラスの一部とすることで別の部材として設ける必要が無く、スペースを有効活用することができる。請求項１０に係る撮像装置によれば、アスペクト比の設定や、手ブレなどの状態に応じて撮像面の使用領域を変える電子防振機能に対応することができる。請求項１１に係る撮像装置によれば、出力画像に用いられる撮像素子の画素領域と拡散光が到達する画素領域とが重ならないようにすることができる。
【発明を実施するための最良の形態】
【００１４】
本発明の撮像装置及びその信号処理方法の実施の形態について図面を参照しながら説明する。本実施形態の撮像装置はＣＭＯＳイメージセンサを撮像素子として用いたデジタルカメラに適用される。
【００１５】
[第１の実施形態]
図１は第１の実施形態におけるＣＭＯＳイメージセンサを用いた撮像装置の構成を示す図である。撮像装置は、レンズおよび絞りからなる光学系１０１、メカニカルシャッタ（図中、メカシャッタ）１０２、入射光を電気信号に変換する撮像素子１０３、および撮像素子１０３に達する入射光の一部を拡散させる光学的拡散部１３０を有する。撮像素子１０３は行方向および列方向に配置された複数の画素を有する。
【００１６】
また、撮像装置は、撮像素子１０３から出力される画像信号に対してアナログ信号処理を行うアナログ信号処理回路１０６を有する。アナログ信号処理回路１０６の内部には、相関二重サンプリングを行うＣＤＳ回路１０７、アナログ信号を増幅させる信号増幅器（ＰＧＡ回路）１０８、およびアナログ信号をデジタル信号に変換するＡ／Ｄ変換器１０９が設けられている。
【００１７】
また、撮像装置は、撮像素子１０３、 ＣＤＳ回路１０７およびＡ／Ｄ変換器１０９を動作させる信号を発生するタイミング信号発生回路１１０、および光学系１０１、メカニカルシャッタ１０２および光学的拡散部１３０を駆動する駆動回路１１１を有する。また、撮像装置は、撮影した画像データに必要な信号処理を行うデジタル信号処理回路１１２、信号処理が行われた画像データを記憶する画像メモリ１１３、および撮像装置から取り外し可能な画像記録媒体（図中、記録媒体）１１４を有する。
【００１８】
また、撮像装置は、信号処理が行われた画像データを画像記録媒体１１４に記録する記録回路１１５、信号処理が行われた画像データを表示する画像表示装置１１６、および画像表示装置１１６に画像を表示する表示回路１１７を有する。
【００１９】
また、撮像装置は、撮像装置全体を制御するシステム制御部１１８、不揮発性メモリ（ＲＯＭ）１１９および揮発性メモリ（ＲＡＭ）１２０を有する。ＲＯＭ１１９には、システム制御部１１８で実行される制御方法を記載したプログラム、このプログラムを実行する際に使用されるパラメータやテーブル等の制御データ、およびキズアドレス等の補正データが記憶される。システム制御部１１８は、不揮発性メモリ１１９に記憶されたプログラム、制御データおよび補正データを、撮像装置を制御する際に使用するＲＡＭ１２０に転送して記憶しておく。
【００２０】
上記構成を有する撮像装置を用いた撮影動作について説明する。撮影動作に先立ち、撮像装置の電源投入時等のシステム制御部１１８の動作開始時、システム制御部１１８は、前述したように、不揮発性メモリ１１９から必要なプログラム、制御データおよび補正データを揮発性メモリ１２０に転送して記憶しておくものとする。
【００２１】
また、システム制御部１１８は、これらのプログラムやデータを、撮像装置を制御する際に使用する。また、システム制御部１１８は、必要に応じて、追加のプログラムやデータを不揮発性メモリ１１９から揮発性メモリ１２０に転送したり、不揮発性メモリ１１９内のデータを直接読み出して使用する。
【００２２】
光学系１０１は、前述したように絞りとレンズからなり、システム制御部１１８からの制御信号により制御される駆動回路１１１によって駆動され、適切な明るさに設定された被写体像を撮像素子１０３に結像させる。
【００２３】
メカニカルシャッタ１０２は、静止画撮影時、システム制御部１１８からの制御信号により制御される駆動回路１１１によって駆動され、必要な露光時間となるように撮像素子１０３の動作に合わせて撮像素子１０３を遮光する。このとき、撮像素子１０３が電子シャッタ機能を有する場合、メカニカルシャッタ１０２と併用して、必要な露光時間を確保するようにしてもよい。
【００２４】
なお、動画撮影時および静止画撮影時、メカシャッタ１０２を用いずに撮像素子１０３の電子シャッタ機能のみで露光時間を制御するモードで撮影する場合、撮影動作中、メカシャッタ１０２を常に開いた状態に維持しておく。
【００２５】
光学的拡散部１３０は、システム制御部１１８からの制御信号により制御される駆動回路１１１によって駆動され、撮影シーンや駆動条件に応じて、撮像素子１０３の撮像面における光学的拡散部１３０による拡散光が達する範囲が変化するように移動する。基本的に、最終的に生成される画像に使用される領域と、光学的拡散部１３０による拡散光が達する領域とが重ならないように、光学的拡散部１３０の移動は制御される。
【００２６】
撮像素子１０３は、システム制御部１１８により制御されるタイミング信号発生回路１１０が発生する動作パルスを元にした駆動パルスで駆動され、被写体像を光電変換により電気信号に変換してアナログ画像信号として出力する。撮像素子１０３から出力されたアナログ画像信号は、ＣＤＳ回路１０７でクロック同期性ノイズが除去され、ＰＧＡ（programmable gain amplifier）回路１０８で入射光量に応じて設定された増幅率（ゲイン）で増幅される。さらに、このアナログ信号はＡ／Ｄ変換器１０９でデジタル画像信号に変換される。これらの動作は、システム制御部１１８により制御されるタイミング信号発生回路１１０が発生する動作パルスにより行われる。
【００２７】
デジタル信号処理回路１１２は、システム制御部１１８により制御され、デジタル画像信号中のフリッカパターン成分の検出および補正を行う。また、デジタル信号処理回路１１２は、デジタル画像信号に対し、色変換、ホワイトバランス、ガンマ補正等の画像処理、解像度変換処理、画像圧縮処理等を行う。画像メモリ１１３は、信号処理中のデジタル画像信号を一時的に記憶し、また、信号処理が行われたデジタル画像信号である画像データを記憶する。
【００２８】
デジタル信号処理回路１１２で信号処理が行われた画像データや、画像メモリ１１３に記憶されている画像データは、記録回路１１５によって画像記録媒体１１４に適したデータに変換され、画像記録媒体１１４に記録される。画像記録媒体１１４に適したデータとして、例えば階層構造を持つファイルシステムデータが挙げられる。また、これらの画像データは、デジタル信号処理回路１１２で解像度変換処理が行われた後、表示回路１１７において画像表示装置１１６に適した信号（例えばＮＴＳＣ方式のアナログ信号等）に変換され、画像表示装置１１６に表示される。
【００２９】
ここで、デジタル信号処理回路１１２は、システム制御部１１８からの制御信号により信号処理を行わずにデジタル画像信号をそのまま画像データとして、画像メモリ１１３や記録回路１１５に出力してもよい。
【００３０】
また、デジタル信号処理回路１１２は、システム制御部１１８から要求があった場合、信号処理の過程で生じたデジタル画像信号や画像データの情報をシステム制御部１１８に出力する。この情報として、例えば、画像の空間周波数、指定領域の平均値、圧縮画像のデータ量等の情報、あるいは、それらから抽出された情報が挙げられる。さらに、記録回路１１５は、システム制御部１１８から要求があった場合、画像記録媒体１１４の種類や空き容量等の情報をシステム制御部１１８に出力する。
【００３１】
さらに、画像記録媒体１１４に画像データが記録されている場合の再生動作について説明する。記録回路１１５は、システム制御部１１８からの制御信号により、画像記録媒体１１４から画像データを読み出す。デジタル信号処理回路１１２は、同じくシステム制御部１１８からの制御信号により、画像データが圧縮画像であった場合、画像伸長処理を行い、画像メモリ１１３に記憶する。画像メモリ１１３に記憶されている画像データは、デジタル信号処理回路１１２で解像度変換処理が行われた後、表示回路１１７によって画像表示装置１１６に適した信号に変換され、画像表示装置１１６に表示される。
【００３２】
つぎに、撮像装置におけるフリッカ検出およびその補正動作を示す。図２は撮像装置における撮像動作手順を示すフローチャートである。この処理プログラムはＲＯＭ１１９に格納されており、システム制御部１１８内のＣＰＵ（図示せず）によって実行される。
【００３３】
撮像シーケンスの開始後、次のような動作が行われる。まず、システム制御部１１８は、撮影モードに応じて、ＡＥ，ＡＦなどの結果を基に、駆動回路１１１およびタイミング信号発生回路１１０を介して、光学系１０１、撮像素子１０３、アナログ信号処理回路１０６などの初期設定を行う（ステップＳ１）。
【００３４】
システム制御部１１８は、ステップＳ１で設定された撮影モードの初期設定に応じて、光学的拡散部１３０の位置を制御する（ステップＳ２）。具体的に、例えばアスペクト比の設定や手ブレなど状態に応じて撮像面の使用領域を変える電子防振機能により、出力画像に用いられる撮像素子１０３の画素領域が変化する場合、次のような動作が行われる。すなわち、システム制御部１１８は、その画素領域の変化に連動して拡散光の達する領域も移動するように、光学的拡散部１３０の位置を変化させる。
【００３５】
システム制御部１１８は、メカシャッタ１０２を制御し、１回の撮影を行う（ステップＳ３）。システム制御部１１８は、デジタル信号処理回路１１２により、撮影された画像からフリッカパターンを検出する（ステップＳ４）。具体的に、デジタル信号処理回路１１２は、デジタル信号処理回路１１２に入力された画像信号のうち、光学的拡散部１３０による拡散光が入射される領域の画像信号に対し、行方向である水平方向に射影を求める。そして、デジタル信号処理回路１１２は、水平方向に射影された画像信号の垂直写像信号に対し、必要であれば移動平均やフィルタ処理を行ってノイズ等の高周波成分を取り除いた後、離散フーリエ変換等を施す。そして、デジタル信号処理回路１１２は、離散フーリエ変換を施して得られた空間周波数を基に、フリッカパターンとして想定される垂直方向の光シェーディングの振幅、周波数および位相を求める。このように、水平方向に射影された画像信号の垂直写像信号を用いることで、シェーディング補正を精度良く行うことが可能となる。また、移動平均やフィルタ処理を行うことで、ノイズ等の高周波成分を取り除くことができる。また、離散フーリエ変換を施すことで、データ量を減らすことができ、処理の高速化に繋がる。
【００３６】
デジタル信号処理回路１１２は、ステップＳ４におけるフリッカパターンの検出結果を基に、撮影環境下にフリッカが存在するか否かを判定する（ステップＳ５）。ステップＳ５の判定の結果、フリッカが存在すると判定された場合、デジタル信号処理回路１１２は、ステップＳ４の検出結果を基に、周知の光シェーディング補正（例えは、輝度値を変化させる補正）を用いて、フリッカパターンを補正する（ステップＳ６）。この後、デジタル信号処理回路１１２は、ステップＳ７の処理に進む。一方、ステップＳ５における判定の結果、フリッカが存在しないと判定された場合、デジタル信号処理回路１１２は、そのままステップＳ７の処理に進む。
【００３７】
デジタル信号処理回路１１２は、ステップＳ６においてフリッカ補正処理が施された画像信号を画像メモリ１１３に記憶する（ステップＳ７）。デジタル信号処理回路１１２は、画像メモリ１１３に記憶されている画像信号に対し、デジタル信号処理回路１１２によって色変換、ホワイトバランス、ガンマ補正等の画像処理、解像度変換処理、画像圧縮処理等を施す。この後、デジタル信号処理回路１１２は、各種処理が施された画像信号を、記録回路１１５によって画像記録媒体１１４に適したデータに変換し、画像記録媒体１１４に記録する（ステップＳ８）。また、デジタル信号処理回路１１２は、表示回路１１７によって画像表示装置１１６に適した信号に変換し、画像表示装置１１６に表示する。この後、デジタル信号処理回路１１２は、一連の撮像動作を終了する。
【００３８】
つぎに、本実施形態における光学的拡散部と撮像素子との位置関係について説明する。図３は光学的拡散部として拡散板を使用する場合の光学的拡散部の構成および拡散板と撮像素子との位置関係を示す図である。拡散板３０１は、撮像素子１０３の一部分（図中右側部分）に入射光を拡散させるように配置されている。このように、入射光が拡散して入射する撮像素子１０３の一部分では、あたかも背景が“均一輝度面”であるかのような被写体像が撮像される。従って、この部分の撮像信号を用いることにより、ステップＳ４におけるフリッカパターン（光シェーディングパターン）の検出を精度良く行うことができる。
【００３９】
また、拡散板３０１は、ホルダ３０２によって保持されている。ホルダ３０２は、駆動回路１１１によって駆動され、図中左右方向に移動自在な構造となっている。例えば、アスペクト比の設定や手ブレなどの状態に応じて撮像面の使用領域を変える電子防振機能により、出力画像に用いられる撮像素子１０３の画素領域は変化する。このように、出力画像に用いられる撮像素子１０３の画素領域が変化する場合、ホルダ３０２は、その領域に連動して拡散光の達する領域も移動するように、拡散板３０１の位置を図中左右方向に変化させる。
【００４０】
このように、第１の実施形態の撮像装置では、ラインフリッカのような一次元の光シェーディングの影響を受ける撮像装置を用いた場合、撮像素子の一部分に拡散光を入射させるべく、撮像素子の前面に光学的拡散部を配置する。そして、拡散された入射光による出力信号を用い、フリッカパターンとして想定されるその光シェーディングパターンを検出する。これにより、余計なフリッカ検出のために撮影時間を延ばすことも無く、被写体の状態や撮影シーンに依らず、精度良くフリッカの影響を除去することができる。また、フリッカパターンの検出を確実に行うことができる。また、撮像面周辺に位置する複数列の画素領域を含むように、拡散板が配置されるので、出力画像に用いられる撮像素子の画素領域を避けることが可能となる。また、拡散板を用いることで光束を容易に拡散させることができる。また、アスペクト比の設定や、手ブレなどの状態に応じて撮像面の使用領域を変える電子防振機能に対応することができる。また、出力画像に用いられる撮像素子の画素領域と拡散光が到達する画素領域とが重ならないようにすることができる。
【００４１】
［第２の実施形態］
図４は第２の実施形態における光学的拡散部として拡散板を使用する場合の光学的拡散部の構成および拡散板と撮像素子との位置関係を示す図である。なお、撮像装置におけるその他の構成および動作は前記第１の実施形態と同様である。
【００４２】
拡散板４０１は、透明な部分４０１ａと光を拡散する部分４０１ｂとから構成されている。前記第１の実施形態の図３と同様、拡散板４０１は、その光を拡散する部分４０１ｂによって、撮像素子１０３の一部分（図中右側）に入射光を拡散させるように、配置されている。また、拡散板４０１は、ホルダ４０２によって保持されている。ホルダ４０２も、前記第１の実施形態（図３参照）におけるホルダ３０２と同様、図中左右方向に移動自在な構造を有しており、撮影条件に応じて拡散板の位置を変化させる。
【００４３】
このように、第２の実施形態の撮像装置においても、前記第１の実施形態と同様の効果が発揮される。
【００４４】
［第３の実施形態］
図５は第３の実施形態における光学的拡散部としてローパスフィルタや赤外カットフィルタなど別の機能を有する光学フィルタの一部を使用する場合の光学フィルタの構成およびそれと撮像素子との位置関係を示す図である。なお、撮像装置におけるその他の構成および動作は前記第１の実施形態と同様である。
【００４５】
光学フィルタ５０１は、撮像素子１０３の前面に配置されており、ホルダ５０２によって保持されている。また、光学フィルタ５０１の図中右側部分は、入射光が拡散されるような拡散機能を有する部分５０１ａとなっている。この拡散機能を有する部分５０１ａは、撮像素子１０３の図中右側の一部分に入射光を拡散させるように位置する。なお、ホルダ５０２も、前記第１の実施形態（図３参照）におけるホルダ３０２と同様、図中左右方向に移動自在な構造を有し、撮影条件に応じてその位置を変化させる。
【００４６】
このように、第３の実施形態の撮像装置によれば、拡散機能を有する部分を光学フィルタの一部とすることで別の部材として設ける必要が無く、スペースを有効活用することができる。
【００４７】
［第４の実施形態］
図６は第４の実施形態における光学的拡散部として撮像素子１０３の前面に配置されたカバーガラスの一部を使用する場合のカバーガラスの構成およびそれと撮像素子との位置関係を示す図である。なお、撮像装置におけるその他の構成および動作は前記第１の実施形態と同様である。
【００４８】
撮像素子１０３の前面は、撮像面を保護するために、カバーガラス６０１で覆われている。また、カバーガラス６０１の図中右側部分は、入射光が拡散されるような拡散機能を有する領域６０１ａとなっている。この入射光を拡散させる領域６０１ａによって、その拡散光が撮像素子１０３の図中右側に位置する所定の画素に到達するように、カバーガラス６０１は配置される。
【００４９】
このように、第４の実施形態の撮像装置によれば、拡散機能を有する領域をカバーガラスの一部とすることで、別の部材として設ける必要が無く、スペースを有効活用することができる。
【００５０】
なお、本発明は、上記実施形態の構成に限られるものではなく、特許請求の範囲で示した機能、または本実施形態の構成が持つ機能が達成できる構成であればどのようなものであっても適用可能である。
【００５１】
例えば、上記各実施形態では、いずれも撮像素子の左右一方のみにフリッカ検出領域を設ける場合を想定し、光学的拡散部も左右一方のみに配置する構成とした。しかし、本発明は、これに限定されるものではなく、左右両方にフリッカ検出領域を設け、光学的拡散部も左右両方に配置する構成とすることも可能である。また同様に、画素間引き等により、最終的に生成される画像に使用されない画素の領域が画面左右以外にも存在する場合、
そのような領域をフリッカ検出領域とするように、光学的拡散部を配置してもよい。
【００５２】
また、上記実施形態では、撮像素子は行毎に読み出す構成を有し、撮像素子の各行の露光時刻が異なるために、画面では横縞のフリッカが発生するものとして説明してきた。しかし、本発明はこれに限定されるものではなく、撮像素子は列毎に読み出す構成を有してもよい。このように、縦縞のフリッカパターンが発生するような構造を有する撮像装置では、画面の上下部分に拡散光が入射するように、光学的拡散部を撮像素子の画面上下に配置してもよい。
【００５３】
また、上記実施形態では、わかりやすい事例としてラインフリッカを補正する場合について説明した。本発明は、これに限定されるものではなく、水平および垂直のうち一方向に発生する一次元の光シェーディングの補正にも有効であり、様々な一次元の光シェーディングの補正を行う構成に適用可能である。
【図面の簡単な説明】
【００５４】
【図１】第１の実施形態におけるＣＭＯＳイメージセンサを用いた撮像装置の構成を示す図である。
【図２】撮像装置における撮像動作手順を示すフローチャートである。
【図３】光学的拡散部として拡散板を使用する場合の光学的拡散部の構成および拡散板と撮像素子との位置関係を示す図である。
【図４】第２の実施形態における光学的拡散部として拡散板を使用する場合の光学的拡散部の構成および拡散板と撮像素子との位置関係を示す図である。
【図５】第３の実施形態における光学的拡散部としてローパスフィルタや赤外カットフィルタなど別の機能を有する光学フィルタの一部を使用する場合の光学フィルタの構成およびそれと撮像素子との位置関係を示す図である。
【図６】第４の実施形態における光学的拡散部として撮像素子１０３の前面に配置されたカバーガラスの一部を使用する場合のカバーガラスの構成およびそれと撮像素子との位置関係を示す図である。
【図７】ＣＭＯＳイメージセンサで発生するラインフリッカの一例を示す図である。
【符号の説明】
【００５５】
１０３ 撮像素子
１１２ デジタル信号処理回路
１１８ システム制御部
１３０ 光学的拡散部
３０１ 拡散板
３０２ ホルダ
５０１ 光学フィルタ
６０１ ガラスカバー
【特許請求の範囲】
【請求項１】
被写体を撮像する撮像装置において、
入射光を電気信号に変換する複数の画素からなる撮像素子と、
前記撮像素子からの電気信号を処理する信号処理手段と、
前記撮像素子に入射する光束の一部を拡散させる光学的拡散手段とを備え、
前記信号処理手段は、前記光学的拡散手段により拡散された光束に対応する前記撮像素子からの電気信号の一部を基に、当該撮像素子からの電気信号に対し、シェーディングを補正することを特徴とする撮像装置。
【請求項２】
前記信号処理手段は、前記撮像素子からの電気信号の一部を基に、フリッカパターンを検出するフリッカ検出手段を備え、前記検出されたフリッカパターンとして想定される前記シェーディングを補正することを特徴とする請求項１記載の撮像装置。
【請求項３】
前記撮像素子は行方向および列方向に配置された複数の画素からなり、
前記光学的拡散手段による拡散光の範囲が前記撮像素子の撮像面周辺に位置する複数列の画素領域を含むように、前記光学的拡散手段は配置されることを特徴とする請求項１または２記載の撮像装置。
【請求項４】
前記信号処理手段は、前記光学的拡散手段による拡散光の到達する範囲における、前記撮像素子からの電気信号を前記行方向である水平方向に射影し、その垂直写像信号を基に、前記シェーディングを垂直方向に補正することを特徴とする請求項３記載の撮像装置。
【請求項５】
前記信号処理手段は、前記垂直写像信号の移動平均を行い、前記シェーディングを補正することを特徴とする請求項４記載の撮像装置。
【請求項６】
前記信号処理手段は、前記垂直写像信号の離散フーリエ変換を施して得られた空間周波数を基に、前記シェーディングを補正することを特徴とする請求項４記載の撮像装置。
【請求項７】
前記光学的拡散手段は拡散板であることを特徴とする請求項１記載の撮像装置。
【請求項８】
前記光学的拡散手段は光学フィルタの一部であることを特徴とする請求項１記載の撮像装置。
【請求項９】
前記光学的拡散手段はカバーガラスの一部であることを特徴とする請求項１記載の撮像装置。
【請求項１０】
前記光学的拡散手段は、撮影条件に応じて、前記光学的拡散手段による拡散光の到達する範囲が移動するように、その位置を変化させることを特徴とする請求項１記載の撮像装置。
【請求項１１】
前記光学的拡散手段は、前記撮影条件に応じた前記撮像素子の使用領域に合わせて、その位置を変化させることを特徴とする請求項１０記載の撮像装置。
【請求項１２】
入射光を電気信号に変換する複数の画素からなる撮像素子と、前記撮像素子からの電気信号を処理する信号処理手段とを備え、被写体を撮像する撮像装置の信号処理方法において、
前記撮像装置の光学的拡散手段が前記撮像素子に入射する光束の一部を拡散させる光学的拡散ステップと、
前記信号処理手段が、前記拡散された光束に対応する前記撮像素子からの電気信号の一部を基に、当該撮像素子からの電気信号に対し、シェーディングを補正する補正ステップとを有することを特徴とする撮像装置の信号処理方法。
【請求項１】
被写体を撮像する撮像装置において、
入射光を電気信号に変換する複数の画素からなる撮像素子と、
前記撮像素子からの電気信号を処理する信号処理手段と、
前記撮像素子に入射する光束の一部を拡散させる光学的拡散手段とを備え、
前記信号処理手段は、前記光学的拡散手段により拡散された光束に対応する前記撮像素子からの電気信号の一部を基に、当該撮像素子からの電気信号に対し、シェーディングを補正することを特徴とする撮像装置。
【請求項２】
前記信号処理手段は、前記撮像素子からの電気信号の一部を基に、フリッカパターンを検出するフリッカ検出手段を備え、前記検出されたフリッカパターンとして想定される前記シェーディングを補正することを特徴とする請求項１記載の撮像装置。
【請求項３】
前記撮像素子は行方向および列方向に配置された複数の画素からなり、
前記光学的拡散手段による拡散光の範囲が前記撮像素子の撮像面周辺に位置する複数列の画素領域を含むように、前記光学的拡散手段は配置されることを特徴とする請求項１または２記載の撮像装置。
【請求項４】
前記信号処理手段は、前記光学的拡散手段による拡散光の到達する範囲における、前記撮像素子からの電気信号を前記行方向である水平方向に射影し、その垂直写像信号を基に、前記シェーディングを垂直方向に補正することを特徴とする請求項３記載の撮像装置。
【請求項５】
前記信号処理手段は、前記垂直写像信号の移動平均を行い、前記シェーディングを補正することを特徴とする請求項４記載の撮像装置。
【請求項６】
前記信号処理手段は、前記垂直写像信号の離散フーリエ変換を施して得られた空間周波数を基に、前記シェーディングを補正することを特徴とする請求項４記載の撮像装置。
【請求項７】
前記光学的拡散手段は拡散板であることを特徴とする請求項１記載の撮像装置。
【請求項８】
前記光学的拡散手段は光学フィルタの一部であることを特徴とする請求項１記載の撮像装置。
【請求項９】
前記光学的拡散手段はカバーガラスの一部であることを特徴とする請求項１記載の撮像装置。
【請求項１０】
前記光学的拡散手段は、撮影条件に応じて、前記光学的拡散手段による拡散光の到達する範囲が移動するように、その位置を変化させることを特徴とする請求項１記載の撮像装置。
【請求項１１】
前記光学的拡散手段は、前記撮影条件に応じた前記撮像素子の使用領域に合わせて、その位置を変化させることを特徴とする請求項１０記載の撮像装置。
【請求項１２】
入射光を電気信号に変換する複数の画素からなる撮像素子と、前記撮像素子からの電気信号を処理する信号処理手段とを備え、被写体を撮像する撮像装置の信号処理方法において、
前記撮像装置の光学的拡散手段が前記撮像素子に入射する光束の一部を拡散させる光学的拡散ステップと、
前記信号処理手段が、前記拡散された光束に対応する前記撮像素子からの電気信号の一部を基に、当該撮像素子からの電気信号に対し、シェーディングを補正する補正ステップとを有することを特徴とする撮像装置の信号処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２００９−２０１０１９（Ｐ２００９−２０１０１９Ａ）
【公開日】平成２１年９月３日（２００９．９．３）
【国際特許分類】
【出願番号】特願２００８−４２９６１（Ｐ２００８−４２９６１）
【出願日】平成２０年２月２５日（２００８．２．２５）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２１年９月３日（２００９．９．３）
【国際特許分類】
【出願日】平成２０年２月２５日（２００８．２．２５）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]