撮像装置、カメラ、車両及び撮像方法
【課題】光源などの高輝度被写体を撮像しても信号を消失することなくフレアを除去できる撮像装置を提供する。
【解決手段】本発明に係る撮像装置は、短い露光時間で被写体２０を撮像することにより短時間露光画像１３３を生成する撮像素子１０２と、短時間露光画像１３３に含まれるフレア成分を示す予測フレア１３５を生成する予測フレア生成部１１１と、短時間露光画像１３３から予測フレア１３５を減算することにより差分画像１３６を生成する予測フレア減算部１１２と、差分画像１３６を増幅することにより増幅画像１３７を生成する増幅部１１３とを備える。
【解決手段】本発明に係る撮像装置は、短い露光時間で被写体２０を撮像することにより短時間露光画像１３３を生成する撮像素子１０２と、短時間露光画像１３３に含まれるフレア成分を示す予測フレア１３５を生成する予測フレア生成部１１１と、短時間露光画像１３３から予測フレア１３５を減算することにより差分画像１３６を生成する予測フレア減算部１１２と、差分画像１３６を増幅することにより増幅画像１３７を生成する増幅部１１３とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、カメラ、車両及び撮像方法に関し、特に、撮像した画像に含まれるフレア成分を低減する撮像装置に関する。
【背景技術】
【０００２】
撮像光学系では、被写体に明るい部分があると、明るい部分の周囲に光の広がりが見えてくる現象がある。特に、この光の広がりにより像を結ばない現象をフレアと言う。
【０００３】
フレアは光学特性により常に生じている。しかしながら、通常はフレアの値が小さく、映像を見るユーザがフレアの影響を感じられる程度ではない。しかし、光源などの非常に明るい被写体（以下、「高輝度被写体」と記す。）が撮像された場合には、映像を見るユーザに、フレアの影響が顕著に目につくようになる。
【０００４】
特に、視界補助用の車載カメラ等の撮像装置では夜間などに対向車等のヘッドライトが撮像されるシーンが多くある。このような場合、入射光の多重反射が発生することにより、映像にフレアが発生する。具体的には、対物レンズの回折の影響と、組み合わせレンズ同士での多重反射と、レンズと鏡筒とによる多重反射と、レンズと撮像素子とによる多重反射と、撮像素子のカバーガラスと撮像素子とによる多重反射などのカメラの光学系での光の反射がフレアの原因である。
【０００５】
発生したフレアにより、明るい部分のまわりに光が重なり、特に暗い部分が運転者に見えづらくなる。これにより、暗い部分に人又は物が存在する場合であっても、運転者は、当該人又は物を認識できない。つまり、フレアは車載カメラにおいて安全性を著しく低下させる原因となる。
【０００６】
これに対して、撮像した画像に含まれるフレアを低減する撮像装置が知られている（特許文献１〜３参照。）。
【０００７】
以下、従来のフレアを低減する特許文献１〜３に記載の撮像装置について説明する。
【０００８】
特許文献１記載の撮像装置は、所定の光学条件において生じるフレアの映像パターンモデルを予め記憶する。特許文献１記載の撮像装置は、撮像された画像における強い光の部分の明るさと形状とを推定し、予め記憶させておいた映像パターンモデルから疑似的に予測フレアを生成する。特許文献１記載の撮像装置は、実際にフレアの生じている元の画像から疑似的に発生させた予測フレアを減算する。これにより、特許文献１記載の撮像装置は、画像に含まれるフレアを実用上問題無い程度まで補正、及び軽減できる。
【０００９】
さらに、特許文献１記載の撮像装置は、２種類の露光時間で撮像した画像を用いてフレアを除去する。具体的には、特許文献１記載の撮像装置は、短い露光時間で撮像した画像に含まれる一定値以上の輝度を持つ画素を利用して予測フレアを生成する。特許文献１記載の撮像装置は、長い露光時間で撮像した画像から、生成した予測フレアを減算する。これにより、特許文献１記載の撮像装置は、長い露光時間で撮像した画像のフレアを低減できる。さらに、特許文献１記載の撮像装置は、短い露光時間の電子シャッター調整を画像処理部に備えることで、短い露光時間で撮像する画像の感度を適切に調整できる。
【００１０】
また、特許文献２及び特許文献３には、予測フレアの生成方法について記載されている。
【００１１】
特許文献２記載の撮像装置は、撮像画像の画素に対してコンボリューションを行い、予測フレアを生成する。特許文献２記載の撮像装置は、一定値以上の輝度を有する全ての画素に対してコンボリューション処理を行う（特許文献２の段落番号００１８参照。）。これにより、特許文献２記載の撮像装置は、予測フレアを高速に処理できる。また、特許文献２記載の撮像装置は、３種類の露光時間で撮像した画像を用いて予測フレアを生成する。特許文献２記載の撮像装置は、最も露光時間の長い画像から、生成した予測フレアを減算することにより、フレアを除去する。
【００１２】
また、特許文献３記載の撮像装置は、一定値以上の輝度を持つ画素を検出する。特許文献３記載の撮像装置は、検出した画素を基点として予測フレアを生成する（特許文献３の図４、図６及び図７参照。）。
【特許文献１】特許第３３７２２０９号公報
【特許文献２】特開平１１−１２２５３９号公報
【特許文献３】特開２００５−１６７４８５号公報
【発明の開示】
【発明が解決しようとする課題】
【００１３】
しかしながら、特許文献１〜３記載の撮像装置は、非常に強く明るい光源等の高輝度被写体を撮像した場合には、フレアのない画像を復元できない。高輝度被写体を撮像した場合、高輝度被写体の周囲の画素において電荷が飽和する。よって、飽和している画素（以下、「飽和画素」と記す。）では、暗部の信号が消失する。これにより、撮影された画像から予測フレアを減算したとしても、暗部の信号は復元されない。よって、特許文献１〜３記載の撮像装置は、高輝度被写体を撮像した場合には、フレアのない画像を復元できない。
【００１４】
図１３は、特許文献１〜３記載の従来の撮像装置により画像処理された画像及び輝度の分布を示す図である。図１３（ａ）は、光源がない場合の画像を示す図である。図１３（ｂ）は、光源が有り、かつ予測フレアを減算していない画像を示す図である。図１３（ｃ）は、光源が有り、かつ予測フレアを減算した画像を示す図である。
【００１５】
図１３（ｄ）、図１３（ｅ）及び図１３（ｆ）は、それぞれ図１３（ａ）、図１３（ｂ）及び図１３（ｃ）の横方向の断面における輝度の分布を示す図である。
【００１６】
図１３（ｅ）に示すように、光源の周辺部では、輝度が非常に高く、画素が飽和している。これにより、光源の周辺部に存在する物体の信号は、完全に消失する。そのため、図１３（ｃ）に示すように、予測フレアを減算した画像においてフレアは除去されているが、信号が復元できない領域が発生する。すなわち、特許文献１〜３記載の撮像装置は、高輝度被写体を撮像した場合、つまり光源等の周辺画素が飽和するほど強いフレアが発生した場合、画像を復元できないという課題がある。
【００１７】
本発明は上記従来の課題を解決するものであり、光源などの高輝度被写体を撮像しても信号を消失することなくフレアを除去できる撮像装置及び撮像方法を提供することを目的とする。
【課題を解決するための手段】
【００１８】
上記目的を達成するために、本発明に係る撮像装置は、第１露光時間で被写体を撮像することにより第１画像を生成する固体撮像素子と、前記第１画像に含まれるフレア成分を示す予測フレア画像を生成する予測フレア生成部と、前記第１画像から前記予測フレア画像を減算することにより差分画像を生成する減算部と、前記差分画像を増幅することにより増幅画像を生成する増幅部とを備える。
【００１９】
この構成によれば、本発明に係る撮像装置は、フレアを除去した差分画像を増幅する。これにより、本発明に係る撮像装置は、第１露光時間を通常の露光時間より短い露光時間とした場合でも、通常の露光時間の画像と同程度の輝度を有する画像を生成できる。つまり、本発明に係る撮像装置は、飽和画素を含まない短い露光時間の画像から、予測フレアを減算する。これにより、本発明に係る撮像装置は、高輝度被写体の周辺画素を復元できる。つまり、本発明に係る撮像装置は、高輝度被写体を撮像しても信号を消失することなくフレアを除去できる。
【００２０】
また、前記固体撮像素子は、さらに、前記第１露光時間より長い第２露光時間で前記被写体を撮像することにより第２画像を生成し、前記撮像装置は、さらに、前記増幅画像の第１領域の画像を抽出することによりフレア領域画像を生成する抽出部と、前記第２画像から、当該第２画像における前記第１領域の画像を除外することにより除外画像を生成する除外部と、前記フレア領域画像と、前記除外画像とを合成する合成部とを備え、前記第１領域は、前記第１画像において前記フレア成分が含まれる領域であってもよい。
【００２１】
この構成によれば、本発明に係る撮像装置は、フレアが除去された高輝度被写体の周辺の画像以外に、通常の露光時間（第２露光時間）の画像を用いる。よって、第１露光時間の画像を増幅することにより生じる画質の劣化を最小限に抑えられる。
【００２２】
また、前記増幅部は、前記第１露光時間と前記第２露光時間との比に応じて前記差分画像を増幅してもよい。
【００２３】
この構成によれば、本発明に係る撮像装置は、増幅画像の輝度を第２露光時間で撮像された第２画像の輝度と同程度にできる。
【００２４】
また、前記抽出部は、フレア成分の中心からの距離に反比例する関数であり、フレア成分の輝度を０から１までの値に規格化したフレア領域関数を前記増幅画像に乗算することにより前記フレア領域画像を生成してもよい。
【００２５】
この構成によれば、合成部により合成された画像において、フレアが含まれる領域とそれ以外の領域との境界における画像の変化を滑らかにできる。
【００２６】
また、前記除外部は、１から前記フレア領域関数を減算した関数であるフレア領域除外関数を前記第２画像に乗算することにより前記除外画像を生成してもよい。
【００２７】
この構成によれば、合成部により合成された画像において、フレアが含まれる領域とそれ以外の領域との境界における画像の変化を滑らかにできる。
【００２８】
また、前記予測フレア生成部は、前記第１画像を分割した複数の領域毎に、第１の値以上の輝度を有する第１画素の重心を算出する重心算出手段と、前記複数の領域毎に、前記重心を中心としたフレア成分を示す分割予測フレア画像を算出する分割予測フレア算出部と、前記複数の領域毎に算出された前記分割予測フレア画像を合成することにより前記予測フレア画像を生成する予測フレア合成部とを備えてもよい。
【００２９】
この構成によれば、本発明に係る撮像装置は、第１画像を分割した領域単位で予測フレア生成処理を行う。これにより、画素毎に予測フレア生成処理を行う場合に比べ、処理時間を低減できる。
【００３０】
また、前記分割予測フレア算出部は、前記複数の領域毎に、前記重心からの距離に反比例する関数であり、フレア成分の輝度を示す予測フレア関数に、当該領域に含まれる前記第１画素の数を乗算することにより前記分割予測フレア画像を算出してもよい。
【００３１】
この構成によれば、本発明に係る撮像装置は、フレア関数と第１画素の数を用いて、各領域におけるフレア成分の輝度を容易に算出できる。
【００３２】
また、前記固体撮像素子は、２次元状に配置され、入射光を信号電圧に変換する複数の画素と、前記画素毎に、前記信号電圧が参照電圧より大きいか否かを判定する電圧判定部とを備え、前記撮像装置は、さらに、前記電圧判定部により前記信号電圧が前記参照電圧より大きいと判定された画素の数を数えるカウンタ部とを備え、前記カウンタ部により数えられた画素の数が第２の値より大きい場合に、前記予測フレア生成部は前記予測フレア画像を生成し、前記減算部は前記差分画像を生成し、前記増幅部は前記増幅画像を生成してもよい。
【００３３】
この構成によれば、本発明に係る撮像装置は、撮像した画像に高輝度被写体が含まれる場合にのみ、フレアを除去する処理を行う。
【００３４】
また、前記固体撮像素子は、前記カウンタ部により数えられた画素の数が前記第２の値より大きい場合に、前記第１露光時間を短くする露光時間調整部を備えてもよい。
【００３５】
この構成によれば、本発明に係る撮像装置は、第１露光時間で撮像した画像に飽和画素が含まれないように当該第１露光時間を自動的に調整できる。
【００３６】
また、前記固体撮像素子は、さらに、前記カウンタ部により数えられた画素の数が前記第２の値より大きい場合に、第１信号を生成する信号生成部を備え、前記撮像装置は、さらに、前記露光時間調整部により短くされた第１露光時間を、前記第１信号に基づき算出する第１露光時間算出部を備え、前記増幅部は、前記第１露光時間算出部により算出された第１露光時間と前記第２露光時間との比に応じて前記差分画像を増幅してもよい。
【００３７】
この構成によれば、本発明に係る撮像装置は、固体撮像素子により生成された第１信号に基づき、増幅部の増幅率を調整できる。
【００３８】
また、前記固体撮像素子は、２次元状に配置され、入射光を信号電圧に変換する複数の画素と、前記第１露光時間及び前記第２露光時間に対する前記信号電圧を相関二重サンプリングし、前記第１露光時間及び前記第２露光時間のそれぞれに対する信号を保持する相関二重サンプリング回路と、前記相関二重サンプリング回路に保持される前記第１露光時間に対する前記信号を増幅することにより前記第１画像を生成し、当該第１画像を出力する第１出力部と、前記相関二重サンプリング回路に保持される前記第２露光時間に対する前記信号を増幅することにより前記第２画像を生成し、当該第２画像を出力する第２出力部とを備えてもよい。
【００３９】
この構成によれば、本発明に係る撮像装置は、２つの露光時間の画像を同時に出力できる。
【００４０】
また、本発明に係るカメラは、第１露光時間で被写体を撮像することにより第１画像を生成する固体撮像素子と、前記第１画像に含まれるフレア成分を示す予測フレア画像を生成する予測フレア生成部と、前記第１画像から前記予測フレア画像を減算することにより差分画像を生成する減算部と、前記差分画像を増幅することにより増幅画像を生成する増幅部とを備える。
【００４１】
この構成によれば、本発明に係るカメラは、高輝度被写体を撮像しても信号を消失することなくフレアを除去できる撮像装置を備える。よって、本発明に係るカメラは、高輝度被写体を撮像する場合でも、信号を消失することなくフレアを除去した画像を撮影できる。
【００４２】
また、本発明に係る車両は、第１露光時間で被写体を撮像することにより第１画像を生成する固体撮像素子と、前記第１画像に含まれるフレア成分を示す予測フレア画像を生成する予測フレア生成部と、前記第１画像から前記予測フレア画像を減算することにより差分画像を生成する減算部と、前記差分画像を増幅することにより増幅画像を生成する増幅部とを備える。
【００４３】
この構成によれば、本発明に係る車両は、高輝度被写体を撮像する場合でも信号を消失することなくフレアを除去した画像を撮影できるカメラを備える。よって、本発明に係る車両は、運転手に、高輝度被写体の周辺の信号が消失されていない画像を表示できる。よって、本発明に係る車両は、運転時の安全性を向上できる。
【００４４】
また、本発明に係る撮像方法は、第１露光時間で被写体を撮像し、第１画像を出力する固体撮像素子を備える撮像装置における撮像方法であって、前記第１画像に含まれるフレア成分を示す予測フレア画像を生成する予測フレア生成ステップと、前記第１画像から前記予測フレア画像を減算することにより差分画像を生成する減算ステップと、前記差分画像を増幅することにより増幅画像を生成する増幅ステップとを含む。
【００４５】
これによれば、本発明に係る撮像方法は、フレアを除去した差分画像を増幅する。これにより、本発明に係る撮像方法は、第１露光時間を通常の露光時間より短い露光時間とした場合でも、通常の露光時間の画像と同程度の輝度を有する画像を生成できる。つまり、本発明に係る撮像方法は、飽和画素を含まない短い露光時間の画像から、予測フレアを減算する。これにより、本発明に係る撮像方法は、高輝度被写体の周辺画素を復元できる。つまり、本発明に係る撮像方法は、高輝度被写体を撮像しても信号を消失することなくフレアを除去できる。
【００４６】
なお、本発明は、このような撮像装置として実現できるだけでなく、撮像装置に含まれる特徴的な手段をステップとする撮像方法として実現したり、そのような特徴的なステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体及びインターネット等の伝送媒体を介して流通させることができるのは言うまでもない。
【発明の効果】
【００４７】
以上より、本発明は、光源などの高輝度被写体を撮像しても信号を消失することなくフレアを除去できる撮像装置及び撮像方法を提供できる。
【発明を実施するための最良の形態】
【００４８】
以下、本発明に係る撮像装置の実施の形態について、図面を参照しながら詳細に説明する。
【００４９】
まず、本発明の実施の形態に係る撮像装置の構成を説明する。
【００５０】
図１は、本発明の実施の形態に係る撮像装置が搭載された車両の外観を示す斜視図である。
【００５１】
図１に示す車両１０は、一般的な自動車である。車両１０は、車両１０の前方面に撮像装置１００を備える。なお、車両１０は、車両１０の後方面、又は横方向に撮像装置１００を備えてもよい。また、車両１０は、複数の撮像装置１００を備えてもよい。
【００５２】
撮像装置１００は、運転者の視野補助に用いられる。撮像装置１００は、車両１０の周囲を撮像する。撮像装置１００により撮像された画像は、車両１０の車内のモニタ等の表示部に表示される。
【００５３】
本発明の実施の形態に係る撮像装置１００は、光源等の高輝度被写体の光による飽和画素を含まない短い間露光時間で撮像された画像からフレアを除去する。これにより、撮像装置１００は、高輝度被写体を撮像しても信号を消失することなくフレアを除去した画像を出力できる。そのため、夜間などにおいて対向車又は周辺の車両のヘッドライトの付近に人又は物があっても、フレアによって情報がかき消されることが無い。これにより、運転者は、ヘッドライト付近の人又は物をモニタ等で確認できるので、安全性が向上する。
【００５４】
図２は、撮像装置１００の構成を示す図である。
【００５５】
図２に示すように撮像装置１００は、対物レンズ１０１と、撮像素子１０２と、タイミング発生部（ＴＧ）１０３と、増幅部１０４及び１０５と、ＡＤ変換部１０６及び１０７と、前処理部１０８及び１０９と、スイッチ１１０と、予測フレア生成部１１１と、予測フレア減算部１１２と、増幅部１１３と、フレア領域抽出部１１４と、フレア領域除外部１１５と、メモリ１１６と、データバス１１７と、スイッチ１１８と、画像合成部１１９と、制御部１２０とを備える。
【００５６】
対物レンズ１０１は、被写体２０からの光を撮像素子１０２に集光する。
【００５７】
撮像素子１０２は、ＣＭＯＳイメージセンサ等の固体撮像素子である。なお、撮像素子１０２は、ＣＣＤイメージセンサ等であってもよい。また、固体撮像素子１０２は、例えば、単一のチップに形成される半導体集積回路である。
【００５８】
撮像素子１０２は、対物レンズ１０１により集光された光を撮像する。具体的には、撮像素子１０２は、光を電気信号（アナログ信号）に変換し出力する。また、撮像素子１０２は、短い露光時間で撮像した画像のアナログ信号である短時間露光信号１３０と、通常の長い露光時間で撮像した画像のアナログ信号である長時間露光信号１３１とを生成する。撮像素子１０２は、短時間露光信号１３０を増幅部１０４に出力し、長時間露光信号１３１を増幅部１０５に出力する。
【００５９】
また、撮像素子１０２は、撮像した画像に光源等の高輝度被写体が含まれるか否かを示すＦＬＧ信号１３２を生成し、制御部１２０に出力する。具体的には、ＦＬＧ信号１３２は、長時間露光信号１３１に飽和画素が所定の数以上あるか否かを示す信号である。例えば、ＦＬＧ信号１３２がアクティブの場合、撮像した画像に高輝度被写体が含まれることを示し、ＦＬＧ信号１３２が非アクティブの場合、撮像した画像に高輝度被写体が含まれないことを示す。
【００６０】
タイミング発生部１０３は、撮像素子１０２を駆動するタイミングを制御する信号を生成する。
【００６１】
増幅部１０４は、短時間露光信号１３０を増幅する。増幅部１０５は、長時間露光信号１３１を増幅する。
【００６２】
ＡＤ変換部１０６は、増幅部１０４により増幅された短時間露光信号１３０を、デジタル信号に変換する。ＡＤ変換部１０７は、増幅部１０５により増幅された長時間露光信号１３１を、デジタル信号に変換する。
【００６３】
前処理部１０８は、ＡＤ変換部１０６により変換されたデジタル信号に、画素補間処理、色処理及びガンマ処理等の前処理を行い、短時間露光画像１３３を生成する。前処理部１０９は、ＡＤ変換部１０７により変換されたデジタル信号に、画素補間処理、色処理及びガンマ処理等の前処理を行い、長時間露光画像１３４を生成する。
【００６４】
スイッチ１１０及び１１８は、フレアを除去する処理を行うか否かを選択するスイッチである。
【００６５】
具体的には、スイッチ１１０及び１１８は、前処理部１０８により生成された短時間露光画像１３３を、直接、画像合成部１１９に出力するか、予測フレア生成部１１１、予測フレア減算部１１２、増幅部１１３、及びフレア領域抽出部１１４を経由して画像合成部１１９に出力するかを選択する。また、スイッチ１１０及び１１８は、前処理部１０９により生成された長時間露光画像１３４を、直接、画像合成部１１９に出力するか、フレア領域除外部１１５を経由して画像合成部１１９に出力するかを選択する。
【００６６】
スイッチ１１０及び１１８は、フレアを除去する処理を行わない場合、短時間露光画像１３３及び長時間露光画像１３４を直接、画像合成部１１９に出力する。スイッチ１１０及び１１８は、フレアを除去する処理を行う場合、短時間露光画像１３３を予測フレア生成部１１１に出力し、長時間露光画像１３４をフレア領域除外部１１５に出力する。
【００６７】
予測フレア生成部１１１は、短時間露光画像１３３から予測フレア１３５を生成する。予測フレア１３５は、短時間露光画像１３３に含まれるフレア成分を示す画像であり、フレア成分を仮想的に算出した画像である。ここで、フレア成分とは、高輝度被写体から発生される光の多重反射により生じる光の成分であり、高輝度被写体の周辺に生じる光の成分である。
【００６８】
予測フレア減算部１１２は、短時間露光画像１３３から予測フレア１３５を減算することにより画像１３６を生成する。
【００６９】
増幅部１１３は、短時間露光画像１３３と長時間露光画像１３４との露光時間の比に応じた倍率で画像１３６を増幅することにより画像１３７を生成する。
【００７０】
フレア領域抽出部１１４は、画像１３７からフレア領域の画像１３８を抽出する。フレア領域は、短時間露光画像１３３において、フレア成分が含まれていた領域である。つまり、フレア領域は、高輝度被写体から発生される光の多重反射により生じる光の成分が含まれていた領域であり、高輝度被写体の周辺の領域である。
【００７１】
フレア領域除外部１１５は、長時間露光画像１３４からフレア領域の画像を除外することにより画像１３９を生成する。
【００７２】
メモリ１１６は、予測フレア生成部１１１、予測フレア減算部１１２、フレア領域抽出部１１４及びフレア領域除外部１１５により生成された画像及び処理途中のデータ等を保持する記録部である。
【００７３】
データバス１１７は、メモリ１１６と、予測フレア生成部１１１、予測フレア減算部１１２、フレア領域抽出部１１４及びフレア領域除外部１１５との間のデータ転送に用いられるバスである。
【００７４】
画像合成部１１９は、フレアを除外する処理が行われない場合には、短時間露光画像１３３と長時間露光画像１３４を合成することにより画像１４０を生成する。また、画像合成部１１９は、フレアを除外する処理が行われた場合には、画像１３８と画像１３９とを合成することにより画像１４０を生成する。
【００７５】
画像合成部１１９により生成された画像１４０は、車両１０の車内のモニタ等の表示部に表示される。
【００７６】
制御部１２０は、ＦＬＧ信号１３２に基づき、スイッチ１１０及び１１８の選択を制御する。具体的には、制御部１２０は、ＦＬＧ信号１３２が非アクティブの場合には、フレアを除去する処理を行わないように、スイッチ１１０及び１１８を制御する。制御部１２０は、ＦＬＧ信号１３２がアクティブの場合には、フレアを除去する処理を行うように、スイッチ１１０及び１１８を制御する。
【００７７】
また、制御部１２０は、ＦＬＧ信号１３２に基づき、短い露光時間と、長い露光時間との比を算出し、算出した比を増幅部１１３に通知する。
【００７８】
次に、撮像装置１００の動作を説明する。
【００７９】
図３は、撮像装置１００による撮像動作の流れを示すフローチャートである。
【００８０】
まず、撮像素子１０２は、被写体２０を撮像する（Ｓ１０１）。
【００８１】
具体的には、被写体２０からの光は対物レンズ１０１を介して集光され、撮像素子１０２に入射される。
【００８２】
図４は、撮像素子１０２の構造を示す断面図である。図４に示すように、撮像素子１０２は、半導体パッケージ１５１と、半導体チップ１５２と、カバーガラス１５３とを備える。
【００８３】
半導体パッケージ１５１は、開口部を有し、内部に半導体チップ１５２が配置される。半導体チップ１５２は、イメージセンサである。
【００８４】
カバーガラス１５３は、半導体パッケージ１５１の開口部側に配置される。
【００８５】
対物レンズ１０１により集光された入射光１５４は、カバーガラス１５３を透過し、半導体チップ１５２に入射される。
【００８６】
被写体２０が強い光源である場合、半導体チップ１５２表面で、入射光１５４は反射する。反射した入射光１５４は、カバーガラス１５３及び対物レンズ１０１等で反射される。カバーガラス１５３で反射された多重反射光１５５が再び半導体チップ１５２に入射される。また、対物レンズ１０１で反射された多重反射光１５６が再び半導体チップ１５２に入射される。この多重反射光１５５及び１５６がフレアとなり、撮像された画像は、被写体２０を正確に映した画像ではなくなる。特にフレアが強ければ光源周囲の被写体情報は消失してしまう。
【００８７】
撮像素子１０２は、このような強い光が入射した場合、ＦＬＧ信号１３２をアクティブにする。
【００８８】
また、撮像素子１０２は、フレアにより画素が飽和しないような短い露光時間で撮像した短時間露光信号１３０と、通常の長い露光時間で撮像した長時間露光信号１３１とを出力する。なお、撮像素子１０２の詳細な構成及び動作については後述する。
【００８９】
短時間露光信号１３０は、増幅部１０４により増幅された後、ＡＤ変換部１０６によりデジタル信号に変換される。また、長時間露光信号１３１は、増幅部１０５により増幅された後、ＡＤ変換部１０７によりデジタル信号に変換される。
【００９０】
なお、ここでは、増幅部１０４及び１０５と、ＡＤ変換部１０６及び１０７による処理を撮像素子１０２の外部で行っているが、撮像素子１０２の内部で行ってもよい。具体的には、増幅部１０４及び１０５を撮像素子１０２内のカラムアンプに置き換え、ＡＤ変換部を撮像素子１０２内のカラムＡＤ変換器に置き換えてもよい。すなわち、一般的に知られているデジタル出力の撮像素子のように撮像素子１０２内でデジタル化を行う構成であってもよい。
【００９１】
前処理部１０８は、ＡＤ変換部１０６により変換されたデジタル信号にデジタル画像処理を行い、短時間露光画像１３３を生成する。前処理部１０９は、ＡＤ変換部１０７により変換されたデジタル信号にデジタル画像処理を行い、長時間露光画像１３４を生成する（Ｓ１０２）。
【００９２】
具体的には、前処理部１０８及び１０９は、撮像素子１０２が単板式撮像素子である場合は、画素補間を行う。端版式撮像素子は、ベイヤー配列等の原色配列のカラーフィルタ、又はその他の補色配列のカラーフィルタを備える。また、前処理部１０８及び１０９は、各画素から、遮光膜に覆われた画素群の平均値を差分するＯＢ（黒レベル）差分処理を行う。
【００９３】
前処理部１０８及び１０９は、画素補間を行うために数行分のラインメモリを備える。ラインメモリの行数は画素補間時に参照される画素情報の領域の広さに応じて決定される。また、前処理部１０８及び１０９は、ホワイトバランス等で照明環境等の色温度補正を行う。また、前処理部１０８及び１０９は、カラーフィルタの透過率を理想の透過率へ近づける補正である行列演算等を行う。通常画素補間以外は一括して線形処理が可能であるために、前処理部１０８及び１０９は、１回の行列演算で通常画素補間以外の処理を行う。
【００９４】
図５は、短時間露光画像１３３及び長時間露光画像１３４の一例、及び輝度分布を示す図である。図５（ａ）は、短時間露光画像１３３の画像例を示す図であり、図５（ｂ）は、長時間露光画像１３４の画像例を示す図である。図５（ｃ）は図５（ａ）の短時間露光画像１３３における輝度分布を示す図であり、図５（ｄ）は図５（ｂ）の長時間露光画像１３４における輝度分布を示す図である。
【００９５】
図５に示すように短時間露光画像１３３及び長時間露光画像１３４では、中心の光源からの距離に反比例する乱反射成分がフレアとして広がっている。
【００９６】
また、図５（ａ）及び図５（ｃ）に示すように、短時間露光画像１３３では、光源の輝度に比べ低い輝度であるがフレア成分が存在している。
【００９７】
一方、図５（ｂ）及び図５（ｄ）に示すように、長時間露光画像１３４では、蓄積時間が長いために光源に近い周辺部では、画素出力が、回路飽和レベルを超えている。これにより仮にこの光源周囲に人、又は物などが存在していた場合、当該人、又は物の信号は飽和したフレアによってかき消されてしまう。
【００９８】
次に、制御部１２０は、ＦＬＧ信号１３２に基づき、長時間露光画像１３４に所定の数以上の飽和画素が含まれるか否かを判定する（Ｓ１０３）。
【００９９】
長時間露光画像１３４に所定の数以上の飽和画素が含まれている場合、つまり高輝度被写体を撮像した場合（Ｓ１０３でＹｅｓ）、制御部１２０は、スイッチ１１０及び１１８を制御することにより、短時間露光画像１３３を予測フレア生成部１１１に入力し、長時間露光画像１３４をフレア領域除外部１１５に入力する。
【０１００】
予測フレア生成部１１１は、短時間露光画像１３３から予測フレア１３５を生成する（Ｓ１０４）。
【０１０１】
以下、予測フレアの生成処理（Ｓ１０４）について詳細に説明する。
【０１０２】
図６は、予測フレア生成部１１１による予測フレア生成処理の流れを示すフローチャートである。
【０１０３】
図７は、予測フレア生成部１１１による予測フレア生成処理を説明するための図である。図７に示すように、短時間露光画像１３３は、輝度が一定値以下の画素である画素２００と、輝度が一定値以上の画素である画素２０１とを含む。画素２０１は、長時間露光画像１３４における飽和画素に対応する画素であり、画素２００は、長時間露光画像１３４における飽和画素以外の画素に対応する画素である。
【０１０４】
まず、予測フレア生成部１１１は、領域マスク２０２の単位で予測フレアを生成する。つまり、予測フレア生成部１１１は、短時間露光画像１３３を分割した複数の領域毎に、仮想的なフレア成分である予測フレアを生成する。
【０１０５】
例えば、領域マスク２０２は、図７に示すように、５×５画素のサイズである。なお、領域マスク２０２は、１０×１０画素などのサイズであってもよい。また、領域マスク２０２の縦と横との比は１対１でなくともよい。領域マスク２０２のサイズを大きくすることにより、処予測フレア生成部１１１の処理量をより削減できるが、生成される予測フレアの精度は減少する。
【０１０６】
予測フレア生成部１１１は、領域マスク２０２をサイズ刻みで短時間露光画像１３３を走査する。
【０１０７】
以下、図７（ａ）に示す領域マスク２０２に含まれる領域に対する予測フレア生成部１１１による予測フレアの生成処理を説明する。
【０１０８】
まず、予測フレア生成部１１１は、領域マスク２０２内に画素２０１が存在するか否かを判定する（Ｓ２０１）。画素２０１が存在する場合（Ｓ２０１でＹｅｓ）、予測フレア生成部１１１は、領域マスク２０２内に含まれる画素２０１の重心を数１及び数２を用いて算出する。
【０１０９】
【数１】
【０１１０】
【数２】
【０１１１】
ここで、Ｇｘは重心のｘ座標、Ｇｙは重心のｙ座標、Ｍｘは座標ｘの輝度、Ｍｙは座標ｙの輝度、ｎは領域マスク２０２のサイズである。なお、予測フレア生成部１１１は、数１及び数２に示すように、領域マスク２０２内の全ての画素の座標及び輝度から重心を算出しているが、処理量を削減するために、画素２０１の座標及び輝度から重心を算出してもよい。また、予測フレア生成部１１１は、さらに処理量を削減するために、画素２０１の座標のみから重心を算出してもよい。
【０１１２】
図７（ｃ）は、図７（ａ）に示す領域マスク２０２に含まれる領域に対して生成された予測フレアを示す図である。
【０１１３】
予測フレア生成部１１１は、数１及び数２を用いて、図７（ｃ）に示す重心２０４を算出する（Ｓ２０２）。
【０１１４】
予測フレア生成部１１１は、算出した重心２０４を中心として、予測フレア関数を用いて、予測フレア２０５を算出する（Ｓ２０３）。予測フレア関数は、各画素におけるフレア成分の輝度を示す関数である。また、予測フレア関数は、重心２０４からの距離に反比例する関数である。
【０１１５】
ここで、フレアの形状は対物レンズ１０１等の光学レンズ、撮像素子１０２上に作製されるマイクロレンズ、及び半導体チップ１５２を保護するカバーガラス１５３などの光学特性によって変化する。具体的には、当該光学特性とは、透過率、反射率及び光の散乱具合などである。このため、予測フレア関数の導出は実験的に求めるなどの調整が必要である。
【０１１６】
フレアは図４に示すように半導体チップ１５２の表面での反射とカバーガラス１５３での再反射とにより発生する現象である。よって、予測フレア関数は、厳密には、数３で表される。
【０１１７】
【数３】
【０１１８】
ここで、Ｉ＿Ｄは、フレアにより所定の画素に入力される光の輝度であり、Ｉ＿Ｉは、光源等から入射される光の輝度であり、Ｒ１は半導体チップ１５２の反射率であり、Ｒ２はカバーガラス１５３の反射率であり、Ｎは多重反射の回数である。
【０１１９】
ここで、反射毎に、光が拡散されるとし、かつ一回の反射毎に１画素分、光が重心２０４から離れるとすると、重心２０４から画素までの距離ｒ＝Ｎと近似できる。よって、予測フレア関数は、数４で表される。
【０１２０】
【数４】
【０１２１】
反射率Ｒ１及びＲ２は、１以下の値であるので、フレアにより画素に入力される光の輝度は、重心２０４からの距離に反比例する。
【０１２２】
なお、予測フレア生成部１１１は、厳密には数４で表される式を用いて予測フレアを生成することが好ましいが、処理量を削減するために、数４に表される式を簡略化した式を用いてもよい。つまり、予測フレア生成部１１１は、重心２０４からの距離に反比例する予測フレア関数を用いればよい。
【０１２３】
また、予測フレア生成部１１１は、光学レンズ、マイクロレンズ及びカバーガラス等の形状に応じて数４を変形させた式を用いてもよい。また、予測フレア生成部１１１は、短時間露光画像１３３の露光時間、又は、短時間露光画像１３３と長時間露光画像１３４との露光時間の比に応じて数４を変形させた式を用いてもよい。
【０１２４】
予測フレア生成部１１１は、数４を用いて算出された予測フレアに対して、領域マスク２０２内に含まれる画素２０１の数を乗算する。例えば、図７（ａ）の例では、飽和画素数は３であるので、予測フレア生成部１１１は、数４で算出された予測フレアを３倍することにより、図７（ｃ）に示す予測フレア２０５を算出する。
【０１２５】
短時間露光画像１３３の全ての領域に対して予測フレア生成処理（Ｓ２０１〜Ｓ２０３）が終了していないので、予測フレア生成部１１１は、領域マスク２０２を走査する（Ｓ２０５）。例えば、図７（ｂ）に示すように、予測フレア生成部１１１は、横方向に領域マスク２０２を走査する。
【０１２６】
予測フレア生成部１１１は、走査された領域マスク２０２の領域に対して、ステップＳ２０１〜Ｓ２０３の処理を行う。
【０１２７】
例えば、図７（ｂ）に示す例では、領域マスク２０２内に画素２０１が存在するので（Ｓ２０１でＹｅｓ）、予測フレア生成部１１１は、図７（ｄ）に示す重心２０６を算出し（Ｓ２０２）、予測フレア２０７を算出する（Ｓ２０３）。
【０１２８】
以降、予測フレア生成部１１１は、ステップＳ２０１〜Ｓ２０３の処理を短時間露光画像１３３の全ての領域に対して領域マスク２０２の単位で行う。
【０１２９】
また、領域マスク２０２内に飽和画素がない場合（Ｓ２０１でＮｏ）、予測フレア生成部１１１は、予測フレア算出（Ｓ２０２及びＳ２０３）を行わず、領域マスク２０２を走査する（Ｓ２０５）。
【０１３０】
短時間露光画像１３３の全ての領域に対して予測フレア生成処理（Ｓ２０１〜Ｓ２０３）が終了すると（Ｓ２０４でＹｅｓ）、予測フレア生成部１１１は、領域マスク２０２単位で算出された予測フレア２０５及び２０６を合成する（Ｓ２０６）。予測フレア生成部１１１は、領域マスク２０２単位で算出された予測フレア２０５及び２０６等を合成することにより、例えば、図７（ｅ）に示す予測フレア１３５を生成する。
【０１３１】
以上のように、予測フレア生成部１１１は、領域マスク２０２単位で予測フレアの生成処理（Ｓ２０１〜Ｓ２０３）を行う。よって、画素毎に予測フレアを生成する場合に比べて、処理速度を改善できる。
【０１３２】
再び図３を参照し説明を続ける。
【０１３３】
予測フレア生成処理（Ｓ１０４）の後、予測フレア減算部１１２は、短時間露光画像１３３から、予測フレア生成部１１１により生成され予測フレア１３５を減算することにより画像１３６を生成する（Ｓ１０５）。
【０１３４】
次に、増幅部１１３は、短時間露光画像１３３と長時間露光画像１３４との露光時間の比に応じた倍率で画像１３６を増幅することにより画像１３７を生成する（Ｓ１０６）。これにより、短い露光時間の短時間露光画像１３３から生成された画像１３７の輝度は、通常の露光時間の長時間露光画像１３４の輝度と同程度になる。例えば、長い露光時間（通常露光時間）と、短い露光時間との比を各画素の輝度値に乗算することにより、画像１３７の輝度は、長時間露光画像１３４の輝度と同程度になる。なお、増幅部１１３による増幅方法は線形増幅であっても、輝度に応じた対数的な増幅であってもよい。
【０１３５】
また、増幅部１１３で用いられる増幅率は、制御部１２０により指定される。制御部１２０は、ＦＬＧ信号１３２に基づき増幅率を算出する。なお、制御部１２０による増幅率の算出処理の詳細は後述する。
【０１３６】
図８は、予測フレア減算部１１２及び増幅部１１３の処理を説明するための図である。
【０１３７】
図８（ｃ）は、撮像装置１００により予測フレア１３５の減算及び増幅が行われた画像１３７の例を示す図である。また、図８（ａ）及び図８（ｂ）は比較のための図である。図８（ａ）は、長時間露光画像１３４の画像例を示す。図８（ｂ）は、予測フレア１３５を減算せずに増幅のみを行った場合の画像例を示す図である。
【０１３８】
図８（ａ）及び図８（ｂ）に示す長時間露光画像１３４及び画像２１０では、光源周辺の画素が飽和しているので物体の一部が見えない。
【０１３９】
一方、図８（ｃ）に示すように、予測フレア１３５の減算及び増幅が行われた画像１３７では、光源周辺の画像が復元されている。また、増幅された画像１３７は、長時間露光画像１３４と同程度の輝度を有している。
【０１４０】
次に、フレア領域抽出部１１４は、画像１３７からフレア領域の画像１３８を抽出する（Ｓ１０７）。また、フレア領域除外部１１５は、長時間露光画像１３４からフレア領域の画像を除外することにより画像１３９を生成する（Ｓ１０８）。
【０１４１】
次に、画像合成部１１９は、画像１３８と画像１３９とを合成することにより画像１４０を生成する（Ｓ１０９）。
【０１４２】
図９は、フレア領域抽出部１１４、フレア領域除外部１１５及び画像合成部１１９の処理を説明するための図である。
【０１４３】
図９に示すように、フレア領域抽出部１１４は、画像１３７にフレア領域関数２２０を乗算することにより、画像１３８を生成する。フレア領域関数２２０は、予測フレア生成部１１１で生成された予測フレア関数を０から１までの値に規格化した関数である。これにより、フレア領域抽出部１１４は、フレア領域（光源周辺の領域）の信号のみを抽出した画像１３８を生成する。
【０１４４】
なお、フレア領域関数２２０は、予測フレア生成部１１１で生成された予測フレア関数を補正したうえで、０から１までの値に規格化した関数であってもよい。また、フレア領域関数２２０は、予測フレア生成部１１１で生成された予測フレア関数と異なる関数であり、各画素におけるフレア成分の輝度を０から１までの値に規格化した関数であってもよい。
【０１４５】
また、フレア領域除外部１１５は、長時間露光画像１３４にフレア領域除外関数２２１を乗算することにより、画像１３９を生成する。フレア領域除外関数２２１は、１からフレア領域関数２２０を減算した関数であり、値は０から１である。これにより、フレア領域除外部１１５は、長時間露光画像１３４からフレア領域の信号を除外した画像１３９を生成する。
【０１４６】
ここで、小数の計算はハードウェアでは難しいが、一般的なハードウェアでの計算と同様に２のべき乗を掛けた後計算し、最後に２のべき乗で除算することにより小数の計算を行えばよい。
【０１４７】
画像合成部１１９は、画像１３８と画像１３９とを合成することにより、フレアのない画像１４０を生成する。
【０１４８】
一方、高輝度被写体が無く、長時間露光画像１３４に飽和画素が含まれていない場合（Ｓ１０３でＮｏ）、制御部１２０は、スイッチ１１０及び１１８を制御することにより、短時間露光画像１３３及び長時間露光画像１３４を画像合成部１１９に入力する。
【０１４９】
次に、画像合成部１１９は、短時間露光画像１３３と長時間露光画像１３４とを合成することにより画像１４０を生成する（Ｓ１０９）。これにより、撮像装置１００は、画像１４０のダイナミックレンジを広げることができる。また、撮像装置１００は、フレア除去する信号処理モードと、ダイナミックレンジを広げる信号処理モードとの二つのモードを自動的に選択できる。
【０１５０】
なお、撮像装置１００は、短時間露光画像１３３又は長時間露光画像１３４と、画像合成部１１９との経路に挿入される遅延素子を備えてもよい。これにより、短時間露光画像１３３と長時間露光画像１３４とのフレーム速度をあわせることができる。
【０１５１】
以上により、本発明の実施の形態に係る撮像装置１００は、フレアの影響を低減した画像１４０を生成できる。
【０１５２】
また、撮像装置１００は、短時間露光画像１３３を用いて予測フレア１３５を生成し、短時間露光画像１３３から予測フレア１３５を減算する。図５に示すように、長時間露光画像１３４でフレアにより画像信号が飽和している場合でも、短時間露光画像１３３では、画像信号が飽和していないので、撮像装置１００は、フレア領域の画像信号の情報を復元できる。
【０１５３】
また、従来の撮像装置のように、予測フレア生成処理を画素毎で行う場合、光源等の高輝度被写体が多く存在し、飽和画素が多くなれば、飽和画素数に比例して処理時間が長くなる。一方、撮像装置１００は、領域マスク２０２単位で予測フレア生成処理を行う。これにより、飽和画素（画素２０１）の数の増加による処理時間の増加を抑制できる。
【０１５４】
また、撮像装置１００は、短時間露光画像１３３からフレアを除去した画像１３６を増幅する。これにより、短時間露光画像１３３の輝度を長時間露光画像１３４と同程度にできる。
【０１５５】
さらに、撮像装置１００は、光源周辺の領域に関しては、短時間露光画像１３３からフレアの除去及び増幅が行われた画像１３７を用い、光源周辺以外の領域に関しては、長時間露光画像１３４を用いる。これにより、短時間露光画像１３３を用いることによる、画質の劣化を抑制できる。
【０１５６】
以下、撮像素子１０２の構成及び動作を詳細に説明する。
【０１５７】
図１０は、撮像素子１０２の構成を示す図である。
【０１５８】
図１０に示すように撮像素子１０２は、画素アレー３００と、ＣＤＳ回路３１０と、センスアンプ３２０と、水平シフトレジスタ３３０と、出力アンプ３３１Ａ及び３３１Ｂと、電源電圧駆動回路３３２と、マルチプレクサ３３３と、垂直シフトレジスタ３３４と、電子シャッターシフトレジスタ３３５と、短時間露光用シフトレジスタ３３６と、参照電圧生成回路３３７と、駆動回路３３８と、カウンタ３３９と、出力アンプ３４０と、負荷抵抗回路３４１とを備える。
【０１５９】
画素アレー３００は、２次元状に配置された単位画素である複数の画素セル３０１Ａ、３０１Ｂ及び３０１Ｃを備える。なお、画素セル３０１Ａ、３０１Ｂ及び３０１Ｃを特に区別しない場合には、画素セル３０１と記す。また、図１０において、説明の簡略化のため３行×１列の３個の画素セル３０１のみを示しているが画素セル３０１の数は任意でよい。また、画素セル３０１は、行及び列方向に配置されているとする。
【０１６０】
画素セル３０１は、入射光を信号電圧に変換し、変換した信号電圧を信号線ｓｌに出力する。画素セル３０１Ａは、フォトダイオード３０２と、転送トランジスタ３０３と、リセットトランジスタ３０４と、アンプトランジスタ３０５とを備える。なお、画素セル３０１Ｂ及び３０１Ｃの構成も同様である。また、画素セル３０１の構成は、図１０に示す構成に限定されるものではなく、画素セル３０１は、光電変換するフォトダイオードと、画素内アンプ機能と、転送ゲート機能と、リセットゲート機能とを有する構成であればよい。
【０１６１】
画素セル３０１Ａ、３０１Ｂ及び３０１Ｃは、同一の列（図中の縦方向）に配置される。
【０１６２】
信号線ｓｌ及び電源電圧線ｖｄは、列方向に配置される画素セル３０１Ａ〜３０１Ｃに共通に接続される。制御線ｒｅ１〜ｒｅ３及びｔｒａｎ１〜ｔｒａｎ３は、画素セル３０１Ａ〜３０１Ｃのそれぞれに接続される。また、制御線ｒｅ１〜ｒｅ３及びｔｒａｎ１〜ｔｒａｎ３は、同一の行（図中の横方向）の画素セル３０１に対して共通に接続される。
【０１６３】
ＣＤＳ回路３１０は、相関二重サンプリング回路である。ＣＤＳ回路３１０は、複数のＣＤＳセル３１１を備える。ＣＤＳセル３１１は、画素セル３０１の列ごとに配置される。なお、図１０では簡単のため１つのＣＤＳセル３１１のみを示している。
【０１６４】
ＣＤＳセル３１１は、短い露光時間及び長い露光時間に対する信号電圧を相関二重サンプリングし、短い露光時間及び長い露光時間のそれぞれに対する信号を保持する。
【０１６５】
各ＣＤＳセル３１１は、トランジスタ３１２、３１４、３１５Ａ、３１５Ｂ、３１７Ａ及び３１７Ｂと、容量３１３、３１６Ａ及び３１６Ｂとを備える。
【０１６６】
ここで、単一の露光時間の信号に対応した通常のＣＤＳセルは、直列に接続された２つの容量を備える。通常のＣＤＳセルでは、暗信号が入力されている期間に２つの容量の中間ノードが基準電圧にバイアスされる。その後、通常のＣＤＳセルでは、明信号が入力され中間ノードの電圧変化分が読み取られる。
【０１６７】
本発明の実施の形態に係る撮像素子１０２は、短時間露光信号１３０及び長時間露光信号１３１を同時に出力するために、３つの容量３１３、３１６Ａ及び３１６Ｂを備える。
【０１６８】
容量３１３は、直列容量の前段の容量である。容量３１３は、短い露光時間の信号を読み出す場合と、長い露光時間の信号を読み出す場合とで共通に使用される。
【０１６９】
容量３１６Ａは、長い露光時間の信号を読み出す場合の直列容量の後段の容量である。容量３１６Ｂは、短い露光時間の信号を読み出す場合の直列容量の後段の容量である。
【０１７０】
トランジスタ３１２は、信号線ｓｌとＣＤＳセル３１１とを導通させる入力トランジスタである。トランジスタ３１２は制御線ｓｈの信号によりオン／オフが切り替えられる。
【０１７１】
トランジスタ３１４は、直列容量の中間ノードを、基準電圧線ａｖに印加される基準電圧にするためのスイッチである。トランジスタ３１４は制御線ｎｃｃｌの信号によりオン／オフが切り替えられる。
【０１７２】
トランジスタ３１５Ａ及び３１５Ｂは、容量３１３と、容量３１６Ａ及び３１６Ｂのうち一方との接続を切替えるスイッチである。トランジスタ３１５Ａ及び３１５Ｂは制御線ｓｅｌ１及びｓｅｌ２の信号によりオン／オフが切り替えられる。
【０１７３】
トランジスタ３１７Ａは、容量３１６Ａに保持される信号を信号線ｈｓｌ１に出力するためのスイッチである。トランジスタ３１７Ｂは、容量３１６Ｂに保持される信号を信号線ｈｓｌ２に出力するためのスイッチである。トランジスタ３１７Ａ及び３１７Ｂは、制御線ｈｓｅｌの信号によりオン／オフが切替えられる。
【０１７４】
また、制御線ｓｈ、ｎｃｃｌ、ｓｅｌ１及びｓｅｌ２は、複数のＣＤＳセル３１１に共通に接続される。
【０１７５】
水平シフトレジスタ３３０は、外部からのクロック信号及びトリガ信号に基づき、画素セル３０１の列を順次選択する一般的な回路である。水平シフトレジスタ３３０は、それぞれの列に対応する複数の制御線ｈｓｅｌをアクティブにすることにより列を選択する。水平シフトレジスタ３３０は、選択した列のＣＤＳセル３１１に保持される信号を信号線ｈｓｅｌ１及びｈｓｅｌ２に出力させる。
【０１７６】
参照電圧生成回路３３７は、参照電圧を生成し、参照電圧線ｒｅｆに生成した参照電圧を出力する。
【０１７７】
出力アンプ３３１Ａ及び３３１Ｂは、それぞれ信号線ｈｓｅｌ１及びｈｓｅｌ２に出力された信号を増幅し、増幅した信号を長時間露光信号１３１及び短時間露光信号１３０として出力パッドに出力する。
【０１７８】
センスアンプ３２０は、複数のセンスアンプセル３２１を備える。センスアンプセル３２１は、複数のＣＤＳセル３１１のそれぞれに対応して配置される。なお、図１０では簡単のため１つのセンスアンプセル３２１のみを示している。
【０１７９】
センスアンプセル３２１は、各画素セル３０１で撮像された画像が飽和しているか否かを判定する。具体的には、センスアンプセル３２１は、信号線ｓｈに出力された短い露光時間の信号電圧が、参照電圧線ｒｅｆの参照電圧より大きいか否かを判定する。センスアンプセル３２１は、判定結果を信号線ｔｒに出力する。ここで参照電圧線ｒｅｆの参照電圧は、長い露光時間で画素セル３０１が飽和する信号電圧に対応する、短い露光時間での信号電圧である。
【０１８０】
センスアンプセル３２１は、トランジスタ３２２Ａ、３２２Ｂ及び３２４と、インバータ３２３Ａ及び３２３Ｂとを備える。なお、センスアンプセル３２１の構成は、図１０に示す構成に限定されるものではなく、信号線ｓｈに出力された短い露光時間の信号電圧が参照電圧以上であるか否かを判定する回路であればよい。
【０１８１】
電源電圧駆動回路３３２は、電源電圧線ｖｄを駆動する駆動回路である。
【０１８２】
負荷抵抗回路３４１は、画素セル３０１内のアンプトランジスタ３０５の負荷回路を水平方向へアレー化した回路である。
【０１８３】
垂直シフトレジスタ３３４は、長時間露光用の行ごとの駆動パルスを順次出力する。電子シャッターシフトレジスタ３３５は、電子シャッター用の垂直シフトレジスタである。短時間露光用シフトレジスタ３３６は、短時間露光用の行ごとの駆動パルスを順次出力する短時間露光用の垂直シフトレジスタである。
【０１８４】
マルチプレクサ３３３は、垂直シフトレジスタ３３４、電子シャッターシフトレジスタ３３５及び短時間露光用シフトレジスタ３３６から出力される制御信号を選択し、選択した制御信号を制御線ｒｅ１〜ｒｅ３及びｔｒａｎ１〜ｔｒａｎ３に出力する。
【０１８５】
駆動回路３３８は、センスアンプ３２０と、ＣＤＳ回路３１０とを駆動するためのドライバ等を含む回路である。駆動回路３３８は、制御線ｓｈ、ｎｃｃｌ、ｓｅｌ１及びｓｅｌ２に制御信号を出力する。また、駆動回路３３８は、基準電圧線ａｖに基準電圧を供給する。
【０１８６】
カウンタ３３９は、センスアンプ３２０により信号線ｔｒに出力された信号を検知して飽和画素の数をカウントする。具体的には、カウンタ３３９は、センスアンプ３２０により、信号線ｓｈに出力された信号電圧が、参照電圧線ｒｅｆの参照電圧より大きいと判定された画素の数を数える。
【０１８７】
カウンタ３３９は、基準ビット数以上のカウントがあればＦＬＧ信号１３２をアクティブにする。ここで、基準ビット数は、画像に高輝度被写体が含まれる場合に生じる飽和画素数の最低値である。つまり、画像に含まれる飽和画素が基準ビット数以下の場合には、フレアの影響は少ないので、撮像装置１００はフレア除去処理を行わない。
【０１８８】
また、カウンタ３３９は、短時間露光用シフトレジスタ３３６へＦＬＧ信号１３２を送信する。アクティブなＦＬＧ信号１３２を受信した短時間露光用シフトレジスタ３３６は、飽和画素がなくなるようにシャッター時間を短くする。つまり、撮像素子１０２は、短時間露光信号１３０に飽和画素がなくなるように内部で自動的にシャッター時間を切り替える。
【０１８９】
出力アンプ３４０は、カウンタ３３９により出力されたＦＬＧ信号１３２を増幅し、増幅したＦＬＧ信号１３２を出力パッドに出力する。
【０１９０】
次に、撮像素子１０２の動作を説明する。
【０１９１】
図１１は、撮像素子１０２における電子シャッターの制御を示す図である。図１１はフォトダイオード３０２に蓄積される蓄積電荷量を示す図である。図１１に示すように、電子シャッターシフトレジスタ３３５は、１フレーム期間において、各行に対して、長い露光時間Ｔ０と、短い露光時間Ｔ１とで信号電荷が蓄積されるように電子シャッターを制御する。
【０１９２】
図１２は、撮像素子１０２の動作を示すタイミングチャートである。図１２に示すタイミングチャートは、水平同期信号の１周期分を示している。また、図１２に示すタイミングチャートは、画素セル３０１Ｂから長い露光時間の信号が読み出され、画素セル３０１Ｃから短い露光時間の信号が読み出される例を示す。
【０１９３】
フォトダイオード３０２で蓄積された電荷を読み出す前のタイミングｔ０で電源電圧線ｖｄに電源電圧が印加される。
【０１９４】
次にタイミングｔ１で制御線ｒｅ１、ｔｒａｎ１、ｒｅ２、ｓｈ、ｎｃｃｌ及びｓｅｌ１がアクティブになる。撮像素子１０２は、タイミングｔ１で、３つの動作を同時に開始し駆動時間の短縮を実現している。３つの動作とは、1つは画素セル３０１Ａと同じ行の画素セル群に対して、制御線ｒｅ１と制御線ｔｒａｎ１とを同時にアクティブにすることにより、当該画素セル群の個々のフォトダイオード３０２に蓄積された電荷をリセットする動作である。２つ目の動作は、画素セル３０１Ｂと同じ行の画素セル群に対して、アンプトランジスタ３０５のゲート電圧を電源電圧にセットする動作である。
【０１９５】
３つ目の動作は、ＣＤＳ回路３１０を初期化する動作である。具体的には、制御線ｓｈがアクティブとなることで、トランジスタ３１２がオンする。これにより信号線ｓｌとＣＤＳセル３１１とが導通する。また、制御線ｓｅｌ１がアクティブとなることで、トランジスタ３１５Ａがオンする。これにより、容量３１３と容量３１６Ａとが接続される。また、制御線ｎｃｃｌがアクティブとなることで、トランジスタ３１４がオンする。これにより、容量３１３と容量３１６Ａとの中間ノードの電位が、基準電圧線ａｖにより供給される基準電圧にセットされる。
【０１９６】
次に、タイミングｔ２で制御線ｎｃｃｌが非アクティブになり、基準電圧線ａｖの基準電圧と、容量３１３と容量３１６Ａとの中間ノードとが切り離される。つまり、当該中間ノードに基準電圧分の電荷が充電される。
【０１９７】
次に、タイミングｔ３で制御線ｔｒａｎ２がアクティブになり、画素セル３０１Ｂと同じ行にある画素セル３０１内の転送トランジスタ３０３がオンされる。その後、タイミングｔ４で制御線ｔｒａｎ２が非アクティブになり、転送トランジスタ３０３がオフされる。
【０１９８】
これにより、アンプトランジスタ３０５のゲート電圧がフォトダイオード３０２に蓄積された電荷量に応じて変化する。アンプトランジスタ３０５はゲート電圧に応じて信号線ｓｌの電圧を変化させる。信号線ｓｌが変化することにより、ＣＤＳ回路３１０では有効になっている容量３１３と容量３１６Ａとの中間ノードの電圧が信号線ｓｌの電圧に応じて変化する。結果的に、画素セル３０１Ｂと同一の行にある画素セル３０１の蓄積電荷に応じた電圧が有効になっている容量３１３と容量３１６Ａとの中間ノードに現れる。
【０１９９】
次に、タイミングｔ５で制御線ｓｅｌ１が非アクティブとなり、トランジスタ３１５Ａがオフする。その結果、容量３１６Ａに、画素セル３０１Ｂの長い露光時間に対応する電荷が蓄積される。
【０２００】
タイミングｔ６で制御線ｓｈが非アクティブとなり、トランジスタ３１２がオフする。これにより、信号線ｓｌとＣＤＳセル３１１とが切り離される。
【０２０１】
次に、タイミングｔ７で制御線ｒｅ２がアクティブとなり、タイミングｔ８で電源電圧線ｖｄが接地電位になる。これにより、画素セル３０１Ｂと同一行の画素セル３０１のアンプトランジスタ３０５のゲート電圧が接地電圧に戻る。
【０２０２】
以上の動作により、画素セル３０１Ｂに蓄積された長い露光時間の信号電荷に対応する電荷が容量３１６Ａに保持される。
【０２０３】
次に、撮像素子１０２は、タイミングｔ０からタイミングｔ８までの動作と同様の動作を、画素セル３０１Ｃと同一の行の画素セル３０１に対してタイミングｔ９からタイミングｔ１２で行う。
【０２０４】
具体的には、タイミングｔ９で電源電圧線ｖｄに電源電圧が印加される。
【０２０５】
次に、制御線ｒｅ３、ｓｈ、ｎｃｃｌ及びｓｅｌ２がアクティブになる。これにより、画素セル３０１Ｃと同じ行の画素セル群に対して、アンプトランジスタ３０５のゲート電圧が電源電圧にセットされる。また、ＣＤＳ回路３１０が初期化される。
【０２０６】
次に、制御線ｔｒａｎ３がアクティブになり、画素セル３０１Ｃと同じ行にある画素セル３０１内の転送トランジスタ３０３がオンされる。その後、制御線ｔｒａｎ３が非アクティブになり、転送トランジスタ３０３がオフされる。
【０２０７】
これにより、画素セル３０１Ｃと同一の行にある画素セル３０１の蓄積電荷に応じた電圧が有効になっている容量３１３と容量３１６Ｂとの中間ノードに現れる。
【０２０８】
次に、制御線ｓｅｌ２が非アクティブとなり、トランジスタ３１５Ｂがオフする。その結果、容量３１６Ｂに、画素セル３０１Ｃの短い露光時間に対応する電荷が蓄積される。
【０２０９】
次に、制御線ｒｅ３がアクティブとなり、次に、タイミングｔ１２で電源電圧線ｖｄが接地電位になる。これにより、画素セル３０１Ｃと同一行の画素セル３０１のアンプトランジスタ３０５のゲート電圧が接地電圧に戻る。
【０２１０】
以上の動作により、画素セル３０１Ｃに蓄積された短い露光時間の信号電荷に対応する電荷が容量３１６Ｂに保持される。
【０２１１】
一方、タイミングｔ１０からタイミングｔ１１の期間で、制御線ｓｓがアクティブになる。これにより、センスアンプ３２０が駆動される。具体的には、トランジスタ３２２Ａ及び３２２Ｂがオンされる。よって、クロスカップル結合されたインバータ３２３Ａ及び３２３Ｂが互いの出力電圧をフィードバックすることにより、信号線ｓｌの電圧と参照電圧線ｒｅｆの参照電圧とが差動増幅される。これにより、信号線ｓｌの電圧と参照電圧線ｒｅｆの参照電圧とを比較され、信号線ｓｌの電圧が参照電圧よりも大きい場合、ノードｎ１は接地電圧となり、信号線ｓｌの電圧が参照電圧よりも小さい場合、ノードｎ１は電源電圧になる。つまり、画素セル３０１Ｃが飽和画素の場合、ノードｎ１は接地電圧になり、画素セル３０１Ｃが飽和画素でない場合、ノードｎ１は電源電圧になる。
【０２１２】
次に、タイミングｔ１３で水平シフトレジスタ３３０が駆動され、制御線ｈｓｅｌがアクティブになる。これにより、トランジスタ３１７Ａ、３１７Ｂ及び３２４がオンする。
【０２１３】
トランジスタ３１７Ａがオンすることにより、容量３１６Ａに保持される電荷が信号線ｈｓｌ１の配線寄生容量と容量分配される。出力アンプ３３１Ａは、容量分配された電圧を増幅する。出力アンプ３３１Ａは増幅した電圧である長時間露光信号１３１を出力する。
【０２１４】
また、トランジスタ３１７Ｂがオンすることにより、容量３１６Ｂに保持される電荷が信号線ｈｓｌ２の配線寄生容量と容量分配される。出力アンプ３３１Ｂは、容量分配された電圧を増幅する。出力アンプ３３１Ｂは増幅した電圧である短時間露光信号１３０を出力する。
【０２１５】
また、トランジスタ３２４がオンすることにより、センスアンプセル３２１に蓄積された２値データがカウンタ３３９に順次送信される。カウンタ３３９は、複数のセンスアンプセル３２１から順次送信される２値データのうちＬレベル（接地電圧）の２値データの数をカウントする。つまり、カウンタ３３９は飽和画素の数をカウントする。
【０２１６】
カウンタ３３９は１フレーム分の飽和画素をカウントした後、カウント値が、設定された基準ビット数以上であるか否かを判定する。カウンタ３３９は、カウント値が基準ビット数以上である場合、ＦＬＧ信号１３２をアクティブにする。つまり、カウンタ３３９は、光源等の高輝度被写体が撮像されている場合に、ＦＬＧ信号１３２をアクティブする。出力アンプ３４０はＦＬＧ信号１３２を増幅し出力パッドに出力する。
【０２１７】
また、ＦＬＧ信号１３２は短時間露光用シフトレジスタ３３６に入力される。アクティブなＦＬＧ信号１３２を受信した短時間露光用シフトレジスタ３３６は、短い露光時間を短くする方向へシフトレジスタの位相をずらす。これにより、例えば、図１１に示すように短い露光時間は時間Ｔ２となる。また、短時間露光用シフトレジスタ３３６は、非アクティブなＦＬＧ信号１３２を受信した場合、短い露光時間を長くする方向へシフトレジスタの位相をずらす。なお、短時間露光用シフトレジスタ３３６は、一定以上は短い露光時間が長くならないような制限を設けている。
【０２１８】
また、制御部１２０は、ＦＬＧ信号１３２に基づき、短い露光時間と長い露光時間との比を算出する。つまり、制御部１２０は、ＦＬＧ信号１３２の論理に応じて、短時間露光用シフトレジスタ３３６により変更された短い露光時間を算出し、算出した短い露光時間と長い露光時間との比を算出する。
【０２１９】
算出された比は、増幅部１１３に通知される。増幅部１１３は、通知された比に応じた増幅率で画像１３６の輝度を増幅する。
【０２２０】
なお、撮像素子１０２は、ＦＬＧ信号１３２とは別に、短い露光時間を示す情報を出力してもよい。この場合、制御部１２０は、当該情報に基づき、短い露光時間と長い露光時間との比を算出する。
【０２２１】
以上より、撮像素子１０２は、異なる露光時間で被写体２０を撮像することにより短時間露光信号１３０及び長時間露光信号１３１を出力できる。
【０２２２】
また、撮像素子１０２は、光源等の高輝度被写体を検出した場合にアクティブとなるＦＬＧ信号１３２を出力する。これにより、撮像装置１００は、ＦＬＧ信号１３２を用いて、撮像素子１０２から出力される画像に高輝度被写体が含まれるか否かを判定できる。
【０２２３】
さらに、撮像素子１０２は、ＦＬＧ信号１３２を用いて、短い露光時間と長い露光時間との比を自動的に制御する機能を実現できる。これにより、撮像素子１０２は、短い露光時間の画像信号が飽和しないように自動的に制御できる。
【０２２４】
以上、本発明の実施の形態に係る撮像装置について説明したが、本発明は、この実施の形態に限定されるものではない。
【０２２５】
例えば、上記説明では、単一の撮像素子１０２で短時間露光信号１３０及び長時間露光信号１３１を生成しているが、２つの撮像素子でそれぞれ短時間露光信号１３０及び長時間露光信号を生成してもよい。
【０２２６】
また、上記説明では、本発明に係る撮像装置の例として車両１０に搭載される車載カメラを例に説明したが、本発明に係る撮像装置は、監視カメラ及びデジタルビデオカメラ等に適用してもよい。この場合でも、上記説明と同様に、本発明に係る撮像装置は、高輝度被写体を撮像した場合のフレアの影響を低減できる。
【０２２７】
また、本発明は、静止画を撮影するデジタルスチルカメラ等の撮像装置に適用してもよい。
【産業上の利用可能性】
【０２２８】
本発明は、撮像装置に適用でき、特に、車両に搭載される車載カメラ等に適用できる。
【図面の簡単な説明】
【０２２９】
【図１】本発明の実施の形態に係る撮像装置が搭載された車両の外観を示す斜視図である。
【図２】本発明の実施の形態に係る撮像装置の構成を示す図である。
【図３】本発明の実施の形態に係る撮像装置による撮像動作の流れを示すフローチャートである。
【図４】本発明の実施の形態に係る撮像素子の構造を示す断面図である。
【図５】本発明の実施の形態に係る短時間露光画像及び長時間露光画像の一例、及び輝度分布を示す図である。
【図６】本発明の実施の形態に係る予測フレア生成部による予測フレア生成処理の流れを示すフローチャートである。
【図７】本発明の実施の形態に係る予測フレア生成部による予測フレア生成処理を説明するための図である。
【図８】本発明の実施の形態に係る予測フレア減算部及び増幅部の処理を説明するための図である。
【図９】本発明の実施の形態に係るフレア領域抽出部、フレア領域除外部及び画像合成部の処理を説明するための図である。
【図１０】本発明の実施の形態に係る撮像素子の構成を示す図である。
【図１１】本発明の実施の形態に係る撮像素子における電子シャッターの制御を示す図である。
【図１２】本発明の実施の形態に係る撮像素子の動作を示すタイミングチャートである。
【図１３】従来の撮像装置により画像処理された画像及び輝度分布を示す図である。
【符号の説明】
【０２３０】
１０ 車両
１００ 撮像装置
１０１ 対物レンズ
１０２ 撮像素子
１０３ タイミング発生部
１０４、１０５ 増幅部
１０６、１０７ ＡＤ変換部
１０８、１０９ 前処理部
１１０、１１８ スイッチ
１１１ 予測フレア生成部
１１２ 予測フレア減算部
１１３ 増幅部
１１４ フレア領域抽出部
１１５ フレア領域除外部
１１６ メモリ
１１７ データバス
１１９ 画像合成部
１２０ 制御部
１３０ 短時間露光信号
１３１ 長時間露光信号
１３２ ＦＬＧ信号
１３３ 短時間露光画像
１３４ 長時間露光画像
１３５ 予測フレア
１３６、１３７、１３８、１３９、１４０ 画像
１５１ 半導体パッケージ
１５２ 半導体チップ
１５３ カバーガラス
１５４ 入射光
１５５、１５６ 多重反射光
２００、２０１ 画素
２０２ 領域マスク
２０４、２０６ 重心
２０５、２０７ 予測フレア
２１０ 画像
２２０ フレア領域関数
２２１ フレア領域除外関数
３００ 画素アレー
３０１、３０１Ａ、３０１Ｂ、３０１Ｃ 画素セル
３０２ フォトダイオード
３０３ 転送トランジスタ
３０４ リセットトランジスタ
３０５ アンプトランジスタ
３１０ ＣＤＳ回路
３１１ ＣＤＳセル
３１２、３１４、３１５Ａ、３１５Ｂ、３１７Ａ、３１７Ｂ トランジスタ
３１３、３１６Ａ、３１６Ｂ 容量
３２０ センスアンプ
３２１ センスアンプセル
３２２Ａ、３２２Ｂ、３２４ トランジスタ
３２３Ａ、３２３Ｂ インバータ
３３１Ａ、３３１Ｂ 出力アンプ
３３２ 電源電圧駆動回路
３３３ マルチプレクサ
３３４ 垂直シフトレジスタ
３３５ 電子シャッターシフトレジスタ
３３６ 短時間露光用シフトレジスタ
３３７ 参照電圧生成回路
３３８ 駆動回路
３３９ カウンタ
３４０ 出力アンプ
【技術分野】
【０００１】
本発明は、撮像装置、カメラ、車両及び撮像方法に関し、特に、撮像した画像に含まれるフレア成分を低減する撮像装置に関する。
【背景技術】
【０００２】
撮像光学系では、被写体に明るい部分があると、明るい部分の周囲に光の広がりが見えてくる現象がある。特に、この光の広がりにより像を結ばない現象をフレアと言う。
【０００３】
フレアは光学特性により常に生じている。しかしながら、通常はフレアの値が小さく、映像を見るユーザがフレアの影響を感じられる程度ではない。しかし、光源などの非常に明るい被写体（以下、「高輝度被写体」と記す。）が撮像された場合には、映像を見るユーザに、フレアの影響が顕著に目につくようになる。
【０００４】
特に、視界補助用の車載カメラ等の撮像装置では夜間などに対向車等のヘッドライトが撮像されるシーンが多くある。このような場合、入射光の多重反射が発生することにより、映像にフレアが発生する。具体的には、対物レンズの回折の影響と、組み合わせレンズ同士での多重反射と、レンズと鏡筒とによる多重反射と、レンズと撮像素子とによる多重反射と、撮像素子のカバーガラスと撮像素子とによる多重反射などのカメラの光学系での光の反射がフレアの原因である。
【０００５】
発生したフレアにより、明るい部分のまわりに光が重なり、特に暗い部分が運転者に見えづらくなる。これにより、暗い部分に人又は物が存在する場合であっても、運転者は、当該人又は物を認識できない。つまり、フレアは車載カメラにおいて安全性を著しく低下させる原因となる。
【０００６】
これに対して、撮像した画像に含まれるフレアを低減する撮像装置が知られている（特許文献１〜３参照。）。
【０００７】
以下、従来のフレアを低減する特許文献１〜３に記載の撮像装置について説明する。
【０００８】
特許文献１記載の撮像装置は、所定の光学条件において生じるフレアの映像パターンモデルを予め記憶する。特許文献１記載の撮像装置は、撮像された画像における強い光の部分の明るさと形状とを推定し、予め記憶させておいた映像パターンモデルから疑似的に予測フレアを生成する。特許文献１記載の撮像装置は、実際にフレアの生じている元の画像から疑似的に発生させた予測フレアを減算する。これにより、特許文献１記載の撮像装置は、画像に含まれるフレアを実用上問題無い程度まで補正、及び軽減できる。
【０００９】
さらに、特許文献１記載の撮像装置は、２種類の露光時間で撮像した画像を用いてフレアを除去する。具体的には、特許文献１記載の撮像装置は、短い露光時間で撮像した画像に含まれる一定値以上の輝度を持つ画素を利用して予測フレアを生成する。特許文献１記載の撮像装置は、長い露光時間で撮像した画像から、生成した予測フレアを減算する。これにより、特許文献１記載の撮像装置は、長い露光時間で撮像した画像のフレアを低減できる。さらに、特許文献１記載の撮像装置は、短い露光時間の電子シャッター調整を画像処理部に備えることで、短い露光時間で撮像する画像の感度を適切に調整できる。
【００１０】
また、特許文献２及び特許文献３には、予測フレアの生成方法について記載されている。
【００１１】
特許文献２記載の撮像装置は、撮像画像の画素に対してコンボリューションを行い、予測フレアを生成する。特許文献２記載の撮像装置は、一定値以上の輝度を有する全ての画素に対してコンボリューション処理を行う（特許文献２の段落番号００１８参照。）。これにより、特許文献２記載の撮像装置は、予測フレアを高速に処理できる。また、特許文献２記載の撮像装置は、３種類の露光時間で撮像した画像を用いて予測フレアを生成する。特許文献２記載の撮像装置は、最も露光時間の長い画像から、生成した予測フレアを減算することにより、フレアを除去する。
【００１２】
また、特許文献３記載の撮像装置は、一定値以上の輝度を持つ画素を検出する。特許文献３記載の撮像装置は、検出した画素を基点として予測フレアを生成する（特許文献３の図４、図６及び図７参照。）。
【特許文献１】特許第３３７２２０９号公報
【特許文献２】特開平１１−１２２５３９号公報
【特許文献３】特開２００５−１６７４８５号公報
【発明の開示】
【発明が解決しようとする課題】
【００１３】
しかしながら、特許文献１〜３記載の撮像装置は、非常に強く明るい光源等の高輝度被写体を撮像した場合には、フレアのない画像を復元できない。高輝度被写体を撮像した場合、高輝度被写体の周囲の画素において電荷が飽和する。よって、飽和している画素（以下、「飽和画素」と記す。）では、暗部の信号が消失する。これにより、撮影された画像から予測フレアを減算したとしても、暗部の信号は復元されない。よって、特許文献１〜３記載の撮像装置は、高輝度被写体を撮像した場合には、フレアのない画像を復元できない。
【００１４】
図１３は、特許文献１〜３記載の従来の撮像装置により画像処理された画像及び輝度の分布を示す図である。図１３（ａ）は、光源がない場合の画像を示す図である。図１３（ｂ）は、光源が有り、かつ予測フレアを減算していない画像を示す図である。図１３（ｃ）は、光源が有り、かつ予測フレアを減算した画像を示す図である。
【００１５】
図１３（ｄ）、図１３（ｅ）及び図１３（ｆ）は、それぞれ図１３（ａ）、図１３（ｂ）及び図１３（ｃ）の横方向の断面における輝度の分布を示す図である。
【００１６】
図１３（ｅ）に示すように、光源の周辺部では、輝度が非常に高く、画素が飽和している。これにより、光源の周辺部に存在する物体の信号は、完全に消失する。そのため、図１３（ｃ）に示すように、予測フレアを減算した画像においてフレアは除去されているが、信号が復元できない領域が発生する。すなわち、特許文献１〜３記載の撮像装置は、高輝度被写体を撮像した場合、つまり光源等の周辺画素が飽和するほど強いフレアが発生した場合、画像を復元できないという課題がある。
【００１７】
本発明は上記従来の課題を解決するものであり、光源などの高輝度被写体を撮像しても信号を消失することなくフレアを除去できる撮像装置及び撮像方法を提供することを目的とする。
【課題を解決するための手段】
【００１８】
上記目的を達成するために、本発明に係る撮像装置は、第１露光時間で被写体を撮像することにより第１画像を生成する固体撮像素子と、前記第１画像に含まれるフレア成分を示す予測フレア画像を生成する予測フレア生成部と、前記第１画像から前記予測フレア画像を減算することにより差分画像を生成する減算部と、前記差分画像を増幅することにより増幅画像を生成する増幅部とを備える。
【００１９】
この構成によれば、本発明に係る撮像装置は、フレアを除去した差分画像を増幅する。これにより、本発明に係る撮像装置は、第１露光時間を通常の露光時間より短い露光時間とした場合でも、通常の露光時間の画像と同程度の輝度を有する画像を生成できる。つまり、本発明に係る撮像装置は、飽和画素を含まない短い露光時間の画像から、予測フレアを減算する。これにより、本発明に係る撮像装置は、高輝度被写体の周辺画素を復元できる。つまり、本発明に係る撮像装置は、高輝度被写体を撮像しても信号を消失することなくフレアを除去できる。
【００２０】
また、前記固体撮像素子は、さらに、前記第１露光時間より長い第２露光時間で前記被写体を撮像することにより第２画像を生成し、前記撮像装置は、さらに、前記増幅画像の第１領域の画像を抽出することによりフレア領域画像を生成する抽出部と、前記第２画像から、当該第２画像における前記第１領域の画像を除外することにより除外画像を生成する除外部と、前記フレア領域画像と、前記除外画像とを合成する合成部とを備え、前記第１領域は、前記第１画像において前記フレア成分が含まれる領域であってもよい。
【００２１】
この構成によれば、本発明に係る撮像装置は、フレアが除去された高輝度被写体の周辺の画像以外に、通常の露光時間（第２露光時間）の画像を用いる。よって、第１露光時間の画像を増幅することにより生じる画質の劣化を最小限に抑えられる。
【００２２】
また、前記増幅部は、前記第１露光時間と前記第２露光時間との比に応じて前記差分画像を増幅してもよい。
【００２３】
この構成によれば、本発明に係る撮像装置は、増幅画像の輝度を第２露光時間で撮像された第２画像の輝度と同程度にできる。
【００２４】
また、前記抽出部は、フレア成分の中心からの距離に反比例する関数であり、フレア成分の輝度を０から１までの値に規格化したフレア領域関数を前記増幅画像に乗算することにより前記フレア領域画像を生成してもよい。
【００２５】
この構成によれば、合成部により合成された画像において、フレアが含まれる領域とそれ以外の領域との境界における画像の変化を滑らかにできる。
【００２６】
また、前記除外部は、１から前記フレア領域関数を減算した関数であるフレア領域除外関数を前記第２画像に乗算することにより前記除外画像を生成してもよい。
【００２７】
この構成によれば、合成部により合成された画像において、フレアが含まれる領域とそれ以外の領域との境界における画像の変化を滑らかにできる。
【００２８】
また、前記予測フレア生成部は、前記第１画像を分割した複数の領域毎に、第１の値以上の輝度を有する第１画素の重心を算出する重心算出手段と、前記複数の領域毎に、前記重心を中心としたフレア成分を示す分割予測フレア画像を算出する分割予測フレア算出部と、前記複数の領域毎に算出された前記分割予測フレア画像を合成することにより前記予測フレア画像を生成する予測フレア合成部とを備えてもよい。
【００２９】
この構成によれば、本発明に係る撮像装置は、第１画像を分割した領域単位で予測フレア生成処理を行う。これにより、画素毎に予測フレア生成処理を行う場合に比べ、処理時間を低減できる。
【００３０】
また、前記分割予測フレア算出部は、前記複数の領域毎に、前記重心からの距離に反比例する関数であり、フレア成分の輝度を示す予測フレア関数に、当該領域に含まれる前記第１画素の数を乗算することにより前記分割予測フレア画像を算出してもよい。
【００３１】
この構成によれば、本発明に係る撮像装置は、フレア関数と第１画素の数を用いて、各領域におけるフレア成分の輝度を容易に算出できる。
【００３２】
また、前記固体撮像素子は、２次元状に配置され、入射光を信号電圧に変換する複数の画素と、前記画素毎に、前記信号電圧が参照電圧より大きいか否かを判定する電圧判定部とを備え、前記撮像装置は、さらに、前記電圧判定部により前記信号電圧が前記参照電圧より大きいと判定された画素の数を数えるカウンタ部とを備え、前記カウンタ部により数えられた画素の数が第２の値より大きい場合に、前記予測フレア生成部は前記予測フレア画像を生成し、前記減算部は前記差分画像を生成し、前記増幅部は前記増幅画像を生成してもよい。
【００３３】
この構成によれば、本発明に係る撮像装置は、撮像した画像に高輝度被写体が含まれる場合にのみ、フレアを除去する処理を行う。
【００３４】
また、前記固体撮像素子は、前記カウンタ部により数えられた画素の数が前記第２の値より大きい場合に、前記第１露光時間を短くする露光時間調整部を備えてもよい。
【００３５】
この構成によれば、本発明に係る撮像装置は、第１露光時間で撮像した画像に飽和画素が含まれないように当該第１露光時間を自動的に調整できる。
【００３６】
また、前記固体撮像素子は、さらに、前記カウンタ部により数えられた画素の数が前記第２の値より大きい場合に、第１信号を生成する信号生成部を備え、前記撮像装置は、さらに、前記露光時間調整部により短くされた第１露光時間を、前記第１信号に基づき算出する第１露光時間算出部を備え、前記増幅部は、前記第１露光時間算出部により算出された第１露光時間と前記第２露光時間との比に応じて前記差分画像を増幅してもよい。
【００３７】
この構成によれば、本発明に係る撮像装置は、固体撮像素子により生成された第１信号に基づき、増幅部の増幅率を調整できる。
【００３８】
また、前記固体撮像素子は、２次元状に配置され、入射光を信号電圧に変換する複数の画素と、前記第１露光時間及び前記第２露光時間に対する前記信号電圧を相関二重サンプリングし、前記第１露光時間及び前記第２露光時間のそれぞれに対する信号を保持する相関二重サンプリング回路と、前記相関二重サンプリング回路に保持される前記第１露光時間に対する前記信号を増幅することにより前記第１画像を生成し、当該第１画像を出力する第１出力部と、前記相関二重サンプリング回路に保持される前記第２露光時間に対する前記信号を増幅することにより前記第２画像を生成し、当該第２画像を出力する第２出力部とを備えてもよい。
【００３９】
この構成によれば、本発明に係る撮像装置は、２つの露光時間の画像を同時に出力できる。
【００４０】
また、本発明に係るカメラは、第１露光時間で被写体を撮像することにより第１画像を生成する固体撮像素子と、前記第１画像に含まれるフレア成分を示す予測フレア画像を生成する予測フレア生成部と、前記第１画像から前記予測フレア画像を減算することにより差分画像を生成する減算部と、前記差分画像を増幅することにより増幅画像を生成する増幅部とを備える。
【００４１】
この構成によれば、本発明に係るカメラは、高輝度被写体を撮像しても信号を消失することなくフレアを除去できる撮像装置を備える。よって、本発明に係るカメラは、高輝度被写体を撮像する場合でも、信号を消失することなくフレアを除去した画像を撮影できる。
【００４２】
また、本発明に係る車両は、第１露光時間で被写体を撮像することにより第１画像を生成する固体撮像素子と、前記第１画像に含まれるフレア成分を示す予測フレア画像を生成する予測フレア生成部と、前記第１画像から前記予測フレア画像を減算することにより差分画像を生成する減算部と、前記差分画像を増幅することにより増幅画像を生成する増幅部とを備える。
【００４３】
この構成によれば、本発明に係る車両は、高輝度被写体を撮像する場合でも信号を消失することなくフレアを除去した画像を撮影できるカメラを備える。よって、本発明に係る車両は、運転手に、高輝度被写体の周辺の信号が消失されていない画像を表示できる。よって、本発明に係る車両は、運転時の安全性を向上できる。
【００４４】
また、本発明に係る撮像方法は、第１露光時間で被写体を撮像し、第１画像を出力する固体撮像素子を備える撮像装置における撮像方法であって、前記第１画像に含まれるフレア成分を示す予測フレア画像を生成する予測フレア生成ステップと、前記第１画像から前記予測フレア画像を減算することにより差分画像を生成する減算ステップと、前記差分画像を増幅することにより増幅画像を生成する増幅ステップとを含む。
【００４５】
これによれば、本発明に係る撮像方法は、フレアを除去した差分画像を増幅する。これにより、本発明に係る撮像方法は、第１露光時間を通常の露光時間より短い露光時間とした場合でも、通常の露光時間の画像と同程度の輝度を有する画像を生成できる。つまり、本発明に係る撮像方法は、飽和画素を含まない短い露光時間の画像から、予測フレアを減算する。これにより、本発明に係る撮像方法は、高輝度被写体の周辺画素を復元できる。つまり、本発明に係る撮像方法は、高輝度被写体を撮像しても信号を消失することなくフレアを除去できる。
【００４６】
なお、本発明は、このような撮像装置として実現できるだけでなく、撮像装置に含まれる特徴的な手段をステップとする撮像方法として実現したり、そのような特徴的なステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体及びインターネット等の伝送媒体を介して流通させることができるのは言うまでもない。
【発明の効果】
【００４７】
以上より、本発明は、光源などの高輝度被写体を撮像しても信号を消失することなくフレアを除去できる撮像装置及び撮像方法を提供できる。
【発明を実施するための最良の形態】
【００４８】
以下、本発明に係る撮像装置の実施の形態について、図面を参照しながら詳細に説明する。
【００４９】
まず、本発明の実施の形態に係る撮像装置の構成を説明する。
【００５０】
図１は、本発明の実施の形態に係る撮像装置が搭載された車両の外観を示す斜視図である。
【００５１】
図１に示す車両１０は、一般的な自動車である。車両１０は、車両１０の前方面に撮像装置１００を備える。なお、車両１０は、車両１０の後方面、又は横方向に撮像装置１００を備えてもよい。また、車両１０は、複数の撮像装置１００を備えてもよい。
【００５２】
撮像装置１００は、運転者の視野補助に用いられる。撮像装置１００は、車両１０の周囲を撮像する。撮像装置１００により撮像された画像は、車両１０の車内のモニタ等の表示部に表示される。
【００５３】
本発明の実施の形態に係る撮像装置１００は、光源等の高輝度被写体の光による飽和画素を含まない短い間露光時間で撮像された画像からフレアを除去する。これにより、撮像装置１００は、高輝度被写体を撮像しても信号を消失することなくフレアを除去した画像を出力できる。そのため、夜間などにおいて対向車又は周辺の車両のヘッドライトの付近に人又は物があっても、フレアによって情報がかき消されることが無い。これにより、運転者は、ヘッドライト付近の人又は物をモニタ等で確認できるので、安全性が向上する。
【００５４】
図２は、撮像装置１００の構成を示す図である。
【００５５】
図２に示すように撮像装置１００は、対物レンズ１０１と、撮像素子１０２と、タイミング発生部（ＴＧ）１０３と、増幅部１０４及び１０５と、ＡＤ変換部１０６及び１０７と、前処理部１０８及び１０９と、スイッチ１１０と、予測フレア生成部１１１と、予測フレア減算部１１２と、増幅部１１３と、フレア領域抽出部１１４と、フレア領域除外部１１５と、メモリ１１６と、データバス１１７と、スイッチ１１８と、画像合成部１１９と、制御部１２０とを備える。
【００５６】
対物レンズ１０１は、被写体２０からの光を撮像素子１０２に集光する。
【００５７】
撮像素子１０２は、ＣＭＯＳイメージセンサ等の固体撮像素子である。なお、撮像素子１０２は、ＣＣＤイメージセンサ等であってもよい。また、固体撮像素子１０２は、例えば、単一のチップに形成される半導体集積回路である。
【００５８】
撮像素子１０２は、対物レンズ１０１により集光された光を撮像する。具体的には、撮像素子１０２は、光を電気信号（アナログ信号）に変換し出力する。また、撮像素子１０２は、短い露光時間で撮像した画像のアナログ信号である短時間露光信号１３０と、通常の長い露光時間で撮像した画像のアナログ信号である長時間露光信号１３１とを生成する。撮像素子１０２は、短時間露光信号１３０を増幅部１０４に出力し、長時間露光信号１３１を増幅部１０５に出力する。
【００５９】
また、撮像素子１０２は、撮像した画像に光源等の高輝度被写体が含まれるか否かを示すＦＬＧ信号１３２を生成し、制御部１２０に出力する。具体的には、ＦＬＧ信号１３２は、長時間露光信号１３１に飽和画素が所定の数以上あるか否かを示す信号である。例えば、ＦＬＧ信号１３２がアクティブの場合、撮像した画像に高輝度被写体が含まれることを示し、ＦＬＧ信号１３２が非アクティブの場合、撮像した画像に高輝度被写体が含まれないことを示す。
【００６０】
タイミング発生部１０３は、撮像素子１０２を駆動するタイミングを制御する信号を生成する。
【００６１】
増幅部１０４は、短時間露光信号１３０を増幅する。増幅部１０５は、長時間露光信号１３１を増幅する。
【００６２】
ＡＤ変換部１０６は、増幅部１０４により増幅された短時間露光信号１３０を、デジタル信号に変換する。ＡＤ変換部１０７は、増幅部１０５により増幅された長時間露光信号１３１を、デジタル信号に変換する。
【００６３】
前処理部１０８は、ＡＤ変換部１０６により変換されたデジタル信号に、画素補間処理、色処理及びガンマ処理等の前処理を行い、短時間露光画像１３３を生成する。前処理部１０９は、ＡＤ変換部１０７により変換されたデジタル信号に、画素補間処理、色処理及びガンマ処理等の前処理を行い、長時間露光画像１３４を生成する。
【００６４】
スイッチ１１０及び１１８は、フレアを除去する処理を行うか否かを選択するスイッチである。
【００６５】
具体的には、スイッチ１１０及び１１８は、前処理部１０８により生成された短時間露光画像１３３を、直接、画像合成部１１９に出力するか、予測フレア生成部１１１、予測フレア減算部１１２、増幅部１１３、及びフレア領域抽出部１１４を経由して画像合成部１１９に出力するかを選択する。また、スイッチ１１０及び１１８は、前処理部１０９により生成された長時間露光画像１３４を、直接、画像合成部１１９に出力するか、フレア領域除外部１１５を経由して画像合成部１１９に出力するかを選択する。
【００６６】
スイッチ１１０及び１１８は、フレアを除去する処理を行わない場合、短時間露光画像１３３及び長時間露光画像１３４を直接、画像合成部１１９に出力する。スイッチ１１０及び１１８は、フレアを除去する処理を行う場合、短時間露光画像１３３を予測フレア生成部１１１に出力し、長時間露光画像１３４をフレア領域除外部１１５に出力する。
【００６７】
予測フレア生成部１１１は、短時間露光画像１３３から予測フレア１３５を生成する。予測フレア１３５は、短時間露光画像１３３に含まれるフレア成分を示す画像であり、フレア成分を仮想的に算出した画像である。ここで、フレア成分とは、高輝度被写体から発生される光の多重反射により生じる光の成分であり、高輝度被写体の周辺に生じる光の成分である。
【００６８】
予測フレア減算部１１２は、短時間露光画像１３３から予測フレア１３５を減算することにより画像１３６を生成する。
【００６９】
増幅部１１３は、短時間露光画像１３３と長時間露光画像１３４との露光時間の比に応じた倍率で画像１３６を増幅することにより画像１３７を生成する。
【００７０】
フレア領域抽出部１１４は、画像１３７からフレア領域の画像１３８を抽出する。フレア領域は、短時間露光画像１３３において、フレア成分が含まれていた領域である。つまり、フレア領域は、高輝度被写体から発生される光の多重反射により生じる光の成分が含まれていた領域であり、高輝度被写体の周辺の領域である。
【００７１】
フレア領域除外部１１５は、長時間露光画像１３４からフレア領域の画像を除外することにより画像１３９を生成する。
【００７２】
メモリ１１６は、予測フレア生成部１１１、予測フレア減算部１１２、フレア領域抽出部１１４及びフレア領域除外部１１５により生成された画像及び処理途中のデータ等を保持する記録部である。
【００７３】
データバス１１７は、メモリ１１６と、予測フレア生成部１１１、予測フレア減算部１１２、フレア領域抽出部１１４及びフレア領域除外部１１５との間のデータ転送に用いられるバスである。
【００７４】
画像合成部１１９は、フレアを除外する処理が行われない場合には、短時間露光画像１３３と長時間露光画像１３４を合成することにより画像１４０を生成する。また、画像合成部１１９は、フレアを除外する処理が行われた場合には、画像１３８と画像１３９とを合成することにより画像１４０を生成する。
【００７５】
画像合成部１１９により生成された画像１４０は、車両１０の車内のモニタ等の表示部に表示される。
【００７６】
制御部１２０は、ＦＬＧ信号１３２に基づき、スイッチ１１０及び１１８の選択を制御する。具体的には、制御部１２０は、ＦＬＧ信号１３２が非アクティブの場合には、フレアを除去する処理を行わないように、スイッチ１１０及び１１８を制御する。制御部１２０は、ＦＬＧ信号１３２がアクティブの場合には、フレアを除去する処理を行うように、スイッチ１１０及び１１８を制御する。
【００７７】
また、制御部１２０は、ＦＬＧ信号１３２に基づき、短い露光時間と、長い露光時間との比を算出し、算出した比を増幅部１１３に通知する。
【００７８】
次に、撮像装置１００の動作を説明する。
【００７９】
図３は、撮像装置１００による撮像動作の流れを示すフローチャートである。
【００８０】
まず、撮像素子１０２は、被写体２０を撮像する（Ｓ１０１）。
【００８１】
具体的には、被写体２０からの光は対物レンズ１０１を介して集光され、撮像素子１０２に入射される。
【００８２】
図４は、撮像素子１０２の構造を示す断面図である。図４に示すように、撮像素子１０２は、半導体パッケージ１５１と、半導体チップ１５２と、カバーガラス１５３とを備える。
【００８３】
半導体パッケージ１５１は、開口部を有し、内部に半導体チップ１５２が配置される。半導体チップ１５２は、イメージセンサである。
【００８４】
カバーガラス１５３は、半導体パッケージ１５１の開口部側に配置される。
【００８５】
対物レンズ１０１により集光された入射光１５４は、カバーガラス１５３を透過し、半導体チップ１５２に入射される。
【００８６】
被写体２０が強い光源である場合、半導体チップ１５２表面で、入射光１５４は反射する。反射した入射光１５４は、カバーガラス１５３及び対物レンズ１０１等で反射される。カバーガラス１５３で反射された多重反射光１５５が再び半導体チップ１５２に入射される。また、対物レンズ１０１で反射された多重反射光１５６が再び半導体チップ１５２に入射される。この多重反射光１５５及び１５６がフレアとなり、撮像された画像は、被写体２０を正確に映した画像ではなくなる。特にフレアが強ければ光源周囲の被写体情報は消失してしまう。
【００８７】
撮像素子１０２は、このような強い光が入射した場合、ＦＬＧ信号１３２をアクティブにする。
【００８８】
また、撮像素子１０２は、フレアにより画素が飽和しないような短い露光時間で撮像した短時間露光信号１３０と、通常の長い露光時間で撮像した長時間露光信号１３１とを出力する。なお、撮像素子１０２の詳細な構成及び動作については後述する。
【００８９】
短時間露光信号１３０は、増幅部１０４により増幅された後、ＡＤ変換部１０６によりデジタル信号に変換される。また、長時間露光信号１３１は、増幅部１０５により増幅された後、ＡＤ変換部１０７によりデジタル信号に変換される。
【００９０】
なお、ここでは、増幅部１０４及び１０５と、ＡＤ変換部１０６及び１０７による処理を撮像素子１０２の外部で行っているが、撮像素子１０２の内部で行ってもよい。具体的には、増幅部１０４及び１０５を撮像素子１０２内のカラムアンプに置き換え、ＡＤ変換部を撮像素子１０２内のカラムＡＤ変換器に置き換えてもよい。すなわち、一般的に知られているデジタル出力の撮像素子のように撮像素子１０２内でデジタル化を行う構成であってもよい。
【００９１】
前処理部１０８は、ＡＤ変換部１０６により変換されたデジタル信号にデジタル画像処理を行い、短時間露光画像１３３を生成する。前処理部１０９は、ＡＤ変換部１０７により変換されたデジタル信号にデジタル画像処理を行い、長時間露光画像１３４を生成する（Ｓ１０２）。
【００９２】
具体的には、前処理部１０８及び１０９は、撮像素子１０２が単板式撮像素子である場合は、画素補間を行う。端版式撮像素子は、ベイヤー配列等の原色配列のカラーフィルタ、又はその他の補色配列のカラーフィルタを備える。また、前処理部１０８及び１０９は、各画素から、遮光膜に覆われた画素群の平均値を差分するＯＢ（黒レベル）差分処理を行う。
【００９３】
前処理部１０８及び１０９は、画素補間を行うために数行分のラインメモリを備える。ラインメモリの行数は画素補間時に参照される画素情報の領域の広さに応じて決定される。また、前処理部１０８及び１０９は、ホワイトバランス等で照明環境等の色温度補正を行う。また、前処理部１０８及び１０９は、カラーフィルタの透過率を理想の透過率へ近づける補正である行列演算等を行う。通常画素補間以外は一括して線形処理が可能であるために、前処理部１０８及び１０９は、１回の行列演算で通常画素補間以外の処理を行う。
【００９４】
図５は、短時間露光画像１３３及び長時間露光画像１３４の一例、及び輝度分布を示す図である。図５（ａ）は、短時間露光画像１３３の画像例を示す図であり、図５（ｂ）は、長時間露光画像１３４の画像例を示す図である。図５（ｃ）は図５（ａ）の短時間露光画像１３３における輝度分布を示す図であり、図５（ｄ）は図５（ｂ）の長時間露光画像１３４における輝度分布を示す図である。
【００９５】
図５に示すように短時間露光画像１３３及び長時間露光画像１３４では、中心の光源からの距離に反比例する乱反射成分がフレアとして広がっている。
【００９６】
また、図５（ａ）及び図５（ｃ）に示すように、短時間露光画像１３３では、光源の輝度に比べ低い輝度であるがフレア成分が存在している。
【００９７】
一方、図５（ｂ）及び図５（ｄ）に示すように、長時間露光画像１３４では、蓄積時間が長いために光源に近い周辺部では、画素出力が、回路飽和レベルを超えている。これにより仮にこの光源周囲に人、又は物などが存在していた場合、当該人、又は物の信号は飽和したフレアによってかき消されてしまう。
【００９８】
次に、制御部１２０は、ＦＬＧ信号１３２に基づき、長時間露光画像１３４に所定の数以上の飽和画素が含まれるか否かを判定する（Ｓ１０３）。
【００９９】
長時間露光画像１３４に所定の数以上の飽和画素が含まれている場合、つまり高輝度被写体を撮像した場合（Ｓ１０３でＹｅｓ）、制御部１２０は、スイッチ１１０及び１１８を制御することにより、短時間露光画像１３３を予測フレア生成部１１１に入力し、長時間露光画像１３４をフレア領域除外部１１５に入力する。
【０１００】
予測フレア生成部１１１は、短時間露光画像１３３から予測フレア１３５を生成する（Ｓ１０４）。
【０１０１】
以下、予測フレアの生成処理（Ｓ１０４）について詳細に説明する。
【０１０２】
図６は、予測フレア生成部１１１による予測フレア生成処理の流れを示すフローチャートである。
【０１０３】
図７は、予測フレア生成部１１１による予測フレア生成処理を説明するための図である。図７に示すように、短時間露光画像１３３は、輝度が一定値以下の画素である画素２００と、輝度が一定値以上の画素である画素２０１とを含む。画素２０１は、長時間露光画像１３４における飽和画素に対応する画素であり、画素２００は、長時間露光画像１３４における飽和画素以外の画素に対応する画素である。
【０１０４】
まず、予測フレア生成部１１１は、領域マスク２０２の単位で予測フレアを生成する。つまり、予測フレア生成部１１１は、短時間露光画像１３３を分割した複数の領域毎に、仮想的なフレア成分である予測フレアを生成する。
【０１０５】
例えば、領域マスク２０２は、図７に示すように、５×５画素のサイズである。なお、領域マスク２０２は、１０×１０画素などのサイズであってもよい。また、領域マスク２０２の縦と横との比は１対１でなくともよい。領域マスク２０２のサイズを大きくすることにより、処予測フレア生成部１１１の処理量をより削減できるが、生成される予測フレアの精度は減少する。
【０１０６】
予測フレア生成部１１１は、領域マスク２０２をサイズ刻みで短時間露光画像１３３を走査する。
【０１０７】
以下、図７（ａ）に示す領域マスク２０２に含まれる領域に対する予測フレア生成部１１１による予測フレアの生成処理を説明する。
【０１０８】
まず、予測フレア生成部１１１は、領域マスク２０２内に画素２０１が存在するか否かを判定する（Ｓ２０１）。画素２０１が存在する場合（Ｓ２０１でＹｅｓ）、予測フレア生成部１１１は、領域マスク２０２内に含まれる画素２０１の重心を数１及び数２を用いて算出する。
【０１０９】
【数１】
【０１１０】
【数２】
【０１１１】
ここで、Ｇｘは重心のｘ座標、Ｇｙは重心のｙ座標、Ｍｘは座標ｘの輝度、Ｍｙは座標ｙの輝度、ｎは領域マスク２０２のサイズである。なお、予測フレア生成部１１１は、数１及び数２に示すように、領域マスク２０２内の全ての画素の座標及び輝度から重心を算出しているが、処理量を削減するために、画素２０１の座標及び輝度から重心を算出してもよい。また、予測フレア生成部１１１は、さらに処理量を削減するために、画素２０１の座標のみから重心を算出してもよい。
【０１１２】
図７（ｃ）は、図７（ａ）に示す領域マスク２０２に含まれる領域に対して生成された予測フレアを示す図である。
【０１１３】
予測フレア生成部１１１は、数１及び数２を用いて、図７（ｃ）に示す重心２０４を算出する（Ｓ２０２）。
【０１１４】
予測フレア生成部１１１は、算出した重心２０４を中心として、予測フレア関数を用いて、予測フレア２０５を算出する（Ｓ２０３）。予測フレア関数は、各画素におけるフレア成分の輝度を示す関数である。また、予測フレア関数は、重心２０４からの距離に反比例する関数である。
【０１１５】
ここで、フレアの形状は対物レンズ１０１等の光学レンズ、撮像素子１０２上に作製されるマイクロレンズ、及び半導体チップ１５２を保護するカバーガラス１５３などの光学特性によって変化する。具体的には、当該光学特性とは、透過率、反射率及び光の散乱具合などである。このため、予測フレア関数の導出は実験的に求めるなどの調整が必要である。
【０１１６】
フレアは図４に示すように半導体チップ１５２の表面での反射とカバーガラス１５３での再反射とにより発生する現象である。よって、予測フレア関数は、厳密には、数３で表される。
【０１１７】
【数３】
【０１１８】
ここで、Ｉ＿Ｄは、フレアにより所定の画素に入力される光の輝度であり、Ｉ＿Ｉは、光源等から入射される光の輝度であり、Ｒ１は半導体チップ１５２の反射率であり、Ｒ２はカバーガラス１５３の反射率であり、Ｎは多重反射の回数である。
【０１１９】
ここで、反射毎に、光が拡散されるとし、かつ一回の反射毎に１画素分、光が重心２０４から離れるとすると、重心２０４から画素までの距離ｒ＝Ｎと近似できる。よって、予測フレア関数は、数４で表される。
【０１２０】
【数４】
【０１２１】
反射率Ｒ１及びＲ２は、１以下の値であるので、フレアにより画素に入力される光の輝度は、重心２０４からの距離に反比例する。
【０１２２】
なお、予測フレア生成部１１１は、厳密には数４で表される式を用いて予測フレアを生成することが好ましいが、処理量を削減するために、数４に表される式を簡略化した式を用いてもよい。つまり、予測フレア生成部１１１は、重心２０４からの距離に反比例する予測フレア関数を用いればよい。
【０１２３】
また、予測フレア生成部１１１は、光学レンズ、マイクロレンズ及びカバーガラス等の形状に応じて数４を変形させた式を用いてもよい。また、予測フレア生成部１１１は、短時間露光画像１３３の露光時間、又は、短時間露光画像１３３と長時間露光画像１３４との露光時間の比に応じて数４を変形させた式を用いてもよい。
【０１２４】
予測フレア生成部１１１は、数４を用いて算出された予測フレアに対して、領域マスク２０２内に含まれる画素２０１の数を乗算する。例えば、図７（ａ）の例では、飽和画素数は３であるので、予測フレア生成部１１１は、数４で算出された予測フレアを３倍することにより、図７（ｃ）に示す予測フレア２０５を算出する。
【０１２５】
短時間露光画像１３３の全ての領域に対して予測フレア生成処理（Ｓ２０１〜Ｓ２０３）が終了していないので、予測フレア生成部１１１は、領域マスク２０２を走査する（Ｓ２０５）。例えば、図７（ｂ）に示すように、予測フレア生成部１１１は、横方向に領域マスク２０２を走査する。
【０１２６】
予測フレア生成部１１１は、走査された領域マスク２０２の領域に対して、ステップＳ２０１〜Ｓ２０３の処理を行う。
【０１２７】
例えば、図７（ｂ）に示す例では、領域マスク２０２内に画素２０１が存在するので（Ｓ２０１でＹｅｓ）、予測フレア生成部１１１は、図７（ｄ）に示す重心２０６を算出し（Ｓ２０２）、予測フレア２０７を算出する（Ｓ２０３）。
【０１２８】
以降、予測フレア生成部１１１は、ステップＳ２０１〜Ｓ２０３の処理を短時間露光画像１３３の全ての領域に対して領域マスク２０２の単位で行う。
【０１２９】
また、領域マスク２０２内に飽和画素がない場合（Ｓ２０１でＮｏ）、予測フレア生成部１１１は、予測フレア算出（Ｓ２０２及びＳ２０３）を行わず、領域マスク２０２を走査する（Ｓ２０５）。
【０１３０】
短時間露光画像１３３の全ての領域に対して予測フレア生成処理（Ｓ２０１〜Ｓ２０３）が終了すると（Ｓ２０４でＹｅｓ）、予測フレア生成部１１１は、領域マスク２０２単位で算出された予測フレア２０５及び２０６を合成する（Ｓ２０６）。予測フレア生成部１１１は、領域マスク２０２単位で算出された予測フレア２０５及び２０６等を合成することにより、例えば、図７（ｅ）に示す予測フレア１３５を生成する。
【０１３１】
以上のように、予測フレア生成部１１１は、領域マスク２０２単位で予測フレアの生成処理（Ｓ２０１〜Ｓ２０３）を行う。よって、画素毎に予測フレアを生成する場合に比べて、処理速度を改善できる。
【０１３２】
再び図３を参照し説明を続ける。
【０１３３】
予測フレア生成処理（Ｓ１０４）の後、予測フレア減算部１１２は、短時間露光画像１３３から、予測フレア生成部１１１により生成され予測フレア１３５を減算することにより画像１３６を生成する（Ｓ１０５）。
【０１３４】
次に、増幅部１１３は、短時間露光画像１３３と長時間露光画像１３４との露光時間の比に応じた倍率で画像１３６を増幅することにより画像１３７を生成する（Ｓ１０６）。これにより、短い露光時間の短時間露光画像１３３から生成された画像１３７の輝度は、通常の露光時間の長時間露光画像１３４の輝度と同程度になる。例えば、長い露光時間（通常露光時間）と、短い露光時間との比を各画素の輝度値に乗算することにより、画像１３７の輝度は、長時間露光画像１３４の輝度と同程度になる。なお、増幅部１１３による増幅方法は線形増幅であっても、輝度に応じた対数的な増幅であってもよい。
【０１３５】
また、増幅部１１３で用いられる増幅率は、制御部１２０により指定される。制御部１２０は、ＦＬＧ信号１３２に基づき増幅率を算出する。なお、制御部１２０による増幅率の算出処理の詳細は後述する。
【０１３６】
図８は、予測フレア減算部１１２及び増幅部１１３の処理を説明するための図である。
【０１３７】
図８（ｃ）は、撮像装置１００により予測フレア１３５の減算及び増幅が行われた画像１３７の例を示す図である。また、図８（ａ）及び図８（ｂ）は比較のための図である。図８（ａ）は、長時間露光画像１３４の画像例を示す。図８（ｂ）は、予測フレア１３５を減算せずに増幅のみを行った場合の画像例を示す図である。
【０１３８】
図８（ａ）及び図８（ｂ）に示す長時間露光画像１３４及び画像２１０では、光源周辺の画素が飽和しているので物体の一部が見えない。
【０１３９】
一方、図８（ｃ）に示すように、予測フレア１３５の減算及び増幅が行われた画像１３７では、光源周辺の画像が復元されている。また、増幅された画像１３７は、長時間露光画像１３４と同程度の輝度を有している。
【０１４０】
次に、フレア領域抽出部１１４は、画像１３７からフレア領域の画像１３８を抽出する（Ｓ１０７）。また、フレア領域除外部１１５は、長時間露光画像１３４からフレア領域の画像を除外することにより画像１３９を生成する（Ｓ１０８）。
【０１４１】
次に、画像合成部１１９は、画像１３８と画像１３９とを合成することにより画像１４０を生成する（Ｓ１０９）。
【０１４２】
図９は、フレア領域抽出部１１４、フレア領域除外部１１５及び画像合成部１１９の処理を説明するための図である。
【０１４３】
図９に示すように、フレア領域抽出部１１４は、画像１３７にフレア領域関数２２０を乗算することにより、画像１３８を生成する。フレア領域関数２２０は、予測フレア生成部１１１で生成された予測フレア関数を０から１までの値に規格化した関数である。これにより、フレア領域抽出部１１４は、フレア領域（光源周辺の領域）の信号のみを抽出した画像１３８を生成する。
【０１４４】
なお、フレア領域関数２２０は、予測フレア生成部１１１で生成された予測フレア関数を補正したうえで、０から１までの値に規格化した関数であってもよい。また、フレア領域関数２２０は、予測フレア生成部１１１で生成された予測フレア関数と異なる関数であり、各画素におけるフレア成分の輝度を０から１までの値に規格化した関数であってもよい。
【０１４５】
また、フレア領域除外部１１５は、長時間露光画像１３４にフレア領域除外関数２２１を乗算することにより、画像１３９を生成する。フレア領域除外関数２２１は、１からフレア領域関数２２０を減算した関数であり、値は０から１である。これにより、フレア領域除外部１１５は、長時間露光画像１３４からフレア領域の信号を除外した画像１３９を生成する。
【０１４６】
ここで、小数の計算はハードウェアでは難しいが、一般的なハードウェアでの計算と同様に２のべき乗を掛けた後計算し、最後に２のべき乗で除算することにより小数の計算を行えばよい。
【０１４７】
画像合成部１１９は、画像１３８と画像１３９とを合成することにより、フレアのない画像１４０を生成する。
【０１４８】
一方、高輝度被写体が無く、長時間露光画像１３４に飽和画素が含まれていない場合（Ｓ１０３でＮｏ）、制御部１２０は、スイッチ１１０及び１１８を制御することにより、短時間露光画像１３３及び長時間露光画像１３４を画像合成部１１９に入力する。
【０１４９】
次に、画像合成部１１９は、短時間露光画像１３３と長時間露光画像１３４とを合成することにより画像１４０を生成する（Ｓ１０９）。これにより、撮像装置１００は、画像１４０のダイナミックレンジを広げることができる。また、撮像装置１００は、フレア除去する信号処理モードと、ダイナミックレンジを広げる信号処理モードとの二つのモードを自動的に選択できる。
【０１５０】
なお、撮像装置１００は、短時間露光画像１３３又は長時間露光画像１３４と、画像合成部１１９との経路に挿入される遅延素子を備えてもよい。これにより、短時間露光画像１３３と長時間露光画像１３４とのフレーム速度をあわせることができる。
【０１５１】
以上により、本発明の実施の形態に係る撮像装置１００は、フレアの影響を低減した画像１４０を生成できる。
【０１５２】
また、撮像装置１００は、短時間露光画像１３３を用いて予測フレア１３５を生成し、短時間露光画像１３３から予測フレア１３５を減算する。図５に示すように、長時間露光画像１３４でフレアにより画像信号が飽和している場合でも、短時間露光画像１３３では、画像信号が飽和していないので、撮像装置１００は、フレア領域の画像信号の情報を復元できる。
【０１５３】
また、従来の撮像装置のように、予測フレア生成処理を画素毎で行う場合、光源等の高輝度被写体が多く存在し、飽和画素が多くなれば、飽和画素数に比例して処理時間が長くなる。一方、撮像装置１００は、領域マスク２０２単位で予測フレア生成処理を行う。これにより、飽和画素（画素２０１）の数の増加による処理時間の増加を抑制できる。
【０１５４】
また、撮像装置１００は、短時間露光画像１３３からフレアを除去した画像１３６を増幅する。これにより、短時間露光画像１３３の輝度を長時間露光画像１３４と同程度にできる。
【０１５５】
さらに、撮像装置１００は、光源周辺の領域に関しては、短時間露光画像１３３からフレアの除去及び増幅が行われた画像１３７を用い、光源周辺以外の領域に関しては、長時間露光画像１３４を用いる。これにより、短時間露光画像１３３を用いることによる、画質の劣化を抑制できる。
【０１５６】
以下、撮像素子１０２の構成及び動作を詳細に説明する。
【０１５７】
図１０は、撮像素子１０２の構成を示す図である。
【０１５８】
図１０に示すように撮像素子１０２は、画素アレー３００と、ＣＤＳ回路３１０と、センスアンプ３２０と、水平シフトレジスタ３３０と、出力アンプ３３１Ａ及び３３１Ｂと、電源電圧駆動回路３３２と、マルチプレクサ３３３と、垂直シフトレジスタ３３４と、電子シャッターシフトレジスタ３３５と、短時間露光用シフトレジスタ３３６と、参照電圧生成回路３３７と、駆動回路３３８と、カウンタ３３９と、出力アンプ３４０と、負荷抵抗回路３４１とを備える。
【０１５９】
画素アレー３００は、２次元状に配置された単位画素である複数の画素セル３０１Ａ、３０１Ｂ及び３０１Ｃを備える。なお、画素セル３０１Ａ、３０１Ｂ及び３０１Ｃを特に区別しない場合には、画素セル３０１と記す。また、図１０において、説明の簡略化のため３行×１列の３個の画素セル３０１のみを示しているが画素セル３０１の数は任意でよい。また、画素セル３０１は、行及び列方向に配置されているとする。
【０１６０】
画素セル３０１は、入射光を信号電圧に変換し、変換した信号電圧を信号線ｓｌに出力する。画素セル３０１Ａは、フォトダイオード３０２と、転送トランジスタ３０３と、リセットトランジスタ３０４と、アンプトランジスタ３０５とを備える。なお、画素セル３０１Ｂ及び３０１Ｃの構成も同様である。また、画素セル３０１の構成は、図１０に示す構成に限定されるものではなく、画素セル３０１は、光電変換するフォトダイオードと、画素内アンプ機能と、転送ゲート機能と、リセットゲート機能とを有する構成であればよい。
【０１６１】
画素セル３０１Ａ、３０１Ｂ及び３０１Ｃは、同一の列（図中の縦方向）に配置される。
【０１６２】
信号線ｓｌ及び電源電圧線ｖｄは、列方向に配置される画素セル３０１Ａ〜３０１Ｃに共通に接続される。制御線ｒｅ１〜ｒｅ３及びｔｒａｎ１〜ｔｒａｎ３は、画素セル３０１Ａ〜３０１Ｃのそれぞれに接続される。また、制御線ｒｅ１〜ｒｅ３及びｔｒａｎ１〜ｔｒａｎ３は、同一の行（図中の横方向）の画素セル３０１に対して共通に接続される。
【０１６３】
ＣＤＳ回路３１０は、相関二重サンプリング回路である。ＣＤＳ回路３１０は、複数のＣＤＳセル３１１を備える。ＣＤＳセル３１１は、画素セル３０１の列ごとに配置される。なお、図１０では簡単のため１つのＣＤＳセル３１１のみを示している。
【０１６４】
ＣＤＳセル３１１は、短い露光時間及び長い露光時間に対する信号電圧を相関二重サンプリングし、短い露光時間及び長い露光時間のそれぞれに対する信号を保持する。
【０１６５】
各ＣＤＳセル３１１は、トランジスタ３１２、３１４、３１５Ａ、３１５Ｂ、３１７Ａ及び３１７Ｂと、容量３１３、３１６Ａ及び３１６Ｂとを備える。
【０１６６】
ここで、単一の露光時間の信号に対応した通常のＣＤＳセルは、直列に接続された２つの容量を備える。通常のＣＤＳセルでは、暗信号が入力されている期間に２つの容量の中間ノードが基準電圧にバイアスされる。その後、通常のＣＤＳセルでは、明信号が入力され中間ノードの電圧変化分が読み取られる。
【０１６７】
本発明の実施の形態に係る撮像素子１０２は、短時間露光信号１３０及び長時間露光信号１３１を同時に出力するために、３つの容量３１３、３１６Ａ及び３１６Ｂを備える。
【０１６８】
容量３１３は、直列容量の前段の容量である。容量３１３は、短い露光時間の信号を読み出す場合と、長い露光時間の信号を読み出す場合とで共通に使用される。
【０１６９】
容量３１６Ａは、長い露光時間の信号を読み出す場合の直列容量の後段の容量である。容量３１６Ｂは、短い露光時間の信号を読み出す場合の直列容量の後段の容量である。
【０１７０】
トランジスタ３１２は、信号線ｓｌとＣＤＳセル３１１とを導通させる入力トランジスタである。トランジスタ３１２は制御線ｓｈの信号によりオン／オフが切り替えられる。
【０１７１】
トランジスタ３１４は、直列容量の中間ノードを、基準電圧線ａｖに印加される基準電圧にするためのスイッチである。トランジスタ３１４は制御線ｎｃｃｌの信号によりオン／オフが切り替えられる。
【０１７２】
トランジスタ３１５Ａ及び３１５Ｂは、容量３１３と、容量３１６Ａ及び３１６Ｂのうち一方との接続を切替えるスイッチである。トランジスタ３１５Ａ及び３１５Ｂは制御線ｓｅｌ１及びｓｅｌ２の信号によりオン／オフが切り替えられる。
【０１７３】
トランジスタ３１７Ａは、容量３１６Ａに保持される信号を信号線ｈｓｌ１に出力するためのスイッチである。トランジスタ３１７Ｂは、容量３１６Ｂに保持される信号を信号線ｈｓｌ２に出力するためのスイッチである。トランジスタ３１７Ａ及び３１７Ｂは、制御線ｈｓｅｌの信号によりオン／オフが切替えられる。
【０１７４】
また、制御線ｓｈ、ｎｃｃｌ、ｓｅｌ１及びｓｅｌ２は、複数のＣＤＳセル３１１に共通に接続される。
【０１７５】
水平シフトレジスタ３３０は、外部からのクロック信号及びトリガ信号に基づき、画素セル３０１の列を順次選択する一般的な回路である。水平シフトレジスタ３３０は、それぞれの列に対応する複数の制御線ｈｓｅｌをアクティブにすることにより列を選択する。水平シフトレジスタ３３０は、選択した列のＣＤＳセル３１１に保持される信号を信号線ｈｓｅｌ１及びｈｓｅｌ２に出力させる。
【０１７６】
参照電圧生成回路３３７は、参照電圧を生成し、参照電圧線ｒｅｆに生成した参照電圧を出力する。
【０１７７】
出力アンプ３３１Ａ及び３３１Ｂは、それぞれ信号線ｈｓｅｌ１及びｈｓｅｌ２に出力された信号を増幅し、増幅した信号を長時間露光信号１３１及び短時間露光信号１３０として出力パッドに出力する。
【０１７８】
センスアンプ３２０は、複数のセンスアンプセル３２１を備える。センスアンプセル３２１は、複数のＣＤＳセル３１１のそれぞれに対応して配置される。なお、図１０では簡単のため１つのセンスアンプセル３２１のみを示している。
【０１７９】
センスアンプセル３２１は、各画素セル３０１で撮像された画像が飽和しているか否かを判定する。具体的には、センスアンプセル３２１は、信号線ｓｈに出力された短い露光時間の信号電圧が、参照電圧線ｒｅｆの参照電圧より大きいか否かを判定する。センスアンプセル３２１は、判定結果を信号線ｔｒに出力する。ここで参照電圧線ｒｅｆの参照電圧は、長い露光時間で画素セル３０１が飽和する信号電圧に対応する、短い露光時間での信号電圧である。
【０１８０】
センスアンプセル３２１は、トランジスタ３２２Ａ、３２２Ｂ及び３２４と、インバータ３２３Ａ及び３２３Ｂとを備える。なお、センスアンプセル３２１の構成は、図１０に示す構成に限定されるものではなく、信号線ｓｈに出力された短い露光時間の信号電圧が参照電圧以上であるか否かを判定する回路であればよい。
【０１８１】
電源電圧駆動回路３３２は、電源電圧線ｖｄを駆動する駆動回路である。
【０１８２】
負荷抵抗回路３４１は、画素セル３０１内のアンプトランジスタ３０５の負荷回路を水平方向へアレー化した回路である。
【０１８３】
垂直シフトレジスタ３３４は、長時間露光用の行ごとの駆動パルスを順次出力する。電子シャッターシフトレジスタ３３５は、電子シャッター用の垂直シフトレジスタである。短時間露光用シフトレジスタ３３６は、短時間露光用の行ごとの駆動パルスを順次出力する短時間露光用の垂直シフトレジスタである。
【０１８４】
マルチプレクサ３３３は、垂直シフトレジスタ３３４、電子シャッターシフトレジスタ３３５及び短時間露光用シフトレジスタ３３６から出力される制御信号を選択し、選択した制御信号を制御線ｒｅ１〜ｒｅ３及びｔｒａｎ１〜ｔｒａｎ３に出力する。
【０１８５】
駆動回路３３８は、センスアンプ３２０と、ＣＤＳ回路３１０とを駆動するためのドライバ等を含む回路である。駆動回路３３８は、制御線ｓｈ、ｎｃｃｌ、ｓｅｌ１及びｓｅｌ２に制御信号を出力する。また、駆動回路３３８は、基準電圧線ａｖに基準電圧を供給する。
【０１８６】
カウンタ３３９は、センスアンプ３２０により信号線ｔｒに出力された信号を検知して飽和画素の数をカウントする。具体的には、カウンタ３３９は、センスアンプ３２０により、信号線ｓｈに出力された信号電圧が、参照電圧線ｒｅｆの参照電圧より大きいと判定された画素の数を数える。
【０１８７】
カウンタ３３９は、基準ビット数以上のカウントがあればＦＬＧ信号１３２をアクティブにする。ここで、基準ビット数は、画像に高輝度被写体が含まれる場合に生じる飽和画素数の最低値である。つまり、画像に含まれる飽和画素が基準ビット数以下の場合には、フレアの影響は少ないので、撮像装置１００はフレア除去処理を行わない。
【０１８８】
また、カウンタ３３９は、短時間露光用シフトレジスタ３３６へＦＬＧ信号１３２を送信する。アクティブなＦＬＧ信号１３２を受信した短時間露光用シフトレジスタ３３６は、飽和画素がなくなるようにシャッター時間を短くする。つまり、撮像素子１０２は、短時間露光信号１３０に飽和画素がなくなるように内部で自動的にシャッター時間を切り替える。
【０１８９】
出力アンプ３４０は、カウンタ３３９により出力されたＦＬＧ信号１３２を増幅し、増幅したＦＬＧ信号１３２を出力パッドに出力する。
【０１９０】
次に、撮像素子１０２の動作を説明する。
【０１９１】
図１１は、撮像素子１０２における電子シャッターの制御を示す図である。図１１はフォトダイオード３０２に蓄積される蓄積電荷量を示す図である。図１１に示すように、電子シャッターシフトレジスタ３３５は、１フレーム期間において、各行に対して、長い露光時間Ｔ０と、短い露光時間Ｔ１とで信号電荷が蓄積されるように電子シャッターを制御する。
【０１９２】
図１２は、撮像素子１０２の動作を示すタイミングチャートである。図１２に示すタイミングチャートは、水平同期信号の１周期分を示している。また、図１２に示すタイミングチャートは、画素セル３０１Ｂから長い露光時間の信号が読み出され、画素セル３０１Ｃから短い露光時間の信号が読み出される例を示す。
【０１９３】
フォトダイオード３０２で蓄積された電荷を読み出す前のタイミングｔ０で電源電圧線ｖｄに電源電圧が印加される。
【０１９４】
次にタイミングｔ１で制御線ｒｅ１、ｔｒａｎ１、ｒｅ２、ｓｈ、ｎｃｃｌ及びｓｅｌ１がアクティブになる。撮像素子１０２は、タイミングｔ１で、３つの動作を同時に開始し駆動時間の短縮を実現している。３つの動作とは、1つは画素セル３０１Ａと同じ行の画素セル群に対して、制御線ｒｅ１と制御線ｔｒａｎ１とを同時にアクティブにすることにより、当該画素セル群の個々のフォトダイオード３０２に蓄積された電荷をリセットする動作である。２つ目の動作は、画素セル３０１Ｂと同じ行の画素セル群に対して、アンプトランジスタ３０５のゲート電圧を電源電圧にセットする動作である。
【０１９５】
３つ目の動作は、ＣＤＳ回路３１０を初期化する動作である。具体的には、制御線ｓｈがアクティブとなることで、トランジスタ３１２がオンする。これにより信号線ｓｌとＣＤＳセル３１１とが導通する。また、制御線ｓｅｌ１がアクティブとなることで、トランジスタ３１５Ａがオンする。これにより、容量３１３と容量３１６Ａとが接続される。また、制御線ｎｃｃｌがアクティブとなることで、トランジスタ３１４がオンする。これにより、容量３１３と容量３１６Ａとの中間ノードの電位が、基準電圧線ａｖにより供給される基準電圧にセットされる。
【０１９６】
次に、タイミングｔ２で制御線ｎｃｃｌが非アクティブになり、基準電圧線ａｖの基準電圧と、容量３１３と容量３１６Ａとの中間ノードとが切り離される。つまり、当該中間ノードに基準電圧分の電荷が充電される。
【０１９７】
次に、タイミングｔ３で制御線ｔｒａｎ２がアクティブになり、画素セル３０１Ｂと同じ行にある画素セル３０１内の転送トランジスタ３０３がオンされる。その後、タイミングｔ４で制御線ｔｒａｎ２が非アクティブになり、転送トランジスタ３０３がオフされる。
【０１９８】
これにより、アンプトランジスタ３０５のゲート電圧がフォトダイオード３０２に蓄積された電荷量に応じて変化する。アンプトランジスタ３０５はゲート電圧に応じて信号線ｓｌの電圧を変化させる。信号線ｓｌが変化することにより、ＣＤＳ回路３１０では有効になっている容量３１３と容量３１６Ａとの中間ノードの電圧が信号線ｓｌの電圧に応じて変化する。結果的に、画素セル３０１Ｂと同一の行にある画素セル３０１の蓄積電荷に応じた電圧が有効になっている容量３１３と容量３１６Ａとの中間ノードに現れる。
【０１９９】
次に、タイミングｔ５で制御線ｓｅｌ１が非アクティブとなり、トランジスタ３１５Ａがオフする。その結果、容量３１６Ａに、画素セル３０１Ｂの長い露光時間に対応する電荷が蓄積される。
【０２００】
タイミングｔ６で制御線ｓｈが非アクティブとなり、トランジスタ３１２がオフする。これにより、信号線ｓｌとＣＤＳセル３１１とが切り離される。
【０２０１】
次に、タイミングｔ７で制御線ｒｅ２がアクティブとなり、タイミングｔ８で電源電圧線ｖｄが接地電位になる。これにより、画素セル３０１Ｂと同一行の画素セル３０１のアンプトランジスタ３０５のゲート電圧が接地電圧に戻る。
【０２０２】
以上の動作により、画素セル３０１Ｂに蓄積された長い露光時間の信号電荷に対応する電荷が容量３１６Ａに保持される。
【０２０３】
次に、撮像素子１０２は、タイミングｔ０からタイミングｔ８までの動作と同様の動作を、画素セル３０１Ｃと同一の行の画素セル３０１に対してタイミングｔ９からタイミングｔ１２で行う。
【０２０４】
具体的には、タイミングｔ９で電源電圧線ｖｄに電源電圧が印加される。
【０２０５】
次に、制御線ｒｅ３、ｓｈ、ｎｃｃｌ及びｓｅｌ２がアクティブになる。これにより、画素セル３０１Ｃと同じ行の画素セル群に対して、アンプトランジスタ３０５のゲート電圧が電源電圧にセットされる。また、ＣＤＳ回路３１０が初期化される。
【０２０６】
次に、制御線ｔｒａｎ３がアクティブになり、画素セル３０１Ｃと同じ行にある画素セル３０１内の転送トランジスタ３０３がオンされる。その後、制御線ｔｒａｎ３が非アクティブになり、転送トランジスタ３０３がオフされる。
【０２０７】
これにより、画素セル３０１Ｃと同一の行にある画素セル３０１の蓄積電荷に応じた電圧が有効になっている容量３１３と容量３１６Ｂとの中間ノードに現れる。
【０２０８】
次に、制御線ｓｅｌ２が非アクティブとなり、トランジスタ３１５Ｂがオフする。その結果、容量３１６Ｂに、画素セル３０１Ｃの短い露光時間に対応する電荷が蓄積される。
【０２０９】
次に、制御線ｒｅ３がアクティブとなり、次に、タイミングｔ１２で電源電圧線ｖｄが接地電位になる。これにより、画素セル３０１Ｃと同一行の画素セル３０１のアンプトランジスタ３０５のゲート電圧が接地電圧に戻る。
【０２１０】
以上の動作により、画素セル３０１Ｃに蓄積された短い露光時間の信号電荷に対応する電荷が容量３１６Ｂに保持される。
【０２１１】
一方、タイミングｔ１０からタイミングｔ１１の期間で、制御線ｓｓがアクティブになる。これにより、センスアンプ３２０が駆動される。具体的には、トランジスタ３２２Ａ及び３２２Ｂがオンされる。よって、クロスカップル結合されたインバータ３２３Ａ及び３２３Ｂが互いの出力電圧をフィードバックすることにより、信号線ｓｌの電圧と参照電圧線ｒｅｆの参照電圧とが差動増幅される。これにより、信号線ｓｌの電圧と参照電圧線ｒｅｆの参照電圧とを比較され、信号線ｓｌの電圧が参照電圧よりも大きい場合、ノードｎ１は接地電圧となり、信号線ｓｌの電圧が参照電圧よりも小さい場合、ノードｎ１は電源電圧になる。つまり、画素セル３０１Ｃが飽和画素の場合、ノードｎ１は接地電圧になり、画素セル３０１Ｃが飽和画素でない場合、ノードｎ１は電源電圧になる。
【０２１２】
次に、タイミングｔ１３で水平シフトレジスタ３３０が駆動され、制御線ｈｓｅｌがアクティブになる。これにより、トランジスタ３１７Ａ、３１７Ｂ及び３２４がオンする。
【０２１３】
トランジスタ３１７Ａがオンすることにより、容量３１６Ａに保持される電荷が信号線ｈｓｌ１の配線寄生容量と容量分配される。出力アンプ３３１Ａは、容量分配された電圧を増幅する。出力アンプ３３１Ａは増幅した電圧である長時間露光信号１３１を出力する。
【０２１４】
また、トランジスタ３１７Ｂがオンすることにより、容量３１６Ｂに保持される電荷が信号線ｈｓｌ２の配線寄生容量と容量分配される。出力アンプ３３１Ｂは、容量分配された電圧を増幅する。出力アンプ３３１Ｂは増幅した電圧である短時間露光信号１３０を出力する。
【０２１５】
また、トランジスタ３２４がオンすることにより、センスアンプセル３２１に蓄積された２値データがカウンタ３３９に順次送信される。カウンタ３３９は、複数のセンスアンプセル３２１から順次送信される２値データのうちＬレベル（接地電圧）の２値データの数をカウントする。つまり、カウンタ３３９は飽和画素の数をカウントする。
【０２１６】
カウンタ３３９は１フレーム分の飽和画素をカウントした後、カウント値が、設定された基準ビット数以上であるか否かを判定する。カウンタ３３９は、カウント値が基準ビット数以上である場合、ＦＬＧ信号１３２をアクティブにする。つまり、カウンタ３３９は、光源等の高輝度被写体が撮像されている場合に、ＦＬＧ信号１３２をアクティブする。出力アンプ３４０はＦＬＧ信号１３２を増幅し出力パッドに出力する。
【０２１７】
また、ＦＬＧ信号１３２は短時間露光用シフトレジスタ３３６に入力される。アクティブなＦＬＧ信号１３２を受信した短時間露光用シフトレジスタ３３６は、短い露光時間を短くする方向へシフトレジスタの位相をずらす。これにより、例えば、図１１に示すように短い露光時間は時間Ｔ２となる。また、短時間露光用シフトレジスタ３３６は、非アクティブなＦＬＧ信号１３２を受信した場合、短い露光時間を長くする方向へシフトレジスタの位相をずらす。なお、短時間露光用シフトレジスタ３３６は、一定以上は短い露光時間が長くならないような制限を設けている。
【０２１８】
また、制御部１２０は、ＦＬＧ信号１３２に基づき、短い露光時間と長い露光時間との比を算出する。つまり、制御部１２０は、ＦＬＧ信号１３２の論理に応じて、短時間露光用シフトレジスタ３３６により変更された短い露光時間を算出し、算出した短い露光時間と長い露光時間との比を算出する。
【０２１９】
算出された比は、増幅部１１３に通知される。増幅部１１３は、通知された比に応じた増幅率で画像１３６の輝度を増幅する。
【０２２０】
なお、撮像素子１０２は、ＦＬＧ信号１３２とは別に、短い露光時間を示す情報を出力してもよい。この場合、制御部１２０は、当該情報に基づき、短い露光時間と長い露光時間との比を算出する。
【０２２１】
以上より、撮像素子１０２は、異なる露光時間で被写体２０を撮像することにより短時間露光信号１３０及び長時間露光信号１３１を出力できる。
【０２２２】
また、撮像素子１０２は、光源等の高輝度被写体を検出した場合にアクティブとなるＦＬＧ信号１３２を出力する。これにより、撮像装置１００は、ＦＬＧ信号１３２を用いて、撮像素子１０２から出力される画像に高輝度被写体が含まれるか否かを判定できる。
【０２２３】
さらに、撮像素子１０２は、ＦＬＧ信号１３２を用いて、短い露光時間と長い露光時間との比を自動的に制御する機能を実現できる。これにより、撮像素子１０２は、短い露光時間の画像信号が飽和しないように自動的に制御できる。
【０２２４】
以上、本発明の実施の形態に係る撮像装置について説明したが、本発明は、この実施の形態に限定されるものではない。
【０２２５】
例えば、上記説明では、単一の撮像素子１０２で短時間露光信号１３０及び長時間露光信号１３１を生成しているが、２つの撮像素子でそれぞれ短時間露光信号１３０及び長時間露光信号を生成してもよい。
【０２２６】
また、上記説明では、本発明に係る撮像装置の例として車両１０に搭載される車載カメラを例に説明したが、本発明に係る撮像装置は、監視カメラ及びデジタルビデオカメラ等に適用してもよい。この場合でも、上記説明と同様に、本発明に係る撮像装置は、高輝度被写体を撮像した場合のフレアの影響を低減できる。
【０２２７】
また、本発明は、静止画を撮影するデジタルスチルカメラ等の撮像装置に適用してもよい。
【産業上の利用可能性】
【０２２８】
本発明は、撮像装置に適用でき、特に、車両に搭載される車載カメラ等に適用できる。
【図面の簡単な説明】
【０２２９】
【図１】本発明の実施の形態に係る撮像装置が搭載された車両の外観を示す斜視図である。
【図２】本発明の実施の形態に係る撮像装置の構成を示す図である。
【図３】本発明の実施の形態に係る撮像装置による撮像動作の流れを示すフローチャートである。
【図４】本発明の実施の形態に係る撮像素子の構造を示す断面図である。
【図５】本発明の実施の形態に係る短時間露光画像及び長時間露光画像の一例、及び輝度分布を示す図である。
【図６】本発明の実施の形態に係る予測フレア生成部による予測フレア生成処理の流れを示すフローチャートである。
【図７】本発明の実施の形態に係る予測フレア生成部による予測フレア生成処理を説明するための図である。
【図８】本発明の実施の形態に係る予測フレア減算部及び増幅部の処理を説明するための図である。
【図９】本発明の実施の形態に係るフレア領域抽出部、フレア領域除外部及び画像合成部の処理を説明するための図である。
【図１０】本発明の実施の形態に係る撮像素子の構成を示す図である。
【図１１】本発明の実施の形態に係る撮像素子における電子シャッターの制御を示す図である。
【図１２】本発明の実施の形態に係る撮像素子の動作を示すタイミングチャートである。
【図１３】従来の撮像装置により画像処理された画像及び輝度分布を示す図である。
【符号の説明】
【０２３０】
１０ 車両
１００ 撮像装置
１０１ 対物レンズ
１０２ 撮像素子
１０３ タイミング発生部
１０４、１０５ 増幅部
１０６、１０７ ＡＤ変換部
１０８、１０９ 前処理部
１１０、１１８ スイッチ
１１１ 予測フレア生成部
１１２ 予測フレア減算部
１１３ 増幅部
１１４ フレア領域抽出部
１１５ フレア領域除外部
１１６ メモリ
１１７ データバス
１１９ 画像合成部
１２０ 制御部
１３０ 短時間露光信号
１３１ 長時間露光信号
１３２ ＦＬＧ信号
１３３ 短時間露光画像
１３４ 長時間露光画像
１３５ 予測フレア
１３６、１３７、１３８、１３９、１４０ 画像
１５１ 半導体パッケージ
１５２ 半導体チップ
１５３ カバーガラス
１５４ 入射光
１５５、１５６ 多重反射光
２００、２０１ 画素
２０２ 領域マスク
２０４、２０６ 重心
２０５、２０７ 予測フレア
２１０ 画像
２２０ フレア領域関数
２２１ フレア領域除外関数
３００ 画素アレー
３０１、３０１Ａ、３０１Ｂ、３０１Ｃ 画素セル
３０２ フォトダイオード
３０３ 転送トランジスタ
３０４ リセットトランジスタ
３０５ アンプトランジスタ
３１０ ＣＤＳ回路
３１１ ＣＤＳセル
３１２、３１４、３１５Ａ、３１５Ｂ、３１７Ａ、３１７Ｂ トランジスタ
３１３、３１６Ａ、３１６Ｂ 容量
３２０ センスアンプ
３２１ センスアンプセル
３２２Ａ、３２２Ｂ、３２４ トランジスタ
３２３Ａ、３２３Ｂ インバータ
３３１Ａ、３３１Ｂ 出力アンプ
３３２ 電源電圧駆動回路
３３３ マルチプレクサ
３３４ 垂直シフトレジスタ
３３５ 電子シャッターシフトレジスタ
３３６ 短時間露光用シフトレジスタ
３３７ 参照電圧生成回路
３３８ 駆動回路
３３９ カウンタ
３４０ 出力アンプ
【特許請求の範囲】
【請求項１】
第１露光時間で被写体を撮像することにより第１画像を生成する固体撮像素子と、
前記第１画像に含まれるフレア成分を示す予測フレア画像を生成する予測フレア生成部と、
前記第１画像から前記予測フレア画像を減算することにより差分画像を生成する減算部と、
前記差分画像を増幅することにより増幅画像を生成する増幅部とを備える
ことを特徴とする撮像装置。
【請求項２】
前記固体撮像素子は、さらに、前記第１露光時間より長い第２露光時間で前記被写体を撮像することにより第２画像を生成し、
前記撮像装置は、さらに、
前記増幅画像の第１領域の画像を抽出することによりフレア領域画像を生成する抽出部と、
前記第２画像から、当該第２画像における前記第１領域の画像を除外することにより除外画像を生成する除外部と、
前記フレア領域画像と、前記除外画像とを合成する合成部とを備え、
前記第１領域は、前記第１画像において前記フレア成分が含まれる領域である
ことを特徴とする請求項１記載の撮像装置。
【請求項３】
前記増幅部は、前記第１露光時間と前記第２露光時間との比に応じて前記差分画像を増幅する
ことを特徴とする請求項２記載の撮像装置。
【請求項４】
前記抽出部は、フレア成分の中心からの距離に反比例する関数であり、フレア成分の輝度を０から１までの値に規格化したフレア領域関数を前記増幅画像に乗算することにより前記フレア領域画像を生成する
ことを特徴とする請求項２記載の撮像装置。
【請求項５】
前記除外部は、１から前記フレア領域関数を減算した関数であるフレア領域除外関数を前記第２画像に乗算することにより前記除外画像を生成する
ことを特徴とする請求項４記載の撮像装置。
【請求項６】
前記予測フレア生成部は、
前記第１画像を分割した複数の領域毎に、第１の値以上の輝度を有する第１画素の重心を算出する重心算出手段と、
前記複数の領域毎に、前記重心を中心としたフレア成分を示す分割予測フレア画像を算出する分割予測フレア算出部と、
前記複数の領域毎に算出された前記分割予測フレア画像を合成することにより前記予測フレア画像を生成する予測フレア合成部とを備える
ことを特徴とする請求項１記載の撮像装置。
【請求項７】
前記分割予測フレア算出部は、前記複数の領域毎に、前記重心からの距離に反比例する関数であり、フレア成分の輝度を示す予測フレア関数に、当該領域に含まれる前記第１画素の数を乗算することにより前記分割予測フレア画像を算出する
ことを特徴とする請求項６記載の撮像装置。
【請求項８】
前記固体撮像素子は、
２次元状に配置され、入射光を信号電圧に変換する複数の画素と、
前記画素毎に、前記信号電圧が参照電圧より大きいか否かを判定する電圧判定部とを備え、
前記撮像装置は、さらに、
前記電圧判定部により前記信号電圧が前記参照電圧より大きいと判定された画素の数を数えるカウンタ部とを備え、
前記カウンタ部により数えられた画素の数が第２の値より大きい場合に、前記予測フレア生成部は前記予測フレア画像を生成し、前記減算部は前記差分画像を生成し、前記増幅部は前記増幅画像を生成する
ことを特徴とする請求項２記載の撮像装置。
【請求項９】
前記固体撮像素子は、
前記カウンタ部により数えられた画素の数が前記第２の値より大きい場合に、前記第１露光時間を短くする露光時間調整部を備える
ことを特徴とする請求項８記載の撮像装置。
【請求項１０】
前記固体撮像素子は、さらに、
前記カウンタ部により数えられた画素の数が前記第２の値より大きい場合に、第１信号を生成する信号生成部を備え、
前記撮像装置は、さらに、
前記露光時間調整部により短くされた第１露光時間を、前記第１信号に基づき算出する第１露光時間算出部を備え、
前記増幅部は、前記第１露光時間算出部により算出された第１露光時間と前記第２露光時間との比に応じて前記差分画像を増幅する
ことを特徴とする請求項９記載の撮像装置。
【請求項１１】
前記固体撮像素子は、
２次元状に配置され、入射光を信号電圧に変換する複数の画素と、
前記第１露光時間及び前記第２露光時間に対する前記信号電圧を相関二重サンプリングし、前記第１露光時間及び前記第２露光時間のそれぞれに対する信号を保持する相関二重サンプリング回路と、
前記相関二重サンプリング回路に保持される前記第１露光時間に対する前記信号を増幅することにより前記第１画像を生成し、当該第１画像を出力する第１出力部と、
前記相関二重サンプリング回路に保持される前記第２露光時間に対する前記信号を増幅することにより前記第２画像を生成し、当該第２画像を出力する第２出力部とを備える
ことを特徴とする請求項２記載の撮像装置。
【請求項１２】
請求項１〜１１のいずれか１項に記載の撮像装置を備える
ことを特徴とするカメラ。
【請求項１３】
請求項１２記載のカメラを備える
ことを特徴とする車両。
【請求項１４】
第１露光時間で被写体を撮像し、第１画像を出力する固体撮像素子を備える撮像装置における撮像方法であって、
前記第１画像に含まれるフレア成分を示す予測フレア画像を生成する予測フレア生成ステップと、
前記第１画像から前記予測フレア画像を減算することにより差分画像を生成する減算ステップと、
前記差分画像を増幅することにより増幅画像を生成する増幅ステップとを含む
ことを特徴とする撮像方法。
【請求項１】
第１露光時間で被写体を撮像することにより第１画像を生成する固体撮像素子と、
前記第１画像に含まれるフレア成分を示す予測フレア画像を生成する予測フレア生成部と、
前記第１画像から前記予測フレア画像を減算することにより差分画像を生成する減算部と、
前記差分画像を増幅することにより増幅画像を生成する増幅部とを備える
ことを特徴とする撮像装置。
【請求項２】
前記固体撮像素子は、さらに、前記第１露光時間より長い第２露光時間で前記被写体を撮像することにより第２画像を生成し、
前記撮像装置は、さらに、
前記増幅画像の第１領域の画像を抽出することによりフレア領域画像を生成する抽出部と、
前記第２画像から、当該第２画像における前記第１領域の画像を除外することにより除外画像を生成する除外部と、
前記フレア領域画像と、前記除外画像とを合成する合成部とを備え、
前記第１領域は、前記第１画像において前記フレア成分が含まれる領域である
ことを特徴とする請求項１記載の撮像装置。
【請求項３】
前記増幅部は、前記第１露光時間と前記第２露光時間との比に応じて前記差分画像を増幅する
ことを特徴とする請求項２記載の撮像装置。
【請求項４】
前記抽出部は、フレア成分の中心からの距離に反比例する関数であり、フレア成分の輝度を０から１までの値に規格化したフレア領域関数を前記増幅画像に乗算することにより前記フレア領域画像を生成する
ことを特徴とする請求項２記載の撮像装置。
【請求項５】
前記除外部は、１から前記フレア領域関数を減算した関数であるフレア領域除外関数を前記第２画像に乗算することにより前記除外画像を生成する
ことを特徴とする請求項４記載の撮像装置。
【請求項６】
前記予測フレア生成部は、
前記第１画像を分割した複数の領域毎に、第１の値以上の輝度を有する第１画素の重心を算出する重心算出手段と、
前記複数の領域毎に、前記重心を中心としたフレア成分を示す分割予測フレア画像を算出する分割予測フレア算出部と、
前記複数の領域毎に算出された前記分割予測フレア画像を合成することにより前記予測フレア画像を生成する予測フレア合成部とを備える
ことを特徴とする請求項１記載の撮像装置。
【請求項７】
前記分割予測フレア算出部は、前記複数の領域毎に、前記重心からの距離に反比例する関数であり、フレア成分の輝度を示す予測フレア関数に、当該領域に含まれる前記第１画素の数を乗算することにより前記分割予測フレア画像を算出する
ことを特徴とする請求項６記載の撮像装置。
【請求項８】
前記固体撮像素子は、
２次元状に配置され、入射光を信号電圧に変換する複数の画素と、
前記画素毎に、前記信号電圧が参照電圧より大きいか否かを判定する電圧判定部とを備え、
前記撮像装置は、さらに、
前記電圧判定部により前記信号電圧が前記参照電圧より大きいと判定された画素の数を数えるカウンタ部とを備え、
前記カウンタ部により数えられた画素の数が第２の値より大きい場合に、前記予測フレア生成部は前記予測フレア画像を生成し、前記減算部は前記差分画像を生成し、前記増幅部は前記増幅画像を生成する
ことを特徴とする請求項２記載の撮像装置。
【請求項９】
前記固体撮像素子は、
前記カウンタ部により数えられた画素の数が前記第２の値より大きい場合に、前記第１露光時間を短くする露光時間調整部を備える
ことを特徴とする請求項８記載の撮像装置。
【請求項１０】
前記固体撮像素子は、さらに、
前記カウンタ部により数えられた画素の数が前記第２の値より大きい場合に、第１信号を生成する信号生成部を備え、
前記撮像装置は、さらに、
前記露光時間調整部により短くされた第１露光時間を、前記第１信号に基づき算出する第１露光時間算出部を備え、
前記増幅部は、前記第１露光時間算出部により算出された第１露光時間と前記第２露光時間との比に応じて前記差分画像を増幅する
ことを特徴とする請求項９記載の撮像装置。
【請求項１１】
前記固体撮像素子は、
２次元状に配置され、入射光を信号電圧に変換する複数の画素と、
前記第１露光時間及び前記第２露光時間に対する前記信号電圧を相関二重サンプリングし、前記第１露光時間及び前記第２露光時間のそれぞれに対する信号を保持する相関二重サンプリング回路と、
前記相関二重サンプリング回路に保持される前記第１露光時間に対する前記信号を増幅することにより前記第１画像を生成し、当該第１画像を出力する第１出力部と、
前記相関二重サンプリング回路に保持される前記第２露光時間に対する前記信号を増幅することにより前記第２画像を生成し、当該第２画像を出力する第２出力部とを備える
ことを特徴とする請求項２記載の撮像装置。
【請求項１２】
請求項１〜１１のいずれか１項に記載の撮像装置を備える
ことを特徴とするカメラ。
【請求項１３】
請求項１２記載のカメラを備える
ことを特徴とする車両。
【請求項１４】
第１露光時間で被写体を撮像し、第１画像を出力する固体撮像素子を備える撮像装置における撮像方法であって、
前記第１画像に含まれるフレア成分を示す予測フレア画像を生成する予測フレア生成ステップと、
前記第１画像から前記予測フレア画像を減算することにより差分画像を生成する減算ステップと、
前記差分画像を増幅することにより増幅画像を生成する増幅ステップとを含む
ことを特徴とする撮像方法。
【図１】
【図２】
【図３】
【図４】
【図６】
【図７】
【図１０】
【図１１】
【図１２】
【図５】
【図８】
【図９】
【図１３】
【図２】
【図３】
【図４】
【図６】
【図７】
【図１０】
【図１１】
【図１２】
【図５】
【図８】
【図９】
【図１３】
【公開番号】特開２００９−１４１８１３（Ｐ２００９−１４１８１３Ａ）
【公開日】平成２１年６月２５日（２００９．６．２５）
【国際特許分類】
【出願番号】特願２００７−３１７６３５（Ｐ２００７−３１７６３５）
【出願日】平成１９年１２月７日（２００７．１２．７）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２１年６月２５日（２００９．６．２５）
【国際特許分類】
【出願日】平成１９年１２月７日（２００７．１２．７）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]