撮像装置
【課題】ＣＭＯＳ型イメージセンサを用いた撮像装置において、高輝度光が入射したときの横筋状又は横帯状のノイズの発生を抑制する。
【解決手段】複数の画素が二次元に配列され、光を受光する開口画素領域と、基準となる遮光されたオプティカルブラック領域とを含むＣＭＯＳ型の撮像素子と、撮像素子の開口画素領域の特定の領域が高輝度被写体からの光を受光している場合の撮像素子の出力から得られる情報を予め記憶する記憶部と、開口画素領域の特定の領域が高輝度被写体からの光を受光しているか否かを判定する判定部と、判定部により特定の領域が高輝度被写体からの光を受光していると判定された場合に、記憶部に記憶された情報に基づいて、撮像素子からの出力を補正する補正部とを備える。
【解決手段】複数の画素が二次元に配列され、光を受光する開口画素領域と、基準となる遮光されたオプティカルブラック領域とを含むＣＭＯＳ型の撮像素子と、撮像素子の開口画素領域の特定の領域が高輝度被写体からの光を受光している場合の撮像素子の出力から得られる情報を予め記憶する記憶部と、開口画素領域の特定の領域が高輝度被写体からの光を受光しているか否かを判定する判定部と、判定部により特定の領域が高輝度被写体からの光を受光していると判定された場合に、記憶部に記憶された情報に基づいて、撮像素子からの出力を補正する補正部とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は特にビデオカメラ、デジタルスチルカメラ等の撮像装置に用いられる固体撮像素子における映像信号の画質の改善技術に関するものである。
【背景技術】
【０００２】
デジタルカメラやビデオカメラ等においては、固体撮像素子としてＣＣＤ、ＣＭＯＳイメージセンサ等が使用されている。ところで、ＣＣＤおよびＣＭＯＳイメージセンサ上に高輝度被写体があるとき、その列または行全体の信号レベルが変動することで、縦筋・縦帯や横筋・横帯状の画像になることが知られている。このことはＣＣＤではスミア現象として広く知られているが、ＣＭＯＳ型イメージセンサにおいても同様の現象が発生する。
【０００３】
ＣＭＯＳ型イメージセンサにおいては、電源やグラウンドの配線レイアウトに起因しているところが大きい。通常電源やグラウンドは水平方向に配線される。例えば画面内の高輝度被写体部に相当する部分に多く電流が流れた結果、その左右画素の電源も変動することで同一行全体の信号レベルが変動する。また、レベル変動の応答遅れなどにより同一行以降の行の信号レベルも変動することにより横筋や横帯状のノイズ画像を引き起こす。このような現象は、特に高輝度被写体によってイメージセンサ内部回路が飽和してしまった場合に顕著に起こる。これは、回路飽和によって信号出力を十分に制御できなくなるからであり、回路的な対策は難しい。
【０００４】
また後述するが、撮像素子の水平方向（Ｘ方向）の特定位置に高輝度被写体がある場合にのみ横筋や横帯状のノイズ画像を引き起こす場合もある。これは、回路設計上の自由度の制約で電源やグラウンドの配線長や配線方法の違いにより、特定位置の配線インピーダンスが高くなってしまうことなどが原因となる。このような場合、高輝度被写体部の信号出力が飽和していなくても、横筋や横帯状のノイズ画像になる場合があることも実験的にわかっている。
【０００５】
図１４（ａ）、（ｂ）は上記の横帯状のノイズが発生している様子を示したもので、ＣＭＯＳ型イメージセンサからの画像信号を画素部レイアウトと対応させて表示している。通常、固体撮像素子には信号レベルの基準信号となる信号（黒基準信号）を得るために光に反応しないように遮光されたオプティカルブラック領域が備えられており、有効画素信号はそのオプティカルブラック領域で得たレベルを基準として演算処理される。このような画素を“ＯＢ画素（オプティカルブラック画素）”と呼ぶ。
【０００６】
図１４（ａ）中のＨＯＢ、ＶＯＢと記されている領域は、上記のオプティカルブラック画素からの信号を示している。また、有効画素と記されている部分が実際に光を受光できる画素領域からの信号である。図１４（ａ）は、周辺輝度が低い状態で高輝度光「Ｐ」を受光している状態を示しており、その水平方向の左右画素出力「Ｌ」と「Ｒ」はレベル変動を起こし、横帯状の画像になっていることがわかる。周辺輝度が低いので、高輝度光「Ｐ」を受光している部分以外はＨＯＢ、ＶＯＢと同レベルの出力になるのが理想である。
【０００７】
図１４（ａ）のＡ−Ａで示す線上の画像出力レベルを示したのが、図１４（ｂ）である。ＨＯＢレベルと示したレベルは、ＨＯＢ領域の中でもレベル変動していない領域の平均レベルであり、通常はこのレベルが黒基準信号になる。それに対して高輝度光「Ｐ」を受光している部分のレベルは非常に高く、その出力は回路飽和している。また左右の画素出力「Ｌ」、「Ｒ」はＨＯＢレベルよりも高くレベル変動を起こしている。
【０００８】
ここで、上記のレベル変動による横帯画像を補正することを考えてみる。ＣＣＤなどのスミアについては、オプティカルブラック画素にも同様のスミアが発生している。そのため、同一列のオプティカルブラック画素の信号の平均値を基に有効部の出力を補正する方法が、特許文献１、特許文献２等により開示されている。
【０００９】
特に特許文献２では、有効画像信号のレベルに応じてスミア補正手段における補正処理内容を変更している。具体的には、有効画像信号のレベルが所定の信号飽和レベルに達していた場合にスミア補正を無補正にすることでスミア補正により飽和部が過補正になり、黒沈みすることの対策としている。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開平７−６７０３８号
【特許文献２】特開２００１−２４９４３号
【発明の概要】
【発明が解決しようとする課題】
【００１１】
ＣＭＯＳ型イメージセンサにおいても、図１４のように高輝度光「Ｐ」の左右が均等にレベル変動しているような場合は特許文献１、特許文献２に記載された補正方法を横方向に適用することで、同様に補正することが可能である。
【００１２】
しかしながら、図１５（ａ）、（ｂ）のように高輝度光「Ｐ」に近接した画素出力「Ｌ１」、「Ｒ１」はＨＯＢレベルよりも高く、高輝度光「Ｐ」から若干遠ざかった画素出力「Ｌ２」、「Ｒ２」、「ＨＯＢ」はＨＯＢと同レベルとなるようなレベル変動を起こしている場合を考える。この場合、同一行のＨＯＢ画素はレベル変動を起こしていないので有効部の出力を補正しようとしても、補正不可能である。
【００１３】
撮影画像の補正方法としては、撮影レンズの収差や絞り値の違いによって発生するシェーディングを補正するものなどがあるが、図１５のような局所的に発生するレベル変動による筋（帯）状のノイズを補正することは不可能である。
【００１４】
本発明は上述した課題に鑑みてなされたものであり、その目的は、ＣＭＯＳ型イメージセンサを用いた撮像装置において、高輝度光が入射したときの横筋状又は横帯状のノイズの発生を抑制することである。
【課題を解決するための手段】
【００１５】
本発明に係わる撮像装置は、複数の画素が二次元に配列され、光を受光する開口画素領域と、基準となる遮光されたオプティカルブラック領域とを含むＣＭＯＳ型の撮像素子と、前記撮像素子の前記開口画素領域の特定の領域が高輝度被写体からの光を受光している場合の前記撮像素子の出力から得られる情報を予め記憶する記憶手段と、前記開口画素領域の前記特定の領域が高輝度被写体からの光を受光しているか否かを判定する判定手段と、前記判定手段により前記特定の領域が高輝度被写体からの光を受光していると判定された場合に、前記記憶手段に記憶された情報に基づいて、前記撮像素子からの出力を補正する補正手段と、を備えることを特徴とする。
【発明の効果】
【００１６】
本発明によれば、ＣＭＯＳ型イメージセンサを用いた撮像装置において、高輝度光が入射したときの横筋状又は横帯状のノイズの発生を抑制することが可能となる。
【図面の簡単な説明】
【００１７】
【図１】本発明の実施形態における固体撮像素子の平面図。
【図２】固体撮像素子の構成図。
【図３】固体撮像素子の構成図。
【図４】固体撮像素子の構成図。
【図５】第１の実施形態における理想的な画素出力図。
【図６】第１の実施形態における横筋現象を示した図。
【図７】横筋現象が起こらない状態を示した図。
【図８】第１の実施形態における横筋現象を示した図。
【図９】横筋現象の補正方法を説明する図。
【図１０】横筋現象の詳細を示した図。
【図１１】横筋現象の詳細を示した図。
【図１２】横筋現象の補正方法を説明するフローチャート図。
【図１３】横筋現象の補正方法を説明するフローチャート図。
【図１４】従来例における横筋現象を示した図。
【図１５】従来例で補正できない横筋現象を示した図。
【発明を実施するための形態】
【００１８】
以下、本発明の実施形態について、添付図面を参照して詳細に説明する。
【００１９】
（第１の実施形態）
図１は、本発明の第１の実施形態に係わるＣＭＯＳ型固体撮像素子の画面全体の二次元に配列された画素レイアウトを示した図である。この画素領域には、光を受光する開口画素領域と、遮光されたオプティカルブラック領域（ＯＢ画素）とがあり、オプティカルブラック領域は画面上部のＶＯＢ部と画面左右のＨＯＢ部がある。画素からの信号は図１の左上から矢印で示すように読み出される。
【００２０】
図２は、ＣＭＯＳ型固体撮像素子の画素セルＰｉｘｅｌの構成例を示すブロック図である。光信号電荷を発生するフォトダイオード２０１は、この例ではアノード側が接地されている。フォトダイオード２０１のカソード側は、転送ＭＯＳトランジスタ２０２を介して増幅ＭＯＳトランジスタ２０４のゲートに接続されている。また、増幅ＭＯＳトランジスタ２０４のゲートには、これをリセットするためのリセットＭＯＳトランジスタ２０３のソースが接続されている。リセットＭＯＳトランジスタ２０３のドレインは電源電圧ＶＤＤに接続されている。さらに、増幅ＭＯＳトランジスタ２０４は、ドレインが電源電圧ＶＤＤに接続され、ソースが選択ＭＯＳトランジスタ２０５のドレインに接続されている。
【００２１】
図３は、ＣＭＯＳ型固体撮像素子の構成例を示すブロック図である。説明を分かりやすくするために３ｘ３画素の構成となっているが、通常はさらに多画素である。垂直シフトレジスタ３０１は、行選択線Ｐｒｅｓ１，Ｐｔｘ１，Ｐｓｅｌ１等の信号を画素領域３０８に出力する。画素領域３０８は、図１の構成を有し、複数の画素セルＰｉｘｅｌを有する。各画素セルＰｉｘｅｌは、偶数列と奇数列で各々ＣＨ１、ＣＨ２の垂直信号線に画素信号を出力する。電流源３０７は、各垂直信号線に接続される。読み出し回路３０２は、垂直信号線上の画素信号を入力し、画素信号をｎチャネルＭＯＳトランジスタ３０３を介して差動増幅器３０５に出力し、ノイズ信号をｎチャネルＭＯＳトランジスタ３０４を介して差動増幅器３０５に出力する。ここで読み出し回路３０２は列毎の読み出し回路を含み、作動増幅器３０５は最終段読み出し回路に相当する。なお、読み出し回路３０２、ＭＯＳトランジスタ３０３、ＭＯＳトランジスタ３０４、差動増幅器３０５については、後に詳述する。水平シフトレジスタ３０６は、トランジスタ３０３及び３０４のオン／オフを制御する。差動増幅器３０５は、画素信号とノイズ信号との差分を出力する。
【００２２】
図２の転送ＭＯＳトランジスタ２０２のゲートは、横方向に延長して配置される第１の行選択線（垂直走査線）Ｐｔｘ１（図３）に接続される。同じ行に配置された他の画素セルＰｉｘｅｌの同様な転送ＭＯＳトランジスタ２０２のゲートも上記第１の行選択線Ｐｔｘ１に共通に接続される。リセットＭＯＳトランジスタ２０３のゲートは、横方向に延長して配置される第２の行選択線（垂直走査線）Ｐｒｅｓ１（図３）に接続される。同じ行に配置された他の画素セルＰｉｘｅｌの同様なリセットＭＯＳトランジスタ２０３のゲートも第２の行選択線Ｐｒｅｓ１に共通に接続される。選択ＭＯＳトランジスタ２０５のゲートは、横方向に延長して配置される第３の行選択線（垂直走査線）Ｐｓｅｌ１に接続される。同じ行に配置された他の画素セルＰｉｘｅｌの同様な選択ＭＯＳトランジスタ２０５のゲートも第３の行選択線Ｐｓｅｌ１に共通に接続される。これら第１〜第３の行選択線Ｐｔｘ１， Ｐｒｅｓ１， Ｐｓｅｌ１は、垂直シフトレジスタ３０１に接続され信号電圧が供給される。
【００２３】
図３に示されている残りの行においても同様な構成の画素セルＰｉｘｅｌと、行選択線が設けられる。これらの行選択線には、垂直シフトレジスタ３０１により形成された行選択線Ｐｔｘ２〜Ｐｔｘ３、Ｐｒｅｓ２〜Ｐｒｅｓ３、Ｐｓｅｌ２〜Ｐｓｅｌ３の信号が供給される。
【００２４】
図２の選択ＭＯＳトランジスタ２０５のソースは、縦方向に延長して配置される垂直信号線の端子Ｖｏｕｔに接続される。同じ列に配置される画素セルＰｉｘｅｌの同様な選択ＭＯＳトランジスタ２０５のソースも垂直信号線の端子Ｖｏｕｔに接続される。図３において、垂直信号線の端子Ｖｏｕｔは負荷手段である定電流源３０７に接続される。また、図３において、読み出し回路３０２に含まれる回路のグラウンド配線は、半導体レイアウト設計の制約で、一部のインピーダンスが高くなっており、その様子をＲｈ１，Ｒｈ２で表している。
【００２５】
図４は、本実施形態に係わるＣＭＯＳ型固体撮像素子の構成を示す図面であり、読み出し回路３０２、ＭＯＳトランジスタ３０３，３０４、差動増幅器３０５を含んでいる。図４において、２０１〜２０５は画素部であり図２と同一であるので説明を省略する。
【００２６】
各画素のソースフォロワ出力は共通の垂直出力線を介して一点鎖線で囲まれた部分の読み出し回路３０２内の容量（ｃ０）４０１に入力される。４０３はオペアンプで、帰還容量（ｃｆ）４０２と容量（ｃ０）４０１により反転増幅アンプを構成している。アナログスイッチ４０４はｐｃ０ｒパルス（不図示）により駆動され、オンすることでｃ０、ｃｆ容量のリセットおよび後段の容量ｃｔｓ、ｃｔｎのリセットを行う。オペアンプ４０３の出力はｐｔｓ，ｐｔｎパルスで駆動されるアナログスイッチ４０８、４０９を介して夫々保持容量（ｃｔｓ）４１０、（ｃｔｎ）４１１に保持される。
【００２７】
１行分の画素信号が列毎に（ｃｔｓ）４１０、（ｃｔｎ）４１１に保持されると、図３における水平シフトレジスタ３０６によりｐｈ（ｎ）パルスが順次駆動されることで、アナログスイッチ３０３，３０４が開閉され後段の差動型読み出しアンプ３０５に入力され外部に出力される。
【００２８】
なお、図３で説明したように、読み出し回路３０２に含まれるオペアンプ４０３、保持容量（ｃｔｓ）４１０、（ｃｔｎ）４１１にはグラウンド配線が共通接続されている。そして、このグラウンド配線は半導体レイアウト設計の制約で、一部のインピーダンスが高くなっている。
【００２９】
図５は配線レイアウトの制約がなく、理想的な配線を実現できているイメージセンサの出力を具体的に示している。図５（ａ）ではより具体的にするために、水平方向（Ｘ）は０〜９の１０画素、垂直方向（Ｙ）は０〜５の６画素の１０×６画素とし、各アドレスの画素出力も示している。以下、各画素のアドレスは（Ｘ，Ｙ）で示すものとする。また、イメージセンサには周辺輝度が低い状態で中央部（４，２）〜（５，４）に高輝度光が入射している様子を示していて、その高輝度部の画素出力値は画像としての飽和レベル「９９」としている。また、高輝度部以外の画素及びオプティカルブラック画素の出力値は「１０」としている。また、ＨＯＢはＸ＝０の画素が相当する。
【００３０】
図５（ａ）ではイメージセンサの出力を示しており、高輝度光を受光していても出力のレベル変動を起こしていない。図５（ｂ）はＹ＝３の画像出力レベルを示しており、破線部はＨＯＢ領域の中でもレベル変動していない領域の平均レベルであり、高輝度部以外の部分は破線と一致した出力になっている。
【００３１】
図６は配線レイアウトの制約があり、グラウンド配線に局部的にインピーダンスの高い部分があるイメージセンサの例を示している。ここでは中央部（４，２）〜（５，４）の高輝度光に近接した左画素部（１，２）〜（３，４）、右画素部（６，２）〜（８，４）はＨＯＢレベルよりも高くなる方向にレベル変動して且つ、その変動量は高輝度光から遠ざかるほどに少なくなっている。左画素部（０，２）〜（０，４）や右画素部（９，２）〜（９，４）においては、ＨＯＢレベルと同じでレベル変動はない。
【００３２】
図６（ｃ）はＹ＝３の画像出力レベルを示しており、破線部はＨＯＢ領域の中でもレベル変動していない領域の平均レベルである。前述の通り高輝度部に近接した左右のレベルが高く、高輝度部から遠ざかるに従ってレベルが低くなっている。
【００３３】
図６（ｂ）は、図３で示した読み出し回路３０２のグラウンド配線のインピーダンスを、Ｘ方向座標と合わせて示している。すなわち読み出し回路３０２のＸ＝４，５の領域のグラウンド配線インピーダンスをＲｈとして示しこの部分の配線インピーダンスが局部的に高くなっていることを示している。他の部分はＲｈに比べて極めてインピーダンスが低いので、公知の抵抗記号で示している。
【００３４】
この状態でＸ＝４，５の領域が高輝度被写体を受光し、その信号を読み出すと図６（ｃ）のように、高輝度部に近接した左右のレベルが高く、高輝度部から遠ざかるに従ってレベルが低くなるようなレベル変動を起こしてしまう。なお、画像としてはＹ＝２〜４の領域で横帯状のノイズとして見える。
【００３５】
図７は図６と同じイメージセンサの例を示しており、図６と同じようにイメージセンサの出力を示しているが、図６との違いは高輝度光は画面中央部（４，２）〜（５，４）ではなく画面左部（２，２）〜（３，４）の領域で受光されている点である。このため、読み出し回路３０２のＸ＝４，５の領域は高輝度光によりグラウンドレベルが変動させられてもインピーダンスの低い左側配線を通して瞬時にレベルが回復するため、図７（ｃ）のように高輝度光の左右画素のレベル変動はない。
【００３６】
図８は配線レイアウトの制約が異なる別のイメージセンサの例を示しており、図６と同じようにイメージセンサの出力を示している。図６との違いは高輝度光は画面中央部（４，２）〜（５，４）ではなく画面右部（７，２）〜（８，４）の領域で受光されている点である。また、図８（ｂ）に示すように読み出し回路３０２のＸ＝７，８の領域のグラウンド配線インピーダンスをＲｈとして示しこの部分の配線インピーダンスが局部的に高くなっていることを示している。
【００３７】
この場合、Ｘ＝７，８の領域に高輝度被写体を受光し、その信号を読み出すと図８（ｃ）のように、高輝度部に近接した左右のレベルが高く、高輝度部から遠ざかるに従ってレベルが低くなるようなレベル変動を起こしてしまう。なお、画像としてはＹ＝２〜４の領域で横帯状のノイズとして見える。
【００３８】
ここで、図６、７に示すようなイメージセンサにおいて発生する横帯状のノイズの補正方法を考える。注目するべきは、Ｘ＝４，５列の領域に高輝度被写体が存在するときにだけ横帯状のノイズが発生することである。
【００３９】
従ってこのイメージセンサの工場出荷時などに、あらかじめＸ＝４，５列の領域にイメージセンサ出力が十分飽和するような高輝度被写体を受光させる。この状態で、高輝度被写体を受光している行の画素出力およびＨＯＢ領域の中でもレベル変動していない領域の平均レベル（黒基準レベル）を読み出す。
【００４０】
図６の例では、Ｙ＝２〜４行の信号で図９（ａ）に示すような表になる。更に、高輝度被写体を受光している行の画素出力から黒基準レベルを減算すると図９（ｂ）のようになり、高輝度部に近接した左右のレベルが高く、高輝度部から遠ざかるに従ってレベルが低くなっている。図９（ｂ）のＸ＝０〜３及び６〜９（Ｘ方向の位置）の値が横帯状のノイズの補正値になる。
【００４１】
すなわち、図９（ｂ）の情報を記憶しておき、実際に撮影された画像データのうち、Ｘ＝４，５列に高輝度被写体を受光しているかどうかを判定する。高輝度被写体が受光されていたら、高輝度被写体を受光している行のＸ＝０〜３及び６〜９列目の画像データから、図９（ｂ）のＸ＝０〜３及び６〜９の補正データを減算することで、図５のような横帯状のノイズのない画像を得ることができる。
【００４２】
このように、高輝度部に近接した左右ほど補正量を多くし、高輝度部から遠ざかるに従って補正量を減らすことで、最適な画像補正を実現している。図８の例においても上記説明のＸ＝４，５の部分をＸ＝７，８と置き換えれば同様の補正が可能である。
【００４３】
（第２の実施形態）
背景技術の欄でも説明したが、高輝度被写体部の信号出力が飽和していなくても、横筋や横帯状のノイズ画像になる場合があることも実験的にわかっている。図１０はこのことを示すとともに、本発明の第２の実施形態を説明する図である。
【００４４】
図１０において、Ｙ＝３行目、Ｘ＝４，５列目の信号は図６と同様に『９９』になっており画像飽和しているが、Ｙ＝２行目、Ｘ＝４，５列目の信号は『７０』、Ｙ＝４行目、Ｘ＝４，５列目の信号は『６０』であり、どちらも画像飽和していない。Ｙ＝２行目、４行目の画像にはレベル変動による横筋状のノイズが発生しているが、その程度はＹ＝３行目よりも少ない。実験的には高輝度部の出力に比例したレベル変動になり、その出力値の様子を数字で表している。
【００４５】
このレベル変動はほぼ下記の（１）式で表される。
【００４６】
ｔｂｌ（ｎ）＝ｔｂｌｘ{Ｘｒｈｍａｘ（ｎ）／９９）} …（１）
ここで、
ｔｂｌ ：Ｘ＝４，５列目画像飽和時の他の列の出力
（図９（ｂ）のＸ＝０〜３及び６〜９の補正データ…基準テーブル）
Ｘｒｈｍａｘ（ｎ） ：ｎ行目、Ｘ＝４，５列の最大値
９９ ：画像飽和レベル
ｔｂｌ（ｎ） ：ｎ行目、Ｘ＝０〜３及び６〜９のレベル変動
つまり、各行の横帯状ノイズ補正値は『ｔｂｌ（ｎ）』となり、その値は基準テーブル『ｔｂｌ』に、高輝度部の出力と画像飽和レベルの比を乗算したものとなる。従って、高輝度被写体を受光しているｎ行目の信号から、補正値『ｔｂｌ（ｎ）』を減算することで横筋（横帯）状のノイズを補正することができる。
【００４７】
図１０の右側には４，５列の出力、下側には２，３，４行の出力をプロットしたグラフを示していて、画像飽和レベルは『９９』であり、Ｓｉの記号で示している。
【００４８】
（第３の実施形態）
図１０までの説明で、高輝度部のレベルを『９９』で示しているが、これは画像信号としてＡ／Ｄ変換された出力の飽和レベル（Ｓｉ）である。イメージセンサ内部のアナログ回路信号の飽和レベルは更に高いレベルにあるが、画像信号として出力される飽和レベルは『９９』である。横筋状ノイズのレベル変動は高輝度部の出力に比例するので、画像信号として『９９』のレベルであっても更に、アナログ回路信号の飽和レベル（Ｓｃ）までの間で横筋状のノイズ強度が変化する。従って画像飽和レベル（Ｓｉ）を超えたレベルの実際の出力レベルを予測する。
【００４９】
図１１は、出力が十分回路飽和する程度の高輝度被写体を受光させたときのイメージセンサの様子を示していて、Ｙ＝２〜４行目、Ｘ＝４，５列目の信号はともに画像飽和レベル『９９』になっているが、実際は回路飽和（Ｓｃ）レベルになっている。
【００５０】
また、Ｙ＝１及び５行目、Ｘ＝４，５列目の信号はその左右画素及び上または下画素の出力『１０』よりも高く『２０』になっている。これは、高輝度光の強度が強いため光学的な反射等により上下方向に隣接した画素出力が高くなっているためである。このことを利用して、高輝度部の実際の出力を予想する。
【００５１】
すなわち、このイメージセンサの工場出荷時などに、画像飽和する程度及び回路飽和する程度の高輝度被写体を受光させ、夫々の画像を得る。この状態で、高輝度被写体を受光している行の画素出力およびＨＯＢ領域の中でもレベル変動していない領域の平均レベル（黒基準レベル）、更には高輝度被写体を受光している画素の周囲画素の情報を評価する。
【００５２】
回路飽和時の画像が図１１の状態で、画像飽和時の画像が図６の状態である。横筋状ノイズのレベル変動は高輝度部の出力に比例するので、Ｙ＝２〜４行目、Ｘ＝３または６列目の信号に注目する。ここで画像飽和時は『１６』で黒基準レベル『１０』を減算すると『６』、回路飽和時は『１７』で黒基準レベル『１０』を減算すると『７』となり、７／６倍になっている。従って高輝度部の実際の出力（この場合は回路飽和レベル（Ｓｃ）と等価）は、
『９９』×７／６＝１１６ …（２）
となることがわかる。
【００５３】
次に、飽和画素と上下方向に隣接しているＹ＝１または５行目、Ｘ＝４，５列目の信号に注目する。ここで画像飽和時は『１０』で黒基準レベル『１０』を減算すると『０』、回路飽和時は『２０』で黒基準レベル『１０』を減算すると『１０』となる。つまり画像飽和している画素の上下方向に隣接した画素は、画像飽和『９９』したときは『０』、回路飽和『１１６』したときは『１０』なので、線形補間して
飽和画素出力＝{（１１６−９９）／１０}×上下隣接画素＋９９ …（３）
但し、飽和画素出力≦１１６
と近似することができる。
【００５４】
つまり、画像飽和レベル（Ｓｉ）を超える高輝度被写体を受光した状態であっても、高輝度部の上下隣接画素情報を用いて（３）式から飽和画素出力を予測して、更に（１）式を用いることで横筋（横帯）状ノイズを補正することが可能である。
【００５５】
ここで飽和画素出力≦１１６としているのは、横筋状ノイズのレベル変動は高輝度部の出力に比例するので、これ以上の高輝度光を受光してもレベル変動は変わらないためである。このことにより、回路飽和時には（３）式で表される固定の値で画像補正されることになる。
（第４の実施形態）
図１２、１３は第１〜第３の実施形態の撮像素子のいずれかを用いたデジタルカメラにおける動作を説明するフローチャートである。
【００５６】
図１２ではカメラの全体の流れを説明していて、ステップＳ２０１で不図示の電源スイッチがＯＮされたかどうかを判定する、ＯＦＦであればＯＮされるまでステップＳ２０１を繰り返す。
【００５７】
ステップＳ２０１で電源スイッチがＯＮされていれば、ステップＳ２０２で撮影準備動作を行わせるための不図示のスイッチＳＷ１がＯＮされたかどうかを判定する。ステップＳ２０２でＳＷ１がＯＦＦであれば、ステップＳ２０１に戻り、ステップＳ２０１〜ステップＳ２０２を繰り返す。ステップＳ２０２でＳＷ１がＯＮであれば、撮影準備動作を行うためにステップＳ２０３以降に進む。
【００５８】
ステップＳ２０３では、不図示の測光手段により被写体輝度を測定し、イメージセンサへの露光量が最適になるよう撮影レンズの絞り値やシャッタースピード（イメージセンサの蓄積時間）を決定する。続くステップＳ２０４で不図示のメカシャッタを開き、イメージセンサへの露光を開始する。
【００５９】
ステップＳ２０５ではイメージセンサの蓄積制御及び画像情報の読み出し制御を行い、ステップＳ２０６で不図示の背面液晶に読み出した画像情報を表示する。その後ステップＳ２０７では、ステップＳ２０５で得られた画像情報をもとに焦点検出を行うとともに、その結果から撮影レンズを駆動して被写体にピントを合わせる。
【００６０】
ステップＳ２０８では静止画撮影を行わせるためのスイッチＳＷ２がＯＮされたかどうかを判定する。ステップＳ２０８でＳＷ２がＯＦＦであればステップＳ２０２に戻り、ステップＳ２０２〜ステップＳ２０８を繰り返す。ステップＳ２０２〜ステップＳ２０８までの動作を繰り返すことで所謂ＥＶＦ機能を実現している。
【００６１】
ステップＳ２０８でＳＷ２がＯＮであれば、静止画撮影を行うためにステップＳ２０９に移行する。ステップＳ２０９ではイメージセンサの静止画蓄積制御を行い、ステップＳ２１０で不図示のメカシャッタを閉じることでイメージセンサへの露光を終了させる。
【００６２】
その後ステップＳ２１１でイメージセンサからの画像信号を読み出し、ステップＳ２１２で第１〜第３の実施形態のいずれかの横帯補正を行う。横帯補正の詳細は後述する。その後ステップＳ２１３で不図示の背面液晶に画像を表示させ、ステップＳ２１４で不図示の記録媒体に画像を記録し、一連の動作を終了する。
【００６３】
図１３を参照して、図１２のステップＳ２１２の横帯補正の詳細を説明する。まずステップＳ３０１でステップＳ２１１で得られた画像信号のうちイメージセンサ出力のＸ座標の所定の範囲、つまりグラウンド配線インピーダンスが局部的に高くなっているＸ座標『Ｘｒｈ』内の全画素及びその周辺の画素信号を抽出する。
【００６４】
ステップＳ３０２ではＸ座標『Ｘｒｈ』内の画像信号の最大値Ｘｒｈｍａｘを算出し、Ｘｒｈｍａｘが所定のレベルより大きいかどうかを判定することで、Ｘ座標『Ｘｒｈ』内に高輝度被写体が含まれるかどうかを判定する。ここで所定のレベルは『５０』などあらかじめ横筋状のノイズが目立たないレベルを設定しておく。ステップＳ３０２で、Ｘ座標『Ｘｒｈ』内に高輝度被写体が含まれないと判定されたら、高輝度被写体がないため横帯補正をする必要がないものとして終了する。
【００６５】
ステップＳ３０２でＸ座標『Ｘｒｈ』内に高輝度被写体が含まれると判定されたら、ステップＳ３０３で高輝度被写体が含まれる行を記憶するとともに、０〜ｍ行にナンバリングする。続くステップＳ３０４以降では高輝度部を含む行について横帯補正作業を行う。ステップＳ３０４では、横帯補正を行う行番号をｎとするために、ｎ＝０として初期化する。
【００６６】
続くステップＳ３０５で、ｎ行目のＸ座標『Ｘｒｈ（ｎ）』内の画像信号の最大値Ｘｒｈｍａｘ（ｎ）が画像飽和しているかどうかを判定する。ここでの判定レベルは、図６〜１１で説明した『９９』であるかどうかである。ここで最大値Ｘｒｈｍａｘ（ｎ）が画像飽和していなければステップＳ３０７に移行する。
【００６７】
ステップＳ３０５で最大値Ｘｒｈｍａｘ（ｎ）が画像飽和していると判定されたら、ステップＳ３０６に移行して高輝度部の実際の信号を予測する。予測の方法は第３の実施形態で説明したように、上下隣接画素情報から（３）式を用いて各飽和画素の実際の出力を予測する。
【００６８】
そうして高輝度部の出力値が確定したらステップＳ３０７に移行し、横帯補正をするためにｎ行目の画素信号を抽出し、ステップＳ３０８で（１）式を用いてｎ行目の補正テーブルｔｂｌ（ｎ）を算出する。そして、ステップＳ３０９で補正テーブルｔｂｌ（ｎ）を用いてｎ行目の画素信号を補正する。
【００６９】
ステップＳ３１０では、高輝度被写体を含む行の全てが補正されたかどうかを判定するため、ｎ＝ｍになったかどうかを判定する。ここでｎ＝ｍでなかったら、ステップＳ３１１でｎ＝ｎ＋１として、ｎ＝ｍになるまでステップＳ３０５〜Ｓ３１１を繰り返す。ステップＳ３１０でｎ＝ｍになったら、高輝度被写体を含む行の全てが補正されたものとして、終了する。
【００７０】
以上説明した複数の実施形態のように、イメージセンサの出荷時にあらかじめ高輝度被写体を受光した画像を取得して、代表的な補正テーブル（ここではｔｂｌ）を作成しておく。それとともに、画像飽和時と回路飽和時の隣接画素の関係についても取得しておく（ここでは（３）式）。それで、実際の画像の所定の領域に高輝度被写体があることを判定して、あらかじめ取得した情報から実際に撮影した画像の横筋（横帯）状ノイズを補正するようにしている。
【００７１】
上記の補正が可能なのは、特定の領域に高輝度被写体が存在するときにだけ横筋（横帯）状のノイズが発生することに注目したからである。また、高輝度部に近接した左右ほど補正量を多くし、高輝度部から遠ざかるに従って補正量を減らすことで、最適な画像補正を実現している。
【００７２】
ここで、上記例で説明している補正テーブルは近似式などに変えて記憶するようにしても良い。また、上記の実施形態をパーソナルコンピュータ上のアプリケーションによって行うようにしても良い。
【技術分野】
【０００１】
本発明は特にビデオカメラ、デジタルスチルカメラ等の撮像装置に用いられる固体撮像素子における映像信号の画質の改善技術に関するものである。
【背景技術】
【０００２】
デジタルカメラやビデオカメラ等においては、固体撮像素子としてＣＣＤ、ＣＭＯＳイメージセンサ等が使用されている。ところで、ＣＣＤおよびＣＭＯＳイメージセンサ上に高輝度被写体があるとき、その列または行全体の信号レベルが変動することで、縦筋・縦帯や横筋・横帯状の画像になることが知られている。このことはＣＣＤではスミア現象として広く知られているが、ＣＭＯＳ型イメージセンサにおいても同様の現象が発生する。
【０００３】
ＣＭＯＳ型イメージセンサにおいては、電源やグラウンドの配線レイアウトに起因しているところが大きい。通常電源やグラウンドは水平方向に配線される。例えば画面内の高輝度被写体部に相当する部分に多く電流が流れた結果、その左右画素の電源も変動することで同一行全体の信号レベルが変動する。また、レベル変動の応答遅れなどにより同一行以降の行の信号レベルも変動することにより横筋や横帯状のノイズ画像を引き起こす。このような現象は、特に高輝度被写体によってイメージセンサ内部回路が飽和してしまった場合に顕著に起こる。これは、回路飽和によって信号出力を十分に制御できなくなるからであり、回路的な対策は難しい。
【０００４】
また後述するが、撮像素子の水平方向（Ｘ方向）の特定位置に高輝度被写体がある場合にのみ横筋や横帯状のノイズ画像を引き起こす場合もある。これは、回路設計上の自由度の制約で電源やグラウンドの配線長や配線方法の違いにより、特定位置の配線インピーダンスが高くなってしまうことなどが原因となる。このような場合、高輝度被写体部の信号出力が飽和していなくても、横筋や横帯状のノイズ画像になる場合があることも実験的にわかっている。
【０００５】
図１４（ａ）、（ｂ）は上記の横帯状のノイズが発生している様子を示したもので、ＣＭＯＳ型イメージセンサからの画像信号を画素部レイアウトと対応させて表示している。通常、固体撮像素子には信号レベルの基準信号となる信号（黒基準信号）を得るために光に反応しないように遮光されたオプティカルブラック領域が備えられており、有効画素信号はそのオプティカルブラック領域で得たレベルを基準として演算処理される。このような画素を“ＯＢ画素（オプティカルブラック画素）”と呼ぶ。
【０００６】
図１４（ａ）中のＨＯＢ、ＶＯＢと記されている領域は、上記のオプティカルブラック画素からの信号を示している。また、有効画素と記されている部分が実際に光を受光できる画素領域からの信号である。図１４（ａ）は、周辺輝度が低い状態で高輝度光「Ｐ」を受光している状態を示しており、その水平方向の左右画素出力「Ｌ」と「Ｒ」はレベル変動を起こし、横帯状の画像になっていることがわかる。周辺輝度が低いので、高輝度光「Ｐ」を受光している部分以外はＨＯＢ、ＶＯＢと同レベルの出力になるのが理想である。
【０００７】
図１４（ａ）のＡ−Ａで示す線上の画像出力レベルを示したのが、図１４（ｂ）である。ＨＯＢレベルと示したレベルは、ＨＯＢ領域の中でもレベル変動していない領域の平均レベルであり、通常はこのレベルが黒基準信号になる。それに対して高輝度光「Ｐ」を受光している部分のレベルは非常に高く、その出力は回路飽和している。また左右の画素出力「Ｌ」、「Ｒ」はＨＯＢレベルよりも高くレベル変動を起こしている。
【０００８】
ここで、上記のレベル変動による横帯画像を補正することを考えてみる。ＣＣＤなどのスミアについては、オプティカルブラック画素にも同様のスミアが発生している。そのため、同一列のオプティカルブラック画素の信号の平均値を基に有効部の出力を補正する方法が、特許文献１、特許文献２等により開示されている。
【０００９】
特に特許文献２では、有効画像信号のレベルに応じてスミア補正手段における補正処理内容を変更している。具体的には、有効画像信号のレベルが所定の信号飽和レベルに達していた場合にスミア補正を無補正にすることでスミア補正により飽和部が過補正になり、黒沈みすることの対策としている。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開平７−６７０３８号
【特許文献２】特開２００１−２４９４３号
【発明の概要】
【発明が解決しようとする課題】
【００１１】
ＣＭＯＳ型イメージセンサにおいても、図１４のように高輝度光「Ｐ」の左右が均等にレベル変動しているような場合は特許文献１、特許文献２に記載された補正方法を横方向に適用することで、同様に補正することが可能である。
【００１２】
しかしながら、図１５（ａ）、（ｂ）のように高輝度光「Ｐ」に近接した画素出力「Ｌ１」、「Ｒ１」はＨＯＢレベルよりも高く、高輝度光「Ｐ」から若干遠ざかった画素出力「Ｌ２」、「Ｒ２」、「ＨＯＢ」はＨＯＢと同レベルとなるようなレベル変動を起こしている場合を考える。この場合、同一行のＨＯＢ画素はレベル変動を起こしていないので有効部の出力を補正しようとしても、補正不可能である。
【００１３】
撮影画像の補正方法としては、撮影レンズの収差や絞り値の違いによって発生するシェーディングを補正するものなどがあるが、図１５のような局所的に発生するレベル変動による筋（帯）状のノイズを補正することは不可能である。
【００１４】
本発明は上述した課題に鑑みてなされたものであり、その目的は、ＣＭＯＳ型イメージセンサを用いた撮像装置において、高輝度光が入射したときの横筋状又は横帯状のノイズの発生を抑制することである。
【課題を解決するための手段】
【００１５】
本発明に係わる撮像装置は、複数の画素が二次元に配列され、光を受光する開口画素領域と、基準となる遮光されたオプティカルブラック領域とを含むＣＭＯＳ型の撮像素子と、前記撮像素子の前記開口画素領域の特定の領域が高輝度被写体からの光を受光している場合の前記撮像素子の出力から得られる情報を予め記憶する記憶手段と、前記開口画素領域の前記特定の領域が高輝度被写体からの光を受光しているか否かを判定する判定手段と、前記判定手段により前記特定の領域が高輝度被写体からの光を受光していると判定された場合に、前記記憶手段に記憶された情報に基づいて、前記撮像素子からの出力を補正する補正手段と、を備えることを特徴とする。
【発明の効果】
【００１６】
本発明によれば、ＣＭＯＳ型イメージセンサを用いた撮像装置において、高輝度光が入射したときの横筋状又は横帯状のノイズの発生を抑制することが可能となる。
【図面の簡単な説明】
【００１７】
【図１】本発明の実施形態における固体撮像素子の平面図。
【図２】固体撮像素子の構成図。
【図３】固体撮像素子の構成図。
【図４】固体撮像素子の構成図。
【図５】第１の実施形態における理想的な画素出力図。
【図６】第１の実施形態における横筋現象を示した図。
【図７】横筋現象が起こらない状態を示した図。
【図８】第１の実施形態における横筋現象を示した図。
【図９】横筋現象の補正方法を説明する図。
【図１０】横筋現象の詳細を示した図。
【図１１】横筋現象の詳細を示した図。
【図１２】横筋現象の補正方法を説明するフローチャート図。
【図１３】横筋現象の補正方法を説明するフローチャート図。
【図１４】従来例における横筋現象を示した図。
【図１５】従来例で補正できない横筋現象を示した図。
【発明を実施するための形態】
【００１８】
以下、本発明の実施形態について、添付図面を参照して詳細に説明する。
【００１９】
（第１の実施形態）
図１は、本発明の第１の実施形態に係わるＣＭＯＳ型固体撮像素子の画面全体の二次元に配列された画素レイアウトを示した図である。この画素領域には、光を受光する開口画素領域と、遮光されたオプティカルブラック領域（ＯＢ画素）とがあり、オプティカルブラック領域は画面上部のＶＯＢ部と画面左右のＨＯＢ部がある。画素からの信号は図１の左上から矢印で示すように読み出される。
【００２０】
図２は、ＣＭＯＳ型固体撮像素子の画素セルＰｉｘｅｌの構成例を示すブロック図である。光信号電荷を発生するフォトダイオード２０１は、この例ではアノード側が接地されている。フォトダイオード２０１のカソード側は、転送ＭＯＳトランジスタ２０２を介して増幅ＭＯＳトランジスタ２０４のゲートに接続されている。また、増幅ＭＯＳトランジスタ２０４のゲートには、これをリセットするためのリセットＭＯＳトランジスタ２０３のソースが接続されている。リセットＭＯＳトランジスタ２０３のドレインは電源電圧ＶＤＤに接続されている。さらに、増幅ＭＯＳトランジスタ２０４は、ドレインが電源電圧ＶＤＤに接続され、ソースが選択ＭＯＳトランジスタ２０５のドレインに接続されている。
【００２１】
図３は、ＣＭＯＳ型固体撮像素子の構成例を示すブロック図である。説明を分かりやすくするために３ｘ３画素の構成となっているが、通常はさらに多画素である。垂直シフトレジスタ３０１は、行選択線Ｐｒｅｓ１，Ｐｔｘ１，Ｐｓｅｌ１等の信号を画素領域３０８に出力する。画素領域３０８は、図１の構成を有し、複数の画素セルＰｉｘｅｌを有する。各画素セルＰｉｘｅｌは、偶数列と奇数列で各々ＣＨ１、ＣＨ２の垂直信号線に画素信号を出力する。電流源３０７は、各垂直信号線に接続される。読み出し回路３０２は、垂直信号線上の画素信号を入力し、画素信号をｎチャネルＭＯＳトランジスタ３０３を介して差動増幅器３０５に出力し、ノイズ信号をｎチャネルＭＯＳトランジスタ３０４を介して差動増幅器３０５に出力する。ここで読み出し回路３０２は列毎の読み出し回路を含み、作動増幅器３０５は最終段読み出し回路に相当する。なお、読み出し回路３０２、ＭＯＳトランジスタ３０３、ＭＯＳトランジスタ３０４、差動増幅器３０５については、後に詳述する。水平シフトレジスタ３０６は、トランジスタ３０３及び３０４のオン／オフを制御する。差動増幅器３０５は、画素信号とノイズ信号との差分を出力する。
【００２２】
図２の転送ＭＯＳトランジスタ２０２のゲートは、横方向に延長して配置される第１の行選択線（垂直走査線）Ｐｔｘ１（図３）に接続される。同じ行に配置された他の画素セルＰｉｘｅｌの同様な転送ＭＯＳトランジスタ２０２のゲートも上記第１の行選択線Ｐｔｘ１に共通に接続される。リセットＭＯＳトランジスタ２０３のゲートは、横方向に延長して配置される第２の行選択線（垂直走査線）Ｐｒｅｓ１（図３）に接続される。同じ行に配置された他の画素セルＰｉｘｅｌの同様なリセットＭＯＳトランジスタ２０３のゲートも第２の行選択線Ｐｒｅｓ１に共通に接続される。選択ＭＯＳトランジスタ２０５のゲートは、横方向に延長して配置される第３の行選択線（垂直走査線）Ｐｓｅｌ１に接続される。同じ行に配置された他の画素セルＰｉｘｅｌの同様な選択ＭＯＳトランジスタ２０５のゲートも第３の行選択線Ｐｓｅｌ１に共通に接続される。これら第１〜第３の行選択線Ｐｔｘ１， Ｐｒｅｓ１， Ｐｓｅｌ１は、垂直シフトレジスタ３０１に接続され信号電圧が供給される。
【００２３】
図３に示されている残りの行においても同様な構成の画素セルＰｉｘｅｌと、行選択線が設けられる。これらの行選択線には、垂直シフトレジスタ３０１により形成された行選択線Ｐｔｘ２〜Ｐｔｘ３、Ｐｒｅｓ２〜Ｐｒｅｓ３、Ｐｓｅｌ２〜Ｐｓｅｌ３の信号が供給される。
【００２４】
図２の選択ＭＯＳトランジスタ２０５のソースは、縦方向に延長して配置される垂直信号線の端子Ｖｏｕｔに接続される。同じ列に配置される画素セルＰｉｘｅｌの同様な選択ＭＯＳトランジスタ２０５のソースも垂直信号線の端子Ｖｏｕｔに接続される。図３において、垂直信号線の端子Ｖｏｕｔは負荷手段である定電流源３０７に接続される。また、図３において、読み出し回路３０２に含まれる回路のグラウンド配線は、半導体レイアウト設計の制約で、一部のインピーダンスが高くなっており、その様子をＲｈ１，Ｒｈ２で表している。
【００２５】
図４は、本実施形態に係わるＣＭＯＳ型固体撮像素子の構成を示す図面であり、読み出し回路３０２、ＭＯＳトランジスタ３０３，３０４、差動増幅器３０５を含んでいる。図４において、２０１〜２０５は画素部であり図２と同一であるので説明を省略する。
【００２６】
各画素のソースフォロワ出力は共通の垂直出力線を介して一点鎖線で囲まれた部分の読み出し回路３０２内の容量（ｃ０）４０１に入力される。４０３はオペアンプで、帰還容量（ｃｆ）４０２と容量（ｃ０）４０１により反転増幅アンプを構成している。アナログスイッチ４０４はｐｃ０ｒパルス（不図示）により駆動され、オンすることでｃ０、ｃｆ容量のリセットおよび後段の容量ｃｔｓ、ｃｔｎのリセットを行う。オペアンプ４０３の出力はｐｔｓ，ｐｔｎパルスで駆動されるアナログスイッチ４０８、４０９を介して夫々保持容量（ｃｔｓ）４１０、（ｃｔｎ）４１１に保持される。
【００２７】
１行分の画素信号が列毎に（ｃｔｓ）４１０、（ｃｔｎ）４１１に保持されると、図３における水平シフトレジスタ３０６によりｐｈ（ｎ）パルスが順次駆動されることで、アナログスイッチ３０３，３０４が開閉され後段の差動型読み出しアンプ３０５に入力され外部に出力される。
【００２８】
なお、図３で説明したように、読み出し回路３０２に含まれるオペアンプ４０３、保持容量（ｃｔｓ）４１０、（ｃｔｎ）４１１にはグラウンド配線が共通接続されている。そして、このグラウンド配線は半導体レイアウト設計の制約で、一部のインピーダンスが高くなっている。
【００２９】
図５は配線レイアウトの制約がなく、理想的な配線を実現できているイメージセンサの出力を具体的に示している。図５（ａ）ではより具体的にするために、水平方向（Ｘ）は０〜９の１０画素、垂直方向（Ｙ）は０〜５の６画素の１０×６画素とし、各アドレスの画素出力も示している。以下、各画素のアドレスは（Ｘ，Ｙ）で示すものとする。また、イメージセンサには周辺輝度が低い状態で中央部（４，２）〜（５，４）に高輝度光が入射している様子を示していて、その高輝度部の画素出力値は画像としての飽和レベル「９９」としている。また、高輝度部以外の画素及びオプティカルブラック画素の出力値は「１０」としている。また、ＨＯＢはＸ＝０の画素が相当する。
【００３０】
図５（ａ）ではイメージセンサの出力を示しており、高輝度光を受光していても出力のレベル変動を起こしていない。図５（ｂ）はＹ＝３の画像出力レベルを示しており、破線部はＨＯＢ領域の中でもレベル変動していない領域の平均レベルであり、高輝度部以外の部分は破線と一致した出力になっている。
【００３１】
図６は配線レイアウトの制約があり、グラウンド配線に局部的にインピーダンスの高い部分があるイメージセンサの例を示している。ここでは中央部（４，２）〜（５，４）の高輝度光に近接した左画素部（１，２）〜（３，４）、右画素部（６，２）〜（８，４）はＨＯＢレベルよりも高くなる方向にレベル変動して且つ、その変動量は高輝度光から遠ざかるほどに少なくなっている。左画素部（０，２）〜（０，４）や右画素部（９，２）〜（９，４）においては、ＨＯＢレベルと同じでレベル変動はない。
【００３２】
図６（ｃ）はＹ＝３の画像出力レベルを示しており、破線部はＨＯＢ領域の中でもレベル変動していない領域の平均レベルである。前述の通り高輝度部に近接した左右のレベルが高く、高輝度部から遠ざかるに従ってレベルが低くなっている。
【００３３】
図６（ｂ）は、図３で示した読み出し回路３０２のグラウンド配線のインピーダンスを、Ｘ方向座標と合わせて示している。すなわち読み出し回路３０２のＸ＝４，５の領域のグラウンド配線インピーダンスをＲｈとして示しこの部分の配線インピーダンスが局部的に高くなっていることを示している。他の部分はＲｈに比べて極めてインピーダンスが低いので、公知の抵抗記号で示している。
【００３４】
この状態でＸ＝４，５の領域が高輝度被写体を受光し、その信号を読み出すと図６（ｃ）のように、高輝度部に近接した左右のレベルが高く、高輝度部から遠ざかるに従ってレベルが低くなるようなレベル変動を起こしてしまう。なお、画像としてはＹ＝２〜４の領域で横帯状のノイズとして見える。
【００３５】
図７は図６と同じイメージセンサの例を示しており、図６と同じようにイメージセンサの出力を示しているが、図６との違いは高輝度光は画面中央部（４，２）〜（５，４）ではなく画面左部（２，２）〜（３，４）の領域で受光されている点である。このため、読み出し回路３０２のＸ＝４，５の領域は高輝度光によりグラウンドレベルが変動させられてもインピーダンスの低い左側配線を通して瞬時にレベルが回復するため、図７（ｃ）のように高輝度光の左右画素のレベル変動はない。
【００３６】
図８は配線レイアウトの制約が異なる別のイメージセンサの例を示しており、図６と同じようにイメージセンサの出力を示している。図６との違いは高輝度光は画面中央部（４，２）〜（５，４）ではなく画面右部（７，２）〜（８，４）の領域で受光されている点である。また、図８（ｂ）に示すように読み出し回路３０２のＸ＝７，８の領域のグラウンド配線インピーダンスをＲｈとして示しこの部分の配線インピーダンスが局部的に高くなっていることを示している。
【００３７】
この場合、Ｘ＝７，８の領域に高輝度被写体を受光し、その信号を読み出すと図８（ｃ）のように、高輝度部に近接した左右のレベルが高く、高輝度部から遠ざかるに従ってレベルが低くなるようなレベル変動を起こしてしまう。なお、画像としてはＹ＝２〜４の領域で横帯状のノイズとして見える。
【００３８】
ここで、図６、７に示すようなイメージセンサにおいて発生する横帯状のノイズの補正方法を考える。注目するべきは、Ｘ＝４，５列の領域に高輝度被写体が存在するときにだけ横帯状のノイズが発生することである。
【００３９】
従ってこのイメージセンサの工場出荷時などに、あらかじめＸ＝４，５列の領域にイメージセンサ出力が十分飽和するような高輝度被写体を受光させる。この状態で、高輝度被写体を受光している行の画素出力およびＨＯＢ領域の中でもレベル変動していない領域の平均レベル（黒基準レベル）を読み出す。
【００４０】
図６の例では、Ｙ＝２〜４行の信号で図９（ａ）に示すような表になる。更に、高輝度被写体を受光している行の画素出力から黒基準レベルを減算すると図９（ｂ）のようになり、高輝度部に近接した左右のレベルが高く、高輝度部から遠ざかるに従ってレベルが低くなっている。図９（ｂ）のＸ＝０〜３及び６〜９（Ｘ方向の位置）の値が横帯状のノイズの補正値になる。
【００４１】
すなわち、図９（ｂ）の情報を記憶しておき、実際に撮影された画像データのうち、Ｘ＝４，５列に高輝度被写体を受光しているかどうかを判定する。高輝度被写体が受光されていたら、高輝度被写体を受光している行のＸ＝０〜３及び６〜９列目の画像データから、図９（ｂ）のＸ＝０〜３及び６〜９の補正データを減算することで、図５のような横帯状のノイズのない画像を得ることができる。
【００４２】
このように、高輝度部に近接した左右ほど補正量を多くし、高輝度部から遠ざかるに従って補正量を減らすことで、最適な画像補正を実現している。図８の例においても上記説明のＸ＝４，５の部分をＸ＝７，８と置き換えれば同様の補正が可能である。
【００４３】
（第２の実施形態）
背景技術の欄でも説明したが、高輝度被写体部の信号出力が飽和していなくても、横筋や横帯状のノイズ画像になる場合があることも実験的にわかっている。図１０はこのことを示すとともに、本発明の第２の実施形態を説明する図である。
【００４４】
図１０において、Ｙ＝３行目、Ｘ＝４，５列目の信号は図６と同様に『９９』になっており画像飽和しているが、Ｙ＝２行目、Ｘ＝４，５列目の信号は『７０』、Ｙ＝４行目、Ｘ＝４，５列目の信号は『６０』であり、どちらも画像飽和していない。Ｙ＝２行目、４行目の画像にはレベル変動による横筋状のノイズが発生しているが、その程度はＹ＝３行目よりも少ない。実験的には高輝度部の出力に比例したレベル変動になり、その出力値の様子を数字で表している。
【００４５】
このレベル変動はほぼ下記の（１）式で表される。
【００４６】
ｔｂｌ（ｎ）＝ｔｂｌｘ{Ｘｒｈｍａｘ（ｎ）／９９）} …（１）
ここで、
ｔｂｌ ：Ｘ＝４，５列目画像飽和時の他の列の出力
（図９（ｂ）のＸ＝０〜３及び６〜９の補正データ…基準テーブル）
Ｘｒｈｍａｘ（ｎ） ：ｎ行目、Ｘ＝４，５列の最大値
９９ ：画像飽和レベル
ｔｂｌ（ｎ） ：ｎ行目、Ｘ＝０〜３及び６〜９のレベル変動
つまり、各行の横帯状ノイズ補正値は『ｔｂｌ（ｎ）』となり、その値は基準テーブル『ｔｂｌ』に、高輝度部の出力と画像飽和レベルの比を乗算したものとなる。従って、高輝度被写体を受光しているｎ行目の信号から、補正値『ｔｂｌ（ｎ）』を減算することで横筋（横帯）状のノイズを補正することができる。
【００４７】
図１０の右側には４，５列の出力、下側には２，３，４行の出力をプロットしたグラフを示していて、画像飽和レベルは『９９』であり、Ｓｉの記号で示している。
【００４８】
（第３の実施形態）
図１０までの説明で、高輝度部のレベルを『９９』で示しているが、これは画像信号としてＡ／Ｄ変換された出力の飽和レベル（Ｓｉ）である。イメージセンサ内部のアナログ回路信号の飽和レベルは更に高いレベルにあるが、画像信号として出力される飽和レベルは『９９』である。横筋状ノイズのレベル変動は高輝度部の出力に比例するので、画像信号として『９９』のレベルであっても更に、アナログ回路信号の飽和レベル（Ｓｃ）までの間で横筋状のノイズ強度が変化する。従って画像飽和レベル（Ｓｉ）を超えたレベルの実際の出力レベルを予測する。
【００４９】
図１１は、出力が十分回路飽和する程度の高輝度被写体を受光させたときのイメージセンサの様子を示していて、Ｙ＝２〜４行目、Ｘ＝４，５列目の信号はともに画像飽和レベル『９９』になっているが、実際は回路飽和（Ｓｃ）レベルになっている。
【００５０】
また、Ｙ＝１及び５行目、Ｘ＝４，５列目の信号はその左右画素及び上または下画素の出力『１０』よりも高く『２０』になっている。これは、高輝度光の強度が強いため光学的な反射等により上下方向に隣接した画素出力が高くなっているためである。このことを利用して、高輝度部の実際の出力を予想する。
【００５１】
すなわち、このイメージセンサの工場出荷時などに、画像飽和する程度及び回路飽和する程度の高輝度被写体を受光させ、夫々の画像を得る。この状態で、高輝度被写体を受光している行の画素出力およびＨＯＢ領域の中でもレベル変動していない領域の平均レベル（黒基準レベル）、更には高輝度被写体を受光している画素の周囲画素の情報を評価する。
【００５２】
回路飽和時の画像が図１１の状態で、画像飽和時の画像が図６の状態である。横筋状ノイズのレベル変動は高輝度部の出力に比例するので、Ｙ＝２〜４行目、Ｘ＝３または６列目の信号に注目する。ここで画像飽和時は『１６』で黒基準レベル『１０』を減算すると『６』、回路飽和時は『１７』で黒基準レベル『１０』を減算すると『７』となり、７／６倍になっている。従って高輝度部の実際の出力（この場合は回路飽和レベル（Ｓｃ）と等価）は、
『９９』×７／６＝１１６ …（２）
となることがわかる。
【００５３】
次に、飽和画素と上下方向に隣接しているＹ＝１または５行目、Ｘ＝４，５列目の信号に注目する。ここで画像飽和時は『１０』で黒基準レベル『１０』を減算すると『０』、回路飽和時は『２０』で黒基準レベル『１０』を減算すると『１０』となる。つまり画像飽和している画素の上下方向に隣接した画素は、画像飽和『９９』したときは『０』、回路飽和『１１６』したときは『１０』なので、線形補間して
飽和画素出力＝{（１１６−９９）／１０}×上下隣接画素＋９９ …（３）
但し、飽和画素出力≦１１６
と近似することができる。
【００５４】
つまり、画像飽和レベル（Ｓｉ）を超える高輝度被写体を受光した状態であっても、高輝度部の上下隣接画素情報を用いて（３）式から飽和画素出力を予測して、更に（１）式を用いることで横筋（横帯）状ノイズを補正することが可能である。
【００５５】
ここで飽和画素出力≦１１６としているのは、横筋状ノイズのレベル変動は高輝度部の出力に比例するので、これ以上の高輝度光を受光してもレベル変動は変わらないためである。このことにより、回路飽和時には（３）式で表される固定の値で画像補正されることになる。
（第４の実施形態）
図１２、１３は第１〜第３の実施形態の撮像素子のいずれかを用いたデジタルカメラにおける動作を説明するフローチャートである。
【００５６】
図１２ではカメラの全体の流れを説明していて、ステップＳ２０１で不図示の電源スイッチがＯＮされたかどうかを判定する、ＯＦＦであればＯＮされるまでステップＳ２０１を繰り返す。
【００５７】
ステップＳ２０１で電源スイッチがＯＮされていれば、ステップＳ２０２で撮影準備動作を行わせるための不図示のスイッチＳＷ１がＯＮされたかどうかを判定する。ステップＳ２０２でＳＷ１がＯＦＦであれば、ステップＳ２０１に戻り、ステップＳ２０１〜ステップＳ２０２を繰り返す。ステップＳ２０２でＳＷ１がＯＮであれば、撮影準備動作を行うためにステップＳ２０３以降に進む。
【００５８】
ステップＳ２０３では、不図示の測光手段により被写体輝度を測定し、イメージセンサへの露光量が最適になるよう撮影レンズの絞り値やシャッタースピード（イメージセンサの蓄積時間）を決定する。続くステップＳ２０４で不図示のメカシャッタを開き、イメージセンサへの露光を開始する。
【００５９】
ステップＳ２０５ではイメージセンサの蓄積制御及び画像情報の読み出し制御を行い、ステップＳ２０６で不図示の背面液晶に読み出した画像情報を表示する。その後ステップＳ２０７では、ステップＳ２０５で得られた画像情報をもとに焦点検出を行うとともに、その結果から撮影レンズを駆動して被写体にピントを合わせる。
【００６０】
ステップＳ２０８では静止画撮影を行わせるためのスイッチＳＷ２がＯＮされたかどうかを判定する。ステップＳ２０８でＳＷ２がＯＦＦであればステップＳ２０２に戻り、ステップＳ２０２〜ステップＳ２０８を繰り返す。ステップＳ２０２〜ステップＳ２０８までの動作を繰り返すことで所謂ＥＶＦ機能を実現している。
【００６１】
ステップＳ２０８でＳＷ２がＯＮであれば、静止画撮影を行うためにステップＳ２０９に移行する。ステップＳ２０９ではイメージセンサの静止画蓄積制御を行い、ステップＳ２１０で不図示のメカシャッタを閉じることでイメージセンサへの露光を終了させる。
【００６２】
その後ステップＳ２１１でイメージセンサからの画像信号を読み出し、ステップＳ２１２で第１〜第３の実施形態のいずれかの横帯補正を行う。横帯補正の詳細は後述する。その後ステップＳ２１３で不図示の背面液晶に画像を表示させ、ステップＳ２１４で不図示の記録媒体に画像を記録し、一連の動作を終了する。
【００６３】
図１３を参照して、図１２のステップＳ２１２の横帯補正の詳細を説明する。まずステップＳ３０１でステップＳ２１１で得られた画像信号のうちイメージセンサ出力のＸ座標の所定の範囲、つまりグラウンド配線インピーダンスが局部的に高くなっているＸ座標『Ｘｒｈ』内の全画素及びその周辺の画素信号を抽出する。
【００６４】
ステップＳ３０２ではＸ座標『Ｘｒｈ』内の画像信号の最大値Ｘｒｈｍａｘを算出し、Ｘｒｈｍａｘが所定のレベルより大きいかどうかを判定することで、Ｘ座標『Ｘｒｈ』内に高輝度被写体が含まれるかどうかを判定する。ここで所定のレベルは『５０』などあらかじめ横筋状のノイズが目立たないレベルを設定しておく。ステップＳ３０２で、Ｘ座標『Ｘｒｈ』内に高輝度被写体が含まれないと判定されたら、高輝度被写体がないため横帯補正をする必要がないものとして終了する。
【００６５】
ステップＳ３０２でＸ座標『Ｘｒｈ』内に高輝度被写体が含まれると判定されたら、ステップＳ３０３で高輝度被写体が含まれる行を記憶するとともに、０〜ｍ行にナンバリングする。続くステップＳ３０４以降では高輝度部を含む行について横帯補正作業を行う。ステップＳ３０４では、横帯補正を行う行番号をｎとするために、ｎ＝０として初期化する。
【００６６】
続くステップＳ３０５で、ｎ行目のＸ座標『Ｘｒｈ（ｎ）』内の画像信号の最大値Ｘｒｈｍａｘ（ｎ）が画像飽和しているかどうかを判定する。ここでの判定レベルは、図６〜１１で説明した『９９』であるかどうかである。ここで最大値Ｘｒｈｍａｘ（ｎ）が画像飽和していなければステップＳ３０７に移行する。
【００６７】
ステップＳ３０５で最大値Ｘｒｈｍａｘ（ｎ）が画像飽和していると判定されたら、ステップＳ３０６に移行して高輝度部の実際の信号を予測する。予測の方法は第３の実施形態で説明したように、上下隣接画素情報から（３）式を用いて各飽和画素の実際の出力を予測する。
【００６８】
そうして高輝度部の出力値が確定したらステップＳ３０７に移行し、横帯補正をするためにｎ行目の画素信号を抽出し、ステップＳ３０８で（１）式を用いてｎ行目の補正テーブルｔｂｌ（ｎ）を算出する。そして、ステップＳ３０９で補正テーブルｔｂｌ（ｎ）を用いてｎ行目の画素信号を補正する。
【００６９】
ステップＳ３１０では、高輝度被写体を含む行の全てが補正されたかどうかを判定するため、ｎ＝ｍになったかどうかを判定する。ここでｎ＝ｍでなかったら、ステップＳ３１１でｎ＝ｎ＋１として、ｎ＝ｍになるまでステップＳ３０５〜Ｓ３１１を繰り返す。ステップＳ３１０でｎ＝ｍになったら、高輝度被写体を含む行の全てが補正されたものとして、終了する。
【００７０】
以上説明した複数の実施形態のように、イメージセンサの出荷時にあらかじめ高輝度被写体を受光した画像を取得して、代表的な補正テーブル（ここではｔｂｌ）を作成しておく。それとともに、画像飽和時と回路飽和時の隣接画素の関係についても取得しておく（ここでは（３）式）。それで、実際の画像の所定の領域に高輝度被写体があることを判定して、あらかじめ取得した情報から実際に撮影した画像の横筋（横帯）状ノイズを補正するようにしている。
【００７１】
上記の補正が可能なのは、特定の領域に高輝度被写体が存在するときにだけ横筋（横帯）状のノイズが発生することに注目したからである。また、高輝度部に近接した左右ほど補正量を多くし、高輝度部から遠ざかるに従って補正量を減らすことで、最適な画像補正を実現している。
【００７２】
ここで、上記例で説明している補正テーブルは近似式などに変えて記憶するようにしても良い。また、上記の実施形態をパーソナルコンピュータ上のアプリケーションによって行うようにしても良い。
【特許請求の範囲】
【請求項１】
複数の画素が二次元に配列され、光を受光する開口画素領域と、基準となる遮光されたオプティカルブラック領域とを含むＣＭＯＳ型の撮像素子と、
前記撮像素子の前記開口画素領域の特定の領域が高輝度被写体からの光を受光している場合の前記撮像素子の出力から得られる情報を予め記憶する記憶手段と、
前記開口画素領域の前記特定の領域が高輝度被写体からの光を受光しているか否かを判定する判定手段と、
前記判定手段により前記特定の領域が高輝度被写体からの光を受光していると判定された場合に、前記記憶手段に記憶された情報に基づいて、前記撮像素子からの出力を補正する補正手段と、
を備えることを特徴とする撮像装置。
【請求項２】
前記判定手段は、前記撮像素子の前記特定の領域からの出力が所定のレベルを超えたか否かを判定することによって、前記特定の領域が高輝度被写体からの光を受光していると判定することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記判定手段は、前記撮像素子の前記特定の領域に画像飽和レベルの画素があるか否かを判定し、
前記判定手段により画像飽和レベルの画素があると判定された場合に前記画像飽和レベルの画素の周囲の画素の情報に基づいて前記画像飽和レベルの画素の出力を予測する予測手段をさらに備えることを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記特定の領域は、前記撮像素子の水平方向の所定の領域であることを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記補正手段は、高輝度被写体からの光を受光している領域からの水平方向の位置に応じて前記撮像素子からの出力を補正する補正量を変えることを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記補正手段は、高輝度被写体からの光を受光している領域に近接した領域ほど補正量を多くし、遠ざかるに従って補正量を減らすことを特徴とする請求項５に記載の撮像装置。
【請求項１】
複数の画素が二次元に配列され、光を受光する開口画素領域と、基準となる遮光されたオプティカルブラック領域とを含むＣＭＯＳ型の撮像素子と、
前記撮像素子の前記開口画素領域の特定の領域が高輝度被写体からの光を受光している場合の前記撮像素子の出力から得られる情報を予め記憶する記憶手段と、
前記開口画素領域の前記特定の領域が高輝度被写体からの光を受光しているか否かを判定する判定手段と、
前記判定手段により前記特定の領域が高輝度被写体からの光を受光していると判定された場合に、前記記憶手段に記憶された情報に基づいて、前記撮像素子からの出力を補正する補正手段と、
を備えることを特徴とする撮像装置。
【請求項２】
前記判定手段は、前記撮像素子の前記特定の領域からの出力が所定のレベルを超えたか否かを判定することによって、前記特定の領域が高輝度被写体からの光を受光していると判定することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記判定手段は、前記撮像素子の前記特定の領域に画像飽和レベルの画素があるか否かを判定し、
前記判定手段により画像飽和レベルの画素があると判定された場合に前記画像飽和レベルの画素の周囲の画素の情報に基づいて前記画像飽和レベルの画素の出力を予測する予測手段をさらに備えることを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記特定の領域は、前記撮像素子の水平方向の所定の領域であることを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記補正手段は、高輝度被写体からの光を受光している領域からの水平方向の位置に応じて前記撮像素子からの出力を補正する補正量を変えることを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記補正手段は、高輝度被写体からの光を受光している領域に近接した領域ほど補正量を多くし、遠ざかるに従って補正量を減らすことを特徴とする請求項５に記載の撮像装置。
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１】
【図１４】
【図１５】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１】
【図１４】
【図１５】
【公開番号】特開２０１３−１０６０９８（Ｐ２０１３−１０６０９８Ａ）
【公開日】平成２５年５月３０日（２０１３．５．３０）
【国際特許分類】
【出願番号】特願２０１１−２４６８５３（Ｐ２０１１−２４６８５３）
【出願日】平成２３年１１月１０日（２０１１．１１．１０）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２５年５月３０日（２０１３．５．３０）
【国際特許分類】
【出願日】平成２３年１１月１０日（２０１１．１１．１０）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]