撮像装置、ノイズ処理方法及びプログラム
【課題】複雑な構成を必要とせずに、画素単位でランダム的に発生するノイズを処理して高画質の画像データを得る。
【解決手段】同一範囲を撮影する少なくとも２つのＣＣＤ２１ａ，２１ｂを備え、このＣＣＤ２１ａ，２１ｂをＨドライバ２５とＶドライバ２６で共通駆動することで、ＣＣＤ２１ａ，２１ｂから出力される各画素の信号をアナログの状態で合成器２９にて合成処理することにより、その合成信号をノイズ処理した信号として出力する。これにより、複雑な構成を必要とせずに、画素単位でランダム的に発生するノイズを処理して高画質の画像データを得ることができる。
【解決手段】同一範囲を撮影する少なくとも２つのＣＣＤ２１ａ，２１ｂを備え、このＣＣＤ２１ａ，２１ｂをＨドライバ２５とＶドライバ２６で共通駆動することで、ＣＣＤ２１ａ，２１ｂから出力される各画素の信号をアナログの状態で合成器２９にて合成処理することにより、その合成信号をノイズ処理した信号として出力する。これにより、複雑な構成を必要とせずに、画素単位でランダム的に発生するノイズを処理して高画質の画像データを得ることができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えばデジタルカメラなどの撮像装置に係り、特に２つの撮像素子を備えた撮像装置と、この撮像装置に用いられる画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
デジタルカメラは、デジタル・スチル・カメラまたは電子スチルカメラなどとも呼ばれ、ＣＣＤ（ｃｈａｒｇｅ ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ）などの撮像素子を用いて、撮影レンズを通して入射された光を電気信号に変換し、これを画像データとしてメモリカードなどに記録するものである。
【０００３】
図１３は従来のデジタルカメラの回路構成を示すブロック図であり、撮像素子としてＣＣＤを用いた場合の基本的な構成を示している。
【０００４】
図中の１１がＣＣＤである。このＣＣＤ１１の出力信号である各画素の信号は、ＡＦＥ（ａｎａｌｏｇｕｅ ｆｒｏｎｔ−ｅｎｄ）１２を介してデジタルデータに変換された後、デジタル信号処理専用のマイクロプロセッサであるＤＳＰ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）１３に与えられる。
【０００５】
ＤＳＰ１３では、各画素のデジタルデータを画像処理してメインコンピュータであるＣＰＵ１７に渡す。ＣＰＵ１７は、ＤＳＰ１３によって画像処理されたデータを画像データとして取得し、これを所定の方式で圧縮してメモリ１８に記録する。
【０００６】
また、タイミング発生器１４は、ＤＳＰ１３からの指示に従ってＡＦＥ１２にサンプルホールド信号を出力すると共に、Ｈドライバ１５およびＶドライバ１６に対して、それぞれＣＣＤ駆動用のタイミングパルス信号を出力する。Ｈドライバ１５はＣＣＤ１１を構成する各画素の電荷を水平方向へ転送するためのドライバ、Ｖドライバ１６は各画素の電荷を垂直方向へ転送するためのドライバである。ＣＣＤ１１に蓄積された各画素の電荷信号は、Ｈドライバ１５およびＶドライバ１６から出力される駆動信号によって図示せぬ垂直レジスタと水平レジスタを介してライン単位で出力され、その出力先に設けられた図示せぬ検出部にて電気信号に変換されて出力される。
【０００７】
このように、通常のデジタルカメラでは、１つのＣＣＤを持ち、このＣＣＤを一組のＡＦＥ、タイミング発生器、ＨドライバおよびＶドライバで駆動している。
【０００８】
ここで、ＣＣＤの駆動時において、様々なノイズが発生することが知られている。ＣＣＤに発生するノイズは、大きく分けると、ランダム・ノイズと固定パターン・ノイズに分類される。
【０００９】
固定パターン・ノイズは、感度むらなどである。この固定パターン・ノイズは、ＣＣＤの固定箇所に発生するノイズであり、後の画像処理にて除去することが可能である。これに対し、ランダム・ノイズは、ランダムに発生するノイズであり、簡単には除去することができない。
【００１０】
ランダム・ノイズとしては、例えば光ショットノイズ、暗電流ショットノイズ、ホワイトノイズなどがある。光ショットノイズは、ＣＣＤの各画素を構成するフォトダイオードに入射するフォトンの揺らぎによって発生するノイズである。暗電流ショットノイズは、光以外の原因で発生するノイズであり、光が入射しない状態でも発生することから暗電流と呼ばれる。ホワイトノイズは、主にＣＣＤの出力部に設けられたＭＯＳトランジスタで発生するノイズである。
【００１１】
従来、このようなランダム・ノイズ（以下、単にノイズと称す）を除去する方法として、例えば特許文献１に開示されている方法が知られている。この特許文献１では、複数の撮像素子（ＣＣＤ）を用いて、これらの撮像素子上の配列画素出力を相関のあるもの同志を平均化して合成することで、信号に含まれるノイズ成分を除去することを提案している。
【特許文献１】特開平６−３２６９０７号公報
【発明の開示】
【発明が解決しようとする課題】
【００１２】
前記特許文献１では、表示画面を複数の領域に分割し、これらの分割領域毎に撮像素子を設けている。そして、これらの撮像素子の各出力信号に基づいて、隣り合うライン同志または隣り合う画素同志で相関を取り、相関があれば両信号の平均値を出力し、相関がなければ最初のラインまたは最初の画素の信号を出力する。相関ある／なしの判断は、両信号の差分によって決定し、閾値以上であれば相関なし、閾値以内であれば相関ありと判断する。
【００１３】
このような方法によれば、相関の高いデータに対し、平均化処理によりノイズリダクションによる画質の改善を図ることができる。しかしながら、平均化する２つの信号はＣＣＤ上で別の画素の信号であるため、一方の信号に閾値以上のノイズが含まれていると、両者の信号に相関なしと判断されて、平均化処理が行われずにノイズが残ってしまう問題がある。
【００１４】
本発明は前記のような点に鑑みなされたもので、画素単位でランダム的に発生するノイズを処理して高画質の画像データを得ることのできる撮像装置、ノイズ処理方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１５】
本発明の請求項１に係る撮像装置は、共通の撮影範囲を有する少なくとも２つの撮像素子と、前記各撮像素子から出力される信号に基づいてノイズ処理を行うノイズ処理手段とを具備して構成される。
【００１６】
このような構成によれば、共通の撮影範囲を有する少なくとも２つの撮像素子から出力される信号を用いて画素単位でノイズ処理した信号を生成して、高画質の画像データを得ることができる。
【００１７】
また、本発明の請求項２は、前記請求項１記載の撮像装置において、前記ノイズ処理手段は、前記各撮像素子から出力される各画素の信号をアナログの状態で合成処理し、その合成信号をノイズ処理した信号として出力することを特徴とする。
【００１８】
このような構成によれば、各撮像素子から出力される各画素の信号をアナログの状態で合成処理することで、いずれかの画素信号にノイズが存在していた場合にこれを低減して出力することができる。
【００１９】
また、本発明の請求項３は、前記請求項１記載の撮像装置において、前記ノイズ処理手段は、前記各撮像素子から出力される各画素の信号をデジタルデータに変換した後、各画素毎に同じ位置の画素データを平均化し、その平均化したデータをノイズ処理した画素データとして出力することを特徴とする。
【００２０】
このような構成によれば、各撮像素子から出力される各画素の信号をデジタルデータに変換した後、各画素毎に同じ位置の画素データを平均化することで、いずれかの画素データにノイズが存在していた場合にこれを低減して出力することができる。
【００２１】
本発明の請求項４に係る撮像装置は、共通の撮影範囲を有する少なくとも２つの撮像素子と、前記各撮像素子から出力される各画素の信号をデジタルデータに変換する変換手段と、この変換手段によって得られた前記各撮像素子における同じ位置の画素データに基づいてノイズの有無を判定するノイズ判定手段と、このノイズ判定手段によってノイズが存在するものと判定された場合に、ノイズが存在する画素データを選別し、その画素データを排除して出力するデータ選別手段とを具備して構成される。
【００２２】
このような構成によれば、各撮像素子から出力される各画素の信号をデジタルデータに変換した後、各撮像素子における同じ位置の画素データを用いてノイズの有無を判定し、ノイズが存在すると判定された場合にはノイズが存在する画素データを排除して出力する。これにより、ノイズをキャンセルして画素データを出力可能として、高画質の画像データを得ることができる。
【００２３】
また、本発明の請求項５は、前記請求項４記載の撮像装置において、前記ノイズ判定手段は、前記各撮像素子における同じ位置の画素データ同志を比較し、所定値以上の差があった場合にノイズが存在するものと判定することを特徴とする。
【００２４】
このような構成によれば、撮像素子における同じ位置の画素データ同志を比較することで、所定値以上の差があった場合に、いずれかの画素データにノイズが存在するもの判定して処理することができる。
【００２５】
また、本発明の請求項６は、前記請求項４記載の撮像装置において、前記データ選別手段は、前記各撮像素子における同じ位置の画素データのそれぞれについて周囲画素のデータと比較し、前記周囲画素のデータとの差が少ないデータを採用することを特徴とする。
【００２６】
このような構成によれば、各撮像素子における同じ位置の画素データのそれぞれについて周囲画素のデータと比較し、その周囲画素のデータとの差が少ないデータを採用することで、ノイズが存在しない画像データを選別して出力することができる。
【００２７】
また、本発明の請求項７は、前記請求項１または４記載の撮像装置において、前記各撮像素子の水平方向および垂直方向を共通に駆動する駆動手段を具備したことを特徴とする。
【００２８】
このような構成によれば、前記各撮像素子を１つの駆動手段にて共通駆動する構成により回路構成を簡素化できる。
【００２９】
本発明の請求項８に係るノイズ処理方法は、共通の撮影範囲を有する少なくとも２つの撮像素子を備えた撮像装置に用いられるノイズ処理方法であって、前記各撮像素子から出力される各画素の信号をデジタルデータに変換処理するステップと、この変換処理によって得られた前記各撮像素子における同じ位置の画素データに基づいてノイズの有無を判定するステップと、ノイズが存在するものと判定された場合に、ノイズが存在する画素データを選別し、その画素データを排除して出力するステップとを具備したことを特徴とする。
【００３０】
このようなノイズ処理方法によれば、前記各ステップに従った処理を実行することにより、前記請求項４記載の発明と同様の作用効果が奏せられる。
【００３１】
本発明の請求項９に係るプログラムは、共通の撮影範囲を有する少なくとも２つの撮像素子を備えた撮像装置を制御するコンピュータに用いられるプログラムであって、前記コンピュータに、前記各撮像素子から出力される各画素の信号をデジタルデータに変換処理する機能と、この変換処理によって得られた前記各撮像素子における同じ位置の画素データに基づいてノイズの有無を判定する機能と、ノイズが存在するものと判定された場合に、ノイズが存在する画素データを選別し、その画素データを排除して出力する機能とを実現させることを特徴とする。
【００３２】
したがって、コンピュータが前記各機能を実現するためのプログラムを実行することにより、前記請求項４記載の発明と同様の作用効果が奏せられる。
【発明の効果】
【００３３】
本発明によれば、共通の撮影範囲を有する少なくとも２つの撮像素子を備えることで、これらの撮像素子から出力される信号を用いて画素単位でノイズ処理した信号を生成して、高画質の画像データを得ることができる。
【発明を実施するための最良の形態】
【００３４】
以下、図面を参照して本発明の実施形態を説明する。
【００３５】
（第１の実施形態）
第１の実施形態では、２つの撮像素子を用い、これらの出力信号をアナログ的に合成処理することでノイズ処理した信号を生成することを特徴としている。
【００３６】
図１は本発明の第１の実施形態におけるデジタルカメラの回路構成を示すブロック図であり、撮像素子として２つのＣＣＤ２１ａ，２１ｂを備えた場合の構成が示されている。ＣＣＤ２１ａ，２１ｂは、画素数などが同じものであるとする。また、このＣＣＤ２１ａ，２１ｂの画角も同じであり、被写体に対して同じ範囲を撮影するように構成されている。なお、撮影レンズは、ＣＣＤ２１ａ，２１ｂのそれぞれに対応した２つ設けられた構成であっても良いし、１つの撮影レンズを通して入射された光をプリズム等でＣＣＤ２１ａ，２１ｂのそれぞれに分光するような構成であっても良い。
【００３７】
このような同一構成のＣＣＤ２１ａ，２１ｂに対し、１組のＡＦＥ２２、タイミング発生器（ＴＧ）２４、Ｈドライバ２５およびＶドライバ２６が備えられる。
【００３８】
ＡＦＥ２２は、相関ダブル・サンプリング回路（ＣＤＳ）、自動ゲイン調整アンプ（ＡＧＣ）、Ａ／Ｄコンバータなどから構成され、タイミング発生器（ＴＧ）２４から出力されるサンプルホールド信号に従ってアナログの画像データをデシタル化する。ＤＳＰ２３では、このデジタル化された画像データを画像処理してメインコンピュータであるＣＰＵ２７に渡す。ＣＰＵ２７は、ＤＳＰ２３によって画像処理された画像データを撮影画像として取得し、これを所定の方式で圧縮してメモリ２８に記録する。
【００３９】
また、タイミング発生器２４は、ＤＳＰ２３からの指示に従ってＡＦＥ２２にサンプルホールド信号を出力すると共に、Ｈドライバ２５およびＶドライバ２６に対して、それぞれＣＣＤ駆動用のタイミングパルス信号を出力する。Ｈドライバ２５はＣＣＤ２１ａ，２１ｂを構成する各画素の電荷を水平方向へ転送するためのドライバ、Ｖドライバ２６は各画素の電荷を垂直方向へ転送するためのドライバである。
【００４０】
ここで、第１の実施形態では、ＣＣＤ２１ａ，２１ｂとＡＦＥ２２との間に合成器２９が設けられており、ＣＣＤ２１ａの出力信号（アナログ信号）ＳａとＣＣＤ２２ｂの出力信号（アナログ信号）Ｓｂをアナログ的に合成処理し、その合成信号ＳｃをＡＦＥ２２に出力する構成になっている。合成器２９は、ＣＣＤ２１ａの出力信号ＳａとＣＣＤ２２ｂの出力信号Ｓｂとを加算した後、これを平均化することで合成信号Ｓｃを生成する機能を有する。
【００４１】
上述したように、ＣＣＤ２１ａ，２１ｂは同一構成であり、画角を等しくして同じ範囲を撮影する。したがって、ＣＣＤ２１ａ，２１ｂ上で同じ位置の画素には、それぞれに同じ画像情報が蓄積され、その信号が出力されることになる。このため、一方の出力信号にノイズが存在していても、他方の出力信号と合成することで、これを低減することができる。
【００４２】
図２および図３にその様子を示す。図２は通常のＣＣＤ出力信号の波形、図３は２つのＣＣＤ出力信号とこれを合成した合成信号の波形を示している。
【００４３】
通常は、ＣＣＤ２１ａ，２１ｂの出力波形は図２のようになる。ここで、図３に示すように、例えば一方のＣＣＤ２１ａの出力信号Ｓａにノイズが存在していたとしても、前記合成器２９において、同じ画像情報である他方のＣＣＤ２１ａの出力信号Ｓｂと合成することで、ＡＦＥ２２に入力される合成信号Ｓｃのノイズ成分は元の１／２になる。なお、図中のＶｎはノイズレベルの絶対値、ＳＨＰ，ＳＨＤはサンプリングポイントを示している。
【００４４】
このように、それぞれに同じ範囲を撮影する２つのＣＣＤ２１ａ，２１ｂを備え、これらの出力信号Ｓａ，Ｓｂを合成器２９にて合成処理することで、一方の信号に存在していたノイズを半分に減らすことができる。なお、両方にノイズが存在していた場合にはキャンセルできないが、数万画素からなる素子の中で同じ位置にノイズが乗ってしまう可能性は低いため、問題にならないと考えられる。
【００４５】
逆に、例えば白い壁に１画素相当の黒い点があり、これを撮影したような場合には、２つのＣＣＤ２１ａ，２１ｂでこの黒い点を同時に捕らえるため、誤ってノイズとして除去してしまうようなことはなく、黒い点として撮影することが可能である。
【００４６】
さらに、このような２つのＣＣＤ２１ａ，２１ｂを使用して同じ範囲を撮影する構成では、その駆動回路（図１に示すＨドライバ２５およびＶドライバ２６）を共通化できる。つまり、同じドライバ出力を使用してＣＣＤ２１ａ，２１ｂを駆動することができるので、回路を簡素化して省スペース化、低コスト化を図ることができる。
【００４７】
なお、ここでは２つのＣＣＤを用いた構成を示したが、ＣＣＤの数を増やせば、当然の事ながらノイズ成分をさらに低減できる。この場合、Ｎ個のＣＣＤを搭載すれば、理論上、ノイズレベルの絶対値は１／Ｎとなる。さらに、ＣＣＤの数を増やすことで、すべてのＣＣＤの同じ位置にノイズが乗る可能性は極めて低くなることから、より確実にノイズ成分を除去して高画質の画像を得ることができる。
【００４８】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。
【００４９】
前記第１の実施形態では、２つのＣＣＤ出力をアナログ的に合成処理したが、第２の実施形態では、これをデジタル的に合成処理する。
【００５０】
図４は本発明の第２の実施形態におけるデジタルカメラの回路構成を示すブロック図である。なお、前記第１の実施形態における図１の構成と同じ部分には同一符号を付して、その説明は省略するものとする。
【００５１】
図１の構成と異なる点は、２つのＣＣＤ２１ａ，２１ｂに対して共通に設けられたＨドライバ３１からＣＣＤ２１ａ，２１ｂのそれぞれに対して水平駆動信号を個別に出力する構成になっていることである。また、ＣＣＤ２１ａ，２１ｂとＡＦＥ２２との間にスイッチ回路３２が設けられており、ＣＣＤ２１ａの出力信号ＳａとＣＣＤ２１ｂの出力信号Ｓｂを選択的にＡＦＥ２２に出力する構成になっている。
【００５２】
すなわち、前記第１の実施形態では、２つのＣＣＤ２１ａ，２１ｂに対し、図５に示すような水平駆動信号Ｈ１，Ｈ２を出力することで、ＣＣＤ２１ａ，２１ｂから同じタイミングで出力信号Ｓａ，Ｓｂを得ていた。これに対し、第２の実施形態では、図６に示すように、ＣＣＤ２１ａに対する水平駆動信号Ｈ１ａ，Ｈ２ａと、ＣＣＤ２１ｂに対する水平駆動信号Ｈ１ｂ，Ｈ２ｂに分け、その出力タイミングをずらしてＣＣＤ２１ａ，２１ｂに出力するものとする。
【００５３】
これにより、図７に示すように、ＣＣＤ２１ａ，２１ｂからは例えば１ライン毎に各画素の出力信号Ｓａ，Ｓｂが交互に読み出されて出力されることになる。ＡＦＥ２２では、これらの出力信号Ｓａ，Ｓｂをスイッチ回路３２を介して入力し、それぞれにＡ／Ｄ変換してＤＳＰ２３に出力する。ここで、ＤＳＰ２３において、ＣＣＤ２１ａ，２１ｂにおける同じ位置の画素に対応した２つのデジタル値を平均化する処理を行う。
【００５４】
このように、ＣＣＤ２１ａ，２１ｂの各出力信号Ｓａ，Ｓｂをデジタル化して平均化する構成であっても、一方にノイズ成分が存在していた場合にこれを低減することが可能である。また、出力信号Ｓａに対するサンプリングポイントＳＨＰａ，ＳＨＤａと、出力信号Ｓｂに対するサンプリングポイントＳＨＰｂ，ＳＨＤｂをそれぞれ個別に設定すれば、さらにノイズレベルの低減化することができる。
【００５５】
また、Ｈドライバ３１やＶドライバ２６などの駆動回路はＣＣＤ２１ａ，２１ｂで共通であるため、前記第１の実施形態と同様に回路の簡素化による省スペース化、低コスト化を図れる。
【００５６】
なお、ここではスイッチ回路３２を設けてＣＣＤ２１ａの出力信号ＳａとＣＣＤ２１ｂの出力信号Ｓｂを切り換える構成としたが、両信号ともＡＦＥ２２への入力が可能であれば、このＡＦＥ２２内でスイッチ回路３２のような動作をさせても良い。
【００５７】
また、この第２の実施形態においても、ＣＣＤは２つに限らず、３個以上であっても良く、ＣＣＤの数を増やせば、その分、ノイズ低減効果が大きくなる。
【００５８】
（第３の実施形態）
次に、本発明の第３の実施形態について説明する。
【００５９】
第３の実施形態では、前記第２の実施形態と同様に２つのＣＣＤ出力をデジタル処理するが、その際に平均化するのではなく、２つのＣＣＤにおける同じ位置の画素データの中でノイズが存在するデータを選別し、そのデータを排除して出力するものである。
【００６０】
図８は本発明の第３の実施形態におけるデジタルカメラの回路構成を示すブロック図である。なお、基本的な構成は、前記第２の実施形態における図４の構成と同様であり、同じ部分には同一符号を付して、その説明は省略するものとする。
【００６１】
図４と異なる点は、デジタル処理を行うＤＳＰ２３に、本実施形態を実現する処理機能を持たせてあることと、２つのＣＣＤ２１ａ，２１ｂに対応させたバッファ（ＢＦ）３３ａ，３３ｂを追加し、それぞれに数ライン分のデータを保持できる構成としたことである。
【００６２】
２つのＣＣＤ２１ａ，２１ｂが同じ画角で同一範囲を撮影した場合、互いに対応する位置にある画素から得られるデータ値（デジタル）は等しくなると考えられる。これに対し、両者のデータ値に大きな差がある場合には、どちらか一方にノイズが存在していると考えられる。そこで、両者のデータ間に一定値ＴＨ以上の差があった場合にはノイズが存在しているものと判断し、その際に画像データの連続性を利用して周辺画素のデータと比較することで、ノイズが存在する方のデータを選別して排除する。
【００６３】
以下に、その処理動作について説明する。
【００６４】
図９は第３の実施形態における処理動作を示すフローチャートである。なお、このフローチャートで示される処理は、ＤＳＰ２３がメモリ２８などに予め記憶されたプログラムを読み込むことにより実行される。
【００６５】
２つのＣＣＤ２１ａ，２１ｂの出力信号Ｓａ，Ｓｂは、例えば１ライン毎にスイッチ回路３２を介して交互にＡＦＥ２２に与えられ、そこでＡ／Ｄ変換されてＤＳＰ２３に入力される（ステップＳ１１）。ここで、ＣＣＤ２１ａの１画素分のＡ／Ｄ変換出力をデータＡ、ＣＣＤ２１ｂの１画素分のＡ／Ｄ変換出力をデータＢとすると、ＤＳＰ２３では、データＡをバッファ３３ａに順次保持し、データＢをバッファ３３ｂに順次保持する（ステップＳ１２）。バッファ３３ａ，３３ｂには、それぞれに少なくとも１ライン分のデータを保持可能であるとする。
【００６６】
バッファ３３ａ，３３ｂに所定ライン数分のデータが保持されると、ＤＳＰ２３は、同じ位置のデータＡとデータＢとを比較し（ステップＳ１３）、両者の差分｜Ａ−Ｂ｜を求める（ステップＳ１４）。その結果、｜Ａ−Ｂ｜＜ＴＨであれば、つまり、データＡとデータＢに大きな差がなければ（ステップＳ１４のＮｏ）、ＤＳＰ２３はデータＡ，Ｂにノイズは存在しないものと判断し、その平均値を取って当該画素のデータとする（ステップＳ１５）。
【００６７】
一方、｜Ａ−Ｂ｜≧ＴＨであった場合、つまり、データＡとデータＢに閾値ＴＨ以上の大きな差があった場合には（ステップＳ１４のＹｅｓ）、データＡとデータＢのどちらか一方にノイズが存在しているものと考えられる。そこで、ＤＳＰ２３は、データＡとデータＢのそれぞれについて周辺画素のデータと比較することで、ノイズが存在するデータを選別する（ステップＳ１６）。
【００６８】
すなわち、画像データを構成する各画素のデータは、隣接する各画素同志で相関性が高い。そこで、データＡとデータＢのそれぞれについて周辺画素のデータと比較する。この場合、バッファ３３ａ，３３ｂが３ライン分のデータを保持可能な構成であれば、図１０に示すように、少なくとも周囲４画素とのデータ比較が可能である。
【００６９】
当然の事ながら、バッファの容量を増やせば、その分、比較対象とする画素数を多くすることができ、データ選別精度が上がる。ただし、あまり離れた画素との比較は相関性が低くなり、逆に精度を下げてしまう可能性があるため、例えば画素間の距離に応じた重み付けを行うことが好ましい。また、バッファ３３ａ，３３ｂの容量が１ライン分であれば、前後２つの周辺画素のデータとの比較によりデータ選別を行うことになる。
【００７０】
データＡとデータＢのそれぞれについて周辺画素のデータと比較した結果、データＡの方が周辺画素のデータとの差が少なかった場合には（ステップＳ１７のＹｅｓ）、ＤＳＰ２３は、データＢにノイズが存在している可能性があると判断し、データＡを当該画素のデータとして採用する（ステップＳ１８）。一方、データＢの方が周辺画素のデータとの差が少なかった場合には（ステップＳ１７のＮｏ）、ＤＳＰ２３は、データＡにノイズが存在している可能性があると判断し、データＢを当該画素のデータとして採用する（ステップＳ１９）。
【００７１】
なお、周辺画素のデータとの差がデータＡとデータＢで同じであった場合、どちらにもノイズが存在していないことであるため、どちらか一方（例えばデータＡ）を採用するものとする。
【００７２】
このように、２つのＣＣＤ２１ａ，２１ｂを用いて同一範囲を撮影した場合に、周辺画素との比較により一方のデータを排除することで、ノイズ成分をキャンセルした画素データを出力して、高画質の画像データを最終的に得ることができるようになる。
【００７３】
なお、前記実施形態では、周辺画素のデータと比較する場合に、図１０に示したように、データＡとデータＢでそれぞれの周辺画素のデータと比較するものとして説明したが、例えば図１１に示すように、データＡの周辺画素のデータとデータＢとを比較するようにしても良い。このように、データＡとデータＢで比較対象とする周辺画素のデータを統一することで、データ選別の基準が同じとなり、より正確にノイズを含んだ画素データを選別できるようになる。また、このような方法によれば、回路構成上もバッファ１つで対応することができる。
【００７４】
また、別の方法として、図１２に示すように、周辺画素のデータとして、ノイズ判定によって既に確定済みの画素データ（確定データ）を用いて、これと比較するような方法もある。この場合、各画素の確定データを別のメモリに保持しておく必要があるが、このような確定データとの比較により、より正確にデータ選別を行うことができる。ただし、着目画素より後の画素については、まだ未確定であるため、着目画素よりも前に存在する画素のデータと比較することになる。図１２において、データＡとデータＢに対して四角マークで示した画素のデータが確定データであり、同じものである。この確定データは、図示せぬメモリに保持されているものとする。
【００７５】
また、前記各実施形態において、撮像素子として２つのＣＣＤを搭載したデジタルカメラを例にして説明したが、さらに多くのＣＣＤを搭載して前記同様の手法にてノイズキャンセルすることもできる。また、例えばＣＣＤ以外の撮像素子を用いることでも良い。
【００７６】
また、前記各実施形態では、２つのＣＣＤの画素数や画角が同じで、同一範囲を撮影するものとして説明したが、必ずしも、そのような構成である必要はない。すなわち、２つのＣＣＤの画素数や画角が違っていても、互いに共通の撮影範囲を有する構成であれば、その撮影範囲内のノイズを除去した画像を得ることができる。
【００７７】
また、２つのＣＣＤの各画素のデータを比較する場合に、互いに同じ位置の画素同士を比較する方法の他に、例えば一方のＣＣＤの１画素のデータと、他方のＣＣＤの複数画素のデータとを比較してノイズ処理するような構成であっても良い。
【００７８】
さらに、本発明はデジタルカメラに限らず、例えばカメラ付きの携帯電話など、撮像機能を備えた電子機器であれば、そのすべてに適用可能である。
【００７９】
要するに、本発明は前記各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、前記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【図面の簡単な説明】
【００８０】
【図１】本発明の第１の実施形態におけるデジタルカメラの回路構成を示すブロック図。
【図２】通常のＣＣＤ出力信号の波形を示す図。
【図３】同実施形態の手法に従った２つのＣＣＤ出力信号とこれを合成した合成信号の波形を示す図。
【図４】本発明の第２の実施形態におけるデジタルカメラの回路構成を示すブロック図。
【図５】通常のＨドライバから出力される水平駆動信号の波形を示す図。
【図６】同実施形態の手法に従ったＨドライバから出力される水平駆動信号の波形を示す図。
【図７】同実施形態におけるＨドライバから出力される水平駆動信号と２つのＣＣＤ出力信号との関係を示す図。
【図８】本発明の第３の実施形態におけるデジタルカメラの回路構成を示すブロック図。
【図９】同実施形態における処理動作を示すフローチャート。
【図１０】同実施形態におけるノイズ判定方法を説明するための図。
【図１１】他のノイズ判定方法を説明するための図。
【図１２】他のノイズ判定方法を説明するための図。
【図１３】従来のデジタルカメラの回路構成を示すブロック図。
【符号の説明】
【００８１】
２１ａ，２１ｂ…ＣＣＤ、２２…ＡＦＥ（ａｎａｌｏｇｕｅ ｆｒｏｎｔ−ｅｎｄ）、２３…ＤＳＰ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、２４…タイミング発生器（ＴＧ）、２５…Ｈドライバ、２６…Ｖドライバ、２７…ＣＰＵ、２８…メモリ、２９…合成器、３１…Ｈドライバ、３２…スイッチ回路、３３ａ，３３ｂ…バッファ、Ｓａ…ＣＣＤ（Ａ）の出力信号、Ｓｂ…ＣＣＤ（Ｂ）の出力信号、Ｓｃ…合成信号。
【技術分野】
【０００１】
本発明は、例えばデジタルカメラなどの撮像装置に係り、特に２つの撮像素子を備えた撮像装置と、この撮像装置に用いられる画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
デジタルカメラは、デジタル・スチル・カメラまたは電子スチルカメラなどとも呼ばれ、ＣＣＤ（ｃｈａｒｇｅ ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ）などの撮像素子を用いて、撮影レンズを通して入射された光を電気信号に変換し、これを画像データとしてメモリカードなどに記録するものである。
【０００３】
図１３は従来のデジタルカメラの回路構成を示すブロック図であり、撮像素子としてＣＣＤを用いた場合の基本的な構成を示している。
【０００４】
図中の１１がＣＣＤである。このＣＣＤ１１の出力信号である各画素の信号は、ＡＦＥ（ａｎａｌｏｇｕｅ ｆｒｏｎｔ−ｅｎｄ）１２を介してデジタルデータに変換された後、デジタル信号処理専用のマイクロプロセッサであるＤＳＰ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）１３に与えられる。
【０００５】
ＤＳＰ１３では、各画素のデジタルデータを画像処理してメインコンピュータであるＣＰＵ１７に渡す。ＣＰＵ１７は、ＤＳＰ１３によって画像処理されたデータを画像データとして取得し、これを所定の方式で圧縮してメモリ１８に記録する。
【０００６】
また、タイミング発生器１４は、ＤＳＰ１３からの指示に従ってＡＦＥ１２にサンプルホールド信号を出力すると共に、Ｈドライバ１５およびＶドライバ１６に対して、それぞれＣＣＤ駆動用のタイミングパルス信号を出力する。Ｈドライバ１５はＣＣＤ１１を構成する各画素の電荷を水平方向へ転送するためのドライバ、Ｖドライバ１６は各画素の電荷を垂直方向へ転送するためのドライバである。ＣＣＤ１１に蓄積された各画素の電荷信号は、Ｈドライバ１５およびＶドライバ１６から出力される駆動信号によって図示せぬ垂直レジスタと水平レジスタを介してライン単位で出力され、その出力先に設けられた図示せぬ検出部にて電気信号に変換されて出力される。
【０００７】
このように、通常のデジタルカメラでは、１つのＣＣＤを持ち、このＣＣＤを一組のＡＦＥ、タイミング発生器、ＨドライバおよびＶドライバで駆動している。
【０００８】
ここで、ＣＣＤの駆動時において、様々なノイズが発生することが知られている。ＣＣＤに発生するノイズは、大きく分けると、ランダム・ノイズと固定パターン・ノイズに分類される。
【０００９】
固定パターン・ノイズは、感度むらなどである。この固定パターン・ノイズは、ＣＣＤの固定箇所に発生するノイズであり、後の画像処理にて除去することが可能である。これに対し、ランダム・ノイズは、ランダムに発生するノイズであり、簡単には除去することができない。
【００１０】
ランダム・ノイズとしては、例えば光ショットノイズ、暗電流ショットノイズ、ホワイトノイズなどがある。光ショットノイズは、ＣＣＤの各画素を構成するフォトダイオードに入射するフォトンの揺らぎによって発生するノイズである。暗電流ショットノイズは、光以外の原因で発生するノイズであり、光が入射しない状態でも発生することから暗電流と呼ばれる。ホワイトノイズは、主にＣＣＤの出力部に設けられたＭＯＳトランジスタで発生するノイズである。
【００１１】
従来、このようなランダム・ノイズ（以下、単にノイズと称す）を除去する方法として、例えば特許文献１に開示されている方法が知られている。この特許文献１では、複数の撮像素子（ＣＣＤ）を用いて、これらの撮像素子上の配列画素出力を相関のあるもの同志を平均化して合成することで、信号に含まれるノイズ成分を除去することを提案している。
【特許文献１】特開平６−３２６９０７号公報
【発明の開示】
【発明が解決しようとする課題】
【００１２】
前記特許文献１では、表示画面を複数の領域に分割し、これらの分割領域毎に撮像素子を設けている。そして、これらの撮像素子の各出力信号に基づいて、隣り合うライン同志または隣り合う画素同志で相関を取り、相関があれば両信号の平均値を出力し、相関がなければ最初のラインまたは最初の画素の信号を出力する。相関ある／なしの判断は、両信号の差分によって決定し、閾値以上であれば相関なし、閾値以内であれば相関ありと判断する。
【００１３】
このような方法によれば、相関の高いデータに対し、平均化処理によりノイズリダクションによる画質の改善を図ることができる。しかしながら、平均化する２つの信号はＣＣＤ上で別の画素の信号であるため、一方の信号に閾値以上のノイズが含まれていると、両者の信号に相関なしと判断されて、平均化処理が行われずにノイズが残ってしまう問題がある。
【００１４】
本発明は前記のような点に鑑みなされたもので、画素単位でランダム的に発生するノイズを処理して高画質の画像データを得ることのできる撮像装置、ノイズ処理方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１５】
本発明の請求項１に係る撮像装置は、共通の撮影範囲を有する少なくとも２つの撮像素子と、前記各撮像素子から出力される信号に基づいてノイズ処理を行うノイズ処理手段とを具備して構成される。
【００１６】
このような構成によれば、共通の撮影範囲を有する少なくとも２つの撮像素子から出力される信号を用いて画素単位でノイズ処理した信号を生成して、高画質の画像データを得ることができる。
【００１７】
また、本発明の請求項２は、前記請求項１記載の撮像装置において、前記ノイズ処理手段は、前記各撮像素子から出力される各画素の信号をアナログの状態で合成処理し、その合成信号をノイズ処理した信号として出力することを特徴とする。
【００１８】
このような構成によれば、各撮像素子から出力される各画素の信号をアナログの状態で合成処理することで、いずれかの画素信号にノイズが存在していた場合にこれを低減して出力することができる。
【００１９】
また、本発明の請求項３は、前記請求項１記載の撮像装置において、前記ノイズ処理手段は、前記各撮像素子から出力される各画素の信号をデジタルデータに変換した後、各画素毎に同じ位置の画素データを平均化し、その平均化したデータをノイズ処理した画素データとして出力することを特徴とする。
【００２０】
このような構成によれば、各撮像素子から出力される各画素の信号をデジタルデータに変換した後、各画素毎に同じ位置の画素データを平均化することで、いずれかの画素データにノイズが存在していた場合にこれを低減して出力することができる。
【００２１】
本発明の請求項４に係る撮像装置は、共通の撮影範囲を有する少なくとも２つの撮像素子と、前記各撮像素子から出力される各画素の信号をデジタルデータに変換する変換手段と、この変換手段によって得られた前記各撮像素子における同じ位置の画素データに基づいてノイズの有無を判定するノイズ判定手段と、このノイズ判定手段によってノイズが存在するものと判定された場合に、ノイズが存在する画素データを選別し、その画素データを排除して出力するデータ選別手段とを具備して構成される。
【００２２】
このような構成によれば、各撮像素子から出力される各画素の信号をデジタルデータに変換した後、各撮像素子における同じ位置の画素データを用いてノイズの有無を判定し、ノイズが存在すると判定された場合にはノイズが存在する画素データを排除して出力する。これにより、ノイズをキャンセルして画素データを出力可能として、高画質の画像データを得ることができる。
【００２３】
また、本発明の請求項５は、前記請求項４記載の撮像装置において、前記ノイズ判定手段は、前記各撮像素子における同じ位置の画素データ同志を比較し、所定値以上の差があった場合にノイズが存在するものと判定することを特徴とする。
【００２４】
このような構成によれば、撮像素子における同じ位置の画素データ同志を比較することで、所定値以上の差があった場合に、いずれかの画素データにノイズが存在するもの判定して処理することができる。
【００２５】
また、本発明の請求項６は、前記請求項４記載の撮像装置において、前記データ選別手段は、前記各撮像素子における同じ位置の画素データのそれぞれについて周囲画素のデータと比較し、前記周囲画素のデータとの差が少ないデータを採用することを特徴とする。
【００２６】
このような構成によれば、各撮像素子における同じ位置の画素データのそれぞれについて周囲画素のデータと比較し、その周囲画素のデータとの差が少ないデータを採用することで、ノイズが存在しない画像データを選別して出力することができる。
【００２７】
また、本発明の請求項７は、前記請求項１または４記載の撮像装置において、前記各撮像素子の水平方向および垂直方向を共通に駆動する駆動手段を具備したことを特徴とする。
【００２８】
このような構成によれば、前記各撮像素子を１つの駆動手段にて共通駆動する構成により回路構成を簡素化できる。
【００２９】
本発明の請求項８に係るノイズ処理方法は、共通の撮影範囲を有する少なくとも２つの撮像素子を備えた撮像装置に用いられるノイズ処理方法であって、前記各撮像素子から出力される各画素の信号をデジタルデータに変換処理するステップと、この変換処理によって得られた前記各撮像素子における同じ位置の画素データに基づいてノイズの有無を判定するステップと、ノイズが存在するものと判定された場合に、ノイズが存在する画素データを選別し、その画素データを排除して出力するステップとを具備したことを特徴とする。
【００３０】
このようなノイズ処理方法によれば、前記各ステップに従った処理を実行することにより、前記請求項４記載の発明と同様の作用効果が奏せられる。
【００３１】
本発明の請求項９に係るプログラムは、共通の撮影範囲を有する少なくとも２つの撮像素子を備えた撮像装置を制御するコンピュータに用いられるプログラムであって、前記コンピュータに、前記各撮像素子から出力される各画素の信号をデジタルデータに変換処理する機能と、この変換処理によって得られた前記各撮像素子における同じ位置の画素データに基づいてノイズの有無を判定する機能と、ノイズが存在するものと判定された場合に、ノイズが存在する画素データを選別し、その画素データを排除して出力する機能とを実現させることを特徴とする。
【００３２】
したがって、コンピュータが前記各機能を実現するためのプログラムを実行することにより、前記請求項４記載の発明と同様の作用効果が奏せられる。
【発明の効果】
【００３３】
本発明によれば、共通の撮影範囲を有する少なくとも２つの撮像素子を備えることで、これらの撮像素子から出力される信号を用いて画素単位でノイズ処理した信号を生成して、高画質の画像データを得ることができる。
【発明を実施するための最良の形態】
【００３４】
以下、図面を参照して本発明の実施形態を説明する。
【００３５】
（第１の実施形態）
第１の実施形態では、２つの撮像素子を用い、これらの出力信号をアナログ的に合成処理することでノイズ処理した信号を生成することを特徴としている。
【００３６】
図１は本発明の第１の実施形態におけるデジタルカメラの回路構成を示すブロック図であり、撮像素子として２つのＣＣＤ２１ａ，２１ｂを備えた場合の構成が示されている。ＣＣＤ２１ａ，２１ｂは、画素数などが同じものであるとする。また、このＣＣＤ２１ａ，２１ｂの画角も同じであり、被写体に対して同じ範囲を撮影するように構成されている。なお、撮影レンズは、ＣＣＤ２１ａ，２１ｂのそれぞれに対応した２つ設けられた構成であっても良いし、１つの撮影レンズを通して入射された光をプリズム等でＣＣＤ２１ａ，２１ｂのそれぞれに分光するような構成であっても良い。
【００３７】
このような同一構成のＣＣＤ２１ａ，２１ｂに対し、１組のＡＦＥ２２、タイミング発生器（ＴＧ）２４、Ｈドライバ２５およびＶドライバ２６が備えられる。
【００３８】
ＡＦＥ２２は、相関ダブル・サンプリング回路（ＣＤＳ）、自動ゲイン調整アンプ（ＡＧＣ）、Ａ／Ｄコンバータなどから構成され、タイミング発生器（ＴＧ）２４から出力されるサンプルホールド信号に従ってアナログの画像データをデシタル化する。ＤＳＰ２３では、このデジタル化された画像データを画像処理してメインコンピュータであるＣＰＵ２７に渡す。ＣＰＵ２７は、ＤＳＰ２３によって画像処理された画像データを撮影画像として取得し、これを所定の方式で圧縮してメモリ２８に記録する。
【００３９】
また、タイミング発生器２４は、ＤＳＰ２３からの指示に従ってＡＦＥ２２にサンプルホールド信号を出力すると共に、Ｈドライバ２５およびＶドライバ２６に対して、それぞれＣＣＤ駆動用のタイミングパルス信号を出力する。Ｈドライバ２５はＣＣＤ２１ａ，２１ｂを構成する各画素の電荷を水平方向へ転送するためのドライバ、Ｖドライバ２６は各画素の電荷を垂直方向へ転送するためのドライバである。
【００４０】
ここで、第１の実施形態では、ＣＣＤ２１ａ，２１ｂとＡＦＥ２２との間に合成器２９が設けられており、ＣＣＤ２１ａの出力信号（アナログ信号）ＳａとＣＣＤ２２ｂの出力信号（アナログ信号）Ｓｂをアナログ的に合成処理し、その合成信号ＳｃをＡＦＥ２２に出力する構成になっている。合成器２９は、ＣＣＤ２１ａの出力信号ＳａとＣＣＤ２２ｂの出力信号Ｓｂとを加算した後、これを平均化することで合成信号Ｓｃを生成する機能を有する。
【００４１】
上述したように、ＣＣＤ２１ａ，２１ｂは同一構成であり、画角を等しくして同じ範囲を撮影する。したがって、ＣＣＤ２１ａ，２１ｂ上で同じ位置の画素には、それぞれに同じ画像情報が蓄積され、その信号が出力されることになる。このため、一方の出力信号にノイズが存在していても、他方の出力信号と合成することで、これを低減することができる。
【００４２】
図２および図３にその様子を示す。図２は通常のＣＣＤ出力信号の波形、図３は２つのＣＣＤ出力信号とこれを合成した合成信号の波形を示している。
【００４３】
通常は、ＣＣＤ２１ａ，２１ｂの出力波形は図２のようになる。ここで、図３に示すように、例えば一方のＣＣＤ２１ａの出力信号Ｓａにノイズが存在していたとしても、前記合成器２９において、同じ画像情報である他方のＣＣＤ２１ａの出力信号Ｓｂと合成することで、ＡＦＥ２２に入力される合成信号Ｓｃのノイズ成分は元の１／２になる。なお、図中のＶｎはノイズレベルの絶対値、ＳＨＰ，ＳＨＤはサンプリングポイントを示している。
【００４４】
このように、それぞれに同じ範囲を撮影する２つのＣＣＤ２１ａ，２１ｂを備え、これらの出力信号Ｓａ，Ｓｂを合成器２９にて合成処理することで、一方の信号に存在していたノイズを半分に減らすことができる。なお、両方にノイズが存在していた場合にはキャンセルできないが、数万画素からなる素子の中で同じ位置にノイズが乗ってしまう可能性は低いため、問題にならないと考えられる。
【００４５】
逆に、例えば白い壁に１画素相当の黒い点があり、これを撮影したような場合には、２つのＣＣＤ２１ａ，２１ｂでこの黒い点を同時に捕らえるため、誤ってノイズとして除去してしまうようなことはなく、黒い点として撮影することが可能である。
【００４６】
さらに、このような２つのＣＣＤ２１ａ，２１ｂを使用して同じ範囲を撮影する構成では、その駆動回路（図１に示すＨドライバ２５およびＶドライバ２６）を共通化できる。つまり、同じドライバ出力を使用してＣＣＤ２１ａ，２１ｂを駆動することができるので、回路を簡素化して省スペース化、低コスト化を図ることができる。
【００４７】
なお、ここでは２つのＣＣＤを用いた構成を示したが、ＣＣＤの数を増やせば、当然の事ながらノイズ成分をさらに低減できる。この場合、Ｎ個のＣＣＤを搭載すれば、理論上、ノイズレベルの絶対値は１／Ｎとなる。さらに、ＣＣＤの数を増やすことで、すべてのＣＣＤの同じ位置にノイズが乗る可能性は極めて低くなることから、より確実にノイズ成分を除去して高画質の画像を得ることができる。
【００４８】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。
【００４９】
前記第１の実施形態では、２つのＣＣＤ出力をアナログ的に合成処理したが、第２の実施形態では、これをデジタル的に合成処理する。
【００５０】
図４は本発明の第２の実施形態におけるデジタルカメラの回路構成を示すブロック図である。なお、前記第１の実施形態における図１の構成と同じ部分には同一符号を付して、その説明は省略するものとする。
【００５１】
図１の構成と異なる点は、２つのＣＣＤ２１ａ，２１ｂに対して共通に設けられたＨドライバ３１からＣＣＤ２１ａ，２１ｂのそれぞれに対して水平駆動信号を個別に出力する構成になっていることである。また、ＣＣＤ２１ａ，２１ｂとＡＦＥ２２との間にスイッチ回路３２が設けられており、ＣＣＤ２１ａの出力信号ＳａとＣＣＤ２１ｂの出力信号Ｓｂを選択的にＡＦＥ２２に出力する構成になっている。
【００５２】
すなわち、前記第１の実施形態では、２つのＣＣＤ２１ａ，２１ｂに対し、図５に示すような水平駆動信号Ｈ１，Ｈ２を出力することで、ＣＣＤ２１ａ，２１ｂから同じタイミングで出力信号Ｓａ，Ｓｂを得ていた。これに対し、第２の実施形態では、図６に示すように、ＣＣＤ２１ａに対する水平駆動信号Ｈ１ａ，Ｈ２ａと、ＣＣＤ２１ｂに対する水平駆動信号Ｈ１ｂ，Ｈ２ｂに分け、その出力タイミングをずらしてＣＣＤ２１ａ，２１ｂに出力するものとする。
【００５３】
これにより、図７に示すように、ＣＣＤ２１ａ，２１ｂからは例えば１ライン毎に各画素の出力信号Ｓａ，Ｓｂが交互に読み出されて出力されることになる。ＡＦＥ２２では、これらの出力信号Ｓａ，Ｓｂをスイッチ回路３２を介して入力し、それぞれにＡ／Ｄ変換してＤＳＰ２３に出力する。ここで、ＤＳＰ２３において、ＣＣＤ２１ａ，２１ｂにおける同じ位置の画素に対応した２つのデジタル値を平均化する処理を行う。
【００５４】
このように、ＣＣＤ２１ａ，２１ｂの各出力信号Ｓａ，Ｓｂをデジタル化して平均化する構成であっても、一方にノイズ成分が存在していた場合にこれを低減することが可能である。また、出力信号Ｓａに対するサンプリングポイントＳＨＰａ，ＳＨＤａと、出力信号Ｓｂに対するサンプリングポイントＳＨＰｂ，ＳＨＤｂをそれぞれ個別に設定すれば、さらにノイズレベルの低減化することができる。
【００５５】
また、Ｈドライバ３１やＶドライバ２６などの駆動回路はＣＣＤ２１ａ，２１ｂで共通であるため、前記第１の実施形態と同様に回路の簡素化による省スペース化、低コスト化を図れる。
【００５６】
なお、ここではスイッチ回路３２を設けてＣＣＤ２１ａの出力信号ＳａとＣＣＤ２１ｂの出力信号Ｓｂを切り換える構成としたが、両信号ともＡＦＥ２２への入力が可能であれば、このＡＦＥ２２内でスイッチ回路３２のような動作をさせても良い。
【００５７】
また、この第２の実施形態においても、ＣＣＤは２つに限らず、３個以上であっても良く、ＣＣＤの数を増やせば、その分、ノイズ低減効果が大きくなる。
【００５８】
（第３の実施形態）
次に、本発明の第３の実施形態について説明する。
【００５９】
第３の実施形態では、前記第２の実施形態と同様に２つのＣＣＤ出力をデジタル処理するが、その際に平均化するのではなく、２つのＣＣＤにおける同じ位置の画素データの中でノイズが存在するデータを選別し、そのデータを排除して出力するものである。
【００６０】
図８は本発明の第３の実施形態におけるデジタルカメラの回路構成を示すブロック図である。なお、基本的な構成は、前記第２の実施形態における図４の構成と同様であり、同じ部分には同一符号を付して、その説明は省略するものとする。
【００６１】
図４と異なる点は、デジタル処理を行うＤＳＰ２３に、本実施形態を実現する処理機能を持たせてあることと、２つのＣＣＤ２１ａ，２１ｂに対応させたバッファ（ＢＦ）３３ａ，３３ｂを追加し、それぞれに数ライン分のデータを保持できる構成としたことである。
【００６２】
２つのＣＣＤ２１ａ，２１ｂが同じ画角で同一範囲を撮影した場合、互いに対応する位置にある画素から得られるデータ値（デジタル）は等しくなると考えられる。これに対し、両者のデータ値に大きな差がある場合には、どちらか一方にノイズが存在していると考えられる。そこで、両者のデータ間に一定値ＴＨ以上の差があった場合にはノイズが存在しているものと判断し、その際に画像データの連続性を利用して周辺画素のデータと比較することで、ノイズが存在する方のデータを選別して排除する。
【００６３】
以下に、その処理動作について説明する。
【００６４】
図９は第３の実施形態における処理動作を示すフローチャートである。なお、このフローチャートで示される処理は、ＤＳＰ２３がメモリ２８などに予め記憶されたプログラムを読み込むことにより実行される。
【００６５】
２つのＣＣＤ２１ａ，２１ｂの出力信号Ｓａ，Ｓｂは、例えば１ライン毎にスイッチ回路３２を介して交互にＡＦＥ２２に与えられ、そこでＡ／Ｄ変換されてＤＳＰ２３に入力される（ステップＳ１１）。ここで、ＣＣＤ２１ａの１画素分のＡ／Ｄ変換出力をデータＡ、ＣＣＤ２１ｂの１画素分のＡ／Ｄ変換出力をデータＢとすると、ＤＳＰ２３では、データＡをバッファ３３ａに順次保持し、データＢをバッファ３３ｂに順次保持する（ステップＳ１２）。バッファ３３ａ，３３ｂには、それぞれに少なくとも１ライン分のデータを保持可能であるとする。
【００６６】
バッファ３３ａ，３３ｂに所定ライン数分のデータが保持されると、ＤＳＰ２３は、同じ位置のデータＡとデータＢとを比較し（ステップＳ１３）、両者の差分｜Ａ−Ｂ｜を求める（ステップＳ１４）。その結果、｜Ａ−Ｂ｜＜ＴＨであれば、つまり、データＡとデータＢに大きな差がなければ（ステップＳ１４のＮｏ）、ＤＳＰ２３はデータＡ，Ｂにノイズは存在しないものと判断し、その平均値を取って当該画素のデータとする（ステップＳ１５）。
【００６７】
一方、｜Ａ−Ｂ｜≧ＴＨであった場合、つまり、データＡとデータＢに閾値ＴＨ以上の大きな差があった場合には（ステップＳ１４のＹｅｓ）、データＡとデータＢのどちらか一方にノイズが存在しているものと考えられる。そこで、ＤＳＰ２３は、データＡとデータＢのそれぞれについて周辺画素のデータと比較することで、ノイズが存在するデータを選別する（ステップＳ１６）。
【００６８】
すなわち、画像データを構成する各画素のデータは、隣接する各画素同志で相関性が高い。そこで、データＡとデータＢのそれぞれについて周辺画素のデータと比較する。この場合、バッファ３３ａ，３３ｂが３ライン分のデータを保持可能な構成であれば、図１０に示すように、少なくとも周囲４画素とのデータ比較が可能である。
【００６９】
当然の事ながら、バッファの容量を増やせば、その分、比較対象とする画素数を多くすることができ、データ選別精度が上がる。ただし、あまり離れた画素との比較は相関性が低くなり、逆に精度を下げてしまう可能性があるため、例えば画素間の距離に応じた重み付けを行うことが好ましい。また、バッファ３３ａ，３３ｂの容量が１ライン分であれば、前後２つの周辺画素のデータとの比較によりデータ選別を行うことになる。
【００７０】
データＡとデータＢのそれぞれについて周辺画素のデータと比較した結果、データＡの方が周辺画素のデータとの差が少なかった場合には（ステップＳ１７のＹｅｓ）、ＤＳＰ２３は、データＢにノイズが存在している可能性があると判断し、データＡを当該画素のデータとして採用する（ステップＳ１８）。一方、データＢの方が周辺画素のデータとの差が少なかった場合には（ステップＳ１７のＮｏ）、ＤＳＰ２３は、データＡにノイズが存在している可能性があると判断し、データＢを当該画素のデータとして採用する（ステップＳ１９）。
【００７１】
なお、周辺画素のデータとの差がデータＡとデータＢで同じであった場合、どちらにもノイズが存在していないことであるため、どちらか一方（例えばデータＡ）を採用するものとする。
【００７２】
このように、２つのＣＣＤ２１ａ，２１ｂを用いて同一範囲を撮影した場合に、周辺画素との比較により一方のデータを排除することで、ノイズ成分をキャンセルした画素データを出力して、高画質の画像データを最終的に得ることができるようになる。
【００７３】
なお、前記実施形態では、周辺画素のデータと比較する場合に、図１０に示したように、データＡとデータＢでそれぞれの周辺画素のデータと比較するものとして説明したが、例えば図１１に示すように、データＡの周辺画素のデータとデータＢとを比較するようにしても良い。このように、データＡとデータＢで比較対象とする周辺画素のデータを統一することで、データ選別の基準が同じとなり、より正確にノイズを含んだ画素データを選別できるようになる。また、このような方法によれば、回路構成上もバッファ１つで対応することができる。
【００７４】
また、別の方法として、図１２に示すように、周辺画素のデータとして、ノイズ判定によって既に確定済みの画素データ（確定データ）を用いて、これと比較するような方法もある。この場合、各画素の確定データを別のメモリに保持しておく必要があるが、このような確定データとの比較により、より正確にデータ選別を行うことができる。ただし、着目画素より後の画素については、まだ未確定であるため、着目画素よりも前に存在する画素のデータと比較することになる。図１２において、データＡとデータＢに対して四角マークで示した画素のデータが確定データであり、同じものである。この確定データは、図示せぬメモリに保持されているものとする。
【００７５】
また、前記各実施形態において、撮像素子として２つのＣＣＤを搭載したデジタルカメラを例にして説明したが、さらに多くのＣＣＤを搭載して前記同様の手法にてノイズキャンセルすることもできる。また、例えばＣＣＤ以外の撮像素子を用いることでも良い。
【００７６】
また、前記各実施形態では、２つのＣＣＤの画素数や画角が同じで、同一範囲を撮影するものとして説明したが、必ずしも、そのような構成である必要はない。すなわち、２つのＣＣＤの画素数や画角が違っていても、互いに共通の撮影範囲を有する構成であれば、その撮影範囲内のノイズを除去した画像を得ることができる。
【００７７】
また、２つのＣＣＤの各画素のデータを比較する場合に、互いに同じ位置の画素同士を比較する方法の他に、例えば一方のＣＣＤの１画素のデータと、他方のＣＣＤの複数画素のデータとを比較してノイズ処理するような構成であっても良い。
【００７８】
さらに、本発明はデジタルカメラに限らず、例えばカメラ付きの携帯電話など、撮像機能を備えた電子機器であれば、そのすべてに適用可能である。
【００７９】
要するに、本発明は前記各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、前記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【図面の簡単な説明】
【００８０】
【図１】本発明の第１の実施形態におけるデジタルカメラの回路構成を示すブロック図。
【図２】通常のＣＣＤ出力信号の波形を示す図。
【図３】同実施形態の手法に従った２つのＣＣＤ出力信号とこれを合成した合成信号の波形を示す図。
【図４】本発明の第２の実施形態におけるデジタルカメラの回路構成を示すブロック図。
【図５】通常のＨドライバから出力される水平駆動信号の波形を示す図。
【図６】同実施形態の手法に従ったＨドライバから出力される水平駆動信号の波形を示す図。
【図７】同実施形態におけるＨドライバから出力される水平駆動信号と２つのＣＣＤ出力信号との関係を示す図。
【図８】本発明の第３の実施形態におけるデジタルカメラの回路構成を示すブロック図。
【図９】同実施形態における処理動作を示すフローチャート。
【図１０】同実施形態におけるノイズ判定方法を説明するための図。
【図１１】他のノイズ判定方法を説明するための図。
【図１２】他のノイズ判定方法を説明するための図。
【図１３】従来のデジタルカメラの回路構成を示すブロック図。
【符号の説明】
【００８１】
２１ａ，２１ｂ…ＣＣＤ、２２…ＡＦＥ（ａｎａｌｏｇｕｅ ｆｒｏｎｔ−ｅｎｄ）、２３…ＤＳＰ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、２４…タイミング発生器（ＴＧ）、２５…Ｈドライバ、２６…Ｖドライバ、２７…ＣＰＵ、２８…メモリ、２９…合成器、３１…Ｈドライバ、３２…スイッチ回路、３３ａ，３３ｂ…バッファ、Ｓａ…ＣＣＤ（Ａ）の出力信号、Ｓｂ…ＣＣＤ（Ｂ）の出力信号、Ｓｃ…合成信号。
【特許請求の範囲】
【請求項１】
共通の撮影範囲を有する少なくとも２つの撮像素子と、
前記各撮像素子から出力される信号に基づいてノイズ処理を行うノイズ処理手段と
を具備したことを特徴とする撮像装置。
【請求項２】
前記ノイズ処理手段は、前記各撮像素子から出力される各画素の信号をアナログの状態で合成処理し、その合成信号をノイズ処理した信号として出力することを特徴とする請求項１記載の撮像装置。
【請求項３】
前記ノイズ処理手段は、前記各撮像素子から出力される各画素の信号をデジタルデータに変換した後、各画素毎に同じ位置の画素データを平均化し、その平均化したデータをノイズ処理した画素データとして出力することを特徴とする請求項１記載の撮像装置。
【請求項４】
共通の撮影範囲を有する少なくとも２つの撮像素子と、
前記各撮像素子から出力される各画素の信号をデジタルデータに変換する変換手段と、
この変換手段によって得られた前記各撮像素子における同じ位置の画素データに基づいてノイズの有無を判定するノイズ判定手段と、
このノイズ判定手段によってノイズが存在するものと判定された場合に、ノイズが存在する画素データを選別し、その画素データを排除して出力するデータ選別手段と
を具備したことを特徴とする撮像装置。
【請求項５】
前記ノイズ判定手段は、前記各撮像素子における同じ位置の画素データ同志を比較し、所定値以上の差があった場合にノイズが存在するものと判定することを特徴とする請求項４記載の撮像装置。
【請求項６】
前記データ選別手段は、前記各撮像素子における同じ位置の画素データのそれぞれについて周囲画素のデータと比較し、前記周囲画素のデータとの差が少ないデータを採用することを特徴とする請求項４記載の撮像装置。
【請求項７】
前記各撮像素子の水平方向および垂直方向を共通に駆動する駆動手段を具備したことを特徴とする請求項１または４記載の撮像装置。
【請求項８】
共通の撮影範囲を有する少なくとも２つの撮像素子を備えた撮像装置に用いられるノイズ処理方法であって、
前記各撮像素子から出力される各画素の信号をデジタルデータに変換処理するステップと、
この変換処理によって得られた前記各撮像素子における同じ位置の画素データに基づいてノイズの有無を判定するステップと、
ノイズが存在するものと判定された場合に、ノイズが存在する画素データを選別し、その画素データを排除して出力するステップと
を具備したことを特徴とするノイズ処理方法。
【請求項９】
共通の撮影範囲を有する少なくとも２つの撮像素子を備えた撮像装置を制御するコンピュータに用いられるプログラムであって、
前記コンピュータに、
前記各撮像素子から出力される各画素の信号をデジタルデータに変換処理する機能と、
この変換処理によって得られた前記各撮像素子における同じ位置の画素データに基づいてノイズの有無を判定する機能と、
ノイズが存在するものと判定された場合に、ノイズが存在する画素データを選別し、その画素データを排除して出力する機能と
を実現させることを特徴とするプログラム。
【請求項１】
共通の撮影範囲を有する少なくとも２つの撮像素子と、
前記各撮像素子から出力される信号に基づいてノイズ処理を行うノイズ処理手段と
を具備したことを特徴とする撮像装置。
【請求項２】
前記ノイズ処理手段は、前記各撮像素子から出力される各画素の信号をアナログの状態で合成処理し、その合成信号をノイズ処理した信号として出力することを特徴とする請求項１記載の撮像装置。
【請求項３】
前記ノイズ処理手段は、前記各撮像素子から出力される各画素の信号をデジタルデータに変換した後、各画素毎に同じ位置の画素データを平均化し、その平均化したデータをノイズ処理した画素データとして出力することを特徴とする請求項１記載の撮像装置。
【請求項４】
共通の撮影範囲を有する少なくとも２つの撮像素子と、
前記各撮像素子から出力される各画素の信号をデジタルデータに変換する変換手段と、
この変換手段によって得られた前記各撮像素子における同じ位置の画素データに基づいてノイズの有無を判定するノイズ判定手段と、
このノイズ判定手段によってノイズが存在するものと判定された場合に、ノイズが存在する画素データを選別し、その画素データを排除して出力するデータ選別手段と
を具備したことを特徴とする撮像装置。
【請求項５】
前記ノイズ判定手段は、前記各撮像素子における同じ位置の画素データ同志を比較し、所定値以上の差があった場合にノイズが存在するものと判定することを特徴とする請求項４記載の撮像装置。
【請求項６】
前記データ選別手段は、前記各撮像素子における同じ位置の画素データのそれぞれについて周囲画素のデータと比較し、前記周囲画素のデータとの差が少ないデータを採用することを特徴とする請求項４記載の撮像装置。
【請求項７】
前記各撮像素子の水平方向および垂直方向を共通に駆動する駆動手段を具備したことを特徴とする請求項１または４記載の撮像装置。
【請求項８】
共通の撮影範囲を有する少なくとも２つの撮像素子を備えた撮像装置に用いられるノイズ処理方法であって、
前記各撮像素子から出力される各画素の信号をデジタルデータに変換処理するステップと、
この変換処理によって得られた前記各撮像素子における同じ位置の画素データに基づいてノイズの有無を判定するステップと、
ノイズが存在するものと判定された場合に、ノイズが存在する画素データを選別し、その画素データを排除して出力するステップと
を具備したことを特徴とするノイズ処理方法。
【請求項９】
共通の撮影範囲を有する少なくとも２つの撮像素子を備えた撮像装置を制御するコンピュータに用いられるプログラムであって、
前記コンピュータに、
前記各撮像素子から出力される各画素の信号をデジタルデータに変換処理する機能と、
この変換処理によって得られた前記各撮像素子における同じ位置の画素データに基づいてノイズの有無を判定する機能と、
ノイズが存在するものと判定された場合に、ノイズが存在する画素データを選別し、その画素データを排除して出力する機能と
を実現させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２００６−９４２０１（Ｐ２００６−９４２０１Ａ）
【公開日】平成１８年４月６日（２００６．４．６）
【国際特許分類】
【出願番号】特願２００４−２７７９１５（Ｐ２００４−２７７９１５）
【出願日】平成１６年９月２４日（２００４．９．２４）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
【公開日】平成１８年４月６日（２００６．４．６）
【国際特許分類】
【出願日】平成１６年９月２４日（２００４．９．２４）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
[ Back to top ]