画像撮像装置および信号処理方法
【課題】光学像を撮像素子により検出してデジタル画像データを取得する画像撮像装置において、高品質のデジタル画像データを取得できるようにする。
【解決手段】複数の光電変換素子を備え、入力光が担持する画像情報を前記光電変換素子毎に画素信号に変換して出力する撮像素子と、前記光電変換素子毎に前記撮像素子から出力された画素信号を所定数ずつ合成する画素信号合成手段と、合成後の画素信号からデジタル画像データを生成する画像信号処理手段とを備えた画像撮像装置において、合成する画素信号の範囲における周辺部より中央部の画素信号の方が利得が高くなるように重み付けして、画素信号を合成する。
【解決手段】複数の光電変換素子を備え、入力光が担持する画像情報を前記光電変換素子毎に画素信号に変換して出力する撮像素子と、前記光電変換素子毎に前記撮像素子から出力された画素信号を所定数ずつ合成する画素信号合成手段と、合成後の画素信号からデジタル画像データを生成する画像信号処理手段とを備えた画像撮像装置において、合成する画素信号の範囲における周辺部より中央部の画素信号の方が利得が高くなるように重み付けして、画素信号を合成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像素子（光電変換素子）を備えた画像撮像装置において取得されるデジタル画像信号の品質の向上に関するものである。
【背景技術】
【０００２】
従来より、ＣＣＤやＣＭＯＳ等、複数の光電変換素子を備え、入力光が担持する画像情報を光電変換素子毎に画素信号に変換し、画像情報に対応する画素信号を出力する撮像素子と、撮像素子から出力された画素信号に対して、ＡＤ変換、階調変換、色補正、周波数補正、データ圧縮などの画素信号処理／デジタル信号処理を施して、デジタル画像データを生成する画像信号処理手段とを備えた画像撮像装置が知られている。
【０００３】
ここで、入力光が担持する画像情報を離散空間サンプリングによって画素信号に変換する際には、下記の問題が発生することが知られている。
【０００４】
問題１：空間サンプリング周期に起因する周波数伝達特性の限界によって高周波情報が欠落する。
【０００５】
問題２：空間サンプリング窓の形状に起因して特定の空間周波数情報が欠落する。
【０００６】
問題３：高周波情報の折り返し歪が低周波情報に混入する。
【０００７】
このため、入力光が担持する画像情報の持つ情報を過不足なく正確にデジタル画像データ化することは困難な課題であった。
【０００８】
また、近年の撮像素子の微細化によって、１の課題は解決されつつあるが、一方で下記の問題を生じるようになった。
【０００９】
問題４：素子の大きさが小さくなったためノイズが増加して信号のＳ/Ｎが劣化し、さらに無用にデータ数が増加する。
【００１０】
以下、上記問題１から４について図面を用いて詳細に説明する。図７は空間サンプリング周期に起因する空間サンプリング限界を説明するための図、図８は空間サンプリング窓の形状に起因する空間周波数情報の欠落を説明するための図、図９は折り返し歪を説明するための図、図１０は光学ローパスフィルタによる高周波成分の抑制を説明するための図である。
【００１１】
問題１については、図７に示すように、空間サンプリング周期をｐとしたとき、ナイキスト空間周波数（１／２ｐ）よりも高い空間周波数成分は伝達することができない。しかしながら、空間サンプリング周期ｐを無限に小さくすることはできないため、自ずと限界が生じることになる。
【００１２】
問題２については、図８に示すように、空間サンプリング窓が無限に小さい（デルタ関数で表される形状）場合には、デジタル画像データにおいて特定の空間周波数成分の欠落は生じないが、実際には空間サンプリング窓を無限に小さくすることはできないため、窓の大きさや形状によってデジタル画像データにおいて特定の空間周波数成分の欠落が生じてしまう。例えば従来から一般的に使われている空間サンプリング窓の形状は矩形であるが、このとき伝達される信号の空間周波数特性はＡＢＳ（Ｓｉｎｃ）関数となる。ＡＢＳ（Ｓｉｎｃ）のゼロ点位置は空間サンプリング窓の幅ｗで決まり、１／ｗ、２／ｗ、３／ｗ、・・・において利得がゼロとなる。このゼロ点の空間周波数成分は全く伝達されないので、不正確で品質の低いデジタル画像データとなる。
【００１３】
問題３については、図９に示すように、ナイキスト空間周波数（１／２ｐ）以上の空間周波数成分を含む入力信号を、周期ｐで空間サンプリングすると、ナイキスト空間周波数よりも高い空間周波数成分がナイキスト空間周波数で低周波側に折り返して低周波情報に混入する。このため、低周波情報に折り返し歪（ノイズ）が重畳してしまう。
【００１４】
問題４については、撮像素子の原理的な問題である。
【００１５】
レンズによる光学像を入力光として、その入力光が担持する画像情報をＣＣＤやＣＭＯＳ等の撮像素子により検出してデジタル画像データを生成する画像撮像装置（例えばデジタルカメラ等）において、上記問題１から４はいずれもデジタル画像の画質を損なうものであり、大きな問題となっている。
【先行技術文献】
【特許文献】
【００１６】
【特許文献１】特開２００２−３２０１５１号公報
【発明の概要】
【発明が解決しようとする課題】
【００１７】
問題１解決のために、空間サンプリング周期ｐを小さくしていくと、検出器の画素サイズが小さくなってＳ／Ｎが悪くなる。また検出器の製造も困難かつ高コストとなる。さらに取得するデジタルデータの数が膨大になり、データ処理や保存、伝送、記録が困難・高コストになる。
【００１８】
問題１の解決のために、空間サンプリング周期ｐよりも空間サンプリング窓サイズを大きく設定する方法が知られている。空間サンプリング周期ｐよりも大きな空間サンプリング窓（開口率１００％以上）を実現することは物理的に困難であるため、実際には空間サンプリング窓を空間的／時間的にずらしながら画素信号を取得することにより、実効的に空間サンプリング窓を大きくすることが行なわれている（画素ずらし法）。しかしこの方法では、空間サンプリング窓の形状が矩形となるため、問題２を解決することができず、高周波情報では特定の空間周波数成分が欠落するという問題が依然として残ることになる。
【００１９】
また、問題３解決のために、図１０に示すように、従来は光学ローパスフィルタをレンズと撮像素子の間に挿入して、離散空間サンプリングの前に、折り返し歪（ノイズ）の元となる高周波成分を抑制することが行なわれてきた。しかし、光学ローパスフィルタは光学結晶（水晶等）の複屈折性を利用するため、非常に高価な部品となり、製品の低価格化の障害となっている。
【００２０】
また、問題４解決のために、隣接する画素のデータを混合／積和することでノイズ成分の比率を抑制することが行なわれている（ビニング機能）。例えば２×２の４画素分の信号を合成する等である。しかしその方法では、撮像素子の実効的な空間サンプリング窓の形状は矩形開口であるため、依然として問題２が残ることになる。
【００２１】
また、特許文献１においても、画素ずらし法を行なう装置において、撮像素子の実効的開口率を折り返し歪（ノイズ）成分が極小となるように設定することにより、折り返し歪（ノイズ）の影響を抑える方法が提案されているが、この場合であっても、空間サンプリング窓の形状は矩形となるため、問題２を解決することができず、高周波情報では特定の空間周波数成分が欠落するという問題が依然として残ることになる。
【００２２】
本発明は、上記の問題を解消して、高品質のデジタル画像データを生成可能な画像撮像装置および画像撮像装置における信号処理方法を提供することを目的とするものである。
【課題を解決するための手段】
【００２３】
本発明の画像撮像装置は、複数の光電変換素子を備え、入力光が担持する画像情報を光電変換素子毎に画素信号に変換して出力する撮像素子と、光電変換素子毎に撮像素子から出力された画素信号を所定数ずつ合成する画素信号合成手段と、合成後の画素信号からデジタル画像データを生成する画像信号処理手段とを備えた画像撮像装置であって、画素信号合成手段が、合成する画素信号の範囲における周辺部より中央部の画素信号の方が利得が高くなるように重み付けして、画素信号を合成するものであることを特徴とするものである。
【００２４】
本発明の信号処理方法は、複数の光電変換素子を備え、入力光が担持する画像情報を光電変換素子毎に画素信号に変換して出力する撮像素子と、光電変換素子毎に撮像素子から出力された画素信号を所定数ずつ合成する画素信号合成手段と、合成後の画素信号からデジタル画像データを生成する画像信号処理手段とを備えた画像撮像装置における信号処理方法であって、合成する画素信号の範囲における周辺部より中央部の画素信号の方が利得が高くなるように重み付けして、画素信号を合成することを特徴とするものである。
【００２５】
本発明の画像撮像装置および信号処理方法において、横軸を画素位置、縦軸を重み付け係数としたグラフの頂点同士を結ぶ形状は、ガウス形状、バートレット形状、ブラックマン形状、コナーズ形状、コサイン形状、ハミング形状、ハニング形状のいずれか、もしくはこれらに近似した形状とすることが好ましい。
【００２６】
ここで、横軸を画素位置とするとは、合成する画素について、１次元状の範囲で合成する場合には、画素位置をそのまま横軸とし、２次元状の範囲で合成する場合には、合成範囲の一方の端から他方の端に向けて合成範囲の中心を通る直線上での位置を横軸とすることを意味する。
【００２７】
また、画素信号を所定素ずつ合成する際は、Ａ／Ｄ変換される前の画素信号を合成してもよいし、Ａ／Ｄ変換された後の画素信号を合成してもよい。
【発明の効果】
【００２８】
本発明の画像撮像装置および信号処理方法によれば、複数の光電変換素子を備え、入力光が担持する画像情報を光電変換素子毎に画素信号に変換して出力する撮像素子と、光電変換素子毎に撮像素子から出力された画素信号を所定数ずつ合成する画素信号合成手段と、合成後の画素信号からデジタル画像データを生成する画像信号処理手段とを備えた画像撮像装置において、合成する画素信号について、周辺部より中央部の方が高くなるように重み付け係数を掛けて合成するようにしたので、空間サンプリングの際の空間周波数特性は、利得がゼロとなる点を含まず、高周波となるに従って利得が徐々に低下するような特性となる。そのため、空間サンプリングの際に利得がゼロとなる点が生じなくなり、周波数情報の欠落が無くなるとともに、高周波成分は利得が低くなっているため、折り返し歪が重畳したとしてもその影響は小さくなる。さらに、複数の光電変換素子から出力された画素信号を合成しているため、Ｓ／Ｎを向上させることができる。以上のことから、高品質のデジタル画像データを取得することが可能となる。
【００２９】
ここで、横軸を画素位置、縦軸を重み付け係数としたグラフの頂点同士を結ぶ形状を、ガウス形状、バートレット形状、ブラックマン形状、コナーズ形状、コサイン形状、ハミング形状、ハニング形状のいずれか、もしくはこれらに近似した形状とすれば、本発明の効果をより効果的に得ることができる。
【図面の簡単な説明】
【００３０】
【図１】本発明の一実施の形態にかかるデジタルカメラの背面図
【図２】上記デジタルカメラの前面図
【図３】上記デジタルカメラの機能ブロック図
【図４】上記実施の形態における空間サンプリング処理を説明するための図
【図５】上記実施の形態における画素信号合成処理を説明するための図
【図６】その他のデジタルカメラにおけるＡＤ変換特性を説明するための図
【図７】空間サンプリング周期に起因する空間サンプリング限界を説明するための図
【図８】空間サンプリング窓の形状に起因する周波数情報の欠落を説明するための図
【図９】折り返し歪を説明するための図
【図１０】光学ローパスフィルタによる高周波成分の抑制を説明するための図
【発明を実施するための形態】
【００３１】
本発明の画像撮像装置における実施の形態について、以下、詳細に説明する。実施の形態では、本発明における画像撮像装置としてデジタルカメラを例に説明する。図１は本発明の第１の実施の形態にかかるデジタルカメラの背面図、図２は上記デジタルカメラの前面図、図３は上記デジタルカメラの機能ブロック図である。
【００３２】
デジタルカメラ１の本体１０の背面には、図１に示すように、撮像者による操作のためのインターフェースとして、動作モードスイッチ１１、メニュー／ＯＫボタン１２、ズーム／上下レバー１３、左右ボタン１４、Ｂａｃｋ（戻る）ボタン１５、表示切替ボタン１６が設けられ、更に撮影のためのファインダ１７、撮影並びに再生のためのモニタ１８及びレリーズボタン１９が設けられている。
【００３３】
動作モードスイッチ１１は、静止画撮影モード、動画撮影モード、再生モード、の各動作モードを切り替えるためのスライドスイッチである。メニュー／ＯＫボタン１２は、各種メニューをモニタ１８に表示させたり、モニタ１８に表示されたメニューに基づく選択・設定を決定したりするためのボタンである。
【００３４】
ズーム／上下レバー１３は、上下方向に倒すことによって、撮影時には望遠／広角の調整が行われ、各種設定時にはモニタ１８に表示されるメニュー画面中のカーソルが上下に移動して表示される。左右ボタン１４は、各種設定時にモニタ１８に表示されるメニュー画面中のカーソルを左右に移動して表示させるためのボタンである。
【００３５】
Ｂａｃｋ（戻る）ボタン１５は、押下されることによって各種設定操作を中止し、モニタ１８に１つ前の画面を表示するためのボタンである。表示切替ボタン１６は、押下することによってモニタ１８の表示のＯＮ／ＯＦＦ、各種ガイド表示、文字表示のＯＮ／ＯＦＦ等を切り替えるためのボタンである。ファインダ１７は、ユーザが被写体を撮像する際に構図やピントを合わせるために覗くためのものである。ファインダ１７から見える被写体像は、本体１０の前面にあるファインダ窓２３を介して映し出される。
【００３６】
レリーズボタン１９は、半押し及び全押しの二段階操作が可能な操作ボタンであり、レリーズボタン１９を押下すると、操作系制御部７４を介して半押し信号又は全押し信号をＣＰＵ７５へ出力する。
【００３７】
以上説明した各ボタンやレバー等の操作によって設定された内容は、モニタ１８中の表示や、ファインダ１７内のランプ、スライドレバーの位置等によって確認可能となっている。また、モニタ１８には、撮影の際に被写体確認用のスルー画像が表示される。これにより、モニタ１８は電子ビューファインダとして機能する他、撮影後の静止画や動画の再生表示、各種設定メニューの表示を行う。ユーザによってレリーズボタン１９が全押し操作されると、撮像が行われ、モニタ１８に表示された画像が撮影画像として記録される。
【００３８】
更に、本体１０の前面には、図２に示すように、撮影レンズ２０、レンズカバー２１、電源スイッチ２２、ファインダ窓２３、フラッシュライト２４及びセルフタイマーランプ２５が設けられ、側面にはメディアスロット２６が設けられている。
【００３９】
撮影レンズ２０は、被写体像を所定の結像面上（本体１０内部にあるＣＣＤ等）に結像させるためのものであり、フォーカスレンズやズームレンズ等によって構成される。レンズカバー２１は、デジタルカメラ１の電源がオフ状態のとき、再生モードであるとき等に撮影レンズ２０の表面を覆い、汚れやゴミ等から撮影レンズ２０を保護するものである。
【００４０】
電源スイッチ２２は、デジタルカメラ１の電源のオン／オフを切り替えるためのスイッチである。フラッシュライト２４は、レリーズボタン１９が押下され、本体１０の内部にあるシャッタが開いている間に、撮像に必要な光を被写体に対して瞬間的に照射するためのものである。セルフタイマーランプ２５は、セルフタイマーによって撮像する際に、シャッタの開閉タイミングすなわち露光の開始及び終了を被写体に知らせるためのものである。メディアスロット２６は、メモリカード等の外部記録メディア７０が充填されるための充填口であり、外部記録メディア７０が充填されると、データの読み取り／書き込みが行われる。
【００４１】
図３に示すように、デジタルカメラ１の操作系として、前述の動作モードスイッチ１１、メニュー／ＯＫボタン１２、ズーム／上下レバー１３、左右ボタン１４、Ｂａｃｋ（戻り）ボタン１５、表示切替ボタン１６、レリーズボタン１９、電源スイッチ２２と、これらのスイッチ、ボタン、レバー類の操作内容をＣＰＵ７５に伝えるためのインターフェースである操作系制御部７４が設けられている。
【００４２】
また、撮影レンズ２０を構成するものとして、フォーカスレンズ２０ａ及びズームレンズ２０ｂが設けられている。これらの各レンズは、モータとモータドライバからなるフォーカスレンズ駆動部５１、ズームレンズ駆動部５２によってステップ駆動され、光軸方向に移動可能な構成となっている。フォーカスレンズ駆動部５１は、ＣＰＵ７５による制御に基づいてフォーカスレンズ２０ａをステップ駆動する。ズームレンズ駆動部５２は、ズーム／上下レバー１３の操作量データに基づいてズームレンズ２０ｂのステップ駆動を制御する。
【００４３】
絞り５４は、モータとモータドライバとからなる絞り駆動部５５によって駆動される。
【００４４】
シャッタ５６は、メカニカルシャッタであり、モータとモータドライバとからなるシャッタ駆動部５７によって駆動される。シャッタ駆動部５７は、レリーズボタン１９の押下信号等に応じてシャッタ５６の開閉の制御を行う。
【００４５】
上記光学系の後方には、撮像素子であるＣＣＤ５８を有している。ＣＣＤ５８は、多数の受光素子がマトリクス状に配置されてなる光電面を有しており、光学系を通過した被写体像が光電面に結像され、光電変換される。光電面の前方には、各画素に光を集光させるためのマイクロレンズアレイ（不図示）と、ＲＧＢ各色のフィルタが規則的に配列されてなるカラーフィルタアレイ（不図示）とが配置されている。ＣＣＤ５８は、ＣＣＤ制御部５９から供給される垂直転送クロック信号及び水平転送クロック信号に同期して、画素毎に蓄積された電荷を１ラインずつ読み出してアナログ画像信号として出力する。各画素における電荷の蓄積時間（即ち露出時間）は、ＣＣＤ制御部５９から与えられる電子シャッタ駆動信号によって決定される。
【００４６】
ＣＣＤ５８が出力する画像信号は、アナログ信号処理部６０に入力される。このアナログ信号処理部６０は、画像信号のノイズ除去を行う相関２重空間サンプリング回路（ＣＤＳ）と、画像信号のゲイン調整を行うオートゲインコントローラ（ＡＧＣ）とからなる。次に画像信号はＡ／Ｄ変換器（ＡＤＣ）６１によってデジタル画像データに変換される。そしてＡ／Ｄ変換されたデジタル画像データは、デジタル信号処理部６２によって、デジタルノイズ除去、非線形階調変換、デジタル周波数強調などの基本的なデジタル信号処理を施され画像入力コントローラ６３に入力される。ここでデジタル画像データは、光学系を通過した被写体像の空間分布に対応した順に配列され、被写体像の光強度に対応した強度値の情報を持つ。
【００４７】
タイミングジェネレータ７２は、タイミング信号を発生させるものであり、このタイミング信号がシャッタ駆動部５７、ＣＣＤ制御部５９、画素信号処理部６０に入力されて、レリーズボタン１９の操作と、シャッタ５６の開閉、ＣＣＤ５８の電荷取り込み、画素信号処理６０の処理の同期が取られる。フラッシュ制御部７３は、フラッシュライト２４の発光動作を制御する。
【００４８】
画像入力コントローラ６３は、上記デジタル信号処理部６２から入力されたデジタル画像データをフレームメモリ６８に書き込む。このフレームメモリ６８は、画像データに対して後述の各種デジタル画像処理（信号処理）を行う際に使用する作業用メモリであり、例えば、一定周期のバスクロック信号に同期してデータ転送を行うＳＤＲＡＭ（Syncｈronous Dynamic Random Access Memory）から構成されている。また画像入力コントローラ６３は、画像データを撮影する際のフラッシュ発光する／しない指示等に応じて、本撮影する前に行われるプレ画像を作業用メモリに記録することも可能である。
【００４９】
プレ画像は、撮影条件を決定するための撮像（例えば、調光処理）によって得られる。
【００５０】
表示制御部７１は、フレームメモリ６８に格納された画像データをスルー画像としてモニタ１８に表示させるためのものであり、例えば、輝度（Ｙ）信号と色（Ｃ）信号を一緒にして１つの信号としたコンポジット信号に変換して、モニタ１８に出力する。スルー画像は、撮像モードが選択されている間、所定時間間隔で取得されてモニタ１８に表示される。また、表示制御部７１は、外部記録メディア７０に記憶され、メディア制御部６９によって読み出された画像ファイルに含まれる画像データに基づいた画像をモニタ１８に表示させる。
【００５１】
画像処理部６４は、本画像の画像データに対して色空間補正、ＹＣ処理、マルチ周波数ノイズ低減、被写体認識処理等の高度な画像処理を施す。
【００５２】
本画像の画素数の上限はＣＣＤ５８の画素数によって決定されるが、例えば、ユーザが設定可能な画質設定（ファイン、ノーマル等の設定）により、記録画素数を変更することができる。一方、プレ画像の画素数は本画像より少なくてもよく、例えば、本画像の１／１６程度の画素数で取り込まれてもよい。
【００５３】
圧縮／伸長処理部６７は、画像処理部６４によって画質補正等の処理が行われた画像データに対して、例えばＪＰＥＧ等の圧縮形式で圧縮処理を行って、画像ファイルを生成する。この画像ファイルには、各種データ形式に基づいて付帯情報が付加される。またこの圧縮／伸長処理部６７は、再生モードにおいては外部記録メディア７０から圧縮された画像ファイルを読み出し、伸長処理を行う。伸長後の画像データは表示制御部７１に出力され、表示制御部７１は画像データに基づいた画像をモニタ１８に表示する。
【００５４】
メディア制御部６９は、図２におけるメディアスロット２６に相当し、外部記録メディア７０に記憶された画像ファイル等の読み出し、又は画像ファイルの書き込みを行う。ＣＰＵ７５は、各種ボタン、レバー、スイッチの操作や各機能ブロックからの信号に応じて、デジタルカメラ１の本体各部を制御する。またＣＰＵ７５は図示しない内部メモリに画像ファイルを記録する記録手段としても機能する。
【００５５】
またデータバス７６は、画像入力コントローラ６３、画像処理部６４、圧縮／伸長処理部６５、フレームメモリ６８、各種制御部６９、７１、及びＣＰＵ７５に接続されており、このデータバス７６を介して各種信号、データの送受信が行われる。
【００５６】
本発明の画像データにおける画素数の上限はＣＣＤ５８の画素数によって決定されるが、例えば、ユーザが設定可能な画質設定（ファイン、ノーマル等の設定）により、記録画素数を変更することができる。一方、スルー画像やプレ画像の画素数は本画像より少なくてもよく、例えば、本画像の１／１６程度の画素数で取り込まれてもよい。
【００５７】
メディア制御部（記録手段）６９は、図２におけるメディアスロット２６に相当し、外部記録メディア７０に記憶された画像ファイル等の読み出し、又は画像ファイルの書き込みを行う。ＣＰＵ７５は、各種ボタン、レバー、スイッチの操作や各機能ブロックからの信号に応じて、デジタルカメラ１の本体各部を制御する。またＣＰＵ７５は図示しない内部メモリに画像ファイルを記録する記録手段としても機能する。
【００５８】
次に上記のように構成されたデジタルカメラ１における、デジタル画像データの取得の際の処理について説明する。図４は上記実施の形態における空間サンプリング処理を説明するための図、図５は上記実施の形態における画素信号合成処理を説明するための図である。
【００５９】
撮影が行なわれると、ＣＣＤ５８は、撮影レンズ２０を通過して光電面に結像された被写体像を光電変換して電荷として蓄積し、ＣＣＤ制御部５９から供給される垂直転送クロック信号及び水平転送クロック信号に同期して、画素毎に蓄積された電荷を１ラインずつ読み出して画素信号として出力する。
【００６０】
このとき、本実施の形態においては、図４（３）に示すように、開口幅内の空間サンプリング窓形状がガウス形状となるように、アナログ信号処理部６０に備えられた画素信号合成手段が複数の画素から出力された画素信号を合成する。
【００６１】
開口幅内の空間サンプリング窓形状をガウス形状とするための具体的処理については、図５に示すように、所定の開口幅（１／ｗｇ）に相当する画素数ｎを求める。（なお、図５では分かりやすく説明するために一次元の範囲で合成する例を示しているが、本実施の形態では後述の通り二次元の範囲で合成する。）そして、互いに隣接する画素同士で、この幅を一辺の長さとする正方形の領域（ｎ×ｎ）の画素ずつ画素信号を合成するが、このとき、空間サンプリング窓形状がガウス形状となるように各画素信号に重み付けをして合成する。上記処理を１画素ずつずらしながら行うことにより、画像データの画素数はＣＣＤ５８の画素数と同等となる。
【００６２】
上記のようにして取得された画像信号（合成された画素信号の集合）は、Ａ／Ｄ変換器６１によってデジタル画像データに変換される。
【００６３】
これにより、デジタル画像データの空間周波数特性は、利得がゼロとなる点を含まず、高周波となるに従って利得が徐々に低下するような特性となる。そのため、空間周波数特性の利得がゼロとなる点が生じなくなり、周波数情報の欠落が無くなるとともに、高周波成分は利得が低くなっているため、折り返し歪が重畳したとしてもその影響は小さくなる。さらに、複数画素から出力された画素信号を合成しているため、Ｓ／Ｎを向上させることができる。以上のことから、高品質のデジタル画像データを取得することが可能となる。
【００６４】
なお、別の方法として、ＣＣＤ５８から画素毎に出力された画素信号をＡ／Ｄ変換器６１によって画素毎にＡ／Ｄ変換し、デジタル信号処理部６２において上記と同様に各画素位置毎に正方形の領域（ｎ×ｎ）の画素について空間サンプリング窓形状がガウス形状となるように各画素信号に重み付けをして合成するようにしてもよい。このような態様としても、図４（３）に示すように、空間サンプリング窓形状を仮想的にガウス形状としたのと同等の画素信号を取得することができる。
【００６５】
また、図６に示すように、空間サンプリング窓形状については、完全なガウス形状でなくても、それに近い形状であれば、矩形の透過率分布形状のものと比べて格段に高品質のデジタル画像データを取得することが可能となる。
【００６６】
また、ガウス形状以外にも、バートレット形状、ブラックマン形状、コナーズ形状、コサイン形状、ハミング形状、ハニング形状等としてもよい。なお、これらの形状に完全に一致する形状でなくても、それに近い形状であれば、矩形の透過率分布形状のものと比べて格段に高品質のデジタル画像データを取得することが可能となる。
【００６７】
以上、本発明の画像撮像装置について詳細に説明したが、本発明は上記実施の形態に限定されるものではない。
【００６８】
例えば、本発明における画像撮像装置としてデジタルカメラを例に説明したが、本発明の適用範囲はこれに限定されず、例えば、デジタルビデオカメラ、電子撮像機能を備えた携帯電話やゲーム端末等、他の電子機器に対しても適用可能である。
【００６９】
また、これ以外にも、本発明の要旨を逸脱しない範囲において、各種の改良や変形を行なってもよいのは勿論である。
【符号の説明】
【００７０】
１ デジタルカメラ
１８ モニタ
１９ レリーズボタン
５８ ＣＣＤ５８
６０ アナログ信号処理部
６１ Ａ／Ｄ変換器
６２ デジタル信号処理部
６３ 画像入力コントローラ
６４ 画像処理部
【技術分野】
【０００１】
本発明は、撮像素子（光電変換素子）を備えた画像撮像装置において取得されるデジタル画像信号の品質の向上に関するものである。
【背景技術】
【０００２】
従来より、ＣＣＤやＣＭＯＳ等、複数の光電変換素子を備え、入力光が担持する画像情報を光電変換素子毎に画素信号に変換し、画像情報に対応する画素信号を出力する撮像素子と、撮像素子から出力された画素信号に対して、ＡＤ変換、階調変換、色補正、周波数補正、データ圧縮などの画素信号処理／デジタル信号処理を施して、デジタル画像データを生成する画像信号処理手段とを備えた画像撮像装置が知られている。
【０００３】
ここで、入力光が担持する画像情報を離散空間サンプリングによって画素信号に変換する際には、下記の問題が発生することが知られている。
【０００４】
問題１：空間サンプリング周期に起因する周波数伝達特性の限界によって高周波情報が欠落する。
【０００５】
問題２：空間サンプリング窓の形状に起因して特定の空間周波数情報が欠落する。
【０００６】
問題３：高周波情報の折り返し歪が低周波情報に混入する。
【０００７】
このため、入力光が担持する画像情報の持つ情報を過不足なく正確にデジタル画像データ化することは困難な課題であった。
【０００８】
また、近年の撮像素子の微細化によって、１の課題は解決されつつあるが、一方で下記の問題を生じるようになった。
【０００９】
問題４：素子の大きさが小さくなったためノイズが増加して信号のＳ/Ｎが劣化し、さらに無用にデータ数が増加する。
【００１０】
以下、上記問題１から４について図面を用いて詳細に説明する。図７は空間サンプリング周期に起因する空間サンプリング限界を説明するための図、図８は空間サンプリング窓の形状に起因する空間周波数情報の欠落を説明するための図、図９は折り返し歪を説明するための図、図１０は光学ローパスフィルタによる高周波成分の抑制を説明するための図である。
【００１１】
問題１については、図７に示すように、空間サンプリング周期をｐとしたとき、ナイキスト空間周波数（１／２ｐ）よりも高い空間周波数成分は伝達することができない。しかしながら、空間サンプリング周期ｐを無限に小さくすることはできないため、自ずと限界が生じることになる。
【００１２】
問題２については、図８に示すように、空間サンプリング窓が無限に小さい（デルタ関数で表される形状）場合には、デジタル画像データにおいて特定の空間周波数成分の欠落は生じないが、実際には空間サンプリング窓を無限に小さくすることはできないため、窓の大きさや形状によってデジタル画像データにおいて特定の空間周波数成分の欠落が生じてしまう。例えば従来から一般的に使われている空間サンプリング窓の形状は矩形であるが、このとき伝達される信号の空間周波数特性はＡＢＳ（Ｓｉｎｃ）関数となる。ＡＢＳ（Ｓｉｎｃ）のゼロ点位置は空間サンプリング窓の幅ｗで決まり、１／ｗ、２／ｗ、３／ｗ、・・・において利得がゼロとなる。このゼロ点の空間周波数成分は全く伝達されないので、不正確で品質の低いデジタル画像データとなる。
【００１３】
問題３については、図９に示すように、ナイキスト空間周波数（１／２ｐ）以上の空間周波数成分を含む入力信号を、周期ｐで空間サンプリングすると、ナイキスト空間周波数よりも高い空間周波数成分がナイキスト空間周波数で低周波側に折り返して低周波情報に混入する。このため、低周波情報に折り返し歪（ノイズ）が重畳してしまう。
【００１４】
問題４については、撮像素子の原理的な問題である。
【００１５】
レンズによる光学像を入力光として、その入力光が担持する画像情報をＣＣＤやＣＭＯＳ等の撮像素子により検出してデジタル画像データを生成する画像撮像装置（例えばデジタルカメラ等）において、上記問題１から４はいずれもデジタル画像の画質を損なうものであり、大きな問題となっている。
【先行技術文献】
【特許文献】
【００１６】
【特許文献１】特開２００２−３２０１５１号公報
【発明の概要】
【発明が解決しようとする課題】
【００１７】
問題１解決のために、空間サンプリング周期ｐを小さくしていくと、検出器の画素サイズが小さくなってＳ／Ｎが悪くなる。また検出器の製造も困難かつ高コストとなる。さらに取得するデジタルデータの数が膨大になり、データ処理や保存、伝送、記録が困難・高コストになる。
【００１８】
問題１の解決のために、空間サンプリング周期ｐよりも空間サンプリング窓サイズを大きく設定する方法が知られている。空間サンプリング周期ｐよりも大きな空間サンプリング窓（開口率１００％以上）を実現することは物理的に困難であるため、実際には空間サンプリング窓を空間的／時間的にずらしながら画素信号を取得することにより、実効的に空間サンプリング窓を大きくすることが行なわれている（画素ずらし法）。しかしこの方法では、空間サンプリング窓の形状が矩形となるため、問題２を解決することができず、高周波情報では特定の空間周波数成分が欠落するという問題が依然として残ることになる。
【００１９】
また、問題３解決のために、図１０に示すように、従来は光学ローパスフィルタをレンズと撮像素子の間に挿入して、離散空間サンプリングの前に、折り返し歪（ノイズ）の元となる高周波成分を抑制することが行なわれてきた。しかし、光学ローパスフィルタは光学結晶（水晶等）の複屈折性を利用するため、非常に高価な部品となり、製品の低価格化の障害となっている。
【００２０】
また、問題４解決のために、隣接する画素のデータを混合／積和することでノイズ成分の比率を抑制することが行なわれている（ビニング機能）。例えば２×２の４画素分の信号を合成する等である。しかしその方法では、撮像素子の実効的な空間サンプリング窓の形状は矩形開口であるため、依然として問題２が残ることになる。
【００２１】
また、特許文献１においても、画素ずらし法を行なう装置において、撮像素子の実効的開口率を折り返し歪（ノイズ）成分が極小となるように設定することにより、折り返し歪（ノイズ）の影響を抑える方法が提案されているが、この場合であっても、空間サンプリング窓の形状は矩形となるため、問題２を解決することができず、高周波情報では特定の空間周波数成分が欠落するという問題が依然として残ることになる。
【００２２】
本発明は、上記の問題を解消して、高品質のデジタル画像データを生成可能な画像撮像装置および画像撮像装置における信号処理方法を提供することを目的とするものである。
【課題を解決するための手段】
【００２３】
本発明の画像撮像装置は、複数の光電変換素子を備え、入力光が担持する画像情報を光電変換素子毎に画素信号に変換して出力する撮像素子と、光電変換素子毎に撮像素子から出力された画素信号を所定数ずつ合成する画素信号合成手段と、合成後の画素信号からデジタル画像データを生成する画像信号処理手段とを備えた画像撮像装置であって、画素信号合成手段が、合成する画素信号の範囲における周辺部より中央部の画素信号の方が利得が高くなるように重み付けして、画素信号を合成するものであることを特徴とするものである。
【００２４】
本発明の信号処理方法は、複数の光電変換素子を備え、入力光が担持する画像情報を光電変換素子毎に画素信号に変換して出力する撮像素子と、光電変換素子毎に撮像素子から出力された画素信号を所定数ずつ合成する画素信号合成手段と、合成後の画素信号からデジタル画像データを生成する画像信号処理手段とを備えた画像撮像装置における信号処理方法であって、合成する画素信号の範囲における周辺部より中央部の画素信号の方が利得が高くなるように重み付けして、画素信号を合成することを特徴とするものである。
【００２５】
本発明の画像撮像装置および信号処理方法において、横軸を画素位置、縦軸を重み付け係数としたグラフの頂点同士を結ぶ形状は、ガウス形状、バートレット形状、ブラックマン形状、コナーズ形状、コサイン形状、ハミング形状、ハニング形状のいずれか、もしくはこれらに近似した形状とすることが好ましい。
【００２６】
ここで、横軸を画素位置とするとは、合成する画素について、１次元状の範囲で合成する場合には、画素位置をそのまま横軸とし、２次元状の範囲で合成する場合には、合成範囲の一方の端から他方の端に向けて合成範囲の中心を通る直線上での位置を横軸とすることを意味する。
【００２７】
また、画素信号を所定素ずつ合成する際は、Ａ／Ｄ変換される前の画素信号を合成してもよいし、Ａ／Ｄ変換された後の画素信号を合成してもよい。
【発明の効果】
【００２８】
本発明の画像撮像装置および信号処理方法によれば、複数の光電変換素子を備え、入力光が担持する画像情報を光電変換素子毎に画素信号に変換して出力する撮像素子と、光電変換素子毎に撮像素子から出力された画素信号を所定数ずつ合成する画素信号合成手段と、合成後の画素信号からデジタル画像データを生成する画像信号処理手段とを備えた画像撮像装置において、合成する画素信号について、周辺部より中央部の方が高くなるように重み付け係数を掛けて合成するようにしたので、空間サンプリングの際の空間周波数特性は、利得がゼロとなる点を含まず、高周波となるに従って利得が徐々に低下するような特性となる。そのため、空間サンプリングの際に利得がゼロとなる点が生じなくなり、周波数情報の欠落が無くなるとともに、高周波成分は利得が低くなっているため、折り返し歪が重畳したとしてもその影響は小さくなる。さらに、複数の光電変換素子から出力された画素信号を合成しているため、Ｓ／Ｎを向上させることができる。以上のことから、高品質のデジタル画像データを取得することが可能となる。
【００２９】
ここで、横軸を画素位置、縦軸を重み付け係数としたグラフの頂点同士を結ぶ形状を、ガウス形状、バートレット形状、ブラックマン形状、コナーズ形状、コサイン形状、ハミング形状、ハニング形状のいずれか、もしくはこれらに近似した形状とすれば、本発明の効果をより効果的に得ることができる。
【図面の簡単な説明】
【００３０】
【図１】本発明の一実施の形態にかかるデジタルカメラの背面図
【図２】上記デジタルカメラの前面図
【図３】上記デジタルカメラの機能ブロック図
【図４】上記実施の形態における空間サンプリング処理を説明するための図
【図５】上記実施の形態における画素信号合成処理を説明するための図
【図６】その他のデジタルカメラにおけるＡＤ変換特性を説明するための図
【図７】空間サンプリング周期に起因する空間サンプリング限界を説明するための図
【図８】空間サンプリング窓の形状に起因する周波数情報の欠落を説明するための図
【図９】折り返し歪を説明するための図
【図１０】光学ローパスフィルタによる高周波成分の抑制を説明するための図
【発明を実施するための形態】
【００３１】
本発明の画像撮像装置における実施の形態について、以下、詳細に説明する。実施の形態では、本発明における画像撮像装置としてデジタルカメラを例に説明する。図１は本発明の第１の実施の形態にかかるデジタルカメラの背面図、図２は上記デジタルカメラの前面図、図３は上記デジタルカメラの機能ブロック図である。
【００３２】
デジタルカメラ１の本体１０の背面には、図１に示すように、撮像者による操作のためのインターフェースとして、動作モードスイッチ１１、メニュー／ＯＫボタン１２、ズーム／上下レバー１３、左右ボタン１４、Ｂａｃｋ（戻る）ボタン１５、表示切替ボタン１６が設けられ、更に撮影のためのファインダ１７、撮影並びに再生のためのモニタ１８及びレリーズボタン１９が設けられている。
【００３３】
動作モードスイッチ１１は、静止画撮影モード、動画撮影モード、再生モード、の各動作モードを切り替えるためのスライドスイッチである。メニュー／ＯＫボタン１２は、各種メニューをモニタ１８に表示させたり、モニタ１８に表示されたメニューに基づく選択・設定を決定したりするためのボタンである。
【００３４】
ズーム／上下レバー１３は、上下方向に倒すことによって、撮影時には望遠／広角の調整が行われ、各種設定時にはモニタ１８に表示されるメニュー画面中のカーソルが上下に移動して表示される。左右ボタン１４は、各種設定時にモニタ１８に表示されるメニュー画面中のカーソルを左右に移動して表示させるためのボタンである。
【００３５】
Ｂａｃｋ（戻る）ボタン１５は、押下されることによって各種設定操作を中止し、モニタ１８に１つ前の画面を表示するためのボタンである。表示切替ボタン１６は、押下することによってモニタ１８の表示のＯＮ／ＯＦＦ、各種ガイド表示、文字表示のＯＮ／ＯＦＦ等を切り替えるためのボタンである。ファインダ１７は、ユーザが被写体を撮像する際に構図やピントを合わせるために覗くためのものである。ファインダ１７から見える被写体像は、本体１０の前面にあるファインダ窓２３を介して映し出される。
【００３６】
レリーズボタン１９は、半押し及び全押しの二段階操作が可能な操作ボタンであり、レリーズボタン１９を押下すると、操作系制御部７４を介して半押し信号又は全押し信号をＣＰＵ７５へ出力する。
【００３７】
以上説明した各ボタンやレバー等の操作によって設定された内容は、モニタ１８中の表示や、ファインダ１７内のランプ、スライドレバーの位置等によって確認可能となっている。また、モニタ１８には、撮影の際に被写体確認用のスルー画像が表示される。これにより、モニタ１８は電子ビューファインダとして機能する他、撮影後の静止画や動画の再生表示、各種設定メニューの表示を行う。ユーザによってレリーズボタン１９が全押し操作されると、撮像が行われ、モニタ１８に表示された画像が撮影画像として記録される。
【００３８】
更に、本体１０の前面には、図２に示すように、撮影レンズ２０、レンズカバー２１、電源スイッチ２２、ファインダ窓２３、フラッシュライト２４及びセルフタイマーランプ２５が設けられ、側面にはメディアスロット２６が設けられている。
【００３９】
撮影レンズ２０は、被写体像を所定の結像面上（本体１０内部にあるＣＣＤ等）に結像させるためのものであり、フォーカスレンズやズームレンズ等によって構成される。レンズカバー２１は、デジタルカメラ１の電源がオフ状態のとき、再生モードであるとき等に撮影レンズ２０の表面を覆い、汚れやゴミ等から撮影レンズ２０を保護するものである。
【００４０】
電源スイッチ２２は、デジタルカメラ１の電源のオン／オフを切り替えるためのスイッチである。フラッシュライト２４は、レリーズボタン１９が押下され、本体１０の内部にあるシャッタが開いている間に、撮像に必要な光を被写体に対して瞬間的に照射するためのものである。セルフタイマーランプ２５は、セルフタイマーによって撮像する際に、シャッタの開閉タイミングすなわち露光の開始及び終了を被写体に知らせるためのものである。メディアスロット２６は、メモリカード等の外部記録メディア７０が充填されるための充填口であり、外部記録メディア７０が充填されると、データの読み取り／書き込みが行われる。
【００４１】
図３に示すように、デジタルカメラ１の操作系として、前述の動作モードスイッチ１１、メニュー／ＯＫボタン１２、ズーム／上下レバー１３、左右ボタン１４、Ｂａｃｋ（戻り）ボタン１５、表示切替ボタン１６、レリーズボタン１９、電源スイッチ２２と、これらのスイッチ、ボタン、レバー類の操作内容をＣＰＵ７５に伝えるためのインターフェースである操作系制御部７４が設けられている。
【００４２】
また、撮影レンズ２０を構成するものとして、フォーカスレンズ２０ａ及びズームレンズ２０ｂが設けられている。これらの各レンズは、モータとモータドライバからなるフォーカスレンズ駆動部５１、ズームレンズ駆動部５２によってステップ駆動され、光軸方向に移動可能な構成となっている。フォーカスレンズ駆動部５１は、ＣＰＵ７５による制御に基づいてフォーカスレンズ２０ａをステップ駆動する。ズームレンズ駆動部５２は、ズーム／上下レバー１３の操作量データに基づいてズームレンズ２０ｂのステップ駆動を制御する。
【００４３】
絞り５４は、モータとモータドライバとからなる絞り駆動部５５によって駆動される。
【００４４】
シャッタ５６は、メカニカルシャッタであり、モータとモータドライバとからなるシャッタ駆動部５７によって駆動される。シャッタ駆動部５７は、レリーズボタン１９の押下信号等に応じてシャッタ５６の開閉の制御を行う。
【００４５】
上記光学系の後方には、撮像素子であるＣＣＤ５８を有している。ＣＣＤ５８は、多数の受光素子がマトリクス状に配置されてなる光電面を有しており、光学系を通過した被写体像が光電面に結像され、光電変換される。光電面の前方には、各画素に光を集光させるためのマイクロレンズアレイ（不図示）と、ＲＧＢ各色のフィルタが規則的に配列されてなるカラーフィルタアレイ（不図示）とが配置されている。ＣＣＤ５８は、ＣＣＤ制御部５９から供給される垂直転送クロック信号及び水平転送クロック信号に同期して、画素毎に蓄積された電荷を１ラインずつ読み出してアナログ画像信号として出力する。各画素における電荷の蓄積時間（即ち露出時間）は、ＣＣＤ制御部５９から与えられる電子シャッタ駆動信号によって決定される。
【００４６】
ＣＣＤ５８が出力する画像信号は、アナログ信号処理部６０に入力される。このアナログ信号処理部６０は、画像信号のノイズ除去を行う相関２重空間サンプリング回路（ＣＤＳ）と、画像信号のゲイン調整を行うオートゲインコントローラ（ＡＧＣ）とからなる。次に画像信号はＡ／Ｄ変換器（ＡＤＣ）６１によってデジタル画像データに変換される。そしてＡ／Ｄ変換されたデジタル画像データは、デジタル信号処理部６２によって、デジタルノイズ除去、非線形階調変換、デジタル周波数強調などの基本的なデジタル信号処理を施され画像入力コントローラ６３に入力される。ここでデジタル画像データは、光学系を通過した被写体像の空間分布に対応した順に配列され、被写体像の光強度に対応した強度値の情報を持つ。
【００４７】
タイミングジェネレータ７２は、タイミング信号を発生させるものであり、このタイミング信号がシャッタ駆動部５７、ＣＣＤ制御部５９、画素信号処理部６０に入力されて、レリーズボタン１９の操作と、シャッタ５６の開閉、ＣＣＤ５８の電荷取り込み、画素信号処理６０の処理の同期が取られる。フラッシュ制御部７３は、フラッシュライト２４の発光動作を制御する。
【００４８】
画像入力コントローラ６３は、上記デジタル信号処理部６２から入力されたデジタル画像データをフレームメモリ６８に書き込む。このフレームメモリ６８は、画像データに対して後述の各種デジタル画像処理（信号処理）を行う際に使用する作業用メモリであり、例えば、一定周期のバスクロック信号に同期してデータ転送を行うＳＤＲＡＭ（Syncｈronous Dynamic Random Access Memory）から構成されている。また画像入力コントローラ６３は、画像データを撮影する際のフラッシュ発光する／しない指示等に応じて、本撮影する前に行われるプレ画像を作業用メモリに記録することも可能である。
【００４９】
プレ画像は、撮影条件を決定するための撮像（例えば、調光処理）によって得られる。
【００５０】
表示制御部７１は、フレームメモリ６８に格納された画像データをスルー画像としてモニタ１８に表示させるためのものであり、例えば、輝度（Ｙ）信号と色（Ｃ）信号を一緒にして１つの信号としたコンポジット信号に変換して、モニタ１８に出力する。スルー画像は、撮像モードが選択されている間、所定時間間隔で取得されてモニタ１８に表示される。また、表示制御部７１は、外部記録メディア７０に記憶され、メディア制御部６９によって読み出された画像ファイルに含まれる画像データに基づいた画像をモニタ１８に表示させる。
【００５１】
画像処理部６４は、本画像の画像データに対して色空間補正、ＹＣ処理、マルチ周波数ノイズ低減、被写体認識処理等の高度な画像処理を施す。
【００５２】
本画像の画素数の上限はＣＣＤ５８の画素数によって決定されるが、例えば、ユーザが設定可能な画質設定（ファイン、ノーマル等の設定）により、記録画素数を変更することができる。一方、プレ画像の画素数は本画像より少なくてもよく、例えば、本画像の１／１６程度の画素数で取り込まれてもよい。
【００５３】
圧縮／伸長処理部６７は、画像処理部６４によって画質補正等の処理が行われた画像データに対して、例えばＪＰＥＧ等の圧縮形式で圧縮処理を行って、画像ファイルを生成する。この画像ファイルには、各種データ形式に基づいて付帯情報が付加される。またこの圧縮／伸長処理部６７は、再生モードにおいては外部記録メディア７０から圧縮された画像ファイルを読み出し、伸長処理を行う。伸長後の画像データは表示制御部７１に出力され、表示制御部７１は画像データに基づいた画像をモニタ１８に表示する。
【００５４】
メディア制御部６９は、図２におけるメディアスロット２６に相当し、外部記録メディア７０に記憶された画像ファイル等の読み出し、又は画像ファイルの書き込みを行う。ＣＰＵ７５は、各種ボタン、レバー、スイッチの操作や各機能ブロックからの信号に応じて、デジタルカメラ１の本体各部を制御する。またＣＰＵ７５は図示しない内部メモリに画像ファイルを記録する記録手段としても機能する。
【００５５】
またデータバス７６は、画像入力コントローラ６３、画像処理部６４、圧縮／伸長処理部６５、フレームメモリ６８、各種制御部６９、７１、及びＣＰＵ７５に接続されており、このデータバス７６を介して各種信号、データの送受信が行われる。
【００５６】
本発明の画像データにおける画素数の上限はＣＣＤ５８の画素数によって決定されるが、例えば、ユーザが設定可能な画質設定（ファイン、ノーマル等の設定）により、記録画素数を変更することができる。一方、スルー画像やプレ画像の画素数は本画像より少なくてもよく、例えば、本画像の１／１６程度の画素数で取り込まれてもよい。
【００５７】
メディア制御部（記録手段）６９は、図２におけるメディアスロット２６に相当し、外部記録メディア７０に記憶された画像ファイル等の読み出し、又は画像ファイルの書き込みを行う。ＣＰＵ７５は、各種ボタン、レバー、スイッチの操作や各機能ブロックからの信号に応じて、デジタルカメラ１の本体各部を制御する。またＣＰＵ７５は図示しない内部メモリに画像ファイルを記録する記録手段としても機能する。
【００５８】
次に上記のように構成されたデジタルカメラ１における、デジタル画像データの取得の際の処理について説明する。図４は上記実施の形態における空間サンプリング処理を説明するための図、図５は上記実施の形態における画素信号合成処理を説明するための図である。
【００５９】
撮影が行なわれると、ＣＣＤ５８は、撮影レンズ２０を通過して光電面に結像された被写体像を光電変換して電荷として蓄積し、ＣＣＤ制御部５９から供給される垂直転送クロック信号及び水平転送クロック信号に同期して、画素毎に蓄積された電荷を１ラインずつ読み出して画素信号として出力する。
【００６０】
このとき、本実施の形態においては、図４（３）に示すように、開口幅内の空間サンプリング窓形状がガウス形状となるように、アナログ信号処理部６０に備えられた画素信号合成手段が複数の画素から出力された画素信号を合成する。
【００６１】
開口幅内の空間サンプリング窓形状をガウス形状とするための具体的処理については、図５に示すように、所定の開口幅（１／ｗｇ）に相当する画素数ｎを求める。（なお、図５では分かりやすく説明するために一次元の範囲で合成する例を示しているが、本実施の形態では後述の通り二次元の範囲で合成する。）そして、互いに隣接する画素同士で、この幅を一辺の長さとする正方形の領域（ｎ×ｎ）の画素ずつ画素信号を合成するが、このとき、空間サンプリング窓形状がガウス形状となるように各画素信号に重み付けをして合成する。上記処理を１画素ずつずらしながら行うことにより、画像データの画素数はＣＣＤ５８の画素数と同等となる。
【００６２】
上記のようにして取得された画像信号（合成された画素信号の集合）は、Ａ／Ｄ変換器６１によってデジタル画像データに変換される。
【００６３】
これにより、デジタル画像データの空間周波数特性は、利得がゼロとなる点を含まず、高周波となるに従って利得が徐々に低下するような特性となる。そのため、空間周波数特性の利得がゼロとなる点が生じなくなり、周波数情報の欠落が無くなるとともに、高周波成分は利得が低くなっているため、折り返し歪が重畳したとしてもその影響は小さくなる。さらに、複数画素から出力された画素信号を合成しているため、Ｓ／Ｎを向上させることができる。以上のことから、高品質のデジタル画像データを取得することが可能となる。
【００６４】
なお、別の方法として、ＣＣＤ５８から画素毎に出力された画素信号をＡ／Ｄ変換器６１によって画素毎にＡ／Ｄ変換し、デジタル信号処理部６２において上記と同様に各画素位置毎に正方形の領域（ｎ×ｎ）の画素について空間サンプリング窓形状がガウス形状となるように各画素信号に重み付けをして合成するようにしてもよい。このような態様としても、図４（３）に示すように、空間サンプリング窓形状を仮想的にガウス形状としたのと同等の画素信号を取得することができる。
【００６５】
また、図６に示すように、空間サンプリング窓形状については、完全なガウス形状でなくても、それに近い形状であれば、矩形の透過率分布形状のものと比べて格段に高品質のデジタル画像データを取得することが可能となる。
【００６６】
また、ガウス形状以外にも、バートレット形状、ブラックマン形状、コナーズ形状、コサイン形状、ハミング形状、ハニング形状等としてもよい。なお、これらの形状に完全に一致する形状でなくても、それに近い形状であれば、矩形の透過率分布形状のものと比べて格段に高品質のデジタル画像データを取得することが可能となる。
【００６７】
以上、本発明の画像撮像装置について詳細に説明したが、本発明は上記実施の形態に限定されるものではない。
【００６８】
例えば、本発明における画像撮像装置としてデジタルカメラを例に説明したが、本発明の適用範囲はこれに限定されず、例えば、デジタルビデオカメラ、電子撮像機能を備えた携帯電話やゲーム端末等、他の電子機器に対しても適用可能である。
【００６９】
また、これ以外にも、本発明の要旨を逸脱しない範囲において、各種の改良や変形を行なってもよいのは勿論である。
【符号の説明】
【００７０】
１ デジタルカメラ
１８ モニタ
１９ レリーズボタン
５８ ＣＣＤ５８
６０ アナログ信号処理部
６１ Ａ／Ｄ変換器
６２ デジタル信号処理部
６３ 画像入力コントローラ
６４ 画像処理部
【特許請求の範囲】
【請求項１】
複数の光電変換素子を備え、入力光が担持する画像情報を前記光電変換素子毎に画素信号に変換して出力する撮像素子と、
前記光電変換素子毎に前記撮像素子から出力された画素信号を所定数ずつ合成する画素信号合成手段と、
合成後の画素信号からデジタル画像データを生成する画像信号処理手段とを備えた画像撮像装置であって、
前記画素信号合成手段が、合成する画素信号の範囲における周辺部より中央部の画素信号の方が利得が高くなるように重み付けして、画素信号を合成するものであることを特徴とする画像撮像装置。
【請求項２】
前記画素信号合成手段が、Ａ／Ｄ変換される前の前記画素信号を所定数ずつ合成するものであることを特徴とする請求項１記載の画像撮像装置。
【請求項３】
前記画素信号合成手段が、Ａ／Ｄ変換された後の前記画素信号を所定数ずつ合成するものであることを特徴とする請求項１記載の画像撮像装置。
【請求項４】
横軸を画素位置、縦軸を前記重み付け係数としたグラフの頂点同士を結ぶ形状が、ガウス形状であることを特徴とする請求項１から３のいずれか１項記載の画像撮像装置。
【請求項５】
横軸を画素位置、縦軸を前記重み付け係数としたグラフの頂点同士を結ぶ形状が、バートレット形状であることを特徴とする請求項１から３のいずれか１項記載の画像撮像装置。
【請求項６】
横軸を画素位置、縦軸を前記重み付け係数としたグラフの頂点同士を結ぶ形状が、ブラックマン形状であることを特徴とする請求項１から３のいずれか１項記載の画像撮像装置。
【請求項７】
横軸を画素位置、縦軸を前記重み付け係数としたグラフの頂点同士を結ぶ形状が、コナーズ形状であることを特徴とする請求項１から３のいずれか１項記載の画像撮像装置。
【請求項８】
横軸を画素位置、縦軸を前記重み付け係数としたグラフの頂点同士を結ぶ形状が、コサイン形状であることを特徴とする請求項１から３のいずれか１項記載の画像撮像装置。
【請求項９】
横軸を画素位置、縦軸を前記重み付け係数としたグラフの頂点同士を結ぶ形状が、ハミング形状であることを特徴とする請求項１から３のいずれか１項記載の画像撮像装置。
【請求項１０】
横軸を画素位置、縦軸を前記重み付け係数としたグラフの頂点同士を結ぶ形状が、ハニング形状であることを特徴とする請求項１から３のいずれか１項記載の画像撮像装置。
【請求項１１】
複数の光電変換素子を備え、入力光が担持する画像情報を前記光電変換素子毎に画素信号に変換して出力する撮像素子と、前記光電変換素子毎に前記撮像素子から出力された画素信号を所定数ずつ合成する画素信号合成手段と、合成後の画素信号からデジタル画像データを生成する画像信号処理手段とを備えた画像撮像装置における信号処理方法であって、
合成する画素信号の範囲における周辺部より中央部の画素信号の方が利得が高くなるように重み付けして、画素信号を合成することを特徴とする信号処理方法。
【請求項１】
複数の光電変換素子を備え、入力光が担持する画像情報を前記光電変換素子毎に画素信号に変換して出力する撮像素子と、
前記光電変換素子毎に前記撮像素子から出力された画素信号を所定数ずつ合成する画素信号合成手段と、
合成後の画素信号からデジタル画像データを生成する画像信号処理手段とを備えた画像撮像装置であって、
前記画素信号合成手段が、合成する画素信号の範囲における周辺部より中央部の画素信号の方が利得が高くなるように重み付けして、画素信号を合成するものであることを特徴とする画像撮像装置。
【請求項２】
前記画素信号合成手段が、Ａ／Ｄ変換される前の前記画素信号を所定数ずつ合成するものであることを特徴とする請求項１記載の画像撮像装置。
【請求項３】
前記画素信号合成手段が、Ａ／Ｄ変換された後の前記画素信号を所定数ずつ合成するものであることを特徴とする請求項１記載の画像撮像装置。
【請求項４】
横軸を画素位置、縦軸を前記重み付け係数としたグラフの頂点同士を結ぶ形状が、ガウス形状であることを特徴とする請求項１から３のいずれか１項記載の画像撮像装置。
【請求項５】
横軸を画素位置、縦軸を前記重み付け係数としたグラフの頂点同士を結ぶ形状が、バートレット形状であることを特徴とする請求項１から３のいずれか１項記載の画像撮像装置。
【請求項６】
横軸を画素位置、縦軸を前記重み付け係数としたグラフの頂点同士を結ぶ形状が、ブラックマン形状であることを特徴とする請求項１から３のいずれか１項記載の画像撮像装置。
【請求項７】
横軸を画素位置、縦軸を前記重み付け係数としたグラフの頂点同士を結ぶ形状が、コナーズ形状であることを特徴とする請求項１から３のいずれか１項記載の画像撮像装置。
【請求項８】
横軸を画素位置、縦軸を前記重み付け係数としたグラフの頂点同士を結ぶ形状が、コサイン形状であることを特徴とする請求項１から３のいずれか１項記載の画像撮像装置。
【請求項９】
横軸を画素位置、縦軸を前記重み付け係数としたグラフの頂点同士を結ぶ形状が、ハミング形状であることを特徴とする請求項１から３のいずれか１項記載の画像撮像装置。
【請求項１０】
横軸を画素位置、縦軸を前記重み付け係数としたグラフの頂点同士を結ぶ形状が、ハニング形状であることを特徴とする請求項１から３のいずれか１項記載の画像撮像装置。
【請求項１１】
複数の光電変換素子を備え、入力光が担持する画像情報を前記光電変換素子毎に画素信号に変換して出力する撮像素子と、前記光電変換素子毎に前記撮像素子から出力された画素信号を所定数ずつ合成する画素信号合成手段と、合成後の画素信号からデジタル画像データを生成する画像信号処理手段とを備えた画像撮像装置における信号処理方法であって、
合成する画素信号の範囲における周辺部より中央部の画素信号の方が利得が高くなるように重み付けして、画素信号を合成することを特徴とする信号処理方法。
【図１】
【図２】
【図３】
【図４】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図５】
【図２】
【図３】
【図４】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図５】
【公開番号】特開２０１２−６５３０２（Ｐ２０１２−６５３０２Ａ）
【公開日】平成２４年３月２９日（２０１２．３．２９）
【国際特許分類】
【出願番号】特願２０１１−５９１８３（Ｐ２０１１−５９１８３）
【出願日】平成２３年３月１７日（２０１１．３．１７）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
【公開日】平成２４年３月２９日（２０１２．３．２９）
【国際特許分類】
【出願日】平成２３年３月１７日（２０１１．３．１７）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
[ Back to top ]