説明

ディジタルカメラ

【課題】カットオフ周波数を変化させる光学ローパスフィルタを用いたとしても、画像出力の画素数ごとにモアレを精度よく防止することはできなかった。
【解決手段】カットオフ周波数を可変設定することができる光学ローパスフィルタ4と、光学ローパスフィルタ4から射出された被写体光を画像信号に変換する撮像素子6と、撮像素子6から出力された画像信号をディジタル信号に変換するA/D変換部11と、A/D変換部11の後段側に接続されており、複数のフィルタ特性を有するディジタルフィルタ124とを備える。撮像素子6から読み出し出力される出力画素数に応じて、光学ローパスフィルタ4のカットオフ周波数を変更するとともにディジタルフィルタ124のフィルタ特性も変更する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、可変光学ローパスフィルタを用いたディジタルカメラに関するものである。
【背景技術】
【0002】
従来から、撮像素子の入射光側に光学ローパスフィルタを挿入することにより、撮像素子から出力される画像のモアレを解消することが行われている。一般に、光学ローパスフィルタの光学的特性は、撮像素子の画素ピッチあるいは出力画素数などに基づいて適宜選択される。例えば、光学ローパスフィルタとして複屈折板を用いる場合には、常光線と異常光線の分離幅を最小画素ピッチ幅にすることにより、ナイキスト空間周波数に近いカットオフ周波数を実現し、折り返しノイズによるモアレの発生を防止している。
【0003】
ところで、ディジタルカメラでは、使用する画素のピッチを電子的またはソフト的に数段階で選択できるものがある。例えば、撮像素子の有効画素数が2048×1536であった場合に、垂直、水平、1/2画素を間引くことによって画素数を1024×768(XGAサイズ)や、垂直、水平、1/3画素を間引くことにより画素数を640×480(VGAサイズ)にすることができる。さらに、ビューファインダのようにライブビュー用には高画素化に伴いこの間引き率が大きくなる傾向にある。このように撮像素子の画素を間引くとそれに応じて画素配列の空間周波数も変化することになり、光学ローパスフィルタでカットオフすべき空間周波数成分も大きく変化する。
そこで、撮像素子の画素間引き読み出しに応じて光学ローパスフィルタのカットオフ周波数、即ち複屈折の常光線と異常光線の分離幅を所望の値に変えることができる技術が知られている。
【0004】
例えば、光学ローパスフィルタのカットオフ周波数を変化させるに際して、複数の常光線と異常光線の分離幅が異なる光学ローパスフィルタを予め用意しておき光学ローパスフィルタ自体を切り替えて使用する技術(特許文献1)、あるいは、光学ローパスフィルタを光弾性部材で構成し、この光弾性部材に付加する応力を変更することにより常光線と異常光線の分離幅を変更し、カットオフ周波数を変更する技術(特許文献2)が知られている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開平7−123424号公報
【特許文献2】特開2003−167219号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、複数ある光学フィルタを機械的に交換するという技術は応答性が遅く、ディジタルカメラの種々の対応には応答しきれない。他方、光弾性部材に与える応力により分離幅を変化させるとしても精度よくカットオフ周波数を設定することは困難であり、単に光弾性部材の応力を制御するだけでは、各種の出力画素数に応じて折り返しノイズによるモアレの発生を精度よく防止することができないいう問題があった。
【課題を解決するための手段】
【0007】
本発明に係るディジタルカメラは、出射光の分離幅を可変設定することができる光学ローパスフィルタと、前記光学ローパスフィルタから射出された被写体光を画像信号に変換する撮像素子と、前記撮像素子から出力された画像信号をディジタル信号に変換するA/D変換手段と、前記A/D変換手段の後段側に接続されており複数のフィルタ特性を有するディジタルローパスフィルタと、前記撮像素子から出力される画像の出力画素数に応じて前記光学ローパスフィルタの分離幅および前記ディジタルローパスフィルタの特性を設定するフィルタ制御手段とを備えている。
【発明の効果】
【0008】
本発明によれば、撮像素子からの出力画素数に合わせて、光学ローパスフィルタのカットオフ周波数を変更し、このカットオフ周波数の不足分をディジタルローパスフィルタの特性で補償するようにしたため、出力画像の折り返しノイズによるモアレの発生を精度よく防止することができる。
【図面の簡単な説明】
【0009】
【図1】本発明を適用したディジタルカメラの全体構成を示すブロック図である。
【図2】図1に示したASIC12の内部構成の具体例を示したブロック図である。
【図3】図1に示したCCD6の全画素出力時の前面に設けたベイヤー配列カラーフィルタと、光学ローパスフィルタの常光線と異常光線の分離幅との関連を示す説明図である。
【図4】(a)図1に示したCCD6の垂直、水平、1/2画素を間引いた場合の前面に設けたベイヤー配列有効カラーフィルタと、光学フィルタの分離幅との関連を示す説明図である。(b)図4(a)の1/2画素を間引いた場合のディジタルローパスフィルタの例を示す図である。
【図5】(a)図1に示したCCD6の垂直、水平、1/3画素を間引いた場合の前面に設けたベイヤー配列有効カラーフィルタと、光学フィルタの分離幅との関連を示す説明図である。(b)図5(a)の1/3画素を間引いた場合のディジタルローパスフィルタの例を示す図である。
【発明を実施するための形態】
【0010】
以下、図面を参照して、本発明の実施の形態を詳細に説明する。
図1は、本発明ディジタルカメラの全体構成を示すブロック図である。図1に示したディジタルカメラにおいて、撮像レンズ2により結像される被写体像は、光学ローパスフィルタ(以下、OLPFという)4を介して撮像素子(以下、CCDという)6上に結像される。前記撮像レンズ2は、フォーカスドライバ54によりフォーカス制御される。前記OLPF4はOLPFコントローラ70により付加される応力Fnの大きさが制御され、常光線と異常光線の分離幅が変更される。結果として、OLPF4のカットオフされる空間周波数が制御される。
前記CCD6はCCDドライバ52により読み出される画素が適宜選択される。これらのドライバ52および54、コントローラ70はメインCPU20によりコントロールされる。
前記CCD6から読み出し出力されたアナログ画像信号は、プリプロセス回路7と、A/DコンバータおよびディジタルフロントエンドからなるA/D変換部11によりディジタル画像信号に変換される。このディジタル画像信号は、カスタムICである画像処理回路(以下、ASICという)12に入力され、所定の画像処理を受ける。
【0011】
図2は、図1に示したASIC12の内部構成の具体例を示したブロック図である。図2において、A/D変換部11から出力されたディジタル画像信号は、ホワイトバランス回路121、色補間回路122、ガンマ補正回路123、ディジタルローパスフィルタ124、エッジイフェクトフィルタ125を経て、出力処理回路126に入力される。
【0012】
このASIC12は、図1に示すようにメインCPU20およびメモリ50A、50B、50Cに接続されており、出力画像(記録画像のほか、カメラの外部に出力するテレビ信号・ディスプレイ用信号・印刷用信号など各種の画像を含む)の画像再生を行うために各種の処理を行う。さらにASIC12には、所謂ライブビュー(スルー画)表示・再生画表示・メニュー表示等に用いる液晶カラーモニタ22、プリンタ・コンピュータなどの外部機器に対して画像信号を送出するための外部インタフェース回路26が接続されており、操作部材80からの指示あるいは外部機器からの指示に基づいて、所定の信号フォーマットによる画像信号を送信する。
前記液晶カラーモニタ22は、本ディジタルカメラの背面に設けられている小型の液晶表示器であり、CCD6で撮像される画素数に対して表示画素数が少ない。ここでは、液晶カラーモニタ22の画素数をCCD6の画素数の1/3と仮定すると、CCD6で撮像された被写体像を液晶CDカラーモニタ22に再生表示する場合は、CCD6による画像読み出しデータが液晶カラーモニタ22の表示解像度に合わせて1/3の割合で間引きされ、表示用の画像データに処理される。
したがって、これら種々の画像出力フォーマットに応じて、画像出力の折り返しノイズによるモアレの発生を防止する必要性が生じてくる。
【0013】
前記操作部材80は、不図示のレリーズボタンに連動する半押しスイッチ(撮像準備スイッチ)および全押しスイッチ(撮像記録開始スイッチ)と、カメラモードと再生モードとを切換えるモード切換えスイッチと、フォーカスエリア選択スイッチおよびメニュースイッチ(いずれも図示せず)等からなり、前記メインCPU20に指示を与える。
【0014】
前記OLPF4として、本実施の形態では、ゼラチンやエポキシ樹脂など光弾性係数の大きな光弾性物質を用いる。すなわち、可変複屈折板として機能するOLPF4を構成するために、光学的に等方な光弾性物質で形成されており、且つ光軸に対して入射面の法線が所定角度を成すように配設された光弾性部材を用いる。このOLPF4に対して、応力付加アクチュエータ(図示せず)を内蔵するOLPFコントローラ70から所定の可変応力Fn(n=正の整数)を上記法線と直交する方向に与えることにより、複屈折板の常光線と異常光線の分離幅(後に、図3を参照して詳述する)を変化させる。このOLPF4については、本出願人による公開特許公報(特開2003−167219号公報)により既に公知であるので、詳細な説明は省略する。
【0015】
図3は、図1に示したディジタルカメラを構成するOLPF4の動作原理を示す説明図であり、OPLF4の動作原理をカラー画像に適用したときの具体例を示している。すなわち図3は、図1に示したCCD6の撮像面に設けたベイヤー配列カラーフィルタ61と、OLPF4の分離幅との関連を示す説明図である。まず、OLPF4から射出される常光線L1と異常光線L2との分離幅d1が、CCD6の画素ピッチλと等しくなる標準的なケース1について説明する。ケース1において、カメラの出力画素数をAとする。この出力画素数Aとは、CCD6の最大画素数(例えば、4096×3072画素=12メガピクセル)に相当する。
【0016】
ケース1では、常光線L1と異常光線L2の分離幅d1(説明を簡単にするために左右方向で説明するが、実際には左右および上下方向の両方向である)を実現するために、応力F1をOLPF4に与える。この分離幅d1により、2×2の画素単位が最小単位(CCD6で出力されるカラー最高画素数)となり、ナイキスト空間周波数をカットオフ周波数とする理想的な光学ローパスフィルタが形成されるので、折り返しノイズによるモアレの発生が防止できる。
【0017】
したがって、ASIC12内で処理されるディジタルローパスフィルタ124におけるローパス処理は不要となる。ただし、バラつき等により、ローパス処理を必要としても弱いローパス処理が必要となるだけである。すなわち、応力F1の際に、CCD6の画素ピッチλより分離幅d1がわずかに狭く折り返しノイズによるモアレが発生する場合は、ディジタルローパスフィルタ124において弱いローパスフィルタ効果を与えることで、出力画像のモアレの発生を精度よく防止することができる。
【0018】
次に、図4(a)は出力画素数を垂直、水平、1/2画素を間引くことによって、出力画素数B(例えば、2048×1536画素=3メガピクセル)に下げたケース2を示す。このケース2においては、常光線L1と異常光線L2の分離幅d2を実現するために、応力F2をOLPF4に与える。OLPF4の理想的な分離幅d2即ち、常光線L1と異常光線L2との間隔は、画素ピッチ(λ)の3倍(3λ)であり、これにより4×4の画素が最小単位となり、ナイキスト空間周波数をカットオフ周波数とする理想的なローパスフィルタが形成されるのであるが、実際には、このような理想的なローパスフィルタは実現することができず、OLPF4の異常光線L2はL3となり、分離幅はd2より狭くd3となる。そこで、分離幅の不足分α(α=d2−d3)により発生する折り返しノイズによるモアレを軽減するために、ディジタルローパスフィルタ124においてローパスフィルタ効果を与え、出力画像のモアレの発生を精度よく防止することができる。
【0019】
図4(b)は前記ディジタルローパスフィルタの一例で、3×3の重み付け移動平均フィルタの例を示す。これにより出力画像の弱いローパス効果が得られる。
【0020】
このようにケース2では、理想的な分離幅d2よりαだけ少ない分離幅d3をOLPF4によって実現しているが、その結果として折り返し成分に起因したモアレが発生してしまうので、前記ディジタルローパスフィルタ124においてローパスフィルタ処理を行う。
【0021】
図5(a)は、さらに出力画素数を垂直、水平、1/3画素を間引くことによって、出力画素数C(例えば、1365×1024画素=1.4メガピクセル)に下げたケース3を示す(A>B>Cとなる)。このケース3においては、常光線L1と異常光線L2の分離幅d4を実現するために、応力F3をOLPF4に与える。OLPF4の理想的な分離幅d4(5λ)は、破線で示す異常光線L2が得られたときに6×6の画素が最小単位となり、ナイキスト空間周波数をカットオフ周波数とする理想的なローパスフィルタが形成されるのであるが、実際には、OLPF4の異常光線L2はL4となり、分離幅はd4より狭くd5となる。すなわち、破線で示す理想的な異常光線L2に比べて、かなり内側に実際の異常光線L4が生じている。理想的な異常光線L2と、実際の異常光線L4との距離差はβ(β=d4−d5)である。
【0022】
このようにケース3では、理想的な分離幅d4よりβだけ少ない分離幅d4をOLPF4によって実現しているが、その結果として折り返しノイズによるモアレが大きく発生してしまうので、前記ディジタルローパスフィルタ124において強いローパスフィルタ処理を行う。
【0023】
図5(b)はディジタルローパスフィルタの一例で、5×5のガウシアンタイプの移動平均フィルタの例を示す。これにより強いローパス効果が得られる。
【0024】
以上述べた通り、ケース1ないしケース3の出力画素数に対応するために、本実施の形態では、出力画素数A、B、Cに対応した所定の応力設定F1、F2、F3およびディジタルローパスフィルタ処理を行う。実際には、出力画素数が決められた段階で、OPLF4に応力を付加するアクチュエータ(図示せず)を作動させるとともに、複数あるローパスフィルタ係数配列のいずれか一つを選択すればよい。
【0025】
再び図1に戻り、ディジタルカメラの動作について説明する。
先ず、操作部材80のモード切換えスイッチがカメラモード(ディジタルカメラで撮像画像を記録する動作モード)に設定されると、液晶カラーモニタ22でのライブビューモードに設定され、メインCPU20は垂直、水平1/3間引き読み出しをCCDドライバ52に、OLPF4にはF3の応力が付加されるようにOLPFコントローラ70にそれぞれ指示すると同時に図2のLPF124に図5(b)に示したディジタルフィルタ処理を設定する。CCD6は、このOLPF4を介してローパス処理された撮像画像を垂直、水平1/3間引き読み出しを行い、この読みだされた画像信号はプリプロセス回路7に入力される。
【0026】
プリプロセス回路7はアナログ画像信号に対して信号増幅,雑音除去,黒レベル調整などのアナログ信号処理を行う。このアナログ処理後のアナログ画像信号は、A/D変換部でディジタル変換された後、ASIC12に導かれ、ホワイトバランス調整、色補間処理、ガンマ補正、ディジタルローパス処理(特に、この画像間引き率ではOLPF4の常光線と異常光線の分離幅の不足によるモアレが発生するため、図5(b)に示した強いディジタルローパスフィルタでローパス効果を強める)、およびエッジイフェクト処理などの画像前処理が行われ、液晶カラーモニタ22へと出力される。
【0027】
そこで、OLPF4のカットオフする空間周波数は、CCD6の読み出し間引き率に応じて制御されることとなるが、この制御不足による折り返しノイズによるモアレが前記ディジタルローパスフィルタにより軽減され、前記液晶カラーモニタ22の画素数に応じたモアレが防止される。
【0028】
撮影者は、このモニタ22で被写体を確認後、記録したい場面で、レリーズボタンを半押しすると、半押し操作信号がメインCPU20入力され記録準備状態となる。この時点で、メインCPU20はオートフォーカスを開始するため、OLPFコントローラ70にOLPF4に与える応力を零とするように指示するとともにCCDドライバ5に、CCD6に対して全画素読み出しのための動作タイミングを制御するよう指示する。メインCPU20はここで、オートフォーカス検出処理によって検出される撮影レンズ2のフォーカス状態に基づいて、フォーカスドライバ54に駆動信号を出力する。フォーカスドライバ54は撮影レンズ2内のフォーカスレンズ(図示せず)を駆動してピント調節を行う。また、メインCPU20は、不図示の測光装置によって検出される被写体輝度に基づいて所定の露出演算を行う。
【0029】
半押しスイッチの操作信号に続いて全押しスイッチからの操作信号がメインCPU20に入力されると、メインCPU20は、OLPFコントローラ70にOLPF4に与える応力をF1とするように指示するとともに、図2のLPF124による図5(b)のディジタルフィルタ処理を解除即ち、無効とする。このOLPF4を介してローパス処理された被写体像がCCD6上に結像される。CCD6に蓄積された信号電荷は、CCDドライバ52によって全画素が読み出され、プリプロセス回路7に入力される。プリプロセス回路7はアナログ画像信号に対して信号増幅,雑音除去,黒レベル調整などのアナログ信号処理を行う。
【0030】
このアナログ処理後のアナログ画像信号は、A/D変換部11によりディジタル信号に変換される。ディジタル変換された信号はASIC12に導かれ、ホワイトバランス調整、色補間処理、ガンマ補正、ディジタルローパス処理(一般的に不要であるが、バラつき等によりローパス効果が不足している場合必要となる)、エッジイフェクト処理などの画像前処理が行われ、画像前処理後の画像データは、バッファ用メモリであるメモリ50Aに格納される。
【0031】
メモリ50Aに格納された画像前処理後の画像データは、ASIC12により表示用の画像データに処理され、液晶カラーモニタ22に撮影結果として再生表示される。画像データ処理には、バッファ用メモリ50Aが作業用メモリとして用いられる。
【0032】
上述した画像前処理が行なわれた画像データに対してはさらに、ASIC12がJPEG圧縮のためのフォーマット処理(画像後処理)を行う。ASIC12は、画像後処理後の画像データをJPEG方式で所定の比率にデータ圧縮する。JPEG方式にデータ圧縮を受けた画像データは、メインCPU20により所定のファイル名が付与されてフラッシュメモリなどの着脱可能な不揮発性記録媒体であるカードメモリ50Bに記録される。
【0033】
フラッシュメモリ50Cには、メインCPU20が上述した処理を行うためのプログラムが格納されている。メインCPU20は、フラッシュメモリ50Cからプログラムを読み出し、バッファ用メモリ50Aを作業用メモリとしてプログラムを実行する。
【0034】
さらに、AF動作について補足説明する。メインCPU20は、CCD6で撮像されてメモリ50Aに格納されている画像データのうち、設定されているフォーカスエリアに対応するデータからコントラストを検出する。そして、検出したコントラストに基づいて撮影レンズ2による焦点位置の調節状態を検出する。一般に、CCD6上の画素位置と画素の出力値との関係は被写体像に応じた曲線を示し、曲線の変化が大きいほど被写体像のコントラストが高い。また、OLPF4のローパス効果はないほうがコントラストの検知には都合がよいのでOLPF4に付加する応力を解除したほうが望ましい。ここで、メインCPU20は、被写体像のコントラストが最高となるように、いわゆる山登り法により焦点位置の調節状態を検出し、フォーカスドライバ54を駆動して撮影レンズ2の焦点位置を調整して合焦させる。
【0035】
再生モード(記録された画像を再生する動作モード)は、次のように行われる。操作部材80のモード切換えスイッチが再生モード側に操作されると、メインCPU20は、再生モード用のプログラムを起動する。カードメモリ50Bに画像データが記録されている場合、記録されている画像データのうち一番最後に記録された画像データがメインCPU20に読み出される。読み出された画像データはバッファメモリ50Aに送られた後、圧縮されているデータはASIC12により伸長処理が施される。伸長処理後のデータはASIC12より表示用の画像データに処理され、液晶カラーモニタ22に再生画像として表示される。圧縮されていないデータは、そのままASIC12により表示用の画像データに処理され、液晶カラーモニタ22に再生画像として表示される。
−実施の形態による効果−
本実施の形態によれば、以下のような作用効果を奏することができる。
【0036】
(1)撮像素子の間引き読み出しにより、画像の出力画素数が少なくなるにしたがって、OLPF4の常光線と異常光線の分離幅を広げていくと同時に、ディジタルローパスフィルタ124のローパスフィルタ特性を強めていくので、OLPF4の分離幅に不足が生じても精度よくモアレの発生を防止することができる。
【0037】
(2)ディジタルローパスフィルタ124は、複数あるフィルタ係数配列(図4(b),図5(b))のいずれか一つに基づいてフィルタ処理を行う複数のローパスフィルタを含んでおり、メインCPU20により特定のフィルタ係数配列を選択することができるので、OLPF4の分離幅設定と共に、出力画像数に対応したモアレ処理を実行することができる。
【0038】
(3)外部機器に画像信号を出力する外部インタフェース回路26を備えており、メインCPU20は、その外部機器に出力する画像の出力画素数に応じて、OLPF4の分離幅、および、ディジタルフィルタ124のローパス処理特性を選択するので、種々の出力画素数に対応したモアレ処理を確実に実行することができる。
【0039】
−変形例−
(1)撮像素子としてCCDイメージセンサを用いたが、X−Yアドレス指定型の撮像素子(CMOSイメージセンサ)を用いることも可能である。
(2)分離幅可変型のOLPFとして、付加する応力を可変設定する場合について説明してきたが、OLPFに印加する電気信号により分離幅を変えるタイプなど、どのようなOLPFでも使用することができる。
(3)本実施の形態におけるOLPFは、その厚さが一定であるという前提に基づいて説明してきたが、出力画素数に応じて、厚さ自体を変更する構成を採ることも可能である。
(4)本発明は、コンパクトディジタルカメラ,一眼レフディジタルカメラのみならず、監視カメラ,携帯電話用カメラなどにも適用可能である。
【0040】
以上の説明はあくまで一例であり、本発明の特徴を損なわない限り、本発明は上述した実施の形態および変形例に限定されるものではない。
実施の形態と変形例の一つとを組み合わせること、もしくは、実施の形態と変形例の複数とを組み合わせることも可能である。
変形例同士をどのように組み合わせることも可能である。
さらに、本発明の技術的思想の範囲内で考えられる他の形態についても、本発明の範囲内に含まれる。
【符号の説明】
【0041】
2 撮像レンズ
4 光学ローパスフィルタ(OLPF)
6 撮像素子(CCD)
7 プリプロセス回路
11 A/D変換部
12 画像処理回路(ASIC)
20 メインCPU
22 液晶カラーモニタ
26 外部インタフェース回路
50A、50B、50C メモリ
52 CCDドライバ
54 フォーカスドライバ
70 OLPFコントローラ

【特許請求の範囲】
【請求項1】
カットオフ周波数を可変設定することができる光学ローパスフィルタと、
前記光学ローパスフィルタから射出された被写体光を画像信号に変換する撮像素子と、
前記撮像素子から出力された画像信号をディジタル信号に変換するA/D変換手段と、
前記A/D変換手段の後段側に接続されており、複数のフィルタ特性を有するディジタルローパスフィルタと、
前記撮像素子から出力される画像の出力画素数に応じて、前記光学ローパスフィルタのカットオフ周波数を制御するとともに前記ディジタルローパスフィルタのローパス特性を制御するフィルタ制御手段とを備えたことを特徴とするディジタルカメラ。
【請求項2】
請求項1に記載のディジタルカメラにおいて、
前記光学ローパスフィルタは、複屈折特性の常光線と異常光線の分離幅を変えることによりカットオフ周波数を変更することを特徴とするディジタルカメラ。
【請求項3】
請求項1または2に記載のディジタルカメラにおいて、
前記ディジタルフィルタは、複数あるフィルタ係数配列のいずれか一つに基づいてフィルタ処理を行うローパスフィルタを含んでおり、前記フィルタ制御手段は特定のフィルタ係数配列を選択することを特徴とするディジタルカメラ。
【請求項4】
請求項1ないし3いずれか一項に記載のディジタルカメラにおいて、
前記撮像素子から出力される画像の出力画素数の減少に応じて、前記光学ローパスフィルタの分離幅を増大させるとともに前記ディジタルローパスフィルタのローパス特性を強くすることを特徴とするディジタルカメラ。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate


【公開番号】特開2012−5044(P2012−5044A)
【公開日】平成24年1月5日(2012.1.5)
【国際特許分類】
【出願番号】特願2010−140635(P2010−140635)
【出願日】平成22年6月21日(2010.6.21)
【出願人】(000004112)株式会社ニコン (12,601)
【Fターム(参考)】