説明

撮像装置および電子機器

【課題】光学系を簡単化でき、コスト低減を図ることができることはもとより、様々な用途や撮影条件に対応して適切な画質の良好な復元画像を得ることが可能な撮像装置および電子機器を提供する。
【解決手段】、光波面変調素子213Aの変調面213a、および絞り214の形状が光軸に対して回転対称で連続した形状であり、光波面変調機能の発現と非発現、もしくは光波面変調特性の切り替えを行うことができるように絞り214に調整機能を持たせている。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像素子を用い、光学系を備えた撮像装置および電子機器に関するものである。
【背景技術】
【0002】
近年急峻に発展を遂げている情報のデジタル化に相俟って映像分野においてもその対応が著しい。
特に、デジタルカメラに象徴されるように撮像面は従来のフィルムに変わって固体撮像素子であるCCD(Charge Coupled Device),CMOS(Complementary Metal Oxide Semiconductor)センサが使用されているのが大半である。
【0003】
このように、撮像素子にCCDやCMOSセンサを使った撮像レンズ装置は、被写体の映像を光学系により光学的に取り込んで、撮像素子により電気信号として抽出するものであり、デジタルスチルカメラの他、ビデオカメラ、デジタルビデオユニット、パーソナルコンピュータ、携帯電話機、携帯情報端末(PDA:Personal DigitalAssistant)、画像検査装置、自動制御用産業カメラ等に用いられている。
【0004】
図25は、一般的な撮像レンズ装置の構成および光束状態を模式的に示す図である。
この撮像レンズ装置1は、光学系2とCCDやCMOSセンサ等の撮像素子3とを有する。
光学系は、物体側レンズ21,22、絞り23、および結像レンズ24を物体側(OBJS)から撮像素子3側に向かって順に配置されている。
【0005】
撮像レンズ装置1においては、図25に示すように、ベストフォーカス面を撮像素子面上に合致させている。
図26(A)〜(C)は、撮像レンズ装置1の撮像素子3の受光面でのスポット像を示している。
【0006】
また、位相板により光束を規則的に分散し、デジタル処理により復元させ被写界深度の深い画像撮影を可能にする等の撮像装置が提案されている(たとえば非特許文献1,2、特許文献1〜5参照)。
また、伝達関数を用いたフィルタ処理を行うデジタルカメラの自動露出制御システムが提案されている(たとえば特許文献6参照)。
【0007】
また、CCD、CMOSなどの画像入力機能を持った装置においては、たとえば風景など、所望の映像とともに、バーコード等の近接静止画像を読み取ることが、極めて有用であることが多い。
バーコードの読み取りは、たとえば第一の例としてレンズを繰り出すオートフォーカスでピントを合わせる技術や、第二の例として深度拡張技術としては、たとえばカメラにおいてF値を絞ることで被写界深度を広げて固定ピントとしているものがある。
さらに、ピントの合う被写界を増やす手法は、たとえば特許文献8に開示されている。
【0008】
【非特許文献1】“Wavefront Coding;jointly optimized optical and digital imaging systems”,Edward R.Dowski,Jr.,Robert H.Cormack,Scott D.Sarama.
【非特許文献2】“Wavefront Coding;A modern method of achieving high performance and/or low cost imaging systems”,Edward R.Dowski,Jr.,Gregory E.Johnson.
【特許文献1】USP6,021,005
【特許文献2】USP6,642,504
【特許文献3】USP6,525,302
【特許文献4】USP6,069,738
【特許文献5】特開2003−235794号公報
【特許文献6】特開2004−153497号公報
【特許文献7】特開2004−37733号公報
【特許文献8】特開2002−27047号公報
【発明の開示】
【発明が解決しようとする課題】
【0009】
上述した各文献にて提案された撮像装置においては、その全ては通常光学系に上述の位相板を挿入した場合のPSF(Point−Spread−Function)が一定になっていることが前提であり、PSFが変化した場合は、その後のカーネルを用いたコンボリューションにより、被写界深度の深い画像を実現することは極めて難しい。
したがって、単焦点でのレンズではともかく、ズーム系やAF系などのレンズでは、その光学設計の精度の高さやそれに伴うコストアップが原因となり採用するには大きな問題を抱えている。
換言すれば、従来の撮像装置においては、適正なコンボリューション演算を行うことができず、ワイド(Wide)時やテレ(Tele)時のスポット(SPOT)像のズレを引き起こす非点収差、コマ収差、ズーム色収差等の各収差を無くす光学設計が要求される。
しかしながら、これらの収差を無くす光学設計は光学設計の難易度を増し、設計工数の増大、コスト増大、レンズの大型化の問題を引き起こす。
【0010】
また、バーコードリーダ等のコードリーダと一般撮影(デジタルカメラ)とでは画像に要求される性質が異なる。特に、深度拡張光学系を用いた場合ではその差が大きくなる。 たとえば、コードリーダ等では規則的な配列を解像できるような高めのコントラストが必要になり、ある程度のコントラストが得られれば画像のボケの影響は少ない。逆に一般撮影では視覚的なボケの影響は大きくなる。
【0011】
本発明は、光学系を簡単化でき、コスト低減を図ることができることはもとより、様々な用途や撮影条件に対応して適切な画質の良好な復元画像を得ることが可能な撮像装置および電子機器を提供することにある。
【課題を解決するための手段】
【0012】
本発明の第1の観点の撮像装置は、レンズと光波面変調素子を含む光学系と、前記光学系を通過した被写体像を撮像する撮像素子と、前記光波面変調素子を通過する光束を制限し、当該制限する部分を変更可能な絞りと、を有し、前記絞りを変更することによって、光波面変調機能の発現と非発現、もしくは光波面変調特性の切り替えを行う。
【0013】
好適には、前記絞りは、前記制限する部分が異なる複数種類の絞りを含む。
【0014】
好適には、前記絞りは、前記制限する部分を可変とする可変絞りを含む。
【0015】
好適には、前記撮像素子から得られる画像信号に対して所定の画像処理を施す画像処理装置を有し、前記画像処理装置は、前記絞りの状態に応じて、画像処理画像処理の有無または画像処理の内容を切り替える。
【0016】
好適には、前記絞りは、前記光波面変調素子が前記絞り近傍に配置されている。
【0017】
好適には、前記光波面変調素子の光波面変調機能および前記絞りの形状は、光軸に対して略回転対称となっている。
【0018】
本発明の第2の観点は、撮像装置を有する電子機器であって、前記撮像装置は、レンズと光波面変調素子を含む光学系と、前記光学系を通過した被写体像を撮像する撮像素子と、前記光波面変調素子を通過する光束を制限し、当該制限する部分を変更可能な絞りと、を有し、前記絞りを変更することによって、光波面変調機能の発現と非発現、もしくは光波面変調特性の切り替えを行う。
【発明の効果】
【0019】
本発明によれば、光学系を簡単化でき、コスト低減を図ることができことはもとより、様々な用途や撮影条件に対応して適切な画質の良好な復元画像を得ることができる利点がある。
【発明を実施するための最良の形態】
【0020】
以下、本発明の実施形態を添付図面に関連付けて説明する。
【0021】
図1は、本発明の実施形態に係る電子機器としての情報コード読取装置の一例を示す外観図である。
図2(A)〜(C)は、情報コードの例を示す図である。
図3は、図1の情報コード読取装置に適用可能な撮像装置の構成例を示すブロックである。
なおここでは、本実施形態の撮像装置が適用可能な装置として、情報コード読取装置を例示している。
【0022】
本実施形態に係る情報コード読取装置100は、図1に示すように、本体110がケーブル111を介して図示しない電子レジスタ等の処理装置と接続され、たとえば読み取り対象物120に印刷された反射率の異なるシンボル、コード等の情報コード121を読み取り可能な装置である。
読み取り対象の情報コードとしては、たとえば図2(A)に示すような、JANコードのような1次元のバーコード122と、図2(B)および(C)に示すようなスタック式のCODE49、あるいはマトリックス方式のQRコードのような2次元のバーコード123が挙げられる。
【0023】
本実施形態に係る情報コード読取装置100は、本体110内に、図示しない照明光源と、図3に示すような撮像装置200とが配置されている。
撮像装置200は、後で詳述するように、光学系に光波面変調素子を適用し、光波面変調素子により光束を規則的に分散し、デジタル処理により復元させ被写界深度の深い画像撮影を可能にする波面収差制御光学系システム、あるいは深度拡張光学系システム(DEOS:Depth Expantion Optical System)というシステムを採用し、JANコードのような1次元のバーコードとQRコードのような2次元のバーコードのような情報コードを的確に高精度で読み取ることが可能に構成されている。
【0024】
情報コード読取装置100の撮像装置200は、図3に示すように、光学系210、撮像素子220、アナログフロントエンド部(AFE)230、画像処理装置240、カメラ信号処理部250、画像表示メモリ260、画像モニタリング装置270、操作部280、および制御装置290を有している。
【0025】
図4は、本実施形態に係る光学系を形成する撮像レンズユニットの基本構成を示す図である。
光学系210Aは、被写体物体OBJを撮影した像を撮像素子220に供給する。また、光学系210Aは、物体側から順に、第1レンズ211、第2レンズ212、第3レンズ213、絞り214、第4レンズ215、第5レンズ216が配置されている。
本実施形態の光学系210Aは、第4レンズ215と第5レンズ216が接続されている。すなわち、本実施形態の光学系210Aのレンズユニットは、接合レンズを含んで構成されている。
【0026】
そして、本実施形態の光学系210Aは、光波面変調素子を適用した光学系として構成されている。
本実施形態においては、光波面変調素子(位相変調素子)を用いることにより物体距離に応じたOTFの変化を、光波面変調素子を持たない光学系よりも小さくする深度拡張光学系に対し、光波面変調素子の最適化を行う。
【0027】
本実施形態においては、光波面変調素子は、単体にて光波面変調機能を発現するように形成されている。
第3レンズ213の撮像素子220側の面が所定の光波面変調機能を発現するような形状を有するように構成されている。
そして、この光波面変調面(たとえば位相変調面)213aの近傍に絞り214が配置される。
本実施形態における絞り214は、光波面変調機能の発現と非発現、もしくは光波面変調特性の切り替えを行うことができるように、複数種類の絞りを含むもの、あるいは可変絞りにより構成される。
【0028】
また、図4の例では、第3レンズ213の撮像面側の面の光軸を中心とした中央部が所定の曲率を持たせて凹状に形成されており、この形状により第3レンズ213は、光波面変調素子の機能を有している。
この光波面変調面213aは凹状ではなく凸状に形成されていても光波面変調機能を発現することが可能な形状であればよい。
なお、たとえば液晶レンズのような、光波面変調機能の発現、非発現が外部に依存する(たとえば外部からの電圧印加)外部依存型光波面変調素子を用い、中央側に光波面変調面を形成し、端部側に光の通過を制限する面を形成することで端部側絞り機能を有するように構成することも可能である。
【0029】
そして、本実施形態においては、光波面変調素子213の変調面213a、および絞り214の形状が光軸に対して回転対称で連続した形状であり、光波面変調機能の発現と非発現、もしくは光波面変調特性の切り替えを行うことができるように絞り214に調整機能を持たせている。
【0030】
バーコードリーダ等のコードリーダと一般撮影(デジタルカメラ)とでは画像に要求される性質が異なる。特に、深度拡張光学系を用いた場合ではその差が大きくなる。
たとえば、コードリーダ等では規則的な配列を解像できるような高めのコントラストが必要になり、ある程度のコントラストが得られれば画像のボケの影響は少ない。逆に一般撮影では視覚的なボケの影響は大きくなる。
そこで、本実施形態においては、コードリーダ等の性質を考慮した光学系はコントラストを高めに設定するようにし、一般画像を得る場合とで光学系ではコントラストを抑え画像復元処理に適した全体で変動の少ないMTFを得られる設定にすることができるように絞り214により光波面変調機能の発現と非発現、もしくは光波面変調特性の切り替えを行うことができるように構成されている。
【0031】
図5は、本実施形態に係る光波面変調素子と絞りとの関係を模式的に示す図である。
図5中、左側は第1位相面PS1のみを光線が通過した場合を示し、右側は第2位相面PS2のみを通過した場合を示している。
また、図6(A)は図5の第1位相面PS1のみを光線が通過したときのMTFを示し、図6(B)は図5の第2の位相面PS2を通過したときのMTFを示しいている。 また、図7(A)は図5の第1位相面PS1のみを光線が通過したときの光強度分布を、図7(B)は図5の第2位相面PS2を光線が通過したときの光強度分布を示している。
なおここで、第2位相面PSとは第1位相面SP1を含んだより広い面である第2位相面SP2を意味する。
【0032】
本実施形態においては、光学系に配置されている光波面変調素子の変調(位相)面213aの構成として、中心付近ではコントラストを重視した形状とにし、周辺部には距離の変動に対してMTFの変動がすくなくなる変調面を構成する。
そうすることで、レンズ中心付近を光線が通過するように絞り径(開口径)を小さくした場合、位相変動(変化)の少ない部分を光が通過することでコントラストの高い画像を得る。
また、レンズ周辺部まで光線が通過するように絞り径(開口径)を大きくすれば位相変動(変化)の多い部分を光が通過することで距離によるMTF変動の少ない画像を得る。 その際の絞りには、上述したように、絞りを入替えるか可変式等の絞りの開口径を大きくすればよい。
【0033】
図5に関連付けると、コントラストを重視した第1位相面PS1と、距離に対してMTFの変動の少なくなる第2位相面PS2がある。
図6(A),(B)に示すように、第1位相面PS1のみを光線が通過した場合は、MTFの変動が緩やかで、第2位相面PS2を光線が通過するとMTFが急峻に変化した後、変化量が少なくなる。
また、光線の強度分布を見ても第1位相面PS1のみを光線が通過した場合は、図7(A)に示すように、ピーク幅に対し高く(強く)、逆に第2位相面PS2を光線が通過した場合は、図7(B)に示すように、ピーク幅に対し低い(弱い)。
この傾向の違いを基に画像処理の方式を変えることで、コントラストが必要な状況と一般的な画像を必要とする状況とで最適化を行うことができる。
ここでは、前者はコードリーダのような用途に有効と考えられ、後者は一般的な被写体を選ばない状況での撮影に有効と考えられる。
【0034】
実用上では、たとえば携帯電話に内蔵されているカメラのようなものに応用が可能で、通常の撮影モードでは後者の状態、情報コードの読み取りモードに設定されたら後者の状態に、絞りを制御することのみで切替えることが可能である。
また、撮影モードの切り替えではなく、カメラ側で被写体が情報コードであることを認識したら、自動的に絞りの制御を切替える方法を用いることも可能である。
本実施形態の撮像装置を用いると、光学系を光軸方向に動かして切り替える通常の方法に比べて、駆動に求められる精度も高くなく、また光学系の光軸方向の厚みを抑えるのに有効である。
【0035】
また、上述した例では、絞り径を変えて光束が通過する領域を第1位相面PS1と第2位相面PS2と言うように切替える方法を示したが、通常光学特性を持つ面と変調(位相)面との切り替えと言う方法も可能である。
たとえば、絞り径を小さくしたときに光束が通る光波面変調素子213Aの光軸中心に近い部分(図5で第1位相面PS1と示された領域)は光波面変調機能を持たない面として、絞り径を大きくしたときにその周辺を含めた部分(図5で第2位相面PS2と示された領域)を光束が通過することで光波面変調機能を発現する構成とすることができる。
このとき、後段の画像処理の内容も、絞り径を小さくして光束が光波面変調機能を持たない面を通過する場合はピントの復元処理(分散画像を分散の無い画像にする)を含まず、絞り径を大きくして光束が光波面変調機能を持つ面を通過する場合はピントの復元処理を含むというように切り替えることも可能である。
【0036】
以下に、絞りの構成例について説明する。
【0037】
図8(A)および(B)は、切り替え絞りの例を示す図であり、図8(A)が円盤回転式の切り替え絞りの一例を示し、図8(B)が直進式の切り替え絞りの一例を示している。
【0038】
円盤状の切り替え絞り板2131、または板状の切り替え絞り板2132に複数の穴2133,2134を形成し、切り替え絞り板2131、または板状の切り替え絞り板2132を光軸に垂直な方向に動かすことで、光波面変調素子213Aに対する穴を切り替えて通過する光束を制御する。
円盤状の板の場合は回転させることで、長方形状の板の場合は長手方向にスライドさせることで複数の穴の切り替えを行う。
回転やスライドの制御は図示しないが、たとえばステッピングモータを動力源として、ギヤ等を介在させて減速して板状部材を駆動させることで可能となる。
穴は、円盤の場合は回転中心を軸に回転、長方形状の板の場合はスライドさせたときに光軸が通る軌跡上(図の一点鎖線上)に中心(重心)が存在するように形成する。
【0039】
図9は、可変絞りの例を示す図である。
【0040】
図9(A)に示すように、光軸を中心に複数枚(図9の例では8枚)の絞り羽根2135を配置して、絞り羽根2135の回転中心を軸に各絞り羽根の回転角度を変えることによって、図9(A)、図9(B)、図9(C)のように絞りの径が可変となる。
回転角度によって、絞り径を自在に変えることができることが特徴である。
この例で絞り羽根を8枚用いているが、枚数が少ない場合に比べて多い場合の方が、絞りをより円形に近づけることができる。
【0041】
以上、本実施形態に係る光学系の特徴的な構成、機能、効果について説明した。
以下に、撮像素子、画像処理部等の他の構成部分の構成、機能について説明する。
【0042】
撮像素子220は、たとえば、図4に示すように、第5レンズ216側から、ガラス製の平行平面板(カバーガラス)221と、CCDあるいはCMOSセンサ等からなる撮像素子の撮像面222が順に配置されている。
撮像光学系210Aを介した被写体OBJからの光が、撮像素子220の撮像面222上に結像される。
なお、撮像素子220で撮像される被写体分散像は、光波面変調面213aにより撮像素子220上ではピントが合わず、深度の深い光束とボケ部分が形成された像である。
そして、本実施形態においては、画像処理装置240にてフィルタ処理を加えることにより物体間の距離の解像を補完することができるように構成されている。
この光学系210Aについては、後でさらに詳述する。
【0043】
そして、図3に示すように撮像素子220は、光学系210で取り込んだ像が結像され、結像1次画像情報を電気信号の1次画像信号FIMとして、アナログフロントエンド部230を介して画像処理装置240に出力するCCDやCMOSセンサからなる。
図3においては、撮像素子220を一例としてCCDとして記載している。
【0044】
アナログフロントエンド部230は、タイミングジェネレータ231、アナログ/デジタル(A/D)コンバータ232と、を有する。
タイミングジェネレータ231では、撮像素子220のCCDの駆動タイミングを生成しており、A/Dコンバータ232は、CCDから入力されるアナログ信号をデジタル信号に変換し、画像処理装置240に出力する。
【0045】
信号処理部の一部を構成する画像処理装置(二次元コンボリューション手段)240は、前段のAFE230からくる撮像画像のデジタル信号を入力し、二次元のコンボリューション処理を施し、後段のカメラ信号処理部(DSP)250に渡す。
画像処理装置240、制御装置290の露出情報に応じて、光学的伝達関数(OTF)に対してフィルタ処理を行う。なお、露出情報として絞り情報を含む。
画像処理装置240は、撮像素子220による複数の画像に対して、光学的伝達関数(OTF)のレスポンスを向上させ、物体距離に応じた光学的伝達関数(OTF)の変化をなくすようにフィルタ処理(たとえばコンボリューションフィルタ処理)を行う機能を有し、複数の物体距離に依存しながらも、深い被写界深度を得る。また、画像処理装置240は、最初のステップでノイズ低減フィルタリングを施す機能を有する。
画像処理装置240は、光学的伝達関数(OTF)に対してフィルタ処理を行いコントラストを改善する処理を施す機能を有する。
画像処理装置240の処理については後でさらに詳述する。
【0046】
カメラ信号処理部(DSP)250は、カラー補間、ホワイトバランス、YCbCr変換処理、圧縮、ファイリング等の処理を行い、メモリ260への格納や画像モニタリング装置270への画像表示等を行う。
【0047】
制御装置290は、露出制御を行うとともに、操作部280などの操作入力を持ち、それらの入力に応じて、システム全体の動作を決定し、AFE230、画像処理装置240、DSP250、絞り213等を制御し、システム全体の調停制御を司るものである。
【0048】
以下、本実施形態の光学系、画像処理装置の構成および機能について具体的には説明する。
【0049】
次に、画像処理装置240のフィルタ処理について説明する。
本実施形態においては、光学系210により収束される光束を規則正しく分散する。このように光波面変調素子を挿入することにより、撮像素子220上ではピントのどこにも合わない画像を実現する。
換言すれば、光学系210によって深度の深い光束(像形成の中心的役割を成す)とフレアー(ボケ部分)を形成している。
前述したように、この規則的に分散した画像をデジタル処理により、光学系210を移動させずにピントの合った画像に復元する手段を波面収差制御光学系システム、あるいは深度拡張光学系システム(DEOS:Depth Expantion Optical System)といい、この処理を画像処理装置240において行う。
【0050】
ここで、DEOSの基本原理について説明する。
図10に示すように、被写体の画像fがDEOS光学系Hに入ることにより、g画像が生成される。
これは、次のような式で表される。
【0051】
(数1)
g=H*f
ただし、*はコンボリューションを表す。
【0052】
生成された画像から被写体を求めるためには、次の処理を要する。
【0053】
(数2)
f=H-1*g
【0054】
ここで、Hに関するカーネルサイズと演算係数について説明する。
ズームポジションをZPn,ZPn−1・・・とする。また、それぞれのH関数をHn,Hn−1、・・・・とする。
各々のスポット像が異なるため、各々のH関数は、次のようになる。
【0055】
【数3】

【0056】
この行列の行数および/または列数の違いをカーネルサイズ、各々の数字を演算係数とする。
ここで、各々のH関数はメモリに格納しておいても構わないし、PSFを物体距離の関数としておき、物体距離によって計算し、H関数を算出することによって任意の物体距離に対して最適なフィルタを作るように設定できるようにしても構わない。また、H関数を物体距離の関数として、物体距離によってH関数を直接求めても構わない。
【0057】
本実施形態においては、図3に示すように、光学系210からの像を撮像素子220で受像して、絞り開放時には画像処理装置240に入力させ、光学系に応じた変換係数を取得して、取得した変換係数をもって撮像素子220からの分散画像信号より分散のない画像信号を生成するように構成している。
【0058】
本実施形態においては、DEOSを採用し、高精細な画質を得ることが可能で、しかも、光学系を簡単化でき、コスト低減を図ることが可能となっている。
【0059】
画像処理装置240は、上述したように、撮像素子220による1次画像FIMを受けて、フィルタによるコンボリューション処理によって被写界深度を拡張する処理等を施して高精細な最終画像FNLIMを形成する。
【0060】
画像処理装置140のMTF補正処理は、たとえば図11の曲線Aで示すように、本質的に低い値になっている1次画像のMTFを、空間周波数をパラメータとしてエッジ強調、クロマ強調等の後処理にて、図11中曲線Bで示す特性に近づく(達する)ような補正を行う。
図11中曲線Bで示す特性は、たとえば本実施形態のように、波面形成用光学素子を用いずに波面を変形させない場合に得られる特性である。
なお、本実施形態における全ての補正は、空間周波数のパラメータによる。
【0061】
本実施形態においては、図11に示すように、光学的に得られる空間周波数に対するMTF特性曲線Aに対して、最終的に実現したいMTF特性曲線Bを達成するためには、それぞれの空間周波数に対し、図12に示すようにエッジ強調等の強弱を付け、元の画像(1次画像)に対して補正をかける。
たとえば、図11のMTF特性の場合、空間周波数に対するエッジ強調の曲線は、図12に示すようになる。
【0062】
すなわち、空間周波数の所定帯域内における低周波数側および高周波数側でエッジ強調を弱くし、中間周波数領域においてエッジ強調を強くして補正を行うことにより、所望のMTF特性曲線Bを仮想的に実現する。
【0063】
このように、実施形態に係る撮像装置200は、基本的に、1次画像を形成する光学系210および撮像素子220と、1次画像を高精細な最終画像に形成する画像処理装置140からなり、光学系システムの中に、波面成形用の光学素子を新たに設けるか、またはガラス、プラスチックなどのような光学素子の面を波面成形用に成形したものを設けることにより、結像の波面を変形(変調)し、そのような波面をCCDやCMOSセンサからなる撮像素子220の撮像面(受光面)に結像させ、その結像1次画像を、画像処理装置240を通して高精細画像を得る画像形成システムである。
本実施形態では、撮像素子220による1次画像は深度が非常に深い光束条件にしている。そのために、1次画像のMTFは本質的に低い値になっており、そのMTFの補正を画像処理装置240で行う。
【0064】
ここで、本実施形態における撮像装置200における結像のプロセスを、波動光学的に考察する。
物点の1点から発散された球面波は結像光学系を通過後、収斂波となる。そのとき、結像光学系が理想光学系でなければ収差が発生する。波面は球面でなく複雑な形状となる。幾何光学と波動光学の間を取り持つのが波面光学であり、波面の現象を取り扱う場合に便利である。
結像面における波動光学的MTFを扱うとき、結像光学系の射出瞳位置における波面情報が重要となる。
MTFの計算は結像点における波動光学的強度分布のフーリエ変換で求まる。その波動光学的強度分布は波動光学的振幅分布を2乗して得られるが、その波動光学的振幅分布は射出瞳における瞳関数のフーリエ変換から求まる。
さらにその瞳関数はまさに射出瞳位置における波面情報(波面収差)そのものからであることから、その光学系210を通して波面収差が厳密に数値計算できればMTFが計算できることになる。
【0065】
したがって、所定の手法によって射出瞳位置での波面情報に手を加えれば、任意に結像面におけるMTF値は変更可能である。
本実施形態においても、波面の形状変化を波面形成用光学素子で行うのが主であるが、まさにphase(位相、光線に沿った光路長)に増減を設けて目的の波面形成を行っている。
そして、目的の波面形成を行えば、射出瞳からの射出光束は、幾何光学的なスポット像からわかるように、光線の密な部分と疎の部分から形成される。
この光束状態のMTFは空間周波数の低いところでは低い値を示し、空間周波数の高いところまでは何とか解像力は維持している特徴を示している。
すなわち、この低いMTF値(または、幾何光学的にはこのようなスポット像の状態)であれば、エリアジングの現象を発生させないことになる。
つまり、ローパスフィルタが必要ないのである。
そして、画像処理装置240でMTF値を低くしている原因のフレアー的画像を除去すれば良いのである。それによってMTF値は著しく向上する。
【0066】
次に、本実施形態および従来光学系のMTFのレスポンスについて考察する。
【0067】
図13は、従来の光学系の場合において物体が焦点位置にあるときと焦点位置から外れたときのMTFのレスポンス(応答)を示す図である。
図14は、光波面変調素子を有する本実施形態の光学系の場合において物体が焦点位置にあるときと焦点位置から外れたときのMTFのレスポンスを示す図である。
また、図15は、本実施形態に係る撮像装置のデータ復元後のMTFのレスポンスを示す図である。
【0068】
図からもわかるように、光波面変調素子を有する光学系の場合、物体が焦点位置から外れた場合でもMTFのレスポンスの変化が光波面変調素子を挿入してない光学系よりも少なくなる。
この光学系によって結像された画像を、コンボリューションフィルタによる処理によって、MTFのレスポンスが向上する。
【0069】
図14に示した、位相板を持つ光学系のOTFの絶対値(MTF)はナイキスト周波数において0.1以上であることが好ましい。
なぜなら、図15に示した復元後のOTFを達成するためには復元フィルタでゲインを上げることになるが、センサのノイズも同時に上げることになる。そのため、ナイキスト周波数付近の高周波ではできるたけゲインを上げずに復元を行うことが好ましい。
通常の光学系の場合、ナイキスト周波数でのMTFが0.1以上あれば解像する。
したがって、復元前のMTFが0.1以上あれば復元フィルタでナイキスト周波数でのゲインを上げずに済む。復元前のMTFが0.1未満であると、復元画像がノイズの影響を大きく受けた画像になるため好ましくない。
【0070】
画像処理装置240の構成および処理について説明する。
【0071】
画像処理装置240は、図3に示すように、生(RAW)バッファメモリ241、二次元コンボリューション演算部242、記憶手段としてのカーネルデータ格納ROM243、およびコンボリューション制御部244を有する。
【0072】
コンボリューション制御部244は、コンボリューション処理のオンオフ、画面サイズ、カーネルデータの入れ替え等の制御を行い、制御装置290により制御される。
【0073】
また、カーネルデータ格納ROM243には、図16、図17、または図18に示すように予め用意されたそれぞれの光学系の点像強度分布(PSF)により算出されたコンボリューション用のカーネルデータが格納されており、制御装置290によって露出設定時に決まる露出情報を取得し、コンボリューション制御部244を通じてカーネルデータを選択制御する。
なお、露出情報には、絞り情報が含まれる。
【0074】
図16の例では、カーネルデータAは光学倍率(×1.5)、カーネルデータBは光学倍率(×5)、カーネルデータCは光学倍率(×10)に対応したデータとなっている。
【0075】
また、図17の例では、カーネルデータAは絞り情報としてのFナンバ(2.8)、カーネルデータBはFナンバ(4)に対応したデータとなっている。
【0076】
また、図18の例では、カーネルデータAは物体距離情報が100mm、カーネルデータBは物体距離が500mm、カーネルデータCは物体距離が4mに対応したデータとなっている。
【0077】
図19は、制御装置290の露出情報(絞り情報を含む)により切り替え処理のフローチャートである。
まず、露出情報(RP)が検出されコンボリューション制御部244に供給される(ST101)。
コンボリューション制御部244においては、露出情報RPから、カーネルサイズ、数値演係数がレジスタにセットされる(ST102)。
そして、撮像素子220で撮像され、AFE230を介して二次元コンボリューション演算部242に入力された画像データに対して、レジスタに格納されたデータに基づいてコンボリューション演算が行われ、演算され変換されたデータがカメラ信号処理部250に転送される(ST103)。
【0078】
以下に画像処理装置240の信号処理部とカーネルデータ格納ROMについてさらに具体的な例について説明する。
【0079】
図20は、信号処理部とカーネルデータ格納ROMについての第1の構成例を示す図である。なお、簡単化のためにAFE等は省略している。
図20の例は露出情報に応じたフィルタカーネルを予め用意した場合のブロック図である。
【0080】
画像処理装置240が露出情報検出部253から露出設定時に決まる露出情報を取得し、コンボリューション制御部244を通じてカーネルデータを選択制御する。二次元コンボリューション演算部242においては、カーネルデータを用いてコンボリューション処理を施す。
【0081】
図21は、信号処理部とカーネルデータ格納ROMについての第2の構成例を示す図である。なお、簡単化のためにAFE等は省略している。
図21の例は、画像処理装置240の最初にノイズ低減フィルタ処理のステップを有し、フィルタカーネルデータとして露出情報に応じたノイズ低減フィルタ処理ST1を予め用意した場合のブロック図である。
【0082】
露出設定時に決まる露出情報を露出情報検出部253より取得し、コンボリューション制御部244を通じてカーネルデータを選択制御する。
二次元コンボリューション演算部242においては、前記ノイズ低減フィルタ処理1ST1を施した後、カラーコンバージョン処理ST2によって色空間を変換、その後カーネルデータを用いてコンボリューション処理(OTF復元フィルタ処理)ST3を施す。
再度ノイズ低減フィルタ処理2ST4を行い、カラーコンバージョン処理ST5によって元の色空間に戻す。カラーコンバージョン処理は、たとえばYCbCr変換が挙げられるが、他の変換でも構わない。
なお、再度のノイズ処理ST4は省略することも可能である。
【0083】
図22は、信号処理部とカーネルデータ格納ROMについての第3の構成例を示す図である。なお、簡単化のためにAFE等は省略している。
図22の例は、露出情報に応じたOTF復元フィルタを予め用意した場合のブロック図である。
【0084】
露出設定時に決まる露出情報を露出情報検出部253より取得し、コンボリューション制御部244を通じてカーネルデータを選択制御する。
二次元コンボリューション演算部242は、ノイズ低減フィルタ処理1ST11、カラーコンバージョン処理ST12の後に、前記OTF復元フィルタを用いてコンボリューション処理ST13を施す。
再度ノイズ低減フィルタ処理2ST14を行い、カラーコンバージョン処理ST15によって元の色空間に戻す。カラーコンバージョン処理は、たとえばYCbCr変換が挙げられるが、他の変換でも構わない。
なお、ノイズ低減フィルタ処理ST11、ST14は、いずれか一方のみでもよい。
【0085】
図23は、信号処理部とカーネルデータ格納ROMについての第4の構成例を示す図である。なお、簡単化のためにAFE等は省略している。
図23の例は、ノイズ低減フィルタ処理のステップを有し、フィルタカーネルデータとして露出情報に応じたノイズ低減フィルタを予め用意した場合のブロック図である。
なお、再度のノイズ処理ST4は省略することも可能である。
露出設定時に決まる露出情報を露出情報検出部253より取得し、コンボリューション制御部244を通じてカーネルデータを選択制御する。
二次元コンボリューション演算部242においては、ノイズ低減フィルタ処理1ST21を施した後、カラーコンバージョン処理ST22によって色空間を変換、その後カーネルデータを用いてコンボリューション処理ST23を施す。
再度、露出情報に応じたノイズ低減フィルタ処理2ST24を行い、カラーコンバージョン処理ST25によって元の色空間に戻す。カラーコンバージョン処理は、たとえばYCbCr変換が挙げられるが、他の変換でも構わない。
なお、ノイズ低減フィルタ処理ST21は省略することも可能である。
【0086】
以上は露出情報のみに応じて二次元コンボリューション演算部242においてフィルタ処理を行う例を説明したが、たとえば被写体距離情報、ズーム情報、あるいは撮影モード情報と露出情報とを組み合わせることにより適した演算係数の抽出、あるいは演算を行うことが可能となる。
【0087】
図24は、被写体距離情報と露出情報とを組み合わせる画像処理装置の構成例を示す図である。
【0088】
撮像装置200Aは、図24に示すように、コンボリューション装置401、カーネル・数値演算係数格納レジスタ402、および画像処理演算プロセッサ403を有する。
【0089】
この撮像装置200Aにおいては、物体概略距離情報検出装置500から読み出した被写体の物体距離の概略距離に関する情報および露出情報を得た画像処理演算プロセッサ403では、その物体離位置に対して適正な演算で用いる、カーネルサイズやその演算係数をカーネル、数値算係数格納レジスタ402に格納し、その値を用いて演算するコンボリューション装置401にて適正な演算を行い、画像を復元する。
本例においては、主被写体までの距離を、距離検出センサを含む物体概略距離情報検出装置500により検出し、検出した距離に応じて異なる画像補正の処理を行うことにように構成されている。
【0090】
上記の画像処理はコンボリューション演算により行うが、これを実現するには、たとえばコンボリューション演算の演算係数を共通で1種類記憶しておき、焦点距離に応じて補正係数を予め記憶しておき、この補正係数を用いて演算係数を補正し、補正した演算係数で適正なコンボリューション演算を行う構成をとることができる。
この構成の他にも、以下の構成を採用することが可能である。
【0091】
焦点距離に応じて、カーネルサイズやコンボリューションの演算係数自体を予め記憶しておき、これら記憶したカーネルサイズや演算係数でコンボリューション演算を行う構成、焦点距離に応じた演算係数を関数として予め記憶しておき、焦点距離によりこの関数より演算係数を求め、計算した演算係数でコンボリューション演算を行う構成等、を採用することが可能である。
【0092】
図24の構成に対応付けると次のような構成をとることができる。
【0093】
変換係数記憶手段としてのレジスタ402に被写体距離に応じて少なくとも位相板に相当する樹脂レンズに起因する収差に対応した変換係数を少なくとも2以上予め記憶する。画像処理演算プロセッサ403が、被写体距離情報生成手段としての物体概略距離情報検出装置500により生成された情報に基づき、レジスタ402から被写体までの距離に応じた変換係数を選択する係数選択手段として機能する。
そして、変換手段としてのコンボリューション装置401が、係数選択手段としての画像処理演算プロセッサ403で選択された変換係数によって、画像信号の変換を行う。
【0094】
または、前述したように、変換係数演算手段としての画像処理演算プロセッサ403が、被写体距離情報生成手段としての物体概略距離情報検出装置500により生成された情報に基づき変換係数を演算し、レジスタ402に格納する。
そして、変換手段としてのコンボリューション装置401が、変換係数演算手段としての画像処理演算プロセッサ403で得られレジスタ402に格納された変換係数によって、画像信号の変換を行う。
【0095】
または、補正値記憶手段としてのレジスタ402にズーム光学系210のズーム位置またはズーム量に応じた少なくとも1以上の補正値を予め記憶する。この補正値には、被写体収差像のカーネルサイズを含まれる。
そして、被写体距離情報生成手段としての物体概略距離情報検出装置500により生成された距離情報に基づき、補正値選択手段としての画像処理演算プロセッサ403が、補正値記憶手段としてのレジスタ402から被写体までの距離に応じた補正値を選択する。
変換手段としてのコンボリューション装置401が、第2変換係数記憶手段としてのレジスタ402から得られた変換係数と、補正値選択手段としての画像処理演算プロセッサ403により選択された補正値とに基づいて画像信号の変換を行う。
【0096】
以上説明したように、本実施形態によれば、光波面変調素子213Aの変調面213a、および絞り214の形状が光軸に対して回転対称で連続した形状であり、光波面変調機能の発現と非発現、もしくは光波面変調特性の切り替えを行うことができるように絞り214に調整機能を持たせていることから、光学系を簡単化でき、コスト低減を図ることができることはもとより、様々な用途や撮影条件に対応して適切な画質の良好な復元画像を得ることができる。
これにより、コントラストが必要な状況と一般的な画像を必要とする状況とで最適化を行うことができる。
【0097】
また、コンボリューション演算時に用いるカーネルサイズやその数値演算で用いられる係数を可変とし、図3に示す操作部280等の入力により知り、適性となるカーネルサイズや上述した係数を対応させることにより、倍率やディフォーカス範囲を気にすることなくレンズ設計ができ、かつ精度の高いコンボリュ−ションによる画像復元が可能となる利点がある。
また、難度が高く、高価でかつ大型化した光学レンズを必要とせずに、かつ、レンズを駆動させること無く、自然な画像を得ることができる利点がある。
そして、本実施形態に係る撮像装置200は、デジタルカメラやカムコーダー等の民生機器の小型、軽量、コストを考慮されたDEOSの光学システムに使用することが可能である。
また、光学系210の構成を簡単化でき、製造が容易となり、コスト低減を図ることができる。
【0098】
ところで、CCDやCMOSセンサを撮像素子として用いた場合、画素ピッチから決まる解像力限界が存在し、光学系の解像力がその限界解像力以上であるとエリアジングのような現象が発生し、最終画像に悪影響を及ぼすことは周知の事実である。
画質向上のため、可能な限りコントラストを上げることが望ましいが、そのことは高性能なレンズ系を必要とする。
【0099】
しかし、上述したように、CCDやCMOSセンサを撮像素子として用いた場合、エリアジングが発生する。
現在、エリアジングの発生を避けるため、撮像レンズ装置では、一軸結晶系からなるローパスフィルタを併用し、エリアジングの現象の発生を避けている。
このようにローパスフィルタを併用することは、原理的に正しいが、ローパスフィルタそのものが結晶でできているため、高価であり、管理が大変である。また、光学系に使用することは光学系をより複雑にしているという不利益がある。
【0100】
以上のように、時代の趨勢でますます高精細の画質が求められているにもかかわらず、高精細な画像を形成するためには、従来の撮像レンズ装置では光学系を複雑にしなければならない。複雑にすれば、製造が困難になったりし、また高価なローパスフィルタを利用したりするとコストアップにつながる。
しかし、本実施形態によれば、ローパスフィルタを用いなくとも、エリアジングの現象の発生を避けることができ、高精細な画質を得ることができる。
【0101】
また、図16、図17、および図18のカーネルデータ格納ROMに関しても、光学倍率、Fナンバやそれぞれのカーネルのサイズ、物体距離の値に対して用いられるものとは限らない。また用意するカーネルデータの数についても3個とは限らない。
【0102】
なお、以上の説明においては、本発明の撮像装置が適用可能な電子機器として情報コード読取装置を例に説明したが、本発明の撮像装置は、たとえば携帯電話機、PDA等の携帯電子機器にも適用可能である。
【図面の簡単な説明】
【0103】
【図1】本発明の実施形態に係る情報コード読取装置の一例を示す外観図である。
【図2】情報コードを例を示す図である。
【図3】図1の情報コード読取装置に適用される撮像装置の構成例を示すブロックである。
【図4】本実施形態に係る光学系を形成する撮像レンズユニットの基本構成例を示す図であって、本実施形態に係る光学系においてレンズ全体での光波面変調素子(位相変調素子)と絞りに隣接した面での光波面変調を実現する構成例を示す図である。
【図5】本実施形態に係る光波面変調素子と絞りとの関係を模式的に示す図である。
【図6】図5の第1位相面PS1および第2位相面PS2を光線が通過したときのMTFを示す図である。
【図7】図5の第1位相面PS1および第2位相面PS2を光線が通過したときの光強度分布を示す図である。
【図8】切り替え絞りの例を示す図である。
【図9】可変絞りの例を示す図である。
【図10】DEOSの原理を説明するための図である。
【図11】本実施形態に係る画像処理装置におけるMTF補正処理を説明するための図である。
【図12】本実施形態に係る画像処理装置におけるMTF補正処理を具体的に説明するための図である。
【図13】従来の光学系の場合において物体が焦点位置にあるときと焦点位置から外れたときのMTFのレスポンス(応答)を示す図である。
【図14】光波面変調素子を有する本実施形態の光学系の場合において物体が焦点位置にあるときと焦点位置から外れたときのMTFのレスポンスを示す図である。
【図15】本実施形態に係る撮像装置のデータ復元後のMTFのレスポンスを示す図である。
【図16】カーネルデータROMの格納データの一例(光学倍率)を示す図である。
【図17】カーネルデータROMの格納データの他例(Fナンバ)を示す図である。
【図18】カーネルデータROMの格納データの他例(物体距離)を示す図である。
【図19】露出制御装置の光学系設定処理の概要を示すフローチャートである。
【図20】信号処理部とカーネルデータ格納ROMについての第1の構成例を示す図である。
【図21】信号処理部とカーネルデータ格納ROMについての第2の構成例を示す図である。
【図22】信号処理部とカーネルデータ格納ROMについての第3の構成例を示す図である。
【図23】信号処理部とカーネルデータ格納ROMについての第4の構成例を示す図である。
【図24】被写体距離情報と露出情報とを組み合わせる画像処理装置の構成例を示す図である。
【図25】一般的な撮像レンズ装置の構成および光束状態を模式的に示す図である。
【図26】図25の撮像レンズ装置の撮像素子の受光面でのスポット像を示す図であって、(A)は焦点が0.2mmずれた場合(Defocus=0.2mm)、(B)が合焦点の場合(Best focus)、(C)が焦点が−0.2mmずれた場合(Defocus=−0.2mm)の各スポット像を示す図である。
【符号の説明】
【0104】
200・・・撮像装置、210・・・光学系、211・・・第1レンズ、212・・・第2レンズ、213・・・第3レンズ、214・・・絞り、215・・・第4レンズ、220・・・撮像素子、PS1・・・第1位相面、PS2・・・第2位相面、230・・・アナログフロントエンド部(AFE)、240・・・画像処理装置、250・・・カメラ信号処理部、280・・・操作部、290・・・制御装置、242・・・二次元コンボリューション演算部、243・・・カーネルデータROM、244・・・コンボリューション制御部。

【特許請求の範囲】
【請求項1】
レンズと光波面変調素子を含む光学系と、
前記光学系を通過した被写体像を撮像する撮像素子と、
前記光波面変調素子を通過する光束を制限し、当該制限する部分を変更可能な絞りと、を有し、
前記絞りを変更することによって、光波面変調機能の発現と非発現、もしくは光波面変調特性の切り替えを行う
撮像装置。
【請求項2】
前記絞りは、
前記制限する部分が異なる複数種類の絞りを含む
請求項1に記載の撮像装置。
【請求項3】
前記絞りは、
前記制限する部分を可変とする可変絞りを含む
請求項1に記載の撮像装置。
【請求項4】
前記撮像素子から得られる画像信号に対して所定の画像処理を施す画像処理装置を有し、
前記画像処理装置は、
前記絞りの状態に応じて、画像処理の有無または画像処理の内容を切り替える
請求項1から3のいずれか一に記載の撮像装置。
【請求項5】
前記絞りは、前記光波面変調素子が前記絞り近傍に配置されている
請求項1から4のいずれか一に記載の撮像装置。
【請求項6】
前記光波面変調素子の光波面変調機能および前記絞りの形状は、光軸に対して略回転対称となっている
請求項1から5のいずれか一に記載の撮像装置。
【請求項7】
撮像装置を有する電子機器であって、
前記撮像装置は、
レンズと光波面変調素子を含む光学系と、
前記光学系を通過した被写体像を撮像する撮像素子と、
前記光波面変調素子を通過する光束を制限し、当該制限する部分を変更可能な絞りと、を有し、
前記絞りを変更することによって、光波面変調機能の発現と非発現、もしくは光波面変調特性の切り替えを行う
電子機器。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate

【図21】
image rotate

【図22】
image rotate

【図23】
image rotate

【図24】
image rotate

【図25】
image rotate

【図26】
image rotate


【公開番号】特開2009−181367(P2009−181367A)
【公開日】平成21年8月13日(2009.8.13)
【国際特許分類】
【出願番号】特願2008−19984(P2008−19984)
【出願日】平成20年1月30日(2008.1.30)
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.QRコード
【出願人】(000006633)京セラ株式会社 (13,660)
【Fターム(参考)】