撮像装置および撮像方法
【課題】解像性能ピーク位置を容易に検出可能で、光学系を簡単化でき、コスト低減を図ることができ、しかもノイズの影響が小さい復元画像を得ることが可能な撮像装置および撮像方法を提供する。
【解決手段】結像レンズによる撮像素子１２０の受光面への結像の波面を変形させる機能を有し光波面変調機能の発現、非発現が外部に依存する外部依存型光波面変調素子１１４を備えた光学系１１０と、撮像素子１２０と、被写体分散画像信号より分散のない画像信号を生成する画像処理装置１４０とを有し、外部依存型光波面変調素子１１４は、変調機能制御部２００により光波面変調機能が非発現状態に制御されているときは１焦点状態となって光学系を通過する光が光源の距離によって光軸方向で異なる位置に結像するような結像性能を有し、発現状態に制御されているときは複数焦点状態となる。
【解決手段】結像レンズによる撮像素子１２０の受光面への結像の波面を変形させる機能を有し光波面変調機能の発現、非発現が外部に依存する外部依存型光波面変調素子１１４を備えた光学系１１０と、撮像素子１２０と、被写体分散画像信号より分散のない画像信号を生成する画像処理装置１４０とを有し、外部依存型光波面変調素子１１４は、変調機能制御部２００により光波面変調機能が非発現状態に制御されているときは１焦点状態となって光学系を通過する光が光源の距離によって光軸方向で異なる位置に結像するような結像性能を有し、発現状態に制御されているときは複数焦点状態となる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像素子を用い、光学系を備えたデジタルスチルカメラや携帯電話搭載カメラ、携帯情報端末搭載カメラ、画像検査装置、自動制御用産業カメラ等の撮像装置および撮像装置に関するものである。
【背景技術】
【０００２】
近年急峻に発展を遂げている情報のデジタル化に相俟って映像分野においてもその対応が著しい。
特に、デジタルカメラに象徴されるように撮像面は従来のフィルムに変わって固体撮像素子であるＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ），ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサが使用されているのが大半である。
【０００３】
このように、撮像素子にＣＣＤやＣＭＯＳセンサを使った撮像レンズ装置は、被写体の映像を光学系により光学的に取り込んで、撮像素子により電気信号として抽出するものであり、デジタルスチルカメラの他、ビデオカメラ、デジタルビデオユニット、パーソナルコンピュータ、携帯電話機、携帯情報端末（ＰＤＡ：Ｐｅｒｓｏｎａｌ ＤｉｇｉｔａｌＡｓｓｉｓｔａｎｔ）、画像検査装置、自動制御用産業カメラ等に用いられている。
【０００４】
図２７は、一般的な撮像レンズ装置の構成および光束状態を模式的に示す図である。
この撮像レンズ装置１は、光学系２とＣＣＤやＣＭＯＳセンサ等の撮像素子３とを有する。
光学系は、物体側レンズ２１，２２、絞り２３、および結像レンズ２４を物体側（ＯＢＪＳ）から撮像素子３側に向かって順に配置されている。
【０００５】
撮像レンズ装置１においては、図２７に示すように、ベストフォーカス面を撮像素子面上に合致させている。
図２８（Ａ）〜（Ｃ）は、撮像レンズ装置１の撮像素子３の受光面でのスポット像を示している。
【０００６】
また、位相板（Ｗａｖｅｆｒｏｎｔ Ｃｏｄｉｎｇ ｏｐｔｉｃａｌ ｅｌｅｍｅｎｔ）により光束を規則的に分散し、デジタル処理により復元させ被写界深度の深い画像撮影を可能にする等の撮像装置が提案されている（たとえば非特許文献１，２、特許文献１〜５参照）。
また、伝達関数を用いたフィルタ処理を行うデジタルカメラの自動露出制御システムが提案されている（たとえば特許文献６参照）。
【非特許文献１】“Wavefront Coding;jointly optimized optical and digital imaging systems”,Edward R.Dowski,Jr.,Robert H.Cormack,Scott D.Sarama.
【非特許文献２】“Wavefront Coding;A modern method of achieving high performance and/or low cost imaging systems”,Edward R.Dowski,Jr.,Gregory E.Johnson.
【特許文献１】ＵＳＰ６，０２１，００５
【特許文献２】ＵＳＰ６，６４２，５０４
【特許文献３】ＵＳＰ６，５２５，３０２
【特許文献４】ＵＳＰ６，０６９，７３８
【特許文献５】特開２００３−２３５７９４号公報
【特許文献６】特開２００４−１５３４９７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
上述した各文献にて提案された撮像装置においては、その全ては通常光学系に上述の位相板を挿入した場合のＰＳＦ（Ｐｏｉｎｔ−Ｓｐｒｅａｄ−Ｆｕｎｃｔｉｏｎ）が一定になっていることが前提であり、ＰＳＦが変化した場合は、その後のカーネルを用いたコンボリューションにより、被写界深度の深い画像を実現することは極めて難しい。
したがって、単焦点でのレンズではともかく、ズーム系やＡＦ系などのレンズでは、その光学設計の精度の高さやそれに伴うコストアップが原因となり採用するには大きな問題を抱えている。
換言すれば、従来の撮像装置においては、適正なコンボリューション演算を行うことができず、ワイド（Ｗｉｄｅ）時やテレ（Ｔｅｌｅ）時のスポット（ＳＰＯＴ）像のズレを引き起こす非点収差、コマ収差、ズーム色収差等の各収差を無くす光学設計が要求される。
しかしながら、これらの収差を無くす光学設計は光学設計の難易度を増し、設計工数の増大、コスト増大、レンズの大型化の問題を引き起こす。
【０００８】
また、上述した各文献に開示された装置においては、たとえば暗所における撮影で、信号処理によって画像を復元する際、ノイズも同時に増幅してしまう。
したがって、たとえば上述した位相板等の光波面変調素子とその後の信号処理を用いるような、光学系と信号処理を含めた光学システムでは、暗所での撮影を行う場合、ノイズが増幅してしまい、復元画像に影響を与えてしまうという不利益がある。
【０００９】
また、深度拡張技術は、深い被写界深度内で像性能の変化量が少ないために、ディフォーカスに対する光学性能ピーク位置の検出が困難であり、適切な評価が行い難いため、製造工程に負担をかけ、また、歩留りの面でも不利であるという欠点を持つ。
位相変調を行った深度拡張光学系においては、システム名が意味するように像性能の変化量が小さいために、解像性能の変化を尺度としてバックフォーカス調整するのは、変化量を見るために広い範囲をディフォーカスしてピークらしきところを算出する事になる。この場合は、広い範囲をディフォーカスするための手間がかかるか、粗くサーチするために、その精度が落ちるといったように、製造工程に負荷がかかるか、製品の性能が劣化してしまう。
特に、復元を前提とした深度拡張光学系では、保証される深度内では、性能の変化が極端に抑えられているため、解像ピークの算出は極めて困難である。
そこで、深度拡張光学系において、解像性能ピーク位置を容易に検出可能とすることが
課題となる。
【００１０】
さらに、深度拡張光学系では、その名が示すとおり被写体の奥行き感によるボケを減少、あるいは喪失させている。一般的な写真撮影において、意図的に背景にボケを生じさせる事で被写体のクローズアップを図る手法もあり、こういった用途には、深度拡張光学系は向かない。
複数のカメラを持つことなく、用途に応じて深度の異なる撮影を行いたい場合、Ｆ値の明暗によって従来は行ってきたが、Ｆ値を暗くした光学系は、シャッター速度の低下やノイズの増加などにつながり、望ましくない。
【００１１】
本発明の目的は、解像性能ピーク位置を容易に検出可能で、光学系を簡単化でき、コスト低減を図ることができ、しかもノイズの影響が小さい復元画像を得ることが可能な撮像装置および撮像方法を提供することにある。
【課題を解決するための手段】
【００１２】
本発明の第１の観点の撮像装置は、光波面変調機能の発現、非発現が外部に依存する外部依存型光波面変調素子を含む光学系と、前記光学系を通過した被写体像を撮像する撮像素子と、前記外部依存型光波面変調素子の光波面変調機能の発現、非発現を制御する変調機能制御部と、前記撮像素子からの被写体の画像信号に対して所定の処理を施す画像処理部と、を有し、前記光学系は、前記外部依存型光波面変調素子が、前記変調機能制御部により光波面変調機能が非発現状態に制御されているときは、１焦点状態となり、発現状態に制御されているときは複数焦点状態となる。
【００１３】
本発明の第２の観点は、光波面変調素子を含む光学系と、前記光学系の光路に配置され、前記光波面変調素子の光波面変調機能を相殺する逆光波面変調機能の発現、非発現が外部に依存する外部依存型逆光波面変調素子と、前記光学系を通過した被写体像を撮像する撮像素子と、前記外部依存型逆光波面変調素子の光波面変調機能の発現、非発現を制御する変調機能制御部と、前記撮像素子からの被写体の画像信号に対して所定の処理を施す画像処理部と、を有し、前記光学系は、前記外部依存型逆光波面変調素子が、前記変調機能制御部により逆光波面変調機能が発現状態に制御されているときは、１焦点状態となり、非発現状態に制御されているときは複数焦点状態となる。
【００１４】
好適には、前記画像処理部は、所定の情報に応じて光学的伝達関数（ＯＴＦ）に対してフィルタ処理を行う機能を有し、前記変調機能制御部の変調機能の発現、非発現の切り替えが、前記画像処理部に作用するフィルタの切り替えとリンクしている。
【００１５】
好適には、前記画像処理部の画像処理後の画像をカラーまたは白黒で表示可能なモニタを有し、前記変調機能制御部の変調機能の発現、非発現の切り替えが、前記モニタ出力のカラー出力と白黒出力の切り替えとリンクしている。
【００１６】
好適には、前記画像処理部は、所定の情報に応じて光学的伝達関数（ＯＴＦ）に対するフィルタ処理による色収差補正機能を有し、前記変調機能制御部の変調機能の発現、非発現の切り替えが、前記画像処理部の色収差補正機能の切り替えとリンクしている。
【００１７】
好適には、前記画像処理部は、複数種類の復元フィルタを用いて前記画像の復元処理を行う。
【００１８】
好適には、前記画像処理部は、フィルタの演算係数を格納するメモリ手段を有する。
【００１９】
好適には、前記メモリ手段には、露出情報に応じたノイズ低減処理のための演算係数が格納される。
【００２０】
好適には、前記メモリ手段には、露出情報に応じた光学的伝達関数（OTF）復元のための演算係数が格納される。
【００２１】
好適には、前記撮像装置は、被写体までの距離に相当する情報を生成する被写体距離情報生成手段と、を備え、前記変換手段は、前記被写体距離情報生成手段により生成される情報に基づいて前記分散画像信号より分散のない画像信号を生成する。
【００２２】
好適には、前記撮像装置は、被写体までの距離に相当する情報を生成する被写体距離情報生成手段と、前記被写体距離情報生成手段により生成された情報に基づき変換係数を演算する変換係数演算手段と、を備え、前記変換手段は、前記変換係数演算手段から得られた変換係数によって、画像信号の変換を行い分散のない画像信号を生成する。
【００２３】
好適には、前記撮像装置は、撮影する被写体の撮影モードを設定する撮影モード設定手段と、を備え、前記変換手段は、前記撮影モード設定手段により設定された撮影モードに応じて異なる変換処理を行う。
【００２４】
本発明の第３の観点は、光波面変調機能の発現、非発現が外部に依存する外部依存型光波面変調素子を含む光学系を通過した被写体像を撮像素子で撮像し、前記撮像素子からの被写体の画像信号に対して所定の処理を施す撮像方法であって、前記外部依存型光波面変調素子を、光波面変調機能が非発現状態に制御して前記光学系を１焦点状態として光学系を通過する光が光源の距離によって光軸方向で異なる位置に結像するように形成した後、発現状態に制御して複数焦点状態を形成する。
【００２５】
本発明の第４の観点は、光波面変調素子を含む光学系を通過した被写体像を撮像素子で撮像し、前記撮像素子からの被写体の画像信号に対して所定の処理を施す撮像方法であって、前記光学系の光路に配置され、前記光波面変調素子の光波面変調機能を相殺する逆光波面変調機能の発現、非発現が外部に依存する外部依存型逆光波面変調素子を配置し、前記外部依存型逆光波面変調素子を、逆光波面変調機能が発現状態に制御して前記光学系を１焦点状態として光学系を通過する光が光源の距離によって光軸方向で異なる位置に結像するように形成した後、非発現状態に制御して前記光学系を複数焦点状態とする。
【発明の効果】
【００２６】
本発明によれば、解像性能ピーク位置を容易に検出可能で、光学系を簡単化でき、コスト低減を図ることができ、しかもノイズの影響が小さい復元画像を得ることができる利点がある。
【発明を実施するための最良の形態】
【００２７】
以下、本発明の実施形態を添付図面に関連付けて説明する。
【００２８】
図１は、本発明に係る撮像装置の一実施形態を示すブロック構成図である。
【００２９】
本実施形態に係る撮像装置１００は、光学系１１０、撮像素子１２０、アナログフロントエンド部（ＡＦＥ）１３０、画像処理装置１４０、カメラ信号処理部１５０、画像表示メモリ１６０、画像モニタリング装置１７０、操作部１８０、露出制御装置１９０、および変調機能制御部２００を有している。
【００３０】
光学系１１０は、被写体物体ＯＢＪを撮影した像を撮像素子１２０に供給する。
光学系１１０は、たとえば物体側ＯＢＪＳから順に配置された第１レンズ１１１と、第２レンズ１１２、絞り１１３、外部依存型光波面変調素子１１４、第３レンズ１１５、および第４レンズ１１６を有する。
第３レンズ１１５および第４レンズ１１６は接合され、撮像素子１２０に結像させるための結像レンズとして機能する。
外部依存型光波面変調素子１１４は、結像レンズによる撮像素子１２０の受光面への結像の波面を変形させる機能を有する光波面変調機能の発現、非発現が外部に依存する。
外部依存型光波面変調素子１１４は、変調機能制御部２００により光波面変調機能が非発現状態に制御されているときは、光学系１１０が１焦点状態となって光学系を通過する光が光源の距離によって光軸方向で異なる位置に結像するような良好な結像性能を有し、発現状態に制御されているときは光学系１１０が複数焦点状態となる。
【００３１】
図２（Ａ）および（Ｂ）は、本実施形態に係る外部依存型光波面変調素子の構成例および機能を説明するための図である。
【００３２】
外部依存型光波面変調素子１１４は、図２（Ａ），（Ｂ）に示すように、たとえば液晶素子１１４ａにより構成することが可能である。
この液晶素子１１４ａは、素子に与える電圧を切り替えることで、光線の集光状態を変化させることができる。
たとえば、変調機能制御部２００により電圧を印加されると、図２（Ａ）に示すように、液晶素子１１４ａは光波面変調機能が発現状態に制御され、光学系１１０が複数焦点状態となる。
一方、変調機能制御部２００により電圧印加が停止（あるいは発現状態より低レベルに設定）されると、図２（Ｂ）に示すように、液晶素子１１４ａは光波面変調機能が非発現状態に制御され、光学系１１０が１焦点状態となる。
【００３３】
また、光学系１１０Ａは、図３に示すように、たとえば第２レンズ１１２ａとして、結像レンズによる撮像素子１２０の受光面への結像の波面を変形させる、たとえば３次元的曲面を有する位相板（Ｃｕｂｉｃ Ｐｈａｓｅ Ｐｌａｔｅ）からなる光波面変調素子（波面形成用光学素子：Ｗａｖｅｆｒｏｎｔ Ｃｏｄｉｎｇ Ｏｐｔｉｃａｌ Ｅｌｅｍｅｎｔ）により形成し、かつ、外部依存型光波面変調素子の代わりに、光波面変調素子１１２ａの光波面変調機能を相殺する逆光波面変調機能の発現、非発現が外部に依存する外部依存型逆光波面変調素子１１７を配置するように構成することも可能である。
この場合、光学系１１０Ａは、外部依存型逆光波面変調素子１１７が、変調機能制御部２００により逆光波面変調機能が発現状態に制御されているときは、１焦点状態となって光学系を通過する光が光源の距離によって光軸方向で異なる位置に結像するような良好な結像性能を有し、非発現状態に制御されているときは複数焦点状態となる。
【００３４】
図４（Ａ）および（Ｂ）は、本実施形態に係る外部依存型逆光波面変調素子の構成例および機能を説明するための図である。
【００３５】
外部依存型逆光波面変調素子１１７も、図４（Ａ），（Ｂ）に示すように、たとえば液晶素子１１７ａにより構成することが可能である。
この液晶素子１１７ａは、素子に与える電圧を切り替えることで、光線の集光状態を変化させることができる。
たとえば、変調機能制御部２００により電圧を印加されると、図４（Ａ）に示すように、液晶素子１１７ａは逆光波面変調機能が非発現状態に制御され、光学系１１０Ａは複数焦点状態となる。
一方、変調機能制御部２００により電圧印加が停止（あるいは発現状態より低レベルに設定）されると、図４（Ｂ）に示すように、液晶素子１１７ａは逆光波面変調機能が非発現状態に制御され、光学系１１０Ａは１焦点状態となる。
【００３６】
撮像装置１２０は、光学系１１０で取り込んだ像が結像され、結像１次画像情報を電気信号の１次画像信号ＦＩＭとして、アナログフロントエンド部１３０を介して画像処理装置１４０に出力するＣＣＤやＣＭＯＳセンサからなる。
図１においては、撮像素子１２０を一例としてＣＣＤとして記載している。
【００３７】
アナログフロントエンド部１３０は、タイミングジェネレータ１３１、アナログ／デジタル（Ａ／Ｄ）コンバータ１３２と、を有する。
タイミングジェネレータ１３１では、撮像素子１２０のＣＣＤの駆動タイミングを生成しており、Ａ／Ｄコンバータ１３２は、ＣＣＤから入力されるアナログ信号をデジタル信号に変換し、画像処理装置１４０に出力する。
【００３８】
画像処理部の一部を構成する画像処理装置（二次元コンボリューション手段）１４０は、前段のＡＦＥ１３０からくる撮像画像のデジタル信号を入力し、二次元のコンボリューション処理を施し、後段のカメラ信号処理部（ＤＳＰ）１５０に渡す。
画像処理装置１４０は、たとえば露出制御装置１９０の露出情報に応じて、光学的伝達関数（ＯＴＦ）に対してフィルタ処理を行うと共に、色収差補正を行って色収差を改善する画像劣化の復元処理を行う。なお、露出情報として絞り情報を含む。
画像処理装置１４０は、撮像素子１２０からの被写体分散画像信号より分散のない画像信号を生成する機能を有する。また、画像処理部は、最初のステップでノイズ低減フィルタリングを施す機能を有する。
画像処理装置１４０の処理については後でさらに詳述する。
【００３９】
カメラ信号処理部（ＤＳＰ）１５０は、カラー補間、ホワイトバランス、ＹＣｂＣｒ変換処理、圧縮、ファイリング等の処理を行い、メモリ１６０への格納や画像モニタリング装置１７０への画像表示等を行う。画像モニタリング装置１７０は、カメラ信号処理部１５０の制御の下、カラー出力あるいは白黒出力が可能である。
【００４０】
カメラ信号処理部１５０は、露出制御装置１９０と変調機能制御部２００との協働により、変調機能制御部２００による光波面変調機能（逆光波面変調機能）の発現、非発現とフィルタ（カーネル）の適用の切り替えとのリンク、カラー出力あるいは白黒出力の切り替えとのリンク、色収差補正機能の切り替えとのリンク制御等を行う。
【００４１】
露出制御装置１９０は、露出制御を行うとともに、操作部１８０などの操作入力を持ち、それらの入力に応じて、システム全体の動作を決定し、ＡＦＥ１３０、画像処理装置１４０、ＤＳＰ１５０等を制御し、システム全体の調停制御を司るものである。
【００４２】
変調機能制御部２００は、カメラ信号処理部１５０の指示に応じて外部依存型光波面変調素子１１４（または逆光波面変調素子１１７）の光波面変調機能（または逆光波面変調素子）の発現、非発現を電圧により制御する。
【００４３】
以下、本実施形態の光学系、画像処理装置の構成および機能について具体的に説明する。
【００４４】
なお、本実施形態においては、外部依存型の光波面変調素子または逆光波面変調素子を用いた場合について説明したが、本発明の光波面変調素子または逆光波面変調素子としては、波面を変形させるものであればどのようなものでもよく、厚みが変化する光学素子（たとえば、上述の３次の位相板）、屈折率が変化する光学素子（たとえば屈折率分布型波面変調レンズ）、レンズ表面へのコーディングにより厚み、屈折率が変化する光学素子（たとえば、波面変調ハイブリッドレンズ）、光の位相分布を変調可能な液晶素子（たとえば、液晶空間位相変調素子）等の光波面変調素子であればよい。
また、図３の例においては、光波面変調素子である位相板を用いて規則的に分散した画像を形成する場合について説明したが、通常の光学系として用いるレンズで光波面変調素子と同様に規則的に分散した画像を形成できるものを選択した場合には、光波面変調素子を用いずに光学系のみで実現することができる。この際は、後述する位相板に起因する分散に対応するのではなく、光学系に起因する分散に対応することとなる。
位相板は、光学系により収束される光束を規則正しく分散する光学レンズである。この位相板を挿入することにより、撮像素子１２０上ではピントのどこにも合わない画像を実現する。
換言すれば、光波面変調素子によって深度の深い光束（像形成の中心的役割を成す）とフレアー（ボケ部分）を形成している。
【００４５】
この規則的に分散した画像をデジタル処理により、光学系１１０や１１０Ａを移動させずにピントの合った画像に復元する手段を波面収差制御光学系システム、あるいは深度拡張光学系システム（ＤＥＯＳ：Ｄｅｐｔｈ Ｅｘｐａｎｔｉｏｎ Ｏｐｔｉｃａｌ ｓｙｓｔｅｍ）といい、この処理を画像処理装置１４０において行う。
【００４６】
ここで、ＤＥＯＳの基本原理について説明する。
図５に示すように、被写体の画像ｆがＤＥＯＳ光学系Ｈに入ることにより、ｇ画像が生成される。
これは、次のような式で表される。
【００４７】
（数１）
ｇ＝Ｈ＊ｆ
ただし、＊はコンボリューションを表す。
【００４８】
生成された画像から被写体を求めるためには、次の処理を要する。
【００４９】
（数２）
ｆ＝Ｈ−１＊ｇ
【００５０】
ここで、Ｈに関するカーネルサイズと演算係数について説明する。
ズームポジションをＺＰｎ，ＺＰｎ−１・・・とする。また、それぞれのＨ関数をＨｎ，Ｈｎ−１、・・・・とする。
各々のスポット像が異なるため、各々のＨ関数は、次のようになる。
【００５１】
【数３】
【００５２】
この行列の行数および／または列数の違いをカーネルサイズ、各々の数字を演算係数とする。
ここで、各々のＨ関数はメモリに格納しておいても構わないし、ＰＳＦを物体距離の関数としておき、物体距離によって計算し、Ｈ関数を算出することによって任意の物体距離に対して最適なフィルタを作るように設定できるようにしても構わない。また、Ｈ関数を物体距離の関数として、物体距離によってＨ関数を直接求めても構わない。
【００５３】
本実施形態においては、図１や図３に示すように、光学系１１０や１１０Ａからの像を撮像素子１２０で受像して、画像処理装置１４０に入力させ、光学系に応じた変換係数を取得して、取得した変換係数をもって撮像素子１２０からの分散画像信号より分散のない画像信号を生成するように構成している。
【００５４】
なお、本実施形態において、分散とは、上述したように、光波面変調素子１１４や１１２ａを挿入することにより、撮像素子１２０上ではピントのどこにも合わない画像を形成し、位相板１１３によって深度の深い光束（像形成の中心的役割を成す）とフレアー（ボケ部分）を形成する現象をいい、像が分散してボケ部分を形成する振る舞いから収差と同様の意味合いが含まれる。したがって、本実施形態においては、収差として説明する場合もある。
【００５５】
ところで、ＤＥＯＳ（深度拡張光学系）では、深い被写界深度内で像性能の変化量が少ないために、ディフォーカスに対する光学性能ピーク位置の検出が困難である傾向にある。適切な評価が行い難いため、製造工程に負担をかけ、また、歩留りの面でも不利な面がある。
さらに、ＤＥＯＳでは、そのシステムの特性上、被写体の奥行き感が喪失、あるいは減少するため、意図的に背景をぼかした撮影などには向かない。
そこで、本実施形態においては、図１〜図４に関連付けて説明したようなＤＥＯＳ（深度拡張光学系）における解像性能ピーク位置の検出方法、および、容易に検出可能な光学系システムでありながら、用途に応じ深度拡張機能を失くす光学系システムを実現している。
前述したように、本実施形態においては、ＤＥＯＳ（深度拡張光学系）において、光波面変調素子を液晶素子としている。
この液晶素子は、素子に与える電圧の切り替えにより光波面（位相）変調を行えることを特徴とする。
光波面（位相）変調作用を含まない光学系の場合、もしくは位相変調作用を光学系として相殺している場合、一般的な光学系同様な光学系となり、良好な光学性能を有することが可能となる。これは、通常の撮像光学系と同様に性能だしを行うことが可能であることをも意味する。
そこに、液晶素子の位相変調作用を切り替えることで、深度拡張を生じさせることで、簡便に光学性能を調整可能な製造工程を構築することが可能となる。
【００５６】
図１に示す光学系１１０においては、結像レンズによる撮像素子１２０の受光面への結像の波面を変形させる機能を有する光波面変調機能の発現、非発現が外部に依存する外部依存型光波面変調素子１１４を設けている。
外部依存型光波面変調素子１１４は、変調機能制御部２００により光波面変調機能が非発現状態に制御されているときは、光学系１１０が１焦点状態となって光学系を通過する光が光源の距離によって光軸方向で異なる位置に結像するような良好な結像性能を有し、発現状態に制御されているときは光学系１１０が複数焦点状態となる。
【００５７】
この場合、光学系１１０は、光波面変調素子を含まない光学系が、光学系を通過する光が光源の距離によって光軸方向で異なる位置に結像するような良好な結像性能を有することとしている。これは、通常の撮像光学系と同様に性能だしを行うことが可能であることを意味する。この光学系１１０に対し、パワーの無い状態の光波面変調素子を付加しても、結像性能は変化しない。Ｆ値の明るい光学系を採用することで、奥行き感のあるボケ味を伴った写真撮影が可能になる。
また、この状態で、光学性能の調整を行うことは多種ある既存の評価手法に則っている。
そこで、本実施形態においては、液晶素子１１４ａへの電圧を変化させ、光波面（たとえば）位相変調作用を生じさせる。このとき、液晶素子１１４ａは複数焦点状態とする。この複数焦点状態画像を復元することで、深度拡張作用を生じさせることを実現できる。
【００５８】
このように、図１の光学系１１０を有する撮像装置１００は、液晶素子１１４ａにかかる電圧の切り替えにより光波面変調機能の有無を変化させている。このとき、光波面（位相）変調と画像復元の有無（フィルタ（カーネル）の適用の切り替え）とをリンクするように制御する。
【００５９】
図６（Ａ）および（Ｂ）は、液晶素子にかかる電圧の切り替えと同時に、フィルタ（カーネル）の機能をも切り替える例を示す図である。
【００６０】
図６（Ａ）に示すように、液晶素子１１４ａが光波面変調機能（作用）を発現（有している）場合は、フィルタを機能させ、画像を復元させる。それにより、深度拡張された復元画像が得られる。
一方、図６（Ｂ）に示すように、液晶素子１１４ａが位相変調機能（作用）を発現していない（有していない場合）は、フィルタを機能させない。それにより、一般撮影が可能な良好な結像状態の光学系となる。
このような構成により、液晶素子１１４ａが光波面変調機能を発現していない状態で光学系１１０の焦点調整を行って光学系を通過する光が光源の距離によって光軸方向で異なる位置に結像するように形成した後で、光波面変調機能を発現状態に維持することで深度拡張作用を生じさせることを実現できる。これにより、光波面変調素子を配置した際の製造時に焦点調整を行いにくいという課題を解決することができるようにすることも出来る。
なお、図６乃至９における光学系１１０や１１０Ａは、構成を一部省略しているが、図１や図３の光学系１１０や１１０Ａと同様の構成であるものとする。
【００６１】
また、図１の光学系１１０を有する撮像装置１００は、液晶素子１１４ａにかかる電圧の切り替えにより光波面変調機能の有無を変化させているが、このとき、光波面変調機能が生じると同時に、色収差にも変化が生じる。
したがって、一般撮影時は良好な色収差補正状態を実現した上でモニタにカラー出力を行い、一方でＤＥＯＳシステム時は、モニタに白黒出力とする。
【００６２】
図７（Ａ）および（Ｂ）は、液晶素子にかかる電圧の切り替えと同時に、モニタへの出力を切り替える例を示す図である。
【００６３】
図７（Ａ）に示すように、液晶素子１１４ａが光波面変調機能（作用）を発現（有している）場合は、白黒出力をする。
一方、図７（Ｂ）に示すように、液晶素子１１４ａが位相変調機能（作用）を発現していない（有していない場合）は、色収差の補正を光学系で行い、モニタにはカラー出力をする。
【００６４】
また、図１の光学系１１０を有する撮像装置１００は、液晶素子１１４ａにかかる電圧の切り替えにより光波面変調機能の有無を変化させているが、このとき、光波面変調機能が生じると同時に、色収差にも変化が生じる。したがって、液晶にかかる電圧の切り替えと、画像処理部の色収差補正機能の有無をリンクさせる。
【００６５】
図８（Ａ）および（Ｂ）は、液晶素子にかかる電圧の切り替えと同時に、画像処理部内の色収差補正機能を切り替える例を示す図である。
【００６６】
図８（Ａ）に示すように、液晶素子１１４ａが光波面変調機能（作用）を発現（有している）場合は、色収差の影響を受けるため、画像処理部内の色収差補正機能を使い、良好な画像を得る。
一方、図８（Ｂ）に示すように、液晶素子１１４ａが位相変調機能（作用）を発現していない（有していない場合）は、色収差の影響を受けないため、色収差補正機能は作動させない。
【００６７】
また、図３に示す光学系１１０Ａにおいては、光波面変調機能を持つ光波面変調素子１１２ａを有する構成において、外部依存型光波面変調素子の代わりに、光波面変調素子１１２ａの光波面変調機能を相殺する逆光波面変調機能の発現、非発現が外部に依存する外部依存型逆光波面変調素子１１７を配置するように構成している。
光学系１１０Ａは、外部依存型逆光波面変調素子１１７が、変調機能制御部２００により逆光波面変調機能が発現状態に制御されているときは、１焦点状態となって光学系を通過する光が光源の距離によって光軸方向で異なる位置に結像するような良好な結像性能を有し、非発現状態に制御されているときは複数焦点状態となる。
【００６８】
この場合、光波面変調素子１１２ａを含まない光学系が位相変調作用を有しているとする。この光学系に対し、パワーの無い状態の光波面変調素子を付加しても、結像状態は変化しない。このとき得られる画像を復元することで深度拡張作用を実現している。
そこで、液晶素子１１７ａへの電圧を変化させ、逆光波面変調を生じさせる。光波面変調素子１１２ａと液晶素子１１７ａとの相殺作用により、光学系１１０Ａが光学系を通過する光が光源の距離によって光軸方向で異なる位置に結像するような良好な結像性能を持つ。
この状態で、光学性能の調整を行うことは多種ある既存の評価手法に則っている。また、Ｆ値の明るい光学系を採用することで、奥行き感のあるボケ味を伴った写真撮影が可能になる。
【００６９】
このように、図３の光学系１１０Ａを有する撮像装置１００Ａは、液晶素子１１７ａにかかる電圧の切り替えにより逆光波面変調機能の有無を変化させている。このとき、光波面（位相）変調と画像復元の有無（フィルタ（カーネル）の適用の切り替え）とをリンクするように制御する。
【００７０】
図９（Ａ）および（Ｂ）は、逆光波面変調機能を発現する液晶素子にかかる電圧の切り替えと同時に、フィルタ（カーネル）の機能をも切り替える例を示す図である。
【００７１】
図９（Ａ）に示すように、光波面変調機能（作用）を有している光学系１１０Ａに対し、液晶素子１１７ａが逆光波面変調機能（作用）を発現していない（有していない場合）は、フィルタを機能させ、画像を復元させる。それにより、深度拡張された復元画像が得られる。
一方、図９（Ｂ）に示すように、光波面変調機能（作用）を有している光学系１１０Ａに対し、液晶素子１１７ａが逆光波面変調機能（作用）を発現させて光学系の光波面変調作用を相殺する場合は、フィルタを機能させない。それにより、一般撮影が可能な良好な結像状態の光学系となる。
このような構成により、液晶素子１１７ａが逆光波面変調機能の発現状態で光学系１１０Ａの焦点調整を行って良好な結像状態を形成した後で、逆光波面変調機能を発現していない状態に維持することで深度拡張作用を生じさせることを実現できる。これにより、光波面変調素子１１２ａを配置した際の製造時に焦点調整を行いにくいという課題を解決することができるようにすることもできる。また、撮像素子１２０以降の構成を図７と図８と同様にすることもできる。
【００７２】
また、本実施形態においては、ＤＥＯＳにおける解像性能ピーク位置の検出方法、および、容易に検出可能な鏡枠構造（光学系保持部の構造）を実現している。
以下のその一例を示す。
【００７３】
ここで示す鏡枠構造部２００は、基本的に、図１０に示すように、レンズ保持部２１０と撮像素子保持部２２０とが別個に構成され、これらのレンズ保持部２１０と撮像素子保持部２２０は中間部材２３０によって介して固定されており、レンズ保持部２１０と撮像素子保持部２２０の線膨張係数が異なる。
さらにこの線膨張係数による影響はレンズ保持部２１０の係数が撮像素子保持部２２０の係数に比べて大きく、この係数を制御することによりバックフォーカス位置ズレを緩和し使用環境が低温から高温にまで及んだとしても十分な性能を確保することができるように構成することができる。さらにＤＥＯＳ（深度拡張光学系）において、被写界深度の温度変化も緩和することができるように構成されている。
【００７４】
レンズ保持部２１０は、たとえば円筒状に形成され、物体側から順に、第１レンズ１１１を保持する第１保持部２１１、第２レンズ１１２（１１２ａ）を保持する第２保持部２１２、液晶素子１１４ａ（１１７ａ）を保持する第３保持部２１３、第３レンズ１１５を保持する第４保持部２１４、第４レンズ１１６を保持する第４保持部２１５が形成されている。
そして、レンズ保持部２１０の外側部の軸方向の中央より物体側が中間部材２３０の一端部と、たとえば接着剤２４０により固定されている。
レンズ保持部２１０は、たとえば樹脂により形成される。
【００７５】
撮像素子保持部２２０は、レンズ保持部２１０の外径より大きい外径を有する円筒状に形成され、中央部が軸方向に開口され、底面側（第１面側）２２１に撮像素子１２０が固定されている。
また、撮像素子保持部２２０の上面側（物体側面）２２２には中間部材２３０の一端部２３１が接着剤等により固定されている。
撮像素子保持部２２０は、たとえば樹脂により形成される。
【００７６】
中間部材２３３０は、レンズ保持部２１０の外径より大きな内径を有する円筒状に形成され、その内壁２３１の一端部には円周上に、レンズ保持部２１０を固定する際に注入される接着剤２４０の溜り部２３２が形成されている。
また、中間部材２３０の他端部は、内側に延びるように鍔部２３３が形成されており、この鍔部２３３の外側面（底面）が撮像素子保持部２２０の上面側２２２と当接するようにして固定されている。
この中間部材２３０は、線膨張係数が小さい金属材料、たとえばアルミニウム（Ａｌ）により形成される。
【００７７】
このように、本鏡枠構造部２００においては、撮像素子保持部２２０とレンズ保持部２１０は固定し光学系は固定焦点となっており、レンズ保持部２１０の材質と撮像素子保持部２２０の材質の線膨張係数を異ならせることで駆動機構を持たずに温度変化によるバックフォーカスの位置変動を緩和できる機構をもつようになる。
【００７８】
中間部材２３０の線膨張係数をレンズ保持部２１０および撮像素子保持部２２０の線膨張係数に比べて小さくすることで、たとえば温度によるレンズ系のバックフォーカス位置変動が小さく、バックフォーカスが十分に長い光学系に対し、鏡枠構造部２００の各レンズの相対的な位置変動量を抑えることができる。
【００７９】
また、本実施形態においては、光学系１１０（１１０Ａ）に含まれる樹脂レンズ（たとえば第２レンズ１１２）のパワーの合算が負であるとき、最終レンズである第４レンズ１１６の撮像素子１２０側の面と撮像素子１２０の間隔が常温より高温で短くなり、低温で長くなるように構成される。
【００８０】
また、本実施形態においては、光学系１１０に含まれる樹脂レンズのパワーの合算が正であるとき、最終レンズである第４レンズ１１６の撮像素子１２０側の面と撮像素子の間隔が常温より高温で長くなり、低温で短くなるように構成される。
【００８１】
また、中間部材２３０とレンズ保持部２１０は、レンズ保持部２１０の軸方向における中央部より物体側で固定されている。
【００８２】
このように、本実施形態においては、レンズ設計の時点で樹脂レンズのパワーを抑えることで温度による樹脂レンズの変動を抑え、さらにレンズ保持部２１０と撮像素子保持部２２０が別である構成を有し、両部材の線膨張係数を変えることで温度によるバックフォーカス変動の性能劣化を抑えるように構成される。
【００８３】
次に、画像処理装置１４０の構成および処理について説明する。
【００８４】
画像処理装置１４０は、図１に示すように、生（ＲＡＷ）バッファメモリ１４１、コンボリューション演算器１４２、記憶手段としてのカーネルデータ格納ＲＯＭ１４３、およびコンボリューション制御部１４４を有する。
【００８５】
コンボリューション制御部１４４は、コンボリューション処理のオンオフ、画面サイズ、カーネルデータの入れ替え等の制御を行い、露出制御装置１９０により制御される。
【００８６】
また、カーネルデータ格納ＲＯＭ１４３には、図１１に示すように予め用意されたそれぞれの光学系のＰＳＦにより算出されたコンボリューション用のカーネルデータが格納されており、露出制御装置１９０によって露出設定時に決まる露出情報を取得し、コンボリューション制御部１４４を通じてカーネルデータを選択制御する。
なお、露出情報には、絞り情報が含まれる。
【００８７】
また、図１１の例では、カーネルデータＡは絞り情報としてのＦナンバ（２．８）、カーネルデータＢはＦナンバ（４）、カーネルデータＣはＦナンバ（５．６）に対応したデータとなっている。
【００８８】
図１１の例のように、絞り情報に応じたフィルタ処理を行うのは以下の理由による。
絞りを絞って撮影を行う場合、絞りによって光波面変調素子が覆われてしまい、位相が変化してしまうため、適切な画像を復元することが困難となる。
そこで、本実施形態においては、本例のように、露出情報中の絞り情報に応じたフィルタ処理を行うことによって適切な画像復元を実現している。
【００８９】
図１２は、露出制御装置１９０の露出情報（絞り情報を含む）により切り替え処理のフローチャートである。
まず、露出情報（ＲＰ）が検出されコンボリューション制御部１４４に供給される（ＳＴ１０１）。
コンボリューション制御部１４４においては、露出情報ＲＰから、カーネルサイズ、数値演係数がレジスタにセットされる（ＳＴ１０２）。
そして、撮像素子１２０で撮像され、ＡＦＥ１３０を介して二次元コンボリューション演算部１４２に入力された画像データに対して、レジスタに格納されたデータに基づいてコンボリューション演算が行われ、演算され変換されたデータがカメラ信号処理部１５０に転送される（ＳＴ１０３）。
【００９０】
コンボリューション演算は下記の式で表される。
【００９１】
【数４】
【００９２】
ただし、ｆはフィルタ（ｆｉｌｔｅｒ）カーネルを示している（ここでは計算を容易にするために１８０度回転済みのものを使用している）。
また、Ａは元画像、Ｂはフィルタリングされた画像（ボケ復元画像）を示している。
この式から分かる通り、ｆを画像に重ねて各タップ同士の積和した結果をその重ねた中心座標の値とすることである。
【００９３】
上述したように、コンボリューション処理は画像処理装置１４０で行われる。撮像素子１２０からの画素データは式４に従いコンボリュージョン処理される。
【００９４】
画像処理装置１４０は、はじめに位相変調素子によるボケを位相変調素子によるボケ復元フィルタを用いて、換言すれば、カーネルデータ格納ＲＯＭ１４３から位相変調素子によるボケ復元用のフィルタ係数を読み込み、このフィルタ係数により復元処理を行う。
すると処理後は位相変調素子によるボケは改善される。
【００９５】
以下に画像処理装置１４０の信号処理部とカーネルデータ格納ＲＯＭについてさらに具体的な例について説明する。
【００９６】
図１３は、信号処理部とカーネルデータ格納ＲＯＭについての第１の構成例を示す図である。なお、簡単化のためにＡＦＥ等は省略している。
図１３の例は露出情報に応じたフィルタカーネルを予め用意した場合のブロック図である。
【００９７】
露出設定時に決まる露出情報を取得し、コンボリューション制御部１４４を通じてカーネルデータを選択制御する。２次元コンボリューション演算部１４２においては、カーネルデータを用いてコンボリューション処理を施す。
【００９８】
図１４は、信号処理部とカーネルデータ格納ＲＯＭについての第２の構成例を示す図である。なお、簡単化のためにＡＦＥ等は省略している。
図１４の例は、信号処理部の最初にノイズ低減フィルタ処理のステップを有し、フィルタカーネルデータとして露出情報に応じたノイズ低減フィルタ処理ＳＴ１を予め用意した場合のブロック図である。
【００９９】
露出設定時に決まる露出情報を取得し、コンボリューション制御部１４４を通じてカーネルデータを選択制御する。
２次元コンボリューション演算部１４２においては、前記ノイズ低減フィルタＳＴ１を施した後、カラーコンバージョン処理ＳＴ２によって色空間を変換、その後カーネルデータを用いてコンボリューション処理ＳＴ３を施す。
再度ノイズ処理ＳＴ４を行い、カラーコンバージョン処理ＳＴ５によって元の色空間に戻す。カラーコンバージョン処理は、たとえばＹＣｂＣｒ変換が挙げられるが、他の変換でも構わない。
なお、再度のノイズ処理ＳＴ４は省略することも可能である。
【０１００】
図１５は、信号処理部とカーネルデータ格納ＲＯＭについての第３の構成例を示す図である。なお、簡単化のためにＡＦＥ等は省略している。
図１５の例は、露出情報に応じたＯＴＦ復元フィルタを予め用意した場合のブロック図である。
【０１０１】
露出設定時に決まる露出情報を取得し、コンボリューション制御部１４４を通じてカーネルデータを選択制御する。
２次元コンボリューション演算部１４２は、ノイズ低減処理ＳＴ１１、カラーコンバージョン処理ＳＴ１２の後に、前記ＯＴＦ復元フィルタを用いてコンボリューション処理ＳＴ１３を施す。
再度ノイズ処理ＳＴ１４を行い、カラーコンバージョン処理ＳＴ１５によって元の色空間に戻す。カラーコンバージョン処理は、たとえばＹＣｂＣｒ変換が挙げられるが、他の変換でも構わない。
なお、ノイズ低減処理ＳＴ１１、ＳＴ１４は、いずれか一方のみでもよい。
【０１０２】
図１６は、信号処理部とカーネルデータ格納ＲＯＭについての第４の構成例を示す図である。なお、簡単化のためにＡＦＥ等は省略している。
図１６の例は、ノイズ低減フィルタ処理のステップを有し、フィルタカーネルデータとして露出情報に応じたノイズ低減フィルタを予め用意した場合のブロック図である。
なお、再度のノイズ処理ＳＴ４は省略することも可能である。
露出設定時に決まる露出情報を取得し、コンボリューション制御部１４４を通じてカーネルデータを選択制御する。
２次元コンボリューション演算部１４２においては、ノイズ低減フィルタ処理ＳＴ２１を施した後、カラーコンバージョン処理ＳＴ２２によって色空間を変換、その後カーネルデータを用いてコンボリューション処理ＳＴ２３を施す。
再度、露出情報に応じたノイズ処理ＳＴ２４を行い、カラーコンバージョン処理ＳＴ２５によって元の色空間に戻す。カラーコンバージョン処理は、たとえばＹＣｂＣｒ変換が挙げられるが、他の変換でも構わない。
なお、ノイズ低減処理ＳＴ２１は省略することも可能である。
【０１０３】
以上は露出情報のみに応じて２次元コンボリューション演算部１４２においてフィルタ処理を行う例を説明したが、たとえば被写体距離情報、ズーム情報、あるいは撮影モード情報と露出情報とを組み合わせることにより適した演算係数の抽出、あるいは演算を行うことが可能となる。
【０１０４】
図１７は、被写体距離情報と露出情報とを組み合わせる画像処理装置の構成例を示す図である。
図１２は、撮像素子１２０からの被写体分散画像信号より分散のない画像信号を生成するが画像処理装置３００の構成例を示している。
【０１０５】
画像処理装置３００は、図１７に示すように、コンボリューション装置３０１、カーネル・数値演算係数格納レジスタ３０２、および画像処理演算プロセッサ３０３を有する。
【０１０６】
この画像処理装置３００においては、物体概略距離情報検出装置４００から読み出した被写体の物体距離の概略距離に関する情報および露出情報を得た画像処理演算プロセッサ３０３では、その物体離位置に対して適正な演算で用いる、カーネルサイズやその演算係数をカーネル、数値算係数格納レジスタ３０２に格納し、その値を用いて演算するコンボリューション装置３０１にて適正な演算を行い、画像を復元する。
【０１０７】
上述のように、光波面変調機能を備えた撮像装置の場合、所定の焦点距離範囲内であればその範囲内に関し画像処理によって適正な収差のない画像信号を生成できるが、所定の焦点距離範囲外の場合には、画像処理の補正に限度があるため、前記範囲外の被写体のみ収差のある画像信号となってしまう。
また一方、所定の狭い範囲内に収差が生じない画像処理を施すことにより、所定の狭い範囲外の画像にぼけ味を出すことも可能になる。
本例においては、主被写体までの距離を、距離検出センサを含む物体概略距離情報検出装置４００により検出し、検出した距離に応じて異なる画像補正の処理を行うことにように構成されている。
【０１０８】
上記の画像処理はコンボリューション演算により行うが、これを実現するには、たとえばコンボリューション演算の演算係数を共通で１種類記憶しておき、焦点距離に応じて補正係数を予め記憶しておき、この補正係数を用いて演算係数を補正し、補正した演算係数で適性なコンボリューション演算を行う構成をとることができる。
この構成の他にも、以下の構成を採用することが可能である。
【０１０９】
焦点距離に応じて、カーネルサイズやコンボリューションの演算係数自体を予め記憶しておき、これら記憶したカーネルサイズや演算係数でコンボリューション演算を行う構成、焦点距離に応じた演算係数を関数として予め記憶しておき、焦点距離によりこの関数より演算係数を求め、計算した演算係数でコンボリューション演算を行う構成等、を採用することが可能である。
【０１１０】
図１７の構成に対応付けると次のような構成をとることができる。
【０１１１】
変換係数記憶手段としてのレジスタ３０２に被写体距離に応じて少なくとも位相板１１３に起因する収差に対応した変換係数を少なくとも２以上予め記憶する。画像処理演算プロセッサ３０３が、被写体距離情報生成手段としての物体概略距離情報検出装置４００により生成された情報に基づき、レジスタ３０２から被写体までの距離に応じた変換係数を選択する係数選択手段として機能する。
そして、変換手段としてのコンボリューション装置３０１が、係数選択手段としての画像処理演算プロセッサ３０３で選択された変換係数によって、画像信号の変換を行う。
【０１１２】
または、前述したように、変換係数演算手段としての画像処理演算プロセッサ３０３が、被写体距離情報生成手段としての物体概略距離情報検出装置４００により生成された情報に基づき変換係数を演算し、レジスタ３０２に格納する。
そして、変換手段としてのコンボリューション装置３０１が、変換係数演算手段としての画像処理演算プロセッサ３０３で得られレジスタ３０２に格納された変換係数によって、画像信号の変換を行う。
【０１１３】
または、補正値記憶手段としてのレジスタ３０２にズーム光学系１１０のズーム位置またはズーム量に応じた少なくとも１以上の補正値を予め記憶する。この補正値には、被写体収差像のカーネルサイズを含まれる。
第２変換係数記憶手段としても機能するレジスタ３０２に、位相板１１３に起因する収差に対応した変換係数を予め記憶する。
そして、被写体距離情報生成手段としての物体概略距離情報検出装置４００により生成された距離情報に基づき、補正値選択手段としての画像処理演算プロセッサ３０３が、補正値記憶手段としてのレジスタ３０２から被写体までの距離に応じた補正値を選択する。
変換手段としてのコンボリューション装置３０１が、第２変換係数記憶手段としてのレジスタ３０２から得られた変換係数と、補正値選択手段としての画像処理演算プロセッサ３０３により選択された補正値とに基づいて画像信号の変換を行う。
【０１１４】
図１８に、露出情報と、物体距離情報と、撮影モードとを用いた場合のフィルタの構成例を示す。
この例では、物体距離情報と撮影モード情報で２次元的な情報を形成し、露出情報が奥行きのような情報を形成している。
【０１１５】
図１９は、撮影モード情報と露出情報とを組み合わせる画像処理装置の構成例を示す図である。
図１９は、撮像素子１２０からの被写体分散画像信号より分散のない画像信号を生成する画像処理装置３００Ｂの構成例を示している。
【０１１６】
画像処理装置３００Ｂは、図１７と同様に、コンボリューション装置３０１、記憶手段としてのカーネル・数値演算係数格納レジスタ３０２、および画像処理演算プロセッサ３０３を有する。
【０１１７】
この画像処理装置３００Ｂにおいては、物体概略距離情報検出装置５００から読み出した被写体の物体距離の概略距離に関する情報および露出情報を得た画像処理演算プロセッサ３０３では、その物体離位置に対して適正な演算で用いる、カーネルサイズやその演算係数をカーネル、数値算係数格納レジスタ３０２に格納し、その値を用いて演算するコンボリューション装置３０１にて適正な演算を行い、画像を復元する。
【０１１８】
この場合も上述のように、光波面変調機能を備えた撮像装置の場合、所定の焦点距離範囲内であればその範囲内に関し画像処理によって適正な収差のない画像信号を生成できるが、所定の焦点距離範囲外の場合には、画像処理の補正に限度があるため、前記範囲外の被写体のみ収差のある画像信号となってしまう。
また一方、所定の狭い範囲内に収差が生じない画像処理を施すことにより、所定の狭い範囲外の画像にぼけ味を出すことも可能になる。
本例においては、主被写体までの距離を、距離検出センサを含む物体概略距離情報検出装置５００により検出し、検出した距離に応じて異なる画像補正の処理を行うように構成されている。
【０１１９】
上記の画像処理はコンボリューション演算により行うが、これを実現するには、コンボリューション演算の演算係数を共通で１種類記憶しておき、物体距離に応じて補正係数を予め記憶しておき、この補正係数を用いて演算係数を補正し、補正した演算係数で適性なコンボリューション演算を行う構成、物体距離に応じた演算係数を関数として予め記憶しておき、焦点距離によりこの関数より演算係数を求め、計算した演算係数でコンボリューション演算を行う構成、物体距離に応じて、カーネルサイズやコンボリューションの演算係数自体を予め記憶しておき、これら記憶したカーネルサイズや演算係数でコンボリューション演算を行う構成等、を採用することが可能である。
【０１２０】
本実施形態においては、上述したように、ＤＳＣのモード設定（ポートレイト、無限遠（風景）、マクロ）に応じて画像処理を変更する。
【０１２１】
図１９の構成に対応付けると次のような構成をとることができる。
【０１２２】
前述したように、変換係数演算手段としての画像処理演算プロセッサ３０３を通して操作部１８０の撮影モード設定部６００により設定される各撮影モードに応じて異なる変換係数を変換係数記憶手段としてのレジスタ３０２に格納する。
画像処理演算プロセッサ３０３が、撮影モード設定部６００の操作スイッチ６０１により設定された撮影モードに応じて、被写体距離情報生成手段としての物体概略距離情報検出装置５００により生成された情報に基づき、変換係数記憶手段としてのレジスタ３０２から変換係数を抽出する。このとき、たとえば画像処理演算プロセッサ３０３が変換係数抽出手段として機能する。
そして、変換手段としてのコンボリューション装置３０１が、レジスタ３０２に格納された変換係数によって、画像信号の撮影モードに応じた変換処理を行う。
【０１２３】
また、図１のカーネルデータ格納ＲＯＭに関しても、光学倍率、Ｆナンバやそれぞれのカーネルのサイズ、値に対して用いられるものとは限らない。また用意するカーネルデータの数についても３個とは限らない。
図１８のように３次元、さらには４次元以上とすることで格納量が多くなるが、種々の条件を考慮してより適したものを選択することができるようになる。情報としては、上述した露出情報、物体距離情報、撮像モード情報等であればよい。
【０１２４】
なお、上述のように、光波面変調素子を有する撮像装置の場合、所定の焦点距離範囲内であればその範囲内に関し画像処理によって適正な収差のない画像信号を生成できるが、所定の焦点距離範囲外の場合には、画像処理の補正に限度があるため、前記範囲外の被写体のみ収差のある画像信号となってしまう。
また一方、所定の狭い範囲内に収差が生じない画像処理を施すことにより、所定の狭い範囲外の画像にぼけ味を出すことも可能になる。
【０１２５】
本実施形態においては、ＤＥＯＳを採用し、高精細な画質を得ることが可能で、しかも、光学系を簡単化でき、コスト低減を図ることが可能となっている。
以下、この特徴について説明する。
【０１２６】
図２０（Ａ）〜（Ｃ）は、撮像素子１２０の受光面でのスポット像を示している。
図２０（Ａ）は焦点が０．２ｍｍずれた場合（Ｄｅｆｏｃｕｓ＝０．２ｍｍ）、図２０（Ｂ）が合焦点の場合（Ｂｅｓｔ ｆｏｃｕｓ）、図２０（Ｃ）が焦点が−０．２ｍｍずれた場合（Ｄｅｆｏｃｕｓ＝−０．２ｍｍ）の各スポット像を示している。
図２０（Ａ）〜（Ｃ）からもわかるように、本実施形態に係る撮像装置１００においては、光波面変調機能によって深度の深い光束（像形成の中心的役割を成す）とフレアー（ボケ部分）が形成される。
【０１２７】
このように、本実施形態の撮像装置１００において形成された１次画像ＦＩＭは、深度が非常に深い光束条件にしている。
【０１２８】
図２１（Ａ），（Ｂ）は、本実施形態に係る撮像レンズ装置により形成される１次画像の変調伝達関数（ＭＴＦ：Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）について説明するための図であって、図２１（Ａ）は撮像レンズ装置の撮像素子の受光面でのスポット像を示す図で、図２１（Ｂ）が空間周波数に対するＭＴＦ特性を示している。
本実施形態においては、高精細な最終画像は後段の、たとえばデジタルシグナルプロセッサ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）からなる画像処理装置１４０の補正処理に任せるため、図２１（Ａ），（Ｂ）に示すように、１次画像のＭＴＦは本質的に低い値になっている。
【０１２９】
画像処理装置１４０は、上述したように、撮像素子１２０による１次画像ＦＩＭを受けて、１次画像の空間周波数におけるＭＴＦをいわゆる持ち上げる所定の補正処理等を施して高精細な最終画像ＦＮＬＩＭを形成する。
【０１３０】
画像処理装置１４０のＭＴＦ補正処理は、たとえば図２２の曲線Ａで示すように、本質的に低い値になっている１次画像のＭＴＦを、空間周波数をパラメータとしてエッジ強調、クロマ強調等の後処理にて、図２２中曲線Ｂで示す特性に近づく（達する）ような補正を行う。
図２２中曲線Ｂで示す特性は、たとえば本実施形態のように、光波面変調機能を発現させずに波面を変形させない場合に得られる特性である。
なお、本実施形態における全ての補正は、空間周波数のパラメータによる。
【０１３１】
本実施形態においては、図２２に示すように、光学的に得られる空間周波数に対するＭＴＦ特性曲線Ａに対して、最終的に実現したいＭＴＦ特性曲線Ｂを達成するためには、それぞれの空間周波数に対し、エッジ強調等の強弱を付け、元の画像（１次画像）に対して補正をかける。
たとえば、図２２のＭＴＦ特性の場合、空間周波数に対するエッジ強調の曲線は、図２３に示すようになる。
【０１３２】
すなわち、空間周波数の所定帯域内における低周波数側および高周波数側でエッジ強調を弱くし、中間周波数領域においてエッジ強調を強くして補正を行うことにより、所望のＭＴＦ特性曲線Ｂを仮想的に実現する。
【０１３３】
このように、実施形態に係る撮像装置１００は、基本的に、１次画像を形成する光学系１１０および撮像素子１２０と、１次画像を高精細な最終画像に形成する画像処理装置１４０からなり、光学系システムの中に、光波面変調機能の発現、非発現を切り替え可能な光学素子を新たに設けるか、光波面変調機能を有する光学系に光波面変調機能を相殺可能な逆光波面変調素子を設けることにより、結像の波面を変形（変調）し、そのような波面をＣＣＤやＣＭＯＳセンサからなる撮像素子１２０の撮像面（受光面）に結像させ、その結像１次画像を、画像処理装置１４０を通して高精細画像を得る画像形成システムである。
本実施形態では、撮像素子１２０による１次画像は深度が非常に深い光束条件にしている。そのために、１次画像のＭＴＦは本質的に低い値になっており、そのＭＴＦの補正を画像処理装置１４０で行う。
【０１３４】
ここで、本実施形態における撮像装置１００における結像のプロセスを、波動光学的に考察する。
物点の１点から発散された球面波は結像光学系を通過後、収斂波となる。そのとき、結像光学系が理想光学系でなければ収差が発生する。波面は球面でなく複雑な形状となる。幾何光学と波動光学の間を取り持つのが波面光学であり、波面の現象を取り扱う場合に便利である。
結像面における波動光学的ＭＴＦを扱うとき、結像光学系の射出瞳位置における波面情報が重要となる。
ＭＴＦの計算は結像点における波動光学的強度分布のフーリエ変換で求まる。その波動光学的強度分布は波動光学的振幅分布を２乗して得られるが、その波動光学的振幅分布は射出瞳における瞳関数のフーリエ変換から求まる。
さらにその瞳関数はまさに射出瞳位置における波面情報（波面収差）そのものからであることから、その光学系１１０を通して波面収差が厳密に数値計算できればＭＴＦが計算できることになる。
【０１３５】
したがって、所定の手法によって射出瞳位置での波面情報に手を加えれば、任意に結像面におけるＭＴＦ値は変更可能である。
本実施形態においても、波面の形状変化を波面形成用光学素子で行うのが主であるが、まさにｐｈａｓｅ（位相、光線に沿った光路長）に増減を設けて目的の波面形成を行っている。
そして、目的の波面形成を行えば、射出瞳からの射出光束は、図２０（Ａ）〜（Ｃ）に示す幾何光学的なスポット像からわかるように、光線の密な部分と疎の部分から形成される。
この光束状態のＭＴＦは空間周波数の低いところでは低い値を示し、空間周波数の高いところまでは何とか解像力は維持している特徴を示している。
すなわち、この低いＭＴＦ値（または、幾何光学的にはこのようなスポット像の状態）であれば、エリアジングの現象を発生させないことになる。
つまり、ローパスフィルタが必要ないのである。
そして、後段のＤＳＰ等からなる画像処理装置１４０でＭＴＦ値を低くしている原因のフレアー的画像を除去すれば良いのである。それによってＭＴＦ値は著しく向上する。
【０１３６】
次に、本実施形態および従来光学系のＭＴＦのレスポンスについて考察する。
【０１３７】
図２４は、一般的な光学系の場合において物体が焦点位置にあるときと焦点位置から外れたときのＭＴＦのレスポンス（応答）を示す図である。
図２５は、光波面変調素子を有する本実施形態の光学系の場合において物体が焦点位置にあるときと焦点位置から外れたときのＭＴＦのレスポンスを示す図である。
また、図２６は、本実施形態に係る撮像装置のデータ復元後のＭＴＦのレスポンスを示す図である。
【０１３８】
図からもわかるように、光波面変調素子を有する光学系の場合、物体が焦点位置から外れた場合でもＭＴＦのレスポンスの変化が光波面変調素子を挿入してない光学径よりも少なくなる。
この光学系によって結像された画像を、コンボリューションフィルタによる処理によって、ＭＴＦのレスポンスが向上する。
【０１３９】
以上説明したように、本実施形態によれば、結像レンズによる撮像素子１２０の受光面への結像の波面を変形させる機能を有する光波面変調機能の発現、非発現が外部に依存する外部依存型光波面変調素子１１４を備えた光学系１１０と、光学系１１０を通過した被写体像を撮像する撮像素子１２０と、撮像素子１２０からの被写体の画像信号に対して所定の処理を施す画像処理装置１４０と、を有し、光学系１１０は外部依存型光波面変調素子１１４が、変調機能制御部２００により光波面変調機能が非発現状態に制御されているときは、１焦点状態となり、発現状態に制御されているときは複数焦点状態となる。
また、本実施形態によれば光波面変調機能を含む光学系１１０Ａと、光学系１１０Ａを通過した被写体像を撮像する撮像素子１２０と、撮像素子１２０からの被写体の画像信号に対して所定の処理を施す画像処理装置１４０と、を有し、光学系１１０Ａに、光波面変調素子１１２ａの光波面変調機能を相殺する逆光波面変調機能の発現、非発現が外部に依存する外部依存型逆光波面変調素子１１７を配置し、光学系１１０Ａは、外部依存型逆光波面変調素子１１７が、変調機能制御部２００により逆光波面変調機能が発現状態に制御されているときは、１焦点状態となり、非発現状態に制御されているときは複数焦点状態となる。
したがって、以下の効果を得ることができる。
【０１４０】
解像性能ピーク位置を容易に検出可能で、また、容易に検出可能な光学システムでありながら、用途に応じ深度拡張機能をなくすこともできる利点がある。
また、フォーカス調整はＤＥＯＳ技術を用いることから画像全体にピントの合った復元画像を提供できる。特に監視カメラのような電子画像機器システムには最適な光学システムと言える。
【０１４１】
また、画像処理装置１４０において、露出制御装置１９０からの露出情報に応じて光学的伝達関数（ＯＴＦ）に対してフィルタ処理を行うことから、光学系を簡単化でき、コスト低減を図ることができ、しかもノイズの影響が小さい復元画像を得ることができる利点がある。
また、コンボリューション演算時に用いるカーネルサイズやその数値演算で用いられる係数を可変とし、操作部１８０等の入力により知り、適性となるカーネルサイズや上述した係数を対応させることにより、倍率やディフォーカス範囲を気にすることなくレンズ設計ができ、かつ精度の高いコンボリュ−ションによる画像復元が可能となる利点がある。
また、難度が高く、高価でかつ大型化した光学レンズを必要とせずに、かつ、レンズを駆動させること無く、撮影したい物体に対してピントが合い、背景はぼかすといった、いわゆる自然な画像を得ることができる利点がある。
そして、本実施形態に係る撮像装置１００は、デジタルカメラやカムコーダー等の民生機器の小型、軽量、コストを考慮されたズームレンズのＤＥＯＳに使用することが可能である。
【０１４２】
また、本実施形態においては、結像レンズ１１２による撮像素子１２０の受光面への結像の波面を変形させる波面形成用光学素子を有する撮像レンズ系と、撮像素子１２０による１次画像ＦＩＭを受けて、１次画像の空間周波数におけるＭＴＦをいわゆる持ち上げる所定の補正処理等を施して高精細な最終画像ＦＮＬＩＭを形成する画像処理装置１４０とを有することから、高精細な画質を得ることが可能となるという利点がある。
また、光学系１１０の構成を簡単化でき、製造が容易となり、コスト低減を図ることができる。
【０１４３】
ところで、ＣＣＤやＣＭＯＳセンサを撮像素子として用いた場合、画素ピッチから決まる解像力限界が存在し、光学系の解像力がその限界解像力以上であるとエリアジングのような現象が発生し、最終画像に悪影響を及ぼすことは周知の事実である。
画質向上のため、可能な限りコントラストを上げることが望ましいが、そのことは高性能なレンズ系を必要とする。
【０１４４】
しかし、上述したように、ＣＣＤやＣＭＯＳセンサを撮像素子として用いた場合、エリアジングが発生する。
現在、エリアジングの発生を避けるため、撮像レンズ装置では、一軸結晶系からなるローパスフィルタを併用し、エリアジングの現象の発生を避けている。
このようにローパスフィルタを併用することは、原理的に正しいが、ローパスフィルタそのものが結晶でできているため、高価であり、管理が大変である。また、光学系に使用することは光学系をより複雑にしているという不利益がある。
【０１４５】
以上のように、時代の趨勢でますます高精細の画質が求められているにもかかわらず、高精細な画像を形成するためには、従来の撮像レンズ装置では光学系を複雑にしなければならない。複雑にすれば、製造が困難になったりし、また高価なローパスフィルタを利用したりするとコストアップにつながる。
しかし、本実施形態によれば、ローパスフィルタを用いなくとも、エリアジングの現象の発生を避けることができ、高精細な画質を得ることができる。
【０１４６】
なお、本実施形態において、光学系の波面形成用光学素子を絞りより物体側レンズよりに配置した例を示したが、絞りと同一あるいは絞りより結像レンズ側に配置しても前記と同様の作用効果を得ることができる。
【図面の簡単な説明】
【０１４７】
【図１】本発明に係る撮像装置の一実施形態を示すブロック構成図である。
【図２】本実施形態に係る外部依存型光波面変調素子の構成例および機能を説明するための図である。
【図３】本実施形態に係る光学系の他の構成例を説明するための図である。
【図４】本実施形態に係る外部依存型逆光波面変調素子の構成例および機能を説明するための図である。
【図５】ＤＥＯＳの原理を説明するための図である。
【図６】液晶素子にかかる電圧の切り替えと同時に、フィルタ（カーネル）の機能をも切り替える例を示す図である。
【図７】液晶素子にかかる電圧の切り替えと同時に、モニタへの出力を切り替える例を示す図である。
【図８】液晶素子にかかる電圧の切り替えと同時に、画像処理部内の色収差補正機能を切り替える例を示す図である。
【図９】逆光波面変調機能を発現する液晶素子にかかる電圧の切り替えと同時に、フィルタ（カーネル）の機能をも切り替える例を示す図である。
【図１０】本実施形態に係る鏡枠構造の一例を示す図である。
【図１１】カーネルデータＲＯＭの格納データの他例（Ｆナンバ）を示す図である。
【図１２】露出制御装置の光学系設定処理の概要を示すフローチャートである。
【図１３】信号処理部とカーネルデータ格納ＲＯＭについての第１の構成例を示す図である。
【図１４】信号処理部とカーネルデータ格納ＲＯＭについての第２の構成例を示す図である。
【図１５】信号処理部とカーネルデータ格納ＲＯＭについての第３の構成例を示す図である。
【図１６】信号処理部とカーネルデータ格納ＲＯＭについての第４の構成例を示す図である。
【図１７】被写体距離情報と露出情報とを組み合わせる画像処理装置の構成例を示す図である。
【図１８】露出情報と、物体距離情報と、ズーム情報とを用いた場合のフィルタの構成例を示す図である。
【図１９】撮影モード情報と露出情報とを組み合わせる画像処理装置の構成例を示す図である。
【図２０】本実施形態に係る撮像素子の受光面でのスポット像を示す図であって、（Ａ）は焦点が０．２ｍｍずれた場合（Ｄｅｆｏｃｕｓ＝０．２ｍｍ）、（Ｂ）は合焦点の場合（Ｂｅｓｔ ｆｏｃｕｓ）、（Ｃ）は焦点が−０．２ｍｍずれた場合（Ｄｅｆｏｃｕｓ＝−０．２ｍｍ）の各スポット像を示す図である。
【図２１】本実施形態に係る撮像素子により形成される１次画像のＭＴＦについて説明するための図であって、（Ａ）は撮像レンズ装置の撮像素子の受光面でのスポット像を示す図で、（Ｂ）が空間周波数に対するＭＴＦ特性を示す図である。
【図２２】本実施形態に係る画像処理装置におけるＭＴＦ補正処理を説明するための図である。
【図２３】本実施形態に係る画像処理装置におけるＭＴＦ補正処理を具体的に説明するための図である。
【図２４】一般的な光学系の場合において物体が焦点位置にあるときと焦点位置から外れたときのＭＴＦのレスポンス（応答）を示す図である。
【図２５】光波面変調素子を有する本実施形態の光学系の場合において物体が焦点位置にあるときと焦点位置から外れたときのＭＴＦのレスポンスを示す図である。
【図２６】本実施形態に係る撮像装置のデータ復元後のＭＴＦのレスポンスを示す図である。
【図２７】一般的な撮像レンズ装置の構成および光束状態を模式的に示す図である。
【図２８】図２７の撮像レンズ装置の撮像素子の受光面でのスポット像を示す図であって、（Ａ）は焦点が０．２ｍｍずれた場合（Ｄｅｆｏｃｕｓ＝０．２ｍｍ）、（Ｂ）が合焦点の場合（Ｂｅｓｔ ｆｏｃｕｓ）、（Ｃ）が焦点が−０．２ｍｍずれた場合（Ｄｅｆｏｃｕｓ＝−０．２ｍｍ）の各スポット像を示す図である。
【符号の説明】
【０１４８】
１００，１００Ａ・・・撮像装置、１１０，１１０Ａ・・・光学系、１２０・・・撮像素子、１３０・・・アナログフロントエンド部（ＡＦＥ）、１４０・・・画像処理装置、１５０・・・カメラ信号処理部、１８０・・・操作部、１９０・・・露出制御装置、２００・・・変調機能制御部、１１１・・・第１レンズ、１１２・・・第２レンズ、１１２ａ・・・光波面変調素子、１１３・・・絞り、１１４・・・外部依存型光波面変調素子、１１４ａ・・・光波面変調機能を発現可能な液晶素子、１１５・・・第３レンズ、１１６・・・第４レンズ、１１７・・・外部依存型逆光波面変調素子、１１７ａ・・・逆光波面変調機能を発現可能な液晶素子、１４２・・・コンボリューション演算器、１４３・・・カーネルデータＲＯＭ、１４４・・・コンボリューション制御部。
【技術分野】
【０００１】
本発明は、撮像素子を用い、光学系を備えたデジタルスチルカメラや携帯電話搭載カメラ、携帯情報端末搭載カメラ、画像検査装置、自動制御用産業カメラ等の撮像装置および撮像装置に関するものである。
【背景技術】
【０００２】
近年急峻に発展を遂げている情報のデジタル化に相俟って映像分野においてもその対応が著しい。
特に、デジタルカメラに象徴されるように撮像面は従来のフィルムに変わって固体撮像素子であるＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ），ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサが使用されているのが大半である。
【０００３】
このように、撮像素子にＣＣＤやＣＭＯＳセンサを使った撮像レンズ装置は、被写体の映像を光学系により光学的に取り込んで、撮像素子により電気信号として抽出するものであり、デジタルスチルカメラの他、ビデオカメラ、デジタルビデオユニット、パーソナルコンピュータ、携帯電話機、携帯情報端末（ＰＤＡ：Ｐｅｒｓｏｎａｌ ＤｉｇｉｔａｌＡｓｓｉｓｔａｎｔ）、画像検査装置、自動制御用産業カメラ等に用いられている。
【０００４】
図２７は、一般的な撮像レンズ装置の構成および光束状態を模式的に示す図である。
この撮像レンズ装置１は、光学系２とＣＣＤやＣＭＯＳセンサ等の撮像素子３とを有する。
光学系は、物体側レンズ２１，２２、絞り２３、および結像レンズ２４を物体側（ＯＢＪＳ）から撮像素子３側に向かって順に配置されている。
【０００５】
撮像レンズ装置１においては、図２７に示すように、ベストフォーカス面を撮像素子面上に合致させている。
図２８（Ａ）〜（Ｃ）は、撮像レンズ装置１の撮像素子３の受光面でのスポット像を示している。
【０００６】
また、位相板（Ｗａｖｅｆｒｏｎｔ Ｃｏｄｉｎｇ ｏｐｔｉｃａｌ ｅｌｅｍｅｎｔ）により光束を規則的に分散し、デジタル処理により復元させ被写界深度の深い画像撮影を可能にする等の撮像装置が提案されている（たとえば非特許文献１，２、特許文献１〜５参照）。
また、伝達関数を用いたフィルタ処理を行うデジタルカメラの自動露出制御システムが提案されている（たとえば特許文献６参照）。
【非特許文献１】“Wavefront Coding;jointly optimized optical and digital imaging systems”,Edward R.Dowski,Jr.,Robert H.Cormack,Scott D.Sarama.
【非特許文献２】“Wavefront Coding;A modern method of achieving high performance and/or low cost imaging systems”,Edward R.Dowski,Jr.,Gregory E.Johnson.
【特許文献１】ＵＳＰ６，０２１，００５
【特許文献２】ＵＳＰ６，６４２，５０４
【特許文献３】ＵＳＰ６，５２５，３０２
【特許文献４】ＵＳＰ６，０６９，７３８
【特許文献５】特開２００３−２３５７９４号公報
【特許文献６】特開２００４−１５３４９７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
上述した各文献にて提案された撮像装置においては、その全ては通常光学系に上述の位相板を挿入した場合のＰＳＦ（Ｐｏｉｎｔ−Ｓｐｒｅａｄ−Ｆｕｎｃｔｉｏｎ）が一定になっていることが前提であり、ＰＳＦが変化した場合は、その後のカーネルを用いたコンボリューションにより、被写界深度の深い画像を実現することは極めて難しい。
したがって、単焦点でのレンズではともかく、ズーム系やＡＦ系などのレンズでは、その光学設計の精度の高さやそれに伴うコストアップが原因となり採用するには大きな問題を抱えている。
換言すれば、従来の撮像装置においては、適正なコンボリューション演算を行うことができず、ワイド（Ｗｉｄｅ）時やテレ（Ｔｅｌｅ）時のスポット（ＳＰＯＴ）像のズレを引き起こす非点収差、コマ収差、ズーム色収差等の各収差を無くす光学設計が要求される。
しかしながら、これらの収差を無くす光学設計は光学設計の難易度を増し、設計工数の増大、コスト増大、レンズの大型化の問題を引き起こす。
【０００８】
また、上述した各文献に開示された装置においては、たとえば暗所における撮影で、信号処理によって画像を復元する際、ノイズも同時に増幅してしまう。
したがって、たとえば上述した位相板等の光波面変調素子とその後の信号処理を用いるような、光学系と信号処理を含めた光学システムでは、暗所での撮影を行う場合、ノイズが増幅してしまい、復元画像に影響を与えてしまうという不利益がある。
【０００９】
また、深度拡張技術は、深い被写界深度内で像性能の変化量が少ないために、ディフォーカスに対する光学性能ピーク位置の検出が困難であり、適切な評価が行い難いため、製造工程に負担をかけ、また、歩留りの面でも不利であるという欠点を持つ。
位相変調を行った深度拡張光学系においては、システム名が意味するように像性能の変化量が小さいために、解像性能の変化を尺度としてバックフォーカス調整するのは、変化量を見るために広い範囲をディフォーカスしてピークらしきところを算出する事になる。この場合は、広い範囲をディフォーカスするための手間がかかるか、粗くサーチするために、その精度が落ちるといったように、製造工程に負荷がかかるか、製品の性能が劣化してしまう。
特に、復元を前提とした深度拡張光学系では、保証される深度内では、性能の変化が極端に抑えられているため、解像ピークの算出は極めて困難である。
そこで、深度拡張光学系において、解像性能ピーク位置を容易に検出可能とすることが
課題となる。
【００１０】
さらに、深度拡張光学系では、その名が示すとおり被写体の奥行き感によるボケを減少、あるいは喪失させている。一般的な写真撮影において、意図的に背景にボケを生じさせる事で被写体のクローズアップを図る手法もあり、こういった用途には、深度拡張光学系は向かない。
複数のカメラを持つことなく、用途に応じて深度の異なる撮影を行いたい場合、Ｆ値の明暗によって従来は行ってきたが、Ｆ値を暗くした光学系は、シャッター速度の低下やノイズの増加などにつながり、望ましくない。
【００１１】
本発明の目的は、解像性能ピーク位置を容易に検出可能で、光学系を簡単化でき、コスト低減を図ることができ、しかもノイズの影響が小さい復元画像を得ることが可能な撮像装置および撮像方法を提供することにある。
【課題を解決するための手段】
【００１２】
本発明の第１の観点の撮像装置は、光波面変調機能の発現、非発現が外部に依存する外部依存型光波面変調素子を含む光学系と、前記光学系を通過した被写体像を撮像する撮像素子と、前記外部依存型光波面変調素子の光波面変調機能の発現、非発現を制御する変調機能制御部と、前記撮像素子からの被写体の画像信号に対して所定の処理を施す画像処理部と、を有し、前記光学系は、前記外部依存型光波面変調素子が、前記変調機能制御部により光波面変調機能が非発現状態に制御されているときは、１焦点状態となり、発現状態に制御されているときは複数焦点状態となる。
【００１３】
本発明の第２の観点は、光波面変調素子を含む光学系と、前記光学系の光路に配置され、前記光波面変調素子の光波面変調機能を相殺する逆光波面変調機能の発現、非発現が外部に依存する外部依存型逆光波面変調素子と、前記光学系を通過した被写体像を撮像する撮像素子と、前記外部依存型逆光波面変調素子の光波面変調機能の発現、非発現を制御する変調機能制御部と、前記撮像素子からの被写体の画像信号に対して所定の処理を施す画像処理部と、を有し、前記光学系は、前記外部依存型逆光波面変調素子が、前記変調機能制御部により逆光波面変調機能が発現状態に制御されているときは、１焦点状態となり、非発現状態に制御されているときは複数焦点状態となる。
【００１４】
好適には、前記画像処理部は、所定の情報に応じて光学的伝達関数（ＯＴＦ）に対してフィルタ処理を行う機能を有し、前記変調機能制御部の変調機能の発現、非発現の切り替えが、前記画像処理部に作用するフィルタの切り替えとリンクしている。
【００１５】
好適には、前記画像処理部の画像処理後の画像をカラーまたは白黒で表示可能なモニタを有し、前記変調機能制御部の変調機能の発現、非発現の切り替えが、前記モニタ出力のカラー出力と白黒出力の切り替えとリンクしている。
【００１６】
好適には、前記画像処理部は、所定の情報に応じて光学的伝達関数（ＯＴＦ）に対するフィルタ処理による色収差補正機能を有し、前記変調機能制御部の変調機能の発現、非発現の切り替えが、前記画像処理部の色収差補正機能の切り替えとリンクしている。
【００１７】
好適には、前記画像処理部は、複数種類の復元フィルタを用いて前記画像の復元処理を行う。
【００１８】
好適には、前記画像処理部は、フィルタの演算係数を格納するメモリ手段を有する。
【００１９】
好適には、前記メモリ手段には、露出情報に応じたノイズ低減処理のための演算係数が格納される。
【００２０】
好適には、前記メモリ手段には、露出情報に応じた光学的伝達関数（OTF）復元のための演算係数が格納される。
【００２１】
好適には、前記撮像装置は、被写体までの距離に相当する情報を生成する被写体距離情報生成手段と、を備え、前記変換手段は、前記被写体距離情報生成手段により生成される情報に基づいて前記分散画像信号より分散のない画像信号を生成する。
【００２２】
好適には、前記撮像装置は、被写体までの距離に相当する情報を生成する被写体距離情報生成手段と、前記被写体距離情報生成手段により生成された情報に基づき変換係数を演算する変換係数演算手段と、を備え、前記変換手段は、前記変換係数演算手段から得られた変換係数によって、画像信号の変換を行い分散のない画像信号を生成する。
【００２３】
好適には、前記撮像装置は、撮影する被写体の撮影モードを設定する撮影モード設定手段と、を備え、前記変換手段は、前記撮影モード設定手段により設定された撮影モードに応じて異なる変換処理を行う。
【００２４】
本発明の第３の観点は、光波面変調機能の発現、非発現が外部に依存する外部依存型光波面変調素子を含む光学系を通過した被写体像を撮像素子で撮像し、前記撮像素子からの被写体の画像信号に対して所定の処理を施す撮像方法であって、前記外部依存型光波面変調素子を、光波面変調機能が非発現状態に制御して前記光学系を１焦点状態として光学系を通過する光が光源の距離によって光軸方向で異なる位置に結像するように形成した後、発現状態に制御して複数焦点状態を形成する。
【００２５】
本発明の第４の観点は、光波面変調素子を含む光学系を通過した被写体像を撮像素子で撮像し、前記撮像素子からの被写体の画像信号に対して所定の処理を施す撮像方法であって、前記光学系の光路に配置され、前記光波面変調素子の光波面変調機能を相殺する逆光波面変調機能の発現、非発現が外部に依存する外部依存型逆光波面変調素子を配置し、前記外部依存型逆光波面変調素子を、逆光波面変調機能が発現状態に制御して前記光学系を１焦点状態として光学系を通過する光が光源の距離によって光軸方向で異なる位置に結像するように形成した後、非発現状態に制御して前記光学系を複数焦点状態とする。
【発明の効果】
【００２６】
本発明によれば、解像性能ピーク位置を容易に検出可能で、光学系を簡単化でき、コスト低減を図ることができ、しかもノイズの影響が小さい復元画像を得ることができる利点がある。
【発明を実施するための最良の形態】
【００２７】
以下、本発明の実施形態を添付図面に関連付けて説明する。
【００２８】
図１は、本発明に係る撮像装置の一実施形態を示すブロック構成図である。
【００２９】
本実施形態に係る撮像装置１００は、光学系１１０、撮像素子１２０、アナログフロントエンド部（ＡＦＥ）１３０、画像処理装置１４０、カメラ信号処理部１５０、画像表示メモリ１６０、画像モニタリング装置１７０、操作部１８０、露出制御装置１９０、および変調機能制御部２００を有している。
【００３０】
光学系１１０は、被写体物体ＯＢＪを撮影した像を撮像素子１２０に供給する。
光学系１１０は、たとえば物体側ＯＢＪＳから順に配置された第１レンズ１１１と、第２レンズ１１２、絞り１１３、外部依存型光波面変調素子１１４、第３レンズ１１５、および第４レンズ１１６を有する。
第３レンズ１１５および第４レンズ１１６は接合され、撮像素子１２０に結像させるための結像レンズとして機能する。
外部依存型光波面変調素子１１４は、結像レンズによる撮像素子１２０の受光面への結像の波面を変形させる機能を有する光波面変調機能の発現、非発現が外部に依存する。
外部依存型光波面変調素子１１４は、変調機能制御部２００により光波面変調機能が非発現状態に制御されているときは、光学系１１０が１焦点状態となって光学系を通過する光が光源の距離によって光軸方向で異なる位置に結像するような良好な結像性能を有し、発現状態に制御されているときは光学系１１０が複数焦点状態となる。
【００３１】
図２（Ａ）および（Ｂ）は、本実施形態に係る外部依存型光波面変調素子の構成例および機能を説明するための図である。
【００３２】
外部依存型光波面変調素子１１４は、図２（Ａ），（Ｂ）に示すように、たとえば液晶素子１１４ａにより構成することが可能である。
この液晶素子１１４ａは、素子に与える電圧を切り替えることで、光線の集光状態を変化させることができる。
たとえば、変調機能制御部２００により電圧を印加されると、図２（Ａ）に示すように、液晶素子１１４ａは光波面変調機能が発現状態に制御され、光学系１１０が複数焦点状態となる。
一方、変調機能制御部２００により電圧印加が停止（あるいは発現状態より低レベルに設定）されると、図２（Ｂ）に示すように、液晶素子１１４ａは光波面変調機能が非発現状態に制御され、光学系１１０が１焦点状態となる。
【００３３】
また、光学系１１０Ａは、図３に示すように、たとえば第２レンズ１１２ａとして、結像レンズによる撮像素子１２０の受光面への結像の波面を変形させる、たとえば３次元的曲面を有する位相板（Ｃｕｂｉｃ Ｐｈａｓｅ Ｐｌａｔｅ）からなる光波面変調素子（波面形成用光学素子：Ｗａｖｅｆｒｏｎｔ Ｃｏｄｉｎｇ Ｏｐｔｉｃａｌ Ｅｌｅｍｅｎｔ）により形成し、かつ、外部依存型光波面変調素子の代わりに、光波面変調素子１１２ａの光波面変調機能を相殺する逆光波面変調機能の発現、非発現が外部に依存する外部依存型逆光波面変調素子１１７を配置するように構成することも可能である。
この場合、光学系１１０Ａは、外部依存型逆光波面変調素子１１７が、変調機能制御部２００により逆光波面変調機能が発現状態に制御されているときは、１焦点状態となって光学系を通過する光が光源の距離によって光軸方向で異なる位置に結像するような良好な結像性能を有し、非発現状態に制御されているときは複数焦点状態となる。
【００３４】
図４（Ａ）および（Ｂ）は、本実施形態に係る外部依存型逆光波面変調素子の構成例および機能を説明するための図である。
【００３５】
外部依存型逆光波面変調素子１１７も、図４（Ａ），（Ｂ）に示すように、たとえば液晶素子１１７ａにより構成することが可能である。
この液晶素子１１７ａは、素子に与える電圧を切り替えることで、光線の集光状態を変化させることができる。
たとえば、変調機能制御部２００により電圧を印加されると、図４（Ａ）に示すように、液晶素子１１７ａは逆光波面変調機能が非発現状態に制御され、光学系１１０Ａは複数焦点状態となる。
一方、変調機能制御部２００により電圧印加が停止（あるいは発現状態より低レベルに設定）されると、図４（Ｂ）に示すように、液晶素子１１７ａは逆光波面変調機能が非発現状態に制御され、光学系１１０Ａは１焦点状態となる。
【００３６】
撮像装置１２０は、光学系１１０で取り込んだ像が結像され、結像１次画像情報を電気信号の１次画像信号ＦＩＭとして、アナログフロントエンド部１３０を介して画像処理装置１４０に出力するＣＣＤやＣＭＯＳセンサからなる。
図１においては、撮像素子１２０を一例としてＣＣＤとして記載している。
【００３７】
アナログフロントエンド部１３０は、タイミングジェネレータ１３１、アナログ／デジタル（Ａ／Ｄ）コンバータ１３２と、を有する。
タイミングジェネレータ１３１では、撮像素子１２０のＣＣＤの駆動タイミングを生成しており、Ａ／Ｄコンバータ１３２は、ＣＣＤから入力されるアナログ信号をデジタル信号に変換し、画像処理装置１４０に出力する。
【００３８】
画像処理部の一部を構成する画像処理装置（二次元コンボリューション手段）１４０は、前段のＡＦＥ１３０からくる撮像画像のデジタル信号を入力し、二次元のコンボリューション処理を施し、後段のカメラ信号処理部（ＤＳＰ）１５０に渡す。
画像処理装置１４０は、たとえば露出制御装置１９０の露出情報に応じて、光学的伝達関数（ＯＴＦ）に対してフィルタ処理を行うと共に、色収差補正を行って色収差を改善する画像劣化の復元処理を行う。なお、露出情報として絞り情報を含む。
画像処理装置１４０は、撮像素子１２０からの被写体分散画像信号より分散のない画像信号を生成する機能を有する。また、画像処理部は、最初のステップでノイズ低減フィルタリングを施す機能を有する。
画像処理装置１４０の処理については後でさらに詳述する。
【００３９】
カメラ信号処理部（ＤＳＰ）１５０は、カラー補間、ホワイトバランス、ＹＣｂＣｒ変換処理、圧縮、ファイリング等の処理を行い、メモリ１６０への格納や画像モニタリング装置１７０への画像表示等を行う。画像モニタリング装置１７０は、カメラ信号処理部１５０の制御の下、カラー出力あるいは白黒出力が可能である。
【００４０】
カメラ信号処理部１５０は、露出制御装置１９０と変調機能制御部２００との協働により、変調機能制御部２００による光波面変調機能（逆光波面変調機能）の発現、非発現とフィルタ（カーネル）の適用の切り替えとのリンク、カラー出力あるいは白黒出力の切り替えとのリンク、色収差補正機能の切り替えとのリンク制御等を行う。
【００４１】
露出制御装置１９０は、露出制御を行うとともに、操作部１８０などの操作入力を持ち、それらの入力に応じて、システム全体の動作を決定し、ＡＦＥ１３０、画像処理装置１４０、ＤＳＰ１５０等を制御し、システム全体の調停制御を司るものである。
【００４２】
変調機能制御部２００は、カメラ信号処理部１５０の指示に応じて外部依存型光波面変調素子１１４（または逆光波面変調素子１１７）の光波面変調機能（または逆光波面変調素子）の発現、非発現を電圧により制御する。
【００４３】
以下、本実施形態の光学系、画像処理装置の構成および機能について具体的に説明する。
【００４４】
なお、本実施形態においては、外部依存型の光波面変調素子または逆光波面変調素子を用いた場合について説明したが、本発明の光波面変調素子または逆光波面変調素子としては、波面を変形させるものであればどのようなものでもよく、厚みが変化する光学素子（たとえば、上述の３次の位相板）、屈折率が変化する光学素子（たとえば屈折率分布型波面変調レンズ）、レンズ表面へのコーディングにより厚み、屈折率が変化する光学素子（たとえば、波面変調ハイブリッドレンズ）、光の位相分布を変調可能な液晶素子（たとえば、液晶空間位相変調素子）等の光波面変調素子であればよい。
また、図３の例においては、光波面変調素子である位相板を用いて規則的に分散した画像を形成する場合について説明したが、通常の光学系として用いるレンズで光波面変調素子と同様に規則的に分散した画像を形成できるものを選択した場合には、光波面変調素子を用いずに光学系のみで実現することができる。この際は、後述する位相板に起因する分散に対応するのではなく、光学系に起因する分散に対応することとなる。
位相板は、光学系により収束される光束を規則正しく分散する光学レンズである。この位相板を挿入することにより、撮像素子１２０上ではピントのどこにも合わない画像を実現する。
換言すれば、光波面変調素子によって深度の深い光束（像形成の中心的役割を成す）とフレアー（ボケ部分）を形成している。
【００４５】
この規則的に分散した画像をデジタル処理により、光学系１１０や１１０Ａを移動させずにピントの合った画像に復元する手段を波面収差制御光学系システム、あるいは深度拡張光学系システム（ＤＥＯＳ：Ｄｅｐｔｈ Ｅｘｐａｎｔｉｏｎ Ｏｐｔｉｃａｌ ｓｙｓｔｅｍ）といい、この処理を画像処理装置１４０において行う。
【００４６】
ここで、ＤＥＯＳの基本原理について説明する。
図５に示すように、被写体の画像ｆがＤＥＯＳ光学系Ｈに入ることにより、ｇ画像が生成される。
これは、次のような式で表される。
【００４７】
（数１）
ｇ＝Ｈ＊ｆ
ただし、＊はコンボリューションを表す。
【００４８】
生成された画像から被写体を求めるためには、次の処理を要する。
【００４９】
（数２）
ｆ＝Ｈ−１＊ｇ
【００５０】
ここで、Ｈに関するカーネルサイズと演算係数について説明する。
ズームポジションをＺＰｎ，ＺＰｎ−１・・・とする。また、それぞれのＨ関数をＨｎ，Ｈｎ−１、・・・・とする。
各々のスポット像が異なるため、各々のＨ関数は、次のようになる。
【００５１】
【数３】
【００５２】
この行列の行数および／または列数の違いをカーネルサイズ、各々の数字を演算係数とする。
ここで、各々のＨ関数はメモリに格納しておいても構わないし、ＰＳＦを物体距離の関数としておき、物体距離によって計算し、Ｈ関数を算出することによって任意の物体距離に対して最適なフィルタを作るように設定できるようにしても構わない。また、Ｈ関数を物体距離の関数として、物体距離によってＨ関数を直接求めても構わない。
【００５３】
本実施形態においては、図１や図３に示すように、光学系１１０や１１０Ａからの像を撮像素子１２０で受像して、画像処理装置１４０に入力させ、光学系に応じた変換係数を取得して、取得した変換係数をもって撮像素子１２０からの分散画像信号より分散のない画像信号を生成するように構成している。
【００５４】
なお、本実施形態において、分散とは、上述したように、光波面変調素子１１４や１１２ａを挿入することにより、撮像素子１２０上ではピントのどこにも合わない画像を形成し、位相板１１３によって深度の深い光束（像形成の中心的役割を成す）とフレアー（ボケ部分）を形成する現象をいい、像が分散してボケ部分を形成する振る舞いから収差と同様の意味合いが含まれる。したがって、本実施形態においては、収差として説明する場合もある。
【００５５】
ところで、ＤＥＯＳ（深度拡張光学系）では、深い被写界深度内で像性能の変化量が少ないために、ディフォーカスに対する光学性能ピーク位置の検出が困難である傾向にある。適切な評価が行い難いため、製造工程に負担をかけ、また、歩留りの面でも不利な面がある。
さらに、ＤＥＯＳでは、そのシステムの特性上、被写体の奥行き感が喪失、あるいは減少するため、意図的に背景をぼかした撮影などには向かない。
そこで、本実施形態においては、図１〜図４に関連付けて説明したようなＤＥＯＳ（深度拡張光学系）における解像性能ピーク位置の検出方法、および、容易に検出可能な光学系システムでありながら、用途に応じ深度拡張機能を失くす光学系システムを実現している。
前述したように、本実施形態においては、ＤＥＯＳ（深度拡張光学系）において、光波面変調素子を液晶素子としている。
この液晶素子は、素子に与える電圧の切り替えにより光波面（位相）変調を行えることを特徴とする。
光波面（位相）変調作用を含まない光学系の場合、もしくは位相変調作用を光学系として相殺している場合、一般的な光学系同様な光学系となり、良好な光学性能を有することが可能となる。これは、通常の撮像光学系と同様に性能だしを行うことが可能であることをも意味する。
そこに、液晶素子の位相変調作用を切り替えることで、深度拡張を生じさせることで、簡便に光学性能を調整可能な製造工程を構築することが可能となる。
【００５６】
図１に示す光学系１１０においては、結像レンズによる撮像素子１２０の受光面への結像の波面を変形させる機能を有する光波面変調機能の発現、非発現が外部に依存する外部依存型光波面変調素子１１４を設けている。
外部依存型光波面変調素子１１４は、変調機能制御部２００により光波面変調機能が非発現状態に制御されているときは、光学系１１０が１焦点状態となって光学系を通過する光が光源の距離によって光軸方向で異なる位置に結像するような良好な結像性能を有し、発現状態に制御されているときは光学系１１０が複数焦点状態となる。
【００５７】
この場合、光学系１１０は、光波面変調素子を含まない光学系が、光学系を通過する光が光源の距離によって光軸方向で異なる位置に結像するような良好な結像性能を有することとしている。これは、通常の撮像光学系と同様に性能だしを行うことが可能であることを意味する。この光学系１１０に対し、パワーの無い状態の光波面変調素子を付加しても、結像性能は変化しない。Ｆ値の明るい光学系を採用することで、奥行き感のあるボケ味を伴った写真撮影が可能になる。
また、この状態で、光学性能の調整を行うことは多種ある既存の評価手法に則っている。
そこで、本実施形態においては、液晶素子１１４ａへの電圧を変化させ、光波面（たとえば）位相変調作用を生じさせる。このとき、液晶素子１１４ａは複数焦点状態とする。この複数焦点状態画像を復元することで、深度拡張作用を生じさせることを実現できる。
【００５８】
このように、図１の光学系１１０を有する撮像装置１００は、液晶素子１１４ａにかかる電圧の切り替えにより光波面変調機能の有無を変化させている。このとき、光波面（位相）変調と画像復元の有無（フィルタ（カーネル）の適用の切り替え）とをリンクするように制御する。
【００５９】
図６（Ａ）および（Ｂ）は、液晶素子にかかる電圧の切り替えと同時に、フィルタ（カーネル）の機能をも切り替える例を示す図である。
【００６０】
図６（Ａ）に示すように、液晶素子１１４ａが光波面変調機能（作用）を発現（有している）場合は、フィルタを機能させ、画像を復元させる。それにより、深度拡張された復元画像が得られる。
一方、図６（Ｂ）に示すように、液晶素子１１４ａが位相変調機能（作用）を発現していない（有していない場合）は、フィルタを機能させない。それにより、一般撮影が可能な良好な結像状態の光学系となる。
このような構成により、液晶素子１１４ａが光波面変調機能を発現していない状態で光学系１１０の焦点調整を行って光学系を通過する光が光源の距離によって光軸方向で異なる位置に結像するように形成した後で、光波面変調機能を発現状態に維持することで深度拡張作用を生じさせることを実現できる。これにより、光波面変調素子を配置した際の製造時に焦点調整を行いにくいという課題を解決することができるようにすることも出来る。
なお、図６乃至９における光学系１１０や１１０Ａは、構成を一部省略しているが、図１や図３の光学系１１０や１１０Ａと同様の構成であるものとする。
【００６１】
また、図１の光学系１１０を有する撮像装置１００は、液晶素子１１４ａにかかる電圧の切り替えにより光波面変調機能の有無を変化させているが、このとき、光波面変調機能が生じると同時に、色収差にも変化が生じる。
したがって、一般撮影時は良好な色収差補正状態を実現した上でモニタにカラー出力を行い、一方でＤＥＯＳシステム時は、モニタに白黒出力とする。
【００６２】
図７（Ａ）および（Ｂ）は、液晶素子にかかる電圧の切り替えと同時に、モニタへの出力を切り替える例を示す図である。
【００６３】
図７（Ａ）に示すように、液晶素子１１４ａが光波面変調機能（作用）を発現（有している）場合は、白黒出力をする。
一方、図７（Ｂ）に示すように、液晶素子１１４ａが位相変調機能（作用）を発現していない（有していない場合）は、色収差の補正を光学系で行い、モニタにはカラー出力をする。
【００６４】
また、図１の光学系１１０を有する撮像装置１００は、液晶素子１１４ａにかかる電圧の切り替えにより光波面変調機能の有無を変化させているが、このとき、光波面変調機能が生じると同時に、色収差にも変化が生じる。したがって、液晶にかかる電圧の切り替えと、画像処理部の色収差補正機能の有無をリンクさせる。
【００６５】
図８（Ａ）および（Ｂ）は、液晶素子にかかる電圧の切り替えと同時に、画像処理部内の色収差補正機能を切り替える例を示す図である。
【００６６】
図８（Ａ）に示すように、液晶素子１１４ａが光波面変調機能（作用）を発現（有している）場合は、色収差の影響を受けるため、画像処理部内の色収差補正機能を使い、良好な画像を得る。
一方、図８（Ｂ）に示すように、液晶素子１１４ａが位相変調機能（作用）を発現していない（有していない場合）は、色収差の影響を受けないため、色収差補正機能は作動させない。
【００６７】
また、図３に示す光学系１１０Ａにおいては、光波面変調機能を持つ光波面変調素子１１２ａを有する構成において、外部依存型光波面変調素子の代わりに、光波面変調素子１１２ａの光波面変調機能を相殺する逆光波面変調機能の発現、非発現が外部に依存する外部依存型逆光波面変調素子１１７を配置するように構成している。
光学系１１０Ａは、外部依存型逆光波面変調素子１１７が、変調機能制御部２００により逆光波面変調機能が発現状態に制御されているときは、１焦点状態となって光学系を通過する光が光源の距離によって光軸方向で異なる位置に結像するような良好な結像性能を有し、非発現状態に制御されているときは複数焦点状態となる。
【００６８】
この場合、光波面変調素子１１２ａを含まない光学系が位相変調作用を有しているとする。この光学系に対し、パワーの無い状態の光波面変調素子を付加しても、結像状態は変化しない。このとき得られる画像を復元することで深度拡張作用を実現している。
そこで、液晶素子１１７ａへの電圧を変化させ、逆光波面変調を生じさせる。光波面変調素子１１２ａと液晶素子１１７ａとの相殺作用により、光学系１１０Ａが光学系を通過する光が光源の距離によって光軸方向で異なる位置に結像するような良好な結像性能を持つ。
この状態で、光学性能の調整を行うことは多種ある既存の評価手法に則っている。また、Ｆ値の明るい光学系を採用することで、奥行き感のあるボケ味を伴った写真撮影が可能になる。
【００６９】
このように、図３の光学系１１０Ａを有する撮像装置１００Ａは、液晶素子１１７ａにかかる電圧の切り替えにより逆光波面変調機能の有無を変化させている。このとき、光波面（位相）変調と画像復元の有無（フィルタ（カーネル）の適用の切り替え）とをリンクするように制御する。
【００７０】
図９（Ａ）および（Ｂ）は、逆光波面変調機能を発現する液晶素子にかかる電圧の切り替えと同時に、フィルタ（カーネル）の機能をも切り替える例を示す図である。
【００７１】
図９（Ａ）に示すように、光波面変調機能（作用）を有している光学系１１０Ａに対し、液晶素子１１７ａが逆光波面変調機能（作用）を発現していない（有していない場合）は、フィルタを機能させ、画像を復元させる。それにより、深度拡張された復元画像が得られる。
一方、図９（Ｂ）に示すように、光波面変調機能（作用）を有している光学系１１０Ａに対し、液晶素子１１７ａが逆光波面変調機能（作用）を発現させて光学系の光波面変調作用を相殺する場合は、フィルタを機能させない。それにより、一般撮影が可能な良好な結像状態の光学系となる。
このような構成により、液晶素子１１７ａが逆光波面変調機能の発現状態で光学系１１０Ａの焦点調整を行って良好な結像状態を形成した後で、逆光波面変調機能を発現していない状態に維持することで深度拡張作用を生じさせることを実現できる。これにより、光波面変調素子１１２ａを配置した際の製造時に焦点調整を行いにくいという課題を解決することができるようにすることもできる。また、撮像素子１２０以降の構成を図７と図８と同様にすることもできる。
【００７２】
また、本実施形態においては、ＤＥＯＳにおける解像性能ピーク位置の検出方法、および、容易に検出可能な鏡枠構造（光学系保持部の構造）を実現している。
以下のその一例を示す。
【００７３】
ここで示す鏡枠構造部２００は、基本的に、図１０に示すように、レンズ保持部２１０と撮像素子保持部２２０とが別個に構成され、これらのレンズ保持部２１０と撮像素子保持部２２０は中間部材２３０によって介して固定されており、レンズ保持部２１０と撮像素子保持部２２０の線膨張係数が異なる。
さらにこの線膨張係数による影響はレンズ保持部２１０の係数が撮像素子保持部２２０の係数に比べて大きく、この係数を制御することによりバックフォーカス位置ズレを緩和し使用環境が低温から高温にまで及んだとしても十分な性能を確保することができるように構成することができる。さらにＤＥＯＳ（深度拡張光学系）において、被写界深度の温度変化も緩和することができるように構成されている。
【００７４】
レンズ保持部２１０は、たとえば円筒状に形成され、物体側から順に、第１レンズ１１１を保持する第１保持部２１１、第２レンズ１１２（１１２ａ）を保持する第２保持部２１２、液晶素子１１４ａ（１１７ａ）を保持する第３保持部２１３、第３レンズ１１５を保持する第４保持部２１４、第４レンズ１１６を保持する第４保持部２１５が形成されている。
そして、レンズ保持部２１０の外側部の軸方向の中央より物体側が中間部材２３０の一端部と、たとえば接着剤２４０により固定されている。
レンズ保持部２１０は、たとえば樹脂により形成される。
【００７５】
撮像素子保持部２２０は、レンズ保持部２１０の外径より大きい外径を有する円筒状に形成され、中央部が軸方向に開口され、底面側（第１面側）２２１に撮像素子１２０が固定されている。
また、撮像素子保持部２２０の上面側（物体側面）２２２には中間部材２３０の一端部２３１が接着剤等により固定されている。
撮像素子保持部２２０は、たとえば樹脂により形成される。
【００７６】
中間部材２３３０は、レンズ保持部２１０の外径より大きな内径を有する円筒状に形成され、その内壁２３１の一端部には円周上に、レンズ保持部２１０を固定する際に注入される接着剤２４０の溜り部２３２が形成されている。
また、中間部材２３０の他端部は、内側に延びるように鍔部２３３が形成されており、この鍔部２３３の外側面（底面）が撮像素子保持部２２０の上面側２２２と当接するようにして固定されている。
この中間部材２３０は、線膨張係数が小さい金属材料、たとえばアルミニウム（Ａｌ）により形成される。
【００７７】
このように、本鏡枠構造部２００においては、撮像素子保持部２２０とレンズ保持部２１０は固定し光学系は固定焦点となっており、レンズ保持部２１０の材質と撮像素子保持部２２０の材質の線膨張係数を異ならせることで駆動機構を持たずに温度変化によるバックフォーカスの位置変動を緩和できる機構をもつようになる。
【００７８】
中間部材２３０の線膨張係数をレンズ保持部２１０および撮像素子保持部２２０の線膨張係数に比べて小さくすることで、たとえば温度によるレンズ系のバックフォーカス位置変動が小さく、バックフォーカスが十分に長い光学系に対し、鏡枠構造部２００の各レンズの相対的な位置変動量を抑えることができる。
【００７９】
また、本実施形態においては、光学系１１０（１１０Ａ）に含まれる樹脂レンズ（たとえば第２レンズ１１２）のパワーの合算が負であるとき、最終レンズである第４レンズ１１６の撮像素子１２０側の面と撮像素子１２０の間隔が常温より高温で短くなり、低温で長くなるように構成される。
【００８０】
また、本実施形態においては、光学系１１０に含まれる樹脂レンズのパワーの合算が正であるとき、最終レンズである第４レンズ１１６の撮像素子１２０側の面と撮像素子の間隔が常温より高温で長くなり、低温で短くなるように構成される。
【００８１】
また、中間部材２３０とレンズ保持部２１０は、レンズ保持部２１０の軸方向における中央部より物体側で固定されている。
【００８２】
このように、本実施形態においては、レンズ設計の時点で樹脂レンズのパワーを抑えることで温度による樹脂レンズの変動を抑え、さらにレンズ保持部２１０と撮像素子保持部２２０が別である構成を有し、両部材の線膨張係数を変えることで温度によるバックフォーカス変動の性能劣化を抑えるように構成される。
【００８３】
次に、画像処理装置１４０の構成および処理について説明する。
【００８４】
画像処理装置１４０は、図１に示すように、生（ＲＡＷ）バッファメモリ１４１、コンボリューション演算器１４２、記憶手段としてのカーネルデータ格納ＲＯＭ１４３、およびコンボリューション制御部１４４を有する。
【００８５】
コンボリューション制御部１４４は、コンボリューション処理のオンオフ、画面サイズ、カーネルデータの入れ替え等の制御を行い、露出制御装置１９０により制御される。
【００８６】
また、カーネルデータ格納ＲＯＭ１４３には、図１１に示すように予め用意されたそれぞれの光学系のＰＳＦにより算出されたコンボリューション用のカーネルデータが格納されており、露出制御装置１９０によって露出設定時に決まる露出情報を取得し、コンボリューション制御部１４４を通じてカーネルデータを選択制御する。
なお、露出情報には、絞り情報が含まれる。
【００８７】
また、図１１の例では、カーネルデータＡは絞り情報としてのＦナンバ（２．８）、カーネルデータＢはＦナンバ（４）、カーネルデータＣはＦナンバ（５．６）に対応したデータとなっている。
【００８８】
図１１の例のように、絞り情報に応じたフィルタ処理を行うのは以下の理由による。
絞りを絞って撮影を行う場合、絞りによって光波面変調素子が覆われてしまい、位相が変化してしまうため、適切な画像を復元することが困難となる。
そこで、本実施形態においては、本例のように、露出情報中の絞り情報に応じたフィルタ処理を行うことによって適切な画像復元を実現している。
【００８９】
図１２は、露出制御装置１９０の露出情報（絞り情報を含む）により切り替え処理のフローチャートである。
まず、露出情報（ＲＰ）が検出されコンボリューション制御部１４４に供給される（ＳＴ１０１）。
コンボリューション制御部１４４においては、露出情報ＲＰから、カーネルサイズ、数値演係数がレジスタにセットされる（ＳＴ１０２）。
そして、撮像素子１２０で撮像され、ＡＦＥ１３０を介して二次元コンボリューション演算部１４２に入力された画像データに対して、レジスタに格納されたデータに基づいてコンボリューション演算が行われ、演算され変換されたデータがカメラ信号処理部１５０に転送される（ＳＴ１０３）。
【００９０】
コンボリューション演算は下記の式で表される。
【００９１】
【数４】
【００９２】
ただし、ｆはフィルタ（ｆｉｌｔｅｒ）カーネルを示している（ここでは計算を容易にするために１８０度回転済みのものを使用している）。
また、Ａは元画像、Ｂはフィルタリングされた画像（ボケ復元画像）を示している。
この式から分かる通り、ｆを画像に重ねて各タップ同士の積和した結果をその重ねた中心座標の値とすることである。
【００９３】
上述したように、コンボリューション処理は画像処理装置１４０で行われる。撮像素子１２０からの画素データは式４に従いコンボリュージョン処理される。
【００９４】
画像処理装置１４０は、はじめに位相変調素子によるボケを位相変調素子によるボケ復元フィルタを用いて、換言すれば、カーネルデータ格納ＲＯＭ１４３から位相変調素子によるボケ復元用のフィルタ係数を読み込み、このフィルタ係数により復元処理を行う。
すると処理後は位相変調素子によるボケは改善される。
【００９５】
以下に画像処理装置１４０の信号処理部とカーネルデータ格納ＲＯＭについてさらに具体的な例について説明する。
【００９６】
図１３は、信号処理部とカーネルデータ格納ＲＯＭについての第１の構成例を示す図である。なお、簡単化のためにＡＦＥ等は省略している。
図１３の例は露出情報に応じたフィルタカーネルを予め用意した場合のブロック図である。
【００９７】
露出設定時に決まる露出情報を取得し、コンボリューション制御部１４４を通じてカーネルデータを選択制御する。２次元コンボリューション演算部１４２においては、カーネルデータを用いてコンボリューション処理を施す。
【００９８】
図１４は、信号処理部とカーネルデータ格納ＲＯＭについての第２の構成例を示す図である。なお、簡単化のためにＡＦＥ等は省略している。
図１４の例は、信号処理部の最初にノイズ低減フィルタ処理のステップを有し、フィルタカーネルデータとして露出情報に応じたノイズ低減フィルタ処理ＳＴ１を予め用意した場合のブロック図である。
【００９９】
露出設定時に決まる露出情報を取得し、コンボリューション制御部１４４を通じてカーネルデータを選択制御する。
２次元コンボリューション演算部１４２においては、前記ノイズ低減フィルタＳＴ１を施した後、カラーコンバージョン処理ＳＴ２によって色空間を変換、その後カーネルデータを用いてコンボリューション処理ＳＴ３を施す。
再度ノイズ処理ＳＴ４を行い、カラーコンバージョン処理ＳＴ５によって元の色空間に戻す。カラーコンバージョン処理は、たとえばＹＣｂＣｒ変換が挙げられるが、他の変換でも構わない。
なお、再度のノイズ処理ＳＴ４は省略することも可能である。
【０１００】
図１５は、信号処理部とカーネルデータ格納ＲＯＭについての第３の構成例を示す図である。なお、簡単化のためにＡＦＥ等は省略している。
図１５の例は、露出情報に応じたＯＴＦ復元フィルタを予め用意した場合のブロック図である。
【０１０１】
露出設定時に決まる露出情報を取得し、コンボリューション制御部１４４を通じてカーネルデータを選択制御する。
２次元コンボリューション演算部１４２は、ノイズ低減処理ＳＴ１１、カラーコンバージョン処理ＳＴ１２の後に、前記ＯＴＦ復元フィルタを用いてコンボリューション処理ＳＴ１３を施す。
再度ノイズ処理ＳＴ１４を行い、カラーコンバージョン処理ＳＴ１５によって元の色空間に戻す。カラーコンバージョン処理は、たとえばＹＣｂＣｒ変換が挙げられるが、他の変換でも構わない。
なお、ノイズ低減処理ＳＴ１１、ＳＴ１４は、いずれか一方のみでもよい。
【０１０２】
図１６は、信号処理部とカーネルデータ格納ＲＯＭについての第４の構成例を示す図である。なお、簡単化のためにＡＦＥ等は省略している。
図１６の例は、ノイズ低減フィルタ処理のステップを有し、フィルタカーネルデータとして露出情報に応じたノイズ低減フィルタを予め用意した場合のブロック図である。
なお、再度のノイズ処理ＳＴ４は省略することも可能である。
露出設定時に決まる露出情報を取得し、コンボリューション制御部１４４を通じてカーネルデータを選択制御する。
２次元コンボリューション演算部１４２においては、ノイズ低減フィルタ処理ＳＴ２１を施した後、カラーコンバージョン処理ＳＴ２２によって色空間を変換、その後カーネルデータを用いてコンボリューション処理ＳＴ２３を施す。
再度、露出情報に応じたノイズ処理ＳＴ２４を行い、カラーコンバージョン処理ＳＴ２５によって元の色空間に戻す。カラーコンバージョン処理は、たとえばＹＣｂＣｒ変換が挙げられるが、他の変換でも構わない。
なお、ノイズ低減処理ＳＴ２１は省略することも可能である。
【０１０３】
以上は露出情報のみに応じて２次元コンボリューション演算部１４２においてフィルタ処理を行う例を説明したが、たとえば被写体距離情報、ズーム情報、あるいは撮影モード情報と露出情報とを組み合わせることにより適した演算係数の抽出、あるいは演算を行うことが可能となる。
【０１０４】
図１７は、被写体距離情報と露出情報とを組み合わせる画像処理装置の構成例を示す図である。
図１２は、撮像素子１２０からの被写体分散画像信号より分散のない画像信号を生成するが画像処理装置３００の構成例を示している。
【０１０５】
画像処理装置３００は、図１７に示すように、コンボリューション装置３０１、カーネル・数値演算係数格納レジスタ３０２、および画像処理演算プロセッサ３０３を有する。
【０１０６】
この画像処理装置３００においては、物体概略距離情報検出装置４００から読み出した被写体の物体距離の概略距離に関する情報および露出情報を得た画像処理演算プロセッサ３０３では、その物体離位置に対して適正な演算で用いる、カーネルサイズやその演算係数をカーネル、数値算係数格納レジスタ３０２に格納し、その値を用いて演算するコンボリューション装置３０１にて適正な演算を行い、画像を復元する。
【０１０７】
上述のように、光波面変調機能を備えた撮像装置の場合、所定の焦点距離範囲内であればその範囲内に関し画像処理によって適正な収差のない画像信号を生成できるが、所定の焦点距離範囲外の場合には、画像処理の補正に限度があるため、前記範囲外の被写体のみ収差のある画像信号となってしまう。
また一方、所定の狭い範囲内に収差が生じない画像処理を施すことにより、所定の狭い範囲外の画像にぼけ味を出すことも可能になる。
本例においては、主被写体までの距離を、距離検出センサを含む物体概略距離情報検出装置４００により検出し、検出した距離に応じて異なる画像補正の処理を行うことにように構成されている。
【０１０８】
上記の画像処理はコンボリューション演算により行うが、これを実現するには、たとえばコンボリューション演算の演算係数を共通で１種類記憶しておき、焦点距離に応じて補正係数を予め記憶しておき、この補正係数を用いて演算係数を補正し、補正した演算係数で適性なコンボリューション演算を行う構成をとることができる。
この構成の他にも、以下の構成を採用することが可能である。
【０１０９】
焦点距離に応じて、カーネルサイズやコンボリューションの演算係数自体を予め記憶しておき、これら記憶したカーネルサイズや演算係数でコンボリューション演算を行う構成、焦点距離に応じた演算係数を関数として予め記憶しておき、焦点距離によりこの関数より演算係数を求め、計算した演算係数でコンボリューション演算を行う構成等、を採用することが可能である。
【０１１０】
図１７の構成に対応付けると次のような構成をとることができる。
【０１１１】
変換係数記憶手段としてのレジスタ３０２に被写体距離に応じて少なくとも位相板１１３に起因する収差に対応した変換係数を少なくとも２以上予め記憶する。画像処理演算プロセッサ３０３が、被写体距離情報生成手段としての物体概略距離情報検出装置４００により生成された情報に基づき、レジスタ３０２から被写体までの距離に応じた変換係数を選択する係数選択手段として機能する。
そして、変換手段としてのコンボリューション装置３０１が、係数選択手段としての画像処理演算プロセッサ３０３で選択された変換係数によって、画像信号の変換を行う。
【０１１２】
または、前述したように、変換係数演算手段としての画像処理演算プロセッサ３０３が、被写体距離情報生成手段としての物体概略距離情報検出装置４００により生成された情報に基づき変換係数を演算し、レジスタ３０２に格納する。
そして、変換手段としてのコンボリューション装置３０１が、変換係数演算手段としての画像処理演算プロセッサ３０３で得られレジスタ３０２に格納された変換係数によって、画像信号の変換を行う。
【０１１３】
または、補正値記憶手段としてのレジスタ３０２にズーム光学系１１０のズーム位置またはズーム量に応じた少なくとも１以上の補正値を予め記憶する。この補正値には、被写体収差像のカーネルサイズを含まれる。
第２変換係数記憶手段としても機能するレジスタ３０２に、位相板１１３に起因する収差に対応した変換係数を予め記憶する。
そして、被写体距離情報生成手段としての物体概略距離情報検出装置４００により生成された距離情報に基づき、補正値選択手段としての画像処理演算プロセッサ３０３が、補正値記憶手段としてのレジスタ３０２から被写体までの距離に応じた補正値を選択する。
変換手段としてのコンボリューション装置３０１が、第２変換係数記憶手段としてのレジスタ３０２から得られた変換係数と、補正値選択手段としての画像処理演算プロセッサ３０３により選択された補正値とに基づいて画像信号の変換を行う。
【０１１４】
図１８に、露出情報と、物体距離情報と、撮影モードとを用いた場合のフィルタの構成例を示す。
この例では、物体距離情報と撮影モード情報で２次元的な情報を形成し、露出情報が奥行きのような情報を形成している。
【０１１５】
図１９は、撮影モード情報と露出情報とを組み合わせる画像処理装置の構成例を示す図である。
図１９は、撮像素子１２０からの被写体分散画像信号より分散のない画像信号を生成する画像処理装置３００Ｂの構成例を示している。
【０１１６】
画像処理装置３００Ｂは、図１７と同様に、コンボリューション装置３０１、記憶手段としてのカーネル・数値演算係数格納レジスタ３０２、および画像処理演算プロセッサ３０３を有する。
【０１１７】
この画像処理装置３００Ｂにおいては、物体概略距離情報検出装置５００から読み出した被写体の物体距離の概略距離に関する情報および露出情報を得た画像処理演算プロセッサ３０３では、その物体離位置に対して適正な演算で用いる、カーネルサイズやその演算係数をカーネル、数値算係数格納レジスタ３０２に格納し、その値を用いて演算するコンボリューション装置３０１にて適正な演算を行い、画像を復元する。
【０１１８】
この場合も上述のように、光波面変調機能を備えた撮像装置の場合、所定の焦点距離範囲内であればその範囲内に関し画像処理によって適正な収差のない画像信号を生成できるが、所定の焦点距離範囲外の場合には、画像処理の補正に限度があるため、前記範囲外の被写体のみ収差のある画像信号となってしまう。
また一方、所定の狭い範囲内に収差が生じない画像処理を施すことにより、所定の狭い範囲外の画像にぼけ味を出すことも可能になる。
本例においては、主被写体までの距離を、距離検出センサを含む物体概略距離情報検出装置５００により検出し、検出した距離に応じて異なる画像補正の処理を行うように構成されている。
【０１１９】
上記の画像処理はコンボリューション演算により行うが、これを実現するには、コンボリューション演算の演算係数を共通で１種類記憶しておき、物体距離に応じて補正係数を予め記憶しておき、この補正係数を用いて演算係数を補正し、補正した演算係数で適性なコンボリューション演算を行う構成、物体距離に応じた演算係数を関数として予め記憶しておき、焦点距離によりこの関数より演算係数を求め、計算した演算係数でコンボリューション演算を行う構成、物体距離に応じて、カーネルサイズやコンボリューションの演算係数自体を予め記憶しておき、これら記憶したカーネルサイズや演算係数でコンボリューション演算を行う構成等、を採用することが可能である。
【０１２０】
本実施形態においては、上述したように、ＤＳＣのモード設定（ポートレイト、無限遠（風景）、マクロ）に応じて画像処理を変更する。
【０１２１】
図１９の構成に対応付けると次のような構成をとることができる。
【０１２２】
前述したように、変換係数演算手段としての画像処理演算プロセッサ３０３を通して操作部１８０の撮影モード設定部６００により設定される各撮影モードに応じて異なる変換係数を変換係数記憶手段としてのレジスタ３０２に格納する。
画像処理演算プロセッサ３０３が、撮影モード設定部６００の操作スイッチ６０１により設定された撮影モードに応じて、被写体距離情報生成手段としての物体概略距離情報検出装置５００により生成された情報に基づき、変換係数記憶手段としてのレジスタ３０２から変換係数を抽出する。このとき、たとえば画像処理演算プロセッサ３０３が変換係数抽出手段として機能する。
そして、変換手段としてのコンボリューション装置３０１が、レジスタ３０２に格納された変換係数によって、画像信号の撮影モードに応じた変換処理を行う。
【０１２３】
また、図１のカーネルデータ格納ＲＯＭに関しても、光学倍率、Ｆナンバやそれぞれのカーネルのサイズ、値に対して用いられるものとは限らない。また用意するカーネルデータの数についても３個とは限らない。
図１８のように３次元、さらには４次元以上とすることで格納量が多くなるが、種々の条件を考慮してより適したものを選択することができるようになる。情報としては、上述した露出情報、物体距離情報、撮像モード情報等であればよい。
【０１２４】
なお、上述のように、光波面変調素子を有する撮像装置の場合、所定の焦点距離範囲内であればその範囲内に関し画像処理によって適正な収差のない画像信号を生成できるが、所定の焦点距離範囲外の場合には、画像処理の補正に限度があるため、前記範囲外の被写体のみ収差のある画像信号となってしまう。
また一方、所定の狭い範囲内に収差が生じない画像処理を施すことにより、所定の狭い範囲外の画像にぼけ味を出すことも可能になる。
【０１２５】
本実施形態においては、ＤＥＯＳを採用し、高精細な画質を得ることが可能で、しかも、光学系を簡単化でき、コスト低減を図ることが可能となっている。
以下、この特徴について説明する。
【０１２６】
図２０（Ａ）〜（Ｃ）は、撮像素子１２０の受光面でのスポット像を示している。
図２０（Ａ）は焦点が０．２ｍｍずれた場合（Ｄｅｆｏｃｕｓ＝０．２ｍｍ）、図２０（Ｂ）が合焦点の場合（Ｂｅｓｔ ｆｏｃｕｓ）、図２０（Ｃ）が焦点が−０．２ｍｍずれた場合（Ｄｅｆｏｃｕｓ＝−０．２ｍｍ）の各スポット像を示している。
図２０（Ａ）〜（Ｃ）からもわかるように、本実施形態に係る撮像装置１００においては、光波面変調機能によって深度の深い光束（像形成の中心的役割を成す）とフレアー（ボケ部分）が形成される。
【０１２７】
このように、本実施形態の撮像装置１００において形成された１次画像ＦＩＭは、深度が非常に深い光束条件にしている。
【０１２８】
図２１（Ａ），（Ｂ）は、本実施形態に係る撮像レンズ装置により形成される１次画像の変調伝達関数（ＭＴＦ：Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）について説明するための図であって、図２１（Ａ）は撮像レンズ装置の撮像素子の受光面でのスポット像を示す図で、図２１（Ｂ）が空間周波数に対するＭＴＦ特性を示している。
本実施形態においては、高精細な最終画像は後段の、たとえばデジタルシグナルプロセッサ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）からなる画像処理装置１４０の補正処理に任せるため、図２１（Ａ），（Ｂ）に示すように、１次画像のＭＴＦは本質的に低い値になっている。
【０１２９】
画像処理装置１４０は、上述したように、撮像素子１２０による１次画像ＦＩＭを受けて、１次画像の空間周波数におけるＭＴＦをいわゆる持ち上げる所定の補正処理等を施して高精細な最終画像ＦＮＬＩＭを形成する。
【０１３０】
画像処理装置１４０のＭＴＦ補正処理は、たとえば図２２の曲線Ａで示すように、本質的に低い値になっている１次画像のＭＴＦを、空間周波数をパラメータとしてエッジ強調、クロマ強調等の後処理にて、図２２中曲線Ｂで示す特性に近づく（達する）ような補正を行う。
図２２中曲線Ｂで示す特性は、たとえば本実施形態のように、光波面変調機能を発現させずに波面を変形させない場合に得られる特性である。
なお、本実施形態における全ての補正は、空間周波数のパラメータによる。
【０１３１】
本実施形態においては、図２２に示すように、光学的に得られる空間周波数に対するＭＴＦ特性曲線Ａに対して、最終的に実現したいＭＴＦ特性曲線Ｂを達成するためには、それぞれの空間周波数に対し、エッジ強調等の強弱を付け、元の画像（１次画像）に対して補正をかける。
たとえば、図２２のＭＴＦ特性の場合、空間周波数に対するエッジ強調の曲線は、図２３に示すようになる。
【０１３２】
すなわち、空間周波数の所定帯域内における低周波数側および高周波数側でエッジ強調を弱くし、中間周波数領域においてエッジ強調を強くして補正を行うことにより、所望のＭＴＦ特性曲線Ｂを仮想的に実現する。
【０１３３】
このように、実施形態に係る撮像装置１００は、基本的に、１次画像を形成する光学系１１０および撮像素子１２０と、１次画像を高精細な最終画像に形成する画像処理装置１４０からなり、光学系システムの中に、光波面変調機能の発現、非発現を切り替え可能な光学素子を新たに設けるか、光波面変調機能を有する光学系に光波面変調機能を相殺可能な逆光波面変調素子を設けることにより、結像の波面を変形（変調）し、そのような波面をＣＣＤやＣＭＯＳセンサからなる撮像素子１２０の撮像面（受光面）に結像させ、その結像１次画像を、画像処理装置１４０を通して高精細画像を得る画像形成システムである。
本実施形態では、撮像素子１２０による１次画像は深度が非常に深い光束条件にしている。そのために、１次画像のＭＴＦは本質的に低い値になっており、そのＭＴＦの補正を画像処理装置１４０で行う。
【０１３４】
ここで、本実施形態における撮像装置１００における結像のプロセスを、波動光学的に考察する。
物点の１点から発散された球面波は結像光学系を通過後、収斂波となる。そのとき、結像光学系が理想光学系でなければ収差が発生する。波面は球面でなく複雑な形状となる。幾何光学と波動光学の間を取り持つのが波面光学であり、波面の現象を取り扱う場合に便利である。
結像面における波動光学的ＭＴＦを扱うとき、結像光学系の射出瞳位置における波面情報が重要となる。
ＭＴＦの計算は結像点における波動光学的強度分布のフーリエ変換で求まる。その波動光学的強度分布は波動光学的振幅分布を２乗して得られるが、その波動光学的振幅分布は射出瞳における瞳関数のフーリエ変換から求まる。
さらにその瞳関数はまさに射出瞳位置における波面情報（波面収差）そのものからであることから、その光学系１１０を通して波面収差が厳密に数値計算できればＭＴＦが計算できることになる。
【０１３５】
したがって、所定の手法によって射出瞳位置での波面情報に手を加えれば、任意に結像面におけるＭＴＦ値は変更可能である。
本実施形態においても、波面の形状変化を波面形成用光学素子で行うのが主であるが、まさにｐｈａｓｅ（位相、光線に沿った光路長）に増減を設けて目的の波面形成を行っている。
そして、目的の波面形成を行えば、射出瞳からの射出光束は、図２０（Ａ）〜（Ｃ）に示す幾何光学的なスポット像からわかるように、光線の密な部分と疎の部分から形成される。
この光束状態のＭＴＦは空間周波数の低いところでは低い値を示し、空間周波数の高いところまでは何とか解像力は維持している特徴を示している。
すなわち、この低いＭＴＦ値（または、幾何光学的にはこのようなスポット像の状態）であれば、エリアジングの現象を発生させないことになる。
つまり、ローパスフィルタが必要ないのである。
そして、後段のＤＳＰ等からなる画像処理装置１４０でＭＴＦ値を低くしている原因のフレアー的画像を除去すれば良いのである。それによってＭＴＦ値は著しく向上する。
【０１３６】
次に、本実施形態および従来光学系のＭＴＦのレスポンスについて考察する。
【０１３７】
図２４は、一般的な光学系の場合において物体が焦点位置にあるときと焦点位置から外れたときのＭＴＦのレスポンス（応答）を示す図である。
図２５は、光波面変調素子を有する本実施形態の光学系の場合において物体が焦点位置にあるときと焦点位置から外れたときのＭＴＦのレスポンスを示す図である。
また、図２６は、本実施形態に係る撮像装置のデータ復元後のＭＴＦのレスポンスを示す図である。
【０１３８】
図からもわかるように、光波面変調素子を有する光学系の場合、物体が焦点位置から外れた場合でもＭＴＦのレスポンスの変化が光波面変調素子を挿入してない光学径よりも少なくなる。
この光学系によって結像された画像を、コンボリューションフィルタによる処理によって、ＭＴＦのレスポンスが向上する。
【０１３９】
以上説明したように、本実施形態によれば、結像レンズによる撮像素子１２０の受光面への結像の波面を変形させる機能を有する光波面変調機能の発現、非発現が外部に依存する外部依存型光波面変調素子１１４を備えた光学系１１０と、光学系１１０を通過した被写体像を撮像する撮像素子１２０と、撮像素子１２０からの被写体の画像信号に対して所定の処理を施す画像処理装置１４０と、を有し、光学系１１０は外部依存型光波面変調素子１１４が、変調機能制御部２００により光波面変調機能が非発現状態に制御されているときは、１焦点状態となり、発現状態に制御されているときは複数焦点状態となる。
また、本実施形態によれば光波面変調機能を含む光学系１１０Ａと、光学系１１０Ａを通過した被写体像を撮像する撮像素子１２０と、撮像素子１２０からの被写体の画像信号に対して所定の処理を施す画像処理装置１４０と、を有し、光学系１１０Ａに、光波面変調素子１１２ａの光波面変調機能を相殺する逆光波面変調機能の発現、非発現が外部に依存する外部依存型逆光波面変調素子１１７を配置し、光学系１１０Ａは、外部依存型逆光波面変調素子１１７が、変調機能制御部２００により逆光波面変調機能が発現状態に制御されているときは、１焦点状態となり、非発現状態に制御されているときは複数焦点状態となる。
したがって、以下の効果を得ることができる。
【０１４０】
解像性能ピーク位置を容易に検出可能で、また、容易に検出可能な光学システムでありながら、用途に応じ深度拡張機能をなくすこともできる利点がある。
また、フォーカス調整はＤＥＯＳ技術を用いることから画像全体にピントの合った復元画像を提供できる。特に監視カメラのような電子画像機器システムには最適な光学システムと言える。
【０１４１】
また、画像処理装置１４０において、露出制御装置１９０からの露出情報に応じて光学的伝達関数（ＯＴＦ）に対してフィルタ処理を行うことから、光学系を簡単化でき、コスト低減を図ることができ、しかもノイズの影響が小さい復元画像を得ることができる利点がある。
また、コンボリューション演算時に用いるカーネルサイズやその数値演算で用いられる係数を可変とし、操作部１８０等の入力により知り、適性となるカーネルサイズや上述した係数を対応させることにより、倍率やディフォーカス範囲を気にすることなくレンズ設計ができ、かつ精度の高いコンボリュ−ションによる画像復元が可能となる利点がある。
また、難度が高く、高価でかつ大型化した光学レンズを必要とせずに、かつ、レンズを駆動させること無く、撮影したい物体に対してピントが合い、背景はぼかすといった、いわゆる自然な画像を得ることができる利点がある。
そして、本実施形態に係る撮像装置１００は、デジタルカメラやカムコーダー等の民生機器の小型、軽量、コストを考慮されたズームレンズのＤＥＯＳに使用することが可能である。
【０１４２】
また、本実施形態においては、結像レンズ１１２による撮像素子１２０の受光面への結像の波面を変形させる波面形成用光学素子を有する撮像レンズ系と、撮像素子１２０による１次画像ＦＩＭを受けて、１次画像の空間周波数におけるＭＴＦをいわゆる持ち上げる所定の補正処理等を施して高精細な最終画像ＦＮＬＩＭを形成する画像処理装置１４０とを有することから、高精細な画質を得ることが可能となるという利点がある。
また、光学系１１０の構成を簡単化でき、製造が容易となり、コスト低減を図ることができる。
【０１４３】
ところで、ＣＣＤやＣＭＯＳセンサを撮像素子として用いた場合、画素ピッチから決まる解像力限界が存在し、光学系の解像力がその限界解像力以上であるとエリアジングのような現象が発生し、最終画像に悪影響を及ぼすことは周知の事実である。
画質向上のため、可能な限りコントラストを上げることが望ましいが、そのことは高性能なレンズ系を必要とする。
【０１４４】
しかし、上述したように、ＣＣＤやＣＭＯＳセンサを撮像素子として用いた場合、エリアジングが発生する。
現在、エリアジングの発生を避けるため、撮像レンズ装置では、一軸結晶系からなるローパスフィルタを併用し、エリアジングの現象の発生を避けている。
このようにローパスフィルタを併用することは、原理的に正しいが、ローパスフィルタそのものが結晶でできているため、高価であり、管理が大変である。また、光学系に使用することは光学系をより複雑にしているという不利益がある。
【０１４５】
以上のように、時代の趨勢でますます高精細の画質が求められているにもかかわらず、高精細な画像を形成するためには、従来の撮像レンズ装置では光学系を複雑にしなければならない。複雑にすれば、製造が困難になったりし、また高価なローパスフィルタを利用したりするとコストアップにつながる。
しかし、本実施形態によれば、ローパスフィルタを用いなくとも、エリアジングの現象の発生を避けることができ、高精細な画質を得ることができる。
【０１４６】
なお、本実施形態において、光学系の波面形成用光学素子を絞りより物体側レンズよりに配置した例を示したが、絞りと同一あるいは絞りより結像レンズ側に配置しても前記と同様の作用効果を得ることができる。
【図面の簡単な説明】
【０１４７】
【図１】本発明に係る撮像装置の一実施形態を示すブロック構成図である。
【図２】本実施形態に係る外部依存型光波面変調素子の構成例および機能を説明するための図である。
【図３】本実施形態に係る光学系の他の構成例を説明するための図である。
【図４】本実施形態に係る外部依存型逆光波面変調素子の構成例および機能を説明するための図である。
【図５】ＤＥＯＳの原理を説明するための図である。
【図６】液晶素子にかかる電圧の切り替えと同時に、フィルタ（カーネル）の機能をも切り替える例を示す図である。
【図７】液晶素子にかかる電圧の切り替えと同時に、モニタへの出力を切り替える例を示す図である。
【図８】液晶素子にかかる電圧の切り替えと同時に、画像処理部内の色収差補正機能を切り替える例を示す図である。
【図９】逆光波面変調機能を発現する液晶素子にかかる電圧の切り替えと同時に、フィルタ（カーネル）の機能をも切り替える例を示す図である。
【図１０】本実施形態に係る鏡枠構造の一例を示す図である。
【図１１】カーネルデータＲＯＭの格納データの他例（Ｆナンバ）を示す図である。
【図１２】露出制御装置の光学系設定処理の概要を示すフローチャートである。
【図１３】信号処理部とカーネルデータ格納ＲＯＭについての第１の構成例を示す図である。
【図１４】信号処理部とカーネルデータ格納ＲＯＭについての第２の構成例を示す図である。
【図１５】信号処理部とカーネルデータ格納ＲＯＭについての第３の構成例を示す図である。
【図１６】信号処理部とカーネルデータ格納ＲＯＭについての第４の構成例を示す図である。
【図１７】被写体距離情報と露出情報とを組み合わせる画像処理装置の構成例を示す図である。
【図１８】露出情報と、物体距離情報と、ズーム情報とを用いた場合のフィルタの構成例を示す図である。
【図１９】撮影モード情報と露出情報とを組み合わせる画像処理装置の構成例を示す図である。
【図２０】本実施形態に係る撮像素子の受光面でのスポット像を示す図であって、（Ａ）は焦点が０．２ｍｍずれた場合（Ｄｅｆｏｃｕｓ＝０．２ｍｍ）、（Ｂ）は合焦点の場合（Ｂｅｓｔ ｆｏｃｕｓ）、（Ｃ）は焦点が−０．２ｍｍずれた場合（Ｄｅｆｏｃｕｓ＝−０．２ｍｍ）の各スポット像を示す図である。
【図２１】本実施形態に係る撮像素子により形成される１次画像のＭＴＦについて説明するための図であって、（Ａ）は撮像レンズ装置の撮像素子の受光面でのスポット像を示す図で、（Ｂ）が空間周波数に対するＭＴＦ特性を示す図である。
【図２２】本実施形態に係る画像処理装置におけるＭＴＦ補正処理を説明するための図である。
【図２３】本実施形態に係る画像処理装置におけるＭＴＦ補正処理を具体的に説明するための図である。
【図２４】一般的な光学系の場合において物体が焦点位置にあるときと焦点位置から外れたときのＭＴＦのレスポンス（応答）を示す図である。
【図２５】光波面変調素子を有する本実施形態の光学系の場合において物体が焦点位置にあるときと焦点位置から外れたときのＭＴＦのレスポンスを示す図である。
【図２６】本実施形態に係る撮像装置のデータ復元後のＭＴＦのレスポンスを示す図である。
【図２７】一般的な撮像レンズ装置の構成および光束状態を模式的に示す図である。
【図２８】図２７の撮像レンズ装置の撮像素子の受光面でのスポット像を示す図であって、（Ａ）は焦点が０．２ｍｍずれた場合（Ｄｅｆｏｃｕｓ＝０．２ｍｍ）、（Ｂ）が合焦点の場合（Ｂｅｓｔ ｆｏｃｕｓ）、（Ｃ）が焦点が−０．２ｍｍずれた場合（Ｄｅｆｏｃｕｓ＝−０．２ｍｍ）の各スポット像を示す図である。
【符号の説明】
【０１４８】
１００，１００Ａ・・・撮像装置、１１０，１１０Ａ・・・光学系、１２０・・・撮像素子、１３０・・・アナログフロントエンド部（ＡＦＥ）、１４０・・・画像処理装置、１５０・・・カメラ信号処理部、１８０・・・操作部、１９０・・・露出制御装置、２００・・・変調機能制御部、１１１・・・第１レンズ、１１２・・・第２レンズ、１１２ａ・・・光波面変調素子、１１３・・・絞り、１１４・・・外部依存型光波面変調素子、１１４ａ・・・光波面変調機能を発現可能な液晶素子、１１５・・・第３レンズ、１１６・・・第４レンズ、１１７・・・外部依存型逆光波面変調素子、１１７ａ・・・逆光波面変調機能を発現可能な液晶素子、１４２・・・コンボリューション演算器、１４３・・・カーネルデータＲＯＭ、１４４・・・コンボリューション制御部。
【特許請求の範囲】
【請求項１】
光波面変調機能の発現、非発現が外部に依存する外部依存型光波面変調素子を含む光学系と、
前記光学系を通過した被写体像を撮像する撮像素子と、
前記外部依存型光波面変調素子の光波面変調機能の発現、非発現を制御する変調機能制御部と、
前記撮像素子からの被写体の画像信号に対して所定の処理を施す画像処理部と、を有し、
前記光学系は、
前記外部依存型光波面変調素子が、前記変調機能制御部により光波面変調機能が非発現状態に制御されているときは、１焦点状態となり、発現状態に制御されているときは複数焦点状態となる
撮像装置。
【請求項２】
光波面変調素子を含む光学系と、
前記光学系の光路に配置され、前記光波面変調素子の光波面変調機能を相殺する逆光波面変調機能の発現、非発現が外部に依存する外部依存型逆光波面変調素子と、
前記光学系を通過した被写体像を撮像する撮像素子と、
前記外部依存型逆光波面変調素子の光波面変調機能の発現、非発現を制御する変調機能制御部と、
前記撮像素子からの被写体の画像信号に対して所定の処理を施す画像処理部と、を有し、
前記光学系は、
前記外部依存型逆光波面変調素子が、前記変調機能制御部により逆光波面変調機能が発現状態に制御されているときは、１焦点状態となり、非発現状態に制御されているときは複数焦点状態となる
撮像装置。
【請求項３】
前記画像処理部は、
所定の情報に応じて光学的伝達関数（ＯＴＦ）に対してフィルタ処理を行う機能を有し、
前記変調機能制御部の変調機能の発現、非発現の切り替えが、前記画像処理部に作用するフィルタの切り替えとリンクしている
請求項１または２記載の撮像装置。
【請求項４】
前記画像処理部の画像処理後の画像をカラーまたは白黒で表示可能なモニタを有し、
前記変調機能制御部の変調機能の発現、非発現の切り替えが、前記モニタ出力のカラー出力と白黒出力の切り替えとリンクしている
請求項１から３のいずれか一に記載の撮像装置。
【請求項５】
前記画像処理部は、
所定の情報に応じて光学的伝達関数（ＯＴＦ）に対するフィルタ処理による色収差補正機能を有し、
前記変調機能制御部の変調機能の発現、非発現の切り替えが、前記画像処理部の色収差補正機能の切り替えとリンクしている
請求項１から４のいずれか一に記載の撮像装置。
【請求項６】
前記画像処理部は、複数種類の復元フィルタを用いて前記画像の復元処理を行う
請求項１から５のいずれか一に記載の撮像装置。
【請求項７】
前記画像処理部は、フィルタの演算係数を格納するメモリ手段を有する
請求項１から６のいずれか一に記載の撮像装置。
【請求項８】
前記メモリ手段には、露出情報に応じたノイズ低減処理のための演算係数が格納される
請求項７記載の撮像装置。
【請求項９】
前記メモリ手段には、露出情報に応じた光学的伝達関数（ＯＴＦ）復元のための演算係数が格納される
請求項７記載の撮像装置。
【請求項１０】
前記撮像装置は、
被写体までの距離に相当する情報を生成する被写体距離情報生成手段と、を備え、
前記変換手段は、前記被写体距離情報生成手段により生成される情報に基づいて前記分散画像信号より分散のない画像信号を生成する
請求項１から９のいずれか一に記載の撮像装置。
【請求項１１】
前記撮像装置は、
被写体までの距離に相当する情報を生成する被写体距離情報生成手段と、
前記被写体距離情報生成手段により生成された情報に基づき変換係数を演算する変換係数演算手段と、を備え、
前記変換手段は、前記変換係数演算手段から得られた変換係数によって、画像信号の変換を行い分散のない画像信号を生成する
請求項１から９のいずれか一に記載の撮像装置。
【請求項１２】
前記撮像装置は、
撮影する被写体の撮影モードを設定する撮影モード設定手段と、を備え、
前記変換手段は、前記撮影モード設定手段により設定された撮影モードに応じて異なる変換処理を行う
請求項１から９のいずれか一に記載の撮像装置。
【請求項１３】
光波面変調機能の発現、非発現が外部に依存する外部依存型光波面変調素子を含む光学系を通過した被写体像を撮像素子で撮像し、前記撮像素子からの被写体の画像信号に対して所定の処理を施す撮像方法であって、
前記外部依存型光波面変調素子を、
光波面変調機能が非発現状態に制御して前記光学系を１焦点状態として光学系を通過する光が光源の距離によって光軸方向で異なる位置に結像するように形成した後、
発現状態に制御して複数焦点状態を形成する
撮像方法。
【請求項１４】
光波面変調素子を含む光学系を通過した被写体像を撮像素子で撮像し、前記撮像素子からの被写体の画像信号に対して所定の処理を施す撮像方法であって、
前記光学系の光路に配置され、前記光波面変調素子の光波面変調機能を相殺する逆光波面変調機能の発現、非発現が外部に依存する外部依存型逆光波面変調素子を配置し、
前記外部依存型逆光波面変調素子を、
逆光波面変調機能が発現状態に制御して前記光学系を１焦点状態として光学系を通過する光が光源の距離によって光軸方向で異なる位置に結像するように形成した後、
非発現状態に制御して前記光学系を複数焦点状態とする
撮像方法。
【請求項１】
光波面変調機能の発現、非発現が外部に依存する外部依存型光波面変調素子を含む光学系と、
前記光学系を通過した被写体像を撮像する撮像素子と、
前記外部依存型光波面変調素子の光波面変調機能の発現、非発現を制御する変調機能制御部と、
前記撮像素子からの被写体の画像信号に対して所定の処理を施す画像処理部と、を有し、
前記光学系は、
前記外部依存型光波面変調素子が、前記変調機能制御部により光波面変調機能が非発現状態に制御されているときは、１焦点状態となり、発現状態に制御されているときは複数焦点状態となる
撮像装置。
【請求項２】
光波面変調素子を含む光学系と、
前記光学系の光路に配置され、前記光波面変調素子の光波面変調機能を相殺する逆光波面変調機能の発現、非発現が外部に依存する外部依存型逆光波面変調素子と、
前記光学系を通過した被写体像を撮像する撮像素子と、
前記外部依存型逆光波面変調素子の光波面変調機能の発現、非発現を制御する変調機能制御部と、
前記撮像素子からの被写体の画像信号に対して所定の処理を施す画像処理部と、を有し、
前記光学系は、
前記外部依存型逆光波面変調素子が、前記変調機能制御部により逆光波面変調機能が発現状態に制御されているときは、１焦点状態となり、非発現状態に制御されているときは複数焦点状態となる
撮像装置。
【請求項３】
前記画像処理部は、
所定の情報に応じて光学的伝達関数（ＯＴＦ）に対してフィルタ処理を行う機能を有し、
前記変調機能制御部の変調機能の発現、非発現の切り替えが、前記画像処理部に作用するフィルタの切り替えとリンクしている
請求項１または２記載の撮像装置。
【請求項４】
前記画像処理部の画像処理後の画像をカラーまたは白黒で表示可能なモニタを有し、
前記変調機能制御部の変調機能の発現、非発現の切り替えが、前記モニタ出力のカラー出力と白黒出力の切り替えとリンクしている
請求項１から３のいずれか一に記載の撮像装置。
【請求項５】
前記画像処理部は、
所定の情報に応じて光学的伝達関数（ＯＴＦ）に対するフィルタ処理による色収差補正機能を有し、
前記変調機能制御部の変調機能の発現、非発現の切り替えが、前記画像処理部の色収差補正機能の切り替えとリンクしている
請求項１から４のいずれか一に記載の撮像装置。
【請求項６】
前記画像処理部は、複数種類の復元フィルタを用いて前記画像の復元処理を行う
請求項１から５のいずれか一に記載の撮像装置。
【請求項７】
前記画像処理部は、フィルタの演算係数を格納するメモリ手段を有する
請求項１から６のいずれか一に記載の撮像装置。
【請求項８】
前記メモリ手段には、露出情報に応じたノイズ低減処理のための演算係数が格納される
請求項７記載の撮像装置。
【請求項９】
前記メモリ手段には、露出情報に応じた光学的伝達関数（ＯＴＦ）復元のための演算係数が格納される
請求項７記載の撮像装置。
【請求項１０】
前記撮像装置は、
被写体までの距離に相当する情報を生成する被写体距離情報生成手段と、を備え、
前記変換手段は、前記被写体距離情報生成手段により生成される情報に基づいて前記分散画像信号より分散のない画像信号を生成する
請求項１から９のいずれか一に記載の撮像装置。
【請求項１１】
前記撮像装置は、
被写体までの距離に相当する情報を生成する被写体距離情報生成手段と、
前記被写体距離情報生成手段により生成された情報に基づき変換係数を演算する変換係数演算手段と、を備え、
前記変換手段は、前記変換係数演算手段から得られた変換係数によって、画像信号の変換を行い分散のない画像信号を生成する
請求項１から９のいずれか一に記載の撮像装置。
【請求項１２】
前記撮像装置は、
撮影する被写体の撮影モードを設定する撮影モード設定手段と、を備え、
前記変換手段は、前記撮影モード設定手段により設定された撮影モードに応じて異なる変換処理を行う
請求項１から９のいずれか一に記載の撮像装置。
【請求項１３】
光波面変調機能の発現、非発現が外部に依存する外部依存型光波面変調素子を含む光学系を通過した被写体像を撮像素子で撮像し、前記撮像素子からの被写体の画像信号に対して所定の処理を施す撮像方法であって、
前記外部依存型光波面変調素子を、
光波面変調機能が非発現状態に制御して前記光学系を１焦点状態として光学系を通過する光が光源の距離によって光軸方向で異なる位置に結像するように形成した後、
発現状態に制御して複数焦点状態を形成する
撮像方法。
【請求項１４】
光波面変調素子を含む光学系を通過した被写体像を撮像素子で撮像し、前記撮像素子からの被写体の画像信号に対して所定の処理を施す撮像方法であって、
前記光学系の光路に配置され、前記光波面変調素子の光波面変調機能を相殺する逆光波面変調機能の発現、非発現が外部に依存する外部依存型逆光波面変調素子を配置し、
前記外部依存型逆光波面変調素子を、
逆光波面変調機能が発現状態に制御して前記光学系を１焦点状態として光学系を通過する光が光源の距離によって光軸方向で異なる位置に結像するように形成した後、
非発現状態に制御して前記光学系を複数焦点状態とする
撮像方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【公開番号】特開２００８−２４５２６６（Ｐ２００８−２４５２６６Ａ）
【公開日】平成２０年１０月９日（２００８．１０．９）
【国際特許分類】
【出願番号】特願２００８−４４５８０（Ｐ２００８−４４５８０）
【出願日】平成２０年２月２６日（２００８．２．２６）
【出願人】（０００００６６３３）京セラ株式会社 (13,660)
【Ｆターム（参考）】
【公開日】平成２０年１０月９日（２００８．１０．９）
【国際特許分類】
【出願日】平成２０年２月２６日（２００８．２．２６）
【出願人】（０００００６６３３）京セラ株式会社 (13,660)
【Ｆターム（参考）】
[ Back to top ]