説明

撮像装置および撮像方法

【課題】演算処理の負荷を変えることなくまた処理後の画像品質を確保でき、また、ボケのある画像をも得ることができる撮像装置およびその方法を提供することにある。
【解決手段】光学系および位相板(光波面変調素子)とを通過した被写体分散像を撮像する撮像レンズ装置200と、撮像素子200からの分散画像信号より分散のない画像信号を生成する画像処理装置500と、焦点距離、多点測距の結果、被写体までの距離に相当する情報、ズーム情報、あるいは撮影モード情報を生成し画像処理装置500に供給する撮影情報生成部300と、複数の位相板のうちの所望の位相板を撮影情報に応じて選択的に光路上に挿入または退避させる選択切換部400とを備え、画像処理装置500は、撮影情報生成部300により生成される情報に基づいて分散画像信号より分散のない画像信号を生成する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像素子を用い、光学系、位相板等の光波面変調素子を備えたデジタルスチルカメラや携帯電話搭載カメラ、携帯情報端末搭載カメラ等の撮像装置およびその方法に関するものである。
【背景技術】
【0002】
近年急峻に発展を遂げている情報のデジタル化に相俟って映像分野においてもその対応が著しい。
特に、デジタルカメラに象徴されるように撮像面は従来のフィルムに変わって固体撮像素子であるCCD(Charge Coupled Device),CMOS(Complementary Metal Oxide Semiconductor)センサが使用されているのが大半である。
【0003】
このように、撮像素子にCCDやCMOSセンサを使った撮像レンズ装置は、被写体の映像を光学系により光学的に取り込んで、撮像素子により電気信号として抽出するものであり、デジタルスチルカメラの他、ビデオカメラ、デジタルビデオユニット、パーソナルコンピュータ、携帯電話機、携帯情報端末(PDA:Personal DigitalAssistant)等に用いられている。
【0004】
図24は、一般的な撮像レンズ装置の構成および光束状態を模式的に示す図である。
この撮像レンズ装置1は、光学系2とCCDやCMOSセンサ等の撮像素子3とを有する。
光学系は、物体側レンズ21,22、絞り23、および結像レンズ24を物体側(OBJS)から撮像素子3側に向かって順に配置されている。
【0005】
撮像レンズ装置1においては、図24に示すように、ベストフォーカス面を撮像素子面上に合致させている。
図25(A)〜(C)は、撮像レンズ装置1の撮像素子3の受光面でのスポット像を示している。
【0006】
また、位相板(Wavefront Coding optical element)により光束を規則的に分散し、デジタル処理により復元させ被写界深度の深い画像撮影を可能にする等の撮像装置が提案されている(たとえば非特許文献1,2、特許文献1〜5参照)。
また、被写界の拡大量に応じて液晶空間位相変調器の位相変調量を可変にする被写界深度拡大システムが提案されている。
【非特許文献1】"Wavefront Coding;jointly optimized optical and digital imaging systems",Edward R.Dowski,Jr.,Robert H.Cormack,Scott D.Sarama.
【非特許文献2】"Wavefront Coding;A modern method of achieving high performance and/or low cost imaging systems",Edward R.Dowski,Jr.,Gregory E.Johnson.
【特許文献1】USP6,021,005
【特許文献2】USP6,642,504
【特許文献3】USP6,525,302
【特許文献4】USP6,069,738
【特許文献5】特開2003−235794号公報
【発明の開示】
【発明が解決しようとする課題】
【0007】
上述した各文献等にて提案された撮像装置においては、その全ては通常光学系に上述の位相板を挿入した場合のPSF(Point−Spread−Function)が一定になっていることが前提であり、PSFが変化した場合は、その後のカーネルを用いたコンボリューションにより、被写界深度の深い画像を実現することは極めて難しい。
したがって、単焦点でのレンズであっても、その物体距離によってそのスポット像が変化する通常の光学系では、一定の(変化しない)PSFは実現できず、それを解決するには、レンズの光学設計の精度の高さやそれに伴うコストアップが原因となり採用するには大きな問題を抱えている。
【0008】
また、複数の光学系を備えた光学系、たとえばデジタルカメラのように光学変倍機構を搭載した光学系において、上述した位相板とその後の信号処理によって被写界深度を拡大する等の技術を適用する場合、その光学設計においてPSFがそれぞれの光学系で同じ大きさ、形状になるように設計しなければならないが、そのためには設計の難度が増し、またレンズの精度の高さやそれに伴うコストアップが原因となり採用するには大きな問題を抱えることになる。
また、1つの位相変調素子では合焦範囲を可変させるにはコンボリューション処理を変えることである程度は可能になるがコンボリューション処理にかかる負荷や処理後の画像品質から鑑みても好ましくない。
【0009】
さらにまた、上述した各文献等にて提案された撮像装置においては、1つの位相板(光波面変調素子)と1つの復元処理では1つの被写界深度しか得られない。撮影範囲全域でピントの合った画像を望む場合はこれで問題ないが、一般的な光学系のように被写界深度のコントロールを行ってボケ味を得ることはできない。
【0010】
また、一般的なカメラでは、マクロ撮影を行う場合、レンズをマクロ域に切り替えた上でオートフォーカス(以下AF)によってピント合わせを行っている。あるいはF値を絞ることで被写界深度を広げて固定ピントとしているものも知られている。
【0011】
ところで、マクロ撮影が本質的に抱えている問題は、距離が非常に近いことによって被写体のわずかな凹凸、あるいは手持ち撮影によるカメラの前後方向のずれが発生し、狙いの部分にピントが合わせ難かったり、深度が非常に浅いことにより画面全体にピントが合いにくいということである。
これは、マクロ撮影のAFと三脚等の固定手段を組み合わせることによって狙いの被写体に対して最適なフォーカシングを行いピントを合わせることはできるが、画面全体にピントを合わせるといったことはできない。また三脚等の固定手段が煩わしいといった問題がある。
【0012】
この問題を解決する手段として、レンズのF値を絞ることで被写界深度を広げる方法も広く利用されているが、F値を絞ることで暗くなり、露出を維持するためにシャッタースピードが遅くなって手振れ等の問題も発生する。
【0013】
一方、伝統光学系の理論に対し、積極的に光学位相板を挿入することによって像をぼかし、ぼけ復元デジタルフィルタによって画像処理で復元させる手法では、F値を低下させることなく被写界深度を広げられるメリットはあるが、通常の風景画やポートレート撮影では遠近感が無く、また画像処理独特のノイズがわずかに生じることで趣味や芸術性を追及する撮影には適用が困難であるといった問題があった。
【0014】
本発明の第1の目的は、光学系を簡単化でき、コスト低減を図ることができ、物体距離やデフォーカス範囲を気にすることなく、レンズ設計を行うことができ、かつ精度の高い演算による画像復元が可能で、演算処理の負荷を変えることなくまた処理後の画像品質を確保でき、また、ボケのある画像をも得ることができる撮像装置およびその方法を提供することにある。
また、本発明の第2の目的は、芸術的な撮影は可能としながら、記録としてのマクロ撮影を失敗無く容易に行うことができる撮像装置およびその方法を提供することにある。
【課題を解決するための手段】
【0015】
上記目的を達成するため、本発明の第1の観点の撮像装置は、光学系および少なくとも一つの光波面変調素子と、前記光学系または前記光学系および光波面変調素子を通過した被写体分散像を撮像する撮像素子と、前記撮像素子からの被写体分散画像信号より分散のない画像信号を生成する変換手段を含む画像処理手段と、を備え、前記光波面変調素子は、光路上に挿入、退避可能である。
【0016】
好適には、複数の光波面変調素子を有し、前記複数の光波面変調素子の各々を、前記光路上に選択的に挿入、退避させる選択切換手段を有する。
【0017】
好適には、前記選択切換手段は、焦点距離に応じて所望の光波面変調素子の前記光路上への挿入、退避を選択的に切り換える。
【0018】
好適には、前記選択切換手段は、多点測距の結果に応じて所望の光波面変調素子の前記光路上への挿入、退避を選択的に切り換える。
【0019】
好適には、前記光学系はズーム機能を含み、前記選択切換手段は、ズーム情報に応じて所望の光波面変調素子の前記光路上への挿入、退避を選択的に切り換える。
【0020】
好適には、前記選択切換手段は、被写体までの距離に相当する情報に応じて所望の光波面変調素子の前記光路上への挿入、退避を選択的に切り換える。
【0021】
好適には、前記選択切換手段は、撮影モードに応じて所望の光波面変調素子の前記光路上への挿入、退避を選択的に切り換える。
【0022】
好適には、前記撮像装置は、マクロモード・マクロ状態時に光波面変調素子を前記光路上への挿入し、非マクロモード・非マクロ状態時に光波面変調素子を前記光路上から退避する。
【0023】
好適には、前記撮像装置は、近接撮影を可能とするマクロ領域へ前記光学系を移動可能なレンズ鏡筒を有し、測距結果が近距離と判定されたときに、上記光学系のテイキングレンズを固定フォーカスのマクロレンズの構成に移動させる。
【0024】
好適には、前記撮像装置は、近接撮影を可能とするマクロ領域へ前記光学系を移動可能なレンズ鏡筒を有し、マクロモードが選択されると、上記光学系のテイキングレンズを固定フォーカスのマクロレンズの構成に移動させる。
【0025】
好適には、前記撮像装置は、機械的にマクロ位置へレンズを移動させる機構を有する。
【0026】
好適には、マクロ状態にあるときに前記光波面変調素子を前記光学系の光路中に挿入し、マクロ状態が解除されると前記光波面変調素子を前記光学系の光路中から退避させる手段を有し、前記画像処理手段は、マクロ状態で前記光波面変調素子が挿入されている場合に、前記変換手段により、被写体分散画像信号より分散のない画像信号を生成し、マクロ状態から解除され、前記光波面変調素子が退避されている場合には、前記変換手段の処理を行わない。
【0027】
好適には、使用者が電源をオフした場合にマクロ状態を解除する制御手段を有する。
【0028】
好適には、前記撮像装置は、マクロモード時に、光波面変調素子を前記光路上へ挿入するか否かを選択する選択手段を有する。
【0029】
好適には、マクロ撮影において光波面変調素子を挿入するモードと、光波面変調素子を退避させるモードを選択する機能を備え、前記光波面変調素子が挿入されたマクロ撮影ではフォーカシングレンズは所定の場所に固定して測距動作を行わず、光波面変調素子が退避されたマクロ撮影ではフォーカシングレンズは測距動作を行い、フォーカシングレンズを駆動してオートフォーカス(AF)動作を行う制御手段を有する。
【0030】
本発明の第2の観点の撮像方法は、撮影に関する情報を生成する第1ステップと、前記情報生成ステップにより生成される情報に基づいて所定の光波面変調素子を、光路上に挿入または退避させる第2ステップと、光学系と、前記第2ステップで前記光波面変調素子が選択的に設定された状態にある前記光波面変調素子の配置可能位置とを通過した被写体分散像を撮像素子で撮像する第3ステップと、前記第2ステップにより生成される情報に基づいて前記分散画像信号を変換して分散のない画像信号を生成する第4ステップとを有する。
【発明の効果】
【0031】
本発明によれば、物体距離やデフォーカス範囲を気にすることなく、レンズ設計を行うことができ、かつ精度の良いコンボリューション等の演算による画像復元が可能となる利点がある。
また、本発明によれば、芸術的な撮影は可能としながら、記録としてのマクロ撮影を失敗無く容易に行うことができる。
また、本発明によれば、光学系を簡単化でき、コスト低減を図ることができる。
また、演算処理の負荷を変えることなくまた処理後の画像品質を確保できる。
また、光波面変調素子と画像処理によってピントのあった画像を得る事を目的とした深度拡張光学系を用いながらも従来光学系の様なボケのある画像をも得ることができる。
【発明を実施するための最良の形態】
【0032】
以下、本発明の実施形態を添付図面に関連付けて説明する。
【0033】
<第1実施形態>
図1は、本発明の第1の実施形態に係る撮像装置を示すブロック構成図である。
【0034】
本第1の実施形態に係る撮像装置100は、ズーム機能を有する光学系(以下、ズーム光学系という)を有する撮像レンズ装置200と、撮影に関する情報を生成する撮影情報生成部300と、光波面変調素子の選択切換部400と、画像処理装置(信号処理部)500と、を主構成要素として有している。
【0035】
撮像レンズ装置200は、撮像対象物体(被写体)OBJの映像を光学的に取り込むズーム光学系210と、ズーム光学系210で取り込んだ像が結像され、結像1次画像情報を電気信号の1次画像信号FIMとして画像処理装置300に出力するCCDやCMOSセンサからなる撮像素子220とを有する。図1においては、撮像素子220を一例としてCCDとして記載している。
【0036】
図2は、本実施形態に係るズーム光学系210の光学系の構成例を模式的に示す図である。
【0037】
図2のズーム光学系210は、物体側OBJSに配置された物体側レンズ211と、撮像素子220に結像させるための結像レンズ212と、物体側レンズ211と結像レンズ212間に配置され、結像レンズ212による撮像素子220の受光面への結像の波面を変形させる、たとえば3次元的曲面を有する複数の位相板(Cubic Phase Plate)からなる光波面変調素子(波面形成用光学素子:Wavefront Coding Optical Element)群213を有する。また、物体側レンズ211と結像レンズ212間には図示しない絞りが配置される。
なお、本実施形態においては、位相板を用いた場合について説明したが、本発明の光波面変調素子としては、波面を変形させるものであればどのようなものでもよく、厚みが変化する光学素子(たとえば、上述の3次の位相板)、屈折率が変化する光学素子(たとえば屈折率分布型波面変調レンズ)、レンズ表面へのコーディングにより厚み、屈折率が変化する光学素子(たとえば、波面変調ハイブリッドレンズ)、光の位相分布を変調可能な液晶素子(たとえば、液晶空間位相変調素子)等の光波面変調素子であればよい。
【0038】
図2のズーム光学系210は、デジタルカメラに用いられる3倍ズームに光学位相板213aを挿入した例である。
図で示された位相板213aは、光学系により収束される光束を規則正しく分光する光学レンズである。この位相板を挿入することにより、撮像素子220上ではピントのどこにも合わない画像を実現する。
換言すれば、位相板213aによって深度の深い光束(像形成の中心的役割を成す)とフレアー(ボケ部分)を形成している。
この規則的に分光した画像をデジタル処理により、ピントの合った画像に復元する手段を波面収差制御光学系システムといい、この処理を画像処理装置300において行う。
【0039】
図3は、位相板を含まないズーム光学系210の無限側のスポット像を示す図である。図4は、位相板を含まないズーム光学系210の至近側のスポット像を示す図である。図5は、位相板を含むズーム光学系210の無限側のスポット像を示す図である。図6は、位相板を含むズーム光学系210の至近側のスポット像を示す図である。
【0040】
基本的に、位相板を含まない光学レンズ系を通った光のスポット像は図3および図4に示されるように、その物体距離が至近側にある場合と無限側にある場合では、異なったスポット像を示す。
このように、物体距離で異なるスポット像を持つ光学系においては、後で説明するH関数が異なる。
当然、図5および図6に示すように、このスポット像に影響される位相板を通したスポット像もその物体距離が至近側と無限側では異なったスポット像となる。
【0041】
このような、物体位置で異なるスポット像を持つ光学系においては、従来の装置では適正なコンボリューション演算を行うことができず、このスポット像のズレを引き起こす非点、コマ収差、球面収差等の各収差を無くす光学設計が要求される。しかしながら、これらの収差を無くす光学設計は光学設計の難易度を増し、設計工数の増大、コスト増大、レンズの大型化の問題を引き起こす。
そこで、本実施形態においては、図1に示すように、撮像装置(カメラ)100が撮影状態に入った時点で、撮影に関する情報を撮影情報生成部300において生成し、画像処理装置500に供給する。
【0042】
撮影情報生成部300が生成する撮影に関する情報としては、レンズの焦点距離、多点測距の結果、ズーム光学系210のズーム情報、被写体の物体距離の概略距離情報、あるいは撮影モード情報を例示することができる。
撮影情報生成部300で生成する撮影に関する情報は、画像処理装置500のコンボリューション演算処理のフィルタの切り換えに用いられる。
【0043】
選択切換部400は、たとえば光波面変調素子としての複数の位相板と一体的に形成されており、撮影情報生成部300で生成された上述した撮影に関する情報に応じて複数の位相板の各々を、光学系210の光路上に選択的に挿入または退避させる。
【0044】
なお、ここでは、光波面変調素子としての複数の位相板を撮影に関する状態に応じて光学系210の光路上に選択的に挿入または退避させる場合を例を示すが、本発明は撮影に関する情報、たとえば撮影モードに応じて位相板を光学系210の光路上に選択的に挿入または退避させる場合にも適用可能である。この例としては、マクロモードのマクロ撮影とレンズ駆動を含めた実施形態として後で詳述する。
【0045】
図7および図8は、本実施形態の選択切換部400の構成例を示す図である。
【0046】
図7の選択切換部400Aは、変調特性の異なる複数(本例では3または4)の位相板213a−1〜213a−4を、回転中心を持った回転可動な部品401に同心円上の軌跡に沿って配置し、部品401の縁部とモータ402の回転軸に取り付けた歯車402と噛合させて、撮影情報生成部300で生成された情報に応じて、所望の位相板213a−1(〜−4)を光軸中心AXを含む光路に挿入(位置させ)あるいは退避させる。これにより、撮影情報に応じて光波面変調を実現している。
【0047】
図8の選択切換部400Bは、変調特性の異なる複数(本例では1または2)の位相板213a−1,213a−2を、板状の部品404に光軸中心と直交する方向に並列に配置し、同心円上の軌跡に沿って配置し、部品404の一縁部とモータ405の回転軸に取り付けた歯車406と噛合させて、撮影情報生成部300で生成された情報に応じて、所望の位相板213a−1(,−2)を光軸中心AXを含む光路に挿入(位置)させあるいは退避させる。これにより、撮影情報に応じて光波面変調を実現している。
【0048】
なお、図7および図8の例では、部品401,404の位相板の配置位置すべてに位相板を配置しているが、たとえば、位相板を配置しない部分を設け、情報に応じて光波面変調を施さないで撮像素子220に入射させるように構成することも可能である。
このような構成を採用すると、たとえば撮影情報が撮影モードに関する情報であって、たとえばマクロ(近接)モードに場合には、位相板を光路に挿入(位置)させ、少しボケた画像にするモードの場合には、位相板を配置していな部分を光路に挿入(位置)させるといった態様が可能となる。
すなわち、光波面変調素子と画像処理によってピントのあった画像を得る事を目的とした深度拡張光学系を用いながらも従来光学系の様なボケのある画像をも得ることができる。
【0049】
また、単純にひとつの位相板等の光波面変調素子を光路に挿入あるいは退避させて、光路に光波面変調素子を配置するあるいは光波面変調処理を施さないように構成することも可能である。
さらに、ひとつの位相板当の光波面変調素子を光路上に固定させ、別の位相板等の光波面変調素子を光路に挿入あるいは退避させるように構成することも可能である。
【0050】
以上、制御の簡易性やスペースの有効性の高いと考えられる複数の位相板を一部品化したもののみを例示したが、一部品に構成せず各々複数個の光波面変調素子(位相板等)を出し入れする方法も採用することも可能である。
【0051】
撮影情報生成部300が生成する撮影に関する情報が焦点距離情報の場合には、たとえば以下のように構成される。
【0052】
図9は、撮影情報生成部300が生成する撮影に関する情報が焦点距離情報の場合の処理系のブロック図である。図10は、焦点距離に応じて光波面変調素子と復元処理への切換の簡単なフローチャートである。
この場合、撮影情報生成部300において、各々の焦点距離に対するレンズの情報と複数の光波面変調素子(本実施形態では位相板)の情報、さらには復元処理の情報を記憶装置に格納しておく。
焦点移動が行われた際にその焦点情報を取得し格納されている情報を記憶装置より引き出し、選択切換部400によって適宜の状態に切換を行う。
その後は、撮影による撮像素子220の信号を選択された画像処理理装置500のコンボリューション演算部のフィルタ切り換え等によって画像処理を行い、ピントの合った画像に復元する(ST1〜ST4)。
【0053】
図11は、撮影情報生成部300が生成する撮影に関する情報が多点測距の結果である被写界深度の場合の処理系のブロック図である。図12は、被写界深度に応じて焦点距離に応じて光波面変調素子と復元処理への切換の簡単なフローチャートである。
一つの光波面変調素子と一つの復元処理では被写界深度は一定の範囲となる。また、復元処理の係数を変えることで被写界深度を調整することは可能であるが、同時に撮影時に含まれているノイズの影響も変化し、適切な画像を復元することが困難になる。
したがって、要望される被写界深度に応じて光波面変調素子の切り替えと復元処理とを行うことでこの問題は解決できる。
【0054】
この場合、撮影情報生成部300において、レンズの情報と複数の位相変調素子の情報、さらには復元処理の情報を記憶装置に格納しておく。
撮影時に実行された測距結果、たとえば近点側(第1点目)と遠点側(第2点目)の2点を使用者によって入力された情報を取得し必要な被写界深度を算出しメモリに格納する。
その結果から格納されている光波面変調素子と復元処理によって得られる被写界深度とを比較し、適正な光波面変調素子と復元処理との組合せに切換を行う。
その後は、撮影による撮像素子220の信号を選択された画像処理理装置500のコンボリューション演算部のフィルタ切り換え等によって画像処理を行い、ピントの合った画像に復元する(ST11〜ST17)。
【0055】
このように、本発明は、多点測距を備えたカメラ等にも適応することができる。測距の方法については、機器に応じて様々な方法が考えられるが、視野内に設けられた複数個の測距エリアから距離情報を抽出・算出し被写界深度を決めることとし詳細は割愛する。
また、ここでは、近距離側の第1の測距情報と遠距離側の第2の測距情報から被写界深度を算出し、その結果を基に最適な位相変調素子と復元処理を選択する例を示している。
また、この手段は単焦点でも多焦点でも使用可能であり、被写界深度の算出に当たっては多点測距によるものでも良い。
【0056】
以上では、撮影情報生成部300が生成する撮影に関する情報としては、レンズの焦点距離、多点測距の結果を例示したが、ズーム光学系210のズーム情報、被写体の物体距離の概略距離情報、あるいは撮影モード情報を用いて上述したと同様に制御を行うことができる。
被写体の物体距離の概略距離情報の場合、たとえばAFセンサ等からなる体概略距離情報検出装置400が設けられる。
【0057】
また、撮影情報生成部300が撮影モード情報を生成する場合、撮像装置(カメラ)100が撮影状態に入った時点で、操作スイッチで選択され入力された撮影モード(本実施形態の場合、たとえば通常撮影モード、遠景撮影モード、マクロ撮影モード、ボケのあるモード)に応じた被写体の物体距離の概略距離を物体概略距離情報検出装置から読み出し、画像処理装置500に供給する。
【0058】
画像処理装置500は、撮影情報生成部300から供給された、レンズの焦点距離、多点測距の結果、ズーム光学系210のズーム情報、被写体の物体距離の概略距離情報、あるいは撮影モード情報に基づいて、撮像素子220からの分散画像信号より分散のない画像信号を生成する機能および光波面変調素子としての位相板が退避状態にあり、光波面変調作用を受けていない画像信号に対する所定の画像処理機能を有する。
【0059】
なお、本実施形態において、分散とは、上述したように、位相板213aを挿入することにより、撮像素子220上ではピントのどこにも合わない画像を形成し、位相板213aによって深度の深い光束(像形成の中心的役割を成す)とフレアー(ボケ部分)を形成する現象をいい、像が分散してボケ部分を形成する振る舞いから収差と同様の意味合いが含まれる。したがって、本実施形態においては、収差として説明する場合もある。
【0060】
図13は、撮像素子220からの分散画像信号より分散のない画像信号を生成するが画像処理装置500の構成例を示すブロック図である。
【0061】
画像処理装置500は、図13に示すように、コンボリューション装置501、カーネル・数値演算係数格納レジスタ502、および画像処理演算プロセッサ503を有する。
【0062】
この画像処理装置500においては、撮影情報生成部300から供給された撮影に関する情報を得た画像処理演算プロセッサ503では、その物体離位置に対して適正な演算で用いる、カーネルサイズやその演算係数をカーネル、数値演算係数格納レジスタ502に格納し、その値を用い、かつ、撮影情報生成部300から供給された撮影に関する情報に応じてフィルタを切り換えて演算するコンボリューション装置501にて適正な演算を行い、画像を復元する。
【0063】
ここで、波面収差制御光学系システムの基本原理について説明する。
図14に示すように、被写体の画像fが波面収差制御光学系システム光学系Hに入ることにより、g画像が生成される。
これは、次のような式で表すことができる。
【0064】
(数1)
g=H*f
ここで、*はコンボリューションを表す。
【0065】
生成された、画像から被写体を求めるためには、次の処理を要する。
【0066】
(数2)
f=H-1*g
【0067】
ここで、関数Hに関するカーネルサイズと演算係数について説明する。
個々の物体概略距離をAFPn、AFPn−1、・・・とし、個々のズームポジション(ズーム位置)をZpn、Zpn−1・・・とする。
そのH関数をHn、Hn−1、・・・・とする。
各々のスポットが異なるため、各々のH関数は、次のようになる。
【0068】
【数1】

【0069】
この行列の行数および/または列数の違いをカーネイレサイズ、各々の数字を演算係数とする。
【0070】
上述のように、光波面変調素子としての位相板(Wavefront Coding optical element)を備えた撮像装置の場合、所定の焦点距離範囲内であればその範囲内に関し画像処理によって適正な収差のない画像信号を生成できるが、所定の焦点距離範囲外の場合には、画像処理の補正に限度があるため、前記範囲外の被写体のみ収差のある画像信号となってしまう。
また一方、所定の狭い範囲内に収差が生じない画像処理を施すことにより、所定の狭い範囲外の画像にぼけ味を出すことも可能になる。
本実施形態においては、撮影情報生成部300から供給された、レンズの焦点距離、多点測距の結果、ズーム光学系210のズーム情報、被写体の物体距離の概略距離情報、あるいは撮影モード情報に応じて異なる画像補正の処理を行うことにように構成されている。
【0071】
前記の画像処理はコンボリューション演算により行うが、これを実現するには、たとえばコンボリューション演算の演算係数を共通で1種類記憶しておき、焦点距離に応じて補正係数を予め記憶しておき、この補正係数を用いて演算係数を補正し、補正した演算係数で適性なコンボリューション演算を行う構成をとることができる。
この構成の他にも、以下の構成を採用することが可能である。
【0072】
たとえば焦点距離に応じて、カーネルサイズやコンボリューションの演算係数自体を予め記憶しておき、これら記憶したカーネルサイズや演算係数でコンボリューション演算を行う構成、焦点距離に応じた演算係数を関数として予め記憶しておき、焦点距離によりこの関数より演算係数を求め、計算した演算係数でコンボリューション演算を行う構成等、を採用することが可能である。
【0073】
また、前述したレンズの焦点距離、多点測距の結果に応じた処理の他、図13の構成に対応付けると次のような構成をとることができる。
【0074】
変換係数記憶手段としてのレジスタ502に被写体距離に応じて少なくとも位相板213aに起因する収差に対応した変換係数を少なくとも2以上予め記憶する。画像処理演算プロセッサ503が、撮影情報生成部300の被写体距離情報生成手段としての物体概略距離情報検出装置により生成された情報に基づき、レジスタ502から被写体までの距離に応じた変換係数を選択する係数選択手段として機能する。
そして、変換手段としてのコンボリューション装置501が、係数選択手段としての画像処理演算プロセッサ503で選択された変換係数および撮影情報生成部300の供給情報によって、画像信号の変換を行う。
【0075】
または、前述したように、変換係数演算手段としての画像処理演算プロセッサ503が、被写体距離情報生成手段としての物体概略距離情報検出装置により生成された情報に基づき変換係数を演算し、レジスタ502に格納する。
そして、変換手段としてのコンボリューション装置501が、変換係数演算手段としての画像処理演算プロセッサ503で得られレジスタ502に格納された変換係数および撮影情報生成部300の供給情報によって、画像信号の変換を行う。
【0076】
または、撮影情報生成部300から供給されるズーム情報を入力し、補正値記憶手段としてのレジスタ502にズーム光学系210のズーム位置またはズーム量に応じた少なくとも1以上の補正値を予め記憶する。この補正値には、被写体収差像のカーネルサイズを含まれる。
第2変換係数記憶手段としても機能するレジスタ502に、所望の位相板213aに起因する収差に対応した変換係数を予め記憶する。
そして、たとえば距離情報や焦点距離情報、多点測距の結果等の撮影情報に基づき、補正値選択手段としての画像処理演算プロセッサ503が、補正値記憶手段としてのレジスタ502から被写体までの距離に応じた補正値を選択する。
変換手段としてのコンボリューション装置501が、第2変換係数記憶手段としてのレジスタ502から得られた変換係数および撮影情報生成部300の供給情報と、補正値選択手段としての画像処理演算プロセッサ503により選択された補正値とに基づいて画像信号の変換を行う。
【0077】
また、撮影情報が撮影モード情報の場合、たとえば、画像処理装置500は、通常撮影モードにおける通常変換処理と、この通常変換処理に比べて近接側に収差を少なくするマクロ撮影モードに対応したマクロ変換処理と、通常変換処理に比べて遠方側に収差を少なくする遠景撮影モードに対応した遠景変換処理と、を撮影モードに応じて選択的に実行する。
【0078】
本実施形態においては、波面収差制御光学系システムを採用し、高精細な画質を得ることが可能で、しかも、光学系を簡単化でき、コスト低減を図ることが可能となっている。
以下、この特徴について説明する。
【0079】
図15(A)〜(C)は、撮像レンズ装置200の撮像素子220の受光面でのスポット像を示している。
図15(A)は焦点が0.2mmずれた場合(Defocus=0.2mm)、図15(B)が合焦点の場合(Best focus)、図15(C)が焦点が−0.2mmずれた場合(Defocus=−0.2mm)の各スポット像を示している。
図15(A)〜(C)からもわかるように、本実施形態に係る撮像レンズ装置200においては、位相板213aを含む波面形成用光学素子群213によって深度の深い光束(像形成の中心的役割を成す)とフレアー(ボケ部分)が形成される。
【0080】
このように、本実施形態の撮像レンズ装置200において形成された1次画像FIMは、深度が非常に深い光束条件にしている。
【0081】
図16(A),(B)は、本実施形態に係る撮像レンズ装置により形成される1次画像の変調伝達関数(MTF:Modulation Transfer Function)について説明するための図であって、図16(A)は撮像レンズ装置の撮像素子の受光面でのスポット像を示す図で、図16(B)が空間周波数に対するMTF特性を示している。
本実施形態においては、高精細な最終画像は後段の、たとえばデジタルシグナルプロセッサ(Digital Signal Processor)からなる画像処理装置500の補正処理に任せるため、図16(A),(B)に示すように、1次画像のMTFは本質的に低い値になっている。
【0082】
画像処理装置500は、たとえばDSPにより構成され、上述したように、撮像レンズ装置200による1次画像FIMを受けて、1次画像の空間周波数におけるMTFをいわゆる持ち上げる所定の補正処理等を施して高精細な最終画像FNLIMを形成する。
【0083】
画像処理装置500のMTF補正処理は、たとえば図17の曲線Aで示すように、本質的に低い値になっている1次画像のMTFを、空間周波数をパラメータとしてエッジ強調、クロマ強調等の後処理にて、図17中曲線Bで示す特性に近づく(達する)ような補正を行う。
図17中曲線Bで示す特性は、たとえば本実施形態のように、波面形成用光学素子を用いずに波面を変形させない場合に得られる特性である。
なお、本実施形態における全ての補正は、空間周波数のパラメータによる。
【0084】
本実施形態においては、図17に示すように、光学的に得られる空間周波数に対するMTF特性曲線Aに対して、最終的に実現したいMTF特性曲線Bを達成するためには、それぞれの空間周波数に対し、エッジ強調等の強弱を付け、元の画像(1次画像)に対して補正をかける。
たとえば、図17のMTF特性の場合、空間周波数に対するエッジ強調の曲線は、図18に示すようになる。
【0085】
すなわち、空間周波数の所定帯域内における低周波数側および高周波数側でエッジ強調を弱くし、中間周波数領域においてエッジ強調を強くして補正を行うことにより、所望のMTF特性曲線Bを仮想的に実現する。
【0086】
このように、実施形態に係る撮像装置100は、1次画像を形成する光学系210を含む撮像レンズ装置200と、1次画像を高精細な最終画像に形成する画像処理装置500とを有し、光学系システムの光路中に、波面成形用の光学素子を選択的に配置するか、またはガラス、プラスチックなどのような光学素子の面を波面成形用に成形したもの選択的に設けることにより、結像の波面を変形し、そのような波面をCCDやCMOSセンサからなる撮像素子220の撮像面(受光面)に結像させ、その結像1次画像を、画像処理装置500を通して高精細画像を得る画像形成システムを形成することが可能である。
本実施形態では、撮像レンズ装置200による1次画像は深度が非常に深い光束条件にしている。そのために、1次画像のMTFは本質的に低い値になっており、そのMTFの補正を画像処理装置500で行う。
【0087】
ここで、本実施形態における撮像レンズ装置200における結像のプロセスを、波動光学的に考察する。
物点の1点から発散された球面波は結像光学系を通過後、収斂波となる。そのとき、結像光学系が理想光学系でなければ収差が発生する。波面は球面でなく複雑な形状となる。幾何光学と波動光学の間を取り持つのが波面光学であり、波面の現象を取り扱う場合に便利である。
結像面における波動光学的MTFを扱うとき、結像光学系の射出瞳位置における波面情報が重要となる。
MTFの計算は結像点における波動光学的強度分布のフーリエ変換で求まる。その波動光学的強度分布は波動光学的振幅分布を2乗して得られるが、その波動光学的振幅分布は射出瞳における瞳関数のフーリエ変換から求まる。
さらにその瞳関数はまさに射出瞳位置における波面情報(波面収差)そのものからであることから、その光学系210を通して波面収差が厳密に数値計算できればMTFが計算できることになる。
【0088】
したがって、所定の手法によって射出瞳位置での波面情報に手を加えれば、任意に結像面におけるMTF値は変更可能である。
本実施形態においても、波面の形状変化を波面形成用光学素子で行うのが主であるが、まさにphase(位相、光線に沿った光路長)に増減を設けて目的の波面形成を行っている。
そして、目的の波面形成を行えば、射出瞳からの射出光束は、図15(A)〜(C)に示す幾何光学的なスポット像からわかるように、光線の密な部分と疎の部分から形成される。
この光束状態のMTFは空間周波数の低いところでは低い値を示し、空間周波数の高いところまでは何とか解像力は維持している特徴を示している。
すなわち、この低いMTF値(または、幾何光学的にはこのようなスポット像の状態)であれば、エリアジングの現象を発生させないことになる。
つまり、ローパスフィルタが必要ないのである。
そして、後段のDSP等からなる画像処理装置500でMTF値を低くしている原因のフレアー的画像を除去すれば良いのである。それによってMTF値は著しく向上する。
【0089】
次に、本実施形態および従来光学系のMTFのレスポンスについて考察する。
【0090】
図19は、従来の光学系の場合において物体が焦点位置にあるときと焦点位置から外れたときのMTFのレスポンス(応答)を示す図である。
図20は、光波面変調素子を有する本実施形態の光学系の場合において物体が焦点位置にあるときと焦点位置から外れたときのMTFのレスポンスを示す図である。
また、図21は、本実施形態に係る撮像装置のデータ復元後のMTFのレスポンスを示す図である。
【0091】
図からもわかるように、光波面変調素子を有する光学系の場合、物体が焦点位置から外れた場合でもMTFのレスポンスの変化が光波面変調素子を挿入してない光学径よりも少なくなる。
この光学系によって結像された画像を、コンボリューションフィルタによる処理によって、MTFのレスポンスが向上する。
【0092】
以上説明したように、本第1の実施形態によれば、光学系を通過した被写体像または光学系および位相板(光波面変調素子)とを通過した被写体分散像を撮像する撮像レンズ装置200と、撮像素子200からの分散画像信号より分散のない画像信号を生成する画像処理装置500と、焦点距離、多点測距の結果、被写体までの距離に相当する情報、ズーム情報、あるいは撮影モード情報を生成し画像処理装置500に供給する撮影情報生成部300と、複数の位相板のうちの所望の位相板を撮影情報に応じて選択的に光路上に挿入または退避させる選択切換部400とを備え、画像処理装置500は、撮影情報生成部300により生成される情報に基づいて分散画像信号より分散のない画像信号を生成することから、演算処理の負荷を変えることなくまた処理後の画像品質を確保できる。
また、光波面変調素子と画像処理によってピントのあった画像を得る事を目的とした深度拡張光学系を用いながらも従来光学系の様なボケのある画像をも得ることができる。
また、物体距離やデフォーカス範囲を気にすることなく、レンズ設計を行うことができ、かつ精度の良いコンボリューション等の演算による画像復元が可能となる利点がある。
また、本発明によれば、光学系を簡単化でき、コスト低減を図ることができる。
そして、本実施形態に係る撮像装置100は、デジタルカメラやカムコーダー等の民生機器の小型、軽量、コストを考慮されたズームレンズの波面収差制御光学系システムに使用することが可能である。
さらには、指紋認証、静脈認証、あるいは虹彩認証等が可能で、個人差等によって認証条件が異なったり、2つ以上の認証を行うような生体認証装置にも使用することが可能である。
【0093】
また、本実施形態においては、結像レンズ212による撮像素子220の受光面への結像の波面を変形させる波面形成用光学素子を有する撮像レンズ装置200と、撮像レンズ装置200による1次画像FIMを受けて、1次画像の空間周波数におけるMTFをいわゆる持ち上げる所定の補正処理等を施して高精細な最終画像FNLIMを形成する画像処理装置500とを有することから、高精細な画質を得ることが可能となるという利点がある。
また、撮像レンズ装置200の光学系210の構成を簡単化でき、製造が容易となり、コスト低減を図ることができる。
【0094】
ところで、CCDやCMOSセンサを撮像素子として用いた場合、画素ピッチから決まる解像力限界が存在し、光学系の解像力がその限界解像力以上であるとエリアジングのような現象が発生し、最終画像に悪影響を及ぼすことは周知の事実である。
画質向上のため、可能な限りコントラストを上げることが望ましいが、そのことは高性能なレンズ系を必要とする。
【0095】
しかし、上述したように、CCDやCMOSセンサを撮像素子として用いた場合、エリアジングが発生する。
現在、エリアジングの発生を避けるため、撮像レンズ装置では、一軸結晶系からなるローパスフィルタを併用し、エリアジングの現象の発生を避けている。
このようにローパスフィルタを併用することは、原理的に正しいが、ローパスフィルタそのものが結晶でできているため、高価であり、管理が大変である。また、光学系に使用することは光学系をより複雑にしているという不利益がある。
【0096】
以上のように、時代の趨勢でますます高精細の画質が求められているにもかかわらず、高精細な画像を形成するためには、従来の撮像レンズ装置では光学系を複雑にしなければならない。複雑にすれば、製造が困難になったりし、また高価なローパスフィルタを利用したりするとコストアップにつながる。
しかし、本実施形態によれば、ローパスフィルタを用いることなく、エリアジングの現象の発生を避けることができ、高精細な画質を得ることが可能となる。
【0097】
なお、本実施形態において、光学系210の波面形成用光学素子を絞りより物体側レンズよりに配置した例を示したが、絞りと同一あるいは絞りより結像レンズ側に配置しても前記と同様の作用効果を得ることができる。
【0098】
また、光学系210を構成するレンズは、図2の例に限定されることはなく、本発明は、種々の態様が可能である。
【0099】
なお、第1の実施形態においては、光波面変調素子としての一または複数の位相板を撮影に関する状態に応じて光学系210の光路上に選択的に挿入または退避させる場合を例を示したが、本発明は撮影に関する情報、たとえば撮影モードに応じて位相板を光学系210の光路上に選択的に挿入または退避させる場合にも適用可能である。
以下に、マクロモードのマクロ撮影とレンズ駆動を含めた第2から第5の実施形態について説明する。
【0100】
マクロ撮影で被写体のわずかな凹凸や手持ち撮影によるカメラの前後方向のずれの発生によって、狙いの部分にピントが合わせ難かったり、深度が非常に浅いことにより画面全体にピントが合いにくいという問題がある。一方で通常距離撮影においては明るいレンズで作画意図を込めた作品作りをするカメラでありたいという要望がある。
以下に説明する実施形態では、光学位相板(光波面変調素子)とボケ復元フィルタ処理を連動させが、基本的に通常撮影距離モードでは光学位相板(光波面変調素子)をテイキングレンズから退避させ、マクロモードでは光学位相板(光波面変調素子)を装填してボケ復元フィルタ処理を行うように構成されている。
【0101】
<第2実施形態>
図22は、本発明の第2の実施形態に係る撮像装置を示すブロック構成図である。
【0102】
本第2の実施形態に係る撮像装置600はAF(オートフォーカス)機能を備え、図22に示すように、光学系610、撮像素子620、テイキングスレンズ駆動部630、光波面変調素子(光学位相板)駆動部640、アナログフロントエンド部(AFE)650、タイミングジェネレータ660、カメラ信号処理部670、外部メモリ680、画像モニタリング装置としてのLCDモニタ690、操作部700、およびシステム制御装置(MPU)710を有している。
【0103】
光学系610は、被写体物体OBJを撮影した像を撮像素子620に供給する。
本実施形態の光学系610は、近接撮影を可能とするいわゆるマクロ領域へテイキングレンズ構成を移動できるレンズ鏡筒6101を有し、フォーカスレンズ611やズーム光学系612を含み、また、光学位相板駆動部640により選択的に光波面変調素子を含み、合焦位置およびその前後の距離において焦点のボケ量が略一定となるように形成されている。
【0104】
光波面変調素子としては、たとえば光学位相板613が適用される。
ここで光学位相板は光束を分散させる働きがあるので、光学位相板613を含む撮像光学系(テイキングレンズ)610で撮像素子620の結像面上に結ぶ像はピントを結ぶことなく、ぼけた状態になる。
ただし、このぼけた状態とは、単純なデフォーカスによるぼけでは無く、スポットダイアグラムとしては最も集中している状態(ピントが合っている状態に近い)で、ピントは結んでいない状態となっている。これは前述の通り光学位相板613の光束を分散させる働きによって拡がった結果である。
このように、被写体の距離に応じてフォーカシングレンズを動かすので、ぼけ状態は最も小さく、ほぼ変わらず維持される。またこのボケ形状は、設計上の点光源のレスポンスである点像分布関数PSF(Point Spread Function)に従ったぼけ方になる。
ところで、光学位相板613はデフォーカス量に対してぼけ形状の変化が鈍感であるように設計されているので、被写体距離を中心とした前後の異なる距離に存在する物体のボケ像は、デフォーカスに対してあまり大きく変化はしない。
前述の通りテイキングレンズを通って撮像素子面上に結んだ像は光学位相板613の設計通りにぼけている。
【0105】
撮像素子620は、光学系610で取り込んだ像が結像され、結像1次画像情報を電気信号の1次画像信号FIMとして、アナログフロントエンド部650を介してカメラ信号処理部670に出力するCCDやCMOSセンサからなる。
図1においては、撮像素子620を一例としてCCDとして記載している。
【0106】
光学位相板駆動部640は、MPU710の指示の下、レンズ構成がマクロ状態にあるときに光学位相板613をテイキングレンズ構成の光路中に選択的に挿入し、また、非マクロ状態時には光学位相板613をテイキングレンズ構成の光路中から選択的に退避(脱出)させる。
【0107】
テイキングスレンズ駆動部630は、システム制御装置710の指示の下、近接撮影を可能とするいわゆるマクロ領域へテイキングレンズ構成6101におけるフォーカスレンズ611を移動させる。
【0108】
アナログフロントエンド部650は、アナログ/デジタル(A/D)コンバータ651を有する。
A/Dコンバータ651は、CCDから入力されるアナログ信号をデジタル信号に変換し、たとえばベイヤー配列となっているデジタルデータをカメラ信号処理部670に出力する。
【0109】
タイミングジェネレータ660は、システム制御装置710の制御の下、撮像素子620のCCDの駆動タイミングを生成する。
【0110】
カメラ信号処理部670は、図22に示すように、RAWバッファ671、RGB変換部672、YUB変換部673、ボケ復元フィルタ処理部674、Y′UV処理部675、およびJPEGエンジン676を有する。
本実施形態においては、カメラ信号処理部670は、システム制御装置710の制御の下、マクロ状態時には光学系に光学位相板613が挿入されることから、ボケ復元フィルタ処理部674のボケ復元処理を行う。
一方、カメラ信号処理部670は、システム制御装置710の制御の下、非マクロ状態時には光学系に光学位相板613が退避(脱出)されることから、ボケ復元フィルタ処理部674のボケ復元処理をバイパスした画像処理を行う。
ボケ復元フィルタ処理部674の処理は、第1の実施形態において説明した処理と同様に行われることから、ここではその詳細は省略する。
なお、この処理は一例であり、たとえば図7等の機構を用いて非マクロ状態時にも特性の異なる光学位相板613を挿入してボケ復元処理を行うように構成することも可能である。
【0111】
メモリ680は、カメラ信号処理部670で所定の画像処理を受けたキャプチャ画像等が記録される。
【0112】
画像モニタリング装置としてのLCDモニタ690は、たとえばカメラ信号処理部670により所定の画像処理を受けたスルー画やキャプチャ画像を表示する。
【0113】
操作部700は、システム制御装置710に対して所定の機能制御を行うように指示する入力スイッチ等により構成される。操作部700は、たとえばシャッタボタン、レリーズボタン、拡大ボタン、移動キー上、移動キー下、移動キー右、移動キー左、等の各スイッチを含む。
【0114】
システム制御装置710は、露出制御を行うとともに、操作部700などの操作入力を持ち、それらの入力に応じて、システム全体の動作を決定し、テイキングレンズ駆動部630、光学位相板駆動部640、タイミングジェネレータ660、カメラ信号処理部670等を制御し、システム全体の調停制御を司るものである。
【0115】
システム制御装置710は、たとえばマクロモード時には、テイキングレンズ駆動部630、光学位相板駆動部640を制御して、テイキングレンズをマクロ領域に移動させ、かつ、光学位相板613を光学系610の光路中に挿入させ、カメラ信号処理部670に対してボケ復元フィルタ処理部674を行うように制御する。
システム制御装置710は、たとえば非マクロモード時には、テイキングレンズ駆動部630、光学位相板駆動部640を制御して、テイキングレンズをマクロ領域から所定の領域に移動させ、かつ、光学位相板613を光学系610の光路中から退避させ、カメラ信号処理部670に対してボケ復元フィルタ処理部674の処理をバイパスするように制御する。
【0116】
システム制御装置710は、測距結果が近距離と判定されたときに、マクロモードであると判断し、自動的にテイキングレンズを固定フォーカスのマクロレンズの構成に移動させるようにテイキングレンズ駆動部630を制御する。
【0117】
次に、第2の実施形態の動作を説明する。
【0118】
まず、近接でない通常距離撮影状態について説明する。
被写体OBJの像(光線)は、鏡枠6101内のテイキングレンズを通して撮像素子620上に結像する。
画像データを取り込むときは、カメラ信号処理部670からタイミングジェネレータ660に制御データを設定し、タイミングジェネレータ660の駆動波形によって撮像素子620から画素信号FIMを吐き出させる。
画素信号FIMはAFE(アナログフロントエンド)回路650を通して内部のADコンバータ651でデジタルデータに変換される。次に,このデジタルデータはベイヤー(Bayer)配列となっているのでRAWバッファ661にいったん蓄えられ、RGB変換部662で補間処理することによりRプレーン、Gプレーン、Bプレーンに変換される。さらにYUV変換部663におけるYUV変換により、輝度、色差信号に変換される。
光学位相板613は光学系610の光路から退避(脱出)させられているので、それに連動してYUV変換後の出力に対するボケ復元デジタルフィルタ処理はパスされる。
すなわちY’はYと同じである。このY’UV信号によってLCDモニタ690にスルー画を表示させる。
【0119】
さて、ここで操作部700のレリーズ釦等が押下されると、システム制御装置710はカメラ信号処理部670に対して測距データを取得するようにコマンドを送る。
カメラ信号処理部670は前記Y’UV信号から図示しないバンドパス処理を行って低域周波数を除去しそれらを積算することで測距データを生成する。この測距データをモニタしながらシステム制御装置710はテイキングレンズ駆動部630でフォーカシングレンズを駆動させながらコントラスト法(いわゆる山登り法)によって測距を行う。この測距コントラストデータが最も高くなる(山のピーク位置)フォーカシングレンズ位置がピントが合った状態となる。
通常距離撮影領域より近距離側にピントのピークが存在すると判定された場合、システム制御装置710はテイキングレンズ駆動部630を制御して、フォーカシングレンズを近接撮影の所定の位置へ移動させ、さらにテイキングレンズの光学系の光路中から退避していた光学位相板613をテイキングレンズの光学系610内に装填(挿入)させる。
この光学位相板613によって点像分布関数(PSF)は複数の画素に渡ってボケることになる。ただしこの光学位相板は距離が変わってもぼけ状態があまり強い影響を受けないので異なる被写体距離が画面内に存在していてもぼけの状態は大きく変わらない。
このぼけ画像データはYUV変換までは前記同様の経路を通して処理されていくが、YUV変換後に連動して、ボケ復元フィルタ処理部664のボケ復元フィルタの処理を行い、ボケ画像はピントの合った画像に復元される。
このとき前記の通り、距離に対してPSFの形状が大きく変化しないので(距離感度が鈍くなる様に設計されているので)、ボケ画像が復元された時、広い範囲をピントが合ったようにすることができる。
この復元後の輝度信号Y’をLCDモニタ680に表示し、またJPEGエンジン666によってJPEGファイル圧縮を行って外部メモリに画像ファイルを記録する。
【0120】
第2の実施形態よれば、通常の撮影距離においては光学位相板を使用しないで撮影することができるので、デフォーカス量に対してぼけが線形になるため、画面内の異なる距離に応じてピントの合焦度が自然になり、芸術性の高い写真を撮影することができる。
一般的な技術であるレンズ絞り値によって好みの作画作りができる趣味性の高い使い方が可能である。
一方、マクロ撮影では光学位相板が挿入されデフォーカス量に対してPSF形状の変化が鈍感になるように設計されているので、ぼけ復元フィルタ処理をかけてピントを復元させた画像は、画面内で被写体の凹凸があっても全域でピントの合った画像を得ることができる。したがって、記録としての用途にあったマクロ撮影を提供することが可能となる。 また、一般的なマクロ撮影においては手持ち撮影では被写体との距離の前後方向のずれによるボケが無視できない。さらに従来のレンズ絞り値を絞る方法では、シャッター速度が遅くなり、手振れ被写体振れの問題もある。
しかしながら、本実施形態のマクロ撮影に光学位相板を挿入してボケ復元フィルタ処理を用いることにより、撮影時の多少のカメラの前後に起因するぼけは吸収でき、かつレンズ絞り値を絞る必要も無いので、従来困難であった手持ちのマクロ撮影が可能となる。
【0121】
また、使用者が近距離撮影を行うときにカメラが自動判定してマクロモードに遷移し、さらに光学位相板を伴った固定ピントとしたので、深度の深い記録重視の撮影ができる上、マクロ切り替え操作が不要となり、さらにマクロ域での測距動作が不要となるのでレリーズタイムラグがほとんど無くなる。従って近距離にカメラを向けてから画像を記録するまでの動作時間を大幅に削減することが可能となる。
【0122】
<第3実施形態>
次に、第3の実施形態について説明する。本第3の実施形態のシステム構成は図22と同様である。
【0123】
本第3の実施形態において、システム制御装置710は、使用者が操作部700によりマクロモードを選択した場合に、テイキングレンズを固定フォーカスのマクロレンズの構成に移動させるようにテイキングレンズ駆動部630を制御する。
また、システム制御装置710は、使用者が電源をオフした場合にマクロ状態を解除する機能を有する。
【0124】
この場合、撮像装置600が通常距離撮影モードにある時に、使用者が操作部700の図示しないマクロ釦を押下する。
システム制御装置710は、使用者の前記マクロ釦の操作を検出し、テイキングレンズ駆動部630を制御して、テイキングレンズのフォーカシングレンズ611を近接撮影の所定の位置へ移動させ、さらにテイキングレンズの光学系610の光路中から退避していた光学位相板613をテイキングレンズの光学系内に装填(挿入)させる。この光学位相板613によって点像分布関数(PSF)は複数の画素に渡ってボケることになる。この光学位相板613の装填とYUV変換後にボケ復元フィルタ処理を連動させて行い、以下の処理は前記と同様である。
【0125】
次に、近接撮影モードの状態で使用者が操作部700の図示しないマクロ釦を押下した時は、システム制御装置710は、使用者のマクロ釦の操作を検出し、光学位相板駆動部640を制御して、テイキングレンズの光学系610に装填(挿入)されていた光学位相板613をテイキングレンズの光学系613から退避させ、テイキングレンズ駆動手部630を制御して、テイキングレンズのフォーカシングレンズ611をノーマル距離撮影領域へ移動させる。
以降のレリーズに伴うカメラ動作は前述の通りのぼけ復元フィルタを通さずに処理されるので、撮影される画像はデフォーカス量に対し線形にぼけていき、味わいのある自然な描写の画像となる。
【0126】
次に、近接撮影モードの状態で使用者が操作部700の図示しない電源釦を押下した時は、システム制御装置710は使用者の前記電源釦の操作を検出し、光学位相板駆動部640を制御してテイキングレンズの光学系610に装填されていた光学位相板613をテイキングレンズの光学系から退避させ、テイキングレンズ駆動部630を用いてテイキングレンズのフォーカシングレンズ611をノーマル距離撮影領域へ移動させる。さらに設計仕様に応じてレンズ格納状態までレンズを後退させる。
次に、たとえば使用者が操作部700の電源釦を押下するとマクロモードは解除されノーマル撮影状態となるので、光学位相板613はテイキングレンズ系には装填されておらず、後工程のYUV信号に対するぼけ復元フィルタ処理はパスされる。
【0127】
第3の実施形態によれば、使用者がマクロモードを選択したときに、光学位相板を伴った固定ピントとしたので、深度の深い記録重視の撮影を予め設定して行うことができる上、レリーズタイムラグをほとんど無くすことが可能となる。
また、光学位相板を伴ったマクロ撮影から通常距離撮影モードに戻った場合に、光学位相板を退避させ、ぼけ復元フィルタ処理を施さないようにしたので、通常距離撮影においては自然なぼけ味を生かした撮影に戻ることが可能となる。
また、使用者が電源釦をオフした時に光学位相板をテイキングレンズ光学系から退避させ、フォーカシングレンズを通常距離撮影モードに移動させるようにしたので、次に使用する場合に誤ってマクロモードで撮影するという失敗を防げ、さらには次の撮影で最も可能性がある通常撮影モードをすぐ使用することが可能となる。
【0128】
<第4実施形態>
次に、第4の実施形態について説明する。
図23は、本発明の第4の実施形態に係る撮像装置を示すブロック構成図である。
【0129】
本第4の実施形態に係る撮像装置600Aが第2および第3の実施形態に係る図22の撮像装置600と異なる点は、使用者が機械的にマクロ位置へレンズを移動させる機構を有していることにある。
そして、撮像装置600Aは、マクロレバー720、連動機構部730、および位相板位置検出部740を有する。
【0130】
まず、近接でない通常距離撮影状態について説明する。
この場合、マクロレバー720はノーマル距離のポジションにあり、連動機構部730により機械的(メカ的)に光学位相板613はテイキングレンズ系から退避されている。位相板位置検出部740によって光学位相板613の位置を検出し、システム制御装置710Aに退避状態を伝達する。
被写体OBJの像(光線)は、鏡枠6101内のテイキングレンズを通して撮像素子620上に結像する。
画像データを取り込むときは、カメラ信号処理部670からタイミングジェネレータ660に制御データを設定し、タイミングジェネレータ660の駆動波形によって撮像素子620から画素信号FIMを吐き出させる。
画素信号FIMはAFE(アナログフロントエンド)回路650を通して内部のADコンバータ651でデジタルデータに変換される。次に,このデジタルデータはベイヤー(Bayer)配列となっているのでRAWバッファ661にいったん蓄えられ、RGB変換部662で補間処理することによりRプレーン、Gプレーン、Bプレーンに変換される。さらにYUV変換部663におけるYUV変換により、輝度、色差信号に変換される。
光学位相板613はテイキングレンズから脱出していることを位相板位置検出部740からシステム制御装置710Aは報知され、このことをカメラ信号処理部670に伝達している。
光学位相板613は光学系610の光路から退避(脱出)させられているので、それに連動してYUV変換後の出力に対するボケ復元デジタルフィルタ処理はパスされる。
すなわちY’はYと同じである。このY’UV信号によってLCDモニタ690にスルー画を表示させる。
【0131】
ここで、操作部700のレリーズ釦等が押下されると、画像データは前述の流れでY’UVまで生成され(ここでのY’はYと同じ)JPEGエンジン666によってJPEGファイル圧縮を行って外部メモリ680に画像ファイルを記録する。
【0132】
次に、使用者がマクロレバー720をマクロ側に移動させると、テイキングレンズの光学系610から退避していた光学位相板613が、連動機構部730によってテイキングレンズ系に装填(挿入)される。この光学位相板613によって点像分布関数(PSF)は複数の画素に渡ってボケることになる。ただしこの光学位相板は距離が変わってもぼけ状態があまり強い影響を受けないので異なる被写体距離が画面内に存在していてもぼけの状態は大きく変わらない。このとき、位相板位置検出部740は、光学位相板613が装填されたことをシステム制御装置710Aに伝達する。
この状態(マクロ撮影モード)で操作部700のレリーズ釦等が押下されると、このぼけ画像データはYUV変換までは前記同様の経路を通して処理されていくが、YUV変換後に連動してボケ復元フィルタの処理を行い、ボケ画像はピントの合った画像に復元される。このとき前記の通り、距離に対してPSFの形状が大きく変化しないので(距離感度が鈍くなる様に設計されているので)、ボケ画像が復元された時、広い範囲をピントが合ったようにすることができる。
この復元後のY’UVをLCDモニタ690に表示し、またJPEGエンジン666によってJPEGファイル圧縮を行って外部メモリ680に画像ファイルを記録する。
【0133】
第4の実施形態によれば、機械的にレンズの位置をノーマルとマクロを使用者が移動させる機構に光学位相板を連動させたので、AF機構を搭載していない携帯電話内蔵カメラ等では特に近接撮影での合焦域が狭いという問題を明るいレンズで解決できる。
【0134】
<第5実施形態>
次に、第5の実施形態について説明する。本第5の実施形態のシステム構成は図22と同様である。
【0135】
本第5の実施形態に係る撮像装置600Aが第2および第3の実施形態に係る図22の撮像装置600と異なる点は、マクロモードにおいて、光学位相板を挿入するか退避させるかを選択する機能を有する。
より具体的には、本第5の実施形態においては、マクロ撮影において光学位相板613を装填するモードと、光学位相板を退避させるモードを選択する機能を備え、光学位相板613を装填されたマクロ撮影ではフォーカシングレンズ612は所定の場所に固定して測距動作を行わず、光学位相板613が退避されたマクロ撮影ではフォーカシングレンズ612は測距動作を行いフォーカシングレンズを駆動してAF動作をする。
【0136】
この場合、使用者は予めカメラ設定モードでマクロ領域の場合に光学位相板613を使用するかしないかを、操作部700と応じたLCDモニタ表示によって設定する。
マクロ撮影時に位相板を使用する(記録モード)とした場合は、前述の通り、マクロ撮影に切り替えた時にテイキングレンズ系に光学位相板613が装填され、フォーカスレンズは所定の固定位置に設定される。後工程のYUV信号からぼけ復元フィルタ処理を通して、ピントの合った画像のY’UV信号を生成する。この画像はデフォーカス量に対して形状の変化が鈍感なPSFを素に生成されているので被写界深度が深くなる。またAF動作を行わないのでレリーズタイムラグが大幅に短縮される。
【0137】
一方、カメラ設定モードでマクロ撮影時に光学位相板を使用しない(AFマクロモード)とした場合は、使用者がマクロ釦を押下すると、システム制御装置710は操作部700の操作によりマクロ釦操作を検出し、テイキングレンズ駆動部630を介してフォーカスレンズをマクロ領域に移動させる。
事前に設定したカメラ設定モードで光学位相板613を使用しないとしてあるので、光学位相板613はテイキングレンズ系から退避したままとする。
レリーズ釦が押下されると鏡枠内のテイキングレンズを通して撮像素子620上に結像した被写体像(光線)は、カメラ信号処理部670からタイミングジェネレータ660に制御データを設定し、タイミングジェネレータ660の駆動波形によって撮像素子620から画素信号を吐き出される。
画素信号FIMはAFE(アナログフロントエンド)回路650を通して内部のADコンバータ651でデジタルデータに変換される。次に,このデジタルデータはベイヤー(Bayer)配列となっているのでRAWバッファ661にいったん蓄えられ、RGB変換部662で補間処理することによりRプレーン、Gプレーン、Bプレーンに変換される。さらにYUV変換部663におけるYUV変換により、輝度、色差信号に変換される。
【0138】
光学位相板613はテイキングレンズの光学系610から脱出(退避)しているので、それに連動して前記YUV変換後の出力はボケ復元デジタルフィルタ処理はパスされる。すなわちY’はYと同じである。このY’UV信号によってLCDモニタ690にスルー画を表示させる。
同時に、システム制御装置710は、カメラ信号処理部670に対して測距データを取得するようにコマンドを送る。カメラ信号処理部670は前記Y’UV信号から図示しないバンドパス処理を行って低域周波数を除去しそれらを積算することで測距データを生成する。この測距データをモニタしながらシステム制御装置710はテイキングレンズ駆動部630を制御してフォーカシングレンズ612を駆動させながらコントラスト法(いわゆる山登り法)によって測距を行う。この測距コントラストデータが最も高くなる(山のピーク位置)フォーカシングレンズ位置がピントの合った状態となる。ピントが合うと、Y’UV信号はJPEGエンジン666によってJPEGファイル圧縮を行って外部メモリ680に画像ファイルを記録する。
【0139】
第5の実施形態によれば、マクロ撮影時に光学位相板613を装填するが否かを選択できるようにしたので、記録用のマクロ撮影では光学位相板を装填しぼけ画像復元フィルタを用いて被写界深度を広げることができる。
一方、AFマクロ撮影では光学位相板を退避させたまま撮影には使用せず、ぼけ画像復元フィルタも使用しないので、意図的にぼけ効果を利用することができ、また復元デジタル処理でわずかに発生するノイズの影響を受けることもないので、芸術性の高い撮影を楽しむことができる。
また、マクロ撮影において光学位相板を装填するモードと、光学位相板を退避させるモードを選択する機能を備え、光学位相板613を装填されたマクロ撮影ではフォーカシングレンズは所定の場所に固定して測距動作を行わず、光学位相板が退避されたマクロ撮影ではフォーカシングレンズは測距動作を行いフォーカシングレンズを駆動してAF動作を行うようにしたので、光学位相板が装填された場合は、レンズを動かす必要がなく、しかもピントの合う範囲も広いのでレリーズタイムラグも無く、記録用に用いるのに都合がよく、光学位相板が退避させた場合は、AF動作を行うのでマクロ領域においても芸術性の高い撮影を行うことができる。
【図面の簡単な説明】
【0140】
【図1】本発明の第1の実施形態に係る撮像装置を示すブロック構成図である。
【図2】本実施形態に係る撮像レンズ装置のズーム光学系の構成例を模式的に示す図である。
【図3】位相板を含まないズーム光学系の無限側のスポット像を示す図である。
【図4】図4は、位相板を含まないズーム光学系の至近側のスポット像を示す図である。
【図5】位相板を含むズーム光学系の無限側のスポット像を示す図である。
【図6】位相板を含むズーム光学系の至近側のスポット像を示す図である。
【図7】本実施形態の選択切換部の第1の構成例を示す図である。
【図8】本実施形態の選択切換部の第2の構成例を示す図である。
【図9】撮影情報生成部が生成する撮影に関する情報が焦点距離情報の場合の処理系のブロック図である。
【図10】焦点距離に応じて光波面変調素子と復元処理への切換の簡単なフローチャートである。
【図11】撮影情報生成部が生成する撮影に関する情報が多点測距の結果である被写界深度の場合の処理系のブロック図である。
【図12】被写界深度に応じて焦点距離に応じて光波面変調素子と復元処理への切換の簡単なフローチャートである。
【図13】本実施形態の画像処理装置の具体的な構成例を示すブロック図である。
【図14】波面収差制御光学系システムの原理を説明するための図である。
【図15】本実施形態に係る撮像レンズ装置の撮像素子の受光面でのスポット像を示す図であって、(A)は焦点が0.2mmずれた場合(Defocus=0.2mm)、(B)が合焦点の場合(Best focus)、(C)が焦点が−0.2mmずれた場合(Defocus=−0.2mm)の各スポット像を示す図である。
【図16】本実施形態に係る撮像レンズ装置により形成される1次画像のMTFについて説明するための図であって、(A)は撮像レンズ装置の撮像素子の受光面でのスポット像を示す図で、(B)が空間周波数に対するMTF特性を示している。
【図17】本実施形態に係る画像処理装置におけるMTF補正処理を説明するための図である。
【図18】本実施形態に係る画像処理装置におけるMTF補正処理を具体的に説明するための図である。
【図19】従来の光学系の場合において物体が焦点位置にあるときと焦点位置から外れたときのMTFのレスポンス(応答)を示す図である。
【図20】光波面変調素子を有する本実施形態の光学系の場合において物体が焦点位置にあるときと焦点位置から外れたときのMTFのレスポンスを示す図である。
【図21】本実施形態に係る撮像装置のデータ復元後のMTFのレスポンスを示す図である。
【図22】本発明の第2、第3、第5の実施形態に係る撮像装置を示すブロック構成図である。
【図23】本発明の第4の実施形態に係る撮像装置を示すブロック構成図である。
【図24】一般的な撮像レンズ装置の構成および光束状態を模式的に示す図である。
【図25】図24の撮像レンズ装置の撮像素子の受光面でのスポット像を示す図であって、(A)は焦点が0.2mmずれた場合(Defocus=0.2mm)、(B)が合焦点の場合(Best focus)、(C)が焦点が−0.2mmずれた場合(Defocus=−0.2mm)の各スポット像を示す図である。
【符号の説明】
【0141】
100・・・撮像装置、200・・・撮像レンズ装置、211・・・物体側レンズ、212・・・結像レンズ、213・・・波面形成用光学素子、213a・・・位相板(光波面変調素子)、300・・・撮影情報生成部、400・・・選択切換部、500・・・画像処理装置、501・・・コンボリューション装置、502・・・カーネル、数値演算係数格納レジスタ、503・・・画像処理演算プロセッサ、600,600A・・・撮像装置、610・・・光学系、620・・・撮像素子、630・・・テイキングスレンズ駆動部、640・・・光波面変調素子(光学位相板)駆動部、650・・・アナログフロントエンド部(AFE)、660・・・タイミングジェネレータ、670・・・カメラ信号処理部、680・・・外部メモリ、690・・・LCDモニタ、700・・・操作部、710,710A・・・システム制御装置(MPU)、720・・・マクロレバー、730・・・連動機構部、740・・・位相板位置検出部。

【特許請求の範囲】
【請求項1】
光学系および少なくとも一つの光波面変調素子と、
前記光学系または前記光学系および光波面変調素子を通過した被写体分散像を撮像する撮像素子と、
前記撮像素子からの被写体分散画像信号より分散のない画像信号を生成する変換手段を含む画像処理手段と、を備え、
前記光波面変調素子は、光路上に挿入、退避可能である
撮像装置。
【請求項2】
複数の光波面変調素子を有し、
前記複数の光波面変調素子の各々を、前記光路上に選択的に挿入、退避させる選択切換手段を有する
請求項1に記載の撮像装置。
【請求項3】
前記選択切換手段は、焦点距離に応じて所望の光波面変調素子の前記光路上への挿入、退避を選択的に切り換える
請求項2記載の撮像装置。
【請求項4】
前記選択切換手段は、多点測距の結果に応じて所望の光波面変調素子の前記光路上への挿入、退避を選択的に切り換える
請求項2記載の撮像装置。
【請求項5】
前記光学系はズーム機能を含み、
前記選択切換手段は、ズーム情報に応じて所望の光波面変調素子の前記光路上への挿入、退避を選択的に切り換える
請求項2記載の撮像装置。
【請求項6】
前記選択切換手段は、被写体までの距離に相当する情報に応じて所望の光波面変調素子の前記光路上への挿入、退避を選択的に切り換える
請求項2記載の撮像装置。
【請求項7】
前記選択切換手段は、撮影モードに応じて所望の光波面変調素子の前記光路上への挿入、退避を選択的に切り換える
請求項2記載の撮像装置。
【請求項8】
前記撮像装置は、マクロモード・マクロ状態時に光波面変調素子を前記光路上への挿入し、非マクロモード・非マクロ状態時に光波面変調素子を前記光路上から退避する
請求項1から7のいずれか一に記載の撮像装置。
【請求項9】
前記撮像装置は、
近接撮影を可能とするマクロ領域へ前記光学系を移動可能なレンズ鏡筒を有し、
測距結果が近距離と判定されたときに、上記光学系のテイキングレンズを固定フォーカスのマクロレンズの構成に移動させる
請求項8記載の撮像装置。
【請求項10】
前記撮像装置は、
近接撮影を可能とするマクロ領域へ前記光学系を移動可能なレンズ鏡筒を有し、
マクロモードが選択されると、上記光学系のテイキングレンズを固定フォーカスのマクロレンズの構成に移動させる
請求項8記載の撮像装置。
【請求項11】
前記撮像装置は、
機械的にマクロ位置へレンズを移動させる機構を有する
請求項8記載の撮像装置。
【請求項12】
前記画像処理手段は、
マクロ状態にあるときに前記光波面変調素子を前記光学系の光路中に挿入し、マクロ状態が解除されると前記光波面変調素子を前記光学系の光路中から退避させる手段を有し、
前記画像処理手段は、
マクロ状態で前記光波面変調素子が挿入されている場合に、前記変換手段により、被写体分散画像信号より分散のない画像信号を生成し、
マクロ状態から解除され、前記光波面変調素子が退避されている場合には、前記変換手段の処理を行わない
請求項8から10のいずれか一に記載の撮像装置。
【請求項13】
使用者が電源をオフした場合にマクロ状態を解除する制御手段を有する
請求項11記載の撮像装置。
【請求項14】
前記撮像装置は、マクロモード時に、光波面変調素子を前記光路上へ挿入するか否かを選択する選択手段を有する
請求項1から7のいずれか一に記載の撮像装置。
【請求項15】
マクロ撮影において光波面変調素子を挿入するモードと、光波面変調素子を退避させるモードを選択する機能を備え、
前記光波面変調素子が挿入されたマクロ撮影ではフォーカシングレンズは所定の場所に固定して測距動作を行わず、光波面変調素子が退避されたマクロ撮影ではフォーカシングレンズは測距動作を行い、フォーカシングレンズを駆動してオートフォーカス(AF)動作を行う制御手段を有する
請求項13記載の撮像装置。
【請求項16】
撮影に関する情報を生成する第1ステップと、
前記情報生成ステップにより生成される情報に基づいて所定の光波面変調素子を、光路上に挿入または退避させる第2ステップと、
光学系と、前記第2ステップで前記光波面変調素子が選択的に設定された状態にある前記光波面変調素子の配置可能位置とを通過した被写体分散像を撮像素子で撮像する第3ステップと、
前記第2ステップにより生成される情報に基づいて前記分散画像信号を変換して分散のない画像信号を生成する第4ステップと
を有する撮像方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate

【図21】
image rotate

【図22】
image rotate

【図23】
image rotate

【図24】
image rotate

【図25】
image rotate


【公開番号】特開2007−60647(P2007−60647A)
【公開日】平成19年3月8日(2007.3.8)
【国際特許分類】
【出願番号】特願2006−205117(P2006−205117)
【出願日】平成18年7月27日(2006.7.27)
【出願人】(000006633)京セラ株式会社 (13,660)
【Fターム(参考)】