画像撮影装置およびその距離演算方法と合焦画像取得方法
【課題】テレセントリック光学系を用いたりする光学的制限や、劣化画像復元処理を複数回行う処理量的制限などが存在した。
【解決手段】複数の絞りパターンで同一の被写体を撮影して複数の観測画像を得る観測画像撮影部２２１と、被写体までの距離に応じた光学伝達特性を算出する算出部２２２と、複数の観測画像と光学伝達特性から、被写体までの距離を算出する距離演算部２０６と、を備える。また、複数の絞りパターンで同一の被写体を撮影して複数の観測画像を得る観測画像撮影部２２１と、被写体までの距離に応じた光学伝達特性を算出する算出部２２２と、複数の観測画像と光学伝達特性から、ボケ量が最小となる光学伝達特性を算出する光学伝達特性演算部２０６と、ボケ量が最小となる光学伝達特性を利用して画像のボケを復元し合焦画像を得るボケ復元部２０７と、を備える。
【解決手段】複数の絞りパターンで同一の被写体を撮影して複数の観測画像を得る観測画像撮影部２２１と、被写体までの距離に応じた光学伝達特性を算出する算出部２２２と、複数の観測画像と光学伝達特性から、被写体までの距離を算出する距離演算部２０６と、を備える。また、複数の絞りパターンで同一の被写体を撮影して複数の観測画像を得る観測画像撮影部２２１と、被写体までの距離に応じた光学伝達特性を算出する算出部２２２と、複数の観測画像と光学伝達特性から、ボケ量が最小となる光学伝達特性を算出する光学伝達特性演算部２０６と、ボケ量が最小となる光学伝達特性を利用して画像のボケを復元し合焦画像を得るボケ復元部２０７と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体の距離分布を示す距離画像と、画像全域で焦点が合っている合焦画像を撮影する装置に関するものである。
【背景技術】
【０００２】
従来、撮像装置から被写体までの距離を計測する方法は、レンズと像面の位置関係によって生じるボケ量から距離を計測する方法など多数提案されて来た。以下、撮像装置から被写体までの距離を計測する方法の例について説明する。
（１）．オートフォーカスカメラ等で用いられる手法
（２）．レンズ焦点法(Depth from focus)
（３）．ボケ解析法(Depth from defocus)
（４）．レーザーやパターン光などを用いる手法
（５）．マイクロレンズアレイなどによる光線追跡手法
（６）．パターン化された絞りなどを用いる手法
オートフォーカスカメラ等で用いられる手法は、光学系に二つ目レンズなどを用いて距離計測用素子等に結像させ、距離計測を行う。
【０００３】
レンズ焦点法は、フォーカスを随時移動し、観測画面が画面上で最も映像が鮮鋭になったときの距離を推定距離として求める。
【０００４】
ボケ解析法は、画像中のボケ具合を解析し、ボケ量と距離の関係から推定距離を求めている。
【０００５】
レーザーやパターン光などを用いた手法は、レーザー光を実際の被写体に当て、反射して帰ってきた光の飛行時間を計測し距離計測を行う手法（Time of flight法(TOF法)）や被写体に写ったレーザー光やパターン光を撮影した観測画像から、三角測量法や照度分布法を用いて、推定距離を求める。
【０００６】
マイクロレンズアレイなどを用いた光線追跡手法である参考文献２で示される手法は、撮影される光線の角度情報を観測画像から解析することによって、推定距離を求める。
【０００７】
パターン化された絞りなどを用いる手法である特許文献１や参考文献１で示される手法は、パターン化された絞りを用いて、観測画像を取得し、観測画像を絞りのパターンに基づいて解析することで、距離画像及び合焦画像を求める。
【特許文献１】特許第02963990号明細書
【非特許文献１】Image and Depth from a Conventional Camera with a Coded Aperture/Anat Levin, Rob Fergus, Fr´edo Durand, William T. Freeman/Massachusetts Institute of Technology, Computer Science and Articial Intelligence Laboratory/SIGGRAPH2007
【非特許文献２】Light Field Photography with a Hand-held Plenoptic Camera/ Ren Ng, Marc Levoy, Mathieu, Br´edif Gene ,Duval† Mark Horowitz, Pat Hanrahan/Stanford University †Duval Design/SIGGRAPH2005
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、従来の手法には以下に説明するように、いくつか問題点があった。
【０００９】
オートフォーカスカメラ等で用いられる位相差方式は、撮影用ＣＭＯＳ以外に、距離計測用素子や距離計測用光学系等が必要となる。
【００１０】
また、観測画像上の数点ないし数十点の距離しか距離計測を行うことが出来ないため、距離画像を得るのは難しい。
【００１１】
レンズ焦点法は、フォーカスの移動を必要とし、フォーカスレンズの機械的駆動を伴うため、距離画像の取得に時間がかかる。
【００１２】
ボケ解析法は、テレセントリック光学系によって発生するボケと結像の関係を用いている。そのため、レンズ設計の自由度は低い。
【００１３】
レーザーやパターン光などを用いる手法は、アクティブ法と呼ばれ、高精度な距離計測が可能ではあるが、レーザーやパターン光を必要とするために、レーザーやパターン光を使用不可な環境下においては、使用することが出来ない。
【００１４】
マイクロレンズアレイなどによる光線追跡手法は、撮影される光の角度情報を取得する分、合焦画像の空間解像度の低下が発生する。
【００１５】
パターン化された絞りなどを用いる手法の一つである特許文献１では、距離画像と合焦画像が得られるが、テレセントリック光学系を用いており、更にピンホール開口を用いた絞りによって実施されているため、光量の低下という問題がある。
【００１６】
非特許文献１でも、距離画像と合焦画像が得られるが、画像処理を行う過程で、MAP推定による劣化画像復元処理を距離解像度の数だけ実施している。
【００１７】
従来例の画像撮影装置の光学系を図１３（ａ）、（ｂ）に示す。
【００１８】
図１３（ａ）において、１２０１は、特許文献１の光学系を示している。
【００１９】
ボケの量と結像の大きさの関係を保つ為に、位置１２０３に二つのピンホールを有する開口マスク１２０７を絞りとして使用している。
【００２０】
その為、実質的なＦ値が大きいために光量が少なく、露光時間が長くなる問題点が存在する。
【００２１】
また、ＣＭＯＳセンサーを位置１２０４、１２０５、１２０６になるように配置して、フォーカスが違う観測画像を複数枚得ている。
【００２２】
同手法を実現するには、フォーカスを機械的手段によって動かすか、分光などの光学的手段を用いる必要があり、機械的稼動の制約（フォーカス移動時間）や、光学系的手段の制約（光学系の大きさ）等の問題が存在する。
【００２３】
また、図１３（ｂ）において、１２０２は、パターン化された絞りなどを用いる手法の一つである参考文献１の光学系を示している。
【００２４】
通常のデジタルカメラの光学系の絞り１２０８の位置に、パターン化された絞り符号化開口マスク１２１０が配置され、ＣＭＯＳセンサー１２０９によって観測画像の撮影が行われる。
【００２５】
非特許文献１の距離測定の手法は、開口マスク１２１０によって得られた観測画像を劣化復元処理を予め測定しておいた被写体までの距離に応じたＰＳＦ（点像分布関数）を用いてボケを含まない画像を演算する。
【００２６】
そして、ボケを含まない最適な画像を生成することが可能なＰＳＦの被写体までの距離を推定距離とする手法である。
【００２７】
この手法で開示されている劣化画像復元処理を行う数式３を以下に示す。
【００２８】
【数３】
【００２９】
数式３で示される劣化画像復元処理は、畳み込み演算を含む繰り返し演算が必要となり処理時間を多く必要とする。
【００３０】
また、光学伝達特性hのゲインが零もしくは零に近い付近での劣化画像回復は、難しい。
【００３１】
そこで、本発明の目的は、上記のような不具合を生じることなく、安定的かつ、畳み込み演算を過度に使用しない低負荷な処理によって、高精度な被写体の距離画像及び、合焦画像を取得することを目的とする画像撮影装置を提供することである。
【課題を解決するための手段】
【００３２】
本発明に係わる第１の画像撮影装置は、複数の絞りパターンで同一の被写体を撮影して複数の観測画像を得る観測画像撮影手段と、
前記被写体までの距離に応じた光学伝達特性を算出する手段と、
前記複数の観測画像と前記光学伝達特性から、前記被写体までの距離を算出する距離演算手段と、を備えることを特徴とする画像撮影装置である。
【００３３】
本発明に係わる第２の画像撮影装置は、複数の絞りパターンで同一の被写体を撮影して複数の観測画像を得る観測画像撮影手段と、
前記被写体までの距離に応じた光学伝達特性を算出する手段と、
前記複数の観測画像と前記光学伝達特性から、ボケ量が最小となるように光学伝達特性を算出する光学伝達特性演算手段と、
前記ボケ量が最小となる光学伝達特性を利用して画像のボケを復元し合焦画像を得るボケ復元手段と、
を備えることを特徴とする画像撮影装置である。
【００３４】
本発明に係わる画像撮影装置の距離演算方法は、複数の絞りパターンで同一の被写体を撮影して複数の観測画像を得るステップと、
前記被写体までの距離に応じた光学伝達特性を算出するステップと、
前記複数の観測画像と前記光学伝達特性から、前記被写体までの距離を算出する距離演算ステップと、を備えることを特徴とする画像撮影装置の距離演算方法である。
【００３５】
本発明に係わる画像撮影装置の合焦画像取得方法は、複数の絞りパターンで同一の被写体を撮影して複数の観測画像を得るステップと、
前記被写体までの距離に応じた光学伝達特性を算出する手段と、
前記複数の観測画像と前記光学伝達特性から、ボケ量が最小となる光学伝達特性を算出する光学伝達特性演算手段と、
前記ボケ量が最小となる光学伝達特性を利用して画像のボケを復元し合焦画像を得るボケ復元手段と、
を備えることを特徴とする画像撮影装置の合焦画像取得方法である。
【発明の効果】
【００３６】
本発明によれば、観察画像上の各点の被写体までの距離が測定可能となる。これにより、距離画像や合焦画像の撮影が可能となる。
【発明を実施するための最良の形態】
【００３７】
本発明による第一の実施形態の画像撮影装置及び方法を、図面を参照して詳細に説明する。なお、以下に説明する実施形態の装置構成は、本発明に係わる第１の画像撮影装置と第２の画像撮影装置とを組み合わせたものである。
【００３８】
図１は、本発明の画像撮影装置の一実施形態の装置構成のブロック図である。
【００３９】
本実施形態の画像撮影装置は、複数の観測画像を撮影するための観測画像撮影部２２１、光学伝達特性算出部２２２、距離演算部・最適光学特性演算部２０６、ボケ復元部２０７、リフォーカス画像演算部２０８から構成されている。観測画像撮影部２２１は観測画像撮影手段となる。
【００４０】
観測画像撮影部２２１は、光学レンズ（光学レンズ１）２０１、光通過部２０２、光学レンズ（光学レンズ２）２１９、光電気変換部２０３から構成されている。
【００４１】
光レンズ２０１は、従来のフィルムカメラやデジタルカメラとほぼ同様のレンズを用いて、光２０９を集光させる機能を持っている。
【００４２】
光レンズ２０１によって集光された光は、光通過部２０２を用いて変調される。
【００４３】
本実施形態では、後述するように、光通過部２０２は絞りを用いて光の変調を行っているが、非球面レンズや曲率可変レンズ等を用いて変調を行っても良い。ここでは、同じ被写体の観測画像を時分割で撮影するようにし、光通過部２０２の光学的特性を時間的に変更し、複数の観測画像を取得している。時分割によって複数枚の観測画像を撮影するために、手ブレが発生しないようにするブレ防止手段等を追加したり、被写体ブレが発生しないように高速なシャッター速度を選択しても良い。
【００４４】
光通過部２０２によって変調された光２１１は、光学レンズ２１９により、さらに集光し結像される。
【００４５】
結像された光は、光電気変換部２０３によって電気信号に変換され、観測画像im1及び観測画像im2２１２として撮影される。
【００４６】
そして、ソフトウェア処理である距離演算部２０６、ボケ復元部２０７及びリフォーカス画像演算部２０８の引数として渡される。
【００４７】
光電気変換部２０３は、ＣＣＤセンサーやＣＭＯＳセンサー等を用いて光の結像の状態を電気信号に変換する。
【００４８】
図１では、光通過部、光学レンズ２及び光電気変換部を一組設け、同じ被写体の観測画像を時分割で撮影するようにし、光通過部の光学的特性を時間的に変更し、複数の観測画像を取得している。しかし、図２に示すように、観測画像撮影部２２３として、光通過部２０２、光学レンズ（光学レンズ２）２１９及び光電気変換部２０３と、光通過部２０４、光学レンズ（光学レンズ２）２２０及び光電気変換部２０５との２組設けてもよい。観測画像撮影部２２３は観測画像撮影手段となる。光通過部２０２と光通過部２０４との光学的特性は異なる。また、３つ以上の組を設けてもよい。このように、２組以上を同時に持つことで、複数の観測画像を同時に撮影することができる。また、同じ被写体の観測画像を時分割で撮影するようにし、一方の組で観測画像を得た後に、他方の組で他の観測画像を得てもよい。上述したように、時分割によって複数枚の観測画像を撮影する場合は、手ブレが発生しないようにするブレ防止手段等を追加したり、被写体ブレが発生しないように高速なシャッター速度を選択しても良い。
【００４９】
光伝達特性算出部２２２は、被写体との距離による光学伝達特性（第１の光学伝達特性）を算出する手段である。
【００５０】
光学伝達特性は、数式を用いて算出を行っても良いし、テーブルとして離散値を保持しても良い。
【００５１】
本実施形態では、離散値を補間する手法を用いているが、類似する他の手法を用いても良い。
【００５２】
距離演算部２０６は、観測画像im1及び観測画像im2を用いて距離画像２１３の算出を行う。
【００５３】
また、距離演算部２０６は、最適光学特性演算部も備えている。最適光学特性演算部はボケ量が最小となる第２の光学伝達特性を算出する光学伝達特性演算手段となる。これは、離散的に算出される被写体までの推定距離を更に精度良く演算するための手段である。
【００５４】
ボケ復元部２０７は、距離演算部２０６から距離画像及び観測画像im1及び観測画像im2のデータを受け、これらのデータを演算することで、合焦画像２１４の算出を行い、合焦画像を取得する。
【００５５】
リフォーカス画像演算部２０８は、合焦画像２１８及び距離画像２１６のデータを受け、ぼかしたい領域にわざとボケを付加することで、リフォーカス画像２１５の算出を行う。
【００５６】
リフォーカス画像演算部２０８は、リフォーカス画像２１５の生成時に、カメラパラメータ(フォーカス距離やＦナンバーなど)を設定して、様々なレンズと被写界深度に対応した画像を生成することが可能である。
【００５７】
本実施形態では、距離画像と合焦画像から任意のフォーカス位置の画像や任意の被写界深度の画像、更に収差を再現した画像などのリフォーカス画像を作成することが出来る。
【００５８】
図３は、図１の画像撮影装置の観測画像撮影部を示す図であり、可変瞳フィルタを用いた観測画像撮影部（光学系）を示す図である。図３に示す構成は、光通過部、光学レンズ２及び光電気変換部を一組設け、同じ被写体の観測画像を時分割で撮影するようにし、光通過部の光学的特性を時間的に変更したものである。
【００５９】
観測画像撮影部としての光学系１０１は、光通過部として開口マスク１０３及び開口マスク１０４を適用した絞り１０２に、入射された光を集光する光学レンズ１０５と、光電気変換部として光の結像状態を電気信号に変換するＣＭＯＳセンサー１０６とを備える。光学レンズ１０５は図１の光学レンズ２０１及び光学レンズ２１９に対応する。
【００６０】
絞り１０２は、電気的に開口マスクのパターンを変更することが可能な絞りであり、開口マスク１０３のパターンと開口マスク１０４のパターンとに変更することが可能である。
【００６１】
絞り１０２は、電気的に開口パターンを切り替える以外に、機械的に切り替える方法や物性的に切り替える方法など、他の手法を用いることも出来る。
【００６２】
画像撮影装置は、絞り１０２を開口マスク１０３と開口マスク１０４とに変更した状態で画像を撮影することで、複数枚の絞り形状が異なる観測画像を得る。
【００６３】
距離演算部及びボケ復元部及びリフォーカス画像作成部は、開口マスクのパターンの違う複数枚の観測画像から、距離画像及び合焦画像及びリフォーカス画像の算出を行う。
【００６４】
開口マスク１０３と開口マスク１０４は、パターン化された符号化開口形状（瞳系形状）を有する。具体的には、開口マスク１０３は、開口１０７のようなパターン、開口マスク１０４は、開口１０８のようなパターンを備えている。
【００６５】
開口１０７及び開口１０８で用いられるパターンは、距離演算の安定性に大きく影響がある。例えば、開口１０７及び開口１０８の開口パターンが、どちらも円形開口であると、２つのボケ画像は、ほとんど同じような画像として撮影されるため解析が困難になる。このため、２つの開口パターンによって撮影される個々の観測画像のボケ特性は、違う特性になることが望ましい。具体的には、撮影される画像の空間周波数特性が異なるボケを発生させる開口パターンを用いる。
【００６６】
本実施形態では、開口パターンが２つの場合の例を示すが、開口パターンを２つ以上用い、２回以上撮影し、２枚以上の観測画像を得てもよい。
【００６７】
この場合、複数枚の観測画像が得られるので、その中から２枚を選択し、本実施形態と同様の手法で距離画像及び合焦画像及びリフォーカス画像を得ることが出来る。
【００６８】
更に、２枚の選択の組み合わせを全ての組み合わせにおいて、同様に距離画像および合焦画像の演算を行い、演算結果を平均化することで、演算精度を高めることが可能である。
【００６９】
絞り１０２を開口マスク１０３のパターンもしくは、開口マスク１０４のパターンに、変更することによって得られる観測画像は、空間周波数特性は違うが同一画角である。
【００７０】
開口パターンの選択は、以下のような条件を満たすことで、距離演算部及び合焦復元部の演算精度を高めることが出来る。
（１）．ボケの大きさに関わらず高周波域のゲインが落ちないこと
（２）．複数の開口パターンの周波数特性においてゲインの零点が同一周波数において重ならないこと
（３）．開口面積をなるべく大きくして露光に必要な光量を得ること
（４）．ボケ特性の解析が容易なパターンであること
（５）．回折の影響を受けないこと
上記条件を満たす絞りパターンは複数考えられるが、本実施形態では、図３に示したような開口マスクのパターンを選択する。
【００７１】
次に、本実施形態に関連する画像データについて示す。
【００７２】
図４は、観測画像と合焦画像と距離画像を示している。
【００７３】
図４（ａ）、（ｂ）の１００１及び１００２は、観測画像im1及び観測画像im2を示している。それぞれ、違うパターンの開口マスクを用いて撮影されており、同一の画角の写真ではあるが、ボケ特性に違いがある観測画像となる。
【００７４】
図４（ｃ）の１００３は、距離画像を示している。距離画像とは、被写体までの距離を値として観測画像と同一平面の２次元配列データである。観測画像と同一画角で、かつ画素毎の輝度値が距離を示している。
【００７５】
本実施形態では、観測画像上のドットと対応する距離画像上のドットは、被写体の同一地点上の特性を示しているが、観測画像と距離画像の位置関係が認識出来るのであれば、観測画像と距離画像の空間解像度は違っていても構わない。
【００７６】
図４（ｃ）の１００３では、輝度が高いほど近い距離、輝度が低いほど遠い距離を示している。
【００７７】
図４（ｄ）の１００４は、合焦画像を示している。合焦画像は、観測画像im1及び観測画像im2と同一画角ではあるが、ボケ特性を含まない画像である。つまり、合焦画像は、画像上にボケ状態を含まない画像のことであり、被写界深度が無限大の画像に相当する。
【００７８】
本実施形態では、更に、距離画像と合焦画像から、フォーカスに関連するパラメータを変更したリフォーカス画像を生成し、撮影後に任意のボケ状態を有する画像を作成する。
【００７９】
次に、本実施形態の画像撮影装置の装置概観を示す。
【００８０】
図５は、本実施形態の画像撮影装置の概観を示した図である。
【００８１】
画像撮影装置の外見は、通常のデジタルカメラとほぼ同様である。
【００８２】
図３で説明をした光学系１０１は、図５の光学系３０１に相当する。
【００８３】
光学系１０１は全て光学系３０１に入ってしまうため、図３で示される光学系を１組として時分割撮影で実施した場合、本体部分３０３のハードウェア部分は絞りパターンを変更するだけで従来のデジタルカメラを流用することも可能である。
【００８４】
また、絞り１０２の開口パターンの一つを円形開口や多角形開口にすることによって、従来のデジタルカメラと同様な観測画像を撮影することも可能である。
【００８５】
距離画像及び合焦画像を撮影する場合のユーザーの操作は、従来のデジタルカメラと同様に１度のシャッターボタン操作を行うだけで良い。
【００８６】
画像撮影装置は、１回のシャッターボタンの動作を検出後、処理に必要な観測画像数だけ絞りパターンを変更し、複数の観測画像を撮影して、距離画像と合焦画像を作る。
【００８７】
次に図２の画像撮影装置に用いられる観測画像撮影部としての光学系を示す。
【００８８】
図６は、パターン化された瞳フィルタを用いた光学系であり、図３とは別の光学系である。
【００８９】
図３での光学系の構成は、光学系１０１が１組のみであるために、時分割による複数回の撮影によって複数枚の観測画像を得ている。そのため、手ブレや被写体ブレには弱い側面がある。
【００９０】
図６では、手ブレや被写体ブレの発生をより抑制した光学系の構成となる。この構成例は、図２に示すように、光通過部、光学レンズ２及び光電気変換部を２組設けた例となる。
【００９１】
図３の光学系と図６の光学系の大きな差は、光スプリッタにより光源を二分した点にある。つまり光スプリッタにより光束分割を行っている。
【００９２】
光レンズを通して入射して来た光は、光スプリッタ４０３によって２分される。
【００９３】
２分された光のうちの半分は、絞り４０２を通して結像され、ＣＭＯＳセンサー４０６で観測画像im1の入力を得る。このとき、絞り４０２は、開口パターン４０８のようなパターン化された絞りを用いている。
【００９４】
２分された光の残り半分は、反射鏡４０４を用いて光路を変更し、絞り４０１を通して結像され、ＣＭＯＳセンサー４０５で観測画像im2の入力を得る。このとき、絞り４０１は、開口パターン４０７のようなパターン化された絞りを用いている。
【００９５】
ＣＭＯＳセンサー４０６及びＣＭＯＳセンサー４０５の観測画像im1及び観測画像im2の撮影は、同時に行われるため、図２の光学系を用いた画像撮影装置よりも手ブレや被写体ブレに対してより耐性がある。
【００９６】
図７では、更に図６の光学系に変更を加えた構成例を示している。
【００９７】
図６で示される光学系は、複数の観測画像の撮影を同時に行うことが可能であるが、撮影装置全体を大きくしてしまうことになる。
【００９８】
図７では、この点を改善するために、絞りの位置５０６で光を分割するのではなく、集光している位置に、光スプリッタ５０１を配置する。
【００９９】
光レンズを通して入射して来た光は、光スプリッタ５０１によって２分される。
【０１００】
２分された光のうち半分は、パターン化絞り５０２を通して結像され、ＣＭＯＳセンサー５０３によって観測画像im1として入力される。
【０１０１】
２分された光のうち残りは、パターン化絞り５０４を通して結像され、ＣＭＯＳセンサー５０４によって観測画像im2として入力される。
【０１０２】
図６と違う点は、絞りパターンの大きさをフォーカス状態に合わせて一定になるように開口マスクのパターン５０４及び５０２でスケーリングを行うことが求められる。
【０１０３】
しかし、画像撮影装置全体は、図６の光学系を用いた画像撮影装置よりも小さく設計することが可能である。
【０１０４】
画像撮影装置の光学系を図３、図６、図７に示したが、距離演算部２０６、ボケ復元部２０７、リフォーカス画像演算部２０８は、図３、図６、図７の画像撮影装置全てで共通に実施することが可能である。
【０１０５】
それぞれの光学系には、利点が存在する為、適用に合わせて光学系を選択することが可能である。
【０１０６】
次に、本実施形態の距離算出のためのアルゴリズムを示す。
【０１０７】
図６に示した２つの開口マスクを用い、観測画像を２枚撮影した場合の例を示す。図７や図３の光学系を用いても良いことは勿論である。
【０１０８】
絞り４０２の開口マスクで撮影をした観測画像（第１の観測画像となる）をim1、絞り４０１の開口マスクで撮影をした観測画像（第２の観測画像となる）をim2とし、絞り４０２の開口マスクによるＰＳＦ（点像分布関数）をha、絞り４０１の開口マスクによるＰＳＦをhb、合焦画像をsとすれば、以下の式が成り立つ。
【０１０９】
【数４】
【０１１０】
数式４をフーリエ変換すると、数式４は、数式５となる。
このときIM1,IM2,Ha,Hb,Sは、それぞれim1,im2,ha,hb,sの周波数特性を示す。
【０１１１】
【数５】
【０１１２】
数式５の合焦画像Sは、共通な項であるため、式をまとめると数式６を導くことが出来る。
【０１１３】
【数６】
【０１１４】
数式６から絞り４０２の開口マスクで撮影した観測画像im1に絞り４０１の開口マスクのＰＳＦによる畳み込み演算をした結果と、絞り４０１の開口マスクで撮影した観測画像im2に絞り４０２の開口マスクのＰＳＦによる畳み込み演算をした結果は、同じになることが分かる。
【０１１５】
しかし、実際には、誤差や結像の状態によって完全には、数式６の左辺が０にならないので、以下の数式から距離を求める。
【０１１６】
【数７】
【０１１７】
ｚ’は推定距離を示す。
【０１１８】
数式７を満たす状態を考察する。
【０１１９】
IM1及びIM2は、数式５よりHa・Ｓ及びHb・Ｓである為、適切なHa及びHbを数式７に代入出来れば、以下の数式８が最小になる。
【０１２０】
【数８】
【０１２１】
光学伝達特性Ha,Hbは、被写体までの距離に依存し、ある距離におけるHaとHbの組は、距離に対して一意に決まる。
【０１２２】
そこで、予め被写体までの距離ｚと光学伝達特性Ha及びHbの関係を、光学伝達特性テーブルとして保持して置き、Ha及びHbを代入することで推定距離ｚ’を求めることが可能になる。このとき、Ha及びHbは設計値を用いてもよいし、実測値を用いてもよい。
【０１２３】
つまり、Ha及びHbは、被写体までの距離に依存するため、数式７は、数式９として表すことが出来る。
【０１２４】
【数９】
【０１２５】
そして、Ha及び Hbのテーブルを以下のように表すことが出来る。
【０１２６】
【数１０】
【０１２７】
数式１０のテーブルを用いて、以下の数式１１が最小値になるｚを求めることによって数式９を満たす推定距離ｚ’が求まる。
【０１２８】
【数１１】
【０１２９】
尚、数式１０は、後述する図８で示される光学伝達特性-推定距離テーブル（光学伝達特性テーブルとなる）と同様のものである。つまり、数式１０は光学伝達特性テーブルを示している。
【０１３０】
数式１０は、撮影装置が、シフトバリアントな光学系の場合、撮像素子の受光面に結像する撮影面の各位置における光学伝達特性を示す光学伝達特性テーブルであり、撮像面上での位置に対して用意される。
【０１３１】
また、撮影装置が、シフトインバリアントな光学系の場合、撮影素子の撮影面上どこでも同じ光学伝達特性になるため、数式１０は、撮影面上での位置とは関係なく、１つの光学伝達特性テーブルを用意すれば良い。
【０１３２】
また、光学伝達特性テーブルは、離散値の距離に対応する光学伝達特性であるが、レンズの設計情報から光学伝達特性を距離に対しての関数式（光学伝達特性関数）として保持をすることで、数式１０を実現しても構わない。
【０１３３】
例えば、本実施形態では、数式１２により距離zから許容錯乱円サイズpcsを算出し、許容錯乱円サイズpcsを用いて光学伝達特性を近似計算し、数式１０として算出している。
【０１３４】
【数１２】
【０１３５】
ただし、Zfは被写体距離、Zpはフォーカス距離、fは焦点距離、dはレンズ径を示している。
【０１３６】
次に、本実施形態で使用されるデータテーブルに関して示す。
【０１３７】
図８は、光学伝達特性-推定距離テーブルを示したものである。
【０１３８】
図８の光学伝達特性-推定距離テーブルは、被写体までの距離zにおけるPSF（point spread function）の周波数変換した光学伝達特性を記載したものである。
【０１３９】
この光学伝達特性-推定距離テーブルは、後述の光伝達特性算出部によって使用されるデータテーブルである。
【０１４０】
光学伝達特性は、設計値を使用しても良いが、本実施形態では、実測した値を用いている。
【０１４１】
実測した光学伝達特性を用いることによって、ノイズの影響や光学的収差などの影響に対してキャリブレーションを行うことが出来る。
【０１４２】
被写体距離６０１は、被写体への距離である。
【０１４３】
後述の光学伝達特性６０２及び光学伝達特性６０３は、被写体がzだけ離れた地点に存在する場合の光学伝達特性を示す。
【０１４４】
６０２は、被写体の距離zに応じた光学伝達特性Haである。光学伝達特性Haは、開口マスク１０３に対応する光学伝達特性である。
【０１４５】
同様に、６０３は、被写体の距離zに応じた光学伝達特性Hbである。光学伝達特性Hbは、開口マスク１０４に対応する光学伝達特性である。
【０１４６】
光学伝達特性は、光軸からの距離や光軸からの方向によって変化するため、光学伝達特性をレンズの位置に応じて保持しても良い。また、フォーカス位置によっても変化するので、必要なテーブルは保持しておく。
【０１４７】
本実施形態では、光学伝達特性Ha及びHbの２つを保持しているが、開口マスクの数が２つ以上ある場合は、これに応じて増やせば良い。
【０１４８】
上記の様に、距離による開口マスクの光学伝達特性を保持する。
【０１４９】
次に、本実施形態の距離画像算出に関するフローチャートを示す。
【０１５０】
図９は、距離演算部の動作を示すフローチャートを示している。
【０１５１】
また、図１０は、光学伝達特性算出部の動作を示すフローチャートを示している。
【０１５２】
ステップＳ７０１で、距離演算部には、観測画像im1と観測画像im2が入力される。
【０１５３】
距離演算部は、ステップＳ７０２で、観測画像im1及び観測画像im2から、観測画像よりも小さいウインドサイズ(wx,wy)を、観測画面上の位置(x,y)上で切り出した画像を観測画像i1及びi2とする。
【０１５４】
推定距離zは、この小ウィンドウ毎に測定を行う。
【０１５５】
推定距離zの算出は、ＰＳＦのＣＭＯＳ１０６上での最大の大きさが、ウィンドウサイズ(wx,wy)以上だと被写体の距離判定が正しく出来ないので、これらの事象を考慮してwx,wyを決定する必要がある。
【０１５６】
次にステップＳ７０３にて観測画像i1及び観測画像i2をフーリエ変換して、I1及びI2を算出する。また、参照カウンタであるmに0を代入する。
【０１５７】
ステップＳ７０４で光学伝達特性算出部を呼び出して、参照カウンタmに対応をするzm及びHa m及びHb mを取得する。
【０１５８】
光学伝達特性算出部は、図１０のステップＳ１１０１から開始される。
【０１５９】
光学伝達特性算出部は、ステップＳ１１０２で、前述の光学伝達特性-推定距離テーブルから参照カウンタmに対応をするzm及びHa m及びHb mを取得する。そして、ステップＳ１１０３で復帰をする。
【０１６０】
次に、ステップＳ７０５で以下の数式１３を演算し、誤差評価値emを得る。
【０１６１】
【数１３】
【０１６２】
誤差評価値emを最小にするzmが推定距離ｚ’となる。
【０１６３】
数式１３は、誤差評価値emによって数式９を評価するために用いられる。
【０１６４】
この誤差評価値emは、参照カウンタm全ての場合で評価する必要があるため、ステップＳ７０６で参照カウンタを増加させた上で、ステップＳ７０４以降を繰り返し演算する。
【０１６５】
全ての参照カウンタmに関して演算が終了した後に、ステップＳ７０７にて、誤差評価値emを最小にするmを求める。
【０１６６】
次に、ステップＳ７０８で、誤差評価値emを最小にするmに対応する推定距離zを決定する。
【０１６７】
これらの関係を図１１の推定距離と誤差評価値の関係グラフに示す。図１１の値を例とすれば、誤差評価値emは、z4(m=4)の状態で最小値となっている。その為、z4で示される距離を推定距離ｚ’として良い。
【０１６８】
しかし、図８で示される光学伝達特性-推定距離テーブルでは、推定距離zmが離散値となって得られる。
【０１６９】
そこで、図１１の９０１で示されるように最小二乗近似等を用いて、最小値ｅｍ’を算出し、それに対応する推定距離ｚ’を求めることで、より精度の高い距離を求めても良い。
【０１７０】
以上のようにして、ウィンドウサイズ(wx,wy)における被写体への距離の演算を行う。ステップＳ７０９で、算出された推定距離ｚ’を距離画像の座標(x,y)の画素値(距離値)とする。
【０１７１】
ステップＳ７１０で、ステップＳ７０２〜ステップＳ７０９までの工程が画像上の全ての画素に対して演算するように処理のループを行う。
【０１７２】
尚、本実施形態は、誤差評価値emを順次増加させて演算をし、最小値を求めたが、二分探索法などを用いて、高速に誤差評価値emの最小値を求めることも出来る。
【０１７３】
また、数１３にて誤差評価値emを周波数領域で演算しているが、以下のような式を用いることで、空間領域での演算をすることも可能である。
【０１７４】
【数１４】
【０１７５】
ただし、i1, hb m ,i2, ha mを観測画像1, 観測画像２の点像分布関数,観測画像２, 観測画像1の点像分布関数とする。
【０１７６】
以上の様にして演算処理を行うことで、距離画像を得ることが出来る。
【０１７７】
次に、本実施形態の合焦画像算出のためのアルゴリズムを示す。
【０１７８】
合焦画像は、数式５より算出できる。
【０１７９】
数式５を変形すると数式１５が求まる。
【０１８０】
【数１５】
【０１８１】
しかし、実際には、数１５では、光学伝達特性Ha及びHb内で零もしくは零に近い値を持つ場合があり、除算が正確に行われない可能性がある。
そこで、推定合焦画像のフーリエ変換をＳ’とすれば、数式１６を用いて推定合焦画像Ｓ’を求めることが出来る。
【０１８２】
【数１６】
【０１８３】
H1=Ha,H2=Hbとする。
【０１８４】
数式１６のWmは、ある空間周波数において、観測画像IM1及び観測画像IM2どちらのスペクトルが高いかを示す重み付け係数である。
【０１８５】
【数１７】
【０１８６】
Wmは、数式１７を満たすことで、空間周波数応答に零点が存在しても、正しく合焦画像を復元することが出来る。
【０１８７】
尚、本実施形態では、開口パターンが２つの場合、観測画像が２画面の場合を示しているが、開口パターンが２つ以上であっても同様に演算することが可能である。
【０１８８】
次に、図１２に本実施形態における合焦画像算出に関するフローチャートを示す。
【０１８９】
ボケ復元部２０７は、ステップＳ８０１から開始される。
【０１９０】
ステップＳ８０２にて上述の数式１７で示される手法を用いて重み付け係数Wmを決定する。
【０１９１】
そして、ステップＳ８０３で数式１６を演算することで、推定合焦画像Ｓ’を求めることが出来る。
【０１９２】
推定合焦画像Ｓ’は、空間周波数特性を表しているので、逆フーリエ変換を行い、推定合焦画像ｓ’を得る。
【０１９３】
以上のようにして、合焦画像を得る。
【０１９４】
尚、リフォーカス画像演算部２０８で用いられる距離画像及び合焦画像からのリフォーカス画像生成に関しては、既に知られたアルゴリズムを用いることが出来るため、説明を省く。
【０１９５】
本発明による第二の実施形態の画像撮影装置及び方法について詳細に説明する。
【０１９６】
第二の実施形態では、図３における開口マスク１０３及び開口マスク１０４の光学伝達特性の周波数特性を決め、条件に合う開口マスクパターンを得ることによって演算量の低減とメモリ使用量の低減を図るものである。
【０１９７】
第二の実施形態では、開口マスク１０３及び開口マスク１０４の周波数特性が以下の関係を満たしている。
【０１９８】
【数１８】
【０１９９】
このときHa,Hb,H1,H2は、それぞれ光学伝達特性ha,hb,h1,h2の周波数特性を示す。
【０２００】
観測画像の撮影状態を数式４とした場合、被写体までの距離を算出する数式９は、以下の数式のようになる。
【０２０１】
【数１９】
【０２０２】
このとき、H1と被写体までの距離の関係を示すテーブルを以下のように表すことが出来る。
【０２０３】
【数２０】
【０２０４】
数式２０のテーブルを用いて、
【０２０５】
【数２１】
【０２０６】
が最小になるzを求めることによって数式１９を満たす推定距離z’が求まる。
【０２０７】
第一の実施形態との違いは、数式１９の中での畳み込み演算（周波数領域での乗算）が１回のみで推定距離z’の評価のための演算が行われている点である。
【０２０８】
畳み込み演算は、処理に時間のかかる演算である。
【０２０９】
そのため、第二の実施形態の数式１９の演算量は、第一の実施形態の数式９の演算量に比べ、ほぼ二分の一になる。
【０２１０】
また、第一の実施形態の光学特性を示すテーブルである数式１０と第二の実施形態の数式２０の違いは、第二の実施形態の場合、１つの光学伝達特性と距離の値によるテーブルとなるため、データ量は、ほぼ二分の一になる。
【０２１１】
なお、数式１８を満たす開口マスク１０３及び開口マスク１０４は、絞りの開口パターンを用いて特性を満たすものとする。
【０２１２】
また、H1及びH2の光学特性を示す絞りを2枚用意し、片方の観測画像(im1)の撮影時にH1及びH2の開口マスクを通して撮影し、もう片方の観測画像(im2)は、H2の開口マスクのみを通して撮影しても良い。
【０２１３】
以上のように、開口マスク１０３及び開口マスク１０４の周波数特性が、数式１８を満たすことによって、距離算出のための演算量及び光学伝達特性を示すデータテーブルの容量は、第一の実施形態と比べてほぼ二分の一となり、より効率的に演算を行うことが可能になる。
【図面の簡単な説明】
【０２１４】
【図１】本発明の画像撮影装置の一実施形態の装置構成のブロック図である。
【図２】本発明の画像撮影装置の他の構成例の装置構成のブロック図である。
【図３】可変瞳フィルタを用いた画像撮影装置の光学系を示す図である。
【図４】観測画像と合焦画像と距離画像を示す図である。
【図５】本実施形態の画像撮影装置の概観を示した図である。
【図６】パターン化された瞳フィルタを用いた光学系を示す図である。
【図７】パターン化された瞳フィルタを用いた他の光学系を示す図である。
【図８】光学伝達特性-推定距離テーブルを示す図である。
【図９】距離演算部の動作を示すフローチャートである。
【図１０】光学伝達特性算出部の動作を示すフローチャートを示している。
【図１１】推定距離と誤差評価値の関係を示す図である。
【図１２】ボケ復元部の動作を示すフローチャートである。
【図１３】従来の画像撮影装置の光学系の構成を示す図である。
【符号の説明】
【０２１５】
１０１ 光学系
１０２ 絞り
１０３ 開口マスク
１０４ 開口マスク
１０５ 光学レンズ
１０６ ＣＭＯＳセンサー
２０６ 距離演算部・最適光学特性演算部
２０７ ボケ復元部
２０８ リフォーカス画像演算部
２２１ 観測画像撮影部
２２２ 光学伝達特性算出部
【技術分野】
【０００１】
本発明は、被写体の距離分布を示す距離画像と、画像全域で焦点が合っている合焦画像を撮影する装置に関するものである。
【背景技術】
【０００２】
従来、撮像装置から被写体までの距離を計測する方法は、レンズと像面の位置関係によって生じるボケ量から距離を計測する方法など多数提案されて来た。以下、撮像装置から被写体までの距離を計測する方法の例について説明する。
（１）．オートフォーカスカメラ等で用いられる手法
（２）．レンズ焦点法(Depth from focus)
（３）．ボケ解析法(Depth from defocus)
（４）．レーザーやパターン光などを用いる手法
（５）．マイクロレンズアレイなどによる光線追跡手法
（６）．パターン化された絞りなどを用いる手法
オートフォーカスカメラ等で用いられる手法は、光学系に二つ目レンズなどを用いて距離計測用素子等に結像させ、距離計測を行う。
【０００３】
レンズ焦点法は、フォーカスを随時移動し、観測画面が画面上で最も映像が鮮鋭になったときの距離を推定距離として求める。
【０００４】
ボケ解析法は、画像中のボケ具合を解析し、ボケ量と距離の関係から推定距離を求めている。
【０００５】
レーザーやパターン光などを用いた手法は、レーザー光を実際の被写体に当て、反射して帰ってきた光の飛行時間を計測し距離計測を行う手法（Time of flight法(TOF法)）や被写体に写ったレーザー光やパターン光を撮影した観測画像から、三角測量法や照度分布法を用いて、推定距離を求める。
【０００６】
マイクロレンズアレイなどを用いた光線追跡手法である参考文献２で示される手法は、撮影される光線の角度情報を観測画像から解析することによって、推定距離を求める。
【０００７】
パターン化された絞りなどを用いる手法である特許文献１や参考文献１で示される手法は、パターン化された絞りを用いて、観測画像を取得し、観測画像を絞りのパターンに基づいて解析することで、距離画像及び合焦画像を求める。
【特許文献１】特許第02963990号明細書
【非特許文献１】Image and Depth from a Conventional Camera with a Coded Aperture/Anat Levin, Rob Fergus, Fr´edo Durand, William T. Freeman/Massachusetts Institute of Technology, Computer Science and Articial Intelligence Laboratory/SIGGRAPH2007
【非特許文献２】Light Field Photography with a Hand-held Plenoptic Camera/ Ren Ng, Marc Levoy, Mathieu, Br´edif Gene ,Duval† Mark Horowitz, Pat Hanrahan/Stanford University †Duval Design/SIGGRAPH2005
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、従来の手法には以下に説明するように、いくつか問題点があった。
【０００９】
オートフォーカスカメラ等で用いられる位相差方式は、撮影用ＣＭＯＳ以外に、距離計測用素子や距離計測用光学系等が必要となる。
【００１０】
また、観測画像上の数点ないし数十点の距離しか距離計測を行うことが出来ないため、距離画像を得るのは難しい。
【００１１】
レンズ焦点法は、フォーカスの移動を必要とし、フォーカスレンズの機械的駆動を伴うため、距離画像の取得に時間がかかる。
【００１２】
ボケ解析法は、テレセントリック光学系によって発生するボケと結像の関係を用いている。そのため、レンズ設計の自由度は低い。
【００１３】
レーザーやパターン光などを用いる手法は、アクティブ法と呼ばれ、高精度な距離計測が可能ではあるが、レーザーやパターン光を必要とするために、レーザーやパターン光を使用不可な環境下においては、使用することが出来ない。
【００１４】
マイクロレンズアレイなどによる光線追跡手法は、撮影される光の角度情報を取得する分、合焦画像の空間解像度の低下が発生する。
【００１５】
パターン化された絞りなどを用いる手法の一つである特許文献１では、距離画像と合焦画像が得られるが、テレセントリック光学系を用いており、更にピンホール開口を用いた絞りによって実施されているため、光量の低下という問題がある。
【００１６】
非特許文献１でも、距離画像と合焦画像が得られるが、画像処理を行う過程で、MAP推定による劣化画像復元処理を距離解像度の数だけ実施している。
【００１７】
従来例の画像撮影装置の光学系を図１３（ａ）、（ｂ）に示す。
【００１８】
図１３（ａ）において、１２０１は、特許文献１の光学系を示している。
【００１９】
ボケの量と結像の大きさの関係を保つ為に、位置１２０３に二つのピンホールを有する開口マスク１２０７を絞りとして使用している。
【００２０】
その為、実質的なＦ値が大きいために光量が少なく、露光時間が長くなる問題点が存在する。
【００２１】
また、ＣＭＯＳセンサーを位置１２０４、１２０５、１２０６になるように配置して、フォーカスが違う観測画像を複数枚得ている。
【００２２】
同手法を実現するには、フォーカスを機械的手段によって動かすか、分光などの光学的手段を用いる必要があり、機械的稼動の制約（フォーカス移動時間）や、光学系的手段の制約（光学系の大きさ）等の問題が存在する。
【００２３】
また、図１３（ｂ）において、１２０２は、パターン化された絞りなどを用いる手法の一つである参考文献１の光学系を示している。
【００２４】
通常のデジタルカメラの光学系の絞り１２０８の位置に、パターン化された絞り符号化開口マスク１２１０が配置され、ＣＭＯＳセンサー１２０９によって観測画像の撮影が行われる。
【００２５】
非特許文献１の距離測定の手法は、開口マスク１２１０によって得られた観測画像を劣化復元処理を予め測定しておいた被写体までの距離に応じたＰＳＦ（点像分布関数）を用いてボケを含まない画像を演算する。
【００２６】
そして、ボケを含まない最適な画像を生成することが可能なＰＳＦの被写体までの距離を推定距離とする手法である。
【００２７】
この手法で開示されている劣化画像復元処理を行う数式３を以下に示す。
【００２８】
【数３】
【００２９】
数式３で示される劣化画像復元処理は、畳み込み演算を含む繰り返し演算が必要となり処理時間を多く必要とする。
【００３０】
また、光学伝達特性hのゲインが零もしくは零に近い付近での劣化画像回復は、難しい。
【００３１】
そこで、本発明の目的は、上記のような不具合を生じることなく、安定的かつ、畳み込み演算を過度に使用しない低負荷な処理によって、高精度な被写体の距離画像及び、合焦画像を取得することを目的とする画像撮影装置を提供することである。
【課題を解決するための手段】
【００３２】
本発明に係わる第１の画像撮影装置は、複数の絞りパターンで同一の被写体を撮影して複数の観測画像を得る観測画像撮影手段と、
前記被写体までの距離に応じた光学伝達特性を算出する手段と、
前記複数の観測画像と前記光学伝達特性から、前記被写体までの距離を算出する距離演算手段と、を備えることを特徴とする画像撮影装置である。
【００３３】
本発明に係わる第２の画像撮影装置は、複数の絞りパターンで同一の被写体を撮影して複数の観測画像を得る観測画像撮影手段と、
前記被写体までの距離に応じた光学伝達特性を算出する手段と、
前記複数の観測画像と前記光学伝達特性から、ボケ量が最小となるように光学伝達特性を算出する光学伝達特性演算手段と、
前記ボケ量が最小となる光学伝達特性を利用して画像のボケを復元し合焦画像を得るボケ復元手段と、
を備えることを特徴とする画像撮影装置である。
【００３４】
本発明に係わる画像撮影装置の距離演算方法は、複数の絞りパターンで同一の被写体を撮影して複数の観測画像を得るステップと、
前記被写体までの距離に応じた光学伝達特性を算出するステップと、
前記複数の観測画像と前記光学伝達特性から、前記被写体までの距離を算出する距離演算ステップと、を備えることを特徴とする画像撮影装置の距離演算方法である。
【００３５】
本発明に係わる画像撮影装置の合焦画像取得方法は、複数の絞りパターンで同一の被写体を撮影して複数の観測画像を得るステップと、
前記被写体までの距離に応じた光学伝達特性を算出する手段と、
前記複数の観測画像と前記光学伝達特性から、ボケ量が最小となる光学伝達特性を算出する光学伝達特性演算手段と、
前記ボケ量が最小となる光学伝達特性を利用して画像のボケを復元し合焦画像を得るボケ復元手段と、
を備えることを特徴とする画像撮影装置の合焦画像取得方法である。
【発明の効果】
【００３６】
本発明によれば、観察画像上の各点の被写体までの距離が測定可能となる。これにより、距離画像や合焦画像の撮影が可能となる。
【発明を実施するための最良の形態】
【００３７】
本発明による第一の実施形態の画像撮影装置及び方法を、図面を参照して詳細に説明する。なお、以下に説明する実施形態の装置構成は、本発明に係わる第１の画像撮影装置と第２の画像撮影装置とを組み合わせたものである。
【００３８】
図１は、本発明の画像撮影装置の一実施形態の装置構成のブロック図である。
【００３９】
本実施形態の画像撮影装置は、複数の観測画像を撮影するための観測画像撮影部２２１、光学伝達特性算出部２２２、距離演算部・最適光学特性演算部２０６、ボケ復元部２０７、リフォーカス画像演算部２０８から構成されている。観測画像撮影部２２１は観測画像撮影手段となる。
【００４０】
観測画像撮影部２２１は、光学レンズ（光学レンズ１）２０１、光通過部２０２、光学レンズ（光学レンズ２）２１９、光電気変換部２０３から構成されている。
【００４１】
光レンズ２０１は、従来のフィルムカメラやデジタルカメラとほぼ同様のレンズを用いて、光２０９を集光させる機能を持っている。
【００４２】
光レンズ２０１によって集光された光は、光通過部２０２を用いて変調される。
【００４３】
本実施形態では、後述するように、光通過部２０２は絞りを用いて光の変調を行っているが、非球面レンズや曲率可変レンズ等を用いて変調を行っても良い。ここでは、同じ被写体の観測画像を時分割で撮影するようにし、光通過部２０２の光学的特性を時間的に変更し、複数の観測画像を取得している。時分割によって複数枚の観測画像を撮影するために、手ブレが発生しないようにするブレ防止手段等を追加したり、被写体ブレが発生しないように高速なシャッター速度を選択しても良い。
【００４４】
光通過部２０２によって変調された光２１１は、光学レンズ２１９により、さらに集光し結像される。
【００４５】
結像された光は、光電気変換部２０３によって電気信号に変換され、観測画像im1及び観測画像im2２１２として撮影される。
【００４６】
そして、ソフトウェア処理である距離演算部２０６、ボケ復元部２０７及びリフォーカス画像演算部２０８の引数として渡される。
【００４７】
光電気変換部２０３は、ＣＣＤセンサーやＣＭＯＳセンサー等を用いて光の結像の状態を電気信号に変換する。
【００４８】
図１では、光通過部、光学レンズ２及び光電気変換部を一組設け、同じ被写体の観測画像を時分割で撮影するようにし、光通過部の光学的特性を時間的に変更し、複数の観測画像を取得している。しかし、図２に示すように、観測画像撮影部２２３として、光通過部２０２、光学レンズ（光学レンズ２）２１９及び光電気変換部２０３と、光通過部２０４、光学レンズ（光学レンズ２）２２０及び光電気変換部２０５との２組設けてもよい。観測画像撮影部２２３は観測画像撮影手段となる。光通過部２０２と光通過部２０４との光学的特性は異なる。また、３つ以上の組を設けてもよい。このように、２組以上を同時に持つことで、複数の観測画像を同時に撮影することができる。また、同じ被写体の観測画像を時分割で撮影するようにし、一方の組で観測画像を得た後に、他方の組で他の観測画像を得てもよい。上述したように、時分割によって複数枚の観測画像を撮影する場合は、手ブレが発生しないようにするブレ防止手段等を追加したり、被写体ブレが発生しないように高速なシャッター速度を選択しても良い。
【００４９】
光伝達特性算出部２２２は、被写体との距離による光学伝達特性（第１の光学伝達特性）を算出する手段である。
【００５０】
光学伝達特性は、数式を用いて算出を行っても良いし、テーブルとして離散値を保持しても良い。
【００５１】
本実施形態では、離散値を補間する手法を用いているが、類似する他の手法を用いても良い。
【００５２】
距離演算部２０６は、観測画像im1及び観測画像im2を用いて距離画像２１３の算出を行う。
【００５３】
また、距離演算部２０６は、最適光学特性演算部も備えている。最適光学特性演算部はボケ量が最小となる第２の光学伝達特性を算出する光学伝達特性演算手段となる。これは、離散的に算出される被写体までの推定距離を更に精度良く演算するための手段である。
【００５４】
ボケ復元部２０７は、距離演算部２０６から距離画像及び観測画像im1及び観測画像im2のデータを受け、これらのデータを演算することで、合焦画像２１４の算出を行い、合焦画像を取得する。
【００５５】
リフォーカス画像演算部２０８は、合焦画像２１８及び距離画像２１６のデータを受け、ぼかしたい領域にわざとボケを付加することで、リフォーカス画像２１５の算出を行う。
【００５６】
リフォーカス画像演算部２０８は、リフォーカス画像２１５の生成時に、カメラパラメータ(フォーカス距離やＦナンバーなど)を設定して、様々なレンズと被写界深度に対応した画像を生成することが可能である。
【００５７】
本実施形態では、距離画像と合焦画像から任意のフォーカス位置の画像や任意の被写界深度の画像、更に収差を再現した画像などのリフォーカス画像を作成することが出来る。
【００５８】
図３は、図１の画像撮影装置の観測画像撮影部を示す図であり、可変瞳フィルタを用いた観測画像撮影部（光学系）を示す図である。図３に示す構成は、光通過部、光学レンズ２及び光電気変換部を一組設け、同じ被写体の観測画像を時分割で撮影するようにし、光通過部の光学的特性を時間的に変更したものである。
【００５９】
観測画像撮影部としての光学系１０１は、光通過部として開口マスク１０３及び開口マスク１０４を適用した絞り１０２に、入射された光を集光する光学レンズ１０５と、光電気変換部として光の結像状態を電気信号に変換するＣＭＯＳセンサー１０６とを備える。光学レンズ１０５は図１の光学レンズ２０１及び光学レンズ２１９に対応する。
【００６０】
絞り１０２は、電気的に開口マスクのパターンを変更することが可能な絞りであり、開口マスク１０３のパターンと開口マスク１０４のパターンとに変更することが可能である。
【００６１】
絞り１０２は、電気的に開口パターンを切り替える以外に、機械的に切り替える方法や物性的に切り替える方法など、他の手法を用いることも出来る。
【００６２】
画像撮影装置は、絞り１０２を開口マスク１０３と開口マスク１０４とに変更した状態で画像を撮影することで、複数枚の絞り形状が異なる観測画像を得る。
【００６３】
距離演算部及びボケ復元部及びリフォーカス画像作成部は、開口マスクのパターンの違う複数枚の観測画像から、距離画像及び合焦画像及びリフォーカス画像の算出を行う。
【００６４】
開口マスク１０３と開口マスク１０４は、パターン化された符号化開口形状（瞳系形状）を有する。具体的には、開口マスク１０３は、開口１０７のようなパターン、開口マスク１０４は、開口１０８のようなパターンを備えている。
【００６５】
開口１０７及び開口１０８で用いられるパターンは、距離演算の安定性に大きく影響がある。例えば、開口１０７及び開口１０８の開口パターンが、どちらも円形開口であると、２つのボケ画像は、ほとんど同じような画像として撮影されるため解析が困難になる。このため、２つの開口パターンによって撮影される個々の観測画像のボケ特性は、違う特性になることが望ましい。具体的には、撮影される画像の空間周波数特性が異なるボケを発生させる開口パターンを用いる。
【００６６】
本実施形態では、開口パターンが２つの場合の例を示すが、開口パターンを２つ以上用い、２回以上撮影し、２枚以上の観測画像を得てもよい。
【００６７】
この場合、複数枚の観測画像が得られるので、その中から２枚を選択し、本実施形態と同様の手法で距離画像及び合焦画像及びリフォーカス画像を得ることが出来る。
【００６８】
更に、２枚の選択の組み合わせを全ての組み合わせにおいて、同様に距離画像および合焦画像の演算を行い、演算結果を平均化することで、演算精度を高めることが可能である。
【００６９】
絞り１０２を開口マスク１０３のパターンもしくは、開口マスク１０４のパターンに、変更することによって得られる観測画像は、空間周波数特性は違うが同一画角である。
【００７０】
開口パターンの選択は、以下のような条件を満たすことで、距離演算部及び合焦復元部の演算精度を高めることが出来る。
（１）．ボケの大きさに関わらず高周波域のゲインが落ちないこと
（２）．複数の開口パターンの周波数特性においてゲインの零点が同一周波数において重ならないこと
（３）．開口面積をなるべく大きくして露光に必要な光量を得ること
（４）．ボケ特性の解析が容易なパターンであること
（５）．回折の影響を受けないこと
上記条件を満たす絞りパターンは複数考えられるが、本実施形態では、図３に示したような開口マスクのパターンを選択する。
【００７１】
次に、本実施形態に関連する画像データについて示す。
【００７２】
図４は、観測画像と合焦画像と距離画像を示している。
【００７３】
図４（ａ）、（ｂ）の１００１及び１００２は、観測画像im1及び観測画像im2を示している。それぞれ、違うパターンの開口マスクを用いて撮影されており、同一の画角の写真ではあるが、ボケ特性に違いがある観測画像となる。
【００７４】
図４（ｃ）の１００３は、距離画像を示している。距離画像とは、被写体までの距離を値として観測画像と同一平面の２次元配列データである。観測画像と同一画角で、かつ画素毎の輝度値が距離を示している。
【００７５】
本実施形態では、観測画像上のドットと対応する距離画像上のドットは、被写体の同一地点上の特性を示しているが、観測画像と距離画像の位置関係が認識出来るのであれば、観測画像と距離画像の空間解像度は違っていても構わない。
【００７６】
図４（ｃ）の１００３では、輝度が高いほど近い距離、輝度が低いほど遠い距離を示している。
【００７７】
図４（ｄ）の１００４は、合焦画像を示している。合焦画像は、観測画像im1及び観測画像im2と同一画角ではあるが、ボケ特性を含まない画像である。つまり、合焦画像は、画像上にボケ状態を含まない画像のことであり、被写界深度が無限大の画像に相当する。
【００７８】
本実施形態では、更に、距離画像と合焦画像から、フォーカスに関連するパラメータを変更したリフォーカス画像を生成し、撮影後に任意のボケ状態を有する画像を作成する。
【００７９】
次に、本実施形態の画像撮影装置の装置概観を示す。
【００８０】
図５は、本実施形態の画像撮影装置の概観を示した図である。
【００８１】
画像撮影装置の外見は、通常のデジタルカメラとほぼ同様である。
【００８２】
図３で説明をした光学系１０１は、図５の光学系３０１に相当する。
【００８３】
光学系１０１は全て光学系３０１に入ってしまうため、図３で示される光学系を１組として時分割撮影で実施した場合、本体部分３０３のハードウェア部分は絞りパターンを変更するだけで従来のデジタルカメラを流用することも可能である。
【００８４】
また、絞り１０２の開口パターンの一つを円形開口や多角形開口にすることによって、従来のデジタルカメラと同様な観測画像を撮影することも可能である。
【００８５】
距離画像及び合焦画像を撮影する場合のユーザーの操作は、従来のデジタルカメラと同様に１度のシャッターボタン操作を行うだけで良い。
【００８６】
画像撮影装置は、１回のシャッターボタンの動作を検出後、処理に必要な観測画像数だけ絞りパターンを変更し、複数の観測画像を撮影して、距離画像と合焦画像を作る。
【００８７】
次に図２の画像撮影装置に用いられる観測画像撮影部としての光学系を示す。
【００８８】
図６は、パターン化された瞳フィルタを用いた光学系であり、図３とは別の光学系である。
【００８９】
図３での光学系の構成は、光学系１０１が１組のみであるために、時分割による複数回の撮影によって複数枚の観測画像を得ている。そのため、手ブレや被写体ブレには弱い側面がある。
【００９０】
図６では、手ブレや被写体ブレの発生をより抑制した光学系の構成となる。この構成例は、図２に示すように、光通過部、光学レンズ２及び光電気変換部を２組設けた例となる。
【００９１】
図３の光学系と図６の光学系の大きな差は、光スプリッタにより光源を二分した点にある。つまり光スプリッタにより光束分割を行っている。
【００９２】
光レンズを通して入射して来た光は、光スプリッタ４０３によって２分される。
【００９３】
２分された光のうちの半分は、絞り４０２を通して結像され、ＣＭＯＳセンサー４０６で観測画像im1の入力を得る。このとき、絞り４０２は、開口パターン４０８のようなパターン化された絞りを用いている。
【００９４】
２分された光の残り半分は、反射鏡４０４を用いて光路を変更し、絞り４０１を通して結像され、ＣＭＯＳセンサー４０５で観測画像im2の入力を得る。このとき、絞り４０１は、開口パターン４０７のようなパターン化された絞りを用いている。
【００９５】
ＣＭＯＳセンサー４０６及びＣＭＯＳセンサー４０５の観測画像im1及び観測画像im2の撮影は、同時に行われるため、図２の光学系を用いた画像撮影装置よりも手ブレや被写体ブレに対してより耐性がある。
【００９６】
図７では、更に図６の光学系に変更を加えた構成例を示している。
【００９７】
図６で示される光学系は、複数の観測画像の撮影を同時に行うことが可能であるが、撮影装置全体を大きくしてしまうことになる。
【００９８】
図７では、この点を改善するために、絞りの位置５０６で光を分割するのではなく、集光している位置に、光スプリッタ５０１を配置する。
【００９９】
光レンズを通して入射して来た光は、光スプリッタ５０１によって２分される。
【０１００】
２分された光のうち半分は、パターン化絞り５０２を通して結像され、ＣＭＯＳセンサー５０３によって観測画像im1として入力される。
【０１０１】
２分された光のうち残りは、パターン化絞り５０４を通して結像され、ＣＭＯＳセンサー５０４によって観測画像im2として入力される。
【０１０２】
図６と違う点は、絞りパターンの大きさをフォーカス状態に合わせて一定になるように開口マスクのパターン５０４及び５０２でスケーリングを行うことが求められる。
【０１０３】
しかし、画像撮影装置全体は、図６の光学系を用いた画像撮影装置よりも小さく設計することが可能である。
【０１０４】
画像撮影装置の光学系を図３、図６、図７に示したが、距離演算部２０６、ボケ復元部２０７、リフォーカス画像演算部２０８は、図３、図６、図７の画像撮影装置全てで共通に実施することが可能である。
【０１０５】
それぞれの光学系には、利点が存在する為、適用に合わせて光学系を選択することが可能である。
【０１０６】
次に、本実施形態の距離算出のためのアルゴリズムを示す。
【０１０７】
図６に示した２つの開口マスクを用い、観測画像を２枚撮影した場合の例を示す。図７や図３の光学系を用いても良いことは勿論である。
【０１０８】
絞り４０２の開口マスクで撮影をした観測画像（第１の観測画像となる）をim1、絞り４０１の開口マスクで撮影をした観測画像（第２の観測画像となる）をim2とし、絞り４０２の開口マスクによるＰＳＦ（点像分布関数）をha、絞り４０１の開口マスクによるＰＳＦをhb、合焦画像をsとすれば、以下の式が成り立つ。
【０１０９】
【数４】
【０１１０】
数式４をフーリエ変換すると、数式４は、数式５となる。
このときIM1,IM2,Ha,Hb,Sは、それぞれim1,im2,ha,hb,sの周波数特性を示す。
【０１１１】
【数５】
【０１１２】
数式５の合焦画像Sは、共通な項であるため、式をまとめると数式６を導くことが出来る。
【０１１３】
【数６】
【０１１４】
数式６から絞り４０２の開口マスクで撮影した観測画像im1に絞り４０１の開口マスクのＰＳＦによる畳み込み演算をした結果と、絞り４０１の開口マスクで撮影した観測画像im2に絞り４０２の開口マスクのＰＳＦによる畳み込み演算をした結果は、同じになることが分かる。
【０１１５】
しかし、実際には、誤差や結像の状態によって完全には、数式６の左辺が０にならないので、以下の数式から距離を求める。
【０１１６】
【数７】
【０１１７】
ｚ’は推定距離を示す。
【０１１８】
数式７を満たす状態を考察する。
【０１１９】
IM1及びIM2は、数式５よりHa・Ｓ及びHb・Ｓである為、適切なHa及びHbを数式７に代入出来れば、以下の数式８が最小になる。
【０１２０】
【数８】
【０１２１】
光学伝達特性Ha,Hbは、被写体までの距離に依存し、ある距離におけるHaとHbの組は、距離に対して一意に決まる。
【０１２２】
そこで、予め被写体までの距離ｚと光学伝達特性Ha及びHbの関係を、光学伝達特性テーブルとして保持して置き、Ha及びHbを代入することで推定距離ｚ’を求めることが可能になる。このとき、Ha及びHbは設計値を用いてもよいし、実測値を用いてもよい。
【０１２３】
つまり、Ha及びHbは、被写体までの距離に依存するため、数式７は、数式９として表すことが出来る。
【０１２４】
【数９】
【０１２５】
そして、Ha及び Hbのテーブルを以下のように表すことが出来る。
【０１２６】
【数１０】
【０１２７】
数式１０のテーブルを用いて、以下の数式１１が最小値になるｚを求めることによって数式９を満たす推定距離ｚ’が求まる。
【０１２８】
【数１１】
【０１２９】
尚、数式１０は、後述する図８で示される光学伝達特性-推定距離テーブル（光学伝達特性テーブルとなる）と同様のものである。つまり、数式１０は光学伝達特性テーブルを示している。
【０１３０】
数式１０は、撮影装置が、シフトバリアントな光学系の場合、撮像素子の受光面に結像する撮影面の各位置における光学伝達特性を示す光学伝達特性テーブルであり、撮像面上での位置に対して用意される。
【０１３１】
また、撮影装置が、シフトインバリアントな光学系の場合、撮影素子の撮影面上どこでも同じ光学伝達特性になるため、数式１０は、撮影面上での位置とは関係なく、１つの光学伝達特性テーブルを用意すれば良い。
【０１３２】
また、光学伝達特性テーブルは、離散値の距離に対応する光学伝達特性であるが、レンズの設計情報から光学伝達特性を距離に対しての関数式（光学伝達特性関数）として保持をすることで、数式１０を実現しても構わない。
【０１３３】
例えば、本実施形態では、数式１２により距離zから許容錯乱円サイズpcsを算出し、許容錯乱円サイズpcsを用いて光学伝達特性を近似計算し、数式１０として算出している。
【０１３４】
【数１２】
【０１３５】
ただし、Zfは被写体距離、Zpはフォーカス距離、fは焦点距離、dはレンズ径を示している。
【０１３６】
次に、本実施形態で使用されるデータテーブルに関して示す。
【０１３７】
図８は、光学伝達特性-推定距離テーブルを示したものである。
【０１３８】
図８の光学伝達特性-推定距離テーブルは、被写体までの距離zにおけるPSF（point spread function）の周波数変換した光学伝達特性を記載したものである。
【０１３９】
この光学伝達特性-推定距離テーブルは、後述の光伝達特性算出部によって使用されるデータテーブルである。
【０１４０】
光学伝達特性は、設計値を使用しても良いが、本実施形態では、実測した値を用いている。
【０１４１】
実測した光学伝達特性を用いることによって、ノイズの影響や光学的収差などの影響に対してキャリブレーションを行うことが出来る。
【０１４２】
被写体距離６０１は、被写体への距離である。
【０１４３】
後述の光学伝達特性６０２及び光学伝達特性６０３は、被写体がzだけ離れた地点に存在する場合の光学伝達特性を示す。
【０１４４】
６０２は、被写体の距離zに応じた光学伝達特性Haである。光学伝達特性Haは、開口マスク１０３に対応する光学伝達特性である。
【０１４５】
同様に、６０３は、被写体の距離zに応じた光学伝達特性Hbである。光学伝達特性Hbは、開口マスク１０４に対応する光学伝達特性である。
【０１４６】
光学伝達特性は、光軸からの距離や光軸からの方向によって変化するため、光学伝達特性をレンズの位置に応じて保持しても良い。また、フォーカス位置によっても変化するので、必要なテーブルは保持しておく。
【０１４７】
本実施形態では、光学伝達特性Ha及びHbの２つを保持しているが、開口マスクの数が２つ以上ある場合は、これに応じて増やせば良い。
【０１４８】
上記の様に、距離による開口マスクの光学伝達特性を保持する。
【０１４９】
次に、本実施形態の距離画像算出に関するフローチャートを示す。
【０１５０】
図９は、距離演算部の動作を示すフローチャートを示している。
【０１５１】
また、図１０は、光学伝達特性算出部の動作を示すフローチャートを示している。
【０１５２】
ステップＳ７０１で、距離演算部には、観測画像im1と観測画像im2が入力される。
【０１５３】
距離演算部は、ステップＳ７０２で、観測画像im1及び観測画像im2から、観測画像よりも小さいウインドサイズ(wx,wy)を、観測画面上の位置(x,y)上で切り出した画像を観測画像i1及びi2とする。
【０１５４】
推定距離zは、この小ウィンドウ毎に測定を行う。
【０１５５】
推定距離zの算出は、ＰＳＦのＣＭＯＳ１０６上での最大の大きさが、ウィンドウサイズ(wx,wy)以上だと被写体の距離判定が正しく出来ないので、これらの事象を考慮してwx,wyを決定する必要がある。
【０１５６】
次にステップＳ７０３にて観測画像i1及び観測画像i2をフーリエ変換して、I1及びI2を算出する。また、参照カウンタであるmに0を代入する。
【０１５７】
ステップＳ７０４で光学伝達特性算出部を呼び出して、参照カウンタmに対応をするzm及びHa m及びHb mを取得する。
【０１５８】
光学伝達特性算出部は、図１０のステップＳ１１０１から開始される。
【０１５９】
光学伝達特性算出部は、ステップＳ１１０２で、前述の光学伝達特性-推定距離テーブルから参照カウンタmに対応をするzm及びHa m及びHb mを取得する。そして、ステップＳ１１０３で復帰をする。
【０１６０】
次に、ステップＳ７０５で以下の数式１３を演算し、誤差評価値emを得る。
【０１６１】
【数１３】
【０１６２】
誤差評価値emを最小にするzmが推定距離ｚ’となる。
【０１６３】
数式１３は、誤差評価値emによって数式９を評価するために用いられる。
【０１６４】
この誤差評価値emは、参照カウンタm全ての場合で評価する必要があるため、ステップＳ７０６で参照カウンタを増加させた上で、ステップＳ７０４以降を繰り返し演算する。
【０１６５】
全ての参照カウンタmに関して演算が終了した後に、ステップＳ７０７にて、誤差評価値emを最小にするmを求める。
【０１６６】
次に、ステップＳ７０８で、誤差評価値emを最小にするmに対応する推定距離zを決定する。
【０１６７】
これらの関係を図１１の推定距離と誤差評価値の関係グラフに示す。図１１の値を例とすれば、誤差評価値emは、z4(m=4)の状態で最小値となっている。その為、z4で示される距離を推定距離ｚ’として良い。
【０１６８】
しかし、図８で示される光学伝達特性-推定距離テーブルでは、推定距離zmが離散値となって得られる。
【０１６９】
そこで、図１１の９０１で示されるように最小二乗近似等を用いて、最小値ｅｍ’を算出し、それに対応する推定距離ｚ’を求めることで、より精度の高い距離を求めても良い。
【０１７０】
以上のようにして、ウィンドウサイズ(wx,wy)における被写体への距離の演算を行う。ステップＳ７０９で、算出された推定距離ｚ’を距離画像の座標(x,y)の画素値(距離値)とする。
【０１７１】
ステップＳ７１０で、ステップＳ７０２〜ステップＳ７０９までの工程が画像上の全ての画素に対して演算するように処理のループを行う。
【０１７２】
尚、本実施形態は、誤差評価値emを順次増加させて演算をし、最小値を求めたが、二分探索法などを用いて、高速に誤差評価値emの最小値を求めることも出来る。
【０１７３】
また、数１３にて誤差評価値emを周波数領域で演算しているが、以下のような式を用いることで、空間領域での演算をすることも可能である。
【０１７４】
【数１４】
【０１７５】
ただし、i1, hb m ,i2, ha mを観測画像1, 観測画像２の点像分布関数,観測画像２, 観測画像1の点像分布関数とする。
【０１７６】
以上の様にして演算処理を行うことで、距離画像を得ることが出来る。
【０１７７】
次に、本実施形態の合焦画像算出のためのアルゴリズムを示す。
【０１７８】
合焦画像は、数式５より算出できる。
【０１７９】
数式５を変形すると数式１５が求まる。
【０１８０】
【数１５】
【０１８１】
しかし、実際には、数１５では、光学伝達特性Ha及びHb内で零もしくは零に近い値を持つ場合があり、除算が正確に行われない可能性がある。
そこで、推定合焦画像のフーリエ変換をＳ’とすれば、数式１６を用いて推定合焦画像Ｓ’を求めることが出来る。
【０１８２】
【数１６】
【０１８３】
H1=Ha,H2=Hbとする。
【０１８４】
数式１６のWmは、ある空間周波数において、観測画像IM1及び観測画像IM2どちらのスペクトルが高いかを示す重み付け係数である。
【０１８５】
【数１７】
【０１８６】
Wmは、数式１７を満たすことで、空間周波数応答に零点が存在しても、正しく合焦画像を復元することが出来る。
【０１８７】
尚、本実施形態では、開口パターンが２つの場合、観測画像が２画面の場合を示しているが、開口パターンが２つ以上であっても同様に演算することが可能である。
【０１８８】
次に、図１２に本実施形態における合焦画像算出に関するフローチャートを示す。
【０１８９】
ボケ復元部２０７は、ステップＳ８０１から開始される。
【０１９０】
ステップＳ８０２にて上述の数式１７で示される手法を用いて重み付け係数Wmを決定する。
【０１９１】
そして、ステップＳ８０３で数式１６を演算することで、推定合焦画像Ｓ’を求めることが出来る。
【０１９２】
推定合焦画像Ｓ’は、空間周波数特性を表しているので、逆フーリエ変換を行い、推定合焦画像ｓ’を得る。
【０１９３】
以上のようにして、合焦画像を得る。
【０１９４】
尚、リフォーカス画像演算部２０８で用いられる距離画像及び合焦画像からのリフォーカス画像生成に関しては、既に知られたアルゴリズムを用いることが出来るため、説明を省く。
【０１９５】
本発明による第二の実施形態の画像撮影装置及び方法について詳細に説明する。
【０１９６】
第二の実施形態では、図３における開口マスク１０３及び開口マスク１０４の光学伝達特性の周波数特性を決め、条件に合う開口マスクパターンを得ることによって演算量の低減とメモリ使用量の低減を図るものである。
【０１９７】
第二の実施形態では、開口マスク１０３及び開口マスク１０４の周波数特性が以下の関係を満たしている。
【０１９８】
【数１８】
【０１９９】
このときHa,Hb,H1,H2は、それぞれ光学伝達特性ha,hb,h1,h2の周波数特性を示す。
【０２００】
観測画像の撮影状態を数式４とした場合、被写体までの距離を算出する数式９は、以下の数式のようになる。
【０２０１】
【数１９】
【０２０２】
このとき、H1と被写体までの距離の関係を示すテーブルを以下のように表すことが出来る。
【０２０３】
【数２０】
【０２０４】
数式２０のテーブルを用いて、
【０２０５】
【数２１】
【０２０６】
が最小になるzを求めることによって数式１９を満たす推定距離z’が求まる。
【０２０７】
第一の実施形態との違いは、数式１９の中での畳み込み演算（周波数領域での乗算）が１回のみで推定距離z’の評価のための演算が行われている点である。
【０２０８】
畳み込み演算は、処理に時間のかかる演算である。
【０２０９】
そのため、第二の実施形態の数式１９の演算量は、第一の実施形態の数式９の演算量に比べ、ほぼ二分の一になる。
【０２１０】
また、第一の実施形態の光学特性を示すテーブルである数式１０と第二の実施形態の数式２０の違いは、第二の実施形態の場合、１つの光学伝達特性と距離の値によるテーブルとなるため、データ量は、ほぼ二分の一になる。
【０２１１】
なお、数式１８を満たす開口マスク１０３及び開口マスク１０４は、絞りの開口パターンを用いて特性を満たすものとする。
【０２１２】
また、H1及びH2の光学特性を示す絞りを2枚用意し、片方の観測画像(im1)の撮影時にH1及びH2の開口マスクを通して撮影し、もう片方の観測画像(im2)は、H2の開口マスクのみを通して撮影しても良い。
【０２１３】
以上のように、開口マスク１０３及び開口マスク１０４の周波数特性が、数式１８を満たすことによって、距離算出のための演算量及び光学伝達特性を示すデータテーブルの容量は、第一の実施形態と比べてほぼ二分の一となり、より効率的に演算を行うことが可能になる。
【図面の簡単な説明】
【０２１４】
【図１】本発明の画像撮影装置の一実施形態の装置構成のブロック図である。
【図２】本発明の画像撮影装置の他の構成例の装置構成のブロック図である。
【図３】可変瞳フィルタを用いた画像撮影装置の光学系を示す図である。
【図４】観測画像と合焦画像と距離画像を示す図である。
【図５】本実施形態の画像撮影装置の概観を示した図である。
【図６】パターン化された瞳フィルタを用いた光学系を示す図である。
【図７】パターン化された瞳フィルタを用いた他の光学系を示す図である。
【図８】光学伝達特性-推定距離テーブルを示す図である。
【図９】距離演算部の動作を示すフローチャートである。
【図１０】光学伝達特性算出部の動作を示すフローチャートを示している。
【図１１】推定距離と誤差評価値の関係を示す図である。
【図１２】ボケ復元部の動作を示すフローチャートである。
【図１３】従来の画像撮影装置の光学系の構成を示す図である。
【符号の説明】
【０２１５】
１０１ 光学系
１０２ 絞り
１０３ 開口マスク
１０４ 開口マスク
１０５ 光学レンズ
１０６ ＣＭＯＳセンサー
２０６ 距離演算部・最適光学特性演算部
２０７ ボケ復元部
２０８ リフォーカス画像演算部
２２１ 観測画像撮影部
２２２ 光学伝達特性算出部
【特許請求の範囲】
【請求項１】
複数の絞りパターンで同一の被写体を撮影して複数の観測画像を得る観測画像撮影手段と、
前記被写体までの距離に応じた光学伝達特性を算出する手段と、
前記複数の観測画像と前記光学伝達特性から、前記被写体までの距離を算出する距離演算手段と、を備えることを特徴とする画像撮影装置。
【請求項２】
複数の絞りパターンで同一の被写体を撮影して複数の観測画像を得る観測画像撮影手段と、
前記被写体までの距離に応じた第１の光学伝達特性を算出する光学伝達特性算出手段と、
前記複数の観測画像と前記光学伝達特性から、ボケ量が最小となるように第２の光学伝達特性を算出する光学伝達特性演算手段と、
前記第２の光学伝達特性を利用して画像のボケを復元し合焦画像を得るボケ復元手段と、
を備えることを特徴とする画像撮影装置。
【請求項３】
前記光学伝達特性は、撮像素子の受光面各位置における光学伝達特性と距離との関係を示す、光学伝達特性テーブルを利用して算出することを特徴とする請求項１または２に記載の画像撮影装置。
【請求項４】
前記光学伝達特性は、撮像素子の受光面各位置における光学伝達特性と距離との関係を示す、光学伝達特性関数を利用して算出することを特徴とする請求項１または２に記載の画像撮影装置。
【請求項５】
前記複数の絞りパターンのうち一の絞りパターンによる観測画像を第１の観測画像、前記複数の絞りパターンのうち他の絞りパターンによる観測画像を第２の観測画像としたとき、
前記距離演算手段は、
【数１】
が最小になるように距離を算出することを特徴とする請求項１に記載の画像撮影装置。
【請求項６】
前記複数の絞りパターンのうち一の絞りパターンによる観測画像を第１の観測画像、前記複数の絞りパターンのうち他の絞りパターンによる観測画像を第２の観測画像としたとき、
前記光学伝達特性演算手段は、
【数２】
が最小になるように前記第２の光学伝達特性を算出することを特徴とする請求項２に記載の画像撮影装置。
【請求項７】
前記複数の観測画像は、時分割により取得することを特徴とする請求項１または２に記載の画像撮影装置。
【請求項８】
前記複数の観測画像は、光束分割により取得することを特徴とする請求項１または２に記載の画像撮影装置。
【請求項９】
複数の絞りパターンで同一の被写体を撮影して複数の観測画像を得るステップと、
前記被写体までの距離に応じた光学伝達特性を算出するステップと、
前記複数の観測画像と前記光学伝達特性から、前記被写体までの距離を算出する距離演算ステップと、を備えることを特徴とする画像撮影装置の距離演算方法。
【請求項１０】
複数の絞りパターンで同一の被写体を撮影して複数の観測画像を得るステップと、
前記被写体までの距離に応じた光学伝達特性を算出する手段と、
前記複数の観測画像と前記光学伝達特性から、ボケ量が最小となる光学伝達特性を算出する光学伝達特性演算手段と、
前記ボケ量が最小となる光学伝達特性を利用して画像のボケを復元し合焦画像を得るボケ復元手段と、
を備えることを特徴とする画像撮影装置の合焦画像取得方法。
【請求項１】
複数の絞りパターンで同一の被写体を撮影して複数の観測画像を得る観測画像撮影手段と、
前記被写体までの距離に応じた光学伝達特性を算出する手段と、
前記複数の観測画像と前記光学伝達特性から、前記被写体までの距離を算出する距離演算手段と、を備えることを特徴とする画像撮影装置。
【請求項２】
複数の絞りパターンで同一の被写体を撮影して複数の観測画像を得る観測画像撮影手段と、
前記被写体までの距離に応じた第１の光学伝達特性を算出する光学伝達特性算出手段と、
前記複数の観測画像と前記光学伝達特性から、ボケ量が最小となるように第２の光学伝達特性を算出する光学伝達特性演算手段と、
前記第２の光学伝達特性を利用して画像のボケを復元し合焦画像を得るボケ復元手段と、
を備えることを特徴とする画像撮影装置。
【請求項３】
前記光学伝達特性は、撮像素子の受光面各位置における光学伝達特性と距離との関係を示す、光学伝達特性テーブルを利用して算出することを特徴とする請求項１または２に記載の画像撮影装置。
【請求項４】
前記光学伝達特性は、撮像素子の受光面各位置における光学伝達特性と距離との関係を示す、光学伝達特性関数を利用して算出することを特徴とする請求項１または２に記載の画像撮影装置。
【請求項５】
前記複数の絞りパターンのうち一の絞りパターンによる観測画像を第１の観測画像、前記複数の絞りパターンのうち他の絞りパターンによる観測画像を第２の観測画像としたとき、
前記距離演算手段は、
【数１】
が最小になるように距離を算出することを特徴とする請求項１に記載の画像撮影装置。
【請求項６】
前記複数の絞りパターンのうち一の絞りパターンによる観測画像を第１の観測画像、前記複数の絞りパターンのうち他の絞りパターンによる観測画像を第２の観測画像としたとき、
前記光学伝達特性演算手段は、
【数２】
が最小になるように前記第２の光学伝達特性を算出することを特徴とする請求項２に記載の画像撮影装置。
【請求項７】
前記複数の観測画像は、時分割により取得することを特徴とする請求項１または２に記載の画像撮影装置。
【請求項８】
前記複数の観測画像は、光束分割により取得することを特徴とする請求項１または２に記載の画像撮影装置。
【請求項９】
複数の絞りパターンで同一の被写体を撮影して複数の観測画像を得るステップと、
前記被写体までの距離に応じた光学伝達特性を算出するステップと、
前記複数の観測画像と前記光学伝達特性から、前記被写体までの距離を算出する距離演算ステップと、を備えることを特徴とする画像撮影装置の距離演算方法。
【請求項１０】
複数の絞りパターンで同一の被写体を撮影して複数の観測画像を得るステップと、
前記被写体までの距離に応じた光学伝達特性を算出する手段と、
前記複数の観測画像と前記光学伝達特性から、ボケ量が最小となる光学伝達特性を算出する光学伝達特性演算手段と、
前記ボケ量が最小となる光学伝達特性を利用して画像のボケを復元し合焦画像を得るボケ復元手段と、
を備えることを特徴とする画像撮影装置の合焦画像取得方法。
【図３】
【図１】
【図２】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１】
【図２】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１０−３９４４８（Ｐ２０１０−３９４４８Ａ）
【公開日】平成２２年２月１８日（２０１０．２．１８）
【国際特許分類】
【出願番号】特願２００８−２０５８８２（Ｐ２００８−２０５８８２）
【出願日】平成２０年８月８日（２００８．８．８）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２２年２月１８日（２０１０．２．１８）
【国際特許分類】
【出願日】平成２０年８月８日（２００８．８．８）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]