撮像装置、撮像方法及びプログラム
【課題】位置合わせや合成等の処理時間を抑えることができ、且つ、アーティファクトを発生させずに、被写界深度を拡大できるようにすること。
【解決手段】設定部３にて、デフォーカス位置を複数設定し、フィルタ設計部４にて、その設定した複数のデフォーカス位置における点像広がり関数（ＰＳＦ）に基づいて複数のフィルタを設計する。そして、フィルタ処理部５にて、その設計した各デフォーカス位置におけるフィルタを用いて、画像撮像部１で取得した１枚の画像信号に対してフィルタ処理を行ない、画像取得部６にて、その各デフォーカス位置のフィルタ処理後の画像信号を取得する。
【解決手段】設定部３にて、デフォーカス位置を複数設定し、フィルタ設計部４にて、その設定した複数のデフォーカス位置における点像広がり関数（ＰＳＦ）に基づいて複数のフィルタを設計する。そして、フィルタ処理部５にて、その設計した各デフォーカス位置におけるフィルタを用いて、画像撮像部１で取得した１枚の画像信号に対してフィルタ処理を行ない、画像取得部６にて、その各デフォーカス位置のフィルタ処理後の画像信号を取得する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像信号を取得する撮像装置及び撮像方法、並びに、コンピュータにそのような撮像装置の手順を実行させるプログラムに関する。
【背景技術】
【０００２】
従来、近距離から遠距離までピントの合った被写界深度の深い画像信号を得るために、例えば、異なる焦点距離で撮像した画像信号を複数枚合成するといった被写界深度拡大処理が行なわれている。しかし、この被写界深度拡大処理では、複数枚の画像信号の位置合わせ処理や合成処理等での処理時間がかかっていた。
【０００３】
そこで、例えば、特許文献１においては、Ｒの画像情報をＦＦＴ演算部の実数部、Ｂの画像情報をＦＦＴ演算部の虚数部、Ｂの画像情報をＦＦＴ演算部の実数部、その虚数部には０を入力して演算を行なうことで、処理時間を短縮化を図っている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２−６４７４１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記特許文献１に開示されている手法を採ったとしても、処理時間の短縮化は不十分であるため、動画等のリアルタイム性を要するものには適さないという問題があった。
【０００６】
また、複雑な手ブレが発生している場合や被写体が動いている場合等においては、正しい位置合わせ処理が行なわれず、アーティファクトが発生するという問題があった。
【０００７】
本発明は、上記の点に鑑みてなされたもので、位置合わせや合成等の処理時間を抑えることができ、且つ、アーティファクトを発生させずに、被写界深度を拡大できるようにすることを目的とする。
【課題を解決するための手段】
【０００８】
本発明の撮像装置の一態様は、
画像信号を取得する撮像手段と、
デフォーカス位置を複数設定する設定手段と、
上記設定手段で設定した複数のデフォーカス位置における点像広がり関数（ＰＳＦ）に基づいて複数のフィルタを設計するフィルタ設計手段と、
上記撮像手段で取得した１枚の画像信号に対して、上記フィルタ設計手段で設計した各デフォーカス位置におけるフィルタを用いてフィルタ処理を行なうフィルタ処理手段と、
上記フィルタ処理手段による各デフォーカス位置のフィルタ処理後の画像信号を取得する取得手段と、
前記取得手段により取得された複数の画像信号を連続的に表示するよう制御する表示制御手段と、
を備えたことを特徴とする。
【０００９】
また、本発明の撮像方法の一態様は、
画像信号を取得し、
デフォーカス位置を複数設定し、
上記設定した複数のデフォーカス位置における点像広がり関数（ＰＳＦ）に基づいて複数のフィルタを設計し、
上記取得した１枚の画像信号に対して、上記設計した各デフォーカス位置におけるフィルタを用いてフィルタ処理を行ない、
上記各デフォーカス位置のフィルタ処理後の画像信号を取得し、
取得された複数の画像信号を連続的に表示するよう制御する、
ことを特徴とする。
【００１０】
また、本発明のプログラムの一態様は、画像信号を取得する撮像装置のコンピュータを制御するためのプログラムであって、
上記コンピュータを、
画像撮像部に画像信号を取得させる撮像手段、
デフォーカス位置を複数設定する設定手段、
上記設定した複数のデフォーカス位置における点像広がり関数（ＰＳＦ）に基づいて複数のフィルタを設計するフィルタ設計手段、
上記画像撮像部で取得した１枚の画像信号に対して、上記設計した各デフォーカス位置におけるフィルタを用いてフィルタ処理を行なうフィルタ処理手段、
上記各デフォーカス位置のフィルタ処理後の画像信号を取得する取得手段、
取得された複数の画像信号を連続的に表示するよう制御する表示制御手段、
として機能させることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、切り換え表示することで位置合わせや合成等の処理時間を抑え、且つ、アーティファクトを発生させずに被写界深度拡大の効果をもたらし得る、それぞれ異なる深度をボケ回復した複数枚の画像信号が１回の撮像で得られる。
【図面の簡単な説明】
【００１２】
【図１】図１は、本発明の一実施形態に係る撮像装置の構成を示す図である。
【図２】図２は、フィルタ処理とコントラストの関係を説明するための図である。
【図３】図３は、取得した複数枚の画像信号の表示順序を説明するための図である。
【図４】図４は、図１中の設定部の構成を示す図である。
【図５】図５は、被写体の位置に基づくデフォーカス位置の設定方法を説明するための図である。
【図６】図６は、図１中のフィルタ設計部の構成を示す図である。
【図７】図７は、フィルタ設計手順を説明するための図である。
【図８】図８は、本発明の一実施形態に係るプログラムのフローチャートを示す図である。
【発明を実施するための形態】
【００１３】
以下、本発明を実施するための形態を図面を参照して説明する。
図１に示すように、本発明の一実施形態に係る撮像装置は、画像処理を行う画像処理システム１００と画像を表示する表示部１０を備えている。
画像システム１００は、画像撮像部１と、Ａ／Ｄ変換等を行う前処理部２と、複数のデフォーカス位置を設定する設定部３と、複数のフィルタを設計するフィルタ設計部４と、フィルタ設計部にて設計された封数のフィルタの処理を行うフィルタ処理部５と、フィルタ処理後の画像信号を得る画像取得部６と、複数画像の表示の制御を行う表示制御部７と、外部Ｉ／Ｆ部８と、及び制御部９を備えている。
上記画像撮像部１は、絞りを含むレンズ系１１と、このレンズ系１１が結像する光学的な被写体像を光電変換して電気的な画像信号を生成する撮像系１２を含む。
上記フィルタ処理部５は、フィルタ処理実行部５１、コントラスト算出部５２、及び判断部５３を含む。
【００１４】
画像撮像部１の撮像系１２は、前処理部２へ接続している。前処理部２は、設定部３、フィルタ処理部５内のフィルタ処理実行部５１、及び画像取得部６へ接続している。設定部３は、フィルタ設計部４へ接続している。フィルタ設計部４は、画像撮像部１から接続されており、フィルタ処理部５内のフィルタ処理実行部５１へ接続している。フィルタ処理実行部５１は、同じくフィルタ処理部５内のコントラスト算出部５２及び画像取得部６へ接続している。コントラスト算出部５２は、同じくフィルタ処理部５内の判断部５３へ接続している。判断部５３は、画像取得部６へ接続している。画像取得部６は、表示制御部７に接続している。表示部１０は、表示制御部７に接続されている。前処理部２、設定部３、フィルタ設計部４、表示制御部７及び外部Ｉ／Ｆ部８は、制御部９に双方向へ接続されている。
【００１５】
このような撮像装置では、レンズ系１１は、撮像系１２に像を結像させる。撮像系１２は、画像信号を取得し、前処理部２に転送する。前処理部２は、取得された画像信号をＡ／Ｄ変換等の処理をした後、設定部３に転送する。この前処理部２は、図示はしていないが、変換した画像信号を保持するフレームメモリを有している。
【００１６】
設定部３は、上記前処理部２のフレームメモリに保持されている変換された画像信号から、ボケ量を表す点像広がり関数（ＰＳＦ）を取得する複数のデフォーカス位置とその数を設定する。フィルタ設計部４は、上記画像撮像部１より得られる絞り値と、設定部３にて取得した複数のデフォーカス位置とに基づいて各デフォーカス位置でのＰＳＦを算出し、複数のフィルタを設計する。フィルタ設計部４はこれら複数のフィルタをフィルタ処理部５内のフィルタ処理実行部５１に転送する。
【００１７】
フィルタ処理部５内のフィルタ処理実行部５１は、上記前処理部２のフレームメモリに保持されている変換された画像信号に対して、上記設計された複数のフィルタのそれぞれをかけ、複数枚のフィルタ処理後の画像信号を得る。フィルタ処理実行部５１は、結果的にフィルタの数だけフィルタ処理後の画像信号を得る。フィルタ処理実行部５１は、フィルタ処理後の複数枚の画像信号をコントラスト算出部５２に転送する。コントラスト算出部５２は、フィルタ処理実行部５１で得られたフィルタ処理後の各画像信号のコントラストを算出し、判断部５３に転送する。判断部５３は、コントラスト算出部５２で算出されたコントラストが所定以上であるか否かを画素ごとに判断する。
【００１８】
判断部５３でコントラストが所定値以上であると判断された画素は、フィルタ処理前の画素値を用いる。即ち、図２において、左側のデフォーカス位置から取得したＰＳＦより生成したフィルタは、同デフォーカス位置のＰＳＦに対しては適正にボケ回復することができるが、中央の最もボケ径が小さいデフォーカス位置から得られたＰＳＦに対しては過剰補正となり、右側のボケ径が左側のものよりも大きいデフォーカス位置から得られたＰＳＦに対しては補正不足となる。表示部１０にて画像信号を表示する際、その中に過剰補正されたものが混ざると、過剰補正部分が目立ち、表示画像の品位を著しく損ねてしまう。従って、過剰補正とされた画素については、フィルタ処理後の画素値は用いずに、フィルタ処理前の画素値を用いることが望ましい。一方、補正不足の場合には、適正に補正されている画像信号の方が補正不足の画像信号よりも目を引き、表示画像の品位には影響しないため、そのまま用いて良い。過剰補正の画素は適正や補正不足の画素に比べてコントラストが高くなる傾向があるため、判断部５３にてコントラストが所定以上の値を持つか否かを判断し、その判断結果に従って、画像取得部６は、コントラストが所定以上の値を持つ場合は前処理部２のフレームメモリに保持されているフィルタ処理前の画素値を取得し、コントラストが所定以下の値を持つ場合はフィルタ処理実行部５１からのフィルタ処理後の画素値を用いるようにして、複数枚の画像信号を取得し、図示しない内部メモリに保存する。
【００１９】
表示制御部７は、フレームレートをそのデフォーカス位置の数に応じて制御する。表示制御部７は、得られた複数枚の画像信号が連続的に表示されるよう制御する。表示制御部７は、静止画像の場合、得られた複数枚の画像信号を動画像のように一定のフレームレートで連続的に表示するよう制御する。一方、動画像の場合、元の動画像の１フレームに対して静止画と同様の処理を施すため、静止画像に比べて更に高いフレームレートが必要となる。表示制御部７は、設定部３から転送されたデフォーカス位置の数を基に表示部１０での表示フレームレートを制御する。一般的に、表示制御部７は、焦点距離の数に比例してフレームレートは高くなるようにフレームレートを設定する。
フレームレートを高くすることによって、異なる深度のボケ回復を行った複数の画像信号が深度全体でボケ回復された１枚の画像として見ることができる。
【００２０】
なお、表示部１０での複数枚の画像信号の切り換え表示方法は、動画像の場合、画像信号の取得を行ないながら表示するため、図２の（１）で示されているように、取得順（時系列）に沿って繰り返し表示させる、もしくは、図２の（２）のように、最新の画像信号まで順方向の取得順に表示後、時間を遡って、つまり逆方向の取得順に表示させる、などの順序がある。静止画の場合、上記の方法以外にも、取得後に取得順とは異なるランダムの並び順で表示させても良い。
【００２１】
このように、取得した複数のデフォーカス位置でのＰＳＦから設計したフィルタを、取得した１枚の画像信号にかけ、複数枚のフィルタ処理後の画像信号を取得することで、それぞれ異なる深度をボケ回復した複数枚の画像信号が得られる。そして、それら複数枚の画像信号を高速に切り換え表示すると、人間の目には、近距離から遠距離までピントの合った被写界深度の深い画像信号として認識される。従って、複数枚の画像信号に対して、位置合わせや合成等の処理を行うことなく被写界深度の深い画像信号を得ることができるので、位置合わせや合成等の処理時間を抑え、且つ、アーティファクトを発生させずに被写界深度拡大の効果をもたらすことができる。しかも、取得自体は１回のみで良い。
【００２２】
以下、図１の撮像装置における各部の詳細を説明する。
図４は、設定部３の構成の一例を示す図である。この設定部３は、ＰＳＦを取得する複数のデフォーカス位置を決定する機能を有しており、被写体認識部３１及びデフォーカス設定部３２から成る。また、デフォーカス設定部３２は、デフォーカス位置設定部３２１、デフォーカス数設定部３２２、被写体深度算出部３２３、距離算出部３２４、比較部３２５、算出部３２６、及び目標深度設定部３２７から成る。
【００２３】
上記前処理部２は、被写体認識部３１へ接続している。被写体認識部３１は、デフォーカス位置設定部３２１、デフォーカス数設定部３２２、被写体深度算出部３２３、及び距離算出部３２４と接続している。被写体深度算出部３２３及び距離算出部３２４は、比較部３２５と接続し、比較部３２５は、算出部３２６と接続している。また、算出部３２６は、デフォーカス位置設定部３２１、デフォーカス数設定部３２２、目標深度設定部３２７、及び上記制御部９に双方向へ接続している。目標深度設定部３２７は、比較部３２５及び上記制御部９に双方向へ接続している。そして、デフォーカス位置設定部３２１及びデフォーカス数設定部３２２は、上記フィルタ設計部４に双方向へ接続している。
【００２４】
このような設定部３では、まず、被写体認識部３１にて、上記前処理部２のフレームメモリに保持されている画像信号から被写体が認識される。ここでの被写体認識は、公知の顔認識や物体認識等、何でも良い。そして、デフォーカス設定部３２において、上記被写体認識部３１による被写体の認識結果を用いて、デフォーカス位置設定部３２１にて、画像信号を取得するデフォーカス位置を決定すると共に、デフォーカス数設定部３２２にて、画像信号を取得するデフォーカス位置の数を決定する。例えば、被写体認識部３１にて３つの被写体が認識された場合には、デフォーカス位置設定部３２１は、図５（Ａ）に示すように画像信号を取得するデフォーカス位置としてｆ１，ｆ２，ｆ３を決定し、デフォーカス数設定部３２２は、デフォーカス位置の数を「３」と決定する。フィルタ設計部４は、この決定した各デフォーカス位置とその数に基づいてフィルタを設計することとなる。
【００２５】
図５（Ａ）に示すように被写体が多くある場合、デフォーカス位置とその数は被写体認識部３１にて認識した被写体の位置とその数として設定すれば良い。しかしながら、このような認識した被写体位置と数のみに基づく単純な制御だけでは不十分な場合がある。例えば、図５（Ｂ）に示すような光軸方向に複数の被写体が離れて（デフォーカス位置ｆ１，ｆ２）存在する場合には、被写体間にボケが観察されてしまうこととなる。逆に、被写体が一つ、或いは図５（Ｃ）に示すように、光軸方向に複数の被写体が近接して存在する場合には、複数の被写体のデフォーカス位置ｆ１，ｆ２での回復処理を行なっても被写界深度拡大の効果をもたらすことができない。
【００２６】
そこで、図５（Ｂ）に示すような各被写体間にボケが観察されてしまうような場合には、被写体間の任意の位置にデフォーカス位置を設定するようにしても良い。本実施形態では、そのために、上記被写体認識部３１による被写体の認識結果を用いて、被写体深度算出部３２３にて、各被写体位置での被写界深度を算出すると共に、距離算出部３２４にて、各被写体のデフォーカス位置を算出して、各被写体間のデフォーカス位置差を算出する。そして、比較部３２５にて、それら算出した各被写界深度とデフォーカス位置差とを比較することで、各被写体間にボケが観察されることとなるか否かを確認する。即ち、各被写体間にボケが観察されるか否かを判定する際の条件式の一例として以下の（１）式を採用する。もちろん、他の条件式を用いるものとし、その条件式に必要なパラメータを取得するように、該設定部３を構成しても構わない。
【００２７】
｜ｆｉ＋１−ｆｉ｜＜ｄ …（１）
【００２８】
但し、上記（１）式において、ｆｉは任意の設定したデフォーカス位置であり、ｄは被写体深度算出部３２３で得られる各被写体位置の被写界深度から算出するある所定の目標被写界深度である。
【００２９】
ここで、各被写体間にボケが観察されると判定された場合には、算出部３２６にて、上記（１）式を満たすように、被写体位置に設定したデフォーカス位置ｆ１，ｆ２の他に、上記（１）式を満たさない被写体間に新たなデフォーカス位置ｆ３を算出して、上記デフォーカス位置設定部３２１にその算出した新たなデフォーカス位置ｆ３を設定し、デフォーカス数設定部３２２にも新たなデフォーカス位置の数を設定する。
【００３０】
また、被写体が一つ又は図５（Ｃ）に示すような光軸方向に複数の被写体が近接して存在するような場合には、該撮像装置に対して被写体よりも近い或いは遠い位置にデフォーカス位置を新たに設定しても良い。本実施形態では、そのために、距離算出部３２４にて、各デフォーカス位置間の最大値を算出する。そして、比較部３２５にて、距離算出部３２４で算出した各デフォーカス位置間の最大値と所定の目標被写界深度とを比較することで、各デフォーカス位置間の最大値が目標被写界深度を満たすか否かを確認する。この確認のための条件式の一例として以下の（２）式を採用する。もちろん、他の条件式を用いるものとし、その条件式に必要なパラメータを取得するように、該設定部３を構成しても構わない。
【００３１】
｜ｆｍａｘ−ｆｍｉｎ｜＞ｄ’ …（２）
【００３２】
但し、上記（２）式において、ｆｍａｘは設定したデフォーカス位置の中で該撮像装置に対して最も遠いものを表し、初期値はｘｍａｘであり、ｆｍｉｎは設定したデフォーカス位置の中で該撮像装置に対して最も近いものを表し、初期値はｘｍｉｎである。初期値であるｘｍａｘは被写体までの距離で該撮像装置から最も遠いもの、ｘｍｉｎは被写体までの距離で該撮像装置から最も近いものを意味する。どちらの値も、距離算出部３２４にて得られる。この被写体の距離取得の方法は、センサ等、何でも良い。また、ｄ’は目標被写界深度であり、その値は、被写体深度算出部３２３で得られる各被写体位置の被写界深度から算出するある所定の深度とする。この目標被写界深度ｄ’は、各被写体位置の被写界深度の最大値、最小値、平均値などが考えられる。どれを用いるかは事前に決定する必要がある。
【００３３】
ここで、各デフォーカス位置間の最大値が目標被写界深度に満たないと判定された場合には、算出部３２６にて、目標被写界深度を満たすように、被写体位置に設定したデフォーカス位置ｆ１，ｆ２の他に新たなデフォーカス位置、図５（Ｃ）の例ではｆ３，ｆ４を算出して、上記デフォーカス位置設定部３２１にその算出した新たなデフォーカス位置ｆ３，ｆ４を設定し、デフォーカス数設定部３２２にも新たなデフォーカス位置の数を設定する。なお、通常、この新たに設定するデフォーカス位置は、ｆｍｉｎよりも撮像装置に近い、或いはｆｍａｘよりも撮像装置に遠い、或いはその両方に設定される。そして、上記（２）式を満たすようにデフォーカス位置を配置する必要がある。この場合、被写体の数と設定されたデフォーカス位置の数は一致しない。この際のデフォーカス位置及びその数は予め設定しておくか、制御部９を介して設定する等の方法が考えられる。また、この各被写体間は、各被写体位置でもたらされる被写界深度によって深度内と保障され、その合計が目標被写界深度に達することがここでの条件となるが、各被写体位置でもたらされる被写界深度の間にボケが認識されない程度の隙間があっても良い。
【００３４】
このように、上記（２）式によって被写体認識部３１にて認識した被写体位置のみによって目標被写界深度あるいは深度拡大効果をもたらすかを確認することができ、確認できないのであれば新たにデフォーカス位置を設定することで、各被写体位置での回復処理を行なっても深度拡大とならない場合においても、被写界深度拡大効果をもたらすことができる。
【００３５】
また、上記目標被写界深度ｄ’は、当該撮像装置に予め設定された値、或いはユーザが任意に設定する値としても良い。この場合には、制御部９を介して目標深度設定部３２７にて目標被写界深度が設定される。そして、比較部３２５にて、距離算出部３２４で算出した各デフォーカス位置間の最大値と目標深度設定部３２７に設定された目標被写界深度ｄ’とを比較することで、各デフォーカス位置間の最大値が目標被写界深度ｄ’を満たすか否かを確認することとなる。このように目標被写界深度ｄ’が設定されている場合、図５（Ｄ）に示すように、目標被写界深度ｄ’（焦点距離Ｄ１〜焦点距離Ｄ２）を満たすように、且つ、上記（２）式を満たすように、被写体よりも撮像装置に近い或いは遠い位置にデフォーカス位置ｆ３，ｆ４，ｆ５，ｆ６を新たに配置する必要がある。
【００３６】
また、被写体情報を用いずにデフォーカス位置を設定する方法もある。
例えば、目標深度設定部３２７より転送される目標被写界深度ｄ’を所定内の間隔で区切ってデフォーカス位置及びその数を設定する。この所定の値は、予め設定しておくか、制御部９を介して外部Ｉ／Ｆ部８より設定しても良い。この間隔は、広すぎると後に行なうデフォーカス範囲の設定を行なえない。
【００３７】
このように導出したデフォーカス位置及びその数は、フィルタ設計部４へ転送される。この方法では、ＰＳＦを取得するデフォーカス位置を被写体の有無及びその位置に寄らず設定している。従って、この場合、被写体がない画像信号や１つの大きな被写体の写った画像信号などに効果的である。またこの場合、被写体認識部３１、被写体深度算出部３２３、距離算出部３２４、及び比較部３２５は不要となる。
【００３８】
図６は、フィルタ設計部４の構成の一例を示す図である。このフィルタ設計部４は、設定部３にて設定された各デフォーカス位置でのＰＳＦからフィルタを生成する機能を有しており、絞り値検出部４１、算出部４２、類似度算出部４３、閾値設定部４４、比較部４５、抽出部４６、範囲設定部４７、代表ＰＳＦ設定部４８、設定部４９、及びフィルタ生成部４１０から成る。
【００３９】
上記画像撮像部１は、絞り値検出部４１に接続しており、絞り値検出部４１は、算出部４２へ接続している。算出部４２は、上記設定部３から接続され、類似度算出部４３及び抽出部４６へ接続している。上記制御部９は、閾値設定部４４へ接続している。比較部４５は、類似度算出部４３及び閾値設定部４４から接続され、また、抽出部４６へ接続している。範囲設定部４７は、抽出部４６から接続され、代表ＰＳＦ設定部４８は、抽出部４６及び範囲設定部４７から接続されている。範囲設定部４７は、設定部４９へ接続しており、フィルタ生成部４１０は、代表ＰＳＦ設定部４８及び設定部４９から接続されている。フィルタ生成部４１０は、フィルタ処理部５へ接続している。
【００４０】
このような構成のフィルタ設計部４では、絞り値検出部４１が、上記画像撮像部１からの情報から絞り値を算出し、算出部４２にて、その算出された絞り値を用いて、設定部３にて得られた各デフォーカス位置でのＰＳＦを決定する。そして、類似度算出部４３にて、各デフォーカス位置でのＰＳＦの類似度を算出し、比較部４５にて、その算出した各ＰＳＦの類似度と外部Ｉ／Ｆ部８から制御部９を介して閾値設定部４４で定められた閾値とを比較し、この比較結果を基に、抽出部４６にて閾値範囲内のＰＳＦを抽出する。なお、類似度算出部４３にて算出される類似度は、平均二乗誤差や相関係数などによって求められる。平均二乗誤差の場合は値が小さいほど、相関係数の場合は絶対値が大きいほど、２つのＰＳＦの類似度は高い。
【００４１】
次に、範囲設定部４７にて、抽出部４６がＰＳＦを抽出したＰＳＦ類似範囲をデフォーカス範囲として設定する。そして、代表ＰＳＦ設定部４８にて、その設定されたデフォーカス範囲を代表するＰＳＦを、抽出部４６が抽出したＰＳＦの中から一つ設定する。また、設定部４９にて、図７に示すように、これらデフォーカス範囲の合計が上記設定部３にて定められた目標被写界深度境界Ｄ１からＤ２の範囲を満たすよう、各デフォーカス範囲とその数を設定する。そして、フィルタ生成部４１０では、各デフォーカス範囲につき１つの代表ＰＳＦを用いて、各代表ＰＳＦに相当するフィルタを作成し、それらをフィルタ処理部５に転送する。
【００４２】
なおこの場合、例えば図７におけるデフォーカス範囲２とデフォーカス範囲４のように、離れているデフォーカス範囲のＰＳＦの類似度が同等と取れる場合、両デフォーカス範囲の画像信号に同じフィルタを使用しても良い。但しこの場合、両デフォーカス範囲の画像信号に対してそれぞれ同じフィルタをかける必要があり、片方のデフォーカス範囲の画像信号をもう片方の画像信号として用いることはできない。
【００４３】
また、上記設定部３において被写体認識を行ってデフォーカス位置を設定した場合には、ＰＳＦの類似範囲を求める処理等を行なわなくても良い。認識した被写体位置でのＰＳＦを求め、求めたＰＳＦ分だけフィルタを生成する。このようにすることで、処理を単純化することができる。この場合、フィルタ設計部４は、絞り値検出部４１、算出部４２及びフィルタ生成部４１０のみで構成される。
【００４４】
なお、設定部３、フィルタ設計部４、フィルタ処理部５、及び画像取得部６は、独立したハードウェアとして構成した場合を説明したが、制御部９を構成するコンピュータが、上記設定部３、フィルタ設計部４、フィルタ処理部５、及び画像取得部６の機能を実現するソフトウェアのプログラム実行することによって、上記機能を実現することも可能である。
【００４５】
即ち、図８のフローチャートに示すように、まず、画像撮像部１にて取得した１枚の画像信号を前処理部２のフレームメモリより読み込み（ステップＳ１１）、その画像信号より被写体を認識する（ステップＳ１２）。そして、認識した各被写体の位置をデフォーカス位置として設定した後（ステップＳ１３）、全ての被写体についてデフォーカス位置の設定が行なわれたかを判断する（ステップＳ１４）。ここで、未だ全ての被写体に関して行なわれていない場合には、上記ステップＳ１３に戻って次の被写体に関する処理を行い、また、全ての被写体に関して行われた場合には、次のステップＳ１５へと進む。
【００４６】
即ち、全ての被写体についてデフォーカス位置の設定が行なわれたならば、次に、上記（１）式の条件式を用いて、各被写体間にボケが観察されるか否かを判断する（ステップＳ１５）。ここで、上記（１）式の条件式を満たさない場合、つまり、各被写体間にボケが観察される場合には、それらのデフォーカス位置の間に新たなデフォーカス位置を設ける（ステップＳ１６）。ここではデフォーカス位置の補間を行なっている。また、上記（１）式の条件式を満たす場合、つまり、各被写体間にボケが観察されない場合には、このステップＳ１６はスキップされる。そして、全てのデフォーカス位置間について処理を行なったかを確認する（ステップＳ１７）。ここで、未だ全てのデフォーカス位置間について処理を行っていない場合には、上記ステップＳ１５に戻って次のデフォーカス位置間に関する判断処理を行い、また、全てのデフォーカス位置間に関して行われた場合には、次のステップＳ１７へと進む。
【００４７】
即ち、全てのデフォーカス位置間についての確認が行なわれたならば、次に、上記（２）式の条件式を用いて、各デフォーカス位置間の最大値が目標被写界深度を満たすか否かを確認する（ステップＳ１８）。ここで、上記（２）式の条件式を満たさない場合、つまり、各デフォーカス位置間の最大値が目標被写界深度を満たさない場合には、新たなデフォーカス位置を設けた後（ステップＳ１９）、上記ステップＳ１８に戻る。なおこの際、新たに設けるデフォーカス位置は、ｆｍｉｎより撮像装置に近くの値、若しくは、ｆｍａｘより撮像装置に遠い値に設定し、その後ｆｍｉｎ及びｆｍａｘを更新する。ここでの処理は、設定したデフォーカス位置が、目標被写界深度が達成或は被写界深度拡大をもたらすように、デフォーカス位置を新たに設定するものである。
【００４８】
上記ステップＳ１８にて上記（２）式の条件式が満たされた場合、つまり、各デフォーカス位置間の最大値が目標被写界深度を満たす場合には、目標被写界深度が達成或いは被写界深度拡大がもたらされたとして、次のステップＳ２０に進む。即ち、上記のように設定した複数のデフォーカス位置でＰＳＦを取得し（ステップＳ２０）、各ＰＳＦの類似範囲（デフォーカス範囲）を設定して代表ＰＳＦを決定する（ステップＳ２１）。次に、その設定した代表ＰＳＦより、複数のフィルタを生成する（ステップＳ２２）。
【００４９】
そして、それら生成した複数のフィルタを、前処理部２のフレームメモリに保持されている１枚の画像信号にかける（ステップＳ２３）。その後、そのフィルタ処理した後の一つの画像信号における各画素のコントラストを閾値αと比較する（ステップＳ２４）。ここで、閾値よりも大きかった場合には、過補正と考えられ、フィルタ処理前の画素値を用いることとする（ステップＳ２５）。一方、コントラストが閾値以下ならば、フィルタ処理後の画素値を用いる。そして、全ての画素について処理が終了したかを確認し（ステップＳ２６）、終了していないのならば、上記ステップＳ２４に戻る。
【００５０】
こうして、全ての画素について処理が終了したと確認されたならば（ステップＳ２６）、今度は、フィルタ処理した後の全ての画像信号に対して処理を行なったか否かを確認する（ステップＳ２７）。ここで、未だ全ての画像信号に対する処理が終了していない場合は、上記ステップＳ２４まで戻って、未処理の画像信号に対する処理を実行する。
【００５１】
而して、全ての画像信号に対する処理が終了したならば、即ち、それぞれ異なる深度をボケ回復した複数枚の画像信号が取得されたならば、次に、設定したデフォーカス位置の数によって表示制御部７にフレームレートを制御させる（ステップＳ２８）。なお、上記表示制御部７を設ける代わりに、制御部９を構成するコンピュータがフレームレート制御を行うようにしても良い。そして、複数の画像信号と制御したフレームレートを用いて、表示部１０にそれら画像信号を切り換え表示して（ステップＳ２９）、処理を終了とする。
【００５２】
なお、上記ステップＳ２３において全てのフィルタについてのフィルタ処理を行って、その後のステップＳ２４乃至ステップＳ２６の処理をフィルタ処理後の画像信号それぞれについて行うものとしたが、上記ステップＳ２３乃至ステップＳ２６の処理を一つのフィルタについて順次行うものとしても良いことは勿論である。
【００５３】
以上一実施形態に基づいて本発明を説明したが、本発明は上述した一実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。
【００５４】
例えば、上記一実施形態では、撮像装置として、デジタルカメラにおけるライブビュー表示や内視鏡診療装置における観察画像表示等、画像撮像部１で取得した画像を直ちに表示する装置を例に説明したが、取得した複数のデフォーカス位置でのＰＳＦから設計したフィルタを取得した１枚の画像信号にかけて取得した複数枚のフィルタ処理後の画像信号を一旦記録しておき、当該装置で後で再生表示するようにしても良いことは言うまでもない。
【００５５】
さらには、撮像装置は取得した１枚の画像信号から複数枚のフィルタ処理後の画像信号を取得して記録媒体に記録するまでを行い、別の表示装置にてその記録媒体に記録された複数枚の画像信号のフレームレートを制御して切り換え表示することによっても、複数枚の画像信号に対して、位置合わせや合成等の処理を行うことなく被写界深度の深い画像信号を得ることができるので、位置合わせや合成等の処理時間を抑え、且つ、アーティファクトを発生させずに被写界深度拡大の効果をもたらすことができることは勿論である。
【００５６】
さらにまた、別の撮像装置で取得した１枚の画像信号を読み込んで、複数枚のフィルタ処理後の画像信号を取得して記録媒体に記録する装置や、再生までも行う装置としても構わない。
【００５７】
（付記）
前記の具体的実施形態から、以下のような構成の発明を抽出することができる。
【００５８】
（１） 画像信号を取得する撮像手段と、
デフォーカス位置を複数設定する設定手段と、
上記設定手段で設定した複数のデフォーカス位置における点像広がり関数（ＰＳＦ）に基づいて複数のフィルタを設計するフィルタ設計手段と、
上記撮像手段で取得した１枚の画像信号に対して、上記フィルタ設計手段で設計した各デフォーカス位置におけるフィルタを用いてフィルタ処理を行なうフィルタ処理手段と、
上記フィルタ処理手段による各デフォーカス位置のフィルタ処理後の画像信号を取得する取得手段と、
前記取得手段により取得された複数の画像信号を連続的に表示するよう制御する表示制御手段と、
を備えたことを特徴とする撮像装置。
【００５９】
（実施形態との対応）
この（１）に記載の撮像装置における上記撮像手段は画像撮像部１が、上記設定手段は設定部３が、上記フィルタ設計手段はフィルタ設計部４が、上記フィルタ処理手段はフィルタ処理部５が、上記取得手段は画像取得部６が、上記表示制御手段は表示制御部７が、それぞれ該当する。
この発明の好ましい適用例は、設定部３にてＰＳＦを得る複数のデフォーカス位置を設定し、フィルタ設計部４にて複数のデフォーカス位置におけるＰＳＦに基づいてフィルタを設計し、フィルタ処理部５にて設計したフィルタを１枚の画像信号にかけ、画像取得部６にてフィルタ処理後の複数枚の画像信号を取得する撮像装置である。
【００６０】
（作用効果）
この（１）に記載の撮像装置は、取得した複数のデフォーカス位置でのＰＳＦから設計したフィルタを１枚の画像信号にかけ、複数のフィルタ処理後の画像信号を取得する。
従って、この（１）に記載の撮像装置によれば、切り換え表示することで位置合わせや合成等の処理時間を抑え、且つ、アーティファクトを発生させずに被写界深度拡大の効果をもたらし得る、それぞれ異なる深度をボケ回復した複数枚の画像信号が１回の撮像で得られる。
【００６１】
（２） 上記取得手段で取得された複数枚のフィルタ処理後の画像信号を表示する表示手段をさらに備えたことを特徴とする（１）に記載の撮像装置。
【００６２】
（実施形態との対応）
この（２）に記載の撮像装置における上記表示手段は表示部１０が該当する。
この発明の好ましい適用例は、表示部１０にて画像取得部６で得られた異なるデフォーカス位置でのＰＳＦを用いたフィルタ処理を行なった複数枚の画像信号を表示させる撮像装置である。
【００６３】
（作用効果）
この（２）に記載の撮像装置は、取得した複数のデフォーカス位置でのＰＳＦから設計したフィルタをかけた複数の画像信号を表示する。
従って、この（２）に記載の撮像装置によれば、それぞれ異なる深度をボケ回復した複数枚の画像を並べるため、被写界深度の深い画像が得られる。
【００６４】
（３） 上記設定手段は、
上記撮像手段で取得した画像信号の被写体を認識する被写体認識手段と、
上記被写体認識手段での認識結果に基づいてＰＳＦを取得するデフォーカス位置とその数とを設定するデフォーカス設定手段と、
を有することを特徴とする（１）に記載の撮像装置。
【００６５】
（実施形態との対応）
この（３）に記載の撮像装置における上記被写体認識手段は被写体認識部３１が、上記デフォーカス設定手段はデフォーカス設定部３２が、それぞれ該当する。
この発明の好ましい適用例は、被写体認識部３１で認識した被写体位置を用いてデフォーカス位置を設定し、デフォーカス設定部３２にてＰＳＦを取得するデフォーカス位置やその数を設定する撮像装置である。
【００６６】
（作用効果）
この（３）に記載の撮像装置は、被写体を認識して、ＰＳＦを取得するデフォーカス位置や数の設定を行なう。
従って、この（３）に記載の撮像装置によれば、認識した被写体を用いてデフォーカス位置を設定するため、画像の各被写体に焦点の合った画像が得られる。
【００６７】
（４） 上記デフォーカス設定手段は、
上記被写体認識手段で認識された被写体の位置に上記デフォーカス位置を設定するデフォーカス位置設定手段と、
上記被写体認識手段で認識された被写体の数を用いて上記デフォーカス位置の数を設定するデフォーカス数設定手段と、
を有することを特徴とする（３）に記載の撮像装置。
【００６８】
（実施形態との対応）
この（４）に記載の撮像装置における上記デフォーカス位置設定手段はデフォーカス位置設定部３２１が、上記デフォーカス数設定手段はデフォーカス数設定部３２２が、それぞれ該当する。
この発明の好ましい適用例は、デフォーカス位置設定部３２１にて、被写体認識部３１において認識した被写体の位置にデフォーカス位置を設定し、デフォーカス数設定部３２２にて、設定したデフォーカス位置の数を被写体認識部３１において認識した被写体の数に設定する撮像装置である。
【００６９】
（作用効果）
この（４）に記載の撮像装置は、認識した被写体の位置にデフォーカスの位置を設定し、被写体の数を用いてデフォーカス位置の数を設定する。
従って、この（４）に記載の撮像装置によれば、認識した被写体に合わせてデフォーカス位置及びその数を設定するため、画像の各被写体に焦点の合った画像が得られる。
【００７０】
（５） 上記デフォーカス設定手段は、
上記被写体認識手段で認識された各被写体位置における被写界深度を算出する被写体位置深度算出手段と、
目標の被写界深度を設定する目標深度設定手段と、
をさらに有し、
上記デフォーカス位置設定手段によって設定したデフォーカス位置間の最大値が上記目標深度設定手段によって設定された目標被写界深度を満たすように、少なくとも上記被写体認識手段で認識された被写体の位置を含む複数のデフォーカス位置を設定する、
ことを特徴とする（４）に記載の撮像装置。
【００７１】
（実施形態との対応）
この（５）に記載の撮像装置における上記被写体位置深度算出手段は被写体深度算出部３２３が、上記目標深度設定手段は目標深度設定部３２７が、それぞれ該当する。
この発明の好ましい適用例は、被写体深度算出部３２３にて被写体認識部３１において認識された被写体の位置での被写界深度を求め、その目標深度設定部３２７にて設定されている目標深度に対して、設定したデフォーカス位置間の最大値が満たすように、少なくとも被写体認識部３１で認識された被写体の位置を含む複数のデフォーカス位置を設定する撮像装置である。
【００７２】
（作用効果）
この（５）に記載の撮像装置は、被写体認識部３１で認識された被写体の位置のデフォーカス位置に加えて、それら設定したデフォーカス位置間の最大値が目標深度を満たすように、さらに新たなデフォーカス位置を設定する。
従って、この（５）に記載の撮像装置によれば、被写体の位置の他に新たにデフォーカス位置を所定の値に設定しているため、被写体の位置だけでは深度拡大しない場合においても被写界深度の深い画像を得ることができる。また被写体の深度においてボケ回復しつつ、目標深度を満たすような画像を得ることができる。
【００７３】
（６） 上記フィルタ設計手段は、
上記撮像手段の光学系の絞り値を検出する絞り値検出手段と、
上記設定手段で設定した各デフォーカス位置のＰＳＦを算出する算出手段と、
上記算出手段で算出した各デフォーカス位置でのＰＳＦを用いて類似度を算出する類似度算出手段と、
上記類似度算出手段で算出した類似度と所定の閾値とを比較する比較手段と、
上記比較手段の結果を用いて、上記設定手段で設定した複数のデフォーカス位置でのＰＳＦの中から複数のＰＳＦを抽出する抽出手段と、
上記抽出手段の結果を用いてデフォーカス範囲を設定する範囲設定手段と、
上記範囲設定手段及び上記抽出手段の結果を用いて上記デフォーカス範囲を代表するＰＳＦを設定する代表ＰＳＦ設定手段と、
目標の被写界深度と、上記範囲設定手段によって設定されたデフォーカス範囲とを用いてデフォーカス位置及び上記代表ＰＳＦの個数を設定する設定手段と、
を有することを特徴とする（１）に記載の撮像装置。
【００７４】
（実施形態との対応）
この（６）に記載の撮像装置における上記絞り値検出手段は絞り値検出部４１が、上記算出手段は算出部４２が、上記類似度算出手段は類似度算出部４３が、上記比較手段は比較部４５が、上記抽出手段は抽出部４６が、上記範囲設定手段は範囲設定部４７が、上記代表ＰＳＦ設定手段は代表ＰＳＦ設定部４８が、上記設定手段は設定部４９が、それぞれ該当する。
この発明の好ましい適用例は、絞り値検出部４１にて画像撮像部１で設定された絞り値を算出し、算出部４２にて絞り値を用いて各デフォーカス位置でのＰＳＦを算出し、類似度算出部４３にて各デフォーカス位置でのＰＳＦを用いて類似度を算出し、比較部４５にて閾値設定部４４にて設定された閾値と算出した類似度を比較し、抽出部４６にて比較結果を用いて算出部４２で算出したＰＳＦを抽出し、範囲設定部４７にて抽出結果を用いてデフォーカス範囲を設定し、代表ＰＳＦ設定部４８にて設定した範囲と抽出結果を用いてデフォーカス範囲を代表するＰＳＦを設定し、設定部４９にて目標深度設定部３２７にて設定する目標の被写界深度と設定したデフォーカス範囲を用いてデフォーカス範囲とその数を設定し、フィルタ生成部４１０にて設定した各代表ＰＳＦを用いてフィルタを生成する撮像装置である。
【００７５】
（作用効果）
この（６）に記載の撮像装置は、各ＰＳＦが類似する範囲の代表するＰＳＦを用いて複数のフィルタを生成する。
従って、この（６）に記載の撮像装置によれば、ＰＳＦが類似する範囲では同じＰＳＦを用いてフィルタを生成することから、計算時間を抑え処理を高速化出来る。
【００７６】
（７） 上記フィルタ処理手段は、
上記フィルタ処理後の画像信号の各画素におけるコントラストを算出するコントラスト算出手段と、
上記各画素のコントラストを用いてフィルタ処理前の値を用いるか、処理後の値を用いるかを判断する判断手段と、
を有し、
上記取得手段は、上記判断手段の判断結果に従って画像信号を取得する、
ことを特徴とする（１）に記載の撮像装置。
【００７７】
（実施形態との対応）
この（７）に記載の撮像装置における上記コントラスト算出手段はコントラスト算出部５２が、上記判断手段は判断部５３が、それぞれ該当する。
この発明の好ましい適用例は、フィルタ処理実行部５１にて生成したフィルタを施し、コントラスト算出部５２にてフィルタ処理後の各画素におけるコントラストを算出し、判断部５３にて算出したコントラストに応じてフィルタ処理前の画素値を用いるかフィルタ処理後の画素値を用いるかを判断し、画像取得部６にてその判断結果に従って画像信号を取得する撮像装置である。
【００７８】
（作用効果）
この（７）に記載の撮像装置は、フィルタ処理後の各画素におけるコントラストに応じて、フィルタ処理前の画素値を用いるか処理後の画素値を用いるかを決定する。
従って、この（７）に記載の撮像装置によれば、高いコントラストを持つ画素にフィルタ処理を実行しないことから、フィルタ処理による過剰補正を防ぐことができ、高品位な画像が得られる。
【００７９】
（８） 上記表示制御手段は、表示フレームレートを設定するフレームレート設定手段を有し、
上記フレームレートは、上記デフォーカス位置の数に応じて制御される、
ことを特徴とする（２）に記載の撮像装置。
【００８０】
（実施形態との対応）
この（８）に記載の撮像装置における上記フレームレート設定手段は表示制御部７が該当する。
この発明の好ましい適用例は、表示制御部７にてデフォーカス位置の数に応じて表示フレームレートを制御し、表示部１０にて制御したフレームレートを用いて画像信号を表示する撮像装置である。
【００８１】
（作用効果）
この（８）に記載の撮像装置は、デフォーカス位置の数に応じて表示フレームレートを制御し、画像を表示させる。
従って、この（８）に記載の撮像装置によれば、表示フレームレートをデフォーカス位置の数に応じて制御することから、高品位な画像が得られる。
【００８２】
（９） 画像信号を取得し、
デフォーカス位置を複数設定し、
上記設定した複数のデフォーカス位置における点像広がり関数（ＰＳＦ）に基づいて複数のフィルタを設計し、
上記取得した１枚の画像信号に対して、上記設計した各デフォーカス位置におけるフィルタを用いてフィルタ処理を行ない、
上記各デフォーカス位置のフィルタ処理後の画像信号を取得し、
取得された複数の画像信号を連続的に表示するよう制御する、
ことを特徴とする撮像方法。
【００８３】
（実施形態との対応）
この（９）に記載の発明の好ましい適用例は、設定部３にてＰＳＦを得る複数のデフォーカス位置を設定し、フィルタ設計部４にて複数のデフォーカス位置におけるＰＳＦに基づいてフィルタを設計し、フィルタ処理部５にて設計したフィルタを１枚の画像信号にかけ、画像取得部６にてフィルタ処理後の複数枚の画像信号を取得する撮像方法である。
【００８４】
（作用効果）
この（９）に記載の撮像方法は、取得した複数のデフォーカス位置でのＰＳＦから設計したフィルタを１枚の画像信号にかけ、複数のフィルタ処理後の画像信号を取得する。
従って、この（９）に記載の撮像方法によれば、切り換え表示することで位置合わせや合成等の処理時間を抑え、且つ、アーティファクトを発生させずに被写界深度拡大の効果をもたらし得る、それぞれ異なる深度をボケ回復した複数枚の画像信号が１回の撮像で得られる。
【００８５】
（１０） 画像信号を撮像する撮像装置のコンピュータを制御するためのプログラムであって、
上記コンピュータを、
画像撮像部に画像信号を取得させる撮像手段、
デフォーカス位置を複数設定する設定手段、
上記設定した複数のデフォーカス位置における点像広がり関数（ＰＳＦ）に基づいて複数のフィルタを設計するフィルタ設計手段、
上記画像撮像部で取得した１枚の画像信号に対して、上記設計した各デフォーカス位置におけるフィルタを用いてフィルタ処理を行なうフィルタ処理手段、
上記各デフォーカス位置のフィルタ処理後の画像信号を取得する取得手段、
取得された複数の画像信号を連続的に表示するよう制御する表示制御手段、
として機能させるためのプログラム。
【００８６】
（実施形態との対応）
この（１０）に記載の発明の好ましい適用例は、コンピュータに、ＰＳＦを得る複数のデフォーカス位置を設定させ、それら複数のデフォーカス位置におけるＰＳＦに基づいてフィルタを設計させ、その設計したフィルタを１枚の画像信号にかけさせ、フィルタ処理後の複数枚の画像信号を取得させるプログラムである。
【００８７】
（作用効果）
この（１０）に記載のプログラムは、コンピュータに、取得した複数のデフォーカス位置でのＰＳＦから設計したフィルタを１枚の画像信号にかけさせ、複数のフィルタ処理後の画像信号を取得させる。
従って、この（１０）に記載のプログラムによれば、切り換え表示することで位置合わせや合成等の処理時間を抑え、且つ、アーティファクトを発生させずに被写界深度拡大の効果をもたらし得る、それぞれ異なる深度をボケ回復した複数枚の画像信号が１回の撮像で得られる。
【００８８】
（１１） １枚の画像信号を読み込む読み込み手段と、
デフォーカス位置を複数設定する設定手段と、
上記設定手段で設定した複数のデフォーカス位置における点像広がり関数（ＰＳＦ）に基づいて複数のフィルタを設計するフィルタ設計手段と、
上記読み込み手段で読み込んだ１枚の画像信号に対して、上記フィルタ設計手段で設計した各デフォーカス位置におけるフィルタを用いてフィルタ処理を行なうフィルタ処理手段と、
上記フィルタ処理手段による各デフォーカス位置のフィルタ処理後の画像信号を取得する取得手段と、
を備えたことを特徴とする画像処理装置。
【００８９】
（実施形態との対応）
この（１１）に記載の画像処理装置における上記設定手段は設定部３が、上記フィルタ設計手段はフィルタ設計部４が、上記フィルタ処理手段はフィルタ処理部５が、上記取得手段は画像取得部６が、それぞれ該当する。
この発明の好ましい適用例は、設定部３にてＰＳＦを得る複数のデフォーカス位置を設定し、フィルタ設計部４にて複数のデフォーカス位置におけるＰＳＦに基づいてフィルタを設計し、フィルタ処理部５にて設計したフィルタを１枚の画像信号にかけ、画像取得部６にてフィルタ処理後の複数枚の画像信号を取得する画像処理装置である。
【００９０】
（作用効果）
この（１１）に記載の画像処理装置は、取得した複数のデフォーカス位置でのＰＳＦから設計したフィルタを１枚の画像信号にかけ、複数のフィルタ処理後の画像信号を取得する。
従って、この（１１）に記載の画像処理装置によれば、切り換え表示することで位置合わせや合成等の処理時間を抑え、且つ、アーティファクトを発生させずに被写界深度拡大の効果をもたらし得る、それぞれ異なる深度をボケ回復した複数枚の画像信号が１回の撮像で得られる。
【００９１】
（１２） １枚の画像信号を読み込み、
デフォーカス位置を複数設定し、
上記設定した複数のデフォーカス位置における点像広がり関数（ＰＳＦ）に基づいて複数のフィルタを設計し、
上記読み込んだ１枚の画像信号に対して、上記設計した各デフォーカス位置におけるフィルタを用いてフィルタ処理を行ない、
上記各デフォーカス位置のフィルタ処理後の画像信号を取得する、
ことを特徴とする画像処理方法。
【００９２】
（実施形態との対応）
この（１２）に記載の発明の好ましい適用例は、設定部３にてＰＳＦを得る複数のデフォーカス位置を設定し、フィルタ設計部４にて複数のデフォーカス位置におけるＰＳＦに基づいてフィルタを設計し、フィルタ処理部５にて設計したフィルタを１枚の画像信号にかけ、画像取得部６にてフィルタ処理後の複数枚の画像信号を取得する画像処理方法である。
【００９３】
（作用効果）
この（１２）に記載の画像処理方法は、取得した複数のデフォーカス位置でのＰＳＦから設計したフィルタを１枚の画像信号にかけ、複数のフィルタ処理後の画像信号を取得する。
従って、この（１２）に記載の画像処理方法によれば、切り換え表示することで位置合わせや合成等の処理時間を抑え、且つ、アーティファクトを発生させずに被写界深度拡大の効果をもたらし得る、それぞれ異なる深度をボケ回復した複数枚の画像信号が１回の撮像で得られる。
【００９４】
（１３） 画像信号を処理する画像処理装置のコンピュータを制御するためのプログラムであって、
上記コンピュータを、
１枚の画像信号を読み込む読み込み手段、
デフォーカス位置を複数設定する設定手段、
上記設定した複数のデフォーカス位置における点像広がり関数（ＰＳＦ）に基づいて複数のフィルタを設計するフィルタ設計手段、
上記読み込んだ１枚の画像信号に対して、上記設計した各デフォーカス位置におけるフィルタを用いてフィルタ処理を行なうフィルタ処理手段、
上記各デフォーカス位置のフィルタ処理後の画像信号を取得する取得手段、
として機能させるためのプログラム。
【００９５】
（実施形態との対応）
この（１３）に記載の発明の好ましい適用例は、コンピュータに、ＰＳＦを得る複数のデフォーカス位置を設定させ、それら複数のデフォーカス位置におけるＰＳＦに基づいてフィルタを設計させ、その設計したフィルタを１枚の画像信号にかけさせ、フィルタ処理後の複数枚の画像信号を取得させるプログラムである。
【００９６】
（作用効果）
この（１３）に記載のプログラムは、コンピュータに、取得した複数のデフォーカス位置でのＰＳＦから設計したフィルタを１枚の画像信号にかけさせ、複数のフィルタ処理後の画像信号を取得させる。
従って、この（１３）に記載のプログラムによれば、切り換え表示することで位置合わせや合成等の処理時間を抑え、且つ、アーティファクトを発生させずに被写界深度拡大の効果をもたらし得る、それぞれ異なる深度をボケ回復した複数枚の画像信号が１回の撮像で得られる。
【符号の説明】
【００９７】
１…画像撮像部、 １１…レンズ系、 １２…撮像系、 ２…前処理部、 ３…設定部、 ３１…被写体認識部、 ３２…デフォーカス設定部、 ３２１…デフォーカス位置設定部、 ３２２…デフォーカス数設定部、 ３２３…被写体深度算出部、 ３２４…距離算出部、 ３２５…比較部、 ３２６…算出部、 ３２７…目標深度設定部、 ４…フィルタ設計部、 ４１…絞り値検出部、 ４２…算出部、 ４３…類似度算出部、 ４４…閾値設定部、 ４５…比較部、 ４６…抽出部、 ４７…範囲設定部、 ４８…ＰＳＦ設定部、 ４９…設定部、 ４１０…フィルタ生成部、 ５…フィルタ処理部、 ５１…フィルタ処理実行部、 ５２…コントラスト算出部、 ５３…判断部、 ６…画像取得部、 ７…表示制御部、 、 ８…外部Ｉ／Ｆ部、 ９…制御部、 １０…表示部。
【技術分野】
【０００１】
本発明は、画像信号を取得する撮像装置及び撮像方法、並びに、コンピュータにそのような撮像装置の手順を実行させるプログラムに関する。
【背景技術】
【０００２】
従来、近距離から遠距離までピントの合った被写界深度の深い画像信号を得るために、例えば、異なる焦点距離で撮像した画像信号を複数枚合成するといった被写界深度拡大処理が行なわれている。しかし、この被写界深度拡大処理では、複数枚の画像信号の位置合わせ処理や合成処理等での処理時間がかかっていた。
【０００３】
そこで、例えば、特許文献１においては、Ｒの画像情報をＦＦＴ演算部の実数部、Ｂの画像情報をＦＦＴ演算部の虚数部、Ｂの画像情報をＦＦＴ演算部の実数部、その虚数部には０を入力して演算を行なうことで、処理時間を短縮化を図っている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２−６４７４１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記特許文献１に開示されている手法を採ったとしても、処理時間の短縮化は不十分であるため、動画等のリアルタイム性を要するものには適さないという問題があった。
【０００６】
また、複雑な手ブレが発生している場合や被写体が動いている場合等においては、正しい位置合わせ処理が行なわれず、アーティファクトが発生するという問題があった。
【０００７】
本発明は、上記の点に鑑みてなされたもので、位置合わせや合成等の処理時間を抑えることができ、且つ、アーティファクトを発生させずに、被写界深度を拡大できるようにすることを目的とする。
【課題を解決するための手段】
【０００８】
本発明の撮像装置の一態様は、
画像信号を取得する撮像手段と、
デフォーカス位置を複数設定する設定手段と、
上記設定手段で設定した複数のデフォーカス位置における点像広がり関数（ＰＳＦ）に基づいて複数のフィルタを設計するフィルタ設計手段と、
上記撮像手段で取得した１枚の画像信号に対して、上記フィルタ設計手段で設計した各デフォーカス位置におけるフィルタを用いてフィルタ処理を行なうフィルタ処理手段と、
上記フィルタ処理手段による各デフォーカス位置のフィルタ処理後の画像信号を取得する取得手段と、
前記取得手段により取得された複数の画像信号を連続的に表示するよう制御する表示制御手段と、
を備えたことを特徴とする。
【０００９】
また、本発明の撮像方法の一態様は、
画像信号を取得し、
デフォーカス位置を複数設定し、
上記設定した複数のデフォーカス位置における点像広がり関数（ＰＳＦ）に基づいて複数のフィルタを設計し、
上記取得した１枚の画像信号に対して、上記設計した各デフォーカス位置におけるフィルタを用いてフィルタ処理を行ない、
上記各デフォーカス位置のフィルタ処理後の画像信号を取得し、
取得された複数の画像信号を連続的に表示するよう制御する、
ことを特徴とする。
【００１０】
また、本発明のプログラムの一態様は、画像信号を取得する撮像装置のコンピュータを制御するためのプログラムであって、
上記コンピュータを、
画像撮像部に画像信号を取得させる撮像手段、
デフォーカス位置を複数設定する設定手段、
上記設定した複数のデフォーカス位置における点像広がり関数（ＰＳＦ）に基づいて複数のフィルタを設計するフィルタ設計手段、
上記画像撮像部で取得した１枚の画像信号に対して、上記設計した各デフォーカス位置におけるフィルタを用いてフィルタ処理を行なうフィルタ処理手段、
上記各デフォーカス位置のフィルタ処理後の画像信号を取得する取得手段、
取得された複数の画像信号を連続的に表示するよう制御する表示制御手段、
として機能させることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、切り換え表示することで位置合わせや合成等の処理時間を抑え、且つ、アーティファクトを発生させずに被写界深度拡大の効果をもたらし得る、それぞれ異なる深度をボケ回復した複数枚の画像信号が１回の撮像で得られる。
【図面の簡単な説明】
【００１２】
【図１】図１は、本発明の一実施形態に係る撮像装置の構成を示す図である。
【図２】図２は、フィルタ処理とコントラストの関係を説明するための図である。
【図３】図３は、取得した複数枚の画像信号の表示順序を説明するための図である。
【図４】図４は、図１中の設定部の構成を示す図である。
【図５】図５は、被写体の位置に基づくデフォーカス位置の設定方法を説明するための図である。
【図６】図６は、図１中のフィルタ設計部の構成を示す図である。
【図７】図７は、フィルタ設計手順を説明するための図である。
【図８】図８は、本発明の一実施形態に係るプログラムのフローチャートを示す図である。
【発明を実施するための形態】
【００１３】
以下、本発明を実施するための形態を図面を参照して説明する。
図１に示すように、本発明の一実施形態に係る撮像装置は、画像処理を行う画像処理システム１００と画像を表示する表示部１０を備えている。
画像システム１００は、画像撮像部１と、Ａ／Ｄ変換等を行う前処理部２と、複数のデフォーカス位置を設定する設定部３と、複数のフィルタを設計するフィルタ設計部４と、フィルタ設計部にて設計された封数のフィルタの処理を行うフィルタ処理部５と、フィルタ処理後の画像信号を得る画像取得部６と、複数画像の表示の制御を行う表示制御部７と、外部Ｉ／Ｆ部８と、及び制御部９を備えている。
上記画像撮像部１は、絞りを含むレンズ系１１と、このレンズ系１１が結像する光学的な被写体像を光電変換して電気的な画像信号を生成する撮像系１２を含む。
上記フィルタ処理部５は、フィルタ処理実行部５１、コントラスト算出部５２、及び判断部５３を含む。
【００１４】
画像撮像部１の撮像系１２は、前処理部２へ接続している。前処理部２は、設定部３、フィルタ処理部５内のフィルタ処理実行部５１、及び画像取得部６へ接続している。設定部３は、フィルタ設計部４へ接続している。フィルタ設計部４は、画像撮像部１から接続されており、フィルタ処理部５内のフィルタ処理実行部５１へ接続している。フィルタ処理実行部５１は、同じくフィルタ処理部５内のコントラスト算出部５２及び画像取得部６へ接続している。コントラスト算出部５２は、同じくフィルタ処理部５内の判断部５３へ接続している。判断部５３は、画像取得部６へ接続している。画像取得部６は、表示制御部７に接続している。表示部１０は、表示制御部７に接続されている。前処理部２、設定部３、フィルタ設計部４、表示制御部７及び外部Ｉ／Ｆ部８は、制御部９に双方向へ接続されている。
【００１５】
このような撮像装置では、レンズ系１１は、撮像系１２に像を結像させる。撮像系１２は、画像信号を取得し、前処理部２に転送する。前処理部２は、取得された画像信号をＡ／Ｄ変換等の処理をした後、設定部３に転送する。この前処理部２は、図示はしていないが、変換した画像信号を保持するフレームメモリを有している。
【００１６】
設定部３は、上記前処理部２のフレームメモリに保持されている変換された画像信号から、ボケ量を表す点像広がり関数（ＰＳＦ）を取得する複数のデフォーカス位置とその数を設定する。フィルタ設計部４は、上記画像撮像部１より得られる絞り値と、設定部３にて取得した複数のデフォーカス位置とに基づいて各デフォーカス位置でのＰＳＦを算出し、複数のフィルタを設計する。フィルタ設計部４はこれら複数のフィルタをフィルタ処理部５内のフィルタ処理実行部５１に転送する。
【００１７】
フィルタ処理部５内のフィルタ処理実行部５１は、上記前処理部２のフレームメモリに保持されている変換された画像信号に対して、上記設計された複数のフィルタのそれぞれをかけ、複数枚のフィルタ処理後の画像信号を得る。フィルタ処理実行部５１は、結果的にフィルタの数だけフィルタ処理後の画像信号を得る。フィルタ処理実行部５１は、フィルタ処理後の複数枚の画像信号をコントラスト算出部５２に転送する。コントラスト算出部５２は、フィルタ処理実行部５１で得られたフィルタ処理後の各画像信号のコントラストを算出し、判断部５３に転送する。判断部５３は、コントラスト算出部５２で算出されたコントラストが所定以上であるか否かを画素ごとに判断する。
【００１８】
判断部５３でコントラストが所定値以上であると判断された画素は、フィルタ処理前の画素値を用いる。即ち、図２において、左側のデフォーカス位置から取得したＰＳＦより生成したフィルタは、同デフォーカス位置のＰＳＦに対しては適正にボケ回復することができるが、中央の最もボケ径が小さいデフォーカス位置から得られたＰＳＦに対しては過剰補正となり、右側のボケ径が左側のものよりも大きいデフォーカス位置から得られたＰＳＦに対しては補正不足となる。表示部１０にて画像信号を表示する際、その中に過剰補正されたものが混ざると、過剰補正部分が目立ち、表示画像の品位を著しく損ねてしまう。従って、過剰補正とされた画素については、フィルタ処理後の画素値は用いずに、フィルタ処理前の画素値を用いることが望ましい。一方、補正不足の場合には、適正に補正されている画像信号の方が補正不足の画像信号よりも目を引き、表示画像の品位には影響しないため、そのまま用いて良い。過剰補正の画素は適正や補正不足の画素に比べてコントラストが高くなる傾向があるため、判断部５３にてコントラストが所定以上の値を持つか否かを判断し、その判断結果に従って、画像取得部６は、コントラストが所定以上の値を持つ場合は前処理部２のフレームメモリに保持されているフィルタ処理前の画素値を取得し、コントラストが所定以下の値を持つ場合はフィルタ処理実行部５１からのフィルタ処理後の画素値を用いるようにして、複数枚の画像信号を取得し、図示しない内部メモリに保存する。
【００１９】
表示制御部７は、フレームレートをそのデフォーカス位置の数に応じて制御する。表示制御部７は、得られた複数枚の画像信号が連続的に表示されるよう制御する。表示制御部７は、静止画像の場合、得られた複数枚の画像信号を動画像のように一定のフレームレートで連続的に表示するよう制御する。一方、動画像の場合、元の動画像の１フレームに対して静止画と同様の処理を施すため、静止画像に比べて更に高いフレームレートが必要となる。表示制御部７は、設定部３から転送されたデフォーカス位置の数を基に表示部１０での表示フレームレートを制御する。一般的に、表示制御部７は、焦点距離の数に比例してフレームレートは高くなるようにフレームレートを設定する。
フレームレートを高くすることによって、異なる深度のボケ回復を行った複数の画像信号が深度全体でボケ回復された１枚の画像として見ることができる。
【００２０】
なお、表示部１０での複数枚の画像信号の切り換え表示方法は、動画像の場合、画像信号の取得を行ないながら表示するため、図２の（１）で示されているように、取得順（時系列）に沿って繰り返し表示させる、もしくは、図２の（２）のように、最新の画像信号まで順方向の取得順に表示後、時間を遡って、つまり逆方向の取得順に表示させる、などの順序がある。静止画の場合、上記の方法以外にも、取得後に取得順とは異なるランダムの並び順で表示させても良い。
【００２１】
このように、取得した複数のデフォーカス位置でのＰＳＦから設計したフィルタを、取得した１枚の画像信号にかけ、複数枚のフィルタ処理後の画像信号を取得することで、それぞれ異なる深度をボケ回復した複数枚の画像信号が得られる。そして、それら複数枚の画像信号を高速に切り換え表示すると、人間の目には、近距離から遠距離までピントの合った被写界深度の深い画像信号として認識される。従って、複数枚の画像信号に対して、位置合わせや合成等の処理を行うことなく被写界深度の深い画像信号を得ることができるので、位置合わせや合成等の処理時間を抑え、且つ、アーティファクトを発生させずに被写界深度拡大の効果をもたらすことができる。しかも、取得自体は１回のみで良い。
【００２２】
以下、図１の撮像装置における各部の詳細を説明する。
図４は、設定部３の構成の一例を示す図である。この設定部３は、ＰＳＦを取得する複数のデフォーカス位置を決定する機能を有しており、被写体認識部３１及びデフォーカス設定部３２から成る。また、デフォーカス設定部３２は、デフォーカス位置設定部３２１、デフォーカス数設定部３２２、被写体深度算出部３２３、距離算出部３２４、比較部３２５、算出部３２６、及び目標深度設定部３２７から成る。
【００２３】
上記前処理部２は、被写体認識部３１へ接続している。被写体認識部３１は、デフォーカス位置設定部３２１、デフォーカス数設定部３２２、被写体深度算出部３２３、及び距離算出部３２４と接続している。被写体深度算出部３２３及び距離算出部３２４は、比較部３２５と接続し、比較部３２５は、算出部３２６と接続している。また、算出部３２６は、デフォーカス位置設定部３２１、デフォーカス数設定部３２２、目標深度設定部３２７、及び上記制御部９に双方向へ接続している。目標深度設定部３２７は、比較部３２５及び上記制御部９に双方向へ接続している。そして、デフォーカス位置設定部３２１及びデフォーカス数設定部３２２は、上記フィルタ設計部４に双方向へ接続している。
【００２４】
このような設定部３では、まず、被写体認識部３１にて、上記前処理部２のフレームメモリに保持されている画像信号から被写体が認識される。ここでの被写体認識は、公知の顔認識や物体認識等、何でも良い。そして、デフォーカス設定部３２において、上記被写体認識部３１による被写体の認識結果を用いて、デフォーカス位置設定部３２１にて、画像信号を取得するデフォーカス位置を決定すると共に、デフォーカス数設定部３２２にて、画像信号を取得するデフォーカス位置の数を決定する。例えば、被写体認識部３１にて３つの被写体が認識された場合には、デフォーカス位置設定部３２１は、図５（Ａ）に示すように画像信号を取得するデフォーカス位置としてｆ１，ｆ２，ｆ３を決定し、デフォーカス数設定部３２２は、デフォーカス位置の数を「３」と決定する。フィルタ設計部４は、この決定した各デフォーカス位置とその数に基づいてフィルタを設計することとなる。
【００２５】
図５（Ａ）に示すように被写体が多くある場合、デフォーカス位置とその数は被写体認識部３１にて認識した被写体の位置とその数として設定すれば良い。しかしながら、このような認識した被写体位置と数のみに基づく単純な制御だけでは不十分な場合がある。例えば、図５（Ｂ）に示すような光軸方向に複数の被写体が離れて（デフォーカス位置ｆ１，ｆ２）存在する場合には、被写体間にボケが観察されてしまうこととなる。逆に、被写体が一つ、或いは図５（Ｃ）に示すように、光軸方向に複数の被写体が近接して存在する場合には、複数の被写体のデフォーカス位置ｆ１，ｆ２での回復処理を行なっても被写界深度拡大の効果をもたらすことができない。
【００２６】
そこで、図５（Ｂ）に示すような各被写体間にボケが観察されてしまうような場合には、被写体間の任意の位置にデフォーカス位置を設定するようにしても良い。本実施形態では、そのために、上記被写体認識部３１による被写体の認識結果を用いて、被写体深度算出部３２３にて、各被写体位置での被写界深度を算出すると共に、距離算出部３２４にて、各被写体のデフォーカス位置を算出して、各被写体間のデフォーカス位置差を算出する。そして、比較部３２５にて、それら算出した各被写界深度とデフォーカス位置差とを比較することで、各被写体間にボケが観察されることとなるか否かを確認する。即ち、各被写体間にボケが観察されるか否かを判定する際の条件式の一例として以下の（１）式を採用する。もちろん、他の条件式を用いるものとし、その条件式に必要なパラメータを取得するように、該設定部３を構成しても構わない。
【００２７】
｜ｆｉ＋１−ｆｉ｜＜ｄ …（１）
【００２８】
但し、上記（１）式において、ｆｉは任意の設定したデフォーカス位置であり、ｄは被写体深度算出部３２３で得られる各被写体位置の被写界深度から算出するある所定の目標被写界深度である。
【００２９】
ここで、各被写体間にボケが観察されると判定された場合には、算出部３２６にて、上記（１）式を満たすように、被写体位置に設定したデフォーカス位置ｆ１，ｆ２の他に、上記（１）式を満たさない被写体間に新たなデフォーカス位置ｆ３を算出して、上記デフォーカス位置設定部３２１にその算出した新たなデフォーカス位置ｆ３を設定し、デフォーカス数設定部３２２にも新たなデフォーカス位置の数を設定する。
【００３０】
また、被写体が一つ又は図５（Ｃ）に示すような光軸方向に複数の被写体が近接して存在するような場合には、該撮像装置に対して被写体よりも近い或いは遠い位置にデフォーカス位置を新たに設定しても良い。本実施形態では、そのために、距離算出部３２４にて、各デフォーカス位置間の最大値を算出する。そして、比較部３２５にて、距離算出部３２４で算出した各デフォーカス位置間の最大値と所定の目標被写界深度とを比較することで、各デフォーカス位置間の最大値が目標被写界深度を満たすか否かを確認する。この確認のための条件式の一例として以下の（２）式を採用する。もちろん、他の条件式を用いるものとし、その条件式に必要なパラメータを取得するように、該設定部３を構成しても構わない。
【００３１】
｜ｆｍａｘ−ｆｍｉｎ｜＞ｄ’ …（２）
【００３２】
但し、上記（２）式において、ｆｍａｘは設定したデフォーカス位置の中で該撮像装置に対して最も遠いものを表し、初期値はｘｍａｘであり、ｆｍｉｎは設定したデフォーカス位置の中で該撮像装置に対して最も近いものを表し、初期値はｘｍｉｎである。初期値であるｘｍａｘは被写体までの距離で該撮像装置から最も遠いもの、ｘｍｉｎは被写体までの距離で該撮像装置から最も近いものを意味する。どちらの値も、距離算出部３２４にて得られる。この被写体の距離取得の方法は、センサ等、何でも良い。また、ｄ’は目標被写界深度であり、その値は、被写体深度算出部３２３で得られる各被写体位置の被写界深度から算出するある所定の深度とする。この目標被写界深度ｄ’は、各被写体位置の被写界深度の最大値、最小値、平均値などが考えられる。どれを用いるかは事前に決定する必要がある。
【００３３】
ここで、各デフォーカス位置間の最大値が目標被写界深度に満たないと判定された場合には、算出部３２６にて、目標被写界深度を満たすように、被写体位置に設定したデフォーカス位置ｆ１，ｆ２の他に新たなデフォーカス位置、図５（Ｃ）の例ではｆ３，ｆ４を算出して、上記デフォーカス位置設定部３２１にその算出した新たなデフォーカス位置ｆ３，ｆ４を設定し、デフォーカス数設定部３２２にも新たなデフォーカス位置の数を設定する。なお、通常、この新たに設定するデフォーカス位置は、ｆｍｉｎよりも撮像装置に近い、或いはｆｍａｘよりも撮像装置に遠い、或いはその両方に設定される。そして、上記（２）式を満たすようにデフォーカス位置を配置する必要がある。この場合、被写体の数と設定されたデフォーカス位置の数は一致しない。この際のデフォーカス位置及びその数は予め設定しておくか、制御部９を介して設定する等の方法が考えられる。また、この各被写体間は、各被写体位置でもたらされる被写界深度によって深度内と保障され、その合計が目標被写界深度に達することがここでの条件となるが、各被写体位置でもたらされる被写界深度の間にボケが認識されない程度の隙間があっても良い。
【００３４】
このように、上記（２）式によって被写体認識部３１にて認識した被写体位置のみによって目標被写界深度あるいは深度拡大効果をもたらすかを確認することができ、確認できないのであれば新たにデフォーカス位置を設定することで、各被写体位置での回復処理を行なっても深度拡大とならない場合においても、被写界深度拡大効果をもたらすことができる。
【００３５】
また、上記目標被写界深度ｄ’は、当該撮像装置に予め設定された値、或いはユーザが任意に設定する値としても良い。この場合には、制御部９を介して目標深度設定部３２７にて目標被写界深度が設定される。そして、比較部３２５にて、距離算出部３２４で算出した各デフォーカス位置間の最大値と目標深度設定部３２７に設定された目標被写界深度ｄ’とを比較することで、各デフォーカス位置間の最大値が目標被写界深度ｄ’を満たすか否かを確認することとなる。このように目標被写界深度ｄ’が設定されている場合、図５（Ｄ）に示すように、目標被写界深度ｄ’（焦点距離Ｄ１〜焦点距離Ｄ２）を満たすように、且つ、上記（２）式を満たすように、被写体よりも撮像装置に近い或いは遠い位置にデフォーカス位置ｆ３，ｆ４，ｆ５，ｆ６を新たに配置する必要がある。
【００３６】
また、被写体情報を用いずにデフォーカス位置を設定する方法もある。
例えば、目標深度設定部３２７より転送される目標被写界深度ｄ’を所定内の間隔で区切ってデフォーカス位置及びその数を設定する。この所定の値は、予め設定しておくか、制御部９を介して外部Ｉ／Ｆ部８より設定しても良い。この間隔は、広すぎると後に行なうデフォーカス範囲の設定を行なえない。
【００３７】
このように導出したデフォーカス位置及びその数は、フィルタ設計部４へ転送される。この方法では、ＰＳＦを取得するデフォーカス位置を被写体の有無及びその位置に寄らず設定している。従って、この場合、被写体がない画像信号や１つの大きな被写体の写った画像信号などに効果的である。またこの場合、被写体認識部３１、被写体深度算出部３２３、距離算出部３２４、及び比較部３２５は不要となる。
【００３８】
図６は、フィルタ設計部４の構成の一例を示す図である。このフィルタ設計部４は、設定部３にて設定された各デフォーカス位置でのＰＳＦからフィルタを生成する機能を有しており、絞り値検出部４１、算出部４２、類似度算出部４３、閾値設定部４４、比較部４５、抽出部４６、範囲設定部４７、代表ＰＳＦ設定部４８、設定部４９、及びフィルタ生成部４１０から成る。
【００３９】
上記画像撮像部１は、絞り値検出部４１に接続しており、絞り値検出部４１は、算出部４２へ接続している。算出部４２は、上記設定部３から接続され、類似度算出部４３及び抽出部４６へ接続している。上記制御部９は、閾値設定部４４へ接続している。比較部４５は、類似度算出部４３及び閾値設定部４４から接続され、また、抽出部４６へ接続している。範囲設定部４７は、抽出部４６から接続され、代表ＰＳＦ設定部４８は、抽出部４６及び範囲設定部４７から接続されている。範囲設定部４７は、設定部４９へ接続しており、フィルタ生成部４１０は、代表ＰＳＦ設定部４８及び設定部４９から接続されている。フィルタ生成部４１０は、フィルタ処理部５へ接続している。
【００４０】
このような構成のフィルタ設計部４では、絞り値検出部４１が、上記画像撮像部１からの情報から絞り値を算出し、算出部４２にて、その算出された絞り値を用いて、設定部３にて得られた各デフォーカス位置でのＰＳＦを決定する。そして、類似度算出部４３にて、各デフォーカス位置でのＰＳＦの類似度を算出し、比較部４５にて、その算出した各ＰＳＦの類似度と外部Ｉ／Ｆ部８から制御部９を介して閾値設定部４４で定められた閾値とを比較し、この比較結果を基に、抽出部４６にて閾値範囲内のＰＳＦを抽出する。なお、類似度算出部４３にて算出される類似度は、平均二乗誤差や相関係数などによって求められる。平均二乗誤差の場合は値が小さいほど、相関係数の場合は絶対値が大きいほど、２つのＰＳＦの類似度は高い。
【００４１】
次に、範囲設定部４７にて、抽出部４６がＰＳＦを抽出したＰＳＦ類似範囲をデフォーカス範囲として設定する。そして、代表ＰＳＦ設定部４８にて、その設定されたデフォーカス範囲を代表するＰＳＦを、抽出部４６が抽出したＰＳＦの中から一つ設定する。また、設定部４９にて、図７に示すように、これらデフォーカス範囲の合計が上記設定部３にて定められた目標被写界深度境界Ｄ１からＤ２の範囲を満たすよう、各デフォーカス範囲とその数を設定する。そして、フィルタ生成部４１０では、各デフォーカス範囲につき１つの代表ＰＳＦを用いて、各代表ＰＳＦに相当するフィルタを作成し、それらをフィルタ処理部５に転送する。
【００４２】
なおこの場合、例えば図７におけるデフォーカス範囲２とデフォーカス範囲４のように、離れているデフォーカス範囲のＰＳＦの類似度が同等と取れる場合、両デフォーカス範囲の画像信号に同じフィルタを使用しても良い。但しこの場合、両デフォーカス範囲の画像信号に対してそれぞれ同じフィルタをかける必要があり、片方のデフォーカス範囲の画像信号をもう片方の画像信号として用いることはできない。
【００４３】
また、上記設定部３において被写体認識を行ってデフォーカス位置を設定した場合には、ＰＳＦの類似範囲を求める処理等を行なわなくても良い。認識した被写体位置でのＰＳＦを求め、求めたＰＳＦ分だけフィルタを生成する。このようにすることで、処理を単純化することができる。この場合、フィルタ設計部４は、絞り値検出部４１、算出部４２及びフィルタ生成部４１０のみで構成される。
【００４４】
なお、設定部３、フィルタ設計部４、フィルタ処理部５、及び画像取得部６は、独立したハードウェアとして構成した場合を説明したが、制御部９を構成するコンピュータが、上記設定部３、フィルタ設計部４、フィルタ処理部５、及び画像取得部６の機能を実現するソフトウェアのプログラム実行することによって、上記機能を実現することも可能である。
【００４５】
即ち、図８のフローチャートに示すように、まず、画像撮像部１にて取得した１枚の画像信号を前処理部２のフレームメモリより読み込み（ステップＳ１１）、その画像信号より被写体を認識する（ステップＳ１２）。そして、認識した各被写体の位置をデフォーカス位置として設定した後（ステップＳ１３）、全ての被写体についてデフォーカス位置の設定が行なわれたかを判断する（ステップＳ１４）。ここで、未だ全ての被写体に関して行なわれていない場合には、上記ステップＳ１３に戻って次の被写体に関する処理を行い、また、全ての被写体に関して行われた場合には、次のステップＳ１５へと進む。
【００４６】
即ち、全ての被写体についてデフォーカス位置の設定が行なわれたならば、次に、上記（１）式の条件式を用いて、各被写体間にボケが観察されるか否かを判断する（ステップＳ１５）。ここで、上記（１）式の条件式を満たさない場合、つまり、各被写体間にボケが観察される場合には、それらのデフォーカス位置の間に新たなデフォーカス位置を設ける（ステップＳ１６）。ここではデフォーカス位置の補間を行なっている。また、上記（１）式の条件式を満たす場合、つまり、各被写体間にボケが観察されない場合には、このステップＳ１６はスキップされる。そして、全てのデフォーカス位置間について処理を行なったかを確認する（ステップＳ１７）。ここで、未だ全てのデフォーカス位置間について処理を行っていない場合には、上記ステップＳ１５に戻って次のデフォーカス位置間に関する判断処理を行い、また、全てのデフォーカス位置間に関して行われた場合には、次のステップＳ１７へと進む。
【００４７】
即ち、全てのデフォーカス位置間についての確認が行なわれたならば、次に、上記（２）式の条件式を用いて、各デフォーカス位置間の最大値が目標被写界深度を満たすか否かを確認する（ステップＳ１８）。ここで、上記（２）式の条件式を満たさない場合、つまり、各デフォーカス位置間の最大値が目標被写界深度を満たさない場合には、新たなデフォーカス位置を設けた後（ステップＳ１９）、上記ステップＳ１８に戻る。なおこの際、新たに設けるデフォーカス位置は、ｆｍｉｎより撮像装置に近くの値、若しくは、ｆｍａｘより撮像装置に遠い値に設定し、その後ｆｍｉｎ及びｆｍａｘを更新する。ここでの処理は、設定したデフォーカス位置が、目標被写界深度が達成或は被写界深度拡大をもたらすように、デフォーカス位置を新たに設定するものである。
【００４８】
上記ステップＳ１８にて上記（２）式の条件式が満たされた場合、つまり、各デフォーカス位置間の最大値が目標被写界深度を満たす場合には、目標被写界深度が達成或いは被写界深度拡大がもたらされたとして、次のステップＳ２０に進む。即ち、上記のように設定した複数のデフォーカス位置でＰＳＦを取得し（ステップＳ２０）、各ＰＳＦの類似範囲（デフォーカス範囲）を設定して代表ＰＳＦを決定する（ステップＳ２１）。次に、その設定した代表ＰＳＦより、複数のフィルタを生成する（ステップＳ２２）。
【００４９】
そして、それら生成した複数のフィルタを、前処理部２のフレームメモリに保持されている１枚の画像信号にかける（ステップＳ２３）。その後、そのフィルタ処理した後の一つの画像信号における各画素のコントラストを閾値αと比較する（ステップＳ２４）。ここで、閾値よりも大きかった場合には、過補正と考えられ、フィルタ処理前の画素値を用いることとする（ステップＳ２５）。一方、コントラストが閾値以下ならば、フィルタ処理後の画素値を用いる。そして、全ての画素について処理が終了したかを確認し（ステップＳ２６）、終了していないのならば、上記ステップＳ２４に戻る。
【００５０】
こうして、全ての画素について処理が終了したと確認されたならば（ステップＳ２６）、今度は、フィルタ処理した後の全ての画像信号に対して処理を行なったか否かを確認する（ステップＳ２７）。ここで、未だ全ての画像信号に対する処理が終了していない場合は、上記ステップＳ２４まで戻って、未処理の画像信号に対する処理を実行する。
【００５１】
而して、全ての画像信号に対する処理が終了したならば、即ち、それぞれ異なる深度をボケ回復した複数枚の画像信号が取得されたならば、次に、設定したデフォーカス位置の数によって表示制御部７にフレームレートを制御させる（ステップＳ２８）。なお、上記表示制御部７を設ける代わりに、制御部９を構成するコンピュータがフレームレート制御を行うようにしても良い。そして、複数の画像信号と制御したフレームレートを用いて、表示部１０にそれら画像信号を切り換え表示して（ステップＳ２９）、処理を終了とする。
【００５２】
なお、上記ステップＳ２３において全てのフィルタについてのフィルタ処理を行って、その後のステップＳ２４乃至ステップＳ２６の処理をフィルタ処理後の画像信号それぞれについて行うものとしたが、上記ステップＳ２３乃至ステップＳ２６の処理を一つのフィルタについて順次行うものとしても良いことは勿論である。
【００５３】
以上一実施形態に基づいて本発明を説明したが、本発明は上述した一実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。
【００５４】
例えば、上記一実施形態では、撮像装置として、デジタルカメラにおけるライブビュー表示や内視鏡診療装置における観察画像表示等、画像撮像部１で取得した画像を直ちに表示する装置を例に説明したが、取得した複数のデフォーカス位置でのＰＳＦから設計したフィルタを取得した１枚の画像信号にかけて取得した複数枚のフィルタ処理後の画像信号を一旦記録しておき、当該装置で後で再生表示するようにしても良いことは言うまでもない。
【００５５】
さらには、撮像装置は取得した１枚の画像信号から複数枚のフィルタ処理後の画像信号を取得して記録媒体に記録するまでを行い、別の表示装置にてその記録媒体に記録された複数枚の画像信号のフレームレートを制御して切り換え表示することによっても、複数枚の画像信号に対して、位置合わせや合成等の処理を行うことなく被写界深度の深い画像信号を得ることができるので、位置合わせや合成等の処理時間を抑え、且つ、アーティファクトを発生させずに被写界深度拡大の効果をもたらすことができることは勿論である。
【００５６】
さらにまた、別の撮像装置で取得した１枚の画像信号を読み込んで、複数枚のフィルタ処理後の画像信号を取得して記録媒体に記録する装置や、再生までも行う装置としても構わない。
【００５７】
（付記）
前記の具体的実施形態から、以下のような構成の発明を抽出することができる。
【００５８】
（１） 画像信号を取得する撮像手段と、
デフォーカス位置を複数設定する設定手段と、
上記設定手段で設定した複数のデフォーカス位置における点像広がり関数（ＰＳＦ）に基づいて複数のフィルタを設計するフィルタ設計手段と、
上記撮像手段で取得した１枚の画像信号に対して、上記フィルタ設計手段で設計した各デフォーカス位置におけるフィルタを用いてフィルタ処理を行なうフィルタ処理手段と、
上記フィルタ処理手段による各デフォーカス位置のフィルタ処理後の画像信号を取得する取得手段と、
前記取得手段により取得された複数の画像信号を連続的に表示するよう制御する表示制御手段と、
を備えたことを特徴とする撮像装置。
【００５９】
（実施形態との対応）
この（１）に記載の撮像装置における上記撮像手段は画像撮像部１が、上記設定手段は設定部３が、上記フィルタ設計手段はフィルタ設計部４が、上記フィルタ処理手段はフィルタ処理部５が、上記取得手段は画像取得部６が、上記表示制御手段は表示制御部７が、それぞれ該当する。
この発明の好ましい適用例は、設定部３にてＰＳＦを得る複数のデフォーカス位置を設定し、フィルタ設計部４にて複数のデフォーカス位置におけるＰＳＦに基づいてフィルタを設計し、フィルタ処理部５にて設計したフィルタを１枚の画像信号にかけ、画像取得部６にてフィルタ処理後の複数枚の画像信号を取得する撮像装置である。
【００６０】
（作用効果）
この（１）に記載の撮像装置は、取得した複数のデフォーカス位置でのＰＳＦから設計したフィルタを１枚の画像信号にかけ、複数のフィルタ処理後の画像信号を取得する。
従って、この（１）に記載の撮像装置によれば、切り換え表示することで位置合わせや合成等の処理時間を抑え、且つ、アーティファクトを発生させずに被写界深度拡大の効果をもたらし得る、それぞれ異なる深度をボケ回復した複数枚の画像信号が１回の撮像で得られる。
【００６１】
（２） 上記取得手段で取得された複数枚のフィルタ処理後の画像信号を表示する表示手段をさらに備えたことを特徴とする（１）に記載の撮像装置。
【００６２】
（実施形態との対応）
この（２）に記載の撮像装置における上記表示手段は表示部１０が該当する。
この発明の好ましい適用例は、表示部１０にて画像取得部６で得られた異なるデフォーカス位置でのＰＳＦを用いたフィルタ処理を行なった複数枚の画像信号を表示させる撮像装置である。
【００６３】
（作用効果）
この（２）に記載の撮像装置は、取得した複数のデフォーカス位置でのＰＳＦから設計したフィルタをかけた複数の画像信号を表示する。
従って、この（２）に記載の撮像装置によれば、それぞれ異なる深度をボケ回復した複数枚の画像を並べるため、被写界深度の深い画像が得られる。
【００６４】
（３） 上記設定手段は、
上記撮像手段で取得した画像信号の被写体を認識する被写体認識手段と、
上記被写体認識手段での認識結果に基づいてＰＳＦを取得するデフォーカス位置とその数とを設定するデフォーカス設定手段と、
を有することを特徴とする（１）に記載の撮像装置。
【００６５】
（実施形態との対応）
この（３）に記載の撮像装置における上記被写体認識手段は被写体認識部３１が、上記デフォーカス設定手段はデフォーカス設定部３２が、それぞれ該当する。
この発明の好ましい適用例は、被写体認識部３１で認識した被写体位置を用いてデフォーカス位置を設定し、デフォーカス設定部３２にてＰＳＦを取得するデフォーカス位置やその数を設定する撮像装置である。
【００６６】
（作用効果）
この（３）に記載の撮像装置は、被写体を認識して、ＰＳＦを取得するデフォーカス位置や数の設定を行なう。
従って、この（３）に記載の撮像装置によれば、認識した被写体を用いてデフォーカス位置を設定するため、画像の各被写体に焦点の合った画像が得られる。
【００６７】
（４） 上記デフォーカス設定手段は、
上記被写体認識手段で認識された被写体の位置に上記デフォーカス位置を設定するデフォーカス位置設定手段と、
上記被写体認識手段で認識された被写体の数を用いて上記デフォーカス位置の数を設定するデフォーカス数設定手段と、
を有することを特徴とする（３）に記載の撮像装置。
【００６８】
（実施形態との対応）
この（４）に記載の撮像装置における上記デフォーカス位置設定手段はデフォーカス位置設定部３２１が、上記デフォーカス数設定手段はデフォーカス数設定部３２２が、それぞれ該当する。
この発明の好ましい適用例は、デフォーカス位置設定部３２１にて、被写体認識部３１において認識した被写体の位置にデフォーカス位置を設定し、デフォーカス数設定部３２２にて、設定したデフォーカス位置の数を被写体認識部３１において認識した被写体の数に設定する撮像装置である。
【００６９】
（作用効果）
この（４）に記載の撮像装置は、認識した被写体の位置にデフォーカスの位置を設定し、被写体の数を用いてデフォーカス位置の数を設定する。
従って、この（４）に記載の撮像装置によれば、認識した被写体に合わせてデフォーカス位置及びその数を設定するため、画像の各被写体に焦点の合った画像が得られる。
【００７０】
（５） 上記デフォーカス設定手段は、
上記被写体認識手段で認識された各被写体位置における被写界深度を算出する被写体位置深度算出手段と、
目標の被写界深度を設定する目標深度設定手段と、
をさらに有し、
上記デフォーカス位置設定手段によって設定したデフォーカス位置間の最大値が上記目標深度設定手段によって設定された目標被写界深度を満たすように、少なくとも上記被写体認識手段で認識された被写体の位置を含む複数のデフォーカス位置を設定する、
ことを特徴とする（４）に記載の撮像装置。
【００７１】
（実施形態との対応）
この（５）に記載の撮像装置における上記被写体位置深度算出手段は被写体深度算出部３２３が、上記目標深度設定手段は目標深度設定部３２７が、それぞれ該当する。
この発明の好ましい適用例は、被写体深度算出部３２３にて被写体認識部３１において認識された被写体の位置での被写界深度を求め、その目標深度設定部３２７にて設定されている目標深度に対して、設定したデフォーカス位置間の最大値が満たすように、少なくとも被写体認識部３１で認識された被写体の位置を含む複数のデフォーカス位置を設定する撮像装置である。
【００７２】
（作用効果）
この（５）に記載の撮像装置は、被写体認識部３１で認識された被写体の位置のデフォーカス位置に加えて、それら設定したデフォーカス位置間の最大値が目標深度を満たすように、さらに新たなデフォーカス位置を設定する。
従って、この（５）に記載の撮像装置によれば、被写体の位置の他に新たにデフォーカス位置を所定の値に設定しているため、被写体の位置だけでは深度拡大しない場合においても被写界深度の深い画像を得ることができる。また被写体の深度においてボケ回復しつつ、目標深度を満たすような画像を得ることができる。
【００７３】
（６） 上記フィルタ設計手段は、
上記撮像手段の光学系の絞り値を検出する絞り値検出手段と、
上記設定手段で設定した各デフォーカス位置のＰＳＦを算出する算出手段と、
上記算出手段で算出した各デフォーカス位置でのＰＳＦを用いて類似度を算出する類似度算出手段と、
上記類似度算出手段で算出した類似度と所定の閾値とを比較する比較手段と、
上記比較手段の結果を用いて、上記設定手段で設定した複数のデフォーカス位置でのＰＳＦの中から複数のＰＳＦを抽出する抽出手段と、
上記抽出手段の結果を用いてデフォーカス範囲を設定する範囲設定手段と、
上記範囲設定手段及び上記抽出手段の結果を用いて上記デフォーカス範囲を代表するＰＳＦを設定する代表ＰＳＦ設定手段と、
目標の被写界深度と、上記範囲設定手段によって設定されたデフォーカス範囲とを用いてデフォーカス位置及び上記代表ＰＳＦの個数を設定する設定手段と、
を有することを特徴とする（１）に記載の撮像装置。
【００７４】
（実施形態との対応）
この（６）に記載の撮像装置における上記絞り値検出手段は絞り値検出部４１が、上記算出手段は算出部４２が、上記類似度算出手段は類似度算出部４３が、上記比較手段は比較部４５が、上記抽出手段は抽出部４６が、上記範囲設定手段は範囲設定部４７が、上記代表ＰＳＦ設定手段は代表ＰＳＦ設定部４８が、上記設定手段は設定部４９が、それぞれ該当する。
この発明の好ましい適用例は、絞り値検出部４１にて画像撮像部１で設定された絞り値を算出し、算出部４２にて絞り値を用いて各デフォーカス位置でのＰＳＦを算出し、類似度算出部４３にて各デフォーカス位置でのＰＳＦを用いて類似度を算出し、比較部４５にて閾値設定部４４にて設定された閾値と算出した類似度を比較し、抽出部４６にて比較結果を用いて算出部４２で算出したＰＳＦを抽出し、範囲設定部４７にて抽出結果を用いてデフォーカス範囲を設定し、代表ＰＳＦ設定部４８にて設定した範囲と抽出結果を用いてデフォーカス範囲を代表するＰＳＦを設定し、設定部４９にて目標深度設定部３２７にて設定する目標の被写界深度と設定したデフォーカス範囲を用いてデフォーカス範囲とその数を設定し、フィルタ生成部４１０にて設定した各代表ＰＳＦを用いてフィルタを生成する撮像装置である。
【００７５】
（作用効果）
この（６）に記載の撮像装置は、各ＰＳＦが類似する範囲の代表するＰＳＦを用いて複数のフィルタを生成する。
従って、この（６）に記載の撮像装置によれば、ＰＳＦが類似する範囲では同じＰＳＦを用いてフィルタを生成することから、計算時間を抑え処理を高速化出来る。
【００７６】
（７） 上記フィルタ処理手段は、
上記フィルタ処理後の画像信号の各画素におけるコントラストを算出するコントラスト算出手段と、
上記各画素のコントラストを用いてフィルタ処理前の値を用いるか、処理後の値を用いるかを判断する判断手段と、
を有し、
上記取得手段は、上記判断手段の判断結果に従って画像信号を取得する、
ことを特徴とする（１）に記載の撮像装置。
【００７７】
（実施形態との対応）
この（７）に記載の撮像装置における上記コントラスト算出手段はコントラスト算出部５２が、上記判断手段は判断部５３が、それぞれ該当する。
この発明の好ましい適用例は、フィルタ処理実行部５１にて生成したフィルタを施し、コントラスト算出部５２にてフィルタ処理後の各画素におけるコントラストを算出し、判断部５３にて算出したコントラストに応じてフィルタ処理前の画素値を用いるかフィルタ処理後の画素値を用いるかを判断し、画像取得部６にてその判断結果に従って画像信号を取得する撮像装置である。
【００７８】
（作用効果）
この（７）に記載の撮像装置は、フィルタ処理後の各画素におけるコントラストに応じて、フィルタ処理前の画素値を用いるか処理後の画素値を用いるかを決定する。
従って、この（７）に記載の撮像装置によれば、高いコントラストを持つ画素にフィルタ処理を実行しないことから、フィルタ処理による過剰補正を防ぐことができ、高品位な画像が得られる。
【００７９】
（８） 上記表示制御手段は、表示フレームレートを設定するフレームレート設定手段を有し、
上記フレームレートは、上記デフォーカス位置の数に応じて制御される、
ことを特徴とする（２）に記載の撮像装置。
【００８０】
（実施形態との対応）
この（８）に記載の撮像装置における上記フレームレート設定手段は表示制御部７が該当する。
この発明の好ましい適用例は、表示制御部７にてデフォーカス位置の数に応じて表示フレームレートを制御し、表示部１０にて制御したフレームレートを用いて画像信号を表示する撮像装置である。
【００８１】
（作用効果）
この（８）に記載の撮像装置は、デフォーカス位置の数に応じて表示フレームレートを制御し、画像を表示させる。
従って、この（８）に記載の撮像装置によれば、表示フレームレートをデフォーカス位置の数に応じて制御することから、高品位な画像が得られる。
【００８２】
（９） 画像信号を取得し、
デフォーカス位置を複数設定し、
上記設定した複数のデフォーカス位置における点像広がり関数（ＰＳＦ）に基づいて複数のフィルタを設計し、
上記取得した１枚の画像信号に対して、上記設計した各デフォーカス位置におけるフィルタを用いてフィルタ処理を行ない、
上記各デフォーカス位置のフィルタ処理後の画像信号を取得し、
取得された複数の画像信号を連続的に表示するよう制御する、
ことを特徴とする撮像方法。
【００８３】
（実施形態との対応）
この（９）に記載の発明の好ましい適用例は、設定部３にてＰＳＦを得る複数のデフォーカス位置を設定し、フィルタ設計部４にて複数のデフォーカス位置におけるＰＳＦに基づいてフィルタを設計し、フィルタ処理部５にて設計したフィルタを１枚の画像信号にかけ、画像取得部６にてフィルタ処理後の複数枚の画像信号を取得する撮像方法である。
【００８４】
（作用効果）
この（９）に記載の撮像方法は、取得した複数のデフォーカス位置でのＰＳＦから設計したフィルタを１枚の画像信号にかけ、複数のフィルタ処理後の画像信号を取得する。
従って、この（９）に記載の撮像方法によれば、切り換え表示することで位置合わせや合成等の処理時間を抑え、且つ、アーティファクトを発生させずに被写界深度拡大の効果をもたらし得る、それぞれ異なる深度をボケ回復した複数枚の画像信号が１回の撮像で得られる。
【００８５】
（１０） 画像信号を撮像する撮像装置のコンピュータを制御するためのプログラムであって、
上記コンピュータを、
画像撮像部に画像信号を取得させる撮像手段、
デフォーカス位置を複数設定する設定手段、
上記設定した複数のデフォーカス位置における点像広がり関数（ＰＳＦ）に基づいて複数のフィルタを設計するフィルタ設計手段、
上記画像撮像部で取得した１枚の画像信号に対して、上記設計した各デフォーカス位置におけるフィルタを用いてフィルタ処理を行なうフィルタ処理手段、
上記各デフォーカス位置のフィルタ処理後の画像信号を取得する取得手段、
取得された複数の画像信号を連続的に表示するよう制御する表示制御手段、
として機能させるためのプログラム。
【００８６】
（実施形態との対応）
この（１０）に記載の発明の好ましい適用例は、コンピュータに、ＰＳＦを得る複数のデフォーカス位置を設定させ、それら複数のデフォーカス位置におけるＰＳＦに基づいてフィルタを設計させ、その設計したフィルタを１枚の画像信号にかけさせ、フィルタ処理後の複数枚の画像信号を取得させるプログラムである。
【００８７】
（作用効果）
この（１０）に記載のプログラムは、コンピュータに、取得した複数のデフォーカス位置でのＰＳＦから設計したフィルタを１枚の画像信号にかけさせ、複数のフィルタ処理後の画像信号を取得させる。
従って、この（１０）に記載のプログラムによれば、切り換え表示することで位置合わせや合成等の処理時間を抑え、且つ、アーティファクトを発生させずに被写界深度拡大の効果をもたらし得る、それぞれ異なる深度をボケ回復した複数枚の画像信号が１回の撮像で得られる。
【００８８】
（１１） １枚の画像信号を読み込む読み込み手段と、
デフォーカス位置を複数設定する設定手段と、
上記設定手段で設定した複数のデフォーカス位置における点像広がり関数（ＰＳＦ）に基づいて複数のフィルタを設計するフィルタ設計手段と、
上記読み込み手段で読み込んだ１枚の画像信号に対して、上記フィルタ設計手段で設計した各デフォーカス位置におけるフィルタを用いてフィルタ処理を行なうフィルタ処理手段と、
上記フィルタ処理手段による各デフォーカス位置のフィルタ処理後の画像信号を取得する取得手段と、
を備えたことを特徴とする画像処理装置。
【００８９】
（実施形態との対応）
この（１１）に記載の画像処理装置における上記設定手段は設定部３が、上記フィルタ設計手段はフィルタ設計部４が、上記フィルタ処理手段はフィルタ処理部５が、上記取得手段は画像取得部６が、それぞれ該当する。
この発明の好ましい適用例は、設定部３にてＰＳＦを得る複数のデフォーカス位置を設定し、フィルタ設計部４にて複数のデフォーカス位置におけるＰＳＦに基づいてフィルタを設計し、フィルタ処理部５にて設計したフィルタを１枚の画像信号にかけ、画像取得部６にてフィルタ処理後の複数枚の画像信号を取得する画像処理装置である。
【００９０】
（作用効果）
この（１１）に記載の画像処理装置は、取得した複数のデフォーカス位置でのＰＳＦから設計したフィルタを１枚の画像信号にかけ、複数のフィルタ処理後の画像信号を取得する。
従って、この（１１）に記載の画像処理装置によれば、切り換え表示することで位置合わせや合成等の処理時間を抑え、且つ、アーティファクトを発生させずに被写界深度拡大の効果をもたらし得る、それぞれ異なる深度をボケ回復した複数枚の画像信号が１回の撮像で得られる。
【００９１】
（１２） １枚の画像信号を読み込み、
デフォーカス位置を複数設定し、
上記設定した複数のデフォーカス位置における点像広がり関数（ＰＳＦ）に基づいて複数のフィルタを設計し、
上記読み込んだ１枚の画像信号に対して、上記設計した各デフォーカス位置におけるフィルタを用いてフィルタ処理を行ない、
上記各デフォーカス位置のフィルタ処理後の画像信号を取得する、
ことを特徴とする画像処理方法。
【００９２】
（実施形態との対応）
この（１２）に記載の発明の好ましい適用例は、設定部３にてＰＳＦを得る複数のデフォーカス位置を設定し、フィルタ設計部４にて複数のデフォーカス位置におけるＰＳＦに基づいてフィルタを設計し、フィルタ処理部５にて設計したフィルタを１枚の画像信号にかけ、画像取得部６にてフィルタ処理後の複数枚の画像信号を取得する画像処理方法である。
【００９３】
（作用効果）
この（１２）に記載の画像処理方法は、取得した複数のデフォーカス位置でのＰＳＦから設計したフィルタを１枚の画像信号にかけ、複数のフィルタ処理後の画像信号を取得する。
従って、この（１２）に記載の画像処理方法によれば、切り換え表示することで位置合わせや合成等の処理時間を抑え、且つ、アーティファクトを発生させずに被写界深度拡大の効果をもたらし得る、それぞれ異なる深度をボケ回復した複数枚の画像信号が１回の撮像で得られる。
【００９４】
（１３） 画像信号を処理する画像処理装置のコンピュータを制御するためのプログラムであって、
上記コンピュータを、
１枚の画像信号を読み込む読み込み手段、
デフォーカス位置を複数設定する設定手段、
上記設定した複数のデフォーカス位置における点像広がり関数（ＰＳＦ）に基づいて複数のフィルタを設計するフィルタ設計手段、
上記読み込んだ１枚の画像信号に対して、上記設計した各デフォーカス位置におけるフィルタを用いてフィルタ処理を行なうフィルタ処理手段、
上記各デフォーカス位置のフィルタ処理後の画像信号を取得する取得手段、
として機能させるためのプログラム。
【００９５】
（実施形態との対応）
この（１３）に記載の発明の好ましい適用例は、コンピュータに、ＰＳＦを得る複数のデフォーカス位置を設定させ、それら複数のデフォーカス位置におけるＰＳＦに基づいてフィルタを設計させ、その設計したフィルタを１枚の画像信号にかけさせ、フィルタ処理後の複数枚の画像信号を取得させるプログラムである。
【００９６】
（作用効果）
この（１３）に記載のプログラムは、コンピュータに、取得した複数のデフォーカス位置でのＰＳＦから設計したフィルタを１枚の画像信号にかけさせ、複数のフィルタ処理後の画像信号を取得させる。
従って、この（１３）に記載のプログラムによれば、切り換え表示することで位置合わせや合成等の処理時間を抑え、且つ、アーティファクトを発生させずに被写界深度拡大の効果をもたらし得る、それぞれ異なる深度をボケ回復した複数枚の画像信号が１回の撮像で得られる。
【符号の説明】
【００９７】
１…画像撮像部、 １１…レンズ系、 １２…撮像系、 ２…前処理部、 ３…設定部、 ３１…被写体認識部、 ３２…デフォーカス設定部、 ３２１…デフォーカス位置設定部、 ３２２…デフォーカス数設定部、 ３２３…被写体深度算出部、 ３２４…距離算出部、 ３２５…比較部、 ３２６…算出部、 ３２７…目標深度設定部、 ４…フィルタ設計部、 ４１…絞り値検出部、 ４２…算出部、 ４３…類似度算出部、 ４４…閾値設定部、 ４５…比較部、 ４６…抽出部、 ４７…範囲設定部、 ４８…ＰＳＦ設定部、 ４９…設定部、 ４１０…フィルタ生成部、 ５…フィルタ処理部、 ５１…フィルタ処理実行部、 ５２…コントラスト算出部、 ５３…判断部、 ６…画像取得部、 ７…表示制御部、 、 ８…外部Ｉ／Ｆ部、 ９…制御部、 １０…表示部。
【特許請求の範囲】
【請求項１】
画像信号を取得する撮像手段と、
デフォーカス位置を複数設定する設定手段と、
前記設定手段で設定した複数のデフォーカス位置における点像広がり関数（ＰＳＦ）に基づいて複数のフィルタを設計するフィルタ設計手段と、
前記撮像手段で取得した１枚の画像信号に対して、前記フィルタ設計手段で設計した各デフォーカス位置におけるフィルタを用いてフィルタ処理を行なうフィルタ処理手段と、
前記フィルタ処理手段による各デフォーカス位置のフィルタ処理後の画像信号を取得する取得手段と、
前記取得手段により取得された複数の画像信号を連続的に表示するよう制御する表示制御手段と、
を備えたことを特徴とする撮像装置。
【請求項２】
前記取得手段で取得された複数枚のフィルタ処理後の画像信号を表示する表示手段をさらに備えたことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記設定手段は、
前記撮像手段で取得した画像信号の被写体を認識する被写体認識手段と、
前記被写体認識手段での認識結果に基づいてＰＳＦを取得するデフォーカス位置とその数とを設定するデフォーカス設定手段と、
を有することを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記デフォーカス設定手段は、
前記被写体認識手段で認識された被写体の位置に前記デフォーカス位置を設定するデフォーカス位置設定手段と、
前記被写体認識手段で認識された被写体の数を用いて前記デフォーカス位置の数を設定するデフォーカス数設定手段と、
を有することを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記デフォーカス設定手段は、
前記被写体認識手段で認識された各被写体位置における被写界深度を算出する被写体位置深度算出手段と、
目標の被写界深度を設定する目標深度設定手段と、
をさらに有し、
前記デフォーカス位置設定手段によって設定したデフォーカス位置間の最大値が前記目標深度設定手段によって設定された目標被写界深度を満たすように、少なくとも前記被写体認識手段で認識された被写体の位置を含む複数のデフォーカス位置を設定する、
ことを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記フィルタ設計手段は、
前記撮像手段の光学系の絞り値を検出する絞り値検出手段と、
前記設定手段で設定した各デフォーカス位置のＰＳＦを算出する算出手段と、
前記算出手段で算出した各デフォーカス位置でのＰＳＦを用いて類似度を算出する類似度算出手段と、
前記類似度算出手段で算出した類似度と所定の閾値とを比較する比較手段と、
前記比較手段の結果を用いて、前記設定手段で設定した複数のデフォーカス位置でのＰＳＦの中から複数のＰＳＦを抽出する抽出手段と、
前記抽出手段の結果を用いてデフォーカス範囲を設定する範囲設定手段と、
前記範囲設定手段及び前記抽出手段の結果を用いて前記デフォーカス範囲を代表するＰＳＦを設定する代表ＰＳＦ設定手段と、
目標の被写界深度と、前記範囲設定手段によって設定されたデフォーカス範囲とを用いてデフォーカス位置及び前記代表ＰＳＦの個数を設定する設定手段と、
を有することを特徴とする請求項１に記載の撮像装置。
【請求項７】
前記フィルタ処理手段は、
前記フィルタ処理後の画像信号の各画素におけるコントラストを算出するコントラスト算出手段と、
前記各画素のコントラストを用いてフィルタ処理前の値を用いるか、処理後の値を用いるかを判断する判断手段と、
を有し、
前記取得手段は、前記判断手段の判断結果に従って画像信号を取得する、
ことを特徴とする請求項１に記載の撮像装置。
【請求項８】
前記表示制御手段は、表示フレームレートを設定するフレームレート設定手段を有し、
前記フレームレートは、前記デフォーカス位置の数に応じて制御される、
ことを特徴とする請求項２に記載の撮像装置。
【請求項９】
画像信号を取得し、
デフォーカス位置を複数設定し、
前記設定した複数のデフォーカス位置における点像広がり関数（ＰＳＦ）に基づいて複数のフィルタを設計し、
前記取得した１枚の画像信号に対して、前記設計した各デフォーカス位置におけるフィルタを用いてフィルタ処理を行ない、
前記各デフォーカス位置のフィルタ処理後の画像信号を取得し、
取得された複数の画像信号を連続的に表示するよう制御する、
ことを特徴とする撮像方法。
【請求項１０】
画像信号を撮像する撮像装置のコンピュータを制御するためのプログラムであって、
前記コンピュータを、
画像撮像部に画像信号を取得させる撮像手段、
デフォーカス位置を複数設定する設定手段、
前記設定した複数のデフォーカス位置における点像広がり関数（ＰＳＦ）に基づいて複数のフィルタを設計するフィルタ設計手段、
前記画像撮像部で取得した１枚の画像信号に対して、前記設計した各デフォーカス位置におけるフィルタを用いてフィルタ処理を行なうフィルタ処理手段、
前記各デフォーカス位置のフィルタ処理後の画像信号を取得する取得手段、
取得された複数の画像信号を連続的に表示するよう制御する表示制御手段、
として機能させるためのプログラム。
【請求項１】
画像信号を取得する撮像手段と、
デフォーカス位置を複数設定する設定手段と、
前記設定手段で設定した複数のデフォーカス位置における点像広がり関数（ＰＳＦ）に基づいて複数のフィルタを設計するフィルタ設計手段と、
前記撮像手段で取得した１枚の画像信号に対して、前記フィルタ設計手段で設計した各デフォーカス位置におけるフィルタを用いてフィルタ処理を行なうフィルタ処理手段と、
前記フィルタ処理手段による各デフォーカス位置のフィルタ処理後の画像信号を取得する取得手段と、
前記取得手段により取得された複数の画像信号を連続的に表示するよう制御する表示制御手段と、
を備えたことを特徴とする撮像装置。
【請求項２】
前記取得手段で取得された複数枚のフィルタ処理後の画像信号を表示する表示手段をさらに備えたことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記設定手段は、
前記撮像手段で取得した画像信号の被写体を認識する被写体認識手段と、
前記被写体認識手段での認識結果に基づいてＰＳＦを取得するデフォーカス位置とその数とを設定するデフォーカス設定手段と、
を有することを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記デフォーカス設定手段は、
前記被写体認識手段で認識された被写体の位置に前記デフォーカス位置を設定するデフォーカス位置設定手段と、
前記被写体認識手段で認識された被写体の数を用いて前記デフォーカス位置の数を設定するデフォーカス数設定手段と、
を有することを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記デフォーカス設定手段は、
前記被写体認識手段で認識された各被写体位置における被写界深度を算出する被写体位置深度算出手段と、
目標の被写界深度を設定する目標深度設定手段と、
をさらに有し、
前記デフォーカス位置設定手段によって設定したデフォーカス位置間の最大値が前記目標深度設定手段によって設定された目標被写界深度を満たすように、少なくとも前記被写体認識手段で認識された被写体の位置を含む複数のデフォーカス位置を設定する、
ことを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記フィルタ設計手段は、
前記撮像手段の光学系の絞り値を検出する絞り値検出手段と、
前記設定手段で設定した各デフォーカス位置のＰＳＦを算出する算出手段と、
前記算出手段で算出した各デフォーカス位置でのＰＳＦを用いて類似度を算出する類似度算出手段と、
前記類似度算出手段で算出した類似度と所定の閾値とを比較する比較手段と、
前記比較手段の結果を用いて、前記設定手段で設定した複数のデフォーカス位置でのＰＳＦの中から複数のＰＳＦを抽出する抽出手段と、
前記抽出手段の結果を用いてデフォーカス範囲を設定する範囲設定手段と、
前記範囲設定手段及び前記抽出手段の結果を用いて前記デフォーカス範囲を代表するＰＳＦを設定する代表ＰＳＦ設定手段と、
目標の被写界深度と、前記範囲設定手段によって設定されたデフォーカス範囲とを用いてデフォーカス位置及び前記代表ＰＳＦの個数を設定する設定手段と、
を有することを特徴とする請求項１に記載の撮像装置。
【請求項７】
前記フィルタ処理手段は、
前記フィルタ処理後の画像信号の各画素におけるコントラストを算出するコントラスト算出手段と、
前記各画素のコントラストを用いてフィルタ処理前の値を用いるか、処理後の値を用いるかを判断する判断手段と、
を有し、
前記取得手段は、前記判断手段の判断結果に従って画像信号を取得する、
ことを特徴とする請求項１に記載の撮像装置。
【請求項８】
前記表示制御手段は、表示フレームレートを設定するフレームレート設定手段を有し、
前記フレームレートは、前記デフォーカス位置の数に応じて制御される、
ことを特徴とする請求項２に記載の撮像装置。
【請求項９】
画像信号を取得し、
デフォーカス位置を複数設定し、
前記設定した複数のデフォーカス位置における点像広がり関数（ＰＳＦ）に基づいて複数のフィルタを設計し、
前記取得した１枚の画像信号に対して、前記設計した各デフォーカス位置におけるフィルタを用いてフィルタ処理を行ない、
前記各デフォーカス位置のフィルタ処理後の画像信号を取得し、
取得された複数の画像信号を連続的に表示するよう制御する、
ことを特徴とする撮像方法。
【請求項１０】
画像信号を撮像する撮像装置のコンピュータを制御するためのプログラムであって、
前記コンピュータを、
画像撮像部に画像信号を取得させる撮像手段、
デフォーカス位置を複数設定する設定手段、
前記設定した複数のデフォーカス位置における点像広がり関数（ＰＳＦ）に基づいて複数のフィルタを設計するフィルタ設計手段、
前記画像撮像部で取得した１枚の画像信号に対して、前記設計した各デフォーカス位置におけるフィルタを用いてフィルタ処理を行なうフィルタ処理手段、
前記各デフォーカス位置のフィルタ処理後の画像信号を取得する取得手段、
取得された複数の画像信号を連続的に表示するよう制御する表示制御手段、
として機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１２−６５１１４（Ｐ２０１２−６５１１４Ａ）
【公開日】平成２４年３月２９日（２０１２．３．２９）
【国際特許分類】
【出願番号】特願２０１０−２０７１２３（Ｐ２０１０−２０７１２３）
【出願日】平成２２年９月１５日（２０１０．９．１５）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２４年３月２９日（２０１２．３．２９）
【国際特許分類】
【出願日】平成２２年９月１５日（２０１０．９．１５）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]