画像処理装置、撮像装置、画像処理方法およびプログラム。
【課題】 画像回復処理に必要なデータの容量の増加を抑えること。
【解決手段】 本発明のプログラムは、互いに異なる撮影条件で撮像された第1、第2の画像を取得する画像取得ステップと、前記第1、第2の画像の画像を回復するための回復用光学伝達特性を特定する特定情報を取得する特定情報取得ステップと、前記特定情報により特定される回復用光学伝達特性を用いて前記第1および第2の画像を回復する回復ステップを情報処理装置に実行させるプログラムであって、前記特定情報取得ステップにおいて、前記互いに異なる撮影条件における光学伝達特性の位相あるいは振幅に関する特性が類似している場合、前記特定情報に基づいて同じ回復用光学伝達特性が取得されることを特徴とする。
【解決手段】 本発明のプログラムは、互いに異なる撮影条件で撮像された第1、第2の画像を取得する画像取得ステップと、前記第1、第2の画像の画像を回復するための回復用光学伝達特性を特定する特定情報を取得する特定情報取得ステップと、前記特定情報により特定される回復用光学伝達特性を用いて前記第1および第2の画像を回復する回復ステップを情報処理装置に実行させるプログラムであって、前記特定情報取得ステップにおいて、前記互いに異なる撮影条件における光学伝達特性の位相あるいは振幅に関する特性が類似している場合、前記特定情報に基づいて同じ回復用光学伝達特性が取得されることを特徴とする。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像の回復(復元)処理を行うプログラム、画像処理装置、画像処理方法および撮像装置に関する。
【背景技術】
【0002】
従来、撮像装置の撮像光学系の収差の影響があらわれた画像(劣化画像)に対する画像処理方法として、光学伝達関数(OTF)を用いて画像を回復(復元)する処理がある。この方法は画像回復や画像復元という言葉で呼ばれている。以降、この撮像光学系、あるいはそれに準ずるシステムの光学伝達関数(OTF)を用いて画像の劣化を補正あるいは低減する処理を画像回復処理と記す。
【0003】
特許文献1は、複数の光学系による撮影画像の画像回復処理を1つの装置で行う撮像システムを開示している。
特許文献2は、撮像装置の索引を付加した情報を使用して画像補正を行う画像処理システムを開示している。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2006−311472号公報
【特許文献2】特登録04020262号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献1または2に開示された技術では、複数の撮像装置が使用される場合、各撮像装置に対応する回復フィルタ(以下、光学伝達特性フィルタ)を用意する必要がある。この為、撮像装置の数の増加に比例して、必要とされるデータ容量が増加してしまう。
【0006】
そこで本発明は、画像回復処理に必要なデータ容量を抑えることができるプログラム、画像処理装置、画像処理方法および撮像装置を提供することを課題とする。
本発明のその他の課題として、回復フィルタが実際の光学伝達特性に対応していない場合、回復画像にエッジ部の色づきやエッジ部の掘り下げ(エッジ部が本来の色よりも暗く表示されてしまう現象)が現れてしまう場合がある。
【0007】
そこで本発明は、データ容量の増加を抑えつつ、良好な回復画像を得ることが可能な撮像装置、画像処理装置、画像処理方法およびプログラムを提供することを課題とする。
【課題を解決するための手段】
【0008】
上記課題を解決するために、本発明のプログラムは、
互いに異なる撮影条件で撮像された第1、第2の画像を取得する画像取得ステップと、
前記第1、第2の画像の画像を回復するための回復用光学伝達特性を特定する特定情報を取得する特定情報取得ステップと、
前記特定情報により特定される回復用光学伝達特性を用いて前記第1および第2の画像を回復する回復ステップを情報処理装置に実行させるプログラムであって、
前記特定情報取得ステップにおいて、前記互いに異なる撮影条件における光学伝達特性の位相あるいは振幅に関する特性が類似している場合、前記特定情報に基づいて同じ回復用光学伝達特性が取得されることを特徴とする。
【発明の効果】
【0009】
本発明によれば、データの容量増加を抑えつつ、良好な回復画像を得ることが可能となる。
【図面の簡単な説明】
【0010】
【図1】画像処理システムの概略構成図
【図2】撮像装置の概略構成図
【図3】情報処理装置の概略構成図
【図4】実施形態1の画像処理システムの説明図
【図5】撮像装置の点像強度分布の説明図
【図6】プログラムの処理フローチャート
【図7】画像処理装置の概略構成図
【図8】回復フィルタの説明図
【図9】実施形態2の画像処理システムの説明図
【図10】実施形態2の変形例の画像処理システムの説明図
【図11】エッジ強調フィルタの説明図
【図12】実施形態3の画像処理システムの説明図
【図13】光学伝達特性の記憶の仕方についての説明図
【発明を実施するための形態】
【0011】
本発明の詳細な実施形態について説明する前に、本発明の概要を述べる。
画像回復処理を行う画像処理システムにおいて、光学的に似通った光学伝達特性に対して共通の回復フィルタを使用することで、システム全体の回復フィルタに関するデータ容量の増加を抑えることが考えられる。しかし、この方法では似た光学伝達特性であっても厳密には理想的な光学伝達特性とは一致していないため、画像のエッジ部に色づきや掘り下げ等のアーティフアクトが発生することがある。本発明は、光学伝達特性の一部を使用し、他のカメラ信号処理を併用することで、データ容量の削減と安定した画像回復処理を同時に達成することを目的とする。
【0012】
まず各実施形態の説明を行う前に、光学伝達特性について説明する。光学伝達特性とは、光学系の結像に関する特性(結像特性)である。例えば、点像強度分布(Point Spread Function、以下PSF)、光学伝達関数(Optical Transfer Function、以下OTF)、収差(例えば、波面収差)、瞳関数等である。本明細書では、画像回復処理に使用される光学伝達特性フィルタ(回復フィルタ)も結像特性が反映された光学伝達特性の1つとして定義する。以下に、本発明を実施するための形態を、添付の図面に基づいて詳細に説明する。
【0013】
(実施形態1)
図1は本発明にかかるプログラムがインストールされた情報処理装置と、その情報処理装置と接続可能(通信可能)な撮像装置を有する画像処理システムの概略構成図である。撮像光学系10、12および14は被写体の像を撮像装置11、13、15のCCDやCMOSセンサのような撮像素子(受光素子)上に結像する。撮像素子は光学系あるいはそれに準ずるシステムの伝達特性による光学像を画像に変換できるものであればよい。撮像光学系は、カメラ本体(撮像装置本体)に対して一体的に構成された撮像レンズであっても良いし、カメラ本体に対して着脱可能な交換レンズであっても良いが、この実施形態1(図1)では交換レンズとして記載している。実施形態1では、撮像光学系と撮像装置本体を含めて撮像装置100、101および102とする。情報処理装置200は撮像装置100、101および102と画像等のデータの送受信を行うことが可能であり、情報処理装置200は受信(取得)した画像に対して画像回復処理を行い、回復画像を生成する。
【0014】
次に、撮像装置の概略構成について図2を用いて説明する。この図2中の矢印は主な情報の伝達経路を表している。撮像光学系10は絞り10aやフォーカスレンズ10bを有し、被写体の像(光学像)を撮像素子に結像させる。撮像素子202(光電変換素子、受光素子)は被写体の像を電気信号に変換するCCDやCMOSセンサ等である。撮像素子202から出力されたアナログ信号の画像はA/D(アナログデジタル)コンバータ203によりデジタル信号の画像に変換される。
【0015】
画像処理部204はA/Dコンバータ203により変換された画像の色づきを補正する処理や、ぼけを低減する処理等の画像処理を行う。表示部205は液晶ディスプレイや有機ELディスプレイ等であり、画像処理部204で処理された画像、あるいは記憶部208、画像記録媒体209に記録された画像を表示することができる。撮像光学系制御部206は物体距離(被写体距離)に応じてピント調整を行うためのオートフォーカス機構や手動のマニュアルフォーカス機構等であり、撮像光学系10の絞り10aやフォーカスレンズ10bを制御する。
【0016】
状態検知部207はFナンバー(絞り径)、焦点距離(ズーム位置)、物体距離等の撮影条件(撮影状態)を検知する。システムコントローラ210はこの撮像装置のシステム全体を制御し、記憶部208に書き込まれた画像をファイル化して、画像記録媒体209に記録する制御も行う。
【0017】
次に、図1に示した情報処理装置200の概略構成について図3を用いて説明する。情報処理装置200のCPU310は、ROM等に格納されるプログラムの指示に従って情報処理装置全体の制御や画像処理を行う。記憶手段320には画像や光学伝達特性等の各種データを記憶させ、CPU310は適宜、記憶手段320に対して読み込みや書き込みを行う。入力手段340はキーボード、マウス等であり、外部からの入力を受け付け実行中のプログラム等に情報や指示を与えるための手段である。出力手段350はモニタやディスプレイ等であり、画像処理が行われた画像を適宜表示する。CPU310、記憶手段320、入力手段340、出力手段350は互いにバス360を介して接続されている。尚、DVD−R、CD−R等の記録媒体で提供される本発明のプログラムを記憶手段320に記憶させ、オペレータの指示によりCPU310がプログラムの指示に従って、情報処理装置200に画像処理を実行させるように構成してもよい。あるいは、バス360に接続されているネットワークI/F370が遠隔地に存在する情報処理装置等と通信してプログラムやデータ等を授受しながら、CPU310が画像処理を行ってもよい。
【0018】
ここまでで、撮像装置と情報処理装置のそれぞれについて説明を行ってきたが、次に図1で示した画像処理システム全体の処理について図4を用いて説明する。情報処理装置200と通信可能な撮像装置100、101(第1、第2の撮像装置)はポジティブリードタイプの撮像光学系(レンズ)を有する撮像装置であり、撮像装置102はネガティブリードタイプの撮像光学系を有する撮像装置である。
【0019】
まず本発明のプログラムがインストールされた情報処理装置200は、撮像装置100が撮像した画像110(第1の画像)と、後の画像回復処理に用いられる光学伝達特性フィルタ(回復用光学伝達特性)を特定可能な特定情報120を取得する(画像取得手段)。特定情報とは例えばEXIF情報であり、撮像光学系の焦点距離、Fナンバー、撮像装置の識別コード等が含まれる撮影条件(撮像装置の違いを含む)を示す情報である。また、記憶手段に記憶された光学伝達特性を特定できる情報であれば、上記情報に限られない。
【0020】
次に、情報処理装置のCPU310は特定情報120により特定される光学伝達特性フィルタNo.1を取得し、画像110と光学伝達特性フィルタNo.1の2次元畳み込み演算処理を行うことにより、画像110の回復画像110R(不図示)を生成する。この画像回復処理の詳細については後述する。以上の処理により、回復画像110Rは生成されるが、CPU310は、上記回復画像110Rに対して信号処理を行って、該信号処理された画像を出力画像として出力手段350に出力してもよい。この信号処理とは例えば、デモザイキング、ホワイトバランス調整、エッジ強調処理、ノイズリダクション処理、幾何学的な収差補正を行う歪曲収差補正、倍率色収差補正、シェーディング補正等である。
【0021】
次に、撮像装置101と情報処理装置200について説明する。CPU310は撮像装置100と同様に、撮像装置101で撮像された画像111(第2の画像)と特定情報121を取得する。そして、情報処理装置のCPU310は特定情報121により特定される光学伝達特性フィルタNo.1を取得し、画像111と光学伝達特性フィルタNo.1の2次元畳み込み演算処理を行うことにより、画像111の回復画像111R(不図示)を生成する。この光学伝達特性フィルタNo.1が回復用の光学伝達特性である(回復用光学伝達特性)。
【0022】
従来、開示された技術では、記憶手段には撮像装置A、撮像装置Bで撮像された画像を回復処理するために、それぞれの撮像装置A、Bに対応する光学伝達特性フィルタFA、FBが記憶されている。一方、実施形態1では、記憶手段320に撮像装置100、撮像装置101で撮像された画像110、画像111に対して共通に利用可能な光学伝達特性フィルタNo.1が記憶されている。これにより、画像回復に必要なデータ容量を削減することが可能となる。
【0023】
本発明者は、光学設計を通して同じようなレンズタイプ、同じようなフォーカスタイプといった類似の構造の撮像装置は、同じ撮影条件で似通った光学伝達特性を示すことを見出した。例えば、ポジティブリードタイプの撮像装置100、撮像装置101の点像強度分布を図5(a)、(b)に示すが、これらは同じ傾向を示している。尚、撮影条件が同じでなくとも、同じズームタイプであれば似通った光学伝達特性を示すものもある。例えば、広角端の焦点距離が同じで、異なるズーム比を有する同じズームタイプの撮像光学系である。このような撮像装置は、望遠端の撮影条件が異なっていても似通った光学伝達特性を示す。
【0024】
つまり実施形態1の発明は、上記光学伝達特性の類似性に着目して成された発明であり、画像を回復するための光学伝達特性を特定する特定情報を取得する。次に、異なる撮影条件により撮像された第1、第2の撮影画像に対して共通に使用される光学伝達特性と、第3の撮影画像に対して使用される光学伝達特性とが記憶された記憶手段から、前記特定情報により特定される光学伝達特性(回復用光学伝達特性)を取得する。そして、前記特性取得ステップにより取得された光学伝達特性を用いて回復画像を生成する回復ステップを情報処理装置に実行させる。これにより、個々の撮像装置に対応した別個の光学伝達特性フィルタを記憶させるよりも、回復画像の質を保ちつつ、データ容量を削減することを可能としている。
【0025】
さらに好ましくは、記憶手段320に、ズームタイプ、フォーカスタイプ、防振タイプ等のタイプごとにパターン化された光学伝達フィルタを記憶させるのがよい。そうすれば、ネガティブリードタイプの撮像装置102が情報処理装置200と接続された(通信可能になった)場合においても、新たに光学伝達フィルタを増やす必要がない。
さらに好ましくは、撮像装置の光学伝達特性が予め記憶された光学伝達特性に近づくように撮像装置の設計を行えば、より効果的に画像回復を行うことができる。
【0026】
では次に、ネガティブリードタイプの撮像装置102によって撮像された画像112(第3の画像)に対する情報処理装置200の処理について説明する。
【0027】
CPU310は撮像装置102で撮像された画像112と特定情報122を取得する。次に、情報処理装置のCPU310は特定情報122により特定される光学伝達特性フィルタNo.2を取得する。そして、画像112と光学伝達特性フィルタNo.2の2次元畳み込み演算処理を行うことにより、画像112の回復画像112R(不図示)を生成する。ここで、光学伝達特性フィルタNo.2は、光学伝達特性フィルタNo.1とは異なるフィルタ(光学伝達特性)である。
【0028】
尚、本実施形態および以下の実施形態では、説明を簡潔にするために、1つの画像に対して1つの光学伝達特性フィルタを取得する形態について説明しているが、複数の光学伝達特性フィルタ群(セット)を1つの画像に対して用いてもよい。複数の光学伝達特性フィルタ群を1つの画像に対して用いる場合には、CPU310は、例えば撮像装置100、101で共通に利用可能な光学伝達特性フィルタ群を取得すればよい。
【0029】
また、1つの画像に対して複数の光学伝達特性フィルタを用いる場合、CPU310は光学伝達特性フィルタを画像の画素ごとに取得しても良い。画素ごとに光学伝達特性フィルタを取得する場合は、1つまたは複数の特定の画素を抽出して、その抽出した画素に対応する光学伝達特性フィルタを取得すれば、全ての画素ごとに光学伝達特性フィルタを取得するよりも処理速度が向上するので好ましい。
【0030】
さらに、同じタイプのレンズは、同じ撮影条件では画素位置ごとに収差の傾向が似通っている。例えば、ネガティブリードのズームレンズの広角端では像面湾曲が発生するし、高倍率のズームレンズで使用されるポジティブリードのズームレンズの望遠端では軸上色収差が大きく発生する。このように、同じタイプのレンズでは1つの画像の各画素位置において同様な劣化特性を有している場合が多いので、同じタイプごとに使用する各画素位置の光学伝達特性フィルタ(回復フィルタ)のセット(群)を用意することも可能である。これにより、画素位置ごとにフィルタを取得する必要がなくなるので処理の高速化することができる。
【0031】
また、記憶手段320には、プログラムが実行される前に光学伝達特性フィルタが記憶されていてもよいし、記憶されていなくてもよい。後者の場合は、例えば、プログラムが格納された記録媒体に、複数の撮像装置が共通に使用可能な光学伝達特性フィルタを記録しておく。そして、該プログラムがインストールされる情報処理装置あるいは画像処理装置の外部記憶装置に、それら光学伝達特性フィルタを記憶させればよい。
【0032】
また、実施形態1では、光学伝達特性フィルタそのものが記憶手段320に記憶されている形態について説明したが、点像分布関数や光学伝達関数等が記憶されていてもよい。その場合は、点像分布関数や光学伝達関数に対してフーリエ変換や逆フーリエ変換をCPU310が実行し、光学伝達特性フィルタを生成すればよい。尚、本明細書において回復フィルタと光学伝達特性フィルタは同義であり、記述のとおり光学伝達特性は回復フィルタを含む。
【0033】
では、CPU310が情報処理装置200に実行させるプログラムの処理フローについて図6を用いて説明する。まずステップS10(特定情報取得ステップ)において、CPU310は画像と光学伝達特性フィルタを特定するための特定情報を取得する。続いて、ステップS20(光学伝達特性取得ステップ)において、CPU310は特定情報が特定する光学伝達特性フィルタ(光学伝達特性)を取得する。続いて、ステップS30(回復ステップ)において、CPU310は光学伝達特性フィルタをステップS10で取得した画像に対して実空間上で畳み込む処理を実行する。尚、必ずしもステップS10において回復対象の画像を取得する必要はなく、ステップS30において、あるいはステップS30の前工程において回復対象の画像を取得してもよい。尚、先に説明した信号処理を実行するステップは、必要に応じて適宜実行されれば良いので、信号処理のステップは含めずに説明した。
【0034】
また、実施形態1では情報処理装置のCPU310がプログラムの指示に従って各ステップを実行する形態について説明したが、各ステップ又はその一部をハードウェアで構成しても本発明の効果を得ることができる。図7に、画像処理装置を例にハードウェアで構成する場合の概略構成図を示す。画像処理装置700と通信可能な撮像装置の説明は図4における説明と重複するので割愛する。
【0035】
画像処理装置700は、光学伝達特性取得手段710、画像回復手段720、信号処理手段730、記憶手段750を有する。まず、画像処理装置700は、回復対象となる画像と光学伝達特性フィルタを特定可能な特定情報を取得する。光学伝達特性取得手段710は記憶手段750から特定情報が特定する光学伝達特性フィルタを記憶手段750から取得する。画像回復手段720は取得された光学伝達特性フィルタと画像を畳み込むことにより回復画像を生成する。信号処理手段730は、回復画像に対してデモザイキング等の画像処理を行う。以上の各手段により、所望の回復画像を得ることができる。
【0036】
以上のような画像処理システムを使用するその他の例としては、情報処理装置200のCPU310に替えてプリンタに搭載された演算処理部を使用することでプリント時に画像回復処理を実行することも可能である。
【0037】
以上の説明のとおり発明者は、撮像装置のリードタイプに応じて光学伝達特性にも類似性(似通った結像特性を示す)があることに着目した。その着眼点により成された発明によれば、類似した光学伝達特性を代表する光学伝達特性(代表光学伝達特性)を予め記憶手段に記憶させ、その光学伝達特性を用いて回復処理を行うことにより、データ容量を削減しつつ、良質な回復画像を得ることができる。
【0038】
尚、特定情報は、回復処理で用いる光学伝達特性を特定することが可能な情報であれば良いため、撮影条件そのもの、或いは撮影条件の一部であっても構わない。撮影条件としては、焦点距離、Fno、物体距離、像高(画素の位置)、撮像装置を識別可能な情報、光学系を識別可能な情報、ズーム位置がある。その他に、物体距離に対するフォーカス状態、絞りの状態、防振レンズのレンズ位置、レンズ群の数、レンズの構造に関する情報等が挙げられる。さらに、撮像装置の撮像素子の画素によって開口特性も変化するので、この撮像素子に関する情報を特定情報として使用しても良い。あるいは、撮像装置ごとに異なるローパスフィルタを使用している場合には、これに関する情報も光学伝達特性を特定する特定情報として使用することができる。
【0039】
また、実施形態1では撮像装置が直接的に光学伝達特性を特定するための特定情報を出力したが、CPU310が撮像装置の情報や撮影条件そのものの情報から光学伝達特性を特定できる情報を生成して特定情報として使用しても良い。この場合、特定情報は撮像装置側で生成してもよいし、画像処理装置側で生成しても良い。また、これらの特定情報は、画像の一部に付加しても良いし、別の機器やネットワーク上を介して特定情報を取得してもかまわない。
【0040】
また、実施形態1はCPUが記憶手段に記憶された光学伝達特性フィルタの中から、特定情報によって特定される光学伝達特性フィルタを取得する方法について記載したがこれに限られない。例えば、記憶手段に、特定情報と記憶手段に格納された光学伝達特性フィルタのアドレスを対応させるルックアップテーブル(LUT)を記憶させる。そして、CPUがルックアップテーブルを参照し、特定情報に対応した光学伝達特性フィルタを取得してもよい。つまり、本明細書の特定情報とは直に光学伝達特性を特定する情報であってもよいし、間接的に光学伝達特性を特定する情報であってもよい。
【0041】
また、実施形態1では撮像光学系と撮像装置本体が別体の場合について説明したが、レンズと撮像素子が一体のコンパクトカメラ等にであってもよい。
【0042】
また、実施形態1では情報処理装置のCPU310が全てのステップを実行する形態について説明したが、撮像装置、情報処理装置のそれぞれのCPUが一部のステップを実行しても、本発明の効果を得ることができる。つまり、複数の撮像装置から出力される特定情報と画像に基づいて画像回復処理を実行する画像処理システムであれば本発明の効果を得ることができる。
【0043】
ここで、本発明が扱う画像(画像データ)について簡単に説明する。本発明が扱う画像は、例えばRGBの色成分や、色空間により表現される複数の成分を有している。色空間で表現される成分とは、例えば、LCHで表現される明度、色相、彩度や、あるいはYCbCrで表現される輝度、色差信号等である。
【0044】
画像は、各画素に1つの色成分の信号値を有するモザイク画像でも良いし、このモザイク画像を色補間処理(デモザイキング処理)して画素ごとに複数の色成分の信号値を有するデモザイク画像でも良い。このモザイク画像は色補間処理(デモザイキング処理)やガンマ変換と呼ばれる信号値変換やJPEGで知られる画像圧縮などの諸々の画像処理を行う前の画像として、RAW画像とも呼ばれている。特に、単板の撮像素子で複数の色成分情報を得る場合には、各画素に分光透過率の異なるカラーフィルタを配置して上記のような各画素に1つの色成分の信号値を有するモザイク画像を取得することになる。この場合、上記の色補間処理を行うことで各画素に複数の色成分の信号値を有した画像を生成することができる。一方、多板、例えば3板の撮像素子を用いる場合には各撮像素子ごとに分光透過率の異なるカラーフィルタを配置して、撮像素子ごとに異なる色成分の画像信号値を得る。この場合、各撮像素子間で対応する画素ごとにそれぞれの色成分の信号値を有しているので、特に色補間処理を行わずに各画素に複数の色成分の信号値を有した画像を生成することができる。
【0045】
また画像には、レンズの焦点距離、絞り、物体距離などの撮影条件を付帯することができる。撮像から出力までの一連の処理を1つの閉じた撮像装置で行う場合には、画像に撮影条件を付帯しなくとも装置内で取得することができる。その場合は、例えば状態検知部207(図2)などから特定情報を取得することができる。しかし、撮像装置からRAW画像を取得し、別体の画像処理装置あるいは情報処理装置で所望の画像処理、信号処理を行う場合には、画像に撮影条件の情報を付帯することが好ましい。
【0046】
では次に、既出の画像回復処理の概要について説明する。画像回復とは、画像に現れる収差を低減させる処理であり、収差とは、例えば撮像光学系の球面収差、コマ収差、像面湾曲、非点収差等である。これら収差により、本来は一点に結像すべき像(点像)が、広がりのあるぼけた像として撮像素子(受光素子)上に形成されてしまう。この収差によるぼけは、光学的には点像分布関数(PSF)あるいは点像強度分布により表わされる。
【0047】
元の画像をf(x,y)、撮影画像(劣化画像)をg(x,y)、点像分布関数(PSF)をh(x,y)とすると、以下の式が成り立つ。ただし、*は畳み込み積分を示し、(x,y)は画像上の座標を示す。
g(x,y)=h(x,y)*f(x,y)・・・(式1)
実施形態1では、元の画像f(x,y)は回復画像、撮影画像g(x,y)は撮像装置から出力される画像に対応する。式1をフーリエ変換して周波数空間での表示形式に変換すると、式2のように式1の右辺はそれぞれの周波数の積で表わされる。
G(u,v)=H(u,v)・F(u,v)・・・(式2)
式2のH(u,v)は点像強度分布関数h(x,y)をフーリエ変換したものであり、言い換えれば光学伝達関数(OTF)である。G(u,v)、F(u,v)はそれぞれg(x,y),f(x,y)をフーリエ変換したものである。(u,v)は2次元周波数空間での座標、即ち周波数である。また、・は乗算を示す記号である。
【0048】
撮影画像G(u,v)から回復画像F(u,v)を得るためには、式2の両辺をHで除算すればよい。
G(u,v)/H(u,v)=F(u,v)・・・(式3)
このF(u,v)、即ちG(u,v)/H(u,v)を逆フーリエ変換して実空間(実面)に戻すことで、回復画像f(x,y)が得られる。
【0049】
ここで、1/H(u,v)を逆フーリエ変換したものをR(x,y)とすると、式3は式4に書き換えることができる。
g(x,y)*R(x,y)=f(x,y)・・・(式4)
つまり、式4で表わすように実空間の撮影画像にR(x,y)を畳み込み積分処理を行うことで回復画像を得ることができる。
【0050】
このR(x,y)が回復フィルタ(光学伝達特性フィルタ)である。一般的にこの回復フィルタは画像が2次元のとき、図8(a)に示したように画像の各画素に対応したタップ(セル)を有する2次元のフィルタとなる。また、回復フィルタのタップ数は一般的に多いほど回復精度が向上するので、要求画質、画像処理能力、収差の特性等に応じて実現可能なタップ数を設定すればよい。この回復フィルタは収差の特性を反映している必要があるため、従来の縦横3×3タップ程度のエッジ強調フィルタ(ハイパスフィルタ)等とは性質が異なる。
【0051】
図8(b)は(a)の回復フィルタの断面図であり、横軸はタップ、縦軸はタップの値である。この各タップが持つ値の分布が、収差によって空間的に広がった信号値を元の1点に戻す役割を果たしている。この回復フィルタの作成する方法としては、例えば撮像光学系の光学伝達関数(OTF)を計算もしくは計測し、その逆関数に基づいた関数を逆フーリエ変換して得る方法がある。尚、フィルタを取得するとは、このタップの係数値を取得することである。
【0052】
尚、光学伝達特性には撮像光学系のみならず、撮像の過程で光学伝達特性に影響を与える要因を含めることができる。例えば、複屈折を有する光学ローパスフィルタの特性や光源の撮像素子の開口形状や各種波長フィルタの分光特性が挙げられる。複屈折を有する光学ローパスフィルタは光学伝達特性の周波数特性に対して高周波成分を抑制するものであるし、撮像素子はその傾きにより撮像素子上でのぼけ像が変化するので伝達特性を変化させる要因の1つである。これらを含めた広義の光学伝達特性に基づいて、画像回復処理を行うことがより望ましい。
【0053】
また、実空間において、回復フィルタを画像に対して畳み込み処理することの利点は、画像回復処理の工程で画像のフーリエ変換や逆フーリエ変換を行う必要がないのでより高速な処理が可能な点にある。図8(a)に示したフィルタは正方配列(縦と横のタップ数が同じ)のフィルタであるが、これに限られず、回復フィルタの縦横のタップ数は任意に変更することができる。
【0054】
以上、理想的な回復フィルタについて式を用いて説明したが、実際の画像にはノイズ成分があるため上記のような光学伝達関数(OTF)の逆関数に基づいた回復フィルタを用いると、回復とともにノイズ成分が増幅されてしまう。ノイズ成分の増幅を抑制するには、例えばウィナーフィルタのような応用的な回復フィルタを用いてもよい。
【0055】
尚、画像回復処理を行う際に、回復の対象とする収差は特に限られないが、画像回復処理が回復の対象とする収差はザイデル収差(球面収差、コマ収差、非点収差、像面湾曲、歪曲収差)のうち、球面収差、コマ収差、非点収差、像面湾曲とする。歪曲収差のような幾何学的に大きな補正量を必要とする収差は対象としないことが好ましい。なぜならば、幾何学的な補正量が大きくなると、回復フィルタの係数値の変動が激しくなり、回復画像にリンギング等の好ましくないアーティファクトが現れやすくなるからである。
【0056】
画像回復処理が行う回復の対象を球面収差、コマ収差、非点収差、像面湾曲とすることによるその他の効果は、2次元データである回復フィルタに歪曲収差補正を行う成分を含めるよりもデータ量を減らすことができるという効果が得られる。理由は、幾何学的な歪曲収差補正を行うのに必要なデータは画像の伸縮度合を表す1次元データであればよいので、2次元データである回復フィルタに歪曲収差を補正する成分を含めるよりもデータの容量を減らすことができるからである。実施形態1のように、様々な収差を持つ画像に対して、特定の画像処理装置で画像回復処理を行うような場合は、特に有効である。
【0057】
また、以上説明した画像回復処理は撮像光学系を持たない装置にも応用することができる。例えば、被写体面に撮像素子を密着させて撮像を行うスキャナ(読み取り装置)やX線撮像装置である。これらはレンズに代表される撮像光学系を有さないが、撮像素子による画像サンプリングなどにより出力画像は少なからず劣化する。この劣化特性は装置の伝達特性(伝達関数)であるので、撮像光学系によるものではないが、上記の光学伝達特性に相当するものである。したがって、撮像光学系を有さずとも、伝達特性に基づいて回復画像を生成することができる。
【0058】
(実施形態2)
実施形態1では、異なる撮影条件で撮像された画像であっても、その光学伝達特性に類似性があれば、共通の光学伝達特性を使用して画像回復を行うというものであった。実施形態2は、異なる
実施形態1において、記憶手段に記憶された共通の光学伝達特性フィルタ(以下、回復フィルタ)をR’(x,y)とすると、画像回復処理により得られる画像f’(x,y)は式4と同じように次のように表せる。
g(x,y)*R’(x,y)=f’(x,y)・・・式4’
ここで、*は畳みこみ積分を表わしている。
【0059】
f’(x,y)は実際の光学伝達特性から計算される回復フィルタR(x,y)を使用して計算されるf(x,y)とは異なるため、画像に以下のような現象が生じることがある。回復フィルタR’(x,y)の回復度合いが、回復フィルタR(x,y)よりも強い場合には、画像のエッジ部あるいはエッジ付近に信号値の低い部分(掘り下げ成分)が発生する。これは、収差によって空間的に広がった信号値を元の1点に戻す効果が強く働き、その周辺の信号値が足りなくなるためである。この現象は、エッジ強調を強くかけすぎた時に発生するオーバーシュートの状態に類似した現象である。
【0060】
また、回復フィルタR’(x,y)の回復度合いが、回復フィルタR(x,y)よりも弱い場合には、光学系による収差により画像に現れるぼけを良好に取り除くことが難しくなる。これは、収差によって空間的に広がった信号値を元の1点に戻す効果が弱くなるためである。さらに、この現象がRGBチャンネル(色成分)ごとにばらばらに発生すると、エッジ部分の先鋭度の違いによりエッジ部分に色づきが発生してしまう。
【0061】
そこで実施形態2では、図9(a)に示したように光学伝達特性の一部に対してパターン化された回復フィルタを記憶手段920に格納する。ここで光学伝達特性の一部とは、例えば、光学伝達関数の位相成分や光学伝達特性の振幅成分などである。パターン化とは、光学系を介することにより生じる、理想的な位相分布または振幅分布に対するずれ(劣化)の表れ方に類似性のある撮像装置を同じグループに分類すること、あるいはその分類ごとに適切な位相回復を行う回復フィルタを割り当てることである。つまり、記憶手段920には、位相の補正成分が共通化された回復フィルタが記憶される。これにより、画質の低下を抑えつつ、データ容量を削減することが可能になる。
【0062】
では、プログラムが情報処理装置に実行させる処理について図9(a)、(b)を用いて説明する。撮像装置900a、撮像装置900bはコマ収差の出方に類似性がある撮像装置である。撮像装置900cはコマ収差の出方が撮像装置900a、900bとは異なる。ステップS91において、情報処理装置900のCPU(以下、単にCPUと記載する)は、撮像装置900a、撮像装置900b、撮像装置900cから画像データ901a、901b、901cと特定情報902a、902b、902cを取得する。実施形態2における特定情報は、撮像光学系の識別コードとする。
【0063】
ステップS92において、CPUは特定情報をもとに記憶手段920から画像データ900a、900b、900cを回復する回復フィルタを取得する。撮像装置900a、900bはコマ収差の出方が同じなので、CPUにより特定情報により共通に使用可能な位相成分補正フィルタNo.1が取得される。撮像装置900cに対しては位相成分補正フィルタNo.2が取得される。
【0064】
ステップS93において、CPUはそれぞれの画像データに対応する位相成分補正フィルタを用いて位相成分が回復された回復画像を生成する。位相成分補正フィルタはコマ収差だけではなく、倍率色収差等の非対称な収差を補正することができる。
上記説明のとおり、互いに異なる撮像条件下で撮像された画像であっても、位相成分補正フィルタは非対称収差の出方ごとに、共通の回復フィルタで回復するので、データ容量を削減できる。
【0065】
また、コマ収差の出方が異なる画像データに対して、同じ光学伝達特性を用いて回復すると色づきが助長されてしまう場合があるが、上記処理を行えば、収差によって広がった信号値を点像が線対称になる方向にシフトさせることができる。これにより、光学伝達特性の振幅成分には作用しないので、エッジ部の掘り下げを抑制ことができる。
【0066】
画像の振幅成分の補正には、図11に示したエッジ強調フィルタを用いることができる。エッジ強調処理を加えることで画像の先鋭度を向上させることができる。エッジ強調の強さは簡易に調整が可能なので、適宜最適な値に調整すればよい。
【0067】
そしてステップS93において、CPUはそれぞれの回復画像に対してホワイトバランス調整、ノイズリダクション処理等の他の信号処理を行い、出力画像を出力する。尚、エッジ強調処理と信号処理を分けて記載したが、これらの処理は同時に行うことも可能である。また、図11に示したエッジ強調フィルタの係数は、1次微分、2次微分、また、そのゲイン(回復度合い)に応じて適宜変更して用いることができる。
【0068】
また、本実施形態のその他の効果として、位相成分のみ画像回復処理を行い、先鋭度はエッジ強調処理を使用することで、回復度合いに応じた回復フィルタの生成が不要になるため、高速な処理が実現できるという点が挙げられる。
【0069】
尚、位相成分の補正に用いた回復フィルタ(位相成分補正フィルタ)はフィルタのタップ数(サイズ)が大きい方が位相劣化をより高精度に補正することができる。そのため、画像中で最大のタップ数を有する回復フィルタの一辺のタップ数はエッジ強調フィルタの一辺のタップ数の3倍以上とすることが好ましい。さらに好ましくは、3倍以上、10倍以下とすることが好ましい。下限を下回ると、位相劣化の補正精度が低下し、収差の非対称性が十分に補正できない。また上限を上回ると、補正精度は高くなるがフィルタのタップ数が大きくなるため、データ容量の増加や処理速度の低下を招く。
【0070】
実施形態2の変形例として、図10に示したように光学伝達特性の振幅成分をパターン化し、これに相当する回復フィルタ(振幅成分共通フィルタ)を記憶手段920に格納し、使用してもよい。情報処理装置900のCPUは、撮像装置960a、960b、960cにより撮像された画像と特定情報を取得する。画像に付帯された特定情報962a、962b、962cを元に、記憶手段920にあらかじめ記憶された振幅成分共通フィルタの中から特定情報で特定される振幅成分共通フィルタを取得する。この振幅成分共通フィルタは画像のRGBチャンネルの振幅成分を平均化した振幅成分を有する光学伝達特性であってもよいし、RGBチャンネルに対する光学伝達特性に重み付けをし、それらの平均した光学伝達特性を使用しても良い。そして、取得された振幅成分共通フィルタを用いて回復画像を生成する。
【0071】
以上のような、振幅成分共通フィルタを使用すれば、倍率色収差の成分には変化を与えずに、画像の先鋭度のみを高くすることができる。
【0072】
尚、実施形態2ではCPUが主体となり各ステップを情報処理装置に実行させる例を説明したが、各ステップの主体がハードウェアであってもよい。
【0073】
(実施形態3)
実施形態3では、回復フィルタには倍率色収差を補正する成分を含めずに、RGBチャンネルごとに幾何学的な画像の伸縮を行う倍率色収差補正(伸縮処理)を行うことにより、画像回復処理によるエッジ部の色づきをより低減する効果を得る形態について説明する。
【0074】
以下、図12を参照して実施形態3の画像処理システムについて説明する。図12の画像処理装置119には任意の数の撮像装置が接続可能であり、撮像装置1、2が接続されているものとする。撮像装置1、2は類似した倍率色収差特性を有する。これらの撮像装置で撮像された画像にはEXIF情報と呼ばれる、撮像装置の識別コードや画像を撮影したレンズの焦点距離、Fno等の撮影条件の情報が記載されている。本実施形態では、これらの情報から、光学伝達特性を識別する識別コードを生成し特定情報として使用している。
撮像装置1から出力される画像データ111aは画像処理装置119に送られる。プログラムは、以下の処理を画像処理装置あるいは情報処理装置に実行させる。
【0075】
まずステップS114において、画像データ111aに記載された特定情報112aを元に、記憶領域118に記憶された光学伝達特性の中から、特定情報により特定される光学伝達特性を取得する。ここで使用される光学伝達特性はカメラのRGBチャンネルに対する光学伝達特性を平均して得られる光学伝達特性フィルタNo.1である。このようなフィルタを用いて振幅成分のみを回復すると、倍率色収差成分はそのままに先鋭度のみを改善することができる。そこで、ステップS113において撮像装置1から出力された画像に幾何学的な画像の伸張を行う倍率色収差補正処理を行う。この過程により、画像データ111aの倍率色収差による色づきが低減された倍率色収差補正画像が得られる。次に、S115において、倍率色収差補正画像とステップS114において取得された光学伝達特性を用いて回復画像を生成する。ステップS113において、幾何学的な倍率色収差補正画像に対して画像回復を行うことで、幾何学的な倍率色収差補正を行わなかった画像に対して画像回復処理を実行し生成された回復画像に比べ、色ずれの発生を抑制することができる。
【0076】
そしてステップS116において、回復画像に対して、ホワイトバランス調整、ノイズリダクション処理、エッジ強調処理等の信号処理を行うことで出力画像を得ることができる(S117)。
【0077】
撮像装置2により撮像された画像データ111bに対しても、プログラムは撮像装置1と同じように処理を画像処理装置119に実行させる。撮像装置2は撮像装置1と類似した倍率色収差特性を有するので、ステップS114においては、撮像装置1と同じ光学伝達特性(振幅成分共通フィルタNo.1)を使用することができる。このように、一部を共通化させた光学伝達特性(本実施形態では振幅成分)を利用することにより、データ容量を削減できる。
【0078】
また、本実施形態のように、幾何学的な倍率色収差補正を画像回復処理とは別に行えば、より色づきの低減効果が見込める。
【0079】
また、光学伝達特性を倍率色収差の出方の類似性だけでなく、ズームタイプ、フォーカスタイプ、防振タイプ等に応じてあらかじめ用意しておくことが好ましい。そうすれば、画像処理システム構築後に新たな撮像装置3が接続され(通信可能になり)、撮像装置3により撮像された画像データ111cを画像処理装置119で回復しようとした場合にも、適切な画像回復を行うことができる。
【0080】
(変形例)
次に光学伝達特性の記憶方法および取得方法のその他の変形例について図13を参照して説明する。記憶手段には、複数の光学伝達特性表現ベクトルを持った光学伝達特性表現空間の中に離散的に配置された光学伝達特性が記憶されている。ここで、光学伝達特性表現ベクトルとは光学伝達特性の性質を表現できるベクトルである。光学伝達特性表現ベクトルとして、以下のような例が挙げられる。
【0081】
収差的な観点から見ると、ある撮影条件における結像特性は、球面収差成分や非点収差成分、コマ収差成分等の足し算で表現できる。これを数式的に記述したものがツェルニケ多項式であり、直交座標空間により表現される波面収差として知られている。
【0082】
また、収差を点像強度分布(PSF)の観点で見ると、球面収差は点像強度分布の回転対称な広がり成分、非点収差は点像強度分布の直交する2つの方向(例えはメリジオナル方向とサジタル方向)のアスペクト比成分として表現できる。
【0083】
また、コマ収差は線対称な点像強度分布の対称軸内の非対称成分として表現できる。非対称成分の基準点としては、例えば、光束の中心を通る光線と撮像面の交点、絞りの中心を通る光線と撮像面の交点、あるいは、点像強度分布の重心等が挙げられる。コマ収差が発生している点像強度分布の例を図13に示す。コマ収差は、x1軸に関して非対称、x2軸に関して対称である。図13中のx1、x2は像面上の点像分布強度の中心を通り直交する座標軸を、θはx1軸を基準としたときのアジムス角を示している。点像強度分布の中心とは基準波長の主光線と像面の交点、あるいは基準波長の点像の重心である。
【0084】
また、倍率色収差は異なる色成分の点像の重心ズレ成分として表現できる。成分とは例えばR、G、B等の色の成分である。
【0085】
このような収差あるいは点像強度分布に基づいた表現を光学伝達特性表現ベクトルとして定義している。また、光学系が2倍の大きさになれば、点像の大きさも2倍になるので、点像の大きさを比例倍で規定する成分も光学伝達特性表現ベクトルの1つとして定義できる。
【0086】
図13に光学伝達特性表現空間を模式的に示す。図13(a)は、球面収差成分、非点収差成分、コマ収差成分を各座標軸として、光学伝達特性を表現した空間の模式図である。非点収差がほぼ零に近いときの非点収差成分とコマ収差成分の軸に平行な断面の一部を示したのが図13(b)であり、横軸がコマ収差成分、縦軸が非点収差成分、そして離散的に配置された点像強度分布(PSF)を示している。
【0087】
記憶手段には、光学伝達特性表現空間中の各点(黒丸)に対応する点像強度分布(光学伝達特性)が記憶されている。もちろん、格子点から外れた位置の状態に対応する光学伝達特性を記憶させても構わない。
【0088】
このような光学伝達特性表現ベクトルを用いることにより、記憶手段が、各撮像装置がとり得るすべての光学伝達特性に対応した回復フィルタを記憶しておかなくてもよい。つまり、代表点(特定の光学伝達特性)の中から近接点を選択し、その近接点の光学伝達特性から回復フィルタを生成すればよい。例えば、撮像装置の光学伝達特性が図12の大きな白丸で示した点である場合、記憶領域に記憶された光学伝達特性のうち、実際の光学伝達特性の点から最小距離に位置する光学伝達特性(図13(a)の小さい白丸)に基づいて回復フィルタを生成すればよい。あるいは、代表点と代表点を補間すればよい。これにより実際の光学伝達特性に対応する光学伝達特性を生成することが出来るので、各撮影条件に対応した回復フィルタを各々記憶する場合に比べ、データ量を削減できる。
【0089】
尚、格子の分割数は、特定の座標軸に関して、その最小値(零)から最大値までを3分割から20分割する程度が望ましい。分割数(離散値の数)が3を下回ると予め記憶する光学伝達特性と実際の撮影条件あるいは撮像装置の光学伝達特性の差異が大きくなり、画像回復の効果が低減してしまう。また、分割数が20を超えると、予め記憶する光学伝達特性の数が多くなり、データ容量の削減効果が低くなってしまう。
【0090】
尚、図13(a)は3つのパラメータ(球面収差、コマ収差、非点収差、)により表わされる3次元の光学伝達特性表現空間としたが、例えば、倍率色収差成分等を加えた4つ以上の状態を表した4次元以上の光学伝達特性表現空間としてもよい。4つ以上の収差成分を軸として光学伝達特性を表現した空間とすることで、より高精度に画像回復を行うことができる。
【0091】
以上説明したような、光学伝達特性表現空間を定義しておけば、同じ光学伝達特性の重複を抑制できるとともに、想定し得る光学伝達特性を網羅した光学伝達特性表現空間が構築できるため、効率的に画像処理システムのデータ容量を削減することができる。これにより、画像処理システムのデータ量を小さく抑えながらも、効率的に画像回復の効果を得ることが可能となる。
【0092】
実施形態4においては、光学伝達特性として点像強度分布を用いる形態について説明したが、記憶手段に記憶されている光学伝達特性は2次元のデータ(画素値)を持つ回復フィルタそのものであっても良い。あるいは、撮像装置の撮影条件に対応するザイデル収差のいずれか、点像強度分布関数、光学伝達関数、回復フィルタ、波面収差および瞳関数のいずれかであればよい。
【0093】
光学伝達特性が図13(b)で示したように座標で特定可能なように記憶されている場合は、撮像装置からの特定情報は座標として与えられる。画像処理装置は、指定の座標に対応する光学伝達特性を取得する。この際、外部装置に演算部があれば特定された光学伝達特性に対して補間処理を行ったものを取得してもよい。
【0094】
例えば、図13(a)中の大きな白丸で示した状態が特定情報で指定された座標であるとする。特定情報で指定された座標またはその近傍の格子点に対応する光学伝達特性が存在する場合には、その格子点の光学伝達特性を取得して画像回復処理に用いることができる。
【0095】
特定情報が指定する座標またはその近傍(または、最も近い)に光学伝達特性の存在する格子点が存在しない場合には、特定情報で指定した座標から最も近い位置に存在する光学伝達特性に対して補間処理を行って、上記の座標での光学伝達特性を取得する。補間処理を行うことで、撮像装置の実際の光学伝達特性と特定情報が指定した光学伝達特性の差異をより小さくでき、より精度の高い画像回復処理を行うことができる。
その他の方法として、特定情報で指定された座標と予め格納された光学伝達特性の光学伝達特性表現空間中の距離を算出し、最も距離の短いものを取得すればよい。
【0096】
あるいは、光学伝達特性表現空間中の方向による重み付けを行い、光学伝達特性表現空間中の距離と方向ウェイトの積を評価関数として、その評価関数に基づいて補間処理のための光学伝達特性を取得することもできる。
【0097】
その他の方法として例えば、記憶領域に格納される光学伝達特性に識別番号を割り振っておいて、特定情報として入力される識別番号と一致する光学伝達特性を取得する。あるいは、画像に付加(付帯)される特定情報を記憶領域上のアドレスと関連させ光学伝達特性を取得する方法も考えられる。あるいは複数の画像を解析して、光学伝達特性を取得してもよい。
【0098】
このように光学伝達特性取得手段は、特定情報が特定する光学伝達特性を取得することであり、この目的を達成する方法であれば、上記の方法に限定されず種々の方法をとることが可能である。
【0099】
尚、予め記憶された光学伝達特性を補間して画像回復処理に使用する光学伝達特性とする場合は、点像強度分布や光学伝達関数を使用すると補間精度を向上させることができる。この理由について再度図8を用いて説明する。図8(a)は11×11タップの回復フィルタの模式図である。図8(b)が示すように、回復フィルタは各タップ間の変動が激しいが、点像強度分布は図5(a)、(b)に示したように強度の変動が滑らかである。光学伝達関数も同様に強度の変動が滑らかである。この理由にから、補間処理を行う場合には点像強度分布や光学伝達関数を使用すると、補間精度を向上させることができる。
【0100】
但し、補間処理に点像強度分布や光学伝達関数を使用する場合には、フーリエ変換や逆フーリエ変換を行って、回復フィルタに変換することが必要となる。このため処理に時間を要するが、フーリエ変換や逆フーリエ変換を行うことで、回復度合いに応じた回復フィルタを作成することが可能になる。一方、光学伝達特性として回復フィルタそのものを使用する場合は、フーリエ変換や逆フーリエ変換は行わなくて良いので高速な処理が可能であるが、前述のように画像回復処理の精度が落ちるので、精度と処理時間との兼ね合いが重要になる。
【0101】
また、光学伝達特性をベクトルではなく、F(x,y,z)で光学伝達特性が表現できるような関数でもつことも考えられる。しかしながら、この場合に比べて、本実施形態で示したように光学伝達特性をベクトル(表現)として記憶する方が、データ量をより少なくすることができる場合が多いのでより好ましい。理由は、関数で作成した場合、精度によっては関数が複雑になり、データ量が多くなる場合があるからである。
【0102】
尚、外部の記憶手段としては外部装置のストレージ領域やネットワーク上の領域を使用することも可能である。
【0103】
その他の実施形態として、同じ撮像装置内であっても撮影条件によっては、その撮影条件における光学伝達特性に類似性を有する場合があるので、そのような場合は同じ光学伝達特性フィルタを用いて画像回復を行うという形態も可能である。この場合は、撮像装置内の記憶手段に、異なる撮影条件(特定情報)が同じ光学伝達特性を特定するような対応テーブルを記憶させると良い。また、互いに異なる複数の撮影条件の差(特定情報の差)がある範囲内であれば、同じ光学伝達特性を取得させるようにプログラムを構成してもよい。
【0104】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【0105】
100、101、102 撮像装置
200 画像処理装置
310 CPU
320 記憶手段
【技術分野】
【0001】
本発明は、画像の回復(復元)処理を行うプログラム、画像処理装置、画像処理方法および撮像装置に関する。
【背景技術】
【0002】
従来、撮像装置の撮像光学系の収差の影響があらわれた画像(劣化画像)に対する画像処理方法として、光学伝達関数(OTF)を用いて画像を回復(復元)する処理がある。この方法は画像回復や画像復元という言葉で呼ばれている。以降、この撮像光学系、あるいはそれに準ずるシステムの光学伝達関数(OTF)を用いて画像の劣化を補正あるいは低減する処理を画像回復処理と記す。
【0003】
特許文献1は、複数の光学系による撮影画像の画像回復処理を1つの装置で行う撮像システムを開示している。
特許文献2は、撮像装置の索引を付加した情報を使用して画像補正を行う画像処理システムを開示している。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2006−311472号公報
【特許文献2】特登録04020262号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献1または2に開示された技術では、複数の撮像装置が使用される場合、各撮像装置に対応する回復フィルタ(以下、光学伝達特性フィルタ)を用意する必要がある。この為、撮像装置の数の増加に比例して、必要とされるデータ容量が増加してしまう。
【0006】
そこで本発明は、画像回復処理に必要なデータ容量を抑えることができるプログラム、画像処理装置、画像処理方法および撮像装置を提供することを課題とする。
本発明のその他の課題として、回復フィルタが実際の光学伝達特性に対応していない場合、回復画像にエッジ部の色づきやエッジ部の掘り下げ(エッジ部が本来の色よりも暗く表示されてしまう現象)が現れてしまう場合がある。
【0007】
そこで本発明は、データ容量の増加を抑えつつ、良好な回復画像を得ることが可能な撮像装置、画像処理装置、画像処理方法およびプログラムを提供することを課題とする。
【課題を解決するための手段】
【0008】
上記課題を解決するために、本発明のプログラムは、
互いに異なる撮影条件で撮像された第1、第2の画像を取得する画像取得ステップと、
前記第1、第2の画像の画像を回復するための回復用光学伝達特性を特定する特定情報を取得する特定情報取得ステップと、
前記特定情報により特定される回復用光学伝達特性を用いて前記第1および第2の画像を回復する回復ステップを情報処理装置に実行させるプログラムであって、
前記特定情報取得ステップにおいて、前記互いに異なる撮影条件における光学伝達特性の位相あるいは振幅に関する特性が類似している場合、前記特定情報に基づいて同じ回復用光学伝達特性が取得されることを特徴とする。
【発明の効果】
【0009】
本発明によれば、データの容量増加を抑えつつ、良好な回復画像を得ることが可能となる。
【図面の簡単な説明】
【0010】
【図1】画像処理システムの概略構成図
【図2】撮像装置の概略構成図
【図3】情報処理装置の概略構成図
【図4】実施形態1の画像処理システムの説明図
【図5】撮像装置の点像強度分布の説明図
【図6】プログラムの処理フローチャート
【図7】画像処理装置の概略構成図
【図8】回復フィルタの説明図
【図9】実施形態2の画像処理システムの説明図
【図10】実施形態2の変形例の画像処理システムの説明図
【図11】エッジ強調フィルタの説明図
【図12】実施形態3の画像処理システムの説明図
【図13】光学伝達特性の記憶の仕方についての説明図
【発明を実施するための形態】
【0011】
本発明の詳細な実施形態について説明する前に、本発明の概要を述べる。
画像回復処理を行う画像処理システムにおいて、光学的に似通った光学伝達特性に対して共通の回復フィルタを使用することで、システム全体の回復フィルタに関するデータ容量の増加を抑えることが考えられる。しかし、この方法では似た光学伝達特性であっても厳密には理想的な光学伝達特性とは一致していないため、画像のエッジ部に色づきや掘り下げ等のアーティフアクトが発生することがある。本発明は、光学伝達特性の一部を使用し、他のカメラ信号処理を併用することで、データ容量の削減と安定した画像回復処理を同時に達成することを目的とする。
【0012】
まず各実施形態の説明を行う前に、光学伝達特性について説明する。光学伝達特性とは、光学系の結像に関する特性(結像特性)である。例えば、点像強度分布(Point Spread Function、以下PSF)、光学伝達関数(Optical Transfer Function、以下OTF)、収差(例えば、波面収差)、瞳関数等である。本明細書では、画像回復処理に使用される光学伝達特性フィルタ(回復フィルタ)も結像特性が反映された光学伝達特性の1つとして定義する。以下に、本発明を実施するための形態を、添付の図面に基づいて詳細に説明する。
【0013】
(実施形態1)
図1は本発明にかかるプログラムがインストールされた情報処理装置と、その情報処理装置と接続可能(通信可能)な撮像装置を有する画像処理システムの概略構成図である。撮像光学系10、12および14は被写体の像を撮像装置11、13、15のCCDやCMOSセンサのような撮像素子(受光素子)上に結像する。撮像素子は光学系あるいはそれに準ずるシステムの伝達特性による光学像を画像に変換できるものであればよい。撮像光学系は、カメラ本体(撮像装置本体)に対して一体的に構成された撮像レンズであっても良いし、カメラ本体に対して着脱可能な交換レンズであっても良いが、この実施形態1(図1)では交換レンズとして記載している。実施形態1では、撮像光学系と撮像装置本体を含めて撮像装置100、101および102とする。情報処理装置200は撮像装置100、101および102と画像等のデータの送受信を行うことが可能であり、情報処理装置200は受信(取得)した画像に対して画像回復処理を行い、回復画像を生成する。
【0014】
次に、撮像装置の概略構成について図2を用いて説明する。この図2中の矢印は主な情報の伝達経路を表している。撮像光学系10は絞り10aやフォーカスレンズ10bを有し、被写体の像(光学像)を撮像素子に結像させる。撮像素子202(光電変換素子、受光素子)は被写体の像を電気信号に変換するCCDやCMOSセンサ等である。撮像素子202から出力されたアナログ信号の画像はA/D(アナログデジタル)コンバータ203によりデジタル信号の画像に変換される。
【0015】
画像処理部204はA/Dコンバータ203により変換された画像の色づきを補正する処理や、ぼけを低減する処理等の画像処理を行う。表示部205は液晶ディスプレイや有機ELディスプレイ等であり、画像処理部204で処理された画像、あるいは記憶部208、画像記録媒体209に記録された画像を表示することができる。撮像光学系制御部206は物体距離(被写体距離)に応じてピント調整を行うためのオートフォーカス機構や手動のマニュアルフォーカス機構等であり、撮像光学系10の絞り10aやフォーカスレンズ10bを制御する。
【0016】
状態検知部207はFナンバー(絞り径)、焦点距離(ズーム位置)、物体距離等の撮影条件(撮影状態)を検知する。システムコントローラ210はこの撮像装置のシステム全体を制御し、記憶部208に書き込まれた画像をファイル化して、画像記録媒体209に記録する制御も行う。
【0017】
次に、図1に示した情報処理装置200の概略構成について図3を用いて説明する。情報処理装置200のCPU310は、ROM等に格納されるプログラムの指示に従って情報処理装置全体の制御や画像処理を行う。記憶手段320には画像や光学伝達特性等の各種データを記憶させ、CPU310は適宜、記憶手段320に対して読み込みや書き込みを行う。入力手段340はキーボード、マウス等であり、外部からの入力を受け付け実行中のプログラム等に情報や指示を与えるための手段である。出力手段350はモニタやディスプレイ等であり、画像処理が行われた画像を適宜表示する。CPU310、記憶手段320、入力手段340、出力手段350は互いにバス360を介して接続されている。尚、DVD−R、CD−R等の記録媒体で提供される本発明のプログラムを記憶手段320に記憶させ、オペレータの指示によりCPU310がプログラムの指示に従って、情報処理装置200に画像処理を実行させるように構成してもよい。あるいは、バス360に接続されているネットワークI/F370が遠隔地に存在する情報処理装置等と通信してプログラムやデータ等を授受しながら、CPU310が画像処理を行ってもよい。
【0018】
ここまでで、撮像装置と情報処理装置のそれぞれについて説明を行ってきたが、次に図1で示した画像処理システム全体の処理について図4を用いて説明する。情報処理装置200と通信可能な撮像装置100、101(第1、第2の撮像装置)はポジティブリードタイプの撮像光学系(レンズ)を有する撮像装置であり、撮像装置102はネガティブリードタイプの撮像光学系を有する撮像装置である。
【0019】
まず本発明のプログラムがインストールされた情報処理装置200は、撮像装置100が撮像した画像110(第1の画像)と、後の画像回復処理に用いられる光学伝達特性フィルタ(回復用光学伝達特性)を特定可能な特定情報120を取得する(画像取得手段)。特定情報とは例えばEXIF情報であり、撮像光学系の焦点距離、Fナンバー、撮像装置の識別コード等が含まれる撮影条件(撮像装置の違いを含む)を示す情報である。また、記憶手段に記憶された光学伝達特性を特定できる情報であれば、上記情報に限られない。
【0020】
次に、情報処理装置のCPU310は特定情報120により特定される光学伝達特性フィルタNo.1を取得し、画像110と光学伝達特性フィルタNo.1の2次元畳み込み演算処理を行うことにより、画像110の回復画像110R(不図示)を生成する。この画像回復処理の詳細については後述する。以上の処理により、回復画像110Rは生成されるが、CPU310は、上記回復画像110Rに対して信号処理を行って、該信号処理された画像を出力画像として出力手段350に出力してもよい。この信号処理とは例えば、デモザイキング、ホワイトバランス調整、エッジ強調処理、ノイズリダクション処理、幾何学的な収差補正を行う歪曲収差補正、倍率色収差補正、シェーディング補正等である。
【0021】
次に、撮像装置101と情報処理装置200について説明する。CPU310は撮像装置100と同様に、撮像装置101で撮像された画像111(第2の画像)と特定情報121を取得する。そして、情報処理装置のCPU310は特定情報121により特定される光学伝達特性フィルタNo.1を取得し、画像111と光学伝達特性フィルタNo.1の2次元畳み込み演算処理を行うことにより、画像111の回復画像111R(不図示)を生成する。この光学伝達特性フィルタNo.1が回復用の光学伝達特性である(回復用光学伝達特性)。
【0022】
従来、開示された技術では、記憶手段には撮像装置A、撮像装置Bで撮像された画像を回復処理するために、それぞれの撮像装置A、Bに対応する光学伝達特性フィルタFA、FBが記憶されている。一方、実施形態1では、記憶手段320に撮像装置100、撮像装置101で撮像された画像110、画像111に対して共通に利用可能な光学伝達特性フィルタNo.1が記憶されている。これにより、画像回復に必要なデータ容量を削減することが可能となる。
【0023】
本発明者は、光学設計を通して同じようなレンズタイプ、同じようなフォーカスタイプといった類似の構造の撮像装置は、同じ撮影条件で似通った光学伝達特性を示すことを見出した。例えば、ポジティブリードタイプの撮像装置100、撮像装置101の点像強度分布を図5(a)、(b)に示すが、これらは同じ傾向を示している。尚、撮影条件が同じでなくとも、同じズームタイプであれば似通った光学伝達特性を示すものもある。例えば、広角端の焦点距離が同じで、異なるズーム比を有する同じズームタイプの撮像光学系である。このような撮像装置は、望遠端の撮影条件が異なっていても似通った光学伝達特性を示す。
【0024】
つまり実施形態1の発明は、上記光学伝達特性の類似性に着目して成された発明であり、画像を回復するための光学伝達特性を特定する特定情報を取得する。次に、異なる撮影条件により撮像された第1、第2の撮影画像に対して共通に使用される光学伝達特性と、第3の撮影画像に対して使用される光学伝達特性とが記憶された記憶手段から、前記特定情報により特定される光学伝達特性(回復用光学伝達特性)を取得する。そして、前記特性取得ステップにより取得された光学伝達特性を用いて回復画像を生成する回復ステップを情報処理装置に実行させる。これにより、個々の撮像装置に対応した別個の光学伝達特性フィルタを記憶させるよりも、回復画像の質を保ちつつ、データ容量を削減することを可能としている。
【0025】
さらに好ましくは、記憶手段320に、ズームタイプ、フォーカスタイプ、防振タイプ等のタイプごとにパターン化された光学伝達フィルタを記憶させるのがよい。そうすれば、ネガティブリードタイプの撮像装置102が情報処理装置200と接続された(通信可能になった)場合においても、新たに光学伝達フィルタを増やす必要がない。
さらに好ましくは、撮像装置の光学伝達特性が予め記憶された光学伝達特性に近づくように撮像装置の設計を行えば、より効果的に画像回復を行うことができる。
【0026】
では次に、ネガティブリードタイプの撮像装置102によって撮像された画像112(第3の画像)に対する情報処理装置200の処理について説明する。
【0027】
CPU310は撮像装置102で撮像された画像112と特定情報122を取得する。次に、情報処理装置のCPU310は特定情報122により特定される光学伝達特性フィルタNo.2を取得する。そして、画像112と光学伝達特性フィルタNo.2の2次元畳み込み演算処理を行うことにより、画像112の回復画像112R(不図示)を生成する。ここで、光学伝達特性フィルタNo.2は、光学伝達特性フィルタNo.1とは異なるフィルタ(光学伝達特性)である。
【0028】
尚、本実施形態および以下の実施形態では、説明を簡潔にするために、1つの画像に対して1つの光学伝達特性フィルタを取得する形態について説明しているが、複数の光学伝達特性フィルタ群(セット)を1つの画像に対して用いてもよい。複数の光学伝達特性フィルタ群を1つの画像に対して用いる場合には、CPU310は、例えば撮像装置100、101で共通に利用可能な光学伝達特性フィルタ群を取得すればよい。
【0029】
また、1つの画像に対して複数の光学伝達特性フィルタを用いる場合、CPU310は光学伝達特性フィルタを画像の画素ごとに取得しても良い。画素ごとに光学伝達特性フィルタを取得する場合は、1つまたは複数の特定の画素を抽出して、その抽出した画素に対応する光学伝達特性フィルタを取得すれば、全ての画素ごとに光学伝達特性フィルタを取得するよりも処理速度が向上するので好ましい。
【0030】
さらに、同じタイプのレンズは、同じ撮影条件では画素位置ごとに収差の傾向が似通っている。例えば、ネガティブリードのズームレンズの広角端では像面湾曲が発生するし、高倍率のズームレンズで使用されるポジティブリードのズームレンズの望遠端では軸上色収差が大きく発生する。このように、同じタイプのレンズでは1つの画像の各画素位置において同様な劣化特性を有している場合が多いので、同じタイプごとに使用する各画素位置の光学伝達特性フィルタ(回復フィルタ)のセット(群)を用意することも可能である。これにより、画素位置ごとにフィルタを取得する必要がなくなるので処理の高速化することができる。
【0031】
また、記憶手段320には、プログラムが実行される前に光学伝達特性フィルタが記憶されていてもよいし、記憶されていなくてもよい。後者の場合は、例えば、プログラムが格納された記録媒体に、複数の撮像装置が共通に使用可能な光学伝達特性フィルタを記録しておく。そして、該プログラムがインストールされる情報処理装置あるいは画像処理装置の外部記憶装置に、それら光学伝達特性フィルタを記憶させればよい。
【0032】
また、実施形態1では、光学伝達特性フィルタそのものが記憶手段320に記憶されている形態について説明したが、点像分布関数や光学伝達関数等が記憶されていてもよい。その場合は、点像分布関数や光学伝達関数に対してフーリエ変換や逆フーリエ変換をCPU310が実行し、光学伝達特性フィルタを生成すればよい。尚、本明細書において回復フィルタと光学伝達特性フィルタは同義であり、記述のとおり光学伝達特性は回復フィルタを含む。
【0033】
では、CPU310が情報処理装置200に実行させるプログラムの処理フローについて図6を用いて説明する。まずステップS10(特定情報取得ステップ)において、CPU310は画像と光学伝達特性フィルタを特定するための特定情報を取得する。続いて、ステップS20(光学伝達特性取得ステップ)において、CPU310は特定情報が特定する光学伝達特性フィルタ(光学伝達特性)を取得する。続いて、ステップS30(回復ステップ)において、CPU310は光学伝達特性フィルタをステップS10で取得した画像に対して実空間上で畳み込む処理を実行する。尚、必ずしもステップS10において回復対象の画像を取得する必要はなく、ステップS30において、あるいはステップS30の前工程において回復対象の画像を取得してもよい。尚、先に説明した信号処理を実行するステップは、必要に応じて適宜実行されれば良いので、信号処理のステップは含めずに説明した。
【0034】
また、実施形態1では情報処理装置のCPU310がプログラムの指示に従って各ステップを実行する形態について説明したが、各ステップ又はその一部をハードウェアで構成しても本発明の効果を得ることができる。図7に、画像処理装置を例にハードウェアで構成する場合の概略構成図を示す。画像処理装置700と通信可能な撮像装置の説明は図4における説明と重複するので割愛する。
【0035】
画像処理装置700は、光学伝達特性取得手段710、画像回復手段720、信号処理手段730、記憶手段750を有する。まず、画像処理装置700は、回復対象となる画像と光学伝達特性フィルタを特定可能な特定情報を取得する。光学伝達特性取得手段710は記憶手段750から特定情報が特定する光学伝達特性フィルタを記憶手段750から取得する。画像回復手段720は取得された光学伝達特性フィルタと画像を畳み込むことにより回復画像を生成する。信号処理手段730は、回復画像に対してデモザイキング等の画像処理を行う。以上の各手段により、所望の回復画像を得ることができる。
【0036】
以上のような画像処理システムを使用するその他の例としては、情報処理装置200のCPU310に替えてプリンタに搭載された演算処理部を使用することでプリント時に画像回復処理を実行することも可能である。
【0037】
以上の説明のとおり発明者は、撮像装置のリードタイプに応じて光学伝達特性にも類似性(似通った結像特性を示す)があることに着目した。その着眼点により成された発明によれば、類似した光学伝達特性を代表する光学伝達特性(代表光学伝達特性)を予め記憶手段に記憶させ、その光学伝達特性を用いて回復処理を行うことにより、データ容量を削減しつつ、良質な回復画像を得ることができる。
【0038】
尚、特定情報は、回復処理で用いる光学伝達特性を特定することが可能な情報であれば良いため、撮影条件そのもの、或いは撮影条件の一部であっても構わない。撮影条件としては、焦点距離、Fno、物体距離、像高(画素の位置)、撮像装置を識別可能な情報、光学系を識別可能な情報、ズーム位置がある。その他に、物体距離に対するフォーカス状態、絞りの状態、防振レンズのレンズ位置、レンズ群の数、レンズの構造に関する情報等が挙げられる。さらに、撮像装置の撮像素子の画素によって開口特性も変化するので、この撮像素子に関する情報を特定情報として使用しても良い。あるいは、撮像装置ごとに異なるローパスフィルタを使用している場合には、これに関する情報も光学伝達特性を特定する特定情報として使用することができる。
【0039】
また、実施形態1では撮像装置が直接的に光学伝達特性を特定するための特定情報を出力したが、CPU310が撮像装置の情報や撮影条件そのものの情報から光学伝達特性を特定できる情報を生成して特定情報として使用しても良い。この場合、特定情報は撮像装置側で生成してもよいし、画像処理装置側で生成しても良い。また、これらの特定情報は、画像の一部に付加しても良いし、別の機器やネットワーク上を介して特定情報を取得してもかまわない。
【0040】
また、実施形態1はCPUが記憶手段に記憶された光学伝達特性フィルタの中から、特定情報によって特定される光学伝達特性フィルタを取得する方法について記載したがこれに限られない。例えば、記憶手段に、特定情報と記憶手段に格納された光学伝達特性フィルタのアドレスを対応させるルックアップテーブル(LUT)を記憶させる。そして、CPUがルックアップテーブルを参照し、特定情報に対応した光学伝達特性フィルタを取得してもよい。つまり、本明細書の特定情報とは直に光学伝達特性を特定する情報であってもよいし、間接的に光学伝達特性を特定する情報であってもよい。
【0041】
また、実施形態1では撮像光学系と撮像装置本体が別体の場合について説明したが、レンズと撮像素子が一体のコンパクトカメラ等にであってもよい。
【0042】
また、実施形態1では情報処理装置のCPU310が全てのステップを実行する形態について説明したが、撮像装置、情報処理装置のそれぞれのCPUが一部のステップを実行しても、本発明の効果を得ることができる。つまり、複数の撮像装置から出力される特定情報と画像に基づいて画像回復処理を実行する画像処理システムであれば本発明の効果を得ることができる。
【0043】
ここで、本発明が扱う画像(画像データ)について簡単に説明する。本発明が扱う画像は、例えばRGBの色成分や、色空間により表現される複数の成分を有している。色空間で表現される成分とは、例えば、LCHで表現される明度、色相、彩度や、あるいはYCbCrで表現される輝度、色差信号等である。
【0044】
画像は、各画素に1つの色成分の信号値を有するモザイク画像でも良いし、このモザイク画像を色補間処理(デモザイキング処理)して画素ごとに複数の色成分の信号値を有するデモザイク画像でも良い。このモザイク画像は色補間処理(デモザイキング処理)やガンマ変換と呼ばれる信号値変換やJPEGで知られる画像圧縮などの諸々の画像処理を行う前の画像として、RAW画像とも呼ばれている。特に、単板の撮像素子で複数の色成分情報を得る場合には、各画素に分光透過率の異なるカラーフィルタを配置して上記のような各画素に1つの色成分の信号値を有するモザイク画像を取得することになる。この場合、上記の色補間処理を行うことで各画素に複数の色成分の信号値を有した画像を生成することができる。一方、多板、例えば3板の撮像素子を用いる場合には各撮像素子ごとに分光透過率の異なるカラーフィルタを配置して、撮像素子ごとに異なる色成分の画像信号値を得る。この場合、各撮像素子間で対応する画素ごとにそれぞれの色成分の信号値を有しているので、特に色補間処理を行わずに各画素に複数の色成分の信号値を有した画像を生成することができる。
【0045】
また画像には、レンズの焦点距離、絞り、物体距離などの撮影条件を付帯することができる。撮像から出力までの一連の処理を1つの閉じた撮像装置で行う場合には、画像に撮影条件を付帯しなくとも装置内で取得することができる。その場合は、例えば状態検知部207(図2)などから特定情報を取得することができる。しかし、撮像装置からRAW画像を取得し、別体の画像処理装置あるいは情報処理装置で所望の画像処理、信号処理を行う場合には、画像に撮影条件の情報を付帯することが好ましい。
【0046】
では次に、既出の画像回復処理の概要について説明する。画像回復とは、画像に現れる収差を低減させる処理であり、収差とは、例えば撮像光学系の球面収差、コマ収差、像面湾曲、非点収差等である。これら収差により、本来は一点に結像すべき像(点像)が、広がりのあるぼけた像として撮像素子(受光素子)上に形成されてしまう。この収差によるぼけは、光学的には点像分布関数(PSF)あるいは点像強度分布により表わされる。
【0047】
元の画像をf(x,y)、撮影画像(劣化画像)をg(x,y)、点像分布関数(PSF)をh(x,y)とすると、以下の式が成り立つ。ただし、*は畳み込み積分を示し、(x,y)は画像上の座標を示す。
g(x,y)=h(x,y)*f(x,y)・・・(式1)
実施形態1では、元の画像f(x,y)は回復画像、撮影画像g(x,y)は撮像装置から出力される画像に対応する。式1をフーリエ変換して周波数空間での表示形式に変換すると、式2のように式1の右辺はそれぞれの周波数の積で表わされる。
G(u,v)=H(u,v)・F(u,v)・・・(式2)
式2のH(u,v)は点像強度分布関数h(x,y)をフーリエ変換したものであり、言い換えれば光学伝達関数(OTF)である。G(u,v)、F(u,v)はそれぞれg(x,y),f(x,y)をフーリエ変換したものである。(u,v)は2次元周波数空間での座標、即ち周波数である。また、・は乗算を示す記号である。
【0048】
撮影画像G(u,v)から回復画像F(u,v)を得るためには、式2の両辺をHで除算すればよい。
G(u,v)/H(u,v)=F(u,v)・・・(式3)
このF(u,v)、即ちG(u,v)/H(u,v)を逆フーリエ変換して実空間(実面)に戻すことで、回復画像f(x,y)が得られる。
【0049】
ここで、1/H(u,v)を逆フーリエ変換したものをR(x,y)とすると、式3は式4に書き換えることができる。
g(x,y)*R(x,y)=f(x,y)・・・(式4)
つまり、式4で表わすように実空間の撮影画像にR(x,y)を畳み込み積分処理を行うことで回復画像を得ることができる。
【0050】
このR(x,y)が回復フィルタ(光学伝達特性フィルタ)である。一般的にこの回復フィルタは画像が2次元のとき、図8(a)に示したように画像の各画素に対応したタップ(セル)を有する2次元のフィルタとなる。また、回復フィルタのタップ数は一般的に多いほど回復精度が向上するので、要求画質、画像処理能力、収差の特性等に応じて実現可能なタップ数を設定すればよい。この回復フィルタは収差の特性を反映している必要があるため、従来の縦横3×3タップ程度のエッジ強調フィルタ(ハイパスフィルタ)等とは性質が異なる。
【0051】
図8(b)は(a)の回復フィルタの断面図であり、横軸はタップ、縦軸はタップの値である。この各タップが持つ値の分布が、収差によって空間的に広がった信号値を元の1点に戻す役割を果たしている。この回復フィルタの作成する方法としては、例えば撮像光学系の光学伝達関数(OTF)を計算もしくは計測し、その逆関数に基づいた関数を逆フーリエ変換して得る方法がある。尚、フィルタを取得するとは、このタップの係数値を取得することである。
【0052】
尚、光学伝達特性には撮像光学系のみならず、撮像の過程で光学伝達特性に影響を与える要因を含めることができる。例えば、複屈折を有する光学ローパスフィルタの特性や光源の撮像素子の開口形状や各種波長フィルタの分光特性が挙げられる。複屈折を有する光学ローパスフィルタは光学伝達特性の周波数特性に対して高周波成分を抑制するものであるし、撮像素子はその傾きにより撮像素子上でのぼけ像が変化するので伝達特性を変化させる要因の1つである。これらを含めた広義の光学伝達特性に基づいて、画像回復処理を行うことがより望ましい。
【0053】
また、実空間において、回復フィルタを画像に対して畳み込み処理することの利点は、画像回復処理の工程で画像のフーリエ変換や逆フーリエ変換を行う必要がないのでより高速な処理が可能な点にある。図8(a)に示したフィルタは正方配列(縦と横のタップ数が同じ)のフィルタであるが、これに限られず、回復フィルタの縦横のタップ数は任意に変更することができる。
【0054】
以上、理想的な回復フィルタについて式を用いて説明したが、実際の画像にはノイズ成分があるため上記のような光学伝達関数(OTF)の逆関数に基づいた回復フィルタを用いると、回復とともにノイズ成分が増幅されてしまう。ノイズ成分の増幅を抑制するには、例えばウィナーフィルタのような応用的な回復フィルタを用いてもよい。
【0055】
尚、画像回復処理を行う際に、回復の対象とする収差は特に限られないが、画像回復処理が回復の対象とする収差はザイデル収差(球面収差、コマ収差、非点収差、像面湾曲、歪曲収差)のうち、球面収差、コマ収差、非点収差、像面湾曲とする。歪曲収差のような幾何学的に大きな補正量を必要とする収差は対象としないことが好ましい。なぜならば、幾何学的な補正量が大きくなると、回復フィルタの係数値の変動が激しくなり、回復画像にリンギング等の好ましくないアーティファクトが現れやすくなるからである。
【0056】
画像回復処理が行う回復の対象を球面収差、コマ収差、非点収差、像面湾曲とすることによるその他の効果は、2次元データである回復フィルタに歪曲収差補正を行う成分を含めるよりもデータ量を減らすことができるという効果が得られる。理由は、幾何学的な歪曲収差補正を行うのに必要なデータは画像の伸縮度合を表す1次元データであればよいので、2次元データである回復フィルタに歪曲収差を補正する成分を含めるよりもデータの容量を減らすことができるからである。実施形態1のように、様々な収差を持つ画像に対して、特定の画像処理装置で画像回復処理を行うような場合は、特に有効である。
【0057】
また、以上説明した画像回復処理は撮像光学系を持たない装置にも応用することができる。例えば、被写体面に撮像素子を密着させて撮像を行うスキャナ(読み取り装置)やX線撮像装置である。これらはレンズに代表される撮像光学系を有さないが、撮像素子による画像サンプリングなどにより出力画像は少なからず劣化する。この劣化特性は装置の伝達特性(伝達関数)であるので、撮像光学系によるものではないが、上記の光学伝達特性に相当するものである。したがって、撮像光学系を有さずとも、伝達特性に基づいて回復画像を生成することができる。
【0058】
(実施形態2)
実施形態1では、異なる撮影条件で撮像された画像であっても、その光学伝達特性に類似性があれば、共通の光学伝達特性を使用して画像回復を行うというものであった。実施形態2は、異なる
実施形態1において、記憶手段に記憶された共通の光学伝達特性フィルタ(以下、回復フィルタ)をR’(x,y)とすると、画像回復処理により得られる画像f’(x,y)は式4と同じように次のように表せる。
g(x,y)*R’(x,y)=f’(x,y)・・・式4’
ここで、*は畳みこみ積分を表わしている。
【0059】
f’(x,y)は実際の光学伝達特性から計算される回復フィルタR(x,y)を使用して計算されるf(x,y)とは異なるため、画像に以下のような現象が生じることがある。回復フィルタR’(x,y)の回復度合いが、回復フィルタR(x,y)よりも強い場合には、画像のエッジ部あるいはエッジ付近に信号値の低い部分(掘り下げ成分)が発生する。これは、収差によって空間的に広がった信号値を元の1点に戻す効果が強く働き、その周辺の信号値が足りなくなるためである。この現象は、エッジ強調を強くかけすぎた時に発生するオーバーシュートの状態に類似した現象である。
【0060】
また、回復フィルタR’(x,y)の回復度合いが、回復フィルタR(x,y)よりも弱い場合には、光学系による収差により画像に現れるぼけを良好に取り除くことが難しくなる。これは、収差によって空間的に広がった信号値を元の1点に戻す効果が弱くなるためである。さらに、この現象がRGBチャンネル(色成分)ごとにばらばらに発生すると、エッジ部分の先鋭度の違いによりエッジ部分に色づきが発生してしまう。
【0061】
そこで実施形態2では、図9(a)に示したように光学伝達特性の一部に対してパターン化された回復フィルタを記憶手段920に格納する。ここで光学伝達特性の一部とは、例えば、光学伝達関数の位相成分や光学伝達特性の振幅成分などである。パターン化とは、光学系を介することにより生じる、理想的な位相分布または振幅分布に対するずれ(劣化)の表れ方に類似性のある撮像装置を同じグループに分類すること、あるいはその分類ごとに適切な位相回復を行う回復フィルタを割り当てることである。つまり、記憶手段920には、位相の補正成分が共通化された回復フィルタが記憶される。これにより、画質の低下を抑えつつ、データ容量を削減することが可能になる。
【0062】
では、プログラムが情報処理装置に実行させる処理について図9(a)、(b)を用いて説明する。撮像装置900a、撮像装置900bはコマ収差の出方に類似性がある撮像装置である。撮像装置900cはコマ収差の出方が撮像装置900a、900bとは異なる。ステップS91において、情報処理装置900のCPU(以下、単にCPUと記載する)は、撮像装置900a、撮像装置900b、撮像装置900cから画像データ901a、901b、901cと特定情報902a、902b、902cを取得する。実施形態2における特定情報は、撮像光学系の識別コードとする。
【0063】
ステップS92において、CPUは特定情報をもとに記憶手段920から画像データ900a、900b、900cを回復する回復フィルタを取得する。撮像装置900a、900bはコマ収差の出方が同じなので、CPUにより特定情報により共通に使用可能な位相成分補正フィルタNo.1が取得される。撮像装置900cに対しては位相成分補正フィルタNo.2が取得される。
【0064】
ステップS93において、CPUはそれぞれの画像データに対応する位相成分補正フィルタを用いて位相成分が回復された回復画像を生成する。位相成分補正フィルタはコマ収差だけではなく、倍率色収差等の非対称な収差を補正することができる。
上記説明のとおり、互いに異なる撮像条件下で撮像された画像であっても、位相成分補正フィルタは非対称収差の出方ごとに、共通の回復フィルタで回復するので、データ容量を削減できる。
【0065】
また、コマ収差の出方が異なる画像データに対して、同じ光学伝達特性を用いて回復すると色づきが助長されてしまう場合があるが、上記処理を行えば、収差によって広がった信号値を点像が線対称になる方向にシフトさせることができる。これにより、光学伝達特性の振幅成分には作用しないので、エッジ部の掘り下げを抑制ことができる。
【0066】
画像の振幅成分の補正には、図11に示したエッジ強調フィルタを用いることができる。エッジ強調処理を加えることで画像の先鋭度を向上させることができる。エッジ強調の強さは簡易に調整が可能なので、適宜最適な値に調整すればよい。
【0067】
そしてステップS93において、CPUはそれぞれの回復画像に対してホワイトバランス調整、ノイズリダクション処理等の他の信号処理を行い、出力画像を出力する。尚、エッジ強調処理と信号処理を分けて記載したが、これらの処理は同時に行うことも可能である。また、図11に示したエッジ強調フィルタの係数は、1次微分、2次微分、また、そのゲイン(回復度合い)に応じて適宜変更して用いることができる。
【0068】
また、本実施形態のその他の効果として、位相成分のみ画像回復処理を行い、先鋭度はエッジ強調処理を使用することで、回復度合いに応じた回復フィルタの生成が不要になるため、高速な処理が実現できるという点が挙げられる。
【0069】
尚、位相成分の補正に用いた回復フィルタ(位相成分補正フィルタ)はフィルタのタップ数(サイズ)が大きい方が位相劣化をより高精度に補正することができる。そのため、画像中で最大のタップ数を有する回復フィルタの一辺のタップ数はエッジ強調フィルタの一辺のタップ数の3倍以上とすることが好ましい。さらに好ましくは、3倍以上、10倍以下とすることが好ましい。下限を下回ると、位相劣化の補正精度が低下し、収差の非対称性が十分に補正できない。また上限を上回ると、補正精度は高くなるがフィルタのタップ数が大きくなるため、データ容量の増加や処理速度の低下を招く。
【0070】
実施形態2の変形例として、図10に示したように光学伝達特性の振幅成分をパターン化し、これに相当する回復フィルタ(振幅成分共通フィルタ)を記憶手段920に格納し、使用してもよい。情報処理装置900のCPUは、撮像装置960a、960b、960cにより撮像された画像と特定情報を取得する。画像に付帯された特定情報962a、962b、962cを元に、記憶手段920にあらかじめ記憶された振幅成分共通フィルタの中から特定情報で特定される振幅成分共通フィルタを取得する。この振幅成分共通フィルタは画像のRGBチャンネルの振幅成分を平均化した振幅成分を有する光学伝達特性であってもよいし、RGBチャンネルに対する光学伝達特性に重み付けをし、それらの平均した光学伝達特性を使用しても良い。そして、取得された振幅成分共通フィルタを用いて回復画像を生成する。
【0071】
以上のような、振幅成分共通フィルタを使用すれば、倍率色収差の成分には変化を与えずに、画像の先鋭度のみを高くすることができる。
【0072】
尚、実施形態2ではCPUが主体となり各ステップを情報処理装置に実行させる例を説明したが、各ステップの主体がハードウェアであってもよい。
【0073】
(実施形態3)
実施形態3では、回復フィルタには倍率色収差を補正する成分を含めずに、RGBチャンネルごとに幾何学的な画像の伸縮を行う倍率色収差補正(伸縮処理)を行うことにより、画像回復処理によるエッジ部の色づきをより低減する効果を得る形態について説明する。
【0074】
以下、図12を参照して実施形態3の画像処理システムについて説明する。図12の画像処理装置119には任意の数の撮像装置が接続可能であり、撮像装置1、2が接続されているものとする。撮像装置1、2は類似した倍率色収差特性を有する。これらの撮像装置で撮像された画像にはEXIF情報と呼ばれる、撮像装置の識別コードや画像を撮影したレンズの焦点距離、Fno等の撮影条件の情報が記載されている。本実施形態では、これらの情報から、光学伝達特性を識別する識別コードを生成し特定情報として使用している。
撮像装置1から出力される画像データ111aは画像処理装置119に送られる。プログラムは、以下の処理を画像処理装置あるいは情報処理装置に実行させる。
【0075】
まずステップS114において、画像データ111aに記載された特定情報112aを元に、記憶領域118に記憶された光学伝達特性の中から、特定情報により特定される光学伝達特性を取得する。ここで使用される光学伝達特性はカメラのRGBチャンネルに対する光学伝達特性を平均して得られる光学伝達特性フィルタNo.1である。このようなフィルタを用いて振幅成分のみを回復すると、倍率色収差成分はそのままに先鋭度のみを改善することができる。そこで、ステップS113において撮像装置1から出力された画像に幾何学的な画像の伸張を行う倍率色収差補正処理を行う。この過程により、画像データ111aの倍率色収差による色づきが低減された倍率色収差補正画像が得られる。次に、S115において、倍率色収差補正画像とステップS114において取得された光学伝達特性を用いて回復画像を生成する。ステップS113において、幾何学的な倍率色収差補正画像に対して画像回復を行うことで、幾何学的な倍率色収差補正を行わなかった画像に対して画像回復処理を実行し生成された回復画像に比べ、色ずれの発生を抑制することができる。
【0076】
そしてステップS116において、回復画像に対して、ホワイトバランス調整、ノイズリダクション処理、エッジ強調処理等の信号処理を行うことで出力画像を得ることができる(S117)。
【0077】
撮像装置2により撮像された画像データ111bに対しても、プログラムは撮像装置1と同じように処理を画像処理装置119に実行させる。撮像装置2は撮像装置1と類似した倍率色収差特性を有するので、ステップS114においては、撮像装置1と同じ光学伝達特性(振幅成分共通フィルタNo.1)を使用することができる。このように、一部を共通化させた光学伝達特性(本実施形態では振幅成分)を利用することにより、データ容量を削減できる。
【0078】
また、本実施形態のように、幾何学的な倍率色収差補正を画像回復処理とは別に行えば、より色づきの低減効果が見込める。
【0079】
また、光学伝達特性を倍率色収差の出方の類似性だけでなく、ズームタイプ、フォーカスタイプ、防振タイプ等に応じてあらかじめ用意しておくことが好ましい。そうすれば、画像処理システム構築後に新たな撮像装置3が接続され(通信可能になり)、撮像装置3により撮像された画像データ111cを画像処理装置119で回復しようとした場合にも、適切な画像回復を行うことができる。
【0080】
(変形例)
次に光学伝達特性の記憶方法および取得方法のその他の変形例について図13を参照して説明する。記憶手段には、複数の光学伝達特性表現ベクトルを持った光学伝達特性表現空間の中に離散的に配置された光学伝達特性が記憶されている。ここで、光学伝達特性表現ベクトルとは光学伝達特性の性質を表現できるベクトルである。光学伝達特性表現ベクトルとして、以下のような例が挙げられる。
【0081】
収差的な観点から見ると、ある撮影条件における結像特性は、球面収差成分や非点収差成分、コマ収差成分等の足し算で表現できる。これを数式的に記述したものがツェルニケ多項式であり、直交座標空間により表現される波面収差として知られている。
【0082】
また、収差を点像強度分布(PSF)の観点で見ると、球面収差は点像強度分布の回転対称な広がり成分、非点収差は点像強度分布の直交する2つの方向(例えはメリジオナル方向とサジタル方向)のアスペクト比成分として表現できる。
【0083】
また、コマ収差は線対称な点像強度分布の対称軸内の非対称成分として表現できる。非対称成分の基準点としては、例えば、光束の中心を通る光線と撮像面の交点、絞りの中心を通る光線と撮像面の交点、あるいは、点像強度分布の重心等が挙げられる。コマ収差が発生している点像強度分布の例を図13に示す。コマ収差は、x1軸に関して非対称、x2軸に関して対称である。図13中のx1、x2は像面上の点像分布強度の中心を通り直交する座標軸を、θはx1軸を基準としたときのアジムス角を示している。点像強度分布の中心とは基準波長の主光線と像面の交点、あるいは基準波長の点像の重心である。
【0084】
また、倍率色収差は異なる色成分の点像の重心ズレ成分として表現できる。成分とは例えばR、G、B等の色の成分である。
【0085】
このような収差あるいは点像強度分布に基づいた表現を光学伝達特性表現ベクトルとして定義している。また、光学系が2倍の大きさになれば、点像の大きさも2倍になるので、点像の大きさを比例倍で規定する成分も光学伝達特性表現ベクトルの1つとして定義できる。
【0086】
図13に光学伝達特性表現空間を模式的に示す。図13(a)は、球面収差成分、非点収差成分、コマ収差成分を各座標軸として、光学伝達特性を表現した空間の模式図である。非点収差がほぼ零に近いときの非点収差成分とコマ収差成分の軸に平行な断面の一部を示したのが図13(b)であり、横軸がコマ収差成分、縦軸が非点収差成分、そして離散的に配置された点像強度分布(PSF)を示している。
【0087】
記憶手段には、光学伝達特性表現空間中の各点(黒丸)に対応する点像強度分布(光学伝達特性)が記憶されている。もちろん、格子点から外れた位置の状態に対応する光学伝達特性を記憶させても構わない。
【0088】
このような光学伝達特性表現ベクトルを用いることにより、記憶手段が、各撮像装置がとり得るすべての光学伝達特性に対応した回復フィルタを記憶しておかなくてもよい。つまり、代表点(特定の光学伝達特性)の中から近接点を選択し、その近接点の光学伝達特性から回復フィルタを生成すればよい。例えば、撮像装置の光学伝達特性が図12の大きな白丸で示した点である場合、記憶領域に記憶された光学伝達特性のうち、実際の光学伝達特性の点から最小距離に位置する光学伝達特性(図13(a)の小さい白丸)に基づいて回復フィルタを生成すればよい。あるいは、代表点と代表点を補間すればよい。これにより実際の光学伝達特性に対応する光学伝達特性を生成することが出来るので、各撮影条件に対応した回復フィルタを各々記憶する場合に比べ、データ量を削減できる。
【0089】
尚、格子の分割数は、特定の座標軸に関して、その最小値(零)から最大値までを3分割から20分割する程度が望ましい。分割数(離散値の数)が3を下回ると予め記憶する光学伝達特性と実際の撮影条件あるいは撮像装置の光学伝達特性の差異が大きくなり、画像回復の効果が低減してしまう。また、分割数が20を超えると、予め記憶する光学伝達特性の数が多くなり、データ容量の削減効果が低くなってしまう。
【0090】
尚、図13(a)は3つのパラメータ(球面収差、コマ収差、非点収差、)により表わされる3次元の光学伝達特性表現空間としたが、例えば、倍率色収差成分等を加えた4つ以上の状態を表した4次元以上の光学伝達特性表現空間としてもよい。4つ以上の収差成分を軸として光学伝達特性を表現した空間とすることで、より高精度に画像回復を行うことができる。
【0091】
以上説明したような、光学伝達特性表現空間を定義しておけば、同じ光学伝達特性の重複を抑制できるとともに、想定し得る光学伝達特性を網羅した光学伝達特性表現空間が構築できるため、効率的に画像処理システムのデータ容量を削減することができる。これにより、画像処理システムのデータ量を小さく抑えながらも、効率的に画像回復の効果を得ることが可能となる。
【0092】
実施形態4においては、光学伝達特性として点像強度分布を用いる形態について説明したが、記憶手段に記憶されている光学伝達特性は2次元のデータ(画素値)を持つ回復フィルタそのものであっても良い。あるいは、撮像装置の撮影条件に対応するザイデル収差のいずれか、点像強度分布関数、光学伝達関数、回復フィルタ、波面収差および瞳関数のいずれかであればよい。
【0093】
光学伝達特性が図13(b)で示したように座標で特定可能なように記憶されている場合は、撮像装置からの特定情報は座標として与えられる。画像処理装置は、指定の座標に対応する光学伝達特性を取得する。この際、外部装置に演算部があれば特定された光学伝達特性に対して補間処理を行ったものを取得してもよい。
【0094】
例えば、図13(a)中の大きな白丸で示した状態が特定情報で指定された座標であるとする。特定情報で指定された座標またはその近傍の格子点に対応する光学伝達特性が存在する場合には、その格子点の光学伝達特性を取得して画像回復処理に用いることができる。
【0095】
特定情報が指定する座標またはその近傍(または、最も近い)に光学伝達特性の存在する格子点が存在しない場合には、特定情報で指定した座標から最も近い位置に存在する光学伝達特性に対して補間処理を行って、上記の座標での光学伝達特性を取得する。補間処理を行うことで、撮像装置の実際の光学伝達特性と特定情報が指定した光学伝達特性の差異をより小さくでき、より精度の高い画像回復処理を行うことができる。
その他の方法として、特定情報で指定された座標と予め格納された光学伝達特性の光学伝達特性表現空間中の距離を算出し、最も距離の短いものを取得すればよい。
【0096】
あるいは、光学伝達特性表現空間中の方向による重み付けを行い、光学伝達特性表現空間中の距離と方向ウェイトの積を評価関数として、その評価関数に基づいて補間処理のための光学伝達特性を取得することもできる。
【0097】
その他の方法として例えば、記憶領域に格納される光学伝達特性に識別番号を割り振っておいて、特定情報として入力される識別番号と一致する光学伝達特性を取得する。あるいは、画像に付加(付帯)される特定情報を記憶領域上のアドレスと関連させ光学伝達特性を取得する方法も考えられる。あるいは複数の画像を解析して、光学伝達特性を取得してもよい。
【0098】
このように光学伝達特性取得手段は、特定情報が特定する光学伝達特性を取得することであり、この目的を達成する方法であれば、上記の方法に限定されず種々の方法をとることが可能である。
【0099】
尚、予め記憶された光学伝達特性を補間して画像回復処理に使用する光学伝達特性とする場合は、点像強度分布や光学伝達関数を使用すると補間精度を向上させることができる。この理由について再度図8を用いて説明する。図8(a)は11×11タップの回復フィルタの模式図である。図8(b)が示すように、回復フィルタは各タップ間の変動が激しいが、点像強度分布は図5(a)、(b)に示したように強度の変動が滑らかである。光学伝達関数も同様に強度の変動が滑らかである。この理由にから、補間処理を行う場合には点像強度分布や光学伝達関数を使用すると、補間精度を向上させることができる。
【0100】
但し、補間処理に点像強度分布や光学伝達関数を使用する場合には、フーリエ変換や逆フーリエ変換を行って、回復フィルタに変換することが必要となる。このため処理に時間を要するが、フーリエ変換や逆フーリエ変換を行うことで、回復度合いに応じた回復フィルタを作成することが可能になる。一方、光学伝達特性として回復フィルタそのものを使用する場合は、フーリエ変換や逆フーリエ変換は行わなくて良いので高速な処理が可能であるが、前述のように画像回復処理の精度が落ちるので、精度と処理時間との兼ね合いが重要になる。
【0101】
また、光学伝達特性をベクトルではなく、F(x,y,z)で光学伝達特性が表現できるような関数でもつことも考えられる。しかしながら、この場合に比べて、本実施形態で示したように光学伝達特性をベクトル(表現)として記憶する方が、データ量をより少なくすることができる場合が多いのでより好ましい。理由は、関数で作成した場合、精度によっては関数が複雑になり、データ量が多くなる場合があるからである。
【0102】
尚、外部の記憶手段としては外部装置のストレージ領域やネットワーク上の領域を使用することも可能である。
【0103】
その他の実施形態として、同じ撮像装置内であっても撮影条件によっては、その撮影条件における光学伝達特性に類似性を有する場合があるので、そのような場合は同じ光学伝達特性フィルタを用いて画像回復を行うという形態も可能である。この場合は、撮像装置内の記憶手段に、異なる撮影条件(特定情報)が同じ光学伝達特性を特定するような対応テーブルを記憶させると良い。また、互いに異なる複数の撮影条件の差(特定情報の差)がある範囲内であれば、同じ光学伝達特性を取得させるようにプログラムを構成してもよい。
【0104】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【0105】
100、101、102 撮像装置
200 画像処理装置
310 CPU
320 記憶手段
【特許請求の範囲】
【請求項1】
互いに異なる撮影条件で撮像された第1、第2の画像を取得する画像取得ステップと、
前記第1、第2の画像の画像を回復するための回復用光学伝達特性を特定する特定情報を取得する特定情報取得ステップと、
前記特定情報により特定される回復用光学伝達特性を用いて前記第1および第2の画像を回復する回復ステップを情報処理装置に実行させるプログラムであって、
前記特定情報取得ステップにおいて、前記互いに異なる撮影条件における光学伝達特性の位相あるいは振幅に関する特性が類似している場合、前記特定情報に基づいて同じ回復用光学伝達特性が取得されることを特徴とするプログラム。
【請求項2】
前記第1、第2の画像は異なる撮像装置により撮像された画像であり、
前記回復用光学伝達特性は、前記第1、第2の撮像装置の色成分ごとの光学伝達特性を平均化した光学伝達特性に基づいて生成されることを特徴とする請求項1に記載のプログラム。
【請求項3】
前記特定情報は光学伝達特性を識別するための情報であることを特徴とする請求項1または2に記載のプログラム。
【請求項4】
前記特定情報は撮像装置の識別コード、撮像光学系の識別コード、焦点距離、物体距離、Fno、像高であることを特徴とする請求項1乃至3いずれか1項に記載のプログラム。
【請求項5】
前記回復用光学伝達特性は前記第1、第2の画像の位相ずれによるぼけを低減させる光学伝達特性であることを特徴とする請求項1乃至4いずれか1項に記載のプログラム。
【請求項6】
前記回復用光学伝達特性は、前記第1、第2の画像の振幅ずれによるぼけを低減させる光学伝達特性であることを特徴とする請求項1乃至5いずれか1項に記載のプログラム。
【請求項7】
前記回復用光学伝達特性は、前記第1の画像が撮像された撮像条件における第1の光学伝達特性と前記第2の画像が撮像された撮像条件における第2の光学伝達特性の一部が共通化された光学伝達特性であることを特徴とする請求項1乃至6いずれか1項に記載のプログラム。
【請求項8】
画像取得ステップは、前記第1、第2の画像とは異なる撮影条件で撮像された第3の画像を取得し、
前記第3の画像を撮像した撮影条件における光学伝達特性の位相あるいは振幅に関する特性が類似していない場合、前記特定情報に基づいて前記回復用光学伝達特性とは異なる回復用光学伝達特性が取得されることを特徴とする請求項1乃至7いずれか1項に記載のプログラム。
【請求項9】
エッジ強調フィルタを用いて前記第1または第2の画像のエッジ部を強調するエッジ強調処理ステップを有し、
前記回復用光学伝達特性が2次元のタップ数を有する回復フィルタの場合、
前記エッジ強調フィルタのタップ数は、前記回復フィルタのタップ数よりも小さいことを特徴とする請求項2に記載のプログラム。
【請求項10】
画像の伸縮を伴う伸縮処理ステップを有することを特徴とする請求項1乃至9いずれか1項に記載のプログラム。
【請求項11】
互いに異なる撮影条件で撮像された第1、第2の画像を取得する画像取得手段と、
前記第1、第2の画像の画像を回復するための回復用光学伝達特性を特定する特定情報を取得する特定情報取得手段と、
前記特定情報により特定される回復用光学伝達特性を用いて前記第1および第2の画像を回復する回復手段を有し、
前記特定情報取得手段は、前記互いに異なる撮影条件における光学伝達特性の位相あるいは振幅に関する特性が類似している場合、前記特定情報に基づいて同じ回復用光学伝達特性を取得することを特徴とする撮像装置。
【請求項12】
互いに異なる撮影条件で撮像された第1、第2の画像を取得するステップと、
前記第1、第2の画像の画像を回復するための回復用光学伝達特性を特定する特定情報を取得する特定情報取得ステップと、
前記特定情報により特定される回復用光学伝達特性を用いて前記第1および第2の画像を回復する回復ステップを有し、
前記特定情報取得ステップにおいて、前記異なる撮影条件における光学伝達特性の位相あるいは振幅に関する特性が類似している場合、前記特定情報に基づいて同じ回復用光学伝達特性を取得することを特徴とする画像処理方法。
【請求項13】
互いに異なる撮影条件で撮像された第1、第2の画像を取得する画像取得手段と、
前記第1、第2の画像の画像を回復するための回復用光学伝達特性を特定する特定情報を取得する特定情報取得手段と、
前記特定情報により特定される回復用光学伝達特性を用いて前記第1および第2の画像を回復する回復手段を有し、
前記特定情報取得手段は、前記互いに異なる撮影条件における光学伝達特性の位相あるいは振幅に関する特性が類似している場合、前記特定情報に基づいて同じ回復用光学伝達特性を取得することを特徴とする画像処理装置。
【請求項14】
撮像素子を含めた光学系の構成が異なる第1と第2の撮像装置と、
前記第1と第2の撮像装置と通信可能な画像処理装置を有する画像処理システムであって、
前記第1と第2の撮像装置は撮像した画像に撮影条件を付加した特定情報を記録する記録手段を有し、
前記画像処理装置は、前記特定情報を取得し、前記特定情報により特定される回復用光学伝達特性を用いて前記第1および第2の画像を回復する回復手段を有し、
前記第1と第2の撮像装置の光学伝達特性の位相あるいは振幅に関する特性が類似している場合、前記特定情報に基づいて同じ回復用光学伝達特性を取得することを特徴とする画像処理装置。
【請求項1】
互いに異なる撮影条件で撮像された第1、第2の画像を取得する画像取得ステップと、
前記第1、第2の画像の画像を回復するための回復用光学伝達特性を特定する特定情報を取得する特定情報取得ステップと、
前記特定情報により特定される回復用光学伝達特性を用いて前記第1および第2の画像を回復する回復ステップを情報処理装置に実行させるプログラムであって、
前記特定情報取得ステップにおいて、前記互いに異なる撮影条件における光学伝達特性の位相あるいは振幅に関する特性が類似している場合、前記特定情報に基づいて同じ回復用光学伝達特性が取得されることを特徴とするプログラム。
【請求項2】
前記第1、第2の画像は異なる撮像装置により撮像された画像であり、
前記回復用光学伝達特性は、前記第1、第2の撮像装置の色成分ごとの光学伝達特性を平均化した光学伝達特性に基づいて生成されることを特徴とする請求項1に記載のプログラム。
【請求項3】
前記特定情報は光学伝達特性を識別するための情報であることを特徴とする請求項1または2に記載のプログラム。
【請求項4】
前記特定情報は撮像装置の識別コード、撮像光学系の識別コード、焦点距離、物体距離、Fno、像高であることを特徴とする請求項1乃至3いずれか1項に記載のプログラム。
【請求項5】
前記回復用光学伝達特性は前記第1、第2の画像の位相ずれによるぼけを低減させる光学伝達特性であることを特徴とする請求項1乃至4いずれか1項に記載のプログラム。
【請求項6】
前記回復用光学伝達特性は、前記第1、第2の画像の振幅ずれによるぼけを低減させる光学伝達特性であることを特徴とする請求項1乃至5いずれか1項に記載のプログラム。
【請求項7】
前記回復用光学伝達特性は、前記第1の画像が撮像された撮像条件における第1の光学伝達特性と前記第2の画像が撮像された撮像条件における第2の光学伝達特性の一部が共通化された光学伝達特性であることを特徴とする請求項1乃至6いずれか1項に記載のプログラム。
【請求項8】
画像取得ステップは、前記第1、第2の画像とは異なる撮影条件で撮像された第3の画像を取得し、
前記第3の画像を撮像した撮影条件における光学伝達特性の位相あるいは振幅に関する特性が類似していない場合、前記特定情報に基づいて前記回復用光学伝達特性とは異なる回復用光学伝達特性が取得されることを特徴とする請求項1乃至7いずれか1項に記載のプログラム。
【請求項9】
エッジ強調フィルタを用いて前記第1または第2の画像のエッジ部を強調するエッジ強調処理ステップを有し、
前記回復用光学伝達特性が2次元のタップ数を有する回復フィルタの場合、
前記エッジ強調フィルタのタップ数は、前記回復フィルタのタップ数よりも小さいことを特徴とする請求項2に記載のプログラム。
【請求項10】
画像の伸縮を伴う伸縮処理ステップを有することを特徴とする請求項1乃至9いずれか1項に記載のプログラム。
【請求項11】
互いに異なる撮影条件で撮像された第1、第2の画像を取得する画像取得手段と、
前記第1、第2の画像の画像を回復するための回復用光学伝達特性を特定する特定情報を取得する特定情報取得手段と、
前記特定情報により特定される回復用光学伝達特性を用いて前記第1および第2の画像を回復する回復手段を有し、
前記特定情報取得手段は、前記互いに異なる撮影条件における光学伝達特性の位相あるいは振幅に関する特性が類似している場合、前記特定情報に基づいて同じ回復用光学伝達特性を取得することを特徴とする撮像装置。
【請求項12】
互いに異なる撮影条件で撮像された第1、第2の画像を取得するステップと、
前記第1、第2の画像の画像を回復するための回復用光学伝達特性を特定する特定情報を取得する特定情報取得ステップと、
前記特定情報により特定される回復用光学伝達特性を用いて前記第1および第2の画像を回復する回復ステップを有し、
前記特定情報取得ステップにおいて、前記異なる撮影条件における光学伝達特性の位相あるいは振幅に関する特性が類似している場合、前記特定情報に基づいて同じ回復用光学伝達特性を取得することを特徴とする画像処理方法。
【請求項13】
互いに異なる撮影条件で撮像された第1、第2の画像を取得する画像取得手段と、
前記第1、第2の画像の画像を回復するための回復用光学伝達特性を特定する特定情報を取得する特定情報取得手段と、
前記特定情報により特定される回復用光学伝達特性を用いて前記第1および第2の画像を回復する回復手段を有し、
前記特定情報取得手段は、前記互いに異なる撮影条件における光学伝達特性の位相あるいは振幅に関する特性が類似している場合、前記特定情報に基づいて同じ回復用光学伝達特性を取得することを特徴とする画像処理装置。
【請求項14】
撮像素子を含めた光学系の構成が異なる第1と第2の撮像装置と、
前記第1と第2の撮像装置と通信可能な画像処理装置を有する画像処理システムであって、
前記第1と第2の撮像装置は撮像した画像に撮影条件を付加した特定情報を記録する記録手段を有し、
前記画像処理装置は、前記特定情報を取得し、前記特定情報により特定される回復用光学伝達特性を用いて前記第1および第2の画像を回復する回復手段を有し、
前記第1と第2の撮像装置の光学伝達特性の位相あるいは振幅に関する特性が類似している場合、前記特定情報に基づいて同じ回復用光学伝達特性を取得することを特徴とする画像処理装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【公開番号】特開2012−156715(P2012−156715A)
【公開日】平成24年8月16日(2012.8.16)
【国際特許分類】
【出願番号】特願2011−13274(P2011−13274)
【出願日】平成23年1月25日(2011.1.25)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】
【公開日】平成24年8月16日(2012.8.16)
【国際特許分類】
【出願日】平成23年1月25日(2011.1.25)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】
[ Back to top ]