画像処理装置、撮像装置、画像処理プログラム及び画像処理方法
【課題】重像画像は観賞に耐えられないという問題があった。
【解決手段】ある実施形態に係る画像処理装置は、重像画像に含まれる重像間の変形情報を取得する重像間変形取得部１０４と、取得された重像間の変形情報を基に、重像画像に対して少なくとも２回以上の変形処理を施して幾何的に変形させることによって、少なくとも２枚以上の変形画像を生成する画像変形部１０５と、重像画像に含まれる重像間の信号強度の関係を示す信号強度関係情報を取得する信号強度関係取得部１０６と、取得された信号強度関係情報を用いて、上記変形処理により生成された少なくとも２枚以上の変形画像の加算処理を行う信号処理部１０７と、を備える。
【解決手段】ある実施形態に係る画像処理装置は、重像画像に含まれる重像間の変形情報を取得する重像間変形取得部１０４と、取得された重像間の変形情報を基に、重像画像に対して少なくとも２回以上の変形処理を施して幾何的に変形させることによって、少なくとも２枚以上の変形画像を生成する画像変形部１０５と、重像画像に含まれる重像間の信号強度の関係を示す信号強度関係情報を取得する信号強度関係取得部１０６と、取得された信号強度関係情報を用いて、上記変形処理により生成された少なくとも２枚以上の変形画像の加算処理を行う信号処理部１０７と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影された被写体の像が多重になっている重像画像の重像状態を復元する画像処理装置及び画像処理方法、及びその画像処理装置を備える撮像装置、並びにコンピュータをそのような画像処理装置として機能させる画像処理プログラムに関する。
【０００２】
なお、本明細書中において、「重像画像」とは、被写体の像が多重になっている画像全般を表し、具体的には、撮像装置により被写体を多重に結像することで撮影された画像、または電気的、光学的な作用により被写体の像が多重となっているゴースト画像、フレア画像、または複数枚の画像の位置合わせを行い、その複数枚の画像の重ね合わせを行った際に、位置合わせ処理の失敗により被写体の像が多重になってしまった画像等を表す。また、「多重」とは、少なくとも一部が重なっている状態を意味する。
【背景技術】
【０００３】
カメラなどの撮像装置で撮像を行う場合に、撮像装置内に被写体の像を多重に撮影する機構を具備し、被写体の像を多重像の形で撮影し、その重像画像の重像間の変位を計測することで、被写体までの距離を計測するなどの技術が提案されている。例えば、特許文献１では透明板に映る２重像を用いて距離計測を行う手法を開示している。また、特許文献２では、複数開口を持つ絞りを利用することにより２重像を取得し、距離計測を行う手法を開示している。
【０００４】
また、従来、建物などによる電波の反射の影響でテレビの画像が多重に映るゴースト画像のゴーストを除去する場合には、特許文献３に開示されているように、ゴースト除去用基準信号（ＧＣＲ信号：Ghost Cancel Reference信号）等を用いたゴースト除去手法が用いられていた。
【０００５】
また、カメラなどの撮像装置で撮像を行う場合に、逆光や強い光がレンズ表面や内部で反射・散乱を起こし生じるフレア現象による多重像生成が知られているが、このような現象を生じさせないために、カメラレンズ周りにレンズフードを装着するなどの工夫が行われる。
【０００６】
さらに、従来、複数枚画像の位置合わせ処理を行い、その複数枚画像の重ね合わせ処理を行った場合に、位置合わせ処理の失敗から、重ね合わせ後の画像に重像が現れることがあったが、そのような場合は、重像間をぼかし、画像を補正するという処理を行っていた。
【特許文献１】特開２００６−３２９８９７号公報
【特許文献２】特開平７−１３５５９７号公報
【特許文献３】特開２０００−１５６７９９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、例えば上記の特許文献に開示されるごとく、撮像装置により撮像された重像画像に基づいて撮像位置から被写体までの被写体距離を計測することは確かに可能であるが、被写体距離を計測するために撮像された重像画像は観賞に耐えられないという問題があった。
【０００８】
本発明は、上記の点に鑑みてなされたもので、被写体の像が多重になっている重像画像から被写体の像が多重になっていない復元画像を生成できる画像処理装置、撮像装置、画像処理プログラム及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の画像処理装置の一態様は、
被写体の像が多重になっている重像画像の入力処理を行う画像入力部と、
上記画像入力部により入力された重像画像に含まれる重像間の変形情報を取得する重像間変形取得部と、
上記重像間変形取得部により取得された重像間の変形情報を基に、上記画像入力部により入力された重像画像に対して少なくとも２回以上の変形処理を施して幾何的に変形させることによって、少なくとも２枚以上の変形画像を生成する画像変形部と、
上記画像入力部により入力された重像画像に含まれる重像間の信号強度の関係を示す信号強度関係情報を取得する信号強度関係取得部と、
上記信号強度関係取得部により取得された信号強度関係情報を用いて、上記変形処理により生成された少なくとも２枚以上の変形画像の加算処理を行う信号処理部と、
を具備することを特徴とする。
この態様によれば、例えば、後述する（７）式に示すように、信号強度関係情報を用いて、重像画像を幾何的に変形して生成された複数の変形画像の加算処理を行うことによって、被写体の像が多重になっている重像画像から被写体の像が多重になっていない復元画像を生成できる。
また、本発明の撮像装置の一態様は、
被写体の光束を結像する撮影光学系と、
上記撮影光学系内において被写体の像を多重に結像させる多重結像部と、
上記撮影光学系からの光を電気信号に変換し、該変換した電気信号から画像信号を生成する画像信号生成部と、
上記撮影光学系、多重結像部及び画像信号生成部により生成された、少なくとも２つ以上の像を多重に有する重像画像に含まれる重像間の変形情報を取得する重像間変形取得部と、
上記重像間変形取得部により取得された重像間の変形情報を基に、上記重像画像に対して少なくとも２回以上の変形処理を施して幾何的に変形させることによって、少なくとも２枚以上の変形画像を生成する画像変形部と、
上記重像画像に含まれる重像間の信号強度の関係を示す信号強度関係情報を取得する信号強度関係取得部と、
上記信号強度関係取得部により取得された信号強度関係情報を用いて、上記変形処理により生成された少なくとも２枚以上の変形画像の加算処理を行う信号処理部と、
を具備することを特徴とする。
この態様によれば、例えば、後述する（７）式に示すように、信号強度関係情報を用いて、重像画像を幾何的に変形して生成された複数の変形画像の加算処理を行うことによって、被写体の像が多重になっている重像画像から被写体の像が多重になっていない復元画像を生成できる。
また、本発明の画像処理プログラムの一態様は、
被写体の像が多重になっている重像画像の入力処理を行うステップと、
上記入力された重像画像に含まれる重像間の変形情報を取得するステップと、
上記取得された重像間の変形情報を基に、上記入力された重像画像に対して少なくとも２回以上の変形処理を施して幾何的に変形させることによって、少なくとも２枚以上の変形画像を生成するステップと、
上記入力された重像画像に含まれる重像間の信号強度の関係を示す信号強度関係情報を取得するステップと、
上記取得された信号強度関係情報を用いて、上記変形処理により生成された少なくとも２枚以上の変形画像の加算処理を行うステップと、
をコンピュータに発揮させることを特徴とする。
この態様によれば、例えば、後述する（７）式に示すように、コンピュータにより、信号強度関係情報を用いて、重像画像を幾何的に変形して生成された複数の変形画像の加算処理を行うことによって、被写体の像が多重になっている重像画像から被写体の像が多重になっていない復元画像を生成できる。
また、本発明の画像処理方法の一態様は、
被写体の像が多重になっている重像画像の入力処理を行うステップと、
上記入力された重像画像に含まれる重像間の変形情報を取得するステップと、
上記取得された重像間の変形情報を基に、上記入力された重像画像に対して少なくとも２回以上の変形処理を施して幾何的に変形させることによって、少なくとも２枚以上の変形画像を生成するステップと、
上記入力された重像画像に含まれる重像間の信号強度の関係を示す信号強度関係情報を取得するステップと、
上記取得された信号強度関係情報を基に、上記変形処理により生成された少なくとも２枚以上の変形画像を加算処理して、被写体の像が多重になっていない復元画像を生成するステップと、
を具備することを特徴とする。
この態様によれば、例えば、後述する（７）式に示すように、信号強度関係情報を用いて、重像画像を幾何的に変形して生成された複数の変形画像の加算処理を行うことによって、被写体の像が多重になっている重像画像から被写体の像が多重になっていない復元画像を生成できる。
【発明の効果】
【００１０】
本発明によれば、被写体の像が多重になっている重像画像から被写体の像が多重になっていない復元画像を生成できる画像処理装置、撮像装置、画像処理プログラム及び画像処理方法を提供することができる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明を実施するための最良の形態を図面を参照して説明する。
【００１２】
［第１実施形態］
図１は、本発明の第１実施形態に係る撮像装置の構成を示す図である。なお、同図において、実太線の矢印は映像信号の流れを、実細線の矢印は制御信号の流れを、破線の矢印はその他の信号の流れを、それぞれ示している。
【００１３】
本撮像装置は、多重結像部１０１を含む撮影光学系１００、撮像部１０２、記録部１０３、重像間変形取得部１０４、画像変形部１０５、信号強度関係取得部１０６、信号処理部１０７、合焦点制御部１０８、ＡＦモータ１０９、出力部１１０、制御部１１１、及び外部Ｉ／Ｆ部１１２から構成される。
【００１４】
撮影光学系１００は、被写体の光束を結像するものであり、多重結像部１０１は、上記撮影光学系１００内において被写体の像を多重に結像させるものである。この時の、多重結像部１０１の実際の構成は、例えば特許文献１に記載されているように透明板に映る２重像を撮影するという構成としても良い。撮像部１０２は、上記撮影光学系からの光を電気信号に変換し、該変換した電気信号から画像信号を生成するものであり、上記撮影光学系１００、多重結像部１０１及び撮像部１０２より、少なくとも２つ以上の像を多重に有する重像画像が生成される。記録部１０３は、この生成された重像画像を記録するものである。
【００１５】
重像間変形取得部１０４は、上記記録部１０３に記録された重像画像に含まれる重像間の変形情報を取得するものである。画像変形部１０５は、上記重像間変形取得部１０４により取得された重像間の変形情報を基に、上記記録部１０３に記録された重像画像に対して少なくとも２回以上の変形処理を施して幾何的に変形させることによって、少なくとも２枚以上の変形画像を生成するものである。本明細書中において、「変形画像」とは、このように素の画像に対して変形処理を施して幾何学的に変形させた画像を指すものとする。なお、変位量がない変形、すなわち単位行列を施す変形も１回の変形処理に含ませても良い。この場合、単位行列の変形処理が施された画像も上述の「変形画像」に含まれる。
【００１６】
また、信号強度関係取得部１０６は、上記記録部１０３に記録された重像画像に含まれる重像間の信号強度の関係を示す信号強度関係情報を取得するものである。信号処理部１０７は、上記信号強度関係取得部１０６で取得された信号強度関係情報を用いて、上記変形処理により生成された少なくとも２枚以上の変形画像の加算処理を行って、復元画像を得るものである。
【００１７】
また、合焦点制御部１０８は、上記重像間変形取得部１０４により取得された重像間の変形情報を基に被写体距離を求め、ＡＦモータ１０９は、上記撮影光学系１００が被写体に合焦するように、ＡＦモータ１０９を制御するものである。
【００１８】
出力部１１０は、上記信号処理部１０７で求められ、上記記録部１０３に記録された復元画像を出力するものである。
【００１９】
制御部１１１は、外部Ｉ／Ｆ部１１２からの指示に応じて、上記記録部１０３、重像間変形取得部１０４、画像変形部１０５、信号強度関係取得部１０６、信号処理部１０７、合焦点制御部１０８を制御するものである。外部Ｉ／Ｆ部１１２は、レリーズスイッチや各種ボタン、スイッチ等の入力部材や、ＬＥＤ等の表示部材などのユーザインタフェースである。
【００２０】
以下、このような構成における各部の動作を詳細に説明する。
【００２１】
撮影光学系１００に含まれる多重結像部１０１により、被写体の像は光学的に多重に結像される。この多重結像部１０１により多重に結像された被写体の像は、撮像部１０２により撮像され、電気信号へと変換され、重像画像の画像信号が生成される。
【００２２】
この撮像部１０２において撮像された重像画像は、記録部１０３へと記録される。
【００２３】
以下、上記記録部１０３において記録された重像画像の復元処理が行われる。
【００２４】
ここで、本発明の理解を助けるために、まずはじめに、重像画像の復元処理の原理的説明を行う。ここでは、重像画像に含まれる重像の数を２つに限定し説明を行う。即ち、重像画像は図２（Ａ）に示すような２重像画像となる。ただし、重像画像が３つ以上の重像を含む場合も、以下の原理的説明の拡張により、容易に復元可能である。
【００２５】
上記撮影光学系１００（多重結像部１０１）及び撮像部１０２において撮影された重像画像の画像生成モデルは、以下の（１）式のようになる。
【数１】
【００２６】
ここで、ｙは重像画像、ｚは重像になる前の画像（復元したい画像）、αは重像画像に含まれる重像間の相対強度（信号強度関係情報）で、０≦α＜１である。Ｉは単位行列である。Ａ（Ｌ）は変形量Ｌだけ画像を変形させるシステム行列である。上記（１）式により２重像を生成している。
【００２７】
上記（１）式の２重像を生成するシステム行列
【数２】
【００２８】
の逆行列は、
【数３】
【００２９】
と書ける。ここで、Ｋは画像の変形回数を表す。ただし、ｎ＝０からＫまでの画像変形となるので、実際の変形回数はＫ＋１回となる。復元を行う場合、Ｋには少なくとも１以上の数を指定しなければならない。
【００３０】
上記（３）式より重像画像復元を行うための復元式は、以下の（４）式のようになる。
【数４】
【００３１】
この（４）式より画像復元を行うためには、重像画像に対して複数の変形｛Ａ（Ｌ）｝ｎによる変形処理を施し、その変形量を（−α）ｎした後で、加算処理を行えばよい事が分かる。また、加算処理後に（１＋α）倍をしてやれば、画像の明るさの正規化を行うことが可能となる。
【００３２】
以下、図１に示す構成に沿った、画像復元処理の説明を行う。
【００３３】
上記記録部１０３に記録されている重像画像は、重像間変形取得部１０４に伝送され、重像間の変位量（重像間の変形情報）の取得が行われる。この取得においては、重像画像のヘッダ情報に重像間の変形情報や重像間の信号強度の関係を示す信号強度関係情報の記載がある場合はそれを利用する。これに対して、重像間の変形量が未知である場合は、重像間変形取得部１０４において重像間の変位量の推定が行われる。重像間の変位量の推定は、例えば重像画像の自己相関関数値の計算によって行われる。自己相関関数の計算式の例を、以下の（５）式に示す。
【数５】
【００３４】
ここで、ｙ１，ｙ２はそれぞれτだけ位置がずれた重像画像、ｉは画像座標、Ωは計算範囲、
【数６】
【００３５】
はｙ１，ｙ２の計算範囲内での平均値を表す。
【００３６】
図３に自己相関関数の例を示す。自己相関数値を計算後、重像間の相関値を表す第２ピークを検出することで、重像間の変位量（重像間の変形情報）を計算している。
【００３７】
なお、ここでは１次元空間において自己相関関数の算出を行っている。例えば、重像画像の重像間の変位の方向が既知である場合は、このように重像間の変位の方向に沿った１次元探索により重像間の変位を探索することができる。このような情報は、例えば、上記特許文献１に記載されているような透明板に映る２重像を撮影するという構成であれば、光学的キャリブレーション手法により、重像間の変位の方向を予め取得可能であるので、それを利用する。また、重像画像の重像間変位の方向が未知である場合は、２次元空間における、自己相関関数値の探索を行い、第２ピークの検出を行えば良い。
【００３８】
上記重像間変形取得部１０４で取得された重像間の変形情報は、画像変形部１０５及び合焦点制御部１０８へ伝送される。
【００３９】
合焦点制御部１０８へ送られた変形情報は、当該合焦点制御部１０８に保持されている変形情報と被写体距離との対応関係より、被写体距離へと変換される。この対応関係は、例えば、変形情報と被写体距離との間の関係をキャリブレーションにより求めておき、その関係を合焦点制御部１０８のルックアップテーブル上に記載しておく。求められた被写体距離量から、合焦点制御部１０８は、撮影光学系１００が被写体に合焦するように、ＡＦモータ１０９を制御する。
【００４０】
一方、画像変形部１０５では、上記記録部１０３に記録されている重像画像と上記重像間変形取得部１０４で取得された重像間の変形情報とを用いて、重像画像に対して変形処理を施す。
【００４１】
その変形処理としては、上記（４）式で示したように、複数の変形｛Ａ（Ｌ）｝ｎ（ただし、ｎ＝０，１，…，Ｋ）を行う。ここで、Ｌは上記重像間変形取得部１０４で取得された変形情報である。
【００４２】
ここで、ｎ＝０の時の変形は、以下の（６）式に示すように、
【数７】
【００４３】
となり、変位量は無い変形となる。
【００４４】
例えば、変形情報Ｌが平行移動を表す変形量で、Ｌ＝（２，３）［pixel］であった場合、｛Ａ（Ｌ）｝ｎ（ただし、ｎ＝０，１，…，Ｋ）は、ｎ＝０のとき（０，０）の平行移動変形（実際は変形しない）、ｎ＝１のとき（２，３）の平行移動変形、ｎ＝２のとき（４，６）の平行移動変形、ｎ＝Ｋの時（２Ｋ，３Ｋ）の平行移動変形となる。
【００４５】
ここでは簡単な変形処理の例として、平行移動を例に挙げたが、実際の変形処理は平行移動処理によらず例えば、平行移動処理＋拡大処理、アフィン変形処理、射影変形処理等より自由度の高い変形処理を行うが、そのような場合でも、同様な枠組みにより変形処理を行うことが可能である。
【００４６】
このようにして上記画像変形部１０５における画像変形処理によって生成された複数枚の変形画像は、次に、信号処理部１０７に送られ、実際の復元処理が行われる。また、その信号処理部１０７には、信号強度関係取得部１０６において取得される重像間の信号強度関係情報も伝送する。
【００４７】
なお、上記信号強度関係取得部１０６で取得される信号強度関係情報は、撮影光学系１００に含まれる、レンズやハーフミラーにおける反射率等により決定する値なので、予め撮影光学系１００における光学的キャリブレーションにおいて求めておくのが好ましい。ただし、撮影の都度その強度関係を測定してもかまわないし、また外部Ｉ／Ｆ部１１２を介してユーザが指定しても良いものとする。
【００４８】
信号処理部１０７に伝送された、上記信号強度関係取得部１０６において取得された信号強度関係情報と上記画像変形部１０５において生成された複数枚の変形画像とを用いて、以下の式（７）により画像の復元処理を行う。
【数８】
【００４９】
ここで、信号強度情報αは、信号強度の関係を０≦α＜１で表わしている。重像間の信号強度が同一である場合は、α＝１であるが、実際のシステム設計では０＜α＜１であることが好ましい。また、（｛Ａ（Ｌ）｝ｎｙ）は複数の変形処理で変形された複数の変形画像を表している。（｛Ａ（Ｌ）｝ｎｙ）を、（−α）ｎを考慮しながら複数枚加算し、加算後に（１＋α）を掛け合わせることで、復元画像ｚを生成することができる。
【００５０】
以上のようにして、重像画像の復元画像を生成する。図２（Ｂ）は、図２（Ａ）の２重像画像から生成された復元画像を示している。このようにして生成された復元画像は、上記記録部１０３へ転送・記録された後、出力部１１０を介して鑑賞用のリソースとして利用することができる。
【００５１】
なお、以上の説明は、重像間の変位を一つの変位として行ってきたが、実際は重像画像を部分毎の部分画像に分け、部分画像上で上記手法を行ってもかまわないものとする。重像画像を複数の部分画像に分け復元処理を行うと、重像間が複雑な動きを持つ場合でも、良好に復元処理を行うことが可能となる。この場合、部分画像として復元処理が行われた復元結果を、最終的に統合する処理を別途行う必要がある。この統合処理を、信号処理部１０７に含んでいてもかまわないものとする。
【００５２】
このような重像画像を部分画像に分けた形で復元処理を行う方法を、図４のフローチャートを使って説明する。
【００５３】
即ち、まず、重像間変形取得部１０４は、記録部１０３に記録された重像画像を読み込む（ステップＳ１）。この時、重像画像のヘッダ情報に重像間の変形情報や信号強度関係情報の記載があれば、以下のステップＳ３及びステップＳ４で利用するために、ヘッダ情報を読み込んでおく。
【００５４】
次に、重像間変形取得部１０４は、重像画像の部分画像領域を指定する（ステップＳ２）。ここで、部分画像は、重像画像よりも小さい領域の任意の大きさをとって良い。ここでは、１０×１０［pixel］の領域とする。
【００５５】
そして、重像間変形取得部１０４は、部分画像領域における重像間の変形量（変形情報）を取得する（ステップＳ３）。この変形情報は、上記ステップＳ１で読み込んだヘッダ情報に記載がある場合はそれを利用する。記載がない場合は、重像画像全体及び部分画像領域を用いて、自己相関関数を計算することでその変形量を求める。ここで、予めキャリブレーションを行い、重像間の変形の方向が既知である場合は、その方向に沿った自己相関関数の計算・探索により変形量を求める。未知の場合は、２次元空間による自己相関関数の計算・探索により変形量を求める。
【００５６】
次に、信号強度関係取得部１０６は、部分画像領域における重像間の信号強度関係情報の取得を行う（ステップＳ４）。この信号強度関係情報は、上記ステップＳ１で読み込んだヘッダ情報に記載がある場合は、それを利用する。予め、光学的なキャリブレーションにより既知となっていればその値を利用する。
【００５７】
その後、制御部１１１は、複数の画像変形処理を行う場合のパラメータｎを０に初期化する（ステップＳ５）。
【００５８】
そして、画像変形部１０５は、部分画像の変形処理を行う（ステップＳ６）。変形量は｛Ａ（Ｌ）｝ｎであり、Ｌは上記ステップＳ３で取得された重像間の変形情報である。
【００５９】
その後、制御部１１１は、ｎ＞Ｋであるかの判定を行う（ステップＳ７）。ｎ＞Ｋでない場合には、ｎ＝ｎ＋１とし（ステップＳ８）、上記ステップＳ６へ戻る。
【００６０】
これに対して、ｎ＞Ｋである場合には、複数の変形処理により生成された複数の変形部分画像の加算処理を行う（ステップＳ９）。この時、上記ステップＳ４で取得された重像間の信号強度情報を考慮する。加算処理の実際は、上記（７）式と同様である（ｙが部分画像となっているところが異なる）。
【００６１】
そして、重像間変形取得部１０４は、全領域の処理が終了したかの判定を行う（ステップＳ１０）。ここで、全領域の処理が終了していない場合には、部分画像の領域を変更して（ステップＳ１１）、上記ステップＳ２へ戻る。
【００６２】
而して、全領域の処理が終了したならば、信号処理部１０７は、復元処理が行われた全ての部分画像の統合処理を行う（ステップＳ１２）。実際の統合処理としては、例えば、復元処理が行われた全ての部分画像を、元の重像画像と同一の画像空間において加算して貼り合わせる処理を行い、その張り合わせた画像に対し、ピクセル単位で張り合わせた回数の数で割り算を行い、平均化処理を行うという処理を採っても良い。例えば、１０×１０［pixel］の部分画像を、１［pixel］毎に移動させながら取得し復元処理を行い、その結果を再び元の重像画像と同一の画像空間に加算しながら張り合わせた場合、ピクセル毎に１００で割った値を最終的な復元画像の画素値とする。
【００６３】
そして、信号処理部１０７は、上記ステップＳ１２において統合処理が行われた重像画像の復元結果を最終出力として、記録部１０３に信号出力して、記録する。
【００６４】
以上のように、本第１実施形態によれば、重像画像に含まれる重像間の変形情報を取得し、該重像間の変形情報を基に、上記重像画像に対して少なくとも２回以上の変形処理を施して幾何的に変形させることによって、少なくとも２枚以上の変形画像を生成し、また、上記重像画像に含まれる重像間の信号強度の関係を示す信号強度関係情報を取得して、その信号強度関係情報を用いて、上記変形処理により生成された少なくとも２枚以上の変形画像の加算処理を行うことで、被写体の像が重なっていない復元画像を得ることができる。
【００６５】
すなわち、本実施の形態１によれば、重像画像を幾何的に変形せしめるとともにその変形により生成された複数の変形画像を加算することによって、被写体の像が多重になっている重像画像から被写体の像が多重になっていない復元画像を生成できる。
【００６６】
従って、例えば上記特許文献１及び特許文献２に開示されているように撮像装置において重像画像を撮影し距離計測を行う場合でも、重像画像の復元処理を行うことで、観賞用として良好な画像を生成することが可能となる。
【００６７】
ところで、従来では、上記特許文献３に開示されているように、例えば、重像画像の一種であるゴースト画像に含まれるゴーストを除去するためにＧＣＲ信号を用いるような場合、そのＧＣＲ信号を受信している際にはゴースト除去が可能であるが、既にゴースト画像として撮影された映像リソースについては、後から追ってゴースト除去を行うことは不可能であった。
【００６８】
さらに、従来では、ゴースト画像に含まれる重像の状態をモデル化し、その逆過程を再現した復元処理によるゴースト除去の手法は、そもそも提案されていなかった。
【００６９】
さらに、従来では、重像画像の一種であるフレア画像に含まれる重像の状態をモデル化し、その逆過程を再現した復元処理によるフレア除去の手法も、そもそも提案されていなかった。
【００７０】
さらに、従来では、例えば、複数枚の画像の位置合わせ処理及び重ね合わせ処理を行った際、重ね合わせ後に多重像となってしまったときの、ぼかしによる補正は良好な画像補正を行うことができなかった。
【００７１】
本第１実施形態によれば、例えば、ゴースト除去時にＧＣＲ信号などの基準信号をわざわざ用意する必要なく、簡単な変形処理を施すことによって良好なゴースト除去を行うことが可能となる。また、ＧＣＲ信号などの基準信号を用意する必要がないため、既にゴースト画像として撮影された映像リソースについても、簡単な変形処理を施すことによって、後から追ってゴースト除去を行うことが可能となる。さらに、本第１実施形態によれば、ゴースト画像に含まれる重像の状態をモデル化し、その逆過程を再現した復元処理、すなわち、本第１実施形態に係る変形処理および加算処理によるゴースト除去を行うため、簡便かつ高精度にゴーストの除去を行うことが可能となる。
【００７２】
また、例えば、フレア除去時にフレア画像に含まれる重像の状態をモデル化し、その逆過程を再現した復元処理によるフレア除去を行うことができるため、簡便かつ高精度にフレアの除去を行うことが可能となる。
【００７３】
また例えば、複数枚の画像の位置合わせ及び重ね合わせ処理を行った場合に、重ね合わせ後に多重像になった場合でも、ぼかしによる補正等を行うことなく、多重像の状態をモデル化しその逆過程を再現した復元処理による、多重像の復元を行うことができるため、従来よりも高画質な画像補正を行うことが可能となる。
【００７４】
［第２実施形態］
図５は、本発明の第２実施形態に係る画像処理装置の構成を示す図である。なお、同図において、実太線の矢印は映像信号の流れを、実細線の矢印は制御信号の流れを、破線の矢印はその他の信号の流れを、それぞれ示している。
【００７５】
本画像処理装置は、入力部２００、記録部２０１、重像間変形取得部２０２、画像変形部２０３、信号強度関係取得部２０４、信号処理部２０５、出力部２０６、制御部２０７、及び外部Ｉ／Ｆ部２０８から構成される。
【００７６】
入力部２００は、画像の入力処理を行うものである。記録部２０１は上記第１実施形態における記録部１０３に、重像間変形取得部２０２は上記第１実施形態における重像間変形取得部１０４に、画像変形部２０３は上記第１実施形態における画像変形部１０５に、信号強度関係取得部２０４は上記第１実施形態における信号強度関係取得部１０６に、信号処理部２０５は上記第１実施形態における信号処理部１０７に、出力部２０６は上記第１実施形態における出力部１１０に、制御部２０７は上記第１実施形態における制御部１１１に、外部Ｉ／Ｆ部２０８は上記第１実施形態における外部Ｉ／Ｆ部１１２に、それぞれ対応するものである。
【００７７】
以下、このような構成における各部の動作を詳細に説明する。
【００７８】
入力部２００において入力された重像画像は、記録部２０１へと記録される。この入力部２００において入力される画像は、任意の画像の入力が可能であるとし、重像画像に限定されない。重像画像でない場合でも、記録部２０１に記録が行われた後、出力部２０６において出力処理を行うことができる。重像画像である場合は、重像間変形取得部２０２、画像変形部２０３、信号強度関係取得部２０４、及び信号処理部２０５を介して重像画像の復元処理が行われる。
【００７９】
ここで、重像画像とは、被写体の像が多重になっている画像全般を表し、具体的には、撮像装置により被写体を多重に結像することで撮影された画像、または電気的、光学的な作用により被写体の像が多重となっているゴースト画像、フレア画像、または複数枚の画像の位置合わせを行い、その複数枚の画像の重ね合わせを行った際に、位置合わせ処理の失敗により被写体の像が多重になってしまった画像等を表す。
【００８０】
重像画像の復元処理の原理的仕組みは、第１実施形態において前述した通りである。
【００８１】
以下、図５に示す構成に沿った、画像復元処理の説明を行う。
【００８２】
記録部２０１に記録されている重像画像は、重像間変形取得部２０２に伝送され、重像間の変位量（重像間の変形情報）の取得が行われる。この取得においては、重像画像のヘッダ情報に重像間変位情報や重像間の信号強度の関係示す信号強度関係情報の記載がある場合はそれを利用する。これに対して、重像間の変形量が未知である場合は、重像間変形取得部２０２において重像間の変位量の推定が行われる。重像間の変位量の推定は、例えば重像画像の自己相関関数値の計算によって行われる。自己相関関数の計算式の例は、上述した（５）式の通りである。
【００８３】
また、自己相関関数の例は、図３に示すようなものである。自己相関数値を計算後、重像間の相関値を表す第２ピークを検出することで、重像間の変形情報を計算している。
【００８４】
なお、ここでは１次元空間において自己相関関数の算出を行っている。例えば、重像画像の重像間の変位の方向が既知である場合は、このように重像間の変位の方向に沿った１次元探索により重像間の変位を探索することができる。このような情報は、例えば、記録部２０１に記録されている重像画像のヘッダ情報等に記載しておき、その情報を読み取ることで既知とすることができる。また、重像画像の重像間変位の方向が未知である場合は、２次元空間における、自己相関関数値の探索を行い、第２ピークの検出を行えば良い。
【００８５】
上記重像間変形取得部２０２で取得された画像間の変形情報は、画像変形部２０３へ伝送される。
【００８６】
画像変形部２０３では、上記記録部２０１に記録されている重像画像と上記重像間変形取得部２０２で取得された重像間の変形情報とを用いて、重像画像に対して変形処理を施す。
【００８７】
その変形処理としては、上記（４）式で示したように、複数の変形｛Ａ（Ｌ）｝ｎ（ただし、ｎ＝０，１…，，Ｋ）を行う。ここで、Ｌは重像間変形取得部２０２で取得された変形情報である。
【００８８】
ここで、ｎ＝０の時の変形は、上記（６）式となり、変位量は無い変形となる。
【００８９】
例えば、変形情報Ｌが平行移動を表す変形量で、Ｌ＝（２，３）［pixel］であった場合、｛Ａ（Ｌ）｝ｎ（ただし、ｎ＝０，１，…，Ｋ）はｎ＝０のとき（０，０）の平行移動変形（実際は変形しない）、ｎ＝１のとき（２，３）の平行移動変形、ｎ＝２のとき（４，６）の平行移動変形、ｎ＝Ｋの時（２Ｋ，３Ｋ）の平行移動変形となる。
【００９０】
ここでは簡単な変形処理の例として、平行移動処理を例に挙げたが、実際の変形処理は平行移動処理によらず例えば、平行移動処理＋拡大処理、アフィン変形処理、射影変形処理等より自由度の高い変形処理を行うが、そのような場合でも、同様な枠組みにより変形処理を行うことが可能である。
【００９１】
このようにして上記画像変形部２０３における画像変形処理によって生成された複数枚の変形画像は、次に、信号処理部２０５に送られ、実際の復元処理が行われる。また、その信号処理部２０５には、信号強度関係取得部２０４において取得される重像間の信号強度の関係を伝送する。
【００９２】
なお、上記信号強度関係取得部２０４で取得される信号強度の関係は、予め重像画像のヘッダ情報として含まれていることが好ましい。ただし、重像画像が入力されたその都度強度関係を測定してもかまわないし、また外部Ｉ／Ｆ部２０８を介してユーザが指定しても良いものとする。
【００９３】
信号処理部２０５に伝送された、上記信号強度関係取得部２０４において取得された信号強度の関係と上記画像変形部２０３において生成された複数枚の変形画像とを用いて、上記（７）式により画像の復元処理を行う。
【００９４】
上述したように、上記（７）式の信号強度情報αは、信号強度の関係を０≦α＜１で表わしており、重像間の信号強度が同一である場合は、α＝１であるが、実際のシステム設計では０＜α＜１であることが好ましい。また、（｛Ａ（Ｌ）｝ｎｙ）は複数の変形処理で変形された複数の変形画像を表しており、（｛Ａ（Ｌ）｝ｎｙ）を、（−α）ｎを考慮しながら複数枚加算し、加算後に（１＋α）を掛け合わせることで、復元画像ｚを生成することができる。
【００９５】
以上のようにして、重像画像の復元画像を生成する。生成された復元画像は、記録部２０１へ転送・記録され、出力部２０６を介して鑑賞用のリソースとして利用することができる。
【００９６】
なお、本第２実施形態においても、重像間の変位を一つの変位として行うだけでなく、上記第１実施形態で説明したように、実際は重像画像を部分毎の部分画像に分け、部分画像上で上記手法を行ってもかまわないものとする。重像画像を複数の部分画像に分け復元処理を行うと、重像間が複雑な動きをもつ場合でも、良好に復元処理を行うことが可能となる。この場合、部分画像として復元処理が行われた復元結果を、最終的に統合する処理を別途行う。この統合処理を、信号処理部２０５に含んでいてもかまわないものとする。
【００９７】
上記重像画像を部分画像に分けた形で復元処理を行う方法は、上記第１実施形態において図４のフローチャートを用いて説明したのと同様であるので、ここではその説明を省略する。
【００９８】
以上のように、上記第１実施形態のように撮影装置に組み込むのではなく、画像処理装置を単体として構成することで、該画像処理装置を持たない撮影装置で撮影された重像画像等、外部から入力される重像画像から復元画像を得ることができるようになる。
【００９９】
以上、第１及び第２実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。
【０１００】
例えば、上記実施形態の機能を実現するソフトウェアのプログラムをコンピュータに供給し、当該コンピュータがこのプログラムを実行することによって、上記機能を実現することも可能である。
【０１０１】
（付記）
前記の具体的実施形態から、以下のような構成の発明を抽出することができる。
【０１０２】
（１） 被写体の像が多重になっている重像画像の入力処理を行う画像入力部と、
上記画像入力部により入力された重像画像に含まれる重像間の変形情報を取得する重像間変形取得部と、
上記重像間変形取得部により取得された重像間の変形情報を基に、上記画像入力部により入力された重像画像に対して少なくとも２回以上の変形処理を施して幾何的に変形させることによって、少なくとも２枚以上の変形画像を生成する画像変形部と、
上記画像入力部により入力された重像画像に含まれる重像間の信号強度の関係を示す信号強度関係情報を取得する信号強度関係取得部と、
上記信号強度関係取得部により取得された信号強度関係情報を用いて、上記変形処理により生成された少なくとも２枚以上の変形画像の加算処理を行う信号処理部と、
を具備することを特徴とする画像処理装置。
【０１０３】
（対応する実施形態）
この（１）に記載の画像処理装置に関する実施形態は、第１及び第２実施形態が対応する。それらの実施形態において、一例として、撮影光学系１００，多重結像部１０１，撮像部１０２及び入力部２００が上記画像入力部に、重像間変形取得部１０４及び重像間変形取得部２０２が上記重像間変形取得部に、画像変形部１０５及び画像変形部２０３が上記画像変形部に、信号強度関係取得部１０６及び信号強度関係取得部２０４が上記信号強度関係取得部に、信号処理部１０７及び信号処理部２０５が上記信号処理部に、それぞれ対応する。
【０１０４】
（作用効果）
この（１）に記載の画像処理装置は、重像画像（ｙ）に含まれる重像間の変形情報（Ｌ）を取得し、該重像間の変形情報を基に、上記重像画像に対して少なくとも２回以上の変形処理を施して幾何的に変形させることによって、少なくとも２枚以上の変形画像（｛Ａ（Ｌ）｝ｎｙ）を生成し、また、上記重像画像に含まれる重像間の信号強度の関係を示す信号強度関係情報（α）を取得して、その信号強度関係情報を用いて、例えば、上記（７）式のように上記変形処理により生成された少なくとも２枚以上の変形画像の加算処理を行う。なお、変位量がない変形、すなわち単位行列を施す変形も１回の変形処理に含ませてもよい。この場合、単位行列の変形処理が施された画像も上述の「変形画像」に含まれる。
従って、この（１）に記載の画像処理装置によれば、例えば、上記（７）式に示すように、信号強度関係情報（α）を用いて、重像画像（ｙ）を幾何的に変形して生成された複数の変形画像（｛Ａ（Ｌ）｝ｎｙ）の加算処理を行うことによって、被写体の像が多重になっている重像画像から被写体の像が重なっていない復元画像（ｚ）を得ることができる。
【０１０５】
（２） 上記画像変形部は、上記変形処理として、画像の平行移動処理を行うことを特徴とする（１）に記載の画像処理装置。
【０１０６】
（対応する実施形態）
この（２）に記載の画像処理装置に関する実施形態は、第１及び第２実施形態が対応する。
【０１０７】
（作用効果）
この（２）に記載の画像処理装置によれば、重像画像のうち最も発生率の高いものを簡単な処理で高速に復元することができる。
【０１０８】
（３） 上記画像変形部は、上記変形処理として、画像の拡大処理及び平行移動処理を合わせた変形を行うことを特徴とする（１）に記載の画像処理装置。
【０１０９】
（対応する実施形態）
この（３）に記載の画像処理装置に関する実施形態は、第１及び第２実施形態が対応する。
【０１１０】
（作用効果）
この（３）に記載の画像処理装置によれば、多重になった被写体間に平行且つ拡大／縮小の関係がある重像画像から復元画像を得ることができる。
【０１１１】
（４） 上記重像間変形取得部は、予め取得した上記重像画像上の重像間変位の変位方向を利用して、重像間の変形情報を取得することを特徴とする（１）乃至（３）の何れかに記載の画像処理装置。
【０１１２】
（対応する実施形態）
この（４）に記載の画像処理装置に関する実施形態は、第１及び第２実施形態が対応する。
【０１１３】
（作用効果）
この（４）に記載の画像処理装置によれば、高速且つ正確な変形情報を取得できる。
【０１１４】
（５） 上記画像変形部は、上記重像画像に対する、上記予め取得した重像間変位の変位方向に沿った変形処理を行うことを特徴とする（４）に記載の画像処理装置。
【０１１５】
（対応する実施形態）
この（５）に記載の画像処理装置に関する実施形態は、第１及び第２実施形態が対応する。
【０１１６】
（作用効果）
この（５）に記載の画像処理装置によれば、高速且つ正確に復元を行うことが可能である。
【０１１７】
（６） 上記重像間変形取得部、上記画像変形部、上記信号強度関係取得部及び上記信号処理部は、画像の一部である部分領域毎にそれぞれ処理を行うことを特徴とする（１）乃至（５）の何れかに記載の画像処理装置。
【０１１８】
（対応する実施形態）
この（６）に記載の画像処理装置に関する実施形態は、第１及び第２実施形態が対応する。
【０１１９】
（作用効果）
この（６）に記載の画像処理装置によれば、重像間が複雑な動きを持つ場合でも、良好に復元処理を行うことが可能となる。
【０１２０】
（７） 上記重像間変形取得部、上記画像変形部、上記信号強度関係取得部及び上記信号処理部は、画像の一部である部分領域毎にそれぞれ処理を行い、上記部分領域毎の処理結果を統合することで画像全体の復元画像を生成することを特徴とする（１）乃至（５）の何れかに記載の画像処理装置。
【０１２１】
（対応する実施形態）
この（７）に記載の画像処理装置に関する実施形態は、第１及び第２実施形態が対応する。
【０１２２】
（作用効果）
この（７）に記載の画像処理装置によれば、重像間が複雑な動きを持つ場合でも、良好に復元処理を行うことが可能となる。
【０１２３】
（８） 被写体の光束を結像する撮影光学系と、
上記撮影光学系内において被写体の像を多重に結像させる多重結像部と、
上記撮影光学系からの光を電気信号に変換し、該変換した電気信号から画像信号を生成する画像信号生成部と、
上記撮影光学系、多重結像部及び画像信号生成部により生成された、少なくとも２つ以上の像を多重に有する重像画像に含まれる重像間の変形情報を取得する重像間変形取得部と、
上記重像間変形取得部により取得された重像間の変形情報を基に、上記重像画像に対して少なくとも２回以上の変形処理を施して幾何的に変形させることによって、少なくとも２枚以上の変形画像を生成する画像変形部と、
上記重像画像に含まれる重像間の信号強度の関係を示す信号強度関係情報を取得する信号強度関係取得部と、
上記信号強度関係取得部により取得された信号強度関係情報を用いて、上記変形処理により生成された少なくとも２枚以上の変形画像の加算処理を行う信号処理部と、
を具備することを特徴とする撮像装置。
【０１２４】
（対応する実施形態）
この（８）に記載の撮像装置に関する実施形態は、第１実施形態が対応する。その実施形態において、一例として、撮影光学系１００が上記撮影光学系に、多重結像部１０１が上記多重結像部に、撮像部１０２が上記画像信号生成部に、重像間変形取得部１０４が上記重像間変形取得部に、画像変形部１０５が上記画像変形部に、信号強度関係取得部１０６が上記信号強度関係取得部に、信号処理部１０７が上記信号処理部に、それぞれ対応する。
【０１２５】
（作用効果）
この（８）に記載の撮像装置は、撮像した重像画像（ｙ）に含まれる重像間の変形情報（Ｌ）を取得し、該重像間の変形情報を基に、上記重像画像に対して少なくとも２回以上の変形処理を施して幾何的に変形させることによって、少なくとも２枚以上の変形画像（｛Ａ（Ｌ）｝ｎｙ）を生成し、また、上記重像画像に含まれる重像間の信号強度の関係を示す信号強度関係情報（α）を取得して、その信号強度関係情報を用いて、例えば、上記（７）式のように上記変形処理により生成された少なくとも２枚以上の変形画像の加算処理を行う。なお、変位量がない変形、すなわち単位行列を施す変形も１回の変形処理に含ませてもよい。この場合、単位行列の変形処理が施された画像も上述の「変形画像」に含まれる。
従って、この（８）に記載の撮像装置によれば、例えば、上記（７）式に示すように、信号強度関係情報（α）を用いて、重像画像（ｙ）を幾何的に変形して生成された複数の変形画像（｛Ａ（Ｌ）｝ｎｙ）の加算処理を行うことによって、被写体の像が多重になっている重像画像を撮像しても、被写体の像が重なっていない復元画像（ｚ）を得ることができる。
【０１２６】
（９） 上記画像変形部は、上記変形処理として、画像の平行移動処理を行うことを特徴とする（８）に記載の撮像装置。
【０１２７】
（対応する実施形態）
この（９）に記載の撮像装置に関する実施形態は、第１実施形態が対応する。
【０１２８】
（作用効果）
この（９）に記載の撮像装置によれば、重像画像のうち最も発生率の高いものを簡単な処理で高速に復元することができる。
【０１２９】
（１０） 上記画像変形部は、上記変形処理として、画像の拡大処理及び平行移動処理を合わせた変形を行うことを特徴とする（８）に記載の撮像装置。
【０１３０】
（対応する実施形態）
この（１０）に記載の撮像装置に関する実施形態は、第１実施形態が対応する。
【０１３１】
（作用効果）
この（１０）に記載の撮像装置によれば、多重になった被写体間に平行且つ拡大／縮小の関係がある重像画像から復元画像を得ることができる。
【０１３２】
（１１） 上記重像間変形取得部は、予め取得した上記重像画像上の重像間変位の変位方向を利用して、重像間の変形情報を取得することを特徴とする（８）乃至（１０）の何れかに記載の撮像装置。
【０１３３】
（対応する実施形態）
この（１１）に記載の撮像装置に関する実施形態は、第１実施形態が対応する。
【０１３４】
（作用効果）
この（１１）に記載の撮像装置によれば、高速且つ正確な変形情報を取得できる。
【０１３５】
（１２） 上記画像変形部は、上記重像画像に対する、上記予め取得した重像間変位の変位方向に沿った変形処理を行うことを特徴とする（１１）に記載の撮像装置。
【０１３６】
（対応する実施形態）
この（１２）に記載の撮像装置に関する実施形態は、第１実施形態が対応する。
【０１３７】
（作用効果）
この（１２）に記載の撮像装置によれば、高速且つ正確に復元を行うことが可能である。
【０１３８】
（１３） 上記重像間変形取得部、上記画像変形部、上記信号強度関係取得部及び上記信号処理部は、画像の一部である部分領域毎にそれぞれ処理を行うことを特徴とする（８）乃至（１２）の何れかに記載の撮像装置。
【０１３９】
（対応する実施形態）
この（１３）に記載の撮像装置に関する実施形態は、第１実施形態が対応する。
【０１４０】
（作用効果）
この（１３）に記載の撮像装置によれば、重像間が複雑な動きを持つ場合でも、良好に復元処理を行うことが可能となる。
【０１４１】
（１４） 上記重像間変形取得部、上記画像変形部、上記信号強度関係取得部及び上記信号処理部は、画像の一部である部分領域毎にそれぞれ処理を行い、上記部分領域毎の処理結果を統合することで画像全体の復元画像を生成することを特徴とする（８）乃至（１２）の何れかに記載の撮像装置。
【０１４２】
（対応する実施形態）
この（１４）に記載の撮像装置に関する実施形態は、第１実施形態が対応する。
【０１４３】
（作用効果）
この（１４）に記載の撮像装置によれば、重像間が複雑な動きを持つ場合でも、良好に復元処理を行うことが可能となる。
【０１４４】
（１５） 被写体の像が多重になっている重像画像の入力処理を行うステップと、
上記入力された重像画像に含まれる重像間の変形情報を取得するステップと、
上記取得された重像間の変形情報を基に、上記入力された重像画像に対して少なくとも２回以上の変形処理を施して幾何的に変形させることによって、少なくとも２枚以上の変形画像を生成するステップと、
上記入力された重像画像に含まれる重像間の信号強度の関係を示す信号強度関係情報を取得するステップと、
上記取得された信号強度関係情報を用いて、上記変形処理により生成された少なくとも２枚以上の変形画像の加算処理を行うステップと、
をコンピュータに発揮させることを特徴とする画像処理プログラム。
【０１４５】
（対応する実施形態）
この（１５）に記載の画像処理プログラムに関する実施形態は、第１及び第２実施形態が対応する。
【０１４６】
（作用効果）
この（１５）に記載の像処理プログラムは、コンピュータにより、重像画像（ｙ）に含まれる重像間の変形情報（Ｌ）を取得し、該重像間の変形情報を基に、上記重像画像に対して少なくとも２回以上の変形処理を施して幾何的に変形させることによって、少なくとも２枚以上の変形画像（｛Ａ（Ｌ）｝ｎｙ）を生成し、また、上記重像画像に含まれる重像間の信号強度の関係を示す信号強度関係情報（α）を取得して、その信号強度関係情報を用いて、例えば、上記（７）式のように上記変形処理により生成された少なくとも２枚以上の変形画像の加算処理を行う。なお、変位量がない変形、すなわち単位行列を施す変形も１回の変形処理に含ませてもよい。この場合、単位行列の変形処理が施された画像も上述の「変形画像」に含まれる。
従って、この（１５）に記載の画像処理プログラムによれば、コンピュータにより、例えば、上記（７）式に示すように、信号強度関係情報（α）を用いて、重像画像（ｙ）を幾何的に変形して生成された複数の変形画像（｛Ａ（Ｌ）｝ｎｙ）の加算処理を行うことによって、被写体の像が多重になっている重像画像から被写体の像が重なっていない復元画像（ｚ）を得ることができる。
【０１４７】
（１６） 被写体の像が多重になっている重像画像の入力処理を行うステップと、
上記入力された重像画像に含まれる重像間の変形情報を取得するステップと、
上記取得された重像間の変形情報を基に、上記入力された重像画像に対して少なくとも２回以上の変形処理を施して幾何的に変形させることによって、少なくとも２枚以上の変形画像を生成するステップと、
上記入力された重像画像に含まれる重像間の信号強度の関係を示す信号強度関係情報を取得するステップと、
上記取得された信号強度関係情報を基に、上記変形処理により生成された少なくとも２枚以上の変形画像を加算処理して、被写体の像が多重になっていない復元画像を生成するステップと、
を具備することを特徴とする画像処理方法。
【０１４８】
（対応する実施形態）
この（１６）に記載の画像処理方法に関する実施形態は、第１及び第２実施形態が対応する。
【０１４９】
（作用効果）
この（１６）に記載の像処理方法は、重像画像（ｙ）に含まれる重像間の変形情報（Ｌ）を取得し、該重像間の変形情報を基に、上記重像画像に対して少なくとも２回以上の変形処理を施して幾何的に変形させることによって、少なくとも２枚以上の変形画像（｛Ａ（Ｌ）｝ｎｙ）を生成し、また、上記重像画像に含まれる重像間の信号強度の関係を示す信号強度関係情報（α）を取得して、その信号強度関係情報を用いて、例えば、上記（７）式のように上記変形処理により生成された少なくとも２枚以上の変形画像の加算処理を行う。なお、変位量がない変形、すなわち単位行列を施す変形も１回の変形処理に含ませてもよい。この場合、単位行列の変形処理が施された画像も上述の「変形画像」に含まれる。
従って、この（１６）に記載の画像処理方法によれば、例えば、上記（７）式に示すように、信号強度関係情報（α）を用いて、重像画像（ｙ）を幾何的に変形して生成された複数の変形画像（｛Ａ（Ｌ）｝ｎｙ）の加算処理を行うことによって、被写体の像が多重になっている重像画像から被写体の像が重なっていない復元画像（ｚ）を得ることができる。
【図面の簡単な説明】
【０１５０】
【図１】図１は、本発明の第１実施形態に係る撮像装置の構成を示す図である。
【図２】図２（Ａ）は、２重像画像の例を示す図であり、図２（Ｂ）は、図２（Ａ）の２重像画像から生成された復元画像を示す図である。
【図３】図３は、自己相関関数の例を示す図である。
【図４】図４は、第１実施形態において重像画像を部分画像に分けた形で復元処理を行う方法を説明するためのフローチャートを示す図である。
【図５】図５は、本発明の第２実施形態に係る画像処理装置の構成を示す図である。
【符号の説明】
【０１５１】
１００…撮影光学系、 １０１…多重結像部、 １０２…撮像部、 １０３，２０１…記録部、 １０４，２０２…重像間変形取得部、 １０５，２０３…画像変形部、 １０６，２０４…信号強度関係取得部、 １０７，２０５…信号処理部、 １０８…合焦点制御部、 １０９…ＡＦモータ、 １１０，２０６…出力部、 １１１，２０７…制御部、 １１２，２０８…外部Ｉ／Ｆ部、 ２００…入力部。
【技術分野】
【０００１】
本発明は、撮影された被写体の像が多重になっている重像画像の重像状態を復元する画像処理装置及び画像処理方法、及びその画像処理装置を備える撮像装置、並びにコンピュータをそのような画像処理装置として機能させる画像処理プログラムに関する。
【０００２】
なお、本明細書中において、「重像画像」とは、被写体の像が多重になっている画像全般を表し、具体的には、撮像装置により被写体を多重に結像することで撮影された画像、または電気的、光学的な作用により被写体の像が多重となっているゴースト画像、フレア画像、または複数枚の画像の位置合わせを行い、その複数枚の画像の重ね合わせを行った際に、位置合わせ処理の失敗により被写体の像が多重になってしまった画像等を表す。また、「多重」とは、少なくとも一部が重なっている状態を意味する。
【背景技術】
【０００３】
カメラなどの撮像装置で撮像を行う場合に、撮像装置内に被写体の像を多重に撮影する機構を具備し、被写体の像を多重像の形で撮影し、その重像画像の重像間の変位を計測することで、被写体までの距離を計測するなどの技術が提案されている。例えば、特許文献１では透明板に映る２重像を用いて距離計測を行う手法を開示している。また、特許文献２では、複数開口を持つ絞りを利用することにより２重像を取得し、距離計測を行う手法を開示している。
【０００４】
また、従来、建物などによる電波の反射の影響でテレビの画像が多重に映るゴースト画像のゴーストを除去する場合には、特許文献３に開示されているように、ゴースト除去用基準信号（ＧＣＲ信号：Ghost Cancel Reference信号）等を用いたゴースト除去手法が用いられていた。
【０００５】
また、カメラなどの撮像装置で撮像を行う場合に、逆光や強い光がレンズ表面や内部で反射・散乱を起こし生じるフレア現象による多重像生成が知られているが、このような現象を生じさせないために、カメラレンズ周りにレンズフードを装着するなどの工夫が行われる。
【０００６】
さらに、従来、複数枚画像の位置合わせ処理を行い、その複数枚画像の重ね合わせ処理を行った場合に、位置合わせ処理の失敗から、重ね合わせ後の画像に重像が現れることがあったが、そのような場合は、重像間をぼかし、画像を補正するという処理を行っていた。
【特許文献１】特開２００６−３２９８９７号公報
【特許文献２】特開平７−１３５５９７号公報
【特許文献３】特開２０００−１５６７９９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、例えば上記の特許文献に開示されるごとく、撮像装置により撮像された重像画像に基づいて撮像位置から被写体までの被写体距離を計測することは確かに可能であるが、被写体距離を計測するために撮像された重像画像は観賞に耐えられないという問題があった。
【０００８】
本発明は、上記の点に鑑みてなされたもので、被写体の像が多重になっている重像画像から被写体の像が多重になっていない復元画像を生成できる画像処理装置、撮像装置、画像処理プログラム及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の画像処理装置の一態様は、
被写体の像が多重になっている重像画像の入力処理を行う画像入力部と、
上記画像入力部により入力された重像画像に含まれる重像間の変形情報を取得する重像間変形取得部と、
上記重像間変形取得部により取得された重像間の変形情報を基に、上記画像入力部により入力された重像画像に対して少なくとも２回以上の変形処理を施して幾何的に変形させることによって、少なくとも２枚以上の変形画像を生成する画像変形部と、
上記画像入力部により入力された重像画像に含まれる重像間の信号強度の関係を示す信号強度関係情報を取得する信号強度関係取得部と、
上記信号強度関係取得部により取得された信号強度関係情報を用いて、上記変形処理により生成された少なくとも２枚以上の変形画像の加算処理を行う信号処理部と、
を具備することを特徴とする。
この態様によれば、例えば、後述する（７）式に示すように、信号強度関係情報を用いて、重像画像を幾何的に変形して生成された複数の変形画像の加算処理を行うことによって、被写体の像が多重になっている重像画像から被写体の像が多重になっていない復元画像を生成できる。
また、本発明の撮像装置の一態様は、
被写体の光束を結像する撮影光学系と、
上記撮影光学系内において被写体の像を多重に結像させる多重結像部と、
上記撮影光学系からの光を電気信号に変換し、該変換した電気信号から画像信号を生成する画像信号生成部と、
上記撮影光学系、多重結像部及び画像信号生成部により生成された、少なくとも２つ以上の像を多重に有する重像画像に含まれる重像間の変形情報を取得する重像間変形取得部と、
上記重像間変形取得部により取得された重像間の変形情報を基に、上記重像画像に対して少なくとも２回以上の変形処理を施して幾何的に変形させることによって、少なくとも２枚以上の変形画像を生成する画像変形部と、
上記重像画像に含まれる重像間の信号強度の関係を示す信号強度関係情報を取得する信号強度関係取得部と、
上記信号強度関係取得部により取得された信号強度関係情報を用いて、上記変形処理により生成された少なくとも２枚以上の変形画像の加算処理を行う信号処理部と、
を具備することを特徴とする。
この態様によれば、例えば、後述する（７）式に示すように、信号強度関係情報を用いて、重像画像を幾何的に変形して生成された複数の変形画像の加算処理を行うことによって、被写体の像が多重になっている重像画像から被写体の像が多重になっていない復元画像を生成できる。
また、本発明の画像処理プログラムの一態様は、
被写体の像が多重になっている重像画像の入力処理を行うステップと、
上記入力された重像画像に含まれる重像間の変形情報を取得するステップと、
上記取得された重像間の変形情報を基に、上記入力された重像画像に対して少なくとも２回以上の変形処理を施して幾何的に変形させることによって、少なくとも２枚以上の変形画像を生成するステップと、
上記入力された重像画像に含まれる重像間の信号強度の関係を示す信号強度関係情報を取得するステップと、
上記取得された信号強度関係情報を用いて、上記変形処理により生成された少なくとも２枚以上の変形画像の加算処理を行うステップと、
をコンピュータに発揮させることを特徴とする。
この態様によれば、例えば、後述する（７）式に示すように、コンピュータにより、信号強度関係情報を用いて、重像画像を幾何的に変形して生成された複数の変形画像の加算処理を行うことによって、被写体の像が多重になっている重像画像から被写体の像が多重になっていない復元画像を生成できる。
また、本発明の画像処理方法の一態様は、
被写体の像が多重になっている重像画像の入力処理を行うステップと、
上記入力された重像画像に含まれる重像間の変形情報を取得するステップと、
上記取得された重像間の変形情報を基に、上記入力された重像画像に対して少なくとも２回以上の変形処理を施して幾何的に変形させることによって、少なくとも２枚以上の変形画像を生成するステップと、
上記入力された重像画像に含まれる重像間の信号強度の関係を示す信号強度関係情報を取得するステップと、
上記取得された信号強度関係情報を基に、上記変形処理により生成された少なくとも２枚以上の変形画像を加算処理して、被写体の像が多重になっていない復元画像を生成するステップと、
を具備することを特徴とする。
この態様によれば、例えば、後述する（７）式に示すように、信号強度関係情報を用いて、重像画像を幾何的に変形して生成された複数の変形画像の加算処理を行うことによって、被写体の像が多重になっている重像画像から被写体の像が多重になっていない復元画像を生成できる。
【発明の効果】
【００１０】
本発明によれば、被写体の像が多重になっている重像画像から被写体の像が多重になっていない復元画像を生成できる画像処理装置、撮像装置、画像処理プログラム及び画像処理方法を提供することができる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明を実施するための最良の形態を図面を参照して説明する。
【００１２】
［第１実施形態］
図１は、本発明の第１実施形態に係る撮像装置の構成を示す図である。なお、同図において、実太線の矢印は映像信号の流れを、実細線の矢印は制御信号の流れを、破線の矢印はその他の信号の流れを、それぞれ示している。
【００１３】
本撮像装置は、多重結像部１０１を含む撮影光学系１００、撮像部１０２、記録部１０３、重像間変形取得部１０４、画像変形部１０５、信号強度関係取得部１０６、信号処理部１０７、合焦点制御部１０８、ＡＦモータ１０９、出力部１１０、制御部１１１、及び外部Ｉ／Ｆ部１１２から構成される。
【００１４】
撮影光学系１００は、被写体の光束を結像するものであり、多重結像部１０１は、上記撮影光学系１００内において被写体の像を多重に結像させるものである。この時の、多重結像部１０１の実際の構成は、例えば特許文献１に記載されているように透明板に映る２重像を撮影するという構成としても良い。撮像部１０２は、上記撮影光学系からの光を電気信号に変換し、該変換した電気信号から画像信号を生成するものであり、上記撮影光学系１００、多重結像部１０１及び撮像部１０２より、少なくとも２つ以上の像を多重に有する重像画像が生成される。記録部１０３は、この生成された重像画像を記録するものである。
【００１５】
重像間変形取得部１０４は、上記記録部１０３に記録された重像画像に含まれる重像間の変形情報を取得するものである。画像変形部１０５は、上記重像間変形取得部１０４により取得された重像間の変形情報を基に、上記記録部１０３に記録された重像画像に対して少なくとも２回以上の変形処理を施して幾何的に変形させることによって、少なくとも２枚以上の変形画像を生成するものである。本明細書中において、「変形画像」とは、このように素の画像に対して変形処理を施して幾何学的に変形させた画像を指すものとする。なお、変位量がない変形、すなわち単位行列を施す変形も１回の変形処理に含ませても良い。この場合、単位行列の変形処理が施された画像も上述の「変形画像」に含まれる。
【００１６】
また、信号強度関係取得部１０６は、上記記録部１０３に記録された重像画像に含まれる重像間の信号強度の関係を示す信号強度関係情報を取得するものである。信号処理部１０７は、上記信号強度関係取得部１０６で取得された信号強度関係情報を用いて、上記変形処理により生成された少なくとも２枚以上の変形画像の加算処理を行って、復元画像を得るものである。
【００１７】
また、合焦点制御部１０８は、上記重像間変形取得部１０４により取得された重像間の変形情報を基に被写体距離を求め、ＡＦモータ１０９は、上記撮影光学系１００が被写体に合焦するように、ＡＦモータ１０９を制御するものである。
【００１８】
出力部１１０は、上記信号処理部１０７で求められ、上記記録部１０３に記録された復元画像を出力するものである。
【００１９】
制御部１１１は、外部Ｉ／Ｆ部１１２からの指示に応じて、上記記録部１０３、重像間変形取得部１０４、画像変形部１０５、信号強度関係取得部１０６、信号処理部１０７、合焦点制御部１０８を制御するものである。外部Ｉ／Ｆ部１１２は、レリーズスイッチや各種ボタン、スイッチ等の入力部材や、ＬＥＤ等の表示部材などのユーザインタフェースである。
【００２０】
以下、このような構成における各部の動作を詳細に説明する。
【００２１】
撮影光学系１００に含まれる多重結像部１０１により、被写体の像は光学的に多重に結像される。この多重結像部１０１により多重に結像された被写体の像は、撮像部１０２により撮像され、電気信号へと変換され、重像画像の画像信号が生成される。
【００２２】
この撮像部１０２において撮像された重像画像は、記録部１０３へと記録される。
【００２３】
以下、上記記録部１０３において記録された重像画像の復元処理が行われる。
【００２４】
ここで、本発明の理解を助けるために、まずはじめに、重像画像の復元処理の原理的説明を行う。ここでは、重像画像に含まれる重像の数を２つに限定し説明を行う。即ち、重像画像は図２（Ａ）に示すような２重像画像となる。ただし、重像画像が３つ以上の重像を含む場合も、以下の原理的説明の拡張により、容易に復元可能である。
【００２５】
上記撮影光学系１００（多重結像部１０１）及び撮像部１０２において撮影された重像画像の画像生成モデルは、以下の（１）式のようになる。
【数１】
【００２６】
ここで、ｙは重像画像、ｚは重像になる前の画像（復元したい画像）、αは重像画像に含まれる重像間の相対強度（信号強度関係情報）で、０≦α＜１である。Ｉは単位行列である。Ａ（Ｌ）は変形量Ｌだけ画像を変形させるシステム行列である。上記（１）式により２重像を生成している。
【００２７】
上記（１）式の２重像を生成するシステム行列
【数２】
【００２８】
の逆行列は、
【数３】
【００２９】
と書ける。ここで、Ｋは画像の変形回数を表す。ただし、ｎ＝０からＫまでの画像変形となるので、実際の変形回数はＫ＋１回となる。復元を行う場合、Ｋには少なくとも１以上の数を指定しなければならない。
【００３０】
上記（３）式より重像画像復元を行うための復元式は、以下の（４）式のようになる。
【数４】
【００３１】
この（４）式より画像復元を行うためには、重像画像に対して複数の変形｛Ａ（Ｌ）｝ｎによる変形処理を施し、その変形量を（−α）ｎした後で、加算処理を行えばよい事が分かる。また、加算処理後に（１＋α）倍をしてやれば、画像の明るさの正規化を行うことが可能となる。
【００３２】
以下、図１に示す構成に沿った、画像復元処理の説明を行う。
【００３３】
上記記録部１０３に記録されている重像画像は、重像間変形取得部１０４に伝送され、重像間の変位量（重像間の変形情報）の取得が行われる。この取得においては、重像画像のヘッダ情報に重像間の変形情報や重像間の信号強度の関係を示す信号強度関係情報の記載がある場合はそれを利用する。これに対して、重像間の変形量が未知である場合は、重像間変形取得部１０４において重像間の変位量の推定が行われる。重像間の変位量の推定は、例えば重像画像の自己相関関数値の計算によって行われる。自己相関関数の計算式の例を、以下の（５）式に示す。
【数５】
【００３４】
ここで、ｙ１，ｙ２はそれぞれτだけ位置がずれた重像画像、ｉは画像座標、Ωは計算範囲、
【数６】
【００３５】
はｙ１，ｙ２の計算範囲内での平均値を表す。
【００３６】
図３に自己相関関数の例を示す。自己相関数値を計算後、重像間の相関値を表す第２ピークを検出することで、重像間の変位量（重像間の変形情報）を計算している。
【００３７】
なお、ここでは１次元空間において自己相関関数の算出を行っている。例えば、重像画像の重像間の変位の方向が既知である場合は、このように重像間の変位の方向に沿った１次元探索により重像間の変位を探索することができる。このような情報は、例えば、上記特許文献１に記載されているような透明板に映る２重像を撮影するという構成であれば、光学的キャリブレーション手法により、重像間の変位の方向を予め取得可能であるので、それを利用する。また、重像画像の重像間変位の方向が未知である場合は、２次元空間における、自己相関関数値の探索を行い、第２ピークの検出を行えば良い。
【００３８】
上記重像間変形取得部１０４で取得された重像間の変形情報は、画像変形部１０５及び合焦点制御部１０８へ伝送される。
【００３９】
合焦点制御部１０８へ送られた変形情報は、当該合焦点制御部１０８に保持されている変形情報と被写体距離との対応関係より、被写体距離へと変換される。この対応関係は、例えば、変形情報と被写体距離との間の関係をキャリブレーションにより求めておき、その関係を合焦点制御部１０８のルックアップテーブル上に記載しておく。求められた被写体距離量から、合焦点制御部１０８は、撮影光学系１００が被写体に合焦するように、ＡＦモータ１０９を制御する。
【００４０】
一方、画像変形部１０５では、上記記録部１０３に記録されている重像画像と上記重像間変形取得部１０４で取得された重像間の変形情報とを用いて、重像画像に対して変形処理を施す。
【００４１】
その変形処理としては、上記（４）式で示したように、複数の変形｛Ａ（Ｌ）｝ｎ（ただし、ｎ＝０，１，…，Ｋ）を行う。ここで、Ｌは上記重像間変形取得部１０４で取得された変形情報である。
【００４２】
ここで、ｎ＝０の時の変形は、以下の（６）式に示すように、
【数７】
【００４３】
となり、変位量は無い変形となる。
【００４４】
例えば、変形情報Ｌが平行移動を表す変形量で、Ｌ＝（２，３）［pixel］であった場合、｛Ａ（Ｌ）｝ｎ（ただし、ｎ＝０，１，…，Ｋ）は、ｎ＝０のとき（０，０）の平行移動変形（実際は変形しない）、ｎ＝１のとき（２，３）の平行移動変形、ｎ＝２のとき（４，６）の平行移動変形、ｎ＝Ｋの時（２Ｋ，３Ｋ）の平行移動変形となる。
【００４５】
ここでは簡単な変形処理の例として、平行移動を例に挙げたが、実際の変形処理は平行移動処理によらず例えば、平行移動処理＋拡大処理、アフィン変形処理、射影変形処理等より自由度の高い変形処理を行うが、そのような場合でも、同様な枠組みにより変形処理を行うことが可能である。
【００４６】
このようにして上記画像変形部１０５における画像変形処理によって生成された複数枚の変形画像は、次に、信号処理部１０７に送られ、実際の復元処理が行われる。また、その信号処理部１０７には、信号強度関係取得部１０６において取得される重像間の信号強度関係情報も伝送する。
【００４７】
なお、上記信号強度関係取得部１０６で取得される信号強度関係情報は、撮影光学系１００に含まれる、レンズやハーフミラーにおける反射率等により決定する値なので、予め撮影光学系１００における光学的キャリブレーションにおいて求めておくのが好ましい。ただし、撮影の都度その強度関係を測定してもかまわないし、また外部Ｉ／Ｆ部１１２を介してユーザが指定しても良いものとする。
【００４８】
信号処理部１０７に伝送された、上記信号強度関係取得部１０６において取得された信号強度関係情報と上記画像変形部１０５において生成された複数枚の変形画像とを用いて、以下の式（７）により画像の復元処理を行う。
【数８】
【００４９】
ここで、信号強度情報αは、信号強度の関係を０≦α＜１で表わしている。重像間の信号強度が同一である場合は、α＝１であるが、実際のシステム設計では０＜α＜１であることが好ましい。また、（｛Ａ（Ｌ）｝ｎｙ）は複数の変形処理で変形された複数の変形画像を表している。（｛Ａ（Ｌ）｝ｎｙ）を、（−α）ｎを考慮しながら複数枚加算し、加算後に（１＋α）を掛け合わせることで、復元画像ｚを生成することができる。
【００５０】
以上のようにして、重像画像の復元画像を生成する。図２（Ｂ）は、図２（Ａ）の２重像画像から生成された復元画像を示している。このようにして生成された復元画像は、上記記録部１０３へ転送・記録された後、出力部１１０を介して鑑賞用のリソースとして利用することができる。
【００５１】
なお、以上の説明は、重像間の変位を一つの変位として行ってきたが、実際は重像画像を部分毎の部分画像に分け、部分画像上で上記手法を行ってもかまわないものとする。重像画像を複数の部分画像に分け復元処理を行うと、重像間が複雑な動きを持つ場合でも、良好に復元処理を行うことが可能となる。この場合、部分画像として復元処理が行われた復元結果を、最終的に統合する処理を別途行う必要がある。この統合処理を、信号処理部１０７に含んでいてもかまわないものとする。
【００５２】
このような重像画像を部分画像に分けた形で復元処理を行う方法を、図４のフローチャートを使って説明する。
【００５３】
即ち、まず、重像間変形取得部１０４は、記録部１０３に記録された重像画像を読み込む（ステップＳ１）。この時、重像画像のヘッダ情報に重像間の変形情報や信号強度関係情報の記載があれば、以下のステップＳ３及びステップＳ４で利用するために、ヘッダ情報を読み込んでおく。
【００５４】
次に、重像間変形取得部１０４は、重像画像の部分画像領域を指定する（ステップＳ２）。ここで、部分画像は、重像画像よりも小さい領域の任意の大きさをとって良い。ここでは、１０×１０［pixel］の領域とする。
【００５５】
そして、重像間変形取得部１０４は、部分画像領域における重像間の変形量（変形情報）を取得する（ステップＳ３）。この変形情報は、上記ステップＳ１で読み込んだヘッダ情報に記載がある場合はそれを利用する。記載がない場合は、重像画像全体及び部分画像領域を用いて、自己相関関数を計算することでその変形量を求める。ここで、予めキャリブレーションを行い、重像間の変形の方向が既知である場合は、その方向に沿った自己相関関数の計算・探索により変形量を求める。未知の場合は、２次元空間による自己相関関数の計算・探索により変形量を求める。
【００５６】
次に、信号強度関係取得部１０６は、部分画像領域における重像間の信号強度関係情報の取得を行う（ステップＳ４）。この信号強度関係情報は、上記ステップＳ１で読み込んだヘッダ情報に記載がある場合は、それを利用する。予め、光学的なキャリブレーションにより既知となっていればその値を利用する。
【００５７】
その後、制御部１１１は、複数の画像変形処理を行う場合のパラメータｎを０に初期化する（ステップＳ５）。
【００５８】
そして、画像変形部１０５は、部分画像の変形処理を行う（ステップＳ６）。変形量は｛Ａ（Ｌ）｝ｎであり、Ｌは上記ステップＳ３で取得された重像間の変形情報である。
【００５９】
その後、制御部１１１は、ｎ＞Ｋであるかの判定を行う（ステップＳ７）。ｎ＞Ｋでない場合には、ｎ＝ｎ＋１とし（ステップＳ８）、上記ステップＳ６へ戻る。
【００６０】
これに対して、ｎ＞Ｋである場合には、複数の変形処理により生成された複数の変形部分画像の加算処理を行う（ステップＳ９）。この時、上記ステップＳ４で取得された重像間の信号強度情報を考慮する。加算処理の実際は、上記（７）式と同様である（ｙが部分画像となっているところが異なる）。
【００６１】
そして、重像間変形取得部１０４は、全領域の処理が終了したかの判定を行う（ステップＳ１０）。ここで、全領域の処理が終了していない場合には、部分画像の領域を変更して（ステップＳ１１）、上記ステップＳ２へ戻る。
【００６２】
而して、全領域の処理が終了したならば、信号処理部１０７は、復元処理が行われた全ての部分画像の統合処理を行う（ステップＳ１２）。実際の統合処理としては、例えば、復元処理が行われた全ての部分画像を、元の重像画像と同一の画像空間において加算して貼り合わせる処理を行い、その張り合わせた画像に対し、ピクセル単位で張り合わせた回数の数で割り算を行い、平均化処理を行うという処理を採っても良い。例えば、１０×１０［pixel］の部分画像を、１［pixel］毎に移動させながら取得し復元処理を行い、その結果を再び元の重像画像と同一の画像空間に加算しながら張り合わせた場合、ピクセル毎に１００で割った値を最終的な復元画像の画素値とする。
【００６３】
そして、信号処理部１０７は、上記ステップＳ１２において統合処理が行われた重像画像の復元結果を最終出力として、記録部１０３に信号出力して、記録する。
【００６４】
以上のように、本第１実施形態によれば、重像画像に含まれる重像間の変形情報を取得し、該重像間の変形情報を基に、上記重像画像に対して少なくとも２回以上の変形処理を施して幾何的に変形させることによって、少なくとも２枚以上の変形画像を生成し、また、上記重像画像に含まれる重像間の信号強度の関係を示す信号強度関係情報を取得して、その信号強度関係情報を用いて、上記変形処理により生成された少なくとも２枚以上の変形画像の加算処理を行うことで、被写体の像が重なっていない復元画像を得ることができる。
【００６５】
すなわち、本実施の形態１によれば、重像画像を幾何的に変形せしめるとともにその変形により生成された複数の変形画像を加算することによって、被写体の像が多重になっている重像画像から被写体の像が多重になっていない復元画像を生成できる。
【００６６】
従って、例えば上記特許文献１及び特許文献２に開示されているように撮像装置において重像画像を撮影し距離計測を行う場合でも、重像画像の復元処理を行うことで、観賞用として良好な画像を生成することが可能となる。
【００６７】
ところで、従来では、上記特許文献３に開示されているように、例えば、重像画像の一種であるゴースト画像に含まれるゴーストを除去するためにＧＣＲ信号を用いるような場合、そのＧＣＲ信号を受信している際にはゴースト除去が可能であるが、既にゴースト画像として撮影された映像リソースについては、後から追ってゴースト除去を行うことは不可能であった。
【００６８】
さらに、従来では、ゴースト画像に含まれる重像の状態をモデル化し、その逆過程を再現した復元処理によるゴースト除去の手法は、そもそも提案されていなかった。
【００６９】
さらに、従来では、重像画像の一種であるフレア画像に含まれる重像の状態をモデル化し、その逆過程を再現した復元処理によるフレア除去の手法も、そもそも提案されていなかった。
【００７０】
さらに、従来では、例えば、複数枚の画像の位置合わせ処理及び重ね合わせ処理を行った際、重ね合わせ後に多重像となってしまったときの、ぼかしによる補正は良好な画像補正を行うことができなかった。
【００７１】
本第１実施形態によれば、例えば、ゴースト除去時にＧＣＲ信号などの基準信号をわざわざ用意する必要なく、簡単な変形処理を施すことによって良好なゴースト除去を行うことが可能となる。また、ＧＣＲ信号などの基準信号を用意する必要がないため、既にゴースト画像として撮影された映像リソースについても、簡単な変形処理を施すことによって、後から追ってゴースト除去を行うことが可能となる。さらに、本第１実施形態によれば、ゴースト画像に含まれる重像の状態をモデル化し、その逆過程を再現した復元処理、すなわち、本第１実施形態に係る変形処理および加算処理によるゴースト除去を行うため、簡便かつ高精度にゴーストの除去を行うことが可能となる。
【００７２】
また、例えば、フレア除去時にフレア画像に含まれる重像の状態をモデル化し、その逆過程を再現した復元処理によるフレア除去を行うことができるため、簡便かつ高精度にフレアの除去を行うことが可能となる。
【００７３】
また例えば、複数枚の画像の位置合わせ及び重ね合わせ処理を行った場合に、重ね合わせ後に多重像になった場合でも、ぼかしによる補正等を行うことなく、多重像の状態をモデル化しその逆過程を再現した復元処理による、多重像の復元を行うことができるため、従来よりも高画質な画像補正を行うことが可能となる。
【００７４】
［第２実施形態］
図５は、本発明の第２実施形態に係る画像処理装置の構成を示す図である。なお、同図において、実太線の矢印は映像信号の流れを、実細線の矢印は制御信号の流れを、破線の矢印はその他の信号の流れを、それぞれ示している。
【００７５】
本画像処理装置は、入力部２００、記録部２０１、重像間変形取得部２０２、画像変形部２０３、信号強度関係取得部２０４、信号処理部２０５、出力部２０６、制御部２０７、及び外部Ｉ／Ｆ部２０８から構成される。
【００７６】
入力部２００は、画像の入力処理を行うものである。記録部２０１は上記第１実施形態における記録部１０３に、重像間変形取得部２０２は上記第１実施形態における重像間変形取得部１０４に、画像変形部２０３は上記第１実施形態における画像変形部１０５に、信号強度関係取得部２０４は上記第１実施形態における信号強度関係取得部１０６に、信号処理部２０５は上記第１実施形態における信号処理部１０７に、出力部２０６は上記第１実施形態における出力部１１０に、制御部２０７は上記第１実施形態における制御部１１１に、外部Ｉ／Ｆ部２０８は上記第１実施形態における外部Ｉ／Ｆ部１１２に、それぞれ対応するものである。
【００７７】
以下、このような構成における各部の動作を詳細に説明する。
【００７８】
入力部２００において入力された重像画像は、記録部２０１へと記録される。この入力部２００において入力される画像は、任意の画像の入力が可能であるとし、重像画像に限定されない。重像画像でない場合でも、記録部２０１に記録が行われた後、出力部２０６において出力処理を行うことができる。重像画像である場合は、重像間変形取得部２０２、画像変形部２０３、信号強度関係取得部２０４、及び信号処理部２０５を介して重像画像の復元処理が行われる。
【００７９】
ここで、重像画像とは、被写体の像が多重になっている画像全般を表し、具体的には、撮像装置により被写体を多重に結像することで撮影された画像、または電気的、光学的な作用により被写体の像が多重となっているゴースト画像、フレア画像、または複数枚の画像の位置合わせを行い、その複数枚の画像の重ね合わせを行った際に、位置合わせ処理の失敗により被写体の像が多重になってしまった画像等を表す。
【００８０】
重像画像の復元処理の原理的仕組みは、第１実施形態において前述した通りである。
【００８１】
以下、図５に示す構成に沿った、画像復元処理の説明を行う。
【００８２】
記録部２０１に記録されている重像画像は、重像間変形取得部２０２に伝送され、重像間の変位量（重像間の変形情報）の取得が行われる。この取得においては、重像画像のヘッダ情報に重像間変位情報や重像間の信号強度の関係示す信号強度関係情報の記載がある場合はそれを利用する。これに対して、重像間の変形量が未知である場合は、重像間変形取得部２０２において重像間の変位量の推定が行われる。重像間の変位量の推定は、例えば重像画像の自己相関関数値の計算によって行われる。自己相関関数の計算式の例は、上述した（５）式の通りである。
【００８３】
また、自己相関関数の例は、図３に示すようなものである。自己相関数値を計算後、重像間の相関値を表す第２ピークを検出することで、重像間の変形情報を計算している。
【００８４】
なお、ここでは１次元空間において自己相関関数の算出を行っている。例えば、重像画像の重像間の変位の方向が既知である場合は、このように重像間の変位の方向に沿った１次元探索により重像間の変位を探索することができる。このような情報は、例えば、記録部２０１に記録されている重像画像のヘッダ情報等に記載しておき、その情報を読み取ることで既知とすることができる。また、重像画像の重像間変位の方向が未知である場合は、２次元空間における、自己相関関数値の探索を行い、第２ピークの検出を行えば良い。
【００８５】
上記重像間変形取得部２０２で取得された画像間の変形情報は、画像変形部２０３へ伝送される。
【００８６】
画像変形部２０３では、上記記録部２０１に記録されている重像画像と上記重像間変形取得部２０２で取得された重像間の変形情報とを用いて、重像画像に対して変形処理を施す。
【００８７】
その変形処理としては、上記（４）式で示したように、複数の変形｛Ａ（Ｌ）｝ｎ（ただし、ｎ＝０，１…，，Ｋ）を行う。ここで、Ｌは重像間変形取得部２０２で取得された変形情報である。
【００８８】
ここで、ｎ＝０の時の変形は、上記（６）式となり、変位量は無い変形となる。
【００８９】
例えば、変形情報Ｌが平行移動を表す変形量で、Ｌ＝（２，３）［pixel］であった場合、｛Ａ（Ｌ）｝ｎ（ただし、ｎ＝０，１，…，Ｋ）はｎ＝０のとき（０，０）の平行移動変形（実際は変形しない）、ｎ＝１のとき（２，３）の平行移動変形、ｎ＝２のとき（４，６）の平行移動変形、ｎ＝Ｋの時（２Ｋ，３Ｋ）の平行移動変形となる。
【００９０】
ここでは簡単な変形処理の例として、平行移動処理を例に挙げたが、実際の変形処理は平行移動処理によらず例えば、平行移動処理＋拡大処理、アフィン変形処理、射影変形処理等より自由度の高い変形処理を行うが、そのような場合でも、同様な枠組みにより変形処理を行うことが可能である。
【００９１】
このようにして上記画像変形部２０３における画像変形処理によって生成された複数枚の変形画像は、次に、信号処理部２０５に送られ、実際の復元処理が行われる。また、その信号処理部２０５には、信号強度関係取得部２０４において取得される重像間の信号強度の関係を伝送する。
【００９２】
なお、上記信号強度関係取得部２０４で取得される信号強度の関係は、予め重像画像のヘッダ情報として含まれていることが好ましい。ただし、重像画像が入力されたその都度強度関係を測定してもかまわないし、また外部Ｉ／Ｆ部２０８を介してユーザが指定しても良いものとする。
【００９３】
信号処理部２０５に伝送された、上記信号強度関係取得部２０４において取得された信号強度の関係と上記画像変形部２０３において生成された複数枚の変形画像とを用いて、上記（７）式により画像の復元処理を行う。
【００９４】
上述したように、上記（７）式の信号強度情報αは、信号強度の関係を０≦α＜１で表わしており、重像間の信号強度が同一である場合は、α＝１であるが、実際のシステム設計では０＜α＜１であることが好ましい。また、（｛Ａ（Ｌ）｝ｎｙ）は複数の変形処理で変形された複数の変形画像を表しており、（｛Ａ（Ｌ）｝ｎｙ）を、（−α）ｎを考慮しながら複数枚加算し、加算後に（１＋α）を掛け合わせることで、復元画像ｚを生成することができる。
【００９５】
以上のようにして、重像画像の復元画像を生成する。生成された復元画像は、記録部２０１へ転送・記録され、出力部２０６を介して鑑賞用のリソースとして利用することができる。
【００９６】
なお、本第２実施形態においても、重像間の変位を一つの変位として行うだけでなく、上記第１実施形態で説明したように、実際は重像画像を部分毎の部分画像に分け、部分画像上で上記手法を行ってもかまわないものとする。重像画像を複数の部分画像に分け復元処理を行うと、重像間が複雑な動きをもつ場合でも、良好に復元処理を行うことが可能となる。この場合、部分画像として復元処理が行われた復元結果を、最終的に統合する処理を別途行う。この統合処理を、信号処理部２０５に含んでいてもかまわないものとする。
【００９７】
上記重像画像を部分画像に分けた形で復元処理を行う方法は、上記第１実施形態において図４のフローチャートを用いて説明したのと同様であるので、ここではその説明を省略する。
【００９８】
以上のように、上記第１実施形態のように撮影装置に組み込むのではなく、画像処理装置を単体として構成することで、該画像処理装置を持たない撮影装置で撮影された重像画像等、外部から入力される重像画像から復元画像を得ることができるようになる。
【００９９】
以上、第１及び第２実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。
【０１００】
例えば、上記実施形態の機能を実現するソフトウェアのプログラムをコンピュータに供給し、当該コンピュータがこのプログラムを実行することによって、上記機能を実現することも可能である。
【０１０１】
（付記）
前記の具体的実施形態から、以下のような構成の発明を抽出することができる。
【０１０２】
（１） 被写体の像が多重になっている重像画像の入力処理を行う画像入力部と、
上記画像入力部により入力された重像画像に含まれる重像間の変形情報を取得する重像間変形取得部と、
上記重像間変形取得部により取得された重像間の変形情報を基に、上記画像入力部により入力された重像画像に対して少なくとも２回以上の変形処理を施して幾何的に変形させることによって、少なくとも２枚以上の変形画像を生成する画像変形部と、
上記画像入力部により入力された重像画像に含まれる重像間の信号強度の関係を示す信号強度関係情報を取得する信号強度関係取得部と、
上記信号強度関係取得部により取得された信号強度関係情報を用いて、上記変形処理により生成された少なくとも２枚以上の変形画像の加算処理を行う信号処理部と、
を具備することを特徴とする画像処理装置。
【０１０３】
（対応する実施形態）
この（１）に記載の画像処理装置に関する実施形態は、第１及び第２実施形態が対応する。それらの実施形態において、一例として、撮影光学系１００，多重結像部１０１，撮像部１０２及び入力部２００が上記画像入力部に、重像間変形取得部１０４及び重像間変形取得部２０２が上記重像間変形取得部に、画像変形部１０５及び画像変形部２０３が上記画像変形部に、信号強度関係取得部１０６及び信号強度関係取得部２０４が上記信号強度関係取得部に、信号処理部１０７及び信号処理部２０５が上記信号処理部に、それぞれ対応する。
【０１０４】
（作用効果）
この（１）に記載の画像処理装置は、重像画像（ｙ）に含まれる重像間の変形情報（Ｌ）を取得し、該重像間の変形情報を基に、上記重像画像に対して少なくとも２回以上の変形処理を施して幾何的に変形させることによって、少なくとも２枚以上の変形画像（｛Ａ（Ｌ）｝ｎｙ）を生成し、また、上記重像画像に含まれる重像間の信号強度の関係を示す信号強度関係情報（α）を取得して、その信号強度関係情報を用いて、例えば、上記（７）式のように上記変形処理により生成された少なくとも２枚以上の変形画像の加算処理を行う。なお、変位量がない変形、すなわち単位行列を施す変形も１回の変形処理に含ませてもよい。この場合、単位行列の変形処理が施された画像も上述の「変形画像」に含まれる。
従って、この（１）に記載の画像処理装置によれば、例えば、上記（７）式に示すように、信号強度関係情報（α）を用いて、重像画像（ｙ）を幾何的に変形して生成された複数の変形画像（｛Ａ（Ｌ）｝ｎｙ）の加算処理を行うことによって、被写体の像が多重になっている重像画像から被写体の像が重なっていない復元画像（ｚ）を得ることができる。
【０１０５】
（２） 上記画像変形部は、上記変形処理として、画像の平行移動処理を行うことを特徴とする（１）に記載の画像処理装置。
【０１０６】
（対応する実施形態）
この（２）に記載の画像処理装置に関する実施形態は、第１及び第２実施形態が対応する。
【０１０７】
（作用効果）
この（２）に記載の画像処理装置によれば、重像画像のうち最も発生率の高いものを簡単な処理で高速に復元することができる。
【０１０８】
（３） 上記画像変形部は、上記変形処理として、画像の拡大処理及び平行移動処理を合わせた変形を行うことを特徴とする（１）に記載の画像処理装置。
【０１０９】
（対応する実施形態）
この（３）に記載の画像処理装置に関する実施形態は、第１及び第２実施形態が対応する。
【０１１０】
（作用効果）
この（３）に記載の画像処理装置によれば、多重になった被写体間に平行且つ拡大／縮小の関係がある重像画像から復元画像を得ることができる。
【０１１１】
（４） 上記重像間変形取得部は、予め取得した上記重像画像上の重像間変位の変位方向を利用して、重像間の変形情報を取得することを特徴とする（１）乃至（３）の何れかに記載の画像処理装置。
【０１１２】
（対応する実施形態）
この（４）に記載の画像処理装置に関する実施形態は、第１及び第２実施形態が対応する。
【０１１３】
（作用効果）
この（４）に記載の画像処理装置によれば、高速且つ正確な変形情報を取得できる。
【０１１４】
（５） 上記画像変形部は、上記重像画像に対する、上記予め取得した重像間変位の変位方向に沿った変形処理を行うことを特徴とする（４）に記載の画像処理装置。
【０１１５】
（対応する実施形態）
この（５）に記載の画像処理装置に関する実施形態は、第１及び第２実施形態が対応する。
【０１１６】
（作用効果）
この（５）に記載の画像処理装置によれば、高速且つ正確に復元を行うことが可能である。
【０１１７】
（６） 上記重像間変形取得部、上記画像変形部、上記信号強度関係取得部及び上記信号処理部は、画像の一部である部分領域毎にそれぞれ処理を行うことを特徴とする（１）乃至（５）の何れかに記載の画像処理装置。
【０１１８】
（対応する実施形態）
この（６）に記載の画像処理装置に関する実施形態は、第１及び第２実施形態が対応する。
【０１１９】
（作用効果）
この（６）に記載の画像処理装置によれば、重像間が複雑な動きを持つ場合でも、良好に復元処理を行うことが可能となる。
【０１２０】
（７） 上記重像間変形取得部、上記画像変形部、上記信号強度関係取得部及び上記信号処理部は、画像の一部である部分領域毎にそれぞれ処理を行い、上記部分領域毎の処理結果を統合することで画像全体の復元画像を生成することを特徴とする（１）乃至（５）の何れかに記載の画像処理装置。
【０１２１】
（対応する実施形態）
この（７）に記載の画像処理装置に関する実施形態は、第１及び第２実施形態が対応する。
【０１２２】
（作用効果）
この（７）に記載の画像処理装置によれば、重像間が複雑な動きを持つ場合でも、良好に復元処理を行うことが可能となる。
【０１２３】
（８） 被写体の光束を結像する撮影光学系と、
上記撮影光学系内において被写体の像を多重に結像させる多重結像部と、
上記撮影光学系からの光を電気信号に変換し、該変換した電気信号から画像信号を生成する画像信号生成部と、
上記撮影光学系、多重結像部及び画像信号生成部により生成された、少なくとも２つ以上の像を多重に有する重像画像に含まれる重像間の変形情報を取得する重像間変形取得部と、
上記重像間変形取得部により取得された重像間の変形情報を基に、上記重像画像に対して少なくとも２回以上の変形処理を施して幾何的に変形させることによって、少なくとも２枚以上の変形画像を生成する画像変形部と、
上記重像画像に含まれる重像間の信号強度の関係を示す信号強度関係情報を取得する信号強度関係取得部と、
上記信号強度関係取得部により取得された信号強度関係情報を用いて、上記変形処理により生成された少なくとも２枚以上の変形画像の加算処理を行う信号処理部と、
を具備することを特徴とする撮像装置。
【０１２４】
（対応する実施形態）
この（８）に記載の撮像装置に関する実施形態は、第１実施形態が対応する。その実施形態において、一例として、撮影光学系１００が上記撮影光学系に、多重結像部１０１が上記多重結像部に、撮像部１０２が上記画像信号生成部に、重像間変形取得部１０４が上記重像間変形取得部に、画像変形部１０５が上記画像変形部に、信号強度関係取得部１０６が上記信号強度関係取得部に、信号処理部１０７が上記信号処理部に、それぞれ対応する。
【０１２５】
（作用効果）
この（８）に記載の撮像装置は、撮像した重像画像（ｙ）に含まれる重像間の変形情報（Ｌ）を取得し、該重像間の変形情報を基に、上記重像画像に対して少なくとも２回以上の変形処理を施して幾何的に変形させることによって、少なくとも２枚以上の変形画像（｛Ａ（Ｌ）｝ｎｙ）を生成し、また、上記重像画像に含まれる重像間の信号強度の関係を示す信号強度関係情報（α）を取得して、その信号強度関係情報を用いて、例えば、上記（７）式のように上記変形処理により生成された少なくとも２枚以上の変形画像の加算処理を行う。なお、変位量がない変形、すなわち単位行列を施す変形も１回の変形処理に含ませてもよい。この場合、単位行列の変形処理が施された画像も上述の「変形画像」に含まれる。
従って、この（８）に記載の撮像装置によれば、例えば、上記（７）式に示すように、信号強度関係情報（α）を用いて、重像画像（ｙ）を幾何的に変形して生成された複数の変形画像（｛Ａ（Ｌ）｝ｎｙ）の加算処理を行うことによって、被写体の像が多重になっている重像画像を撮像しても、被写体の像が重なっていない復元画像（ｚ）を得ることができる。
【０１２６】
（９） 上記画像変形部は、上記変形処理として、画像の平行移動処理を行うことを特徴とする（８）に記載の撮像装置。
【０１２７】
（対応する実施形態）
この（９）に記載の撮像装置に関する実施形態は、第１実施形態が対応する。
【０１２８】
（作用効果）
この（９）に記載の撮像装置によれば、重像画像のうち最も発生率の高いものを簡単な処理で高速に復元することができる。
【０１２９】
（１０） 上記画像変形部は、上記変形処理として、画像の拡大処理及び平行移動処理を合わせた変形を行うことを特徴とする（８）に記載の撮像装置。
【０１３０】
（対応する実施形態）
この（１０）に記載の撮像装置に関する実施形態は、第１実施形態が対応する。
【０１３１】
（作用効果）
この（１０）に記載の撮像装置によれば、多重になった被写体間に平行且つ拡大／縮小の関係がある重像画像から復元画像を得ることができる。
【０１３２】
（１１） 上記重像間変形取得部は、予め取得した上記重像画像上の重像間変位の変位方向を利用して、重像間の変形情報を取得することを特徴とする（８）乃至（１０）の何れかに記載の撮像装置。
【０１３３】
（対応する実施形態）
この（１１）に記載の撮像装置に関する実施形態は、第１実施形態が対応する。
【０１３４】
（作用効果）
この（１１）に記載の撮像装置によれば、高速且つ正確な変形情報を取得できる。
【０１３５】
（１２） 上記画像変形部は、上記重像画像に対する、上記予め取得した重像間変位の変位方向に沿った変形処理を行うことを特徴とする（１１）に記載の撮像装置。
【０１３６】
（対応する実施形態）
この（１２）に記載の撮像装置に関する実施形態は、第１実施形態が対応する。
【０１３７】
（作用効果）
この（１２）に記載の撮像装置によれば、高速且つ正確に復元を行うことが可能である。
【０１３８】
（１３） 上記重像間変形取得部、上記画像変形部、上記信号強度関係取得部及び上記信号処理部は、画像の一部である部分領域毎にそれぞれ処理を行うことを特徴とする（８）乃至（１２）の何れかに記載の撮像装置。
【０１３９】
（対応する実施形態）
この（１３）に記載の撮像装置に関する実施形態は、第１実施形態が対応する。
【０１４０】
（作用効果）
この（１３）に記載の撮像装置によれば、重像間が複雑な動きを持つ場合でも、良好に復元処理を行うことが可能となる。
【０１４１】
（１４） 上記重像間変形取得部、上記画像変形部、上記信号強度関係取得部及び上記信号処理部は、画像の一部である部分領域毎にそれぞれ処理を行い、上記部分領域毎の処理結果を統合することで画像全体の復元画像を生成することを特徴とする（８）乃至（１２）の何れかに記載の撮像装置。
【０１４２】
（対応する実施形態）
この（１４）に記載の撮像装置に関する実施形態は、第１実施形態が対応する。
【０１４３】
（作用効果）
この（１４）に記載の撮像装置によれば、重像間が複雑な動きを持つ場合でも、良好に復元処理を行うことが可能となる。
【０１４４】
（１５） 被写体の像が多重になっている重像画像の入力処理を行うステップと、
上記入力された重像画像に含まれる重像間の変形情報を取得するステップと、
上記取得された重像間の変形情報を基に、上記入力された重像画像に対して少なくとも２回以上の変形処理を施して幾何的に変形させることによって、少なくとも２枚以上の変形画像を生成するステップと、
上記入力された重像画像に含まれる重像間の信号強度の関係を示す信号強度関係情報を取得するステップと、
上記取得された信号強度関係情報を用いて、上記変形処理により生成された少なくとも２枚以上の変形画像の加算処理を行うステップと、
をコンピュータに発揮させることを特徴とする画像処理プログラム。
【０１４５】
（対応する実施形態）
この（１５）に記載の画像処理プログラムに関する実施形態は、第１及び第２実施形態が対応する。
【０１４６】
（作用効果）
この（１５）に記載の像処理プログラムは、コンピュータにより、重像画像（ｙ）に含まれる重像間の変形情報（Ｌ）を取得し、該重像間の変形情報を基に、上記重像画像に対して少なくとも２回以上の変形処理を施して幾何的に変形させることによって、少なくとも２枚以上の変形画像（｛Ａ（Ｌ）｝ｎｙ）を生成し、また、上記重像画像に含まれる重像間の信号強度の関係を示す信号強度関係情報（α）を取得して、その信号強度関係情報を用いて、例えば、上記（７）式のように上記変形処理により生成された少なくとも２枚以上の変形画像の加算処理を行う。なお、変位量がない変形、すなわち単位行列を施す変形も１回の変形処理に含ませてもよい。この場合、単位行列の変形処理が施された画像も上述の「変形画像」に含まれる。
従って、この（１５）に記載の画像処理プログラムによれば、コンピュータにより、例えば、上記（７）式に示すように、信号強度関係情報（α）を用いて、重像画像（ｙ）を幾何的に変形して生成された複数の変形画像（｛Ａ（Ｌ）｝ｎｙ）の加算処理を行うことによって、被写体の像が多重になっている重像画像から被写体の像が重なっていない復元画像（ｚ）を得ることができる。
【０１４７】
（１６） 被写体の像が多重になっている重像画像の入力処理を行うステップと、
上記入力された重像画像に含まれる重像間の変形情報を取得するステップと、
上記取得された重像間の変形情報を基に、上記入力された重像画像に対して少なくとも２回以上の変形処理を施して幾何的に変形させることによって、少なくとも２枚以上の変形画像を生成するステップと、
上記入力された重像画像に含まれる重像間の信号強度の関係を示す信号強度関係情報を取得するステップと、
上記取得された信号強度関係情報を基に、上記変形処理により生成された少なくとも２枚以上の変形画像を加算処理して、被写体の像が多重になっていない復元画像を生成するステップと、
を具備することを特徴とする画像処理方法。
【０１４８】
（対応する実施形態）
この（１６）に記載の画像処理方法に関する実施形態は、第１及び第２実施形態が対応する。
【０１４９】
（作用効果）
この（１６）に記載の像処理方法は、重像画像（ｙ）に含まれる重像間の変形情報（Ｌ）を取得し、該重像間の変形情報を基に、上記重像画像に対して少なくとも２回以上の変形処理を施して幾何的に変形させることによって、少なくとも２枚以上の変形画像（｛Ａ（Ｌ）｝ｎｙ）を生成し、また、上記重像画像に含まれる重像間の信号強度の関係を示す信号強度関係情報（α）を取得して、その信号強度関係情報を用いて、例えば、上記（７）式のように上記変形処理により生成された少なくとも２枚以上の変形画像の加算処理を行う。なお、変位量がない変形、すなわち単位行列を施す変形も１回の変形処理に含ませてもよい。この場合、単位行列の変形処理が施された画像も上述の「変形画像」に含まれる。
従って、この（１６）に記載の画像処理方法によれば、例えば、上記（７）式に示すように、信号強度関係情報（α）を用いて、重像画像（ｙ）を幾何的に変形して生成された複数の変形画像（｛Ａ（Ｌ）｝ｎｙ）の加算処理を行うことによって、被写体の像が多重になっている重像画像から被写体の像が重なっていない復元画像（ｚ）を得ることができる。
【図面の簡単な説明】
【０１５０】
【図１】図１は、本発明の第１実施形態に係る撮像装置の構成を示す図である。
【図２】図２（Ａ）は、２重像画像の例を示す図であり、図２（Ｂ）は、図２（Ａ）の２重像画像から生成された復元画像を示す図である。
【図３】図３は、自己相関関数の例を示す図である。
【図４】図４は、第１実施形態において重像画像を部分画像に分けた形で復元処理を行う方法を説明するためのフローチャートを示す図である。
【図５】図５は、本発明の第２実施形態に係る画像処理装置の構成を示す図である。
【符号の説明】
【０１５１】
１００…撮影光学系、 １０１…多重結像部、 １０２…撮像部、 １０３，２０１…記録部、 １０４，２０２…重像間変形取得部、 １０５，２０３…画像変形部、 １０６，２０４…信号強度関係取得部、 １０７，２０５…信号処理部、 １０８…合焦点制御部、 １０９…ＡＦモータ、 １１０，２０６…出力部、 １１１，２０７…制御部、 １１２，２０８…外部Ｉ／Ｆ部、 ２００…入力部。
【特許請求の範囲】
【請求項１】
被写体の像が多重になっている重像画像の入力処理を行う画像入力部と、
上記画像入力部により入力された重像画像に含まれる重像間の変形情報を取得する重像間変形取得部と、
上記重像間変形取得部により取得された重像間の変形情報を基に、上記画像入力部により入力された重像画像に対して少なくとも２回以上の変形処理を施して幾何的に変形させることによって、少なくとも２枚以上の変形画像を生成する画像変形部と、
上記画像入力部により入力された重像画像に含まれる重像間の信号強度の関係を示す信号強度関係情報を取得する信号強度関係取得部と、
上記信号強度関係取得部により取得された信号強度関係情報を用いて、上記変形処理により生成された少なくとも２枚以上の変形画像の加算処理を行う信号処理部と、
を具備することを特徴とする画像処理装置。
【請求項２】
上記画像変形部は、上記変形処理として、画像の平行移動処理を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
上記画像変形部は、上記変形処理として、画像の拡大処理及び平行移動処理を合わせた変形を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
上記重像間変形取得部は、予め取得した上記重像画像上の重像間変位の変位方向を利用して、重像間の変形情報を取得することを特徴とする請求項１乃至３の何れかに記載の画像処理装置。
【請求項５】
上記画像変形部は、上記重像画像に対する、上記予め取得した重像間変位の変位方向に沿った変形処理を行うことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
上記重像間変形取得部、上記画像変形部、上記信号強度関係取得部及び上記信号処理部は、画像の一部である部分領域毎にそれぞれ処理を行うことを特徴とする請求項１乃至５の何れかに記載の画像処理装置。
【請求項７】
上記重像間変形取得部、上記画像変形部、上記信号強度関係取得部及び上記信号処理部は、画像の一部である部分領域毎にそれぞれ処理を行い、上記部分領域毎の処理結果を統合することで画像全体の復元画像を生成することを特徴とする請求項１乃至５の何れかに記載の画像処理装置。
【請求項８】
被写体の光束を結像する撮影光学系と、
上記撮影光学系内において被写体の像を多重に結像させる多重結像部と、
上記撮影光学系からの光を電気信号に変換し、該変換した電気信号から画像信号を生成する画像信号生成部と、
上記撮影光学系、多重結像部及び画像信号生成部により生成された、少なくとも２つ以上の像を多重に有する重像画像に含まれる重像間の変形情報を取得する重像間変形取得部と、
上記重像間変形取得部により取得された重像間の変形情報を基に、上記重像画像に対して少なくとも２回以上の変形処理を施して幾何的に変形させることによって、少なくとも２枚以上の変形画像を生成する画像変形部と、
上記重像画像に含まれる重像間の信号強度の関係を示す信号強度関係情報を取得する信号強度関係取得部と、
上記信号強度関係取得部により取得された信号強度関係情報を用いて、上記変形処理により生成された少なくとも２枚以上の変形画像の加算処理を行う信号処理部と、
を具備することを特徴とする撮像装置。
【請求項９】
上記画像変形部は、上記変形処理として、画像の平行移動処理を行うことを特徴とする請求項８に記載の撮像装置。
【請求項１０】
上記画像変形部は、上記変形処理として、画像の拡大処理及び平行移動処理を合わせた変形を行うことを特徴とする請求項８に記載の撮像装置。
【請求項１１】
上記重像間変形取得部は、予め取得した上記重像画像上の重像間変位の変位方向を利用して、重像間の変形情報を取得することを特徴とする請求項８乃至１０の何れかに記載の撮像装置。
【請求項１２】
上記画像変形部は、上記重像画像に対する、上記予め取得した重像間変位の変位方向に沿った変形処理を行うことを特徴とする請求項１１に記載の撮像装置。
【請求項１３】
上記重像間変形取得部、上記画像変形部、上記信号強度関係取得部及び上記信号処理部は、画像の一部である部分領域毎にそれぞれ処理を行うことを特徴とする請求項８乃至１２の何れかに記載の撮像装置。
【請求項１４】
上記重像間変形取得部、上記画像変形部、上記信号強度関係取得部及び上記信号処理部は、画像の一部である部分領域毎にそれぞれ処理を行い、上記部分領域毎の処理結果を統合することで画像全体の復元画像を生成することを特徴とする請求項８乃至１２の何れかに記載の撮像装置。
【請求項１５】
被写体の像が多重になっている重像画像の入力処理を行うステップと、
上記入力された重像画像に含まれる重像間の変形情報を取得するステップと、
上記取得された重像間の変形情報を基に、上記入力された重像画像に対して少なくとも２回以上の変形処理を施して幾何的に変形させることによって、少なくとも２枚以上の変形画像を生成するステップと、
上記入力された重像画像に含まれる重像間の信号強度の関係を示す信号強度関係情報を取得するステップと、
上記取得された信号強度関係情報を用いて、上記変形処理により生成された少なくとも２枚以上の変形画像の加算処理を行うステップと、
をコンピュータに発揮させることを特徴とする画像処理プログラム。
【請求項１６】
被写体の像が多重になっている重像画像の入力処理を行うステップと、
上記入力された重像画像に含まれる重像間の変形情報を取得するステップと、
上記取得された重像間の変形情報を基に、上記入力された重像画像に対して少なくとも２回以上の変形処理を施して幾何的に変形させることによって、少なくとも２枚以上の変形画像を生成するステップと、
上記入力された重像画像に含まれる重像間の信号強度の関係を示す信号強度関係情報を取得するステップと、
上記取得された信号強度関係情報を基に上記変形処理により生成された少なくとも２枚以上の変形画像を加算して、被写体の像が多重になっていない復元画像を生成するステップと、
を具備することを特徴とする画像処理方法。
【請求項１】
被写体の像が多重になっている重像画像の入力処理を行う画像入力部と、
上記画像入力部により入力された重像画像に含まれる重像間の変形情報を取得する重像間変形取得部と、
上記重像間変形取得部により取得された重像間の変形情報を基に、上記画像入力部により入力された重像画像に対して少なくとも２回以上の変形処理を施して幾何的に変形させることによって、少なくとも２枚以上の変形画像を生成する画像変形部と、
上記画像入力部により入力された重像画像に含まれる重像間の信号強度の関係を示す信号強度関係情報を取得する信号強度関係取得部と、
上記信号強度関係取得部により取得された信号強度関係情報を用いて、上記変形処理により生成された少なくとも２枚以上の変形画像の加算処理を行う信号処理部と、
を具備することを特徴とする画像処理装置。
【請求項２】
上記画像変形部は、上記変形処理として、画像の平行移動処理を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
上記画像変形部は、上記変形処理として、画像の拡大処理及び平行移動処理を合わせた変形を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
上記重像間変形取得部は、予め取得した上記重像画像上の重像間変位の変位方向を利用して、重像間の変形情報を取得することを特徴とする請求項１乃至３の何れかに記載の画像処理装置。
【請求項５】
上記画像変形部は、上記重像画像に対する、上記予め取得した重像間変位の変位方向に沿った変形処理を行うことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
上記重像間変形取得部、上記画像変形部、上記信号強度関係取得部及び上記信号処理部は、画像の一部である部分領域毎にそれぞれ処理を行うことを特徴とする請求項１乃至５の何れかに記載の画像処理装置。
【請求項７】
上記重像間変形取得部、上記画像変形部、上記信号強度関係取得部及び上記信号処理部は、画像の一部である部分領域毎にそれぞれ処理を行い、上記部分領域毎の処理結果を統合することで画像全体の復元画像を生成することを特徴とする請求項１乃至５の何れかに記載の画像処理装置。
【請求項８】
被写体の光束を結像する撮影光学系と、
上記撮影光学系内において被写体の像を多重に結像させる多重結像部と、
上記撮影光学系からの光を電気信号に変換し、該変換した電気信号から画像信号を生成する画像信号生成部と、
上記撮影光学系、多重結像部及び画像信号生成部により生成された、少なくとも２つ以上の像を多重に有する重像画像に含まれる重像間の変形情報を取得する重像間変形取得部と、
上記重像間変形取得部により取得された重像間の変形情報を基に、上記重像画像に対して少なくとも２回以上の変形処理を施して幾何的に変形させることによって、少なくとも２枚以上の変形画像を生成する画像変形部と、
上記重像画像に含まれる重像間の信号強度の関係を示す信号強度関係情報を取得する信号強度関係取得部と、
上記信号強度関係取得部により取得された信号強度関係情報を用いて、上記変形処理により生成された少なくとも２枚以上の変形画像の加算処理を行う信号処理部と、
を具備することを特徴とする撮像装置。
【請求項９】
上記画像変形部は、上記変形処理として、画像の平行移動処理を行うことを特徴とする請求項８に記載の撮像装置。
【請求項１０】
上記画像変形部は、上記変形処理として、画像の拡大処理及び平行移動処理を合わせた変形を行うことを特徴とする請求項８に記載の撮像装置。
【請求項１１】
上記重像間変形取得部は、予め取得した上記重像画像上の重像間変位の変位方向を利用して、重像間の変形情報を取得することを特徴とする請求項８乃至１０の何れかに記載の撮像装置。
【請求項１２】
上記画像変形部は、上記重像画像に対する、上記予め取得した重像間変位の変位方向に沿った変形処理を行うことを特徴とする請求項１１に記載の撮像装置。
【請求項１３】
上記重像間変形取得部、上記画像変形部、上記信号強度関係取得部及び上記信号処理部は、画像の一部である部分領域毎にそれぞれ処理を行うことを特徴とする請求項８乃至１２の何れかに記載の撮像装置。
【請求項１４】
上記重像間変形取得部、上記画像変形部、上記信号強度関係取得部及び上記信号処理部は、画像の一部である部分領域毎にそれぞれ処理を行い、上記部分領域毎の処理結果を統合することで画像全体の復元画像を生成することを特徴とする請求項８乃至１２の何れかに記載の撮像装置。
【請求項１５】
被写体の像が多重になっている重像画像の入力処理を行うステップと、
上記入力された重像画像に含まれる重像間の変形情報を取得するステップと、
上記取得された重像間の変形情報を基に、上記入力された重像画像に対して少なくとも２回以上の変形処理を施して幾何的に変形させることによって、少なくとも２枚以上の変形画像を生成するステップと、
上記入力された重像画像に含まれる重像間の信号強度の関係を示す信号強度関係情報を取得するステップと、
上記取得された信号強度関係情報を用いて、上記変形処理により生成された少なくとも２枚以上の変形画像の加算処理を行うステップと、
をコンピュータに発揮させることを特徴とする画像処理プログラム。
【請求項１６】
被写体の像が多重になっている重像画像の入力処理を行うステップと、
上記入力された重像画像に含まれる重像間の変形情報を取得するステップと、
上記取得された重像間の変形情報を基に、上記入力された重像画像に対して少なくとも２回以上の変形処理を施して幾何的に変形させることによって、少なくとも２枚以上の変形画像を生成するステップと、
上記入力された重像画像に含まれる重像間の信号強度の関係を示す信号強度関係情報を取得するステップと、
上記取得された信号強度関係情報を基に上記変形処理により生成された少なくとも２枚以上の変形画像を加算して、被写体の像が多重になっていない復元画像を生成するステップと、
を具備することを特徴とする画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２００９−１３４３５７（Ｐ２００９−１３４３５７Ａ）
【公開日】平成２１年６月１８日（２００９．６．１８）
【国際特許分類】
【出願番号】特願２００７−３０７９０２（Ｐ２００７−３０７９０２）
【出願日】平成１９年１１月２８日（２００７．１１．２８）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【出願人】（３０４０２１４１７）国立大学法人東京工業大学 (1,821)
【Ｆターム（参考）】
【公開日】平成２１年６月１８日（２００９．６．１８）
【国際特許分類】
【出願日】平成１９年１１月２８日（２００７．１１．２８）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【出願人】（３０４０２１４１７）国立大学法人東京工業大学 (1,821)
【Ｆターム（参考）】
[ Back to top ]