画像処理装置
【課題】超解像処理の収束判定の誤判定をなくし、超解像処理の精度を向上させることが可能な画像処理装置を提供する。
【解決手段】被写体との距離を計測する距離計測部２と、被写体の画像を反復計算によって復元する劣化画像復元部１３４と、画像復元処理の終了判定を行う終了判定手段とを具備する。そして、画像復元処理の終了判定を行う場合には、距離計測部２によって計測された距離情報に基づく特定の距離レイヤのみ又は距離情報に基づく距離レイヤ毎に終了判定を行う。
【解決手段】被写体との距離を計測する距離計測部２と、被写体の画像を反復計算によって復元する劣化画像復元部１３４と、画像復元処理の終了判定を行う終了判定手段とを具備する。そして、画像復元処理の終了判定を行う場合には、距離計測部２によって計測された距離情報に基づく特定の距離レイヤのみ又は距離情報に基づく距離レイヤ毎に終了判定を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、劣化画像を復元する画像処理装置に関するものである。
【背景技術】
【０００２】
従来、デジタルカメラ等の撮像装置で撮像した場合、後で見るとピンぼけ等により劣化画像となることがある。このような場合、超解像処理により劣化画像を復元する試みがなされており、超解像のアルゴリズムが種々考えられている。例えば、非特許文献１には、イラニー・ペレッグ法と呼ばれる代表的な方法が開示され、複数のボケ画像からの復元を行う方法が提案されている。
【０００３】
イラニー・ペレッグ法の画像復元処理には式（１）が用いられる。本方式では、繰り返し処理において劣化画像から未知の元画像を徐々に推定していく。その際、式（１）に示す直前の復元画像に想定したボケを表す点広がり関数（ｈＰＳＦ）をコンボリューションして作成した疑似ボケ画像ｇ（ｎ）と、撮影で得られたボケ画像ｇ（０）のノルム（画素毎の差分２乗和）を計算する。即ち、式（２）のｅ（ｎ）を計算し最小となった場合を画像復元完了とする。
【０００４】
ｆ（ｎ＋１）＝ｆ（ｎ）＋（ｇ−ｇ（ｎ））×ｈＡＵＸ／ｃ
＝ｆ（ｎ）＋（ｇ−ｆ（ｎ）×ｈＰＳＦ）×ｈＡＵＸ／ｃ …式（１）
ｃは正規化定数である。
【０００５】
ｈＡＵＸは全てのωで、０＜|１−ＨＰＳＦ（ω）・ＨＡＵＸ（ω）／ｃ|＜１
を満たすものなら良く、一般的にはＨＰＳＦが使われる。Ｈはｈのフーリエ変換である。
【０００６】
ｅ（ｎ）＝‖ｇ（ｎ）−ｇ（０）‖ …式（２）
但し、‖ ‖はノルムであり、画素毎の差分２乗和か差分絶対値和を示す。
【０００７】
また、特許文献１には元画像の推定にベイズ推定を用いた代表的なリチャードソン・ルーシ法を改良したアルゴリズムが開示されている。特許文献２には、超解像処理に関する１５種の非特許文献が記載されている。
【０００８】
一方、被写体との距離を測定し、画素毎の距離情報を取得する技術も知られている。例えば、特許文献３にはステレオ法と呼ばれる被写体までの距離を測定する技術に望遠鏡を組み合わせて遠距離での距離計測精度を向上させる方法が開示されている。
【非特許文献１】Improving Resolution by Image Registration CVGIP:GRAPHICAL MODELS AND IMAGE PROCESSING Vol.53,No.3 May,pp.231-239,1991
【特許文献１】特開２００６−２４２７４６号公報
【特許文献２】特開２００６−１９５８５６号公報
【特許文献３】特開平１１−２５７９５１号公報
【特許文献４】特開平０５−２０５０４８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
劣化画像復元処理を行う場合、各被写体のピンぼけ度合いの違いから、反復復元部の処理で画像内の複数の被写体の最適劣化復元回数が異なるのが普通である。即ち、図９に示すように収束判定用の評価関数、例えば、処理前後の画像や復元画像とボケを表す点広がり関数（ｈＰＳＦ）とのコンボリューションとボケ画像のノルムが複数の極小値を取り、どれが正解か分からないという問題があった。
【００１０】
これに対し、特許文献４には、画素毎に最適劣化復元判定を行い、復元完了画素の処理は凍結することで全ての画素の復元を行う技術が開示されている。この方法では、復元画像の各画素の近傍領域に対して隣接画素の差分を取るフィルタリングを施すことにより、当該近傍領域におけるノイズ（＝高域強調フィルタによるリンギング）を推定し、推定されたノイズの分散を求める。そして、画素値の分散とノイズの分散の差分が所定値より小さくなった画素については収束したと判定する。しかしながら、本方式はあくまで推定に基づいた方法であり、リンギングノイズと実画像とが混在した部分の誤差の混入の可能性は否めない。
【００１１】
本発明の目的は、超解像処理の収束判定の誤判定をなくし、超解像処理の精度を向上させることが可能な画像処理装置を提供することにある。
【課題を解決するための手段】
【００１２】
本発明は、劣化画像を復元する画像処理装置であって、被写体との距離を計測する手段と、被写体の画像を反復計算によって復元する画像復元手段と、前記画像復元処理の終了判定を行う終了判定手段とを具備し、前記終了判定手段は、前記計測手段によって計測された距離情報に基づく特定の距離レイヤのみ又は前記距離情報に基づく距離レイヤ毎に前記終了判定を行うことを特徴とする。
【発明の効果】
【００１３】
本発明によれば、被写体との距離情報に基づく特定の距離レイヤ又は距離レイヤ毎に超解像処理の収束判定を行うため、判定結果を示す極小値が複数発生して誤判定することが無くなり、精度の良い画像復元処理が可能となる。
【発明を実施するための最良の形態】
【００１４】
次に、発明を実施するための最良の形態について図面を参照して詳細に説明する。
【００１５】
（第１の実施形態）
図１は本発明に係る画像処理装置の第１の実施形態の構成を示すブロック図である。特に、第１の実施形態は特定の距離レイヤに属する被写体の解像度復元処理を行う例を示すものである。
【００１６】
図中１は撮影部、２は距離測定部である。距離測定部２には２眼ステレオ法を用いた例を示す。撮影部１内には撮像レンズ１２０、絞り１２１、ＣＣＤ等の撮像テバイス１２２が配置されている。１２３は撮像テバイス１２２からの撮像信号をＡＤ変換するＡＤＣ（ＡＤ変換器）、１２４はフィルタ処理等を行うカメラ処理部、１３０はメモリコントローラ、１３１はＳＤＲＡＭ等のメモリである。
【００１７】
また、１３２は画像縮小部、１３３はＰＳＦテーブル、１３４は劣化画像復元部、１３５は画像処理効果判定部、１４０はコーディク、１４１はフラッシュメモリインターフェース、１４２はフラッシュメモリを示す。更に、１４３は表示インターフャース、１４４は液晶等の表示部、９８は十字パッド、９９はシャッター、１００はシステム全体を制御するシステムコントローラである。
【００１８】
距離計測部２には、撮像レンズ１０４Ｒと１０４Ｌが配置され、各撮像レンズに対応して絞り１０５Ｒと１０５Ｌ、撮像デバイス（ＣＣＤ等）１０６Ｒと１０６Ｌ、ＡＤＣ（ＡＤ変換器）１０７Ｒと１０７Ｌが配置されている。また、１０８は被写体との距離を判定する距離判定部、１０９は距離画像作成部である。ＡＤＣ１２３及びＡＤＣ１０７Ｒと１０７ＬはＡＧＣ機能を持つ。
【００１９】
なお、図１の左下に被写体の一例を示す（被写体は俯瞰図で示す）。図１では被写体を３つ示しているが、１０１は遠景被写体（実際は矢印で示す遙か左に存在する）、１０２は中間距離被写体、１０３は近景被写体を示す。
【００２０】
次に、本実施形態の撮影処理動作を図１、図２、図３を用いて説明する。図２は本実施形態の撮影処理を示すフローチャートである。図３は距離画像作成部１０９による距離画像の一例を示す。
【００２１】
１．撮影準備時
まず、シャッター９９が半押しされると（図２のＳ１０１）、システムコントローラ１００は撮影準備のため、撮影部１と距離計測部２のＡＥ（オートエクスポーズ）、ＡＦ（オートフォーカス）の処理を行う（Ｓ１０２）。通常、ＡＥ処理は重要な被写体の位置する中央部の明るさが露出オーバでも露出アンダーでも無い所定の値になるように絞り１２１、絞り１０５Ｌと１０５Ｒや、ＡＤＣ１０７Ｌと１０７Ｒ、ＡＤＣ１２３内のＡＧＣを制御する。
【００２２】
一方、ＡＦ処理はＡＥの場合と同様に中央部のＡＤＣ出力の高周波成分が多くなるように撮像レンズ１０４Ｒと１０４Ｌ、撮像レンズ１２０を山登り法で調整する。距離計測部２は上述のように２眼ステレオ法を用いている。一般的に距離計測部２は撮影部１に対して小径レンズと小径且つモノクロのＣＣＤを使用することで被写界深度が深く、高感度となっている。
【００２３】
２．撮影時
次にシャッター９９が全押しされると（Ｓ１０３）、撮影部１で撮像処理を行い、距離測定部２で距離画像の計測を行う（Ｓ１０４）。その際、ＡＤＣ１２３の出力はカメラ処理部１２４でフィルタ処理によりＢａｙｅｒ配列画像からＲＧＢ画像に変換され、メモリコントローラ１３０を経由してメモリ１３１へ書き込まれる。
【００２４】
また、距離計測部２ではＡＤＣ１０７ＲとＡＤＣ１０７Ｌの各画素の出力が距離判定部１０８に入力される。ここで各画素の左右複数画素を左右方向にシフトして１ノルム（差分絶対値和）を計算し、最小値を得た時のシフト量からその画素の属するレイヤの距離を算出する。距離画像作成部１０９ではそれを各画素毎に算出することで、図３に示すような距離画像の作成を行い、撮影画像と同様にメモリコントローラ１３０を経由してメモリ１３１に書き込む。
【００２５】
図３に示す距離画像において、近景は黒、中距離は灰色（黒と白の中間で表す）、遠景は白で表す。図１の左下に示すように近景被写体１０３は撮像デバイス１０６Ｌ、１０６Ｒで撮像される位置が外側にずれるが、殆ど平行光線となる実質無限遠の遠景被写体１０１は両撮像デバイスの同一位置に撮像される。このことは、特許文献３に詳しく記載されている。
【００２６】
撮影後にはメモリ１３１に書き込まれた撮影画像と距離画像に加えて撮影パラメータ（フォーカス、ズーム、絞りの情報等）がメモリコントローラ１３０を経由して読み出される。必要に応じて撮影画像はコーデック１４０を経由し、フラッシュメモリコントローラ１４１を経由してフラッシュメモリ１４２に書き込まれる。
【００２７】
３．撮影後の画像確認
撮影後、操作者が十字パッド９８を操作して指示することで、システムコントローラ１００によりフラッシュメモリ１４２から撮影済み画像がフラッシュメモリコントローラ１４１経由で読み出される。そして、メモリコントローラ１３０を経由してメモリ１３１へ書き込まれる。
【００２８】
読み出された数メガピクセルの画像は、まず、小型のＶＧＡ程度の表示部１４４に画像縮小部１３２で縮小して表示される。縮小度合いを下げながら被写体の画像を注意深く確認すると、ＡＦの位置が所望の被写体（近景被写体）１０３でなく、背景の中間距離被写体１０２に合焦していることがある。
【００２９】
特に、図１に示すような構図の場合、スポット測距方式だと、中心にフォーカスが合い、いわゆる中抜け後ピン現象が起こりやすい。しかし無限遠の遠景被写体１０１にピントが合っている大ボケ状態ではないので、撮影直後、小さなモニタ画面で簡単に見た程度では後ピン状態が確認できない場合が多い。
【００３０】
４．画像復元
図４は本実施形態の画像復元処理を示すフローチャートである。図５は距離情報により撮影画像を分離した部分画像の例を示す。本実施形態の画像復元時の動作を図１、図４、図５を用いて説明する。
【００３１】
４．１画像復元前処理
そこで画像復元処理を行う。その際、劣化画像を反復計算により画像復元処理を行う。まず、操作者が十字パッド９８を操作して何処の画像を復元したいかを指示することで、システムコントローラ１００は現在表示画像の復元処理を開始する。この例では近景の人物のどちらかを指示した場合を想定する。システムコントローラ１００は指示された画素の存在する距離画像から復元を行う領域を近景と判断し、収束判定には劣化画像ｇＮ（ｎ）の画素を用いることとする。
【００３２】
ｇＮ（ｎ）は劣化画像ｇ（ｎ）の中で図３に黒で示す距離画像で近景（Ｎｅａｒ）に相当する部分の画素の集合であり、図５に示すＮｅａｒの画像である。メモリ１３１にある撮像パラメータと劣化画像（ｇ（０）とする）をメモリコントローラ１３０を経由して劣化画像復元部１３４に送り、画像修復処理回数をカウントする繰り返し処理カウンタｎ＝０（初期化）とする。
【００３３】
また、劣化画像処理の初期画像ｆ（０）＝ｇ（０）とするため、ｇ（０）をメモリ内でコピーする。撮像パラメータとＰＳＦテーブル１３３から撮像時におけるｇＮ（ｎ）の点広がり関数ｈＮＰＳＦを得る（図４のＳ２０１）。
【００３４】
４．２画像復元繰り返し処理
次に、劣化画像復元部１３４は１ステップの画像復元処理を行い（Ｓ２０２）、再度メモリコントローラ１３０を経由してメモリ１３０の別領域に書き込み、これを新しい復元途中画像ｆ（ｎ＋１）とする。画像復元処理はイラニー・ペレッグ法を用いる場合を例とし、背景技術で説明した式（１）を使用する。
【００３５】
その場合の計算式を図４に示す。ｈＮＰＳＦは点広がり関数である。また、正規化定数ｃやｈＡＵＸは背景技術で説明した通りである。
【００３６】
４．３収束判定
次に、システムコントローラ１００は収束判定（終了判定）を行う（Ｓ２０３）。具体的には、‖ｇＮ（ｎ）−ｇＮ（０）‖を計算して保持する。ｇＮは図３の黒い部分の近景Ｎｅａｒと判断された領域における画素の、画像復元処理後の画像ｆＮ（ｎ）と点広がり関数ｈＮＰＳＦをコンボリューションして作った疑似ボケ画像ｇＮ（ｎ）と撮影時に得たボケ画像ｇＮ（０）とのノルムである。
【００３７】
ここで、‖ｇＮ（ｎ）−ｇＮ（０）‖と‖ｇＮ（ｎ＋１）−ｇＮ（０）‖を比較し、後に処理した値が前者より大きい場合には過剰処理として収束と判断（終了判定）し、最適復元処理画像ｆをこの時点のｆ（ｎ）とする。もし、まだならば、システムコントローラ１００はｆ（ｎ）＝ｆ（ｎ＋１）と代入し、Ｓ２０２（４．２の処理）に戻って画像修復処理を行い、Ｓ２０３にて終了判定を行う。
【００３８】
収束したと判定した場合には、システムコントローラ１００は最適復元画像ｆをメモリ１３１からメモリコントローラ１３０を経由して読み出し、フラッシュメモリコントローラ１４１を経由してフラッシュメモリ１４２へ書き込む（Ｓ２０４）。以上で画像復元処理を終了する。ここで、コーデック１４０で再度圧縮するか、以前のボケ画像を丸ごと重ね書きして消去するか、ボケ画像の近景（Ｎｅａｒ）部のみを最適復元画像ｆで置き換えるかは操作者が十字パッド９８で指示して決める等すれば良い。
【００３９】
本実施形態では、指定された距離レイヤの画素のみを超解像処理を行う際の収束判定関数に使用する。即ち、距離情報から距離レイヤを作成し、特定の距離レイヤのみ超解像処理の終了判定を行うため、収束評価の極小値の数は１つとなる。従って、判定結果を示す極小値が複数発生することがないため、誤判定をすることが全くなくなり、精度の良い画像復元処理を行うことが可能となる。
【００４０】
（第２の実施形態）
次に、本発明の第２の実施形態を図１、図３、図６を用いて説明する。図６は本実施形態の画像復元処理を示すフローチャートである。本実施形態は、すべての距離レイヤ、この場合には近景（Ｎ）、中間距離（Ｍ）、遠景（Ｆ）の３つの距離レイヤに属する被写体の解像度復元処理を行う例である。それぞれの距離レイヤにおける画像復元処理は基本的に第１の実施形態と同様である。また、本実施形態の構成は図１と同様である。なお、１．撮影準備時の動作、２．撮影時の動作、３．撮影後画像確認の動作は第１の実施形態と同様であるので説明は省略する。
【００４１】
４．画像復元
４．１画像復元前処理
操作者が十字パッド９８を操作してすべての距離の画像を復元したいと指示することでシステムコントローラ１００は現在表示画像の復元処理を開始する。システムコントローラ１００は距離画像から復元を行う領域が近景（Ｎ）、中間距離（Ｍ）、遠景（Ｆ）の３つのレイヤに分けられると判断し、収束判定には各劣化画像ｇＮ、ｇＭ、ｇＦの画素を用いることとする。
【００４２】
また、システムコントローラ１００は撮像時のパラメータと撮影画像に存在する距離情報から、想定される点広がり関数、本実施形態では、ｈＮＰＳＦ、ｈＭＰＳＦ、ｈＦＰＳＦをＰＳＦテーブル１３３から得る（Ｓ３０１）。
【００４３】
更に、復元途中画像の初期画像ｆＮ（０）＝ｆＭ（０）＝ｆＦ（０）＝ｇ（０）とするため、画像修復処理回数をカウントする繰り返し処理カウンタｎ＝０（初期化）とする（Ｓ３０１）。
【００４４】
４．２画像復元繰り返し処理
次にシステムコントローラ１００は、メモリ１３１にある復元途中画像（ｆＮ（ｎ）、ｆＭ（ｎ）、ｆＦ（ｎ））をメモリコントローラ１３０を経由して劣化画像復元部１３４に送り、１ステップの画像復元処理を行う。また、再度メモリコントローラ１３０を経由してメモリ１３１の別領域に書き込み、これを新しい復元途中画像（ｆＮ（ｎ＋１）、ｆＭ（ｎ＋１）、ｆＦ（ｎ＋１））とする。近景画像、中間距離画像、遠景画像の画像復元処理に上記式（１）を用いるのは第１の実施形態と同様である。
【００４５】
図６では近景画像に関しては近景画像修復処理をＳ３０２にて行い、中間距離画像に関しては中間画像修復処理をＳ３０５にて行い、遠景画像に関しては遠景画像修復処理をＳ３０８にて行う。Ｓ３０２の近景画像、Ｓ３０５の中間距離画像、Ｓ３０８の遠景画像の画像復元処理には上述のように式（１）を用いる。
【００４６】
図６にはそれぞれの画像復元処理の計算式を示すが、ｈＮＰＳＦ、ｈＭＰＳＦ、ｈＦＰＳＦは上述のように点広がり関数である。
【００４７】
４．３収束判定
図６では近景画像収束判定（終了判定）をＳ３０３にて行い、中間距離画像終了判定をＳ３０６にて行い、遠景画像終了判定をＳ３０９にて行う。Ｓ３０３、Ｓ３０６、Ｓ３０９における収束判定処理に関して詳しく説明する。システムコントローラ１００は、‖ｇＮ（ｎ＋１）−ｇＮ（０）‖、‖ｇＭ（ｎ＋１）−ｇＭ（０）‖、‖ｇＦ（ｎ＋１）−ｇＦ（０）‖を計算し、それぞれ保持する。
【００４８】
‖ｇＮ（ｎ＋１）−ｇＮ（０）‖に関して説明する。即ち図３の近景Ｎｅａｒと判断されたレイヤの画像復元処理後の画像と該当距離のボケ関数ｈＮＰＳＦをコンボリューションして作った疑似ボケ画像ｇＮ（ｎ＋１）と撮影時に得たボケ画像ｇ（０）の領域ｇＮ（０）とから計算されるノルムである。
【００４９】
‖ｇＭ（ｎ＋１）−ｇＭ（０）‖に関した説明する。即ち図３の中間距離Ｍｉｄｄｌｅと判断されたレイヤの画像復元処理後の画像と該当距離のボケ関数ｈＭＰＳＦをコンボリューションして作った疑似ボケ画像ｇＭ（ｎ＋１）と撮影時に得たボケ画像ｇ（０）の領域ｇＭ（０）とから計算されるノルムである。
【００５０】
‖ｇＦ（ｎ＋１）−ｇＦ（０）‖に関して説明する。図３の遠景Ｆａｒと判断されたレイヤの画像復元処理後の画像と該当距離のボケ関数ｈＦＰＳＦをコンボリューションして作った疑似ボケ画像ｇＦ（ｎ＋１）と撮影時に得たボケ画像ｇ（０）の領域ｇＦ（０）とから計算されるノルムである。
【００５１】
次に、近景画像に関して、‖ｇＮ（ｎ）−ｇ（０）‖と‖ｇＮ（ｎ＋１）−ｇ（０）‖を比較し、後に処理した結果が前者より大きい場合には過剰処理として収束と判断する（Ｓ３０３）。そして、最適復元処理画像をこの時点のｎを付したｆＮ（ｎ）として保持する（Ｓ３０４）。同様にして、他の中間距離画像や遠景画像の距離部分に関しても計算し、Ｓ３０６或いはＳ３０９にて過剰処理と判断した時点の、ｆＭ（ｎ）、ｆＦ（ｎ）を保持する（Ｓ３０７、Ｓ３１０）。
【００５２】
それぞれの距離部分において収束していないと判定した場合には、システムコントローラ１００は収束が完了していない距離、例えば、近景画像の場合には、ｆＮ（ｎ）＝ｆＮ（ｎ＋１）を代入し、Ｓ３０２（４．２の画像復元処理）に戻る。そして、同様に近景画像修復処理を行い、Ｓ３０３にて収束判定を行う。
【００５３】
また、中間距離画像の場合には、ｆＭ（ｎ）＝ｆＭ（ｎ＋１）を代入し、Ｓ３０５に戻って同様に中間距離画像修復処理を行い、Ｓ３０６にて収束判定を行う。更に、遠景画像の場合には、ｆＦ（ｎ）＝ｆＦ（ｎ＋１）を代入し、Ｓ３０８に戻って同様に遠景画像修復処理を行い、Ｓ３０９にて収束判定を行う。
【００５４】
図７は距離情報毎（Ｆａｒ、Ｍｉｄｄｌｅ、Ｎｅａｒ）の画像復元時のノルムを示す。いずれの場合も収束評価の極小値の数は１つであり、判定結果を示す極小値が複数発生することはない。
【００５５】
５．画像合成
次に、図３に示す距離画像の黒い近景部分はＳ３０４で保持したｆＮ（ｎ）を、中距離部分はＳ３０７で保持したｆＭ（ｎ）を、遠景部分はＳ３１０で保持したｆＦ（ｎ）（各ｎは異なる）を用いて合成する（Ｓ３１１）。そうすることで、全ての距離において劣化画像が復元された画像ｆを得ることが可能となる。
【００５６】
次に、システムコントローラ１００は、復元画像ｆをメモリ１３１からメモリコントローラ１３０を経由して読み出し、フラッシュメモリコントローラ１４１を経由してフラッシュメモリ１４２へ書き込む（Ｓ３１１）。以上で画像復元処理を終了する。コーデック１４０で再度圧縮するか、以前のボケ画像を重ね書きして消去するかは操作者が十字パッド９８で指示して決める等すれば良いのは第１の実施形態と同様である。
【００５７】
本実施形態では、距離情報から距離レイヤを作成し、距離レイヤ毎に超解像処理の収束判定を行うため、収束評価の極小値の数は１つとなり、判定結果を示す極小値が複数発生することがない。従って、誤判定をすることが全くなくなり、精度の良い画像復元処理を行うことが可能となる。
【００５８】
なお、本実施形態では、３つの距離レイヤに属する被写体の解像度復元処理を行う例を示したが、本発明はこれに限ることはなく、それ以下或いはそれ以上の距離レイヤ毎に処理を行っても良い。
【００５９】
（第３の実施形態）
次に、本発明の第３の実施形態を説明する。本実施形態はＰＣ側で劣化画像を復元する場合の例を示す。即ち、図１のカメラで撮影した画像をＰＣに送り、ＰＣ側で劣化画像を復元する例を示すものである。図８は本実施形態の処理を示すフローチャートである。なお、１．撮影準備時の動作、２．撮影時の動作、３．撮影後画像確認の動作はカメラ側の処理なので第１の実施形態と同様である。
【００６０】
図８において、ユーザはフラッシュメモリをＰＣに装着し、劣化画像復元処理アプリケーションをＰＣ上で起動する。すると、劣化画像復元処理アプリケーションは撮像した画像、距離画像、カメラパラメータをフラッシュメモリから読み出し、ＰＣの記録媒体に書き込み各画像を表示する（Ｓ４０１）。
【００６１】
ユーザは画面で画像を確認し、第１の実施形態の特定の領域の劣化画像復元処理か、第２の実施形態の全領域の劣化画像復元処理かの希望条件を入力し、画像を修復する方式の指定を行う（Ｓ４０２）。
【００６２】
劣化画像復元処理アプリケーションはその指定に応じて第１又は第２の実施形態で説明したアルゴリズムで処理を行う（Ｓ４０３）。その際、第２の実施形態では３つの距離レイヤに関して画像を復元しているが、これに限ることはない。
【００６３】
ＰＣはＳ４０４で画像修復が完了すると、処理完了後の復元画像をユーザに提示する。ユーザは復元画像がＯＫなら（Ｓ４０５）、その画像をＰＣの記録媒体に書き込む（Ｓ４０６）。例えば、全領域の劣化画像を復元したが、背景にはボケ味が欲しいからＮＧと判断すると、再度特定領域の劣化画像復元処理を指示し、修復条件を変更して劣化画像復元処理をする。処理終了後にその画像を確認の上、ＰＣの記録媒体に書き込む。
【００６４】
具体的には、Ｓ４０５でユーザがＮｏと判断すれば、Ｓ４０２に戻って上述のように希望条件で画像を修復する指定を行い、画像の修復条件を変更する。その際、例えば、背景にボケ味が欲しいのであれば、その背景部分は劣化画像のままとし、他の人物等の画像は画像復元処理を行うように条件を指定すれば良い。
【図面の簡単な説明】
【００６５】
【図１】本発明に係る画像処理装置の第１の実施形態を示すブロック図である。
【図２】本発明の第１の実施形態の撮影処理を説明するフローチャートである。
【図３】距離画像の一例を示す図である。
【図４】本発明の第１の実施形態の画像処理を説明するフローチャートである。
【図５】距離情報により撮影画像を分離した部分画像の一例を示す図である。
【図６】本発明の第２の実施形態の画像処理を説明するフローチャートである。
【図７】距離情報毎の画像復元時のノルムを示す図である。
【図８】本発明の第３の実施形態のＰＣでの処理を示すフローチャートである。
【図９】全画面のノルムを示す図である。
【符号の説明】
【００６６】
１ 撮影部
２ 距離計測部
９８ 十字パッド
９９ シャッター
１００ システムコントローラ
１０１ 遠景被写体（実際は矢印で示す遙か左に存在する）
１０２ 中間距離被写体
１０３ 近景被写体
１０４Ｒ、１０４Ｌ、１２０ 撮像レンズ
１０５Ｒ、１０５Ｌ、１２１ 絞り
１０６Ｒ、１０６Ｌ、１２２ 撮像デバイス
１０７Ｒ、１０７Ｌ、１２３ ＡＤＣ（＋ＡＧＣ）
１０８ 距離判定部
１０９ 距離画像作成部
１２３ ＳＤＲＡＭメモリインターフェース
１２４ カメラ画像処理部
１３１ メモリ
１３２ 画像縮小部
１３３ ＰＳＦテーブル
１３４ 劣化画像復元部
１３５ 画像処理効果判定部
１４０ コーデック
１４１ フラッシュメモリインターフェース
１４２ フラッシュメモリ
１４３ 表示インターフェース
１４４ 表示部
【技術分野】
【０００１】
本発明は、劣化画像を復元する画像処理装置に関するものである。
【背景技術】
【０００２】
従来、デジタルカメラ等の撮像装置で撮像した場合、後で見るとピンぼけ等により劣化画像となることがある。このような場合、超解像処理により劣化画像を復元する試みがなされており、超解像のアルゴリズムが種々考えられている。例えば、非特許文献１には、イラニー・ペレッグ法と呼ばれる代表的な方法が開示され、複数のボケ画像からの復元を行う方法が提案されている。
【０００３】
イラニー・ペレッグ法の画像復元処理には式（１）が用いられる。本方式では、繰り返し処理において劣化画像から未知の元画像を徐々に推定していく。その際、式（１）に示す直前の復元画像に想定したボケを表す点広がり関数（ｈＰＳＦ）をコンボリューションして作成した疑似ボケ画像ｇ（ｎ）と、撮影で得られたボケ画像ｇ（０）のノルム（画素毎の差分２乗和）を計算する。即ち、式（２）のｅ（ｎ）を計算し最小となった場合を画像復元完了とする。
【０００４】
ｆ（ｎ＋１）＝ｆ（ｎ）＋（ｇ−ｇ（ｎ））×ｈＡＵＸ／ｃ
＝ｆ（ｎ）＋（ｇ−ｆ（ｎ）×ｈＰＳＦ）×ｈＡＵＸ／ｃ …式（１）
ｃは正規化定数である。
【０００５】
ｈＡＵＸは全てのωで、０＜|１−ＨＰＳＦ（ω）・ＨＡＵＸ（ω）／ｃ|＜１
を満たすものなら良く、一般的にはＨＰＳＦが使われる。Ｈはｈのフーリエ変換である。
【０００６】
ｅ（ｎ）＝‖ｇ（ｎ）−ｇ（０）‖ …式（２）
但し、‖ ‖はノルムであり、画素毎の差分２乗和か差分絶対値和を示す。
【０００７】
また、特許文献１には元画像の推定にベイズ推定を用いた代表的なリチャードソン・ルーシ法を改良したアルゴリズムが開示されている。特許文献２には、超解像処理に関する１５種の非特許文献が記載されている。
【０００８】
一方、被写体との距離を測定し、画素毎の距離情報を取得する技術も知られている。例えば、特許文献３にはステレオ法と呼ばれる被写体までの距離を測定する技術に望遠鏡を組み合わせて遠距離での距離計測精度を向上させる方法が開示されている。
【非特許文献１】Improving Resolution by Image Registration CVGIP:GRAPHICAL MODELS AND IMAGE PROCESSING Vol.53,No.3 May,pp.231-239,1991
【特許文献１】特開２００６−２４２７４６号公報
【特許文献２】特開２００６−１９５８５６号公報
【特許文献３】特開平１１−２５７９５１号公報
【特許文献４】特開平０５−２０５０４８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
劣化画像復元処理を行う場合、各被写体のピンぼけ度合いの違いから、反復復元部の処理で画像内の複数の被写体の最適劣化復元回数が異なるのが普通である。即ち、図９に示すように収束判定用の評価関数、例えば、処理前後の画像や復元画像とボケを表す点広がり関数（ｈＰＳＦ）とのコンボリューションとボケ画像のノルムが複数の極小値を取り、どれが正解か分からないという問題があった。
【００１０】
これに対し、特許文献４には、画素毎に最適劣化復元判定を行い、復元完了画素の処理は凍結することで全ての画素の復元を行う技術が開示されている。この方法では、復元画像の各画素の近傍領域に対して隣接画素の差分を取るフィルタリングを施すことにより、当該近傍領域におけるノイズ（＝高域強調フィルタによるリンギング）を推定し、推定されたノイズの分散を求める。そして、画素値の分散とノイズの分散の差分が所定値より小さくなった画素については収束したと判定する。しかしながら、本方式はあくまで推定に基づいた方法であり、リンギングノイズと実画像とが混在した部分の誤差の混入の可能性は否めない。
【００１１】
本発明の目的は、超解像処理の収束判定の誤判定をなくし、超解像処理の精度を向上させることが可能な画像処理装置を提供することにある。
【課題を解決するための手段】
【００１２】
本発明は、劣化画像を復元する画像処理装置であって、被写体との距離を計測する手段と、被写体の画像を反復計算によって復元する画像復元手段と、前記画像復元処理の終了判定を行う終了判定手段とを具備し、前記終了判定手段は、前記計測手段によって計測された距離情報に基づく特定の距離レイヤのみ又は前記距離情報に基づく距離レイヤ毎に前記終了判定を行うことを特徴とする。
【発明の効果】
【００１３】
本発明によれば、被写体との距離情報に基づく特定の距離レイヤ又は距離レイヤ毎に超解像処理の収束判定を行うため、判定結果を示す極小値が複数発生して誤判定することが無くなり、精度の良い画像復元処理が可能となる。
【発明を実施するための最良の形態】
【００１４】
次に、発明を実施するための最良の形態について図面を参照して詳細に説明する。
【００１５】
（第１の実施形態）
図１は本発明に係る画像処理装置の第１の実施形態の構成を示すブロック図である。特に、第１の実施形態は特定の距離レイヤに属する被写体の解像度復元処理を行う例を示すものである。
【００１６】
図中１は撮影部、２は距離測定部である。距離測定部２には２眼ステレオ法を用いた例を示す。撮影部１内には撮像レンズ１２０、絞り１２１、ＣＣＤ等の撮像テバイス１２２が配置されている。１２３は撮像テバイス１２２からの撮像信号をＡＤ変換するＡＤＣ（ＡＤ変換器）、１２４はフィルタ処理等を行うカメラ処理部、１３０はメモリコントローラ、１３１はＳＤＲＡＭ等のメモリである。
【００１７】
また、１３２は画像縮小部、１３３はＰＳＦテーブル、１３４は劣化画像復元部、１３５は画像処理効果判定部、１４０はコーディク、１４１はフラッシュメモリインターフェース、１４２はフラッシュメモリを示す。更に、１４３は表示インターフャース、１４４は液晶等の表示部、９８は十字パッド、９９はシャッター、１００はシステム全体を制御するシステムコントローラである。
【００１８】
距離計測部２には、撮像レンズ１０４Ｒと１０４Ｌが配置され、各撮像レンズに対応して絞り１０５Ｒと１０５Ｌ、撮像デバイス（ＣＣＤ等）１０６Ｒと１０６Ｌ、ＡＤＣ（ＡＤ変換器）１０７Ｒと１０７Ｌが配置されている。また、１０８は被写体との距離を判定する距離判定部、１０９は距離画像作成部である。ＡＤＣ１２３及びＡＤＣ１０７Ｒと１０７ＬはＡＧＣ機能を持つ。
【００１９】
なお、図１の左下に被写体の一例を示す（被写体は俯瞰図で示す）。図１では被写体を３つ示しているが、１０１は遠景被写体（実際は矢印で示す遙か左に存在する）、１０２は中間距離被写体、１０３は近景被写体を示す。
【００２０】
次に、本実施形態の撮影処理動作を図１、図２、図３を用いて説明する。図２は本実施形態の撮影処理を示すフローチャートである。図３は距離画像作成部１０９による距離画像の一例を示す。
【００２１】
１．撮影準備時
まず、シャッター９９が半押しされると（図２のＳ１０１）、システムコントローラ１００は撮影準備のため、撮影部１と距離計測部２のＡＥ（オートエクスポーズ）、ＡＦ（オートフォーカス）の処理を行う（Ｓ１０２）。通常、ＡＥ処理は重要な被写体の位置する中央部の明るさが露出オーバでも露出アンダーでも無い所定の値になるように絞り１２１、絞り１０５Ｌと１０５Ｒや、ＡＤＣ１０７Ｌと１０７Ｒ、ＡＤＣ１２３内のＡＧＣを制御する。
【００２２】
一方、ＡＦ処理はＡＥの場合と同様に中央部のＡＤＣ出力の高周波成分が多くなるように撮像レンズ１０４Ｒと１０４Ｌ、撮像レンズ１２０を山登り法で調整する。距離計測部２は上述のように２眼ステレオ法を用いている。一般的に距離計測部２は撮影部１に対して小径レンズと小径且つモノクロのＣＣＤを使用することで被写界深度が深く、高感度となっている。
【００２３】
２．撮影時
次にシャッター９９が全押しされると（Ｓ１０３）、撮影部１で撮像処理を行い、距離測定部２で距離画像の計測を行う（Ｓ１０４）。その際、ＡＤＣ１２３の出力はカメラ処理部１２４でフィルタ処理によりＢａｙｅｒ配列画像からＲＧＢ画像に変換され、メモリコントローラ１３０を経由してメモリ１３１へ書き込まれる。
【００２４】
また、距離計測部２ではＡＤＣ１０７ＲとＡＤＣ１０７Ｌの各画素の出力が距離判定部１０８に入力される。ここで各画素の左右複数画素を左右方向にシフトして１ノルム（差分絶対値和）を計算し、最小値を得た時のシフト量からその画素の属するレイヤの距離を算出する。距離画像作成部１０９ではそれを各画素毎に算出することで、図３に示すような距離画像の作成を行い、撮影画像と同様にメモリコントローラ１３０を経由してメモリ１３１に書き込む。
【００２５】
図３に示す距離画像において、近景は黒、中距離は灰色（黒と白の中間で表す）、遠景は白で表す。図１の左下に示すように近景被写体１０３は撮像デバイス１０６Ｌ、１０６Ｒで撮像される位置が外側にずれるが、殆ど平行光線となる実質無限遠の遠景被写体１０１は両撮像デバイスの同一位置に撮像される。このことは、特許文献３に詳しく記載されている。
【００２６】
撮影後にはメモリ１３１に書き込まれた撮影画像と距離画像に加えて撮影パラメータ（フォーカス、ズーム、絞りの情報等）がメモリコントローラ１３０を経由して読み出される。必要に応じて撮影画像はコーデック１４０を経由し、フラッシュメモリコントローラ１４１を経由してフラッシュメモリ１４２に書き込まれる。
【００２７】
３．撮影後の画像確認
撮影後、操作者が十字パッド９８を操作して指示することで、システムコントローラ１００によりフラッシュメモリ１４２から撮影済み画像がフラッシュメモリコントローラ１４１経由で読み出される。そして、メモリコントローラ１３０を経由してメモリ１３１へ書き込まれる。
【００２８】
読み出された数メガピクセルの画像は、まず、小型のＶＧＡ程度の表示部１４４に画像縮小部１３２で縮小して表示される。縮小度合いを下げながら被写体の画像を注意深く確認すると、ＡＦの位置が所望の被写体（近景被写体）１０３でなく、背景の中間距離被写体１０２に合焦していることがある。
【００２９】
特に、図１に示すような構図の場合、スポット測距方式だと、中心にフォーカスが合い、いわゆる中抜け後ピン現象が起こりやすい。しかし無限遠の遠景被写体１０１にピントが合っている大ボケ状態ではないので、撮影直後、小さなモニタ画面で簡単に見た程度では後ピン状態が確認できない場合が多い。
【００３０】
４．画像復元
図４は本実施形態の画像復元処理を示すフローチャートである。図５は距離情報により撮影画像を分離した部分画像の例を示す。本実施形態の画像復元時の動作を図１、図４、図５を用いて説明する。
【００３１】
４．１画像復元前処理
そこで画像復元処理を行う。その際、劣化画像を反復計算により画像復元処理を行う。まず、操作者が十字パッド９８を操作して何処の画像を復元したいかを指示することで、システムコントローラ１００は現在表示画像の復元処理を開始する。この例では近景の人物のどちらかを指示した場合を想定する。システムコントローラ１００は指示された画素の存在する距離画像から復元を行う領域を近景と判断し、収束判定には劣化画像ｇＮ（ｎ）の画素を用いることとする。
【００３２】
ｇＮ（ｎ）は劣化画像ｇ（ｎ）の中で図３に黒で示す距離画像で近景（Ｎｅａｒ）に相当する部分の画素の集合であり、図５に示すＮｅａｒの画像である。メモリ１３１にある撮像パラメータと劣化画像（ｇ（０）とする）をメモリコントローラ１３０を経由して劣化画像復元部１３４に送り、画像修復処理回数をカウントする繰り返し処理カウンタｎ＝０（初期化）とする。
【００３３】
また、劣化画像処理の初期画像ｆ（０）＝ｇ（０）とするため、ｇ（０）をメモリ内でコピーする。撮像パラメータとＰＳＦテーブル１３３から撮像時におけるｇＮ（ｎ）の点広がり関数ｈＮＰＳＦを得る（図４のＳ２０１）。
【００３４】
４．２画像復元繰り返し処理
次に、劣化画像復元部１３４は１ステップの画像復元処理を行い（Ｓ２０２）、再度メモリコントローラ１３０を経由してメモリ１３０の別領域に書き込み、これを新しい復元途中画像ｆ（ｎ＋１）とする。画像復元処理はイラニー・ペレッグ法を用いる場合を例とし、背景技術で説明した式（１）を使用する。
【００３５】
その場合の計算式を図４に示す。ｈＮＰＳＦは点広がり関数である。また、正規化定数ｃやｈＡＵＸは背景技術で説明した通りである。
【００３６】
４．３収束判定
次に、システムコントローラ１００は収束判定（終了判定）を行う（Ｓ２０３）。具体的には、‖ｇＮ（ｎ）−ｇＮ（０）‖を計算して保持する。ｇＮは図３の黒い部分の近景Ｎｅａｒと判断された領域における画素の、画像復元処理後の画像ｆＮ（ｎ）と点広がり関数ｈＮＰＳＦをコンボリューションして作った疑似ボケ画像ｇＮ（ｎ）と撮影時に得たボケ画像ｇＮ（０）とのノルムである。
【００３７】
ここで、‖ｇＮ（ｎ）−ｇＮ（０）‖と‖ｇＮ（ｎ＋１）−ｇＮ（０）‖を比較し、後に処理した値が前者より大きい場合には過剰処理として収束と判断（終了判定）し、最適復元処理画像ｆをこの時点のｆ（ｎ）とする。もし、まだならば、システムコントローラ１００はｆ（ｎ）＝ｆ（ｎ＋１）と代入し、Ｓ２０２（４．２の処理）に戻って画像修復処理を行い、Ｓ２０３にて終了判定を行う。
【００３８】
収束したと判定した場合には、システムコントローラ１００は最適復元画像ｆをメモリ１３１からメモリコントローラ１３０を経由して読み出し、フラッシュメモリコントローラ１４１を経由してフラッシュメモリ１４２へ書き込む（Ｓ２０４）。以上で画像復元処理を終了する。ここで、コーデック１４０で再度圧縮するか、以前のボケ画像を丸ごと重ね書きして消去するか、ボケ画像の近景（Ｎｅａｒ）部のみを最適復元画像ｆで置き換えるかは操作者が十字パッド９８で指示して決める等すれば良い。
【００３９】
本実施形態では、指定された距離レイヤの画素のみを超解像処理を行う際の収束判定関数に使用する。即ち、距離情報から距離レイヤを作成し、特定の距離レイヤのみ超解像処理の終了判定を行うため、収束評価の極小値の数は１つとなる。従って、判定結果を示す極小値が複数発生することがないため、誤判定をすることが全くなくなり、精度の良い画像復元処理を行うことが可能となる。
【００４０】
（第２の実施形態）
次に、本発明の第２の実施形態を図１、図３、図６を用いて説明する。図６は本実施形態の画像復元処理を示すフローチャートである。本実施形態は、すべての距離レイヤ、この場合には近景（Ｎ）、中間距離（Ｍ）、遠景（Ｆ）の３つの距離レイヤに属する被写体の解像度復元処理を行う例である。それぞれの距離レイヤにおける画像復元処理は基本的に第１の実施形態と同様である。また、本実施形態の構成は図１と同様である。なお、１．撮影準備時の動作、２．撮影時の動作、３．撮影後画像確認の動作は第１の実施形態と同様であるので説明は省略する。
【００４１】
４．画像復元
４．１画像復元前処理
操作者が十字パッド９８を操作してすべての距離の画像を復元したいと指示することでシステムコントローラ１００は現在表示画像の復元処理を開始する。システムコントローラ１００は距離画像から復元を行う領域が近景（Ｎ）、中間距離（Ｍ）、遠景（Ｆ）の３つのレイヤに分けられると判断し、収束判定には各劣化画像ｇＮ、ｇＭ、ｇＦの画素を用いることとする。
【００４２】
また、システムコントローラ１００は撮像時のパラメータと撮影画像に存在する距離情報から、想定される点広がり関数、本実施形態では、ｈＮＰＳＦ、ｈＭＰＳＦ、ｈＦＰＳＦをＰＳＦテーブル１３３から得る（Ｓ３０１）。
【００４３】
更に、復元途中画像の初期画像ｆＮ（０）＝ｆＭ（０）＝ｆＦ（０）＝ｇ（０）とするため、画像修復処理回数をカウントする繰り返し処理カウンタｎ＝０（初期化）とする（Ｓ３０１）。
【００４４】
４．２画像復元繰り返し処理
次にシステムコントローラ１００は、メモリ１３１にある復元途中画像（ｆＮ（ｎ）、ｆＭ（ｎ）、ｆＦ（ｎ））をメモリコントローラ１３０を経由して劣化画像復元部１３４に送り、１ステップの画像復元処理を行う。また、再度メモリコントローラ１３０を経由してメモリ１３１の別領域に書き込み、これを新しい復元途中画像（ｆＮ（ｎ＋１）、ｆＭ（ｎ＋１）、ｆＦ（ｎ＋１））とする。近景画像、中間距離画像、遠景画像の画像復元処理に上記式（１）を用いるのは第１の実施形態と同様である。
【００４５】
図６では近景画像に関しては近景画像修復処理をＳ３０２にて行い、中間距離画像に関しては中間画像修復処理をＳ３０５にて行い、遠景画像に関しては遠景画像修復処理をＳ３０８にて行う。Ｓ３０２の近景画像、Ｓ３０５の中間距離画像、Ｓ３０８の遠景画像の画像復元処理には上述のように式（１）を用いる。
【００４６】
図６にはそれぞれの画像復元処理の計算式を示すが、ｈＮＰＳＦ、ｈＭＰＳＦ、ｈＦＰＳＦは上述のように点広がり関数である。
【００４７】
４．３収束判定
図６では近景画像収束判定（終了判定）をＳ３０３にて行い、中間距離画像終了判定をＳ３０６にて行い、遠景画像終了判定をＳ３０９にて行う。Ｓ３０３、Ｓ３０６、Ｓ３０９における収束判定処理に関して詳しく説明する。システムコントローラ１００は、‖ｇＮ（ｎ＋１）−ｇＮ（０）‖、‖ｇＭ（ｎ＋１）−ｇＭ（０）‖、‖ｇＦ（ｎ＋１）−ｇＦ（０）‖を計算し、それぞれ保持する。
【００４８】
‖ｇＮ（ｎ＋１）−ｇＮ（０）‖に関して説明する。即ち図３の近景Ｎｅａｒと判断されたレイヤの画像復元処理後の画像と該当距離のボケ関数ｈＮＰＳＦをコンボリューションして作った疑似ボケ画像ｇＮ（ｎ＋１）と撮影時に得たボケ画像ｇ（０）の領域ｇＮ（０）とから計算されるノルムである。
【００４９】
‖ｇＭ（ｎ＋１）−ｇＭ（０）‖に関した説明する。即ち図３の中間距離Ｍｉｄｄｌｅと判断されたレイヤの画像復元処理後の画像と該当距離のボケ関数ｈＭＰＳＦをコンボリューションして作った疑似ボケ画像ｇＭ（ｎ＋１）と撮影時に得たボケ画像ｇ（０）の領域ｇＭ（０）とから計算されるノルムである。
【００５０】
‖ｇＦ（ｎ＋１）−ｇＦ（０）‖に関して説明する。図３の遠景Ｆａｒと判断されたレイヤの画像復元処理後の画像と該当距離のボケ関数ｈＦＰＳＦをコンボリューションして作った疑似ボケ画像ｇＦ（ｎ＋１）と撮影時に得たボケ画像ｇ（０）の領域ｇＦ（０）とから計算されるノルムである。
【００５１】
次に、近景画像に関して、‖ｇＮ（ｎ）−ｇ（０）‖と‖ｇＮ（ｎ＋１）−ｇ（０）‖を比較し、後に処理した結果が前者より大きい場合には過剰処理として収束と判断する（Ｓ３０３）。そして、最適復元処理画像をこの時点のｎを付したｆＮ（ｎ）として保持する（Ｓ３０４）。同様にして、他の中間距離画像や遠景画像の距離部分に関しても計算し、Ｓ３０６或いはＳ３０９にて過剰処理と判断した時点の、ｆＭ（ｎ）、ｆＦ（ｎ）を保持する（Ｓ３０７、Ｓ３１０）。
【００５２】
それぞれの距離部分において収束していないと判定した場合には、システムコントローラ１００は収束が完了していない距離、例えば、近景画像の場合には、ｆＮ（ｎ）＝ｆＮ（ｎ＋１）を代入し、Ｓ３０２（４．２の画像復元処理）に戻る。そして、同様に近景画像修復処理を行い、Ｓ３０３にて収束判定を行う。
【００５３】
また、中間距離画像の場合には、ｆＭ（ｎ）＝ｆＭ（ｎ＋１）を代入し、Ｓ３０５に戻って同様に中間距離画像修復処理を行い、Ｓ３０６にて収束判定を行う。更に、遠景画像の場合には、ｆＦ（ｎ）＝ｆＦ（ｎ＋１）を代入し、Ｓ３０８に戻って同様に遠景画像修復処理を行い、Ｓ３０９にて収束判定を行う。
【００５４】
図７は距離情報毎（Ｆａｒ、Ｍｉｄｄｌｅ、Ｎｅａｒ）の画像復元時のノルムを示す。いずれの場合も収束評価の極小値の数は１つであり、判定結果を示す極小値が複数発生することはない。
【００５５】
５．画像合成
次に、図３に示す距離画像の黒い近景部分はＳ３０４で保持したｆＮ（ｎ）を、中距離部分はＳ３０７で保持したｆＭ（ｎ）を、遠景部分はＳ３１０で保持したｆＦ（ｎ）（各ｎは異なる）を用いて合成する（Ｓ３１１）。そうすることで、全ての距離において劣化画像が復元された画像ｆを得ることが可能となる。
【００５６】
次に、システムコントローラ１００は、復元画像ｆをメモリ１３１からメモリコントローラ１３０を経由して読み出し、フラッシュメモリコントローラ１４１を経由してフラッシュメモリ１４２へ書き込む（Ｓ３１１）。以上で画像復元処理を終了する。コーデック１４０で再度圧縮するか、以前のボケ画像を重ね書きして消去するかは操作者が十字パッド９８で指示して決める等すれば良いのは第１の実施形態と同様である。
【００５７】
本実施形態では、距離情報から距離レイヤを作成し、距離レイヤ毎に超解像処理の収束判定を行うため、収束評価の極小値の数は１つとなり、判定結果を示す極小値が複数発生することがない。従って、誤判定をすることが全くなくなり、精度の良い画像復元処理を行うことが可能となる。
【００５８】
なお、本実施形態では、３つの距離レイヤに属する被写体の解像度復元処理を行う例を示したが、本発明はこれに限ることはなく、それ以下或いはそれ以上の距離レイヤ毎に処理を行っても良い。
【００５９】
（第３の実施形態）
次に、本発明の第３の実施形態を説明する。本実施形態はＰＣ側で劣化画像を復元する場合の例を示す。即ち、図１のカメラで撮影した画像をＰＣに送り、ＰＣ側で劣化画像を復元する例を示すものである。図８は本実施形態の処理を示すフローチャートである。なお、１．撮影準備時の動作、２．撮影時の動作、３．撮影後画像確認の動作はカメラ側の処理なので第１の実施形態と同様である。
【００６０】
図８において、ユーザはフラッシュメモリをＰＣに装着し、劣化画像復元処理アプリケーションをＰＣ上で起動する。すると、劣化画像復元処理アプリケーションは撮像した画像、距離画像、カメラパラメータをフラッシュメモリから読み出し、ＰＣの記録媒体に書き込み各画像を表示する（Ｓ４０１）。
【００６１】
ユーザは画面で画像を確認し、第１の実施形態の特定の領域の劣化画像復元処理か、第２の実施形態の全領域の劣化画像復元処理かの希望条件を入力し、画像を修復する方式の指定を行う（Ｓ４０２）。
【００６２】
劣化画像復元処理アプリケーションはその指定に応じて第１又は第２の実施形態で説明したアルゴリズムで処理を行う（Ｓ４０３）。その際、第２の実施形態では３つの距離レイヤに関して画像を復元しているが、これに限ることはない。
【００６３】
ＰＣはＳ４０４で画像修復が完了すると、処理完了後の復元画像をユーザに提示する。ユーザは復元画像がＯＫなら（Ｓ４０５）、その画像をＰＣの記録媒体に書き込む（Ｓ４０６）。例えば、全領域の劣化画像を復元したが、背景にはボケ味が欲しいからＮＧと判断すると、再度特定領域の劣化画像復元処理を指示し、修復条件を変更して劣化画像復元処理をする。処理終了後にその画像を確認の上、ＰＣの記録媒体に書き込む。
【００６４】
具体的には、Ｓ４０５でユーザがＮｏと判断すれば、Ｓ４０２に戻って上述のように希望条件で画像を修復する指定を行い、画像の修復条件を変更する。その際、例えば、背景にボケ味が欲しいのであれば、その背景部分は劣化画像のままとし、他の人物等の画像は画像復元処理を行うように条件を指定すれば良い。
【図面の簡単な説明】
【００６５】
【図１】本発明に係る画像処理装置の第１の実施形態を示すブロック図である。
【図２】本発明の第１の実施形態の撮影処理を説明するフローチャートである。
【図３】距離画像の一例を示す図である。
【図４】本発明の第１の実施形態の画像処理を説明するフローチャートである。
【図５】距離情報により撮影画像を分離した部分画像の一例を示す図である。
【図６】本発明の第２の実施形態の画像処理を説明するフローチャートである。
【図７】距離情報毎の画像復元時のノルムを示す図である。
【図８】本発明の第３の実施形態のＰＣでの処理を示すフローチャートである。
【図９】全画面のノルムを示す図である。
【符号の説明】
【００６６】
１ 撮影部
２ 距離計測部
９８ 十字パッド
９９ シャッター
１００ システムコントローラ
１０１ 遠景被写体（実際は矢印で示す遙か左に存在する）
１０２ 中間距離被写体
１０３ 近景被写体
１０４Ｒ、１０４Ｌ、１２０ 撮像レンズ
１０５Ｒ、１０５Ｌ、１２１ 絞り
１０６Ｒ、１０６Ｌ、１２２ 撮像デバイス
１０７Ｒ、１０７Ｌ、１２３ ＡＤＣ（＋ＡＧＣ）
１０８ 距離判定部
１０９ 距離画像作成部
１２３ ＳＤＲＡＭメモリインターフェース
１２４ カメラ画像処理部
１３１ メモリ
１３２ 画像縮小部
１３３ ＰＳＦテーブル
１３４ 劣化画像復元部
１３５ 画像処理効果判定部
１４０ コーデック
１４１ フラッシュメモリインターフェース
１４２ フラッシュメモリ
１４３ 表示インターフェース
１４４ 表示部
【特許請求の範囲】
【請求項１】
劣化画像を復元する画像処理装置であって、
被写体との距離を計測する計測手段と、
前記被写体の画像を反復計算によって復元する画像復元手段と、
前記画像復元処理の終了判定を行う終了判定手段とを具備し、
前記終了判定手段は、前記計測手段によって計測された距離情報に基づく特定の距離レイヤのみ又は前記距離情報に基づく距離レイヤ毎に前記終了判定を行うことを特徴とする画像処理装置。
【請求項２】
前記画像復元手段は、前記距離情報に基づく距離レイヤ毎に前記終了判定を行う場合には、前記距離レイヤ毎の復元画像を合成することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
更に、画像の修復条件を指定する手段と、復元された復元画像を提示する手段とを具備し、前記提示された復元画像を変更する場合には、再度、前記指定手段により前記画像の修復条件を指定して、劣化画像の修復を行うことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記指定手段により前記画像の修復条件を指定して、再度、劣化画像を復元する際に、前記復元画像のうち劣化画像のままとする画像がある場合には、当該画像は劣化画像のままとし、他の距離レイヤの画像を復元処理することを特徴とする請求項３に記載の画像処理装置。
【請求項１】
劣化画像を復元する画像処理装置であって、
被写体との距離を計測する計測手段と、
前記被写体の画像を反復計算によって復元する画像復元手段と、
前記画像復元処理の終了判定を行う終了判定手段とを具備し、
前記終了判定手段は、前記計測手段によって計測された距離情報に基づく特定の距離レイヤのみ又は前記距離情報に基づく距離レイヤ毎に前記終了判定を行うことを特徴とする画像処理装置。
【請求項２】
前記画像復元手段は、前記距離情報に基づく距離レイヤ毎に前記終了判定を行う場合には、前記距離レイヤ毎の復元画像を合成することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
更に、画像の修復条件を指定する手段と、復元された復元画像を提示する手段とを具備し、前記提示された復元画像を変更する場合には、再度、前記指定手段により前記画像の修復条件を指定して、劣化画像の修復を行うことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記指定手段により前記画像の修復条件を指定して、再度、劣化画像を復元する際に、前記復元画像のうち劣化画像のままとする画像がある場合には、当該画像は劣化画像のままとし、他の距離レイヤの画像を復元処理することを特徴とする請求項３に記載の画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１０−６１４４０（Ｐ２０１０−６１４４０Ａ）
【公開日】平成２２年３月１８日（２０１０．３．１８）
【国際特許分類】
【出願番号】特願２００８−２２６９７６（Ｐ２００８−２２６９７６）
【出願日】平成２０年９月４日（２００８．９．４）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２２年３月１８日（２０１０．３．１８）
【国際特許分類】
【出願日】平成２０年９月４日（２００８．９．４）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]