被写体分離装置、画像復元装置、被写体分離方法及び画像復元方法
【課題】画像内にボケ方が異なる複数の被写体が存在する場合であっても、比較的少ない計算量で、各被写体画像のボケを修復して鮮鋭な画像を得ることができる装置を提供すること。
【解決手段】小領域分割部１０１は、入力画像Ｓ１０を複数の小領域画像Ｓ１１に分割する。局所ＰＳＦ推定部１０４は、小領域毎にＰＳＦを推定する。ＰＳＦ形状識別部１０５は、推定された小領域毎のＰＳＦの形状を識別し、類似性の高いＰＳＦ形状の小領域が同一グループに属するように、局所推定ＰＳＦ Ｓ１２を分類する。小領域統合部１０６は、同一グループに分類された隣接小領域を統合する。これにより、似通ったボケ方をしている被写体画像を、的確に分離することができる。この結果、複数のカメラや付加的な装置（距離センサ等）を用いることなしに、入力画像１枚のみから、被写体の遠近分離や、動いている被写体の分離が可能となる。
【解決手段】小領域分割部１０１は、入力画像Ｓ１０を複数の小領域画像Ｓ１１に分割する。局所ＰＳＦ推定部１０４は、小領域毎にＰＳＦを推定する。ＰＳＦ形状識別部１０５は、推定された小領域毎のＰＳＦの形状を識別し、類似性の高いＰＳＦ形状の小領域が同一グループに属するように、局所推定ＰＳＦ Ｓ１２を分類する。小領域統合部１０６は、同一グループに分類された隣接小領域を統合する。これにより、似通ったボケ方をしている被写体画像を、的確に分離することができる。この結果、複数のカメラや付加的な装置（距離センサ等）を用いることなしに、入力画像１枚のみから、被写体の遠近分離や、動いている被写体の分離が可能となる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば撮像過程で生じた画像のボケ（焦点ボケやカメラブレにより生じたボケ）等の画像劣化を補正して鮮鋭な画像を復元する画像復元装置、及び、その画像復元装置に用いて好適な被写体分離装置に関する。
【背景技術】
【０００２】
従来、画像劣化を修復（補正）する技術として、ＰＳＦ（Point Spread Function；点拡がり関数）を用いた技術が知られている。この技術は、劣化画像が元の鮮鋭な画像にＰＳＦを畳み込むことで表すことができることを利用し、劣化画像に対してＰＳＦの逆畳み込み演算を施すことで元の鮮鋭な画像を復元する技術である。
【０００３】
ＰＳＦを用いた画像復元技術は、大きく、Ｎｏｎ−ｂｌｉｎｄ法と、Ｂｌｉｎｄ法に分類される。
【０００４】
Ｎｏｎ−ｂｌｉｎｄ法は、ＰＳＦが既知であるとして、劣化画像から元の画像を復元するものである。この方法では、例えばinverse FilterやWiener Filterが用いられる。
【０００５】
Ｂｌｉｎｄ法は、未知のＰＳＦを劣化画像から推定した後に、Ｎｏｎ−ｂｌｉｎｄ法で復元するものである。Ｂｌｉｎｄ法については、例えば非特許文献１−４に記載されている。
【０００６】
ところで、従来のＰＳＦを用いた画像復元技術では、一般に、画像内で同一のボケが生じているということを前提としているので、画像内にボケ方が異なる複数の被写体が存在する場合には、画像復元の精度が低下する欠点がある。
【０００７】
このようなことを考慮して、ボケ補正を行う画像補正装置が、特許文献１に記載されている。特許文献１に開示されている技術について簡単に説明する。特許文献１の画像補正装置は、以下の手順で画像のボケを修復するようになっている。
【０００８】
１．入力画像の小領域を１つ基準にとり、これを基準領域とする。
２．基準領域でＰＳＦ推定を行う。
３．基準領域を拡大した領域でＰＳＦ推定を行う。
４．上記３．の拡大前後の各推定ＰＳＦが類似しているかを判定する。類似している場合には、上記３の拡大領域を基準領域として、上記３に戻る。類似していない場合には、拡大前の基準領域を１つの適応的領域として決定し、上記１に戻る。
５．上記１−４の処理により適応的領域毎に推定した、ＰＳＦを補間する。各適応的領域のＰＳＦ間で類似しているものがあれば、それらのＰＳＦを用いて補間処理を行うことで、適応的領域の中心外部にある画素のＰＳＦを求める。
６．算出したＰＳＦを基に、Ｎｏｎ−ｂｌｉｎｄ法で画像のボケを修復する。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】国際公開第２０１０／０９８０５４号
【非特許文献】
【００１０】
【非特許文献１】Fergus, et al., "Removing camera shake from a single photograph", SIGGRAPH 2006 Papers, ACM, 2006, pp.787-794.
【非特許文献２】Shan, et al., "High-quality motion deblurringfrom a single image", SIGGRAPH 2008 Papers, ACM, 2008, Article No.73.
【非特許文献３】Cho, et al., "Fast motion deblurring", SIGGRAPH Asia 2009 Papers, ACM, 2009, Article No.145.
【非特許文献４】Cai, et al.,"Blind motion deblurringfrom a single image using sparse approximation", 2009 IEEE Conference on Computer Vision and Pattern Recognition, CVPR, 2009, pp.104-111.
【発明の概要】
【発明が解決しようとする課題】
【００１１】
ところで、特許文献１で開示されている技術においては、基準領域を徐々に拡げていくことでＰＳＦを推定しているので、画像全体を俯瞰したＰＳＦ推定を行う点で不十分であると考えられる。また、基準領域の設定の仕方に応じて、ＰＳＦ推定のための計算量が不要に増加したり、計算量を抑えるとＰＳＦの推定精度が低下すると考えられる。
【００１２】
つまり、限られたハードウェア資源で、かつ、高速に画像復元を行おうとすると、画像復元の精度が低下するおそれがある。
【００１３】
本発明は、以上の点を考慮してなされたものであり、画像内にボケ方が異なる複数の被写体が存在する場合であっても、比較的少ない計算量で、各被写体画像のボケを修復して鮮鋭な画像を得ることができる画像復元装置、画像復元方法、及び、それに用いて好適な被写体分離装置、被写体分離方法を提供することを目的とする。
【課題を解決するための手段】
【００１４】
本発明の被写体分離装置の一つの態様は、入力画像を複数の小領域画像に分割する小領域分割部と、前記小領域画像のＰＳＦを推定する局所ＰＳＦ推定部と、推定された前記ＰＳＦの形状を識別し、類似性の高いＰＳＦ形状の小領域画像が同一グループに属するように、前記小領域画像を分類するＰＳＦ形状識別部と、同一グループに分類され、かつ隣接する前記小領域画像をグループ毎に統合することで、各グループに分離された被写体画像を得る小領域統合部と、を具備する。
【００１５】
本発明の画像復元装置の一つの態様は、前記被写体分離装置と、前記被写体分離装置によって分離された各被写体画像を用いて、各被写体画像のＰＳＦを推定する被写体ＰＳＦ推定部と、前記被写体ＰＳＦ推定部によって推定されたＰＳＦと、前記被写体画像と、を用いて、前記被写体画像の劣化を補正した復元画像を得る画像復元部と、を具備する。
【発明の効果】
【００１６】
本発明によれば、画像内にボケ方が異なる複数の被写体が存在する場合であっても、比較的少ない計算量で、各被写体画像のボケを修復して鮮鋭な画像を得ることができる画像復元装置、画像復元方法、及び、それに用いて好適な被写体分離装置、被写体分離方法を実現できる。また、本発明の被写体分離装置及び方法によれば、複数のカメラや付加的な装置（距離センサ等）を用いることなく、入力画像１枚のみから、被写体の遠近分離や動いている被写体の分離が可能となる。
【図面の簡単な説明】
【００１７】
【図１】実施の形態の被写体分離装置の構成を示すブロック図
【図２】画像分割の様子を示す図
【図３】局所ＰＳＦ推定部によって行われる局所ＰＳＦ推定の説明に供する図であり、図３Ａは局所ＰＳＦ推定の処理手順を示すフローチャート、図３ＢはＰＳＦ推定結果（推定されたＰＳＦの形状）の例を示す図
【図４】ＰＳＦの説明に供する図であり、図４Ａは理想的な点光源像をＰＳＦに入力して得られる出力像を示す図、図４Ｂは実際の画像をＰＳＦに入力して得られる出力画像を示す図
【図５】ＰＳＦ形状の説明に供する図であり、図５Ａはボケている画像のＰＳＦ形状の例を示す図、図５Ｂは水平方向に動いている被写体像のＰＳＦ形状の例を示す図
【図６】実施の形態の被写体分離装置によって分離された、被写体画像の例を示す図
【図７】実施の形態の被写体分離装置の構成を示すブロック図
【図８】互いにオーバーラップした小領域を示す図
【図９】実施の形態の被写体分離装置の構成を示すブロック図
【図１０】補間処理のイメージを示す図
【図１１】実施の形態の被写体分離装置の構成を示すブロック図
【図１２】実施の形態の画像復元装置の構成を示すブロック図
【図１３】実施の形態の画像復元装置の構成を示すブロック図
【図１４】実施の形態の画像復元装置の構成を示すブロック図
【発明を実施するための形態】
【００１８】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
【００１９】
［１］被写体分離装置の構成Ｉ
図１に、本実施の形態の被写体分離装置の構成を示す。
被写体分離装置１００は、小領域分割部１０１に入力画像Ｓ１０を入力する。小領域分割部１０１は、小領域アドレス生成部１０２及び小領域画像データ読出部１０３を有する。小領域アドレス生成部１０２は、各小領域のアドレスを生成し、順次出力する。小領域画像データ読出部１０３は、入力画像Ｓ１０を格納するメモリを有しており、小領域アドレス生成部１０２で生成されたアドレスに基づく画像を読み出すことにより、１枚の入力画像Ｓ１０を複数の小領域画像Ｓ１１に分割して出力する。図２に、小領域分割部１０１による画像分割の様子を示す。図中の点線で区切られた各領域が分割された小領域である。
【００２０】
小領域分割部１０１により得られた小領域画像Ｓ１１は、局所ＰＳＦ（Point Spread Function；点拡がり関数）推定部１０４に入力される。局所ＰＳＦ推定部１０４は、小領域画像毎にＰＳＦを推定する。
【００２１】
図３は、局所ＰＳＦ推定部１０４によって行われる局所ＰＳＦ推定の説明に供する図である。図３Ａは局所ＰＳＦ推定の処理手順を示す。図３Ａに示すように、局所ＰＳＦ推定部１０４は、小領域画像Ｓ１１が入力されるとステップＳＴ１０で処理を開始し、ステップＳＴ１１で、推定するＰＳＦと復元画像とを初期化する。ステップＳＴ１２ではＰＳＦの最適解を探索し、ステップＳＴ１３では復元画像の最適解を探索する。続く、ステップＳＴ１４では最適解が収束したか否か判断し、収束した場合には（ステップＳＴ１４；ＹＥＳ）、ステップＳＴ１５で局所ＰＳＦ推定処理を終了する。最適解が収束しない場合には（ステップＳＴ１４；ＮＯ）、ステップＳＴ１２に戻って、最適解が収束するまで、ステップＳＴ１２−ＳＴ１３−ＳＴ１４の処理を繰り返す。局所ＰＳＦ推定部１０４は、図３Ａの処理を各小領域画像に対して行う。
【００２２】
図３ＢはＰＳＦ推定結果（推定されたＰＳＦの形状）の一例を示す。図中の円は、大きいほどボケが大きい領域であることを示す。線状の棒は、移動を示す。具体的には、横棒は、その領域の被写体が水平移動したことを示し、縦棒は、垂直移動したことを示す。
【００２３】
ここで、ＰＳＦ、及びＰＳＦ形状について、簡単に説明しておく。
【００２４】
先ず、図４を用いて、ＰＳＦについて説明する。図４Ａは、理想的な点光源像（点像）をＰＳＦ（関数ｆ）に入力して得られる出力像を示す。関数ｆを規定するＰＳＦとして、出力像が用いられる。図４Ｂは、実際の画像をＰＳＦ（関数ｆ）に入力して得られる出力画像を示す。関数ｆのＰＳＦの画像信号と入力画像信号とを畳み込み演算することで、関数ｆを通してボケる出力画像を生成できる。
【００２５】
次に、図５を用いて、ＰＳＦ形状について説明する。ＰＳＦの形状とは、ＰＳＦ画像内の個々の信号について信号レベルが一定以上の画素のみを抽出した際に、当該画素群が画像平面上に形成する図形である。図５Ａは、ボケている画像のＰＳＦ形状の例を示し、図５Ｂは、水平方向に動いている被写体像のＰＳＦ形状の例を示す。
【００２６】
図１に戻って、被写体分離装置１００の構成の説明を続ける。ＰＳＦ形状識別部１０５は、推定された小領域毎のＰＳＦの形状を識別し、類似性の高いＰＳＦ形状の小領域が同一グループに属するように、小領域を分類する。ＰＳＦ形状識別部１０５は、分類結果に基づいて、各小領域の情報に分類符号を紐付けして小領域分類符号Ｓ１３として出力する。
【００２７】
小領域統合部１０６は、同一グループに分類された隣接小領域を統合する。そして、小領域統合部１０６は、同一グループに分類され統合した小領域は同一の被写体画像であると判断し、統合された被写体領域アドレスＳ１４を出力する。つまり、小領域統合部１０６は、同一の被写体であると判断した領域のアドレスを同一被写体のアドレスであることが分かる形で、被写体領域アドレスＳ１４として出力する。
【００２８】
被写体選択部１０７は、復元処理（補正処理と言ってもよい）の対象となる被写体を選択し、その被写体を形成する領域のアドレスを、注目被写体領域アドレスＳ１５として出力する。なお、選択される被写体は、例えばユーザによって指定された被写体である。また、選択される被写体は、所定の順番で順次選択されたものであってもよい。
【００２９】
被写体領域画像データ読出部１０８は、入力画像Ｓ１０を格納するメモリを有しており、注目被写体領域アドレスに基づく画像を読み出すことにより、被写体画像Ｓ１６を出力する。
【００３０】
図６に、被写体分離装置１００によって分離された、被写体画像の例を示す。近景Ｎの小領域同士のＰＳＦ形状は似通っており、遠景Ｆの小領域同士のＰＳＦ形状は似通っており、動き部ｍの小領域同士のＰＳＦ形状は似通っている。一方、近景Ｎと、遠景Ｆと、動き部ｍとの間では、ＰＳＦ形状は大きく異なる。その結果、ＰＳＦ形状識別部１０５及び小領域統合部１０６によって、図中の点線を境界にグループ分けする分類が行われ、同一グループ内の小領域は統合される。これにより、ボケ方の違いを基に被写体を的確に分離できる。
【００３１】
このように、本実施の形態の被写体分離装置１００によれば、入力画像Ｓ１０を複数の小領域画像Ｓ１１に分割する小領域分割部１０１と、小領域毎にＰＳＦを推定する局所ＰＳＦ推定部１０４と、推定された小領域毎の局所推定ＰＳＦ Ｓ１２の形状を識別し、類似性の高いＰＳＦ形状の小領域が同一グループに属するように、局所推定ＰＳＦ Ｓ１２を分類するＰＳＦ形状識別部１０５と、同一グループに分類された隣接小領域を統合する小領域統合部１０６と、を有することにより、似通ったボケ方をしている被写体画像を、的確に分離することができる。この結果、複数のカメラや付加的な装置（距離センサ等）を用いることなしに、入力画像１枚のみから、被写体の遠近分離や、動いている被写体の分離が可能となる。また、被写体分離装置１００は、その分離を比較的少ない演算量で行うことができる。
【００３２】
［２］被写体分離装置の構成II
図１との対応部分に同一符号を付して示す図７に、被写体分離装置の別の構成例を示す。図７の被写体分離装置２００は、図１の被写体分離装置１００と比較して、小領域分割部２０１の構成が異なる。
【００３３】
被写体分離装置２００の小領域分割部２０１は、小領域アドレス拡幅部２０２を有する。小領域アドレス拡幅部２０２は、小領域アドレス生成部１０２からのアドレスを用いて、小領域を拡幅するためのアドレスを生成する。具体的には、図８に示すように、互いにオーバーラップした小領域を形成する。このようにすることで、単純な格子分割よりも小領域内のサンプル数が増えるので、局所ＰＳＦ推定部１０４における局所ＰＳＦ推定の性能が向上する。この結果、最終的な被写体の分離も、より的確に行うことができるようになる。
【００３４】
［３］被写体分離装置の構成III
図１との対応部分に同一符号を付して示す図９に、被写体分離装置の別の構成例を示す。被写体分離装置３００は、ＰＳＦ推定の信頼性が低そうな小領域のＰＳＦは、隣接小領域で推定したＰＳＦを位置合わせし補間することで、求めるようになっている。
【００３５】
ＰＳＦ推定可否判定部３０１は、各小領域画像Ｓ１１がＰＳＦ推定の信頼性が低くなりそうな小領域であるか否か判定する。ＰＳＦ推定可否判定部３０１は、ＰＳＦの信頼性の指標として、（ｉ）飽和画素の数、又は、（ｉｉ）輝度勾配、等に基づいてＰＳＦ推定の可否を判定する。具体的には、ＰＳＦ推定可否判定部３０１は、飽和画素の数が閾値以上である場合や、輝度勾配がほぼゼロの場合には、その小領域は平坦で特徴がない（ＰＳＦ推定の信頼性は低い）と判定し、その小領域を用いて推定したＰＳＦ推定は使わないと判定する。
【００３６】
隣接ＰＳＦ取得部３０２は、各小領域について、隣接する小領域の局所推定ＰＳＦＳ１２を取得する。ＰＳＦ位置合わせ部３０３は、隣接する小領域の局所推定ＰＳＦＳ１２の重心位置を合わせる。ＰＳＦ補間部３０４は、位置合わせされたＰＳＦを用いて、例えばそれらの平均を求めることにより、補間対象である小領域のＰＳＦを求める。
【００３７】
図１０に、隣接ＰＳＦ取得部３０２、ＰＳＦ位置合わせ部３０３及びＰＳＦ補間部３０４による処理のイメージを示す。図中の実線の小領域が補間対象の小領域である。図中の矢印で示すように、補間対象の小領域に隣接する小領域のＰＳＦが取得され、位置合わせされる。そして、位置合わせされたＰＳＦを用いて補間対象の小領域のＰＳＦが求められる。
【００３８】
局所ＰＳＦ選択部３０５は、ＰＳＦ推定可否判定部３０１によってＰＳＦ推定を行うと判定された小領域（つまり平坦でない小領域）については、局所ＰＳＦ推定部１０４で推定されたＰＳＦをそのまま出力する。これに対して、局所ＰＳＦ選択部３０５は、ＰＳＦ推定可否判定部３０１によってＰＳＦ推定を行わないと判定された小領域（つまり平坦な小領域）については、局所ＰＳＦ推定部１０４で推定されたＰＳＦに代えて、ＰＳＦ補間部３０４で求められたＰＳＦを出力する。
【００３９】
このように、被写体分離装置３００は、小領域画像のＰＳＦを、自身の小領域画像を用いて求めるか、あるいは、周辺の小領域画像で求められたＰＳＦを用いて求めるかを、小領域画像の平坦度に基づいて選択する。これにより、小領域を統合して抽出する被写体領域に、欠損が発生するのを防止できる。
【００４０】
［４］被写体分離装置の構成IV
図１及び図９との対応部分に同一符号を付して示す図１１に、被写体分離装置の別の構成例を示す。被写体分離装置４００は、ＰＳＦ推定の信頼性が低そうな小領域については、隣接小領域の分類結果を基に当該小領域の分類を決定するようになっている。
【００４１】
隣接分類符号取得部４０１は、各小領域について、隣接する小領域の分類符号を取得する。分類符号補間部４０２は、隣接する小領域の分類符号を用いて、補間対象である小領域の分類符号を求める。どのように補間するかについては、例えば隣接する小領域の分類符号の中で最も多い分類符号を補間分類符号として選択すればよい。
【００４２】
分類符号選択部４０３は、ＰＳＦ推定可否判定部３０１によってＰＳＦ推定を行うと判定された小領域（つまりＰＳＦの信頼性が高い小領域）については、ＰＳＦ形状識別部１０５で得られた分類符号をそのまま出力する。これに対して、分類符号選択部４０３は、ＰＳＦ推定可否判定部３０１によってＰＳＦ推定を行わないと判定された小領域（つまりＰＳＦの信頼性が低い小領域）については、ＰＳＦ形状識別部１０５で得られた分類符号に代えて、分類符号補間部４０２で求められた分類符号を出力する。
【００４３】
このように、被写体分離装置４００は、小領域の分類を、自身の小領域画像のＰＳＦ推定結果を用いて行うか、あるいは、周辺の小領域の分類結果を用いて行うかを、小領域画像のＰＳＦの信頼性に基づいて選択する。これにより、被写体分離装置３００と同様に、小領域を統合して抽出する被写体領域に、欠損が発生するのを防止できる。
【００４４】
［５］画像復元装置の構成I
図１２に、画像復元装置の構成を示す。画像復元装置５００は、被写体分離装置１００（図１）と、被写体ＰＳＦ推定部５１０と、劣化画像復元部５２０と、を有する。なお、被写体分離装置１００（図１）に代えて、被写体分離装置２００（図７）、３００（図９）又は４００（図１１）を用いてもよい。
【００４５】
上述したように、被写体分離装置１００、２００、３００、４００は、同程度のボケを有する小領域を集めて（統合して）構成した被写体画像Ｓ１６を出力する。よって、被写体ＰＳＦ推定部５１０には、被写体分離装置１００から、同程度のボケを有する小領域が集まって構成された被写体画像Ｓ１６が入力される。
【００４６】
被写体ＰＳＦ推定部５１０は、ＰＳＦ推定アルゴリズムを用いて、被写体のＰＳＦを求める。このＰＳＦ推定アルゴリズムは、既知のものを用いればよい。ここでは、その概要を簡単に説明する。
【００４７】
ＰＳＦ推定アルゴリズムは、自然画像（ボケのないもの）とＰＳＦとについて一般的に成り立つ統計的性質を用いて、ボケのある入力画像（観測データ）を生成し得る元画像（未知数）・ＰＳＦ（未知数）の組み合わせの中で、最も尤もらしい両者をそれぞれ推定画像・推定ＰＳＦとする。
【００４８】
先ず、鮮鋭な画像（Ｌとする）について仮定を置くと共に、ＰＳＦ（Ｋとする）について仮定を置く。ここで鮮鋭な画像については、事前分布ｐ（Ｌ）として表現され、「Ｌの輝度勾配分布がガウシアン（またはこれに類するもの）に従う」と仮定されることが多い。また、ＰＳＦについては、事前分布ｐ（Ｋ）として表現され、「Ｋの要素が非負でありスパースな分布となる」と仮定されることが多い。
【００４９】
被写体ＰＳＦ推定部５１０は、このような仮定の下、以下の手順で処理を行う。
【００５０】
ステップ１； ＬとＫの初期値を設定する。
Ｌの初期値として入力画像（Ｂとする）を、Ｋの初期値としてデルタカーネル（中心のみ１、それ以外は０の値をとるＰＳＦ）又は単純形状（水平又は垂直線分）のＰＳＦを、それぞれ設定することが多い。
【００５１】
ステップ２； Ｌを定数、Ｋを未知数として、方程式「Ｂ＝Ｌ×Ｋ＋Ｎ」をＭＡＰ(Maximum A Posteriori)法によりＫについて解く。
事後分布ｐ（Ｌ，Ｋ｜Ｂ）を最大化するＬ，Ｋを、ｐ（Ｌ），ｐ（Ｋ），ｐ（Ｂ｜Ｌ，Ｋ）を用いて確率統計的に求める。
【００５２】
ステップ３； 導出したＫを定数、Ｌを未知数として、上記方程式を同様にＬについて解く。
【００５３】
ステップ４； 導出したＫ，Ｌがそれぞれ収束するまで、上記ステップ（２〜３）を繰り返す。収束したＫが推定ＰＳＦである。
【００５４】
被写体ＰＳＦ推定部５１０において、ＰＳＦ・復元画像初期化部５１１は、ステップ１を行うことで、被写体推定ＰＳＦと被写体推定復元画像とを得る。ＰＳＦ最適解導出部５１２は、ステップ２を行う。また、復元画像最適解導出部５１３は、ステップ３を行う。推定結果収束判定部５１４は、ステップ４を行う。このようにして、推定結果収束判定部５１４から、推定された被写体ＰＳＦ Ｓ２０が出力される。
【００５５】
劣化画像復元部５２０は、被写体ＰＳＦ Ｓ２０と被写体画像Ｓ１６とを用いて、復元画像Ｓ２１を得る。具体的には、復元画像復元部５２０は、劣化した被写体画像Ｓ１６に対して被写体ＰＳＦ Ｓ２０の逆畳み込み演算を施すことで、鮮鋭な画像である復元画像Ｓ２１を得る。
【００５６】
このように、画像復元装置５００は、被写体分離装置１００（図１）、２００（図７）、３００（図９）又は４００（図１１）を有し、この被写体分離装置１００、２００、３００又は４００によって、似通ったボケ方をしている小領域を的確に集めて形成された被写体画像Ｓ１６を基に、被写体ＰＳＦ Ｓ２０を求め復元画像Ｓ２１を得る。これにより、画像内にボケ方が異なる複数の被写体が存在する場合であっても、各被写体のボケを修復して鮮鋭な画像を得ることができる。
【００５７】
［６］画像復元装置の構成II
図１２との対応部分に同一符号を付して示す図１３に、画像復元装置の別の構成例を示す。画像復元装置６００は、被写体ＰＳＦ推定部５１０で用いるＰＳＦの初期値として、既に被写体分離装置１００（又は２００、３００、４００）で求めているＰＳＦを流用するようになっている。これにより、被写体ＰＳＦ推定部５１０での処理の高速化及び収束の安定化を図ることができる。
【００５８】
画像復元装置６００において、被写体領域内局所ＰＳＦ取得部６０１は、既に局所ＰＳＦ推定部１０４で求められている局所推定ＰＳＦ Ｓ１２のうち、注目被写体領域に相当するＰＳＦを集める（取得する）。ＰＳＦ位置合わせ部６０２は、集めた各ＰＳＦの重心の位置を合わせる。ＰＳＦフィルタ部６０３は、例えば平均化フィルタであり、注目被写体についての代表ＰＳＦ（被写体局所代表ＰＳＦ）Ｓ３０を得る。
【００５９】
この代表ＰＳＦ Ｓ３０は、被写体ＰＳＦ推定部５１０のＰＳＦ・復元画像初期化部５１１に入力される。ＰＳＦ・復元画像初期化部５１１は、入力された代表ＰＳＦ Ｓ３０をＰＳＦの初期値として設定する。
【００６０】
このようにすることで、上述したように、デルタカーネル又は単純形状のＰＳＦを初期値として設定する場合と比較して、収束までの演算量（繰り返し回数）が少なくなることが期待され、かつ、収束の安定化が期待される。
【００６１】
［７］画像復元装置の構成III
図１３との対応部分に同一符号を付して示す図１４に、画像復元装置の別の構成例を示す。画像復元装置７００は、図１３の画像復元装置６００と比較して、被写体ＰＳＦ推定部５１０が省略され、劣化画像復元部５２０において、ＰＳＦフィルタ部６０３から出力される被写体局所代表ＰＳＦ Ｓ３０を用いて画像復元処理を行うようになっている。
【００６２】
これにより、画像復元装置７００においては、画像復元装置６００と比較して、ＭＡＰ法によるＰＳＦ推定を行わないので、画像復元に用いられるＰＳＦの精度は低下するが、ＭＡＰ法を行う回路（被写体ＰＳＦ推定部５１０）が不要なので、構成を簡単化できる。
【００６３】
［８］実施の形態の効果
以上説明したように、本実施の形態の被写体分離装置１００、２００、３００、４００によれば、似通ったボケ方をしている被写体画像Ｓ１６を、的確に分離することができる。この結果、複数のカメラや付加的な装置（距離センサ等）を用いることなしに、入力画像１枚のみから、被写体の遠近分離や、動いている被写体の分離が可能となる。また、被写体分離装置１００、２００、３００、４００は、その分離を比較的少ない演算量で行うことができる。
【００６４】
また、本実施の形態の画像復元装置５００、６００、７００は、被写体分離装置１００、２００、３００又は４００を有し、似通ったボケ方をしている小領域を的確に集めて形成された被写体画像Ｓ１６を基に、被写体ＰＳＦ Ｓ２０を求め復元画像Ｓ２１を得るので、画像内にボケ方が異なる複数の被写体が存在する場合であっても、各被写体のボケを修復して鮮鋭な画像を得ることができる。
【００６５】
なお、上述の実施の形態の被写体分離装置１００、２００、３００、４００、及び、画像復元装置５００、６００、７００は、メモリ・ＣＰＵを含むパソコン等のコンピュータによって構成することができる。そして、上記装置を構成する各構成要素の機能は、メモリ上に記憶されたコンピュータプログラムをＣＰＵが読み出して実行処理することで実現できる。
【産業上の利用可能性】
【００６６】
本発明は、例えば被写体間で異なるボケが生じている画像を補正する場合に適用して好適である。
【符号の説明】
【００６７】
１００、２００、３００、４００ 被写体分離装置
１０１ 小領域分割部
１０２ 小領域アドレス生成部
１０３ 小領域画像データ読出部
１０４ 局所ＰＳＦ推定部
１０５ ＰＳＦ形状識別部
１０６ 小領域統合部
１０７ 被写体選択部
１０８ 被写体領域画像データ読出部
２０２ 小領域アドレス拡幅部
３０１ ＰＳＦ推定可否判定部
３０２ 隣接ＰＳＦ取得部
３０３ ＰＳＦ位置合わせ部
３０４ ＰＳＦ補間部
３０５ 局所ＰＳＦ選択部
４０１ 隣接分類符号取得部
４０２ 分類符号補間部
４０３ 分類符号選択部
５００、６００、７００ 画像復元装置
５１０ 被写体ＰＳＦ推定部
５１１ ＰＳＦ・復元画像初期化部
５１２ ＰＳＦ最適解導出部
５１３ 復元画像最適解導出部
５１４ 推定結果収束判定部
５２０ 劣化画像復元部
６０１ 被写体領域内局所ＰＳＦ取得部
６０２ ＰＳＦ位置合わせ部
６０３ ＰＳＦフィルタ部
【技術分野】
【０００１】
本発明は、例えば撮像過程で生じた画像のボケ（焦点ボケやカメラブレにより生じたボケ）等の画像劣化を補正して鮮鋭な画像を復元する画像復元装置、及び、その画像復元装置に用いて好適な被写体分離装置に関する。
【背景技術】
【０００２】
従来、画像劣化を修復（補正）する技術として、ＰＳＦ（Point Spread Function；点拡がり関数）を用いた技術が知られている。この技術は、劣化画像が元の鮮鋭な画像にＰＳＦを畳み込むことで表すことができることを利用し、劣化画像に対してＰＳＦの逆畳み込み演算を施すことで元の鮮鋭な画像を復元する技術である。
【０００３】
ＰＳＦを用いた画像復元技術は、大きく、Ｎｏｎ−ｂｌｉｎｄ法と、Ｂｌｉｎｄ法に分類される。
【０００４】
Ｎｏｎ−ｂｌｉｎｄ法は、ＰＳＦが既知であるとして、劣化画像から元の画像を復元するものである。この方法では、例えばinverse FilterやWiener Filterが用いられる。
【０００５】
Ｂｌｉｎｄ法は、未知のＰＳＦを劣化画像から推定した後に、Ｎｏｎ−ｂｌｉｎｄ法で復元するものである。Ｂｌｉｎｄ法については、例えば非特許文献１−４に記載されている。
【０００６】
ところで、従来のＰＳＦを用いた画像復元技術では、一般に、画像内で同一のボケが生じているということを前提としているので、画像内にボケ方が異なる複数の被写体が存在する場合には、画像復元の精度が低下する欠点がある。
【０００７】
このようなことを考慮して、ボケ補正を行う画像補正装置が、特許文献１に記載されている。特許文献１に開示されている技術について簡単に説明する。特許文献１の画像補正装置は、以下の手順で画像のボケを修復するようになっている。
【０００８】
１．入力画像の小領域を１つ基準にとり、これを基準領域とする。
２．基準領域でＰＳＦ推定を行う。
３．基準領域を拡大した領域でＰＳＦ推定を行う。
４．上記３．の拡大前後の各推定ＰＳＦが類似しているかを判定する。類似している場合には、上記３の拡大領域を基準領域として、上記３に戻る。類似していない場合には、拡大前の基準領域を１つの適応的領域として決定し、上記１に戻る。
５．上記１−４の処理により適応的領域毎に推定した、ＰＳＦを補間する。各適応的領域のＰＳＦ間で類似しているものがあれば、それらのＰＳＦを用いて補間処理を行うことで、適応的領域の中心外部にある画素のＰＳＦを求める。
６．算出したＰＳＦを基に、Ｎｏｎ−ｂｌｉｎｄ法で画像のボケを修復する。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】国際公開第２０１０／０９８０５４号
【非特許文献】
【００１０】
【非特許文献１】Fergus, et al., "Removing camera shake from a single photograph", SIGGRAPH 2006 Papers, ACM, 2006, pp.787-794.
【非特許文献２】Shan, et al., "High-quality motion deblurringfrom a single image", SIGGRAPH 2008 Papers, ACM, 2008, Article No.73.
【非特許文献３】Cho, et al., "Fast motion deblurring", SIGGRAPH Asia 2009 Papers, ACM, 2009, Article No.145.
【非特許文献４】Cai, et al.,"Blind motion deblurringfrom a single image using sparse approximation", 2009 IEEE Conference on Computer Vision and Pattern Recognition, CVPR, 2009, pp.104-111.
【発明の概要】
【発明が解決しようとする課題】
【００１１】
ところで、特許文献１で開示されている技術においては、基準領域を徐々に拡げていくことでＰＳＦを推定しているので、画像全体を俯瞰したＰＳＦ推定を行う点で不十分であると考えられる。また、基準領域の設定の仕方に応じて、ＰＳＦ推定のための計算量が不要に増加したり、計算量を抑えるとＰＳＦの推定精度が低下すると考えられる。
【００１２】
つまり、限られたハードウェア資源で、かつ、高速に画像復元を行おうとすると、画像復元の精度が低下するおそれがある。
【００１３】
本発明は、以上の点を考慮してなされたものであり、画像内にボケ方が異なる複数の被写体が存在する場合であっても、比較的少ない計算量で、各被写体画像のボケを修復して鮮鋭な画像を得ることができる画像復元装置、画像復元方法、及び、それに用いて好適な被写体分離装置、被写体分離方法を提供することを目的とする。
【課題を解決するための手段】
【００１４】
本発明の被写体分離装置の一つの態様は、入力画像を複数の小領域画像に分割する小領域分割部と、前記小領域画像のＰＳＦを推定する局所ＰＳＦ推定部と、推定された前記ＰＳＦの形状を識別し、類似性の高いＰＳＦ形状の小領域画像が同一グループに属するように、前記小領域画像を分類するＰＳＦ形状識別部と、同一グループに分類され、かつ隣接する前記小領域画像をグループ毎に統合することで、各グループに分離された被写体画像を得る小領域統合部と、を具備する。
【００１５】
本発明の画像復元装置の一つの態様は、前記被写体分離装置と、前記被写体分離装置によって分離された各被写体画像を用いて、各被写体画像のＰＳＦを推定する被写体ＰＳＦ推定部と、前記被写体ＰＳＦ推定部によって推定されたＰＳＦと、前記被写体画像と、を用いて、前記被写体画像の劣化を補正した復元画像を得る画像復元部と、を具備する。
【発明の効果】
【００１６】
本発明によれば、画像内にボケ方が異なる複数の被写体が存在する場合であっても、比較的少ない計算量で、各被写体画像のボケを修復して鮮鋭な画像を得ることができる画像復元装置、画像復元方法、及び、それに用いて好適な被写体分離装置、被写体分離方法を実現できる。また、本発明の被写体分離装置及び方法によれば、複数のカメラや付加的な装置（距離センサ等）を用いることなく、入力画像１枚のみから、被写体の遠近分離や動いている被写体の分離が可能となる。
【図面の簡単な説明】
【００１７】
【図１】実施の形態の被写体分離装置の構成を示すブロック図
【図２】画像分割の様子を示す図
【図３】局所ＰＳＦ推定部によって行われる局所ＰＳＦ推定の説明に供する図であり、図３Ａは局所ＰＳＦ推定の処理手順を示すフローチャート、図３ＢはＰＳＦ推定結果（推定されたＰＳＦの形状）の例を示す図
【図４】ＰＳＦの説明に供する図であり、図４Ａは理想的な点光源像をＰＳＦに入力して得られる出力像を示す図、図４Ｂは実際の画像をＰＳＦに入力して得られる出力画像を示す図
【図５】ＰＳＦ形状の説明に供する図であり、図５Ａはボケている画像のＰＳＦ形状の例を示す図、図５Ｂは水平方向に動いている被写体像のＰＳＦ形状の例を示す図
【図６】実施の形態の被写体分離装置によって分離された、被写体画像の例を示す図
【図７】実施の形態の被写体分離装置の構成を示すブロック図
【図８】互いにオーバーラップした小領域を示す図
【図９】実施の形態の被写体分離装置の構成を示すブロック図
【図１０】補間処理のイメージを示す図
【図１１】実施の形態の被写体分離装置の構成を示すブロック図
【図１２】実施の形態の画像復元装置の構成を示すブロック図
【図１３】実施の形態の画像復元装置の構成を示すブロック図
【図１４】実施の形態の画像復元装置の構成を示すブロック図
【発明を実施するための形態】
【００１８】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
【００１９】
［１］被写体分離装置の構成Ｉ
図１に、本実施の形態の被写体分離装置の構成を示す。
被写体分離装置１００は、小領域分割部１０１に入力画像Ｓ１０を入力する。小領域分割部１０１は、小領域アドレス生成部１０２及び小領域画像データ読出部１０３を有する。小領域アドレス生成部１０２は、各小領域のアドレスを生成し、順次出力する。小領域画像データ読出部１０３は、入力画像Ｓ１０を格納するメモリを有しており、小領域アドレス生成部１０２で生成されたアドレスに基づく画像を読み出すことにより、１枚の入力画像Ｓ１０を複数の小領域画像Ｓ１１に分割して出力する。図２に、小領域分割部１０１による画像分割の様子を示す。図中の点線で区切られた各領域が分割された小領域である。
【００２０】
小領域分割部１０１により得られた小領域画像Ｓ１１は、局所ＰＳＦ（Point Spread Function；点拡がり関数）推定部１０４に入力される。局所ＰＳＦ推定部１０４は、小領域画像毎にＰＳＦを推定する。
【００２１】
図３は、局所ＰＳＦ推定部１０４によって行われる局所ＰＳＦ推定の説明に供する図である。図３Ａは局所ＰＳＦ推定の処理手順を示す。図３Ａに示すように、局所ＰＳＦ推定部１０４は、小領域画像Ｓ１１が入力されるとステップＳＴ１０で処理を開始し、ステップＳＴ１１で、推定するＰＳＦと復元画像とを初期化する。ステップＳＴ１２ではＰＳＦの最適解を探索し、ステップＳＴ１３では復元画像の最適解を探索する。続く、ステップＳＴ１４では最適解が収束したか否か判断し、収束した場合には（ステップＳＴ１４；ＹＥＳ）、ステップＳＴ１５で局所ＰＳＦ推定処理を終了する。最適解が収束しない場合には（ステップＳＴ１４；ＮＯ）、ステップＳＴ１２に戻って、最適解が収束するまで、ステップＳＴ１２−ＳＴ１３−ＳＴ１４の処理を繰り返す。局所ＰＳＦ推定部１０４は、図３Ａの処理を各小領域画像に対して行う。
【００２２】
図３ＢはＰＳＦ推定結果（推定されたＰＳＦの形状）の一例を示す。図中の円は、大きいほどボケが大きい領域であることを示す。線状の棒は、移動を示す。具体的には、横棒は、その領域の被写体が水平移動したことを示し、縦棒は、垂直移動したことを示す。
【００２３】
ここで、ＰＳＦ、及びＰＳＦ形状について、簡単に説明しておく。
【００２４】
先ず、図４を用いて、ＰＳＦについて説明する。図４Ａは、理想的な点光源像（点像）をＰＳＦ（関数ｆ）に入力して得られる出力像を示す。関数ｆを規定するＰＳＦとして、出力像が用いられる。図４Ｂは、実際の画像をＰＳＦ（関数ｆ）に入力して得られる出力画像を示す。関数ｆのＰＳＦの画像信号と入力画像信号とを畳み込み演算することで、関数ｆを通してボケる出力画像を生成できる。
【００２５】
次に、図５を用いて、ＰＳＦ形状について説明する。ＰＳＦの形状とは、ＰＳＦ画像内の個々の信号について信号レベルが一定以上の画素のみを抽出した際に、当該画素群が画像平面上に形成する図形である。図５Ａは、ボケている画像のＰＳＦ形状の例を示し、図５Ｂは、水平方向に動いている被写体像のＰＳＦ形状の例を示す。
【００２６】
図１に戻って、被写体分離装置１００の構成の説明を続ける。ＰＳＦ形状識別部１０５は、推定された小領域毎のＰＳＦの形状を識別し、類似性の高いＰＳＦ形状の小領域が同一グループに属するように、小領域を分類する。ＰＳＦ形状識別部１０５は、分類結果に基づいて、各小領域の情報に分類符号を紐付けして小領域分類符号Ｓ１３として出力する。
【００２７】
小領域統合部１０６は、同一グループに分類された隣接小領域を統合する。そして、小領域統合部１０６は、同一グループに分類され統合した小領域は同一の被写体画像であると判断し、統合された被写体領域アドレスＳ１４を出力する。つまり、小領域統合部１０６は、同一の被写体であると判断した領域のアドレスを同一被写体のアドレスであることが分かる形で、被写体領域アドレスＳ１４として出力する。
【００２８】
被写体選択部１０７は、復元処理（補正処理と言ってもよい）の対象となる被写体を選択し、その被写体を形成する領域のアドレスを、注目被写体領域アドレスＳ１５として出力する。なお、選択される被写体は、例えばユーザによって指定された被写体である。また、選択される被写体は、所定の順番で順次選択されたものであってもよい。
【００２９】
被写体領域画像データ読出部１０８は、入力画像Ｓ１０を格納するメモリを有しており、注目被写体領域アドレスに基づく画像を読み出すことにより、被写体画像Ｓ１６を出力する。
【００３０】
図６に、被写体分離装置１００によって分離された、被写体画像の例を示す。近景Ｎの小領域同士のＰＳＦ形状は似通っており、遠景Ｆの小領域同士のＰＳＦ形状は似通っており、動き部ｍの小領域同士のＰＳＦ形状は似通っている。一方、近景Ｎと、遠景Ｆと、動き部ｍとの間では、ＰＳＦ形状は大きく異なる。その結果、ＰＳＦ形状識別部１０５及び小領域統合部１０６によって、図中の点線を境界にグループ分けする分類が行われ、同一グループ内の小領域は統合される。これにより、ボケ方の違いを基に被写体を的確に分離できる。
【００３１】
このように、本実施の形態の被写体分離装置１００によれば、入力画像Ｓ１０を複数の小領域画像Ｓ１１に分割する小領域分割部１０１と、小領域毎にＰＳＦを推定する局所ＰＳＦ推定部１０４と、推定された小領域毎の局所推定ＰＳＦ Ｓ１２の形状を識別し、類似性の高いＰＳＦ形状の小領域が同一グループに属するように、局所推定ＰＳＦ Ｓ１２を分類するＰＳＦ形状識別部１０５と、同一グループに分類された隣接小領域を統合する小領域統合部１０６と、を有することにより、似通ったボケ方をしている被写体画像を、的確に分離することができる。この結果、複数のカメラや付加的な装置（距離センサ等）を用いることなしに、入力画像１枚のみから、被写体の遠近分離や、動いている被写体の分離が可能となる。また、被写体分離装置１００は、その分離を比較的少ない演算量で行うことができる。
【００３２】
［２］被写体分離装置の構成II
図１との対応部分に同一符号を付して示す図７に、被写体分離装置の別の構成例を示す。図７の被写体分離装置２００は、図１の被写体分離装置１００と比較して、小領域分割部２０１の構成が異なる。
【００３３】
被写体分離装置２００の小領域分割部２０１は、小領域アドレス拡幅部２０２を有する。小領域アドレス拡幅部２０２は、小領域アドレス生成部１０２からのアドレスを用いて、小領域を拡幅するためのアドレスを生成する。具体的には、図８に示すように、互いにオーバーラップした小領域を形成する。このようにすることで、単純な格子分割よりも小領域内のサンプル数が増えるので、局所ＰＳＦ推定部１０４における局所ＰＳＦ推定の性能が向上する。この結果、最終的な被写体の分離も、より的確に行うことができるようになる。
【００３４】
［３］被写体分離装置の構成III
図１との対応部分に同一符号を付して示す図９に、被写体分離装置の別の構成例を示す。被写体分離装置３００は、ＰＳＦ推定の信頼性が低そうな小領域のＰＳＦは、隣接小領域で推定したＰＳＦを位置合わせし補間することで、求めるようになっている。
【００３５】
ＰＳＦ推定可否判定部３０１は、各小領域画像Ｓ１１がＰＳＦ推定の信頼性が低くなりそうな小領域であるか否か判定する。ＰＳＦ推定可否判定部３０１は、ＰＳＦの信頼性の指標として、（ｉ）飽和画素の数、又は、（ｉｉ）輝度勾配、等に基づいてＰＳＦ推定の可否を判定する。具体的には、ＰＳＦ推定可否判定部３０１は、飽和画素の数が閾値以上である場合や、輝度勾配がほぼゼロの場合には、その小領域は平坦で特徴がない（ＰＳＦ推定の信頼性は低い）と判定し、その小領域を用いて推定したＰＳＦ推定は使わないと判定する。
【００３６】
隣接ＰＳＦ取得部３０２は、各小領域について、隣接する小領域の局所推定ＰＳＦＳ１２を取得する。ＰＳＦ位置合わせ部３０３は、隣接する小領域の局所推定ＰＳＦＳ１２の重心位置を合わせる。ＰＳＦ補間部３０４は、位置合わせされたＰＳＦを用いて、例えばそれらの平均を求めることにより、補間対象である小領域のＰＳＦを求める。
【００３７】
図１０に、隣接ＰＳＦ取得部３０２、ＰＳＦ位置合わせ部３０３及びＰＳＦ補間部３０４による処理のイメージを示す。図中の実線の小領域が補間対象の小領域である。図中の矢印で示すように、補間対象の小領域に隣接する小領域のＰＳＦが取得され、位置合わせされる。そして、位置合わせされたＰＳＦを用いて補間対象の小領域のＰＳＦが求められる。
【００３８】
局所ＰＳＦ選択部３０５は、ＰＳＦ推定可否判定部３０１によってＰＳＦ推定を行うと判定された小領域（つまり平坦でない小領域）については、局所ＰＳＦ推定部１０４で推定されたＰＳＦをそのまま出力する。これに対して、局所ＰＳＦ選択部３０５は、ＰＳＦ推定可否判定部３０１によってＰＳＦ推定を行わないと判定された小領域（つまり平坦な小領域）については、局所ＰＳＦ推定部１０４で推定されたＰＳＦに代えて、ＰＳＦ補間部３０４で求められたＰＳＦを出力する。
【００３９】
このように、被写体分離装置３００は、小領域画像のＰＳＦを、自身の小領域画像を用いて求めるか、あるいは、周辺の小領域画像で求められたＰＳＦを用いて求めるかを、小領域画像の平坦度に基づいて選択する。これにより、小領域を統合して抽出する被写体領域に、欠損が発生するのを防止できる。
【００４０】
［４］被写体分離装置の構成IV
図１及び図９との対応部分に同一符号を付して示す図１１に、被写体分離装置の別の構成例を示す。被写体分離装置４００は、ＰＳＦ推定の信頼性が低そうな小領域については、隣接小領域の分類結果を基に当該小領域の分類を決定するようになっている。
【００４１】
隣接分類符号取得部４０１は、各小領域について、隣接する小領域の分類符号を取得する。分類符号補間部４０２は、隣接する小領域の分類符号を用いて、補間対象である小領域の分類符号を求める。どのように補間するかについては、例えば隣接する小領域の分類符号の中で最も多い分類符号を補間分類符号として選択すればよい。
【００４２】
分類符号選択部４０３は、ＰＳＦ推定可否判定部３０１によってＰＳＦ推定を行うと判定された小領域（つまりＰＳＦの信頼性が高い小領域）については、ＰＳＦ形状識別部１０５で得られた分類符号をそのまま出力する。これに対して、分類符号選択部４０３は、ＰＳＦ推定可否判定部３０１によってＰＳＦ推定を行わないと判定された小領域（つまりＰＳＦの信頼性が低い小領域）については、ＰＳＦ形状識別部１０５で得られた分類符号に代えて、分類符号補間部４０２で求められた分類符号を出力する。
【００４３】
このように、被写体分離装置４００は、小領域の分類を、自身の小領域画像のＰＳＦ推定結果を用いて行うか、あるいは、周辺の小領域の分類結果を用いて行うかを、小領域画像のＰＳＦの信頼性に基づいて選択する。これにより、被写体分離装置３００と同様に、小領域を統合して抽出する被写体領域に、欠損が発生するのを防止できる。
【００４４】
［５］画像復元装置の構成I
図１２に、画像復元装置の構成を示す。画像復元装置５００は、被写体分離装置１００（図１）と、被写体ＰＳＦ推定部５１０と、劣化画像復元部５２０と、を有する。なお、被写体分離装置１００（図１）に代えて、被写体分離装置２００（図７）、３００（図９）又は４００（図１１）を用いてもよい。
【００４５】
上述したように、被写体分離装置１００、２００、３００、４００は、同程度のボケを有する小領域を集めて（統合して）構成した被写体画像Ｓ１６を出力する。よって、被写体ＰＳＦ推定部５１０には、被写体分離装置１００から、同程度のボケを有する小領域が集まって構成された被写体画像Ｓ１６が入力される。
【００４６】
被写体ＰＳＦ推定部５１０は、ＰＳＦ推定アルゴリズムを用いて、被写体のＰＳＦを求める。このＰＳＦ推定アルゴリズムは、既知のものを用いればよい。ここでは、その概要を簡単に説明する。
【００４７】
ＰＳＦ推定アルゴリズムは、自然画像（ボケのないもの）とＰＳＦとについて一般的に成り立つ統計的性質を用いて、ボケのある入力画像（観測データ）を生成し得る元画像（未知数）・ＰＳＦ（未知数）の組み合わせの中で、最も尤もらしい両者をそれぞれ推定画像・推定ＰＳＦとする。
【００４８】
先ず、鮮鋭な画像（Ｌとする）について仮定を置くと共に、ＰＳＦ（Ｋとする）について仮定を置く。ここで鮮鋭な画像については、事前分布ｐ（Ｌ）として表現され、「Ｌの輝度勾配分布がガウシアン（またはこれに類するもの）に従う」と仮定されることが多い。また、ＰＳＦについては、事前分布ｐ（Ｋ）として表現され、「Ｋの要素が非負でありスパースな分布となる」と仮定されることが多い。
【００４９】
被写体ＰＳＦ推定部５１０は、このような仮定の下、以下の手順で処理を行う。
【００５０】
ステップ１； ＬとＫの初期値を設定する。
Ｌの初期値として入力画像（Ｂとする）を、Ｋの初期値としてデルタカーネル（中心のみ１、それ以外は０の値をとるＰＳＦ）又は単純形状（水平又は垂直線分）のＰＳＦを、それぞれ設定することが多い。
【００５１】
ステップ２； Ｌを定数、Ｋを未知数として、方程式「Ｂ＝Ｌ×Ｋ＋Ｎ」をＭＡＰ(Maximum A Posteriori)法によりＫについて解く。
事後分布ｐ（Ｌ，Ｋ｜Ｂ）を最大化するＬ，Ｋを、ｐ（Ｌ），ｐ（Ｋ），ｐ（Ｂ｜Ｌ，Ｋ）を用いて確率統計的に求める。
【００５２】
ステップ３； 導出したＫを定数、Ｌを未知数として、上記方程式を同様にＬについて解く。
【００５３】
ステップ４； 導出したＫ，Ｌがそれぞれ収束するまで、上記ステップ（２〜３）を繰り返す。収束したＫが推定ＰＳＦである。
【００５４】
被写体ＰＳＦ推定部５１０において、ＰＳＦ・復元画像初期化部５１１は、ステップ１を行うことで、被写体推定ＰＳＦと被写体推定復元画像とを得る。ＰＳＦ最適解導出部５１２は、ステップ２を行う。また、復元画像最適解導出部５１３は、ステップ３を行う。推定結果収束判定部５１４は、ステップ４を行う。このようにして、推定結果収束判定部５１４から、推定された被写体ＰＳＦ Ｓ２０が出力される。
【００５５】
劣化画像復元部５２０は、被写体ＰＳＦ Ｓ２０と被写体画像Ｓ１６とを用いて、復元画像Ｓ２１を得る。具体的には、復元画像復元部５２０は、劣化した被写体画像Ｓ１６に対して被写体ＰＳＦ Ｓ２０の逆畳み込み演算を施すことで、鮮鋭な画像である復元画像Ｓ２１を得る。
【００５６】
このように、画像復元装置５００は、被写体分離装置１００（図１）、２００（図７）、３００（図９）又は４００（図１１）を有し、この被写体分離装置１００、２００、３００又は４００によって、似通ったボケ方をしている小領域を的確に集めて形成された被写体画像Ｓ１６を基に、被写体ＰＳＦ Ｓ２０を求め復元画像Ｓ２１を得る。これにより、画像内にボケ方が異なる複数の被写体が存在する場合であっても、各被写体のボケを修復して鮮鋭な画像を得ることができる。
【００５７】
［６］画像復元装置の構成II
図１２との対応部分に同一符号を付して示す図１３に、画像復元装置の別の構成例を示す。画像復元装置６００は、被写体ＰＳＦ推定部５１０で用いるＰＳＦの初期値として、既に被写体分離装置１００（又は２００、３００、４００）で求めているＰＳＦを流用するようになっている。これにより、被写体ＰＳＦ推定部５１０での処理の高速化及び収束の安定化を図ることができる。
【００５８】
画像復元装置６００において、被写体領域内局所ＰＳＦ取得部６０１は、既に局所ＰＳＦ推定部１０４で求められている局所推定ＰＳＦ Ｓ１２のうち、注目被写体領域に相当するＰＳＦを集める（取得する）。ＰＳＦ位置合わせ部６０２は、集めた各ＰＳＦの重心の位置を合わせる。ＰＳＦフィルタ部６０３は、例えば平均化フィルタであり、注目被写体についての代表ＰＳＦ（被写体局所代表ＰＳＦ）Ｓ３０を得る。
【００５９】
この代表ＰＳＦ Ｓ３０は、被写体ＰＳＦ推定部５１０のＰＳＦ・復元画像初期化部５１１に入力される。ＰＳＦ・復元画像初期化部５１１は、入力された代表ＰＳＦ Ｓ３０をＰＳＦの初期値として設定する。
【００６０】
このようにすることで、上述したように、デルタカーネル又は単純形状のＰＳＦを初期値として設定する場合と比較して、収束までの演算量（繰り返し回数）が少なくなることが期待され、かつ、収束の安定化が期待される。
【００６１】
［７］画像復元装置の構成III
図１３との対応部分に同一符号を付して示す図１４に、画像復元装置の別の構成例を示す。画像復元装置７００は、図１３の画像復元装置６００と比較して、被写体ＰＳＦ推定部５１０が省略され、劣化画像復元部５２０において、ＰＳＦフィルタ部６０３から出力される被写体局所代表ＰＳＦ Ｓ３０を用いて画像復元処理を行うようになっている。
【００６２】
これにより、画像復元装置７００においては、画像復元装置６００と比較して、ＭＡＰ法によるＰＳＦ推定を行わないので、画像復元に用いられるＰＳＦの精度は低下するが、ＭＡＰ法を行う回路（被写体ＰＳＦ推定部５１０）が不要なので、構成を簡単化できる。
【００６３】
［８］実施の形態の効果
以上説明したように、本実施の形態の被写体分離装置１００、２００、３００、４００によれば、似通ったボケ方をしている被写体画像Ｓ１６を、的確に分離することができる。この結果、複数のカメラや付加的な装置（距離センサ等）を用いることなしに、入力画像１枚のみから、被写体の遠近分離や、動いている被写体の分離が可能となる。また、被写体分離装置１００、２００、３００、４００は、その分離を比較的少ない演算量で行うことができる。
【００６４】
また、本実施の形態の画像復元装置５００、６００、７００は、被写体分離装置１００、２００、３００又は４００を有し、似通ったボケ方をしている小領域を的確に集めて形成された被写体画像Ｓ１６を基に、被写体ＰＳＦ Ｓ２０を求め復元画像Ｓ２１を得るので、画像内にボケ方が異なる複数の被写体が存在する場合であっても、各被写体のボケを修復して鮮鋭な画像を得ることができる。
【００６５】
なお、上述の実施の形態の被写体分離装置１００、２００、３００、４００、及び、画像復元装置５００、６００、７００は、メモリ・ＣＰＵを含むパソコン等のコンピュータによって構成することができる。そして、上記装置を構成する各構成要素の機能は、メモリ上に記憶されたコンピュータプログラムをＣＰＵが読み出して実行処理することで実現できる。
【産業上の利用可能性】
【００６６】
本発明は、例えば被写体間で異なるボケが生じている画像を補正する場合に適用して好適である。
【符号の説明】
【００６７】
１００、２００、３００、４００ 被写体分離装置
１０１ 小領域分割部
１０２ 小領域アドレス生成部
１０３ 小領域画像データ読出部
１０４ 局所ＰＳＦ推定部
１０５ ＰＳＦ形状識別部
１０６ 小領域統合部
１０７ 被写体選択部
１０８ 被写体領域画像データ読出部
２０２ 小領域アドレス拡幅部
３０１ ＰＳＦ推定可否判定部
３０２ 隣接ＰＳＦ取得部
３０３ ＰＳＦ位置合わせ部
３０４ ＰＳＦ補間部
３０５ 局所ＰＳＦ選択部
４０１ 隣接分類符号取得部
４０２ 分類符号補間部
４０３ 分類符号選択部
５００、６００、７００ 画像復元装置
５１０ 被写体ＰＳＦ推定部
５１１ ＰＳＦ・復元画像初期化部
５１２ ＰＳＦ最適解導出部
５１３ 復元画像最適解導出部
５１４ 推定結果収束判定部
５２０ 劣化画像復元部
６０１ 被写体領域内局所ＰＳＦ取得部
６０２ ＰＳＦ位置合わせ部
６０３ ＰＳＦフィルタ部
【特許請求の範囲】
【請求項１】
入力画像を複数の小領域画像に分割する小領域分割部と、
前記小領域画像のＰＳＦを推定する局所ＰＳＦ推定部と、
推定された前記ＰＳＦの形状を識別し、類似性の高いＰＳＦ形状の小領域画像が同一グループに属するように、前記小領域画像を分類するＰＳＦ形状識別部と、
同一グループに分類され、かつ隣接する前記小領域画像をグループ毎に統合することで、各グループに分離された被写体画像を得る小領域統合部と、
を具備する被写体分離装置。
【請求項２】
前記小領域分割部は、前記複数の小領域画像が互いにオーバーラップするように、前記入力画像を分割する、
請求項１に記載の被写体分離装置。
【請求項３】
小領域画像のＰＳＦを、自身の小領域画像を用いて推定するか、あるいは、周辺の小領域画像のＰＳＦを用いて推定するかを、当該小領域画像のＰＳＦの信頼性に基づいて選択するＰＳＦ選択部を、さらに具備する、
請求項１に記載の被写体分離装置。
【請求項４】
小領域画像の分類を、自身の小領域画像のＰＳＦ推定結果を用いて行うか、あるいは、周辺の小領域画像の分類結果を用いて行うかを、当該小領域画像のＰＳＦの信頼性に基づいて選択する分類選択部を、さらに具備する、
請求項１に記載の被写体分離装置。
【請求項５】
請求項１から請求項４のいずれか一項に記載の被写体分離装置と、
前記被写体分離装置によって分離された各被写体画像を用いて、各被写体画像のＰＳＦを推定する被写体ＰＳＦ推定部と、
前記被写体ＰＳＦ推定部によって推定されたＰＳＦと、前記被写体画像と、を用いて、前記被写体画像の劣化を補正した復元画像を得る画像復元部と、
を具備する画像復元装置。
【請求項６】
前記被写体ＰＳＦ推定部は、ＭＡＰ法によってＰＳＦ推定するものであり、初期値として、前記局所ＰＳＦ推定部で既に推定されているＰＳＦを流用する、
請求項５に記載の画像復元装置。
【請求項７】
請求項１から請求項４のいずれか一項に記載の被写体分離装置と、
前記被写体分離装置によって分離された前記被写体画像と、前記局所ＰＳＦ推定部で既に推定されているＰＳＦと、を用いて、前記被写体画像の劣化を補正した復元画像を得る画像復元部と、
を具備する画像復元装置。
【請求項８】
入力画像を複数の小領域に分割するステップと、
前記小領域毎にＰＳＦを推定するステップと、
推定された前記小領域毎のＰＳＦの形状を識別し、類似性の高いＰＳＦ形状の小領域が同一グループに属するように、前記小領域を分類するステップと、
同一グループに分類された隣接小領域をグループ毎に統合することで、各グループに分離された被写体画像を得るステップと、
を含む被写体分離方法。
【請求項９】
入力画像を複数の小領域に分割するステップと、
前記小領域毎にＰＳＦを推定するステップと、
推定された前記小領域毎のＰＳＦの形状を識別し、類似性の高いＰＳＦ形状の小領域が同一グループに属するように、前記小領域を分類するステップと、
同一グループに分類された隣接小領域をグループ毎に統合することで、各グループに分離された被写体画像を得るステップと、
前記分離された各被写体画像を用いて、各被写体画像のＰＳＦを推定するステップと、
前記推定された被写体画像のＰＳＦと、前記被写体画像と、を用いて、前記被写体画像の劣化を補正した復元画像を得るステップと、
を含む画像復元方法。
【請求項１０】
入力画像を複数の小領域に分割するステップと、
前記小領域毎にＰＳＦを推定するステップと、
推定された前記小領域毎のＰＳＦの形状を識別し、類似性の高いＰＳＦ形状の小領域が同一グループに属するように、前記小領域を分類するステップと、
同一グループに分類された隣接小領域をグループ毎に統合することで、各グループに分離された被写体画像を得るステップと、
前記被写体画像と、前記推定されたＰＳＦと、を用いて、前記被写体画像の劣化を補正した復元画像を得るステップと、
を含む画像復元方法。
【請求項１】
入力画像を複数の小領域画像に分割する小領域分割部と、
前記小領域画像のＰＳＦを推定する局所ＰＳＦ推定部と、
推定された前記ＰＳＦの形状を識別し、類似性の高いＰＳＦ形状の小領域画像が同一グループに属するように、前記小領域画像を分類するＰＳＦ形状識別部と、
同一グループに分類され、かつ隣接する前記小領域画像をグループ毎に統合することで、各グループに分離された被写体画像を得る小領域統合部と、
を具備する被写体分離装置。
【請求項２】
前記小領域分割部は、前記複数の小領域画像が互いにオーバーラップするように、前記入力画像を分割する、
請求項１に記載の被写体分離装置。
【請求項３】
小領域画像のＰＳＦを、自身の小領域画像を用いて推定するか、あるいは、周辺の小領域画像のＰＳＦを用いて推定するかを、当該小領域画像のＰＳＦの信頼性に基づいて選択するＰＳＦ選択部を、さらに具備する、
請求項１に記載の被写体分離装置。
【請求項４】
小領域画像の分類を、自身の小領域画像のＰＳＦ推定結果を用いて行うか、あるいは、周辺の小領域画像の分類結果を用いて行うかを、当該小領域画像のＰＳＦの信頼性に基づいて選択する分類選択部を、さらに具備する、
請求項１に記載の被写体分離装置。
【請求項５】
請求項１から請求項４のいずれか一項に記載の被写体分離装置と、
前記被写体分離装置によって分離された各被写体画像を用いて、各被写体画像のＰＳＦを推定する被写体ＰＳＦ推定部と、
前記被写体ＰＳＦ推定部によって推定されたＰＳＦと、前記被写体画像と、を用いて、前記被写体画像の劣化を補正した復元画像を得る画像復元部と、
を具備する画像復元装置。
【請求項６】
前記被写体ＰＳＦ推定部は、ＭＡＰ法によってＰＳＦ推定するものであり、初期値として、前記局所ＰＳＦ推定部で既に推定されているＰＳＦを流用する、
請求項５に記載の画像復元装置。
【請求項７】
請求項１から請求項４のいずれか一項に記載の被写体分離装置と、
前記被写体分離装置によって分離された前記被写体画像と、前記局所ＰＳＦ推定部で既に推定されているＰＳＦと、を用いて、前記被写体画像の劣化を補正した復元画像を得る画像復元部と、
を具備する画像復元装置。
【請求項８】
入力画像を複数の小領域に分割するステップと、
前記小領域毎にＰＳＦを推定するステップと、
推定された前記小領域毎のＰＳＦの形状を識別し、類似性の高いＰＳＦ形状の小領域が同一グループに属するように、前記小領域を分類するステップと、
同一グループに分類された隣接小領域をグループ毎に統合することで、各グループに分離された被写体画像を得るステップと、
を含む被写体分離方法。
【請求項９】
入力画像を複数の小領域に分割するステップと、
前記小領域毎にＰＳＦを推定するステップと、
推定された前記小領域毎のＰＳＦの形状を識別し、類似性の高いＰＳＦ形状の小領域が同一グループに属するように、前記小領域を分類するステップと、
同一グループに分類された隣接小領域をグループ毎に統合することで、各グループに分離された被写体画像を得るステップと、
前記分離された各被写体画像を用いて、各被写体画像のＰＳＦを推定するステップと、
前記推定された被写体画像のＰＳＦと、前記被写体画像と、を用いて、前記被写体画像の劣化を補正した復元画像を得るステップと、
を含む画像復元方法。
【請求項１０】
入力画像を複数の小領域に分割するステップと、
前記小領域毎にＰＳＦを推定するステップと、
推定された前記小領域毎のＰＳＦの形状を識別し、類似性の高いＰＳＦ形状の小領域が同一グループに属するように、前記小領域を分類するステップと、
同一グループに分類された隣接小領域をグループ毎に統合することで、各グループに分離された被写体画像を得るステップと、
前記被写体画像と、前記推定されたＰＳＦと、を用いて、前記被写体画像の劣化を補正した復元画像を得るステップと、
を含む画像復元方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１２−１５５４５６（Ｐ２０１２−１５５４５６Ａ）
【公開日】平成２４年８月１６日（２０１２．８．１６）
【国際特許分類】
【出願番号】特願２０１１−１２９６４（Ｐ２０１１−１２９６４）
【出願日】平成２３年１月２５日（２０１１．１．２５）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２４年８月１６日（２０１２．８．１６）
【国際特許分類】
【出願日】平成２３年１月２５日（２０１１．１．２５）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]