画像補間装置、画像補間方法、及び画像補間プログラム
【課題】１枚の画像を用いて、画像全体を通じて違和感の少ない補間画像を補間対象領域に補間する画像補間装置、画像補間方法、及び画像補間プログラムを提供することを課題とする。
【解決手段】第１変形部１４が、変形後の補間画像を構成する各画素値の空間１次微分値と変形前の補間画像を構成する各画素値の空間１次微分値との差の２乗和が最小であって、変形後の補間画像の輪郭を形成する各画素値が補間対象領域の輪郭を形成する各画素値に一致し、変形後の補間画像の輪郭を形成する各画素値の微分係数が補間対象領域の輪郭を形成する各画素値の微分係数に一致することを境界条件とし、この境界条件下でポアソン方程式を用いて補間画像を変形し、第２変形部１７が、補間対象領域の周辺画像を変形し、第１変形部１４は、補間対象領域の周辺画像が変形されるに伴って変形した補間対象領域の輪郭を形成する各画素値を用いて、変形された補間画像を更に変形する。
【解決手段】第１変形部１４が、変形後の補間画像を構成する各画素値の空間１次微分値と変形前の補間画像を構成する各画素値の空間１次微分値との差の２乗和が最小であって、変形後の補間画像の輪郭を形成する各画素値が補間対象領域の輪郭を形成する各画素値に一致し、変形後の補間画像の輪郭を形成する各画素値の微分係数が補間対象領域の輪郭を形成する各画素値の微分係数に一致することを境界条件とし、この境界条件下でポアソン方程式を用いて補間画像を変形し、第２変形部１７が、補間対象領域の周辺画像を変形し、第１変形部１４は、補間対象領域の周辺画像が変形されるに伴って変形した補間対象領域の輪郭を形成する各画素値を用いて、変形された補間画像を更に変形する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画素値が欠落した補間対象領域に補間画像を補間する技術に関する。
【背景技術】
【０００２】
通信ネットワークを介して映像や画像を送受信する場合に、ルーティング装置やスイッチング装置の処理能力や通信回線の輻輳等の影響によりパケットロスが発生し、映像や画像を構成する各画素の画素値（例えば、輝度値や濃淡値）の一部若しくは全部が欠落する場合があることが知られている。また、利用者の意思に基づいて、デジタルカメラで撮影した画像の一部であって不要と思われる領域を消去することにより、画像の一部が欠落してしまう場合もある。
【０００３】
このような欠落した領域に対し、画像を補間する複数の技術（ｆｉｌｌｉｎｇ−ｉｎ法：非特許文献１乃至３参照）が既に開示されている。具体的には、例えば１枚の画像中において画素値が欠落した領域（以降、「補間対象領域」と称する）に対して、補間対象領域の近傍の画像（以降、「補間画像」と称する）を少しずつコピーしていく方法（非特許文献２参照）や、拡散系方程式に基づいて補間する方法（非特許文献１参照）がある。
【非特許文献１】M. Bertalmio、外３名、“Image inpainting”、ACM Proc. SIGGRAPH.、2000年、p.417-424
【非特許文献２】V. Kwatra、外４名、“Graphcut textures: image and video synthesis using graph cut”、ACM Proc. SIGGRAPH、2004年
【非特許文献３】A. Criminisi、外２名、“Region filling and object removal by exemplar-based image inpainting”、IEEE Transactions on Image Processing、2004年、vol. 13、no. 9、p.1200-1212
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、このような従来の画像補間方法は、補間画像を規則的或いは準規則的に補間対象領域内に伝播させるため、周期的なパターン模様が生じ、視覚的違和感が残るという問題があった。特に、補間対象領域の大きさが大きくなるに従って、若しくは、補間対象領域の内部方向に向かうに従って、この問題が顕著に発生するという問題もあった。また、海や雲などのダイナミック・テクスチャや波状パターン等のように同じ模様のテクスチャが発生する確率が非常に低い場合には、同様の問題が更に顕著に発生するという問題があった。
【０００５】
また、利用者の意思によって補間画像を補間対象領域に補間する場合には、人為的な操作が増加するため、コンピュータによる自動処理よりも非効率的であるという問題があった。特に動画の場合には、膨大な作業工程を必要とする問題があった。
【０００６】
本発明は、上記を鑑みてなされたものであり、１枚の画像を用いて、画像全体を通じて違和感の少ない補間画像を補間対象領域に補間する画像補間装置、画像補間方法、及び画像補間プログラムを提供することを課題とする。
【課題を解決するための手段】
【０００７】
第１の請求項に係る発明は、各画素に画素値を有する画像を蓄積する蓄積手段と、前記画像を前記蓄積手段から読み出して、前記画素値が欠落した補間対象領域を検出する検出手段と、前記補間対象領域と同じ大きさの形状であって当該補間対象領域に補間する補間画像を前記画像から検索する検索手段と、変形後の前記補間画像を構成する各画素値の空間１次微分値と変形前の前記補間画像を構成する各画素値の空間１次微分値との差の２乗和が最小であって、変形後の前記補間画像の輪郭を形成する各画素値が前記補間対象領域の輪郭を形成する各画素値に一致し、変形後の前記補間画像の輪郭を形成する各画素値の微分係数が前記補間対象領域の輪郭を形成する各画素値の微分係数に一致することを境界条件とし、当該境界条件下でポアソン方程式を用いて前記補間画像を変形する第１の変形手段と、前記補間対象領域の周辺画像を特徴付ける周辺画像特徴量を解析する解析手段と、変形された前記補間画像を特徴付ける補間画像特徴量を解析し、当該補間画像特徴量と前記周辺画像特徴量との類似度を計算して、当該類似度が所定の範囲内であるか否かを判定する判定手段と、前記類似度が所定の範囲外の場合に、前記補間対象領域の周辺画像を変形する第２の変形手段と、を有し、前記第１の変形手段は、当該補間対象領域の周辺画像が変形されるに伴って変形した補間対象領域の輪郭を形成する各画素値を用いて、変形された前記補間画像を更に変形することを要旨とする。
【０００８】
本発明にあっては、各画素に画素値を有する画像を蓄積する蓄積手段と、この画像を蓄積手段から読み出して、画素値が欠落した補間対象領域を検出する検出手段と、この補間対象領域と同じ大きさの形状であって当該補間対象領域に補間する補間画像を先の画像から検索する検索手段と、変形後の補間画像を構成する各画素値の空間１次微分値と変形前の補間画像を構成する各画素値の空間１次微分値との差の２乗和が最小であって、変形後の補間画像の輪郭を形成する各画素値が補間対象領域の輪郭を形成する各画素値に一致し、変形後の補間画像の輪郭を形成する各画素値の微分係数が補間対象領域の輪郭を形成する各画素値の微分係数に一致することを境界条件とし、当該境界条件下でポアソン方程式を用いて補間画像を変形する第１の変形手段と、補間対象領域の周辺画像を特徴付ける周辺画像特徴量を解析する解析手段と、変形された補間画像を特徴付ける補間画像特徴量を解析し、この補間画像特徴量と先の周辺画像特徴量との類似度を計算して、当該類似度が所定の範囲内であるか否かを判定する判定手段と、この類似度が所定の範囲外の場合に、補間対象領域の周辺画像を変形する第２の変形手段と、を有し、先の第１の変形手段が、補間対象領域の周辺画像が変形されるに伴って変形した補間対象領域の輪郭を形成する各画素値を用いて、変形された補間画像を更に変形するため、１枚の画像を用いて、画像全体を通じて違和感の少ない補間画像を補間対象領域に補間することができる。
【０００９】
本発明にあっては、検索手段が、補間対象領域と同じ大きさの形状であってこの補間対象領域に補間する補間画像を同画像から検索するため、大量のデータベースを用いることなく、与えたれた１枚の画像内の情報だけで違和感のない画像を自動で生成することができる。
【００１０】
第２の請求項に係る発明は、前記境界条件を満たす式には、所定の条件により前記補間画像の透明度を可変可能な式が含まれていることを要旨とする。
【００１１】
本発明にあっては、境界条件を満たす式には、所定の条件により補間画像の透明度を可変可能な式が含まれているため、画像全体から得られる違和感をより確実に低減することができる。
【００１２】
第３の請求項に係る発明は、前記第２の変形手段が、前記補間対象領域の周辺画像を構成する各画素値に対して所定の動きベクトルを与えた時間発展的に計算可能な移流方程式を用いて、前記補間対象領域の周辺画像を変形することを要旨とする。
【００１３】
本発明にあっては、第２の変形手段が、補間対象領域の周辺画像を構成する各画素値に対して所定の動きベクトルを与えた時間発展的に計算可能な移流方程式を用いて、補間対象領域の周辺画像を変形するため、画像全体から得られる違和感をより確実に低減することができる。
【００１４】
第４の請求項に係る発明は、各画素に画素値を有する画像を蓄積手段に蓄積する第１のステップと、前記画像を前記蓄積手段から読み出して、前記画素値が欠落した補間対象領域を検出する第２のステップと、前記補間対象領域と同じ大きさの形状であって当該補間対象領域に補間する補間画像を前記画像から検索する第３のステップと、変形後の前記補間画像を構成する各画素値の空間１次微分値と変形前の前記補間画像を構成する各画素値の空間１次微分値との差の２乗和が最小であって、変形後の前記補間画像の輪郭を形成する各画素値が前記補間対象領域の輪郭を形成する各画素値に一致し、変形後の前記補間画像の輪郭を形成する各画素値の微分係数が前記補間対象領域の輪郭を形成する各画素値の微分係数に一致することを境界条件とし、当該境界条件下でポアソン方程式を用いて前記補間画像を変形する第４のステップと、前記補間対象領域の周辺画像を特徴付ける周辺画像特徴量を解析する第５のステップと、変形された前記補間画像を特徴付ける補間画像特徴量を解析し、当該補間画像特徴量と前記周辺画像特徴量との類似度を計算して、当該類似度が所定の範囲内であるか否かを判定する第６のステップと、前記類似度が所定の範囲外の場合に、前記補間対象領域の周辺画像を変形する第７のステップと、を有し、前記第４のステップは、当該補間対象領域の周辺画像が変形されるに伴って変形した補間対象領域の輪郭を形成する各画素値を用いて、変形された前記補間画像を更に変形することを要旨とする。
【００１５】
第５の請求項に係る発明は、前記境界条件を満たす式には、所定の条件により前記補間画像の透明度を可変可能な式が含まれていることを要旨とする。
【００１６】
第６の請求項に係る発明は、前記第７のステップが、前記補間対象領域の周辺画像を構成する各画素値に対して所定の動きベクトルを与えた時間発展的に計算可能な移流方程式を用いて、前記補間対象領域の周辺画像を変形することを要旨とする。
【００１７】
第７の請求項に係る発明は、請求項４乃至６のいずれか１項に記載の画像補間方法における各ステップをコンピュータによって実行させることを要旨とする。
【発明の効果】
【００１８】
本発明によれば、１枚の画像を用いて、画像全体を通じて違和感の少ない補間画像を補間対象領域に補間する画像補間装置、画像補間方法、及び画像補間プログラムを提供することができる。
【発明を実施するための最良の形態】
【００１９】
以下、本発明の実施の形態について図面を用いて説明する。本実施の形態における画像補間装置は、補間対象領域に補間する初期の部分画像を１枚の画像内から境界部の連続性が最も高い部分画像を検索し、検索された補間画像を所定の境界条件下でポアソン方程式を用いて変形することを特徴としている。更に、非定常性パターンと称されている海，雲，煙，森林などの画像の場合、境界部の連続性のみならず、補間対象領域の周期画像の画像特徴量と変形後の補間画像の画像特徴量との類似度を計算し、所定の範囲内になるまで前述の境界条件の値を変えて補間画像の変形を繰り返すことで、違和感の少ない画像全体を表示することを可能としている。以下、この画像補間装置の構成及び処理について説明する。
【００２０】
＜画像補間装置のブロック構成及び全体の処理について＞
図１は、本実施の形態における画像補間装置のブロック構成を示すブロック図である。この画像補間装置は、入力部１０と、蓄積部１１と、検出部１２と、検索部１３と、第１変形部１４と、解析部１５と、判定部１６と、第２変形部１７と、表示部１８を備えた構成である。この画像補間装置は、専用のハードウェアとして構成してもよいし、汎用的なコンピュータを用いて構成してもよい。また、各部の処理をコンピュータプログラムによって実行させるようにしてもよい。更に、このコンピュータプログラムを読み取り可能な記録媒体に記録するようにしてもよい。なお、各部が処理した処理結果は、蓄積部１１に蓄積される。
【００２１】
図２は、本実施の形態における画像補間装置の全体処理を示すフローである。最初に、入力部１０は、カメラを通じて撮影された画像の入力を受け付けて、蓄積部１１に蓄積する（Ｓ１０１）。なお、本実施の形態で取り扱う画像は、複数の画素によって構成される静止画像である。ここで、画像の幅がｗｉｄｔｈであり、高さがｈｅｉｇｈｔであるとすると、ｗｉｄｔｈ×ｈｅｉｇｈｔ個の画素によって構成される。各画素は、ＲＧＢカラーモデルにおいて色を表現可能な輝度値若しくは濃淡値（以降、「画素値」と称する）であり、画像におけるｘ座標値とｙ座標値とＲ値とＧ値とＢ値によって構成され、ｘ座標値は１以上ｗｉｄｔｈ以下の整数値であり、ｙ座標値は１以上ｈｅｉｇｈｔ以下の整数値であり、Ｒ値とＧ値とＢ値とはそれぞれ０以上２５５以下の整数値である。
【００２２】
次に、検出部１２は、蓄積部１１に蓄積された画像を読み出して、伝送の途中で発生したパケットロスによる画像の一部分の欠落や不要な物体の消去の目的等により補正すべき領域がある場合に、その画素値が欠落した補間対象領域を検出する（Ｓ１０２）。例えば、Ｒ値とＧ値とＢ値との全てが０（零）である画素を検索し、この画素から上下方向若しくは左右方向に向かってＲ値とＧ値とＢ値との全てを０（零）とする連続領域を補間対象領域とすることができる。
【００２３】
続いて、検索部１３は、補間対象領域と同じ大きさの形状であって、この補間対象領域に補間する補間画像を、同画像において欠落していない他の領域から検索する（Ｓ１０３）。検索部１３における処理の詳細については後述する。
【００２４】
そして、第１変形部１４は、変形後の補間画像を構成する各画素値の空間１次微分値と変形前の補間画像を構成する各画素値の空間１次微分値との差の２乗和が最小であって（第１境界条件）、変形後の補間画像の輪郭を形成する各画素値が補間対象領域の輪郭を形成する各画素値に一致し（第２境界条件）、変形後の補間画像の輪郭を形成する各画素値の微分係数が補間対象領域の輪郭を形成する各画素値の微分係数に一致すること（第３境界条件）を境界条件（後述するＣ１級の境界条件に相当）とし、この境界条件と先の画像との最小化問題から導出されたポアソン方程式を用いて補間画像を変形する（Ｓ１０４）。第１変形部１４における処理の詳細については後述する。
【００２５】
続いて、解析部１５は、補間対象領域の周辺に位置する周辺画像を特徴付ける周辺画像特徴量を解析する（Ｓ１０５）。この画像特徴量とは、周波数解析，色彩解析，テクスチャ解析等で解析された解析値である（後述するＳ１０６で説明する画像特徴量も同様である）。なお、解析部１５の処理は、補間対象領域が検出された後に実行可能なので、Ｓ１０２からＳ１０４までの任意の段階で処理してもよい。
【００２６】
次に、判定部１６は、第１変形部１４で変形された補間画像を特徴付ける補間画像特徴量を解析し、この補間画像特徴量と解析部１５で解析した周辺画像特徴量との類似度を計算して、類似度が所定の範囲内であるか否かを判定する（Ｓ１０６）。例えば、テクスチャの持つ周波数の分布特徴量に関して類似度を計算し、この類似度が３％未満の場合には、Ｓ１０４で変形した補間画像を補間対象領域に補間した画像全体を表示する。計算した類似度が３％以上の場合には、Ｓ１０７に進む。なお、判定部１６は、１種類の解析値のみを用いて判定してもよく、複数の解析値を復合的に用いて判定してもよい。
【００２７】
そして、第２変形部１７は、判定の結果、類似度が所定の範囲外の場合に、補間対象領域の周辺画像を変形する（Ｓ１０７）。Ｓ１０７の処理の後、Ｓ１０４に戻り、第１変形部１４は、補間対象領域の周辺画像が変形されるに伴って変形した補間対象領域の輪郭を形成する各画素値を用いて、変形された補間画像を更に変形する。なお、第２変形部１７における処理の詳細については後述する。
【００２８】
最後に、表示部１８は、判定部１６での判定の結果、類似度が所定の範囲内の場合に、Ｓ１０４で変形した補間画像を補間対象領域に補間した画像全体を表示する。（Ｓ１０８）。なお、補間画像を補間対象領域に補間する処理は、補間画像が検索された後に実行可能なので、Ｓ１０３以降の任意の段階で処理してもよい。
【００２９】
＜検索部の処理について＞
図３は、検索部の処理を説明するための説明図である。検索部１３は、補間対象領域を有する画像と同じ画像の他の領域から任意の１つの画像のみを検索し、それを補間画像とすることも可能であるが、画像全体を通じて違和感のより少ない補間画像を検索するためには、補間画像の輪郭を形成する各画素の色彩及びテクスチャが、補間対象領域の輪郭を形成する各画素の色彩及びテクスチャに類似する類似画像を補間画像とすることが望ましい。
【００３０】
まず、検索部１３は、同画像において欠落領域の無い領域のうち、左上に位置する類似画像＃１を探索（探索＃１）する。そして、検索部１３は、この類似画像＃１の点線上に対応した画像の輝度値（色彩及びテクスチャ）の空間１次微分と、補間対象領域の実線上に対応した画像の輝度値（色彩及びテクスチャ）の空間１次微分とを計算し、正規化相関関数を用いて両者の類似度を計算する。検索部１３は、類似画像＃１の領域を下方向及び／又は右方向にずらしながら画像内の全てにわたって同様の類似度計算を行い、図４に示すように、類似度が最大である類似画像を補間画像とする。
【００３１】
＜第１変形部の処理について＞
図５は、第１変形部の処理を説明するための説明図である。ここでは説明の都合上、画像Ｆの内部にある初期画像ｇ（変形前の補間画像）をデジタル編集などのツールにより切り取って変形し、変形画像ｆ（変形後の補間画像）を別の画像Ｆ＊の補間対象領域ｆ＊に貼り付ける処理について説明する。なお、補間画像の輪郭を形成する各画素値を∂Ωとし、補間画像を構成する各画素値（即ち、∂Ωの内側の領域）をΩとする。また、Ωにおける初期画像ｇの各画素値の初期値をｇとし、Ωにおける変形画像ｆの各画素値をｆとする。以下、２種類の境界条件について説明する。
【００３２】
〔境界条件がＣ０級の場合：従来の境界条件〕
境界条件がＣ０級の場合には、初期画像ｇのテクスチャ情報をなるべく保存しながら∂Ωを目立たなくするため、変形画像ｆを構成する各画素値の空間１次微分値と初期画像ｇを構成する各画素値の空間１次微分値との差の２乗和が最小となることを第１境界条件とする。また、補間画像が補間対象領域ｆ＊に違和感なく貼り付けられるためには、補間画像の輪郭の色及びテクスチャと、補間対象領域の輪郭の色及びテクスチャとが画素値において連続することが必要であるため、変形画像ｆの輪郭を形成する各画素値が補間対象領域ｆ＊の輪郭を形成する各画素値に一致することを第２境界条件とする。
【００３３】
即ち、これらの条件を上記変数に置き換えると、第１境界条件は、Ωにおいてｆの勾配とｇの勾配の差の２乗和が最小であって、第２境界条件は、∂Ωにおいてｆ＝ｆ＊となる。そして、これら２つの条件を満たす式は、式（１）となる。
【数１】
【００３４】
ｍｉｎ∬｜∇ｆ−∇ｇ｜２は第１境界条件を満たし、ｆ｜∂Ω＝ｆ＊｜∂Ωは第２境界条件を満たしている。そして、式（１）をｆに関するＥｕｌｅｒ−Ｌａｇｒａｎｇｅ方程式として解くと式（２）で表現することができる。
【数２】
【００３５】
式（２）の第１項は０（ゼロ）になるので、式（２）は、式（３）に示すように第２項のみで表現可能となり、
【数３】
【００３６】
最終的には、式（４）に示すように、ｆに関するポアソン方程式を得ることができる。
【数４】
【００３７】
ここで、式（４）をコンピュータで処理するため、各変数を離散化する必要がある。例えば、Δｆを離散化するには、上下方向と左右方向とに隣接するピクセルとの差分から式（５）を用いることが必要となる。
【数５】
【００３８】
従って、式（４）は式（６）に示すような離散化された表現で表すことができる。
【数６】
【００３９】
但し、ｐはΩ内の点とし、ｑはｐの近傍４画素を示し、Ｎｐはｑの個数（＝４）である。ｆ｜∂Ω＝ｆ＊｜∂Ωを満たしているのが、式（６）の左辺第２項（Σｆｑ＋Σｆｑ＊）である。ｐの近傍画素ｑをΩと∂Ωとに分け、∂Ω上の点ｑに対してはｆ＊の画素を用いることで、ｆ｜∂Ω＝ｆ＊｜∂Ωを満足することになる。故に、結局全てのΩ内の点ｐにおいて式（６）が成立する。
【００４０】
ここで、式（６）の左辺第２項（Σｆｑ＋Σｆｑ＊）のうち、ｑの属性が∂Ωの項を右辺に移項すると、式（７）及び式（８）を得ることができる。
【数７】
【数８】
【００４１】
式（７）は、未知数ｆに関する連立１次方程式なので、ガウスの消去法等でコンピュータを用いて計算させることができる。
【００４２】
〔境界条件がＣ１級の場合：本発明の境界条件〕
しかしながら、従来の境界条件Ｃ０級の場合、変形画像ｆと補間対象領域ｆ＊との境界における微分係数は連続していない。そこで本発明の境界条件Ｃ１級の場合には、第１境界条件及び第２境界条件に加えて、変形画像ｆの輪郭（以降、「境界」と称する場合もある）を形成する各画素値の微分係数が補間対象領域ｆ＊の輪郭を形成する各画素値の微分係数に一致することを更なる境界条件（第３境界条件）とする。この境界条件を上記変数に置き換えると、∂Ωにおいて∇ｆ＝∇ｆ＊となる。従って、第１〜第３境界条件を満たす式は式（９）となる。なお、式（１）との違いは、第３境界条件を満たすため、∇ｆ｜∂Ω＝∇ｆ＊｜∂Ωの条件を含み、更に、ガイダンス場ｇが、初期値ｇからｇ’に変更されている。
【数９】
【数１０】
【数１１】
【００４３】
式（１０）は、式（１１）で示す条件により補間画像の透明度を可変に設定可能とする式である。言い換えれば、貼り付ける画像の透明度を設定する設定式であり、境界付近で透明、且つ補間画像の中心方向に向かうに従って不透明に設定することができる。境界付近を透明とすることでＣ１級での連続性を担保している。
【００４４】
式（１１）に示すｎｌは座標ｘと座標ｘに最も近い境界上の座標との距離であり、Ｌは境界上の座標と補間画像の中心座標との距離であり、ｒ（０＜ｒ＜１）はＣ１級の連続性を決定するパラメータである。故に、例えば、ｒ＝１の場合には、境界で透明であり、中心方向に向かうに従って透明度が低くなり、中心で不透明になるよう補間画像を変更することができる。また、ｒ＝０．５の場合には、境界で透明であり、中心方向に向かうに従って透明度が低くなり、境界から中心までの距離の半分の位置で不透明になり、半分の位置から中心までは不透明になるよう補間画像を変更することができる。
【００４５】
式（９）をｆに関するＥｕｌｅｒ−Ｌａｇｒａｎｇｅ方程式として解くと、式（１２）に示すように、ｆに関するポアソン方程式を得ることができる。
【数１２】
【００４６】
ここで、式（１２）をコンピュータで処理するため、各変数を離散化すると式（１３）〜式（１５）を得ることができる。
【数１３】
【数１４】
【数１５】
【００４７】
なお、ｎｌはｑとｑに最も近い境界上の座標との距離であり、Ｌは境界上の座標と補間画像の中心座標との距離であり、ｒ（０＜ｒ＜１）はＣ１級の連続性を決定するパラメータである。式（１３）は、未知数ｆに関する連立１次方程式なので、式（７）と同様に、ガウスの消去法等でコンピュータを用いて計算させることができる。
【００４８】
＜第２変形部の処理について＞
第２変形部１７は、第１変形部で用いた境界条件の値を時空間的に変形する。具体的には、波の動きベクトルを格納部に予め格納しておき、この動きベクトルｕ（ｔ）と、補間対象領域の周辺に存在する周辺画像を構成する各画素値ｃ（ｘ（ｔ），ｙ（ｔ））とを式（１６）に示す移流方程式に代入し、各画素値の時間発展解を計算して補間対象領域の周辺画像のテクスチャを変形する。
【数１６】
【００４９】
式（１６）の移流方程式を用いて時間発展後の画素値（濃淡値）を各画素で求めることにより、これまでのように移流方程式を差分近似する処理が不要となる。この数式は、時間発展後の画素値が、過去の画素値を変化させずに到達したものと仮定している。これは、移流方程式における誤差拡散のない理想解を求めていることに相当している。
【００５０】
補間対象領域の周辺画像が変形することは、前述した第２境界条件における変形された補間対象領域の周辺画像の変形に対応するため、第１変形部で用いた境界条件の値が変化することになる。
【００５１】
＜画像補間装置における処理の効果について＞
図６は、人為的につくられた１つの補間対象領域を有する雲画像である。また、図７は、図６に示す雲画像を用いて画像補間を行った画像全体である。図７（ａ）は、Ｃ１級の境界条件を用いて本実施の形態で説明した補間方法に従って補間した画像であり（以降、「本願法」と称する）、図７（ｂ）は、非特許文献２に開示された従来のＫＷＡＴＲＡ法を用いて補間した画像である（以降、「従来法」と称する）。
【００５２】
従来法の場合、補間対象領域に補間された補間画像とその周辺画像との間のテクスチャ性が本願法よりも大きく異なるため、補間対象領域において本願法よりも違和感を与える画像となっている。しかしながら、本願法の場合には、補間対象領域内のテクスチャ性が周辺画像と同じであり、色彩については、境界条件を用いて補間対象領域の内部方向に自然に伝搬するよう変形されているため、補間対象領域に補間される補間画像とその周辺画像との間のテクスチャ性等の違和感が従来法よりも小さい。
【００５３】
図８は、本実施の形態における補間方法に従って花畑画像の補間対象領域を補間した画像全体である。左上の画像は、補間対象領域のない本来の画像である。また、右上の画像は、図８の画像に対して６つの補間対象領域を人為的に作成した画像であり、左下の画像は、同画像の他の領域から最も類似する類似画像を補間画像として補間する状態を示す画像である。そして、右下の画像は、補間後の画像全体である。
【００５４】
左下の画像によれば、６つの補間対象領域に補間する補間画像が同画像内におけるどこの領域から検索されたかを把握することができる。必ずしも各補間対象領域に近い領域とは限らず、かなり離れた領域が補間画像として検索されている。手作業の場合には補間対象領域の近傍から補間画像を探索することが多くなるが、本願法によれば、コンピュータを用いて処理を自動化させることで、人為的な手作業よりも連続性のある違和感の少ない画像をより確実に補間対象領域に補間することが可能となる。また、図７を用いて説明した処理結果と同様に、補間対象領域内のテクスチャ性が周辺画像と同じであり、色彩については、境界条件を用いて補間対象領域の内部方向に自然に伝搬するよう変形されているため、補間対象領域に補間される補間画像とその周辺画像との間のテクスチャ性等に違和感を与えることなく補間可能であることを把握できる。
【００５５】
最後に、本実施の形態で説明したポアソン方程式を用いて行う画像補間方法によれば、Ｃ１級の境界条件を満たす式（９）には、式（１１）で示す条件により補間画像の透明度を可変可能な式（１０）が含まれているので、虹，水面下の魚，霧と車などの半透明なシーンの画像であっても違和感のない画像全体を表示することができる。例えば、式（１１）において、ある１枚の画像の濃淡値と、もう１枚の画像或いは同画像における他の領域の画像の濃淡値とにおける両者の混合比を０．７：０．３などに設定することで、違和感のない自然な画像補間が可能となる。
【００５６】
図９は、半透明なシーンの合成画像を示す図である。図９（ａ）に示すように、透明感のある波画像に別の画像素材である魚画像を補間（合成）して魚画像を変形する。半透明表現を用いない場合（例えば、式（１１）で示すｒがｒ’以上の場合）は、図９（ｂ）に示すように、魚の周辺のテクスチャは波の状態に変形されているものの、魚を覆う表面の波画像は透明に表現されている。一方、半透明表現を用いる場合（例えば、式（１１）で示すｒがｒ’未満の場合）には、図９（ｃ）に示すように、魚のテクスチャがポアソン方程式における境界条件により保存され、魚を覆う表面の波画像の透明度が下がり半透明に表現されて、半透明表現を用いない場合よりも、魚が水面下にあるような表現を容易に得ることが可能となる。魚と波の双方のテクスチャを残したシーン合成は一般に困難であり、従来は人為的な作業により行われていたが、本発明により自動的に合成可能となる。
【００５７】
また、このような画像補間方法は、マルチメディア分野，符号化分野，通信分野などの様々な分野において適応可能であることは言うまでもない。
【００５８】
本実施の形態によれば、各画素に画素値を有する画像を蓄積する蓄積部１１と、この画像を蓄積手段から読み出して、画素値が欠落した補間対象領域を検出する検出部１２と、この補間対象領域と同じ大きさの形状であって当該補間対象領域に補間する補間画像を先の画像から検索する検索部１３と、変形後の補間画像を構成する各画素値の空間１次微分値と変形前の補間画像を構成する各画素値の空間１次微分値との差の２乗和が最小であって、変形後の補間画像の輪郭を形成する各画素値が補間対象領域の輪郭を形成する各画素値に一致し、変形後の補間画像の輪郭を形成する各画素値の微分係数が補間対象領域の輪郭を形成する各画素値の微分係数に一致することを境界条件とし、当該境界条件下でポアソン方程式を用いて補間画像を変形する第１変形部１４と、補間対象領域の周辺画像を特徴付ける周辺画像特徴量を解析する解析部１５と、変形された補間画像を特徴付ける補間画像特徴量を解析し、この補間画像特徴量と先の周辺画像特徴量との類似度を計算して、当該類似度が所定の範囲内であるか否かを判定する判定部１６と、この類似度が所定の範囲外の場合に、補間対象領域の周辺画像を変形する第２変形部１７と、を有し、第１変形部１４が、補間対象領域の周辺画像が変形されるに伴って変形した補間対象領域の輪郭を形成する各画素値を用いて、変形された補間画像を更に変形するので、１枚の画像を用いて、画像全体を通じて違和感の少ない補間画像を補間対象領域に補間することができる。
【００５９】
本実施の形態によれば、検索部１３が、補間対象領域と同じ大きさの形状であってこの補間対象領域に補間する補間画像を同画像から検索するので、大量のデータベースを用いることなく、与えたれた１枚の画像内の情報だけで違和感のない画像を自動で生成することができる。
【００６０】
本実施の形態によれば、境界条件を満たす式には、所定の条件により補間画像の透明度を可変可能な式が含まれているので、画像全体から得られる違和感をより確実に低減することができる。
【００６１】
本実施の形態によれば、第２変形部１７が、補間対象領域の周辺画像を構成する各画素値に対して所定の動きベクトルを与えた時間発展的に計算可能な移流方程式を用いて、補間対象領域の周辺画像を変形するので、画像全体から得られる違和感をより確実に低減することができる。
【図面の簡単な説明】
【００６２】
【図１】本実施の形態における画像補間装置のブロック構成を示すブロック図である。
【図２】本実施の形態における画像補間装置の全体処理を示すフローである。
【図３】検索部の処理を説明するための説明図である。
【図４】類似画像の探索数と類似度との関係を示す図である。
【図５】第１変形部の処理を説明するための説明図である。
【図６】人為的につくられた１つの補間対象領域を有する雲画像である。
【図７】図６に示す雲画像を用いて画像補間を行った画像全体である。
【図８】本実施の形態における補間方法に従って花畑画像の補間対象領域を補間した画像全体である。
【図９】半透明なシーンの合成画像を示す図である。
【符号の説明】
【００６３】
１０…入力部
１１…蓄積部
１２…検出部
１３…検索部
１４…第１変形部
１５…解析部
１６…判定部
１７…第２変形部
１８…表示部
Ｓ１０１〜Ｓ１０８…ステップ
【技術分野】
【０００１】
本発明は、画素値が欠落した補間対象領域に補間画像を補間する技術に関する。
【背景技術】
【０００２】
通信ネットワークを介して映像や画像を送受信する場合に、ルーティング装置やスイッチング装置の処理能力や通信回線の輻輳等の影響によりパケットロスが発生し、映像や画像を構成する各画素の画素値（例えば、輝度値や濃淡値）の一部若しくは全部が欠落する場合があることが知られている。また、利用者の意思に基づいて、デジタルカメラで撮影した画像の一部であって不要と思われる領域を消去することにより、画像の一部が欠落してしまう場合もある。
【０００３】
このような欠落した領域に対し、画像を補間する複数の技術（ｆｉｌｌｉｎｇ−ｉｎ法：非特許文献１乃至３参照）が既に開示されている。具体的には、例えば１枚の画像中において画素値が欠落した領域（以降、「補間対象領域」と称する）に対して、補間対象領域の近傍の画像（以降、「補間画像」と称する）を少しずつコピーしていく方法（非特許文献２参照）や、拡散系方程式に基づいて補間する方法（非特許文献１参照）がある。
【非特許文献１】M. Bertalmio、外３名、“Image inpainting”、ACM Proc. SIGGRAPH.、2000年、p.417-424
【非特許文献２】V. Kwatra、外４名、“Graphcut textures: image and video synthesis using graph cut”、ACM Proc. SIGGRAPH、2004年
【非特許文献３】A. Criminisi、外２名、“Region filling and object removal by exemplar-based image inpainting”、IEEE Transactions on Image Processing、2004年、vol. 13、no. 9、p.1200-1212
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、このような従来の画像補間方法は、補間画像を規則的或いは準規則的に補間対象領域内に伝播させるため、周期的なパターン模様が生じ、視覚的違和感が残るという問題があった。特に、補間対象領域の大きさが大きくなるに従って、若しくは、補間対象領域の内部方向に向かうに従って、この問題が顕著に発生するという問題もあった。また、海や雲などのダイナミック・テクスチャや波状パターン等のように同じ模様のテクスチャが発生する確率が非常に低い場合には、同様の問題が更に顕著に発生するという問題があった。
【０００５】
また、利用者の意思によって補間画像を補間対象領域に補間する場合には、人為的な操作が増加するため、コンピュータによる自動処理よりも非効率的であるという問題があった。特に動画の場合には、膨大な作業工程を必要とする問題があった。
【０００６】
本発明は、上記を鑑みてなされたものであり、１枚の画像を用いて、画像全体を通じて違和感の少ない補間画像を補間対象領域に補間する画像補間装置、画像補間方法、及び画像補間プログラムを提供することを課題とする。
【課題を解決するための手段】
【０００７】
第１の請求項に係る発明は、各画素に画素値を有する画像を蓄積する蓄積手段と、前記画像を前記蓄積手段から読み出して、前記画素値が欠落した補間対象領域を検出する検出手段と、前記補間対象領域と同じ大きさの形状であって当該補間対象領域に補間する補間画像を前記画像から検索する検索手段と、変形後の前記補間画像を構成する各画素値の空間１次微分値と変形前の前記補間画像を構成する各画素値の空間１次微分値との差の２乗和が最小であって、変形後の前記補間画像の輪郭を形成する各画素値が前記補間対象領域の輪郭を形成する各画素値に一致し、変形後の前記補間画像の輪郭を形成する各画素値の微分係数が前記補間対象領域の輪郭を形成する各画素値の微分係数に一致することを境界条件とし、当該境界条件下でポアソン方程式を用いて前記補間画像を変形する第１の変形手段と、前記補間対象領域の周辺画像を特徴付ける周辺画像特徴量を解析する解析手段と、変形された前記補間画像を特徴付ける補間画像特徴量を解析し、当該補間画像特徴量と前記周辺画像特徴量との類似度を計算して、当該類似度が所定の範囲内であるか否かを判定する判定手段と、前記類似度が所定の範囲外の場合に、前記補間対象領域の周辺画像を変形する第２の変形手段と、を有し、前記第１の変形手段は、当該補間対象領域の周辺画像が変形されるに伴って変形した補間対象領域の輪郭を形成する各画素値を用いて、変形された前記補間画像を更に変形することを要旨とする。
【０００８】
本発明にあっては、各画素に画素値を有する画像を蓄積する蓄積手段と、この画像を蓄積手段から読み出して、画素値が欠落した補間対象領域を検出する検出手段と、この補間対象領域と同じ大きさの形状であって当該補間対象領域に補間する補間画像を先の画像から検索する検索手段と、変形後の補間画像を構成する各画素値の空間１次微分値と変形前の補間画像を構成する各画素値の空間１次微分値との差の２乗和が最小であって、変形後の補間画像の輪郭を形成する各画素値が補間対象領域の輪郭を形成する各画素値に一致し、変形後の補間画像の輪郭を形成する各画素値の微分係数が補間対象領域の輪郭を形成する各画素値の微分係数に一致することを境界条件とし、当該境界条件下でポアソン方程式を用いて補間画像を変形する第１の変形手段と、補間対象領域の周辺画像を特徴付ける周辺画像特徴量を解析する解析手段と、変形された補間画像を特徴付ける補間画像特徴量を解析し、この補間画像特徴量と先の周辺画像特徴量との類似度を計算して、当該類似度が所定の範囲内であるか否かを判定する判定手段と、この類似度が所定の範囲外の場合に、補間対象領域の周辺画像を変形する第２の変形手段と、を有し、先の第１の変形手段が、補間対象領域の周辺画像が変形されるに伴って変形した補間対象領域の輪郭を形成する各画素値を用いて、変形された補間画像を更に変形するため、１枚の画像を用いて、画像全体を通じて違和感の少ない補間画像を補間対象領域に補間することができる。
【０００９】
本発明にあっては、検索手段が、補間対象領域と同じ大きさの形状であってこの補間対象領域に補間する補間画像を同画像から検索するため、大量のデータベースを用いることなく、与えたれた１枚の画像内の情報だけで違和感のない画像を自動で生成することができる。
【００１０】
第２の請求項に係る発明は、前記境界条件を満たす式には、所定の条件により前記補間画像の透明度を可変可能な式が含まれていることを要旨とする。
【００１１】
本発明にあっては、境界条件を満たす式には、所定の条件により補間画像の透明度を可変可能な式が含まれているため、画像全体から得られる違和感をより確実に低減することができる。
【００１２】
第３の請求項に係る発明は、前記第２の変形手段が、前記補間対象領域の周辺画像を構成する各画素値に対して所定の動きベクトルを与えた時間発展的に計算可能な移流方程式を用いて、前記補間対象領域の周辺画像を変形することを要旨とする。
【００１３】
本発明にあっては、第２の変形手段が、補間対象領域の周辺画像を構成する各画素値に対して所定の動きベクトルを与えた時間発展的に計算可能な移流方程式を用いて、補間対象領域の周辺画像を変形するため、画像全体から得られる違和感をより確実に低減することができる。
【００１４】
第４の請求項に係る発明は、各画素に画素値を有する画像を蓄積手段に蓄積する第１のステップと、前記画像を前記蓄積手段から読み出して、前記画素値が欠落した補間対象領域を検出する第２のステップと、前記補間対象領域と同じ大きさの形状であって当該補間対象領域に補間する補間画像を前記画像から検索する第３のステップと、変形後の前記補間画像を構成する各画素値の空間１次微分値と変形前の前記補間画像を構成する各画素値の空間１次微分値との差の２乗和が最小であって、変形後の前記補間画像の輪郭を形成する各画素値が前記補間対象領域の輪郭を形成する各画素値に一致し、変形後の前記補間画像の輪郭を形成する各画素値の微分係数が前記補間対象領域の輪郭を形成する各画素値の微分係数に一致することを境界条件とし、当該境界条件下でポアソン方程式を用いて前記補間画像を変形する第４のステップと、前記補間対象領域の周辺画像を特徴付ける周辺画像特徴量を解析する第５のステップと、変形された前記補間画像を特徴付ける補間画像特徴量を解析し、当該補間画像特徴量と前記周辺画像特徴量との類似度を計算して、当該類似度が所定の範囲内であるか否かを判定する第６のステップと、前記類似度が所定の範囲外の場合に、前記補間対象領域の周辺画像を変形する第７のステップと、を有し、前記第４のステップは、当該補間対象領域の周辺画像が変形されるに伴って変形した補間対象領域の輪郭を形成する各画素値を用いて、変形された前記補間画像を更に変形することを要旨とする。
【００１５】
第５の請求項に係る発明は、前記境界条件を満たす式には、所定の条件により前記補間画像の透明度を可変可能な式が含まれていることを要旨とする。
【００１６】
第６の請求項に係る発明は、前記第７のステップが、前記補間対象領域の周辺画像を構成する各画素値に対して所定の動きベクトルを与えた時間発展的に計算可能な移流方程式を用いて、前記補間対象領域の周辺画像を変形することを要旨とする。
【００１７】
第７の請求項に係る発明は、請求項４乃至６のいずれか１項に記載の画像補間方法における各ステップをコンピュータによって実行させることを要旨とする。
【発明の効果】
【００１８】
本発明によれば、１枚の画像を用いて、画像全体を通じて違和感の少ない補間画像を補間対象領域に補間する画像補間装置、画像補間方法、及び画像補間プログラムを提供することができる。
【発明を実施するための最良の形態】
【００１９】
以下、本発明の実施の形態について図面を用いて説明する。本実施の形態における画像補間装置は、補間対象領域に補間する初期の部分画像を１枚の画像内から境界部の連続性が最も高い部分画像を検索し、検索された補間画像を所定の境界条件下でポアソン方程式を用いて変形することを特徴としている。更に、非定常性パターンと称されている海，雲，煙，森林などの画像の場合、境界部の連続性のみならず、補間対象領域の周期画像の画像特徴量と変形後の補間画像の画像特徴量との類似度を計算し、所定の範囲内になるまで前述の境界条件の値を変えて補間画像の変形を繰り返すことで、違和感の少ない画像全体を表示することを可能としている。以下、この画像補間装置の構成及び処理について説明する。
【００２０】
＜画像補間装置のブロック構成及び全体の処理について＞
図１は、本実施の形態における画像補間装置のブロック構成を示すブロック図である。この画像補間装置は、入力部１０と、蓄積部１１と、検出部１２と、検索部１３と、第１変形部１４と、解析部１５と、判定部１６と、第２変形部１７と、表示部１８を備えた構成である。この画像補間装置は、専用のハードウェアとして構成してもよいし、汎用的なコンピュータを用いて構成してもよい。また、各部の処理をコンピュータプログラムによって実行させるようにしてもよい。更に、このコンピュータプログラムを読み取り可能な記録媒体に記録するようにしてもよい。なお、各部が処理した処理結果は、蓄積部１１に蓄積される。
【００２１】
図２は、本実施の形態における画像補間装置の全体処理を示すフローである。最初に、入力部１０は、カメラを通じて撮影された画像の入力を受け付けて、蓄積部１１に蓄積する（Ｓ１０１）。なお、本実施の形態で取り扱う画像は、複数の画素によって構成される静止画像である。ここで、画像の幅がｗｉｄｔｈであり、高さがｈｅｉｇｈｔであるとすると、ｗｉｄｔｈ×ｈｅｉｇｈｔ個の画素によって構成される。各画素は、ＲＧＢカラーモデルにおいて色を表現可能な輝度値若しくは濃淡値（以降、「画素値」と称する）であり、画像におけるｘ座標値とｙ座標値とＲ値とＧ値とＢ値によって構成され、ｘ座標値は１以上ｗｉｄｔｈ以下の整数値であり、ｙ座標値は１以上ｈｅｉｇｈｔ以下の整数値であり、Ｒ値とＧ値とＢ値とはそれぞれ０以上２５５以下の整数値である。
【００２２】
次に、検出部１２は、蓄積部１１に蓄積された画像を読み出して、伝送の途中で発生したパケットロスによる画像の一部分の欠落や不要な物体の消去の目的等により補正すべき領域がある場合に、その画素値が欠落した補間対象領域を検出する（Ｓ１０２）。例えば、Ｒ値とＧ値とＢ値との全てが０（零）である画素を検索し、この画素から上下方向若しくは左右方向に向かってＲ値とＧ値とＢ値との全てを０（零）とする連続領域を補間対象領域とすることができる。
【００２３】
続いて、検索部１３は、補間対象領域と同じ大きさの形状であって、この補間対象領域に補間する補間画像を、同画像において欠落していない他の領域から検索する（Ｓ１０３）。検索部１３における処理の詳細については後述する。
【００２４】
そして、第１変形部１４は、変形後の補間画像を構成する各画素値の空間１次微分値と変形前の補間画像を構成する各画素値の空間１次微分値との差の２乗和が最小であって（第１境界条件）、変形後の補間画像の輪郭を形成する各画素値が補間対象領域の輪郭を形成する各画素値に一致し（第２境界条件）、変形後の補間画像の輪郭を形成する各画素値の微分係数が補間対象領域の輪郭を形成する各画素値の微分係数に一致すること（第３境界条件）を境界条件（後述するＣ１級の境界条件に相当）とし、この境界条件と先の画像との最小化問題から導出されたポアソン方程式を用いて補間画像を変形する（Ｓ１０４）。第１変形部１４における処理の詳細については後述する。
【００２５】
続いて、解析部１５は、補間対象領域の周辺に位置する周辺画像を特徴付ける周辺画像特徴量を解析する（Ｓ１０５）。この画像特徴量とは、周波数解析，色彩解析，テクスチャ解析等で解析された解析値である（後述するＳ１０６で説明する画像特徴量も同様である）。なお、解析部１５の処理は、補間対象領域が検出された後に実行可能なので、Ｓ１０２からＳ１０４までの任意の段階で処理してもよい。
【００２６】
次に、判定部１６は、第１変形部１４で変形された補間画像を特徴付ける補間画像特徴量を解析し、この補間画像特徴量と解析部１５で解析した周辺画像特徴量との類似度を計算して、類似度が所定の範囲内であるか否かを判定する（Ｓ１０６）。例えば、テクスチャの持つ周波数の分布特徴量に関して類似度を計算し、この類似度が３％未満の場合には、Ｓ１０４で変形した補間画像を補間対象領域に補間した画像全体を表示する。計算した類似度が３％以上の場合には、Ｓ１０７に進む。なお、判定部１６は、１種類の解析値のみを用いて判定してもよく、複数の解析値を復合的に用いて判定してもよい。
【００２７】
そして、第２変形部１７は、判定の結果、類似度が所定の範囲外の場合に、補間対象領域の周辺画像を変形する（Ｓ１０７）。Ｓ１０７の処理の後、Ｓ１０４に戻り、第１変形部１４は、補間対象領域の周辺画像が変形されるに伴って変形した補間対象領域の輪郭を形成する各画素値を用いて、変形された補間画像を更に変形する。なお、第２変形部１７における処理の詳細については後述する。
【００２８】
最後に、表示部１８は、判定部１６での判定の結果、類似度が所定の範囲内の場合に、Ｓ１０４で変形した補間画像を補間対象領域に補間した画像全体を表示する。（Ｓ１０８）。なお、補間画像を補間対象領域に補間する処理は、補間画像が検索された後に実行可能なので、Ｓ１０３以降の任意の段階で処理してもよい。
【００２９】
＜検索部の処理について＞
図３は、検索部の処理を説明するための説明図である。検索部１３は、補間対象領域を有する画像と同じ画像の他の領域から任意の１つの画像のみを検索し、それを補間画像とすることも可能であるが、画像全体を通じて違和感のより少ない補間画像を検索するためには、補間画像の輪郭を形成する各画素の色彩及びテクスチャが、補間対象領域の輪郭を形成する各画素の色彩及びテクスチャに類似する類似画像を補間画像とすることが望ましい。
【００３０】
まず、検索部１３は、同画像において欠落領域の無い領域のうち、左上に位置する類似画像＃１を探索（探索＃１）する。そして、検索部１３は、この類似画像＃１の点線上に対応した画像の輝度値（色彩及びテクスチャ）の空間１次微分と、補間対象領域の実線上に対応した画像の輝度値（色彩及びテクスチャ）の空間１次微分とを計算し、正規化相関関数を用いて両者の類似度を計算する。検索部１３は、類似画像＃１の領域を下方向及び／又は右方向にずらしながら画像内の全てにわたって同様の類似度計算を行い、図４に示すように、類似度が最大である類似画像を補間画像とする。
【００３１】
＜第１変形部の処理について＞
図５は、第１変形部の処理を説明するための説明図である。ここでは説明の都合上、画像Ｆの内部にある初期画像ｇ（変形前の補間画像）をデジタル編集などのツールにより切り取って変形し、変形画像ｆ（変形後の補間画像）を別の画像Ｆ＊の補間対象領域ｆ＊に貼り付ける処理について説明する。なお、補間画像の輪郭を形成する各画素値を∂Ωとし、補間画像を構成する各画素値（即ち、∂Ωの内側の領域）をΩとする。また、Ωにおける初期画像ｇの各画素値の初期値をｇとし、Ωにおける変形画像ｆの各画素値をｆとする。以下、２種類の境界条件について説明する。
【００３２】
〔境界条件がＣ０級の場合：従来の境界条件〕
境界条件がＣ０級の場合には、初期画像ｇのテクスチャ情報をなるべく保存しながら∂Ωを目立たなくするため、変形画像ｆを構成する各画素値の空間１次微分値と初期画像ｇを構成する各画素値の空間１次微分値との差の２乗和が最小となることを第１境界条件とする。また、補間画像が補間対象領域ｆ＊に違和感なく貼り付けられるためには、補間画像の輪郭の色及びテクスチャと、補間対象領域の輪郭の色及びテクスチャとが画素値において連続することが必要であるため、変形画像ｆの輪郭を形成する各画素値が補間対象領域ｆ＊の輪郭を形成する各画素値に一致することを第２境界条件とする。
【００３３】
即ち、これらの条件を上記変数に置き換えると、第１境界条件は、Ωにおいてｆの勾配とｇの勾配の差の２乗和が最小であって、第２境界条件は、∂Ωにおいてｆ＝ｆ＊となる。そして、これら２つの条件を満たす式は、式（１）となる。
【数１】
【００３４】
ｍｉｎ∬｜∇ｆ−∇ｇ｜２は第１境界条件を満たし、ｆ｜∂Ω＝ｆ＊｜∂Ωは第２境界条件を満たしている。そして、式（１）をｆに関するＥｕｌｅｒ−Ｌａｇｒａｎｇｅ方程式として解くと式（２）で表現することができる。
【数２】
【００３５】
式（２）の第１項は０（ゼロ）になるので、式（２）は、式（３）に示すように第２項のみで表現可能となり、
【数３】
【００３６】
最終的には、式（４）に示すように、ｆに関するポアソン方程式を得ることができる。
【数４】
【００３７】
ここで、式（４）をコンピュータで処理するため、各変数を離散化する必要がある。例えば、Δｆを離散化するには、上下方向と左右方向とに隣接するピクセルとの差分から式（５）を用いることが必要となる。
【数５】
【００３８】
従って、式（４）は式（６）に示すような離散化された表現で表すことができる。
【数６】
【００３９】
但し、ｐはΩ内の点とし、ｑはｐの近傍４画素を示し、Ｎｐはｑの個数（＝４）である。ｆ｜∂Ω＝ｆ＊｜∂Ωを満たしているのが、式（６）の左辺第２項（Σｆｑ＋Σｆｑ＊）である。ｐの近傍画素ｑをΩと∂Ωとに分け、∂Ω上の点ｑに対してはｆ＊の画素を用いることで、ｆ｜∂Ω＝ｆ＊｜∂Ωを満足することになる。故に、結局全てのΩ内の点ｐにおいて式（６）が成立する。
【００４０】
ここで、式（６）の左辺第２項（Σｆｑ＋Σｆｑ＊）のうち、ｑの属性が∂Ωの項を右辺に移項すると、式（７）及び式（８）を得ることができる。
【数７】
【数８】
【００４１】
式（７）は、未知数ｆに関する連立１次方程式なので、ガウスの消去法等でコンピュータを用いて計算させることができる。
【００４２】
〔境界条件がＣ１級の場合：本発明の境界条件〕
しかしながら、従来の境界条件Ｃ０級の場合、変形画像ｆと補間対象領域ｆ＊との境界における微分係数は連続していない。そこで本発明の境界条件Ｃ１級の場合には、第１境界条件及び第２境界条件に加えて、変形画像ｆの輪郭（以降、「境界」と称する場合もある）を形成する各画素値の微分係数が補間対象領域ｆ＊の輪郭を形成する各画素値の微分係数に一致することを更なる境界条件（第３境界条件）とする。この境界条件を上記変数に置き換えると、∂Ωにおいて∇ｆ＝∇ｆ＊となる。従って、第１〜第３境界条件を満たす式は式（９）となる。なお、式（１）との違いは、第３境界条件を満たすため、∇ｆ｜∂Ω＝∇ｆ＊｜∂Ωの条件を含み、更に、ガイダンス場ｇが、初期値ｇからｇ’に変更されている。
【数９】
【数１０】
【数１１】
【００４３】
式（１０）は、式（１１）で示す条件により補間画像の透明度を可変に設定可能とする式である。言い換えれば、貼り付ける画像の透明度を設定する設定式であり、境界付近で透明、且つ補間画像の中心方向に向かうに従って不透明に設定することができる。境界付近を透明とすることでＣ１級での連続性を担保している。
【００４４】
式（１１）に示すｎｌは座標ｘと座標ｘに最も近い境界上の座標との距離であり、Ｌは境界上の座標と補間画像の中心座標との距離であり、ｒ（０＜ｒ＜１）はＣ１級の連続性を決定するパラメータである。故に、例えば、ｒ＝１の場合には、境界で透明であり、中心方向に向かうに従って透明度が低くなり、中心で不透明になるよう補間画像を変更することができる。また、ｒ＝０．５の場合には、境界で透明であり、中心方向に向かうに従って透明度が低くなり、境界から中心までの距離の半分の位置で不透明になり、半分の位置から中心までは不透明になるよう補間画像を変更することができる。
【００４５】
式（９）をｆに関するＥｕｌｅｒ−Ｌａｇｒａｎｇｅ方程式として解くと、式（１２）に示すように、ｆに関するポアソン方程式を得ることができる。
【数１２】
【００４６】
ここで、式（１２）をコンピュータで処理するため、各変数を離散化すると式（１３）〜式（１５）を得ることができる。
【数１３】
【数１４】
【数１５】
【００４７】
なお、ｎｌはｑとｑに最も近い境界上の座標との距離であり、Ｌは境界上の座標と補間画像の中心座標との距離であり、ｒ（０＜ｒ＜１）はＣ１級の連続性を決定するパラメータである。式（１３）は、未知数ｆに関する連立１次方程式なので、式（７）と同様に、ガウスの消去法等でコンピュータを用いて計算させることができる。
【００４８】
＜第２変形部の処理について＞
第２変形部１７は、第１変形部で用いた境界条件の値を時空間的に変形する。具体的には、波の動きベクトルを格納部に予め格納しておき、この動きベクトルｕ（ｔ）と、補間対象領域の周辺に存在する周辺画像を構成する各画素値ｃ（ｘ（ｔ），ｙ（ｔ））とを式（１６）に示す移流方程式に代入し、各画素値の時間発展解を計算して補間対象領域の周辺画像のテクスチャを変形する。
【数１６】
【００４９】
式（１６）の移流方程式を用いて時間発展後の画素値（濃淡値）を各画素で求めることにより、これまでのように移流方程式を差分近似する処理が不要となる。この数式は、時間発展後の画素値が、過去の画素値を変化させずに到達したものと仮定している。これは、移流方程式における誤差拡散のない理想解を求めていることに相当している。
【００５０】
補間対象領域の周辺画像が変形することは、前述した第２境界条件における変形された補間対象領域の周辺画像の変形に対応するため、第１変形部で用いた境界条件の値が変化することになる。
【００５１】
＜画像補間装置における処理の効果について＞
図６は、人為的につくられた１つの補間対象領域を有する雲画像である。また、図７は、図６に示す雲画像を用いて画像補間を行った画像全体である。図７（ａ）は、Ｃ１級の境界条件を用いて本実施の形態で説明した補間方法に従って補間した画像であり（以降、「本願法」と称する）、図７（ｂ）は、非特許文献２に開示された従来のＫＷＡＴＲＡ法を用いて補間した画像である（以降、「従来法」と称する）。
【００５２】
従来法の場合、補間対象領域に補間された補間画像とその周辺画像との間のテクスチャ性が本願法よりも大きく異なるため、補間対象領域において本願法よりも違和感を与える画像となっている。しかしながら、本願法の場合には、補間対象領域内のテクスチャ性が周辺画像と同じであり、色彩については、境界条件を用いて補間対象領域の内部方向に自然に伝搬するよう変形されているため、補間対象領域に補間される補間画像とその周辺画像との間のテクスチャ性等の違和感が従来法よりも小さい。
【００５３】
図８は、本実施の形態における補間方法に従って花畑画像の補間対象領域を補間した画像全体である。左上の画像は、補間対象領域のない本来の画像である。また、右上の画像は、図８の画像に対して６つの補間対象領域を人為的に作成した画像であり、左下の画像は、同画像の他の領域から最も類似する類似画像を補間画像として補間する状態を示す画像である。そして、右下の画像は、補間後の画像全体である。
【００５４】
左下の画像によれば、６つの補間対象領域に補間する補間画像が同画像内におけるどこの領域から検索されたかを把握することができる。必ずしも各補間対象領域に近い領域とは限らず、かなり離れた領域が補間画像として検索されている。手作業の場合には補間対象領域の近傍から補間画像を探索することが多くなるが、本願法によれば、コンピュータを用いて処理を自動化させることで、人為的な手作業よりも連続性のある違和感の少ない画像をより確実に補間対象領域に補間することが可能となる。また、図７を用いて説明した処理結果と同様に、補間対象領域内のテクスチャ性が周辺画像と同じであり、色彩については、境界条件を用いて補間対象領域の内部方向に自然に伝搬するよう変形されているため、補間対象領域に補間される補間画像とその周辺画像との間のテクスチャ性等に違和感を与えることなく補間可能であることを把握できる。
【００５５】
最後に、本実施の形態で説明したポアソン方程式を用いて行う画像補間方法によれば、Ｃ１級の境界条件を満たす式（９）には、式（１１）で示す条件により補間画像の透明度を可変可能な式（１０）が含まれているので、虹，水面下の魚，霧と車などの半透明なシーンの画像であっても違和感のない画像全体を表示することができる。例えば、式（１１）において、ある１枚の画像の濃淡値と、もう１枚の画像或いは同画像における他の領域の画像の濃淡値とにおける両者の混合比を０．７：０．３などに設定することで、違和感のない自然な画像補間が可能となる。
【００５６】
図９は、半透明なシーンの合成画像を示す図である。図９（ａ）に示すように、透明感のある波画像に別の画像素材である魚画像を補間（合成）して魚画像を変形する。半透明表現を用いない場合（例えば、式（１１）で示すｒがｒ’以上の場合）は、図９（ｂ）に示すように、魚の周辺のテクスチャは波の状態に変形されているものの、魚を覆う表面の波画像は透明に表現されている。一方、半透明表現を用いる場合（例えば、式（１１）で示すｒがｒ’未満の場合）には、図９（ｃ）に示すように、魚のテクスチャがポアソン方程式における境界条件により保存され、魚を覆う表面の波画像の透明度が下がり半透明に表現されて、半透明表現を用いない場合よりも、魚が水面下にあるような表現を容易に得ることが可能となる。魚と波の双方のテクスチャを残したシーン合成は一般に困難であり、従来は人為的な作業により行われていたが、本発明により自動的に合成可能となる。
【００５７】
また、このような画像補間方法は、マルチメディア分野，符号化分野，通信分野などの様々な分野において適応可能であることは言うまでもない。
【００５８】
本実施の形態によれば、各画素に画素値を有する画像を蓄積する蓄積部１１と、この画像を蓄積手段から読み出して、画素値が欠落した補間対象領域を検出する検出部１２と、この補間対象領域と同じ大きさの形状であって当該補間対象領域に補間する補間画像を先の画像から検索する検索部１３と、変形後の補間画像を構成する各画素値の空間１次微分値と変形前の補間画像を構成する各画素値の空間１次微分値との差の２乗和が最小であって、変形後の補間画像の輪郭を形成する各画素値が補間対象領域の輪郭を形成する各画素値に一致し、変形後の補間画像の輪郭を形成する各画素値の微分係数が補間対象領域の輪郭を形成する各画素値の微分係数に一致することを境界条件とし、当該境界条件下でポアソン方程式を用いて補間画像を変形する第１変形部１４と、補間対象領域の周辺画像を特徴付ける周辺画像特徴量を解析する解析部１５と、変形された補間画像を特徴付ける補間画像特徴量を解析し、この補間画像特徴量と先の周辺画像特徴量との類似度を計算して、当該類似度が所定の範囲内であるか否かを判定する判定部１６と、この類似度が所定の範囲外の場合に、補間対象領域の周辺画像を変形する第２変形部１７と、を有し、第１変形部１４が、補間対象領域の周辺画像が変形されるに伴って変形した補間対象領域の輪郭を形成する各画素値を用いて、変形された補間画像を更に変形するので、１枚の画像を用いて、画像全体を通じて違和感の少ない補間画像を補間対象領域に補間することができる。
【００５９】
本実施の形態によれば、検索部１３が、補間対象領域と同じ大きさの形状であってこの補間対象領域に補間する補間画像を同画像から検索するので、大量のデータベースを用いることなく、与えたれた１枚の画像内の情報だけで違和感のない画像を自動で生成することができる。
【００６０】
本実施の形態によれば、境界条件を満たす式には、所定の条件により補間画像の透明度を可変可能な式が含まれているので、画像全体から得られる違和感をより確実に低減することができる。
【００６１】
本実施の形態によれば、第２変形部１７が、補間対象領域の周辺画像を構成する各画素値に対して所定の動きベクトルを与えた時間発展的に計算可能な移流方程式を用いて、補間対象領域の周辺画像を変形するので、画像全体から得られる違和感をより確実に低減することができる。
【図面の簡単な説明】
【００６２】
【図１】本実施の形態における画像補間装置のブロック構成を示すブロック図である。
【図２】本実施の形態における画像補間装置の全体処理を示すフローである。
【図３】検索部の処理を説明するための説明図である。
【図４】類似画像の探索数と類似度との関係を示す図である。
【図５】第１変形部の処理を説明するための説明図である。
【図６】人為的につくられた１つの補間対象領域を有する雲画像である。
【図７】図６に示す雲画像を用いて画像補間を行った画像全体である。
【図８】本実施の形態における補間方法に従って花畑画像の補間対象領域を補間した画像全体である。
【図９】半透明なシーンの合成画像を示す図である。
【符号の説明】
【００６３】
１０…入力部
１１…蓄積部
１２…検出部
１３…検索部
１４…第１変形部
１５…解析部
１６…判定部
１７…第２変形部
１８…表示部
Ｓ１０１〜Ｓ１０８…ステップ
【特許請求の範囲】
【請求項１】
各画素に画素値を有する画像を蓄積する蓄積手段と、
前記画像を前記蓄積手段から読み出して、前記画素値が欠落した補間対象領域を検出する検出手段と、
前記補間対象領域と同じ大きさの形状であって当該補間対象領域に補間する補間画像を前記画像から検索する検索手段と、
変形後の前記補間画像を構成する各画素値の空間１次微分値と変形前の前記補間画像を構成する各画素値の空間１次微分値との差の２乗和が最小であって、変形後の前記補間画像の輪郭を形成する各画素値が前記補間対象領域の輪郭を形成する各画素値に一致し、変形後の前記補間画像の輪郭を形成する各画素値の微分係数が前記補間対象領域の輪郭を形成する各画素値の微分係数に一致することを境界条件とし、当該境界条件下でポアソン方程式を用いて前記補間画像を変形する第１の変形手段と、
前記補間対象領域の周辺画像を特徴付ける周辺画像特徴量を解析する解析手段と、
変形された前記補間画像を特徴付ける補間画像特徴量を解析し、当該補間画像特徴量と前記周辺画像特徴量との類似度を計算して、当該類似度が所定の範囲内であるか否かを判定する判定手段と、
前記類似度が所定の範囲外の場合に、前記補間対象領域の周辺画像を変形する第２の変形手段と、を有し、
前記第１の変形手段は、当該補間対象領域の周辺画像が変形されるに伴って変形した補間対象領域の輪郭を形成する各画素値を用いて、変形された前記補間画像を更に変形することを特徴とする画像補間装置。
【請求項２】
前記境界条件を満たす式には、所定の条件により前記補間画像の透明度を可変可能な式が含まれていることを特徴とする請求項１に記載の画像補間装置。
【請求項３】
前記第２の変形手段は、
前記補間対象領域の周辺画像を構成する各画素値に対して所定の動きベクトルを与えた時間発展的に計算可能な移流方程式を用いて、前記補間対象領域の周辺画像を変形することを特徴とする請求項１又は２に記載の画像補間装置。
【請求項４】
各画素に画素値を有する画像を蓄積手段に蓄積する第１のステップと、
前記画像を前記蓄積手段から読み出して、前記画素値が欠落した補間対象領域を検出する第２のステップと、
前記補間対象領域と同じ大きさの形状であって当該補間対象領域に補間する補間画像を前記画像から検索する第３のステップと、
変形後の前記補間画像を構成する各画素値の空間１次微分値と変形前の前記補間画像を構成する各画素値の空間１次微分値との差の２乗和が最小であって、変形後の前記補間画像の輪郭を形成する各画素値が前記補間対象領域の輪郭を形成する各画素値に一致し、変形後の前記補間画像の輪郭を形成する各画素値の微分係数が前記補間対象領域の輪郭を形成する各画素値の微分係数に一致することを境界条件とし、当該境界条件下でポアソン方程式を用いて前記補間画像を変形する第４のステップと、
前記補間対象領域の周辺画像を特徴付ける周辺画像特徴量を解析する第５のステップと、
変形された前記補間画像を特徴付ける補間画像特徴量を解析し、当該補間画像特徴量と前記周辺画像特徴量との類似度を計算して、当該類似度が所定の範囲内であるか否かを判定する第６のステップと、
前記類似度が所定の範囲外の場合に、前記補間対象領域の周辺画像を変形する第７のステップと、を有し、
前記第４のステップは、当該補間対象領域の周辺画像が変形されるに伴って変形した補間対象領域の輪郭を形成する各画素値を用いて、変形された前記補間画像を更に変形することを特徴とする画像補間方法。
【請求項５】
前記境界条件を満たす式には、所定の条件により前記補間画像の透明度を可変可能な式が含まれていることを特徴とする請求項４に記載の画像補間方法。
【請求項６】
前記第７のステップは、
前記補間対象領域の周辺画像を構成する各画素値に対して所定の動きベクトルを与えた時間発展的に計算可能な移流方程式を用いて、前記補間対象領域の周辺画像を変形することを特徴とする請求項４又は５に記載の画像補間方法。
【請求項７】
請求項４乃至６のいずれか１項に記載の画像補間方法における各ステップをコンピュータによって実行させることを特徴とする画像補間プログラム。
【請求項１】
各画素に画素値を有する画像を蓄積する蓄積手段と、
前記画像を前記蓄積手段から読み出して、前記画素値が欠落した補間対象領域を検出する検出手段と、
前記補間対象領域と同じ大きさの形状であって当該補間対象領域に補間する補間画像を前記画像から検索する検索手段と、
変形後の前記補間画像を構成する各画素値の空間１次微分値と変形前の前記補間画像を構成する各画素値の空間１次微分値との差の２乗和が最小であって、変形後の前記補間画像の輪郭を形成する各画素値が前記補間対象領域の輪郭を形成する各画素値に一致し、変形後の前記補間画像の輪郭を形成する各画素値の微分係数が前記補間対象領域の輪郭を形成する各画素値の微分係数に一致することを境界条件とし、当該境界条件下でポアソン方程式を用いて前記補間画像を変形する第１の変形手段と、
前記補間対象領域の周辺画像を特徴付ける周辺画像特徴量を解析する解析手段と、
変形された前記補間画像を特徴付ける補間画像特徴量を解析し、当該補間画像特徴量と前記周辺画像特徴量との類似度を計算して、当該類似度が所定の範囲内であるか否かを判定する判定手段と、
前記類似度が所定の範囲外の場合に、前記補間対象領域の周辺画像を変形する第２の変形手段と、を有し、
前記第１の変形手段は、当該補間対象領域の周辺画像が変形されるに伴って変形した補間対象領域の輪郭を形成する各画素値を用いて、変形された前記補間画像を更に変形することを特徴とする画像補間装置。
【請求項２】
前記境界条件を満たす式には、所定の条件により前記補間画像の透明度を可変可能な式が含まれていることを特徴とする請求項１に記載の画像補間装置。
【請求項３】
前記第２の変形手段は、
前記補間対象領域の周辺画像を構成する各画素値に対して所定の動きベクトルを与えた時間発展的に計算可能な移流方程式を用いて、前記補間対象領域の周辺画像を変形することを特徴とする請求項１又は２に記載の画像補間装置。
【請求項４】
各画素に画素値を有する画像を蓄積手段に蓄積する第１のステップと、
前記画像を前記蓄積手段から読み出して、前記画素値が欠落した補間対象領域を検出する第２のステップと、
前記補間対象領域と同じ大きさの形状であって当該補間対象領域に補間する補間画像を前記画像から検索する第３のステップと、
変形後の前記補間画像を構成する各画素値の空間１次微分値と変形前の前記補間画像を構成する各画素値の空間１次微分値との差の２乗和が最小であって、変形後の前記補間画像の輪郭を形成する各画素値が前記補間対象領域の輪郭を形成する各画素値に一致し、変形後の前記補間画像の輪郭を形成する各画素値の微分係数が前記補間対象領域の輪郭を形成する各画素値の微分係数に一致することを境界条件とし、当該境界条件下でポアソン方程式を用いて前記補間画像を変形する第４のステップと、
前記補間対象領域の周辺画像を特徴付ける周辺画像特徴量を解析する第５のステップと、
変形された前記補間画像を特徴付ける補間画像特徴量を解析し、当該補間画像特徴量と前記周辺画像特徴量との類似度を計算して、当該類似度が所定の範囲内であるか否かを判定する第６のステップと、
前記類似度が所定の範囲外の場合に、前記補間対象領域の周辺画像を変形する第７のステップと、を有し、
前記第４のステップは、当該補間対象領域の周辺画像が変形されるに伴って変形した補間対象領域の輪郭を形成する各画素値を用いて、変形された前記補間画像を更に変形することを特徴とする画像補間方法。
【請求項５】
前記境界条件を満たす式には、所定の条件により前記補間画像の透明度を可変可能な式が含まれていることを特徴とする請求項４に記載の画像補間方法。
【請求項６】
前記第７のステップは、
前記補間対象領域の周辺画像を構成する各画素値に対して所定の動きベクトルを与えた時間発展的に計算可能な移流方程式を用いて、前記補間対象領域の周辺画像を変形することを特徴とする請求項４又は５に記載の画像補間方法。
【請求項７】
請求項４乃至６のいずれか１項に記載の画像補間方法における各ステップをコンピュータによって実行させることを特徴とする画像補間プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２００９−１６３６１６（Ｐ２００９−１６３６１６Ａ）
【公開日】平成２１年７月２３日（２００９．７．２３）
【国際特許分類】
【出願番号】特願２００８−２２２１（Ｐ２００８−２２２１）
【出願日】平成２０年１月９日（２００８．１．９）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成２１年７月２３日（２００９．７．２３）
【国際特許分類】
【出願日】平成２０年１月９日（２００８．１．９）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]