画像生成装置およびその方法
【課題】数の限られた画像からより的確な中間画像を生成してより自然な動画像を得ることができる画像移動算出処理方法およびその装置を提供すること。
【解決手段】所与の画像をいずれかの解像度で分割し、ニューラルネットワークによる学習により対応領域を抽出しつつ、解像度を高めていって対応点を抽出する。このため、最初はＭ×Ｎの解像度で処理を進めることとし、２つの画像をＭ×Ｎの重ならない矩形領域に分割する（Ｓ４０１）。ここで、便宜上分割される領域は矩形としたが、これに限られずいずれの形態の領域にも分割することができる。分割された各領域について、その領域の特徴を示す特徴量を算出する。
【解決手段】所与の画像をいずれかの解像度で分割し、ニューラルネットワークによる学習により対応領域を抽出しつつ、解像度を高めていって対応点を抽出する。このため、最初はＭ×Ｎの解像度で処理を進めることとし、２つの画像をＭ×Ｎの重ならない矩形領域に分割する（Ｓ４０１）。ここで、便宜上分割される領域は矩形としたが、これに限られずいずれの形態の領域にも分割することができる。分割された各領域について、その領域の特徴を示す特徴量を算出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像生成装置およびその方法に関し、より詳細には複数画像間の移動に関する処理を実行する画像生成装置およびその方法に関する。
【背景技術】
【０００２】
従来から、モーフィングなど最初の画像と最後の画像とを与えて、それらに含まれる像の間の形態を有する１以上の像を生成して、像の形態が次第に変化する動画を生成する技術が提案されている（例えば、特許文献１を参照）。このようなモーフィングは、例えば画像上に設定した制御点を動かすことにより画像が歪む効果を得て、２種類の図形を一方から他方へ滑らかに変形させることによって達成されるが、制御点を自動的に設定するのは一般に容易ではない。すなわち、観察者が両画面を見て変化のパターンを予想し、対応点を設定するといった人手の介在なしでは新たな画像の生成は容易ではない。
【０００３】
一定の分野あるいは一定のレベルでは、中間画像を自動生成するものがあり、例えばディスプレイ装置上に表示された文字を変形させるため、対象となる図形のアウトラインの集合を抽出してアウトライツリーの管理を行う技術が提案されている（例えば、特許文献２を参照）。このようにモーフィング等複数の限られた画像から中間画像を生成して動画像とする画像移動算出処理方法またはシステムが種々提案されている。
【０００４】
【特許文献１】特開２００５−１３５０４６号公報
【特許文献２】特開２００１−１７５８８１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の画像生成方法では、中間画像を生成する際に人手が必要であったり、一定の限られた種類の画像しか扱えなかったりといった問題がある。また、中間画像を自動的に生成することができても、元の画像と比較して的確ではなく不自然な画像が生成されることとなったり、変移量の少ない画像にしか適用できなかったりするという問題がある。
【０００６】
本発明は、このような問題に鑑みて為されたものであり、複数の限られた画像からより的確な中間画像を生成してより自然な動画像を得ることができる画像生成装置およびその方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
このような目的を達成するために、本出願の請求項１に記載の発明は、ニューラルネットワークにより２つの画像間の対応点を抽出して画像を生成する方法であって、２つの画像を各々相互に重ならない複数の領域に分割して、分割された領域のそれぞれにおける特徴量ベクトルを算出する特徴量算出ステップと、第１の画像の任意の１つの領域について、位置ベクトル間の距離と算出された特徴量ベクトル間の距離とを引数とする探索関数の値が最小となる第２の画像の領域を探索する領域探索と、任意の１つの領域について探索された領域と、探索前の領域との空間差異により２つの画像間の対応関係マッピング情報を生成するマッピング情報生成とを複数回繰り返すことにより２つの画像間の対応点を抽出する抽出ステップと、抽出された２つの画像間の任意の画像における各々の対応点の移動量を算出することにより中間画像を取得するステップとを備えたことを特徴とする。
【０００８】
請求項２に記載の発明は、請求項１に記載の方法において、特徴量ベクトルは、領域内の輝度を含むことを特徴とする。
【０００９】
請求項３に記載の発明は、請求項１または２に記載の方法において、領域は、Ｍ×Ｎ個の矩形領域であることを特徴とする。
【００１０】
請求項４に記載の発明は、請求項３に記載の方法において、抽出ステップは、Ｍ×Ｎ個の矩形領域に各々対応して作成されたＭ×Ｎ個のノードからなる自己組織化写像を用いて２つの画像間の対応点を抽出することを特徴とする。
【００１１】
請求項５に記載の発明は、請求項１ないし４のいずれかに記載の方法において、探索関数は、位置ベクトル間の距離と、算出された特徴量ベクトル間の距離に特徴量の位置に対する重みを乗算した値とを加算する関数であることを特徴とする。
【００１２】
請求項６に記載の発明は、請求項１ないし５のいずれかに記載の方法において、抽出ステップは、第１の画像の任意の１つの領域をランダムに選択することを特徴とする。
【００１３】
請求項７に記載の発明は、請求項１ないし６のいずれかに記載の方法において、マッピング情報生成は、探索した第２の画像の領域およびその近傍について、第１の画像の対応する領域との距離に学習率定数を乗じた値だけ対応する方向に移動させて、第１の画像の領域と対応する第２の画像の領域との関係をマッピング情報として生成することにより実行することを特徴とする。
【００１４】
請求項８に記載の発明は、請求項７に記載の方法において、抽出ステップは、領域探索およびマッピング情報生成を、マッピング生成で移動した移動量が所定の閾値以下になるまで繰り返すことを特徴とする。
【００１５】
請求項９に記載の発明は、ニューラルネットワークにより２つの画像間の対応点を抽出して画像を生成する画像生成装置であって、２つの画像を各々相互に重ならない複数の領域に分割して、分割された領域のそれぞれにおける特徴量ベクトルを算出する特徴量算出手段と、第１の画像の任意の１つの領域について、位置ベクトル間の距離と算出された特徴量ベクトル間の距離とを引数とする探索関数の値が最小となる第２の画像の領域を探索する領域探索と、任意の１つの領域について探索された領域と、探索前の領域との空間差異により２つの画像間の対応関係マッピング情報を生成するマッピング情報生成とを複数回繰り返すことにより２つの画像間の対応点を抽出する抽出手段と、抽出された２つの画像間の任意の画像における各々の対応点の移動量を算出することにより中間画像を取得する手段とを備えたことを特徴とする。
【００１６】
請求項１０に記載の発明は、コンピュータに、ニューラルネットワークにより２つの画像間の対応点を抽出して画像を生成する方法を実行させるプログラムであって、この方法は、２つの画像を各々相互に重ならない複数の領域に分割して、分割された領域のそれぞれにおける特徴量ベクトルを算出する特徴量算出ステップと、第１の画像の任意の１つの領域について、位置ベクトル間の距離と算出された特徴量ベクトル間の距離とを引数とする探索関数の値が最小となる第２の画像の領域を探索する領域探索と、任意の１つの領域について探索された領域と、探索前の領域との空間差異により２つの画像間の対応関係マッピング情報を生成するマッピング情報生成とを複数回繰り返すことにより２つの画像間の対応点を抽出する抽出ステップと、抽出された２つの画像間の任意の画像における各々の対応点の移動量を算出することにより中間画像を取得するステップとを備えたことを特徴とする。
【発明の効果】
【００１７】
以上説明したように、本発明によれば、２つの画像を各々相互に重ならない複数の領域に分割して、分割された領域のそれぞれにおける特徴量ベクトルを算出する特徴量算出ステップと、第１の画像の任意の１つの領域について、位置ベクトル間の距離と算出された特徴量ベクトル間の距離とを引数とする探索関数の値が最小となる第２の画像の領域を探索する領域探索と、任意の１つの領域について探索された領域と、探索前の領域との空間差異により２つの画像間の対応関係マッピング情報を生成するマッピング情報生成とを複数回繰り返すことにより２つの画像間の対応点を抽出する抽出ステップと、抽出された２つの画像間の任意の画像における各々の対応点の移動量を算出することにより中間画像を取得するステップとを備えているので、複数の限られた画像からより的確な中間画像を生成してより自然な画像を得ることが可能となる。
【発明を実施するための最良の形態】
【００１８】
（第１実施形態）
本実施形態では、本願発明の原理を用いてニューラルネットワークを用いて複数画像間のそれぞれの対応点を抽出し、対応点同士を線形補完して任意の場所の中間画像を生成するため、以下まず本願発明の原理について説明する。ここで、本願発明の対応点取得処理が極めて有効であるため、中間画像生成に当たって、線形補間により十分に適切でより実際の動きに近い動画像が得られるが、これに限られることなく本技術分野で知られるいずれの補間処理を採用することもできる。例えば、適当な重み付けなどをして処理を行うことができる。
【００１９】
より具体的に、図１を参照して２枚の異なる画像ＡおよびＢ（図１では画像１１０および１２０）をもとに、中間画像を生成する場合を想定すると、本願発明の原理によると、先ず画像１１０と画像１２０との間でそれぞれ対応する点を抽出する。ここで、元になる画像１１０および１２０はどのような画像でも良く、相互に関連性のあるものでも良いし、全く関連性のないものでもよい。つまり、典型的な例では、ある被写体があって実際にある動作をする前と、動作をした後の画像でも良いし、全然関連性のない例えば人間と動物の顔でも良い。本願発明は、画像の具体的性質にかかわらずより適切な対応点を抽出することができる。本願発明の原理を用いれば直感的に理解されるとおり、画像１１０上の任意の点に対応する画像１２０上の対応点を定めることができ、本願発明の原理を適用することによりこの対応点の抽出は自動的にコンピュータ等で処理することにより実行される。
【００２０】
このように画像１１０と画像１２０とのそれぞれの対応点が抽出されると、例えばそれらの対応点同士を結ぶ線上の中間点をプロットしていくとちょうど真ん中の中間画像１３０が得られる。このとき中間画像１３０上で画像１１０および１２０の各対応する点に対応する点は両点を結ぶ線分の中間点となる。中間点を取ると真ん中の画像となるが、対応点間を結ぶ線分の任意の比率となる点をプロットしていくことにより画像１１０と１２０との間の任意の位置における中間画像を得ることができる。
【００２１】
（本実施形態のシステム構成）
本実施形態のシステムは、上述のソフトウェアプログラム開発手法を用いたプログラム開発を支援する画像移動算出処理装置である。図２は、本実施形態のシステムの概要を示す図である。本システムでは、画像移動処理装置の制御部２０１に記憶手段であるデータベース２０４が接続されており、元の画像データが格納されていて、中間画像が算出されると必要であれば格納される。データベース２０４には本実施形態の処理を実行するプログラムを格納しておくこともできる。本実施形態では、データベース２０４は、制御部２０１の外部に接続されているように示されているが、これに限られることなくコンピュータ２０１内部のメモリを用いたり、図に示さないネットワークを介して他のデータベースに接続して利用したりすることもできる。
【００２２】
なお、制御部２０１は、画像処理など種々の処理を行うために必要な通常の機能、例えばＣＰＵ、ＲＯＭ、ＲＡＭのほか必要なインタフェースドライブを有しているものとする。画像は制御部２０１に接続されたディスプレイ２０２に表示されるが、コマンドを入力する際にメニューを表示したり、処理結果を表示したりもする。同様に入力機器はキーボード２０３に限らず、図示しないマウスや入力パッドなど本技術分野で知られる種々の仕様のものを用いることができる。
【００２３】
本システムの全体の構成は以上のようなものであるが、このようなハードウェアの条件の下、本実施形態の個別の処理の実行はソフトウェアプログラムがこのようなハードウェアにインストールされて行われる。各ソフトウェアは例えば図３に示すようなモジュール構成で示すことができるが、これは単なる例示であり、各モジュールの機能をさらにいくつかのモジュールで分担したり、いくつかのモジュールの機能を統合したモジュールを想定したりすることができるのはいうまでもない。以下に、各モジュール構成を説明するが、これらのモジュールが相互に連携を取って実行され、後述する本実施形態の処理が達成されるのである。
【００２４】
図３は、本実施形態の制御部２０１上で実行されるプログラムのモジュール構成を示す図である。特徴点抽出部３０１は、例えば２つの画像を複数の矩形領域に分割して、それぞれの領域における特徴量ベクトルを算出する。対応点抽出部３０２は、分割された領域とノードとを対応させてノード間の自己組織化写像を作成することにより、例えば最後の画像の任意の１つの領域について、位置ベクトル間の距離と算出された特徴量ベクトル間の距離とを引数とする探索関数の値が最小となる最後の画像の領域を探索し、探索された領域と、探索前の領域との空間差異を算出する。探索されたノードおよびその近傍のノードは一定の関数により更新される。対応点抽出部３０２は、以上の探索と更新を所定の回数繰り返しは、一定の収束が得られた段階で対応関係を確定して、データベース２０４に格納する等により保持する。中間画像算出部３０３は、全ての領域について２つの画像の対応点が決定した後対応点同士を、本実施形態では線形処理して任意の中間画像の対応点を取得し全ての対応点をプロットして中間画像を算出する。算出された中間画像は、動画像の１こまとしてデータベースに格納することができ、ディスプレイ２０２や図示しないプリンタに出力、または遠隔の装置に送信することができる。
【００２５】
（本実施形態の処理）
以上、本願発明の原理と本実施形態で用いられるシステムの構成について説明したが、次に具体的に本願発明の原理を適用した処理について２つの画像、最初の画像Ａおよび最後の画像Ｂを例に説明する。本実施例では、画像ＡおよびＢから中間画像を算出して画像Ａから始まって画像Ｂで終了する動画像が生成されることとなる。
【００２６】
（１）多重解像度の特徴量ベクトルの作成
図４は、本実施形態の画像移動算出処理の流れを示すフローチャートである。本実施形態ではまず、所与の画像をいずれかの解像度で分割し、ニューラルネットワークによる学習により対応領域を抽出しつつ、解像度を高めていって対応点を抽出する。このため、最初はＭ×Ｎの解像度で処理を進めることとし、２つの画像をＭ×Ｎ個の重ならない矩形領域に分割する（Ｓ４０１）。ここで、便宜上分割される領域は矩形としたが、これに限られずいずれの形態の領域にも分割することができる。分割された各領域について、その領域の特徴を示す特徴量を算出する。ここで、特徴量は本技術分野で使用することができるいずれの特徴を表す値を用いることができるが、本実施形態では主に輝度または輝度に対応する性質をあらわすいずれかの値の、その領域内での平均値、最大値、最小値、変極点の値、微分値、二次微分値などの数値のいずれか、あるいはいくつかを組み合わせたものを使用する。
【００２７】
本実施形態では、輝度および輝度に関連する情報を用いて特徴量としたが、画像によっては色情報も特徴を強く表している場合があり、このような場合は色差および関連情報を用いて効果的に処理を進めることもでき、その場合は特徴量の抽出方法が異なるだけであり、一旦特徴量を取得すれば以下の処理はほとんどそのまま使用することができる。同様に、その他画像の特徴を表すその他の属性が使用できれば以下の処理を行って本実施形態の対応点抽出が可能である。通常、特徴量としてはこれらの数値をいくつか、例えばｋ個組み合わせるため、ｋ次元ベクトルとなり、特徴量ベクトルが作成されることになる。
【００２８】
このようにして、特徴量ベクトルという概念を導入することにより、分割された各領域は画像上の領域の位置を示す位置ベクトルPi,jあるいは画像Ａの位置Ｘi,jおよび画像Ｂ上の位置Ｙi,jと特徴量ベクトルFi,j（１≦ｉ≦Ｍ、１≦j≦Ｎ）とで表されることとなり、ベクトルを含むそれらの情報用いて画像間の対応する点を抽出していくことができる。
【００２９】
（２）自己組織化写像を用いた特徴領域の抽出
次に各領域をニューラルネットワークのノードに置き換えて、特徴量ベクトルFi,jなどを属性として有するノードとすることにより、これらの自己組織化写像を作成して適切なノードを探索し、その結果をもとにノードを更新する処理を、更新による変位が一定範囲内となるまで繰り返すことにより適切な対応領域を抽出する。
【００３０】
（ｉ）写像の初期化
先ず図４のステップＳ４０２において、図５に示すようにＭ×Ｎ個に分割した領域に対応するようにＭ×Ｎのノードからなる自己組織化写像を作成すると、ノードi,jは特徴量ベクトルFi,jおよび位置ベクトル位置Ｘi,jおよび位置Ｙi,jを属性として有することとなる。ここで、まずＸi,j＝Ｙi,jを初期状態とする。すなわち、処理を開始する時点では、２つの画像は同一位置を対応点とし、その画像の状態により実際に対応する点に近づけていくのである。すなわち、初期段階では、図５に示すように画像Ａに対応する画像Ｂ上の点は同じ場所になっているが、本実施形態の処理が行われる結果、画像Ａに対応する点は画像Ｂ’上に対応付けできるようになる。
【００３１】
（ｉｉ）学習対象領域の選択
次に、画像Ｂで分割した矩形領域からランダムに処理の対象とする領域を選択する（Ｓ４０４）。実際には、画像Ｂ全体としてランダムに選択することにより、対応するノードが選択されそのノードについて後述する処理が実行される。選択された領域について対応点を抽出した後、さらに他の領域を選択して最終的に画像Ｂの前領域を網羅することになるが、本実施形態ではこの選択はランダムに行われる必要がある。すなわち、本実施形態では領域の選択に規則性を持たせると、領域によっては学習により本来の対応点と異なる点に収束し局所解になる可能性があるため、これを避けるようにランダムに選択する必要があるのである。使用する乱数は完全にランダムである必要はなく擬似乱数でも良く、一定のランダムさを有していれば良い。
【００３２】
この選択に際しては、対応点とは評価されない点や部分、例えば最初の画像に存在しないが最後の画像には存在するような部分、具体的には最初の画像が人物の横を向いた写真であり、最後の写真がその人物が正面を向いた写真である場合に最初隠れていた方の耳などは、その領域を処理しても対応する点は元々ないため、処理不能になるか、誤った点を抽出してしまう可能性がある。このような領域をそのままにして本実施形態の処理を進めると、無駄な処理が多くなり処理能力にも影響を及ぼす。したがって、本実施形態では、ガウス分布を用いてこのような異常な点を取り除いた後処理対象となる領域の選択を行う。
【００３３】
なお、本実施形態では、画像をＭ×Ｎの矩形に分割した結果、各矩形領域は相互に重なり合うことなく、コンピュータによる計算処理を円滑に行うことができるが、本願発明の原理は、本実施形態の処理例とは逆に領域ではなく対応点が基準となる。すなわち、本願発明は複数の画像間の対応点を求めるものであるから、もともと画像間の点同士を比較処理すればよく、画像中の任意の点を選択してその特徴量を導出することができれば、適当に点を選択して、選択された点を基準に処理を行うことができる。本実施形態では、輝度や色差を特徴量として用いるため、点そのものではなく点の周囲の一定の領域を対象にして特徴量を算出するほうがコンピュータを使用した処理では容易である場合が多い。この結果、本実施形態では便宜上領域を対象として処理し、領域の中心点同士を対応点として決定するが、点同士を最初から対応させつつ、その点の任意の領域を用いて特徴量を算出し処理を行うこともできる。この場合、本実施形態とは異なり、領域の形状はもとより、各領域は重なり合っても良いし、逆に隙間があってもよい。
【００３４】
（ｉｉｉ）ノードの探索
もっともらしい対応点に近づけるため、選択されたノードについての特徴量の所定の関数の値が最小となるノードを探索する（Ｓ４０５）。すなわち、特徴量に基づいて２つの画像で関連性がありそうな対応点を探索するため一定の類似度を示す関数を設定しその値が一定の値になるように処理していく。具体的には、本実施形態では類似関数Di,j(DPi,j(b)i,j,DFi,j(b))として、例えば以下のような値を用いる（類似関数Di,jは、類似するほど、すなわち類似度が高いほど低い値をとる関数である）。ここで、DPi,jは、現在の対応点と探索すべきノードとの位置ベクトル間の距離、すなわち幾何空間における距離を示しており、例えばＬ２ノルム||Pb-Ｙi,j||とすることができる。また、DFi,jは現在の対応点と探索すべきノードとの特徴量ベクトル間の距離、例えば輝度空間あるいは色空間の距離を示しており、例えば
【００３５】
【数１】
【００３６】
とすることができる。
【００３７】
（Ｉ）Di,j= DPi,j(b)+βDFi,j(b) ： βは輝度空間の幾何空間に対する重み
（II）Di,j= DPi,j(b)＊(DFi,j(b))β ： βは輝度空間の幾何空間に対する重み
類似関数として（Ｉ）または（II）のいずれかを任意に選択することができ、いずれも本願発明の実施に有効に供することができるが、（Ｉ）は線形になっているので比較的扱い易く効果も高いことが知られている。
【００３８】
（ｉｖ）隣接ノードの更新
類似関数の値が最小となるよう探索されたノードI,J＝arg min Di,j (b)およびその隣接ノードを以下の式に基づき更新する（Ｓ４０６）。
Yi,j(t)= Yi,j(t-1)+αδ(Xi,j(t)- Yi,j(t-1)) （２）
【００３９】
ここで、α（0＜α≦1）は、学習率係数であり、例えば0.01といった固定の値や単調減少関数を用いることができるが、これに限られず本技術分野で知られたいずれの適切な値を用いることができる。一般に、比較的動きの少ない画像間の対応点を探索する場合は、0.01といった比較的小さい定数を用いることにより、安定して収束させることができるが、動きの大きな画像間で対応点を探索する場合は、最初から小さいαを用いると極所解となり正確な対応点を見つけられないことがあるため、最初は比較的大きな値を取り後述のδのように単調に減少するような関数を用いることが効果的な場合もある。
【００４０】
δについては、tに対し単調減少し0以上の値をとる関数range(t)を想定すると、|I-i|≦range(t)かつ|J-j|≦range(t)のときδ＝1であり、それ以外ではδ＝0の値をとるものとする。なお、本実施形態では、図６に示すような対象点（領域）８０１の８個の近傍の領域について処理を行う8 Neighborsを使用する。すなわち、対象領域８０１の近傍が上記の式（２）により更新され一定の対応関係に収束する。これは、対象点の周囲の画像の状態を織り込むことによって、より適切な対応点の探索が可能になるからである。
【００４１】
本実施形態では、上述のように隣接ノードとして8 Neighborsを使用するが、これに限られること無く種々の本技術分野で知られた方法を用いることができる。例えば、4 Neighborsを使用することもできる。この場合、上述のδは|I-i|≦range(t)または|J-j|≦range(t)のときδ＝1であり、それ以外ではδ＝0の値をとるものとする。
【００４２】
このように更新した後、再度類似関数最小となるノードを探索し、以上の処理を繰り返し実行する（Ｓ４０７）。すなわち、上述の（ｉｉｉ）と(ｉｖ)の処理を一定以上の回数繰り返すことにより、上述の（ｉｉ）で選択した領域について対応領域を取得することができる。ランダムに選択した１つの領域について、上述のような処理を行って対応点を求め、その後やはりランダムに残りの領域について同様の処理を実行して画像全体の処理を行い、対応点の抽出を終了する（Ｓ４０３）。
【００４３】
このようにしてＭ×Ｎの解像度の対応点が得られると、図７に示すように段階的に解像度を上げて、Ｍ×Ｎの解像度でより正確な対応点を求める。通常、図７に示すように３段階程度で処理を行うが、これに限られることなく、システムや画像の特性に合わせてより少ない回数やより多い回数で処理することもできる。
【００４４】
ここで、一定の回数は、システムによっても異なるし、対象とする画像の性質によっても異なるが、本実施形態では例えばＭ×Ｎ個に分割した各領域について（ｉｉｉ）と(ｉｖ)の処理を１６回から６４回行い、Ｍ＝Ｎ＝２５６で３段階の解像度を条件に計算すると、約３００〜１２００万回繰り返す場合もある。この繰り返し回数は、回数自体として所定の値を実験等の結果により定めることもできるが、例えば（ｉｖ）の更新処理による変位が一定以下になることを繰り返し回数の判定基準とすることもできる。
【００４５】
（中間画像の生成）
以上の処理により元の複数画像について対応点を定めることができると、この情報に基づいて様々な画像処理が可能となる。本実施形態では、本願発明の種々の応用分野の中で、最も簡易なものとして、特に２枚の画像から画像と画像の間の中間画像の算出を行う。中間画像が得られれば、複数の静止画像として出力することもでき、毎秒一定数のこまを出力して動画を生成することもできる。例えば、上述したように画像Ａと画像Ｂとのそれぞれの対応点が抽出され、それらの対応点同士を結ぶ線上の中間点をプロットすると、中間画像上で画像ＡおよびＢの各対応点に対応する点は両点を結ぶ線分の中間点となる。このような中間点のような中間画像上の点を算出してプロットしていくと中間画像が生成される。中間点を取ると真ん中の画像となるが、対応点間を結ぶ線分の任意の比率となる点をプロットしていくことにより画像ＡとＢとの間の任意の位置における中間画像を得ることができるわけである。
【００４６】
本実施形態では、このように線形処理により比較的自然な中間画像を得られるが、これに限られること無く線形以外、すなわち一定の比率を用いずに画像Ｂに近づくにしたがって変化が大きくなるように重み付けしたり、中間画像の前後で変化が大きくなるようにしたりすることもできる。したがって、その所望するシステムの目的に応じて任意の重み付け関数を用い、またはその他本技術分野で知られたいずれかの方法で中間画像を生成することができる。
【００４７】
また、本実施形態では２枚の元の画像からその中間の画像を生成するが、その他にも本願発明の原理を用いて複数の画像間のそれぞれの対応点を抽出することができると様々な画像処理に応用することができる。例えば、３枚の画像を用いて上述の２枚の画像で行ったと同じような中間画像抽出処理により、種々の応用処理を実行させることができる。すなわち、例えば３枚の同一人物の顔の画像を用意し、これらを合成して種々の表情を生成することを考える。一般に、最も感情が表れるかの表情は泣き、笑い、怒った顔の３種であるから、これらを元の画像とする。まず、ステップ１として本実施形態の処理を各画像ペアごとに実行することにより３枚のそれぞれの画像の対応点を抽出する。次にステップ２として、２枚の画像ペアを任意に選択して所定の比率により第１の中間画像を生成し、その後残りの１枚の画像と第１の中間画像とに別の所定の比率を適用して、第２の中間画像を生成する。以上により、３種類の元の感情を適度に混合させた様々な顔の表情が得られる。所定の比率を変化させるだけで驚くほど多様な表情をもつ顔の画像を得ることができる。
【００４８】
このようにして得られる様々な例の１つが例えば図１に示すような画像である。
【００４９】
（第２実施形態）
上述の第１実施形態では、本願発明を予め与えられた複数の画像に適用して中間画像や、動画像を生成するものであったが、本実施形態では、インターネットにより接続されたサーバにクライアント装置がアクセスすることにより、サーバ内に有する複数の画像から中間画像を生成してクライアント装置に提供するものである。
【００５０】
本実施形態では、サーバはクライアント装置に対して、例えば商品広告や商品情報を提供するが、その際商品の画像に本願発明の技術を適用して画像処理を施し、顧客の興味をより引くようにすることができる。すなわち、顧客がクライアント装置から所望の商品を選択して情報の提供を要求すると、サーバは対応する商品のその他の情報とともに予め格納されている商品の画像に本願発明を適用して新たな画像を生成し、クライアント装置に送信する。具体的には、複数枚の商品画像から中間画像を生成するが、例えば自動車の正面からの写真と横方向からの写真を基に斜めから見た画像を生成して出力したり、生活用品の静止画から動画を生成して実際の使用状況を説明させたりすることができる。本願発明を使用すると、適切な対応点の抽出により自然な中間画像が得られるだけでなく、計算を効率化できるので、インターネットを介した対話型のシステムにも高速処理を行って対応可能なのである。
【００５１】
以上により、本願発明を用いることにより、インターネットを介した商品情報の提供が可能となる。
【図面の簡単な説明】
【００５２】
【図１】本発明にかかる一実施形態の画像と画像との間でそれぞれ対応する点を抽出することを説明する図である。
【図２】本発明にかかる一実施形態のシステム構成を示すブロック図である。
【図３】本実施形態の機能モジュールの構成を示す図である。
【図４】本実施形態の処理の一例を示すフローチャートである。
【図５】本実施形態の処理の対応点の探索について説明するための図である。
【図６】本実施形態の処理の近傍について説明するための図である。
【図７】本実施形態の処理の解像度について説明するための図である。
【符号の説明】
【００５３】
２０１ コンピュータ
２０２ 画面
２０３ 入力部
２０４ データベース
１０３ ネットワーク
１０４ サーバ
３０１ 特徴量抽出部
３０２ 対応点抽出部
３０３ 中間画像抽出部
【技術分野】
【０００１】
本発明は、画像生成装置およびその方法に関し、より詳細には複数画像間の移動に関する処理を実行する画像生成装置およびその方法に関する。
【背景技術】
【０００２】
従来から、モーフィングなど最初の画像と最後の画像とを与えて、それらに含まれる像の間の形態を有する１以上の像を生成して、像の形態が次第に変化する動画を生成する技術が提案されている（例えば、特許文献１を参照）。このようなモーフィングは、例えば画像上に設定した制御点を動かすことにより画像が歪む効果を得て、２種類の図形を一方から他方へ滑らかに変形させることによって達成されるが、制御点を自動的に設定するのは一般に容易ではない。すなわち、観察者が両画面を見て変化のパターンを予想し、対応点を設定するといった人手の介在なしでは新たな画像の生成は容易ではない。
【０００３】
一定の分野あるいは一定のレベルでは、中間画像を自動生成するものがあり、例えばディスプレイ装置上に表示された文字を変形させるため、対象となる図形のアウトラインの集合を抽出してアウトライツリーの管理を行う技術が提案されている（例えば、特許文献２を参照）。このようにモーフィング等複数の限られた画像から中間画像を生成して動画像とする画像移動算出処理方法またはシステムが種々提案されている。
【０００４】
【特許文献１】特開２００５−１３５０４６号公報
【特許文献２】特開２００１−１７５８８１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の画像生成方法では、中間画像を生成する際に人手が必要であったり、一定の限られた種類の画像しか扱えなかったりといった問題がある。また、中間画像を自動的に生成することができても、元の画像と比較して的確ではなく不自然な画像が生成されることとなったり、変移量の少ない画像にしか適用できなかったりするという問題がある。
【０００６】
本発明は、このような問題に鑑みて為されたものであり、複数の限られた画像からより的確な中間画像を生成してより自然な動画像を得ることができる画像生成装置およびその方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
このような目的を達成するために、本出願の請求項１に記載の発明は、ニューラルネットワークにより２つの画像間の対応点を抽出して画像を生成する方法であって、２つの画像を各々相互に重ならない複数の領域に分割して、分割された領域のそれぞれにおける特徴量ベクトルを算出する特徴量算出ステップと、第１の画像の任意の１つの領域について、位置ベクトル間の距離と算出された特徴量ベクトル間の距離とを引数とする探索関数の値が最小となる第２の画像の領域を探索する領域探索と、任意の１つの領域について探索された領域と、探索前の領域との空間差異により２つの画像間の対応関係マッピング情報を生成するマッピング情報生成とを複数回繰り返すことにより２つの画像間の対応点を抽出する抽出ステップと、抽出された２つの画像間の任意の画像における各々の対応点の移動量を算出することにより中間画像を取得するステップとを備えたことを特徴とする。
【０００８】
請求項２に記載の発明は、請求項１に記載の方法において、特徴量ベクトルは、領域内の輝度を含むことを特徴とする。
【０００９】
請求項３に記載の発明は、請求項１または２に記載の方法において、領域は、Ｍ×Ｎ個の矩形領域であることを特徴とする。
【００１０】
請求項４に記載の発明は、請求項３に記載の方法において、抽出ステップは、Ｍ×Ｎ個の矩形領域に各々対応して作成されたＭ×Ｎ個のノードからなる自己組織化写像を用いて２つの画像間の対応点を抽出することを特徴とする。
【００１１】
請求項５に記載の発明は、請求項１ないし４のいずれかに記載の方法において、探索関数は、位置ベクトル間の距離と、算出された特徴量ベクトル間の距離に特徴量の位置に対する重みを乗算した値とを加算する関数であることを特徴とする。
【００１２】
請求項６に記載の発明は、請求項１ないし５のいずれかに記載の方法において、抽出ステップは、第１の画像の任意の１つの領域をランダムに選択することを特徴とする。
【００１３】
請求項７に記載の発明は、請求項１ないし６のいずれかに記載の方法において、マッピング情報生成は、探索した第２の画像の領域およびその近傍について、第１の画像の対応する領域との距離に学習率定数を乗じた値だけ対応する方向に移動させて、第１の画像の領域と対応する第２の画像の領域との関係をマッピング情報として生成することにより実行することを特徴とする。
【００１４】
請求項８に記載の発明は、請求項７に記載の方法において、抽出ステップは、領域探索およびマッピング情報生成を、マッピング生成で移動した移動量が所定の閾値以下になるまで繰り返すことを特徴とする。
【００１５】
請求項９に記載の発明は、ニューラルネットワークにより２つの画像間の対応点を抽出して画像を生成する画像生成装置であって、２つの画像を各々相互に重ならない複数の領域に分割して、分割された領域のそれぞれにおける特徴量ベクトルを算出する特徴量算出手段と、第１の画像の任意の１つの領域について、位置ベクトル間の距離と算出された特徴量ベクトル間の距離とを引数とする探索関数の値が最小となる第２の画像の領域を探索する領域探索と、任意の１つの領域について探索された領域と、探索前の領域との空間差異により２つの画像間の対応関係マッピング情報を生成するマッピング情報生成とを複数回繰り返すことにより２つの画像間の対応点を抽出する抽出手段と、抽出された２つの画像間の任意の画像における各々の対応点の移動量を算出することにより中間画像を取得する手段とを備えたことを特徴とする。
【００１６】
請求項１０に記載の発明は、コンピュータに、ニューラルネットワークにより２つの画像間の対応点を抽出して画像を生成する方法を実行させるプログラムであって、この方法は、２つの画像を各々相互に重ならない複数の領域に分割して、分割された領域のそれぞれにおける特徴量ベクトルを算出する特徴量算出ステップと、第１の画像の任意の１つの領域について、位置ベクトル間の距離と算出された特徴量ベクトル間の距離とを引数とする探索関数の値が最小となる第２の画像の領域を探索する領域探索と、任意の１つの領域について探索された領域と、探索前の領域との空間差異により２つの画像間の対応関係マッピング情報を生成するマッピング情報生成とを複数回繰り返すことにより２つの画像間の対応点を抽出する抽出ステップと、抽出された２つの画像間の任意の画像における各々の対応点の移動量を算出することにより中間画像を取得するステップとを備えたことを特徴とする。
【発明の効果】
【００１７】
以上説明したように、本発明によれば、２つの画像を各々相互に重ならない複数の領域に分割して、分割された領域のそれぞれにおける特徴量ベクトルを算出する特徴量算出ステップと、第１の画像の任意の１つの領域について、位置ベクトル間の距離と算出された特徴量ベクトル間の距離とを引数とする探索関数の値が最小となる第２の画像の領域を探索する領域探索と、任意の１つの領域について探索された領域と、探索前の領域との空間差異により２つの画像間の対応関係マッピング情報を生成するマッピング情報生成とを複数回繰り返すことにより２つの画像間の対応点を抽出する抽出ステップと、抽出された２つの画像間の任意の画像における各々の対応点の移動量を算出することにより中間画像を取得するステップとを備えているので、複数の限られた画像からより的確な中間画像を生成してより自然な画像を得ることが可能となる。
【発明を実施するための最良の形態】
【００１８】
（第１実施形態）
本実施形態では、本願発明の原理を用いてニューラルネットワークを用いて複数画像間のそれぞれの対応点を抽出し、対応点同士を線形補完して任意の場所の中間画像を生成するため、以下まず本願発明の原理について説明する。ここで、本願発明の対応点取得処理が極めて有効であるため、中間画像生成に当たって、線形補間により十分に適切でより実際の動きに近い動画像が得られるが、これに限られることなく本技術分野で知られるいずれの補間処理を採用することもできる。例えば、適当な重み付けなどをして処理を行うことができる。
【００１９】
より具体的に、図１を参照して２枚の異なる画像ＡおよびＢ（図１では画像１１０および１２０）をもとに、中間画像を生成する場合を想定すると、本願発明の原理によると、先ず画像１１０と画像１２０との間でそれぞれ対応する点を抽出する。ここで、元になる画像１１０および１２０はどのような画像でも良く、相互に関連性のあるものでも良いし、全く関連性のないものでもよい。つまり、典型的な例では、ある被写体があって実際にある動作をする前と、動作をした後の画像でも良いし、全然関連性のない例えば人間と動物の顔でも良い。本願発明は、画像の具体的性質にかかわらずより適切な対応点を抽出することができる。本願発明の原理を用いれば直感的に理解されるとおり、画像１１０上の任意の点に対応する画像１２０上の対応点を定めることができ、本願発明の原理を適用することによりこの対応点の抽出は自動的にコンピュータ等で処理することにより実行される。
【００２０】
このように画像１１０と画像１２０とのそれぞれの対応点が抽出されると、例えばそれらの対応点同士を結ぶ線上の中間点をプロットしていくとちょうど真ん中の中間画像１３０が得られる。このとき中間画像１３０上で画像１１０および１２０の各対応する点に対応する点は両点を結ぶ線分の中間点となる。中間点を取ると真ん中の画像となるが、対応点間を結ぶ線分の任意の比率となる点をプロットしていくことにより画像１１０と１２０との間の任意の位置における中間画像を得ることができる。
【００２１】
（本実施形態のシステム構成）
本実施形態のシステムは、上述のソフトウェアプログラム開発手法を用いたプログラム開発を支援する画像移動算出処理装置である。図２は、本実施形態のシステムの概要を示す図である。本システムでは、画像移動処理装置の制御部２０１に記憶手段であるデータベース２０４が接続されており、元の画像データが格納されていて、中間画像が算出されると必要であれば格納される。データベース２０４には本実施形態の処理を実行するプログラムを格納しておくこともできる。本実施形態では、データベース２０４は、制御部２０１の外部に接続されているように示されているが、これに限られることなくコンピュータ２０１内部のメモリを用いたり、図に示さないネットワークを介して他のデータベースに接続して利用したりすることもできる。
【００２２】
なお、制御部２０１は、画像処理など種々の処理を行うために必要な通常の機能、例えばＣＰＵ、ＲＯＭ、ＲＡＭのほか必要なインタフェースドライブを有しているものとする。画像は制御部２０１に接続されたディスプレイ２０２に表示されるが、コマンドを入力する際にメニューを表示したり、処理結果を表示したりもする。同様に入力機器はキーボード２０３に限らず、図示しないマウスや入力パッドなど本技術分野で知られる種々の仕様のものを用いることができる。
【００２３】
本システムの全体の構成は以上のようなものであるが、このようなハードウェアの条件の下、本実施形態の個別の処理の実行はソフトウェアプログラムがこのようなハードウェアにインストールされて行われる。各ソフトウェアは例えば図３に示すようなモジュール構成で示すことができるが、これは単なる例示であり、各モジュールの機能をさらにいくつかのモジュールで分担したり、いくつかのモジュールの機能を統合したモジュールを想定したりすることができるのはいうまでもない。以下に、各モジュール構成を説明するが、これらのモジュールが相互に連携を取って実行され、後述する本実施形態の処理が達成されるのである。
【００２４】
図３は、本実施形態の制御部２０１上で実行されるプログラムのモジュール構成を示す図である。特徴点抽出部３０１は、例えば２つの画像を複数の矩形領域に分割して、それぞれの領域における特徴量ベクトルを算出する。対応点抽出部３０２は、分割された領域とノードとを対応させてノード間の自己組織化写像を作成することにより、例えば最後の画像の任意の１つの領域について、位置ベクトル間の距離と算出された特徴量ベクトル間の距離とを引数とする探索関数の値が最小となる最後の画像の領域を探索し、探索された領域と、探索前の領域との空間差異を算出する。探索されたノードおよびその近傍のノードは一定の関数により更新される。対応点抽出部３０２は、以上の探索と更新を所定の回数繰り返しは、一定の収束が得られた段階で対応関係を確定して、データベース２０４に格納する等により保持する。中間画像算出部３０３は、全ての領域について２つの画像の対応点が決定した後対応点同士を、本実施形態では線形処理して任意の中間画像の対応点を取得し全ての対応点をプロットして中間画像を算出する。算出された中間画像は、動画像の１こまとしてデータベースに格納することができ、ディスプレイ２０２や図示しないプリンタに出力、または遠隔の装置に送信することができる。
【００２５】
（本実施形態の処理）
以上、本願発明の原理と本実施形態で用いられるシステムの構成について説明したが、次に具体的に本願発明の原理を適用した処理について２つの画像、最初の画像Ａおよび最後の画像Ｂを例に説明する。本実施例では、画像ＡおよびＢから中間画像を算出して画像Ａから始まって画像Ｂで終了する動画像が生成されることとなる。
【００２６】
（１）多重解像度の特徴量ベクトルの作成
図４は、本実施形態の画像移動算出処理の流れを示すフローチャートである。本実施形態ではまず、所与の画像をいずれかの解像度で分割し、ニューラルネットワークによる学習により対応領域を抽出しつつ、解像度を高めていって対応点を抽出する。このため、最初はＭ×Ｎの解像度で処理を進めることとし、２つの画像をＭ×Ｎ個の重ならない矩形領域に分割する（Ｓ４０１）。ここで、便宜上分割される領域は矩形としたが、これに限られずいずれの形態の領域にも分割することができる。分割された各領域について、その領域の特徴を示す特徴量を算出する。ここで、特徴量は本技術分野で使用することができるいずれの特徴を表す値を用いることができるが、本実施形態では主に輝度または輝度に対応する性質をあらわすいずれかの値の、その領域内での平均値、最大値、最小値、変極点の値、微分値、二次微分値などの数値のいずれか、あるいはいくつかを組み合わせたものを使用する。
【００２７】
本実施形態では、輝度および輝度に関連する情報を用いて特徴量としたが、画像によっては色情報も特徴を強く表している場合があり、このような場合は色差および関連情報を用いて効果的に処理を進めることもでき、その場合は特徴量の抽出方法が異なるだけであり、一旦特徴量を取得すれば以下の処理はほとんどそのまま使用することができる。同様に、その他画像の特徴を表すその他の属性が使用できれば以下の処理を行って本実施形態の対応点抽出が可能である。通常、特徴量としてはこれらの数値をいくつか、例えばｋ個組み合わせるため、ｋ次元ベクトルとなり、特徴量ベクトルが作成されることになる。
【００２８】
このようにして、特徴量ベクトルという概念を導入することにより、分割された各領域は画像上の領域の位置を示す位置ベクトルPi,jあるいは画像Ａの位置Ｘi,jおよび画像Ｂ上の位置Ｙi,jと特徴量ベクトルFi,j（１≦ｉ≦Ｍ、１≦j≦Ｎ）とで表されることとなり、ベクトルを含むそれらの情報用いて画像間の対応する点を抽出していくことができる。
【００２９】
（２）自己組織化写像を用いた特徴領域の抽出
次に各領域をニューラルネットワークのノードに置き換えて、特徴量ベクトルFi,jなどを属性として有するノードとすることにより、これらの自己組織化写像を作成して適切なノードを探索し、その結果をもとにノードを更新する処理を、更新による変位が一定範囲内となるまで繰り返すことにより適切な対応領域を抽出する。
【００３０】
（ｉ）写像の初期化
先ず図４のステップＳ４０２において、図５に示すようにＭ×Ｎ個に分割した領域に対応するようにＭ×Ｎのノードからなる自己組織化写像を作成すると、ノードi,jは特徴量ベクトルFi,jおよび位置ベクトル位置Ｘi,jおよび位置Ｙi,jを属性として有することとなる。ここで、まずＸi,j＝Ｙi,jを初期状態とする。すなわち、処理を開始する時点では、２つの画像は同一位置を対応点とし、その画像の状態により実際に対応する点に近づけていくのである。すなわち、初期段階では、図５に示すように画像Ａに対応する画像Ｂ上の点は同じ場所になっているが、本実施形態の処理が行われる結果、画像Ａに対応する点は画像Ｂ’上に対応付けできるようになる。
【００３１】
（ｉｉ）学習対象領域の選択
次に、画像Ｂで分割した矩形領域からランダムに処理の対象とする領域を選択する（Ｓ４０４）。実際には、画像Ｂ全体としてランダムに選択することにより、対応するノードが選択されそのノードについて後述する処理が実行される。選択された領域について対応点を抽出した後、さらに他の領域を選択して最終的に画像Ｂの前領域を網羅することになるが、本実施形態ではこの選択はランダムに行われる必要がある。すなわち、本実施形態では領域の選択に規則性を持たせると、領域によっては学習により本来の対応点と異なる点に収束し局所解になる可能性があるため、これを避けるようにランダムに選択する必要があるのである。使用する乱数は完全にランダムである必要はなく擬似乱数でも良く、一定のランダムさを有していれば良い。
【００３２】
この選択に際しては、対応点とは評価されない点や部分、例えば最初の画像に存在しないが最後の画像には存在するような部分、具体的には最初の画像が人物の横を向いた写真であり、最後の写真がその人物が正面を向いた写真である場合に最初隠れていた方の耳などは、その領域を処理しても対応する点は元々ないため、処理不能になるか、誤った点を抽出してしまう可能性がある。このような領域をそのままにして本実施形態の処理を進めると、無駄な処理が多くなり処理能力にも影響を及ぼす。したがって、本実施形態では、ガウス分布を用いてこのような異常な点を取り除いた後処理対象となる領域の選択を行う。
【００３３】
なお、本実施形態では、画像をＭ×Ｎの矩形に分割した結果、各矩形領域は相互に重なり合うことなく、コンピュータによる計算処理を円滑に行うことができるが、本願発明の原理は、本実施形態の処理例とは逆に領域ではなく対応点が基準となる。すなわち、本願発明は複数の画像間の対応点を求めるものであるから、もともと画像間の点同士を比較処理すればよく、画像中の任意の点を選択してその特徴量を導出することができれば、適当に点を選択して、選択された点を基準に処理を行うことができる。本実施形態では、輝度や色差を特徴量として用いるため、点そのものではなく点の周囲の一定の領域を対象にして特徴量を算出するほうがコンピュータを使用した処理では容易である場合が多い。この結果、本実施形態では便宜上領域を対象として処理し、領域の中心点同士を対応点として決定するが、点同士を最初から対応させつつ、その点の任意の領域を用いて特徴量を算出し処理を行うこともできる。この場合、本実施形態とは異なり、領域の形状はもとより、各領域は重なり合っても良いし、逆に隙間があってもよい。
【００３４】
（ｉｉｉ）ノードの探索
もっともらしい対応点に近づけるため、選択されたノードについての特徴量の所定の関数の値が最小となるノードを探索する（Ｓ４０５）。すなわち、特徴量に基づいて２つの画像で関連性がありそうな対応点を探索するため一定の類似度を示す関数を設定しその値が一定の値になるように処理していく。具体的には、本実施形態では類似関数Di,j(DPi,j(b)i,j,DFi,j(b))として、例えば以下のような値を用いる（類似関数Di,jは、類似するほど、すなわち類似度が高いほど低い値をとる関数である）。ここで、DPi,jは、現在の対応点と探索すべきノードとの位置ベクトル間の距離、すなわち幾何空間における距離を示しており、例えばＬ２ノルム||Pb-Ｙi,j||とすることができる。また、DFi,jは現在の対応点と探索すべきノードとの特徴量ベクトル間の距離、例えば輝度空間あるいは色空間の距離を示しており、例えば
【００３５】
【数１】
【００３６】
とすることができる。
【００３７】
（Ｉ）Di,j= DPi,j(b)+βDFi,j(b) ： βは輝度空間の幾何空間に対する重み
（II）Di,j= DPi,j(b)＊(DFi,j(b))β ： βは輝度空間の幾何空間に対する重み
類似関数として（Ｉ）または（II）のいずれかを任意に選択することができ、いずれも本願発明の実施に有効に供することができるが、（Ｉ）は線形になっているので比較的扱い易く効果も高いことが知られている。
【００３８】
（ｉｖ）隣接ノードの更新
類似関数の値が最小となるよう探索されたノードI,J＝arg min Di,j (b)およびその隣接ノードを以下の式に基づき更新する（Ｓ４０６）。
Yi,j(t)= Yi,j(t-1)+αδ(Xi,j(t)- Yi,j(t-1)) （２）
【００３９】
ここで、α（0＜α≦1）は、学習率係数であり、例えば0.01といった固定の値や単調減少関数を用いることができるが、これに限られず本技術分野で知られたいずれの適切な値を用いることができる。一般に、比較的動きの少ない画像間の対応点を探索する場合は、0.01といった比較的小さい定数を用いることにより、安定して収束させることができるが、動きの大きな画像間で対応点を探索する場合は、最初から小さいαを用いると極所解となり正確な対応点を見つけられないことがあるため、最初は比較的大きな値を取り後述のδのように単調に減少するような関数を用いることが効果的な場合もある。
【００４０】
δについては、tに対し単調減少し0以上の値をとる関数range(t)を想定すると、|I-i|≦range(t)かつ|J-j|≦range(t)のときδ＝1であり、それ以外ではδ＝0の値をとるものとする。なお、本実施形態では、図６に示すような対象点（領域）８０１の８個の近傍の領域について処理を行う8 Neighborsを使用する。すなわち、対象領域８０１の近傍が上記の式（２）により更新され一定の対応関係に収束する。これは、対象点の周囲の画像の状態を織り込むことによって、より適切な対応点の探索が可能になるからである。
【００４１】
本実施形態では、上述のように隣接ノードとして8 Neighborsを使用するが、これに限られること無く種々の本技術分野で知られた方法を用いることができる。例えば、4 Neighborsを使用することもできる。この場合、上述のδは|I-i|≦range(t)または|J-j|≦range(t)のときδ＝1であり、それ以外ではδ＝0の値をとるものとする。
【００４２】
このように更新した後、再度類似関数最小となるノードを探索し、以上の処理を繰り返し実行する（Ｓ４０７）。すなわち、上述の（ｉｉｉ）と(ｉｖ)の処理を一定以上の回数繰り返すことにより、上述の（ｉｉ）で選択した領域について対応領域を取得することができる。ランダムに選択した１つの領域について、上述のような処理を行って対応点を求め、その後やはりランダムに残りの領域について同様の処理を実行して画像全体の処理を行い、対応点の抽出を終了する（Ｓ４０３）。
【００４３】
このようにしてＭ×Ｎの解像度の対応点が得られると、図７に示すように段階的に解像度を上げて、Ｍ×Ｎの解像度でより正確な対応点を求める。通常、図７に示すように３段階程度で処理を行うが、これに限られることなく、システムや画像の特性に合わせてより少ない回数やより多い回数で処理することもできる。
【００４４】
ここで、一定の回数は、システムによっても異なるし、対象とする画像の性質によっても異なるが、本実施形態では例えばＭ×Ｎ個に分割した各領域について（ｉｉｉ）と(ｉｖ)の処理を１６回から６４回行い、Ｍ＝Ｎ＝２５６で３段階の解像度を条件に計算すると、約３００〜１２００万回繰り返す場合もある。この繰り返し回数は、回数自体として所定の値を実験等の結果により定めることもできるが、例えば（ｉｖ）の更新処理による変位が一定以下になることを繰り返し回数の判定基準とすることもできる。
【００４５】
（中間画像の生成）
以上の処理により元の複数画像について対応点を定めることができると、この情報に基づいて様々な画像処理が可能となる。本実施形態では、本願発明の種々の応用分野の中で、最も簡易なものとして、特に２枚の画像から画像と画像の間の中間画像の算出を行う。中間画像が得られれば、複数の静止画像として出力することもでき、毎秒一定数のこまを出力して動画を生成することもできる。例えば、上述したように画像Ａと画像Ｂとのそれぞれの対応点が抽出され、それらの対応点同士を結ぶ線上の中間点をプロットすると、中間画像上で画像ＡおよびＢの各対応点に対応する点は両点を結ぶ線分の中間点となる。このような中間点のような中間画像上の点を算出してプロットしていくと中間画像が生成される。中間点を取ると真ん中の画像となるが、対応点間を結ぶ線分の任意の比率となる点をプロットしていくことにより画像ＡとＢとの間の任意の位置における中間画像を得ることができるわけである。
【００４６】
本実施形態では、このように線形処理により比較的自然な中間画像を得られるが、これに限られること無く線形以外、すなわち一定の比率を用いずに画像Ｂに近づくにしたがって変化が大きくなるように重み付けしたり、中間画像の前後で変化が大きくなるようにしたりすることもできる。したがって、その所望するシステムの目的に応じて任意の重み付け関数を用い、またはその他本技術分野で知られたいずれかの方法で中間画像を生成することができる。
【００４７】
また、本実施形態では２枚の元の画像からその中間の画像を生成するが、その他にも本願発明の原理を用いて複数の画像間のそれぞれの対応点を抽出することができると様々な画像処理に応用することができる。例えば、３枚の画像を用いて上述の２枚の画像で行ったと同じような中間画像抽出処理により、種々の応用処理を実行させることができる。すなわち、例えば３枚の同一人物の顔の画像を用意し、これらを合成して種々の表情を生成することを考える。一般に、最も感情が表れるかの表情は泣き、笑い、怒った顔の３種であるから、これらを元の画像とする。まず、ステップ１として本実施形態の処理を各画像ペアごとに実行することにより３枚のそれぞれの画像の対応点を抽出する。次にステップ２として、２枚の画像ペアを任意に選択して所定の比率により第１の中間画像を生成し、その後残りの１枚の画像と第１の中間画像とに別の所定の比率を適用して、第２の中間画像を生成する。以上により、３種類の元の感情を適度に混合させた様々な顔の表情が得られる。所定の比率を変化させるだけで驚くほど多様な表情をもつ顔の画像を得ることができる。
【００４８】
このようにして得られる様々な例の１つが例えば図１に示すような画像である。
【００４９】
（第２実施形態）
上述の第１実施形態では、本願発明を予め与えられた複数の画像に適用して中間画像や、動画像を生成するものであったが、本実施形態では、インターネットにより接続されたサーバにクライアント装置がアクセスすることにより、サーバ内に有する複数の画像から中間画像を生成してクライアント装置に提供するものである。
【００５０】
本実施形態では、サーバはクライアント装置に対して、例えば商品広告や商品情報を提供するが、その際商品の画像に本願発明の技術を適用して画像処理を施し、顧客の興味をより引くようにすることができる。すなわち、顧客がクライアント装置から所望の商品を選択して情報の提供を要求すると、サーバは対応する商品のその他の情報とともに予め格納されている商品の画像に本願発明を適用して新たな画像を生成し、クライアント装置に送信する。具体的には、複数枚の商品画像から中間画像を生成するが、例えば自動車の正面からの写真と横方向からの写真を基に斜めから見た画像を生成して出力したり、生活用品の静止画から動画を生成して実際の使用状況を説明させたりすることができる。本願発明を使用すると、適切な対応点の抽出により自然な中間画像が得られるだけでなく、計算を効率化できるので、インターネットを介した対話型のシステムにも高速処理を行って対応可能なのである。
【００５１】
以上により、本願発明を用いることにより、インターネットを介した商品情報の提供が可能となる。
【図面の簡単な説明】
【００５２】
【図１】本発明にかかる一実施形態の画像と画像との間でそれぞれ対応する点を抽出することを説明する図である。
【図２】本発明にかかる一実施形態のシステム構成を示すブロック図である。
【図３】本実施形態の機能モジュールの構成を示す図である。
【図４】本実施形態の処理の一例を示すフローチャートである。
【図５】本実施形態の処理の対応点の探索について説明するための図である。
【図６】本実施形態の処理の近傍について説明するための図である。
【図７】本実施形態の処理の解像度について説明するための図である。
【符号の説明】
【００５３】
２０１ コンピュータ
２０２ 画面
２０３ 入力部
２０４ データベース
１０３ ネットワーク
１０４ サーバ
３０１ 特徴量抽出部
３０２ 対応点抽出部
３０３ 中間画像抽出部
【特許請求の範囲】
【請求項１】
ニューラルネットワークにより２つの画像間の対応点を抽出して画像を生成する方法であって、
前記２つの画像を各々相互に重ならない複数の領域に分割して、当該分割された領域のそれぞれにおける特徴量ベクトルを算出する特徴量算出ステップと、
第１の画像の任意の１つの領域について、位置ベクトル間の距離と前記算出された特徴量ベクトル間の距離とを引数とする探索関数の値が最小となる第２の画像の領域を探索する領域探索と、前記任意の１つの領域について探索された領域と、探索前の領域との空間差異により２つの画像間の対応関係マッピング情報を生成するマッピング情報生成とを複数回繰り返すことにより２つの画像間の対応点を抽出する抽出ステップと、
前記抽出された２つの画像間の任意の画像における各々の対応点の移動量を算出することにより中間画像を取得するステップと
を備えたことを特徴とする方法。
【請求項２】
前記特徴量ベクトルは、前記領域内の輝度を含むことを特徴とする請求項１に記載の方法。
【請求項３】
前記領域は、Ｍ×Ｎ個の矩形領域であることを特徴とする請求項１または２に記載の方法。
【請求項４】
前記抽出ステップは、前記Ｍ×Ｎ個の矩形領域に各々対応して作成されたＭ×Ｎ個のノードからなる自己組織化写像を用いて前記２つの画像間の対応点を抽出することを特徴とする請求項３に記載の方法。
【請求項５】
前記探索関数は、前記位置ベクトル間の距離と、前記算出された特徴量ベクトル間の距離に特徴量の位置に対する重みを乗算した値とを加算する関数であることを特徴とする請求項１ないし４のいずれかに記載の方法。
【請求項６】
前記抽出ステップは、前記第１の画像の任意の１つの領域をランダムに選択することを特徴とする請求項１ないし５のいずれかに記載の方法。
【請求項７】
前記マッピング情報生成は、前記探索した第２の画像の領域およびその近傍について、前記第１の画像の対応する領域との距離に学習率定数を乗じた値だけ当該対応する方向に移動させて、第１の画像の領域と対応する第２の画像の領域との関係をマッピング情報として生成することにより実行することを特徴とする請求項１ないし６のいずれかに記載の方法。
【請求項８】
前記抽出ステップは、前記領域探索およびマッピング情報生成を、前記マッピング生成で移動した移動量が所定の閾値以下になるまで繰り返すことを特徴とする請求項７に記載の方法。
【請求項９】
ニューラルネットワークにより２つの画像間の対応点を抽出して画像を生成する画像生成装置であって、
前記２つの画像を各々相互に重ならない複数の領域に分割して、当該分割された領域のそれぞれにおける特徴量ベクトルを算出する特徴量算出手段と、
第１の画像の任意の１つの領域について、位置ベクトル間の距離と前記算出された特徴量ベクトル間の距離とを引数とする探索関数の値が最小となる第２の画像の領域を探索する領域探索と、前記任意の１つの領域について探索された領域と、探索前の領域との空間差異により２つの画像間の対応関係マッピング情報を生成するマッピング情報生成とを複数回繰り返すことにより２つの画像間の対応点を抽出する抽出手段と、
前記抽出された２つの画像間の任意の画像における各々の対応点の移動量を算出することにより中間画像を取得する手段と
を備えたことを特徴とする画像移動を算出する画像生成装置。
【請求項１０】
コンピュータに、ニューラルネットワークにより２つの画像間の対応点を抽出して画像を生成する方法を実行させるプログラムであって、前記方法は、
前記２つの画像を各々相互に重ならない複数の領域に分割して、当該分割された領域のそれぞれにおける特徴量ベクトルを算出する特徴量算出ステップと、
第１の画像の任意の１つの領域について、位置ベクトル間の距離と前記算出された特徴量ベクトル間の距離とを引数とする探索関数の値が最小となる第２の画像の領域を探索する領域探索と、前記任意の１つの領域について探索された領域と、探索前の領域との空間差異により２つの画像間の対応関係マッピング情報を生成するマッピング情報生成とを複数回繰り返すことにより２つの画像間の対応点を抽出する抽出ステップと、
前記抽出された２つの画像間の任意の画像における各々の対応点の移動量を算出することにより中間画像を取得するステップと
を備えたことを特徴とするプログラム。
【請求項１】
ニューラルネットワークにより２つの画像間の対応点を抽出して画像を生成する方法であって、
前記２つの画像を各々相互に重ならない複数の領域に分割して、当該分割された領域のそれぞれにおける特徴量ベクトルを算出する特徴量算出ステップと、
第１の画像の任意の１つの領域について、位置ベクトル間の距離と前記算出された特徴量ベクトル間の距離とを引数とする探索関数の値が最小となる第２の画像の領域を探索する領域探索と、前記任意の１つの領域について探索された領域と、探索前の領域との空間差異により２つの画像間の対応関係マッピング情報を生成するマッピング情報生成とを複数回繰り返すことにより２つの画像間の対応点を抽出する抽出ステップと、
前記抽出された２つの画像間の任意の画像における各々の対応点の移動量を算出することにより中間画像を取得するステップと
を備えたことを特徴とする方法。
【請求項２】
前記特徴量ベクトルは、前記領域内の輝度を含むことを特徴とする請求項１に記載の方法。
【請求項３】
前記領域は、Ｍ×Ｎ個の矩形領域であることを特徴とする請求項１または２に記載の方法。
【請求項４】
前記抽出ステップは、前記Ｍ×Ｎ個の矩形領域に各々対応して作成されたＭ×Ｎ個のノードからなる自己組織化写像を用いて前記２つの画像間の対応点を抽出することを特徴とする請求項３に記載の方法。
【請求項５】
前記探索関数は、前記位置ベクトル間の距離と、前記算出された特徴量ベクトル間の距離に特徴量の位置に対する重みを乗算した値とを加算する関数であることを特徴とする請求項１ないし４のいずれかに記載の方法。
【請求項６】
前記抽出ステップは、前記第１の画像の任意の１つの領域をランダムに選択することを特徴とする請求項１ないし５のいずれかに記載の方法。
【請求項７】
前記マッピング情報生成は、前記探索した第２の画像の領域およびその近傍について、前記第１の画像の対応する領域との距離に学習率定数を乗じた値だけ当該対応する方向に移動させて、第１の画像の領域と対応する第２の画像の領域との関係をマッピング情報として生成することにより実行することを特徴とする請求項１ないし６のいずれかに記載の方法。
【請求項８】
前記抽出ステップは、前記領域探索およびマッピング情報生成を、前記マッピング生成で移動した移動量が所定の閾値以下になるまで繰り返すことを特徴とする請求項７に記載の方法。
【請求項９】
ニューラルネットワークにより２つの画像間の対応点を抽出して画像を生成する画像生成装置であって、
前記２つの画像を各々相互に重ならない複数の領域に分割して、当該分割された領域のそれぞれにおける特徴量ベクトルを算出する特徴量算出手段と、
第１の画像の任意の１つの領域について、位置ベクトル間の距離と前記算出された特徴量ベクトル間の距離とを引数とする探索関数の値が最小となる第２の画像の領域を探索する領域探索と、前記任意の１つの領域について探索された領域と、探索前の領域との空間差異により２つの画像間の対応関係マッピング情報を生成するマッピング情報生成とを複数回繰り返すことにより２つの画像間の対応点を抽出する抽出手段と、
前記抽出された２つの画像間の任意の画像における各々の対応点の移動量を算出することにより中間画像を取得する手段と
を備えたことを特徴とする画像移動を算出する画像生成装置。
【請求項１０】
コンピュータに、ニューラルネットワークにより２つの画像間の対応点を抽出して画像を生成する方法を実行させるプログラムであって、前記方法は、
前記２つの画像を各々相互に重ならない複数の領域に分割して、当該分割された領域のそれぞれにおける特徴量ベクトルを算出する特徴量算出ステップと、
第１の画像の任意の１つの領域について、位置ベクトル間の距離と前記算出された特徴量ベクトル間の距離とを引数とする探索関数の値が最小となる第２の画像の領域を探索する領域探索と、前記任意の１つの領域について探索された領域と、探索前の領域との空間差異により２つの画像間の対応関係マッピング情報を生成するマッピング情報生成とを複数回繰り返すことにより２つの画像間の対応点を抽出する抽出ステップと、
前記抽出された２つの画像間の任意の画像における各々の対応点の移動量を算出することにより中間画像を取得するステップと
を備えたことを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２００９−２０５５５３（Ｐ２００９−２０５５５３Ａ）
【公開日】平成２１年９月１０日（２００９．９．１０）
【国際特許分類】
【出願番号】特願２００８−４８７５３（Ｐ２００８−４８７５３）
【出願日】平成２０年２月２８日（２００８．２．２８）
【出願人】（５９３１６５４８７）学校法人金沢工業大学 (202)
【Ｆターム（参考）】
【公開日】平成２１年９月１０日（２００９．９．１０）
【国際特許分類】
【出願日】平成２０年２月２８日（２００８．２．２８）
【出願人】（５９３１６５４８７）学校法人金沢工業大学 (202)
【Ｆターム（参考）】
[ Back to top ]