画像ワープ方法及びそのコンピュータプログラム製品
【課題】画像ワープ方法及びそのコンピュータプログラム製品を提供する。
【解決手段】この画像ワープ方法は、元の視線角に対応する元の画像の複数の元の特徴点を決定するステップと、該元の画像内の該複数の元の特徴点の元の画素座標を計算するステップと、該複数の元の特徴点にそれぞれ対応する該元の画像の複数の新しい特徴点を決定するステップと、該元の画像上に射影された該複数の新しい特徴点の新しい画素座標を計算するステップと、該元の画像内の該元の特徴点の該元の画素座標をそれぞれ対応する該新しい特徴点の該新しい画素座標に近づけて、該元の画像を新しい視線角に対応する新しい画像に変形させるステップとを含む。
【解決手段】この画像ワープ方法は、元の視線角に対応する元の画像の複数の元の特徴点を決定するステップと、該元の画像内の該複数の元の特徴点の元の画素座標を計算するステップと、該複数の元の特徴点にそれぞれ対応する該元の画像の複数の新しい特徴点を決定するステップと、該元の画像上に射影された該複数の新しい特徴点の新しい画素座標を計算するステップと、該元の画像内の該元の特徴点の該元の画素座標をそれぞれ対応する該新しい特徴点の該新しい画素座標に近づけて、該元の画像を新しい視線角に対応する新しい画像に変形させるステップとを含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像ワープ（warp）方法及びそのコンピュータプログラム製品に関する。特に、本発明は、元の画像の複数の元の特徴点を複数の対応する新しい特徴点に近づけることにより元の画像を新しい画像に変形させる画像ワープ方法及びそのコンピュータプログラム製品に関する。
【背景技術】
【０００２】
立体画像を求める現代人の要求のために、立体画像に関する話題が注目を集めている。この要求を満たすために、立体画像に関する技術が高度化している。近年、３次元テレビ（３ＤＴＶ）等の立体画像表示装置が市場に徐々に普及しており、人々は立体画像がもたらす視覚体験を楽しむことが出来る。しかし、立体画像取得装置は技術的な問題により立体画像表示装置ほど普及していない。従って、立体画像取得技術は立体画像表示装置ほど急速には発達しておらず、この事が３次元マルチメディア装置の普及を妨げてきた。
【０００３】
立体画像取得装置の普及を妨げる主要な問題の１つは、２次元（２Ｄ）画像を３Ｄ画像に変換するための技術が洗練されてない事である。従って、２Ｄ画像を３Ｄ画像に効果的に変換する方法が当分野で重要な課題となっている。現在、２Ｄ画像を３Ｄ画像に変換するために通常使用される技術手段はＤＩＢＲ（depth-image-based rendering）法である。ＤＩＢＲ法によると、予め得た画像奥行き情報を使用して、元の２Ｄ画像に対応する各画素の奥行きを取得し、新しい視線角と元の視線角の間の変位を画素間の画素奥行き差から計算して、異なる視線角の画像を生成する。異なる視線角の画像群を結合して１つの多視線角画像にすることで、２Ｄ画像が３Ｄ画像に変換される。
【０００４】
残念ながら、ＤＩＢＲ法が依存する画像奥行き情報を取得するのは困難である。一般に画像奥行き情報は人手による処理又はコンピュータ視覚技術により取得される。しかし、人手による処理は多くの労力と時間を必要とし、コンピュータ視覚技術も計算に多くの時間を必要とする。また、人手による処理かコンピュータ視覚技術かにかかわらず、ノイズのために画像奥行き情報を正確に推定するのはほぼ不可能である。また、画像内の対象物間に存在する遮蔽現象は、変位後の新しい視線角の画像内に空所を生成する。何といっても、ＤＩＢＲ法の最も顕著な欠点は、このような空所を埋めるために隣接する画素を使用しなければならず、それにより偽エッジが発生することが多い事である。
【０００５】
上記で説明したように、２Ｄ画像の多くはＤＩＢＲ法で３Ｄ画像に変換され、この方法は画像奥行き情報の精度により制限されるので、立体画像取得技術の発達のボトルネックが存在する。従って、立体画像表示装置の普及を促進するために、当分野において２Ｄ画像を３Ｄ画像に変換する従来の技術の欠点を克服する努力がなされる必要がある。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明の１つの目的は、画像ワープ方法及びそのコンピュータプログラム製品を提供することである。詳細には、本発明に係る画像ワープ方法及びそのコンピュータプログラム製品は、元の画像の複数の元の特徴点を複数の対応する新しい特徴点に近づけることで該元の画像を新しい視線角に対応する新しい画像に変形させる。本発明に係る画像ワープ方法及びそのコンピュータプログラム製品は、画像奥行き情報の必要なく新しい視線角に対応する画像を正確に生成できるので、従来のＤＩＢＲ法を使用することなく２Ｄ画像を３Ｄ画像に変換できる。言い換えると、本発明に係る画像ワープ方法及びそのコンピュータプログラム製品は、２Ｄ画像を３Ｄ画像に変換するためにＤＩＢＲ法を使用する場合の欠点を効果的に克服して立体画像表示装置の普及を促進できる。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明は画像処理機能を有しプロセッサを備える装置において使用される画像ワープ方法を提供する。この画像ワープ方法は
（ａ）該プロセッサは元の視線角に対応する元の画像の複数の元の特徴点を決定するステップと、
（ｂ）該プロセッサは該元の画像内の該複数の元の特徴点の元の画素座標を計算するステップと、
（ｃ）該プロセッサは該複数の元の特徴点にそれぞれ対応する該元の画像の複数の新しい特徴点を決定するステップと、
（ｄ）該プロセッサは該元の画像上に射影された該複数の新しい特徴点の新しい画素座標を計算するステップと、
（ｅ）該プロセッサは該元の画像の該元の特徴点の該元の画素座標をそれぞれ対応する該新しい特徴点の該新しい画素座標に近づけて、該元の画像を新しい視線角に対応する新しい画像に変形させるステップと
を含む。
【０００８】
上記目的を達成するために、本発明は画像ワープ方法を実行するためのプログラムが記憶されたコンピュータプログラム製品も提供する。該プログラムはコンピュータ装置にロードされると、
元の視線角に対応する元の画像の複数の元の特徴点を決定するためのコードＡと、
該元の画像内の該複数の元の特徴点の元の画素座標を計算するためのコードＢと、
該複数の元の特徴点にそれぞれ対応する該元の画像の複数の新しい特徴点を決定するためのコードＣと、
該元の画像上に射影された該複数の新しい特徴点の新しい画素座標を計算するためのコードＤと、
該元の画像の該元の特徴点の該元の画素座標をそれぞれ対応する該新しい特徴点の該新しい画素座標に近づけて、該元の画像を新しい視線角に対応する新しい画像に変形させるためのコードＥと
を実行する。
本発明の詳細な技術及び好適な実施形態を、当業者が本発明の特徴をよく理解できるように添付の図面を参照しながら下記に説明する。
【図面の簡単な説明】
【０００９】
【図１】本発明の第１実施形態のフローチャート図である。
【図２】本発明に係る第１実施形態のステップＳ９の詳細なフローチャート図である。
【図３】本発明に係るグリッド画像の変形を例示する概略図である。
【図４】本発明に係る第１実施形態のステップＳ５の詳細なフローチャート図である。
【発明を実施するための形態】
【００１０】
下記において、実施形態を参照しながら本発明を説明する。しかし、これらの実施形態は、本発明を実施形態で説明するどの特定の環境、用途、又は特定の実施例にも限定するよう意図されていない。従って、これらの実施形態の説明は、本発明を限定するのでなく例示のためだけである。なお、下記の実施形態と添付の図面においては、本発明に関連しない要素は省略されており、添付の図面中の個々の要素間の寸法関係は理解を容易にするためだけに示されており、実際の比率を限定するものではない。
【実施例】
【００１１】
本発明の第１実施形態は画像ワープ方法である。第１実施形態の画像ワープ方法をフローチャート図である図１を参照しながら説明する。本実施形態の画像ワープ方法は画像処理機能を有する装置内で使用される。この装置は該画像ワープ方法のステップ群を実行するよう構成されたプロセッサを少なくとも備える。なお、簡潔さのために画像処理機能を有する該装置の他の要素（例えば、メモリ、画像入出力装置など）は、本実施形態において説明を省略する。画像処理機能を有する該装置はカメラ、パーソナルコンピュータ（ＰＣ）、携帯電話、ノート型パソコン、又は他の画像処理機能を有する装置であってよい。
【００１２】
本実施形態の処理手順を下記に詳細に説明する。図１に示すように、ステップＳ１でプロセッサが元の画像の複数の元の特徴点を決定する。元の画像は元の視線に対応する。ステップＳ３で、プロセッサは元の画像内の該複数の元の特徴点の元の画素座標を計算する。具体的には、本実施形態においては、元の画像はある視線角で見た２Ｄ画像である。例えば、カメラマンが対象物の画像をとるためにその対象物を向いている方向が、ちょうど本実施形態で言う元の視線角であり、得られた画像がちょうど本実施形態で言う元の画像である。また、本実施形態における元の画像は、物理的な画像（例えば、写真又は絵）か、又は画像データ（例えば、複数のビットからなる画像データ）の形態であってよい。両方とも本発明の範囲に入る。
【００１３】
本実施形態では、元の特徴点は元の画像の主要な特徴部分を表すために使用される。これらの元の特徴点を決定する方法を当業者は容易に理解するであろう。従って、更なる説明を省略する。ステップＳ３の目的は元の画像内の元の特徴点の位置を画素座標により規定することである。
【００１４】
ステップＳ５ではプロセッサは元の画像の複数の新しい特徴点を決定する。新しい特徴点はそれぞれ該元の画像の元の特徴点に対応する。次に、ステップＳ７ではプロセッサは元の画像上に射影された該新しい特徴点の新しい画素座標を計算する。本実施形態では該新しい特徴点は、元の画像を元の視線角と異なる新しい視線角で見た時に決定した特徴点と等価であり、該新しい特徴点により表わされる画像特徴部分は、該元の特徴点により表わされる画像特徴部分と同一である。例えば、元の画像が鉛筆で、元の特徴点が元の視線角で見た該鉛筆の先を表わすために使用される場合、新しい特徴点は新しい視線角での該鉛筆の先を表わす。言い換えると、新しい特徴点はそれぞれ元の画像の元の特徴点に対応するという事は、同じ画像特徴部分を異なる視線角で見ることを意味する。
【００１５】
ステップＳ７の目的は元の画像内の新しい特徴点の位置を画素座標により規定することである。新しい特徴点により表される画像特徴部分は元の特徴点により表される画像特徴部分と同じであるが、詳細には新しい特徴点は元の画像を元の視線角と異なる新しい視線角で見ることにより決定される。従って、元の画像上に射影された該新しい各特徴点の新しい画素座標は、対応する元の画素座標と視線角が異なるために異なる。
【００１６】
ステップＳ９においてプロセッサは、元の画像の元の特徴点の元の画素座標をそれぞれ、対応する新しい特徴点の新しい画素座標に近づけて該元の画像を新しい画像に変形させる。該新しい画像は新しい視線角に対応する。具体的には、ステップＳ９の目的は、新しい画像が特徴点を新しい視線角で見ることで得られる画像と等価となるよう元の各特徴点と対応する新しい特徴点との距離を減少させることで元の画像を新しい画像に変形させることである。
【００１７】
本実施形態で説明した画像ワープ方法はコンピュータプログラム製品により実現されてよい。コンピュータプログラム製品をコンピュータにロードすると、コンピュータはコンピュータプログラム製品に含まれる複数のコードを実行して本実施形態の画像ワープ方法を実施する。このコンピュータプログラム製品は有形のコンピュータ読出し可能媒体、例えば読出し専用メモリ（ＲＯＭ）、フラッシュメモリ、フロッピー（登録商標）ディスク、ハードディスク、コンパクトディスク（ＣＤ）、携帯ディスク、磁気テープ、ネットワークにアクセス可能なデータベース、又は同じ機能を有し当業者に周知の任意の他の記憶媒体の形態で具現化されてよい。
【００１８】
本発明の第２実施形態も画像ワープ方法である。第２実施形態の画像ワープ方法を図１及び図２を参照しながら説明する。図２はステップＳ９の詳細なフローチャート図である。本実施形態の画像ワープ方法の特に言及されていないか又は第１実施形態と同じ符号が付されたステップは全て、第１実施形態と同じであり、更なる説明を省略する。
【００１９】
第２実施形態はステップＳ９が図２に示すステップを更に含む点が第１実施形態と異なる。図２に示すように、ステップＳ９１においてプロセッサは元の画像を複数のグリッド画像に分割する。各グリッド画像は複数のグリッド点を備え、各グリッド点はグリッド点座標を有する。具体的には、各グリッド点のグリッド点座標は、該元の画像内のグリッド点の画素位置に対応する画素座標を指す。
【００２０】
本実施形態のグリッド画像は様々な形状、例えば正方形、三角形、六角形、八角形、多角形などであってよい。また、様々な形状のグリッド画像は様々な数のグリッド点を備えてよい。例えば、三角形のグリッド画像は３つのグリッド点を有し、六角形のグリッド画像は６つのグリッド点を有し、八角形のグリッド画像は８つのグリッド点を有するなど。しかし、便宜上、下記の説明では正方形のグリッド画像を例にとる。従って、本実施形態ではプロセッサは元の画像を複数の正方形画像に分割する。各正方形画像の４つの頂点はグリッド点を表し、各グリッド点のグリッド点座標は元の画像内の画素座標である。
【００２１】
図２に示すように、ステップＳ９３においてプロセッサは、各グリッド画像のグリッド点のグリッド点座標を移動させることで元の画像の元の特徴点の元の画素座標をそれぞれ、対応する新しい特徴点の新しい画素座標に近づける。具体的には、ステップＳ９３の目的は、変形された画像が新しい視線角に対応するよう元の画像の正方形画像群を変形させることである。
【００２２】
図３を参照しながら画像を変形させるプロセスを更に説明する。図３は１つの正方形画像の変形を例示する概略図である。図３に示すように、元の正方形画像１は４つのグリッド点Ｐと画像内の元の特徴点１１と新しい特徴点１３とを備える。４つのグリッド点Ｐのグリッド点座標を移動させて元の正方形グリッド画像１を変形させ／引きずり元の特徴点１１の元の画素座標を新しい特徴点１３の新しい画素座標に接近させることで、新しいグリッド画像３が生成される。図３に示す正方形画像を変形させるプロセスは元の画像を分割して得られた１つの正方形画像を変形させるプロセスを例示するだけであり、該正方形画像は１つだけの特徴点を有するが、正方形画像が複数の特徴点を備え、複数のそのような正方形画像を有する元の画像を新しい画像に変形させるプロセスの実施形態を当業者は図３から容易に理解するであろう。従って、更なる説明を省略する。
【００２３】
本実施形態のステップＳ９５及びＳ９７はステップＳ９３と組み合わせて実行される。ステップＳ９５では、プロセッサは各グリッド画像のグリッド点のグリッド点座標を移動させるプロセスにおいて各グリッド画像内の全ての元の特徴点と対応するグリッド画像のグリッド点との間の位置変更大きさを限定する。一方、ステップＳ９７では、プロセッサは各グリッド画像のグリッド点のグリッド点座標を移動させるプロセスにおいて各グリッド画像のグリッド点間の相互位置関係を限定する。ステップＳ９５及びＳ９７において、各グリッド画像のグリッド点のグリッド点座標を対応する該各グリッド画像の画素輝度分散に応じて更に移動させてもよい。しかし、本発明はこれに限定されない。
【００２４】
また、本実施形態のステップＳ９５及びＳ９７は内容保存ワープ方法により実行されてもよいが、本発明はこれに限定されない。内容保存ワープ方法は２つの概念、即ち、データ条件とスムース条件に従い、データ条件とスムース条件の間の均衡点が得られる事を要求する。データ条件とスムース条件はステップＳ９５及びＳ９７にそれぞれ対応する。
【００２５】
データ条件は、正方形画像のグリッド点のグリッド点座標を制限して、それが属する該正方形画像内の特徴点の位置が該正方形画像の変形において余り変化しないようにするために使用される。一方、スムース条件は、正方形画像のグリッド点間の相互位置関係が該正方形画像の変形において余り変化しないよう制限して、該正方形画像の過度のねじれを回避するために使用される。従って、データ条件とスムース条件を調整することで、内容保存の条件下で正方形画像を変形することが出来る。なお、各正方形画像の画素輝度分散をデータ条件とスムース条件の重み値として使用できる。この場合、より小さな画素輝度分散は高変形範囲が存在する可能性が高いことを表す。しかし、本発明は画素輝度分散に限定されない。
【００２６】
上記のステップに加えて、第２実施形態は第１実施形態で述べた全てのステップを実行してもよい。第２実施形態が第１実施形態のこれらのステップを実行する方法を当業者は第１実施形態の説明に基づいて容易に理解するであろう。従って、更なる説明を省略する。また、本実施形態で説明した画像ワープ方法はコンピュータプログラム製品により実現されてよい。コンピュータプログラム製品をコンピュータにロードすると、コンピュータはコンピュータプログラム製品に含まれる複数のコードを実行して本実施形態の画像ワープ方法を実施する。このコンピュータプログラム製品は有形のコンピュータ読出し可能媒体、例えば読出し専用メモリ（ＲＯＭ）、フラッシュメモリ、フロッピーディスク、ハードディスク、コンパクトディスク（ＣＤ）、携帯ディスク、磁気テープ、ネットワークにアクセス可能なデータベース、又は同じ機能を有し当業者に周知の任意の他の記憶媒体の形態で具現化されてよい。
【００２７】
本発明の第３実施形態も画像ワープ方法である。第３実施形態の画像ワープ方法を図１及び図４を参照しながら説明する。図４はステップＳ５の詳細なフローチャート図である。本実施形態の画像ワープ方法の特に言及されていないか又は第１実施形態と同じ符号が付されたステップは全て、第１実施形態と同じであり、更なる説明を省略する。
【００２８】
第３実施形態はステップＳ５が図４に示すステップを更に含む点が第１実施形態と異なる。ステップＳ５１においてプロセッサは基準画像の複数の基準特徴点を決定する。基準特徴点は元の画像の元の特徴点に対応する。本実施形態の基準画像は該元の画像を別の視線角で見ることで得られる画像である。例えば、カメラマンが対象物の画像をとるためにその対象物を向いている方向が、ちょうど本実施形態で言う元の視線角であり、得られた画像がちょうど本実施形態で言う元の画像である。この場合、カメラマンが水平に単位距離だけ移動すると、その時、カメラマンが対象物を向いている方向がちょうど本実施形態で言う別の視線角であり、得られた画像がちょうど本実施形態で言う基準画像である。また、第１実施形態で説明したのと同様に、基準特徴点は元の画像の元の特徴点に対応する事は、基準特徴点により表される画像特徴部分は元の特徴点により表される画像特徴部分と同じである事を意味する。
【００２９】
また、ステップＳ５３においてプロセッサは元の画像上に射影された複数の基準特徴点の基準画素座標を計算し、元の画素座標と基準画素座標とに応じて挿入アルゴリズムを使用して新しい特徴点を決定する。具体的には、ステップＳ５３の目的は、元の画像内の基準特徴点の位置を画素座標を使用して規定する事であり、ステップＳ５５の目的は、ステップＳ５で述べた新しい特徴点を挿入アルゴリズムを使用して決定する事である。
【００３０】
なお、本実施形態で使用する挿入アルゴリズムは内挿アルゴリズム又は外挿アルゴリズムであり、本実施形態ではステップＳ５で述べた新しい特徴点を元の画素座標と基準画素座標とに応じて挿入アルゴリズムを使用して決定する。言い換えると、本実施形態は２つ以上の画像（例えば、元の画像と基準画像）の同じ画像特徴部分を表す特徴点を計算するだけでよい。次に元の画像を異なる視線角で見た時の複数の新しい特徴点を挿入アルゴリズムを使用して計算できる。
【００３１】
上記のステップに加えて、第３実施形態は第１実施形態で述べた全てのステップを実行してもよい。第３実施形態が第１実施形態のこれらのステップを実行する方法を当業者は第１実施形態の説明に基づいて容易に理解するであろう。従って、更なる説明を省略する。また、本実施形態で説明した画像ワープ方法はコンピュータプログラム製品により実現されてよい。コンピュータプログラム製品をコンピュータにロードすると、コンピュータはコンピュータプログラム製品に含まれる複数のコードを実行して本実施形態の画像ワープ方法を実施する。このコンピュータプログラム製品は有形のコンピュータ読出し可能媒体、例えば読出し専用メモリ（ＲＯＭ）、フラッシュメモリ、フロッピーディスク、ハードディスク、コンパクトディスク（ＣＤ）、携帯ディスク、磁気テープ、ネットワークにアクセス可能なデータベース、又は同じ機能を有し当業者に周知の任意の他の記憶媒体の形態で具現化されてよい。
【００３２】
本発明の第４実施形態も画像ワープ方法である。第４実施形態の画像ワープ方法を図１〜図４を参照しながら説明する。本実施形態はステップＳ９が図２に示すステップを更に含み、ステップＳ５が図４に示すステップを更に含む点が上記実施形態と異なる。言い換えると、本実施形態の画像ワープ方法は図１、図３、及び図４のステップを含む。従って、本実施形態は上記実施形態で述べた全てのステップを実行してよい。第４実施形態がこれらのステップを実行する方法を当業者は第１〜第３実施形態の説明に基づいて容易に理解するであろう。従って、更なる説明を省略する。
【００３３】
本実施形態で説明した画像ワープ方法はコンピュータプログラム製品により実現されてよい。コンピュータプログラム製品をコンピュータにロードすると、コンピュータはコンピュータプログラム製品に含まれる複数のコードを実行して本実施形態の画像ワープ方法を実施する。このコンピュータプログラム製品は有形のコンピュータ読出し可能媒体、例えば読出し専用メモリ（ＲＯＭ）、フラッシュメモリ、フロッピーディスク、ハードディスク、コンパクトディスク（ＣＤ）、携帯ディスク、磁気テープ、ネットワークにアクセス可能なデータベース、又は同じ機能を有し当業者に周知の任意の他の記憶媒体の形態で具現化されてよい。
【００３４】
上記で説明したように、本発明に係る画像ワープ方法及びそのコンピュータプログラム製品は、元の画像の複数の元の特徴点を対応する新しい特徴点に近づけることで該元の画像を新しい視線角に対応する新しい画像に変形する。本発明に係る画像ワープ方法及びそのコンピュータプログラム製品は、画像奥行き情報の必要なく新しい視線角に対応する画像を正確に生成できるので、従来のＤＩＢＲ法を使用することなく２Ｄ画像を３Ｄ画像に変換できる。言い換えると、本発明に係る画像ワープ方法及びそのコンピュータプログラム製品は、２Ｄ画像を３Ｄ画像に変換するためにＤＩＢＲ法を使用する場合の欠点を効果的に克服して立体画像表示装置の普及を促進できる。
【００３５】
上記開示は詳細な技術内容とその独創的な特徴に関する。当業者は本発明の開示と示唆とに基づいてその特徴から逸脱することなく様々な変更及び置換えを想到する可能性がある。そのような変更及び置換えは上記説明において完全には開示されていないが、添付の請求項に実質的に記載されている。
【符号の説明】
【００３６】
１ 元のグリッド画像
３ 新しいグリッド画像
１１ 元の特徴点
１３ 新しい特徴点
Ｐ グリッド点
【技術分野】
【０００１】
本発明は画像ワープ（warp）方法及びそのコンピュータプログラム製品に関する。特に、本発明は、元の画像の複数の元の特徴点を複数の対応する新しい特徴点に近づけることにより元の画像を新しい画像に変形させる画像ワープ方法及びそのコンピュータプログラム製品に関する。
【背景技術】
【０００２】
立体画像を求める現代人の要求のために、立体画像に関する話題が注目を集めている。この要求を満たすために、立体画像に関する技術が高度化している。近年、３次元テレビ（３ＤＴＶ）等の立体画像表示装置が市場に徐々に普及しており、人々は立体画像がもたらす視覚体験を楽しむことが出来る。しかし、立体画像取得装置は技術的な問題により立体画像表示装置ほど普及していない。従って、立体画像取得技術は立体画像表示装置ほど急速には発達しておらず、この事が３次元マルチメディア装置の普及を妨げてきた。
【０００３】
立体画像取得装置の普及を妨げる主要な問題の１つは、２次元（２Ｄ）画像を３Ｄ画像に変換するための技術が洗練されてない事である。従って、２Ｄ画像を３Ｄ画像に効果的に変換する方法が当分野で重要な課題となっている。現在、２Ｄ画像を３Ｄ画像に変換するために通常使用される技術手段はＤＩＢＲ（depth-image-based rendering）法である。ＤＩＢＲ法によると、予め得た画像奥行き情報を使用して、元の２Ｄ画像に対応する各画素の奥行きを取得し、新しい視線角と元の視線角の間の変位を画素間の画素奥行き差から計算して、異なる視線角の画像を生成する。異なる視線角の画像群を結合して１つの多視線角画像にすることで、２Ｄ画像が３Ｄ画像に変換される。
【０００４】
残念ながら、ＤＩＢＲ法が依存する画像奥行き情報を取得するのは困難である。一般に画像奥行き情報は人手による処理又はコンピュータ視覚技術により取得される。しかし、人手による処理は多くの労力と時間を必要とし、コンピュータ視覚技術も計算に多くの時間を必要とする。また、人手による処理かコンピュータ視覚技術かにかかわらず、ノイズのために画像奥行き情報を正確に推定するのはほぼ不可能である。また、画像内の対象物間に存在する遮蔽現象は、変位後の新しい視線角の画像内に空所を生成する。何といっても、ＤＩＢＲ法の最も顕著な欠点は、このような空所を埋めるために隣接する画素を使用しなければならず、それにより偽エッジが発生することが多い事である。
【０００５】
上記で説明したように、２Ｄ画像の多くはＤＩＢＲ法で３Ｄ画像に変換され、この方法は画像奥行き情報の精度により制限されるので、立体画像取得技術の発達のボトルネックが存在する。従って、立体画像表示装置の普及を促進するために、当分野において２Ｄ画像を３Ｄ画像に変換する従来の技術の欠点を克服する努力がなされる必要がある。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明の１つの目的は、画像ワープ方法及びそのコンピュータプログラム製品を提供することである。詳細には、本発明に係る画像ワープ方法及びそのコンピュータプログラム製品は、元の画像の複数の元の特徴点を複数の対応する新しい特徴点に近づけることで該元の画像を新しい視線角に対応する新しい画像に変形させる。本発明に係る画像ワープ方法及びそのコンピュータプログラム製品は、画像奥行き情報の必要なく新しい視線角に対応する画像を正確に生成できるので、従来のＤＩＢＲ法を使用することなく２Ｄ画像を３Ｄ画像に変換できる。言い換えると、本発明に係る画像ワープ方法及びそのコンピュータプログラム製品は、２Ｄ画像を３Ｄ画像に変換するためにＤＩＢＲ法を使用する場合の欠点を効果的に克服して立体画像表示装置の普及を促進できる。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明は画像処理機能を有しプロセッサを備える装置において使用される画像ワープ方法を提供する。この画像ワープ方法は
（ａ）該プロセッサは元の視線角に対応する元の画像の複数の元の特徴点を決定するステップと、
（ｂ）該プロセッサは該元の画像内の該複数の元の特徴点の元の画素座標を計算するステップと、
（ｃ）該プロセッサは該複数の元の特徴点にそれぞれ対応する該元の画像の複数の新しい特徴点を決定するステップと、
（ｄ）該プロセッサは該元の画像上に射影された該複数の新しい特徴点の新しい画素座標を計算するステップと、
（ｅ）該プロセッサは該元の画像の該元の特徴点の該元の画素座標をそれぞれ対応する該新しい特徴点の該新しい画素座標に近づけて、該元の画像を新しい視線角に対応する新しい画像に変形させるステップと
を含む。
【０００８】
上記目的を達成するために、本発明は画像ワープ方法を実行するためのプログラムが記憶されたコンピュータプログラム製品も提供する。該プログラムはコンピュータ装置にロードされると、
元の視線角に対応する元の画像の複数の元の特徴点を決定するためのコードＡと、
該元の画像内の該複数の元の特徴点の元の画素座標を計算するためのコードＢと、
該複数の元の特徴点にそれぞれ対応する該元の画像の複数の新しい特徴点を決定するためのコードＣと、
該元の画像上に射影された該複数の新しい特徴点の新しい画素座標を計算するためのコードＤと、
該元の画像の該元の特徴点の該元の画素座標をそれぞれ対応する該新しい特徴点の該新しい画素座標に近づけて、該元の画像を新しい視線角に対応する新しい画像に変形させるためのコードＥと
を実行する。
本発明の詳細な技術及び好適な実施形態を、当業者が本発明の特徴をよく理解できるように添付の図面を参照しながら下記に説明する。
【図面の簡単な説明】
【０００９】
【図１】本発明の第１実施形態のフローチャート図である。
【図２】本発明に係る第１実施形態のステップＳ９の詳細なフローチャート図である。
【図３】本発明に係るグリッド画像の変形を例示する概略図である。
【図４】本発明に係る第１実施形態のステップＳ５の詳細なフローチャート図である。
【発明を実施するための形態】
【００１０】
下記において、実施形態を参照しながら本発明を説明する。しかし、これらの実施形態は、本発明を実施形態で説明するどの特定の環境、用途、又は特定の実施例にも限定するよう意図されていない。従って、これらの実施形態の説明は、本発明を限定するのでなく例示のためだけである。なお、下記の実施形態と添付の図面においては、本発明に関連しない要素は省略されており、添付の図面中の個々の要素間の寸法関係は理解を容易にするためだけに示されており、実際の比率を限定するものではない。
【実施例】
【００１１】
本発明の第１実施形態は画像ワープ方法である。第１実施形態の画像ワープ方法をフローチャート図である図１を参照しながら説明する。本実施形態の画像ワープ方法は画像処理機能を有する装置内で使用される。この装置は該画像ワープ方法のステップ群を実行するよう構成されたプロセッサを少なくとも備える。なお、簡潔さのために画像処理機能を有する該装置の他の要素（例えば、メモリ、画像入出力装置など）は、本実施形態において説明を省略する。画像処理機能を有する該装置はカメラ、パーソナルコンピュータ（ＰＣ）、携帯電話、ノート型パソコン、又は他の画像処理機能を有する装置であってよい。
【００１２】
本実施形態の処理手順を下記に詳細に説明する。図１に示すように、ステップＳ１でプロセッサが元の画像の複数の元の特徴点を決定する。元の画像は元の視線に対応する。ステップＳ３で、プロセッサは元の画像内の該複数の元の特徴点の元の画素座標を計算する。具体的には、本実施形態においては、元の画像はある視線角で見た２Ｄ画像である。例えば、カメラマンが対象物の画像をとるためにその対象物を向いている方向が、ちょうど本実施形態で言う元の視線角であり、得られた画像がちょうど本実施形態で言う元の画像である。また、本実施形態における元の画像は、物理的な画像（例えば、写真又は絵）か、又は画像データ（例えば、複数のビットからなる画像データ）の形態であってよい。両方とも本発明の範囲に入る。
【００１３】
本実施形態では、元の特徴点は元の画像の主要な特徴部分を表すために使用される。これらの元の特徴点を決定する方法を当業者は容易に理解するであろう。従って、更なる説明を省略する。ステップＳ３の目的は元の画像内の元の特徴点の位置を画素座標により規定することである。
【００１４】
ステップＳ５ではプロセッサは元の画像の複数の新しい特徴点を決定する。新しい特徴点はそれぞれ該元の画像の元の特徴点に対応する。次に、ステップＳ７ではプロセッサは元の画像上に射影された該新しい特徴点の新しい画素座標を計算する。本実施形態では該新しい特徴点は、元の画像を元の視線角と異なる新しい視線角で見た時に決定した特徴点と等価であり、該新しい特徴点により表わされる画像特徴部分は、該元の特徴点により表わされる画像特徴部分と同一である。例えば、元の画像が鉛筆で、元の特徴点が元の視線角で見た該鉛筆の先を表わすために使用される場合、新しい特徴点は新しい視線角での該鉛筆の先を表わす。言い換えると、新しい特徴点はそれぞれ元の画像の元の特徴点に対応するという事は、同じ画像特徴部分を異なる視線角で見ることを意味する。
【００１５】
ステップＳ７の目的は元の画像内の新しい特徴点の位置を画素座標により規定することである。新しい特徴点により表される画像特徴部分は元の特徴点により表される画像特徴部分と同じであるが、詳細には新しい特徴点は元の画像を元の視線角と異なる新しい視線角で見ることにより決定される。従って、元の画像上に射影された該新しい各特徴点の新しい画素座標は、対応する元の画素座標と視線角が異なるために異なる。
【００１６】
ステップＳ９においてプロセッサは、元の画像の元の特徴点の元の画素座標をそれぞれ、対応する新しい特徴点の新しい画素座標に近づけて該元の画像を新しい画像に変形させる。該新しい画像は新しい視線角に対応する。具体的には、ステップＳ９の目的は、新しい画像が特徴点を新しい視線角で見ることで得られる画像と等価となるよう元の各特徴点と対応する新しい特徴点との距離を減少させることで元の画像を新しい画像に変形させることである。
【００１７】
本実施形態で説明した画像ワープ方法はコンピュータプログラム製品により実現されてよい。コンピュータプログラム製品をコンピュータにロードすると、コンピュータはコンピュータプログラム製品に含まれる複数のコードを実行して本実施形態の画像ワープ方法を実施する。このコンピュータプログラム製品は有形のコンピュータ読出し可能媒体、例えば読出し専用メモリ（ＲＯＭ）、フラッシュメモリ、フロッピー（登録商標）ディスク、ハードディスク、コンパクトディスク（ＣＤ）、携帯ディスク、磁気テープ、ネットワークにアクセス可能なデータベース、又は同じ機能を有し当業者に周知の任意の他の記憶媒体の形態で具現化されてよい。
【００１８】
本発明の第２実施形態も画像ワープ方法である。第２実施形態の画像ワープ方法を図１及び図２を参照しながら説明する。図２はステップＳ９の詳細なフローチャート図である。本実施形態の画像ワープ方法の特に言及されていないか又は第１実施形態と同じ符号が付されたステップは全て、第１実施形態と同じであり、更なる説明を省略する。
【００１９】
第２実施形態はステップＳ９が図２に示すステップを更に含む点が第１実施形態と異なる。図２に示すように、ステップＳ９１においてプロセッサは元の画像を複数のグリッド画像に分割する。各グリッド画像は複数のグリッド点を備え、各グリッド点はグリッド点座標を有する。具体的には、各グリッド点のグリッド点座標は、該元の画像内のグリッド点の画素位置に対応する画素座標を指す。
【００２０】
本実施形態のグリッド画像は様々な形状、例えば正方形、三角形、六角形、八角形、多角形などであってよい。また、様々な形状のグリッド画像は様々な数のグリッド点を備えてよい。例えば、三角形のグリッド画像は３つのグリッド点を有し、六角形のグリッド画像は６つのグリッド点を有し、八角形のグリッド画像は８つのグリッド点を有するなど。しかし、便宜上、下記の説明では正方形のグリッド画像を例にとる。従って、本実施形態ではプロセッサは元の画像を複数の正方形画像に分割する。各正方形画像の４つの頂点はグリッド点を表し、各グリッド点のグリッド点座標は元の画像内の画素座標である。
【００２１】
図２に示すように、ステップＳ９３においてプロセッサは、各グリッド画像のグリッド点のグリッド点座標を移動させることで元の画像の元の特徴点の元の画素座標をそれぞれ、対応する新しい特徴点の新しい画素座標に近づける。具体的には、ステップＳ９３の目的は、変形された画像が新しい視線角に対応するよう元の画像の正方形画像群を変形させることである。
【００２２】
図３を参照しながら画像を変形させるプロセスを更に説明する。図３は１つの正方形画像の変形を例示する概略図である。図３に示すように、元の正方形画像１は４つのグリッド点Ｐと画像内の元の特徴点１１と新しい特徴点１３とを備える。４つのグリッド点Ｐのグリッド点座標を移動させて元の正方形グリッド画像１を変形させ／引きずり元の特徴点１１の元の画素座標を新しい特徴点１３の新しい画素座標に接近させることで、新しいグリッド画像３が生成される。図３に示す正方形画像を変形させるプロセスは元の画像を分割して得られた１つの正方形画像を変形させるプロセスを例示するだけであり、該正方形画像は１つだけの特徴点を有するが、正方形画像が複数の特徴点を備え、複数のそのような正方形画像を有する元の画像を新しい画像に変形させるプロセスの実施形態を当業者は図３から容易に理解するであろう。従って、更なる説明を省略する。
【００２３】
本実施形態のステップＳ９５及びＳ９７はステップＳ９３と組み合わせて実行される。ステップＳ９５では、プロセッサは各グリッド画像のグリッド点のグリッド点座標を移動させるプロセスにおいて各グリッド画像内の全ての元の特徴点と対応するグリッド画像のグリッド点との間の位置変更大きさを限定する。一方、ステップＳ９７では、プロセッサは各グリッド画像のグリッド点のグリッド点座標を移動させるプロセスにおいて各グリッド画像のグリッド点間の相互位置関係を限定する。ステップＳ９５及びＳ９７において、各グリッド画像のグリッド点のグリッド点座標を対応する該各グリッド画像の画素輝度分散に応じて更に移動させてもよい。しかし、本発明はこれに限定されない。
【００２４】
また、本実施形態のステップＳ９５及びＳ９７は内容保存ワープ方法により実行されてもよいが、本発明はこれに限定されない。内容保存ワープ方法は２つの概念、即ち、データ条件とスムース条件に従い、データ条件とスムース条件の間の均衡点が得られる事を要求する。データ条件とスムース条件はステップＳ９５及びＳ９７にそれぞれ対応する。
【００２５】
データ条件は、正方形画像のグリッド点のグリッド点座標を制限して、それが属する該正方形画像内の特徴点の位置が該正方形画像の変形において余り変化しないようにするために使用される。一方、スムース条件は、正方形画像のグリッド点間の相互位置関係が該正方形画像の変形において余り変化しないよう制限して、該正方形画像の過度のねじれを回避するために使用される。従って、データ条件とスムース条件を調整することで、内容保存の条件下で正方形画像を変形することが出来る。なお、各正方形画像の画素輝度分散をデータ条件とスムース条件の重み値として使用できる。この場合、より小さな画素輝度分散は高変形範囲が存在する可能性が高いことを表す。しかし、本発明は画素輝度分散に限定されない。
【００２６】
上記のステップに加えて、第２実施形態は第１実施形態で述べた全てのステップを実行してもよい。第２実施形態が第１実施形態のこれらのステップを実行する方法を当業者は第１実施形態の説明に基づいて容易に理解するであろう。従って、更なる説明を省略する。また、本実施形態で説明した画像ワープ方法はコンピュータプログラム製品により実現されてよい。コンピュータプログラム製品をコンピュータにロードすると、コンピュータはコンピュータプログラム製品に含まれる複数のコードを実行して本実施形態の画像ワープ方法を実施する。このコンピュータプログラム製品は有形のコンピュータ読出し可能媒体、例えば読出し専用メモリ（ＲＯＭ）、フラッシュメモリ、フロッピーディスク、ハードディスク、コンパクトディスク（ＣＤ）、携帯ディスク、磁気テープ、ネットワークにアクセス可能なデータベース、又は同じ機能を有し当業者に周知の任意の他の記憶媒体の形態で具現化されてよい。
【００２７】
本発明の第３実施形態も画像ワープ方法である。第３実施形態の画像ワープ方法を図１及び図４を参照しながら説明する。図４はステップＳ５の詳細なフローチャート図である。本実施形態の画像ワープ方法の特に言及されていないか又は第１実施形態と同じ符号が付されたステップは全て、第１実施形態と同じであり、更なる説明を省略する。
【００２８】
第３実施形態はステップＳ５が図４に示すステップを更に含む点が第１実施形態と異なる。ステップＳ５１においてプロセッサは基準画像の複数の基準特徴点を決定する。基準特徴点は元の画像の元の特徴点に対応する。本実施形態の基準画像は該元の画像を別の視線角で見ることで得られる画像である。例えば、カメラマンが対象物の画像をとるためにその対象物を向いている方向が、ちょうど本実施形態で言う元の視線角であり、得られた画像がちょうど本実施形態で言う元の画像である。この場合、カメラマンが水平に単位距離だけ移動すると、その時、カメラマンが対象物を向いている方向がちょうど本実施形態で言う別の視線角であり、得られた画像がちょうど本実施形態で言う基準画像である。また、第１実施形態で説明したのと同様に、基準特徴点は元の画像の元の特徴点に対応する事は、基準特徴点により表される画像特徴部分は元の特徴点により表される画像特徴部分と同じである事を意味する。
【００２９】
また、ステップＳ５３においてプロセッサは元の画像上に射影された複数の基準特徴点の基準画素座標を計算し、元の画素座標と基準画素座標とに応じて挿入アルゴリズムを使用して新しい特徴点を決定する。具体的には、ステップＳ５３の目的は、元の画像内の基準特徴点の位置を画素座標を使用して規定する事であり、ステップＳ５５の目的は、ステップＳ５で述べた新しい特徴点を挿入アルゴリズムを使用して決定する事である。
【００３０】
なお、本実施形態で使用する挿入アルゴリズムは内挿アルゴリズム又は外挿アルゴリズムであり、本実施形態ではステップＳ５で述べた新しい特徴点を元の画素座標と基準画素座標とに応じて挿入アルゴリズムを使用して決定する。言い換えると、本実施形態は２つ以上の画像（例えば、元の画像と基準画像）の同じ画像特徴部分を表す特徴点を計算するだけでよい。次に元の画像を異なる視線角で見た時の複数の新しい特徴点を挿入アルゴリズムを使用して計算できる。
【００３１】
上記のステップに加えて、第３実施形態は第１実施形態で述べた全てのステップを実行してもよい。第３実施形態が第１実施形態のこれらのステップを実行する方法を当業者は第１実施形態の説明に基づいて容易に理解するであろう。従って、更なる説明を省略する。また、本実施形態で説明した画像ワープ方法はコンピュータプログラム製品により実現されてよい。コンピュータプログラム製品をコンピュータにロードすると、コンピュータはコンピュータプログラム製品に含まれる複数のコードを実行して本実施形態の画像ワープ方法を実施する。このコンピュータプログラム製品は有形のコンピュータ読出し可能媒体、例えば読出し専用メモリ（ＲＯＭ）、フラッシュメモリ、フロッピーディスク、ハードディスク、コンパクトディスク（ＣＤ）、携帯ディスク、磁気テープ、ネットワークにアクセス可能なデータベース、又は同じ機能を有し当業者に周知の任意の他の記憶媒体の形態で具現化されてよい。
【００３２】
本発明の第４実施形態も画像ワープ方法である。第４実施形態の画像ワープ方法を図１〜図４を参照しながら説明する。本実施形態はステップＳ９が図２に示すステップを更に含み、ステップＳ５が図４に示すステップを更に含む点が上記実施形態と異なる。言い換えると、本実施形態の画像ワープ方法は図１、図３、及び図４のステップを含む。従って、本実施形態は上記実施形態で述べた全てのステップを実行してよい。第４実施形態がこれらのステップを実行する方法を当業者は第１〜第３実施形態の説明に基づいて容易に理解するであろう。従って、更なる説明を省略する。
【００３３】
本実施形態で説明した画像ワープ方法はコンピュータプログラム製品により実現されてよい。コンピュータプログラム製品をコンピュータにロードすると、コンピュータはコンピュータプログラム製品に含まれる複数のコードを実行して本実施形態の画像ワープ方法を実施する。このコンピュータプログラム製品は有形のコンピュータ読出し可能媒体、例えば読出し専用メモリ（ＲＯＭ）、フラッシュメモリ、フロッピーディスク、ハードディスク、コンパクトディスク（ＣＤ）、携帯ディスク、磁気テープ、ネットワークにアクセス可能なデータベース、又は同じ機能を有し当業者に周知の任意の他の記憶媒体の形態で具現化されてよい。
【００３４】
上記で説明したように、本発明に係る画像ワープ方法及びそのコンピュータプログラム製品は、元の画像の複数の元の特徴点を対応する新しい特徴点に近づけることで該元の画像を新しい視線角に対応する新しい画像に変形する。本発明に係る画像ワープ方法及びそのコンピュータプログラム製品は、画像奥行き情報の必要なく新しい視線角に対応する画像を正確に生成できるので、従来のＤＩＢＲ法を使用することなく２Ｄ画像を３Ｄ画像に変換できる。言い換えると、本発明に係る画像ワープ方法及びそのコンピュータプログラム製品は、２Ｄ画像を３Ｄ画像に変換するためにＤＩＢＲ法を使用する場合の欠点を効果的に克服して立体画像表示装置の普及を促進できる。
【００３５】
上記開示は詳細な技術内容とその独創的な特徴に関する。当業者は本発明の開示と示唆とに基づいてその特徴から逸脱することなく様々な変更及び置換えを想到する可能性がある。そのような変更及び置換えは上記説明において完全には開示されていないが、添付の請求項に実質的に記載されている。
【符号の説明】
【００３６】
１ 元のグリッド画像
３ 新しいグリッド画像
１１ 元の特徴点
１３ 新しい特徴点
Ｐ グリッド点
【特許請求の範囲】
【請求項１】
画像処理機能を有しプロセッサを備える装置において使用される画像ワープ方法であって、
（ａ）該プロセッサは元の視線角に対応する元の画像の複数の元の特徴点を決定するステップと、
（ｂ）該プロセッサは該元の画像内の該複数の元の特徴点の元の画素座標を計算するステップと、
（ｃ）該プロセッサは該複数の元の特徴点にそれぞれ対応する該元の画像の複数の新しい特徴点を決定するステップと、
（ｄ）該プロセッサは該元の画像上に射影された該複数の新しい特徴点の新しい画素座標を計算するステップと、
（ｅ）該プロセッサは該元の画像の該元の特徴点の該元の画素座標をそれぞれ対応する該新しい特徴点の該新しい画素座標に近づけて、該元の画像を新しい視線角に対応する新しい画像に変形させるステップと
を含む画像ワープ方法。
【請求項２】
前記ステップ（ｅ）は
（ｅ１）前記プロセッサは前記元の画像を複数のグリッド画像に分割するステップと、
なお、該各グリッド画像は複数のグリッド点を備え、該各グリッド点はグリッド点座標を有する、
（ｅ２）該プロセッサは該各グリッド画像の該グリッド点の該グリッド点座標を移動させることで該元の画像の前記元の特徴点の前記元の画素座標をそれぞれ対応する前記新しい特徴点の前記新しい画素座標に近づけるステップと、
（ｅ３）該プロセッサは該各グリッド画像の該グリッド点の該グリッド点座標を移動させる時、該各グリッド画像内の全ての該元の特徴点と対応する該グリッド画像の該グリッド点との間の位置変更大きさを限定するステップと、
（ｅ４）該プロセッサは該各グリッド画像の該グリッド点の該グリッド点座標を移動させる時、該各グリッド画像の該グリッド点間の相互位置関係を限定するステップと
を更に含む請求項１に記載の画像ワープ方法。
【請求項３】
前記各グリッド画像の前記複数のグリッド点の前記グリッド点座標を対応する該各グリッド画像の画素輝度分散に応じて移動させる請求項２に記載の画像ワープ方法。
【請求項４】
前記ステップ（ｃ）は
（ｃ１）前記プロセッサは基準画像の複数の基準特徴点を決定するステップと、なお、該基準特徴点はそれぞれ前記元の画像の前記元の特徴点に対応する、
（ｃ２）該プロセッサは該元の画像上に射影された該複数の基準特徴点の基準画素座標を計算するステップと、
（ｃ３）該プロセッサは挿入アルゴリズムを使用して前記元の画素座標と該基準画素座標とに応じて前記複数の新しい特徴点を決定するステップと
を更に含む請求項１に記載の画像ワープ方法。
【請求項５】
前記挿入アルゴリズムは内挿アルゴリズム又は外挿アルゴリズムである請求項４に記載の画像ワープ方法。
【請求項６】
前記ステップ（ｃ）は
（ｃ１）前記プロセッサは基準画像の複数の基準特徴点を決定するステップと、なお、該基準特徴点はそれぞれ前記元の画像の前記元の特徴点に対応する、
（ｃ２）該プロセッサは該元の画像上に射影された該複数の基準特徴点の基準画素座標を計算するステップと、
（ｃ３）該プロセッサは挿入アルゴリズムを使用して前記元の画素座標と該基準画素座標とに応じて前記複数の新しい特徴点を決定するステップと
を更に含む請求項２に記載の画像ワープ方法。
【請求項７】
前記挿入アルゴリズムは内挿アルゴリズム又は外挿アルゴリズムである請求項６に記載の画像ワープ方法。
【請求項８】
前記ステップ（ｃ）は
（ｃ１）前記プロセッサは基準画像の複数の基準特徴点を決定するステップと、なお、該基準特徴点はそれぞれ前記元の画像の前記元の特徴点に対応する、
（ｃ２）該プロセッサは該元の画像上に射影された該複数の基準特徴点の基準画素座標を計算するステップと、
（ｃ３）該プロセッサは挿入アルゴリズムを使用して前記元の画素座標と該基準画素座標とに応じて前記複数の新しい特徴点を決定するステップと
を更に含む請求項３に記載の画像ワープ方法。
【請求項９】
前記挿入アルゴリズムは内挿アルゴリズム又は外挿アルゴリズムである請求項８に記載の画像ワープ方法。
【請求項１０】
画像ワープ方法を実行するためのプログラムが記憶されたコンピュータプログラム製品 であって、該プログラムはコンピュータ装置にロードされて、
元の視線角に対応する元の画像の複数の元の特徴点を決定するためのコードＡと、
該元の画像内の該複数の元の特徴点の元の画素座標を計算するためのコードＢと、
該複数の元の特徴点にそれぞれ対応する該元の画像の複数の新しい特徴点を決定するためのコードＣと、
該元の画像上に射影された該複数の新しい特徴点の新しい画素座標を計算するためのコードＤと、
該元の画像の該元の特徴点の該元の画素座標をそれぞれ対応する該新しい特徴点の該新しい画素座標に近づけて、該元の画像を新しい視線角に対応する新しい画像に変形させるためのコードＥと
を実行するコンピュータプログラム製品。
【請求項１１】
前記コードＥは
前記元の画像を複数のグリッド画像に分割するためのコードＥ１と、
なお、該各グリッド画像は複数のグリッド点を備え、該各グリッド点はグリッド点座標を有する、
該各グリッド画像の該グリッド点の該グリッド点座標を移動させることで該元の画像の前記元の特徴点の前記元の画素座標をそれぞれ対応する前記新しい特徴点の前記新しい画素座標に近づけるためのコードＥ２と、
該各グリッド画像の該グリッド点の該グリッド点座標を移動させる時、該各グリッド画像内の全ての該元の特徴点と対応する該グリッド画像の該グリッド点との間の位置変更大きさを限定するためのコードＥ３と、
該各グリッド画像の該グリッド点の該グリッド点座標を移動させる時、該各グリッド画像の該グリッド点間の相互位置関係を限定するためのコードＥ４と
を更に含む請求項１０に記載のコンピュータプログラム製品。
【請求項１２】
前記各グリッド画像の前記複数のグリッド点の前記グリッド点座標を対応する該各グリッド画像の画素輝度分散に応じて移動させる請求項１１に記載のコンピュータプログラム製品。
【請求項１３】
前記コードＣは
基準画像の複数の基準特徴点を決定するためのコードＣ１と、なお、該基準特徴点はそれぞれ前記元の画像の前記元の特徴点に対応する、
該元の画像上に射影された該複数の基準特徴点の基準画素座標を計算するためのコードＣ２と、
挿入アルゴリズムを使用して前記元の画素座標と該基準画素座標とに応じて前記複数の新しい特徴点を決定するためのコードＣ３と
を更に含む請求項１０に記載のコンピュータプログラム製品。
【請求項１４】
前記挿入アルゴリズムは内挿アルゴリズム又は外挿アルゴリズムである請求項１３に記載のコンピュータプログラム製品。
【請求項１５】
前記コードＣは
基準画像の複数の基準特徴点を決定するためのコードＣ１と、なお、該基準特徴点はそれぞれ前記元の画像の前記元の特徴点に対応する、
該元の画像上に射影された該複数の基準特徴点の基準画素座標を計算するためのコードＣ２と、
挿入アルゴリズムを使用して前記元の画素座標と該基準画素座標とに応じて前記複数の新しい特徴点を決定するためのコードＣ３と
を更に含む請求項１１に記載のコンピュータプログラム製品。
【請求項１６】
前記挿入アルゴリズムは内挿アルゴリズム又は外挿アルゴリズムである請求項１５に記載のコンピュータプログラム製品。
【請求項１７】
前記コードＣは
基準画像の複数の基準特徴点を決定するためのコードＣ１と、なお、該基準特徴点はそれぞれ前記元の画像の前記元の特徴点に対応する、
該元の画像上に射影された該複数の基準特徴点の基準画素座標を計算するためのコードＣ２と、
挿入アルゴリズムを使用して前記元の画素座標と該基準画素座標とに応じて前記複数の新しい特徴点を決定するためのコードＣ３と
を更に含む請求項１２に記載のコンピュータプログラム製品。
【請求項１８】
前記挿入アルゴリズムは内挿アルゴリズム又は外挿アルゴリズムである請求項１７に記載のコンピュータプログラム製品。
【請求項１】
画像処理機能を有しプロセッサを備える装置において使用される画像ワープ方法であって、
（ａ）該プロセッサは元の視線角に対応する元の画像の複数の元の特徴点を決定するステップと、
（ｂ）該プロセッサは該元の画像内の該複数の元の特徴点の元の画素座標を計算するステップと、
（ｃ）該プロセッサは該複数の元の特徴点にそれぞれ対応する該元の画像の複数の新しい特徴点を決定するステップと、
（ｄ）該プロセッサは該元の画像上に射影された該複数の新しい特徴点の新しい画素座標を計算するステップと、
（ｅ）該プロセッサは該元の画像の該元の特徴点の該元の画素座標をそれぞれ対応する該新しい特徴点の該新しい画素座標に近づけて、該元の画像を新しい視線角に対応する新しい画像に変形させるステップと
を含む画像ワープ方法。
【請求項２】
前記ステップ（ｅ）は
（ｅ１）前記プロセッサは前記元の画像を複数のグリッド画像に分割するステップと、
なお、該各グリッド画像は複数のグリッド点を備え、該各グリッド点はグリッド点座標を有する、
（ｅ２）該プロセッサは該各グリッド画像の該グリッド点の該グリッド点座標を移動させることで該元の画像の前記元の特徴点の前記元の画素座標をそれぞれ対応する前記新しい特徴点の前記新しい画素座標に近づけるステップと、
（ｅ３）該プロセッサは該各グリッド画像の該グリッド点の該グリッド点座標を移動させる時、該各グリッド画像内の全ての該元の特徴点と対応する該グリッド画像の該グリッド点との間の位置変更大きさを限定するステップと、
（ｅ４）該プロセッサは該各グリッド画像の該グリッド点の該グリッド点座標を移動させる時、該各グリッド画像の該グリッド点間の相互位置関係を限定するステップと
を更に含む請求項１に記載の画像ワープ方法。
【請求項３】
前記各グリッド画像の前記複数のグリッド点の前記グリッド点座標を対応する該各グリッド画像の画素輝度分散に応じて移動させる請求項２に記載の画像ワープ方法。
【請求項４】
前記ステップ（ｃ）は
（ｃ１）前記プロセッサは基準画像の複数の基準特徴点を決定するステップと、なお、該基準特徴点はそれぞれ前記元の画像の前記元の特徴点に対応する、
（ｃ２）該プロセッサは該元の画像上に射影された該複数の基準特徴点の基準画素座標を計算するステップと、
（ｃ３）該プロセッサは挿入アルゴリズムを使用して前記元の画素座標と該基準画素座標とに応じて前記複数の新しい特徴点を決定するステップと
を更に含む請求項１に記載の画像ワープ方法。
【請求項５】
前記挿入アルゴリズムは内挿アルゴリズム又は外挿アルゴリズムである請求項４に記載の画像ワープ方法。
【請求項６】
前記ステップ（ｃ）は
（ｃ１）前記プロセッサは基準画像の複数の基準特徴点を決定するステップと、なお、該基準特徴点はそれぞれ前記元の画像の前記元の特徴点に対応する、
（ｃ２）該プロセッサは該元の画像上に射影された該複数の基準特徴点の基準画素座標を計算するステップと、
（ｃ３）該プロセッサは挿入アルゴリズムを使用して前記元の画素座標と該基準画素座標とに応じて前記複数の新しい特徴点を決定するステップと
を更に含む請求項２に記載の画像ワープ方法。
【請求項７】
前記挿入アルゴリズムは内挿アルゴリズム又は外挿アルゴリズムである請求項６に記載の画像ワープ方法。
【請求項８】
前記ステップ（ｃ）は
（ｃ１）前記プロセッサは基準画像の複数の基準特徴点を決定するステップと、なお、該基準特徴点はそれぞれ前記元の画像の前記元の特徴点に対応する、
（ｃ２）該プロセッサは該元の画像上に射影された該複数の基準特徴点の基準画素座標を計算するステップと、
（ｃ３）該プロセッサは挿入アルゴリズムを使用して前記元の画素座標と該基準画素座標とに応じて前記複数の新しい特徴点を決定するステップと
を更に含む請求項３に記載の画像ワープ方法。
【請求項９】
前記挿入アルゴリズムは内挿アルゴリズム又は外挿アルゴリズムである請求項８に記載の画像ワープ方法。
【請求項１０】
画像ワープ方法を実行するためのプログラムが記憶されたコンピュータプログラム製品 であって、該プログラムはコンピュータ装置にロードされて、
元の視線角に対応する元の画像の複数の元の特徴点を決定するためのコードＡと、
該元の画像内の該複数の元の特徴点の元の画素座標を計算するためのコードＢと、
該複数の元の特徴点にそれぞれ対応する該元の画像の複数の新しい特徴点を決定するためのコードＣと、
該元の画像上に射影された該複数の新しい特徴点の新しい画素座標を計算するためのコードＤと、
該元の画像の該元の特徴点の該元の画素座標をそれぞれ対応する該新しい特徴点の該新しい画素座標に近づけて、該元の画像を新しい視線角に対応する新しい画像に変形させるためのコードＥと
を実行するコンピュータプログラム製品。
【請求項１１】
前記コードＥは
前記元の画像を複数のグリッド画像に分割するためのコードＥ１と、
なお、該各グリッド画像は複数のグリッド点を備え、該各グリッド点はグリッド点座標を有する、
該各グリッド画像の該グリッド点の該グリッド点座標を移動させることで該元の画像の前記元の特徴点の前記元の画素座標をそれぞれ対応する前記新しい特徴点の前記新しい画素座標に近づけるためのコードＥ２と、
該各グリッド画像の該グリッド点の該グリッド点座標を移動させる時、該各グリッド画像内の全ての該元の特徴点と対応する該グリッド画像の該グリッド点との間の位置変更大きさを限定するためのコードＥ３と、
該各グリッド画像の該グリッド点の該グリッド点座標を移動させる時、該各グリッド画像の該グリッド点間の相互位置関係を限定するためのコードＥ４と
を更に含む請求項１０に記載のコンピュータプログラム製品。
【請求項１２】
前記各グリッド画像の前記複数のグリッド点の前記グリッド点座標を対応する該各グリッド画像の画素輝度分散に応じて移動させる請求項１１に記載のコンピュータプログラム製品。
【請求項１３】
前記コードＣは
基準画像の複数の基準特徴点を決定するためのコードＣ１と、なお、該基準特徴点はそれぞれ前記元の画像の前記元の特徴点に対応する、
該元の画像上に射影された該複数の基準特徴点の基準画素座標を計算するためのコードＣ２と、
挿入アルゴリズムを使用して前記元の画素座標と該基準画素座標とに応じて前記複数の新しい特徴点を決定するためのコードＣ３と
を更に含む請求項１０に記載のコンピュータプログラム製品。
【請求項１４】
前記挿入アルゴリズムは内挿アルゴリズム又は外挿アルゴリズムである請求項１３に記載のコンピュータプログラム製品。
【請求項１５】
前記コードＣは
基準画像の複数の基準特徴点を決定するためのコードＣ１と、なお、該基準特徴点はそれぞれ前記元の画像の前記元の特徴点に対応する、
該元の画像上に射影された該複数の基準特徴点の基準画素座標を計算するためのコードＣ２と、
挿入アルゴリズムを使用して前記元の画素座標と該基準画素座標とに応じて前記複数の新しい特徴点を決定するためのコードＣ３と
を更に含む請求項１１に記載のコンピュータプログラム製品。
【請求項１６】
前記挿入アルゴリズムは内挿アルゴリズム又は外挿アルゴリズムである請求項１５に記載のコンピュータプログラム製品。
【請求項１７】
前記コードＣは
基準画像の複数の基準特徴点を決定するためのコードＣ１と、なお、該基準特徴点はそれぞれ前記元の画像の前記元の特徴点に対応する、
該元の画像上に射影された該複数の基準特徴点の基準画素座標を計算するためのコードＣ２と、
挿入アルゴリズムを使用して前記元の画素座標と該基準画素座標とに応じて前記複数の新しい特徴点を決定するためのコードＣ３と
を更に含む請求項１２に記載のコンピュータプログラム製品。
【請求項１８】
前記挿入アルゴリズムは内挿アルゴリズム又は外挿アルゴリズムである請求項１７に記載のコンピュータプログラム製品。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２０１３−９７７８２（Ｐ２０１３−９７７８２Ａ）
【公開日】平成２５年５月２０日（２０１３．５．２０）
【国際特許分類】
【出願番号】特願２０１２−２１７６５（Ｐ２０１２−２１７６５）
【出願日】平成２４年２月３日（２０１２．２．３）
【出願人】（５９９０６０４３４）財團法人資訊工業策進會 (27)
【Ｆターム（参考）】
【公開日】平成２５年５月２０日（２０１３．５．２０）
【国際特許分類】
【出願日】平成２４年２月３日（２０１２．２．３）
【出願人】（５９９０６０４３４）財團法人資訊工業策進會 (27)
【Ｆターム（参考）】
[ Back to top ]