透視変換パラメータ生成装置、画像補正装置、透視変換パラメータ生成方法、画像補正方法、及びプログラム
【課題】従来の技術では、信頼性の高い２個の画像間の大域的な動きを推定する透視変換パラメータを生成することができない。
【解決手段】透視変換パラメータ生成装置は、第１のフレームと、第２のフレームとを取得する取得部１１と、取得された第１のフレームのなかの第１の四辺形の各辺の複数の位置それぞれについて、取得された第２のフレームの対応する位置への動きベクトルを検出する動きベクトル検出部１３と、検出された各動きベクトルの始点を第１の四辺形の対応する位置に一致させ、そのときの第１の四辺形の各辺について、全ての動きベクトルの終点を一つの直線で近似的に結び、その結んで得られる４個の直線によって形成される第２の四辺形の４個の頂点の座標と、第１の四辺形の４個の頂点の座標とを用いて、透視変換パラメータを生成する透視変換パラメータ生成部１４とを有する。
【解決手段】透視変換パラメータ生成装置は、第１のフレームと、第２のフレームとを取得する取得部１１と、取得された第１のフレームのなかの第１の四辺形の各辺の複数の位置それぞれについて、取得された第２のフレームの対応する位置への動きベクトルを検出する動きベクトル検出部１３と、検出された各動きベクトルの始点を第１の四辺形の対応する位置に一致させ、そのときの第１の四辺形の各辺について、全ての動きベクトルの終点を一つの直線で近似的に結び、その結んで得られる４個の直線によって形成される第２の四辺形の４個の頂点の座標と、第１の四辺形の４個の頂点の座標とを用いて、透視変換パラメータを生成する透視変換パラメータ生成部１４とを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、２個の画像間の大域的な動きを透視変換により表現する技術に関する。
【背景技術】
【０００２】
近年、ビデオカメラが広く普及し、多くの人によって利用されている。撮影者は、ビデオカメラにより被写体を撮影するとき、いわゆる「手ぶれ」を発生させる場合がある。このような手ぶれがある状態で撮影された画像には、その手ぶれに起因する不自然な揺れや歪みがある。このような揺れや歪みのある画像を滑らかにつなぐために、例えば、２個の画像間の大域的な動きを推定する技術が用いられる。その技術は、幅広い分野の画像処理に応用されている。
【０００３】
第一の例として、動画像の各フレームの輝度の差又は輝度の時空間の勾配等に基づいてフレーム間のアフィンパラメータを生成し、生成したアフィンパラメータを用いて２個のフレームを接合するための位置決めを行ってパノラマ画像を生成する技術が知られている。
【０００４】
第二の例として、画像サイズより大きな背景画像を静止画とし、その静止画を移動させることにより、背景画像に要する符号量を削減するスプライト符号化が知られている。スプライトの生成方法は、パノラマ画像の生成方法と類似しており、動画像の背景の大域的な動きを算出しながら２個のフレームを接合する方法である。また、カメラモーションを反映しない領域であるアウトライヤに大域的な動きに反応しにくいような工夫を施してヘルマートパラメータを生成し、生成したヘルマートパラメータを用いて２個のフレームを接合するための位置決めを行う技術も知られている。
【０００５】
第三の例として、アウトライヤについてロバストなアフィンパラメータを生成し、生成したアフィンパラメータを用いてカメラによる撮影時の手ぶれを補正する技術も知られている。
【０００６】
上述した技術は、２個のフレームの大域的な動きをアフィンパラメータ又はヘルマートパラメータにより表現する技術である。アフィン変換及びヘルマート変換が表現し得る画像間の変化は、カメラ操作に用いる表現で言うと、Ｐａｎ、Ｔｉｌｔ、Ｒｏｌｌ、及びＺｏｏｍ、すなわち、平行移動、回転、拡大及び縮小である。アフィン変換及びヘルマート変換は、Ｐｉｔｃｈ（うなずき型の縦揺れ）やＹａｗ（首振り型の横揺れ）を表現することはできない。
【０００７】
長方形の被写体について、Ｒｏｌｌ、Ｐｉｔｃｈ、及びＹａｗ等の手ぶれ発生時に撮影したときに視覚的に得られる画像の形状を図１に示す。図１に示すように、長方形の被写体について、Ｒｏｌｌ、Ｐｉｔｃｈ及びＹａｗ等の手ぶれ発生時に撮影すると、長方形から変形した四辺形が視覚的に認識される。Ｒｏｌｌ、Ｐｉｔｃｈ及びＹａｗに対応する大域的な動きを推定するには、画像間の透視変換パラメータを生成する必要がある。透視変換パラメータを用いて透視変換を行うと、長方形から変形した四辺形を、長方形に補正することができる。なお、アフィン変換は透視変換の部分集合であるため、透視変換でも平行移動、回転、拡大及び縮小を表現することができる。
【０００８】
ところで、透視変換パラメータは、次のようにして生成できる。例えば、第１のフレームの４個の位置の座標を（ｕ１，ｖ１），（ｕ２，ｖ２），（ｕ３，ｖ３），（ｕ４，ｖ４）とし、第２のフレームの４個の位置の座標点を（ｘ１，ｙ１），（ｘ２，ｙ２），（ｘ３，ｙ３），（ｘ４，ｙ４）としたとき、透視変換パラメータＡは、下記の式（１）の連立方程式を解くことにより生成される。
【０００９】
【数１】
式（１）において、Ｘ＝（ｘ１ ｘ２ ｘ３ ｘ４ ｙ１ ｙ２ ｙ３ ｙ４）ｔであり、
Ａ＝（ａ１１ ａ１２ ａ１３ ａ２１ ａ２２ ａ２３ ａ３１ ａ３２）ｔである。
【００１０】
透視変換では、変換前の座標を（ｕ，ｖ）とし、変換後の座標を（ｘ，ｙ）とすると、座標ｘは下記の式（２）により表現され、座標ｙは下記の式（３）により表現される。
【００１１】
【数２】
【数３】
【００１２】
式（１）及び式（２）において、ａ１１，ａ１２，ａ１３，ａ２１，ａ２２，ａ２３，ａ３１，及び,ａ３２は、透視変換パラメータＡの各値であり、ａ３３＝１である。
【００１３】
特許文献１には、透視変換を用いてあおり歪を補正する技術が開示されている。
【先行技術文献】
【特許文献】
【００１４】
【特許文献１】特開２００１−１７７７１６号公報
【発明の概要】
【発明が解決しようとする課題】
【００１５】
しかしながら、第１のフレームの適当に選んだ４点と第２のフレームの適当に選んだ４点とを用いて透視変換パラメータを生成すると、信頼性の高い大域的な動きを推定することはできない。
【００１６】
本発明は、信頼性の高い大域的な動きを推定する透視変換パラメータを生成する透視変換パラメータ生成装置及び透視変換パラメータ生成方法を提供することを目的とする。また、本発明は、信頼性の高い大域的な動きを推定して画像を補正する画像補正装置及び画像補正方法を提供することを目的とする。
【課題を解決するための手段】
【００１７】
上記課題を解決し上記目的を達成するために、本発明の透視変換パラメータ生成装置は、第１のフレームと、第２のフレームとを取得する取得部と、前記取得部によって取得された前記第１のフレームのなかの第１の四辺形の各辺の複数の位置それぞれについて、前記取得部によって取得された前記第２のフレームの対応する位置への動きベクトルを検出する動きベクトル検出部と、前記動きベクトル検出部によって検出された各動きベクトルの始点を前記第１の四辺形の対応する位置に一致させ、そのときの前記第１の四辺形の各辺について、複数の動きベクトルの終点を一つの直線で近似的に結び、その結んで得られる４個の直線によって形成される第２の四辺形の４個の頂点の座標と、前記第１の四辺形の４個の頂点の座標とを用いて、前記第１の四辺形と前記第２の四辺形との間の透視変換パラメータを生成する透視変換パラメータ生成部とを有する。
【００１８】
また、本発明の画像補正装置は、第１のフレームと、第２のフレームとを取得する取得部と、前記取得部によって取得された前記第１のフレームのなかの第１の四辺形の各辺の複数の位置それぞれについて、前記取得部によって取得された前記第２のフレームの対応する位置への動きベクトルを検出する動きベクトル検出部と、前記動きベクトル検出部によって検出された各動きベクトルの始点を前記第１の四辺形の対応する位置に一致させ、そのときの前記第１の四辺形の各辺について、複数の動きベクトルの終点を一つの直線で近似的に結び、その結んで得られる４個の直線によって形成される第２の四辺形の４個の頂点の座標と、前記第１の四辺形の４個の頂点の座標とを用いて、前記第１の四辺形と前記第２の四辺形との間の透視変換パラメータを生成する透視変換パラメータ生成部と、前記取得部によって取得された前記第２のフレームの各位置の座標を、前記透視変換パラメータ生成部によって生成された前記透視変換パラメータを用いて補正する補正部とを有する。
【００１９】
また、本発明の透視変換パラメータ生成方法は、第１のフレームと、第２のフレームとを取得するステップと、取得した前記第１のフレームのなかの第１の四辺形の各辺の複数の位置それぞれについて、取得した前記第２のフレームの対応する位置への動きベクトルを検出するステップと、検出した各動きベクトルの始点を前記第１の四辺形の対応する位置に一致させ、そのときの前記第１の四辺形の各辺について、複数の動きベクトルの終点を一つの直線で近似的に結び、その結んで得られる４個の直線によって形成される第２の四辺形の４個の頂点の座標と、前記第１の四辺形の４個の頂点の座標とを用いて、前記第１の四辺形と前記第２の四辺形との間の透視変換パラメータを生成するステップとを含む。
【００２０】
また、本発明の画像補正方法は、第１のフレームと、第２のフレームとを取得するステップと、取得した前記第１のフレームのなかの第１の四辺形の各辺の複数の位置それぞれについて、取得した前記第２のフレームの対応する位置への動きベクトルを検出するステップと、検出した各動きベクトルの始点を前記第１の四辺形の対応する位置に一致させ、そのときの前記第１の四辺形の各辺について、複数の動きベクトルの終点を一つの直線で近似的に結び、その結んで得られる４個の直線によって形成される第２の四辺形の４個の頂点の座標と、前記第１の四辺形の４個の頂点の座標とを用いて、前記第１の四辺形と前記第２の四辺形との間の透視変換パラメータを生成するステップと、取得した前記第２のフレームの各位置の座標を、生成した前記透視変換パラメータを用いて補正するステップとを含む。
【００２１】
更に、本発明の透視変換パラメータ生成装置の各構成要件の機能をコンピュータに実現させるためのプログラムも、本発明の画像補正装置の各構成要件の機能をコンピュータに実現させるためのプログラムも、本発明の一態様である。
【発明の効果】
【００２２】
本発明は、信頼性の高い大域的な動きを推定する透視変換パラメータを生成する透視変換パラメータ生成装置及び透視変換パラメータ生成方法を提供することができる。また、本発明は、信頼性の高い大域的な動きを推定して画像を補正する画像補正装置及び画像補正方法を提供することができる。
【図面の簡単な説明】
【００２３】
【図１】長方形の被写体について、Ｒｏｌｌ、Ｐｉｔｃｈ、及びＹａｗ等の手ぶれを伴って撮影したときに視覚的に得られる画像の形状を示す図である。
【図２】実施の形態の画像処理装置の構成図である。
【図３】実施の形態の画像処理装置の動作の各ステップを示すフローチャートである。
【図４】第１のフレームにおける動きベクトルの検出対象となる位置を説明するための図である。
【図５】図４の長方形の各辺の複数の位置それぞれの、第２のフレームの対応する位置への動きベクトルを示す図である。
【図６】図２の透視変換パラメータ生成部の動作の各ステップを示すフローチャートである。
【図７】図５の長方形の各辺について、全ての動きベクトルの終点を、最小二乗法を用いて近似的に結んだ直線を示す図である。
【図８】第１のフレームの長方形及びその長方形の各頂点と、第２のフレームの四辺形及びその四辺形の各頂点とを説明するための図である。
【発明を実施するための形態】
【００２４】
以下に、本発明を実施するための形態を図面を参照して説明する。
【００２５】
先ず、本実施の形態の画像処理装置１の構成を図２を用いて説明する。図２は、本実施の形態の画像処理装置１の構成図である。本実施の形態の画像処理装置１は、図２に示すように、取得部１１と、保持部１２と、動きベクトル検出部１３と、透視変換パラメータ生成部１４と、補正部１５とを有する。
【００２６】
取得部１１は、画像処理装置１の外部から動画像のフレームデータを取得する。動画像のフレームデータは、ビデオカメラで被写体を撮影することによって得られたデータである。保持部１２は、取得部１１によって取得されたデータを保持する。第１のフレームが取得部１１によって取得された後に第２のフレームが取得部１１によって取得されたとき、動きベクトル検出部１３は、第１のフレームのなかの特定の長方形の各辺の複数の位置それぞれについて、第２のフレームの対応する位置への動きベクトルを検出する。第１のフレームは、手ぶれがないときに撮影されて得られたフレームであり、第２のフレームは、Ｐｉｔｃｈ又はＹａｗといった手ぶれがあるときに撮影されて得られたフレームである場合を想定する。
【００２７】
透視変換パラメータ生成部１４は、動きベクトル検出部１３によって検出された動きベクトルを用いて、第２のフレームを補正するための透視変換パラメータを生成する。具体的には、透視変換パラメータ生成部１４は、動きベクトル検出部１３によって検出された各動きベクトルの始点を特定の長方形の対応する位置に一致させる。そして、透視変換パラメータ生成部１４は、そのときの長方形の各辺について、全ての動きベクトルの終点を一つの直線で近似的に結び、４個の直線によって形成される四辺形の４個の頂点の座標と、特定の長方形の４個の頂点の座標とを用いて、特定の長方形と４個の直線によって形成される四辺形との間の透視変換パラメータを生成する。補正部１５は、第２のフレームの各位置の座標を、透視変換パラメータ生成部１４によって生成された透視変換パラメータを用いて補正する。
【００２８】
次に、本実施の形態の画像処理装置１の動作を図３を用いて説明する。図３は、本実施の形態の画像処理装置１の動作の各ステップを示すフローチャートである。説明の便宜上、連続する第１のフレームと第２のフレームとを取り上げ、第１のフレームより後に取得される第２のフレームを補正する際の本実施の形態の画像処理装置１の動作を説明する。
【００２９】
先ず、取得部１１は、第１のフレームを構成する動画像のデータを取得し（Ｓ１）、保持部１２は、取得部１１によって取得された第１のフレームを構成する動画像のデータを保持する（Ｓ２）。次に、取得部１１は、第２のフレームを構成する動画像のデータを取得する（Ｓ３）。
【００３０】
動きベクトル検出部１３は、第２のフレームと第１のフレームとを比較し、第１のフレームのなかの特定の長方形の各辺の複数の位置それぞれについて、第２のフレームの対応する位置への動きベクトルを検出する（Ｓ４）。動きベクトル検出部１３の動作を図４を用いて具体的に説明する。図４は、第１のフレームＧにおける動きベクトルの検出対象となる位置を説明するための図である。第１のフレームＧには、特定の長方形Ｋの領域が含まれる。
【００３１】
長方形Ｋは、辺ｓ１と、辺ｓ２と、辺ｓ３と、辺ｓ４とで構成されている。辺ｓ１は、第１のフレームＧの垂直方向に伸びる一辺と平行な辺である。辺ｓ２は、辺ｓ１の下側の端部を左側の端部とし、辺ｓ１と垂直な関係にある辺である。辺ｓ３は、辺ｓ２の右側の端部を下側の端部とし、辺ｓ２と垂直な関係にある辺である。すなわち、辺ｓ３は、辺ｓ１より右側に位置し、辺ｓ１と平行な関係にある。辺ｓ４は、辺ｓ３の上側の端部を右側の端部とし、辺ｓ３と垂直な関係にある辺である。すなわち、辺ｓ４は、辺ｓ２より上側に位置し、辺ｓ２と平行な関係にある。
【００３２】
辺ｓ１には、第１の位置ｐ１〜第６の位置ｐ６の、動きベクトルの検出対象位置となる６個の位置が存在する。辺ｓ２には、第６の位置ｐ６〜第１４の位置ｐ１４の、動きベクトルの検出対象位置となる９個の位置が存在する。辺ｓ３には、第１４の位置ｐ１４〜第１９の位置ｐ１９の、動きベクトルの検出対象位置となる６個の位置が存在する。辺ｓ４には、第１９の位置ｐ１９〜第２６の位置ｐ２６と第１の位置ｐ１との、動きベクトルの検出対象位置となる９個の位置が存在する。
【００３３】
このとき、動きベクトル検出部１３は、長方形Ｋの各辺に存在する第１の位置ｐ１〜第２６の位置ｐ２６それぞれについて、第２のフレームの対応する位置への動きベクトルを検出する（Ｓ４）。つまり、動きベクトル検出部１３は、図５に示すように、長方形Ｋの各辺に存在する第１の位置ｐ１〜第２６の位置ｐ２６それぞれにおける動きベクトルを検出する。図５は、動きベクトル検出部１３によって検出された、長方形Ｋの各辺における第１の位置ｐ１〜第２６の位置ｐ２６それぞれの、第２のフレームの対応する位置への動きベクトルを示す図である。なお、図５の各位置のベクトルの終点は、第２のフレームにおけるその位置に対応する位置に相当する。
【００３４】
図３に戻る。透視変換パラメータ生成部１４は、動きベクトル検出部１３によって検出された第１の位置ｐ１〜第２６の位置ｐ２６それぞれの、第２のフレームの対応する位置への動きベクトルを用いて、第２のフレームを補正するための透視変換パラメータを生成する（Ｓ５）。図６を用いて、透視変換パラメータ生成部１４の動作を具体的に説明する。図６は、透視変換パラメータ生成部１４の動作の各ステップを示すフローチャートである。
【００３５】
先ず、透視変換パラメータ生成部１４は、動きベクトル検出部１３によって検出された各動きベクトルの始点を特定の長方形Ｋの対応する位置に一致させ、そのときの長方形Ｋの各辺について、全ての動きベクトルの終点を近似的に結ぶ一つの直線を算出する（Ｓ１１）。具体的に説明すると、図５では、動きベクトル検出部１３によって検出された各動きベクトルの始点は、長方形Ｋの対応する位置に一致しており、透視変換パラメータ生成部１４は、図５の辺ｓ１の第１の位置ｐ１〜第６の位置ｐ６それぞれにおける動きベクトルの終点を、最小二乗法を用いて近似的に直線で結び、図７に示す直線Ｆ１を算出する。図７は、図５の長方形Ｋの各辺について、全ての動きベクトルの終点を、最小二乗法を用いて近似的に結んだ直線を示す図である。直線Ｆ１は辺ｓ１に対応する直線である。
【００３６】
ところで、複数の位置を最小二乗法を用いて近似的に結ぶ直線を「ｙ＝ａｘ＋ｂ」と記述すると、「ａ」は下記の式（４）により決定され、「ｂ」は下記の式（５）により決定される。
【００３７】
【数４】
【数５】
【００３８】
式（４）及び式（５）において、「ｎ」は位置の個数を示し、「ｘｉ」は各位置のｘ座標を示し、「ｙｉ」は各位置のｙ座標を示している。透視変換パラメータ生成部１４は、上記の式（４）及び式（５）を用いて、図７に示す直線Ｆ１として「ｙ＝ａＬｘ＋ｂＬ」を算出する。
【００３９】
また、透視変換パラメータ生成部１４は、上記の式（４）及び式（５）を用いて、図５の辺ｓ２の第６の位置ｐ６〜第１４の位置ｐ１４それぞれにおける動きベクトルの終点を近似的に結ぶ、図７に示す直線Ｆ２を算出する。直線Ｆ２は、辺ｓ２に対応する直線であって、「ｙ＝ａＢｘ＋ｂＢ」と表現される。同様に、透視変換パラメータ生成部１４は、図５の辺ｓ３及び辺ｓ４それぞれについて、動きベクトルの終点を近似的に結ぶ、図７に示す直線Ｆ３及び直線Ｆ４を算出する。直線Ｆ３は、辺ｓ３に対応する直線であって、「ｙ＝ａＲ＋ｂＲ」と表現される。直線Ｆ４は、辺ｓ４に対応する直線であって、「ｙ＝ａＴ＋ｂＴ」と表現される。
【００４０】
ここで、図６のステップＳ１１において算出された４個の直線により形成される四辺形を図７に示すように四辺形Ｍと定義する。図７の四辺形Ｍは、第２のフレームにおける、第１のフレームの長方形Ｋに対応する四辺形である。透視変換パラメータ生成部１４は、ステップＳ１１の動作の次に、四辺形Ｍの各頂点の座標を算出する（図６のＳ１２）。
【００４１】
図８は、第１のフレームの長方形Ｋ及びその長方形Ｋの各頂点と、第２のフレームの四辺形Ｍ及びその四辺形Ｍの各頂点とを説明するための図である。
【００４２】
図８に示すように、四辺形Ｍの各頂点のうち、直線Ｆ４と直線Ｆ１との交点である頂点をＱ１とし、頂点Ｑ１の座標を（ｘ１，ｙ１）と定義し、直線Ｆ１と直線Ｆ２との交点である頂点をＱ２とし、頂点Ｑ２の座標を（ｘ２，ｙ２）と定義し、直線Ｆ２と直線Ｆ３との交点である頂点をＱ３とし、頂点Ｑ３の座標を（ｘ３，ｙ３）と定義し、直線Ｆ３と直線Ｆ４との交点である頂点をＱ４とし、頂点Ｑ４の座標を（ｘ４，ｙ４）と定義する。透視変換パラメータ生成部１４は、上述した４個の直線の式を用いて、四辺形Ｍの頂点Ｑ１、頂点Ｑ２、頂点Ｑ３、及び頂点Ｑ４それぞれの座標を算出する（図６のＳ１２）。
【００４３】
次に、長方形Ｋの各頂点のうち、辺ｓ４と辺ｓ１との交点である頂点をＨ１とし、頂点Ｈ１の座標を（ｕ１，ｖ１）と定義し、辺ｓ１と辺ｓ２との交点である頂点をＨ２とし、頂点Ｈ２の座標を（ｕ２，ｖ２）と定義し、辺ｓ２と辺ｓ３との交点である頂点をＨ３とし、頂点Ｈ３の座標を（ｕ３，ｖ３）と定義し、辺ｓ３と辺ｓ４との交点である頂点をＨ４とし、頂点Ｈ４の座標を（ｕ４，ｖ４）と定義する。
【００４４】
上述したように、直線Ｆ１が辺ｓ１に対応しており、直線Ｆ２が辺ｓ２に対応しており、直線Ｆ３が辺ｓ３に対応しており、直線Ｆ４が辺ｓ４に対応している。そのため、四辺形Ｍの頂点Ｑ１は長方形Ｋの頂点Ｈ１と対応しており、四辺形Ｍの頂点Ｑ２は長方形Ｋの頂点Ｈ２と対応しており、四辺形Ｍの頂点Ｑ３は長方形Ｋの頂点Ｈ３と対応しており、四辺形Ｍの頂点Ｑ４は長方形Ｋの頂点Ｈ４と対応している。
【００４５】
このとき、透視変換パラメータ生成部１４は、長方形Ｋと四辺形Ｍとの対応する頂点相互の座標を比較して透視変換パラメータを生成する（図６のＳ１３）。具体的には、透視変換パラメータ生成部１４は、下記の式（６）を用いて、第１のフレームと第２のフレームとの間の大域的な動きを推定する透視変換パラメータＡ’を生成する。透視変換パラメータＡ’は、
「Ａ’＝（ａ’１１ ａ’１２ ａ’１３ ａ’２１ ａ２２’ ａ’２３ ａ’３１ ａ’３２）ｔ」と表現される。
【００４６】
【数６】
式（６）において、Ｕ＝（ｕ１ ｕ２ ｕ３ ｕ４ ｖ１ ｖ２ ｖ３ ｖ４）ｔである。
【００４７】
このように、透視変換パラメータ生成部１４は、第１のフレームに含まれる長方形Ｋの各辺の複数の位置それぞれの位置の第２のフレームの対応する位置への動きベクトルの始点を、長方形Ｋの対応する位置に一致させ、そのときの長方形Ｋの各辺について、全ての動きベクトルの終点を近似的に結ぶ一つの直線を算出する。そして、透視変換パラメータ生成部１４は、算出した４個の直線により形成される四辺形Ｍの各頂点の座標と、長方形Ｋの対応する各頂点の座標とを用いて透視変換パラメータＡ’を生成する。
【００４８】
すなわち、透視変換パラメータ生成部１４は、第１のフレームの長方形Ｋの４個の頂点の座標と、第２のフレームの、第１のフレームの長方形Ｋに対応する四辺形Ｍの４個の頂点の座標とを用いて、透視変換パラメータＡ’を生成する。これにより、透視変換パラメータ生成部１４は、第１のフレームと第２のフレームとの間の信頼性の高い大域的な動きを推定する透視変換パラメータＡ’を生成することができる。
【００４９】
図３に戻る。透視変換パラメータ生成部１４によって透視変換パラメータＡ’が生成されると（Ｓ５）、補正部１５は、下記の式（７）及び式（８）を用いて、第２のフレームの各画素の座標（ｘ，ｙ）を透視変換して補正し、それにより第２のフレームを補正する（Ｓ６）。
【００５０】
【数７】
【数８】
式（７）及び式（８）において、ａ’１１，ａ’１２，ａ’１３，ａ’２１，ａ’２２，ａ’２３，ａ’３１，及び，ａ’３２は、透視変換パラメータ生成部１４によって生成された透視変換パラメータＡ’を構成する各値である。また、ａ’３３＝１である。
【００５１】
補正部１５が第２のフレームの各画素の座標（ｘ，ｙ）を透視変換することにより、Ｐｉｔｃｈ又はＹａｗといった手ぶれがあるときに撮影されて得られた第２のフレームは、手ぶれがないときに撮影されて得られたようなフレームに補正される。つまり、補正部１５は、Ｐｉｔｃｈ又はＹａｗといった手ぶれがあるときに撮影されて得られた第２のフレームを、手ぶれがないときに撮影されて得られたようなフレームに補正することができる。
【００５２】
上述したように、透視変換パラメータ生成部１４は、第１のフレームに含まれる長方形Ｋの各辺の複数の位置それぞれの第２のフレームの対応する位置への動きベクトルの始点を、長方形Ｋの対応する位置に一致させ、そのときの長方形Ｋの各辺について、全ての動きベクトルの終点を近似的に結ぶ一つの直線を算出する。そして、透視変換パラメータ生成部１４は、算出した４個の直線により形成される四辺形Ｍの各頂点の座標と、長方形Ｋの対応する各頂点の座標とを用いて透視変換パラメータＡ’を生成する。これにより、第１のフレームと第２のフレームとの間の信頼性の高い大域的な動きを推定する透視変換パラメータが生成されるという効果が得られる。
【００５３】
また、補正部１５が透視変換パラメータ生成部１４によって生成された透視変換パラメータＡ’を用いて第２のフレームの各位置の座標を補正するので、第２のフレームは、手ぶれがないときに撮影されて得られたようなフレームに補正されるという効果が得られる。
【００５４】
なお、上述した実施の形態の長方形Ｋは、長方形以外の四辺形であってもよい。
【００５５】
また、第２のフレームが、Ｐａｎ、Ｔｉｌｔ、Ｒｏｌｌ、すなわち、平行移動、回転等の手ぶれがあるときに撮影されて得られたフレームであっても、透視変換を用いることにより、第２のフレームは、手ぶれがないときに撮影されて得られたようなフレームに補正することができる。
【００５６】
また、透視変換パラメータ生成部１４によって用いられる動きベクトルは、符号化等の目的で検出された動きベクトルであってもよい。
【００５７】
更に、上述した実施の形態の画像処理装置１の各構成部の機能は、例えばコンピュータのＣＰＵ（プロセッサ）及びメモリ等のハードウェアと、その機能を実現するためのコンピュータプログラムとが協働することによって実現される。しかしながら、上記各機能は、専用の回路により実現される等、どのような形態により実現されてもよい。また、画像処理装置１の各構成部の機能を実現するためのコンピュータプログラムは、記録媒体に格納されてもよい。
【符号の説明】
【００５８】
１ 画像処理装置、 １１ 取得部、 １２ 保持部、 １３ 動きベクトル検出部、 １４ 透視変換パラメータ生成部、 １５ 補正部。
【技術分野】
【０００１】
本発明は、２個の画像間の大域的な動きを透視変換により表現する技術に関する。
【背景技術】
【０００２】
近年、ビデオカメラが広く普及し、多くの人によって利用されている。撮影者は、ビデオカメラにより被写体を撮影するとき、いわゆる「手ぶれ」を発生させる場合がある。このような手ぶれがある状態で撮影された画像には、その手ぶれに起因する不自然な揺れや歪みがある。このような揺れや歪みのある画像を滑らかにつなぐために、例えば、２個の画像間の大域的な動きを推定する技術が用いられる。その技術は、幅広い分野の画像処理に応用されている。
【０００３】
第一の例として、動画像の各フレームの輝度の差又は輝度の時空間の勾配等に基づいてフレーム間のアフィンパラメータを生成し、生成したアフィンパラメータを用いて２個のフレームを接合するための位置決めを行ってパノラマ画像を生成する技術が知られている。
【０００４】
第二の例として、画像サイズより大きな背景画像を静止画とし、その静止画を移動させることにより、背景画像に要する符号量を削減するスプライト符号化が知られている。スプライトの生成方法は、パノラマ画像の生成方法と類似しており、動画像の背景の大域的な動きを算出しながら２個のフレームを接合する方法である。また、カメラモーションを反映しない領域であるアウトライヤに大域的な動きに反応しにくいような工夫を施してヘルマートパラメータを生成し、生成したヘルマートパラメータを用いて２個のフレームを接合するための位置決めを行う技術も知られている。
【０００５】
第三の例として、アウトライヤについてロバストなアフィンパラメータを生成し、生成したアフィンパラメータを用いてカメラによる撮影時の手ぶれを補正する技術も知られている。
【０００６】
上述した技術は、２個のフレームの大域的な動きをアフィンパラメータ又はヘルマートパラメータにより表現する技術である。アフィン変換及びヘルマート変換が表現し得る画像間の変化は、カメラ操作に用いる表現で言うと、Ｐａｎ、Ｔｉｌｔ、Ｒｏｌｌ、及びＺｏｏｍ、すなわち、平行移動、回転、拡大及び縮小である。アフィン変換及びヘルマート変換は、Ｐｉｔｃｈ（うなずき型の縦揺れ）やＹａｗ（首振り型の横揺れ）を表現することはできない。
【０００７】
長方形の被写体について、Ｒｏｌｌ、Ｐｉｔｃｈ、及びＹａｗ等の手ぶれ発生時に撮影したときに視覚的に得られる画像の形状を図１に示す。図１に示すように、長方形の被写体について、Ｒｏｌｌ、Ｐｉｔｃｈ及びＹａｗ等の手ぶれ発生時に撮影すると、長方形から変形した四辺形が視覚的に認識される。Ｒｏｌｌ、Ｐｉｔｃｈ及びＹａｗに対応する大域的な動きを推定するには、画像間の透視変換パラメータを生成する必要がある。透視変換パラメータを用いて透視変換を行うと、長方形から変形した四辺形を、長方形に補正することができる。なお、アフィン変換は透視変換の部分集合であるため、透視変換でも平行移動、回転、拡大及び縮小を表現することができる。
【０００８】
ところで、透視変換パラメータは、次のようにして生成できる。例えば、第１のフレームの４個の位置の座標を（ｕ１，ｖ１），（ｕ２，ｖ２），（ｕ３，ｖ３），（ｕ４，ｖ４）とし、第２のフレームの４個の位置の座標点を（ｘ１，ｙ１），（ｘ２，ｙ２），（ｘ３，ｙ３），（ｘ４，ｙ４）としたとき、透視変換パラメータＡは、下記の式（１）の連立方程式を解くことにより生成される。
【０００９】
【数１】
式（１）において、Ｘ＝（ｘ１ ｘ２ ｘ３ ｘ４ ｙ１ ｙ２ ｙ３ ｙ４）ｔであり、
Ａ＝（ａ１１ ａ１２ ａ１３ ａ２１ ａ２２ ａ２３ ａ３１ ａ３２）ｔである。
【００１０】
透視変換では、変換前の座標を（ｕ，ｖ）とし、変換後の座標を（ｘ，ｙ）とすると、座標ｘは下記の式（２）により表現され、座標ｙは下記の式（３）により表現される。
【００１１】
【数２】
【数３】
【００１２】
式（１）及び式（２）において、ａ１１，ａ１２，ａ１３，ａ２１，ａ２２，ａ２３，ａ３１，及び,ａ３２は、透視変換パラメータＡの各値であり、ａ３３＝１である。
【００１３】
特許文献１には、透視変換を用いてあおり歪を補正する技術が開示されている。
【先行技術文献】
【特許文献】
【００１４】
【特許文献１】特開２００１−１７７７１６号公報
【発明の概要】
【発明が解決しようとする課題】
【００１５】
しかしながら、第１のフレームの適当に選んだ４点と第２のフレームの適当に選んだ４点とを用いて透視変換パラメータを生成すると、信頼性の高い大域的な動きを推定することはできない。
【００１６】
本発明は、信頼性の高い大域的な動きを推定する透視変換パラメータを生成する透視変換パラメータ生成装置及び透視変換パラメータ生成方法を提供することを目的とする。また、本発明は、信頼性の高い大域的な動きを推定して画像を補正する画像補正装置及び画像補正方法を提供することを目的とする。
【課題を解決するための手段】
【００１７】
上記課題を解決し上記目的を達成するために、本発明の透視変換パラメータ生成装置は、第１のフレームと、第２のフレームとを取得する取得部と、前記取得部によって取得された前記第１のフレームのなかの第１の四辺形の各辺の複数の位置それぞれについて、前記取得部によって取得された前記第２のフレームの対応する位置への動きベクトルを検出する動きベクトル検出部と、前記動きベクトル検出部によって検出された各動きベクトルの始点を前記第１の四辺形の対応する位置に一致させ、そのときの前記第１の四辺形の各辺について、複数の動きベクトルの終点を一つの直線で近似的に結び、その結んで得られる４個の直線によって形成される第２の四辺形の４個の頂点の座標と、前記第１の四辺形の４個の頂点の座標とを用いて、前記第１の四辺形と前記第２の四辺形との間の透視変換パラメータを生成する透視変換パラメータ生成部とを有する。
【００１８】
また、本発明の画像補正装置は、第１のフレームと、第２のフレームとを取得する取得部と、前記取得部によって取得された前記第１のフレームのなかの第１の四辺形の各辺の複数の位置それぞれについて、前記取得部によって取得された前記第２のフレームの対応する位置への動きベクトルを検出する動きベクトル検出部と、前記動きベクトル検出部によって検出された各動きベクトルの始点を前記第１の四辺形の対応する位置に一致させ、そのときの前記第１の四辺形の各辺について、複数の動きベクトルの終点を一つの直線で近似的に結び、その結んで得られる４個の直線によって形成される第２の四辺形の４個の頂点の座標と、前記第１の四辺形の４個の頂点の座標とを用いて、前記第１の四辺形と前記第２の四辺形との間の透視変換パラメータを生成する透視変換パラメータ生成部と、前記取得部によって取得された前記第２のフレームの各位置の座標を、前記透視変換パラメータ生成部によって生成された前記透視変換パラメータを用いて補正する補正部とを有する。
【００１９】
また、本発明の透視変換パラメータ生成方法は、第１のフレームと、第２のフレームとを取得するステップと、取得した前記第１のフレームのなかの第１の四辺形の各辺の複数の位置それぞれについて、取得した前記第２のフレームの対応する位置への動きベクトルを検出するステップと、検出した各動きベクトルの始点を前記第１の四辺形の対応する位置に一致させ、そのときの前記第１の四辺形の各辺について、複数の動きベクトルの終点を一つの直線で近似的に結び、その結んで得られる４個の直線によって形成される第２の四辺形の４個の頂点の座標と、前記第１の四辺形の４個の頂点の座標とを用いて、前記第１の四辺形と前記第２の四辺形との間の透視変換パラメータを生成するステップとを含む。
【００２０】
また、本発明の画像補正方法は、第１のフレームと、第２のフレームとを取得するステップと、取得した前記第１のフレームのなかの第１の四辺形の各辺の複数の位置それぞれについて、取得した前記第２のフレームの対応する位置への動きベクトルを検出するステップと、検出した各動きベクトルの始点を前記第１の四辺形の対応する位置に一致させ、そのときの前記第１の四辺形の各辺について、複数の動きベクトルの終点を一つの直線で近似的に結び、その結んで得られる４個の直線によって形成される第２の四辺形の４個の頂点の座標と、前記第１の四辺形の４個の頂点の座標とを用いて、前記第１の四辺形と前記第２の四辺形との間の透視変換パラメータを生成するステップと、取得した前記第２のフレームの各位置の座標を、生成した前記透視変換パラメータを用いて補正するステップとを含む。
【００２１】
更に、本発明の透視変換パラメータ生成装置の各構成要件の機能をコンピュータに実現させるためのプログラムも、本発明の画像補正装置の各構成要件の機能をコンピュータに実現させるためのプログラムも、本発明の一態様である。
【発明の効果】
【００２２】
本発明は、信頼性の高い大域的な動きを推定する透視変換パラメータを生成する透視変換パラメータ生成装置及び透視変換パラメータ生成方法を提供することができる。また、本発明は、信頼性の高い大域的な動きを推定して画像を補正する画像補正装置及び画像補正方法を提供することができる。
【図面の簡単な説明】
【００２３】
【図１】長方形の被写体について、Ｒｏｌｌ、Ｐｉｔｃｈ、及びＹａｗ等の手ぶれを伴って撮影したときに視覚的に得られる画像の形状を示す図である。
【図２】実施の形態の画像処理装置の構成図である。
【図３】実施の形態の画像処理装置の動作の各ステップを示すフローチャートである。
【図４】第１のフレームにおける動きベクトルの検出対象となる位置を説明するための図である。
【図５】図４の長方形の各辺の複数の位置それぞれの、第２のフレームの対応する位置への動きベクトルを示す図である。
【図６】図２の透視変換パラメータ生成部の動作の各ステップを示すフローチャートである。
【図７】図５の長方形の各辺について、全ての動きベクトルの終点を、最小二乗法を用いて近似的に結んだ直線を示す図である。
【図８】第１のフレームの長方形及びその長方形の各頂点と、第２のフレームの四辺形及びその四辺形の各頂点とを説明するための図である。
【発明を実施するための形態】
【００２４】
以下に、本発明を実施するための形態を図面を参照して説明する。
【００２５】
先ず、本実施の形態の画像処理装置１の構成を図２を用いて説明する。図２は、本実施の形態の画像処理装置１の構成図である。本実施の形態の画像処理装置１は、図２に示すように、取得部１１と、保持部１２と、動きベクトル検出部１３と、透視変換パラメータ生成部１４と、補正部１５とを有する。
【００２６】
取得部１１は、画像処理装置１の外部から動画像のフレームデータを取得する。動画像のフレームデータは、ビデオカメラで被写体を撮影することによって得られたデータである。保持部１２は、取得部１１によって取得されたデータを保持する。第１のフレームが取得部１１によって取得された後に第２のフレームが取得部１１によって取得されたとき、動きベクトル検出部１３は、第１のフレームのなかの特定の長方形の各辺の複数の位置それぞれについて、第２のフレームの対応する位置への動きベクトルを検出する。第１のフレームは、手ぶれがないときに撮影されて得られたフレームであり、第２のフレームは、Ｐｉｔｃｈ又はＹａｗといった手ぶれがあるときに撮影されて得られたフレームである場合を想定する。
【００２７】
透視変換パラメータ生成部１４は、動きベクトル検出部１３によって検出された動きベクトルを用いて、第２のフレームを補正するための透視変換パラメータを生成する。具体的には、透視変換パラメータ生成部１４は、動きベクトル検出部１３によって検出された各動きベクトルの始点を特定の長方形の対応する位置に一致させる。そして、透視変換パラメータ生成部１４は、そのときの長方形の各辺について、全ての動きベクトルの終点を一つの直線で近似的に結び、４個の直線によって形成される四辺形の４個の頂点の座標と、特定の長方形の４個の頂点の座標とを用いて、特定の長方形と４個の直線によって形成される四辺形との間の透視変換パラメータを生成する。補正部１５は、第２のフレームの各位置の座標を、透視変換パラメータ生成部１４によって生成された透視変換パラメータを用いて補正する。
【００２８】
次に、本実施の形態の画像処理装置１の動作を図３を用いて説明する。図３は、本実施の形態の画像処理装置１の動作の各ステップを示すフローチャートである。説明の便宜上、連続する第１のフレームと第２のフレームとを取り上げ、第１のフレームより後に取得される第２のフレームを補正する際の本実施の形態の画像処理装置１の動作を説明する。
【００２９】
先ず、取得部１１は、第１のフレームを構成する動画像のデータを取得し（Ｓ１）、保持部１２は、取得部１１によって取得された第１のフレームを構成する動画像のデータを保持する（Ｓ２）。次に、取得部１１は、第２のフレームを構成する動画像のデータを取得する（Ｓ３）。
【００３０】
動きベクトル検出部１３は、第２のフレームと第１のフレームとを比較し、第１のフレームのなかの特定の長方形の各辺の複数の位置それぞれについて、第２のフレームの対応する位置への動きベクトルを検出する（Ｓ４）。動きベクトル検出部１３の動作を図４を用いて具体的に説明する。図４は、第１のフレームＧにおける動きベクトルの検出対象となる位置を説明するための図である。第１のフレームＧには、特定の長方形Ｋの領域が含まれる。
【００３１】
長方形Ｋは、辺ｓ１と、辺ｓ２と、辺ｓ３と、辺ｓ４とで構成されている。辺ｓ１は、第１のフレームＧの垂直方向に伸びる一辺と平行な辺である。辺ｓ２は、辺ｓ１の下側の端部を左側の端部とし、辺ｓ１と垂直な関係にある辺である。辺ｓ３は、辺ｓ２の右側の端部を下側の端部とし、辺ｓ２と垂直な関係にある辺である。すなわち、辺ｓ３は、辺ｓ１より右側に位置し、辺ｓ１と平行な関係にある。辺ｓ４は、辺ｓ３の上側の端部を右側の端部とし、辺ｓ３と垂直な関係にある辺である。すなわち、辺ｓ４は、辺ｓ２より上側に位置し、辺ｓ２と平行な関係にある。
【００３２】
辺ｓ１には、第１の位置ｐ１〜第６の位置ｐ６の、動きベクトルの検出対象位置となる６個の位置が存在する。辺ｓ２には、第６の位置ｐ６〜第１４の位置ｐ１４の、動きベクトルの検出対象位置となる９個の位置が存在する。辺ｓ３には、第１４の位置ｐ１４〜第１９の位置ｐ１９の、動きベクトルの検出対象位置となる６個の位置が存在する。辺ｓ４には、第１９の位置ｐ１９〜第２６の位置ｐ２６と第１の位置ｐ１との、動きベクトルの検出対象位置となる９個の位置が存在する。
【００３３】
このとき、動きベクトル検出部１３は、長方形Ｋの各辺に存在する第１の位置ｐ１〜第２６の位置ｐ２６それぞれについて、第２のフレームの対応する位置への動きベクトルを検出する（Ｓ４）。つまり、動きベクトル検出部１３は、図５に示すように、長方形Ｋの各辺に存在する第１の位置ｐ１〜第２６の位置ｐ２６それぞれにおける動きベクトルを検出する。図５は、動きベクトル検出部１３によって検出された、長方形Ｋの各辺における第１の位置ｐ１〜第２６の位置ｐ２６それぞれの、第２のフレームの対応する位置への動きベクトルを示す図である。なお、図５の各位置のベクトルの終点は、第２のフレームにおけるその位置に対応する位置に相当する。
【００３４】
図３に戻る。透視変換パラメータ生成部１４は、動きベクトル検出部１３によって検出された第１の位置ｐ１〜第２６の位置ｐ２６それぞれの、第２のフレームの対応する位置への動きベクトルを用いて、第２のフレームを補正するための透視変換パラメータを生成する（Ｓ５）。図６を用いて、透視変換パラメータ生成部１４の動作を具体的に説明する。図６は、透視変換パラメータ生成部１４の動作の各ステップを示すフローチャートである。
【００３５】
先ず、透視変換パラメータ生成部１４は、動きベクトル検出部１３によって検出された各動きベクトルの始点を特定の長方形Ｋの対応する位置に一致させ、そのときの長方形Ｋの各辺について、全ての動きベクトルの終点を近似的に結ぶ一つの直線を算出する（Ｓ１１）。具体的に説明すると、図５では、動きベクトル検出部１３によって検出された各動きベクトルの始点は、長方形Ｋの対応する位置に一致しており、透視変換パラメータ生成部１４は、図５の辺ｓ１の第１の位置ｐ１〜第６の位置ｐ６それぞれにおける動きベクトルの終点を、最小二乗法を用いて近似的に直線で結び、図７に示す直線Ｆ１を算出する。図７は、図５の長方形Ｋの各辺について、全ての動きベクトルの終点を、最小二乗法を用いて近似的に結んだ直線を示す図である。直線Ｆ１は辺ｓ１に対応する直線である。
【００３６】
ところで、複数の位置を最小二乗法を用いて近似的に結ぶ直線を「ｙ＝ａｘ＋ｂ」と記述すると、「ａ」は下記の式（４）により決定され、「ｂ」は下記の式（５）により決定される。
【００３７】
【数４】
【数５】
【００３８】
式（４）及び式（５）において、「ｎ」は位置の個数を示し、「ｘｉ」は各位置のｘ座標を示し、「ｙｉ」は各位置のｙ座標を示している。透視変換パラメータ生成部１４は、上記の式（４）及び式（５）を用いて、図７に示す直線Ｆ１として「ｙ＝ａＬｘ＋ｂＬ」を算出する。
【００３９】
また、透視変換パラメータ生成部１４は、上記の式（４）及び式（５）を用いて、図５の辺ｓ２の第６の位置ｐ６〜第１４の位置ｐ１４それぞれにおける動きベクトルの終点を近似的に結ぶ、図７に示す直線Ｆ２を算出する。直線Ｆ２は、辺ｓ２に対応する直線であって、「ｙ＝ａＢｘ＋ｂＢ」と表現される。同様に、透視変換パラメータ生成部１４は、図５の辺ｓ３及び辺ｓ４それぞれについて、動きベクトルの終点を近似的に結ぶ、図７に示す直線Ｆ３及び直線Ｆ４を算出する。直線Ｆ３は、辺ｓ３に対応する直線であって、「ｙ＝ａＲ＋ｂＲ」と表現される。直線Ｆ４は、辺ｓ４に対応する直線であって、「ｙ＝ａＴ＋ｂＴ」と表現される。
【００４０】
ここで、図６のステップＳ１１において算出された４個の直線により形成される四辺形を図７に示すように四辺形Ｍと定義する。図７の四辺形Ｍは、第２のフレームにおける、第１のフレームの長方形Ｋに対応する四辺形である。透視変換パラメータ生成部１４は、ステップＳ１１の動作の次に、四辺形Ｍの各頂点の座標を算出する（図６のＳ１２）。
【００４１】
図８は、第１のフレームの長方形Ｋ及びその長方形Ｋの各頂点と、第２のフレームの四辺形Ｍ及びその四辺形Ｍの各頂点とを説明するための図である。
【００４２】
図８に示すように、四辺形Ｍの各頂点のうち、直線Ｆ４と直線Ｆ１との交点である頂点をＱ１とし、頂点Ｑ１の座標を（ｘ１，ｙ１）と定義し、直線Ｆ１と直線Ｆ２との交点である頂点をＱ２とし、頂点Ｑ２の座標を（ｘ２，ｙ２）と定義し、直線Ｆ２と直線Ｆ３との交点である頂点をＱ３とし、頂点Ｑ３の座標を（ｘ３，ｙ３）と定義し、直線Ｆ３と直線Ｆ４との交点である頂点をＱ４とし、頂点Ｑ４の座標を（ｘ４，ｙ４）と定義する。透視変換パラメータ生成部１４は、上述した４個の直線の式を用いて、四辺形Ｍの頂点Ｑ１、頂点Ｑ２、頂点Ｑ３、及び頂点Ｑ４それぞれの座標を算出する（図６のＳ１２）。
【００４３】
次に、長方形Ｋの各頂点のうち、辺ｓ４と辺ｓ１との交点である頂点をＨ１とし、頂点Ｈ１の座標を（ｕ１，ｖ１）と定義し、辺ｓ１と辺ｓ２との交点である頂点をＨ２とし、頂点Ｈ２の座標を（ｕ２，ｖ２）と定義し、辺ｓ２と辺ｓ３との交点である頂点をＨ３とし、頂点Ｈ３の座標を（ｕ３，ｖ３）と定義し、辺ｓ３と辺ｓ４との交点である頂点をＨ４とし、頂点Ｈ４の座標を（ｕ４，ｖ４）と定義する。
【００４４】
上述したように、直線Ｆ１が辺ｓ１に対応しており、直線Ｆ２が辺ｓ２に対応しており、直線Ｆ３が辺ｓ３に対応しており、直線Ｆ４が辺ｓ４に対応している。そのため、四辺形Ｍの頂点Ｑ１は長方形Ｋの頂点Ｈ１と対応しており、四辺形Ｍの頂点Ｑ２は長方形Ｋの頂点Ｈ２と対応しており、四辺形Ｍの頂点Ｑ３は長方形Ｋの頂点Ｈ３と対応しており、四辺形Ｍの頂点Ｑ４は長方形Ｋの頂点Ｈ４と対応している。
【００４５】
このとき、透視変換パラメータ生成部１４は、長方形Ｋと四辺形Ｍとの対応する頂点相互の座標を比較して透視変換パラメータを生成する（図６のＳ１３）。具体的には、透視変換パラメータ生成部１４は、下記の式（６）を用いて、第１のフレームと第２のフレームとの間の大域的な動きを推定する透視変換パラメータＡ’を生成する。透視変換パラメータＡ’は、
「Ａ’＝（ａ’１１ ａ’１２ ａ’１３ ａ’２１ ａ２２’ ａ’２３ ａ’３１ ａ’３２）ｔ」と表現される。
【００４６】
【数６】
式（６）において、Ｕ＝（ｕ１ ｕ２ ｕ３ ｕ４ ｖ１ ｖ２ ｖ３ ｖ４）ｔである。
【００４７】
このように、透視変換パラメータ生成部１４は、第１のフレームに含まれる長方形Ｋの各辺の複数の位置それぞれの位置の第２のフレームの対応する位置への動きベクトルの始点を、長方形Ｋの対応する位置に一致させ、そのときの長方形Ｋの各辺について、全ての動きベクトルの終点を近似的に結ぶ一つの直線を算出する。そして、透視変換パラメータ生成部１４は、算出した４個の直線により形成される四辺形Ｍの各頂点の座標と、長方形Ｋの対応する各頂点の座標とを用いて透視変換パラメータＡ’を生成する。
【００４８】
すなわち、透視変換パラメータ生成部１４は、第１のフレームの長方形Ｋの４個の頂点の座標と、第２のフレームの、第１のフレームの長方形Ｋに対応する四辺形Ｍの４個の頂点の座標とを用いて、透視変換パラメータＡ’を生成する。これにより、透視変換パラメータ生成部１４は、第１のフレームと第２のフレームとの間の信頼性の高い大域的な動きを推定する透視変換パラメータＡ’を生成することができる。
【００４９】
図３に戻る。透視変換パラメータ生成部１４によって透視変換パラメータＡ’が生成されると（Ｓ５）、補正部１５は、下記の式（７）及び式（８）を用いて、第２のフレームの各画素の座標（ｘ，ｙ）を透視変換して補正し、それにより第２のフレームを補正する（Ｓ６）。
【００５０】
【数７】
【数８】
式（７）及び式（８）において、ａ’１１，ａ’１２，ａ’１３，ａ’２１，ａ’２２，ａ’２３，ａ’３１，及び，ａ’３２は、透視変換パラメータ生成部１４によって生成された透視変換パラメータＡ’を構成する各値である。また、ａ’３３＝１である。
【００５１】
補正部１５が第２のフレームの各画素の座標（ｘ，ｙ）を透視変換することにより、Ｐｉｔｃｈ又はＹａｗといった手ぶれがあるときに撮影されて得られた第２のフレームは、手ぶれがないときに撮影されて得られたようなフレームに補正される。つまり、補正部１５は、Ｐｉｔｃｈ又はＹａｗといった手ぶれがあるときに撮影されて得られた第２のフレームを、手ぶれがないときに撮影されて得られたようなフレームに補正することができる。
【００５２】
上述したように、透視変換パラメータ生成部１４は、第１のフレームに含まれる長方形Ｋの各辺の複数の位置それぞれの第２のフレームの対応する位置への動きベクトルの始点を、長方形Ｋの対応する位置に一致させ、そのときの長方形Ｋの各辺について、全ての動きベクトルの終点を近似的に結ぶ一つの直線を算出する。そして、透視変換パラメータ生成部１４は、算出した４個の直線により形成される四辺形Ｍの各頂点の座標と、長方形Ｋの対応する各頂点の座標とを用いて透視変換パラメータＡ’を生成する。これにより、第１のフレームと第２のフレームとの間の信頼性の高い大域的な動きを推定する透視変換パラメータが生成されるという効果が得られる。
【００５３】
また、補正部１５が透視変換パラメータ生成部１４によって生成された透視変換パラメータＡ’を用いて第２のフレームの各位置の座標を補正するので、第２のフレームは、手ぶれがないときに撮影されて得られたようなフレームに補正されるという効果が得られる。
【００５４】
なお、上述した実施の形態の長方形Ｋは、長方形以外の四辺形であってもよい。
【００５５】
また、第２のフレームが、Ｐａｎ、Ｔｉｌｔ、Ｒｏｌｌ、すなわち、平行移動、回転等の手ぶれがあるときに撮影されて得られたフレームであっても、透視変換を用いることにより、第２のフレームは、手ぶれがないときに撮影されて得られたようなフレームに補正することができる。
【００５６】
また、透視変換パラメータ生成部１４によって用いられる動きベクトルは、符号化等の目的で検出された動きベクトルであってもよい。
【００５７】
更に、上述した実施の形態の画像処理装置１の各構成部の機能は、例えばコンピュータのＣＰＵ（プロセッサ）及びメモリ等のハードウェアと、その機能を実現するためのコンピュータプログラムとが協働することによって実現される。しかしながら、上記各機能は、専用の回路により実現される等、どのような形態により実現されてもよい。また、画像処理装置１の各構成部の機能を実現するためのコンピュータプログラムは、記録媒体に格納されてもよい。
【符号の説明】
【００５８】
１ 画像処理装置、 １１ 取得部、 １２ 保持部、 １３ 動きベクトル検出部、 １４ 透視変換パラメータ生成部、 １５ 補正部。
【特許請求の範囲】
【請求項１】
第１のフレームと、第２のフレームとを取得する取得部と、
前記取得部によって取得された前記第１のフレームのなかの第１の四辺形の各辺の複数の位置それぞれについて、前記取得部によって取得された前記第２のフレームの対応する位置への動きベクトルを検出する動きベクトル検出部と、
前記動きベクトル検出部によって検出された各動きベクトルの始点を前記第１の四辺形の対応する位置に一致させ、そのときの前記第１の四辺形の各辺について、複数の動きベクトルの終点を一つの直線で近似的に結び、その結んで得られる４個の直線によって形成される第２の四辺形の４個の頂点の座標と、前記第１の四辺形の４個の頂点の座標とを用いて、前記第１の四辺形と前記第２の四辺形との間の透視変換パラメータを生成する透視変換パラメータ生成部と
を備える透視変換パラメータ生成装置。
【請求項２】
第１のフレームと、第２のフレームとを取得する取得部と、
前記取得部によって取得された前記第１のフレームのなかの第１の四辺形の各辺の複数の位置それぞれについて、前記取得部によって取得された前記第２のフレームの対応する位置への動きベクトルを検出する動きベクトル検出部と、
前記動きベクトル検出部によって検出された各動きベクトルの始点を前記第１の四辺形の対応する位置に一致させ、そのときの前記第１の四辺形の各辺について、複数の動きベクトルの終点を一つの直線で近似的に結び、その結んで得られる４個の直線によって形成される第２の四辺形の４個の頂点の座標と、前記第１の四辺形の４個の頂点の座標とを用いて、前記第１の四辺形と前記第２の四辺形との間の透視変換パラメータを生成する透視変換パラメータ生成部と、
前記取得部によって取得された前記第２のフレームの各位置の座標を、前記透視変換パラメータ生成部によって生成された前記透視変換パラメータを用いて補正する補正部と
を備える画像補正装置。
【請求項３】
第１のフレームと、第２のフレームとを取得するステップと、
取得した前記第１のフレームのなかの第１の四辺形の各辺の複数の位置それぞれについて、取得した前記第２のフレームの対応する位置への動きベクトルを検出するステップと、
検出した各動きベクトルの始点を前記第１の四辺形の対応する位置に一致させ、そのときの前記第１の四辺形の各辺について、複数の動きベクトルの終点を一つの直線で近似的に結び、その結んで得られる４個の直線によって形成される第２の四辺形の４個の頂点の座標と、前記第１の四辺形の４個の頂点の座標とを用いて、前記第１の四辺形と前記第２の四辺形との間の透視変換パラメータを生成するステップと
を含む透視変換パラメータ生成方法。
【請求項４】
第１のフレームと、第２のフレームとを取得するステップと、
取得した前記第１のフレームのなかの第１の四辺形の各辺の複数の位置それぞれについて、取得した前記第２のフレームの対応する位置への動きベクトルを検出するステップと、
検出した各動きベクトルの始点を前記第１の四辺形の対応する位置に一致させ、そのときの前記第１の四辺形の各辺について、複数の動きベクトルの終点を一つの直線で近似的に結び、その結んで得られる４個の直線によって形成される第２の四辺形の４個の頂点の座標と、前記第１の四辺形の４個の頂点の座標とを用いて、前記第１の四辺形と前記第２の四辺形との間の透視変換パラメータを生成するステップと、
取得した前記第２のフレームの各位置の座標を、生成した前記透視変換パラメータを用いて補正するステップと
を含む画像補正方法。
【請求項５】
第１のフレームと、第２のフレームとを取得する機能と、
取得した前記第１のフレームのなかの第１の四辺形の各辺の複数の位置それぞれについて、取得した前記第２のフレームの対応する位置への動きベクトルを検出する機能と、
検出した各動きベクトルの始点を前記第１の四辺形の対応する位置に一致させ、そのときの前記第１の四辺形の各辺について、複数の動きベクトルの終点を一つの直線で近似的に結び、その結んで得られる４個の直線によって形成される第２の四辺形の４個の頂点の座標と、前記第１の四辺形の４個の頂点の座標とを用いて、前記第１の四辺形と前記第２の四辺形との間の透視変換パラメータを生成する機能と
をコンピュータに実現させるためのプログラム。
【請求項６】
第１のフレームと、第２のフレームとを取得する機能と、
取得した前記第１のフレームのなかの第１の四辺形の各辺の複数の位置それぞれについて、取得した前記第２のフレームの対応する位置への動きベクトルを検出する機能と、
検出した各動きベクトルの始点を前記第１の四辺形の対応する位置に一致させ、そのときの前記第１の四辺形の各辺について、複数の動きベクトルの終点を一つの直線で近似的に結び、その結んで得られる４個の直線によって形成される第２の四辺形の４個の頂点の座標と、前記第１の四辺形の４個の頂点の座標とを用いて、前記第１の四辺形と前記第２の四辺形との間の透視変換パラメータを生成する機能と、
取得した前記第２のフレームの各位置の座標を、生成した前記透視変換パラメータを用いて補正する機能と
をコンピュータに実現させるためのプログラム。
【請求項１】
第１のフレームと、第２のフレームとを取得する取得部と、
前記取得部によって取得された前記第１のフレームのなかの第１の四辺形の各辺の複数の位置それぞれについて、前記取得部によって取得された前記第２のフレームの対応する位置への動きベクトルを検出する動きベクトル検出部と、
前記動きベクトル検出部によって検出された各動きベクトルの始点を前記第１の四辺形の対応する位置に一致させ、そのときの前記第１の四辺形の各辺について、複数の動きベクトルの終点を一つの直線で近似的に結び、その結んで得られる４個の直線によって形成される第２の四辺形の４個の頂点の座標と、前記第１の四辺形の４個の頂点の座標とを用いて、前記第１の四辺形と前記第２の四辺形との間の透視変換パラメータを生成する透視変換パラメータ生成部と
を備える透視変換パラメータ生成装置。
【請求項２】
第１のフレームと、第２のフレームとを取得する取得部と、
前記取得部によって取得された前記第１のフレームのなかの第１の四辺形の各辺の複数の位置それぞれについて、前記取得部によって取得された前記第２のフレームの対応する位置への動きベクトルを検出する動きベクトル検出部と、
前記動きベクトル検出部によって検出された各動きベクトルの始点を前記第１の四辺形の対応する位置に一致させ、そのときの前記第１の四辺形の各辺について、複数の動きベクトルの終点を一つの直線で近似的に結び、その結んで得られる４個の直線によって形成される第２の四辺形の４個の頂点の座標と、前記第１の四辺形の４個の頂点の座標とを用いて、前記第１の四辺形と前記第２の四辺形との間の透視変換パラメータを生成する透視変換パラメータ生成部と、
前記取得部によって取得された前記第２のフレームの各位置の座標を、前記透視変換パラメータ生成部によって生成された前記透視変換パラメータを用いて補正する補正部と
を備える画像補正装置。
【請求項３】
第１のフレームと、第２のフレームとを取得するステップと、
取得した前記第１のフレームのなかの第１の四辺形の各辺の複数の位置それぞれについて、取得した前記第２のフレームの対応する位置への動きベクトルを検出するステップと、
検出した各動きベクトルの始点を前記第１の四辺形の対応する位置に一致させ、そのときの前記第１の四辺形の各辺について、複数の動きベクトルの終点を一つの直線で近似的に結び、その結んで得られる４個の直線によって形成される第２の四辺形の４個の頂点の座標と、前記第１の四辺形の４個の頂点の座標とを用いて、前記第１の四辺形と前記第２の四辺形との間の透視変換パラメータを生成するステップと
を含む透視変換パラメータ生成方法。
【請求項４】
第１のフレームと、第２のフレームとを取得するステップと、
取得した前記第１のフレームのなかの第１の四辺形の各辺の複数の位置それぞれについて、取得した前記第２のフレームの対応する位置への動きベクトルを検出するステップと、
検出した各動きベクトルの始点を前記第１の四辺形の対応する位置に一致させ、そのときの前記第１の四辺形の各辺について、複数の動きベクトルの終点を一つの直線で近似的に結び、その結んで得られる４個の直線によって形成される第２の四辺形の４個の頂点の座標と、前記第１の四辺形の４個の頂点の座標とを用いて、前記第１の四辺形と前記第２の四辺形との間の透視変換パラメータを生成するステップと、
取得した前記第２のフレームの各位置の座標を、生成した前記透視変換パラメータを用いて補正するステップと
を含む画像補正方法。
【請求項５】
第１のフレームと、第２のフレームとを取得する機能と、
取得した前記第１のフレームのなかの第１の四辺形の各辺の複数の位置それぞれについて、取得した前記第２のフレームの対応する位置への動きベクトルを検出する機能と、
検出した各動きベクトルの始点を前記第１の四辺形の対応する位置に一致させ、そのときの前記第１の四辺形の各辺について、複数の動きベクトルの終点を一つの直線で近似的に結び、その結んで得られる４個の直線によって形成される第２の四辺形の４個の頂点の座標と、前記第１の四辺形の４個の頂点の座標とを用いて、前記第１の四辺形と前記第２の四辺形との間の透視変換パラメータを生成する機能と
をコンピュータに実現させるためのプログラム。
【請求項６】
第１のフレームと、第２のフレームとを取得する機能と、
取得した前記第１のフレームのなかの第１の四辺形の各辺の複数の位置それぞれについて、取得した前記第２のフレームの対応する位置への動きベクトルを検出する機能と、
検出した各動きベクトルの始点を前記第１の四辺形の対応する位置に一致させ、そのときの前記第１の四辺形の各辺について、複数の動きベクトルの終点を一つの直線で近似的に結び、その結んで得られる４個の直線によって形成される第２の四辺形の４個の頂点の座標と、前記第１の四辺形の４個の頂点の座標とを用いて、前記第１の四辺形と前記第２の四辺形との間の透視変換パラメータを生成する機能と、
取得した前記第２のフレームの各位置の座標を、生成した前記透視変換パラメータを用いて補正する機能と
をコンピュータに実現させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１１−１０３０３１（Ｐ２０１１−１０３０３１Ａ）
【公開日】平成２３年５月２６日（２０１１．５．２６）
【国際特許分類】
【出願番号】特願２００９−２５７１３７（Ｐ２００９−２５７１３７）
【出願日】平成２１年１１月１０日（２００９．１１．１０）
【出願人】（０００００４３２９）日本ビクター株式会社 (3,896)
【Ｆターム（参考）】
【公開日】平成２３年５月２６日（２０１１．５．２６）
【国際特許分類】
【出願日】平成２１年１１月１０日（２００９．１１．１０）
【出願人】（０００００４３２９）日本ビクター株式会社 (3,896)
【Ｆターム（参考）】
[ Back to top ]