画像処理装置、画像処理方法およびプログラム
【課題】画像中の特定領域の位置・姿勢を高精度に推定可能な、画像処理装置、画像処理方法およびプログラムを提供する。
【解決手段】入力画像Ｉ１の特徴点を抽出する特徴点抽出部１１と、参照画像Ｒとの間で特徴点の対応関係を決定するマッチング部１２と、対応関係に基づき入力画像Ｉ１と参照画像Ｒの射影関係を算出するホモグラフィ算出部１３と、射影関係に基づき入力画像Ｉ１の少なくとも一部を変換する画像変換部１４とを備え、ホモグラフィ算出部１３は、入力画像Ｉ１について、参照画像Ｒとの間で特徴点の対応関係に基づきホモグラフィ行列Ｈ１を算出し、画像変換部１４によりホモグラフィ行列Ｈ１に基づき変換された入力画像Ｉ１について、参照画像Ｒとの間で特徴点の対応関係に基づきホモグラフィ行列Ｈ２を算出し、ホモグラフィ行列Ｈ１、Ｈ２に基づき入力画像Ｉ１と参照画像Ｒの射影関係を再び算出する
【解決手段】入力画像Ｉ１の特徴点を抽出する特徴点抽出部１１と、参照画像Ｒとの間で特徴点の対応関係を決定するマッチング部１２と、対応関係に基づき入力画像Ｉ１と参照画像Ｒの射影関係を算出するホモグラフィ算出部１３と、射影関係に基づき入力画像Ｉ１の少なくとも一部を変換する画像変換部１４とを備え、ホモグラフィ算出部１３は、入力画像Ｉ１について、参照画像Ｒとの間で特徴点の対応関係に基づきホモグラフィ行列Ｈ１を算出し、画像変換部１４によりホモグラフィ行列Ｈ１に基づき変換された入力画像Ｉ１について、参照画像Ｒとの間で特徴点の対応関係に基づきホモグラフィ行列Ｈ２を算出し、ホモグラフィ行列Ｈ１、Ｈ２に基づき入力画像Ｉ１と参照画像Ｒの射影関係を再び算出する
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法およびプログラムに関する。
【背景技術】
【０００２】
近年、拡張現実感（Ａｕｇｕｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：ＡＲ）に対するニーズが高まりつつある。拡張現実感は、例えば、入力画像中の特定領域（または特定物体）を基準として、コンピュータ画像等の付加画像を入力画像に合成することで付与される。この場合、拡張現実感の品質は、入力画像中での特定領域の位置・姿勢の推定精度に大きく左右される。
【０００３】
このような画像処理では、入力画像中の特定領域（マーカー）を指定するために、マーカーに相当する参照画像が用いられる。そして、入力画像の特徴点を抽出し、参照画像との間で特徴点の対応関係を決定し、対応関係に基づき入力画像と参照画像の射影関係を算出することで、入力画像中でのマーカーの位置・姿勢が推定される。そして、射影関係に基づき付加画像が変換され、変換後の付加画像がマーカーを基準として入力画像に合成される。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、マーカーの位置・姿勢の推定結果には誤差が伴う。特に、入力画像が動画である場合、カメラおよびマーカーが静止していてもフレーム毎に推定結果に誤差が伴うことで、合成画像上で付加画像が微かに震える状態が生じ、拡張現実感の品質が低下してしまう。
【０００５】
推定結果の誤差としては、入力画像中のマーカーと参照画像の間で画像の姿勢が異なる点が挙げられる。画像の特徴点は、線形フィルタ、非線形フィルタ等、各種のフィルタを用いて抽出されるが、フィルタの出力は、画像の姿勢に応じて変化する。例えば、ある画像と、この画像を回転させた画像との間では、特徴点の座標値が異なったり、画像間で対応する同一の特徴点（対応点）が見出されなかったりする。
【０００６】
ここで、座標値の誤差は、多くの対応点が見いだされれば平均化することで、推定結果の誤差に及ぼす影響を抑えられる。しかし、マーカーと参照画像の間で画像の姿勢が異なれば多くの対応点が見いだされなくなり、推定結果の誤差に及ぼす影響を抑えられず、良好な推定結果を得られない。
【０００７】
そこで、本発明は、画像中の特定領域の位置・姿勢を高精度に推定可能な、画像処理装置、画像処理方法およびプログラムを提供しようとするものである。
【課題を解決するための手段】
【０００８】
本発明のある観点によれば、入力画像の特徴点を抽出する特徴点抽出部と、参照画像との間で特徴点の対応関係を決定する対応関係決定部と、対応関係に基づき入力画像と参照画像の射影関係を算出する射影関係算出部と、射影関係に基づき入力画像の少なくとも一部を変換する画像変換部とを備え、射影関係算出部は、入力画像について、参照画像との間で特徴点の対応関係に基づき第１の射影関係を算出し、画像変換部により第１の射影関係に基づき変換された入力画像について、参照画像との間で特徴点の対応関係に基づき第２の射影関係を算出し、第１および第２の射影関係に基づき入力画像と参照画像の射影関係を再び算出する画像処理装置が提供される。
【０００９】
画像変換部は、少なくとも第１の射影関係に基づき、入力画像中の特定領域の姿勢が参照画像の姿勢に近づくように、入力画像の少なくとも一部を変換してもよい。
【００１０】
射影関係算出部は、さらに、画像変換部により第１および第２の射影関係に基づき変換された入力画像について、参照画像との間で特徴点の対応関係に基づき第３の射影関係を算出し、第１から第３の射影関係に基づき入力画像と参照画像の射影関係を再び算出してもよい。
【００１１】
特徴点抽出部は、第１の射影関係を算出する場合と第２の射影関係を算出する場合で互いに異なる手法を用いて特徴点を抽出してもよい。
【００１２】
対応関係決定部は、第１の射影関係を算出する場合と第２の射影関係を算出する場合で互いに異なる手法を用いて対応関係を決定してもよい。
【００１３】
第１の射影関係を算出する場合、第２の射影関係を算出する場合よりも、入力画像中の特定領域の姿勢変化に対してロバストな手法が用いられてもよい。
【００１４】
画像変換部は、入力画像のうち参照画像に対応する特定領域の画像を変換してもよい。
【００１５】
画像処理装置は、入力画像に画像を合成する画像合成部をさらに備え、画像変換部は、さらに少なくとも第１および第２の射影関係に基づき付加画像を変換し、画像合成部は、変換した付加画像を、入力画像のうち参照画像に対応する特定領域に合成してもよい。
【００１６】
本発明の他の観点によれば、入力画像について、参照画像との間で特徴点の対応関係に基づき第１の射影関係を算出し、第１の射影関係に基づき入力画像の少なくとも一部を変換し、変換した入力画像について、参照画像との間で特徴点の対応関係に基づき第２の射影関係を算出し、第１および第２の射影関係に基づき入力画像と参照画像の射影関係を再び算出することを含む画像処理方法が提供される。
【００１７】
本発明の他の観点によれば、上記画像処理方法をコンピュータに実行させるためのプログラムが提供される。ここで、プログラムは、コンピュータ読取り可能な記録媒体を用いて提供されてもよく、通信手段等を介して提供されてもよい。
【発明の効果】
【００１８】
本発明によれば、画像中の特定領域の位置・姿勢を高精度に推定可能な、画像処理装置、画像処理方法およびプログラムを提供することができる。
【図面の簡単な説明】
【００１９】
【図１】本発明の実施形態に係る画像処理方法の概念を示す図である。
【図２】本発明の実施形態に係る画像処理装置の構成を示すブロック図である。
【図３】画像処理装置の動作を示すフロー図である。
【図４Ａ】画像処理方法の一例を示す図（１／２）である。
【図４Ｂ】画像処理方法の一例を示す図（２／２）である。
【図５】画像中の特定領域に画像を合成する一般的な画像処理方法を示すフロー図である。
【発明を実施するための形態】
【００２０】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２１】
［１．一般的な画像処理方法］
まず、図５を参照して、画像中の特定領域に画像を合成する一般的な画像処理方法について説明する。図５は、画像中の特定領域に画像を合成する一般的な画像処理方法を示すフロー図である。
【００２２】
画像処理方法は、パーソナルコンピュータ、ゲーム機、ＰＤＡ、携帯電話等の画像処理装置により行われる。画像処理方法では、参照画像Ｒの特徴点Ｐを示すデータがメモリ（不図示）等に格納されている。参照画像Ｒとは、入力画像Ｉ１中の特定領域（マーカーＭ）を指定するための平面画像であり、例えば、任意のテクスチャでもよく、二次元コード等でもよい。特徴点Ｐとは、輝度のエッジ成分等、画像中の特徴部分を表す画素点である。
【００２３】
図５に示すように、画像処理方法では、動画または静止画が入力画像Ｉ１としてカメラ（不図示）等から入力され（ステップＳ５１）、入力画像Ｉ１の特徴点Ｐが抽出される（ステップＳ５２）。入力画像Ｉ１は、参照画像Ｒとの間で特徴点Ｐの対応関係が決定される（マッチングされる）（ステップＳ５３）。特徴点Ｐの対応関係は、入力画像Ｉ１と参照画像Ｒの間で対応する同一の特徴点Ｐを見出すことで決定される。
【００２４】
入力画像Ｉ１は、特徴点Ｐのマッチングに基づき、参照画像Ｒとの間で射影関係（ホモグラフィ）が算出される（ステップＳ５４）。画像間の射影関係とは、特定平面を異なる地点から捉えた画像間に成立する関係であり、画像間のホモグラフィとも称される。画像間のホモグラフィは、３行３列のホモグラフィ行列を用いて表される。そして、入力画像Ｉ１と参照画像Ｒの射影関係を示すホモグラフィ行列Ｈ１は、マーカーＭを任意の姿勢で捉えた入力画像Ｉ１と、参照画像Ｒ（マーカーＭを一定の姿勢で捉えた画像）との間に成立する射影関係を示している。
【００２５】
ホモグラフィ行列Ｈ１を適切に算出できると（ステップＳ５５で「Ｙｅｓ」）、入力画像Ｉ１中でのマーカーＭの位置・姿勢が推定される。そして、ホモグラフィ行列Ｈ１に基づき付加画像が変換され（ステップＳ５６）、変換された付加画像がマーカーＭを基準として入力画像Ｉ１に合成され（ステップＳ５７）、合成画像として出力される（ステップＳ５８）。なお、付加画像のデータは、コンピュータ画像等のデータとしてメモリ等に格納されている。一方、ホモグラフィ行列Ｈ１を適切に算出できなければ（ステップＳ５５で「Ｎｏ」）、マーカーＭの位置・姿勢が適切に推定されず、入力画像Ｉ１自体が出力される（ステップＳ５９）。
【００２６】
しかし、マーカーの位置・姿勢の推定結果には誤差が伴う。特に、入力画像が動画である場合、カメラおよびマーカーが静止していてもフレーム毎に推定結果に誤差が伴うことで、合成画像上で付加画像が微かに震える状態が生じ、拡張現実感の品質が低下してしまう。
【００２７】
推定結果の誤差としては、入力画像中のマーカーと参照画像の間で画像の姿勢が異なる点が挙げられる。画像の特徴点Ｐは、線形フィルタ、非線形フィルタ等、各種のフィルタを用いて抽出されるが、フィルタの出力は、画像の姿勢に応じて変化する。例えば、ある画像と、この画像を回転させた画像との間では、特徴点Ｐの座標値が異なったり、画像間で対応する同一の特徴点Ｐ（対応点）が見出されなかったりする。
【００２８】
ここで、座標値の誤差は、多くの対応点が見いだされれば平均化することで、推定結果の誤差に及ぼす影響を抑えられる。しかし、マーカーと参照画像の間で画像の姿勢が異なれば多くの対応点が見いだされなくなり、推定結果の誤差に及ぼす影響を抑えられず、良好な推定結果を得られない。
【００２９】
画像間のホモグラフィは、理論上、画像間で対応する４組の特徴点Ｐ（対応点）の座標値を用いて算出できる。しかし、各座標値に誤差が生じている場合、ホモグラフィにも誤差が生じてしまうので、実際上、４つの対応点の座標値のみでは、ホモグラフィを精度良く算出できない。
【００３０】
このため、座標値の誤差を正規分布と仮定し、対応点の数を多くして最小二乗法によりホモグラフィを算出することが行われる。この場合、対応点の数が多いほどホモグラフィの算出精度が向上し、さらにいえば、特徴点Ｐの抽出数が多いほど対応点の数が多くなる。よって、ホモグラフィの算出精度は、特徴点Ｐの抽出精度に依存することになる。
【００３１】
極端な例として入力画像Ｉ１中のマーカーＭと参照画像Ｒが同一であれば、入力画像Ｉ１中のマーカーＭと参照画像Ｒとの間で画像の姿勢が一致するので、画像間で対応する全ての特徴点Ｐが抽出され、対応点の数が最多となる。換言すれば、入力画像Ｉ１中のマーカーＭと参照画像Ｒの間で画像の姿勢が異なるほど、特徴点Ｐが抽出されない可能性が増え、対応点の数が少なくなり、ホモグラフィの算出精度が低下する。
【００３２】
［２．画像処理方法の概念］
つぎに、図１を参照して本発明の実施形態に係る画像処理方法の概念について説明する。図１は、本発明の実施形態に係る画像処理方法の概念を示す図である。
【００３３】
図１に示すように、本発明の実施形態に係る画像処理方法では、まず、入力画像Ｉ１について、参照画像Ｒとの間で特徴点Ｐの対応関係に基づき第１の射影関係（ホモグラフィ行例Ｈ１）が算出される。よって、入力画像Ｉ１中での特定領域（マーカーＭ）の位置・姿勢がラフに推定される。そして、入力画像Ｉ１の少なくとも一部は、ホモグラフィ行例Ｈ１に基づき、マーカーＭの姿勢が参照画像Ｒの姿勢に近づくように変換される。図１に示す例では、マーカーＭは、入力画像Ｉ１では、時計回りに１３５°程度と大きく回転しているが、変換画像Ｉ２では、時計回りに１５°程度と僅かに回転している。
【００３４】
つぎに、変換後の入力画像Ｉ１（変換画像Ｉ２）について、参照画像Ｒとの間で特徴点Ｐの対応関係に基づき第２の射影関係（ホモグラフィ行例Ｈ２）が算出される。前述したように、変換画像Ｉ２では、入力画像Ｉ１に比べて、マーカーＭの姿勢が参照画像Ｒの姿勢に近づいている。よって、変換画像Ｉ２では、入力画像Ｉ１中でマーカーＭの位置・姿勢を推定する場合よりも、マーカーＭの位置・姿勢が緻密に推定される。また、ホモグラフィ行例Ｈ２は、ホモグラフィ行例Ｈ１の誤差を打ち消すように作用する。そして、ホモグラフィ行例Ｈ１、Ｈ２を合成したホモグラフィ行例Ｈに基づき、入力画像Ｉ１中でのマーカーＭの位置・姿勢を高い精度で推定することができる。
【００３５】
これにより、マーカーＭの姿勢が参照画像Ｒの姿勢に近づくように入力画像Ｉ１を変換しながら、入力画像Ｉ１および変換された入力画像Ｉ１（変換画像Ｉ２）と参照画像Ｒのホモグラフィを算出することで、入力画像Ｉ１中でのマーカーＭの位置・姿勢を高い精度で推定することができる。
【００３６】
［３．画像処理装置１０の構成］
つぎに、図２を参照して本発明の実施形態に係る画像処理装置１０の構成について説明する。図２は、本発明の実施形態に係る画像処理装置１０の構成を示すブロック図である。
【００３７】
本発明の実施形態に係る画像処理装置１０は、パーソナルコンピュータ、ゲーム機、ＰＤＡ、携帯電話等である。図２に示すように、画像処理装置１０は、特徴点抽出部１１、マッチング部１２（対応関係決定部）、ホモグラフィ算出部１３（射影関係算出部）、画像変換部１４、画像合成部１５および記憶部１６を含んでいる。なお、画像処理装置１０は、カメラ等の画像入力装置と一体に構成されてもよく、ディスプレイ等の画像表示装置と一体に構成されてもよい。
【００３８】
記憶部１６は、メモリ等の記憶装置により構成され、参照画像Ｒ、付加画像、参照画像Ｒの特徴点Ｐ等のデータを格納しており、ホモグラフィの算出結果等、画像処理の中間結果も格納する。なお、記憶部１６は、例えば画像データを格納する記憶部、特徴点データを記憶する記憶部等のように、複数に区分して構成されてもよい。
【００３９】
参照画像データとは、入力画像Ｉ１中のマーカーＭを指定する画像のデータであり、付加画像データとは、マーカーＭを基準として入力画像Ｉ１に合成される画像のデータである。特徴点データとは、輝度のエッジ成分等、画像中の特徴部分を表す画素点のデータである。特徴点データは、画像中での特徴点Ｐの座標値および特徴量（輝度値、輝度値勾配等）のデータを少なくとも含んでいる。
【００４０】
特徴点抽出部１１には、動画または静止画が入力画像Ｉ１として入力される。特徴点抽出部１１は、入力画像Ｉ１に対応する輝度値データを生成し、入力画像Ｉ１の特徴点Ｐを抽出し、抽出結果を示す特徴点データをマッチング部１２に供給する。また、特徴点抽出部１１は、画像変換部１４により変換された変換画像Ｉ２を供給され、入力画像Ｉ１の場合と同様に、変換画像Ｉ２の特徴点Ｐを抽出する。
【００４１】
特徴点Ｐは、例えばハリスコーナー（Ｈａｒｒｉｓ Ｃｏｒｎｅｒ）、ＳＩＦＴ（Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）、Ｒａｎｄｏｍ Ｆｅｒｎｓ等、任意の手法・パラメータを用いて抽出される。ＳＩＦＴは、特徴点Ｐの周辺の画素の勾配方向を用いて特徴点Ｐを記述する手法であり、マーカーＭの回転に対してロバストである。Ｒａｎｄｏｍ Ｆｅｒｎｓは、参照画像Ｒを画像変換して事前に学習する手法であり、マーカーＭの姿勢変化に対してロバストである。
【００４２】
マッチング部１２には、入力画像Ｉ１の特徴点データと、参照画像Ｒの特徴点データとが供給される。マッチング部１２は、入力画像Ｉ１と参照画像Ｒの間で特徴点Ｐをマッチングし、マッチング結果を示すマッチングデータをホモグラフィ算出部１３に供給する。また、マッチング部１２は、変換画像Ｉ２の特徴データを供給され、入力画像Ｉ１の場合と同様に、変換画像Ｉ２と参照画像Ｒの間で特徴点Ｐをマッチングする。
【００４３】
特徴点Ｐは、特徴点Ｐ間の類似度を測る評価値として差分絶対値和（ＳＡＤ）や特徴点Ｐベクトルの差のノルム等、任意の手法・パラメータを用いてマッチングされる。マッチングデータは、入力画像Ｉ１と参照画像Ｒの間で対応関係が確認された特徴点Ｐについて、入力画像Ｉ１中の座標値と参照画像Ｒ中の座標値のデータを少なくとも含んでいる。入力画像Ｉ１と参照画像Ｒの間では、入力画像Ｉ１中でのマーカーの位置・姿勢に応じては、画像間で対応する同一の特徴点Ｐを見出すことができず、１対１の対応関係を確認できない場合もある。なお、変換画像Ｉ２と参照画像Ｒの間についても、入力画像Ｉ１と参照画像Ｒの間と同様に説明される。
【００４４】
ホモグラフィ算出部１３には、マッチングデータが供給される。ホモグラフィ算出部１３は、マッチングデータに基づき、入力画像Ｉ１と参照画像Ｒのホモグラフィを算出し、画像変換部１４および記憶部１６に供給する。また、ホモグラフィ算出部１３は、入力画像Ｉ１の場合と同様に、変換画像Ｉ２と参照画像Ｒのホモグラフィ行列Ｈ２を算出し、ホモグラフィ行列Ｈ１、Ｈ２を合成したホモグラフィ行列Ｈ（＝Ｈ１・Ｈ２）を算出する。
【００４５】
入力画像Ｉ１と参照画像Ｒのホモグラフィとは、マーカーＭを任意の姿勢で捉えた入力画像Ｉ１と、参照画像Ｒ（一定の姿勢で捉えられたマーカーＭの画像）との間に成立する射影関係を意味し、３行３列のホモグラフィ行列を用いて表される。なお、変換画像Ｉ２の場合についても、入力画像Ｉ１の場合と同様に説明される。ホモグラフィ行列は、マッチングデータを構成する４組以上の特徴点Ｐ（対応点）の座標値を用いて算出される。
【００４６】
画像変換部１４には、入力画像データおよびホモグラフィ行列が供給される。画像変換部１４は、ホモグラフィ行列Ｈ１に基づき、マーカーＭの姿勢が参照画像Ｒの姿勢に近づくように入力画像Ｉ１（特にマーカーＭの領域の画像）を線形変換し、変換後の入力画像Ｉ１を変換画像Ｉ２として記憶部１６に一時的に格納する。画像変換は、ホモグラフィ行列Ｈ、入力画像Ｉ１の各画素の３次元座標ベクトルＸｓｒｃ、変換結果Ｘｄｓｔとすると、Ｘｄｓｔ＝Ｈ・Ｘｓｒｃとして表される。
【００４７】
ここで、画像変換の対象は、マーカーＭの領域の画像のみでもよく、マーカーＭの領域を含む入力画像Ｉ１自体でもよい。なお、マーカーＭの領域の画像を変換する場合、参照画像Ｒのコーナー部の座標とホモグラフィ行列ＨとからマーカーＭの領域の座標を算出し、この座標に基づきマーカーＭの領域の画像が入力画像Ｉ１から切出される。また、画像変換部１４は、ホモグラフィ行列に基づき、付加画像を線形変換し、変換後の付加画像を画像合成部１５に供給する。
【００４８】
画像合成部１５には、入力画像データ、変換後の付加画像データおよびホモグラフィ行列Ｈが供給される。画像合成部１５は、ホモグラフィ行列Ｈに基づき、変換後の付加画像を入力画像Ｉ１中のマーカーＭを基準として入力画像Ｉ１に合成して合成画像を生成し、画像表示装置等に出力する。
【００４９】
画像処理装置１０の各構成要素は、回路ロジック等のハードウェアおよび／またはプログラム等のソフトウェアとして構成される。ソフトウェアとして構成される構成要素は、例えば、不図示のＣＰＵ上でプログラムを実行することにより実現される。
【００５０】
なお、画像変換部１４は、画像合成部１５と一体に構成されてもよい。また、入力画像Ｉ１と変換画像Ｉ２をそれぞれに処理するために、特徴量抽出部１１、マッチング部１２、ホモグラフィ算出部１３、画像変換部１４のうち少なくとも１以上が個別に設けられてもよい。また、入力画像Ｉ１は、バッファ（不図示）を通じて特徴点抽出部１１に入力されてもよい。
【００５１】
［４．画像処理装置１０の動作］
つぎに、図３および図４Ａ、４Ｂを参照して本発明の実施形態に係る画像処理装置１０の動作について説明する。図３は、画像処理装置１０の動作を示すフロー図であり、図４Ａ、４Ｂは、画像処理方法の一例を示す図である。
【００５２】
図３に示すように、特徴点抽出部１１は、動画フレームのデータを入力画像Ｉ１のデータとして入力され（ステップＳ３１）、入力画像Ｉ１の特徴点Ｐを抽出する（ステップＳ３２）。なお、入力画像Ｉ１のデータは、記憶部１６に一時的に格納される。マッチング部１２は、入力画像Ｉ１の特徴点データと参照画像Ｒの特徴点データを供給され、入力画像Ｉ１と参照画像Ｒの間で特徴点Ｐをマッチングする（ステップＳ３３）。なお、参照画像Ｒの特徴点データは、記憶部１６から読み出される代わりに、特徴点抽出部１１により参照画像Ｒから抽出されてマッチング部１２に供給されてもよい。
【００５３】
ホモグラフィ算出部１３は、マッチングデータを供給され、入力画像Ｉ１と参照画像Ｒの射影関係を示すホモグラフィ行列Ｈ１を算出する（ステップＳ３４）。ホモグラフィ行列Ｈ１は、記憶部１６に一時的に格納される。なお、例えば、４組以上の特徴点Ｐ（対応点）を見出せなかった場合（ステップＳ３５で「Ｎｏ」）、ホモグラフィ行列Ｈ１を算出することができず、画像合成を行わずに入力画像Ｉ１が出力される（ステップＳ４５）。
【００５４】
図４Ａには、特徴点Ｐのマッチング例が示されている。この例では、入力画像Ｉ１中の特定領域（マーカーＭ）は、日本周辺の地図画像を示す参照画像Ｒにより指定されている。入力画像Ｉ１は、斜めに吊り下げられた地図画像（マーカーＭ）を斜め前方から捉えている。参照画像Ｒは、正立した状態のマーカーＭに対応する地図画像であり、輝度値のエッジ成分等、９つの特徴点Ｐ１〜Ｐ９が予め抽出されている。なお、図４Ａでは、便宜上、地図画像の輝度画像ではなく地図画像自体に特徴点Ｐが示されている。
【００５５】
参照画像Ｒと入力画像Ｉ１の間では、対応関係にある同一の特徴点Ｐ（対応点）同士を結ぶ線分を用いて暗示するように、９つの特徴点Ｐ１〜Ｐ９のうち５つの特徴点Ｐ１〜Ｐ５がマッチングされている。これは、入力画像Ｉ１中のマーカーＭと参照画像Ｒの間で画像の姿勢が大きく異なるので、残り４つの特徴点Ｐ６〜Ｐ９を入力画像Ｉ１から適切に抽出できないためである。
【００５６】
画像変換部１４は、入力画像Ｉ１のデータおよびホモグラフィ行列Ｈ１を供給され、ホモグラフィ行列Ｈ１に基づき入力画像Ｉ１を変換する（ステップＳ３６）。変換後の入力画像Ｉ１（変換画像Ｉ２）は、入力画像Ｉ１に比べて、マーカーＭの姿勢が参照画像Ｒの姿勢に近づくように入力画像Ｉ１を変換することで得られる。変換画像Ｉ２のデータは、記憶部１６に一時的に格納される。
【００５７】
特徴点抽出部１１は、さらに、変換画像Ｉ２のデータを供給され、変換画像Ｉ２の特徴点Ｐを抽出する（ステップＳ３７）。マッチング部１２は、変換画像Ｉ２の特徴点データと参照画像Ｒの特徴点データを供給され、変換画像Ｉ２と参照画像Ｒの間で特徴点Ｐをマッチングする（ステップＳ３８）。
【００５８】
ホモグラフィ算出部１３は、マッチングデータを供給され、変換画像Ｉ２と参照画像Ｒの射影関係を示すホモグラフィ行列Ｈ２を算出する（ステップＳ３９）。ホモグラフィ行列Ｈ２は、記憶部１６に一時的に格納されてもよい。なお、ホモグラフィ行列Ｈ２を算出することができない場合（ステップＳ４０で「Ｎｏ」）、画像合成を行わずに入力画像Ｉ１が出力される（ステップＳ４５）。ホモグラフィ算出部１３は、ホモグラフィＨ１、Ｈ２を合成してホモグラフィ行列Ｈ（＝Ｈ１・Ｈ２）を算出する（ステップＳ４１）。
【００５９】
図４Ｂには、図４Ａに関連する特徴点Ｐのマッチング例が示されている。この例では、変換画像Ｉ２は、ホモグラフィ行列Ｈ１に基づきマーカーＭの領域を含む画像を入力画像Ｉ１から切出し、入力画像Ｉ１に比べて、マーカーＭの姿勢が参照画像Ｒの姿勢に近づくように切出し画像を変換することで得られる。入力画像Ｉ１に占めるマーカーＭの領域が小さい場合、画像変換に要する処理を低減することができる。なお、図4Ｂでも、便宜上、地図画像の輝度画像ではなく地図画像自体に特徴点Ｐが示されている。
【００６０】
参照画像Ｒと変換画像Ｉ２の間では、対応関係にある同一の特徴点Ｐ（対応点）同士を結ぶ線分を用いて暗示するように、９つの特徴点Ｐ１〜Ｐ９の全てがマッチングされている。これは、変換画像Ｉ２中のマーカーＭと参照画像Ｒの間で画像の姿勢が近いので、特徴点Ｐ１〜Ｐ９を変換画像Ｉ２から適切に抽出できるためである。
【００６１】
画像変換部１４は、付加画像のデータおよびホモグラフィ行列Ｈを供給され、ホモグラフィ行列Ｈに基づき付加画像を線形変換する（ステップＳ４２）。付加画像は、付加画像の姿勢がマーカーＭの姿勢に一致するように変換される。画像合成部１５は、変換後の付加画像のデータ、入力画像Ｉ１のデータおよびホモグラフィ行列Ｈを供給され、ホモグラフィ行列Ｈに基づき変換後の付加画像を入力画像Ｉ１に合成し（ステップＳ４３）、合成画像として出力する（ステップＳ４３）。
【００６２】
ホモグラフィ行列Ｈ１、Ｈ２は、同一の手法（およびパラメータ）を用いて算出されてもよく、互いに異なる手法（および／またはパラメータ）を用いて算出されてもよい。なお、異なる手法とは、特徴量の抽出（参照画像の特徴量データの種類も含む）および／または特徴点Ｐのマッチングの手法が異なることを意味している。
【００６３】
ホモグラフィ行列Ｈ１は、入力画像Ｉ１中のマーカーＭと参照画像Ｒの間で画像の位置・姿勢が大きく異なる可能性が高いので、マーカーＭの姿勢変化に対してロバストな手法を用いて算出されることが好ましい。一方、ホモグラフィ行列Ｈ２は、変換画像Ｉ２中のマーカーＭと参照画像Ｒの間で画像の位置・姿勢が大きく異なる可能性が低いので、大抵のケースでは、推定精度の高い手法を用いて算出されることが好ましい。一般に、マーカーＭの姿勢変化に対するロバスト性と推定精度は、トレードオフの関係にあるので、ホモグラフィ行列Ｈ１をロバストな手法を用いて算出し、ホモグラフィ行列Ｈ２を推定精度の高い手法を用いて算出することで、マーカーＭの位置・姿勢を高精度で推定できる可能性が高くなる。
【００６４】
マーカーＭの位置・姿勢は、３段階以上のホモグラフィの算出結果に基づき推定されてもよい。例えば、ホモグラフィ行列Ｈ１、Ｈ２、Ｈ３の算出結果に基づく場合、画像変換部１４は、ホモグラフィ行列Ｈ２に基づき変換画像Ｉ２を２次変換画像にさらに変換する（もちろん、ホモグラフィ行列Ｈ１、Ｈ２基づき入力画像Ｉ１を２次変換画像に変換してもよい。）。
【００６５】
画像処理装置１０では、２次変換画像について、参照画像Ｒとの間で特徴点Ｐの抽出、特徴点Ｐのマッチングおよびホモグラフィの算出が行われ、２次変換画像と参照画像Ｒの射影関係を示すホモグラフィ行列Ｈ３が算出される。そして、入力画像Ｉ１と参照画像Ｒの射影関係を示すホモグラフィ行列Ｈ´（＝Ｈ１・Ｈ２・Ｈ３）が算出され、ホモグラフィ行列Ｈ´に基づき入力画像Ｉ１に付加画像が合成される。
【００６６】
この場合も、各ホモグラフィ行列Ｈ１、Ｈ２、Ｈ３は、前述した場合と同様に、同一の手法を用いて算出されてもよく、互いに異なる手法を用いて算出されてもよい。ここで、ホモグラフィの算出段階が上がるほど、変換後の入力画像Ｉ１中のマーカーＭの姿勢は、参照画像Ｒの姿勢に近づくと期待される。よって、算出段階が上がるほど、マーカーＭの姿勢変化に対するロバスト性が低く精度水準が高い手法を用いることで、マーカーＭの位置・姿勢を高精度に推定できる可能性が高くなる。
【００６７】
［５．まとめ］
以上説明したように、本発明によれば、マーカーＭの姿勢が参照画像Ｒの姿勢に近づくように入力画像Ｉ１を変換しながら、入力画像Ｉ１および変換された入力画像Ｉ１（変換画像Ｉ２等）と参照画像Ｒのホモグラフィを算出することで、入力画像Ｉ１中でのマーカーＭの位置・姿勢を高い精度で推定することができる。
【００６８】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【００６９】
例えば、上記実施形態では、画像処理装置１０は、カメラ等の画像入力装置から入力画像Ｉ１を入力され、ディスプレイ等の画像表示装置に出力画像を出力する場合について説明した。しかし、入力画像Ｉ１は、レコーダ、プレイヤ等の画像再生装置から入力されてもよく、出力画像は、レコーダ、プレイヤ等の画像記録装置に出力されてもよい。
【符号の説明】
【００７０】
１０ 画像処理装置
１１ 特徴点抽出部
１２ マッチング部（対応関係決定部）
１３ ホモグラフィ算出部（射影関係算出部）
１４ 画像変換部
１５ 画像合成部
１６ 記憶部
Ｍ マーカー（特定領域）
Ｒ 参照画像
Ｉ１ 入力画像
Ｉ２ 変換画像
Ｈ、Ｈ１、Ｈ２ ホモグラフィ行列（射影関係）
Ｐ 特徴点
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法およびプログラムに関する。
【背景技術】
【０００２】
近年、拡張現実感（Ａｕｇｕｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：ＡＲ）に対するニーズが高まりつつある。拡張現実感は、例えば、入力画像中の特定領域（または特定物体）を基準として、コンピュータ画像等の付加画像を入力画像に合成することで付与される。この場合、拡張現実感の品質は、入力画像中での特定領域の位置・姿勢の推定精度に大きく左右される。
【０００３】
このような画像処理では、入力画像中の特定領域（マーカー）を指定するために、マーカーに相当する参照画像が用いられる。そして、入力画像の特徴点を抽出し、参照画像との間で特徴点の対応関係を決定し、対応関係に基づき入力画像と参照画像の射影関係を算出することで、入力画像中でのマーカーの位置・姿勢が推定される。そして、射影関係に基づき付加画像が変換され、変換後の付加画像がマーカーを基準として入力画像に合成される。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、マーカーの位置・姿勢の推定結果には誤差が伴う。特に、入力画像が動画である場合、カメラおよびマーカーが静止していてもフレーム毎に推定結果に誤差が伴うことで、合成画像上で付加画像が微かに震える状態が生じ、拡張現実感の品質が低下してしまう。
【０００５】
推定結果の誤差としては、入力画像中のマーカーと参照画像の間で画像の姿勢が異なる点が挙げられる。画像の特徴点は、線形フィルタ、非線形フィルタ等、各種のフィルタを用いて抽出されるが、フィルタの出力は、画像の姿勢に応じて変化する。例えば、ある画像と、この画像を回転させた画像との間では、特徴点の座標値が異なったり、画像間で対応する同一の特徴点（対応点）が見出されなかったりする。
【０００６】
ここで、座標値の誤差は、多くの対応点が見いだされれば平均化することで、推定結果の誤差に及ぼす影響を抑えられる。しかし、マーカーと参照画像の間で画像の姿勢が異なれば多くの対応点が見いだされなくなり、推定結果の誤差に及ぼす影響を抑えられず、良好な推定結果を得られない。
【０００７】
そこで、本発明は、画像中の特定領域の位置・姿勢を高精度に推定可能な、画像処理装置、画像処理方法およびプログラムを提供しようとするものである。
【課題を解決するための手段】
【０００８】
本発明のある観点によれば、入力画像の特徴点を抽出する特徴点抽出部と、参照画像との間で特徴点の対応関係を決定する対応関係決定部と、対応関係に基づき入力画像と参照画像の射影関係を算出する射影関係算出部と、射影関係に基づき入力画像の少なくとも一部を変換する画像変換部とを備え、射影関係算出部は、入力画像について、参照画像との間で特徴点の対応関係に基づき第１の射影関係を算出し、画像変換部により第１の射影関係に基づき変換された入力画像について、参照画像との間で特徴点の対応関係に基づき第２の射影関係を算出し、第１および第２の射影関係に基づき入力画像と参照画像の射影関係を再び算出する画像処理装置が提供される。
【０００９】
画像変換部は、少なくとも第１の射影関係に基づき、入力画像中の特定領域の姿勢が参照画像の姿勢に近づくように、入力画像の少なくとも一部を変換してもよい。
【００１０】
射影関係算出部は、さらに、画像変換部により第１および第２の射影関係に基づき変換された入力画像について、参照画像との間で特徴点の対応関係に基づき第３の射影関係を算出し、第１から第３の射影関係に基づき入力画像と参照画像の射影関係を再び算出してもよい。
【００１１】
特徴点抽出部は、第１の射影関係を算出する場合と第２の射影関係を算出する場合で互いに異なる手法を用いて特徴点を抽出してもよい。
【００１２】
対応関係決定部は、第１の射影関係を算出する場合と第２の射影関係を算出する場合で互いに異なる手法を用いて対応関係を決定してもよい。
【００１３】
第１の射影関係を算出する場合、第２の射影関係を算出する場合よりも、入力画像中の特定領域の姿勢変化に対してロバストな手法が用いられてもよい。
【００１４】
画像変換部は、入力画像のうち参照画像に対応する特定領域の画像を変換してもよい。
【００１５】
画像処理装置は、入力画像に画像を合成する画像合成部をさらに備え、画像変換部は、さらに少なくとも第１および第２の射影関係に基づき付加画像を変換し、画像合成部は、変換した付加画像を、入力画像のうち参照画像に対応する特定領域に合成してもよい。
【００１６】
本発明の他の観点によれば、入力画像について、参照画像との間で特徴点の対応関係に基づき第１の射影関係を算出し、第１の射影関係に基づき入力画像の少なくとも一部を変換し、変換した入力画像について、参照画像との間で特徴点の対応関係に基づき第２の射影関係を算出し、第１および第２の射影関係に基づき入力画像と参照画像の射影関係を再び算出することを含む画像処理方法が提供される。
【００１７】
本発明の他の観点によれば、上記画像処理方法をコンピュータに実行させるためのプログラムが提供される。ここで、プログラムは、コンピュータ読取り可能な記録媒体を用いて提供されてもよく、通信手段等を介して提供されてもよい。
【発明の効果】
【００１８】
本発明によれば、画像中の特定領域の位置・姿勢を高精度に推定可能な、画像処理装置、画像処理方法およびプログラムを提供することができる。
【図面の簡単な説明】
【００１９】
【図１】本発明の実施形態に係る画像処理方法の概念を示す図である。
【図２】本発明の実施形態に係る画像処理装置の構成を示すブロック図である。
【図３】画像処理装置の動作を示すフロー図である。
【図４Ａ】画像処理方法の一例を示す図（１／２）である。
【図４Ｂ】画像処理方法の一例を示す図（２／２）である。
【図５】画像中の特定領域に画像を合成する一般的な画像処理方法を示すフロー図である。
【発明を実施するための形態】
【００２０】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２１】
［１．一般的な画像処理方法］
まず、図５を参照して、画像中の特定領域に画像を合成する一般的な画像処理方法について説明する。図５は、画像中の特定領域に画像を合成する一般的な画像処理方法を示すフロー図である。
【００２２】
画像処理方法は、パーソナルコンピュータ、ゲーム機、ＰＤＡ、携帯電話等の画像処理装置により行われる。画像処理方法では、参照画像Ｒの特徴点Ｐを示すデータがメモリ（不図示）等に格納されている。参照画像Ｒとは、入力画像Ｉ１中の特定領域（マーカーＭ）を指定するための平面画像であり、例えば、任意のテクスチャでもよく、二次元コード等でもよい。特徴点Ｐとは、輝度のエッジ成分等、画像中の特徴部分を表す画素点である。
【００２３】
図５に示すように、画像処理方法では、動画または静止画が入力画像Ｉ１としてカメラ（不図示）等から入力され（ステップＳ５１）、入力画像Ｉ１の特徴点Ｐが抽出される（ステップＳ５２）。入力画像Ｉ１は、参照画像Ｒとの間で特徴点Ｐの対応関係が決定される（マッチングされる）（ステップＳ５３）。特徴点Ｐの対応関係は、入力画像Ｉ１と参照画像Ｒの間で対応する同一の特徴点Ｐを見出すことで決定される。
【００２４】
入力画像Ｉ１は、特徴点Ｐのマッチングに基づき、参照画像Ｒとの間で射影関係（ホモグラフィ）が算出される（ステップＳ５４）。画像間の射影関係とは、特定平面を異なる地点から捉えた画像間に成立する関係であり、画像間のホモグラフィとも称される。画像間のホモグラフィは、３行３列のホモグラフィ行列を用いて表される。そして、入力画像Ｉ１と参照画像Ｒの射影関係を示すホモグラフィ行列Ｈ１は、マーカーＭを任意の姿勢で捉えた入力画像Ｉ１と、参照画像Ｒ（マーカーＭを一定の姿勢で捉えた画像）との間に成立する射影関係を示している。
【００２５】
ホモグラフィ行列Ｈ１を適切に算出できると（ステップＳ５５で「Ｙｅｓ」）、入力画像Ｉ１中でのマーカーＭの位置・姿勢が推定される。そして、ホモグラフィ行列Ｈ１に基づき付加画像が変換され（ステップＳ５６）、変換された付加画像がマーカーＭを基準として入力画像Ｉ１に合成され（ステップＳ５７）、合成画像として出力される（ステップＳ５８）。なお、付加画像のデータは、コンピュータ画像等のデータとしてメモリ等に格納されている。一方、ホモグラフィ行列Ｈ１を適切に算出できなければ（ステップＳ５５で「Ｎｏ」）、マーカーＭの位置・姿勢が適切に推定されず、入力画像Ｉ１自体が出力される（ステップＳ５９）。
【００２６】
しかし、マーカーの位置・姿勢の推定結果には誤差が伴う。特に、入力画像が動画である場合、カメラおよびマーカーが静止していてもフレーム毎に推定結果に誤差が伴うことで、合成画像上で付加画像が微かに震える状態が生じ、拡張現実感の品質が低下してしまう。
【００２７】
推定結果の誤差としては、入力画像中のマーカーと参照画像の間で画像の姿勢が異なる点が挙げられる。画像の特徴点Ｐは、線形フィルタ、非線形フィルタ等、各種のフィルタを用いて抽出されるが、フィルタの出力は、画像の姿勢に応じて変化する。例えば、ある画像と、この画像を回転させた画像との間では、特徴点Ｐの座標値が異なったり、画像間で対応する同一の特徴点Ｐ（対応点）が見出されなかったりする。
【００２８】
ここで、座標値の誤差は、多くの対応点が見いだされれば平均化することで、推定結果の誤差に及ぼす影響を抑えられる。しかし、マーカーと参照画像の間で画像の姿勢が異なれば多くの対応点が見いだされなくなり、推定結果の誤差に及ぼす影響を抑えられず、良好な推定結果を得られない。
【００２９】
画像間のホモグラフィは、理論上、画像間で対応する４組の特徴点Ｐ（対応点）の座標値を用いて算出できる。しかし、各座標値に誤差が生じている場合、ホモグラフィにも誤差が生じてしまうので、実際上、４つの対応点の座標値のみでは、ホモグラフィを精度良く算出できない。
【００３０】
このため、座標値の誤差を正規分布と仮定し、対応点の数を多くして最小二乗法によりホモグラフィを算出することが行われる。この場合、対応点の数が多いほどホモグラフィの算出精度が向上し、さらにいえば、特徴点Ｐの抽出数が多いほど対応点の数が多くなる。よって、ホモグラフィの算出精度は、特徴点Ｐの抽出精度に依存することになる。
【００３１】
極端な例として入力画像Ｉ１中のマーカーＭと参照画像Ｒが同一であれば、入力画像Ｉ１中のマーカーＭと参照画像Ｒとの間で画像の姿勢が一致するので、画像間で対応する全ての特徴点Ｐが抽出され、対応点の数が最多となる。換言すれば、入力画像Ｉ１中のマーカーＭと参照画像Ｒの間で画像の姿勢が異なるほど、特徴点Ｐが抽出されない可能性が増え、対応点の数が少なくなり、ホモグラフィの算出精度が低下する。
【００３２】
［２．画像処理方法の概念］
つぎに、図１を参照して本発明の実施形態に係る画像処理方法の概念について説明する。図１は、本発明の実施形態に係る画像処理方法の概念を示す図である。
【００３３】
図１に示すように、本発明の実施形態に係る画像処理方法では、まず、入力画像Ｉ１について、参照画像Ｒとの間で特徴点Ｐの対応関係に基づき第１の射影関係（ホモグラフィ行例Ｈ１）が算出される。よって、入力画像Ｉ１中での特定領域（マーカーＭ）の位置・姿勢がラフに推定される。そして、入力画像Ｉ１の少なくとも一部は、ホモグラフィ行例Ｈ１に基づき、マーカーＭの姿勢が参照画像Ｒの姿勢に近づくように変換される。図１に示す例では、マーカーＭは、入力画像Ｉ１では、時計回りに１３５°程度と大きく回転しているが、変換画像Ｉ２では、時計回りに１５°程度と僅かに回転している。
【００３４】
つぎに、変換後の入力画像Ｉ１（変換画像Ｉ２）について、参照画像Ｒとの間で特徴点Ｐの対応関係に基づき第２の射影関係（ホモグラフィ行例Ｈ２）が算出される。前述したように、変換画像Ｉ２では、入力画像Ｉ１に比べて、マーカーＭの姿勢が参照画像Ｒの姿勢に近づいている。よって、変換画像Ｉ２では、入力画像Ｉ１中でマーカーＭの位置・姿勢を推定する場合よりも、マーカーＭの位置・姿勢が緻密に推定される。また、ホモグラフィ行例Ｈ２は、ホモグラフィ行例Ｈ１の誤差を打ち消すように作用する。そして、ホモグラフィ行例Ｈ１、Ｈ２を合成したホモグラフィ行例Ｈに基づき、入力画像Ｉ１中でのマーカーＭの位置・姿勢を高い精度で推定することができる。
【００３５】
これにより、マーカーＭの姿勢が参照画像Ｒの姿勢に近づくように入力画像Ｉ１を変換しながら、入力画像Ｉ１および変換された入力画像Ｉ１（変換画像Ｉ２）と参照画像Ｒのホモグラフィを算出することで、入力画像Ｉ１中でのマーカーＭの位置・姿勢を高い精度で推定することができる。
【００３６】
［３．画像処理装置１０の構成］
つぎに、図２を参照して本発明の実施形態に係る画像処理装置１０の構成について説明する。図２は、本発明の実施形態に係る画像処理装置１０の構成を示すブロック図である。
【００３７】
本発明の実施形態に係る画像処理装置１０は、パーソナルコンピュータ、ゲーム機、ＰＤＡ、携帯電話等である。図２に示すように、画像処理装置１０は、特徴点抽出部１１、マッチング部１２（対応関係決定部）、ホモグラフィ算出部１３（射影関係算出部）、画像変換部１４、画像合成部１５および記憶部１６を含んでいる。なお、画像処理装置１０は、カメラ等の画像入力装置と一体に構成されてもよく、ディスプレイ等の画像表示装置と一体に構成されてもよい。
【００３８】
記憶部１６は、メモリ等の記憶装置により構成され、参照画像Ｒ、付加画像、参照画像Ｒの特徴点Ｐ等のデータを格納しており、ホモグラフィの算出結果等、画像処理の中間結果も格納する。なお、記憶部１６は、例えば画像データを格納する記憶部、特徴点データを記憶する記憶部等のように、複数に区分して構成されてもよい。
【００３９】
参照画像データとは、入力画像Ｉ１中のマーカーＭを指定する画像のデータであり、付加画像データとは、マーカーＭを基準として入力画像Ｉ１に合成される画像のデータである。特徴点データとは、輝度のエッジ成分等、画像中の特徴部分を表す画素点のデータである。特徴点データは、画像中での特徴点Ｐの座標値および特徴量（輝度値、輝度値勾配等）のデータを少なくとも含んでいる。
【００４０】
特徴点抽出部１１には、動画または静止画が入力画像Ｉ１として入力される。特徴点抽出部１１は、入力画像Ｉ１に対応する輝度値データを生成し、入力画像Ｉ１の特徴点Ｐを抽出し、抽出結果を示す特徴点データをマッチング部１２に供給する。また、特徴点抽出部１１は、画像変換部１４により変換された変換画像Ｉ２を供給され、入力画像Ｉ１の場合と同様に、変換画像Ｉ２の特徴点Ｐを抽出する。
【００４１】
特徴点Ｐは、例えばハリスコーナー（Ｈａｒｒｉｓ Ｃｏｒｎｅｒ）、ＳＩＦＴ（Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）、Ｒａｎｄｏｍ Ｆｅｒｎｓ等、任意の手法・パラメータを用いて抽出される。ＳＩＦＴは、特徴点Ｐの周辺の画素の勾配方向を用いて特徴点Ｐを記述する手法であり、マーカーＭの回転に対してロバストである。Ｒａｎｄｏｍ Ｆｅｒｎｓは、参照画像Ｒを画像変換して事前に学習する手法であり、マーカーＭの姿勢変化に対してロバストである。
【００４２】
マッチング部１２には、入力画像Ｉ１の特徴点データと、参照画像Ｒの特徴点データとが供給される。マッチング部１２は、入力画像Ｉ１と参照画像Ｒの間で特徴点Ｐをマッチングし、マッチング結果を示すマッチングデータをホモグラフィ算出部１３に供給する。また、マッチング部１２は、変換画像Ｉ２の特徴データを供給され、入力画像Ｉ１の場合と同様に、変換画像Ｉ２と参照画像Ｒの間で特徴点Ｐをマッチングする。
【００４３】
特徴点Ｐは、特徴点Ｐ間の類似度を測る評価値として差分絶対値和（ＳＡＤ）や特徴点Ｐベクトルの差のノルム等、任意の手法・パラメータを用いてマッチングされる。マッチングデータは、入力画像Ｉ１と参照画像Ｒの間で対応関係が確認された特徴点Ｐについて、入力画像Ｉ１中の座標値と参照画像Ｒ中の座標値のデータを少なくとも含んでいる。入力画像Ｉ１と参照画像Ｒの間では、入力画像Ｉ１中でのマーカーの位置・姿勢に応じては、画像間で対応する同一の特徴点Ｐを見出すことができず、１対１の対応関係を確認できない場合もある。なお、変換画像Ｉ２と参照画像Ｒの間についても、入力画像Ｉ１と参照画像Ｒの間と同様に説明される。
【００４４】
ホモグラフィ算出部１３には、マッチングデータが供給される。ホモグラフィ算出部１３は、マッチングデータに基づき、入力画像Ｉ１と参照画像Ｒのホモグラフィを算出し、画像変換部１４および記憶部１６に供給する。また、ホモグラフィ算出部１３は、入力画像Ｉ１の場合と同様に、変換画像Ｉ２と参照画像Ｒのホモグラフィ行列Ｈ２を算出し、ホモグラフィ行列Ｈ１、Ｈ２を合成したホモグラフィ行列Ｈ（＝Ｈ１・Ｈ２）を算出する。
【００４５】
入力画像Ｉ１と参照画像Ｒのホモグラフィとは、マーカーＭを任意の姿勢で捉えた入力画像Ｉ１と、参照画像Ｒ（一定の姿勢で捉えられたマーカーＭの画像）との間に成立する射影関係を意味し、３行３列のホモグラフィ行列を用いて表される。なお、変換画像Ｉ２の場合についても、入力画像Ｉ１の場合と同様に説明される。ホモグラフィ行列は、マッチングデータを構成する４組以上の特徴点Ｐ（対応点）の座標値を用いて算出される。
【００４６】
画像変換部１４には、入力画像データおよびホモグラフィ行列が供給される。画像変換部１４は、ホモグラフィ行列Ｈ１に基づき、マーカーＭの姿勢が参照画像Ｒの姿勢に近づくように入力画像Ｉ１（特にマーカーＭの領域の画像）を線形変換し、変換後の入力画像Ｉ１を変換画像Ｉ２として記憶部１６に一時的に格納する。画像変換は、ホモグラフィ行列Ｈ、入力画像Ｉ１の各画素の３次元座標ベクトルＸｓｒｃ、変換結果Ｘｄｓｔとすると、Ｘｄｓｔ＝Ｈ・Ｘｓｒｃとして表される。
【００４７】
ここで、画像変換の対象は、マーカーＭの領域の画像のみでもよく、マーカーＭの領域を含む入力画像Ｉ１自体でもよい。なお、マーカーＭの領域の画像を変換する場合、参照画像Ｒのコーナー部の座標とホモグラフィ行列ＨとからマーカーＭの領域の座標を算出し、この座標に基づきマーカーＭの領域の画像が入力画像Ｉ１から切出される。また、画像変換部１４は、ホモグラフィ行列に基づき、付加画像を線形変換し、変換後の付加画像を画像合成部１５に供給する。
【００４８】
画像合成部１５には、入力画像データ、変換後の付加画像データおよびホモグラフィ行列Ｈが供給される。画像合成部１５は、ホモグラフィ行列Ｈに基づき、変換後の付加画像を入力画像Ｉ１中のマーカーＭを基準として入力画像Ｉ１に合成して合成画像を生成し、画像表示装置等に出力する。
【００４９】
画像処理装置１０の各構成要素は、回路ロジック等のハードウェアおよび／またはプログラム等のソフトウェアとして構成される。ソフトウェアとして構成される構成要素は、例えば、不図示のＣＰＵ上でプログラムを実行することにより実現される。
【００５０】
なお、画像変換部１４は、画像合成部１５と一体に構成されてもよい。また、入力画像Ｉ１と変換画像Ｉ２をそれぞれに処理するために、特徴量抽出部１１、マッチング部１２、ホモグラフィ算出部１３、画像変換部１４のうち少なくとも１以上が個別に設けられてもよい。また、入力画像Ｉ１は、バッファ（不図示）を通じて特徴点抽出部１１に入力されてもよい。
【００５１】
［４．画像処理装置１０の動作］
つぎに、図３および図４Ａ、４Ｂを参照して本発明の実施形態に係る画像処理装置１０の動作について説明する。図３は、画像処理装置１０の動作を示すフロー図であり、図４Ａ、４Ｂは、画像処理方法の一例を示す図である。
【００５２】
図３に示すように、特徴点抽出部１１は、動画フレームのデータを入力画像Ｉ１のデータとして入力され（ステップＳ３１）、入力画像Ｉ１の特徴点Ｐを抽出する（ステップＳ３２）。なお、入力画像Ｉ１のデータは、記憶部１６に一時的に格納される。マッチング部１２は、入力画像Ｉ１の特徴点データと参照画像Ｒの特徴点データを供給され、入力画像Ｉ１と参照画像Ｒの間で特徴点Ｐをマッチングする（ステップＳ３３）。なお、参照画像Ｒの特徴点データは、記憶部１６から読み出される代わりに、特徴点抽出部１１により参照画像Ｒから抽出されてマッチング部１２に供給されてもよい。
【００５３】
ホモグラフィ算出部１３は、マッチングデータを供給され、入力画像Ｉ１と参照画像Ｒの射影関係を示すホモグラフィ行列Ｈ１を算出する（ステップＳ３４）。ホモグラフィ行列Ｈ１は、記憶部１６に一時的に格納される。なお、例えば、４組以上の特徴点Ｐ（対応点）を見出せなかった場合（ステップＳ３５で「Ｎｏ」）、ホモグラフィ行列Ｈ１を算出することができず、画像合成を行わずに入力画像Ｉ１が出力される（ステップＳ４５）。
【００５４】
図４Ａには、特徴点Ｐのマッチング例が示されている。この例では、入力画像Ｉ１中の特定領域（マーカーＭ）は、日本周辺の地図画像を示す参照画像Ｒにより指定されている。入力画像Ｉ１は、斜めに吊り下げられた地図画像（マーカーＭ）を斜め前方から捉えている。参照画像Ｒは、正立した状態のマーカーＭに対応する地図画像であり、輝度値のエッジ成分等、９つの特徴点Ｐ１〜Ｐ９が予め抽出されている。なお、図４Ａでは、便宜上、地図画像の輝度画像ではなく地図画像自体に特徴点Ｐが示されている。
【００５５】
参照画像Ｒと入力画像Ｉ１の間では、対応関係にある同一の特徴点Ｐ（対応点）同士を結ぶ線分を用いて暗示するように、９つの特徴点Ｐ１〜Ｐ９のうち５つの特徴点Ｐ１〜Ｐ５がマッチングされている。これは、入力画像Ｉ１中のマーカーＭと参照画像Ｒの間で画像の姿勢が大きく異なるので、残り４つの特徴点Ｐ６〜Ｐ９を入力画像Ｉ１から適切に抽出できないためである。
【００５６】
画像変換部１４は、入力画像Ｉ１のデータおよびホモグラフィ行列Ｈ１を供給され、ホモグラフィ行列Ｈ１に基づき入力画像Ｉ１を変換する（ステップＳ３６）。変換後の入力画像Ｉ１（変換画像Ｉ２）は、入力画像Ｉ１に比べて、マーカーＭの姿勢が参照画像Ｒの姿勢に近づくように入力画像Ｉ１を変換することで得られる。変換画像Ｉ２のデータは、記憶部１６に一時的に格納される。
【００５７】
特徴点抽出部１１は、さらに、変換画像Ｉ２のデータを供給され、変換画像Ｉ２の特徴点Ｐを抽出する（ステップＳ３７）。マッチング部１２は、変換画像Ｉ２の特徴点データと参照画像Ｒの特徴点データを供給され、変換画像Ｉ２と参照画像Ｒの間で特徴点Ｐをマッチングする（ステップＳ３８）。
【００５８】
ホモグラフィ算出部１３は、マッチングデータを供給され、変換画像Ｉ２と参照画像Ｒの射影関係を示すホモグラフィ行列Ｈ２を算出する（ステップＳ３９）。ホモグラフィ行列Ｈ２は、記憶部１６に一時的に格納されてもよい。なお、ホモグラフィ行列Ｈ２を算出することができない場合（ステップＳ４０で「Ｎｏ」）、画像合成を行わずに入力画像Ｉ１が出力される（ステップＳ４５）。ホモグラフィ算出部１３は、ホモグラフィＨ１、Ｈ２を合成してホモグラフィ行列Ｈ（＝Ｈ１・Ｈ２）を算出する（ステップＳ４１）。
【００５９】
図４Ｂには、図４Ａに関連する特徴点Ｐのマッチング例が示されている。この例では、変換画像Ｉ２は、ホモグラフィ行列Ｈ１に基づきマーカーＭの領域を含む画像を入力画像Ｉ１から切出し、入力画像Ｉ１に比べて、マーカーＭの姿勢が参照画像Ｒの姿勢に近づくように切出し画像を変換することで得られる。入力画像Ｉ１に占めるマーカーＭの領域が小さい場合、画像変換に要する処理を低減することができる。なお、図4Ｂでも、便宜上、地図画像の輝度画像ではなく地図画像自体に特徴点Ｐが示されている。
【００６０】
参照画像Ｒと変換画像Ｉ２の間では、対応関係にある同一の特徴点Ｐ（対応点）同士を結ぶ線分を用いて暗示するように、９つの特徴点Ｐ１〜Ｐ９の全てがマッチングされている。これは、変換画像Ｉ２中のマーカーＭと参照画像Ｒの間で画像の姿勢が近いので、特徴点Ｐ１〜Ｐ９を変換画像Ｉ２から適切に抽出できるためである。
【００６１】
画像変換部１４は、付加画像のデータおよびホモグラフィ行列Ｈを供給され、ホモグラフィ行列Ｈに基づき付加画像を線形変換する（ステップＳ４２）。付加画像は、付加画像の姿勢がマーカーＭの姿勢に一致するように変換される。画像合成部１５は、変換後の付加画像のデータ、入力画像Ｉ１のデータおよびホモグラフィ行列Ｈを供給され、ホモグラフィ行列Ｈに基づき変換後の付加画像を入力画像Ｉ１に合成し（ステップＳ４３）、合成画像として出力する（ステップＳ４３）。
【００６２】
ホモグラフィ行列Ｈ１、Ｈ２は、同一の手法（およびパラメータ）を用いて算出されてもよく、互いに異なる手法（および／またはパラメータ）を用いて算出されてもよい。なお、異なる手法とは、特徴量の抽出（参照画像の特徴量データの種類も含む）および／または特徴点Ｐのマッチングの手法が異なることを意味している。
【００６３】
ホモグラフィ行列Ｈ１は、入力画像Ｉ１中のマーカーＭと参照画像Ｒの間で画像の位置・姿勢が大きく異なる可能性が高いので、マーカーＭの姿勢変化に対してロバストな手法を用いて算出されることが好ましい。一方、ホモグラフィ行列Ｈ２は、変換画像Ｉ２中のマーカーＭと参照画像Ｒの間で画像の位置・姿勢が大きく異なる可能性が低いので、大抵のケースでは、推定精度の高い手法を用いて算出されることが好ましい。一般に、マーカーＭの姿勢変化に対するロバスト性と推定精度は、トレードオフの関係にあるので、ホモグラフィ行列Ｈ１をロバストな手法を用いて算出し、ホモグラフィ行列Ｈ２を推定精度の高い手法を用いて算出することで、マーカーＭの位置・姿勢を高精度で推定できる可能性が高くなる。
【００６４】
マーカーＭの位置・姿勢は、３段階以上のホモグラフィの算出結果に基づき推定されてもよい。例えば、ホモグラフィ行列Ｈ１、Ｈ２、Ｈ３の算出結果に基づく場合、画像変換部１４は、ホモグラフィ行列Ｈ２に基づき変換画像Ｉ２を２次変換画像にさらに変換する（もちろん、ホモグラフィ行列Ｈ１、Ｈ２基づき入力画像Ｉ１を２次変換画像に変換してもよい。）。
【００６５】
画像処理装置１０では、２次変換画像について、参照画像Ｒとの間で特徴点Ｐの抽出、特徴点Ｐのマッチングおよびホモグラフィの算出が行われ、２次変換画像と参照画像Ｒの射影関係を示すホモグラフィ行列Ｈ３が算出される。そして、入力画像Ｉ１と参照画像Ｒの射影関係を示すホモグラフィ行列Ｈ´（＝Ｈ１・Ｈ２・Ｈ３）が算出され、ホモグラフィ行列Ｈ´に基づき入力画像Ｉ１に付加画像が合成される。
【００６６】
この場合も、各ホモグラフィ行列Ｈ１、Ｈ２、Ｈ３は、前述した場合と同様に、同一の手法を用いて算出されてもよく、互いに異なる手法を用いて算出されてもよい。ここで、ホモグラフィの算出段階が上がるほど、変換後の入力画像Ｉ１中のマーカーＭの姿勢は、参照画像Ｒの姿勢に近づくと期待される。よって、算出段階が上がるほど、マーカーＭの姿勢変化に対するロバスト性が低く精度水準が高い手法を用いることで、マーカーＭの位置・姿勢を高精度に推定できる可能性が高くなる。
【００６７】
［５．まとめ］
以上説明したように、本発明によれば、マーカーＭの姿勢が参照画像Ｒの姿勢に近づくように入力画像Ｉ１を変換しながら、入力画像Ｉ１および変換された入力画像Ｉ１（変換画像Ｉ２等）と参照画像Ｒのホモグラフィを算出することで、入力画像Ｉ１中でのマーカーＭの位置・姿勢を高い精度で推定することができる。
【００６８】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【００６９】
例えば、上記実施形態では、画像処理装置１０は、カメラ等の画像入力装置から入力画像Ｉ１を入力され、ディスプレイ等の画像表示装置に出力画像を出力する場合について説明した。しかし、入力画像Ｉ１は、レコーダ、プレイヤ等の画像再生装置から入力されてもよく、出力画像は、レコーダ、プレイヤ等の画像記録装置に出力されてもよい。
【符号の説明】
【００７０】
１０ 画像処理装置
１１ 特徴点抽出部
１２ マッチング部（対応関係決定部）
１３ ホモグラフィ算出部（射影関係算出部）
１４ 画像変換部
１５ 画像合成部
１６ 記憶部
Ｍ マーカー（特定領域）
Ｒ 参照画像
Ｉ１ 入力画像
Ｉ２ 変換画像
Ｈ、Ｈ１、Ｈ２ ホモグラフィ行列（射影関係）
Ｐ 特徴点
【特許請求の範囲】
【請求項１】
入力画像の特徴点を抽出する特徴点抽出部と、
参照画像との間で特徴点の対応関係を決定する対応関係決定部と、
前記対応関係に基づき前記入力画像と前記参照画像の射影関係を算出する射影関係算出部と、
前記射影関係に基づき前記入力画像の少なくとも一部を変換する画像変換部と
を備え、
前記射影関係算出部は、前記入力画像について、前記参照画像との間で前記特徴点の対応関係に基づき第１の射影関係を算出し、前記画像変換部により前記第１の射影関係に基づき変換された前記入力画像について、前記参照画像との間で前記特徴点の対応関係に基づき第２の射影関係を算出し、前記第１および第２の射影関係に基づき前記入力画像と前記参照画像の射影関係を再び算出する画像処理装置。
【請求項２】
前記画像変換部は、少なくとも前記第１の射影関係に基づき、前記入力画像中の特定領域の姿勢が前記参照画像の姿勢に近づくように、前記入力画像の少なくとも一部を変換する、請求項１に記載の画像処理装置。
【請求項３】
前記射影関係算出部は、さらに、前記画像変換部により前記第１および第２の射影関係に基づき変換された前記入力画像について、前記参照画像との間で前記特徴点の対応関係に基づき第３の射影関係を算出し、前記第１から第３の射影関係に基づき前記入力画像と前記参照画像の射影関係を再び算出する、請求項１または２に記載の画像処理装置。
【請求項４】
前記特徴点抽出部は、前記第１の射影関係を算出する場合と前記第２の射影関係を算出する場合で互いに異なる手法を用いて前記特徴点を抽出する、請求項１から３のうちいずれか１項に記載の画像処理装置。
【請求項５】
前記対応関係決定部は、前記第１の射影関係を算出する場合と前記第２の射影関係を算出する場合で互いに異なる手法を用いて前記対応関係を決定する、請求項１から４のうちいずれか１項に記載の画像処理装置。
【請求項６】
前記第１の射影関係を算出する場合、前記第２の射影関係を算出する場合よりも、前記入力画像中の特定領域の姿勢変化に対してロバストな手法が用いられる、請求項４または５に記載の画像処理装置。
【請求項７】
前記画像変換部は、前記入力画像のうち前記参照画像に対応する特定領域の画像を変換する、請求項１から６のうちいずれか１項に記載の画像処理装置。
【請求項８】
前記入力画像に画像を合成する画像合成部をさらに備え、
前記画像変換部は、さらに少なくとも前記第１および第２の射影関係に基づき付加画像を変換し、
前記画像合成部は、前記変換した付加画像を、前記入力画像のうち前記参照画像に対応する特定領域に合成する、請求項１から７のうちいずれか１項に記載の画像処理装置。
【請求項９】
入力画像について、参照画像との間で特徴点の対応関係に基づき第１の射影関係を算出し、
前記第１の射影関係に基づき前記入力画像の少なくとも一部を変換し、
前記変換した入力画像について、前記参照画像との間で特徴点の対応関係に基づき第２の射影関係を算出し、
前記第１および第２の射影関係に基づき前記入力画像と前記参照画像の射影関係を再び算出すること
を含む画像処理方法。
【請求項１０】
入力画像について、参照画像との間で特徴点の対応関係に基づき第１の射影関係を算出し、
前記第１の射影関係に基づき前記入力画像の少なくとも一部を変換し、
前記変換した入力画像について、前記参照画像との間で特徴点の対応関係に基づき第２の射影関係を算出し、
前記第１および第２の射影関係に基づき前記入力画像と前記参照画像の射影関係を再び算出すること
を含む画像処理方法をコンピュータに実行させるためのプログラム。
【請求項１】
入力画像の特徴点を抽出する特徴点抽出部と、
参照画像との間で特徴点の対応関係を決定する対応関係決定部と、
前記対応関係に基づき前記入力画像と前記参照画像の射影関係を算出する射影関係算出部と、
前記射影関係に基づき前記入力画像の少なくとも一部を変換する画像変換部と
を備え、
前記射影関係算出部は、前記入力画像について、前記参照画像との間で前記特徴点の対応関係に基づき第１の射影関係を算出し、前記画像変換部により前記第１の射影関係に基づき変換された前記入力画像について、前記参照画像との間で前記特徴点の対応関係に基づき第２の射影関係を算出し、前記第１および第２の射影関係に基づき前記入力画像と前記参照画像の射影関係を再び算出する画像処理装置。
【請求項２】
前記画像変換部は、少なくとも前記第１の射影関係に基づき、前記入力画像中の特定領域の姿勢が前記参照画像の姿勢に近づくように、前記入力画像の少なくとも一部を変換する、請求項１に記載の画像処理装置。
【請求項３】
前記射影関係算出部は、さらに、前記画像変換部により前記第１および第２の射影関係に基づき変換された前記入力画像について、前記参照画像との間で前記特徴点の対応関係に基づき第３の射影関係を算出し、前記第１から第３の射影関係に基づき前記入力画像と前記参照画像の射影関係を再び算出する、請求項１または２に記載の画像処理装置。
【請求項４】
前記特徴点抽出部は、前記第１の射影関係を算出する場合と前記第２の射影関係を算出する場合で互いに異なる手法を用いて前記特徴点を抽出する、請求項１から３のうちいずれか１項に記載の画像処理装置。
【請求項５】
前記対応関係決定部は、前記第１の射影関係を算出する場合と前記第２の射影関係を算出する場合で互いに異なる手法を用いて前記対応関係を決定する、請求項１から４のうちいずれか１項に記載の画像処理装置。
【請求項６】
前記第１の射影関係を算出する場合、前記第２の射影関係を算出する場合よりも、前記入力画像中の特定領域の姿勢変化に対してロバストな手法が用いられる、請求項４または５に記載の画像処理装置。
【請求項７】
前記画像変換部は、前記入力画像のうち前記参照画像に対応する特定領域の画像を変換する、請求項１から６のうちいずれか１項に記載の画像処理装置。
【請求項８】
前記入力画像に画像を合成する画像合成部をさらに備え、
前記画像変換部は、さらに少なくとも前記第１および第２の射影関係に基づき付加画像を変換し、
前記画像合成部は、前記変換した付加画像を、前記入力画像のうち前記参照画像に対応する特定領域に合成する、請求項１から７のうちいずれか１項に記載の画像処理装置。
【請求項９】
入力画像について、参照画像との間で特徴点の対応関係に基づき第１の射影関係を算出し、
前記第１の射影関係に基づき前記入力画像の少なくとも一部を変換し、
前記変換した入力画像について、前記参照画像との間で特徴点の対応関係に基づき第２の射影関係を算出し、
前記第１および第２の射影関係に基づき前記入力画像と前記参照画像の射影関係を再び算出すること
を含む画像処理方法。
【請求項１０】
入力画像について、参照画像との間で特徴点の対応関係に基づき第１の射影関係を算出し、
前記第１の射影関係に基づき前記入力画像の少なくとも一部を変換し、
前記変換した入力画像について、前記参照画像との間で特徴点の対応関係に基づき第２の射影関係を算出し、
前記第１および第２の射影関係に基づき前記入力画像と前記参照画像の射影関係を再び算出すること
を含む画像処理方法をコンピュータに実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４Ａ】
【図４Ｂ】
【図５】
【図２】
【図３】
【図４Ａ】
【図４Ｂ】
【図５】
【公開番号】特開２０１２−１６４１８８（Ｐ２０１２−１６４１８８Ａ）
【公開日】平成２４年８月３０日（２０１２．８．３０）
【国際特許分類】
【出願番号】特願２０１１−２４８７０（Ｐ２０１１−２４８７０）
【出願日】平成２３年２月８日（２０１１．２．８）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２４年８月３０日（２０１２．８．３０）
【国際特許分類】
【出願日】平成２３年２月８日（２０１１．２．８）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]