カメラ校正装置およびカメラ校正プログラム
【課題】視覚的に特徴的な点と、世界座標の既知な制御点とが、別々に与えられる場合にも、カメラパラメータの推定を可能とするカメラ校正装置を提供する。
【解決手段】カメラ校正装置１は、入力画像から制御点の画像座標と画像領域とを指定するランドマーク指定手段１２と、画像領域から特徴点配置情報と画像特徴とを抽出する特徴抽出手段１４と、制御点世界座標を入力する世界座標入力手段１６と、特徴点配置情報と画像特徴と制御点世界座標とを記憶するランドマーク記憶手段１８と、新たな入力画像から特徴点の配置情報と画像特徴とを抽出する特徴抽出手段２２と、画像特徴の類似度の高いものを対応付ける照合手段２４と、特徴点配置情報と配置情報と照合結果とから新たな入力画像の制御点画像座標を推定する制御点推定手段２６と、制御点世界座標と推定された制御点画像座標とからカメラパラメータを推定するカメラパラメータ推定手段２８と、を備える。
【解決手段】カメラ校正装置１は、入力画像から制御点の画像座標と画像領域とを指定するランドマーク指定手段１２と、画像領域から特徴点配置情報と画像特徴とを抽出する特徴抽出手段１４と、制御点世界座標を入力する世界座標入力手段１６と、特徴点配置情報と画像特徴と制御点世界座標とを記憶するランドマーク記憶手段１８と、新たな入力画像から特徴点の配置情報と画像特徴とを抽出する特徴抽出手段２２と、画像特徴の類似度の高いものを対応付ける照合手段２４と、特徴点配置情報と配置情報と照合結果とから新たな入力画像の制御点画像座標を推定する制御点推定手段２６と、制御点世界座標と推定された制御点画像座標とからカメラパラメータを推定するカメラパラメータ推定手段２８と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、校正対象のカメラにより撮影された画像に基づいて、カメラの位置、姿勢、または焦点距離の１以上からなるカメラパラメータを推定するカメラ校正装置およびカメラ校正プログラムに関する。
【背景技術】
【０００２】
従来、カメラ校正は、既定の、または測定済みのパターンを、校正対象のカメラで撮影して、パターンの像の形状から、解析的に、または繰り返し収束演算により、カメラパラメータを求めることが行われている。
【０００３】
繰り返し収束演算によるものの代表的な手法として、実際に観測されたパターンの像と、カメラパラメータ及びパターンのモデルから推測した観測されるべきパターンの像との一致の度合を評価しつつ、その一致の度合が最大となるように、カメラパラメータを逐次修正する手法がある。
【０００４】
パターンとして、複数の観測点と、モデル上の点との対応関係を用いる手法（非特許文献１参照）や、観測された複数の線（直線、線分、または曲線など）と、モデル上の線との対応関係を用いる手法がある。
【０００５】
点の対応関係を用いる手法においては、線同士の交差した点、折れ線の頂点、または円や矩形等の特定のパターンの代表点（重心など）を特徴点として抽出し、モデルとの対応関係を求める手法が主流である。
【０００６】
一方、線の対応関係を用いる手法においては、例えば、ハフ変換や一般化ハフ変換によって、直線や曲線のパラメータを算出し、当該パラメータとモデルとの対応をとることが行われている（特許文献１参照）。
【０００７】
また、画像対において、それぞれ視覚的に特徴的な点を複数抽出して、特徴点間の対応付けを行うことによって、画像対間におけるカメラの相対位置、相対姿勢、および焦点距離情報を得る手法がある（非特許文献２参照）。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００４−２３４３３３号公報
【非特許文献】
【０００９】
【非特許文献１】R. Y. Tsai, An Efficient and Accurate Camera Calibration Technique for 3D Machine Vision. Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, Miami Beach, FL, pp. 364-374, 1986.
【非特許文献２】C. Poelman and T. Kanade, A paraperspective factorization method for shape and motion recovery. IEEE Trans. on Pattern Analysis and Machine Intelligence, 19(3):206-218, March 1997.
【発明の概要】
【発明が解決しようとする課題】
【００１０】
従来のカメラ校正手法では、画像内の特徴点や直線、曲線を抽出し、その座標やパラメータを得ることが最初の段階として行われ、続いて、モデルを投影変換した点や線の座標やパラメータと、観測画像から得た座標やパラメータとの距離の比較を行って、カメラパラメータを推定する。
【００１１】
しかし、これらの手法では、特徴点や直線、曲線などの視覚的なパターンが、世界座標を有する実空間においてどこにあるのかを予めモデル化しておく必要がある。このため、世界座標の既知な点が視覚的に特徴的でない場合や、視覚的に特徴的な点の世界座標が既知でない場合には、カメラ校正を行うことができないという問題がある。
【００１２】
本発明は、かかる問題を解決するためになされたものであり、視覚的に特徴的な点と、世界座標の既知な点とが、それぞれ別々に与えられる場合にも、カメラパラメータの推定を可能とするカメラ校正装置およびカメラ校正プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１３】
本発明は、前記目的を達成するために創案されたものであり、まず、請求項１に記載のカメラ校正装置は、入力画像において指定した世界座標の既知な制御点の画像座標と抽出した特徴点とを用いて、新たな入力画像において抽出した特徴点から前記制御点の画像座標を推定して、カメラパラメータを算出するカメラ校正装置であって、ランドマーク指定手段と、第１の特徴抽出手段と、世界座標入力手段と、ランドマーク記憶手段と、第２の特徴抽出手段と、照合手段と、制御点推定手段と、カメラパラメータ推定手段と、を備える構成とした。
【００１４】
かかる構成において、カメラ校正装置は、ランドマーク指定手段によって、入力画像において、世界座標が既知な点である制御点の画像座標と、当該制御点と関連付けるべき画像領域とを指定する。ここで、世界座標とは、実空間内における位置を表すための座標であり、画像座標とは、入力画像内の位置を表すための座標である。
【００１５】
そして、カメラ校正装置は、第１の特徴抽出手段によって、ランドマーク指定手段により指定された画像領域から、視覚的に特徴的な点である特徴点を１つ以上抽出し、当該特徴点の配置に関する第１の配置情報と当該特徴点の視覚的な特徴を定量化した第１の画像特徴とを抽出する。すなわち、１つの画像領域から抽出される特徴点は、複数あってもよい。なお、配置情報および画像特徴は、一般に、ベクトル量である。また、カメラ校正装置は、世界座標入力手段によって、ランドマーク指定手段により指定した制御点の世界座標を入力する。
【００１６】
そして、カメラ校正装置は、ランドマーク記憶手段によって、制御点に関連づけられた画像領域から特徴抽出手段が抽出した第１の配置情報および第１の画像特徴と、世界座標入力手段から入力された制御点の世界座標との組を、１つのランドマークとして、このランドマークを複数記憶する。これによって、複数の第１の配置情報および第１の画像情報と、制御点の世界座標とが対応付けられた組となって記憶される。
【００１７】
さらに、カメラ校正装置は、第２の特徴抽出手段によって、新たな入力画像から、視覚的に特徴的な点である特徴点を１つ以上抽出し、当該特徴点の配置に関する第２の配置情報と当該特徴点の視覚的な特徴を定量化した第２の画像特徴とを抽出する。
【００１８】
そして、カメラ校正装置は、照合手段によって、ランドマーク記憶手段から読み出したランドマークの各第１の画像特徴に対して、第２の特徴抽出手段が抽出した第２の画像特徴の中から、最も類似度の高い第２の画像特徴を探索し、その照合結果をランドマークごとに照合結果情報として出力する。ここで、類似度として、例えば、コサイン類似度を用いることができる。
【００１９】
その後、カメラ校正装置は、制御点推定手段によって、ランドマーク記憶手段から読み出したランドマークの各第１の配置情報と、第２の特徴抽出手段から入力した第２の配置情報と、前記照合手段から入力した照合結果情報とに基づき、新たな入力画像内におけるランドマークに対応する制御点の画像座標を推定し、制御点推定画像座標として出力する。
【００２０】
そして、カメラ校正装置は、カメラパラメータ推定手段によって、ランドマーク記憶手段から読み出した制御点の世界座標と、制御点推定手段から入力した制御点推定画像座標とに基づき、カメラパラメータを推定する。なお、このカメラパラメータの推定には、既知の透視Ｎ点問題の解法や、非線形最小自乗法を用いることができる。
【００２１】
また、請求項２に記載のカメラ校正装置は、請求項１に記載のカメラ校正装置において、第１の配置情報が、入力画像における制御点から特徴点への位置ベクトルと、特徴点近傍における回転情報およびスケール情報とを含み、第２の配置情報は、新たな入力画像における特徴点の画像座標と、特徴点近傍における回転情報およびスケール情報とを含み、制御点推定手段が、これらの情報を用いて、制御点推定画像座標を推定する構成とした。
【００２２】
かかる構成において、カメラ校正装置は、制御点推定手段によって、ランドマークの各第１の配置情報に含まれる前記位置ベクトルに対して、当該第１の配置情報に含まれる回転情報およびスケール情報と、当該第１の配置情報とともに抽出された第１の画像特徴と照合結果を介して対応する第２の画像特徴とともに抽出された第２の配置情報に含まれる回転情報およびスケール情報とを用いて、新たな入力画像における位置ベクトルに変換し、当該第２の配置情報に含まれる特徴点の画像座標から当該変換した位置ベクトルを減算することによって、仮の制御点画像座標推定値を求め、ランドマークの各第１の配置情報から求めた仮の制御点画像座標推定値を、所定の方法により平均することによって、新たな入力画像における当該ランドマークに対応する制御点の制御点推定画像座標とする。
【００２３】
また、請求項３に記載のカメラ校正装置は、請求項２に記載のカメラ校正装置において、制御点推定手段が、新たな入力画像の全体を複数の部分領域に分割し、仮の制御点画像座標推定値がどの部分領域に属するかに応じて、当該部分領域に係る値を１ずつ累積し、その合計値が最も大きい部分領域に係る仮の制御点画像座標推定値のみに関して平均を求めることを特徴とする。
かかる構成により、カメラ校正装置は、制御点推定手段によって、合計値が最も大きい部分領域に係る仮の制御点画像座標推定値から、ランドマークに対応する制御点の画像座標を推定することができる。
【００２４】
また、請求項４に記載のカメラ校正装置は、請求項２に記載のカメラ校正装置において、照合手段が、照合結果とともにその類似度を、ランドマークごとに照合結果情報として出力し、制御点推定手段が、新たな入力画像の全体を複数の部分領域に分割し、仮の制御点画像座標推定値がどの部分領域に属するかに応じて、当該仮の制御点画像座標推定値の算出に係る照合結果に対応する類似度に応じた値を、当該部分領域に係る値に累積し、その合計値が最も大きい部分領域に係る仮の制御点画像座標推定値のみに関して平均を求めることを特徴とする。
かかる構成により、カメラ校正装置は、制御点推定手段によって、類似度を考慮して平均を算出する部分領域を決定しているので、類似度を考慮した制御点の画像座標を推定することができる。
【００２５】
また、請求項５に記載のカメラ校正プログラムは、入力画像において指定した世界座標の既知な制御点の画像座標と抽出した特徴点とを用いて、新たな入力画像において抽出した特徴点から前記制御点の画像座標を推定して、カメラパラメータを算出するために、コンピュータを、ランドマーク指定手段、第１の特徴抽出手段、世界座標入力手段、第２の特徴抽出手段、照合手段、制御点推定手段、カメラパラメータ推定手段、として機能させる構成とした。
【００２６】
かかる構成において、カメラ校正プログラムは、ランドマーク指定手段によって、入力画像において、制御点の画像座標と画像領域とを指定する。また、カメラ校正プログラムは、第１の特徴抽出手段によって、画像領域から、特徴点を抽出して、第１の配置情報と第１の画像特徴とを抽出し、当該画像領域に係る制御点で関連付けられたランドマークの構成要素としてランドマーク記憶手段に記憶する。そして、カメラ校正プログラムは、世界座標入力手段によって、制御点の世界座標を入力し、当該制御点で関連付けられたランドマークの構成要素として前記ランドマーク記憶手段に記憶する。
【００２７】
さらに、カメラ校正プログラムは、第２の特徴抽出手段によって、新たな入力画像から、特徴点を抽出して、第２の配置情報と第２の画像特徴とを抽出する。そして、カメラ校正プログラムは、照合手段によって、ランドマークの各第１の画像特徴に対して、第２の画像特徴の中から、最も類似度の高いものを探索し、その照合結果をランドマークごとに照合結果情報として出力する。また、カメラ校正プログラムは、制御点推定手段によって、ランドマークの各第１の配置情報と、第２の配置情報と、照合結果情報とに基づき、新たな入力画像内における制御点の画像座標を推定し、制御点推定画像座標として出力する。そして、カメラ校正プログラムは、カメラパラメータ推定手段によって、制御点の世界座標と、制御点推定画像座標とに基づき、カメラパラメータを推定する。
【発明の効果】
【００２８】
請求項１および請求項５に記載の発明によれば、視覚的に特徴的な点と、世界座標の既知な点とが、それぞれ別々に与えられてもカメラの校正が可能となる。すなわち、校正に用いるランドマークにおいて、視覚的に特徴的な点と、世界座標の既知な制御点とを、必ずしも一致させる必要がなくなる。このため、世界座標が既知かつ視覚的に特徴的なランドマークを用いる必要があった従来の方法に比べ、より一般的なシーンにおいてカメラパラメータの推定およびカメラ校正が可能となる。
【００２９】
請求項２に記載の発明によれば、制御点推定手段が、制御点の画像座標を推定する場合に、入力画像および新たな入力画像の回転情報およびスケール情報を用いて、入力画像の位置ベクトルを新たな入力画像の位置ベクトルに変換し、これを用いて、仮の制御点画像座標推定値をもとめ、各ランドマークにわたって、仮の制御点画像座標推定値を平均することによって、制御点推定画像座標を求めているため、新たな入力画像において、より正確に制御点を推定でき、したがって、より正確にカメラパラメータの推定およびカメラ校正が可能となる。
【００３０】
請求項３に記載の発明によれば、制御点推定手段が、新たな入力画像の全体を複数の部分領域に分割し、もっとも属する仮の制御点画像座標推定値が多い部分領域に関してのみ、仮の制御点画像座標推定値の平均値を求めているため、より正確に制御点を推定でき、したがって、より正確にカメラパラメータの推定およびカメラ校正が可能となる。
【００３１】
請求項４に記載の発明によれば、制御点推定手段が、新たな入力画像の全体を複数の部分領域に分割し、もっとも属する仮の制御点画像座標推定値が多い部分領域を、類似度を考慮して決定し、当該部分領域に関してのみ、制御点画像座標推定値の平均値を求めているため、画像特徴の類似度に応じた正確な制御点を推定でき、したがって、より正確にカメラパラメータの推定およびカメラ校正が可能となる。
【図面の簡単な説明】
【００３２】
【図１】本発明の実施形態に係るカメラ校正装置の構成を示すブロック図である。
【図２】ランドマーク指定手段によって、入力画像において、パターン画像領域と制御点画像座標とを指定した一例を示す図である。
【図３】第ｎのランドマークに関するパターン画像領域、特徴点、画像特徴、特徴点配置情報、制御点、および制御点画像座標の関係の一例を示す図である。
【図４】ランドマーク記憶手段による、特徴点配置情報、画像特徴、および制御点世界座標の記憶方式の一例を示す図である。
【図５】制御点推定手段における仮の制御点画像座標推定値の算出方法を示す図である。
【図６】本発明の実施形態に係るカメラ校正装置のランドマーク指定機能部の動作を示すフローチャートである。
【図７】本発明の実施形態に係るカメラ校正装置のカメラパラメータ推定機能部の動作を示すフローチャートである。
【発明を実施するための形態】
【００３３】
以下、本発明の実施形態について図面を参照して説明する。
本実施形態では、実空間内における位置を表すための座標系を世界座標系と称し、世界座標系内の座標を世界座標と称する。ここでは、世界座標系をデカルト座標系で表し、その各軸をＸ軸、Ｙ軸およびＺ軸とおくこととする。
また、入力画像内の位置を表すための座標系を画像座標系と称し、画像座標系内の座標を画像座標と称する。ここでは、画素並びの水平方向右向きにｘ軸を、また画素並びの垂直方向下向きにｙ軸をとることとする。
【００３４】
カメラ校正に用いる入力画像に関する計測用の基準をランドマークと称する。ランドマークは、１つであっても良いし、複数存在してもよい。本発明においては、１つのランドマークには、世界座標の既知な点である制御点と、視覚的に特徴的な点である特徴点とが含まれ、特徴点は１つ以上存在するものとする。
【００３５】
［カメラ校正装置の構成］
以下では、図１を参照して、本発明の実施形態に係るカメラ校正装置１の構成について説明する。
【００３６】
本実施形態のカメラ校正装置１は、入力画像のランドマークから、新たな入力画像のランドマークの制御点を推定することによって、カメラパラメータを推定するものである。
具体的には、カメラ校正装置１は、入力された入力画像において指定された画像領域から、特徴点に関する特徴点配置情報および画像特徴を抽出し、画像領域と関連付けられた制御点の世界座標とともにランドマークとして記憶しておき、新たに入力された入力画像において、抽出した特徴点に関する配置情報および画像特徴と、読み出したランドマークに関する情報とから、制御点の画像座標を推定し、当該制御点の画像座標と制御点の世界座標とからカメラパラメータを推定し出力するものである。
【００３７】
カメラ校正装置１は、その機能により、ランドマーク指定機能部１０と、カメラパラメータ推定機能部２０とを備えている。ランドマーク指定機能部１０は、ランドマーク指定手段１２と、特徴抽出手段１４と、世界座標入力手段１６と、ランドマーク記憶手段１８とを備えている。また、カメラパラメータ推定機能部２０は、特徴抽出手段２２と、照合手段２４と、制御点推定手段２６と、カメラパラメータ推定手段２８とを備えている。
【００３８】
はじめに、カメラ校正装置１のランドマーク指定機能部１０の構成について説明する。
［［ランドマーク指定機能部の構成］］
ランドマーク指定手段１２は、ランドマークに対応する画像領域等を指定するものである。
具体的には、ランドマーク指定手段１２は、入力された入力画像Ｉ（ｘ，ｙ）において、特徴点を抽出するための画像領域（以下、パターン画像領域という。）と、世界座標の既知な点である制御点の画像座標（以下、制御点画像座標という。）とを指定し、指定された結果を特徴抽出手段１４へ出力するものである。
【００３９】
ランドマーク指定手段１２において、パターン画像領域および制御点画像座標は、複数指定でき、１つの指定が１つのランドマークに対応する。ランドマーク指定手段１２において、これらをＮ個（Ｎは自然数）指定した場合に、ｎ番目（１≦ｎ≦Ｎ）のランドマークＬ（ｎ）に対応するパターン画像領域をＤ（ｎ）、制御点をＣ（ｎ）、制御点Ｃ（ｎ）の画像座標をｃ（ｎ）＝［ｃｘ（ｎ），ｃｙ（ｎ）］Ｔと記す。ここで、上付きのＴは転置行列（Transposed matrix）を表す。なお、Ｉ（ｘ，ｙ）とは、画像座標の各点（ｘ，ｙ）において、値（輝度値等）Ｉ（ｘ，ｙ）が定義されていることを意味する。
【００４０】
例えば、液晶ディスプレイやＣＲＴなどの表示装置に入力画像Ｉ（ｘ，ｙ）を提示し、その上にカーソルを重畳表示しておき、マウスのドラッグ操作等により、矩形領域をパターン画像領域として指定する。また、マウスボタンのクリック操作により、制御点画像座標を指定する。
【００４１】
図２は、ランドマーク指定手段１２によって、入力画像において、パターン画像領域と制御点画像座標とを指定した一例を示す図である。図２中の破線で示した矩形領域が指定したパターン画像領域Ｄ（ｎ）を示し、×印で示した位置が指定した制御点Ｃ（ｎ）の画像座標ｃ（ｎ）＝［ｃｘ（ｎ），ｃｙ（ｎ）］Ｔを示す。
【００４２】
特徴抽出手段（第１の特徴抽出手段）１４は、入力画像からランドマークを構成する特徴点の情報を抽出するものである。
具体的には、特徴抽出手段１４は、ランドマーク指定手段１２で指定された入力画像Ｉ（ｘ，ｙ）のパターン画像領域内から、視覚的に特徴的な点である特徴点を抽出し、その特徴点の配置に関する特徴点配置情報と、その特徴点の視覚的な特徴を定量化した画像特徴とを抽出して、ランドマーク記憶手段１８へ出力するものである。
特徴抽出手段１４が、ｎ番目のランドマークＬ（ｎ）に対応するパターン画像領域Ｄ（ｎ）内から抽出した特徴点の数をＭ（ｎ）個（Ｍ（ｎ）は自然数）とし、抽出したｍ番目（１≦ｍ≦Ｍ（ｎ））の特徴点をＥｍ（ｎ）とする。
【００４３】
特徴抽出手段１４は、特徴点Ｅｍ（ｎ）の特徴点配置情報ｇｍ（ｎ）として、少なくとも、入力画像における位置情報、すなわち、画像座標系において、制御点Ｃ（ｎ）から特徴点Ｅｍ（ｎ）に至るベクトル［ｐｍ（ｎ），ｑｍ（ｎ）］Ｔを含む情報を抽出する。このベクトルの算出には、ランドマーク指定手段１２において指定された制御点画像座標ｃ（ｎ）が用いられる。
【００４４】
本実施形態においては、特徴点配置情報は、ｇｍ（ｎ）＝［ｐｍ（ｎ），ｑｍ（ｎ），ｒｍ（ｎ），ｓｍ（ｎ）］Ｔとする。ここで、ｒｍ（ｎ）は、回転情報を表し、入力画像Ｉ（ｘ，ｙ）が特徴点Ｅｍ（ｎ）近傍において有する視覚的に特徴的な方位である。例えば、ｒｍ（ｎ）として、特徴点Ｅｍ（ｎ）近傍の部分画像に含まれる代表的な（例えば、コントラストの高い）エッジの方位を用いることができる。また、ｓｍ（ｎ）は、スケール情報を表し、入力画像Ｉ（ｘ，ｙ）が特徴点Ｅｍ（ｎ）近傍において有する視覚的に特徴的な大きさ情報である。例えば、ｓｍ（ｎ）として、特徴点Ｅｍ（ｎ）近傍の部分画像に含まれる代表的なテクスチャの大きさ（すなわち、テクスチャの代表的な空間周波数成分）を用いることができる。
【００４５】
特徴抽出手段１４は、これらの特徴点配置情報ｇｍ（ｎ）＝［ｐｍ（ｎ），ｑｍ（ｎ），ｒｍ（ｎ），ｓｍ（ｎ）］Ｔを、例えば、SIFT（Scale Invariant Feature Transform）（D. G. Lowe, “Object recognition from local scale-invariant features” Proc. of IEEE International Conference on Computer Vision（ICCV）, pp. 1150-1157, 1999）におけるキーポイントの位置、オリエンテーションおよびスケールとして得ることができる。キーポイント、オリエンテーション、およびスケールが、それぞれ本実施形態の特徴点、回転情報、およびスケール情報に対応する。
【００４６】
なお、具体的に、SIFTの処理は次のようなものである。すなわち、Difference-of-Gaussian（DoG）画像から、極値を検出することで、特徴点（キーポイント）とそのスケール情報を決定する。また、特徴点の周辺領域から、勾配方向のヒストグラムを求め、ピークをオリエンテーションとして割り当てる。そして、特徴点のスケールによって定まる周辺領域を、オリエンテーションに従い回転させ、当該周辺領域を特徴点からの距離によるガウス窓で重み付けした後、４ｘ４の１６の小領域に分割し、各小領域で８方向の勾配方向ヒストグラムを求めることで、回転およびスケールに不変な１２８次元のSIFT特徴量記述を得る。
【００４７】
なお、特徴抽出手段１４は、パターン画像領域Ｄ（ｎ）内から抽出したＭ（ｎ）個の特徴点すべての特徴点配置情報ｇｍ（ｎ）をまとめて行列Ｇ（ｎ）とし、Ｇ（ｎ）を出力してもよい（（１）式参照）。
【００４８】
【数１】
【００４９】
さらに、特徴抽出手段１４は、特徴点Ｅｍ（ｎ）の画像特徴ｆｍ（ｎ）として、入力画像Ｉ（ｘ，ｙ）内のＥｍ（ｎ）近傍の濃淡や色などの空間的分布のパターンを特徴づける情報（数量やベクトル量）を抽出する。この画像特徴ｆｍ（ｎ）は、回転および拡大・縮小に対して、その値が変化しにくいものであることが好ましい。また、この画像特徴ｆｍ（ｎ）は、画像の全体的な（特徴点Ｅｍ（ｎ）近傍領域のサイズ以上の領域における）輝度値の一様な変化に対しても変化しにくいものであることが好ましい。
【００５０】
特徴抽出手段１４は、例えば、画像特徴ｆｍ（ｎ）として、前記SIFTにおけるSIFT記述（SIFT descriptor）を用いることができる。
【００５１】
なお、特徴抽出手段１４は、パターン画像領域Ｄ（ｎ）内から抽出したＭ（ｎ）個の特徴点すべての画像特徴ｆｍ（ｎ）をまとめて行列Ｆ（ｎ）とし、Ｆ（ｎ）を出力してもよい（（２）式参照）。
【００５２】
【数２】
【００５３】
図３は、第ｎのランドマークＬ（ｎ）に関するパターン画像領域Ｄ（ｎ）、特徴点Ｅｍ（ｎ）、画像特徴ｆｍ（ｎ）、特徴点配置情報ｇｍ（ｎ）、制御点Ｃ（ｎ）、および制御点画像座標［ｃｘ（ｎ），ｃｙ（ｎ）］Ｔの関係の一例を示す図である。図３では、特徴点を３つ示した。なお、図３の例では、制御点Ｃ（ｎ）がパターン画像領域Ｄ（ｎ）の外側に存在するが、制御点Ｃ（ｎ）はパターン画像領域Ｄ（ｎ）の内側や境界上に存在してもよい。
【００５４】
世界座標入力手段１６は、制御点の世界座標を入力するものである。
具体的には、世界座標入力手段１６は、ランドマーク指定手段１２において画像座標を指定した各制御点について、世界座標を入力し、ランドマーク記憶手段１８へ出力するインタフェースである。
世界座標入力手段１６で入力された、第ｎのランドマークＬ（ｎ）に対応する制御点Ｃ（ｎ）の世界座標をｗ（ｎ）＝［ｗｘ（ｎ），ｗｙ（ｎ），ｗｚ（ｎ）］Ｔと記す。
【００５５】
世界座標入力手段１６は、例えば、キーボードやつまみ、マウスなどのマンマシンインタフェースの操作により、制御点世界座標ｗ（ｎ）を数値入力する方式とすることができる。また、例えば、本装置の外部に接続する他の測量装置で測量された制御点の世界座標ｗ（ｎ）を受信するインタフェースであってもよい。
【００５６】
ランドマーク記憶手段１８は、ランドマークに関する情報を記憶するものである。
具体的には、ランドマーク記憶手段１８は、特徴抽出手段１４から入力した特徴点配置情報および画像特徴と、世界座標入力手段１６から入力した制御点世界座標との組を、ランドマークごとに（制御点ごとに）複数組記憶する記憶手段である。また、ランドマーク記憶手段１８は、後述するカメラパラメータ推定機能部２０の照合手段２４、制御点推定手段２６、およびカメラパラメータ推定手段２８から読み出し要求があった場合に、記憶しているデータを出力するものである。ランドマーク記憶手段１８は、半導体メモリ、ハードディスク等の一般的な記憶媒体であればよく、その種類は問わない。
【００５７】
例えば、ランドマーク記憶手段１８は、図４に示すように、ランドマーク番号ごとに表形式により、特徴点配置情報、画像特徴、および制御点世界座標の組を記憶する方式とすることができる。
【００５８】
次に、カメラ校正装置１のカメラパラメータ推定機能部２０の構成について説明する。
［［カメラパラメータ推定機能部の構成］］
特徴抽出手段（第２の特徴抽出手段）２２は、新たな入力画像から特徴点の情報を抽出するものである。
具体的には、特徴抽出手段２２は、新たに入力された入力画像（以下、新たな入力画像という。）Ｉ（ｘ，ｙ）内から、視覚的に特徴的な点である特徴点を抽出し、その特徴点の配置に関する配置情報と、その特徴点の視覚的な特徴を定量化した画像特徴とを抽出して、画像特徴を照合手段２４へ、配置情報を制御点推定手段２６へ、それぞれ出力するものである。
この特徴抽出手段２２は、ランドマーク指定機能部１０の特徴抽出手段１４と、特徴点等を抽出する領域が異なるのみで、ほぼ同様の処理を行うものである。
【００５９】
特徴抽出手段２２が、新たな入力画像Ｉ（ｘ，ｙ）内から抽出した特徴点の数をＫ個（Ｋは自然数）とし、抽出したｋ番目（１≦ｋ≦Ｋ）番目の特徴点をＢｋとする。特徴抽出手段２２は、特徴点Ｂｋの配置情報γｋとして、当該特徴点の位置情報である画像座標［ｘｋ，ｙｋ］Ｔ、回転情報ψｋおよびスケール情報σｋを抽出する（（３）式参照）。ここで、回転情報ψｋおよびスケール情報σｋは、ランドマーク指定機能部１０の特徴抽出手段１４が抽出する回転情報ｒｍ（ｎ）およびスケール情報ｓｍ（ｎ）と同様のものである。
【００６０】
【数３】
【００６１】
なお、特徴抽出手段２２は、新たな入力画像Ｉ（ｘ，ｙ）内から抽出したＫ個の特徴点すべての配置情報γｋをまとめて行列Γとし、Γを出力してもよい（（４）式参照）。
【００６２】
【数４】
【００６３】
また、特徴抽出手段２２は、特徴点Ｂｋの画像特徴φｋとして、新たな入力画像Ｉ（ｘ，ｙ）内のＢｋ近傍の濃淡や色などの空間的分布のパターンを特徴づける情報（数量やベクトル量）を抽出する。この画像特徴φｋは、ランドマーク指定機能部１０の特徴抽出手段１４が抽出する画像特徴ｆｍ（ｎ）と同様のものである。
【００６４】
なお、特徴抽出手段２２は、新たな入力画像Ｉ（ｘ，ｙ）内から抽出したＫ個の特徴点すべての画像特徴φｋをまとめて行列Φとし、Φを出力してもよい（（５）式参照）。
【００６５】
【数５】
【００６６】
照合手段２４は、入力画像の特徴点と、新たな入力画像の特徴点との対応づけをするものである。
具体的には、照合手段２４は、ランドマーク記憶手段１８から読み出した各ランドマークＬ（ｎ）の画像特徴Ｆ（ｎ）を構成する各画像特徴ｆｍ（ｎ）に対して、特徴抽出手段２２から入力した画像特徴Φを構成する画像特徴φｋの中から、最も類似度の高い画像特徴φｋを探索し、その番号ｋを照合結果ｈｍ（ｎ）として、制御点推定手段２６へ出力するものである（１≦ｎ≦Ｎ、１≦ｍ≦Ｍ（ｎ）、１≦ｋ≦Ｋ）。
【００６７】
照合手段２４は、画像特徴Ｆ（ｎ）を構成する画像特徴ｆｍ（ｎ）と、画像特徴Φを構成する画像特徴φｋとの間の類似度を、λ（ｆｍ（ｎ），φｋ）で評価し、類似度の高いもの同士を対応づける。例えば、類似度λ（ｆ，φ）として、コサイン類似度を用いることができる（（６）式参照）。
【００６８】
【数６】
【００６９】
そして、照合手段２４は、各画像特徴ｆｍ（ｎ）に対し、類似度λ（ｆｍ（ｎ），φｋ）を最大化する画像特徴φｋを探索し、その番号ｋを照合結果ｈｍ（ｎ）として出力する（（７）式参照）。
【００７０】
【数７】
【００７１】
なお、照合手段２４は、ランドマークＬ（ｎ）のＭ（ｎ）個すべての画像特徴に関する照合結果ｈｍ（ｎ）をまとめて照合結果情報Ｈ（ｎ）とし、行列Ｈ（ｎ）を出力してもよい（（８）式参照）。
【００７２】
【数８】
【００７３】
また、照合手段２４は、各照合結果ｈｍ（ｎ）に加えて、各類似度λｍ（ｎ）も出力してもよい（（９）式参照）。行列として出力する場合には、（８）式に示す行列Ｈ（ｎ）に代えて、類似度λｍ（ｎ）を付加した（１０）式に示す行列Ｈ（ｎ）を出力する。
【００７４】
【数９】
【００７５】
【数１０】
【００７６】
制御点推定手段２６は、新たな入力画像において制御点の座標を推定するものである。
具体的には、制御点推定手段２６は、ランドマーク記憶手段１８から読み出した各ランドマークの特徴点配置情報（Ｇ（１），…，Ｇ（Ｎ））と、特徴抽出手段２２から入力された特徴点の配置情報Γと、照合手段２４から入力された照合結果情報（Ｈ（１），…，Ｈ（Ｎ））とに基づき、新たな入力画像Ｉ（ｘ，ｙ）内のどこに各ランドマーク（Ｌ（１），…，Ｌ（Ｎ））の制御点（Ｃ（１），…，Ｃ（Ｎ））があるかを推定し、推定した制御点推定画像座標（κ（１），…，κ（Ｎ））を、カメラパラメータ推定手段２８へ出力する。
【００７７】
制御点推定手段２６は、第ｎのランドマークＬ（ｎ）の制御点推定画像座標κ（ｎ）を以下の推定手順で推定する（１≦ｎ≦Ｎ）。なお、この制御点推定画像座標κ（ｎ）の推定は、投票処理（高木雅成、藤吉弘亘、“SIFT特徴量を用いた交通道路標識認識”、第１３回画像センシングシンポジウムSSII07、LD2-06、2007）に類似するものである。
【００７８】
まず、制御点推定手段２６は、第ｎのランドマークＬ（ｎ）に含まれる第ｍの特徴点Ｅｍ（ｎ）に対して、仮の制御点画像座標推定値τｍ（ｎ）を求める。すなわち、制御点推定手段２６は、ランドマーク記憶手段１８から読み出した特徴点配置情報Ｇ（ｎ）より、特徴点Ｅｍ（ｎ）に関する特徴点配置情報ｇｍ（ｎ）＝［ｐｍ（ｎ），ｑｍ（ｎ），ｒｍ（ｎ），ｓｍ（ｎ）］Ｔを取り出す。また、照合手段２４から入力された照合結果情報Ｈ（ｎ）より、特徴点Ｅｍ（ｎ）に関する照合結果ｈｍ（ｎ）を取り出す。さらに、特徴抽出手段２２から入力された特徴点の配置情報Γより、番号がｈｍ（ｎ）である特徴点の配置情報を取り出す（（１１）式参照）。
【００７９】
【数１１】
【００８０】
ここで、制御点推定手段２６は、ｇｍ（ｎ）＝［ｐｍ（ｎ），ｑｍ（ｎ），ｒｍ（ｎ），ｓｍ（ｎ）］Ｔおよび（１１）式から、制御点Ｃｍ（ｎ）の画像座標を推定し、仮の制御点画像座標推定値τｍ（ｎ）（（１２）式参照）を、（１３）式により求める。
【００８１】
【数１２】
【００８２】
【数１３】
【００８３】
図５は、（１３）式の意味を説明する図である。図５において、説明の便宜上、添え字は省略した。図５の左図は、入力画像の一部を表し、図５の右図は、新たな入力画像の一部を表し、左図と右図とは同画素数とする。左図において、特徴点が回転情報ｒおよびスケール情報ｓを有し、右図において、対応する類似度が最大の特徴点が回転情報ψおよびスケール情報σを有するものとする。（１３）式は、これらの情報を用いて、左図の特徴点に係る位置ベクトル［ｐ，ｑ］Ｔを回転・拡大（縮小）した右図の位置ベクトルに、仮の制御点画像座標推定値を加えたものが、類似度が最大の特徴点の画像座標［ｘ，ｙ］Ｔとなることを意味するものである。
【００８４】
このようにして、制御点推定手段２６は、ランドマークＬ（ｎ）に含まれるすべての特徴点Ｅｍ（ｎ）（１≦ｍ≦Ｍ（ｎ））に対して、仮の制御点画像座標推定値τｍ（ｎ）を求める。そして、画像座標内で、τｍ（ｎ）が空間的に密集した箇所を探し出し、当該密集した画像座標近傍の仮の制御点画像座標推定値τｍ（ｎ）の平均値を求め、当該平均値を、制御点推定画像座標κ（ｎ）として出力する。
【００８５】
この平均値の算出方法として、例えば、制御点推定手段２６は、新たな入力画像Ｉ（ｘ，ｙ）の全体を複数の部分領域に分割し（例えば、格子状に分割してもよいし、隣接する部分領域同士が重なり合うように分割してもよい）、仮の制御点画像座標推定値τｍ（ｎ）（１≦ｍ≦Ｍ（ｎ））がどの部分領域に属するかに応じて１票ずつ投票を行い、最も投票数の多かった部分領域Ｒ（ｎ）を求める。続いて、制御点推定手段２６は、当該最も投票数の多かった部分領域Ｒ（ｎ）に票を投じた仮の制御点画像座標推定値τｍ（ｎ）のみに関して、それらの平均値を求め、当該平均値を制御点推定画像座標κ（ｎ）として出力してもよい。
【００８６】
なお、（８）式に代えて、（１０）式に示した照合結果情報Ｈ（ｎ）を用いる場合には、制御点推定手段２６は、前記平均値の算出方法における投票に際して、１票ではなく、類似度λｍ（ｎ）に応じた可変の票数を投ずるようにしてもよい。例えば、投ずる票数ａｍ（ｎ）を、広義の増加関数αを用いて、（１４）式のように設定することができる。ここで、広義の増加関数αとして、折線関数を用いることができる（（１５）式参照）。
【００８７】
【数１４】
【００８８】
【数１５】
【００８９】
また、制御点推定手段２６は、制御点推定画像座標κ（n）に加えて、制御点推定信頼度ｖ（n）（１≦ｎ≦Ｎ）を出力してもよい。例えば、制御点推定信頼度ｖ（ｎ）として、前記最も得票数の多かった部分領域Ｒ（ｎ）の得票数を用いることができる。あるいは、制御点推定信頼度ｖ（ｎ）として、前記最も得票数の多かった部分領域Ｒ（ｎ）の得票数を、総投票数で除したものを用いてもよい。
【００９０】
このようにして、制御点推定手段２６は、第ｎのランドマークＬ（ｎ）の制御点推定画像座標κ（ｎ）（また、必要に応じて、制御点推定信頼度ｖ（ｎ））を得る。この推定手順を、全てのランドマーク（Ｌ（１），…，Ｌ（Ｎ））について実行し、制御点推定画像座標（κ（１），…，κ（Ｎ））（また、必要に応じて、制御点推定信頼度（ｖ（１），…，ｖ（Ｎ）））を得る。
【００９１】
カメラパラメータ推定手段２８は、カメラパラメータを推定するものである。
具体的には、カメラパラメータ推定手段２８は、ランドマーク記憶手段１８から読み出したＮ個の制御点世界座標（ｗ（１），…，ｗ（Ｎ））と、制御点推定手段２６から入力されたＮ個の制御点推定画像座標（κ（１），…，κ（Ｎ））とに基づき、カメラパラメータθを算出し、カメラパラメータ推定機能部２０の結果として出力するものである。
【００９２】
例えば、カメラパラメータ推定手段２８は、Ｎ個の制御点世界座標（ｗ（１），…，ｗ（Ｎ））をカメラパラメータθ’により画像座標へ投影し、その結果と制御点推定画像座標（κ（１），…，κ（Ｎ））との誤差を最小化するθ’を非線形最小自乗法により求め、その結果をカメラパラメータθとすることができる（（１６）式参照）。ここで、関数β（ｗ；θ）は、カメラパラメータθによる世界座標ｗから画像座標への投影を表す。
【００９３】
【数１６】
【００９４】
また、カメラパラメータ推定手段２８は、カメラパラメータθの推定にあたって、制御点推定手段２６から入力される制御点推定信頼度（ｖ（１），…，ｖ（Ｎ））を考慮してもよい。例えば、（１６）式の代わりに、（１７）式を用いることができる。
【００９５】
【数１７】
【００９６】
さらに、例えば、RANSACによる透視Ｎ点問題の解法（M. A. Fischler, R. C. Bolles, “Random sample consensus, a paradigm for model fitting with applications to image analysis and automated cartography”, Comm. of the ACM, Vol. 24, pp. 381-395, 1981.）を用いることができる。
【００９７】
このように、カメラ校正装置１を構成することで、視覚的に特徴的な点と、世界座標の既知な点とがそれぞれ別々に与えられる場合であっても、入力画像において指定した世界座標の既知な制御点の画像座標と抽出した特徴点とを用いて、新たな入力画像において抽出した特徴点から制御点の画像座標を推定して、カメラパラメータを算出することができる。
【００９８】
なお、世界座標系の原点の位置や、各軸のとり方は任意である。本実施形態では、世界座標系をデカルト座標系で表し、その各軸をＸ軸、Ｙ軸およびＺ軸としたが、この場合、例えば、三角点などの測量用の基準に原点を置き、ＸおよびＹの２軸を水平面内にとり、Ｘ軸を北向き、Ｙ軸を東向きとし、Ｚ軸を鉛直上向きにとることができる。あるいは、スポーツ競技場などの施設や競技フィールドに合わせて各軸をとってもよい。例えば、サッカー場のセンターマーク中央を原点とし、Ｘ軸をタッチラインと平行かつコーチエリア側から見て右向きにとり、Ｙ軸をハーフウェイライン方向かつコーチエリアから遠ざかる方向にとり、また、Ｚ軸をサッカー場の地面に対して垂直かつ上向きにとることができる。
【００９９】
なお、カメラパラメータ推定機能部２０の特徴抽出手段２２は、新たな入力画像Ｉ（ｘ，ｙ）全体からではなく入力画像内に定められる固定領域内から、特徴点等を抽出してもよい。
【０１００】
また、カメラ校正装置１は、一般的なカメラ（デジタルカメラ）の他、放送用ビデオカメラ、民生用ビデオカメラ等のビデオカメラに適用可能である。また、カメラ校正装置１は、コンピュータにおいて各手段を機能プログラムとして実現させることも可能であり、各機能プログラムを結合して、カメラ校正プログラムとして動作させることも可能である。
【０１０１】
［カメラ校正装置の動作］
次に、本発明の実施形態におけるカメラ校正装置１の動作について説明する。前述したように、カメラ校正装置１は、その機能により、ランドマーク指定機能部１０と、カメラパラメータ推定機能部２０とに大別される。以下では、それぞれについて、動作を説明する。
【０１０２】
［［ランドマーク指定機能部の動作］］
まず、図６を参照して（構成については、適宜図１を参照）、本発明の実施形態に係るカメラ校正装置１のランドマーク指定機能部１０の動作について説明する。
【０１０３】
まず、カメラ校正装置１は、ランドマーク指定手段１２によって、入力画像において、１つのランドマークＬに対応するパターン画像領域Ｄと、制御点Ｃの画像座標ｃとを指定する（Ｓ１１）。
【０１０４】
そして、カメラ校正装置１は、特徴抽出手段１４によって、指定されたパターン画像領域Ｄ内から、特徴点をいくつか抽出する（Ｓ１２）。その後、カメラ校正装置１は、特徴抽出手段１４によって、１つの特徴点Ｅの特徴点配置情報ｇを抽出し（Ｓ１３）、さらに当該特徴点Ｅの画像特徴ｆを抽出する（Ｓ１４）。その後、カメラ校正装置１は、特徴抽出手段１４によって、まだ、特徴点配置情報および画像特徴を抽出していない特徴点があるか否かを判定し（Ｓ１５）、ある場合（Ｓ１５でＹｅｓ）にはＳ１３へ戻り、ない場合（Ｓ１５でＮｏ）にはＳ１６へ進む。
【０１０５】
そして、カメラ校正装置１は、世界座標入力手段１６によって、ランドマークＬの制御点Ｃの世界座標ｗを入力する（Ｓ１６）。これは、ランドマーク指定手段１２によって、画像座標ｃが入力された制御点Ｃに対応するものである。
【０１０６】
そして、カメラ校正装置１は、ランドマーク記憶手段１８によって、ランドマークＬの、すべての特徴点に対する特徴点配置情報Ｇおよび画像特徴Ｆと、制御点Ｃの世界座標ｗとの組を記憶する（Ｓ１７）。
【０１０７】
そして、カメラ校正装置１は、ランドマーク指定手段１２によって、さらに別のランドマークに対する処理を行うか否かを判定し（Ｓ１８）、行う場合（Ｓ１８でＹｅｓ）にはＳ１１へ戻り、行わない場合（Ｓ１８でＮｏ）には、カメラ校正装置１のランドマーク指定機能部１０の動作を終了する。
【０１０８】
なお、カメラ校正装置１のランドマーク指定機能部の動作は、これに限定されるものではなく、本実施形態の趣旨を逸脱しない範囲で変更可能である。例えば、Ｓ１１−Ｓ１５より先に、Ｓ１６をおこなってもよい。また、例えば、Ｓ１１により、最初に処理を行いたいすべてのランドマークＬに対応するパターン画像領域Ｄと、制御点Ｃの画像座標ｃとを指定しておいてもよい。
【０１０９】
［［カメラパラメータ推定機能部の動作］］
次に、図７を参照して（構成については、適宜図１を参照）、本発明の実施形態に係るカメラ校正装置１のカメラパラメータ推定機能部２０の動作について説明する。
【０１１０】
まず、カメラ校正装置１は、特徴抽出手段２２によって、新たに入力された入力画像（又はその固定領域）から、いくつかの特徴点Ｂｋと、当該特徴点の配置情報γｋおよび画像特徴φｋとを抽出する（Ｓ２１）。これは、入力画像全体から抽出するか、または、指定されたパターン画像領域から抽出するか、という違いを除いて、ランドマーク指定機能部１０の特徴抽出手段１４の動作のＳ１２、Ｓ１３、Ｓ１４、およびＳ１５とほぼ同様の動作である（図６参照）。
【０１１１】
そして、カメラ校正装置１は、照合手段２４によって、ランドマーク記憶手段１８から、１つのランドマークＬの画像特徴Ｆを読み出す（Ｓ２２）。その後、カメラ校正装置１は、照合手段２４によって、画像特徴Ｆに含まれる画像特徴ｆに対して、類似度が最大となる画像特徴φｋの番号を照合結果ｈとする（Ｓ２３）。その後、カメラ校正装置１は、照合手段２４によって、照合結果を求めていない画像特徴があるか否かを判定し（Ｓ２４）、ある場合（Ｓ２４でＹｅｓ）にはＳ２３に戻り、ない場合（Ｓ２４でＮｏ）にはＳ２５へ進む。
【０１１２】
その後、カメラ校正装置１は、照合手段２４によって、照合結果ｈをまとめて、ランドマークＬの照合結果情報Ｈとする（Ｓ２５）。その後、カメラ校正装置１は、照合手段２４によって、照合結果情報を求めていないランドマークがあるか否かを判定し（Ｓ２６）、ある場合（Ｓ２６でＹｅｓ）にはＳ２２に戻り、ない場合（Ｓ２６でＮｏ）にはＳ２７へ進む。
【０１１３】
そして、カメラ校正装置１は、制御点推定手段２６によって、ランドマーク記憶手段１８から、１つのランドマークＬの特徴点配置情報Ｇを読み出す（Ｓ２７）。その後、カメラ校正装置１は、制御点推定手段２６によって、ランドマークＬの特徴点Ｅに対して、Ｅに対応するＧの特徴点配置情報ｇと、照合結果情報Ｈから求めたＬおよびＥに対応する照合結果ｈを番号とする特徴点の配置情報γｈとから、（１３）式により、仮の制御点画像座標推定値τを算出する（Ｓ２８）。その後、カメラ校正装置１は、制御点推定手段２６によって、仮の制御点画像座標推定値を求めていない特徴点があるか否か判定し（Ｓ２９）、ある場合（Ｓ２９でＹｅｓ）にはＳ２８に戻り、ない場合（Ｓ２９でＮｏ）にはＳ３０へ進む。
【０１１４】
その後、カメラ校正装置１は、制御点推定手段２６によって、仮の制御点画像座標推定値τの平均値を求め、ランドマークＬの制御点推定画像座標κとする（Ｓ３０）。その後、カメラ校正装置１は、制御点推定手段２６によって、制御点推定画像座標を求めていないランドマークがあるか否かを判定し（Ｓ３１）、ある場合（Ｓ３１でＹｅｓ）にはＳ２７へ戻り、ない場合（Ｓ３１でＮｏ）にはＳ３２へ進む。
【０１１５】
そして、カメラ校正装置１は、カメラパラメータ推定手段２８によって、全てのランドマークにわたる、制御点推定画像座標κと、ランドマーク記憶手段から読み出した制御点世界座標ｗとに基づき、透視Ｎ点問題の解法または所定の非線形最小自乗法などを用いて、カメラパラメータθを算出する（Ｓ３２）。その後、カメラ校正装置１のカメラパラメータ推定機能部２０の動作を終了する。
【０１１６】
なお、カメラ校正装置１のカメラパラメータ推定機能部２０の動作は、これに限定されるものではなく、本実施形態の趣旨を逸脱しない範囲で変更可能である。
【０１１７】
以上の動作によって、視覚的に特徴的な点と、世界座標の既知な点とがそれぞれ別々に与えられる場合であっても、入力画像において指定した世界座標の既知な制御点の画像座標と抽出した特徴点とを用いて、新たな入力画像において抽出した特徴点から制御点の画像座標を推定して、カメラパラメータを算出することができる。
【符号の説明】
【０１１８】
１ カメラ校正装置
１０ ランドマーク指定機能部
１２ ランドマーク指定手段
１４ 特徴抽出手段（第１の特徴抽出手段）
１６ 世界座標入力手段
１８ ランドマーク記憶手段
２０ カメラパラメータ推定機能部
２２ 特徴抽出手段（第２の特徴抽出手段）
２４ 照合手段
２６ 制御点推定手段
２８ カメラパラメータ推定手段
【技術分野】
【０００１】
本発明は、校正対象のカメラにより撮影された画像に基づいて、カメラの位置、姿勢、または焦点距離の１以上からなるカメラパラメータを推定するカメラ校正装置およびカメラ校正プログラムに関する。
【背景技術】
【０００２】
従来、カメラ校正は、既定の、または測定済みのパターンを、校正対象のカメラで撮影して、パターンの像の形状から、解析的に、または繰り返し収束演算により、カメラパラメータを求めることが行われている。
【０００３】
繰り返し収束演算によるものの代表的な手法として、実際に観測されたパターンの像と、カメラパラメータ及びパターンのモデルから推測した観測されるべきパターンの像との一致の度合を評価しつつ、その一致の度合が最大となるように、カメラパラメータを逐次修正する手法がある。
【０００４】
パターンとして、複数の観測点と、モデル上の点との対応関係を用いる手法（非特許文献１参照）や、観測された複数の線（直線、線分、または曲線など）と、モデル上の線との対応関係を用いる手法がある。
【０００５】
点の対応関係を用いる手法においては、線同士の交差した点、折れ線の頂点、または円や矩形等の特定のパターンの代表点（重心など）を特徴点として抽出し、モデルとの対応関係を求める手法が主流である。
【０００６】
一方、線の対応関係を用いる手法においては、例えば、ハフ変換や一般化ハフ変換によって、直線や曲線のパラメータを算出し、当該パラメータとモデルとの対応をとることが行われている（特許文献１参照）。
【０００７】
また、画像対において、それぞれ視覚的に特徴的な点を複数抽出して、特徴点間の対応付けを行うことによって、画像対間におけるカメラの相対位置、相対姿勢、および焦点距離情報を得る手法がある（非特許文献２参照）。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００４−２３４３３３号公報
【非特許文献】
【０００９】
【非特許文献１】R. Y. Tsai, An Efficient and Accurate Camera Calibration Technique for 3D Machine Vision. Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, Miami Beach, FL, pp. 364-374, 1986.
【非特許文献２】C. Poelman and T. Kanade, A paraperspective factorization method for shape and motion recovery. IEEE Trans. on Pattern Analysis and Machine Intelligence, 19(3):206-218, March 1997.
【発明の概要】
【発明が解決しようとする課題】
【００１０】
従来のカメラ校正手法では、画像内の特徴点や直線、曲線を抽出し、その座標やパラメータを得ることが最初の段階として行われ、続いて、モデルを投影変換した点や線の座標やパラメータと、観測画像から得た座標やパラメータとの距離の比較を行って、カメラパラメータを推定する。
【００１１】
しかし、これらの手法では、特徴点や直線、曲線などの視覚的なパターンが、世界座標を有する実空間においてどこにあるのかを予めモデル化しておく必要がある。このため、世界座標の既知な点が視覚的に特徴的でない場合や、視覚的に特徴的な点の世界座標が既知でない場合には、カメラ校正を行うことができないという問題がある。
【００１２】
本発明は、かかる問題を解決するためになされたものであり、視覚的に特徴的な点と、世界座標の既知な点とが、それぞれ別々に与えられる場合にも、カメラパラメータの推定を可能とするカメラ校正装置およびカメラ校正プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１３】
本発明は、前記目的を達成するために創案されたものであり、まず、請求項１に記載のカメラ校正装置は、入力画像において指定した世界座標の既知な制御点の画像座標と抽出した特徴点とを用いて、新たな入力画像において抽出した特徴点から前記制御点の画像座標を推定して、カメラパラメータを算出するカメラ校正装置であって、ランドマーク指定手段と、第１の特徴抽出手段と、世界座標入力手段と、ランドマーク記憶手段と、第２の特徴抽出手段と、照合手段と、制御点推定手段と、カメラパラメータ推定手段と、を備える構成とした。
【００１４】
かかる構成において、カメラ校正装置は、ランドマーク指定手段によって、入力画像において、世界座標が既知な点である制御点の画像座標と、当該制御点と関連付けるべき画像領域とを指定する。ここで、世界座標とは、実空間内における位置を表すための座標であり、画像座標とは、入力画像内の位置を表すための座標である。
【００１５】
そして、カメラ校正装置は、第１の特徴抽出手段によって、ランドマーク指定手段により指定された画像領域から、視覚的に特徴的な点である特徴点を１つ以上抽出し、当該特徴点の配置に関する第１の配置情報と当該特徴点の視覚的な特徴を定量化した第１の画像特徴とを抽出する。すなわち、１つの画像領域から抽出される特徴点は、複数あってもよい。なお、配置情報および画像特徴は、一般に、ベクトル量である。また、カメラ校正装置は、世界座標入力手段によって、ランドマーク指定手段により指定した制御点の世界座標を入力する。
【００１６】
そして、カメラ校正装置は、ランドマーク記憶手段によって、制御点に関連づけられた画像領域から特徴抽出手段が抽出した第１の配置情報および第１の画像特徴と、世界座標入力手段から入力された制御点の世界座標との組を、１つのランドマークとして、このランドマークを複数記憶する。これによって、複数の第１の配置情報および第１の画像情報と、制御点の世界座標とが対応付けられた組となって記憶される。
【００１７】
さらに、カメラ校正装置は、第２の特徴抽出手段によって、新たな入力画像から、視覚的に特徴的な点である特徴点を１つ以上抽出し、当該特徴点の配置に関する第２の配置情報と当該特徴点の視覚的な特徴を定量化した第２の画像特徴とを抽出する。
【００１８】
そして、カメラ校正装置は、照合手段によって、ランドマーク記憶手段から読み出したランドマークの各第１の画像特徴に対して、第２の特徴抽出手段が抽出した第２の画像特徴の中から、最も類似度の高い第２の画像特徴を探索し、その照合結果をランドマークごとに照合結果情報として出力する。ここで、類似度として、例えば、コサイン類似度を用いることができる。
【００１９】
その後、カメラ校正装置は、制御点推定手段によって、ランドマーク記憶手段から読み出したランドマークの各第１の配置情報と、第２の特徴抽出手段から入力した第２の配置情報と、前記照合手段から入力した照合結果情報とに基づき、新たな入力画像内におけるランドマークに対応する制御点の画像座標を推定し、制御点推定画像座標として出力する。
【００２０】
そして、カメラ校正装置は、カメラパラメータ推定手段によって、ランドマーク記憶手段から読み出した制御点の世界座標と、制御点推定手段から入力した制御点推定画像座標とに基づき、カメラパラメータを推定する。なお、このカメラパラメータの推定には、既知の透視Ｎ点問題の解法や、非線形最小自乗法を用いることができる。
【００２１】
また、請求項２に記載のカメラ校正装置は、請求項１に記載のカメラ校正装置において、第１の配置情報が、入力画像における制御点から特徴点への位置ベクトルと、特徴点近傍における回転情報およびスケール情報とを含み、第２の配置情報は、新たな入力画像における特徴点の画像座標と、特徴点近傍における回転情報およびスケール情報とを含み、制御点推定手段が、これらの情報を用いて、制御点推定画像座標を推定する構成とした。
【００２２】
かかる構成において、カメラ校正装置は、制御点推定手段によって、ランドマークの各第１の配置情報に含まれる前記位置ベクトルに対して、当該第１の配置情報に含まれる回転情報およびスケール情報と、当該第１の配置情報とともに抽出された第１の画像特徴と照合結果を介して対応する第２の画像特徴とともに抽出された第２の配置情報に含まれる回転情報およびスケール情報とを用いて、新たな入力画像における位置ベクトルに変換し、当該第２の配置情報に含まれる特徴点の画像座標から当該変換した位置ベクトルを減算することによって、仮の制御点画像座標推定値を求め、ランドマークの各第１の配置情報から求めた仮の制御点画像座標推定値を、所定の方法により平均することによって、新たな入力画像における当該ランドマークに対応する制御点の制御点推定画像座標とする。
【００２３】
また、請求項３に記載のカメラ校正装置は、請求項２に記載のカメラ校正装置において、制御点推定手段が、新たな入力画像の全体を複数の部分領域に分割し、仮の制御点画像座標推定値がどの部分領域に属するかに応じて、当該部分領域に係る値を１ずつ累積し、その合計値が最も大きい部分領域に係る仮の制御点画像座標推定値のみに関して平均を求めることを特徴とする。
かかる構成により、カメラ校正装置は、制御点推定手段によって、合計値が最も大きい部分領域に係る仮の制御点画像座標推定値から、ランドマークに対応する制御点の画像座標を推定することができる。
【００２４】
また、請求項４に記載のカメラ校正装置は、請求項２に記載のカメラ校正装置において、照合手段が、照合結果とともにその類似度を、ランドマークごとに照合結果情報として出力し、制御点推定手段が、新たな入力画像の全体を複数の部分領域に分割し、仮の制御点画像座標推定値がどの部分領域に属するかに応じて、当該仮の制御点画像座標推定値の算出に係る照合結果に対応する類似度に応じた値を、当該部分領域に係る値に累積し、その合計値が最も大きい部分領域に係る仮の制御点画像座標推定値のみに関して平均を求めることを特徴とする。
かかる構成により、カメラ校正装置は、制御点推定手段によって、類似度を考慮して平均を算出する部分領域を決定しているので、類似度を考慮した制御点の画像座標を推定することができる。
【００２５】
また、請求項５に記載のカメラ校正プログラムは、入力画像において指定した世界座標の既知な制御点の画像座標と抽出した特徴点とを用いて、新たな入力画像において抽出した特徴点から前記制御点の画像座標を推定して、カメラパラメータを算出するために、コンピュータを、ランドマーク指定手段、第１の特徴抽出手段、世界座標入力手段、第２の特徴抽出手段、照合手段、制御点推定手段、カメラパラメータ推定手段、として機能させる構成とした。
【００２６】
かかる構成において、カメラ校正プログラムは、ランドマーク指定手段によって、入力画像において、制御点の画像座標と画像領域とを指定する。また、カメラ校正プログラムは、第１の特徴抽出手段によって、画像領域から、特徴点を抽出して、第１の配置情報と第１の画像特徴とを抽出し、当該画像領域に係る制御点で関連付けられたランドマークの構成要素としてランドマーク記憶手段に記憶する。そして、カメラ校正プログラムは、世界座標入力手段によって、制御点の世界座標を入力し、当該制御点で関連付けられたランドマークの構成要素として前記ランドマーク記憶手段に記憶する。
【００２７】
さらに、カメラ校正プログラムは、第２の特徴抽出手段によって、新たな入力画像から、特徴点を抽出して、第２の配置情報と第２の画像特徴とを抽出する。そして、カメラ校正プログラムは、照合手段によって、ランドマークの各第１の画像特徴に対して、第２の画像特徴の中から、最も類似度の高いものを探索し、その照合結果をランドマークごとに照合結果情報として出力する。また、カメラ校正プログラムは、制御点推定手段によって、ランドマークの各第１の配置情報と、第２の配置情報と、照合結果情報とに基づき、新たな入力画像内における制御点の画像座標を推定し、制御点推定画像座標として出力する。そして、カメラ校正プログラムは、カメラパラメータ推定手段によって、制御点の世界座標と、制御点推定画像座標とに基づき、カメラパラメータを推定する。
【発明の効果】
【００２８】
請求項１および請求項５に記載の発明によれば、視覚的に特徴的な点と、世界座標の既知な点とが、それぞれ別々に与えられてもカメラの校正が可能となる。すなわち、校正に用いるランドマークにおいて、視覚的に特徴的な点と、世界座標の既知な制御点とを、必ずしも一致させる必要がなくなる。このため、世界座標が既知かつ視覚的に特徴的なランドマークを用いる必要があった従来の方法に比べ、より一般的なシーンにおいてカメラパラメータの推定およびカメラ校正が可能となる。
【００２９】
請求項２に記載の発明によれば、制御点推定手段が、制御点の画像座標を推定する場合に、入力画像および新たな入力画像の回転情報およびスケール情報を用いて、入力画像の位置ベクトルを新たな入力画像の位置ベクトルに変換し、これを用いて、仮の制御点画像座標推定値をもとめ、各ランドマークにわたって、仮の制御点画像座標推定値を平均することによって、制御点推定画像座標を求めているため、新たな入力画像において、より正確に制御点を推定でき、したがって、より正確にカメラパラメータの推定およびカメラ校正が可能となる。
【００３０】
請求項３に記載の発明によれば、制御点推定手段が、新たな入力画像の全体を複数の部分領域に分割し、もっとも属する仮の制御点画像座標推定値が多い部分領域に関してのみ、仮の制御点画像座標推定値の平均値を求めているため、より正確に制御点を推定でき、したがって、より正確にカメラパラメータの推定およびカメラ校正が可能となる。
【００３１】
請求項４に記載の発明によれば、制御点推定手段が、新たな入力画像の全体を複数の部分領域に分割し、もっとも属する仮の制御点画像座標推定値が多い部分領域を、類似度を考慮して決定し、当該部分領域に関してのみ、制御点画像座標推定値の平均値を求めているため、画像特徴の類似度に応じた正確な制御点を推定でき、したがって、より正確にカメラパラメータの推定およびカメラ校正が可能となる。
【図面の簡単な説明】
【００３２】
【図１】本発明の実施形態に係るカメラ校正装置の構成を示すブロック図である。
【図２】ランドマーク指定手段によって、入力画像において、パターン画像領域と制御点画像座標とを指定した一例を示す図である。
【図３】第ｎのランドマークに関するパターン画像領域、特徴点、画像特徴、特徴点配置情報、制御点、および制御点画像座標の関係の一例を示す図である。
【図４】ランドマーク記憶手段による、特徴点配置情報、画像特徴、および制御点世界座標の記憶方式の一例を示す図である。
【図５】制御点推定手段における仮の制御点画像座標推定値の算出方法を示す図である。
【図６】本発明の実施形態に係るカメラ校正装置のランドマーク指定機能部の動作を示すフローチャートである。
【図７】本発明の実施形態に係るカメラ校正装置のカメラパラメータ推定機能部の動作を示すフローチャートである。
【発明を実施するための形態】
【００３３】
以下、本発明の実施形態について図面を参照して説明する。
本実施形態では、実空間内における位置を表すための座標系を世界座標系と称し、世界座標系内の座標を世界座標と称する。ここでは、世界座標系をデカルト座標系で表し、その各軸をＸ軸、Ｙ軸およびＺ軸とおくこととする。
また、入力画像内の位置を表すための座標系を画像座標系と称し、画像座標系内の座標を画像座標と称する。ここでは、画素並びの水平方向右向きにｘ軸を、また画素並びの垂直方向下向きにｙ軸をとることとする。
【００３４】
カメラ校正に用いる入力画像に関する計測用の基準をランドマークと称する。ランドマークは、１つであっても良いし、複数存在してもよい。本発明においては、１つのランドマークには、世界座標の既知な点である制御点と、視覚的に特徴的な点である特徴点とが含まれ、特徴点は１つ以上存在するものとする。
【００３５】
［カメラ校正装置の構成］
以下では、図１を参照して、本発明の実施形態に係るカメラ校正装置１の構成について説明する。
【００３６】
本実施形態のカメラ校正装置１は、入力画像のランドマークから、新たな入力画像のランドマークの制御点を推定することによって、カメラパラメータを推定するものである。
具体的には、カメラ校正装置１は、入力された入力画像において指定された画像領域から、特徴点に関する特徴点配置情報および画像特徴を抽出し、画像領域と関連付けられた制御点の世界座標とともにランドマークとして記憶しておき、新たに入力された入力画像において、抽出した特徴点に関する配置情報および画像特徴と、読み出したランドマークに関する情報とから、制御点の画像座標を推定し、当該制御点の画像座標と制御点の世界座標とからカメラパラメータを推定し出力するものである。
【００３７】
カメラ校正装置１は、その機能により、ランドマーク指定機能部１０と、カメラパラメータ推定機能部２０とを備えている。ランドマーク指定機能部１０は、ランドマーク指定手段１２と、特徴抽出手段１４と、世界座標入力手段１６と、ランドマーク記憶手段１８とを備えている。また、カメラパラメータ推定機能部２０は、特徴抽出手段２２と、照合手段２４と、制御点推定手段２６と、カメラパラメータ推定手段２８とを備えている。
【００３８】
はじめに、カメラ校正装置１のランドマーク指定機能部１０の構成について説明する。
［［ランドマーク指定機能部の構成］］
ランドマーク指定手段１２は、ランドマークに対応する画像領域等を指定するものである。
具体的には、ランドマーク指定手段１２は、入力された入力画像Ｉ（ｘ，ｙ）において、特徴点を抽出するための画像領域（以下、パターン画像領域という。）と、世界座標の既知な点である制御点の画像座標（以下、制御点画像座標という。）とを指定し、指定された結果を特徴抽出手段１４へ出力するものである。
【００３９】
ランドマーク指定手段１２において、パターン画像領域および制御点画像座標は、複数指定でき、１つの指定が１つのランドマークに対応する。ランドマーク指定手段１２において、これらをＮ個（Ｎは自然数）指定した場合に、ｎ番目（１≦ｎ≦Ｎ）のランドマークＬ（ｎ）に対応するパターン画像領域をＤ（ｎ）、制御点をＣ（ｎ）、制御点Ｃ（ｎ）の画像座標をｃ（ｎ）＝［ｃｘ（ｎ），ｃｙ（ｎ）］Ｔと記す。ここで、上付きのＴは転置行列（Transposed matrix）を表す。なお、Ｉ（ｘ，ｙ）とは、画像座標の各点（ｘ，ｙ）において、値（輝度値等）Ｉ（ｘ，ｙ）が定義されていることを意味する。
【００４０】
例えば、液晶ディスプレイやＣＲＴなどの表示装置に入力画像Ｉ（ｘ，ｙ）を提示し、その上にカーソルを重畳表示しておき、マウスのドラッグ操作等により、矩形領域をパターン画像領域として指定する。また、マウスボタンのクリック操作により、制御点画像座標を指定する。
【００４１】
図２は、ランドマーク指定手段１２によって、入力画像において、パターン画像領域と制御点画像座標とを指定した一例を示す図である。図２中の破線で示した矩形領域が指定したパターン画像領域Ｄ（ｎ）を示し、×印で示した位置が指定した制御点Ｃ（ｎ）の画像座標ｃ（ｎ）＝［ｃｘ（ｎ），ｃｙ（ｎ）］Ｔを示す。
【００４２】
特徴抽出手段（第１の特徴抽出手段）１４は、入力画像からランドマークを構成する特徴点の情報を抽出するものである。
具体的には、特徴抽出手段１４は、ランドマーク指定手段１２で指定された入力画像Ｉ（ｘ，ｙ）のパターン画像領域内から、視覚的に特徴的な点である特徴点を抽出し、その特徴点の配置に関する特徴点配置情報と、その特徴点の視覚的な特徴を定量化した画像特徴とを抽出して、ランドマーク記憶手段１８へ出力するものである。
特徴抽出手段１４が、ｎ番目のランドマークＬ（ｎ）に対応するパターン画像領域Ｄ（ｎ）内から抽出した特徴点の数をＭ（ｎ）個（Ｍ（ｎ）は自然数）とし、抽出したｍ番目（１≦ｍ≦Ｍ（ｎ））の特徴点をＥｍ（ｎ）とする。
【００４３】
特徴抽出手段１４は、特徴点Ｅｍ（ｎ）の特徴点配置情報ｇｍ（ｎ）として、少なくとも、入力画像における位置情報、すなわち、画像座標系において、制御点Ｃ（ｎ）から特徴点Ｅｍ（ｎ）に至るベクトル［ｐｍ（ｎ），ｑｍ（ｎ）］Ｔを含む情報を抽出する。このベクトルの算出には、ランドマーク指定手段１２において指定された制御点画像座標ｃ（ｎ）が用いられる。
【００４４】
本実施形態においては、特徴点配置情報は、ｇｍ（ｎ）＝［ｐｍ（ｎ），ｑｍ（ｎ），ｒｍ（ｎ），ｓｍ（ｎ）］Ｔとする。ここで、ｒｍ（ｎ）は、回転情報を表し、入力画像Ｉ（ｘ，ｙ）が特徴点Ｅｍ（ｎ）近傍において有する視覚的に特徴的な方位である。例えば、ｒｍ（ｎ）として、特徴点Ｅｍ（ｎ）近傍の部分画像に含まれる代表的な（例えば、コントラストの高い）エッジの方位を用いることができる。また、ｓｍ（ｎ）は、スケール情報を表し、入力画像Ｉ（ｘ，ｙ）が特徴点Ｅｍ（ｎ）近傍において有する視覚的に特徴的な大きさ情報である。例えば、ｓｍ（ｎ）として、特徴点Ｅｍ（ｎ）近傍の部分画像に含まれる代表的なテクスチャの大きさ（すなわち、テクスチャの代表的な空間周波数成分）を用いることができる。
【００４５】
特徴抽出手段１４は、これらの特徴点配置情報ｇｍ（ｎ）＝［ｐｍ（ｎ），ｑｍ（ｎ），ｒｍ（ｎ），ｓｍ（ｎ）］Ｔを、例えば、SIFT（Scale Invariant Feature Transform）（D. G. Lowe, “Object recognition from local scale-invariant features” Proc. of IEEE International Conference on Computer Vision（ICCV）, pp. 1150-1157, 1999）におけるキーポイントの位置、オリエンテーションおよびスケールとして得ることができる。キーポイント、オリエンテーション、およびスケールが、それぞれ本実施形態の特徴点、回転情報、およびスケール情報に対応する。
【００４６】
なお、具体的に、SIFTの処理は次のようなものである。すなわち、Difference-of-Gaussian（DoG）画像から、極値を検出することで、特徴点（キーポイント）とそのスケール情報を決定する。また、特徴点の周辺領域から、勾配方向のヒストグラムを求め、ピークをオリエンテーションとして割り当てる。そして、特徴点のスケールによって定まる周辺領域を、オリエンテーションに従い回転させ、当該周辺領域を特徴点からの距離によるガウス窓で重み付けした後、４ｘ４の１６の小領域に分割し、各小領域で８方向の勾配方向ヒストグラムを求めることで、回転およびスケールに不変な１２８次元のSIFT特徴量記述を得る。
【００４７】
なお、特徴抽出手段１４は、パターン画像領域Ｄ（ｎ）内から抽出したＭ（ｎ）個の特徴点すべての特徴点配置情報ｇｍ（ｎ）をまとめて行列Ｇ（ｎ）とし、Ｇ（ｎ）を出力してもよい（（１）式参照）。
【００４８】
【数１】
【００４９】
さらに、特徴抽出手段１４は、特徴点Ｅｍ（ｎ）の画像特徴ｆｍ（ｎ）として、入力画像Ｉ（ｘ，ｙ）内のＥｍ（ｎ）近傍の濃淡や色などの空間的分布のパターンを特徴づける情報（数量やベクトル量）を抽出する。この画像特徴ｆｍ（ｎ）は、回転および拡大・縮小に対して、その値が変化しにくいものであることが好ましい。また、この画像特徴ｆｍ（ｎ）は、画像の全体的な（特徴点Ｅｍ（ｎ）近傍領域のサイズ以上の領域における）輝度値の一様な変化に対しても変化しにくいものであることが好ましい。
【００５０】
特徴抽出手段１４は、例えば、画像特徴ｆｍ（ｎ）として、前記SIFTにおけるSIFT記述（SIFT descriptor）を用いることができる。
【００５１】
なお、特徴抽出手段１４は、パターン画像領域Ｄ（ｎ）内から抽出したＭ（ｎ）個の特徴点すべての画像特徴ｆｍ（ｎ）をまとめて行列Ｆ（ｎ）とし、Ｆ（ｎ）を出力してもよい（（２）式参照）。
【００５２】
【数２】
【００５３】
図３は、第ｎのランドマークＬ（ｎ）に関するパターン画像領域Ｄ（ｎ）、特徴点Ｅｍ（ｎ）、画像特徴ｆｍ（ｎ）、特徴点配置情報ｇｍ（ｎ）、制御点Ｃ（ｎ）、および制御点画像座標［ｃｘ（ｎ），ｃｙ（ｎ）］Ｔの関係の一例を示す図である。図３では、特徴点を３つ示した。なお、図３の例では、制御点Ｃ（ｎ）がパターン画像領域Ｄ（ｎ）の外側に存在するが、制御点Ｃ（ｎ）はパターン画像領域Ｄ（ｎ）の内側や境界上に存在してもよい。
【００５４】
世界座標入力手段１６は、制御点の世界座標を入力するものである。
具体的には、世界座標入力手段１６は、ランドマーク指定手段１２において画像座標を指定した各制御点について、世界座標を入力し、ランドマーク記憶手段１８へ出力するインタフェースである。
世界座標入力手段１６で入力された、第ｎのランドマークＬ（ｎ）に対応する制御点Ｃ（ｎ）の世界座標をｗ（ｎ）＝［ｗｘ（ｎ），ｗｙ（ｎ），ｗｚ（ｎ）］Ｔと記す。
【００５５】
世界座標入力手段１６は、例えば、キーボードやつまみ、マウスなどのマンマシンインタフェースの操作により、制御点世界座標ｗ（ｎ）を数値入力する方式とすることができる。また、例えば、本装置の外部に接続する他の測量装置で測量された制御点の世界座標ｗ（ｎ）を受信するインタフェースであってもよい。
【００５６】
ランドマーク記憶手段１８は、ランドマークに関する情報を記憶するものである。
具体的には、ランドマーク記憶手段１８は、特徴抽出手段１４から入力した特徴点配置情報および画像特徴と、世界座標入力手段１６から入力した制御点世界座標との組を、ランドマークごとに（制御点ごとに）複数組記憶する記憶手段である。また、ランドマーク記憶手段１８は、後述するカメラパラメータ推定機能部２０の照合手段２４、制御点推定手段２６、およびカメラパラメータ推定手段２８から読み出し要求があった場合に、記憶しているデータを出力するものである。ランドマーク記憶手段１８は、半導体メモリ、ハードディスク等の一般的な記憶媒体であればよく、その種類は問わない。
【００５７】
例えば、ランドマーク記憶手段１８は、図４に示すように、ランドマーク番号ごとに表形式により、特徴点配置情報、画像特徴、および制御点世界座標の組を記憶する方式とすることができる。
【００５８】
次に、カメラ校正装置１のカメラパラメータ推定機能部２０の構成について説明する。
［［カメラパラメータ推定機能部の構成］］
特徴抽出手段（第２の特徴抽出手段）２２は、新たな入力画像から特徴点の情報を抽出するものである。
具体的には、特徴抽出手段２２は、新たに入力された入力画像（以下、新たな入力画像という。）Ｉ（ｘ，ｙ）内から、視覚的に特徴的な点である特徴点を抽出し、その特徴点の配置に関する配置情報と、その特徴点の視覚的な特徴を定量化した画像特徴とを抽出して、画像特徴を照合手段２４へ、配置情報を制御点推定手段２６へ、それぞれ出力するものである。
この特徴抽出手段２２は、ランドマーク指定機能部１０の特徴抽出手段１４と、特徴点等を抽出する領域が異なるのみで、ほぼ同様の処理を行うものである。
【００５９】
特徴抽出手段２２が、新たな入力画像Ｉ（ｘ，ｙ）内から抽出した特徴点の数をＫ個（Ｋは自然数）とし、抽出したｋ番目（１≦ｋ≦Ｋ）番目の特徴点をＢｋとする。特徴抽出手段２２は、特徴点Ｂｋの配置情報γｋとして、当該特徴点の位置情報である画像座標［ｘｋ，ｙｋ］Ｔ、回転情報ψｋおよびスケール情報σｋを抽出する（（３）式参照）。ここで、回転情報ψｋおよびスケール情報σｋは、ランドマーク指定機能部１０の特徴抽出手段１４が抽出する回転情報ｒｍ（ｎ）およびスケール情報ｓｍ（ｎ）と同様のものである。
【００６０】
【数３】
【００６１】
なお、特徴抽出手段２２は、新たな入力画像Ｉ（ｘ，ｙ）内から抽出したＫ個の特徴点すべての配置情報γｋをまとめて行列Γとし、Γを出力してもよい（（４）式参照）。
【００６２】
【数４】
【００６３】
また、特徴抽出手段２２は、特徴点Ｂｋの画像特徴φｋとして、新たな入力画像Ｉ（ｘ，ｙ）内のＢｋ近傍の濃淡や色などの空間的分布のパターンを特徴づける情報（数量やベクトル量）を抽出する。この画像特徴φｋは、ランドマーク指定機能部１０の特徴抽出手段１４が抽出する画像特徴ｆｍ（ｎ）と同様のものである。
【００６４】
なお、特徴抽出手段２２は、新たな入力画像Ｉ（ｘ，ｙ）内から抽出したＫ個の特徴点すべての画像特徴φｋをまとめて行列Φとし、Φを出力してもよい（（５）式参照）。
【００６５】
【数５】
【００６６】
照合手段２４は、入力画像の特徴点と、新たな入力画像の特徴点との対応づけをするものである。
具体的には、照合手段２４は、ランドマーク記憶手段１８から読み出した各ランドマークＬ（ｎ）の画像特徴Ｆ（ｎ）を構成する各画像特徴ｆｍ（ｎ）に対して、特徴抽出手段２２から入力した画像特徴Φを構成する画像特徴φｋの中から、最も類似度の高い画像特徴φｋを探索し、その番号ｋを照合結果ｈｍ（ｎ）として、制御点推定手段２６へ出力するものである（１≦ｎ≦Ｎ、１≦ｍ≦Ｍ（ｎ）、１≦ｋ≦Ｋ）。
【００６７】
照合手段２４は、画像特徴Ｆ（ｎ）を構成する画像特徴ｆｍ（ｎ）と、画像特徴Φを構成する画像特徴φｋとの間の類似度を、λ（ｆｍ（ｎ），φｋ）で評価し、類似度の高いもの同士を対応づける。例えば、類似度λ（ｆ，φ）として、コサイン類似度を用いることができる（（６）式参照）。
【００６８】
【数６】
【００６９】
そして、照合手段２４は、各画像特徴ｆｍ（ｎ）に対し、類似度λ（ｆｍ（ｎ），φｋ）を最大化する画像特徴φｋを探索し、その番号ｋを照合結果ｈｍ（ｎ）として出力する（（７）式参照）。
【００７０】
【数７】
【００７１】
なお、照合手段２４は、ランドマークＬ（ｎ）のＭ（ｎ）個すべての画像特徴に関する照合結果ｈｍ（ｎ）をまとめて照合結果情報Ｈ（ｎ）とし、行列Ｈ（ｎ）を出力してもよい（（８）式参照）。
【００７２】
【数８】
【００７３】
また、照合手段２４は、各照合結果ｈｍ（ｎ）に加えて、各類似度λｍ（ｎ）も出力してもよい（（９）式参照）。行列として出力する場合には、（８）式に示す行列Ｈ（ｎ）に代えて、類似度λｍ（ｎ）を付加した（１０）式に示す行列Ｈ（ｎ）を出力する。
【００７４】
【数９】
【００７５】
【数１０】
【００７６】
制御点推定手段２６は、新たな入力画像において制御点の座標を推定するものである。
具体的には、制御点推定手段２６は、ランドマーク記憶手段１８から読み出した各ランドマークの特徴点配置情報（Ｇ（１），…，Ｇ（Ｎ））と、特徴抽出手段２２から入力された特徴点の配置情報Γと、照合手段２４から入力された照合結果情報（Ｈ（１），…，Ｈ（Ｎ））とに基づき、新たな入力画像Ｉ（ｘ，ｙ）内のどこに各ランドマーク（Ｌ（１），…，Ｌ（Ｎ））の制御点（Ｃ（１），…，Ｃ（Ｎ））があるかを推定し、推定した制御点推定画像座標（κ（１），…，κ（Ｎ））を、カメラパラメータ推定手段２８へ出力する。
【００７７】
制御点推定手段２６は、第ｎのランドマークＬ（ｎ）の制御点推定画像座標κ（ｎ）を以下の推定手順で推定する（１≦ｎ≦Ｎ）。なお、この制御点推定画像座標κ（ｎ）の推定は、投票処理（高木雅成、藤吉弘亘、“SIFT特徴量を用いた交通道路標識認識”、第１３回画像センシングシンポジウムSSII07、LD2-06、2007）に類似するものである。
【００７８】
まず、制御点推定手段２６は、第ｎのランドマークＬ（ｎ）に含まれる第ｍの特徴点Ｅｍ（ｎ）に対して、仮の制御点画像座標推定値τｍ（ｎ）を求める。すなわち、制御点推定手段２６は、ランドマーク記憶手段１８から読み出した特徴点配置情報Ｇ（ｎ）より、特徴点Ｅｍ（ｎ）に関する特徴点配置情報ｇｍ（ｎ）＝［ｐｍ（ｎ），ｑｍ（ｎ），ｒｍ（ｎ），ｓｍ（ｎ）］Ｔを取り出す。また、照合手段２４から入力された照合結果情報Ｈ（ｎ）より、特徴点Ｅｍ（ｎ）に関する照合結果ｈｍ（ｎ）を取り出す。さらに、特徴抽出手段２２から入力された特徴点の配置情報Γより、番号がｈｍ（ｎ）である特徴点の配置情報を取り出す（（１１）式参照）。
【００７９】
【数１１】
【００８０】
ここで、制御点推定手段２６は、ｇｍ（ｎ）＝［ｐｍ（ｎ），ｑｍ（ｎ），ｒｍ（ｎ），ｓｍ（ｎ）］Ｔおよび（１１）式から、制御点Ｃｍ（ｎ）の画像座標を推定し、仮の制御点画像座標推定値τｍ（ｎ）（（１２）式参照）を、（１３）式により求める。
【００８１】
【数１２】
【００８２】
【数１３】
【００８３】
図５は、（１３）式の意味を説明する図である。図５において、説明の便宜上、添え字は省略した。図５の左図は、入力画像の一部を表し、図５の右図は、新たな入力画像の一部を表し、左図と右図とは同画素数とする。左図において、特徴点が回転情報ｒおよびスケール情報ｓを有し、右図において、対応する類似度が最大の特徴点が回転情報ψおよびスケール情報σを有するものとする。（１３）式は、これらの情報を用いて、左図の特徴点に係る位置ベクトル［ｐ，ｑ］Ｔを回転・拡大（縮小）した右図の位置ベクトルに、仮の制御点画像座標推定値を加えたものが、類似度が最大の特徴点の画像座標［ｘ，ｙ］Ｔとなることを意味するものである。
【００８４】
このようにして、制御点推定手段２６は、ランドマークＬ（ｎ）に含まれるすべての特徴点Ｅｍ（ｎ）（１≦ｍ≦Ｍ（ｎ））に対して、仮の制御点画像座標推定値τｍ（ｎ）を求める。そして、画像座標内で、τｍ（ｎ）が空間的に密集した箇所を探し出し、当該密集した画像座標近傍の仮の制御点画像座標推定値τｍ（ｎ）の平均値を求め、当該平均値を、制御点推定画像座標κ（ｎ）として出力する。
【００８５】
この平均値の算出方法として、例えば、制御点推定手段２６は、新たな入力画像Ｉ（ｘ，ｙ）の全体を複数の部分領域に分割し（例えば、格子状に分割してもよいし、隣接する部分領域同士が重なり合うように分割してもよい）、仮の制御点画像座標推定値τｍ（ｎ）（１≦ｍ≦Ｍ（ｎ））がどの部分領域に属するかに応じて１票ずつ投票を行い、最も投票数の多かった部分領域Ｒ（ｎ）を求める。続いて、制御点推定手段２６は、当該最も投票数の多かった部分領域Ｒ（ｎ）に票を投じた仮の制御点画像座標推定値τｍ（ｎ）のみに関して、それらの平均値を求め、当該平均値を制御点推定画像座標κ（ｎ）として出力してもよい。
【００８６】
なお、（８）式に代えて、（１０）式に示した照合結果情報Ｈ（ｎ）を用いる場合には、制御点推定手段２６は、前記平均値の算出方法における投票に際して、１票ではなく、類似度λｍ（ｎ）に応じた可変の票数を投ずるようにしてもよい。例えば、投ずる票数ａｍ（ｎ）を、広義の増加関数αを用いて、（１４）式のように設定することができる。ここで、広義の増加関数αとして、折線関数を用いることができる（（１５）式参照）。
【００８７】
【数１４】
【００８８】
【数１５】
【００８９】
また、制御点推定手段２６は、制御点推定画像座標κ（n）に加えて、制御点推定信頼度ｖ（n）（１≦ｎ≦Ｎ）を出力してもよい。例えば、制御点推定信頼度ｖ（ｎ）として、前記最も得票数の多かった部分領域Ｒ（ｎ）の得票数を用いることができる。あるいは、制御点推定信頼度ｖ（ｎ）として、前記最も得票数の多かった部分領域Ｒ（ｎ）の得票数を、総投票数で除したものを用いてもよい。
【００９０】
このようにして、制御点推定手段２６は、第ｎのランドマークＬ（ｎ）の制御点推定画像座標κ（ｎ）（また、必要に応じて、制御点推定信頼度ｖ（ｎ））を得る。この推定手順を、全てのランドマーク（Ｌ（１），…，Ｌ（Ｎ））について実行し、制御点推定画像座標（κ（１），…，κ（Ｎ））（また、必要に応じて、制御点推定信頼度（ｖ（１），…，ｖ（Ｎ）））を得る。
【００９１】
カメラパラメータ推定手段２８は、カメラパラメータを推定するものである。
具体的には、カメラパラメータ推定手段２８は、ランドマーク記憶手段１８から読み出したＮ個の制御点世界座標（ｗ（１），…，ｗ（Ｎ））と、制御点推定手段２６から入力されたＮ個の制御点推定画像座標（κ（１），…，κ（Ｎ））とに基づき、カメラパラメータθを算出し、カメラパラメータ推定機能部２０の結果として出力するものである。
【００９２】
例えば、カメラパラメータ推定手段２８は、Ｎ個の制御点世界座標（ｗ（１），…，ｗ（Ｎ））をカメラパラメータθ’により画像座標へ投影し、その結果と制御点推定画像座標（κ（１），…，κ（Ｎ））との誤差を最小化するθ’を非線形最小自乗法により求め、その結果をカメラパラメータθとすることができる（（１６）式参照）。ここで、関数β（ｗ；θ）は、カメラパラメータθによる世界座標ｗから画像座標への投影を表す。
【００９３】
【数１６】
【００９４】
また、カメラパラメータ推定手段２８は、カメラパラメータθの推定にあたって、制御点推定手段２６から入力される制御点推定信頼度（ｖ（１），…，ｖ（Ｎ））を考慮してもよい。例えば、（１６）式の代わりに、（１７）式を用いることができる。
【００９５】
【数１７】
【００９６】
さらに、例えば、RANSACによる透視Ｎ点問題の解法（M. A. Fischler, R. C. Bolles, “Random sample consensus, a paradigm for model fitting with applications to image analysis and automated cartography”, Comm. of the ACM, Vol. 24, pp. 381-395, 1981.）を用いることができる。
【００９７】
このように、カメラ校正装置１を構成することで、視覚的に特徴的な点と、世界座標の既知な点とがそれぞれ別々に与えられる場合であっても、入力画像において指定した世界座標の既知な制御点の画像座標と抽出した特徴点とを用いて、新たな入力画像において抽出した特徴点から制御点の画像座標を推定して、カメラパラメータを算出することができる。
【００９８】
なお、世界座標系の原点の位置や、各軸のとり方は任意である。本実施形態では、世界座標系をデカルト座標系で表し、その各軸をＸ軸、Ｙ軸およびＺ軸としたが、この場合、例えば、三角点などの測量用の基準に原点を置き、ＸおよびＹの２軸を水平面内にとり、Ｘ軸を北向き、Ｙ軸を東向きとし、Ｚ軸を鉛直上向きにとることができる。あるいは、スポーツ競技場などの施設や競技フィールドに合わせて各軸をとってもよい。例えば、サッカー場のセンターマーク中央を原点とし、Ｘ軸をタッチラインと平行かつコーチエリア側から見て右向きにとり、Ｙ軸をハーフウェイライン方向かつコーチエリアから遠ざかる方向にとり、また、Ｚ軸をサッカー場の地面に対して垂直かつ上向きにとることができる。
【００９９】
なお、カメラパラメータ推定機能部２０の特徴抽出手段２２は、新たな入力画像Ｉ（ｘ，ｙ）全体からではなく入力画像内に定められる固定領域内から、特徴点等を抽出してもよい。
【０１００】
また、カメラ校正装置１は、一般的なカメラ（デジタルカメラ）の他、放送用ビデオカメラ、民生用ビデオカメラ等のビデオカメラに適用可能である。また、カメラ校正装置１は、コンピュータにおいて各手段を機能プログラムとして実現させることも可能であり、各機能プログラムを結合して、カメラ校正プログラムとして動作させることも可能である。
【０１０１】
［カメラ校正装置の動作］
次に、本発明の実施形態におけるカメラ校正装置１の動作について説明する。前述したように、カメラ校正装置１は、その機能により、ランドマーク指定機能部１０と、カメラパラメータ推定機能部２０とに大別される。以下では、それぞれについて、動作を説明する。
【０１０２】
［［ランドマーク指定機能部の動作］］
まず、図６を参照して（構成については、適宜図１を参照）、本発明の実施形態に係るカメラ校正装置１のランドマーク指定機能部１０の動作について説明する。
【０１０３】
まず、カメラ校正装置１は、ランドマーク指定手段１２によって、入力画像において、１つのランドマークＬに対応するパターン画像領域Ｄと、制御点Ｃの画像座標ｃとを指定する（Ｓ１１）。
【０１０４】
そして、カメラ校正装置１は、特徴抽出手段１４によって、指定されたパターン画像領域Ｄ内から、特徴点をいくつか抽出する（Ｓ１２）。その後、カメラ校正装置１は、特徴抽出手段１４によって、１つの特徴点Ｅの特徴点配置情報ｇを抽出し（Ｓ１３）、さらに当該特徴点Ｅの画像特徴ｆを抽出する（Ｓ１４）。その後、カメラ校正装置１は、特徴抽出手段１４によって、まだ、特徴点配置情報および画像特徴を抽出していない特徴点があるか否かを判定し（Ｓ１５）、ある場合（Ｓ１５でＹｅｓ）にはＳ１３へ戻り、ない場合（Ｓ１５でＮｏ）にはＳ１６へ進む。
【０１０５】
そして、カメラ校正装置１は、世界座標入力手段１６によって、ランドマークＬの制御点Ｃの世界座標ｗを入力する（Ｓ１６）。これは、ランドマーク指定手段１２によって、画像座標ｃが入力された制御点Ｃに対応するものである。
【０１０６】
そして、カメラ校正装置１は、ランドマーク記憶手段１８によって、ランドマークＬの、すべての特徴点に対する特徴点配置情報Ｇおよび画像特徴Ｆと、制御点Ｃの世界座標ｗとの組を記憶する（Ｓ１７）。
【０１０７】
そして、カメラ校正装置１は、ランドマーク指定手段１２によって、さらに別のランドマークに対する処理を行うか否かを判定し（Ｓ１８）、行う場合（Ｓ１８でＹｅｓ）にはＳ１１へ戻り、行わない場合（Ｓ１８でＮｏ）には、カメラ校正装置１のランドマーク指定機能部１０の動作を終了する。
【０１０８】
なお、カメラ校正装置１のランドマーク指定機能部の動作は、これに限定されるものではなく、本実施形態の趣旨を逸脱しない範囲で変更可能である。例えば、Ｓ１１−Ｓ１５より先に、Ｓ１６をおこなってもよい。また、例えば、Ｓ１１により、最初に処理を行いたいすべてのランドマークＬに対応するパターン画像領域Ｄと、制御点Ｃの画像座標ｃとを指定しておいてもよい。
【０１０９】
［［カメラパラメータ推定機能部の動作］］
次に、図７を参照して（構成については、適宜図１を参照）、本発明の実施形態に係るカメラ校正装置１のカメラパラメータ推定機能部２０の動作について説明する。
【０１１０】
まず、カメラ校正装置１は、特徴抽出手段２２によって、新たに入力された入力画像（又はその固定領域）から、いくつかの特徴点Ｂｋと、当該特徴点の配置情報γｋおよび画像特徴φｋとを抽出する（Ｓ２１）。これは、入力画像全体から抽出するか、または、指定されたパターン画像領域から抽出するか、という違いを除いて、ランドマーク指定機能部１０の特徴抽出手段１４の動作のＳ１２、Ｓ１３、Ｓ１４、およびＳ１５とほぼ同様の動作である（図６参照）。
【０１１１】
そして、カメラ校正装置１は、照合手段２４によって、ランドマーク記憶手段１８から、１つのランドマークＬの画像特徴Ｆを読み出す（Ｓ２２）。その後、カメラ校正装置１は、照合手段２４によって、画像特徴Ｆに含まれる画像特徴ｆに対して、類似度が最大となる画像特徴φｋの番号を照合結果ｈとする（Ｓ２３）。その後、カメラ校正装置１は、照合手段２４によって、照合結果を求めていない画像特徴があるか否かを判定し（Ｓ２４）、ある場合（Ｓ２４でＹｅｓ）にはＳ２３に戻り、ない場合（Ｓ２４でＮｏ）にはＳ２５へ進む。
【０１１２】
その後、カメラ校正装置１は、照合手段２４によって、照合結果ｈをまとめて、ランドマークＬの照合結果情報Ｈとする（Ｓ２５）。その後、カメラ校正装置１は、照合手段２４によって、照合結果情報を求めていないランドマークがあるか否かを判定し（Ｓ２６）、ある場合（Ｓ２６でＹｅｓ）にはＳ２２に戻り、ない場合（Ｓ２６でＮｏ）にはＳ２７へ進む。
【０１１３】
そして、カメラ校正装置１は、制御点推定手段２６によって、ランドマーク記憶手段１８から、１つのランドマークＬの特徴点配置情報Ｇを読み出す（Ｓ２７）。その後、カメラ校正装置１は、制御点推定手段２６によって、ランドマークＬの特徴点Ｅに対して、Ｅに対応するＧの特徴点配置情報ｇと、照合結果情報Ｈから求めたＬおよびＥに対応する照合結果ｈを番号とする特徴点の配置情報γｈとから、（１３）式により、仮の制御点画像座標推定値τを算出する（Ｓ２８）。その後、カメラ校正装置１は、制御点推定手段２６によって、仮の制御点画像座標推定値を求めていない特徴点があるか否か判定し（Ｓ２９）、ある場合（Ｓ２９でＹｅｓ）にはＳ２８に戻り、ない場合（Ｓ２９でＮｏ）にはＳ３０へ進む。
【０１１４】
その後、カメラ校正装置１は、制御点推定手段２６によって、仮の制御点画像座標推定値τの平均値を求め、ランドマークＬの制御点推定画像座標κとする（Ｓ３０）。その後、カメラ校正装置１は、制御点推定手段２６によって、制御点推定画像座標を求めていないランドマークがあるか否かを判定し（Ｓ３１）、ある場合（Ｓ３１でＹｅｓ）にはＳ２７へ戻り、ない場合（Ｓ３１でＮｏ）にはＳ３２へ進む。
【０１１５】
そして、カメラ校正装置１は、カメラパラメータ推定手段２８によって、全てのランドマークにわたる、制御点推定画像座標κと、ランドマーク記憶手段から読み出した制御点世界座標ｗとに基づき、透視Ｎ点問題の解法または所定の非線形最小自乗法などを用いて、カメラパラメータθを算出する（Ｓ３２）。その後、カメラ校正装置１のカメラパラメータ推定機能部２０の動作を終了する。
【０１１６】
なお、カメラ校正装置１のカメラパラメータ推定機能部２０の動作は、これに限定されるものではなく、本実施形態の趣旨を逸脱しない範囲で変更可能である。
【０１１７】
以上の動作によって、視覚的に特徴的な点と、世界座標の既知な点とがそれぞれ別々に与えられる場合であっても、入力画像において指定した世界座標の既知な制御点の画像座標と抽出した特徴点とを用いて、新たな入力画像において抽出した特徴点から制御点の画像座標を推定して、カメラパラメータを算出することができる。
【符号の説明】
【０１１８】
１ カメラ校正装置
１０ ランドマーク指定機能部
１２ ランドマーク指定手段
１４ 特徴抽出手段（第１の特徴抽出手段）
１６ 世界座標入力手段
１８ ランドマーク記憶手段
２０ カメラパラメータ推定機能部
２２ 特徴抽出手段（第２の特徴抽出手段）
２４ 照合手段
２６ 制御点推定手段
２８ カメラパラメータ推定手段
【特許請求の範囲】
【請求項１】
入力画像において指定した世界座標の既知な制御点の画像座標と抽出した特徴点とを用いて、新たな入力画像において抽出した特徴点から前記制御点の画像座標を推定して、カメラパラメータを算出するカメラ校正装置であって、
前記入力画像において、世界座標が既知な点である前記制御点の画像座標と、当該制御点と関連付けるべき画像領域とを指定するランドマーク指定手段と、
前記ランドマーク指定手段により指定された画像領域から、視覚的に特徴的な点である特徴点を１つ以上抽出し、当該特徴点の配置に関する第１の配置情報と当該特徴点の視覚的な特徴を定量化した第１の画像特徴とを抽出する第１の特徴抽出手段と、
前記ランドマーク指定手段により指定した前記制御点の世界座標を入力する世界座標入力手段と、
前記制御点に関連づけられた前記画像領域から前記特徴抽出手段が抽出した第１の配置情報および第１の画像特徴と、前記世界座標入力手段から入力された当該制御点の世界座標との組を、１つのランドマークとして、このランドマークを複数記憶するランドマーク記憶手段と、
前記新たな入力画像から、視覚的に特徴的な点である特徴点を１つ以上抽出し、当該特徴点の配置に関する第２の配置情報と当該特徴点の視覚的な特徴を定量化した第２の画像特徴とを抽出する第２の特徴抽出手段と、
前記ランドマーク記憶手段から読み出したランドマークの各第１の画像特徴に対して、前記第２の特徴抽出手段が抽出した第２の画像特徴の中から、最も類似度の高い前記第２の画像特徴を探索し、その照合結果をランドマークごとに照合結果情報として出力する照合手段と、
前記ランドマーク記憶手段から読み出したランドマークの各第１の配置情報と、前記第２の特徴抽出手段から入力した第２の配置情報と、前記照合手段から入力した照合結果情報とに基づき、前記新たな入力画像における当該ランドマークに対応する前記制御点の画像座標を推定し、制御点推定画像座標として出力する制御点推定手段と、
前記ランドマーク記憶手段から読み出した制御点の世界座標と、前記制御点推定手段から入力した制御点推定画像座標とに基づき、カメラパラメータを推定するカメラパラメータ推定手段と、
を備えることを特徴とするカメラ校正装置。
【請求項２】
前記第１の配置情報は、前記入力画像における前記制御点から前記特徴点への位置ベクトルと、当該特徴点近傍における回転情報およびスケール情報とを含み、
前記第２の配置情報は、前記新たな入力画像における前記特徴点の画像座標と、当該特徴点近傍における回転情報およびスケール情報とを含み、
前記制御点推定手段は、
前記ランドマークの各第１の配置情報に含まれる前記位置ベクトルに対して、当該第１の配置情報に含まれる前記回転情報およびスケール情報と、当該第１の配置情報とともに抽出された前記第１の画像特徴と前記照合結果を介して対応する前記第２の画像特徴とともに抽出された前記第２の配置情報に含まれる前記回転情報およびスケール情報とを用いて、新たな入力画像における位置ベクトルに変換し、当該第２の配置情報に含まれる前記特徴点の画像座標から当該変換した位置ベクトルを減算することによって、仮の制御点画像座標推定値を求め、
前記ランドマークの各第１の配置情報から求めた前記仮の制御点画像座標推定値を、所定の方法により平均することによって、前記新たな入力画像における当該ランドマークに対応する前記制御点の制御点推定画像座標とする
ことを特徴とする請求項１に記載のカメラ校正装置。
【請求項３】
前記制御点推定手段は、
前記新たな入力画像の全体を複数の部分領域に分割し、前記仮の制御点画像座標推定値がどの部分領域に属するかに応じて、当該部分領域に係る値を１ずつ累積し、その合計値が最も大きい前記部分領域に係る仮の制御点画像座標推定値のみに関して平均を求める
ことを特徴とする請求項２に記載のカメラ校正装置。
【請求項４】
前記照合手段は、
前記照合結果とともにその類似度を、ランドマークごとに照合結果情報として出力し、
前記制御点推定手段は、
前記新たな入力画像の全体を複数の部分領域に分割し、前記仮の制御点画像座標推定値がどの部分領域に属するかに応じて、当該仮の制御点画像座標推定値の算出に係る前記照合結果に対応する前記類似度に応じた値を、当該部分領域に係る値に累積し、その合計値が最も大きい前記部分領域に係る仮の制御点画像座標推定値のみに関して平均を求める
ことを特徴とする請求項２に記載のカメラ校正装置。
【請求項５】
入力画像において指定した世界座標の既知な制御点の画像座標と抽出した特徴点とを用いて、新たな入力画像において抽出した特徴点から前記制御点の画像座標を推定して、カメラパラメータを算出するために、コンピュータを、
前記入力画像において、世界座標が既知な点である前記制御点の画像座標と、当該制御点と関連付けるべき画像領域とを指定するランドマーク指定手段、
前記ランドマーク指定手段により指定された画像領域から、視覚的に特徴的な点である特徴点を１つ以上抽出し、当該特徴点の配置に関する第１の配置情報と当該特徴点の視覚的な特徴を定量化した第１の画像特徴とを抽出し、当該画像領域に係る前記制御点で関連付けられたランドマークの構成要素としてランドマーク記憶手段に記憶する第１の特徴抽出手段、
前記ランドマーク指定手段により指定した前記制御点の世界座標を入力し、当該制御点で関連付けられた前記ランドマークの構成要素として前記ランドマーク記憶手段に記憶する世界座標入力手段、
前記新たな入力画像から、視覚的に特徴的な点である特徴点を１つ以上抽出し、当該特徴点の配置に関する第２の配置情報と当該特徴点の視覚的な特徴を定量化した第２の画像特徴とを抽出する第２の特徴抽出手段、
前記ランドマーク記憶手段から読み出したランドマークの各第１の画像特徴に対して、前記第２の特徴抽出手段が抽出した第２の画像特徴の中から、最も類似度の高い前記第２の画像特徴を探索し、その照合結果をランドマークごとに照合結果情報として出力する照合手段、
前記ランドマーク記憶手段から読み出したランドマークの各第１の配置情報と、前記第２の特徴抽出手段から入力した第２の配置情報と、前記照合手段から入力した照合結果情報とに基づき、前記新たな入力画像における当該ランドマークに対応する前記制御点の画像座標を推定し、制御点推定画像座標として出力する制御点推定手段、
前記ランドマーク記憶手段から読み出した制御点の世界座標と、前記制御点推定手段から入力した制御点推定画像座標とに基づき、カメラパラメータを推定するカメラパラメータ推定手段、
として機能させることを特徴とするカメラ校正プログラム。
【請求項１】
入力画像において指定した世界座標の既知な制御点の画像座標と抽出した特徴点とを用いて、新たな入力画像において抽出した特徴点から前記制御点の画像座標を推定して、カメラパラメータを算出するカメラ校正装置であって、
前記入力画像において、世界座標が既知な点である前記制御点の画像座標と、当該制御点と関連付けるべき画像領域とを指定するランドマーク指定手段と、
前記ランドマーク指定手段により指定された画像領域から、視覚的に特徴的な点である特徴点を１つ以上抽出し、当該特徴点の配置に関する第１の配置情報と当該特徴点の視覚的な特徴を定量化した第１の画像特徴とを抽出する第１の特徴抽出手段と、
前記ランドマーク指定手段により指定した前記制御点の世界座標を入力する世界座標入力手段と、
前記制御点に関連づけられた前記画像領域から前記特徴抽出手段が抽出した第１の配置情報および第１の画像特徴と、前記世界座標入力手段から入力された当該制御点の世界座標との組を、１つのランドマークとして、このランドマークを複数記憶するランドマーク記憶手段と、
前記新たな入力画像から、視覚的に特徴的な点である特徴点を１つ以上抽出し、当該特徴点の配置に関する第２の配置情報と当該特徴点の視覚的な特徴を定量化した第２の画像特徴とを抽出する第２の特徴抽出手段と、
前記ランドマーク記憶手段から読み出したランドマークの各第１の画像特徴に対して、前記第２の特徴抽出手段が抽出した第２の画像特徴の中から、最も類似度の高い前記第２の画像特徴を探索し、その照合結果をランドマークごとに照合結果情報として出力する照合手段と、
前記ランドマーク記憶手段から読み出したランドマークの各第１の配置情報と、前記第２の特徴抽出手段から入力した第２の配置情報と、前記照合手段から入力した照合結果情報とに基づき、前記新たな入力画像における当該ランドマークに対応する前記制御点の画像座標を推定し、制御点推定画像座標として出力する制御点推定手段と、
前記ランドマーク記憶手段から読み出した制御点の世界座標と、前記制御点推定手段から入力した制御点推定画像座標とに基づき、カメラパラメータを推定するカメラパラメータ推定手段と、
を備えることを特徴とするカメラ校正装置。
【請求項２】
前記第１の配置情報は、前記入力画像における前記制御点から前記特徴点への位置ベクトルと、当該特徴点近傍における回転情報およびスケール情報とを含み、
前記第２の配置情報は、前記新たな入力画像における前記特徴点の画像座標と、当該特徴点近傍における回転情報およびスケール情報とを含み、
前記制御点推定手段は、
前記ランドマークの各第１の配置情報に含まれる前記位置ベクトルに対して、当該第１の配置情報に含まれる前記回転情報およびスケール情報と、当該第１の配置情報とともに抽出された前記第１の画像特徴と前記照合結果を介して対応する前記第２の画像特徴とともに抽出された前記第２の配置情報に含まれる前記回転情報およびスケール情報とを用いて、新たな入力画像における位置ベクトルに変換し、当該第２の配置情報に含まれる前記特徴点の画像座標から当該変換した位置ベクトルを減算することによって、仮の制御点画像座標推定値を求め、
前記ランドマークの各第１の配置情報から求めた前記仮の制御点画像座標推定値を、所定の方法により平均することによって、前記新たな入力画像における当該ランドマークに対応する前記制御点の制御点推定画像座標とする
ことを特徴とする請求項１に記載のカメラ校正装置。
【請求項３】
前記制御点推定手段は、
前記新たな入力画像の全体を複数の部分領域に分割し、前記仮の制御点画像座標推定値がどの部分領域に属するかに応じて、当該部分領域に係る値を１ずつ累積し、その合計値が最も大きい前記部分領域に係る仮の制御点画像座標推定値のみに関して平均を求める
ことを特徴とする請求項２に記載のカメラ校正装置。
【請求項４】
前記照合手段は、
前記照合結果とともにその類似度を、ランドマークごとに照合結果情報として出力し、
前記制御点推定手段は、
前記新たな入力画像の全体を複数の部分領域に分割し、前記仮の制御点画像座標推定値がどの部分領域に属するかに応じて、当該仮の制御点画像座標推定値の算出に係る前記照合結果に対応する前記類似度に応じた値を、当該部分領域に係る値に累積し、その合計値が最も大きい前記部分領域に係る仮の制御点画像座標推定値のみに関して平均を求める
ことを特徴とする請求項２に記載のカメラ校正装置。
【請求項５】
入力画像において指定した世界座標の既知な制御点の画像座標と抽出した特徴点とを用いて、新たな入力画像において抽出した特徴点から前記制御点の画像座標を推定して、カメラパラメータを算出するために、コンピュータを、
前記入力画像において、世界座標が既知な点である前記制御点の画像座標と、当該制御点と関連付けるべき画像領域とを指定するランドマーク指定手段、
前記ランドマーク指定手段により指定された画像領域から、視覚的に特徴的な点である特徴点を１つ以上抽出し、当該特徴点の配置に関する第１の配置情報と当該特徴点の視覚的な特徴を定量化した第１の画像特徴とを抽出し、当該画像領域に係る前記制御点で関連付けられたランドマークの構成要素としてランドマーク記憶手段に記憶する第１の特徴抽出手段、
前記ランドマーク指定手段により指定した前記制御点の世界座標を入力し、当該制御点で関連付けられた前記ランドマークの構成要素として前記ランドマーク記憶手段に記憶する世界座標入力手段、
前記新たな入力画像から、視覚的に特徴的な点である特徴点を１つ以上抽出し、当該特徴点の配置に関する第２の配置情報と当該特徴点の視覚的な特徴を定量化した第２の画像特徴とを抽出する第２の特徴抽出手段、
前記ランドマーク記憶手段から読み出したランドマークの各第１の画像特徴に対して、前記第２の特徴抽出手段が抽出した第２の画像特徴の中から、最も類似度の高い前記第２の画像特徴を探索し、その照合結果をランドマークごとに照合結果情報として出力する照合手段、
前記ランドマーク記憶手段から読み出したランドマークの各第１の配置情報と、前記第２の特徴抽出手段から入力した第２の配置情報と、前記照合手段から入力した照合結果情報とに基づき、前記新たな入力画像における当該ランドマークに対応する前記制御点の画像座標を推定し、制御点推定画像座標として出力する制御点推定手段、
前記ランドマーク記憶手段から読み出した制御点の世界座標と、前記制御点推定手段から入力した制御点推定画像座標とに基づき、カメラパラメータを推定するカメラパラメータ推定手段、
として機能させることを特徴とするカメラ校正プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１０−２６１７８５（Ｐ２０１０−２６１７８５Ａ）
【公開日】平成２２年１１月１８日（２０１０．１１．１８）
【国際特許分類】
【出願番号】特願２００９−１１２１７２（Ｐ２００９−１１２１７２）
【出願日】平成２１年５月１日（２００９．５．１）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
【公開日】平成２２年１１月１８日（２０１０．１１．１８）
【国際特許分類】
【出願日】平成２１年５月１日（２００９．５．１）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
[ Back to top ]