カメラパラメータのキャリブレーション装置及びプログラム
【課題】画像内の特徴点と、実空間上にある特徴点との対応関係を簡易に判定できるカメラパラメータのキャリブレーション装置を提供する。
【解決手段】装置は、複数の特徴点の世界座標を保持する特徴点世界座標保存手段と、撮影画像を表示し、前記撮影画像上の位置を利用者に入力させる入出力手段と、入出力手段により入力された特徴点の画像座標を保存する対応関係保存手段と、対応関係保存手段に保存された特徴点の画像座標と、該特徴点の世界座標との変換を行う射影行列を求める射影行列計算手段と、特徴点世界座標保存手段が保持する特徴点のうち、少なくとも、対応関係保存手段に保持されていない特徴点について、射影行列計算手段が求めた射影行列に基づき画像座標を求める画像座標計算手段とを備えている。
【解決手段】装置は、複数の特徴点の世界座標を保持する特徴点世界座標保存手段と、撮影画像を表示し、前記撮影画像上の位置を利用者に入力させる入出力手段と、入出力手段により入力された特徴点の画像座標を保存する対応関係保存手段と、対応関係保存手段に保存された特徴点の画像座標と、該特徴点の世界座標との変換を行う射影行列を求める射影行列計算手段と、特徴点世界座標保存手段が保持する特徴点のうち、少なくとも、対応関係保存手段に保持されていない特徴点について、射影行列計算手段が求めた射影行列に基づき画像座標を求める画像座標計算手段とを備えている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラパラメータのキャリブレーション技術に関する。
【背景技術】
【０００２】
カメラが撮影した画像の画素を特定するための座標系である画像座標系と、実空間上の位置を特定するための座標系である世界座標系との間の座標変換を行う射影行列は、カメラパラメータにより決定される。ここで、カメラパラメータは、カメラ内部の光学系の特性により決まる内部パラメータと、カメラの向き及び設置位置により決まる外部パラメータに分類される。
【０００３】
例えば、カメラの光学系の設計値から求めた内部パラメータと、カメラの向き及び設置位置の実測値による外部パラメータとに基づき射影行列を求め、この求めた射影行列により画像座標系による座標（以後、画像座標と呼ぶ。）と世界座標系の座標（以後、世界座標と呼ぶ。）の座標変換を行ったとしても、通常、誤差が生じる。これは、光学系の設計値と実際の値との誤差及び外部パラメータの実測値に含まれる誤差に起因している。
【０００４】
このため、通常、カメラパラメータについてはキャリブレーションが必要であり、例えば、非特許文献１にはキャリブレーション方法が記載されている。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】徐 剛、辻 三郎 著、“３次元ビジョン”、共立出版社、ｐｐ．７９−ｐｐ．８３、１９９９年５月
【発明の概要】
【発明が解決しようとする課題】
【０００６】
カメラパラメータのキャリブレーションを行うためには、まず、キャリブレーション対象のカメラにて実空間上の複数の特徴点を撮影し、撮影した画像におけるこれら特徴点の位置を判定し、各特徴点についての世界座標と画像座標の対応関係を判定してキャリブレーション装置に入力する必要があった。
【０００７】
例えば、自由視点画像生成用のデータを生成する場合等においては、背景全体をブルーとした上で、ＬＥＤ等の複数の光源を空間内に設置して特徴点とし、これら特徴点を複数のカメラにて撮影して個々のカメラのキャリブレーションを実行することが行われている。しかしながら、この場合において、各カメラが撮影した画像に写っている複数の光源と、実空間上の光源との対応関係を判定するのは、人手では非常に手間のかかる作業であり、画像処理では誤判定の可能性が生じるため、簡易に判定できる仕組みがあれば便利である。
【０００８】
また、人手ではなく画像処理にて対応関係を判定する場合においても、画像内の探索範囲をあらかじめ絞り込むことができれば、対応関係の判定処理を正確かつ短くすることができて便利である。また、特徴点だけでなくフィールドのラインのような特徴線を用いてカメラキャリブレーションを行うことができれば便利である。
【０００９】
したがって、本発明は、画像内の特徴点または画像内の特徴線と、実空間上にある特徴点または特徴線との対応関係を簡易に判定できる、カメラパラメータのキャリブレーション装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明におけるカメラパラメータのキャリブレーション装置によれば、
撮影画像を保存する撮影画像保存手段と、複数の特徴点の世界座標を保持する特徴点世界座標保存手段と、前記撮影画像を表示し、前記撮影画像上の位置を利用者に入力させる入出力手段と、入出力手段により入力された特徴点の画像座標を保存する対応関係保存手段と、対応関係保存手段に保存された特徴点の画像座標と、該特徴点の世界座標との変換を行う射影行列を求める射影行列計算手段と、特徴点世界座標保存手段が保持する特徴点のうち、少なくとも、対応関係保存手段に保持されていない特徴点について、射影行列計算手段が求めた射影行列に基づき画像座標を求める画像座標計算手段とを備えていることを特徴とする。
【００１１】
本発明におけるカメラパラメータのキャリブレーション装置の他の実施形態によれば、
撮影画像を保存する撮影画像保存手段と、複数の特徴点及び該複数の特徴点とは色及び／又は形状が異なる基準点の世界座標を保持する特徴点世界座標保存手段と、前記基準点の前記撮影画像上での画像座標を判定する特徴点判定手段と、特徴点判定手段が判定した前記画像座標を保存する対応関係保存手段と、対応関係保存手段に保存された基準点の画像座標と、該基準点の世界座標との変換を行う射影行列を求める射影行列計算手段と、特徴点世界座標保存手段が保持する特徴点について、射影行列計算手段が求めた射影行列に基づき画像座標を求める画像座標計算手段とを備えていることを特徴とする。
【００１２】
また、本発明の他の実施形態によれば、
前記撮影画像を表示し、前記撮影画像上の位置を利用者に入力させる入出力手段をさらに備えており、対応関係保存手段は、入出力手段により入力された特徴点の画像座標を保存し、射影行列計算手段は、対応関係保存手段に保存された基準点及び特徴点の画像座標と、該基準点及び特徴点の世界座標との変換を行う射影行列を求め、画像座標計算手段は、特徴点世界座標保存手段が保持する特徴点のうち、少なくとも、対応関係保存手段に保持されていない特徴点について、射影行列計算手段が求めた射影行列に基づき画像座標を求めることも好ましい。
【００１３】
本発明の他の実施形態によれば、
射影行列計算手段は、入出力手段により特徴点の画像座標が入力される度に、射影行列を更新し、画像座標計算手段は、更新された射影行列に基づき画像座標を更新することも好ましい。
【００１４】
本発明の他の実施形態によれば、
画像座標計算手段は、入出力手段が表示する前記撮影画像上の前記求めた画像座標の位置に印を表示させることも好ましい。
【００１５】
本発明の他の実施形態によれば、
画像座標計算手段が求めた各画像座標を中心とした探索範囲から特徴点を判定する特徴点探索手段をさらに備えていることも好ましい。
【００１６】
本発明の他の実施形態によれば、
前記探索範囲は、あらかじめ決められた大きさ、又は、対応関係保存手段に保存された基準点及び特徴点の画像座標の数に依存する大きさであることも好ましい。
【００１７】
本発明におけるカメラパラメータのキャリブレーション装置によれば、
撮影画像を保存する撮影画像保存手段と、複数の特徴線の世界座標における方程式を保持する特徴線世界座標方程式保存手段と、前記撮影画像を表示し、前記撮影画像上の直線を利用者に入力させる入出力手段と、入出力手段により入力された特徴線の画像座標における方程式を保存する対応関係保存手段と、対応関係保存手段に保存された特徴線の画像座標における方程式と、該特徴線の世界座標における方程式との変換を行う射影行列を求める射影行列計算手段と、特徴線世界座標方程式保存手段が保持する特徴線のうち、少なくとも、対応関係保存手段に保持されていない特徴線について、射影行列計算手段が求めた射影行列に基づき画像座標における方程式を求める画像座標方程式計算手段とを備えていることを特徴とする。
【００１８】
本発明におけるカメラパラメータのキャリブレーション装置の他の実施形態によれば、撮影画像を保存する撮影画像保存手段と、複数の特徴線及び該複数の特徴線とは色及び／又は形状が異なる基準線の世界座標における方程式を保持する特徴線世界座標方程式保存手段と、前記基準線の前記撮影画像上での画像座標における方程式を判定する特徴線判定手段と、特徴線判定手段が判定した前記方程式を保存する対応関係保存手段と、対応関係保存手段に保存された基準線の画像座標における方程式と、該基準線の世界座標における方程式との変換を行う射影行列を求める射影行列計算手段と、特徴線世界座標方程式保存手段が保持する特徴線について、射影行列計算手段が求めた射影行列に基づき画像座標における方程式を求める画像座標方程式計算手段とを備えていることを特徴とする。
【００１９】
また、本発明の他の実施形態によれば、
前記撮影画像を表示し、前記撮影画像上の直線を利用者に入力させる入出力手段をさらに備えており、対応関係保存手段は、入出力手段により入力された特徴線の画像座標における方程式を保存し、射影行列計算手段は、対応関係保存手段に保存された基準線及び特徴線の画像座標における方程式と、該基準線及び特徴線の世界座標における方程式との変換を行う射影行列を求め、画像座標方程式計算手段は、特徴線世界座標方程式保存手段が保持する特徴線のうち、少なくとも、対応関係保存手段に保持されていない特徴線について、射影行列計算手段が求めた射影行列に基づき画像座標における方程式を求めることも好ましい。
【００２０】
本発明の他の実施形態によれば、
射影行列計算手段は、入出力手段により特徴線の画像座標における方程式が入力される度に、射影行列を更新し、画像座標方程式計算手段は、更新された射影行列に基づき画像座標における方程式を更新することも好ましい。
【００２１】
本発明の他の実施形態によれば、
画像座標方程式計算手段は、入出力手段が表示する前記撮影画像上の前記求めた画像座標の直線に印を表示させることも好ましい。
【００２２】
本発明の他の実施形態によれば、
画像座標方程式計算手段が求めた各画像座標の直線を中心とした探索範囲から特徴線を判定する特徴線探索手段をさらに備えていることも好ましい。
【００２３】
本発明の他の実施形態によれば、
前記探索範囲は、あらかじめ決められた大きさ、又は、対応関係保存手段に保存された基準線及び特徴線の画像座標の数に依存する大きさであることも好ましい。
【００２４】
本発明におけるプログラムによれば、
上記キャリブレーション装置としてコンピュータを機能させることを特徴とする。
【発明の効果】
【００２５】
撮影画像に写った各特徴点または特徴線が、実空間内のどの特徴点または特徴線に対応するのかを素早く判断することが可能になる。そのため、利用者が特徴点または特徴線の対応関係を指定するために要する作業を低減できる。さらに、特徴点だけではなく特徴線も用いることで、キャリブレーション結果を高精度化することができる。
【図面の簡単な説明】
【００２６】
【図１】本発明によるカメラパラメータのキャリブレーション装置の構成図である。
【図２】特徴点を示す図である。
【図３】特徴点に対応する撮影画像上の位置の入力を説明する図である。
【図４】特徴点の候補位置を表示している状態を示す図である。
【図５】特徴点の個数が少ない撮影した画像を示す図である。
【図６】本発明の第２の実施形態によるカメラパラメータのキャリブレーション装置の構成図である。
【図７】特徴線を示す図である。
【図８】特徴線に対応する撮影画像上のでの直線を選択を説明する図である。
【図９】特徴線の候補位置を表示している状態を示す図である。
【発明を実施するための形態】
【００２７】
本発明を実施するための実施形態について、以下では図面を用いて詳細に説明する。
【００２８】
図１は、本発明によるカメラパラメータのキャリブレーション装置の構成図である。なお、図１は、本発明の説明に必要な部分のみを示すものである。図１によると、キャリブレーション装置は、特徴点世界座標保存部１と、パラメータ保存部２と、撮影画像保存部３と、対応関係保存部４と、射影行列計算部５と、画像座標計算部６と、キャリブレーション装置と利用者との入出力インタフェースである入出力部７を備えている。
【００２９】
まず、キャリブレーション装置の利用者は、入出力部７により複数の特徴点の識別子及びその世界座標と、キャリブレーション対象のカメラが撮影した、これら特徴点を含む画像（以後、撮影画像と呼ぶ。）を入力する。キャリブレーション装置は、複数の特徴点の識別子及び世界座標を特徴点世界座標保存部１に保存し、撮影画像を撮影画像保存部３に保存する。
【００３０】
キャリブレーション装置は、利用者からの指示のもと、当該撮影画像と、複数の特徴点の識別子及び世界座標を入出力部７のディスプレイに表示し、キャリブレーション装置の利用者は、入出力部７を使用して、１つの特徴点をその識別子により選択し、さらに、当該選択した特徴点に対応する撮影画像上での位置を選択する。対応関係保存部４は、選択された特徴点と、利用者が選択した撮影画像の位置の画像座標とを対応付けして、対応関係保存部４に保存する。
【００３１】
例えば、図２に示す様に、特徴点１１〜１６を設置して撮影画像を撮影し、この撮影画像と、特徴点１１〜１６の世界座標Ｍ１１〜Ｍ１６をキャリブレーション装置に入力したものとする。なお、特徴点１１〜１６の識別子をＩＤ１１〜ＩＤ１６とする。キャリブレーション装置は、利用者からの指示のもと、各特徴点の識別子と、図３に示す撮影画像を入出力部７に表示し、この状態において、利用者が、特徴点１１に対応する撮影画像上の点を、例えば、図３の符号２１で示すカーソールにて選択し、このカーソール２１の先端位置の画像座標がｍ１１である場合、対応関係保存部４は、特徴点１１と画像座標ｍ１１が対応するとの情報を保存することになる。
【００３２】
続いて、利用者からの指示のもと、射影行列計算部５は、特徴点世界座標保存部１及び対応関係保存部４が保存している情報に基づき、特徴点の世界座標と画像座標の対応関係を判定し、世界座標系と画像座標系との変換を行う射影行列及び／又はカメラパラメータを求め、パラメータ保存部２に保存する。
【００３３】
より具体的には、カメラの内部パラメータ行列を
【００３４】
【数１】
とし、カメラの向きを示す回転行列を
【００３５】
【数２】
とし、カメラ設置位置の世界座標系での座標を
【００３６】
【数３】
とし、世界座標を
【００３７】
【数４】
とし、画像座標の斉次座標を
【００３８】
【数５】
とすると、以下の式により座標の変換を行うことができる。
【００３９】
【数６】
なお、ｆｕ及びｆｖはそれぞれ水平方向及び垂直方向の焦点距離であり、（ｔｕ，ｔｖ）は光軸点の画像座標である。また、λは任意の値である。
【００４０】
上述したｆｕやＲ１１等、カメラパラメータは複数の要素を有しているため、１つの特徴点の世界座標と画像座標の対応関係から、つまり上述した例における世界座標Ｍ１１と画像座標ｍ１１から、総ての要素の値を決定することはできない。つまり、世界座標Ｍ１１を画像座標ｍ１１に変換する射影行列は複数あるが、この時点において、射影行列計算部５は、世界座標Ｍ１１を画像座標ｍ１１に変換する任意の１つの射影行列を選択する。
【００４１】
続いて、画像座標計算部６は、利用者からの指示のもと、特徴点世界座標保存部１が保存している特徴点のうち、対応関係保存部４に画像座標との対応関係が示されていないものについて、パラメータ保存部２が保存している射影行列を用いて、その世界座標を画像座標に変換する。その後、画像座標計算部６は、変換後の画像座標位置を、その元となった特徴点の候補位置として、これら求めた各特徴点の候補位置を、入出力手段７に出力して、撮影画像上の各候補位置に所定の印を表示させる。
【００４２】
つまり、例えば、図４に示す様に、変換により得た画像座標の位置を特徴点の候補位置として、その識別子ＩＤ１２からＤ１６と共に×で表示する。上述した様に、パラメータ保存部２が保存している射影行列は、キャリブレーション対象カメラの正確な射影行列ではないため、図４に示す様に、射影行列により求めた画像座標は、撮影画像に写っている特徴点１２〜１６の位置とは同じとならない。しかしながら、そのずれはあまり大きくないため、利用者は、撮影画像に写っている各特徴点が、どの識別子に対応するものかを直ちに認識することができる。つまり、例えば、識別子ＩＤ１２が表示されている位置から一番近い位置に写っている特徴点が、特徴点１２であると簡易に判断できる。利用者は、入出力部７により、特徴点１１と同様に、残りの特徴点について、その撮影画像上での位置を指定し、これにより、対応関係保存部４には、総ての特徴点と、その画像座標の対応関係が保存されることになる。したがって、以後は、複数の世界座標と画像座標の対応関係に基づき、従来のキャリブレーション方法に従い、カメラパラメータのキャリブレーションを行えば良い。
【００４３】
なお、世界座標を射影行列により画像座標に変換して図４に示す様に表示し、利用者が他の特徴点について、その撮影画像上での位置を指定する度に、射影行列計算部５が、対応関係保存部４が保存している特徴点の画像座標と世界座標の対応関係に基づき射影行列を再計算し、その後、画像座標計算部６が、再計算後の射影行列に基づき、各特徴点の世界座標を画像座標に変換して撮影画像上に表示する形態であっても良い。利用者が新たな特徴点の撮影画像上での位置を入力する度に、射影行列を正確なものに近づけていくことで、特徴点の候補位置と、実際の特徴点の位置との乖離が段階的に小さくなり、よって、より正確に対応点の判定を行うことが可能になる。
【００４４】
また、総ての特徴点の画像座標を利用者が選択するのではなく、図１の構成に対してさらに特徴点探索部を設け、１つ又は複数の特徴点の画像座標を利用者が選択した後は、特徴点探索部が画像処理により、残りの特徴点に対応する画像座標を判定する形態であっても良い。具体的には、利用者が１つ又は複数の特徴点の画像座標を選択した後、入出力手段７から探索処理を命令することで、特徴点探索部は、画像座標計算部６が計算した候補位置の画像座標を中心とした所定の範囲を探索範囲として、探索範囲から特徴点を判定する形態であっても良い。なお、特徴点の判定には公知の種々の方法を使用することができる。なお、探索範囲は、例えば、候補位置を中心とした円又は正方形であり、その半径や一辺の長さは対応関係保存部４が保持している特徴点の数が多いほど短くする。つまり、利用者が選択した特徴点の画像座標が多い程、探索範囲を狭くする。なお、利用者が選択した特徴点の画像座標の数に係わらず、一定の大きさとする形態であっても良い。
【００４５】
さらに、上述した実施形態は、最初の1つ又は複数の特徴点の画像座標を利用者が選択し、それにより、画像座標計算部６が残りの特徴点に対応する画像座標を求めて入出力手段に表示させる、あるいは、特徴点探索部が残りの特徴点に対応する画像座標を判定するものであった。しかしながら、他の特徴点とはその色及び／又は形状が異なり、よって、容易に識別できる特別な特徴点（以後、基準点と呼ぶ。）を１〜３個程度設け、これら基準点の画像座標を特徴点判定部が判定する形態とすることもできる。
【００４６】
具体的には、容易に識別できる第１の基準点を使用することで、特徴点判定部は、その画像座標を画像処理により判定し、第１の基準点と、その判定した画像座標を対応関係保存部４に保存する。以後の処理は、上述した実施形態と同じである。また、複数の基準点、例えば、第１の基準点と第２の基準点を使用する場合には、第１及び第２の基準点は、その色及び／又は形状が共に他の特徴点とは異なり、かつ、第１の基準点及び第２の基準点の色及び／又は形状も互いに異なるものとする。なお、特徴点判定部が基準点の画像座標を求め、かつ、特徴点探索部が他の特徴点の画像座標を判定する形態においては、画像座標計算部６が計算する画像座標を撮影画像と共に入出力部７に表示する必要はない。
【００４７】
ここまでに記載した実施形態では、画像内の特徴点と、実空間上にある特徴点との対応関係を簡易に判定できる、カメラパラメータのキャリブレーション装置及びプログラムを提供している。
【００４８】
しかしながら、図５に示すようにスポーツ映像などでフィールドのラインしか写っていないような場合において、撮影した画像に写っている有効な特徴点の個数が少ないため、カメラパラメータの精度が低下したり、カメラパラメータを求めること自体が不可能になったりすることがある。この際、特徴点だけでなくフィールドのラインのような特徴線を用いてカメラキャリブレーションを行うことができる本発明の第２の実施形態を、以下で図面を用いて詳細に説明する。
【００４９】
図６は、本発明の第２の実施形態によるカメラパラメータのキャリブレーション装置の構成図である。なお、図６は、本発明の説明に必要な部分のみを示すものである。図６によると、キャリブレーション装置は、特徴線世界座標方程式保存部１’と、パラメータ保存部２と、撮影画像保存部３と、対応関係保存部４と、射影行列計算部５と、画像座標方程式計算部６’と、キャリブレーション装置と利用者との入出力インタフェースである入出力部７を備えている。
【００５０】
まず、キャリブレーション装置の利用者は、入出力部７により複数の特徴線の識別子及びその世界座標における方程式と、キャリブレーション対象のカメラが撮影した、これら特徴線を含む画像（以後、撮影画像と呼ぶ。）を入力する。キャリブレーション装置は、複数の特徴線の識別子及び世界座標における方程式を特徴線世界座標方程式保存部１’に保存し、撮影画像を撮影画像保存部３に保存する。
【００５１】
キャリブレーション装置は、利用者からの指示のもと、当該撮影画像と、複数の特徴線の識別子及び世界座標における方程式を入出力部７のディスプレイに表示し、キャリブレーション装置の利用者は、入出力部７を使用して、１つの特徴線をその識別子により選択し、さらに、当該選択した特徴線に対応する撮影画像上での直線を選択する。対応関係保存部４は、選択された特徴線と、利用者が選択した撮影画像の直線の画像座標における方程式とを対応付けして、対応関係保存部４に保存する。
【００５２】
例えば、図７に示す様に、特徴線３１〜３６を設置して撮影画像を撮影し、この撮影画像と、特徴線３１〜３６の世界座標における方程式Ｍ３１〜Ｍ３６をキャリブレーション装置に入力したものとする。なお、特徴線３１〜３６の識別子をＩＤ３１〜ＩＤ３６とする。キャリブレーション装置は、利用者からの指示のもと、各特徴線の識別子と、図８に示す撮影画像を入出力部７に表示し、この状態において、利用者が、特徴線３５に対応する撮影画像上の線を、例えば、図７の符号４５で示すカーソールにて選択し、このカーソール４５の先端位置の直線の画像座標における方程式がｍ３５である場合、対応関係保存部４は、特徴線３５と画像座標における方程式ｍ３５が対応するとの情報を保存することになる。
【００５３】
続いて、利用者からの指示のもと、射影行列計算部５は、特徴線世界座標方程式保存部１’及び対応関係保存部４が保存している情報に基づき、特徴線の世界座標における方程式と画像座標における方程式の対応関係を判定し、世界座標系と画像座標系との変換を行う射影行列及び／又はカメラパラメータを求め、パラメータ保存部２に保存する。
【００５４】
より具体的には、カメラの内部パラメータ行列を
【００５５】
【数７】
とし、カメラの向きを示す回転行列を
【００５６】
【数８】
とし、カメラ設置位置の世界座標系での座標を
【００５７】
【数９】
とする。なお、ｆｕ及びｆｖはそれぞれ水平方向及び垂直方向の焦点距離であり、（ｔｕ，ｔｖ）は光軸点の画像座標である。
【００５８】
特徴点の世界座標が既知で、その特徴点がカメラ画像上に射影された点の画像座標が得られたとする。世界座標を
【数１０】
とし、画像座標の斉次座標を
【数１１】
とすると、以下の関係式が成り立つ。
【数１２】
なお、λは任意のスカラー値である。
【００５９】
特徴線の世界座標におけるパラメータが既知で、その特徴線がカメラ画像上に射影された直線のパラメータが得られたとする。特徴線が通過する１点の世界座標を
【数１３】
とし、特徴線の向きを
【数１４】
とすると、特徴線の方程式は、数１５となる。
【数１５】
なお、ｔは媒介変数である。
【００６０】
特徴線がカメラ画像上に射影された直線のパラメータを
【数１６】
とすると、特徴線の方程式は、数１７となる。
【数１７】
【００６１】
数１５と数１７を連立すれば、ｔに関する恒等式となるので、以下の関係式が成り立つ。
【数１８】
【００６２】
上述したｆｕやＲ１１等、カメラパラメータは複数の要素を有しているため、一般に、未知の要素の値を決定するためには、特徴線の実空間と画像上との対応関係についての数１２の拘束条件や、特徴線の実空間と画像上との対応関係についての数１８の拘束条件が複数得られる必要がある。このため、上述した例における世界座標における方程式Ｍ３５と画像座標における方程式ｍ３５から、総ての要素の値を決定することはできない。つまり、方程式Ｍ３５を方程式ｍ３５に変換する射影行列は複数あるが、この時点において、射影行列計算部５は、世界座標における方程式Ｍ３５を画像座標における方程式ｍ３５に変換する任意の１つの射影行列を選択する。
【００６３】
なお、ここで、求めるカメラパラメータにカメラのレンズ歪みパラメータは含まれない。レンズ歪みの無視できる高性能カメラであればレンズ歪み補正をする必要はなく、レンズ歪みがある場合は公知の技術を用いて補正するものとする。
【００６４】
続いて、画像座標方程式計算部６’は、利用者からの指示のもと、特徴線世界座標方程式保存部１’が保存している特徴線のうち、対応関係保存部４に画像座標における方程式との対応関係が示されていないものについて、パラメータ保存部２が保存している射影行列を用いて、その世界座標における方程式を画像座標における方程式に変換する。その後、画像座標方程式計算部６’は、変換後の画像座標における直線を、その元となった特徴線の候補直線として、これら求めた各特徴線の候補直線を、入出力手段７に出力して、撮影画像上の各候補直線を印と共に表示させる。例えば、撮影画像に写っている特徴線を点線として場合、候補直線をＩＤと共に実線で表示させる。
【００６５】
つまり、例えば、図９に示す様に、変換により得た画像座標の直線を特徴線の候補直線として、その識別子ＩＤ３１からＩＤ３４およびＩＤ３６と共に表示する。上述した様に、パラメータ保存部２が保存している射影行列は、キャリブレーション対象カメラの正確な射影行列ではないため、図９に示す様に、射影行列により求めた画像座標の直線は、撮影画像に写っている特徴線の位置とは同じとならない。しかしながら、そのずれはあまり大きくないため、利用者は、撮影画像に写っている各特徴線が、どの識別子に対応するものかを直ちに認識することができる。つまり、例えば、識別子ＩＤ３２が表示されている直線から一番近い位置に写っている特徴線が、特徴線３２であると簡易に判断できる。利用者は、入出力部７により、特徴線３２と同様に、残りの特徴線について、その撮影画像上での直線を指定し、これにより、対応関係保存部４には、総ての特徴線と、その画像座標における方程式の対応関係が保存されることになる。したがって、以後は、複数の世界座標における方程式と画像座標における方程式の対応関係に基づき、従来のキャリブレーション方法に従い、カメラパラメータのキャリブレーションを行えば良い。
【００６６】
なお、世界座標における方程式を射影行列により画像座標における方程式に変換して図９に示す様に表示し、利用者が他の特徴線について、その撮影画像上での直線を指定する度に、射影行列計算部５が、対応関係保存部４が保存している特徴線の画像座標における方程式と世界座標における方程式の対応関係に基づき射影行列を再計算し、その後、画像座標方程式計算部６’が、再計算後の射影行列に基づき、各特徴線の世界座標における方程式を画像座標における方程式に変換して撮影画像上に表示する形態であっても良い。利用者が新たな特徴線の撮影画像上での直線を入力する度に、射影行列を正確なものに近づけていくことで、特徴線の候補位置と、実際の特徴線の位置との乖離が段階的に小さくなり、よって、より正確に特徴線の対応の判定を行うことが可能になる。
【００６７】
また、総ての特徴線の画像座標における方程式を利用者が選択するのではなく、図６の構成に対してさらに特徴線探索部を設け、１つ又は複数の特徴線の画像座標を利用者が選択した後は、特徴線探索部が画像処理により、残りの特徴線に対応する画像座標における方程式を判定する形態であっても良い。具体的には、利用者が１つ又は複数の特徴線の画像座標における方程式を選択した後、入出力手段７から探索処理を命令することで、特徴線探索部は、画像座標方程式計算部６’が計算した候補直線を中心とした所定の範囲を探索範囲として、探索範囲から特徴線を判定する形態であっても良い。なお、特徴線の判定には公知の種々の方法を使用することができる。なお、探索範囲は、例えば、候補直線を中心とする長方形であり、その幅は対応関係保存部４が保持している特徴線の数が多いほど細くする。つまり、利用者が選択した特徴線が多い程、探索範囲を狭くする。なお、利用者が選択した特徴線の数に係わらず、一定の大きさとする形態であっても良い。
【００６８】
さらに、上述した実施形態は、最初の1つ又は複数の特徴線の画像座標における方程式を利用者が選択し、それにより、画像座標方程式計算部６’が残りの特徴線に対応する画像座標における方程式を求めて入出力手段に表示させる、あるいは、特徴線探索部が残りの特徴線に対応する画像座標における方程式を判定するものであった。しかしながら、他の特徴線とはその色及び／又は形状が異なり、よって、容易に識別できる特別な特徴線（以後、基準線と呼ぶ。）を１〜３個程度設け、これら基準線の画像座標における方程式を特徴線判定部が判定する形態とすることもできる。
【００６９】
具体的には、容易に識別できる第１の基準線を使用することで、特徴線判定部は、その画像座標における方程式を画像処理により判定し、第１の基準線と、その判定した画像座標における方程式を対応関係保存部４に保存する。以後の処理は、上述した実施形態と同じである。また、複数の基準線、例えば、第１の基準線と第２の基準線を使用する場合には、第１及び第２の基準線は、その色及び／又は形状が共に他の特徴線とは異なり、かつ、第１の基準線及び第２の基準線の色及び／又は形状も互いに異なるものとする。なお、特徴線判定部が基準線の画像座標における方程式を求め、かつ、特徴線探索部が他の特徴線の画像座標における方程式を判定する形態においては、画像座標方程式計算部６’が計算する画像座標における方程式を撮影画像と共に入出力部７に表示する必要はない。
【００７０】
本発明によるキャリブレーション装置は、コンピュータを、上述し各機能ブロックとして機能させるプログラムにより実現することができる。これらコンピュータプログラムは、コンピュータが読み取り可能な記憶媒体に記憶されて、又は、ネットワーク経由で配布が可能なものである。さらに、本発明は、ハードウェア及びソフトウェアの組合せによっても実現可能である。
【符号の説明】
【００７１】
１ 特徴点世界座標保存部
２ パラメータ保存部
３ 撮影画像保存部
４ 対応関係保存部
５ 射影行列計算部
６ 画像座標計算部
７ 入出力インタフェース
１’ 特徴線世界座標方程式保存部
６’ 画像座標方程式計算部
【技術分野】
【０００１】
本発明は、カメラパラメータのキャリブレーション技術に関する。
【背景技術】
【０００２】
カメラが撮影した画像の画素を特定するための座標系である画像座標系と、実空間上の位置を特定するための座標系である世界座標系との間の座標変換を行う射影行列は、カメラパラメータにより決定される。ここで、カメラパラメータは、カメラ内部の光学系の特性により決まる内部パラメータと、カメラの向き及び設置位置により決まる外部パラメータに分類される。
【０００３】
例えば、カメラの光学系の設計値から求めた内部パラメータと、カメラの向き及び設置位置の実測値による外部パラメータとに基づき射影行列を求め、この求めた射影行列により画像座標系による座標（以後、画像座標と呼ぶ。）と世界座標系の座標（以後、世界座標と呼ぶ。）の座標変換を行ったとしても、通常、誤差が生じる。これは、光学系の設計値と実際の値との誤差及び外部パラメータの実測値に含まれる誤差に起因している。
【０００４】
このため、通常、カメラパラメータについてはキャリブレーションが必要であり、例えば、非特許文献１にはキャリブレーション方法が記載されている。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】徐 剛、辻 三郎 著、“３次元ビジョン”、共立出版社、ｐｐ．７９−ｐｐ．８３、１９９９年５月
【発明の概要】
【発明が解決しようとする課題】
【０００６】
カメラパラメータのキャリブレーションを行うためには、まず、キャリブレーション対象のカメラにて実空間上の複数の特徴点を撮影し、撮影した画像におけるこれら特徴点の位置を判定し、各特徴点についての世界座標と画像座標の対応関係を判定してキャリブレーション装置に入力する必要があった。
【０００７】
例えば、自由視点画像生成用のデータを生成する場合等においては、背景全体をブルーとした上で、ＬＥＤ等の複数の光源を空間内に設置して特徴点とし、これら特徴点を複数のカメラにて撮影して個々のカメラのキャリブレーションを実行することが行われている。しかしながら、この場合において、各カメラが撮影した画像に写っている複数の光源と、実空間上の光源との対応関係を判定するのは、人手では非常に手間のかかる作業であり、画像処理では誤判定の可能性が生じるため、簡易に判定できる仕組みがあれば便利である。
【０００８】
また、人手ではなく画像処理にて対応関係を判定する場合においても、画像内の探索範囲をあらかじめ絞り込むことができれば、対応関係の判定処理を正確かつ短くすることができて便利である。また、特徴点だけでなくフィールドのラインのような特徴線を用いてカメラキャリブレーションを行うことができれば便利である。
【０００９】
したがって、本発明は、画像内の特徴点または画像内の特徴線と、実空間上にある特徴点または特徴線との対応関係を簡易に判定できる、カメラパラメータのキャリブレーション装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明におけるカメラパラメータのキャリブレーション装置によれば、
撮影画像を保存する撮影画像保存手段と、複数の特徴点の世界座標を保持する特徴点世界座標保存手段と、前記撮影画像を表示し、前記撮影画像上の位置を利用者に入力させる入出力手段と、入出力手段により入力された特徴点の画像座標を保存する対応関係保存手段と、対応関係保存手段に保存された特徴点の画像座標と、該特徴点の世界座標との変換を行う射影行列を求める射影行列計算手段と、特徴点世界座標保存手段が保持する特徴点のうち、少なくとも、対応関係保存手段に保持されていない特徴点について、射影行列計算手段が求めた射影行列に基づき画像座標を求める画像座標計算手段とを備えていることを特徴とする。
【００１１】
本発明におけるカメラパラメータのキャリブレーション装置の他の実施形態によれば、
撮影画像を保存する撮影画像保存手段と、複数の特徴点及び該複数の特徴点とは色及び／又は形状が異なる基準点の世界座標を保持する特徴点世界座標保存手段と、前記基準点の前記撮影画像上での画像座標を判定する特徴点判定手段と、特徴点判定手段が判定した前記画像座標を保存する対応関係保存手段と、対応関係保存手段に保存された基準点の画像座標と、該基準点の世界座標との変換を行う射影行列を求める射影行列計算手段と、特徴点世界座標保存手段が保持する特徴点について、射影行列計算手段が求めた射影行列に基づき画像座標を求める画像座標計算手段とを備えていることを特徴とする。
【００１２】
また、本発明の他の実施形態によれば、
前記撮影画像を表示し、前記撮影画像上の位置を利用者に入力させる入出力手段をさらに備えており、対応関係保存手段は、入出力手段により入力された特徴点の画像座標を保存し、射影行列計算手段は、対応関係保存手段に保存された基準点及び特徴点の画像座標と、該基準点及び特徴点の世界座標との変換を行う射影行列を求め、画像座標計算手段は、特徴点世界座標保存手段が保持する特徴点のうち、少なくとも、対応関係保存手段に保持されていない特徴点について、射影行列計算手段が求めた射影行列に基づき画像座標を求めることも好ましい。
【００１３】
本発明の他の実施形態によれば、
射影行列計算手段は、入出力手段により特徴点の画像座標が入力される度に、射影行列を更新し、画像座標計算手段は、更新された射影行列に基づき画像座標を更新することも好ましい。
【００１４】
本発明の他の実施形態によれば、
画像座標計算手段は、入出力手段が表示する前記撮影画像上の前記求めた画像座標の位置に印を表示させることも好ましい。
【００１５】
本発明の他の実施形態によれば、
画像座標計算手段が求めた各画像座標を中心とした探索範囲から特徴点を判定する特徴点探索手段をさらに備えていることも好ましい。
【００１６】
本発明の他の実施形態によれば、
前記探索範囲は、あらかじめ決められた大きさ、又は、対応関係保存手段に保存された基準点及び特徴点の画像座標の数に依存する大きさであることも好ましい。
【００１７】
本発明におけるカメラパラメータのキャリブレーション装置によれば、
撮影画像を保存する撮影画像保存手段と、複数の特徴線の世界座標における方程式を保持する特徴線世界座標方程式保存手段と、前記撮影画像を表示し、前記撮影画像上の直線を利用者に入力させる入出力手段と、入出力手段により入力された特徴線の画像座標における方程式を保存する対応関係保存手段と、対応関係保存手段に保存された特徴線の画像座標における方程式と、該特徴線の世界座標における方程式との変換を行う射影行列を求める射影行列計算手段と、特徴線世界座標方程式保存手段が保持する特徴線のうち、少なくとも、対応関係保存手段に保持されていない特徴線について、射影行列計算手段が求めた射影行列に基づき画像座標における方程式を求める画像座標方程式計算手段とを備えていることを特徴とする。
【００１８】
本発明におけるカメラパラメータのキャリブレーション装置の他の実施形態によれば、撮影画像を保存する撮影画像保存手段と、複数の特徴線及び該複数の特徴線とは色及び／又は形状が異なる基準線の世界座標における方程式を保持する特徴線世界座標方程式保存手段と、前記基準線の前記撮影画像上での画像座標における方程式を判定する特徴線判定手段と、特徴線判定手段が判定した前記方程式を保存する対応関係保存手段と、対応関係保存手段に保存された基準線の画像座標における方程式と、該基準線の世界座標における方程式との変換を行う射影行列を求める射影行列計算手段と、特徴線世界座標方程式保存手段が保持する特徴線について、射影行列計算手段が求めた射影行列に基づき画像座標における方程式を求める画像座標方程式計算手段とを備えていることを特徴とする。
【００１９】
また、本発明の他の実施形態によれば、
前記撮影画像を表示し、前記撮影画像上の直線を利用者に入力させる入出力手段をさらに備えており、対応関係保存手段は、入出力手段により入力された特徴線の画像座標における方程式を保存し、射影行列計算手段は、対応関係保存手段に保存された基準線及び特徴線の画像座標における方程式と、該基準線及び特徴線の世界座標における方程式との変換を行う射影行列を求め、画像座標方程式計算手段は、特徴線世界座標方程式保存手段が保持する特徴線のうち、少なくとも、対応関係保存手段に保持されていない特徴線について、射影行列計算手段が求めた射影行列に基づき画像座標における方程式を求めることも好ましい。
【００２０】
本発明の他の実施形態によれば、
射影行列計算手段は、入出力手段により特徴線の画像座標における方程式が入力される度に、射影行列を更新し、画像座標方程式計算手段は、更新された射影行列に基づき画像座標における方程式を更新することも好ましい。
【００２１】
本発明の他の実施形態によれば、
画像座標方程式計算手段は、入出力手段が表示する前記撮影画像上の前記求めた画像座標の直線に印を表示させることも好ましい。
【００２２】
本発明の他の実施形態によれば、
画像座標方程式計算手段が求めた各画像座標の直線を中心とした探索範囲から特徴線を判定する特徴線探索手段をさらに備えていることも好ましい。
【００２３】
本発明の他の実施形態によれば、
前記探索範囲は、あらかじめ決められた大きさ、又は、対応関係保存手段に保存された基準線及び特徴線の画像座標の数に依存する大きさであることも好ましい。
【００２４】
本発明におけるプログラムによれば、
上記キャリブレーション装置としてコンピュータを機能させることを特徴とする。
【発明の効果】
【００２５】
撮影画像に写った各特徴点または特徴線が、実空間内のどの特徴点または特徴線に対応するのかを素早く判断することが可能になる。そのため、利用者が特徴点または特徴線の対応関係を指定するために要する作業を低減できる。さらに、特徴点だけではなく特徴線も用いることで、キャリブレーション結果を高精度化することができる。
【図面の簡単な説明】
【００２６】
【図１】本発明によるカメラパラメータのキャリブレーション装置の構成図である。
【図２】特徴点を示す図である。
【図３】特徴点に対応する撮影画像上の位置の入力を説明する図である。
【図４】特徴点の候補位置を表示している状態を示す図である。
【図５】特徴点の個数が少ない撮影した画像を示す図である。
【図６】本発明の第２の実施形態によるカメラパラメータのキャリブレーション装置の構成図である。
【図７】特徴線を示す図である。
【図８】特徴線に対応する撮影画像上のでの直線を選択を説明する図である。
【図９】特徴線の候補位置を表示している状態を示す図である。
【発明を実施するための形態】
【００２７】
本発明を実施するための実施形態について、以下では図面を用いて詳細に説明する。
【００２８】
図１は、本発明によるカメラパラメータのキャリブレーション装置の構成図である。なお、図１は、本発明の説明に必要な部分のみを示すものである。図１によると、キャリブレーション装置は、特徴点世界座標保存部１と、パラメータ保存部２と、撮影画像保存部３と、対応関係保存部４と、射影行列計算部５と、画像座標計算部６と、キャリブレーション装置と利用者との入出力インタフェースである入出力部７を備えている。
【００２９】
まず、キャリブレーション装置の利用者は、入出力部７により複数の特徴点の識別子及びその世界座標と、キャリブレーション対象のカメラが撮影した、これら特徴点を含む画像（以後、撮影画像と呼ぶ。）を入力する。キャリブレーション装置は、複数の特徴点の識別子及び世界座標を特徴点世界座標保存部１に保存し、撮影画像を撮影画像保存部３に保存する。
【００３０】
キャリブレーション装置は、利用者からの指示のもと、当該撮影画像と、複数の特徴点の識別子及び世界座標を入出力部７のディスプレイに表示し、キャリブレーション装置の利用者は、入出力部７を使用して、１つの特徴点をその識別子により選択し、さらに、当該選択した特徴点に対応する撮影画像上での位置を選択する。対応関係保存部４は、選択された特徴点と、利用者が選択した撮影画像の位置の画像座標とを対応付けして、対応関係保存部４に保存する。
【００３１】
例えば、図２に示す様に、特徴点１１〜１６を設置して撮影画像を撮影し、この撮影画像と、特徴点１１〜１６の世界座標Ｍ１１〜Ｍ１６をキャリブレーション装置に入力したものとする。なお、特徴点１１〜１６の識別子をＩＤ１１〜ＩＤ１６とする。キャリブレーション装置は、利用者からの指示のもと、各特徴点の識別子と、図３に示す撮影画像を入出力部７に表示し、この状態において、利用者が、特徴点１１に対応する撮影画像上の点を、例えば、図３の符号２１で示すカーソールにて選択し、このカーソール２１の先端位置の画像座標がｍ１１である場合、対応関係保存部４は、特徴点１１と画像座標ｍ１１が対応するとの情報を保存することになる。
【００３２】
続いて、利用者からの指示のもと、射影行列計算部５は、特徴点世界座標保存部１及び対応関係保存部４が保存している情報に基づき、特徴点の世界座標と画像座標の対応関係を判定し、世界座標系と画像座標系との変換を行う射影行列及び／又はカメラパラメータを求め、パラメータ保存部２に保存する。
【００３３】
より具体的には、カメラの内部パラメータ行列を
【００３４】
【数１】
とし、カメラの向きを示す回転行列を
【００３５】
【数２】
とし、カメラ設置位置の世界座標系での座標を
【００３６】
【数３】
とし、世界座標を
【００３７】
【数４】
とし、画像座標の斉次座標を
【００３８】
【数５】
とすると、以下の式により座標の変換を行うことができる。
【００３９】
【数６】
なお、ｆｕ及びｆｖはそれぞれ水平方向及び垂直方向の焦点距離であり、（ｔｕ，ｔｖ）は光軸点の画像座標である。また、λは任意の値である。
【００４０】
上述したｆｕやＲ１１等、カメラパラメータは複数の要素を有しているため、１つの特徴点の世界座標と画像座標の対応関係から、つまり上述した例における世界座標Ｍ１１と画像座標ｍ１１から、総ての要素の値を決定することはできない。つまり、世界座標Ｍ１１を画像座標ｍ１１に変換する射影行列は複数あるが、この時点において、射影行列計算部５は、世界座標Ｍ１１を画像座標ｍ１１に変換する任意の１つの射影行列を選択する。
【００４１】
続いて、画像座標計算部６は、利用者からの指示のもと、特徴点世界座標保存部１が保存している特徴点のうち、対応関係保存部４に画像座標との対応関係が示されていないものについて、パラメータ保存部２が保存している射影行列を用いて、その世界座標を画像座標に変換する。その後、画像座標計算部６は、変換後の画像座標位置を、その元となった特徴点の候補位置として、これら求めた各特徴点の候補位置を、入出力手段７に出力して、撮影画像上の各候補位置に所定の印を表示させる。
【００４２】
つまり、例えば、図４に示す様に、変換により得た画像座標の位置を特徴点の候補位置として、その識別子ＩＤ１２からＤ１６と共に×で表示する。上述した様に、パラメータ保存部２が保存している射影行列は、キャリブレーション対象カメラの正確な射影行列ではないため、図４に示す様に、射影行列により求めた画像座標は、撮影画像に写っている特徴点１２〜１６の位置とは同じとならない。しかしながら、そのずれはあまり大きくないため、利用者は、撮影画像に写っている各特徴点が、どの識別子に対応するものかを直ちに認識することができる。つまり、例えば、識別子ＩＤ１２が表示されている位置から一番近い位置に写っている特徴点が、特徴点１２であると簡易に判断できる。利用者は、入出力部７により、特徴点１１と同様に、残りの特徴点について、その撮影画像上での位置を指定し、これにより、対応関係保存部４には、総ての特徴点と、その画像座標の対応関係が保存されることになる。したがって、以後は、複数の世界座標と画像座標の対応関係に基づき、従来のキャリブレーション方法に従い、カメラパラメータのキャリブレーションを行えば良い。
【００４３】
なお、世界座標を射影行列により画像座標に変換して図４に示す様に表示し、利用者が他の特徴点について、その撮影画像上での位置を指定する度に、射影行列計算部５が、対応関係保存部４が保存している特徴点の画像座標と世界座標の対応関係に基づき射影行列を再計算し、その後、画像座標計算部６が、再計算後の射影行列に基づき、各特徴点の世界座標を画像座標に変換して撮影画像上に表示する形態であっても良い。利用者が新たな特徴点の撮影画像上での位置を入力する度に、射影行列を正確なものに近づけていくことで、特徴点の候補位置と、実際の特徴点の位置との乖離が段階的に小さくなり、よって、より正確に対応点の判定を行うことが可能になる。
【００４４】
また、総ての特徴点の画像座標を利用者が選択するのではなく、図１の構成に対してさらに特徴点探索部を設け、１つ又は複数の特徴点の画像座標を利用者が選択した後は、特徴点探索部が画像処理により、残りの特徴点に対応する画像座標を判定する形態であっても良い。具体的には、利用者が１つ又は複数の特徴点の画像座標を選択した後、入出力手段７から探索処理を命令することで、特徴点探索部は、画像座標計算部６が計算した候補位置の画像座標を中心とした所定の範囲を探索範囲として、探索範囲から特徴点を判定する形態であっても良い。なお、特徴点の判定には公知の種々の方法を使用することができる。なお、探索範囲は、例えば、候補位置を中心とした円又は正方形であり、その半径や一辺の長さは対応関係保存部４が保持している特徴点の数が多いほど短くする。つまり、利用者が選択した特徴点の画像座標が多い程、探索範囲を狭くする。なお、利用者が選択した特徴点の画像座標の数に係わらず、一定の大きさとする形態であっても良い。
【００４５】
さらに、上述した実施形態は、最初の1つ又は複数の特徴点の画像座標を利用者が選択し、それにより、画像座標計算部６が残りの特徴点に対応する画像座標を求めて入出力手段に表示させる、あるいは、特徴点探索部が残りの特徴点に対応する画像座標を判定するものであった。しかしながら、他の特徴点とはその色及び／又は形状が異なり、よって、容易に識別できる特別な特徴点（以後、基準点と呼ぶ。）を１〜３個程度設け、これら基準点の画像座標を特徴点判定部が判定する形態とすることもできる。
【００４６】
具体的には、容易に識別できる第１の基準点を使用することで、特徴点判定部は、その画像座標を画像処理により判定し、第１の基準点と、その判定した画像座標を対応関係保存部４に保存する。以後の処理は、上述した実施形態と同じである。また、複数の基準点、例えば、第１の基準点と第２の基準点を使用する場合には、第１及び第２の基準点は、その色及び／又は形状が共に他の特徴点とは異なり、かつ、第１の基準点及び第２の基準点の色及び／又は形状も互いに異なるものとする。なお、特徴点判定部が基準点の画像座標を求め、かつ、特徴点探索部が他の特徴点の画像座標を判定する形態においては、画像座標計算部６が計算する画像座標を撮影画像と共に入出力部７に表示する必要はない。
【００４７】
ここまでに記載した実施形態では、画像内の特徴点と、実空間上にある特徴点との対応関係を簡易に判定できる、カメラパラメータのキャリブレーション装置及びプログラムを提供している。
【００４８】
しかしながら、図５に示すようにスポーツ映像などでフィールドのラインしか写っていないような場合において、撮影した画像に写っている有効な特徴点の個数が少ないため、カメラパラメータの精度が低下したり、カメラパラメータを求めること自体が不可能になったりすることがある。この際、特徴点だけでなくフィールドのラインのような特徴線を用いてカメラキャリブレーションを行うことができる本発明の第２の実施形態を、以下で図面を用いて詳細に説明する。
【００４９】
図６は、本発明の第２の実施形態によるカメラパラメータのキャリブレーション装置の構成図である。なお、図６は、本発明の説明に必要な部分のみを示すものである。図６によると、キャリブレーション装置は、特徴線世界座標方程式保存部１’と、パラメータ保存部２と、撮影画像保存部３と、対応関係保存部４と、射影行列計算部５と、画像座標方程式計算部６’と、キャリブレーション装置と利用者との入出力インタフェースである入出力部７を備えている。
【００５０】
まず、キャリブレーション装置の利用者は、入出力部７により複数の特徴線の識別子及びその世界座標における方程式と、キャリブレーション対象のカメラが撮影した、これら特徴線を含む画像（以後、撮影画像と呼ぶ。）を入力する。キャリブレーション装置は、複数の特徴線の識別子及び世界座標における方程式を特徴線世界座標方程式保存部１’に保存し、撮影画像を撮影画像保存部３に保存する。
【００５１】
キャリブレーション装置は、利用者からの指示のもと、当該撮影画像と、複数の特徴線の識別子及び世界座標における方程式を入出力部７のディスプレイに表示し、キャリブレーション装置の利用者は、入出力部７を使用して、１つの特徴線をその識別子により選択し、さらに、当該選択した特徴線に対応する撮影画像上での直線を選択する。対応関係保存部４は、選択された特徴線と、利用者が選択した撮影画像の直線の画像座標における方程式とを対応付けして、対応関係保存部４に保存する。
【００５２】
例えば、図７に示す様に、特徴線３１〜３６を設置して撮影画像を撮影し、この撮影画像と、特徴線３１〜３６の世界座標における方程式Ｍ３１〜Ｍ３６をキャリブレーション装置に入力したものとする。なお、特徴線３１〜３６の識別子をＩＤ３１〜ＩＤ３６とする。キャリブレーション装置は、利用者からの指示のもと、各特徴線の識別子と、図８に示す撮影画像を入出力部７に表示し、この状態において、利用者が、特徴線３５に対応する撮影画像上の線を、例えば、図７の符号４５で示すカーソールにて選択し、このカーソール４５の先端位置の直線の画像座標における方程式がｍ３５である場合、対応関係保存部４は、特徴線３５と画像座標における方程式ｍ３５が対応するとの情報を保存することになる。
【００５３】
続いて、利用者からの指示のもと、射影行列計算部５は、特徴線世界座標方程式保存部１’及び対応関係保存部４が保存している情報に基づき、特徴線の世界座標における方程式と画像座標における方程式の対応関係を判定し、世界座標系と画像座標系との変換を行う射影行列及び／又はカメラパラメータを求め、パラメータ保存部２に保存する。
【００５４】
より具体的には、カメラの内部パラメータ行列を
【００５５】
【数７】
とし、カメラの向きを示す回転行列を
【００５６】
【数８】
とし、カメラ設置位置の世界座標系での座標を
【００５７】
【数９】
とする。なお、ｆｕ及びｆｖはそれぞれ水平方向及び垂直方向の焦点距離であり、（ｔｕ，ｔｖ）は光軸点の画像座標である。
【００５８】
特徴点の世界座標が既知で、その特徴点がカメラ画像上に射影された点の画像座標が得られたとする。世界座標を
【数１０】
とし、画像座標の斉次座標を
【数１１】
とすると、以下の関係式が成り立つ。
【数１２】
なお、λは任意のスカラー値である。
【００５９】
特徴線の世界座標におけるパラメータが既知で、その特徴線がカメラ画像上に射影された直線のパラメータが得られたとする。特徴線が通過する１点の世界座標を
【数１３】
とし、特徴線の向きを
【数１４】
とすると、特徴線の方程式は、数１５となる。
【数１５】
なお、ｔは媒介変数である。
【００６０】
特徴線がカメラ画像上に射影された直線のパラメータを
【数１６】
とすると、特徴線の方程式は、数１７となる。
【数１７】
【００６１】
数１５と数１７を連立すれば、ｔに関する恒等式となるので、以下の関係式が成り立つ。
【数１８】
【００６２】
上述したｆｕやＲ１１等、カメラパラメータは複数の要素を有しているため、一般に、未知の要素の値を決定するためには、特徴線の実空間と画像上との対応関係についての数１２の拘束条件や、特徴線の実空間と画像上との対応関係についての数１８の拘束条件が複数得られる必要がある。このため、上述した例における世界座標における方程式Ｍ３５と画像座標における方程式ｍ３５から、総ての要素の値を決定することはできない。つまり、方程式Ｍ３５を方程式ｍ３５に変換する射影行列は複数あるが、この時点において、射影行列計算部５は、世界座標における方程式Ｍ３５を画像座標における方程式ｍ３５に変換する任意の１つの射影行列を選択する。
【００６３】
なお、ここで、求めるカメラパラメータにカメラのレンズ歪みパラメータは含まれない。レンズ歪みの無視できる高性能カメラであればレンズ歪み補正をする必要はなく、レンズ歪みがある場合は公知の技術を用いて補正するものとする。
【００６４】
続いて、画像座標方程式計算部６’は、利用者からの指示のもと、特徴線世界座標方程式保存部１’が保存している特徴線のうち、対応関係保存部４に画像座標における方程式との対応関係が示されていないものについて、パラメータ保存部２が保存している射影行列を用いて、その世界座標における方程式を画像座標における方程式に変換する。その後、画像座標方程式計算部６’は、変換後の画像座標における直線を、その元となった特徴線の候補直線として、これら求めた各特徴線の候補直線を、入出力手段７に出力して、撮影画像上の各候補直線を印と共に表示させる。例えば、撮影画像に写っている特徴線を点線として場合、候補直線をＩＤと共に実線で表示させる。
【００６５】
つまり、例えば、図９に示す様に、変換により得た画像座標の直線を特徴線の候補直線として、その識別子ＩＤ３１からＩＤ３４およびＩＤ３６と共に表示する。上述した様に、パラメータ保存部２が保存している射影行列は、キャリブレーション対象カメラの正確な射影行列ではないため、図９に示す様に、射影行列により求めた画像座標の直線は、撮影画像に写っている特徴線の位置とは同じとならない。しかしながら、そのずれはあまり大きくないため、利用者は、撮影画像に写っている各特徴線が、どの識別子に対応するものかを直ちに認識することができる。つまり、例えば、識別子ＩＤ３２が表示されている直線から一番近い位置に写っている特徴線が、特徴線３２であると簡易に判断できる。利用者は、入出力部７により、特徴線３２と同様に、残りの特徴線について、その撮影画像上での直線を指定し、これにより、対応関係保存部４には、総ての特徴線と、その画像座標における方程式の対応関係が保存されることになる。したがって、以後は、複数の世界座標における方程式と画像座標における方程式の対応関係に基づき、従来のキャリブレーション方法に従い、カメラパラメータのキャリブレーションを行えば良い。
【００６６】
なお、世界座標における方程式を射影行列により画像座標における方程式に変換して図９に示す様に表示し、利用者が他の特徴線について、その撮影画像上での直線を指定する度に、射影行列計算部５が、対応関係保存部４が保存している特徴線の画像座標における方程式と世界座標における方程式の対応関係に基づき射影行列を再計算し、その後、画像座標方程式計算部６’が、再計算後の射影行列に基づき、各特徴線の世界座標における方程式を画像座標における方程式に変換して撮影画像上に表示する形態であっても良い。利用者が新たな特徴線の撮影画像上での直線を入力する度に、射影行列を正確なものに近づけていくことで、特徴線の候補位置と、実際の特徴線の位置との乖離が段階的に小さくなり、よって、より正確に特徴線の対応の判定を行うことが可能になる。
【００６７】
また、総ての特徴線の画像座標における方程式を利用者が選択するのではなく、図６の構成に対してさらに特徴線探索部を設け、１つ又は複数の特徴線の画像座標を利用者が選択した後は、特徴線探索部が画像処理により、残りの特徴線に対応する画像座標における方程式を判定する形態であっても良い。具体的には、利用者が１つ又は複数の特徴線の画像座標における方程式を選択した後、入出力手段７から探索処理を命令することで、特徴線探索部は、画像座標方程式計算部６’が計算した候補直線を中心とした所定の範囲を探索範囲として、探索範囲から特徴線を判定する形態であっても良い。なお、特徴線の判定には公知の種々の方法を使用することができる。なお、探索範囲は、例えば、候補直線を中心とする長方形であり、その幅は対応関係保存部４が保持している特徴線の数が多いほど細くする。つまり、利用者が選択した特徴線が多い程、探索範囲を狭くする。なお、利用者が選択した特徴線の数に係わらず、一定の大きさとする形態であっても良い。
【００６８】
さらに、上述した実施形態は、最初の1つ又は複数の特徴線の画像座標における方程式を利用者が選択し、それにより、画像座標方程式計算部６’が残りの特徴線に対応する画像座標における方程式を求めて入出力手段に表示させる、あるいは、特徴線探索部が残りの特徴線に対応する画像座標における方程式を判定するものであった。しかしながら、他の特徴線とはその色及び／又は形状が異なり、よって、容易に識別できる特別な特徴線（以後、基準線と呼ぶ。）を１〜３個程度設け、これら基準線の画像座標における方程式を特徴線判定部が判定する形態とすることもできる。
【００６９】
具体的には、容易に識別できる第１の基準線を使用することで、特徴線判定部は、その画像座標における方程式を画像処理により判定し、第１の基準線と、その判定した画像座標における方程式を対応関係保存部４に保存する。以後の処理は、上述した実施形態と同じである。また、複数の基準線、例えば、第１の基準線と第２の基準線を使用する場合には、第１及び第２の基準線は、その色及び／又は形状が共に他の特徴線とは異なり、かつ、第１の基準線及び第２の基準線の色及び／又は形状も互いに異なるものとする。なお、特徴線判定部が基準線の画像座標における方程式を求め、かつ、特徴線探索部が他の特徴線の画像座標における方程式を判定する形態においては、画像座標方程式計算部６’が計算する画像座標における方程式を撮影画像と共に入出力部７に表示する必要はない。
【００７０】
本発明によるキャリブレーション装置は、コンピュータを、上述し各機能ブロックとして機能させるプログラムにより実現することができる。これらコンピュータプログラムは、コンピュータが読み取り可能な記憶媒体に記憶されて、又は、ネットワーク経由で配布が可能なものである。さらに、本発明は、ハードウェア及びソフトウェアの組合せによっても実現可能である。
【符号の説明】
【００７１】
１ 特徴点世界座標保存部
２ パラメータ保存部
３ 撮影画像保存部
４ 対応関係保存部
５ 射影行列計算部
６ 画像座標計算部
７ 入出力インタフェース
１’ 特徴線世界座標方程式保存部
６’ 画像座標方程式計算部
【特許請求の範囲】
【請求項１】
撮影画像を保存する撮影画像保存手段と、
複数の特徴点の世界座標を保持する特徴点世界座標保存手段と、
前記撮影画像を表示し、前記撮影画像上の位置を利用者に入力させる入出力手段と、
入出力手段により入力された特徴点の画像座標を保存する対応関係保存手段と、
対応関係保存手段に保存された特徴点の画像座標と、該特徴点の世界座標との変換を行う射影行列を求める射影行列計算手段と、
特徴点世界座標保存手段が保持する特徴点のうち、少なくとも、対応関係保存手段に保持されていない特徴点について、射影行列計算手段が求めた射影行列に基づき画像座標を求める画像座標計算手段と、
を備えているカメラパラメータのキャリブレーション装置。
【請求項２】
撮影画像を保存する撮影画像保存手段と、
複数の特徴点及び該複数の特徴点とは色及び／又は形状が異なる基準点の世界座標を保持する特徴点世界座標保存手段と、
前記基準点の前記撮影画像上での画像座標を判定する特徴点判定手段と、
特徴点判定手段が判定した前記画像座標を保存する対応関係保存手段と、
対応関係保存手段に保存された基準点の画像座標と、該基準点の世界座標との変換を行う射影行列を求める射影行列計算手段と、
特徴点世界座標保存手段が保持する特徴点について、射影行列計算手段が求めた射影行列に基づき画像座標を求める画像座標計算手段と、
を備えているカメラパラメータのキャリブレーション装置。
【請求項３】
前記撮影画像を表示し、前記撮影画像上の位置を利用者に入力させる入出力手段をさらに備えており、
対応関係保存手段は、入出力手段により入力された特徴点の画像座標を保存し、
射影行列計算手段は、対応関係保存手段に保存された基準点及び特徴点の画像座標と、該基準点及び特徴点の世界座標との変換を行う射影行列を求め、
画像座標計算手段は、特徴点世界座標保存手段が保持する特徴点のうち、少なくとも、対応関係保存手段に保持されていない特徴点について、射影行列計算手段が求めた射影行列に基づき画像座標を求める、
請求項２に記載の装置。
【請求項４】
射影行列計算手段は、入出力手段により特徴点の画像座標が入力される度に、射影行列を更新し、
画像座標計算手段は、更新された射影行列に基づき画像座標を更新する、
請求項１又は３に記載の装置。
【請求項５】
画像座標計算手段は、入出力手段が表示する前記撮影画像上の前記求めた画像座標の位置に印を表示させる、
請求項１、３又は４に記載の装置。
【請求項６】
画像座標計算手段が求めた各画像座標を中心とした探索範囲から特徴点を判定する特徴点探索手段をさらに備えている、
請求項１から５のいずれか１項に記載の装置。
【請求項７】
前記探索範囲は、あらかじめ決められた大きさ、又は、対応関係保存手段に保存された基準点及び特徴点の画像座標の数に依存する大きさである、
請求項６に記載の装置。
【請求項８】
撮影画像を保存する撮影画像保存手段と、
複数の特徴線の世界座標における方程式を保持する特徴線世界座標方程式保存手段と、
前記撮影画像を表示し、前記撮影画像上の直線を利用者に入力させる入出力手段と、
入出力手段により入力された特徴線の画像座標における方程式を保存する対応関係保存手段と、
対応関係保存手段に保存された特徴線の画像座標における方程式と、該特徴線の世界座標における方程式との変換を行う射影行列を求める射影行列計算手段と、
特徴線世界座標方程式保存手段が保持する特徴線のうち、少なくとも、対応関係保存手段に保持されていない特徴線について、射影行列計算手段が求めた射影行列に基づき画像座標における方程式を求める画像座標方程式計算手段と、
を備えているカメラパラメータのキャリブレーション装置。
【請求項９】
撮影画像を保存する撮影画像保存手段と、
複数の特徴線及び該複数の特徴線とは色及び／又は形状が異なる基準線の世界座標における方程式を保持する特徴線世界座標方程式保存手段と、
前記基準線の前記撮影画像上での画像座標における方程式を判定する特徴線判定手段と、
特徴線判定手段が判定した前記方程式を保存する対応関係保存手段と、
対応関係保存手段に保存された基準線の画像座標における方程式と、該基準線の世界座標における方程式との変換を行う射影行列を求める射影行列計算手段と、
特徴線世界座標方程式保存手段が保持する特徴線について、射影行列計算手段が求めた射影行列に基づき画像座標における方程式を求める画像座標方程式計算手段と
を備えているカメラパラメータのキャリブレーション装置。
【請求項１０】
前記撮影画像を表示し、前記撮影画像上の直線を利用者に入力させる入出力手段をさらに備えており、
対応関係保存手段は、入出力手段により入力された特徴線の画像座標における方程式を保存し、
射影行列計算手段は、対応関係保存手段に保存された基準線及び特徴線の画像座標における方程式と、該基準線及び特徴線の世界座標における方程式との変換を行う射影行列を求め、
画像座標方程式計算手段は、特徴線世界座標方程式保存手段が保持する特徴線のうち、少なくとも、対応関係保存手段に保持されていない特徴線について、射影行列計算手段が求めた射影行列に基づき画像座標における方程式を求める請求項９に記載の装置。
【請求項１１】
射影行列計算手段は、入出力手段により特徴線の画像座標における方程式が入力される度に、射影行列を更新し、画像座標方程式計算手段は、更新された射影行列に基づき画像座標における方程式を更新する、
請求項８又は１０に記載の装置。
【請求項１２】
画像座標方程式計算手段は、入出力手段が表示する前記撮影画像上の前記求めた画像座標の直線に印を表示させる
請求項８、１０又は１１に記載の装置。
【請求項１３】
画像座標方程式計算手段が求めた各画像座標の直線を中心とした探索範囲から特徴線を判定する特徴線探索手段をさらに備えている、
請求項８から１２のいずれか１項に記載の装置。
【請求項１４】
前記探索範囲は、あらかじめ決められた大きさ、又は、対応関係保存手段に保存された基準線及び特徴線の画像座標の数に依存する大きさである、
請求項１３に記載の装置。
【請求項１５】
請求項１から１４のいずれか１項に記載のキャリブレーション装置としてコンピュータを機能させるプログラム。
【請求項１】
撮影画像を保存する撮影画像保存手段と、
複数の特徴点の世界座標を保持する特徴点世界座標保存手段と、
前記撮影画像を表示し、前記撮影画像上の位置を利用者に入力させる入出力手段と、
入出力手段により入力された特徴点の画像座標を保存する対応関係保存手段と、
対応関係保存手段に保存された特徴点の画像座標と、該特徴点の世界座標との変換を行う射影行列を求める射影行列計算手段と、
特徴点世界座標保存手段が保持する特徴点のうち、少なくとも、対応関係保存手段に保持されていない特徴点について、射影行列計算手段が求めた射影行列に基づき画像座標を求める画像座標計算手段と、
を備えているカメラパラメータのキャリブレーション装置。
【請求項２】
撮影画像を保存する撮影画像保存手段と、
複数の特徴点及び該複数の特徴点とは色及び／又は形状が異なる基準点の世界座標を保持する特徴点世界座標保存手段と、
前記基準点の前記撮影画像上での画像座標を判定する特徴点判定手段と、
特徴点判定手段が判定した前記画像座標を保存する対応関係保存手段と、
対応関係保存手段に保存された基準点の画像座標と、該基準点の世界座標との変換を行う射影行列を求める射影行列計算手段と、
特徴点世界座標保存手段が保持する特徴点について、射影行列計算手段が求めた射影行列に基づき画像座標を求める画像座標計算手段と、
を備えているカメラパラメータのキャリブレーション装置。
【請求項３】
前記撮影画像を表示し、前記撮影画像上の位置を利用者に入力させる入出力手段をさらに備えており、
対応関係保存手段は、入出力手段により入力された特徴点の画像座標を保存し、
射影行列計算手段は、対応関係保存手段に保存された基準点及び特徴点の画像座標と、該基準点及び特徴点の世界座標との変換を行う射影行列を求め、
画像座標計算手段は、特徴点世界座標保存手段が保持する特徴点のうち、少なくとも、対応関係保存手段に保持されていない特徴点について、射影行列計算手段が求めた射影行列に基づき画像座標を求める、
請求項２に記載の装置。
【請求項４】
射影行列計算手段は、入出力手段により特徴点の画像座標が入力される度に、射影行列を更新し、
画像座標計算手段は、更新された射影行列に基づき画像座標を更新する、
請求項１又は３に記載の装置。
【請求項５】
画像座標計算手段は、入出力手段が表示する前記撮影画像上の前記求めた画像座標の位置に印を表示させる、
請求項１、３又は４に記載の装置。
【請求項６】
画像座標計算手段が求めた各画像座標を中心とした探索範囲から特徴点を判定する特徴点探索手段をさらに備えている、
請求項１から５のいずれか１項に記載の装置。
【請求項７】
前記探索範囲は、あらかじめ決められた大きさ、又は、対応関係保存手段に保存された基準点及び特徴点の画像座標の数に依存する大きさである、
請求項６に記載の装置。
【請求項８】
撮影画像を保存する撮影画像保存手段と、
複数の特徴線の世界座標における方程式を保持する特徴線世界座標方程式保存手段と、
前記撮影画像を表示し、前記撮影画像上の直線を利用者に入力させる入出力手段と、
入出力手段により入力された特徴線の画像座標における方程式を保存する対応関係保存手段と、
対応関係保存手段に保存された特徴線の画像座標における方程式と、該特徴線の世界座標における方程式との変換を行う射影行列を求める射影行列計算手段と、
特徴線世界座標方程式保存手段が保持する特徴線のうち、少なくとも、対応関係保存手段に保持されていない特徴線について、射影行列計算手段が求めた射影行列に基づき画像座標における方程式を求める画像座標方程式計算手段と、
を備えているカメラパラメータのキャリブレーション装置。
【請求項９】
撮影画像を保存する撮影画像保存手段と、
複数の特徴線及び該複数の特徴線とは色及び／又は形状が異なる基準線の世界座標における方程式を保持する特徴線世界座標方程式保存手段と、
前記基準線の前記撮影画像上での画像座標における方程式を判定する特徴線判定手段と、
特徴線判定手段が判定した前記方程式を保存する対応関係保存手段と、
対応関係保存手段に保存された基準線の画像座標における方程式と、該基準線の世界座標における方程式との変換を行う射影行列を求める射影行列計算手段と、
特徴線世界座標方程式保存手段が保持する特徴線について、射影行列計算手段が求めた射影行列に基づき画像座標における方程式を求める画像座標方程式計算手段と
を備えているカメラパラメータのキャリブレーション装置。
【請求項１０】
前記撮影画像を表示し、前記撮影画像上の直線を利用者に入力させる入出力手段をさらに備えており、
対応関係保存手段は、入出力手段により入力された特徴線の画像座標における方程式を保存し、
射影行列計算手段は、対応関係保存手段に保存された基準線及び特徴線の画像座標における方程式と、該基準線及び特徴線の世界座標における方程式との変換を行う射影行列を求め、
画像座標方程式計算手段は、特徴線世界座標方程式保存手段が保持する特徴線のうち、少なくとも、対応関係保存手段に保持されていない特徴線について、射影行列計算手段が求めた射影行列に基づき画像座標における方程式を求める請求項９に記載の装置。
【請求項１１】
射影行列計算手段は、入出力手段により特徴線の画像座標における方程式が入力される度に、射影行列を更新し、画像座標方程式計算手段は、更新された射影行列に基づき画像座標における方程式を更新する、
請求項８又は１０に記載の装置。
【請求項１２】
画像座標方程式計算手段は、入出力手段が表示する前記撮影画像上の前記求めた画像座標の直線に印を表示させる
請求項８、１０又は１１に記載の装置。
【請求項１３】
画像座標方程式計算手段が求めた各画像座標の直線を中心とした探索範囲から特徴線を判定する特徴線探索手段をさらに備えている、
請求項８から１２のいずれか１項に記載の装置。
【請求項１４】
前記探索範囲は、あらかじめ決められた大きさ、又は、対応関係保存手段に保存された基準線及び特徴線の画像座標の数に依存する大きさである、
請求項１３に記載の装置。
【請求項１５】
請求項１から１４のいずれか１項に記載のキャリブレーション装置としてコンピュータを機能させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１２−５４９１４（Ｐ２０１２−５４９１４Ａ）
【公開日】平成２４年３月１５日（２０１２．３．１５）
【国際特許分類】
【出願番号】特願２０１１−１６９０４４（Ｐ２０１１−１６９０４４）
【出願日】平成２３年８月２日（２０１１．８．２）
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【Ｆターム（参考）】
【公開日】平成２４年３月１５日（２０１２．３．１５）
【国際特許分類】
【出願日】平成２３年８月２日（２０１１．８．２）
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【Ｆターム（参考）】
[ Back to top ]