画像校正評価装置及び画像校正評価プログラム
【課題】画像情報に基づいて校正の成否を定量化することにより評価の頑健性や精度を向上させる。
【解決手段】撮像手段により得られる画像から、前記撮像手段の撮像パラメータにおける画像校正の成否を評価する画像校正評価装置において、前記撮像手段で撮影された校正対象の画像を取り込む画像入力手段と、校正用図形である直線又は曲線を含む３次元パターンの図形特徴を保持するパターン記憶手段と、前記図形特徴と入力された撮像パラメータとを用いて、画像座標系に投影された図形特徴を求める投影手段と、前記投影手段により投影された図形に基づき、前記校正用図形の投影像上に１以上の点を設定し、設定された各点を通る線分を設定するスキャン線分設定手段と、前記画像入力手段により取り込まれた画像において、前記線分上の各画素の画素値を取得し、取得した画素値を用いて校正の成否を定量化した評価値を算出する評価値演算手段とを有することにより、上記課題を解決する。
【解決手段】撮像手段により得られる画像から、前記撮像手段の撮像パラメータにおける画像校正の成否を評価する画像校正評価装置において、前記撮像手段で撮影された校正対象の画像を取り込む画像入力手段と、校正用図形である直線又は曲線を含む３次元パターンの図形特徴を保持するパターン記憶手段と、前記図形特徴と入力された撮像パラメータとを用いて、画像座標系に投影された図形特徴を求める投影手段と、前記投影手段により投影された図形に基づき、前記校正用図形の投影像上に１以上の点を設定し、設定された各点を通る線分を設定するスキャン線分設定手段と、前記画像入力手段により取り込まれた画像において、前記線分上の各画素の画素値を取得し、取得した画素値を用いて校正の成否を定量化した評価値を算出する評価値演算手段とを有することにより、上記課題を解決する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像校正評価装置及び画像校正評価プログラムに係り、特に、画像情報に基づいて校正の成否を定量化することにより評価の頑健性や精度を向上させるための画像校正評価装置及び画像校正評価プログラムに関する。
【背景技術】
【０００２】
従来のカメラ校正では、既定或いは予め測定済みのパターンを校正対象のカメラで撮影し、パターンの像の形状から解析的手法或いは繰り返し収束演算する手法によりカメラパラメータを求めることが行われている。
【０００３】
ここで、上述した繰り返し収束演算による手法の代表例としては、例えば実際に観測されたパターンの像と、カメラパラメータ及びパターンのモデルから推測した観測されるべきパターンの像との一致の度合を評価しつつ、その一致の度合が最大となるようにカメラパラメータを逐次修正する手法がある。また、上述したパターンとしては、複数の観測点とモデル上の点との対応関係を用いる手法（例えば、非特許文献１参照。）や、観測された複数の線（直線、線分、曲線等）とモデル上の線との対応関係を用いる手法がある。
【０００４】
また、上述した複数の点情報を用いる手法では、例えば線同士の交差した点や折れ線の頂点、円或いは矩形等の特定パターンの代表点（重心等）を特徴点として抽出し、モデルとの対応関係を求めることが主流である。
【０００５】
一方、複数の線情報を用いる手法では、例えばハフ変換や一般化ハフ変換によって、直線や曲線のパラメータを算出し、そのパラメータとモデルとの対応を取ることが行われている（例えば、特許文献１参照。）。
【非特許文献１】Ｒｏｇｅｒ Ｙ． Ｔｓａｉ：“Ａ Ｖｅｒｓａｔｉｌｅ Ｃａｍｅｒａ Ｃａｌｉｂｒａｔｉｏｎ Ｔｅｃｈｎｉｑｕｅ ｆｏｒ Ｈｉｇｈ−Ａｃｃｕｒａｃｙ ３Ｄ Ｍａｃｈｉｎｅ Ｖｉｓｉｏｎ Ｍｅｔｒｏｌｏｇｙ Ｕｓｉｎｇ Ｏｆｆ−ｔｈｅ−Ｓｈｅｌｆ ＴＶ Ｃａｍｅｒａｓ ａｎｄ Ｌｅｎｓｅｓ，”ＩＥＥＥ Ｊｏｕｒｎａｌ ｏｆ Ｒｏｂｏｔｉｃｓ ａｎｄ Ａｕｔｏｍａｔｉｏｎ，Ｖｏｌ．ＲＡ−３，Ｎｏ．４，ｐｐ．３２３−３４４，Ａｕｇｕｓｔ １９８７．
【特許文献１】特開２００４−２３４３３３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
ところで、上述した従来のカメラ校正手法では、画像内の特徴点や直線、曲線を抽出し、その座標やパラメータを得ることが最初の段階として行われ、続いてモデルを投影変換した点や線の座標やパラメータと、観測画像から得た座標やパラメータとの距離の比較が行われる。
【０００７】
ここで、通常、点や線の抽出処理は、画像に対する非線形の演算であり、元の画像情報の多くを喪失する傾向にある。このため、画像からの点や線の抽出が不安定になると、校正の成否を評価することができなくなり、カメラパラメータの推定が不可能となってしまう。
【０００８】
本発明は、上述した問題点に鑑みなされたものであり、画像情報に基づいて校正の成否を定量化することにより評価の頑健性や精度を向上させるための画像校正評価装置及び画像校正評価プログラムを提供することを目的とする。
【０００９】
なお、具体的には、本発明におけるカメラ校正評価は、点や線の抽出処理における情報喪失を回避するため、校正対象のカメラで撮影された画像の画素値の情報を直接的に用いて校正の成否を判定できるようにすることを目的とする。
【課題を解決するための手段】
【００１０】
上記課題を解決するために、本件発明は、以下の特徴を有する課題を解決するための手段を採用している。
【００１１】
請求項１に記載された発明は、撮像手段により得られる画像から、前記撮像手段の撮像パラメータにおける画像校正の成否を評価する画像校正評価装置において、前記撮像手段で撮影された校正対象の画像を取り込む画像入力手段と、校正用図形である直線又は曲線を含む３次元パターンの図形特徴を保持するパターン記憶手段と、前記図形特徴と入力された撮像パラメータとを用いて、画像座標系に投影された図形特徴を求める投影手段と、前記投影手段により投影された図形に基づき、前記校正用図形の投影像上に１以上の点を設定し、設定された各点を通る線分を設定するスキャン線分設定手段と、前記画像入力手段により取り込まれた画像において、前記線分上の各画素の画素値を取得し、取得した画素値を用いて校正の成否を定量化した評価値を算出する評価値演算手段とを有することを特徴とする。
【００１２】
請求項１記載の発明によれば、画像情報に基づいて校正の成否を定量化することにより評価の頑健性や精度を向上させることができる。
【００１３】
請求項２に記載された発明は、前記評価値演算手段は、前記スキャン線分設定手段で得られた全ての線分上の各画素の画素値に各線分上の位置に応じた予め設定された重み係数を掛けて積分値又は総和を求めることを特徴とする。
【００１４】
請求項２記載の発明によれば、例えば画像校正に必要な近距離部分の重みを重くすることで、より高精度な評価値を算出することができる。
【００１５】
請求項３に記載された発明は、前記投影手段は、前記パターン記憶手段に記憶された複数の幾何特徴情報から、前記撮像パラメータに対応した幾何特徴情報を前記図形特徴として取得し、取得した幾何特徴情報を投影変換して、画像座標系における幾何特徴情報を出力することを特徴とする。
【００１６】
請求項３記載の発明によれば、幾何特徴情報を用いることで、より高精度な評価値を容易に算出することができる。
【００１７】
請求項４に記載された発明は、前記図形特徴は、前記撮像手段により得られる直線又は曲線を含むパターン上の１以上の代表点と、前記代表点における前記直線又は曲線の接線方向とを含むことを特徴とする。
【００１８】
請求項４記載の発明によれば、パターンの代表点とその代表点における接線方向と含む図形特徴を利用することで、画像校正を容易に行うことができる。
【００１９】
請求項５に記載された発明は、前記スキャン線分設定手段は、前記図形特徴における前記代表点毎の像を通り、前記代表点における接線方向の像に直交する線分をスキャン線分として設定することを特徴とする。
【００２０】
請求項５記載の発明によれば、容易に校正評価に必要なスキャン線分を効率的に取得することができる。
【００２１】
請求項６に記載された発明は、撮像手段により得られる画像から、前記撮像手段の撮像パラメータにおける画像校正の成否を評価する画像校正評価プログラムにおいて、コンピュータを、前記撮像手段で撮影された校正対象の画像を取り込む画像入力手段、校正用図形である直線又は曲線を含む３次元パターンの図形特徴を保持するパターン記憶手段、前記図形特徴と入力された撮像パラメータとを用いて、画像座標系に投影された図形特徴を求める投影手段、前記投影手段により投影された図形に基づき、前記校正用図形の投影像上に１以上の点を設定し、設定された各点を通る線分を設定するスキャン線分設定手段、及び、前記画像入力手段により取り込まれた画像において、前記線分上の各画素の画素値を取得し、取得した画素値を用いて校正の成否を定量化した評価値を算出する評価値演算手段として機能させる。
【００２２】
請求項６記載の発明によれば、画像情報に基づいて校正の成否を定量化することにより評価の頑健性や精度を向上させることができる。更に、実行プログラムをコンピュータにインストールすることにより、容易に画像校正評価を実現することができる。
【発明の効果】
【００２３】
本発明によれば、画像情報に基づいて校正の成否を定量化することにより評価の頑健性や精度を向上させることができる。
【発明を実施するための最良の形態】
【００２４】
＜本発明の概要＞
本発明は、撮像手段であるカメラの位置、姿勢、又は焦点距離の各情報のうち、１以上からなるカメラパラメータ（撮像パラメータ）が、正しいか否かを評価する校正評価装置に関し、特に校正対象のカメラにより撮影された画像に基づいて評価を行う装置に関する。
【００２５】
具体的には本発明は、撮影空間中に含まれる既知の直線又は曲線パターンを用いて撮像手段であるカメラの設置位置、姿勢、又は焦点距離を校正する場合において、撮影したカメラにより得られた画像情報に基づき校正の成否の度合を定量化する。
【００２６】
例えば、カメラによって直線又は曲線を含むパターンを撮影し、次に直線又は曲線パターン（以下、曲線群）の既知のモデルに基づいて、曲線群上に点（代表点）を１以上取得する。また、代表点及び代表点における曲線の接線方向を、評価対象となるカメラパラメータ（カメラの設置位置、姿勢又は焦点距離）に基づき、画像座標系へ投影する。
【００２７】
次に、各代表点の投影像に関して、上述の投影像を通り、接線の投影像と直交する線分（スキャン線分）を求める。また、撮影画像においては、全てスキャン線分上の画素に対し、その画素値に各スキャン線分上の位置に応じて予め設定された重み係数を掛けつつ、その積分値若しくは総和を求め、校正の成否を定量化した評価値を算出して出力する。
【００２８】
以下に、上述したような特徴を有する本発明における画像校正評価装置及び画像校正評価プログラムを好適に実施した形態について、図面を用いて詳細に説明する。
【００２９】
＜画像校正評価装置：機能構成＞
図１は、本実施形態における映像構成評価装置の機能構成の一例を示す図である。図１に示す画像校正評価装置１０は、画像入力手段１１と、パターン記憶手段１２と、投影手段１３と、スキャン線分設定手段１４と、評価値演算手段１５とを有するよう構成されている。
【００３０】
画像入力手段１１は、校正対象である撮像手段としてのカメラにより撮影された画像を読み込み、読み取った画像を内蔵されるメモリ等に記憶する。なお、画像入力手段１１は、画像の記憶において、例えば画像座標（ｘ，ｙ）に対する画素値Ｉ（ｘ，ｙ）を参照可能な形式で記憶する。
【００３１】
ここで、上述のｘ及びｙは整数値とし、例えばｘは画像座標の水平成分を表し、ｙは画像座標の垂直成分を表すものとする。このとき、画像入力手段１１は、例えば画像の左上の隅の画素の画像座標をｘ＝０，ｙ＝０とおき、右に１画素移動する毎にｘの値を１ずつ増加させ、下に１画素移動する毎にｙの値を１ずつ増加させるように画像座標系を定義することができる。
【００３２】
また、校正対象のカメラとしては、例えばスチルカメラであってもよく、またビデオカメラであってもよい。また、出力される画像は、デジタル画像でもよく、また電子的なアナログ画像でもよい。ここで、校正対象のカメラがデジタル画像出力を有する場合、画像入力手段１１は、カメラから出力されるデータから各画素位置における画素値を取り出して、取り出した画素値をメモリに記憶することで、画像座標（ｘ，ｙ）に対する画素値Ｉ（ｘ，ｙ）を参照可能な状態とする。また、校正対象のカメラが電子的なアナログ画像出力を有する場合、画像入力手段１１は、カメラから出力される画像に対してアナログ／デジタル変換を施し、各画素位置における画素値を取得し、これらの画素値をメモリに記憶することで画像座標（ｘ，ｙ）に対する画素値Ｉ（ｘ，ｙ）を参照可能な状態とする。
【００３３】
更に、校正対象のカメラとしては、例えば化学反応によって画像を記録する方式（例えば、銀塩写真等）を用いることができる。このような場合、画像入力手段１１は、カメラにより撮影され現像されたフィルム、乾板、印画紙、若しくはこれらを光学的に拡大、縮小、等倍に転写したフィルム、乾板、印画紙を写真スキャナにより読み込む。また、画像入力手段１１は、読み込まれた画素値をメモリに記憶することで画像座標（ｘ，ｙ）に対する画素値Ｉ（ｘ，ｙ）を参照可能な状態とする。
【００３４】
パターン記憶手段１２は、実空間内に描画又は設置される直線群、曲線群又はこれらの組み合わせ（以下、曲線群という）によるカメラ校正に用いるカメラパターン（校正用パターン）の幾何特徴（図形特徴）を記憶するメモリである。
【００３５】
ここで、校正用パターンは、予め設定された寸法や角度、曲率に基づき作成されたパターンであってもよく、既に実空間内に存在する人工物や自然物の寸法や形状を測定したものであってもよい。
【００３６】
ここで、図２は、カメラ校正に用いるカメラパターンの一例を示す図である。例えば、図２に示すような各線分の長さや配置、姿勢が既知の線図を校正用パターン２１として用いることができる。したがって、例えばカメラからの撮影映像から取得できるサッカー場やラグビー場における競技場上のライン等、スポーツ競技に用いられるコートのライン等を校正用パターン２１として用いることができる。
【００３７】
なお、スポーツ競技のコートのラインを校正用パターン２１として用いる場合には、曲線群の長さや配置、姿勢、曲率等を予め測定しておくか、或いは競技ルールに定める値を用いるか、或いはそれらの併用によるものとする。
【００３８】
つまり、パターン記憶手段１２には、校正用パターンを構成する曲線群の幾何特徴を表す数値群等からなる幾何特徴情報が記憶される。ここで、上述した幾何特徴情報とは、校正用パターンを構成する曲線（直線、半直線、及び線分を含む、以下同じ）上の、１以上の代表点の座標と、各代表点における曲線の接線方向を記述することができる情報とを含むものとする。
【００３９】
例えば、幾何特徴情報としては、校正用パターンに含まれる線分の両端点の３次元座標、円の中心及び半径、楕円の中心、短半径、長半径及び長軸の位相角、円弧の中心、半径、始点の位相角及び終点の位相角、曲線上の代表点の座標及び代表点における接線方向等を用いることができる。
【００４０】
ここで、図３は、本実施形態における幾何特徴情報の一例を示す図である。図３に示す幾何特徴情報は、上述した図２に示す校正用パターン２１の曲線（この場合、線分）上に設定した代表点及び代表点における接線方向の例を示している。つまり、校正用パターン２１のライン上に有する１以上の代表点３１と、その代表点３１における接線方向３２とにより、幾何特徴情報を定義することができる。
【００４１】
なお、複数の代表点の設置間隔は、予め設定された画像中に存在するラインを基準にした間隔でもよく、また実際に撮影された場所に存在するラインを基準にした間隔でもよい。また、その間隔は、等間隔でも不等間隔でもよい。つまり、本発明における代表点の数及び位置については特に限定されるものではない。また、代表点３１における接線方向３２についても校正用パターン２１の線分上であればよい。
【００４２】
投影手段１３は、画像入力手段１１から入力される画像を撮影したカメラ（撮像手段）に対応して入力されたカメラパラメータ（撮像パラメータ）θに基づき、パターン記憶手段１２に記憶された幾何特徴情報から対応するカメラパラメータの幾何特徴情報を抽出し、抽出した幾何特徴情報を投影変換し、画像座標系における幾何特徴情報を出力する。
【００４３】
ここで、上述したカメラパラメータθには、例えば、カメラの設置位置、姿勢、及びレンズ（反射鏡、ピンホールを含む、以下同じ）の焦点距離（又は画角）のうち、１以上のパラメータを含むものとする。また、カメラパラメータθは、これらに加えてレンズの歪みパラメータや、光軸と画像平面の交点の画像座標、光軸の画像平面に対する傾き等の各パラメータのうち、１以上のパラメータを含んでいても構わない。
【００４４】
また、投影手段１３における投影変換は、校正対象のカメラのレンズ及び撮像面の構成や形状に対応して予め設定された投影を行う変換である。例えば、ピンホールやピンホールモデルによる近似が可能なレンズや反射鏡を用いて平面の画像面に投影する場合においては、透視投影を行うものとする。また、魚眼レンズによる場合には、等距離射影、等立体角射影、或いは正射影等の使用レンズと撮像面の関係に最も適合した投影モデルを適用する。
【００４５】
ここで、実空間における座標（Ｘ，Ｙ，Ｚ）からカメラパラメータθの投影手段１３により画像座標（ｘ，ｙ）へ変換する数式を、以下に示す（１）式とおく。
【００４６】
【数１】
ここで、例えばパターン記憶手段１２には、曲線上の第ｉ番目（但し、ｉ∈｛０，１，Ｎ−１｝、Ｎは１以上の整数）の代表点の座標（Ｘｉ，Ｙｉ，Ｚｉ）、及びその代表点における接線方向（Ｕｉ，Ｖｉ，Ｗｉ）が記憶されている。投影手段１３は、例えば投影変換が透視投影による場合、以下に示す（２）式〜（４）式により代表点の像（ｘｉ，ｙｉ）、及び代表点における接線方向の像（ｕｉ，ｖｉ）を取得することができる。
【００４７】
【数２】
スキャン線分設定手段１４は、投影手段１３により得られた校正用パターンの像に関する情報（例えば、代表点の像、及び代表点における接線方向の像）に基づき、画像平面内において１以上の線分を設定する。この線分は、後述する評価値演算手段１５における評価値の計算に用いるためのものであり、画素値の走査を行うための領域として用いられる。
【００４８】
例えば、スキャン線分設定手段１４は、上述した（２）式の各代表点の像（ｘｉ，ｙｉ）を通り、その代表点における接線方向の像（ｕｉ，ｖｉ）に直交する線分を、スキャン線分として設定する。
【００４９】
また、スキャン線分は、例えば以下に示す（５）式のようにｔを媒介変数として、（ｐｉ（ｔ），ｑｉ（ｔ））の軌跡として表すことができる。
【００５０】
【数３】
なお、上述した（５）式において、Ｔ０及びＴ１は、Ｔ０＜Ｔ１なる実数の定数とし、好ましくはＴ０＜０、Ｔ１＞０とする。例えば、Ｔ０＝−１０、Ｔ１＝１０とおく。
【００５１】
ここで、図４は、スキャン線分の一例を示す図である。図４に示すように、スキャン線分は、校正用図形の投影像４１に対して上述した各代表点３１の像を通り、接線方向の像に直交する線分をスキャン線分４２として設定する。
【００５２】
なお、複数のスキャン線分４２の設置間隔は、例えば予め設定された画像中の投影像４１を基準にした間隔でもよく、また実際に撮影された場所に存在するラインを基準にした間隔でもよい。また、その間隔は、等間隔でも不等間隔でもよい。つまり、本発明におけるスキャン線分の数及び位置については特に限定されるものではない。
【００５３】
評価値演算手段１５は、画像Ｉ（ｘ，ｙ）において、スキャン線分設定手段１４により設定された全線分上を走査し、走査された画素の画素値群に基づき評価値Ｅを算出して出力する。
【００５４】
例えば、評価値演算手段１５は、以下に示す（６）式により評価値Ｅを計算することができる。
【００５５】
【数４】
ここで、上述した（６）式において、ｆ（Ｉ）は画素値Ｉを引数に取り、実数を返す関数である。
【００５６】
例えば、画素値Ｉが赤ＩＲ、緑ＩＧ、及び青ＩＢの各色成分からなるベクトルである場合に、以下に示す（７）式からなる線形結合により、ｆ（Ｉ）を定義することができる。
【００５７】
【数５】
ここで、上述した（７）式において、ｋＲ、ｋＲ、及びｋＢは、何れも実数とし、ｋＲ、ｋＲ、及びｋＢの全てが０とはならないものとする。
【００５８】
また、例えば、ｆ（Ｉ）は、Ｉの画素値が色空間の既定の領域Ｃに含まれる場合と、そうでない場合とに応じて、以下に示す（８）式に示すように返す値を変化させるものとしてもよい。
【００５９】
【数６】
ここで、上述した（８）式は、ハードクロマキーによるキー値生成と等価である。したがって、例えば、校正対象の映像としてサッカー場を撮影している場合には、その映像から得られる画像の色が白色（コートのライン）か否か（例えば、緑色（サッカー場の芝生）等）を判断し、白線の場合は「１」とし、それ以外の場合（例えば、緑色等）は「０」とすることができる。
【００６０】
また、Ｉの値のそれぞれに応じて、ｆ（Ｉ）の返す値を全て定義しても構わない。つまり、画素値Ｉが離散的である場合には、例えばｆ（Ｉ）は画素値Ｉに対するルックアップテーブルを用いて実現可能である。
【００６１】
また、上述した（６）式の重み関数ｗ（ｔ）は、スキャン線分上の点の位置を表す媒介変数ｔに応じて変化する重み関数である。したがって、重み関数ｗ（ｔ）は、以下に示す（９）式を満たすことが好ましい。
【００６２】
【数７】
ここで、図５は、引数が連続値である場合の重み関数の一例を示す図である。例えば、重み関数ｗ（ｔ）として図５（ａ），（ｂ）に示すような関数を用いることができる。具体的には、例えば図５（ａ）の関数では、以下に示す（１０）式により表すことができる。
【００６３】
【数８】
なお、図５（ａ）と同様に、図５（ａ）の関数を反転させた図５（ｂ）の関数を用いてもよい。
【００６４】
更に、図６は、図５と異なる引数が連続値である場合の重み関数の一例を示す図である。例えば、重み関数ｗ（ｔ）として、図５に示す連続関数の他にコサインカーブ（余弦波）を用いて図６（ａ），（ｂ）に示すような関数を用いることができる。具体的には、例えば図６（ａ）の関数は、以下に示す（１１）式により表すことができる。
【００６５】
【数９】
なお、図６（ａ）と同様に、図６（ａ）の関数を反転させた図６（ｂ）の関数を用いてもよい。
【００６６】
また、上述した（６）式の積分の部分を離散化し、総和演算に置き換えても構わない。この場合には、評価値Ｅは、例えば以下に示す（１２）式で表すことができる。
【００６７】
【数１０】
ここで、ｔｊ（ｊ∈｛０，１，…，Ｊ−１｝）は、Ｔ０≦ｔｊ≦Ｔ１なる数列である。このとき、重み関数ｗ（ｔ）は、例えば、以下に示す（１３）式で表すことが好ましい。
【００６８】
【数１１】
ここで、上述した（１３）式において、ｔｊとしては、例えばＴ０≦τ≦Ｔ１を満たす実数τを、ある一定の間隔で昇順又は降順に並べたものとすることができる。なお、実数τは、画像負荷等を考慮して設定することができる。
【００６９】
更に、例えばｔｊとしてＴ０≦τ≦Ｔ１を満たす整数τを昇順に並べたものとすることができ、以下に示す（１４）式とすることができる。
【００７０】
【数１２】
ここで、ｆｌｏｏｒ［Ｔ］は、Ｔより大きくない最大の整数（即ち、Ｔに対する床関数）を表し、ｃｅｉｌ［Ｔ］はＴより小さくない最小の整数（即ち、Ｔに対する天井関数）を表す。このとき、例えば、Ｔ０＝−１０，Ｔ１＝１０の場合には、以下に示す（１５）式のようになる。
【００７１】
【数１３】
また、上述した（１２）式は、以下に示す（１６）式のように表すことができる。
【００７２】
【数１４】
ここで、図７は、引数が離散値である場合の重み関数の一例を示す図である。このとき、重み関数ｗ（ｔ）として、例えば図７に示す関数、即ち、以下に示す（１７）式のような関数を用いることができる。
【００７３】
【数１５】
なお、上述した（１７）式に示す関数は、上述した（１３）式の条件を満たす。
【００７４】
また、上述した（１７）式の他にも、例えば重み関数ｗ（ｔ）において、Ｔ０≦Ｔ≦Ｔ１の範囲の場合には、上に凸となる連続する関数であり、それ以外は０となる関数であれば、任意に適用することができる。
【００７５】
ここで、上述した（６）式、（１２）式、及び（１６）式において、画像座標（ｐ，ｑ）が、画像の外側にある場合には、画素値Ｉ（ｐ，ｑ）を零（０）又は零ベクトルと定義する。
【００７６】
また、画像座標（ｐ，ｑ）の成分ｐ又はｑの何れか一方又は両方が非整数値である場合には、例えば画像座標（ｐ，ｑ）の最近傍にある格子点（ｐ’，ｑ’）の画素値Ｉ（ｐ’，ｑ’）を用いて画素値Ｉ（ｐ，ｑ）とおくことができる。また、例えば画像座標（ｐ，ｑ）の周囲の複数の格子点における画素値からの補間処理により画素値Ｉ（ｐ，ｑ）を定めることもできる。
【００７７】
また、例えば画像座標（ｐ，ｑ）が画像の内側になるか否かを判定する関数として、以下に示す（１８）式を用いる。
【００７８】
【数１６】
また、評価値Ｅは、上述した（６）式の代わりに、以下に示す（１９）式を用いることもできる。
【００７９】
【数１７】
これにより、画像内に存在するスキャン線分（の部分）の総延長で規格化された評価値Ｅを定義することができる。また、評価値Ｅは、同様に上述した（１２）式の代わりに、以下に示す（２０）式を用いてもよい。
【００８０】
【数１８】
以上により、例えばサッカーコートのライン（白線の）ように、色の各成分が周囲よりもラインの方が高い場合において、上述した（７）式のｋＲ、ｋＧ、及びｋＢの各係数を０以上（但し、ｋＲ、ｋＧ、及びｋＢの何れか一つ以上は０より大きいものとする。例えば、ｋＲ＝０．３０、ｋＧ＝０．５９、及びｋＢ＝０．１１等）とし、更に、上述したＴ０＝−１０、Ｔ１＝１０とし、上述した（１５）式〜（１７）式を適用した場合には、カメラパラメータの校正が精密であればあるほど、上述した（１６）式の評価値Ｅは大きくなる。
【００８１】
上述した実施形態により、画像情報に基づいて校正の成否を定量化することにより評価の頑健性や精度を向上させることができる。具体的には、校正用図形のパターンの幾何特徴を画像面へ投影し、校正対象のカメラで撮影された画像上における幾何特徴情報の投影像近傍において、画素値を評価することができる。これにより、特徴点や線を予め抽出する従来の手法では喪失されてしまう原画像の画素値情報を有効活用することができ、校正の成否の評価の頑健性や精度を向上させることができる。
【００８２】
＜画像校正評価プログラム＞
ここで、上述した画像校正評価装置１０は、上述した専用の装置構成により本発明における画像校正評価処理を行うこともできるが、画像校正評価装置１０の一部、例えば、画像入力手段、パターン記憶手段、投影手段、スキャン線分設定手段、評価値演算手段等における各機能をコンピュータで実現するようにしてもよい。
【００８３】
この場合、上述した各制御機能を実現するための実行プログラム（画像校正評価プログラム）を生成し、例えば汎用のパーソナルコンピュータやサーバ等のコンピュータに実行プログラムをインストールすることにより、本発明における画像校正評価処理を実現することができる。
【００８４】
また、コンピュータ本体にインストールされる実行プログラムは、例えばＣＤ−ＲＯＭ等の記録媒体等により提供することができる。この場合、実行プログラムを記録した記録媒体は、コンピュータが備えるドライブ装置等にセットされ、記録媒体に含まれる実行プログラムが、記録媒体からドライブ装置を介してコンピュータが備える補助記憶装置等にインストールされる。
【００８５】
なお、記録媒体としては、ＣＤ−ＲＯＭ以外でも、例えばフレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的或いは磁気的に記録する記録媒体、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等、様々なタイプの記録媒体を用いることができる。
【００８６】
また、コンピュータは、通信ネットワークに接続可能なネットワーク接続装置等を備え、通信ネットワークに接続されている他の端末等から実行プログラムを取得したり、プログラムを実行することで得られた実行結果又は本発明における実行プログラム自体を他の端末等に提供することができる。
【００８７】
なお、コンピュータが備える補助記憶装置は、ハードディスク等のストレージ手段であり、本発明における実行プログラムや、コンピュータに設けられた制御プログラム等を蓄積し必要に応じて入出力を行うことができる。また、コンピュータが備えるメモリ装置は、ＣＰＵにより補助記憶装置から読み出された実行プログラム等を格納する。なお、メモリ装置は、ＲＯＭやＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等からなる。
【００８８】
また、コンピュータは、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を備え、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）等の制御プログラムや実行プログラムに基づいて、各種演算や各構成部間のデータの入出力等、コンピュータ全体の処理を制御して各処理を実現することができる。
【００８９】
これにより、特別な装置構成を必要とせず、低コストで効率的に画像校正評価処理を実現することができる。また、プログラムをインストールすることにより、画像校正評価処理を容易に実現することができる。
【００９０】
＜画像校正評価処理＞
次に、本発明における実行プログラムによる画像校正評価処理手順についてフローチャートを用いて説明する。
【００９１】
＜画像校正評価処理手順＞
図８は、本実施形態における画像校正評価処理手順の一例を示すフローチャートである。図８において、まず校正対象のカメラで撮影された映像に含まれる画像を取り込む（Ｓ０１）。次に、予め蓄積された校正用図形である直線又は曲線を含む３次元パターンの図形特徴（幾何特徴）と、入力されたカメラパラメータとに基づき、画像座標系に投影された図形特徴を求める（Ｓ０２）。
【００９２】
次に、上述したＳ０２の処理において、投影された図形に基づき、画像平面上において、校正用図形の投影像上に１以上の点を設定し（Ｓ０３）、その各点について、その点を通る線分をスキャン線分として設定する（Ｓ０４）。
【００９３】
次に、Ｓ０１の処理により、画像入力手段１１から取り込まれた画像において、スキャン線分群上の画素に対し、その画素値に各スキャン線分上の位置に応じた予め設定された重み係数を掛けつつ、その総和を求め（Ｓ０５）、求めた総和に基づいて校正の成否を定量化した評価値を上述した数式等により算出して出力する（Ｓ０６）。
【００９４】
これにより、カメラ校正評価を数値により確実且つ迅速に行うことができる。また、その結果に応じて、校正対象のカメラの各種カメラパラメータにフィードバックする等の制御を行うことができる。
【００９５】
＜評価値Ｅの算出処理手順＞
次に、上述したＳ０６の処理における本実施形態における評価値の算出処理手順についてフローチャートを用いて具体的に説明する。図９は、本実施形態における評価値の算出処理手順の一例を示すフローチャートである。なお、以下に示す説明では、上述した評価値Ｅの算出手法に基づいて説明する。
【００９６】
評価値Ｅを算出する場合、まず初期化（ｉ＝０，Ｅ＝０）を行い（Ｓ１１）、次にパターン記憶手段１２により第ｉ番目（但し、ｉ∈｛０，１，Ｎ−１｝、Ｎは１以上の整数）の代表点の座標（Ｘｉ，Ｙｉ，Ｚｉ）と接線方向（Ｕｉ，Ｖｉ，Ｗｉ）を読み出す（Ｓ１２）。次に、座標（Ｘｉ，Ｙｉ，Ｚｉ）と上述した（２）式とにより、代表点の像（ｘｉ，ｙｉ）を取得する（Ｓ１３）。また、座標（Ｘｉ，Ｙｉ，Ｚｉ）、接線方向（Ｕｉ，Ｖｉ，Ｗｉ）、及び上述した（３）式、（４）式により、接線方向の像（ｕｉ，ｖｉ）を取得する（Ｓ１４）。
【００９７】
ここで、変数であるｊの値を初期化（ｊ＝０）とし（Ｓ１５）、ｔｊ＝［Ｔ０］＋ｊとして（Ｓ１６）、代表点の像（ｘｉ，ｙｉ）と接線方向の像（ｕｉ，ｖｉ）と上述した（４）式とに基づいて、スキャン線分上の点（ｐｉ（ｔｊ），ｑｉ（ｔｊ））を取得する（Ｓ１７）。また、評価値Ｅは、Ｅ＋ｗ（ｔｊ）ｆ（Ｉ（ｐｉ（ｔｊ），ｑｉ（ｔｊ）））とし（Ｓ１８）、変数ｊを１増加し（ｊ＝ｊ＋１）（Ｓ１９）、変数ｊが“ｆｌｏｏｒ［Ｔ１］−ｃｅｉｌ［Ｔ０］＋１”以上であるか否かを判断する（Ｓ２０）。ここで、ｊが“ｆｌｏｏｒ［Ｔ１］−ｃｅｉｌ［Ｔ０］＋１”未満である場合（Ｓ２０において、ＮＯ）、Ｓ１６に戻り後述の処理を行う。また、Ｓ２０の処理において、ｊが“ｆｌｏｏｒ［Ｔ１］−ｃｅｉｌ［Ｔ０］＋１”以上である場合（Ｓ２０において、ＹＥＳ）、ｉに１を増加し（ｉ＝ｉ＋１）（Ｓ２１）、ｉがＮ以上であるか否かを判断する（Ｓ２２）。
【００９８】
ここで、ｉがＮ未満である場合（Ｓ２２において、ＮＯ）、Ｓ１２に戻り後述の処理を行う。また、Ｓ２２の処理において、ｉがＮ以上である場合（Ｓ２２において、ＹＥＳ）、その評価値Ｅを出力し（Ｓ２３）、処理を終了する。
【００９９】
上述したような処理により、本実施形態における評価値Ｅを高精度に算出することができる。また、上述の処理にて得られた評価値Ｅに基づいて、正確且つ迅速に画像校正評価を行うことができ、その結果に対応させて正確な映像を取得するためにフィードバック処理による制御を行って高精度な処理を実現することができる。
【０１００】
上述したように本発明によれば、画像情報に基づいて校正の成否を定量化することにより評価の頑健性や精度を向上させることができる。具体的には、校正用図形のパターンの幾何特徴（図形特徴）を画像面へ投影し、校正対象のカメラで撮影された画像上における幾何特徴情報の投影像近傍において、画素値を評価することができる。これにより、特徴点や線を予め抽出する従来の手法では喪失されてしまう原画像の画素値情報を有効活用することができ、校正の成否の評価の頑健性や精度を向上させることができる。
【０１０１】
以上本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。
【図面の簡単な説明】
【０１０２】
【図１】本実施形態における映像構成評価装置の機能構成の一例を示す図である。
【図２】カメラ校正に用いるカメラパターンの一例を示す図である。
【図３】本実施形態における幾何特徴情報の一例を示す図である。
【図４】スキャン線分の一例を示す図である。
【図５】引数が連続値である場合の重み関数の一例を示す図である。
【図６】図５と異なる引数が連続値である場合の重み関数の一例を示す図である。
【図７】引数が離散値である場合の重み関数の一例を示す図である。
【図８】本実施形態における画像校正評価処理手順の一例を示すフローチャートである。
【図９】本実施形態における評価値の算出処理手順の一例を示すフローチャートである。
【符号の説明】
【０１０３】
１０ 画像校正評価装置
１１ 画像入力手段
１２ パターン記憶手段
１３ 投影手段
１４ スキャン線分設定手段
１５ 評価値演算手段
２１ 校正用パターン
３１ 代表点
３２ 接線方向
４１ 投影像
４２ スキャン線分
【技術分野】
【０００１】
本発明は、画像校正評価装置及び画像校正評価プログラムに係り、特に、画像情報に基づいて校正の成否を定量化することにより評価の頑健性や精度を向上させるための画像校正評価装置及び画像校正評価プログラムに関する。
【背景技術】
【０００２】
従来のカメラ校正では、既定或いは予め測定済みのパターンを校正対象のカメラで撮影し、パターンの像の形状から解析的手法或いは繰り返し収束演算する手法によりカメラパラメータを求めることが行われている。
【０００３】
ここで、上述した繰り返し収束演算による手法の代表例としては、例えば実際に観測されたパターンの像と、カメラパラメータ及びパターンのモデルから推測した観測されるべきパターンの像との一致の度合を評価しつつ、その一致の度合が最大となるようにカメラパラメータを逐次修正する手法がある。また、上述したパターンとしては、複数の観測点とモデル上の点との対応関係を用いる手法（例えば、非特許文献１参照。）や、観測された複数の線（直線、線分、曲線等）とモデル上の線との対応関係を用いる手法がある。
【０００４】
また、上述した複数の点情報を用いる手法では、例えば線同士の交差した点や折れ線の頂点、円或いは矩形等の特定パターンの代表点（重心等）を特徴点として抽出し、モデルとの対応関係を求めることが主流である。
【０００５】
一方、複数の線情報を用いる手法では、例えばハフ変換や一般化ハフ変換によって、直線や曲線のパラメータを算出し、そのパラメータとモデルとの対応を取ることが行われている（例えば、特許文献１参照。）。
【非特許文献１】Ｒｏｇｅｒ Ｙ． Ｔｓａｉ：“Ａ Ｖｅｒｓａｔｉｌｅ Ｃａｍｅｒａ Ｃａｌｉｂｒａｔｉｏｎ Ｔｅｃｈｎｉｑｕｅ ｆｏｒ Ｈｉｇｈ−Ａｃｃｕｒａｃｙ ３Ｄ Ｍａｃｈｉｎｅ Ｖｉｓｉｏｎ Ｍｅｔｒｏｌｏｇｙ Ｕｓｉｎｇ Ｏｆｆ−ｔｈｅ−Ｓｈｅｌｆ ＴＶ Ｃａｍｅｒａｓ ａｎｄ Ｌｅｎｓｅｓ，”ＩＥＥＥ Ｊｏｕｒｎａｌ ｏｆ Ｒｏｂｏｔｉｃｓ ａｎｄ Ａｕｔｏｍａｔｉｏｎ，Ｖｏｌ．ＲＡ−３，Ｎｏ．４，ｐｐ．３２３−３４４，Ａｕｇｕｓｔ １９８７．
【特許文献１】特開２００４−２３４３３３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
ところで、上述した従来のカメラ校正手法では、画像内の特徴点や直線、曲線を抽出し、その座標やパラメータを得ることが最初の段階として行われ、続いてモデルを投影変換した点や線の座標やパラメータと、観測画像から得た座標やパラメータとの距離の比較が行われる。
【０００７】
ここで、通常、点や線の抽出処理は、画像に対する非線形の演算であり、元の画像情報の多くを喪失する傾向にある。このため、画像からの点や線の抽出が不安定になると、校正の成否を評価することができなくなり、カメラパラメータの推定が不可能となってしまう。
【０００８】
本発明は、上述した問題点に鑑みなされたものであり、画像情報に基づいて校正の成否を定量化することにより評価の頑健性や精度を向上させるための画像校正評価装置及び画像校正評価プログラムを提供することを目的とする。
【０００９】
なお、具体的には、本発明におけるカメラ校正評価は、点や線の抽出処理における情報喪失を回避するため、校正対象のカメラで撮影された画像の画素値の情報を直接的に用いて校正の成否を判定できるようにすることを目的とする。
【課題を解決するための手段】
【００１０】
上記課題を解決するために、本件発明は、以下の特徴を有する課題を解決するための手段を採用している。
【００１１】
請求項１に記載された発明は、撮像手段により得られる画像から、前記撮像手段の撮像パラメータにおける画像校正の成否を評価する画像校正評価装置において、前記撮像手段で撮影された校正対象の画像を取り込む画像入力手段と、校正用図形である直線又は曲線を含む３次元パターンの図形特徴を保持するパターン記憶手段と、前記図形特徴と入力された撮像パラメータとを用いて、画像座標系に投影された図形特徴を求める投影手段と、前記投影手段により投影された図形に基づき、前記校正用図形の投影像上に１以上の点を設定し、設定された各点を通る線分を設定するスキャン線分設定手段と、前記画像入力手段により取り込まれた画像において、前記線分上の各画素の画素値を取得し、取得した画素値を用いて校正の成否を定量化した評価値を算出する評価値演算手段とを有することを特徴とする。
【００１２】
請求項１記載の発明によれば、画像情報に基づいて校正の成否を定量化することにより評価の頑健性や精度を向上させることができる。
【００１３】
請求項２に記載された発明は、前記評価値演算手段は、前記スキャン線分設定手段で得られた全ての線分上の各画素の画素値に各線分上の位置に応じた予め設定された重み係数を掛けて積分値又は総和を求めることを特徴とする。
【００１４】
請求項２記載の発明によれば、例えば画像校正に必要な近距離部分の重みを重くすることで、より高精度な評価値を算出することができる。
【００１５】
請求項３に記載された発明は、前記投影手段は、前記パターン記憶手段に記憶された複数の幾何特徴情報から、前記撮像パラメータに対応した幾何特徴情報を前記図形特徴として取得し、取得した幾何特徴情報を投影変換して、画像座標系における幾何特徴情報を出力することを特徴とする。
【００１６】
請求項３記載の発明によれば、幾何特徴情報を用いることで、より高精度な評価値を容易に算出することができる。
【００１７】
請求項４に記載された発明は、前記図形特徴は、前記撮像手段により得られる直線又は曲線を含むパターン上の１以上の代表点と、前記代表点における前記直線又は曲線の接線方向とを含むことを特徴とする。
【００１８】
請求項４記載の発明によれば、パターンの代表点とその代表点における接線方向と含む図形特徴を利用することで、画像校正を容易に行うことができる。
【００１９】
請求項５に記載された発明は、前記スキャン線分設定手段は、前記図形特徴における前記代表点毎の像を通り、前記代表点における接線方向の像に直交する線分をスキャン線分として設定することを特徴とする。
【００２０】
請求項５記載の発明によれば、容易に校正評価に必要なスキャン線分を効率的に取得することができる。
【００２１】
請求項６に記載された発明は、撮像手段により得られる画像から、前記撮像手段の撮像パラメータにおける画像校正の成否を評価する画像校正評価プログラムにおいて、コンピュータを、前記撮像手段で撮影された校正対象の画像を取り込む画像入力手段、校正用図形である直線又は曲線を含む３次元パターンの図形特徴を保持するパターン記憶手段、前記図形特徴と入力された撮像パラメータとを用いて、画像座標系に投影された図形特徴を求める投影手段、前記投影手段により投影された図形に基づき、前記校正用図形の投影像上に１以上の点を設定し、設定された各点を通る線分を設定するスキャン線分設定手段、及び、前記画像入力手段により取り込まれた画像において、前記線分上の各画素の画素値を取得し、取得した画素値を用いて校正の成否を定量化した評価値を算出する評価値演算手段として機能させる。
【００２２】
請求項６記載の発明によれば、画像情報に基づいて校正の成否を定量化することにより評価の頑健性や精度を向上させることができる。更に、実行プログラムをコンピュータにインストールすることにより、容易に画像校正評価を実現することができる。
【発明の効果】
【００２３】
本発明によれば、画像情報に基づいて校正の成否を定量化することにより評価の頑健性や精度を向上させることができる。
【発明を実施するための最良の形態】
【００２４】
＜本発明の概要＞
本発明は、撮像手段であるカメラの位置、姿勢、又は焦点距離の各情報のうち、１以上からなるカメラパラメータ（撮像パラメータ）が、正しいか否かを評価する校正評価装置に関し、特に校正対象のカメラにより撮影された画像に基づいて評価を行う装置に関する。
【００２５】
具体的には本発明は、撮影空間中に含まれる既知の直線又は曲線パターンを用いて撮像手段であるカメラの設置位置、姿勢、又は焦点距離を校正する場合において、撮影したカメラにより得られた画像情報に基づき校正の成否の度合を定量化する。
【００２６】
例えば、カメラによって直線又は曲線を含むパターンを撮影し、次に直線又は曲線パターン（以下、曲線群）の既知のモデルに基づいて、曲線群上に点（代表点）を１以上取得する。また、代表点及び代表点における曲線の接線方向を、評価対象となるカメラパラメータ（カメラの設置位置、姿勢又は焦点距離）に基づき、画像座標系へ投影する。
【００２７】
次に、各代表点の投影像に関して、上述の投影像を通り、接線の投影像と直交する線分（スキャン線分）を求める。また、撮影画像においては、全てスキャン線分上の画素に対し、その画素値に各スキャン線分上の位置に応じて予め設定された重み係数を掛けつつ、その積分値若しくは総和を求め、校正の成否を定量化した評価値を算出して出力する。
【００２８】
以下に、上述したような特徴を有する本発明における画像校正評価装置及び画像校正評価プログラムを好適に実施した形態について、図面を用いて詳細に説明する。
【００２９】
＜画像校正評価装置：機能構成＞
図１は、本実施形態における映像構成評価装置の機能構成の一例を示す図である。図１に示す画像校正評価装置１０は、画像入力手段１１と、パターン記憶手段１２と、投影手段１３と、スキャン線分設定手段１４と、評価値演算手段１５とを有するよう構成されている。
【００３０】
画像入力手段１１は、校正対象である撮像手段としてのカメラにより撮影された画像を読み込み、読み取った画像を内蔵されるメモリ等に記憶する。なお、画像入力手段１１は、画像の記憶において、例えば画像座標（ｘ，ｙ）に対する画素値Ｉ（ｘ，ｙ）を参照可能な形式で記憶する。
【００３１】
ここで、上述のｘ及びｙは整数値とし、例えばｘは画像座標の水平成分を表し、ｙは画像座標の垂直成分を表すものとする。このとき、画像入力手段１１は、例えば画像の左上の隅の画素の画像座標をｘ＝０，ｙ＝０とおき、右に１画素移動する毎にｘの値を１ずつ増加させ、下に１画素移動する毎にｙの値を１ずつ増加させるように画像座標系を定義することができる。
【００３２】
また、校正対象のカメラとしては、例えばスチルカメラであってもよく、またビデオカメラであってもよい。また、出力される画像は、デジタル画像でもよく、また電子的なアナログ画像でもよい。ここで、校正対象のカメラがデジタル画像出力を有する場合、画像入力手段１１は、カメラから出力されるデータから各画素位置における画素値を取り出して、取り出した画素値をメモリに記憶することで、画像座標（ｘ，ｙ）に対する画素値Ｉ（ｘ，ｙ）を参照可能な状態とする。また、校正対象のカメラが電子的なアナログ画像出力を有する場合、画像入力手段１１は、カメラから出力される画像に対してアナログ／デジタル変換を施し、各画素位置における画素値を取得し、これらの画素値をメモリに記憶することで画像座標（ｘ，ｙ）に対する画素値Ｉ（ｘ，ｙ）を参照可能な状態とする。
【００３３】
更に、校正対象のカメラとしては、例えば化学反応によって画像を記録する方式（例えば、銀塩写真等）を用いることができる。このような場合、画像入力手段１１は、カメラにより撮影され現像されたフィルム、乾板、印画紙、若しくはこれらを光学的に拡大、縮小、等倍に転写したフィルム、乾板、印画紙を写真スキャナにより読み込む。また、画像入力手段１１は、読み込まれた画素値をメモリに記憶することで画像座標（ｘ，ｙ）に対する画素値Ｉ（ｘ，ｙ）を参照可能な状態とする。
【００３４】
パターン記憶手段１２は、実空間内に描画又は設置される直線群、曲線群又はこれらの組み合わせ（以下、曲線群という）によるカメラ校正に用いるカメラパターン（校正用パターン）の幾何特徴（図形特徴）を記憶するメモリである。
【００３５】
ここで、校正用パターンは、予め設定された寸法や角度、曲率に基づき作成されたパターンであってもよく、既に実空間内に存在する人工物や自然物の寸法や形状を測定したものであってもよい。
【００３６】
ここで、図２は、カメラ校正に用いるカメラパターンの一例を示す図である。例えば、図２に示すような各線分の長さや配置、姿勢が既知の線図を校正用パターン２１として用いることができる。したがって、例えばカメラからの撮影映像から取得できるサッカー場やラグビー場における競技場上のライン等、スポーツ競技に用いられるコートのライン等を校正用パターン２１として用いることができる。
【００３７】
なお、スポーツ競技のコートのラインを校正用パターン２１として用いる場合には、曲線群の長さや配置、姿勢、曲率等を予め測定しておくか、或いは競技ルールに定める値を用いるか、或いはそれらの併用によるものとする。
【００３８】
つまり、パターン記憶手段１２には、校正用パターンを構成する曲線群の幾何特徴を表す数値群等からなる幾何特徴情報が記憶される。ここで、上述した幾何特徴情報とは、校正用パターンを構成する曲線（直線、半直線、及び線分を含む、以下同じ）上の、１以上の代表点の座標と、各代表点における曲線の接線方向を記述することができる情報とを含むものとする。
【００３９】
例えば、幾何特徴情報としては、校正用パターンに含まれる線分の両端点の３次元座標、円の中心及び半径、楕円の中心、短半径、長半径及び長軸の位相角、円弧の中心、半径、始点の位相角及び終点の位相角、曲線上の代表点の座標及び代表点における接線方向等を用いることができる。
【００４０】
ここで、図３は、本実施形態における幾何特徴情報の一例を示す図である。図３に示す幾何特徴情報は、上述した図２に示す校正用パターン２１の曲線（この場合、線分）上に設定した代表点及び代表点における接線方向の例を示している。つまり、校正用パターン２１のライン上に有する１以上の代表点３１と、その代表点３１における接線方向３２とにより、幾何特徴情報を定義することができる。
【００４１】
なお、複数の代表点の設置間隔は、予め設定された画像中に存在するラインを基準にした間隔でもよく、また実際に撮影された場所に存在するラインを基準にした間隔でもよい。また、その間隔は、等間隔でも不等間隔でもよい。つまり、本発明における代表点の数及び位置については特に限定されるものではない。また、代表点３１における接線方向３２についても校正用パターン２１の線分上であればよい。
【００４２】
投影手段１３は、画像入力手段１１から入力される画像を撮影したカメラ（撮像手段）に対応して入力されたカメラパラメータ（撮像パラメータ）θに基づき、パターン記憶手段１２に記憶された幾何特徴情報から対応するカメラパラメータの幾何特徴情報を抽出し、抽出した幾何特徴情報を投影変換し、画像座標系における幾何特徴情報を出力する。
【００４３】
ここで、上述したカメラパラメータθには、例えば、カメラの設置位置、姿勢、及びレンズ（反射鏡、ピンホールを含む、以下同じ）の焦点距離（又は画角）のうち、１以上のパラメータを含むものとする。また、カメラパラメータθは、これらに加えてレンズの歪みパラメータや、光軸と画像平面の交点の画像座標、光軸の画像平面に対する傾き等の各パラメータのうち、１以上のパラメータを含んでいても構わない。
【００４４】
また、投影手段１３における投影変換は、校正対象のカメラのレンズ及び撮像面の構成や形状に対応して予め設定された投影を行う変換である。例えば、ピンホールやピンホールモデルによる近似が可能なレンズや反射鏡を用いて平面の画像面に投影する場合においては、透視投影を行うものとする。また、魚眼レンズによる場合には、等距離射影、等立体角射影、或いは正射影等の使用レンズと撮像面の関係に最も適合した投影モデルを適用する。
【００４５】
ここで、実空間における座標（Ｘ，Ｙ，Ｚ）からカメラパラメータθの投影手段１３により画像座標（ｘ，ｙ）へ変換する数式を、以下に示す（１）式とおく。
【００４６】
【数１】
ここで、例えばパターン記憶手段１２には、曲線上の第ｉ番目（但し、ｉ∈｛０，１，Ｎ−１｝、Ｎは１以上の整数）の代表点の座標（Ｘｉ，Ｙｉ，Ｚｉ）、及びその代表点における接線方向（Ｕｉ，Ｖｉ，Ｗｉ）が記憶されている。投影手段１３は、例えば投影変換が透視投影による場合、以下に示す（２）式〜（４）式により代表点の像（ｘｉ，ｙｉ）、及び代表点における接線方向の像（ｕｉ，ｖｉ）を取得することができる。
【００４７】
【数２】
スキャン線分設定手段１４は、投影手段１３により得られた校正用パターンの像に関する情報（例えば、代表点の像、及び代表点における接線方向の像）に基づき、画像平面内において１以上の線分を設定する。この線分は、後述する評価値演算手段１５における評価値の計算に用いるためのものであり、画素値の走査を行うための領域として用いられる。
【００４８】
例えば、スキャン線分設定手段１４は、上述した（２）式の各代表点の像（ｘｉ，ｙｉ）を通り、その代表点における接線方向の像（ｕｉ，ｖｉ）に直交する線分を、スキャン線分として設定する。
【００４９】
また、スキャン線分は、例えば以下に示す（５）式のようにｔを媒介変数として、（ｐｉ（ｔ），ｑｉ（ｔ））の軌跡として表すことができる。
【００５０】
【数３】
なお、上述した（５）式において、Ｔ０及びＴ１は、Ｔ０＜Ｔ１なる実数の定数とし、好ましくはＴ０＜０、Ｔ１＞０とする。例えば、Ｔ０＝−１０、Ｔ１＝１０とおく。
【００５１】
ここで、図４は、スキャン線分の一例を示す図である。図４に示すように、スキャン線分は、校正用図形の投影像４１に対して上述した各代表点３１の像を通り、接線方向の像に直交する線分をスキャン線分４２として設定する。
【００５２】
なお、複数のスキャン線分４２の設置間隔は、例えば予め設定された画像中の投影像４１を基準にした間隔でもよく、また実際に撮影された場所に存在するラインを基準にした間隔でもよい。また、その間隔は、等間隔でも不等間隔でもよい。つまり、本発明におけるスキャン線分の数及び位置については特に限定されるものではない。
【００５３】
評価値演算手段１５は、画像Ｉ（ｘ，ｙ）において、スキャン線分設定手段１４により設定された全線分上を走査し、走査された画素の画素値群に基づき評価値Ｅを算出して出力する。
【００５４】
例えば、評価値演算手段１５は、以下に示す（６）式により評価値Ｅを計算することができる。
【００５５】
【数４】
ここで、上述した（６）式において、ｆ（Ｉ）は画素値Ｉを引数に取り、実数を返す関数である。
【００５６】
例えば、画素値Ｉが赤ＩＲ、緑ＩＧ、及び青ＩＢの各色成分からなるベクトルである場合に、以下に示す（７）式からなる線形結合により、ｆ（Ｉ）を定義することができる。
【００５７】
【数５】
ここで、上述した（７）式において、ｋＲ、ｋＲ、及びｋＢは、何れも実数とし、ｋＲ、ｋＲ、及びｋＢの全てが０とはならないものとする。
【００５８】
また、例えば、ｆ（Ｉ）は、Ｉの画素値が色空間の既定の領域Ｃに含まれる場合と、そうでない場合とに応じて、以下に示す（８）式に示すように返す値を変化させるものとしてもよい。
【００５９】
【数６】
ここで、上述した（８）式は、ハードクロマキーによるキー値生成と等価である。したがって、例えば、校正対象の映像としてサッカー場を撮影している場合には、その映像から得られる画像の色が白色（コートのライン）か否か（例えば、緑色（サッカー場の芝生）等）を判断し、白線の場合は「１」とし、それ以外の場合（例えば、緑色等）は「０」とすることができる。
【００６０】
また、Ｉの値のそれぞれに応じて、ｆ（Ｉ）の返す値を全て定義しても構わない。つまり、画素値Ｉが離散的である場合には、例えばｆ（Ｉ）は画素値Ｉに対するルックアップテーブルを用いて実現可能である。
【００６１】
また、上述した（６）式の重み関数ｗ（ｔ）は、スキャン線分上の点の位置を表す媒介変数ｔに応じて変化する重み関数である。したがって、重み関数ｗ（ｔ）は、以下に示す（９）式を満たすことが好ましい。
【００６２】
【数７】
ここで、図５は、引数が連続値である場合の重み関数の一例を示す図である。例えば、重み関数ｗ（ｔ）として図５（ａ），（ｂ）に示すような関数を用いることができる。具体的には、例えば図５（ａ）の関数では、以下に示す（１０）式により表すことができる。
【００６３】
【数８】
なお、図５（ａ）と同様に、図５（ａ）の関数を反転させた図５（ｂ）の関数を用いてもよい。
【００６４】
更に、図６は、図５と異なる引数が連続値である場合の重み関数の一例を示す図である。例えば、重み関数ｗ（ｔ）として、図５に示す連続関数の他にコサインカーブ（余弦波）を用いて図６（ａ），（ｂ）に示すような関数を用いることができる。具体的には、例えば図６（ａ）の関数は、以下に示す（１１）式により表すことができる。
【００６５】
【数９】
なお、図６（ａ）と同様に、図６（ａ）の関数を反転させた図６（ｂ）の関数を用いてもよい。
【００６６】
また、上述した（６）式の積分の部分を離散化し、総和演算に置き換えても構わない。この場合には、評価値Ｅは、例えば以下に示す（１２）式で表すことができる。
【００６７】
【数１０】
ここで、ｔｊ（ｊ∈｛０，１，…，Ｊ−１｝）は、Ｔ０≦ｔｊ≦Ｔ１なる数列である。このとき、重み関数ｗ（ｔ）は、例えば、以下に示す（１３）式で表すことが好ましい。
【００６８】
【数１１】
ここで、上述した（１３）式において、ｔｊとしては、例えばＴ０≦τ≦Ｔ１を満たす実数τを、ある一定の間隔で昇順又は降順に並べたものとすることができる。なお、実数τは、画像負荷等を考慮して設定することができる。
【００６９】
更に、例えばｔｊとしてＴ０≦τ≦Ｔ１を満たす整数τを昇順に並べたものとすることができ、以下に示す（１４）式とすることができる。
【００７０】
【数１２】
ここで、ｆｌｏｏｒ［Ｔ］は、Ｔより大きくない最大の整数（即ち、Ｔに対する床関数）を表し、ｃｅｉｌ［Ｔ］はＴより小さくない最小の整数（即ち、Ｔに対する天井関数）を表す。このとき、例えば、Ｔ０＝−１０，Ｔ１＝１０の場合には、以下に示す（１５）式のようになる。
【００７１】
【数１３】
また、上述した（１２）式は、以下に示す（１６）式のように表すことができる。
【００７２】
【数１４】
ここで、図７は、引数が離散値である場合の重み関数の一例を示す図である。このとき、重み関数ｗ（ｔ）として、例えば図７に示す関数、即ち、以下に示す（１７）式のような関数を用いることができる。
【００７３】
【数１５】
なお、上述した（１７）式に示す関数は、上述した（１３）式の条件を満たす。
【００７４】
また、上述した（１７）式の他にも、例えば重み関数ｗ（ｔ）において、Ｔ０≦Ｔ≦Ｔ１の範囲の場合には、上に凸となる連続する関数であり、それ以外は０となる関数であれば、任意に適用することができる。
【００７５】
ここで、上述した（６）式、（１２）式、及び（１６）式において、画像座標（ｐ，ｑ）が、画像の外側にある場合には、画素値Ｉ（ｐ，ｑ）を零（０）又は零ベクトルと定義する。
【００７６】
また、画像座標（ｐ，ｑ）の成分ｐ又はｑの何れか一方又は両方が非整数値である場合には、例えば画像座標（ｐ，ｑ）の最近傍にある格子点（ｐ’，ｑ’）の画素値Ｉ（ｐ’，ｑ’）を用いて画素値Ｉ（ｐ，ｑ）とおくことができる。また、例えば画像座標（ｐ，ｑ）の周囲の複数の格子点における画素値からの補間処理により画素値Ｉ（ｐ，ｑ）を定めることもできる。
【００７７】
また、例えば画像座標（ｐ，ｑ）が画像の内側になるか否かを判定する関数として、以下に示す（１８）式を用いる。
【００７８】
【数１６】
また、評価値Ｅは、上述した（６）式の代わりに、以下に示す（１９）式を用いることもできる。
【００７９】
【数１７】
これにより、画像内に存在するスキャン線分（の部分）の総延長で規格化された評価値Ｅを定義することができる。また、評価値Ｅは、同様に上述した（１２）式の代わりに、以下に示す（２０）式を用いてもよい。
【００８０】
【数１８】
以上により、例えばサッカーコートのライン（白線の）ように、色の各成分が周囲よりもラインの方が高い場合において、上述した（７）式のｋＲ、ｋＧ、及びｋＢの各係数を０以上（但し、ｋＲ、ｋＧ、及びｋＢの何れか一つ以上は０より大きいものとする。例えば、ｋＲ＝０．３０、ｋＧ＝０．５９、及びｋＢ＝０．１１等）とし、更に、上述したＴ０＝−１０、Ｔ１＝１０とし、上述した（１５）式〜（１７）式を適用した場合には、カメラパラメータの校正が精密であればあるほど、上述した（１６）式の評価値Ｅは大きくなる。
【００８１】
上述した実施形態により、画像情報に基づいて校正の成否を定量化することにより評価の頑健性や精度を向上させることができる。具体的には、校正用図形のパターンの幾何特徴を画像面へ投影し、校正対象のカメラで撮影された画像上における幾何特徴情報の投影像近傍において、画素値を評価することができる。これにより、特徴点や線を予め抽出する従来の手法では喪失されてしまう原画像の画素値情報を有効活用することができ、校正の成否の評価の頑健性や精度を向上させることができる。
【００８２】
＜画像校正評価プログラム＞
ここで、上述した画像校正評価装置１０は、上述した専用の装置構成により本発明における画像校正評価処理を行うこともできるが、画像校正評価装置１０の一部、例えば、画像入力手段、パターン記憶手段、投影手段、スキャン線分設定手段、評価値演算手段等における各機能をコンピュータで実現するようにしてもよい。
【００８３】
この場合、上述した各制御機能を実現するための実行プログラム（画像校正評価プログラム）を生成し、例えば汎用のパーソナルコンピュータやサーバ等のコンピュータに実行プログラムをインストールすることにより、本発明における画像校正評価処理を実現することができる。
【００８４】
また、コンピュータ本体にインストールされる実行プログラムは、例えばＣＤ−ＲＯＭ等の記録媒体等により提供することができる。この場合、実行プログラムを記録した記録媒体は、コンピュータが備えるドライブ装置等にセットされ、記録媒体に含まれる実行プログラムが、記録媒体からドライブ装置を介してコンピュータが備える補助記憶装置等にインストールされる。
【００８５】
なお、記録媒体としては、ＣＤ−ＲＯＭ以外でも、例えばフレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的或いは磁気的に記録する記録媒体、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等、様々なタイプの記録媒体を用いることができる。
【００８６】
また、コンピュータは、通信ネットワークに接続可能なネットワーク接続装置等を備え、通信ネットワークに接続されている他の端末等から実行プログラムを取得したり、プログラムを実行することで得られた実行結果又は本発明における実行プログラム自体を他の端末等に提供することができる。
【００８７】
なお、コンピュータが備える補助記憶装置は、ハードディスク等のストレージ手段であり、本発明における実行プログラムや、コンピュータに設けられた制御プログラム等を蓄積し必要に応じて入出力を行うことができる。また、コンピュータが備えるメモリ装置は、ＣＰＵにより補助記憶装置から読み出された実行プログラム等を格納する。なお、メモリ装置は、ＲＯＭやＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等からなる。
【００８８】
また、コンピュータは、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を備え、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）等の制御プログラムや実行プログラムに基づいて、各種演算や各構成部間のデータの入出力等、コンピュータ全体の処理を制御して各処理を実現することができる。
【００８９】
これにより、特別な装置構成を必要とせず、低コストで効率的に画像校正評価処理を実現することができる。また、プログラムをインストールすることにより、画像校正評価処理を容易に実現することができる。
【００９０】
＜画像校正評価処理＞
次に、本発明における実行プログラムによる画像校正評価処理手順についてフローチャートを用いて説明する。
【００９１】
＜画像校正評価処理手順＞
図８は、本実施形態における画像校正評価処理手順の一例を示すフローチャートである。図８において、まず校正対象のカメラで撮影された映像に含まれる画像を取り込む（Ｓ０１）。次に、予め蓄積された校正用図形である直線又は曲線を含む３次元パターンの図形特徴（幾何特徴）と、入力されたカメラパラメータとに基づき、画像座標系に投影された図形特徴を求める（Ｓ０２）。
【００９２】
次に、上述したＳ０２の処理において、投影された図形に基づき、画像平面上において、校正用図形の投影像上に１以上の点を設定し（Ｓ０３）、その各点について、その点を通る線分をスキャン線分として設定する（Ｓ０４）。
【００９３】
次に、Ｓ０１の処理により、画像入力手段１１から取り込まれた画像において、スキャン線分群上の画素に対し、その画素値に各スキャン線分上の位置に応じた予め設定された重み係数を掛けつつ、その総和を求め（Ｓ０５）、求めた総和に基づいて校正の成否を定量化した評価値を上述した数式等により算出して出力する（Ｓ０６）。
【００９４】
これにより、カメラ校正評価を数値により確実且つ迅速に行うことができる。また、その結果に応じて、校正対象のカメラの各種カメラパラメータにフィードバックする等の制御を行うことができる。
【００９５】
＜評価値Ｅの算出処理手順＞
次に、上述したＳ０６の処理における本実施形態における評価値の算出処理手順についてフローチャートを用いて具体的に説明する。図９は、本実施形態における評価値の算出処理手順の一例を示すフローチャートである。なお、以下に示す説明では、上述した評価値Ｅの算出手法に基づいて説明する。
【００９６】
評価値Ｅを算出する場合、まず初期化（ｉ＝０，Ｅ＝０）を行い（Ｓ１１）、次にパターン記憶手段１２により第ｉ番目（但し、ｉ∈｛０，１，Ｎ−１｝、Ｎは１以上の整数）の代表点の座標（Ｘｉ，Ｙｉ，Ｚｉ）と接線方向（Ｕｉ，Ｖｉ，Ｗｉ）を読み出す（Ｓ１２）。次に、座標（Ｘｉ，Ｙｉ，Ｚｉ）と上述した（２）式とにより、代表点の像（ｘｉ，ｙｉ）を取得する（Ｓ１３）。また、座標（Ｘｉ，Ｙｉ，Ｚｉ）、接線方向（Ｕｉ，Ｖｉ，Ｗｉ）、及び上述した（３）式、（４）式により、接線方向の像（ｕｉ，ｖｉ）を取得する（Ｓ１４）。
【００９７】
ここで、変数であるｊの値を初期化（ｊ＝０）とし（Ｓ１５）、ｔｊ＝［Ｔ０］＋ｊとして（Ｓ１６）、代表点の像（ｘｉ，ｙｉ）と接線方向の像（ｕｉ，ｖｉ）と上述した（４）式とに基づいて、スキャン線分上の点（ｐｉ（ｔｊ），ｑｉ（ｔｊ））を取得する（Ｓ１７）。また、評価値Ｅは、Ｅ＋ｗ（ｔｊ）ｆ（Ｉ（ｐｉ（ｔｊ），ｑｉ（ｔｊ）））とし（Ｓ１８）、変数ｊを１増加し（ｊ＝ｊ＋１）（Ｓ１９）、変数ｊが“ｆｌｏｏｒ［Ｔ１］−ｃｅｉｌ［Ｔ０］＋１”以上であるか否かを判断する（Ｓ２０）。ここで、ｊが“ｆｌｏｏｒ［Ｔ１］−ｃｅｉｌ［Ｔ０］＋１”未満である場合（Ｓ２０において、ＮＯ）、Ｓ１６に戻り後述の処理を行う。また、Ｓ２０の処理において、ｊが“ｆｌｏｏｒ［Ｔ１］−ｃｅｉｌ［Ｔ０］＋１”以上である場合（Ｓ２０において、ＹＥＳ）、ｉに１を増加し（ｉ＝ｉ＋１）（Ｓ２１）、ｉがＮ以上であるか否かを判断する（Ｓ２２）。
【００９８】
ここで、ｉがＮ未満である場合（Ｓ２２において、ＮＯ）、Ｓ１２に戻り後述の処理を行う。また、Ｓ２２の処理において、ｉがＮ以上である場合（Ｓ２２において、ＹＥＳ）、その評価値Ｅを出力し（Ｓ２３）、処理を終了する。
【００９９】
上述したような処理により、本実施形態における評価値Ｅを高精度に算出することができる。また、上述の処理にて得られた評価値Ｅに基づいて、正確且つ迅速に画像校正評価を行うことができ、その結果に対応させて正確な映像を取得するためにフィードバック処理による制御を行って高精度な処理を実現することができる。
【０１００】
上述したように本発明によれば、画像情報に基づいて校正の成否を定量化することにより評価の頑健性や精度を向上させることができる。具体的には、校正用図形のパターンの幾何特徴（図形特徴）を画像面へ投影し、校正対象のカメラで撮影された画像上における幾何特徴情報の投影像近傍において、画素値を評価することができる。これにより、特徴点や線を予め抽出する従来の手法では喪失されてしまう原画像の画素値情報を有効活用することができ、校正の成否の評価の頑健性や精度を向上させることができる。
【０１０１】
以上本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。
【図面の簡単な説明】
【０１０２】
【図１】本実施形態における映像構成評価装置の機能構成の一例を示す図である。
【図２】カメラ校正に用いるカメラパターンの一例を示す図である。
【図３】本実施形態における幾何特徴情報の一例を示す図である。
【図４】スキャン線分の一例を示す図である。
【図５】引数が連続値である場合の重み関数の一例を示す図である。
【図６】図５と異なる引数が連続値である場合の重み関数の一例を示す図である。
【図７】引数が離散値である場合の重み関数の一例を示す図である。
【図８】本実施形態における画像校正評価処理手順の一例を示すフローチャートである。
【図９】本実施形態における評価値の算出処理手順の一例を示すフローチャートである。
【符号の説明】
【０１０３】
１０ 画像校正評価装置
１１ 画像入力手段
１２ パターン記憶手段
１３ 投影手段
１４ スキャン線分設定手段
１５ 評価値演算手段
２１ 校正用パターン
３１ 代表点
３２ 接線方向
４１ 投影像
４２ スキャン線分
【特許請求の範囲】
【請求項１】
撮像手段により得られる画像から、前記撮像手段の撮像パラメータにおける画像校正の成否を評価する画像校正評価装置において、
前記撮像手段で撮影された校正対象の画像を取り込む画像入力手段と、
校正用図形である直線又は曲線を含む３次元パターンの図形特徴を保持するパターン記憶手段と、
前記図形特徴と入力された撮像パラメータとを用いて、画像座標系に投影された図形特徴を求める投影手段と、
前記投影手段により投影された図形に基づき、前記校正用図形の投影像上に１以上の点を設定し、設定された各点を通る線分を設定するスキャン線分設定手段と、
前記画像入力手段により取り込まれた画像において、前記線分上の各画素の画素値を取得し、取得した画素値を用いて校正の成否を定量化した評価値を算出する評価値演算手段とを有することを特徴とする画像校正評価装置。
【請求項２】
前記評価値演算手段は、
前記スキャン線分設定手段で得られた全ての線分上の各画素の画素値に各線分上の位置に応じた予め設定された重み係数を掛けて積分値又は総和を求めることを特徴とする請求項１に記載の画像校正評価装置。
【請求項３】
前記投影手段は、
前記パターン記憶手段に記憶された複数の幾何特徴情報から、前記撮像パラメータに対応した幾何特徴情報を前記図形特徴として取得し、取得した幾何特徴情報を投影変換して、画像座標系における幾何特徴情報を出力することを特徴とする請求項１又は２に記載の画像校正評価装置。
【請求項４】
前記図形特徴は、
前記撮像手段により得られる直線又は曲線を含むパターン上の１以上の代表点と、前記代表点における前記直線又は曲線の接線方向とを含むことを特徴とする請求項１乃至３の何れか１項に記載の画像校正評価装置。
【請求項５】
前記スキャン線分設定手段は、
前記図形特徴における前記代表点毎の像を通り、前記代表点における接線方向の像に直交する線分をスキャン線分として設定することを特徴とする請求項４に記載の画像校正評価装置。
【請求項６】
撮像手段により得られる画像から、前記撮像手段の撮像パラメータにおける画像校正の成否を評価する画像校正評価プログラムにおいて、
コンピュータを、
前記撮像手段で撮影された校正対象の画像を取り込む画像入力手段、
校正用図形である直線又は曲線を含む３次元パターンの図形特徴を保持するパターン記憶手段、
前記図形特徴と入力された撮像パラメータとを用いて、画像座標系に投影された図形特徴を求める投影手段、
前記投影手段により投影された図形に基づき、前記校正用図形の投影像上に１以上の点を設定し、設定された各点を通る線分を設定するスキャン線分設定手段、及び、
前記画像入力手段により取り込まれた画像において、前記線分上の各画素の画素値を取得し、取得した画素値を用いて校正の成否を定量化した評価値を算出する評価値演算手段として機能させることを特徴とする画像校正評価プログラム。
【請求項１】
撮像手段により得られる画像から、前記撮像手段の撮像パラメータにおける画像校正の成否を評価する画像校正評価装置において、
前記撮像手段で撮影された校正対象の画像を取り込む画像入力手段と、
校正用図形である直線又は曲線を含む３次元パターンの図形特徴を保持するパターン記憶手段と、
前記図形特徴と入力された撮像パラメータとを用いて、画像座標系に投影された図形特徴を求める投影手段と、
前記投影手段により投影された図形に基づき、前記校正用図形の投影像上に１以上の点を設定し、設定された各点を通る線分を設定するスキャン線分設定手段と、
前記画像入力手段により取り込まれた画像において、前記線分上の各画素の画素値を取得し、取得した画素値を用いて校正の成否を定量化した評価値を算出する評価値演算手段とを有することを特徴とする画像校正評価装置。
【請求項２】
前記評価値演算手段は、
前記スキャン線分設定手段で得られた全ての線分上の各画素の画素値に各線分上の位置に応じた予め設定された重み係数を掛けて積分値又は総和を求めることを特徴とする請求項１に記載の画像校正評価装置。
【請求項３】
前記投影手段は、
前記パターン記憶手段に記憶された複数の幾何特徴情報から、前記撮像パラメータに対応した幾何特徴情報を前記図形特徴として取得し、取得した幾何特徴情報を投影変換して、画像座標系における幾何特徴情報を出力することを特徴とする請求項１又は２に記載の画像校正評価装置。
【請求項４】
前記図形特徴は、
前記撮像手段により得られる直線又は曲線を含むパターン上の１以上の代表点と、前記代表点における前記直線又は曲線の接線方向とを含むことを特徴とする請求項１乃至３の何れか１項に記載の画像校正評価装置。
【請求項５】
前記スキャン線分設定手段は、
前記図形特徴における前記代表点毎の像を通り、前記代表点における接線方向の像に直交する線分をスキャン線分として設定することを特徴とする請求項４に記載の画像校正評価装置。
【請求項６】
撮像手段により得られる画像から、前記撮像手段の撮像パラメータにおける画像校正の成否を評価する画像校正評価プログラムにおいて、
コンピュータを、
前記撮像手段で撮影された校正対象の画像を取り込む画像入力手段、
校正用図形である直線又は曲線を含む３次元パターンの図形特徴を保持するパターン記憶手段、
前記図形特徴と入力された撮像パラメータとを用いて、画像座標系に投影された図形特徴を求める投影手段、
前記投影手段により投影された図形に基づき、前記校正用図形の投影像上に１以上の点を設定し、設定された各点を通る線分を設定するスキャン線分設定手段、及び、
前記画像入力手段により取り込まれた画像において、前記線分上の各画素の画素値を取得し、取得した画素値を用いて校正の成否を定量化した評価値を算出する評価値演算手段として機能させることを特徴とする画像校正評価プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１０−１２２９７６（Ｐ２０１０−１２２９７６Ａ）
【公開日】平成２２年６月３日（２０１０．６．３）
【国際特許分類】
【出願番号】特願２００８−２９７０３２（Ｐ２００８−２９７０３２）
【出願日】平成２０年１１月２０日（２００８．１１．２０）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
【公開日】平成２２年６月３日（２０１０．６．３）
【国際特許分類】
【出願日】平成２０年１１月２０日（２００８．１１．２０）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
[ Back to top ]