マルチカメラのキャリブレーション用全周フィールド
【課題】マルチカメラをキャリブレーションする場合の被写体であって、カメラごとに被写体を移動させることなく、高精度なマルチカメラのキャリブレーションが可能な全周フィールドおよびその撮影方法を提供する。
【解決手段】全周フィールドは、基準方向に光軸を有する基準カメラ１１と、基準方向とは異なる方向に光軸を有する他のカメラ１２とを有するマルチカメラ１０ａで撮影し、キャリブレーションするための全周フィールド１であって、マルチカメラ１０ａの内部パラメータまたは外部パラメータを測定するために撮影される、全周フィールド１内に配置された、三次元座標が既知の複数のターゲットを備える。基準方向から所定の角度範囲においては、ターゲットが第１の密度で配置され、基準方向から所定の角度範囲の範囲外においては、ターゲットが第１の密度よりも高い第２の密度で配置される。また、全周フィールド１の法線は、少なくとも２方向を有する。
【解決手段】全周フィールドは、基準方向に光軸を有する基準カメラ１１と、基準方向とは異なる方向に光軸を有する他のカメラ１２とを有するマルチカメラ１０ａで撮影し、キャリブレーションするための全周フィールド１であって、マルチカメラ１０ａの内部パラメータまたは外部パラメータを測定するために撮影される、全周フィールド１内に配置された、三次元座標が既知の複数のターゲットを備える。基準方向から所定の角度範囲においては、ターゲットが第１の密度で配置され、基準方向から所定の角度範囲の範囲外においては、ターゲットが第１の密度よりも高い第２の密度で配置される。また、全周フィールド１の法線は、少なくとも２方向を有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マルチカメラをキャリブレーションする際の被写体であって、内部パラメータおよび外部パラメータを正確に測定するための、マルチカメラのキャリブレーション用全周フィールドに関する。
【背景技術】
【０００２】
従来から、収差の少ない画像を得るために、精密に計測され三次元上に配置された多数の点を複数方向から撮影し計測することにより、カメラの内部パラメータおよび外部パラメータを解析的に求めている。
【０００３】
従来のカメラのキャリブレーション用被写体としては、焦点距離が可変であるズームレンズの場合でも比較的狭い空間で使用可能な校正用三次元フィールドがある（例えば、特許文献１参照。）。校正用三次元フィールドは、例えば地下室のような温度変化の少ない環境において、コンクリート壁のような壁面やパネルに、広角用の基準マークと望遠用の基準マークを、相対的な位置関係が変動しないように配置させたものである（段落００２２、図１〜図４）。この校正用三次元フィールドを、校正対象である単一のキャリブレーションチャート撮影用カメラで複数方向から撮影し、キャリブレーションチャート画像を取得する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−３４７５４４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、複数のカメラを外向きに配置し、複数方向の画像を取得可能なマルチカメラ（図７参照）をキャリブレーションする場合、校正用三次元フィールドのようなキャリブレーション用被写体を用いると、カメラの方向ごとにキャリブレーション用被写体を移動させ撮影しなければならない。
そこで本発明は、マルチカメラをキャリブレーションする場合に用いる被写体であって、カメラの方向ごとに被写体を移動させることなく、高精度なマルチカメラのキャリブレーションが可能となるキャリブレーション用被写体（全周フィールド）を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の第１の態様に係る全周フィールドは、例えば図１に示すように、基準方向に光軸１１’を有する基準カメラ１１と、前記基準方向とは異なる方向に光軸１２’を有する他のカメラ１２とを有するマルチカメラ１０ａで撮影し、マルチカメラ１０ａをキャリブレーションするための全周フィールド１であって、マルチカメラ１０ａの内部パラメータまたは外部パラメータを測定するために撮影される、全周フィールド１内に配置された、三次元座標が既知の複数のターゲットを備え；前記基準方向から所定の角度範囲においては、前記ターゲットが第１の密度で配置され、前記基準方向から所定の角度範囲の範囲外においては、前記ターゲットが前記第１の密度よりも高い第２の密度で配置され、前記全周フィールド１の法線は、少なくとも２方向を有する。
なお、マルチカメラとは、光軸方向が異なる複数のカメラが外向きに配置され、複数方向の視野の画像を同期して取得することができるカメラシステムをいう。したがって、マルチカメラには、純粋の全周、例えば水平方向３６０度を複数のカメラで撮影できるものほか、任意の方向の３６０度を複数のカメラで撮影できるものを含み、さらに、３６０度までいかなくとも、１８０度を超える相当広範囲を複数のカメラで撮影できるもの（超広範囲を撮影するカメラ）も含まれる。「全周フィールド」の「全周」とは、３６０度に限られず、マルチカメラの各カメラがターゲットを撮影できるように、各カメラを覆う空間が形成できればよい。すなわち、撮影対象となるターゲットが各カメラの撮影領域に存在するように配置可能なフィールドであればよい。全周フィールドを構成するものとしては、上記の壁面に限られず、パネル等を用いてもよい。既知の「三次元座標」とは、絶対基準点としての世界座標系における既知の三次元座標をいう。「世界座標系」とは、マルチカメラの有する全てのカメラについて統一した座標系をいう。
【０００７】
このように構成すると、画像中心部と比べてレンズ歪みの大きい画像周辺部であっても、高精度なキャリブレーションが可能となる。一般的にマルチカメラは、それぞれのカメラに広角レンズが用いられ、広い視野の画像を取得する。そのため、得られた画像はレンズによる歪みが大きい。本願発明では、基準方向からの所定の角度範囲の範囲外において、より高い密度でターゲットを配置することにより、歪みの大きい場所でのキャリブレーションの精度を高めることができる。さらに、基準方向からの所定の角度範囲においては、より低い密度とすることで、キャリブレーション時の計算量を減らすことができる。さらに、全周フィールドを移動させることなく、マルチカメラが有する各カメラを同期させてターゲットを撮影することが可能となる。
【０００８】
本発明の第２の態様に係る全周フィールドは、上記本発明の第１の態様に係る全周フィールド１において、例えば図５に示すように、前記第１の密度で配置されたターゲットは、第１の大きさであり、前記第２の密度で配置されたターゲットは、第１の大きさよりも大きな第２の大きさであり、撮影されたターゲットの大きさが揃うように、前記第１の大きさのターゲットと前記第２の大きさのターゲットは構成されている。
なお、「ターゲットの大きさが揃う」とは、完全に同一の大きさとなる場合に限られず、撮影精度が保証できる大きさでターゲットを撮影できるのであれば、大きさが多少異なる場合も含まれる。
【０００９】
このように構成すると、ターゲットの大きさが画像周辺部と比べて中心部では小さくなるが、撮影精度が保証できる大きさとすることができる。
【００１０】
本発明の第３の態様に係る全周フィールドは、上記本発明の第１の態様または第２の態様に係る全周フィールド１において、例えば図１に示すように、基準カメラ１１と他のカメラ１２は、互いにオーバーラップ領域１４を設けて撮影するように配置され、前記第２の密度で配置されたターゲットは、オーバーラップ領域１４に撮影されるように前記ターゲットを配置する。
なお、本発明の第３の態様に係る全周フィールドは、所望のキャリブレーションの精度が担保できる範囲内であれば、ターゲットが、オーバーラップ領域よりもより広範囲に密に配置される場合、およびオーバーラップ領域よりもより狭範囲に密に配置される場合をも含むものとする。すなわち、ターゲットを密に配置する領域は、オーバーラップ領域と完全に重なる場合に限られず、密に配置する領域とオーバーラップ領域に多少のずれが生じている場合も含むものとする。
【００１１】
このように構成すると、オーバーラップ領域にはより高い密度で配置されたターゲットが撮影されるため、画像歪み（レンズ歪み）の大きい部分でのキャリブレーションの精度が高くなり、マルチカメラで撮影された画像間の繋ぎの精度を高めることができる。よって、パノラマ画像の作成において、つなぎ部分の違和感のより少ない画像を得ることができる。すなわち、パノラマ画像を取得するためのより正確なカメラ間のキャリブレーションが可能となる。なお「パノラマ画像」とは、パノラマ動画像をも含む。
【００１２】
本発明の第４の態様に係る全周フィールドは、上記本発明の第３の態様に係る全周フィールド１において、例えば図１に示すように、他のカメラ１２の光軸方向から所定の角度範囲は、オーバーラップ領域１４以外の領域であり、他のカメラ１２の光軸方向から所定の角度範囲においては、前記ターゲットが第３の密度で配置され、前記第２の密度は、前記第３の密度よりも高い。
【００１３】
このように構成すると、基準カメラと他のカメラの光軸方向から所定の角度範囲においては、ターゲットがより粗く配置されるため、各カメラのキャリブレーション時の計算量を減らすことができる。一方で、各カメラの光軸方向から所定の角度範囲の範囲外（オーバーラップ領域）においては、ターゲットがより密に配置されるため、各カメラのキャリブレーションの精度を高めることができる。
【００１４】
本発明の第５の態様に係る全周フィールドは、上記本発明の第１の態様乃至第４の態様のいずれか１の態様に係る全周フィールド１において、基準カメラ１１の前記基準方向から所定の角度範囲は、カメラが有するレンズの所定の歪み量以下の範囲である。
【００１５】
このように構成すると、レンズの所定の歪み量に基づいて、所定の角度範囲およびその角度範囲外を決定できる。したがって、より効率的に、歪み量のより少ない範囲においてはキャリブレーション時の計算量を減らすことができ、歪み量のより多い範囲においてはキャリブレーションの精度を高めることができる。
【００１６】
本発明の第６の態様に係る全周フィールドは、上記本発明の第１の態様乃至第５の態様のいずれか１の態様に係る全周フィールド１において、例えば図３（ａ）に示すように、全周フィールドが、マルチカメラの周囲を囲むように構成される。
【００１７】
このように構成すると、水平方向３６０度の視野を撮影することができるマルチカメラのキャリブレーションが可能となる。
【００１８】
本発明の第７の態様に係る全周フィールドは、上記本発明の第１の態様乃至第５の態様のいずれか１の態様に係る全周フィールドにおいて、例えば図７に示すように、基準カメラが天頂方向に向けられ、前記基準方向とは異なる方向に光軸を有する複数の他のカメラが前記基準カメラの周囲に配置されたマルチカメラ１０ｂ、１０ｃ、１０ｄにより撮影される全周フィールドであって、前記全周フィールドは、マルチカメラ１０ｂ、１０ｃ、１０ｄの周囲を囲む側面と、マルチカメラ１０ｂ、１０ｃ、１０ｄを覆う上面から構成される。
なお、「天頂方向」とは、天頂に限られず、天底方向、水平方向、および、任意の方向をも含み、基準カメラがこれらの方向に向けて設置される場合をも含む。
【００１９】
このように構成すると、各カメラが全周および天頂方向に配置されたマルチカメラであっても全周フィールドを撮影でき、全天球パノラマ画像を生成可能なマルチカメラのキャリブレーションが可能となる。なお、基準カメラが水平方向に向けられた場合は、全天球パノラマ画像は９０度反転し、天底に向けられた場合は１８０度反転する。
【００２０】
本発明の第８の態様に係る全周フィールドは、上記本発明の第１の態様乃至第７の態様のいずれか１の態様に係る全周フィールドにおいて、例えば図１６に示すように、前記ターゲットは、カラーコード付きターゲットである。
【００２１】
このように構成すると、ターゲットにカラーコード付きターゲットを使用しているため、各ターゲットを容易に識別でき、特にオーバーラップ領域における画像間の対応点の特定を容易にすることができる。さらに、カラーコード付きターゲットを使用して、公知の方法を用いて各カメラの明度低下現象の補正や複数カメラ間の相対的な色調補正が可能となる。
【００２２】
本発明の第９の態様に係る全周フィールドの撮影方法は、例えば図１３に示すように、基準方向に光軸１１’を有する基準カメラ１１と、前記基準方向とは異なる方向に光軸１２’を有する他のカメラ１２とを有するマルチカメラ１０ａで撮影する、キャリブレーション用全周フィールド１の撮影方法であって、マルチカメラ１０ａを配置する工程（Ｓ０１）と；前記基準方向から所定の角度範囲においては、三次元座標が既知のターゲットを第１の密度で配置し、前記基準方向から所定の角度範囲の範囲外においては、三次元座標が既知のターゲットを前記第１の密度よりも高い第２の密度で配置して、全周フィールド１の法線方向が少なくとも２方向になるように全周フィールド１を構成する工程（Ｓ０２）と；基準カメラ１１の光軸１１’を、前記第１の密度で配置されたターゲットに向けてセットする工程（Ｓ０３）と；マルチカメラ１０ａの内部パラメータまたは外部パラメータを測定するために、複数の前記ターゲットをマルチカメラ１０ａで撮影する工程（Ｓ０４）とを備える。なお、ターゲットに向けてセットする工程（Ｓ０３）は、全周フィールドの法線方向に向けてセットすることが好ましい。
なお、マルチカメラ１０ａを配置する工程（Ｓ０１）と全周フィールド１を構成する工程（Ｓ０２）は、順序を問わない。
【００２３】
このように構成すると、基準方向からの所定の角度範囲の範囲外において、より高い密度でターゲットを配置することにより、レンズ歪みの大きい場所でのキャリブレーションの精度を高めることができ、基準方向からの所定の角度範囲においては、より低い密度で配置することで、キャリブレーション時の計算量を減らすことができる全周フィールドの撮影方法となる。
【００２４】
本発明の第１０の態様に係る全周フィールドの撮影方法は、上記本発明の第９の態様に係る全周フィールドの撮影方法において、例えば図１３に示すように、全周フィールド１を構成する工程（Ｓ０２）は、基準カメラ１１と他のカメラ１２が互いにオーバーラップ領域を設けて撮影するように、かつ、前記オーバーラップ領域には、前記第２の密度で配置されたターゲットが撮影されるように、全周フィールド１を構成する。
【００２５】
このように構成すると、オーバーラップ領域にはより高い密度で配置されたターゲットが撮影されるため、画像歪み（レンズ歪み）の大きい部分でのキャリブレーションの精度が高くなり、特に画像間の繋ぎの精度を高めることができる全周フィールドの撮影方法となる。よって、パノラマ画像の作成において、つなぎ部分の違和感のより少ない画像を得ることができる。すなわち、パノラマ画像を取得するためのより正確なカメラ間のキャリブレーションが可能となる。
【発明の効果】
【００２６】
本発明の全周フィールドは、マルチカメラをキャリブレーションする場合の被写体であって、カメラごとに被写体を移動させることなく、高精度なマルチカメラのキャリブレーションが可能となる。
【図面の簡単な説明】
【００２７】
【図１】３つのカメラを有するマルチカメラ１０ａと、全周フィールド１の位置関係およびターゲットを粗くおよび密に配置する例を説明する図である。
【図２】壁面（マルチカメラの、天頂、前後、左右）にターゲットを貼り付け、全周フィールドを構成した場合の図である。
【図３】全周フィールドの形状を例示する図である。
【図４】オーバーラップ領域および、撮影画像とキャリブレーション画像を示す図（その１）である。
【図５】撮影画像とキャリブレーション画像を示す図（その２）である。
【図６】撮影画像とキャリブレーション画像を示す図（その３）である。
【図７】マルチカメラの例を示す図である。
【図８】天頂カメラを基準カメラとしてターゲットを撮影した場合を示す図である。
【図９】側面カメラを基準カメラとしてターゲットを撮影した場合を示す図である。
【図１０】オリエンテーション接続を説明する図（その１）である。
【図１１】オリエンテーション接続を説明する図（その２）である。
【図１２】機械座標系への変換を説明する図である。
【図１３】全周フィールドの撮影方法の処理フローを示す図である。
【図１４】単写真標定を説明する図である。
【図１５】外部パラメータ（オリエンテーションパラメータ）、内部パラメータ（カメラキャリブレーションパラメータ）を説明する図である。
【図１６】カラーコード付きターゲットＣＴ１を示す図である。
【図１７】カラーコード抽出手段の構成例を示す図である。
【図１８】カラーコード付きターゲットの抽出のフロー例を示す図である。
【図１９】レトロターゲットを用いた重心位置検出の説明図である。
【図２０】カラーコード付きターゲット領域方向検出処理部の処理フロー例を示す図である。
【図２１】カラーコード付きターゲット領域方向検出処理部の処理フロー例（続）を示す図である。
【図２２】レトロターゲットのコード読み込みを説明するための図（その１）である。
【図２３】レトロターゲットのコード読み込みを説明するための図（その２）である。
【図２４】複数の画像で撮影されるカラーコード付きターゲットの例を示す図である。
【図２５】カラーコード付きターゲットＣＴ２を示す図である。
【図２６】カラーコード付きターゲットＣＴ３を示す図である。
【図２７】カラーコード付きターゲットＣＴ４を示す図である。
【図２８】カラーコード付きターゲットＣＴ５を示す図である。
【図２９】カラーコード付きターゲットＣＴ６を示す図である。
【図３０】カラーコード付きターゲットＣＴ７を示す図である。
【図３１】カラーコード付きターゲットＣＴ８を示す図である。
【図３２】カラーコード付きターゲットＣＴ９を示す図である。
【図３３】カラーコード付きターゲットＣＴ１０を示す図である。
【図３４】カラーコード付きターゲットＣＴ１１を示す図である。
【図３５】複数のカラーレトロターゲットを組み合わせたカラーコード付きターゲットＣＴ１２を示す図である。
【発明を実施するための形態】
【００２８】
以下、図面を参照して本発明の実施の形態について説明する。なお、各図において互いに同一または相当する部分には同一あるいは類似の符号を付し、重複した説明は省略する。また、本発明は、以下の実施の形態に制限されるものではない。
【００２９】
［全周フィールド］
本発明の第１の実施の形態に係る全周フィールドについて説明する。マルチカメラをキャリブレーションするために撮影する全周フィールドは、基本的にマルチカメラを覆う空間において、三次元座標が既知の複数のターゲットを空間的に張り巡らして配置させたものである。なお、ターゲットの世界座標系における正確な三次元座標は、トータルステーション等で計測し、または、デジタル写真測量若しくはフリーネットワーク調整等の手法を用いて既知とする。
【００３０】
例えば図１には、３つのカメラを有するマルチカメラ１０ａを用いて、全周フィールド１を撮影する場合のターゲットの配置例（粗くまたは密に）を示す。なお便宜的にマルチカメラ１０ａの有するカメラのうちから任意の１つを基準カメラとする。図１では、カメラ１１を基準カメラとし、カメラ１１の光軸１１’を中心とする所定の角度範囲においては、第１の密度でターゲットを配置する。他のカメラ１２、１３の光軸１２’、１３’を中心とする所定の角度範囲においては、第３の密度でターゲットを配置する。このとき、第1の密度と第３の密度は、同一でもよく異なってもよい。また、光軸１２’、１３’を中心とする所定の角度範囲における第３の密度がそれぞれ異なってもよい。さらに、カメラ１１の撮影領域とカメラ１２の撮影領域が重なる領域（オーバーラップ領域１４）およびカメラ１１の撮影領域とカメラ１３の撮影領域が重なる領域（オーバーラップ領域１５）においては、ターゲットを第２の密度で配置し、第１の密度＜第２の密度、第３の密度＜第２の密度となるようにする。すなわち、図１に示すように、ターゲットは、光軸１１’、１２’、１３’を中心とする特定の領域よりも、オーバーラップ領域においてより密に配置される。
【００３１】
ターゲットを配置する第１〜第３の密度は、それぞれの領域において密度が均一となるように配置してもよく、または、不均一であってもよい。第１の密度および第３の密度については、光軸１１’、１２’、１３’の中心から離れるにつれて高密度となるように配置してもよい。要するに、第１の密度＜第２の密度、第３の密度＜第２の密度であればよい。
【００３２】
一例として図２には、マルチカメラを覆う空間として一部屋を用意し、その壁面（マルチカメラに対し、天頂、前後、左右）にターゲットを貼り付け、全周フィールドを構成した例を示す。ターゲットには、カラーコード付きターゲットを用いている。カラーコード付きターゲットについては後述する。
なお、「ターゲット」とは、世界座標系における三次元座標が既知のマークであればよく、その形状は特に限定されない。例えば、図１９に示す円形のレトロターゲットであってもよい。
【００３３】
また、図３に示すように、マルチカメラを覆う空間としては、一部屋（立方体）に限られず、斜方立方八面体、コの字型、L字型等の他の形状であってもよい。すなわち、全周フィールドは、全周（水平方向３６０度）に配置される場合に限られず、マルチカメラが有する各カメラがターゲットを撮影できるように、マルチカメラを覆う空間が形成できればよい。さらに、ターゲットを配置するものとしては、上記の壁面に限られず、パネル等を用いて全周フィールドを構成してもよい。
【００３４】
図４（ａ）に、マルチカメラ１０ａのカメラ１１、１２で撮影した画像間のオーバーラップ領域１４（斜線部）を示す。図４（ｂ）は、カメラ１１で撮影した撮影画像のイラストであり、図４（ｃ）は、キャリブレーション後の補正画像のイラストである。撮影画像の周辺部約１０％（図では横幅の１０％に相当する両端の領域）がオーバーラップ領域１４、１５となる。そこで、オーバーラップ領域１４、１５に配置されるターゲットを密に配置し、オーバーラップ領域１４、１５のキャリブレーション時の精度をより高くする。それにより、マルチカメラで撮影された画像間のつなぎをより自然なものとすることができる。
【００３５】
なお、上記の例は、オーバーラップ領域か否かでターゲットを配置する密度を決定している。しかし、カメラのレンズの特定の歪み量を基準にして、ターゲットを密に配置する領域と粗く配置する領域を決定してもよい。このようにすると、をより効果的にキャリブレーションすることができる。具体的には、後述の［キャリブレーション］に示す式（３）（４）からわかるように、レンズ歪みは、係数ｋ１〜ｋ４、ｐ１〜ｐ２で表わされ、式からレンズ歪み量は、例えば主点位置よりの半径ｒで求められるため、基準光軸から離れた量に応じてその密度を決定し、実際のターゲット配置を求めることができる。例えば、式（３）（４）に示すように、レンズの歪みが画像（画面）中心から画像上での対象物像までの距離ｒの乗数などに応じて変化することを利用して、画像上において略同じ密度で撮影されるように、例えば、配置するターゲットの密度を光軸付近の中央部分では粗い密度、すなわちターゲットの間隔を空けて配置し、周辺部分では細かい密度、すなわちターゲットの間隔をつめて配置することが望ましい。
すなわち、式（３）（４）を利用して、画像上での画像中心からの距離ｒに応じて、画像上での歪み量ｄｘ、ｄｙが判り、これに応じて画像の中央部分と、周辺部分におけるターゲットを配置する密度を適切にすることができる。実際には、レンズ歪みは、式（３）（４）のｋ１ｒ２の項に一番依存するため、例えば、粗領域と密領域で半径ｒが２倍の関係になっていれば、粗領域に対して密領域では４倍の密度でターゲットを配置する、などとしてもよい。
【００３６】
さらに、画像上において撮影精度が保証できる大きさで撮影されるように、ターゲットの大きさを、変化させることがより望ましい。図５（ａ）（ｂ）では、配置するターゲットの大きさを、光軸付近の中央部分では比較的小さくし、周辺部分では大きくして配置している。図５（ａ）は撮影画像のイラストであり、図５（ｂ）はキャリブレーション補正画像である。具体的には、画像上の１０画素以上の大きさ（ｘ、ｙ）となるように式（１）（２）を利用してターゲットの大きさ（Ｘ，Ｙ）を設定することができる。なお、ターゲットの大きさは、撮影されたターゲットの大きさが揃うように、中央部分に配置するターゲットと周辺部分に配置するターゲットの大きさを構成することが特に望ましい。
【００３７】
上記では、ターゲットがカラーコード付きターゲットのみの例を示しているが、図６（ａ）（ｂ）に示すように、カラーコード付きターゲットと円形一色の色ターゲット（図６では円形のレトロターゲット）とを混ぜて配置してもよい。カラーコード付きターゲットで認識したコードと位置に基づき、円形一色の色ターゲットの位置と配置が特定できる。さらに、円形一色の色ターゲットの大きさを画像上１０画素以上となるように設定することが容易となり、高い測定精度を保証することができる。
【００３８】
図７に、マルチカメラの例を示す。マルチカメラは、複数のカメラが外向きに例えば放射状に配置され、複数方向の視野の画像を同期して取得することができるカメラシステムである。（ａ）は、３つのカメラを有するマルチカメラ１０ａの側面図である。（ｂ）は、天頂方向に向けられた１つのカメラと、それを囲むように周辺方向に向けられた４つのカメラを有するマルチカメラ１０ｂの上面図である。（ｃ）は、天頂方向に向けられた１つのカメラと、周辺方向に向けられた５つのカメラを有するマルチカメラ１０ｃの上面図である。（ｄ）は、天頂方向に向けられた１つのカメラと、周辺方向に向けられた６つのカメラを有するマルチカメラ１０ｄの上面図である。なお、天頂方向に向けられたカメラを水平方向や天底方向等に向けて上記のマルチカメラを配置してもよい。
【００３９】
図８に、６つのカメラを有するマルチカメラ１０ｃ’であって、天頂カメラを基準カメラ（Ｃａｍ６）とし、その周囲に配置されたカメラ（Ｃａｍ１〜４）とで全周フィールドを撮影した場合の例（イラスト）を示す。Ｃａｍ５については、Ｃａｍ２、３の裏側にあるため図示されていない。
なお、図８のマルチカメラ１０ｃ’において、天頂カメラを使用せず、５つの側面カメラで全周フィールドを撮影した場合、５つのカメラはそれぞれ隣同士のカメラとのオーバーラップ領域を有し、画像どうしを接続できる。よって、側面カメラの１つを基準カメラとし、基準カメラの画像とオーバーラップ領域を有さない画像を含む場合であっても、キャリブレーションは可能である。
【００４０】
本発明の第２の実施の形態に係る全周フィールドについて説明する。
図９に、６つのカメラを有するマルチカメラ１０ｃ’であって、側面カメラのうちの１つを基準カメラ（Ｃａｍ０）とし、その左右に配置されたカメラ（Ｃａｍ１、４）とで全周フィールドを撮影した場合の例を示す。このように、全周フィールドは、マルチカメラが有するカメラの一部を覆う空間において、ターゲットを空間的に配置させたものであってもよい。例えば水平方向（３６０度）撮影可能なマルチカメラに対し、全周フィールドは、部屋一個ではなく、例えば半面または三分の一であってもよい。
【００４１】
図１０に、全周フィールドが半面の場合にマルチカメラを回転させて、各カメラで全周フィールドを撮影しキャリブレーションする際の、対応するカメラ間でのオリエンテーション接続の接続方法を示す。なお、「オリエンテーション接続」とは、マルチカメラを回転または移動等（図３（ａ）〜（ｃ）参照）させて撮影した場合に対応するカメラ間のオリエンテーション（位置、傾き）を統一させることを言う。
図１０のマルチカメラは６つのカメラを有し、図１０に示す丸はカメラを示しＴ字はカメラの方向を示す。また、側面に配置されたカメラをＣａｍ０〜４とし、天頂カメラをＣａｍ５とする。（１）まず、Ｃａｍ４‐０‐１で全周フィールドを撮影する。（２）次に、マルチカメラを回転させ、Ｃａｍ０‐１‐２で全周フィールドを撮影する。（３）〜（５）同様に、マルチカメラを回転させ、側面カメラを１つずつずらして全周フィールドを撮影する。（６）最後に、天頂カメラＣａｍ５と側面カメラとの位置関係を得るため、Ｃａｍ５と側面カメラ（図１０では、Ｃａｍ１‐２‐３‐４）とで、全周フィールドを撮影する。
【００４２】
各カメラで撮影された画像には、絶対基準点としての三次元座標を有するターゲットが撮影される。したがって、図１１に示すように、撮影された画像において、対応するカメラ像面をフィッティングさせ、３軸回転（ω、φ、κ）と平行移動（ｄｘ、ｄｙ、ｄｚ）を求める。次に、マルチカメラの機械座標系（カメラ座標系）にて、各カメラのオリエンテーションを再定義する。すなわち、図１２に示すように、機械座標系の、原点：側面カメラ位置の平均、鉛直軸：側面カメラ位置を水平面にフィッティング、Ｙ軸：カメラ（Ｃａｍ０）の方向（水平０度）、Ｘ軸：水平面上でＹ軸に直交する方向、とする。このように、対応するカメラ間でオリエンテーション接続をすることにより、全周フィールドが半面または三分の一等であっても、水平方向（３６０度）撮影可能なマルチカメラ（天頂方向含む）のキャリブレーションが可能となる。
【００４３】
本発明の第３の実施の形態に係る全周フィールドの撮影方法について説明する。図１３に、全周フィールドの撮影方法の処理フローを示す。まず、キャリブレーションするマルチカメラを例えば部屋の中央に配置させる（Ｓ０１）。次に、撮影画像の中央部分には粗く配置されたターゲットが撮影されるように、部屋の壁面にターゲットを配置させる。さらに、撮影画像の周辺部分には中央部分よりも密に配置されたターゲットが撮影されるように、壁面にターゲットを配置させて、全周フィールドを構成する（Ｓ０２）。次に、各カメラの光軸を粗く配置されたターゲットに向けてセットする（Ｓ０３）。次に、マルチカメラの各カメラでターゲットを撮影する（Ｓ０４）。なお、全周フィールドの構成（Ｓ０２）では、隣接するカメラどうしが互いにオーバーラップ領域を有し、かつ、オーバーラップ領域にはより密に配置されたターゲットが撮影されるようにしてもよい。
【００４４】
［キャリブレーション］
カメラをキャリブレーションする場合、カメラの内部パラメータ（カメラキャリブレーションパラメータ）および外部パラメータ（オリエンテーションパラメータ）を求める必要がある。これらのパラメータを求める場合、あらかじめ三次元座標が測定されているターゲットを異なる方向から複数枚撮影し、各画像間のターゲットの対応づけを行ない、このターゲットの対応づけと予め測定されている結果とから、カメラの内部パラメータおよび外部パラメータを求める。
【００４５】
このキャリブレーションには、各種の方法があるが、一例として写真測量分野で使用される「セルフキャリブレーション付きバンドル調整法」を説明する。
「バンドル調整法」とは、被写体、レンズ、ＣＣＤ撮像面を結ぶ光束は、同一線上になければならないという共線条件（図１４参照）に基づき、各画像の光束の１本毎に観測方程式をたて、最小２乗法によりカメラの外部パラメータ（位置、傾き）とターゲットの座標を同時調整する方法であり、「セルフキャリブレーション付き」とは、カメラの内部パラメータ（画像距離、画像中心、歪み補正係数）を求める方式である（図１５参照）。
【００４６】
このセルフキャリブレーション付きバンドル調整法の共線条件基本式は、下記の（１）および（２）に示す式で表される。内部パラメータの補正モデル式は、下記の（３）および（４）に示す式で表される。これらの式と多数の既知点と画像上の像点（最低６点）から、単写真標定によるセルフキャリブレーション（バンドル調整）にて解き、外部パラメータである位置（投影中心：（Ｘ０、Ｙ０、Ｚ０））と傾き（ω、φ、κ）、および内部パラメータである画像距離（ｆ）、画像中心（ｘ０、ｙ０）、歪み補正係数ｋ１〜ｋ４、ｐ１、ｐ２）を求める。なお、カメラのキャリブレーションを行なう場合、ターゲットの数または撮影された画像の枚数が多ければ多いほど（数枚から数十枚）、キャリブレーションの精度が向上する。一般に、三次元座標が既知の点数（基準点数）と撮影枚数には相関関係があり、精度を考慮すると、例えば、基準点数が１００点以上であれば枚数５枚以上、基準点数が２５点程度であれば枚数１０枚以上が望ましい。
ａ１〜ａ９：回転行列
ａ１＝ｃｏｓφｃｏｓκ
ａ２＝−ｃｏｓφｓｉｎκ
ａ３＝ｓｉｎφ
ａ４＝ｃｏｓωｓｉｎκ＋ｓｉｎωｓｉｎφｃｏｓκ
ａ５＝ｃｏｓωｃｏｓκ−ｓｉｎωｓｉｎφｓｉｎκ
ａ６＝−ｓｉｎωｃｏｓφ
ａ７＝ｓｉｎωｓｉｎκ−ｃｏｓωｓｉｎφｃｏｓκ
ａ８＝ｓｉｎωｃｏｓκ＋ｃｏｓωｓｉｎφｓｉｎκ
ａ９＝ｃｏｓωｃｏｓφ
Ｘ，Ｙ，Ｚ：ターゲット座標
Ｘ０，Ｙ０，Ｚ０：投影中心（主点）
ｘ，ｙ：画像座標
ｄｘ、ｄｙ：画像上での歪み量
【００４７】
［カラーコード付きターゲット］
本発明の実施の形態でターゲットとして用いたカラーコード付きターゲットについて説明する。カラーコード付きターゲットは、すでに本出願人により特願２００５−２８９３３４として出願されている。
図１６にカラーコード付きターゲットの例を示す。図１６はカラーコードの単位パターンが３個のカラーコード付きターゲットＣＴ１である。カラーコード付きターゲットＣＴ１は、レトロターゲット部（位置検出用パターン）Ｐ１、基準色部（基準色パターン）Ｐ２、カラーコード部（カラーコードパターン）Ｐ３、白色部（空パターン）Ｐ４で構成されている。これら、レトロターゲット部Ｐ１、基準色部Ｐ２、カラーコード部Ｐ３、白色部Ｐ４は、カラーコード付きターゲットＣＴ１内の所定の位置に配置される。すなわち、基準色部Ｐ２、カラーコード部Ｐ３、白色部Ｐ４は、レトロターゲット部Ｐ１に対して所定の位置関係に配置される。
【００４８】
レトロターゲット部Ｐ１は、ターゲット自体の検出用、その重心検出用、ターゲットの方向（傾斜方向）検出用、ターゲット領域検出用として使用される。図１６ではレトロターゲット部Ｐ１としてレトロターゲットが使用されている。すなわち、カラーコード付きターゲットＣＴ１は、三次元座標が既知のマーク（位置検出用パターン）を３つ有している。
【００４９】
基準色部Ｐ２は、照明やカメラ等の撮影条件による色のズレに対応するために、相対比較時の参照用、色ズレを補正するためのカラーキャリブレーション用として使用される。さらに、基準色部Ｐ２は、簡易な方法で作成されたカラーコード付きターゲットＣＴの色彩補正用として使用できる。例えば、色管理がなされていないカラープリンタ（インクジェット・レーザー・昇華型等のプリンタ）で印刷したカラーコード付きターゲットＣＴを使用する場合は、使用プリンタ等で色彩に個体差が出るが、基準色部Ｐ２とカラーコード部Ｐ３の色を相対比較し補正することで、個体差の影響を押さえることができる。
【００５０】
カラーコード部Ｐ３は、その各単位パターンへの配色の組み合わせによってコードを表現する。コードに使用するコード色の数により表現可能なコード数が変化する。例えば、コード色数がｎの場合、図１６のカラーコード付きターゲットＣＴ１では、カラーコード部Ｐ３の単位パターンが３個のため、ｎ×ｎ×ｎ通りのコードを表せる。信頼度を上げるため、他の単位パターンに使用されている色を重複して使用しないという条件を課した場合でも、ｎ×（ｎ−１）×（ｎ−２）通りのコードを表せる。そして、コード色数を増やせばコード数を増加できる。さらに、カラーコード部Ｐ３の単位パターンの数とカラーコード数を等しくするという条件を課すと、全てのコード色がカラーコード部Ｐ３に使用されるため、基準色部Ｐ２との比較のみで無く、カラーコード部Ｐ３の各単位パターン間で色を相対比較することにより、各単位パターンの色彩を確認して識別コードを決定することができ、信頼性を上げることができる。さらに、各単位パターンの面積を全て同じにする条件を追加すると、カラーコード付きターゲットＣＴを画像中から検出する際にも使用できる。これは、異なる識別コードをもつカラーコード付きターゲットＣＴ間でも各色の占有する面積が同じになるため、カラーコード部全体からの検出光からはほぼ同様な分散値が得られるからである。また、単位パターン間の境界は等間隔に繰り返され、明確な色彩差が検出されるので、このような検出光の繰り返しパターンからもターゲットＣＴを画像中から検出することが可能である。
【００５１】
白色部Ｐ４は、カラーコード付きターゲットＣＴの方向検出用と色ズレのキャリブレーション用として使用する。カラーコード付きターゲットＣＴの四隅の内、一カ所だけレトロターゲット部Ｐ１（レトロターゲット）が配置されない箇所があり、これをカラーコード付きターゲットＣＴの方向検出用に使用できる。このように白色部Ｐ４はレトロターゲット部Ｐ１（レトロターゲット）と異なるパターンであれば良い。したがって、白色部には目視でコードを確認するための番号などの文字列を印刷しても良く、また、バーコード等のコード領域としても使用しても良い。さらに、検出精度を上げるために、テンプレートマッチング用のテンプレートパターンとして使用することも可能である。
【００５２】
（カラーコード抽出手段）
以下に、カラーコード付きターゲットＣＴを撮影後、カラーコード抽出手段１００を用いてカラーコードを抽出する手順を説明する。
図１７にカラーコード抽出手段１００の構成例を示す。カラーコード抽出手段１００は、カラーコード付きターゲットを抽出する抽出部４１およびそのカラーコードを判別する識別コード判別部４６により構成される。抽出部４１は、探索処理部１１０、レトロターゲットグループ化処理部１２０、カラーコード付きターゲット検出処理部１３０、画像・カラーパターン記憶部１４０を有する。また、識別コード判別部４６はカラーコード付きターゲット検出処理部１３０で検出されたカラーコードを判別しコード番号を付与する。
【００５３】
また、２０はカラーコート付きターゲットを含む測定対象物を撮影する撮像部で、ステレオカメラ等が使用される。２３は撮像部２０で撮影されたステレオ画像を記憶する画像データ記憶部である。また、１５０は、抽出部４１で抽出されたレトロターゲット部Ｐ１の位置座標と、識別コード判別部４６で判別された識別コードとを関連付けて記憶する標識情報記憶部であり、標識情報記憶部１５０に記憶されたデータは、標定部４４で標定に用いられ、または三次元位置計測部５０で、測定対象物の三次元座標または三次元形状の測定に用いられる。
【００５４】
探索処理部１１０は、撮像部２０で撮影されたまたは画像データ記憶部２３に記憶されたカラー画像（撮影画像）から、レトロターゲットパターン等の位置検出用パターン（レトロターゲット部Ｐ１）を検出する。位置検出用のターゲットとして、レトロターゲットパターンの代わりにテンプレートパターンが用いられた場合は、テンプレートパターン検出をする。
【００５５】
レトロターゲットグループ化処理部１２０は、探索処理部１１０で検出したレトロターゲットが同じカラーコード付きターゲットＣＴに属すると判断されたもの（例えば位置座標が同じカラーコード付きターゲットＣＴの領域に入るもの）を同一グループに属する候補としてグループ化する。
【００５６】
カラーコード付きターゲット検出処理部１３０は、同じカラーコード付きターゲットに属すると判断されたレトロターゲットのグループ（候補）から、当該カラーコード付きターゲットＣＴの領域と方向を検出するカラーコード付きターゲット領域方向検出処理部１３１と、カラーコード付きターゲットＣＴの基準色部Ｐ２、カラーコード部Ｐ３における色彩の配列、画像中の色彩を検出する色彩検出処理部３１１と、基準色パターンＰ２を参照してカラーコード部Ｐ３および画像中の色彩を補正する色彩補正部３１２と、グループ化が適正になされたかを確認する確認処理部３１３で構成されている。
【００５７】
画像・カラーパターン記憶部１４０は、抽出部４１に読み込んだ画像を記憶する読込画像記憶部１４１と、使用が予定される複数種類のカラーコード付きターゲットＣＴについて、カラーコード付きターゲットＣＴの種別を示す種別コード番号を記録し、さらに、各種のカラーコード付きターゲットＣＴについて、パターン配置とコード番号の対応関係を記録するカラーコード付きターゲット対応表１４２で構成されている。
【００５８】
識別コード判別部４６は、カラーコード部Ｐ３における色彩の配列から識別コードを判別し、識別コードに変換するもので、カラーコード付きターゲット検出処理部１３０で検出されたカラーコード付きターゲットＣＴの領域と方向のデータに基づいて、カラーコード付きターゲットＣＴの座標を変換する座標変換処理部３２１と、座標変換されたカラーコード付きターゲットＣＴのカラーコード部Ｐ３における色彩の配列から識別コードを判別し、識別コードに変換するコード変換処理部３２２で構成されている。
【００５９】
（カラーコード抽出フロー）
図１８にカラーコード付きターゲットの抽出フローの例を示す。
まず、処理対象のカラー画像（撮影画像）を、撮像部２０または画像データ記憶部２３から抽出部４１の読込画像記憶部１４１に読み込む（Ｓ５００）。次に、読込まれた各画像よりレトロターゲットを検出する（Ｓ５１０）。
【００６０】
探索方法は、（１）カラーコード付きターゲットＣＴ中の位置検出用パターンであるレトロターゲット部Ｐ１（レトロターゲット）を探索する方法、（２）カラーコード部Ｐ３の色分散を検出する方法、あるいは（４）彩色された位置検出用パターンを用いる方法など種々の方法がある。ここでは（１）、（２）およびこれらを組み合わせる例（３）を説明する。（４）については、（カラーコード付きターゲットＣＴ１１）で説明する。
【００６１】
（１）カラーコード付きターゲットＣＴにレトロターゲットが含まれている場合は、明度差が鮮明なパターンを使用するので、カメラの絞りを絞りフラッシュ撮影することにより、レトロターゲットのみが光った画像を取得でき、この像を２値化することにより簡単にレトロターゲットを検出できる。
【００６２】
図１９はレトロターゲットを用いた重心位置検出の説明図で、（Ａ１）は内円部２０４の明度が明るく、外円部２０６の明度が暗いレトロターゲット、（Ａ２）は（Ａ１）のレトロターゲットの直径方向の明度分布図、（Ｂ１）は内円部２０４の明度が暗く、外円部２０６の明度が明るいレトロターゲット、（Ｂ２）は（Ｂ１）のレトロターゲットの直径方向の明度分布図を示している。レトロターゲットが図１９（Ａ１）のように内円部２０４の明度が明るい場合は、測定対象物１の撮影画像において重心位置での反射光量が多く明るい部分になっているため、画像の光量分布が図４（Ａ２）のようになり、光量分布の閾値Ｔｏからレトロターゲットの内円部２０４や中心位置を求めることが可能となる。
【００６３】
ターゲットの存在範囲が決定されると、例えばモーメント法によって重心位置を算出する。例えば、図１９（Ａ１）に表記されたレトロターゲット２００の平面座標を（ｘ、ｙ）とする。そして、レトロターゲット２００の明度が、しきい値Ｔｏ以上のｘ、ｙ方向の点について、（式１）、（式２）を演算する（＊は乗算演算子）。
ｘｇ＝｛Σｘ＊ｆ（ｘ、ｙ）｝／Σｆ（ｘ、ｙ） −−−−（式１）
ｙｇ＝｛Σｙ＊ｆ（ｘ、ｙ）｝／Σｆ（ｘ、ｙ） −−−−（式２）
（ｘｇ、ｙｇ）：重心位置の座標、ｆ（ｘ、ｙ）：（ｘ、ｙ）座標上の濃度値
なお、図１９（Ｂ１）に表記されたレトロターゲット２００の場合は、明度がしきい値Ｔｏ以下のｘ、ｙ方向の点について、（式１）、（式２）を演算する。
これにより、レトロターゲット２００の重心位置が求まる。
【００６４】
（２）通常、カラーコード付きターゲットＣＴのカラーコード部には多数のコード色が使用され、色の分散値が大であるという特徴がある。このため、分散値の大きい箇所を画像中から見出すことにより、カラーコード付きターゲットＣＴを検出できる。
（３）カラーコード付きターゲットＣＴにレトロターゲットが含まれている場合では、まず明度の高い箇所（レトロターゲット部Ｐ１があり得る）を画像全体に対してスキャンして検出し、次に、検出した明度の高い箇所の周囲における色の分散値の高い箇所（カラーコード部Ｐ３があり得る）を見出すことにより効率よく検出できる。
【００６５】
（１）の例について説明する。図１８に戻り、レトロターゲット検出処理部１１１は、カラー画像中から検出した複数のレトロターゲットの座標を読込画像記憶部１４１に保存する。
次に、レトロターゲットグループ化処理部１２０は、読込画像記憶部１４１に保存されたレトロターゲットの座標から、同じカラーコード付きターゲットＣＴに属するレトロターゲットのグループの候補を検出して（例えば座標がカラーコード付きターゲットＣＴ内にあるものを検出して）、読込画像記憶部１４１にその組み合わせをグループとして保存する（Ｓ５２０）。確認は、例えば、検出したカラーコード付きターゲットＣＴ内の３個のレトロターゲット間の距離および３個のレトロターゲットを結ぶ三角形の頂角を計測することにより可能である（Ｓ５３０参照）。
さらに、検出したカラーコード付きターゲットのパターンをカラーコード付きターゲット対応表１４２と照合することにより、どの種別のカラーコード付きターゲットであるかを確認する。
【００６６】
次に、カラーコード付きターゲット検出処理部１３０は、領域方向検出処理部１３１において読込画像記憶部１４１に保存された、レトロターゲットのグループ単位にレトロターゲットの重心位置からカラーコード付きターゲットＣＴの領域と方向を求める（Ｓ５３０）。この領域と方向を求める前または後に、色彩検出処理部３１１で、基準色部Ｐ２、カラーコード部Ｐ３、画像中の測定対象物の色彩を検出する。必要であれば、色彩補正部３１２で基準色部Ｐ２の色を基準にしてカラーコード部Ｐ３や画像中の測定対象物１の色彩を補正する。また、基準にならない印刷色のカラーコード付きターゲットを使用した場合には、その基準色部を併せて補正する。そして確認処理部３１３において、グループ化が適正に行なわれたか、すなわち、一旦グループ化されたレトロターゲットの重心位置が同じカラーコード付きターゲットＣＴに属するか否かを確認する。同じグループに属すると判別された場合は次の識別コード識別処理（Ｓ５３５）に進み、同じグループに属さないと判別された場合には、再度グループ化処理（Ｓ５２０）に戻る。
【００６７】
図２０、図２１にカラーコード付きターゲット領域方向検出処理部１３１の処理フロー例を示す。また、図２２、図２３を用いてレトロターゲットのコード読み込みを説明する。ここでは、図１６のカラーコード付きターゲットＣＴ１からコードを読み込む手続きについて説明する。
カラーコード付きターゲットＣＴ１からコードを読み込むには、カラーコード付きターゲットＣＴ１の領域と方向を知る必要があるため、３つの位置検出用レトロターゲットの重心点をＲ１，Ｒ２，Ｒ３にラベリングする（図２２（ａ）参照）。
【００６８】
ラベリング方法は、対象の３つのレトロターゲットの重心点Ｒ１〜Ｒ３を通る三角形を作成する（Ｓ６００）。３つのレトロターゲットの重心点Ｒ１〜Ｒ３の中から適当に１つを選んでＴ１と仮にラベリングし（Ｓ６１０）、残りの２つの重心点を時計回りにＴ２，Ｔ３と仮にラベリングをする（Ｓ６１２、図２２（ｂ）参照）。
次に、それぞれの重心点を通る辺をラベリングする。Ｔ１とＴ２を通る辺をＬ１２、Ｔ２とＴ３を通る辺をＬ２３、Ｔ３とＴ１を通る辺をＬ３１とする（Ｓ６１４、図２３（ａ）参照）。
【００６９】
次に、三角形の内側を各頂点（重心点）から半径Ｒ離れた画素値を弧状にスキャンをして、スキャンした範囲で色の変化みる（図２３（ｂ）参照）。
重心点Ｔ１では、Ｌ１２からＬ３１を時計回りに、重心点Ｔ２では、Ｌ２３からＬ１２を時計回りに、重心点Ｔ３では、Ｌ３１からＬ２３を時計回りにスキャンをする（Ｓ６２０〜Ｓ６２５）。
半径の決め方は、スキャンをする角度に応じて画像上でレトロターゲットのサイズに倍率をかけて決める。レトロターゲットを斜め方向から撮影された場合は楕円になるため、スキャン範囲も楕円形状になる。倍率は、レトロターゲットのサイズと、レトロターゲット重心位置と基準色部Ｐ２の距離によって決められる。
【００７０】
さらにノイズなどの影響を少なくするため、スキャンする範囲に幅を持たせて、半径Ｒ−ΔｒからＲ＋Δｒの間で平均値等の代表値を決める方法も考えられる。
この例では、スキャンは弧状にスキャンをしたが、重心点でつくられた三角形の辺に垂直な直線上をスキャンする方法も考えられる（図２３（ｃ）参照）。
【００７１】
図１６のカラーコード付きターゲットＣＴ１の例では、重心点Ｔ２の周りをスキャンした結果では色の変化があり、Ｒ（赤）・Ｇ（緑）・Ｂ（青）の値に変化が見られ、変化のピークがＲ・Ｇ・Ｂの順にあらわれる。Ｔ１とＴ３の周りのスキャン結果では、色の変化はなく、Ｒ・Ｇ・Ｂの値はほぼ一定でピークがあらわれない（図２３（ｂ）参照）。このように、１つの重心点Ｔ２の周りには色の変化が見られ、残りの２つの重心点Ｔ１、Ｔ３の周りには色の変化がないという特徴により、カラーコード付きターゲットＣＴ１の方向を判断できる。
【００７２】
ラベリングの確認処理は、確認処理部３１３により行なわれる。スキャンの結果に色の変化があった重心点をＲ１とし、残りの２つの重心点は、色の変化があった重心点から時計回りにラベリングしてＲ２、Ｒ３とする（Ｓ６３０〜Ｓ６３２）。この例では、重心点Ｔ２をＲ１、重心点Ｔ３をＲ２、重心点Ｔ１をＲ３とする。色の変化があった重心点が１つ、色の変化がない重心点が２つ検出されなかった場合は、レトロターゲットの組み合わせエラーとなり（Ｓ６３３）、３組のレトロターゲットを新たに選出して（Ｓ６３４）、Ｓ６００に戻る。このように、処理の結果から、選ばれた３つレトロターゲットが、同じカラーコード付きターゲットＣＴ１に属するか否かも確認できる。このようにしてレトロターゲットのグループ化が確定する。
上記のラベリング方法は、図１６のカラーコード付きターゲットＣＴ１を例に説明したが、後述する各種カラーコード付きターゲットＣＴについても、一部の処理を変えることにより同様の処理ができる。
【００７３】
（コードの識別）
図１８に戻り、識別コード判別部４６は、抽出部４１で抽出されたカラーコード付きターゲットＣＴ１について、座標変換処理部３２１においてグループ化されたレトロターゲットの重心位置に基づいて、カラーコード付きターゲットＣＴ１の設計値に合うように座標変換し、次に、コード変換処理部３２２において、カラーコードを識別し（Ｓ５３５）、コード変換してカラーコード付きターゲットＣＴ１の識別コードを求め（Ｓ５４０）、読込画像記憶部１４１に保存する（Ｓ５４５）。
【００７４】
図２１でこの処理フローを説明する。曲面に貼付された、斜め方向から撮影された等により、形に歪のあるカラーコード付きターゲットの撮影画像を、ラベルＲ１，Ｒ２，Ｒ３を用いて、歪のない正面図に座標変換する（Ｓ６４０）。座標変換することより、カラーコード付きターゲットの設計値を参照して、レトロターゲット部Ｐ１、基準色部Ｐ２、カラーコード部Ｐ３、白色部Ｐ４を判別しやすくなり、後の処理が進め易くなる。
【００７５】
次に、座標変換されたカラーコード付きターゲットＣＴ１上で、設計値どおりに白色部Ｐ４があるか確認をする（Ｓ６５０）。設計値どおりでない場合は検出エラーとなる（Ｓ６３３）。設計値どおりに白色部Ｐ４がある場合は、カラーコード付きターゲットＣＴ１が検出されたと判断される（Ｓ６５５）。
【００７６】
次に、色彩補正され、領域と方向がわかったカラーコード付きターゲットＣＴ１のカラーコードの判別をする。
カラーコード部Ｐ３は、その各単位パターンへの配色の組み合わせによってコードを表現する。例えば、コード色数がｎで単位パターンが３個の場合、ｎ×ｎ×ｎのコードを表せ、他の単位パターンに使用されている色を重複して使用しないという条件を課した場合は、ｎ×（ｎ−１）×（ｎ−２）のコードを表せる。コード色数がｎ、単位パターンがｎ個で、色を重複して使用しないという条件を課した場合は、ｎの階乗通りのコードを表現できる。
識別コード判別部４６は、コード変換処理部３２２において、カラーコード部Ｐ３における単位パターンの配色の組み合わせを、カラーコード付きターゲット対応表１４２の配色の組み合わせと比較・照合して識別コードを判別する（図１８のＳ５３５）。
【００７７】
色彩の判別方法は、（１）基準色部Ｐ２の色とカラーコード部Ｐ３の色を比較して決める相対比較方法と、（２）基準色部Ｐ２の色と白色部Ｐ４の色を使ってカラーコード付きターゲットＣＴ１の色補正を行ない、その補正された色でカラーコード部Ｐ３のコードの判別をする絶対比較方法の、二つの方法がある。例えば、カラーコード部Ｐ３に使用する色数が少ない場合は基準色を相対比較の比較色として使用し、カラーコード部Ｐ３に使用する色数が多い場合は、色を補正するためにキャリブレーション用の色として絶対比較の比較色として使用する。前述のように、色彩の検出は色彩検出処理部３１１で、色補正は色彩補正部３１２で行なう。画像による３次元計測では複数の画像を撮るため、ほとんどの場合、各画像間で撮影条件などにより色ズレがおきる。カラーコード付きターゲットを使用することにより、複数の画像間での色の差を補正することが可能である。
【００７８】
識別コード判別部４６は、コード変換処理部３２２において、（１）、（２）どちらかの方法を使用して、基準色部Ｐ２とカラーコード部Ｐ３を検出し（Ｓ６６０、Ｓ６７０）、カラーコード部Ｐ３の各色を判別し、色をコードに変換して、対象のカラーコード付きターゲットＣＴ１の識別コードを求める（Ｓ６８０、図１８のＳ５４０）。
そして画像ごとに、当該画像に含まれるカラーコード付きターゲットＣＴ１の番号を読込画像記憶部１４１に登録する（図１８のＳ５４５）。読込画像記憶部１４１に登録されたデータは、多数のカラーコード付き標識ＣＴの検出位置座標に基づいて、標定部４４で標定に用いられ、または、三次元位置計測部５０で測定対象物の三次元座標、三次元形状を測定するのに用いられる。
【００７９】
（画像間の対応付け）
図２４に複数の画像で撮影されるカラーコード付きターゲットの例を示す。図２４（ａ）にステレオ画像のオーバーラップの様子を示す。計測される基本範囲は、２枚（一対）のステレオ撮影画像のオーバーラップ範囲である。このとき、４個のカラーコード付きターゲットＣＴがオーバーラップ範囲に入るように撮影するのが好ましい。このようにするとステレオ画像を用いて三次元測定が可能である。また、図２４（ｂ）に隣接し合うステレオ画像間のオーバーラップのさせ方の例を示す。この様に、上下左右方向に２個のカラーコード付きターゲットＣＴを含んでオーバーラップするように一連の画像を撮影するのが好ましい。このようにすると広域にわたる非接触三次元測定の自動化が可能になる。なお、ブレークラインは画像の有効領域を示すラインであり、４個のカラーコード付きターゲットＣＴの最も外側にあるレトロターゲットを結ぶライン内が有効領域である。
【００８０】
図２４（ｃ）はステレオマッチングエリア設定を説明するための図である。図２４（ｃ）はカラーコード付きターゲットＣＴが位置検出用の３つのレトロターゲットを有する例である。カラーコード付きターゲットＣＴを画面の４隅の近くに配置し、常にこれらのカラーコード付きターゲットＣＴの最も外側にあるレトロターゲットを結ぶ領域をマッチングエリアとすることで、ステレオマッチングエリアが自動的に決められると同時に、各モデル画像間のオーバーラップを確実にすることができる。このように、マッチング領域を決定することで、図２４（ｂ）に示すように、各モデル画像間のオーバーラップも確実にとれるようになる。なお、各カラーコード付きターゲットＣＴに位置検出用パターン（レトロターゲット部）Ｐ１を最低２点以上配置（２点の場合は対角に配置）すれば、マッチングエリアの自動設定処理が可能となる。
【００８１】
以下にカラーコード付きターゲットの他の例を示す。
（カラーコード付きターゲットＣＴ２）
図２５にカラーコード付きターゲットＣＴ２の例を示す。図２５はカラーコード部Ｐ３が６箇所のカラーコード付きターゲットＣＴ２である。図１６におけるカラーコード付きターゲットＣＴ１のカラーコードパターンＰ３の３つの単位パターンを対角線で分離して、単位パターンを６箇所としているので、カラーコード付きターゲットＣＴの領域と方向の検出方法は、図１６の場合と同様に、各重心点でできた三角形の内側をスキャンした場合の色に変化でレトロターゲットのラベリング処理が可能である。すなわち、Ｒ１の周りでは２回の色変化が生じ、Ｒ２とＲ３の周りでは色の変化は生じない。また、カラーコード部Ｐ３の読み込み処理は６箇所に増加する。カラーコードに使用する色を６色にするとコード数は、６×５×４×３×２×１＝７２０コードを表現できる。最後のカラーコード部（最後の×１の部分）はコード数に影響は無いが相対比較のため必要であり、更に色コード部を認識した際に誤認識のチェック用としても利用できる。
【００８２】
（カラーコード付きターゲットＣＴ３）
図２６にカラーコード付きターゲットＣＴ３の例を示す。図２６のカラーコード付きターゲットＣＴ３は、図２５のカラーコード付きターゲットＣＴ２の基準色部Ｐ２を無くし、レトロターゲット部Ｐ１の一つを大きくしたものである。
図２６のカラーコード付きターゲットＣＴ３は、Ｒ１にあたる部分のレトロターゲットが大きくなっているので、各レトロターゲット部のＲ１，Ｒ２，Ｒ３へ対応させるラベリング処理は、レトロターゲットのサイズを検出すればできる。ただし、Ｒ１にあたる部分のレトロターゲットが大きくなった分、基準色部Ｐ２が無いのでカラーコードの判別は難しくなる。
【００８３】
この場合の対策として、例えば、カラーコードに使用する色を６色にし、同じ色を重複使用しないという制限をもうけると、カラーコード部Ｐ３に全てのコード色が現れる。これにより、各カラーコード部Ｐ３の色を６色のコード色に対応させるだけで良くなり、しかも、カラーコード部Ｐ３相互の色を相対比較により行なう事ができる。コード数は、図２５のカラーコード付きターゲットＣＴ２と同様に７２０コードを表現できる。
【００８４】
（カラーコード付きターゲットＣＴ４）
図２７にカラーコード付きターゲットＣＴ４の例を示す。図２７のカラーコード付きターゲットＣＴ４は、図１６のカラーコード付きターゲットＣＴ１の外側に黒色の黒領域部Ｐ５を追加したパターンである。黒領域部Ｐ５により、ターゲット周囲の色や模様の影響を抑制できる。
図２７のカラーコード付きターゲットＣＴ４は、図１６のカラーコード付きターゲットＣＴ１の外側に黒領域部Ｐ５を形成したのみなので処理は図１６のカラーコード付きターゲットＣＴ１と変わらない。図１６以外のカラーコード付きターゲットにも黒領域部Ｐ５の形成が可能である。
【００８５】
（カラーコード付きターゲットＣＴ５）
図２８にカラーコード付きターゲットＣＴ５の例を示す。図２８のカラーコード付きターゲットＣＴ５は、カラーコード部Ｐ３の単位パターンを小さくし、カラーコード部Ｐ３の単位パターンを９箇所にしたものである。
このため、カラーコード付きターゲットＣＴ５の領域と方向の検出の際、Ｒ１の周りでは２回の色変化が、Ｒ２とＲ３の周りでは１回の色変化があらわれるので、これにより識別できる。また、白色部Ｐ４との位置関係を検出することにより、Ｒ１、Ｒ２、Ｒ３を確認できる。また、カラーコード部Ｐ３の読み込み処理は９箇所に増加する。カラーコードに使用する色を９色にするとコード数は、９の階乗＝３６２８８０コードを表現できる。それ以外は、図１６と同様に処理ができる。
【００８６】
（カラーコード付きターゲットＣＴ６）
図２９にカラーコード付きターゲットＣＴ６の例を示す。図２９のカラーコード付きターゲットＣＴ６は、図１６のカラーコード付きターゲットＣＴ１の、レトロターゲット部Ｐ１のＲ２、Ｒ３の部分と白色部Ｐ４に基準色部Ｐ２を配置し、カラーコード付きターゲットの領域と方向の検出用としても使用するものである。レトロターゲット部Ｐ１はＲ１の部分一箇所である。図１６のカラーコード付きターゲットＣＴ１の基準色部Ｐ２の部分にはカラーコードパターンＰ３を配置でき、カラーコードパターンを一つ増やせる。
基準色部Ｐ２を領域と方向の検出用として使用する場合、四角のパターンの重心を求めること、基準色光で明度差を検出することにより、レトロターゲットより精度は劣るが、レトロターゲットと同様に重心点の検出が可能である。
【００８７】
（カラーコード付きターゲットＣＴ７）
図３０にカラーコード付きターゲットＣＴ７の例を示す。図３０のカラーコード付きターゲットＣＴ７は、図１６のカラーコード付きターゲットＣＴ１のカラーコード部Ｐ３の領域を小さくし、さらに、レトロターゲット部Ｐ１のパターンをＲ１の部分１箇所、カラーコードパターンを４箇所にした、小型タイプである。このカラーコード付きターゲットＣＴ７においても基準色部Ｐ２が領域と方向の検出用として使用される。
【００８８】
（カラーコード付きターゲットＣＴ８）
図３１にカラーコード付きターゲットＣＴ８の例を示す。図３１のカラーコード付きターゲットＣＴ８は、図３０のカラーコード付きターゲットＣＴ７の白色部Ｐ４をカラーコード部Ｐ３に置換してカラーコードパターンを５カ所にした、小型タイプのものである。
【００８９】
（カラーコード付きターゲットＣＴ９）
図３２にカラーコード付きターゲットＣＴ９の例を示す。図３２のカラーコード付きターゲットＣＴ９は、図１６のカラーコード付きターゲットＣＴ１の単位パターンの間に黒色の分離領域部Ｐ６を形成したものである。これにより、領域やカラーの判別時にエラーを減らす事ができる。
【００９０】
（カラーコード付きターゲットＣＴ１０）
図３３にカラーコード付きターゲットＣＴ１０の例を示す。図３３のカラーコード付きターゲットＣＴ１０は、図１６のカラーコード付きターゲットＣＴ１のレトロターゲットＰ１の代わりに、テンプレートマッチング検出に対応できるように、テンプレートパターンＰ７に置換したものである。レトロターゲットと同様に重心点の検出を高精度にできる。
【００９１】
（カラーコード付きターゲットＣＴ１１）
図３４にカラーコード付きターゲットＣＴ１１の例を示す。図３４のカラーコード付きターゲットＣＴ１１は、図１６のカラーコード付きターゲットＣＴ１のレトロターゲットＰ１をカラーレトロターゲットＰ８としたものである。
カラーコード付きターゲットＣＴ１１は、ターゲットの位置抽出の探索方法として、（４）彩色された位置検出用パターンを用いる方法を採用するものである。
【００９２】
（４）カラーコード付きターゲットＣＴに使用している３隅のレトロターゲットに異なる色を配し、それぞれのレトロターゲットが反射する色を異なるものにする。３隅のレトロターゲットに異なる色を配しているため、１つのカラーコード付きターゲットＣＴに属する各レトロターゲットを判別しやすい。レトロターゲットグループ化処理において、多数のレトロターゲットを使用する場合にも、異なる色のレトロターゲットで一番距離が近いものを同一グループの候補として選択することにより、処理が簡単になる。
【００９３】
リファレンスポイントＲＦとして多数のレトロターゲットを用いる場合には、カラーコード付きターゲットＣＴのレトロターゲットと単体のレトロターゲットが混在するので、カラーコード付きターゲットＣＴのレトロターゲットを彩色したカラーレトロターゲットＰ８とし、単体のレトロターゲットを白色とすれば、判別し易い。
重心位置の検出については、図１９での説明を参照されたい。
【００９４】
なお、位置検出用標識としてカラーコード付きターゲットＣＴに代えて単体又は複数のカラーレトロターゲットを使用することも可能である。例えば、単体の場合、配色の種類を増加したり、カラーの配置をランダムにするなどにより、基準点に対する対応点、ステレオ画像ペアを探索し易くなる。
また、複数のカラーレトロターゲットを組み合わせて使用することも可能である。例えば、図３５に示すように、３個のカラーレトロターゲットＰ８をまとめて１つの標識（カラーコード付き標識ＣＴ）とし、その配色の組み合わせを変化させることにより、基準点に対する対応点、ステレオ画像ペアを探索し易くなる。
【００９５】
カラーコード付きターゲットの方向決定では、レトロターゲットでできる三角形の内角の色数の違いで方向を決めていたが、カラーコード付きターゲットの３隅のレトロターゲットに色をもたせ、それぞれのレトロターゲットが反射する色を異なるものにする方法も考えられる。例えば、カラーコード付きターゲットに使用されている左上のレトロターゲットは赤、右上のレトロターゲットは青、左下のレトロターゲットは緑の反射光を戻すものに変更すれば、カラーコード付きターゲットの方向決定をその反射光の色を判断する事により簡単に処理する事ができる。
【００９６】
以上のカラーコード付きターゲットは、単位パターンが正方形のカラーコード付きターゲットの例を主に説明したが、棒状パターン、円形パターン等他の形状にしても良く、また、バーコード等と色彩を組み合わせてカラーコードとしても良い。
【００９７】
また、カラーコード付きターゲットＣＴの貼付に代えて、またはカラーコード付きターゲットＣＴの貼付と併用して投影装置により撮影対象物にカラーコード付きターゲットＣＴを投影して使用しても良い。また、カラーコード抽出手段の構成、カラーコード付きターゲットの抽出のフローも適宜変更可能である。
【符号の説明】
【００９８】
１ 全周フィールド
１０ａ、１０ｂ、１０ｃ、１０ｄ マルチカメラ
１１ カメラ、基準カメラ
１２ カメラ
１３ カメラ
１１’ カメラ１１の光軸
１２’ カメラ１２の光軸
１３’ カメラ１３の光軸
１４ オーバーラップ領域
１５ オーバーラップ領域
２０ 撮像部
２３ 画像データ記憶部
４１ 抽出部
４４ 標定部
４６ 識別コード判別部
５０ 三次元計測部
１００ カラーコード抽出手段
１１０ 探索処理部
１１１ レトロターゲット検出処理部
１２０ レトロターゲットグループ化処理部
１３０ カラーコード付きターゲット検出処理部
１３１ カラーコード付きターゲット領域方向検出処理部
１４０ 画像・カラーパターン記憶部
１４１ 読込画像記憶部
１４２ カラーコード付きターゲット対応表
１５０ 標識情報記憶部
２００ レトロターゲット
２０４ 内部円
２０６ 外部円
３１１ 色彩検出処理部
３１２ 色彩補正部
３１３ 確認処理部
３２１ 座標変換処理部
３２２ コード変換処理部
ＣＴ、ＣＴ１〜ＣＴ１２ カラーコード付きターゲット
Ｌ１２、Ｌ２３、Ｌ３１ 辺
Ｐ１ 位置検出用パターン（レトロターゲット部）
Ｐ２ 基準色パターン（基準色部）
Ｐ３ カラーコードパターン（カラーコード部）
Ｐ４ 空パターン（白色部）
Ｐ５ 黒領域部
Ｐ６ 分離領域部
Ｐ７ テンプレートパターン
Ｐ８ カラーレトロターゲット
Ｒ１〜Ｒ３ 重心点
Ｔｏ 閾値
Ｔ１〜Ｔ３ 仮のラベル
【技術分野】
【０００１】
本発明は、マルチカメラをキャリブレーションする際の被写体であって、内部パラメータおよび外部パラメータを正確に測定するための、マルチカメラのキャリブレーション用全周フィールドに関する。
【背景技術】
【０００２】
従来から、収差の少ない画像を得るために、精密に計測され三次元上に配置された多数の点を複数方向から撮影し計測することにより、カメラの内部パラメータおよび外部パラメータを解析的に求めている。
【０００３】
従来のカメラのキャリブレーション用被写体としては、焦点距離が可変であるズームレンズの場合でも比較的狭い空間で使用可能な校正用三次元フィールドがある（例えば、特許文献１参照。）。校正用三次元フィールドは、例えば地下室のような温度変化の少ない環境において、コンクリート壁のような壁面やパネルに、広角用の基準マークと望遠用の基準マークを、相対的な位置関係が変動しないように配置させたものである（段落００２２、図１〜図４）。この校正用三次元フィールドを、校正対象である単一のキャリブレーションチャート撮影用カメラで複数方向から撮影し、キャリブレーションチャート画像を取得する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−３４７５４４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、複数のカメラを外向きに配置し、複数方向の画像を取得可能なマルチカメラ（図７参照）をキャリブレーションする場合、校正用三次元フィールドのようなキャリブレーション用被写体を用いると、カメラの方向ごとにキャリブレーション用被写体を移動させ撮影しなければならない。
そこで本発明は、マルチカメラをキャリブレーションする場合に用いる被写体であって、カメラの方向ごとに被写体を移動させることなく、高精度なマルチカメラのキャリブレーションが可能となるキャリブレーション用被写体（全周フィールド）を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の第１の態様に係る全周フィールドは、例えば図１に示すように、基準方向に光軸１１’を有する基準カメラ１１と、前記基準方向とは異なる方向に光軸１２’を有する他のカメラ１２とを有するマルチカメラ１０ａで撮影し、マルチカメラ１０ａをキャリブレーションするための全周フィールド１であって、マルチカメラ１０ａの内部パラメータまたは外部パラメータを測定するために撮影される、全周フィールド１内に配置された、三次元座標が既知の複数のターゲットを備え；前記基準方向から所定の角度範囲においては、前記ターゲットが第１の密度で配置され、前記基準方向から所定の角度範囲の範囲外においては、前記ターゲットが前記第１の密度よりも高い第２の密度で配置され、前記全周フィールド１の法線は、少なくとも２方向を有する。
なお、マルチカメラとは、光軸方向が異なる複数のカメラが外向きに配置され、複数方向の視野の画像を同期して取得することができるカメラシステムをいう。したがって、マルチカメラには、純粋の全周、例えば水平方向３６０度を複数のカメラで撮影できるものほか、任意の方向の３６０度を複数のカメラで撮影できるものを含み、さらに、３６０度までいかなくとも、１８０度を超える相当広範囲を複数のカメラで撮影できるもの（超広範囲を撮影するカメラ）も含まれる。「全周フィールド」の「全周」とは、３６０度に限られず、マルチカメラの各カメラがターゲットを撮影できるように、各カメラを覆う空間が形成できればよい。すなわち、撮影対象となるターゲットが各カメラの撮影領域に存在するように配置可能なフィールドであればよい。全周フィールドを構成するものとしては、上記の壁面に限られず、パネル等を用いてもよい。既知の「三次元座標」とは、絶対基準点としての世界座標系における既知の三次元座標をいう。「世界座標系」とは、マルチカメラの有する全てのカメラについて統一した座標系をいう。
【０００７】
このように構成すると、画像中心部と比べてレンズ歪みの大きい画像周辺部であっても、高精度なキャリブレーションが可能となる。一般的にマルチカメラは、それぞれのカメラに広角レンズが用いられ、広い視野の画像を取得する。そのため、得られた画像はレンズによる歪みが大きい。本願発明では、基準方向からの所定の角度範囲の範囲外において、より高い密度でターゲットを配置することにより、歪みの大きい場所でのキャリブレーションの精度を高めることができる。さらに、基準方向からの所定の角度範囲においては、より低い密度とすることで、キャリブレーション時の計算量を減らすことができる。さらに、全周フィールドを移動させることなく、マルチカメラが有する各カメラを同期させてターゲットを撮影することが可能となる。
【０００８】
本発明の第２の態様に係る全周フィールドは、上記本発明の第１の態様に係る全周フィールド１において、例えば図５に示すように、前記第１の密度で配置されたターゲットは、第１の大きさであり、前記第２の密度で配置されたターゲットは、第１の大きさよりも大きな第２の大きさであり、撮影されたターゲットの大きさが揃うように、前記第１の大きさのターゲットと前記第２の大きさのターゲットは構成されている。
なお、「ターゲットの大きさが揃う」とは、完全に同一の大きさとなる場合に限られず、撮影精度が保証できる大きさでターゲットを撮影できるのであれば、大きさが多少異なる場合も含まれる。
【０００９】
このように構成すると、ターゲットの大きさが画像周辺部と比べて中心部では小さくなるが、撮影精度が保証できる大きさとすることができる。
【００１０】
本発明の第３の態様に係る全周フィールドは、上記本発明の第１の態様または第２の態様に係る全周フィールド１において、例えば図１に示すように、基準カメラ１１と他のカメラ１２は、互いにオーバーラップ領域１４を設けて撮影するように配置され、前記第２の密度で配置されたターゲットは、オーバーラップ領域１４に撮影されるように前記ターゲットを配置する。
なお、本発明の第３の態様に係る全周フィールドは、所望のキャリブレーションの精度が担保できる範囲内であれば、ターゲットが、オーバーラップ領域よりもより広範囲に密に配置される場合、およびオーバーラップ領域よりもより狭範囲に密に配置される場合をも含むものとする。すなわち、ターゲットを密に配置する領域は、オーバーラップ領域と完全に重なる場合に限られず、密に配置する領域とオーバーラップ領域に多少のずれが生じている場合も含むものとする。
【００１１】
このように構成すると、オーバーラップ領域にはより高い密度で配置されたターゲットが撮影されるため、画像歪み（レンズ歪み）の大きい部分でのキャリブレーションの精度が高くなり、マルチカメラで撮影された画像間の繋ぎの精度を高めることができる。よって、パノラマ画像の作成において、つなぎ部分の違和感のより少ない画像を得ることができる。すなわち、パノラマ画像を取得するためのより正確なカメラ間のキャリブレーションが可能となる。なお「パノラマ画像」とは、パノラマ動画像をも含む。
【００１２】
本発明の第４の態様に係る全周フィールドは、上記本発明の第３の態様に係る全周フィールド１において、例えば図１に示すように、他のカメラ１２の光軸方向から所定の角度範囲は、オーバーラップ領域１４以外の領域であり、他のカメラ１２の光軸方向から所定の角度範囲においては、前記ターゲットが第３の密度で配置され、前記第２の密度は、前記第３の密度よりも高い。
【００１３】
このように構成すると、基準カメラと他のカメラの光軸方向から所定の角度範囲においては、ターゲットがより粗く配置されるため、各カメラのキャリブレーション時の計算量を減らすことができる。一方で、各カメラの光軸方向から所定の角度範囲の範囲外（オーバーラップ領域）においては、ターゲットがより密に配置されるため、各カメラのキャリブレーションの精度を高めることができる。
【００１４】
本発明の第５の態様に係る全周フィールドは、上記本発明の第１の態様乃至第４の態様のいずれか１の態様に係る全周フィールド１において、基準カメラ１１の前記基準方向から所定の角度範囲は、カメラが有するレンズの所定の歪み量以下の範囲である。
【００１５】
このように構成すると、レンズの所定の歪み量に基づいて、所定の角度範囲およびその角度範囲外を決定できる。したがって、より効率的に、歪み量のより少ない範囲においてはキャリブレーション時の計算量を減らすことができ、歪み量のより多い範囲においてはキャリブレーションの精度を高めることができる。
【００１６】
本発明の第６の態様に係る全周フィールドは、上記本発明の第１の態様乃至第５の態様のいずれか１の態様に係る全周フィールド１において、例えば図３（ａ）に示すように、全周フィールドが、マルチカメラの周囲を囲むように構成される。
【００１７】
このように構成すると、水平方向３６０度の視野を撮影することができるマルチカメラのキャリブレーションが可能となる。
【００１８】
本発明の第７の態様に係る全周フィールドは、上記本発明の第１の態様乃至第５の態様のいずれか１の態様に係る全周フィールドにおいて、例えば図７に示すように、基準カメラが天頂方向に向けられ、前記基準方向とは異なる方向に光軸を有する複数の他のカメラが前記基準カメラの周囲に配置されたマルチカメラ１０ｂ、１０ｃ、１０ｄにより撮影される全周フィールドであって、前記全周フィールドは、マルチカメラ１０ｂ、１０ｃ、１０ｄの周囲を囲む側面と、マルチカメラ１０ｂ、１０ｃ、１０ｄを覆う上面から構成される。
なお、「天頂方向」とは、天頂に限られず、天底方向、水平方向、および、任意の方向をも含み、基準カメラがこれらの方向に向けて設置される場合をも含む。
【００１９】
このように構成すると、各カメラが全周および天頂方向に配置されたマルチカメラであっても全周フィールドを撮影でき、全天球パノラマ画像を生成可能なマルチカメラのキャリブレーションが可能となる。なお、基準カメラが水平方向に向けられた場合は、全天球パノラマ画像は９０度反転し、天底に向けられた場合は１８０度反転する。
【００２０】
本発明の第８の態様に係る全周フィールドは、上記本発明の第１の態様乃至第７の態様のいずれか１の態様に係る全周フィールドにおいて、例えば図１６に示すように、前記ターゲットは、カラーコード付きターゲットである。
【００２１】
このように構成すると、ターゲットにカラーコード付きターゲットを使用しているため、各ターゲットを容易に識別でき、特にオーバーラップ領域における画像間の対応点の特定を容易にすることができる。さらに、カラーコード付きターゲットを使用して、公知の方法を用いて各カメラの明度低下現象の補正や複数カメラ間の相対的な色調補正が可能となる。
【００２２】
本発明の第９の態様に係る全周フィールドの撮影方法は、例えば図１３に示すように、基準方向に光軸１１’を有する基準カメラ１１と、前記基準方向とは異なる方向に光軸１２’を有する他のカメラ１２とを有するマルチカメラ１０ａで撮影する、キャリブレーション用全周フィールド１の撮影方法であって、マルチカメラ１０ａを配置する工程（Ｓ０１）と；前記基準方向から所定の角度範囲においては、三次元座標が既知のターゲットを第１の密度で配置し、前記基準方向から所定の角度範囲の範囲外においては、三次元座標が既知のターゲットを前記第１の密度よりも高い第２の密度で配置して、全周フィールド１の法線方向が少なくとも２方向になるように全周フィールド１を構成する工程（Ｓ０２）と；基準カメラ１１の光軸１１’を、前記第１の密度で配置されたターゲットに向けてセットする工程（Ｓ０３）と；マルチカメラ１０ａの内部パラメータまたは外部パラメータを測定するために、複数の前記ターゲットをマルチカメラ１０ａで撮影する工程（Ｓ０４）とを備える。なお、ターゲットに向けてセットする工程（Ｓ０３）は、全周フィールドの法線方向に向けてセットすることが好ましい。
なお、マルチカメラ１０ａを配置する工程（Ｓ０１）と全周フィールド１を構成する工程（Ｓ０２）は、順序を問わない。
【００２３】
このように構成すると、基準方向からの所定の角度範囲の範囲外において、より高い密度でターゲットを配置することにより、レンズ歪みの大きい場所でのキャリブレーションの精度を高めることができ、基準方向からの所定の角度範囲においては、より低い密度で配置することで、キャリブレーション時の計算量を減らすことができる全周フィールドの撮影方法となる。
【００２４】
本発明の第１０の態様に係る全周フィールドの撮影方法は、上記本発明の第９の態様に係る全周フィールドの撮影方法において、例えば図１３に示すように、全周フィールド１を構成する工程（Ｓ０２）は、基準カメラ１１と他のカメラ１２が互いにオーバーラップ領域を設けて撮影するように、かつ、前記オーバーラップ領域には、前記第２の密度で配置されたターゲットが撮影されるように、全周フィールド１を構成する。
【００２５】
このように構成すると、オーバーラップ領域にはより高い密度で配置されたターゲットが撮影されるため、画像歪み（レンズ歪み）の大きい部分でのキャリブレーションの精度が高くなり、特に画像間の繋ぎの精度を高めることができる全周フィールドの撮影方法となる。よって、パノラマ画像の作成において、つなぎ部分の違和感のより少ない画像を得ることができる。すなわち、パノラマ画像を取得するためのより正確なカメラ間のキャリブレーションが可能となる。
【発明の効果】
【００２６】
本発明の全周フィールドは、マルチカメラをキャリブレーションする場合の被写体であって、カメラごとに被写体を移動させることなく、高精度なマルチカメラのキャリブレーションが可能となる。
【図面の簡単な説明】
【００２７】
【図１】３つのカメラを有するマルチカメラ１０ａと、全周フィールド１の位置関係およびターゲットを粗くおよび密に配置する例を説明する図である。
【図２】壁面（マルチカメラの、天頂、前後、左右）にターゲットを貼り付け、全周フィールドを構成した場合の図である。
【図３】全周フィールドの形状を例示する図である。
【図４】オーバーラップ領域および、撮影画像とキャリブレーション画像を示す図（その１）である。
【図５】撮影画像とキャリブレーション画像を示す図（その２）である。
【図６】撮影画像とキャリブレーション画像を示す図（その３）である。
【図７】マルチカメラの例を示す図である。
【図８】天頂カメラを基準カメラとしてターゲットを撮影した場合を示す図である。
【図９】側面カメラを基準カメラとしてターゲットを撮影した場合を示す図である。
【図１０】オリエンテーション接続を説明する図（その１）である。
【図１１】オリエンテーション接続を説明する図（その２）である。
【図１２】機械座標系への変換を説明する図である。
【図１３】全周フィールドの撮影方法の処理フローを示す図である。
【図１４】単写真標定を説明する図である。
【図１５】外部パラメータ（オリエンテーションパラメータ）、内部パラメータ（カメラキャリブレーションパラメータ）を説明する図である。
【図１６】カラーコード付きターゲットＣＴ１を示す図である。
【図１７】カラーコード抽出手段の構成例を示す図である。
【図１８】カラーコード付きターゲットの抽出のフロー例を示す図である。
【図１９】レトロターゲットを用いた重心位置検出の説明図である。
【図２０】カラーコード付きターゲット領域方向検出処理部の処理フロー例を示す図である。
【図２１】カラーコード付きターゲット領域方向検出処理部の処理フロー例（続）を示す図である。
【図２２】レトロターゲットのコード読み込みを説明するための図（その１）である。
【図２３】レトロターゲットのコード読み込みを説明するための図（その２）である。
【図２４】複数の画像で撮影されるカラーコード付きターゲットの例を示す図である。
【図２５】カラーコード付きターゲットＣＴ２を示す図である。
【図２６】カラーコード付きターゲットＣＴ３を示す図である。
【図２７】カラーコード付きターゲットＣＴ４を示す図である。
【図２８】カラーコード付きターゲットＣＴ５を示す図である。
【図２９】カラーコード付きターゲットＣＴ６を示す図である。
【図３０】カラーコード付きターゲットＣＴ７を示す図である。
【図３１】カラーコード付きターゲットＣＴ８を示す図である。
【図３２】カラーコード付きターゲットＣＴ９を示す図である。
【図３３】カラーコード付きターゲットＣＴ１０を示す図である。
【図３４】カラーコード付きターゲットＣＴ１１を示す図である。
【図３５】複数のカラーレトロターゲットを組み合わせたカラーコード付きターゲットＣＴ１２を示す図である。
【発明を実施するための形態】
【００２８】
以下、図面を参照して本発明の実施の形態について説明する。なお、各図において互いに同一または相当する部分には同一あるいは類似の符号を付し、重複した説明は省略する。また、本発明は、以下の実施の形態に制限されるものではない。
【００２９】
［全周フィールド］
本発明の第１の実施の形態に係る全周フィールドについて説明する。マルチカメラをキャリブレーションするために撮影する全周フィールドは、基本的にマルチカメラを覆う空間において、三次元座標が既知の複数のターゲットを空間的に張り巡らして配置させたものである。なお、ターゲットの世界座標系における正確な三次元座標は、トータルステーション等で計測し、または、デジタル写真測量若しくはフリーネットワーク調整等の手法を用いて既知とする。
【００３０】
例えば図１には、３つのカメラを有するマルチカメラ１０ａを用いて、全周フィールド１を撮影する場合のターゲットの配置例（粗くまたは密に）を示す。なお便宜的にマルチカメラ１０ａの有するカメラのうちから任意の１つを基準カメラとする。図１では、カメラ１１を基準カメラとし、カメラ１１の光軸１１’を中心とする所定の角度範囲においては、第１の密度でターゲットを配置する。他のカメラ１２、１３の光軸１２’、１３’を中心とする所定の角度範囲においては、第３の密度でターゲットを配置する。このとき、第1の密度と第３の密度は、同一でもよく異なってもよい。また、光軸１２’、１３’を中心とする所定の角度範囲における第３の密度がそれぞれ異なってもよい。さらに、カメラ１１の撮影領域とカメラ１２の撮影領域が重なる領域（オーバーラップ領域１４）およびカメラ１１の撮影領域とカメラ１３の撮影領域が重なる領域（オーバーラップ領域１５）においては、ターゲットを第２の密度で配置し、第１の密度＜第２の密度、第３の密度＜第２の密度となるようにする。すなわち、図１に示すように、ターゲットは、光軸１１’、１２’、１３’を中心とする特定の領域よりも、オーバーラップ領域においてより密に配置される。
【００３１】
ターゲットを配置する第１〜第３の密度は、それぞれの領域において密度が均一となるように配置してもよく、または、不均一であってもよい。第１の密度および第３の密度については、光軸１１’、１２’、１３’の中心から離れるにつれて高密度となるように配置してもよい。要するに、第１の密度＜第２の密度、第３の密度＜第２の密度であればよい。
【００３２】
一例として図２には、マルチカメラを覆う空間として一部屋を用意し、その壁面（マルチカメラに対し、天頂、前後、左右）にターゲットを貼り付け、全周フィールドを構成した例を示す。ターゲットには、カラーコード付きターゲットを用いている。カラーコード付きターゲットについては後述する。
なお、「ターゲット」とは、世界座標系における三次元座標が既知のマークであればよく、その形状は特に限定されない。例えば、図１９に示す円形のレトロターゲットであってもよい。
【００３３】
また、図３に示すように、マルチカメラを覆う空間としては、一部屋（立方体）に限られず、斜方立方八面体、コの字型、L字型等の他の形状であってもよい。すなわち、全周フィールドは、全周（水平方向３６０度）に配置される場合に限られず、マルチカメラが有する各カメラがターゲットを撮影できるように、マルチカメラを覆う空間が形成できればよい。さらに、ターゲットを配置するものとしては、上記の壁面に限られず、パネル等を用いて全周フィールドを構成してもよい。
【００３４】
図４（ａ）に、マルチカメラ１０ａのカメラ１１、１２で撮影した画像間のオーバーラップ領域１４（斜線部）を示す。図４（ｂ）は、カメラ１１で撮影した撮影画像のイラストであり、図４（ｃ）は、キャリブレーション後の補正画像のイラストである。撮影画像の周辺部約１０％（図では横幅の１０％に相当する両端の領域）がオーバーラップ領域１４、１５となる。そこで、オーバーラップ領域１４、１５に配置されるターゲットを密に配置し、オーバーラップ領域１４、１５のキャリブレーション時の精度をより高くする。それにより、マルチカメラで撮影された画像間のつなぎをより自然なものとすることができる。
【００３５】
なお、上記の例は、オーバーラップ領域か否かでターゲットを配置する密度を決定している。しかし、カメラのレンズの特定の歪み量を基準にして、ターゲットを密に配置する領域と粗く配置する領域を決定してもよい。このようにすると、をより効果的にキャリブレーションすることができる。具体的には、後述の［キャリブレーション］に示す式（３）（４）からわかるように、レンズ歪みは、係数ｋ１〜ｋ４、ｐ１〜ｐ２で表わされ、式からレンズ歪み量は、例えば主点位置よりの半径ｒで求められるため、基準光軸から離れた量に応じてその密度を決定し、実際のターゲット配置を求めることができる。例えば、式（３）（４）に示すように、レンズの歪みが画像（画面）中心から画像上での対象物像までの距離ｒの乗数などに応じて変化することを利用して、画像上において略同じ密度で撮影されるように、例えば、配置するターゲットの密度を光軸付近の中央部分では粗い密度、すなわちターゲットの間隔を空けて配置し、周辺部分では細かい密度、すなわちターゲットの間隔をつめて配置することが望ましい。
すなわち、式（３）（４）を利用して、画像上での画像中心からの距離ｒに応じて、画像上での歪み量ｄｘ、ｄｙが判り、これに応じて画像の中央部分と、周辺部分におけるターゲットを配置する密度を適切にすることができる。実際には、レンズ歪みは、式（３）（４）のｋ１ｒ２の項に一番依存するため、例えば、粗領域と密領域で半径ｒが２倍の関係になっていれば、粗領域に対して密領域では４倍の密度でターゲットを配置する、などとしてもよい。
【００３６】
さらに、画像上において撮影精度が保証できる大きさで撮影されるように、ターゲットの大きさを、変化させることがより望ましい。図５（ａ）（ｂ）では、配置するターゲットの大きさを、光軸付近の中央部分では比較的小さくし、周辺部分では大きくして配置している。図５（ａ）は撮影画像のイラストであり、図５（ｂ）はキャリブレーション補正画像である。具体的には、画像上の１０画素以上の大きさ（ｘ、ｙ）となるように式（１）（２）を利用してターゲットの大きさ（Ｘ，Ｙ）を設定することができる。なお、ターゲットの大きさは、撮影されたターゲットの大きさが揃うように、中央部分に配置するターゲットと周辺部分に配置するターゲットの大きさを構成することが特に望ましい。
【００３７】
上記では、ターゲットがカラーコード付きターゲットのみの例を示しているが、図６（ａ）（ｂ）に示すように、カラーコード付きターゲットと円形一色の色ターゲット（図６では円形のレトロターゲット）とを混ぜて配置してもよい。カラーコード付きターゲットで認識したコードと位置に基づき、円形一色の色ターゲットの位置と配置が特定できる。さらに、円形一色の色ターゲットの大きさを画像上１０画素以上となるように設定することが容易となり、高い測定精度を保証することができる。
【００３８】
図７に、マルチカメラの例を示す。マルチカメラは、複数のカメラが外向きに例えば放射状に配置され、複数方向の視野の画像を同期して取得することができるカメラシステムである。（ａ）は、３つのカメラを有するマルチカメラ１０ａの側面図である。（ｂ）は、天頂方向に向けられた１つのカメラと、それを囲むように周辺方向に向けられた４つのカメラを有するマルチカメラ１０ｂの上面図である。（ｃ）は、天頂方向に向けられた１つのカメラと、周辺方向に向けられた５つのカメラを有するマルチカメラ１０ｃの上面図である。（ｄ）は、天頂方向に向けられた１つのカメラと、周辺方向に向けられた６つのカメラを有するマルチカメラ１０ｄの上面図である。なお、天頂方向に向けられたカメラを水平方向や天底方向等に向けて上記のマルチカメラを配置してもよい。
【００３９】
図８に、６つのカメラを有するマルチカメラ１０ｃ’であって、天頂カメラを基準カメラ（Ｃａｍ６）とし、その周囲に配置されたカメラ（Ｃａｍ１〜４）とで全周フィールドを撮影した場合の例（イラスト）を示す。Ｃａｍ５については、Ｃａｍ２、３の裏側にあるため図示されていない。
なお、図８のマルチカメラ１０ｃ’において、天頂カメラを使用せず、５つの側面カメラで全周フィールドを撮影した場合、５つのカメラはそれぞれ隣同士のカメラとのオーバーラップ領域を有し、画像どうしを接続できる。よって、側面カメラの１つを基準カメラとし、基準カメラの画像とオーバーラップ領域を有さない画像を含む場合であっても、キャリブレーションは可能である。
【００４０】
本発明の第２の実施の形態に係る全周フィールドについて説明する。
図９に、６つのカメラを有するマルチカメラ１０ｃ’であって、側面カメラのうちの１つを基準カメラ（Ｃａｍ０）とし、その左右に配置されたカメラ（Ｃａｍ１、４）とで全周フィールドを撮影した場合の例を示す。このように、全周フィールドは、マルチカメラが有するカメラの一部を覆う空間において、ターゲットを空間的に配置させたものであってもよい。例えば水平方向（３６０度）撮影可能なマルチカメラに対し、全周フィールドは、部屋一個ではなく、例えば半面または三分の一であってもよい。
【００４１】
図１０に、全周フィールドが半面の場合にマルチカメラを回転させて、各カメラで全周フィールドを撮影しキャリブレーションする際の、対応するカメラ間でのオリエンテーション接続の接続方法を示す。なお、「オリエンテーション接続」とは、マルチカメラを回転または移動等（図３（ａ）〜（ｃ）参照）させて撮影した場合に対応するカメラ間のオリエンテーション（位置、傾き）を統一させることを言う。
図１０のマルチカメラは６つのカメラを有し、図１０に示す丸はカメラを示しＴ字はカメラの方向を示す。また、側面に配置されたカメラをＣａｍ０〜４とし、天頂カメラをＣａｍ５とする。（１）まず、Ｃａｍ４‐０‐１で全周フィールドを撮影する。（２）次に、マルチカメラを回転させ、Ｃａｍ０‐１‐２で全周フィールドを撮影する。（３）〜（５）同様に、マルチカメラを回転させ、側面カメラを１つずつずらして全周フィールドを撮影する。（６）最後に、天頂カメラＣａｍ５と側面カメラとの位置関係を得るため、Ｃａｍ５と側面カメラ（図１０では、Ｃａｍ１‐２‐３‐４）とで、全周フィールドを撮影する。
【００４２】
各カメラで撮影された画像には、絶対基準点としての三次元座標を有するターゲットが撮影される。したがって、図１１に示すように、撮影された画像において、対応するカメラ像面をフィッティングさせ、３軸回転（ω、φ、κ）と平行移動（ｄｘ、ｄｙ、ｄｚ）を求める。次に、マルチカメラの機械座標系（カメラ座標系）にて、各カメラのオリエンテーションを再定義する。すなわち、図１２に示すように、機械座標系の、原点：側面カメラ位置の平均、鉛直軸：側面カメラ位置を水平面にフィッティング、Ｙ軸：カメラ（Ｃａｍ０）の方向（水平０度）、Ｘ軸：水平面上でＹ軸に直交する方向、とする。このように、対応するカメラ間でオリエンテーション接続をすることにより、全周フィールドが半面または三分の一等であっても、水平方向（３６０度）撮影可能なマルチカメラ（天頂方向含む）のキャリブレーションが可能となる。
【００４３】
本発明の第３の実施の形態に係る全周フィールドの撮影方法について説明する。図１３に、全周フィールドの撮影方法の処理フローを示す。まず、キャリブレーションするマルチカメラを例えば部屋の中央に配置させる（Ｓ０１）。次に、撮影画像の中央部分には粗く配置されたターゲットが撮影されるように、部屋の壁面にターゲットを配置させる。さらに、撮影画像の周辺部分には中央部分よりも密に配置されたターゲットが撮影されるように、壁面にターゲットを配置させて、全周フィールドを構成する（Ｓ０２）。次に、各カメラの光軸を粗く配置されたターゲットに向けてセットする（Ｓ０３）。次に、マルチカメラの各カメラでターゲットを撮影する（Ｓ０４）。なお、全周フィールドの構成（Ｓ０２）では、隣接するカメラどうしが互いにオーバーラップ領域を有し、かつ、オーバーラップ領域にはより密に配置されたターゲットが撮影されるようにしてもよい。
【００４４】
［キャリブレーション］
カメラをキャリブレーションする場合、カメラの内部パラメータ（カメラキャリブレーションパラメータ）および外部パラメータ（オリエンテーションパラメータ）を求める必要がある。これらのパラメータを求める場合、あらかじめ三次元座標が測定されているターゲットを異なる方向から複数枚撮影し、各画像間のターゲットの対応づけを行ない、このターゲットの対応づけと予め測定されている結果とから、カメラの内部パラメータおよび外部パラメータを求める。
【００４５】
このキャリブレーションには、各種の方法があるが、一例として写真測量分野で使用される「セルフキャリブレーション付きバンドル調整法」を説明する。
「バンドル調整法」とは、被写体、レンズ、ＣＣＤ撮像面を結ぶ光束は、同一線上になければならないという共線条件（図１４参照）に基づき、各画像の光束の１本毎に観測方程式をたて、最小２乗法によりカメラの外部パラメータ（位置、傾き）とターゲットの座標を同時調整する方法であり、「セルフキャリブレーション付き」とは、カメラの内部パラメータ（画像距離、画像中心、歪み補正係数）を求める方式である（図１５参照）。
【００４６】
このセルフキャリブレーション付きバンドル調整法の共線条件基本式は、下記の（１）および（２）に示す式で表される。内部パラメータの補正モデル式は、下記の（３）および（４）に示す式で表される。これらの式と多数の既知点と画像上の像点（最低６点）から、単写真標定によるセルフキャリブレーション（バンドル調整）にて解き、外部パラメータである位置（投影中心：（Ｘ０、Ｙ０、Ｚ０））と傾き（ω、φ、κ）、および内部パラメータである画像距離（ｆ）、画像中心（ｘ０、ｙ０）、歪み補正係数ｋ１〜ｋ４、ｐ１、ｐ２）を求める。なお、カメラのキャリブレーションを行なう場合、ターゲットの数または撮影された画像の枚数が多ければ多いほど（数枚から数十枚）、キャリブレーションの精度が向上する。一般に、三次元座標が既知の点数（基準点数）と撮影枚数には相関関係があり、精度を考慮すると、例えば、基準点数が１００点以上であれば枚数５枚以上、基準点数が２５点程度であれば枚数１０枚以上が望ましい。
ａ１〜ａ９：回転行列
ａ１＝ｃｏｓφｃｏｓκ
ａ２＝−ｃｏｓφｓｉｎκ
ａ３＝ｓｉｎφ
ａ４＝ｃｏｓωｓｉｎκ＋ｓｉｎωｓｉｎφｃｏｓκ
ａ５＝ｃｏｓωｃｏｓκ−ｓｉｎωｓｉｎφｓｉｎκ
ａ６＝−ｓｉｎωｃｏｓφ
ａ７＝ｓｉｎωｓｉｎκ−ｃｏｓωｓｉｎφｃｏｓκ
ａ８＝ｓｉｎωｃｏｓκ＋ｃｏｓωｓｉｎφｓｉｎκ
ａ９＝ｃｏｓωｃｏｓφ
Ｘ，Ｙ，Ｚ：ターゲット座標
Ｘ０，Ｙ０，Ｚ０：投影中心（主点）
ｘ，ｙ：画像座標
ｄｘ、ｄｙ：画像上での歪み量
【００４７】
［カラーコード付きターゲット］
本発明の実施の形態でターゲットとして用いたカラーコード付きターゲットについて説明する。カラーコード付きターゲットは、すでに本出願人により特願２００５−２８９３３４として出願されている。
図１６にカラーコード付きターゲットの例を示す。図１６はカラーコードの単位パターンが３個のカラーコード付きターゲットＣＴ１である。カラーコード付きターゲットＣＴ１は、レトロターゲット部（位置検出用パターン）Ｐ１、基準色部（基準色パターン）Ｐ２、カラーコード部（カラーコードパターン）Ｐ３、白色部（空パターン）Ｐ４で構成されている。これら、レトロターゲット部Ｐ１、基準色部Ｐ２、カラーコード部Ｐ３、白色部Ｐ４は、カラーコード付きターゲットＣＴ１内の所定の位置に配置される。すなわち、基準色部Ｐ２、カラーコード部Ｐ３、白色部Ｐ４は、レトロターゲット部Ｐ１に対して所定の位置関係に配置される。
【００４８】
レトロターゲット部Ｐ１は、ターゲット自体の検出用、その重心検出用、ターゲットの方向（傾斜方向）検出用、ターゲット領域検出用として使用される。図１６ではレトロターゲット部Ｐ１としてレトロターゲットが使用されている。すなわち、カラーコード付きターゲットＣＴ１は、三次元座標が既知のマーク（位置検出用パターン）を３つ有している。
【００４９】
基準色部Ｐ２は、照明やカメラ等の撮影条件による色のズレに対応するために、相対比較時の参照用、色ズレを補正するためのカラーキャリブレーション用として使用される。さらに、基準色部Ｐ２は、簡易な方法で作成されたカラーコード付きターゲットＣＴの色彩補正用として使用できる。例えば、色管理がなされていないカラープリンタ（インクジェット・レーザー・昇華型等のプリンタ）で印刷したカラーコード付きターゲットＣＴを使用する場合は、使用プリンタ等で色彩に個体差が出るが、基準色部Ｐ２とカラーコード部Ｐ３の色を相対比較し補正することで、個体差の影響を押さえることができる。
【００５０】
カラーコード部Ｐ３は、その各単位パターンへの配色の組み合わせによってコードを表現する。コードに使用するコード色の数により表現可能なコード数が変化する。例えば、コード色数がｎの場合、図１６のカラーコード付きターゲットＣＴ１では、カラーコード部Ｐ３の単位パターンが３個のため、ｎ×ｎ×ｎ通りのコードを表せる。信頼度を上げるため、他の単位パターンに使用されている色を重複して使用しないという条件を課した場合でも、ｎ×（ｎ−１）×（ｎ−２）通りのコードを表せる。そして、コード色数を増やせばコード数を増加できる。さらに、カラーコード部Ｐ３の単位パターンの数とカラーコード数を等しくするという条件を課すと、全てのコード色がカラーコード部Ｐ３に使用されるため、基準色部Ｐ２との比較のみで無く、カラーコード部Ｐ３の各単位パターン間で色を相対比較することにより、各単位パターンの色彩を確認して識別コードを決定することができ、信頼性を上げることができる。さらに、各単位パターンの面積を全て同じにする条件を追加すると、カラーコード付きターゲットＣＴを画像中から検出する際にも使用できる。これは、異なる識別コードをもつカラーコード付きターゲットＣＴ間でも各色の占有する面積が同じになるため、カラーコード部全体からの検出光からはほぼ同様な分散値が得られるからである。また、単位パターン間の境界は等間隔に繰り返され、明確な色彩差が検出されるので、このような検出光の繰り返しパターンからもターゲットＣＴを画像中から検出することが可能である。
【００５１】
白色部Ｐ４は、カラーコード付きターゲットＣＴの方向検出用と色ズレのキャリブレーション用として使用する。カラーコード付きターゲットＣＴの四隅の内、一カ所だけレトロターゲット部Ｐ１（レトロターゲット）が配置されない箇所があり、これをカラーコード付きターゲットＣＴの方向検出用に使用できる。このように白色部Ｐ４はレトロターゲット部Ｐ１（レトロターゲット）と異なるパターンであれば良い。したがって、白色部には目視でコードを確認するための番号などの文字列を印刷しても良く、また、バーコード等のコード領域としても使用しても良い。さらに、検出精度を上げるために、テンプレートマッチング用のテンプレートパターンとして使用することも可能である。
【００５２】
（カラーコード抽出手段）
以下に、カラーコード付きターゲットＣＴを撮影後、カラーコード抽出手段１００を用いてカラーコードを抽出する手順を説明する。
図１７にカラーコード抽出手段１００の構成例を示す。カラーコード抽出手段１００は、カラーコード付きターゲットを抽出する抽出部４１およびそのカラーコードを判別する識別コード判別部４６により構成される。抽出部４１は、探索処理部１１０、レトロターゲットグループ化処理部１２０、カラーコード付きターゲット検出処理部１３０、画像・カラーパターン記憶部１４０を有する。また、識別コード判別部４６はカラーコード付きターゲット検出処理部１３０で検出されたカラーコードを判別しコード番号を付与する。
【００５３】
また、２０はカラーコート付きターゲットを含む測定対象物を撮影する撮像部で、ステレオカメラ等が使用される。２３は撮像部２０で撮影されたステレオ画像を記憶する画像データ記憶部である。また、１５０は、抽出部４１で抽出されたレトロターゲット部Ｐ１の位置座標と、識別コード判別部４６で判別された識別コードとを関連付けて記憶する標識情報記憶部であり、標識情報記憶部１５０に記憶されたデータは、標定部４４で標定に用いられ、または三次元位置計測部５０で、測定対象物の三次元座標または三次元形状の測定に用いられる。
【００５４】
探索処理部１１０は、撮像部２０で撮影されたまたは画像データ記憶部２３に記憶されたカラー画像（撮影画像）から、レトロターゲットパターン等の位置検出用パターン（レトロターゲット部Ｐ１）を検出する。位置検出用のターゲットとして、レトロターゲットパターンの代わりにテンプレートパターンが用いられた場合は、テンプレートパターン検出をする。
【００５５】
レトロターゲットグループ化処理部１２０は、探索処理部１１０で検出したレトロターゲットが同じカラーコード付きターゲットＣＴに属すると判断されたもの（例えば位置座標が同じカラーコード付きターゲットＣＴの領域に入るもの）を同一グループに属する候補としてグループ化する。
【００５６】
カラーコード付きターゲット検出処理部１３０は、同じカラーコード付きターゲットに属すると判断されたレトロターゲットのグループ（候補）から、当該カラーコード付きターゲットＣＴの領域と方向を検出するカラーコード付きターゲット領域方向検出処理部１３１と、カラーコード付きターゲットＣＴの基準色部Ｐ２、カラーコード部Ｐ３における色彩の配列、画像中の色彩を検出する色彩検出処理部３１１と、基準色パターンＰ２を参照してカラーコード部Ｐ３および画像中の色彩を補正する色彩補正部３１２と、グループ化が適正になされたかを確認する確認処理部３１３で構成されている。
【００５７】
画像・カラーパターン記憶部１４０は、抽出部４１に読み込んだ画像を記憶する読込画像記憶部１４１と、使用が予定される複数種類のカラーコード付きターゲットＣＴについて、カラーコード付きターゲットＣＴの種別を示す種別コード番号を記録し、さらに、各種のカラーコード付きターゲットＣＴについて、パターン配置とコード番号の対応関係を記録するカラーコード付きターゲット対応表１４２で構成されている。
【００５８】
識別コード判別部４６は、カラーコード部Ｐ３における色彩の配列から識別コードを判別し、識別コードに変換するもので、カラーコード付きターゲット検出処理部１３０で検出されたカラーコード付きターゲットＣＴの領域と方向のデータに基づいて、カラーコード付きターゲットＣＴの座標を変換する座標変換処理部３２１と、座標変換されたカラーコード付きターゲットＣＴのカラーコード部Ｐ３における色彩の配列から識別コードを判別し、識別コードに変換するコード変換処理部３２２で構成されている。
【００５９】
（カラーコード抽出フロー）
図１８にカラーコード付きターゲットの抽出フローの例を示す。
まず、処理対象のカラー画像（撮影画像）を、撮像部２０または画像データ記憶部２３から抽出部４１の読込画像記憶部１４１に読み込む（Ｓ５００）。次に、読込まれた各画像よりレトロターゲットを検出する（Ｓ５１０）。
【００６０】
探索方法は、（１）カラーコード付きターゲットＣＴ中の位置検出用パターンであるレトロターゲット部Ｐ１（レトロターゲット）を探索する方法、（２）カラーコード部Ｐ３の色分散を検出する方法、あるいは（４）彩色された位置検出用パターンを用いる方法など種々の方法がある。ここでは（１）、（２）およびこれらを組み合わせる例（３）を説明する。（４）については、（カラーコード付きターゲットＣＴ１１）で説明する。
【００６１】
（１）カラーコード付きターゲットＣＴにレトロターゲットが含まれている場合は、明度差が鮮明なパターンを使用するので、カメラの絞りを絞りフラッシュ撮影することにより、レトロターゲットのみが光った画像を取得でき、この像を２値化することにより簡単にレトロターゲットを検出できる。
【００６２】
図１９はレトロターゲットを用いた重心位置検出の説明図で、（Ａ１）は内円部２０４の明度が明るく、外円部２０６の明度が暗いレトロターゲット、（Ａ２）は（Ａ１）のレトロターゲットの直径方向の明度分布図、（Ｂ１）は内円部２０４の明度が暗く、外円部２０６の明度が明るいレトロターゲット、（Ｂ２）は（Ｂ１）のレトロターゲットの直径方向の明度分布図を示している。レトロターゲットが図１９（Ａ１）のように内円部２０４の明度が明るい場合は、測定対象物１の撮影画像において重心位置での反射光量が多く明るい部分になっているため、画像の光量分布が図４（Ａ２）のようになり、光量分布の閾値Ｔｏからレトロターゲットの内円部２０４や中心位置を求めることが可能となる。
【００６３】
ターゲットの存在範囲が決定されると、例えばモーメント法によって重心位置を算出する。例えば、図１９（Ａ１）に表記されたレトロターゲット２００の平面座標を（ｘ、ｙ）とする。そして、レトロターゲット２００の明度が、しきい値Ｔｏ以上のｘ、ｙ方向の点について、（式１）、（式２）を演算する（＊は乗算演算子）。
ｘｇ＝｛Σｘ＊ｆ（ｘ、ｙ）｝／Σｆ（ｘ、ｙ） −−−−（式１）
ｙｇ＝｛Σｙ＊ｆ（ｘ、ｙ）｝／Σｆ（ｘ、ｙ） −−−−（式２）
（ｘｇ、ｙｇ）：重心位置の座標、ｆ（ｘ、ｙ）：（ｘ、ｙ）座標上の濃度値
なお、図１９（Ｂ１）に表記されたレトロターゲット２００の場合は、明度がしきい値Ｔｏ以下のｘ、ｙ方向の点について、（式１）、（式２）を演算する。
これにより、レトロターゲット２００の重心位置が求まる。
【００６４】
（２）通常、カラーコード付きターゲットＣＴのカラーコード部には多数のコード色が使用され、色の分散値が大であるという特徴がある。このため、分散値の大きい箇所を画像中から見出すことにより、カラーコード付きターゲットＣＴを検出できる。
（３）カラーコード付きターゲットＣＴにレトロターゲットが含まれている場合では、まず明度の高い箇所（レトロターゲット部Ｐ１があり得る）を画像全体に対してスキャンして検出し、次に、検出した明度の高い箇所の周囲における色の分散値の高い箇所（カラーコード部Ｐ３があり得る）を見出すことにより効率よく検出できる。
【００６５】
（１）の例について説明する。図１８に戻り、レトロターゲット検出処理部１１１は、カラー画像中から検出した複数のレトロターゲットの座標を読込画像記憶部１４１に保存する。
次に、レトロターゲットグループ化処理部１２０は、読込画像記憶部１４１に保存されたレトロターゲットの座標から、同じカラーコード付きターゲットＣＴに属するレトロターゲットのグループの候補を検出して（例えば座標がカラーコード付きターゲットＣＴ内にあるものを検出して）、読込画像記憶部１４１にその組み合わせをグループとして保存する（Ｓ５２０）。確認は、例えば、検出したカラーコード付きターゲットＣＴ内の３個のレトロターゲット間の距離および３個のレトロターゲットを結ぶ三角形の頂角を計測することにより可能である（Ｓ５３０参照）。
さらに、検出したカラーコード付きターゲットのパターンをカラーコード付きターゲット対応表１４２と照合することにより、どの種別のカラーコード付きターゲットであるかを確認する。
【００６６】
次に、カラーコード付きターゲット検出処理部１３０は、領域方向検出処理部１３１において読込画像記憶部１４１に保存された、レトロターゲットのグループ単位にレトロターゲットの重心位置からカラーコード付きターゲットＣＴの領域と方向を求める（Ｓ５３０）。この領域と方向を求める前または後に、色彩検出処理部３１１で、基準色部Ｐ２、カラーコード部Ｐ３、画像中の測定対象物の色彩を検出する。必要であれば、色彩補正部３１２で基準色部Ｐ２の色を基準にしてカラーコード部Ｐ３や画像中の測定対象物１の色彩を補正する。また、基準にならない印刷色のカラーコード付きターゲットを使用した場合には、その基準色部を併せて補正する。そして確認処理部３１３において、グループ化が適正に行なわれたか、すなわち、一旦グループ化されたレトロターゲットの重心位置が同じカラーコード付きターゲットＣＴに属するか否かを確認する。同じグループに属すると判別された場合は次の識別コード識別処理（Ｓ５３５）に進み、同じグループに属さないと判別された場合には、再度グループ化処理（Ｓ５２０）に戻る。
【００６７】
図２０、図２１にカラーコード付きターゲット領域方向検出処理部１３１の処理フロー例を示す。また、図２２、図２３を用いてレトロターゲットのコード読み込みを説明する。ここでは、図１６のカラーコード付きターゲットＣＴ１からコードを読み込む手続きについて説明する。
カラーコード付きターゲットＣＴ１からコードを読み込むには、カラーコード付きターゲットＣＴ１の領域と方向を知る必要があるため、３つの位置検出用レトロターゲットの重心点をＲ１，Ｒ２，Ｒ３にラベリングする（図２２（ａ）参照）。
【００６８】
ラベリング方法は、対象の３つのレトロターゲットの重心点Ｒ１〜Ｒ３を通る三角形を作成する（Ｓ６００）。３つのレトロターゲットの重心点Ｒ１〜Ｒ３の中から適当に１つを選んでＴ１と仮にラベリングし（Ｓ６１０）、残りの２つの重心点を時計回りにＴ２，Ｔ３と仮にラベリングをする（Ｓ６１２、図２２（ｂ）参照）。
次に、それぞれの重心点を通る辺をラベリングする。Ｔ１とＴ２を通る辺をＬ１２、Ｔ２とＴ３を通る辺をＬ２３、Ｔ３とＴ１を通る辺をＬ３１とする（Ｓ６１４、図２３（ａ）参照）。
【００６９】
次に、三角形の内側を各頂点（重心点）から半径Ｒ離れた画素値を弧状にスキャンをして、スキャンした範囲で色の変化みる（図２３（ｂ）参照）。
重心点Ｔ１では、Ｌ１２からＬ３１を時計回りに、重心点Ｔ２では、Ｌ２３からＬ１２を時計回りに、重心点Ｔ３では、Ｌ３１からＬ２３を時計回りにスキャンをする（Ｓ６２０〜Ｓ６２５）。
半径の決め方は、スキャンをする角度に応じて画像上でレトロターゲットのサイズに倍率をかけて決める。レトロターゲットを斜め方向から撮影された場合は楕円になるため、スキャン範囲も楕円形状になる。倍率は、レトロターゲットのサイズと、レトロターゲット重心位置と基準色部Ｐ２の距離によって決められる。
【００７０】
さらにノイズなどの影響を少なくするため、スキャンする範囲に幅を持たせて、半径Ｒ−ΔｒからＲ＋Δｒの間で平均値等の代表値を決める方法も考えられる。
この例では、スキャンは弧状にスキャンをしたが、重心点でつくられた三角形の辺に垂直な直線上をスキャンする方法も考えられる（図２３（ｃ）参照）。
【００７１】
図１６のカラーコード付きターゲットＣＴ１の例では、重心点Ｔ２の周りをスキャンした結果では色の変化があり、Ｒ（赤）・Ｇ（緑）・Ｂ（青）の値に変化が見られ、変化のピークがＲ・Ｇ・Ｂの順にあらわれる。Ｔ１とＴ３の周りのスキャン結果では、色の変化はなく、Ｒ・Ｇ・Ｂの値はほぼ一定でピークがあらわれない（図２３（ｂ）参照）。このように、１つの重心点Ｔ２の周りには色の変化が見られ、残りの２つの重心点Ｔ１、Ｔ３の周りには色の変化がないという特徴により、カラーコード付きターゲットＣＴ１の方向を判断できる。
【００７２】
ラベリングの確認処理は、確認処理部３１３により行なわれる。スキャンの結果に色の変化があった重心点をＲ１とし、残りの２つの重心点は、色の変化があった重心点から時計回りにラベリングしてＲ２、Ｒ３とする（Ｓ６３０〜Ｓ６３２）。この例では、重心点Ｔ２をＲ１、重心点Ｔ３をＲ２、重心点Ｔ１をＲ３とする。色の変化があった重心点が１つ、色の変化がない重心点が２つ検出されなかった場合は、レトロターゲットの組み合わせエラーとなり（Ｓ６３３）、３組のレトロターゲットを新たに選出して（Ｓ６３４）、Ｓ６００に戻る。このように、処理の結果から、選ばれた３つレトロターゲットが、同じカラーコード付きターゲットＣＴ１に属するか否かも確認できる。このようにしてレトロターゲットのグループ化が確定する。
上記のラベリング方法は、図１６のカラーコード付きターゲットＣＴ１を例に説明したが、後述する各種カラーコード付きターゲットＣＴについても、一部の処理を変えることにより同様の処理ができる。
【００７３】
（コードの識別）
図１８に戻り、識別コード判別部４６は、抽出部４１で抽出されたカラーコード付きターゲットＣＴ１について、座標変換処理部３２１においてグループ化されたレトロターゲットの重心位置に基づいて、カラーコード付きターゲットＣＴ１の設計値に合うように座標変換し、次に、コード変換処理部３２２において、カラーコードを識別し（Ｓ５３５）、コード変換してカラーコード付きターゲットＣＴ１の識別コードを求め（Ｓ５４０）、読込画像記憶部１４１に保存する（Ｓ５４５）。
【００７４】
図２１でこの処理フローを説明する。曲面に貼付された、斜め方向から撮影された等により、形に歪のあるカラーコード付きターゲットの撮影画像を、ラベルＲ１，Ｒ２，Ｒ３を用いて、歪のない正面図に座標変換する（Ｓ６４０）。座標変換することより、カラーコード付きターゲットの設計値を参照して、レトロターゲット部Ｐ１、基準色部Ｐ２、カラーコード部Ｐ３、白色部Ｐ４を判別しやすくなり、後の処理が進め易くなる。
【００７５】
次に、座標変換されたカラーコード付きターゲットＣＴ１上で、設計値どおりに白色部Ｐ４があるか確認をする（Ｓ６５０）。設計値どおりでない場合は検出エラーとなる（Ｓ６３３）。設計値どおりに白色部Ｐ４がある場合は、カラーコード付きターゲットＣＴ１が検出されたと判断される（Ｓ６５５）。
【００７６】
次に、色彩補正され、領域と方向がわかったカラーコード付きターゲットＣＴ１のカラーコードの判別をする。
カラーコード部Ｐ３は、その各単位パターンへの配色の組み合わせによってコードを表現する。例えば、コード色数がｎで単位パターンが３個の場合、ｎ×ｎ×ｎのコードを表せ、他の単位パターンに使用されている色を重複して使用しないという条件を課した場合は、ｎ×（ｎ−１）×（ｎ−２）のコードを表せる。コード色数がｎ、単位パターンがｎ個で、色を重複して使用しないという条件を課した場合は、ｎの階乗通りのコードを表現できる。
識別コード判別部４６は、コード変換処理部３２２において、カラーコード部Ｐ３における単位パターンの配色の組み合わせを、カラーコード付きターゲット対応表１４２の配色の組み合わせと比較・照合して識別コードを判別する（図１８のＳ５３５）。
【００７７】
色彩の判別方法は、（１）基準色部Ｐ２の色とカラーコード部Ｐ３の色を比較して決める相対比較方法と、（２）基準色部Ｐ２の色と白色部Ｐ４の色を使ってカラーコード付きターゲットＣＴ１の色補正を行ない、その補正された色でカラーコード部Ｐ３のコードの判別をする絶対比較方法の、二つの方法がある。例えば、カラーコード部Ｐ３に使用する色数が少ない場合は基準色を相対比較の比較色として使用し、カラーコード部Ｐ３に使用する色数が多い場合は、色を補正するためにキャリブレーション用の色として絶対比較の比較色として使用する。前述のように、色彩の検出は色彩検出処理部３１１で、色補正は色彩補正部３１２で行なう。画像による３次元計測では複数の画像を撮るため、ほとんどの場合、各画像間で撮影条件などにより色ズレがおきる。カラーコード付きターゲットを使用することにより、複数の画像間での色の差を補正することが可能である。
【００７８】
識別コード判別部４６は、コード変換処理部３２２において、（１）、（２）どちらかの方法を使用して、基準色部Ｐ２とカラーコード部Ｐ３を検出し（Ｓ６６０、Ｓ６７０）、カラーコード部Ｐ３の各色を判別し、色をコードに変換して、対象のカラーコード付きターゲットＣＴ１の識別コードを求める（Ｓ６８０、図１８のＳ５４０）。
そして画像ごとに、当該画像に含まれるカラーコード付きターゲットＣＴ１の番号を読込画像記憶部１４１に登録する（図１８のＳ５４５）。読込画像記憶部１４１に登録されたデータは、多数のカラーコード付き標識ＣＴの検出位置座標に基づいて、標定部４４で標定に用いられ、または、三次元位置計測部５０で測定対象物の三次元座標、三次元形状を測定するのに用いられる。
【００７９】
（画像間の対応付け）
図２４に複数の画像で撮影されるカラーコード付きターゲットの例を示す。図２４（ａ）にステレオ画像のオーバーラップの様子を示す。計測される基本範囲は、２枚（一対）のステレオ撮影画像のオーバーラップ範囲である。このとき、４個のカラーコード付きターゲットＣＴがオーバーラップ範囲に入るように撮影するのが好ましい。このようにするとステレオ画像を用いて三次元測定が可能である。また、図２４（ｂ）に隣接し合うステレオ画像間のオーバーラップのさせ方の例を示す。この様に、上下左右方向に２個のカラーコード付きターゲットＣＴを含んでオーバーラップするように一連の画像を撮影するのが好ましい。このようにすると広域にわたる非接触三次元測定の自動化が可能になる。なお、ブレークラインは画像の有効領域を示すラインであり、４個のカラーコード付きターゲットＣＴの最も外側にあるレトロターゲットを結ぶライン内が有効領域である。
【００８０】
図２４（ｃ）はステレオマッチングエリア設定を説明するための図である。図２４（ｃ）はカラーコード付きターゲットＣＴが位置検出用の３つのレトロターゲットを有する例である。カラーコード付きターゲットＣＴを画面の４隅の近くに配置し、常にこれらのカラーコード付きターゲットＣＴの最も外側にあるレトロターゲットを結ぶ領域をマッチングエリアとすることで、ステレオマッチングエリアが自動的に決められると同時に、各モデル画像間のオーバーラップを確実にすることができる。このように、マッチング領域を決定することで、図２４（ｂ）に示すように、各モデル画像間のオーバーラップも確実にとれるようになる。なお、各カラーコード付きターゲットＣＴに位置検出用パターン（レトロターゲット部）Ｐ１を最低２点以上配置（２点の場合は対角に配置）すれば、マッチングエリアの自動設定処理が可能となる。
【００８１】
以下にカラーコード付きターゲットの他の例を示す。
（カラーコード付きターゲットＣＴ２）
図２５にカラーコード付きターゲットＣＴ２の例を示す。図２５はカラーコード部Ｐ３が６箇所のカラーコード付きターゲットＣＴ２である。図１６におけるカラーコード付きターゲットＣＴ１のカラーコードパターンＰ３の３つの単位パターンを対角線で分離して、単位パターンを６箇所としているので、カラーコード付きターゲットＣＴの領域と方向の検出方法は、図１６の場合と同様に、各重心点でできた三角形の内側をスキャンした場合の色に変化でレトロターゲットのラベリング処理が可能である。すなわち、Ｒ１の周りでは２回の色変化が生じ、Ｒ２とＲ３の周りでは色の変化は生じない。また、カラーコード部Ｐ３の読み込み処理は６箇所に増加する。カラーコードに使用する色を６色にするとコード数は、６×５×４×３×２×１＝７２０コードを表現できる。最後のカラーコード部（最後の×１の部分）はコード数に影響は無いが相対比較のため必要であり、更に色コード部を認識した際に誤認識のチェック用としても利用できる。
【００８２】
（カラーコード付きターゲットＣＴ３）
図２６にカラーコード付きターゲットＣＴ３の例を示す。図２６のカラーコード付きターゲットＣＴ３は、図２５のカラーコード付きターゲットＣＴ２の基準色部Ｐ２を無くし、レトロターゲット部Ｐ１の一つを大きくしたものである。
図２６のカラーコード付きターゲットＣＴ３は、Ｒ１にあたる部分のレトロターゲットが大きくなっているので、各レトロターゲット部のＲ１，Ｒ２，Ｒ３へ対応させるラベリング処理は、レトロターゲットのサイズを検出すればできる。ただし、Ｒ１にあたる部分のレトロターゲットが大きくなった分、基準色部Ｐ２が無いのでカラーコードの判別は難しくなる。
【００８３】
この場合の対策として、例えば、カラーコードに使用する色を６色にし、同じ色を重複使用しないという制限をもうけると、カラーコード部Ｐ３に全てのコード色が現れる。これにより、各カラーコード部Ｐ３の色を６色のコード色に対応させるだけで良くなり、しかも、カラーコード部Ｐ３相互の色を相対比較により行なう事ができる。コード数は、図２５のカラーコード付きターゲットＣＴ２と同様に７２０コードを表現できる。
【００８４】
（カラーコード付きターゲットＣＴ４）
図２７にカラーコード付きターゲットＣＴ４の例を示す。図２７のカラーコード付きターゲットＣＴ４は、図１６のカラーコード付きターゲットＣＴ１の外側に黒色の黒領域部Ｐ５を追加したパターンである。黒領域部Ｐ５により、ターゲット周囲の色や模様の影響を抑制できる。
図２７のカラーコード付きターゲットＣＴ４は、図１６のカラーコード付きターゲットＣＴ１の外側に黒領域部Ｐ５を形成したのみなので処理は図１６のカラーコード付きターゲットＣＴ１と変わらない。図１６以外のカラーコード付きターゲットにも黒領域部Ｐ５の形成が可能である。
【００８５】
（カラーコード付きターゲットＣＴ５）
図２８にカラーコード付きターゲットＣＴ５の例を示す。図２８のカラーコード付きターゲットＣＴ５は、カラーコード部Ｐ３の単位パターンを小さくし、カラーコード部Ｐ３の単位パターンを９箇所にしたものである。
このため、カラーコード付きターゲットＣＴ５の領域と方向の検出の際、Ｒ１の周りでは２回の色変化が、Ｒ２とＲ３の周りでは１回の色変化があらわれるので、これにより識別できる。また、白色部Ｐ４との位置関係を検出することにより、Ｒ１、Ｒ２、Ｒ３を確認できる。また、カラーコード部Ｐ３の読み込み処理は９箇所に増加する。カラーコードに使用する色を９色にするとコード数は、９の階乗＝３６２８８０コードを表現できる。それ以外は、図１６と同様に処理ができる。
【００８６】
（カラーコード付きターゲットＣＴ６）
図２９にカラーコード付きターゲットＣＴ６の例を示す。図２９のカラーコード付きターゲットＣＴ６は、図１６のカラーコード付きターゲットＣＴ１の、レトロターゲット部Ｐ１のＲ２、Ｒ３の部分と白色部Ｐ４に基準色部Ｐ２を配置し、カラーコード付きターゲットの領域と方向の検出用としても使用するものである。レトロターゲット部Ｐ１はＲ１の部分一箇所である。図１６のカラーコード付きターゲットＣＴ１の基準色部Ｐ２の部分にはカラーコードパターンＰ３を配置でき、カラーコードパターンを一つ増やせる。
基準色部Ｐ２を領域と方向の検出用として使用する場合、四角のパターンの重心を求めること、基準色光で明度差を検出することにより、レトロターゲットより精度は劣るが、レトロターゲットと同様に重心点の検出が可能である。
【００８７】
（カラーコード付きターゲットＣＴ７）
図３０にカラーコード付きターゲットＣＴ７の例を示す。図３０のカラーコード付きターゲットＣＴ７は、図１６のカラーコード付きターゲットＣＴ１のカラーコード部Ｐ３の領域を小さくし、さらに、レトロターゲット部Ｐ１のパターンをＲ１の部分１箇所、カラーコードパターンを４箇所にした、小型タイプである。このカラーコード付きターゲットＣＴ７においても基準色部Ｐ２が領域と方向の検出用として使用される。
【００８８】
（カラーコード付きターゲットＣＴ８）
図３１にカラーコード付きターゲットＣＴ８の例を示す。図３１のカラーコード付きターゲットＣＴ８は、図３０のカラーコード付きターゲットＣＴ７の白色部Ｐ４をカラーコード部Ｐ３に置換してカラーコードパターンを５カ所にした、小型タイプのものである。
【００８９】
（カラーコード付きターゲットＣＴ９）
図３２にカラーコード付きターゲットＣＴ９の例を示す。図３２のカラーコード付きターゲットＣＴ９は、図１６のカラーコード付きターゲットＣＴ１の単位パターンの間に黒色の分離領域部Ｐ６を形成したものである。これにより、領域やカラーの判別時にエラーを減らす事ができる。
【００９０】
（カラーコード付きターゲットＣＴ１０）
図３３にカラーコード付きターゲットＣＴ１０の例を示す。図３３のカラーコード付きターゲットＣＴ１０は、図１６のカラーコード付きターゲットＣＴ１のレトロターゲットＰ１の代わりに、テンプレートマッチング検出に対応できるように、テンプレートパターンＰ７に置換したものである。レトロターゲットと同様に重心点の検出を高精度にできる。
【００９１】
（カラーコード付きターゲットＣＴ１１）
図３４にカラーコード付きターゲットＣＴ１１の例を示す。図３４のカラーコード付きターゲットＣＴ１１は、図１６のカラーコード付きターゲットＣＴ１のレトロターゲットＰ１をカラーレトロターゲットＰ８としたものである。
カラーコード付きターゲットＣＴ１１は、ターゲットの位置抽出の探索方法として、（４）彩色された位置検出用パターンを用いる方法を採用するものである。
【００９２】
（４）カラーコード付きターゲットＣＴに使用している３隅のレトロターゲットに異なる色を配し、それぞれのレトロターゲットが反射する色を異なるものにする。３隅のレトロターゲットに異なる色を配しているため、１つのカラーコード付きターゲットＣＴに属する各レトロターゲットを判別しやすい。レトロターゲットグループ化処理において、多数のレトロターゲットを使用する場合にも、異なる色のレトロターゲットで一番距離が近いものを同一グループの候補として選択することにより、処理が簡単になる。
【００９３】
リファレンスポイントＲＦとして多数のレトロターゲットを用いる場合には、カラーコード付きターゲットＣＴのレトロターゲットと単体のレトロターゲットが混在するので、カラーコード付きターゲットＣＴのレトロターゲットを彩色したカラーレトロターゲットＰ８とし、単体のレトロターゲットを白色とすれば、判別し易い。
重心位置の検出については、図１９での説明を参照されたい。
【００９４】
なお、位置検出用標識としてカラーコード付きターゲットＣＴに代えて単体又は複数のカラーレトロターゲットを使用することも可能である。例えば、単体の場合、配色の種類を増加したり、カラーの配置をランダムにするなどにより、基準点に対する対応点、ステレオ画像ペアを探索し易くなる。
また、複数のカラーレトロターゲットを組み合わせて使用することも可能である。例えば、図３５に示すように、３個のカラーレトロターゲットＰ８をまとめて１つの標識（カラーコード付き標識ＣＴ）とし、その配色の組み合わせを変化させることにより、基準点に対する対応点、ステレオ画像ペアを探索し易くなる。
【００９５】
カラーコード付きターゲットの方向決定では、レトロターゲットでできる三角形の内角の色数の違いで方向を決めていたが、カラーコード付きターゲットの３隅のレトロターゲットに色をもたせ、それぞれのレトロターゲットが反射する色を異なるものにする方法も考えられる。例えば、カラーコード付きターゲットに使用されている左上のレトロターゲットは赤、右上のレトロターゲットは青、左下のレトロターゲットは緑の反射光を戻すものに変更すれば、カラーコード付きターゲットの方向決定をその反射光の色を判断する事により簡単に処理する事ができる。
【００９６】
以上のカラーコード付きターゲットは、単位パターンが正方形のカラーコード付きターゲットの例を主に説明したが、棒状パターン、円形パターン等他の形状にしても良く、また、バーコード等と色彩を組み合わせてカラーコードとしても良い。
【００９７】
また、カラーコード付きターゲットＣＴの貼付に代えて、またはカラーコード付きターゲットＣＴの貼付と併用して投影装置により撮影対象物にカラーコード付きターゲットＣＴを投影して使用しても良い。また、カラーコード抽出手段の構成、カラーコード付きターゲットの抽出のフローも適宜変更可能である。
【符号の説明】
【００９８】
１ 全周フィールド
１０ａ、１０ｂ、１０ｃ、１０ｄ マルチカメラ
１１ カメラ、基準カメラ
１２ カメラ
１３ カメラ
１１’ カメラ１１の光軸
１２’ カメラ１２の光軸
１３’ カメラ１３の光軸
１４ オーバーラップ領域
１５ オーバーラップ領域
２０ 撮像部
２３ 画像データ記憶部
４１ 抽出部
４４ 標定部
４６ 識別コード判別部
５０ 三次元計測部
１００ カラーコード抽出手段
１１０ 探索処理部
１１１ レトロターゲット検出処理部
１２０ レトロターゲットグループ化処理部
１３０ カラーコード付きターゲット検出処理部
１３１ カラーコード付きターゲット領域方向検出処理部
１４０ 画像・カラーパターン記憶部
１４１ 読込画像記憶部
１４２ カラーコード付きターゲット対応表
１５０ 標識情報記憶部
２００ レトロターゲット
２０４ 内部円
２０６ 外部円
３１１ 色彩検出処理部
３１２ 色彩補正部
３１３ 確認処理部
３２１ 座標変換処理部
３２２ コード変換処理部
ＣＴ、ＣＴ１〜ＣＴ１２ カラーコード付きターゲット
Ｌ１２、Ｌ２３、Ｌ３１ 辺
Ｐ１ 位置検出用パターン（レトロターゲット部）
Ｐ２ 基準色パターン（基準色部）
Ｐ３ カラーコードパターン（カラーコード部）
Ｐ４ 空パターン（白色部）
Ｐ５ 黒領域部
Ｐ６ 分離領域部
Ｐ７ テンプレートパターン
Ｐ８ カラーレトロターゲット
Ｒ１〜Ｒ３ 重心点
Ｔｏ 閾値
Ｔ１〜Ｔ３ 仮のラベル
【特許請求の範囲】
【請求項１】
基準方向に光軸を有する基準カメラと、前記基準方向とは異なる方向に光軸を有する他のカメラとを有するマルチカメラで撮影し、前記マルチカメラをキャリブレーションするための全周フィールドであって、
前記マルチカメラの内部パラメータまたは外部パラメータを測定するために撮影される、前記全周フィールド内に配置された、三次元座標が既知の複数のターゲットを備え；
前記基準方向から所定の角度範囲においては、前記ターゲットが第１の密度で配置され、
前記基準方向から所定の角度範囲の範囲外においては、前記ターゲットが前記第１の密度よりも高い第２の密度で配置され、
前記全周フィールドの法線は、少なくとも２方向を有する、
全周フィールド。
【請求項２】
前記第１の密度で配置されたターゲットは、第１の大きさであり、
前記第２の密度で配置されたターゲットは、第１の大きさよりも大きな第２の大きさであり、
撮影されたターゲットの大きさが揃うように、前記第１の大きさのターゲットと前記第２の大きさのターゲットは構成されている、
請求項１に記載の全周フィールド。
【請求項３】
前記基準カメラと前記他のカメラは、互いにオーバーラップ領域を設けて撮影するように配置され、
前記第２の密度で配置されたターゲットは、前記オーバーラップ領域に撮影されるように前記ターゲットを配置した、
請求項１または請求項２に記載の全周フィールド。
【請求項４】
前記他のカメラの光軸方向から所定の角度範囲は、前記オーバーラップ領域以外の領域であり、
前記他のカメラの光軸方向から所定の角度範囲においては、前記ターゲットが第３の密度で配置され、
前記第２の密度は、前記第３の密度よりも高い、
請求項３に記載の全周フィールド。
【請求項５】
前記基準カメラの前記基準方向から所定の角度範囲は、カメラが有するレンズの所定の歪み量以下の範囲である、
請求項１乃至請求項４のいずれか１項に記載の全周フィールド。
【請求項６】
前記全周フィールドは、前記マルチカメラの周囲を囲むように構成された、
請求項１乃至請求項５のいずれか１項に記載の全周フィールド。
【請求項７】
前記基準カメラが天頂方向に向けられ、前記基準方向とは異なる方向に光軸を有する複数の他のカメラが前記基準カメラの周囲に配置されたマルチカメラにより撮影される全周フィールドであって、
前記全周フィールドは、前記マルチカメラの周囲を囲む側面と、前記マルチカメラを覆う上面から構成される、
請求項１乃至請求項５のいずれか１項に記載の全周フィールド。
【請求項８】
前記ターゲットは、カラーコード付きターゲットである、
請求項１乃至請求項７のいずれか１項に記載の全周フィールド。
【請求項９】
基準方向に光軸を有する基準カメラと、前記基準方向とは異なる方向に光軸を有する他のカメラとを有するマルチカメラで撮影する、キャリブレーション用全周フィールドの撮影方法であって、
前記マルチカメラを配置する工程と；
前記基準方向から所定の角度範囲においては、三次元座標が既知のターゲットを第１の密度で配置し、前記基準方向から所定の角度範囲の範囲外においては、三次元座標が既知のターゲットを前記第１の密度よりも高い第２の密度で配置して、前記全周フィールドの法線方向が少なくとも２方向になるように前記全周フィールドを構成する工程と；
前記基準カメラの光軸を、前記第１の密度で配置されたターゲットに向けてセットする工程と；
前記マルチカメラの内部パラメータまたは外部パラメータを測定するために、複数の前記ターゲットを前記マルチカメラで撮影する工程とを備える；
全周フィールドの撮影方法。
【請求項１０】
前記全周フィールドを構成する工程は、前記基準カメラと前記他のカメラが互いにオーバーラップ領域を設けて撮影するように、かつ、前記オーバーラップ領域には、前記第２の密度で配置されたターゲットが撮影されるように、前記全周フィールドを構成する；
請求項９に記載の全周フィールドの撮影方法。
【請求項１】
基準方向に光軸を有する基準カメラと、前記基準方向とは異なる方向に光軸を有する他のカメラとを有するマルチカメラで撮影し、前記マルチカメラをキャリブレーションするための全周フィールドであって、
前記マルチカメラの内部パラメータまたは外部パラメータを測定するために撮影される、前記全周フィールド内に配置された、三次元座標が既知の複数のターゲットを備え；
前記基準方向から所定の角度範囲においては、前記ターゲットが第１の密度で配置され、
前記基準方向から所定の角度範囲の範囲外においては、前記ターゲットが前記第１の密度よりも高い第２の密度で配置され、
前記全周フィールドの法線は、少なくとも２方向を有する、
全周フィールド。
【請求項２】
前記第１の密度で配置されたターゲットは、第１の大きさであり、
前記第２の密度で配置されたターゲットは、第１の大きさよりも大きな第２の大きさであり、
撮影されたターゲットの大きさが揃うように、前記第１の大きさのターゲットと前記第２の大きさのターゲットは構成されている、
請求項１に記載の全周フィールド。
【請求項３】
前記基準カメラと前記他のカメラは、互いにオーバーラップ領域を設けて撮影するように配置され、
前記第２の密度で配置されたターゲットは、前記オーバーラップ領域に撮影されるように前記ターゲットを配置した、
請求項１または請求項２に記載の全周フィールド。
【請求項４】
前記他のカメラの光軸方向から所定の角度範囲は、前記オーバーラップ領域以外の領域であり、
前記他のカメラの光軸方向から所定の角度範囲においては、前記ターゲットが第３の密度で配置され、
前記第２の密度は、前記第３の密度よりも高い、
請求項３に記載の全周フィールド。
【請求項５】
前記基準カメラの前記基準方向から所定の角度範囲は、カメラが有するレンズの所定の歪み量以下の範囲である、
請求項１乃至請求項４のいずれか１項に記載の全周フィールド。
【請求項６】
前記全周フィールドは、前記マルチカメラの周囲を囲むように構成された、
請求項１乃至請求項５のいずれか１項に記載の全周フィールド。
【請求項７】
前記基準カメラが天頂方向に向けられ、前記基準方向とは異なる方向に光軸を有する複数の他のカメラが前記基準カメラの周囲に配置されたマルチカメラにより撮影される全周フィールドであって、
前記全周フィールドは、前記マルチカメラの周囲を囲む側面と、前記マルチカメラを覆う上面から構成される、
請求項１乃至請求項５のいずれか１項に記載の全周フィールド。
【請求項８】
前記ターゲットは、カラーコード付きターゲットである、
請求項１乃至請求項７のいずれか１項に記載の全周フィールド。
【請求項９】
基準方向に光軸を有する基準カメラと、前記基準方向とは異なる方向に光軸を有する他のカメラとを有するマルチカメラで撮影する、キャリブレーション用全周フィールドの撮影方法であって、
前記マルチカメラを配置する工程と；
前記基準方向から所定の角度範囲においては、三次元座標が既知のターゲットを第１の密度で配置し、前記基準方向から所定の角度範囲の範囲外においては、三次元座標が既知のターゲットを前記第１の密度よりも高い第２の密度で配置して、前記全周フィールドの法線方向が少なくとも２方向になるように前記全周フィールドを構成する工程と；
前記基準カメラの光軸を、前記第１の密度で配置されたターゲットに向けてセットする工程と；
前記マルチカメラの内部パラメータまたは外部パラメータを測定するために、複数の前記ターゲットを前記マルチカメラで撮影する工程とを備える；
全周フィールドの撮影方法。
【請求項１０】
前記全周フィールドを構成する工程は、前記基準カメラと前記他のカメラが互いにオーバーラップ領域を設けて撮影するように、かつ、前記オーバーラップ領域には、前記第２の密度で配置されたターゲットが撮影されるように、前記全周フィールドを構成する；
請求項９に記載の全周フィールドの撮影方法。
【図１】
【図３】
【図７】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２４】
【図２５】
【図２６】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図２】
【図４】
【図５】
【図６】
【図８】
【図９】
【図２２】
【図２３】
【図２７】
【図３】
【図７】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２４】
【図２５】
【図２６】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図２】
【図４】
【図５】
【図６】
【図８】
【図９】
【図２２】
【図２３】
【図２７】
【公開番号】特開２０１２−１８９５５１（Ｐ２０１２−１８９５５１Ａ）
【公開日】平成２４年１０月４日（２０１２．１０．４）
【国際特許分類】
【出願番号】特願２０１１−５５６２７（Ｐ２０１１−５５６２７）
【出願日】平成２３年３月１４日（２０１１．３．１４）
【出願人】（０００２２０３４３）株式会社トプコン (904)
【Ｆターム（参考）】
【公開日】平成２４年１０月４日（２０１２．１０．４）
【国際特許分類】
【出願日】平成２３年３月１４日（２０１１．３．１４）
【出願人】（０００２２０３４３）株式会社トプコン (904)
【Ｆターム（参考）】
[ Back to top ]