キャリブレーションシステム、パラメータ取得装置、標識体、及び、パラメータ取得方法
【課題】設置パラメータを取得する精度を向上する。
【解決手段】キャリブレーションシステム１０においては、第１標識体３１〜３４が、カメラ５で取得された画像中において略真円の像として表れる略楕円のマークＭｉ，Ｍｅを含んでいる。車載装置２は、このようなマークＭｉ，Ｍｅの略真円の像を含む画像をディスプレイに表示させ、ユーザはこの略真円の像の位置を指定する。そして、車載装置２は、指定されたマークＭｉ，Ｍｅの像の位置に基づいて設置パラメータを導出する。マークＭｉ，Ｍｅの略真円の像を含む画像が表示されるため、ユーザはマークＭｉ，Ｍｅの像の位置を正確に指定することができる。このため、設置パラメータを取得する精度を向上できる。
【解決手段】キャリブレーションシステム１０においては、第１標識体３１〜３４が、カメラ５で取得された画像中において略真円の像として表れる略楕円のマークＭｉ，Ｍｅを含んでいる。車載装置２は、このようなマークＭｉ，Ｍｅの略真円の像を含む画像をディスプレイに表示させ、ユーザはこの略真円の像の位置を指定する。そして、車載装置２は、指定されたマークＭｉ，Ｍｅの像の位置に基づいて設置パラメータを導出する。マークＭｉ，Ｍｅの略真円の像を含む画像が表示されるため、ユーザはマークＭｉ，Ｍｅの像の位置を正確に指定することができる。このため、設置パラメータを取得する精度を向上できる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に搭載されたカメラの設置に関する設置パラメータを取得する技術に関する。
【背景技術】
【０００２】
従来より、自動車などの車両に搭載されたカメラで車両の周辺を撮影して得られた画像を、車室内のディスプレイに表示する車載装置が知られている。このような車載装置を利用することにより、ドライバは車両の周辺の様子をほぼリアルタイムに把握することができる。
【０００３】
カメラを車両に設置した場合においては、カメラの光軸に関して設計上の位置に対してわずかに誤差が発生する。このようなカメラの光軸の誤差に起因して、当該カメラで取得された画像に含まれる被写体の像の位置は、理想的な位置からズレることになる。
【０００４】
このような問題に対応するため、従来より、カメラの設置に関する設置パラメータ（例えば、ロール角、チルト角、パン角など）を取得するキャリブレーション処理がなされている（例えば、特許文献１参照。）。車載装置は、このようなキャリブレーション処理で取得された設置パラメータを用いることで、画像中の被写体の像の位置を補正することができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１１−１５１６６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで近年、キャリブレーション処理において、設置パラメータを取得する精度を向上することが求められている。例えば、近年、複数のカメラで得られた複数の画像を合成して仮想視点からみた車両の周辺の様子を示す合成画像を生成する技術が普及してきている。このような合成画像の生成において設置パラメータの精度が低い場合には、複数の画像が整合なく合成されてしまい、画像同士の接続部分で被写体の像が分断されるなど不適切な合成画像が生成される可能性がある。このため、適切な合成画像を生成するためには、精度の高い設置パラメータが必要となる。
【０００７】
一般に、キャリブレーション処理は、車両の外部に配置された三角形などのマークをカメラで撮影し、得られた画像をディスプレイに表示させ、その画像中に含まれるマークの像の所定部分をユーザ（作業員等）が指定することで行われる（例えば、特許文献１参照。）。
【０００８】
図２２は、従来のキャリブレーション処理において、ディスプレイに表示された画像中の三角形のマークの像８０の例を示す図である。ユーザは、例えば、このようなマークの像の３つの頂点に、３つのカーソルＣをそれぞれ移動させる作業を行うことになる。
【０００９】
しかしながら、図２２の領域Ａを拡大した図２３に示すように、「マークの頂点にカーソルＣを移動させる」場合において、ユーザがカーソルＣを実際に移動させる位置は、図中の点Ｐ１〜点Ｐ４の例のように、ユーザによって異なることになる。また、「線の幅方向の中心にカーソルＣを移動させる」という条件を加えたとしても、ユーザがカーソルＣを実際に移動させる位置は、図中の点Ｐ２及び点Ｐ３の例のように、ユーザによって異なる。さらに、マークの像８０は実際のマークを正面から撮影したものではないため、像８０の線の中心と実際のマークの線の中心とは厳密には異なることから、実際のマークの線の中心を特定することは困難である。
【００１０】
このようなことから、従来のキャリブレーション処理で取得される設置パラメータは作業するユーザによってばらつきが生じ、精度の高い設置パラメータを安定して取得することができなかった。
【００１１】
本発明は、上記課題に鑑みてなされたものであり、設置パラメータを取得する精度を向上する技術を提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記課題を解決するため、請求項１の発明は、車両に搭載されたカメラに関するキャリブレーションシステムであって、前記車両の外部に配置される第１標識体と、前記第１標識体を前記カメラで撮影して得られた画像に基づいて、前記カメラの設置に関する設置パラメータを取得するパラメータ取得装置と、を備え、前記第１標識体は、前記画像中において略真円の像として表れる略楕円のマーク、を含み、前記パラメータ取得装置は、前記マークの略真円の像を含む前記画像を表示する表示手段と、前記表示手段が前記画像を表示中にユーザが指定する該画像における前記マークの像の位置に基づいて、前記設置パラメータを導出する導出手段と、を備えている。
【００１３】
また、請求項２の発明は、請求項１に記載のキャリブレーションシステムにおいて、前記マークの像の位置を前記ユーザが指定するために用いるカーソルは、前記マークの像の円周の少なくとも３点と接する形状である。
【００１４】
また、請求項３の発明は、請求項１または２に記載のキャリブレーションシステムにおいて、前記車両は、互いに異なる位置に配置された複数の前記カメラ、を有し、前記導出手段は、前記複数のカメラで得られた複数の画像に基づいて、前記複数のカメラそれぞれの前記設置パラメータを導出する。
【００１５】
また、請求項４の発明は、請求項３に記載のキャリブレーションシステムにおいて、前記第１標識体は、前記略楕円のマークとして、第１マークと、前記第１マークを内包する第２マークと、を含み、前記導出手段は、前記複数のカメラのうちの一の第１カメラで得られた前記画像中の前記第１マークの略真円の像の位置に基づいて、前記第１カメラの前記設置パラメータを導出し、前記複数のカメラのうちの他の一の第２カメラで得られた前記画像中の前記第２マークの略真円の像の位置に基づいて、前記第２カメラの前記設置パラメータを導出する。
【００１６】
また、請求項５の発明は、請求項３または４に記載のキャリブレーションシステムにおいて、前記パラメータ取得装置は、前記複数の車載カメラで得られた複数の画像と前記複数のカメラそれぞれの前記設置パラメータとを用いて、仮想視点からみた前記車両の周辺の様子を示す合成画像を生成する生成手段、をさらに備えている。
【００１７】
また、請求項６の発明は、請求項５に記載のキャリブレーションシステムにおいて、前記複数の画像を取得する際に前記車両の外部に配置され、所定形状の第３マークを示す第２標識体、をさらに備え、前記パラメータ取得装置は、前記複数の画像を用いて生成した前記合成画像に、前記第３マークの像が含まれるべき位置を示す指標を重畳する重畳手段、をさらに備え、前記表示手段は、前記第３マークの像と前記指標とを含む前記合成画像を表示する。
【００１８】
また、請求項７の発明は、車両の外部に配置される標識体を前記車両に搭載されたカメラで撮影して得られた画像に基づいて、前記カメラの設置に関する設置パラメータを取得するパラメータ取得装置であって、前記標識体は、前記画像中において略真円の像として表れる略楕円のマーク、を含み、前記パラメータ取得装置は、前記マークの略真円の像を含む前記画像を表示する表示手段と、前記表示手段が前記画像を表示中にユーザが指定する該画像における前記マークの像の位置に基づいて、前記設置パラメータを導出する導出手段と、を備えている。
【００１９】
また、請求項８の発明は、車両に搭載されたカメラで得られた画像に基づいて前記カメラの設置に関する設置パラメータを取得するために用いる標識体であって、前記画像中において略真円の像として表れる略楕円のマーク、を含む。
【００２０】
また、請求項９の発明は、車両に搭載されたカメラの設置に関する設置パラメータを取得するパラメータ取得方法であって、（ａ）前記カメラが取得する画像中において略真円の像として表れる略楕円のマークを前記カメラで撮影する工程と、（ｂ）前記工程（ａ）で得られた前記マークの略真円の像を含む画像を表示する工程と、（ｃ）前記工程（ｂ）において前記画像を表示中にユーザが指定する該画像における前記マークの像の位置に基づいて、前記設置パラメータを導出する工程と、を備えている。
【発明の効果】
【００２１】
請求項１ないし９の発明によれば、マークの略真円の像を含む画像が表示されるため、ユーザはマークの像の位置を正確に指定することができる。このため、設置パラメータを取得する精度を向上できる。
【００２２】
また、特に請求項２の発明によれば、カーソルがマークの像の円周の少なくとも３点と接する形状であるため、ユーザはカーソルをマークの像の位置により正確に合わせることができる。
【００２３】
また、特に請求項３の発明によれば、互いに異なる位置に配置された複数のカメラそれぞれの設置パラメータを導出することができる。
【００２４】
また、特に請求項４の発明によれば、第１マークと第２マークとがあるため、異なる位置に配置された２つのカメラで得られた画像それぞれにおいて、マークの像を略真円にすることができる。
【００２５】
また、特に請求項５の発明によれば、設置パラメータを利用して、車両の周囲の全体を正しく示す合成画像を生成することができる。
【００２６】
また、特に請求項６の発明によれば、合成画像に含まれる第３マークの像と指標との関係により、設置パラメータが正しく取得できたか否かを確認することができる。
【図面の簡単な説明】
【００２７】
【図１】図１は、キャリブレーションシステムの概要を示す図である。
【図２】図２は、車載装置の構成を示す図である。
【図３】図３は、カメラが撮影する方向を示す図である。
【図４】図４は、合成画像を生成する手法を説明する図である。
【図５】図５は、画像中の領域を説明する図である。
【図６】図６は、車両の左前方に配置される第１標識体を示す図である。
【図７】図７は、車両の左後方に配置される第１標識体を示す図である。
【図８】図８は、キャリブレーション処理の流れを示す図である。
【図９】図９は、カメラで取得された画像の例を示す図である。
【図１０】図１０は、ポイントの位置を指定する手法を説明する図である。
【図１１】図１１は、ポイントの位置を指定する手法を説明する図である。
【図１２】図１２は、ポイントの位置を指定する画面の例を示す図である。
【図１３】図１３は、マークの像とカーソルとの関係を示す図である。
【図１４】図１４は、ポイントの位置を指定する画面の例を示す図である。
【図１５】図１５は、合成画像の例を示す図である。
【図１６】図１６は、基準枠が重畳された合成画像を示す図である。
【図１７】図１７は、合成画像を表示したディスプレイの画面の例を示す図である。
【図１８】図１８は、合成画像を表示したディスプレイの画面の例を示す図である。
【図１９】図１９は、カーソルの一例を示す図である。
【図２０】図２０は、カーソルの一例を示す図である。
【図２１】図２１は、カーソルの一例を示す図である。
【図２２】図２２は、従来技術においてマークの像の部分を指定する様子を示す図である。
【図２３】図２３は、従来技術においてマークの像の一の部分を指定する様子を示す図である。
【発明を実施するための形態】
【００２８】
以下、図面を参照しつつ本発明の実施の形態について説明する。
【００２９】
＜１．構成＞
図１は、本実施の形態に係るキャリブレーションシステム１０の概要を示す図である。このキャリブレーションシステム１０は、車両（本実施の形態では自動車）９に搭載される複数のカメラ５の設置に関する設置パラメータを取得するキャリブレーション処理に用いられる。キャリブレーションシステム１０は、車両９に搭載される複数のカメラ５及び車載装置２、並びに、車両９の外部に配置される複数の第１標識体３１〜３４及び複数の第２標識体４１〜４３を備えている。
【００３０】
車載装置２は、複数のカメラ５で撮影して得られる複数の画像に基づいて、これら複数のカメラ５それぞれの設置に関する設置パラメータを取得する。この設置パラメータは、カメラの設置誤差（光軸の設計上の位置に対する誤差）を示すものであり、例えば、ロール角、チルト角、及び、パン角などである。
【００３１】
第１標識体３１〜３４、及び、複数の第２標識体４１〜４３はそれぞれ、所定形状のマークが主面に形成された鉄板やプラスチック板などの板状体である。これら複数の第１標識体３１〜３４、及び、複数の第２標識体４１〜４３は、車両工場や車両整備場などのキャリブレーション処理を実行する作業場に固定的に配置される。
【００３２】
４つの第１標識体３１〜３４はそれぞれ、設置パラメータの導出に用いる導出用マークＣｍを含んでいる。４つの第１標識体３１〜３４は、車両９の左前方、右前方、左後方、右後方にそれぞれ配置される。
【００３３】
また、５つの第２標識体４１〜４３はそれぞれ、キャリブレーション処理の良否判定に用いる矩形の確認用マークＬｍを含んでいる。１つの第２標識体４１は、確認用マークＬｍの長手方向が車両９の左右方向に沿うように車両９の前方に配置される。また、２つの第２標識体４２は、確認用マークＬｍの長手方向が車両９の前後方向に沿うように、車両９の左右それぞれのフロントフェンダ付近に配置される。さらに、２つの第２標識体４３は、確認用マークＬｍの長手方向が車両９の前後方向に沿うように、車両９の左右それぞれのリアフェンダ付近に配置される。
【００３４】
キャリブレーション処理を実行する場合には、作業場の所定位置に略正確に車両９が正対装置などにより停車される。これにより、第１標識体３１〜３４、及び、複数の第２標識体４１〜４３の車両９に対する相対的な位置は略一定となる。この状態で、車両９に搭載された複数のカメラ５が、第１標識体３１〜３４、及び、複数の第２標識体４１〜４３を含む車両９の周囲を撮影し、複数の画像を取得する。
【００３５】
そして、車載装置２は、このようにして得られた複数の画像それぞれに含まれる導出用マークＣｍの像の特定部分の位置に基づいて複数のカメラ５それぞれの設置パラメータを導出する。導出用マークＣｍの像の特定部分の位置は、ユーザ（作業員等）が指定することになる。車載装置２は、カメラ５の設置に関する設置パラメータを取得するパラメータ取得装置であるともいえる。
【００３６】
このようなキャリブレーション処理は、原則として一つの車両９に関して一回のみ、車両９に複数のカメラ５を取り付けた際に実行される。キャリブレーション処理で得られた設置パラメータは、車載装置２に記憶される。車載装置２は、複数のカメラ５で得られた複数の画像を合成して仮想視点からみた車両９の周辺の様子を示す合成画像を生成し、この合成画像を表示する機能を備えている。車載装置２は、この合成画像を生成する際に、キャリブレーション処理で得られた設置パラメータを利用する。
【００３７】
図２は主に、複数のカメラ５と車載装置２との構成を示す図である。図に示すように、複数のカメラ５と車載装置２とは相互に接続されている。これら複数のカメラ５はそれぞれ、レンズと撮像素子とを備えており、車両９の周辺を示す画像を電子的に取得する。
【００３８】
複数のカメラ５はそれぞれ、車載装置２とは別に、車両９の適位置に配置され、取得した画像を車載装置２に入力する。複数のカメラ５は、フロントカメラ５Ｆ、バックカメラ５Ｂ、左サイドカメラ５Ｌ、及び、右サイドカメラ５Ｒを含んでいる。これら４つのカメラ５Ｆ，５Ｂ，５Ｌ，５Ｒは、互いに異なる位置に配置され、車両９の周辺の異なる方向を撮影する。
【００３９】
図３は、カメラ５Ｆ，５Ｂ，５Ｌ，５Ｒが撮影する方向を示す図である。フロントカメラ５Ｆは、車両９の前端の左右中央の近傍に設けられ、その光軸５Ｆａは車両９の前方（直進方向）に向けられる。バックカメラ５Ｂは、車両９の後端の左右中央の近傍に設けられ、その光軸５Ｂａは車両９の後方（直進方向の逆方向）に向けられる。左サイドカメラ５Ｌは車両９の左側のサイドミラー９３Ｌに設けられ、その光軸５Ｌａは車両９の左側方（直進方向の直交方向）に向けられる。また、右サイドカメラ５Ｒは車両９の右側のサイドミラー９３Ｒに設けられ、その光軸５Ｒａは車両９の右側方（直進方向の直交方向）に向けられる。
【００４０】
これらのカメラ５Ｆ，５Ｂ，５Ｌ，５Ｒのレンズには魚眼レンズなどの広角レンズが採用され、各カメラ５Ｆ，５Ｂ，５Ｌ，５Ｒは１８０度以上の画角θを有している。このため、４つのカメラ５Ｆ，５Ｂ，５Ｌ，５Ｒを利用することで、車両９の全周囲を撮影することが可能である。車両９の左前方、右前方、左後方、及び、右後方の各領域Ａ１，Ａ２，Ａ３，Ａ４は、４つのカメラ５のうちの２つのカメラ５によって重複して撮影することが可能となっている。このように２つのカメラ５によって重複して撮影可能な４つの領域Ａ１，Ａ２，Ａ３，Ａ４に、４つの第１標識体３１，３２，３３，３４がそれぞれ配置される（図１参照。）。広角レンズを採用する各カメラで取得される画像においては、被写体の像に歪みが生じ、その歪みの程度は画像の周辺ほど大きくなる。
【００４１】
図２に戻り、車載装置２は、ディスプレイ２６と、操作部２５と、画像取得部２２と、画像合成部２３と、記憶部２４と、制御部２１とを備えている。
【００４２】
ディスプレイ２６は、例えば、液晶パネルなどを備えた薄型の表示装置であり、各種の情報や画像を表示する。ディスプレイ２６は、その画面がユーザから視認可能なように、車両９の車室内のインストルメントパネルなどに配置される。
【００４３】
操作部２５は、ユーザの操作を受け付ける部材であり、タッチパネル及び操作ボタンを含んでいる。タッチパネルはディスプレイ２６の画面に重ねて設けられ、操作ボタンはディスプレイ２６の画面の周囲に設けられる。ユーザが操作部２５を操作した場合は、その操作の内容を示す信号が制御部２１に入力される。
【００４４】
画像取得部２２は、４つのカメラ５Ｆ，５Ｂ，５Ｌ，５Ｒでそれぞれ得られた画像を取得する。画像取得部２２は、アナログの画像をデジタルの画像に変換する機能や、画像の明るさを調整する機能など基本的な画像処理機能を有している。画像取得部２２は、取得した画像に所定の画像処理を行い、処理後の画像を画像合成部２３及び制御部２１に入力する。
【００４５】
画像合成部２３は、例えば、各種の画像処理が可能なハードウェア回路である。画像合成部２３は、複数のカメラ５でそれぞれ取得された複数の画像を用いて、任意の仮想視点からみた車両９の周辺の様子を示す合成画像を生成する。画像合成部２３が仮想視点からみた合成画像を生成する手法については後述する。
【００４６】
記憶部２４は、例えば、フラッシュメモリなどの不揮発性メモリであり、各種の情報を記憶する。記憶部２４は、設置パラメータ２４ａ、及び、プログラム２４ｂを記憶している。設置パラメータ２４ａは、キャリブレーション処理により取得されたものである。４つのカメラ５Ｆ，５Ｂ，５Ｌ，５Ｒそれぞれに対応する設置パラメータ２４ａが、記憶部２４に記憶される。このような設置パラメータ２４ａは、画像合成部２３が合成画像を生成する際に利用される。また、プログラム２４ｂは車載装置２のファームウェアである。
【００４７】
制御部２１は、車載装置２の全体を統括的に制御するマイクロコンピュータである。制御部２１は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えている。制御部２１の各種の機能は、記憶部２４に記憶されたプログラム２４ｂに従ってＣＰＵが演算処理を行うことで実現される。図中に示す表示制御部２１ａ、及び、キャリブレーション部２１ｂは、プログラム２４ｂに従ってＣＰＵが演算処理を行うことで実現される機能の一部である。
【００４８】
表示制御部２１ａは、ディスプレイ２６の表示に係る各種の制御を行う。表示制御部２１ａは、例えば、ユーザの指示に従って、仮想視点からみた車両９の周辺の様子を示す合成画像をディスプレイ２６に表示させる。
【００４９】
また、キャリブレーション部２１ｂは、４つのカメラ５それぞれの設置パラメータ２４ａを取得するキャリブレーション処理に係る処理を実行する。このキャリブレーション処理の詳細については後述する。
【００５０】
＜２．合成画像の生成＞
次に、画像合成部２３が合成画像を生成する手法について説明する。図４は、画像合成部２３が合成画像を生成する手法を説明する図である。
【００５１】
車載装置２のフロントカメラ５Ｆ、バックカメラ５Ｂ、左サイドカメラ５Ｌ、及び、右サイドカメラ５Ｒのそれぞれで撮影が行われると、車両９の前方、後方、左側方及び右側方をそれぞれ示す４つの画像ＧＦ，ＧＢ，ＧＬ，ＧＲが取得される。これら４つの画像ＧＦ，ＧＢ，ＧＬ，ＧＲには、車両９の全周囲のデータが含まれている。
【００５２】
画像合成部２３は、まず、これら４つの画像ＧＦ，ＧＢ，ＧＬ，ＧＲに含まれるデータ（各画素の値）を、仮想的な三次元空間における立体曲面である投影面ＴＳに投影する。投影面ＴＳは、例えば略半球状（お椀形状）をしている。この投影面ＴＳの中心部分（お椀の底部分）は、車両９が存在する位置として定められている。一方、投影面ＴＳの他の部分は、画像ＧＦ，ＧＢ，ＧＬ，ＧＲのいずれかと対応付けられており、画像合成部２３は投影面ＴＳのこの部分に画像に含まれるデータを投影する。
【００５３】
画像合成部２３は、投影面ＴＳにおいて車両９の前方に相当する領域に、フロントカメラ５Ｆの画像ＧＦのデータを投影する。また、画像合成部２３は、投影面ＴＳにおいて車両９の後方に相当する領域に、バックカメラ５Ｂの画像ＧＢのデータを投影する。さらに、画像合成部２３は、投影面ＴＳにおいて車両９の左側方に相当する領域に左サイドカメラ５Ｌの画像ＧＬのデータを投影し、投影面ＴＳにおいて車両９の右側方に相当する領域に右サイドカメラ５Ｒの画像ＧＲのデータを投影する。
【００５４】
４つの画像ＧＦ，ＧＢ，ＧＬ，ＧＲのそれぞれにおいて、投影面ＴＳに投影すべきデータを含む領域は、４つのカメラ５それぞれの設置誤差に応じて変化する。このため、画像合成部２３は、記憶部２４に記憶された４つのカメラ５それぞれの設置パラメータ２４ａ（ロール角、チルト角、パン角など）を用いて、画像ＧＦ，ＧＢ，ＧＬ，ＧＲそれぞれの投影面ＴＳに投影する領域を修正する。
【００５５】
例えば、図５に示すフロントカメラ５Ｆで取得された画像ＧＦを例に説明する。仮にフロントカメラ５Ｆに関して設置誤差がない場合は、投影面ＴＳに投影すべきデータを含む領域はデフォルトの領域Ｒ１となる。通常はフロントカメラ５Ｆに関して設置誤差が存在することから、画像合成部２３は、フロントカメラ５Ｆの設置パラメータ２４ａに基づいて、投影面ＴＳに投影する領域を領域Ｒ１から領域Ｒ２に修正する。そして、画像合成部２３は、この領域Ｒ２に含まれるデータを投影面ＴＳに投影することになる。
【００５６】
図４に戻り、このように投影面ＴＳの各部分のデータを決定すると、画像合成部２３は、車両９の三次元形状を示すポリゴンのモデルを仮想的に構成する。この車両９のモデルは、投影面ＴＳが設定される三次元空間において、車両９の位置と定められた略半球状の中心部分に配置される。
【００５７】
次に、画像合成部２３は、三次元空間に対して仮想視点ＶＰを設定する。画像合成部２３は、三次元空間における任意の視点位置に任意の視野方向に向けて仮想視点ＶＰを設定することができる。そして、画像合成部２３は、投影面ＴＳのうち、設定した仮想視点ＶＰからみて所定の視野角に含まれる領域を画像として切り出す。また、画像合成部２３は、設定した仮想視点ＶＰに応じてポリゴンのモデルに関してレンダリングを行い、その結果となる二次元の車両像９０を、切り出した画像に対して重畳する。これにより、画像合成部２３は、仮想視点ＶＰからみた車両９及び車両９の周辺の領域を示す合成画像ＣＰを生成する。
【００５８】
例えば図に示すように、視点位置を車両９の直上、視野方向を直下とした仮想視点ＶＰａを設定した場合には、車両９及び車両９の周辺の領域を俯瞰する合成画像ＣＰａが生成される。また、視点位置を車両９の左後方、視野方向を車両９の前方とした仮想視点ＶＰｂを設定した場合には、車両９の左後方からその周辺全体を見渡すように、車両９及び車両９の周辺の領域を示す合成画像ＣＰｂが生成されることになる。
【００５９】
＜３．第１標識体＞
次に、第１標識体３１〜３４について説明する。図１に示したように、これら４つの第１標識体３１〜３４はそれぞれ、設置パラメータの導出に用いる導出用マークＣｍを含んでいる。
【００６０】
図６は、車両９の左前方に配置される第１標識体３１を示す図である。この第１標識体３１は、フロントカメラ５Ｆと左サイドカメラ５Ｌとで重複して撮影可能な領域Ａ１に配置される（図１参照。）。
【００６１】
第１標識体３１の導出用マークＣｍは、比較的小さな３つの内側マークＭｉと、３つの内側マークＭｉをそれぞれ内包する３つの外側マークＭｅとを含んでいる。すなわち、導出用マークＣｍは、内側マークＭｉとそれを内包する外側マークＭｅとのセットを３つ含んでいる。これら３つのセットは、その中心が略正三角形を形成するように配置される。そして、導出用マークＣｍは、３つのセットの中心間を結ぶ線上（正三角形の辺上）に沿って３つの棒状マークＭｃを含んでいる。
【００６２】
第１標識体３１〜３４の背景色（素材の色）は比較的暗い色（例えば、黒）である。これに対して、外側マークＭｅは比較的明るい色（例えば、白）となっている。また、内側マークＭｉは比較的暗い色（例えば、黒）となっている。図中では、比較的暗い色の部分をハッチングで示している。また、棒状マークＭｃと外側マークＭｅとは接触せず離間している。これにより、内側マークＭｉの外縁、及び、外側マークＭｅの外縁はそれぞれ明確となっている。なお、内側マークＭｉの外縁と外側マークＭｅの外縁とで囲まれた領域のみを明るい色で着色し、内側マークＭｉの内部色は第１標識体３１〜３４の背景色を用いてもよい。
【００６３】
内側マークＭｉ及び外側マークＭｅの形状は、略楕円となっている。これらの楕円が延びる方向（楕円の長軸の方向）は、内側マークＭｉと外側マークＭｅとで異なっている。
【００６４】
内側マークＭｉは、フロントカメラ５Ｆで取得された画像ＧＦ中において、略真円の像として表れるような形状とされている。この内側マークＭｉの形状は、フロントカメラ５Ｆからの当該内側マークＭｉの方向と、フロントカメラ５Ｆのディストーション（画像中の被写体の像に生じる歪）とを考慮して決定される。したがって、内側マークＭｉは、フロントカメラ５Ｆが存在する方向に略沿って延びるような略楕円の形状となっている（図１参照。）。
【００６５】
また、外側マークＭｅは、左サイドカメラ５Ｌで取得された画像ＧＬ中において、略真円の像として表れるような形状とされている。この外側マークＭｅの形状は、左サイドカメラ５Ｌからの当該外側マークＭｅの方向と、左サイドカメラ５Ｌのディストーションとを考慮して決定される。したがって、外側マークＭｅは、左サイドカメラ５Ｌが存在する方向に略沿って延びるような略楕円の形状となっている（図１参照。）。
【００６６】
内側マークＭｉと外側マークＭｅとの１つのセットに注目すると、画像ＧＦ中の略真円の内側マークＭｉの像の中心に対応する位置と、画像ＧＬ中の略真円の外側マークＭｅの像の中心に対応する位置とは一致するようになっている。
【００６７】
また、車両９の右前方に配置される第１標識体３２は、図６に示す第１標識体３１をほぼ左右反転させたものとなる（図１参照。）。この第１標識体３２は、フロントカメラ５Ｆと右サイドカメラ５Ｒとで重複して撮影可能な領域Ａ２に配置される。第１標識体３２に含まれる内側マークＭｉは、フロントカメラ５Ｆで取得された画像ＧＦ中において、略真円の像として表れるような形状とされている。一方、第１標識体３２に含まれる外側マークＭｅは、右サイドカメラ５Ｒで取得された画像ＧＲ中において、略真円の像として表れるような形状とされている。
【００６８】
また、図７は、車両９の左後方に配置される第１標識体３３を示す図である。この第１標識体３３は、バックカメラ５Ｂと左サイドカメラ５Ｌとで重複して撮影可能な領域Ａ３に配置される（図１参照。）。
【００６９】
図６の第１標識体３１と同様に、第１標識体３３の導出用マークＣｍも、比較的小さな３つの内側マークＭｉと、３つの内側マークＭｉをそれぞれ内包する３つの外側マークＭｅと、３つの棒状マークＭｃとを含んでいる。
【００７０】
内側マークＭｉは、バックカメラ５Ｂで取得された画像ＧＢ中において、略真円の像として表れるような形状とされている。この内側マークＭｉの形状は、バックカメラ５Ｂからの当該内側マークＭｉの方向と、バックカメラ５Ｂのディストーションとを考慮して決定される。したがって、内側マークＭｉは、バックカメラ５Ｂが存在する方向に略沿って延びるような略楕円の形状となっている（図１参照。）。
【００７１】
また、外側マークＭｅは、左サイドカメラ５Ｌで取得された画像ＧＬ中において、略真円の像として表れるような形状とされている。この外側マークＭｅの形状は、左サイドカメラ５Ｌからの当該外側マークＭｅの方向と、左サイドカメラ５Ｌのディストーションとを考慮して決定される。したがって、外側マークＭｅは、左サイドカメラ５Ｌが存在する方向に略沿って延びるような略楕円の形状となっている（図１参照。）。
【００７２】
また、車両９の右後方に配置される第１標識体３４は、図７に示す第１標識体３３をほぼ左右反転させたものとなる（図１参照。）。この第１標識体３４は、バックカメラ５Ｂと右サイドカメラ５Ｒとで重複して撮影可能な領域Ａ４に配置される。第１標識体３４に含まれる内側マークＭｉは、バックカメラ５Ｂで取得された画像ＧＢ中において、略真円の像として表れるような形状とされている。一方、第１標識体３４に含まれる外側マークＭｅは、右サイドカメラ５Ｒで取得された画像ＧＲ中において、略真円の像として表れるような形状とされている。
【００７３】
図１を参照して分かるように、車両９の後方に配置される第１標識体３３，３４の外側マークＭｅのサイズは、車両９の前方に配置される第１標識体３１，３２の外側マークＭｅよりも大きくなる。これは、サイドカメラ５Ｌ，５Ｒまでの距離が前方の第１標識体３１，３２よりも後方の第１標識体３３，３４のほうが長く、画像中における外側マークＭｅの像のサイズを一致させるためである。
【００７４】
＜４．キャリブレーション処理＞
次に、設置パラメータを取得するキャリブレーション処理について説明する。図８は、キャリブレーション処理の流れを示す図である。この処理は、図１に示すように標識体３１〜３４，４１〜４３が予め配置された作業場の所定位置に車両９を停車させた状態で、車載装置２の操作部２５にユーザが所定の操作を行った場合に、キャリブレーション部２１ｂの制御により実行される。
【００７５】
まず、４つのカメラ５Ｆ，５Ｂ，５Ｌ，５Ｒのそれぞれが、車両９の周辺を撮影する（ステップＳ１１）。これにより、車両９の前方、後方、左側方及び右側方をそれぞれ示す４つの画像が取得される。取得された４つの画像は、車載装置２の画像取得部２２を介して制御部２１に入力される。
【００７６】
次に、キャリブレーション部２１ｂが、４つの画像のうちの１つ（たとえば、フロントカメラ５Ｆの画像）を注目画像として選択する（ステップＳ１２）。そして、キャリブレーション部２１ｂは、注目画像に含まれる導出用マークＣｍの像の特定の位置をユーザに指定させる。
【００７７】
図９は、この場合に取得された画像Ｇ１の例を示す図である。図９では、フロントカメラ５Ｆで取得された画像を一例として示している。図に示すように画像Ｇ１には、左側及び右側にそれぞれ、導出用マークＣｍの像６１が含まれる。また、画像Ｇ１には、確認用マークＬｍの像６２も含まれる。ユーザは、このような画像Ｇ１中の導出用マークＣｍの像６１における特定部分の位置を指定する。
【００７８】
図１０に示すように、注目画像がフロントカメラ５Ｆまたはバックカメラ５Ｂで取得された画像の場合は、注目画像中の導出用マークＣｍの像６１に含まれる３つの内側マークＭｉの像（以下、「内側マーク像」という。）７１ｉ，７２ｉ，７３ｉの形状が略真円となる。ユーザは、ディスプレイ２６が注目画像を表示している状態で、このような略真円の内側マーク像７１ｉ，７２ｉ，７３ｉの位置を指定する。ユーザは、３つの内側マーク像７１ｉ，７２ｉ，７３ｉに対して、３つのカーソル７１ｃ，７２ｃ，７３ｃをそれぞれ合わせることで、これらの位置を指定することになる。
【００７９】
一方、図１１に示すように、注目画像が左サイドカメラ５Ｌまたは右サイドカメラ５Ｒで取得された画像の場合は、注目画像中の導出用マークＣｍの像６１に含まれる３つの外側マークＭｅの像（以下、「外側マーク像」という。）７１ｅ，７２ｅ，７３ｅの形状が略真円となる。ユーザは、ディスプレイ２６が注目画像を表示している状態で、このような略真円の外側マーク像７１ｅ，７２ｅ，７３ｅの位置を指定する。ユーザは、３つの外側マーク像７１ｅ，７２ｅ，７３ｅに対して、３つのカーソル７１ｄ，７２ｄ，７３ｄをそれぞれ合わせることで、これらの位置を指定することになる。
【００８０】
このようなカーソルを合わせる対象となる内側マーク像あるいは外側マーク像は、それぞれ「ポイント」と称される。ユーザは、ポイントごとにカーソルを合わせる。１つの画像につき６つのポイントが存在し、４つの画像があるため、ユーザは合計２４のポイントに関してカーソルを合わせていくことになる。
【００８１】
ユーザがポイントにカーソルを合わせる場合には、図１２に示すように、注目画像の１つのポイントの近傍を拡大した画像Ｇ２がディスプレイ２６の画面に表示される（図８のステップＳ１３）。また、このディスプレイ２６の画面には、上下左右の４方向をそれぞれ示す４つの方向ボタンＢ１と、ネクストボタンＢ２とが表示される。画像Ｇ２のサイズは、例えば縦３００×横３００ドットである。ユーザは、このようなディスプレイ２６の画面を参照して、当該ポイントにカーソルを合わせることになる。
【００８２】
図１２の場合は、注目画像がフロントカメラ５Ｆの画像であるため、ユーザは内側マーク像７１ｉの位置にカーソル７１ｃを移動させる。ユーザは、ディスプレイ２６の画面上の４つの方向ボタンＢ１に触れることで、カーソル７１ｃを内側マーク像７１ｉの位置に移動させることができる。
【００８３】
カーソル７１ｃは十字形状となっている。内側マーク像７１ｉの直径と、カーソル７１ｃの縦線及び横線の長さとは略一致される。例えば、内側マーク像７１ｉの直径が２４ドットとなるように設計した場合であれば、カーソル７１ｃの縦線及び横線の長さは２４ドットに設定される。
【００８４】
このため、図１３に示すように、ユーザは、カーソル７１ｃの縦線及び横線の端部を、略真円の内側マーク像７１ｉの外縁に合わせることで、内側マーク像７１ｉの位置にカーソル７１ｃを容易に合わせることができる。すなわち、ユーザは、カーソル７１ｃの４つの端部を内側マーク像７１ｉの円周に接触させることで、内側マーク像７１ｉの中心位置とカーソル７１ｃの中心位置とを一致させることができる。これにより、ユーザは、ポイントの位置（内側マーク像７１ｉの中心位置）を正確かつ安定的に指定することができる。
【００８５】
また、ユーザがネクストボタンＢ２に触れた場合は、キャリブレーション部２１ｂは、ポイントの位置の指定を受け付ける（図８のステップＳ１４）。すなわち、キャリブレーション部２１ｂは、ユーザがネクストボタンＢ２に触れた時点のカーソルの中心位置を、ポイントの位置としてＲＡＭなどに記憶する。
【００８６】
キャリブレーション部２１ｂは、このようにして１つのポイントの位置の指定を受け付けると、注目画像中の６つのポイントのうち、位置が指定されていないポイントがあるか否かを判定する。そして、位置が指定されていないポイントがある場合は（ステップＳ１５にてＮｏ）処理はステップＳ１３に戻り、キャリブレーション部２１ｂは、上記と同様にして、次のポイントの位置の指定を受け付ける。導出用マークＣｍの像６１には、棒状マークＭｃの像７４が含まれているため、ユーザは、注目画像中のいずれのポイントの位置を指定しているかを直感的に把握することができる。
【００８７】
このような処理を繰り返し、キャリブレーション部２１ｂは、注目画像中の６つのポイントの全ての位置の指定を受け付けると（ステップＳ１５にてＹｅｓ）、次に、４つの画像のうちの注目画像とされていない画像があるか否かを判定する。注目画像とされていない画像がある場合は（ステップＳ１６にてＮｏ）、処理はステップＳ１２に戻る。そして、キャリブレーション部２１ｂは、注目画像とされていない他の画像を新たな注目画像として選択し、上記と同様の処理を繰り返し、新たな注目画像の６つのポイントの位置の指定を受け付ける。ただし、注目画像が左サイドカメラ５Ｌまたは右サイドカメラ５Ｒで取得された画像の場合は、ユーザは、外側マーク像に対してカーソルを合わせることになる。
【００８８】
図１４は、注目画像が左サイドカメラ５Ｌの画像の場合におけるポイントの位置を指定するためのディスプレイ２６の画面を示す図である。この画面においても、注目画像の１つのポイントの近傍を拡大した画像Ｇ３と、４つの方向ボタンＢ１と、ネクストボタンＢ２とが表示される。ユーザは、４つの方向ボタンＢ１に触れることで、外側マーク像７１ｅの位置に対してカーソル７１ｄを移動させる。
【００８９】
この場合においても、外側マーク像７１ｅの直径と、カーソル７１ｄの縦線及び横線の長さとは一致される。例えば、外側マーク像７１ｅの直径が４８ドットとなるように設計した場合であれば、カーソル７１ｄの縦線及び横線の長さは４８ドットに設定される。
【００９０】
このため、ユーザは、カーソル７１ｄの縦線及び横線の端部を、略真円の外側マーク像７１ｅの外縁に合わせることで、外側マーク像７１ｅの位置にカーソル７１ｄを容易に合わせることができる。すなわち、ユーザは、カーソル７１ｄの４つの端部を外側マーク像７１ｅの円周に接触させることで、外側マーク像７１ｅの中心位置とカーソル７１ｄの中心位置とを一致させることができる。これにより、ユーザは、ポイントの位置（外側マーク像７１ｅの中心位置）を正確かつ安定的に指定することができる。
【００９１】
キャリブレーション部２１ｂは、このような処理により、４つの画像のそれぞれに関して６つのポイントの位置の指定を受け付ける。キャリブレーション部２１ｂは、全てのポイント（４×６＝２４のポイント）の位置の指定を受け付けると（図８のステップＳ１６にてＹｅｓ）、次に、これらのポイントの位置に基づいて、４つのカメラそれぞれの設置パラメータを導出する（ステップＳ１７）。
【００９２】
キャリブレーション部２１ｂは、まず、フロントカメラ５Ｆで取得された画像の６つのポイントの位置に基づいてフロントカメラ５Ｆの設置パラメータを導出する。キャリブレーション部２１ｂは、例えば、画像中の左側のポイントと右側のポイントとの高さの差に基づいてロール角を導出し、画像中のポイントの上下位置に基づいてチルト角を導出し、画像中のポイントの左右位置に基づいてパン角を導出する。
【００９３】
同様に、キャリブレーション部２１ｂは、バックカメラ５Ｂで取得された画像の６つのポイントの位置に基づいてバックカメラ５Ｂの設置パラメータを導出する。さらに、キャリブレーション部２１ｂは、左サイドカメラ５Ｌで取得された画像の６つのポイントの位置に基づいて左サイドカメラ５Ｌの設置パラメータを導出し、右サイドカメラ５Ｒで取得された画像の６つのポイントの位置に基づいて右サイドカメラ５Ｒの設置パラメータを導出する。
【００９４】
このようにして全てのカメラ５の設置パラメータが導出されると、次に、画像合成部２３が、４つのカメラで得られた画像と、導出された４つのカメラの設置パラメータとを用いて、仮想視点からみた車両９の周辺の様子を示す合成画像を生成する（ステップＳ１８）。この際、仮想視点の視点位置は、車両９における左右及び前後の双方に関して中央となる位置の直上に設定され、視点方向は直下に向けられる。これにより、車両９及び車両９の周辺の領域を俯瞰する合成画像が生成される。
【００９５】
図１５は、このとき生成された合成画像Ｇ４の例を示す図である。この合成画像Ｇ４においては、車両像９０、及び、導出用マークＣｍの像６１とともに、５つの確認用マークＬｍの像（以下、「確認マーク像」という。）６２が含まれている。
【００９６】
キャリブレーション処理が正しくなされた場合には、これらの確認マーク像６２は、合成画像Ｇ４中の略一定の位置に含まれる。しかしながら、キャリブレーション処理が正しくなされなかった場合には、これらの確認マーク像６２は、合成画像Ｇ４中において含まれるべき一定の位置から外れることになる。このため、キャリブレーションシステム１０では、このような合成画像Ｇ４中における確認マーク像６２の位置に基づいて、キャリブレーション処理の良否判定が行われるようになっている。
【００９７】
具体的には、まず、図１６に示すように、キャリブレーション部２１ｂが、合成画像Ｇ４中に、５つの確認マーク像６２がそれぞれ含まれるべき位置を示す指標である５つの基準枠Ｆを重畳する。次に、キャリブレーション部２１ｂは、基準枠Ｆが重畳された合成画像Ｇ４中の２つの領域を画像Ｇ５，Ｇ６として切り出し、切り出した画像Ｇ５，Ｇ６をディスプレイ２６の画面に表示させる（図８のステップＳ１９）。画像Ｇ５は、車両９の前方の領域に相当し、３つの基準枠Ｆを含む。また、画像Ｇ６は、車両９の後方の領域に相当し、２つの基準枠Ｆを含む。
【００９８】
図１７及び図１８は、画像Ｇ５，Ｇ６を表示したディスプレイ２６の画面の例を示す図である。２つの画像Ｇ５，Ｇ６には、確認マーク像６２と基準枠Ｆとが含まれている。また、ディスプレイ２６の画面には、２つの画像Ｇ５，Ｇ６とともに、リトライボタンＢ３と、完了ボタンＢ４とが表示される。ユーザは、このようなディスプレイ２６の画面を参照して、キャリブレーション処理の良否判定を行う。
【００９９】
図１７に示すように、５つの確認マーク像６２の全てが基準枠Ｆ内に収まっている場合は、キャリブレーション処理が正しくなされた場合である。このような場合は、ユーザは、キャリブレーション処理が正しくなされたと判断して完了ボタンＢ４に触れる。この場合は（ステップＳ２０にてＮｏ）、キャリブレーション部２１ｂは、ステップＳ１７で導出した設置パラメータを正しい値として確定し、記憶部２４に記憶する（ステップＳ２１）。
【０１００】
一方、図１８に示すように、５つの確認マーク像６２のいずれかが基準枠Ｆから外れている場合は、キャリブレーション処理が正しくなされなかった場合である。このような場合は、ユーザは、キャリブレーション処理の再実行が必要と判断して、リトライボタンＢ３に触れる。この場合は（ステップＳ２０にてＹｅｓ）、処理はステップＳ１１に戻り、キャリブレーション処理が再び実行されることになる。
【０１０１】
以上のように、キャリブレーションシステム１０においては、第１標識体３１〜３４が、カメラ５で取得された画像中において略真円の像として表れる略楕円のマークＭｉ，Ｍｅを含んでいる。車載装置２は、このようなマークＭｉ，Ｍｅの略真円の像を含む画像をディスプレイ２６に表示させ、ユーザはこの略真円の像の位置を指定する。そして、車載装置２は、指定されたマークＭｉ，Ｍｅの像の位置に基づいて設置パラメータを導出する。マークＭｉ，Ｍｅの略真円の像を含む画像が表示されるため、ユーザはマークＭｉ，Ｍｅの像の位置を正確に指定することができる。このため、設置パラメータを取得する精度を向上できる。
【０１０２】
＜５．変形例＞
以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態に限定されるものではなく様々な変形が可能である。以下では、このような変形例について説明する。上記実施の形態及び以下で説明する形態を含む全ての形態は、適宜に組み合わせ可能である。
【０１０３】
上記実施の形態では、マークの像の位置を指定するためのカーソルは十字形状であると説明したが、カーソルはこれに限定されない。カーソルは、マークの略真円の像の円周の少なくとも３点と接する形状であればどのようなものであってもよい。カーソルがマークの像の円周の少なくとも３点と接する形状であれば、ユーザはカーソルをマークの像の位置に正確に合わせることができる。例えば、カーソルは、図１９に示すようにマークの像７０の円周に３点で内接する三角形のカーソルＣ１や、図２０に示すようにマークの像７０の円周に４点で内接する四角形のカーソルＣ２などであってもよい。また、カーソルは、図２１に示すようにマークの像７０の円周に外接するカーソルＣ３であってもよい。
【０１０４】
また、上記実施の形態では、第１標識体及び第２標識体は板状体であるとしていたが、紙や布などであってもよい。また、マークを作業場の床面に形成し、作業場の床面自体が標識体として機能してもよい。
【０１０５】
また、上記実施の形態では、確認用マークＬｍは棒状であったが、所定の形状であれば棒状でなくてもよい。この場合、確認用マークの形状に合わせて、確認用マークの像が含まれるべき位置を示す指標である基準枠の形状を規定すればよい。
【０１０６】
また、上記実施の形態では、プログラムに従ったＣＰＵの演算処理によってソフトウェア的に各種の機能が実現されると説明したが、これら機能のうちの一部は電気的なハードウェア回路により実現されてもよい。また逆に、ハードウェア回路によって実現されるとした機能のうちの一部は、ソフトウェア的に実現されてもよい。
【符号の説明】
【０１０７】
２ 車載装置
５ カメラ
９ 車両
１０ キャリブレーションシステム
２１ｂ キャリブレーション部
２３ 画像合成部
２４ａ 設置パラメータ
３１〜３４ 第１標識体
４１〜４３ 第２標識体
【技術分野】
【０００１】
本発明は、車両に搭載されたカメラの設置に関する設置パラメータを取得する技術に関する。
【背景技術】
【０００２】
従来より、自動車などの車両に搭載されたカメラで車両の周辺を撮影して得られた画像を、車室内のディスプレイに表示する車載装置が知られている。このような車載装置を利用することにより、ドライバは車両の周辺の様子をほぼリアルタイムに把握することができる。
【０００３】
カメラを車両に設置した場合においては、カメラの光軸に関して設計上の位置に対してわずかに誤差が発生する。このようなカメラの光軸の誤差に起因して、当該カメラで取得された画像に含まれる被写体の像の位置は、理想的な位置からズレることになる。
【０００４】
このような問題に対応するため、従来より、カメラの設置に関する設置パラメータ（例えば、ロール角、チルト角、パン角など）を取得するキャリブレーション処理がなされている（例えば、特許文献１参照。）。車載装置は、このようなキャリブレーション処理で取得された設置パラメータを用いることで、画像中の被写体の像の位置を補正することができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１１−１５１６６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで近年、キャリブレーション処理において、設置パラメータを取得する精度を向上することが求められている。例えば、近年、複数のカメラで得られた複数の画像を合成して仮想視点からみた車両の周辺の様子を示す合成画像を生成する技術が普及してきている。このような合成画像の生成において設置パラメータの精度が低い場合には、複数の画像が整合なく合成されてしまい、画像同士の接続部分で被写体の像が分断されるなど不適切な合成画像が生成される可能性がある。このため、適切な合成画像を生成するためには、精度の高い設置パラメータが必要となる。
【０００７】
一般に、キャリブレーション処理は、車両の外部に配置された三角形などのマークをカメラで撮影し、得られた画像をディスプレイに表示させ、その画像中に含まれるマークの像の所定部分をユーザ（作業員等）が指定することで行われる（例えば、特許文献１参照。）。
【０００８】
図２２は、従来のキャリブレーション処理において、ディスプレイに表示された画像中の三角形のマークの像８０の例を示す図である。ユーザは、例えば、このようなマークの像の３つの頂点に、３つのカーソルＣをそれぞれ移動させる作業を行うことになる。
【０００９】
しかしながら、図２２の領域Ａを拡大した図２３に示すように、「マークの頂点にカーソルＣを移動させる」場合において、ユーザがカーソルＣを実際に移動させる位置は、図中の点Ｐ１〜点Ｐ４の例のように、ユーザによって異なることになる。また、「線の幅方向の中心にカーソルＣを移動させる」という条件を加えたとしても、ユーザがカーソルＣを実際に移動させる位置は、図中の点Ｐ２及び点Ｐ３の例のように、ユーザによって異なる。さらに、マークの像８０は実際のマークを正面から撮影したものではないため、像８０の線の中心と実際のマークの線の中心とは厳密には異なることから、実際のマークの線の中心を特定することは困難である。
【００１０】
このようなことから、従来のキャリブレーション処理で取得される設置パラメータは作業するユーザによってばらつきが生じ、精度の高い設置パラメータを安定して取得することができなかった。
【００１１】
本発明は、上記課題に鑑みてなされたものであり、設置パラメータを取得する精度を向上する技術を提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記課題を解決するため、請求項１の発明は、車両に搭載されたカメラに関するキャリブレーションシステムであって、前記車両の外部に配置される第１標識体と、前記第１標識体を前記カメラで撮影して得られた画像に基づいて、前記カメラの設置に関する設置パラメータを取得するパラメータ取得装置と、を備え、前記第１標識体は、前記画像中において略真円の像として表れる略楕円のマーク、を含み、前記パラメータ取得装置は、前記マークの略真円の像を含む前記画像を表示する表示手段と、前記表示手段が前記画像を表示中にユーザが指定する該画像における前記マークの像の位置に基づいて、前記設置パラメータを導出する導出手段と、を備えている。
【００１３】
また、請求項２の発明は、請求項１に記載のキャリブレーションシステムにおいて、前記マークの像の位置を前記ユーザが指定するために用いるカーソルは、前記マークの像の円周の少なくとも３点と接する形状である。
【００１４】
また、請求項３の発明は、請求項１または２に記載のキャリブレーションシステムにおいて、前記車両は、互いに異なる位置に配置された複数の前記カメラ、を有し、前記導出手段は、前記複数のカメラで得られた複数の画像に基づいて、前記複数のカメラそれぞれの前記設置パラメータを導出する。
【００１５】
また、請求項４の発明は、請求項３に記載のキャリブレーションシステムにおいて、前記第１標識体は、前記略楕円のマークとして、第１マークと、前記第１マークを内包する第２マークと、を含み、前記導出手段は、前記複数のカメラのうちの一の第１カメラで得られた前記画像中の前記第１マークの略真円の像の位置に基づいて、前記第１カメラの前記設置パラメータを導出し、前記複数のカメラのうちの他の一の第２カメラで得られた前記画像中の前記第２マークの略真円の像の位置に基づいて、前記第２カメラの前記設置パラメータを導出する。
【００１６】
また、請求項５の発明は、請求項３または４に記載のキャリブレーションシステムにおいて、前記パラメータ取得装置は、前記複数の車載カメラで得られた複数の画像と前記複数のカメラそれぞれの前記設置パラメータとを用いて、仮想視点からみた前記車両の周辺の様子を示す合成画像を生成する生成手段、をさらに備えている。
【００１７】
また、請求項６の発明は、請求項５に記載のキャリブレーションシステムにおいて、前記複数の画像を取得する際に前記車両の外部に配置され、所定形状の第３マークを示す第２標識体、をさらに備え、前記パラメータ取得装置は、前記複数の画像を用いて生成した前記合成画像に、前記第３マークの像が含まれるべき位置を示す指標を重畳する重畳手段、をさらに備え、前記表示手段は、前記第３マークの像と前記指標とを含む前記合成画像を表示する。
【００１８】
また、請求項７の発明は、車両の外部に配置される標識体を前記車両に搭載されたカメラで撮影して得られた画像に基づいて、前記カメラの設置に関する設置パラメータを取得するパラメータ取得装置であって、前記標識体は、前記画像中において略真円の像として表れる略楕円のマーク、を含み、前記パラメータ取得装置は、前記マークの略真円の像を含む前記画像を表示する表示手段と、前記表示手段が前記画像を表示中にユーザが指定する該画像における前記マークの像の位置に基づいて、前記設置パラメータを導出する導出手段と、を備えている。
【００１９】
また、請求項８の発明は、車両に搭載されたカメラで得られた画像に基づいて前記カメラの設置に関する設置パラメータを取得するために用いる標識体であって、前記画像中において略真円の像として表れる略楕円のマーク、を含む。
【００２０】
また、請求項９の発明は、車両に搭載されたカメラの設置に関する設置パラメータを取得するパラメータ取得方法であって、（ａ）前記カメラが取得する画像中において略真円の像として表れる略楕円のマークを前記カメラで撮影する工程と、（ｂ）前記工程（ａ）で得られた前記マークの略真円の像を含む画像を表示する工程と、（ｃ）前記工程（ｂ）において前記画像を表示中にユーザが指定する該画像における前記マークの像の位置に基づいて、前記設置パラメータを導出する工程と、を備えている。
【発明の効果】
【００２１】
請求項１ないし９の発明によれば、マークの略真円の像を含む画像が表示されるため、ユーザはマークの像の位置を正確に指定することができる。このため、設置パラメータを取得する精度を向上できる。
【００２２】
また、特に請求項２の発明によれば、カーソルがマークの像の円周の少なくとも３点と接する形状であるため、ユーザはカーソルをマークの像の位置により正確に合わせることができる。
【００２３】
また、特に請求項３の発明によれば、互いに異なる位置に配置された複数のカメラそれぞれの設置パラメータを導出することができる。
【００２４】
また、特に請求項４の発明によれば、第１マークと第２マークとがあるため、異なる位置に配置された２つのカメラで得られた画像それぞれにおいて、マークの像を略真円にすることができる。
【００２５】
また、特に請求項５の発明によれば、設置パラメータを利用して、車両の周囲の全体を正しく示す合成画像を生成することができる。
【００２６】
また、特に請求項６の発明によれば、合成画像に含まれる第３マークの像と指標との関係により、設置パラメータが正しく取得できたか否かを確認することができる。
【図面の簡単な説明】
【００２７】
【図１】図１は、キャリブレーションシステムの概要を示す図である。
【図２】図２は、車載装置の構成を示す図である。
【図３】図３は、カメラが撮影する方向を示す図である。
【図４】図４は、合成画像を生成する手法を説明する図である。
【図５】図５は、画像中の領域を説明する図である。
【図６】図６は、車両の左前方に配置される第１標識体を示す図である。
【図７】図７は、車両の左後方に配置される第１標識体を示す図である。
【図８】図８は、キャリブレーション処理の流れを示す図である。
【図９】図９は、カメラで取得された画像の例を示す図である。
【図１０】図１０は、ポイントの位置を指定する手法を説明する図である。
【図１１】図１１は、ポイントの位置を指定する手法を説明する図である。
【図１２】図１２は、ポイントの位置を指定する画面の例を示す図である。
【図１３】図１３は、マークの像とカーソルとの関係を示す図である。
【図１４】図１４は、ポイントの位置を指定する画面の例を示す図である。
【図１５】図１５は、合成画像の例を示す図である。
【図１６】図１６は、基準枠が重畳された合成画像を示す図である。
【図１７】図１７は、合成画像を表示したディスプレイの画面の例を示す図である。
【図１８】図１８は、合成画像を表示したディスプレイの画面の例を示す図である。
【図１９】図１９は、カーソルの一例を示す図である。
【図２０】図２０は、カーソルの一例を示す図である。
【図２１】図２１は、カーソルの一例を示す図である。
【図２２】図２２は、従来技術においてマークの像の部分を指定する様子を示す図である。
【図２３】図２３は、従来技術においてマークの像の一の部分を指定する様子を示す図である。
【発明を実施するための形態】
【００２８】
以下、図面を参照しつつ本発明の実施の形態について説明する。
【００２９】
＜１．構成＞
図１は、本実施の形態に係るキャリブレーションシステム１０の概要を示す図である。このキャリブレーションシステム１０は、車両（本実施の形態では自動車）９に搭載される複数のカメラ５の設置に関する設置パラメータを取得するキャリブレーション処理に用いられる。キャリブレーションシステム１０は、車両９に搭載される複数のカメラ５及び車載装置２、並びに、車両９の外部に配置される複数の第１標識体３１〜３４及び複数の第２標識体４１〜４３を備えている。
【００３０】
車載装置２は、複数のカメラ５で撮影して得られる複数の画像に基づいて、これら複数のカメラ５それぞれの設置に関する設置パラメータを取得する。この設置パラメータは、カメラの設置誤差（光軸の設計上の位置に対する誤差）を示すものであり、例えば、ロール角、チルト角、及び、パン角などである。
【００３１】
第１標識体３１〜３４、及び、複数の第２標識体４１〜４３はそれぞれ、所定形状のマークが主面に形成された鉄板やプラスチック板などの板状体である。これら複数の第１標識体３１〜３４、及び、複数の第２標識体４１〜４３は、車両工場や車両整備場などのキャリブレーション処理を実行する作業場に固定的に配置される。
【００３２】
４つの第１標識体３１〜３４はそれぞれ、設置パラメータの導出に用いる導出用マークＣｍを含んでいる。４つの第１標識体３１〜３４は、車両９の左前方、右前方、左後方、右後方にそれぞれ配置される。
【００３３】
また、５つの第２標識体４１〜４３はそれぞれ、キャリブレーション処理の良否判定に用いる矩形の確認用マークＬｍを含んでいる。１つの第２標識体４１は、確認用マークＬｍの長手方向が車両９の左右方向に沿うように車両９の前方に配置される。また、２つの第２標識体４２は、確認用マークＬｍの長手方向が車両９の前後方向に沿うように、車両９の左右それぞれのフロントフェンダ付近に配置される。さらに、２つの第２標識体４３は、確認用マークＬｍの長手方向が車両９の前後方向に沿うように、車両９の左右それぞれのリアフェンダ付近に配置される。
【００３４】
キャリブレーション処理を実行する場合には、作業場の所定位置に略正確に車両９が正対装置などにより停車される。これにより、第１標識体３１〜３４、及び、複数の第２標識体４１〜４３の車両９に対する相対的な位置は略一定となる。この状態で、車両９に搭載された複数のカメラ５が、第１標識体３１〜３４、及び、複数の第２標識体４１〜４３を含む車両９の周囲を撮影し、複数の画像を取得する。
【００３５】
そして、車載装置２は、このようにして得られた複数の画像それぞれに含まれる導出用マークＣｍの像の特定部分の位置に基づいて複数のカメラ５それぞれの設置パラメータを導出する。導出用マークＣｍの像の特定部分の位置は、ユーザ（作業員等）が指定することになる。車載装置２は、カメラ５の設置に関する設置パラメータを取得するパラメータ取得装置であるともいえる。
【００３６】
このようなキャリブレーション処理は、原則として一つの車両９に関して一回のみ、車両９に複数のカメラ５を取り付けた際に実行される。キャリブレーション処理で得られた設置パラメータは、車載装置２に記憶される。車載装置２は、複数のカメラ５で得られた複数の画像を合成して仮想視点からみた車両９の周辺の様子を示す合成画像を生成し、この合成画像を表示する機能を備えている。車載装置２は、この合成画像を生成する際に、キャリブレーション処理で得られた設置パラメータを利用する。
【００３７】
図２は主に、複数のカメラ５と車載装置２との構成を示す図である。図に示すように、複数のカメラ５と車載装置２とは相互に接続されている。これら複数のカメラ５はそれぞれ、レンズと撮像素子とを備えており、車両９の周辺を示す画像を電子的に取得する。
【００３８】
複数のカメラ５はそれぞれ、車載装置２とは別に、車両９の適位置に配置され、取得した画像を車載装置２に入力する。複数のカメラ５は、フロントカメラ５Ｆ、バックカメラ５Ｂ、左サイドカメラ５Ｌ、及び、右サイドカメラ５Ｒを含んでいる。これら４つのカメラ５Ｆ，５Ｂ，５Ｌ，５Ｒは、互いに異なる位置に配置され、車両９の周辺の異なる方向を撮影する。
【００３９】
図３は、カメラ５Ｆ，５Ｂ，５Ｌ，５Ｒが撮影する方向を示す図である。フロントカメラ５Ｆは、車両９の前端の左右中央の近傍に設けられ、その光軸５Ｆａは車両９の前方（直進方向）に向けられる。バックカメラ５Ｂは、車両９の後端の左右中央の近傍に設けられ、その光軸５Ｂａは車両９の後方（直進方向の逆方向）に向けられる。左サイドカメラ５Ｌは車両９の左側のサイドミラー９３Ｌに設けられ、その光軸５Ｌａは車両９の左側方（直進方向の直交方向）に向けられる。また、右サイドカメラ５Ｒは車両９の右側のサイドミラー９３Ｒに設けられ、その光軸５Ｒａは車両９の右側方（直進方向の直交方向）に向けられる。
【００４０】
これらのカメラ５Ｆ，５Ｂ，５Ｌ，５Ｒのレンズには魚眼レンズなどの広角レンズが採用され、各カメラ５Ｆ，５Ｂ，５Ｌ，５Ｒは１８０度以上の画角θを有している。このため、４つのカメラ５Ｆ，５Ｂ，５Ｌ，５Ｒを利用することで、車両９の全周囲を撮影することが可能である。車両９の左前方、右前方、左後方、及び、右後方の各領域Ａ１，Ａ２，Ａ３，Ａ４は、４つのカメラ５のうちの２つのカメラ５によって重複して撮影することが可能となっている。このように２つのカメラ５によって重複して撮影可能な４つの領域Ａ１，Ａ２，Ａ３，Ａ４に、４つの第１標識体３１，３２，３３，３４がそれぞれ配置される（図１参照。）。広角レンズを採用する各カメラで取得される画像においては、被写体の像に歪みが生じ、その歪みの程度は画像の周辺ほど大きくなる。
【００４１】
図２に戻り、車載装置２は、ディスプレイ２６と、操作部２５と、画像取得部２２と、画像合成部２３と、記憶部２４と、制御部２１とを備えている。
【００４２】
ディスプレイ２６は、例えば、液晶パネルなどを備えた薄型の表示装置であり、各種の情報や画像を表示する。ディスプレイ２６は、その画面がユーザから視認可能なように、車両９の車室内のインストルメントパネルなどに配置される。
【００４３】
操作部２５は、ユーザの操作を受け付ける部材であり、タッチパネル及び操作ボタンを含んでいる。タッチパネルはディスプレイ２６の画面に重ねて設けられ、操作ボタンはディスプレイ２６の画面の周囲に設けられる。ユーザが操作部２５を操作した場合は、その操作の内容を示す信号が制御部２１に入力される。
【００４４】
画像取得部２２は、４つのカメラ５Ｆ，５Ｂ，５Ｌ，５Ｒでそれぞれ得られた画像を取得する。画像取得部２２は、アナログの画像をデジタルの画像に変換する機能や、画像の明るさを調整する機能など基本的な画像処理機能を有している。画像取得部２２は、取得した画像に所定の画像処理を行い、処理後の画像を画像合成部２３及び制御部２１に入力する。
【００４５】
画像合成部２３は、例えば、各種の画像処理が可能なハードウェア回路である。画像合成部２３は、複数のカメラ５でそれぞれ取得された複数の画像を用いて、任意の仮想視点からみた車両９の周辺の様子を示す合成画像を生成する。画像合成部２３が仮想視点からみた合成画像を生成する手法については後述する。
【００４６】
記憶部２４は、例えば、フラッシュメモリなどの不揮発性メモリであり、各種の情報を記憶する。記憶部２４は、設置パラメータ２４ａ、及び、プログラム２４ｂを記憶している。設置パラメータ２４ａは、キャリブレーション処理により取得されたものである。４つのカメラ５Ｆ，５Ｂ，５Ｌ，５Ｒそれぞれに対応する設置パラメータ２４ａが、記憶部２４に記憶される。このような設置パラメータ２４ａは、画像合成部２３が合成画像を生成する際に利用される。また、プログラム２４ｂは車載装置２のファームウェアである。
【００４７】
制御部２１は、車載装置２の全体を統括的に制御するマイクロコンピュータである。制御部２１は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えている。制御部２１の各種の機能は、記憶部２４に記憶されたプログラム２４ｂに従ってＣＰＵが演算処理を行うことで実現される。図中に示す表示制御部２１ａ、及び、キャリブレーション部２１ｂは、プログラム２４ｂに従ってＣＰＵが演算処理を行うことで実現される機能の一部である。
【００４８】
表示制御部２１ａは、ディスプレイ２６の表示に係る各種の制御を行う。表示制御部２１ａは、例えば、ユーザの指示に従って、仮想視点からみた車両９の周辺の様子を示す合成画像をディスプレイ２６に表示させる。
【００４９】
また、キャリブレーション部２１ｂは、４つのカメラ５それぞれの設置パラメータ２４ａを取得するキャリブレーション処理に係る処理を実行する。このキャリブレーション処理の詳細については後述する。
【００５０】
＜２．合成画像の生成＞
次に、画像合成部２３が合成画像を生成する手法について説明する。図４は、画像合成部２３が合成画像を生成する手法を説明する図である。
【００５１】
車載装置２のフロントカメラ５Ｆ、バックカメラ５Ｂ、左サイドカメラ５Ｌ、及び、右サイドカメラ５Ｒのそれぞれで撮影が行われると、車両９の前方、後方、左側方及び右側方をそれぞれ示す４つの画像ＧＦ，ＧＢ，ＧＬ，ＧＲが取得される。これら４つの画像ＧＦ，ＧＢ，ＧＬ，ＧＲには、車両９の全周囲のデータが含まれている。
【００５２】
画像合成部２３は、まず、これら４つの画像ＧＦ，ＧＢ，ＧＬ，ＧＲに含まれるデータ（各画素の値）を、仮想的な三次元空間における立体曲面である投影面ＴＳに投影する。投影面ＴＳは、例えば略半球状（お椀形状）をしている。この投影面ＴＳの中心部分（お椀の底部分）は、車両９が存在する位置として定められている。一方、投影面ＴＳの他の部分は、画像ＧＦ，ＧＢ，ＧＬ，ＧＲのいずれかと対応付けられており、画像合成部２３は投影面ＴＳのこの部分に画像に含まれるデータを投影する。
【００５３】
画像合成部２３は、投影面ＴＳにおいて車両９の前方に相当する領域に、フロントカメラ５Ｆの画像ＧＦのデータを投影する。また、画像合成部２３は、投影面ＴＳにおいて車両９の後方に相当する領域に、バックカメラ５Ｂの画像ＧＢのデータを投影する。さらに、画像合成部２３は、投影面ＴＳにおいて車両９の左側方に相当する領域に左サイドカメラ５Ｌの画像ＧＬのデータを投影し、投影面ＴＳにおいて車両９の右側方に相当する領域に右サイドカメラ５Ｒの画像ＧＲのデータを投影する。
【００５４】
４つの画像ＧＦ，ＧＢ，ＧＬ，ＧＲのそれぞれにおいて、投影面ＴＳに投影すべきデータを含む領域は、４つのカメラ５それぞれの設置誤差に応じて変化する。このため、画像合成部２３は、記憶部２４に記憶された４つのカメラ５それぞれの設置パラメータ２４ａ（ロール角、チルト角、パン角など）を用いて、画像ＧＦ，ＧＢ，ＧＬ，ＧＲそれぞれの投影面ＴＳに投影する領域を修正する。
【００５５】
例えば、図５に示すフロントカメラ５Ｆで取得された画像ＧＦを例に説明する。仮にフロントカメラ５Ｆに関して設置誤差がない場合は、投影面ＴＳに投影すべきデータを含む領域はデフォルトの領域Ｒ１となる。通常はフロントカメラ５Ｆに関して設置誤差が存在することから、画像合成部２３は、フロントカメラ５Ｆの設置パラメータ２４ａに基づいて、投影面ＴＳに投影する領域を領域Ｒ１から領域Ｒ２に修正する。そして、画像合成部２３は、この領域Ｒ２に含まれるデータを投影面ＴＳに投影することになる。
【００５６】
図４に戻り、このように投影面ＴＳの各部分のデータを決定すると、画像合成部２３は、車両９の三次元形状を示すポリゴンのモデルを仮想的に構成する。この車両９のモデルは、投影面ＴＳが設定される三次元空間において、車両９の位置と定められた略半球状の中心部分に配置される。
【００５７】
次に、画像合成部２３は、三次元空間に対して仮想視点ＶＰを設定する。画像合成部２３は、三次元空間における任意の視点位置に任意の視野方向に向けて仮想視点ＶＰを設定することができる。そして、画像合成部２３は、投影面ＴＳのうち、設定した仮想視点ＶＰからみて所定の視野角に含まれる領域を画像として切り出す。また、画像合成部２３は、設定した仮想視点ＶＰに応じてポリゴンのモデルに関してレンダリングを行い、その結果となる二次元の車両像９０を、切り出した画像に対して重畳する。これにより、画像合成部２３は、仮想視点ＶＰからみた車両９及び車両９の周辺の領域を示す合成画像ＣＰを生成する。
【００５８】
例えば図に示すように、視点位置を車両９の直上、視野方向を直下とした仮想視点ＶＰａを設定した場合には、車両９及び車両９の周辺の領域を俯瞰する合成画像ＣＰａが生成される。また、視点位置を車両９の左後方、視野方向を車両９の前方とした仮想視点ＶＰｂを設定した場合には、車両９の左後方からその周辺全体を見渡すように、車両９及び車両９の周辺の領域を示す合成画像ＣＰｂが生成されることになる。
【００５９】
＜３．第１標識体＞
次に、第１標識体３１〜３４について説明する。図１に示したように、これら４つの第１標識体３１〜３４はそれぞれ、設置パラメータの導出に用いる導出用マークＣｍを含んでいる。
【００６０】
図６は、車両９の左前方に配置される第１標識体３１を示す図である。この第１標識体３１は、フロントカメラ５Ｆと左サイドカメラ５Ｌとで重複して撮影可能な領域Ａ１に配置される（図１参照。）。
【００６１】
第１標識体３１の導出用マークＣｍは、比較的小さな３つの内側マークＭｉと、３つの内側マークＭｉをそれぞれ内包する３つの外側マークＭｅとを含んでいる。すなわち、導出用マークＣｍは、内側マークＭｉとそれを内包する外側マークＭｅとのセットを３つ含んでいる。これら３つのセットは、その中心が略正三角形を形成するように配置される。そして、導出用マークＣｍは、３つのセットの中心間を結ぶ線上（正三角形の辺上）に沿って３つの棒状マークＭｃを含んでいる。
【００６２】
第１標識体３１〜３４の背景色（素材の色）は比較的暗い色（例えば、黒）である。これに対して、外側マークＭｅは比較的明るい色（例えば、白）となっている。また、内側マークＭｉは比較的暗い色（例えば、黒）となっている。図中では、比較的暗い色の部分をハッチングで示している。また、棒状マークＭｃと外側マークＭｅとは接触せず離間している。これにより、内側マークＭｉの外縁、及び、外側マークＭｅの外縁はそれぞれ明確となっている。なお、内側マークＭｉの外縁と外側マークＭｅの外縁とで囲まれた領域のみを明るい色で着色し、内側マークＭｉの内部色は第１標識体３１〜３４の背景色を用いてもよい。
【００６３】
内側マークＭｉ及び外側マークＭｅの形状は、略楕円となっている。これらの楕円が延びる方向（楕円の長軸の方向）は、内側マークＭｉと外側マークＭｅとで異なっている。
【００６４】
内側マークＭｉは、フロントカメラ５Ｆで取得された画像ＧＦ中において、略真円の像として表れるような形状とされている。この内側マークＭｉの形状は、フロントカメラ５Ｆからの当該内側マークＭｉの方向と、フロントカメラ５Ｆのディストーション（画像中の被写体の像に生じる歪）とを考慮して決定される。したがって、内側マークＭｉは、フロントカメラ５Ｆが存在する方向に略沿って延びるような略楕円の形状となっている（図１参照。）。
【００６５】
また、外側マークＭｅは、左サイドカメラ５Ｌで取得された画像ＧＬ中において、略真円の像として表れるような形状とされている。この外側マークＭｅの形状は、左サイドカメラ５Ｌからの当該外側マークＭｅの方向と、左サイドカメラ５Ｌのディストーションとを考慮して決定される。したがって、外側マークＭｅは、左サイドカメラ５Ｌが存在する方向に略沿って延びるような略楕円の形状となっている（図１参照。）。
【００６６】
内側マークＭｉと外側マークＭｅとの１つのセットに注目すると、画像ＧＦ中の略真円の内側マークＭｉの像の中心に対応する位置と、画像ＧＬ中の略真円の外側マークＭｅの像の中心に対応する位置とは一致するようになっている。
【００６７】
また、車両９の右前方に配置される第１標識体３２は、図６に示す第１標識体３１をほぼ左右反転させたものとなる（図１参照。）。この第１標識体３２は、フロントカメラ５Ｆと右サイドカメラ５Ｒとで重複して撮影可能な領域Ａ２に配置される。第１標識体３２に含まれる内側マークＭｉは、フロントカメラ５Ｆで取得された画像ＧＦ中において、略真円の像として表れるような形状とされている。一方、第１標識体３２に含まれる外側マークＭｅは、右サイドカメラ５Ｒで取得された画像ＧＲ中において、略真円の像として表れるような形状とされている。
【００６８】
また、図７は、車両９の左後方に配置される第１標識体３３を示す図である。この第１標識体３３は、バックカメラ５Ｂと左サイドカメラ５Ｌとで重複して撮影可能な領域Ａ３に配置される（図１参照。）。
【００６９】
図６の第１標識体３１と同様に、第１標識体３３の導出用マークＣｍも、比較的小さな３つの内側マークＭｉと、３つの内側マークＭｉをそれぞれ内包する３つの外側マークＭｅと、３つの棒状マークＭｃとを含んでいる。
【００７０】
内側マークＭｉは、バックカメラ５Ｂで取得された画像ＧＢ中において、略真円の像として表れるような形状とされている。この内側マークＭｉの形状は、バックカメラ５Ｂからの当該内側マークＭｉの方向と、バックカメラ５Ｂのディストーションとを考慮して決定される。したがって、内側マークＭｉは、バックカメラ５Ｂが存在する方向に略沿って延びるような略楕円の形状となっている（図１参照。）。
【００７１】
また、外側マークＭｅは、左サイドカメラ５Ｌで取得された画像ＧＬ中において、略真円の像として表れるような形状とされている。この外側マークＭｅの形状は、左サイドカメラ５Ｌからの当該外側マークＭｅの方向と、左サイドカメラ５Ｌのディストーションとを考慮して決定される。したがって、外側マークＭｅは、左サイドカメラ５Ｌが存在する方向に略沿って延びるような略楕円の形状となっている（図１参照。）。
【００７２】
また、車両９の右後方に配置される第１標識体３４は、図７に示す第１標識体３３をほぼ左右反転させたものとなる（図１参照。）。この第１標識体３４は、バックカメラ５Ｂと右サイドカメラ５Ｒとで重複して撮影可能な領域Ａ４に配置される。第１標識体３４に含まれる内側マークＭｉは、バックカメラ５Ｂで取得された画像ＧＢ中において、略真円の像として表れるような形状とされている。一方、第１標識体３４に含まれる外側マークＭｅは、右サイドカメラ５Ｒで取得された画像ＧＲ中において、略真円の像として表れるような形状とされている。
【００７３】
図１を参照して分かるように、車両９の後方に配置される第１標識体３３，３４の外側マークＭｅのサイズは、車両９の前方に配置される第１標識体３１，３２の外側マークＭｅよりも大きくなる。これは、サイドカメラ５Ｌ，５Ｒまでの距離が前方の第１標識体３１，３２よりも後方の第１標識体３３，３４のほうが長く、画像中における外側マークＭｅの像のサイズを一致させるためである。
【００７４】
＜４．キャリブレーション処理＞
次に、設置パラメータを取得するキャリブレーション処理について説明する。図８は、キャリブレーション処理の流れを示す図である。この処理は、図１に示すように標識体３１〜３４，４１〜４３が予め配置された作業場の所定位置に車両９を停車させた状態で、車載装置２の操作部２５にユーザが所定の操作を行った場合に、キャリブレーション部２１ｂの制御により実行される。
【００７５】
まず、４つのカメラ５Ｆ，５Ｂ，５Ｌ，５Ｒのそれぞれが、車両９の周辺を撮影する（ステップＳ１１）。これにより、車両９の前方、後方、左側方及び右側方をそれぞれ示す４つの画像が取得される。取得された４つの画像は、車載装置２の画像取得部２２を介して制御部２１に入力される。
【００７６】
次に、キャリブレーション部２１ｂが、４つの画像のうちの１つ（たとえば、フロントカメラ５Ｆの画像）を注目画像として選択する（ステップＳ１２）。そして、キャリブレーション部２１ｂは、注目画像に含まれる導出用マークＣｍの像の特定の位置をユーザに指定させる。
【００７７】
図９は、この場合に取得された画像Ｇ１の例を示す図である。図９では、フロントカメラ５Ｆで取得された画像を一例として示している。図に示すように画像Ｇ１には、左側及び右側にそれぞれ、導出用マークＣｍの像６１が含まれる。また、画像Ｇ１には、確認用マークＬｍの像６２も含まれる。ユーザは、このような画像Ｇ１中の導出用マークＣｍの像６１における特定部分の位置を指定する。
【００７８】
図１０に示すように、注目画像がフロントカメラ５Ｆまたはバックカメラ５Ｂで取得された画像の場合は、注目画像中の導出用マークＣｍの像６１に含まれる３つの内側マークＭｉの像（以下、「内側マーク像」という。）７１ｉ，７２ｉ，７３ｉの形状が略真円となる。ユーザは、ディスプレイ２６が注目画像を表示している状態で、このような略真円の内側マーク像７１ｉ，７２ｉ，７３ｉの位置を指定する。ユーザは、３つの内側マーク像７１ｉ，７２ｉ，７３ｉに対して、３つのカーソル７１ｃ，７２ｃ，７３ｃをそれぞれ合わせることで、これらの位置を指定することになる。
【００７９】
一方、図１１に示すように、注目画像が左サイドカメラ５Ｌまたは右サイドカメラ５Ｒで取得された画像の場合は、注目画像中の導出用マークＣｍの像６１に含まれる３つの外側マークＭｅの像（以下、「外側マーク像」という。）７１ｅ，７２ｅ，７３ｅの形状が略真円となる。ユーザは、ディスプレイ２６が注目画像を表示している状態で、このような略真円の外側マーク像７１ｅ，７２ｅ，７３ｅの位置を指定する。ユーザは、３つの外側マーク像７１ｅ，７２ｅ，７３ｅに対して、３つのカーソル７１ｄ，７２ｄ，７３ｄをそれぞれ合わせることで、これらの位置を指定することになる。
【００８０】
このようなカーソルを合わせる対象となる内側マーク像あるいは外側マーク像は、それぞれ「ポイント」と称される。ユーザは、ポイントごとにカーソルを合わせる。１つの画像につき６つのポイントが存在し、４つの画像があるため、ユーザは合計２４のポイントに関してカーソルを合わせていくことになる。
【００８１】
ユーザがポイントにカーソルを合わせる場合には、図１２に示すように、注目画像の１つのポイントの近傍を拡大した画像Ｇ２がディスプレイ２６の画面に表示される（図８のステップＳ１３）。また、このディスプレイ２６の画面には、上下左右の４方向をそれぞれ示す４つの方向ボタンＢ１と、ネクストボタンＢ２とが表示される。画像Ｇ２のサイズは、例えば縦３００×横３００ドットである。ユーザは、このようなディスプレイ２６の画面を参照して、当該ポイントにカーソルを合わせることになる。
【００８２】
図１２の場合は、注目画像がフロントカメラ５Ｆの画像であるため、ユーザは内側マーク像７１ｉの位置にカーソル７１ｃを移動させる。ユーザは、ディスプレイ２６の画面上の４つの方向ボタンＢ１に触れることで、カーソル７１ｃを内側マーク像７１ｉの位置に移動させることができる。
【００８３】
カーソル７１ｃは十字形状となっている。内側マーク像７１ｉの直径と、カーソル７１ｃの縦線及び横線の長さとは略一致される。例えば、内側マーク像７１ｉの直径が２４ドットとなるように設計した場合であれば、カーソル７１ｃの縦線及び横線の長さは２４ドットに設定される。
【００８４】
このため、図１３に示すように、ユーザは、カーソル７１ｃの縦線及び横線の端部を、略真円の内側マーク像７１ｉの外縁に合わせることで、内側マーク像７１ｉの位置にカーソル７１ｃを容易に合わせることができる。すなわち、ユーザは、カーソル７１ｃの４つの端部を内側マーク像７１ｉの円周に接触させることで、内側マーク像７１ｉの中心位置とカーソル７１ｃの中心位置とを一致させることができる。これにより、ユーザは、ポイントの位置（内側マーク像７１ｉの中心位置）を正確かつ安定的に指定することができる。
【００８５】
また、ユーザがネクストボタンＢ２に触れた場合は、キャリブレーション部２１ｂは、ポイントの位置の指定を受け付ける（図８のステップＳ１４）。すなわち、キャリブレーション部２１ｂは、ユーザがネクストボタンＢ２に触れた時点のカーソルの中心位置を、ポイントの位置としてＲＡＭなどに記憶する。
【００８６】
キャリブレーション部２１ｂは、このようにして１つのポイントの位置の指定を受け付けると、注目画像中の６つのポイントのうち、位置が指定されていないポイントがあるか否かを判定する。そして、位置が指定されていないポイントがある場合は（ステップＳ１５にてＮｏ）処理はステップＳ１３に戻り、キャリブレーション部２１ｂは、上記と同様にして、次のポイントの位置の指定を受け付ける。導出用マークＣｍの像６１には、棒状マークＭｃの像７４が含まれているため、ユーザは、注目画像中のいずれのポイントの位置を指定しているかを直感的に把握することができる。
【００８７】
このような処理を繰り返し、キャリブレーション部２１ｂは、注目画像中の６つのポイントの全ての位置の指定を受け付けると（ステップＳ１５にてＹｅｓ）、次に、４つの画像のうちの注目画像とされていない画像があるか否かを判定する。注目画像とされていない画像がある場合は（ステップＳ１６にてＮｏ）、処理はステップＳ１２に戻る。そして、キャリブレーション部２１ｂは、注目画像とされていない他の画像を新たな注目画像として選択し、上記と同様の処理を繰り返し、新たな注目画像の６つのポイントの位置の指定を受け付ける。ただし、注目画像が左サイドカメラ５Ｌまたは右サイドカメラ５Ｒで取得された画像の場合は、ユーザは、外側マーク像に対してカーソルを合わせることになる。
【００８８】
図１４は、注目画像が左サイドカメラ５Ｌの画像の場合におけるポイントの位置を指定するためのディスプレイ２６の画面を示す図である。この画面においても、注目画像の１つのポイントの近傍を拡大した画像Ｇ３と、４つの方向ボタンＢ１と、ネクストボタンＢ２とが表示される。ユーザは、４つの方向ボタンＢ１に触れることで、外側マーク像７１ｅの位置に対してカーソル７１ｄを移動させる。
【００８９】
この場合においても、外側マーク像７１ｅの直径と、カーソル７１ｄの縦線及び横線の長さとは一致される。例えば、外側マーク像７１ｅの直径が４８ドットとなるように設計した場合であれば、カーソル７１ｄの縦線及び横線の長さは４８ドットに設定される。
【００９０】
このため、ユーザは、カーソル７１ｄの縦線及び横線の端部を、略真円の外側マーク像７１ｅの外縁に合わせることで、外側マーク像７１ｅの位置にカーソル７１ｄを容易に合わせることができる。すなわち、ユーザは、カーソル７１ｄの４つの端部を外側マーク像７１ｅの円周に接触させることで、外側マーク像７１ｅの中心位置とカーソル７１ｄの中心位置とを一致させることができる。これにより、ユーザは、ポイントの位置（外側マーク像７１ｅの中心位置）を正確かつ安定的に指定することができる。
【００９１】
キャリブレーション部２１ｂは、このような処理により、４つの画像のそれぞれに関して６つのポイントの位置の指定を受け付ける。キャリブレーション部２１ｂは、全てのポイント（４×６＝２４のポイント）の位置の指定を受け付けると（図８のステップＳ１６にてＹｅｓ）、次に、これらのポイントの位置に基づいて、４つのカメラそれぞれの設置パラメータを導出する（ステップＳ１７）。
【００９２】
キャリブレーション部２１ｂは、まず、フロントカメラ５Ｆで取得された画像の６つのポイントの位置に基づいてフロントカメラ５Ｆの設置パラメータを導出する。キャリブレーション部２１ｂは、例えば、画像中の左側のポイントと右側のポイントとの高さの差に基づいてロール角を導出し、画像中のポイントの上下位置に基づいてチルト角を導出し、画像中のポイントの左右位置に基づいてパン角を導出する。
【００９３】
同様に、キャリブレーション部２１ｂは、バックカメラ５Ｂで取得された画像の６つのポイントの位置に基づいてバックカメラ５Ｂの設置パラメータを導出する。さらに、キャリブレーション部２１ｂは、左サイドカメラ５Ｌで取得された画像の６つのポイントの位置に基づいて左サイドカメラ５Ｌの設置パラメータを導出し、右サイドカメラ５Ｒで取得された画像の６つのポイントの位置に基づいて右サイドカメラ５Ｒの設置パラメータを導出する。
【００９４】
このようにして全てのカメラ５の設置パラメータが導出されると、次に、画像合成部２３が、４つのカメラで得られた画像と、導出された４つのカメラの設置パラメータとを用いて、仮想視点からみた車両９の周辺の様子を示す合成画像を生成する（ステップＳ１８）。この際、仮想視点の視点位置は、車両９における左右及び前後の双方に関して中央となる位置の直上に設定され、視点方向は直下に向けられる。これにより、車両９及び車両９の周辺の領域を俯瞰する合成画像が生成される。
【００９５】
図１５は、このとき生成された合成画像Ｇ４の例を示す図である。この合成画像Ｇ４においては、車両像９０、及び、導出用マークＣｍの像６１とともに、５つの確認用マークＬｍの像（以下、「確認マーク像」という。）６２が含まれている。
【００９６】
キャリブレーション処理が正しくなされた場合には、これらの確認マーク像６２は、合成画像Ｇ４中の略一定の位置に含まれる。しかしながら、キャリブレーション処理が正しくなされなかった場合には、これらの確認マーク像６２は、合成画像Ｇ４中において含まれるべき一定の位置から外れることになる。このため、キャリブレーションシステム１０では、このような合成画像Ｇ４中における確認マーク像６２の位置に基づいて、キャリブレーション処理の良否判定が行われるようになっている。
【００９７】
具体的には、まず、図１６に示すように、キャリブレーション部２１ｂが、合成画像Ｇ４中に、５つの確認マーク像６２がそれぞれ含まれるべき位置を示す指標である５つの基準枠Ｆを重畳する。次に、キャリブレーション部２１ｂは、基準枠Ｆが重畳された合成画像Ｇ４中の２つの領域を画像Ｇ５，Ｇ６として切り出し、切り出した画像Ｇ５，Ｇ６をディスプレイ２６の画面に表示させる（図８のステップＳ１９）。画像Ｇ５は、車両９の前方の領域に相当し、３つの基準枠Ｆを含む。また、画像Ｇ６は、車両９の後方の領域に相当し、２つの基準枠Ｆを含む。
【００９８】
図１７及び図１８は、画像Ｇ５，Ｇ６を表示したディスプレイ２６の画面の例を示す図である。２つの画像Ｇ５，Ｇ６には、確認マーク像６２と基準枠Ｆとが含まれている。また、ディスプレイ２６の画面には、２つの画像Ｇ５，Ｇ６とともに、リトライボタンＢ３と、完了ボタンＢ４とが表示される。ユーザは、このようなディスプレイ２６の画面を参照して、キャリブレーション処理の良否判定を行う。
【００９９】
図１７に示すように、５つの確認マーク像６２の全てが基準枠Ｆ内に収まっている場合は、キャリブレーション処理が正しくなされた場合である。このような場合は、ユーザは、キャリブレーション処理が正しくなされたと判断して完了ボタンＢ４に触れる。この場合は（ステップＳ２０にてＮｏ）、キャリブレーション部２１ｂは、ステップＳ１７で導出した設置パラメータを正しい値として確定し、記憶部２４に記憶する（ステップＳ２１）。
【０１００】
一方、図１８に示すように、５つの確認マーク像６２のいずれかが基準枠Ｆから外れている場合は、キャリブレーション処理が正しくなされなかった場合である。このような場合は、ユーザは、キャリブレーション処理の再実行が必要と判断して、リトライボタンＢ３に触れる。この場合は（ステップＳ２０にてＹｅｓ）、処理はステップＳ１１に戻り、キャリブレーション処理が再び実行されることになる。
【０１０１】
以上のように、キャリブレーションシステム１０においては、第１標識体３１〜３４が、カメラ５で取得された画像中において略真円の像として表れる略楕円のマークＭｉ，Ｍｅを含んでいる。車載装置２は、このようなマークＭｉ，Ｍｅの略真円の像を含む画像をディスプレイ２６に表示させ、ユーザはこの略真円の像の位置を指定する。そして、車載装置２は、指定されたマークＭｉ，Ｍｅの像の位置に基づいて設置パラメータを導出する。マークＭｉ，Ｍｅの略真円の像を含む画像が表示されるため、ユーザはマークＭｉ，Ｍｅの像の位置を正確に指定することができる。このため、設置パラメータを取得する精度を向上できる。
【０１０２】
＜５．変形例＞
以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態に限定されるものではなく様々な変形が可能である。以下では、このような変形例について説明する。上記実施の形態及び以下で説明する形態を含む全ての形態は、適宜に組み合わせ可能である。
【０１０３】
上記実施の形態では、マークの像の位置を指定するためのカーソルは十字形状であると説明したが、カーソルはこれに限定されない。カーソルは、マークの略真円の像の円周の少なくとも３点と接する形状であればどのようなものであってもよい。カーソルがマークの像の円周の少なくとも３点と接する形状であれば、ユーザはカーソルをマークの像の位置に正確に合わせることができる。例えば、カーソルは、図１９に示すようにマークの像７０の円周に３点で内接する三角形のカーソルＣ１や、図２０に示すようにマークの像７０の円周に４点で内接する四角形のカーソルＣ２などであってもよい。また、カーソルは、図２１に示すようにマークの像７０の円周に外接するカーソルＣ３であってもよい。
【０１０４】
また、上記実施の形態では、第１標識体及び第２標識体は板状体であるとしていたが、紙や布などであってもよい。また、マークを作業場の床面に形成し、作業場の床面自体が標識体として機能してもよい。
【０１０５】
また、上記実施の形態では、確認用マークＬｍは棒状であったが、所定の形状であれば棒状でなくてもよい。この場合、確認用マークの形状に合わせて、確認用マークの像が含まれるべき位置を示す指標である基準枠の形状を規定すればよい。
【０１０６】
また、上記実施の形態では、プログラムに従ったＣＰＵの演算処理によってソフトウェア的に各種の機能が実現されると説明したが、これら機能のうちの一部は電気的なハードウェア回路により実現されてもよい。また逆に、ハードウェア回路によって実現されるとした機能のうちの一部は、ソフトウェア的に実現されてもよい。
【符号の説明】
【０１０７】
２ 車載装置
５ カメラ
９ 車両
１０ キャリブレーションシステム
２１ｂ キャリブレーション部
２３ 画像合成部
２４ａ 設置パラメータ
３１〜３４ 第１標識体
４１〜４３ 第２標識体
【特許請求の範囲】
【請求項１】
車両に搭載されたカメラに関するキャリブレーションシステムであって、
前記車両の外部に配置される第１標識体と、
前記第１標識体を前記カメラで撮影して得られた画像に基づいて、前記カメラの設置に関する設置パラメータを取得するパラメータ取得装置と、
を備え、
前記第１標識体は、前記画像中において略真円の像として表れる略楕円のマーク、を含み、
前記パラメータ取得装置は、
前記マークの略真円の像を含む前記画像を表示する表示手段と、
前記表示手段が前記画像を表示中にユーザが指定する該画像における前記マークの像の位置に基づいて、前記設置パラメータを導出する導出手段と、
を備えることを特徴とするキャリブレーションシステム。
【請求項２】
請求項１に記載のキャリブレーションシステムにおいて、
前記マークの像の位置を前記ユーザが指定するために用いるカーソルは、前記マークの像の円周の少なくとも３点と接する形状であることを特徴とするキャリブレーションシステム。
【請求項３】
請求項１または２に記載のキャリブレーションシステムにおいて、
前記車両は、互いに異なる位置に配置された複数の前記カメラ、を有し、
前記導出手段は、前記複数のカメラで得られた複数の画像に基づいて、前記複数のカメラそれぞれの前記設置パラメータを導出することを特徴とするキャリブレーションシステム。
【請求項４】
請求項３に記載のキャリブレーションシステムにおいて、
前記第１標識体は、前記略楕円のマークとして、
第１マークと、
前記第１マークを内包する第２マークと、
を含み、
前記導出手段は、
前記複数のカメラのうちの一の第１カメラで得られた前記画像中の前記第１マークの略真円の像の位置に基づいて、前記第１カメラの前記設置パラメータを導出し、
前記複数のカメラのうちの他の一の第２カメラで得られた前記画像中の前記第２マークの略真円の像の位置に基づいて、前記第２カメラの前記設置パラメータを導出することを特徴とするキャリブレーションシステム。
【請求項５】
請求項３または４に記載のキャリブレーションシステムにおいて、
前記パラメータ取得装置は、
前記複数の車載カメラで得られた複数の画像と前記複数のカメラそれぞれの前記設置パラメータとを用いて、仮想視点からみた前記車両の周辺の様子を示す合成画像を生成する生成手段、
をさらに備えることを特徴とするキャリブレーションシステム。
【請求項６】
請求項５に記載のキャリブレーションシステムにおいて、
前記複数の画像を取得する際に前記車両の外部に配置され、所定形状の第３マークを示す第２標識体、
をさらに備え、
前記パラメータ取得装置は、
前記複数の画像を用いて生成した前記合成画像に、前記第３マークの像が含まれるべき位置を示す指標を重畳する重畳手段、
をさらに備え、
前記表示手段は、前記第３マークの像と前記指標とを含む前記合成画像を表示することを特徴とするキャリブレーションシステム。
【請求項７】
車両の外部に配置される標識体を前記車両に搭載されたカメラで撮影して得られた画像に基づいて、前記カメラの設置に関する設置パラメータを取得するパラメータ取得装置であって、
前記標識体は、前記画像中において略真円の像として表れる略楕円のマーク、を含み、
前記パラメータ取得装置は、
前記マークの略真円の像を含む前記画像を表示する表示手段と、
前記表示手段が前記画像を表示中にユーザが指定する該画像における前記マークの像の位置に基づいて、前記設置パラメータを導出する導出手段と、
を備えることを特徴とするパラメータ取得装置。
【請求項８】
車両に搭載されたカメラで得られた画像に基づいて前記カメラの設置に関する設置パラメータを取得するために用いる標識体であって、
前記画像中において略真円の像として表れる略楕円のマーク、
を含むことを特徴とする標識体。
【請求項９】
車両に搭載されたカメラの設置に関する設置パラメータを取得するパラメータ取得方法であって、
（ａ）前記カメラが取得する画像中において略真円の像として表れる略楕円のマークを前記カメラで撮影する工程と、
（ｂ）前記工程（ａ）で得られた前記マークの略真円の像を含む画像を表示する工程と、
（ｃ）前記工程（ｂ）において前記画像を表示中にユーザが指定する該画像における前記マークの像の位置に基づいて、前記設置パラメータを導出する工程と、
を備えることを特徴とするパラメータ取得方法。
【請求項１】
車両に搭載されたカメラに関するキャリブレーションシステムであって、
前記車両の外部に配置される第１標識体と、
前記第１標識体を前記カメラで撮影して得られた画像に基づいて、前記カメラの設置に関する設置パラメータを取得するパラメータ取得装置と、
を備え、
前記第１標識体は、前記画像中において略真円の像として表れる略楕円のマーク、を含み、
前記パラメータ取得装置は、
前記マークの略真円の像を含む前記画像を表示する表示手段と、
前記表示手段が前記画像を表示中にユーザが指定する該画像における前記マークの像の位置に基づいて、前記設置パラメータを導出する導出手段と、
を備えることを特徴とするキャリブレーションシステム。
【請求項２】
請求項１に記載のキャリブレーションシステムにおいて、
前記マークの像の位置を前記ユーザが指定するために用いるカーソルは、前記マークの像の円周の少なくとも３点と接する形状であることを特徴とするキャリブレーションシステム。
【請求項３】
請求項１または２に記載のキャリブレーションシステムにおいて、
前記車両は、互いに異なる位置に配置された複数の前記カメラ、を有し、
前記導出手段は、前記複数のカメラで得られた複数の画像に基づいて、前記複数のカメラそれぞれの前記設置パラメータを導出することを特徴とするキャリブレーションシステム。
【請求項４】
請求項３に記載のキャリブレーションシステムにおいて、
前記第１標識体は、前記略楕円のマークとして、
第１マークと、
前記第１マークを内包する第２マークと、
を含み、
前記導出手段は、
前記複数のカメラのうちの一の第１カメラで得られた前記画像中の前記第１マークの略真円の像の位置に基づいて、前記第１カメラの前記設置パラメータを導出し、
前記複数のカメラのうちの他の一の第２カメラで得られた前記画像中の前記第２マークの略真円の像の位置に基づいて、前記第２カメラの前記設置パラメータを導出することを特徴とするキャリブレーションシステム。
【請求項５】
請求項３または４に記載のキャリブレーションシステムにおいて、
前記パラメータ取得装置は、
前記複数の車載カメラで得られた複数の画像と前記複数のカメラそれぞれの前記設置パラメータとを用いて、仮想視点からみた前記車両の周辺の様子を示す合成画像を生成する生成手段、
をさらに備えることを特徴とするキャリブレーションシステム。
【請求項６】
請求項５に記載のキャリブレーションシステムにおいて、
前記複数の画像を取得する際に前記車両の外部に配置され、所定形状の第３マークを示す第２標識体、
をさらに備え、
前記パラメータ取得装置は、
前記複数の画像を用いて生成した前記合成画像に、前記第３マークの像が含まれるべき位置を示す指標を重畳する重畳手段、
をさらに備え、
前記表示手段は、前記第３マークの像と前記指標とを含む前記合成画像を表示することを特徴とするキャリブレーションシステム。
【請求項７】
車両の外部に配置される標識体を前記車両に搭載されたカメラで撮影して得られた画像に基づいて、前記カメラの設置に関する設置パラメータを取得するパラメータ取得装置であって、
前記標識体は、前記画像中において略真円の像として表れる略楕円のマーク、を含み、
前記パラメータ取得装置は、
前記マークの略真円の像を含む前記画像を表示する表示手段と、
前記表示手段が前記画像を表示中にユーザが指定する該画像における前記マークの像の位置に基づいて、前記設置パラメータを導出する導出手段と、
を備えることを特徴とするパラメータ取得装置。
【請求項８】
車両に搭載されたカメラで得られた画像に基づいて前記カメラの設置に関する設置パラメータを取得するために用いる標識体であって、
前記画像中において略真円の像として表れる略楕円のマーク、
を含むことを特徴とする標識体。
【請求項９】
車両に搭載されたカメラの設置に関する設置パラメータを取得するパラメータ取得方法であって、
（ａ）前記カメラが取得する画像中において略真円の像として表れる略楕円のマークを前記カメラで撮影する工程と、
（ｂ）前記工程（ａ）で得られた前記マークの略真円の像を含む画像を表示する工程と、
（ｃ）前記工程（ｂ）において前記画像を表示中にユーザが指定する該画像における前記マークの像の位置に基づいて、前記設置パラメータを導出する工程と、
を備えることを特徴とするパラメータ取得方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【公開番号】特開２０１３−８９９８４（Ｐ２０１３−８９９８４Ａ）
【公開日】平成２５年５月１３日（２０１３．５．１３）
【国際特許分類】
【出願番号】特願２０１１−２２５５５５（Ｐ２０１１−２２５５５５）
【出願日】平成２３年１０月１３日（２０１１．１０．１３）
【出願人】（０００２３７５９２）富士通テン株式会社 (3,383)
【Ｆターム（参考）】
【公開日】平成２５年５月１３日（２０１３．５．１３）
【国際特許分類】
【出願日】平成２３年１０月１３日（２０１１．１０．１３）
【出願人】（０００２３７５９２）富士通テン株式会社 (3,383)
【Ｆターム（参考）】
[ Back to top ]