カメラキャリブレーション装置
【課題】車両の停車誤差の影響を排除できるキャリブレーションを簡易な設備で実施する。
【解決手段】自車１２の形状に対応した２点と交わる線を含み、カメラ１０の撮像範囲内に少なくとも２本配置される参照線ＲＬと、この参照線ＲＬの間に予め定められたパターン形状を有する校正用パターンＰＰとを有する測定領域ＭＡと、画像処理部１４とを備えている。そして、画像処理部１４が、カメラ１０で校正用パターンＰＰ及び参照線ＲＬが配置される測定領域ＭＡを撮影することで前記測定用画像ＩＭを生成する撮像処理１８と、前記２本の前記参照線ＲＬに基づいて前記自車１２の停車位置と前記パターン形状との座標関係を停車誤差として算出する停車誤差算出処理２０と、当該停車誤差をキャンセルした状態で前記パターン形状に基づいて前記カメラ１０の取付姿勢に対応する外部パラメータを算出する外部パラメータ算出処理２２とを備えた。
【解決手段】自車１２の形状に対応した２点と交わる線を含み、カメラ１０の撮像範囲内に少なくとも２本配置される参照線ＲＬと、この参照線ＲＬの間に予め定められたパターン形状を有する校正用パターンＰＰとを有する測定領域ＭＡと、画像処理部１４とを備えている。そして、画像処理部１４が、カメラ１０で校正用パターンＰＰ及び参照線ＲＬが配置される測定領域ＭＡを撮影することで前記測定用画像ＩＭを生成する撮像処理１８と、前記２本の前記参照線ＲＬに基づいて前記自車１２の停車位置と前記パターン形状との座標関係を停車誤差として算出する停車誤差算出処理２０と、当該停車誤差をキャンセルした状態で前記パターン形状に基づいて前記カメラ１０の取付姿勢に対応する外部パラメータを算出する外部パラメータ算出処理２２とを備えた。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラのキャリブレーションをする技術分野に関する。
【背景技術】
【０００２】
カメラで自車の周辺環境を撮像し、必要な画像処理をし、運転者に各種の情報を提供することで、運転を支援する技術が開発されている。運転の支援としては、駐車時等の後方画像の表示や、自動操舵や、自車に接近する車両の検出や、車線逸脱の警報などがある。また、画像処理としては、座標系の変換や、白線認識や、パターンマッチングなどがある。座標系の変換としては、二次元画像の三次元化や、平面図に相当する俯瞰画像の座標系への変換や、距離の算出に適した座標系への変換などがある。
特に、カメラで撮像した画像を俯瞰処理し、運転者に提示すると、車両周辺環境の認識を容易にすることができる。このような座標系の変換をするには、カメラ画像の車両に対する位置を明確かつ正確に測定しておく必要がある。
【０００３】
例えば、バックモニタの場合、画像の上下方向が、車両の進行方向に一致し、かつ、画像での上下方向を向く中心線が車両の中心軸に一致していることが望ましい。このような画像変換処理を行うためには、カメラのキャリブレーションが必要となる。このキャリブレーションでは、レンズ性能を含めたカメラに固有の内部パラメータと、ワールド座標系でのカメラの設置位置及び姿勢を示す外部パラメータとを算出する。カメラを用いるシステムは、内部パラメータを用いてカメラのレンズに起因する歪みを補正し、外部パラメータを用いてカメラの取付誤差（設置位置及び姿勢の誤差）を補正する。
カメラのキャリブレーションでは、例えば、大きさの分かっているパターンを路面に敷き、これを撮像し、画像上でのパターンの位置及び大きさとワールド座標系での実際の位置及び大きさとを対応させることで、ワールド座標系でのカメラの撮像面の座標を算出する手法が知られている（例えば、非特許文献１）。
外部パラメータは、ワールド座標系と、設計上の理想的な取付での位置及び姿勢（回転角度）でのカメラの座標系との対応関係を与えるパラメータ群である。カメラ１０の組付けの位置や角度には、ばらつきが生じることがあり、そして使用中に位置がずれてしまう可能性もある。すると、カメラの外部パラメータは、理想的な設置位置による外部パラメータとは異なる値となる。この場合、カメラ１０の取付誤差を外部パラメータに反映させるか、取付誤差に応じた補正値等を適用しなければ、カメラ座標系とワールド座標系との対応関係が不正確となってしまう。
座標系の対応関係が不正確となると、各種の画像処理がその性能を発揮できなくなる。すると、ドライバへの表示が不適切となり、また、画像の表示が見苦しくなってしまう。
【０００４】
特許文献１には、車両の組立工場や修理工場等において、カメラ１０のキャリブレーションを精度良く実行することを目的として、バックカメラを車両に設置した後、地面に描かれたターゲットを撮像し（段落００４４，００４８）、そして、撮像されたターゲットをディスプレイに表示しつつ目視による手動の操作を促すことで（段落００５２から段落００６５，図５及び図６）、カメラの外部パラメータを、カメラの実際の取付位置及び角度に対応した値へと補正する手法が開示されている（段落００６５）。
そして、この特許文献１には、測定時の車両位置について、ターゲットに対して「所定の相対関係にある位置」に停車させる旨（段落００４７）が開示されている。またこの文献１には、ターゲットとして、所定位置に停車した車両の車体中心を挟んで車幅方向に対向し（段落００４５，図４）、ディスプレイ上では左右対称な位置関係（段落００４９，図５）とする旨が開示されている。
【０００５】
特許文献２には、カメラモジュールの取付誤差の影響を補正して、俯瞰画像を生成する手法が開示されている。具体的には、車両出荷検査時等に、白線が描かれた路面上の所定位置に車両を停車させて、自車に取付られた複数のカメラから当該白線を撮像し、取付誤差が無い場合のテンプレート画像と比較することで（段落００３１，図６）、取付誤差を補正する。これにより、複数のカメラによる各画像の継ぎ目で白線がずれるという不都合の抑制を図っている（段落００６２，図１０）。
【０００６】
特許文献３には、自車の後方を撮像するカメラのキャリブレーションを走行中にも実行可能とすることを目的として、後部バンパの輪郭を調整パターンとしてカメラの設置位置及び設置姿勢の誤差を求める手法（段落００２５，００４２）が開示されている。
【０００７】
特許文献４には、大がかりな環境設備を必要とせずに複数台のカメラのキャリブレーションを実行することを目的として、路面上に複数のパターンを用意しておき、おおよその位置に車両を停止させてパターンを撮像し（段落００１１，００１２）、各画像を俯瞰画像に変換して（段落００３５）、カメラ群のロール角と俯角とを最小二乗法により求めることで（段落００３７，図７及び式３（図５））、パラメータを求めようとする手法が開示されている。この例では、複数の画像の合成に際して（段落００４７）、各カメラの成す角を既知として（段落００６０）、車両に対するカメラ方向を算出しようとしている（段落００６１，図１１，図１２）。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開2005-77107号公報
【特許文献２】特開2006-277738公報
【特許文献３】特開2007-256030号公報
【特許文献４】特開2009-288152号公報
【非特許文献】
【０００９】
【非特許文献１】R. Y. Tsai, “A versatile camera calibration technique forhigh-accuracy 3D machine vision metrology using off-the-shelf tv cameras andlenses.” IEEE Journal of Robotics and Automation, 3(4):323 - 344, Aug. 1987
【発明の概要】
【発明が解決しようとする課題】
【００１０】
上記特許文献１及び２記載の手法では、キャリブレーションによって車両の停車位置及び方向の誤差（停車誤差）を外部パラメータに反映させることができない。従って、目標とする精度で外部パラメータを測定するには、特許文献１及び２記載の手法では、車両の位置に対して校正用パターンの配置位置と角度を精密に合わせなければならない。すると、この作業が実施できる大規模な設備、熟練した技術者、及び多くの作業時間が必須となってしまう。
さらに、車両の走行により取付位置にずれが生ずる可能性もある。キャリブレーションに大規模な設備を必要とすると、車両の移動容易な近隣の比較的小規模な設備ではキャリブレーションの実施不能となってしまう。
すなわち、上記特許文献１及び２手法の記載では、車両の近隣で簡易にキャリブレーションを実行することができない、という不都合があった。
上記特許文献２及び４には、俯瞰画像を用いる手法が開示されているが、理想的な取付パラメータからの修正の方法であって、修正は処理画像のシフトまたは回転のみであり、そして、キャリブレーションの実施には大規模な設備が必要となってしまう。
上記特許文献３記載の手法では、画像中自車が撮像される部分に基づいてキャリブレーションを実行するため、画像の中心から上部など、画像処理及び運転者への情報提供で重要な領域をキャリブレーションの対象外としてしまう。すなわち、上記特許文献３記載の手法では、カメラ画像の下部周辺領域を使ってキャリブレーションを行うことになり、車両後方を監視する用途のカメラでは一般的な、歪の大きなカメラを用いた場合、歪パラメータのわずかなずれが、キャリブレーション精度に影響する。
また、上記特許文献４記載の手法では、車両をおおよその位置に停車させつつも（段落００２９）、停車位置と設置パターンとの関係を測定していないため、設置パターンに対する車両の停車誤差が、カメラの設置誤差に混入してしまう。すなわち、特許文献４の図３に示されるフローチャートの各工程に示される処理をしても、設置パターンの座標系に対して、車両の停車位置が傾いているのか、車両に設置されたカメラが傾いているのかを区別することができず、車両の停車誤差がカメラの取付誤差に含まれてしまう。特に、本文献の図１１に示されるθyawc2の測定法、算出法は何ら開示されていない。
そして、この特許文献４には、単一のカメラについて車両の停車誤差を除外してカメラの取付誤差を外部パラメータに反映させる手法は、なんら開示されていない。
【００１１】
［課題１］このように、上記従来例では、精度の高いキャリブレーションを簡易に実施することができない、という不都合があった。
［課題２］さらに、上記従来例では、単一のカメラにて車両の停車誤差を除外して当該カメラの取付誤差のキャリブレーションをすることができない、という不都合があった。
【００１２】
［発明の目的］本発明の目的は、車両の停車誤差の影響を排除できるキャリブレーションを簡易な設備で実施することにある。
【課題を解決するための手段】
【００１３】
［着眼点］本発明の発明者は、車両の停車誤差を取り除きつつ、路面に設置するパターンでキャリブレーションをすることができれば、キャリブレーション時の作業負担を軽減し、小規模な設備で精度の高いキャリブレーションをすることができる、という点に着目した。そして、路面に設置するパターンの座標系と、車両を設置した座標系との関係をキャリブレーションに反映させる手法を工夫することで、上記課題を解決できるのではないか、との着想に至った。
【００１４】
［課題解決手段１］ 本発明は、車外環境を撮像するカメラを有する自車が所定方向に停車する測定領域と、前記カメラで撮影する測定用画像に基づいて前記カメラのキャリブレーションを実行する画像処理部とを備えている。
そして、前記測定領域は、前記自車の形状に対応した２点と交わる線を含み、当該カメラの撮像範囲内となる前記測定領域に少なくとも２本配置される参照線と、前記測定領域内で前記２本の前記参照線の間に予め定められたパターン形状を有する校正用パターンとを備えている。
さらに、本発明は、前記画像処理部が、前記カメラで前記校正用パターン及び前記参照線が配置される測定領域を撮影することで前記測定用画像を生成する撮像処理と、前記２本の前記参照線に基づいて前記自車の停車位置と前記パターン形状との座標関係を停車誤差として算出する停車誤差算出処理と、当該停車誤差をキャンセルした状態で前記パターン形状に基づいて前記カメラの取付姿勢に対応する外部パラメータを算出する外部パラメータ算出処理とを備えた、という構成を採っている。
これにより、上記課題１及び２を解決した。
【発明の効果】
【００１５】
本発明は、本明細書の記載及び図面を考慮して各請求項記載の用語の意義を解釈し、各請求項に係る発明を認定すると、各請求項に係る発明は、上記背景技術等との関連において次の有利な効果を奏する。
【００１６】
［発明の作用効果１］ 課題解決手段１のカメラキャリブレーション装置は、予め定められたパターン形状を有する校正用パターンの両側に、少なくとも２本の参照線が配置され、この参照線は、自車の形状に対応した２点と交わる線である。このため、撮像処理が、前記校正用パターン及び前記参照線が配置される測定領域を撮影することで前記測定用画像を生成すると、この測定用画像中の参照線は、自車の形状に対応した２点と交わる線であり、従って、自車の停車方向と関係している。
画像処理部の停車誤差算出処理は、この関係を利用して、この２本の参照線に基づいて前記自車の停車位置と前記パターン形状との座標関係を停車誤差として算出する。そして、外部パラメータ算出処理は、停車誤差をキャンセルした状態で前記パターン形状に基づいて前記カメラの取付姿勢に対応する外部パラメータを算出する。従って、校正用パターンを自車の停車方向に対して厳密に平行等の方向に設置しなくとも、逆に、校正用パターンに対して厳密な方向で停車しなくとも、停車誤差の影響を除外して外部パラメータを算出することができる。
従って、車両の停車誤差の影響を排除できるキャリブレーションを簡易な設備で実施することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の一実施形態の構成例を示すブロック図である。
【図２】本実施例で使用する校正用パターンの一例を示す説明図である。
【図３】本実施例での自車の形状の一例を示す斜視図である。
【図４】図４（Ａ）及び（Ｂ）は本実施例での各種座標系の一例を示す説明図である。
【図５】本実施例にて自車が測定領域に停車した状態の位置関係の一例を示す説明図である。
【図６】図５に示す例での停車角誤差及び停車位置誤差の一例を示す説明図である。
【図７】図５に示す例での俯瞰画像となる領域の一例を示す説明図である。
【図８】図７に示す例にて初期の外部パラメータにて撮像した画像を俯瞰画像とした一例を示す説明図である。
【図９】図８に示す俯瞰画像に対して校正用パターンを基準として補正した一例を示す説明図である。
【図１０】図９に示す俯瞰画像を参照線に基づいて補正することで停車角誤差を求める一例を示す説明図である。
【図１１】図５に示す例にてカメラ設置ズレ角がある場合の一例を示す説明図である。
【図１２】図１１に示す例にて初期の外部パラメータにて撮像した画像を俯瞰画像とした一例を示す説明図である。
【図１３】図１２に示す俯瞰画像に対して校正用パターンを基準に補正した一例を示す説明図である。
【図１４】図１３に示す俯瞰画像を参照線に基づいて補正することで停車角誤差を求める一例を示す説明図である。
【図１５】図１５に示す停車角誤差をキャンセルしてカメラ設置角誤差を外部パラメータに反映させる俯瞰画像の一例を示す説明図である。
【図１６】本実施例でのキャリブレーション方法の工程例を示すフローチャートである。
【図１７】図１７（Ａ）及び（Ｂ）は参照線の対称性を利用して停車誤差を算出する一例を示す説明図である。
【図１８】本実施例での測定用画像を取得する処理例を示すフローチャートである。
【図１９】本実施例にて停車誤差を算出する処理例を示すフローチャートである。
【図２０】図２０（Ａ）及び（Ｂ）は本実施例にて参照線の対称性となる相関係数が小さい一例を示す説明図である。
【図２１】図２１（Ａ）及び（Ｂ）は本実施例にて参照線の対称性となる相関係数が大きい一例を示す説明図である。
【発明を実施するための形態】
【００１８】
発明を実施するための形態として、１つの実施例を開示する。
【実施例】
【００１９】
＜1 キャリブレーション方法及び装置＞
＜1.1 車両側方の参照線＞
ここで、本実施形態の実施例を開示する。本実施例は、カメラ１０のキャリブレーションを簡易な設備で簡易に実施するために、自車１２の停車位置を厳密とすることなく外部パラメータを測定可能なキャリブレーションの技術に関する。
【００２０】
カメラキャリブレーション装置は、その主要な要素として、画像処理部１４と、測定領域ＭＡとを備えている。測定領域ＭＡは、校正用パターンＰＰと、少なくとも２本の参照線ＲＬとを有する。そして、画像処理部１４は、撮像処理１８と、停車誤差算出処理２０と、外部パラメータ算出処理２２とを備えている。
【００２１】
図１を参照すると、自車１２は、車外環境を撮像するカメラ１０を有し、測定領域ＭＡにて所定方向に停車する。本実施例では、この停車に際して、予め定められた方向に対して同一方向に精密に停車をする必要はない。
【００２２】
校正用パターンＰＰは、前記測定領域ＭＡ内で参照線ＲＬの間に配置される。パターン形状としては、例えば、図２に示す同一の大きさの矩形パターンを白黒で交互に並べた市松模様を採用することができる。この市松模様の矩形の一辺の長さを定めておくと、測定用画像ＩＭ中にワールド座標系(x, y, z)での実際の長さの情報を得ることができるため、カメラ１０の内部パラメータ及び外部パラメータの算出基準とすることができる。その他、本実施例では、キャリブレーションの方式に応じて、市松模様以外の様々なパターン形状も採用することができる。
そして、校正用パターンＰＰ（パターンマット）の原点（パターン座標原点ＯＰ）を中心とする二次元の直交座標をパターンマット座標系(xp, yp)とする。
【００２３】
参照線ＲＬは、前記自車１２の形状に対応した２点と交わる線を含み、当該カメラ１０の撮像範囲内に少なくとも２本配置する。図１に示す例では、参照線ＲＬとして、自車１２の左右の側面形状に対応した左右に２本の直線としている。この参照線ＲＬは、自車１２の外周形状１６にて予め定められた２点の位置に応じた線であり、自車１２の外周形状１６に対応しつつ、自車１２の中心軸で対称ではあるが、平行ではない関係となっている。
すなわち、図示する例では、カメラ１０の撮像方向は図中上下方向の上向きとなっており、参照線ＲＬは、この上向き方向より若干図中左右の外側に広がっている。すなわち、２本の参照線ＲＬは、平行としても良いが、平行とする必要はない。
【００２４】
カメラ１０が後方を撮像する例では、撮像方向は自車１２の後方であり、自車１２の外周形状１６は自車１２の左右側面で、参照線ＲＬは車長方向に延びる。
カメラ１０が側方を撮像する例では、撮像方向は自車１２の側方であり、自車１２の外周形状１６は自車１２の前後となり、参照線ＲＬは車幅方向に延びる。
【００２５】
そして、図１に示す例では参照線ＲＬを直線としているが、全体を曲線としても良いし、一部を直線とすることもできる。全体又は一部を直線とすると画像処理による自動化を図りやすく、一方測定用画像ＩＭが左右に広い場合などは曲線とすることで撮像範囲の全体を使った補正をすることができる。
参照線ＲＬは、画像処理により停車誤差２４を決定するものであるため、カメラ１０で撮像される測定用画像ＩＭで明瞭に認識できるものであることが望ましい。画像処理に際して２値化する場合は、路面（背景）に対して反対の輝度をもつ材料で直線を引くと良く、光線、テープ、又は棒など路面との輝度差が生ずるものであれば、様々な部材を採用することができる。また、カメラ１０の解像度に対して細すぎる線ではカメラ１０に写らなくなるため、ある程度の太さが必要となる。
【００２６】
この参照線ＲＬを車両前後方向に引く場合、自車１２の側面の外周形状１６は車両中心軸に対して対称になっているため、車体側面の外周形状１６，例えばフェンダー１６ａ，１６ｂを基準として直線を引くと良い。
図３を参照すると、参照線ＲＬとして、自車１２の前後フェンダー１６ａ，１６ｂを基準として、これを延長する直線を採用することができる。フェンダー１６ａ，１６ｂは、車両の最大幅となっていることが多く、平面部分があり測定容易である。また、フェンダー１６ａ，１６ｂではなく、タイヤ、ホイールとしても良いが、その場合、ステアリングを直進方向としておく必要がある。
【００２７】
測定に際しては、例えば、建築用のレーザー墨出し器などを活用し、測定した位置の真下地面に印をつけ、前後のフェンダー１６ａ，１６ｂ等で測定し決定した印を何らかの部材で結び、自車１２の後方へ引き伸ばすと良い。直線とする引き伸ばしには、長い棒を使うか、レーザー墨出し器で直線を延ばし、それに沿ってテープ、棒、ロープなどを設置すると良い。
レーザー墨出し器は、地面に垂直な平面方向にレーザー光を出力するため、これと車体側面がちょうど当たるように墨出し器の位置を調整し、その地墨点に印をする。
【００２８】
このようなレーザー墨出し器でなくとも、車体側面測定位置の真下の地面に印がつけられる道具であれば活用できる。例えば、糸におもりを吊り下げて鉛直真下を計る道具（大工道具の下げ振）や、地面が水平で平らであれば、地面から垂直上向きに棒を立てて、側面に当たる場所を測定することもできる。
また、前後方向の測定位置は左右でほぼ同じにする必要があるところ、フェンダー１６ａ，１６ｂのような平らな面がある場所を使うと、それほど精密な測定とせずに一定の精度を確保することができる。
【００２９】
そして、画像処理部１４は、前記カメラ１０で撮影する測定用画像ＩＭに基づいて前記カメラ１０のキャリブレーションを実行する。画像処理部１４では、まず、撮像処理１８が、前記カメラ１０で前記校正用パターンＰＰ及び前記参照線ＲＬが配置される測定領域ＭＡを撮影することで、前記測定用画像ＩＭを生成する。
【００３０】
停車誤差算出処理２０は、前記２本の前記参照線ＲＬに基づいて前記自車１２の停車位置と前記パターン形状との座標関係を停車誤差２４として算出する。すなわち、停車誤差算出処理２０は、校正用パターンＰＰの方向や位置を基準とした際の理想的な方向及び位置で自車１２を停車させなくとも、校正用パターンＰＰのパターン形状に対する自車１２の停車方向及び位置についての誤差（停車誤差２４）を算出することができる。
【００３１】
外部パラメータ算出処理２２は、当該停車誤差２４をキャンセルした状態で前記パターン形状に基づいて前記カメラ１０の取付姿勢に対応する外部パラメータを算出する。すなわち、外部パラメータ算出処理２２は、停車誤差２４の影響を排除しつつ、パターン形状を基準としてカメラ１０の取付姿勢をキャリブレーションし、その結果を外部パラメータとして算出する。
【００３２】
この外部パラメータを用いると、カメラ１０の取付姿勢の理想状態からの誤差の影響を排除した画像を生成すると共に、当該画像に撮像された対象物等の例えばワールド座標系(x, y, z)での実際の座標値などを精度良く算出することができる。
そして、本実施例では、このキャリブレーションを実行するに際して、自車１２を校正用パターンＰＰに対して精密な位置に停車させる必要がないため、大規模な設備を使用することなく、参照線ＲＬを配置可能な通常の駐車スペースを使用して外部パラメータを算出することができる。また、複数のカメラ１０を使用せず、単一のカメラ１０について停車誤差２４を除外して取付誤差を算出することができる。
【００３３】
このように、本実施例では、自車１２の形状に対応した２点と交わる参照線ＲＬと校正用パターンＰＰとを比較することで画像処理により停車誤差２４を算出した後に、この停車誤差２４の影響を除去した状態で取付誤差のキャリブレーションを実行することにより、精度の高いキャリブレーションを簡易に実行することができる。
【００３４】
これを詳細に説明する。
本実施例では、まず、車載するカメラ１０について、別途、内部パラメータと歪パラメータを測定しておく。内部パラメータはカメラ１０のレンズ系等の影響を補正するものでカメラ１０に固有のパラメータであり、カメラ１０の取付姿勢とは無関係である。歪みパラメータは、例えば、広角レンズなど非線形の状態を表すパラメータであり、内部パラメータと一体化しても良い。
【００３５】
そして、図１に示すように、カメラ１０が撮影可能な自車１２の周囲に校正用パターンＰＰを配置する。校正用パターンＰＰの配置は、本実施例では、車両の進行方向などの基準に対して精密とする必要はないが、ある程度揃えておくことが望ましい。
図２に示すように、校正用パターンＰＰは、市松模様とすることができ、市松模様の白黒の交点（格子点）の位置及び格子点間の距離はパターンマット座標系（xp, yp）で表される。
図３に示すように、自車１２の外周形状１６として、フェンダー１６ａ，１６ｂを採用することで、簡易に参照線ＲＬを設置することができる。
【００３６】
図４にカメラ１０がバックカメラである場合の座標系の関係例を説明する。
図４（Ａ）に示すように、ワールド座標系(x, y, z)は、地面上にxy平面をとり、車両軸後方をy軸、鉛直上向きをz軸、y-z面に垂直な車両横幅方向にx軸をとる。ワールド座標系(x, y, z)の原点は、車両後端中心とする。
図４（Ｂ）に示すように、カメラ１０の画像素子上に俯瞰画像座標系(u, v)を定義する。カメラ座標系(xc, yc, zc)は焦点位置fを原点として光軸方向がzc軸となるようにとる。座標系としては、図４に示す他、図２に示すパターンマット座標系(xp, yp)がある。
【００３７】
図５に示すように、本実施例では、パターン座標原点ＯＰと車両特徴点ＦＰ（例えば、バックカメラであれば自車１２の最後端等）との水平距離を停車誤差２４（停車位置誤差L, X）として測定する。この測定は、画像処理により測定しても良いが、人手による測定が簡易である。なお、パターンの座標原点ＯＰと車両特徴点ＦＰの水平位置とを一致させて配置させた場合、停車位置誤差L（水平距離）はゼロとなる。
なお、Ｌはワールド座標原点を車体後端中央に設定するために使用するパラメータであるので、画像処理からＬを算出する場合、パターンマット座標系におけるカメラ位置(x,y)のyに、車体後端中央とカメラ取り付け位置の水平距離のy軸成分を加えたものをＬとして設定する。
【００３８】
さらに、自車１２の形状と関連する少なくとも２本の参照線ＲＬを床に描くなどして、カメラ１０から撮影できるようにする。例えば、車体の側面の前後2箇所を結ぶ直線を床に引く。上述のように、この2本の参照線ＲＬとなる直線は、平行である必要はないが、自車１２の中心軸に対して対称とするなど、自車１２の前後方向との関係を維持する方向で配置すると良い。また、直線ではなく、曲線としても良い。
【００３９】
そして、カメラ１０で、校正用パターンＰＰと、２本の参照線ＲＬを撮影する。校正用パターンＰＰと参照線ＲＬは同時に撮影する必要はなく、別々に撮影しても良い。
本実施例では、校正用パターンＰＰを撮像した測定用画像ＩＭから、カメラ１０の外部パラメータを計算する。
【００４０】
また、参照線ＲＬを対称とする例では、停車誤差算出処理２０は、前記測定用画像ＩＭ中の前記カメラ１０の撮像方向を中心とした前記少なくとも２本の前記参照線ＲＬの対称性に基づいて前記停車誤差２４を算出する処理を備えると良い。この処理により、測定用画像ＩＭ中の２本の参照線ＲＬが対称となるまで画像処理による変換を繰り返し、対称となった際のそれまでの変換量から、停車誤差２４を求めることができる。
【００４１】
次に、停車誤差２４を、停車角誤差θzと、停車位置誤差L，Xとに分けて、停車角誤差θzを参照線ＲＬから求める手法を図６から図１５を参照して説明する。この例では、この停車角誤差θzを除去する補正をした上で、カメラ１０の取付誤差であるカメラ設置角誤差θcの影響を反映させた外部パラメータを算出する。
【００４２】
図６から図１０はカメラ設置角誤差θcを０とした説明用の例で、図１１から図１５はカメラ設置角誤差θcがある場合の例である。
【００４３】
図６を参照すると、停車誤差２４は、パターンマット座標系(xp, yp)とワールド座標系(x, y, z)との間の誤差であり、停車誤差２４のうち停車角誤差θzは、パターンマット座標系のyp軸(xp軸)とワールド座標系のy軸(x軸)との成す角である。
図６から図１５に示す例では、説明を簡易とするために、参照線ＲＬをワールド座標系(x, y, z)のy軸と平行とした。停止基準線ＳＬはパターンマット座標系(xp, yp)のyp軸と平行であり、自車１２の理想的な停止位置の基準となる線である。図６に示す例では、参照線ＲＬをy軸と平行としたため、参照線ＲＬと停止基準線ＳＬとの成す角は停止角誤差θzとなる。
また、測定用画像ＩＭを対象とする画像処理により停車誤差２４等を算出することもできるが、ここでは、本実施例の利点を簡易に説明するために俯瞰画像ＢＩを対象とする画像処理例を説明する。
【００４４】
図７に示すように、ワールド座標系(x, y, z)に俯瞰領域ＢＡを定める。そして、画像処理部１４は、測定用画像ＩＭの座標値を変換することで俯瞰画像ＢＩを生成することができる。画像処理部１４は、例えば、測定用画像ＩＭに撮像されている校正用パターンＰＰ等のワールド座標系(x, y, z)での高さ（y軸の値）を０と仮定しつつ、x, yの座標を俯瞰座標系(u, v)の座標に対応させて、対応させた測定用画像ＩＭの座標値（濃淡値）を俯瞰画像ＢＩの座標値とする。すると、図８に示すような俯瞰画像ＢＩを得ることができる。ここでは、停車誤差２４の算出又は除去を、俯瞰画像ＢＩに対する画像処理として説明するが、座標値の対応関係を用いて測定用画像ＩＭに対して直接に処理することもできる。
【００４５】
図８に示す俯瞰画像ＢＩでは、カメラ１０の光軸zcと平行なワールド座標系のy軸に対して、校正用パターンＰＰのyp軸が傾いている。校正用パターンＰＰの配置位置及び角度を基準とすると、自車１２の停車方向が理想値から傾いてしまっている。自車１２の停車位置を基準とすると、校正用パターンＰＰを傾けて配置してしまっている。
この停車誤差２４のうち停車角誤差θzは、カメラ１０の取付角度の誤差に起因するものではない。一方、この停車誤差２４を取り除かずにカメラ１０の取付誤差に関するキャリブレーションを実行すると、この停車誤差２４に起因する画像の回転及び並進の誤差をもカメラ１０の取付誤差に含めてしまうことになる。すなわち、停車誤差２４があると、カメラ１０の取付誤差についてのキャリブレーションを正確に実行することができなくなる。すなわち、停車誤差２４の影響を排除できないままのキャリブレーションでは、カメラ１０の外部パラメータを正確に算出することができない。
【００４６】
図９に、校正用パターンＰＰを基準として俯瞰画像ＢＩを補正した例を示す。俯瞰画像ＢＩは、反時計回りに回転する。この補正により、u軸とyp軸とが平行となる。図示するように、自車１２の前後方向と平行な参照線ＲＬと、yp軸と平行な停止基準線ＳＬとの成す角は停止角誤差θzと等しい。
【００４７】
図１０に、俯瞰画像ＢＩを参照線ＲＬに基づいて補正した一例を示す。校正用パターンＰＰで補正した俯瞰画像ＢＩを基準として、参照線ＲＬが俯瞰座標系(u, v)のu軸と平行となるまで回転させると、その回転角は停車角誤差θzとなる。参照線ＲＬが自車１２の前後方向と平行でなくとも、自車１２の前後方向の軸を中心に対象であれば、俯瞰画像ＢＩ上で対称となるまで回転させることで、停車角誤差θzを求めることができる。
このように、停車誤差算出処理２０は、前記２本の前記参照線ＲＬに基づいて前記自車１２の停車位置とパターン形状との座標関係を停車角誤差θzとして算出することができる。
【００４８】
それでは、図１１から図１５を参照して、カメラ設置ズレ角θcのある通常の場合を例として、参照線ＲＬを使用した画像処理の内容を説明する。
カメラ設置ズレ角θcは、バックカメラの場合、自車１２の中心軸（ワールド座標系のy軸）に平行な線とカメラ１０の光軸zcとの成す角である。
【００４９】
図１１を参照すると、カメラ設置ズレ角θcがある際には、カメラ１０の光軸zcはワールド座標系のy軸に対して傾くため、その角度分、自車１２に対して測定領域ＭＡが傾く。この状態で測定用画像ＩＭを撮像すると図１２に示す角度関係の俯瞰画像ＢＩとなる。
図中、直線ya及び直線xaはカメラ座標系(zc, yc, zc)の原点を通り、それぞれワールド座標系のy軸及びx軸と平行な直線である。従って、光軸zcと直線yaとの成す角はカメラ設置ズレ角θcである。
【００５０】
図１２を参照すると、俯瞰画像ＢＩのu軸とカメラ１０の光軸zcとが平行である。ワールド座標系のy軸は、u軸に対してカメラ設置ズレ角θcのマイナス分傾き、パターンマット座標系のyp軸はさらに停車角誤差θz分傾く。結局、カメラ設置ズレ角θcが逆向きになることを考慮すると、u軸に対してパターンマット座標系のyp軸は-(θz-θc)分傾く。
図１２に示す例では、y軸と参照線ＲＬとが平行であるため、参照線ＲＬとu軸に平行な線との成す角はカメラ設置ズレ角θcと等しい。
図１２中、直線ＵＬａはカメラ座標系の光軸zcと平行な直線で、図１２に示す状態ではu軸と平行であり、参照線ＲＬとの成す角がカメラ設置ズレ角θcである。
【００５１】
図１３に示すように、図１２に示す俯瞰画像ＢＩに対して、校正用パターンＰＰに基づいた補正をすると、u軸とyp軸とが平行となる。直線ＵＬｂはyp軸と平行な直線で、図１３に示す例ではu軸と平行であり、参照線ＲＬとの成す角は停車角誤差θzである。
そして、図１３に示す俯瞰画像ＢＩを対象として、参照線ＲＬに基づいた補正をすると、図１４に示すように、u軸とy軸とが平行となる。この参照線ＲＬに基づいた補正の補正角度（回転角）は、停車角誤差θzとなる（停車誤差算出処理２０）。
【００５２】
図１５に示すように、求めた停車角誤差θzを俯瞰画像ＢＩからキャンセルすると、カメラ１０の光軸zcとy軸とが平行となる。そして、yp軸とy軸との成す角はカメラ設置ズレ角θcとなる。このため、外部パラメータ算出処理２２が、図１５に示す俯瞰画像ＢＩを対象として、校正用パターンＰＰに基づいて外部パラメータＤを算出すると、その外部パラメータＤは、停車角誤差θzに影響されず、一方、カメラ設置ズレ角θcの影響を反映させたパラメータとなる。
【００５３】
続いて、図１６を参照して本実施例のキャリブレーションの方法を説明する。
まず、車外環境を撮像するカメラ１０が取付られた自車１２を予め定められた測定領域ＭＡにて所定方向に停車させる（ステップＳ１，停車工程）。例えば、図１１に示す状態で自車１２を停車させる。
次に、前記自車１２の形状に対応した２点と交わる線を、参照線ＲＬとして、前記カメラ１０の撮像範囲内となる前記測定領域ＭＡに少なくとも２本配置する（ステップＳ２，参照線配置工程）。図１１に示す例では、参照線ＲＬは自車１２の外周形状１６と関係し、前後方向の中心を中心軸として対称となっている。
そして、前記測定領域ＭＡ内で前記２本の前記参照線ＲＬの間に予め定められたパターン形状を有する校正用パターンＰＰを設置すると共に当該校正用パターンＰＰと前記参照線ＲＬとを撮影することで測定用画像ＩＭを生成する（ステップＳ３，撮像工程）。図１２に示す例では俯瞰画像ＢＩとしているが、測定用画像ＩＭは図１２に示す角度の関係を有する画像となる。
さらに、前記測定用画像ＩＭに基づいて前記カメラ１０のキャリブレーションを実行する（ステップＳ４からＳ６，画像処理工程）。
この画像処理工程は、まず、前記２本の前記参照線ＲＬに基づいて前記自車１２の停車位置と前記パターン形状との座標関係を停車誤差２４として算出する（ステップＳ４）。例えば、図１３に示すような校正用パターンＰＰを基準として補正を測定用画像ＩＭ（図示せず）に対して行い、これを基準としてさらに図１４に示すような参照線ＲＬに基づく補正をすることで、校正用パターンＰＰと参照線ＲＬとの間の誤差（回転角や並進量）を停車誤差２４とすることができる。
この停車誤差２４の算出では、校正用パターンＰＰで補正をした図１７（Ａ）に示す参照線ＲＬが画像中心線ＣＬを基準に非対称の状態から、図１７（Ｂ）に示すように対象となるまでの回転角を停車角誤差θzとすることができる。
次に、図１５に示すように、当該停車誤差２４をキャンセルし（ステップＳ５）、この状態で前記パターン形状に基づいて前記カメラ１０の取付姿勢に対応する外部パラメータを算出する（ステップＳ６）。
画像処理工程は、測定用画像ＩＭを直接の対象として停車誤差２４の算出をする他、停車誤差２４の算出をし易い座標系への変換をしてから、停車誤差２４を求めるようにしても良い。
【００５４】
・1.1 車両側方の参照線の効果
上述のように、本実施例では、少なくとも２本の参照線ＲＬからカメラ座標の外部パラメータＤを求めるため、車体と校正用パターンＰＰの正確な位置合わせが不要となり小規模の設備で迅速に校正することができる。すなわち、校正用パターンＰＰと2本の参照線ＲＬを用いると、校正用パターンＰＰの精密な配置を不要とすることができる。
そして、2本の参照線ＲＬを自車１２の車体中心軸に対して対称とすると、車体軸を使用した校正と同じ効果を得ることができる。
また、参照線ＲＬを撮像した測定用画像ＩＭを俯瞰処理し、画面中心に対称とすると、画像処理により外部パラメータＤを決定することができる。
さらに、車両特徴点ＦＰと校正用パターンＰＰのパターン座標原点ＯＰの距離を測定することで、校正用パターンＰＰの精密な配置を不要とすることができる。
このように、参照線ＲＬを用いて停車誤差２４を求めるため、小規模な設備でも精度の良いキャリブレーションを実行することができる。
【００５５】
＜1.2 俯瞰画像で補正処理＞
次に、俯瞰画像ＢＩでの参照線ＲＬの対称性に基づいて停車誤差２４を算出する例を説明する。この例では、パターンマット座標系(xp, yp)をワールド座標系(x, y, z)に変換する座標系変換行列に、停車誤差２４である停車角誤差θzと停車位置誤差L, Xの値を反映させることで、停車誤差２４をキャンセルしつつ外部パラメータＤを求める。
【００５６】
この例では、前記停車誤差算出処理２０は、前記測定用画像ＩＭを俯瞰画像ＢＩに変換すると共に、当該俯瞰画像ＢＩ中の前記少なくとも２本の前記参照線ＲＬの対称性に基づいて前記停車誤差２４を算出する処理を備えている。この停車誤差算出処理２０は、例えば、俯瞰画像ＢＩにて参照線ＲＬが対称となるまで回転や移動などの画像処理を繰り返し、対称となった際にそれまでの回転量や移動量を俯瞰画像ＢＩの座標系での停車誤差２４とすることができる。
停車誤差算出処理２０のこの処理は、図１６に示す例では、ステップＳ４にて実行すると良い。
【００５７】
座標系を関連させるために従来から多用されるピンホールカメラモデルでは、カメラ座標系(xc, yc, zc)と俯瞰画像座標系(u, v)との関係は、次式(1a)で表される。
【００５８】
【数１】
【００５９】
但し、sは任意のスケールファクターである。
ここで、式(1b)に示す行列Aが個別のカメラ１０に固有のパラメータとなっており、内部パラメータＡと呼ぶ。
実際のカメラ１０には、歪が存在するため、歪のない俯瞰画像座標系(u, v)と現実に得られる歪のある画像座標(ud, vd)の関係式を導入する。例えば、放射歪曲で４次の項まで考慮した場合は、原点(u0, v0)からの距離をr、各次数の計数をk1, k2とすると、次式（2）となる。
【００６０】
【数２】
【００６１】
そして、基準となるワールド座標系(x, y, z)とカメラ座標系(xc, yc, zc)の関係式は、次式(3a)となる。ここで次式(3b)に示す行列Ｄは、座標系の位置関係によって決まるパラメータであり、外部パラメータＤと呼ぶ。
【００６２】
【数３】
【００６３】
続いて、停車位置誤差X, Lと、停車角誤差θzとが０でない場合に適用すべき、パターンマット座標系からワールド座標系への変換行列Ｐは、次式(4a)となる。
具体的には、図１５に示す停車角誤差θzを次式(4b)に与え、図６に示す停車位置誤差X, Lを次式(4c)及び次式(4d)に与えて、パターンマット座標系からワールド座標系への変換行列Ｐを得る。
但し、Rz, Tx, Tyはそれぞれz軸周りの回転行列、x軸方向の並進行列、y軸方向の並進行列である。
【００６４】
【数４】
【００６５】
なお、式4、図６等に示す停車位置誤差X，Ｌ及び停車角誤差θzからパターンマット座標系からワールド座標系への変換行列Ｐの算出について、並進と回転の順序を逆にするなど算出の手順を変えても良い。その際は、式４のパターンマット座標系からワールド座標系への変換行列Ｐの算出手順においてもその変更に合わせて回転と並進行列の順序を適切に入れ替えれば同じ結果を得ることができる。
たとえば、車両特徴点ＦＰとの水平距離Ｌの計測について、図６に示したように車両特徴点ＦＰから車両軸に沿った距離を計測する代わりに、x軸との距離を計測した場合は、停車位置誤差X, Lを決定する際の俯瞰パラメータでy=0としていたのを、y=-Lとして、X,θzのパラメータ停車位置誤差X, Lを決定し、パターンマット座標系からワールド座標系への変換行列の算出は、x,y軸の並進→回転の順に変更すれば同じ結果を得ることができる。
【００６６】
カメラキャリブレーションの手順は次の通りとなる。
図１８を参照すると、まず、自車１２を測定領域ＭＡに停車する（ステップＳ１１）。そして、自車１２の車両後方に図２に示す市松模様の校正用パターンＰＰ（パターンマット）を敷く。市松模様のパターンはひとつ50 [cm] 四方で、4 x 4 個程度となる。そして、外部パラメータＤを算出するため、校正用パターンＰＰと自車１２の後端との水平距離Ｌを人手により測定する（ステップＳ１２）。続いて、カメラ１０で校正用パターンＰＰが設置された測定領域ＭＡを撮影し、第１の測定用画像ＩＭａとする。さらに、この測定用画像ＩＭａの広角歪みを補正する（ステップＳ１３）。
【００６７】
そして、カメラ１０のキャリブレーション（ステップＳ２１，Ｓ２２）に前後して、参照線ＲＬを配置して撮影する（ステップＳ１４）。参照線ＲＬは、自車１２の車両両側面で前後2箇所の位置を計測し、その2点を結んだ直線を車両後方へ延ばし、テープ、ロープなどで撮影可能なものとする。2本の参照線ＲＬは、車両軸に対して左右対称なものとなる。
この測定用領域を撮影して第２の測定用画像ＩＭｂとし、広角歪みを補正する（ステップＳ１５）。
【００６８】
図１９を参照すると、まず、測定用画像ＩＭａに基づいてカメラ１０のキャリブレーションを実行する（ステップＳ２１）。このキャリブレーションでは、まず、校正用パターンＰＰの格子点の位置を抽出する。各格子点の位置とそれに対応するパターンマット座標系(xp, yp)での座標値、およびカメラ１０の内部パラメータＡから、カメラ外部パラメータＤを仮に算出する（ステップＳ２２）。ここでは、停車誤差２４の影響を排除しない状態で、外部パラメータＤを仮に算出している。
そして、求まった仮の外部パラメータＤ (Rx, Ry, Rz, Tx, Ty, Tz)からパターンマット座標系(xp, yp)に対応する俯瞰画像ＢＩを得ることができる（ステップＳ２３）。
【００６９】
次に、参照線ＲＬを撮像した測定用画像ＩＭｂに対して、ステップＳ２２で求めた外部パラメータＤを用いて、俯瞰画像処理を加える。俯瞰画像処理のパラメータは、パターンマット座標系(xp, yp)に対して、x=0、y=0、θx=-180度、θy=0度、 θz=0度、 zの位置は参照線ＲＬが画面内に写るところとする。つまり、俯瞰画像用の仮想カメラを、パターンマット座標系(xp, yp)のxp-yp面に直行するのzp軸上に鉛直下向きに置く。これにより、車両後端中心の鉛直上方に鉛直下向きに仮想カメラを置いた画像が得られるようになる。
【００７０】
そして、図１７に示すように、俯瞰画像ＢＩで、停車位置誤差X, Lと停車角誤差θzの値を変化させて、2本の参照線ＲＬが俯瞰画像ＢＩ上で左右対称になるようにする（ステップＳ２４）。俯瞰画像ＢＩで２本の参照線ＲＬが左右対称となるということは、自車１２の中心軸を俯瞰画像座標系のu軸と平行で、俯瞰画像ＢＩでの中心を通る直線とほぼ一致させたと判断できる。この参照線ＲＬが左右対称となった際の停車位置誤差X,
Lと停車角誤差θzは、自車１２の停車方向を基準とするワールド座標系(x, y, z)のy軸と、パターンマット座標系(xp, yp)のyp軸との俯瞰画像ＢＩ上での成す角で、自車１２の校正用パターンＰＰに対する停車誤差２４から導かれる値である。
【００７１】
次に、求まった停車位置誤差X, Lのうち垂直距離Xを-1倍した値と、先に測定しておいた水平距離Ｌと、停車角誤差θzとをパラメータとして、パターンマット座標系からワールド座標系への変換行列Ｐ（式(4)）を算出する（ステップＳ２５）。
このパターンマット座標系からワールド座標系への変換行列Ｐをパターンマット座標系(xp, yp)の格子点座標データに掛けると、各格子点のワールド座標系(x, y, z)での座標値が求まる（ステップＳ２６）。
パターンマットの格子点の俯瞰画像ＢＩ上での位置データと、ワールド座標系で対応する格子点の座標値データとを用いて、再度キャリブレーションを行う（ステップＳ２７）。ここで算出される外部パラメータＤが求めるべき外部パラメータＤとなる。このステップＳ２７で算出される外部パラメータＤは、パターンマット座標系からワールド座標系への変換行列Ｐに与えられた停車位角誤差θz等の値に応じて停車誤差２４の影響がキャンセルせれ、一方、カメラ１０の取付誤差の影響を補正できるパラメータ値となる。
【００７２】
このように、本実施例では、まず、カメラ１０で、校正用パターンＰＰ(第１の測定用画像ＩＭａ)及び、2本の参照線ＲＬを撮影する(第２の測定用画像ＩＭｂ)，（図１８）。校正用パターンＰＰと参照線ＲＬは同時に撮影する必要はなく、複数回に分けて撮影しても良い。第１の測定用画像ＩＭａから、カメラ１０の外部パラメータＤを仮に計算する。この外部パラメータＤを基に、第２の測定用画像ＩＭｂに俯瞰処理を行う。俯瞰カメラ位置はy = 0, θx = -180度, θy = 0度, z位置は参照線ＲＬが見える所とする。
【００７３】
そして、俯瞰画像ＢＩを対象として、x軸の停車位置誤差Xと、z軸まわりの回転のパラメータである停車角誤差θzとを増減し、2本の参照線ＲＬが画面上で左右対称な位置に来るように調整する（図１９ステップＳ２３，Ｓ２４）。
求まった停車角誤差θz と、停車位置誤差Xを−1倍した値と、校正用パターンＰＰの座標原点と車両特徴点ＦＰの水平距離Ｌをパラメータとするパターンマット座標系からワールド座標系への変換行列Ｐ(式4)を算出し、その行列を用いて校正用パターンＰＰの座標を新たな座標系での値に変換する。
さらに、校正用パターンＰＰを写した画像を用い、変換した座標位置を適用し、再度カメラキャリブレーションを行い、外部パラメータＤを算出する。これが求めるべき外部パラメータＤとなる。
上述のように、本実施例では、校正用パターンＰＰを用いた最初のキャリブレーションでは外部パラメータＤのうち、z、θx, θyのみを決定するのに使用し、yは、実測から与え、x、θzは2本の参照線ＲＬから決定する手法とした。
【００７４】
・1.2 俯瞰画像で補正処理の効果
上述のように、本実施例では、停車誤差算出処理２０が、俯瞰画像ＢＩ中の参照線ＲＬの対称性に基づいて、停車誤差２４（例えば、停車角誤差θｚ及び停車位置誤差X）を算出する。このため、停車誤差算出処理２０は、俯瞰画像ＢＩにて参照線ＲＬが対称となるまで回転及び並進の画像処理を繰り返し、参照線ＲＬが対称となった際にそれまでの回転量及び移動量を俯瞰画像ＢＩの座標系での停車誤差２４とすることができる。
このため、参照線ＲＬを撮像した画像から、画像処理により自動的に停車誤差２４を算出することができる。そして、校正用パターンＰＰに対する停車誤差２４の算出を他の様々な誤差等の影響から独立させて算出することができる。
このように、校正用パターンＰＰを精密に配置する必要があった問題に対して、本実施例では、校正用パターンＰＰを正確に配置しなくとも、精度良くキャリブレーションを実施することができる。校正用パターンＰＰを正確に配置しなくとも良いという利点は、すなわち、自車１２を予め定められた測定領域ＭＡに正確に停車しなくても良いという利点と等しい。
そして、車両の位置を正確に計測する、もしくは車両を正確に所定の位置に配置する必要があった問題に対して、本実施例では、車両の中心軸に対称な参照線ＲＬの測定だけで済む。
【００７５】
＜1.3 対称性の自動算出＞
次に、参照線ＲＬの対称性を画像処理により自動的に評価する手法を説明する。この例では、前記停車誤差算出処理２０が、直線の抽出、重ね合わせ、この重ね合わせた形状についてマッチング度を算出する等の情報処理により、参照線ＲＬの対称性を自動的に判定する。
停車誤差算出処理２０は、具体的には、まず、前記俯瞰画像ＢＩ中の直線を抽出する（抽出処理）。続いて、俯瞰画像ＢＩ中の前記カメラ１０の撮像方向を中心として前記抽出した最長２本の前記直線を反転させて重ね合わせる（重ね合わせ処理）。さらに、前記俯瞰画像ＢＩを繰り返し回転させてマッチング度を繰り返し算出する（算出処理）。この算出したマッチング度は回転角と対応させつつ一時的に記憶する。そして前記マッチング度が最大となった前記回転角に基づいて前記停車誤差２４を算出する（比較処理）。
これにより、参照線ＲＬを撮像した画像から、x軸停車位置誤差Xと、z 軸まわりの回転のパラメータθzを算出する。
【００７６】
この停車誤差算出処理２０が有する抽出処理、重ね合わせ処理、算出処理及び比較処理は、本実施例を方法としてとらえる際には、停車誤差算出工程が有する工程となる。すなわち、停車誤差算出工程は、抽出処理、重ね合わせ処理、算出処理及び比較処理を備えると良い。この例では、停車誤差算出処理２０についての開示は、停車誤差算出工程についての開示ともなる。
【００７７】
図２０を参照すると、この停車誤差算出処理２０による画像処理の手順は次の通りとなる。
図２０（Ａ）に示すように、俯瞰画像ＢＩに２本の参照線ＲＬが撮影されており、図中左の参照線ＲＬａと右の参照線ＲＬｂとがある。停車誤差算出処理２０の抽出処理は、画像を2値化するなどして、この直線を抽出する。直線の抽出は、例えば俯瞰画像ＢＩをハフ変換すると直線である参照線ＲＬを探し出すことができる。ハフ変換は、画像中から直線を探索するよく知られた画像処理の手法である。直線を抽出したら、参照線ＲＬ付近以外の領域を以降の画像処理から除外すると良い。
【００７８】
そして、重ね合わせ処理は、俯瞰画像ＢＩ中の前記カメラ１０の撮像方向を中心として前記抽出した最長２本の前記直線を反転させて重ね合わせる。例えば、図中左右方向の画像中央の画像中心線ＣＬを基準としてで俯瞰画像ＢＩを二分して一方を左右反転させた後に重ね合わせる。すると、図２０（Ｂ）に示すように、左右の参照線ＲＬａ，ＲＬｂが近づく。
【００７９】
算出処理は、この状態で、マッチング度を算出する。マッチング度は、左の参照線ＲＬａと右の参照線ＲＬｂとがどの程度一致しているかである。
停車誤差算出処理２０は、このマッチング度の算出を繰り返す。具体的には、俯瞰画像ＢＩを回転又は並進させて、再度、直線を抽出し、重ね合わせをし、マッチング度を算出する。停車誤差算出処理２０は、予め定められた条件が満たされるまで回転又は並進させてマッチング度を算出し、このマッチング度が最大となるパラメータ（停車誤差２４に相当）を探す。
【００８０】
予め定められた条件が満たされるまで回転又は並進が終了すると、比較処理は、繰り返し算出したマッチング度のうち当該マッチング度が最大となった前記回転角に基づいて前記停車誤差２４を算出する。2本の参照線ＲＬが左右対称な位置にくるとき、重なり度合い=マッチング度が最大になる。
【００８１】
また、マッチング度は、様々な手法で算出できる。本実施例では、例えば相関係数に基づいて判定する手法を適用することができる。マッチング度を相関係数として表すと、理想的な相関係数の最大値は１となるが、2本の参照線ＲＬ、地面模様の微妙な違い、ノイズ等の影響を受け、実際には１より小さな値となる。
【００８２】
この相関係数は、例えば、図２０及び図２１に示すように、俯瞰画像ＢＩ中に直線形状に応じたウインドウＷＤ（緑枠）を与え、このウインドウＷＤ内の参照線ＲＬを構成する画素値の数に基づいて算出することができる。
ウインドウＷＤの大きさが、Mt x Ntピクセルであるとき、相関係数Rは、次式(5)で表される。
但し、左右画像の画素値をそれぞれT(i,j), I(i,j)とし、i,jはウインドウＷＤ内での座標値（俯瞰画像ＢＩのuvと平行な座標値）である。また、平均値I, Tを次式(6a, 6b)とする。
【００８３】
【数５】
【００８４】
図２０に示す例では、参照線ＲＬ同士の重なりがないため、相関係数は最小になり、図２１の場合だと、重なりが最大となり、相関係数が最大となる。
【００８５】
・1.3 対称性の自動算出の効果
上述したように対称性を自動算出する例では、停車誤差算出処理２０が、重ね合わせやマッチング度（例えば相関係数）の算出により自動的に停車誤差２４に相当する回転角及び並進量を求めるため、測定負荷を大幅に軽減することができる。
また、この重ね合わせた際のマッチング度を比較する手法では、参照線ＲＬが平行でも平行でなくても同一の精度で処理することができる。
参照線ＲＬを平行に置くためには、平行になっていることが保証されている場所を使うか、平行であることを別途の測定により確認する必要があるが、それでは簡易なキャリブレーションを実現できなくなってしまう。この点、本実施例では、今回は平行条件を満たさなくとも一定の精度を確保することができるため、車種に限定されず精度を確保することができる。
【符号の説明】
【００８６】
１０ カメラ
１２ 自車
１４ 画像処理部
１６ 外周形状
１６ａ、１６ｂ フェンダー
１８ 撮像処理
２０ 停車誤差算出処理
２２ 外部パラメータ算出処理
２４ 停車誤差
ＭＡ 測定領域
ＩＭ、ＩＭａ、ＩＭｂ 測定用画像
ＲＬ、ＲＬａ、ＲＬｂ 参照線
ＰＰ 校正用パターン
ＢＡ 俯瞰領域
ＢＩ 俯瞰画像
ＦＰ 車両特徴点
ＯＰ パターン座標原点
ＳＬ 停止基準線
zc 光軸
f 焦点位置
L、X 停車位置誤差
θｚ 停車角誤差
θｃ カメラ設置ズレ角
ＷＤ ウインドウ
ＣＬ 画像中心線
【技術分野】
【０００１】
本発明は、カメラのキャリブレーションをする技術分野に関する。
【背景技術】
【０００２】
カメラで自車の周辺環境を撮像し、必要な画像処理をし、運転者に各種の情報を提供することで、運転を支援する技術が開発されている。運転の支援としては、駐車時等の後方画像の表示や、自動操舵や、自車に接近する車両の検出や、車線逸脱の警報などがある。また、画像処理としては、座標系の変換や、白線認識や、パターンマッチングなどがある。座標系の変換としては、二次元画像の三次元化や、平面図に相当する俯瞰画像の座標系への変換や、距離の算出に適した座標系への変換などがある。
特に、カメラで撮像した画像を俯瞰処理し、運転者に提示すると、車両周辺環境の認識を容易にすることができる。このような座標系の変換をするには、カメラ画像の車両に対する位置を明確かつ正確に測定しておく必要がある。
【０００３】
例えば、バックモニタの場合、画像の上下方向が、車両の進行方向に一致し、かつ、画像での上下方向を向く中心線が車両の中心軸に一致していることが望ましい。このような画像変換処理を行うためには、カメラのキャリブレーションが必要となる。このキャリブレーションでは、レンズ性能を含めたカメラに固有の内部パラメータと、ワールド座標系でのカメラの設置位置及び姿勢を示す外部パラメータとを算出する。カメラを用いるシステムは、内部パラメータを用いてカメラのレンズに起因する歪みを補正し、外部パラメータを用いてカメラの取付誤差（設置位置及び姿勢の誤差）を補正する。
カメラのキャリブレーションでは、例えば、大きさの分かっているパターンを路面に敷き、これを撮像し、画像上でのパターンの位置及び大きさとワールド座標系での実際の位置及び大きさとを対応させることで、ワールド座標系でのカメラの撮像面の座標を算出する手法が知られている（例えば、非特許文献１）。
外部パラメータは、ワールド座標系と、設計上の理想的な取付での位置及び姿勢（回転角度）でのカメラの座標系との対応関係を与えるパラメータ群である。カメラ１０の組付けの位置や角度には、ばらつきが生じることがあり、そして使用中に位置がずれてしまう可能性もある。すると、カメラの外部パラメータは、理想的な設置位置による外部パラメータとは異なる値となる。この場合、カメラ１０の取付誤差を外部パラメータに反映させるか、取付誤差に応じた補正値等を適用しなければ、カメラ座標系とワールド座標系との対応関係が不正確となってしまう。
座標系の対応関係が不正確となると、各種の画像処理がその性能を発揮できなくなる。すると、ドライバへの表示が不適切となり、また、画像の表示が見苦しくなってしまう。
【０００４】
特許文献１には、車両の組立工場や修理工場等において、カメラ１０のキャリブレーションを精度良く実行することを目的として、バックカメラを車両に設置した後、地面に描かれたターゲットを撮像し（段落００４４，００４８）、そして、撮像されたターゲットをディスプレイに表示しつつ目視による手動の操作を促すことで（段落００５２から段落００６５，図５及び図６）、カメラの外部パラメータを、カメラの実際の取付位置及び角度に対応した値へと補正する手法が開示されている（段落００６５）。
そして、この特許文献１には、測定時の車両位置について、ターゲットに対して「所定の相対関係にある位置」に停車させる旨（段落００４７）が開示されている。またこの文献１には、ターゲットとして、所定位置に停車した車両の車体中心を挟んで車幅方向に対向し（段落００４５，図４）、ディスプレイ上では左右対称な位置関係（段落００４９，図５）とする旨が開示されている。
【０００５】
特許文献２には、カメラモジュールの取付誤差の影響を補正して、俯瞰画像を生成する手法が開示されている。具体的には、車両出荷検査時等に、白線が描かれた路面上の所定位置に車両を停車させて、自車に取付られた複数のカメラから当該白線を撮像し、取付誤差が無い場合のテンプレート画像と比較することで（段落００３１，図６）、取付誤差を補正する。これにより、複数のカメラによる各画像の継ぎ目で白線がずれるという不都合の抑制を図っている（段落００６２，図１０）。
【０００６】
特許文献３には、自車の後方を撮像するカメラのキャリブレーションを走行中にも実行可能とすることを目的として、後部バンパの輪郭を調整パターンとしてカメラの設置位置及び設置姿勢の誤差を求める手法（段落００２５，００４２）が開示されている。
【０００７】
特許文献４には、大がかりな環境設備を必要とせずに複数台のカメラのキャリブレーションを実行することを目的として、路面上に複数のパターンを用意しておき、おおよその位置に車両を停止させてパターンを撮像し（段落００１１，００１２）、各画像を俯瞰画像に変換して（段落００３５）、カメラ群のロール角と俯角とを最小二乗法により求めることで（段落００３７，図７及び式３（図５））、パラメータを求めようとする手法が開示されている。この例では、複数の画像の合成に際して（段落００４７）、各カメラの成す角を既知として（段落００６０）、車両に対するカメラ方向を算出しようとしている（段落００６１，図１１，図１２）。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開2005-77107号公報
【特許文献２】特開2006-277738公報
【特許文献３】特開2007-256030号公報
【特許文献４】特開2009-288152号公報
【非特許文献】
【０００９】
【非特許文献１】R. Y. Tsai, “A versatile camera calibration technique forhigh-accuracy 3D machine vision metrology using off-the-shelf tv cameras andlenses.” IEEE Journal of Robotics and Automation, 3(4):323 - 344, Aug. 1987
【発明の概要】
【発明が解決しようとする課題】
【００１０】
上記特許文献１及び２記載の手法では、キャリブレーションによって車両の停車位置及び方向の誤差（停車誤差）を外部パラメータに反映させることができない。従って、目標とする精度で外部パラメータを測定するには、特許文献１及び２記載の手法では、車両の位置に対して校正用パターンの配置位置と角度を精密に合わせなければならない。すると、この作業が実施できる大規模な設備、熟練した技術者、及び多くの作業時間が必須となってしまう。
さらに、車両の走行により取付位置にずれが生ずる可能性もある。キャリブレーションに大規模な設備を必要とすると、車両の移動容易な近隣の比較的小規模な設備ではキャリブレーションの実施不能となってしまう。
すなわち、上記特許文献１及び２手法の記載では、車両の近隣で簡易にキャリブレーションを実行することができない、という不都合があった。
上記特許文献２及び４には、俯瞰画像を用いる手法が開示されているが、理想的な取付パラメータからの修正の方法であって、修正は処理画像のシフトまたは回転のみであり、そして、キャリブレーションの実施には大規模な設備が必要となってしまう。
上記特許文献３記載の手法では、画像中自車が撮像される部分に基づいてキャリブレーションを実行するため、画像の中心から上部など、画像処理及び運転者への情報提供で重要な領域をキャリブレーションの対象外としてしまう。すなわち、上記特許文献３記載の手法では、カメラ画像の下部周辺領域を使ってキャリブレーションを行うことになり、車両後方を監視する用途のカメラでは一般的な、歪の大きなカメラを用いた場合、歪パラメータのわずかなずれが、キャリブレーション精度に影響する。
また、上記特許文献４記載の手法では、車両をおおよその位置に停車させつつも（段落００２９）、停車位置と設置パターンとの関係を測定していないため、設置パターンに対する車両の停車誤差が、カメラの設置誤差に混入してしまう。すなわち、特許文献４の図３に示されるフローチャートの各工程に示される処理をしても、設置パターンの座標系に対して、車両の停車位置が傾いているのか、車両に設置されたカメラが傾いているのかを区別することができず、車両の停車誤差がカメラの取付誤差に含まれてしまう。特に、本文献の図１１に示されるθyawc2の測定法、算出法は何ら開示されていない。
そして、この特許文献４には、単一のカメラについて車両の停車誤差を除外してカメラの取付誤差を外部パラメータに反映させる手法は、なんら開示されていない。
【００１１】
［課題１］このように、上記従来例では、精度の高いキャリブレーションを簡易に実施することができない、という不都合があった。
［課題２］さらに、上記従来例では、単一のカメラにて車両の停車誤差を除外して当該カメラの取付誤差のキャリブレーションをすることができない、という不都合があった。
【００１２】
［発明の目的］本発明の目的は、車両の停車誤差の影響を排除できるキャリブレーションを簡易な設備で実施することにある。
【課題を解決するための手段】
【００１３】
［着眼点］本発明の発明者は、車両の停車誤差を取り除きつつ、路面に設置するパターンでキャリブレーションをすることができれば、キャリブレーション時の作業負担を軽減し、小規模な設備で精度の高いキャリブレーションをすることができる、という点に着目した。そして、路面に設置するパターンの座標系と、車両を設置した座標系との関係をキャリブレーションに反映させる手法を工夫することで、上記課題を解決できるのではないか、との着想に至った。
【００１４】
［課題解決手段１］ 本発明は、車外環境を撮像するカメラを有する自車が所定方向に停車する測定領域と、前記カメラで撮影する測定用画像に基づいて前記カメラのキャリブレーションを実行する画像処理部とを備えている。
そして、前記測定領域は、前記自車の形状に対応した２点と交わる線を含み、当該カメラの撮像範囲内となる前記測定領域に少なくとも２本配置される参照線と、前記測定領域内で前記２本の前記参照線の間に予め定められたパターン形状を有する校正用パターンとを備えている。
さらに、本発明は、前記画像処理部が、前記カメラで前記校正用パターン及び前記参照線が配置される測定領域を撮影することで前記測定用画像を生成する撮像処理と、前記２本の前記参照線に基づいて前記自車の停車位置と前記パターン形状との座標関係を停車誤差として算出する停車誤差算出処理と、当該停車誤差をキャンセルした状態で前記パターン形状に基づいて前記カメラの取付姿勢に対応する外部パラメータを算出する外部パラメータ算出処理とを備えた、という構成を採っている。
これにより、上記課題１及び２を解決した。
【発明の効果】
【００１５】
本発明は、本明細書の記載及び図面を考慮して各請求項記載の用語の意義を解釈し、各請求項に係る発明を認定すると、各請求項に係る発明は、上記背景技術等との関連において次の有利な効果を奏する。
【００１６】
［発明の作用効果１］ 課題解決手段１のカメラキャリブレーション装置は、予め定められたパターン形状を有する校正用パターンの両側に、少なくとも２本の参照線が配置され、この参照線は、自車の形状に対応した２点と交わる線である。このため、撮像処理が、前記校正用パターン及び前記参照線が配置される測定領域を撮影することで前記測定用画像を生成すると、この測定用画像中の参照線は、自車の形状に対応した２点と交わる線であり、従って、自車の停車方向と関係している。
画像処理部の停車誤差算出処理は、この関係を利用して、この２本の参照線に基づいて前記自車の停車位置と前記パターン形状との座標関係を停車誤差として算出する。そして、外部パラメータ算出処理は、停車誤差をキャンセルした状態で前記パターン形状に基づいて前記カメラの取付姿勢に対応する外部パラメータを算出する。従って、校正用パターンを自車の停車方向に対して厳密に平行等の方向に設置しなくとも、逆に、校正用パターンに対して厳密な方向で停車しなくとも、停車誤差の影響を除外して外部パラメータを算出することができる。
従って、車両の停車誤差の影響を排除できるキャリブレーションを簡易な設備で実施することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の一実施形態の構成例を示すブロック図である。
【図２】本実施例で使用する校正用パターンの一例を示す説明図である。
【図３】本実施例での自車の形状の一例を示す斜視図である。
【図４】図４（Ａ）及び（Ｂ）は本実施例での各種座標系の一例を示す説明図である。
【図５】本実施例にて自車が測定領域に停車した状態の位置関係の一例を示す説明図である。
【図６】図５に示す例での停車角誤差及び停車位置誤差の一例を示す説明図である。
【図７】図５に示す例での俯瞰画像となる領域の一例を示す説明図である。
【図８】図７に示す例にて初期の外部パラメータにて撮像した画像を俯瞰画像とした一例を示す説明図である。
【図９】図８に示す俯瞰画像に対して校正用パターンを基準として補正した一例を示す説明図である。
【図１０】図９に示す俯瞰画像を参照線に基づいて補正することで停車角誤差を求める一例を示す説明図である。
【図１１】図５に示す例にてカメラ設置ズレ角がある場合の一例を示す説明図である。
【図１２】図１１に示す例にて初期の外部パラメータにて撮像した画像を俯瞰画像とした一例を示す説明図である。
【図１３】図１２に示す俯瞰画像に対して校正用パターンを基準に補正した一例を示す説明図である。
【図１４】図１３に示す俯瞰画像を参照線に基づいて補正することで停車角誤差を求める一例を示す説明図である。
【図１５】図１５に示す停車角誤差をキャンセルしてカメラ設置角誤差を外部パラメータに反映させる俯瞰画像の一例を示す説明図である。
【図１６】本実施例でのキャリブレーション方法の工程例を示すフローチャートである。
【図１７】図１７（Ａ）及び（Ｂ）は参照線の対称性を利用して停車誤差を算出する一例を示す説明図である。
【図１８】本実施例での測定用画像を取得する処理例を示すフローチャートである。
【図１９】本実施例にて停車誤差を算出する処理例を示すフローチャートである。
【図２０】図２０（Ａ）及び（Ｂ）は本実施例にて参照線の対称性となる相関係数が小さい一例を示す説明図である。
【図２１】図２１（Ａ）及び（Ｂ）は本実施例にて参照線の対称性となる相関係数が大きい一例を示す説明図である。
【発明を実施するための形態】
【００１８】
発明を実施するための形態として、１つの実施例を開示する。
【実施例】
【００１９】
＜1 キャリブレーション方法及び装置＞
＜1.1 車両側方の参照線＞
ここで、本実施形態の実施例を開示する。本実施例は、カメラ１０のキャリブレーションを簡易な設備で簡易に実施するために、自車１２の停車位置を厳密とすることなく外部パラメータを測定可能なキャリブレーションの技術に関する。
【００２０】
カメラキャリブレーション装置は、その主要な要素として、画像処理部１４と、測定領域ＭＡとを備えている。測定領域ＭＡは、校正用パターンＰＰと、少なくとも２本の参照線ＲＬとを有する。そして、画像処理部１４は、撮像処理１８と、停車誤差算出処理２０と、外部パラメータ算出処理２２とを備えている。
【００２１】
図１を参照すると、自車１２は、車外環境を撮像するカメラ１０を有し、測定領域ＭＡにて所定方向に停車する。本実施例では、この停車に際して、予め定められた方向に対して同一方向に精密に停車をする必要はない。
【００２２】
校正用パターンＰＰは、前記測定領域ＭＡ内で参照線ＲＬの間に配置される。パターン形状としては、例えば、図２に示す同一の大きさの矩形パターンを白黒で交互に並べた市松模様を採用することができる。この市松模様の矩形の一辺の長さを定めておくと、測定用画像ＩＭ中にワールド座標系(x, y, z)での実際の長さの情報を得ることができるため、カメラ１０の内部パラメータ及び外部パラメータの算出基準とすることができる。その他、本実施例では、キャリブレーションの方式に応じて、市松模様以外の様々なパターン形状も採用することができる。
そして、校正用パターンＰＰ（パターンマット）の原点（パターン座標原点ＯＰ）を中心とする二次元の直交座標をパターンマット座標系(xp, yp)とする。
【００２３】
参照線ＲＬは、前記自車１２の形状に対応した２点と交わる線を含み、当該カメラ１０の撮像範囲内に少なくとも２本配置する。図１に示す例では、参照線ＲＬとして、自車１２の左右の側面形状に対応した左右に２本の直線としている。この参照線ＲＬは、自車１２の外周形状１６にて予め定められた２点の位置に応じた線であり、自車１２の外周形状１６に対応しつつ、自車１２の中心軸で対称ではあるが、平行ではない関係となっている。
すなわち、図示する例では、カメラ１０の撮像方向は図中上下方向の上向きとなっており、参照線ＲＬは、この上向き方向より若干図中左右の外側に広がっている。すなわち、２本の参照線ＲＬは、平行としても良いが、平行とする必要はない。
【００２４】
カメラ１０が後方を撮像する例では、撮像方向は自車１２の後方であり、自車１２の外周形状１６は自車１２の左右側面で、参照線ＲＬは車長方向に延びる。
カメラ１０が側方を撮像する例では、撮像方向は自車１２の側方であり、自車１２の外周形状１６は自車１２の前後となり、参照線ＲＬは車幅方向に延びる。
【００２５】
そして、図１に示す例では参照線ＲＬを直線としているが、全体を曲線としても良いし、一部を直線とすることもできる。全体又は一部を直線とすると画像処理による自動化を図りやすく、一方測定用画像ＩＭが左右に広い場合などは曲線とすることで撮像範囲の全体を使った補正をすることができる。
参照線ＲＬは、画像処理により停車誤差２４を決定するものであるため、カメラ１０で撮像される測定用画像ＩＭで明瞭に認識できるものであることが望ましい。画像処理に際して２値化する場合は、路面（背景）に対して反対の輝度をもつ材料で直線を引くと良く、光線、テープ、又は棒など路面との輝度差が生ずるものであれば、様々な部材を採用することができる。また、カメラ１０の解像度に対して細すぎる線ではカメラ１０に写らなくなるため、ある程度の太さが必要となる。
【００２６】
この参照線ＲＬを車両前後方向に引く場合、自車１２の側面の外周形状１６は車両中心軸に対して対称になっているため、車体側面の外周形状１６，例えばフェンダー１６ａ，１６ｂを基準として直線を引くと良い。
図３を参照すると、参照線ＲＬとして、自車１２の前後フェンダー１６ａ，１６ｂを基準として、これを延長する直線を採用することができる。フェンダー１６ａ，１６ｂは、車両の最大幅となっていることが多く、平面部分があり測定容易である。また、フェンダー１６ａ，１６ｂではなく、タイヤ、ホイールとしても良いが、その場合、ステアリングを直進方向としておく必要がある。
【００２７】
測定に際しては、例えば、建築用のレーザー墨出し器などを活用し、測定した位置の真下地面に印をつけ、前後のフェンダー１６ａ，１６ｂ等で測定し決定した印を何らかの部材で結び、自車１２の後方へ引き伸ばすと良い。直線とする引き伸ばしには、長い棒を使うか、レーザー墨出し器で直線を延ばし、それに沿ってテープ、棒、ロープなどを設置すると良い。
レーザー墨出し器は、地面に垂直な平面方向にレーザー光を出力するため、これと車体側面がちょうど当たるように墨出し器の位置を調整し、その地墨点に印をする。
【００２８】
このようなレーザー墨出し器でなくとも、車体側面測定位置の真下の地面に印がつけられる道具であれば活用できる。例えば、糸におもりを吊り下げて鉛直真下を計る道具（大工道具の下げ振）や、地面が水平で平らであれば、地面から垂直上向きに棒を立てて、側面に当たる場所を測定することもできる。
また、前後方向の測定位置は左右でほぼ同じにする必要があるところ、フェンダー１６ａ，１６ｂのような平らな面がある場所を使うと、それほど精密な測定とせずに一定の精度を確保することができる。
【００２９】
そして、画像処理部１４は、前記カメラ１０で撮影する測定用画像ＩＭに基づいて前記カメラ１０のキャリブレーションを実行する。画像処理部１４では、まず、撮像処理１８が、前記カメラ１０で前記校正用パターンＰＰ及び前記参照線ＲＬが配置される測定領域ＭＡを撮影することで、前記測定用画像ＩＭを生成する。
【００３０】
停車誤差算出処理２０は、前記２本の前記参照線ＲＬに基づいて前記自車１２の停車位置と前記パターン形状との座標関係を停車誤差２４として算出する。すなわち、停車誤差算出処理２０は、校正用パターンＰＰの方向や位置を基準とした際の理想的な方向及び位置で自車１２を停車させなくとも、校正用パターンＰＰのパターン形状に対する自車１２の停車方向及び位置についての誤差（停車誤差２４）を算出することができる。
【００３１】
外部パラメータ算出処理２２は、当該停車誤差２４をキャンセルした状態で前記パターン形状に基づいて前記カメラ１０の取付姿勢に対応する外部パラメータを算出する。すなわち、外部パラメータ算出処理２２は、停車誤差２４の影響を排除しつつ、パターン形状を基準としてカメラ１０の取付姿勢をキャリブレーションし、その結果を外部パラメータとして算出する。
【００３２】
この外部パラメータを用いると、カメラ１０の取付姿勢の理想状態からの誤差の影響を排除した画像を生成すると共に、当該画像に撮像された対象物等の例えばワールド座標系(x, y, z)での実際の座標値などを精度良く算出することができる。
そして、本実施例では、このキャリブレーションを実行するに際して、自車１２を校正用パターンＰＰに対して精密な位置に停車させる必要がないため、大規模な設備を使用することなく、参照線ＲＬを配置可能な通常の駐車スペースを使用して外部パラメータを算出することができる。また、複数のカメラ１０を使用せず、単一のカメラ１０について停車誤差２４を除外して取付誤差を算出することができる。
【００３３】
このように、本実施例では、自車１２の形状に対応した２点と交わる参照線ＲＬと校正用パターンＰＰとを比較することで画像処理により停車誤差２４を算出した後に、この停車誤差２４の影響を除去した状態で取付誤差のキャリブレーションを実行することにより、精度の高いキャリブレーションを簡易に実行することができる。
【００３４】
これを詳細に説明する。
本実施例では、まず、車載するカメラ１０について、別途、内部パラメータと歪パラメータを測定しておく。内部パラメータはカメラ１０のレンズ系等の影響を補正するものでカメラ１０に固有のパラメータであり、カメラ１０の取付姿勢とは無関係である。歪みパラメータは、例えば、広角レンズなど非線形の状態を表すパラメータであり、内部パラメータと一体化しても良い。
【００３５】
そして、図１に示すように、カメラ１０が撮影可能な自車１２の周囲に校正用パターンＰＰを配置する。校正用パターンＰＰの配置は、本実施例では、車両の進行方向などの基準に対して精密とする必要はないが、ある程度揃えておくことが望ましい。
図２に示すように、校正用パターンＰＰは、市松模様とすることができ、市松模様の白黒の交点（格子点）の位置及び格子点間の距離はパターンマット座標系（xp, yp）で表される。
図３に示すように、自車１２の外周形状１６として、フェンダー１６ａ，１６ｂを採用することで、簡易に参照線ＲＬを設置することができる。
【００３６】
図４にカメラ１０がバックカメラである場合の座標系の関係例を説明する。
図４（Ａ）に示すように、ワールド座標系(x, y, z)は、地面上にxy平面をとり、車両軸後方をy軸、鉛直上向きをz軸、y-z面に垂直な車両横幅方向にx軸をとる。ワールド座標系(x, y, z)の原点は、車両後端中心とする。
図４（Ｂ）に示すように、カメラ１０の画像素子上に俯瞰画像座標系(u, v)を定義する。カメラ座標系(xc, yc, zc)は焦点位置fを原点として光軸方向がzc軸となるようにとる。座標系としては、図４に示す他、図２に示すパターンマット座標系(xp, yp)がある。
【００３７】
図５に示すように、本実施例では、パターン座標原点ＯＰと車両特徴点ＦＰ（例えば、バックカメラであれば自車１２の最後端等）との水平距離を停車誤差２４（停車位置誤差L, X）として測定する。この測定は、画像処理により測定しても良いが、人手による測定が簡易である。なお、パターンの座標原点ＯＰと車両特徴点ＦＰの水平位置とを一致させて配置させた場合、停車位置誤差L（水平距離）はゼロとなる。
なお、Ｌはワールド座標原点を車体後端中央に設定するために使用するパラメータであるので、画像処理からＬを算出する場合、パターンマット座標系におけるカメラ位置(x,y)のyに、車体後端中央とカメラ取り付け位置の水平距離のy軸成分を加えたものをＬとして設定する。
【００３８】
さらに、自車１２の形状と関連する少なくとも２本の参照線ＲＬを床に描くなどして、カメラ１０から撮影できるようにする。例えば、車体の側面の前後2箇所を結ぶ直線を床に引く。上述のように、この2本の参照線ＲＬとなる直線は、平行である必要はないが、自車１２の中心軸に対して対称とするなど、自車１２の前後方向との関係を維持する方向で配置すると良い。また、直線ではなく、曲線としても良い。
【００３９】
そして、カメラ１０で、校正用パターンＰＰと、２本の参照線ＲＬを撮影する。校正用パターンＰＰと参照線ＲＬは同時に撮影する必要はなく、別々に撮影しても良い。
本実施例では、校正用パターンＰＰを撮像した測定用画像ＩＭから、カメラ１０の外部パラメータを計算する。
【００４０】
また、参照線ＲＬを対称とする例では、停車誤差算出処理２０は、前記測定用画像ＩＭ中の前記カメラ１０の撮像方向を中心とした前記少なくとも２本の前記参照線ＲＬの対称性に基づいて前記停車誤差２４を算出する処理を備えると良い。この処理により、測定用画像ＩＭ中の２本の参照線ＲＬが対称となるまで画像処理による変換を繰り返し、対称となった際のそれまでの変換量から、停車誤差２４を求めることができる。
【００４１】
次に、停車誤差２４を、停車角誤差θzと、停車位置誤差L，Xとに分けて、停車角誤差θzを参照線ＲＬから求める手法を図６から図１５を参照して説明する。この例では、この停車角誤差θzを除去する補正をした上で、カメラ１０の取付誤差であるカメラ設置角誤差θcの影響を反映させた外部パラメータを算出する。
【００４２】
図６から図１０はカメラ設置角誤差θcを０とした説明用の例で、図１１から図１５はカメラ設置角誤差θcがある場合の例である。
【００４３】
図６を参照すると、停車誤差２４は、パターンマット座標系(xp, yp)とワールド座標系(x, y, z)との間の誤差であり、停車誤差２４のうち停車角誤差θzは、パターンマット座標系のyp軸(xp軸)とワールド座標系のy軸(x軸)との成す角である。
図６から図１５に示す例では、説明を簡易とするために、参照線ＲＬをワールド座標系(x, y, z)のy軸と平行とした。停止基準線ＳＬはパターンマット座標系(xp, yp)のyp軸と平行であり、自車１２の理想的な停止位置の基準となる線である。図６に示す例では、参照線ＲＬをy軸と平行としたため、参照線ＲＬと停止基準線ＳＬとの成す角は停止角誤差θzとなる。
また、測定用画像ＩＭを対象とする画像処理により停車誤差２４等を算出することもできるが、ここでは、本実施例の利点を簡易に説明するために俯瞰画像ＢＩを対象とする画像処理例を説明する。
【００４４】
図７に示すように、ワールド座標系(x, y, z)に俯瞰領域ＢＡを定める。そして、画像処理部１４は、測定用画像ＩＭの座標値を変換することで俯瞰画像ＢＩを生成することができる。画像処理部１４は、例えば、測定用画像ＩＭに撮像されている校正用パターンＰＰ等のワールド座標系(x, y, z)での高さ（y軸の値）を０と仮定しつつ、x, yの座標を俯瞰座標系(u, v)の座標に対応させて、対応させた測定用画像ＩＭの座標値（濃淡値）を俯瞰画像ＢＩの座標値とする。すると、図８に示すような俯瞰画像ＢＩを得ることができる。ここでは、停車誤差２４の算出又は除去を、俯瞰画像ＢＩに対する画像処理として説明するが、座標値の対応関係を用いて測定用画像ＩＭに対して直接に処理することもできる。
【００４５】
図８に示す俯瞰画像ＢＩでは、カメラ１０の光軸zcと平行なワールド座標系のy軸に対して、校正用パターンＰＰのyp軸が傾いている。校正用パターンＰＰの配置位置及び角度を基準とすると、自車１２の停車方向が理想値から傾いてしまっている。自車１２の停車位置を基準とすると、校正用パターンＰＰを傾けて配置してしまっている。
この停車誤差２４のうち停車角誤差θzは、カメラ１０の取付角度の誤差に起因するものではない。一方、この停車誤差２４を取り除かずにカメラ１０の取付誤差に関するキャリブレーションを実行すると、この停車誤差２４に起因する画像の回転及び並進の誤差をもカメラ１０の取付誤差に含めてしまうことになる。すなわち、停車誤差２４があると、カメラ１０の取付誤差についてのキャリブレーションを正確に実行することができなくなる。すなわち、停車誤差２４の影響を排除できないままのキャリブレーションでは、カメラ１０の外部パラメータを正確に算出することができない。
【００４６】
図９に、校正用パターンＰＰを基準として俯瞰画像ＢＩを補正した例を示す。俯瞰画像ＢＩは、反時計回りに回転する。この補正により、u軸とyp軸とが平行となる。図示するように、自車１２の前後方向と平行な参照線ＲＬと、yp軸と平行な停止基準線ＳＬとの成す角は停止角誤差θzと等しい。
【００４７】
図１０に、俯瞰画像ＢＩを参照線ＲＬに基づいて補正した一例を示す。校正用パターンＰＰで補正した俯瞰画像ＢＩを基準として、参照線ＲＬが俯瞰座標系(u, v)のu軸と平行となるまで回転させると、その回転角は停車角誤差θzとなる。参照線ＲＬが自車１２の前後方向と平行でなくとも、自車１２の前後方向の軸を中心に対象であれば、俯瞰画像ＢＩ上で対称となるまで回転させることで、停車角誤差θzを求めることができる。
このように、停車誤差算出処理２０は、前記２本の前記参照線ＲＬに基づいて前記自車１２の停車位置とパターン形状との座標関係を停車角誤差θzとして算出することができる。
【００４８】
それでは、図１１から図１５を参照して、カメラ設置ズレ角θcのある通常の場合を例として、参照線ＲＬを使用した画像処理の内容を説明する。
カメラ設置ズレ角θcは、バックカメラの場合、自車１２の中心軸（ワールド座標系のy軸）に平行な線とカメラ１０の光軸zcとの成す角である。
【００４９】
図１１を参照すると、カメラ設置ズレ角θcがある際には、カメラ１０の光軸zcはワールド座標系のy軸に対して傾くため、その角度分、自車１２に対して測定領域ＭＡが傾く。この状態で測定用画像ＩＭを撮像すると図１２に示す角度関係の俯瞰画像ＢＩとなる。
図中、直線ya及び直線xaはカメラ座標系(zc, yc, zc)の原点を通り、それぞれワールド座標系のy軸及びx軸と平行な直線である。従って、光軸zcと直線yaとの成す角はカメラ設置ズレ角θcである。
【００５０】
図１２を参照すると、俯瞰画像ＢＩのu軸とカメラ１０の光軸zcとが平行である。ワールド座標系のy軸は、u軸に対してカメラ設置ズレ角θcのマイナス分傾き、パターンマット座標系のyp軸はさらに停車角誤差θz分傾く。結局、カメラ設置ズレ角θcが逆向きになることを考慮すると、u軸に対してパターンマット座標系のyp軸は-(θz-θc)分傾く。
図１２に示す例では、y軸と参照線ＲＬとが平行であるため、参照線ＲＬとu軸に平行な線との成す角はカメラ設置ズレ角θcと等しい。
図１２中、直線ＵＬａはカメラ座標系の光軸zcと平行な直線で、図１２に示す状態ではu軸と平行であり、参照線ＲＬとの成す角がカメラ設置ズレ角θcである。
【００５１】
図１３に示すように、図１２に示す俯瞰画像ＢＩに対して、校正用パターンＰＰに基づいた補正をすると、u軸とyp軸とが平行となる。直線ＵＬｂはyp軸と平行な直線で、図１３に示す例ではu軸と平行であり、参照線ＲＬとの成す角は停車角誤差θzである。
そして、図１３に示す俯瞰画像ＢＩを対象として、参照線ＲＬに基づいた補正をすると、図１４に示すように、u軸とy軸とが平行となる。この参照線ＲＬに基づいた補正の補正角度（回転角）は、停車角誤差θzとなる（停車誤差算出処理２０）。
【００５２】
図１５に示すように、求めた停車角誤差θzを俯瞰画像ＢＩからキャンセルすると、カメラ１０の光軸zcとy軸とが平行となる。そして、yp軸とy軸との成す角はカメラ設置ズレ角θcとなる。このため、外部パラメータ算出処理２２が、図１５に示す俯瞰画像ＢＩを対象として、校正用パターンＰＰに基づいて外部パラメータＤを算出すると、その外部パラメータＤは、停車角誤差θzに影響されず、一方、カメラ設置ズレ角θcの影響を反映させたパラメータとなる。
【００５３】
続いて、図１６を参照して本実施例のキャリブレーションの方法を説明する。
まず、車外環境を撮像するカメラ１０が取付られた自車１２を予め定められた測定領域ＭＡにて所定方向に停車させる（ステップＳ１，停車工程）。例えば、図１１に示す状態で自車１２を停車させる。
次に、前記自車１２の形状に対応した２点と交わる線を、参照線ＲＬとして、前記カメラ１０の撮像範囲内となる前記測定領域ＭＡに少なくとも２本配置する（ステップＳ２，参照線配置工程）。図１１に示す例では、参照線ＲＬは自車１２の外周形状１６と関係し、前後方向の中心を中心軸として対称となっている。
そして、前記測定領域ＭＡ内で前記２本の前記参照線ＲＬの間に予め定められたパターン形状を有する校正用パターンＰＰを設置すると共に当該校正用パターンＰＰと前記参照線ＲＬとを撮影することで測定用画像ＩＭを生成する（ステップＳ３，撮像工程）。図１２に示す例では俯瞰画像ＢＩとしているが、測定用画像ＩＭは図１２に示す角度の関係を有する画像となる。
さらに、前記測定用画像ＩＭに基づいて前記カメラ１０のキャリブレーションを実行する（ステップＳ４からＳ６，画像処理工程）。
この画像処理工程は、まず、前記２本の前記参照線ＲＬに基づいて前記自車１２の停車位置と前記パターン形状との座標関係を停車誤差２４として算出する（ステップＳ４）。例えば、図１３に示すような校正用パターンＰＰを基準として補正を測定用画像ＩＭ（図示せず）に対して行い、これを基準としてさらに図１４に示すような参照線ＲＬに基づく補正をすることで、校正用パターンＰＰと参照線ＲＬとの間の誤差（回転角や並進量）を停車誤差２４とすることができる。
この停車誤差２４の算出では、校正用パターンＰＰで補正をした図１７（Ａ）に示す参照線ＲＬが画像中心線ＣＬを基準に非対称の状態から、図１７（Ｂ）に示すように対象となるまでの回転角を停車角誤差θzとすることができる。
次に、図１５に示すように、当該停車誤差２４をキャンセルし（ステップＳ５）、この状態で前記パターン形状に基づいて前記カメラ１０の取付姿勢に対応する外部パラメータを算出する（ステップＳ６）。
画像処理工程は、測定用画像ＩＭを直接の対象として停車誤差２４の算出をする他、停車誤差２４の算出をし易い座標系への変換をしてから、停車誤差２４を求めるようにしても良い。
【００５４】
・1.1 車両側方の参照線の効果
上述のように、本実施例では、少なくとも２本の参照線ＲＬからカメラ座標の外部パラメータＤを求めるため、車体と校正用パターンＰＰの正確な位置合わせが不要となり小規模の設備で迅速に校正することができる。すなわち、校正用パターンＰＰと2本の参照線ＲＬを用いると、校正用パターンＰＰの精密な配置を不要とすることができる。
そして、2本の参照線ＲＬを自車１２の車体中心軸に対して対称とすると、車体軸を使用した校正と同じ効果を得ることができる。
また、参照線ＲＬを撮像した測定用画像ＩＭを俯瞰処理し、画面中心に対称とすると、画像処理により外部パラメータＤを決定することができる。
さらに、車両特徴点ＦＰと校正用パターンＰＰのパターン座標原点ＯＰの距離を測定することで、校正用パターンＰＰの精密な配置を不要とすることができる。
このように、参照線ＲＬを用いて停車誤差２４を求めるため、小規模な設備でも精度の良いキャリブレーションを実行することができる。
【００５５】
＜1.2 俯瞰画像で補正処理＞
次に、俯瞰画像ＢＩでの参照線ＲＬの対称性に基づいて停車誤差２４を算出する例を説明する。この例では、パターンマット座標系(xp, yp)をワールド座標系(x, y, z)に変換する座標系変換行列に、停車誤差２４である停車角誤差θzと停車位置誤差L, Xの値を反映させることで、停車誤差２４をキャンセルしつつ外部パラメータＤを求める。
【００５６】
この例では、前記停車誤差算出処理２０は、前記測定用画像ＩＭを俯瞰画像ＢＩに変換すると共に、当該俯瞰画像ＢＩ中の前記少なくとも２本の前記参照線ＲＬの対称性に基づいて前記停車誤差２４を算出する処理を備えている。この停車誤差算出処理２０は、例えば、俯瞰画像ＢＩにて参照線ＲＬが対称となるまで回転や移動などの画像処理を繰り返し、対称となった際にそれまでの回転量や移動量を俯瞰画像ＢＩの座標系での停車誤差２４とすることができる。
停車誤差算出処理２０のこの処理は、図１６に示す例では、ステップＳ４にて実行すると良い。
【００５７】
座標系を関連させるために従来から多用されるピンホールカメラモデルでは、カメラ座標系(xc, yc, zc)と俯瞰画像座標系(u, v)との関係は、次式(1a)で表される。
【００５８】
【数１】
【００５９】
但し、sは任意のスケールファクターである。
ここで、式(1b)に示す行列Aが個別のカメラ１０に固有のパラメータとなっており、内部パラメータＡと呼ぶ。
実際のカメラ１０には、歪が存在するため、歪のない俯瞰画像座標系(u, v)と現実に得られる歪のある画像座標(ud, vd)の関係式を導入する。例えば、放射歪曲で４次の項まで考慮した場合は、原点(u0, v0)からの距離をr、各次数の計数をk1, k2とすると、次式（2）となる。
【００６０】
【数２】
【００６１】
そして、基準となるワールド座標系(x, y, z)とカメラ座標系(xc, yc, zc)の関係式は、次式(3a)となる。ここで次式(3b)に示す行列Ｄは、座標系の位置関係によって決まるパラメータであり、外部パラメータＤと呼ぶ。
【００６２】
【数３】
【００６３】
続いて、停車位置誤差X, Lと、停車角誤差θzとが０でない場合に適用すべき、パターンマット座標系からワールド座標系への変換行列Ｐは、次式(4a)となる。
具体的には、図１５に示す停車角誤差θzを次式(4b)に与え、図６に示す停車位置誤差X, Lを次式(4c)及び次式(4d)に与えて、パターンマット座標系からワールド座標系への変換行列Ｐを得る。
但し、Rz, Tx, Tyはそれぞれz軸周りの回転行列、x軸方向の並進行列、y軸方向の並進行列である。
【００６４】
【数４】
【００６５】
なお、式4、図６等に示す停車位置誤差X，Ｌ及び停車角誤差θzからパターンマット座標系からワールド座標系への変換行列Ｐの算出について、並進と回転の順序を逆にするなど算出の手順を変えても良い。その際は、式４のパターンマット座標系からワールド座標系への変換行列Ｐの算出手順においてもその変更に合わせて回転と並進行列の順序を適切に入れ替えれば同じ結果を得ることができる。
たとえば、車両特徴点ＦＰとの水平距離Ｌの計測について、図６に示したように車両特徴点ＦＰから車両軸に沿った距離を計測する代わりに、x軸との距離を計測した場合は、停車位置誤差X, Lを決定する際の俯瞰パラメータでy=0としていたのを、y=-Lとして、X,θzのパラメータ停車位置誤差X, Lを決定し、パターンマット座標系からワールド座標系への変換行列の算出は、x,y軸の並進→回転の順に変更すれば同じ結果を得ることができる。
【００６６】
カメラキャリブレーションの手順は次の通りとなる。
図１８を参照すると、まず、自車１２を測定領域ＭＡに停車する（ステップＳ１１）。そして、自車１２の車両後方に図２に示す市松模様の校正用パターンＰＰ（パターンマット）を敷く。市松模様のパターンはひとつ50 [cm] 四方で、4 x 4 個程度となる。そして、外部パラメータＤを算出するため、校正用パターンＰＰと自車１２の後端との水平距離Ｌを人手により測定する（ステップＳ１２）。続いて、カメラ１０で校正用パターンＰＰが設置された測定領域ＭＡを撮影し、第１の測定用画像ＩＭａとする。さらに、この測定用画像ＩＭａの広角歪みを補正する（ステップＳ１３）。
【００６７】
そして、カメラ１０のキャリブレーション（ステップＳ２１，Ｓ２２）に前後して、参照線ＲＬを配置して撮影する（ステップＳ１４）。参照線ＲＬは、自車１２の車両両側面で前後2箇所の位置を計測し、その2点を結んだ直線を車両後方へ延ばし、テープ、ロープなどで撮影可能なものとする。2本の参照線ＲＬは、車両軸に対して左右対称なものとなる。
この測定用領域を撮影して第２の測定用画像ＩＭｂとし、広角歪みを補正する（ステップＳ１５）。
【００６８】
図１９を参照すると、まず、測定用画像ＩＭａに基づいてカメラ１０のキャリブレーションを実行する（ステップＳ２１）。このキャリブレーションでは、まず、校正用パターンＰＰの格子点の位置を抽出する。各格子点の位置とそれに対応するパターンマット座標系(xp, yp)での座標値、およびカメラ１０の内部パラメータＡから、カメラ外部パラメータＤを仮に算出する（ステップＳ２２）。ここでは、停車誤差２４の影響を排除しない状態で、外部パラメータＤを仮に算出している。
そして、求まった仮の外部パラメータＤ (Rx, Ry, Rz, Tx, Ty, Tz)からパターンマット座標系(xp, yp)に対応する俯瞰画像ＢＩを得ることができる（ステップＳ２３）。
【００６９】
次に、参照線ＲＬを撮像した測定用画像ＩＭｂに対して、ステップＳ２２で求めた外部パラメータＤを用いて、俯瞰画像処理を加える。俯瞰画像処理のパラメータは、パターンマット座標系(xp, yp)に対して、x=0、y=0、θx=-180度、θy=0度、 θz=0度、 zの位置は参照線ＲＬが画面内に写るところとする。つまり、俯瞰画像用の仮想カメラを、パターンマット座標系(xp, yp)のxp-yp面に直行するのzp軸上に鉛直下向きに置く。これにより、車両後端中心の鉛直上方に鉛直下向きに仮想カメラを置いた画像が得られるようになる。
【００７０】
そして、図１７に示すように、俯瞰画像ＢＩで、停車位置誤差X, Lと停車角誤差θzの値を変化させて、2本の参照線ＲＬが俯瞰画像ＢＩ上で左右対称になるようにする（ステップＳ２４）。俯瞰画像ＢＩで２本の参照線ＲＬが左右対称となるということは、自車１２の中心軸を俯瞰画像座標系のu軸と平行で、俯瞰画像ＢＩでの中心を通る直線とほぼ一致させたと判断できる。この参照線ＲＬが左右対称となった際の停車位置誤差X,
Lと停車角誤差θzは、自車１２の停車方向を基準とするワールド座標系(x, y, z)のy軸と、パターンマット座標系(xp, yp)のyp軸との俯瞰画像ＢＩ上での成す角で、自車１２の校正用パターンＰＰに対する停車誤差２４から導かれる値である。
【００７１】
次に、求まった停車位置誤差X, Lのうち垂直距離Xを-1倍した値と、先に測定しておいた水平距離Ｌと、停車角誤差θzとをパラメータとして、パターンマット座標系からワールド座標系への変換行列Ｐ（式(4)）を算出する（ステップＳ２５）。
このパターンマット座標系からワールド座標系への変換行列Ｐをパターンマット座標系(xp, yp)の格子点座標データに掛けると、各格子点のワールド座標系(x, y, z)での座標値が求まる（ステップＳ２６）。
パターンマットの格子点の俯瞰画像ＢＩ上での位置データと、ワールド座標系で対応する格子点の座標値データとを用いて、再度キャリブレーションを行う（ステップＳ２７）。ここで算出される外部パラメータＤが求めるべき外部パラメータＤとなる。このステップＳ２７で算出される外部パラメータＤは、パターンマット座標系からワールド座標系への変換行列Ｐに与えられた停車位角誤差θz等の値に応じて停車誤差２４の影響がキャンセルせれ、一方、カメラ１０の取付誤差の影響を補正できるパラメータ値となる。
【００７２】
このように、本実施例では、まず、カメラ１０で、校正用パターンＰＰ(第１の測定用画像ＩＭａ)及び、2本の参照線ＲＬを撮影する(第２の測定用画像ＩＭｂ)，（図１８）。校正用パターンＰＰと参照線ＲＬは同時に撮影する必要はなく、複数回に分けて撮影しても良い。第１の測定用画像ＩＭａから、カメラ１０の外部パラメータＤを仮に計算する。この外部パラメータＤを基に、第２の測定用画像ＩＭｂに俯瞰処理を行う。俯瞰カメラ位置はy = 0, θx = -180度, θy = 0度, z位置は参照線ＲＬが見える所とする。
【００７３】
そして、俯瞰画像ＢＩを対象として、x軸の停車位置誤差Xと、z軸まわりの回転のパラメータである停車角誤差θzとを増減し、2本の参照線ＲＬが画面上で左右対称な位置に来るように調整する（図１９ステップＳ２３，Ｓ２４）。
求まった停車角誤差θz と、停車位置誤差Xを−1倍した値と、校正用パターンＰＰの座標原点と車両特徴点ＦＰの水平距離Ｌをパラメータとするパターンマット座標系からワールド座標系への変換行列Ｐ(式4)を算出し、その行列を用いて校正用パターンＰＰの座標を新たな座標系での値に変換する。
さらに、校正用パターンＰＰを写した画像を用い、変換した座標位置を適用し、再度カメラキャリブレーションを行い、外部パラメータＤを算出する。これが求めるべき外部パラメータＤとなる。
上述のように、本実施例では、校正用パターンＰＰを用いた最初のキャリブレーションでは外部パラメータＤのうち、z、θx, θyのみを決定するのに使用し、yは、実測から与え、x、θzは2本の参照線ＲＬから決定する手法とした。
【００７４】
・1.2 俯瞰画像で補正処理の効果
上述のように、本実施例では、停車誤差算出処理２０が、俯瞰画像ＢＩ中の参照線ＲＬの対称性に基づいて、停車誤差２４（例えば、停車角誤差θｚ及び停車位置誤差X）を算出する。このため、停車誤差算出処理２０は、俯瞰画像ＢＩにて参照線ＲＬが対称となるまで回転及び並進の画像処理を繰り返し、参照線ＲＬが対称となった際にそれまでの回転量及び移動量を俯瞰画像ＢＩの座標系での停車誤差２４とすることができる。
このため、参照線ＲＬを撮像した画像から、画像処理により自動的に停車誤差２４を算出することができる。そして、校正用パターンＰＰに対する停車誤差２４の算出を他の様々な誤差等の影響から独立させて算出することができる。
このように、校正用パターンＰＰを精密に配置する必要があった問題に対して、本実施例では、校正用パターンＰＰを正確に配置しなくとも、精度良くキャリブレーションを実施することができる。校正用パターンＰＰを正確に配置しなくとも良いという利点は、すなわち、自車１２を予め定められた測定領域ＭＡに正確に停車しなくても良いという利点と等しい。
そして、車両の位置を正確に計測する、もしくは車両を正確に所定の位置に配置する必要があった問題に対して、本実施例では、車両の中心軸に対称な参照線ＲＬの測定だけで済む。
【００７５】
＜1.3 対称性の自動算出＞
次に、参照線ＲＬの対称性を画像処理により自動的に評価する手法を説明する。この例では、前記停車誤差算出処理２０が、直線の抽出、重ね合わせ、この重ね合わせた形状についてマッチング度を算出する等の情報処理により、参照線ＲＬの対称性を自動的に判定する。
停車誤差算出処理２０は、具体的には、まず、前記俯瞰画像ＢＩ中の直線を抽出する（抽出処理）。続いて、俯瞰画像ＢＩ中の前記カメラ１０の撮像方向を中心として前記抽出した最長２本の前記直線を反転させて重ね合わせる（重ね合わせ処理）。さらに、前記俯瞰画像ＢＩを繰り返し回転させてマッチング度を繰り返し算出する（算出処理）。この算出したマッチング度は回転角と対応させつつ一時的に記憶する。そして前記マッチング度が最大となった前記回転角に基づいて前記停車誤差２４を算出する（比較処理）。
これにより、参照線ＲＬを撮像した画像から、x軸停車位置誤差Xと、z 軸まわりの回転のパラメータθzを算出する。
【００７６】
この停車誤差算出処理２０が有する抽出処理、重ね合わせ処理、算出処理及び比較処理は、本実施例を方法としてとらえる際には、停車誤差算出工程が有する工程となる。すなわち、停車誤差算出工程は、抽出処理、重ね合わせ処理、算出処理及び比較処理を備えると良い。この例では、停車誤差算出処理２０についての開示は、停車誤差算出工程についての開示ともなる。
【００７７】
図２０を参照すると、この停車誤差算出処理２０による画像処理の手順は次の通りとなる。
図２０（Ａ）に示すように、俯瞰画像ＢＩに２本の参照線ＲＬが撮影されており、図中左の参照線ＲＬａと右の参照線ＲＬｂとがある。停車誤差算出処理２０の抽出処理は、画像を2値化するなどして、この直線を抽出する。直線の抽出は、例えば俯瞰画像ＢＩをハフ変換すると直線である参照線ＲＬを探し出すことができる。ハフ変換は、画像中から直線を探索するよく知られた画像処理の手法である。直線を抽出したら、参照線ＲＬ付近以外の領域を以降の画像処理から除外すると良い。
【００７８】
そして、重ね合わせ処理は、俯瞰画像ＢＩ中の前記カメラ１０の撮像方向を中心として前記抽出した最長２本の前記直線を反転させて重ね合わせる。例えば、図中左右方向の画像中央の画像中心線ＣＬを基準としてで俯瞰画像ＢＩを二分して一方を左右反転させた後に重ね合わせる。すると、図２０（Ｂ）に示すように、左右の参照線ＲＬａ，ＲＬｂが近づく。
【００７９】
算出処理は、この状態で、マッチング度を算出する。マッチング度は、左の参照線ＲＬａと右の参照線ＲＬｂとがどの程度一致しているかである。
停車誤差算出処理２０は、このマッチング度の算出を繰り返す。具体的には、俯瞰画像ＢＩを回転又は並進させて、再度、直線を抽出し、重ね合わせをし、マッチング度を算出する。停車誤差算出処理２０は、予め定められた条件が満たされるまで回転又は並進させてマッチング度を算出し、このマッチング度が最大となるパラメータ（停車誤差２４に相当）を探す。
【００８０】
予め定められた条件が満たされるまで回転又は並進が終了すると、比較処理は、繰り返し算出したマッチング度のうち当該マッチング度が最大となった前記回転角に基づいて前記停車誤差２４を算出する。2本の参照線ＲＬが左右対称な位置にくるとき、重なり度合い=マッチング度が最大になる。
【００８１】
また、マッチング度は、様々な手法で算出できる。本実施例では、例えば相関係数に基づいて判定する手法を適用することができる。マッチング度を相関係数として表すと、理想的な相関係数の最大値は１となるが、2本の参照線ＲＬ、地面模様の微妙な違い、ノイズ等の影響を受け、実際には１より小さな値となる。
【００８２】
この相関係数は、例えば、図２０及び図２１に示すように、俯瞰画像ＢＩ中に直線形状に応じたウインドウＷＤ（緑枠）を与え、このウインドウＷＤ内の参照線ＲＬを構成する画素値の数に基づいて算出することができる。
ウインドウＷＤの大きさが、Mt x Ntピクセルであるとき、相関係数Rは、次式(5)で表される。
但し、左右画像の画素値をそれぞれT(i,j), I(i,j)とし、i,jはウインドウＷＤ内での座標値（俯瞰画像ＢＩのuvと平行な座標値）である。また、平均値I, Tを次式(6a, 6b)とする。
【００８３】
【数５】
【００８４】
図２０に示す例では、参照線ＲＬ同士の重なりがないため、相関係数は最小になり、図２１の場合だと、重なりが最大となり、相関係数が最大となる。
【００８５】
・1.3 対称性の自動算出の効果
上述したように対称性を自動算出する例では、停車誤差算出処理２０が、重ね合わせやマッチング度（例えば相関係数）の算出により自動的に停車誤差２４に相当する回転角及び並進量を求めるため、測定負荷を大幅に軽減することができる。
また、この重ね合わせた際のマッチング度を比較する手法では、参照線ＲＬが平行でも平行でなくても同一の精度で処理することができる。
参照線ＲＬを平行に置くためには、平行になっていることが保証されている場所を使うか、平行であることを別途の測定により確認する必要があるが、それでは簡易なキャリブレーションを実現できなくなってしまう。この点、本実施例では、今回は平行条件を満たさなくとも一定の精度を確保することができるため、車種に限定されず精度を確保することができる。
【符号の説明】
【００８６】
１０ カメラ
１２ 自車
１４ 画像処理部
１６ 外周形状
１６ａ、１６ｂ フェンダー
１８ 撮像処理
２０ 停車誤差算出処理
２２ 外部パラメータ算出処理
２４ 停車誤差
ＭＡ 測定領域
ＩＭ、ＩＭａ、ＩＭｂ 測定用画像
ＲＬ、ＲＬａ、ＲＬｂ 参照線
ＰＰ 校正用パターン
ＢＡ 俯瞰領域
ＢＩ 俯瞰画像
ＦＰ 車両特徴点
ＯＰ パターン座標原点
ＳＬ 停止基準線
zc 光軸
f 焦点位置
L、X 停車位置誤差
θｚ 停車角誤差
θｃ カメラ設置ズレ角
ＷＤ ウインドウ
ＣＬ 画像中心線
【特許請求の範囲】
【請求項１】
車外環境を撮像するカメラが取付られた自車を予め定められた測定領域にて所定方向に停車させる停車工程と、
前記自車の形状に対応した２点と交わる線を、参照線として、前記カメラの撮像範囲内となる前記測定領域に少なくとも２本配置する参照線配置工程と、
前記測定領域内で前記２本の前記参照線の間に予め定められたパターン形状を有する校正用パターンを設置すると共に当該校正用パターンと前記参照線とを撮影することで測定用画像を生成する撮像工程と、
前記測定用画像に基づいて前記カメラのキャリブレーションを実行する画像処理工程とを備え、
この画像処理工程は、
前記２本の前記参照線に基づいて前記自車の停車位置と前記パターン形状との座標関係を停車誤差として算出する工程と、
当該停車誤差をキャンセルした状態で前記パターン形状に基づいて前記カメラの取付姿勢に対応する外部パラメータを算出する工程と、
を備えたことを特徴とするカメラキャリブレーション方法。
【請求項２】
車外環境を撮像するカメラを有する自車が所定方向に停車する測定領域と、
前記カメラで撮影する測定用画像に基づいて前記カメラのキャリブレーションを実行する画像処理部とを備え、
前記測定領域が、
前記自車の形状に対応した２点と交わる線を含み、当該カメラの撮像範囲内となる前記測定領域に少なくとも２本配置される参照線と、
前記測定領域内で前記２本の前記参照線の間に予め定められたパターン形状を有する校正用パターンとを備え、
前記画像処理部が、
前記カメラで前記校正用パターン及び前記参照線が配置される測定領域を撮影することで前記測定用画像を生成する撮像処理と、
前記２本の前記参照線に基づいて前記自車の停車位置と前記パターン形状との座標関係を停車誤差として算出する停車誤差算出処理と
当該停車誤差をキャンセルした状態で前記パターン形状に基づいて前記カメラの取付姿勢に対応する外部パラメータを算出する外部パラメータ算出処理と、
を備えたことを特徴とするカメラキャリブレーション装置。
【請求項３】
前記停車誤差算出処理は、
前記測定用画像中の前記カメラの撮像方向を中心とした前記少なくとも２本の前記参照線の対称性に基づいて前記停車誤差を算出する処理、
を備えたことを特徴とする請求項２記載のカメラキャリブレーション装置。
【請求項４】
前記停車誤差算出処理は、
前記測定用画像を俯瞰画像に変換すると共に、当該俯瞰画像中の前記少なくとも２本の前記参照線の対称性に基づいて前記停車誤差を算出する処理、
を備えたことを特徴とする請求項２記載のカメラキャリブレーション装置。
【請求項５】
前記停車誤差算出処理は、
前記俯瞰画像中の直線を抽出する処理と、
前記俯瞰画像中の前記カメラの撮像方向を中心として前記抽出した最長２本の前記直線を反転させて重ね合わせる処理と、
前記俯瞰画像を繰り返し回転させてマッチング度を繰り返し算出する処理と、
前記マッチング度が最大となった回転角に基づいて前記停車誤差を算出する処理と、
を備えたことを特徴とする請求項４記載のカメラキャリブレーション装置。
【請求項１】
車外環境を撮像するカメラが取付られた自車を予め定められた測定領域にて所定方向に停車させる停車工程と、
前記自車の形状に対応した２点と交わる線を、参照線として、前記カメラの撮像範囲内となる前記測定領域に少なくとも２本配置する参照線配置工程と、
前記測定領域内で前記２本の前記参照線の間に予め定められたパターン形状を有する校正用パターンを設置すると共に当該校正用パターンと前記参照線とを撮影することで測定用画像を生成する撮像工程と、
前記測定用画像に基づいて前記カメラのキャリブレーションを実行する画像処理工程とを備え、
この画像処理工程は、
前記２本の前記参照線に基づいて前記自車の停車位置と前記パターン形状との座標関係を停車誤差として算出する工程と、
当該停車誤差をキャンセルした状態で前記パターン形状に基づいて前記カメラの取付姿勢に対応する外部パラメータを算出する工程と、
を備えたことを特徴とするカメラキャリブレーション方法。
【請求項２】
車外環境を撮像するカメラを有する自車が所定方向に停車する測定領域と、
前記カメラで撮影する測定用画像に基づいて前記カメラのキャリブレーションを実行する画像処理部とを備え、
前記測定領域が、
前記自車の形状に対応した２点と交わる線を含み、当該カメラの撮像範囲内となる前記測定領域に少なくとも２本配置される参照線と、
前記測定領域内で前記２本の前記参照線の間に予め定められたパターン形状を有する校正用パターンとを備え、
前記画像処理部が、
前記カメラで前記校正用パターン及び前記参照線が配置される測定領域を撮影することで前記測定用画像を生成する撮像処理と、
前記２本の前記参照線に基づいて前記自車の停車位置と前記パターン形状との座標関係を停車誤差として算出する停車誤差算出処理と
当該停車誤差をキャンセルした状態で前記パターン形状に基づいて前記カメラの取付姿勢に対応する外部パラメータを算出する外部パラメータ算出処理と、
を備えたことを特徴とするカメラキャリブレーション装置。
【請求項３】
前記停車誤差算出処理は、
前記測定用画像中の前記カメラの撮像方向を中心とした前記少なくとも２本の前記参照線の対称性に基づいて前記停車誤差を算出する処理、
を備えたことを特徴とする請求項２記載のカメラキャリブレーション装置。
【請求項４】
前記停車誤差算出処理は、
前記測定用画像を俯瞰画像に変換すると共に、当該俯瞰画像中の前記少なくとも２本の前記参照線の対称性に基づいて前記停車誤差を算出する処理、
を備えたことを特徴とする請求項２記載のカメラキャリブレーション装置。
【請求項５】
前記停車誤差算出処理は、
前記俯瞰画像中の直線を抽出する処理と、
前記俯瞰画像中の前記カメラの撮像方向を中心として前記抽出した最長２本の前記直線を反転させて重ね合わせる処理と、
前記俯瞰画像を繰り返し回転させてマッチング度を繰り返し算出する処理と、
前記マッチング度が最大となった回転角に基づいて前記停車誤差を算出する処理と、
を備えたことを特徴とする請求項４記載のカメラキャリブレーション装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【公開番号】特開２０１３−２８２０（Ｐ２０１３−２８２０Ａ）
【公開日】平成２５年１月７日（２０１３．１．７）
【国際特許分類】
【出願番号】特願２０１１−１３０７４５（Ｐ２０１１−１３０７４５）
【出願日】平成２３年６月１１日（２０１１．６．１１）
【出願人】（０００００２０８２）スズキ株式会社 (3,196)
【Ｆターム（参考）】
【公開日】平成２５年１月７日（２０１３．１．７）
【国際特許分類】
【出願日】平成２３年６月１１日（２０１１．６．１１）
【出願人】（０００００２０８２）スズキ株式会社 (3,196)
【Ｆターム（参考）】
[ Back to top ]