複数カメラの校正方法及び校正システム
【課題】カメラ校正における場所的な要求や演算負荷の要求をできるだけ低減し、車両の組み立てラインに組み込むことが容易となる、複数カメラの校正技術を提供する。
【解決手段】第１校正場の所定位置に当該車両を位置決めし、第１カメラによる基本撮影画像を取得し、基本撮影画像における基本校正指標群の画像上の位置である基本画像座標を算定し、基本校正指標群のワールド座標と基本画像座標との関係を表す第１校正関数を算定する。第２校正場に移動し、第１カメラによる第１撮影画像から第１画像座標を算定し、第２カメラによる第２撮影画像から第２画像座標を算定し、第１画像座標及び第１校正関数及び第１校正指標群のワールド座標を用いて車両姿勢ずれを算定する。車両姿勢ずれと第２画像座標と第２校正指標群のワールド座標とに基づいて、第２画像座標と第２校正指標群のワールド座標との関係を表す第２校正関数を算定する。
【解決手段】第１校正場の所定位置に当該車両を位置決めし、第１カメラによる基本撮影画像を取得し、基本撮影画像における基本校正指標群の画像上の位置である基本画像座標を算定し、基本校正指標群のワールド座標と基本画像座標との関係を表す第１校正関数を算定する。第２校正場に移動し、第１カメラによる第１撮影画像から第１画像座標を算定し、第２カメラによる第２撮影画像から第２画像座標を算定し、第１画像座標及び第１校正関数及び第１校正指標群のワールド座標を用いて車両姿勢ずれを算定する。車両姿勢ずれと第２画像座標と第２校正指標群のワールド座標とに基づいて、第２画像座標と第２校正指標群のワールド座標との関係を表す第２校正関数を算定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、少なくとも第１カメラと第２カメラを搭載した車両のための複数カメラの校正方法に関する。
【背景技術】
【０００２】
車載カメラの校正方法として、従来から路面上に描かれた校正指標を校正対象となる車載カメラで撮像する方法が知られている。この方法は、得られた撮影画像における校正指標の画像座標から射影幾何学的演算によって算定される算定画像座標（以下単に画像座標と称する）と、校正指標の実際の存在座標位置との違いに基づいてこの車載カメラの取り付け姿勢などの外部パラメータの誤差を求め、校正を行うものである。例えば、この種の校正方法として特許文献１による方法では、回転調整用ターゲット及び位置調整用ターゲットの描かれた地面上で、その回転調整用ターゲット及び位置調整用ターゲットと所定の相対関係にある位置に車載カメラを搭載した車両を停車させる。その後、地面上で所望のカメラ光軸が地面と交わる点を通る該所望のカメラ光軸に垂直な線上に位置する２つの回転調整用ターゲットからなる実パターンと、表示画面上で画面中心を通る水平線上の２点を包含する回転調整用画面表示パターンとの表示画面上での相対位置を調整することにより、カメラ光軸回りの回転ずれを計測する。また、地面上で回転調整用ターゲットの位置よりも車両遠方に位置する位置調整用ターゲットからなる実パターンと、表示画面上で回転調整用画面表示パターンの位置よりも上方に位置する位置調整用画面表示パターンとの表示画面上での相対位置を調整することにより、カメラ光軸の方向ずれを計測する。従って、この校正方法であれば、複数の車載カメラの校正を行う場合は、カメラ毎に、対応するターゲットと所定の相対関係にある位置に車両を位置決めする必要があり、校正作業の場所的負担と作業者の作業負担が大きい。
【０００３】
６箇所に設置されたパターン（校正指標）の間のおおよその位置（中央部付近）に車両を停車させて、この停車位置で複数（４つ）の車載カメラの校正を行う構成方法が特許文献２から知られている。この方法では、車両のおおよその位置での１回の停止で４台の車載カメラの校正が可能であるという利点がある。しかしながら、各カメラの校正作業毎に、逐次、ロール角、俯角を少しずつ変化させる処理を、誤差が最小となるロール角及び俯角を決定するまで繰り返す必要があるので、校正時間が長くなり、自動車の組み立てラインに適用することは困難である。さらに、収束演算の負荷が大きく、そのような演算ユニットを車両に組み込むことはコスト的にも負担が生じる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５‐０７７１０７号公報（段落番号〔００４４−００８６〕、図５）
【特許文献２】特開２００９‐２８８１５２号公報（段落番号〔００２５−００５３〕、図３）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記実情に鑑み、本発明の目的は、カメラ校正における場所的な要求や演算負荷の要求をできるだけ低減し、車両の組み立てラインに組み込むことが容易となる、複数カメラの校正技術を提供することである。
【課題を解決するための手段】
【０００６】
少なくとも第１カメラと第２カメラを搭載した車両のための複数カメラの校正方法において、上記目的を達成するために、本発明の方法は、前記車両を所定位置に位置決めすることで前記第１カメラにより撮像可能な複数の基本校正指標群を配置している第１校正場の前記所定位置に当該車両を位置決めするステップと、前記第１校正場において前記第１カメラによる基本撮影画像を取得するステップと、前記基本撮影画像における前記基本校正指標群の画像上の位置である基本画像座標を算定するステップと、前記基本校正指標群の実際の位置であるワールド座標と前記基本画像座標との関係を表す第１校正関数を算定するステップと、前記第１カメラにより撮像可能な複数の第１校正指標群と前記第２カメラにより撮像可能な複数の第２校正指標群とを配置している第２校正場に、前記第１カメラによる前記第１校正指標群の撮像及び前記第２カメラによる前記第２校正指標群の撮像が可能となるように前記車両を移動させるステップと、前記第２校正場において前記第１カメラによる第１撮影画像を取得するステップと、前記第１撮影画像における前記第１校正指標群の画像上の位置である第１画像座標を算定するステップと、前記第２校正場において前記第２カメラによる第２撮影画像を取得するステップと、前記第２撮影画像における前記第２校正指標群の画像上の位置である第２画像座標を算定するステップと、前記第１画像座標及び前記第１校正関数及び前記第１校正指標群の実際の位置であるワールド座標を用いて車両の姿勢ずれを表す車両姿勢ずれを算定するステップと、車両の姿勢ずれと前記第２画像座標と前記第２校正指標群の実際の位置であるワールド座標とに基づいて、前記第２画像座標と前記第２校正指標群の実際の位置であるワールド座標との関係を表す第２校正関数を算定するステップとからなる。
【０００７】
さらに、少なくとも第１カメラと第２カメラを搭載した車両のための複数カメラの校正システムにおいて、上記目的を達成するために、本発明のシステムは、前記車両を所定位置に位置決めすることで前記第１カメラにより撮像可能な複数の基本校正指標群を配置している第１校正場の前記所定位置に位置決めされた前記車両の前記第１カメラによる基本撮影画像を取得する第１画像取得部と、前記基本撮影画像における前記基本校正指標群の画像上の位置である基本画像座標を算定する第１画像座標算定部と、前記基本校正指標群の実際の位置であるワールド座標と前記基本画像座標との関係を表す第１校正関数を算定する第１校正関数算定部と、複数の第１校正指標群の前記第１カメラによる撮像及び複数の第２校正指標群の前記第２カメラによる撮像が可能となる第２校正場において前記第１カメラによる前記第１校正指標群を撮像した第１撮影画像を取得するとともに前記第２カメラによる前記第２校正指標群を撮像した第２撮影画像を取得する第２画像取得部と、前記第１撮影画像における前記第１校正指標群の画像上の位置である第１画像座標を算定するとともに前記第２撮影画像における前記第２校正指標群の画像上の位置である第２画像座標を算定する第２画像座標算定部と、前記第１画像座標及び前記第１校正関数及び前記第１校正指標群の実際の位置であるワールド座標を用いて車両の姿勢ずれを表す車両姿勢ずれを算定する車両姿勢ずれ算定部と、前記車両姿勢ずれと前記第２画像座標と前記第２校正指標群の実際の位置であるワールド座標とに基づいて、前記第２画像座標と前記第２校正指標群の実際の位置であるワールド座標との関係を表す第２校正関数を算定する第２校正関数算定部とからなる。
【０００８】
上述した本発明の方法及びシステムでは、複数の車載カメラのうちの１つだけが、４点の基本校正指標群を配置している第１校正場で校正される。第１校正場では１つの車載カメラ（第１カメラ）のみを校正するだけなので、そのカメラの校正に必要な基本校正指標群だけを用意しておけばよい。車両もこの基本校正指標群に対する正確な相対位置が得られるように位置決めすればよい。これは、全てのカメラの校正するための複数の基本校正指標群を配置する場所を確保することや、それらの基本校正指標群に対する正確な相対位置が得られるように位置決めすることに比べて容易である。従って、車両の組み立て工程中に第１校正場を構築し、第１カメラだけを校正することが容易となる。その後、第１カメラ以外の残りのカメラの校正は第２校正場で行われる。この第２校正場での校正作業では、既に校正が完了している第１カメラと第１校正指標群とを用いた車両の位置決め誤差、つまり車両姿勢ずれを算定し、この算定された車両姿勢ずれを用いて校正対象となっているカメラの撮影画像ないしは当該撮影画像から算定される画像座標が補正される。なお、ここでの車両姿勢ずれは、例えば位置変換行列と回転変換行列との組み合わせで表すことができる車両停止誤差の解消演算子などを含む概念である。従って、第２校正場における校正指標群に対する車両の位置決めは、厳密な正確さは要求されず、校正対象となっているカメラに対応する撮影画像に校正指標群が写されるという条件さえ満たされると良い。車両の位置決め条件が緩いということから、この第２校正場を車両の組み立て工程中に構築することは容易となる。
【０００９】
前述したように、前記車両姿勢ずれと前記第２画像座標と前記第２校正指標群の実際の位置であるワールド座標とに基づいて前記第２校正関数を算定するための好適な実施形態は、前記車両姿勢ずれに基づいて前記ワールド座標を補正し、補正された前記ワールド座標と前記第２画像座標との比較によって前記第２校正関数を算定することである。つまり、予め求められている校正指標の既知の値を第２校正場における車両の姿勢ずれを表す車両姿勢ずれに基づいて補正する。そして、この補正された第２校正指標群のワールド座標と第２画像座標とを比較することで、第２校正場における車両の姿勢ずれを吸収した、第２カメラを校正する第２校正関数が算定される。この方法では、車両の姿勢ずれに応じて第２校正指標群のワールド座標が補正されるので、第２校正関数の算定プログラムは従来の算定プログラムをそのまま流用することができる。
【００１０】
第１カメラによる撮影画像は、第１校正場においてはその撮影内容が基本校正指標群であり、第１カメラの校正のために利用されるが、第２校正場においてはその撮影内容が第１校正指標群であり、車両姿勢ずれに用いられる。従って、前記基本校正指標群と前記第１校正指標群とは同じ指標位置を有するようにすれば、撮影画像から校正指標の画像座標を算定するプログラムを共通化することか可能となって、好都合である。
【００１１】
本発明で用いられる校正指標群の構成要素としての校正指標は種々のものを利用できるが、撮影画像から画像処理でその校正指標の位置（指標位置）としての１つのワールド座標を簡単かつ正確で高速で検知するためには、交差するエッジを用いることが好都合である。従って、前記第１校正指標群は前記第１校正場に形成された路面に描画された、交差するエッジを有するマーカ群であり、前記第２校正指標群は前記第２校正場に形成された路面に描画された、交差するエッジを有するマーカ群であることが好ましい。なお、ここでの校正指標（マーカ）の路面への描画は、指標それ自体を路面に直接描画することや、プレート体の表面に指標を描画してこのプレート体を任意に移動設置することを含む用語として用いられている。
【００１２】
さらに、車両の全周囲を上方視点から眺める俯瞰画像を生成するため、車両の後方、前方、左側方、右側方を撮影視界とする４つのカメラからなる車載カメラシステムに本発明を適用することも効果的である。つまり、車両のリアとフロントと左サイドと右サイドに取り付けられた第１カメラと第２カメラと第３カメラと第４カメラとによって全周囲監視を行う、本発明による複数カメラの校正システムは、前記車両を所定位置に位置決めすることで前記第１カメラにより撮像可能な複数の基本校正指標群を配置している第１校正場の前記所定位置に位置決めされた前記車両の前記第１カメラによる基本撮影画像を取得する第１画像取得部と、前記基本撮影画像における前記基本校正指標群の画像上の位置である基本画像座標を算定する第１画像座標算定部と、前記基本校正指標群の実際の位置であるワールド座標と前記基本画像座標との関係を表す第１校正関数を算定する第１校正関数算定部と、複数の第１校正指標群の前記第１カメラによる撮像及び複数の第２校正指標群の前記第２カメラよる撮像及び複数の第３校正指標群の前記第３カメラよる撮像及び複数の第４校正指標群の前記第４カメラよる撮像が可能となる第２校正場において前記第１カメラによる前記第１校正指標群を撮像した第１撮影画像及び前記第２カメラによる前記第２校正指標群を撮像した第２撮影画像及び前記第３カメラによる前記第３校正指標群を撮像した第３撮影画像及び前記第４カメラによる前記第４校正指標群を撮像した第４撮影画像を取得する第２画像取得部と、前記第１撮影画像における前記第１校正指標群の画像上の位置である第１画像座標と、前記第２撮影画像における前記第２校正指標群の画像上の位置である第２画像座標と、前記第３撮影画像における前記第３校正指標群の画像上の位置である第３画像座標と、前記第４撮影画像における前記第４校正指標群の画像上の位置である第４画像座標とを算定する第２画像座標算定部と、前記第１画像座標及び前記第１校正関数及び前記第１校正指標群の実際の位置であるワールド座標を用いて車両の姿勢ずれを表す車両姿勢ずれを算定する車両姿勢ずれ算定部と、前記車両姿勢ずれと前記第２画像座標と前記第２校正指標群の実際の位置であるワールド座標とに基づいて、前記第２画像座標と前記第２校正指標群の実際の位置であるワールド座標との関係を表す第２校正関数と、車両の姿勢ずれと前記第３画像座標と前記第３校正指標群の実際の位置であるワールド座標とに基づいて、前記第３画像座標と前記第３校正指標群の実際の位置であるワールド座標との関係を表す第３校正関数と、車両の姿勢ずれと前記第４画像座標と前記第４校正指標群の実際の位置であるワールド座標とに基づいて、前記第４画像座標と前記第４校正指標群の実際の位置であるワールド座標との関係を表す第４校正関数とを算定する第２校正関数算定部とからなる。
【００１３】
この校正システムでは、上述した校正システムと同様な作用効果が得られる。さらには、本発明の好適な実施形態の１つとして、前記第２校正指標群には前記基本校正指標群の間に及び前記第１校正指標群の間に共通の指標位置が設定され、前記第３校正指標群には前記基本校正指標群の間に及び前記第１校正指標群の間に共通の指標位置が設定されることが提案される。この構成では、第１カメラから第４カメラの校正のために利用される第１校正指標群から第４校正指標群に含まれている校正指標がそれぞれ隣接するカメラ同士で兼用されている。このことは、第１カメラの誤差を第３カメラと第４カメラが吸収し、第３カメラと第４カメラの誤差を第２カメラが吸収するように働く。従って、この４つのカメラによる撮像画像から俯瞰画像を作成する際、それぞれの撮像画像のつながり感が良好であり、仕上がった俯瞰画像につなぎ領域での違和感が低減する。
【図面の簡単な説明】
【００１４】
【図１】本発明による複数カメラ校正技術の基本原理を２カメラシステムで説明する模式図である。
【図２】車両姿勢ずれに基づく座標変換を説明する模式図である。
【図３】４カメラシステムでの特徴的な基本原理を説明する模式図である。
【図４】路面に配置された校正指標と車両とカメラ視界との関係を示す説明図である。
【図５】本発明のカメラ校正モジュールを組み込んだ車両における車両周辺監視のための機能を示す機能ブロック図である。
【図６】カメラ校正モジュールの機能を示す機能ブロック図である。
【図７】４つの撮影画像から俯瞰画像を生成する過程を説明する模式図である。
【図８】カメラ校正の流れを説明するフローチャートである。
【図９】図1で示された模式図の一部が異なる、複数カメラ校正技術の基本原理を説明する模式図である。
【図１０】図３で示された模式図の一部が異なる、４カメラシステムの基本原理を説明する模式図である。
【図１１】図８のフローチャートとは一部が異なるフローチャートである。
【発明を実施するための形態】
【００１５】
本発明のカメラ校正システムの具体的な実施形態を説明する前に、その基本的な概念を図１と図２の模式図を用いて説明する。ここではカメラは自動車の車載カメラであり、第１カメラは自動車の後方を撮影するリアカメラであり、第２カメラは自動車の前方を撮影するフロントカメラである。
カメラ校正作業は自動車の製造工程に組み込まれており、カメラ校正のための場所として第１校正場と第２校正場が用意されている。第１校正場の路面には、カメラ校正のために利用される複数の指標（マーカー）が基本校正指標群として、第２校正場の路面にはカメラ校正のために利用される複数の指標（マーカー）が第１校正指標群と第２校正指標群として、描画もしくは配置されている。この例では、各校正指標群に含まれる指標の数は４つであり、各指標（指標点）の３次元空間における実際の位置であるワールド座標位置が既知であるので、この基本校正指標群を撮像してその指標位置のワールド座標位置からカメラ（カメラ視点）の外部パラメータを求めることができる。
【００１６】
第１校正場は、自動車を予め決められた所定の位置に所定の向きで停車させることで第１カメラによって基本校正指標群を撮像することができるように形成されている。つまり、この第１校正場では、第１カメラを取り付けている自動車は予め決められている基本校正指標群との位置関係を容易に作り出される。
第２校正場は、第１校正指標群が第１カメラによって撮像されるとともに第２校正指標群が第２カメラによって撮像されるように形成されている。但し、第２校正場では、正確に自動車を所定の位置に停止させることは要求されない。後で説明するように、自動車が実際に停止した位置と向きが予め設定されている位置と向きと異なっていてもこのずれが算定することができるので、ずれ補正が可能となるからである。
【００１７】
まず、第１校正場において、ガイドやストッパを用いて自動車を所定の位置に正確に停止させる（＃０１）。第１カメラによって基本校正指標群を写し出した基本撮影画像を取得する（＃０２）。取得した基本撮影画像において、基本校正指標群を構成する４つの校正指標が表している画像座標を基本画像座標として算定する（＃０３）。予め記録されている基本校正指標群の各校正指標（指標点）の基本撮影画像における基本座標を読み出す（＃０４）。この基本ワールド座標は、第１カメラが正確に位置決めされた場合にその基本撮影画像に生じる各校正指標（指標点）のワールド座標である。このワールド座標と基本画像座標とから、第１カメラの外部パラメータの誤差（取り付け誤差など）を解消するためのカメラ校正のための関係式が導出される（＃０５）。ここでは、この関係式は一般的にはテーブル化されるが、そのようなテーブル化された関係式を含め、ここではこの関係式を第１校正関数：Ｈ1と呼ぶことにする。
【００１８】
第２カメラの校正は、車両が第２校正場に移動してから行われる（＃１１）。第２校正場では、車両は第１校正場ほど正確に位置決めする必要はない。第１カメラの撮影視野に第１校正指標群が入っており、第２カメラの撮影視野に第２校正指標群が入っていればよい。第１校正指標群は、基本校正指標群と実質的に同じであり、それぞれの各校正指標のワールド座標位置関係は同一である。第１校正指標群や第２校正指標群は４つの校正指標を含んでいれば、基本校正指標群と同じでなくともよいが、演算等の共通化を図るためには同一であることが望ましい。
【００１９】
まず、第１カメラによって第１校正指標群を写し出した第１撮影画像を取得する（＃１２）。取得した第１撮影画像における各校正指標のワールド座標を、第１画像座標と第１校正関数とに基づいて第１算定ワールド座標として算定する（＃１３）。ここで、第１算定ワールド座標は、第１撮影画像を取得したときの車両位置に対する第１校正指標群の各校正指標（指標点）の相対座標として算出される。次に、予め記録されている、車両が正規の停止位置に正しく位置決めされた際（すなわち、車両が所定の位置に所定の向きで位置決めされた際）の第１校正指標群の各校正指標（指標点）のワールド座標をワールド座標テーブルから読み出す（＃１５）。なお、ワールド座標は、正規の停止位置に正しく位置決めされた車両に対する相対座標としてワールド座標テーブルに格納されている。このワールド座標と第１算定ワールド座標の座標値としての相違は、車両が第２校正場で所定の位置と所定の向きからずれて停車していることに起因する。従って、このワールド座標と第１ワールド座標からこの第２校正場での正規の停止位置に対する現在の車両の位置と向きのずれ（ここではこれを車両姿勢ずれ：Ｍと称する）を算定することができる（＃１６）。車両姿勢ずれ：Ｍは、回転ベクトル（回転行列）：Ｒと並進ベクトル（並進行列）：Ｔの組み合わせで表すことができる。
【００２０】
次に、第２カメラによって第２校正指標群を写し出した第２撮影画像を取得する（＃２２）。取得した第２撮影画像における各校正指標の画像座標を第２画像座標として算定する（＃２３）。さらに、予め記録されている、第２カメラが正確に位置決めされた際、すなわち、車両が正確に位置決めされた際の第２校正指標群の各校正指標（指標点）のワールド座標をワールド座標テーブルから読み出す（＃２４）。この読み出されたワールド座標を、先に導出した車両姿勢ずれ：Ｍに基づいて、補正する（＃２５）。すなわち、この読み出されたワールド座標に対してその車両姿勢ずれ分が補正されることとなる。
この補正の概念が図２で模式的に示されている。上述したように、第２校正場に停車した車両は、予め設定されている正規の停止位置に対して、一般的には、回転ずれ：Ｒ（回転ベクトル）と平行位置ずれ：Ｔ（並進ベクトル）とによって表すことができる車両姿勢ずれ：Ｍ（Ｒ＋Ｔ）を生じて、停止する。この車両姿勢ずれ：Ｍは、図１のステップ＃１２からステップ＃１６の処理によって算定できる。なお、図２では、この車両姿勢ずれ：Ｍを規定するための車両上の基準位置として車両後端中央部を用いているが、車両上の他の位置でもよい。ここでは、ワールド座標テーブルから読み出された第２校正指標群の各校正指標のワールド座標位置：Ｑ11，Ｑ21，Ｑ31，Ｑ41が、車両姿勢ずれ：Ｍに基づいて補正され、補正されたワールド座標位置はＱ10，Ｑ20，Ｑ30，Ｑ40で示されている。例えば、元のワールド座標位置：Ｑ11（Ｘ11,Ｙ11）はＱ10（Ｘ10,Ｙ10）に補正されている。このずれ補正の具体的処理を説明すると、車両姿勢ずれ：Ｍが正規の停止位置に対する現在の車両の位置と向きのずれであるので、読み出されたワールド座標に対して、車両姿勢ずれ：Ｍと反対方向の回転処理及び並進処理を施すものである。すなわち、補正されたワールド座標位置であるＱ10，Ｑ20，Ｑ30，Ｑ40は、図２において姿勢ずれした状態で停止した車両に対する、第２校正指標群の各校正指標（指標点）の実際の位置を指し示す相対座標値となる。
この補正されたワールド座標（補正ワールド座標）と、第２画像座標とが比較され、第２カメラの外部パラメータの誤差（取り付け誤差など）を解消するためのカメラ校正のための関係式が導出される（＃２６）。ここでも、この関係式は第２校正関数：Ｈ2と呼ぶことにする。
【００２１】
図１を用いて説明した、本発明の基本概念では、車載カメラとしてリアカメラである第１カメラとフロントカメラである第２カメラが採用されていたが、次は、車両の全周囲を上方視点から眺める俯瞰画像を生成するため車載カメラシステムの校正を説明する。この車載カメラシステムでは、さらに自動車の左側方を撮影する左サイドカメラである第３カメラと、自動車の右側方を撮影する右サイドカメラである第４カメラが備えられている。このカメラ校正においても、第１校正場での第１カメラの校正、つまり第１校正関数の算定は、図１を用いて説明された先のカメラ校正手法と同じであるので、それが流用される。また、第２校正場での車両姿勢ずれの算定も、図１と図２とを用いて説明された先のカメラ校正手法と同じであるので、それが流用される。従って、ここでは、第１校正場での第１カメラの第１校正関数の算定及び第２校正場での車両姿勢ずれの算定が完了した後の手順が図３を用いて説明される。
【００２２】
第２校正場での車両姿勢ずれの算定が終了すると、次に、第３カメラによって第３校正指標群を写し出した第３撮影画像を取得する（＃３２）。なお、図３から理解できるように、第３校正指標群は、第１校正指標群の左側の２つの校正指標と第２校正指標群の左側の２つの校正指標からなる。つまり、第３校正指標群は第１校正指標群と第２校正指標群との間で兼用されている。取得した第３撮影画像における各校正指標のワールド座標を第３画像座標として算定する（＃３３）。さらに、予め記録されている第３校正指標群の各校正指標（指標点）の第３撮影画像における、第３カメラが正確に位置決めされた際のワールド座標であるワールド座標をワールド座標テーブルから読み出す（＃３４）。この読み出されたワールド座標が、先に導出した車両姿勢ずれ：Ｍに基づいてその車両姿勢ずれ分が補正される（＃３５）。この補正されたワールド座標（補正ワールド座標）と、第３画像座標とが比較され、第３カメラの外部パラメータの誤差（取り付け誤差など）を解消するためのカメラ校正のための関係式が導出される（＃３６）。ここでも、この関係式は第３校正関数：Ｈ3と呼ぶことにする。
【００２３】
さらに、第４カメラによって第４校正指標群を写し出した第４撮影画像を取得する（＃４２）。なお、図３から理解できるように、第４校正指標群は、第１校正指標群の右側の２つの校正指標と第２校正指標群の右側の２つの校正指標からなる。つまり、第４校正指標群も第３校正指標群と同様に、第１校正指標群と第２校正指標群との間で兼用されている。取得した第４撮影画像における各校正指標のワールド座標を第４画像座標として算定する（＃４３）。さらに、予め記録されている第４校正指標群の各校正指標（指標点）の第４撮影画像における、第４カメラが正確に位置決めされた際の座標であるワールド座標をワールド座標テーブルから読み出す（＃４４）。この読み出されたワールド座標が、先に導出した車両姿勢ずれ：Ｍに基づいてその車両姿勢ずれ分が補正される（＃４５）。この補正されたワールド座標（補正ワールド座標）と、第４画像座標とが比較され、第４カメラの外部パラメータの誤差（取り付け誤差など）を解消するためのカメラ校正のための関係式が導出される（＃４６）。ここでも、この関係式は第４校正関数：Ｈ4と呼ぶことにする。
【００２４】
次に行われる第２カメラの校正は、図１を用いて説明した手順と同じであるから、ここでの説明は省略するが、以上の処理過程を通じて、第１カメラから第４カメラまでの校正が完了する。この校正によって得られた第１校正関数：Ｈ1から第４校正関数：Ｈ4は、一般的にはテーブル化され、撮像画像を表示画像に変換する際に利用される。なお、第１撮像画像から第４撮像画像までの撮像画像を組み合わせて俯瞰画像を生成する際に、俯瞰画像用マッピングテーブルが用いられるが、この俯瞰画像用マッピングテーブルに第１校正関数：Ｈ1から第４校正関数：Ｈ4による校正を組み込むことができる。
なお、第３カメラのための第３校正関数：Ｈ3を算定する際に第３校正指標群として第１校正指標群の一部を利用し、第４カメラのための第４校正関数：Ｈ4を算定する際にも第４校正指標群として第１校正指標群の一部を利用している。さらには、第２カメラのための第２校正関数：Ｈ2を算定する際には、第２校正指標群として第３校正指標群の一部と第４校正指標群の一部とを利用していることになる。これにより、第１校正関数：Ｈ1から第４校正関数：Ｈ4の相互間の整合性がよく、各撮影画像から合成によって作り出される俯瞰画像のつながりも良好となる利点が得られる。
【００２５】
以下、本発明の具体的な実施形態を図面に基づいて説明する。この実施形態での複数カメラシステムは、自動車製造施設において、自動車である車両に搭載された４つのカメラを校正するものである。
図４の（ａ）は、製造工程の間に組み込まれた第１校正場の所定位置に正確に停止した車両と、第１校正場の路面に描画された校正指標９とカメラ視界との関係を示す説明図である。図４の（ｂ）は、第１校正場でのカメラ校正工程の後工程に組み込まれた第２校正場に停止した車両と、第２校正場の路面に描画された校正指標９とカメラ視界との関係を示す説明図である。
ここでは車載カメラ１として、車両後方をカメラ視界とする第１カメラ１１と、車両前方をカメラ視界とする第２カメラ１２と、車両左側方をカメラ視界とする第３カメラ１３と、車両右側方をカメラ視界とする第４カメラ１４とがカメラ校正工程の前工程ですでに取り付けられている。なお、各カメラを特に区別しない場合には共通的にカメラ１と呼ぶことにする。
【００２６】
なお、カメラ１はＣＣＤ（charge coupled device）やＣＩＳ（CMOS image sensor）などの撮像素子を用いて、毎秒１５〜３０フレームの２次元画像を時系列に撮影し、デジタル変換してその撮影画像をリアルタイムに出力するデジタルカメラである。カメラ１は、広角レンズを備えて構成される。特に、本実施形態においては、水平方向に１４０〜１９０°の視野角が確保されているとともに、光軸に約３０度程度の俯角を有して車両に設置されている。
【００２７】
図４（ａ）から明らかなように、第１校正場には第１カメラ１１の校正のために利用される４つの校正指標９が、予め設定された座標位置（例えばワールド座標系）で路面に描画されている。この４つの校正指標９を基本校正指標群９０と総称する。車両が第１校正場の所定停止位置に正確な姿勢（位置及び向き）で停止することで、第１カメラ１１の撮影視野内に４つの校正指標９が入る。この校正指標９の一例が、図５に示されており、白黒の市松模様のパターンからなる。この校正指標９は白の矩形（１０mm×１０mm）２個、黒の矩形（１０mm×１０mm）２個の計４個の矩形により構成された市松模様パターンであり、そのパターン中央の点Ｑのワールド座標位置が実際に用いられる校正指標９のワールド座標位置（紛らわしくない限りワールド座標位置は単にワールド座標と呼ぶ）である。従って、点Ｑのワールド座標を画像処理的に検出するために、市松模様パターンのエッジ検出を行い、それによって得られた直交する直線の交点（指標点）Ｑを校正指標９のワールド座標とする。
【００２８】
また、図４（ｂ）から明らかなように、第２校正場には第１カメラ１１に撮像されるよる４つの校正指標９と、第２カメラ１２の校正のために利用される４つの校正指標９が、予め設定された座標位置（例えばワールド座標系）で路面に描画されている。車両が第２校正場の所定停止位置にほぼ正確に停止することで、リアカメラである第１カメラ１１の撮影視野内に入る４つの校正指標９を第１校正指標群９１と総称し、フロントカメラである第２カメラ１２の撮影視野内に入る４つの校正指標９を第２校正指標群９２と総称する。第１校正指標群９１における第１カメラ１１に対する各校正指標の位置関係及び第２校正指標群９２における第２カメラ１２に対する各校正指標の位置関係は、基本校正指標群９０における第１カメラ１１に対する各校正指標の位置関係と同じである。
【００２９】
同様に、第３カメラ１３の撮影視野内には、第１校正指標群９１の左側の２つ校正指標９と第２校正指標群９２の左側の２つ校正指標９が入る。この４つの校正指標９を総称して第３校正指標群９３と呼ぶ。さらに、第４カメラ１４の撮影視野内には、第１校正指標群９１の右側の２つ校正指標９と第２校正指標群９２の右側の２つ校正指標９が入る。この４つの校正指標９を総称して第４校正指標群９４と呼ぶ。つまり、第２校正場の車両停止位置の周囲に配置された８つの校正指標９が、第１校正指標群９１、第２校正指標群９２、第３校正指標群９３、第４校正指標群９４を作り出す。
【００３０】
第１校正場の車両停止位置に正確に停止された車両と校正指標９とカメラ撮影画像との関係から、第１カメラの校正が実行される。また、各カメラ１の撮影視野内に対応する校正指標９が入っているという条件下において、第２校正場の車両停止位置にそれほど正確にではなく停止された車両と校正指標９とカメラ撮影画像との関係から、第２カメラ１２、第３カメラ１３、第４カメラ１４の校正が実行される。
【００３１】
次に、このようなカメラ１を備えた車両周辺監視系の機能ブロック図の一例が図５に示されている。車両内部に配置されている車両周辺監視コントローラ２は車両周辺監視系の中核をなす。この車両周辺監視コントローラ２は、入力情報を処理するマイクロプロセッサや、ＤＳＰ（digital signal processor）を備え、入出力インターフェースとして用いられている通信インターフェース７０を介して、各種車載機器との間でデータ交換可能である。図示されていないが、車両周辺監視コントローラ２には、障害物検知機能や障害物検知に基づく車両制御指令の生成機能も構築可能である。従って、通信インターフェース７０と接続されている車載ＬＡＮには、センサコントローラＳＣ、モニタ２１、タッチパネル２１Ｔ、パワーステアリングユニットＰＳ、変速機構Ｔ、ブレーキ装置ＢＫなどが接続されている。センサコントローラＳＣは、車両状態検出センサ群からの信号入力をそのまま、あるいは評価して車両周辺監視コントローラ２の内部に転送する。センサコントローラＳＣに接続されている車両状態検出センサ群は、運転操作や車両走行の状態を検出する。車両状態検出センサ群には、図示していないが、ステアリング操作方向（操舵方向）と操作量（操舵量）とを計測するステアリングセンサ、シフトレバーのシフト位置を判別するシフト位置センサ、アクセルペダルの操作量を計測するアクセルセンサ、ブレーキペダルの操作量を検出するブレーキセンサ、自車の走行距離を検出する距離センサなどが含まれる。
【００３２】
車両周辺監視コントローラ２はコンピュータシステムであり、ハードウエア又はソフトウエアあるいはその両方の形態で構築される種々の機能部が備えられているが、本発明に特に関係する機能部としては、カメラ校正モジュール４０と、車両周辺監視画像生成モジュール５０と、先に述べた通信インターフェース７０と、表示制御部７１と、音声処理モジュール７２とが挙げられる。車両周辺監視画像生成モジュール５０で生成されたモニタ表示画像は表示制御部７１でビデオ信号に変換されてモニタ２１に送られる。音声処理モジュール７２で生成された音声ガイドや緊急時の警告音などはスピーカ２２で鳴らされる。
【００３３】
カメラ校正モジュール４０は、図６に示すように、画像取得部４１と、画像座標算定部４２と、校正関数算定部４３と、ワールド座標テーブル４４と、車両姿勢ずれ算定部４５と、校正テーブル管理部４６と、校正関数テーブル４７とを備えている。
【００３４】
画像取得部４１は、各カメラ１から送られてくる撮影画像を選択的に取得して、必要な前処理を施してワーキングメモリに展開する。画像取得部４１には、第１校正場でのカメラ校正処理にために用いられる第１画像取得部４１ａと、第２校正場でのカメラ校正処理にために用いられる第２画像取得部４１ｂとが含まれている。第１画像取得部４１ａは、車両が第１校正場の所定位置に正確に位置決めされた際に、第１カメラ１１による基本校正指標群９０の基本撮影画像を取得する。第２画像取得部４１ｂは、車両が第２校正場の所定位置に正確に位置決めされた際に、第１カメラ１１による第１校正指標群９１を撮像した第１撮影画像、及び第２カメラ１２による第２校正指標群９２を撮像した第２撮影画像、及び前記第３カメラ１３による第３校正指標群を撮像した第３撮影画像、及び前記第４カメラ１４による第４校正指標群を撮像した第４撮影画像を取得する。
【００３５】
画像座標算定部４２は、ワーキングメモリに展開されている撮影画像における校正指標９の撮影画像座標上での座標位置を画像座標として求める処理を行う。この処理では、図４における点Ｑを検出するために、水平線検出及び垂直線検出のためのエッジ検出フィルタをかけ、ＲＡＮＳＡＣを用いて直線を求め、その直線の交点の座標位置を画像座標とする。画像座標算定部４２には、第１画像座標算定部４２ａと第２画像座標算定部４２ｂが含まれている。第１画像座標算定部４２ａは基本撮影画像における基本校正指標群の画像上の位置を表している各画像座標を基本画像座標として算定する。第２画像座標算定部４２ｂは、第１撮影画像における第１校正指標群９１の画像上の位置を表している各画像座標を第１画像座標として算定する。同様に、第２撮影画像における第２校正指標群９２の画像上の位置を表している各画像座標を第２画像座標として算定する。前記第３撮影画像における第３校正指標群９３の画像上の位置を表している各画像座標を第３画像座標として算定する。第４撮影画像における第４校正指標群９４の画像上の位置を表している各画像座標を第４画像座標として算定する。
【００３６】
車両姿勢ずれ算定部４５は、第２校正場における所定の停止姿勢（位置と向き）に対して実際の停止した際の位置ずれ：Ｔと向き（回転）ずれ：Ｒとで表される車両姿勢ずれ：Ｍを算定する。ＴとＲとＭはベクトル（行列）で表すことができる。具体的には、車両姿勢ずれ算定部４５は、射影幾何学やコンピュータビジョンの分野ではよく知られたアルゴリズムを用いて、第１カメラ１１の校正パラメータである第１校正関数：Ｈ1、第１画像座標及び第１校正指標群の実際の位置であるワールド座標を用いて、車両姿勢ずれを算定する。ワールド座標はワールド座標テーブル４４に登録されている。なお、ここでは、ワールド座標テーブル４４に登録される第１校正指標群等のワールド座標は、車両に対する相対的な位置情報で登録されている。
【００３７】
校正関数算定部４３は、校正指標群の実際の位置であるワールド座標と、処理対象となっている校正指標群の実際の位置であるワールド座標とから、射影幾何学やコンピュータビジョンの分野ではよく知られたアルゴリズムを用いて校正関数を算定する。ワールド座標はワールド座標テーブル４４から読み出される。校正関数算定部４３には、第１校正関数算定部４３ａと、第２校正関数算定部４３ｂが含まれている。第１校正関数算定部４３ａは、基本校正指標群９０の実際の位置であるワールド座標と基本画像座標との関係を表す第１校正関数：Ｈ1を算定する。つまり第１校正関数：Ｈ1は、第１カメラ１１を校正するための関数となる。第２校正関数算定部４３ｂでは、車両姿勢ずれと第２画像座標と第２校正指標群９２の実際の位置であるワールド座標とに基づいて、第２画像座標と前記第２校正指標群９２の実際の位置であるワールド座標との関係を表す第２校正関数：Ｈ2を算定する。つまり第２校正関数：Ｈ2は、第２カメラ１２を校正するための関数となる。さらに、車両姿勢ずれと前記第３画像座標と前記第３校正指標群９３の実際の位置であるワールド座標とに基づいて、前記第３画像座標と前記第３校正指標群９３の実際の位置であるワールド座標との関係を表す第３校正関数：Ｈ3を算定する。つまり第３校正関数：Ｈ3は、第３カメラ１３を校正するための関数となる。さらに、車両姿勢ずれと前記第４画像座標と前記第４校正指標群の実際の位置であるワールド座標とに基づいて、第４画像座標と第４校正指標群９４の実際の位置であるワールド座標との関係を表す第４校正関数：Ｈ4とを算定する。つまり第４校正関数：Ｈ4は、第４カメラ１４を校正するための関数となる。ここでいう校正関数は、数学的な意味の関数に限定されるのではなく、一方の事象データを他方の事象データに関係付けるための数式やテーブルなど全ての関係付け機能を含むものである。
【００３８】
校正テーブル管理部４６は、校正関数算定部４３で算定された各カメラ１の校正関数を校正関数テーブル４７に記録して、管理する。校正関数テーブル４７に記録された校正関数は、車両周辺監視画像生成モジュール５によって利用される。車両周辺監視画像生成モジュール５は、校正関数テーブル４７から適切な校正関数を読み出して、各カメラ１からの撮影画像からモニタ２１に表示するための表示画像を生成する際に用いる。
【００３９】
車両周辺監視画像生成モジュール５は、画像修正部５１と、通常画像生成部５２と、俯瞰画像生成部５３と、マッピングテーブル５４とを備えている。画像修正部５１は、各カメラ１から送られてくる撮影画像を画像処理して種々の表示画像形態でモニタ２１に表示するための前処理として、カメラ校正モジュール４０の校正関数テーブル４７にアクセスして、適合するカメラ１の校正関数を読み出し、撮影画像を修正する。通常画像生成部５２は、画像修正部５１で前処理された撮影画像をそのまま車両周辺画像としてモニタ表示するために適した画質に調整する。モニタ表示される車両周辺画像としては、第１カメラ（バックカメラ）１１、第２カメラ（フロントカメラ）１２、第３・第４カメラ（左・右サイドカメラ）１３,１４によるリアビュー、フロントビュー、左・右サイドビューから運転者によって選択された１つでもよいし、複数ビューの組み合わせでもよい。
【００４０】
俯瞰画像生成部５３は、図７で模式的に示されているように、画像修正部５１で各カメラ１の校正関数を用いて修正された撮影画像から視点変換処理を通じて俯瞰画像を生成する。なお、俯瞰画像を生成する際に実行される視点変換処理は、マッピングテーブルを用いたマップ変換によって行われるので、ここで使用される射影変換のための種々のマッピングテーブルが選択可能にマッピングテーブル５４に予め格納されている。マッピングテーブル５４を構成する各マップは種々の形態で構築することができるが、ここでは、撮影画像の画素データと射影変換画像（通常は俯瞰撮影画像）の画素データとの対応関係が記述されたマップとして構築されている。
【００４１】
上述したように構成されたカメラ校正システムによる複数カメラ１の校正処理の流れを図８のフローチャートを用いて説明する。
まず、校正すべきカメラ１を取り付けている車両が第１校正場に移動させられるか、あるいは組み立てラインに組み込まれた第１校正場にその車両が搬送されてくることで、このルーチンはスタートする（＃５１）。まず、第１校正場において、位置決め機構等を用いて車両を所定の姿勢（位置と向き）に正確に停止させる（＃５２）。ここで停止とは完全な停止ではなく、正確な所定位置で基本校正指標群９０の撮影が可能な速度で移動する状態も含むものである。第１カメラによって基本校正指標群９０を写し出した基本撮影画像を取得する（＃５３）。取得した基本撮影画像から、４つの校正指標９の指標点Ｑが表している座標である基本画像座標を算定する（＃５４）。基本校正指標群の各校正指標（指標点）のワールド座標である基本座標を読み出す（＃５５）。このワールド座標と基本画像座標とから、第１校正関数：Ｈ1を算定して（＃５６）、校正関数テーブル４７に記録する（＃５７）。これでこの複数カメラ１の校正処理の第１段階が終了する。
【００４２】
次に、車両が第２校正場に移動させられるか、あるいは組み立てラインに組み込まれた第２校正場にその車両が搬送されてくることで、校正処理の第２段階が始まる（＃６１）。第２校正場でも車両は所定位置に停止されるが、車両は第１校正場ほど正確に位置決めする必要はない（＃６２）。
【００４３】
次いで、第１カメラ１１によって第１校正指標群を写し出した第１撮影画像を取得する（＃６３）。取得した第１撮影画像から第１画像座標を算定する（＃６４）。第１カメラ１１を校正するための第１校正関数：Ｈ1を校正関数テーブル４７から読み出す（＃６５）。ワールド座標テーブル４４から第１校正指標群９１のワールド座標をワールド座標テーブルから読み出す（＃６７）。このワールド座標と第１画像座標からこの第２校正場での車両の位置と向きのずれである車両姿勢ずれ：Ｍとを算定する（＃６８）。
【００４４】
次に、第２カメラ１２、第３カメラ１３、第４カメラ１４の校正処理が行われるが、実質的には同じ処理であるので、図８にも示すように任意数Ｎ（Ｎ＝２，３，４）を用いて共通的に説明する。まず、第Ｎカメラ１によって第Ｎ校正指標群を写し出した第Ｎ撮影画像を取得する（＃７０）。取得した第Ｎ撮影画像から第Ｎ画像座標を算定する（＃７１）。先に導出した車両姿勢ずれ：Ｍを読み込む（＃７２）。さらに、第Ｎ校正指標群のワールド座標をワールド座標テーブル４４から読み出す（＃７３）。このワールド座標を車両姿勢ずれ：Ｍを用いて第Ｎ画像座標を補正する（＃７４）。次に、この補正された第Ｎ校正指標群のワールド座標（補正ワールド座標と第Ｎ画像座標とを比較して、第Ｎカメラのカメラ校正のための第Ｎ校正関数：ＨNを算定する（＃７５）。算定された第Ｎ校正関数：ＨNを校正関数テーブル４７に記録する（＃７６）。
【００４５】
〔別実施の形態〕
（１）上述した実施の形態での説明では、車両姿勢ずれと第２画像座標と第２校正指標群の実際の位置であるワールド座標とに基づいて第２校正関数を算定する際に、前記車両姿勢ずれに基づいて前記ワールド座標を補正し、補正された前記ワールド座標と前記第２画像座標との比較によって第２校正関数を算定する方法が採用されていた。この方法に代えて、前記車両姿勢ずれに基づいて第２画像座標を補正し、補正された第２画像座標と既知のワールド座標との比較によって第２校正関数を算定することも可能である。このことを、図１に対応する図９を用いて、その相違する点だけを以下に説明する。
第２画像座標が算定されると（＃２３）、算定された第２画像座標に対して先に導出した車両姿勢ずれ：Ｍに基づいて補正第２画像座標を算定する（＃２３ａ）。次に、予め記録されている第２校正指標群の各校正指標（指標点）の第２撮影画像における、第２カメラが正確に位置決めされた際の座標であるワールド座標をワールド座標テーブルから読み出す（＃２４）。このワールド座標と補正第２画像座標とから、第２カメラの外部パラメータの誤差（取り付け誤差など）を解消するためのカメラ校正のための関係式が導出される（＃２６ａ）。
もちろん、この別実施形態を4カメラシステムに適用することもできる。つまり、図３に対応する図１０で示すように、第３画像座標が算定されると（＃３３）、予め記録されている第３校正指標群の各校正指標（指標点）の第３撮影画像における、第３カメラが正確に位置決めされた際の座標であるワールド座標をワールド座標テーブルから読み出す（＃３４）。次に、算定された第３画像座標に対して先に導出した車両姿勢ずれ：Ｍを用いて補正第３画像座標を算定する（＃３５ａ）。このワールド座標と補正第３画像座標とから、第３カメラの外部パラメータの誤差（取り付け誤差など）を解消するためのカメラ校正のための関係式である第３校正関数：Ｈ3が導出される（＃３６ａ）。
第４校正関数も同様の手法で導出することができる。つまり、第４画像座標が算定されると（＃４３）、第４校正指標群の各校正指標（指標点）のワールド座標をワールド座標テーブルから（＃４４）。次に、算定された第３画像座標に対して先に導出した車両姿勢ずれ：Ｍを用いて補正第４画像座標を算定する（＃４５ａ）。このワールド座標と補正第３画像座標とから、第４カメラのカメラ校正のための関係式である第４校正関数：Ｈ4が導出される（＃４６）。
この別実施形態でのカメラ校正システムによる複数カメラ１の校正処理の流れは図１１に示されているが、ここでは、先の実施形態における対応する図８との相違する部分だけを説明する。
まずは、ステップ＃６５とステップ＃６７との間で第１画像座標の補正が行われる（＃６６）。
更に、ステップ＃７１で第Ｎ撮影画像から第Ｎ画像座標を算定し、ステップ＃７２で先に導出した車両姿勢ずれ：Ｍを読み込む（＃７２）と、次にこの車両姿勢ずれ：Ｍを用いて第Ｎ画像座標を補正する（＃７３ａ）。次に、第Ｎ校正指標群のワールド座標をワールド座標テーブル４４から読み出す（＃７４ａ）。このワールド座標と補正第Ｎ画像座標との比較から、第Ｎカメラのカメラ校正のための第Ｎ校正関数：ＨNを算定して（＃７５）、校正関数テーブル４７に記録する（＃７６）。
【００４６】
（２）上述した実施形態では、算定された校正関数：Ｈ1、Ｈ2、Ｈ3、Ｈ3はカメラ校正モジュール４０の校正関数テーブル４７に記録しておき、カメラ校正モジュール４０側で利用している。これに代えて、算定された校正関数をカメラ１側に返して、各カメラ１側で設定しておき、各カメラ１からカメラ校正モジュール４０にはこの校正関数で補正された撮影画像が送られるような構成を採用してもよい。その場合は、本発明の校正システムはカメラ１も含めたシステムとなる。いずれにしても、この実施形態で述べられている各機能部は、説明のために便宜上区分けされているので、これらの各機能部の統合や分割は自由である。
（３）上述した実施形態では、本発明による複数カメラ校正の基準となる第１カメラ１１をリアカメラとしていたが、第２カメラ１２をフロントカメラ、あるいは左右のサイドカメラとしてよい。
（４）校正指標群に含まれる校正指標９の形態は、上述した以外種々な変更が可能である。またそのパターン模様の形成はペンキ等を用いた描画に限られず、例えば光学的、照明的な方法によるパターン模様形成を採用してもよい。
（５）上述した実施形態では校正指標群に含まれる校正指標９の数は４つであったが、所定の条件を規定した上で、射影幾何学的な演算が成立する限りにおいて、校正指標９の数は任意である。例えば、校正指標９は２つであってもよい。
【産業上の利用可能性】
【００４７】
本発明は、異なる複数の校正場を利用して、複数カメラを校正する全てのカメラ校正技術に利用することができる。
【符号の説明】
【００４８】
１：カメラ（車載カメラ）
１１：第１カメラ（リアカメラ）
１２：第２カメラ（フロントカメラ）
１３：第３カメラ（左サイドカメラ）
１４：第４カメラ（右サイドカメラ）
２：車両周辺監視コントローラ
４０：カメラ校正モジュール
４１：画像取得部
４１ａ：第１画像取得部
４１ｂ：第２画像取得部
４２：画像座標算定部
４２ａ：第１画像座標算定部
４２ｂ：第２画像座標算定部
４３：校正関数算定部
４３ａ：第１校正関数算定部
４３ｂ：第２校正関数算定部
４４：ワールド座標テーブル
４５：車両姿勢ずれ算定部
４６：校正テーブル管理部
４７：校正関数テーブル
５０：車両周辺監視画像生成モジュール
９：校正指標
９０：基本校正指標群
９１：第１校正指標群
９２：第２校正指標群
９３：第３校正指標群
９４：第４校正指標群
【技術分野】
【０００１】
本発明は、少なくとも第１カメラと第２カメラを搭載した車両のための複数カメラの校正方法に関する。
【背景技術】
【０００２】
車載カメラの校正方法として、従来から路面上に描かれた校正指標を校正対象となる車載カメラで撮像する方法が知られている。この方法は、得られた撮影画像における校正指標の画像座標から射影幾何学的演算によって算定される算定画像座標（以下単に画像座標と称する）と、校正指標の実際の存在座標位置との違いに基づいてこの車載カメラの取り付け姿勢などの外部パラメータの誤差を求め、校正を行うものである。例えば、この種の校正方法として特許文献１による方法では、回転調整用ターゲット及び位置調整用ターゲットの描かれた地面上で、その回転調整用ターゲット及び位置調整用ターゲットと所定の相対関係にある位置に車載カメラを搭載した車両を停車させる。その後、地面上で所望のカメラ光軸が地面と交わる点を通る該所望のカメラ光軸に垂直な線上に位置する２つの回転調整用ターゲットからなる実パターンと、表示画面上で画面中心を通る水平線上の２点を包含する回転調整用画面表示パターンとの表示画面上での相対位置を調整することにより、カメラ光軸回りの回転ずれを計測する。また、地面上で回転調整用ターゲットの位置よりも車両遠方に位置する位置調整用ターゲットからなる実パターンと、表示画面上で回転調整用画面表示パターンの位置よりも上方に位置する位置調整用画面表示パターンとの表示画面上での相対位置を調整することにより、カメラ光軸の方向ずれを計測する。従って、この校正方法であれば、複数の車載カメラの校正を行う場合は、カメラ毎に、対応するターゲットと所定の相対関係にある位置に車両を位置決めする必要があり、校正作業の場所的負担と作業者の作業負担が大きい。
【０００３】
６箇所に設置されたパターン（校正指標）の間のおおよその位置（中央部付近）に車両を停車させて、この停車位置で複数（４つ）の車載カメラの校正を行う構成方法が特許文献２から知られている。この方法では、車両のおおよその位置での１回の停止で４台の車載カメラの校正が可能であるという利点がある。しかしながら、各カメラの校正作業毎に、逐次、ロール角、俯角を少しずつ変化させる処理を、誤差が最小となるロール角及び俯角を決定するまで繰り返す必要があるので、校正時間が長くなり、自動車の組み立てラインに適用することは困難である。さらに、収束演算の負荷が大きく、そのような演算ユニットを車両に組み込むことはコスト的にも負担が生じる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５‐０７７１０７号公報（段落番号〔００４４−００８６〕、図５）
【特許文献２】特開２００９‐２８８１５２号公報（段落番号〔００２５−００５３〕、図３）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記実情に鑑み、本発明の目的は、カメラ校正における場所的な要求や演算負荷の要求をできるだけ低減し、車両の組み立てラインに組み込むことが容易となる、複数カメラの校正技術を提供することである。
【課題を解決するための手段】
【０００６】
少なくとも第１カメラと第２カメラを搭載した車両のための複数カメラの校正方法において、上記目的を達成するために、本発明の方法は、前記車両を所定位置に位置決めすることで前記第１カメラにより撮像可能な複数の基本校正指標群を配置している第１校正場の前記所定位置に当該車両を位置決めするステップと、前記第１校正場において前記第１カメラによる基本撮影画像を取得するステップと、前記基本撮影画像における前記基本校正指標群の画像上の位置である基本画像座標を算定するステップと、前記基本校正指標群の実際の位置であるワールド座標と前記基本画像座標との関係を表す第１校正関数を算定するステップと、前記第１カメラにより撮像可能な複数の第１校正指標群と前記第２カメラにより撮像可能な複数の第２校正指標群とを配置している第２校正場に、前記第１カメラによる前記第１校正指標群の撮像及び前記第２カメラによる前記第２校正指標群の撮像が可能となるように前記車両を移動させるステップと、前記第２校正場において前記第１カメラによる第１撮影画像を取得するステップと、前記第１撮影画像における前記第１校正指標群の画像上の位置である第１画像座標を算定するステップと、前記第２校正場において前記第２カメラによる第２撮影画像を取得するステップと、前記第２撮影画像における前記第２校正指標群の画像上の位置である第２画像座標を算定するステップと、前記第１画像座標及び前記第１校正関数及び前記第１校正指標群の実際の位置であるワールド座標を用いて車両の姿勢ずれを表す車両姿勢ずれを算定するステップと、車両の姿勢ずれと前記第２画像座標と前記第２校正指標群の実際の位置であるワールド座標とに基づいて、前記第２画像座標と前記第２校正指標群の実際の位置であるワールド座標との関係を表す第２校正関数を算定するステップとからなる。
【０００７】
さらに、少なくとも第１カメラと第２カメラを搭載した車両のための複数カメラの校正システムにおいて、上記目的を達成するために、本発明のシステムは、前記車両を所定位置に位置決めすることで前記第１カメラにより撮像可能な複数の基本校正指標群を配置している第１校正場の前記所定位置に位置決めされた前記車両の前記第１カメラによる基本撮影画像を取得する第１画像取得部と、前記基本撮影画像における前記基本校正指標群の画像上の位置である基本画像座標を算定する第１画像座標算定部と、前記基本校正指標群の実際の位置であるワールド座標と前記基本画像座標との関係を表す第１校正関数を算定する第１校正関数算定部と、複数の第１校正指標群の前記第１カメラによる撮像及び複数の第２校正指標群の前記第２カメラによる撮像が可能となる第２校正場において前記第１カメラによる前記第１校正指標群を撮像した第１撮影画像を取得するとともに前記第２カメラによる前記第２校正指標群を撮像した第２撮影画像を取得する第２画像取得部と、前記第１撮影画像における前記第１校正指標群の画像上の位置である第１画像座標を算定するとともに前記第２撮影画像における前記第２校正指標群の画像上の位置である第２画像座標を算定する第２画像座標算定部と、前記第１画像座標及び前記第１校正関数及び前記第１校正指標群の実際の位置であるワールド座標を用いて車両の姿勢ずれを表す車両姿勢ずれを算定する車両姿勢ずれ算定部と、前記車両姿勢ずれと前記第２画像座標と前記第２校正指標群の実際の位置であるワールド座標とに基づいて、前記第２画像座標と前記第２校正指標群の実際の位置であるワールド座標との関係を表す第２校正関数を算定する第２校正関数算定部とからなる。
【０００８】
上述した本発明の方法及びシステムでは、複数の車載カメラのうちの１つだけが、４点の基本校正指標群を配置している第１校正場で校正される。第１校正場では１つの車載カメラ（第１カメラ）のみを校正するだけなので、そのカメラの校正に必要な基本校正指標群だけを用意しておけばよい。車両もこの基本校正指標群に対する正確な相対位置が得られるように位置決めすればよい。これは、全てのカメラの校正するための複数の基本校正指標群を配置する場所を確保することや、それらの基本校正指標群に対する正確な相対位置が得られるように位置決めすることに比べて容易である。従って、車両の組み立て工程中に第１校正場を構築し、第１カメラだけを校正することが容易となる。その後、第１カメラ以外の残りのカメラの校正は第２校正場で行われる。この第２校正場での校正作業では、既に校正が完了している第１カメラと第１校正指標群とを用いた車両の位置決め誤差、つまり車両姿勢ずれを算定し、この算定された車両姿勢ずれを用いて校正対象となっているカメラの撮影画像ないしは当該撮影画像から算定される画像座標が補正される。なお、ここでの車両姿勢ずれは、例えば位置変換行列と回転変換行列との組み合わせで表すことができる車両停止誤差の解消演算子などを含む概念である。従って、第２校正場における校正指標群に対する車両の位置決めは、厳密な正確さは要求されず、校正対象となっているカメラに対応する撮影画像に校正指標群が写されるという条件さえ満たされると良い。車両の位置決め条件が緩いということから、この第２校正場を車両の組み立て工程中に構築することは容易となる。
【０００９】
前述したように、前記車両姿勢ずれと前記第２画像座標と前記第２校正指標群の実際の位置であるワールド座標とに基づいて前記第２校正関数を算定するための好適な実施形態は、前記車両姿勢ずれに基づいて前記ワールド座標を補正し、補正された前記ワールド座標と前記第２画像座標との比較によって前記第２校正関数を算定することである。つまり、予め求められている校正指標の既知の値を第２校正場における車両の姿勢ずれを表す車両姿勢ずれに基づいて補正する。そして、この補正された第２校正指標群のワールド座標と第２画像座標とを比較することで、第２校正場における車両の姿勢ずれを吸収した、第２カメラを校正する第２校正関数が算定される。この方法では、車両の姿勢ずれに応じて第２校正指標群のワールド座標が補正されるので、第２校正関数の算定プログラムは従来の算定プログラムをそのまま流用することができる。
【００１０】
第１カメラによる撮影画像は、第１校正場においてはその撮影内容が基本校正指標群であり、第１カメラの校正のために利用されるが、第２校正場においてはその撮影内容が第１校正指標群であり、車両姿勢ずれに用いられる。従って、前記基本校正指標群と前記第１校正指標群とは同じ指標位置を有するようにすれば、撮影画像から校正指標の画像座標を算定するプログラムを共通化することか可能となって、好都合である。
【００１１】
本発明で用いられる校正指標群の構成要素としての校正指標は種々のものを利用できるが、撮影画像から画像処理でその校正指標の位置（指標位置）としての１つのワールド座標を簡単かつ正確で高速で検知するためには、交差するエッジを用いることが好都合である。従って、前記第１校正指標群は前記第１校正場に形成された路面に描画された、交差するエッジを有するマーカ群であり、前記第２校正指標群は前記第２校正場に形成された路面に描画された、交差するエッジを有するマーカ群であることが好ましい。なお、ここでの校正指標（マーカ）の路面への描画は、指標それ自体を路面に直接描画することや、プレート体の表面に指標を描画してこのプレート体を任意に移動設置することを含む用語として用いられている。
【００１２】
さらに、車両の全周囲を上方視点から眺める俯瞰画像を生成するため、車両の後方、前方、左側方、右側方を撮影視界とする４つのカメラからなる車載カメラシステムに本発明を適用することも効果的である。つまり、車両のリアとフロントと左サイドと右サイドに取り付けられた第１カメラと第２カメラと第３カメラと第４カメラとによって全周囲監視を行う、本発明による複数カメラの校正システムは、前記車両を所定位置に位置決めすることで前記第１カメラにより撮像可能な複数の基本校正指標群を配置している第１校正場の前記所定位置に位置決めされた前記車両の前記第１カメラによる基本撮影画像を取得する第１画像取得部と、前記基本撮影画像における前記基本校正指標群の画像上の位置である基本画像座標を算定する第１画像座標算定部と、前記基本校正指標群の実際の位置であるワールド座標と前記基本画像座標との関係を表す第１校正関数を算定する第１校正関数算定部と、複数の第１校正指標群の前記第１カメラによる撮像及び複数の第２校正指標群の前記第２カメラよる撮像及び複数の第３校正指標群の前記第３カメラよる撮像及び複数の第４校正指標群の前記第４カメラよる撮像が可能となる第２校正場において前記第１カメラによる前記第１校正指標群を撮像した第１撮影画像及び前記第２カメラによる前記第２校正指標群を撮像した第２撮影画像及び前記第３カメラによる前記第３校正指標群を撮像した第３撮影画像及び前記第４カメラによる前記第４校正指標群を撮像した第４撮影画像を取得する第２画像取得部と、前記第１撮影画像における前記第１校正指標群の画像上の位置である第１画像座標と、前記第２撮影画像における前記第２校正指標群の画像上の位置である第２画像座標と、前記第３撮影画像における前記第３校正指標群の画像上の位置である第３画像座標と、前記第４撮影画像における前記第４校正指標群の画像上の位置である第４画像座標とを算定する第２画像座標算定部と、前記第１画像座標及び前記第１校正関数及び前記第１校正指標群の実際の位置であるワールド座標を用いて車両の姿勢ずれを表す車両姿勢ずれを算定する車両姿勢ずれ算定部と、前記車両姿勢ずれと前記第２画像座標と前記第２校正指標群の実際の位置であるワールド座標とに基づいて、前記第２画像座標と前記第２校正指標群の実際の位置であるワールド座標との関係を表す第２校正関数と、車両の姿勢ずれと前記第３画像座標と前記第３校正指標群の実際の位置であるワールド座標とに基づいて、前記第３画像座標と前記第３校正指標群の実際の位置であるワールド座標との関係を表す第３校正関数と、車両の姿勢ずれと前記第４画像座標と前記第４校正指標群の実際の位置であるワールド座標とに基づいて、前記第４画像座標と前記第４校正指標群の実際の位置であるワールド座標との関係を表す第４校正関数とを算定する第２校正関数算定部とからなる。
【００１３】
この校正システムでは、上述した校正システムと同様な作用効果が得られる。さらには、本発明の好適な実施形態の１つとして、前記第２校正指標群には前記基本校正指標群の間に及び前記第１校正指標群の間に共通の指標位置が設定され、前記第３校正指標群には前記基本校正指標群の間に及び前記第１校正指標群の間に共通の指標位置が設定されることが提案される。この構成では、第１カメラから第４カメラの校正のために利用される第１校正指標群から第４校正指標群に含まれている校正指標がそれぞれ隣接するカメラ同士で兼用されている。このことは、第１カメラの誤差を第３カメラと第４カメラが吸収し、第３カメラと第４カメラの誤差を第２カメラが吸収するように働く。従って、この４つのカメラによる撮像画像から俯瞰画像を作成する際、それぞれの撮像画像のつながり感が良好であり、仕上がった俯瞰画像につなぎ領域での違和感が低減する。
【図面の簡単な説明】
【００１４】
【図１】本発明による複数カメラ校正技術の基本原理を２カメラシステムで説明する模式図である。
【図２】車両姿勢ずれに基づく座標変換を説明する模式図である。
【図３】４カメラシステムでの特徴的な基本原理を説明する模式図である。
【図４】路面に配置された校正指標と車両とカメラ視界との関係を示す説明図である。
【図５】本発明のカメラ校正モジュールを組み込んだ車両における車両周辺監視のための機能を示す機能ブロック図である。
【図６】カメラ校正モジュールの機能を示す機能ブロック図である。
【図７】４つの撮影画像から俯瞰画像を生成する過程を説明する模式図である。
【図８】カメラ校正の流れを説明するフローチャートである。
【図９】図1で示された模式図の一部が異なる、複数カメラ校正技術の基本原理を説明する模式図である。
【図１０】図３で示された模式図の一部が異なる、４カメラシステムの基本原理を説明する模式図である。
【図１１】図８のフローチャートとは一部が異なるフローチャートである。
【発明を実施するための形態】
【００１５】
本発明のカメラ校正システムの具体的な実施形態を説明する前に、その基本的な概念を図１と図２の模式図を用いて説明する。ここではカメラは自動車の車載カメラであり、第１カメラは自動車の後方を撮影するリアカメラであり、第２カメラは自動車の前方を撮影するフロントカメラである。
カメラ校正作業は自動車の製造工程に組み込まれており、カメラ校正のための場所として第１校正場と第２校正場が用意されている。第１校正場の路面には、カメラ校正のために利用される複数の指標（マーカー）が基本校正指標群として、第２校正場の路面にはカメラ校正のために利用される複数の指標（マーカー）が第１校正指標群と第２校正指標群として、描画もしくは配置されている。この例では、各校正指標群に含まれる指標の数は４つであり、各指標（指標点）の３次元空間における実際の位置であるワールド座標位置が既知であるので、この基本校正指標群を撮像してその指標位置のワールド座標位置からカメラ（カメラ視点）の外部パラメータを求めることができる。
【００１６】
第１校正場は、自動車を予め決められた所定の位置に所定の向きで停車させることで第１カメラによって基本校正指標群を撮像することができるように形成されている。つまり、この第１校正場では、第１カメラを取り付けている自動車は予め決められている基本校正指標群との位置関係を容易に作り出される。
第２校正場は、第１校正指標群が第１カメラによって撮像されるとともに第２校正指標群が第２カメラによって撮像されるように形成されている。但し、第２校正場では、正確に自動車を所定の位置に停止させることは要求されない。後で説明するように、自動車が実際に停止した位置と向きが予め設定されている位置と向きと異なっていてもこのずれが算定することができるので、ずれ補正が可能となるからである。
【００１７】
まず、第１校正場において、ガイドやストッパを用いて自動車を所定の位置に正確に停止させる（＃０１）。第１カメラによって基本校正指標群を写し出した基本撮影画像を取得する（＃０２）。取得した基本撮影画像において、基本校正指標群を構成する４つの校正指標が表している画像座標を基本画像座標として算定する（＃０３）。予め記録されている基本校正指標群の各校正指標（指標点）の基本撮影画像における基本座標を読み出す（＃０４）。この基本ワールド座標は、第１カメラが正確に位置決めされた場合にその基本撮影画像に生じる各校正指標（指標点）のワールド座標である。このワールド座標と基本画像座標とから、第１カメラの外部パラメータの誤差（取り付け誤差など）を解消するためのカメラ校正のための関係式が導出される（＃０５）。ここでは、この関係式は一般的にはテーブル化されるが、そのようなテーブル化された関係式を含め、ここではこの関係式を第１校正関数：Ｈ1と呼ぶことにする。
【００１８】
第２カメラの校正は、車両が第２校正場に移動してから行われる（＃１１）。第２校正場では、車両は第１校正場ほど正確に位置決めする必要はない。第１カメラの撮影視野に第１校正指標群が入っており、第２カメラの撮影視野に第２校正指標群が入っていればよい。第１校正指標群は、基本校正指標群と実質的に同じであり、それぞれの各校正指標のワールド座標位置関係は同一である。第１校正指標群や第２校正指標群は４つの校正指標を含んでいれば、基本校正指標群と同じでなくともよいが、演算等の共通化を図るためには同一であることが望ましい。
【００１９】
まず、第１カメラによって第１校正指標群を写し出した第１撮影画像を取得する（＃１２）。取得した第１撮影画像における各校正指標のワールド座標を、第１画像座標と第１校正関数とに基づいて第１算定ワールド座標として算定する（＃１３）。ここで、第１算定ワールド座標は、第１撮影画像を取得したときの車両位置に対する第１校正指標群の各校正指標（指標点）の相対座標として算出される。次に、予め記録されている、車両が正規の停止位置に正しく位置決めされた際（すなわち、車両が所定の位置に所定の向きで位置決めされた際）の第１校正指標群の各校正指標（指標点）のワールド座標をワールド座標テーブルから読み出す（＃１５）。なお、ワールド座標は、正規の停止位置に正しく位置決めされた車両に対する相対座標としてワールド座標テーブルに格納されている。このワールド座標と第１算定ワールド座標の座標値としての相違は、車両が第２校正場で所定の位置と所定の向きからずれて停車していることに起因する。従って、このワールド座標と第１ワールド座標からこの第２校正場での正規の停止位置に対する現在の車両の位置と向きのずれ（ここではこれを車両姿勢ずれ：Ｍと称する）を算定することができる（＃１６）。車両姿勢ずれ：Ｍは、回転ベクトル（回転行列）：Ｒと並進ベクトル（並進行列）：Ｔの組み合わせで表すことができる。
【００２０】
次に、第２カメラによって第２校正指標群を写し出した第２撮影画像を取得する（＃２２）。取得した第２撮影画像における各校正指標の画像座標を第２画像座標として算定する（＃２３）。さらに、予め記録されている、第２カメラが正確に位置決めされた際、すなわち、車両が正確に位置決めされた際の第２校正指標群の各校正指標（指標点）のワールド座標をワールド座標テーブルから読み出す（＃２４）。この読み出されたワールド座標を、先に導出した車両姿勢ずれ：Ｍに基づいて、補正する（＃２５）。すなわち、この読み出されたワールド座標に対してその車両姿勢ずれ分が補正されることとなる。
この補正の概念が図２で模式的に示されている。上述したように、第２校正場に停車した車両は、予め設定されている正規の停止位置に対して、一般的には、回転ずれ：Ｒ（回転ベクトル）と平行位置ずれ：Ｔ（並進ベクトル）とによって表すことができる車両姿勢ずれ：Ｍ（Ｒ＋Ｔ）を生じて、停止する。この車両姿勢ずれ：Ｍは、図１のステップ＃１２からステップ＃１６の処理によって算定できる。なお、図２では、この車両姿勢ずれ：Ｍを規定するための車両上の基準位置として車両後端中央部を用いているが、車両上の他の位置でもよい。ここでは、ワールド座標テーブルから読み出された第２校正指標群の各校正指標のワールド座標位置：Ｑ11，Ｑ21，Ｑ31，Ｑ41が、車両姿勢ずれ：Ｍに基づいて補正され、補正されたワールド座標位置はＱ10，Ｑ20，Ｑ30，Ｑ40で示されている。例えば、元のワールド座標位置：Ｑ11（Ｘ11,Ｙ11）はＱ10（Ｘ10,Ｙ10）に補正されている。このずれ補正の具体的処理を説明すると、車両姿勢ずれ：Ｍが正規の停止位置に対する現在の車両の位置と向きのずれであるので、読み出されたワールド座標に対して、車両姿勢ずれ：Ｍと反対方向の回転処理及び並進処理を施すものである。すなわち、補正されたワールド座標位置であるＱ10，Ｑ20，Ｑ30，Ｑ40は、図２において姿勢ずれした状態で停止した車両に対する、第２校正指標群の各校正指標（指標点）の実際の位置を指し示す相対座標値となる。
この補正されたワールド座標（補正ワールド座標）と、第２画像座標とが比較され、第２カメラの外部パラメータの誤差（取り付け誤差など）を解消するためのカメラ校正のための関係式が導出される（＃２６）。ここでも、この関係式は第２校正関数：Ｈ2と呼ぶことにする。
【００２１】
図１を用いて説明した、本発明の基本概念では、車載カメラとしてリアカメラである第１カメラとフロントカメラである第２カメラが採用されていたが、次は、車両の全周囲を上方視点から眺める俯瞰画像を生成するため車載カメラシステムの校正を説明する。この車載カメラシステムでは、さらに自動車の左側方を撮影する左サイドカメラである第３カメラと、自動車の右側方を撮影する右サイドカメラである第４カメラが備えられている。このカメラ校正においても、第１校正場での第１カメラの校正、つまり第１校正関数の算定は、図１を用いて説明された先のカメラ校正手法と同じであるので、それが流用される。また、第２校正場での車両姿勢ずれの算定も、図１と図２とを用いて説明された先のカメラ校正手法と同じであるので、それが流用される。従って、ここでは、第１校正場での第１カメラの第１校正関数の算定及び第２校正場での車両姿勢ずれの算定が完了した後の手順が図３を用いて説明される。
【００２２】
第２校正場での車両姿勢ずれの算定が終了すると、次に、第３カメラによって第３校正指標群を写し出した第３撮影画像を取得する（＃３２）。なお、図３から理解できるように、第３校正指標群は、第１校正指標群の左側の２つの校正指標と第２校正指標群の左側の２つの校正指標からなる。つまり、第３校正指標群は第１校正指標群と第２校正指標群との間で兼用されている。取得した第３撮影画像における各校正指標のワールド座標を第３画像座標として算定する（＃３３）。さらに、予め記録されている第３校正指標群の各校正指標（指標点）の第３撮影画像における、第３カメラが正確に位置決めされた際のワールド座標であるワールド座標をワールド座標テーブルから読み出す（＃３４）。この読み出されたワールド座標が、先に導出した車両姿勢ずれ：Ｍに基づいてその車両姿勢ずれ分が補正される（＃３５）。この補正されたワールド座標（補正ワールド座標）と、第３画像座標とが比較され、第３カメラの外部パラメータの誤差（取り付け誤差など）を解消するためのカメラ校正のための関係式が導出される（＃３６）。ここでも、この関係式は第３校正関数：Ｈ3と呼ぶことにする。
【００２３】
さらに、第４カメラによって第４校正指標群を写し出した第４撮影画像を取得する（＃４２）。なお、図３から理解できるように、第４校正指標群は、第１校正指標群の右側の２つの校正指標と第２校正指標群の右側の２つの校正指標からなる。つまり、第４校正指標群も第３校正指標群と同様に、第１校正指標群と第２校正指標群との間で兼用されている。取得した第４撮影画像における各校正指標のワールド座標を第４画像座標として算定する（＃４３）。さらに、予め記録されている第４校正指標群の各校正指標（指標点）の第４撮影画像における、第４カメラが正確に位置決めされた際の座標であるワールド座標をワールド座標テーブルから読み出す（＃４４）。この読み出されたワールド座標が、先に導出した車両姿勢ずれ：Ｍに基づいてその車両姿勢ずれ分が補正される（＃４５）。この補正されたワールド座標（補正ワールド座標）と、第４画像座標とが比較され、第４カメラの外部パラメータの誤差（取り付け誤差など）を解消するためのカメラ校正のための関係式が導出される（＃４６）。ここでも、この関係式は第４校正関数：Ｈ4と呼ぶことにする。
【００２４】
次に行われる第２カメラの校正は、図１を用いて説明した手順と同じであるから、ここでの説明は省略するが、以上の処理過程を通じて、第１カメラから第４カメラまでの校正が完了する。この校正によって得られた第１校正関数：Ｈ1から第４校正関数：Ｈ4は、一般的にはテーブル化され、撮像画像を表示画像に変換する際に利用される。なお、第１撮像画像から第４撮像画像までの撮像画像を組み合わせて俯瞰画像を生成する際に、俯瞰画像用マッピングテーブルが用いられるが、この俯瞰画像用マッピングテーブルに第１校正関数：Ｈ1から第４校正関数：Ｈ4による校正を組み込むことができる。
なお、第３カメラのための第３校正関数：Ｈ3を算定する際に第３校正指標群として第１校正指標群の一部を利用し、第４カメラのための第４校正関数：Ｈ4を算定する際にも第４校正指標群として第１校正指標群の一部を利用している。さらには、第２カメラのための第２校正関数：Ｈ2を算定する際には、第２校正指標群として第３校正指標群の一部と第４校正指標群の一部とを利用していることになる。これにより、第１校正関数：Ｈ1から第４校正関数：Ｈ4の相互間の整合性がよく、各撮影画像から合成によって作り出される俯瞰画像のつながりも良好となる利点が得られる。
【００２５】
以下、本発明の具体的な実施形態を図面に基づいて説明する。この実施形態での複数カメラシステムは、自動車製造施設において、自動車である車両に搭載された４つのカメラを校正するものである。
図４の（ａ）は、製造工程の間に組み込まれた第１校正場の所定位置に正確に停止した車両と、第１校正場の路面に描画された校正指標９とカメラ視界との関係を示す説明図である。図４の（ｂ）は、第１校正場でのカメラ校正工程の後工程に組み込まれた第２校正場に停止した車両と、第２校正場の路面に描画された校正指標９とカメラ視界との関係を示す説明図である。
ここでは車載カメラ１として、車両後方をカメラ視界とする第１カメラ１１と、車両前方をカメラ視界とする第２カメラ１２と、車両左側方をカメラ視界とする第３カメラ１３と、車両右側方をカメラ視界とする第４カメラ１４とがカメラ校正工程の前工程ですでに取り付けられている。なお、各カメラを特に区別しない場合には共通的にカメラ１と呼ぶことにする。
【００２６】
なお、カメラ１はＣＣＤ（charge coupled device）やＣＩＳ（CMOS image sensor）などの撮像素子を用いて、毎秒１５〜３０フレームの２次元画像を時系列に撮影し、デジタル変換してその撮影画像をリアルタイムに出力するデジタルカメラである。カメラ１は、広角レンズを備えて構成される。特に、本実施形態においては、水平方向に１４０〜１９０°の視野角が確保されているとともに、光軸に約３０度程度の俯角を有して車両に設置されている。
【００２７】
図４（ａ）から明らかなように、第１校正場には第１カメラ１１の校正のために利用される４つの校正指標９が、予め設定された座標位置（例えばワールド座標系）で路面に描画されている。この４つの校正指標９を基本校正指標群９０と総称する。車両が第１校正場の所定停止位置に正確な姿勢（位置及び向き）で停止することで、第１カメラ１１の撮影視野内に４つの校正指標９が入る。この校正指標９の一例が、図５に示されており、白黒の市松模様のパターンからなる。この校正指標９は白の矩形（１０mm×１０mm）２個、黒の矩形（１０mm×１０mm）２個の計４個の矩形により構成された市松模様パターンであり、そのパターン中央の点Ｑのワールド座標位置が実際に用いられる校正指標９のワールド座標位置（紛らわしくない限りワールド座標位置は単にワールド座標と呼ぶ）である。従って、点Ｑのワールド座標を画像処理的に検出するために、市松模様パターンのエッジ検出を行い、それによって得られた直交する直線の交点（指標点）Ｑを校正指標９のワールド座標とする。
【００２８】
また、図４（ｂ）から明らかなように、第２校正場には第１カメラ１１に撮像されるよる４つの校正指標９と、第２カメラ１２の校正のために利用される４つの校正指標９が、予め設定された座標位置（例えばワールド座標系）で路面に描画されている。車両が第２校正場の所定停止位置にほぼ正確に停止することで、リアカメラである第１カメラ１１の撮影視野内に入る４つの校正指標９を第１校正指標群９１と総称し、フロントカメラである第２カメラ１２の撮影視野内に入る４つの校正指標９を第２校正指標群９２と総称する。第１校正指標群９１における第１カメラ１１に対する各校正指標の位置関係及び第２校正指標群９２における第２カメラ１２に対する各校正指標の位置関係は、基本校正指標群９０における第１カメラ１１に対する各校正指標の位置関係と同じである。
【００２９】
同様に、第３カメラ１３の撮影視野内には、第１校正指標群９１の左側の２つ校正指標９と第２校正指標群９２の左側の２つ校正指標９が入る。この４つの校正指標９を総称して第３校正指標群９３と呼ぶ。さらに、第４カメラ１４の撮影視野内には、第１校正指標群９１の右側の２つ校正指標９と第２校正指標群９２の右側の２つ校正指標９が入る。この４つの校正指標９を総称して第４校正指標群９４と呼ぶ。つまり、第２校正場の車両停止位置の周囲に配置された８つの校正指標９が、第１校正指標群９１、第２校正指標群９２、第３校正指標群９３、第４校正指標群９４を作り出す。
【００３０】
第１校正場の車両停止位置に正確に停止された車両と校正指標９とカメラ撮影画像との関係から、第１カメラの校正が実行される。また、各カメラ１の撮影視野内に対応する校正指標９が入っているという条件下において、第２校正場の車両停止位置にそれほど正確にではなく停止された車両と校正指標９とカメラ撮影画像との関係から、第２カメラ１２、第３カメラ１３、第４カメラ１４の校正が実行される。
【００３１】
次に、このようなカメラ１を備えた車両周辺監視系の機能ブロック図の一例が図５に示されている。車両内部に配置されている車両周辺監視コントローラ２は車両周辺監視系の中核をなす。この車両周辺監視コントローラ２は、入力情報を処理するマイクロプロセッサや、ＤＳＰ（digital signal processor）を備え、入出力インターフェースとして用いられている通信インターフェース７０を介して、各種車載機器との間でデータ交換可能である。図示されていないが、車両周辺監視コントローラ２には、障害物検知機能や障害物検知に基づく車両制御指令の生成機能も構築可能である。従って、通信インターフェース７０と接続されている車載ＬＡＮには、センサコントローラＳＣ、モニタ２１、タッチパネル２１Ｔ、パワーステアリングユニットＰＳ、変速機構Ｔ、ブレーキ装置ＢＫなどが接続されている。センサコントローラＳＣは、車両状態検出センサ群からの信号入力をそのまま、あるいは評価して車両周辺監視コントローラ２の内部に転送する。センサコントローラＳＣに接続されている車両状態検出センサ群は、運転操作や車両走行の状態を検出する。車両状態検出センサ群には、図示していないが、ステアリング操作方向（操舵方向）と操作量（操舵量）とを計測するステアリングセンサ、シフトレバーのシフト位置を判別するシフト位置センサ、アクセルペダルの操作量を計測するアクセルセンサ、ブレーキペダルの操作量を検出するブレーキセンサ、自車の走行距離を検出する距離センサなどが含まれる。
【００３２】
車両周辺監視コントローラ２はコンピュータシステムであり、ハードウエア又はソフトウエアあるいはその両方の形態で構築される種々の機能部が備えられているが、本発明に特に関係する機能部としては、カメラ校正モジュール４０と、車両周辺監視画像生成モジュール５０と、先に述べた通信インターフェース７０と、表示制御部７１と、音声処理モジュール７２とが挙げられる。車両周辺監視画像生成モジュール５０で生成されたモニタ表示画像は表示制御部７１でビデオ信号に変換されてモニタ２１に送られる。音声処理モジュール７２で生成された音声ガイドや緊急時の警告音などはスピーカ２２で鳴らされる。
【００３３】
カメラ校正モジュール４０は、図６に示すように、画像取得部４１と、画像座標算定部４２と、校正関数算定部４３と、ワールド座標テーブル４４と、車両姿勢ずれ算定部４５と、校正テーブル管理部４６と、校正関数テーブル４７とを備えている。
【００３４】
画像取得部４１は、各カメラ１から送られてくる撮影画像を選択的に取得して、必要な前処理を施してワーキングメモリに展開する。画像取得部４１には、第１校正場でのカメラ校正処理にために用いられる第１画像取得部４１ａと、第２校正場でのカメラ校正処理にために用いられる第２画像取得部４１ｂとが含まれている。第１画像取得部４１ａは、車両が第１校正場の所定位置に正確に位置決めされた際に、第１カメラ１１による基本校正指標群９０の基本撮影画像を取得する。第２画像取得部４１ｂは、車両が第２校正場の所定位置に正確に位置決めされた際に、第１カメラ１１による第１校正指標群９１を撮像した第１撮影画像、及び第２カメラ１２による第２校正指標群９２を撮像した第２撮影画像、及び前記第３カメラ１３による第３校正指標群を撮像した第３撮影画像、及び前記第４カメラ１４による第４校正指標群を撮像した第４撮影画像を取得する。
【００３５】
画像座標算定部４２は、ワーキングメモリに展開されている撮影画像における校正指標９の撮影画像座標上での座標位置を画像座標として求める処理を行う。この処理では、図４における点Ｑを検出するために、水平線検出及び垂直線検出のためのエッジ検出フィルタをかけ、ＲＡＮＳＡＣを用いて直線を求め、その直線の交点の座標位置を画像座標とする。画像座標算定部４２には、第１画像座標算定部４２ａと第２画像座標算定部４２ｂが含まれている。第１画像座標算定部４２ａは基本撮影画像における基本校正指標群の画像上の位置を表している各画像座標を基本画像座標として算定する。第２画像座標算定部４２ｂは、第１撮影画像における第１校正指標群９１の画像上の位置を表している各画像座標を第１画像座標として算定する。同様に、第２撮影画像における第２校正指標群９２の画像上の位置を表している各画像座標を第２画像座標として算定する。前記第３撮影画像における第３校正指標群９３の画像上の位置を表している各画像座標を第３画像座標として算定する。第４撮影画像における第４校正指標群９４の画像上の位置を表している各画像座標を第４画像座標として算定する。
【００３６】
車両姿勢ずれ算定部４５は、第２校正場における所定の停止姿勢（位置と向き）に対して実際の停止した際の位置ずれ：Ｔと向き（回転）ずれ：Ｒとで表される車両姿勢ずれ：Ｍを算定する。ＴとＲとＭはベクトル（行列）で表すことができる。具体的には、車両姿勢ずれ算定部４５は、射影幾何学やコンピュータビジョンの分野ではよく知られたアルゴリズムを用いて、第１カメラ１１の校正パラメータである第１校正関数：Ｈ1、第１画像座標及び第１校正指標群の実際の位置であるワールド座標を用いて、車両姿勢ずれを算定する。ワールド座標はワールド座標テーブル４４に登録されている。なお、ここでは、ワールド座標テーブル４４に登録される第１校正指標群等のワールド座標は、車両に対する相対的な位置情報で登録されている。
【００３７】
校正関数算定部４３は、校正指標群の実際の位置であるワールド座標と、処理対象となっている校正指標群の実際の位置であるワールド座標とから、射影幾何学やコンピュータビジョンの分野ではよく知られたアルゴリズムを用いて校正関数を算定する。ワールド座標はワールド座標テーブル４４から読み出される。校正関数算定部４３には、第１校正関数算定部４３ａと、第２校正関数算定部４３ｂが含まれている。第１校正関数算定部４３ａは、基本校正指標群９０の実際の位置であるワールド座標と基本画像座標との関係を表す第１校正関数：Ｈ1を算定する。つまり第１校正関数：Ｈ1は、第１カメラ１１を校正するための関数となる。第２校正関数算定部４３ｂでは、車両姿勢ずれと第２画像座標と第２校正指標群９２の実際の位置であるワールド座標とに基づいて、第２画像座標と前記第２校正指標群９２の実際の位置であるワールド座標との関係を表す第２校正関数：Ｈ2を算定する。つまり第２校正関数：Ｈ2は、第２カメラ１２を校正するための関数となる。さらに、車両姿勢ずれと前記第３画像座標と前記第３校正指標群９３の実際の位置であるワールド座標とに基づいて、前記第３画像座標と前記第３校正指標群９３の実際の位置であるワールド座標との関係を表す第３校正関数：Ｈ3を算定する。つまり第３校正関数：Ｈ3は、第３カメラ１３を校正するための関数となる。さらに、車両姿勢ずれと前記第４画像座標と前記第４校正指標群の実際の位置であるワールド座標とに基づいて、第４画像座標と第４校正指標群９４の実際の位置であるワールド座標との関係を表す第４校正関数：Ｈ4とを算定する。つまり第４校正関数：Ｈ4は、第４カメラ１４を校正するための関数となる。ここでいう校正関数は、数学的な意味の関数に限定されるのではなく、一方の事象データを他方の事象データに関係付けるための数式やテーブルなど全ての関係付け機能を含むものである。
【００３８】
校正テーブル管理部４６は、校正関数算定部４３で算定された各カメラ１の校正関数を校正関数テーブル４７に記録して、管理する。校正関数テーブル４７に記録された校正関数は、車両周辺監視画像生成モジュール５によって利用される。車両周辺監視画像生成モジュール５は、校正関数テーブル４７から適切な校正関数を読み出して、各カメラ１からの撮影画像からモニタ２１に表示するための表示画像を生成する際に用いる。
【００３９】
車両周辺監視画像生成モジュール５は、画像修正部５１と、通常画像生成部５２と、俯瞰画像生成部５３と、マッピングテーブル５４とを備えている。画像修正部５１は、各カメラ１から送られてくる撮影画像を画像処理して種々の表示画像形態でモニタ２１に表示するための前処理として、カメラ校正モジュール４０の校正関数テーブル４７にアクセスして、適合するカメラ１の校正関数を読み出し、撮影画像を修正する。通常画像生成部５２は、画像修正部５１で前処理された撮影画像をそのまま車両周辺画像としてモニタ表示するために適した画質に調整する。モニタ表示される車両周辺画像としては、第１カメラ（バックカメラ）１１、第２カメラ（フロントカメラ）１２、第３・第４カメラ（左・右サイドカメラ）１３,１４によるリアビュー、フロントビュー、左・右サイドビューから運転者によって選択された１つでもよいし、複数ビューの組み合わせでもよい。
【００４０】
俯瞰画像生成部５３は、図７で模式的に示されているように、画像修正部５１で各カメラ１の校正関数を用いて修正された撮影画像から視点変換処理を通じて俯瞰画像を生成する。なお、俯瞰画像を生成する際に実行される視点変換処理は、マッピングテーブルを用いたマップ変換によって行われるので、ここで使用される射影変換のための種々のマッピングテーブルが選択可能にマッピングテーブル５４に予め格納されている。マッピングテーブル５４を構成する各マップは種々の形態で構築することができるが、ここでは、撮影画像の画素データと射影変換画像（通常は俯瞰撮影画像）の画素データとの対応関係が記述されたマップとして構築されている。
【００４１】
上述したように構成されたカメラ校正システムによる複数カメラ１の校正処理の流れを図８のフローチャートを用いて説明する。
まず、校正すべきカメラ１を取り付けている車両が第１校正場に移動させられるか、あるいは組み立てラインに組み込まれた第１校正場にその車両が搬送されてくることで、このルーチンはスタートする（＃５１）。まず、第１校正場において、位置決め機構等を用いて車両を所定の姿勢（位置と向き）に正確に停止させる（＃５２）。ここで停止とは完全な停止ではなく、正確な所定位置で基本校正指標群９０の撮影が可能な速度で移動する状態も含むものである。第１カメラによって基本校正指標群９０を写し出した基本撮影画像を取得する（＃５３）。取得した基本撮影画像から、４つの校正指標９の指標点Ｑが表している座標である基本画像座標を算定する（＃５４）。基本校正指標群の各校正指標（指標点）のワールド座標である基本座標を読み出す（＃５５）。このワールド座標と基本画像座標とから、第１校正関数：Ｈ1を算定して（＃５６）、校正関数テーブル４７に記録する（＃５７）。これでこの複数カメラ１の校正処理の第１段階が終了する。
【００４２】
次に、車両が第２校正場に移動させられるか、あるいは組み立てラインに組み込まれた第２校正場にその車両が搬送されてくることで、校正処理の第２段階が始まる（＃６１）。第２校正場でも車両は所定位置に停止されるが、車両は第１校正場ほど正確に位置決めする必要はない（＃６２）。
【００４３】
次いで、第１カメラ１１によって第１校正指標群を写し出した第１撮影画像を取得する（＃６３）。取得した第１撮影画像から第１画像座標を算定する（＃６４）。第１カメラ１１を校正するための第１校正関数：Ｈ1を校正関数テーブル４７から読み出す（＃６５）。ワールド座標テーブル４４から第１校正指標群９１のワールド座標をワールド座標テーブルから読み出す（＃６７）。このワールド座標と第１画像座標からこの第２校正場での車両の位置と向きのずれである車両姿勢ずれ：Ｍとを算定する（＃６８）。
【００４４】
次に、第２カメラ１２、第３カメラ１３、第４カメラ１４の校正処理が行われるが、実質的には同じ処理であるので、図８にも示すように任意数Ｎ（Ｎ＝２，３，４）を用いて共通的に説明する。まず、第Ｎカメラ１によって第Ｎ校正指標群を写し出した第Ｎ撮影画像を取得する（＃７０）。取得した第Ｎ撮影画像から第Ｎ画像座標を算定する（＃７１）。先に導出した車両姿勢ずれ：Ｍを読み込む（＃７２）。さらに、第Ｎ校正指標群のワールド座標をワールド座標テーブル４４から読み出す（＃７３）。このワールド座標を車両姿勢ずれ：Ｍを用いて第Ｎ画像座標を補正する（＃７４）。次に、この補正された第Ｎ校正指標群のワールド座標（補正ワールド座標と第Ｎ画像座標とを比較して、第Ｎカメラのカメラ校正のための第Ｎ校正関数：ＨNを算定する（＃７５）。算定された第Ｎ校正関数：ＨNを校正関数テーブル４７に記録する（＃７６）。
【００４５】
〔別実施の形態〕
（１）上述した実施の形態での説明では、車両姿勢ずれと第２画像座標と第２校正指標群の実際の位置であるワールド座標とに基づいて第２校正関数を算定する際に、前記車両姿勢ずれに基づいて前記ワールド座標を補正し、補正された前記ワールド座標と前記第２画像座標との比較によって第２校正関数を算定する方法が採用されていた。この方法に代えて、前記車両姿勢ずれに基づいて第２画像座標を補正し、補正された第２画像座標と既知のワールド座標との比較によって第２校正関数を算定することも可能である。このことを、図１に対応する図９を用いて、その相違する点だけを以下に説明する。
第２画像座標が算定されると（＃２３）、算定された第２画像座標に対して先に導出した車両姿勢ずれ：Ｍに基づいて補正第２画像座標を算定する（＃２３ａ）。次に、予め記録されている第２校正指標群の各校正指標（指標点）の第２撮影画像における、第２カメラが正確に位置決めされた際の座標であるワールド座標をワールド座標テーブルから読み出す（＃２４）。このワールド座標と補正第２画像座標とから、第２カメラの外部パラメータの誤差（取り付け誤差など）を解消するためのカメラ校正のための関係式が導出される（＃２６ａ）。
もちろん、この別実施形態を4カメラシステムに適用することもできる。つまり、図３に対応する図１０で示すように、第３画像座標が算定されると（＃３３）、予め記録されている第３校正指標群の各校正指標（指標点）の第３撮影画像における、第３カメラが正確に位置決めされた際の座標であるワールド座標をワールド座標テーブルから読み出す（＃３４）。次に、算定された第３画像座標に対して先に導出した車両姿勢ずれ：Ｍを用いて補正第３画像座標を算定する（＃３５ａ）。このワールド座標と補正第３画像座標とから、第３カメラの外部パラメータの誤差（取り付け誤差など）を解消するためのカメラ校正のための関係式である第３校正関数：Ｈ3が導出される（＃３６ａ）。
第４校正関数も同様の手法で導出することができる。つまり、第４画像座標が算定されると（＃４３）、第４校正指標群の各校正指標（指標点）のワールド座標をワールド座標テーブルから（＃４４）。次に、算定された第３画像座標に対して先に導出した車両姿勢ずれ：Ｍを用いて補正第４画像座標を算定する（＃４５ａ）。このワールド座標と補正第３画像座標とから、第４カメラのカメラ校正のための関係式である第４校正関数：Ｈ4が導出される（＃４６）。
この別実施形態でのカメラ校正システムによる複数カメラ１の校正処理の流れは図１１に示されているが、ここでは、先の実施形態における対応する図８との相違する部分だけを説明する。
まずは、ステップ＃６５とステップ＃６７との間で第１画像座標の補正が行われる（＃６６）。
更に、ステップ＃７１で第Ｎ撮影画像から第Ｎ画像座標を算定し、ステップ＃７２で先に導出した車両姿勢ずれ：Ｍを読み込む（＃７２）と、次にこの車両姿勢ずれ：Ｍを用いて第Ｎ画像座標を補正する（＃７３ａ）。次に、第Ｎ校正指標群のワールド座標をワールド座標テーブル４４から読み出す（＃７４ａ）。このワールド座標と補正第Ｎ画像座標との比較から、第Ｎカメラのカメラ校正のための第Ｎ校正関数：ＨNを算定して（＃７５）、校正関数テーブル４７に記録する（＃７６）。
【００４６】
（２）上述した実施形態では、算定された校正関数：Ｈ1、Ｈ2、Ｈ3、Ｈ3はカメラ校正モジュール４０の校正関数テーブル４７に記録しておき、カメラ校正モジュール４０側で利用している。これに代えて、算定された校正関数をカメラ１側に返して、各カメラ１側で設定しておき、各カメラ１からカメラ校正モジュール４０にはこの校正関数で補正された撮影画像が送られるような構成を採用してもよい。その場合は、本発明の校正システムはカメラ１も含めたシステムとなる。いずれにしても、この実施形態で述べられている各機能部は、説明のために便宜上区分けされているので、これらの各機能部の統合や分割は自由である。
（３）上述した実施形態では、本発明による複数カメラ校正の基準となる第１カメラ１１をリアカメラとしていたが、第２カメラ１２をフロントカメラ、あるいは左右のサイドカメラとしてよい。
（４）校正指標群に含まれる校正指標９の形態は、上述した以外種々な変更が可能である。またそのパターン模様の形成はペンキ等を用いた描画に限られず、例えば光学的、照明的な方法によるパターン模様形成を採用してもよい。
（５）上述した実施形態では校正指標群に含まれる校正指標９の数は４つであったが、所定の条件を規定した上で、射影幾何学的な演算が成立する限りにおいて、校正指標９の数は任意である。例えば、校正指標９は２つであってもよい。
【産業上の利用可能性】
【００４７】
本発明は、異なる複数の校正場を利用して、複数カメラを校正する全てのカメラ校正技術に利用することができる。
【符号の説明】
【００４８】
１：カメラ（車載カメラ）
１１：第１カメラ（リアカメラ）
１２：第２カメラ（フロントカメラ）
１３：第３カメラ（左サイドカメラ）
１４：第４カメラ（右サイドカメラ）
２：車両周辺監視コントローラ
４０：カメラ校正モジュール
４１：画像取得部
４１ａ：第１画像取得部
４１ｂ：第２画像取得部
４２：画像座標算定部
４２ａ：第１画像座標算定部
４２ｂ：第２画像座標算定部
４３：校正関数算定部
４３ａ：第１校正関数算定部
４３ｂ：第２校正関数算定部
４４：ワールド座標テーブル
４５：車両姿勢ずれ算定部
４６：校正テーブル管理部
４７：校正関数テーブル
５０：車両周辺監視画像生成モジュール
９：校正指標
９０：基本校正指標群
９１：第１校正指標群
９２：第２校正指標群
９３：第３校正指標群
９４：第４校正指標群
【特許請求の範囲】
【請求項１】
少なくとも第１カメラと第２カメラを搭載した車両のための複数カメラの校正方法において、
前記車両を所定位置に位置決めすることで前記第１カメラにより撮像可能な複数の基本校正指標群を前記位置決めされた車両に対して予め定められた位置に配置している第１校正場の前記所定位置に当該車両を位置決めするステップと、
前記第１校正場において前記第１カメラによる基本撮影画像を取得するステップと、
前記基本撮影画像における前記基本校正指標群の画像上の位置である基本画像座標を算定するステップと、
前記基本校正指標群の実際の位置であるワールド座標と前記基本画像座標との関係を表す第１校正関数を算定するステップと、
前記第１カメラにより撮像可能な複数の第１校正指標群と前記第２カメラにより撮像可能な複数の第２校正指標群とを予め定められた位置に配置している第２校正場に、前記第１カメラによる前記第１校正指標群の撮像及び前記第２カメラによる前記第２校正指標群の撮像が可能となるように前記車両を移動させるステップと、
前記第２校正場において前記第１カメラによる第１撮影画像を取得するステップと、
前記第１撮影画像における前記第１校正指標群の画像上の位置である第１画像座標を算定するステップと、
前記第２校正場において前記第２カメラによる第２撮影画像を取得するステップと、
前記第２撮影画像における前記第２校正指標群の画像上の位置である第２画像座標を算定するステップと、
前記第１画像座標及び前記第１校正関数及び前記第１校正指標群の実際の位置であるワールド座標を用いて車両の姿勢ずれを表す車両姿勢ずれを算定するステップと、
前記車両姿勢ずれと前記第２画像座標と前記第２校正指標群の実際の位置であるワールド座標とに基づいて、前記第２画像座標と前記第２校正指標群の実際の位置であるワールド座標との関係を表す第２校正関数を算定するステップと、
からなる車両のための複数カメラの校正方法。
【請求項２】
前記第２校正関数を算定するステップにおいて、前記車両姿勢ずれに基づいて前記ワールド座標を補正し、補正された前記ワールド座標と前記第２画像座標との比較によって前記第２校正関数を算定する請求項１に記載の複数カメラの校正方法。
【請求項３】
少なくとも第１カメラと第２カメラを搭載した車両のための複数カメラの校正システムにおいて、
前記車両を所定位置に位置決めすることで前記第１カメラにより撮像可能な複数の基本校正指標群を前記位置決めされた車両に対して予め定められた位置に配置している第１校正場の前記所定位置に位置決めされた前記車両の前記第１カメラによる基本撮影画像を取得する第１画像取得部と、
前記基本撮影画像における前記基本校正指標群の画像上の位置である基本画像座標を算定する第１画像座標算定部と、
前記基本校正指標群の実際の位置であるワールド座標と前記基本画像座標との関係を表す第１校正関数を算定する第１校正関数算定部と、
複数の第１校正指標群の前記第１カメラによる撮像及び複数の第２校正指標群の前記第２カメラによる撮像が可能となる第２校正場において前記第１カメラによる前記第１校正指標群を撮像した第１撮影画像を取得するとともに前記第２カメラによる前記第２校正指標群を撮像した第２撮影画像を取得する第２画像取得部と、
前記第１撮影画像における前記第１校正指標群の画像上の位置である第１画像座標を算定するとともに前記第２撮影画像における前記第２校正指標群の画像上の位置である第２画像座標を算定する第２画像座標算定部と、
前記第１画像座標及び前記第１校正関数及び前記第１校正指標群の実際の位置であるワールド座標を用いて車両の姿勢ずれを表す車両姿勢ずれを算定する車両姿勢ずれ算定部と、
前記車両姿勢ずれと前記第２画像座標と前記第２校正指標群の実際の位置であるワールド座標とに基づいて、前記第２画像座標と前記第２校正指標群の実際の位置であるワールド座標との関係を表す第２校正関数を算定する第２校正関数算定部と、
からなる車両のための複数カメラの校正システム。
【請求項４】
前記基本校正指標群と前記第１校正指標群とは同じ指標座標を有する請求項３に記載の複数カメラの校正システム。
【請求項５】
前記第１校正指標群は前記第１校正場に形成された路面に描画された、交差するエッジを有するマーカ群であり、前記第２校正指標群は前記第２校正場に形成された路面に描画された、交差するエッジを有するマーカ群である請求項３又は４に記載の複数カメラの校正システム。
【請求項６】
車両のリアとフロントと左サイドと右サイドに取り付けられた第１カメラと第２カメラと第３カメラと第４カメラとによって全周囲監視を行う複数カメラの校正システムにおいて、
前記車両を所定位置に位置決めすることで前記第１カメラにより撮像可能な複数の基本校正指標群を前記位置決めされた車両に対して予め定められた位置に配置している第１校正場の前記所定位置に位置決めされた前記車両の前記第１カメラによる基本撮影画像を取得する第１画像取得部と、
前記基本撮影画像における前記基本校正指標群の画像上の位置である基本画像座標を算定する第１画像座標算定部と、
前記基本校正指標群の実際の位置であるワールド座標と前記基本画像座標との関係を表す第１校正関数を算定する第１校正関数算定部と、
複数の第１校正指標群の前記第１カメラによる撮像及び複数の第２校正指標群の前記第２カメラよる撮像及び複数の第３校正指標群の前記第３カメラよる撮像及び複数の第４校正指標群の前記第４カメラよる撮像が可能となる第２校正場において、前記第１カメラによる前記第１校正指標群を撮像した第１撮影画像及び前記第２カメラによる前記第２校正指標群を撮像した第２撮影画像及び前記第３カメラによる前記第３校正指標群を撮像した第３撮影画像及び前記第４カメラによる前記第４校正指標群を撮像した第４撮影画像を取得する第２画像取得部と、
前記第１撮影画像における前記第１校正指標群の画像上の位置である第１画像座標と、前記第２撮影画像における前記第２校正指標群の画像上の位置である第２画像座標と、前記第３撮影画像における前記第３校正指標群の画像上の位置である第３画像座標と、前記第４撮影画像における前記第４校正指標群の画像上の位置である第４画像座標とを算定する第２画像座標算定部と、
前記第１画像座標及び前記第１校正関数及び前記第１校正指標群の実際の位置であるワールド座標を用いて車両の姿勢ずれを表す車両姿勢ずれを算定する車両姿勢ずれ算定部と、
前記車両姿勢ずれと前記第２画像座標と前記第２校正指標群の実際の位置であるワールド座標とに基づいて、前記第２画像座標と前記第２校正指標群の実際の位置であるワールド座標との関係を表す第２校正関数と、車両の姿勢ずれと前記第３画像座標と前記第３校正指標群の実際の位置であるワールド座標とに基づいて、前記第３画像座標と前記第３校正指標群の実際の位置であるワールド座標との関係を表す第３校正関数と、車両の姿勢ずれと前記第４画像座標と前記第４校正指標群の実際の位置であるワールド座標とに基づいて、前記第４画像座標と前記第４校正指標群の実際の位置であるワールド座標との関係を表す第４校正関数とを算定する第２校正関数算定部と、
からなる車両のための複数カメラの校正システム。
【請求項７】
前記第２校正指標群には前記基本校正指標群の間に及び前記第１校正指標群の間に共通の指標座標が含まれ、前記第３校正指標群には前記基本校正指標群の間に及び前記第１校正指標群の間に共通の指標座標が含まれている請求項６に記載の複数カメラの校正システム。
【請求項１】
少なくとも第１カメラと第２カメラを搭載した車両のための複数カメラの校正方法において、
前記車両を所定位置に位置決めすることで前記第１カメラにより撮像可能な複数の基本校正指標群を前記位置決めされた車両に対して予め定められた位置に配置している第１校正場の前記所定位置に当該車両を位置決めするステップと、
前記第１校正場において前記第１カメラによる基本撮影画像を取得するステップと、
前記基本撮影画像における前記基本校正指標群の画像上の位置である基本画像座標を算定するステップと、
前記基本校正指標群の実際の位置であるワールド座標と前記基本画像座標との関係を表す第１校正関数を算定するステップと、
前記第１カメラにより撮像可能な複数の第１校正指標群と前記第２カメラにより撮像可能な複数の第２校正指標群とを予め定められた位置に配置している第２校正場に、前記第１カメラによる前記第１校正指標群の撮像及び前記第２カメラによる前記第２校正指標群の撮像が可能となるように前記車両を移動させるステップと、
前記第２校正場において前記第１カメラによる第１撮影画像を取得するステップと、
前記第１撮影画像における前記第１校正指標群の画像上の位置である第１画像座標を算定するステップと、
前記第２校正場において前記第２カメラによる第２撮影画像を取得するステップと、
前記第２撮影画像における前記第２校正指標群の画像上の位置である第２画像座標を算定するステップと、
前記第１画像座標及び前記第１校正関数及び前記第１校正指標群の実際の位置であるワールド座標を用いて車両の姿勢ずれを表す車両姿勢ずれを算定するステップと、
前記車両姿勢ずれと前記第２画像座標と前記第２校正指標群の実際の位置であるワールド座標とに基づいて、前記第２画像座標と前記第２校正指標群の実際の位置であるワールド座標との関係を表す第２校正関数を算定するステップと、
からなる車両のための複数カメラの校正方法。
【請求項２】
前記第２校正関数を算定するステップにおいて、前記車両姿勢ずれに基づいて前記ワールド座標を補正し、補正された前記ワールド座標と前記第２画像座標との比較によって前記第２校正関数を算定する請求項１に記載の複数カメラの校正方法。
【請求項３】
少なくとも第１カメラと第２カメラを搭載した車両のための複数カメラの校正システムにおいて、
前記車両を所定位置に位置決めすることで前記第１カメラにより撮像可能な複数の基本校正指標群を前記位置決めされた車両に対して予め定められた位置に配置している第１校正場の前記所定位置に位置決めされた前記車両の前記第１カメラによる基本撮影画像を取得する第１画像取得部と、
前記基本撮影画像における前記基本校正指標群の画像上の位置である基本画像座標を算定する第１画像座標算定部と、
前記基本校正指標群の実際の位置であるワールド座標と前記基本画像座標との関係を表す第１校正関数を算定する第１校正関数算定部と、
複数の第１校正指標群の前記第１カメラによる撮像及び複数の第２校正指標群の前記第２カメラによる撮像が可能となる第２校正場において前記第１カメラによる前記第１校正指標群を撮像した第１撮影画像を取得するとともに前記第２カメラによる前記第２校正指標群を撮像した第２撮影画像を取得する第２画像取得部と、
前記第１撮影画像における前記第１校正指標群の画像上の位置である第１画像座標を算定するとともに前記第２撮影画像における前記第２校正指標群の画像上の位置である第２画像座標を算定する第２画像座標算定部と、
前記第１画像座標及び前記第１校正関数及び前記第１校正指標群の実際の位置であるワールド座標を用いて車両の姿勢ずれを表す車両姿勢ずれを算定する車両姿勢ずれ算定部と、
前記車両姿勢ずれと前記第２画像座標と前記第２校正指標群の実際の位置であるワールド座標とに基づいて、前記第２画像座標と前記第２校正指標群の実際の位置であるワールド座標との関係を表す第２校正関数を算定する第２校正関数算定部と、
からなる車両のための複数カメラの校正システム。
【請求項４】
前記基本校正指標群と前記第１校正指標群とは同じ指標座標を有する請求項３に記載の複数カメラの校正システム。
【請求項５】
前記第１校正指標群は前記第１校正場に形成された路面に描画された、交差するエッジを有するマーカ群であり、前記第２校正指標群は前記第２校正場に形成された路面に描画された、交差するエッジを有するマーカ群である請求項３又は４に記載の複数カメラの校正システム。
【請求項６】
車両のリアとフロントと左サイドと右サイドに取り付けられた第１カメラと第２カメラと第３カメラと第４カメラとによって全周囲監視を行う複数カメラの校正システムにおいて、
前記車両を所定位置に位置決めすることで前記第１カメラにより撮像可能な複数の基本校正指標群を前記位置決めされた車両に対して予め定められた位置に配置している第１校正場の前記所定位置に位置決めされた前記車両の前記第１カメラによる基本撮影画像を取得する第１画像取得部と、
前記基本撮影画像における前記基本校正指標群の画像上の位置である基本画像座標を算定する第１画像座標算定部と、
前記基本校正指標群の実際の位置であるワールド座標と前記基本画像座標との関係を表す第１校正関数を算定する第１校正関数算定部と、
複数の第１校正指標群の前記第１カメラによる撮像及び複数の第２校正指標群の前記第２カメラよる撮像及び複数の第３校正指標群の前記第３カメラよる撮像及び複数の第４校正指標群の前記第４カメラよる撮像が可能となる第２校正場において、前記第１カメラによる前記第１校正指標群を撮像した第１撮影画像及び前記第２カメラによる前記第２校正指標群を撮像した第２撮影画像及び前記第３カメラによる前記第３校正指標群を撮像した第３撮影画像及び前記第４カメラによる前記第４校正指標群を撮像した第４撮影画像を取得する第２画像取得部と、
前記第１撮影画像における前記第１校正指標群の画像上の位置である第１画像座標と、前記第２撮影画像における前記第２校正指標群の画像上の位置である第２画像座標と、前記第３撮影画像における前記第３校正指標群の画像上の位置である第３画像座標と、前記第４撮影画像における前記第４校正指標群の画像上の位置である第４画像座標とを算定する第２画像座標算定部と、
前記第１画像座標及び前記第１校正関数及び前記第１校正指標群の実際の位置であるワールド座標を用いて車両の姿勢ずれを表す車両姿勢ずれを算定する車両姿勢ずれ算定部と、
前記車両姿勢ずれと前記第２画像座標と前記第２校正指標群の実際の位置であるワールド座標とに基づいて、前記第２画像座標と前記第２校正指標群の実際の位置であるワールド座標との関係を表す第２校正関数と、車両の姿勢ずれと前記第３画像座標と前記第３校正指標群の実際の位置であるワールド座標とに基づいて、前記第３画像座標と前記第３校正指標群の実際の位置であるワールド座標との関係を表す第３校正関数と、車両の姿勢ずれと前記第４画像座標と前記第４校正指標群の実際の位置であるワールド座標とに基づいて、前記第４画像座標と前記第４校正指標群の実際の位置であるワールド座標との関係を表す第４校正関数とを算定する第２校正関数算定部と、
からなる車両のための複数カメラの校正システム。
【請求項７】
前記第２校正指標群には前記基本校正指標群の間に及び前記第１校正指標群の間に共通の指標座標が含まれ、前記第３校正指標群には前記基本校正指標群の間に及び前記第１校正指標群の間に共通の指標座標が含まれている請求項６に記載の複数カメラの校正システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１３−２４７１２（Ｐ２０１３−２４７１２Ａ）
【公開日】平成２５年２月４日（２０１３．２．４）
【国際特許分類】
【出願番号】特願２０１１−１５９３４３（Ｐ２０１１−１５９３４３）
【出願日】平成２３年７月２０日（２０１１．７．２０）
【出願人】（０００００００１１）アイシン精機株式会社 (5,421)
【Ｆターム（参考）】
【公開日】平成２５年２月４日（２０１３．２．４）
【国際特許分類】
【出願日】平成２３年７月２０日（２０１１．７．２０）
【出願人】（０００００００１１）アイシン精機株式会社 (5,421)
【Ｆターム（参考）】
[ Back to top ]