カメラキャリブレーション装置
【課題】駐車場の白線の２つの特徴点を検出し、特徴点とその交差する２方向の情報をもとに画像の位置合わせを行うキャリブレーション装置を提供する。
【解決手段】車両に搭載した複数のカメラを有する撮像部と、各カメラで撮影した画像から駐車枠を示す直線画像を識別し夫々のカメラ画像から駐車枠の特徴点を少なくとも２つ検出する特徴点検出部と、検出した特徴点とその交差する２方向の情報をもとに各カメラの画像を合成して真上からの視点に変換した俯瞰画像を生成する視点変換部と、俯瞰画像から車両と直線画像との境界位置を判別して車両画像の表示枠を決定し、俯瞰画像に対する表示枠の割合及び位置が予め指定した値になるように俯瞰画像を変更する調整部と、変更した俯瞰画像をもとに計算された各カメラの特性を示すカメラパラメータを格納する記憶部とを具備する。
【解決手段】車両に搭載した複数のカメラを有する撮像部と、各カメラで撮影した画像から駐車枠を示す直線画像を識別し夫々のカメラ画像から駐車枠の特徴点を少なくとも２つ検出する特徴点検出部と、検出した特徴点とその交差する２方向の情報をもとに各カメラの画像を合成して真上からの視点に変換した俯瞰画像を生成する視点変換部と、俯瞰画像から車両と直線画像との境界位置を判別して車両画像の表示枠を決定し、俯瞰画像に対する表示枠の割合及び位置が予め指定した値になるように俯瞰画像を変更する調整部と、変更した俯瞰画像をもとに計算された各カメラの特性を示すカメラパラメータを格納する記憶部とを具備する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に複数のカメラを搭載し、車両外部の映像を撮影して運転者向けに表示する車載カメラ装置において、カメラの取り付け時等にカメラキャリブレーションを行うカメラキャリブレーション装置に関する。
【背景技術】
【０００２】
従来、車両に複数のカメラを搭載して、車両の周囲（前方、後方、左側、右側）を撮影した画像を取得し、各画像の視点を車両上方からの視点に変換した画像（俯瞰画像）を生成して合成し、さらに自車の画像（イラスト画など）を合成してトップビュー画像のように表示する車載カメラ装置がある。俯瞰画像を表示することで自車及び周囲の状況を把握しやすくなり、例えば駐車場に車両を入れる場合などに運転者の運転を支援することができる。尚、俯瞰画像は、自車の上方などに設定した仮想視点から見た画像であり、仮想視点の位置を変えることで俯瞰画像の見え方を変えることができる。
【０００３】
ところで、従来の車載カメラ装置では、カメラ取付け時の取付け位置、取付け角度、設置高さ等は事前に設計された値に設定されているが、実際に取付けた際に誤差を生じるため、各カメラで撮影した画像を合成したときに合成画像の接合部分がずれて不連続になることがあった。このため、撮影領域内に校正パターンを配置し、撮影した校正パターンに基づいて撮影画像の座標を校正するキャリブレーション（較正）装置がある。
【０００４】
例えば特許文献１の例では、４個のカメラの撮影領域に１辺の長さが１ｍ〜１．５ｍ程度の正方形状の校正パターンを４つ配置し、夫々のカメラで撮影した画像を合成する際に各校正パターンを利用して画像の位置合わせを行うようにしている。しかしながら、特許文献１の例では、地面等にキャリブレーション用の特殊な校正パターンを配置する必要があり、また自車の位置を特定するために正確な位置に校正パターンを配置する必要がある。
【０００５】
また特許文献２には、駐車場に引いてある駐車スペース示す白線同士が交わってできる４つの角（特徴点）を検出し、それらの４つの特徴点を用いてカメラパラメータ（カメラの取付け位置、取付け角度、焦点距離等）を計算するキャリブレーション装置が記載されている。
【０００６】
しかしながら、特許文献２の例では、検出する特徴点が多くなるため、ある程度離れた位置から検出する必要があり、前後左右のカメラで特徴点を検出する場合には、車の向きを変えるため移動量が多くなる。また手動で自車位置を調整する必要や、車両に特徴点を設定する必要がある。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００８−１８７５６６号公報
【特許文献２】特開２００２−１３５７６５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
従来の車載カメラ装置では、各カメラで撮影した画像を合成したときに合成画像の接合部分がずれて不連続になることがあるため、校正パターンに基づいて撮影画像の座標を校正するようにしているが、特許文献１の例では、地面等にキャリブレーション用の特殊な校正パターンを配置する必要があり、特許文献２の例では、駐車場に引いてある白線同士が交わってできる４つの角（特徴点）を検出してカメラパラメータを計算する必要がある。
【０００９】
本発明はこのような事情に鑑み、駐車場の白線を利用し白線の２つの特徴点とその交差する２方向の情報を利用して各画像の位置合わせを行うことができるキャリブレーション装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
請求項１記載のカメラキャリブレーション装置は、車両に搭載した複数のカメラを有し、前記複数のカメラによって前記車両の周囲を撮影する撮像部と、前記複数のカメラで撮影した画像から駐車枠を示す直線画像を識別し、それぞれのカメラ画像から前記駐車枠の特徴点を少なくとも２つ検出する特徴点検出部と、前記特徴点検出部で検出した特徴点とその交差する２方向の情報をもとに前記各カメラの画像を合成して真上からの視点に変換した俯瞰画像を生成する視点変換部と、前記俯瞰画像から前記車両と前記直線画像との境界位置を判別して車両画像の表示枠を決定し、前記俯瞰画像に対する前記表示枠の割合及び位置が予め指定した値になるように前記俯瞰画像を変更する調整部と、前記変更した俯瞰画像をもとに計算された前記各カメラの特性を示すカメラパラメータを格納するカメラデータ記憶部と、を具備したことを特徴とする。
【発明の効果】
【００１１】
本発明のカメラキャリブレーション装置によれば、駐車場の白線を利用するため特殊な校正パターンを必要とせず、また白線の２つの特徴点とその交差する２方向の情報を利用するため、キャリブレーションのために駐車枠から離れて撮影する必要がない。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施形態に係るカメラキャリブレーション装置の構成を示すブロック図。
【図２】カメラの配置の一例を示す平面図。
【図３】車両を駐車場に駐車した場合を示す平面図。
【図４】駐車場の白線を撮影する際の３パターンを示す説明図。
【図５】パターンＡにおいて前方、左、右のカメラで撮影した画像を示す説明図。
【図６】パターンＢにおいて後方、左、右のカメラで撮影した画像を示す説明図。
【図７】パターンＣにおいて後方、左、右のカメラで撮影した画像を示す説明図。
【図８】３次元空間座標系の定義を示す説明図。
【図９】調整された後の後方、左、右のカメラの画像を示す説明図。
【図１０】白線枠の位置と車両の位置のずれを示す説明図。
【図１１】俯瞰画像の表示領域における自車の表示枠を示す説明図。
【図１２】パターンＡ、Ｂでのカメラの調整画像を示す説明図。
【図１３】調整画像を長方形にするための説明図。
【図１４】カメラキャリブレーションの動作を示すフローチャート。
【図１５】本発明の変形例における特徴点と角度の検出を説明する説明図。
【図１６】パターンＤにおいて各カメラで撮影した画像を示す説明図。
【図１７】パターンＤにおいて白線が自車によって消える境界を示す説明図。
【図１８】パターンＦにおける白線枠を示す説明図。
【図１９】パターンＧにおける白線枠を示す説明図。
【図２０】パターンＧにおいて各カメラで撮影した画像を示す説明図。
【図２１】直線（白線）をまたいで絶対位置を調整する際の説明図。
【図２２】車両が白線又は地面と同じような色の場合を示す説明図。
【図２３】自車と白線の境界の検出について説明する説明図。
【発明を実施するための形態】
【００１３】
以下、この発明の一実施形態について図面を参照して説明する。
【実施例１】
【００１４】
図１は、本発明の一実施形態に係るカメラキャリブレーション装置の構成を示すブロック図である。図１のカメラキャリブレーション装置は、撮像部１０、カメラデータ記憶部２０、特徴点検出部２１、空間再構成部２２、空間データバッファ２３、視点変換部２４、示パターン記憶部３０、画像合成部４０及び表示部５０を備えている。
【００１５】
撮像部１０は、自車の周囲の映像を撮影する例えば４つのカメラ１１，１２，１３，１４を有している。４つのカメラ１１，１２，１３，１４は、車両の前方、後方、左側、右側を夫々撮影するものである。また各カメラ１１〜１４は、魚眼カメラ等の広角カメラを使用するとよい。各カメラ１１〜１４の位置については後述する。
【００１６】
カメラデータ記憶部２０は、各カメラ（１１〜１４）の特性を示すカメラパラメータを格納するカメラパラメータテーブル２０１を含む。カメラパラメータは、各カメラ１１〜１４で撮影した画像から特徴点を抽出し特徴点の情報をもとに計算によって得ることができる。カメラパラメータは、カメラの取付け位置、カメラの取付け角度、カメラのレンズ歪み補正値、カメラのレンズの焦点距離などといったカメラ特性を表わすものである。各カメラ（１１〜１４）で撮影した画像の複数の特徴点と、これら特徴点の３次元座標系内での位置との対応関係が取れていれば、カメラパラメータを計算によって近似的に求めることができる。尚、カメラパラメータを計算によって求める方法については、特許文献２にも記載されている。
【００１７】
特徴点検出部２１は、カメラ（１１〜１４）からの入力画像をもとに、車両周囲の例えば路面に描かれた駐車場の白線など、路面上の特徴点を検出する。空間再構成部２２は、カメラパラメータをもとに３次元空間の空間モデルにマッピングした空間データを作成する。また空間再構成部２２は、特徴点検出部２１で検出した路面上の特徴点と車両の現在位置にもとづいて空間モデルを逐次変更する。
【００１８】
空間データバッファ２３は、空間再構成部２２にて作成された空間データを一時的に格納する。視点変換部２４は仮想視点を設定し、空間データバッファ２３からの空間データを参照して任意の仮想視点から見た画像を作成する。
【００１９】
表示パターン記憶部３０は、画像記憶部３１とマッピングテーブル３２を含む。画像記憶部３１は、自車を真上からみた俯瞰画像や、斜め後方等からみた俯瞰画像を記憶するものである。即ち、カメラ１１〜１４は自車の周囲を夫々撮影し、撮影した画像に基づいて自車の背景画像を生成するが、背景画像に表示されるのは実景のみである。したがって、背景画像の所定の位置に自車の俯瞰画像を合成するため、予め自車を真上から撮影した画像や斜め後方等からみた画像を俯瞰画像として画像記憶部３１に記憶している。或いは、自車を示すイラスト画像を生成し、このイラスト画像を俯瞰画像として記憶している。撮影した画像やイラスト画像は１つに限らず、複数種記憶しておき、任意のものを選択できるようにしている。
【００２０】
マッピングテーブル３２は、カメラ１１〜１４で撮影した画像の画素データと、自車の周辺を仮想視点から見た背景画像の画素データとの対応関係を記憶したテーブルであり、撮影された画像の画素が背景画像のどの画素に対応するかを示す変換情報を記憶している。
【００２１】
画像合成部４０は、視点変換部２４にて視点変換した画像（俯瞰画像）と、表示パターン記憶部３０からの仮想視点に対応した自車画像（イラスト画等）を合成し、表示部５０に表示する。また画像合成部４０は、撮影部１０で撮影した任意のカメラ画像を選択して表示部５０に表示することができる。
【００２２】
次にカメラ１１〜１４の配置の一例を、図２を参照して説明する。本実施形態では、４つのカメラ１１〜１４を配置している。図２は、車両１を真上から見た図であり、例えば車両１の前方部にカメラ１１を配置し、後方部にカメラ１２を配置する。また車両１の左側のサイドミラーにカメラ１３を配置し、右側のサイドミラーにカメラ１４を配置する。
【００２３】
こうして各カメラ１１〜１４は、車両１の４辺に配置される。各カメラ１１〜１４は、車両１の全周囲を撮影するため魚眼カメラにすると良い。尚、以下の説明では、カメラ１１を前方カメラ、カメラ１２を後方カメラ、カメラ１３を左カメラ、カメラ１４を右カメラと呼ぶ。またカメラ１１〜１４を備えた車両１を自車１と呼ぶこともある。
【００２４】
以下、本発明のカメラキャリブレーション装置の主要部（特徴点検出部２１、空間再構成部２２、視点変換部２４、カメラデータ記憶部２０、空間データバッファ２３）の動作を説明する。カメラキャリブレーションのために必要とするレンズ歪補正は、特許文献２にも記載されているが、例えば温度センサと温度補正テーブルを設け、気温の上昇や下降に伴って変化するレンズ歪を補正する。またカメラは車両１の前後左右の４か所に設置されているものとする。
【００２５】
<相対位置調整>
本実施形態では、先ず複数のカメラ（１１〜１４）を図２で説明したように車両の前後左右に取り付ける。そしてレンズ歪補正をした後に、ある程度カメラが地面の向きになるように画像を視点変換させた画像にする。そのとき、その画像の面に対する視点の位置も記憶しておく。駐車場の駐車枠は、図３に示すように駐車スペースを示す四角の枠と、横に延びた線とし、画像の取得パターンは３パターンとする。
【００２６】
図３は、車両１を駐車場に駐車した場合を示す平面図である。駐車場には駐車枠２を示す白線が引かれており、駐車枠２は、前方の白線２ａ、後方の白線２ｂ、左側の白線２ｃ、右側の白線２ｄで構成されている。次に駐車場の駐車枠２内に車両１をある程度真っ直ぐに入れて複数のカメラ（１１〜１４）で駐車場の白線（２ａ〜２ｄ）を撮影し、３パターン（パターンＡ，Ｂ，Ｃ）の白線画像を取得する。
【００２７】
パターンＡの画像とは、図４（ａ）で示すように車両１を駐車枠２の後方にずれた位置に移動させ、前方カメラ１１、左カメラ１３及び右カメラ１３で駐車枠２を撮影した画像を意味する。パターンＣの画像とは、図４（ｃ）で示すように車両１の前方が駐車枠２の白線２ａを完全に越えた位置にくるように移動させて撮影した画像を意味する。またパターンＢの画像とは、図４（ｂ）で示すように車両１がパターンＡとパターンＣの間の位置にくるように移動させて撮影した画像を意味する。尚、図４以降においては、便宜上、駐車枠２の白線を黒い太い線で示す。
【００２８】
次に３パターンの画像から地面に描かれた白線（駐車枠を示す直線画像）を検出して特徴点を検出するが、特徴点（白線）を検出するには色々な手法がある。例えば撮影した画像データを、白線を検出しやすいようにモノクロ画像にして入力し、画像プロセッサによってエッジ抽出処理を行う。即ちカラー画像データをグレースケールデータ（モノクロ画像）に変換し、グレースケールデータの輝度平均値や、輝度の中央値等の閾値を設定する。そして、画素間の輝度の勾配等が閾値未満であるときはエッジとして検出せず、閾値以上であるときはエッジとして検出する。或いはグレースケールデータに変換した画像データの各画素の輝度と、各画素に隣接する画素の画素値の差分を検出し、差分の大きい画素をエッジとして検出する。これによりエッジの座標が算出され、このような方法により地面に描かれた白線を検出する。
【００２９】
図５（ａ），（ｂ），（ｃ）は、パターンＡにおいて前方カメラ１１、左カメラ１３、右カメラ１４で撮影した画像を示す。図６（ａ），（ｂ），（ｃ）は、パターンＢにおいて後方カメラ１２、左カメラ１３、右カメラ１４で撮影した画像を示す。図７（ａ），（ｂ），（ｃ）は、パターンＣにおいて後方カメラ１２、左カメラ１３、右カメラ１４で撮影した画像を示す。図５〜７において、隣に別の車両が駐車していた場合は、隣の車両の画像も取得されるが特に支障はない。
【００３０】
図５のパターンＡの画像からは、前方カメラ１１で撮影した特徴点Ａ１，Ａ２と、その交差する２つの方向を検出する。つまり特徴点Ａ１，Ａ２の検出だけでなく、特徴点において白線が交差する２つの方向を検出する。また左方カメラ１３で撮影した特徴点Ａ１と、右カメラ１４で撮影した特徴点Ａ２を検出する。特徴点Ａ１は、白線２ａと白線２ｃの交点に相当し、特徴点Ａ２は、白線２ａと白線２ｄの交点に相当する。
【００３１】
図６のパターンＢの画像からは、後方カメラ１２で撮影した特徴点Ｂ１，Ｂ２を検出する。また左カメラ１３で撮影した特徴点Ａ１とその交差する２つの方向、及び特徴点Ｂ１を検出し、右カメラ１４で撮影した特徴点Ａ２とその交差する２つの方向、及び特徴点Ｂ２を検出する。特徴点Ｂ１は、白線２ｂと白線２ｃの交点に相当し、特徴点Ｂ２は、白線２ｂと白線２ｄの交点に相当する。
【００３２】
図７のパターンＣの画像からは、後方カメラ１２で撮影した特徴点Ｂ１，Ｂ２とその交差する２つの方向を検出する。また左カメラ１３で撮影した特徴点Ａ１とその交差する２つの方向を検出し、右カメラ１４で撮影した特徴点Ａ２とその交差する２つの方向を検出する。尚、図５〜図７において、特徴点をそれぞれ円で囲って示しているが、太い円は特徴点とその交差する２つの方向を検出することを意味し、細い点線の円は特徴点のみを検出することを意味する。
【００３３】
またパターンＡ，Ｂ，Ｃ（図４）で示すように車両１が移動したとき、各カメラの位置と各特徴点の相対位置が変わるため、特徴点とその交差する２つの方向を検出する場合は、特徴点から離れ過ぎない位置、つまり交差する２つの方向が分かりやすい位置で検出する。例えば、パターンＢ（図６）とパターンＣ（図７）でそれぞれ特徴点Ｂ１，Ｂ２を検出した場合、パターンＣの方が交差する２つの方向を把握しやすいため、パターンＢでは特徴点Ｂ１，Ｂ２の交差する２つの方向は検出しない。尚、特徴点Ａ１，Ａ２，Ｂ１，Ｂ２を検出する場合は、白線の中心同士が交わる点を特徴点として検出しているが、より精度を上げるためには、白線の中心ではなく白線の端を検出して特徴点や交差する２つの方向を求めるとよい。
【００３４】
次に各カメラ（１１〜１４）で撮影した画像を真上からの視点に変換する。先ず前方カメラ１１の画像は、パターンＡの２つの特徴点Ａ１，Ａ２とその交差する２つの方向より、夫々の角度が直角になるように計算する。
【００３５】
ここで、先ず３次元空間座標系を定義する。例えば車両１の後面に平行な路面上の直線をｘ軸、車両１の後面に垂直な路面上の直線をｙ軸、路面から車両方向に垂直に伸びる軸をｚ軸とする３次元空間座標系を定義する。本座標系においてカメラの向きは、カメラの位置を(0,0,0)とした場合、ｘ軸に対して回転する角度をα、ｙ軸に対して回転する角度をβとし、ｚ軸に対して回転する角度をγとして表すものとする。以下、３次元空間座標系もしくは３次元空間は、本定義による３次元空間座標系を指すものとする。
【００３６】
図８のように座標系を定義した場合、夫々の軸の回転計算は以下のようになる。
【００３７】
ｘ軸中心回転は、
ｘ’＝ｘ
ｙ’＝y・cos(α)＋z・sin(α)
ｚ’＝−y・sin(α)＋z・cos(α)
ｙ軸中心回転は、
x’＝x・cos(β)＋z・sin(β)
y’＝y
z’＝−ｘ・sin(β)＋z・cos(β)
z軸中心回転は、
x’＝x・cos(γ)＋y・sin(γ)
y’＝-x・sin(γ)＋y・cos(γ)
z’＝z
画像はカメラの向きが、ある程度地面向きになるように、視点変換された画像(−ｚ方向に地面がある)にする。そのため検出する特徴点の交差する２つの方向はある程度直角になっている。カメラの向きを−ｚ方向として画像の配置を図８の点線のように配置する。画像はｚ軸に対して垂直にする。
【００３８】
上記の位置の画像より、特徴点とその交差する２つの方向を検出した座標を計算する。２方向は適当な長さにして２つの座標とし、特徴点とあわせて３座標にする。夫々の座標の角度ａｂｃ (ｂが特徴点)が−ｚ方向に見て直角になるようなｘ軸回転角度とｙ軸回転角度を計算する。
【００３９】
上記のｘ軸中心回転とｙ軸中心回転の計算式より回転後の座標は、
x’＝x・cos(β)−y・sin(α)・sin(β)＋z・cos(α)・sin(β)
y’＝y・cos(α)+z・sin(α)
z’＝−x・sin(β)−y・sin(α)・cos(β)＋z・cos(α)・cos(β)
となる。その座標がカメラ視点から−ｚ方向に見て直角に見えるためには、
Ｘ＝ｘ／（−ｚ）、Ｙ＝ｙ／（−ｚ）
に変換した座標(Ｘ，Ｙ)による直線ａｂと直線ｂｃが直角になればよいので、直線ａｂと直線ｂｃの＋ｘ方向に対する傾き（２次元の直線の式であるｙ＝ａｘ＋ｂのａ)は、
直線ａｂ : (Ｙ(a)−Ｙ(b))／(Ｘ(a)−Ｘ(b))
直線ｂｃ : (Ｙ(c)−Ｙ(b))／(Ｘ(c)−Ｘ(b))
となり、その２つの傾きを乗算した値が−１となるのが直角である。
【００４０】
その計算式はｆ１(α,β) ＝０と表し、もうひとつの特徴点から導き出した計算式をｆ２(α,β)＝０と表す。そして、非線形連立方程式(ニュートン法)などを用いてαとβの解を出す。非線形連立方程式(ニュートン法)は一般的であるため簡単に説明する。
【００４１】
２つの解を導き出すニュートン法の方程式は以下のようになる。
【数１】
【００４２】
「δf1 / δα」とは関数f1(α,β)＝０をαで偏微分した結果である。また、ΔαとΔβが導き出される解であるが、最初に設定したαとβに対する差分であり、誤差を含んでいる。αとβは０に近い値になるように地面の向きを設定しているので、最初はαとβを０として値を代入し計算する。そして得られたΔαとΔβを元の値のαとβに加算し、再計算させてΔαとΔβがほぼ０となるように何回か計算し収束させる。
【００４３】
αとβは０に近い値になるように地面の向きを設定しているので、α,βは−４５度以上＋４５度以下(もっと広くしてもよい)として計算を収束させる(上記の方法では複数の収束解があるため制限を入れる)。この計算方法によりｘ軸回転角度とｙ軸回転角度を導き出す。
【００４４】
同様に、後方カメラ１２の画像は、パターンＣでの２つの特徴点Ｂ１，Ｂ２とその交差する２つの方向より、夫々の角度が直角になるように計算する。また左カメラ１３の画像は、パターンＢの前方の特徴点Ａ１とその交差する２つの方向、及びパターンＣの前方の特徴点Ａ１とその交差する２つの方向より、夫々の角度が直角になるように計算する。さらに、右カメラ１４の画像は、パターンＢの前方の特徴点Ａ２とその交差する２つの方向、及びパターンＣの前方の特徴点Ａ２とその交差する２つの方向より、夫々の角度が直角になるように計算する。こうして計算結果をもとに、画像を真上からの視点に変換する。
【００４５】
次にパターンＢでの駐車場枠２に向きを合わせる。つまり、地面の真上から見た画像に変換しただけでは、夫々の特徴点Ａ１，Ａ２，Ｂ１，Ｂ２の角度が直角になるだけで、向きはばらばらである。したがって、向きを駐車場枠２に合わせるため、後方カメラ１２の画像は、パターンＣの２つの特徴点Ｂ１，Ｂ２により、その特徴点が真横になるように調整(z軸回転)する。後方カメラ１２は、前方カメラ１１に対して１８０度回転しているので、左側を右側、右側を左側になるように調整する。
【００４６】
左カメラ１３の画像は、パターンＢの２つの特徴点Ａ１，Ｂ１により、その特徴点が真縦になるように、前方を上側、後方を下側になるように調整する。右カメラ１３の画像は、パターンＢの２つの特徴点Ａ２，Ｂ２により、その特徴点が真縦になるように、前方を上側、後方を下側になるように調整する。尚、前方カメラ１１の画像は、パターンＢでは特徴点が取得できていないので向きの調整は行わない。こうして調整された後の後方カメラ１２、左カメラ１３及び右カメラ１４の画像は、図９（ａ），（ｂ），（ｃ）のようになる。
【００４７】
次に、パターンＢでの左カメラ画像の２つの特徴点Ａ１，Ｂ１間の長さと、右カメラ画像の２つ特徴点Ａ２，Ｂ２間の長さが同じになるように、左右のカメラ１３，１４の拡大率を決定する。さらにパターンＢでの後方カメラ１２の２つの特徴点Ｂ１，Ｂ２と、左右のカメラ１３，１４の後方の特徴点Ｂ１，Ｂ２が一致するように、またパターンＣでの後方カメラ１２の２つの特徴点Ｂ１，Ｂ２と左右のカメラ１３，１４の後方の特徴点Ｂ１，Ｂ２が一致するように後方のカメラの拡大率を決定する。
【００４８】
もしくは、白線枠２の縦横比を入力しておいて、パターンＢでの後方カメラ１２の２つの特徴点Ｂ１，Ｂ２間の長さと左カメラ画像の２つの特徴点Ａ１，Ｂ１間の長さ、または、右カメラ画像の２つ特徴点Ａ２，Ｂ２間の長さが入力しておいた縦横比になるように、後方カメラ１２の拡大率を決定する。
【００４９】
左右のカメラ１３，１４と後方カメラ１２での拡大率により、視点の相対的な高さが決定されるので、その視点の高さにしたがって、パターンＢでの後方カメラ１２の２つの特徴点Ｂ１，Ｂ２と左右のカメラ１３，１４の後方の特徴点Ｂ１，Ｂ２が一致するように地面方向に対して水平に移動し、左右のカメラ１３，１４と後方カメラ１２の相対的な視点位置を決定する。
【００５０】
次にパターンＡでの２つの特徴点Ａ１，Ａ２の画像と左右のカメラ１３，１４の前方の特徴点Ａ１，Ａ２画像が一致するように、前方カメラ１１の地面方向に対する回転角度と拡大率、及び相対的な視点位置を決定する。こうして決定した白線枠２の画像は図１０のようになる。
【００５１】
しかしながら、図１０から分かるが、この図では駐車場の白線枠２が垂直になっているだけで、車両１に対しては必ずしも垂直になっていない。また線の長さを駐車場の白線枠２の長さにあわせているので、車両１の大きさが大きかったり小さかったりする。また白線枠２の位置も車両１の位置に対して左にずれていたり前にずれていたりする。また車両１と白線枠２の境界がはっきりしないので、白線枠２映像に車両が写りこむ。そこで、次に絶対位置調整を行う。
【００５２】
<絶対位置調整>
図１０では、自車１の大きさ、位置、向きが特定されていない状態にあるため、この状態から図１１のように、俯瞰画像の表示領域Ｒに対して自車の表示枠が予め決められた範囲内になるように調整する。図１１において、太い枠で示す領域Ｒは、俯瞰画像の表示領域であり、横幅ｗと縦幅ｈで規定される。また自車の表示枠は、縦幅をａとし、横方向の中心位置をｘ、縦方向の中心位置をｙとしている。
【００５３】
先ず図１２のように、パターンＡ，Ｂから車両１と地面の境界を検出する。検出方法は白線２が自車１によって消失する位置（境界位置）を特定する方法とする。駐車場の白線２が直線で太さが変わらない領域が白線の領域で、その先端が境界となる。図１２（ａ）は前方カメラ１１のパターンＡでの調整画像（特徴点の角度を直角に調整し、特徴点が真横になるように調整し、ほかのカメラに対する相対位置を調整した画像）であり、（ｂ）は後方カメラ１２のパターンＢでの調整画像である。（ｃ）は左カメラ１３のパターンＢでの調整画像であり、（ｄ）は右カメラ１４のパターンＢでの調整画像である。誤差を吸収するためにＡ，Ｂ，Ｃの夫々のパターンでの調整画像を取得してもよい。
【００５４】
それらの調整画像から、つまり図１２（ａ）〜（ｄ）の画像から境界位置を２点ずつ検出する。図１２（ａ）では、境界位置をそれぞれ円Ａ３，Ａ４で示し、（ｂ）では円Ａ５，Ａ６で示す。また、図１２（ｃ）では、境界位置を円Ｂ３，Ｂ４で示し、（ｄ）では円Ｂ５，Ｂ６で示す。
【００５５】
そして、検出した左右のカメラ１３，１４の２点の境界点から境界線を作り出す。そして境界線が左右ともに真縦に一番近い角度になるように絶対角度を計算し、夫々のカメラ１１，１２，１３，１４の調整画像の向きや位置を調整する。また、前後のカメラ１１，１２の画像を用いて行ってもよい。この場合は、境界線が前後ともに真横に一番近い角度になるように絶対角度を計算し、夫々のカメラ１１，１２，１３，１４の調整画像の向きや位置を調整する。
【００５６】
上述した調整では境界線が夫々斜めになっている可能性があるので、長方形にするために夫々のカメラ（１１〜１４）画像における４つの境界線より四角形を作り出す。例えば、図１３で示すように、前方カメラ１１による境界線が直線Ｘ１、後方カメラ１１による境界線が直線Ｘ２、左カメラ１３による境界線が直線Ｙ１、右カメラ１４による境界線が直線Ｙ２であったと仮定し、各境界線の交点を求め、各交点におけるｘ軸方向とｙ軸方向の夫々の最小値と最大値で規定される長方形（太い点線で示す）を作成する。
【００５７】
この長方形は、自車のイラスト画像等を表示する表示枠となり、俯瞰画像に対する表示枠の割合及び位置が予め指定した値になるように俯瞰画像を変更し、俯瞰画像が予め設定した表示領域Ｒ（図１１）に収まるように調整する。空間再構成部２２は俯瞰画像を変更する調整部を構成する。
【００５８】
こうして、カメラ位置、カメラの向き決定して、カメラデータ記憶部２０にカメラパラメータが格納される。
【００５９】
図１４は、以上の動作を示すフローチャートである。図１４において、ステップＳ１は、カメラキャリブレーションの開始ステップであり、ステップＳ２では各カメラ（１１〜１４）を車両の前後・左右に取り付ける。次にステップＳ３では、駐車場の白線画像をＡ，Ｂ，Ｃの３パターンで取得する。ステップＳ４では、白線を検出しやすいように画像を調整（グレースケールデータに変換）し、夫々必要な特徴点を検出する。ステップＳ５では、各カメラで地面方向を−ｚ方向として夫々の特徴点とその交差する２つの方向により、ｘ軸回転角度とｙ軸回転角度を計算する。またステップＳ６では、白線の枠に合せて夫々のカメラのｚ軸回転角度を計算する。
【００６０】
次にステップＳ７では、左右のカメラ１３，１４での白線の縦軸長さが同じになるように、左右のカメラ１３，１４の拡大率を計算する。ステップＳ８では、パターンＢとパターンＣでの後方カメラ１２の特徴点より後方カメラ１２の拡大率を計算する。ステップＳ９では、パターンＢでの後方カメラ１２の特徴点の位置が左右のカメラ１３，１４と一致するように、左右と後方カメラの相対位置を計算する。そしてステップＳ１０では、パターンＡでの前方カメラ１１の特徴点の位置が左右のカメラ１３，１４と一致するように、左右と前方カメラの相対位置を計算する。
【００６１】
次にステップＳ１１では、白線が自車によって消失する位置（自車から現れる位置）を検出する。ステップＳ１２では、検出された消失位置から境界線を作成する。またステップＳ１３では左右のカメラ１３，１４の境界線の平均が、真縦になるように絶対角度を計算し、夫々のカメラで撮影した画像の向きや位置を補正する。ステップＳ１４では、前後左右の境界線より夫々の境界線の交点のｘ軸とｙ軸の最小値、最大値を計算し、その領域（表示枠）を車両の表示領域とする。ステップＳ１５では、予め設定しておいた車両表示領域に従って、夫々の画像の拡大率、位置を決定し、ステップＳ１６で終了する。
【００６２】
こうして、白線枠２内に車両１が駐車されたときに、俯瞰画像の表示領域Ｒ内に方形状の白線枠２と、白線枠２内に駐車された自車１のイラスト画像が表示され、各カメラ１１〜１４で撮影された画像が正常に合成されて、繋ぎ目が段違いになるのをなくすことができる。また各カメラ１１〜１４では少なくとも２つの特徴点を検出すればよいため、キャリブレーションが簡単になる。
【００６３】
次に本発明の実施形態の変形例について説明する。各カメラ（１１〜１４）の取り付け位置が距離的に分かっている場合は、カメラの取付け向きだけが分からない状態になる。その場合は、車両１を移動して夫々のカメラ（１１〜１４）について２つの特徴点とその交差する２つの方向を検出しなくても済む。
【００６４】
即ち、図１５（ａ）のパターンＤのように、前後のカメラ１１，１２において、夫々で横切る白線２ａ，２ｂが見え、さらに左右のカメラ１３，１４で２つの特徴点と夫々に対する交差する２つの方向を見つけられる状態であれば車両を移動しなくてもよい。或いは、図１５（ｂ）のパターンＥのように、左右のカメラ１３，１４の夫々で縦の白線２ｃ，２ｄが見え、さらに前後のカメラ１１，１２で２つの特徴点と夫々に対する交差する２つの方向を見つけられる状態であれば車両を移動しなくてもよい。
【００６５】
図１６を参照して、パターンＤについて説明する。図１６（ａ）〜（ｄ）は、パターンＤにおいて各カメラ１１〜１４で撮影した画像を示す。パターンＤの画像からは、前方カメラ１１で撮影した特徴点Ａ１１，Ａ１２と、後方カメラ１２で撮影した特徴点Ｂ１１，Ｂ１２を検出する。また左カメラ１３で撮影した特徴点Ａ１１，Ｂ１１と、右カメラ１４で撮影した特徴点Ａ１２，Ｂ１２と夫々の交差する２つの方向を検出する。
【００６６】
次に左カメラ１３と右カメラ１４の画像での２つの特徴点とその交差する２つの方向が夫々直角になるように前述した計算式に従って回転処理を行う。また地面に対して垂直方向の回転を、左右のカメラ１３，１４の画像の白線が真縦になるように回転させる。次に左右のカメラ１３，１４の高さより、真縦にした白線の長さがわかる。その白線の端の特徴点と左右のカメラ１３，１４の位置関係より、前後のカメラ１１，１２に映し出されている横線の特徴点の間隔を計算する。前後のカメラ１１，１２に映し出されている横線の特徴点と前後のカメラ１１，１２の位置より、前後のカメラ１１，１２の向きを特定する。計算式は以下のようになる。
【００６７】
自車１の左前の特徴点を例にする。前方カメラ１１の回転前の左側の特徴点位置を(ｘ,ｙ,ｚ)とし、前方カメラ１１の取り付け位置に対する左のカメラ１３での計算結果の特徴点位置を(ｘａ，ｙａ，ｚａ)とする。特徴点(ｘ，ｙ，ｚ)をｘ軸回転し、ｙ軸回転し、ｚ軸回転した座標を(ｘｂ，ｙｂ，ｚｂ)とすると、ｘｂ，ｙｂ，ｚｂはα, β, γの関数である。
【００６８】
(ｘａ，ｙａ，ｚａ)と(ｘｂ，ｙｂ，ｚｂ)は前方カメラ１１に対する座標となっているため、カメラ視点から−ｚ方向に見た場合の頂点が同じに見えるための計算式は、
ｘａ／(−ｚａ) = ｘｂ／(−ｚｂ)
ｙａ／(−ｚａ) = ｙｂ／(−ｚｂ)
となる。そして、２つの式よりｆ１(α, β, γ)＝０とｆ２(α, β, γ)＝０の式を作成する。非線形連立方程式(ニュートン法)でα, β, γを導き出すためにはもうひとつ式が必要であるため、自車１の右前の特徴点も利用し、もうひとつの式を用意する。その３式を利用し、非線形連立方程式を解いてα, β, γを得る。
【００６９】
αとβは０に近い値になるように地面の向きを設定していて、また前方カメラ１１に関してはｚ軸回転もほとんどしていない状態なので、α，β，γは−４５度以上＋４５度以下(もっと広くしてもよい)として計算を収束させる(上記の方法では複数の収束解があるため)。この計算方法によりｘ軸回転角度とｙ軸回転角度とｚ軸回転角度を導き出す。
【００７０】
特定されたカメラの向きは夫々白線に対しての向きである。そのため、カメラの取付け位置より、白線が車両に対してどれだけ地面の垂直方向が回転しているかを計算する。次に車両１の真上から見た車両と地面の境界に対してカメラ位置がどれだけ離れているか分かっているなら、その距離に従って自車画像の表示位置と、外部映像の表示位置の境界線を決定する。もし分かっていなければ、図１７に示すように、白線が自車１によって消える境界を夫々のカメラ１１〜１４に対して最低１点見つけて、その点を自車画像の表示位置と外部映像の表示位置の境界線と決定する。
【００７１】
また、カメラの取り付け位置が特定されている状態で、車両１が小さく、白線２の角度を車両側に向かう白線により検出できるならなら、図１８のパターンＦのように四角枠のみの白線を利用することもできる。
【００７２】
つまり図４や図１５のように、四角の白線枠２から外側に延びる白線を必要とするのは、角度の精度を上げるためである。したがって、内側に延びる白線でも角度の計算はできるため、車両１が白線枠２に対してある程度小さければ、内側に向かって延びる線でも角度計算の精度は出せる。
【００７３】
さらに、最近の駐車場は図１９に示すように、四角の枠になっておらず２重線になっている場合がある。このような場合（パターンＧ）では、カメラの取り付け位置が特定されているなら、図１９の位置に自車１を設置して調整する。そして図２０のように特徴点を検出する。
【００７４】
図２０のように、特徴点と交差する２つの方向が検出できるのは後方カメラ１２の画像のみである。前方カメラ１１の画像では特徴点Ａ２１，Ａ２２がカーブになっているため、角度が正確に検出できない。後方カメラ１２での特徴点Ｂ２１〜Ｂ２４同士は同じライン上にあるため、それらの特徴点を結んだ線から２方向を特定できることになる。
【００７５】
もしくは、前方カメラ１１の画像での特徴点Ａ２１，Ａ２２の接線と、特徴点Ａ２３〜Ａ２６の直線との交点(４点あるが２点あれば計算可能)を仮想的な特徴点とし、特徴点Ａ２１，Ａ２２の接線と特徴点Ａ２３〜Ａ２６の直線を交差する２つの方向としてもよい。
【００７６】
そのため、後方カメラ１２の画像の２つの特徴点Ｂ２１，Ｂ２４とその２方向、又は特徴点Ｂ２２，Ｂ２３とその２方向により、２の特徴点の２方向のなす角度が直角になるように非線形連立方程式(ニュートン法)などでｘ軸回転角度、ｙ軸回転角度を決定する。次に２つの特徴点が真横(但し左側と右側が逆)になるようにｚ軸回転角度を決定する。
【００７７】
次に補正された後方カメラ１２での４つの特徴点Ｂ２１〜Ｂ２４と、前方カメラ１１での４つの線上の特徴点Ａ２３〜Ａ２６(図では自車との境界に見えるが、境界である必要はなく線上にあればよい)の横方向(ｘ)の座標が同じ位置に見えるように、非線形連立方程式(ニュートン法)などで前方カメラ１１のｘ軸回転角度、ｙ軸回転角度、ｚ軸回転角度を決定する(前カメラと後ろカメラの高さを考慮する)。もしくは前述した仮想的な特徴点と交差する２つの方向により前方カメラ１１のｘ軸回転角度、ｙ軸回転角度、ｚ軸回転角度を決定してもよい。
【００７８】
精度を上げるために、α、β、γの関数のひとつは、前方カメラ１１での、線の端のカーブになっている部分の２つの特徴点Ａ２１，Ａ２３を検出し(２つのカーブ位置と直線が接する位置が２つの特徴点)、その検出した２つの特徴点の縦(ｙ)の位置が同じになるような計算式にしてもよい。また、その２つの特徴点Ａ２１，Ａ２２の横(ｘ)の位置が、後方カメラ１２の左右の夫々２つの特徴点の中点（Ｂ２１とＢ２２の中点及びＢ２３とＢ２４の中点）と同じになるような計算式にしてもよい。
【００７９】
前方カメラ１１と後方カメラ１２の向きと位置が特定できたので、前後のカメラ１１，１２での車両１の左側の白線の端の特徴点Ａ２３，Ｂ２１を左カメラ１３でのカメラ位置基準になるように計算する。左カメラ１３での特徴点の検出結果を、左カメラ１３の位置を基準にｘ軸、ｙ軸、ｚ軸回転させた座標と左カメラ１３から見て同じ位置に見えるようにｘ軸、ｙ軸、ｚ軸回転の夫々の角度を計算する。計算方法は、パターンＤで説明した前後のカメラ１１，１２を左右のカメラ１３，１４に置き換えたのと同じである。同様に右側も計算させる。車両の後方の特徴点は２重線のどちら側でもよい。
【００８０】
もしくは左カメラ１３での特徴点Ｂ２１，Ｂ２２を２つの特徴点とし、それぞれの２方向は白線の方向ともう一つの特徴点(特徴点をＢ２１とした場合Ｂ２２、特徴点をＢ２２とした場合Ｂ２１)の方向として、ｘ軸回転角度、ｙ軸回転角度を決定し、次に白線が真縦になるようにｚ軸回転角度を決定してもよい。右カメラ１４も同様に、特徴点Ｂ２３，Ｂ２４とその交差する２つの方向を検出し、ｘ軸回転角度、ｙ軸回転角度、ｚ軸回転角度を決定してもよい。
【００８１】
特定されたカメラの向きは夫々白線に対しての向きである。そのためカメラの取り付け位置より、白線が車両に対してどれだけ地面の垂直方向に回転しているかを計算する。次に、車両１の真上から見た車両と地面の境界に対してカメラ位置がどれだけ離れているか分かっているなら、その距離に従って自車画像の表示位置と、外部映像の表示位置の境界線を決定する。もし分かっていなければ、前後のカメラ１１，１２は、白線が自車によって消える境界を夫々のカメラに対して最低１点見つけて(複数を平均や、信用のある位置にある方でもいい)、その点を自車画像の表示位置と外部映像の表示位置の境界線と決定する。左右のカメラ１３，１４に対しては、車両１のタイヤと地面の境界や、輪留めの車両に対する消失位置を境界線として決定する。
【００８２】
またパターンＧのような場合には、車両１を白線に対して横向きにし、２つの特徴点とその角度(２方向)を検出して計算してもよい。また白線の長さや縦横比が分かっているなら、それを計算式に入れて計算量を削減してもよい。
【００８３】
また、絶対位置の調整については、図２１のように直線（白線２）をまたいで調整してもよい。この場合、白線２を横切って消失点、出現点を検出するが、白線２を横切って境界を検出するには、車両１の進行方向に対して横方向が望ましい。また車両１の進行は極力舵角をもたないように直線的に移動することが望ましい。それを前提に先ず前方カメラ１１での境界検出方法を説明する。
【００８４】
図２１のように最初に白線２を検出して、進行方向と思われる方向に対する白線２の太さを測定する。その測定を進行方向と思われる方向に対して垂直方向に、適当な距離をもたせ複数個所行う。進行方向が回転していなければ、取得した白線２の進行方向に対する太さは変わらない。そのため、さらに前進した場合、夫々の位置での白線２の太さが変わる位置が自車１の境界となる。
【００８５】
図２２（ａ）に示すように、車両１が白線２と同じような色であれば線は太くなり、逆に図２２（ｂ）に示すように、車両１が地面と同じような色であれば線は細くなる。そして夫々の境界点を、最小２乗法などによって全体の境界を決める。また後方カメラ１２の画像も同様な処理で境界を決定することができる。
【００８６】
次に右カメラ１４の画像における境界検出方法を説明する。図２３に示すように最初に白線２を検出してその直線の向きを測定し、向きに対する太さを測定する。次に白線２に対してその直線の向きと太さが維持できなくなった場所を境界と決定する。図２３（ａ）は車両１が白線２と同じような色の場合を示し、図２３（ｂ）は車両１が地面と同じような色の場合を示す。
【００８７】
以上の作業を、自車１を移動させながら複数回行い、夫々の境界点を最小２乗法などによって全体の境界を決める。また図２３（ｃ）のように、白線２が自車１への映り込み、向きも太さも変わらない直線として認識してしまう場合を想定し、明らかにほかの境界点と位置がずれている場合は除外する。また左のカメラ１３も同様な処理で境界を決定することができる。こうして、夫々のカメラ画像に対する境界位置を特定することができる。
【００８８】
次に、自車の向きを表示映像に対して垂直にするために、左右のカメラ１３，１４の画像より求めた境界線の平均を自車１の傾きとして決定する。その傾きを補正した状態で、前後のカメラ１１，１２画像の境界より自車１の縦幅を導き出す。また左右のカメラ１１，１２画像の境界より自車１の横幅を導き出す。さらにその縦幅と横幅より自車１の中心位置を特定する。以上の結果と図１１で設定した値により、自車１の位置、向き、大きさは特定される。以上により、自車位置と向きを簡単に調整することが可能となる。
【００８９】
尚、絶対位置の調整は、相対位置調整で得られたカメラの位置によって調整してもよい。つまり左右のカメラ１３，１４が、車両１の縦方向に対して同じ距離についている場合には、その位置が真横になるように調整し、夫々のカメラの位置を境界線とする。
また、以下に述べるような各種の変形例も可能である。
【００９０】
（１）駐車場の枠２に対して車両１を横向きに進行してキャリブレーションしてもよい。横の線が車両に対して離れるので、四角の枠からはみ出す線は必要とせず、内側に伸びた線によって角度の計算をすることができる。
（２）左右のカメラ映像に映る前方のタイヤ(もしくは後方のタイヤ)を検出し、その左右のタイヤの位置が表示映像に対して水平になるように自車の向きを決定してもよい。タイヤの検出は映像を地面に対して垂直になるように変換してから検出するとよい。これにより複雑な形の車両にも対応できるようになる。
（３）白線の消失点を検出しやすいように、予め自車に反射しないようなシートを貼り付けておいても良い。白線が自車に反射して映りこんだときにも、正確に白線の消失点を検出することができる。
（４）白線の消失位置がカメラの視野と同じである場合は、車両の位置がカメラに対して分からなくなる。車両の形が分かっているなら、前や後ろのどちらかのカメラに映った車両に対する白線の消失位置に合わせて表示すればよい。また、前と後ろの両方とも車両に対する白線の消失位置がカメラの視野と同じ場合は、左右のカメラに映る車両のタイヤの位置で合わせるとよい。これにより前後のカメラに車両が映っていないときにも対応することができる。
（５）４つのカメラ１１〜１４を用いる例について説明したが、カメラの数をもっと多くしてもよいし、少なくしてもよい。
（６）トップビュー画像における自車画像の位置など、絶対距離を正確に設定する必要がある場合は、前後のタイヤ間の距離や、車幅、白線の距離などを一つ設定しておき計算してもよい。また、加速度センサや車速パルスを用いて車速を出しておき、直線の移動量から距離を正確に判定してもよい。これにより距離が正確に設定できる。
（７）調整精度をあげるため、より沢山の画像を取得してもよい。
（８）白線の消失位置を、大まかにではなく車両周りすべてを連続的に計測して、車両の形状を決定し、自車周りの映像を表示してもよい。車両の形状で自車周りの映像を表示させることができる。
（９）左右のカメラ画像で、タイヤが白線をまたいだ場合は、自車の横幅が極大となる。極大となった２点をタイヤの位置とし、自車の向きを決定してもよい。
（１０）最後に微調整を手動で行ってもよい。これにより微妙なずれや好みに合わせることができる。
（１１）車両のハンドルの陀角、加速度センサ、ジャイロなどのパラメータなどを使用しても良い。これにより、調整時間の短縮や精度向上を図ることができる。
（１２）調整しやすいように特徴点に補助線を追加してもよい。これにより駐車枠を認識しやすくなる。また計算速度を短縮することができる。また補助線は、シートとして用意してもよいし、地面に書いてもよく、補助線はどんな形態でも良い。
（１３）計算誤差を減らすために夫々の特徴点を複数取得し、最小２乗法などの計算によって決め、白線が凹んでいたり薄くなっていたりしても問題ないようにしてもよい。
（１４）白線枠が長方形のように角の角度が９０度となっていない場合に、角度がわかっていればそれに合わせて計算してもよい。例えば平行四辺形などの角が９０度となっていない場合にも対応することができる。
（１５）ユーザによって好みが違うため、キャリブレーションの設定(オンオフ、程度など)を夫々ユーザが決められるようにしてもよい。
【００９１】
以上説明したように本発明の実施形態によれば、駐車場の白線を利用してキャリブレーションを行うため、特定の校正パターンを必要としない。また白線の２つの特徴点とその交差する２方向の情報を利用するため、少なくとも２点の特徴点を検出するだけで済み、駐車枠から多く離れる必要がなく車両の移動量を少なくすることができる。また隣に他の車が駐車していても支障はない。また地面に描かれた直線を横切ったときの直線の消失点、出現点を境界とし、その境界により自車の大きさや向きなどの特定を自動で行うことができる。
【００９２】
尚、特許請求の範囲を逸脱しない範囲内で種々の変形が可能である。
【符号の説明】
【００９３】
１０…撮像部
１１…前方カメラ
１２…後方カメラ
１３…左カメラ
１４…右カメラ
２０…カメラデータ記憶部
２１…特徴点検出部
２２…空間再構成部
２３…空間データバッファ
２４…視点変換部
３０…表示パターン記憶部
４０…画像合成部
５０…表示部
【技術分野】
【０００１】
本発明は、車両に複数のカメラを搭載し、車両外部の映像を撮影して運転者向けに表示する車載カメラ装置において、カメラの取り付け時等にカメラキャリブレーションを行うカメラキャリブレーション装置に関する。
【背景技術】
【０００２】
従来、車両に複数のカメラを搭載して、車両の周囲（前方、後方、左側、右側）を撮影した画像を取得し、各画像の視点を車両上方からの視点に変換した画像（俯瞰画像）を生成して合成し、さらに自車の画像（イラスト画など）を合成してトップビュー画像のように表示する車載カメラ装置がある。俯瞰画像を表示することで自車及び周囲の状況を把握しやすくなり、例えば駐車場に車両を入れる場合などに運転者の運転を支援することができる。尚、俯瞰画像は、自車の上方などに設定した仮想視点から見た画像であり、仮想視点の位置を変えることで俯瞰画像の見え方を変えることができる。
【０００３】
ところで、従来の車載カメラ装置では、カメラ取付け時の取付け位置、取付け角度、設置高さ等は事前に設計された値に設定されているが、実際に取付けた際に誤差を生じるため、各カメラで撮影した画像を合成したときに合成画像の接合部分がずれて不連続になることがあった。このため、撮影領域内に校正パターンを配置し、撮影した校正パターンに基づいて撮影画像の座標を校正するキャリブレーション（較正）装置がある。
【０００４】
例えば特許文献１の例では、４個のカメラの撮影領域に１辺の長さが１ｍ〜１．５ｍ程度の正方形状の校正パターンを４つ配置し、夫々のカメラで撮影した画像を合成する際に各校正パターンを利用して画像の位置合わせを行うようにしている。しかしながら、特許文献１の例では、地面等にキャリブレーション用の特殊な校正パターンを配置する必要があり、また自車の位置を特定するために正確な位置に校正パターンを配置する必要がある。
【０００５】
また特許文献２には、駐車場に引いてある駐車スペース示す白線同士が交わってできる４つの角（特徴点）を検出し、それらの４つの特徴点を用いてカメラパラメータ（カメラの取付け位置、取付け角度、焦点距離等）を計算するキャリブレーション装置が記載されている。
【０００６】
しかしながら、特許文献２の例では、検出する特徴点が多くなるため、ある程度離れた位置から検出する必要があり、前後左右のカメラで特徴点を検出する場合には、車の向きを変えるため移動量が多くなる。また手動で自車位置を調整する必要や、車両に特徴点を設定する必要がある。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００８−１８７５６６号公報
【特許文献２】特開２００２−１３５７６５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
従来の車載カメラ装置では、各カメラで撮影した画像を合成したときに合成画像の接合部分がずれて不連続になることがあるため、校正パターンに基づいて撮影画像の座標を校正するようにしているが、特許文献１の例では、地面等にキャリブレーション用の特殊な校正パターンを配置する必要があり、特許文献２の例では、駐車場に引いてある白線同士が交わってできる４つの角（特徴点）を検出してカメラパラメータを計算する必要がある。
【０００９】
本発明はこのような事情に鑑み、駐車場の白線を利用し白線の２つの特徴点とその交差する２方向の情報を利用して各画像の位置合わせを行うことができるキャリブレーション装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
請求項１記載のカメラキャリブレーション装置は、車両に搭載した複数のカメラを有し、前記複数のカメラによって前記車両の周囲を撮影する撮像部と、前記複数のカメラで撮影した画像から駐車枠を示す直線画像を識別し、それぞれのカメラ画像から前記駐車枠の特徴点を少なくとも２つ検出する特徴点検出部と、前記特徴点検出部で検出した特徴点とその交差する２方向の情報をもとに前記各カメラの画像を合成して真上からの視点に変換した俯瞰画像を生成する視点変換部と、前記俯瞰画像から前記車両と前記直線画像との境界位置を判別して車両画像の表示枠を決定し、前記俯瞰画像に対する前記表示枠の割合及び位置が予め指定した値になるように前記俯瞰画像を変更する調整部と、前記変更した俯瞰画像をもとに計算された前記各カメラの特性を示すカメラパラメータを格納するカメラデータ記憶部と、を具備したことを特徴とする。
【発明の効果】
【００１１】
本発明のカメラキャリブレーション装置によれば、駐車場の白線を利用するため特殊な校正パターンを必要とせず、また白線の２つの特徴点とその交差する２方向の情報を利用するため、キャリブレーションのために駐車枠から離れて撮影する必要がない。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施形態に係るカメラキャリブレーション装置の構成を示すブロック図。
【図２】カメラの配置の一例を示す平面図。
【図３】車両を駐車場に駐車した場合を示す平面図。
【図４】駐車場の白線を撮影する際の３パターンを示す説明図。
【図５】パターンＡにおいて前方、左、右のカメラで撮影した画像を示す説明図。
【図６】パターンＢにおいて後方、左、右のカメラで撮影した画像を示す説明図。
【図７】パターンＣにおいて後方、左、右のカメラで撮影した画像を示す説明図。
【図８】３次元空間座標系の定義を示す説明図。
【図９】調整された後の後方、左、右のカメラの画像を示す説明図。
【図１０】白線枠の位置と車両の位置のずれを示す説明図。
【図１１】俯瞰画像の表示領域における自車の表示枠を示す説明図。
【図１２】パターンＡ、Ｂでのカメラの調整画像を示す説明図。
【図１３】調整画像を長方形にするための説明図。
【図１４】カメラキャリブレーションの動作を示すフローチャート。
【図１５】本発明の変形例における特徴点と角度の検出を説明する説明図。
【図１６】パターンＤにおいて各カメラで撮影した画像を示す説明図。
【図１７】パターンＤにおいて白線が自車によって消える境界を示す説明図。
【図１８】パターンＦにおける白線枠を示す説明図。
【図１９】パターンＧにおける白線枠を示す説明図。
【図２０】パターンＧにおいて各カメラで撮影した画像を示す説明図。
【図２１】直線（白線）をまたいで絶対位置を調整する際の説明図。
【図２２】車両が白線又は地面と同じような色の場合を示す説明図。
【図２３】自車と白線の境界の検出について説明する説明図。
【発明を実施するための形態】
【００１３】
以下、この発明の一実施形態について図面を参照して説明する。
【実施例１】
【００１４】
図１は、本発明の一実施形態に係るカメラキャリブレーション装置の構成を示すブロック図である。図１のカメラキャリブレーション装置は、撮像部１０、カメラデータ記憶部２０、特徴点検出部２１、空間再構成部２２、空間データバッファ２３、視点変換部２４、示パターン記憶部３０、画像合成部４０及び表示部５０を備えている。
【００１５】
撮像部１０は、自車の周囲の映像を撮影する例えば４つのカメラ１１，１２，１３，１４を有している。４つのカメラ１１，１２，１３，１４は、車両の前方、後方、左側、右側を夫々撮影するものである。また各カメラ１１〜１４は、魚眼カメラ等の広角カメラを使用するとよい。各カメラ１１〜１４の位置については後述する。
【００１６】
カメラデータ記憶部２０は、各カメラ（１１〜１４）の特性を示すカメラパラメータを格納するカメラパラメータテーブル２０１を含む。カメラパラメータは、各カメラ１１〜１４で撮影した画像から特徴点を抽出し特徴点の情報をもとに計算によって得ることができる。カメラパラメータは、カメラの取付け位置、カメラの取付け角度、カメラのレンズ歪み補正値、カメラのレンズの焦点距離などといったカメラ特性を表わすものである。各カメラ（１１〜１４）で撮影した画像の複数の特徴点と、これら特徴点の３次元座標系内での位置との対応関係が取れていれば、カメラパラメータを計算によって近似的に求めることができる。尚、カメラパラメータを計算によって求める方法については、特許文献２にも記載されている。
【００１７】
特徴点検出部２１は、カメラ（１１〜１４）からの入力画像をもとに、車両周囲の例えば路面に描かれた駐車場の白線など、路面上の特徴点を検出する。空間再構成部２２は、カメラパラメータをもとに３次元空間の空間モデルにマッピングした空間データを作成する。また空間再構成部２２は、特徴点検出部２１で検出した路面上の特徴点と車両の現在位置にもとづいて空間モデルを逐次変更する。
【００１８】
空間データバッファ２３は、空間再構成部２２にて作成された空間データを一時的に格納する。視点変換部２４は仮想視点を設定し、空間データバッファ２３からの空間データを参照して任意の仮想視点から見た画像を作成する。
【００１９】
表示パターン記憶部３０は、画像記憶部３１とマッピングテーブル３２を含む。画像記憶部３１は、自車を真上からみた俯瞰画像や、斜め後方等からみた俯瞰画像を記憶するものである。即ち、カメラ１１〜１４は自車の周囲を夫々撮影し、撮影した画像に基づいて自車の背景画像を生成するが、背景画像に表示されるのは実景のみである。したがって、背景画像の所定の位置に自車の俯瞰画像を合成するため、予め自車を真上から撮影した画像や斜め後方等からみた画像を俯瞰画像として画像記憶部３１に記憶している。或いは、自車を示すイラスト画像を生成し、このイラスト画像を俯瞰画像として記憶している。撮影した画像やイラスト画像は１つに限らず、複数種記憶しておき、任意のものを選択できるようにしている。
【００２０】
マッピングテーブル３２は、カメラ１１〜１４で撮影した画像の画素データと、自車の周辺を仮想視点から見た背景画像の画素データとの対応関係を記憶したテーブルであり、撮影された画像の画素が背景画像のどの画素に対応するかを示す変換情報を記憶している。
【００２１】
画像合成部４０は、視点変換部２４にて視点変換した画像（俯瞰画像）と、表示パターン記憶部３０からの仮想視点に対応した自車画像（イラスト画等）を合成し、表示部５０に表示する。また画像合成部４０は、撮影部１０で撮影した任意のカメラ画像を選択して表示部５０に表示することができる。
【００２２】
次にカメラ１１〜１４の配置の一例を、図２を参照して説明する。本実施形態では、４つのカメラ１１〜１４を配置している。図２は、車両１を真上から見た図であり、例えば車両１の前方部にカメラ１１を配置し、後方部にカメラ１２を配置する。また車両１の左側のサイドミラーにカメラ１３を配置し、右側のサイドミラーにカメラ１４を配置する。
【００２３】
こうして各カメラ１１〜１４は、車両１の４辺に配置される。各カメラ１１〜１４は、車両１の全周囲を撮影するため魚眼カメラにすると良い。尚、以下の説明では、カメラ１１を前方カメラ、カメラ１２を後方カメラ、カメラ１３を左カメラ、カメラ１４を右カメラと呼ぶ。またカメラ１１〜１４を備えた車両１を自車１と呼ぶこともある。
【００２４】
以下、本発明のカメラキャリブレーション装置の主要部（特徴点検出部２１、空間再構成部２２、視点変換部２４、カメラデータ記憶部２０、空間データバッファ２３）の動作を説明する。カメラキャリブレーションのために必要とするレンズ歪補正は、特許文献２にも記載されているが、例えば温度センサと温度補正テーブルを設け、気温の上昇や下降に伴って変化するレンズ歪を補正する。またカメラは車両１の前後左右の４か所に設置されているものとする。
【００２５】
<相対位置調整>
本実施形態では、先ず複数のカメラ（１１〜１４）を図２で説明したように車両の前後左右に取り付ける。そしてレンズ歪補正をした後に、ある程度カメラが地面の向きになるように画像を視点変換させた画像にする。そのとき、その画像の面に対する視点の位置も記憶しておく。駐車場の駐車枠は、図３に示すように駐車スペースを示す四角の枠と、横に延びた線とし、画像の取得パターンは３パターンとする。
【００２６】
図３は、車両１を駐車場に駐車した場合を示す平面図である。駐車場には駐車枠２を示す白線が引かれており、駐車枠２は、前方の白線２ａ、後方の白線２ｂ、左側の白線２ｃ、右側の白線２ｄで構成されている。次に駐車場の駐車枠２内に車両１をある程度真っ直ぐに入れて複数のカメラ（１１〜１４）で駐車場の白線（２ａ〜２ｄ）を撮影し、３パターン（パターンＡ，Ｂ，Ｃ）の白線画像を取得する。
【００２７】
パターンＡの画像とは、図４（ａ）で示すように車両１を駐車枠２の後方にずれた位置に移動させ、前方カメラ１１、左カメラ１３及び右カメラ１３で駐車枠２を撮影した画像を意味する。パターンＣの画像とは、図４（ｃ）で示すように車両１の前方が駐車枠２の白線２ａを完全に越えた位置にくるように移動させて撮影した画像を意味する。またパターンＢの画像とは、図４（ｂ）で示すように車両１がパターンＡとパターンＣの間の位置にくるように移動させて撮影した画像を意味する。尚、図４以降においては、便宜上、駐車枠２の白線を黒い太い線で示す。
【００２８】
次に３パターンの画像から地面に描かれた白線（駐車枠を示す直線画像）を検出して特徴点を検出するが、特徴点（白線）を検出するには色々な手法がある。例えば撮影した画像データを、白線を検出しやすいようにモノクロ画像にして入力し、画像プロセッサによってエッジ抽出処理を行う。即ちカラー画像データをグレースケールデータ（モノクロ画像）に変換し、グレースケールデータの輝度平均値や、輝度の中央値等の閾値を設定する。そして、画素間の輝度の勾配等が閾値未満であるときはエッジとして検出せず、閾値以上であるときはエッジとして検出する。或いはグレースケールデータに変換した画像データの各画素の輝度と、各画素に隣接する画素の画素値の差分を検出し、差分の大きい画素をエッジとして検出する。これによりエッジの座標が算出され、このような方法により地面に描かれた白線を検出する。
【００２９】
図５（ａ），（ｂ），（ｃ）は、パターンＡにおいて前方カメラ１１、左カメラ１３、右カメラ１４で撮影した画像を示す。図６（ａ），（ｂ），（ｃ）は、パターンＢにおいて後方カメラ１２、左カメラ１３、右カメラ１４で撮影した画像を示す。図７（ａ），（ｂ），（ｃ）は、パターンＣにおいて後方カメラ１２、左カメラ１３、右カメラ１４で撮影した画像を示す。図５〜７において、隣に別の車両が駐車していた場合は、隣の車両の画像も取得されるが特に支障はない。
【００３０】
図５のパターンＡの画像からは、前方カメラ１１で撮影した特徴点Ａ１，Ａ２と、その交差する２つの方向を検出する。つまり特徴点Ａ１，Ａ２の検出だけでなく、特徴点において白線が交差する２つの方向を検出する。また左方カメラ１３で撮影した特徴点Ａ１と、右カメラ１４で撮影した特徴点Ａ２を検出する。特徴点Ａ１は、白線２ａと白線２ｃの交点に相当し、特徴点Ａ２は、白線２ａと白線２ｄの交点に相当する。
【００３１】
図６のパターンＢの画像からは、後方カメラ１２で撮影した特徴点Ｂ１，Ｂ２を検出する。また左カメラ１３で撮影した特徴点Ａ１とその交差する２つの方向、及び特徴点Ｂ１を検出し、右カメラ１４で撮影した特徴点Ａ２とその交差する２つの方向、及び特徴点Ｂ２を検出する。特徴点Ｂ１は、白線２ｂと白線２ｃの交点に相当し、特徴点Ｂ２は、白線２ｂと白線２ｄの交点に相当する。
【００３２】
図７のパターンＣの画像からは、後方カメラ１２で撮影した特徴点Ｂ１，Ｂ２とその交差する２つの方向を検出する。また左カメラ１３で撮影した特徴点Ａ１とその交差する２つの方向を検出し、右カメラ１４で撮影した特徴点Ａ２とその交差する２つの方向を検出する。尚、図５〜図７において、特徴点をそれぞれ円で囲って示しているが、太い円は特徴点とその交差する２つの方向を検出することを意味し、細い点線の円は特徴点のみを検出することを意味する。
【００３３】
またパターンＡ，Ｂ，Ｃ（図４）で示すように車両１が移動したとき、各カメラの位置と各特徴点の相対位置が変わるため、特徴点とその交差する２つの方向を検出する場合は、特徴点から離れ過ぎない位置、つまり交差する２つの方向が分かりやすい位置で検出する。例えば、パターンＢ（図６）とパターンＣ（図７）でそれぞれ特徴点Ｂ１，Ｂ２を検出した場合、パターンＣの方が交差する２つの方向を把握しやすいため、パターンＢでは特徴点Ｂ１，Ｂ２の交差する２つの方向は検出しない。尚、特徴点Ａ１，Ａ２，Ｂ１，Ｂ２を検出する場合は、白線の中心同士が交わる点を特徴点として検出しているが、より精度を上げるためには、白線の中心ではなく白線の端を検出して特徴点や交差する２つの方向を求めるとよい。
【００３４】
次に各カメラ（１１〜１４）で撮影した画像を真上からの視点に変換する。先ず前方カメラ１１の画像は、パターンＡの２つの特徴点Ａ１，Ａ２とその交差する２つの方向より、夫々の角度が直角になるように計算する。
【００３５】
ここで、先ず３次元空間座標系を定義する。例えば車両１の後面に平行な路面上の直線をｘ軸、車両１の後面に垂直な路面上の直線をｙ軸、路面から車両方向に垂直に伸びる軸をｚ軸とする３次元空間座標系を定義する。本座標系においてカメラの向きは、カメラの位置を(0,0,0)とした場合、ｘ軸に対して回転する角度をα、ｙ軸に対して回転する角度をβとし、ｚ軸に対して回転する角度をγとして表すものとする。以下、３次元空間座標系もしくは３次元空間は、本定義による３次元空間座標系を指すものとする。
【００３６】
図８のように座標系を定義した場合、夫々の軸の回転計算は以下のようになる。
【００３７】
ｘ軸中心回転は、
ｘ’＝ｘ
ｙ’＝y・cos(α)＋z・sin(α)
ｚ’＝−y・sin(α)＋z・cos(α)
ｙ軸中心回転は、
x’＝x・cos(β)＋z・sin(β)
y’＝y
z’＝−ｘ・sin(β)＋z・cos(β)
z軸中心回転は、
x’＝x・cos(γ)＋y・sin(γ)
y’＝-x・sin(γ)＋y・cos(γ)
z’＝z
画像はカメラの向きが、ある程度地面向きになるように、視点変換された画像(−ｚ方向に地面がある)にする。そのため検出する特徴点の交差する２つの方向はある程度直角になっている。カメラの向きを−ｚ方向として画像の配置を図８の点線のように配置する。画像はｚ軸に対して垂直にする。
【００３８】
上記の位置の画像より、特徴点とその交差する２つの方向を検出した座標を計算する。２方向は適当な長さにして２つの座標とし、特徴点とあわせて３座標にする。夫々の座標の角度ａｂｃ (ｂが特徴点)が−ｚ方向に見て直角になるようなｘ軸回転角度とｙ軸回転角度を計算する。
【００３９】
上記のｘ軸中心回転とｙ軸中心回転の計算式より回転後の座標は、
x’＝x・cos(β)−y・sin(α)・sin(β)＋z・cos(α)・sin(β)
y’＝y・cos(α)+z・sin(α)
z’＝−x・sin(β)−y・sin(α)・cos(β)＋z・cos(α)・cos(β)
となる。その座標がカメラ視点から−ｚ方向に見て直角に見えるためには、
Ｘ＝ｘ／（−ｚ）、Ｙ＝ｙ／（−ｚ）
に変換した座標(Ｘ，Ｙ)による直線ａｂと直線ｂｃが直角になればよいので、直線ａｂと直線ｂｃの＋ｘ方向に対する傾き（２次元の直線の式であるｙ＝ａｘ＋ｂのａ)は、
直線ａｂ : (Ｙ(a)−Ｙ(b))／(Ｘ(a)−Ｘ(b))
直線ｂｃ : (Ｙ(c)−Ｙ(b))／(Ｘ(c)−Ｘ(b))
となり、その２つの傾きを乗算した値が−１となるのが直角である。
【００４０】
その計算式はｆ１(α,β) ＝０と表し、もうひとつの特徴点から導き出した計算式をｆ２(α,β)＝０と表す。そして、非線形連立方程式(ニュートン法)などを用いてαとβの解を出す。非線形連立方程式(ニュートン法)は一般的であるため簡単に説明する。
【００４１】
２つの解を導き出すニュートン法の方程式は以下のようになる。
【数１】
【００４２】
「δf1 / δα」とは関数f1(α,β)＝０をαで偏微分した結果である。また、ΔαとΔβが導き出される解であるが、最初に設定したαとβに対する差分であり、誤差を含んでいる。αとβは０に近い値になるように地面の向きを設定しているので、最初はαとβを０として値を代入し計算する。そして得られたΔαとΔβを元の値のαとβに加算し、再計算させてΔαとΔβがほぼ０となるように何回か計算し収束させる。
【００４３】
αとβは０に近い値になるように地面の向きを設定しているので、α,βは−４５度以上＋４５度以下(もっと広くしてもよい)として計算を収束させる(上記の方法では複数の収束解があるため制限を入れる)。この計算方法によりｘ軸回転角度とｙ軸回転角度を導き出す。
【００４４】
同様に、後方カメラ１２の画像は、パターンＣでの２つの特徴点Ｂ１，Ｂ２とその交差する２つの方向より、夫々の角度が直角になるように計算する。また左カメラ１３の画像は、パターンＢの前方の特徴点Ａ１とその交差する２つの方向、及びパターンＣの前方の特徴点Ａ１とその交差する２つの方向より、夫々の角度が直角になるように計算する。さらに、右カメラ１４の画像は、パターンＢの前方の特徴点Ａ２とその交差する２つの方向、及びパターンＣの前方の特徴点Ａ２とその交差する２つの方向より、夫々の角度が直角になるように計算する。こうして計算結果をもとに、画像を真上からの視点に変換する。
【００４５】
次にパターンＢでの駐車場枠２に向きを合わせる。つまり、地面の真上から見た画像に変換しただけでは、夫々の特徴点Ａ１，Ａ２，Ｂ１，Ｂ２の角度が直角になるだけで、向きはばらばらである。したがって、向きを駐車場枠２に合わせるため、後方カメラ１２の画像は、パターンＣの２つの特徴点Ｂ１，Ｂ２により、その特徴点が真横になるように調整(z軸回転)する。後方カメラ１２は、前方カメラ１１に対して１８０度回転しているので、左側を右側、右側を左側になるように調整する。
【００４６】
左カメラ１３の画像は、パターンＢの２つの特徴点Ａ１，Ｂ１により、その特徴点が真縦になるように、前方を上側、後方を下側になるように調整する。右カメラ１３の画像は、パターンＢの２つの特徴点Ａ２，Ｂ２により、その特徴点が真縦になるように、前方を上側、後方を下側になるように調整する。尚、前方カメラ１１の画像は、パターンＢでは特徴点が取得できていないので向きの調整は行わない。こうして調整された後の後方カメラ１２、左カメラ１３及び右カメラ１４の画像は、図９（ａ），（ｂ），（ｃ）のようになる。
【００４７】
次に、パターンＢでの左カメラ画像の２つの特徴点Ａ１，Ｂ１間の長さと、右カメラ画像の２つ特徴点Ａ２，Ｂ２間の長さが同じになるように、左右のカメラ１３，１４の拡大率を決定する。さらにパターンＢでの後方カメラ１２の２つの特徴点Ｂ１，Ｂ２と、左右のカメラ１３，１４の後方の特徴点Ｂ１，Ｂ２が一致するように、またパターンＣでの後方カメラ１２の２つの特徴点Ｂ１，Ｂ２と左右のカメラ１３，１４の後方の特徴点Ｂ１，Ｂ２が一致するように後方のカメラの拡大率を決定する。
【００４８】
もしくは、白線枠２の縦横比を入力しておいて、パターンＢでの後方カメラ１２の２つの特徴点Ｂ１，Ｂ２間の長さと左カメラ画像の２つの特徴点Ａ１，Ｂ１間の長さ、または、右カメラ画像の２つ特徴点Ａ２，Ｂ２間の長さが入力しておいた縦横比になるように、後方カメラ１２の拡大率を決定する。
【００４９】
左右のカメラ１３，１４と後方カメラ１２での拡大率により、視点の相対的な高さが決定されるので、その視点の高さにしたがって、パターンＢでの後方カメラ１２の２つの特徴点Ｂ１，Ｂ２と左右のカメラ１３，１４の後方の特徴点Ｂ１，Ｂ２が一致するように地面方向に対して水平に移動し、左右のカメラ１３，１４と後方カメラ１２の相対的な視点位置を決定する。
【００５０】
次にパターンＡでの２つの特徴点Ａ１，Ａ２の画像と左右のカメラ１３，１４の前方の特徴点Ａ１，Ａ２画像が一致するように、前方カメラ１１の地面方向に対する回転角度と拡大率、及び相対的な視点位置を決定する。こうして決定した白線枠２の画像は図１０のようになる。
【００５１】
しかしながら、図１０から分かるが、この図では駐車場の白線枠２が垂直になっているだけで、車両１に対しては必ずしも垂直になっていない。また線の長さを駐車場の白線枠２の長さにあわせているので、車両１の大きさが大きかったり小さかったりする。また白線枠２の位置も車両１の位置に対して左にずれていたり前にずれていたりする。また車両１と白線枠２の境界がはっきりしないので、白線枠２映像に車両が写りこむ。そこで、次に絶対位置調整を行う。
【００５２】
<絶対位置調整>
図１０では、自車１の大きさ、位置、向きが特定されていない状態にあるため、この状態から図１１のように、俯瞰画像の表示領域Ｒに対して自車の表示枠が予め決められた範囲内になるように調整する。図１１において、太い枠で示す領域Ｒは、俯瞰画像の表示領域であり、横幅ｗと縦幅ｈで規定される。また自車の表示枠は、縦幅をａとし、横方向の中心位置をｘ、縦方向の中心位置をｙとしている。
【００５３】
先ず図１２のように、パターンＡ，Ｂから車両１と地面の境界を検出する。検出方法は白線２が自車１によって消失する位置（境界位置）を特定する方法とする。駐車場の白線２が直線で太さが変わらない領域が白線の領域で、その先端が境界となる。図１２（ａ）は前方カメラ１１のパターンＡでの調整画像（特徴点の角度を直角に調整し、特徴点が真横になるように調整し、ほかのカメラに対する相対位置を調整した画像）であり、（ｂ）は後方カメラ１２のパターンＢでの調整画像である。（ｃ）は左カメラ１３のパターンＢでの調整画像であり、（ｄ）は右カメラ１４のパターンＢでの調整画像である。誤差を吸収するためにＡ，Ｂ，Ｃの夫々のパターンでの調整画像を取得してもよい。
【００５４】
それらの調整画像から、つまり図１２（ａ）〜（ｄ）の画像から境界位置を２点ずつ検出する。図１２（ａ）では、境界位置をそれぞれ円Ａ３，Ａ４で示し、（ｂ）では円Ａ５，Ａ６で示す。また、図１２（ｃ）では、境界位置を円Ｂ３，Ｂ４で示し、（ｄ）では円Ｂ５，Ｂ６で示す。
【００５５】
そして、検出した左右のカメラ１３，１４の２点の境界点から境界線を作り出す。そして境界線が左右ともに真縦に一番近い角度になるように絶対角度を計算し、夫々のカメラ１１，１２，１３，１４の調整画像の向きや位置を調整する。また、前後のカメラ１１，１２の画像を用いて行ってもよい。この場合は、境界線が前後ともに真横に一番近い角度になるように絶対角度を計算し、夫々のカメラ１１，１２，１３，１４の調整画像の向きや位置を調整する。
【００５６】
上述した調整では境界線が夫々斜めになっている可能性があるので、長方形にするために夫々のカメラ（１１〜１４）画像における４つの境界線より四角形を作り出す。例えば、図１３で示すように、前方カメラ１１による境界線が直線Ｘ１、後方カメラ１１による境界線が直線Ｘ２、左カメラ１３による境界線が直線Ｙ１、右カメラ１４による境界線が直線Ｙ２であったと仮定し、各境界線の交点を求め、各交点におけるｘ軸方向とｙ軸方向の夫々の最小値と最大値で規定される長方形（太い点線で示す）を作成する。
【００５７】
この長方形は、自車のイラスト画像等を表示する表示枠となり、俯瞰画像に対する表示枠の割合及び位置が予め指定した値になるように俯瞰画像を変更し、俯瞰画像が予め設定した表示領域Ｒ（図１１）に収まるように調整する。空間再構成部２２は俯瞰画像を変更する調整部を構成する。
【００５８】
こうして、カメラ位置、カメラの向き決定して、カメラデータ記憶部２０にカメラパラメータが格納される。
【００５９】
図１４は、以上の動作を示すフローチャートである。図１４において、ステップＳ１は、カメラキャリブレーションの開始ステップであり、ステップＳ２では各カメラ（１１〜１４）を車両の前後・左右に取り付ける。次にステップＳ３では、駐車場の白線画像をＡ，Ｂ，Ｃの３パターンで取得する。ステップＳ４では、白線を検出しやすいように画像を調整（グレースケールデータに変換）し、夫々必要な特徴点を検出する。ステップＳ５では、各カメラで地面方向を−ｚ方向として夫々の特徴点とその交差する２つの方向により、ｘ軸回転角度とｙ軸回転角度を計算する。またステップＳ６では、白線の枠に合せて夫々のカメラのｚ軸回転角度を計算する。
【００６０】
次にステップＳ７では、左右のカメラ１３，１４での白線の縦軸長さが同じになるように、左右のカメラ１３，１４の拡大率を計算する。ステップＳ８では、パターンＢとパターンＣでの後方カメラ１２の特徴点より後方カメラ１２の拡大率を計算する。ステップＳ９では、パターンＢでの後方カメラ１２の特徴点の位置が左右のカメラ１３，１４と一致するように、左右と後方カメラの相対位置を計算する。そしてステップＳ１０では、パターンＡでの前方カメラ１１の特徴点の位置が左右のカメラ１３，１４と一致するように、左右と前方カメラの相対位置を計算する。
【００６１】
次にステップＳ１１では、白線が自車によって消失する位置（自車から現れる位置）を検出する。ステップＳ１２では、検出された消失位置から境界線を作成する。またステップＳ１３では左右のカメラ１３，１４の境界線の平均が、真縦になるように絶対角度を計算し、夫々のカメラで撮影した画像の向きや位置を補正する。ステップＳ１４では、前後左右の境界線より夫々の境界線の交点のｘ軸とｙ軸の最小値、最大値を計算し、その領域（表示枠）を車両の表示領域とする。ステップＳ１５では、予め設定しておいた車両表示領域に従って、夫々の画像の拡大率、位置を決定し、ステップＳ１６で終了する。
【００６２】
こうして、白線枠２内に車両１が駐車されたときに、俯瞰画像の表示領域Ｒ内に方形状の白線枠２と、白線枠２内に駐車された自車１のイラスト画像が表示され、各カメラ１１〜１４で撮影された画像が正常に合成されて、繋ぎ目が段違いになるのをなくすことができる。また各カメラ１１〜１４では少なくとも２つの特徴点を検出すればよいため、キャリブレーションが簡単になる。
【００６３】
次に本発明の実施形態の変形例について説明する。各カメラ（１１〜１４）の取り付け位置が距離的に分かっている場合は、カメラの取付け向きだけが分からない状態になる。その場合は、車両１を移動して夫々のカメラ（１１〜１４）について２つの特徴点とその交差する２つの方向を検出しなくても済む。
【００６４】
即ち、図１５（ａ）のパターンＤのように、前後のカメラ１１，１２において、夫々で横切る白線２ａ，２ｂが見え、さらに左右のカメラ１３，１４で２つの特徴点と夫々に対する交差する２つの方向を見つけられる状態であれば車両を移動しなくてもよい。或いは、図１５（ｂ）のパターンＥのように、左右のカメラ１３，１４の夫々で縦の白線２ｃ，２ｄが見え、さらに前後のカメラ１１，１２で２つの特徴点と夫々に対する交差する２つの方向を見つけられる状態であれば車両を移動しなくてもよい。
【００６５】
図１６を参照して、パターンＤについて説明する。図１６（ａ）〜（ｄ）は、パターンＤにおいて各カメラ１１〜１４で撮影した画像を示す。パターンＤの画像からは、前方カメラ１１で撮影した特徴点Ａ１１，Ａ１２と、後方カメラ１２で撮影した特徴点Ｂ１１，Ｂ１２を検出する。また左カメラ１３で撮影した特徴点Ａ１１，Ｂ１１と、右カメラ１４で撮影した特徴点Ａ１２，Ｂ１２と夫々の交差する２つの方向を検出する。
【００６６】
次に左カメラ１３と右カメラ１４の画像での２つの特徴点とその交差する２つの方向が夫々直角になるように前述した計算式に従って回転処理を行う。また地面に対して垂直方向の回転を、左右のカメラ１３，１４の画像の白線が真縦になるように回転させる。次に左右のカメラ１３，１４の高さより、真縦にした白線の長さがわかる。その白線の端の特徴点と左右のカメラ１３，１４の位置関係より、前後のカメラ１１，１２に映し出されている横線の特徴点の間隔を計算する。前後のカメラ１１，１２に映し出されている横線の特徴点と前後のカメラ１１，１２の位置より、前後のカメラ１１，１２の向きを特定する。計算式は以下のようになる。
【００６７】
自車１の左前の特徴点を例にする。前方カメラ１１の回転前の左側の特徴点位置を(ｘ,ｙ,ｚ)とし、前方カメラ１１の取り付け位置に対する左のカメラ１３での計算結果の特徴点位置を(ｘａ，ｙａ，ｚａ)とする。特徴点(ｘ，ｙ，ｚ)をｘ軸回転し、ｙ軸回転し、ｚ軸回転した座標を(ｘｂ，ｙｂ，ｚｂ)とすると、ｘｂ，ｙｂ，ｚｂはα, β, γの関数である。
【００６８】
(ｘａ，ｙａ，ｚａ)と(ｘｂ，ｙｂ，ｚｂ)は前方カメラ１１に対する座標となっているため、カメラ視点から−ｚ方向に見た場合の頂点が同じに見えるための計算式は、
ｘａ／(−ｚａ) = ｘｂ／(−ｚｂ)
ｙａ／(−ｚａ) = ｙｂ／(−ｚｂ)
となる。そして、２つの式よりｆ１(α, β, γ)＝０とｆ２(α, β, γ)＝０の式を作成する。非線形連立方程式(ニュートン法)でα, β, γを導き出すためにはもうひとつ式が必要であるため、自車１の右前の特徴点も利用し、もうひとつの式を用意する。その３式を利用し、非線形連立方程式を解いてα, β, γを得る。
【００６９】
αとβは０に近い値になるように地面の向きを設定していて、また前方カメラ１１に関してはｚ軸回転もほとんどしていない状態なので、α，β，γは−４５度以上＋４５度以下(もっと広くしてもよい)として計算を収束させる(上記の方法では複数の収束解があるため)。この計算方法によりｘ軸回転角度とｙ軸回転角度とｚ軸回転角度を導き出す。
【００７０】
特定されたカメラの向きは夫々白線に対しての向きである。そのため、カメラの取付け位置より、白線が車両に対してどれだけ地面の垂直方向が回転しているかを計算する。次に車両１の真上から見た車両と地面の境界に対してカメラ位置がどれだけ離れているか分かっているなら、その距離に従って自車画像の表示位置と、外部映像の表示位置の境界線を決定する。もし分かっていなければ、図１７に示すように、白線が自車１によって消える境界を夫々のカメラ１１〜１４に対して最低１点見つけて、その点を自車画像の表示位置と外部映像の表示位置の境界線と決定する。
【００７１】
また、カメラの取り付け位置が特定されている状態で、車両１が小さく、白線２の角度を車両側に向かう白線により検出できるならなら、図１８のパターンＦのように四角枠のみの白線を利用することもできる。
【００７２】
つまり図４や図１５のように、四角の白線枠２から外側に延びる白線を必要とするのは、角度の精度を上げるためである。したがって、内側に延びる白線でも角度の計算はできるため、車両１が白線枠２に対してある程度小さければ、内側に向かって延びる線でも角度計算の精度は出せる。
【００７３】
さらに、最近の駐車場は図１９に示すように、四角の枠になっておらず２重線になっている場合がある。このような場合（パターンＧ）では、カメラの取り付け位置が特定されているなら、図１９の位置に自車１を設置して調整する。そして図２０のように特徴点を検出する。
【００７４】
図２０のように、特徴点と交差する２つの方向が検出できるのは後方カメラ１２の画像のみである。前方カメラ１１の画像では特徴点Ａ２１，Ａ２２がカーブになっているため、角度が正確に検出できない。後方カメラ１２での特徴点Ｂ２１〜Ｂ２４同士は同じライン上にあるため、それらの特徴点を結んだ線から２方向を特定できることになる。
【００７５】
もしくは、前方カメラ１１の画像での特徴点Ａ２１，Ａ２２の接線と、特徴点Ａ２３〜Ａ２６の直線との交点(４点あるが２点あれば計算可能)を仮想的な特徴点とし、特徴点Ａ２１，Ａ２２の接線と特徴点Ａ２３〜Ａ２６の直線を交差する２つの方向としてもよい。
【００７６】
そのため、後方カメラ１２の画像の２つの特徴点Ｂ２１，Ｂ２４とその２方向、又は特徴点Ｂ２２，Ｂ２３とその２方向により、２の特徴点の２方向のなす角度が直角になるように非線形連立方程式(ニュートン法)などでｘ軸回転角度、ｙ軸回転角度を決定する。次に２つの特徴点が真横(但し左側と右側が逆)になるようにｚ軸回転角度を決定する。
【００７７】
次に補正された後方カメラ１２での４つの特徴点Ｂ２１〜Ｂ２４と、前方カメラ１１での４つの線上の特徴点Ａ２３〜Ａ２６(図では自車との境界に見えるが、境界である必要はなく線上にあればよい)の横方向(ｘ)の座標が同じ位置に見えるように、非線形連立方程式(ニュートン法)などで前方カメラ１１のｘ軸回転角度、ｙ軸回転角度、ｚ軸回転角度を決定する(前カメラと後ろカメラの高さを考慮する)。もしくは前述した仮想的な特徴点と交差する２つの方向により前方カメラ１１のｘ軸回転角度、ｙ軸回転角度、ｚ軸回転角度を決定してもよい。
【００７８】
精度を上げるために、α、β、γの関数のひとつは、前方カメラ１１での、線の端のカーブになっている部分の２つの特徴点Ａ２１，Ａ２３を検出し(２つのカーブ位置と直線が接する位置が２つの特徴点)、その検出した２つの特徴点の縦(ｙ)の位置が同じになるような計算式にしてもよい。また、その２つの特徴点Ａ２１，Ａ２２の横(ｘ)の位置が、後方カメラ１２の左右の夫々２つの特徴点の中点（Ｂ２１とＢ２２の中点及びＢ２３とＢ２４の中点）と同じになるような計算式にしてもよい。
【００７９】
前方カメラ１１と後方カメラ１２の向きと位置が特定できたので、前後のカメラ１１，１２での車両１の左側の白線の端の特徴点Ａ２３，Ｂ２１を左カメラ１３でのカメラ位置基準になるように計算する。左カメラ１３での特徴点の検出結果を、左カメラ１３の位置を基準にｘ軸、ｙ軸、ｚ軸回転させた座標と左カメラ１３から見て同じ位置に見えるようにｘ軸、ｙ軸、ｚ軸回転の夫々の角度を計算する。計算方法は、パターンＤで説明した前後のカメラ１１，１２を左右のカメラ１３，１４に置き換えたのと同じである。同様に右側も計算させる。車両の後方の特徴点は２重線のどちら側でもよい。
【００８０】
もしくは左カメラ１３での特徴点Ｂ２１，Ｂ２２を２つの特徴点とし、それぞれの２方向は白線の方向ともう一つの特徴点(特徴点をＢ２１とした場合Ｂ２２、特徴点をＢ２２とした場合Ｂ２１)の方向として、ｘ軸回転角度、ｙ軸回転角度を決定し、次に白線が真縦になるようにｚ軸回転角度を決定してもよい。右カメラ１４も同様に、特徴点Ｂ２３，Ｂ２４とその交差する２つの方向を検出し、ｘ軸回転角度、ｙ軸回転角度、ｚ軸回転角度を決定してもよい。
【００８１】
特定されたカメラの向きは夫々白線に対しての向きである。そのためカメラの取り付け位置より、白線が車両に対してどれだけ地面の垂直方向に回転しているかを計算する。次に、車両１の真上から見た車両と地面の境界に対してカメラ位置がどれだけ離れているか分かっているなら、その距離に従って自車画像の表示位置と、外部映像の表示位置の境界線を決定する。もし分かっていなければ、前後のカメラ１１，１２は、白線が自車によって消える境界を夫々のカメラに対して最低１点見つけて(複数を平均や、信用のある位置にある方でもいい)、その点を自車画像の表示位置と外部映像の表示位置の境界線と決定する。左右のカメラ１３，１４に対しては、車両１のタイヤと地面の境界や、輪留めの車両に対する消失位置を境界線として決定する。
【００８２】
またパターンＧのような場合には、車両１を白線に対して横向きにし、２つの特徴点とその角度(２方向)を検出して計算してもよい。また白線の長さや縦横比が分かっているなら、それを計算式に入れて計算量を削減してもよい。
【００８３】
また、絶対位置の調整については、図２１のように直線（白線２）をまたいで調整してもよい。この場合、白線２を横切って消失点、出現点を検出するが、白線２を横切って境界を検出するには、車両１の進行方向に対して横方向が望ましい。また車両１の進行は極力舵角をもたないように直線的に移動することが望ましい。それを前提に先ず前方カメラ１１での境界検出方法を説明する。
【００８４】
図２１のように最初に白線２を検出して、進行方向と思われる方向に対する白線２の太さを測定する。その測定を進行方向と思われる方向に対して垂直方向に、適当な距離をもたせ複数個所行う。進行方向が回転していなければ、取得した白線２の進行方向に対する太さは変わらない。そのため、さらに前進した場合、夫々の位置での白線２の太さが変わる位置が自車１の境界となる。
【００８５】
図２２（ａ）に示すように、車両１が白線２と同じような色であれば線は太くなり、逆に図２２（ｂ）に示すように、車両１が地面と同じような色であれば線は細くなる。そして夫々の境界点を、最小２乗法などによって全体の境界を決める。また後方カメラ１２の画像も同様な処理で境界を決定することができる。
【００８６】
次に右カメラ１４の画像における境界検出方法を説明する。図２３に示すように最初に白線２を検出してその直線の向きを測定し、向きに対する太さを測定する。次に白線２に対してその直線の向きと太さが維持できなくなった場所を境界と決定する。図２３（ａ）は車両１が白線２と同じような色の場合を示し、図２３（ｂ）は車両１が地面と同じような色の場合を示す。
【００８７】
以上の作業を、自車１を移動させながら複数回行い、夫々の境界点を最小２乗法などによって全体の境界を決める。また図２３（ｃ）のように、白線２が自車１への映り込み、向きも太さも変わらない直線として認識してしまう場合を想定し、明らかにほかの境界点と位置がずれている場合は除外する。また左のカメラ１３も同様な処理で境界を決定することができる。こうして、夫々のカメラ画像に対する境界位置を特定することができる。
【００８８】
次に、自車の向きを表示映像に対して垂直にするために、左右のカメラ１３，１４の画像より求めた境界線の平均を自車１の傾きとして決定する。その傾きを補正した状態で、前後のカメラ１１，１２画像の境界より自車１の縦幅を導き出す。また左右のカメラ１１，１２画像の境界より自車１の横幅を導き出す。さらにその縦幅と横幅より自車１の中心位置を特定する。以上の結果と図１１で設定した値により、自車１の位置、向き、大きさは特定される。以上により、自車位置と向きを簡単に調整することが可能となる。
【００８９】
尚、絶対位置の調整は、相対位置調整で得られたカメラの位置によって調整してもよい。つまり左右のカメラ１３，１４が、車両１の縦方向に対して同じ距離についている場合には、その位置が真横になるように調整し、夫々のカメラの位置を境界線とする。
また、以下に述べるような各種の変形例も可能である。
【００９０】
（１）駐車場の枠２に対して車両１を横向きに進行してキャリブレーションしてもよい。横の線が車両に対して離れるので、四角の枠からはみ出す線は必要とせず、内側に伸びた線によって角度の計算をすることができる。
（２）左右のカメラ映像に映る前方のタイヤ(もしくは後方のタイヤ)を検出し、その左右のタイヤの位置が表示映像に対して水平になるように自車の向きを決定してもよい。タイヤの検出は映像を地面に対して垂直になるように変換してから検出するとよい。これにより複雑な形の車両にも対応できるようになる。
（３）白線の消失点を検出しやすいように、予め自車に反射しないようなシートを貼り付けておいても良い。白線が自車に反射して映りこんだときにも、正確に白線の消失点を検出することができる。
（４）白線の消失位置がカメラの視野と同じである場合は、車両の位置がカメラに対して分からなくなる。車両の形が分かっているなら、前や後ろのどちらかのカメラに映った車両に対する白線の消失位置に合わせて表示すればよい。また、前と後ろの両方とも車両に対する白線の消失位置がカメラの視野と同じ場合は、左右のカメラに映る車両のタイヤの位置で合わせるとよい。これにより前後のカメラに車両が映っていないときにも対応することができる。
（５）４つのカメラ１１〜１４を用いる例について説明したが、カメラの数をもっと多くしてもよいし、少なくしてもよい。
（６）トップビュー画像における自車画像の位置など、絶対距離を正確に設定する必要がある場合は、前後のタイヤ間の距離や、車幅、白線の距離などを一つ設定しておき計算してもよい。また、加速度センサや車速パルスを用いて車速を出しておき、直線の移動量から距離を正確に判定してもよい。これにより距離が正確に設定できる。
（７）調整精度をあげるため、より沢山の画像を取得してもよい。
（８）白線の消失位置を、大まかにではなく車両周りすべてを連続的に計測して、車両の形状を決定し、自車周りの映像を表示してもよい。車両の形状で自車周りの映像を表示させることができる。
（９）左右のカメラ画像で、タイヤが白線をまたいだ場合は、自車の横幅が極大となる。極大となった２点をタイヤの位置とし、自車の向きを決定してもよい。
（１０）最後に微調整を手動で行ってもよい。これにより微妙なずれや好みに合わせることができる。
（１１）車両のハンドルの陀角、加速度センサ、ジャイロなどのパラメータなどを使用しても良い。これにより、調整時間の短縮や精度向上を図ることができる。
（１２）調整しやすいように特徴点に補助線を追加してもよい。これにより駐車枠を認識しやすくなる。また計算速度を短縮することができる。また補助線は、シートとして用意してもよいし、地面に書いてもよく、補助線はどんな形態でも良い。
（１３）計算誤差を減らすために夫々の特徴点を複数取得し、最小２乗法などの計算によって決め、白線が凹んでいたり薄くなっていたりしても問題ないようにしてもよい。
（１４）白線枠が長方形のように角の角度が９０度となっていない場合に、角度がわかっていればそれに合わせて計算してもよい。例えば平行四辺形などの角が９０度となっていない場合にも対応することができる。
（１５）ユーザによって好みが違うため、キャリブレーションの設定(オンオフ、程度など)を夫々ユーザが決められるようにしてもよい。
【００９１】
以上説明したように本発明の実施形態によれば、駐車場の白線を利用してキャリブレーションを行うため、特定の校正パターンを必要としない。また白線の２つの特徴点とその交差する２方向の情報を利用するため、少なくとも２点の特徴点を検出するだけで済み、駐車枠から多く離れる必要がなく車両の移動量を少なくすることができる。また隣に他の車が駐車していても支障はない。また地面に描かれた直線を横切ったときの直線の消失点、出現点を境界とし、その境界により自車の大きさや向きなどの特定を自動で行うことができる。
【００９２】
尚、特許請求の範囲を逸脱しない範囲内で種々の変形が可能である。
【符号の説明】
【００９３】
１０…撮像部
１１…前方カメラ
１２…後方カメラ
１３…左カメラ
１４…右カメラ
２０…カメラデータ記憶部
２１…特徴点検出部
２２…空間再構成部
２３…空間データバッファ
２４…視点変換部
３０…表示パターン記憶部
４０…画像合成部
５０…表示部
【特許請求の範囲】
【請求項１】
車両に搭載した複数のカメラを有し、前記複数のカメラによって前記車両の周囲を撮影する撮像部と、
前記複数のカメラで撮影した画像から駐車枠を示す直線画像を識別し、それぞれのカメラ画像から前記駐車枠の特徴点を少なくとも２つ検出する特徴点検出部と、
前記特徴点検出部で検出した特徴点とその交差する２方向の情報をもとに前記各カメラの画像を合成して真上からの視点に変換した俯瞰画像を生成する視点変換部と、
前記俯瞰画像から前記車両と前記直線画像との境界位置を判別して車両画像の表示枠を決定し、前記俯瞰画像に対する前記表示枠の割合及び位置が予め指定した値になるように前記俯瞰画像を変更する調整部と、
前記変更した俯瞰画像をもとに計算された前記各カメラの特性を示すカメラパラメータを格納するカメラデータ記憶部と、
を具備してなるカメラキャリブレーション装置。
【請求項２】
前記撮像部は、前記車両の前方、後方、左側、右側を撮影する４つのカメラを搭載したことを特徴とする請求項１記載のカメラキャリブレーション装置。
【請求項３】
前記撮像部は、前記車両を移動し白線で区分された駐車枠のある場所を異なる位置で撮影し、前記特徴点検出部は、それぞれの位置で前記特徴点を検出することを特徴とする請求項１記載のカメラキャリブレーション装置。
【請求項４】
前記撮像部は、白線で区分された駐車枠のある場所を撮影し、前記特徴点検出部は、前記白線が交差する２点の特徴点とその交差する２方向を検出することを特徴とする請求項１記載のカメラキャリブレーション装置。
【請求項５】
前記調整部は、前記車両の４辺と前記直線画像との境界位置をもとに境界線を設定し、前記境界線の交点座標の最小値と最大値で規定される領域を前記車両画像の表示枠として決定することを特徴とする請求項１記載のカメラキャリブレーション装置。
【請求項６】
前記調整部は、前記車両の移動により前記直線画像が前記車両によって消失する位置又は車両から出現する位置を前記境界位置として判別することを特徴とすることを請求項５記載のカメラキャリブレーション装置。
【請求項７】
前記調整部は、前記車両が前記直線画像上を通過する際の前記直線画像の太さの変化をもとに前記境界位置を判別することを特徴とする請求項６記載のカメラキャリブレーション装置。
【請求項１】
車両に搭載した複数のカメラを有し、前記複数のカメラによって前記車両の周囲を撮影する撮像部と、
前記複数のカメラで撮影した画像から駐車枠を示す直線画像を識別し、それぞれのカメラ画像から前記駐車枠の特徴点を少なくとも２つ検出する特徴点検出部と、
前記特徴点検出部で検出した特徴点とその交差する２方向の情報をもとに前記各カメラの画像を合成して真上からの視点に変換した俯瞰画像を生成する視点変換部と、
前記俯瞰画像から前記車両と前記直線画像との境界位置を判別して車両画像の表示枠を決定し、前記俯瞰画像に対する前記表示枠の割合及び位置が予め指定した値になるように前記俯瞰画像を変更する調整部と、
前記変更した俯瞰画像をもとに計算された前記各カメラの特性を示すカメラパラメータを格納するカメラデータ記憶部と、
を具備してなるカメラキャリブレーション装置。
【請求項２】
前記撮像部は、前記車両の前方、後方、左側、右側を撮影する４つのカメラを搭載したことを特徴とする請求項１記載のカメラキャリブレーション装置。
【請求項３】
前記撮像部は、前記車両を移動し白線で区分された駐車枠のある場所を異なる位置で撮影し、前記特徴点検出部は、それぞれの位置で前記特徴点を検出することを特徴とする請求項１記載のカメラキャリブレーション装置。
【請求項４】
前記撮像部は、白線で区分された駐車枠のある場所を撮影し、前記特徴点検出部は、前記白線が交差する２点の特徴点とその交差する２方向を検出することを特徴とする請求項１記載のカメラキャリブレーション装置。
【請求項５】
前記調整部は、前記車両の４辺と前記直線画像との境界位置をもとに境界線を設定し、前記境界線の交点座標の最小値と最大値で規定される領域を前記車両画像の表示枠として決定することを特徴とする請求項１記載のカメラキャリブレーション装置。
【請求項６】
前記調整部は、前記車両の移動により前記直線画像が前記車両によって消失する位置又は車両から出現する位置を前記境界位置として判別することを特徴とすることを請求項５記載のカメラキャリブレーション装置。
【請求項７】
前記調整部は、前記車両が前記直線画像上を通過する際の前記直線画像の太さの変化をもとに前記境界位置を判別することを特徴とする請求項６記載のカメラキャリブレーション装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【公開番号】特開２０１１−１８２２３６（Ｐ２０１１−１８２２３６Ａ）
【公開日】平成２３年９月１５日（２０１１．９．１５）
【国際特許分類】
【出願番号】特願２０１０−４５４７４（Ｐ２０１０−４５４７４）
【出願日】平成２２年３月２日（２０１０．３．２）
【出願人】（５０４１１３００８）東芝アルパイン・オートモティブテクノロジー株式会社 (110)
【Ｆターム（参考）】
【公開日】平成２３年９月１５日（２０１１．９．１５）
【国際特許分類】
【出願日】平成２２年３月２日（２０１０．３．２）
【出願人】（５０４１１３００８）東芝アルパイン・オートモティブテクノロジー株式会社 (110)
【Ｆターム（参考）】
[ Back to top ]