車両視覚システムの較正方法および車両視覚システム
【課題】車両視覚システムを提供すること。
【解決手段】車両視覚システムは、非線形ひずみのある画像をその各々が取得する複数の画像センサ（１１〜１４）を備えている。車両視覚システムを較正するために、画像センサ（１１）を用いて複数の物体の画像（２２）を取得し、さらに、追加の画像センサ（１３）を用いても複数の物体の画像（２２）を取得する。画像センサ（１１）と追加の画像センサ（１３）は、重複する視野（１５，１７）を有する。複数の物体（２０）に対する、画像センサ（１１）の位置および配向は、取得された画像に基づいて判定される。複数の物体（２２）に対する追加の画像センサ（１３）の位置および配向は、追加の取得された画像に基づいて判定される。追加の画像センサ（１３）と画像センサ（１１）との相対位置および配向は、これらの判定結果に基づいて確立される。
【解決手段】車両視覚システムは、非線形ひずみのある画像をその各々が取得する複数の画像センサ（１１〜１４）を備えている。車両視覚システムを較正するために、画像センサ（１１）を用いて複数の物体の画像（２２）を取得し、さらに、追加の画像センサ（１３）を用いても複数の物体の画像（２２）を取得する。画像センサ（１１）と追加の画像センサ（１３）は、重複する視野（１５，１７）を有する。複数の物体（２０）に対する、画像センサ（１１）の位置および配向は、取得された画像に基づいて判定される。複数の物体（２２）に対する追加の画像センサ（１３）の位置および配向は、追加の取得された画像に基づいて判定される。追加の画像センサ（１３）と画像センサ（１１）との相対位置および配向は、これらの判定結果に基づいて確立される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両視覚システムの較正方法および車両視覚システムに関する。本発明は、特に、異なるカメラで取得した画像の合成に要求されるカメラシステムのパラメータが確立されてもよい方法および視覚システムに関するものである。
【背景技術】
【０００２】
車両システムにおける画像センサの統合がますます幅広く用いられるようになってきた。このような画像センサは、画像センサが車両環境の画像を取得する運転補助システムの構成要素として用いられてもよい。取得された画像は物体認識のために処理されてもよく、場合によっては処理後、ユーザに表示されてもよい。自動警告および補助機能が機能して潜在的に危険な状況を運転手に警告するか、またはブレーキなどを作動させて車両の運転を能動的に制御する場合がある。画像センサは背面視認カメラまたは側面視認カメラとしても用いられてもよく、これらは車両の駐車または他の重要な運転操作を行う運転手を支援する。
【０００３】
画像センサを車両の用途に利用することがますます広がるようになることにより、車両周囲の画像を取得するために複数の画像センサが提供される場合がある。これらは協働して、車両周囲３６０度の角度範囲全体の環境に関する情報を提供する。過剰な数の画像センサを備えることを回避するために、側面開口角が大きい視野を有する画像センサを用いることが所望される。
【０００４】
異なる画像センサが取得したデータを互いに組み合わせる場合には、カメラシステムのパラメータが既知である必要がある。この目的のために、各カメラの外部パラメータおよび固有パラメータを確立するための較正が実行される場合がある。カメラ較正の手法は、車両の基準座標系における既知の位置に、高精度に事前にマーカを配置する技術を含む。このような手法は、不正確なマーカ位置に伴う誤差伝播に起因する不正確性が欠点となる場合がある。高精度を結果として実現するためには、長時間かかり、かつ費用が高くなる場合がある。カメラ較正の他の手法は、車両と相対的に移動中の物体の追跡を含む。これらの手法の多くでは、カメラごとに異なる１つずつの様式で較正を実行する。
【０００５】
カメラシステムの較正のさらなる他の手法は、重複視野（ＦＯＶ）技術を含む。このような手法の実施にも、多くの場合に、車両と相対的な所定の位置に高精度にマーカを配置する技術が要求される。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
既知の車両の基準座標系に、事前にマーカを配置することを較正において必要としない車両視覚システムの較正方法および車両視覚システムが当業界で継続的な要求がある。側面開口角が大きい視野を含むカメラを使用可能な方法および車両視覚システムもまた当業界で要求がある。
【課題を解決するための手段】
【０００７】
この要求は、独立クレームに列挙する方法および車両視覚システムにより解決される。従属クレームは実施形態を記述する。
【０００８】
車両視覚システムの較正方法の一態様を示す。車両視覚システムは、非線形ひずみ、特に、魚眼レンズに伴うひずみのある画像をその各々が取得する複数の画像センサを備えている。画像センサは車両の異なる位置に配置される。この方法は、複数の画像センサのうちの画像センサおよび追加の画像センサを含む一対の画像センサに関して実行する取得するステップ、判定するステップ、および確立するステップを含む。この方法では、画像センサを用いて複数の物体の画像を取得し、さらに、追加の画像センサを用いて複数の物体の追加の画像を取得する。複数の物体は、画像センサの視野と追加の画像センサの視野との重複領域に位置する。複数の物体に対する画像センサの位置および配向は、取得された画像に基づいて判定され、複数の物体に対する追加の画像センサの位置および配向は、追加の取得画像に基づいて判定される。追加の画像センサと画像センサとの間の相対位置および配向は、これらの判定ステップの結果に応じて確立される。
【０００９】
この方法では、画像センサ間の相対位置および配向は、視野（ＦＯＶ）の重複領域に位置する複数の物体の画像に基づいて判定される。画像センサの相対位置を判定するために、車両に対する複数の物体の位置を事前に知る必要はない。画像センサと追加の画像センサとは異なる画像センサである。
【００１０】
画像センサは非線形ひずみのある画像を取得するように構成される。これにより、画像センサは、それ自体が広いＦＯＶを有することを可能にする光学部品をともなって構成することが可能になる。車両周囲３６０度の角度範囲全体に及ぶ周囲視野を得るには、４個などの少数の画像センサでも十分な場合がある。横方向における画像センサのＦＯＶの開放角は、少なくとも１７０度、または少なくとも１７５度であってもよい。
【００１１】
複数の物体相互の相対位置は既知である。これらの既定の相対位置は、複数の物体に対する画像センサおよび追加の画像センサの位置および配向を判定するために使用されてもよい。複数の物体は、３面に配置された格子状パターンなどの専用マーカでもよい。
【００１２】
複数の物体は少なくとも１つの規則的配置で配置されてもよい。複数の物体は少なくとも１つの格子状パターンを含んでもよい。この配置により、全ての物体の相対位置を規定する少数のパラメータを用いて、複数の物体間の相対位置を判定できる。複数の物体はそれらの全てが同一面内に位置しないように配置されてもよい。複数の物体のうちの少なくとも３つの他の物体が規定する面と間隔を空けて配置される、少なくとも１つ、具体的には、いくつかの物体があってもよい。
【００１３】
当業界の従来の専門用語に従い、本明細書で用いる場合、用語「画像センサの位置」は、画像センサの特性点の位置を意味する。例示として、「画像センサの位置」は、その光軸が電気光学センサ、レンズ、または任意の他の所与の光学部品と交差する点の位置として規定されてもよい。本明細書で用いる場合、用語「画像センサの配向」は、３つの角度により定量化されてもよい、空間における画像センサの座標系の配向を意味する。これに対応して、２つの画像センサ間の「相対位置」は、特性点間のオフセットを意味する。「相対配向」は、１つの画像センサの座標系と、それと対の追加の画像センサの座標系とを整列させるために要求される回転動作を記述する。相対位置および相対配向を記述する種々の方法がある。例示として、複数の物体により規定される座標系に対する画像センサの配向を記述するためには、回転角を明確に算出する必要はない。回転行列が算出されてもよい。同様に、画像センサと追加の画像センサとの相対配向は、回転行列の観点で記述されてもよい。相対位置は、並進行列または並進ベクトルの観点で記述されてもよい。
【００１４】
取得するステップ、判定するステップ、および確立するステップは、視野が重複する複数の対の画像センサに対してそれぞれ実行されてもよい。これにより、重複するＦＯＶを有する全ての対の画像センサに関する相対位置および／または相対配向は判定されてもよい。
【００１５】
対の画像センサ間の判定された相対配向は、その画像センサの光軸とそれと対のもう１つの画像センサの光軸とを整合するために要求される回転に関する情報を与えるために、少なくとも２つの角度を含むか、そうでなければそれらを表してもよい。
【００１６】
取得するステップ、判定するステップ、および確立するステップは、それぞれ、複数の対の画像センサに対して実行されてもよく、隣接していない画像センサ間の相対配向に関する情報は、それに応じて判定されてもよい。例示として、ＦＯＶが重複しない前面カメラと背面カメラとの間の相対配向を規定する少なくとも２つの角度に関する情報は、少なくとも２対の画像センサに対して実行される取得するステップ、判定するステップ、および確立するステップに基づいて判定されてもよい。ＦＯＶが重複しない前面カメラと背面カメラとの相対配向を規定する少なくとも２つの角度に関する情報は、少なくとも４対の画像センサに対する取得するステップ、判定するステップ、および確立するステップを実行することにより、高められた精度で取得されてもよい。代替的または追加的に、車両の左側カメラと右側カメラとの相対配向に関する情報は、少なくとも２対の画像センサに対して取得するステップ、判定するステップ、および確立するステップを実行することにより得ることができる。少なくとも４対の画像センサに対して取得するステップ、判定するステップ、および確立するステップを実行することにより、隣接していない画像センサの相対配向を高められた精度で判定するために、一貫性検査を実行してもよい。
【００１７】
複数の対のうちの一対は、第１の画像センサおよび中間画像センサを含んでもよい。複数の対のうちの別の一対は、中間画像センサおよび第２の画像センサを含んでもよい。第２の画像センサと第１の画像センサとの間の相対位置および相対配向は、その対に対して得られた確立するステップの結果と、もう一方の対に対して得られた確立するステップの結果とに基づいて確立されてもよい。これにより、第１の画像センサと中間画像センサとの間の相対位置および相対配向と、中間画像センサと第２の画像センサとの間の相対位置および相対配向とをコンピュータ的に処理し、第２の画像センサと第１の画像センサとの間の相対位置および相対配向を算出してもよい。この処理は、第１の画像センサと第２の画像センサとの視野が重複せず、かつ／またはこれらのセンサのＦＯＶの重複領域に複数の物体が配置されない場合に実行されてもよい。
【００１８】
取得するステップ、判定するステップ、および確立するステップは、それぞれ、追加の画像センサの複数の対の対ごとに実行されてもよい。第２の画像センサと第１の画像センサとの相対位置および相対配向もまた、追加の複数の対に対して得られた確立するステップの結果に基づいて確立されてもよい。これにより、第２の画像センサと第１の画像センサとの間の相対位置および相対配向は、独立した２つの方法で判定されてもよい。これにより、一貫性検査を実行できる。較正処理の信頼性は、定量化および／または改善されてもよい。この方法では、画像センサ間の相対配向、および任意選択により相対位置を規定する外部パラメータの値は、隣接していない画像センサの相対配向（複数可）を規定する一貫したパラメータの組が得られるまで、繰り返し調節されてもよい。
【００１９】
この方法では、第２の画像センサと第１の画像センサとの間の相対位置および相対配向は、２つの異なる方法により算出されてもよい。すなわち、複数の対に対して得られた確立するステップの結果を用いても算出でき、この複数の対とは異なる追加の複数の対に対して得られた確立するステップの結果を用いても算出できる。これらの結果は互いに比較されてもよい。例示として、車両の前部の画像センサに対する後部の画像センサの位置および配向は、左側画像センサを中間画像センサとして用いて判定されてもよく、または右側画像センサを中間画像センサとして用いて判定されてもよい。それぞれに算出した値は互いに比較されてもよい。この比較は最適化手順においてなされてもよく、ここで、その最適化手法の制約を実行するために用いられる。
【００２０】
第１の画像センサの視野と第２の画像センサの視野とは、結合していなくてもよい。第１の画像センサと第２の画像センサとは、車両の対向する側に配置されていてもよい。
【００２１】
この方法は、複数の対に対して得られた確立するステップの結果に基づいて、車両の基準座標系における複数の画像センサの外部パラメータを決定することをさらに含んでもよい。この目的のために、画像センサのうちの１つを基準として用いてもよく、基準の画像センサに対して全ての他の画像センサの配向および位置が決定されてもよい。代替的または追加的に、この車両の基準座標系に対する基準の画像センサの既知の位置および配向をさらに利用して、別の車両の基準座標に対する位置および配向が判定されてもよい。
【００２２】
車両の基準座標系において外部パラメータを決定することは、複数の物体の再投影を計算することを含んでもよい。画像および追加の画像における複数の物体の画像座標が判定されてもよい。投影面に投影されたときの物体の画像座標は、画像センサおよび追加の画像センサに対する外部パラメータに基づいて、画像に対して判定された位置と追加の画像に対して判定された位置との両方を用いて判定されてもよい。投影面上の位置は互いに比較されてもよい。この位置が閾値を超えて異なる場合には、外部パラメータは補正される場合がある。これにより、外部パラメータの一貫した組が識別されてもよい。較正処理のロバスト性は改善される場合がある。
【００２３】
車両視覚システムは周囲視認システムでもよい。
【００２４】
決定された外部パラメータは、複数の画像センサが取得した画像に基づいて周囲視野を算出するために用いられてもよい。使用中、ユーザが表示を意図する周囲の領域を画定す
るユーザ選択に基づいて表示は制御されてもよい。この表示は、画像センサが取得した画像と、較正において決定された車両視覚システムの外部パラメータとに基づいて制御されてもよい。
【００２５】
複数の物体は、第１の面に位置する少なくとも３つの物体と、第２の面に位置する少なくとも３つの物体とを含んでもよい。複数の物体は、第１の面に位置する少なくとも６つの物体と、第２の面に位置する少なくとも６つの物体とを含んでもよい。第１の面と第２の面とは、互いに対して一定の角度で配置されてもよい。第１の面と第２の面とは、互いに対して９０度の角度で配置されてもよい。別の実施形態では、第１の面と第２の面とは、互いに対して０度および９０度以外の角度で配置されてもよい。複数の物体のこのような構造により、外部パラメータに加えて、固有パラメータも決定できる。魚眼レンズに伴うひずみおよび／または他のひずみなどの光学的ひずみは、固有パラメータに基づいて補正される場合がある。
【００２６】
複数の物体は、第３の面に位置する少なくとも３つの物体をさらに含んでもよい。第１の面、第２の面および第３の面は互いに直交してもよい。すなわち、複数の物体は、互いに直交する３つの面上に位置する物体をともなう３面体として構成されてもよい。これにより、較正のロバスト性はさらに改善されてもよい。物体が第１、第２および第３の面上に位置する場合には、３つの面は互いに直交する必要はない。
【００２７】
この方法では、画像センサの固有パラメータは画像に基づいて確立されてもよく、追加の画像センサの固有パラメータは追加の画像に基づいて確立されてもよい。これにより、車両視覚システムの外部パラメータおよび固有パラメータの両方を、較正手順により確立することができる。固有パラメータは、後での画像のひずみの補正に用いるために保存されてもよい。
【００２８】
画像センサは、それぞれ、魚眼レンズを含んでもよい。これにより、１つの画像センサを使用して大きな角度範囲が包含される場合がある。
【００２９】
少なくとも２つの画像センサが車両の側面のドアミラーに提供されてもよい。幾何学的な妨害物の問題は軽減することができる。
【００３０】
別の態様に従い、車両視覚システムが提供される。車両視覚システムは、複数の画像センサおよび画像処理装置を含む。画像センサは、それぞれ、非線形ひずみのある画像を取得する光学部品を備える。画像センサは車両上の異なる位置に配置される。画像処理装置は、複数の画像センサが取得した画像データを処理するように構成される。車両視覚システムを較正するために、画像処理装置は、画像センサが取得した画像と追加の画像センサが取得した追加の画像との両方に含まれる複数の物体を識別するように構成される。画像処理装置は、取得画像に基づいて、複数の物体に対する画像センサの位置および配向を判定し、追加の取得画像に基づいて、複数の物体に対する追加の画像センサの位置および配向を判定するように構成される。画像処理装置は、複数の物体に対する画像センサの判定された位置および配向、ならびに複数の物体に対する追加の画像センサの判定された位置および配向に基づいて、追加の画像センサと画像センサとの間の相対位置および相対配向を確立するように構成される。
【００３１】
車両視覚システムは、車両に対する複数の物体の位置が事前に既知でない場合でさえも、画像処理装置が視覚システムを較正可能なように構成される。
【００３２】
画像処理装置は、複数の対の画像センサに対する判定するステップ、および確立するステップを実行するように構成されてもよい。
【００３３】
画像処理装置は、視野が結合していない第１の画像センサと第２の画像センサとの相対位置を計算的に判定するように構成されてもよい。この相対位置は、各々の視野が重複する複数の対の画像センサに対して判定した相対位置および相対配向を利用して判定する。例示として、画像処理装置は、第１の画像センサと中間画像センサとの間の相対位置および相対配向に基づいて、中間画像センサと第２の画像センサとの間の相対位置および相対配向にさらに基づいて、第２の画像センサと第１の画像センサとの間の相対位置および相対配向を算出するように構成されてもよい。
【００３４】
車両視覚システムは、画像センサが取得した画像の処理を実行するように構成された画像処理装置により、任意の一態様または実施形態の方法を実行するように構成されてもよい。
【００３５】
車両視覚システムは光出力装置を含んでもよい。画像処理装置は、光出力装置を介した周囲視野の一部に出力する較正中に決定された、車両視覚システムのパラメータを用いるように構成されてもよい。
【００３６】
車両視覚システムは、視覚的に出力される周囲視野の一部をユーザが選択可能な入力インターフェースも含んでもよい。
【００３７】
別の態様に従い、任意の一態様または実施形態に従う車両視覚システムを有する車両が提供される。
【００３８】
実施形態は、周囲視認システムにおいて使用されてもよいが、それに限定されない。
【００３９】
添付図面を参照して、実施形態をより詳細に記述する。
例えば、本発明は以下の項目を提供する。
（項目１）
非線形ひずみ、特に、魚眼レンズに伴うひずみを有する画像（４５，４６）をそれぞれが取得し、車両（１）における種々の位置に配置される複数の画像センサ（１１〜１４）を備える車両視覚システムの較正方法であって、
上記複数の画像センサ（１１〜１４）のうちの画像センサ（１１）および追加の画像センサ（１２）を含む画像センサの対（４１〜４４）に関して実行される以下のステップ、すなわち、
上記画像センサ（１１）を用いて、複数（２２）の物体の画像（４５）を取得し、上記追加の画像センサ（１３）を用いて上記複数（２２）の物体の追加の画像（４６）を取得するステップであって、上記複数（２２）の物体が、上記画像センサ（１１）の視野（１５）と上記追加の画像センサ（１３）の視野（１７）との重複領域（２１）に位置する、ステップと、
上記取得された画像（４５）に基づく上記複数（２０）の物体に対する上記画像センサ（１１）の位置および配向、ならびに上記取得された追加の画像（４６）に基づく上記複数（２２）の物体に対する上記追加の画像センサ（１３）の位置および配向とを判定するステップと、
上記判定結果に基づいて、上記追加の画像センサ（１３）と上記画像センサ（１１）との間の相対位置および相対配向を確立するステップと、を含む、方法。
（項目２）
上記取得するステップ、判定するステップ、および確立するステップは、それぞれ、重複する視野（１５〜１８）を有する画像センサ（１１〜１４）の複数の対（４１〜４４）に対して実行される、上記項目のいずれかに記載の方法。
（項目３）
上記複数の対のうちの対（４１）は、第１の画像センサ（１１）および中間画像センサ（１３）を含み、上記複数の対のうちの別の対（４２）は、上記中間画像センサ（１３）および第２の画像センサ（１２）を含み、上記方法は、
上記対（４１）に対して得られた上記確立するステップの結果と、上記他の対（４２）に対して得られた上記確立するステップの結果とに基づいて、上記第２の画像センサ（１２）と上記第１の画像センサ（１１）との間の相対位置および相対配向を確立することをさらに含む、上記項目のいずれかに記載の方法。
（項目４）
上記取得するステップ、判定するステップ、および確立するステップは、それぞれ、画像センサの追加の複数の対（４３，４４）の各対に関して実行され、
上記第２の画像センサ（１２）と上記第１の画像センサ（１１）との間の上記相対位置および相対配向は、上記追加の複数の対（４３，４４）に対して得られた上記確立するステップの結果に基づいて確立される、上記項目のいずれかに記載の方法。
（項目５）
上記複数の対（４１，４２）に対して得られた上記確立するステップの結果に基づいて算出された、上記第２の画像センサ（１２）と上記第１の画像センサ（１１）との間の上記相対位置および相対配向と、
上記追加の複数の対（４３，４４）に対して得られた上記確立するステップの結果に基づいて算出された、上記第２の画像センサ（１２）と上記第１の画像センサ（１１）との間の上記相対位置および相対配向とを比較することをさらに含む、上記項目のいずれかに記載の方法。
（項目６）
上記第１の画像センサ（１１）の視野（１５）と、上記第２の画像センサ（１２）の視野（１６）とは結合していない、上記項目のいずれかに記載の方法。
（項目７）
上記第１の画像センサ（１１）と上記第２の画像センサ（１２）とは、上記車両（１）の対抗する側面に配置されている、上記項目のいずれかに記載の方法。
（項目８）
上記画像センサの位置および配向を上記判定することは、ベクトル
【化１５】
が固定係数を有し、式中Ｌは、上記ベクトル
【化１６】
の行の数と等しい列の数を有する行列であり、
【化１７】
は、ベクトル係数関数を意味する、制約下において、次式が最小になるベクトル
【化１８】
を決定することを含む、上記項目のいずれかに記載の方法。
【数２３】
（項目９）
上記ベクトル
【化１９】
は、上記画像センサのカメラ行列の要素である行列要素を有する、上記項目のいずれかに記載の方法。
（項目１０）
上記ベクトル
【化２０】
は次式で定義され、
【数２４】
上記画像センサの上記カメラ行列は次式で定義される、上記項目のいずれかに記載の方法。
【数２５】
（項目１１）
上記ベクトル
【化２１】
は、上記画像センサの固有パラメータと無関係である、上記項目のいずれかに記載の方法。
（項目１２）
上記行列Ｌは、上記画像センサの固有パラメータと無関係である、上記項目のいずれかに記載の方法。
（項目１３）
上記複数の対（４１〜４４）に対して得られた上記確立するステップの結果に基づいて、車両の基準座標系において上記複数の画像センサ（１１〜１４）の外部パラメータを判定することをさらに含む、上記項目のいずれかに記載の方法。
（項目１４）
上記車両の基準座標系において上記外部パラメータを判定することは、上記複数の物体（２２〜２９および３１）の投影を算出することを含む、上記項目のいずれかに記載の方法。
（項目１５）
上記車両視覚システムは周囲視認システムであり、上記判定された外部パラメータは、上記複数の画像センサ（１１〜１４）によって取得された画像（４５，４６）に基づいて周囲視野を算出するために用いられる、上記項目のいずれかに記載の方法。
（項目１６）
上記複数の物体（３１）は、第１の面（３２）上に位置する少なくとも３つの物体および第２の面（３３）上に位置する少なくとも３つの物体を含み、上記第１の面（３２）および上記第２の面（３３）は、互いに対して一定の角度で配置されている、上記項目のいずれかに記載の方法。
（項目１７）
上記複数の物体（３１）は、第３の面（３４）上に位置する少なくとも３つの物体を含み、上記第１の面（３２）、上記第２の面（３３）、および上記第３の面（３４）は互いに直交している、上記項目のいずれかに記載の方法。
（項目１８）
上記画像センサ（１１）の固有パラメータは上記画像（４５）に基づいて確立され、上記追加の画像センサ（１２）の固有パラメータは、上記追加の画像（４６）に基づいて確立される、上記項目のいずれかに記載の方法。
（項目１９）
上記画像センサ（１１〜１４）は、それぞれ、魚眼レンズを含み、
上記画像センサのうちの少なくとも２つ（１３および１４）は、上記車両（１）のサイドドアミラーに提供される、上記項目のいずれかに記載の方法。
（項目２０）
車両視覚システムであって、
非線形ひずみのある画像（４５，４６）を取得する電気光学部品をそれぞれが有し、上記車両（１）上の異なる位置に提供される複数の画像センサ（１１〜１４）と、
上記複数の画像センサ（１１〜１４）によって取得された画像データを処理するように構成されている画像処理装置（１０）と、を備えている車両視覚システムであって、上記画像処理装置（１０）が、
画像センサ（１１）によって取得された画像（４５）と、追加の画像センサ（１２）によって取得された追加の画像（４６）との両方に含まれる複数の物体（２２）を識別し、
上記取得された画像（４５）に基づいて、上記複数の物体（２２）に対する上記画像センサ（１１）の位置および配向を判定し、上記取得された追加の画像（４６）に基づいて上記複数の物体（２２）に対する上記追加の画像センサ（１３）の位置および配向とを判定し、
上記複数の物体（２２）に対する上記画像センサ（１１）の上記判定された位置および配向と、上記複数の物体（２２）に対する上記追加の画像センサ（１３）の上記判定された位置および配向とに基づいて、上記追加の画像センサ（１３）と上記画像センサ（１１）との間の相対位置および相対配向を確立するように構成されている、車両視覚システム。
（摘要）
車両視覚システムは、非線形ひずみのある画像をその各々が取得する複数の画像センサ（１１〜１４）を備えている。車両視覚システムを較正するために、画像センサ（１１）を用いて複数の物体の画像（２２）を取得し、さらに、追加の画像センサ（１３）を用いても複数の物体の画像（２２）を取得する。画像センサ（１１）と追加の画像センサ（１３）は、重複する視野（１５，１７）を有する。複数の物体（２０）に対する、画像センサ（１１）の位置および配向は、取得された画像に基づいて判定される。複数の物体（２２）に対する追加の画像センサ（１３）の位置および配向は、追加の取得された画像に基づいて判定される。追加の画像センサ（１３）と画像センサ（１１）との相対位置および配向は、これらの判定結果に基づいて確立される。
【図面の簡単な説明】
【００４０】
【図１】車両視覚システムを有する車両を示す概略図である。
【図２】車両視覚システムの較正に用いられる複数の物体を示す概略図である。
【図３】較正手順を示す、図１の車両の概略図である。
【図４】画像センサを用いて取得した画像を示す図である。
【図５】追加の画像センサを用いて取得した画像を示す図である。
【図６】車両視覚システムにより実行される較正方法を含む方法を説明するフローチャートである。
【図７】画像センサ間の相対位置および相対配向を判定するための手順を説明するフローチャートである。
【図８】投影面を示す図である。
【発明を実施するための形態】
【００４１】
記述を通じて、同一または同様の参照番号は、同一または同様の構成要素を示す。一部の実施形態を周囲視認システムなどの特定の文脈において記述したが、実施形態はこれらの特定の文脈に限定されない。車両視覚システムの文脈で用いられる場合、「前方」、「前面」、「後方」、「背面」、または「側面」などの用語は、車両の基準座標系に関連する用語である。すなわち、「前方」は、運転手がフロントガラスなどから視認可能な方向である。
【００４２】
図１は車両１を示す概略図である。車両１は車両視覚システムを含む。車両視覚システムは、複数の画像センサ１１〜１４および複数の画像センサ１１〜１４に連結した画像処理装置１０を備えている。
【００４３】
画像センサ１１〜１４は、それぞれ、広角画像センサとして構成されてもよい。画像センサ１１〜１４の視野（ＦＯＶ）は、少なくとも１７０度の各々の側面開口角（すなわち、車両１の底面と平行な面における開放角）を有してもよい。画像センサ１１〜１４のＦＯＶは、少なくとも１７５度の側面開口角を有してもよい。画像センサ１１〜１４は、それぞれ、魚眼レンズを含んでもよい。画像センサは、広角度のＦＯＶに適応するために、非線形ひずみのある画像を取得するように構成される。広角特性およびその結果生じる非線形ひずみは、一般的に、画像センサの光学部品により生じる。画像センサ１１〜１４が取得した画像は、それぞれ、非線形の半径方向ひずみ、非線形の樽形ひずみおよび／または非線形の魚眼ひずみを示す場合がある。画像センサ１１〜１４は、それぞれ、電気光学センサを備えている。画像センサ１１〜１４は、それぞれ、ＣＣＤセンサを備えてもよい。画像センサ１１〜１４の電気光学センサは、車両視覚システムの画像処理装置（１１〜１４）に連結している。
【００４４】
車両視覚システムは、周囲視認システムとして構成されてもよい。この場合では、画像センサ１１〜１４のＦＯＶ１５〜１８は、車両の底面と平行な少なくとも１つの面において、車両１の周囲３６０度の角度範囲全体を含む場合がある。この面におけるＦＯＶ１５〜１８の開放角は、画像センサ１１のＦＯＶ１５の開放角２０として示すように、少なくとも１７０度、または少なくとも１７５度である。
【００４５】
車両視覚システムは、少なくとも４つの画像センサ１１〜１４を含んでもよい。車両前部に取り付けられてもよい画像センサ１１は、前方向を向いたＦＯＶ１５を有してもよい。車両後部に取り付けられてもよい別の画像センサ１２は、後方向を向いたＦＯＶ１６を有してもよい。車両側面に取り付けられてもよい他の画像センサ１３および１４は、車両のそれぞれの側面方向に対して向けられた、それぞれＦＯＶ１６または１８を有してもよい。側面に取り付けられる画像センサ１３および１４は、ドアミラーに取り付けられてもよい。ドアミラーが可動部品を有する場合には、画像センサ１３および１４は、それぞれ、ドアミラーの静止部分に取り付けられてもよい。
【００４６】
処理装置１０は、異なる画像センサ１１〜１４が生成した画像データを受信し、周囲視野を生成するようにこれらの画像データを融合するように構成される。処理装置１０はさらに、較正処理において画像センサ１１〜１４の外部パラメータおよび固有パラメータの両方を決定するようにさらに構成される。固有パラメータは、取得された画像の非線形ひずみを規定する、各画像センサのパラメータを含む場合がある。種々のパラメータ化が公知であり、広角画像センサの非線形ひずみを記述するために用いられる。このようなパラメータ化の例は、半径方向ひずみの多項式モデル、魚眼ひずみの非多項式モデル、ＦＯＶモデル、または投影モデルを含む。処理装置１０は、較正処理において決定された固有パラメータを保存してもよい。処理装置１０は、取得画像における非線形ひずみを補正するために、画像を融合するときに固有パラメータを取り出してもよい。
【００４７】
車両視覚システムの外部パラメータは、車両に付随する全ての画像センサの位置および配向に関する、車両の基準座標系における情報を含む。車両の基準座標系は、例えば、画像センサ１１などのように画像センサのうちの１つが規定しても良い。すなわち、画像センサ１２〜１４の位置および配向は、外部パラメータを決定するために、画像センサ１１の位置および配向に対して決定されてもよい。外部パラメータは、車両に付随する任意の他の座標系をも基準にして決定されてもよい。この場合では、画像センサ１２〜１４の位置および配向は、まず、画像センサ１１の位置および配向に対して判定されてもよい。車両の基準システムにおける画像センサ１１の既知の位置および配向に基づいて、車両の基準システムにおける全ての画像センサ１１〜１４の位置および配向が判定されてもよい。
【００４８】
処理装置１０は、ＦＯＶが重複する、画像センサが取得した画像の対を評価することにより、車両視覚システムの全ての画像センサ１１〜１４の外部パラメータを決定するように構成される。外部パラメータは、カメラごとに１つ１つの様式では決定されない。較正処理は、種々の画像センサ１１〜１４に関する外部パラメータの一貫した組を確立するように実行される。この外部パラメータの一貫した組は、異なる画像センサを用いて取得した画像を組み合わせて決定される。
【００４９】
較正手順では、ＦＯＶが重複する画像センサと追加の画像センサとの間の相対位置および相対配向が判定される。画像センサのＦＯＶの重複領域に複数の物体が位置する。複数の物体の互いに対する位置は既知である。例示として、複数の物体は、格子の角部間の間隔が既知の格子状パターンなどの規則的に配置されたマーキングを含んでもよい。車両１に対する複数の物体の位置が、既知である必要は無い。
【００５０】
較正方法において、複数の物体の画像を取得する画像センサの位置および配向は、複数の物体に対して判定されてもよい。複数の物体に対する画像センサの位置および配向を判定するために、回転行列の行列要素および並進ベクトルのベクトル要素が決定されてもよい。これは、複数の物体の座標系の点座標と、画像センサが取得した画像の画像座標との間のマッピングを規定する。同様に、追加の複数の物体の画像を取得する追加の画像センサの位置および配向を、複数の物体と相対的に判定してもよい。
【００５１】
複数の物体に対する画像センサの位置および配向と、同一の複数の物体に対する追加の画像センサの位置および配向とに基づいて、画像センサと追加の画像センサとの間の相対位置および相対配向が導き出される場合がある。
【００５２】
ＦＯＶが重複する複数の対の画像センサに対してこれらの動作を繰り返すことにより、ＦＯＶが重複する画像センサ間の相対位置および配向が判定されてもよい。このデータは、ＦＯＶが重複しない画像センサ間の相対位置および相対配向を判定するために処理されてもよい。
【００５３】
図１は複数２２の物体２４〜２６を概略的に示す。複数２２の物体は、画像センサ１１のＦＯＶ１５と画像センサ１３のＦＯＶ１７との重複領域２１に位置する。物体２４〜２６は少なくとも１つの面上２３に位置する。物体２４〜２６は、エッジ検出などの物体認識スキームを用いて容易に検出できる構成を有してもよい。例示として、物体２４〜２６は、格子状パターンの矩形の角部でもよい。図１には、面２３に位置する物体を３つのみ示したが、複数２２の物体は３面体構造を有してもよい。複数２２の物体は、第１の面上に位置する少なくとも３つの物体、第２の面上に位置する少なくとも３つの物体、および第３の面上に位置する少なくとも３つの物体を含んでもよい。第１、第２および第３の面は互いに直交してもよい。各面の上により多くの物体が位置することにより、較正処理の安定性が向上する。例示として、複数２２の物体が、第１の面上に位置する少なくとも６つの物体、第２の面上に位置する少なくとも６つの物体、および第３の面上に位置する少なくとも６つの物体を含んでもよい。
【００５４】
画像センサ１１が取得した、複数２２の物体の画像と、他の画像センサ１３を用いて取得した、複数の物体２２の追加の画像とが評価される。これらの画像は、複数２２の物体が車両１に対して同一の位置に存在している間に取得した画像である。車両１に対する位置が事前に既知である必要はない。画像センサ１１が取得した画像と、他の画像センサ１３を用いて取得した他の画像とは、画像センサ１１と他の画像センサ１３との間の相対位置および相対配向を判定するために処理される。追加的に、画像センサ１１の固有パラメータは、画像センサ１１が取得した画像に基づいて決定されてもよく、追加の画像センサの固有パラメータ１３は、追加の画像センサ１３が取得した追加の画像に基づいて判定されてもよい。
【００５５】
同様に、画像センサ１３と画像センサ１２との間の相対位置および相対配向は、画像センサ１３のＦＯＶ１７と画像センサ１２のＦＯＶ１６との重複領域に位置する、複数２７の物体の画像を取得することによって判定されてもよい。この処理は、前述の画像センサ１１および１３の対において説明したのと同様に実行されてもよい。
【００５６】
同様に、画像センサ１１と画像センサ１４との間の相対位置および相対配向は、画像センサ１１のＦＯＶ１５と画像センサ１４のＦＯＶ１８との重複領域に位置する、複数２９の物体の画像を取得することによって判定されてもよい。画像センサ１４と画像センサ１２との間の相対位置および相対配向は、画像センサ１４のＦＯＶ１８と画像センサ１２のＦＯＶ１６との重複領域に位置する、複数２８の物体の画像を取得することによって判定されてもよい。重複するＦＯＶを有する画像センサの任意の対に対して、取得された画像の処理は、前述の画像センサ１１および１３の対において説明したのと同じ方法で行われてもよい。
【００５７】
画像センサ１１および１３を含む一対のＦＯＶの重複領域における複数２２の物体、画像センサ１３および１２を含む一対のＦＯＶの重複領域における別の複数２７の物体、画像センサ１１および１４を含む一対のＦＯＶの重複領域における別の複数２９の物体、並びに画像センサ１４および１２を含む一対のＦＯＶの重複領域における別の複数２８の物体を図１に示したが、ＦＯＶが重複する画像センサ間の相対位置および相対配向の判定に用いられるマーキングは、同時に存在しなくともよい。例示として、全く同一の３面体は、まず、重複するＦＯＶを有する画像センサ間の相対位置および相対配向を判定するために、画像センサ１１のＦＯＶ１５と画像センサ１３のＦＯＶ１７との重複領域２１に位置されてもよい。３面体は、次に、重複するＦＯＶを有する画像センサ間の相対位置および配向を連続して判定するために、他の重複領域に再配置されてもよい。さらに、較正に使用可能なデータ量を増加するために、複数の物体が、重複領域２１における異なる位置にも、逐次的な様態で配置されてもよい。
【００５８】
図２は複数３１の物体の概略図である。較正に用いる複数３１の物体は、異なる３つの面３２〜３４上に提供されるマーキングを含む。図２に示すように３つの面３２〜３４は互いに直交してもよいし、または互いに対して０度以外の別の角度で配置されてもよい。面３２〜３４の各１つの上に格子状パターンが形成される。物体は格子状の矩形の角部でもよい。これらの物体の相対位置は、格子の正方形の辺長を表す、正方形の格子に対する１つのパラメータにより定量化することができる。角部は、取得された画像において従来のエッジ検出アルゴリズムを用いて検出されてもよい。
【００５９】
他のマーキングおよび他の数の物体を用いてもよい。一実施形態では、互いに異なる少なくとも２つの面において物体を配置してもよい。２つの面は、特に、互いに対して９０度の角度で配置されてもよい。各１つの面上に、少なくとも３つの物体、特に、少なくとも６つの物体が提供されてもよい。
【００６０】
さらなる他の実施では、同一面に全ては位置しない複数の物体を用いてもよい。すなわち、物体の一部は、複数の物体のうちの少なくとも３つの他の物体が位置する面と間隔を空けて配置されても良い。
【００６１】
図３は車両視覚システムを有する車両１の概略図である。
【００６２】
格子状パターンなどの専用マーキングであってもよい、複数２２の物体の画像は、画像センサ１１と画像センサの対４１のうちのもう一方の画像センサ１３とによって取得される。これらの画像に基づいて、画像センサ１１と画像センサ１３との間の相対位置および相対配向は判定されてもよい。さらに、画像センサ１１と画像センサ１３との固有パラメータを決定されてもよい。
【００６３】
画像センサ１１と画像センサ１３との間の相対位置は、画像センサ１１の特性点と画像センサ１３の特性点との間の並進ベクトルにより規定されてもよい。画像センサ１１と画像センサ１３との間の相対配向は、画像センサ１１の座標系と画像センサ１３の座標系との相互の位置合わせに要求される回転行列により規定されてもよい。画像センサ１１の座標系の軸３５は、光軸などの、画像センサ１１の光学系の特性軸であってもよい。同様に、画像センサ１３の座標系の軸３７は、光軸などの、画像センサ１３の光学系の特性軸であってもよい。
【００６４】
ＦＯＶの重複領域に位置する、複数２７の物体の画像を処理することにより、対４２の画像センサ１３および１２の相対位置および相対配向が判定されてもよい。ＦＯＶの重複領域に位置する、複数２９の物体の画像を処理することにより、対４３の画像センサ１１および１４の相対位置および相対配向が判定されてもよい。ＦＯＶの重複領域に位置する、複数２８の物体の画像を処理することにより、対４４の画像センサ１４および１２の相対位置および相対配向が判定されてもよい。
【００６５】
これにより、判定した相対位置および相対配向は、一貫性検査を実行することが可能になる。例示として、画像センサ１２と画像センサ１１との間の相対位置および相対配向は、２つの異なる方法により判定されてもよい。画像センサ１２と画像センサ１１との間の相対位置および相対配向は、対４１および対４２に対して得られた結果に基づいて算出されてもよい。画像センサ１２と画像センサ１１との間の相対位置および相対配向はまた、対４３および対４４に対して得られた結果に基づいても算出される場合がある。画像センサの異なる対のそれぞれからのデータを用いて判定した、画像センサ１２と画像センサ１１との間の相対位置および相対配向は、互いに比較されてもよい。このような比較は、全ての画像センサ１１〜１４の外部パラメータが制約に基づいて決定されてもよい最適化手法により実行されてもよい。この制約は、対４１および４２に対して判定された相対位置および配向を用いるか否か、または対４３および４４に対して判定された相対位置および配向を用いるか否かとは無関係に、画像センサ１１と画像センサ１２との間の相対位置および相対配向が、同一の値を有するべきであるという制約である。
【００６６】
図４は画像センサを用いて取得した画像４５を示す概略図である。図５は追加の画像センサを用いて取得した画像４６を示す概略図である。画像４５および４６は、ＦＯＶが重複する画像センサを用いて取得した画像である。例示として、画像４５は画像センサ１１を用いて取得した画像であってもよい。画像４６は画像センサ１３を用いて取得した画像であってもよい。
【００６７】
画像４５の右側における、格子状パターンを有する３面体は、画像４６の左側における、格子状パターンを有する３面体と同一の複数の物体を示す。これにより、画像４５および４６を取得した画像センサ間の相対位置および相対配向を判定することが可能になる。
【００６８】
重複するＦＯＶを有するカメラと重複しないＦＯＶを有するカメラとの間の相対位置および相対配向を判定するために利用されてもよい手順を以下に記述する。代替的な手順および／または代替的な数値的記述を用いてもよい。
【００６９】
手順は、一般に、（Ａ）一対の画像センサのうちの各画像センサに対して、複数の物体によって規定される座標系に対する、画像センサの位置および配向を判定することと、（Ｂ）（Ａ）の結果を用いて、対のうちの画像センサとその対のもう一方の画像センサとの間の相対位置および相対配向を確立することと、（Ｃ）複数の異なる対の画像センサに対して判定された、確立された相対位置および相対配向を用いて、結合していないＦＯＶを有する画像センサの相対位置および相対配向を判定することとを含む。
【００７０】
（Ａ）複数の物体によって規定される座標系に対する画像センサの位置および配向を判定すること。
【００７１】
同次座標が、複数の物体の座標系において規定された複数の物体の座標と、画像センサの画像平面の座標とのマッピングを規定するために用いられてもよい。
【００７２】
同次座標は、画像平面上の複数の物体が規定する座標空間における座標のマッピングをマトリックス乗算として記述するために用いられてもよい。複数の物体が規定する座標系では、物体の座標は次式のように４ベクトルとして書き込まれてもよい。
【数１】
ここで、Ｘ、ＹおよびＺは複数の物体の座標系における座標である。同次座標は、４行を有する
【化１】
により用いられる。
【００７３】
画像センサの画像平面上において（１）が与える座標を有する物体の投影は、次式により定義される。
【数２】
ここで、
【数３】
は画像センサが取得した画像の非半径方向ひずみに関する多項式表現である。例示として、魚眼レンズを有する画像センサについて、方程式（３）は魚眼ひずみに対する多項式近似を記述する。方程式（３）において、ｄは画像中心からの距離である。係数ａ０、ａ１、．．．、ａｎは、画像センサの多項式表現を用いたときの、非線形ひずみを有する画像センサの固有パラメータである。
【００７４】
画像センサの光学系における非線形ひずみを記述するために用いられるモデルに応じて、ｚ成分に関する他の表現が用いられてもよい。これに対応して、異なる固有パラメータが、非線形ひずみを記述るすために用いられてもよいモデルに応じて異なってもよい、較正において判定されてもよい。
【００７５】
同次座標では、複数の物体に付随する座標系から画像空間へのマッピングは、行列乗算として書かれてもよい。Ｈは次式のように書かれてもよい。
【数４】
Ｈは回転パラメータＲおよび並進パラメータＴを含む。行列Ｈは、既知であれば、複数の物体に付随する座標系に対する画像センサの位置および配向を記述する。
【００７６】
Ｈの定義により、次式の行列積は、
【化２】
との共線ベクトル成分を有する。
【数５】
【００７７】
複数の物体は、第１の面に位置する物体を含み、互いに直交する別々の面である第２および第３の面に位置する他の物体もさらに含む場合もある。Ｈの行列要素の判定は、面のうちの１つに関する文脈について下記する。物体が位置する、３面体の３つの面各１つに対して同じ技法およびステップが適用されてもよい。
【００７８】
普遍性を失うことなく、１つの面に位置する物体の座標は、Ｚ＝０を満たすものと仮定されてもよい。これは、その面が３面体のＸＹ面であることを意味する。
【００７９】
【化３】
の第１の三成分が
【化４】
と共線である条件は、次式で書き換えられる。
【数６】
方程式（６）では、共線ベクトルのベクトル積が０に等しいという事実が利用される。この方程式は、各物体の座標（例えば、格子状パターンの角部、または他のマーキング）、および対応する画像点座標を保持する必要がある。ｘ−およびｙ−画像点座標は、従来の画像認識技術により判定されてもよい。
【００８０】
下記するように、面上に位置する物体には、添え字「ｊ」によるラベルが付けられる。すなわち、ＸｊおよびＹｊは、複数の物体が規定する座標系のＸ−Ｙ平面における物体ｊの座標を示す。値ｘｊおよびｙｊは、画像センサの画像平面内の物体ｊに関する画像点座標である。
【００８１】
方程式（６）を展開し、次式のように方程式の組として書き換えることができる。
【数７】
【００８２】
方程式（７ｃ）は、ｚ＝ａ０＋ａ１ｄ．．．＋ａｎｄｎ（式（３））と無関係である。すなわち、方程式（７ｃ）は、画像センサの固有パラメータと無関係である。
【００８３】
方程式（７ｃ）は、検討中の面上に位置する種々の物体を保持する。パラメータＴ３を例外として、マッピング行列Ｈのパラメータを決定するために、方程式（７ｃ）が用いられる。
【００８４】
方程式（７ｃ）がそれに依存する、Ｈ行列のパラメータを含むベクトル
【数８】
を既定する。方程式（７ｃ）は次式の行列形式に書き換えられてもよい。
【００８５】
行列
【数９】
は規定されてもよく、これは複数の物体の座標系のそれぞれの面に位置する各物体に対して１つの行を有する。ノイズ問題を軽減し、安定性を向上するために、物体の数は、６よりもはるかに多い数を選択してもよい。この場合、方程式（７ｃ）は、方程式（８）のベクトル成分であるＨ行列のパラメータに関する、方程式の過剰決定の組を定義する。
【００８６】
この方程式の過剰決定の組を解くために、例えば、式（１１）の制約の下のように、
【化５】
が固定された係数を有する制約の下で、式（１０）の行列積がこれに対して最小になるようにベクトル
【化６】
が決定される。
【数１０】
【数１１】
【００８７】
ベクトル
【化７】
を決定するために、方程式の過剰決定の組を解くための他の技法を用いてもよい。
【００８８】
回転を記述するＨの一部の列、すなわち、方程式（４）の左上隅の３×３行列は、正規直交であるという事実を使用して、Ｒ１１、Ｒ１２、Ｒ２１およびＲ２２から、回転の残りのパラメータを決定してもよい。方程式（１０）が方程式（１１）の制約下で解かれると、Ｔ３以外のＨの全ての要素を決定することができる。
【００８９】
複数の異なる面上に物体が位置する場合には、異なる面の各１つごとに前述の処理ステップが実行されてもよい。様々な面上に位置する物体と画像センサの画像平面との間のマッピングは、様々な面に対してマッピング行列Ｈで記述される。画像センサの固有パラメータと無関係な方程式を組み合わせることにより、マッピング行列Ｈの行列要素に対する方程式の過剰決定の組がそれぞれに確立されてもよい。この方程式の組を解くことにより、前述のように、行列Ｈのパラメータのうちの１つ以外の全てが決定される場合がある。
【００９０】
これにより、Ｈの行列要素に関して得られた結果は、方程式（７ａ）および（７ｂ）に再挿入されてもよい。結果として得られた方程式の組は、固有パラメータａ０、ａ１、．．．、ａｎの一次式であり、Ｈの未知の行列要素である。すなわち、方程式（１０）を解くときに、Ｔ３行列要素が不確定のままである場合、方程式（７ａ）および（７ｂ）に基づいてＴ３を決定してもよい。安定性のため、（例えば、図２に示す３面体の３つの直交面に位置する異なるマーキングに対する）異なる面上に位置する物体の組みに対して得られた方程式は、１つの行列方程式に組み合わせられてもよい。
【００９１】
例示として、３つの直交平面板上にマーキングが提供される複数の物体において、平面板にラベルを付ける添え字「ｉ」が導入されてもよい。３つの平面板では、１≦ｉ≦３である。
【００９２】
次いで、方程式（７ａ）および（７ｂ）は、以下の行列方程式に書き換えられてもよい。簡潔さのため、同じ数「ｋ」個の物体が各板上に位置すると仮定する。
【数１２】
方程式（１２）では、次式の定義を用いる。
【数１３】
ここで、添え字ｉは板の数をラベルする。添え字ｊは各板上の物体にラベルを付ける。すなわち、「ｙｉ，ｊ」は板ｉ上の点ｊを意味する。「Ｒｉ，ａｂ」および「Ｔｉ，ａ」は、板ｉに対するＨ行列の成分を意味する。例示として、「Ｒｉ，２１」は、板の数がｉであるマッピング行列Ｈの方程式（４）における行列要素Ｒ２１を意味する。
【００９３】
方程式（１２）および（１３）により定義される方程式系は、過剰決定である場合がある。方程式系は、例えば、行列擬似逆数を用いて解かれてもよい。
【００９４】
これにより、画像センサの画像平面上へのＦＯＶの重複領域に位置する物体間のマッピングを規定するマッピング行列Ｈの行列要素が決定されてもよい。追加的に、画像センサの固有パラメータが決定されてもよい。マッピング行列Ｈの行列要素は、画像センサの画像平面上にマッピングされた、複数の物体の座標系に対する画像センサの位置および配向を記述する。
【００９５】
複数の物体の画像を両方とも取得する少なくとも２つの画像センサについて、複数の物体の座標系に対する画像センサの位置および配向が判定されてもよい。ＦＯＶの重複領域に位置するパターンに対する画像センサの位置および配向は、いずれの場合でも、前述の方法で判定されてもよい。
【００９６】
（Ｂ）重複するＦＯＶを有する画像センサ間の相対位置および相対配向を確立すること。
【００９７】
重複するＦＯＶを有する画像センサに関して判定されたＨ行列の行列要素に基づいて、重複するＦＯＶを有する画像センサ間の相対位置および相対配向が判定されてもよい。
【００９８】
下記の説明では、異なる画像センサは、添え字α、β、γによって示される。これらの指標は、図１〜図３に関連して説明した車両視覚システムの画像センサ１１〜１４を意味する。
【００９９】
画像センサの任意の対について、これらの画像センサ間の相対配向は、回転行列Ｒ（α、β）により規定される。回転行列Ｒ（α、β）は、画像センサαおよびβの座標系を整列させるために必要な回転を規定する３×３行列である。画像センサ間の相対位置は、並進ベクトルＴ（α、β）により規定される。並進ベクトルＴ（α、β）は、画像センサαおよびβの座標系の始点間の変位を規定する３ベクトルである。
【０１００】
マーキングをともなう３面体または較正に用いられる別の複数の物体をΩが意味する場合には、方程式（８）が規定するＨ行列の左上隅における３×３行列は、回転行列Ｒ（α、Ω）である。この回転行列は、複数の物体Ωに対する画像センサαの配向を記述する。同様に、方程式（８）が定義するＨ行列の最後の列における最上の３つの要素は、並進ベクトルＴ（α、Ω）であり、これは、複数の物体Ωに対する画像センサαの位置を表す。
【０１０１】
複数の物体Ωが配置される視野が重複する画像センサ間の相対位置および相対配向は、次式に従い判定されてもよい。
【数１４】
【数１５】
【０１０２】
方程式（１４）および（１５）の右側の回転行列および並進ベクトルは、それぞれ、２つの画像センサαおよびβのＦＯＶの重複領域に位置するパターンの座標系に関連して判定される。
【０１０３】
画像センサαおよびβは車両上の異なる位置に配置される。重複領域に位置する複数の物体に対する各画像センサの位置および配向を判定するために、取得された画像の異なる領域が評価される。例示として、画像センサ１１と画像センサ１３との間の相対位置および配向が確立されることを仮定すると、複数２２の物体は、画像センサ１１により取得された画像の右側、および画像センサ１３により取得された画像の左側に位置する。方程式（１４）および（１５）で用いられるＲ（α、Ω）が、画像センサαが取得した画像の右半分に実行される物体認識により判定される場合には、方程式（１４）および（１５）で用いられるＲ（β、Ω）は、画像センサβが取得した画像の左半分に実行される物体認識により判定される。これは並進ベクトルにも対応して適用される。
【０１０４】
このような画像センサの全ての対に対して、ＦＯＶが重複する画像センサ間の相対位置および相対配向が判定されてもよい。図１〜図３に示したような、４つの画像センサを備えた周囲視認システムとして構成された車両視覚システムでは、画像センサ１１と画像センサ１３との間、画像センサ１３と画像センサ１２との間、画像センサ１１と画像センサ１４との間、および画像センサ１４と画像センサ１２との間の相対位置および相対配向が判定されてもよい。対による方式で相対位置および相対配向は判定されてもよい。この方法では柔軟性が向上する。例示として、パターンを有する４つの３面体が、ＦＯＶの４つの重複領域に同時に位置する必要はない。１つの３面体が、４つの異なる重複領域に連続して位置してもよい。異なる対の画像センサの相対位置および相対配向を判定するときに、車両１は、世界基準の座標系と相対的に静止している必要はない。例示として、画像センサ１１と画像センサ１３との間の相対位置および配向が判定された後で、かつ別の対の画像センサ間の相対位置および相対配向が判定される前に、車両１は移動することができる。
【０１０５】
（Ｃ）結合していないＦＯＶを有する画像センサ間の相対位置および相対配向を確立すること。
【０１０６】
前述の手順に従い、画像センサの異なる対に対して得られた相対位置および相対配向に基づいて、結合していないＦＯＶを有する画像センサ間の相対位置および相対配向が判定されてもよい。
【０１０７】
ＦＯＶが重複しない第１の画像センサと第２の画像センサとの間の相対位置および相対配向を判定するために、ＦＯＶが重複する画像センサのいくつかの対に対して得られた相対位置および相対配向が処理される。この目的のために、第１の画像センサおよび第２の画像センサのうちの少なくとも１つとＦＯＶが重複する少なくとも１つの中間画像センサが選択された。
【０１０８】
中間画像センサのＦＯＶが、第１の画像センサおよび第２の画像センサの両方と重複する場合には、第１の画像センサと第２の画像センサとの間の相対位置および相対配向は、第１の画像センサと中間画像センサとの間の相対位置および相対配向、および第２の画像センサと中間画像センサとの間の相対位置および相対配向に基づいて算出されてもよい。
【０１０９】
第１の画像センサの添え字がαである場合には、第２の画像センサの添え字はβであり、中間画像センサの添え字はγである。
【数１６】
【数１７】
方程式（１６）および（１７）の右側における回転行列および並進ベクトルは、前述の方法で判定できる。
【０１１０】
例示として、図１〜図３の車両視覚システムを参照すると、前方を向いて取り付けられた画像センサ１１と、後方を向いて取り付けられた画像センサ１２との間の相対位置および相対配向は、車両の一側面に取り付けられた画像センサ１３、または車両の反対側の側面に取り付けられた画像センサ１４を中間画像センサとして用いて判定されてもよい。これは、ＦＯＶが重複しない任意の対の画像センサにも同様に適用することになる。
【０１１１】
車両周囲視認システムでは、それらの光軸が対抗する方向を向くように配置された画像センサ間の相対位置および相対配向は、２つの異なる方法で判定されてもよい。これにより、一貫性検査を実行することが可能になる。一貫性検査は、全ての画像センサの外部パラメータを決定される最適化手法における制約として実行されてもよい。
【０１１２】
図３を参照すると、画像センサ１１と画像センサ１２との間の相対位置および相対配向は、対４１および４２に対して確立された結果を用いて判定されてもよい。また、画像センサ１１と画像センサ１２との間の相対位置および相対配向も、対４３および４４に対して確立された結果を用いても判定されてもよい。２つの異なる方法により判定された相対位置および相対配向に対する値が同一であるというの制約は、車両視覚システムの外部パラメータの決定に用いられてもよい。
【０１１３】
車両に付随する任意の車両の基準座標系における、１つの画像センサの位置および配向が既知である場合には、画像センサ間の相対位置および相対配向を利用して、車両視覚システムの全ての画像センサの位置および配向が判定される場合がある。例示として、任意の車両の基準座標系に対する画像センサ１１の位置および配向は独立して判定されてもよい。代替的に、画像センサ１１の座標系は、車両の基準座標系と一致するように規定されてもよい。
【０１１４】
基準座標系における、例えば、画像センサ１１などの、基準の画像センサαの車両の配向を記述する回転行列は、Ｒ（α）で示される。車両の基準座標系における基準の画像センサの位置を記述する並進ベクトルは、Ｔ（α）で示される。車両の基準座標系における、任意の他の画像センサの位置および配向は、次式に従い求めることができる。
【数１８】
【数１９】
【０１１５】
例示として、基準の画像センサとして前方を向く画像センサ１１を用いる場合には、後方を向く画像センサ１２、並びに横方向を向く画像センサ１３および１４の位置および配向は、車両の基準座標系において、方程式（１８）および（１９）に従い判定されてもよい。画像センサ１３および１４に対しては、方程式（１８）および（１９）の右側における相対位置および相対配向は、前述の（Ａ）に記述したように判定されてもよい。画像センサ１２に対しては、方程式（１８）および（１９）の右側の相対位置および相対配向は、前述の（Ｂ）に記述したように判定されてもよい。
【０１１６】
種々の方法で較正手順の安定性はさらに強化されてもよい。
【０１１７】
すでに前述したように、周囲視認システムに対しては、画像センサ１２などの少なくともいくつかの画像センサの位置および配向を判定するための異なる独立した方法がある。このような画像センサの位置および配向に関する値が、位置および配向を判定するための画像の評価に依存するべきでないという制約を使用することによって一貫性が強化される場合がある。
【０１１８】
追加的または代替的に、較正において取得した画像の再投影が算出される場合がある。ＦＯＶの重複領域に位置する複数の物体の画像座標が判定されてきた。複数の物体の画像を取得した画像センサのいずれか１つに対して、投影面上への投影は、確立した外部パラメータ、すなわち、画像センサの配向および位置に基づいて算出される場合がある。対の一方の画像センサとその対のもう一方の画像センサとの画像の再投影により算出した、投影面上に投影された、結果としてもたらされる物体の位置は互いに比較されてもよい。この位置が閾値を超えて相違する場合には、外部パラメータ、さらに、任意選択的に固有パラメータも、繰り返し手順により調節されてもよく、一致を改善する。このような反復調整により、較正後の車両視覚システムの使用中に再投影した画像間の一貫した推移を生み出す外部パラメータの組が得られる場合がある。
【０１１９】
例示として、図４および図５を参照すると、画像４５の右側における格子状の３面体の再投影と、画像４６の左側における格子状の３面体の再投影とは、理想的には一致するはずである。車両視覚システムの外部パラメータを繰り返し調節することにより、残留する不一致が低減される場合がある。
【０１２０】
追加的または代替的に、較正が実行されるデータ量は増大されてもよい。これによりノイズ問題を軽減することができる。この目的のために、複数の物体（例えば、３つの格子状パターン、または別の適切なマーキングを有する３面体）を、連続的な様態で、画像センサのＦＯＶの同一の重複領域における異なる位置に配置してもよい。複数の異なる位置の各１つにおいて、前述の画像解析が実行されてもよい。これにより、較正に用いる点の数が増加する場合がある。
【０１２１】
例示として、図１を参照すると、複数の物体２２は、重複領域２１内の種々の異なる位置に移動されてもよい。画像センサ１１と画像センサ１３との間の相対位置および配向は、種々の異なる位置に対して取得された画像に対して得られた結果に基づいて判定されてもよい。これは、画像システムの較正は、車両に対する複数の物体２２の位置を事前に知る必要としないので、可能である。
【０１２２】
図６は車両視覚システムが実行する方法を説明するフローチャートである。方法５１は５２〜５９における較正方法を含む。較正の結果は、６０および６１において周囲視野画像を生成する際に引き続き使用するために保存されてもよい。
【０１２３】
５２では、ＦＯＶが重複する画像センサと追加の画像センサとの間の相対位置および相対配向が判定される。複数の対の画像センサに関する相対位置および相対配向が、それぞれ判定されてもよい。ＦＯＶが重複する画像センサの各対に対して、ＦＯＶの重複領域に位置するマーキングなどの複数の物体を示す、画像センサが取得した画像および追加の画像センサが取得した追加の画像が評価されてもよい。また、画像センサの固有パラメータも判定されてもよい。
【０１２４】
５３では、ＦＯＶが重複しない画像センサの相対位置および相対配向が確立される。ＦＯＶが重複する画像センサの複数の対に対して確立された相対位置および相対配向を利用して、ＦＯＶが重複しない画像センサの相対位置および相対配向が確立されてもよい。
【０１２５】
５４では、車両の基準座標系における画像センサの位置および配向が見積もられる場合がある。車両の基準座標系に対する既知の１つの画像センサの位置および配向が用いられて、車両の基準座標系における位置および配向が判定されてもよい。
【０１２６】
周囲視認システムに対しては、少なくとも１つの画像センサの位置および配向が、画像センサの異なる対が取得した画像を用いて判定されてもよい。例示として、較正において、対４１および対４２の画像センサの間の相対位置および配向、または対４３および対４４の画像センサの間の相対位置および配向を用いて、図１〜図３の車両視覚システムの画像センサ１２の位置および配向が判定されてもよい。
【０１２７】
５５では、５４で見積もられた外部パラメータが、外部パラメータを得るために評価された画像と無関係か否かを判定する。ステップ５５は、基準の画像センサとＦＯＶが重複しない画像センサの位置および配向のみに対して選択的に実行されてもよい。
【０１２８】
異なる対の画像センサからのデータを用いて見積もられた画像センサの位置および配向が、閾値を超えて相違すると判定された場合には、この方法は５６に進む。５６では、少なくとも１つの画像センサの位置および配向が調節される。方法は５５に戻る。外部パラメータの一貫性は、反復的な様態により改善される場合がある。
【０１２９】
異なる対の画像センサからのデータを用いて見積もられた画像センサの位置および配向が、整合性基準を満たすと判定された場合には、この方法は５７に進む。５７では、異なる画像センサによって記録された同一の複数の物体の再投影が算出される。下の図８を参照して説明するように、投影面に対する再投影が算出されてもよい。再投影は、事前に見積もられ、または調節された外部パラメータを用いて算出される。
【０１３０】
５８では、再投影における点の位置が互いに比較される。位置は、再投影において、格子の角部などのようなマーキングの位置でもよい。物体の画像を取得した１つの画像センサと、追加の物体の画像を取得した追加の画像センサとに対して算出された再投影の位置が互いに比較される。この位置が、閾値比較などのような、所与の整合性基準を満たさない場合には、この方法は５６に進む。調節された外部パラメータを用いてステップ５５〜５８は繰り返される。
【０１３１】
再投影が所与の整合性基準を満たすと判定された場合には、方法は５９に進む。
【０１３２】
５９では、判定された車両視覚システムの外部パラメータが保存される。５２で種々の画像センサの固有パラメータも判定された場合には、固有パラメータも保存されてもよい。
【０１３３】
車両視覚システムの外部パラメータおよび固有パラメータを後で利用するように、車両視覚システムの画像処理装置が構成される。例示として、周囲視野の一部をユーザに視覚的に出力するために車両視覚システムを後で用いる場合には、画像処理装置は、種々の画像センサにより取得された画像を処理し、外部パラメータおよび固有パラメータを用いて周囲視野を算出してもよい。
【０１３４】
ユーザへの画像の出力のために車両視覚システムを使用している間、６０において、複数の画像センサを用いて画像が取得されてもよい。６１では、投影面上の画像の投影が、車両視覚システムの外部パラメータおよび画像センサの固有パラメータを用いて算出されてもよい。
【０１３５】
光出力装置は、ユーザに投影の部分を出力するように制御されてもよい。この部分は、入力インターフェースを介して、ユーザによって選択されてもよい。
【０１３６】
ステップ６０および６１は、それぞれ、較正方法において判定され、かつ保存された、視覚システムのパラメータに基づいて、車両視覚システムを継続使用している間のほとんどの時間実行されてもよい。
【０１３７】
図７は、ＦＯＶが重複している画像センサと追加の画像センサとの間の相対位置および相対配向を確立するために使用される手順７１のフローチャートである。この手順は、方法５１のステップ５２を実行するために用いられてもよい。この手順は車両視覚システムによって実行されてもよい。
【０１３８】
７２では、画像センサおよび追加の画像センサを含む一対の画像センサが選択される。ＦＯＶが重複する画像センサなどのような、対が選択される。互いに対する所定の位置を有する複数の物体が、ＦＯＶの重複領域に位置する。複数の物体は、３面体の互いに直交する３つの面上に配置されたパターンまたは他のマーキングを含んでもよい。
【０１３９】
７３では、画像センサを用いて画像が取得される。画像処理を実行して複数の物体の画像座標を判定する。格子状パターンでは、エッジ検出スキームを用いることができる。７４では、複数の物体の座標系に対する画像センサの位置および配向が判定される。画像センサの固有パラメータが判定されてもよい。固有パラメータは、画像センサの光学部品により生じる非線形ひずみを記述してもよい。
【０１４０】
７５では、追加の画像センサを用いて追加の画像が取得される。複数の物体の画像座標を判定するために画像処理を実行する。格子状パターンでは、エッジ検出スキームが用いられてもよい。７６では、複数の物体の座標系に対する追加の画像センサの位置および配向が判定される。追加の画像センサの固有パラメータが判定されてもよい。固有パラメータは、追加の画像センサの光学部品により生じる非線形ひずみを記述する場合がある。
【０１４１】
７７では、７４および７６の結果に基づいて、画像センサと追加の画像センサとの間の相対位置および相対配向が判定される。
【０１４２】
較正方法と、ことなる画像センサによって取得された画像から周囲視野を生成するときとの両方において、画像処理装置１０は、投影面上への画像またはその部分の投影を算出してもよい。
【０１４３】
図８は、較正と較正結果に基づいて周囲視野を算出するときとの両方に用いられてもよい投影面８０を示す概略図である。
【０１４４】
複数のカメラの融合された画像は、投影面８０上に投影されてもよい。投影面８０は、はち状の形状を有する。面８０は車両１の地面に対応してもよい平底面を有する。投影面８０の平底面は長方形状を有してもよい。投影面８０の平底面の縦横比は、車両の全長と幅との比率に基づいて選択されてもよい。直平行６面体８１は車両を表す。完全な円は車両上の画像センサの位置を示す。
【０１４５】
このような投影面８０を利用することにより、画像処理装置が生成した周囲視野において車両周囲に位置する点を正確に視覚化される場合がある。投影面の特殊な形状は、ユーザに高質の視覚的を提供する。例示として、投影面８０は平底を有する。車両の地面レベルに位置する点は、投影面８０の平らな下部に投影される。これは、路面表示などの地面レベルに位置する点を正確にマッピングする効果を有する。
【０１４６】
実施形態に従う方法および車両視覚システムを、図面を参照して説明してきた。他の実施形態において変更および変形が実施されてもよい。
【０１４７】
例示では、車両視覚システムでは魚眼レンズを有する画像センサが用いられてもよいが、他の広角画像センサもまた用いられてもよい。画像センサは、非線形の半径方向ひずみまたは非線形の樽形ひずみなどの種々タイプのひずみを有する画像を生成する場合がある。
【０１４８】
さらなる例示では、車両視覚システムは、車両周囲３６０度の角度範囲全体に及ぶ必要はない。
【０１４９】
さらなる例示では、較正において画像センサの非線形ひずみに対する多項式モデルのパラメータが判定されてもよいが、画像センサを表すために他のモデルが用いられてもよい。このようなモデルの例は、魚眼ひずみの非多項式モデル、ＦＯＶモデルまたは投影モデルを含む。これらのモデルのパラメータもまた、較正手順において判定されてもよい。
【０１５０】
さらなる例示では、行列およびベクトル操作技法を用いて相対位置および相対配向が判定されてもよいが、３面体の座標系に対する画像センサの位置および配向、および／または画像センサ間の相対位置および相対配向の判定のために、多種多様な処理オプションが使用可能である。
【０１５１】
本発明の実施形態は、それに限定されることなく、周囲視認システムに使用されてもよい。
【技術分野】
【０００１】
本発明は、車両視覚システムの較正方法および車両視覚システムに関する。本発明は、特に、異なるカメラで取得した画像の合成に要求されるカメラシステムのパラメータが確立されてもよい方法および視覚システムに関するものである。
【背景技術】
【０００２】
車両システムにおける画像センサの統合がますます幅広く用いられるようになってきた。このような画像センサは、画像センサが車両環境の画像を取得する運転補助システムの構成要素として用いられてもよい。取得された画像は物体認識のために処理されてもよく、場合によっては処理後、ユーザに表示されてもよい。自動警告および補助機能が機能して潜在的に危険な状況を運転手に警告するか、またはブレーキなどを作動させて車両の運転を能動的に制御する場合がある。画像センサは背面視認カメラまたは側面視認カメラとしても用いられてもよく、これらは車両の駐車または他の重要な運転操作を行う運転手を支援する。
【０００３】
画像センサを車両の用途に利用することがますます広がるようになることにより、車両周囲の画像を取得するために複数の画像センサが提供される場合がある。これらは協働して、車両周囲３６０度の角度範囲全体の環境に関する情報を提供する。過剰な数の画像センサを備えることを回避するために、側面開口角が大きい視野を有する画像センサを用いることが所望される。
【０００４】
異なる画像センサが取得したデータを互いに組み合わせる場合には、カメラシステムのパラメータが既知である必要がある。この目的のために、各カメラの外部パラメータおよび固有パラメータを確立するための較正が実行される場合がある。カメラ較正の手法は、車両の基準座標系における既知の位置に、高精度に事前にマーカを配置する技術を含む。このような手法は、不正確なマーカ位置に伴う誤差伝播に起因する不正確性が欠点となる場合がある。高精度を結果として実現するためには、長時間かかり、かつ費用が高くなる場合がある。カメラ較正の他の手法は、車両と相対的に移動中の物体の追跡を含む。これらの手法の多くでは、カメラごとに異なる１つずつの様式で較正を実行する。
【０００５】
カメラシステムの較正のさらなる他の手法は、重複視野（ＦＯＶ）技術を含む。このような手法の実施にも、多くの場合に、車両と相対的な所定の位置に高精度にマーカを配置する技術が要求される。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
既知の車両の基準座標系に、事前にマーカを配置することを較正において必要としない車両視覚システムの較正方法および車両視覚システムが当業界で継続的な要求がある。側面開口角が大きい視野を含むカメラを使用可能な方法および車両視覚システムもまた当業界で要求がある。
【課題を解決するための手段】
【０００７】
この要求は、独立クレームに列挙する方法および車両視覚システムにより解決される。従属クレームは実施形態を記述する。
【０００８】
車両視覚システムの較正方法の一態様を示す。車両視覚システムは、非線形ひずみ、特に、魚眼レンズに伴うひずみのある画像をその各々が取得する複数の画像センサを備えている。画像センサは車両の異なる位置に配置される。この方法は、複数の画像センサのうちの画像センサおよび追加の画像センサを含む一対の画像センサに関して実行する取得するステップ、判定するステップ、および確立するステップを含む。この方法では、画像センサを用いて複数の物体の画像を取得し、さらに、追加の画像センサを用いて複数の物体の追加の画像を取得する。複数の物体は、画像センサの視野と追加の画像センサの視野との重複領域に位置する。複数の物体に対する画像センサの位置および配向は、取得された画像に基づいて判定され、複数の物体に対する追加の画像センサの位置および配向は、追加の取得画像に基づいて判定される。追加の画像センサと画像センサとの間の相対位置および配向は、これらの判定ステップの結果に応じて確立される。
【０００９】
この方法では、画像センサ間の相対位置および配向は、視野（ＦＯＶ）の重複領域に位置する複数の物体の画像に基づいて判定される。画像センサの相対位置を判定するために、車両に対する複数の物体の位置を事前に知る必要はない。画像センサと追加の画像センサとは異なる画像センサである。
【００１０】
画像センサは非線形ひずみのある画像を取得するように構成される。これにより、画像センサは、それ自体が広いＦＯＶを有することを可能にする光学部品をともなって構成することが可能になる。車両周囲３６０度の角度範囲全体に及ぶ周囲視野を得るには、４個などの少数の画像センサでも十分な場合がある。横方向における画像センサのＦＯＶの開放角は、少なくとも１７０度、または少なくとも１７５度であってもよい。
【００１１】
複数の物体相互の相対位置は既知である。これらの既定の相対位置は、複数の物体に対する画像センサおよび追加の画像センサの位置および配向を判定するために使用されてもよい。複数の物体は、３面に配置された格子状パターンなどの専用マーカでもよい。
【００１２】
複数の物体は少なくとも１つの規則的配置で配置されてもよい。複数の物体は少なくとも１つの格子状パターンを含んでもよい。この配置により、全ての物体の相対位置を規定する少数のパラメータを用いて、複数の物体間の相対位置を判定できる。複数の物体はそれらの全てが同一面内に位置しないように配置されてもよい。複数の物体のうちの少なくとも３つの他の物体が規定する面と間隔を空けて配置される、少なくとも１つ、具体的には、いくつかの物体があってもよい。
【００１３】
当業界の従来の専門用語に従い、本明細書で用いる場合、用語「画像センサの位置」は、画像センサの特性点の位置を意味する。例示として、「画像センサの位置」は、その光軸が電気光学センサ、レンズ、または任意の他の所与の光学部品と交差する点の位置として規定されてもよい。本明細書で用いる場合、用語「画像センサの配向」は、３つの角度により定量化されてもよい、空間における画像センサの座標系の配向を意味する。これに対応して、２つの画像センサ間の「相対位置」は、特性点間のオフセットを意味する。「相対配向」は、１つの画像センサの座標系と、それと対の追加の画像センサの座標系とを整列させるために要求される回転動作を記述する。相対位置および相対配向を記述する種々の方法がある。例示として、複数の物体により規定される座標系に対する画像センサの配向を記述するためには、回転角を明確に算出する必要はない。回転行列が算出されてもよい。同様に、画像センサと追加の画像センサとの相対配向は、回転行列の観点で記述されてもよい。相対位置は、並進行列または並進ベクトルの観点で記述されてもよい。
【００１４】
取得するステップ、判定するステップ、および確立するステップは、視野が重複する複数の対の画像センサに対してそれぞれ実行されてもよい。これにより、重複するＦＯＶを有する全ての対の画像センサに関する相対位置および／または相対配向は判定されてもよい。
【００１５】
対の画像センサ間の判定された相対配向は、その画像センサの光軸とそれと対のもう１つの画像センサの光軸とを整合するために要求される回転に関する情報を与えるために、少なくとも２つの角度を含むか、そうでなければそれらを表してもよい。
【００１６】
取得するステップ、判定するステップ、および確立するステップは、それぞれ、複数の対の画像センサに対して実行されてもよく、隣接していない画像センサ間の相対配向に関する情報は、それに応じて判定されてもよい。例示として、ＦＯＶが重複しない前面カメラと背面カメラとの間の相対配向を規定する少なくとも２つの角度に関する情報は、少なくとも２対の画像センサに対して実行される取得するステップ、判定するステップ、および確立するステップに基づいて判定されてもよい。ＦＯＶが重複しない前面カメラと背面カメラとの相対配向を規定する少なくとも２つの角度に関する情報は、少なくとも４対の画像センサに対する取得するステップ、判定するステップ、および確立するステップを実行することにより、高められた精度で取得されてもよい。代替的または追加的に、車両の左側カメラと右側カメラとの相対配向に関する情報は、少なくとも２対の画像センサに対して取得するステップ、判定するステップ、および確立するステップを実行することにより得ることができる。少なくとも４対の画像センサに対して取得するステップ、判定するステップ、および確立するステップを実行することにより、隣接していない画像センサの相対配向を高められた精度で判定するために、一貫性検査を実行してもよい。
【００１７】
複数の対のうちの一対は、第１の画像センサおよび中間画像センサを含んでもよい。複数の対のうちの別の一対は、中間画像センサおよび第２の画像センサを含んでもよい。第２の画像センサと第１の画像センサとの間の相対位置および相対配向は、その対に対して得られた確立するステップの結果と、もう一方の対に対して得られた確立するステップの結果とに基づいて確立されてもよい。これにより、第１の画像センサと中間画像センサとの間の相対位置および相対配向と、中間画像センサと第２の画像センサとの間の相対位置および相対配向とをコンピュータ的に処理し、第２の画像センサと第１の画像センサとの間の相対位置および相対配向を算出してもよい。この処理は、第１の画像センサと第２の画像センサとの視野が重複せず、かつ／またはこれらのセンサのＦＯＶの重複領域に複数の物体が配置されない場合に実行されてもよい。
【００１８】
取得するステップ、判定するステップ、および確立するステップは、それぞれ、追加の画像センサの複数の対の対ごとに実行されてもよい。第２の画像センサと第１の画像センサとの相対位置および相対配向もまた、追加の複数の対に対して得られた確立するステップの結果に基づいて確立されてもよい。これにより、第２の画像センサと第１の画像センサとの間の相対位置および相対配向は、独立した２つの方法で判定されてもよい。これにより、一貫性検査を実行できる。較正処理の信頼性は、定量化および／または改善されてもよい。この方法では、画像センサ間の相対配向、および任意選択により相対位置を規定する外部パラメータの値は、隣接していない画像センサの相対配向（複数可）を規定する一貫したパラメータの組が得られるまで、繰り返し調節されてもよい。
【００１９】
この方法では、第２の画像センサと第１の画像センサとの間の相対位置および相対配向は、２つの異なる方法により算出されてもよい。すなわち、複数の対に対して得られた確立するステップの結果を用いても算出でき、この複数の対とは異なる追加の複数の対に対して得られた確立するステップの結果を用いても算出できる。これらの結果は互いに比較されてもよい。例示として、車両の前部の画像センサに対する後部の画像センサの位置および配向は、左側画像センサを中間画像センサとして用いて判定されてもよく、または右側画像センサを中間画像センサとして用いて判定されてもよい。それぞれに算出した値は互いに比較されてもよい。この比較は最適化手順においてなされてもよく、ここで、その最適化手法の制約を実行するために用いられる。
【００２０】
第１の画像センサの視野と第２の画像センサの視野とは、結合していなくてもよい。第１の画像センサと第２の画像センサとは、車両の対向する側に配置されていてもよい。
【００２１】
この方法は、複数の対に対して得られた確立するステップの結果に基づいて、車両の基準座標系における複数の画像センサの外部パラメータを決定することをさらに含んでもよい。この目的のために、画像センサのうちの１つを基準として用いてもよく、基準の画像センサに対して全ての他の画像センサの配向および位置が決定されてもよい。代替的または追加的に、この車両の基準座標系に対する基準の画像センサの既知の位置および配向をさらに利用して、別の車両の基準座標に対する位置および配向が判定されてもよい。
【００２２】
車両の基準座標系において外部パラメータを決定することは、複数の物体の再投影を計算することを含んでもよい。画像および追加の画像における複数の物体の画像座標が判定されてもよい。投影面に投影されたときの物体の画像座標は、画像センサおよび追加の画像センサに対する外部パラメータに基づいて、画像に対して判定された位置と追加の画像に対して判定された位置との両方を用いて判定されてもよい。投影面上の位置は互いに比較されてもよい。この位置が閾値を超えて異なる場合には、外部パラメータは補正される場合がある。これにより、外部パラメータの一貫した組が識別されてもよい。較正処理のロバスト性は改善される場合がある。
【００２３】
車両視覚システムは周囲視認システムでもよい。
【００２４】
決定された外部パラメータは、複数の画像センサが取得した画像に基づいて周囲視野を算出するために用いられてもよい。使用中、ユーザが表示を意図する周囲の領域を画定す
るユーザ選択に基づいて表示は制御されてもよい。この表示は、画像センサが取得した画像と、較正において決定された車両視覚システムの外部パラメータとに基づいて制御されてもよい。
【００２５】
複数の物体は、第１の面に位置する少なくとも３つの物体と、第２の面に位置する少なくとも３つの物体とを含んでもよい。複数の物体は、第１の面に位置する少なくとも６つの物体と、第２の面に位置する少なくとも６つの物体とを含んでもよい。第１の面と第２の面とは、互いに対して一定の角度で配置されてもよい。第１の面と第２の面とは、互いに対して９０度の角度で配置されてもよい。別の実施形態では、第１の面と第２の面とは、互いに対して０度および９０度以外の角度で配置されてもよい。複数の物体のこのような構造により、外部パラメータに加えて、固有パラメータも決定できる。魚眼レンズに伴うひずみおよび／または他のひずみなどの光学的ひずみは、固有パラメータに基づいて補正される場合がある。
【００２６】
複数の物体は、第３の面に位置する少なくとも３つの物体をさらに含んでもよい。第１の面、第２の面および第３の面は互いに直交してもよい。すなわち、複数の物体は、互いに直交する３つの面上に位置する物体をともなう３面体として構成されてもよい。これにより、較正のロバスト性はさらに改善されてもよい。物体が第１、第２および第３の面上に位置する場合には、３つの面は互いに直交する必要はない。
【００２７】
この方法では、画像センサの固有パラメータは画像に基づいて確立されてもよく、追加の画像センサの固有パラメータは追加の画像に基づいて確立されてもよい。これにより、車両視覚システムの外部パラメータおよび固有パラメータの両方を、較正手順により確立することができる。固有パラメータは、後での画像のひずみの補正に用いるために保存されてもよい。
【００２８】
画像センサは、それぞれ、魚眼レンズを含んでもよい。これにより、１つの画像センサを使用して大きな角度範囲が包含される場合がある。
【００２９】
少なくとも２つの画像センサが車両の側面のドアミラーに提供されてもよい。幾何学的な妨害物の問題は軽減することができる。
【００３０】
別の態様に従い、車両視覚システムが提供される。車両視覚システムは、複数の画像センサおよび画像処理装置を含む。画像センサは、それぞれ、非線形ひずみのある画像を取得する光学部品を備える。画像センサは車両上の異なる位置に配置される。画像処理装置は、複数の画像センサが取得した画像データを処理するように構成される。車両視覚システムを較正するために、画像処理装置は、画像センサが取得した画像と追加の画像センサが取得した追加の画像との両方に含まれる複数の物体を識別するように構成される。画像処理装置は、取得画像に基づいて、複数の物体に対する画像センサの位置および配向を判定し、追加の取得画像に基づいて、複数の物体に対する追加の画像センサの位置および配向を判定するように構成される。画像処理装置は、複数の物体に対する画像センサの判定された位置および配向、ならびに複数の物体に対する追加の画像センサの判定された位置および配向に基づいて、追加の画像センサと画像センサとの間の相対位置および相対配向を確立するように構成される。
【００３１】
車両視覚システムは、車両に対する複数の物体の位置が事前に既知でない場合でさえも、画像処理装置が視覚システムを較正可能なように構成される。
【００３２】
画像処理装置は、複数の対の画像センサに対する判定するステップ、および確立するステップを実行するように構成されてもよい。
【００３３】
画像処理装置は、視野が結合していない第１の画像センサと第２の画像センサとの相対位置を計算的に判定するように構成されてもよい。この相対位置は、各々の視野が重複する複数の対の画像センサに対して判定した相対位置および相対配向を利用して判定する。例示として、画像処理装置は、第１の画像センサと中間画像センサとの間の相対位置および相対配向に基づいて、中間画像センサと第２の画像センサとの間の相対位置および相対配向にさらに基づいて、第２の画像センサと第１の画像センサとの間の相対位置および相対配向を算出するように構成されてもよい。
【００３４】
車両視覚システムは、画像センサが取得した画像の処理を実行するように構成された画像処理装置により、任意の一態様または実施形態の方法を実行するように構成されてもよい。
【００３５】
車両視覚システムは光出力装置を含んでもよい。画像処理装置は、光出力装置を介した周囲視野の一部に出力する較正中に決定された、車両視覚システムのパラメータを用いるように構成されてもよい。
【００３６】
車両視覚システムは、視覚的に出力される周囲視野の一部をユーザが選択可能な入力インターフェースも含んでもよい。
【００３７】
別の態様に従い、任意の一態様または実施形態に従う車両視覚システムを有する車両が提供される。
【００３８】
実施形態は、周囲視認システムにおいて使用されてもよいが、それに限定されない。
【００３９】
添付図面を参照して、実施形態をより詳細に記述する。
例えば、本発明は以下の項目を提供する。
（項目１）
非線形ひずみ、特に、魚眼レンズに伴うひずみを有する画像（４５，４６）をそれぞれが取得し、車両（１）における種々の位置に配置される複数の画像センサ（１１〜１４）を備える車両視覚システムの較正方法であって、
上記複数の画像センサ（１１〜１４）のうちの画像センサ（１１）および追加の画像センサ（１２）を含む画像センサの対（４１〜４４）に関して実行される以下のステップ、すなわち、
上記画像センサ（１１）を用いて、複数（２２）の物体の画像（４５）を取得し、上記追加の画像センサ（１３）を用いて上記複数（２２）の物体の追加の画像（４６）を取得するステップであって、上記複数（２２）の物体が、上記画像センサ（１１）の視野（１５）と上記追加の画像センサ（１３）の視野（１７）との重複領域（２１）に位置する、ステップと、
上記取得された画像（４５）に基づく上記複数（２０）の物体に対する上記画像センサ（１１）の位置および配向、ならびに上記取得された追加の画像（４６）に基づく上記複数（２２）の物体に対する上記追加の画像センサ（１３）の位置および配向とを判定するステップと、
上記判定結果に基づいて、上記追加の画像センサ（１３）と上記画像センサ（１１）との間の相対位置および相対配向を確立するステップと、を含む、方法。
（項目２）
上記取得するステップ、判定するステップ、および確立するステップは、それぞれ、重複する視野（１５〜１８）を有する画像センサ（１１〜１４）の複数の対（４１〜４４）に対して実行される、上記項目のいずれかに記載の方法。
（項目３）
上記複数の対のうちの対（４１）は、第１の画像センサ（１１）および中間画像センサ（１３）を含み、上記複数の対のうちの別の対（４２）は、上記中間画像センサ（１３）および第２の画像センサ（１２）を含み、上記方法は、
上記対（４１）に対して得られた上記確立するステップの結果と、上記他の対（４２）に対して得られた上記確立するステップの結果とに基づいて、上記第２の画像センサ（１２）と上記第１の画像センサ（１１）との間の相対位置および相対配向を確立することをさらに含む、上記項目のいずれかに記載の方法。
（項目４）
上記取得するステップ、判定するステップ、および確立するステップは、それぞれ、画像センサの追加の複数の対（４３，４４）の各対に関して実行され、
上記第２の画像センサ（１２）と上記第１の画像センサ（１１）との間の上記相対位置および相対配向は、上記追加の複数の対（４３，４４）に対して得られた上記確立するステップの結果に基づいて確立される、上記項目のいずれかに記載の方法。
（項目５）
上記複数の対（４１，４２）に対して得られた上記確立するステップの結果に基づいて算出された、上記第２の画像センサ（１２）と上記第１の画像センサ（１１）との間の上記相対位置および相対配向と、
上記追加の複数の対（４３，４４）に対して得られた上記確立するステップの結果に基づいて算出された、上記第２の画像センサ（１２）と上記第１の画像センサ（１１）との間の上記相対位置および相対配向とを比較することをさらに含む、上記項目のいずれかに記載の方法。
（項目６）
上記第１の画像センサ（１１）の視野（１５）と、上記第２の画像センサ（１２）の視野（１６）とは結合していない、上記項目のいずれかに記載の方法。
（項目７）
上記第１の画像センサ（１１）と上記第２の画像センサ（１２）とは、上記車両（１）の対抗する側面に配置されている、上記項目のいずれかに記載の方法。
（項目８）
上記画像センサの位置および配向を上記判定することは、ベクトル
【化１５】
が固定係数を有し、式中Ｌは、上記ベクトル
【化１６】
の行の数と等しい列の数を有する行列であり、
【化１７】
は、ベクトル係数関数を意味する、制約下において、次式が最小になるベクトル
【化１８】
を決定することを含む、上記項目のいずれかに記載の方法。
【数２３】
（項目９）
上記ベクトル
【化１９】
は、上記画像センサのカメラ行列の要素である行列要素を有する、上記項目のいずれかに記載の方法。
（項目１０）
上記ベクトル
【化２０】
は次式で定義され、
【数２４】
上記画像センサの上記カメラ行列は次式で定義される、上記項目のいずれかに記載の方法。
【数２５】
（項目１１）
上記ベクトル
【化２１】
は、上記画像センサの固有パラメータと無関係である、上記項目のいずれかに記載の方法。
（項目１２）
上記行列Ｌは、上記画像センサの固有パラメータと無関係である、上記項目のいずれかに記載の方法。
（項目１３）
上記複数の対（４１〜４４）に対して得られた上記確立するステップの結果に基づいて、車両の基準座標系において上記複数の画像センサ（１１〜１４）の外部パラメータを判定することをさらに含む、上記項目のいずれかに記載の方法。
（項目１４）
上記車両の基準座標系において上記外部パラメータを判定することは、上記複数の物体（２２〜２９および３１）の投影を算出することを含む、上記項目のいずれかに記載の方法。
（項目１５）
上記車両視覚システムは周囲視認システムであり、上記判定された外部パラメータは、上記複数の画像センサ（１１〜１４）によって取得された画像（４５，４６）に基づいて周囲視野を算出するために用いられる、上記項目のいずれかに記載の方法。
（項目１６）
上記複数の物体（３１）は、第１の面（３２）上に位置する少なくとも３つの物体および第２の面（３３）上に位置する少なくとも３つの物体を含み、上記第１の面（３２）および上記第２の面（３３）は、互いに対して一定の角度で配置されている、上記項目のいずれかに記載の方法。
（項目１７）
上記複数の物体（３１）は、第３の面（３４）上に位置する少なくとも３つの物体を含み、上記第１の面（３２）、上記第２の面（３３）、および上記第３の面（３４）は互いに直交している、上記項目のいずれかに記載の方法。
（項目１８）
上記画像センサ（１１）の固有パラメータは上記画像（４５）に基づいて確立され、上記追加の画像センサ（１２）の固有パラメータは、上記追加の画像（４６）に基づいて確立される、上記項目のいずれかに記載の方法。
（項目１９）
上記画像センサ（１１〜１４）は、それぞれ、魚眼レンズを含み、
上記画像センサのうちの少なくとも２つ（１３および１４）は、上記車両（１）のサイドドアミラーに提供される、上記項目のいずれかに記載の方法。
（項目２０）
車両視覚システムであって、
非線形ひずみのある画像（４５，４６）を取得する電気光学部品をそれぞれが有し、上記車両（１）上の異なる位置に提供される複数の画像センサ（１１〜１４）と、
上記複数の画像センサ（１１〜１４）によって取得された画像データを処理するように構成されている画像処理装置（１０）と、を備えている車両視覚システムであって、上記画像処理装置（１０）が、
画像センサ（１１）によって取得された画像（４５）と、追加の画像センサ（１２）によって取得された追加の画像（４６）との両方に含まれる複数の物体（２２）を識別し、
上記取得された画像（４５）に基づいて、上記複数の物体（２２）に対する上記画像センサ（１１）の位置および配向を判定し、上記取得された追加の画像（４６）に基づいて上記複数の物体（２２）に対する上記追加の画像センサ（１３）の位置および配向とを判定し、
上記複数の物体（２２）に対する上記画像センサ（１１）の上記判定された位置および配向と、上記複数の物体（２２）に対する上記追加の画像センサ（１３）の上記判定された位置および配向とに基づいて、上記追加の画像センサ（１３）と上記画像センサ（１１）との間の相対位置および相対配向を確立するように構成されている、車両視覚システム。
（摘要）
車両視覚システムは、非線形ひずみのある画像をその各々が取得する複数の画像センサ（１１〜１４）を備えている。車両視覚システムを較正するために、画像センサ（１１）を用いて複数の物体の画像（２２）を取得し、さらに、追加の画像センサ（１３）を用いても複数の物体の画像（２２）を取得する。画像センサ（１１）と追加の画像センサ（１３）は、重複する視野（１５，１７）を有する。複数の物体（２０）に対する、画像センサ（１１）の位置および配向は、取得された画像に基づいて判定される。複数の物体（２２）に対する追加の画像センサ（１３）の位置および配向は、追加の取得された画像に基づいて判定される。追加の画像センサ（１３）と画像センサ（１１）との相対位置および配向は、これらの判定結果に基づいて確立される。
【図面の簡単な説明】
【００４０】
【図１】車両視覚システムを有する車両を示す概略図である。
【図２】車両視覚システムの較正に用いられる複数の物体を示す概略図である。
【図３】較正手順を示す、図１の車両の概略図である。
【図４】画像センサを用いて取得した画像を示す図である。
【図５】追加の画像センサを用いて取得した画像を示す図である。
【図６】車両視覚システムにより実行される較正方法を含む方法を説明するフローチャートである。
【図７】画像センサ間の相対位置および相対配向を判定するための手順を説明するフローチャートである。
【図８】投影面を示す図である。
【発明を実施するための形態】
【００４１】
記述を通じて、同一または同様の参照番号は、同一または同様の構成要素を示す。一部の実施形態を周囲視認システムなどの特定の文脈において記述したが、実施形態はこれらの特定の文脈に限定されない。車両視覚システムの文脈で用いられる場合、「前方」、「前面」、「後方」、「背面」、または「側面」などの用語は、車両の基準座標系に関連する用語である。すなわち、「前方」は、運転手がフロントガラスなどから視認可能な方向である。
【００４２】
図１は車両１を示す概略図である。車両１は車両視覚システムを含む。車両視覚システムは、複数の画像センサ１１〜１４および複数の画像センサ１１〜１４に連結した画像処理装置１０を備えている。
【００４３】
画像センサ１１〜１４は、それぞれ、広角画像センサとして構成されてもよい。画像センサ１１〜１４の視野（ＦＯＶ）は、少なくとも１７０度の各々の側面開口角（すなわち、車両１の底面と平行な面における開放角）を有してもよい。画像センサ１１〜１４のＦＯＶは、少なくとも１７５度の側面開口角を有してもよい。画像センサ１１〜１４は、それぞれ、魚眼レンズを含んでもよい。画像センサは、広角度のＦＯＶに適応するために、非線形ひずみのある画像を取得するように構成される。広角特性およびその結果生じる非線形ひずみは、一般的に、画像センサの光学部品により生じる。画像センサ１１〜１４が取得した画像は、それぞれ、非線形の半径方向ひずみ、非線形の樽形ひずみおよび／または非線形の魚眼ひずみを示す場合がある。画像センサ１１〜１４は、それぞれ、電気光学センサを備えている。画像センサ１１〜１４は、それぞれ、ＣＣＤセンサを備えてもよい。画像センサ１１〜１４の電気光学センサは、車両視覚システムの画像処理装置（１１〜１４）に連結している。
【００４４】
車両視覚システムは、周囲視認システムとして構成されてもよい。この場合では、画像センサ１１〜１４のＦＯＶ１５〜１８は、車両の底面と平行な少なくとも１つの面において、車両１の周囲３６０度の角度範囲全体を含む場合がある。この面におけるＦＯＶ１５〜１８の開放角は、画像センサ１１のＦＯＶ１５の開放角２０として示すように、少なくとも１７０度、または少なくとも１７５度である。
【００４５】
車両視覚システムは、少なくとも４つの画像センサ１１〜１４を含んでもよい。車両前部に取り付けられてもよい画像センサ１１は、前方向を向いたＦＯＶ１５を有してもよい。車両後部に取り付けられてもよい別の画像センサ１２は、後方向を向いたＦＯＶ１６を有してもよい。車両側面に取り付けられてもよい他の画像センサ１３および１４は、車両のそれぞれの側面方向に対して向けられた、それぞれＦＯＶ１６または１８を有してもよい。側面に取り付けられる画像センサ１３および１４は、ドアミラーに取り付けられてもよい。ドアミラーが可動部品を有する場合には、画像センサ１３および１４は、それぞれ、ドアミラーの静止部分に取り付けられてもよい。
【００４６】
処理装置１０は、異なる画像センサ１１〜１４が生成した画像データを受信し、周囲視野を生成するようにこれらの画像データを融合するように構成される。処理装置１０はさらに、較正処理において画像センサ１１〜１４の外部パラメータおよび固有パラメータの両方を決定するようにさらに構成される。固有パラメータは、取得された画像の非線形ひずみを規定する、各画像センサのパラメータを含む場合がある。種々のパラメータ化が公知であり、広角画像センサの非線形ひずみを記述するために用いられる。このようなパラメータ化の例は、半径方向ひずみの多項式モデル、魚眼ひずみの非多項式モデル、ＦＯＶモデル、または投影モデルを含む。処理装置１０は、較正処理において決定された固有パラメータを保存してもよい。処理装置１０は、取得画像における非線形ひずみを補正するために、画像を融合するときに固有パラメータを取り出してもよい。
【００４７】
車両視覚システムの外部パラメータは、車両に付随する全ての画像センサの位置および配向に関する、車両の基準座標系における情報を含む。車両の基準座標系は、例えば、画像センサ１１などのように画像センサのうちの１つが規定しても良い。すなわち、画像センサ１２〜１４の位置および配向は、外部パラメータを決定するために、画像センサ１１の位置および配向に対して決定されてもよい。外部パラメータは、車両に付随する任意の他の座標系をも基準にして決定されてもよい。この場合では、画像センサ１２〜１４の位置および配向は、まず、画像センサ１１の位置および配向に対して判定されてもよい。車両の基準システムにおける画像センサ１１の既知の位置および配向に基づいて、車両の基準システムにおける全ての画像センサ１１〜１４の位置および配向が判定されてもよい。
【００４８】
処理装置１０は、ＦＯＶが重複する、画像センサが取得した画像の対を評価することにより、車両視覚システムの全ての画像センサ１１〜１４の外部パラメータを決定するように構成される。外部パラメータは、カメラごとに１つ１つの様式では決定されない。較正処理は、種々の画像センサ１１〜１４に関する外部パラメータの一貫した組を確立するように実行される。この外部パラメータの一貫した組は、異なる画像センサを用いて取得した画像を組み合わせて決定される。
【００４９】
較正手順では、ＦＯＶが重複する画像センサと追加の画像センサとの間の相対位置および相対配向が判定される。画像センサのＦＯＶの重複領域に複数の物体が位置する。複数の物体の互いに対する位置は既知である。例示として、複数の物体は、格子の角部間の間隔が既知の格子状パターンなどの規則的に配置されたマーキングを含んでもよい。車両１に対する複数の物体の位置が、既知である必要は無い。
【００５０】
較正方法において、複数の物体の画像を取得する画像センサの位置および配向は、複数の物体に対して判定されてもよい。複数の物体に対する画像センサの位置および配向を判定するために、回転行列の行列要素および並進ベクトルのベクトル要素が決定されてもよい。これは、複数の物体の座標系の点座標と、画像センサが取得した画像の画像座標との間のマッピングを規定する。同様に、追加の複数の物体の画像を取得する追加の画像センサの位置および配向を、複数の物体と相対的に判定してもよい。
【００５１】
複数の物体に対する画像センサの位置および配向と、同一の複数の物体に対する追加の画像センサの位置および配向とに基づいて、画像センサと追加の画像センサとの間の相対位置および相対配向が導き出される場合がある。
【００５２】
ＦＯＶが重複する複数の対の画像センサに対してこれらの動作を繰り返すことにより、ＦＯＶが重複する画像センサ間の相対位置および配向が判定されてもよい。このデータは、ＦＯＶが重複しない画像センサ間の相対位置および相対配向を判定するために処理されてもよい。
【００５３】
図１は複数２２の物体２４〜２６を概略的に示す。複数２２の物体は、画像センサ１１のＦＯＶ１５と画像センサ１３のＦＯＶ１７との重複領域２１に位置する。物体２４〜２６は少なくとも１つの面上２３に位置する。物体２４〜２６は、エッジ検出などの物体認識スキームを用いて容易に検出できる構成を有してもよい。例示として、物体２４〜２６は、格子状パターンの矩形の角部でもよい。図１には、面２３に位置する物体を３つのみ示したが、複数２２の物体は３面体構造を有してもよい。複数２２の物体は、第１の面上に位置する少なくとも３つの物体、第２の面上に位置する少なくとも３つの物体、および第３の面上に位置する少なくとも３つの物体を含んでもよい。第１、第２および第３の面は互いに直交してもよい。各面の上により多くの物体が位置することにより、較正処理の安定性が向上する。例示として、複数２２の物体が、第１の面上に位置する少なくとも６つの物体、第２の面上に位置する少なくとも６つの物体、および第３の面上に位置する少なくとも６つの物体を含んでもよい。
【００５４】
画像センサ１１が取得した、複数２２の物体の画像と、他の画像センサ１３を用いて取得した、複数の物体２２の追加の画像とが評価される。これらの画像は、複数２２の物体が車両１に対して同一の位置に存在している間に取得した画像である。車両１に対する位置が事前に既知である必要はない。画像センサ１１が取得した画像と、他の画像センサ１３を用いて取得した他の画像とは、画像センサ１１と他の画像センサ１３との間の相対位置および相対配向を判定するために処理される。追加的に、画像センサ１１の固有パラメータは、画像センサ１１が取得した画像に基づいて決定されてもよく、追加の画像センサの固有パラメータ１３は、追加の画像センサ１３が取得した追加の画像に基づいて判定されてもよい。
【００５５】
同様に、画像センサ１３と画像センサ１２との間の相対位置および相対配向は、画像センサ１３のＦＯＶ１７と画像センサ１２のＦＯＶ１６との重複領域に位置する、複数２７の物体の画像を取得することによって判定されてもよい。この処理は、前述の画像センサ１１および１３の対において説明したのと同様に実行されてもよい。
【００５６】
同様に、画像センサ１１と画像センサ１４との間の相対位置および相対配向は、画像センサ１１のＦＯＶ１５と画像センサ１４のＦＯＶ１８との重複領域に位置する、複数２９の物体の画像を取得することによって判定されてもよい。画像センサ１４と画像センサ１２との間の相対位置および相対配向は、画像センサ１４のＦＯＶ１８と画像センサ１２のＦＯＶ１６との重複領域に位置する、複数２８の物体の画像を取得することによって判定されてもよい。重複するＦＯＶを有する画像センサの任意の対に対して、取得された画像の処理は、前述の画像センサ１１および１３の対において説明したのと同じ方法で行われてもよい。
【００５７】
画像センサ１１および１３を含む一対のＦＯＶの重複領域における複数２２の物体、画像センサ１３および１２を含む一対のＦＯＶの重複領域における別の複数２７の物体、画像センサ１１および１４を含む一対のＦＯＶの重複領域における別の複数２９の物体、並びに画像センサ１４および１２を含む一対のＦＯＶの重複領域における別の複数２８の物体を図１に示したが、ＦＯＶが重複する画像センサ間の相対位置および相対配向の判定に用いられるマーキングは、同時に存在しなくともよい。例示として、全く同一の３面体は、まず、重複するＦＯＶを有する画像センサ間の相対位置および相対配向を判定するために、画像センサ１１のＦＯＶ１５と画像センサ１３のＦＯＶ１７との重複領域２１に位置されてもよい。３面体は、次に、重複するＦＯＶを有する画像センサ間の相対位置および配向を連続して判定するために、他の重複領域に再配置されてもよい。さらに、較正に使用可能なデータ量を増加するために、複数の物体が、重複領域２１における異なる位置にも、逐次的な様態で配置されてもよい。
【００５８】
図２は複数３１の物体の概略図である。較正に用いる複数３１の物体は、異なる３つの面３２〜３４上に提供されるマーキングを含む。図２に示すように３つの面３２〜３４は互いに直交してもよいし、または互いに対して０度以外の別の角度で配置されてもよい。面３２〜３４の各１つの上に格子状パターンが形成される。物体は格子状の矩形の角部でもよい。これらの物体の相対位置は、格子の正方形の辺長を表す、正方形の格子に対する１つのパラメータにより定量化することができる。角部は、取得された画像において従来のエッジ検出アルゴリズムを用いて検出されてもよい。
【００５９】
他のマーキングおよび他の数の物体を用いてもよい。一実施形態では、互いに異なる少なくとも２つの面において物体を配置してもよい。２つの面は、特に、互いに対して９０度の角度で配置されてもよい。各１つの面上に、少なくとも３つの物体、特に、少なくとも６つの物体が提供されてもよい。
【００６０】
さらなる他の実施では、同一面に全ては位置しない複数の物体を用いてもよい。すなわち、物体の一部は、複数の物体のうちの少なくとも３つの他の物体が位置する面と間隔を空けて配置されても良い。
【００６１】
図３は車両視覚システムを有する車両１の概略図である。
【００６２】
格子状パターンなどの専用マーキングであってもよい、複数２２の物体の画像は、画像センサ１１と画像センサの対４１のうちのもう一方の画像センサ１３とによって取得される。これらの画像に基づいて、画像センサ１１と画像センサ１３との間の相対位置および相対配向は判定されてもよい。さらに、画像センサ１１と画像センサ１３との固有パラメータを決定されてもよい。
【００６３】
画像センサ１１と画像センサ１３との間の相対位置は、画像センサ１１の特性点と画像センサ１３の特性点との間の並進ベクトルにより規定されてもよい。画像センサ１１と画像センサ１３との間の相対配向は、画像センサ１１の座標系と画像センサ１３の座標系との相互の位置合わせに要求される回転行列により規定されてもよい。画像センサ１１の座標系の軸３５は、光軸などの、画像センサ１１の光学系の特性軸であってもよい。同様に、画像センサ１３の座標系の軸３７は、光軸などの、画像センサ１３の光学系の特性軸であってもよい。
【００６４】
ＦＯＶの重複領域に位置する、複数２７の物体の画像を処理することにより、対４２の画像センサ１３および１２の相対位置および相対配向が判定されてもよい。ＦＯＶの重複領域に位置する、複数２９の物体の画像を処理することにより、対４３の画像センサ１１および１４の相対位置および相対配向が判定されてもよい。ＦＯＶの重複領域に位置する、複数２８の物体の画像を処理することにより、対４４の画像センサ１４および１２の相対位置および相対配向が判定されてもよい。
【００６５】
これにより、判定した相対位置および相対配向は、一貫性検査を実行することが可能になる。例示として、画像センサ１２と画像センサ１１との間の相対位置および相対配向は、２つの異なる方法により判定されてもよい。画像センサ１２と画像センサ１１との間の相対位置および相対配向は、対４１および対４２に対して得られた結果に基づいて算出されてもよい。画像センサ１２と画像センサ１１との間の相対位置および相対配向はまた、対４３および対４４に対して得られた結果に基づいても算出される場合がある。画像センサの異なる対のそれぞれからのデータを用いて判定した、画像センサ１２と画像センサ１１との間の相対位置および相対配向は、互いに比較されてもよい。このような比較は、全ての画像センサ１１〜１４の外部パラメータが制約に基づいて決定されてもよい最適化手法により実行されてもよい。この制約は、対４１および４２に対して判定された相対位置および配向を用いるか否か、または対４３および４４に対して判定された相対位置および配向を用いるか否かとは無関係に、画像センサ１１と画像センサ１２との間の相対位置および相対配向が、同一の値を有するべきであるという制約である。
【００６６】
図４は画像センサを用いて取得した画像４５を示す概略図である。図５は追加の画像センサを用いて取得した画像４６を示す概略図である。画像４５および４６は、ＦＯＶが重複する画像センサを用いて取得した画像である。例示として、画像４５は画像センサ１１を用いて取得した画像であってもよい。画像４６は画像センサ１３を用いて取得した画像であってもよい。
【００６７】
画像４５の右側における、格子状パターンを有する３面体は、画像４６の左側における、格子状パターンを有する３面体と同一の複数の物体を示す。これにより、画像４５および４６を取得した画像センサ間の相対位置および相対配向を判定することが可能になる。
【００６８】
重複するＦＯＶを有するカメラと重複しないＦＯＶを有するカメラとの間の相対位置および相対配向を判定するために利用されてもよい手順を以下に記述する。代替的な手順および／または代替的な数値的記述を用いてもよい。
【００６９】
手順は、一般に、（Ａ）一対の画像センサのうちの各画像センサに対して、複数の物体によって規定される座標系に対する、画像センサの位置および配向を判定することと、（Ｂ）（Ａ）の結果を用いて、対のうちの画像センサとその対のもう一方の画像センサとの間の相対位置および相対配向を確立することと、（Ｃ）複数の異なる対の画像センサに対して判定された、確立された相対位置および相対配向を用いて、結合していないＦＯＶを有する画像センサの相対位置および相対配向を判定することとを含む。
【００７０】
（Ａ）複数の物体によって規定される座標系に対する画像センサの位置および配向を判定すること。
【００７１】
同次座標が、複数の物体の座標系において規定された複数の物体の座標と、画像センサの画像平面の座標とのマッピングを規定するために用いられてもよい。
【００７２】
同次座標は、画像平面上の複数の物体が規定する座標空間における座標のマッピングをマトリックス乗算として記述するために用いられてもよい。複数の物体が規定する座標系では、物体の座標は次式のように４ベクトルとして書き込まれてもよい。
【数１】
ここで、Ｘ、ＹおよびＺは複数の物体の座標系における座標である。同次座標は、４行を有する
【化１】
により用いられる。
【００７３】
画像センサの画像平面上において（１）が与える座標を有する物体の投影は、次式により定義される。
【数２】
ここで、
【数３】
は画像センサが取得した画像の非半径方向ひずみに関する多項式表現である。例示として、魚眼レンズを有する画像センサについて、方程式（３）は魚眼ひずみに対する多項式近似を記述する。方程式（３）において、ｄは画像中心からの距離である。係数ａ０、ａ１、．．．、ａｎは、画像センサの多項式表現を用いたときの、非線形ひずみを有する画像センサの固有パラメータである。
【００７４】
画像センサの光学系における非線形ひずみを記述するために用いられるモデルに応じて、ｚ成分に関する他の表現が用いられてもよい。これに対応して、異なる固有パラメータが、非線形ひずみを記述るすために用いられてもよいモデルに応じて異なってもよい、較正において判定されてもよい。
【００７５】
同次座標では、複数の物体に付随する座標系から画像空間へのマッピングは、行列乗算として書かれてもよい。Ｈは次式のように書かれてもよい。
【数４】
Ｈは回転パラメータＲおよび並進パラメータＴを含む。行列Ｈは、既知であれば、複数の物体に付随する座標系に対する画像センサの位置および配向を記述する。
【００７６】
Ｈの定義により、次式の行列積は、
【化２】
との共線ベクトル成分を有する。
【数５】
【００７７】
複数の物体は、第１の面に位置する物体を含み、互いに直交する別々の面である第２および第３の面に位置する他の物体もさらに含む場合もある。Ｈの行列要素の判定は、面のうちの１つに関する文脈について下記する。物体が位置する、３面体の３つの面各１つに対して同じ技法およびステップが適用されてもよい。
【００７８】
普遍性を失うことなく、１つの面に位置する物体の座標は、Ｚ＝０を満たすものと仮定されてもよい。これは、その面が３面体のＸＹ面であることを意味する。
【００７９】
【化３】
の第１の三成分が
【化４】
と共線である条件は、次式で書き換えられる。
【数６】
方程式（６）では、共線ベクトルのベクトル積が０に等しいという事実が利用される。この方程式は、各物体の座標（例えば、格子状パターンの角部、または他のマーキング）、および対応する画像点座標を保持する必要がある。ｘ−およびｙ−画像点座標は、従来の画像認識技術により判定されてもよい。
【００８０】
下記するように、面上に位置する物体には、添え字「ｊ」によるラベルが付けられる。すなわち、ＸｊおよびＹｊは、複数の物体が規定する座標系のＸ−Ｙ平面における物体ｊの座標を示す。値ｘｊおよびｙｊは、画像センサの画像平面内の物体ｊに関する画像点座標である。
【００８１】
方程式（６）を展開し、次式のように方程式の組として書き換えることができる。
【数７】
【００８２】
方程式（７ｃ）は、ｚ＝ａ０＋ａ１ｄ．．．＋ａｎｄｎ（式（３））と無関係である。すなわち、方程式（７ｃ）は、画像センサの固有パラメータと無関係である。
【００８３】
方程式（７ｃ）は、検討中の面上に位置する種々の物体を保持する。パラメータＴ３を例外として、マッピング行列Ｈのパラメータを決定するために、方程式（７ｃ）が用いられる。
【００８４】
方程式（７ｃ）がそれに依存する、Ｈ行列のパラメータを含むベクトル
【数８】
を既定する。方程式（７ｃ）は次式の行列形式に書き換えられてもよい。
【００８５】
行列
【数９】
は規定されてもよく、これは複数の物体の座標系のそれぞれの面に位置する各物体に対して１つの行を有する。ノイズ問題を軽減し、安定性を向上するために、物体の数は、６よりもはるかに多い数を選択してもよい。この場合、方程式（７ｃ）は、方程式（８）のベクトル成分であるＨ行列のパラメータに関する、方程式の過剰決定の組を定義する。
【００８６】
この方程式の過剰決定の組を解くために、例えば、式（１１）の制約の下のように、
【化５】
が固定された係数を有する制約の下で、式（１０）の行列積がこれに対して最小になるようにベクトル
【化６】
が決定される。
【数１０】
【数１１】
【００８７】
ベクトル
【化７】
を決定するために、方程式の過剰決定の組を解くための他の技法を用いてもよい。
【００８８】
回転を記述するＨの一部の列、すなわち、方程式（４）の左上隅の３×３行列は、正規直交であるという事実を使用して、Ｒ１１、Ｒ１２、Ｒ２１およびＲ２２から、回転の残りのパラメータを決定してもよい。方程式（１０）が方程式（１１）の制約下で解かれると、Ｔ３以外のＨの全ての要素を決定することができる。
【００８９】
複数の異なる面上に物体が位置する場合には、異なる面の各１つごとに前述の処理ステップが実行されてもよい。様々な面上に位置する物体と画像センサの画像平面との間のマッピングは、様々な面に対してマッピング行列Ｈで記述される。画像センサの固有パラメータと無関係な方程式を組み合わせることにより、マッピング行列Ｈの行列要素に対する方程式の過剰決定の組がそれぞれに確立されてもよい。この方程式の組を解くことにより、前述のように、行列Ｈのパラメータのうちの１つ以外の全てが決定される場合がある。
【００９０】
これにより、Ｈの行列要素に関して得られた結果は、方程式（７ａ）および（７ｂ）に再挿入されてもよい。結果として得られた方程式の組は、固有パラメータａ０、ａ１、．．．、ａｎの一次式であり、Ｈの未知の行列要素である。すなわち、方程式（１０）を解くときに、Ｔ３行列要素が不確定のままである場合、方程式（７ａ）および（７ｂ）に基づいてＴ３を決定してもよい。安定性のため、（例えば、図２に示す３面体の３つの直交面に位置する異なるマーキングに対する）異なる面上に位置する物体の組みに対して得られた方程式は、１つの行列方程式に組み合わせられてもよい。
【００９１】
例示として、３つの直交平面板上にマーキングが提供される複数の物体において、平面板にラベルを付ける添え字「ｉ」が導入されてもよい。３つの平面板では、１≦ｉ≦３である。
【００９２】
次いで、方程式（７ａ）および（７ｂ）は、以下の行列方程式に書き換えられてもよい。簡潔さのため、同じ数「ｋ」個の物体が各板上に位置すると仮定する。
【数１２】
方程式（１２）では、次式の定義を用いる。
【数１３】
ここで、添え字ｉは板の数をラベルする。添え字ｊは各板上の物体にラベルを付ける。すなわち、「ｙｉ，ｊ」は板ｉ上の点ｊを意味する。「Ｒｉ，ａｂ」および「Ｔｉ，ａ」は、板ｉに対するＨ行列の成分を意味する。例示として、「Ｒｉ，２１」は、板の数がｉであるマッピング行列Ｈの方程式（４）における行列要素Ｒ２１を意味する。
【００９３】
方程式（１２）および（１３）により定義される方程式系は、過剰決定である場合がある。方程式系は、例えば、行列擬似逆数を用いて解かれてもよい。
【００９４】
これにより、画像センサの画像平面上へのＦＯＶの重複領域に位置する物体間のマッピングを規定するマッピング行列Ｈの行列要素が決定されてもよい。追加的に、画像センサの固有パラメータが決定されてもよい。マッピング行列Ｈの行列要素は、画像センサの画像平面上にマッピングされた、複数の物体の座標系に対する画像センサの位置および配向を記述する。
【００９５】
複数の物体の画像を両方とも取得する少なくとも２つの画像センサについて、複数の物体の座標系に対する画像センサの位置および配向が判定されてもよい。ＦＯＶの重複領域に位置するパターンに対する画像センサの位置および配向は、いずれの場合でも、前述の方法で判定されてもよい。
【００９６】
（Ｂ）重複するＦＯＶを有する画像センサ間の相対位置および相対配向を確立すること。
【００９７】
重複するＦＯＶを有する画像センサに関して判定されたＨ行列の行列要素に基づいて、重複するＦＯＶを有する画像センサ間の相対位置および相対配向が判定されてもよい。
【００９８】
下記の説明では、異なる画像センサは、添え字α、β、γによって示される。これらの指標は、図１〜図３に関連して説明した車両視覚システムの画像センサ１１〜１４を意味する。
【００９９】
画像センサの任意の対について、これらの画像センサ間の相対配向は、回転行列Ｒ（α、β）により規定される。回転行列Ｒ（α、β）は、画像センサαおよびβの座標系を整列させるために必要な回転を規定する３×３行列である。画像センサ間の相対位置は、並進ベクトルＴ（α、β）により規定される。並進ベクトルＴ（α、β）は、画像センサαおよびβの座標系の始点間の変位を規定する３ベクトルである。
【０１００】
マーキングをともなう３面体または較正に用いられる別の複数の物体をΩが意味する場合には、方程式（８）が規定するＨ行列の左上隅における３×３行列は、回転行列Ｒ（α、Ω）である。この回転行列は、複数の物体Ωに対する画像センサαの配向を記述する。同様に、方程式（８）が定義するＨ行列の最後の列における最上の３つの要素は、並進ベクトルＴ（α、Ω）であり、これは、複数の物体Ωに対する画像センサαの位置を表す。
【０１０１】
複数の物体Ωが配置される視野が重複する画像センサ間の相対位置および相対配向は、次式に従い判定されてもよい。
【数１４】
【数１５】
【０１０２】
方程式（１４）および（１５）の右側の回転行列および並進ベクトルは、それぞれ、２つの画像センサαおよびβのＦＯＶの重複領域に位置するパターンの座標系に関連して判定される。
【０１０３】
画像センサαおよびβは車両上の異なる位置に配置される。重複領域に位置する複数の物体に対する各画像センサの位置および配向を判定するために、取得された画像の異なる領域が評価される。例示として、画像センサ１１と画像センサ１３との間の相対位置および配向が確立されることを仮定すると、複数２２の物体は、画像センサ１１により取得された画像の右側、および画像センサ１３により取得された画像の左側に位置する。方程式（１４）および（１５）で用いられるＲ（α、Ω）が、画像センサαが取得した画像の右半分に実行される物体認識により判定される場合には、方程式（１４）および（１５）で用いられるＲ（β、Ω）は、画像センサβが取得した画像の左半分に実行される物体認識により判定される。これは並進ベクトルにも対応して適用される。
【０１０４】
このような画像センサの全ての対に対して、ＦＯＶが重複する画像センサ間の相対位置および相対配向が判定されてもよい。図１〜図３に示したような、４つの画像センサを備えた周囲視認システムとして構成された車両視覚システムでは、画像センサ１１と画像センサ１３との間、画像センサ１３と画像センサ１２との間、画像センサ１１と画像センサ１４との間、および画像センサ１４と画像センサ１２との間の相対位置および相対配向が判定されてもよい。対による方式で相対位置および相対配向は判定されてもよい。この方法では柔軟性が向上する。例示として、パターンを有する４つの３面体が、ＦＯＶの４つの重複領域に同時に位置する必要はない。１つの３面体が、４つの異なる重複領域に連続して位置してもよい。異なる対の画像センサの相対位置および相対配向を判定するときに、車両１は、世界基準の座標系と相対的に静止している必要はない。例示として、画像センサ１１と画像センサ１３との間の相対位置および配向が判定された後で、かつ別の対の画像センサ間の相対位置および相対配向が判定される前に、車両１は移動することができる。
【０１０５】
（Ｃ）結合していないＦＯＶを有する画像センサ間の相対位置および相対配向を確立すること。
【０１０６】
前述の手順に従い、画像センサの異なる対に対して得られた相対位置および相対配向に基づいて、結合していないＦＯＶを有する画像センサ間の相対位置および相対配向が判定されてもよい。
【０１０７】
ＦＯＶが重複しない第１の画像センサと第２の画像センサとの間の相対位置および相対配向を判定するために、ＦＯＶが重複する画像センサのいくつかの対に対して得られた相対位置および相対配向が処理される。この目的のために、第１の画像センサおよび第２の画像センサのうちの少なくとも１つとＦＯＶが重複する少なくとも１つの中間画像センサが選択された。
【０１０８】
中間画像センサのＦＯＶが、第１の画像センサおよび第２の画像センサの両方と重複する場合には、第１の画像センサと第２の画像センサとの間の相対位置および相対配向は、第１の画像センサと中間画像センサとの間の相対位置および相対配向、および第２の画像センサと中間画像センサとの間の相対位置および相対配向に基づいて算出されてもよい。
【０１０９】
第１の画像センサの添え字がαである場合には、第２の画像センサの添え字はβであり、中間画像センサの添え字はγである。
【数１６】
【数１７】
方程式（１６）および（１７）の右側における回転行列および並進ベクトルは、前述の方法で判定できる。
【０１１０】
例示として、図１〜図３の車両視覚システムを参照すると、前方を向いて取り付けられた画像センサ１１と、後方を向いて取り付けられた画像センサ１２との間の相対位置および相対配向は、車両の一側面に取り付けられた画像センサ１３、または車両の反対側の側面に取り付けられた画像センサ１４を中間画像センサとして用いて判定されてもよい。これは、ＦＯＶが重複しない任意の対の画像センサにも同様に適用することになる。
【０１１１】
車両周囲視認システムでは、それらの光軸が対抗する方向を向くように配置された画像センサ間の相対位置および相対配向は、２つの異なる方法で判定されてもよい。これにより、一貫性検査を実行することが可能になる。一貫性検査は、全ての画像センサの外部パラメータを決定される最適化手法における制約として実行されてもよい。
【０１１２】
図３を参照すると、画像センサ１１と画像センサ１２との間の相対位置および相対配向は、対４１および４２に対して確立された結果を用いて判定されてもよい。また、画像センサ１１と画像センサ１２との間の相対位置および相対配向も、対４３および４４に対して確立された結果を用いても判定されてもよい。２つの異なる方法により判定された相対位置および相対配向に対する値が同一であるというの制約は、車両視覚システムの外部パラメータの決定に用いられてもよい。
【０１１３】
車両に付随する任意の車両の基準座標系における、１つの画像センサの位置および配向が既知である場合には、画像センサ間の相対位置および相対配向を利用して、車両視覚システムの全ての画像センサの位置および配向が判定される場合がある。例示として、任意の車両の基準座標系に対する画像センサ１１の位置および配向は独立して判定されてもよい。代替的に、画像センサ１１の座標系は、車両の基準座標系と一致するように規定されてもよい。
【０１１４】
基準座標系における、例えば、画像センサ１１などの、基準の画像センサαの車両の配向を記述する回転行列は、Ｒ（α）で示される。車両の基準座標系における基準の画像センサの位置を記述する並進ベクトルは、Ｔ（α）で示される。車両の基準座標系における、任意の他の画像センサの位置および配向は、次式に従い求めることができる。
【数１８】
【数１９】
【０１１５】
例示として、基準の画像センサとして前方を向く画像センサ１１を用いる場合には、後方を向く画像センサ１２、並びに横方向を向く画像センサ１３および１４の位置および配向は、車両の基準座標系において、方程式（１８）および（１９）に従い判定されてもよい。画像センサ１３および１４に対しては、方程式（１８）および（１９）の右側における相対位置および相対配向は、前述の（Ａ）に記述したように判定されてもよい。画像センサ１２に対しては、方程式（１８）および（１９）の右側の相対位置および相対配向は、前述の（Ｂ）に記述したように判定されてもよい。
【０１１６】
種々の方法で較正手順の安定性はさらに強化されてもよい。
【０１１７】
すでに前述したように、周囲視認システムに対しては、画像センサ１２などの少なくともいくつかの画像センサの位置および配向を判定するための異なる独立した方法がある。このような画像センサの位置および配向に関する値が、位置および配向を判定するための画像の評価に依存するべきでないという制約を使用することによって一貫性が強化される場合がある。
【０１１８】
追加的または代替的に、較正において取得した画像の再投影が算出される場合がある。ＦＯＶの重複領域に位置する複数の物体の画像座標が判定されてきた。複数の物体の画像を取得した画像センサのいずれか１つに対して、投影面上への投影は、確立した外部パラメータ、すなわち、画像センサの配向および位置に基づいて算出される場合がある。対の一方の画像センサとその対のもう一方の画像センサとの画像の再投影により算出した、投影面上に投影された、結果としてもたらされる物体の位置は互いに比較されてもよい。この位置が閾値を超えて相違する場合には、外部パラメータ、さらに、任意選択的に固有パラメータも、繰り返し手順により調節されてもよく、一致を改善する。このような反復調整により、較正後の車両視覚システムの使用中に再投影した画像間の一貫した推移を生み出す外部パラメータの組が得られる場合がある。
【０１１９】
例示として、図４および図５を参照すると、画像４５の右側における格子状の３面体の再投影と、画像４６の左側における格子状の３面体の再投影とは、理想的には一致するはずである。車両視覚システムの外部パラメータを繰り返し調節することにより、残留する不一致が低減される場合がある。
【０１２０】
追加的または代替的に、較正が実行されるデータ量は増大されてもよい。これによりノイズ問題を軽減することができる。この目的のために、複数の物体（例えば、３つの格子状パターン、または別の適切なマーキングを有する３面体）を、連続的な様態で、画像センサのＦＯＶの同一の重複領域における異なる位置に配置してもよい。複数の異なる位置の各１つにおいて、前述の画像解析が実行されてもよい。これにより、較正に用いる点の数が増加する場合がある。
【０１２１】
例示として、図１を参照すると、複数の物体２２は、重複領域２１内の種々の異なる位置に移動されてもよい。画像センサ１１と画像センサ１３との間の相対位置および配向は、種々の異なる位置に対して取得された画像に対して得られた結果に基づいて判定されてもよい。これは、画像システムの較正は、車両に対する複数の物体２２の位置を事前に知る必要としないので、可能である。
【０１２２】
図６は車両視覚システムが実行する方法を説明するフローチャートである。方法５１は５２〜５９における較正方法を含む。較正の結果は、６０および６１において周囲視野画像を生成する際に引き続き使用するために保存されてもよい。
【０１２３】
５２では、ＦＯＶが重複する画像センサと追加の画像センサとの間の相対位置および相対配向が判定される。複数の対の画像センサに関する相対位置および相対配向が、それぞれ判定されてもよい。ＦＯＶが重複する画像センサの各対に対して、ＦＯＶの重複領域に位置するマーキングなどの複数の物体を示す、画像センサが取得した画像および追加の画像センサが取得した追加の画像が評価されてもよい。また、画像センサの固有パラメータも判定されてもよい。
【０１２４】
５３では、ＦＯＶが重複しない画像センサの相対位置および相対配向が確立される。ＦＯＶが重複する画像センサの複数の対に対して確立された相対位置および相対配向を利用して、ＦＯＶが重複しない画像センサの相対位置および相対配向が確立されてもよい。
【０１２５】
５４では、車両の基準座標系における画像センサの位置および配向が見積もられる場合がある。車両の基準座標系に対する既知の１つの画像センサの位置および配向が用いられて、車両の基準座標系における位置および配向が判定されてもよい。
【０１２６】
周囲視認システムに対しては、少なくとも１つの画像センサの位置および配向が、画像センサの異なる対が取得した画像を用いて判定されてもよい。例示として、較正において、対４１および対４２の画像センサの間の相対位置および配向、または対４３および対４４の画像センサの間の相対位置および配向を用いて、図１〜図３の車両視覚システムの画像センサ１２の位置および配向が判定されてもよい。
【０１２７】
５５では、５４で見積もられた外部パラメータが、外部パラメータを得るために評価された画像と無関係か否かを判定する。ステップ５５は、基準の画像センサとＦＯＶが重複しない画像センサの位置および配向のみに対して選択的に実行されてもよい。
【０１２８】
異なる対の画像センサからのデータを用いて見積もられた画像センサの位置および配向が、閾値を超えて相違すると判定された場合には、この方法は５６に進む。５６では、少なくとも１つの画像センサの位置および配向が調節される。方法は５５に戻る。外部パラメータの一貫性は、反復的な様態により改善される場合がある。
【０１２９】
異なる対の画像センサからのデータを用いて見積もられた画像センサの位置および配向が、整合性基準を満たすと判定された場合には、この方法は５７に進む。５７では、異なる画像センサによって記録された同一の複数の物体の再投影が算出される。下の図８を参照して説明するように、投影面に対する再投影が算出されてもよい。再投影は、事前に見積もられ、または調節された外部パラメータを用いて算出される。
【０１３０】
５８では、再投影における点の位置が互いに比較される。位置は、再投影において、格子の角部などのようなマーキングの位置でもよい。物体の画像を取得した１つの画像センサと、追加の物体の画像を取得した追加の画像センサとに対して算出された再投影の位置が互いに比較される。この位置が、閾値比較などのような、所与の整合性基準を満たさない場合には、この方法は５６に進む。調節された外部パラメータを用いてステップ５５〜５８は繰り返される。
【０１３１】
再投影が所与の整合性基準を満たすと判定された場合には、方法は５９に進む。
【０１３２】
５９では、判定された車両視覚システムの外部パラメータが保存される。５２で種々の画像センサの固有パラメータも判定された場合には、固有パラメータも保存されてもよい。
【０１３３】
車両視覚システムの外部パラメータおよび固有パラメータを後で利用するように、車両視覚システムの画像処理装置が構成される。例示として、周囲視野の一部をユーザに視覚的に出力するために車両視覚システムを後で用いる場合には、画像処理装置は、種々の画像センサにより取得された画像を処理し、外部パラメータおよび固有パラメータを用いて周囲視野を算出してもよい。
【０１３４】
ユーザへの画像の出力のために車両視覚システムを使用している間、６０において、複数の画像センサを用いて画像が取得されてもよい。６１では、投影面上の画像の投影が、車両視覚システムの外部パラメータおよび画像センサの固有パラメータを用いて算出されてもよい。
【０１３５】
光出力装置は、ユーザに投影の部分を出力するように制御されてもよい。この部分は、入力インターフェースを介して、ユーザによって選択されてもよい。
【０１３６】
ステップ６０および６１は、それぞれ、較正方法において判定され、かつ保存された、視覚システムのパラメータに基づいて、車両視覚システムを継続使用している間のほとんどの時間実行されてもよい。
【０１３７】
図７は、ＦＯＶが重複している画像センサと追加の画像センサとの間の相対位置および相対配向を確立するために使用される手順７１のフローチャートである。この手順は、方法５１のステップ５２を実行するために用いられてもよい。この手順は車両視覚システムによって実行されてもよい。
【０１３８】
７２では、画像センサおよび追加の画像センサを含む一対の画像センサが選択される。ＦＯＶが重複する画像センサなどのような、対が選択される。互いに対する所定の位置を有する複数の物体が、ＦＯＶの重複領域に位置する。複数の物体は、３面体の互いに直交する３つの面上に配置されたパターンまたは他のマーキングを含んでもよい。
【０１３９】
７３では、画像センサを用いて画像が取得される。画像処理を実行して複数の物体の画像座標を判定する。格子状パターンでは、エッジ検出スキームを用いることができる。７４では、複数の物体の座標系に対する画像センサの位置および配向が判定される。画像センサの固有パラメータが判定されてもよい。固有パラメータは、画像センサの光学部品により生じる非線形ひずみを記述してもよい。
【０１４０】
７５では、追加の画像センサを用いて追加の画像が取得される。複数の物体の画像座標を判定するために画像処理を実行する。格子状パターンでは、エッジ検出スキームが用いられてもよい。７６では、複数の物体の座標系に対する追加の画像センサの位置および配向が判定される。追加の画像センサの固有パラメータが判定されてもよい。固有パラメータは、追加の画像センサの光学部品により生じる非線形ひずみを記述する場合がある。
【０１４１】
７７では、７４および７６の結果に基づいて、画像センサと追加の画像センサとの間の相対位置および相対配向が判定される。
【０１４２】
較正方法と、ことなる画像センサによって取得された画像から周囲視野を生成するときとの両方において、画像処理装置１０は、投影面上への画像またはその部分の投影を算出してもよい。
【０１４３】
図８は、較正と較正結果に基づいて周囲視野を算出するときとの両方に用いられてもよい投影面８０を示す概略図である。
【０１４４】
複数のカメラの融合された画像は、投影面８０上に投影されてもよい。投影面８０は、はち状の形状を有する。面８０は車両１の地面に対応してもよい平底面を有する。投影面８０の平底面は長方形状を有してもよい。投影面８０の平底面の縦横比は、車両の全長と幅との比率に基づいて選択されてもよい。直平行６面体８１は車両を表す。完全な円は車両上の画像センサの位置を示す。
【０１４５】
このような投影面８０を利用することにより、画像処理装置が生成した周囲視野において車両周囲に位置する点を正確に視覚化される場合がある。投影面の特殊な形状は、ユーザに高質の視覚的を提供する。例示として、投影面８０は平底を有する。車両の地面レベルに位置する点は、投影面８０の平らな下部に投影される。これは、路面表示などの地面レベルに位置する点を正確にマッピングする効果を有する。
【０１４６】
実施形態に従う方法および車両視覚システムを、図面を参照して説明してきた。他の実施形態において変更および変形が実施されてもよい。
【０１４７】
例示では、車両視覚システムでは魚眼レンズを有する画像センサが用いられてもよいが、他の広角画像センサもまた用いられてもよい。画像センサは、非線形の半径方向ひずみまたは非線形の樽形ひずみなどの種々タイプのひずみを有する画像を生成する場合がある。
【０１４８】
さらなる例示では、車両視覚システムは、車両周囲３６０度の角度範囲全体に及ぶ必要はない。
【０１４９】
さらなる例示では、較正において画像センサの非線形ひずみに対する多項式モデルのパラメータが判定されてもよいが、画像センサを表すために他のモデルが用いられてもよい。このようなモデルの例は、魚眼ひずみの非多項式モデル、ＦＯＶモデルまたは投影モデルを含む。これらのモデルのパラメータもまた、較正手順において判定されてもよい。
【０１５０】
さらなる例示では、行列およびベクトル操作技法を用いて相対位置および相対配向が判定されてもよいが、３面体の座標系に対する画像センサの位置および配向、および／または画像センサ間の相対位置および相対配向の判定のために、多種多様な処理オプションが使用可能である。
【０１５１】
本発明の実施形態は、それに限定されることなく、周囲視認システムに使用されてもよい。
【特許請求の範囲】
【請求項１】
非線形ひずみ、特に、魚眼レンズに伴うひずみを有する画像（４５，４６）をそれぞれが取得し、車両（１）における種々の位置に配置される複数の画像センサ（１１〜１４）を備える車両視覚システムの較正方法であって、
前記複数の画像センサ（１１〜１４）のうちの画像センサ（１１）および追加の画像センサ（１２）を含む画像センサの対（４１〜４４）に関して実行される以下のステップ、すなわち、
前記画像センサ（１１）を用いて、複数（２２）の物体の画像（４５）を取得し、前記追加の画像センサ（１３）を用いて前記複数（２２）の物体の追加の画像（４６）を取得するステップであって、前記複数（２２）の物体が、前記画像センサ（１１）の視野（１５）と前記追加の画像センサ（１３）の視野（１７）との重複領域（２１）に位置する、ステップと、
前記取得された画像（４５）に基づく前記複数（２０）の物体に対する前記画像センサ（１１）の位置および配向、ならびに前記取得された追加の画像（４６）に基づく前記複数（２２）の物体に対する前記追加の画像センサ（１３）の位置および配向とを判定するステップと、
前記判定結果に基づいて、前記追加の画像センサ（１３）と前記画像センサ（１１）との間の相対位置および相対配向を確立するステップと、を含む、方法。
【請求項２】
前記取得するステップ、判定するステップ、および確立するステップは、それぞれ、重複する視野（１５〜１８）を有する画像センサ（１１〜１４）の複数の対（４１〜４４）に対して実行される、請求項１に記載の方法。
【請求項３】
前記複数の対のうちの対（４１）は、第１の画像センサ（１１）および中間画像センサ（１３）を含み、前記複数の対のうちの別の対（４２）は、前記中間画像センサ（１３）および第２の画像センサ（１２）を含み、前記方法は、
前記対（４１）に対して得られた前記確立するステップの結果と、前記他の対（４２）に対して得られた前記確立するステップの結果とに基づいて、前記第２の画像センサ（１２）と前記第１の画像センサ（１１）との間の相対位置および相対配向を確立することをさらに含む、請求項２に記載の方法。
【請求項４】
前記取得するステップ、判定するステップ、および確立するステップは、それぞれ、画像センサの追加の複数の対（４３，４４）の各対に関して実行され、
前記第２の画像センサ（１２）と前記第１の画像センサ（１１）との間の前記相対位置および相対配向は、前記追加の複数の対（４３，４４）に対して得られた前記確立するステップの結果に基づいて確立される、請求項３に記載の方法。
【請求項５】
前記複数の対（４１，４２）に対して得られた前記確立するステップの結果に基づいて算出された、前記第２の画像センサ（１２）と前記第１の画像センサ（１１）との間の前記相対位置および相対配向と、
前記追加の複数の対（４３，４４）に対して得られた前記確立するステップの結果に基づいて算出された、前記第２の画像センサ（１２）と前記第１の画像センサ（１１）との間の前記相対位置および相対配向とを比較することをさらに含む、請求項４に記載の方法。
【請求項６】
前記第１の画像センサ（１１）の視野（１５）と、前記第２の画像センサ（１２）の視野（１６）とは結合していない、請求項３〜５のうちのいずれか１項に記載の方法。
【請求項７】
前記第１の画像センサ（１１）と前記第２の画像センサ（１２）とは、前記車両（１）の対抗する側面に配置されている、請求項３〜５のうちのいずれか１項に記載の方法。
【請求項８】
前記画像センサの位置および配向を前記判定することは、ベクトル
【化８】
が固定係数を有し、式中Ｌは、前記ベクトル
【化９】
の行の数と等しい列の数を有する行列であり、
【化１０】
は、ベクトル係数関数を意味する、制約下において、次式が最小になるベクトル
【化１１】
を決定することを含む、請求項１〜５のうちのいずれか１項に記載の方法。
【数２０】
【請求項９】
前記ベクトル
【化１２】
は、前記画像センサのカメラ行列の要素である行列要素を有する、請求項８に記載の方法。
【請求項１０】
前記ベクトル
【化１３】
は次式で定義され、
【数２１】
前記画像センサの前記カメラ行列は次式で定義される、請求項９に記載の方法。
【数２２】
【請求項１１】
前記ベクトル
【化１４】
は、前記画像センサの固有パラメータと無関係である、請求項８に記載の方法。
【請求項１２】
前記行列Ｌは、前記画像センサの固有パラメータと無関係である、請求項１１に記載の方法。
【請求項１３】
前記複数の対（４１〜４４）に対して得られた前記確立するステップの結果に基づいて、車両の基準座標系において前記複数の画像センサ（１１〜１４）の外部パラメータを判定することをさらに含む、請求項１〜５のうちのいずれか１項に記載の方法。
【請求項１４】
前記車両の基準座標系において前記外部パラメータを判定することは、前記複数の物体（２２〜２９および３１）の投影を算出することを含む、請求項１３に記載の方法。
【請求項１５】
前記車両視覚システムは周囲視認システムであり、前記判定された外部パラメータは、前記複数の画像センサ（１１〜１４）によって取得された画像（４５，４６）に基づいて周囲視野を算出するために用いられる、請求項１３に記載の方法。
【請求項１６】
前記複数の物体（３１）は、第１の面（３２）上に位置する少なくとも３つの物体および第２の面（３３）上に位置する少なくとも３つの物体を含み、前記第１の面（３２）および前記第２の面（３３）は、互いに対して一定の角度で配置されている、請求項１〜５のうちのいずれか１項に記載の方法。
【請求項１７】
前記複数の物体（３１）は、第３の面（３４）上に位置する少なくとも３つの物体を含み、前記第１の面（３２）、前記第２の面（３３）、および前記第３の面（３４）は互いに直交している、請求項１６に記載の方法。
【請求項１８】
前記画像センサ（１１）の固有パラメータは前記画像（４５）に基づいて確立され、前記追加の画像センサ（１２）の固有パラメータは、前記追加の画像（４６）に基づいて確立される、請求項１〜５のうちのいずれか１項に記載の方法。
【請求項１９】
前記画像センサ（１１〜１４）は、それぞれ、魚眼レンズを含み、
前記画像センサのうちの少なくとも２つ（１３および１４）は、前記車両（１）のサイドドアミラーに提供される、請求項１〜５のうちのいずれか１項に記載の方法。
【請求項２０】
車両視覚システムであって、
非線形ひずみのある画像（４５，４６）を取得する電気光学部品をそれぞれが有し、前記車両（１）上の異なる位置に提供される複数の画像センサ（１１〜１４）と、
前記複数の画像センサ（１１〜１４）によって取得された画像データを処理するように構成されている画像処理装置（１０）と、を備えている車両視覚システムであって、前記画像処理装置（１０）が、
画像センサ（１１）によって取得された画像（４５）と、追加の画像センサ（１２）によって取得された追加の画像（４６）との両方に含まれる複数の物体（２２）を識別し、
前記取得された画像（４５）に基づいて、前記複数の物体（２２）に対する前記画像センサ（１１）の位置および配向を判定し、前記取得された追加の画像（４６）に基づいて前記複数の物体（２２）に対する前記追加の画像センサ（１３）の位置および配向とを判定し、
前記複数の物体（２２）に対する前記画像センサ（１１）の前記判定された位置および配向と、前記複数の物体（２２）に対する前記追加の画像センサ（１３）の前記判定された位置および配向とに基づいて、前記追加の画像センサ（１３）と前記画像センサ（１１）との間の相対位置および相対配向を確立するように構成されている、車両視覚システム。
【請求項１】
非線形ひずみ、特に、魚眼レンズに伴うひずみを有する画像（４５，４６）をそれぞれが取得し、車両（１）における種々の位置に配置される複数の画像センサ（１１〜１４）を備える車両視覚システムの較正方法であって、
前記複数の画像センサ（１１〜１４）のうちの画像センサ（１１）および追加の画像センサ（１２）を含む画像センサの対（４１〜４４）に関して実行される以下のステップ、すなわち、
前記画像センサ（１１）を用いて、複数（２２）の物体の画像（４５）を取得し、前記追加の画像センサ（１３）を用いて前記複数（２２）の物体の追加の画像（４６）を取得するステップであって、前記複数（２２）の物体が、前記画像センサ（１１）の視野（１５）と前記追加の画像センサ（１３）の視野（１７）との重複領域（２１）に位置する、ステップと、
前記取得された画像（４５）に基づく前記複数（２０）の物体に対する前記画像センサ（１１）の位置および配向、ならびに前記取得された追加の画像（４６）に基づく前記複数（２２）の物体に対する前記追加の画像センサ（１３）の位置および配向とを判定するステップと、
前記判定結果に基づいて、前記追加の画像センサ（１３）と前記画像センサ（１１）との間の相対位置および相対配向を確立するステップと、を含む、方法。
【請求項２】
前記取得するステップ、判定するステップ、および確立するステップは、それぞれ、重複する視野（１５〜１８）を有する画像センサ（１１〜１４）の複数の対（４１〜４４）に対して実行される、請求項１に記載の方法。
【請求項３】
前記複数の対のうちの対（４１）は、第１の画像センサ（１１）および中間画像センサ（１３）を含み、前記複数の対のうちの別の対（４２）は、前記中間画像センサ（１３）および第２の画像センサ（１２）を含み、前記方法は、
前記対（４１）に対して得られた前記確立するステップの結果と、前記他の対（４２）に対して得られた前記確立するステップの結果とに基づいて、前記第２の画像センサ（１２）と前記第１の画像センサ（１１）との間の相対位置および相対配向を確立することをさらに含む、請求項２に記載の方法。
【請求項４】
前記取得するステップ、判定するステップ、および確立するステップは、それぞれ、画像センサの追加の複数の対（４３，４４）の各対に関して実行され、
前記第２の画像センサ（１２）と前記第１の画像センサ（１１）との間の前記相対位置および相対配向は、前記追加の複数の対（４３，４４）に対して得られた前記確立するステップの結果に基づいて確立される、請求項３に記載の方法。
【請求項５】
前記複数の対（４１，４２）に対して得られた前記確立するステップの結果に基づいて算出された、前記第２の画像センサ（１２）と前記第１の画像センサ（１１）との間の前記相対位置および相対配向と、
前記追加の複数の対（４３，４４）に対して得られた前記確立するステップの結果に基づいて算出された、前記第２の画像センサ（１２）と前記第１の画像センサ（１１）との間の前記相対位置および相対配向とを比較することをさらに含む、請求項４に記載の方法。
【請求項６】
前記第１の画像センサ（１１）の視野（１５）と、前記第２の画像センサ（１２）の視野（１６）とは結合していない、請求項３〜５のうちのいずれか１項に記載の方法。
【請求項７】
前記第１の画像センサ（１１）と前記第２の画像センサ（１２）とは、前記車両（１）の対抗する側面に配置されている、請求項３〜５のうちのいずれか１項に記載の方法。
【請求項８】
前記画像センサの位置および配向を前記判定することは、ベクトル
【化８】
が固定係数を有し、式中Ｌは、前記ベクトル
【化９】
の行の数と等しい列の数を有する行列であり、
【化１０】
は、ベクトル係数関数を意味する、制約下において、次式が最小になるベクトル
【化１１】
を決定することを含む、請求項１〜５のうちのいずれか１項に記載の方法。
【数２０】
【請求項９】
前記ベクトル
【化１２】
は、前記画像センサのカメラ行列の要素である行列要素を有する、請求項８に記載の方法。
【請求項１０】
前記ベクトル
【化１３】
は次式で定義され、
【数２１】
前記画像センサの前記カメラ行列は次式で定義される、請求項９に記載の方法。
【数２２】
【請求項１１】
前記ベクトル
【化１４】
は、前記画像センサの固有パラメータと無関係である、請求項８に記載の方法。
【請求項１２】
前記行列Ｌは、前記画像センサの固有パラメータと無関係である、請求項１１に記載の方法。
【請求項１３】
前記複数の対（４１〜４４）に対して得られた前記確立するステップの結果に基づいて、車両の基準座標系において前記複数の画像センサ（１１〜１４）の外部パラメータを判定することをさらに含む、請求項１〜５のうちのいずれか１項に記載の方法。
【請求項１４】
前記車両の基準座標系において前記外部パラメータを判定することは、前記複数の物体（２２〜２９および３１）の投影を算出することを含む、請求項１３に記載の方法。
【請求項１５】
前記車両視覚システムは周囲視認システムであり、前記判定された外部パラメータは、前記複数の画像センサ（１１〜１４）によって取得された画像（４５，４６）に基づいて周囲視野を算出するために用いられる、請求項１３に記載の方法。
【請求項１６】
前記複数の物体（３１）は、第１の面（３２）上に位置する少なくとも３つの物体および第２の面（３３）上に位置する少なくとも３つの物体を含み、前記第１の面（３２）および前記第２の面（３３）は、互いに対して一定の角度で配置されている、請求項１〜５のうちのいずれか１項に記載の方法。
【請求項１７】
前記複数の物体（３１）は、第３の面（３４）上に位置する少なくとも３つの物体を含み、前記第１の面（３２）、前記第２の面（３３）、および前記第３の面（３４）は互いに直交している、請求項１６に記載の方法。
【請求項１８】
前記画像センサ（１１）の固有パラメータは前記画像（４５）に基づいて確立され、前記追加の画像センサ（１２）の固有パラメータは、前記追加の画像（４６）に基づいて確立される、請求項１〜５のうちのいずれか１項に記載の方法。
【請求項１９】
前記画像センサ（１１〜１４）は、それぞれ、魚眼レンズを含み、
前記画像センサのうちの少なくとも２つ（１３および１４）は、前記車両（１）のサイドドアミラーに提供される、請求項１〜５のうちのいずれか１項に記載の方法。
【請求項２０】
車両視覚システムであって、
非線形ひずみのある画像（４５，４６）を取得する電気光学部品をそれぞれが有し、前記車両（１）上の異なる位置に提供される複数の画像センサ（１１〜１４）と、
前記複数の画像センサ（１１〜１４）によって取得された画像データを処理するように構成されている画像処理装置（１０）と、を備えている車両視覚システムであって、前記画像処理装置（１０）が、
画像センサ（１１）によって取得された画像（４５）と、追加の画像センサ（１２）によって取得された追加の画像（４６）との両方に含まれる複数の物体（２２）を識別し、
前記取得された画像（４５）に基づいて、前記複数の物体（２２）に対する前記画像センサ（１１）の位置および配向を判定し、前記取得された追加の画像（４６）に基づいて前記複数の物体（２２）に対する前記追加の画像センサ（１３）の位置および配向とを判定し、
前記複数の物体（２２）に対する前記画像センサ（１１）の前記判定された位置および配向と、前記複数の物体（２２）に対する前記追加の画像センサ（１３）の前記判定された位置および配向とに基づいて、前記追加の画像センサ（１３）と前記画像センサ（１１）との間の相対位置および相対配向を確立するように構成されている、車両視覚システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１２−２５３７５８（Ｐ２０１２−２５３７５８Ａ）
【公開日】平成２４年１２月２０日（２０１２．１２．２０）
【国際特許分類】
【出願番号】特願２０１２−１１６８７９（Ｐ２０１２−１１６８７９）
【出願日】平成２４年５月２２日（２０１２．５．２２）
【出願人】（５０４１４７９３３）ハーマン ベッカー オートモーティブ システムズ ゲーエムベーハー (165)
【Ｆターム（参考）】
【公開日】平成２４年１２月２０日（２０１２．１２．２０）
【国際特許分類】
【出願日】平成２４年５月２２日（２０１２．５．２２）
【出願人】（５０４１４７９３３）ハーマン ベッカー オートモーティブ システムズ ゲーエムベーハー (165)
【Ｆターム（参考）】
[ Back to top ]