車両の側方周囲の、ビデオベースの監視及び測定のための方法及び装置
初期の市販の運転者支援システムにおいては、適用形態により、走査の解像度と走査される領域の大きさのどちらを重要視するかを考える必要がある。従来のビデオベースのシステムは、解像度と記録範囲の両方を十分兼ね備えてはいるが、一般に、直接の距離情報を供給しない。本発明の目的を有する新規な設備によれば、路上走行車内に設置した場合には、複雑かつダイナミックな場面、たとえば、ダイナミックに動作している車両の視点から、道路の縁に対する側方の３Ｄ幾何学的形状を記録し、駐車する際にこれを利用することができるシステムを実現することができる。本発明によれば、車両の側方周囲の監視及び測定は、一方では、ディジタル画像を備えたカメラにより、他方では、画像にタイムスタンプを提供し、かつこれをバッファ処理するよう機能するコンピュータユニットにより表示される。車両の移動は、上記のデータに基づいて、バッファ処理された画像から画像の対を選択するために、さらに記録される。したがって、車両の側方周囲の局所３Ｄ深さ画像が、立体画像処理用のアルゴリズムによって生成できる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、路上走行車の側方周囲の、ビデオベースの観測及び測定のための方法及び装置に関する。
【背景技術】
【０００２】
初期の市販の運転者支援システムにおいては、適用形態により、走査の解像度と感知される区域の大きさのどちらを重要視するかを考える必要がある。たとえば、レーダセンサシステムについては、ＡＣＣを適用した場合は、水平方向の感知区域を数度に制限しなければならず、駐車支援機能の場合は、超音波を用いて車両近くの周囲を感知する時に、ほんの短い範囲及び解像度しか実装できない。従来のビデオベースのシステムは、解像度と感知範囲の両方を十分に兼ね備えてはいるが、一般に、どのような直接の距離情報も供給しない。
【０００３】
車両自身の移動を用いて、２次元深さのプロファイルデータから３次元の周囲データを得るシステムが、一方で、鉄道路線の鉄道トンネル及び操作に障害がないことを監視することについて、特許文献１及び特許文献２の文献に、他方で、殺虫剤の選択的散布及び大規模農園にある木々を感知することに関連して、特許文献３に提示されている。これらのすべてのシステムにおいては、１組の連続する距離プロファイルを連続して配置することにより、周囲の３次元画像がデータ処理ユニット内で生成される。個々の、順次に記録されたプロファイル間の距離を判断できるようにするために、それぞれ、このシステムが装着されている車両の車輪に、距離センサが配置される。
【０００４】
走査センサが装着されている農業用車両の位置を感知するための装置が、特許文献４に記述されている。ここでは、車両の走路が、全地球航法システム（ＧＰＳ）によって追跡される。しかし、植被の画像を記録するために使用される走査光学センサは、どのような距離情報も供給しないので、路面の２次元地図を得るには、センサ情報項目を連続的に配置しなければならない。
【０００５】
運転者支援システムに、立体カメラシステムがますます用いられるようになってきており、これにより、使用される１対のカメラの、既知の幾何学的な配置に基づいて、対象物の幅を計算的に判断することができる。立体画像処理においては、１対のカメラを用いて、対象物が異なる方向から走査される。次いで、立体カメラシステムと対象物との間の距離が、カメラの位置及び配向と、三角法の原理に基づくカメラのパラメータとを考慮して判断される。
【０００６】
特許文献５では、路上走行車の周囲にある対象物を検出する方法及び装置について開示している。提示されている方法においては、移動車両からの距離は、立体画像の対を評価することによって計算され、検出された対象物の特性が判断される。特に、画像の、距離に基づく区分化が、立体画像処理によって行われる。次いで、対象物の検出プロセスが、区分画像区域内で行われる。
【０００７】
同様のシステムが、特許文献６に記載されており、ここでは、車両内に立体カメラシステムを取り付けるための設備について記述されているが、このシステムは、対象物についての３次元の距離分散を計算するために使用される。しかし、路上走行車内で使用される場合には、先行技術より知られている、このような立体画像処理システムは、カメラの位置及び配向が非常に正確でなければならず、また調整に多大な労力を必要とするので、使用範囲が限られる。さらに、このような設備は、しばしば、毎日使用したり、様々な道路条件下で使用するのに、余り頑強なものであるとは言えない。
【０００８】
【特許文献１】米国特許第４１７９２１６Ａ１号明細書
【特許文献２】米国特許第４４９００３８Ａ１号明細書
【特許文献３】米国特許第５２７８４２３Ａ１号明細書
【特許文献４】米国特許第５８０９４４０Ａ１号明細書
【特許文献５】独国特許出願公開第１９９２６５５９Ａ１号明細書
【特許文献６】欧州特許出願公開第１０８７２５７Ａ２号明細書
【発明の開示】
【発明が解決しようとする課題】
【０００９】
本発明は、車両の側方周囲の、ビデオベースの観測及び測定のための新規な方法を提供する目的に関するものであり、車両は、請求項１及び１５の前文に記載の方法を行うためのセンサシステムを備え、本方法は、高度な機械的耐性を有しており、それ程複雑な調整を必要としない。
【課題を解決するための手段】
【００１０】
本目的は、本発明に従って、請求項１及び１５の特徴を有する方法及び装置によって達成される。本発明の好ましい改良形態及び発展形態が、従属請求項に開示されている。
【００１１】
本発明によれば、車両の側方周囲の観測及び測定は、一方、ディジタル画像を記録するカメラにより、他方、ディジタル画像にタイムスタンプを提供し、かつこれらをバッファ処理するために使用されるデータ処理ユニットにより、主に駐車スペースを検出するために行われる。
【００１２】
特に好ましい方式においては、本装置はまた、このデータに基づいてバッファ処理された画像から画像の対を選択するために、車両自身の移動を感知するためのユニットを具備する。２つの記録時間におけるカメラの位置及び配向を判断するための、さらなる手段が設けられる。したがって、立体画像処理用のアルゴリズムを用いて、画像を対にすることによって、局所３Ｄ深さ画像を生成することができ、記録時間におけるカメラの位置及び配向は、合成立体幾何学に従って考慮される。
【００１３】
本発明の主題の新規な形態により、路上走行車内に設置された場合に、たとえば、車道の縁に対する側方の３Ｄ幾何学的形状などのダイナミックな状況を、活動的でダイナミックに動作している車両の視点から感知できるシステムを初めて設けることができ、これの利点として、駐車中に評価することができる。従来の立体カメラシステムで使用されるものなどの、対のカメラ設備とは異なり、本発明による単眼のカメラシステムは、本発明による方法と合わせて、極めて小さい空間しか必要としないという利点を有する。このようなシステムは、設計態様に関して、車両内に統合するための好ましい解決方法を有し、さらに、第２のカメラを必要としないので、比較的低いコストしかかからないという利点を有する。機械的耐性については、立体カメラより単眼のカメラシステムの方が比較的大きい。１つのカメラシステムによって提供されるさらなる利点は、取付け及び調整の際の複雑さが著しく減少することである。
【００１４】
本発明の１つの有利な実施形態においては、画像を選択して、立体画像処理のための画像の対を形成するために、車両自身の移動、したがって、感知された車輪回転数に基づく距離を判断することが考えられる。路上走行車の移動を感知するためのさらに可能な方法が、主にＧＰＳ（全世界測位システム）と共に動作し、したがって正確な位置についての情報を提供する、移動車両ナビゲーションのためのシステムによって提供される。エンジンデータ、及びステアリングシステム及びブレーキに関係する情報を考慮しつつ、車両自身の移動に関する多量のデータを提供する車両走行力学システムも、路上走行車において、ますます使用されるようになってきている。
【００１５】
特に有利な方式においては、特に低い速度の場合に、画像の対を形成するために選択されるべき画像が、必ずしも、２つの直接連続する画像記録である必要はないということが考えられる。１つの画像の対を形成するための２つの画像記録について、タイムスタンプは、理想的には、車両自身の速度を考慮するための、変換後の時間差が、一定の予め定義された距離（立体ベース）に対応するよう選択されるべきである。しかし、距離（立体ベース）は、２つの画像が記録される時間の現行速度により、０．２ｍ〜１ｍの間の範囲内にあるよう選択されることが好ましい。路上走行車が駐車する時の平均車両速度は、ほぼ１２Ｋｍ／時であるので、２つの画像記録の間の０．１３ｍの範囲に含まれる距離（立体ベース）が理想的である。
【００１６】
本発明のさらに好ましい改良形態においては、記録中にカメラ配向が著しく変化しなかった、バッファ処理された画像の対のみが、さらなる処理のために使用できると考えられる。カメラの配向の変化は、たとえば道路条件が大きく変化している時の、車両の位置の変化によって生じ得る。２つの記録時間の間にカメラの配向が変化すると、立体画像の処理中の立体カメラシステムの調整不良による場合と同様に、さらなる処理中の結果が大きく変わることとなる。
【００１７】
本発明の主題は、画像の対によって取得された、１連の集積された局所３Ｄ深さ表示図から、全域３Ｄ深さ表示図を得るという目的で、特に好ましい方法で使用され得る。この場合、車両の周囲にある同じ地点に割り当てることができる、個々の局所３Ｄ深さ表示図の画像データは、互いに追加され、幾何学的なデータ構造内に格納される。幾何学的なデータ構造は、ここでは、車両の移動方向に従って、新しく追加された画像区域と同じ方向に絶えず拡大される。
【００１８】
本発明のさらに好ましい改良形態においては、全域３Ｄ深さ表示図のために、追加すべき各局所地点の画像データは、集積プロセスの前に重み付けされる。この重み付けにより、集積プロセス中に発生した雑音は、その後、個々の画素にフィルタをかけることによって減少することができる。
【００１９】
１つの特に有利な方法においては、個々の画素にフィルタをかけるための、集積された３Ｄ深さ表示図による重み付け中に表された体積は、個々の体素に分割され、追加すべき画素は、体素間に分散される。すべての体素は、予め定義された均一な体積を、たとえば立方体の形態で含むことが好ましい。
【００２０】
階層データ構造内に、特にツリー構造内に、個々の体素を格納することが好ましい。ツリー構造は、八分ツリーであることが有利である。この場合、八分ツリーを用いて、それぞれのノードが、３Ｄキーにより、８つの部分ツリー（体素）間に、１組の格納された体積を分散する。それぞれの部分ツリーは、さらに細区分される。
【００２１】
個々の体素内の画素数は、各重み付けとして、体素に割り当てられ得ることが有利である。このため、画素のデータに加えて、体素の重み付けもツリー構造内に格納される。
【００２２】
すべての体素の平均重み付けを取得し、したがって全重み付けを判断することが、特に好ましい。さらなる処理において、個々の体素内に含まれる画素を考慮するかどうかを決定するための閾値が、形成される。この場合、割り当てられた体素が、閾値以上の重み付けを有する画素のみが、考慮される。画素を含む体素のみが、全重み付けを判断するために使用されることが好ましい。
【００２３】
本発明の主題は、特に、全重み付けに同調因子を掛けることによって閾値を形成するという目的で、使用され得ることが好ましい。８×３×５ｍ３の体積及び８セルへの細区分で、駐車シーケンスを検査する場合に、このセルのための７．７の平均重み付けが得られる。したがって、１．５の同調因子で、１画像当たりの画素数を、４６０１３から２９７９２に減少できる。
【００２４】
本発明の範囲内で使用されるカメラは、車両内に既存の、他の画像記録システムの構成要素であるカメラであり得る。
【００２５】
以下、例示的実施形態及び図を参照しながら、本発明について詳細に説明する。
【発明を実施するための最良の形態】
【００２６】
図は、たとえば、路上走行車（１０）の周りの側方周囲の、ビデオベースの観測及び測定のための、本発明による装置を用いた、交通状況を示している。車道の縁に対する、走行中の車両の側方の３Ｄ幾何学的形状の測定は、本明細書においては、駐車スペースを測定するために使用される。駐車車両（４０）、ガードレール（５０）、又は車道の表面から著しく隆起しているために、その上を走ることができない他の対象物（６０）が、車道の縁に置かれていることがある。
【００２７】
このため、コンピュータユニットと合わせて、単眼のカメラ（３０）が、路上走行車（１０）内に設置される。カメラ（３０）は、光軸と移動方向（２０）との間の角度が、好ましくは９０°となるよう構成される。しかし、カメラ（３０）の可能な配向は、移動方向（２０）に垂直な配向に限定されるものではなく、感知されるべき区域について、移動方向（２０）に対して、４５°〜１３５°の角度の配向を有することがある。全体として車両内に統合する場合の、特に様々な形態を可能にするために、多様なカメラの配向が有利に使用され得る。カメラ（３０）を用いて記録している場合に車両（１０）の移動から得られた画像シーケンスには、コンピュータユニットによりタイムスタンプが提供され、バッファ処理される。立体画像処理用のアルゴリズムが、車両（１０）自身の移動を考慮して、バッファ処理された画像から、駐車スペースの３Ｄ画像を生成するために使用される。この３Ｄ情報に基づいて、定義された駐車指針を考慮しながら、感知された３Ｄ空間が、車両を駐車するのに適しているかどうか、特に、駐車するための十分な空間があるかどうかを決定することができる。
【００２８】
本発明の主題が、道路交通上の他の使用にも適していることは、当業者には自明である。たとえば、本発明はまた、上記に明記した例示的実施形態に類似した方法で、車両と車道の縁との間の横方向の距離を測定し、最小距離を越えた場合に運転者に警告を発する警告システムとして使用する場合に利点を有する。
【図面の簡単な説明】
【００２９】
【図１】路上走行車（１０）の側方周囲の、ビデオベースの観測及び測定のための、本発明による装置を用いた交通状況。
【技術分野】
【０００１】
本発明は、路上走行車の側方周囲の、ビデオベースの観測及び測定のための方法及び装置に関する。
【背景技術】
【０００２】
初期の市販の運転者支援システムにおいては、適用形態により、走査の解像度と感知される区域の大きさのどちらを重要視するかを考える必要がある。たとえば、レーダセンサシステムについては、ＡＣＣを適用した場合は、水平方向の感知区域を数度に制限しなければならず、駐車支援機能の場合は、超音波を用いて車両近くの周囲を感知する時に、ほんの短い範囲及び解像度しか実装できない。従来のビデオベースのシステムは、解像度と感知範囲の両方を十分に兼ね備えてはいるが、一般に、どのような直接の距離情報も供給しない。
【０００３】
車両自身の移動を用いて、２次元深さのプロファイルデータから３次元の周囲データを得るシステムが、一方で、鉄道路線の鉄道トンネル及び操作に障害がないことを監視することについて、特許文献１及び特許文献２の文献に、他方で、殺虫剤の選択的散布及び大規模農園にある木々を感知することに関連して、特許文献３に提示されている。これらのすべてのシステムにおいては、１組の連続する距離プロファイルを連続して配置することにより、周囲の３次元画像がデータ処理ユニット内で生成される。個々の、順次に記録されたプロファイル間の距離を判断できるようにするために、それぞれ、このシステムが装着されている車両の車輪に、距離センサが配置される。
【０００４】
走査センサが装着されている農業用車両の位置を感知するための装置が、特許文献４に記述されている。ここでは、車両の走路が、全地球航法システム（ＧＰＳ）によって追跡される。しかし、植被の画像を記録するために使用される走査光学センサは、どのような距離情報も供給しないので、路面の２次元地図を得るには、センサ情報項目を連続的に配置しなければならない。
【０００５】
運転者支援システムに、立体カメラシステムがますます用いられるようになってきており、これにより、使用される１対のカメラの、既知の幾何学的な配置に基づいて、対象物の幅を計算的に判断することができる。立体画像処理においては、１対のカメラを用いて、対象物が異なる方向から走査される。次いで、立体カメラシステムと対象物との間の距離が、カメラの位置及び配向と、三角法の原理に基づくカメラのパラメータとを考慮して判断される。
【０００６】
特許文献５では、路上走行車の周囲にある対象物を検出する方法及び装置について開示している。提示されている方法においては、移動車両からの距離は、立体画像の対を評価することによって計算され、検出された対象物の特性が判断される。特に、画像の、距離に基づく区分化が、立体画像処理によって行われる。次いで、対象物の検出プロセスが、区分画像区域内で行われる。
【０００７】
同様のシステムが、特許文献６に記載されており、ここでは、車両内に立体カメラシステムを取り付けるための設備について記述されているが、このシステムは、対象物についての３次元の距離分散を計算するために使用される。しかし、路上走行車内で使用される場合には、先行技術より知られている、このような立体画像処理システムは、カメラの位置及び配向が非常に正確でなければならず、また調整に多大な労力を必要とするので、使用範囲が限られる。さらに、このような設備は、しばしば、毎日使用したり、様々な道路条件下で使用するのに、余り頑強なものであるとは言えない。
【０００８】
【特許文献１】米国特許第４１７９２１６Ａ１号明細書
【特許文献２】米国特許第４４９００３８Ａ１号明細書
【特許文献３】米国特許第５２７８４２３Ａ１号明細書
【特許文献４】米国特許第５８０９４４０Ａ１号明細書
【特許文献５】独国特許出願公開第１９９２６５５９Ａ１号明細書
【特許文献６】欧州特許出願公開第１０８７２５７Ａ２号明細書
【発明の開示】
【発明が解決しようとする課題】
【０００９】
本発明は、車両の側方周囲の、ビデオベースの観測及び測定のための新規な方法を提供する目的に関するものであり、車両は、請求項１及び１５の前文に記載の方法を行うためのセンサシステムを備え、本方法は、高度な機械的耐性を有しており、それ程複雑な調整を必要としない。
【課題を解決するための手段】
【００１０】
本目的は、本発明に従って、請求項１及び１５の特徴を有する方法及び装置によって達成される。本発明の好ましい改良形態及び発展形態が、従属請求項に開示されている。
【００１１】
本発明によれば、車両の側方周囲の観測及び測定は、一方、ディジタル画像を記録するカメラにより、他方、ディジタル画像にタイムスタンプを提供し、かつこれらをバッファ処理するために使用されるデータ処理ユニットにより、主に駐車スペースを検出するために行われる。
【００１２】
特に好ましい方式においては、本装置はまた、このデータに基づいてバッファ処理された画像から画像の対を選択するために、車両自身の移動を感知するためのユニットを具備する。２つの記録時間におけるカメラの位置及び配向を判断するための、さらなる手段が設けられる。したがって、立体画像処理用のアルゴリズムを用いて、画像を対にすることによって、局所３Ｄ深さ画像を生成することができ、記録時間におけるカメラの位置及び配向は、合成立体幾何学に従って考慮される。
【００１３】
本発明の主題の新規な形態により、路上走行車内に設置された場合に、たとえば、車道の縁に対する側方の３Ｄ幾何学的形状などのダイナミックな状況を、活動的でダイナミックに動作している車両の視点から感知できるシステムを初めて設けることができ、これの利点として、駐車中に評価することができる。従来の立体カメラシステムで使用されるものなどの、対のカメラ設備とは異なり、本発明による単眼のカメラシステムは、本発明による方法と合わせて、極めて小さい空間しか必要としないという利点を有する。このようなシステムは、設計態様に関して、車両内に統合するための好ましい解決方法を有し、さらに、第２のカメラを必要としないので、比較的低いコストしかかからないという利点を有する。機械的耐性については、立体カメラより単眼のカメラシステムの方が比較的大きい。１つのカメラシステムによって提供されるさらなる利点は、取付け及び調整の際の複雑さが著しく減少することである。
【００１４】
本発明の１つの有利な実施形態においては、画像を選択して、立体画像処理のための画像の対を形成するために、車両自身の移動、したがって、感知された車輪回転数に基づく距離を判断することが考えられる。路上走行車の移動を感知するためのさらに可能な方法が、主にＧＰＳ（全世界測位システム）と共に動作し、したがって正確な位置についての情報を提供する、移動車両ナビゲーションのためのシステムによって提供される。エンジンデータ、及びステアリングシステム及びブレーキに関係する情報を考慮しつつ、車両自身の移動に関する多量のデータを提供する車両走行力学システムも、路上走行車において、ますます使用されるようになってきている。
【００１５】
特に有利な方式においては、特に低い速度の場合に、画像の対を形成するために選択されるべき画像が、必ずしも、２つの直接連続する画像記録である必要はないということが考えられる。１つの画像の対を形成するための２つの画像記録について、タイムスタンプは、理想的には、車両自身の速度を考慮するための、変換後の時間差が、一定の予め定義された距離（立体ベース）に対応するよう選択されるべきである。しかし、距離（立体ベース）は、２つの画像が記録される時間の現行速度により、０．２ｍ〜１ｍの間の範囲内にあるよう選択されることが好ましい。路上走行車が駐車する時の平均車両速度は、ほぼ１２Ｋｍ／時であるので、２つの画像記録の間の０．１３ｍの範囲に含まれる距離（立体ベース）が理想的である。
【００１６】
本発明のさらに好ましい改良形態においては、記録中にカメラ配向が著しく変化しなかった、バッファ処理された画像の対のみが、さらなる処理のために使用できると考えられる。カメラの配向の変化は、たとえば道路条件が大きく変化している時の、車両の位置の変化によって生じ得る。２つの記録時間の間にカメラの配向が変化すると、立体画像の処理中の立体カメラシステムの調整不良による場合と同様に、さらなる処理中の結果が大きく変わることとなる。
【００１７】
本発明の主題は、画像の対によって取得された、１連の集積された局所３Ｄ深さ表示図から、全域３Ｄ深さ表示図を得るという目的で、特に好ましい方法で使用され得る。この場合、車両の周囲にある同じ地点に割り当てることができる、個々の局所３Ｄ深さ表示図の画像データは、互いに追加され、幾何学的なデータ構造内に格納される。幾何学的なデータ構造は、ここでは、車両の移動方向に従って、新しく追加された画像区域と同じ方向に絶えず拡大される。
【００１８】
本発明のさらに好ましい改良形態においては、全域３Ｄ深さ表示図のために、追加すべき各局所地点の画像データは、集積プロセスの前に重み付けされる。この重み付けにより、集積プロセス中に発生した雑音は、その後、個々の画素にフィルタをかけることによって減少することができる。
【００１９】
１つの特に有利な方法においては、個々の画素にフィルタをかけるための、集積された３Ｄ深さ表示図による重み付け中に表された体積は、個々の体素に分割され、追加すべき画素は、体素間に分散される。すべての体素は、予め定義された均一な体積を、たとえば立方体の形態で含むことが好ましい。
【００２０】
階層データ構造内に、特にツリー構造内に、個々の体素を格納することが好ましい。ツリー構造は、八分ツリーであることが有利である。この場合、八分ツリーを用いて、それぞれのノードが、３Ｄキーにより、８つの部分ツリー（体素）間に、１組の格納された体積を分散する。それぞれの部分ツリーは、さらに細区分される。
【００２１】
個々の体素内の画素数は、各重み付けとして、体素に割り当てられ得ることが有利である。このため、画素のデータに加えて、体素の重み付けもツリー構造内に格納される。
【００２２】
すべての体素の平均重み付けを取得し、したがって全重み付けを判断することが、特に好ましい。さらなる処理において、個々の体素内に含まれる画素を考慮するかどうかを決定するための閾値が、形成される。この場合、割り当てられた体素が、閾値以上の重み付けを有する画素のみが、考慮される。画素を含む体素のみが、全重み付けを判断するために使用されることが好ましい。
【００２３】
本発明の主題は、特に、全重み付けに同調因子を掛けることによって閾値を形成するという目的で、使用され得ることが好ましい。８×３×５ｍ３の体積及び８セルへの細区分で、駐車シーケンスを検査する場合に、このセルのための７．７の平均重み付けが得られる。したがって、１．５の同調因子で、１画像当たりの画素数を、４６０１３から２９７９２に減少できる。
【００２４】
本発明の範囲内で使用されるカメラは、車両内に既存の、他の画像記録システムの構成要素であるカメラであり得る。
【００２５】
以下、例示的実施形態及び図を参照しながら、本発明について詳細に説明する。
【発明を実施するための最良の形態】
【００２６】
図は、たとえば、路上走行車（１０）の周りの側方周囲の、ビデオベースの観測及び測定のための、本発明による装置を用いた、交通状況を示している。車道の縁に対する、走行中の車両の側方の３Ｄ幾何学的形状の測定は、本明細書においては、駐車スペースを測定するために使用される。駐車車両（４０）、ガードレール（５０）、又は車道の表面から著しく隆起しているために、その上を走ることができない他の対象物（６０）が、車道の縁に置かれていることがある。
【００２７】
このため、コンピュータユニットと合わせて、単眼のカメラ（３０）が、路上走行車（１０）内に設置される。カメラ（３０）は、光軸と移動方向（２０）との間の角度が、好ましくは９０°となるよう構成される。しかし、カメラ（３０）の可能な配向は、移動方向（２０）に垂直な配向に限定されるものではなく、感知されるべき区域について、移動方向（２０）に対して、４５°〜１３５°の角度の配向を有することがある。全体として車両内に統合する場合の、特に様々な形態を可能にするために、多様なカメラの配向が有利に使用され得る。カメラ（３０）を用いて記録している場合に車両（１０）の移動から得られた画像シーケンスには、コンピュータユニットによりタイムスタンプが提供され、バッファ処理される。立体画像処理用のアルゴリズムが、車両（１０）自身の移動を考慮して、バッファ処理された画像から、駐車スペースの３Ｄ画像を生成するために使用される。この３Ｄ情報に基づいて、定義された駐車指針を考慮しながら、感知された３Ｄ空間が、車両を駐車するのに適しているかどうか、特に、駐車するための十分な空間があるかどうかを決定することができる。
【００２８】
本発明の主題が、道路交通上の他の使用にも適していることは、当業者には自明である。たとえば、本発明はまた、上記に明記した例示的実施形態に類似した方法で、車両と車道の縁との間の横方向の距離を測定し、最小距離を越えた場合に運転者に警告を発する警告システムとして使用する場合に利点を有する。
【図面の簡単な説明】
【００２９】
【図１】路上走行車（１０）の側方周囲の、ビデオベースの観測及び測定のための、本発明による装置を用いた交通状況。
【特許請求の範囲】
【請求項１】
主に駐車スペースを検出するために、車両の側方周囲を観測及び測定する方法であって、タイムスタンプが提供され、かつバッファ処理されたディジタル画像が、カメラによって記録される方法であって、
前記車両自身の移動が、そのデータに基づいて、前記バッファ処理された画像から画像の対を選択するために感知され、
２つの記録時間における前記カメラの位置及び配向が、判断され、
局所３Ｄ深さ画像が、立体画像処理用のアルゴリズムを用いて、前記画像を対にすることによって生成され、記録時間における前記カメラの位置及び配向が、合成立体幾何学に従って考慮されることを特徴とする方法。
【請求項２】
前記車両自身の移動が、特に、速度、車輪の回転数、ナビゲーション情報、又は車両走行力学システムからのデータに基づいて感知されることを特徴とする請求項１に記載の方法。
【請求項３】
バッファ処理された画像が、前記画像の記録時間の間に含まれる距離が予め定義された値に対応するように、画像の対を形成するよう選択されることを特徴とする請求項１あるいは２に記載の方法。
【請求項４】
前記予め定義された値が、０．２ｍ〜１ｍの範囲内、特に０．３ｍであることが好ましいことを特徴とする請求項３に記載の方法。
【請求項５】
記録中に前記カメラの配向が著しく変化しなかった、バッファ処理された画像のみが、画像の対を形成するよう選択されることを特徴とする請求項３あるいは４に記載の方法。
【請求項６】
一連の局所３Ｄ深さ表示図が集積され、前記車両の周囲にある同じ地点に割り当てられ得る、前記個々の局所３Ｄ深さ表示図の画像データが、互いに追加されることを特徴とする請求項１〜５のいずれか一項に記載の方法。
【請求項７】
前記画像データが、追加される前に重み付けされることを特徴とする請求項６に記載の方法。
【請求項８】
前記集積された３Ｄ深さ表示図によって表された体積が、前記重み付け中に、個々の体素に分割されることを特徴とする請求項７に記載の方法。
【請求項９】
すべての前記体素が、予め定義された均一な体積に対応することを特徴とする請求項８に記載の方法。
【請求項１０】
前記体素が、特に八分ツリーの形態で、ツリー構造内に格納されることを特徴とする請求項８あるいは９に記載の方法。
【請求項１１】
前記個々の体素内の各画素数が、重み付けとして、該体素のそれぞれに割り当てられることを特徴とする請求項８〜１０のいずれか一項に記載の方法。
【請求項１２】
すべての前記体素の平均重み付けに対応する重み付けが判断され、該全重み付けが閾値を形成し、これに基づいて、前記個々の体素内に含まれる画素をさらなる処理において考慮するかどうかが決定され、前記画素に割り当てられた前記体素が前記閾値以上の重み付けを有する画素のみが、考慮されることを特徴とする請求項１１に記載の方法。
【請求項１３】
画素を含む体素のみが、前記全重み付けを形成するために使用されることを特徴とする請求項１２に記載の方法。
【請求項１４】
前記閾値が、前記全重み付けに同調因子を掛けることによって形成されることを特徴とする請求項１２あるいは１３に記載の方法。
【請求項１５】
主に駐車スペースを検出するための、車両の側方周囲の３Ｄ観測及び測定のための装置であって、
データ処理ユニットに接続された、ディジタル画像を記録するためのカメラを具備し、これにより、前記画像に、タイムスタンプが提供され、バッファ処理される装置であって、
前記車両自身の移動を感知するためのユニットが設けられ、
画像の対を形成するために、前記車両自身の移動に基づいて画像データを選択するための手段が設けられ、
立体画像処理のためのユニットに接続されることを特徴とする装置。
【請求項１６】
前記車両自身の移動を感知するための前記ユニットが、特に、速度計、車輪速度計、ナビゲーションシステム、又は車両走行力学システムであることを特徴とする請求項８に記載の装置。
【請求項１７】
前記カメラが、移動方向に対して９０°の配向を有することが好ましいことを特徴とする請求項８あるいは９に記載の装置。
【請求項１８】
前記カメラが、移動方向に対して４５°〜１３５°の配向を有することが好ましいことを特徴とする請求項８あるいは９に記載の装置。
【請求項１９】
前記カメラが、前記車両内に既に置かれている画像記録システムの構成要素であることを特徴とする請求項８〜１１のいずれか一項に記載の装置。
【請求項２０】
車両と道路の縁との間の距離を測定するための警告システムとして、請求項１〜１９のいずれか一項に記載の装置又は方法の使用。
【特許請求の範囲】
【請求項１】
主に駐車スペースを検出するために、車両の側方周囲を観測及び測定する方法であって、タイムスタンプが提供され、かつバッファ処理されたディジタル画像のシーケンスが、カメラによって記録される方法であって、
前記車両自身の移動が、そのデータに基づいて、前記バッファ処理された画像から時系列に重なる立体画像の対を選択するために感知され、
２つの記録時間における前記カメラの位置及び配向が、判断され、
局所３Ｄ深さ画像が、立体画像処理用のアルゴリズムを用いて、前記画像を対にすることによって生成され、記録時間における前記カメラの位置及び配向が、合成立体幾何学に従って考慮されることを特徴とする方法。
【請求項２】
前記車両自身の移動が、特に、速度、車輪の回転数、ナビゲーション情報、又は車両走行力学システムからのデータに基づいて感知されることを特徴とする請求項１に記載の方法。
【請求項３】
バッファ処理された画像が、前記画像の記録時間の間に含まれる距離が予め定義された値に対応するように、画像の対を形成するよう選択されることを特徴とする請求項１あるいは２に記載の方法。
【請求項４】
前記予め定義された値が、０．２ｍ〜１ｍの範囲内、特に０．３ｍであることが好ましいことを特徴とする請求項３に記載の方法。
【請求項５】
記録中に前記カメラの配向が著しく変化しなかった、バッファ処理された画像のみが、画像の対を形成するよう選択されることを特徴とする請求項３あるいは４に記載の方法。
【請求項６】
一連の局所３Ｄ深さ表示図が集積され、前記車両の周囲にある同じ地点に割り当てられ得る、前記個々の局所３Ｄ深さ表示図の画像データが、互いに追加されることを特徴とする請求項１〜５のいずれか一項に記載の方法。
【請求項７】
前記画像データが、追加される前に重み付けされることを特徴とする請求項６に記載の方法。
【請求項８】
前記集積された３Ｄ深さ表示図によって表された体積が、前記重み付け中に、個々の体素に分割されることを特徴とする請求項７に記載の方法。
【請求項９】
すべての前記体素が、予め定義された均一な体積に対応することを特徴とする請求項８に記載の方法。
【請求項１０】
前記体素が、特に八分ツリーの形態で、ツリー構造内に格納されることを特徴とする請求項８あるいは９に記載の方法。
【請求項１１】
前記個々の体素内の各画素数が、重み付けとして、該体素のそれぞれに割り当てられることを特徴とする請求項８〜１０のいずれか一項に記載の方法。
【請求項１２】
すべての前記体素の平均重み付けに対応する重み付けが判断され、該全重み付けが閾値を形成し、これに基づいて、前記個々の体素内に含まれる画素をさらなる処理において考慮するかどうかが決定され、前記画素に割り当てられた前記体素が前記閾値以上の重み付けを有する画素のみが、考慮されることを特徴とする請求項１１に記載の方法。
【請求項１３】
画素を含む体素のみが、前記全重み付けを形成するために使用されることを特徴とする請求項１２に記載の方法。
【請求項１４】
前記閾値が、前記全重み付けに同調因子を掛けることによって形成されることを特徴とする請求項１２あるいは１３に記載の方法。
【請求項１５】
主に駐車スペースを検出するための、車両の側方周囲の３Ｄ観測及び測定のための装置であって、
データ処理ユニットに接続された、ディジタル画像のシーケンスを記録するためのカメラを具備し、これにより、前記画像に、タイムスタンプが提供され、バッファ処理される装置であって、
前記車両自身の移動を感知するためのユニットが設けられ、
時系列に重なる立体画像の対を形成するために、前記車両自身の移動に基づいて画像データを選択するための手段が設けられ、
立体画像処理のためのユニットに接続されることを特徴とする装置。
【請求項１６】
前記車両自身の移動を感知するための前記ユニットが、特に、速度計、車輪速度計、ナビゲーションシステム、又は車両走行力学システムであることを特徴とする請求項１５に記載の装置。
【請求項１７】
前記カメラが、移動方向に対して９０°の配向を有することが好ましいことを特徴とする請求項１５あるいは１６に記載の装置。
【請求項１８】
前記カメラが、移動方向に対して４５°〜１３５°の配向を有することが好ましいことを特徴とする請求項１５あるいは１６に記載の装置。
【請求項１９】
前記カメラが、前記車両内に既に置かれている画像記録システムの構成要素であることを特徴とする請求項１５〜１８のいずれか一項に記載の装置。
【請求項２０】
車両と道路の縁との間の距離を測定するための警告システムとして、請求項１〜１９のいずれか一項に記載の装置又は方法の使用。
【請求項１】
主に駐車スペースを検出するために、車両の側方周囲を観測及び測定する方法であって、タイムスタンプが提供され、かつバッファ処理されたディジタル画像が、カメラによって記録される方法であって、
前記車両自身の移動が、そのデータに基づいて、前記バッファ処理された画像から画像の対を選択するために感知され、
２つの記録時間における前記カメラの位置及び配向が、判断され、
局所３Ｄ深さ画像が、立体画像処理用のアルゴリズムを用いて、前記画像を対にすることによって生成され、記録時間における前記カメラの位置及び配向が、合成立体幾何学に従って考慮されることを特徴とする方法。
【請求項２】
前記車両自身の移動が、特に、速度、車輪の回転数、ナビゲーション情報、又は車両走行力学システムからのデータに基づいて感知されることを特徴とする請求項１に記載の方法。
【請求項３】
バッファ処理された画像が、前記画像の記録時間の間に含まれる距離が予め定義された値に対応するように、画像の対を形成するよう選択されることを特徴とする請求項１あるいは２に記載の方法。
【請求項４】
前記予め定義された値が、０．２ｍ〜１ｍの範囲内、特に０．３ｍであることが好ましいことを特徴とする請求項３に記載の方法。
【請求項５】
記録中に前記カメラの配向が著しく変化しなかった、バッファ処理された画像のみが、画像の対を形成するよう選択されることを特徴とする請求項３あるいは４に記載の方法。
【請求項６】
一連の局所３Ｄ深さ表示図が集積され、前記車両の周囲にある同じ地点に割り当てられ得る、前記個々の局所３Ｄ深さ表示図の画像データが、互いに追加されることを特徴とする請求項１〜５のいずれか一項に記載の方法。
【請求項７】
前記画像データが、追加される前に重み付けされることを特徴とする請求項６に記載の方法。
【請求項８】
前記集積された３Ｄ深さ表示図によって表された体積が、前記重み付け中に、個々の体素に分割されることを特徴とする請求項７に記載の方法。
【請求項９】
すべての前記体素が、予め定義された均一な体積に対応することを特徴とする請求項８に記載の方法。
【請求項１０】
前記体素が、特に八分ツリーの形態で、ツリー構造内に格納されることを特徴とする請求項８あるいは９に記載の方法。
【請求項１１】
前記個々の体素内の各画素数が、重み付けとして、該体素のそれぞれに割り当てられることを特徴とする請求項８〜１０のいずれか一項に記載の方法。
【請求項１２】
すべての前記体素の平均重み付けに対応する重み付けが判断され、該全重み付けが閾値を形成し、これに基づいて、前記個々の体素内に含まれる画素をさらなる処理において考慮するかどうかが決定され、前記画素に割り当てられた前記体素が前記閾値以上の重み付けを有する画素のみが、考慮されることを特徴とする請求項１１に記載の方法。
【請求項１３】
画素を含む体素のみが、前記全重み付けを形成するために使用されることを特徴とする請求項１２に記載の方法。
【請求項１４】
前記閾値が、前記全重み付けに同調因子を掛けることによって形成されることを特徴とする請求項１２あるいは１３に記載の方法。
【請求項１５】
主に駐車スペースを検出するための、車両の側方周囲の３Ｄ観測及び測定のための装置であって、
データ処理ユニットに接続された、ディジタル画像を記録するためのカメラを具備し、これにより、前記画像に、タイムスタンプが提供され、バッファ処理される装置であって、
前記車両自身の移動を感知するためのユニットが設けられ、
画像の対を形成するために、前記車両自身の移動に基づいて画像データを選択するための手段が設けられ、
立体画像処理のためのユニットに接続されることを特徴とする装置。
【請求項１６】
前記車両自身の移動を感知するための前記ユニットが、特に、速度計、車輪速度計、ナビゲーションシステム、又は車両走行力学システムであることを特徴とする請求項８に記載の装置。
【請求項１７】
前記カメラが、移動方向に対して９０°の配向を有することが好ましいことを特徴とする請求項８あるいは９に記載の装置。
【請求項１８】
前記カメラが、移動方向に対して４５°〜１３５°の配向を有することが好ましいことを特徴とする請求項８あるいは９に記載の装置。
【請求項１９】
前記カメラが、前記車両内に既に置かれている画像記録システムの構成要素であることを特徴とする請求項８〜１１のいずれか一項に記載の装置。
【請求項２０】
車両と道路の縁との間の距離を測定するための警告システムとして、請求項１〜１９のいずれか一項に記載の装置又は方法の使用。
【特許請求の範囲】
【請求項１】
主に駐車スペースを検出するために、車両の側方周囲を観測及び測定する方法であって、タイムスタンプが提供され、かつバッファ処理されたディジタル画像のシーケンスが、カメラによって記録される方法であって、
前記車両自身の移動が、そのデータに基づいて、前記バッファ処理された画像から時系列に重なる立体画像の対を選択するために感知され、
２つの記録時間における前記カメラの位置及び配向が、判断され、
局所３Ｄ深さ画像が、立体画像処理用のアルゴリズムを用いて、前記画像を対にすることによって生成され、記録時間における前記カメラの位置及び配向が、合成立体幾何学に従って考慮されることを特徴とする方法。
【請求項２】
前記車両自身の移動が、特に、速度、車輪の回転数、ナビゲーション情報、又は車両走行力学システムからのデータに基づいて感知されることを特徴とする請求項１に記載の方法。
【請求項３】
バッファ処理された画像が、前記画像の記録時間の間に含まれる距離が予め定義された値に対応するように、画像の対を形成するよう選択されることを特徴とする請求項１あるいは２に記載の方法。
【請求項４】
前記予め定義された値が、０．２ｍ〜１ｍの範囲内、特に０．３ｍであることが好ましいことを特徴とする請求項３に記載の方法。
【請求項５】
記録中に前記カメラの配向が著しく変化しなかった、バッファ処理された画像のみが、画像の対を形成するよう選択されることを特徴とする請求項３あるいは４に記載の方法。
【請求項６】
一連の局所３Ｄ深さ表示図が集積され、前記車両の周囲にある同じ地点に割り当てられ得る、前記個々の局所３Ｄ深さ表示図の画像データが、互いに追加されることを特徴とする請求項１〜５のいずれか一項に記載の方法。
【請求項７】
前記画像データが、追加される前に重み付けされることを特徴とする請求項６に記載の方法。
【請求項８】
前記集積された３Ｄ深さ表示図によって表された体積が、前記重み付け中に、個々の体素に分割されることを特徴とする請求項７に記載の方法。
【請求項９】
すべての前記体素が、予め定義された均一な体積に対応することを特徴とする請求項８に記載の方法。
【請求項１０】
前記体素が、特に八分ツリーの形態で、ツリー構造内に格納されることを特徴とする請求項８あるいは９に記載の方法。
【請求項１１】
前記個々の体素内の各画素数が、重み付けとして、該体素のそれぞれに割り当てられることを特徴とする請求項８〜１０のいずれか一項に記載の方法。
【請求項１２】
すべての前記体素の平均重み付けに対応する重み付けが判断され、該全重み付けが閾値を形成し、これに基づいて、前記個々の体素内に含まれる画素をさらなる処理において考慮するかどうかが決定され、前記画素に割り当てられた前記体素が前記閾値以上の重み付けを有する画素のみが、考慮されることを特徴とする請求項１１に記載の方法。
【請求項１３】
画素を含む体素のみが、前記全重み付けを形成するために使用されることを特徴とする請求項１２に記載の方法。
【請求項１４】
前記閾値が、前記全重み付けに同調因子を掛けることによって形成されることを特徴とする請求項１２あるいは１３に記載の方法。
【請求項１５】
主に駐車スペースを検出するための、車両の側方周囲の３Ｄ観測及び測定のための装置であって、
データ処理ユニットに接続された、ディジタル画像のシーケンスを記録するためのカメラを具備し、これにより、前記画像に、タイムスタンプが提供され、バッファ処理される装置であって、
前記車両自身の移動を感知するためのユニットが設けられ、
時系列に重なる立体画像の対を形成するために、前記車両自身の移動に基づいて画像データを選択するための手段が設けられ、
立体画像処理のためのユニットに接続されることを特徴とする装置。
【請求項１６】
前記車両自身の移動を感知するための前記ユニットが、特に、速度計、車輪速度計、ナビゲーションシステム、又は車両走行力学システムであることを特徴とする請求項１５に記載の装置。
【請求項１７】
前記カメラが、移動方向に対して９０°の配向を有することが好ましいことを特徴とする請求項１５あるいは１６に記載の装置。
【請求項１８】
前記カメラが、移動方向に対して４５°〜１３５°の配向を有することが好ましいことを特徴とする請求項１５あるいは１６に記載の装置。
【請求項１９】
前記カメラが、前記車両内に既に置かれている画像記録システムの構成要素であることを特徴とする請求項１５〜１８のいずれか一項に記載の装置。
【請求項２０】
車両と道路の縁との間の距離を測定するための警告システムとして、請求項１〜１９のいずれか一項に記載の装置又は方法の使用。
【図１】
【公表番号】特表２００６−５０１５４２（Ｐ２００６−５０１５４２Ａ）
【公表日】平成１８年１月１２日（２００６．１．１２）
【国際特許分類】
【出願番号】特願２００４−５３８９５８（Ｐ２００４−５３８９５８）
【出願日】平成１５年９月１９日（２００３．９．１９）
【国際出願番号】ＰＣＴ／ＥＰ２００３／０１０４５６
【国際公開番号】ＷＯ２００４／０２９８７７
【国際公開日】平成１６年４月８日（２００４．４．８）
【出願人】（５９８０５１８１９）ダイムラークライスラー・アクチェンゲゼルシャフト (1,147)
【Ｆターム（参考）】
【公表日】平成１８年１月１２日（２００６．１．１２）
【国際特許分類】
【出願日】平成１５年９月１９日（２００３．９．１９）
【国際出願番号】ＰＣＴ／ＥＰ２００３／０１０４５６
【国際公開番号】ＷＯ２００４／０２９８７７
【国際公開日】平成１６年４月８日（２００４．４．８）
【出願人】（５９８０５１８１９）ダイムラークライスラー・アクチェンゲゼルシャフト (1,147)
【Ｆターム（参考）】
[ Back to top ]