車両ドライバーを補助するための方法およびデバイス
【課題】車両のドライバーを補助するための方法およびデバイスを提供すること。
【解決手段】車両（１００）の外部の車両環境を表現するビデオ信号を生成することと、ビデオ信号から少なくとも１つの特徴を抽出することと、抽出された特徴を少なくとも１つの基準特徴と比較することであって、基準特徴は、複数の予め計算された基準特徴から選択され、複数の予め計算された基準特徴は、マップデータベース（２２０）内に位置属性として格納されている、ことと、抽出された特徴と基準特徴との比較に基づいて、車両環境内のオブジェクトを識別することと、識別されたオブジェクトに基づいて、車両（１００）のドライバーに指示を提供することと、を含む、ドライバー補助方法。
【解決手段】車両（１００）の外部の車両環境を表現するビデオ信号を生成することと、ビデオ信号から少なくとも１つの特徴を抽出することと、抽出された特徴を少なくとも１つの基準特徴と比較することであって、基準特徴は、複数の予め計算された基準特徴から選択され、複数の予め計算された基準特徴は、マップデータベース（２２０）内に位置属性として格納されている、ことと、抽出された特徴と基準特徴との比較に基づいて、車両環境内のオブジェクトを識別することと、識別されたオブジェクトに基づいて、車両（１００）のドライバーに指示を提供することと、を含む、ドライバー補助方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両のドライバーを補助するための方法およびデバイスに関する。
【背景技術】
【０００２】
現在のドライバー補助システムでは、車両環境内のオブジェクトを識別するために、車両環境内のビデオ信号のイメージ処理を用いることが公知である。車両をナビゲートまたは運転する際にドライバーを補助するために、識別されたオブジェクトに基づいて、車両のドライバーに指示が提供され得る。
【０００３】
しかしながら、ビデオ信号のイメージ処理は、著しい処理リソースを必要とし、そしてそれに対応するように設計されたドライバー補助システムは、パワフルな処理装備を必要とする。他方で、パワフルな処理リソースを用いたとしても、オブジェクト識別処理は、依然として不十分な精度を被り得る。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
したがって、優れたオブジェクト認識を可能にし、処理リソースの効率的な使用を可能にするドライバー補助技術が必要とされている。
【課題を解決するための手段】
【０００５】
（概要）
上記の必要性は、独立請求項の特徴によって満たされる。従属請求項は、本発明の特定の実施形態を規定する。
【０００６】
第１の局面に従うと、ドライバー補助方法が提供される。方法は、車両の外部の車両環境を表現するビデオ信号を生成することを含む。例えば、ビデオ信号は、車両ベースのデジタルカメラによって生成され得、該デジタルカメラは、ドライバーの視野に類似した車両前方の視野を検出し得る。ビデオ信号から、少なくとも１つの特徴が抽出される。抽出された特徴は、少なくとも１つの基準特徴と比較され、該基準特徴は、複数の予め計算された基準特徴から選択され、該複数の予め計算された基準特徴は、マップデータベース内に位置属性として格納されている。車両環境内のオブジェクトは、抽出された特徴と基準特徴との比較に基づいて識別される。識別されたオブジェクトに基づいて、車両のドライバーに指示が提供される。例えば、指示は、ドライバーに表示されるビデオ信号および／またはスピーチ信号などのサウンド信号を含み得る。指示は、車両のドライバーに対し、車両環境内の関心点（ｐｏｉｎｔ ｏｆ ｉｎｔｅｒｅｓｔ）または交通標識（ｔｒａｆｆｉｃ ｓｉｇｎ）を通知し得る。さらに、指示は、ビデオ信号内での特定の構造（例えば、道路の縁など）のハイライトを含み得、ドライバーに表示され得る。
【０００７】
このようにして、ドライバー補助方法は、車両環境内のオブジェクトを効率的に識別することを可能にする。オブジェクト識別処理は、予め計算された基準特徴に基づき、該基準特徴は、マップデータベース内に位置属性として格納され、高い精度のオブジェクト検出が達成され得る。さらに、オブジェクト識別処理を実装する車両ベースのデータ処理リソースが低減される。
【０００８】
一実施形態にしたがうと、マップデータベースは、車両の外部にある。この場合、方法は、車両から外部データ処理リソースに第１のデータ信号を送信することをさらに含み得、該第１のデータ信号は、車両の位置データを少なくとも含む。そして、受信された位置データに応答して生成されたオブジェクト識別データを含む第２のデータ信号が、外部データ処理リソースから車両に送信される。このようにして、オブジェクト識別処理の一部分は、車両の外部で実装され得、これにより、車両内のデータ処理リソースを節約し得る。
【０００９】
例えば、抽出された特徴と基準特徴との間の比較が、外部データ処理リソースにより、車両の外部で実装され得る。この場合、外部データ処理リソースから車両に送信されるオブジェクト識別データは、識別されたオブジェクトの特性を表現するオブジェクトデータを含み得る。オブジェクトデータは、ドライバーに対して指示を提供するために、車両内で容易に用いられ得る。
【００１０】
あるいは、抽出された特徴と基準特徴との間の比較は、車両ベースのデータ処理リソースにより、車両内で実装され得る。この場合、外部データ処理リソースから車両に送信されるオブジェクト識別データは、比較を遂行するために車両ベースのデータ処理リソースによって必要とされる基準特徴を含み得る。
【００１１】
さらなる実施形態にしたがうと、ビデオ信号から特徴を抽出する処理は、車両ベースのデータ処理リソースによって実装される。この場合、第１のデータ信号は、抽出された特徴を表現する特徴データを含み得る。この場合、車両と外部データ処理リソースとの間の通信チャネルが、効率的に用いられ得る。あるいは、ビデオ信号から特徴を抽出する処理は、外部データ処理リソースによって達成され得る。この場合、第１のデータ信号は、ビデオ信号から導出されたビデオデータ（例えば、フルビデオ信号）、ビデオ信号の圧縮バージョンおよび／またはビデオ信号の選択されたフレームを含み得る。後者の代替案は、車両内で必要とされる処理リソースのさらなる低減を可能にする。
【００１２】
一実施形態にしたがうと、外部データ処理リソースから車両に送信される第２のデータ信号は、ドライバーに指示されるビデオデータおよび／またはオーディオデータを含み得る。したがって、車両ベースの処理リソースは、車両外部のビデオデータおよび／またはオーディオデータを計算することにより、節約され得る。
【００１３】
一実施形態にしたがうと、外部データ処理リソースから車両に送信されるオブジェクトデータは、指示されるオブジェクトの座標、次元および／または識別子を含み得る。この情報に基づいて、適切な指示が車両内で計算され得る。この場合、個々のドライバーおよび／または車両の要求に対して該指示を調整することが行われ得る。
【００１４】
一実施形態にしたがうと、外部データ処理リソースは、複数の車両と通信する。これは、外部データ処理リソースと外部マップデータベースとの効率的な使用を可能にする。さらに、これは、異なる車両からのビデオ信号から抽出された特徴を相関させることを可能にし、これにより、識別処理の精度をさらに向上させ得る。例えば、特定の特徴の変化は、異なる車両のビデオ信号から抽出された特徴を相関させることによって追跡され得る。
【００１５】
一実施形態にしたがうと、外部データ処理リソースは、インターネットベースの通信チャネルを介して車両と通信する。このようにして、車両の既存の通信リソースは、外部データ処理リソースおよび外部マップデータベースとの通信のために再利用され得る。
【００１６】
一実施形態にしたがうと、外部特徴と基準特徴とは、変換不変な特徴の表現に対応する。例えば、特徴は、ＳＩＦＴ表現（ＳＩＦＴ：Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｃｋｅｒ）にしたがって、またはＳＵＲＦ表現（ＳＵＲＦ：Ｓｐｅｅｄ Ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅｓ）にしたがって表現され得る。このようにして、ビデオ信号を生成するために用いられる個々の視点に関わらずに、抽出された特徴と基準特徴との間の信頼性のあるマッチングが実行され得る。さらに、変換不変な特徴表現の使用は、将来の識別処理に用いられるように、基準特徴をマップデータベースに効率的に格納することを可能にする。
【００１７】
第２の局面にしたがうと、車両に搭載されるドライバー補助デバイスが提供される。ドライバー補助デバイスは、車両ベースのビデオキャプチャデバイス（例えば、デジタルカメラ）を含み、車両の外部の車両環境（例えば、車両の前方の視野）を表現するビデオ信号を生成する様に構成され得る。ドライバー補助デバイスは、例えば、交通標識、道路の縁、関心点などの、車両環境内の識別されたオブジェクトに基づいてドライバーに指示を提供するように構成された指示デバイスをさらに含み得る。オブジェクトは、ビデオ信号から抽出された少なくとも１つの特徴と、複数の予め計算された基準特徴から選択された少なくとも１つの基準特徴との間の比較に基づいて識別され、該複数の予め計算された基準特徴は、マップデータベース内に位置属性として格納されている。オブジェクト識別処理は、車両ベースのドライバー補助デバイス内で実装され得る。あるいは、オブジェクト識別処理の少なくとも一部分は、車両の外部で（すなわち、外部データ処理リソースおよび／または外部マップデータベースを用いることにより）実装され得る。後者の場合、ドライバー補助デバイスは、第１のデータ信号を外部データ処理リソースに送信する車両ベースの送信器と、外部データ処理リソースから第２のデータ信号を受信する車両ベースの受信器とを含み得る。第１のデータ信号は、車両の位置データを少なくとも含み得、第２のデータ信号は、オブジェクト識別データを含み得る。
【００１８】
車両ベースのドライバー補助デバイスは、上述の第１の局面にしたがう方法を実装するように構成され得る。
【００１９】
第３の局面にしたがうと、ドライバー補助システムが提供される。ドライバー補助システムは、複数の予め計算された基準特徴を位置属性として格納するように構成されたマップデータベースと、ビデオ信号から抽出された特徴を少なくとも１つの基準特徴と比較するように構成された第１のデータ処理リソースとを含み、ビデオ信号は、車両外部の車両環境を表現し、基準イメージ特徴は、複数の予め計算された基準イメージ特徴から選択される。比較に基づいて、第１のデータ処理リソースは、車両環境内のオブジェクトを識別する。そして、識別されたオブジェクトは、車両のドライバーに対する指示を提供するための基礎として用いられ得る。
【００２０】
ドライバー補助システムは、非車両ベースのコンポーネントすなわち外部のコンポーネントを含み得、外部コンポーネントであり得る第１のデータ処理リソースを車両内の第２データ処理リソースに結合するために、第１の送信器および第１の受信器を含む。この場合、第１の受信器は、第２のデータ処理リソースから第１のデータ信号を受信するように構成され得、第１のデータ信号は、車両の位置データを少なくとも含む。第１の送信器は、第２のデータ信号を第２のデータ処理リソースに送信し、第２のデータ信号が生成されるように構成され得る。
【００２１】
一実施形態にしたがうと、ドライバー補助システムは、車両ベースのコンポーネントをさらに含み得、例えば、ビデオ信号を生成するように構成された車両ベースのキャプチャデバイス、第１のデータ処理リソースに第１のデータ信号を送信するように構成された車両ベースの第２の送信器、第１のデータ処理リソースから第２のデータ信号を受信するように構成された車両ベースの第２の受信器、および識別されたオブジェクトに基づいて、車両のドライバーに指示を提供するように構成された車両ベースの指示デバイスを含み得る。
【００２２】
ドライバー補助システムは、上述の第１の局面にしたがう方法を実装するように構成され得る。
【００２３】
本発明は、さらに以下の手段を提供する。
（項目１）
車両（１００）の外部の車両環境を表現するビデオ信号を生成することと、
該ビデオ信号から少なくとも１つの特徴を抽出することと、
該抽出された特徴を少なくとも１つの基準特徴と比較することであって、該基準特徴は、複数の予め計算された基準特徴から選択され、該複数の予め計算された基準特徴は、マップデータベース（２２０）内に位置属性として格納されている、ことと、
該抽出された特徴と該基準特徴との比較に基づいて、該車両環境内のオブジェクトを識別することと、
該識別されたオブジェクトに基づいて、該車両（１００）のドライバーに指示を提供することと
を含む、ドライバー補助方法。
（項目２）
上記マップデータベース（２２０）は、上記車両（１００）に対して外部にあり、
上記方法は、
上記車両（１００）から外部データ処理リソース（２１０）に第１のデータ信号（Ｄ１）を送信することであって、該第１のデータ信号（Ｄ１）は、該車両（１００）の位置データを少なくとも含む、ことと、
該外部データ処理リソース（２１０）から該車両（１００）に第２のデータ信号（Ｄ２）を送信することであって、該第２のデータ信号（Ｄ２）は、該受信された位置データに応答して生成されたオブジェクト識別データを含む、ことと
をさらに含む、上記項目に記載のドライバー補助方法。
（項目３）
上記抽出された特徴と上記基準特徴との間の上記比較と、上記オブジェクトの上記識別とは、車両ベースのデータ処理リソース（１１０）によって達成され、
上記オブジェクト識別データは、該基準特徴を含む、上記項目のいずれか一項に記載のドライバー補助方法。
（項目４）
上記抽出された特徴と上記基準特徴との間の上記比較と、上記オブジェクトの上記識別とは、上記外部データ処理リソース（２１０）によって達成され、
上記オブジェクト識別データは、上記識別されたオブジェクトの特性を表現するオブジェクトデータを含む、上記項目のいずれか一項に記載のドライバー補助方法、
（項目５）
上記特徴の上記抽出は、車両ベースのデータ処理リソース（１１０）によって達成され、
上記第１のデータ信号（Ｄ１）は、上記抽出された特徴を表現する特徴データを含む、上記項目のいずれか一項に記載の方法。
（項目６）
上記特徴の上記抽出は、上記外部データ処理リソース（２１０）によって達成され、
上記第１のデータ信号（Ｄ１）は、上記ビデオ信号から導出されたビデオ信号を含む、上記項目のいずれか一項に記載の方法。
（項目７）
上記第２のデータ信号（Ｄ２）は、上記ドライバーに指示されるビデオデータおよび／またはオーディオデータを含む、上記項目のいずれか一項に記載の方法。
（項目８）
上記オブジェクトデータは、上記識別されるオブジェクトの座標、次元および／または識別子を含む、上記項目のいずれか一項に記載の方法。
（項目９）
上記外部データ処理リソース（２１０）は、複数の車両（１００）と通信する、上記項目のいずれか一項に記載の方法。
（項目１０）
上記外部データ処理リソース（２１０）は、異なる車両（１００）のビデオ信号から抽出された特徴を相関させる、上記項目のいずれか一項に記載の方法。
（項目１１）
上記外部データ処理リソース（２１０）は、インターネットベースの通信チャネルを介して上記車両と通信する、上記項目のいずれか一項に記載の方法。
（項目１２）
上記抽出された特徴と上記基準特徴とは、変換不変な特徴の表現に対応する、上記項目のいずれか一項に記載の方法。
（項目１３）
車両（１００）内に搭載されたドライバー補助デバイスであって、
車両（１００）の外部の車両環境を表現するビデオ信号を生成するように構成された車両ベースのビデオキャプチャデバイス（１３０）と、
該車両環境内の識別されたオブジェクトに基づいて、該車両（１００）のドライバーに指示を提供するように構成された指示デバイス（１６０）と
を含み、
該オブジェクトは、該ビデオ信号から抽出された少なくとも１つの特徴と少なくとも１つの基準特徴との間の比較に基づいて識別され、該基準特徴は、複数の予め計算された基準特徴から選択され、該複数の予め計算された基準特徴は、マップデータベース（２２０）内に位置属性として格納されている、ドライバー補助デバイス。
（項目１４）
外部データ処理リソース（２１０）に第１のデータ信号（Ｄ１）を送信する車両ベースの送信器（１４０）であって、該第１のデータ信号（Ｄ１）は、上記車両（１００）の位置データを少なくとも含む、送信器（１４０）と、
該外部データ処理リソース（２１０）から第２のデータ信号（Ｄ２）を受信する車両ベースの受信器（１５０）であって、該第２のデータ信号（Ｄ２）は、オブジェクト識別データを含む、受信器（１５０）と
を含む、上記項目に記載のドライバー補助デバイス。
（項目１５）
上記ドライバー補助デバイスは、項目１〜１２のいずれか一項に記載の方法を実装するように構成されている、上記項目のいずれか一項に記載のドライバー補助デバイス。
（項目１６）
複数の予め計算された基準イメージ特徴を位置属性として格納するように構成されたマップデータベース（２２０）と、
ビデオ信号から抽出された特徴を少なくとも１つの基準特徴と比較し、該比較に基づいて該車両環境内のオブジェクトを識別するように構成された第１のデータ処理リソース（２１０）であって、該ビデオ信号は、車両（１００）の外部の車両環境を表現し、該基準特徴は、該複数の予め計算されたイメージ特徴から選択される、第１のデータ処理リソース（２１０）と
を含む、ドライバー補助システム。
（項目１７）
第１のデータ処理リソース（２１０）を上記車両（１００）内の第２のデータ処理リソース（１１０）に結合する第１の送信器（２４０）および第１の受信器（２５０）
を含み、
該第１の受信器（２５０）は、該第２のデータ処理リソース（１１０）から第１のデータ信号（Ｄ１）を受信するように構成されており、該第１のデータ信号は、該車両（１００）の位置データを少なくとも含み、
該第１の送信器（２４０）は、該第２のデータ処理リソース（１１０）に第２のデータ信号（Ｄ２）を送信するように構成されており、該第２のデータ信号（Ｄ２）は、該第１のデータ処理リソース（２１０）によって識別されたオブジェクトに基づいて生成される、上記項目に記載のドライバー補助システム。
（項目１８）
上記ビデオ信号を生成するように構成された車両ベースのビデオキャプチャデバイス（１３０）と、
上記第１のデータ信号（Ｄ１）を上記第１のデータ処理リソース（２１０）に送信するように構成された車両ベースの第２の送信器（１４０）と、
該第１のデータ処理リソース（２１０）から上記第２のデータ信号（Ｄ２）を受信するように構成された車両ベースの第２の受信器（１５０）と、
該識別されたオブジェクトに基づいて、上記車両（１００）のドライバーに指示を提供するように構成された車両ベースの指示デバイス（１６０）と
を含む、上記項目のいずれか一項に記載のドライバー補助システム。
（項目１９）
上記ドライバー補助システムは、上記項目のいずれか一項のいずれか一項に記載の方法を実装するように構成されている、上記項目のいずれか一項のいずれか一項に記載のドライバー補助システム。
【００２４】
（摘要）
ドライバー補助方法が提供され、該方法は、車両（１００）の外部の車両環境を表現するビデオ信号を生成することと、ビデオ信号から少なくとも１つの特徴を抽出することと、抽出された特徴を少なくとも１つの基準特徴と比較することであって、基準特徴は、複数の予め計算された基準特徴から選択され、複数の予め計算された基準特徴は、マップデータベース（２２０）内に位置属性として格納されている、ことと、抽出された特徴と基準特徴との比較に基づいて、車両環境内のオブジェクトを識別することと、識別された特徴オブジェクトに基づいて、車両（１００）のドライバーに対する指示を提供することと、を含む。
【図面の簡単な説明】
【００２５】
【図１】図１は、本発明の一実施形態にしたがう、ドライバー補助システムを概略的に示している。
【図２】図２は、複数の車両に実装されたときのドライバー補助システムを概略的に示している。
【図３】図３は、本発明の一実施形態にしたがう、ドライバー補助方法における方法ステップを示すフローチャートを示している。
【図４】図４は、本発明の一実施形態にしたがう、ドライバー補助方法におけるさらなる方法ステップを示すフローチャートを示している。
【発明を実施するための形態】
【００２６】
以下では、添付図面を参照しながら、本発明の実施形態がより詳細に記載される。
【００２７】
（好適な実施形態の詳細な説明）
以下では、本発明の実施形態が、例示的なドライバー補助システムおよびドライバー補助方法を参照して説明される。例示的なドライバー補助システムは、車両ベースのビデオキャプチャデバイス、例えばデジタルカメラに基づいている。ビデオキャプチャデバイスは、例えば、運転レーン認識または交通標識認識のようなタスクのために用いられ得る。さらに、例示的なドライバー補助システムは、車両ベースのコンポーネントと外部コンポーネントとの間での、特にインターネット通信チャネルを介した高速通信を含む。一部の例示的な実施形態にしたがうと、車両ベースのデータ処理リソースと外部データ処理リソースとの間でデータ処理タスクが分散されるアーキテクチャが提供される。以下に記載される例示的な実施形態において、外部データ処理リソースは、マップデータベースに結合される。したがって、外部データ処理リソースはまた、マップデータベースサーバとも称され得る。マップデータベースサーバと通信する車両ベースのデータ処理リソースはまた、車両ベースのクライアントとも称され得る。本明細書中で用いるとき、用語「データ処理リソース」は、例えばプロセッサ等の単一のデータ処理デバイス、および、複数のデータ処理デバイスからなる装置を含むように意図されている。
【００２８】
図１は、本発明の一実施形態にしたがう、ドライバー補助システムを示している。ドライバー補助システムは、マップデータベースサーバ２００において、１つの部分が車両１００内に配置され、他の部分が車両の外部に配置される、分散アーキテクチャに基づく。
【００２９】
車両１００において、ドライバー補助システムは、車両ベースのデータ処理リソース１１０、ナビゲーション受信器１２０（例えば、ＧＰＳ受信器または他のタイプのナビゲーション受信器）、ビデオキャプチャデバイス１３０（例えば、デジタルカメラ）、車両ベースの送信器１４０、車両ベースの受信器１５０、および指示デバイス１６０（すなわち、光学ディスプレイデバイスおよび／または音響出力デバイス）を含む。上記のコンポーネントは、車両１００のナビゲーションシステムの一部分であり得るか、そのようなナビゲーションシステムに関連付けられ得、これは、適切な指示を提供することにより、特定の目的地まで車両のドライバーを案内するように構成されている。
【００３０】
ナビゲーション受信器１２０は、ナビゲーション衛星からデータ信号Ｎを受信する。ナビゲーション信号Ｎに基づいて、車両１００の位置データを獲得するために、車両１００の現在の位置が決定され得る。
【００３１】
マップデータベースサーバ２００は、外部データ処理リソース２１０とマップデータベース２２０とを含む。さらに、マップデータベースサーバ２００は、送信器２４０と受信器２５０とを含む。送信器１４０、２４０および受信器１５０，２５０を用いることにより、車両ベースのデータ処理リソース１１０と、外部データ処理リソース２１０とは、双方向様式でデジタルデータを交換することが可能になるように、互いに結合される。特に、第１のデータ信号Ｄ１は、車両からマップデータベースサーバ２００に送信され、第２のデータ信号Ｄ２は、マップデータベースサーバ２００から車両１００に送信される。
【００３２】
ビデオキャプチャデバイス１３０は、特に車両１００の前方の景観（ｓｃｅｎｅｒｙ）において、車両環境を検出するために、車両１００内に配置される。検出された景観は、車両１００のドライバーによって観察される景観に実質的に対応する。車両キャプチャデバイス１３０は、データ処理リソース１１０にビデオ信号を出力する。ビデオ信号は、データ処理リソース１１０によって処理され得、指示デバイス１６０または他の車両ベースのディスプレイデバイスによって表示され得る。
【００３３】
マップデータベースサーバ２００のマップデータベース２２０の中に、基準特徴が位置属性として格納される。すなわち、基準特徴は、特定の位置と関連付けられる。さらに、基準特徴は、交通標識、関心点などの特定のオブジェクトと関連付けられる。データ処理リソース２１０は、位置選択可能様式で基準特徴を取り出すために、マップデータベース２２０にアクセスする。さらに、データ処理リソース２１０はまた、基準特徴を格納するために、マップデータベース２２０にアクセスし得る。
【００３４】
ドライバー補助システム全体は、ビデオキャプチャデバイス１３０によって提供されたビデオ信号に基づいて、車両環境内のオブジェクトを識別するように動作する。この目的のために、特色のあるイメージ特徴がビデオ信号から抽出され、基準イメージ特徴と比較され、そしてイメージ特徴は、車両１００の位置に基づいてマップデータベース２２０から選択されている。これに関し、抽出された特徴および基準特徴は、局所のイメージ領域と、例えば記述子によって表現されるそれらの直接の周囲状況とに対応する。例えば、特徴は、ビルの角のような特色のあるイメージポイントであり得、例えばビルの縁などの強いテクスチャ加工イメージ領域であり得る。一例において、特徴は、ＳＩＦＴ表現によって表現され得る。別の例において、特徴は、ＳＵＲＦ表現によって表現され得る。
【００３５】
ドライバー補助システムの第１の動作シナリオにおいて、ビデオキャプチャデバイス１３０によってキャプチャされるときに、ビデオ信号から特徴を抽出する処理は、データ処理リソース１１０によって遂行され、抽出された特徴の選択された基準特徴に対する比較は、データ処理リソース２１０によって遂行される。この動作シナリオにおいて、車両１００からマップデータベースサーバ２００に送信される第１のデータ信号Ｄ１は、車両１００の位置データを含み、基準特徴から抽出される。マップデータベースサーバ２００から車両１００に送信される第２のデータ信号Ｄ２は、データ処理リソース２１０によって遂行される比較に基づいて送信され、例えば識別されたオブジェクトの座標、次元および／または識別子などの識別されたオブジェクトの特性を表現するオブジェクトデータを含む。追加的または代替的に、第２のデータ信号Ｄ２はまた、例えば車両１００における有意なさらなる処理なしに、車両１００のドライバーに出力される、ビデオデータおよび／またはオーディオデータなどの予め処理された指示データを含み得る。後者の場合、車両データ処理リソース１１０上の負荷は、さらに低減され得る。オブジェクトの識別子は、例えばビルの名前などのオブジェクトの名称、例えば交通標識またはビルなどのオブジェクトタイプの名称であり得る。さらに、オブジェクトデータはまた、例えば交通標識に書かれたテキストなどの他のタイプの有用な情報を含み得る。
【００３６】
ドライバー補助システムの第２の動作シナリオにおいて、ビデオキャプチャデバイス１３０によって提供されたビデオ信号から特徴を抽出する処理は、外部データ処理リソース２１０によって遂行されることにより、車両ベースのデータ処理リソース１１０上の負荷をさらに低減し得る。この場合、車両ベースのデータ処理リソース１１０は、例えば圧縮アルゴリズムを適用することにより、および／または、ビデオ信号の特定のイメージフレームのみを選択することにより、ビデオ信号を外部データ処理デバイス２１０に送信されるのに適したフォーマットに変換する。一部の場合では、フルビデオ信号をデータ処理リソース２１０に送信することもまた可能であり得る。したがって、この動作シナリオでは、第１のデータ信号Ｄ１は、ビデオキャプチャデバイス１３０によってキャプチャされたビデオ信号から導出されるビデオ信号を含む。あるいは、ドライバー補助システムは、第１の動作シナリオに対して説明したように動作し得る。
【００３７】
第３の動作シナリオにしたがうと、ビデオキャプチャデバイス１３０によって提供されるビデオ信号から特徴を抽出する処理と、選択された基準特徴に対して抽出された特徴を比較する処理との両方は、車両ベースのデータ処理リソース１１０によって遂行される。この動作シナリオにおいて、第１のデータ信号Ｄ１は、車両１００の位置データを含み、第２のデータ信号Ｄ２は、マップデータベース２２０からの基準特徴を含み、これらは、受信された位置データに基づいて、外部データ処理リソース２１０によって選択されている。選択された基準特徴に関するオブジェクトデータは、基準特徴と一緒に第２のデータ信号Ｄ２において送信され得る。あるいは、一旦オブジェクトが車両ベースのデータ処理リソース１１０によって識別されると、オブジェクトデータは、第２のデータ信号Ｄ２を介して取り出され得る。あるいは、ドライバー補助システムは、第１の動作シナリオに対して説明したように動作し得る。
【００３８】
ドライバー補助システムの異なる部分における、特定のデータ処理タスク（例えば、特徴を抽出すること、特徴を基準特徴と比較することなど）の分散に関する上述の動作シナリオは、単一のドライバー補助システムの異なる動作モードとして選択的に実施され得る。そのような場合、異なる動作モードの間の選択は、車両ベースのデータ処理リソース１１０の負荷に基づくものであったり、外部データ処理リソース２１０の負荷に基づくものであったり、および／または、第１および第２のデータ信号Ｄ１およびＤ２を送信するために利用可能な帯域幅に基づくものであったりし得る。例えば、第１および第２のデータ信号Ｄ１およびＤ２を送信するために低帯域幅のみが利用可能な場合、ビデオ信号から特徴を抽出することは、車両ベースのデータ処理リソース１１０によって遂行され得る。第１および第２のデータ信号Ｄ１およびＤ２を送信するために高帯域幅のみが利用可能な場合、ビデオ信号から特徴を抽出する処理は、外部データ処理リソース２１０によって遂行され得る。あるいは、ドライバー補助システムはまた、上述の動作シナリオのうちの１つのみにしたがって動作するように構成され得る。
【００３９】
図２は、複数の車両１００によって実装されるときのドライバー補助システムを概略的に示している。実線によって示されているように、マップデータベースサーバ２００は、複数の車両１００と通信する。車両１００の各々は、ナビゲーション衛星３００からナビゲーション信号（破線によって示されている）を受信する。したがって、マップデータベースサーバ２００は、複数の車両１００によって効率的に用いられ得る。さらに、オブジェクト識別処理の精度は、異なる車両１００から受信されたデータ信号を相関させることによって向上され得る。例えば、他の車両１００から受信されたデータ信号は、特徴の変動を追跡するために用いられ得る。
【００４０】
図３は、上述の原理にしたがう、ドライバー補助方法の方法ステップを示すフローチャートである。図３の方法ステップは、マップデータベース２２０内に基準特徴を格納する処理を示すことが意図されている。図３の処理はまた、学習処理とも称され得る。
【００４１】
ステップ４１０において、車両環境のビデオイメージが生成される。これは、図１および図２のドライバー補助システムが装備される任意の車両によって遂行され得る。あるいは、専用の車両がビデオ信号を獲得するために用いられ得る。
【００４２】
ステップ４２０において、ビデオイメージから特徴が抽出される。これは、車両ベースのデータ処理リソースによって遂行され得る。あるいは、高いデータ処理能力が要求される場合には、外部データ処理リソースが、同様に用いられ得る。
【００４３】
ステップ４３０において、抽出された特徴は、位置属性としてマップデータベース２２０に格納される。この目的のために、抽出された特徴は、例えば関心点、特定のビルまたは特定の交通標識などの特定のオブジェクトまたは意味的単位（ｓｅｍａｎｔｉｃ ｕｎｉｔ）と関連付けられる。さらに特徴は、位置データ（すなわち、抽出された特徴を有するビデオイメージが検出される位置に対応する位置データ）と関連付けられる。例えば、特徴は、ＧＰＳ位置と関連付けられ得る。そして、基準特徴は、位置データに基づいて、マップデータベース２２０から選択的に抽出され得る。さらに、基準特徴に関するオブジェクトデータは、マップデータベース２２０から抽出され得る。
【００４４】
上述の処理において、基準特徴は、マップデータベースに格納される前に、調整処理および／または圧縮処理の対象となり得る。たとえば、ノイズまたはイメージの欠陥に由来する特定のアーキテクチャが除去され得る。さらに、ビデオイメージに基づいて基準特徴を生成することの代わりにまたはそれに加えて、基準特徴は、車両環境の３次元モデルから導出され得る。
【００４５】
図４は、ドライバー補助方法の方法ステップを示すフローチャートを示しており、これは、上述の原理にしたがうドライバー補助システムの通常動作に対応している。
【００４６】
ステップ５１０において、車両環境のビデオイメージが生成される。
【００４７】
ステップ５２０において、ビデオイメージから特徴が抽出される。これは、車両ベースの処理リソースによって、または、外部データ処理リソースによって、遂行され得る。
【００４８】
ステップ５３０において、車両１００の位置データに基づいて、マップデータベース２２０から基準特徴が取り出される。
【００４９】
ステップ５４０において、抽出された特徴は、マップデータベース２２０からの基準特徴と比較される。これは、車両ベースの処理リソースによって、または、外部データ処理リソースによって遂行され得る。
【００５０】
ステップ５５０において、抽出された特徴と基準特徴との間の比較に基づいて、車両環境内のオブジェクトが識別される。
【００５１】
そして識別されたオブジェクトは、車両１００のドライバーに指示を提供するための基礎として用いられ得る。指示を提供するためのビデオデータおよび／またはオーディオデータは、車両ベースの処理リソースによって、または、外部データ処理リソースによって計算され得る。
【００５２】
上述されたオブジェクト識別処理が、車両のドライバーに指示を提供することだけに用いられるわけではなく、車両のナビゲーションシステムの位置決定精度を向上させるためにも用いられ得ることが理解されるべきである。特に、車両の実際の位置からの位置データの逸脱は、識別されたオブジェクトとビデオ信号内の対応する構造とを照合することにより識別され得る。
【００５３】
要約すると、上述された本発明の実施形態は、ビデオベースのドライバー補助システム内にオブジェクト識別処理を実装するために、車両ベースのデータ処理リソースと外部データ処理リソースとを効率的に用いることを可能にする。例えば、ビデオ信号からフレームを抽出する処理は、車両ベースのデータ処理リソースによって遂行され得るが、抽出された特徴を基準特徴と比較する処理は、外部データ処理リソースによって遂行され得る。あるいは、ビデオ信号から特徴を抽出する処理もまた、外部データ処理リソースによって遂行され得、それにより、車両ベースのデータ処理リソースをさらに節約し得る。
【符号の説明】
【００５４】
１００ 車両
１１０ 車両ベースのデータ処理リソース
１２０ ナビゲーション受信器
１３０ 車両ベースのビデオキャプチャデバイス
１４０ 車両ベースの送信器
１５０ 車両ベースの受信器
１６０ 指示デバイス
２００ マップデータベースサーバ
２１０ 外部データ処理リソース
２２０ マップデータベース
２４０ 送信器
２５０ 受信器
Ｄ１ 第１のデータ信号
Ｄ２ 第２のデータ信号
【技術分野】
【０００１】
本発明は、車両のドライバーを補助するための方法およびデバイスに関する。
【背景技術】
【０００２】
現在のドライバー補助システムでは、車両環境内のオブジェクトを識別するために、車両環境内のビデオ信号のイメージ処理を用いることが公知である。車両をナビゲートまたは運転する際にドライバーを補助するために、識別されたオブジェクトに基づいて、車両のドライバーに指示が提供され得る。
【０００３】
しかしながら、ビデオ信号のイメージ処理は、著しい処理リソースを必要とし、そしてそれに対応するように設計されたドライバー補助システムは、パワフルな処理装備を必要とする。他方で、パワフルな処理リソースを用いたとしても、オブジェクト識別処理は、依然として不十分な精度を被り得る。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
したがって、優れたオブジェクト認識を可能にし、処理リソースの効率的な使用を可能にするドライバー補助技術が必要とされている。
【課題を解決するための手段】
【０００５】
（概要）
上記の必要性は、独立請求項の特徴によって満たされる。従属請求項は、本発明の特定の実施形態を規定する。
【０００６】
第１の局面に従うと、ドライバー補助方法が提供される。方法は、車両の外部の車両環境を表現するビデオ信号を生成することを含む。例えば、ビデオ信号は、車両ベースのデジタルカメラによって生成され得、該デジタルカメラは、ドライバーの視野に類似した車両前方の視野を検出し得る。ビデオ信号から、少なくとも１つの特徴が抽出される。抽出された特徴は、少なくとも１つの基準特徴と比較され、該基準特徴は、複数の予め計算された基準特徴から選択され、該複数の予め計算された基準特徴は、マップデータベース内に位置属性として格納されている。車両環境内のオブジェクトは、抽出された特徴と基準特徴との比較に基づいて識別される。識別されたオブジェクトに基づいて、車両のドライバーに指示が提供される。例えば、指示は、ドライバーに表示されるビデオ信号および／またはスピーチ信号などのサウンド信号を含み得る。指示は、車両のドライバーに対し、車両環境内の関心点（ｐｏｉｎｔ ｏｆ ｉｎｔｅｒｅｓｔ）または交通標識（ｔｒａｆｆｉｃ ｓｉｇｎ）を通知し得る。さらに、指示は、ビデオ信号内での特定の構造（例えば、道路の縁など）のハイライトを含み得、ドライバーに表示され得る。
【０００７】
このようにして、ドライバー補助方法は、車両環境内のオブジェクトを効率的に識別することを可能にする。オブジェクト識別処理は、予め計算された基準特徴に基づき、該基準特徴は、マップデータベース内に位置属性として格納され、高い精度のオブジェクト検出が達成され得る。さらに、オブジェクト識別処理を実装する車両ベースのデータ処理リソースが低減される。
【０００８】
一実施形態にしたがうと、マップデータベースは、車両の外部にある。この場合、方法は、車両から外部データ処理リソースに第１のデータ信号を送信することをさらに含み得、該第１のデータ信号は、車両の位置データを少なくとも含む。そして、受信された位置データに応答して生成されたオブジェクト識別データを含む第２のデータ信号が、外部データ処理リソースから車両に送信される。このようにして、オブジェクト識別処理の一部分は、車両の外部で実装され得、これにより、車両内のデータ処理リソースを節約し得る。
【０００９】
例えば、抽出された特徴と基準特徴との間の比較が、外部データ処理リソースにより、車両の外部で実装され得る。この場合、外部データ処理リソースから車両に送信されるオブジェクト識別データは、識別されたオブジェクトの特性を表現するオブジェクトデータを含み得る。オブジェクトデータは、ドライバーに対して指示を提供するために、車両内で容易に用いられ得る。
【００１０】
あるいは、抽出された特徴と基準特徴との間の比較は、車両ベースのデータ処理リソースにより、車両内で実装され得る。この場合、外部データ処理リソースから車両に送信されるオブジェクト識別データは、比較を遂行するために車両ベースのデータ処理リソースによって必要とされる基準特徴を含み得る。
【００１１】
さらなる実施形態にしたがうと、ビデオ信号から特徴を抽出する処理は、車両ベースのデータ処理リソースによって実装される。この場合、第１のデータ信号は、抽出された特徴を表現する特徴データを含み得る。この場合、車両と外部データ処理リソースとの間の通信チャネルが、効率的に用いられ得る。あるいは、ビデオ信号から特徴を抽出する処理は、外部データ処理リソースによって達成され得る。この場合、第１のデータ信号は、ビデオ信号から導出されたビデオデータ（例えば、フルビデオ信号）、ビデオ信号の圧縮バージョンおよび／またはビデオ信号の選択されたフレームを含み得る。後者の代替案は、車両内で必要とされる処理リソースのさらなる低減を可能にする。
【００１２】
一実施形態にしたがうと、外部データ処理リソースから車両に送信される第２のデータ信号は、ドライバーに指示されるビデオデータおよび／またはオーディオデータを含み得る。したがって、車両ベースの処理リソースは、車両外部のビデオデータおよび／またはオーディオデータを計算することにより、節約され得る。
【００１３】
一実施形態にしたがうと、外部データ処理リソースから車両に送信されるオブジェクトデータは、指示されるオブジェクトの座標、次元および／または識別子を含み得る。この情報に基づいて、適切な指示が車両内で計算され得る。この場合、個々のドライバーおよび／または車両の要求に対して該指示を調整することが行われ得る。
【００１４】
一実施形態にしたがうと、外部データ処理リソースは、複数の車両と通信する。これは、外部データ処理リソースと外部マップデータベースとの効率的な使用を可能にする。さらに、これは、異なる車両からのビデオ信号から抽出された特徴を相関させることを可能にし、これにより、識別処理の精度をさらに向上させ得る。例えば、特定の特徴の変化は、異なる車両のビデオ信号から抽出された特徴を相関させることによって追跡され得る。
【００１５】
一実施形態にしたがうと、外部データ処理リソースは、インターネットベースの通信チャネルを介して車両と通信する。このようにして、車両の既存の通信リソースは、外部データ処理リソースおよび外部マップデータベースとの通信のために再利用され得る。
【００１６】
一実施形態にしたがうと、外部特徴と基準特徴とは、変換不変な特徴の表現に対応する。例えば、特徴は、ＳＩＦＴ表現（ＳＩＦＴ：Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｃｋｅｒ）にしたがって、またはＳＵＲＦ表現（ＳＵＲＦ：Ｓｐｅｅｄ Ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅｓ）にしたがって表現され得る。このようにして、ビデオ信号を生成するために用いられる個々の視点に関わらずに、抽出された特徴と基準特徴との間の信頼性のあるマッチングが実行され得る。さらに、変換不変な特徴表現の使用は、将来の識別処理に用いられるように、基準特徴をマップデータベースに効率的に格納することを可能にする。
【００１７】
第２の局面にしたがうと、車両に搭載されるドライバー補助デバイスが提供される。ドライバー補助デバイスは、車両ベースのビデオキャプチャデバイス（例えば、デジタルカメラ）を含み、車両の外部の車両環境（例えば、車両の前方の視野）を表現するビデオ信号を生成する様に構成され得る。ドライバー補助デバイスは、例えば、交通標識、道路の縁、関心点などの、車両環境内の識別されたオブジェクトに基づいてドライバーに指示を提供するように構成された指示デバイスをさらに含み得る。オブジェクトは、ビデオ信号から抽出された少なくとも１つの特徴と、複数の予め計算された基準特徴から選択された少なくとも１つの基準特徴との間の比較に基づいて識別され、該複数の予め計算された基準特徴は、マップデータベース内に位置属性として格納されている。オブジェクト識別処理は、車両ベースのドライバー補助デバイス内で実装され得る。あるいは、オブジェクト識別処理の少なくとも一部分は、車両の外部で（すなわち、外部データ処理リソースおよび／または外部マップデータベースを用いることにより）実装され得る。後者の場合、ドライバー補助デバイスは、第１のデータ信号を外部データ処理リソースに送信する車両ベースの送信器と、外部データ処理リソースから第２のデータ信号を受信する車両ベースの受信器とを含み得る。第１のデータ信号は、車両の位置データを少なくとも含み得、第２のデータ信号は、オブジェクト識別データを含み得る。
【００１８】
車両ベースのドライバー補助デバイスは、上述の第１の局面にしたがう方法を実装するように構成され得る。
【００１９】
第３の局面にしたがうと、ドライバー補助システムが提供される。ドライバー補助システムは、複数の予め計算された基準特徴を位置属性として格納するように構成されたマップデータベースと、ビデオ信号から抽出された特徴を少なくとも１つの基準特徴と比較するように構成された第１のデータ処理リソースとを含み、ビデオ信号は、車両外部の車両環境を表現し、基準イメージ特徴は、複数の予め計算された基準イメージ特徴から選択される。比較に基づいて、第１のデータ処理リソースは、車両環境内のオブジェクトを識別する。そして、識別されたオブジェクトは、車両のドライバーに対する指示を提供するための基礎として用いられ得る。
【００２０】
ドライバー補助システムは、非車両ベースのコンポーネントすなわち外部のコンポーネントを含み得、外部コンポーネントであり得る第１のデータ処理リソースを車両内の第２データ処理リソースに結合するために、第１の送信器および第１の受信器を含む。この場合、第１の受信器は、第２のデータ処理リソースから第１のデータ信号を受信するように構成され得、第１のデータ信号は、車両の位置データを少なくとも含む。第１の送信器は、第２のデータ信号を第２のデータ処理リソースに送信し、第２のデータ信号が生成されるように構成され得る。
【００２１】
一実施形態にしたがうと、ドライバー補助システムは、車両ベースのコンポーネントをさらに含み得、例えば、ビデオ信号を生成するように構成された車両ベースのキャプチャデバイス、第１のデータ処理リソースに第１のデータ信号を送信するように構成された車両ベースの第２の送信器、第１のデータ処理リソースから第２のデータ信号を受信するように構成された車両ベースの第２の受信器、および識別されたオブジェクトに基づいて、車両のドライバーに指示を提供するように構成された車両ベースの指示デバイスを含み得る。
【００２２】
ドライバー補助システムは、上述の第１の局面にしたがう方法を実装するように構成され得る。
【００２３】
本発明は、さらに以下の手段を提供する。
（項目１）
車両（１００）の外部の車両環境を表現するビデオ信号を生成することと、
該ビデオ信号から少なくとも１つの特徴を抽出することと、
該抽出された特徴を少なくとも１つの基準特徴と比較することであって、該基準特徴は、複数の予め計算された基準特徴から選択され、該複数の予め計算された基準特徴は、マップデータベース（２２０）内に位置属性として格納されている、ことと、
該抽出された特徴と該基準特徴との比較に基づいて、該車両環境内のオブジェクトを識別することと、
該識別されたオブジェクトに基づいて、該車両（１００）のドライバーに指示を提供することと
を含む、ドライバー補助方法。
（項目２）
上記マップデータベース（２２０）は、上記車両（１００）に対して外部にあり、
上記方法は、
上記車両（１００）から外部データ処理リソース（２１０）に第１のデータ信号（Ｄ１）を送信することであって、該第１のデータ信号（Ｄ１）は、該車両（１００）の位置データを少なくとも含む、ことと、
該外部データ処理リソース（２１０）から該車両（１００）に第２のデータ信号（Ｄ２）を送信することであって、該第２のデータ信号（Ｄ２）は、該受信された位置データに応答して生成されたオブジェクト識別データを含む、ことと
をさらに含む、上記項目に記載のドライバー補助方法。
（項目３）
上記抽出された特徴と上記基準特徴との間の上記比較と、上記オブジェクトの上記識別とは、車両ベースのデータ処理リソース（１１０）によって達成され、
上記オブジェクト識別データは、該基準特徴を含む、上記項目のいずれか一項に記載のドライバー補助方法。
（項目４）
上記抽出された特徴と上記基準特徴との間の上記比較と、上記オブジェクトの上記識別とは、上記外部データ処理リソース（２１０）によって達成され、
上記オブジェクト識別データは、上記識別されたオブジェクトの特性を表現するオブジェクトデータを含む、上記項目のいずれか一項に記載のドライバー補助方法、
（項目５）
上記特徴の上記抽出は、車両ベースのデータ処理リソース（１１０）によって達成され、
上記第１のデータ信号（Ｄ１）は、上記抽出された特徴を表現する特徴データを含む、上記項目のいずれか一項に記載の方法。
（項目６）
上記特徴の上記抽出は、上記外部データ処理リソース（２１０）によって達成され、
上記第１のデータ信号（Ｄ１）は、上記ビデオ信号から導出されたビデオ信号を含む、上記項目のいずれか一項に記載の方法。
（項目７）
上記第２のデータ信号（Ｄ２）は、上記ドライバーに指示されるビデオデータおよび／またはオーディオデータを含む、上記項目のいずれか一項に記載の方法。
（項目８）
上記オブジェクトデータは、上記識別されるオブジェクトの座標、次元および／または識別子を含む、上記項目のいずれか一項に記載の方法。
（項目９）
上記外部データ処理リソース（２１０）は、複数の車両（１００）と通信する、上記項目のいずれか一項に記載の方法。
（項目１０）
上記外部データ処理リソース（２１０）は、異なる車両（１００）のビデオ信号から抽出された特徴を相関させる、上記項目のいずれか一項に記載の方法。
（項目１１）
上記外部データ処理リソース（２１０）は、インターネットベースの通信チャネルを介して上記車両と通信する、上記項目のいずれか一項に記載の方法。
（項目１２）
上記抽出された特徴と上記基準特徴とは、変換不変な特徴の表現に対応する、上記項目のいずれか一項に記載の方法。
（項目１３）
車両（１００）内に搭載されたドライバー補助デバイスであって、
車両（１００）の外部の車両環境を表現するビデオ信号を生成するように構成された車両ベースのビデオキャプチャデバイス（１３０）と、
該車両環境内の識別されたオブジェクトに基づいて、該車両（１００）のドライバーに指示を提供するように構成された指示デバイス（１６０）と
を含み、
該オブジェクトは、該ビデオ信号から抽出された少なくとも１つの特徴と少なくとも１つの基準特徴との間の比較に基づいて識別され、該基準特徴は、複数の予め計算された基準特徴から選択され、該複数の予め計算された基準特徴は、マップデータベース（２２０）内に位置属性として格納されている、ドライバー補助デバイス。
（項目１４）
外部データ処理リソース（２１０）に第１のデータ信号（Ｄ１）を送信する車両ベースの送信器（１４０）であって、該第１のデータ信号（Ｄ１）は、上記車両（１００）の位置データを少なくとも含む、送信器（１４０）と、
該外部データ処理リソース（２１０）から第２のデータ信号（Ｄ２）を受信する車両ベースの受信器（１５０）であって、該第２のデータ信号（Ｄ２）は、オブジェクト識別データを含む、受信器（１５０）と
を含む、上記項目に記載のドライバー補助デバイス。
（項目１５）
上記ドライバー補助デバイスは、項目１〜１２のいずれか一項に記載の方法を実装するように構成されている、上記項目のいずれか一項に記載のドライバー補助デバイス。
（項目１６）
複数の予め計算された基準イメージ特徴を位置属性として格納するように構成されたマップデータベース（２２０）と、
ビデオ信号から抽出された特徴を少なくとも１つの基準特徴と比較し、該比較に基づいて該車両環境内のオブジェクトを識別するように構成された第１のデータ処理リソース（２１０）であって、該ビデオ信号は、車両（１００）の外部の車両環境を表現し、該基準特徴は、該複数の予め計算されたイメージ特徴から選択される、第１のデータ処理リソース（２１０）と
を含む、ドライバー補助システム。
（項目１７）
第１のデータ処理リソース（２１０）を上記車両（１００）内の第２のデータ処理リソース（１１０）に結合する第１の送信器（２４０）および第１の受信器（２５０）
を含み、
該第１の受信器（２５０）は、該第２のデータ処理リソース（１１０）から第１のデータ信号（Ｄ１）を受信するように構成されており、該第１のデータ信号は、該車両（１００）の位置データを少なくとも含み、
該第１の送信器（２４０）は、該第２のデータ処理リソース（１１０）に第２のデータ信号（Ｄ２）を送信するように構成されており、該第２のデータ信号（Ｄ２）は、該第１のデータ処理リソース（２１０）によって識別されたオブジェクトに基づいて生成される、上記項目に記載のドライバー補助システム。
（項目１８）
上記ビデオ信号を生成するように構成された車両ベースのビデオキャプチャデバイス（１３０）と、
上記第１のデータ信号（Ｄ１）を上記第１のデータ処理リソース（２１０）に送信するように構成された車両ベースの第２の送信器（１４０）と、
該第１のデータ処理リソース（２１０）から上記第２のデータ信号（Ｄ２）を受信するように構成された車両ベースの第２の受信器（１５０）と、
該識別されたオブジェクトに基づいて、上記車両（１００）のドライバーに指示を提供するように構成された車両ベースの指示デバイス（１６０）と
を含む、上記項目のいずれか一項に記載のドライバー補助システム。
（項目１９）
上記ドライバー補助システムは、上記項目のいずれか一項のいずれか一項に記載の方法を実装するように構成されている、上記項目のいずれか一項のいずれか一項に記載のドライバー補助システム。
【００２４】
（摘要）
ドライバー補助方法が提供され、該方法は、車両（１００）の外部の車両環境を表現するビデオ信号を生成することと、ビデオ信号から少なくとも１つの特徴を抽出することと、抽出された特徴を少なくとも１つの基準特徴と比較することであって、基準特徴は、複数の予め計算された基準特徴から選択され、複数の予め計算された基準特徴は、マップデータベース（２２０）内に位置属性として格納されている、ことと、抽出された特徴と基準特徴との比較に基づいて、車両環境内のオブジェクトを識別することと、識別された特徴オブジェクトに基づいて、車両（１００）のドライバーに対する指示を提供することと、を含む。
【図面の簡単な説明】
【００２５】
【図１】図１は、本発明の一実施形態にしたがう、ドライバー補助システムを概略的に示している。
【図２】図２は、複数の車両に実装されたときのドライバー補助システムを概略的に示している。
【図３】図３は、本発明の一実施形態にしたがう、ドライバー補助方法における方法ステップを示すフローチャートを示している。
【図４】図４は、本発明の一実施形態にしたがう、ドライバー補助方法におけるさらなる方法ステップを示すフローチャートを示している。
【発明を実施するための形態】
【００２６】
以下では、添付図面を参照しながら、本発明の実施形態がより詳細に記載される。
【００２７】
（好適な実施形態の詳細な説明）
以下では、本発明の実施形態が、例示的なドライバー補助システムおよびドライバー補助方法を参照して説明される。例示的なドライバー補助システムは、車両ベースのビデオキャプチャデバイス、例えばデジタルカメラに基づいている。ビデオキャプチャデバイスは、例えば、運転レーン認識または交通標識認識のようなタスクのために用いられ得る。さらに、例示的なドライバー補助システムは、車両ベースのコンポーネントと外部コンポーネントとの間での、特にインターネット通信チャネルを介した高速通信を含む。一部の例示的な実施形態にしたがうと、車両ベースのデータ処理リソースと外部データ処理リソースとの間でデータ処理タスクが分散されるアーキテクチャが提供される。以下に記載される例示的な実施形態において、外部データ処理リソースは、マップデータベースに結合される。したがって、外部データ処理リソースはまた、マップデータベースサーバとも称され得る。マップデータベースサーバと通信する車両ベースのデータ処理リソースはまた、車両ベースのクライアントとも称され得る。本明細書中で用いるとき、用語「データ処理リソース」は、例えばプロセッサ等の単一のデータ処理デバイス、および、複数のデータ処理デバイスからなる装置を含むように意図されている。
【００２８】
図１は、本発明の一実施形態にしたがう、ドライバー補助システムを示している。ドライバー補助システムは、マップデータベースサーバ２００において、１つの部分が車両１００内に配置され、他の部分が車両の外部に配置される、分散アーキテクチャに基づく。
【００２９】
車両１００において、ドライバー補助システムは、車両ベースのデータ処理リソース１１０、ナビゲーション受信器１２０（例えば、ＧＰＳ受信器または他のタイプのナビゲーション受信器）、ビデオキャプチャデバイス１３０（例えば、デジタルカメラ）、車両ベースの送信器１４０、車両ベースの受信器１５０、および指示デバイス１６０（すなわち、光学ディスプレイデバイスおよび／または音響出力デバイス）を含む。上記のコンポーネントは、車両１００のナビゲーションシステムの一部分であり得るか、そのようなナビゲーションシステムに関連付けられ得、これは、適切な指示を提供することにより、特定の目的地まで車両のドライバーを案内するように構成されている。
【００３０】
ナビゲーション受信器１２０は、ナビゲーション衛星からデータ信号Ｎを受信する。ナビゲーション信号Ｎに基づいて、車両１００の位置データを獲得するために、車両１００の現在の位置が決定され得る。
【００３１】
マップデータベースサーバ２００は、外部データ処理リソース２１０とマップデータベース２２０とを含む。さらに、マップデータベースサーバ２００は、送信器２４０と受信器２５０とを含む。送信器１４０、２４０および受信器１５０，２５０を用いることにより、車両ベースのデータ処理リソース１１０と、外部データ処理リソース２１０とは、双方向様式でデジタルデータを交換することが可能になるように、互いに結合される。特に、第１のデータ信号Ｄ１は、車両からマップデータベースサーバ２００に送信され、第２のデータ信号Ｄ２は、マップデータベースサーバ２００から車両１００に送信される。
【００３２】
ビデオキャプチャデバイス１３０は、特に車両１００の前方の景観（ｓｃｅｎｅｒｙ）において、車両環境を検出するために、車両１００内に配置される。検出された景観は、車両１００のドライバーによって観察される景観に実質的に対応する。車両キャプチャデバイス１３０は、データ処理リソース１１０にビデオ信号を出力する。ビデオ信号は、データ処理リソース１１０によって処理され得、指示デバイス１６０または他の車両ベースのディスプレイデバイスによって表示され得る。
【００３３】
マップデータベースサーバ２００のマップデータベース２２０の中に、基準特徴が位置属性として格納される。すなわち、基準特徴は、特定の位置と関連付けられる。さらに、基準特徴は、交通標識、関心点などの特定のオブジェクトと関連付けられる。データ処理リソース２１０は、位置選択可能様式で基準特徴を取り出すために、マップデータベース２２０にアクセスする。さらに、データ処理リソース２１０はまた、基準特徴を格納するために、マップデータベース２２０にアクセスし得る。
【００３４】
ドライバー補助システム全体は、ビデオキャプチャデバイス１３０によって提供されたビデオ信号に基づいて、車両環境内のオブジェクトを識別するように動作する。この目的のために、特色のあるイメージ特徴がビデオ信号から抽出され、基準イメージ特徴と比較され、そしてイメージ特徴は、車両１００の位置に基づいてマップデータベース２２０から選択されている。これに関し、抽出された特徴および基準特徴は、局所のイメージ領域と、例えば記述子によって表現されるそれらの直接の周囲状況とに対応する。例えば、特徴は、ビルの角のような特色のあるイメージポイントであり得、例えばビルの縁などの強いテクスチャ加工イメージ領域であり得る。一例において、特徴は、ＳＩＦＴ表現によって表現され得る。別の例において、特徴は、ＳＵＲＦ表現によって表現され得る。
【００３５】
ドライバー補助システムの第１の動作シナリオにおいて、ビデオキャプチャデバイス１３０によってキャプチャされるときに、ビデオ信号から特徴を抽出する処理は、データ処理リソース１１０によって遂行され、抽出された特徴の選択された基準特徴に対する比較は、データ処理リソース２１０によって遂行される。この動作シナリオにおいて、車両１００からマップデータベースサーバ２００に送信される第１のデータ信号Ｄ１は、車両１００の位置データを含み、基準特徴から抽出される。マップデータベースサーバ２００から車両１００に送信される第２のデータ信号Ｄ２は、データ処理リソース２１０によって遂行される比較に基づいて送信され、例えば識別されたオブジェクトの座標、次元および／または識別子などの識別されたオブジェクトの特性を表現するオブジェクトデータを含む。追加的または代替的に、第２のデータ信号Ｄ２はまた、例えば車両１００における有意なさらなる処理なしに、車両１００のドライバーに出力される、ビデオデータおよび／またはオーディオデータなどの予め処理された指示データを含み得る。後者の場合、車両データ処理リソース１１０上の負荷は、さらに低減され得る。オブジェクトの識別子は、例えばビルの名前などのオブジェクトの名称、例えば交通標識またはビルなどのオブジェクトタイプの名称であり得る。さらに、オブジェクトデータはまた、例えば交通標識に書かれたテキストなどの他のタイプの有用な情報を含み得る。
【００３６】
ドライバー補助システムの第２の動作シナリオにおいて、ビデオキャプチャデバイス１３０によって提供されたビデオ信号から特徴を抽出する処理は、外部データ処理リソース２１０によって遂行されることにより、車両ベースのデータ処理リソース１１０上の負荷をさらに低減し得る。この場合、車両ベースのデータ処理リソース１１０は、例えば圧縮アルゴリズムを適用することにより、および／または、ビデオ信号の特定のイメージフレームのみを選択することにより、ビデオ信号を外部データ処理デバイス２１０に送信されるのに適したフォーマットに変換する。一部の場合では、フルビデオ信号をデータ処理リソース２１０に送信することもまた可能であり得る。したがって、この動作シナリオでは、第１のデータ信号Ｄ１は、ビデオキャプチャデバイス１３０によってキャプチャされたビデオ信号から導出されるビデオ信号を含む。あるいは、ドライバー補助システムは、第１の動作シナリオに対して説明したように動作し得る。
【００３７】
第３の動作シナリオにしたがうと、ビデオキャプチャデバイス１３０によって提供されるビデオ信号から特徴を抽出する処理と、選択された基準特徴に対して抽出された特徴を比較する処理との両方は、車両ベースのデータ処理リソース１１０によって遂行される。この動作シナリオにおいて、第１のデータ信号Ｄ１は、車両１００の位置データを含み、第２のデータ信号Ｄ２は、マップデータベース２２０からの基準特徴を含み、これらは、受信された位置データに基づいて、外部データ処理リソース２１０によって選択されている。選択された基準特徴に関するオブジェクトデータは、基準特徴と一緒に第２のデータ信号Ｄ２において送信され得る。あるいは、一旦オブジェクトが車両ベースのデータ処理リソース１１０によって識別されると、オブジェクトデータは、第２のデータ信号Ｄ２を介して取り出され得る。あるいは、ドライバー補助システムは、第１の動作シナリオに対して説明したように動作し得る。
【００３８】
ドライバー補助システムの異なる部分における、特定のデータ処理タスク（例えば、特徴を抽出すること、特徴を基準特徴と比較することなど）の分散に関する上述の動作シナリオは、単一のドライバー補助システムの異なる動作モードとして選択的に実施され得る。そのような場合、異なる動作モードの間の選択は、車両ベースのデータ処理リソース１１０の負荷に基づくものであったり、外部データ処理リソース２１０の負荷に基づくものであったり、および／または、第１および第２のデータ信号Ｄ１およびＤ２を送信するために利用可能な帯域幅に基づくものであったりし得る。例えば、第１および第２のデータ信号Ｄ１およびＤ２を送信するために低帯域幅のみが利用可能な場合、ビデオ信号から特徴を抽出することは、車両ベースのデータ処理リソース１１０によって遂行され得る。第１および第２のデータ信号Ｄ１およびＤ２を送信するために高帯域幅のみが利用可能な場合、ビデオ信号から特徴を抽出する処理は、外部データ処理リソース２１０によって遂行され得る。あるいは、ドライバー補助システムはまた、上述の動作シナリオのうちの１つのみにしたがって動作するように構成され得る。
【００３９】
図２は、複数の車両１００によって実装されるときのドライバー補助システムを概略的に示している。実線によって示されているように、マップデータベースサーバ２００は、複数の車両１００と通信する。車両１００の各々は、ナビゲーション衛星３００からナビゲーション信号（破線によって示されている）を受信する。したがって、マップデータベースサーバ２００は、複数の車両１００によって効率的に用いられ得る。さらに、オブジェクト識別処理の精度は、異なる車両１００から受信されたデータ信号を相関させることによって向上され得る。例えば、他の車両１００から受信されたデータ信号は、特徴の変動を追跡するために用いられ得る。
【００４０】
図３は、上述の原理にしたがう、ドライバー補助方法の方法ステップを示すフローチャートである。図３の方法ステップは、マップデータベース２２０内に基準特徴を格納する処理を示すことが意図されている。図３の処理はまた、学習処理とも称され得る。
【００４１】
ステップ４１０において、車両環境のビデオイメージが生成される。これは、図１および図２のドライバー補助システムが装備される任意の車両によって遂行され得る。あるいは、専用の車両がビデオ信号を獲得するために用いられ得る。
【００４２】
ステップ４２０において、ビデオイメージから特徴が抽出される。これは、車両ベースのデータ処理リソースによって遂行され得る。あるいは、高いデータ処理能力が要求される場合には、外部データ処理リソースが、同様に用いられ得る。
【００４３】
ステップ４３０において、抽出された特徴は、位置属性としてマップデータベース２２０に格納される。この目的のために、抽出された特徴は、例えば関心点、特定のビルまたは特定の交通標識などの特定のオブジェクトまたは意味的単位（ｓｅｍａｎｔｉｃ ｕｎｉｔ）と関連付けられる。さらに特徴は、位置データ（すなわち、抽出された特徴を有するビデオイメージが検出される位置に対応する位置データ）と関連付けられる。例えば、特徴は、ＧＰＳ位置と関連付けられ得る。そして、基準特徴は、位置データに基づいて、マップデータベース２２０から選択的に抽出され得る。さらに、基準特徴に関するオブジェクトデータは、マップデータベース２２０から抽出され得る。
【００４４】
上述の処理において、基準特徴は、マップデータベースに格納される前に、調整処理および／または圧縮処理の対象となり得る。たとえば、ノイズまたはイメージの欠陥に由来する特定のアーキテクチャが除去され得る。さらに、ビデオイメージに基づいて基準特徴を生成することの代わりにまたはそれに加えて、基準特徴は、車両環境の３次元モデルから導出され得る。
【００４５】
図４は、ドライバー補助方法の方法ステップを示すフローチャートを示しており、これは、上述の原理にしたがうドライバー補助システムの通常動作に対応している。
【００４６】
ステップ５１０において、車両環境のビデオイメージが生成される。
【００４７】
ステップ５２０において、ビデオイメージから特徴が抽出される。これは、車両ベースの処理リソースによって、または、外部データ処理リソースによって、遂行され得る。
【００４８】
ステップ５３０において、車両１００の位置データに基づいて、マップデータベース２２０から基準特徴が取り出される。
【００４９】
ステップ５４０において、抽出された特徴は、マップデータベース２２０からの基準特徴と比較される。これは、車両ベースの処理リソースによって、または、外部データ処理リソースによって遂行され得る。
【００５０】
ステップ５５０において、抽出された特徴と基準特徴との間の比較に基づいて、車両環境内のオブジェクトが識別される。
【００５１】
そして識別されたオブジェクトは、車両１００のドライバーに指示を提供するための基礎として用いられ得る。指示を提供するためのビデオデータおよび／またはオーディオデータは、車両ベースの処理リソースによって、または、外部データ処理リソースによって計算され得る。
【００５２】
上述されたオブジェクト識別処理が、車両のドライバーに指示を提供することだけに用いられるわけではなく、車両のナビゲーションシステムの位置決定精度を向上させるためにも用いられ得ることが理解されるべきである。特に、車両の実際の位置からの位置データの逸脱は、識別されたオブジェクトとビデオ信号内の対応する構造とを照合することにより識別され得る。
【００５３】
要約すると、上述された本発明の実施形態は、ビデオベースのドライバー補助システム内にオブジェクト識別処理を実装するために、車両ベースのデータ処理リソースと外部データ処理リソースとを効率的に用いることを可能にする。例えば、ビデオ信号からフレームを抽出する処理は、車両ベースのデータ処理リソースによって遂行され得るが、抽出された特徴を基準特徴と比較する処理は、外部データ処理リソースによって遂行され得る。あるいは、ビデオ信号から特徴を抽出する処理もまた、外部データ処理リソースによって遂行され得、それにより、車両ベースのデータ処理リソースをさらに節約し得る。
【符号の説明】
【００５４】
１００ 車両
１１０ 車両ベースのデータ処理リソース
１２０ ナビゲーション受信器
１３０ 車両ベースのビデオキャプチャデバイス
１４０ 車両ベースの送信器
１５０ 車両ベースの受信器
１６０ 指示デバイス
２００ マップデータベースサーバ
２１０ 外部データ処理リソース
２２０ マップデータベース
２４０ 送信器
２５０ 受信器
Ｄ１ 第１のデータ信号
Ｄ２ 第２のデータ信号
【特許請求の範囲】
【請求項１】
車両（１００）の外部の車両環境を表現するビデオ信号を生成することと、
該ビデオ信号から少なくとも１つの特徴を抽出することと、
該抽出された特徴を少なくとも１つの基準特徴と比較することであって、該基準特徴は、複数の予め計算された基準特徴から選択され、該複数の予め計算された基準特徴は、マップデータベース（２２０）内に位置属性として格納されている、ことと、
該抽出された特徴と該基準特徴との比較に基づいて、該車両環境内のオブジェクトを識別することと、
該識別されたオブジェクトに基づいて、該車両（１００）のドライバーに指示を提供することと
を含む、ドライバー補助方法。
【請求項２】
前記マップデータベース（２２０）は、前記車両（１００）に対して外部にあり、
前記方法は、
前記車両（１００）から外部データ処理リソース（２１０）に第１のデータ信号（Ｄ１）を送信することであって、該第１のデータ信号（Ｄ１）は、該車両（１００）の位置データを少なくとも含む、ことと、
該外部データ処理リソース（２１０）から該車両（１００）に第２のデータ信号（Ｄ２）を送信することであって、該第２のデータ信号（Ｄ２）は、該受信された位置データに応答して生成されたオブジェクト識別データを含む、ことと
をさらに含む、請求項１に記載のドライバー補助方法。
【請求項３】
前記抽出された特徴と前記基準特徴との間の前記比較と、前記オブジェクトの前記識別とは、車両ベースのデータ処理リソース（１１０）によって達成され、
前記オブジェクト識別データは、該基準特徴を含む、請求項２に記載のドライバー補助方法。
【請求項４】
前記抽出された特徴と前記基準特徴との間の前記比較と、前記オブジェクトの前記識別とは、前記外部データ処理リソース（２１０）によって達成され、
前記オブジェクト識別データは、前記識別されたオブジェクトの特性を表現するオブジェクトデータを含む、請求項２に記載のドライバー補助方法、
【請求項５】
前記特徴の前記抽出は、車両ベースのデータ処理リソース（１１０）によって達成され、
前記第１のデータ信号（Ｄ１）は、前記抽出された特徴を表現する特徴データを含む、請求項４に記載の方法。
【請求項６】
前記特徴の前記抽出は、前記外部データ処理リソース（２１０）によって達成され、
前記第１のデータ信号（Ｄ１）は、前記ビデオ信号から導出されたビデオ信号を含む、請求項４に記載の方法。
【請求項７】
前記第２のデータ信号（Ｄ２）は、前記ドライバーに指示されるビデオデータおよび／またはオーディオデータを含む、請求項４〜６のいずれか一項に記載の方法。
【請求項８】
前記オブジェクトデータは、前記識別されるオブジェクトの座標、次元および／または識別子を含む、請求項４〜７のいずれか一項に記載の方法。
【請求項９】
前記外部データ処理リソース（２１０）は、複数の車両（１００）と通信する、請求項２〜８のいずれか一項に記載の方法。
【請求項１０】
前記外部データ処理リソース（２１０）は、異なる車両（１００）のビデオ信号から抽出された特徴を相関させる、請求項９に記載の方法。
【請求項１１】
前記外部データ処理リソース（２１０）は、インターネットベースの通信チャネルを介して前記車両と通信する、請求項２〜１０のいずれか一項に記載の方法。
【請求項１２】
前記抽出された特徴と前記基準特徴とは、変換不変な特徴の表現に対応する、請求項１〜１１のいずれか一項に記載の方法。
【請求項１３】
車両（１００）内に搭載されたドライバー補助デバイスであって、
車両（１００）の外部の車両環境を表現するビデオ信号を生成するように構成された車両ベースのビデオキャプチャデバイス（１３０）と、
該車両環境内の識別されたオブジェクトに基づいて、該車両（１００）のドライバーに指示を提供するように構成された指示デバイス（１６０）と
を含み、
該オブジェクトは、該ビデオ信号から抽出された少なくとも１つの特徴と少なくとも１つの基準特徴との間の比較に基づいて識別され、該基準特徴は、複数の予め計算された基準特徴から選択され、該複数の予め計算された基準特徴は、マップデータベース（２２０）内に位置属性として格納されている、ドライバー補助デバイス。
【請求項１４】
外部データ処理リソース（２１０）に第１のデータ信号（Ｄ１）を送信する車両ベースの送信器（１４０）であって、該第１のデータ信号（Ｄ１）は、前記車両（１００）の位置データを少なくとも含む、送信器（１４０）と、
該外部データ処理リソース（２１０）から第２のデータ信号（Ｄ２）を受信する車両ベースの受信器（１５０）であって、該第２のデータ信号（Ｄ２）は、オブジェクト識別データを含む、受信器（１５０）と
を含む、請求項１３に記載のドライバー補助デバイス。
【請求項１５】
前記ドライバー補助デバイスは、請求項１〜１２のいずれか一項に記載の方法を実装するように構成されている、請求項１３または１４に記載のドライバー補助デバイス。
【請求項１６】
複数の予め計算された基準イメージ特徴を位置属性として格納するように構成されたマップデータベース（２２０）と、
ビデオ信号から抽出された特徴を少なくとも１つの基準特徴と比較し、該比較に基づいて該車両環境内のオブジェクトを識別するように構成された第１のデータ処理リソース（２１０）であって、該ビデオ信号は、車両（１００）の外部の車両環境を表現し、該基準特徴は、該複数の予め計算されたイメージ特徴から選択される、第１のデータ処理リソース（２１０）と
を含む、ドライバー補助システム。
【請求項１７】
第１のデータ処理リソース（２１０）を前記車両（１００）内の第２のデータ処理リソース（１１０）に結合する第１の送信器（２４０）および第１の受信器（２５０）
を含み、
該第１の受信器（２５０）は、該第２のデータ処理リソース（１１０）から第１のデータ信号（Ｄ１）を受信するように構成されており、該第１のデータ信号は、該車両（１００）の位置データを少なくとも含み、
該第１の送信器（２４０）は、該第２のデータ処理リソース（１１０）に第２のデータ信号（Ｄ２）を送信するように構成されており、該第２のデータ信号（Ｄ２）は、該第１のデータ処理リソース（２１０）によって識別されたオブジェクトに基づいて生成される、請求項１６に記載のドライバー補助システム。
【請求項１８】
前記ビデオ信号を生成するように構成された車両ベースのビデオキャプチャデバイス（１３０）と、
前記第１のデータ信号（Ｄ１）を前記第１のデータ処理リソース（２１０）に送信するように構成された車両ベースの第２の送信器（１４０）と、
該第１のデータ処理リソース（２１０）から前記第２のデータ信号（Ｄ２）を受信するように構成された車両ベースの第２の受信器（１５０）と、
該識別されたオブジェクトに基づいて、前記車両（１００）のドライバーに指示を提供するように構成された車両ベースの指示デバイス（１６０）と
を含む、請求項１６または１７に記載のドライバー補助システム。
【請求項１９】
前記ドライバー補助システムは、請求項１〜１２のいずれか一項に記載の方法を実装するように構成されている、請求項１６〜１８のいずれか一項に記載のドライバー補助システム。
【請求項１】
車両（１００）の外部の車両環境を表現するビデオ信号を生成することと、
該ビデオ信号から少なくとも１つの特徴を抽出することと、
該抽出された特徴を少なくとも１つの基準特徴と比較することであって、該基準特徴は、複数の予め計算された基準特徴から選択され、該複数の予め計算された基準特徴は、マップデータベース（２２０）内に位置属性として格納されている、ことと、
該抽出された特徴と該基準特徴との比較に基づいて、該車両環境内のオブジェクトを識別することと、
該識別されたオブジェクトに基づいて、該車両（１００）のドライバーに指示を提供することと
を含む、ドライバー補助方法。
【請求項２】
前記マップデータベース（２２０）は、前記車両（１００）に対して外部にあり、
前記方法は、
前記車両（１００）から外部データ処理リソース（２１０）に第１のデータ信号（Ｄ１）を送信することであって、該第１のデータ信号（Ｄ１）は、該車両（１００）の位置データを少なくとも含む、ことと、
該外部データ処理リソース（２１０）から該車両（１００）に第２のデータ信号（Ｄ２）を送信することであって、該第２のデータ信号（Ｄ２）は、該受信された位置データに応答して生成されたオブジェクト識別データを含む、ことと
をさらに含む、請求項１に記載のドライバー補助方法。
【請求項３】
前記抽出された特徴と前記基準特徴との間の前記比較と、前記オブジェクトの前記識別とは、車両ベースのデータ処理リソース（１１０）によって達成され、
前記オブジェクト識別データは、該基準特徴を含む、請求項２に記載のドライバー補助方法。
【請求項４】
前記抽出された特徴と前記基準特徴との間の前記比較と、前記オブジェクトの前記識別とは、前記外部データ処理リソース（２１０）によって達成され、
前記オブジェクト識別データは、前記識別されたオブジェクトの特性を表現するオブジェクトデータを含む、請求項２に記載のドライバー補助方法、
【請求項５】
前記特徴の前記抽出は、車両ベースのデータ処理リソース（１１０）によって達成され、
前記第１のデータ信号（Ｄ１）は、前記抽出された特徴を表現する特徴データを含む、請求項４に記載の方法。
【請求項６】
前記特徴の前記抽出は、前記外部データ処理リソース（２１０）によって達成され、
前記第１のデータ信号（Ｄ１）は、前記ビデオ信号から導出されたビデオ信号を含む、請求項４に記載の方法。
【請求項７】
前記第２のデータ信号（Ｄ２）は、前記ドライバーに指示されるビデオデータおよび／またはオーディオデータを含む、請求項４〜６のいずれか一項に記載の方法。
【請求項８】
前記オブジェクトデータは、前記識別されるオブジェクトの座標、次元および／または識別子を含む、請求項４〜７のいずれか一項に記載の方法。
【請求項９】
前記外部データ処理リソース（２１０）は、複数の車両（１００）と通信する、請求項２〜８のいずれか一項に記載の方法。
【請求項１０】
前記外部データ処理リソース（２１０）は、異なる車両（１００）のビデオ信号から抽出された特徴を相関させる、請求項９に記載の方法。
【請求項１１】
前記外部データ処理リソース（２１０）は、インターネットベースの通信チャネルを介して前記車両と通信する、請求項２〜１０のいずれか一項に記載の方法。
【請求項１２】
前記抽出された特徴と前記基準特徴とは、変換不変な特徴の表現に対応する、請求項１〜１１のいずれか一項に記載の方法。
【請求項１３】
車両（１００）内に搭載されたドライバー補助デバイスであって、
車両（１００）の外部の車両環境を表現するビデオ信号を生成するように構成された車両ベースのビデオキャプチャデバイス（１３０）と、
該車両環境内の識別されたオブジェクトに基づいて、該車両（１００）のドライバーに指示を提供するように構成された指示デバイス（１６０）と
を含み、
該オブジェクトは、該ビデオ信号から抽出された少なくとも１つの特徴と少なくとも１つの基準特徴との間の比較に基づいて識別され、該基準特徴は、複数の予め計算された基準特徴から選択され、該複数の予め計算された基準特徴は、マップデータベース（２２０）内に位置属性として格納されている、ドライバー補助デバイス。
【請求項１４】
外部データ処理リソース（２１０）に第１のデータ信号（Ｄ１）を送信する車両ベースの送信器（１４０）であって、該第１のデータ信号（Ｄ１）は、前記車両（１００）の位置データを少なくとも含む、送信器（１４０）と、
該外部データ処理リソース（２１０）から第２のデータ信号（Ｄ２）を受信する車両ベースの受信器（１５０）であって、該第２のデータ信号（Ｄ２）は、オブジェクト識別データを含む、受信器（１５０）と
を含む、請求項１３に記載のドライバー補助デバイス。
【請求項１５】
前記ドライバー補助デバイスは、請求項１〜１２のいずれか一項に記載の方法を実装するように構成されている、請求項１３または１４に記載のドライバー補助デバイス。
【請求項１６】
複数の予め計算された基準イメージ特徴を位置属性として格納するように構成されたマップデータベース（２２０）と、
ビデオ信号から抽出された特徴を少なくとも１つの基準特徴と比較し、該比較に基づいて該車両環境内のオブジェクトを識別するように構成された第１のデータ処理リソース（２１０）であって、該ビデオ信号は、車両（１００）の外部の車両環境を表現し、該基準特徴は、該複数の予め計算されたイメージ特徴から選択される、第１のデータ処理リソース（２１０）と
を含む、ドライバー補助システム。
【請求項１７】
第１のデータ処理リソース（２１０）を前記車両（１００）内の第２のデータ処理リソース（１１０）に結合する第１の送信器（２４０）および第１の受信器（２５０）
を含み、
該第１の受信器（２５０）は、該第２のデータ処理リソース（１１０）から第１のデータ信号（Ｄ１）を受信するように構成されており、該第１のデータ信号は、該車両（１００）の位置データを少なくとも含み、
該第１の送信器（２４０）は、該第２のデータ処理リソース（１１０）に第２のデータ信号（Ｄ２）を送信するように構成されており、該第２のデータ信号（Ｄ２）は、該第１のデータ処理リソース（２１０）によって識別されたオブジェクトに基づいて生成される、請求項１６に記載のドライバー補助システム。
【請求項１８】
前記ビデオ信号を生成するように構成された車両ベースのビデオキャプチャデバイス（１３０）と、
前記第１のデータ信号（Ｄ１）を前記第１のデータ処理リソース（２１０）に送信するように構成された車両ベースの第２の送信器（１４０）と、
該第１のデータ処理リソース（２１０）から前記第２のデータ信号（Ｄ２）を受信するように構成された車両ベースの第２の受信器（１５０）と、
該識別されたオブジェクトに基づいて、前記車両（１００）のドライバーに指示を提供するように構成された車両ベースの指示デバイス（１６０）と
を含む、請求項１６または１７に記載のドライバー補助システム。
【請求項１９】
前記ドライバー補助システムは、請求項１〜１２のいずれか一項に記載の方法を実装するように構成されている、請求項１６〜１８のいずれか一項に記載のドライバー補助システム。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２０１０−１８１４０９（Ｐ２０１０−１８１４０９Ａ）
【公開日】平成２２年８月１９日（２０１０．８．１９）
【国際特許分類】
【出願番号】特願２０１０−２１６８６（Ｐ２０１０−２１６８６）
【出願日】平成２２年２月２日（２０１０．２．２）
【出願人】（５０４１４７９３３）ハーマン ベッカー オートモーティブ システムズ ゲーエムベーハー (165)
【Ｆターム（参考）】
【公開日】平成２２年８月１９日（２０１０．８．１９）
【国際特許分類】
【出願日】平成２２年２月２日（２０１０．２．２）
【出願人】（５０４１４７９３３）ハーマン ベッカー オートモーティブ システムズ ゲーエムベーハー (165)
【Ｆターム（参考）】
[ Back to top ]