運転者支援システム
【課題】容易に適合され得るようにフレキシブルなアーキテクチャに基づく運転者支援システムを提供する。
【解決手段】
車両の環境から入ってくる外部信号を感知する第１のインターフェイスと、車両の内部信号を感知する第２のインターフェイスと、車両の環境についての表現を生成するために第１のインターフェイスの出力信号及び第２のインターフェイスの出力信号を融合する第１のサブシステムと、第２のインターフェイスの出力信号が供給され、車両の現在状態をモデル化する第２のサブシステムと、運転者の動きをモデル化する第３のサブシステムと、第１のサブシステムによって表現された現在のシーンを解釈して、車両の現在の外部状況の特徴的な状態を決定する第４のサブシステムと、第２、第３及び第４のサブシステムの出力信号に基づいて、車両のアクチュエータへの働き掛け、及び／又は、運転者への働き掛けを生成する第５のサブシステムと、を備える。
【解決手段】
車両の環境から入ってくる外部信号を感知する第１のインターフェイスと、車両の内部信号を感知する第２のインターフェイスと、車両の環境についての表現を生成するために第１のインターフェイスの出力信号及び第２のインターフェイスの出力信号を融合する第１のサブシステムと、第２のインターフェイスの出力信号が供給され、車両の現在状態をモデル化する第２のサブシステムと、運転者の動きをモデル化する第３のサブシステムと、第１のサブシステムによって表現された現在のシーンを解釈して、車両の現在の外部状況の特徴的な状態を決定する第４のサブシステムと、第２、第３及び第４のサブシステムの出力信号に基づいて、車両のアクチュエータへの働き掛け、及び／又は、運転者への働き掛けを生成する第５のサブシステムと、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、運転者支援システムと、対応する方法及びコンピュータプログラムとに関係する。
【背景技術】
【０００２】
運転者支援システムは、交通参加者の快適さ及び安全性の増大を目指す車両又は自律走行車技術の制御システムである。このようなシステムの潜在的なアプリケーションには、車線逸脱警報、車線維持、衝突警報又は回避、アダプティブクルーズコントロール、及び交通混雑時の低速自動操作が含まれる。
【０００３】
本発明との関連における運転者支援システムは、したがって、運転者によって始動又は実行される動作を「支援」することが可能であるが、車両のための制御動作を自律的に開始し遂行することも可能である。
【０００４】
既に、上記のアプリケーションのうちの単一のアプリケーションは、典型的に、多種多様の別個のセンサと、センサデータを解析し適当な出力信号を発生するセンサ制御用の電子制御ユニット（ＥＣＵ）とを必要とする。例えば、ＲＡＤＡＲ（レーダー：電波探知）センサ、及びＬＩＤＡＲ（ライダー：光探知）センサは、検出物体までの距離を正確に測定可能であるが、検出物体に関連した意味情報（例えば、車両がどの車線に位置するか、いかなる種類の物体が検出されているか）を提供しない。このような情報はビデオカメラ又はカメラによって付加的に採取されなければならない。
【０００５】
安全性を高め、新しい快適な機能で運転者及び搭乗者をサポートする一般的な傾向に起因して、最新車両内の各アプリケーションの複雑さとアプリケーションの個数は増加中であり、将来的にはさらに増加する。基本的に、複数のセンサシステムをもつ車両は対応した個数のＥＣＵを意味し、すべてのＥＣＵは互いに独立にそれらのタスクを実行する。
【０００６】
大半又は全部のＥＣＵが接続されるバスシステム、例えば、ＣＡＮ（「コントローラエリアネットワーク」）バスを車両に持たせることが既知である。ＣＡＮバスは接続されたＥＣＵ間でのデータ交換を可能にさせる。しかし、単に複数のセンサ及び／又はアプリケーションを一緒に付加し、それらをバスで相互接続するだけでは、信頼性又は安定性及びロバスト性のような局面に関して満足しうる構成は簡単な運転者支援システムだけにすぎないとされるということがわかる。
【０００７】
それでもなお、安全性をさらに高め、より快適な機能を提供し、同時に、このような新しい、及び／又は、機能強化された安全性と快適さの性能の開発のためのコストを制限することが目的である。よって、車両をアクティブに制御する単一の情報システムに、現在までの分離したセンサシステムを統合することが必要である。
【０００８】
しかし、このような動き生成の一般的なモデルは知られていない。既存の支援運転者システムは、センサ又は複数のセンサと、それに続く、特定のアプリケーションのため具体的に設計されたセンサデータ処理ステップとを備える。さらなるアプリケーションを実施するため、本質的にシステムの再設計が必要とされる。
【発明の開示】
【発明が解決しようとする課題】
【０００９】
上記の点に鑑みて、本発明の目的は、容易に適合され得るようにフレキシブルなアーキテクチャに基づく運転者支援システムを提供することである。
【００１０】
本発明のさらなる目的は、既存のシステムと比べると著しい安全性及び快適さの改良を可能にする運転者支援システムを提供することである。
【００１１】
本発明のもう一つの目的は、例えば、エネルギー消費、計算パワー又はスペースに関して制限されたリソースを共有することを可能にさせる運転者支援システム又は対応する方法を提供することである。
【００１２】
本発明のさらなる目的は、頑強な予測を行い、複雑な動きを可能にさせることができる運転者支援システムを提供することである。
【００１３】
本発明のもう一つの目的は、新しい要素を、例えば、センサ側に、機能強化された内部処理のための新しいアプリケーション又はユニットを組み込むことを容易に許すモジュラーアーキテクチャ概念を提供することである。
【００１４】
本発明のさらなる目的は、リアルタイム制御及び動作選択を可能にする運転者支援システムを提供することである。
【課題を解決するための手段】
【００１５】
上記の目的は特許請求の範囲の独立請求項の特長によって実現される。有利な特長は従属請求項に記載されている。
【００１６】
本発明の第１の態様によれば、車両の環境（environment:周囲の状況）から入ってくる外部信号を感知する第１のインターフェイスと、車両の内部信号を感知する第２のインターフェイスと、を備える運転者支援システムが提案される。さらに、車両の環境と車両の内部信号の表現を生成するために第１のインターフェイスの出力信号と第２のインターフェイスの出力信号を融合する第１のサブシステムが設けられる。第２のサブシステムは、第１のサブシステムの出力信号が供給され、車両の現在状態をモデル化する。第３のサブシステムは運転者の動きをモデル化することを目的とする。第４のサブシステムは、車両の現在の外部状況の特徴的な状態を決定するために第１のサブシステムによって表現された現在のシーンを解釈するよう構成される。第５のサブシステムが設けられ、第１、第２、第３及び第４のサブシステムの出力信号に基づいて車両のアクチュエータ及び／又は運転者への働き掛け(stimuli：刺激)を生成する。
【００１７】
第５のサブシステムは現在のシーンに応じて付加的な交通規則を使用するように設計される。
【００１８】
第５のサブシステムは、特に、生成された働き掛けに関連した情報を表現する信号を第４のサブシステムへフィードバックするよう構成される。第４のサブシステムは、第５のサブシステムのフィードバック信号に応答して現在のシーンを解釈するよう構成される。
【００１９】
本発明の別の態様によれば、車両の環境から入ってくる外部信号を感知する第１のインターフェイスと、車両の内部信号を感知する第２のインターフェイスと、を備える運転者支援システムが提案される。さらに、車両の環境と車両の内部信号の表現を生成するために第１のインターフェイスの出力信号と第２のインターフェイスの出力信号を融合する第１のサブシステムが設けられる。第２のサブシステムは、第１のサブシステムの出力信号が供給され、車両の現在状態をモデル化することを目的とし、第３のサブシステムは運転者の動きをモデル化することを目的とする。第４のサブシステムは、第１のサブシステムによって表現された現在のシーンを解釈し、第２及び第３のサブシステムの出力信号に基づいて車両のアクチュエータ及び／又は運転者への働き掛けを生成するため設けられる。
【００２０】
第４のサブシステムは現在のシーンに応じて付加的な交通規則を使用するように設計される。
【００２１】
第４のサブシステムは、外部シーンの全体的な記述を提供するシーン記述サブシステムを備えることがあり、このシーン記述サブシステムは、車両の現在の外部状況の特徴的な特長を表現する第１のサブシステムの出力信号によってグローバルシーンを決定し、決定されたグローバルシーンを表現する信号を出力するよう構成される。車両のアクチュエータ及び／又は運転者への働き掛けを生成するサブシステムは、シーン記述サブシステムの出力信号に応答してこれらの働き掛けを生成するよう構成されることがある。
【００２２】
シーン記述サブユニットは交通規則選択のための出力信号を提供する。
【００２３】
第４のサブシステムは第３のサブシステムへの働き掛けをさらに生成するよう構成される。第３のサブシステムは、第４のサブシステムの入力信号及び運転者の動作を表現するヒューマンマシンインターフェイスからの入力信号に応答して運転者の動きをモデル化するよう構成される。
【００２４】
アクチュエータ及び／又は運転者への働き掛けを生成するサブシステムは、搭乗者モニタリングからの入力信号に応答してこれらの働き掛けをさらに生成するよう構成される。
【００２５】
第１のサブシステムは、動き生成サブシステムのための物理的な物体記述を表現する出力信号を提供することがある。
【００２６】
第１のサブシステムは、第１のインターフェイスによって配信されたセンサデータを処理する情報抽出及びデータマッピングモジュールと、第１及び第２のインターフェイスの出力信号によって表現された情報を融合する情報融合モジュールと、関連した属性及び特性と共に物体を記憶する知識ベースと、外部シーンを表現するシーン表現モジュールと、を備える場合がある。
【００２７】
情報融合モジュールは、決定された物体を表現する物体信号を知識ベースへ供給する場合があり、知識ベースは、物体信号に応答して、決定された物体の属性及び／又は特性を表現する属性信号をシーン表現モジュールへ供給する場合がある。
【００２８】
情報融合モジュールは、第１のインターフェイスの出力から抽出された特長から仮定的物体特性を決定する特長サブモジュールを備える場合があり、特長を物体に結合し、物体追跡を行う物体サブモジュールをさらに備える場合がある。
【００２９】
知識ベースは、物体追跡手順の間に曖昧さを削減するために、決定された物体の可能な運動に関する制約を情報融合モジュールの追跡モジュールへ供給することがある。さらに、知識ベースの出力信号は、物体追跡モジュールのための適切な運動モデルを選択する情報を提供することがある。
【００３０】
特長サブモジュールは、グローバルシーン情報を表現する信号をシーン表現モジュールに供給し、シーン表現モジュールはグローバルシーン情報に基づいて制約を決定するよう構成される。
【００３１】
運転者の動きをモデル化する第３のサブシステムは、入力信号を一般的なマッピングコンフィギュレーションに関連したシーン表現モジュールへ供給する。
【００３２】
上記の本発明の態様のうちのいずれか一つによるシステムが設けられた車両が提案される。
【００３３】
本発明の別の態様によれば、車両の運転者を支援する方法が提案され、これらの方法の特長及び利点は上記の発明のシステムの特長及び利点から得られる。
【００３４】
本発明のさらに別の態様によれば、現在のシナリオのコンテキストにおいて関連した表現中の物体に焦点を当てるために、表現されたシーンをフィルタリングする方法が提案される。
【００３５】
本発明の一層さらに別の態様によれば、上記の方法を実施するコンピュータソフトウェアプログラムプロダクトが提案される。
【００３６】
プログラムプロダクトは、車両のプログラマブル装置に情報を送るように適合した、ファームウェアを備える。
【００３７】
本発明の別の態様によれば、発明のコンピュータソフトウェアプログラムプロダクトが記憶された記憶装置、例えば、ＣＤ−ＲＯＭ又はＤＶＤ−ＲＯＭが提案される。
【００３８】
上記の目的を確実に達成するため、本発明は、車両の環境の集中モデルを導入し、複数の先験的(priori)な分離したセンサシステムを一体化する運転者支援システムを提案する。このモデルは異なる種類のセンサによって配信されたデータを解析することにより獲得される。共通表現は、例えば、運転者のための警報メッセージ、及び／又は、システムが接続された車両の種々のアクチュエータのための制御コマンドを発生する、システムの複雑な動きの実施のため基礎を形成する。
【００３９】
本発明は運転者支援システムの一般的なアーキテクチャを提案するので、特定の別々に存在するセンサシステムが相互接続される従来技術と異なる。本発明のシステム内では、センサは特定のアプリケーションに明確に割り当てられないが、いくらかの台数の内部センサ及び外部センサが上記の環境の集中的な表現に達するようにシステムに統合される。よって、新しいアプリケーションは、車両のセンサプール(sensor pool:センサの集まり)の変更を伴うことなく定義されることがある。
【００４０】
以上により、情報融合（データ融合）が発明の運転者支援システムの重要な態様であることが明らかである。例えば、画像処理段によって獲得される物体情報は、検出環境の統一された説明に達するように、他のセンサに由来するデータ、例えば、レーダーデータと融合されるべきである。
【００４１】
記号情報を用いて、融合プロセスの結果、すなわち、シーン表現が評価され、動きが作成される。
【００４２】
本発明による運転者支援システムは、情報を運転者へ出力するため、又は、車両のアクチュエータに作用するため、運転者と独立に動作するので、システムは本文書を通じて「エージェント」と呼ばれることもある。
【００４３】
本発明の利点の一部は以下に要約される。
【００４４】
運転者支援システムのアーキテクチャは、環境の集中的な表現と、車両の自己状態とに基づく。したがって、本発明は、例えば、エネルギー、計算パワー及びスペースのような有限のリソースを節約することを可能にする。これらのリソースは、本発明による共通アーキテクチャ内で実施される種々の支援機能の間で共有される。さらに、本発明によれば、複数の制御センターが協調させられるか、又は、統合されるので、システム全体を安定化する。
【００４５】
発明のエージェントは、複数の情報ストリームを統合し、長期に亘り安定化させることを可能にさせることで、ロバスト性を保証するので、表現は、複雑な、又は、高レベルな動きを生成するため適した形式である。
【００４６】
発明のエージェントは、高レベルリアルタイム制御及び動作選択のための利用可能な情報へのインスタントアクセスを提供する。シーン全体を詳細に解釈することは技術的に実現可能でないので、認識は予測によって体系化され、サポートされ、このようにして、複雑な動きを可能にする。
【００４７】
発明のモデルは、最小コスト及び努力で技術の進歩に追随するために、要素（サブシステム、モジュール、ユニット）を容易に交換することを可能にさせるオープンモジュラー構造を記述する。最終的には、このモデルはヒューマンファクタを容易に考慮することも可能にする。
【発明を実施するための最良の形態】
【００４８】
本発明のさらなる態様及び利点は、従属請求項と同様に、添付図面に関して発明の実施形態の後の説明から明らかになる。
【００４９】
図面中、同じ参照番号は同じ要素又は類似した要素に使用される。
【００５０】
図１は、発明の運転者支援システムの具体的な実施形態を機能ブロック図の形式で示す。システムは、その環境１０、環境１０と相互作用する車両１２、運転者１４、及び恐らくさらなる搭乗者１６と接続される。
【００５１】
運転者支援システムは、エージェントとして、例えば、自律的に動作するソフトウェアシステム（ファームウェア）、すなわち例えば、車両１２の一部としてのプログラマブル装置（図示せず）がぱっと浮かぶが、として車両において実施される。この装置は、単一の集中処理ユニットでもよく、車両１２の全体に亘って分布した複数のプロセッサを含んでいてもよい。
【００５２】
図１は、発明のエージェントと運転者１４との間の相互作用を詳細に示す。外部システム又は人間、例えば、ガレージ(garage)のサービスマンとのさらなる可能な相互作用は明瞭にするために省略される。
【００５３】
システムの機能コンポーネントが最初に概説される。原則的に、エージェントは、入力段（入力データのためのインターフェイス）と、処理段と、出力段（出力データのためのインターフェイス）とを備える。２個の処理ユニット１８、２０は、入力段を形成する。これらは外部センシング２２（例えば、Ｒａｄａｒ、Ｌｉｄａｒ、ビデオ、ＧＰＳ、電子的な交通レポート、車両同士の通信、デジタル地図など）、及び内部センシング２４（例えば、速度、加速度、ヨーレート、チルト、高度など）とそれぞれ接続される。ユニット１８、２０は、情報融合モジュール２６と、シーン表現モジュール２８と、情報融合モジュール２６の物体情報が供給され、物体の属性をシーン表現モジュール２８へ出力する知識ベース５８と、を備える運転者支援システムの第１のサブシステムに接続される。
【００５４】
シーン表現モジュール２８は、外部センシングモジュール２２によって捕捉されたすべての関連した物体(object)（及び知識データベース５８から提供されたそれらの属性）を格納する。すべての物体は、その属性（例えば、柔らかい／堅いなどの物理的特性）と、自己中心車両座標系に関する物体の相対位置との記述集合により構成される。その上、情報融合モジュール２６から配信される「車」又は「歩行者」といった物体カテゴリーに関する意味情報と同様に、特定のエリアにおける交通渋滞の発生といったより抽象的な情報がシーン表現モジュール２８に格納される。
【００５５】
詳細は図２の記載において説明される。
【００５６】
情報融合モジュール２６は、シーン表現モジュールに格納される環境の矛盾しない表現を決定するために、前処理ユニット１８及び２０から供給された情報のすべてを組み合わせる。シーン表現のロバスト性は、モジュール２８によって配信された現在の利用可能な物体記述と同様に、融合情報の一時的な追跡によって実現され、前処理モジュール１８及び２０によって供給された新しいセンサデータを必要とする。したがって、モジュール２６及び２８は高度に相互接続される。詳細は図２の記載において説明される。
【００５７】
前処理された内部的に感知された信号は、第２のサブシステム、すなわち、車両モデルサブシステム３０へさらに供給される。
【００５８】
車両モデルサブシステム３０は、モジュール２４によって配信された内部測定値に基づいて車両の内部状態を推定するように設計される。車両モデルサブシステムは主に、一部の内部センサが故障した場合にロバスト状態推定値を生成する状態空間オブザーバ（例えば、カルマンフィルタ）として機能する。第二に、車両モデルサブシステムは、物理的制約に依存して計画された動作が達成可能であるかどうかを動作選択モジュール３８が決定することを可能にするその固有の物理的ダイナミクスについての知識をもつエージェントを提供する。
【００５９】
例えば、一つの重要な推定値は、多数の搭乗者を載せているときに変化する車両の質量である。車両の質量は、可能な加速度及び減速度に大きく影響を与えるので、衝突回避動作において考慮されなければならない。
【００６０】
第３のシステムでは、運転者モデルサブシステム３２は、運転者１４によって操作されるヒューマンマシンインターフェイス（ＨＭＩ）３４に接続される。
【００６１】
運転者モデルサブシステム３２は、ヒューマンマシンインターフェイス（ＨＭＩ）３４からの運転者の動作、及びモジュール３６により解釈された現在のシーンを観測することにより運転者の意図を決定するために機能する。この意図は、モジュール３８における動作選択プロセス中に最適な動作を選択するため重要である。例えば、方向指示器が作動され、対応する方向に障害物がシーン解釈モジュールによって検出されないならば、車線維持／車線逸脱警報の横方向制御は車線変更動作を達成するため停止状態にされるべきである。
【００６２】
シーン表現モジュール２８はシーン解釈モジュール３６に接続され、シーン解釈モジュール３６は、次には動作選択／組み合わせサブシステム３８に接続される。このサブシステム３８は、主として（低レベル）動き生成モジュール４０を備えるエージェントの出力段に接続され、動き生成モジュールは、例えば、スロットル用アクチュエータ、ブレーキ用アクチュエータ、ギアシフト用アクチュエータ、ステアリング用アクチュエータ、エアバッグやベルトプリテンショナ用の安全装置アクチュエータなどのような車両アクチュエータ４２に接続される。
【００６３】
シーン解釈モジュール３６は、検出物体に関してモジュール２８の表現されたシーンを解析する。例えば、シーン解釈モジュールは、検出された車線境界に基づいて車線情報を生成し、交通標識を正しい車線に割り当てる。さらに、関連した物体、例えば、車線内の前方にある最も近い車両が決定される。このシーン解釈モジュール３６は、認識及びサポート予測を体系化するために現在のタスクに応じて関連性フィルタリングプロセスをさらに処理する。
【００６４】
図１に示された運転者支援システム内での情報の処理は次に説明される。車両の内部状態を感知するセンサ２４は、速度、加速度、ヨーレート、チルト及びその他のセンサを備える。センサデータは適切なＨＭＩ４４を介して運転者にも伝えられる。
【００６５】
ＨＭＩ４４は、動作選択／組み合わせシステム３８からの警報を運転者１４に知らせることも可能である。
【００６６】
より詳細な情報、例えば、車両の各車輪の速度が支援システムに供給される。前処理モジュール２０は、入ってくる知覚情報の一時的な安定化及び平滑化ユニットとして機能する。さらに、前処理モジュールはセンサ情報を下流の情報融合プロセスに適合させる。例えば、情報はエージェントの処理段の時間刻みスキームに適合させられる。
【００６７】
車両の環境１０を感知するセンサ２２は、例えば、ビデオデータ、レーダーデータ及びライダーデータを配信する。さらに、無線情報、車両間通信、又は、デジタル地図による捕捉データは適切な装置によって配信される。前処理ユニット１８は、センサデータを前処理するよう構成された多数の異なる手順を含む。ユニット１８、２０の両方は、前処理されたデータを情報融合モジュール２６へ転送し、そこで、外部データと内部データが融合される。データ融合のため、ニューラルネットワークが使用され得る。
【００６８】
融合プロセスから得られるデータは、シーン表現モジュール２８へ配信され、そこで、車両１２の環境を表現するシーンが確立される。シーンは、例えば、交通状況を表現するかもしれない。一般的に、シーン表現は、例えば、車、二輪車、及び／又は、歩行者などの検出物体と、例えば、街路、草木、及び／又は、空を含む背景とを収容する。情報融合及びシーン表現のより詳細な記述は図２に関して以下に記載される。
【００６９】
シーン表現に関連したデータは、フィードバックとして、情報融合モジュール２６へも配信され、例えば、後に続く時間刻みにおける予測をサポートする。
【００７０】
本発明によれば、認識は予測によって体系化されサポートされる。運転者サブシステム３２は運転者１４からＨＭＩ３４を介してデータを受信する。よって、モジュール３２は、運転者の意図、例えば、多車線道路（例えば、高速道路など）上の計画された車線変更作戦行動を決定すること、予想することが可能である。さらに、運転者又は搭乗者に関連したデータが車両１２の内部センシング４５から受信される。中でも、内部知覚４５は、運転者の目を観察するカメラを備える。運転者モデルサブシステム３２内で、さらなるデータと組み合わされた視覚的データは、運転者の状態、例えば、運転者の目覚め／眠気の推定値に関する結論を導く。運転者モデル３２は、後述されるように、エージェントによって使用される運転者状態を決定し表現する。
【００７１】
シーン表現２８のデータはシーン解釈モジュール３６内でさらに処理される。
【００７２】
シーン解釈モジュール３６は信号を運転者モデルサブシステム３２へ出力する。適当なデータは、例えば、所定の最小値を下回る他の物体（他の車両）までの距離、又は、所定値を上回る車両（相対）速度に関する記述の表現を含む。
【００７３】
さらに、シーン解釈モジュール３６は信号を（全体的な）シーン記述モジュール４６へ供給する。ここで、全体的なシナリオ又はシーン記述が記録される。最も重要なシナリオは、「都会」環境、又は都会以外の、すなわち、「田舎」環境に関係する。付加的に、又は、代替的に、「自動車専用道路」及び「高速道路」のようなシナリオが含まれる。前処理モジュール１８から抽出される全体的な特長はシーン記述モジュール４６へそのまま転送される。
【００７４】
シーン解釈モジュール３６からのデータは、例えば、現在の状況において関連する物体に集中するため、表現されたシナリオ内で注意／関連性フィルタリングプロセスをガイドするように、モジュール２８へフィードバックされる。
【００７５】
シーン記述モジュール４６から、データが（交通）規則選択モジュール４８へ引き渡される。データは、例えば、検出された交通標識又は交通標識の組み合わせに関連した、シーン解釈３６から転送されたデータを含むこともある。モジュール４８は、交通標識及びその他の交通規則のリストと同様に、グローバルシーン記述の表現を含み、リスト内の各エントリーは、例えば、最高速度だけでなく、車線変更、駐車禁止、又は、このような同様の規則にも関連した１個以上の交通規則を指示する。グローバルシーン、及び／又は、シーン内の物体へのあらゆる種類の規則の割り当てはルール選択モジュール４８として実施される。
【００７６】
エージェントのサブシステム３８は、複数のサブシステム及びモジュールからデータを収集する。車両モデル３０は決定された車両１２の状態に関連するデータを配信する。運転者モデル３２は運転者１４の状態に関連するデータを配信する。シーン解釈３６は表現されたシーンの状態変数に関連するデータを引き渡す。シーン記述モデル４６は全体的なシナリオ及び気象条件に関連するデータを配信する。規則選択４８は車両１２又は運転者１４の将来の動作に適切な交通規則に関連するデータを配信する。サブシステム３８は行われるべき動作を定義し、そして、恐らく、例えば、安全性に関連した所定の規準に従って所要の動作をランク付けするために、データを解釈しなければならない。関連データはシーン解釈モジュール３６にさらにフィードバックされる。
【００７７】
サブシステム３８は、運転者へ向けられ、ＨＭＩ４４を介して出力される警報メッセージを生成する。適当なインターフェイスは、例えば、ＬＥＤ、ディスプレイ若しくはフロントシールドへの数字若しくはテキストの出力、又は、音声メッセージのような視覚又は聴覚インターフェイスを備える。
【００７８】
行われるべき一つ以上の動作に関連するデータは、その後に、エージェントの出力段、すなわち、ＡＣＣ、車線維持又は衝突回避機能のような運転者支援モジュールが置かれた動き生成モジュール４０へ引き渡される。物体の物理的記述に関連した付加的なデータがシーン表現モジュール２８から配信されることがある。運転者の意図に関連したさらなるデータは運転者１４からＨＭＩ３４を介して入力される。モジュール４０において、上流モジュールによって計算された動作が一つに併合される。例えば、運転者１４（ＨＭＩ３４）から受信された動作信号が最高優先順位を有するような動作信号の階層が導入される。
【００７９】
モジュール４０は、出力コマンドを生成し、それらを適切なアクチュエータ４２、例えば、スロットル、ブレーキだけでなく、ステアリング、ギア、及び例えば、エアバッグ、プリテンショナー、そして、恐らく、車内照明、室温調節、若しくは、ウィンドウレギュレータなどの運転者及び搭乗者に関連したアクチュエータをはじめとするさらなるアクチュエータに送信する。
【００８０】
本明細書に記載された発明の実施形態は、運転者と運転支援エージェントとの間の多種多様な相互作用を提供する。関連した運転者の動作は運転者モデルによって表現され、さらに動き生成に直接的な影響を与える。エージェントは、警報、又は、より一般的には、シーン解釈モジュールによって生成された情報メッセージによって、そしてさらに運転者に関連したアクチュエータを制御することによって運転者をサポートする。よって、発明のシステムは、複雑な相互作用を可能にさせ、運転者に押し付けることなく運転者を支援するため十分にフレキシブルである。
【００８１】
図２は、シーン表現を生成するため感知情報を融合する第１のサブシステムと、外部シーンに関する一部の意味のある情報が最適動作を選択するため利用できるような形で現在のシーンを解釈する第４のサブシステムの機能的な細部を概略形式で示す。
【００８２】
外部センシングモジュール２２は、例えば、視覚的外部センシングユニット５０及び拡張外部センシングユニット５２を備える。視覚的外部センシングユニット５０は、カメラ、レーダー及びライダーのような投射型センサ要素によってすべての知覚情報を捕捉するが、拡張外部センシングユニット５２は、ラジオ交通レポート、又は、車両間の通信メッセージといった視覚的レンジを拡張するデジタル地図データ及び情報のような非投射型要素から情報を受信する。
【００８３】
視覚的に捕捉されたデータは特長抽出ユニット５４へ転送され、特長抽出ユニットは、センサ測定量の特有の特長、例えば、カメラ画像内のエッジ、及びステレオカメラシステムの視差（奥行き）、又は、レーダー／ライダー装置からの距離及び速度を決定する。さらに、グローバルシーン記述ユニット４６に供給する全体的な特長が抽出される。カメラ画像からの適当な全体的な特長は、周波数成分（フーリエスペクトル、ガボールウェーブレット）又は電力密度スペクトルから決定される。
【００８４】
ユニット５４によって配信される特長は、ユニット５６によって別個の特長形式から物体仮説(object hypothesis:物体の推測)を生成するために、クラスタ化され、及び／又は、物体モデルと照合される。物体仮説は、付加的な情報統合及び整合性検証によってさらに確認される実世界物体の候補として定義される。
【００８５】
物体仮説自体と対応する特長の両方は、ユニット６２によって、（必要に応じて）適当な座標系に変換され、情報融合システム２６に直接的に供給される。融合システム２６は、ユニット６４における特長結合プロセスに基づいてユニット６６において融合された物体仮説を生成する。異なるだけでなく冗長である特長形式は、対応する物体仮説をサポートし、知覚データの矛盾を廃棄するために融合される。物体仮説の融合及び特長の結合は、この融合アーキテクチャにおいて協働し、一般に統計的な融合方法又はニューラルネットワークによって実行される。特長結合のため役立つアルゴリズムは当業者に既知であるので、本明細書では説明されない。測定雑音及び不確実情報に対するロバスト性は、特長と物体仮説の両方の一時的な追跡（ユニット６８）によって達成される。
【００８６】
融合された物体仮説は、物体タイプ、例えば、「車」、「歩行者」又は「交通標識」の点から物体の意味記述を配信する視覚的物体カテゴリー化ユニット７０によってさらに検証される。
【００８７】
物体の物理的記述（位置、速度、加速度）及び対応する物体タイプは、近距離視覚的シーン探索のため使用されるユニット７２における２．５次元スケッチとしてシーン表現モジュール２８に格納される。用語「２．５（２・１／２）次元スケッチ」は、２次元投影型センサ要素を使用するだけでシーンの実際の３次元特性を完全に探索することは不可能であることを表現する。
【００８８】
ユニット７０によって配信された物体カテゴリーは、知識ベース５８を介して、ある属性にリンクされ、例えば、検出物体のある属性は物体の堅固さに基づいて様々な危険カテゴリーを記述する。その他の属性は、可能な運動パラメータ、又は、追跡ユニット６８を適合させる運動モデルである。属性はユニット７２においても表現される。
【００８９】
拡張外部センシングモジュール５２からのデータは、視覚的外部センシングモジュール５０によって捕捉することができない車両の周りの交通状況に関する関連情報を抽出するために、種々のメッセージからの地図データ解析及びレポート解析を実行する情報抽出モジュール６０に直接的に供給される。取得された情報は、マッピングユニット６２によって、ユニット７４内の２次元空間点物体表現にマップされる。ユニット７４における表現は、ある種の「鳥瞰図的な」長距離環境地図であり、センサ融合モジュール２６内で注意を導き、そして、予測をサポートする２．５次元スケッチ表現７２における特定の領域を予めアクティブ化するため役立つ。
【００９０】
ユニット７４で利用可能なデータの例は、満足できる目標検出に集中する融合システムを予めアクティブ化するために、車線検出手順、又は、交通渋滞及び事故のおおよその位置をガイドする地図データ情報のような曲線である。
【００９１】
２．５次元スケッチ表現に蓄積されたデータは、取得された物体情報に基づいて現在の状況で何が進行中であるかという一種の「理解」をエージェントに与えるシーン解釈モジュール３６内でさらに評価される。シーンを理解するためのある種の解釈は、検出された交通標識を様々な車線に割り当てること、又は、検出された障害物を様々な車線に割り当てることである。同様に、道路上にある物、又は、車両が進行する場所の解釈は、シーン解釈モジュール３６のタスクに属する。
【００９２】
モジュール３６は、決定／動作選択モジュール３８に、車線数、その車線内の障害物といった離散的な意味情報と、シーンの物理的特性（距離、速度）といった連続的な情報を含む現在のシーンのある状態を供給する。その情報と、乗員モニタリングから取得され、運転者モデルによって配信された運転者の状態とに基づいて、決定システム３８は、シーンの状態空間を解析することにより最適な動きを選択する。
【００９３】
シーン解釈モジュール３６はさらに情報、すなわち、交通標識及び車線構成をグローバルシーン記述ユニット４６へ転送する。グローバルシーン記述ユニット４６は、既に上述したように、特長抽出ユニット５４によって配信される全体的な特長を使用してシーンの全体的な局面を決定する。
【００９４】
それは、異なるグローバルシーンに出現する異なる統計量に従って視覚的物体カテゴリー化ユニット７０を調整する。シーンの全体的な局面（都会、都会以外、高速道路）は、さらに、現在の状況で有効である交通規則の適切な集合を決定する知識ベース４８に供給される。これらの規則は、動作選択モジュール３８のある制約を表現する。さらに、モジュール３８は、タスク又は動作に依存して関連物体をフィルタリングする注意／関連性フィルタリングモジュール７６をガイドする。関連性フィルタリングモジュール７６は、例えば、車線内にあるか、又は、車両に関して車線の近くにある関連物体だけを配信することがあるモジュール３６から、解釈された情報をさらに受信する。
【００９５】
ユニット３８からの動作選択情報は、シーン表現ユニット２８によって配信された物理的物体情報に基づいて車両を制御する種々の運転者支援モジュール４０を作動させるか、停止状態にするか、又は、組み合わせる。可能な機能は、縦方向制御（ＡＣＣ、ＡＣＣ停止及び進行）、横方向制御（車線維持、車線逸脱警報）、衝突回避／軽減、交通規則に従う警報などである。
【００９６】
内部センシングモジュール２４は、既に上述したように平滑化／安定化前処理ユニット２０に接続される。内部車両データは、例えば、投影変換、並びに、特長結合プロセスのため、チルト角情報を使用してマッピングを訂正する変換／マッピングユニット６２において使用され、決定／動作選択モジュール３８及び支援モジュール４０に車両の内部状態及びダイナミクスを供給する車両モデル３０において使用される。
【図面の簡単な説明】
【００９７】
【図１】本発明による運転者支援システムの一実施形態を機能ブロック図の形式で示す図である。
【図２】図１の実施形態の情報融合サブシステム、シーン表現サブシステム、及び解釈サブシステムの細部を概略形式で示す図である。
【符号の説明】
【００９８】
１０ 車両の環境
１２ 車両
１４ 運転者
１６ 搭乗者
１８ 外部センシングの前処理ユニット
２０ 内部センシングの前処理ユニット
２２ 外部センシング
２４ 内部センシング
２６ 情報融合モジュール
２８ シーン表現モジュール
３０ 車両モデルサブシステム
３２ 運転者モデルサブシステム
３４ ヒューマンマシンインターフェイス（ＨＭＩ）
３６ シーン解釈モジュール
３８ 動作選択／組み合わせサブシステム
４０ 動き生成モジュール
４２ 車両アクチュエータ
４４ ＨＭＩ
４５ 車内搭乗者センシング
４６ シーン記述モジュール
４８ 規則選択モジュール
５０ 視覚的外部センシング
５２ 拡張外部センシング
５４ 特長抽出ユニット
５６ 物体仮説生成
５８ 知識ベース
６０ 拡張情報抽出
６２ 変換／マッピングユニット
６４ 特長結合ユニット
６６ 物体仮説融合システム
６８ 追跡モジュール
７０ 視覚的物体カテゴリー化
７２ 「２．５次元スケッチ」表現
７４ ２次元点物体表現
７６ 注意／関連性フィルタリング
【技術分野】
【０００１】
本発明は、運転者支援システムと、対応する方法及びコンピュータプログラムとに関係する。
【背景技術】
【０００２】
運転者支援システムは、交通参加者の快適さ及び安全性の増大を目指す車両又は自律走行車技術の制御システムである。このようなシステムの潜在的なアプリケーションには、車線逸脱警報、車線維持、衝突警報又は回避、アダプティブクルーズコントロール、及び交通混雑時の低速自動操作が含まれる。
【０００３】
本発明との関連における運転者支援システムは、したがって、運転者によって始動又は実行される動作を「支援」することが可能であるが、車両のための制御動作を自律的に開始し遂行することも可能である。
【０００４】
既に、上記のアプリケーションのうちの単一のアプリケーションは、典型的に、多種多様の別個のセンサと、センサデータを解析し適当な出力信号を発生するセンサ制御用の電子制御ユニット（ＥＣＵ）とを必要とする。例えば、ＲＡＤＡＲ（レーダー：電波探知）センサ、及びＬＩＤＡＲ（ライダー：光探知）センサは、検出物体までの距離を正確に測定可能であるが、検出物体に関連した意味情報（例えば、車両がどの車線に位置するか、いかなる種類の物体が検出されているか）を提供しない。このような情報はビデオカメラ又はカメラによって付加的に採取されなければならない。
【０００５】
安全性を高め、新しい快適な機能で運転者及び搭乗者をサポートする一般的な傾向に起因して、最新車両内の各アプリケーションの複雑さとアプリケーションの個数は増加中であり、将来的にはさらに増加する。基本的に、複数のセンサシステムをもつ車両は対応した個数のＥＣＵを意味し、すべてのＥＣＵは互いに独立にそれらのタスクを実行する。
【０００６】
大半又は全部のＥＣＵが接続されるバスシステム、例えば、ＣＡＮ（「コントローラエリアネットワーク」）バスを車両に持たせることが既知である。ＣＡＮバスは接続されたＥＣＵ間でのデータ交換を可能にさせる。しかし、単に複数のセンサ及び／又はアプリケーションを一緒に付加し、それらをバスで相互接続するだけでは、信頼性又は安定性及びロバスト性のような局面に関して満足しうる構成は簡単な運転者支援システムだけにすぎないとされるということがわかる。
【０００７】
それでもなお、安全性をさらに高め、より快適な機能を提供し、同時に、このような新しい、及び／又は、機能強化された安全性と快適さの性能の開発のためのコストを制限することが目的である。よって、車両をアクティブに制御する単一の情報システムに、現在までの分離したセンサシステムを統合することが必要である。
【０００８】
しかし、このような動き生成の一般的なモデルは知られていない。既存の支援運転者システムは、センサ又は複数のセンサと、それに続く、特定のアプリケーションのため具体的に設計されたセンサデータ処理ステップとを備える。さらなるアプリケーションを実施するため、本質的にシステムの再設計が必要とされる。
【発明の開示】
【発明が解決しようとする課題】
【０００９】
上記の点に鑑みて、本発明の目的は、容易に適合され得るようにフレキシブルなアーキテクチャに基づく運転者支援システムを提供することである。
【００１０】
本発明のさらなる目的は、既存のシステムと比べると著しい安全性及び快適さの改良を可能にする運転者支援システムを提供することである。
【００１１】
本発明のもう一つの目的は、例えば、エネルギー消費、計算パワー又はスペースに関して制限されたリソースを共有することを可能にさせる運転者支援システム又は対応する方法を提供することである。
【００１２】
本発明のさらなる目的は、頑強な予測を行い、複雑な動きを可能にさせることができる運転者支援システムを提供することである。
【００１３】
本発明のもう一つの目的は、新しい要素を、例えば、センサ側に、機能強化された内部処理のための新しいアプリケーション又はユニットを組み込むことを容易に許すモジュラーアーキテクチャ概念を提供することである。
【００１４】
本発明のさらなる目的は、リアルタイム制御及び動作選択を可能にする運転者支援システムを提供することである。
【課題を解決するための手段】
【００１５】
上記の目的は特許請求の範囲の独立請求項の特長によって実現される。有利な特長は従属請求項に記載されている。
【００１６】
本発明の第１の態様によれば、車両の環境（environment:周囲の状況）から入ってくる外部信号を感知する第１のインターフェイスと、車両の内部信号を感知する第２のインターフェイスと、を備える運転者支援システムが提案される。さらに、車両の環境と車両の内部信号の表現を生成するために第１のインターフェイスの出力信号と第２のインターフェイスの出力信号を融合する第１のサブシステムが設けられる。第２のサブシステムは、第１のサブシステムの出力信号が供給され、車両の現在状態をモデル化する。第３のサブシステムは運転者の動きをモデル化することを目的とする。第４のサブシステムは、車両の現在の外部状況の特徴的な状態を決定するために第１のサブシステムによって表現された現在のシーンを解釈するよう構成される。第５のサブシステムが設けられ、第１、第２、第３及び第４のサブシステムの出力信号に基づいて車両のアクチュエータ及び／又は運転者への働き掛け(stimuli：刺激)を生成する。
【００１７】
第５のサブシステムは現在のシーンに応じて付加的な交通規則を使用するように設計される。
【００１８】
第５のサブシステムは、特に、生成された働き掛けに関連した情報を表現する信号を第４のサブシステムへフィードバックするよう構成される。第４のサブシステムは、第５のサブシステムのフィードバック信号に応答して現在のシーンを解釈するよう構成される。
【００１９】
本発明の別の態様によれば、車両の環境から入ってくる外部信号を感知する第１のインターフェイスと、車両の内部信号を感知する第２のインターフェイスと、を備える運転者支援システムが提案される。さらに、車両の環境と車両の内部信号の表現を生成するために第１のインターフェイスの出力信号と第２のインターフェイスの出力信号を融合する第１のサブシステムが設けられる。第２のサブシステムは、第１のサブシステムの出力信号が供給され、車両の現在状態をモデル化することを目的とし、第３のサブシステムは運転者の動きをモデル化することを目的とする。第４のサブシステムは、第１のサブシステムによって表現された現在のシーンを解釈し、第２及び第３のサブシステムの出力信号に基づいて車両のアクチュエータ及び／又は運転者への働き掛けを生成するため設けられる。
【００２０】
第４のサブシステムは現在のシーンに応じて付加的な交通規則を使用するように設計される。
【００２１】
第４のサブシステムは、外部シーンの全体的な記述を提供するシーン記述サブシステムを備えることがあり、このシーン記述サブシステムは、車両の現在の外部状況の特徴的な特長を表現する第１のサブシステムの出力信号によってグローバルシーンを決定し、決定されたグローバルシーンを表現する信号を出力するよう構成される。車両のアクチュエータ及び／又は運転者への働き掛けを生成するサブシステムは、シーン記述サブシステムの出力信号に応答してこれらの働き掛けを生成するよう構成されることがある。
【００２２】
シーン記述サブユニットは交通規則選択のための出力信号を提供する。
【００２３】
第４のサブシステムは第３のサブシステムへの働き掛けをさらに生成するよう構成される。第３のサブシステムは、第４のサブシステムの入力信号及び運転者の動作を表現するヒューマンマシンインターフェイスからの入力信号に応答して運転者の動きをモデル化するよう構成される。
【００２４】
アクチュエータ及び／又は運転者への働き掛けを生成するサブシステムは、搭乗者モニタリングからの入力信号に応答してこれらの働き掛けをさらに生成するよう構成される。
【００２５】
第１のサブシステムは、動き生成サブシステムのための物理的な物体記述を表現する出力信号を提供することがある。
【００２６】
第１のサブシステムは、第１のインターフェイスによって配信されたセンサデータを処理する情報抽出及びデータマッピングモジュールと、第１及び第２のインターフェイスの出力信号によって表現された情報を融合する情報融合モジュールと、関連した属性及び特性と共に物体を記憶する知識ベースと、外部シーンを表現するシーン表現モジュールと、を備える場合がある。
【００２７】
情報融合モジュールは、決定された物体を表現する物体信号を知識ベースへ供給する場合があり、知識ベースは、物体信号に応答して、決定された物体の属性及び／又は特性を表現する属性信号をシーン表現モジュールへ供給する場合がある。
【００２８】
情報融合モジュールは、第１のインターフェイスの出力から抽出された特長から仮定的物体特性を決定する特長サブモジュールを備える場合があり、特長を物体に結合し、物体追跡を行う物体サブモジュールをさらに備える場合がある。
【００２９】
知識ベースは、物体追跡手順の間に曖昧さを削減するために、決定された物体の可能な運動に関する制約を情報融合モジュールの追跡モジュールへ供給することがある。さらに、知識ベースの出力信号は、物体追跡モジュールのための適切な運動モデルを選択する情報を提供することがある。
【００３０】
特長サブモジュールは、グローバルシーン情報を表現する信号をシーン表現モジュールに供給し、シーン表現モジュールはグローバルシーン情報に基づいて制約を決定するよう構成される。
【００３１】
運転者の動きをモデル化する第３のサブシステムは、入力信号を一般的なマッピングコンフィギュレーションに関連したシーン表現モジュールへ供給する。
【００３２】
上記の本発明の態様のうちのいずれか一つによるシステムが設けられた車両が提案される。
【００３３】
本発明の別の態様によれば、車両の運転者を支援する方法が提案され、これらの方法の特長及び利点は上記の発明のシステムの特長及び利点から得られる。
【００３４】
本発明のさらに別の態様によれば、現在のシナリオのコンテキストにおいて関連した表現中の物体に焦点を当てるために、表現されたシーンをフィルタリングする方法が提案される。
【００３５】
本発明の一層さらに別の態様によれば、上記の方法を実施するコンピュータソフトウェアプログラムプロダクトが提案される。
【００３６】
プログラムプロダクトは、車両のプログラマブル装置に情報を送るように適合した、ファームウェアを備える。
【００３７】
本発明の別の態様によれば、発明のコンピュータソフトウェアプログラムプロダクトが記憶された記憶装置、例えば、ＣＤ−ＲＯＭ又はＤＶＤ−ＲＯＭが提案される。
【００３８】
上記の目的を確実に達成するため、本発明は、車両の環境の集中モデルを導入し、複数の先験的(priori)な分離したセンサシステムを一体化する運転者支援システムを提案する。このモデルは異なる種類のセンサによって配信されたデータを解析することにより獲得される。共通表現は、例えば、運転者のための警報メッセージ、及び／又は、システムが接続された車両の種々のアクチュエータのための制御コマンドを発生する、システムの複雑な動きの実施のため基礎を形成する。
【００３９】
本発明は運転者支援システムの一般的なアーキテクチャを提案するので、特定の別々に存在するセンサシステムが相互接続される従来技術と異なる。本発明のシステム内では、センサは特定のアプリケーションに明確に割り当てられないが、いくらかの台数の内部センサ及び外部センサが上記の環境の集中的な表現に達するようにシステムに統合される。よって、新しいアプリケーションは、車両のセンサプール(sensor pool:センサの集まり)の変更を伴うことなく定義されることがある。
【００４０】
以上により、情報融合（データ融合）が発明の運転者支援システムの重要な態様であることが明らかである。例えば、画像処理段によって獲得される物体情報は、検出環境の統一された説明に達するように、他のセンサに由来するデータ、例えば、レーダーデータと融合されるべきである。
【００４１】
記号情報を用いて、融合プロセスの結果、すなわち、シーン表現が評価され、動きが作成される。
【００４２】
本発明による運転者支援システムは、情報を運転者へ出力するため、又は、車両のアクチュエータに作用するため、運転者と独立に動作するので、システムは本文書を通じて「エージェント」と呼ばれることもある。
【００４３】
本発明の利点の一部は以下に要約される。
【００４４】
運転者支援システムのアーキテクチャは、環境の集中的な表現と、車両の自己状態とに基づく。したがって、本発明は、例えば、エネルギー、計算パワー及びスペースのような有限のリソースを節約することを可能にする。これらのリソースは、本発明による共通アーキテクチャ内で実施される種々の支援機能の間で共有される。さらに、本発明によれば、複数の制御センターが協調させられるか、又は、統合されるので、システム全体を安定化する。
【００４５】
発明のエージェントは、複数の情報ストリームを統合し、長期に亘り安定化させることを可能にさせることで、ロバスト性を保証するので、表現は、複雑な、又は、高レベルな動きを生成するため適した形式である。
【００４６】
発明のエージェントは、高レベルリアルタイム制御及び動作選択のための利用可能な情報へのインスタントアクセスを提供する。シーン全体を詳細に解釈することは技術的に実現可能でないので、認識は予測によって体系化され、サポートされ、このようにして、複雑な動きを可能にする。
【００４７】
発明のモデルは、最小コスト及び努力で技術の進歩に追随するために、要素（サブシステム、モジュール、ユニット）を容易に交換することを可能にさせるオープンモジュラー構造を記述する。最終的には、このモデルはヒューマンファクタを容易に考慮することも可能にする。
【発明を実施するための最良の形態】
【００４８】
本発明のさらなる態様及び利点は、従属請求項と同様に、添付図面に関して発明の実施形態の後の説明から明らかになる。
【００４９】
図面中、同じ参照番号は同じ要素又は類似した要素に使用される。
【００５０】
図１は、発明の運転者支援システムの具体的な実施形態を機能ブロック図の形式で示す。システムは、その環境１０、環境１０と相互作用する車両１２、運転者１４、及び恐らくさらなる搭乗者１６と接続される。
【００５１】
運転者支援システムは、エージェントとして、例えば、自律的に動作するソフトウェアシステム（ファームウェア）、すなわち例えば、車両１２の一部としてのプログラマブル装置（図示せず）がぱっと浮かぶが、として車両において実施される。この装置は、単一の集中処理ユニットでもよく、車両１２の全体に亘って分布した複数のプロセッサを含んでいてもよい。
【００５２】
図１は、発明のエージェントと運転者１４との間の相互作用を詳細に示す。外部システム又は人間、例えば、ガレージ(garage)のサービスマンとのさらなる可能な相互作用は明瞭にするために省略される。
【００５３】
システムの機能コンポーネントが最初に概説される。原則的に、エージェントは、入力段（入力データのためのインターフェイス）と、処理段と、出力段（出力データのためのインターフェイス）とを備える。２個の処理ユニット１８、２０は、入力段を形成する。これらは外部センシング２２（例えば、Ｒａｄａｒ、Ｌｉｄａｒ、ビデオ、ＧＰＳ、電子的な交通レポート、車両同士の通信、デジタル地図など）、及び内部センシング２４（例えば、速度、加速度、ヨーレート、チルト、高度など）とそれぞれ接続される。ユニット１８、２０は、情報融合モジュール２６と、シーン表現モジュール２８と、情報融合モジュール２６の物体情報が供給され、物体の属性をシーン表現モジュール２８へ出力する知識ベース５８と、を備える運転者支援システムの第１のサブシステムに接続される。
【００５４】
シーン表現モジュール２８は、外部センシングモジュール２２によって捕捉されたすべての関連した物体(object)（及び知識データベース５８から提供されたそれらの属性）を格納する。すべての物体は、その属性（例えば、柔らかい／堅いなどの物理的特性）と、自己中心車両座標系に関する物体の相対位置との記述集合により構成される。その上、情報融合モジュール２６から配信される「車」又は「歩行者」といった物体カテゴリーに関する意味情報と同様に、特定のエリアにおける交通渋滞の発生といったより抽象的な情報がシーン表現モジュール２８に格納される。
【００５５】
詳細は図２の記載において説明される。
【００５６】
情報融合モジュール２６は、シーン表現モジュールに格納される環境の矛盾しない表現を決定するために、前処理ユニット１８及び２０から供給された情報のすべてを組み合わせる。シーン表現のロバスト性は、モジュール２８によって配信された現在の利用可能な物体記述と同様に、融合情報の一時的な追跡によって実現され、前処理モジュール１８及び２０によって供給された新しいセンサデータを必要とする。したがって、モジュール２６及び２８は高度に相互接続される。詳細は図２の記載において説明される。
【００５７】
前処理された内部的に感知された信号は、第２のサブシステム、すなわち、車両モデルサブシステム３０へさらに供給される。
【００５８】
車両モデルサブシステム３０は、モジュール２４によって配信された内部測定値に基づいて車両の内部状態を推定するように設計される。車両モデルサブシステムは主に、一部の内部センサが故障した場合にロバスト状態推定値を生成する状態空間オブザーバ（例えば、カルマンフィルタ）として機能する。第二に、車両モデルサブシステムは、物理的制約に依存して計画された動作が達成可能であるかどうかを動作選択モジュール３８が決定することを可能にするその固有の物理的ダイナミクスについての知識をもつエージェントを提供する。
【００５９】
例えば、一つの重要な推定値は、多数の搭乗者を載せているときに変化する車両の質量である。車両の質量は、可能な加速度及び減速度に大きく影響を与えるので、衝突回避動作において考慮されなければならない。
【００６０】
第３のシステムでは、運転者モデルサブシステム３２は、運転者１４によって操作されるヒューマンマシンインターフェイス（ＨＭＩ）３４に接続される。
【００６１】
運転者モデルサブシステム３２は、ヒューマンマシンインターフェイス（ＨＭＩ）３４からの運転者の動作、及びモジュール３６により解釈された現在のシーンを観測することにより運転者の意図を決定するために機能する。この意図は、モジュール３８における動作選択プロセス中に最適な動作を選択するため重要である。例えば、方向指示器が作動され、対応する方向に障害物がシーン解釈モジュールによって検出されないならば、車線維持／車線逸脱警報の横方向制御は車線変更動作を達成するため停止状態にされるべきである。
【００６２】
シーン表現モジュール２８はシーン解釈モジュール３６に接続され、シーン解釈モジュール３６は、次には動作選択／組み合わせサブシステム３８に接続される。このサブシステム３８は、主として（低レベル）動き生成モジュール４０を備えるエージェントの出力段に接続され、動き生成モジュールは、例えば、スロットル用アクチュエータ、ブレーキ用アクチュエータ、ギアシフト用アクチュエータ、ステアリング用アクチュエータ、エアバッグやベルトプリテンショナ用の安全装置アクチュエータなどのような車両アクチュエータ４２に接続される。
【００６３】
シーン解釈モジュール３６は、検出物体に関してモジュール２８の表現されたシーンを解析する。例えば、シーン解釈モジュールは、検出された車線境界に基づいて車線情報を生成し、交通標識を正しい車線に割り当てる。さらに、関連した物体、例えば、車線内の前方にある最も近い車両が決定される。このシーン解釈モジュール３６は、認識及びサポート予測を体系化するために現在のタスクに応じて関連性フィルタリングプロセスをさらに処理する。
【００６４】
図１に示された運転者支援システム内での情報の処理は次に説明される。車両の内部状態を感知するセンサ２４は、速度、加速度、ヨーレート、チルト及びその他のセンサを備える。センサデータは適切なＨＭＩ４４を介して運転者にも伝えられる。
【００６５】
ＨＭＩ４４は、動作選択／組み合わせシステム３８からの警報を運転者１４に知らせることも可能である。
【００６６】
より詳細な情報、例えば、車両の各車輪の速度が支援システムに供給される。前処理モジュール２０は、入ってくる知覚情報の一時的な安定化及び平滑化ユニットとして機能する。さらに、前処理モジュールはセンサ情報を下流の情報融合プロセスに適合させる。例えば、情報はエージェントの処理段の時間刻みスキームに適合させられる。
【００６７】
車両の環境１０を感知するセンサ２２は、例えば、ビデオデータ、レーダーデータ及びライダーデータを配信する。さらに、無線情報、車両間通信、又は、デジタル地図による捕捉データは適切な装置によって配信される。前処理ユニット１８は、センサデータを前処理するよう構成された多数の異なる手順を含む。ユニット１８、２０の両方は、前処理されたデータを情報融合モジュール２６へ転送し、そこで、外部データと内部データが融合される。データ融合のため、ニューラルネットワークが使用され得る。
【００６８】
融合プロセスから得られるデータは、シーン表現モジュール２８へ配信され、そこで、車両１２の環境を表現するシーンが確立される。シーンは、例えば、交通状況を表現するかもしれない。一般的に、シーン表現は、例えば、車、二輪車、及び／又は、歩行者などの検出物体と、例えば、街路、草木、及び／又は、空を含む背景とを収容する。情報融合及びシーン表現のより詳細な記述は図２に関して以下に記載される。
【００６９】
シーン表現に関連したデータは、フィードバックとして、情報融合モジュール２６へも配信され、例えば、後に続く時間刻みにおける予測をサポートする。
【００７０】
本発明によれば、認識は予測によって体系化されサポートされる。運転者サブシステム３２は運転者１４からＨＭＩ３４を介してデータを受信する。よって、モジュール３２は、運転者の意図、例えば、多車線道路（例えば、高速道路など）上の計画された車線変更作戦行動を決定すること、予想することが可能である。さらに、運転者又は搭乗者に関連したデータが車両１２の内部センシング４５から受信される。中でも、内部知覚４５は、運転者の目を観察するカメラを備える。運転者モデルサブシステム３２内で、さらなるデータと組み合わされた視覚的データは、運転者の状態、例えば、運転者の目覚め／眠気の推定値に関する結論を導く。運転者モデル３２は、後述されるように、エージェントによって使用される運転者状態を決定し表現する。
【００７１】
シーン表現２８のデータはシーン解釈モジュール３６内でさらに処理される。
【００７２】
シーン解釈モジュール３６は信号を運転者モデルサブシステム３２へ出力する。適当なデータは、例えば、所定の最小値を下回る他の物体（他の車両）までの距離、又は、所定値を上回る車両（相対）速度に関する記述の表現を含む。
【００７３】
さらに、シーン解釈モジュール３６は信号を（全体的な）シーン記述モジュール４６へ供給する。ここで、全体的なシナリオ又はシーン記述が記録される。最も重要なシナリオは、「都会」環境、又は都会以外の、すなわち、「田舎」環境に関係する。付加的に、又は、代替的に、「自動車専用道路」及び「高速道路」のようなシナリオが含まれる。前処理モジュール１８から抽出される全体的な特長はシーン記述モジュール４６へそのまま転送される。
【００７４】
シーン解釈モジュール３６からのデータは、例えば、現在の状況において関連する物体に集中するため、表現されたシナリオ内で注意／関連性フィルタリングプロセスをガイドするように、モジュール２８へフィードバックされる。
【００７５】
シーン記述モジュール４６から、データが（交通）規則選択モジュール４８へ引き渡される。データは、例えば、検出された交通標識又は交通標識の組み合わせに関連した、シーン解釈３６から転送されたデータを含むこともある。モジュール４８は、交通標識及びその他の交通規則のリストと同様に、グローバルシーン記述の表現を含み、リスト内の各エントリーは、例えば、最高速度だけでなく、車線変更、駐車禁止、又は、このような同様の規則にも関連した１個以上の交通規則を指示する。グローバルシーン、及び／又は、シーン内の物体へのあらゆる種類の規則の割り当てはルール選択モジュール４８として実施される。
【００７６】
エージェントのサブシステム３８は、複数のサブシステム及びモジュールからデータを収集する。車両モデル３０は決定された車両１２の状態に関連するデータを配信する。運転者モデル３２は運転者１４の状態に関連するデータを配信する。シーン解釈３６は表現されたシーンの状態変数に関連するデータを引き渡す。シーン記述モデル４６は全体的なシナリオ及び気象条件に関連するデータを配信する。規則選択４８は車両１２又は運転者１４の将来の動作に適切な交通規則に関連するデータを配信する。サブシステム３８は行われるべき動作を定義し、そして、恐らく、例えば、安全性に関連した所定の規準に従って所要の動作をランク付けするために、データを解釈しなければならない。関連データはシーン解釈モジュール３６にさらにフィードバックされる。
【００７７】
サブシステム３８は、運転者へ向けられ、ＨＭＩ４４を介して出力される警報メッセージを生成する。適当なインターフェイスは、例えば、ＬＥＤ、ディスプレイ若しくはフロントシールドへの数字若しくはテキストの出力、又は、音声メッセージのような視覚又は聴覚インターフェイスを備える。
【００７８】
行われるべき一つ以上の動作に関連するデータは、その後に、エージェントの出力段、すなわち、ＡＣＣ、車線維持又は衝突回避機能のような運転者支援モジュールが置かれた動き生成モジュール４０へ引き渡される。物体の物理的記述に関連した付加的なデータがシーン表現モジュール２８から配信されることがある。運転者の意図に関連したさらなるデータは運転者１４からＨＭＩ３４を介して入力される。モジュール４０において、上流モジュールによって計算された動作が一つに併合される。例えば、運転者１４（ＨＭＩ３４）から受信された動作信号が最高優先順位を有するような動作信号の階層が導入される。
【００７９】
モジュール４０は、出力コマンドを生成し、それらを適切なアクチュエータ４２、例えば、スロットル、ブレーキだけでなく、ステアリング、ギア、及び例えば、エアバッグ、プリテンショナー、そして、恐らく、車内照明、室温調節、若しくは、ウィンドウレギュレータなどの運転者及び搭乗者に関連したアクチュエータをはじめとするさらなるアクチュエータに送信する。
【００８０】
本明細書に記載された発明の実施形態は、運転者と運転支援エージェントとの間の多種多様な相互作用を提供する。関連した運転者の動作は運転者モデルによって表現され、さらに動き生成に直接的な影響を与える。エージェントは、警報、又は、より一般的には、シーン解釈モジュールによって生成された情報メッセージによって、そしてさらに運転者に関連したアクチュエータを制御することによって運転者をサポートする。よって、発明のシステムは、複雑な相互作用を可能にさせ、運転者に押し付けることなく運転者を支援するため十分にフレキシブルである。
【００８１】
図２は、シーン表現を生成するため感知情報を融合する第１のサブシステムと、外部シーンに関する一部の意味のある情報が最適動作を選択するため利用できるような形で現在のシーンを解釈する第４のサブシステムの機能的な細部を概略形式で示す。
【００８２】
外部センシングモジュール２２は、例えば、視覚的外部センシングユニット５０及び拡張外部センシングユニット５２を備える。視覚的外部センシングユニット５０は、カメラ、レーダー及びライダーのような投射型センサ要素によってすべての知覚情報を捕捉するが、拡張外部センシングユニット５２は、ラジオ交通レポート、又は、車両間の通信メッセージといった視覚的レンジを拡張するデジタル地図データ及び情報のような非投射型要素から情報を受信する。
【００８３】
視覚的に捕捉されたデータは特長抽出ユニット５４へ転送され、特長抽出ユニットは、センサ測定量の特有の特長、例えば、カメラ画像内のエッジ、及びステレオカメラシステムの視差（奥行き）、又は、レーダー／ライダー装置からの距離及び速度を決定する。さらに、グローバルシーン記述ユニット４６に供給する全体的な特長が抽出される。カメラ画像からの適当な全体的な特長は、周波数成分（フーリエスペクトル、ガボールウェーブレット）又は電力密度スペクトルから決定される。
【００８４】
ユニット５４によって配信される特長は、ユニット５６によって別個の特長形式から物体仮説(object hypothesis:物体の推測)を生成するために、クラスタ化され、及び／又は、物体モデルと照合される。物体仮説は、付加的な情報統合及び整合性検証によってさらに確認される実世界物体の候補として定義される。
【００８５】
物体仮説自体と対応する特長の両方は、ユニット６２によって、（必要に応じて）適当な座標系に変換され、情報融合システム２６に直接的に供給される。融合システム２６は、ユニット６４における特長結合プロセスに基づいてユニット６６において融合された物体仮説を生成する。異なるだけでなく冗長である特長形式は、対応する物体仮説をサポートし、知覚データの矛盾を廃棄するために融合される。物体仮説の融合及び特長の結合は、この融合アーキテクチャにおいて協働し、一般に統計的な融合方法又はニューラルネットワークによって実行される。特長結合のため役立つアルゴリズムは当業者に既知であるので、本明細書では説明されない。測定雑音及び不確実情報に対するロバスト性は、特長と物体仮説の両方の一時的な追跡（ユニット６８）によって達成される。
【００８６】
融合された物体仮説は、物体タイプ、例えば、「車」、「歩行者」又は「交通標識」の点から物体の意味記述を配信する視覚的物体カテゴリー化ユニット７０によってさらに検証される。
【００８７】
物体の物理的記述（位置、速度、加速度）及び対応する物体タイプは、近距離視覚的シーン探索のため使用されるユニット７２における２．５次元スケッチとしてシーン表現モジュール２８に格納される。用語「２．５（２・１／２）次元スケッチ」は、２次元投影型センサ要素を使用するだけでシーンの実際の３次元特性を完全に探索することは不可能であることを表現する。
【００８８】
ユニット７０によって配信された物体カテゴリーは、知識ベース５８を介して、ある属性にリンクされ、例えば、検出物体のある属性は物体の堅固さに基づいて様々な危険カテゴリーを記述する。その他の属性は、可能な運動パラメータ、又は、追跡ユニット６８を適合させる運動モデルである。属性はユニット７２においても表現される。
【００８９】
拡張外部センシングモジュール５２からのデータは、視覚的外部センシングモジュール５０によって捕捉することができない車両の周りの交通状況に関する関連情報を抽出するために、種々のメッセージからの地図データ解析及びレポート解析を実行する情報抽出モジュール６０に直接的に供給される。取得された情報は、マッピングユニット６２によって、ユニット７４内の２次元空間点物体表現にマップされる。ユニット７４における表現は、ある種の「鳥瞰図的な」長距離環境地図であり、センサ融合モジュール２６内で注意を導き、そして、予測をサポートする２．５次元スケッチ表現７２における特定の領域を予めアクティブ化するため役立つ。
【００９０】
ユニット７４で利用可能なデータの例は、満足できる目標検出に集中する融合システムを予めアクティブ化するために、車線検出手順、又は、交通渋滞及び事故のおおよその位置をガイドする地図データ情報のような曲線である。
【００９１】
２．５次元スケッチ表現に蓄積されたデータは、取得された物体情報に基づいて現在の状況で何が進行中であるかという一種の「理解」をエージェントに与えるシーン解釈モジュール３６内でさらに評価される。シーンを理解するためのある種の解釈は、検出された交通標識を様々な車線に割り当てること、又は、検出された障害物を様々な車線に割り当てることである。同様に、道路上にある物、又は、車両が進行する場所の解釈は、シーン解釈モジュール３６のタスクに属する。
【００９２】
モジュール３６は、決定／動作選択モジュール３８に、車線数、その車線内の障害物といった離散的な意味情報と、シーンの物理的特性（距離、速度）といった連続的な情報を含む現在のシーンのある状態を供給する。その情報と、乗員モニタリングから取得され、運転者モデルによって配信された運転者の状態とに基づいて、決定システム３８は、シーンの状態空間を解析することにより最適な動きを選択する。
【００９３】
シーン解釈モジュール３６はさらに情報、すなわち、交通標識及び車線構成をグローバルシーン記述ユニット４６へ転送する。グローバルシーン記述ユニット４６は、既に上述したように、特長抽出ユニット５４によって配信される全体的な特長を使用してシーンの全体的な局面を決定する。
【００９４】
それは、異なるグローバルシーンに出現する異なる統計量に従って視覚的物体カテゴリー化ユニット７０を調整する。シーンの全体的な局面（都会、都会以外、高速道路）は、さらに、現在の状況で有効である交通規則の適切な集合を決定する知識ベース４８に供給される。これらの規則は、動作選択モジュール３８のある制約を表現する。さらに、モジュール３８は、タスク又は動作に依存して関連物体をフィルタリングする注意／関連性フィルタリングモジュール７６をガイドする。関連性フィルタリングモジュール７６は、例えば、車線内にあるか、又は、車両に関して車線の近くにある関連物体だけを配信することがあるモジュール３６から、解釈された情報をさらに受信する。
【００９５】
ユニット３８からの動作選択情報は、シーン表現ユニット２８によって配信された物理的物体情報に基づいて車両を制御する種々の運転者支援モジュール４０を作動させるか、停止状態にするか、又は、組み合わせる。可能な機能は、縦方向制御（ＡＣＣ、ＡＣＣ停止及び進行）、横方向制御（車線維持、車線逸脱警報）、衝突回避／軽減、交通規則に従う警報などである。
【００９６】
内部センシングモジュール２４は、既に上述したように平滑化／安定化前処理ユニット２０に接続される。内部車両データは、例えば、投影変換、並びに、特長結合プロセスのため、チルト角情報を使用してマッピングを訂正する変換／マッピングユニット６２において使用され、決定／動作選択モジュール３８及び支援モジュール４０に車両の内部状態及びダイナミクスを供給する車両モデル３０において使用される。
【図面の簡単な説明】
【００９７】
【図１】本発明による運転者支援システムの一実施形態を機能ブロック図の形式で示す図である。
【図２】図１の実施形態の情報融合サブシステム、シーン表現サブシステム、及び解釈サブシステムの細部を概略形式で示す図である。
【符号の説明】
【００９８】
１０ 車両の環境
１２ 車両
１４ 運転者
１６ 搭乗者
１８ 外部センシングの前処理ユニット
２０ 内部センシングの前処理ユニット
２２ 外部センシング
２４ 内部センシング
２６ 情報融合モジュール
２８ シーン表現モジュール
３０ 車両モデルサブシステム
３２ 運転者モデルサブシステム
３４ ヒューマンマシンインターフェイス（ＨＭＩ）
３６ シーン解釈モジュール
３８ 動作選択／組み合わせサブシステム
４０ 動き生成モジュール
４２ 車両アクチュエータ
４４ ＨＭＩ
４５ 車内搭乗者センシング
４６ シーン記述モジュール
４８ 規則選択モジュール
５０ 視覚的外部センシング
５２ 拡張外部センシング
５４ 特長抽出ユニット
５６ 物体仮説生成
５８ 知識ベース
６０ 拡張情報抽出
６２ 変換／マッピングユニット
６４ 特長結合ユニット
６６ 物体仮説融合システム
６８ 追跡モジュール
７０ 視覚的物体カテゴリー化
７２ 「２．５次元スケッチ」表現
７４ ２次元点物体表現
７６ 注意／関連性フィルタリング
【特許請求の範囲】
【請求項１】
運転者支援システムであって、
車両の環境から入ってくる外部信号を感知する第１のインターフェイスと、
前記車両の内部信号を感知する第２のインターフェイスと、
前記車両の環境についての表現を生成するために前記第１のインターフェイスの出力信号及び前記第２のインターフェイスの出力信号を融合する第１のサブシステムと、
前記第２のインターフェイスの出力信号が供給され、前記車両の現在状態をモデル化する第２のサブシステムと、
運転者の動きをモデル化する第３のサブシステムと、
前記第１のサブシステムによって表現された現在のシーンを解釈して、前記車両の現在の外部状況の特徴的な状態を決定する第４のサブシステムと、
前記第２、前記第３及び前記第４のサブシステムの出力信号に基づいて、前記車両のアクチュエータへの働き掛け、及び／又は、前記運転者への働き掛けを生成する第５のサブシステムと、
を備えるシステム。
【請求項２】
前記第５のサブシステムは、前記現在のシーンに応じた付加的な交通規則を付加的に使用するように設計される、請求項１に記載のシステム。
【請求項３】
前記第５のサブシステムは、特に前記生成された働き掛けに関連した情報を表現する信号を前記第４のサブシステムへフィードバックするよう構成され、
前記第４のサブシステムは、前記第５のサブシステムのフィードバック信号に応答して前記現在のシーンを解釈するよう構成される、
請求項１又は２に記載のシステム。
【請求項４】
運転者支援システムであって、
車両の環境から入ってくる外部信号を感知する第１のインターフェイスと、
前記車両の内部信号を感知する第２のインターフェイスと、
前記車両の環境についての表現を生成するために前記第１のインターフェイスの出力信号と前記第２のインターフェイスの出力信号を融合する第１のサブシステムと、
前記第２のインターフェイスの前記出力信号が供給され、前記車両の現在の状態をモデル化する第２のサブシステムと、
運転者の動きをモデル化する第３のサブシステムと、
前記第１のサブシステムによって表現された現在のシーンを解釈し、前記第２及び前記第３のサブシステムの出力信号に基づいて、前記車両のアクチュエータへの働き掛け、及び／又は、前記運転者への働き掛けを生成する第４のサブシステムと、
を備えるシステム。
【請求項５】
第４のサブシステムが前記現在のシーンに応じた付加的な交通規則を使用するように設計される、請求項４に記載のシステム。
【請求項６】
前記車両の現在の外部状況の特徴的な状態を表現する前記第４のサブシステムの出力信号によってグローバルシーンを決定し、前記決定されたグローバルシーンを表現する信号を出力するよう構成され、グローバルシーンの記述を提供するシーン記述サブシステムをさらに備え、
前記車両の前記アクチュエータへの働き掛け及び／又は前記運転者への働き掛けを生成するサブシステムが前記シーン記述サブシステムの出力信号に応答してこれらの働き掛けを生成するよう構成される、請求項１から５のいずれかに記載のシステム。
【請求項７】
前記シーン記述サブユニットが交通規則選択のための出力信号を提供する、請求項６記載のシステム。
【請求項８】
前記第４のサブシステムが前記第３のサブシステムへの働き掛けをさらに生成するよう構成され、前記第３のサブシステムが前記第４のサブシステムの入力信号及び前記運転者の動作を表現するヒューマンマシンインターフェイスからの入力信号に応答して前記運転者の動きをモデル化するよう構成される、請求項１から７のいずれかに記載のシステム。
【請求項９】
前記アクチュエータへの働き掛け及び／又は前記運転者への働き掛けを生成するサブシステムが搭乗者モニタリングからの入力信号に応答してこれらの働き掛けをさらに生成するよう構成される、請求項１から８のうちいずれかに記載のシステム。
【請求項１０】
前記第１のサブシステムが動き生成モジュールのための物理的な物体記述を表現する出力信号を提供する、請求項１から９のいずれかに記載のシステム。
【請求項１１】
前記第１のサブシステムが、前記第１及び第２のインターフェイスの出力信号によって表現された情報を融合する情報融合モジュールと、関連した属性と共に物体を記憶する知識ベースと、シーンを表現するシーン表現モジュールと、を備える、請求項１から１０のいずれかに記載のシステム。
【請求項１２】
前記情報融合モジュールが決定された物体を表現する物体信号を前記知識ベースへ供給し、前記知識ベースが前記物体信号に応答して前記決定された物体の属性を表現する属性信号を前記シーン表現モジュールへ供給する、請求項１１に記載のシステム。
【請求項１３】
請求項１から１２のうちいずれかに記載のシステムが設けられた車両。
【請求項１４】
車両の運転者を支援する方法であって、
前記車両の外部信号を感知するステップと、
前記車両の内部信号を感知するステップと、
前記車両の環境についての表現を生成するために、前記外部信号と前記内部信号を融合するステップと、
車両モデルと前記外部信号及び前記内部信号とに基づいて、前記車両の現在状態をモデル化するステップと、
前記運転者の動きをモデル化するステップと、
前記車両の現在の外部状況の特徴的な状態を決定するために現在のシーンを解釈するステップと、
前記車両のアクチュエータ及び／又は前記運転者への働き掛けを生成するために、前記シーンの前記特徴的な状態を前記車両の前記現在状態及び前記運転者の前記動きと組み合わせるステップと、
を備える方法。
【請求項１５】
車両の運転者を支援する方法であって、
前記車両の外部信号を感知するステップと、
前記車両の内部信号を感知するステップと、
前記車両の環境についての表現を生成するために、前記外部信号と前記内部信号を融合するステップと、
車両モデルと前記外部信号及び前記内部信号とに基づいて、前記車両の現在状態をモデル化するステップと、
前記運転者の動きをモデル化するステップと、
現在のシーンを解釈し、前記車両の状態及び前記運転者の意図に基づいて前記車両のアクチュエータ及び／又は前記運転者のための働き掛けを生成するステップと、
を備える方法。
【請求項１６】
現在のシナリオのコンテキストにおいて関連した表現中の物体に焦点を当てるために、表現されたシーンをフィルタリングする、請求項１４又は１５のいずれかに記載の方法の使用。
【請求項１７】
コンピューティング装置上で実行されるときに、請求項１４又は１５のいずれかに記載の方法を実施するコンピュータソフトウェアプログラムプロダクト。
【請求項１８】
車両のプログラマブル装置にフラッシュするように適合したファームウェアを備える、請求項１７に記載のプログラムプロダクト。
【請求項１９】
請求項１７又は１８に記載のコンピュータソフトウェアプログラムプロダクトが記憶されたデータ記憶装置。
【請求項１】
運転者支援システムであって、
車両の環境から入ってくる外部信号を感知する第１のインターフェイスと、
前記車両の内部信号を感知する第２のインターフェイスと、
前記車両の環境についての表現を生成するために前記第１のインターフェイスの出力信号及び前記第２のインターフェイスの出力信号を融合する第１のサブシステムと、
前記第２のインターフェイスの出力信号が供給され、前記車両の現在状態をモデル化する第２のサブシステムと、
運転者の動きをモデル化する第３のサブシステムと、
前記第１のサブシステムによって表現された現在のシーンを解釈して、前記車両の現在の外部状況の特徴的な状態を決定する第４のサブシステムと、
前記第２、前記第３及び前記第４のサブシステムの出力信号に基づいて、前記車両のアクチュエータへの働き掛け、及び／又は、前記運転者への働き掛けを生成する第５のサブシステムと、
を備えるシステム。
【請求項２】
前記第５のサブシステムは、前記現在のシーンに応じた付加的な交通規則を付加的に使用するように設計される、請求項１に記載のシステム。
【請求項３】
前記第５のサブシステムは、特に前記生成された働き掛けに関連した情報を表現する信号を前記第４のサブシステムへフィードバックするよう構成され、
前記第４のサブシステムは、前記第５のサブシステムのフィードバック信号に応答して前記現在のシーンを解釈するよう構成される、
請求項１又は２に記載のシステム。
【請求項４】
運転者支援システムであって、
車両の環境から入ってくる外部信号を感知する第１のインターフェイスと、
前記車両の内部信号を感知する第２のインターフェイスと、
前記車両の環境についての表現を生成するために前記第１のインターフェイスの出力信号と前記第２のインターフェイスの出力信号を融合する第１のサブシステムと、
前記第２のインターフェイスの前記出力信号が供給され、前記車両の現在の状態をモデル化する第２のサブシステムと、
運転者の動きをモデル化する第３のサブシステムと、
前記第１のサブシステムによって表現された現在のシーンを解釈し、前記第２及び前記第３のサブシステムの出力信号に基づいて、前記車両のアクチュエータへの働き掛け、及び／又は、前記運転者への働き掛けを生成する第４のサブシステムと、
を備えるシステム。
【請求項５】
第４のサブシステムが前記現在のシーンに応じた付加的な交通規則を使用するように設計される、請求項４に記載のシステム。
【請求項６】
前記車両の現在の外部状況の特徴的な状態を表現する前記第４のサブシステムの出力信号によってグローバルシーンを決定し、前記決定されたグローバルシーンを表現する信号を出力するよう構成され、グローバルシーンの記述を提供するシーン記述サブシステムをさらに備え、
前記車両の前記アクチュエータへの働き掛け及び／又は前記運転者への働き掛けを生成するサブシステムが前記シーン記述サブシステムの出力信号に応答してこれらの働き掛けを生成するよう構成される、請求項１から５のいずれかに記載のシステム。
【請求項７】
前記シーン記述サブユニットが交通規則選択のための出力信号を提供する、請求項６記載のシステム。
【請求項８】
前記第４のサブシステムが前記第３のサブシステムへの働き掛けをさらに生成するよう構成され、前記第３のサブシステムが前記第４のサブシステムの入力信号及び前記運転者の動作を表現するヒューマンマシンインターフェイスからの入力信号に応答して前記運転者の動きをモデル化するよう構成される、請求項１から７のいずれかに記載のシステム。
【請求項９】
前記アクチュエータへの働き掛け及び／又は前記運転者への働き掛けを生成するサブシステムが搭乗者モニタリングからの入力信号に応答してこれらの働き掛けをさらに生成するよう構成される、請求項１から８のうちいずれかに記載のシステム。
【請求項１０】
前記第１のサブシステムが動き生成モジュールのための物理的な物体記述を表現する出力信号を提供する、請求項１から９のいずれかに記載のシステム。
【請求項１１】
前記第１のサブシステムが、前記第１及び第２のインターフェイスの出力信号によって表現された情報を融合する情報融合モジュールと、関連した属性と共に物体を記憶する知識ベースと、シーンを表現するシーン表現モジュールと、を備える、請求項１から１０のいずれかに記載のシステム。
【請求項１２】
前記情報融合モジュールが決定された物体を表現する物体信号を前記知識ベースへ供給し、前記知識ベースが前記物体信号に応答して前記決定された物体の属性を表現する属性信号を前記シーン表現モジュールへ供給する、請求項１１に記載のシステム。
【請求項１３】
請求項１から１２のうちいずれかに記載のシステムが設けられた車両。
【請求項１４】
車両の運転者を支援する方法であって、
前記車両の外部信号を感知するステップと、
前記車両の内部信号を感知するステップと、
前記車両の環境についての表現を生成するために、前記外部信号と前記内部信号を融合するステップと、
車両モデルと前記外部信号及び前記内部信号とに基づいて、前記車両の現在状態をモデル化するステップと、
前記運転者の動きをモデル化するステップと、
前記車両の現在の外部状況の特徴的な状態を決定するために現在のシーンを解釈するステップと、
前記車両のアクチュエータ及び／又は前記運転者への働き掛けを生成するために、前記シーンの前記特徴的な状態を前記車両の前記現在状態及び前記運転者の前記動きと組み合わせるステップと、
を備える方法。
【請求項１５】
車両の運転者を支援する方法であって、
前記車両の外部信号を感知するステップと、
前記車両の内部信号を感知するステップと、
前記車両の環境についての表現を生成するために、前記外部信号と前記内部信号を融合するステップと、
車両モデルと前記外部信号及び前記内部信号とに基づいて、前記車両の現在状態をモデル化するステップと、
前記運転者の動きをモデル化するステップと、
現在のシーンを解釈し、前記車両の状態及び前記運転者の意図に基づいて前記車両のアクチュエータ及び／又は前記運転者のための働き掛けを生成するステップと、
を備える方法。
【請求項１６】
現在のシナリオのコンテキストにおいて関連した表現中の物体に焦点を当てるために、表現されたシーンをフィルタリングする、請求項１４又は１５のいずれかに記載の方法の使用。
【請求項１７】
コンピューティング装置上で実行されるときに、請求項１４又は１５のいずれかに記載の方法を実施するコンピュータソフトウェアプログラムプロダクト。
【請求項１８】
車両のプログラマブル装置にフラッシュするように適合したファームウェアを備える、請求項１７に記載のプログラムプロダクト。
【請求項１９】
請求項１７又は１８に記載のコンピュータソフトウェアプログラムプロダクトが記憶されたデータ記憶装置。
【図１】
【図２】
【図２】
【公開番号】特開２００７−５２７７８（Ｐ２００７−５２７７８Ａ）
【公開日】平成１９年３月１日（２００７．３．１）
【国際特許分類】
【出願番号】特願２００６−２１３０１０（Ｐ２００６−２１３０１０）
【出願日】平成１８年８月４日（２００６．８．４）
【出願人】（５０３１１３１８６）ホンダ リサーチ インスティテュート ヨーロッパ ゲーエムベーハー (50)
【氏名又は名称原語表記】Ｈｏｎｄａ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅ Ｅｕｒｏｐｅ ＧｍｂＨ
【Ｆターム（参考）】
【公開日】平成１９年３月１日（２００７．３．１）
【国際特許分類】
【出願日】平成１８年８月４日（２００６．８．４）
【出願人】（５０３１１３１８６）ホンダ リサーチ インスティテュート ヨーロッパ ゲーエムベーハー (50)
【氏名又は名称原語表記】Ｈｏｎｄａ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅ Ｅｕｒｏｐｅ ＧｍｂＨ
【Ｆターム（参考）】
[ Back to top ]