運転者支援情報を提供するコンピュータベースシステムおよび方法
【課題】運転者支援情報を提供するコンピュータベースシステムおよび方法を提供すること。
【解決手段】車両運転者に運転者支援情報を提供する方法であって、該方法は、車両（１）のキャプチャリングデバイス（３）によって画像を収集するステップと、該収集された画像において物体（８）または状況を自動的に認識するステップと、所定のカテゴリーのセットのうちの一カテゴリーを、該認識された物体（８）または状況に自動的に割り当てるステップと、該車両（１）の動作状態を決定するステップと、該決定された動作状態および該カテゴリーに基づいて、該運転者支援情報を自動的に生成するステップとを包含する、方法。
【解決手段】車両運転者に運転者支援情報を提供する方法であって、該方法は、車両（１）のキャプチャリングデバイス（３）によって画像を収集するステップと、該収集された画像において物体（８）または状況を自動的に認識するステップと、所定のカテゴリーのセットのうちの一カテゴリーを、該認識された物体（８）または状況に自動的に割り当てるステップと、該車両（１）の動作状態を決定するステップと、該決定された動作状態および該カテゴリーに基づいて、該運転者支援情報を自動的に生成するステップとを包含する、方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両の運転者に運転者支援情報を提供するコンピュータベースシステム、および運転者支援情報を提供する方法に関する。
【背景技術】
【０００２】
（関連技術）
多くの車両は、車両の周囲状況を感知することと、車両の運転者に運転者支援情報を出力することとを行うセンサおよびコンピュータベースシステムが装備されている。例えば、駐車距離制御システムは、車両の前後の領域を監視し、監視される領域に傷害物が存在するか否かの支援情報を車両の運転者に提供する。さらに、例えば車両は、車両の前方の道路の一区分を監視し、車両の前方を走る車両との距離に関する、または例えば車両の前方の事故または人などの障害物に関する運転者支援情報を提供するシステムが装備され得る。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
（発明の概要）
上記に説明されるシステムの開発にもかかわらず、運転中または車両の動作中、より詳細でより有用な情報を含む改善された運転者支援情報を運転者に提供するニーズがなおも残っている。
【課題を解決するための手段】
【０００４】
この目的は、請求項１に規定されるような、運転者支援情報を提供する方法、および請求項９に規定されるような、運転者支援情報を提供するコンピュータベースシステムによって達成される。従属請求項は、本発明の好ましくかつ有利な実施形態を規定する。
【０００５】
本発明に従う、車両運転者に運転者支援情報を提供する方法は、以下のステップを含む。画像は車両のキャプチャリングデバイスによって収集され、収集された画像における物体または状況は、自動的に認識される。次いで、所定のカテゴリーのセットのうちの一カテゴリーは、認識された物体または状況に自動的に割り当てられる。さらに、車両の動作状態が決定され、運転者支援情報は、決定された動作状態および割り当てられたカテゴリーに基づいて自動的に生成される。
【０００６】
画像はカメラによって収集され得、このカメラは、例えば、車両の前方、車両の後ろもしくは車両の横などの車両外の周囲状況を収集するか、または車両の内部の光景もしくは車両の運転者の光景を収集する。所定のカテゴリーのセットは、物体または車両の動作中に周囲状況もしくは車両内で通常発生する状況の複数のカテゴリーを含み得る。例えば、このセットのカテゴリーは、一般的な障害物、または、例えば、柱、石、おもちゃ、人、子供、一般的な車両、自動車、もしくは自転車などのより詳細に規定される物体を含み得る。画像が、例えば、車両が後方に走行している間の車両の後ろの周囲状況を含む場合、車両の後ろにある物体に関する、より詳細な情報が、例えば、柱、石、人、もしくは子供が車両の後ろにあることを示すカテゴリーを運転者に出力することによって運転者に提供され得る。さらに、このセットの複数のカテゴリーは、例えば、事故、目を閉じた運転者、または、一般的な危険な状況（例えば、鹿が道路を横切っているもしくは子供が道路の縁石で遊んでいる）などの特定の状況を含み得る。車両の動作状態と組み合わせて、適切な警告が運転者支援情報として車両の運転者に出力され得る。例えば、車両が走行中、運転者の目が閉じていることが検出されたとき、例えば、ベルトプレテンショナー、ベル、または車両のハンドルの振動デバイスなどの、車両の目覚まし機能が起動され得る。車両の前方の事故が決定された場合、車両の現在の速度および運転者の現在のブレーキ活動に従って、速度を下げるための警告が運転者に出力され得る。さらに、自動ブレーキ支援システムが車両を適切に減速し得る。さらに、このカテゴリーのセットは、例えば、車両の占有された席を規定するカテゴリーを含み得る。このカテゴリーに従って、車両のオーディオシステムは、車両内の席を占有する人に車両のオーディオシステムの音声出力を提供するように設定され得る。さらに、車両の内部の光景に基づいて、カテゴリーは、運転者が車両に対して規定されている認証された運転者の群に属するかどうかを示し得る。運転者が車両を出発させたいと望んだとき、車両のセキュリティシステムは、運転者が認証された運転者の群に属するかどうかを決定し、このテストに合格した場合のみ、車両を出発させることを許可する。
【０００７】
一実施形態に従って、生成された運転者支援情報は、音声メッセージとして車両の運転者に出力される。従って、例えば、車両を駐車しようとしているとき、車両の後ろの傷害物についての詳細な情報が、例えば子供または石が車両の後ろに存在するということを運転者に警告することによって音響的に提供され得る。従って、移動する可能性がある子供が車両の後ろに検出されたとき、運転者は、運転速度を適応させ、そして、それに伴いより注意深く運転するように注意を適応させ得る。
【０００８】
別の実施形態に従って、収集された画像は車両外のサーバに送信され、サーバからの応答としてカテゴリーが受信される。収集された画像をリアルタイムで分析することは、車両内で利用可能である計算能力よりもはるかに多くの計算能力を費やし得るので、このタスクはサーバによって車両外で行われ得る。サーバは、例えばインターネットなどのデータ通信ネットワークにある任意の種類のサーバまたはポータルであり得、車両から無線周波伝送を介してアクセス可能であり得る。サーバにおいて利用可能な所定のカテゴリーのセットは、サーバにおいて実装され、利用可能である最新のカテゴリーに自動的に適応され得る。従って、可能な最善の運転者支援情報が維持される。
【０００９】
別の実施形態に従って、車両の動作状態は、例えば、前方に走行中の車両、後方に走行中の車両、車線を変更している車両、車両のエンジンの動作状態、車両の地球上の位置、または車両の運転速度を含み得る。
【００１０】
本発明に従って、さらに、車両運転者に運転者支援情報を提供するコンピュータベースシステムが提供される。このシステムは、画像を収集する、車両のキャプチャリングデバイスと、収集された画像において物体または状況を認識する認識デバイスと、所定のカテゴリーのセットのうちの一カテゴリーを、認識された物体または状況に割り当てるカテゴリー分類デバイスとを含む。さらに、システムは、車両の動作状態を決定する、状態決定デバイスと、決定された動作状態およびカテゴリーに基づいて、運転者支援情報を生成するように適応している運転者支援デバイスとを含む。
【００１１】
一実施形態に従って、コンピュータベースシステムは、上記に説明される方法または上記に説明される方法の一実施形態を行うように適応されている。
【００１２】
例えば、本発明は以下の項目を提供する。
（項目１）
車両運転者に運転者支援情報を提供する方法であって、該方法は、
車両（１）のキャプチャリングデバイス（３）によって画像を収集するステップと、
該収集された画像において物体（８）または状況を自動的に認識するステップと、
所定のカテゴリーのセットのうちの一カテゴリーを、該認識された物体（８）または状況に自動的に割り当てるステップと、
該車両（１）の動作状態を決定するステップと、
該決定された動作状態および該カテゴリーに基づいて、該運転者支援情報を自動的に生成するステップと
を包含する、方法。
（項目２）
上記収集された画像を上記車両（１）外のサーバ（９）に送信するステップと、
該サーバ（９）から上記カテゴリーを受信するステップと
をさらに包含する、上記項目のいずれかに記載の方法。
（項目３）
上記生成された運転者支援情報を音声メッセージとして上記車両（１）の運転者に出力するステップをさらに包含する、上記項目のいずれかに記載の方法。
（項目４）
上記生成された運転者支援情報を車両セキュリティシステムに出力するステップをさらに包含し、該車両セキュリティシステムは、上記決定された動作状態および上記カテゴリーに応答して上記車両（１）を動作させることを可能にする、上記項目のいずれかに記載の方法。
（項目５）
上記生成された運転者支援情報を上記運転者のための警告システム（１３）に出力するステップをさらに包含する、上記項目のいずれかに記載の方法。
（項目６）
上記画像は、
上記車両（１）外の周囲状況と、
該車両（１）外の前方の周囲状況と、
該車両（１）外の後方の周囲状況と、
該車両（１）の内部の光景と、
該車両（１）の運転者の光景と
を含む群から選択される画像を含む、上記項目のいずれかに記載の方法。
（項目７）
上記所定のセットのカテゴリーは、
障害物と、
柱と、
石と、
おもちゃと、
人と、
子供と、
自動車と、
自転車と、
車両と、
事故と、
目を閉じた運転者と、
複数の認証された運転者の群のうちの一人の運転者と、
該車両内の占有された席と、
危険な状況と
を含む群から選択される複数のカテゴリーを含む、上記項目のいずれかに記載の方法。
（項目８）
上記動作状態は、
上記車両（１）が、前方に走行中であることと、
該車両（１）が、後方に走行中であることと、
該車両（１）が、車線を変更していることと、
該車両（１）のモータの動作状態と、
該車両（１）の地球上の位置と、
該車両（１）の運転速度と
を含む群から選択される動作状態を含む、上記項目のいずれかに記載の方法。
（項目９）
車両運転者に運転者支援情報を提供するコンピュータベースシステムであって、該システムは、
画像を収集する、車両（１）のキャプチャリングデバイス（３）と、
該収集された画像において物体（８）または状況を認識する認識デバイス（１０）と、
所定のカテゴリーのセットのうちの一カテゴリーを、該認識された物体（８）または状況に割り当てるカテゴリー分類デバイス（１１）と、
該車両（１）の動作状態を決定する、該車両（１）の状態決定デバイス（５）と、
該決定された動作状態および該カテゴリーに基づいて、該運転者支援情報を自動的に生成する運転者支援デバイス（６）と
を備えている、システム。
（項目１０）
上記システムは、上記項目のいずれかに記載の方法を行うように適合される、上記項目のいずれかに記載のシステム。
【００１３】
（摘要）
車両運転者に運転者支援情報を提供するコンピュータベースシステムは、画像を収集する、車両（１）のキャプチャリングデバイス（３）と、収集された画像において物体（８）または状況を認識する認識デバイス（１０）と、所定のカテゴリーのセットのうちの一カテゴリーを、認識された物体（８）または状況に割り当てるカテゴリー分類デバイス（１１）とを備えている。システムは、車両（１）の動作状態を決定する車両（１）の状態決定デバイス（５）と、決定された動作状態およびカテゴリーに基づいて、運転者支援情報を自動的に生成する運転者支援デバイス（６）とをさらに備えている。
【図面の簡単な説明】
【００１４】
【図１】本発明は、ここで添付の図面を参照してより詳細に説明され、添付の図面において、ただ一つの図は、本発明の一実施形態に従って運転者支援情報を提供するコンピュータベースシステムの概略図を示す。
【発明を実施するための形態】
【００１５】
（図面の詳細な説明）
図は、キャプチャリングデバイス３に接続された車両電子システム２と、送信デバイス４と、車両状態決定デバイス５と、運転者支援デバイス６とを含む車両１を示す。キャプチャリングデバイス３は、車両の内部および／または外部の周囲状況の画像を収集するために車両に備え付けられた１つ以上のカメラを含み得る。キャプチャリングデバイス３は、車両外の後方、車両外の前方または車両外の横において画像を収集し得る。キャプチャリングデバイス３は、例えば車両の運転席に座っている運転者などの車両内部の画像を収集するカメラをさらに含み得る。各キャプチャリングデバイス３は、関連する収集領域７の画像を収集する。キャプチャリングデバイス３によって収集される画像は、収集領域７内の物体８または状況を含み得る。
【００１６】
キャプチャリングデバイス３によって収集された画像は、車両電子システム２を経由して、送信デバイス４に通され、送信デバイス４によって車両１の外部のサーバ９に送られる。送信デバイス４とサーバ９との間の送信は、例えば、ＵＭＴＳ、ＧＰＲＳ、またはＷＬＡＮ送信などの例えば任意のワイヤレス送信を含み得る。サーバ９は、インターネットまたはデータ通信ネットワークに位置を定められる任意の種類のサーバであり得、送信デバイス４によってアクセス可能であるポータルまたはウェブサイトを提供し得る。サーバ９は、キャプチャリングデバイス３によって収集された画像を分析し収集された画像における物体８または状況を認識する認識デバイス１０を含む。さらにサーバ９は、認識された物体または状況にカテゴリーを割り当てるために、認識デバイス１０から認識された物体または状況の情報を受信するカテゴリー分類デバイス１１を含む。カテゴリーは、例えば、柱、石、おもちゃ、人、子供、自動車、自転車もしくは車両のような物体、または目を閉じた運転者、車両内の使用中の座席もしくは道路上の危険な状況のような状況を含む所定のカテゴリーのセットから選択される。割り当てられたカテゴリーは、サーバ９のカテゴリー分類デバイス１１から車両１の送信デバイス４に送られる。車両１において、送信デバイス４によって受信されるカテゴリーは、車両電子システム２によって運転者支援デバイス６に転送される。しかしながら、別の実施形態に従って、デバイス１０および１１において行われる処理はまた、十分な計算力が利用可能である場合、車両の電子システム２によって行われ得る。
【００１７】
車両状態決定デバイス５は、車両の状態情報を車両電子システム２に提供する。車両状態情報は、例えば、車両が前方に走行中もしくは後方に走行中であるかどうかの車両の走行方向、または、車両が車線を変更している場合には、車両のエンジンの動作状態もしくはエンジンが動作しているか否かの動作状態、例えば全地球測位システム（ＧＰＳ）によって提供される車両の地球上の位置、あるいは、車両の現在の運転速度を含み得る。車両状態決定デバイス５から受信された動作状態情報は、車両電子システム２よって運転者支援デバイス６に転送される。運転者支援デバイス６は、車両状態情報とカテゴリー情報とを組み合わせ、適切な運転者支援情報を生成する。運転者支援情報は、運転者を支援するために、車両１のスピーカ１２または別の警告デバイス１３を介して出力され得る。さらに、運転者支援情報は、運転者を支援するために、車両１のブレーキまたは車両１のエンジンのような車両機能を直接に制御するために運転者支援決定デバイス６によって車両電子システム２に出力される。
【００１８】
下記において、運転者支援情報を提供する、運転者支援デバイス６における動作状態とカテゴリーとを組み合せるいくつかの例が、より詳細に説明される。
【００１９】
運転者が駐車スペースに車両１を駐車しようとし、車両が後方に走行しているとき、車両１の後部に取り付けられたキャプチャリングデバイス３は、車両１の後ろの領域から画像を収集する。車両の後方におけるキャプチャリングデバイスからの画像はサーバ９に送信され、サーバ９によって車両の後ろの物体および状況が、認識され、分類される。カテゴリーは、車両１に戻るように送信され、車両が後退して走行していることを示す車両状態と組み合わされ、運転者支援デバイス６によって運転者支援情報になる。例えば車両の後ろで子供が遊んでいるとき、サーバ９は、「子供」または「遊んでいる子供」のようなカテゴリーを決定し得る。従って、運転者支援デバイス６は、車両の後ろに子供または遊んでいる子供がいるという警告を、スピーカ１２を介して運転者に出力し得る。さらに、サーバ９が車両１の後ろの、キャプチャリングデバイス３の収集領域７におもちゃが置いてあることを検出したとき、運転者支援デバイス６は、車両の後ろにおもちゃがあり、おもちゃを拾うために子供が近づき得ることを運転者に警告することを示す警告を出力し得る。
【００２０】
別の例示的実施形態に従って、キャプチャリングデバイス３は、車両内の収集領域７、特に運転者が座っている領域を収集し得る。車両が出発していないとき（これは車両のエンジンが動作していないことを意味するが）、運転者支援デバイス６は、サーバ９のヘルプによって、運転席に着いている運転者が車両を用いることを認証されている運転者のカテゴリーに属するか否かを検査し得る。運転者が認証された運転者のカテゴリーに属さない場合、運転者支援デバイス６は、車両１のエンジンを始動することを阻止する指示を車両電子システム２に送る。車両座席に認識された運転者が認証された運転者の群の運転者であるとして分類されると、運転者支援デバイス６は、車両１のエンジンを始動することを許可する指示信号を車両電子システム２に提供する。さらに、車両状態決定デバイス５によって指示されるように車両が移動中、運転者支援デバイス６は、運転席の現在認証されている運転者が目を閉じている運転者として分類されることをサーバ９から受信し得る。この場合、運転者支援デバイス６は、運転者を目覚めさせる警告を運転者に出力し得る。警告は、例えば、スピーカ１２によって出力される音響警告を含み得るか、または運転者を目覚めさせるために運転席の安全ベルトのベルトプレテンショナーを起動すること、もしくは運転者を目覚めさせるために車両のハンドルの振動デバイスを起動することを含み得る。
【００２１】
別の例示的実施形態に従って、キャプチャリングデバイス３は、車両１のいくつかの席またはすべての席を示す、車両１の内部の画像を収集し得る。サーバ９は、車両の各席に対して、人が着席しているか否かを引き出し得る。この情報に基づいて、運転者支援デバイス６は、例えば、車両の検出された席占有に従って音楽のような音声情報を出力するために車両のオーディオシステムを制御し得る。車両に運転者のみがいる場合、車両のオーディオシステムの音声出力は運転者のみに対して最適化され得、一方、何人かのより多くの人が車両にいるとき、オーディオシステムの音声出力は、車両内のすべての人に音声情報を提供するように最適化され得る。
【００２２】
さらに別の例示的実施形態に従って、キャプチャリングデバイス３は、車両の前方の収集領域７において画像を収集し得る。運転者が道路に沿って車両１を運転しているとき、運転者支援デバイス６は、異常な状況が車両の前方で生じたとき運転者に警告を提供し得る。異常な状況は、例えば、車両１の前方における工事現場または事故を含み得る。サーバ９は、収集された画像をサーバ９に格納された収集領域７の通常の光景と比較することによってそのような状況を認識し分類するために、キャプチャリングデバイス３からの画像を分析するように適合され得る。サーバ９に格納されている領域の通常の光景は、車両状態決定デバイス５によってサーバ９に提供される車両の地球上の位置情報のヘルプを得て検索され得る。車両の前方の道路における異常な状況が決定された場合、運転者支援デバイス６は、車両の運転者に音響警告を出力し得るかまたは車両のブレーキシステムを起動し得るかまたは車両のエンジンの駆動出力を減少させることによって車両の速度を減少させ得る。
【００２３】
サーバ９のカテゴリー分類デバイス１１は、サーバ９に接続されたさらなるサービスサーバ１４によって支持され得る。さらに、サーバ９によって決定されたカテゴリーに基づいて、追加の情報は、決定されたカテゴリーに関する、サーバ１４の追加のサービスからサーバ９によって検索され得る。例えば、工事現場がカテゴリー分類デバイス１１によって決定されたとき、工事現場の長さに関する追加の情報は、追加のサーバ１４からサーバ９によって検索され得、追加の情報として運転者支援デバイス６に提供され、運転者に出力され得る。さらに、上記の例において説明されるように、目を閉じた運転者がカテゴリー分類デバイス１１によって決定されたとき、駐車場またはホテルへの最短のルートがサーバ１４からサーバ９によって検索され得、休憩をとるべきという提案として運転者支援デバイス６を介して運転者に提供され得る。
【符号の説明】
【００２４】
１ 車両
２ 車両電子システム
３ キャプチャリングデバイス
４ 送信デバイス
５ 車両状態決定デバイス
６ 運転者支援デバイス
７ 収集領域
８ 物体
９ サーバ
１０ 認識デバイス
【技術分野】
【０００１】
本発明は、車両の運転者に運転者支援情報を提供するコンピュータベースシステム、および運転者支援情報を提供する方法に関する。
【背景技術】
【０００２】
（関連技術）
多くの車両は、車両の周囲状況を感知することと、車両の運転者に運転者支援情報を出力することとを行うセンサおよびコンピュータベースシステムが装備されている。例えば、駐車距離制御システムは、車両の前後の領域を監視し、監視される領域に傷害物が存在するか否かの支援情報を車両の運転者に提供する。さらに、例えば車両は、車両の前方の道路の一区分を監視し、車両の前方を走る車両との距離に関する、または例えば車両の前方の事故または人などの障害物に関する運転者支援情報を提供するシステムが装備され得る。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
（発明の概要）
上記に説明されるシステムの開発にもかかわらず、運転中または車両の動作中、より詳細でより有用な情報を含む改善された運転者支援情報を運転者に提供するニーズがなおも残っている。
【課題を解決するための手段】
【０００４】
この目的は、請求項１に規定されるような、運転者支援情報を提供する方法、および請求項９に規定されるような、運転者支援情報を提供するコンピュータベースシステムによって達成される。従属請求項は、本発明の好ましくかつ有利な実施形態を規定する。
【０００５】
本発明に従う、車両運転者に運転者支援情報を提供する方法は、以下のステップを含む。画像は車両のキャプチャリングデバイスによって収集され、収集された画像における物体または状況は、自動的に認識される。次いで、所定のカテゴリーのセットのうちの一カテゴリーは、認識された物体または状況に自動的に割り当てられる。さらに、車両の動作状態が決定され、運転者支援情報は、決定された動作状態および割り当てられたカテゴリーに基づいて自動的に生成される。
【０００６】
画像はカメラによって収集され得、このカメラは、例えば、車両の前方、車両の後ろもしくは車両の横などの車両外の周囲状況を収集するか、または車両の内部の光景もしくは車両の運転者の光景を収集する。所定のカテゴリーのセットは、物体または車両の動作中に周囲状況もしくは車両内で通常発生する状況の複数のカテゴリーを含み得る。例えば、このセットのカテゴリーは、一般的な障害物、または、例えば、柱、石、おもちゃ、人、子供、一般的な車両、自動車、もしくは自転車などのより詳細に規定される物体を含み得る。画像が、例えば、車両が後方に走行している間の車両の後ろの周囲状況を含む場合、車両の後ろにある物体に関する、より詳細な情報が、例えば、柱、石、人、もしくは子供が車両の後ろにあることを示すカテゴリーを運転者に出力することによって運転者に提供され得る。さらに、このセットの複数のカテゴリーは、例えば、事故、目を閉じた運転者、または、一般的な危険な状況（例えば、鹿が道路を横切っているもしくは子供が道路の縁石で遊んでいる）などの特定の状況を含み得る。車両の動作状態と組み合わせて、適切な警告が運転者支援情報として車両の運転者に出力され得る。例えば、車両が走行中、運転者の目が閉じていることが検出されたとき、例えば、ベルトプレテンショナー、ベル、または車両のハンドルの振動デバイスなどの、車両の目覚まし機能が起動され得る。車両の前方の事故が決定された場合、車両の現在の速度および運転者の現在のブレーキ活動に従って、速度を下げるための警告が運転者に出力され得る。さらに、自動ブレーキ支援システムが車両を適切に減速し得る。さらに、このカテゴリーのセットは、例えば、車両の占有された席を規定するカテゴリーを含み得る。このカテゴリーに従って、車両のオーディオシステムは、車両内の席を占有する人に車両のオーディオシステムの音声出力を提供するように設定され得る。さらに、車両の内部の光景に基づいて、カテゴリーは、運転者が車両に対して規定されている認証された運転者の群に属するかどうかを示し得る。運転者が車両を出発させたいと望んだとき、車両のセキュリティシステムは、運転者が認証された運転者の群に属するかどうかを決定し、このテストに合格した場合のみ、車両を出発させることを許可する。
【０００７】
一実施形態に従って、生成された運転者支援情報は、音声メッセージとして車両の運転者に出力される。従って、例えば、車両を駐車しようとしているとき、車両の後ろの傷害物についての詳細な情報が、例えば子供または石が車両の後ろに存在するということを運転者に警告することによって音響的に提供され得る。従って、移動する可能性がある子供が車両の後ろに検出されたとき、運転者は、運転速度を適応させ、そして、それに伴いより注意深く運転するように注意を適応させ得る。
【０００８】
別の実施形態に従って、収集された画像は車両外のサーバに送信され、サーバからの応答としてカテゴリーが受信される。収集された画像をリアルタイムで分析することは、車両内で利用可能である計算能力よりもはるかに多くの計算能力を費やし得るので、このタスクはサーバによって車両外で行われ得る。サーバは、例えばインターネットなどのデータ通信ネットワークにある任意の種類のサーバまたはポータルであり得、車両から無線周波伝送を介してアクセス可能であり得る。サーバにおいて利用可能な所定のカテゴリーのセットは、サーバにおいて実装され、利用可能である最新のカテゴリーに自動的に適応され得る。従って、可能な最善の運転者支援情報が維持される。
【０００９】
別の実施形態に従って、車両の動作状態は、例えば、前方に走行中の車両、後方に走行中の車両、車線を変更している車両、車両のエンジンの動作状態、車両の地球上の位置、または車両の運転速度を含み得る。
【００１０】
本発明に従って、さらに、車両運転者に運転者支援情報を提供するコンピュータベースシステムが提供される。このシステムは、画像を収集する、車両のキャプチャリングデバイスと、収集された画像において物体または状況を認識する認識デバイスと、所定のカテゴリーのセットのうちの一カテゴリーを、認識された物体または状況に割り当てるカテゴリー分類デバイスとを含む。さらに、システムは、車両の動作状態を決定する、状態決定デバイスと、決定された動作状態およびカテゴリーに基づいて、運転者支援情報を生成するように適応している運転者支援デバイスとを含む。
【００１１】
一実施形態に従って、コンピュータベースシステムは、上記に説明される方法または上記に説明される方法の一実施形態を行うように適応されている。
【００１２】
例えば、本発明は以下の項目を提供する。
（項目１）
車両運転者に運転者支援情報を提供する方法であって、該方法は、
車両（１）のキャプチャリングデバイス（３）によって画像を収集するステップと、
該収集された画像において物体（８）または状況を自動的に認識するステップと、
所定のカテゴリーのセットのうちの一カテゴリーを、該認識された物体（８）または状況に自動的に割り当てるステップと、
該車両（１）の動作状態を決定するステップと、
該決定された動作状態および該カテゴリーに基づいて、該運転者支援情報を自動的に生成するステップと
を包含する、方法。
（項目２）
上記収集された画像を上記車両（１）外のサーバ（９）に送信するステップと、
該サーバ（９）から上記カテゴリーを受信するステップと
をさらに包含する、上記項目のいずれかに記載の方法。
（項目３）
上記生成された運転者支援情報を音声メッセージとして上記車両（１）の運転者に出力するステップをさらに包含する、上記項目のいずれかに記載の方法。
（項目４）
上記生成された運転者支援情報を車両セキュリティシステムに出力するステップをさらに包含し、該車両セキュリティシステムは、上記決定された動作状態および上記カテゴリーに応答して上記車両（１）を動作させることを可能にする、上記項目のいずれかに記載の方法。
（項目５）
上記生成された運転者支援情報を上記運転者のための警告システム（１３）に出力するステップをさらに包含する、上記項目のいずれかに記載の方法。
（項目６）
上記画像は、
上記車両（１）外の周囲状況と、
該車両（１）外の前方の周囲状況と、
該車両（１）外の後方の周囲状況と、
該車両（１）の内部の光景と、
該車両（１）の運転者の光景と
を含む群から選択される画像を含む、上記項目のいずれかに記載の方法。
（項目７）
上記所定のセットのカテゴリーは、
障害物と、
柱と、
石と、
おもちゃと、
人と、
子供と、
自動車と、
自転車と、
車両と、
事故と、
目を閉じた運転者と、
複数の認証された運転者の群のうちの一人の運転者と、
該車両内の占有された席と、
危険な状況と
を含む群から選択される複数のカテゴリーを含む、上記項目のいずれかに記載の方法。
（項目８）
上記動作状態は、
上記車両（１）が、前方に走行中であることと、
該車両（１）が、後方に走行中であることと、
該車両（１）が、車線を変更していることと、
該車両（１）のモータの動作状態と、
該車両（１）の地球上の位置と、
該車両（１）の運転速度と
を含む群から選択される動作状態を含む、上記項目のいずれかに記載の方法。
（項目９）
車両運転者に運転者支援情報を提供するコンピュータベースシステムであって、該システムは、
画像を収集する、車両（１）のキャプチャリングデバイス（３）と、
該収集された画像において物体（８）または状況を認識する認識デバイス（１０）と、
所定のカテゴリーのセットのうちの一カテゴリーを、該認識された物体（８）または状況に割り当てるカテゴリー分類デバイス（１１）と、
該車両（１）の動作状態を決定する、該車両（１）の状態決定デバイス（５）と、
該決定された動作状態および該カテゴリーに基づいて、該運転者支援情報を自動的に生成する運転者支援デバイス（６）と
を備えている、システム。
（項目１０）
上記システムは、上記項目のいずれかに記載の方法を行うように適合される、上記項目のいずれかに記載のシステム。
【００１３】
（摘要）
車両運転者に運転者支援情報を提供するコンピュータベースシステムは、画像を収集する、車両（１）のキャプチャリングデバイス（３）と、収集された画像において物体（８）または状況を認識する認識デバイス（１０）と、所定のカテゴリーのセットのうちの一カテゴリーを、認識された物体（８）または状況に割り当てるカテゴリー分類デバイス（１１）とを備えている。システムは、車両（１）の動作状態を決定する車両（１）の状態決定デバイス（５）と、決定された動作状態およびカテゴリーに基づいて、運転者支援情報を自動的に生成する運転者支援デバイス（６）とをさらに備えている。
【図面の簡単な説明】
【００１４】
【図１】本発明は、ここで添付の図面を参照してより詳細に説明され、添付の図面において、ただ一つの図は、本発明の一実施形態に従って運転者支援情報を提供するコンピュータベースシステムの概略図を示す。
【発明を実施するための形態】
【００１５】
（図面の詳細な説明）
図は、キャプチャリングデバイス３に接続された車両電子システム２と、送信デバイス４と、車両状態決定デバイス５と、運転者支援デバイス６とを含む車両１を示す。キャプチャリングデバイス３は、車両の内部および／または外部の周囲状況の画像を収集するために車両に備え付けられた１つ以上のカメラを含み得る。キャプチャリングデバイス３は、車両外の後方、車両外の前方または車両外の横において画像を収集し得る。キャプチャリングデバイス３は、例えば車両の運転席に座っている運転者などの車両内部の画像を収集するカメラをさらに含み得る。各キャプチャリングデバイス３は、関連する収集領域７の画像を収集する。キャプチャリングデバイス３によって収集される画像は、収集領域７内の物体８または状況を含み得る。
【００１６】
キャプチャリングデバイス３によって収集された画像は、車両電子システム２を経由して、送信デバイス４に通され、送信デバイス４によって車両１の外部のサーバ９に送られる。送信デバイス４とサーバ９との間の送信は、例えば、ＵＭＴＳ、ＧＰＲＳ、またはＷＬＡＮ送信などの例えば任意のワイヤレス送信を含み得る。サーバ９は、インターネットまたはデータ通信ネットワークに位置を定められる任意の種類のサーバであり得、送信デバイス４によってアクセス可能であるポータルまたはウェブサイトを提供し得る。サーバ９は、キャプチャリングデバイス３によって収集された画像を分析し収集された画像における物体８または状況を認識する認識デバイス１０を含む。さらにサーバ９は、認識された物体または状況にカテゴリーを割り当てるために、認識デバイス１０から認識された物体または状況の情報を受信するカテゴリー分類デバイス１１を含む。カテゴリーは、例えば、柱、石、おもちゃ、人、子供、自動車、自転車もしくは車両のような物体、または目を閉じた運転者、車両内の使用中の座席もしくは道路上の危険な状況のような状況を含む所定のカテゴリーのセットから選択される。割り当てられたカテゴリーは、サーバ９のカテゴリー分類デバイス１１から車両１の送信デバイス４に送られる。車両１において、送信デバイス４によって受信されるカテゴリーは、車両電子システム２によって運転者支援デバイス６に転送される。しかしながら、別の実施形態に従って、デバイス１０および１１において行われる処理はまた、十分な計算力が利用可能である場合、車両の電子システム２によって行われ得る。
【００１７】
車両状態決定デバイス５は、車両の状態情報を車両電子システム２に提供する。車両状態情報は、例えば、車両が前方に走行中もしくは後方に走行中であるかどうかの車両の走行方向、または、車両が車線を変更している場合には、車両のエンジンの動作状態もしくはエンジンが動作しているか否かの動作状態、例えば全地球測位システム（ＧＰＳ）によって提供される車両の地球上の位置、あるいは、車両の現在の運転速度を含み得る。車両状態決定デバイス５から受信された動作状態情報は、車両電子システム２よって運転者支援デバイス６に転送される。運転者支援デバイス６は、車両状態情報とカテゴリー情報とを組み合わせ、適切な運転者支援情報を生成する。運転者支援情報は、運転者を支援するために、車両１のスピーカ１２または別の警告デバイス１３を介して出力され得る。さらに、運転者支援情報は、運転者を支援するために、車両１のブレーキまたは車両１のエンジンのような車両機能を直接に制御するために運転者支援決定デバイス６によって車両電子システム２に出力される。
【００１８】
下記において、運転者支援情報を提供する、運転者支援デバイス６における動作状態とカテゴリーとを組み合せるいくつかの例が、より詳細に説明される。
【００１９】
運転者が駐車スペースに車両１を駐車しようとし、車両が後方に走行しているとき、車両１の後部に取り付けられたキャプチャリングデバイス３は、車両１の後ろの領域から画像を収集する。車両の後方におけるキャプチャリングデバイスからの画像はサーバ９に送信され、サーバ９によって車両の後ろの物体および状況が、認識され、分類される。カテゴリーは、車両１に戻るように送信され、車両が後退して走行していることを示す車両状態と組み合わされ、運転者支援デバイス６によって運転者支援情報になる。例えば車両の後ろで子供が遊んでいるとき、サーバ９は、「子供」または「遊んでいる子供」のようなカテゴリーを決定し得る。従って、運転者支援デバイス６は、車両の後ろに子供または遊んでいる子供がいるという警告を、スピーカ１２を介して運転者に出力し得る。さらに、サーバ９が車両１の後ろの、キャプチャリングデバイス３の収集領域７におもちゃが置いてあることを検出したとき、運転者支援デバイス６は、車両の後ろにおもちゃがあり、おもちゃを拾うために子供が近づき得ることを運転者に警告することを示す警告を出力し得る。
【００２０】
別の例示的実施形態に従って、キャプチャリングデバイス３は、車両内の収集領域７、特に運転者が座っている領域を収集し得る。車両が出発していないとき（これは車両のエンジンが動作していないことを意味するが）、運転者支援デバイス６は、サーバ９のヘルプによって、運転席に着いている運転者が車両を用いることを認証されている運転者のカテゴリーに属するか否かを検査し得る。運転者が認証された運転者のカテゴリーに属さない場合、運転者支援デバイス６は、車両１のエンジンを始動することを阻止する指示を車両電子システム２に送る。車両座席に認識された運転者が認証された運転者の群の運転者であるとして分類されると、運転者支援デバイス６は、車両１のエンジンを始動することを許可する指示信号を車両電子システム２に提供する。さらに、車両状態決定デバイス５によって指示されるように車両が移動中、運転者支援デバイス６は、運転席の現在認証されている運転者が目を閉じている運転者として分類されることをサーバ９から受信し得る。この場合、運転者支援デバイス６は、運転者を目覚めさせる警告を運転者に出力し得る。警告は、例えば、スピーカ１２によって出力される音響警告を含み得るか、または運転者を目覚めさせるために運転席の安全ベルトのベルトプレテンショナーを起動すること、もしくは運転者を目覚めさせるために車両のハンドルの振動デバイスを起動することを含み得る。
【００２１】
別の例示的実施形態に従って、キャプチャリングデバイス３は、車両１のいくつかの席またはすべての席を示す、車両１の内部の画像を収集し得る。サーバ９は、車両の各席に対して、人が着席しているか否かを引き出し得る。この情報に基づいて、運転者支援デバイス６は、例えば、車両の検出された席占有に従って音楽のような音声情報を出力するために車両のオーディオシステムを制御し得る。車両に運転者のみがいる場合、車両のオーディオシステムの音声出力は運転者のみに対して最適化され得、一方、何人かのより多くの人が車両にいるとき、オーディオシステムの音声出力は、車両内のすべての人に音声情報を提供するように最適化され得る。
【００２２】
さらに別の例示的実施形態に従って、キャプチャリングデバイス３は、車両の前方の収集領域７において画像を収集し得る。運転者が道路に沿って車両１を運転しているとき、運転者支援デバイス６は、異常な状況が車両の前方で生じたとき運転者に警告を提供し得る。異常な状況は、例えば、車両１の前方における工事現場または事故を含み得る。サーバ９は、収集された画像をサーバ９に格納された収集領域７の通常の光景と比較することによってそのような状況を認識し分類するために、キャプチャリングデバイス３からの画像を分析するように適合され得る。サーバ９に格納されている領域の通常の光景は、車両状態決定デバイス５によってサーバ９に提供される車両の地球上の位置情報のヘルプを得て検索され得る。車両の前方の道路における異常な状況が決定された場合、運転者支援デバイス６は、車両の運転者に音響警告を出力し得るかまたは車両のブレーキシステムを起動し得るかまたは車両のエンジンの駆動出力を減少させることによって車両の速度を減少させ得る。
【００２３】
サーバ９のカテゴリー分類デバイス１１は、サーバ９に接続されたさらなるサービスサーバ１４によって支持され得る。さらに、サーバ９によって決定されたカテゴリーに基づいて、追加の情報は、決定されたカテゴリーに関する、サーバ１４の追加のサービスからサーバ９によって検索され得る。例えば、工事現場がカテゴリー分類デバイス１１によって決定されたとき、工事現場の長さに関する追加の情報は、追加のサーバ１４からサーバ９によって検索され得、追加の情報として運転者支援デバイス６に提供され、運転者に出力され得る。さらに、上記の例において説明されるように、目を閉じた運転者がカテゴリー分類デバイス１１によって決定されたとき、駐車場またはホテルへの最短のルートがサーバ１４からサーバ９によって検索され得、休憩をとるべきという提案として運転者支援デバイス６を介して運転者に提供され得る。
【符号の説明】
【００２４】
１ 車両
２ 車両電子システム
３ キャプチャリングデバイス
４ 送信デバイス
５ 車両状態決定デバイス
６ 運転者支援デバイス
７ 収集領域
８ 物体
９ サーバ
１０ 認識デバイス
【特許請求の範囲】
【請求項１】
車両運転者に運転者支援情報を提供する方法であって、該方法は、
車両（１）のキャプチャリングデバイス（３）によって画像を収集するステップと、
該収集された画像において物体（８）または状況を自動的に認識するステップと、
所定のカテゴリーのセットのうちの一カテゴリーを、該認識された物体（８）または状況に自動的に割り当てるステップと、
該車両（１）の動作状態を決定するステップと、
該決定された動作状態および該カテゴリーに基づいて、該運転者支援情報を自動的に生成するステップと
を包含する、方法。
【請求項２】
前記収集された画像を前記車両（１）外のサーバ（９）に送信するステップと、
該サーバ（９）から前記カテゴリーを受信するステップと
をさらに包含する、請求項１に記載の方法。
【請求項３】
前記生成された運転者支援情報を音声メッセージとして前記車両（１）の運転者に出力するステップをさらに包含する、請求項１または２に記載の方法。
【請求項４】
前記生成された運転者支援情報を車両セキュリティシステムに出力するステップをさらに包含し、該車両セキュリティシステムは、前記決定された動作状態および前記カテゴリーに応答して前記車両（１）を動作させることを可能にする、請求項１〜３のいずれかに記載の方法。
【請求項５】
前記生成された運転者支援情報を前記運転者のための警告システム（１３）に出力するステップをさらに包含する、請求項１〜４のいずれかに記載の方法。
【請求項６】
前記画像は、
前記車両（１）外の周囲状況と、
該車両（１）外の前方の周囲状況と、
該車両（１）外の後方の周囲状況と、
該車両（１）の内部の光景と、
該車両（１）の運転者の光景と
を含む群から選択される画像を含む、請求項１〜５のいずれかに記載の方法。
【請求項７】
前記所定のセットのカテゴリーは、
障害物と、
柱と、
石と、
おもちゃと、
人と、
子供と、
自動車と、
自転車と、
車両と、
事故と、
目を閉じた運転者と、
複数の認証された運転者の群のうちの一人の運転者と、
該車両内の占有された席と、
危険な状況と
を含む群から選択される複数のカテゴリーを含む、請求項１〜６のいずれかに記載の方法。
【請求項８】
前記動作状態は、
前記車両（１）が、前方に走行中であることと、
該車両（１）が、後方に走行中であることと、
該車両（１）が、車線を変更していることと、
該車両（１）のモータの動作状態と、
該車両（１）の地球上の位置と、
該車両（１）の運転速度と
を含む群から選択される動作状態を含む、請求項１〜７のいずれかに記載の方法。
【請求項９】
車両運転者に運転者支援情報を提供するコンピュータベースシステムであって、該システムは、
画像を収集する、車両（１）のキャプチャリングデバイス（３）と、
該収集された画像において物体（８）または状況を認識する認識デバイス（１０）と、
所定のカテゴリーのセットのうちの一カテゴリーを、該認識された物体（８）または状況に割り当てるカテゴリー分類デバイス（１１）と、
該車両（１）の動作状態を決定する、該車両（１）の状態決定デバイス（５）と、
該決定された動作状態および該カテゴリーに基づいて、該運転者支援情報を自動的に生成する運転者支援デバイス（６）と
を備えている、システム。
【請求項１０】
前記システムは、請求項１〜８のいずれかに記載の方法を行うように適合される、請求項９に記載のシステム。
【請求項１】
車両運転者に運転者支援情報を提供する方法であって、該方法は、
車両（１）のキャプチャリングデバイス（３）によって画像を収集するステップと、
該収集された画像において物体（８）または状況を自動的に認識するステップと、
所定のカテゴリーのセットのうちの一カテゴリーを、該認識された物体（８）または状況に自動的に割り当てるステップと、
該車両（１）の動作状態を決定するステップと、
該決定された動作状態および該カテゴリーに基づいて、該運転者支援情報を自動的に生成するステップと
を包含する、方法。
【請求項２】
前記収集された画像を前記車両（１）外のサーバ（９）に送信するステップと、
該サーバ（９）から前記カテゴリーを受信するステップと
をさらに包含する、請求項１に記載の方法。
【請求項３】
前記生成された運転者支援情報を音声メッセージとして前記車両（１）の運転者に出力するステップをさらに包含する、請求項１または２に記載の方法。
【請求項４】
前記生成された運転者支援情報を車両セキュリティシステムに出力するステップをさらに包含し、該車両セキュリティシステムは、前記決定された動作状態および前記カテゴリーに応答して前記車両（１）を動作させることを可能にする、請求項１〜３のいずれかに記載の方法。
【請求項５】
前記生成された運転者支援情報を前記運転者のための警告システム（１３）に出力するステップをさらに包含する、請求項１〜４のいずれかに記載の方法。
【請求項６】
前記画像は、
前記車両（１）外の周囲状況と、
該車両（１）外の前方の周囲状況と、
該車両（１）外の後方の周囲状況と、
該車両（１）の内部の光景と、
該車両（１）の運転者の光景と
を含む群から選択される画像を含む、請求項１〜５のいずれかに記載の方法。
【請求項７】
前記所定のセットのカテゴリーは、
障害物と、
柱と、
石と、
おもちゃと、
人と、
子供と、
自動車と、
自転車と、
車両と、
事故と、
目を閉じた運転者と、
複数の認証された運転者の群のうちの一人の運転者と、
該車両内の占有された席と、
危険な状況と
を含む群から選択される複数のカテゴリーを含む、請求項１〜６のいずれかに記載の方法。
【請求項８】
前記動作状態は、
前記車両（１）が、前方に走行中であることと、
該車両（１）が、後方に走行中であることと、
該車両（１）が、車線を変更していることと、
該車両（１）のモータの動作状態と、
該車両（１）の地球上の位置と、
該車両（１）の運転速度と
を含む群から選択される動作状態を含む、請求項１〜７のいずれかに記載の方法。
【請求項９】
車両運転者に運転者支援情報を提供するコンピュータベースシステムであって、該システムは、
画像を収集する、車両（１）のキャプチャリングデバイス（３）と、
該収集された画像において物体（８）または状況を認識する認識デバイス（１０）と、
所定のカテゴリーのセットのうちの一カテゴリーを、該認識された物体（８）または状況に割り当てるカテゴリー分類デバイス（１１）と、
該車両（１）の動作状態を決定する、該車両（１）の状態決定デバイス（５）と、
該決定された動作状態および該カテゴリーに基づいて、該運転者支援情報を自動的に生成する運転者支援デバイス（６）と
を備えている、システム。
【請求項１０】
前記システムは、請求項１〜８のいずれかに記載の方法を行うように適合される、請求項９に記載のシステム。
【図１】
【公開番号】特開２０１２−１４６８９（Ｐ２０１２−１４６８９Ａ）
【公開日】平成２４年１月１９日（２０１２．１．１９）
【国際特許分類】
【出願番号】特願２０１１−１３５３７１（Ｐ２０１１−１３５３７１）
【出願日】平成２３年６月１７日（２０１１．６．１７）
【出願人】（５０４１４７９３３）ハーマン ベッカー オートモーティブ システムズ ゲーエムベーハー (165)
【Ｆターム（参考）】
【公開日】平成２４年１月１９日（２０１２．１．１９）
【国際特許分類】
【出願日】平成２３年６月１７日（２０１１．６．１７）
【出願人】（５０４１４７９３３）ハーマン ベッカー オートモーティブ システムズ ゲーエムベーハー (165)
【Ｆターム（参考）】
[ Back to top ]