説明

画像データにおいて重要対象物を識別するための仮想スポットライト

車両を運転しているときに運転者を支援するために、支援システムがますます用いられている。この目的のために、カメラを用いて、車両の周辺エリアから画像データを記録し、画像データ(1)の少なくともいくつかが、対象物識別と画像処理に続いてディスプレイに表示される。画像データがカメラによって記録された後で、それらは、対象物(2、3)を識別するために、対象物識別を用いて処理される。このような方法で識別された対象物(2、3)の少なくともいくつかが、画像データ(1)をディスプレイに表示するときに強調表示される。この場合に、識別された対象物(2、3)は、表示される画像データ(1)が2つのタイプの領域に分割されるようにして、強調表示される。この場合に、第1のタイプの領域には、識別されて強調表示されることになる対象物(2、3)と、それに対応してこれらの対象物にそれぞれ直接隣接する周囲領域(2a、3a)と、が含まれる。次に、第2のタイプの領域には、第1のタイプの領域に割り当てられなかった画像データ(1)が含まれる。次に、画像データ(1)における対象物は、両方のタイプの領域における画像データが、異なるやり方で操作されて、強調表示される。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像データにおいて対象物を強調表示する方法と、請求項1及び25の前段による、この目的に適した画像ディスプレイと、に関する。
【背景技術】
【0002】
車両運転者が車両を運転しているときに運転者を支援するために、カメラシステムによって車両の周囲に関する画像データを取得して、前記データをディスプレイに表示する支援システムが、ますます用いられている。特に、夜間に走行しているときに車両運転者を支援するために、下向きヘッドライトを用いて見ることができる領域を超えて、車両運転者が見ることができる領域を著しく拡張する、暗視システムと呼ばれるものが知られている。これに関連して、周辺に関する画像データは、赤外線波長領域で取得され、運転者に表示される。赤外線波長領域から生じるこれらの画像データは、その独特な見かけにより、車両運転者にはすぐには理解できないので、これらの画像データを提示する前に、それらを画像処理システムによって調整することが適切である。
【0003】
運転者の注意を歩行者に引きつけるために、特許文献1は、運転者の視野にあるヘッドアップディスプレイを用いて、車両周辺における歩行者の位置での歩行者の表現を含むことを説明している。特に歩行者を強調表示するために、象徴的な表現の回りにフレームを含むことがまた提案されている。
【0004】
しかしながら、画像情報が象徴的形態で重ね合わされる結果としての、関連する詳細情報間の重複を避けるために、前記データを表示する前に、画像処理によって関連対象物の画像データを操作することがまた考えられる。例えば、特許文献2は、画像データを操作することによって、結果として生じる画像表現における関連対象物の輝度又は色合いに関して関連対象物を強調表示することを提案している。さらに、特許文献3は、輪郭を強めることによって、画像データにおける対象物、特に生物を強調表示することを説明している。
【0005】
このような方法で画像データにおいて強調表示される対象物の識別可能性を向上させるために、特許文献4は、さらに、画像データの色操作の前に対象物にタイプ分類を施すこと、及びこれに基づいて、タイプに特有の方法で前記対象物に着色することを提案している。
【0006】
【特許文献1】独国特許出願公開第10131720A1号明細書
【特許文献2】独国特許出願公開第102004034532A1号明細書
【特許文献3】独国出願公開第102004028324A1号明細書
【特許文献4】独国特許出願公開第10259882A1号明細書
【発明の開示】
【発明が解決しようとする課題】
【0007】
本発明の目的は、画像データにおける関連対象物の強調表示をさらに向上させることを可能にする方法およびこの方法を実行するのに適した画像ディスプレイを提供することである。
【課題を解決するための手段】
【0008】
この目的は、請求項1及び17の特徴を有する方法およびこの方法を実行するのに適した画像ディスプレイによって達成される。本発明の有利な発展形態及び改良は、従属請求項で説明する。
【0009】
画像を表示する方法では、車両の周辺エリアからの画像データがカメラによって記録され、画像データ(1)の少なくともいくつかが、対象物識別及び画像処理の後でディスプレイに表示される。カメラによる画像データの記録後、前記画像データは、記録された画像データにおいて対象物(2、3、4、5)を識別するために、対象物識別装置によって処理される。このような方法で識別された対象物(2、3、4、5)の少なくともいくつかが、画像データ(1)が表示されるときにディスプレイにおいて強調表示される。ここで、識別された対象物(2、3、4、5)の強調表示は、表示されることになる画像データ(1)が2つのタイプの領域に分割されるような方法で、創造的に実行される。これに関連して、第1のタイプの領域には、強調表示されることになる識別された対象物(2、3、4、5)と、それに対応して前記対象物にそれぞれ直接隣接する周囲領域(2a、3a、4a)と、が含まれる。次に、第2のタイプの領域には、第1のタイプの領域に割り当てられなかった画像データ(1)が含まれる。次に、画像データ(1)における対象物の強調表示は、2つのタイプの領域における画像データが異なるやり方で操作されて実行される。
【0010】
強調表示されることになる対象物の画像データが象徴的表現によって置き替えらるか、さもなければ対象物にそのまま割り当てることができる画像データが明確に操作される(コントラストの改善又は色の変更)先行技術とは異なり、対象物(2、3、4、5)は、このような対象物だけでなく、それどころか、さらにまた直接隣接する画像領域が強調表示されることによって、特に有利な方法で強調表示される。この組み合わせによって、その後均一な創造的方法で処理される第1のタイプの画像領域が結果としてもたらされる。対象物および直接隣接する周囲領域の共同処理を通して、対象物及びその直接隣接する周囲の仮想照射の印象(フラッシュライト効果)が、画像データの強調表示によって、画像ディスプレイを見ている人に有利なように生成される。例えば、これによって、強調表示される対象物を、特に夜間状況において非常に直感的な方法で知覚することが可能になる。
【0011】
強調表示されることになる関連対象物は、カメラによって記録された画像データにおいて識別されなければならないが、前記対象物の対象物輪郭は、正確に決定する必要がないという点で、さらなる利点が得られる。これは、第1のタイプの画像領域が、対象物だけでなく、対象物の直接的な周囲領域に割り当てられるためである。これらの直接的な周囲領域の適切な寸法決定が与えられれば、たとえ、特に、弱い画像コントラストの弱い照射シーンにおいて、歩行者などの複雑な対象物について頻繁に見られるケースのように、画像処理システムからの対象物識別アルゴリズムが、画像シーンから対象物をその全体的寸法で抽出することができなかったとしても、対象物が、十分な程度まで強調表示されることが一般に保証される。
【0012】
以下で図を用いてより詳細に本発明を説明する。
【発明を実施するための最良の形態】
【0013】
図1は、車両運転者がフロントガラスを通して観察できるような、又は本発明による画像処理システムに割り当てられたカメラによって取得できるような、自動車前方の典型的な交通状況を示す。この交通状況には、車線境界線(6)を有する道路が含まれる。道路のコースに沿って、その周辺に多数の木(7)がある。この道路上には、この運転者の車両の前方で車道を走行しているか又は前方の車道に駐車している車両(4)があり、一方で、この運転者の車両に向かって反対方向からやって来る車両(5)が、対向車線に位置している。さらに、交通状況には、この場面の前景において左から車道へと移動している人(2)、並びに木々の群がある区域において、より遠方で右から車道へと移動している人々のグループ(3)が含まれる。車両運転者がこの交通状況を観察するには、多くの異なる対象物を知覚し観察しなければならないので、高度の注意力が必要となる。これは、例えば、木々(7)の区域の、より遠方にいる人々のグループ(3)を考えると、既に非常に要求が厳しい。しかしながら、さらに、車両運転者はまた、対象物の位置及び運転者自身の車両についての移動に応じた危険性に関して対象物の関連性を評価するように要求される。
【0014】
したがって、この作業を実行するときに車両運転者の負担を軽減するために、カメラシステムによって交通状況を捕捉し、かつこのようにして取得した画像データを処理および調整して、前記データが、それがディスプレイに表示されたときに、交通状況の捕捉を促進するようにすることが適切である。これに関連して、画像データにおける特に考慮すべき対象物を選択すること、及びこれらの対象物を、表現範囲内において強調表示方式で表示することが適している。図1に表された交通状況のかかる調整された画像データ(1)が、図2に示されている。カメラによって交通状況から取得された画像データは、ここで、対象物分類を受け、それによって、交通状況に含まれる歩行者(2、3)が識別され、これらの歩行者が、前記画像データの直接隣接する周囲領域(2a、3a)と一緒に表現される画像データにおいて、強調表示方式で表示され得るようにする。
【0015】
もちろん、対象物分類は、適用の分野及び目的に依存して、さらなる対象物又は他の対象物の識別に適応させることができる。例えば、歩行者に加えて、車道に位置する車両を識別することがまた考えられるが、しかしながら、他の適用分野では、識別される対象物はまた、道路標識又は横断歩道とすることができる。他方では、対象物の識別及び/又は分類はまた、例えば、より遠方に位置しかつ車道から立ち去っていく人がもはや選択されずディスプレイに強調表示されないように、対象物の移動方向及び速度もまた考慮するように構成することもできる。
【0016】
図2に、よりはっきりと示されているように、対象物分類装置によって識別され、かつディスプレイの範囲内で強調表示されることになる対象物(2、3)は、それらの直接隣接する周囲領域(2a、3a)にそれぞれ割り当てられ、第1のタイプの2つの領域が生成されて、次に、これらの領域が、それらの強調表示のために、残りの画像データ(第2のタイプの画像領域)とは異なって処理又は操作されるようにする。
【0017】
次に、画像データを表示する場合に第1のタイプの画像領域の強調表示をもたらすために、一方では、これらの画像領域に割り当てられる画像データをより明るくすることが可能である。しかしながら、他方では、第1のタイプの画像領域の強調表示はまた、第2のタイプの画像領域の輝度を低減することによってもたらすこともできる。これは、図2に概略的に示す画像データ(1)に対応する。図1に示す交通状況の輝度レベルと比較した場合に、対象物(2、3)及びそれらを直接囲む画像領域(2a、3a)の輝度が一定に保たれた一方で、他の画像領域の輝度、したがって知覚可能性が著しく低減されたことは明らかである。これは、言わば、一種の暗いベールが残りの画像領域の上に配置されるという事実によって、第1のタイプの画像領域の強調表示に帰着する。しかしながら、それぞれの適用分野及び適用目的に依存して、第1のタイプの画像領域の輝度を増加すること、及び同時に第2のタイプの画像領域の輝度を低減することの両方が、有利で適切な場合がある。
【0018】
図2から、関連対象物(2、3)を直接囲む領域(2a、3a)を追加的に強調表示することによってもまた、交通状況を評価する際に有用な他の詳細情報の強調表示が、結果として、特に有利にもたらされることもまた明らかである。すなわち、ここでは、第1のタイプの強調表示された画像領域における路肩の表示である。先行技術に説明されているように、対象物(2、3)自体だけが画像データから強調表示される場合には、交通状況の評価にとってまた重要な周辺におけるこの詳細は、実際には背景へ移動してしまい、結果として、車両運転者がそれを知覚することがまた、より難しくなる。
【0019】
画像ディスプレイによって車両運転者に表示される交通状況の操作した画像データ(1)はまた、次の事実によって知覚可能にすることができる。すなわち、これらの画像領域が、第2のタイプの画像領域を暗化することの代替か又はそれに追加して、例えばコントラストの低減により、又は図式的に例えばそれらへのテクスチャの重ね合わせかさもなければ象徴化により、少なくとも部分的に単純化されるという事実である。これは、車道から比較的遠方に位置する領域部分に対しては特に適切であり、したがって、車両運転者による潜在的危険の評価については、いずれにせよ無関係である。
【0020】
画像データの操作により、第2のタイプの画像領域はまた、画像の鮮明度及び/又はこれらの画像領域における輝度を変化させることで、単純化することができる。画像の鮮明度、及び/又は輝度を変化させることによって、第2のタイプの画像領域における情報は、有利に弱められる。画像コントラストは、ここでは変化しないままであることが好ましい。これに関連して、例えばトーンマッピング法又はコントラストマスキング法と呼ばれるものなど、画像情報を変化させるためのさらなる方法が、例えばデジタル画像処理から既に周知である。
【0021】
さらに、第2のタイプの画像領域における画像データを、それらの色に関して操作すること、及び/又はこれらの画像データを、第1のタイプの画像領域との境界を明確に定めることなく、それらのカラープロファイル又は輝度プロファイルにおけるゆるやかな遷移で表示することが可能である。かかる着色により、重要で無い第2のタイプの領域は、重要な第1のタイプの領域における対象物とはっきりと区別され、その結果として、ユーザは、画像データに含まれる対象物を素早くかつ特に確実に識別することができる。
【0022】
図3は、本発明のさらなる、特に有利な改良を示す。ここで、さらなる識別対象物(4、5)に割り当てられることになる、第2のタイプの画像領域からの画像データは、第3のタイプの領域に割り当てられた。ここで示すように、さらなる対象物は、例えば車両(4、5)とすることができる。したがって、また、他の対象物、ここでは車両を、追加的に識別して第3のタイプの画像領域に別個に表示できるという事実によって、歩行者(2、3)の視覚化のために主に規定される画像表示をさらに改善することが可能である。図3に示すように、第1のタイプの強調表示された画像領域に加えて、第3のタイプの画像領域に含まれる車両(4、5)がまた、追加的に表現される。したがって、強調表示されることになる対象物だけでなく、恐らく関連するさらなる対象物もまた、画像ディスプレイにおいて第1のタイプの画像領域にはっきりと表示することが可能になる。しかしながら、ここで、第3のタイプの画像領域における対象物を異なる方法で操作して、特に、第1のタイプの画像領域における対象物の画像データを強調表示する効果を不必要に減少させることを避けるようにすることが適切である。第1のタイプの画像領域がより明るくされ、第2のタイプの画像領域がそれらの輝度に関して低減される好ましい一改良において、カメラが元々捕捉した輝度で第3のタイプの画像領域を表現して、容易に知覚可能な3段階輝度のグループ化が画像に生成されるようにすることが可能である。
【0023】
また、第3のタイプの画像領域における画像データは、それらの色に関して操作され、並びに/又はそれらが、第1のタイプ及び/若しくは第2のタイプの画像領域との境界を明確に定めることなく、それらのカラープロファイル若しくは輝度プロファイルのゆるやかな遷移で表示される可能性がある。ここで、一方では画像領域が、第2のタイプの画像領域からはっきりと区別されるような方法で、他方では第1のタイプの画像領域における対象物の画像データの強調表示が、不必要に減衰されないような方法で、色を選択することが適切である。
【0024】
第1のタイプの画像領域に割り当てられることになる画像データの、明るくするなどの意味の直接操作に対する有利な代替として、他のセンサ又はセンサストリームからのデータを利用すること、及びそれらのデータを、画像表示システムのカメラによって最初に供給された画像データの代わりに用いることがまた、考えられる。このような方法で、例えば、赤外線カメラの画像データのいくつかを、車両に同様に配置されたカラーカメラの画像データで取り替えることが可能であろう。これは、特に、強調表示されることになる対象物が交通信号システムである場合には、非常に有利になり得る。ここで、交通信号灯の強調表示は、第1のタイプの画像領域における画像データを、カラーカメラからのカラー画像情報と取り替えることによって、赤外線カメラの「黒/白」データにおいて実行することが可能である。第1のタイプの画像領域には、関連対象物(ここでは交通信号灯)及びそれらの直接的な周囲の両方が含まれるので、第1のタイプの画像領域と第2のタイプの画像領域との間の遷移における2つのカメラシステム間の視差誤差ゆえに、交通状況の画像表示にジャンプ又は歪みが生じた場合でも、それは、特に重大というわけではない。あるいは、例えば、赤外線画像における第1のタイプの画像領域を、レーダシステム、特に高解像度(画像生成)レーダシステムからの調整された情報項目と取り替えることがまた、考えられよう。
【0025】
特別な方法で、画像ディスプレイが、可視波長領域と、赤外線波長領域、特に近赤外線波長領域との両方で画像情報を取得するカメラを割り当てられることがまた考えられる。次に、これに関連して、このカメラが、可視及び赤外線波長領域の加重部分から画像データを取得すること、またはカメラによって取得された画像データが連続的に重みづけを受けることがまた考えられ、この方法で、可視の青/緑領域における画像データを減衰させることが可能であろう。
【0026】
図4における画像表現は、前に既に説明した対象物識別装置の改良に基づく。ここでは、対象物識別装置を用いて、人(2、3)と、運転者自身の車両の前方に直接位置する別の対象物(4)、ここでは同様に車両、の両方が、強調表示すべき対象物として選択された。図4から、第1のタイプの画像領域における対象物(2、3、4、5)にそれぞれ割り当てられた周囲領域(2a、3a、4a)を、その輪郭の形状において異なるように選択できることが明らかである。例えば、周囲領域2a及び3aが楕円形状の輪郭を有するのに対して、車両4に割り当てられた直接的な周囲領域(4a)は、その輪郭において対象物の形状にほぼ適合される。もちろん、用途特有のベースに基づいて、他のタイプの輪郭、特に円形輪郭又は矩形輪郭が考えられる。
【0027】
また、交通状況に含まれる関連対象物を強調表示するために、第1のタイプの画像領域における画像データを、その色に関して操作することが考えられる。これは、一方では、特に、黄色又は赤の色調への色の変化という単純な着色の形態を取ってもよい。しかしながら、他方では、第2のタイプの画像領域との境を明確に画定されずに、ゆるやかな遷移を生成するような方法で、画像データのカラープロファイル又は輝度プロファイルを形成することが可能である。画像データのかかる操作は、特に、画像データが他のセンサ又はセンサストリームから引き出された第1のタイプの画像領域のケースでは適切である。
【0028】
第1のタイプの画像領域は、これらの画像領域が点滅又は脈動(パルス)方式で表示される場合には、画像データ(1)において特にはっきりと強調表示される。これに関連して、強調表示すべき対象物が表す潜在的危険に応じて、特にまた運転者自身の車両に対する対象物の距離又は相対速度に応じて、点滅又はパルス頻度を構成することが考えられる。
【0029】
第1のタイプの画像領域における画像データの操作は、表示画像データ(1)におけるこれらの領域の強調表示が、それらの知覚可能性に関して経時的に変化するような方法で、有利に実行することができる。その結果として、例えば、新しく識別された対象物に割り当てられる画像領域が、最初に単に弱く強調表示され、次に、識別の経過に伴いはっきりと強調表示されるように保証することが可能である。このような方法では、カメラによって記録された画像データ内の対象物の識別における識別エラーは、単に取るに足らない影響を有するだけである。なぜなら、このような方法で不正確に検出された対象物の最初の弱い強調表示は、不必要に車両運転者の気をそらさないからである。
【0030】
一般に、第1のタイプの画像領域の強調表示が、画像領域に含まれる対象物(2、3、4、5)のパラメータに応じて選択される及び/又は変化すると有利である。ここで、例えば、対象物の距離、それが表す危険可能性又はその対象物タイプを示す、対象物(2、3、4、5)のパラメータを用いることが考えられる。したがって、自車両に向かって急速に移動している対象物を表す画像領域に着色するために、赤の色調を用いることが考えられよう。あるいは、遠方の対象物が表される画像領域は、弱い着色を用いて提示することができる。また、例えば、強調表示されることになった、かつ人を含む画像領域を、車両を伴う領域の色調とは異なる色調で着色し、したがって、対象物の直感的な知覚を促進することが可能であろう。
【0031】
さらに、第1のタイプの画像領域の強調表示が、対象物識別に応じて選択される場合には有利であるが、この場合に、対象物識別の信頼性及び/又は質を示す少なくとも1つのパラメータが評価される。この少なくとも1つのパラメータは、識別器ユニット又は対象物識別を実行する手段である分類器によって供給される。例えば、分類器が、その出力部において、識別の信頼性又は質を示す標準化された基準を供給する。これに関連して、識別の信頼性又は質が増加するに従い、程度のより大きな強調表示が選択されるのが好ましい。
【0032】
第1のタイプの画像領域の強調表示が、これらの画像領域のサイズの増大に基づく場合も有利である。したがって、第1のタイプの画像領域に含まれる対象物(2、3、4、5)は、それが拡大鏡を通して見られる場合と同じように、より大きな形状で表示される。その結果として、対象物(2、3、4、5)は、特に容易に知覚することができる。これに関連して、対象物(2、3、4、5)を含むそれぞれの画像領域だけをより大きな形状で表示するか、さもなければ第1のタイプのそれぞれの画像領域、及びその割り当てられた1つ又は複数の周囲領域(2a、3a、4a)をより大きな形状で表示することがまた可能である。
【0033】
第1のタイプの画像領域の強調表示は、対象物(2、3、4、5)を照射する仮想照射源によって有利に実行される。かかる仮想照射源は、例えばグラフィックスプログラムと共に標準的に用いられるが、この場合には、照射源のタイプ及びさらに多数の照射パラメータの両方を選択することができる。これに関連して、照射位置及び/又は照射方向は、例えば、ユーザが値を入力することによって自由に選択することができる。例えば、霧における従来の照射源に関連して見ることができる光線又は実際の光芒を表現することが可能である。その結果、光線又は光芒は、それぞれの対象物(2、3、4、5)の方向をユーザに示し、その結果として、表示画像において対象物(2、3、4、5)を特に容易に捕捉することができる。
【0034】
さらに有利な方法では、第1のタイプの画像領域の強調表示は、対象物(2、3、4、5)で生じる影が表現されるように実行される。仮想照射源で対象物(2、3、4、5)を照射する結果として、影が、仮想照射位置に応じて仮想3D空間に生成される。これらの影は、ディスプレイユニットにおける画像データ(1)の2D表現に有利に投影され、その結果として、3D表現の印象が、2D表現を用いて生成される。
【0035】
第1のタイプの画像領域の強調表示は、対象物(2、3、4、5)の一部だけが強調表示されるような方法で、本発明の好ましい改良において実行される。例えば、人が表される場合に、強調表示は、脚の部分でのみ実行される。その結果として、表現は、特に、複雑な周辺において単純化され、したがって、よりはっきりと表示することができる。
【0036】
特定の一方法において、第2のタイプの画像領域の表示を、第1のタイプの画像領域における対象物の識別に応じて、選択及び変化させることが、考えられる。これに関連して、例えば、対象物の距離、それが表す危険可能性又はその対象物タイプを示すこの識別された対象物(2、3)のパラメータに応じて、表現を選択及び/又は変化させることが考えられる。
【0037】
特に、対象物(2、3)が第1の画像領域において識別される場合には、第2の画像領域は、暗化して表示すべきである。これに関連して、この暗化が、複数の段階、特に2又は3段階で実行される場合に、特に有利である。したがって、特に、例えば対象物が表す危険可能性などの、第1の画像領域において識別された対象物(2、3)を表わすパラメータに、暗化の増分を結びつけることが可能である。
【0038】
本発明による画像ディスプレイを設けられた車両が、車道を走行している場合に、その動的挙動は、特に車道の凹凸ゆえに、比較的急な変化(振動及びバウンド)を頻繁に受ける。カメラと車両本体との間の堅固な連結の結果、急な動的変化によって、ディスプレイにおける画像表現の「バウンド」が引き起こされる。カメラによって記録された画像データが、変化されない方式でディスプレイに表示される場合には、この「バウンド」は、特にはっきりとは知覚されない。しかしながら、次に、対象物又は対象物領域全体が、画像表現において強調されて表示される場合に、これは、特にこれらの領域が、車両の暗い車内のディスプレイにおいて、より明るくされているときには、非常に混乱させる影響を運転者に与える可能性がある。この理由で、本発明の1つの有利な改良では、第1のタイプの強調表示される画像領域において、強調表示されることになる対象物(2、3、4、5)にそれぞれ割り当てられる周囲領域(2a、3a、4a)は、ディスプレイにおける画像データ(1)の表現において画像領域の位置がゆっくりとしか変化しないように、経時的に変化できるような方法で、割り当てられた対象物に対するその位置に関して選択される。
【0039】
第1のタイプの画像領域は、そこに位置する対象物(2、3、4、5)及び直接隣接する周囲領域(2a、3a、4a)によって画定される。対象物の追跡範囲内においてカメラによって実現される、画像データにおける対象物識別のケースにおいて、強調表示されることになる対象物が、一時的にもはや識別されなくなる場合に、必然的に、第1のタイプの対応する画像領域における強調表現の機能に影響を及ぼす。しかしながら、これは、一般に、望ましくない。なぜなら、特に、弱い光条件において、実際には存在している対象物が一時的に識別されていないことを予想することが、常に必要であるからである。しかしながら、第1のタイプの対応する画像領域の強調表示が、結果として作動したり作動停止したりすることは、見る者を非常に混乱させる。
【0040】
この理由で、本発明は、特に有利な展開において、次のことを提供する。すなわち、潜在的に第1のタイプの画像領域で表される対象物(2、3、4、5)が、第1のタイプの前記画像領域が画像データ(1)において強調されて表示されるときに、対象物識別装置によってもはや識別され得ない場合でも、この画像領域の強調表示が、特定の期間、継続される。他方では、対象物識別装置が対象物を再び識別することが可能な場合には、これは、本質的に混乱のない強調表示の継続に帰着する。見る者は、短時間、強調表示された画像領域で対象物が識別できないと単に認識するだけで、これは、引き続き混乱させるものではない。なぜなら、対象物は、恐らく今まで通りに、かすかに知覚することができるからである。
【0041】
次に、前に識別された対象物を、定義された(比較的長い)期間にわたって画像データにおいて再び識別できない場合には、第1のタイプの割り当てられた画像領域の強調表示を終了して、その後、この画像領域を第2のタイプの画像領域として扱うことが適切である。これに関連して、強調表示は、突然終了するのではなく、むしろ経時的に変化させるのが好ましく、その結果、これは、画像領域からの一種のゆっくりした退色として知覚される。
【0042】
本発明の画像ディスプレイは、音響又は触覚信号を生成するための手段に特に有利に接続される。その結果として、画像領域の視覚的な強調表示に加えて、車両の周辺エリアにおける関連対象物を示すことが可能になる。
【0043】
有利な方法では、本発明は、運転者支援システムにおいて夜間(暗視システム)に車両運転者の視野を改善するのに適しているが、この目的のために、赤外線波長領域で感度のよいカメラを画像の記録用に用いるのが好ましい。他方では、街の中心部における状況での関連情報の向上された知覚を改善するために、運転者支援システム(タウンセンタアシスタント)の範囲内での有利な利用がまた、考えられるが、この場合には、特に、交通信号システム及び/又は道路標識が、ここでの関連対象物として強調表示される。
【0044】
運転者支援システムの範囲内で本発明を用いる場合には、一方では、画像ディスプレイをヘッドアップディスプレイとして具体化することが適切であるが、他方では、ディスプレイを車両運転者のすぐ前に位置するダッシュボード領域に取り付けることがまた有利である。なぜなら、運転者は、ディスプレイを見るために、ちょっとの間、下を見るだけでよいからである。
【図面の簡単な説明】
【0045】
【図1】車両前方の交通状況を示す。
【図2】対象物識別が実行され、かつ歩行者(2、3)を含む第1のタイプの画像領域が強調表示された後の、図1における交通状況の画像データ(1)を示す。
【図3】対象物識別が実行され、かつ歩行者(2、3)を含む第1のタイプの画像領域及び車両(4、5)を含む第3のタイプの画像領域が強調表示された後の、図1における交通状況の画像データ(1)を示す。
【図4】対象物識別が実行され、かつ歩行者(2、3)を含む第1のタイプの画像領域及び前方を走行している車両(4)を含む第1のタイプのさらなる画像領域が強調表示された後の、図1における交通状況の画像データ(1)を示す。

【特許請求の範囲】
【請求項1】
車両の周辺エリアからの画像データがカメラによって記録され、記録された画像データにおける対象物(2、3、4、5)が対象物識別装置によって識別され、前記画像データ(1)の少なくともいくつかが少なくとも部分的にディスプレイに表示され、前記識別された対象物(2、3、4、5)の少なくともいくつかが、前記画像データ(1)において強調表示される画像表示方法であって、
前記識別された対象物(2、3、4、5)の強調表示が、表示される前記画像データ(1)が2つのタイプの領域に分割されるようにして実行され、
第1のタイプの領域が、強調表示されることになる前記識別された対象物(2、3、4、5)と、それに対応して前記対象物にそれぞれ直接隣接する周囲領域(2a、3a、4a)とを含み、
第2のタイプの領域が、前記第1のタイプの領域に割り当てられなかった前記画像データ(1)を含み、
前記2つのタイプの領域における画像データが異なる方法で操作されること、
を特徴とする画像表示方法。
【請求項2】
前記画像データの操作により、前記第1のタイプの画像領域が、より明るくされることを特徴とする、請求項1に記載の方法。
【請求項3】
前記画像データの操作により、前記第2のタイプの画像領域がより暗化されるか、又は前記画像領域の少なくともいくらかが、単純化されるか、若しくは概略的若しくは象徴的な表現によって取り替えられることを特徴とする、請求項1あるいは2に記載の方法。
【請求項4】
前記画像データの操作により、前記第2のタイプの画像領域が、前記画像の鮮明度及び/又はこれらの領域の輝度が変化されて単純化されることを特徴とする、請求項1〜3のいずれか一項に記載の方法。
【請求項5】
前記第2のタイプの画像領域における前記画像データが、それらの色に関して操作されること、
及び/又はそれらが、前記第1のタイプの画像領域との境界をはっきりと画定されずに、カラープロファイル若しくは輝度プロファイルにおけるゆるやかな遷移を用いて表示されることを特徴とする、請求項1〜4のいずれか一項に記載の方法。
【請求項6】
識別された対象物(2、3、4、5)に割り当てられることになる前記第2のタイプの領域における前記画像データが、第3のタイプの領域に割り当てられ、
該第3のタイプの領域における前記画像データが、前記第2のタイプの領域における前記画像データと異なって操作されることを特徴とする、請求項1〜5のいずれか一項に記載の方法。
【請求項7】
前記第3のタイプの画像領域における前記画像データが、操作を受けないことを特徴とする、請求項6に記載の方法。
【請求項8】
前記第3のタイプの画像領域における前記画像データが、それらの色に関して操作されること、
並びに/又はそれらが、前記第1のタイプの及び/若しくは前記第2のタイプの画像領域との境界をはっきりと画定されずに、カラープロファイル若しくは輝度プロファイルにおけるゆるやかな遷移を用いて表示されること、
を特徴とする、請求項6に記載の方法。
【請求項9】
前記画像データの操作により、前記第1のタイプの領域における前記画像データが、別のセンサ又は別のセンサストリームの対応する画像データによって取り替えられることを特徴とする、請求項1〜8にいずれか一項に記載の方法。
【請求項10】
前記第1のタイプの画像領域における前記対象物(2、3、4、5)にそれぞれ割り当てられる前記周囲領域(2a、3a、4a)が、楕円形若しくは円形に又は前記対象物の形状に適合された輪郭で選択されることを特徴とする、請求項1〜9のいずれか一項に記載の方法。
【請求項11】
前記第1のタイプの画像領域における前記画像データが、それらの色に関して操作されること、
及び/又はそれらが、前記第2のタイプの画像領域との境界をはっきりと画定されずに、カラープロファイル若しくは輝度プロファイルにおけるゆるやかな遷移を用いて表示されること、
を特徴とする、請求項1〜10のいずれか一項に記載の方法。
【請求項12】
前記第1のタイプの画像領域における前記画像データが、点滅又は脈動方式で表示されることを特徴とする、請求項1〜11のいずれか一項に記載の方法。
【請求項13】
前記第1のタイプの画像領域における前記画像データの操作が、前記表示された画像データ(1)におけるこれら領域の強調表示がそれらの知覚可能性に関して経時的に変化するような方法で、実行されることを特徴とする、請求項1〜12のいずれか一項に記載の方法。
【請求項14】
前記強調表示の知覚可能性が、前記画像領域に含まれる前記対象物(2、3、4、5)の識別の経過と共に増加するような方法で、前記経時的変化が生じることを特徴とする、請求項10に記載の方法。
【請求項15】
前記第1のタイプの画像領域の強調表示が、前記画像領域に含まれる前記対象物(2、3、4、5)のパラメータに応じて選択される及び/又は変化することであって、
前記パラメータが、前記対象物(2、3、4、5)の距離、それが表す危険可能性又はその対象物タイプであることを特徴とする、請求項1〜14のいずれか一項に記載の方法。
【請求項16】
前記第1のタイプの画像領域の強調表示が、前記対象物識別に応じて選択されることであって、
前記対象物識別の信頼性及び/又は質を示す少なくとも1つのパラメータが評価されることを特徴とする、請求項1〜15のいずれか一項に記載の方法。
【請求項17】
前記第1のタイプの画像領域の強調表示が、これらの画像領域のサイズの増大に基づいていることを特徴とする、請求項1〜16のいずれか一項に記載の方法。
【請求項18】
前記第1のタイプの画像領域の強調表示が、対象物(2、3、4、5)を照射する仮想照射源によって実行されることを特徴とする、請求項1〜17のいずれか一項に記載の方法。
【請求項19】
前記第1のタイプの画像領域の強調表示が、対象物(2、3、4、5)に生じる影が表現されるような方法で実行されることを特徴とする、請求項1〜18のいずれか一項に記載の方法。
【請求項20】
前記第1のタイプの画像領域の強調表示が、前記対象物(2、3、4、5)のいくつかだけが強調表示されるような方法で実行されることを特徴とする、請求項1〜19のいずれか一項に記載の方法。
【請求項21】
前記第2のタイプの画像領域の表示が、前記第1のタイプの画像領域における前記対象物識別に応じて選択される又は変化することを特徴とする、請求項1〜20のいずれか一項に記載の方法。
【請求項22】
前記第2のタイプの画像領域における画像データが、暗化されて表示されることを特徴とする、請求項21に記載の方法。
【請求項23】
前記暗化が、第1の画像領域において識別された前記対象物のパラメータに応じて、複数の段階において実行されることを特徴とする、請求項22に記載の方法。
【請求項24】
前記第1のタイプの画像領域におけるそれぞれの対象物(2、3、4、5)に割り当てられる周囲領域(2a、3a、4a)が、前記ディスプレイにおける画像データ(1)の表現において前記画像領域の位置が、経時的にゆっくりとしか変化しないように、前記割り当てられた対象物に対する位置に関して選択されることを特徴とする、請求項1〜23のいずれか一項に記載の方法。
【請求項25】
前記第1のタイプの画像領域に表現され得る対象物(2、3、4、5)が、前記第1のタイプの画像領域が前記画像データ(1)に強調されて表示されるときに、前記対象物識別装置によってもはや識別されない場合でも、この画像領域の強調表示が、特定の期間継続されることを特徴とする、請求項1〜24のいずれか一項に記載の方法。
【請求項26】
前記対象物識別装置が、前記期間の満了後に、前記画像領域において対象物(2、3、4、5)をやはり識別できない場合には、前記画像領域の強調表示が終了され、前記画像領域が前記第2のタイプの画像領域として引き続いて処理されることを特徴とする、請求項22に記載の方法。
【請求項27】
前記強調表示の終了が、経時的な変化によって起こることを特徴とする、請求項23に記載の方法。
【請求項28】
車両の周辺エリアから画像データを記録するためのカメラと、記録された画像データにおいて対象物(2、3、4、5)を識別するための対象物識別装置と、前記記録された画像データの少なくとも部分を表示するためのディスプレイを有し、前記画像データの少なくともいくつかが前記ディスプレイに強調されて表示されるように該画像データを操作する画像処理装置を備える画像ディスプレイであって、
前記画像ディスプレイが、前記画像データを少なくとも2つのタイプの領域に分割するための手段を有し、
第1のタイプの領域が、強調表示される識別された対象物(2、3、4、5)と、それに対応して前記対象物にそれぞれ直接隣接する周囲領域(2a、3a、4a)とを含み、
第2のタイプの領域が、前記第1のタイプの領域に割り当てられなかった前記画像データ(1)を含むことを特徴とする画像ディスプレイ。
【請求項29】
前記カメラが、赤外線波長領域から画像データを取得することを特徴とする、請求項25に記載の画像ディスプレイ。
【請求項30】
前記カメラが、可視及び赤外線波長領域の加重部分から画像データを取得することを特徴とする、請求項25に記載の画像ディスプレイ。
【請求項31】
前記画像ディスプレイが、前記車両のダッシュボード領域に位置するディスプレイであることを特徴とする、請求項25あるいは26に記載の画像ディスプレイ。
【請求項32】
前記画像ディスプレイが、音響又は触覚信号を生成するための手段に接続され、この手段が、画像領域の視覚的な強調表示に加え、さらなる音響又は触覚信号により前記車両の周辺エリアにおける関連対象物の存在を示すことができることを特徴とする、請求項25〜27のいずれか一項に記載の画像ディスプレイ。
【請求項33】
夜間に車両運転者の視野を改善するための運転者支援システム(暗視システム)としての、請求項1〜32のいずれか一項に記載の画像ディスプレイ又は画像表示方法の使用。
【請求項34】
街の中心部における状況での関連情報の向上された知覚を改善するための運転者支援システム(タウンセンタアシスタント)としての、請求項1〜33のいずれか一項に記載の画像ディスプレイ又は画像表示方法の使用。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate


【公表番号】特表2009−530695(P2009−530695A)
【公表日】平成21年8月27日(2009.8.27)
【国際特許分類】
【出願番号】特願2008−558696(P2008−558696)
【出願日】平成19年3月12日(2007.3.12)
【国際出願番号】PCT/EP2007/002134
【国際公開番号】WO2007/107259
【国際公開日】平成19年9月27日(2007.9.27)
【出願人】(598051819)ダイムラー・アクチェンゲゼルシャフト (1,147)
【氏名又は名称原語表記】Daimler AG
【住所又は居所原語表記】Mercedesstrasse 137,70327 Stuttgart,Deutschland
【Fターム(参考)】