運転支援装置
【課題】運転者の身長、姿勢、座る位置に関わらず、表示装置の適切な位置に道路標示を表示することができる運転支援装置を提供する。
【解決手段】車両前方画像を取得し（Ｓ１０）、その画像を解析して、画像から道路標示を抽出する（Ｓ２０）。さらに、抽出した道路標示の車両に対する位置を算出する（Ｓ５０）。また、運転者の目の位置も検出する（Ｓ１００）。そして、道路標示の車両に対する位置と運転者の目の位置とに基づいて、ヘッドアップディスプレイ上において、運転者から見て、実際の道路標示とヘッドアップディスプレイ上の表示とが重なる位置に、Ｓ２０で抽出した道路標示を表示する。
【解決手段】車両前方画像を取得し（Ｓ１０）、その画像を解析して、画像から道路標示を抽出する（Ｓ２０）。さらに、抽出した道路標示の車両に対する位置を算出する（Ｓ５０）。また、運転者の目の位置も検出する（Ｓ１００）。そして、道路標示の車両に対する位置と運転者の目の位置とに基づいて、ヘッドアップディスプレイ上において、運転者から見て、実際の道路標示とヘッドアップディスプレイ上の表示とが重なる位置に、Ｓ２０で抽出した道路標示を表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両の運転操作を支援する装置に関し、特に、運転操作に有用な情報を表示することによって運転操作を支援する装置に関する。
【背景技術】
【０００２】
地図の道路上の複数の地点に対して、運転者の視点から見た前方の区画線形状を予め記憶装置に記憶しておき、車両が区画線形状を記憶した地点を実際に走行するときに、ヘッドアップディスプレイ上に、運転者の視点から見た前方の区画線を表示する装置が知られている（たとえば、特許文献１）。この装置によれば、運転者は、視界不良時にも、ヘッドアップディスプレイに表示された区画線を参酌することによって、前方の区画線形状を認識することができる。
【０００３】
また、見通しの悪い交差点に進入する際に、現在走行している道路と交差する道路の画像を、ナビゲーション装置のディスプレイに表示させる運転支援装置も知られている（たとえば特許文献２）。
【特許文献１】特開２０００−２１１４５２号公報
【特許文献２】特開２００７−１４０９９２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、複数人が同一の車両を運転することは通常よくあることであり、運転者の身長が異なれば運転者の目の位置は変化し、運転者の視点から見た前方の区画線形状も変化する。また、同じ運転者であっても、座る位置や姿勢が異なれば運転者の視点から見た前方の区画線形状も変化する。しかし、特許文献１に記載の装置では、区画線をヘッドアップディスプレイ上のどの位置に表示するかは予め記憶されており、また、各走行位置における区画線形状も予め設定されている。そのため、運転者の身長や運転者の座る位置、運転者の姿勢によっては、ヘッドアップディスプレイに表示される区画線が、実際の区画線から大きくずれてしまうという問題がある。
【０００５】
また、区画線以外にも、道路上には種々の道路標示が描かれており、それらも運転操作に役立つのであるが、特許文献１において表示されるのは区画線のみであった。また、運転に際しては、道路標示以外にも、車両の外に存在する種々の物体の車両に対する位置を考慮しつつ運転する必要がある。しかし、上述のように、特許文献１において表示されるのは区画線のみであり、区画線以外は、車両の外に存在する物体は表示装置に表示されない。
【０００６】
なお、特許文献２の装置では、見通しの悪い交差点に進入する際、交差する道路の画像（すなわち、車外の画像）が表示されるようになっている。しかし、特許文献２の装置は、ナビゲーション装置のディスプレイにカメラ画像をそのまま表示するだけである。そのため、画像中にどのような物体が写っているか、その物体が実際にはどこに位置するのかなどを運転者が判断する必要がある。
【０００７】
本発明は、この事情に基づいて成されたものであり、その目的とするところは、運転者の身長、姿勢、座る位置に関わらず、表示装置の適切な位置に車外の物体を表示することができる運転支援装置を提供することにある。
【課題を解決するための手段】
【０００８】
その目的を達成するための請求項１に記載の発明は、車両の外に存在する物体を検出して、その検出した物体を車室内に設けられた表示装置に表示する運転支援装置であって、運転者の目の位置を検出する目位置検出手段と、車両周囲の所定範囲の画像を撮像するカメラと、前記カメラによって撮像された画像を解析して、画像から所定の物体を抽出する抽出手段と、前記抽出手段が抽出した物体の車両に対する位置を決定する物体位置決定手段と、前記物体位置決定手段が決定した物体の車両に対する位置と、前記目位置検出手段が検出した運転者の目の位置とに基づいて、前記表示装置上の表示位置を決定し、その決定した表示位置に前記抽出手段が抽出した物体を表示する表示制御手段とを含むことを特徴とする。
【０００９】
このように、上記発明では、運転者の目の位置を検出するとともに、カメラによって撮像された画像中の物体の車両に対する位置を決定し、それらに基づいて、表示装置に表示する物体の表示位置を決定している。そのため、運転者が変わったり、座る位置や姿勢が変化したとしても、運転者が見て適切な位置に車外の物体を表示することができる。
【００１０】
請求項２に記載の発明は、請求項１において、前記表示装置が、前記車両のフロントガラスに画像を表示するヘッドアップディスプレイであり、前記カメラは、前記車両の前端または後端に設けられて車両側方を含む所定範囲を撮影するものであり、前記抽出手段は、前記車両が当該車両の進行方向に対して交差する方向の見通しが悪い状況で走行しているときに前記カメラによって撮影された画像を解析して、画像から移動物体を抽出するものであり、前記物体位置決定手段は、前記抽出手段が抽出した移動物体の車両に対する位置を決定し、前記表示制御手段は、前記物体位置決定手段が決定した移動物体の車両に対する位置と、前記目位置検出手段が検出した運転者の目の位置とに基づいて、前記ヘッドアップディスプレイ上の表示位置を決定し、その決定した表示位置に前記抽出手段が抽出した物体を表示することを特徴とする。
【００１１】
この請求項２記載の発明によれば、車両の進行方向に対して交差する方向の見通しが悪い状況において上記カメラによって撮影される画像には、運転者にとって死角となる範囲の画像が含まれており、抽出手段ではその画像から移動物体を抽出している。そして、その抽出した移動物体がヘッドアップディスプレイに表示されるので、運転者は、ヘッドアップディスプレイを見ることで、死角となる範囲に移動物体が存在することを認識できる。しかも、ヘッドアップディスプレイにおける移動物体の表示位置を決定するために運転者の目の位置を検出しており、その目の位置と車両に対する移動物体の位置とから移動物体の表示位置を決定している。そのため、運転者が変わったり、座る位置や姿勢が変化したとしても、運転者が実際に見た場合の位置と一致する位置に移動物体が表示される。従って、移動物体がどの程度車両に近い位置に存在しているのかを正確に知ることができる。その結果、その移動物体が死角から飛び出してくる危険性を正確に判断できる。
【００１２】
請求項３記載の発明は、請求項１における車外の物体を道路標示とした態様である。すなわち、請求項３に記載の発明は、運転席前方に設けられた表示装置に車両前方に存在する道路標示を表示する運転支援装置であって、運転者の目の位置を検出する目位置検出手段と、車両前方の画像を撮像するカメラと、前記カメラによって撮像された画像を解析して、画像から道路標示を抽出する抽出手段と、前記抽出手段が抽出した道路標示の車両に対する位置を決定する道路標示位置決定手段と、前記道路標示位置決定手段が決定した道路標示の車両に対する位置と、前記目位置検出手段が検出した運転者の目の位置とに基づいて、前記表示装置上の表示位置を決定し、その決定した表示位置に前記抽出手段が抽出した道路標示を表示する表示制御手段とを含むことを特徴とする。
【００１３】
このように、上記発明では、運転者の目の位置を実際に検出するとともに、実際の道路標示の車両に対する位置を決定し、それらに基づいて、表示装置に表示する道路標示の表示位置を決定している。そのため、運転者が変わったり、座る位置や姿勢が変化したとしても、表示装置に表示される道路標示の位置が適切となる。
【００１４】
請求項４記載の発明は、前記表示装置が、前記車両のフロントガラスに画像を表示するヘッドアップディスプレイであり、前記表示制御手段は、前記道路標示位置決定手段が決定した道路標示の車両に対する位置と、前記目位置検出手段が検出した運転者の目の位置とに基づいて、前記ヘッドアップディスプレイ上において、運転者から見て、実際の道路標示とヘッドアップディスプレイ上の表示とが重なる位置に、前記抽出手段が抽出した道路標示を表示するものであることを特徴とする。
【００１５】
このように、請求項４記載の発明では、実際に検出した運転者の目の位置と、実際の道路標示の車両に対する位置とに基づいて、運転者から見て、実際の道路標示とヘッドアップディスプレイ上の表示とが重なるように、ヘッドアップディスプレイ上に道路標示を表示している。そのため、運転者が変わったり、座る位置や姿勢が変化したとしても、運転者から見て、実際の道路標示とディスプレイ上の道路標示とが精度よく一致することになる。
【００１６】
上記運転支援装置は、視界が良好なときよりも視界不良時に特に有効である。そこで、請求項５記載のように、上記運転支援装置は、車両の前方の視界が不良か否かを判断する視界判断手段をさらに備え、前記表示制御手段は、前記視界判断手段によって視界が不良であると判断されたことに基づいて、前記抽出手段が抽出した道路標示をヘッドアップディスプレイに表示することが好ましい。このようにすれば、視界判断手段によって自動的に視界が不良か否かを判断しており、視界が不良と判断された場合には、自動的に抽出手段が抽出した道路標示をヘッドアップディスプレイに表示するので、視界不良時の運転操作が容易になる。
【００１７】
また、請求項６記載のように、抽出手段が抽出する道路標示として区画線が含まれることが好ましい。この場合には、ヘッドアップディスプレイ上において、運転者から見て、実際の区画線と重なる位置に、安全な運転操作に特に有用な区画線が表示されることになる。
【００１８】
また、請求項６記載のように、道路標示として区画線を表示する場合、さらに、請求項７記載のように、前記抽出手段は、前記画像から区画線上の複数の代表地点を抽出するものであり、前記道路標示位置決定手段は、前記抽出手段が抽出した複数の代表地点の車両に対する位置を決定するものであり、前記表示制御手段は、前記抽出手段が抽出した代表地点に基づいて、道路に沿って延びる区画線画像を作成して、運転者から見て、実際の区画線上の複数の前記代表地点とヘッドアップディスプレイ上の代表地点とが重なる位置に、前記区画線画像を表示することが好ましい。
【００１９】
このようにすれば、カメラによって撮像された画像から複数の代表地点が抽出できれば、ヘッドアップディスプレイに区画線画像を表示することができる。そのため、視界不良時にも区画線画像を表示できる場合が多くなる。
【００２０】
また、前記目的を達成するための請求項８に記載の発明は、運転席前方に設けられた表示装置に車両前方に存在する道路標示を表示する運転支援装置であって、運転者の目の位置を検出する目位置検出手段と、車両前方の画像を撮像するカメラと、前記カメラによって撮像された画像を解析して、画像から予め設定された種類の道路標示または予め設定された種類の道路標識を抽出する抽出手段と、前記抽出手段が抽出した道路標示または道路標識に基づいて、走行中の実際の道路の所定位置に示された場合に運転を補助することが可能な運転補助情報を作成するとともに、その運転補助情報の実際の道路上の位置を決定する運転補助情報決定手段と、その運転補助情報決定手段が決定した運転補助情報の実際の道路上の位置と、前記目位置検出手段が検出した運転者の目の位置とに基づいて、前記表示装置上の表示位置を決定し、その決定した表示位置に前記運転補助情報を表示する表示制御手段とを含むことを特徴とする。
【００２１】
このように、上記発明では、抽出手段において、カメラによって撮像された車両の前方の画像から予め設定された種類の道路標示または道路標識を抽出しており、運転補助情報決定手段では、それらに基づいて、走行中の実際の道路の所定位置に示された場合に運転を補助することが可能な運転補助情報を作成するとともに、その運転補助情報の実際の道路情報位置を決定している。そして、表示制御手段では、その運転補助情報を表示装置に表示しており、且つ、その表示位置は、運転補助情報決定手段が決定した運転補助情報の実際の道路上の位置と、前記目位置検出手段が検出した運転者の目の位置とに基づいて決定している。従って、表示装置には、運転者の身長、姿勢、座る位置が変化したとしても、適切な位置に運転補助情報が表示されることになるので、運転者は表示装置に表示された運転補助情報を参考にすることにより、安全な運転操作が可能となる。
【００２２】
請求項９記載の発明は、前記表示装置が、前記車両のフロントガラスに画像を表示するヘッドアップディスプレイであり、前記表示制御手段は、前記運転補助情報決定手段が決定した運転補助情報の実際の道路上の位置と、前記目位置検出手段が検出した運転者の目の位置とに基づいて、前記ヘッドアップディスプレイ上において、運転者から見て、前記運転補助情報の実際の道路上の位置とヘッドアップディスプレイ上の表示位置とが重なる位置に、前記運転補助情報を表示するものであることを特徴とする。
【００２３】
このように、請求項９記載の発明では、ヘッドアップディスプレイに運転補助情報を表示しており、その運転補助情報の表示位置は、運転補助情報決定手段が決定した運転補助情報の実際の道路上の位置と、前記目位置検出手段が検出した運転者の目の位置とに基づいて、ヘッドアップディスプレイ上において、運転者から見て、前記運転補助情報の実際の道路上の位置とヘッドアップディスプレイ上の表示位置とが重なる位置としている。従って、運転者の身長、姿勢、座る位置が変化したとしても、ヘッドアップディスプレイの適切な位置に運転補助情報が表示されることになるので、運転者はヘッドアップディスプレイに表示された運転補助情報を参考にすることにより、安全な運転操作が可能となる。
【００２４】
車両周囲を撮影するカメラの画像を解析して移動物体を抽出し、その抽出した移動物体をヘッドアップディスプレイに表示するとしても、表示位置が不適切であると適切な運転支援を行なうことができない。ヘッドアップディスプレイ上における移動物体の表示位置としては、前述の請求項２記載の態様が考えられる。しかし、次の請求項１０の態様でもよい。
【００２５】
その請求項１０記載の発明は、車両の外に存在する物体を検出して、その検出した物体を、前記車両のフロントガラスに画像を表示するヘッドアップディスプレイに表示する運転支援装置であって、運転者の注視点を検出する注視点検出手段と、車両周囲の所定範囲の画像を撮像するカメラと、前記カメラによって撮像された画像を解析して、画像から移動物体を抽出する抽出手段と、前記視線方向検出手段が検出した運転者の注視点に基づいて、前記ヘッドアップディスプレイ上において前記注視点へ向かう運転者の視線上に位置する表示位置を決定し、その決定した表示位置に前記抽出手段が抽出した移動物体を表示する表示制御手段とを含むことを特徴とする。
【００２６】
このようにすれば、移動物体が画像から抽出された場合、運転者の注視点に移動物体が表示されることになる。そのため、運転者は、即座に移動物体の存在を認識することができる。
【００２７】
また、カメラによって車両周囲の画像を撮像し、その撮像した画像をヘッドアップディスプレイに表示することも考えられる。この場合、表示する位置によっては運転支援とはならず、却って運転の邪魔となってしまう恐れがある。そこで、請求項１１のようにすることが好ましい。
【００２８】
その請求項１１記載の発明は、車両周辺を撮像する車両周辺撮像装置を備え、その車両周辺撮像装置によって撮像した画像を、車両のフロントガラスに画像を表示するヘッドアップディスプレイに表示する運転支援装置であって、運転者の目の位置を検出する目位置検出手段と、車両前方を撮像する車両前方撮像装置と、その車両前方撮像装置によって撮像された車両前方の画像を解析して、画像から遮蔽物領域を抽出する抽出手段と、前記抽出手段によって抽出された遮蔽物領域と前記目位置検出手段によって検出された運転者の目の位置とに基づいて、前記ヘッドアップディスプレイ上において、運転者から見て遮蔽物と重なる位置を表示可能範囲に決定して、その表示可能範囲に、前記車両周辺撮像装置によって撮像した画像を表示する表示制御手段とを含むことを特徴とする。
【００２９】
このように、車両周辺撮像装置によって撮像した画像を、ヘッドアップディスプレイ上において、運転者から見て遮蔽物と重なる位置に表示すれば、走行中の道路および交差する道路の状況を確認する際の妨げとならずに、車両周辺撮像装置によって撮像された画像を確認することができる。
【発明を実施するための最良の形態】
【００３０】
（第１実施形態）
以下、本発明の実施の形態を図面に基づいて説明する。図１は、本発明の運転支援装置１００の構成を示すブロック図である。なお、本実施形態の運転支援装置１００はナビゲーション装置としての機能も備えている。
【００３１】
運転支援装置１００は、位置検出器１０１、地図データ入力器１０６、操作スイッチ群１０７、リモコンセンサ１０８、操作リモコン１０９、送受信機１１０、メモリ１１１、表示装置１１２、音声認識ユニット１１３、スピーカ１１４、車両前方撮影装置１１５、運転者視点検出装置１１６、ヘッドアップディスプレイ１１７と、これら各装置が接続されたＥＣＵ１２０とを備えている。
【００３２】
位置検出器１０１は、車両の絶対方位を検出するための地磁気センサ１０２、車両の相対方位を検出するためのジャイロスコープ１０３、車両の走行距離を検出する距離センサ１０４、および衛星からの電波に基づいて車両の位置を測定するグローバルポジショニングシステム（ＧＰＳ）のためのＧＰＳ受信機１０５を有している。これらのセンサ等１０２、１０３、１０４、１０５は、いずれも周知のものである。これらのセンサ等１０２、１０３、１０４、１０５は各々が性質の異なる誤差を持っているため、複数のセンサ等１０２、１０３、１０４、１０５により各々を補完しながら使用するように構成されている。なお、精度によっては、上述したうちの一部で位置検出器１０１を構成してもよく、更に、図示しないステアリングの回転センサ、各転動輪の車速センサ等を用いてもよい。
【００３３】
地図データ入力器１０６は、たとえばＤＶＤ、ＣＤなどの図示しないディスク型の記憶媒体が装着されるものであり、装着された記憶媒体からデジタル地図データが入力される。このデジタル地図データは、道路データ、背景データ、文字データおよび施設データなどのデータからなるものである。上記道路データには、交差点が見通しの悪い交差点であるか否かを示すデータが含まれている。そして、地図データ入力器１０６に入力されたデジタル地図データは、ＥＣＵ１２０へ出力される。
【００３４】
操作スイッチ群１０７は、表示装置１１２と一体になったタッチスイッチもしくは表示装置１１２の周辺に設けられるメカニカルなスイッチ等からなる。操作リモコン１０９には、図示しない複数の操作スイッチが設けられ、その操作スイッチの操作により操作スイッチ群１０７と同様の入力操作が行える。操作リモコン１０９に入力された入力操作を表す信号は、リモコンセンサ１０８を介してＥＣＵ１２０へ供給される。
【００３５】
メモリ１１１は、たとえば、メモリカードやハードディスク等の書き込み可能な記憶媒体である。このメモリ１１１には、ユーザによって設定された自宅位置や、テキストデータ、画像データ、音声データ等の各種データが記憶される。
【００３６】
表示装置１１２は、たとえば液晶ディスプレイ、有機ＥＬディスプレイによって構成され、たとえば、経路案内のためにセンターコンソールに設けられる。また、計器類を表示する等のためにダッシュボードの運転席前方に設けられてもよい。
【００３７】
送受信機１１０は、外部と無線通信するための装置であり、道路に敷設されたビーコンや各地のＦＭ放送局を介してＶＩＣＳ（Vehicle Information and Communication System）（登録商標）センタ２００と接続可能であり、また、たとえば、携帯電話などの外部表示機器２１０にも接続可能である。ＶＩＣＳセンタ２００は、道路交通情報、気象情報、日付情報、施設情報、広告情報を配信しており、これらの情報が送受信機１１０に受信される。送受信機１１０は受信した情報をＥＣＵ１２０へ送信する。また、上記ＥＣＵ１２０で処理した情報を送受信機１１０から出力することもできる。
【００３８】
音声認識ユニット１１３は、マイクおよびマイクに入力された音声を文字データとして認識する認識処理装置を備えたものであり、認識した文字データをＥＣＵ１２０へ出力する。スピーカ１１４は、ＥＣＵ１２０から入力された音声出力信号に基づき種々のメッセージを外部に出力する。このスピーカ１１４から出力されるメッセージとしては、経路案内のためのメッセージ、注意喚起メッセージ、画面操作説明のためのメッセージ、音声認識結果を表すメッセージなどがある。
【００３９】
車両前方撮影装置１１５はステレオカメラであり、車両前端部または車室内の上部などに設けられる。この車両前方撮影装置１１５は、ＥＣＵ１２０からの指示に従って、車両前方の所定範囲を撮像し、撮像した画像のデータをＥＣＵ１２０へ出力する。
【００４０】
運転者視点検出装置１１６は、目位置検出手段に相当するものであり、ステレオカメラとそのステレオカメラによって撮像された画像を解析する処理装置とからなる。この運転者視点検出装置１１６のステレオカメラは、運転者が前方を向いているときに運転者の顔が撮影可能な位置、たとえば、ルームミラーの側方などに設けられ、運転者の顔を含む画像データを処理装置へ出力する。処理装置は、供給された画像データを公知の認識処理手法によって解析して、画像内における運転者の目の位置を決定し、さらに、ステレオカメラを基準点とする運転者の目の位置を決定する。
【００４１】
ヘッドアップディスプレイ１１７は、車両のフロントガラスに映像を映し出す装置であり、本実施形態のヘッドアップディスプレイ１１７は、フロントガラスのほぼ全範囲にわたり表示が可能となっている。
【００４２】
ＥＣＵ１２０は、通常のコンピュータであり、内部には周知のＣＰＵ、ＲＯＭ、ＲＡＭ、Ｉ／Ｏおよびこれらの構成を接続するためのバスラインを備えている。ＲＯＭには、ＥＣＵ１２０が実行するためのプログラムが書き込まれており、このプログラムに従ってＣＰＵ等が所定の演算処理を実行する。
【００４３】
上記ＥＣＵ１２０は、音声認識ユニット１１３からの情報に基づき、操作者の発声に対する所定の処理および操作スイッチ群１０７あるいは操作リモコン１０９の入力操作に対する所定の処理（たとえば、メモリ１１１への地図データの記憶処理、地図縮尺変更処理、メニュー表示選択処理、目的地設定処理、経路探索実行処理、経路案内開始処理、現在位置修正処理、表示画面変更処理、音量調整処理等）を実行する。また、ＥＣＵ１２０で処理された経路案内メッセージ等はスピーカ１１４から適宜報知される。
【００４４】
ＥＣＵ１２０は、上述した各種の処理を実行することに加えて、運転支援のための図２に示す運転支援処理を実行する。次に、この運転支援処理について説明する。なお、この運転支援処理は所定の短周期で繰り返し実行する。
【００４５】
図２において、まず、ステップＳ１０では、車両前方撮影装置１１５によって車両前方画像を撮像させ、その車両前方画像を取得する。続くステップＳ２０は、抽出手段および視界判断手段に相当する処理であり、ステップＳ１０で取得した車両前方画像を公知の画像解析手法を用いて解析して、視界が不良の画像であるか否かを判断するとともに、画像内から予め設定された種類の道路標示および予め設定された種類の道路標識を抽出する。
【００４６】
視界が不良であるか否かの判断は、たとえば、画像全体に対して画素毎に微分演算によって輝度のエッジ量を算出して、そのエッジ量に基づいて行うことができる。視界が不良である場合には、画像が全体としてぼやけたものとなり、エッジ量が小さくなるからである。
【００４７】
また、このステップＳ２０で抽出する道路標示には、規制標示に分類されるもの、指示標示に分類されるもの（停止線など）があり、また、区画線も含まれる。これらの道路標示を抽出するには、たとえば、ステップＳ１０で取得した画像を二値化処理し、二値化処理後の画像から白色部分を抽出し、抽出した白色部分の形状からその形状が道路標示であるか、および、どの種類の道路標示であるかを判断することによって行う。
【００４８】
また、このステップＳ２０で抽出する道路標識は、後述する基礎情報として利用できる道路標識である。道路標識の抽出は、予め記憶しておいた道路標識の形状が画像内に含まれるか否かに基づいて行う。
【００４９】
続くステップＳ３０では、ステップＳ２０における解析結果が視界不良であるか否かを判断する。この判断が否定判断である場合には、直接、ステップＳ６０へ進む。一方、肯定判断である場合には、ステップＳ４０へ進んで車両前方情報表示をオンに設定する。この車両前方情報表示がオンの場合、車両前方画像から抽出した道路標示をヘッドアップディスプレイ１１７に表示するモードとなる。
【００５０】
続くステップＳ５０は道路標示位置決定手段に相当する処理であり、自車両を基準点として、ステップＳ２０で抽出した道路標示が示されている位置を算出する。前述のように、車両前方撮影装置１１５はステレオカメラになっており、２つのカメラによってそれぞれ撮像される画像において、同一の道路標示が抽出される位置の違いから、道路標示が示されている位置を算出する。
【００５１】
なお、道路標示は点ではなく線状の図形であることから、ここでは、道路標示の位置を特定するのに十分なその道路標示上の複数の地点（以下、代表地点という）について、自車両を基準とした位置を算出する。従って、前述のステップＳ２０において、道路標示全体を抽出するのではなく、上記複数の代表地点のみを抽出してもよい。この複数の代表地点は、区画線の場合には区画線上の一定間隔の点となるが、ステップＳ２０において画像不良（視界不良）等の理由によって区画線が不連続にしか抽出されなかった場合には、代表地点間の間隔が一定でなくてもよい。
【００５２】
ステップＳ６０では、ステップＳ２０で抽出した道路標示に、基礎情報として設定されている道路標示が含まれているか否かを判断する。この基礎情報とは、その情報に基づいて（基礎として）運転補助情報を作成することができる情報であり、運転補助情報とは、実際の車両前方には存在しないが、走行中の道路に標示された場合には運転を補助することが可能な情報である。
【００５３】
たとえば、基礎情報としては、紅白の矢印型の固定式視線誘導柱（以下、矢羽根という）がある。この矢羽根は、除雪幅を示すとともに視線誘導標として用いられており、道路に沿って連続的に配置されている。また、各矢羽根は道路の上方の比較的高い位置において道路面に対して垂直に配置され、道路の幅方向における位置は略一定である。この矢羽根を基礎情報とする運転補助情報は、矢羽根から道路に向かって垂線を引いた時に、その垂線が道路と交差する点を利用して作成する道路端標示線である。
【００５４】
ステップＳ６０が否定判断である場合には、直接、ステップＳ９０へ進む。一方、肯定判断である場合には、ステップＳ７０へ進んで運転補助情報表示をオンに設定する。この運転補助情報表示がオンの場合、運転補助情報をヘッドアップディスプレイ１１７に表示するモードとなる。
【００５５】
続くステップＳ８０は運転補助情報決定手段に相当する処理であり、基礎情報に基づいて運転補助情報を作成するとともに、自車両を基準点として、その運転補助情報の実際の道路上の位置を算出する。前述の矢羽根を例にこのステップＳ８０の処理を具体的に説明すると、まず、画像内において、矢羽根から道路に向かって垂線を引いた時に、その垂線が道路と交差する点を決定する。次いで、この点の実際の道路上の位置を算出する。これを画像から抽出された全ての矢羽根に対して実行する。これによって、道路に沿って連続する道路上の点の実際の位置が複数算出されることになる。次いで、それら複数の点間を直線でつなぐことにより、または、それら複数の点から近似曲線を作成することによって道路端標示線を作成する。
【００５６】
ステップＳ９０では、車両前方情報表示および運転補助情報表示の少なくとも一方がオンに設定されているか否かを判断する。この判断が否定判断である場合には、本ルーチンを終了する。一方、肯定判断である場合には、ステップＳ１００に進んで、運転者視点検出装置１１６によって運転者の目の位置を検出させ、運転者視点検出装置１１６から運転者の目の位置を示すデータを取得する。
【００５７】
続くステップＳ１１０乃至Ｓ１２０は表示制御手段としての処理であり、まず、ステップＳ１１０では、車両前方情報表示がオンの場合には、ステップＳ５０で算出した道路標示の代表地点の位置とステップＳ１００で取得した運転者の目の位置とを結ぶ直線を算出する。次いで、この直線と、フロントガラスを近似するものとして予め記憶してある複数の平面との交点を算出する。そして、ステップＳ２０で抽出した道路標示のヘッドアップディスプレイ１１７上の表示位置を、この交点を通るように設定する。
【００５８】
図３は、区画線を例にして、このステップＳ１１０の処理を概念的に説明する図である。図３において、ＥがステップＳ１００で取得した目の位置であり、Ｐ１〜Ｐ６がステップＳ５０で算出した代表地点の位置である。この場合、直線Ｌ１〜Ｌ６が作成されることになるので交点Ｑ１〜Ｑ６が得られる。そのため、区画線のヘッドアップディスプレイ１１７上の表示位置は直線Ｍ１、Ｍ２になる。
【００５９】
さらに、ステップＳ１１０では、運転補助情報表示がオンの場合には、上述の道路標示の表示位置を算出したのと同様の方法により、ステップＳ８０で作成した運転補助情報のヘッドアップディスプレイ１１７上の表示位置を算出する。
【００６０】
そして、ステップＳ１２０では、ステップＳ１１０で算出した表示位置に、ステップＳ２０で抽出した道路標示を示す画像およびステップＳ８０で作成した運転補助情報を示す画像を表示させるための表示信号をヘッドアップディスプレイ１１７に出力する。
【００６１】
図４は、ステップＳ１２０を実行した後のヘッドアップディスプレイ１１７を運転者が見た状態を例示する図である。図４に示すように、ヘッドアップディスプレイ１１７には、運転者から見て、実際の区画線と重なる位置に区画線を示す直線Ｍ１、Ｍ２が表示されている。
【００６２】
以上、説明した本実施形態によれば、運転者の目の位置を運転者視点検出装置１１６によって検出するとともに、実際の道路標示の車両に対する位置を算出しており、それらに基づいて、運転者から見て、実際の道路標示とヘッドアップディスプレイ１１７上の表示とが重なるように、ヘッドアップディスプレイ１１７上に道路標示を表示している。そのため、運転者が変わったり、座る位置や姿勢が変化したとしても、運転者から見て、実際の道路標示とディスプレイ上の道路標示とが精度よく一致することになる。
【００６３】
また、本実施形態によれば、ステップＳ２０において視界が不良か否かを判断しており、視界が不良と判断した場合には、自動的に抽出した道路標示をヘッドアップディスプレイ１１７に表示しているので、視界不良時の運転操作が容易になる。
【００６４】
また、本実施形態によれば、区画線の複数の代表地点から、ヘッドアップディスプレイ１１７に表示する区画線を作成している。そのため、車両前方画像から複数の代表地点が抽出できれば、ヘッドアップディスプレイ１１７に区画線画像を表示することができる。そのため、視界不良時にも区画線画像を表示できる場合が多くなる。
【００６５】
また、本実施形態によれば、ヘッドアップディスプレイ１１７に、実際の車両前方には存在しないが運転を補助することが可能な運転補助情報を表示している。この運転補助情報の表示位置は、車両前方に実際に運転補助情報を表示するとした場合の位置と実際に検出した運転者の目の位置とに基づいて決定しており、運転者から見て、運転補助情報の実際の道路上の位置とヘッドアップディスプレイ１１７上の表示位置とが重なる位置としている。従って、運転者の身長、姿勢、座る位置が変化したとしても、ヘッドアップディスプレイ１１７の適切な位置に運転補助情報が表示されることになるので、運転者はヘッドアップディスプレイ１１７に表示された運転補助情報を参考にすることにより、安全な運転操作が可能となる。
【００６６】
（第２実施形態）
次に、第２実施形態を説明する。図５は、第２実施形態の運転支援装置３００の構成を示すブロック図である。第２実施形態の運転支援装置３００を第１実施形態の運転支援装置１００と比較すると、第２実施形態の運転支援装置３００は、車両周辺撮影装置１２１、リアウィンドシールドディスプレイ１２２をさらに備えている点、運転者視点検出装置１１６に代えて、第１運転者視点検出装置１２３と第２運転者視点検出装置１２４とを備えている点において、第１実施形態の運転支援装置１００と異なる。また、ＥＣＵ１２０が実行する運転支援処理の内容も一部相違する。
【００６７】
車両周辺撮影装置１２１は、車両前端に備えられて車両の左右の側方をそれぞれ撮影する２つのフロントカメラと、車両後端に備えられて車両の左右の側方をそれぞれ撮影する２つのバックカメラとを含んだ構成である。これらフロントカメラおよびバックカメラはいずれもステレオカメラである。また、これらフロントカメラおよびバックカメラの固定位置は、車両前端または後端であれば、車両幅方向の位置は特に制限はなく、車両の各コーナ部に備えられていてもよいが、この第２実施形態では車両の幅方向中心部に備えられている。
【００６８】
上記フロントカメラおよびバックカメラは、車両の前端または後端に備えられているので、車両の前後方向の中央部付近に位置している運転者の視界に、建造物の壁などの遮蔽物によって死角範囲が生じた場合に、その死角範囲を撮影することが可能である。
【００６９】
リアウィンドシールドディスプレイ１２２は、車両のリアウィンドを表示面としたヘッドアップディスプレイであり、リアウィンドのほぼ全範囲にわたり、映像表示が可能である。
【００７０】
第１運転者視点検出装置１２３は、構成および設置位置ともに第１実施形態の運転者視点検出装置１１６と同じである。第２運転者視点検出装置１２４は、構成は第１運転者視点検出装置１２３と同じであり、ステレオカメラとそのステレオカメラによって撮像された画像を解析する処理装置とからなるが、ステレオカメラの設置位置が相違する。第２運転者視点検出装置１２４のステレオカメラは、運転者が後方を見たときに運転者の顔が撮影可能な位置に設けられている。
【００７１】
次に、第２実施形態においてＥＣＵ１２０が実行する運転支援処理を説明する。図６および図７は、その運転支援処理を示すフローチャートである。この運転支援処理は所定の短周期で繰り返し実行する。なお、第１実施形態と同一の処理には同一のステップ番号が付してある。
【００７２】
第２実施形態の運転支援処理においても、まず、ステップＳ１０乃至Ｓ５０を実行する。そして、ステップＳ５０を実行後、または、ステップＳ３０が否定判断となった場合、第１実施形態では、ステップＳ６０を実行するが、第２実施形態では、ステップＳ６０を実行する前にステップＳ５２を実行する。
【００７３】
ステップＳ５２では、バックカメラ表示条件が成立したか否かを判断する。この条件は、車両が後退中であることである。なお、運転席は車両前後方向の中心よりも車両前端寄りに位置しており、且つ、車両後退中は、運転者は振り返る姿勢で進行方向の左右を確認する必要があることから、車両の後退中は、車両前進中よりも、進行方向に対して交差する方向の見通しが悪い状況にあるといえる。そこで、このステップＳ５２の判断が肯定判断であれば、ステップＳ５４以降を実行して、後退中の運転支援処理を実行する。一方、ステップＳ５２が否定判断であればステップＳ６０へ進む。
【００７４】
ステップＳ５４では、車両周辺撮影装置１２１のバックカメラをオンにする。そして、ステップＳ５６では、バックカメラによって撮影された画像を解析して、画像中に移動物体が検出できた場合には、画像から移動物体を含む所定形状（たとえば矩形）の領域を抽出する。
【００７５】
そして、ステップＳ５８において、自車両を基準点として、ステップＳ５６で抽出した移動物体の位置を算出する。前述のように、バックカメラはステレオカメラになっており、略同一範囲を撮影する２つのバックカメラによってそれぞれ撮像される画像において、同一の移動物体が抽出される位置の違いから、移動物体の位置を算出する。なお、移動物体は点ではなく、ある大きさを持っているため、移動物体のどの部分の位置を算出するかが問題となるが、たとえば、画像において移動物体の重心となる点や、移動物体の輪郭上の複数点の位置を、移動物体の位置として算出する。また、ステップＳ５８では、移動物体の位置を算出した場合には、情報表示をオンにする。ステップＳ５８を実行後は、ステップ９０（図７）へ進む。
【００７６】
ステップＳ５２が否定判断であった場合には、ステップＳ６０乃至Ｓ８０を実行する。その後、図７のステップＳ８２の判断を実行する。ステップＳ８２では、位置検出器１０１によって逐次検出される現在位置および地図データ入力器１０６から入力される地図データに基づいて、現在位置が見通しの悪い交差点に進入する状況かどうかを判断する。
【００７７】
上記ステップＳ８２の判断が肯定判断である場合にはステップＳ８４へ進み、否定判断である場合にはステップＳ９０へ進む。
【００７８】
ステップＳ８４では、車両周辺撮影装置１２１のフロントカメラをオンにする。そして、ステップＳ８６では、フロントカメラによって撮影された画像を解析して、画像中に移動物体が検出できた場合には、画像から移動物体を含む所定形状（たとえば矩形）の領域を抽出する。その後、ステップＳ８８へ進む。
【００７９】
図８は、車両が見通しの悪い交差点に進入しようとする状況を例示している。この図８において、ＶＡはフロントカメラの視野角を示している。また、この図８の例では、人３１０が交差点に向けて移動中である。
【００８０】
この図８から分かるように、人３１０はフロントカメラによって撮影された画像中に含まれることになる。図９は、その画像を概念的に示す図である。一方、車両の運転者は建物３２０が邪魔になって人３１０を見ることはできない。このような状況では、ステップＳ８６において、人を含む画像領域３３０（図９参照）が抽出されることになる。
【００８１】
ステップＳ８８では、自車両を基準点として、ステップＳ８６で抽出した移動物体の位置を算出する。前述のように、フロントカメラもステレオカメラになっており、略同一範囲を撮影する２つのフロントカメラによってそれぞれ撮像される画像において、同一の移動物体が抽出される位置の違いから、移動物体の位置を算出する。なお、移動物体のどの部分の位置を算出するかは、ステップＳ５８と同様である。また、ステップＳ８８においても、移動物体の位置を算出した場合には、情報表示をオンにする。
【００８２】
ステップＳ９０では、情報表示がオンに設定されているか否かを判断する。この判断が否定判断である場合には、本ルーチンを終了する。一方、肯定判断である場合には、ステップＳ１００に進んで、第１運転者視点検出装置１２３または第２運転者視点検出装置１２４によって運転者の目の位置を検出させ、その第１または第２運転者視点検出装置１２３または１２４から運転者の目の位置を示すデータを取得する。
【００８３】
そして、ステップＳ１１２では、画像を表示すべきディスプレイがヘッドアップディスプレイ１１７であるか、リアウィンドシールドディスプレイ１２２であるかを決定して、且つ、表示すべき画像の表示位置を算出する。表示すべきディスプレイは、ステップＳ５８にて情報表示がオンになった場合にはリアウィンドシールドディスプレイ１２２とし、それ以外はヘッドアップディスプレイ１１７とする。
【００８４】
表示すべき画像の表示位置は、車両前方情報表示がオンの場合、および、運転補助情報表示がオンの場合は、第１実施形態と同じ処理を実行する。フロントカメラまたはバックカメラにて移動物体を検出した場合には、次のようにして表示位置を算出する。すなわち、ステップＳ５８またはＳ８８で算出した移動物体の位置とステップＳ１００で取得した運転者の目の位置とを結ぶ直線を算出する。次いで、この直線と、フロントウィンド（またはリアウィンド）を近似するものとして予め記憶してある複数の平面との交点を算出し、この交点を表示位置とする。
【００８５】
ステップＳ１２２では、ステップＳ１１２で算出した表示位置に、ステップＳ２０、Ｓ５８、Ｓ８８で抽出した画像、または、ステップＳ８０で作成した運転補助情報を示す画像を表示させるための表示信号をヘッドアップディスプレイ１１７またはリアウィンドシールドディスプレイ１２２に出力する。
【００８６】
このステップＳ１２２にて出力する表示信号の内容の例として、ステップＳ１１２にて、画像を表示すべきディスプレイをヘッドアップディスプレイ１１７に決定し、ステップＳ５６で抽出した画像（移動物体を含む画像）を表示させる場合を説明する。この場合、表示信号の内容は、ステップＳ５６で抽出した画像において、ステップＳ１１２の表示位置の算出に用いた点（重心点や輪郭上の点など）がそのステップＳ１１２で算出した表示位置となるように、ステップＳ５６で抽出した画像を表示させることを指示する内容となる。
【００８７】
図１０および図１１は、上の例の表示信号が出力される前と後とを比較して示す図である。図１０に示すように、車両が通行中の道路に交差する道路は、建物３２０に遮蔽されており、運転者からは死角範囲となっている。そのため、フロントガラスに画像が表示されていない状態では、死角範囲に人３１０がいることは分からない。しかし、図１１に示すように、フロントガラスに人３１０を含む画像が表示されると、死角範囲に人３１０が存在することを認識できる。
【００８８】
しかも、本実施形態では、人３１０の表示位置を決定するために運転者の目の位置を検出しており、その目の位置と車両に対する人３１０の位置とから人３１０を含む画像の表示位置を決定している。そのため、運転者が変わったり、座る位置や姿勢が変化したとしても、運転者が実際に見た場合の位置と一致する位置に人３１０が表示される。従って、人３１０がどの程度車両に近い位置に存在しているのかを正確に知ることができる。その結果、運転者の死角範囲に存在する人３１０が、死角範囲から飛び出してくる危険性を正確に判断できる。
【００８９】
（第３実施形態）
次に、第３実施形態を説明する。図１２は第３実施形態の運転支援装置４００の構成を示すブロック図である。第３実施形態の運転支援装置４００を第１実施形態の運転支援装置１００と比較すると、第３実施形態の運転支援装置４００は、車両前方撮影装置１１５を備えておらず、代わりに、第２実施形態と同じ車両周辺撮影装置１２１を備えている点において異なり、また、運転者視点検出装置１１６に代えて、注視点検出装置１３０を備えている点において異なる。また、ＥＣＵ１２０が実行する運転支援処理の内容も相違する。
【００９０】
注視点検出装置１３０は、運転者の顔を撮影するために車室内に固定されたカメラと、そのカメラによって撮像された画像を解析する処理装置とからなる。この注視点検出装置１３０における処理装置は、カメラによって撮像された画像を公知の注視点検出手法にて解析して、運転者の注視点すなわち運転者が見ている位置を検出する。
【００９１】
図１３は、第３実施形態においてＥＣＵ１２０が実行する運転支援処理を示すフローチャートである。この運転支援処理は所定の短周期で繰り返し実行する。なお、第３実施形態では、車両周辺撮影装置１２１の２つの左右のフロントカメラにて連続的に画像を撮像するとともに、撮像した画像を連続的に解析している。
【００９２】
まず、ステップＳ２００では、上述のように連続的に画像を解析している結果、移動物体を検出したか否かを判断する。この判断が否定判断である場合には処理を終了する。一方、肯定判断である場合には、ステップＳ２１０へ進んで、移動物体を左右両方のフロントカメラで検出したか否かを判断する。この判断が否定判断である場合には、直接、ステップＳ２３０へ進む。一方、肯定判断である場合には、ステップＳ２２０へ進む。ステップＳ２２０では、注視点検出装置１３０を用いて運転者の注視点を検出する。その後、ステップＳ２３０へ進む。
【００９３】
ステップＳ２３０では、左右いずれのフロントカメラで検出した移動物体の画像をヘッドアップディスプレイ１１７に表示するかを決定する。前述のステップＳ２１０が否定判断である場合には、いずれか一方のフロントカメラのみに移動物体が写っているので、その移動物体が写っている側のフロントカメラの画像を、ヘッドアップディスプレイ１１７に表示する画像に決定する。一方、ステップＳ２１０が肯定判断である場合には、ステップＳ２２０で検出した注視点が車両幅方向中心線よりも右方向であるか左方向であるかを判断する。注視点が車両幅方向中心線よりも右方向であれば、右のフロントカメラの画像を表示する画像に決定し、反対に、注視点が車両幅方向中心線よりも左方向であれば、左のフロントカメラの画像を表示する画像に決定する。
【００９４】
続くステップＳ２４０では、ステップＳ２３０で決定した側のフロントカメラの画像から、移動物体を含む領域を切り出し領域に決定する。この切り出し領域の形状は、移動物体を含んでいればどのような形状でもよいが、ここでは矩形形状とする。
【００９５】
そして、ステップＳ２５０では、注視点検出装置１３０を用いて、運転者の注視点を検出する。なお、ステップＳ２２０を実行している場合には、ステップＳ２２０における検出結果を用いることにより、このステップＳ２５０を省略してもよい。
【００９６】
ステップＳ２６０では、ステップＳ２５０で検出した注視点に向かう運転者の視線を示す直線を算出する。さらに、その直線と、フロントウィンドを近似するものとして予め記憶してある複数の平面との交点を算出し、この交点を表示位置とする。なお、上記交点をステップＳ４０で決定した切り出し領域のどの部分とするかが問題となるが、たとえば、重心とすることができる。また、移動物体において最も動きの激しい部分としてもよい。
【００９７】
ステップＳ２７０では、ステップＳ２６０で算出した表示位置に、ステップＳ２４０で決定した切り出し領域の画像を表示させるための表示信号をヘッドアップディスプレイ１１７に出力する。
【００９８】
ここで、第３実施形態においてヘッドアップディスプレイ１１７にどのような画像が表示されるかを具体例を用いて説明する。たとえば、左側のフロントカメラによって前述の図９に示す画像が撮像されたとする。また、同時に、右側のフロンカメラによって別の人が撮影されたとする。この場合、ステップＳ２１０が肯定判断となり、運転者の注視点を検出することになる。注視点が車両幅方向中心線よりも右側である場合、右側のフロントカメラの画像が、表示する画像に決定される。そして、右側のフロントカメラの画像から、人を含むように切り出し領域が決定される。図１４は、この切り出し領域の画像の一例である。この切り出し領域の画像は、図１５に示すように、運転者の注視点に表示されることになる。
【００９９】
このように、第３実施形態においては、移動物体が画像から抽出された場合、運転者の注視点に移動物体が表示されることになる。そのため、運転者は、即座に移動物体の存在を認識することができる。
【０１００】
（第４実施形態）
次に、第４実施形態を説明する。第４実施形態の運転支援装置は、機械的構成は図５に示す第２実施形態のものと同一であり、ＥＣＵ１２０が実行する運転支援処置の内容が相違するのみである。
【０１０１】
図１６は、第４実施形態においてＥＣＵ１２０が実行する運転支援処理を示すフローチャートである。この運転支援処理は所定の短周期で繰り返し実行する。なお、第４実施形態では、車両前方撮影装置１１５に備えられているカメラにて車両前方の所定範囲を連続的に撮像するとともに、車両周辺撮影装置１２１に備えられている左右のフロントカメラによっても連続的に画像を撮像している。
【０１０２】
まず、ステップＳ３００では、車両前方撮影装置１１５に備えられているカメラによって撮像された前方画像を解析して遮蔽物領域を抽出する。この遮蔽物領域は、前方画像において遮蔽物が写っている領域を忠実に示す必要はなく、前方画像において遮蔽物が写っている領域をはみ出さないように決定すればよい。また、遮蔽物領域の形状は四角形等に予め決定されていてもよい。前方画像から遮蔽物が写っている領域を抽出するための処理としては、たとえば、撮影時間が相前後する前方画像において車両の移動分から推定されるだけ移動している物体を遮蔽物であるとする。
【０１０３】
続くステップＳ３１０では、運転者視点検出装置１１６によって運転者の目の位置を検出させ、運転者視点検出装置１１６から運転者の目の位置を示すデータを取得する。そして、ステップＳ３２０では、ステップＳ３００で決定した遮蔽物領域の輪郭と、ステップＳ３１０で取得した運転者の目の位置とを結んでできる面と、フロントガラスを近似するものとして予め記憶してある複数の平面との交線によって画定されるフロントガラスの範囲を表示可能範囲とする。
【０１０４】
続くステップＳ３３０では、ステップＳ３２０で決定した表示可能範囲内に入るように表示画像サイズを決定する。そして、ステップＳ３４０では、左右のフロントカメラによって撮像された画像を、ステップＳ３２０で決定したフロントガラスの表示可能範囲に、ステップＳ３３０で決定した表示画像サイズで表示させる信号をヘッドアップディスプレイ１１７に出力する。
【０１０５】
図１７は、ステップＳ３４０の実行によってフロントガラスに表示される表示例である。この図に示されるように、左右のフロントカメラによって撮像された画像は、運転者から見て壁（遮蔽物）に重畳する位置に表示される。従って、走行中の道路および交差する道路の状況を確認する際の妨げとならずに、フロントカメラによって撮像された画像を確認することができる。
【０１０６】
以上、本発明の実施形態を説明したが、本発明は上述の実施形態に限定されるものではなく、次の実施形態も本発明の技術的範囲に含まれ、さらに、下記以外にも要旨を逸脱しない範囲内で種々変更して実施することができる。
【０１０７】
たとえば、前述の第１実施形態では、車両前方画像を解析することによって視界不良を判断していたが、車外から天気情報を取得して、その取得した天気情報に基づいて視界不良を判断してもよい。また、ワイパの動作速度から視界不良を判断してもよい。また、乗員が視界不良と判断した場合に操作する入力装置を設け、その入力装置が操作されたことに基づいて視界不良を判断してもよい。
【０１０８】
また、前述の実施形態では、フロントガラスを多数の平面で近似していたが、一つまたは複数の局面でフロントガラスを近似してもよい。
【図面の簡単な説明】
【０１０９】
【図１】本発明の運転支援装置１００の構成を示すブロック図である。
【図２】図１のＥＣＵ１２０が実行する運転支援処理を示すフローチャートである。
【図３】区画線を例にして、このステップＳ１１０の処理を概念的に説明する図である。
【図４】図２のステップＳ１２０を実行した後のヘッドアップディスプレイ１１７を、運転者が見た状態を例示する図である。
【図５】第２実施形態の運転支援装置３００の構成を示すブロック図である。
【図６】第２実施形態においてＥＣＵ１２０が実行する運転支援処理を示すフローチャートである。
【図７】第２実施形態においてＥＣＵ１２０が実行する運転支援処理を示すフローチャートである。
【図８】車両が見通しの悪い交差点に進入しようとする状況を例示する図である。
【図９】車両周辺撮影装置１２１のフロントカメラによって撮影された画像を概念的に示す図である。
【図１０】図７のステップＳ１２２で表示信号が出力される前のフロントガラスから見える景色を例示する図である。
【図１１】図７のステップＳ１２２で表示信号が出力された後に、運転者から見たフロントガラスを例示する図である。
【図１２】第３実施形態の運転支援装置４００の構成を示すブロック図である。
【図１３】第３実施形態においてＥＣＵ１２０が実行する運転支援処理を示すフローチャートである。
【図１４】図１３のステップＳ２４０で決定した切り出し領域の画像の一例である。
【図１５】図１３のステップＳ２７０の実行によってフロントガラスに表示される表示例である。
【図１６】第４実施形態においてＥＣＵ１２０が実行する運転支援処理を示すフローチャートである。
【図１７】ステップＳ３４０の実行によってフロントガラスに表示される表示例である。
【符号の説明】
【０１１０】
１００：運転支援装置、 １１２： 表示装置、 １１５：車両前方撮影装置（カメラ）、 １１６：運転者視点検出装置（目位置検出手段）、 １１７：ヘッドアップディスプレイ、 １２０：ＥＣＵ、 １２１：車両周辺撮影装置、 １２２：ウィンドシールドディスプレイ、 １２３：第１運転者視点検出装置、 １２４：第２運転者視点検出装置、 １３０：注視点検出装置、 ３００：運転支援装置、 ３１０：人（移動物体）、 ３２０：建物（遮蔽物）、 ３３０：画像領域、 ４００：運転支援装置、 Ｓ２０：抽出手段、視界判断手段、 Ｓ５０：道路標示位置決定手段、 Ｓ８０：運転補助情報決定手段、 Ｓ１１０、Ｓ１２０：表示制御手段、 Ｐ：代表地点
【技術分野】
【０００１】
本発明は、車両の運転操作を支援する装置に関し、特に、運転操作に有用な情報を表示することによって運転操作を支援する装置に関する。
【背景技術】
【０００２】
地図の道路上の複数の地点に対して、運転者の視点から見た前方の区画線形状を予め記憶装置に記憶しておき、車両が区画線形状を記憶した地点を実際に走行するときに、ヘッドアップディスプレイ上に、運転者の視点から見た前方の区画線を表示する装置が知られている（たとえば、特許文献１）。この装置によれば、運転者は、視界不良時にも、ヘッドアップディスプレイに表示された区画線を参酌することによって、前方の区画線形状を認識することができる。
【０００３】
また、見通しの悪い交差点に進入する際に、現在走行している道路と交差する道路の画像を、ナビゲーション装置のディスプレイに表示させる運転支援装置も知られている（たとえば特許文献２）。
【特許文献１】特開２０００−２１１４５２号公報
【特許文献２】特開２００７−１４０９９２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、複数人が同一の車両を運転することは通常よくあることであり、運転者の身長が異なれば運転者の目の位置は変化し、運転者の視点から見た前方の区画線形状も変化する。また、同じ運転者であっても、座る位置や姿勢が異なれば運転者の視点から見た前方の区画線形状も変化する。しかし、特許文献１に記載の装置では、区画線をヘッドアップディスプレイ上のどの位置に表示するかは予め記憶されており、また、各走行位置における区画線形状も予め設定されている。そのため、運転者の身長や運転者の座る位置、運転者の姿勢によっては、ヘッドアップディスプレイに表示される区画線が、実際の区画線から大きくずれてしまうという問題がある。
【０００５】
また、区画線以外にも、道路上には種々の道路標示が描かれており、それらも運転操作に役立つのであるが、特許文献１において表示されるのは区画線のみであった。また、運転に際しては、道路標示以外にも、車両の外に存在する種々の物体の車両に対する位置を考慮しつつ運転する必要がある。しかし、上述のように、特許文献１において表示されるのは区画線のみであり、区画線以外は、車両の外に存在する物体は表示装置に表示されない。
【０００６】
なお、特許文献２の装置では、見通しの悪い交差点に進入する際、交差する道路の画像（すなわち、車外の画像）が表示されるようになっている。しかし、特許文献２の装置は、ナビゲーション装置のディスプレイにカメラ画像をそのまま表示するだけである。そのため、画像中にどのような物体が写っているか、その物体が実際にはどこに位置するのかなどを運転者が判断する必要がある。
【０００７】
本発明は、この事情に基づいて成されたものであり、その目的とするところは、運転者の身長、姿勢、座る位置に関わらず、表示装置の適切な位置に車外の物体を表示することができる運転支援装置を提供することにある。
【課題を解決するための手段】
【０００８】
その目的を達成するための請求項１に記載の発明は、車両の外に存在する物体を検出して、その検出した物体を車室内に設けられた表示装置に表示する運転支援装置であって、運転者の目の位置を検出する目位置検出手段と、車両周囲の所定範囲の画像を撮像するカメラと、前記カメラによって撮像された画像を解析して、画像から所定の物体を抽出する抽出手段と、前記抽出手段が抽出した物体の車両に対する位置を決定する物体位置決定手段と、前記物体位置決定手段が決定した物体の車両に対する位置と、前記目位置検出手段が検出した運転者の目の位置とに基づいて、前記表示装置上の表示位置を決定し、その決定した表示位置に前記抽出手段が抽出した物体を表示する表示制御手段とを含むことを特徴とする。
【０００９】
このように、上記発明では、運転者の目の位置を検出するとともに、カメラによって撮像された画像中の物体の車両に対する位置を決定し、それらに基づいて、表示装置に表示する物体の表示位置を決定している。そのため、運転者が変わったり、座る位置や姿勢が変化したとしても、運転者が見て適切な位置に車外の物体を表示することができる。
【００１０】
請求項２に記載の発明は、請求項１において、前記表示装置が、前記車両のフロントガラスに画像を表示するヘッドアップディスプレイであり、前記カメラは、前記車両の前端または後端に設けられて車両側方を含む所定範囲を撮影するものであり、前記抽出手段は、前記車両が当該車両の進行方向に対して交差する方向の見通しが悪い状況で走行しているときに前記カメラによって撮影された画像を解析して、画像から移動物体を抽出するものであり、前記物体位置決定手段は、前記抽出手段が抽出した移動物体の車両に対する位置を決定し、前記表示制御手段は、前記物体位置決定手段が決定した移動物体の車両に対する位置と、前記目位置検出手段が検出した運転者の目の位置とに基づいて、前記ヘッドアップディスプレイ上の表示位置を決定し、その決定した表示位置に前記抽出手段が抽出した物体を表示することを特徴とする。
【００１１】
この請求項２記載の発明によれば、車両の進行方向に対して交差する方向の見通しが悪い状況において上記カメラによって撮影される画像には、運転者にとって死角となる範囲の画像が含まれており、抽出手段ではその画像から移動物体を抽出している。そして、その抽出した移動物体がヘッドアップディスプレイに表示されるので、運転者は、ヘッドアップディスプレイを見ることで、死角となる範囲に移動物体が存在することを認識できる。しかも、ヘッドアップディスプレイにおける移動物体の表示位置を決定するために運転者の目の位置を検出しており、その目の位置と車両に対する移動物体の位置とから移動物体の表示位置を決定している。そのため、運転者が変わったり、座る位置や姿勢が変化したとしても、運転者が実際に見た場合の位置と一致する位置に移動物体が表示される。従って、移動物体がどの程度車両に近い位置に存在しているのかを正確に知ることができる。その結果、その移動物体が死角から飛び出してくる危険性を正確に判断できる。
【００１２】
請求項３記載の発明は、請求項１における車外の物体を道路標示とした態様である。すなわち、請求項３に記載の発明は、運転席前方に設けられた表示装置に車両前方に存在する道路標示を表示する運転支援装置であって、運転者の目の位置を検出する目位置検出手段と、車両前方の画像を撮像するカメラと、前記カメラによって撮像された画像を解析して、画像から道路標示を抽出する抽出手段と、前記抽出手段が抽出した道路標示の車両に対する位置を決定する道路標示位置決定手段と、前記道路標示位置決定手段が決定した道路標示の車両に対する位置と、前記目位置検出手段が検出した運転者の目の位置とに基づいて、前記表示装置上の表示位置を決定し、その決定した表示位置に前記抽出手段が抽出した道路標示を表示する表示制御手段とを含むことを特徴とする。
【００１３】
このように、上記発明では、運転者の目の位置を実際に検出するとともに、実際の道路標示の車両に対する位置を決定し、それらに基づいて、表示装置に表示する道路標示の表示位置を決定している。そのため、運転者が変わったり、座る位置や姿勢が変化したとしても、表示装置に表示される道路標示の位置が適切となる。
【００１４】
請求項４記載の発明は、前記表示装置が、前記車両のフロントガラスに画像を表示するヘッドアップディスプレイであり、前記表示制御手段は、前記道路標示位置決定手段が決定した道路標示の車両に対する位置と、前記目位置検出手段が検出した運転者の目の位置とに基づいて、前記ヘッドアップディスプレイ上において、運転者から見て、実際の道路標示とヘッドアップディスプレイ上の表示とが重なる位置に、前記抽出手段が抽出した道路標示を表示するものであることを特徴とする。
【００１５】
このように、請求項４記載の発明では、実際に検出した運転者の目の位置と、実際の道路標示の車両に対する位置とに基づいて、運転者から見て、実際の道路標示とヘッドアップディスプレイ上の表示とが重なるように、ヘッドアップディスプレイ上に道路標示を表示している。そのため、運転者が変わったり、座る位置や姿勢が変化したとしても、運転者から見て、実際の道路標示とディスプレイ上の道路標示とが精度よく一致することになる。
【００１６】
上記運転支援装置は、視界が良好なときよりも視界不良時に特に有効である。そこで、請求項５記載のように、上記運転支援装置は、車両の前方の視界が不良か否かを判断する視界判断手段をさらに備え、前記表示制御手段は、前記視界判断手段によって視界が不良であると判断されたことに基づいて、前記抽出手段が抽出した道路標示をヘッドアップディスプレイに表示することが好ましい。このようにすれば、視界判断手段によって自動的に視界が不良か否かを判断しており、視界が不良と判断された場合には、自動的に抽出手段が抽出した道路標示をヘッドアップディスプレイに表示するので、視界不良時の運転操作が容易になる。
【００１７】
また、請求項６記載のように、抽出手段が抽出する道路標示として区画線が含まれることが好ましい。この場合には、ヘッドアップディスプレイ上において、運転者から見て、実際の区画線と重なる位置に、安全な運転操作に特に有用な区画線が表示されることになる。
【００１８】
また、請求項６記載のように、道路標示として区画線を表示する場合、さらに、請求項７記載のように、前記抽出手段は、前記画像から区画線上の複数の代表地点を抽出するものであり、前記道路標示位置決定手段は、前記抽出手段が抽出した複数の代表地点の車両に対する位置を決定するものであり、前記表示制御手段は、前記抽出手段が抽出した代表地点に基づいて、道路に沿って延びる区画線画像を作成して、運転者から見て、実際の区画線上の複数の前記代表地点とヘッドアップディスプレイ上の代表地点とが重なる位置に、前記区画線画像を表示することが好ましい。
【００１９】
このようにすれば、カメラによって撮像された画像から複数の代表地点が抽出できれば、ヘッドアップディスプレイに区画線画像を表示することができる。そのため、視界不良時にも区画線画像を表示できる場合が多くなる。
【００２０】
また、前記目的を達成するための請求項８に記載の発明は、運転席前方に設けられた表示装置に車両前方に存在する道路標示を表示する運転支援装置であって、運転者の目の位置を検出する目位置検出手段と、車両前方の画像を撮像するカメラと、前記カメラによって撮像された画像を解析して、画像から予め設定された種類の道路標示または予め設定された種類の道路標識を抽出する抽出手段と、前記抽出手段が抽出した道路標示または道路標識に基づいて、走行中の実際の道路の所定位置に示された場合に運転を補助することが可能な運転補助情報を作成するとともに、その運転補助情報の実際の道路上の位置を決定する運転補助情報決定手段と、その運転補助情報決定手段が決定した運転補助情報の実際の道路上の位置と、前記目位置検出手段が検出した運転者の目の位置とに基づいて、前記表示装置上の表示位置を決定し、その決定した表示位置に前記運転補助情報を表示する表示制御手段とを含むことを特徴とする。
【００２１】
このように、上記発明では、抽出手段において、カメラによって撮像された車両の前方の画像から予め設定された種類の道路標示または道路標識を抽出しており、運転補助情報決定手段では、それらに基づいて、走行中の実際の道路の所定位置に示された場合に運転を補助することが可能な運転補助情報を作成するとともに、その運転補助情報の実際の道路情報位置を決定している。そして、表示制御手段では、その運転補助情報を表示装置に表示しており、且つ、その表示位置は、運転補助情報決定手段が決定した運転補助情報の実際の道路上の位置と、前記目位置検出手段が検出した運転者の目の位置とに基づいて決定している。従って、表示装置には、運転者の身長、姿勢、座る位置が変化したとしても、適切な位置に運転補助情報が表示されることになるので、運転者は表示装置に表示された運転補助情報を参考にすることにより、安全な運転操作が可能となる。
【００２２】
請求項９記載の発明は、前記表示装置が、前記車両のフロントガラスに画像を表示するヘッドアップディスプレイであり、前記表示制御手段は、前記運転補助情報決定手段が決定した運転補助情報の実際の道路上の位置と、前記目位置検出手段が検出した運転者の目の位置とに基づいて、前記ヘッドアップディスプレイ上において、運転者から見て、前記運転補助情報の実際の道路上の位置とヘッドアップディスプレイ上の表示位置とが重なる位置に、前記運転補助情報を表示するものであることを特徴とする。
【００２３】
このように、請求項９記載の発明では、ヘッドアップディスプレイに運転補助情報を表示しており、その運転補助情報の表示位置は、運転補助情報決定手段が決定した運転補助情報の実際の道路上の位置と、前記目位置検出手段が検出した運転者の目の位置とに基づいて、ヘッドアップディスプレイ上において、運転者から見て、前記運転補助情報の実際の道路上の位置とヘッドアップディスプレイ上の表示位置とが重なる位置としている。従って、運転者の身長、姿勢、座る位置が変化したとしても、ヘッドアップディスプレイの適切な位置に運転補助情報が表示されることになるので、運転者はヘッドアップディスプレイに表示された運転補助情報を参考にすることにより、安全な運転操作が可能となる。
【００２４】
車両周囲を撮影するカメラの画像を解析して移動物体を抽出し、その抽出した移動物体をヘッドアップディスプレイに表示するとしても、表示位置が不適切であると適切な運転支援を行なうことができない。ヘッドアップディスプレイ上における移動物体の表示位置としては、前述の請求項２記載の態様が考えられる。しかし、次の請求項１０の態様でもよい。
【００２５】
その請求項１０記載の発明は、車両の外に存在する物体を検出して、その検出した物体を、前記車両のフロントガラスに画像を表示するヘッドアップディスプレイに表示する運転支援装置であって、運転者の注視点を検出する注視点検出手段と、車両周囲の所定範囲の画像を撮像するカメラと、前記カメラによって撮像された画像を解析して、画像から移動物体を抽出する抽出手段と、前記視線方向検出手段が検出した運転者の注視点に基づいて、前記ヘッドアップディスプレイ上において前記注視点へ向かう運転者の視線上に位置する表示位置を決定し、その決定した表示位置に前記抽出手段が抽出した移動物体を表示する表示制御手段とを含むことを特徴とする。
【００２６】
このようにすれば、移動物体が画像から抽出された場合、運転者の注視点に移動物体が表示されることになる。そのため、運転者は、即座に移動物体の存在を認識することができる。
【００２７】
また、カメラによって車両周囲の画像を撮像し、その撮像した画像をヘッドアップディスプレイに表示することも考えられる。この場合、表示する位置によっては運転支援とはならず、却って運転の邪魔となってしまう恐れがある。そこで、請求項１１のようにすることが好ましい。
【００２８】
その請求項１１記載の発明は、車両周辺を撮像する車両周辺撮像装置を備え、その車両周辺撮像装置によって撮像した画像を、車両のフロントガラスに画像を表示するヘッドアップディスプレイに表示する運転支援装置であって、運転者の目の位置を検出する目位置検出手段と、車両前方を撮像する車両前方撮像装置と、その車両前方撮像装置によって撮像された車両前方の画像を解析して、画像から遮蔽物領域を抽出する抽出手段と、前記抽出手段によって抽出された遮蔽物領域と前記目位置検出手段によって検出された運転者の目の位置とに基づいて、前記ヘッドアップディスプレイ上において、運転者から見て遮蔽物と重なる位置を表示可能範囲に決定して、その表示可能範囲に、前記車両周辺撮像装置によって撮像した画像を表示する表示制御手段とを含むことを特徴とする。
【００２９】
このように、車両周辺撮像装置によって撮像した画像を、ヘッドアップディスプレイ上において、運転者から見て遮蔽物と重なる位置に表示すれば、走行中の道路および交差する道路の状況を確認する際の妨げとならずに、車両周辺撮像装置によって撮像された画像を確認することができる。
【発明を実施するための最良の形態】
【００３０】
（第１実施形態）
以下、本発明の実施の形態を図面に基づいて説明する。図１は、本発明の運転支援装置１００の構成を示すブロック図である。なお、本実施形態の運転支援装置１００はナビゲーション装置としての機能も備えている。
【００３１】
運転支援装置１００は、位置検出器１０１、地図データ入力器１０６、操作スイッチ群１０７、リモコンセンサ１０８、操作リモコン１０９、送受信機１１０、メモリ１１１、表示装置１１２、音声認識ユニット１１３、スピーカ１１４、車両前方撮影装置１１５、運転者視点検出装置１１６、ヘッドアップディスプレイ１１７と、これら各装置が接続されたＥＣＵ１２０とを備えている。
【００３２】
位置検出器１０１は、車両の絶対方位を検出するための地磁気センサ１０２、車両の相対方位を検出するためのジャイロスコープ１０３、車両の走行距離を検出する距離センサ１０４、および衛星からの電波に基づいて車両の位置を測定するグローバルポジショニングシステム（ＧＰＳ）のためのＧＰＳ受信機１０５を有している。これらのセンサ等１０２、１０３、１０４、１０５は、いずれも周知のものである。これらのセンサ等１０２、１０３、１０４、１０５は各々が性質の異なる誤差を持っているため、複数のセンサ等１０２、１０３、１０４、１０５により各々を補完しながら使用するように構成されている。なお、精度によっては、上述したうちの一部で位置検出器１０１を構成してもよく、更に、図示しないステアリングの回転センサ、各転動輪の車速センサ等を用いてもよい。
【００３３】
地図データ入力器１０６は、たとえばＤＶＤ、ＣＤなどの図示しないディスク型の記憶媒体が装着されるものであり、装着された記憶媒体からデジタル地図データが入力される。このデジタル地図データは、道路データ、背景データ、文字データおよび施設データなどのデータからなるものである。上記道路データには、交差点が見通しの悪い交差点であるか否かを示すデータが含まれている。そして、地図データ入力器１０６に入力されたデジタル地図データは、ＥＣＵ１２０へ出力される。
【００３４】
操作スイッチ群１０７は、表示装置１１２と一体になったタッチスイッチもしくは表示装置１１２の周辺に設けられるメカニカルなスイッチ等からなる。操作リモコン１０９には、図示しない複数の操作スイッチが設けられ、その操作スイッチの操作により操作スイッチ群１０７と同様の入力操作が行える。操作リモコン１０９に入力された入力操作を表す信号は、リモコンセンサ１０８を介してＥＣＵ１２０へ供給される。
【００３５】
メモリ１１１は、たとえば、メモリカードやハードディスク等の書き込み可能な記憶媒体である。このメモリ１１１には、ユーザによって設定された自宅位置や、テキストデータ、画像データ、音声データ等の各種データが記憶される。
【００３６】
表示装置１１２は、たとえば液晶ディスプレイ、有機ＥＬディスプレイによって構成され、たとえば、経路案内のためにセンターコンソールに設けられる。また、計器類を表示する等のためにダッシュボードの運転席前方に設けられてもよい。
【００３７】
送受信機１１０は、外部と無線通信するための装置であり、道路に敷設されたビーコンや各地のＦＭ放送局を介してＶＩＣＳ（Vehicle Information and Communication System）（登録商標）センタ２００と接続可能であり、また、たとえば、携帯電話などの外部表示機器２１０にも接続可能である。ＶＩＣＳセンタ２００は、道路交通情報、気象情報、日付情報、施設情報、広告情報を配信しており、これらの情報が送受信機１１０に受信される。送受信機１１０は受信した情報をＥＣＵ１２０へ送信する。また、上記ＥＣＵ１２０で処理した情報を送受信機１１０から出力することもできる。
【００３８】
音声認識ユニット１１３は、マイクおよびマイクに入力された音声を文字データとして認識する認識処理装置を備えたものであり、認識した文字データをＥＣＵ１２０へ出力する。スピーカ１１４は、ＥＣＵ１２０から入力された音声出力信号に基づき種々のメッセージを外部に出力する。このスピーカ１１４から出力されるメッセージとしては、経路案内のためのメッセージ、注意喚起メッセージ、画面操作説明のためのメッセージ、音声認識結果を表すメッセージなどがある。
【００３９】
車両前方撮影装置１１５はステレオカメラであり、車両前端部または車室内の上部などに設けられる。この車両前方撮影装置１１５は、ＥＣＵ１２０からの指示に従って、車両前方の所定範囲を撮像し、撮像した画像のデータをＥＣＵ１２０へ出力する。
【００４０】
運転者視点検出装置１１６は、目位置検出手段に相当するものであり、ステレオカメラとそのステレオカメラによって撮像された画像を解析する処理装置とからなる。この運転者視点検出装置１１６のステレオカメラは、運転者が前方を向いているときに運転者の顔が撮影可能な位置、たとえば、ルームミラーの側方などに設けられ、運転者の顔を含む画像データを処理装置へ出力する。処理装置は、供給された画像データを公知の認識処理手法によって解析して、画像内における運転者の目の位置を決定し、さらに、ステレオカメラを基準点とする運転者の目の位置を決定する。
【００４１】
ヘッドアップディスプレイ１１７は、車両のフロントガラスに映像を映し出す装置であり、本実施形態のヘッドアップディスプレイ１１７は、フロントガラスのほぼ全範囲にわたり表示が可能となっている。
【００４２】
ＥＣＵ１２０は、通常のコンピュータであり、内部には周知のＣＰＵ、ＲＯＭ、ＲＡＭ、Ｉ／Ｏおよびこれらの構成を接続するためのバスラインを備えている。ＲＯＭには、ＥＣＵ１２０が実行するためのプログラムが書き込まれており、このプログラムに従ってＣＰＵ等が所定の演算処理を実行する。
【００４３】
上記ＥＣＵ１２０は、音声認識ユニット１１３からの情報に基づき、操作者の発声に対する所定の処理および操作スイッチ群１０７あるいは操作リモコン１０９の入力操作に対する所定の処理（たとえば、メモリ１１１への地図データの記憶処理、地図縮尺変更処理、メニュー表示選択処理、目的地設定処理、経路探索実行処理、経路案内開始処理、現在位置修正処理、表示画面変更処理、音量調整処理等）を実行する。また、ＥＣＵ１２０で処理された経路案内メッセージ等はスピーカ１１４から適宜報知される。
【００４４】
ＥＣＵ１２０は、上述した各種の処理を実行することに加えて、運転支援のための図２に示す運転支援処理を実行する。次に、この運転支援処理について説明する。なお、この運転支援処理は所定の短周期で繰り返し実行する。
【００４５】
図２において、まず、ステップＳ１０では、車両前方撮影装置１１５によって車両前方画像を撮像させ、その車両前方画像を取得する。続くステップＳ２０は、抽出手段および視界判断手段に相当する処理であり、ステップＳ１０で取得した車両前方画像を公知の画像解析手法を用いて解析して、視界が不良の画像であるか否かを判断するとともに、画像内から予め設定された種類の道路標示および予め設定された種類の道路標識を抽出する。
【００４６】
視界が不良であるか否かの判断は、たとえば、画像全体に対して画素毎に微分演算によって輝度のエッジ量を算出して、そのエッジ量に基づいて行うことができる。視界が不良である場合には、画像が全体としてぼやけたものとなり、エッジ量が小さくなるからである。
【００４７】
また、このステップＳ２０で抽出する道路標示には、規制標示に分類されるもの、指示標示に分類されるもの（停止線など）があり、また、区画線も含まれる。これらの道路標示を抽出するには、たとえば、ステップＳ１０で取得した画像を二値化処理し、二値化処理後の画像から白色部分を抽出し、抽出した白色部分の形状からその形状が道路標示であるか、および、どの種類の道路標示であるかを判断することによって行う。
【００４８】
また、このステップＳ２０で抽出する道路標識は、後述する基礎情報として利用できる道路標識である。道路標識の抽出は、予め記憶しておいた道路標識の形状が画像内に含まれるか否かに基づいて行う。
【００４９】
続くステップＳ３０では、ステップＳ２０における解析結果が視界不良であるか否かを判断する。この判断が否定判断である場合には、直接、ステップＳ６０へ進む。一方、肯定判断である場合には、ステップＳ４０へ進んで車両前方情報表示をオンに設定する。この車両前方情報表示がオンの場合、車両前方画像から抽出した道路標示をヘッドアップディスプレイ１１７に表示するモードとなる。
【００５０】
続くステップＳ５０は道路標示位置決定手段に相当する処理であり、自車両を基準点として、ステップＳ２０で抽出した道路標示が示されている位置を算出する。前述のように、車両前方撮影装置１１５はステレオカメラになっており、２つのカメラによってそれぞれ撮像される画像において、同一の道路標示が抽出される位置の違いから、道路標示が示されている位置を算出する。
【００５１】
なお、道路標示は点ではなく線状の図形であることから、ここでは、道路標示の位置を特定するのに十分なその道路標示上の複数の地点（以下、代表地点という）について、自車両を基準とした位置を算出する。従って、前述のステップＳ２０において、道路標示全体を抽出するのではなく、上記複数の代表地点のみを抽出してもよい。この複数の代表地点は、区画線の場合には区画線上の一定間隔の点となるが、ステップＳ２０において画像不良（視界不良）等の理由によって区画線が不連続にしか抽出されなかった場合には、代表地点間の間隔が一定でなくてもよい。
【００５２】
ステップＳ６０では、ステップＳ２０で抽出した道路標示に、基礎情報として設定されている道路標示が含まれているか否かを判断する。この基礎情報とは、その情報に基づいて（基礎として）運転補助情報を作成することができる情報であり、運転補助情報とは、実際の車両前方には存在しないが、走行中の道路に標示された場合には運転を補助することが可能な情報である。
【００５３】
たとえば、基礎情報としては、紅白の矢印型の固定式視線誘導柱（以下、矢羽根という）がある。この矢羽根は、除雪幅を示すとともに視線誘導標として用いられており、道路に沿って連続的に配置されている。また、各矢羽根は道路の上方の比較的高い位置において道路面に対して垂直に配置され、道路の幅方向における位置は略一定である。この矢羽根を基礎情報とする運転補助情報は、矢羽根から道路に向かって垂線を引いた時に、その垂線が道路と交差する点を利用して作成する道路端標示線である。
【００５４】
ステップＳ６０が否定判断である場合には、直接、ステップＳ９０へ進む。一方、肯定判断である場合には、ステップＳ７０へ進んで運転補助情報表示をオンに設定する。この運転補助情報表示がオンの場合、運転補助情報をヘッドアップディスプレイ１１７に表示するモードとなる。
【００５５】
続くステップＳ８０は運転補助情報決定手段に相当する処理であり、基礎情報に基づいて運転補助情報を作成するとともに、自車両を基準点として、その運転補助情報の実際の道路上の位置を算出する。前述の矢羽根を例にこのステップＳ８０の処理を具体的に説明すると、まず、画像内において、矢羽根から道路に向かって垂線を引いた時に、その垂線が道路と交差する点を決定する。次いで、この点の実際の道路上の位置を算出する。これを画像から抽出された全ての矢羽根に対して実行する。これによって、道路に沿って連続する道路上の点の実際の位置が複数算出されることになる。次いで、それら複数の点間を直線でつなぐことにより、または、それら複数の点から近似曲線を作成することによって道路端標示線を作成する。
【００５６】
ステップＳ９０では、車両前方情報表示および運転補助情報表示の少なくとも一方がオンに設定されているか否かを判断する。この判断が否定判断である場合には、本ルーチンを終了する。一方、肯定判断である場合には、ステップＳ１００に進んで、運転者視点検出装置１１６によって運転者の目の位置を検出させ、運転者視点検出装置１１６から運転者の目の位置を示すデータを取得する。
【００５７】
続くステップＳ１１０乃至Ｓ１２０は表示制御手段としての処理であり、まず、ステップＳ１１０では、車両前方情報表示がオンの場合には、ステップＳ５０で算出した道路標示の代表地点の位置とステップＳ１００で取得した運転者の目の位置とを結ぶ直線を算出する。次いで、この直線と、フロントガラスを近似するものとして予め記憶してある複数の平面との交点を算出する。そして、ステップＳ２０で抽出した道路標示のヘッドアップディスプレイ１１７上の表示位置を、この交点を通るように設定する。
【００５８】
図３は、区画線を例にして、このステップＳ１１０の処理を概念的に説明する図である。図３において、ＥがステップＳ１００で取得した目の位置であり、Ｐ１〜Ｐ６がステップＳ５０で算出した代表地点の位置である。この場合、直線Ｌ１〜Ｌ６が作成されることになるので交点Ｑ１〜Ｑ６が得られる。そのため、区画線のヘッドアップディスプレイ１１７上の表示位置は直線Ｍ１、Ｍ２になる。
【００５９】
さらに、ステップＳ１１０では、運転補助情報表示がオンの場合には、上述の道路標示の表示位置を算出したのと同様の方法により、ステップＳ８０で作成した運転補助情報のヘッドアップディスプレイ１１７上の表示位置を算出する。
【００６０】
そして、ステップＳ１２０では、ステップＳ１１０で算出した表示位置に、ステップＳ２０で抽出した道路標示を示す画像およびステップＳ８０で作成した運転補助情報を示す画像を表示させるための表示信号をヘッドアップディスプレイ１１７に出力する。
【００６１】
図４は、ステップＳ１２０を実行した後のヘッドアップディスプレイ１１７を運転者が見た状態を例示する図である。図４に示すように、ヘッドアップディスプレイ１１７には、運転者から見て、実際の区画線と重なる位置に区画線を示す直線Ｍ１、Ｍ２が表示されている。
【００６２】
以上、説明した本実施形態によれば、運転者の目の位置を運転者視点検出装置１１６によって検出するとともに、実際の道路標示の車両に対する位置を算出しており、それらに基づいて、運転者から見て、実際の道路標示とヘッドアップディスプレイ１１７上の表示とが重なるように、ヘッドアップディスプレイ１１７上に道路標示を表示している。そのため、運転者が変わったり、座る位置や姿勢が変化したとしても、運転者から見て、実際の道路標示とディスプレイ上の道路標示とが精度よく一致することになる。
【００６３】
また、本実施形態によれば、ステップＳ２０において視界が不良か否かを判断しており、視界が不良と判断した場合には、自動的に抽出した道路標示をヘッドアップディスプレイ１１７に表示しているので、視界不良時の運転操作が容易になる。
【００６４】
また、本実施形態によれば、区画線の複数の代表地点から、ヘッドアップディスプレイ１１７に表示する区画線を作成している。そのため、車両前方画像から複数の代表地点が抽出できれば、ヘッドアップディスプレイ１１７に区画線画像を表示することができる。そのため、視界不良時にも区画線画像を表示できる場合が多くなる。
【００６５】
また、本実施形態によれば、ヘッドアップディスプレイ１１７に、実際の車両前方には存在しないが運転を補助することが可能な運転補助情報を表示している。この運転補助情報の表示位置は、車両前方に実際に運転補助情報を表示するとした場合の位置と実際に検出した運転者の目の位置とに基づいて決定しており、運転者から見て、運転補助情報の実際の道路上の位置とヘッドアップディスプレイ１１７上の表示位置とが重なる位置としている。従って、運転者の身長、姿勢、座る位置が変化したとしても、ヘッドアップディスプレイ１１７の適切な位置に運転補助情報が表示されることになるので、運転者はヘッドアップディスプレイ１１７に表示された運転補助情報を参考にすることにより、安全な運転操作が可能となる。
【００６６】
（第２実施形態）
次に、第２実施形態を説明する。図５は、第２実施形態の運転支援装置３００の構成を示すブロック図である。第２実施形態の運転支援装置３００を第１実施形態の運転支援装置１００と比較すると、第２実施形態の運転支援装置３００は、車両周辺撮影装置１２１、リアウィンドシールドディスプレイ１２２をさらに備えている点、運転者視点検出装置１１６に代えて、第１運転者視点検出装置１２３と第２運転者視点検出装置１２４とを備えている点において、第１実施形態の運転支援装置１００と異なる。また、ＥＣＵ１２０が実行する運転支援処理の内容も一部相違する。
【００６７】
車両周辺撮影装置１２１は、車両前端に備えられて車両の左右の側方をそれぞれ撮影する２つのフロントカメラと、車両後端に備えられて車両の左右の側方をそれぞれ撮影する２つのバックカメラとを含んだ構成である。これらフロントカメラおよびバックカメラはいずれもステレオカメラである。また、これらフロントカメラおよびバックカメラの固定位置は、車両前端または後端であれば、車両幅方向の位置は特に制限はなく、車両の各コーナ部に備えられていてもよいが、この第２実施形態では車両の幅方向中心部に備えられている。
【００６８】
上記フロントカメラおよびバックカメラは、車両の前端または後端に備えられているので、車両の前後方向の中央部付近に位置している運転者の視界に、建造物の壁などの遮蔽物によって死角範囲が生じた場合に、その死角範囲を撮影することが可能である。
【００６９】
リアウィンドシールドディスプレイ１２２は、車両のリアウィンドを表示面としたヘッドアップディスプレイであり、リアウィンドのほぼ全範囲にわたり、映像表示が可能である。
【００７０】
第１運転者視点検出装置１２３は、構成および設置位置ともに第１実施形態の運転者視点検出装置１１６と同じである。第２運転者視点検出装置１２４は、構成は第１運転者視点検出装置１２３と同じであり、ステレオカメラとそのステレオカメラによって撮像された画像を解析する処理装置とからなるが、ステレオカメラの設置位置が相違する。第２運転者視点検出装置１２４のステレオカメラは、運転者が後方を見たときに運転者の顔が撮影可能な位置に設けられている。
【００７１】
次に、第２実施形態においてＥＣＵ１２０が実行する運転支援処理を説明する。図６および図７は、その運転支援処理を示すフローチャートである。この運転支援処理は所定の短周期で繰り返し実行する。なお、第１実施形態と同一の処理には同一のステップ番号が付してある。
【００７２】
第２実施形態の運転支援処理においても、まず、ステップＳ１０乃至Ｓ５０を実行する。そして、ステップＳ５０を実行後、または、ステップＳ３０が否定判断となった場合、第１実施形態では、ステップＳ６０を実行するが、第２実施形態では、ステップＳ６０を実行する前にステップＳ５２を実行する。
【００７３】
ステップＳ５２では、バックカメラ表示条件が成立したか否かを判断する。この条件は、車両が後退中であることである。なお、運転席は車両前後方向の中心よりも車両前端寄りに位置しており、且つ、車両後退中は、運転者は振り返る姿勢で進行方向の左右を確認する必要があることから、車両の後退中は、車両前進中よりも、進行方向に対して交差する方向の見通しが悪い状況にあるといえる。そこで、このステップＳ５２の判断が肯定判断であれば、ステップＳ５４以降を実行して、後退中の運転支援処理を実行する。一方、ステップＳ５２が否定判断であればステップＳ６０へ進む。
【００７４】
ステップＳ５４では、車両周辺撮影装置１２１のバックカメラをオンにする。そして、ステップＳ５６では、バックカメラによって撮影された画像を解析して、画像中に移動物体が検出できた場合には、画像から移動物体を含む所定形状（たとえば矩形）の領域を抽出する。
【００７５】
そして、ステップＳ５８において、自車両を基準点として、ステップＳ５６で抽出した移動物体の位置を算出する。前述のように、バックカメラはステレオカメラになっており、略同一範囲を撮影する２つのバックカメラによってそれぞれ撮像される画像において、同一の移動物体が抽出される位置の違いから、移動物体の位置を算出する。なお、移動物体は点ではなく、ある大きさを持っているため、移動物体のどの部分の位置を算出するかが問題となるが、たとえば、画像において移動物体の重心となる点や、移動物体の輪郭上の複数点の位置を、移動物体の位置として算出する。また、ステップＳ５８では、移動物体の位置を算出した場合には、情報表示をオンにする。ステップＳ５８を実行後は、ステップ９０（図７）へ進む。
【００７６】
ステップＳ５２が否定判断であった場合には、ステップＳ６０乃至Ｓ８０を実行する。その後、図７のステップＳ８２の判断を実行する。ステップＳ８２では、位置検出器１０１によって逐次検出される現在位置および地図データ入力器１０６から入力される地図データに基づいて、現在位置が見通しの悪い交差点に進入する状況かどうかを判断する。
【００７７】
上記ステップＳ８２の判断が肯定判断である場合にはステップＳ８４へ進み、否定判断である場合にはステップＳ９０へ進む。
【００７８】
ステップＳ８４では、車両周辺撮影装置１２１のフロントカメラをオンにする。そして、ステップＳ８６では、フロントカメラによって撮影された画像を解析して、画像中に移動物体が検出できた場合には、画像から移動物体を含む所定形状（たとえば矩形）の領域を抽出する。その後、ステップＳ８８へ進む。
【００７９】
図８は、車両が見通しの悪い交差点に進入しようとする状況を例示している。この図８において、ＶＡはフロントカメラの視野角を示している。また、この図８の例では、人３１０が交差点に向けて移動中である。
【００８０】
この図８から分かるように、人３１０はフロントカメラによって撮影された画像中に含まれることになる。図９は、その画像を概念的に示す図である。一方、車両の運転者は建物３２０が邪魔になって人３１０を見ることはできない。このような状況では、ステップＳ８６において、人を含む画像領域３３０（図９参照）が抽出されることになる。
【００８１】
ステップＳ８８では、自車両を基準点として、ステップＳ８６で抽出した移動物体の位置を算出する。前述のように、フロントカメラもステレオカメラになっており、略同一範囲を撮影する２つのフロントカメラによってそれぞれ撮像される画像において、同一の移動物体が抽出される位置の違いから、移動物体の位置を算出する。なお、移動物体のどの部分の位置を算出するかは、ステップＳ５８と同様である。また、ステップＳ８８においても、移動物体の位置を算出した場合には、情報表示をオンにする。
【００８２】
ステップＳ９０では、情報表示がオンに設定されているか否かを判断する。この判断が否定判断である場合には、本ルーチンを終了する。一方、肯定判断である場合には、ステップＳ１００に進んで、第１運転者視点検出装置１２３または第２運転者視点検出装置１２４によって運転者の目の位置を検出させ、その第１または第２運転者視点検出装置１２３または１２４から運転者の目の位置を示すデータを取得する。
【００８３】
そして、ステップＳ１１２では、画像を表示すべきディスプレイがヘッドアップディスプレイ１１７であるか、リアウィンドシールドディスプレイ１２２であるかを決定して、且つ、表示すべき画像の表示位置を算出する。表示すべきディスプレイは、ステップＳ５８にて情報表示がオンになった場合にはリアウィンドシールドディスプレイ１２２とし、それ以外はヘッドアップディスプレイ１１７とする。
【００８４】
表示すべき画像の表示位置は、車両前方情報表示がオンの場合、および、運転補助情報表示がオンの場合は、第１実施形態と同じ処理を実行する。フロントカメラまたはバックカメラにて移動物体を検出した場合には、次のようにして表示位置を算出する。すなわち、ステップＳ５８またはＳ８８で算出した移動物体の位置とステップＳ１００で取得した運転者の目の位置とを結ぶ直線を算出する。次いで、この直線と、フロントウィンド（またはリアウィンド）を近似するものとして予め記憶してある複数の平面との交点を算出し、この交点を表示位置とする。
【００８５】
ステップＳ１２２では、ステップＳ１１２で算出した表示位置に、ステップＳ２０、Ｓ５８、Ｓ８８で抽出した画像、または、ステップＳ８０で作成した運転補助情報を示す画像を表示させるための表示信号をヘッドアップディスプレイ１１７またはリアウィンドシールドディスプレイ１２２に出力する。
【００８６】
このステップＳ１２２にて出力する表示信号の内容の例として、ステップＳ１１２にて、画像を表示すべきディスプレイをヘッドアップディスプレイ１１７に決定し、ステップＳ５６で抽出した画像（移動物体を含む画像）を表示させる場合を説明する。この場合、表示信号の内容は、ステップＳ５６で抽出した画像において、ステップＳ１１２の表示位置の算出に用いた点（重心点や輪郭上の点など）がそのステップＳ１１２で算出した表示位置となるように、ステップＳ５６で抽出した画像を表示させることを指示する内容となる。
【００８７】
図１０および図１１は、上の例の表示信号が出力される前と後とを比較して示す図である。図１０に示すように、車両が通行中の道路に交差する道路は、建物３２０に遮蔽されており、運転者からは死角範囲となっている。そのため、フロントガラスに画像が表示されていない状態では、死角範囲に人３１０がいることは分からない。しかし、図１１に示すように、フロントガラスに人３１０を含む画像が表示されると、死角範囲に人３１０が存在することを認識できる。
【００８８】
しかも、本実施形態では、人３１０の表示位置を決定するために運転者の目の位置を検出しており、その目の位置と車両に対する人３１０の位置とから人３１０を含む画像の表示位置を決定している。そのため、運転者が変わったり、座る位置や姿勢が変化したとしても、運転者が実際に見た場合の位置と一致する位置に人３１０が表示される。従って、人３１０がどの程度車両に近い位置に存在しているのかを正確に知ることができる。その結果、運転者の死角範囲に存在する人３１０が、死角範囲から飛び出してくる危険性を正確に判断できる。
【００８９】
（第３実施形態）
次に、第３実施形態を説明する。図１２は第３実施形態の運転支援装置４００の構成を示すブロック図である。第３実施形態の運転支援装置４００を第１実施形態の運転支援装置１００と比較すると、第３実施形態の運転支援装置４００は、車両前方撮影装置１１５を備えておらず、代わりに、第２実施形態と同じ車両周辺撮影装置１２１を備えている点において異なり、また、運転者視点検出装置１１６に代えて、注視点検出装置１３０を備えている点において異なる。また、ＥＣＵ１２０が実行する運転支援処理の内容も相違する。
【００９０】
注視点検出装置１３０は、運転者の顔を撮影するために車室内に固定されたカメラと、そのカメラによって撮像された画像を解析する処理装置とからなる。この注視点検出装置１３０における処理装置は、カメラによって撮像された画像を公知の注視点検出手法にて解析して、運転者の注視点すなわち運転者が見ている位置を検出する。
【００９１】
図１３は、第３実施形態においてＥＣＵ１２０が実行する運転支援処理を示すフローチャートである。この運転支援処理は所定の短周期で繰り返し実行する。なお、第３実施形態では、車両周辺撮影装置１２１の２つの左右のフロントカメラにて連続的に画像を撮像するとともに、撮像した画像を連続的に解析している。
【００９２】
まず、ステップＳ２００では、上述のように連続的に画像を解析している結果、移動物体を検出したか否かを判断する。この判断が否定判断である場合には処理を終了する。一方、肯定判断である場合には、ステップＳ２１０へ進んで、移動物体を左右両方のフロントカメラで検出したか否かを判断する。この判断が否定判断である場合には、直接、ステップＳ２３０へ進む。一方、肯定判断である場合には、ステップＳ２２０へ進む。ステップＳ２２０では、注視点検出装置１３０を用いて運転者の注視点を検出する。その後、ステップＳ２３０へ進む。
【００９３】
ステップＳ２３０では、左右いずれのフロントカメラで検出した移動物体の画像をヘッドアップディスプレイ１１７に表示するかを決定する。前述のステップＳ２１０が否定判断である場合には、いずれか一方のフロントカメラのみに移動物体が写っているので、その移動物体が写っている側のフロントカメラの画像を、ヘッドアップディスプレイ１１７に表示する画像に決定する。一方、ステップＳ２１０が肯定判断である場合には、ステップＳ２２０で検出した注視点が車両幅方向中心線よりも右方向であるか左方向であるかを判断する。注視点が車両幅方向中心線よりも右方向であれば、右のフロントカメラの画像を表示する画像に決定し、反対に、注視点が車両幅方向中心線よりも左方向であれば、左のフロントカメラの画像を表示する画像に決定する。
【００９４】
続くステップＳ２４０では、ステップＳ２３０で決定した側のフロントカメラの画像から、移動物体を含む領域を切り出し領域に決定する。この切り出し領域の形状は、移動物体を含んでいればどのような形状でもよいが、ここでは矩形形状とする。
【００９５】
そして、ステップＳ２５０では、注視点検出装置１３０を用いて、運転者の注視点を検出する。なお、ステップＳ２２０を実行している場合には、ステップＳ２２０における検出結果を用いることにより、このステップＳ２５０を省略してもよい。
【００９６】
ステップＳ２６０では、ステップＳ２５０で検出した注視点に向かう運転者の視線を示す直線を算出する。さらに、その直線と、フロントウィンドを近似するものとして予め記憶してある複数の平面との交点を算出し、この交点を表示位置とする。なお、上記交点をステップＳ４０で決定した切り出し領域のどの部分とするかが問題となるが、たとえば、重心とすることができる。また、移動物体において最も動きの激しい部分としてもよい。
【００９７】
ステップＳ２７０では、ステップＳ２６０で算出した表示位置に、ステップＳ２４０で決定した切り出し領域の画像を表示させるための表示信号をヘッドアップディスプレイ１１７に出力する。
【００９８】
ここで、第３実施形態においてヘッドアップディスプレイ１１７にどのような画像が表示されるかを具体例を用いて説明する。たとえば、左側のフロントカメラによって前述の図９に示す画像が撮像されたとする。また、同時に、右側のフロンカメラによって別の人が撮影されたとする。この場合、ステップＳ２１０が肯定判断となり、運転者の注視点を検出することになる。注視点が車両幅方向中心線よりも右側である場合、右側のフロントカメラの画像が、表示する画像に決定される。そして、右側のフロントカメラの画像から、人を含むように切り出し領域が決定される。図１４は、この切り出し領域の画像の一例である。この切り出し領域の画像は、図１５に示すように、運転者の注視点に表示されることになる。
【００９９】
このように、第３実施形態においては、移動物体が画像から抽出された場合、運転者の注視点に移動物体が表示されることになる。そのため、運転者は、即座に移動物体の存在を認識することができる。
【０１００】
（第４実施形態）
次に、第４実施形態を説明する。第４実施形態の運転支援装置は、機械的構成は図５に示す第２実施形態のものと同一であり、ＥＣＵ１２０が実行する運転支援処置の内容が相違するのみである。
【０１０１】
図１６は、第４実施形態においてＥＣＵ１２０が実行する運転支援処理を示すフローチャートである。この運転支援処理は所定の短周期で繰り返し実行する。なお、第４実施形態では、車両前方撮影装置１１５に備えられているカメラにて車両前方の所定範囲を連続的に撮像するとともに、車両周辺撮影装置１２１に備えられている左右のフロントカメラによっても連続的に画像を撮像している。
【０１０２】
まず、ステップＳ３００では、車両前方撮影装置１１５に備えられているカメラによって撮像された前方画像を解析して遮蔽物領域を抽出する。この遮蔽物領域は、前方画像において遮蔽物が写っている領域を忠実に示す必要はなく、前方画像において遮蔽物が写っている領域をはみ出さないように決定すればよい。また、遮蔽物領域の形状は四角形等に予め決定されていてもよい。前方画像から遮蔽物が写っている領域を抽出するための処理としては、たとえば、撮影時間が相前後する前方画像において車両の移動分から推定されるだけ移動している物体を遮蔽物であるとする。
【０１０３】
続くステップＳ３１０では、運転者視点検出装置１１６によって運転者の目の位置を検出させ、運転者視点検出装置１１６から運転者の目の位置を示すデータを取得する。そして、ステップＳ３２０では、ステップＳ３００で決定した遮蔽物領域の輪郭と、ステップＳ３１０で取得した運転者の目の位置とを結んでできる面と、フロントガラスを近似するものとして予め記憶してある複数の平面との交線によって画定されるフロントガラスの範囲を表示可能範囲とする。
【０１０４】
続くステップＳ３３０では、ステップＳ３２０で決定した表示可能範囲内に入るように表示画像サイズを決定する。そして、ステップＳ３４０では、左右のフロントカメラによって撮像された画像を、ステップＳ３２０で決定したフロントガラスの表示可能範囲に、ステップＳ３３０で決定した表示画像サイズで表示させる信号をヘッドアップディスプレイ１１７に出力する。
【０１０５】
図１７は、ステップＳ３４０の実行によってフロントガラスに表示される表示例である。この図に示されるように、左右のフロントカメラによって撮像された画像は、運転者から見て壁（遮蔽物）に重畳する位置に表示される。従って、走行中の道路および交差する道路の状況を確認する際の妨げとならずに、フロントカメラによって撮像された画像を確認することができる。
【０１０６】
以上、本発明の実施形態を説明したが、本発明は上述の実施形態に限定されるものではなく、次の実施形態も本発明の技術的範囲に含まれ、さらに、下記以外にも要旨を逸脱しない範囲内で種々変更して実施することができる。
【０１０７】
たとえば、前述の第１実施形態では、車両前方画像を解析することによって視界不良を判断していたが、車外から天気情報を取得して、その取得した天気情報に基づいて視界不良を判断してもよい。また、ワイパの動作速度から視界不良を判断してもよい。また、乗員が視界不良と判断した場合に操作する入力装置を設け、その入力装置が操作されたことに基づいて視界不良を判断してもよい。
【０１０８】
また、前述の実施形態では、フロントガラスを多数の平面で近似していたが、一つまたは複数の局面でフロントガラスを近似してもよい。
【図面の簡単な説明】
【０１０９】
【図１】本発明の運転支援装置１００の構成を示すブロック図である。
【図２】図１のＥＣＵ１２０が実行する運転支援処理を示すフローチャートである。
【図３】区画線を例にして、このステップＳ１１０の処理を概念的に説明する図である。
【図４】図２のステップＳ１２０を実行した後のヘッドアップディスプレイ１１７を、運転者が見た状態を例示する図である。
【図５】第２実施形態の運転支援装置３００の構成を示すブロック図である。
【図６】第２実施形態においてＥＣＵ１２０が実行する運転支援処理を示すフローチャートである。
【図７】第２実施形態においてＥＣＵ１２０が実行する運転支援処理を示すフローチャートである。
【図８】車両が見通しの悪い交差点に進入しようとする状況を例示する図である。
【図９】車両周辺撮影装置１２１のフロントカメラによって撮影された画像を概念的に示す図である。
【図１０】図７のステップＳ１２２で表示信号が出力される前のフロントガラスから見える景色を例示する図である。
【図１１】図７のステップＳ１２２で表示信号が出力された後に、運転者から見たフロントガラスを例示する図である。
【図１２】第３実施形態の運転支援装置４００の構成を示すブロック図である。
【図１３】第３実施形態においてＥＣＵ１２０が実行する運転支援処理を示すフローチャートである。
【図１４】図１３のステップＳ２４０で決定した切り出し領域の画像の一例である。
【図１５】図１３のステップＳ２７０の実行によってフロントガラスに表示される表示例である。
【図１６】第４実施形態においてＥＣＵ１２０が実行する運転支援処理を示すフローチャートである。
【図１７】ステップＳ３４０の実行によってフロントガラスに表示される表示例である。
【符号の説明】
【０１１０】
１００：運転支援装置、 １１２： 表示装置、 １１５：車両前方撮影装置（カメラ）、 １１６：運転者視点検出装置（目位置検出手段）、 １１７：ヘッドアップディスプレイ、 １２０：ＥＣＵ、 １２１：車両周辺撮影装置、 １２２：ウィンドシールドディスプレイ、 １２３：第１運転者視点検出装置、 １２４：第２運転者視点検出装置、 １３０：注視点検出装置、 ３００：運転支援装置、 ３１０：人（移動物体）、 ３２０：建物（遮蔽物）、 ３３０：画像領域、 ４００：運転支援装置、 Ｓ２０：抽出手段、視界判断手段、 Ｓ５０：道路標示位置決定手段、 Ｓ８０：運転補助情報決定手段、 Ｓ１１０、Ｓ１２０：表示制御手段、 Ｐ：代表地点
【特許請求の範囲】
【請求項１】
車両の外に存在する物体を検出して、その検出した物体を車室内に設けられた表示装置に表示する運転支援装置であって、
運転者の目の位置を検出する目位置検出手段と、
車両周囲の所定範囲の画像を撮像するカメラと、
前記カメラによって撮像された画像を解析して、画像から所定の物体を抽出する抽出手段と、
前記抽出手段が抽出した物体の車両に対する位置を決定する物体位置決定手段と、
前記物体位置決定手段が決定した物体の車両に対する位置と、前記目位置検出手段が検出した運転者の目の位置とに基づいて、前記表示装置上の表示位置を決定し、その決定した表示位置に前記抽出手段が抽出した物体を表示する表示制御手段とを含むことを特徴とする運転支援装置。
【請求項２】
前記表示装置が、前記車両のフロントガラスに画像を表示するヘッドアップディスプレイであり、
前記カメラは、前記車両の前端または後端に設けられて車両側方を含む所定範囲を撮影するものであり、
前記抽出手段は、前記車両が当該車両の進行方向に対して交差する方向の見通しが悪い状況で走行しているときに前記カメラによって撮影された画像を解析して、画像から移動物体を抽出するものであり、
前記物体位置決定手段は、前記抽出手段が抽出した移動物体の車両に対する位置を決定し、
前記表示制御手段は、前記物体位置決定手段が決定した移動物体の車両に対する位置と、前記目位置検出手段が検出した運転者の目の位置とに基づいて、前記ヘッドアップディスプレイ上の表示位置を決定し、その決定した表示位置に前記抽出手段が抽出した移動物体を表示する
ことを特徴とする請求項１に記載の運転支援装置。
【請求項３】
運転席前方に設けられた表示装置に車両前方に存在する道路標示を表示する運転支援装置であって、
運転者の目の位置を検出する目位置検出手段と、
車両前方の画像を撮像するカメラと、
前記カメラによって撮像された画像を解析して、画像から道路標示を抽出する抽出手段と、
前記抽出手段が抽出した道路標示の車両に対する位置を決定する道路標示位置決定手段と、
前記道路標示位置決定手段が決定した道路標示の車両に対する位置と、前記目位置検出手段が検出した運転者の目の位置とに基づいて、前記表示装置上の表示位置を決定し、その決定した表示位置に前記抽出手段が抽出した道路標示を表示する表示制御手段とを含むことを特徴とする運転支援装置。
【請求項４】
請求項３において、
前記表示装置が、前記車両のフロントガラスに画像を表示するヘッドアップディスプレイであり、
前記表示制御手段は、前記道路標示位置決定手段が決定した道路標示の車両に対する位置と、前記目位置検出手段が検出した運転者の目の位置とに基づいて、前記ヘッドアップディスプレイ上において、運転者から見て、実際の道路標示とヘッドアップディスプレイ上の表示とが重なる位置に、前記抽出手段が抽出した道路標示を表示するものであることを特徴とする運転支援装置。
【請求項５】
請求項４において、
前記車両の前方の視界が不良か否かを判断する視界判断手段をさらに備え、
前記表示制御手段は、前記視界判断手段によって視界が不良であると判断されたことに基づいて、前記抽出手段が抽出した道路標示を前記表示装置に表示することを特徴とする運転支援装置。
【請求項６】
請求項４または５において、
前記抽出手段が抽出する道路標示として区画線が含まれることを特徴とする運転支援装置。
【請求項７】
請求項６において、
前記抽出手段は、前記画像から区画線上の複数の代表地点を抽出するものであり、
前記道路標示位置決定手段は、前記抽出手段が抽出した複数の代表地点の車両に対する位置を決定するものであり、
前記表示制御手段は、前記抽出手段が抽出した代表地点に基づいて、道路に沿って延びる区画線画像を作成して、運転者から見て、実際の区画線上の複数の前記代表地点とヘッドアップディスプレイ上の代表地点とが重なる位置に、前記区画線画像を表示することを特徴とする運転支援装置。
【請求項８】
運転席前方に設けられた表示装置に車両前方に存在する道路標示を表示する運転支援装置であって、
運転者の目の位置を検出する目位置検出手段と、
車両前方の画像を撮像するカメラと、
前記カメラによって撮像された画像を解析して、画像から予め設定された種類の道路標示または予め設定された種類の道路標識を抽出する抽出手段と、
前記抽出手段が抽出した道路標示または道路標識に基づいて、走行中の実際の道路の所定位置に示された場合に運転を補助することが可能な運転補助情報を作成するとともに、その運転補助情報の実際の道路上の位置を決定する運転補助情報決定手段と、
その運転補助情報決定手段が決定した運転補助情報の実際の道路上の位置と、前記目位置検出手段が検出した運転者の目の位置とに基づいて、前記表示装置上の表示位置を決定し、その決定した表示位置に前記運転補助情報を表示する表示制御手段とを含むことを特徴とする運転支援装置。
【請求項９】
請求項８において、
前記表示装置が、前記車両のフロントガラスに画像を表示するヘッドアップディスプレイであり、
前記表示制御手段は、前記運転補助情報決定手段が決定した運転補助情報の実際の道路上の位置と、前記目位置検出手段が検出した運転者の目の位置とに基づいて、前記ヘッドアップディスプレイ上において、運転者から見て、前記運転補助情報の実際の道路上の位置とヘッドアップディスプレイ上の表示位置とが重なる位置に、前記運転補助情報を表示するものであることを特徴とする運転支援装置。
【請求項１０】
車両の外に存在する物体を検出して、その検出した物体を、前記車両のフロントガラスに画像を表示するヘッドアップディスプレイに表示する運転支援装置であって、
運転者の注視点を検出する注視点検出手段と、
車両周囲の所定範囲の画像を撮像するカメラと、
前記カメラによって撮像された画像を解析して、画像から移動物体を抽出する抽出手段と、
前記視線方向検出手段が検出した運転者の注視点に基づいて、前記ヘッドアップディスプレイ上において前記注視点へ向かう運転者の視線上に位置する表示位置を決定し、その決定した表示位置に前記抽出手段が抽出した移動物体を表示する表示制御手段とを含むことを特徴とする運転支援装置。
【請求項１１】
車両周辺を撮像する車両周辺撮像装置を備え、その車両周辺撮像装置によって撮像した画像を、車両のフロントガラスに画像を表示するヘッドアップディスプレイに表示する運転支援装置であって、
運転者の目の位置を検出する目位置検出手段と、
車両前方を撮像する車両前方撮像装置と、
その車両前方撮像装置によって撮像された車両前方の画像を解析して、画像から遮蔽物領域を抽出する抽出手段と、
前記抽出手段によって抽出された遮蔽物領域と前記目位置検出手段によって検出された運転者の目の位置とに基づいて、前記ヘッドアップディスプレイ上において、運転者から見て遮蔽物と重なる位置を表示可能範囲に決定して、その表示可能範囲に、前記車両周辺撮像装置によって撮像した画像を表示する表示制御手段とを含むことを特徴とする運転支援装置。
【請求項１】
車両の外に存在する物体を検出して、その検出した物体を車室内に設けられた表示装置に表示する運転支援装置であって、
運転者の目の位置を検出する目位置検出手段と、
車両周囲の所定範囲の画像を撮像するカメラと、
前記カメラによって撮像された画像を解析して、画像から所定の物体を抽出する抽出手段と、
前記抽出手段が抽出した物体の車両に対する位置を決定する物体位置決定手段と、
前記物体位置決定手段が決定した物体の車両に対する位置と、前記目位置検出手段が検出した運転者の目の位置とに基づいて、前記表示装置上の表示位置を決定し、その決定した表示位置に前記抽出手段が抽出した物体を表示する表示制御手段とを含むことを特徴とする運転支援装置。
【請求項２】
前記表示装置が、前記車両のフロントガラスに画像を表示するヘッドアップディスプレイであり、
前記カメラは、前記車両の前端または後端に設けられて車両側方を含む所定範囲を撮影するものであり、
前記抽出手段は、前記車両が当該車両の進行方向に対して交差する方向の見通しが悪い状況で走行しているときに前記カメラによって撮影された画像を解析して、画像から移動物体を抽出するものであり、
前記物体位置決定手段は、前記抽出手段が抽出した移動物体の車両に対する位置を決定し、
前記表示制御手段は、前記物体位置決定手段が決定した移動物体の車両に対する位置と、前記目位置検出手段が検出した運転者の目の位置とに基づいて、前記ヘッドアップディスプレイ上の表示位置を決定し、その決定した表示位置に前記抽出手段が抽出した移動物体を表示する
ことを特徴とする請求項１に記載の運転支援装置。
【請求項３】
運転席前方に設けられた表示装置に車両前方に存在する道路標示を表示する運転支援装置であって、
運転者の目の位置を検出する目位置検出手段と、
車両前方の画像を撮像するカメラと、
前記カメラによって撮像された画像を解析して、画像から道路標示を抽出する抽出手段と、
前記抽出手段が抽出した道路標示の車両に対する位置を決定する道路標示位置決定手段と、
前記道路標示位置決定手段が決定した道路標示の車両に対する位置と、前記目位置検出手段が検出した運転者の目の位置とに基づいて、前記表示装置上の表示位置を決定し、その決定した表示位置に前記抽出手段が抽出した道路標示を表示する表示制御手段とを含むことを特徴とする運転支援装置。
【請求項４】
請求項３において、
前記表示装置が、前記車両のフロントガラスに画像を表示するヘッドアップディスプレイであり、
前記表示制御手段は、前記道路標示位置決定手段が決定した道路標示の車両に対する位置と、前記目位置検出手段が検出した運転者の目の位置とに基づいて、前記ヘッドアップディスプレイ上において、運転者から見て、実際の道路標示とヘッドアップディスプレイ上の表示とが重なる位置に、前記抽出手段が抽出した道路標示を表示するものであることを特徴とする運転支援装置。
【請求項５】
請求項４において、
前記車両の前方の視界が不良か否かを判断する視界判断手段をさらに備え、
前記表示制御手段は、前記視界判断手段によって視界が不良であると判断されたことに基づいて、前記抽出手段が抽出した道路標示を前記表示装置に表示することを特徴とする運転支援装置。
【請求項６】
請求項４または５において、
前記抽出手段が抽出する道路標示として区画線が含まれることを特徴とする運転支援装置。
【請求項７】
請求項６において、
前記抽出手段は、前記画像から区画線上の複数の代表地点を抽出するものであり、
前記道路標示位置決定手段は、前記抽出手段が抽出した複数の代表地点の車両に対する位置を決定するものであり、
前記表示制御手段は、前記抽出手段が抽出した代表地点に基づいて、道路に沿って延びる区画線画像を作成して、運転者から見て、実際の区画線上の複数の前記代表地点とヘッドアップディスプレイ上の代表地点とが重なる位置に、前記区画線画像を表示することを特徴とする運転支援装置。
【請求項８】
運転席前方に設けられた表示装置に車両前方に存在する道路標示を表示する運転支援装置であって、
運転者の目の位置を検出する目位置検出手段と、
車両前方の画像を撮像するカメラと、
前記カメラによって撮像された画像を解析して、画像から予め設定された種類の道路標示または予め設定された種類の道路標識を抽出する抽出手段と、
前記抽出手段が抽出した道路標示または道路標識に基づいて、走行中の実際の道路の所定位置に示された場合に運転を補助することが可能な運転補助情報を作成するとともに、その運転補助情報の実際の道路上の位置を決定する運転補助情報決定手段と、
その運転補助情報決定手段が決定した運転補助情報の実際の道路上の位置と、前記目位置検出手段が検出した運転者の目の位置とに基づいて、前記表示装置上の表示位置を決定し、その決定した表示位置に前記運転補助情報を表示する表示制御手段とを含むことを特徴とする運転支援装置。
【請求項９】
請求項８において、
前記表示装置が、前記車両のフロントガラスに画像を表示するヘッドアップディスプレイであり、
前記表示制御手段は、前記運転補助情報決定手段が決定した運転補助情報の実際の道路上の位置と、前記目位置検出手段が検出した運転者の目の位置とに基づいて、前記ヘッドアップディスプレイ上において、運転者から見て、前記運転補助情報の実際の道路上の位置とヘッドアップディスプレイ上の表示位置とが重なる位置に、前記運転補助情報を表示するものであることを特徴とする運転支援装置。
【請求項１０】
車両の外に存在する物体を検出して、その検出した物体を、前記車両のフロントガラスに画像を表示するヘッドアップディスプレイに表示する運転支援装置であって、
運転者の注視点を検出する注視点検出手段と、
車両周囲の所定範囲の画像を撮像するカメラと、
前記カメラによって撮像された画像を解析して、画像から移動物体を抽出する抽出手段と、
前記視線方向検出手段が検出した運転者の注視点に基づいて、前記ヘッドアップディスプレイ上において前記注視点へ向かう運転者の視線上に位置する表示位置を決定し、その決定した表示位置に前記抽出手段が抽出した移動物体を表示する表示制御手段とを含むことを特徴とする運転支援装置。
【請求項１１】
車両周辺を撮像する車両周辺撮像装置を備え、その車両周辺撮像装置によって撮像した画像を、車両のフロントガラスに画像を表示するヘッドアップディスプレイに表示する運転支援装置であって、
運転者の目の位置を検出する目位置検出手段と、
車両前方を撮像する車両前方撮像装置と、
その車両前方撮像装置によって撮像された車両前方の画像を解析して、画像から遮蔽物領域を抽出する抽出手段と、
前記抽出手段によって抽出された遮蔽物領域と前記目位置検出手段によって検出された運転者の目の位置とに基づいて、前記ヘッドアップディスプレイ上において、運転者から見て遮蔽物と重なる位置を表示可能範囲に決定して、その表示可能範囲に、前記車両周辺撮像装置によって撮像した画像を表示する表示制御手段とを含むことを特徴とする運転支援装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２００８−２８００２６（Ｐ２００８−２８００２６Ａ）
【公開日】平成２０年１１月２０日（２００８．１１．２０）
【国際特許分類】
【出願番号】特願２００７−３１２７３６（Ｐ２００７−３１２７３６）
【出願日】平成１９年１２月３日（２００７．１２．３）
【出願人】（０００００４２６０）株式会社デンソー (27,639)
【Ｆターム（参考）】
【公開日】平成２０年１１月２０日（２００８．１１．２０）
【国際特許分類】
【出願日】平成１９年１２月３日（２００７．１２．３）
【出願人】（０００００４２６０）株式会社デンソー (27,639)
【Ｆターム（参考）】
[ Back to top ]