車両用運転支援システム
【課題】 ドライバーが、頭部や視線の向きにかかわらず、運転支援情報を視覚的に得ることができる運転支援システムを提供すること。
【解決手段】 運転支援システムは、ナビゲーション情報を提供するナビゲーションユニット４０と、車両の外部を撮影する撮影カメラ３１と、車両のドライバーの頭部に装着され運転支援情報を表示部に表示する頭部装着型表示装置２０と、ナビゲーションユニット４０から提供されるナビゲーション情報及び撮影された画像の少なくともいずれか一方に基づいて作成される画像を頭部装着型表示装置２０に供給する画像処理部１０とを備える。ここで、頭部装着型表示装置２０の表示部２２は、ドライバーの左右いずれか一方の眼前に設けられる。
【解決手段】 運転支援システムは、ナビゲーション情報を提供するナビゲーションユニット４０と、車両の外部を撮影する撮影カメラ３１と、車両のドライバーの頭部に装着され運転支援情報を表示部に表示する頭部装着型表示装置２０と、ナビゲーションユニット４０から提供されるナビゲーション情報及び撮影された画像の少なくともいずれか一方に基づいて作成される画像を頭部装着型表示装置２０に供給する画像処理部１０とを備える。ここで、頭部装着型表示装置２０の表示部２２は、ドライバーの左右いずれか一方の眼前に設けられる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両用運転支援システムに関する。
【背景技術】
【０００２】
ナビゲーション装置などにより提供される運転支援情報は運転時の利便性向上に大きく役立っている。その一方で、そのような運転支援情報を車両のどの部分にどのようにして表示するとよいかが、車両走行における安全性の観点から問題となっている。
【０００３】
例えば、フロントウィンドウに運転支援情報を投影表示する技術が提案されている。しかし、ドライバーは運転中、絶えず顔の向きや視線を動かしているのであり、フロントウィンドウの情報表示部に視線を固定しているわけにはいかない。
【０００４】
これに対し、特許文献１，２は、頭部装着型表示装置（ヘッドマウントディスプレイ、以下「ＨＭＤ」という。）に運転支援情報を表示することにより、ドライバーの頭の向きにかかわらずドライバーに運転支援情報を提供できるようにした技術が開示されている。とりわけ、特許文献１は、ドライバーの両目を覆う複眼タイプのＨＭＤを開示し（特許文献１の図２を参照）、特許文献２は、ドライバーの片目側にのみ表示装置を有する一眼タイプのＨＭＤを開示している（特許文献２の図３を参照）。
【０００５】
【特許文献１】特開平７−２９４８４２号公報
【特許文献２】特開２００６−０４０１２３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし、実際の運転環境を考慮した場合、特許文献１に開示された複眼タイプのＨＭＤには、両画像の視差によりちらつきが発生しやすく、視認性に劣るという問題がある。
【０００７】
一方の一眼タイプのＨＭＤは、複眼タイプのＨＭＤに比べて軽量かつ装着性に優れる点で有利であろう。しかし、特許文献２の図３に開示されているＨＭＤはドライバーの一方の眼の下部に表示部が位置する構成となっており、ドライバーが運転支援情報を見るためには、その表示部に視線を落とさなくてはならない。すなわち、特許文献２の技術によれば、ＨＭＤの採用によってドライバーは頭の向きにかかわらず運転支援情報を得ることはできるけれども、視線は表示部に移さないと運転支援情報を視認することはできないという問題を解決するには至っていない。
【０００８】
本発明は、ドライバーが、頭部や視線の向きにかかわらず、運転支援情報を視覚的に得ることができる運転支援システムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の一側面によれば、ナビゲーション情報を提供するナビゲーション装置と、車両の外部を撮影する撮影カメラと、車両のドライバーの頭部に装着され運転支援情報を表示部に表示する頭部装着型表示装置と、前記ナビゲーション装置から提供されるナビゲーション情報及び前記撮影カメラにより撮影された画像の少なくともいずれか一方に基づいて作成される画像を前記頭部装着型表示装置に供給する画像処理手段とを備え、前記頭部装着型表示装置の前記表示部は、ドライバーの左右いずれか一方の眼前に設けられることを特徴とする運転支援システムが提供される。
【００１０】
この構成によれば、ドライバーは、頭部や視線の向きを運転方向から移さずに運転支援情報を視認することができる。
【００１１】
本発明の好適な実施形態によれば、前記頭部装着型表示装置の前記表示部は、ドライバーが該表示部の後方の眼によって該表示部越しの実像を視認可能に構成されている。
【００１２】
また、本発明の好適な実施形態によれば、前記頭部装着型表示装置の位置姿勢を検出する検出手段と、ドライバーの視線方向を推定する推定手段とを更に備え、前記画像処理手段は、前記撮影カメラにより撮影された画像を、ドライバーの視点から視認される実像と同じ方向、大きさとなるように、前記検出手段により検出された前記頭部装着表示装置の位置姿勢及び前記推定手段により推定されたドライバーの視線方向に基づき変換する変換手段を有し、前記頭部装着表示装置は、前記変換手段により変換された画像を前記表示部に表示することが好ましい。
【００１３】
この構成によれば、違和感のない画像を提供することができる。
【００１４】
また、本発明の好適な実施形態によれば、ドライバーの顔画像を撮影する顔画像撮影カメラを更に備え、前記推定手段は、前記検出手段により検出された前記頭部装着表示装置の位置姿勢に基づいてドライバーの顔の向きを推定する第１推定手段と、前記顔画像撮影カメラにより撮影されたドライバーの顔画像に基づいて前記第１推定手段が推定した顔の向きに対する視線方向を推定する第２推定手段とを有することが好ましい。
【００１５】
この構成によれば、簡易にドライバーの視線方向を推定することができる。
【００１６】
また、本発明の好適な実施形態によれば、前記画像処理手段は、前記撮影カメラにより撮影された画像から高危険度対象物を抽出する抽出手段と、前記抽出手段が抽出した前記高危険度対象物に識別マークを重畳した画像を、前記頭部装着表示装置に供給する手段とを有することが好ましい。
【００１７】
また、本発明の好適な実施形態によれば、前記抽出手段は、熟練ドライバーの注視行動に基づくモデル、例えばニューラルネットワークや教科学習、を利用して、前記撮影カメラにより撮影された画像から高危険度対象物を抽出することが好ましい。
【００１８】
また、本発明の好適な実施形態によれば、前記撮影カメラは、赤外線カメラであるとよい。また、前記撮影カメラは、ドライバーの視線に対する死角の画像を撮影することが好ましい。
【００１９】
また、本発明の好適な実施形態によれば、前記画像処理手段は、前記撮影カメラにより撮影された画像に高輝度物体が含まれる場合に、該画像の輝度分布の平滑化を行う分光補正手段を更に有するとよい。
【００２０】
また、前記画像処理手段は、前記撮影カメラにより撮影された画像に高速移動物体が含まれる場合に、該移動物体の予測位置を算出し、該予測位置に該移動物体を描画する追従遅れ補正手段を更に有するとよい。
【００２１】
また、前記画像処理手段は、前記撮影カメラにより撮影された画像における、該撮影カメラのレンズ特性に依存して生じる歪みを補正するレンズ歪み補正手段を更に有するとよい。
【発明の効果】
【００２２】
本発明によれば、ドライバーは頭部や視線の向きにかかわらず、運転支援情報を視覚的に得ることができる。
【発明を実施するための最良の形態】
【００２３】
以下、図面を参照して本発明の好適な実施形態について詳細に説明する。なお、本発明は以下の実施形態に限定されるものではなく、本発明の実施に有利な具体例を示すにすぎない。また、以下の実施形態の中で説明されている特徴の組み合わせの全てが本発明の課題解決手段として必須のものであるとは限らない。
【００２４】
図１は、本実施形態に係る運転支援システムの基本構成を示す図である。
【００２５】
図１において、１０は画像処理部で、典型的には、図示しないＣＰＵ，ＲＡＭ，ＲＯＭ等を備えるコンピュータシステムで構成され、図示された画像処理部１０内の各ブロックで示される処理が、ＣＰＵによって実行される。
【００２６】
本システムは、例えばドライバーズシートのバックレスト３０の上部に車両前方に向けて設けられる第１前方撮影カメラ３１、例えばインストルメントパネルの上部に車両前方に向けて設けられる第２前方撮影カメラ３２、例えばフロントドア下部に車両外側斜め前方に向けて設けられ車両前方の死角を撮影する前方死角撮影カメラ３３、例えばリヤダッシュボードの上部に車両後方に向けて設けられる後方死角撮影カメラ３４を備え、これらは画像処理部１０内のカメラ画像取得部１１に接続されている。これらのカメラは、その組み合わせによって車両全周囲の画像を得る全方位カメラを構成することが好ましい。また、個々のカメラはより広い範囲の画像を得るために超広角レンズを備えていることが好ましい。また、第２前方撮影カメラ３２、前方死角撮影カメラ３３、及び後方死角撮影カメラ３４はそれぞれ、夜間撮影も行えるよう、赤外線カメラ（暗視カメラ）であることが望ましい。さらに、照度センサ３５が設けられ、この照度センサ３５の出力もカメラ画像取得部１１に供給される。
【００２７】
２０はドライバーＤの頭部に装着されるＨＭＤである。このＨＭＤは、図２に示されるような、一眼タイプのＨＭＤで、装着したドライバーの左右いずれか一方の眼の前部に位置する表示部２２を有している。この表示部２２はシースルー機能を備え、ドライバーは、この表示部２２の後方の眼によって表示部２２越しの実像を視認可能であるとともに、そこにナビゲーション情報等の情報画像を重畳表示することができる。また、そのようなシースルー機能をオフして、上記したカメラが撮影したカメラ画像に、ナビゲーション情報（運転支援情報）等の情報画像が重畳された複合現実空間画像を表示することもできる。本実施形態では、この表示部２２に表示する画像は画像処理部１０によって生成される。図３に示されるように、このＨＭＤ２０を装着したドライバーＤは、ＨＭＤ２０がかからない方の眼によってＳで示される領域を直接視認する一方、ＨＭＤ２０がかかる他方の眼によって、Ｓの領域の画像とマッチする複合現実空間画像を視認することができる。
【００２８】
車室内の所定位置（例えば、ドライバーズシート上方のルーフトリム）には検出手段としての位置センサ３６が設けられている。この位置センサ３６は例えば磁気センサ等で構成され、ＨＭＤ２０の位置姿勢を示す信号を出力するように構成されている。なお、この位置姿勢を示す信号には、位置センサ３６を基準とする位置（x,y,z）及び姿勢（roll, pitch, yaw）のパラメータが含まれる。位置センサ３６が出力するＨＭＤ２０の位置姿勢を示す信号は画像処理部１０内の視線方向推定部１４に入力される。
【００２９】
画像処理部１０は、カメラキャリブレーションによって、予め位置センサ３６の位置に対する、第１及び第２前方撮影カメラ３１，３２、前方死角撮影カメラ３３、後方死角撮影カメラ３４の位置関係を保持しているものとする。よって、画像処理部１０は位置センサ３６より入力した信号に基づき、第１及び第２前方撮影カメラ３１，３２、前方死角撮影カメラ３３、後方死角撮影カメラ３４と、ＨＭＤ２０との位置関係を求めることが可能である。
【００３０】
ＨＭＤ２０には、このＨＭＤ２０を装着しているドライバーの顔画像を撮影する顔画像撮影カメラ２１も取り付けられている。この顔画像撮影カメラ２１が撮影したドライバーの顔画像データは、画像処理部１０内の視線方向推定部１４に供給される。もっとも、この顔画像撮影カメラ２１は、ＨＭＤ２０に一体的に取り付けるかわりに、車両のダッシュボード等に取り付けるようにしてもよい。
【００３１】
なお、画像処理部１０とＨＭＤ２０との接続、具体的には、視線方向推定部１４と顔画像撮影カメラ２１との接続、並びに、画像合成部１８と表示部２２との接続は、それぞれ、有線でもよいし無線でもよい。
【００３２】
本システムは更に、ＧＰＳ信号を受信して地図データに基づき経路情報、交通情報等（ナビゲーション情報）を提供するナビゲーションユニット４０、車速センサ等の各種センサ類を含む車両状態センサ５０を備えている。
【００３３】
画像処理部１０は、カメラ画像取得部１１及び視線方向１４の他に、取得した画像のレンズ歪み（収差）を補正するレンズ歪み補正部１２、画像の幾何変換及び画像切り出しを行う幾何変換・切り出し部１３、画像の描画位置及びサイズを算出する描画位置・サイズ算出部１５、カメラ画像の加工を行うカメラ画像加工処理部１６、ナビゲーションユニット４０及び車両状態センサ５０から入力したデータに基づきナビゲーション情報等の情報画像を作成する情報画像作成部１７、及び画像合成部１８を備えている。ナビゲーションユニット４０及び車両状態センサ５０は、画像処理部１０の情報画像作成部（２Ｄ画像作成部）１７に接続されている。
【００３４】
図４は、本実施形態における画像処理部１０によるＨＭＤ２０の画像表示制御処理を示すフローチャートである。
【００３５】
カメラ画像取得部１１は、第１及び第２前方撮影カメラ３１，３２、前方死角撮影カメラ３３、後方死角撮影カメラ３４からそれぞれ画像データを受信するとともに、照度センサ３５からの出力データを順次受信している（ステップＳ１）。またこれと並行して、視線方向推定部１４は、位置センサ３６からのＨＭＤ２０の位置姿勢を示す信号及び、顔画像撮影カメラ２１からの顔画像データを受信している（ステップＳ２）。視線方向推定部１４は、位置センサ３６からのＨＭＤ２０の位置姿勢を示す信号からドライバーの顔の向きを推定するとともに、顔画像撮影カメラ２１からの顔画像データに基づき、ドライバーの顔の肌領域と瞳領域との像域分離を行いその結果から顔の向きに対する視線方向を推定する。そして、これらの結果から、基準である位置センサ３６に対する視線方向を推定する。
【００３６】
上記ステップＳ１では、例えば、推定された視線方向が車両前方と判断され、照度センサ３５からの受信データに基づき照度が所定値より明るいと判断される場合には、第１前方撮影カメラ３１と前方死角撮影カメラ３３の画像データを取得する。また、推定された視線方向が車両前方と判断され、照度は上記所定値以下に暗いと判断される場合には、第２前方撮影カメラ（赤外線カメラ）３２の画像データを取得する。また、推定された視線方向が車両後方と判断されたときは、後方死角撮影カメラ３４の画像データを取得する。
【００３７】
次に、レンズ歪み補正部１２は、ステップＳ１で取得した画像データに対して、当該画像データを取得したカメラのレンズ特性に依存して生じる歪み（収差）を補正する（ステップＳ３）。この補正は例えば、カメラキャリブレーションによって得られる、位置センサ３６の位置に対する当該画像データを取得したカメラの位置を示すカメラ内部パラメータに基づいて行われる。
【００３８】
一方、視線方向推定部１４は、ステップＳ２で受信した位置センサ３６からのＨＭＤ２０の位置姿勢を示す信号に基づいて、ＨＭＤ２０の位置姿勢データを、予め行われた位置キャリブレーションによって得られる、センサ・ＨＭＤ補正パラメータに基づいて補正する（ステップＳ４）。
【００３９】
次に、幾何変換・切り出し部１３は、ステップＳ３で得られたレンズ歪み補正後の画像データの、ＨＭＤ２０の表示領域に合わせた画像の切り出し及び幾何変換を行う（ステップＳ５）。具体的には例えば、図８に示すように、ステップＳ３で得られたレンズ歪み後の画像データから、その画像が、ドライバーの視点から視認される現実空間像Ｓと同じ方向、大きさになるように、ＨＭＤ２０の位置センサ３６に対する位置姿勢及び視線方向推定部１４が推定した視線方向に合わせて必要な画像領域を切り出し、アフィン変換を行う。
【００４０】
次に、カメラ画像加工処理部１６は、ステップＳ５での処理後の画像データに対して、グレア対策として、高輝度の物体を認識して、分光画像処理し、輝度分布を平滑にして違和感や不快がないように調光する、分光補正処理を行う（ステップＳ６）。なお、グレアには、眼球内での光の散乱の程度が増加し、これによって対象物が見えにくくなる減能グレアと、視野内に高輝度の物体があるときに不快に感じやすくなる不快グレアとがあり、両者とも一般に加齢とともに増大する。ステップＳ６の分光補正処理はこのようなグレアに対処するものである。
【００４１】
図５は、このステップＳ６の分光補正処理の一例を示すフローチャートである。まず、ステップＳ５での処理後の画像データに対して、輝度分布分析を行う（ステップＳ６１）。そして、得られた輝度分布に基づいて高輝度物体が存在するかどうかを判定し（ステップＳ６２）、高輝度物体が存在する場合には輝度分布の平滑化を行う（ステップＳ６３）。
【００４２】
次に、カメラ画像加工処理部１６は、追従遅れ補正処理を行う（ステップＳ７）。これは、加齢により移動物を目で追う際の眼球運動が遅くなることに対処するものであり、その具体的処理例を図６のフローチャートに示す。
【００４３】
まず、入力した動画像データから移動物体を抽出し（ステップＳ７１）、そこに高速移動物体が存在するかどうかを判定する（ステップＳ７２）。ここで、高速移動物体が存在する場合には、その移動物体の移動方向、移動速度、及び位置を検出し（ステップＳ７３）、その検出結果に基づいてその移動物体の予測位置を算出する（ステップＳ７４）。その後、移動物体をその予測位置に描画する（ステップＳ７５）。
【００４４】
次に、カメラ画像加工処理部１６は、危険対象物検出処理を実行する（ステップＳ８）。この処理の具体例を図７のフローチャートに示す。
【００４５】
まず、入力した画像データから、歩行者、他車両等の対象物を抽出し（ステップＳ８１）、抽出した対象物の配置パターンを抽出する（ステップＳ８２）。次に、予めメモリに記憶してある熟練ドライバーの注視行動モデルを読み出す（ステップＳ８３）。図９に熟練ドライバーの注視行動モデルの概念図を示す。そして、熟練ドライバーの注視行動モデルに基づくニューラルネットワークあるいは強化学習を構成し、これを利用して、ステップＳ８２で抽出した対象物の配置パターンから、高危険度対象物を抽出する（ステップＳ８４）。
【００４６】
高危険度対象物が抽出された場合にはその画像はカメラ画像としてＨＭＤ２０の表示部２２に表示されることになる。このとき、その画像が高危険度対象物としてドライバーに認知されやすいように、囲み枠線などの識別マークを重畳表示させるとよいであろう。
【００４７】
次に、描画位置・サイズ算出部１５は、ＨＭＤ２０の表示部２２に表示する２Ｄ画像の描画位置およびそのサイズを計算する（ステップＳ９）。また、情報画像作成部１７は、ナビゲーションユニット４０及び車両状態センサ５０から入力したデータに基づいて作成したナビゲーション情報等の情報画像（２Ｄ画像）を作成する。このとき、情報画像作成部１７は、ステップＳ７の追従遅れ補正処理において検出した高速移動物体についてその移動方向を示す矢印画像等を情報画像に含めるようにしても良い。
【００４８】
次に、画像合成部１８は、カメラ画像をＨＭＤ２０の表示部２２に表示するかどうかを判断する（ステップＳ１０）。例えば、次の少なくともいずれかの場合には、車両走行上の危険度が相対的に高い状況であり、カメラ画像をＨＭＤ２０の表示部２２に表示すると判断する。
（１）ステップＳ６の分光補正処理において、ステップＳ６３の輝度分布平滑化が実行された場合。
（２）ステップＳ７の追従遅れ補正処理において、ステップＳ７３〜Ｓ７５の処理が実行された場合。
（３）ドライバーの視線方向に死角がある場合。
（４）照度が暗い場合。
【００４９】
画像合成部１８は、ステップＳ１０でカメラ画像をＨＭＤ２０の表示部２２に表示すると判断した場合は、ステップＳ９での計算結果に基づいて、上述のステップＳ５〜Ｓ８の処理で得られたカメラ画像と、情報画像作成部１７がナビゲーションユニット４０及び車両状態センサ５０から入力したデータに基づいて作成したナビゲーション情報等の情報画像（２Ｄ画像）とを合成した画像を作成し（ステップＳ１１）、その合成画像をＨＭＤ２０の表示部２２に表示する（ステップＳ１２）。
【００５０】
一方、画像合成部１８は、ステップＳ１０でカメラ画像をＨＭＤ２０の表示部２２に表示しないと判断した場合は、情報画像作成部１７がナビゲーションユニット４０及び車両状態センサ５０から入力したデータに基づいて作成したナビゲーション情報等の情報画像（２Ｄ画像）のみを描画して（ステップＳ１３）、これをＨＭＤ２０の表示部２２に表示する（ステップＳ１２）。このときのＨＭＤ２０の表示部２２はシースルー機能をオンとし、この表示部２２越しの実像をドライバーに提供しつつ、情報画像をＨＭＤ２０の表示部２２に表示する（ステップＳ１２）。
【００５１】
以上説明した画像処理部１０によるＨＭＤ２０の画像表示制御によって、ドライバーに視認される画像の例を図１０に示す。
【００５２】
図１０の（ａ）に示される画像において、自車前方には晴天時の空が大きく広がっており、不快グレアが発生しやすい状況である。これに対して、本実施形態では、ステップＳ６において分光補正処理が施され、輝度分布が平滑化されるので、眩しさが軽減される。
【００５３】
また、同じく（ａ）において、自車前方左方からバス８０が横切るように移動中である。これに対しては、本実施形態では、ステップＳ７において追従遅れ補正が施され、移動物体であるバス８０の位置が補正される。このとき、図示の如く移動方向を示す矢印マーク８１を重畳表示するとよい。
【００５４】
図１０の（ｂ）では、ナビゲーション情報である「１００ｍ先右折」との文字表示及び、そのことを示す矢印による右折マーク８２が重畳表示されている。（ｃ）は、ステップＳ８の危険対象物抽出処理において先行車両が危険対象物と判定され、ドライバーの注意を喚起するために、それに囲み枠線が重畳表示されるとともに、「前方障害物」、「車間確保」とのメッセージが表示されている。この（ｃ）の状態が所定時間経過しても解消されない場合には、（ｄ）に示されるように、音声による警告メッセージを発するようにしてもよい。
【００５５】
ここで、（ｂ）〜（ｄ）に示されるような、ナビゲーション情報である右折マーク８２は、ドライバーの視線方向に適合した位置や態様で表示されることが好ましい。一方、（ｄ）に示すように、「５ｋＭ前方渋滞１ＫＭ」といったナビゲーション情報のうちの交通情報については、ドライバーの視線方向には関係なく、図示のように下方端部などの固定された位置で表示されればよいであろう。
【図面の簡単な説明】
【００５６】
【図１】実施形態に係る運転支援システムの基本構成を示す図である。
【図２】実施形態におけるＨＭＤの例を示す図である。
【図３】実施形態におけるＨＭＤを装着したドライバーに提供される複合現実空間の視野を説明する図である。
【図４】実施形態における画像処理部によるＨＭＤの画像表示制御処理を示すフローチャートである。
【図５】実施形態における分光補正処理の一例を示すフローチャートである。
【図６】実施形態における追従遅れ補正処理の一例を示すフローチャートである。
【図７】実施形態における危険対象物抽出処理の一例を示すフローチャートである。
【図８】実施形態における幾何変換・切り出し部による処理を説明する図である。
【図９】熟練ドライバーの注視行動モデルの概念図である。
【図１０】画像処理部によるＨＭＤの画像表示制御によって、ドライバーに視認される画像の例を示す図である。
【符号の説明】
【００５７】
１０ 画像処理部
１１ カメラ画像取得部
１２ レンズ歪み補正部
１３ 幾何変換・切り出し部
１４ 視線方向推定部
１５ 描画位置・サイズ算出部
１６ カメラ画像加工処理部
１７ 情報画像作成部
１８ 画像合成部
２０ ＨＭＤ
３１ 第１前方撮影カメラ
３２ 第２前方撮影カメラ
３３ 前方死角撮影カメラ
３４ 後方死角撮影カメラ
３５ 照度センサ
３６ 位置センサ
４０ ナビゲーションユニット
５０ 車両状態センサ
【技術分野】
【０００１】
本発明は、車両用運転支援システムに関する。
【背景技術】
【０００２】
ナビゲーション装置などにより提供される運転支援情報は運転時の利便性向上に大きく役立っている。その一方で、そのような運転支援情報を車両のどの部分にどのようにして表示するとよいかが、車両走行における安全性の観点から問題となっている。
【０００３】
例えば、フロントウィンドウに運転支援情報を投影表示する技術が提案されている。しかし、ドライバーは運転中、絶えず顔の向きや視線を動かしているのであり、フロントウィンドウの情報表示部に視線を固定しているわけにはいかない。
【０００４】
これに対し、特許文献１，２は、頭部装着型表示装置（ヘッドマウントディスプレイ、以下「ＨＭＤ」という。）に運転支援情報を表示することにより、ドライバーの頭の向きにかかわらずドライバーに運転支援情報を提供できるようにした技術が開示されている。とりわけ、特許文献１は、ドライバーの両目を覆う複眼タイプのＨＭＤを開示し（特許文献１の図２を参照）、特許文献２は、ドライバーの片目側にのみ表示装置を有する一眼タイプのＨＭＤを開示している（特許文献２の図３を参照）。
【０００５】
【特許文献１】特開平７−２９４８４２号公報
【特許文献２】特開２００６−０４０１２３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし、実際の運転環境を考慮した場合、特許文献１に開示された複眼タイプのＨＭＤには、両画像の視差によりちらつきが発生しやすく、視認性に劣るという問題がある。
【０００７】
一方の一眼タイプのＨＭＤは、複眼タイプのＨＭＤに比べて軽量かつ装着性に優れる点で有利であろう。しかし、特許文献２の図３に開示されているＨＭＤはドライバーの一方の眼の下部に表示部が位置する構成となっており、ドライバーが運転支援情報を見るためには、その表示部に視線を落とさなくてはならない。すなわち、特許文献２の技術によれば、ＨＭＤの採用によってドライバーは頭の向きにかかわらず運転支援情報を得ることはできるけれども、視線は表示部に移さないと運転支援情報を視認することはできないという問題を解決するには至っていない。
【０００８】
本発明は、ドライバーが、頭部や視線の向きにかかわらず、運転支援情報を視覚的に得ることができる運転支援システムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の一側面によれば、ナビゲーション情報を提供するナビゲーション装置と、車両の外部を撮影する撮影カメラと、車両のドライバーの頭部に装着され運転支援情報を表示部に表示する頭部装着型表示装置と、前記ナビゲーション装置から提供されるナビゲーション情報及び前記撮影カメラにより撮影された画像の少なくともいずれか一方に基づいて作成される画像を前記頭部装着型表示装置に供給する画像処理手段とを備え、前記頭部装着型表示装置の前記表示部は、ドライバーの左右いずれか一方の眼前に設けられることを特徴とする運転支援システムが提供される。
【００１０】
この構成によれば、ドライバーは、頭部や視線の向きを運転方向から移さずに運転支援情報を視認することができる。
【００１１】
本発明の好適な実施形態によれば、前記頭部装着型表示装置の前記表示部は、ドライバーが該表示部の後方の眼によって該表示部越しの実像を視認可能に構成されている。
【００１２】
また、本発明の好適な実施形態によれば、前記頭部装着型表示装置の位置姿勢を検出する検出手段と、ドライバーの視線方向を推定する推定手段とを更に備え、前記画像処理手段は、前記撮影カメラにより撮影された画像を、ドライバーの視点から視認される実像と同じ方向、大きさとなるように、前記検出手段により検出された前記頭部装着表示装置の位置姿勢及び前記推定手段により推定されたドライバーの視線方向に基づき変換する変換手段を有し、前記頭部装着表示装置は、前記変換手段により変換された画像を前記表示部に表示することが好ましい。
【００１３】
この構成によれば、違和感のない画像を提供することができる。
【００１４】
また、本発明の好適な実施形態によれば、ドライバーの顔画像を撮影する顔画像撮影カメラを更に備え、前記推定手段は、前記検出手段により検出された前記頭部装着表示装置の位置姿勢に基づいてドライバーの顔の向きを推定する第１推定手段と、前記顔画像撮影カメラにより撮影されたドライバーの顔画像に基づいて前記第１推定手段が推定した顔の向きに対する視線方向を推定する第２推定手段とを有することが好ましい。
【００１５】
この構成によれば、簡易にドライバーの視線方向を推定することができる。
【００１６】
また、本発明の好適な実施形態によれば、前記画像処理手段は、前記撮影カメラにより撮影された画像から高危険度対象物を抽出する抽出手段と、前記抽出手段が抽出した前記高危険度対象物に識別マークを重畳した画像を、前記頭部装着表示装置に供給する手段とを有することが好ましい。
【００１７】
また、本発明の好適な実施形態によれば、前記抽出手段は、熟練ドライバーの注視行動に基づくモデル、例えばニューラルネットワークや教科学習、を利用して、前記撮影カメラにより撮影された画像から高危険度対象物を抽出することが好ましい。
【００１８】
また、本発明の好適な実施形態によれば、前記撮影カメラは、赤外線カメラであるとよい。また、前記撮影カメラは、ドライバーの視線に対する死角の画像を撮影することが好ましい。
【００１９】
また、本発明の好適な実施形態によれば、前記画像処理手段は、前記撮影カメラにより撮影された画像に高輝度物体が含まれる場合に、該画像の輝度分布の平滑化を行う分光補正手段を更に有するとよい。
【００２０】
また、前記画像処理手段は、前記撮影カメラにより撮影された画像に高速移動物体が含まれる場合に、該移動物体の予測位置を算出し、該予測位置に該移動物体を描画する追従遅れ補正手段を更に有するとよい。
【００２１】
また、前記画像処理手段は、前記撮影カメラにより撮影された画像における、該撮影カメラのレンズ特性に依存して生じる歪みを補正するレンズ歪み補正手段を更に有するとよい。
【発明の効果】
【００２２】
本発明によれば、ドライバーは頭部や視線の向きにかかわらず、運転支援情報を視覚的に得ることができる。
【発明を実施するための最良の形態】
【００２３】
以下、図面を参照して本発明の好適な実施形態について詳細に説明する。なお、本発明は以下の実施形態に限定されるものではなく、本発明の実施に有利な具体例を示すにすぎない。また、以下の実施形態の中で説明されている特徴の組み合わせの全てが本発明の課題解決手段として必須のものであるとは限らない。
【００２４】
図１は、本実施形態に係る運転支援システムの基本構成を示す図である。
【００２５】
図１において、１０は画像処理部で、典型的には、図示しないＣＰＵ，ＲＡＭ，ＲＯＭ等を備えるコンピュータシステムで構成され、図示された画像処理部１０内の各ブロックで示される処理が、ＣＰＵによって実行される。
【００２６】
本システムは、例えばドライバーズシートのバックレスト３０の上部に車両前方に向けて設けられる第１前方撮影カメラ３１、例えばインストルメントパネルの上部に車両前方に向けて設けられる第２前方撮影カメラ３２、例えばフロントドア下部に車両外側斜め前方に向けて設けられ車両前方の死角を撮影する前方死角撮影カメラ３３、例えばリヤダッシュボードの上部に車両後方に向けて設けられる後方死角撮影カメラ３４を備え、これらは画像処理部１０内のカメラ画像取得部１１に接続されている。これらのカメラは、その組み合わせによって車両全周囲の画像を得る全方位カメラを構成することが好ましい。また、個々のカメラはより広い範囲の画像を得るために超広角レンズを備えていることが好ましい。また、第２前方撮影カメラ３２、前方死角撮影カメラ３３、及び後方死角撮影カメラ３４はそれぞれ、夜間撮影も行えるよう、赤外線カメラ（暗視カメラ）であることが望ましい。さらに、照度センサ３５が設けられ、この照度センサ３５の出力もカメラ画像取得部１１に供給される。
【００２７】
２０はドライバーＤの頭部に装着されるＨＭＤである。このＨＭＤは、図２に示されるような、一眼タイプのＨＭＤで、装着したドライバーの左右いずれか一方の眼の前部に位置する表示部２２を有している。この表示部２２はシースルー機能を備え、ドライバーは、この表示部２２の後方の眼によって表示部２２越しの実像を視認可能であるとともに、そこにナビゲーション情報等の情報画像を重畳表示することができる。また、そのようなシースルー機能をオフして、上記したカメラが撮影したカメラ画像に、ナビゲーション情報（運転支援情報）等の情報画像が重畳された複合現実空間画像を表示することもできる。本実施形態では、この表示部２２に表示する画像は画像処理部１０によって生成される。図３に示されるように、このＨＭＤ２０を装着したドライバーＤは、ＨＭＤ２０がかからない方の眼によってＳで示される領域を直接視認する一方、ＨＭＤ２０がかかる他方の眼によって、Ｓの領域の画像とマッチする複合現実空間画像を視認することができる。
【００２８】
車室内の所定位置（例えば、ドライバーズシート上方のルーフトリム）には検出手段としての位置センサ３６が設けられている。この位置センサ３６は例えば磁気センサ等で構成され、ＨＭＤ２０の位置姿勢を示す信号を出力するように構成されている。なお、この位置姿勢を示す信号には、位置センサ３６を基準とする位置（x,y,z）及び姿勢（roll, pitch, yaw）のパラメータが含まれる。位置センサ３６が出力するＨＭＤ２０の位置姿勢を示す信号は画像処理部１０内の視線方向推定部１４に入力される。
【００２９】
画像処理部１０は、カメラキャリブレーションによって、予め位置センサ３６の位置に対する、第１及び第２前方撮影カメラ３１，３２、前方死角撮影カメラ３３、後方死角撮影カメラ３４の位置関係を保持しているものとする。よって、画像処理部１０は位置センサ３６より入力した信号に基づき、第１及び第２前方撮影カメラ３１，３２、前方死角撮影カメラ３３、後方死角撮影カメラ３４と、ＨＭＤ２０との位置関係を求めることが可能である。
【００３０】
ＨＭＤ２０には、このＨＭＤ２０を装着しているドライバーの顔画像を撮影する顔画像撮影カメラ２１も取り付けられている。この顔画像撮影カメラ２１が撮影したドライバーの顔画像データは、画像処理部１０内の視線方向推定部１４に供給される。もっとも、この顔画像撮影カメラ２１は、ＨＭＤ２０に一体的に取り付けるかわりに、車両のダッシュボード等に取り付けるようにしてもよい。
【００３１】
なお、画像処理部１０とＨＭＤ２０との接続、具体的には、視線方向推定部１４と顔画像撮影カメラ２１との接続、並びに、画像合成部１８と表示部２２との接続は、それぞれ、有線でもよいし無線でもよい。
【００３２】
本システムは更に、ＧＰＳ信号を受信して地図データに基づき経路情報、交通情報等（ナビゲーション情報）を提供するナビゲーションユニット４０、車速センサ等の各種センサ類を含む車両状態センサ５０を備えている。
【００３３】
画像処理部１０は、カメラ画像取得部１１及び視線方向１４の他に、取得した画像のレンズ歪み（収差）を補正するレンズ歪み補正部１２、画像の幾何変換及び画像切り出しを行う幾何変換・切り出し部１３、画像の描画位置及びサイズを算出する描画位置・サイズ算出部１５、カメラ画像の加工を行うカメラ画像加工処理部１６、ナビゲーションユニット４０及び車両状態センサ５０から入力したデータに基づきナビゲーション情報等の情報画像を作成する情報画像作成部１７、及び画像合成部１８を備えている。ナビゲーションユニット４０及び車両状態センサ５０は、画像処理部１０の情報画像作成部（２Ｄ画像作成部）１７に接続されている。
【００３４】
図４は、本実施形態における画像処理部１０によるＨＭＤ２０の画像表示制御処理を示すフローチャートである。
【００３５】
カメラ画像取得部１１は、第１及び第２前方撮影カメラ３１，３２、前方死角撮影カメラ３３、後方死角撮影カメラ３４からそれぞれ画像データを受信するとともに、照度センサ３５からの出力データを順次受信している（ステップＳ１）。またこれと並行して、視線方向推定部１４は、位置センサ３６からのＨＭＤ２０の位置姿勢を示す信号及び、顔画像撮影カメラ２１からの顔画像データを受信している（ステップＳ２）。視線方向推定部１４は、位置センサ３６からのＨＭＤ２０の位置姿勢を示す信号からドライバーの顔の向きを推定するとともに、顔画像撮影カメラ２１からの顔画像データに基づき、ドライバーの顔の肌領域と瞳領域との像域分離を行いその結果から顔の向きに対する視線方向を推定する。そして、これらの結果から、基準である位置センサ３６に対する視線方向を推定する。
【００３６】
上記ステップＳ１では、例えば、推定された視線方向が車両前方と判断され、照度センサ３５からの受信データに基づき照度が所定値より明るいと判断される場合には、第１前方撮影カメラ３１と前方死角撮影カメラ３３の画像データを取得する。また、推定された視線方向が車両前方と判断され、照度は上記所定値以下に暗いと判断される場合には、第２前方撮影カメラ（赤外線カメラ）３２の画像データを取得する。また、推定された視線方向が車両後方と判断されたときは、後方死角撮影カメラ３４の画像データを取得する。
【００３７】
次に、レンズ歪み補正部１２は、ステップＳ１で取得した画像データに対して、当該画像データを取得したカメラのレンズ特性に依存して生じる歪み（収差）を補正する（ステップＳ３）。この補正は例えば、カメラキャリブレーションによって得られる、位置センサ３６の位置に対する当該画像データを取得したカメラの位置を示すカメラ内部パラメータに基づいて行われる。
【００３８】
一方、視線方向推定部１４は、ステップＳ２で受信した位置センサ３６からのＨＭＤ２０の位置姿勢を示す信号に基づいて、ＨＭＤ２０の位置姿勢データを、予め行われた位置キャリブレーションによって得られる、センサ・ＨＭＤ補正パラメータに基づいて補正する（ステップＳ４）。
【００３９】
次に、幾何変換・切り出し部１３は、ステップＳ３で得られたレンズ歪み補正後の画像データの、ＨＭＤ２０の表示領域に合わせた画像の切り出し及び幾何変換を行う（ステップＳ５）。具体的には例えば、図８に示すように、ステップＳ３で得られたレンズ歪み後の画像データから、その画像が、ドライバーの視点から視認される現実空間像Ｓと同じ方向、大きさになるように、ＨＭＤ２０の位置センサ３６に対する位置姿勢及び視線方向推定部１４が推定した視線方向に合わせて必要な画像領域を切り出し、アフィン変換を行う。
【００４０】
次に、カメラ画像加工処理部１６は、ステップＳ５での処理後の画像データに対して、グレア対策として、高輝度の物体を認識して、分光画像処理し、輝度分布を平滑にして違和感や不快がないように調光する、分光補正処理を行う（ステップＳ６）。なお、グレアには、眼球内での光の散乱の程度が増加し、これによって対象物が見えにくくなる減能グレアと、視野内に高輝度の物体があるときに不快に感じやすくなる不快グレアとがあり、両者とも一般に加齢とともに増大する。ステップＳ６の分光補正処理はこのようなグレアに対処するものである。
【００４１】
図５は、このステップＳ６の分光補正処理の一例を示すフローチャートである。まず、ステップＳ５での処理後の画像データに対して、輝度分布分析を行う（ステップＳ６１）。そして、得られた輝度分布に基づいて高輝度物体が存在するかどうかを判定し（ステップＳ６２）、高輝度物体が存在する場合には輝度分布の平滑化を行う（ステップＳ６３）。
【００４２】
次に、カメラ画像加工処理部１６は、追従遅れ補正処理を行う（ステップＳ７）。これは、加齢により移動物を目で追う際の眼球運動が遅くなることに対処するものであり、その具体的処理例を図６のフローチャートに示す。
【００４３】
まず、入力した動画像データから移動物体を抽出し（ステップＳ７１）、そこに高速移動物体が存在するかどうかを判定する（ステップＳ７２）。ここで、高速移動物体が存在する場合には、その移動物体の移動方向、移動速度、及び位置を検出し（ステップＳ７３）、その検出結果に基づいてその移動物体の予測位置を算出する（ステップＳ７４）。その後、移動物体をその予測位置に描画する（ステップＳ７５）。
【００４４】
次に、カメラ画像加工処理部１６は、危険対象物検出処理を実行する（ステップＳ８）。この処理の具体例を図７のフローチャートに示す。
【００４５】
まず、入力した画像データから、歩行者、他車両等の対象物を抽出し（ステップＳ８１）、抽出した対象物の配置パターンを抽出する（ステップＳ８２）。次に、予めメモリに記憶してある熟練ドライバーの注視行動モデルを読み出す（ステップＳ８３）。図９に熟練ドライバーの注視行動モデルの概念図を示す。そして、熟練ドライバーの注視行動モデルに基づくニューラルネットワークあるいは強化学習を構成し、これを利用して、ステップＳ８２で抽出した対象物の配置パターンから、高危険度対象物を抽出する（ステップＳ８４）。
【００４６】
高危険度対象物が抽出された場合にはその画像はカメラ画像としてＨＭＤ２０の表示部２２に表示されることになる。このとき、その画像が高危険度対象物としてドライバーに認知されやすいように、囲み枠線などの識別マークを重畳表示させるとよいであろう。
【００４７】
次に、描画位置・サイズ算出部１５は、ＨＭＤ２０の表示部２２に表示する２Ｄ画像の描画位置およびそのサイズを計算する（ステップＳ９）。また、情報画像作成部１７は、ナビゲーションユニット４０及び車両状態センサ５０から入力したデータに基づいて作成したナビゲーション情報等の情報画像（２Ｄ画像）を作成する。このとき、情報画像作成部１７は、ステップＳ７の追従遅れ補正処理において検出した高速移動物体についてその移動方向を示す矢印画像等を情報画像に含めるようにしても良い。
【００４８】
次に、画像合成部１８は、カメラ画像をＨＭＤ２０の表示部２２に表示するかどうかを判断する（ステップＳ１０）。例えば、次の少なくともいずれかの場合には、車両走行上の危険度が相対的に高い状況であり、カメラ画像をＨＭＤ２０の表示部２２に表示すると判断する。
（１）ステップＳ６の分光補正処理において、ステップＳ６３の輝度分布平滑化が実行された場合。
（２）ステップＳ７の追従遅れ補正処理において、ステップＳ７３〜Ｓ７５の処理が実行された場合。
（３）ドライバーの視線方向に死角がある場合。
（４）照度が暗い場合。
【００４９】
画像合成部１８は、ステップＳ１０でカメラ画像をＨＭＤ２０の表示部２２に表示すると判断した場合は、ステップＳ９での計算結果に基づいて、上述のステップＳ５〜Ｓ８の処理で得られたカメラ画像と、情報画像作成部１７がナビゲーションユニット４０及び車両状態センサ５０から入力したデータに基づいて作成したナビゲーション情報等の情報画像（２Ｄ画像）とを合成した画像を作成し（ステップＳ１１）、その合成画像をＨＭＤ２０の表示部２２に表示する（ステップＳ１２）。
【００５０】
一方、画像合成部１８は、ステップＳ１０でカメラ画像をＨＭＤ２０の表示部２２に表示しないと判断した場合は、情報画像作成部１７がナビゲーションユニット４０及び車両状態センサ５０から入力したデータに基づいて作成したナビゲーション情報等の情報画像（２Ｄ画像）のみを描画して（ステップＳ１３）、これをＨＭＤ２０の表示部２２に表示する（ステップＳ１２）。このときのＨＭＤ２０の表示部２２はシースルー機能をオンとし、この表示部２２越しの実像をドライバーに提供しつつ、情報画像をＨＭＤ２０の表示部２２に表示する（ステップＳ１２）。
【００５１】
以上説明した画像処理部１０によるＨＭＤ２０の画像表示制御によって、ドライバーに視認される画像の例を図１０に示す。
【００５２】
図１０の（ａ）に示される画像において、自車前方には晴天時の空が大きく広がっており、不快グレアが発生しやすい状況である。これに対して、本実施形態では、ステップＳ６において分光補正処理が施され、輝度分布が平滑化されるので、眩しさが軽減される。
【００５３】
また、同じく（ａ）において、自車前方左方からバス８０が横切るように移動中である。これに対しては、本実施形態では、ステップＳ７において追従遅れ補正が施され、移動物体であるバス８０の位置が補正される。このとき、図示の如く移動方向を示す矢印マーク８１を重畳表示するとよい。
【００５４】
図１０の（ｂ）では、ナビゲーション情報である「１００ｍ先右折」との文字表示及び、そのことを示す矢印による右折マーク８２が重畳表示されている。（ｃ）は、ステップＳ８の危険対象物抽出処理において先行車両が危険対象物と判定され、ドライバーの注意を喚起するために、それに囲み枠線が重畳表示されるとともに、「前方障害物」、「車間確保」とのメッセージが表示されている。この（ｃ）の状態が所定時間経過しても解消されない場合には、（ｄ）に示されるように、音声による警告メッセージを発するようにしてもよい。
【００５５】
ここで、（ｂ）〜（ｄ）に示されるような、ナビゲーション情報である右折マーク８２は、ドライバーの視線方向に適合した位置や態様で表示されることが好ましい。一方、（ｄ）に示すように、「５ｋＭ前方渋滞１ＫＭ」といったナビゲーション情報のうちの交通情報については、ドライバーの視線方向には関係なく、図示のように下方端部などの固定された位置で表示されればよいであろう。
【図面の簡単な説明】
【００５６】
【図１】実施形態に係る運転支援システムの基本構成を示す図である。
【図２】実施形態におけるＨＭＤの例を示す図である。
【図３】実施形態におけるＨＭＤを装着したドライバーに提供される複合現実空間の視野を説明する図である。
【図４】実施形態における画像処理部によるＨＭＤの画像表示制御処理を示すフローチャートである。
【図５】実施形態における分光補正処理の一例を示すフローチャートである。
【図６】実施形態における追従遅れ補正処理の一例を示すフローチャートである。
【図７】実施形態における危険対象物抽出処理の一例を示すフローチャートである。
【図８】実施形態における幾何変換・切り出し部による処理を説明する図である。
【図９】熟練ドライバーの注視行動モデルの概念図である。
【図１０】画像処理部によるＨＭＤの画像表示制御によって、ドライバーに視認される画像の例を示す図である。
【符号の説明】
【００５７】
１０ 画像処理部
１１ カメラ画像取得部
１２ レンズ歪み補正部
１３ 幾何変換・切り出し部
１４ 視線方向推定部
１５ 描画位置・サイズ算出部
１６ カメラ画像加工処理部
１７ 情報画像作成部
１８ 画像合成部
２０ ＨＭＤ
３１ 第１前方撮影カメラ
３２ 第２前方撮影カメラ
３３ 前方死角撮影カメラ
３４ 後方死角撮影カメラ
３５ 照度センサ
３６ 位置センサ
４０ ナビゲーションユニット
５０ 車両状態センサ
【特許請求の範囲】
【請求項１】
ナビゲーション情報を提供するナビゲーション装置と、
車両の外部を撮影する撮影カメラと、
車両のドライバーの頭部に装着され運転支援情報を表示部に表示する頭部装着型表示装置と、
前記ナビゲーション装置から提供されるナビゲーション情報及び前記撮影カメラにより撮影された画像の少なくともいずれか一方に基づいて作成される画像を前記頭部装着型表示装置に供給する画像処理手段と、
を備え、
前記頭部装着型表示装置の前記表示部は、ドライバーの左右いずれか一方の眼前に設けられることを特徴とする運転支援システム。
【請求項２】
前記頭部装着型表示装置の前記表示部は、ドライバーが該表示部の後方の眼によって該表示部越しの実像を視認可能に構成されていることを特徴とする請求項１に記載の運転支援システム。
【請求項３】
前記頭部装着型表示装置の位置姿勢を検出する検出手段と、
ドライバーの視線方向を推定する推定手段と、
を更に備え、
前記画像処理手段は、前記撮影カメラにより撮影された画像を、ドライバーの視点から視認される実像と同じ方向、大きさとなるように、前記検出手段により検出された前記頭部装着表示装置の位置姿勢及び前記推定手段により推定されたドライバーの視線方向に基づき変換する変換手段を有し、
前記頭部装着表示装置は、前記変換手段により変換された画像を前記表示部に表示する
ことを特徴とする請求項１に記載の運転支援システム。
【請求項４】
ドライバーの顔画像を撮影する顔画像撮影カメラを更に備え、
前記推定手段は、
前記検出手段により検出された前記頭部装着表示装置の位置姿勢に基づいてドライバーの顔の向きを推定する第１推定手段と、
前記顔画像撮影カメラにより撮影されたドライバーの顔画像に基づいて前記第１推定手段が推定した顔の向きに対する視線方向を推定する第２推定手段と
を有することを特徴とする請求項３に記載の運転支援システム。
【請求項５】
前記画像処理手段は、
前記撮影カメラにより撮影された画像から高危険度対象物を抽出する抽出手段と、
前記抽出手段が抽出した前記高危険度対象物に識別マークを重畳した画像を、前記頭部装着表示装置に供給する手段と、
を有することを特徴とする請求項１から４までのいずれか１項に記載の運転支援システム。
【請求項６】
前記抽出手段は、熟練ドライバーの注視行動に基づくモデルを利用して、前記撮影カメラにより撮影された画像から高危険度対象物を抽出することを特徴とする請求項５に記載の運転支援システム。
【請求項７】
前記撮影カメラは、赤外線カメラであることを特徴とする請求項１から６までのいずれか１項に記載の運転支援システム。
【請求項８】
前記撮影カメラは、ドライバーの視線に対する死角の画像を撮影することを特徴とする請求項１から６までのいずれか１項に記載の運転支援システム。
【請求項９】
前記ナビゲーション装置により提供されるナビゲーション情報は、推定されたドライバーの視線方向に適合した態様で表示されることを特徴とする請求項１から８までのいずれか１項に記載の運転支援システム。
【請求項１０】
前記ナビゲーション情報は、前記頭部装着表示装置の前記表示部の固定された位置に表示されることを特徴とする請求項１から８までのいずれか１項に記載の運転支援システム。
【請求項１１】
前記画像処理手段は、前記撮影カメラにより撮影された画像に高輝度物体が含まれる場合に、該画像の輝度分布の平滑化を行う分光補正手段を更に有することを特徴とする請求項１から１０までのいずれか１項に記載の運転支援システム。
【請求項１２】
前記画像処理手段は、前記撮影カメラにより撮影された画像に高速移動物体が含まれる場合に、該移動物体の予測位置を算出し、該予測位置に該移動物体を描画する追従遅れ補正手段を更に有することを特徴とする請求項１から１１までのいずれか１項に記載の運転支援システム。
【請求項１３】
前記画像処理手段は、前記撮影カメラにより撮影された画像における、該撮影カメラのレンズ特性に依存して生じる歪みを補正するレンズ歪み補正手段を更に有することを特徴とする請求項１から１２までのいずれか１項に記載の運転支援システム。
【請求項１】
ナビゲーション情報を提供するナビゲーション装置と、
車両の外部を撮影する撮影カメラと、
車両のドライバーの頭部に装着され運転支援情報を表示部に表示する頭部装着型表示装置と、
前記ナビゲーション装置から提供されるナビゲーション情報及び前記撮影カメラにより撮影された画像の少なくともいずれか一方に基づいて作成される画像を前記頭部装着型表示装置に供給する画像処理手段と、
を備え、
前記頭部装着型表示装置の前記表示部は、ドライバーの左右いずれか一方の眼前に設けられることを特徴とする運転支援システム。
【請求項２】
前記頭部装着型表示装置の前記表示部は、ドライバーが該表示部の後方の眼によって該表示部越しの実像を視認可能に構成されていることを特徴とする請求項１に記載の運転支援システム。
【請求項３】
前記頭部装着型表示装置の位置姿勢を検出する検出手段と、
ドライバーの視線方向を推定する推定手段と、
を更に備え、
前記画像処理手段は、前記撮影カメラにより撮影された画像を、ドライバーの視点から視認される実像と同じ方向、大きさとなるように、前記検出手段により検出された前記頭部装着表示装置の位置姿勢及び前記推定手段により推定されたドライバーの視線方向に基づき変換する変換手段を有し、
前記頭部装着表示装置は、前記変換手段により変換された画像を前記表示部に表示する
ことを特徴とする請求項１に記載の運転支援システム。
【請求項４】
ドライバーの顔画像を撮影する顔画像撮影カメラを更に備え、
前記推定手段は、
前記検出手段により検出された前記頭部装着表示装置の位置姿勢に基づいてドライバーの顔の向きを推定する第１推定手段と、
前記顔画像撮影カメラにより撮影されたドライバーの顔画像に基づいて前記第１推定手段が推定した顔の向きに対する視線方向を推定する第２推定手段と
を有することを特徴とする請求項３に記載の運転支援システム。
【請求項５】
前記画像処理手段は、
前記撮影カメラにより撮影された画像から高危険度対象物を抽出する抽出手段と、
前記抽出手段が抽出した前記高危険度対象物に識別マークを重畳した画像を、前記頭部装着表示装置に供給する手段と、
を有することを特徴とする請求項１から４までのいずれか１項に記載の運転支援システム。
【請求項６】
前記抽出手段は、熟練ドライバーの注視行動に基づくモデルを利用して、前記撮影カメラにより撮影された画像から高危険度対象物を抽出することを特徴とする請求項５に記載の運転支援システム。
【請求項７】
前記撮影カメラは、赤外線カメラであることを特徴とする請求項１から６までのいずれか１項に記載の運転支援システム。
【請求項８】
前記撮影カメラは、ドライバーの視線に対する死角の画像を撮影することを特徴とする請求項１から６までのいずれか１項に記載の運転支援システム。
【請求項９】
前記ナビゲーション装置により提供されるナビゲーション情報は、推定されたドライバーの視線方向に適合した態様で表示されることを特徴とする請求項１から８までのいずれか１項に記載の運転支援システム。
【請求項１０】
前記ナビゲーション情報は、前記頭部装着表示装置の前記表示部の固定された位置に表示されることを特徴とする請求項１から８までのいずれか１項に記載の運転支援システム。
【請求項１１】
前記画像処理手段は、前記撮影カメラにより撮影された画像に高輝度物体が含まれる場合に、該画像の輝度分布の平滑化を行う分光補正手段を更に有することを特徴とする請求項１から１０までのいずれか１項に記載の運転支援システム。
【請求項１２】
前記画像処理手段は、前記撮影カメラにより撮影された画像に高速移動物体が含まれる場合に、該移動物体の予測位置を算出し、該予測位置に該移動物体を描画する追従遅れ補正手段を更に有することを特徴とする請求項１から１１までのいずれか１項に記載の運転支援システム。
【請求項１３】
前記画像処理手段は、前記撮影カメラにより撮影された画像における、該撮影カメラのレンズ特性に依存して生じる歪みを補正するレンズ歪み補正手段を更に有することを特徴とする請求項１から１２までのいずれか１項に記載の運転支援システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２００８−２３０２９６（Ｐ２００８−２３０２９６Ａ）
【公開日】平成２０年１０月２日（２００８．１０．２）
【国際特許分類】
【出願番号】特願２００７−６９０２２（Ｐ２００７−６９０２２）
【出願日】平成１９年３月１６日（２００７．３．１６）
【出願人】（０００００３１３７）マツダ株式会社 (6,115)
【Ｆターム（参考）】
【公開日】平成２０年１０月２日（２００８．１０．２）
【国際特許分類】
【出願日】平成１９年３月１６日（２００７．３．１６）
【出願人】（０００００３１３７）マツダ株式会社 (6,115)
【Ｆターム（参考）】
[ Back to top ]