運転支援装置
【課題】撮影された画像を用いて、ドライバーに障害物とその周辺の物体の立体感や、障害物までの距離感を容易且つ直感的に認知させる。
【解決手段】車載カメラにより動画として撮影された車両９０の周辺の撮影画像を表示画像として車両内の表示装置に表示させる際に、障害物検出装置により検出された車両９０の周辺に存在する障害物Ｐが表示画像内に含まれる場合には、障害物Ｐの位置情報を含む障害物情報に基づいて、表示画像において車両９０が存在する側から動的に移動する指標Ｍを生成して、その指標Ｍを表示画像に重畳させる。
【解決手段】車載カメラにより動画として撮影された車両９０の周辺の撮影画像を表示画像として車両内の表示装置に表示させる際に、障害物検出装置により検出された車両９０の周辺に存在する障害物Ｐが表示画像内に含まれる場合には、障害物Ｐの位置情報を含む障害物情報に基づいて、表示画像において車両９０が存在する側から動的に移動する指標Ｍを生成して、その指標Ｍを表示画像に重畳させる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両の周辺の障害物を検出し、車両の周辺の画像上においてドライバーに報知する運転支援装置に関する。
【背景技術】
【０００２】
車両の周辺の障害物を検出し、車載カメラにより撮影した車両の周辺の画像を用いて検出した障害物に関する情報をドライバーに報知する車両周辺監視機能を備えた駐車支援装置や運転支援装置が知られている。特開２００２−３４４９５８号公報（特許文献１）には、そのような装置の一例として、移動体の周辺画像において障害物が存在し得る範囲（領域）を概略的に表示する周辺状況表示装置が開示されている。この周辺状況表示装置は、超音波センサにより検出された障害物までの距離に応じ、領域原点から遠ざかるに従って明度値が低くなる色画像を撮影画像上に重畳表示させる。車両周辺を撮影して撮影画像を得るカメラは車両の後部に設置されて後方画像を撮影する。この際、リアバンパーの一部も撮影画像に含んで撮影される。また、リアバンパーには超音波センサが設置される。領域原点は、おおよそ超音波センサの設置位置に設定され、撮影画像上においてはほぼリアバンパーが写っている位置となる。この装置は、障害物自体を特定表示して障害物を正確に特定するよりも、おおよその領域を画像上に示した方が、撮影画像を参照したドライバーの運転操作を容易にするという考えの基に考案されたものである（特許文献１：第３〜５段落、第１８〜２３段落、図２〜６等。）。
【０００３】
但し、この周辺状況表示装置においても、ドライバーが障害物までの距離を直感的に
把握することは容易ではない。一般的に、カメラによる撮影画像においては、物体の立体感が低下する。ドライバーは、撮影画像上の障害物の立体感を画像上から把握した上で、撮影画像上において車両と障害物との間の距離感を把握する。上記周辺状況表示装置においては、表示される画像の比較的広範囲にわたって色画像が重畳されるため、この色画像がドライバーによる立体感や距離感の把握の妨げとなる可能性がある。その結果、ドライバーの視認性を低下される可能性もある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２−３４４９５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記背景に鑑み、撮影された画像上において、ドライバーが障害物とその周辺の物体の立体感や、障害物までの距離感を容易且つ直感的に認知できる技術が望まれる。
【課題を解決するための手段】
【０００６】
上記課題に鑑みた、本発明に係る運転支援装置の特徴構成は、
車載カメラにより動画として撮影された車両の周辺の撮影画像を受け取る画像受取部と、
前記撮影画像を表示画像として前記車両内の表示装置に表示させる画像出力部と、
前記車両の周辺に存在する立体物を障害物として、障害物検出装置により検出された前記障害物の位置情報を含む障害物情報を取得する障害物情報取得部と、
前記障害物が前記表示画像内に含まれる場合に、前記障害物情報に基づいて、前記表示画像において前記車両が存在する側から動的に移動する指標を生成して、前記指標を前記表示画像に重畳させるグラフィック制御部と、を備える点にある。
【０００７】
この構成によると、障害物の位置情報を含む障害物情報に基づいて、表示画像上において車両が存在する側から動的に指標が移動する。障害物検出装置により、多少の誤差は生じていたとしても、障害物のおおよその位置は検出されているから、表示画像上において車両が存在する側から概ね障害物が存在する位置へ向かって動的に指標が移動する。従って、障害物が存在する位置が明確に報知される。射影面上に投影された２次元画像上でドライバーが立体物を立体物として認知するには、その物体を知っていて脳において立体の概念を構築する必要がある。障害物が明確に報知されることによって、ドライバーによる立体概念の構築が促進され、ドライバーは、障害物とその周辺の物体の立体感を容易且つ迅速に得ることができる。つまり、無意識のうちに、ドライバーは直感的に立体感を得ることができる。また、指標が動的に移動する時間によって、車両から障害物までの距離感を直感的に認知させることができる。
【０００８】
また、本発明に係る運転支援装置の前記グラフィック制御部は、前記車両が存在する側から前記障害物へ向かって繰り返し、動的に前記指標を移動させると好適である。指標が繰り返し、車両から障害物に向かって移動することによって、ドライバーが障害物を認知する可能性を向上させることが可能となる。
【０００９】
また、本発明に係る運転支援装置の前記グラフィック制御部は、前記車両と前記障害物との距離に応じて異なる表示形態で前記指標を生成して重畳させると好適である。当然ながら、車両と障害物との距離が近いと、車両とその障害物とが接触する可能性が高くなる。車両と障害物との距離に応じて異なる表示形態で指標が生成されることにより、例えば、より車両に近い障害物に対する指標の色を相対的に目立つ色としたり、点滅させて相対的に目立つ表示方法で表示させたりすることができる。その結果、ドライバーに対して迅速に認知させることが好ましい障害物を、指標によって優先して示すことができる。
【００１０】
また、本発明に係る運転支援装置の前記グラフィック制御部は、前記表示画像上を動的に移動する前記指標と前記表示画像上の前記障害物との画像面上での距離に応じて異なる表示形態で前記指標を生成して重畳させると好適である。例えば、指標が、車両から障害物に向かって画像面上を移動する際に、指標を次第に淡くする、あるいは次第に濃くするなどの視覚効果が付加されると、動的な指標がさらに動的となる。その結果、ドライバーは、障害物とその周辺の物体の立体感や、障害物までの距離感をさらに直感的に認知することができる。
【００１１】
また、本発明に係る運転支援装置の前記障害物検出装置は、前記車両の側から送信した送信波と、当該送信波に対する物体からの反射波とに基づいて前記車両の周辺に存在する立体物を前記障害物として検出すると好適である。障害物は、撮影画像を画像認識処理するパッシブ型の検出方法によって検出することも可能である。車両の側から送信波を放ち、障害物からの反射波を受信するアクティブ型の検出方法は、より積極的な障害物検出方法である。画像処理の場合には、背景と障害物との画像におけるコントラストが近い場合には検出精度が低下するが、アクティブ型の場合にはそのような心配はなく、より確実に障害物を検出することが可能となる。また、障害物までの距離も精度よく計測されるので、視認性のよい指標を生成することができる。
【００１２】
ここで、本発明に係る運転支援装置が前記障害物検出装置を複数備え、前記指標が各障害物検出装置に対応して設定されると好適である。障害物検出装置を複数個備えることによって障害物の検出精度が向上する。また、車両から障害物へと動的に移動する指標が各障害物検出装置に対応することで、障害物への送信波が可視化され、障害物に到達するような視覚効果をドライバーに与えることが可能となる。
【００１３】
本発明に係る運転支援装置の前記表示画像は、前記車両の進行方向に沿った方向に消失点を有する透視投影画像であると好適である。一般的な運転支援装置において用いられる表示画像には、車載カメラの搭載位置をほぼそのまま視点とするものもあるが、画像処理によって視点の位置を変換する場合もある。このような視点変換の例としては、車両の高さよりもやや高い位置から斜め下方を見るような画像へ変換するものや、車両の上方から見下ろすようないわゆる俯瞰画像へと変換するものがある。俯瞰画像は、ほぼ路面を射影面とした画像であるから、障害物と車両との距離感は平面的に把握し易いものである。一方、立体物が俯瞰画像へと視点変換されると一般的には非常に歪んだ画像となり、立体感や現実感が損なわれる。車載カメラの搭載位置をほぼそのまま視点とする画像や、車両の高さよりもやや高い位置から斜め下方を見るような画像の場合には、射影面は、路面に対して概ね４５度以上の角度を有する。俯瞰画像とは異なり、障害物と車両との距離感は把握しにくいものの、立体物の立体感や現実感は維持されている。本発明に係る動的な指標は、そのような車載カメラの搭載位置をほぼそのまま視点とする画像や、車両の高さよりもやや高い位置から斜め下方を見るような画像において、良好に障害物までの距離感を容易且つ直感的に認知可能とする。従って、射影面が路面に対して概ね４５度以上の角度を有するこれらの画像のように、表示画像が車両の進行方向に沿った方向に消失点を有する透視投影画像であると、動的な指標によって良好に障害物までの距離感を容易且つ直感的に認知可能とすることができる。
【図面の簡単な説明】
【００１４】
【図１】車両のシステム構成の一例を模式的に示すブロック図
【図２】車両を一部切り欠いて示す車両の斜視図
【図３】超音波センサの模式的な原理ブロック図
【図４】超音波センサのセンサヘッドの構成例を模式的に示す図
【図５】運転支援装置の機能構成の一例を模式的に示すブロック
【図６】表示画像上を指標が動的に移動する一例を示す動画の分解図
【図７】表示画像上を指標が動的に移動する一例を模試的に示す説明図
【図８】表示画像上を指標が動的に移動する一例を模試的に示す説明図
【図９】表示画像上を指標が動的に移動する一例を模試的に示す説明図
【図１０】表示画像上を指標が動的に移動する一例を模試的に示す説明図
【図１１】表示画像の視点と光学中心の方向との関係を模式的に示す図
【発明を実施するための形態】
【００１５】
以下、本発明の実施形態を図面に基づいて説明する。図１及び図２に示すように、本実施形態では、車両に備えられたカメラ１（車載カメラ）により動画として撮影された車両９０の周辺の撮影画像を表示画像としてモニタ装置４（表示装置）に表示する運転支援装置（駐車支援装置・周辺監視装置）を例として説明する。カメラ１はＣＣＤ（charge coupled device）やＣＩＳ（CMOS image sensor）などの撮像素子を用いて、毎秒１５〜３０フレームの２次元画像を時系列に撮影し、デジタル変換して動画データ（撮影画像）をリアルタイムに出力するデジタルカメラである。カメラ１は、広角レンズを備えて構成される。特に、本実施形態においては、水平方向に１４０〜１９０°の視野角が確保されている。カメラ１は、光軸に約３０度程度の俯角を有して車両９０に設置され、車両９０からおおよそ８ｍ程度までの領域を撮影可能である。本実施形態においては、カメラ１として車両９０の後方を撮影するバックカメラを例示しているが、車両９０の前方や側方を撮影するカメラであってもよい。また、車両９０に備えられるカメラ１は１つに限るものではなく、後方と助手席側の側方、後方と助手席側の側方と前方、後方と両側方と前方など、複数のカメラが車両９０に備えられていてもよい。
【００１６】
カメラ１により撮影された画像は、図１に示すように、スーパーインポーズ部２ａ、グラフィック描画部２ｂ、フレームメモリ２ｃなどを有する画像処理モジュール２を介して、モニタ装置４に表示可能である。各フレームの２次元画像は、フレームメモリ２ｃに格納され、フレームごとに画像処理やグラフィックの重畳を施されて表示画像となる。また、画像処理モジュール２は、撮影画像の視点を変換して車両９０のやや上から斜め下方を見た画像として表示画像を生成することも可能である。また、カメラ１が複数個備えられている場合には、画像処理モジュール２は、複数のカメラ１により撮影された撮影画像を合成して、より広い視野の合成画像を生成することも可能である。グラフィック描画部２ｂへの描画指示や、スーパーインポーズ部２ａへのグラフィック重畳指示は、後述するＣＰＵ（central processing unit）５から発せられる。
【００１７】
モニタ装置４は、例えば、ナビゲーションシステムのモニタ装置が兼用される。図１に示すように、モニタ装置４は、表示部４ａと、表示部４ａに形成されたタッチパネル４ｂと、スピーカ４ｃとを有している。表示部４ａは、画像処理モジュール２から提供されるカメラ１の撮影画像や、グラフィック画像、それらが合成された合成画像などを表示する。一例として、表示部４ａは液晶ディスプレイによって構成される。タッチパネル４ｂは、表示部４ａと共に形成され、指などによる接触位置をロケーションデータとして出力することができる感圧式や静電式の指示入力装置である。図１においては、スピーカ４ｃは、モニタ装置４に備えられている場合を例示しているが、スピーカ４ｃはドアの内側など、他の場所に備えられても良い。スピーカ４ｃは、ＣＰＵ５の指示に応じて音声処理モジュール８から提供される音声を出力する。尚、ＣＰＵ５は、単純にブザー４５を介して報知音を鳴らす場合もある。
【００１８】
ＣＰＵ５は、画像認識や進路予想などの高度な演算処理を行い、運転支援装置１０の中核を担う。ＣＰＵ５は、プログラムメモリ５ａに格納されたプログラムやパラメータを利用して各種演算処理を実行する。また、ＣＰＵ５は、必要に応じてワークメモリ５ｂに一時的に撮影画像などを格納して演算を実行する。ここでは、プログラムメモリ５ａやワークメモリ５ｂが、ＣＰＵ５とは別のメモリである例を示しているが、ＣＰＵ５と同一のパッケージ内に集積されていてもよい。運転支援装置１０は、ＣＰＵ５やメモリ、その他の周辺回路と共に、運転支援ＥＣＵ（electronic control unit）９として構成される。本例では、ＣＰＵ５を中核としたが、運転支援装置１０は、ＤＳＰ（digital signal processor）など、他の論理演算プロセッサや論理回路を中核として構成されてもよい。
【００１９】
ＣＰＵ５は、図１において符号５０で示す車内ネットワークを介して種々のシステムやセンサと通信可能に接続されている。本実施形態においては、車内ネットワークとしてＣＡＮ（controller area network）５０を例示している。図１に示すように、運転支援装置１０（ＣＰＵ５）は、車内のパワーステアリングシステム３１やブレーキシステム３７と接続される。これら各システムは、駐車支援装置１０と同様にＣＰＵなどの電子回路を中核として構成され、運転支援ＥＣＵ９と同様に周辺回路と共に構成されたＥＣＵを中核として構成される。
【００２０】
パワーステアリングシステム３１は、電動パワーステアリング（EPS : electric power
steering）システムやＳＢＷ（steer-by-wire）システムである。このシステムは、ドライバーにより操作されるステアリングホイールにアクチュエータ４１によりアシストトルクを付加する。自動操舵機能が搭載された車両では、ステアリングホイールや操舵輪をアクチュエータ４１により駆動することによって自動操舵を行う。ブレーキシステム３７は、ブレーキのロックを抑制するＡＢＳ（anti lock braking system）や、コーナリング時の車両の横滑りを抑制する横滑り防止装置（ESC : electronic stability control）、ブレーキ力を増強させるブレーキアシストなどを有した電動ブレーキシステムや、ＢＢＷ（brake-by-wire）システムである。このシステムは、アクチュエータ４７を介して車両９０に制動力を付加することもできる。
【００２１】
図１において、各種センサの一例として、ステアリングセンサ２１や車輪速センサ２３、シフトレバースイッチ２５、アクセルセンサ２９がＣＡＮ５０に接続されている。ステアリングセンサ２１は、ステアリングホイールの操舵量（回転角度）を検出するセンサであり、例えばホール素子などを用いて構成される。運転支援装置１０は、ドライバーによるステアリングホイールの操舵量や、自動操舵時の操舵量をステアリングセンサ２１から取得して各種制御を実行する。
【００２２】
車輪速センサ２３は、車両９０の車輪の回転量や単位時間当たりの回転数を検出するセンサであり、例えばホール素子などを用いて構成される。運転支援装置１０は、車輪速センサ２３から取得した情報に基づいて車両９０の移動量などを演算し、各種制御を実行する。車輪速センサ２３は、ブレーキシステム３７に備えられている場合もある。ブレーキシステム３７は、左右の車輪の回転差などからブレーキのロックや、車輪の空回り、横滑りの兆候などを検出して、各種制御を実行する。車輪速センサ２３がブレーキシステム３７に備えられている場合には、運転支援装置１０は、ブレーキシステム３７を介して情報を取得する。ブレーキセンサ２７は、ブレーキペダルの操作量を検出するセンサであり、運転支援装置１０は、ブレーキシステム３７を介して情報を取得する。運転支援装置１０は、例えば、自動操舵中にブレーキペダルが踏み込まれたような場合に、自動操舵に不都合な環境下にあるとして自動操舵を中断したり中止したりする制御を行うことができる。
【００２３】
シフトレバースイッチ２５は、シフトレバーの位置を検出するセンサ又はスイッチであり、変位センサなどを用いて構成される。例えば、シフトがリバースにセットされた場合に、運転支援装置１０は支援制御を開始したり、リバースから前進に変更された場合に支援制御を終了させたりすることができる。
【００２４】
また、ステアリングホイールへの操作トルクを検出するトルクセンサ２２は、ドライバーがステアリングホイールを握っているか否かについても検出することが可能である。運転支援装置１０は、自動操舵中にドライバーがステアリングホイールを操作するために強く握った場合などに、自動操舵に不都合な環境下にあるとして自動操舵を中断したり中止したりする制御を行うことができる。また、自動操舵時には、一般的にエンジンのアイドリングによる車両９０のクリーピングが利用される。従って、ドライバーがアクセルを操作したことがアクセルセンサ２９により検出された場合、運転支援装置１０は、自動操舵に不都合な環境下にあるとして自動操舵を中断したり中止したりする制御を行うことができる。
【００２５】
クリアランスソナー３（３Ｌ，３Ｍ，３Ｒ）は本発明の障害物検出装置に相当する。本実施形態では、図２に示すように、クリアランスソナー３は、後部バンパーの中央、および両サイドに計３つ備えられる。また、本実施形態においては、クリアランスソナー３は超音波センサにより構成される。図３の原理図に示すように、超音波センサ３から超音波が送信され、この超音波が物体に当たって生じる反射波を超音波センサ３が受信する。超音波センサ３は、この送信から受信までの時間により、超音波センサ３と物体との間の距離及び位置を検知する。
【００２６】
図３に示すように、超音波センサ３は、送信器３２と受信器３４とを有したセンサヘッド３０と、送信部３aと、受信部３ｂと、検波部３ｃと、演算部３ｄとを有している。送信部３ａは、演算部３ｄから出力される送信指令に基づいて所定の送信タイミングごとに送信器３２に超音波（送信波）を送信させる。受信部３ｂは、送信された超音波に対する物体からの反射波を含み、受信器３ｂに達した超音波（受信波）を電気信号である受信信号として受信する。検波部３ｃは、受信信号から包絡線を取得し、受信波を検波する。演算部３ｄは、送信部３ａを介して所定の送信タイミングごとに送信器３２から送信波を送信させると共に、検波結果から物体の有無や物体までの距離、物体の位置を演算する。
【００２７】
演算部３ｄは、マイクロプロセッサや論理回路群などを中核として構成される。本実施形態においては、演算部３ｄは、Ａ／Ｄコンバータを内蔵したマイクロコンピュータによって構成される。送信部３ａは、バースト波発生回路、発振器、昇圧回路などを有して構成されており、演算部３ｄから出力される送信指令に基づいて、送信器３２を振動させて超音波を送信させる。受信部３ｂは、受信器３４から受け取る電気信号に対してインピーダンス変換や増幅を行うアンプや、所定周波数帯域の信号を通過させるバンドパスフィルタを備えて構成される。検波部３ｃは、バンドパスフィルタの出力を整流し、積分して包絡線を取得する。本実施形態では、検波部３ｃはダイオードとコンデンサとを用いたアナログ回路により構成される。検波部３ｃの出力は、演算部３ｄを構成するマイクロコンピュータにより制御される不図示のサンプルホールド回路を介して、当該マイクロコンピュータに内蔵されるＡ／Ｄコンバータに入力され、デジタル変換される。勿論、この実施形態に限定されることはなく、受信部３ｂの出力をＡ／Ｄ変換し、デジタル信号処理によって整流及び包絡線処理を伴う検波を行ってもよい。
【００２８】
車両９０の周辺に存在する立体物の検出は、公知の三角測量の手法を用いて実現可能である。精度の良い三角測量を実現するためには、受信器３４、受信部３ｂ、検波部３ｃの受信系は複数個備えられることが好ましい。図４には、そのような超音波センサ３のセンサヘッドを模式的に示している。超音波センサ３は、１つの送信器３２と、３つの受信器３４ａ，３４ｂ，３４ｃとの４つの振動部を有している。受信部及び検波部については不図示であるが、超音波センサ２は、３つの受信器３４ａ，３４ｂ，３４ｃに対応する３系統の受信系を備えることにより、３次元的に障害物の位置を検知することができる。
【００２９】
４つの振動部は、正方形の各頂点部に１つの振動部が対応する形態で配置される。この正方形の一辺の長さｄ、即ち隣接する振動部の間隔ｄが小さいほど、物体を検出する際の分解能が高くなる。但し、間隔ｄが狭いと、他の振動部の振動の影響を受け易くなるため、間隔ｄは適切に設定される。また、送信波の１／２波長は、振動部の間隔ｄよりも充分小さい値に設定される。一例として、間隔ｄは１０〜１２ｍｍ程度とすることができる。送信波の周波数が４０ｋＨｚの場合、その波長は８．５ｍｍとなり、１／２波長は４．２５ｍｍであるから、振動部の間隔ｄよりも充分小さい値となり、分解能が確保される。図４においてｘ軸は車幅方向、ｚ軸は超音波センサ２の送信方向の中心軸３０ｃに沿う方向、ｙ軸はｘ軸及びｚ軸に直交する方向の軸である。ｚ軸は、４つの振動部が配置される正方形の重心２０ｃを貫く軸である。
【００３０】
超音波センサ３は、３つの受信器３４ａ，３４ｂ，３４ｃに対応する３系統の受信系を備えて構成される。図４に示すように、３つの受信器３４ａ，３４ｂ，３４ｃの位置は、異なっているため、同一の障害物からの距離も基本的には異なることになる。従って、それぞれの受信系は、この障害物からの反射波を異なった時刻に受信する。３つの受信器３４ａ，３４ｂ，３４ｃの幾何学的な関係は演算部３ｄにとって既知の情報である。従って、演算部３ｄは、それぞれの受信器３４ａ，３４ｂ，３４ｃと障害物などの物体との距離と、３つの受信器３４ａ，３４ｂ，３４ｃの幾何学的な関係とに基づいて、公知の三角測量演算により、物体の方向を求めることができる。
【００３１】
図１に示す各種システムやセンサ、これらの接続形態については一例であり、他の構成や接続形態が採用されてもよい。また、上述したように、センサは直接ＣＡＮ５０に接続されても良いし、種々のシステムを介して接続されてもよい。
【００３２】
さて、本発明に係る運転支援装置１０は、車両９０の周辺の障害物を検出し、カメラ１により撮影した車両の周辺の撮影画像上において、検出された障害物に関する情報をドライバーに報知する車両周辺監視機能を備えている。具体的には、運転支援装置１０は、動画として撮影された撮影画像を表示画像としてモニタ装置４に表示させると共に、障害物検出装置３により検出された障害物の位置情報を取得する。障害物が表示画像内に含まれる場合には、運転支援装置１０は、表示画像において車両９０が存在する側から障害物へ向かって動的に移動する指標を生成して、その指標を表示画像に重畳させる。この指標は、撮影画像（表示画像）の視認性の低下を抑制するため、半透明など透過性を有して生成され、重畳されると好適である。
【００３３】
運転支援装置１０は、図５に示すように運転支援ＥＣＵ９においてハードウェアとソフトウェアとの協働によって実現される各種機能部を有して構成される。運転支援装置１０は、画像受取部１１と、グラフィック制御部１２と、障害物情報取得部１３と、画像出力部１４とを有して構成される。画像受取部１１は、カメラ１により動画として撮影された車両の周辺の撮影画像を受け取る機能部である。画像出力部１４は、撮影画像を表示画像として車両内の表示装置に表示させる機能部である。障害物情報取得部１３は、車両９０の周辺に存在する立体物を障害物として、障害物検出装置４により検出された障害物の位置情報を含む障害物情報を取得する機能部である。グラフィック制御部１２は、障害物が表示画像内に含まれる場合に、表示画像において車両９０が存在する側から障害物へ向かって動的に移動する指標を生成して、その指標を表示画像に重畳させる機能部である。
【００３４】
図６は、表示画像上を指標Ｍが動的に移動する一例を示している。図６（ａ）〜（ｄ）は動画のフレームを表しており、図６は動画の分解図である。各フレームの下方には、車両９０のバンパーが写っている。また、本実施形態では障害物Ｐの例としてコーンを例示している。クリアランスソナー３によって障害物Ｐが検出され、その障害物Ｐが表示画像内に含まれる場合には、動的に移動する指標Ｍが表示画像上に重畳される。即ち、図６（ａ）から（ｂ）、（ｃ）、（ｄ）と順に指標Ｍが、表示画像において車両９０が存在する側から障害物Ｐへ向かって移動する。図６（ａ）〜（ｄ）は動画のフレームであるから、指標Ｍは、表示画像上を動的に移動することになる。図６における破線は動的に移動した指標Ｍの軌跡を表している。表示画像上において障害物Ｐに達した指標Ｍは、再び車両９０側から障害物Ｐへ向かって動的に移動する。即ち、指標Ｍは、車両９０が存在する側から障害物Ｐへ向かって繰り返し、動的に移動する。
【００３５】
このような動作について、運転支援装置１０の各機能部による作用に基づいて説明する。画像受取部１１は、カメラ１により動画として撮影された撮影画像を受け取る。画像受取部１１は、上述したように運転支援ＥＣＵ９において構築される機能部であり、特に画像処理モジュール２を中核として構築される機能部である（図１参照）。
【００３６】
一方、障害物情報取得部１３は、クリアランスソナー３（障害物検出装置）により検出された障害物Ｐの位置情報を含む障害物情報を取得する。尚、この位置情報は、厳密なものではなく、クリアランスソナー３の検出精度や、カメラ１、クリアランスソナー３の車両９０への取り付け精度などに依存する誤差を許容し、概ね障害物Ｐが存在する位置を示すものであってよい。具体的には、ＣＡＮ５０を介してＣＰＵ５が障害物情報を取得する。カメラ１の撮影範囲は、車両９０を基準とした３次元のワールド座標系におけるカメラ１の２次元の射影面として予め定義可能である。障害物Ｐの位置情報は、クリアランスソナー３の車両９０における設置位置との関係によりワールド座標系において同定することが可能である。カメラ１の撮影範囲は概ね表示画像に一致するから、グラフィック制御部１２は、障害物情報に基づいて障害物Ｐが表示画像内のどこに位置するかを同定することができる。
【００３７】
また、グラフィック制御部１２は、障害物情報に基づいて障害物Ｐが表示画像内に含まれるか否かも判定可能である。撮影画像が視点変換、歪み補正などの画像処理を施されたのちに表示画像となる場合にも、予め座標範囲は規定されるからグラフィック制御部１２は、障害物情報に基づいて障害物Ｐが表示画像内に含まれるか否かを判定可能である。クリアランスソナー３の検出範囲と、カメラ１による撮影範囲（表示画像の範囲）とは、通常一致しない。特にクリアランスソナー３の検出範囲がカメラ１の撮影範囲よりも広い場合や、撮影範囲を超えた領域が検出範囲に含まれるような場合には、検出された障害物Ｐが撮影画像上に存在していない可能性がある。そのような場合には、必ずしも障害物Ｐの存在を報知する必要はない。従って、グラフィック制御部１２が、障害物情報に基づいて障害物Ｐが表示画像内に含まれるか否かを判定すると好適である。
【００３８】
グラフィック制御部１２は、障害物Ｐが表示画像内に含まれると判定した場合に、障害物情報に基づいて、表示画像において車両９０が存在する側から概ね障害物Ｐの存在する方向へ動的に移動する指標Ｍを生成する。グラフィック制御部１２は、表示画像の動画を構成する１フレームごとに指標Ｍを重畳させる。画像処理モジュール２を中核として構成される画像出力部１４は、撮影画像に指標Ｍが重畳された画像を表示画像として車両９０内のモニタ装置に表示させる。上述したように、障害物Ｐが表示画像内に含まれていない場合には、必ずしも障害物Ｐの存在を報知する必要はない。しかし、この場合であっても、障害物Ｐの方向へ向かって動的に移動し、障害物Ｐには達することなく表示画像の端で消失する指標Ｍが生成され、重畳されることを妨げるものではない。
【００３９】
説明を容易にするために車両９０及び障害物Ｐが動いておらず、撮影画像に変化がない場合を例として、指標Ｍが重畳される座標の決定方法について説明する。グラフィック制御部１２は表示画像の動画を構成する１つ前のフレームにおいて指標Ｍを重畳させた表示画像上の座標を記録している。従って、新たなフレームにおいては、指標Ｍを重畳させる座標を表示画像上における障害物Ｐの方向へ所定量移動させる。順次、これを繰り返すことによって、各フレームにおいて指標Ｍが重畳される座標が変わり、指標Ｍは車両９０から障害物Ｐの方向へと動的に移動する。指標Ｍが障害物Ｐに達すると、再び指標Ｍの座標は車両９０の側に戻り、以降、車両９０から障害物Ｐへの動的な移動が繰り返される。このような処理を実行するグラフィック制御部１２は、ＣＰＵ５及び画像処理モジュール２を中核として構成される。
【００４０】
尚、一例として、指標Ｍは路面上を移動するものとして表示画像上の座標が決定されると好適である。また、障害物Ｐの表示画像上の座標も立体物としての障害物Ｐが路面と接する位置の路面上の座標であると好適である。車両９０が存在する路面を基準面とすることによって座標の演算が容易となる。また、この際、障害物Ｐの座標を、障害物Ｐの方向への指標Ｍの移動の終点とすれば、どのような障害物Ｐであっても、その足下まで指標Ｍが移動することとなる。その結果、演算を簡略化することができると共に、種々の障害物Ｐに対して一貫性のある表現となり、ドライバーの視認性も向上する。
【００４１】
次に、車両９０及び障害物Ｐの少なくとも一方が動いている場合について説明する。上述したように、本実施形態において運転支援装置１０は、車輪速センサ２３やステアリングセンサ２１などとＣＡＮ５０を介して接続されている。従って、運転支援装置１０は、車両９０が移動しているか否かは勿論のこと、車両９０の移動速度や移動方向を知ることができる。車両９０が移動しており、障害物Ｐが移動していない場合には、グラフィック制御部１２は、車両９０のオドメトリより、指標Ｍを重畳させる座標を演算する。具体的には、グラフィック制御部１２は、車両９０のオドメトリより、先のフレームにおける車両９０と障害物Ｐとの位置関係を予測し、前回のフレームにおける指標Ｍの座標と先のフレームにおける指標Ｍの座標の予測位置とが円滑につながるように、現フレームにおける指標Ｍの座標を決定する。
【００４２】
車両９０が停止しており、障害物Ｐが移動している場合には、グラフィック制御部１２は、障害物Ｐのオドメトリに基づいて同様の演算を実施する。障害物Ｐが移動しているか否かは、クリアランスソナー３による障害物Ｐの検出結果から判定することができる。また、クリアランスソナー３による障害物Ｐの検出結果の蓄積より、障害物Ｐの軌跡及び未来の予想軌跡を演算することができ、それら軌跡及び予想軌跡に基づいて、指標Ｍの座標が決定されると好適である。車両９０及び障害物Ｐの双方が移動している場合には、車両９０のオドメトリと、障害物Ｐのオドメトリとの双方を用いて、指標Ｍの座標が決定される。
【００４３】
指標Ｍは、表示画像上において車両９０から障害物Ｐの方へ移動するが、図６に示すように表示画像における車両９０は、表示画像の下方の一辺の全てに亘っている。従って、指標Ｍは車両９０の種々の位置から移動を開始することが可能である。例えば、図７に示すように、障害物Ｐが車両９０の後方右寄りに存在する場合には、車両９０の右寄りから指標Ｍの移動を開始させてもよい。あるいは、障害物Ｐの位置に拘わらず、車両９０の任意の位置から指標Ｍの移動を開始させてもよい。図８には、障害物Ｐの位置に拘わらず、車両９０の中央から指標Ｍの移動を開始させる場合を例示している。尚、車両９０の後方が撮影された撮影画像に基づく表示画像は、運転席のドライバーがルームミラーによって車両９０の後方を見る場合と同様の視覚効果を提供するために、左右が反転した鏡像としてモニタ装置４に表示されている。
【００４４】
また、グラフィック制御部１２は、クリアランスソナー３により複数の障害物Ｐが検出された場合には、図９に示すように、各障害物Ｐに対して指標Ｍを生成して表示画像に重畳させる。１つのクリアランスソナー３により２つ以上の障害物Ｐを検出することが可能であるから、クリアランスソナー３の設置数には依存されない。各障害物Ｐ（Ｐ１，Ｐ２）に対する指標Ｍ（Ｍ１，Ｍ２）の生成及び重畳の方法については、上述した通りであるので詳細な説明は省略する。図９では、図７と同様に、障害物Ｐの位置に応じて車両９０の側における指標Ｍのスタート位置が異なる場合を例示しているが、図８と同様に障害物Ｐの位置に拘わらず、車両９０の中央から指標Ｍの移動を開始させてもよい。
【００４５】
尚、図１及び図２に示すように、クリアランスソナー３が車両９０に複数個備えられている場合には、障害物Ｐを検出したクリアランスソナー３から出発した指標Ｍが障害物Ｐに向かって移動すると好適である。図１０では、右側に備えられたクリアランスソナー３Ｒにより障害物Ｐ１が検出され、中央に備えられたクリアランスソナー３Ｍにより障害物Ｐ２が検出され、左側に備えられたクリアランスソナー３Ｌにより障害物Ｐ３が検出された場合を例示している。当然ながら、１つの障害物Ｐ（Ｐ１，Ｐ２，Ｐ３）は複数のクリアランスソナー３（３Ｒ，３Ｍ，３Ｌ）により検出される場合がある。各クリアランスソナー３は、障害物Ｐまでの距離も検出するから距離に応じて指標Ｍのスタート位置が決定されると好適である。一例として、グラフィック制御部１２は、障害物Ｐを検出したクリアランスソナー３の内、最もその障害物に近いクリアランスソナー３により検出されたものとして、指標Ｍを生成すると好適である。
【００４６】
図６〜図１０においては、モニタ装置４に表示される表示画像が、カメラ１の車両９０における搭載位置をそのまま視点とした透視投影画像である場合を例とした。カメラ１は車両９０の後部にやや俯角を有して搭載されたカメラであるから、撮影画像は、図１１（ａ）に示すように、車両９０の後方Ｄ２への進行方向Ｄに沿った方向に消失点（vanishing point）を有する透視投影画像である。３次元空間上で平行な複数の直線の投影像は、透視投影画像上の一点で交わるが、消失点とは、その「点」のことである。消失点は、直線上で無限に遠いところにある点、無限遠点（point at infinity）であり、表示画像における観念的な奥行き方向に存在する。図１１（ａ）に示すように、カメラ１の視野（撮影範囲）には路面Ｇによって遮断されない領域を含むので、図６〜図１０に示すように、撮影画像がほぼそのまま表示画像のベースとなっている場合には、表示画像の奥行きの方向は路面Ｇに沿って深く延びることになる。
【００４７】
透視投影画像では深い奥行きが同一平面上、即ち射影面に投影されるために、障害物Ｐと車両９０との距離感が把握しにくいものとなるが、立体物の現実感は良好に維持される。動的な指標Ｍが、そのような画像に付加されることにより、良好に障害物Ｐまでの距離感や立体感をドライバーに直感的に認知させることが可能となる。尚、カメラ１が、俯角３０度を有して設置されている場合には、光軸Ｘと路面Ｇとの成す角度θも３０度である。車両９０の前方に前方Ｄ１を撮影するカメラが搭載される場合も同様である。尚、「車両９０の進行方向Ｄに沿った方向に消失点を有する」とした場合の沿った方向とは、概ね進行方向Ｄに対して４５度程度まで（例えば４５度以下）を指すものとする。また、別の観点からは、「概ね４５度内の範囲で光軸Ｘが車両９０の進行方向Ｄに沿う」と考えてもよい。ここで、光軸Ｘは、カメラ１の実際の光軸に限定されるものではなく、撮影画像を視点変換した画像における仮想光軸も含む。そのような場合も含めると、「射影面における２次元座標の光学中心を通り、射影面に直交する光軸が概ね４５度内の範囲で車両９０の進行方向Ｄに沿う」と考えることもできる。
【００４８】
図１１（ｂ）は、そのような視点変換を例示している。即ち、仮想的にカメラ１の視点を車両９０の高さよりもやや高い位置へと移動させ、その視点から斜め下方（後方）を見るような画像へ撮影画像を変換した際の画像座標系の概念を模式的に示している。この場合でも、仮想的な光軸Ｘと路面Ｇとの成す角度θが概ね４５以内であれば、「車両９０の進行方向Ｄに沿った方向に消失点を有する」と考えて良い。
【００４９】
一方、図１１（ｃ）は、さらに視点を移動させ、車両９０の上方から見下ろすようないわゆる俯瞰画像へと変換する場合の画像座標系の概念を模式的に示している。図１１（ｃ）の例では、仮想的な光軸Ｘと路面Ｇとの成す角度θはほぼ直角である。俯瞰画像は、ほぼ路面Ｇを射影面とした画像であるから、障害物Ｐと車両９０との距離感は平面的に把握し易いものとなる。一方、立体物が俯瞰画像へと視点変換されると一般的には非常に歪んだ画像となり、立体感や現実感は大きく損なわれる。一方、俯瞰画像においては、少なくとも、障害物Ｐと車両９０との距離感は把握し易いものであるから、改めて動的な指標Ｍを俯瞰画像に付加することによる効果は、非俯瞰画像（例えば図１１（ａ）及び（ｂ））に比べて小さい。俯瞰画像に対して、動的な指標Ｍが付加されることを妨げるものではないが、動的な指標Ｍの付加は、奥行き感がある非俯瞰画像において大きな効果を奏することが容易に理解できよう。
【００５０】
以上説明したように、本発明によれば、撮影された画像を用いて、ドライバーに障害物とその周辺の物体の立体感や、障害物までの距離感を容易且つ直感的に認知させる運転支援装置を提供することができる。
【符号の説明】
【００５１】
１：カメラ（車載カメラ）
３：クリアランスソナー、超音波センサ（障害物検出装置）
４：モニタ装置（表示装置）
９０：車両
１１：画像受取部
１２：グラフィック制御部
１３：障害物情報取得部
１４：画像出力部
Ｄ：車両の進行方向に沿った方向
Ｍ：指標
Ｐ：障害物
【技術分野】
【０００１】
本発明は、車両の周辺の障害物を検出し、車両の周辺の画像上においてドライバーに報知する運転支援装置に関する。
【背景技術】
【０００２】
車両の周辺の障害物を検出し、車載カメラにより撮影した車両の周辺の画像を用いて検出した障害物に関する情報をドライバーに報知する車両周辺監視機能を備えた駐車支援装置や運転支援装置が知られている。特開２００２−３４４９５８号公報（特許文献１）には、そのような装置の一例として、移動体の周辺画像において障害物が存在し得る範囲（領域）を概略的に表示する周辺状況表示装置が開示されている。この周辺状況表示装置は、超音波センサにより検出された障害物までの距離に応じ、領域原点から遠ざかるに従って明度値が低くなる色画像を撮影画像上に重畳表示させる。車両周辺を撮影して撮影画像を得るカメラは車両の後部に設置されて後方画像を撮影する。この際、リアバンパーの一部も撮影画像に含んで撮影される。また、リアバンパーには超音波センサが設置される。領域原点は、おおよそ超音波センサの設置位置に設定され、撮影画像上においてはほぼリアバンパーが写っている位置となる。この装置は、障害物自体を特定表示して障害物を正確に特定するよりも、おおよその領域を画像上に示した方が、撮影画像を参照したドライバーの運転操作を容易にするという考えの基に考案されたものである（特許文献１：第３〜５段落、第１８〜２３段落、図２〜６等。）。
【０００３】
但し、この周辺状況表示装置においても、ドライバーが障害物までの距離を直感的に
把握することは容易ではない。一般的に、カメラによる撮影画像においては、物体の立体感が低下する。ドライバーは、撮影画像上の障害物の立体感を画像上から把握した上で、撮影画像上において車両と障害物との間の距離感を把握する。上記周辺状況表示装置においては、表示される画像の比較的広範囲にわたって色画像が重畳されるため、この色画像がドライバーによる立体感や距離感の把握の妨げとなる可能性がある。その結果、ドライバーの視認性を低下される可能性もある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２−３４４９５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記背景に鑑み、撮影された画像上において、ドライバーが障害物とその周辺の物体の立体感や、障害物までの距離感を容易且つ直感的に認知できる技術が望まれる。
【課題を解決するための手段】
【０００６】
上記課題に鑑みた、本発明に係る運転支援装置の特徴構成は、
車載カメラにより動画として撮影された車両の周辺の撮影画像を受け取る画像受取部と、
前記撮影画像を表示画像として前記車両内の表示装置に表示させる画像出力部と、
前記車両の周辺に存在する立体物を障害物として、障害物検出装置により検出された前記障害物の位置情報を含む障害物情報を取得する障害物情報取得部と、
前記障害物が前記表示画像内に含まれる場合に、前記障害物情報に基づいて、前記表示画像において前記車両が存在する側から動的に移動する指標を生成して、前記指標を前記表示画像に重畳させるグラフィック制御部と、を備える点にある。
【０００７】
この構成によると、障害物の位置情報を含む障害物情報に基づいて、表示画像上において車両が存在する側から動的に指標が移動する。障害物検出装置により、多少の誤差は生じていたとしても、障害物のおおよその位置は検出されているから、表示画像上において車両が存在する側から概ね障害物が存在する位置へ向かって動的に指標が移動する。従って、障害物が存在する位置が明確に報知される。射影面上に投影された２次元画像上でドライバーが立体物を立体物として認知するには、その物体を知っていて脳において立体の概念を構築する必要がある。障害物が明確に報知されることによって、ドライバーによる立体概念の構築が促進され、ドライバーは、障害物とその周辺の物体の立体感を容易且つ迅速に得ることができる。つまり、無意識のうちに、ドライバーは直感的に立体感を得ることができる。また、指標が動的に移動する時間によって、車両から障害物までの距離感を直感的に認知させることができる。
【０００８】
また、本発明に係る運転支援装置の前記グラフィック制御部は、前記車両が存在する側から前記障害物へ向かって繰り返し、動的に前記指標を移動させると好適である。指標が繰り返し、車両から障害物に向かって移動することによって、ドライバーが障害物を認知する可能性を向上させることが可能となる。
【０００９】
また、本発明に係る運転支援装置の前記グラフィック制御部は、前記車両と前記障害物との距離に応じて異なる表示形態で前記指標を生成して重畳させると好適である。当然ながら、車両と障害物との距離が近いと、車両とその障害物とが接触する可能性が高くなる。車両と障害物との距離に応じて異なる表示形態で指標が生成されることにより、例えば、より車両に近い障害物に対する指標の色を相対的に目立つ色としたり、点滅させて相対的に目立つ表示方法で表示させたりすることができる。その結果、ドライバーに対して迅速に認知させることが好ましい障害物を、指標によって優先して示すことができる。
【００１０】
また、本発明に係る運転支援装置の前記グラフィック制御部は、前記表示画像上を動的に移動する前記指標と前記表示画像上の前記障害物との画像面上での距離に応じて異なる表示形態で前記指標を生成して重畳させると好適である。例えば、指標が、車両から障害物に向かって画像面上を移動する際に、指標を次第に淡くする、あるいは次第に濃くするなどの視覚効果が付加されると、動的な指標がさらに動的となる。その結果、ドライバーは、障害物とその周辺の物体の立体感や、障害物までの距離感をさらに直感的に認知することができる。
【００１１】
また、本発明に係る運転支援装置の前記障害物検出装置は、前記車両の側から送信した送信波と、当該送信波に対する物体からの反射波とに基づいて前記車両の周辺に存在する立体物を前記障害物として検出すると好適である。障害物は、撮影画像を画像認識処理するパッシブ型の検出方法によって検出することも可能である。車両の側から送信波を放ち、障害物からの反射波を受信するアクティブ型の検出方法は、より積極的な障害物検出方法である。画像処理の場合には、背景と障害物との画像におけるコントラストが近い場合には検出精度が低下するが、アクティブ型の場合にはそのような心配はなく、より確実に障害物を検出することが可能となる。また、障害物までの距離も精度よく計測されるので、視認性のよい指標を生成することができる。
【００１２】
ここで、本発明に係る運転支援装置が前記障害物検出装置を複数備え、前記指標が各障害物検出装置に対応して設定されると好適である。障害物検出装置を複数個備えることによって障害物の検出精度が向上する。また、車両から障害物へと動的に移動する指標が各障害物検出装置に対応することで、障害物への送信波が可視化され、障害物に到達するような視覚効果をドライバーに与えることが可能となる。
【００１３】
本発明に係る運転支援装置の前記表示画像は、前記車両の進行方向に沿った方向に消失点を有する透視投影画像であると好適である。一般的な運転支援装置において用いられる表示画像には、車載カメラの搭載位置をほぼそのまま視点とするものもあるが、画像処理によって視点の位置を変換する場合もある。このような視点変換の例としては、車両の高さよりもやや高い位置から斜め下方を見るような画像へ変換するものや、車両の上方から見下ろすようないわゆる俯瞰画像へと変換するものがある。俯瞰画像は、ほぼ路面を射影面とした画像であるから、障害物と車両との距離感は平面的に把握し易いものである。一方、立体物が俯瞰画像へと視点変換されると一般的には非常に歪んだ画像となり、立体感や現実感が損なわれる。車載カメラの搭載位置をほぼそのまま視点とする画像や、車両の高さよりもやや高い位置から斜め下方を見るような画像の場合には、射影面は、路面に対して概ね４５度以上の角度を有する。俯瞰画像とは異なり、障害物と車両との距離感は把握しにくいものの、立体物の立体感や現実感は維持されている。本発明に係る動的な指標は、そのような車載カメラの搭載位置をほぼそのまま視点とする画像や、車両の高さよりもやや高い位置から斜め下方を見るような画像において、良好に障害物までの距離感を容易且つ直感的に認知可能とする。従って、射影面が路面に対して概ね４５度以上の角度を有するこれらの画像のように、表示画像が車両の進行方向に沿った方向に消失点を有する透視投影画像であると、動的な指標によって良好に障害物までの距離感を容易且つ直感的に認知可能とすることができる。
【図面の簡単な説明】
【００１４】
【図１】車両のシステム構成の一例を模式的に示すブロック図
【図２】車両を一部切り欠いて示す車両の斜視図
【図３】超音波センサの模式的な原理ブロック図
【図４】超音波センサのセンサヘッドの構成例を模式的に示す図
【図５】運転支援装置の機能構成の一例を模式的に示すブロック
【図６】表示画像上を指標が動的に移動する一例を示す動画の分解図
【図７】表示画像上を指標が動的に移動する一例を模試的に示す説明図
【図８】表示画像上を指標が動的に移動する一例を模試的に示す説明図
【図９】表示画像上を指標が動的に移動する一例を模試的に示す説明図
【図１０】表示画像上を指標が動的に移動する一例を模試的に示す説明図
【図１１】表示画像の視点と光学中心の方向との関係を模式的に示す図
【発明を実施するための形態】
【００１５】
以下、本発明の実施形態を図面に基づいて説明する。図１及び図２に示すように、本実施形態では、車両に備えられたカメラ１（車載カメラ）により動画として撮影された車両９０の周辺の撮影画像を表示画像としてモニタ装置４（表示装置）に表示する運転支援装置（駐車支援装置・周辺監視装置）を例として説明する。カメラ１はＣＣＤ（charge coupled device）やＣＩＳ（CMOS image sensor）などの撮像素子を用いて、毎秒１５〜３０フレームの２次元画像を時系列に撮影し、デジタル変換して動画データ（撮影画像）をリアルタイムに出力するデジタルカメラである。カメラ１は、広角レンズを備えて構成される。特に、本実施形態においては、水平方向に１４０〜１９０°の視野角が確保されている。カメラ１は、光軸に約３０度程度の俯角を有して車両９０に設置され、車両９０からおおよそ８ｍ程度までの領域を撮影可能である。本実施形態においては、カメラ１として車両９０の後方を撮影するバックカメラを例示しているが、車両９０の前方や側方を撮影するカメラであってもよい。また、車両９０に備えられるカメラ１は１つに限るものではなく、後方と助手席側の側方、後方と助手席側の側方と前方、後方と両側方と前方など、複数のカメラが車両９０に備えられていてもよい。
【００１６】
カメラ１により撮影された画像は、図１に示すように、スーパーインポーズ部２ａ、グラフィック描画部２ｂ、フレームメモリ２ｃなどを有する画像処理モジュール２を介して、モニタ装置４に表示可能である。各フレームの２次元画像は、フレームメモリ２ｃに格納され、フレームごとに画像処理やグラフィックの重畳を施されて表示画像となる。また、画像処理モジュール２は、撮影画像の視点を変換して車両９０のやや上から斜め下方を見た画像として表示画像を生成することも可能である。また、カメラ１が複数個備えられている場合には、画像処理モジュール２は、複数のカメラ１により撮影された撮影画像を合成して、より広い視野の合成画像を生成することも可能である。グラフィック描画部２ｂへの描画指示や、スーパーインポーズ部２ａへのグラフィック重畳指示は、後述するＣＰＵ（central processing unit）５から発せられる。
【００１７】
モニタ装置４は、例えば、ナビゲーションシステムのモニタ装置が兼用される。図１に示すように、モニタ装置４は、表示部４ａと、表示部４ａに形成されたタッチパネル４ｂと、スピーカ４ｃとを有している。表示部４ａは、画像処理モジュール２から提供されるカメラ１の撮影画像や、グラフィック画像、それらが合成された合成画像などを表示する。一例として、表示部４ａは液晶ディスプレイによって構成される。タッチパネル４ｂは、表示部４ａと共に形成され、指などによる接触位置をロケーションデータとして出力することができる感圧式や静電式の指示入力装置である。図１においては、スピーカ４ｃは、モニタ装置４に備えられている場合を例示しているが、スピーカ４ｃはドアの内側など、他の場所に備えられても良い。スピーカ４ｃは、ＣＰＵ５の指示に応じて音声処理モジュール８から提供される音声を出力する。尚、ＣＰＵ５は、単純にブザー４５を介して報知音を鳴らす場合もある。
【００１８】
ＣＰＵ５は、画像認識や進路予想などの高度な演算処理を行い、運転支援装置１０の中核を担う。ＣＰＵ５は、プログラムメモリ５ａに格納されたプログラムやパラメータを利用して各種演算処理を実行する。また、ＣＰＵ５は、必要に応じてワークメモリ５ｂに一時的に撮影画像などを格納して演算を実行する。ここでは、プログラムメモリ５ａやワークメモリ５ｂが、ＣＰＵ５とは別のメモリである例を示しているが、ＣＰＵ５と同一のパッケージ内に集積されていてもよい。運転支援装置１０は、ＣＰＵ５やメモリ、その他の周辺回路と共に、運転支援ＥＣＵ（electronic control unit）９として構成される。本例では、ＣＰＵ５を中核としたが、運転支援装置１０は、ＤＳＰ（digital signal processor）など、他の論理演算プロセッサや論理回路を中核として構成されてもよい。
【００１９】
ＣＰＵ５は、図１において符号５０で示す車内ネットワークを介して種々のシステムやセンサと通信可能に接続されている。本実施形態においては、車内ネットワークとしてＣＡＮ（controller area network）５０を例示している。図１に示すように、運転支援装置１０（ＣＰＵ５）は、車内のパワーステアリングシステム３１やブレーキシステム３７と接続される。これら各システムは、駐車支援装置１０と同様にＣＰＵなどの電子回路を中核として構成され、運転支援ＥＣＵ９と同様に周辺回路と共に構成されたＥＣＵを中核として構成される。
【００２０】
パワーステアリングシステム３１は、電動パワーステアリング（EPS : electric power
steering）システムやＳＢＷ（steer-by-wire）システムである。このシステムは、ドライバーにより操作されるステアリングホイールにアクチュエータ４１によりアシストトルクを付加する。自動操舵機能が搭載された車両では、ステアリングホイールや操舵輪をアクチュエータ４１により駆動することによって自動操舵を行う。ブレーキシステム３７は、ブレーキのロックを抑制するＡＢＳ（anti lock braking system）や、コーナリング時の車両の横滑りを抑制する横滑り防止装置（ESC : electronic stability control）、ブレーキ力を増強させるブレーキアシストなどを有した電動ブレーキシステムや、ＢＢＷ（brake-by-wire）システムである。このシステムは、アクチュエータ４７を介して車両９０に制動力を付加することもできる。
【００２１】
図１において、各種センサの一例として、ステアリングセンサ２１や車輪速センサ２３、シフトレバースイッチ２５、アクセルセンサ２９がＣＡＮ５０に接続されている。ステアリングセンサ２１は、ステアリングホイールの操舵量（回転角度）を検出するセンサであり、例えばホール素子などを用いて構成される。運転支援装置１０は、ドライバーによるステアリングホイールの操舵量や、自動操舵時の操舵量をステアリングセンサ２１から取得して各種制御を実行する。
【００２２】
車輪速センサ２３は、車両９０の車輪の回転量や単位時間当たりの回転数を検出するセンサであり、例えばホール素子などを用いて構成される。運転支援装置１０は、車輪速センサ２３から取得した情報に基づいて車両９０の移動量などを演算し、各種制御を実行する。車輪速センサ２３は、ブレーキシステム３７に備えられている場合もある。ブレーキシステム３７は、左右の車輪の回転差などからブレーキのロックや、車輪の空回り、横滑りの兆候などを検出して、各種制御を実行する。車輪速センサ２３がブレーキシステム３７に備えられている場合には、運転支援装置１０は、ブレーキシステム３７を介して情報を取得する。ブレーキセンサ２７は、ブレーキペダルの操作量を検出するセンサであり、運転支援装置１０は、ブレーキシステム３７を介して情報を取得する。運転支援装置１０は、例えば、自動操舵中にブレーキペダルが踏み込まれたような場合に、自動操舵に不都合な環境下にあるとして自動操舵を中断したり中止したりする制御を行うことができる。
【００２３】
シフトレバースイッチ２５は、シフトレバーの位置を検出するセンサ又はスイッチであり、変位センサなどを用いて構成される。例えば、シフトがリバースにセットされた場合に、運転支援装置１０は支援制御を開始したり、リバースから前進に変更された場合に支援制御を終了させたりすることができる。
【００２４】
また、ステアリングホイールへの操作トルクを検出するトルクセンサ２２は、ドライバーがステアリングホイールを握っているか否かについても検出することが可能である。運転支援装置１０は、自動操舵中にドライバーがステアリングホイールを操作するために強く握った場合などに、自動操舵に不都合な環境下にあるとして自動操舵を中断したり中止したりする制御を行うことができる。また、自動操舵時には、一般的にエンジンのアイドリングによる車両９０のクリーピングが利用される。従って、ドライバーがアクセルを操作したことがアクセルセンサ２９により検出された場合、運転支援装置１０は、自動操舵に不都合な環境下にあるとして自動操舵を中断したり中止したりする制御を行うことができる。
【００２５】
クリアランスソナー３（３Ｌ，３Ｍ，３Ｒ）は本発明の障害物検出装置に相当する。本実施形態では、図２に示すように、クリアランスソナー３は、後部バンパーの中央、および両サイドに計３つ備えられる。また、本実施形態においては、クリアランスソナー３は超音波センサにより構成される。図３の原理図に示すように、超音波センサ３から超音波が送信され、この超音波が物体に当たって生じる反射波を超音波センサ３が受信する。超音波センサ３は、この送信から受信までの時間により、超音波センサ３と物体との間の距離及び位置を検知する。
【００２６】
図３に示すように、超音波センサ３は、送信器３２と受信器３４とを有したセンサヘッド３０と、送信部３aと、受信部３ｂと、検波部３ｃと、演算部３ｄとを有している。送信部３ａは、演算部３ｄから出力される送信指令に基づいて所定の送信タイミングごとに送信器３２に超音波（送信波）を送信させる。受信部３ｂは、送信された超音波に対する物体からの反射波を含み、受信器３ｂに達した超音波（受信波）を電気信号である受信信号として受信する。検波部３ｃは、受信信号から包絡線を取得し、受信波を検波する。演算部３ｄは、送信部３ａを介して所定の送信タイミングごとに送信器３２から送信波を送信させると共に、検波結果から物体の有無や物体までの距離、物体の位置を演算する。
【００２７】
演算部３ｄは、マイクロプロセッサや論理回路群などを中核として構成される。本実施形態においては、演算部３ｄは、Ａ／Ｄコンバータを内蔵したマイクロコンピュータによって構成される。送信部３ａは、バースト波発生回路、発振器、昇圧回路などを有して構成されており、演算部３ｄから出力される送信指令に基づいて、送信器３２を振動させて超音波を送信させる。受信部３ｂは、受信器３４から受け取る電気信号に対してインピーダンス変換や増幅を行うアンプや、所定周波数帯域の信号を通過させるバンドパスフィルタを備えて構成される。検波部３ｃは、バンドパスフィルタの出力を整流し、積分して包絡線を取得する。本実施形態では、検波部３ｃはダイオードとコンデンサとを用いたアナログ回路により構成される。検波部３ｃの出力は、演算部３ｄを構成するマイクロコンピュータにより制御される不図示のサンプルホールド回路を介して、当該マイクロコンピュータに内蔵されるＡ／Ｄコンバータに入力され、デジタル変換される。勿論、この実施形態に限定されることはなく、受信部３ｂの出力をＡ／Ｄ変換し、デジタル信号処理によって整流及び包絡線処理を伴う検波を行ってもよい。
【００２８】
車両９０の周辺に存在する立体物の検出は、公知の三角測量の手法を用いて実現可能である。精度の良い三角測量を実現するためには、受信器３４、受信部３ｂ、検波部３ｃの受信系は複数個備えられることが好ましい。図４には、そのような超音波センサ３のセンサヘッドを模式的に示している。超音波センサ３は、１つの送信器３２と、３つの受信器３４ａ，３４ｂ，３４ｃとの４つの振動部を有している。受信部及び検波部については不図示であるが、超音波センサ２は、３つの受信器３４ａ，３４ｂ，３４ｃに対応する３系統の受信系を備えることにより、３次元的に障害物の位置を検知することができる。
【００２９】
４つの振動部は、正方形の各頂点部に１つの振動部が対応する形態で配置される。この正方形の一辺の長さｄ、即ち隣接する振動部の間隔ｄが小さいほど、物体を検出する際の分解能が高くなる。但し、間隔ｄが狭いと、他の振動部の振動の影響を受け易くなるため、間隔ｄは適切に設定される。また、送信波の１／２波長は、振動部の間隔ｄよりも充分小さい値に設定される。一例として、間隔ｄは１０〜１２ｍｍ程度とすることができる。送信波の周波数が４０ｋＨｚの場合、その波長は８．５ｍｍとなり、１／２波長は４．２５ｍｍであるから、振動部の間隔ｄよりも充分小さい値となり、分解能が確保される。図４においてｘ軸は車幅方向、ｚ軸は超音波センサ２の送信方向の中心軸３０ｃに沿う方向、ｙ軸はｘ軸及びｚ軸に直交する方向の軸である。ｚ軸は、４つの振動部が配置される正方形の重心２０ｃを貫く軸である。
【００３０】
超音波センサ３は、３つの受信器３４ａ，３４ｂ，３４ｃに対応する３系統の受信系を備えて構成される。図４に示すように、３つの受信器３４ａ，３４ｂ，３４ｃの位置は、異なっているため、同一の障害物からの距離も基本的には異なることになる。従って、それぞれの受信系は、この障害物からの反射波を異なった時刻に受信する。３つの受信器３４ａ，３４ｂ，３４ｃの幾何学的な関係は演算部３ｄにとって既知の情報である。従って、演算部３ｄは、それぞれの受信器３４ａ，３４ｂ，３４ｃと障害物などの物体との距離と、３つの受信器３４ａ，３４ｂ，３４ｃの幾何学的な関係とに基づいて、公知の三角測量演算により、物体の方向を求めることができる。
【００３１】
図１に示す各種システムやセンサ、これらの接続形態については一例であり、他の構成や接続形態が採用されてもよい。また、上述したように、センサは直接ＣＡＮ５０に接続されても良いし、種々のシステムを介して接続されてもよい。
【００３２】
さて、本発明に係る運転支援装置１０は、車両９０の周辺の障害物を検出し、カメラ１により撮影した車両の周辺の撮影画像上において、検出された障害物に関する情報をドライバーに報知する車両周辺監視機能を備えている。具体的には、運転支援装置１０は、動画として撮影された撮影画像を表示画像としてモニタ装置４に表示させると共に、障害物検出装置３により検出された障害物の位置情報を取得する。障害物が表示画像内に含まれる場合には、運転支援装置１０は、表示画像において車両９０が存在する側から障害物へ向かって動的に移動する指標を生成して、その指標を表示画像に重畳させる。この指標は、撮影画像（表示画像）の視認性の低下を抑制するため、半透明など透過性を有して生成され、重畳されると好適である。
【００３３】
運転支援装置１０は、図５に示すように運転支援ＥＣＵ９においてハードウェアとソフトウェアとの協働によって実現される各種機能部を有して構成される。運転支援装置１０は、画像受取部１１と、グラフィック制御部１２と、障害物情報取得部１３と、画像出力部１４とを有して構成される。画像受取部１１は、カメラ１により動画として撮影された車両の周辺の撮影画像を受け取る機能部である。画像出力部１４は、撮影画像を表示画像として車両内の表示装置に表示させる機能部である。障害物情報取得部１３は、車両９０の周辺に存在する立体物を障害物として、障害物検出装置４により検出された障害物の位置情報を含む障害物情報を取得する機能部である。グラフィック制御部１２は、障害物が表示画像内に含まれる場合に、表示画像において車両９０が存在する側から障害物へ向かって動的に移動する指標を生成して、その指標を表示画像に重畳させる機能部である。
【００３４】
図６は、表示画像上を指標Ｍが動的に移動する一例を示している。図６（ａ）〜（ｄ）は動画のフレームを表しており、図６は動画の分解図である。各フレームの下方には、車両９０のバンパーが写っている。また、本実施形態では障害物Ｐの例としてコーンを例示している。クリアランスソナー３によって障害物Ｐが検出され、その障害物Ｐが表示画像内に含まれる場合には、動的に移動する指標Ｍが表示画像上に重畳される。即ち、図６（ａ）から（ｂ）、（ｃ）、（ｄ）と順に指標Ｍが、表示画像において車両９０が存在する側から障害物Ｐへ向かって移動する。図６（ａ）〜（ｄ）は動画のフレームであるから、指標Ｍは、表示画像上を動的に移動することになる。図６における破線は動的に移動した指標Ｍの軌跡を表している。表示画像上において障害物Ｐに達した指標Ｍは、再び車両９０側から障害物Ｐへ向かって動的に移動する。即ち、指標Ｍは、車両９０が存在する側から障害物Ｐへ向かって繰り返し、動的に移動する。
【００３５】
このような動作について、運転支援装置１０の各機能部による作用に基づいて説明する。画像受取部１１は、カメラ１により動画として撮影された撮影画像を受け取る。画像受取部１１は、上述したように運転支援ＥＣＵ９において構築される機能部であり、特に画像処理モジュール２を中核として構築される機能部である（図１参照）。
【００３６】
一方、障害物情報取得部１３は、クリアランスソナー３（障害物検出装置）により検出された障害物Ｐの位置情報を含む障害物情報を取得する。尚、この位置情報は、厳密なものではなく、クリアランスソナー３の検出精度や、カメラ１、クリアランスソナー３の車両９０への取り付け精度などに依存する誤差を許容し、概ね障害物Ｐが存在する位置を示すものであってよい。具体的には、ＣＡＮ５０を介してＣＰＵ５が障害物情報を取得する。カメラ１の撮影範囲は、車両９０を基準とした３次元のワールド座標系におけるカメラ１の２次元の射影面として予め定義可能である。障害物Ｐの位置情報は、クリアランスソナー３の車両９０における設置位置との関係によりワールド座標系において同定することが可能である。カメラ１の撮影範囲は概ね表示画像に一致するから、グラフィック制御部１２は、障害物情報に基づいて障害物Ｐが表示画像内のどこに位置するかを同定することができる。
【００３７】
また、グラフィック制御部１２は、障害物情報に基づいて障害物Ｐが表示画像内に含まれるか否かも判定可能である。撮影画像が視点変換、歪み補正などの画像処理を施されたのちに表示画像となる場合にも、予め座標範囲は規定されるからグラフィック制御部１２は、障害物情報に基づいて障害物Ｐが表示画像内に含まれるか否かを判定可能である。クリアランスソナー３の検出範囲と、カメラ１による撮影範囲（表示画像の範囲）とは、通常一致しない。特にクリアランスソナー３の検出範囲がカメラ１の撮影範囲よりも広い場合や、撮影範囲を超えた領域が検出範囲に含まれるような場合には、検出された障害物Ｐが撮影画像上に存在していない可能性がある。そのような場合には、必ずしも障害物Ｐの存在を報知する必要はない。従って、グラフィック制御部１２が、障害物情報に基づいて障害物Ｐが表示画像内に含まれるか否かを判定すると好適である。
【００３８】
グラフィック制御部１２は、障害物Ｐが表示画像内に含まれると判定した場合に、障害物情報に基づいて、表示画像において車両９０が存在する側から概ね障害物Ｐの存在する方向へ動的に移動する指標Ｍを生成する。グラフィック制御部１２は、表示画像の動画を構成する１フレームごとに指標Ｍを重畳させる。画像処理モジュール２を中核として構成される画像出力部１４は、撮影画像に指標Ｍが重畳された画像を表示画像として車両９０内のモニタ装置に表示させる。上述したように、障害物Ｐが表示画像内に含まれていない場合には、必ずしも障害物Ｐの存在を報知する必要はない。しかし、この場合であっても、障害物Ｐの方向へ向かって動的に移動し、障害物Ｐには達することなく表示画像の端で消失する指標Ｍが生成され、重畳されることを妨げるものではない。
【００３９】
説明を容易にするために車両９０及び障害物Ｐが動いておらず、撮影画像に変化がない場合を例として、指標Ｍが重畳される座標の決定方法について説明する。グラフィック制御部１２は表示画像の動画を構成する１つ前のフレームにおいて指標Ｍを重畳させた表示画像上の座標を記録している。従って、新たなフレームにおいては、指標Ｍを重畳させる座標を表示画像上における障害物Ｐの方向へ所定量移動させる。順次、これを繰り返すことによって、各フレームにおいて指標Ｍが重畳される座標が変わり、指標Ｍは車両９０から障害物Ｐの方向へと動的に移動する。指標Ｍが障害物Ｐに達すると、再び指標Ｍの座標は車両９０の側に戻り、以降、車両９０から障害物Ｐへの動的な移動が繰り返される。このような処理を実行するグラフィック制御部１２は、ＣＰＵ５及び画像処理モジュール２を中核として構成される。
【００４０】
尚、一例として、指標Ｍは路面上を移動するものとして表示画像上の座標が決定されると好適である。また、障害物Ｐの表示画像上の座標も立体物としての障害物Ｐが路面と接する位置の路面上の座標であると好適である。車両９０が存在する路面を基準面とすることによって座標の演算が容易となる。また、この際、障害物Ｐの座標を、障害物Ｐの方向への指標Ｍの移動の終点とすれば、どのような障害物Ｐであっても、その足下まで指標Ｍが移動することとなる。その結果、演算を簡略化することができると共に、種々の障害物Ｐに対して一貫性のある表現となり、ドライバーの視認性も向上する。
【００４１】
次に、車両９０及び障害物Ｐの少なくとも一方が動いている場合について説明する。上述したように、本実施形態において運転支援装置１０は、車輪速センサ２３やステアリングセンサ２１などとＣＡＮ５０を介して接続されている。従って、運転支援装置１０は、車両９０が移動しているか否かは勿論のこと、車両９０の移動速度や移動方向を知ることができる。車両９０が移動しており、障害物Ｐが移動していない場合には、グラフィック制御部１２は、車両９０のオドメトリより、指標Ｍを重畳させる座標を演算する。具体的には、グラフィック制御部１２は、車両９０のオドメトリより、先のフレームにおける車両９０と障害物Ｐとの位置関係を予測し、前回のフレームにおける指標Ｍの座標と先のフレームにおける指標Ｍの座標の予測位置とが円滑につながるように、現フレームにおける指標Ｍの座標を決定する。
【００４２】
車両９０が停止しており、障害物Ｐが移動している場合には、グラフィック制御部１２は、障害物Ｐのオドメトリに基づいて同様の演算を実施する。障害物Ｐが移動しているか否かは、クリアランスソナー３による障害物Ｐの検出結果から判定することができる。また、クリアランスソナー３による障害物Ｐの検出結果の蓄積より、障害物Ｐの軌跡及び未来の予想軌跡を演算することができ、それら軌跡及び予想軌跡に基づいて、指標Ｍの座標が決定されると好適である。車両９０及び障害物Ｐの双方が移動している場合には、車両９０のオドメトリと、障害物Ｐのオドメトリとの双方を用いて、指標Ｍの座標が決定される。
【００４３】
指標Ｍは、表示画像上において車両９０から障害物Ｐの方へ移動するが、図６に示すように表示画像における車両９０は、表示画像の下方の一辺の全てに亘っている。従って、指標Ｍは車両９０の種々の位置から移動を開始することが可能である。例えば、図７に示すように、障害物Ｐが車両９０の後方右寄りに存在する場合には、車両９０の右寄りから指標Ｍの移動を開始させてもよい。あるいは、障害物Ｐの位置に拘わらず、車両９０の任意の位置から指標Ｍの移動を開始させてもよい。図８には、障害物Ｐの位置に拘わらず、車両９０の中央から指標Ｍの移動を開始させる場合を例示している。尚、車両９０の後方が撮影された撮影画像に基づく表示画像は、運転席のドライバーがルームミラーによって車両９０の後方を見る場合と同様の視覚効果を提供するために、左右が反転した鏡像としてモニタ装置４に表示されている。
【００４４】
また、グラフィック制御部１２は、クリアランスソナー３により複数の障害物Ｐが検出された場合には、図９に示すように、各障害物Ｐに対して指標Ｍを生成して表示画像に重畳させる。１つのクリアランスソナー３により２つ以上の障害物Ｐを検出することが可能であるから、クリアランスソナー３の設置数には依存されない。各障害物Ｐ（Ｐ１，Ｐ２）に対する指標Ｍ（Ｍ１，Ｍ２）の生成及び重畳の方法については、上述した通りであるので詳細な説明は省略する。図９では、図７と同様に、障害物Ｐの位置に応じて車両９０の側における指標Ｍのスタート位置が異なる場合を例示しているが、図８と同様に障害物Ｐの位置に拘わらず、車両９０の中央から指標Ｍの移動を開始させてもよい。
【００４５】
尚、図１及び図２に示すように、クリアランスソナー３が車両９０に複数個備えられている場合には、障害物Ｐを検出したクリアランスソナー３から出発した指標Ｍが障害物Ｐに向かって移動すると好適である。図１０では、右側に備えられたクリアランスソナー３Ｒにより障害物Ｐ１が検出され、中央に備えられたクリアランスソナー３Ｍにより障害物Ｐ２が検出され、左側に備えられたクリアランスソナー３Ｌにより障害物Ｐ３が検出された場合を例示している。当然ながら、１つの障害物Ｐ（Ｐ１，Ｐ２，Ｐ３）は複数のクリアランスソナー３（３Ｒ，３Ｍ，３Ｌ）により検出される場合がある。各クリアランスソナー３は、障害物Ｐまでの距離も検出するから距離に応じて指標Ｍのスタート位置が決定されると好適である。一例として、グラフィック制御部１２は、障害物Ｐを検出したクリアランスソナー３の内、最もその障害物に近いクリアランスソナー３により検出されたものとして、指標Ｍを生成すると好適である。
【００４６】
図６〜図１０においては、モニタ装置４に表示される表示画像が、カメラ１の車両９０における搭載位置をそのまま視点とした透視投影画像である場合を例とした。カメラ１は車両９０の後部にやや俯角を有して搭載されたカメラであるから、撮影画像は、図１１（ａ）に示すように、車両９０の後方Ｄ２への進行方向Ｄに沿った方向に消失点（vanishing point）を有する透視投影画像である。３次元空間上で平行な複数の直線の投影像は、透視投影画像上の一点で交わるが、消失点とは、その「点」のことである。消失点は、直線上で無限に遠いところにある点、無限遠点（point at infinity）であり、表示画像における観念的な奥行き方向に存在する。図１１（ａ）に示すように、カメラ１の視野（撮影範囲）には路面Ｇによって遮断されない領域を含むので、図６〜図１０に示すように、撮影画像がほぼそのまま表示画像のベースとなっている場合には、表示画像の奥行きの方向は路面Ｇに沿って深く延びることになる。
【００４７】
透視投影画像では深い奥行きが同一平面上、即ち射影面に投影されるために、障害物Ｐと車両９０との距離感が把握しにくいものとなるが、立体物の現実感は良好に維持される。動的な指標Ｍが、そのような画像に付加されることにより、良好に障害物Ｐまでの距離感や立体感をドライバーに直感的に認知させることが可能となる。尚、カメラ１が、俯角３０度を有して設置されている場合には、光軸Ｘと路面Ｇとの成す角度θも３０度である。車両９０の前方に前方Ｄ１を撮影するカメラが搭載される場合も同様である。尚、「車両９０の進行方向Ｄに沿った方向に消失点を有する」とした場合の沿った方向とは、概ね進行方向Ｄに対して４５度程度まで（例えば４５度以下）を指すものとする。また、別の観点からは、「概ね４５度内の範囲で光軸Ｘが車両９０の進行方向Ｄに沿う」と考えてもよい。ここで、光軸Ｘは、カメラ１の実際の光軸に限定されるものではなく、撮影画像を視点変換した画像における仮想光軸も含む。そのような場合も含めると、「射影面における２次元座標の光学中心を通り、射影面に直交する光軸が概ね４５度内の範囲で車両９０の進行方向Ｄに沿う」と考えることもできる。
【００４８】
図１１（ｂ）は、そのような視点変換を例示している。即ち、仮想的にカメラ１の視点を車両９０の高さよりもやや高い位置へと移動させ、その視点から斜め下方（後方）を見るような画像へ撮影画像を変換した際の画像座標系の概念を模式的に示している。この場合でも、仮想的な光軸Ｘと路面Ｇとの成す角度θが概ね４５以内であれば、「車両９０の進行方向Ｄに沿った方向に消失点を有する」と考えて良い。
【００４９】
一方、図１１（ｃ）は、さらに視点を移動させ、車両９０の上方から見下ろすようないわゆる俯瞰画像へと変換する場合の画像座標系の概念を模式的に示している。図１１（ｃ）の例では、仮想的な光軸Ｘと路面Ｇとの成す角度θはほぼ直角である。俯瞰画像は、ほぼ路面Ｇを射影面とした画像であるから、障害物Ｐと車両９０との距離感は平面的に把握し易いものとなる。一方、立体物が俯瞰画像へと視点変換されると一般的には非常に歪んだ画像となり、立体感や現実感は大きく損なわれる。一方、俯瞰画像においては、少なくとも、障害物Ｐと車両９０との距離感は把握し易いものであるから、改めて動的な指標Ｍを俯瞰画像に付加することによる効果は、非俯瞰画像（例えば図１１（ａ）及び（ｂ））に比べて小さい。俯瞰画像に対して、動的な指標Ｍが付加されることを妨げるものではないが、動的な指標Ｍの付加は、奥行き感がある非俯瞰画像において大きな効果を奏することが容易に理解できよう。
【００５０】
以上説明したように、本発明によれば、撮影された画像を用いて、ドライバーに障害物とその周辺の物体の立体感や、障害物までの距離感を容易且つ直感的に認知させる運転支援装置を提供することができる。
【符号の説明】
【００５１】
１：カメラ（車載カメラ）
３：クリアランスソナー、超音波センサ（障害物検出装置）
４：モニタ装置（表示装置）
９０：車両
１１：画像受取部
１２：グラフィック制御部
１３：障害物情報取得部
１４：画像出力部
Ｄ：車両の進行方向に沿った方向
Ｍ：指標
Ｐ：障害物
【特許請求の範囲】
【請求項１】
車載カメラにより動画として撮影された車両の周辺の撮影画像を受け取る画像受取部と、
前記撮影画像を表示画像として前記車両内の表示装置に表示させる画像出力部と、
前記車両の周辺に存在する立体物を障害物として、障害物検出装置により検出された前記障害物の位置情報を含む障害物情報を取得する障害物情報取得部と、
前記障害物が前記表示画像内に含まれる場合に、前記障害物情報に基づいて、前記表示画像において前記車両が存在する側から動的に移動する指標を生成して、前記指標を前記表示画像に重畳させるグラフィック制御部と、を備える運転支援装置。
【請求項２】
前記グラフィック制御部は、前記車両が存在する側から前記障害物へ向かって繰り返し、動的に前記指標を移動させる請求項１に記載の運転支援装置。
【請求項３】
前記グラフィック制御部は、前記車両と前記障害物との距離に応じて異なる表示形態で前記指標を生成して重畳させる請求項１又は２に記載の運転支援装置。
【請求項４】
前記グラフィック制御部は、前記表示画像上を動的に移動する前記指標と前記表示画像上の前記障害物との画像面上での距離に応じて異なる表示形態で前記指標を生成して重畳させる請求項１〜３の何れか一項に記載の運転支援装置。
【請求項５】
前記障害物検出装置は、前記車両の側から送信した送信波と、当該送信波に対する物体からの反射波とに基づいて前記車両の周辺に存在する立体物を前記障害物として検出する請求項１〜４の何れか一項に記載の運転支援装置。
【請求項６】
前記障害物検出装置を複数備え、前記指標は各障害物検出装置に対応して設定される請求項５に記載の運転支援装置。
【請求項７】
前記表示画像は、前記車両の進行方向に沿った方向に消失点を有する透視投影画像である請求項１〜６の何れか一項に記載の運転支援装置。
【請求項１】
車載カメラにより動画として撮影された車両の周辺の撮影画像を受け取る画像受取部と、
前記撮影画像を表示画像として前記車両内の表示装置に表示させる画像出力部と、
前記車両の周辺に存在する立体物を障害物として、障害物検出装置により検出された前記障害物の位置情報を含む障害物情報を取得する障害物情報取得部と、
前記障害物が前記表示画像内に含まれる場合に、前記障害物情報に基づいて、前記表示画像において前記車両が存在する側から動的に移動する指標を生成して、前記指標を前記表示画像に重畳させるグラフィック制御部と、を備える運転支援装置。
【請求項２】
前記グラフィック制御部は、前記車両が存在する側から前記障害物へ向かって繰り返し、動的に前記指標を移動させる請求項１に記載の運転支援装置。
【請求項３】
前記グラフィック制御部は、前記車両と前記障害物との距離に応じて異なる表示形態で前記指標を生成して重畳させる請求項１又は２に記載の運転支援装置。
【請求項４】
前記グラフィック制御部は、前記表示画像上を動的に移動する前記指標と前記表示画像上の前記障害物との画像面上での距離に応じて異なる表示形態で前記指標を生成して重畳させる請求項１〜３の何れか一項に記載の運転支援装置。
【請求項５】
前記障害物検出装置は、前記車両の側から送信した送信波と、当該送信波に対する物体からの反射波とに基づいて前記車両の周辺に存在する立体物を前記障害物として検出する請求項１〜４の何れか一項に記載の運転支援装置。
【請求項６】
前記障害物検出装置を複数備え、前記指標は各障害物検出装置に対応して設定される請求項５に記載の運転支援装置。
【請求項７】
前記表示画像は、前記車両の進行方向に沿った方向に消失点を有する透視投影画像である請求項１〜６の何れか一項に記載の運転支援装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１２−３７９２４（Ｐ２０１２−３７９２４Ａ）
【公開日】平成２４年２月２３日（２０１２．２．２３）
【国際特許分類】
【出願番号】特願２０１０−１７４４８６（Ｐ２０１０−１７４４８６）
【出願日】平成２２年８月３日（２０１０．８．３）
【出願人】（０００００００１１）アイシン精機株式会社 (5,421)
【Ｆターム（参考）】
【公開日】平成２４年２月２３日（２０１２．２．２３）
【国際特許分類】
【出願日】平成２２年８月３日（２０１０．８．３）
【出願人】（０００００００１１）アイシン精機株式会社 (5,421)
【Ｆターム（参考）】
[ Back to top ]