運転支援方法及び運転支援装置
【課題】特定の対象物の画像を良好にピラーに投影することができる運転支援方法及び運転支援装置を提供する。
【解決手段】車両Ｃに取り付けられたカメラを用いて、車両のピラーによって生じる死角領域を撮影し、カメラによって撮影された画像をピラーの内側に投影する運転支援ユニットにおいて、路面標示上に基準点Ｐｃを設定し、基準点Ｐｃを通る位置に仮想平面ＶＰを設定するとともに、カメラから入力した画像データを仮想平面ＶＰ上に座標変換し、仮想平面ＶＰ上に座標変換された画像データをプロジェクタに出力する画像プロセッサを備えた。
【解決手段】車両Ｃに取り付けられたカメラを用いて、車両のピラーによって生じる死角領域を撮影し、カメラによって撮影された画像をピラーの内側に投影する運転支援ユニットにおいて、路面標示上に基準点Ｐｃを設定し、基準点Ｐｃを通る位置に仮想平面ＶＰを設定するとともに、カメラから入力した画像データを仮想平面ＶＰ上に座標変換し、仮想平面ＶＰ上に座標変換された画像データをプロジェクタに出力する画像プロセッサを備えた。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、運転支援方法及び運転支援装置に関する。
【背景技術】
【０００２】
従来より、安全運転を支援する装置として、ドライバーの死角となる領域を車載カメラによって撮影し、ディスプレイ等に表示する車載システムが開発されている。その一つとして、車両のフロントピラーによって生じる死角領域を車載カメラで撮影し、撮影画像をフロントピラーの内側に表示するシステムが提案されている。フロントピラーは、フロントウィンドウやルーフを支える左右の支柱であって、運転席に着座したドライバーからみて斜め前方に位置し、ドライバーの視界を一部遮ってしまうものの、安全性のために所定の太さを確保しなければならない部材である。
【０００３】
上記したシステムは、図１２に示すように、車体に取り付けられ、撮影領域１０６を撮影可能なカメラ１００と、カメラ１００から出力された映像信号を画像処理する画像プロセッサと、フロントピラー１０１内側に画像を投影するプロジェクタ（図示略）等を備えている。これによれば、ドライバー位置１０２から見て、あたかもフロントピラー１０１を透過して外部の背景を視認できるような状態になるので、交差点等において、車両の前側方の道路形状や、前側方にある障害物を確認することができる。
【０００４】
カメラ１００によって撮影された映像信号をピラー１０１に投影する際、カメラ１００の視角とドライバーの視角とが一致しないため、ピラー１０１に投影された画像が、ドライバがウィンドウを介して視認している背景に対して傾いたりずれたりする問題がある。これに対し、特許文献１では、カメラで撮影された画像を、ドライバーの視角に合わせるために設定された仮想平面（仮想スクリーン面）に投影変換している。
【特許文献１】特開２００５−１８４２２５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところが、図１２に示すようにドライバー位置１０２から一定距離の位置に仮想平面１０３を定義すると、その一定距離の位置以外にある道路標示、信号、障害物等は、ピラーに投影画像として投影された際に、適切に表示されないことがある。即ち、図１２に模式的に示すように仮想平面１０３上に視認対象物１０４がある場合、この視認対象物１０４は図１３に示すようにピラー１０１に画像１０４ａとして投影されても歪むことがない。仮想平面１０３以外の位置にある視認対象物１０５は、ピラー１０１に画像１０５ａとして表示されると、ウィンドウ１０７，１０８を介して見える実際の背景に対してずれたり、歪んだりした状態で表示されてしまう。
【０００６】
このため、例えば道路標示や歩行者といった、ドライバーが注視しやすい障害物が仮想平面１０３上にない場合には、それらの障害物が歪んだ状態でピラーに投影されるので、ドライバーが違和感を感じることがある。
【０００７】
本発明は、上記問題点に鑑みてなされたものであり、その目的は、特定の対象物の画像を良好にピラーに投影することができる運転支援方法及び運転支援装置を提供することにある。
【課題を解決するための手段】
【０００８】
上記問題点を解決するために、請求項１に記載の発明は、車両に取り付けられた撮影装
置を用いて、前記車両のピラーによって生じる死角領域を撮影し、前記撮影装置によって撮影された画像を前記ピラーの内側に表示する運転支援方法であって、車両周辺の路面上の物体を描画基準物として設定し、該描画基準物を通る位置に仮想平面を設定するとともに、前記撮影装置から入力した画像データを前記仮想平面に座標変換し、座標変換された前記画像データに基づき、前記ピラーの内側に、前記ピラーによって生じる死角領域に相当する画像を表示することを要旨とする。
【０００９】
請求項２に記載の発明は、車両に取り付けられた撮影装置を用いて、前記車両のピラーによって生じる死角領域を撮影し、前記撮影装置によって撮影された画像を前記ピラーの内側に表示する運転支援装置において、車両周辺の路面上の物体を描画基準物として設定する対象物設定手段と、前記描画基準物を通る位置に仮想平面を設定する仮想平面設定手段と、前記撮影装置から入力した画像データを前記仮想平面上に座標変換する画像処理手段と、前記仮想平面上に座標変換された前記画像データに基づき、前記ピラーの内側に、前記ピラーによって生じる死角領域に相当する画像を表示する出力制御手段とを備えたことを要旨とする。
【００１０】
請求項３に記載の発明は、請求項２に記載の運転支援装置において、前記対象物設定手段は、路面標示又は路面設置物の位置を記憶した地図データに基づき、前記路面標示又は路面設置物を前記描画基準物として設定することを要旨とする。
【００１１】
請求項４に記載の発明は、請求項２に記載の運転支援装置において、路面上に存在する障害物を検出する障害物検出手段をさらに備え、前記対象物設定手段は、前記障害物を前記描画基準物として設定することを要旨とする。
【００１２】
請求項５に記載の発明は、請求項２〜４のいずれか１項に記載の運転支援装置において、前記撮影装置の撮影面を、前記仮想平面と交差する位置に設定することを要旨とする。
【発明の効果】
【００１３】
請求項１に記載の発明によれば、描画基準物を通る位置に仮想平面を設定し、その仮想平面に画像データを座標変換するので、車両が移動しても、描画基準物を常に歪みのない状態でピラー内面に表示することができる。
【００１４】
請求項２に記載の発明によれば、運転支援装置は、描画基準物を通る位置に仮想平面を設定し、その仮想平面に画像データを座標変換するので、車両が移動しても、描画基準物の画像を常に歪みのない状態でピラー内面に表示することができる。
【００１５】
請求項３に記載の発明によれば、路面標示又は路面設置物を描画基準物として設定するので、路面標示又は路面設置物の画像を歪みのない状態でピラーに表示することができる。また、地図データに基づき予め描画基準物の位置が取得できるため、座標変換を行うタイミングが遅くならず、描画基準物に接近した際に、その描画基準物を歪みなく表示できる。
【００１６】
請求項４に記載の発明によれば、路面上に存在する障害物を描画基準物として設定するので、ドライバーが注視する必要のある歩行者等を歪ませることなく表示することができる。
【００１７】
請求項５に記載の発明によれば、撮影装置の撮影面は仮想平面と交差する位置に設定されるので、撮影装置はその仮想平面上の物体、即ち描画基準物にピントを合わせて撮影することができる。このため、描画基準物をピラー内面に明瞭に表示できる。
【発明を実施するための最良の形態】
【００１８】
以下、本発明を具体化した一実施形態を図１〜図１０に従って説明する。図１は、自動車に実装された運転支援システム１の構成を説明するブロック図である。
運転支援システム１は車両Ｃ（図３参照）に搭載され、図１に示すように、運転支援装置としての運転支援ユニット２、ディスプレイ３、投影装置としてのプロジェクタ４、スピーカ５、撮像装置としてのカメラ６、第１〜第３位置検出センサ８ａ〜８ｃを備えている。
【００１９】
運転支援ユニット２は、制御部１０、不揮発性のメインメモリ１１、ＲＯＭ１２、ＧＰＳ受信部１３を備えている。制御部１０は、ＣＰＵ、ＭＰＵ又はＡＳＩＣ等であって、ＲＯＭ１２に格納された運転支援プログラムに従って、各処理の主制御を行う。メインメモリ１１は、制御部１０の演算結果を一時記憶する。
【００２０】
制御部１０は、ＧＰＳ衛星からＧＰＳ受信部１３が受信した、衛星軌道情報及び時刻情報を取得して、電波航法により自車両の絶対位置を算出する。また、制御部１０は、運転支援ユニット２の車両側Ｉ／Ｆ部１４を介して、車両Ｃに設けられた車速センサ３０及びジャイロ３１から車速パルス、角速度をそれぞれ入力する。そして、制御部１０は、車速パルス及び角速度を用いる自律航法により、基準位置からの相対位置を算出し、電波航法で算出した絶対位置と組み合わせて自車位置を特定する。
【００２１】
また、運転支援ユニット２は、地理データ記憶部１５を備えている。地理データ記憶部１５は、内蔵ハードディスク、又は光ディスク等の外部記憶媒体である。この地理データ記憶部１５には、目的地までの経路を探索するための地図データとしての各経路ネットワークデータ（以下、経路データ１６という）と、ディスプレイ３に地図画面３ａを出力するための地図データとしての各地図描画データ１７とが記憶されている。
【００２２】
経路データ１６は、全国を区画したメッシュ内の道路に関するデータである。経路データ１６は、各メッシュの識別子、交差点及び道路の端点を示すノードに関するノードデータ、各ノードを接続する各リンクの識別子、リンクコスト等のデータを有している。制御部１０は、この経路データ１６を用いて、目的地までの推奨経路を探索したり、車両Ｃが交差点等の案内地点に接近しているか否かを判断する。
【００２３】
また、地図描画データ１７は、道路形状、背景等を描画するためのデータであって、全国の地図を分割したメッシュ毎に格納されている。この地図描画データ１７には、中央線、路側帯を区画する白線、ゼブラゾーン、横断歩道等の道路標示と、信号機等の路面設置物とに関するデータが格納されている。具体的には道路標示の種類、道路標示の位置座標、路面設置物の種類、路面設置物の位置座標等が、各地点の交差点やカーブと関連付けられて記憶されている。
【００２４】
図１に示すように、運転支援ユニット２は、地図描画プロセッサ１８を備えている。地図描画プロセッサ１８は、自車位置周辺の地図を描画するための地図描画データ１７を地理データ記憶部１５から読出して、地図出力用のデータを生成し、地図出力用データに基づく地図画面３ａをディスプレイ３に表示する。また、地図描画プロセッサ１８は、この地図画面３ａに、自車位置を示す自車位置指標３ｂを重畳する。
【００２５】
また、運転支援ユニット２は、音声プロセッサ２４を備えている。音声プロセッサ２４は、図示しない音声ファイルを有し、例えば目的地までの経路を案内する音声をスピーカ５から出力する。さらに、運転支援ユニット２は、外部入力Ｉ／Ｆ部２５を備えている。外部入力Ｉ／Ｆ部２５は、ディスプレイ３に隣接された操作スイッチ２６、タッチパネル式のディスプレイ３から、ユーザの入力操作に基づいた入力信号を入力し、制御部１０に
出力する。
【００２６】
また、運転支援ユニット２は、検出手段を構成するセンサＩ／Ｆ部２３を備えている。センサＩ／Ｆ部２３は、第１〜第３位置検出センサ８ａ〜８ｃから、検出信号を入力する。第１〜第３位置検出センサ８ａ〜８ｃは、超音波センサから構成され、図２に示すように、車室内であって、フロントシートＦに着座したドライバーＤの周囲に取り付けられている。第１位置検出センサ８ａは、ルームミラー（図示略）近傍に取り付けられ、ドライバーＤの頭部Ｄ１とほぼ同じ高さか、若干高い位置に位置している。
【００２７】
第２位置検出センサ８ｂは、ドアウィンドウＷ２（図３参照）の上端付近に、ドライバーＤの斜め前方右側に位置するように取り付けられている。第３位置検出センサ８ｃは、フロントシートＦの左側であって、ルーフＲの内側に取り付けられている。各位置検出センサ８ａ〜８ｃの図示しないセンサヘッドから発信された超音波は、ドライバーＤの頭部Ｄ１に反射する。各位置検出センサ８ａ〜８ｃは、超音波を発信してから反射波を受信するまでの時間を計測し、その計測時間に基づいて、頭部Ｄ１までの各相対距離をそれぞれ算出する。算出された各相対距離は、センサＩ／Ｆ部２３を介して制御部１０に出力される。尚、各位置検出センサ８ａ〜８ｃからの信号に基づいて、センサＩ／Ｆ部２３が頭部Ｄ１までの相対距離を算出するようにしてもよい。
【００２８】
制御部１０は、運転席に着座した状態で、標準的な体型のドライバーＤの頭部Ｄ１が移動し得る頭部移動範囲と、第１〜第３位置検出センサ８ａ〜８ｃが検出した各相対距離とに基づき、頭部中心位置Ｄｃを三角測量等を用いて、公知の方法で取得する。
【００２９】
また、図１に示すように、運転支援ユニット２は、映像データ入力部２２と、この映像データ入力部２２から画像データＩＭを入力する、対象物設定手段、仮想平面設定手段、画像処理手段及び出力制御手段としての画像プロセッサ２０を備えている。映像データ入力部２２は、制御部１０の制御に基づいて、車両Ｃに設けられたカメラ６を駆動して、カメラ６によって撮影された画像データＩＭを入力する。
【００３０】
カメラ６は、カラー画像を撮像するカメラであって、レンズ、ミラー等から構成される光学機構と、ＣＣＤ撮像素子（いずれも図示せず）、自動焦点機構等を備えている。図３に示すように、このカメラ６は、車両ＣのフロントピラーＰ（以下、単にピラーＰという）の外側に、光軸を車両Ｃの前方に向けて取り付けられている。本実施形態では、車両右側に配置された運転席に合わせ、カメラ６は、運転席側の右側のピラーＰに取り付けられる。このカメラ６は、車両Ｃの前方右側と、車両Ｃの右側の一部を含む撮影領域Ｚ１の背景を撮像する。
【００３１】
運転支援ユニット２の画像プロセッサ２０は、映像データ入力部２２を介して、カメラ６から画像データＩＭを取得する。また、画像プロセッサ２０は、取得した画像データＩＭのうち、ピラーＰによって遮られた領域をトリミングするとともに、画像の歪みを解消するための画像処理を行う。画像処理されたデータは、車室内に設けられたプロジェクタ４（図７参照）に出力され、プロジェクタ４はピラーＰによって遮られた画像をピラーＰの内側に投影する。
【００３２】
詳述すると、制御部１０が、経路データ１６に基づいて車両Ｃが交差点やカーブに接近したと判断すると、画像プロセッサ２０は、交差点やカーブでドライバーＤが注視しやすい視認対象物の座標を取得する。本実施形態では、画像プロセッサ２０は、地図描画データ１７に基づいて、描画基準物としての横断歩道Ｚの座標を取得する。例えば、図４に示すように、地図描画データ１７に基づき、車両前側方に標示された横断歩道Ｚの基準点Ｐｃの座標を取得する。基準点Ｐｃは、予め地図描画データ１７に記憶されているか、若し
くは地図描画データ１７に記憶された横断歩道Ｚ全体の座標から画像プロセッサ２０が設定する。
【００３３】
基準点Ｐｃの座標を取得すると、基準点Ｐｃの座標と、第１〜第３位置検出センサ８ａ〜８ｃが検出したドライバーＤの頭部中心位置Ｄｃとに基づいて、仮想平面ＶＰの位置を決定する。仮想平面ＶＰは、基準点Ｐｃが設定された横断歩道Ｚの歪みを補正するための平面であって、ドライバーＤの視点を原点とし、ドライバーＤの視角に合わせて設定した仮想面である。この仮想平面ＶＰ上にある物体は、カメラ６によって撮影された画像データＩＭを仮想平面ＶＰ上に座標変換した際に、ずれたり傾いたりすることなく表示される性質がある。図５に示すように、画像プロセッサ２０は、この仮想平面ＶＰを、基準点Ｐｃを含み、頭部中心位置Ｄｃと基準点Ｐｃとを結んだ直線Ｌａに対して垂直になる位置に設定する。
【００３４】
図４に示すように、車両Ｃが、仮想平面ＶＰを設定した初期位置ＦＰから、図中２点鎖線で示す位置に移動し、頭部中心位置Ｄｃと横断歩道Ｚの基準点Ｐｃとの相対距離ΔＬが変化しても、画像プロセッサ２０は、基準点Ｐｃを通り、且つ直線Ｌａに対して垂直となる位置に仮想平面ＶＰを設定する。即ち、仮想平面ＶＰは、車両Ｃの前進に伴って移動させずに、常に基準点Ｐｃを通る位置に設定する。図４に示すように、車両が旋回している場合、頭部中心位置Ｄｃと基準点Ｐｃとを結ぶ直線Ｌａの傾きが変わるので、その変化に伴い、仮想平面ＶＰもその角度のみを変更する。
【００３５】
また、画像プロセッサ２０は、仮想平面ＶＰの位置に応じてカメラ撮影面ＣＰを決定する。図５に示すように、カメラ撮影面ＣＰは、カメラ６の光軸ＡＸに対して垂直な面である。画像プロセッサ２０は、このカメラ撮影面ＣＰを、仮想平面ＶＰと交差する位置に設定する。仮想平面ＶＰと交差する面が複数設定可能な場合には、基準点Ｐｃ付近で交差する面を選択する。
【００３６】
カメラ撮影面ＣＰを設定すると、画像プロセッサ２０は、映像データ入力部２２を介して、カメラ撮影面ＣＰ上にカメラ６のピントを合わせて撮影し、画像データＩＭを取得する。
【００３７】
画像データＩＭを取得すると、その画像データＩＭのうち、ピラーＰによって遮られる死角部分をトリミングする。図５に示すように、画像プロセッサ２０は、ドライバーＤの頭部中心位置ＤｃとピラーＰの各端点Ｐ１，Ｐ２を通る接線Ｌ１，Ｌ２を算出し、これらの接線Ｌ１，Ｌ２の内側を死角領域Ａとする。また、画像データＩＭのうち、死角領域Ａに相当する領域をトリミングして、ピラー死角データＢＤを生成する。
【００３８】
ピラー死角データＢＤを取得すると、画像プロセッサ２０は、ピラー死角データＢＤを、基準点Ｐｃを通る仮想平面ＶＰに投影変換する。この投影変換は、カメラ撮影面ＣＰのうち、死角領域Ａ内にある死角部分ＣＢの各画素を、仮想平面ＶＰ上の各画素に座標変換する処理であって、公知の座標変換を用いることができる。
【００３９】
さらに、画像プロセッサ２０は、仮想平面ＶＰに投影変換した画像を、ＲＯＭ１２に記憶されたピラー形状４１（図１参照）に基づき、ピラーＰの内側面Ｐａを含むピラー面上に投影変換する。ピラー面は、ＲＯＭ１２に記憶されたピラー形状４１（図１参照）の３次元座標に基づき設定することができる。ピラー形状４１は、ピラーＰの外形をパターン又は座標で示したデータであって、車種によって異なるデータである。画像プロセッサ２０は、このピラー形状４１に基づき、ピラーＰの外形を示す長さ方向、車幅方向及び鉛直方向の３次元の座標を取得することができる。また、ピラーの幅や長さも、３次元の座標を用いたデータとして取得することができる。
【００４０】
続いて、画像プロセッサ２０は、ピラーＰの３次元形状に合わせて変換された上記画像を車内に設けられたプロジェクタ４により投影するために、該画像をプロジェクタ４の位置に合わせて座標変換する。即ち、プロジェクタ４から出力された光がピラー内側面に入射する角度によって、ピラー内側面に表示される画像は、歪んだり、拡大又は縮小される。従って、例えば、投影変換した上記画像の各画素の座標と、プロジェクタ４に対して出力する画像の各画素の座標とを予め関連付けたマップ等をメインメモリ１１等に予め格納しておき、該マップに基づき、投影変換した画像を、プロジェクタ４への出力画像としてさらに座標変換する。そして、座標変換した画像を、プロジェクタ４に対して出力するための投影データＰＤとする。
【００４１】
また、画像プロセッサ２０は、投影データＰＤに対し、ＲＯＭ１２に記憶されたマスクパターン４０（図１及び図６参照）に基づき、プロジェクタ４に出力するための映像信号を生成する。図６に示すように、マスクパターン４０は、投影データＰＤにマスクをかけるためのデータであって、ピラーＰの内面形状に沿った画像表示領域４０ａと、マスク４０ｂとから構成されている。画像プロセッサ２０は、画像表示領域４０ａの領域には、投影データＰＤを読み込み、マスク４０ｂの領域は、プロジェクタ４の非表示にするための出力用データＯＤを生成する。出力用データＯＤを生成すると、画像プロセッサ２０は、その出力用データＯＤをプロジェクタ４に出力する。
【００４２】
プロジェクタ４は、図７に示すように、ルーフＲの内側であって、ドライバーＤが着座するフロントシートＦの鉛直方向上方付近に、車両Ｃの右側のピラーＰの内面に画像を投影可能に取り付けられている。図８に示すように、ピラーＰの内側面Ｐａには、ピラーＰの形状に合わせて切断されたスクリーンＳＣが貼着されている。プロジェクタ４の焦点は、このスクリーンＳＣに合わせて調整されている。尚、ピラーＰの内側面Ｐａがプロジェクタ４から出力された投影光を受光して鮮明な画像を表示できる材質及び形状からなる場合には、スクリーンＳＣは省略してもよい。
【００４３】
図９に示すように、プロジェクタ４は、ピラーＰのスクリーンＳＣに対して投影光Ｌを出射し、スクリーンＳＣに画像を投影する。また、そのスクリーンＳＣの周囲のフロントウィンドウＷ１又はドアウィンドウＷ２には、マスク４０ｂにより画像が投影されないようになっている。
【００４４】
次に、本実施形態の処理手順について、図１０に従って説明する。まず運転支援ユニット２の制御部１０は、ピラーＰの内側に背景画像を投影する投影モードの開始を待機する（ステップＳ１）。例えば、タッチパネル、操作スイッチ２６が操作され、制御部１０が外部入力Ｉ／Ｆ部２５を介して、モード開始要求を受信した場合に、投影モードを開始すると判断する。或いは、イグニッションモジュール（図示略）からのオン信号に基づき、投影モードを開始すると判断してもよい。
【００４５】
投影モードを開始すると判断すると（ステップＳ１においてＹＥＳ）、制御部１０は、経路データ１６に基づき、車両Ｃが交差点又はカーブに接近するのを待機する（ステップＳ２）。具体的には、制御部１０は、車両Ｃの現在位置が、Ｔ字路を含む交差点又は所定の曲率以上のカーブから所定距離範囲（例えば２００ｍ）内に進入したと判断すると、交差点又はカーブに接近したと判断する。
【００４６】
交差点又はカーブに接近したと判断すると（ステップＳ２においてＹＥＳ）、制御部１０は、各位置検出センサ８ａ〜８ｃを用いて、ドライバーＤの頭部位置を検出する（ステップＳ３）。このとき、制御部１０は、センサＩ／Ｆ部２３を介して、各位置検出センサ８ａ〜８ｃから、頭部Ｄ１までの各相対距離を取得する。そして、各相対距離を用いて、
三角測量の原理とに基づき、頭部中心位置Ｄｃを特定する。
【００４７】
頭部中心位置Ｄｃを算出すると、画像プロセッサ２０は、上記したように、仮想平面ＶＰを設定する（ステップＳ４）。車両Ｃが交差点Ｊ（図４参照）に接近しているときは、横断歩道Ｚの基準点Ｐｃを地図描画データ１７に基づき取得して、その基準点Ｐｃを通る位置に仮想平面ＶＰを設定する。横断歩道Ｚが無い場合には、車両前方の停止線等の道路標示でもよい。車両Ｃがカーブに接近しているときは、道路に標示された中央線のうち、曲率が大きい位置に基準点Ｐｃを取るようにしてもよい。
【００４８】
さらに、画像プロセッサ２０は、カメラ撮影面ＣＰを設定する（ステップＳ５）。このとき、カメラ撮影面ＣＰ及び仮想平面ＶＰの交点が、基準点Ｐｃ上に重なるか、若しくは基準点Ｐｃ付近を通るようにカメラ撮影面ＣＰを設定する。カメラ撮影面ＣＰと仮想平面ＶＰが基準点Ｐｃ上に重ならない又はその交点が基準点Ｐｃ付近にならない場合には、少なくともカメラ撮影面ＣＰが仮想平面ＶＰと交差するように設定する。また、画像プロセッサ２０の設定したカメラ撮影面ＣＰに基づき、カメラ６は、ピントをカメラ撮影面ＣＰに合わせて撮影を行い、画像データＩＭを取得する（ステップＳ６）。
【００４９】
また、画像プロセッサ２０は、上記したように、ピラーＰによって遮られる死角領域Ａを設定し、画像データＩＭのうち、その死角領域Ａに相当する領域を抽出し（ステップＳ７）、ピラー死角データＢＤを生成する。
【００５０】
ピラー死角データＢＤを生成すると、画像プロセッサ２０は、ピラー死角データＢＤに対し画像処理を行う（ステップＳ８）。具体的には、上記したように、ピラー死角データＢＤを、ステップＳ４で設定した仮想平面ＶＰに投影変換する。さらに、仮想平面ＶＰに投影変換した画像を、ＲＯＭ１２に記憶されたピラー形状４１に合わせて変換し、変換した該画像をプロジェクタ４により投影するために、プロジェクタ４の位置に合わせて座標変換して、投影データＰＤを生成する。また、投影データＰＤ及びマスクパターン４０に基づき、ピラーＰ以外の領域をマスクした出力用データＯＤを生成する。
【００５１】
出力用データＯＤを生成すると、画像プロセッサ２０は、その出力用データＯＤをプロジェクタ４に出力する。プロジェクタ４は、図９に示すように、ピラーＰの内側面Ｐａに設けられたスクリーンＳＣに、ピラーＰによって遮られた領域の画像を投影する（ステップＳ９）。スクリーンＳＣに表示された投影画像は、予め横断歩道Ｚ等の道路標示に合わせた仮想平面ＶＰに投影変換されているので、その道路標示は、フロントウィンドウＷ１及びドアウィンドウＷ２を介して視認される背景と、ずれたり傾いたりすることなく表示される。このため、少なくとも交差点Ｊ又はカーブを通過する際に注視しがちな道路標示を歪むことなくピラーＰに投影するので、ドライバーは違和感を感じることなく、ピラーＰによって遮られた画像を視認することができる。
【００５２】
画像プロセッサ２０によりピラーＰに画像を投影すると、制御部１０は、車両Ｃが、交差点Ｊ又はカーブから離れたか否かを判断する（ステップＳ１０）。車両Ｃが、交差点Ｊ又はカーブ内又はその付近にあると判断すると（ステップＳ１０においてＮＯ）、ステップＳ３に戻り、頭部位置検出（ステップＳ３）から画像投影（ステップＳ９）までを繰り返す。即ち、車両Ｃが交差点Ｊ又はカーブを離れるまで、ピラーＰによって遮られた画像がピラーＰに投影される。
【００５３】
車両Ｃが交差点Ｊ又はカーブから離れたと判断すると（ステップＳ１０においてＹＥＳ）、制御部１０は、投影モードを終了するか否かを判断する（ステップＳ１１）。終了トリガは、タッチパネルや操作スイッチ２６の操作によるモード終了要求、又はイグニッションモジュールのオフ信号である。これらの信号を入力すると、投影モード終了であると
判断して（ステップＳ１１においてＹＥＳ）、処理を終了する。
【００５４】
上記実施形態によれば、以下のような効果を得ることができる。
（１）上記実施形態では、画像プロセッサ２０は、車両Ｃが交差点又はカーブに接近した際に、仮想平面ＶＰを、例えば道路標示といった対象物の基準点Ｐｃを通る位置に常に設定するようにした。そして、その仮想平面ＶＰにカメラ６が撮影した画像データＩＭを投影変換するようにした。従って、車両Ｃが移動しても、ドライバーが注視する対象物を常に歪みのない状態でピラーＰの内側面Ｐａに表示できるので、ドライバーに違和感を感じさせないようにすることができる。
【００５５】
（２）上記実施形態では、地理データ記憶部に記憶された地図描画データ１７に基づき、道路標示等の対象物の座標を取得し、その対象物に基準点Ｐｃを設定するようにした。このため、運転支援システム１が有する地図描画データ１７を利用して予め基準点Ｐｃを設定できるので、車両Ｃが交差点Ｊ又はカーブに進入開始する時点から、歪みのない画像をピラーＰに表示できる。
【００５６】
（３）上記実施形態では、画像プロセッサ２０は、仮想平面ＶＰと交差する位置にカメラ撮影面ＣＰを設定するようにした。このため、仮想平面ＶＰ上の道路標示等の対象物にピントを合わせて撮影できるので、その道路標示をコントラストが高い状態で表示することができる。
【００５７】
尚、上記実施形態は以下のように変更してもよい。
・上記実施形態では、地図描画データ１７に基づき道路標示の基準点Ｐｃを設定するようにしたが、カメラ６から取得した画像データＩＭに対して白線認識処理を行って、道路標示の白線（又は黄線）を検出するようにしてもよい。そして、検出した白線の端や中央に、基準点Ｐｃを設定するようにしてもよい。
【００５８】
・上記実施形態では、仮想平面ＶＰを横断歩道Ｚ等の道路標示に合わせるようにしたが、仮想平面ＶＰの位置を合わせる対象物は適宜変更してもよい。例えば、信号機等の路面設置物に仮想平面ＶＰを合わせるようにしてもよい。また例えば、車両Ｃに車両前方の障害物までの相対距離を計測する、障害物検出手段としてのレーダ等を搭載し、歩行者、自転車等の対象障害物が検出された場合に、仮想平面ＶＰを障害物に合わせるようにしてもよい。尚、障害物が、例えば歩行者、自転車であるか否かの判定は、特徴検出等の公知の画像処理を用いる。
【００５９】
・横断歩道等の路面標示の位置を示すデータは、例えば、路車間通信又は車車間通信、又はそれらのデータを配信するサーバから取得するようにしてもよい。また、歩行者等の障害物の位置を示すデータも、他車両等の外部装置から受信するようにしてもよい。
【００６０】
・上記実施形態では、音声案内を用いない場合には、音声プロセッサ２４を省略しても良い。
・上記実施形態では、カメラ撮影面ＣＰを、仮想平面ＶＰに交差するように設定したが、図１１に示すように、仮想平面ＶＰの手前に設定するようにしてもよい。例えば、仮想平面ＶＰのうちピラーＰによって遮られる死角部分Ｂ１の端点Ｂ２，Ｂ３と、カメラ６の視点Ｖとによって囲まれる領域Ｂ内であって、仮想平面ＶＰとカメラ６との間にカメラ撮影面ＣＰ２を設定するようにしても良い。この場合、画像データＩＭのうち、ピラーＰによって遮られる領域Ｂに相当する部分を抽出する。そして、抽出したデータを、カメラ撮影面ＣＰ２から仮想平面ＶＰに投影変換する。このようにしても、基準点Ｐｃにある道路標示、歩行者等の視認対象物を歪ませることなくピラーＰに表示することができる。
【００６１】
・上記実施形態では、プロジェクタ４によってピラーＰの内側面Ｐａに画像を投影するようにしたが、ピラーＰの内側に薄型の表示手段としてのディスプレイを設け、画像プロセッサ２０からそのディスプレイに出力用データＯＤを出力しても良い。
【００６２】
・上記実施形態では、カメラ６はフロントピラーＰの外側に設け、フロントピラーＰによって遮られる領域を撮影するようにしたが、車両後方や側方等、その他のピラーに設けるようにしてもよい。例えば、カメラ６を車両後方のリヤピラー外側に取り付け、そのカメラ６によってリヤピラーにより遮られる領域を撮影するようにしてもよい。この場合、プロジェクタ４を、リヤピラー内面に画像を投影可能な位置に設け、画像プロセッサ２０は、カメラ６によって撮影された画像データに基づき、リヤピラーによって遮られた死角領域の画像をリヤピラー内面に投影する。これにより、例えば車両Ｃが駐車枠に向かって後退する場合に、ドライバーがリヤピラーによって遮られた駐車枠を投影画像にて確認することができるので、駐車操作を行いやすくすることができる。また、複数のピラーＰの外側に１つずつカメラ６を設けるとともに、プロジェクタ４をカメラ６の位置に応じて複数台設けるようにしてもよい。さらに、一つのピラーＰに複数のカメラ６を設けるようにしてもよい。
【００６３】
・上記実施形態では、プロジェクタ４を車両ＣのルーフＲの内側に設けるようにしたが、プロジェクタ４の位置はピラーＰの内面に画像を投影できる位置であればよく、例えばダッシュボードの上方（略中央）等、その他の位置に設けるようにしてもよい。
【図面の簡単な説明】
【００６４】
【図１】本実施形態の運転支援システムのブロック図。
【図２】ドライバーの頭部を検出する位置検出センサの説明図。
【図３】カメラの取付位置の説明図。
【図４】仮想平面の設定位置の説明図。
【図５】仮想平面及びカメラ撮影面の説明図。
【図６】マスクパターンの説明図。
【図７】プロジェクタの位置を説明する車両の側面図。
【図８】画像が投影されるピラー内面を説明する正面図。
【図９】プロジェクタの投影方向を説明する説明図。
【図１０】本実施形態の処理手順の説明図。
【図１１】別例のカメラ撮影面の説明図。
【図１２】従来の仮想平面位置の説明図。
【図１３】従来のピラー投影画像の説明図。
【符号の説明】
【００６５】
１…運転支援システム、２…運転支援装置としての運転支援ユニット、４…投影装置としてのプロジェクタ、６…撮影装置としてのカメラ、１６…地図データとしての経路データ、１７…地図データとしての地図描画データ、２０…対象物設定手段、仮想平面設定手段、画像処理手段及び出力制御手段としての画像プロセッサ、Ａ…死角領域、Ｂ…死角領域としての死角部分、Ｃ…車両、ＣＰ…撮影面としてのカメラ撮影面、ＩＭ…画像データ、Ｐ…ピラー、Ｐｃ…描画基準物としての基準点、ＶＰ…仮想平面、Ｚ…路面上の物体、描画基準物としての横断歩道。
【技術分野】
【０００１】
本発明は、運転支援方法及び運転支援装置に関する。
【背景技術】
【０００２】
従来より、安全運転を支援する装置として、ドライバーの死角となる領域を車載カメラによって撮影し、ディスプレイ等に表示する車載システムが開発されている。その一つとして、車両のフロントピラーによって生じる死角領域を車載カメラで撮影し、撮影画像をフロントピラーの内側に表示するシステムが提案されている。フロントピラーは、フロントウィンドウやルーフを支える左右の支柱であって、運転席に着座したドライバーからみて斜め前方に位置し、ドライバーの視界を一部遮ってしまうものの、安全性のために所定の太さを確保しなければならない部材である。
【０００３】
上記したシステムは、図１２に示すように、車体に取り付けられ、撮影領域１０６を撮影可能なカメラ１００と、カメラ１００から出力された映像信号を画像処理する画像プロセッサと、フロントピラー１０１内側に画像を投影するプロジェクタ（図示略）等を備えている。これによれば、ドライバー位置１０２から見て、あたかもフロントピラー１０１を透過して外部の背景を視認できるような状態になるので、交差点等において、車両の前側方の道路形状や、前側方にある障害物を確認することができる。
【０００４】
カメラ１００によって撮影された映像信号をピラー１０１に投影する際、カメラ１００の視角とドライバーの視角とが一致しないため、ピラー１０１に投影された画像が、ドライバがウィンドウを介して視認している背景に対して傾いたりずれたりする問題がある。これに対し、特許文献１では、カメラで撮影された画像を、ドライバーの視角に合わせるために設定された仮想平面（仮想スクリーン面）に投影変換している。
【特許文献１】特開２００５−１８４２２５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところが、図１２に示すようにドライバー位置１０２から一定距離の位置に仮想平面１０３を定義すると、その一定距離の位置以外にある道路標示、信号、障害物等は、ピラーに投影画像として投影された際に、適切に表示されないことがある。即ち、図１２に模式的に示すように仮想平面１０３上に視認対象物１０４がある場合、この視認対象物１０４は図１３に示すようにピラー１０１に画像１０４ａとして投影されても歪むことがない。仮想平面１０３以外の位置にある視認対象物１０５は、ピラー１０１に画像１０５ａとして表示されると、ウィンドウ１０７，１０８を介して見える実際の背景に対してずれたり、歪んだりした状態で表示されてしまう。
【０００６】
このため、例えば道路標示や歩行者といった、ドライバーが注視しやすい障害物が仮想平面１０３上にない場合には、それらの障害物が歪んだ状態でピラーに投影されるので、ドライバーが違和感を感じることがある。
【０００７】
本発明は、上記問題点に鑑みてなされたものであり、その目的は、特定の対象物の画像を良好にピラーに投影することができる運転支援方法及び運転支援装置を提供することにある。
【課題を解決するための手段】
【０００８】
上記問題点を解決するために、請求項１に記載の発明は、車両に取り付けられた撮影装
置を用いて、前記車両のピラーによって生じる死角領域を撮影し、前記撮影装置によって撮影された画像を前記ピラーの内側に表示する運転支援方法であって、車両周辺の路面上の物体を描画基準物として設定し、該描画基準物を通る位置に仮想平面を設定するとともに、前記撮影装置から入力した画像データを前記仮想平面に座標変換し、座標変換された前記画像データに基づき、前記ピラーの内側に、前記ピラーによって生じる死角領域に相当する画像を表示することを要旨とする。
【０００９】
請求項２に記載の発明は、車両に取り付けられた撮影装置を用いて、前記車両のピラーによって生じる死角領域を撮影し、前記撮影装置によって撮影された画像を前記ピラーの内側に表示する運転支援装置において、車両周辺の路面上の物体を描画基準物として設定する対象物設定手段と、前記描画基準物を通る位置に仮想平面を設定する仮想平面設定手段と、前記撮影装置から入力した画像データを前記仮想平面上に座標変換する画像処理手段と、前記仮想平面上に座標変換された前記画像データに基づき、前記ピラーの内側に、前記ピラーによって生じる死角領域に相当する画像を表示する出力制御手段とを備えたことを要旨とする。
【００１０】
請求項３に記載の発明は、請求項２に記載の運転支援装置において、前記対象物設定手段は、路面標示又は路面設置物の位置を記憶した地図データに基づき、前記路面標示又は路面設置物を前記描画基準物として設定することを要旨とする。
【００１１】
請求項４に記載の発明は、請求項２に記載の運転支援装置において、路面上に存在する障害物を検出する障害物検出手段をさらに備え、前記対象物設定手段は、前記障害物を前記描画基準物として設定することを要旨とする。
【００１２】
請求項５に記載の発明は、請求項２〜４のいずれか１項に記載の運転支援装置において、前記撮影装置の撮影面を、前記仮想平面と交差する位置に設定することを要旨とする。
【発明の効果】
【００１３】
請求項１に記載の発明によれば、描画基準物を通る位置に仮想平面を設定し、その仮想平面に画像データを座標変換するので、車両が移動しても、描画基準物を常に歪みのない状態でピラー内面に表示することができる。
【００１４】
請求項２に記載の発明によれば、運転支援装置は、描画基準物を通る位置に仮想平面を設定し、その仮想平面に画像データを座標変換するので、車両が移動しても、描画基準物の画像を常に歪みのない状態でピラー内面に表示することができる。
【００１５】
請求項３に記載の発明によれば、路面標示又は路面設置物を描画基準物として設定するので、路面標示又は路面設置物の画像を歪みのない状態でピラーに表示することができる。また、地図データに基づき予め描画基準物の位置が取得できるため、座標変換を行うタイミングが遅くならず、描画基準物に接近した際に、その描画基準物を歪みなく表示できる。
【００１６】
請求項４に記載の発明によれば、路面上に存在する障害物を描画基準物として設定するので、ドライバーが注視する必要のある歩行者等を歪ませることなく表示することができる。
【００１７】
請求項５に記載の発明によれば、撮影装置の撮影面は仮想平面と交差する位置に設定されるので、撮影装置はその仮想平面上の物体、即ち描画基準物にピントを合わせて撮影することができる。このため、描画基準物をピラー内面に明瞭に表示できる。
【発明を実施するための最良の形態】
【００１８】
以下、本発明を具体化した一実施形態を図１〜図１０に従って説明する。図１は、自動車に実装された運転支援システム１の構成を説明するブロック図である。
運転支援システム１は車両Ｃ（図３参照）に搭載され、図１に示すように、運転支援装置としての運転支援ユニット２、ディスプレイ３、投影装置としてのプロジェクタ４、スピーカ５、撮像装置としてのカメラ６、第１〜第３位置検出センサ８ａ〜８ｃを備えている。
【００１９】
運転支援ユニット２は、制御部１０、不揮発性のメインメモリ１１、ＲＯＭ１２、ＧＰＳ受信部１３を備えている。制御部１０は、ＣＰＵ、ＭＰＵ又はＡＳＩＣ等であって、ＲＯＭ１２に格納された運転支援プログラムに従って、各処理の主制御を行う。メインメモリ１１は、制御部１０の演算結果を一時記憶する。
【００２０】
制御部１０は、ＧＰＳ衛星からＧＰＳ受信部１３が受信した、衛星軌道情報及び時刻情報を取得して、電波航法により自車両の絶対位置を算出する。また、制御部１０は、運転支援ユニット２の車両側Ｉ／Ｆ部１４を介して、車両Ｃに設けられた車速センサ３０及びジャイロ３１から車速パルス、角速度をそれぞれ入力する。そして、制御部１０は、車速パルス及び角速度を用いる自律航法により、基準位置からの相対位置を算出し、電波航法で算出した絶対位置と組み合わせて自車位置を特定する。
【００２１】
また、運転支援ユニット２は、地理データ記憶部１５を備えている。地理データ記憶部１５は、内蔵ハードディスク、又は光ディスク等の外部記憶媒体である。この地理データ記憶部１５には、目的地までの経路を探索するための地図データとしての各経路ネットワークデータ（以下、経路データ１６という）と、ディスプレイ３に地図画面３ａを出力するための地図データとしての各地図描画データ１７とが記憶されている。
【００２２】
経路データ１６は、全国を区画したメッシュ内の道路に関するデータである。経路データ１６は、各メッシュの識別子、交差点及び道路の端点を示すノードに関するノードデータ、各ノードを接続する各リンクの識別子、リンクコスト等のデータを有している。制御部１０は、この経路データ１６を用いて、目的地までの推奨経路を探索したり、車両Ｃが交差点等の案内地点に接近しているか否かを判断する。
【００２３】
また、地図描画データ１７は、道路形状、背景等を描画するためのデータであって、全国の地図を分割したメッシュ毎に格納されている。この地図描画データ１７には、中央線、路側帯を区画する白線、ゼブラゾーン、横断歩道等の道路標示と、信号機等の路面設置物とに関するデータが格納されている。具体的には道路標示の種類、道路標示の位置座標、路面設置物の種類、路面設置物の位置座標等が、各地点の交差点やカーブと関連付けられて記憶されている。
【００２４】
図１に示すように、運転支援ユニット２は、地図描画プロセッサ１８を備えている。地図描画プロセッサ１８は、自車位置周辺の地図を描画するための地図描画データ１７を地理データ記憶部１５から読出して、地図出力用のデータを生成し、地図出力用データに基づく地図画面３ａをディスプレイ３に表示する。また、地図描画プロセッサ１８は、この地図画面３ａに、自車位置を示す自車位置指標３ｂを重畳する。
【００２５】
また、運転支援ユニット２は、音声プロセッサ２４を備えている。音声プロセッサ２４は、図示しない音声ファイルを有し、例えば目的地までの経路を案内する音声をスピーカ５から出力する。さらに、運転支援ユニット２は、外部入力Ｉ／Ｆ部２５を備えている。外部入力Ｉ／Ｆ部２５は、ディスプレイ３に隣接された操作スイッチ２６、タッチパネル式のディスプレイ３から、ユーザの入力操作に基づいた入力信号を入力し、制御部１０に
出力する。
【００２６】
また、運転支援ユニット２は、検出手段を構成するセンサＩ／Ｆ部２３を備えている。センサＩ／Ｆ部２３は、第１〜第３位置検出センサ８ａ〜８ｃから、検出信号を入力する。第１〜第３位置検出センサ８ａ〜８ｃは、超音波センサから構成され、図２に示すように、車室内であって、フロントシートＦに着座したドライバーＤの周囲に取り付けられている。第１位置検出センサ８ａは、ルームミラー（図示略）近傍に取り付けられ、ドライバーＤの頭部Ｄ１とほぼ同じ高さか、若干高い位置に位置している。
【００２７】
第２位置検出センサ８ｂは、ドアウィンドウＷ２（図３参照）の上端付近に、ドライバーＤの斜め前方右側に位置するように取り付けられている。第３位置検出センサ８ｃは、フロントシートＦの左側であって、ルーフＲの内側に取り付けられている。各位置検出センサ８ａ〜８ｃの図示しないセンサヘッドから発信された超音波は、ドライバーＤの頭部Ｄ１に反射する。各位置検出センサ８ａ〜８ｃは、超音波を発信してから反射波を受信するまでの時間を計測し、その計測時間に基づいて、頭部Ｄ１までの各相対距離をそれぞれ算出する。算出された各相対距離は、センサＩ／Ｆ部２３を介して制御部１０に出力される。尚、各位置検出センサ８ａ〜８ｃからの信号に基づいて、センサＩ／Ｆ部２３が頭部Ｄ１までの相対距離を算出するようにしてもよい。
【００２８】
制御部１０は、運転席に着座した状態で、標準的な体型のドライバーＤの頭部Ｄ１が移動し得る頭部移動範囲と、第１〜第３位置検出センサ８ａ〜８ｃが検出した各相対距離とに基づき、頭部中心位置Ｄｃを三角測量等を用いて、公知の方法で取得する。
【００２９】
また、図１に示すように、運転支援ユニット２は、映像データ入力部２２と、この映像データ入力部２２から画像データＩＭを入力する、対象物設定手段、仮想平面設定手段、画像処理手段及び出力制御手段としての画像プロセッサ２０を備えている。映像データ入力部２２は、制御部１０の制御に基づいて、車両Ｃに設けられたカメラ６を駆動して、カメラ６によって撮影された画像データＩＭを入力する。
【００３０】
カメラ６は、カラー画像を撮像するカメラであって、レンズ、ミラー等から構成される光学機構と、ＣＣＤ撮像素子（いずれも図示せず）、自動焦点機構等を備えている。図３に示すように、このカメラ６は、車両ＣのフロントピラーＰ（以下、単にピラーＰという）の外側に、光軸を車両Ｃの前方に向けて取り付けられている。本実施形態では、車両右側に配置された運転席に合わせ、カメラ６は、運転席側の右側のピラーＰに取り付けられる。このカメラ６は、車両Ｃの前方右側と、車両Ｃの右側の一部を含む撮影領域Ｚ１の背景を撮像する。
【００３１】
運転支援ユニット２の画像プロセッサ２０は、映像データ入力部２２を介して、カメラ６から画像データＩＭを取得する。また、画像プロセッサ２０は、取得した画像データＩＭのうち、ピラーＰによって遮られた領域をトリミングするとともに、画像の歪みを解消するための画像処理を行う。画像処理されたデータは、車室内に設けられたプロジェクタ４（図７参照）に出力され、プロジェクタ４はピラーＰによって遮られた画像をピラーＰの内側に投影する。
【００３２】
詳述すると、制御部１０が、経路データ１６に基づいて車両Ｃが交差点やカーブに接近したと判断すると、画像プロセッサ２０は、交差点やカーブでドライバーＤが注視しやすい視認対象物の座標を取得する。本実施形態では、画像プロセッサ２０は、地図描画データ１７に基づいて、描画基準物としての横断歩道Ｚの座標を取得する。例えば、図４に示すように、地図描画データ１７に基づき、車両前側方に標示された横断歩道Ｚの基準点Ｐｃの座標を取得する。基準点Ｐｃは、予め地図描画データ１７に記憶されているか、若し
くは地図描画データ１７に記憶された横断歩道Ｚ全体の座標から画像プロセッサ２０が設定する。
【００３３】
基準点Ｐｃの座標を取得すると、基準点Ｐｃの座標と、第１〜第３位置検出センサ８ａ〜８ｃが検出したドライバーＤの頭部中心位置Ｄｃとに基づいて、仮想平面ＶＰの位置を決定する。仮想平面ＶＰは、基準点Ｐｃが設定された横断歩道Ｚの歪みを補正するための平面であって、ドライバーＤの視点を原点とし、ドライバーＤの視角に合わせて設定した仮想面である。この仮想平面ＶＰ上にある物体は、カメラ６によって撮影された画像データＩＭを仮想平面ＶＰ上に座標変換した際に、ずれたり傾いたりすることなく表示される性質がある。図５に示すように、画像プロセッサ２０は、この仮想平面ＶＰを、基準点Ｐｃを含み、頭部中心位置Ｄｃと基準点Ｐｃとを結んだ直線Ｌａに対して垂直になる位置に設定する。
【００３４】
図４に示すように、車両Ｃが、仮想平面ＶＰを設定した初期位置ＦＰから、図中２点鎖線で示す位置に移動し、頭部中心位置Ｄｃと横断歩道Ｚの基準点Ｐｃとの相対距離ΔＬが変化しても、画像プロセッサ２０は、基準点Ｐｃを通り、且つ直線Ｌａに対して垂直となる位置に仮想平面ＶＰを設定する。即ち、仮想平面ＶＰは、車両Ｃの前進に伴って移動させずに、常に基準点Ｐｃを通る位置に設定する。図４に示すように、車両が旋回している場合、頭部中心位置Ｄｃと基準点Ｐｃとを結ぶ直線Ｌａの傾きが変わるので、その変化に伴い、仮想平面ＶＰもその角度のみを変更する。
【００３５】
また、画像プロセッサ２０は、仮想平面ＶＰの位置に応じてカメラ撮影面ＣＰを決定する。図５に示すように、カメラ撮影面ＣＰは、カメラ６の光軸ＡＸに対して垂直な面である。画像プロセッサ２０は、このカメラ撮影面ＣＰを、仮想平面ＶＰと交差する位置に設定する。仮想平面ＶＰと交差する面が複数設定可能な場合には、基準点Ｐｃ付近で交差する面を選択する。
【００３６】
カメラ撮影面ＣＰを設定すると、画像プロセッサ２０は、映像データ入力部２２を介して、カメラ撮影面ＣＰ上にカメラ６のピントを合わせて撮影し、画像データＩＭを取得する。
【００３７】
画像データＩＭを取得すると、その画像データＩＭのうち、ピラーＰによって遮られる死角部分をトリミングする。図５に示すように、画像プロセッサ２０は、ドライバーＤの頭部中心位置ＤｃとピラーＰの各端点Ｐ１，Ｐ２を通る接線Ｌ１，Ｌ２を算出し、これらの接線Ｌ１，Ｌ２の内側を死角領域Ａとする。また、画像データＩＭのうち、死角領域Ａに相当する領域をトリミングして、ピラー死角データＢＤを生成する。
【００３８】
ピラー死角データＢＤを取得すると、画像プロセッサ２０は、ピラー死角データＢＤを、基準点Ｐｃを通る仮想平面ＶＰに投影変換する。この投影変換は、カメラ撮影面ＣＰのうち、死角領域Ａ内にある死角部分ＣＢの各画素を、仮想平面ＶＰ上の各画素に座標変換する処理であって、公知の座標変換を用いることができる。
【００３９】
さらに、画像プロセッサ２０は、仮想平面ＶＰに投影変換した画像を、ＲＯＭ１２に記憶されたピラー形状４１（図１参照）に基づき、ピラーＰの内側面Ｐａを含むピラー面上に投影変換する。ピラー面は、ＲＯＭ１２に記憶されたピラー形状４１（図１参照）の３次元座標に基づき設定することができる。ピラー形状４１は、ピラーＰの外形をパターン又は座標で示したデータであって、車種によって異なるデータである。画像プロセッサ２０は、このピラー形状４１に基づき、ピラーＰの外形を示す長さ方向、車幅方向及び鉛直方向の３次元の座標を取得することができる。また、ピラーの幅や長さも、３次元の座標を用いたデータとして取得することができる。
【００４０】
続いて、画像プロセッサ２０は、ピラーＰの３次元形状に合わせて変換された上記画像を車内に設けられたプロジェクタ４により投影するために、該画像をプロジェクタ４の位置に合わせて座標変換する。即ち、プロジェクタ４から出力された光がピラー内側面に入射する角度によって、ピラー内側面に表示される画像は、歪んだり、拡大又は縮小される。従って、例えば、投影変換した上記画像の各画素の座標と、プロジェクタ４に対して出力する画像の各画素の座標とを予め関連付けたマップ等をメインメモリ１１等に予め格納しておき、該マップに基づき、投影変換した画像を、プロジェクタ４への出力画像としてさらに座標変換する。そして、座標変換した画像を、プロジェクタ４に対して出力するための投影データＰＤとする。
【００４１】
また、画像プロセッサ２０は、投影データＰＤに対し、ＲＯＭ１２に記憶されたマスクパターン４０（図１及び図６参照）に基づき、プロジェクタ４に出力するための映像信号を生成する。図６に示すように、マスクパターン４０は、投影データＰＤにマスクをかけるためのデータであって、ピラーＰの内面形状に沿った画像表示領域４０ａと、マスク４０ｂとから構成されている。画像プロセッサ２０は、画像表示領域４０ａの領域には、投影データＰＤを読み込み、マスク４０ｂの領域は、プロジェクタ４の非表示にするための出力用データＯＤを生成する。出力用データＯＤを生成すると、画像プロセッサ２０は、その出力用データＯＤをプロジェクタ４に出力する。
【００４２】
プロジェクタ４は、図７に示すように、ルーフＲの内側であって、ドライバーＤが着座するフロントシートＦの鉛直方向上方付近に、車両Ｃの右側のピラーＰの内面に画像を投影可能に取り付けられている。図８に示すように、ピラーＰの内側面Ｐａには、ピラーＰの形状に合わせて切断されたスクリーンＳＣが貼着されている。プロジェクタ４の焦点は、このスクリーンＳＣに合わせて調整されている。尚、ピラーＰの内側面Ｐａがプロジェクタ４から出力された投影光を受光して鮮明な画像を表示できる材質及び形状からなる場合には、スクリーンＳＣは省略してもよい。
【００４３】
図９に示すように、プロジェクタ４は、ピラーＰのスクリーンＳＣに対して投影光Ｌを出射し、スクリーンＳＣに画像を投影する。また、そのスクリーンＳＣの周囲のフロントウィンドウＷ１又はドアウィンドウＷ２には、マスク４０ｂにより画像が投影されないようになっている。
【００４４】
次に、本実施形態の処理手順について、図１０に従って説明する。まず運転支援ユニット２の制御部１０は、ピラーＰの内側に背景画像を投影する投影モードの開始を待機する（ステップＳ１）。例えば、タッチパネル、操作スイッチ２６が操作され、制御部１０が外部入力Ｉ／Ｆ部２５を介して、モード開始要求を受信した場合に、投影モードを開始すると判断する。或いは、イグニッションモジュール（図示略）からのオン信号に基づき、投影モードを開始すると判断してもよい。
【００４５】
投影モードを開始すると判断すると（ステップＳ１においてＹＥＳ）、制御部１０は、経路データ１６に基づき、車両Ｃが交差点又はカーブに接近するのを待機する（ステップＳ２）。具体的には、制御部１０は、車両Ｃの現在位置が、Ｔ字路を含む交差点又は所定の曲率以上のカーブから所定距離範囲（例えば２００ｍ）内に進入したと判断すると、交差点又はカーブに接近したと判断する。
【００４６】
交差点又はカーブに接近したと判断すると（ステップＳ２においてＹＥＳ）、制御部１０は、各位置検出センサ８ａ〜８ｃを用いて、ドライバーＤの頭部位置を検出する（ステップＳ３）。このとき、制御部１０は、センサＩ／Ｆ部２３を介して、各位置検出センサ８ａ〜８ｃから、頭部Ｄ１までの各相対距離を取得する。そして、各相対距離を用いて、
三角測量の原理とに基づき、頭部中心位置Ｄｃを特定する。
【００４７】
頭部中心位置Ｄｃを算出すると、画像プロセッサ２０は、上記したように、仮想平面ＶＰを設定する（ステップＳ４）。車両Ｃが交差点Ｊ（図４参照）に接近しているときは、横断歩道Ｚの基準点Ｐｃを地図描画データ１７に基づき取得して、その基準点Ｐｃを通る位置に仮想平面ＶＰを設定する。横断歩道Ｚが無い場合には、車両前方の停止線等の道路標示でもよい。車両Ｃがカーブに接近しているときは、道路に標示された中央線のうち、曲率が大きい位置に基準点Ｐｃを取るようにしてもよい。
【００４８】
さらに、画像プロセッサ２０は、カメラ撮影面ＣＰを設定する（ステップＳ５）。このとき、カメラ撮影面ＣＰ及び仮想平面ＶＰの交点が、基準点Ｐｃ上に重なるか、若しくは基準点Ｐｃ付近を通るようにカメラ撮影面ＣＰを設定する。カメラ撮影面ＣＰと仮想平面ＶＰが基準点Ｐｃ上に重ならない又はその交点が基準点Ｐｃ付近にならない場合には、少なくともカメラ撮影面ＣＰが仮想平面ＶＰと交差するように設定する。また、画像プロセッサ２０の設定したカメラ撮影面ＣＰに基づき、カメラ６は、ピントをカメラ撮影面ＣＰに合わせて撮影を行い、画像データＩＭを取得する（ステップＳ６）。
【００４９】
また、画像プロセッサ２０は、上記したように、ピラーＰによって遮られる死角領域Ａを設定し、画像データＩＭのうち、その死角領域Ａに相当する領域を抽出し（ステップＳ７）、ピラー死角データＢＤを生成する。
【００５０】
ピラー死角データＢＤを生成すると、画像プロセッサ２０は、ピラー死角データＢＤに対し画像処理を行う（ステップＳ８）。具体的には、上記したように、ピラー死角データＢＤを、ステップＳ４で設定した仮想平面ＶＰに投影変換する。さらに、仮想平面ＶＰに投影変換した画像を、ＲＯＭ１２に記憶されたピラー形状４１に合わせて変換し、変換した該画像をプロジェクタ４により投影するために、プロジェクタ４の位置に合わせて座標変換して、投影データＰＤを生成する。また、投影データＰＤ及びマスクパターン４０に基づき、ピラーＰ以外の領域をマスクした出力用データＯＤを生成する。
【００５１】
出力用データＯＤを生成すると、画像プロセッサ２０は、その出力用データＯＤをプロジェクタ４に出力する。プロジェクタ４は、図９に示すように、ピラーＰの内側面Ｐａに設けられたスクリーンＳＣに、ピラーＰによって遮られた領域の画像を投影する（ステップＳ９）。スクリーンＳＣに表示された投影画像は、予め横断歩道Ｚ等の道路標示に合わせた仮想平面ＶＰに投影変換されているので、その道路標示は、フロントウィンドウＷ１及びドアウィンドウＷ２を介して視認される背景と、ずれたり傾いたりすることなく表示される。このため、少なくとも交差点Ｊ又はカーブを通過する際に注視しがちな道路標示を歪むことなくピラーＰに投影するので、ドライバーは違和感を感じることなく、ピラーＰによって遮られた画像を視認することができる。
【００５２】
画像プロセッサ２０によりピラーＰに画像を投影すると、制御部１０は、車両Ｃが、交差点Ｊ又はカーブから離れたか否かを判断する（ステップＳ１０）。車両Ｃが、交差点Ｊ又はカーブ内又はその付近にあると判断すると（ステップＳ１０においてＮＯ）、ステップＳ３に戻り、頭部位置検出（ステップＳ３）から画像投影（ステップＳ９）までを繰り返す。即ち、車両Ｃが交差点Ｊ又はカーブを離れるまで、ピラーＰによって遮られた画像がピラーＰに投影される。
【００５３】
車両Ｃが交差点Ｊ又はカーブから離れたと判断すると（ステップＳ１０においてＹＥＳ）、制御部１０は、投影モードを終了するか否かを判断する（ステップＳ１１）。終了トリガは、タッチパネルや操作スイッチ２６の操作によるモード終了要求、又はイグニッションモジュールのオフ信号である。これらの信号を入力すると、投影モード終了であると
判断して（ステップＳ１１においてＹＥＳ）、処理を終了する。
【００５４】
上記実施形態によれば、以下のような効果を得ることができる。
（１）上記実施形態では、画像プロセッサ２０は、車両Ｃが交差点又はカーブに接近した際に、仮想平面ＶＰを、例えば道路標示といった対象物の基準点Ｐｃを通る位置に常に設定するようにした。そして、その仮想平面ＶＰにカメラ６が撮影した画像データＩＭを投影変換するようにした。従って、車両Ｃが移動しても、ドライバーが注視する対象物を常に歪みのない状態でピラーＰの内側面Ｐａに表示できるので、ドライバーに違和感を感じさせないようにすることができる。
【００５５】
（２）上記実施形態では、地理データ記憶部に記憶された地図描画データ１７に基づき、道路標示等の対象物の座標を取得し、その対象物に基準点Ｐｃを設定するようにした。このため、運転支援システム１が有する地図描画データ１７を利用して予め基準点Ｐｃを設定できるので、車両Ｃが交差点Ｊ又はカーブに進入開始する時点から、歪みのない画像をピラーＰに表示できる。
【００５６】
（３）上記実施形態では、画像プロセッサ２０は、仮想平面ＶＰと交差する位置にカメラ撮影面ＣＰを設定するようにした。このため、仮想平面ＶＰ上の道路標示等の対象物にピントを合わせて撮影できるので、その道路標示をコントラストが高い状態で表示することができる。
【００５７】
尚、上記実施形態は以下のように変更してもよい。
・上記実施形態では、地図描画データ１７に基づき道路標示の基準点Ｐｃを設定するようにしたが、カメラ６から取得した画像データＩＭに対して白線認識処理を行って、道路標示の白線（又は黄線）を検出するようにしてもよい。そして、検出した白線の端や中央に、基準点Ｐｃを設定するようにしてもよい。
【００５８】
・上記実施形態では、仮想平面ＶＰを横断歩道Ｚ等の道路標示に合わせるようにしたが、仮想平面ＶＰの位置を合わせる対象物は適宜変更してもよい。例えば、信号機等の路面設置物に仮想平面ＶＰを合わせるようにしてもよい。また例えば、車両Ｃに車両前方の障害物までの相対距離を計測する、障害物検出手段としてのレーダ等を搭載し、歩行者、自転車等の対象障害物が検出された場合に、仮想平面ＶＰを障害物に合わせるようにしてもよい。尚、障害物が、例えば歩行者、自転車であるか否かの判定は、特徴検出等の公知の画像処理を用いる。
【００５９】
・横断歩道等の路面標示の位置を示すデータは、例えば、路車間通信又は車車間通信、又はそれらのデータを配信するサーバから取得するようにしてもよい。また、歩行者等の障害物の位置を示すデータも、他車両等の外部装置から受信するようにしてもよい。
【００６０】
・上記実施形態では、音声案内を用いない場合には、音声プロセッサ２４を省略しても良い。
・上記実施形態では、カメラ撮影面ＣＰを、仮想平面ＶＰに交差するように設定したが、図１１に示すように、仮想平面ＶＰの手前に設定するようにしてもよい。例えば、仮想平面ＶＰのうちピラーＰによって遮られる死角部分Ｂ１の端点Ｂ２，Ｂ３と、カメラ６の視点Ｖとによって囲まれる領域Ｂ内であって、仮想平面ＶＰとカメラ６との間にカメラ撮影面ＣＰ２を設定するようにしても良い。この場合、画像データＩＭのうち、ピラーＰによって遮られる領域Ｂに相当する部分を抽出する。そして、抽出したデータを、カメラ撮影面ＣＰ２から仮想平面ＶＰに投影変換する。このようにしても、基準点Ｐｃにある道路標示、歩行者等の視認対象物を歪ませることなくピラーＰに表示することができる。
【００６１】
・上記実施形態では、プロジェクタ４によってピラーＰの内側面Ｐａに画像を投影するようにしたが、ピラーＰの内側に薄型の表示手段としてのディスプレイを設け、画像プロセッサ２０からそのディスプレイに出力用データＯＤを出力しても良い。
【００６２】
・上記実施形態では、カメラ６はフロントピラーＰの外側に設け、フロントピラーＰによって遮られる領域を撮影するようにしたが、車両後方や側方等、その他のピラーに設けるようにしてもよい。例えば、カメラ６を車両後方のリヤピラー外側に取り付け、そのカメラ６によってリヤピラーにより遮られる領域を撮影するようにしてもよい。この場合、プロジェクタ４を、リヤピラー内面に画像を投影可能な位置に設け、画像プロセッサ２０は、カメラ６によって撮影された画像データに基づき、リヤピラーによって遮られた死角領域の画像をリヤピラー内面に投影する。これにより、例えば車両Ｃが駐車枠に向かって後退する場合に、ドライバーがリヤピラーによって遮られた駐車枠を投影画像にて確認することができるので、駐車操作を行いやすくすることができる。また、複数のピラーＰの外側に１つずつカメラ６を設けるとともに、プロジェクタ４をカメラ６の位置に応じて複数台設けるようにしてもよい。さらに、一つのピラーＰに複数のカメラ６を設けるようにしてもよい。
【００６３】
・上記実施形態では、プロジェクタ４を車両ＣのルーフＲの内側に設けるようにしたが、プロジェクタ４の位置はピラーＰの内面に画像を投影できる位置であればよく、例えばダッシュボードの上方（略中央）等、その他の位置に設けるようにしてもよい。
【図面の簡単な説明】
【００６４】
【図１】本実施形態の運転支援システムのブロック図。
【図２】ドライバーの頭部を検出する位置検出センサの説明図。
【図３】カメラの取付位置の説明図。
【図４】仮想平面の設定位置の説明図。
【図５】仮想平面及びカメラ撮影面の説明図。
【図６】マスクパターンの説明図。
【図７】プロジェクタの位置を説明する車両の側面図。
【図８】画像が投影されるピラー内面を説明する正面図。
【図９】プロジェクタの投影方向を説明する説明図。
【図１０】本実施形態の処理手順の説明図。
【図１１】別例のカメラ撮影面の説明図。
【図１２】従来の仮想平面位置の説明図。
【図１３】従来のピラー投影画像の説明図。
【符号の説明】
【００６５】
１…運転支援システム、２…運転支援装置としての運転支援ユニット、４…投影装置としてのプロジェクタ、６…撮影装置としてのカメラ、１６…地図データとしての経路データ、１７…地図データとしての地図描画データ、２０…対象物設定手段、仮想平面設定手段、画像処理手段及び出力制御手段としての画像プロセッサ、Ａ…死角領域、Ｂ…死角領域としての死角部分、Ｃ…車両、ＣＰ…撮影面としてのカメラ撮影面、ＩＭ…画像データ、Ｐ…ピラー、Ｐｃ…描画基準物としての基準点、ＶＰ…仮想平面、Ｚ…路面上の物体、描画基準物としての横断歩道。
【特許請求の範囲】
【請求項１】
車両に取り付けられた撮影装置を用いて、前記車両のピラーによって生じる死角領域を撮影し、前記撮影装置によって撮影された画像を前記ピラーの内側に表示する運転支援方法であって、
車両周辺の路面上の物体を描画基準物として設定し、該描画基準物を通る位置に仮想平面を設定するとともに、前記撮影装置から入力した画像データを前記仮想平面に座標変換し、座標変換された前記画像データに基づき、前記ピラーの内側に、前記ピラーによって生じる死角領域に相当する画像を表示することを特徴とする運転支援方法。
【請求項２】
車両に取り付けられた撮影装置を用いて、前記車両のピラーによって生じる死角領域を撮影し、前記撮影装置によって撮影された画像を前記ピラーの内側に表示する運転支援装置において、
車両周辺の路面上の物体を描画基準物として設定する対象物設定手段と、
前記描画基準物を通る位置に仮想平面を設定する仮想平面設定手段と、
前記撮影装置から入力した画像データを前記仮想平面上に座標変換する画像処理手段と、
前記仮想平面上に座標変換された前記画像データに基づき、前記ピラーの内側に、前記ピラーによって生じる死角領域に相当する画像を表示する出力制御手段と
を備えたことを特徴とする運転支援装置。
【請求項３】
請求項２に記載の運転支援装置において、
前記対象物設定手段は、路面標示又は路面設置物の位置を記憶した地図データに基づき、前記路面標示又は路面設置物を前記描画基準物として設定することを特徴とする運転支援装置。
【請求項４】
請求項２に記載の運転支援装置において、
路面上に存在する障害物を検出する障害物検出手段をさらに備え、
前記対象物設定手段は、前記障害物を前記描画基準物として設定することを特徴とする運転支援装置。
【請求項５】
請求項２〜４のいずれか１項に記載の運転支援装置において、
前記撮影装置の撮影面を、前記仮想平面と交差する位置に設定することを特徴とする運転支援装置。
【請求項１】
車両に取り付けられた撮影装置を用いて、前記車両のピラーによって生じる死角領域を撮影し、前記撮影装置によって撮影された画像を前記ピラーの内側に表示する運転支援方法であって、
車両周辺の路面上の物体を描画基準物として設定し、該描画基準物を通る位置に仮想平面を設定するとともに、前記撮影装置から入力した画像データを前記仮想平面に座標変換し、座標変換された前記画像データに基づき、前記ピラーの内側に、前記ピラーによって生じる死角領域に相当する画像を表示することを特徴とする運転支援方法。
【請求項２】
車両に取り付けられた撮影装置を用いて、前記車両のピラーによって生じる死角領域を撮影し、前記撮影装置によって撮影された画像を前記ピラーの内側に表示する運転支援装置において、
車両周辺の路面上の物体を描画基準物として設定する対象物設定手段と、
前記描画基準物を通る位置に仮想平面を設定する仮想平面設定手段と、
前記撮影装置から入力した画像データを前記仮想平面上に座標変換する画像処理手段と、
前記仮想平面上に座標変換された前記画像データに基づき、前記ピラーの内側に、前記ピラーによって生じる死角領域に相当する画像を表示する出力制御手段と
を備えたことを特徴とする運転支援装置。
【請求項３】
請求項２に記載の運転支援装置において、
前記対象物設定手段は、路面標示又は路面設置物の位置を記憶した地図データに基づき、前記路面標示又は路面設置物を前記描画基準物として設定することを特徴とする運転支援装置。
【請求項４】
請求項２に記載の運転支援装置において、
路面上に存在する障害物を検出する障害物検出手段をさらに備え、
前記対象物設定手段は、前記障害物を前記描画基準物として設定することを特徴とする運転支援装置。
【請求項５】
請求項２〜４のいずれか１項に記載の運転支援装置において、
前記撮影装置の撮影面を、前記仮想平面と交差する位置に設定することを特徴とする運転支援装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２００８−１７４２１２（Ｐ２００８−１７４２１２Ａ）
【公開日】平成２０年７月３１日（２００８．７．３１）
【国際特許分類】
【出願番号】特願２００７−２０５６７０（Ｐ２００７−２０５６７０）
【出願日】平成１９年８月７日（２００７．８．７）
【出願人】（０００１００７６８）アイシン・エィ・ダブリュ株式会社 (3,717)
【Ｆターム（参考）】
【公開日】平成２０年７月３１日（２００８．７．３１）
【国際特許分類】
【出願日】平成１９年８月７日（２００７．８．７）
【出願人】（０００１００７６８）アイシン・エィ・ダブリュ株式会社 (3,717)
【Ｆターム（参考）】
[ Back to top ]