運転支援システム、運転支援方法、及び運転支援プログラム
【課題】運転者が注意を払うべき領域の画像、即ち、運転者に見せるべき画像を表示することができる運転支援システム、及び運転支援方法を提供する。
【解決手段】死角領域Zdを含んだ車両Cの周辺を示す周辺画像を取得し、車両Cの走行予想軌跡を特定して、該走行予想軌跡に基づいて、予想走行距離だけ走行した後に車両Cが通過すると予想される予想通過地点PR,PLを特定し、死角領域Zdと予想通過地点
PR,PLとの位置関係に基づいて、ピラーPの輪郭を示す線画の表示画面内における表
示位置を特定して、該線画の表示位置に基づいて、表示画面に表示する画像の範囲を周辺画像に対して特定し、当該範囲の画像を周辺画像から切り出して、切り出された範囲の画像を表示画面に表示すると共に、輪郭の線画を同表示画面における表示位置に表示する。
【解決手段】死角領域Zdを含んだ車両Cの周辺を示す周辺画像を取得し、車両Cの走行予想軌跡を特定して、該走行予想軌跡に基づいて、予想走行距離だけ走行した後に車両Cが通過すると予想される予想通過地点PR,PLを特定し、死角領域Zdと予想通過地点
PR,PLとの位置関係に基づいて、ピラーPの輪郭を示す線画の表示画面内における表
示位置を特定して、該線画の表示位置に基づいて、表示画面に表示する画像の範囲を周辺画像に対して特定し、当該範囲の画像を周辺画像から切り出して、切り出された範囲の画像を表示画面に表示すると共に、輪郭の線画を同表示画面における表示位置に表示する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、運転支援システム、運転支援方法、及び運転支援プログラム、特に車両の車体による運転者の死角に関する画像を車両に搭載された表示装置に表示する運転支援システム、運転支援方法、及び運転支援プログラムに関する。
【背景技術】
【0002】
従来から、安全運転を支援する運転支援システムとして、車両の車体により運転者の死角となる死角領域を可視化するシステムが開発されている。その1つでは、特許文献1に記載されるように、車載カメラにより撮像された過去の撮像画像から死角領域が切り出され、当該切り出された死角領域の画像と、切り出された死角領域の輪郭を示す線画、つまり車体の形状を示す輪郭線とが、現在の撮像画像に重ね合わせられる。そして、重ね合わせられた画像の表示処理によって、疑似的に可視化された死角領域を含む周辺領域と、これら死角領域と周辺領域との境界線とを示す画像が表示画面に表示される。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2003−244688号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、上記運転支援システムが運転者に見せるべき画像とは、運転者が注意を払うべき画像であって、死角領域及び死角領域に隣接する隣接領域が表示されている画像である。これに対して、例えば、特許文献1に記載されるように、車載カメラの撮像領域とは、車体に対して固定され、従って死角領域を示す画像の表示画面内における位置も固定されることが一般的である。そのため、死角領域を示す画像の位置がこのように表示画面内に固定されると、死角領域に隣接する隣接領域を示す画像の位置も、同じく表示画面内に固定されることとなる。
【0005】
だが、運転者が注意を払うべき隣接領域とは、そもそも死角領域に対して固定される領域ではなく、むしろ、車両の走行状況に応じて、死角領域に対して変位する領域である。例えば、旋回半径の小さいコーナーで車両が右旋回をするときには、運転者が注意を払うべき隣接領域は、右側フロントピラーによる死角領域のさらに右側、つまり車体に対して右側の領域になる。その一方、旋回半径の大きいコーナーで車両が右旋回をするときには、運転者が注意を払うべき隣接領域が、右側フロントピラーによる死角領域の左側、つまり車体に対して右斜め前方の領域となる。このように、運転者が注意を払うべき隣接領域が、そもそも死角領域に対して変位する領域であるため、上述のようにして死角領域を示す画像の位置が単純に表示画面内に固定されてしまうと、運転者が注意を払うべき隣接領域を示す画像が、表示画面内にてその表示範囲を拡張できないばかりか、その固定された位置によっては表示不能になる虞もある。
【0006】
本発明は上記問題点に鑑みてなされたものであり、その目的は、運転者が注意を払うべき領域の画像、即ち、運転者に見せるべき画像を表示することができる運転支援システム、運転支援プログラム、及び運転支援方法を提供することにある。
【課題を解決するための手段】
【0007】
上記問題点を解決するために、請求項1に記載の発明は、車両の車体により運転者の死角となる死角領域と、当該死角領域に隣接する隣接領域とを示す画像を表示画面に表示す
る運転支援システムであって、前記車両の周辺を示す周辺画像を取得する周辺画像取得手段と、前記車両の走行予想軌跡を特定する走行予想軌跡特定手段と、前記走行予想軌跡に基づいて、所定距離走行後に車両が通過すると予想される予想通過地点を特定する予想通過地点特定手段と、前記死角領域と前記予想通過地点との位置関係に基づいて、前記車体の輪郭を示す線画の前記表示画面内における表示位置を特定する表示位置特定手段と、前記線画の表示位置に基づいて、前記表示画面に表示する画像の範囲を前記周辺画像に対して特定する画像範囲特定手段と、前記周辺画像から前記範囲の画像を抽出する画像抽出手段と、抽出された前記範囲の画像を、前記死角領域と前記隣接領域とを示す画像として前記表示画面に表示すると共に、前記輪郭の線画を同表示画面内における前記表示位置に表示する表示手段とを備えたことを要旨とする。
【0008】
請求項2に記載の発明は、請求項1に記載の運転支援システムにおいて、前記予想通過地点特定手段が、前記車両の走行する道路の道路情報に基づいて前記所定距離を設定することを要旨とする。
【0009】
請求項3に記載の発明は、請求項1又は2に記載の運転支援システムにおいて、前記走行予想軌跡取得手段が、予め設定されている前記車両の走行予定経路に基づいて前記走行予想軌跡を特定することを要旨とする。
【0010】
請求項4に記載の発明は、車両の車体により運転者の死角となる死角領域と、当該死角領域に隣接する隣接領域とを示す画像を表示画面に表示する制御手段を用いた運転支援方法であって、前記制御手段が、前記車両の周辺を示す周辺画像を取得し、前記車両の走行予想軌跡を特定して、該走行予想軌跡に基づいて、所定距離走行後に車両が通過すると予想される予想通過地点を特定し、前記死角領域と前記予想通過地点との位置関係に基づいて、前記車体の輪郭を示す線画の前記表示画面内における表示位置を特定して、該線画の表示位置に基づいて、前記表示画面に表示する画像の範囲を前記周辺画像に対して特定し、前記周辺画像から前記範囲の画像を抽出して、該抽出された前記範囲の画像を、前記死角領域と前記隣接領域とを示す画像として前記表示画面に表示すると共に、前記輪郭の線画を同表示画面における前記表示位置に表示することを要旨とする。
【0011】
請求項5に記載の発明は、車両の車体により運転者の死角となる死角領域と、当該死角領域に隣接する隣接領域とを示す画像を表示画面に表示する制御手段を用いた運転支援プログラムであって、前記制御手段を、前記車両の周辺を示す周辺画像を取得する周辺画像取得手段と、前記車両の走行予想軌跡を特定する走行予想軌跡特定手段と、前記走行予想軌跡に基づいて、所定距離走行後に車両が通過すると予想される予想通過地点を特定する予想通過地点特定手段と、前記死角領域と前記予想通過地点との位置関係に基づいて、前記車体の輪郭を示す線画の前記表示画面内における表示位置を特定する表示位置特定手段と、前記線画の表示位置に基づいて、前記表示画面に表示する画像の範囲を前記周辺画像に対して特定する画像範囲特定手段と、前記周辺画像から前記範囲の画像を抽出する画像抽出手段と、抽出された前記範囲の画像を、前記死角領域と前記隣接領域とを示す画像として前記表示画面に表示すると共に、前記輪郭の線画を同表示画面内における前記表示位置に表示する表示手段として機能させることを要旨とする。
【0012】
請求項1に記載の運転支援システムによれば、走行予想軌跡に基づく予想通過地点と死角領域との位置関係に基づいて、車体の輪郭を示す線画の表示位置が特定される。そして、特定された表示位置に基づいて、表示画面に表示する画像の範囲が周辺画像から抽出される。車両の周辺を示す周辺画像は、走行する車両の車体に対して移動する画像である。こうした周辺画像の表示画面における移動方向は、車両の周辺に対する死角領域の移動方向に基づいて、推定することが可能である。つまり、周辺画像の表示画面における移動方向は、現在の車両における死角領域と、同車両が通過すると予想される地点、すなわち予
想通過地点との位置関係に基づいて、推定することが可能である。上記のように構成される運転支援システムであれば、それが備える表示位置特定手段によって、車体の輪郭を示す線画の表示位置が、こうした周辺画像の移動方向に基づいて特定されることになる。そして、表示画面に表示する周辺画像の範囲が、このようにして特定された線画の表示位置に基づいて特定されることになる。つまり、表示画面に表示される周辺画像の範囲が、表示画面における画像の移動方向に基づいて変更可能になる。このため、運転者に見せるべき画像を、今後の走行状況にあわせて表示画面内に表示することが可能になる。
【0013】
請求項2に記載の運転支援システムによれば、車両が走行する道路の道路情報に基づいて、予想通過地点が特定される。車両の走行速度は、一般に、車両が走行する道路の道路情報に応じて大きく異なる。こうした車両の走行速度が大きくなれば、走行予想軌跡に沿って走行する際に運転者の確認すべき地点、即ち、運転者に見せるべき画像に対応する地点までの距離が増加し、反対に、車両の走行速度が小さくなれば、走行予想軌跡に沿って走行する際に運転者に見せるべき地点までの距離が減少することになる。そのため、走行予想軌跡に沿って走行する際、車両の走行速度に応じて変化する運転者に見せるべき地点までの距離から予想通過地点を特定すべきであるが、上記所定距離が一定値となれば、予想通過地点そのものの位置精度が損なわれてしまう。この点、上記のように構成される運転支援システムであれば、予想通過地点を特定するための所定距離がこうした道路情報に基づいて設定されるため、予想通過地点に関する精度が向上し、上述する効果がより確実なものとなる。
【0014】
請求項3に記載の運転支援システムによれば、走行予定経路に基づいて走行予想軌跡が特定されることから、走行予想軌跡に関する精度が向上し、上述する効果がより確実なものとなる。
【0015】
請求項4に記載の運転支援方法によれば、走行予想軌跡に基づく予想通過地点と死角領域との位置関係に基づいて、車体の輪郭を示す線画の表示位置が特定される。そして、特定された表示位置に基づいて、表示画面に表示する画像の範囲が周辺画像から抽出される。車両の周辺を示す周辺画像は、走行する車両の車体に対して移動する画像である。こうした周辺画像の表示画面における移動方向は、車両の周辺に対する死角領域の移動方向に基づいて、推定することが可能である。つまり、周辺画像の表示画面における移動方向は、現在の車両における死角領域と、同車両が通過すると予想される地点、すなわち予想通過地点との位置関係に基づいて、推定することが可能である。上記のような運転支援方法であれば、車体の輪郭を示す線画の表示位置が、こうした周辺画像の移動方向に基づいて特定されることになる。そして、表示画面に表示する周辺画像の範囲が、このようにして特定された線画の表示位置に基づいて特定されることになる。それゆえ、表示画面に表示される周辺画像の範囲が、表示画面における画像の移動方向に基づいて変更可能になる。このため、運転者に見せるべき画像を、今後の走行状況にあわせて表示画面内に表示することが可能になる。
【0016】
請求項5に記載の運転支援プログラムによれば、走行予想軌跡に基づく予想通過地点と死角領域との位置関係に基づいて、車体の輪郭を示す線画の表示位置が特定される。そして、特定された表示位置に基づいて、表示画面に表示する画像の範囲が周辺画像から抽出される。車両の周辺を示す周辺画像は、走行する車両の車体に対して移動する画像である。こうした周辺画像の表示画面における移動方向は、車両の周辺に対する死角領域の移動方向に基づいて、推定することが可能である。つまり、周辺画像の表示画面における移動方向は、現在の車両における死角領域と、同車両が通過すると予想される地点、すなわち予想通過地点との位置関係に基づいて、推定することが可能である。上記のような運転支援方法であれば、車体の輪郭を示す線画の表示位置が、こうした周辺画像の移動方向に基づいて特定されることになる。そして、表示画面に表示する周辺画像の範囲が、このよう
にして特定された線画の表示位置に基づいて特定されることになる。それゆえ、表示画面に表示される周辺画像の範囲が、表示画面における画像の移動方向に基づいて変更可能になる。このため、運転者に見せるべき画像を、今後の走行状況にあわせて表示画面内に表示することが可能になる。
【図面の簡単な説明】
【0017】
【図1】本実施形態にかかる運転支援システムの構成を示すブロック図。
【図2】経路データのデータ構成を示す構成図。
【図3】地図描画データのデータ構成を示す構成図。
【図4】各位置検出センサの配置構成を示す構成図。
【図5】車載カメラの撮像領域を車両とともに示す平面図。
【図6】ピラー及びピラーモニターの構成を示す構成図。
【図7】仮想投影面と撮像面との関係を模式的に示す模式図。
【図8】死角線画データが示すピラーの輪郭の線画を示す図。
【図9】死角領域と走行予想軌跡との関係を模式的に示す平面図。
【図10】(a)(b)表示画面に表示する画像の範囲を撮像画像のフレームに示す図。
【図11】運転支援システムの制御処理フローを示すフローチャート。
【図12】表示位置特定処理の処理フローを示すフローチャート。
【発明を実施するための形態】
【0018】
以下、本発明を具体化した一実施形態を図1〜図11に従って説明する。運転支援システム1は、車両に搭載されるかたちに具現化されており、図1に示されるように、制御手段を構成する運転支援ユニット2、ディスプレイ3、表示手段を構成するピラーモニター4、スピーカ5、周辺画像取得手段を構成する車載カメラ6、第1〜第3位置検出センサ8a〜8c、車速センサ30、及びジャイロ31から構成されている。
【0019】
運転支援ユニット2は、走行予想軌跡特定手段及び予想通過地点特定手段を構成するCPU10、RAM11、ROM12、GPS受信部13、車両側I/F部14、地理データ記憶部15、地図描画プロセッサ16、音声プロセッサ18、外部入力I/F部17、センサI/F部19、撮像データ入力部21、及び表示位置特定手段、画像範囲特定手段、及び画像抽出手段を構成する画像処理プロセッサ22から構成されている。
【0020】
CPU10は、RAM11の一部を作業領域として、ROM12に格納された運転支援プログラムに従い、各処理の主制御を実行する。CPU10は、GPS衛星からGPS受信部13が受信した、衛星軌道情報及び時刻情報を取得して、電波航法により自車両の絶対位置を算出する。CPU10は、車両に設けられた車速センサ30及びジャイロ31から、車両側I/F部14を介して、車速に関するデータ及び角速度に関するデータを取得する。そして、CPU10は、車速及び角速度を用いる自律航法により、基準位置からの相対位置を算出し、電波航法で算出した絶対位置と組み合わせて、車両の現在位置を特定する。尚、車両の現在位置を特定する方法は上記に限定されず、例えばGPS受信部13が受信した情報のみから特定してもよいし、GPS受信部13が受信した情報と上述したセンサ以外のセンサとを併用してもよい。
【0021】
地理データ記憶部15は、ハードディスクや光ディスク等の外部記憶媒体から構成されており、目的地までの経路を探索するための経路データRDと、ディスプレイ3に地図画面3aを出力するための各地図描画データMDとを記憶している。
【0022】
経路データRDは、全国を各区域に区画したリージョン毎のデータであって、図2に示されるように、ヘッダRDa、ノードデータRDb、リンクデータRDc、リンクコスト
データRDd、座標データRDeから構成されている。ヘッダRDaは、各経路データRDを管理するためのデータである。ノードデータRDbは、交差点、道路の端点等を示す各ノードの識別データ、隣接するノードの識別データ等から構成されている。リンクデータRDcは、リンク列を構成し、接続ノードを示す各リンクレコード、通行規制を示すデータ等から構成されている。リンクコストデータRDdは、各リンクレコードに対して付与されたリンクID、リンク長、走行レーンの数、平均旅行時間等から構成されたデータ群である。座標データRDeは、各ノードの絶対座標を示すデータである。
【0023】
地図描画データMDは、全国の地図を分割したエリア毎に格納されるデータであり、広域の地図から狭域の地図まで、各階層に分かれるかたちに構成されている。図3に示されるように、各地図描画データMDは、ヘッダMDa、道路データMDb、背景データMDcから構成されている。ヘッダMDaは、それが構成する地図描画データMDの階層、エリア等を示すデータであって、管理目的のデータである。背景データMDcは、道路、市街地、河川等を描画する描画データである。道路データMDbは、道路の形状・種類を示すデータであって、道路属性データMDd、リンク形状データMDe、接続データMDfから構成されている。
【0024】
道路属性データMDdは、例えば、有料道路等の高規格道路、一般道路、細街路等を示す道路種別、道路方向、道路幅、車線数、中央分離帯の有無、道路種別に対応付けられた予想走行距離を示すデータである。予想走行距離とは、それが対応付けられた道路種別の道路において、車両の現在位置から前方であって、運転者に見せるべき地点までの距離を示すものであり、当該道路種別の道路上において、自車が通過すると予想される予想通過地点を特定するときに利用される距離である。例えば、高規格道路、一般道路、細街路には、それぞれ予想走行距離として、100m、30m、10mが対応付けられている。
【0025】
接続データMDfは、各リンクと各ノードの接続状態を示すデータである。リンク形状データMDeは、座標データMDg、形状補間データMDhから構成されている。座標データMDgは、リンク及びノードの座標を示すデータである。形状補間データMDhは、リンク途中に設定され、道路のカーブ形状補間点に関するデータであって、形状補間点の座標、リンクの方位等を示すデータである。
【0026】
CPU10は、上述した経路データRDを用い、出発地や現在位置から目的地までの走行予定経路を探索する。CPU10は、車両の現在位置が、カーブ曲率半径が所定値(例えば、200m)以下の右カーブの開始点に接近しているか否か、さらには交差点に接近しているか否かを判断する。例えば、車両の現在位置が右カーブの開始点の所定距離(例えば、300m)手前に到達したか否か、さらには車両の現在位置が交差点の所定距離手前に到達したか否かを判断する。
【0027】
またCPU10は、上述した地図描画データMDと、探索した走行予定経路とを用い、該走行予定経路に沿って自車の中心が通過する軌跡を、走行予想軌跡として特定する。またCPU10は、自車が走行する道路の道路種別に対応付けられた予想走行距離を取得し、取得した予想走行距離と、特定した走行予想軌跡とを用い、当該走行予想軌跡上において、予想走行距離を走行した後に自車が到達すると予想される予想通過地点(運転者に見せるべき画像に対応する地点)を特定する。
【0028】
地図描画プロセッサ16は、CPU10からの制御信号を受け、車両の現在位置周辺の地図を描画するための地図描画データMDを地理データ記憶部15から読出し、地図出力用のデータを生成して、地図出力用データに基づく地図画面3aをディスプレイ3に表示させる。地図描画プロセッサ16は、車両の現在位置を示す自車位置指標3bがこの地図画面3aに重畳する態様にて地図出力用のデータを生成する。外部入力I/F部17は、
ディスプレイ3に隣接された操作スイッチ3c、タッチパネル式のディスプレイ3から、ユーザの入力操作に基づく信号を受け、入力操作に関する操作信号をCPU10に出力する。音声プロセッサ18は、CPU10からの制御信号を受け、図示しない音声ファイルを用い、例えば、目的地までの経路を案内する音声を、スピーカ5に出力させる。
【0029】
センサI/F部19は、第1〜第3位置検出センサ8a〜8cの各々から検出信号を受信する。第1〜第3位置検出センサ8a〜8cは、超音波センサから構成されており、図4に示されるように、フロントシートFに着座した運転者Dを囲うかたちに車室内に取り付けられている。第1位置検出センサ8aは、運転者Dの斜め前方左側から頭部D1までの距離を検出するべく、ルームミラー(図示略)近傍に取り付けられている。第2位置検出センサ8bは、運転者Dの斜め前方右側から頭部D1までの距離を検出するべく、ドアウィンドウW2(図5参照)の上端付近に取り付けられている。第3位置検出センサ8cは、運転者Dの左側から頭部D1までの距離を検出するべく、ルーフRの内側に取り付けられている。各位置検出センサ8a〜8cから発信された超音波は、運転者Dの頭部D1により反射される。各位置検出センサ8a〜8cは、超音波が発信されてから、その反射波を受信するまでの時間を計測し、その計測時間に基づいて、頭部D1までの相対距離を算出する。算出された各相対距離は、センサI/F部19を介してCPU10に出力される。なお、頭部D1までの相対距離は、各位置検出センサ8a〜8cからの信号に基づいて、センサI/F部19が算出する構成であってもよい。
【0030】
CPU10は、標準的な体型の運転者Dが運転席に着座した状態にて、同運転者Dの頭部D1が移動し得る頭部移動範囲と、第1〜第3位置検出センサ8a〜8cが検出した各相対距離とに基づき、三角測量等の公知の方法により、運転者Dの頭部D1の位置である頭部中心位置Dcを特定する。
【0031】
撮像データ入力部21は、CPU10からの制御信号を受けて、車両に搭載された車載カメラ6を駆動する。車載カメラ6は、車両の周辺領域における被写体の光学情報を電気信号に変換して出力する装置であって、レンズ、ミラー等から構成される光学機構、CCD撮像素子、自動焦点機構等から構成されている。車載カメラ6は、図5に示されるように、その光軸を車両Cの前方に向けるかたちに、車両CのルーフRの外側に取り付けられている。また、車載カメラ6は、それの撮像領域Z1が、車両の周辺領域のうちで、車両Cの前方右側と車両Cの右側の一部とを含むように、車両右側に配置された運転席に合わせて、運転席側である右側のピラーP近傍に取り付けられている。
【0032】
そして、撮像データ入力部21は、車載カメラ6を駆動して、撮像領域Z1における被写体の光学情報を、車載カメラ6から撮像データIMとして受信する。また、撮像データ入力部21は、車載カメラ6を駆動して、車載カメラ6の設置位置、角度(パン・チルト・ロール)、及び画角を、車載カメラ6からカメラデータとして受信する。車載カメラ6が生成する撮像データIMは、撮像データ入力部21を介して画像処理プロセッサ22に送信される。
【0033】
画像処理プロセッサ22は、撮像データ入力部21が受信する撮像データIMを用い、ピラーモニター4の表示画面4aに、車両の周辺領域を示す周辺画像を、シーンに応じた範囲で表示させる。ピラーモニター4は、図6に示されるように、車両Cの右側のピラーPの内面に搭載されて、画像処理プロセッサ22から入力される表示フレームデータに基づいて表示画面4aに画像を表示する。
【0034】
上述するように、シーンに応じた範囲の画像を表示させる際、画像処理プロセッサ22はまず、右側のピラーPにより運転者Dの死角となる死角領域を特定する。また、画像処理プロセッサ22は、撮像データIMを構成する撮像フレームデータFLMごとに、当該
撮像フレームデータFLMに対応した死角領域線画データBDを合成する(図8参照)。そして、画像処理プロセッサ22は、死角領域線画データBDが合成された撮像フレームデータFLMに対して、車載カメラ6のカメラ視点6aを運転者Dの視点に変換する視点変換を施す。なお、死角領域線画データBDとは、合成された撮像フレームデータFLMが視点変換後に示す周辺画像にて、運転者Dの視点から見れば死角領域となる部分の輪郭、つまりピラーPの輪郭4i(図8参照)を示すことになるデータであって、撮像フレームデータFLMと同じく多数の画素データから構成される二値画像データである。
【0035】
さらに、画像処理プロセッサ22は、上述した予想通過地点と死角領域との位置関係に基づいて、表示画面4aにおける上記ピラーPの輪郭4iの表示位置を特定する。また、画像処理プロセッサ22は、ピラーPの輪郭4iが上記表示位置に表示されるように、上記視点変換後の撮像フレームデータFLMから、表示画面4aに表示させるデータを切り出す。そして、画像処理プロセッサ22は、このようにして切り出されたデータをピラーモニター4に出力し、ピラーPの輪郭4iが特定された表示位置にて表示される態様、つまりシーンに応じた範囲の周辺画像が表示される態様にて、ピラーモニター4に画像を表示させる。
【0036】
上述する画像処理プロセッサ22の処理の態様、つまり(a)ピラーPによる死角領域を特定し、死角領域線画データBDと撮像フレームデータFLMとの合成データに視点変換を施す、死角領域特定処理の態様と、(b)表示画面におけるピラーPの輪郭4iの表示位置を特定し、視点変換後の合成データから表示フレームデータを切り出す、表示位置特定処理の態様とについて、以下に詳述する。
【0037】
(a)死角領域特定処理
例えば、カーブ曲率が所定値の右カープの開始点や交差点に車両Cが接近することにより、運転支援システム1の起動条件が満たされると、画像処理プロセッサ22は、CPU10からの制御信号を受けて、ピラーPの位置及びその三次元形状を示すピラーデータPDをROM12から読み出すとともに、第1〜第3位置検出センサ8a〜8cの検出結果である運転者Dの頭部中心位置Dcを取得する。そして、画像処理プロセッサ22は、頭部中心位置Dcを投影中心として、ピラーPが投影される領域を死角領域Zdに特定する。例えば、図7に示されるように、画像処理プロセッサ22は、ピラーPの各端点P1,P2を通る線L1,L2を算出し、これらの線L1,L2にて挟まれる領域を死角領域Zdに特定する。
【0038】
このようにして死角領域Zdが特定されると、画像処理プロセッサ22は、次いで、視点変換用の基準点Pcを特定する。例えば、図7に示されるように、画像処理プロセッサ22は、ピラーモニター4の表示画面4aの中心と頭部中心位置Dcとを結ぶ直線上において、頭部中心位置Dcから所定の距離だけ離間した点を、視点変換用の基準点Pcとして特定する。画像処理プロセッサ22は、基準点Pcの座標を特定すると、次いで、基準点Pcと頭部中心位置Dcとを用いて、仮想投影面VPの位置を決定する。このようにして決定される仮想投影面VPとは、車載カメラ6によって撮像された画像が仮想的に投影される平面である。例えば、画像処理プロセッサ22は、基準点Pcを含んで、かつ、頭部中心位置Dcと基準点Pcとを結ぶ中心線Laに対して垂直な平面を、仮想投影面VPとして決定する。
【0039】
このようにして仮想投影面VPが決定されると、画像処理プロセッサ22は、次いで、撮像データ入力部21を介してカメラデータを取得し、車載カメラ6の設置位置、角度、及び画角に基づいて、上記仮想投影面VPの位置に応じた撮像面CPを決定する。撮像面CPとは、車載カメラ6の光軸AXに対して垂直な平面であって、車載カメラ6の焦点位置が面内に設定される平面であり、仮想投影面VPよりも、車両Cに近い位置に設定され
る平面である。画像処理プロセッサ22は、撮像面CPを決定すると、車載カメラ6の焦点が撮像面CP上になる態様にて、複数の撮像フレームデータFLMから構成される撮像データIMを、撮像データ入力部21を介して、同車載カメラ6に取得させる。
【0040】
また、画像処理プロセッサ22は、上記死角領域Zd、仮想投影面VP、撮像面CP、及びカメラ視点6aを用い、カメラ視点6aから仮想投影面VPに投影された投影像が死角領域Zdの輪郭、すなわちピラーPの輪郭4iとなるかたちの線画を、撮像面CP上に特定する。例えば、図7に示されるように、画像処理プロセッサ22は、仮想投影面VPにおける死角領域Zdの輪郭(例えば、左端点VP1及び右端点VP2)とカメラ視点6aとを結んだ複数の直線を特定し、これら複数の直線と撮像面CPとの交点(例えば、交点Lf3,Lf4)を特定する。そして、画像処理プロセッサ22は、撮像フレームデータFLMが撮像面CP上に示す画像と、上記撮像面CP上の交点との関係から、例えば、図8に示されるように、撮像フレームデータFLMを構成する多数の画素のうちで、上記撮像面CP上の交点に対応する画素群を示すデータを、死角領域線画データBDとして生成する。そして、画像処理プロセッサ22は、撮像データIMを構成する撮像フレームデータFLMごとに、当該撮像フレームデータFLMに対応した死角領域線画データBDを合成する。続いて、画像処理プロセッサ22は、撮像面CP上の画像を仮想投影平面上に投影した画像が表示画面4aに表示されるべく、撮像面CP上の画像を構成する各画素を、仮想投影平面上の画像を構成する各画素に変換する処理を行う。つまり、車載カメラ6のカメラ視点6aを運転者Dの視点に変換する視点変換を、上記死角領域線画データBDが合成された撮像フレームデータに対して施す。
【0041】
(b)表示位置特定処理
画像処理プロセッサ22は、上述のようにして死角領域特定処理を実行すると、次いで、CPU10により演算される予想通過地点をRAM11から読み出し、当該予想通過地点が死角領域Zdの右側であるか否かを判断する。そして、画像処理プロセッサ22は、その判断結果に基づいて、表示画面4aにおけるピラーPの輪郭4iの表示位置を特定する。つまり、画像処理プロセッサ22は、こうした予想通過地点と死角領域Zdとの位置関係に基づいて、上記視点変換後の撮像フレームデータFLMから切り出す表示フレームデータの切り出し範囲(表示画面に表示する画像の範囲)を特定する。なお、表示フレームデータの切り出し範囲は、予想通過地点と死角領域Zdとの位置関係に対応付けられるかたちにて、画像処理プロセッサ22が記憶している。
【0042】
例えば、走行予定経路が、図9における左側の太線にて示され、走行する道路の道路種別から特定された予想通過地点が、図9における左側通過地点PLであるとき、画像処理プロセッサ22は、当該予想通過地点が死角領域Zdの右側でないと判断する。そして、画像処理プロセッサ22は、この判断結果に基づいて、ピラーPの輪郭4iが表示画面4aの右側に偏倚するように、図10(b)の太線にて示されるように、撮像フレームデータFLMから、左側用の表示フレームデータDPLを切り出す。画像処理プロセッサ22は、所定の演算周期にて、こうした表示フレームデータDPLの切り出しを撮像フレームデータFLMごとに実行し、所定のフレームレートにて、当該表示フレームデータDPLを表示画面4aに出力する。
【0043】
この際、こうした走行予定経路を走行する車両において、運転者Dに見せるべき画像は、運転者Dが注意を払うべき画像であって、死角領域Zd、及び死角領域に隣接する隣接領域を示す画像、つまり車両Cの前方右側を示す画像である。この点、左側用の表示フレームデータDPLに基づいて表示される画像であれば、ピラーPの輪郭4i、つまり死角領域Zdが表示画面4aの右側に偏倚することになり、車両Cの前方右側の画像が表示画面4aの略全体に表示されることになる。それゆえ、左側用の表示フレームデータDPLに基づく表示処理がなされることにより、運転者Dには、当該運転者Dに見せるべきシー
ンに応じた画像が、表示画面4aにおいて広い範囲にわたり提供されることになる。
【0044】
そのうえ、通過予想地点が死角領域Zdの右側にない間は、表示画面4aに表示される画像が、表示フレームデータの切り出し範囲に拘わらず、表示画面4aの左側から右側へ移動する(図10(b)における矢印方向を参照)。ピラーPの輪郭4iが仮に表示画面4aの左側に偏倚して表示されると(図10(a)参照)、運転者Dに見せるべき隣接領域を示す画像が、表示画面4aにおける狭い範囲で移動することとなり、運転者Dに見せるべき時間も短くなってしまう。この点、上記左側用の表示フレームデータDPLに基づいて表示画面4aに表示される画像であれば、運転者Dに見せるべき隣接領域の画像が、表示画面4aにおける広い範囲で移動することになり、今後の走行状況にあわせた画像は当然のこと、それの時間的な前後における画像をも、長い時間にわたり表示されることになる。それゆえ、左側用の表示フレームデータDPLに基づく表示処理がなされることにより、運転者Dには、当該運転者Dに見せるべきシーンに応じた画像が、長い時間にわたり提供されることになる。
【0045】
一方、走行予定経路が図9における右側の太線にて示され、走行する道路の道路種別から特定された予想通過地点が、図9における右側通過地点PRであるとき、画像処理プロセッサ22は、この判断結果に基づいて、ピラーPの輪郭4iが表示画面4aの左側に偏倚するように、図10(a)の太線にて示されるように、撮像フレームデータFLMから、右側用の表示フレームデータDPRを切り出す。つまり、画像処理プロセッサ22は、撮像フレームデータFLMにおける表示フレームデータの位置を、シーンに応じて切替える。そして、画像処理プロセッサ22は、所定の演算周期にて、こうした表示フレームデータDPRの切り出しを実行し、所定のフレームレートにて、当該表示フレームデータDPRを表示画面4aに出力する。
【0046】
この際、こうした走行予定経路を走行する車両において、運転者Dに見せるべき画像は、運転者Dが注意を払うべき画像であって、死角領域Zd、及び死角領域に隣接する隣接領域を示す画像、つまり車両Cの前方ではなく、むしろ車両Cの右側を示す画像である。つまり、車両が同じ右旋回を行う場合でさえ、運転者Dが注意を払うべき領域は、そのシーンに応じて異なる。この点、右側用の表示フレームデータDPRに基づいて表示される画像であれば、ピラーPの輪郭4i、つまり死角領域Zdが表示画面4aの左側に偏倚することになり、車両Cの右側の画像が表示画面4aの略全体に表示されることになる。それゆえ、右側用の表示フレームデータDPRに基づく表示処理がなされることにより、運転者Dには、当該運転者Dに見せるべきシーンに応じた画像が、表示画面4aにおいて広い範囲にわたり提供されることになる。
【0047】
そのうえ、通過予想地点が死角領域Zdの右側にある間は、表示画面4aに表示される画像が、表示フレームデータの切り出し範囲に拘わらず、表示画面4aの右側から左側へ移動する(図10(a)における矢印方向を参照)。ピラーPの輪郭4iが仮に表示画面4aの右側に偏倚して表示されると(図10(b)参照)、運転者Dに見せるべき隣接領域を示す画像が、表示画面4aにおける狭い範囲で移動することとなり、運転者Dに見せるべき時間も短くなってしまう。この点、上記右側用の表示フレームデータDPRに基づいて表示画面4aに表示される画像であれば、運転者Dに見せるべき隣接領域の画像が、表示画面4aにおける広い範囲で移動することになり、今後の走行状況にあわせた画像は当然のこと、それの時間的な前後における画像をも、長い時間にわたり表示されることになる。それゆえ、左側用の表示フレームデータDPLに基づく表示処理がなされることにより、運転者Dには、当該運転者Dに見せるべきシーンに応じた画像が長い時間にわたり提供されることになる。
【0048】
次に、上記運転支援システム1、及び運転支援プログラムを用いる運転支援方法の処理
手順について、図11及び図12に従って説明する。なお、以下に示す運転支援処理は、イグニッションモジュールがオンされた場合に、所定時間毎、例えば100m秒ごとに繰り返し実行され、また、車両の走行する走行予定経路は予め設定されているものとする。
【0049】
まずCPU10の演算処理により、運転支援システムの起動条件が満たされているか否かの判定がなされる。運転支援システムの起動条件としては、例えば、カーブ曲率が200R以下の右カーブや交差点等、予め地図描画データMDに設定された起動対象地点に、車両Cが接近していることが挙げられる。
【0050】
まず、GPS受信部13、車速センサ30及びジャイロ31の検出結果を用いるCPU10の演算処理により、車両Cの現在位置が特定される。さらに、予め設定された走行予定経路、起動対象地点、及び車両Cの現在位置を用いるCPU10の演算により、車両Cの現在位置と起動対象地点との間の距離が算出される(ステップS1)。そして、運転支援システムの起動条件が満たされるまで、車両Cの現在位置と起動対象地点との間の距離が算出される(ステップS2においてNO)。そして、起動対象地点に車両Cが接近したと(システムの起動条件が満たされたと)CPU10により判断されると(ステップS2においてYES)、ピラーPにより運転者Dの死角となる死角領域が、画像処理プロセッサ22により特定される(死角領域特定処理:ステップS3)。
【0051】
詳しくは、各位置検出センサ8a〜8cにより、運転者Dの頭部位置が検出され、各位置検出センサ8a〜8cから頭部D1までの各相対距離を用いるCPU10の演算処理により、頭部中心位置Dcが特定される。頭部中心位置Dcが特定されると、ピラーデータPDがROM12から画像処理プロセッサ22に読み出され、また運転者Dの頭部中心位置DcがRAM11から画像処理プロセッサ22に読み出される。そして、ピラーデータPDと頭部中心位置Dcとを用いる画像処理プロセッサ22の演算処理により、頭部中心位置Dcを投影中心としたピラーPの投影領域が、死角領域Zdとして特定される。
【0052】
このようにして死角領域Zdが特定されると、上述したように、仮想投影面VP、及び撮像面CPが、画像処理プロセッサ22の演算処理により設定され、車載カメラ6の焦点が撮像面CP上になる態様にて、撮像データIMが車載カメラ6により取得される。次いで、これら死角領域Zd、仮想投影面VP、撮像面CP、及びカメラ視点6aを用いる画像処理プロセッサ22の演算処理により、上記死角領域線画データBDが生成される。さらに、死角領域線画データBDと撮像フレームデータFLMとを用いる画像処理プロセッサ22の演算処理により、撮像フレームデータFLMごとに、当該撮像フレームデータFLMに対応した死角領域線画データBDが合成される。そして、当該合成された撮像フレームデータFLMを用いる画像処理プロセッサ22の演算処理により、同合成された撮像フレームデータFLMに対する視点変換が実行される。
【0053】
上述のようにして死角領域特定処理が行われると、シーンに応じた表示フレームデータが、画像処理プロセッサ22により生成される(表示位置特定処理:ステップS4)。
詳しくは、車両Cの現在位置、地図描画データMD、及び経路データRDを用いるCPU10の演算処理により、現在、車両Cが走行する道路の道路種別が特定される(ステップS4−1)。次いで、地図描画データMDを用いるCPU10の演算処理により、上記特定された道路種別に対応する走行予定距離が取得される(ステップS4−2)。続いて、予め設定された走行予定経路、及び地図描画データMDを用いるCPU10の演算処理により、走行予定経路に沿って自車の中心位置が通過する軌跡、つまり走行予想軌跡が算出される。さらに、上記算出された走行予想軌跡、取得された走行予定距離、及び車両Cの現在位置を用いるCPU10の演算処理により、その走行予想軌跡に沿って走行予定距離だけ走行したときに車両Cが到達すると予想される地点(運転者に見せるべき画像に対応した地点)、すなわち予想通過地点が特定される(ステップS4−3)。
【0054】
このようにして予想通過地点が特定されると、当該予想通過地点がRAM11から画像処理プロセッサ22に読み出され、予想通過地点と死角領域Zdとを用いる画像処理プロセッサ22の演算処理により、当該予想通過地点が死角領域Zdの右側であるか否かの判断がなされる(ステップS4−4)。そして、予想通過地点が死角領域Zdの右側であると判断されると(ステップS4−5においてYES)、画像処理プロセッサ22の演算処理により、表示画面4aにおけるピラーPの輪郭4iの表示位置が左側に特定される。一方、予想通過地点が死角領域Zdの右側でないと判断されると(ステップS4−5においてNO)、画像処理プロセッサ22の演算処理により、表示画面4aにおけるピラーPの輪郭4iの表示位置が右側に特定される。このようにして表示位置が特定されると、上記合成された撮像フレームデータFLMを用いる画像処理プロセッサ22の演算処理により、表示位置に対応する表示フレームデータが、同撮像フレームデータFLMから切り出される。つまり、予想通過地点が死角領域Zdの右側であると判断されると、撮像フレームデータFLMから右側用の表示フレームデータDPRが切り出される。これに対して、予想通過地点が死角領域Zdの右側でないと判断されると、撮像フレームデータFLMから左側用の表示フレームデータDPLが切り出される。
【0055】
上述のようにして表示位置特定処理が行われると、画像処理プロセッサ22により、所定のフレームレートにて、表示フレームデータがピラーモニター4に出力される(ステップS5)。これにより、予想通過地点と死角領域との位置関係に基づく範囲の画像、つまり、運転者Dに見せるべきシーンに応じた画像が、表示画面4aの広い範囲にわたり提供されることになる。そのうえ、運転者Dに見せるべきシーンに応じた画像が、長い時間にわたり提供されることになる。
【0056】
運転者Dに見せるべきシーンに応じた画像が表示画面4aに表示されると、経路データRD及び車両Cの現在位置を用いるCPU10の演算処理により、運転支援システムの終了条件が満たされているか否かの判定がなされる。運転支援システムの終了条件としては、例えば、運転支援処理の対象となる交差点を車両Cが通過した後に、さらに20mを走行したこと、あるいは運転支援処理の対象となるカーブにてカーブ曲率が200R以下になった後に、さらに5秒が経過したことなど、が挙げられる。そして、運転支援システムの終了条件が満たされるまで、上述する死角領域特定処理、表示位置特定処理、表示処理、及びシステム終了判定が同順に繰り返され、運転支援システムの終了条件が満たされると、運転支援処理が終了される(ステップS7においてYES)。
【0057】
以上説明したように、上記実施形態における運転支援システム、運転支援方法、及び運転支援プログラムによれば、以下のような効果を得ることができる。
(1)上記実施形態によれば、走行予想軌跡に基づく予想通過地点と死角領域Zdとの位置関係に基づいて、ピラーPの輪郭4iの表示位置が特定される。そして、特定された表示位置に基づいて、表示画面4aに表示する画像の範囲が周辺画像から切り出される。このため、ピラーPの輪郭4iの表示位置が、表示画面4aにおける画像の移動方向に基づいて特定されることになる。そして、表示画面4aに表示する画像の範囲が、このようにして特定されたピラーPの輪郭4iの表示位置に基づいて特定されることになる。つまり、表示画面4aに表示される画像の範囲が、表示画面4aにおける画像の移動方向に基づいて変更可能になる。このため、運転者Dに見せるべき画像を、今後の走行状況にあわせて表示画面4a内に表示することが可能になる。
【0058】
(2)上記実施形態によれば、車両Cが走行する道路の道路情報に基づいて、予想通過地点が特定される。車両Cの走行速度は、一般に、車両Cが走行する道路の道路情報に応じて大きく異なる。こうした車両Cの走行速度が大きくなれば、走行予想軌跡に沿って走行する際に運転者の確認すべき地点、即ち、運転者に見せるべき地点までの距離である予
想走行距離が増加し、反対に、車両Cの走行速度が小さくなれば、走行予想軌跡に沿って走行する際に運転者に見せるべき地点までの距離である予想走行距離も減少することになる。そのため、走行予想軌跡に沿って走行する際、車両の走行速度に応じて変化する運転者に見せるべき地点までの距離、即ち、予想走行距離から予想通過地点が特定されるため、こうした予想走行距離が一定値となれば、上述する予想走行距離の増減により、予想通過地点そのものの位置精度が損なわれてしまう。この点、上記実施形態であれば、予想通過地点を特定するための予想走行距離がこうした道路情報に基づいて設定されるため、予想通過地点に関する精度が向上し、上述する効果がより確実なものとなる。
【0059】
(3)上記実施形態では、走行予定経路に基づいて走行予想軌跡が特定されることから、走行予想軌跡に関する精度が向上可能になり、上述する効果がより確実なものとなる。
尚、上記実施形態は以下のように変更して実施することもできる。
【0060】
・運転支援処理に先立って走行予定経路が設定される構成に限らず、運転支援処理に先立って走行予定経路が設定されない構成であっても、例えば、車両Cの周辺における道路形状や道路種別、さらには車両Cの運転状況等に基づいて、通過予想地点が特定される構成であれば、上記(1)(2)と同様の効果が得られる。
【0061】
・通過予想地点の特定に際して、予想走行距離が道路種別毎に特定されるが、こうした構成に限らず、予想走行距離が一定値として扱われる構成であっても、上記(1)と同様の効果が得られ、また予想走行距離の特定処理が割愛される分だけ、運転支援処理に要する演算の負荷が軽減可能にもなる。
【0062】
・撮像フレームデータFLMに視点変換を施す構成に限らず、運転者の視点から見た画像がカメラ視点から得られる構成であれば、こうした視点変換が割愛可能にもなる。こうした構成であれ、上記(1)〜(3)と同様の効果が得られ、また視点変換が割愛される分だけ、運転支援処理に要する演算の負荷が軽減可能にもなる。
【0063】
・死角領域と予想通過地点との位置関係としては、予想通過地点が死角領域の右側であるか否かの関係に限らず、表示画面における画像の移動方向と相関する位置関係であれば、死角領域と予想通過地点との相対的な距離、あるいは相対的な距離及び方向をも適用可能である。
【符号の説明】
【0064】
1…運転支援システム、2…制御手段を構成する運転支援ユニット、3…ディスプレイ、4…表示手段を構成するピラーモニター、4i…輪郭、5…スピーカ、6…周辺画像取得手段を構成する車載カメラ、8a〜8c…位置検出センサ、10…走行予想軌跡特定手段及び予想通過地点特定手段を構成するCPU、11…RAM、12…ROM、13…GPS受信部、14…車両側I/F部、15…地理データ記憶部、16…地図描画プロセッサ、17…外部入力I/F部、19…センサI/F部、21…撮像データ入力部、22…表示位置特定手段、画像範囲特定手段、及び画像抽出手段を構成する画像処理プロセッサ、30…車速センサ、31…ジャイロ、IM…撮像データ、FLM…撮像フレームデータ、DPL,DPR…表示フレームデータ、RD…経路データ、MD…地図描画データ、D
…運転者、BD…死角領域線画データ、P…ピラー、PL…左側通過地点、PR…右側通過地点。
【技術分野】
【0001】
本発明は、運転支援システム、運転支援方法、及び運転支援プログラム、特に車両の車体による運転者の死角に関する画像を車両に搭載された表示装置に表示する運転支援システム、運転支援方法、及び運転支援プログラムに関する。
【背景技術】
【0002】
従来から、安全運転を支援する運転支援システムとして、車両の車体により運転者の死角となる死角領域を可視化するシステムが開発されている。その1つでは、特許文献1に記載されるように、車載カメラにより撮像された過去の撮像画像から死角領域が切り出され、当該切り出された死角領域の画像と、切り出された死角領域の輪郭を示す線画、つまり車体の形状を示す輪郭線とが、現在の撮像画像に重ね合わせられる。そして、重ね合わせられた画像の表示処理によって、疑似的に可視化された死角領域を含む周辺領域と、これら死角領域と周辺領域との境界線とを示す画像が表示画面に表示される。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2003−244688号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、上記運転支援システムが運転者に見せるべき画像とは、運転者が注意を払うべき画像であって、死角領域及び死角領域に隣接する隣接領域が表示されている画像である。これに対して、例えば、特許文献1に記載されるように、車載カメラの撮像領域とは、車体に対して固定され、従って死角領域を示す画像の表示画面内における位置も固定されることが一般的である。そのため、死角領域を示す画像の位置がこのように表示画面内に固定されると、死角領域に隣接する隣接領域を示す画像の位置も、同じく表示画面内に固定されることとなる。
【0005】
だが、運転者が注意を払うべき隣接領域とは、そもそも死角領域に対して固定される領域ではなく、むしろ、車両の走行状況に応じて、死角領域に対して変位する領域である。例えば、旋回半径の小さいコーナーで車両が右旋回をするときには、運転者が注意を払うべき隣接領域は、右側フロントピラーによる死角領域のさらに右側、つまり車体に対して右側の領域になる。その一方、旋回半径の大きいコーナーで車両が右旋回をするときには、運転者が注意を払うべき隣接領域が、右側フロントピラーによる死角領域の左側、つまり車体に対して右斜め前方の領域となる。このように、運転者が注意を払うべき隣接領域が、そもそも死角領域に対して変位する領域であるため、上述のようにして死角領域を示す画像の位置が単純に表示画面内に固定されてしまうと、運転者が注意を払うべき隣接領域を示す画像が、表示画面内にてその表示範囲を拡張できないばかりか、その固定された位置によっては表示不能になる虞もある。
【0006】
本発明は上記問題点に鑑みてなされたものであり、その目的は、運転者が注意を払うべき領域の画像、即ち、運転者に見せるべき画像を表示することができる運転支援システム、運転支援プログラム、及び運転支援方法を提供することにある。
【課題を解決するための手段】
【0007】
上記問題点を解決するために、請求項1に記載の発明は、車両の車体により運転者の死角となる死角領域と、当該死角領域に隣接する隣接領域とを示す画像を表示画面に表示す
る運転支援システムであって、前記車両の周辺を示す周辺画像を取得する周辺画像取得手段と、前記車両の走行予想軌跡を特定する走行予想軌跡特定手段と、前記走行予想軌跡に基づいて、所定距離走行後に車両が通過すると予想される予想通過地点を特定する予想通過地点特定手段と、前記死角領域と前記予想通過地点との位置関係に基づいて、前記車体の輪郭を示す線画の前記表示画面内における表示位置を特定する表示位置特定手段と、前記線画の表示位置に基づいて、前記表示画面に表示する画像の範囲を前記周辺画像に対して特定する画像範囲特定手段と、前記周辺画像から前記範囲の画像を抽出する画像抽出手段と、抽出された前記範囲の画像を、前記死角領域と前記隣接領域とを示す画像として前記表示画面に表示すると共に、前記輪郭の線画を同表示画面内における前記表示位置に表示する表示手段とを備えたことを要旨とする。
【0008】
請求項2に記載の発明は、請求項1に記載の運転支援システムにおいて、前記予想通過地点特定手段が、前記車両の走行する道路の道路情報に基づいて前記所定距離を設定することを要旨とする。
【0009】
請求項3に記載の発明は、請求項1又は2に記載の運転支援システムにおいて、前記走行予想軌跡取得手段が、予め設定されている前記車両の走行予定経路に基づいて前記走行予想軌跡を特定することを要旨とする。
【0010】
請求項4に記載の発明は、車両の車体により運転者の死角となる死角領域と、当該死角領域に隣接する隣接領域とを示す画像を表示画面に表示する制御手段を用いた運転支援方法であって、前記制御手段が、前記車両の周辺を示す周辺画像を取得し、前記車両の走行予想軌跡を特定して、該走行予想軌跡に基づいて、所定距離走行後に車両が通過すると予想される予想通過地点を特定し、前記死角領域と前記予想通過地点との位置関係に基づいて、前記車体の輪郭を示す線画の前記表示画面内における表示位置を特定して、該線画の表示位置に基づいて、前記表示画面に表示する画像の範囲を前記周辺画像に対して特定し、前記周辺画像から前記範囲の画像を抽出して、該抽出された前記範囲の画像を、前記死角領域と前記隣接領域とを示す画像として前記表示画面に表示すると共に、前記輪郭の線画を同表示画面における前記表示位置に表示することを要旨とする。
【0011】
請求項5に記載の発明は、車両の車体により運転者の死角となる死角領域と、当該死角領域に隣接する隣接領域とを示す画像を表示画面に表示する制御手段を用いた運転支援プログラムであって、前記制御手段を、前記車両の周辺を示す周辺画像を取得する周辺画像取得手段と、前記車両の走行予想軌跡を特定する走行予想軌跡特定手段と、前記走行予想軌跡に基づいて、所定距離走行後に車両が通過すると予想される予想通過地点を特定する予想通過地点特定手段と、前記死角領域と前記予想通過地点との位置関係に基づいて、前記車体の輪郭を示す線画の前記表示画面内における表示位置を特定する表示位置特定手段と、前記線画の表示位置に基づいて、前記表示画面に表示する画像の範囲を前記周辺画像に対して特定する画像範囲特定手段と、前記周辺画像から前記範囲の画像を抽出する画像抽出手段と、抽出された前記範囲の画像を、前記死角領域と前記隣接領域とを示す画像として前記表示画面に表示すると共に、前記輪郭の線画を同表示画面内における前記表示位置に表示する表示手段として機能させることを要旨とする。
【0012】
請求項1に記載の運転支援システムによれば、走行予想軌跡に基づく予想通過地点と死角領域との位置関係に基づいて、車体の輪郭を示す線画の表示位置が特定される。そして、特定された表示位置に基づいて、表示画面に表示する画像の範囲が周辺画像から抽出される。車両の周辺を示す周辺画像は、走行する車両の車体に対して移動する画像である。こうした周辺画像の表示画面における移動方向は、車両の周辺に対する死角領域の移動方向に基づいて、推定することが可能である。つまり、周辺画像の表示画面における移動方向は、現在の車両における死角領域と、同車両が通過すると予想される地点、すなわち予
想通過地点との位置関係に基づいて、推定することが可能である。上記のように構成される運転支援システムであれば、それが備える表示位置特定手段によって、車体の輪郭を示す線画の表示位置が、こうした周辺画像の移動方向に基づいて特定されることになる。そして、表示画面に表示する周辺画像の範囲が、このようにして特定された線画の表示位置に基づいて特定されることになる。つまり、表示画面に表示される周辺画像の範囲が、表示画面における画像の移動方向に基づいて変更可能になる。このため、運転者に見せるべき画像を、今後の走行状況にあわせて表示画面内に表示することが可能になる。
【0013】
請求項2に記載の運転支援システムによれば、車両が走行する道路の道路情報に基づいて、予想通過地点が特定される。車両の走行速度は、一般に、車両が走行する道路の道路情報に応じて大きく異なる。こうした車両の走行速度が大きくなれば、走行予想軌跡に沿って走行する際に運転者の確認すべき地点、即ち、運転者に見せるべき画像に対応する地点までの距離が増加し、反対に、車両の走行速度が小さくなれば、走行予想軌跡に沿って走行する際に運転者に見せるべき地点までの距離が減少することになる。そのため、走行予想軌跡に沿って走行する際、車両の走行速度に応じて変化する運転者に見せるべき地点までの距離から予想通過地点を特定すべきであるが、上記所定距離が一定値となれば、予想通過地点そのものの位置精度が損なわれてしまう。この点、上記のように構成される運転支援システムであれば、予想通過地点を特定するための所定距離がこうした道路情報に基づいて設定されるため、予想通過地点に関する精度が向上し、上述する効果がより確実なものとなる。
【0014】
請求項3に記載の運転支援システムによれば、走行予定経路に基づいて走行予想軌跡が特定されることから、走行予想軌跡に関する精度が向上し、上述する効果がより確実なものとなる。
【0015】
請求項4に記載の運転支援方法によれば、走行予想軌跡に基づく予想通過地点と死角領域との位置関係に基づいて、車体の輪郭を示す線画の表示位置が特定される。そして、特定された表示位置に基づいて、表示画面に表示する画像の範囲が周辺画像から抽出される。車両の周辺を示す周辺画像は、走行する車両の車体に対して移動する画像である。こうした周辺画像の表示画面における移動方向は、車両の周辺に対する死角領域の移動方向に基づいて、推定することが可能である。つまり、周辺画像の表示画面における移動方向は、現在の車両における死角領域と、同車両が通過すると予想される地点、すなわち予想通過地点との位置関係に基づいて、推定することが可能である。上記のような運転支援方法であれば、車体の輪郭を示す線画の表示位置が、こうした周辺画像の移動方向に基づいて特定されることになる。そして、表示画面に表示する周辺画像の範囲が、このようにして特定された線画の表示位置に基づいて特定されることになる。それゆえ、表示画面に表示される周辺画像の範囲が、表示画面における画像の移動方向に基づいて変更可能になる。このため、運転者に見せるべき画像を、今後の走行状況にあわせて表示画面内に表示することが可能になる。
【0016】
請求項5に記載の運転支援プログラムによれば、走行予想軌跡に基づく予想通過地点と死角領域との位置関係に基づいて、車体の輪郭を示す線画の表示位置が特定される。そして、特定された表示位置に基づいて、表示画面に表示する画像の範囲が周辺画像から抽出される。車両の周辺を示す周辺画像は、走行する車両の車体に対して移動する画像である。こうした周辺画像の表示画面における移動方向は、車両の周辺に対する死角領域の移動方向に基づいて、推定することが可能である。つまり、周辺画像の表示画面における移動方向は、現在の車両における死角領域と、同車両が通過すると予想される地点、すなわち予想通過地点との位置関係に基づいて、推定することが可能である。上記のような運転支援方法であれば、車体の輪郭を示す線画の表示位置が、こうした周辺画像の移動方向に基づいて特定されることになる。そして、表示画面に表示する周辺画像の範囲が、このよう
にして特定された線画の表示位置に基づいて特定されることになる。それゆえ、表示画面に表示される周辺画像の範囲が、表示画面における画像の移動方向に基づいて変更可能になる。このため、運転者に見せるべき画像を、今後の走行状況にあわせて表示画面内に表示することが可能になる。
【図面の簡単な説明】
【0017】
【図1】本実施形態にかかる運転支援システムの構成を示すブロック図。
【図2】経路データのデータ構成を示す構成図。
【図3】地図描画データのデータ構成を示す構成図。
【図4】各位置検出センサの配置構成を示す構成図。
【図5】車載カメラの撮像領域を車両とともに示す平面図。
【図6】ピラー及びピラーモニターの構成を示す構成図。
【図7】仮想投影面と撮像面との関係を模式的に示す模式図。
【図8】死角線画データが示すピラーの輪郭の線画を示す図。
【図9】死角領域と走行予想軌跡との関係を模式的に示す平面図。
【図10】(a)(b)表示画面に表示する画像の範囲を撮像画像のフレームに示す図。
【図11】運転支援システムの制御処理フローを示すフローチャート。
【図12】表示位置特定処理の処理フローを示すフローチャート。
【発明を実施するための形態】
【0018】
以下、本発明を具体化した一実施形態を図1〜図11に従って説明する。運転支援システム1は、車両に搭載されるかたちに具現化されており、図1に示されるように、制御手段を構成する運転支援ユニット2、ディスプレイ3、表示手段を構成するピラーモニター4、スピーカ5、周辺画像取得手段を構成する車載カメラ6、第1〜第3位置検出センサ8a〜8c、車速センサ30、及びジャイロ31から構成されている。
【0019】
運転支援ユニット2は、走行予想軌跡特定手段及び予想通過地点特定手段を構成するCPU10、RAM11、ROM12、GPS受信部13、車両側I/F部14、地理データ記憶部15、地図描画プロセッサ16、音声プロセッサ18、外部入力I/F部17、センサI/F部19、撮像データ入力部21、及び表示位置特定手段、画像範囲特定手段、及び画像抽出手段を構成する画像処理プロセッサ22から構成されている。
【0020】
CPU10は、RAM11の一部を作業領域として、ROM12に格納された運転支援プログラムに従い、各処理の主制御を実行する。CPU10は、GPS衛星からGPS受信部13が受信した、衛星軌道情報及び時刻情報を取得して、電波航法により自車両の絶対位置を算出する。CPU10は、車両に設けられた車速センサ30及びジャイロ31から、車両側I/F部14を介して、車速に関するデータ及び角速度に関するデータを取得する。そして、CPU10は、車速及び角速度を用いる自律航法により、基準位置からの相対位置を算出し、電波航法で算出した絶対位置と組み合わせて、車両の現在位置を特定する。尚、車両の現在位置を特定する方法は上記に限定されず、例えばGPS受信部13が受信した情報のみから特定してもよいし、GPS受信部13が受信した情報と上述したセンサ以外のセンサとを併用してもよい。
【0021】
地理データ記憶部15は、ハードディスクや光ディスク等の外部記憶媒体から構成されており、目的地までの経路を探索するための経路データRDと、ディスプレイ3に地図画面3aを出力するための各地図描画データMDとを記憶している。
【0022】
経路データRDは、全国を各区域に区画したリージョン毎のデータであって、図2に示されるように、ヘッダRDa、ノードデータRDb、リンクデータRDc、リンクコスト
データRDd、座標データRDeから構成されている。ヘッダRDaは、各経路データRDを管理するためのデータである。ノードデータRDbは、交差点、道路の端点等を示す各ノードの識別データ、隣接するノードの識別データ等から構成されている。リンクデータRDcは、リンク列を構成し、接続ノードを示す各リンクレコード、通行規制を示すデータ等から構成されている。リンクコストデータRDdは、各リンクレコードに対して付与されたリンクID、リンク長、走行レーンの数、平均旅行時間等から構成されたデータ群である。座標データRDeは、各ノードの絶対座標を示すデータである。
【0023】
地図描画データMDは、全国の地図を分割したエリア毎に格納されるデータであり、広域の地図から狭域の地図まで、各階層に分かれるかたちに構成されている。図3に示されるように、各地図描画データMDは、ヘッダMDa、道路データMDb、背景データMDcから構成されている。ヘッダMDaは、それが構成する地図描画データMDの階層、エリア等を示すデータであって、管理目的のデータである。背景データMDcは、道路、市街地、河川等を描画する描画データである。道路データMDbは、道路の形状・種類を示すデータであって、道路属性データMDd、リンク形状データMDe、接続データMDfから構成されている。
【0024】
道路属性データMDdは、例えば、有料道路等の高規格道路、一般道路、細街路等を示す道路種別、道路方向、道路幅、車線数、中央分離帯の有無、道路種別に対応付けられた予想走行距離を示すデータである。予想走行距離とは、それが対応付けられた道路種別の道路において、車両の現在位置から前方であって、運転者に見せるべき地点までの距離を示すものであり、当該道路種別の道路上において、自車が通過すると予想される予想通過地点を特定するときに利用される距離である。例えば、高規格道路、一般道路、細街路には、それぞれ予想走行距離として、100m、30m、10mが対応付けられている。
【0025】
接続データMDfは、各リンクと各ノードの接続状態を示すデータである。リンク形状データMDeは、座標データMDg、形状補間データMDhから構成されている。座標データMDgは、リンク及びノードの座標を示すデータである。形状補間データMDhは、リンク途中に設定され、道路のカーブ形状補間点に関するデータであって、形状補間点の座標、リンクの方位等を示すデータである。
【0026】
CPU10は、上述した経路データRDを用い、出発地や現在位置から目的地までの走行予定経路を探索する。CPU10は、車両の現在位置が、カーブ曲率半径が所定値(例えば、200m)以下の右カーブの開始点に接近しているか否か、さらには交差点に接近しているか否かを判断する。例えば、車両の現在位置が右カーブの開始点の所定距離(例えば、300m)手前に到達したか否か、さらには車両の現在位置が交差点の所定距離手前に到達したか否かを判断する。
【0027】
またCPU10は、上述した地図描画データMDと、探索した走行予定経路とを用い、該走行予定経路に沿って自車の中心が通過する軌跡を、走行予想軌跡として特定する。またCPU10は、自車が走行する道路の道路種別に対応付けられた予想走行距離を取得し、取得した予想走行距離と、特定した走行予想軌跡とを用い、当該走行予想軌跡上において、予想走行距離を走行した後に自車が到達すると予想される予想通過地点(運転者に見せるべき画像に対応する地点)を特定する。
【0028】
地図描画プロセッサ16は、CPU10からの制御信号を受け、車両の現在位置周辺の地図を描画するための地図描画データMDを地理データ記憶部15から読出し、地図出力用のデータを生成して、地図出力用データに基づく地図画面3aをディスプレイ3に表示させる。地図描画プロセッサ16は、車両の現在位置を示す自車位置指標3bがこの地図画面3aに重畳する態様にて地図出力用のデータを生成する。外部入力I/F部17は、
ディスプレイ3に隣接された操作スイッチ3c、タッチパネル式のディスプレイ3から、ユーザの入力操作に基づく信号を受け、入力操作に関する操作信号をCPU10に出力する。音声プロセッサ18は、CPU10からの制御信号を受け、図示しない音声ファイルを用い、例えば、目的地までの経路を案内する音声を、スピーカ5に出力させる。
【0029】
センサI/F部19は、第1〜第3位置検出センサ8a〜8cの各々から検出信号を受信する。第1〜第3位置検出センサ8a〜8cは、超音波センサから構成されており、図4に示されるように、フロントシートFに着座した運転者Dを囲うかたちに車室内に取り付けられている。第1位置検出センサ8aは、運転者Dの斜め前方左側から頭部D1までの距離を検出するべく、ルームミラー(図示略)近傍に取り付けられている。第2位置検出センサ8bは、運転者Dの斜め前方右側から頭部D1までの距離を検出するべく、ドアウィンドウW2(図5参照)の上端付近に取り付けられている。第3位置検出センサ8cは、運転者Dの左側から頭部D1までの距離を検出するべく、ルーフRの内側に取り付けられている。各位置検出センサ8a〜8cから発信された超音波は、運転者Dの頭部D1により反射される。各位置検出センサ8a〜8cは、超音波が発信されてから、その反射波を受信するまでの時間を計測し、その計測時間に基づいて、頭部D1までの相対距離を算出する。算出された各相対距離は、センサI/F部19を介してCPU10に出力される。なお、頭部D1までの相対距離は、各位置検出センサ8a〜8cからの信号に基づいて、センサI/F部19が算出する構成であってもよい。
【0030】
CPU10は、標準的な体型の運転者Dが運転席に着座した状態にて、同運転者Dの頭部D1が移動し得る頭部移動範囲と、第1〜第3位置検出センサ8a〜8cが検出した各相対距離とに基づき、三角測量等の公知の方法により、運転者Dの頭部D1の位置である頭部中心位置Dcを特定する。
【0031】
撮像データ入力部21は、CPU10からの制御信号を受けて、車両に搭載された車載カメラ6を駆動する。車載カメラ6は、車両の周辺領域における被写体の光学情報を電気信号に変換して出力する装置であって、レンズ、ミラー等から構成される光学機構、CCD撮像素子、自動焦点機構等から構成されている。車載カメラ6は、図5に示されるように、その光軸を車両Cの前方に向けるかたちに、車両CのルーフRの外側に取り付けられている。また、車載カメラ6は、それの撮像領域Z1が、車両の周辺領域のうちで、車両Cの前方右側と車両Cの右側の一部とを含むように、車両右側に配置された運転席に合わせて、運転席側である右側のピラーP近傍に取り付けられている。
【0032】
そして、撮像データ入力部21は、車載カメラ6を駆動して、撮像領域Z1における被写体の光学情報を、車載カメラ6から撮像データIMとして受信する。また、撮像データ入力部21は、車載カメラ6を駆動して、車載カメラ6の設置位置、角度(パン・チルト・ロール)、及び画角を、車載カメラ6からカメラデータとして受信する。車載カメラ6が生成する撮像データIMは、撮像データ入力部21を介して画像処理プロセッサ22に送信される。
【0033】
画像処理プロセッサ22は、撮像データ入力部21が受信する撮像データIMを用い、ピラーモニター4の表示画面4aに、車両の周辺領域を示す周辺画像を、シーンに応じた範囲で表示させる。ピラーモニター4は、図6に示されるように、車両Cの右側のピラーPの内面に搭載されて、画像処理プロセッサ22から入力される表示フレームデータに基づいて表示画面4aに画像を表示する。
【0034】
上述するように、シーンに応じた範囲の画像を表示させる際、画像処理プロセッサ22はまず、右側のピラーPにより運転者Dの死角となる死角領域を特定する。また、画像処理プロセッサ22は、撮像データIMを構成する撮像フレームデータFLMごとに、当該
撮像フレームデータFLMに対応した死角領域線画データBDを合成する(図8参照)。そして、画像処理プロセッサ22は、死角領域線画データBDが合成された撮像フレームデータFLMに対して、車載カメラ6のカメラ視点6aを運転者Dの視点に変換する視点変換を施す。なお、死角領域線画データBDとは、合成された撮像フレームデータFLMが視点変換後に示す周辺画像にて、運転者Dの視点から見れば死角領域となる部分の輪郭、つまりピラーPの輪郭4i(図8参照)を示すことになるデータであって、撮像フレームデータFLMと同じく多数の画素データから構成される二値画像データである。
【0035】
さらに、画像処理プロセッサ22は、上述した予想通過地点と死角領域との位置関係に基づいて、表示画面4aにおける上記ピラーPの輪郭4iの表示位置を特定する。また、画像処理プロセッサ22は、ピラーPの輪郭4iが上記表示位置に表示されるように、上記視点変換後の撮像フレームデータFLMから、表示画面4aに表示させるデータを切り出す。そして、画像処理プロセッサ22は、このようにして切り出されたデータをピラーモニター4に出力し、ピラーPの輪郭4iが特定された表示位置にて表示される態様、つまりシーンに応じた範囲の周辺画像が表示される態様にて、ピラーモニター4に画像を表示させる。
【0036】
上述する画像処理プロセッサ22の処理の態様、つまり(a)ピラーPによる死角領域を特定し、死角領域線画データBDと撮像フレームデータFLMとの合成データに視点変換を施す、死角領域特定処理の態様と、(b)表示画面におけるピラーPの輪郭4iの表示位置を特定し、視点変換後の合成データから表示フレームデータを切り出す、表示位置特定処理の態様とについて、以下に詳述する。
【0037】
(a)死角領域特定処理
例えば、カーブ曲率が所定値の右カープの開始点や交差点に車両Cが接近することにより、運転支援システム1の起動条件が満たされると、画像処理プロセッサ22は、CPU10からの制御信号を受けて、ピラーPの位置及びその三次元形状を示すピラーデータPDをROM12から読み出すとともに、第1〜第3位置検出センサ8a〜8cの検出結果である運転者Dの頭部中心位置Dcを取得する。そして、画像処理プロセッサ22は、頭部中心位置Dcを投影中心として、ピラーPが投影される領域を死角領域Zdに特定する。例えば、図7に示されるように、画像処理プロセッサ22は、ピラーPの各端点P1,P2を通る線L1,L2を算出し、これらの線L1,L2にて挟まれる領域を死角領域Zdに特定する。
【0038】
このようにして死角領域Zdが特定されると、画像処理プロセッサ22は、次いで、視点変換用の基準点Pcを特定する。例えば、図7に示されるように、画像処理プロセッサ22は、ピラーモニター4の表示画面4aの中心と頭部中心位置Dcとを結ぶ直線上において、頭部中心位置Dcから所定の距離だけ離間した点を、視点変換用の基準点Pcとして特定する。画像処理プロセッサ22は、基準点Pcの座標を特定すると、次いで、基準点Pcと頭部中心位置Dcとを用いて、仮想投影面VPの位置を決定する。このようにして決定される仮想投影面VPとは、車載カメラ6によって撮像された画像が仮想的に投影される平面である。例えば、画像処理プロセッサ22は、基準点Pcを含んで、かつ、頭部中心位置Dcと基準点Pcとを結ぶ中心線Laに対して垂直な平面を、仮想投影面VPとして決定する。
【0039】
このようにして仮想投影面VPが決定されると、画像処理プロセッサ22は、次いで、撮像データ入力部21を介してカメラデータを取得し、車載カメラ6の設置位置、角度、及び画角に基づいて、上記仮想投影面VPの位置に応じた撮像面CPを決定する。撮像面CPとは、車載カメラ6の光軸AXに対して垂直な平面であって、車載カメラ6の焦点位置が面内に設定される平面であり、仮想投影面VPよりも、車両Cに近い位置に設定され
る平面である。画像処理プロセッサ22は、撮像面CPを決定すると、車載カメラ6の焦点が撮像面CP上になる態様にて、複数の撮像フレームデータFLMから構成される撮像データIMを、撮像データ入力部21を介して、同車載カメラ6に取得させる。
【0040】
また、画像処理プロセッサ22は、上記死角領域Zd、仮想投影面VP、撮像面CP、及びカメラ視点6aを用い、カメラ視点6aから仮想投影面VPに投影された投影像が死角領域Zdの輪郭、すなわちピラーPの輪郭4iとなるかたちの線画を、撮像面CP上に特定する。例えば、図7に示されるように、画像処理プロセッサ22は、仮想投影面VPにおける死角領域Zdの輪郭(例えば、左端点VP1及び右端点VP2)とカメラ視点6aとを結んだ複数の直線を特定し、これら複数の直線と撮像面CPとの交点(例えば、交点Lf3,Lf4)を特定する。そして、画像処理プロセッサ22は、撮像フレームデータFLMが撮像面CP上に示す画像と、上記撮像面CP上の交点との関係から、例えば、図8に示されるように、撮像フレームデータFLMを構成する多数の画素のうちで、上記撮像面CP上の交点に対応する画素群を示すデータを、死角領域線画データBDとして生成する。そして、画像処理プロセッサ22は、撮像データIMを構成する撮像フレームデータFLMごとに、当該撮像フレームデータFLMに対応した死角領域線画データBDを合成する。続いて、画像処理プロセッサ22は、撮像面CP上の画像を仮想投影平面上に投影した画像が表示画面4aに表示されるべく、撮像面CP上の画像を構成する各画素を、仮想投影平面上の画像を構成する各画素に変換する処理を行う。つまり、車載カメラ6のカメラ視点6aを運転者Dの視点に変換する視点変換を、上記死角領域線画データBDが合成された撮像フレームデータに対して施す。
【0041】
(b)表示位置特定処理
画像処理プロセッサ22は、上述のようにして死角領域特定処理を実行すると、次いで、CPU10により演算される予想通過地点をRAM11から読み出し、当該予想通過地点が死角領域Zdの右側であるか否かを判断する。そして、画像処理プロセッサ22は、その判断結果に基づいて、表示画面4aにおけるピラーPの輪郭4iの表示位置を特定する。つまり、画像処理プロセッサ22は、こうした予想通過地点と死角領域Zdとの位置関係に基づいて、上記視点変換後の撮像フレームデータFLMから切り出す表示フレームデータの切り出し範囲(表示画面に表示する画像の範囲)を特定する。なお、表示フレームデータの切り出し範囲は、予想通過地点と死角領域Zdとの位置関係に対応付けられるかたちにて、画像処理プロセッサ22が記憶している。
【0042】
例えば、走行予定経路が、図9における左側の太線にて示され、走行する道路の道路種別から特定された予想通過地点が、図9における左側通過地点PLであるとき、画像処理プロセッサ22は、当該予想通過地点が死角領域Zdの右側でないと判断する。そして、画像処理プロセッサ22は、この判断結果に基づいて、ピラーPの輪郭4iが表示画面4aの右側に偏倚するように、図10(b)の太線にて示されるように、撮像フレームデータFLMから、左側用の表示フレームデータDPLを切り出す。画像処理プロセッサ22は、所定の演算周期にて、こうした表示フレームデータDPLの切り出しを撮像フレームデータFLMごとに実行し、所定のフレームレートにて、当該表示フレームデータDPLを表示画面4aに出力する。
【0043】
この際、こうした走行予定経路を走行する車両において、運転者Dに見せるべき画像は、運転者Dが注意を払うべき画像であって、死角領域Zd、及び死角領域に隣接する隣接領域を示す画像、つまり車両Cの前方右側を示す画像である。この点、左側用の表示フレームデータDPLに基づいて表示される画像であれば、ピラーPの輪郭4i、つまり死角領域Zdが表示画面4aの右側に偏倚することになり、車両Cの前方右側の画像が表示画面4aの略全体に表示されることになる。それゆえ、左側用の表示フレームデータDPLに基づく表示処理がなされることにより、運転者Dには、当該運転者Dに見せるべきシー
ンに応じた画像が、表示画面4aにおいて広い範囲にわたり提供されることになる。
【0044】
そのうえ、通過予想地点が死角領域Zdの右側にない間は、表示画面4aに表示される画像が、表示フレームデータの切り出し範囲に拘わらず、表示画面4aの左側から右側へ移動する(図10(b)における矢印方向を参照)。ピラーPの輪郭4iが仮に表示画面4aの左側に偏倚して表示されると(図10(a)参照)、運転者Dに見せるべき隣接領域を示す画像が、表示画面4aにおける狭い範囲で移動することとなり、運転者Dに見せるべき時間も短くなってしまう。この点、上記左側用の表示フレームデータDPLに基づいて表示画面4aに表示される画像であれば、運転者Dに見せるべき隣接領域の画像が、表示画面4aにおける広い範囲で移動することになり、今後の走行状況にあわせた画像は当然のこと、それの時間的な前後における画像をも、長い時間にわたり表示されることになる。それゆえ、左側用の表示フレームデータDPLに基づく表示処理がなされることにより、運転者Dには、当該運転者Dに見せるべきシーンに応じた画像が、長い時間にわたり提供されることになる。
【0045】
一方、走行予定経路が図9における右側の太線にて示され、走行する道路の道路種別から特定された予想通過地点が、図9における右側通過地点PRであるとき、画像処理プロセッサ22は、この判断結果に基づいて、ピラーPの輪郭4iが表示画面4aの左側に偏倚するように、図10(a)の太線にて示されるように、撮像フレームデータFLMから、右側用の表示フレームデータDPRを切り出す。つまり、画像処理プロセッサ22は、撮像フレームデータFLMにおける表示フレームデータの位置を、シーンに応じて切替える。そして、画像処理プロセッサ22は、所定の演算周期にて、こうした表示フレームデータDPRの切り出しを実行し、所定のフレームレートにて、当該表示フレームデータDPRを表示画面4aに出力する。
【0046】
この際、こうした走行予定経路を走行する車両において、運転者Dに見せるべき画像は、運転者Dが注意を払うべき画像であって、死角領域Zd、及び死角領域に隣接する隣接領域を示す画像、つまり車両Cの前方ではなく、むしろ車両Cの右側を示す画像である。つまり、車両が同じ右旋回を行う場合でさえ、運転者Dが注意を払うべき領域は、そのシーンに応じて異なる。この点、右側用の表示フレームデータDPRに基づいて表示される画像であれば、ピラーPの輪郭4i、つまり死角領域Zdが表示画面4aの左側に偏倚することになり、車両Cの右側の画像が表示画面4aの略全体に表示されることになる。それゆえ、右側用の表示フレームデータDPRに基づく表示処理がなされることにより、運転者Dには、当該運転者Dに見せるべきシーンに応じた画像が、表示画面4aにおいて広い範囲にわたり提供されることになる。
【0047】
そのうえ、通過予想地点が死角領域Zdの右側にある間は、表示画面4aに表示される画像が、表示フレームデータの切り出し範囲に拘わらず、表示画面4aの右側から左側へ移動する(図10(a)における矢印方向を参照)。ピラーPの輪郭4iが仮に表示画面4aの右側に偏倚して表示されると(図10(b)参照)、運転者Dに見せるべき隣接領域を示す画像が、表示画面4aにおける狭い範囲で移動することとなり、運転者Dに見せるべき時間も短くなってしまう。この点、上記右側用の表示フレームデータDPRに基づいて表示画面4aに表示される画像であれば、運転者Dに見せるべき隣接領域の画像が、表示画面4aにおける広い範囲で移動することになり、今後の走行状況にあわせた画像は当然のこと、それの時間的な前後における画像をも、長い時間にわたり表示されることになる。それゆえ、左側用の表示フレームデータDPLに基づく表示処理がなされることにより、運転者Dには、当該運転者Dに見せるべきシーンに応じた画像が長い時間にわたり提供されることになる。
【0048】
次に、上記運転支援システム1、及び運転支援プログラムを用いる運転支援方法の処理
手順について、図11及び図12に従って説明する。なお、以下に示す運転支援処理は、イグニッションモジュールがオンされた場合に、所定時間毎、例えば100m秒ごとに繰り返し実行され、また、車両の走行する走行予定経路は予め設定されているものとする。
【0049】
まずCPU10の演算処理により、運転支援システムの起動条件が満たされているか否かの判定がなされる。運転支援システムの起動条件としては、例えば、カーブ曲率が200R以下の右カーブや交差点等、予め地図描画データMDに設定された起動対象地点に、車両Cが接近していることが挙げられる。
【0050】
まず、GPS受信部13、車速センサ30及びジャイロ31の検出結果を用いるCPU10の演算処理により、車両Cの現在位置が特定される。さらに、予め設定された走行予定経路、起動対象地点、及び車両Cの現在位置を用いるCPU10の演算により、車両Cの現在位置と起動対象地点との間の距離が算出される(ステップS1)。そして、運転支援システムの起動条件が満たされるまで、車両Cの現在位置と起動対象地点との間の距離が算出される(ステップS2においてNO)。そして、起動対象地点に車両Cが接近したと(システムの起動条件が満たされたと)CPU10により判断されると(ステップS2においてYES)、ピラーPにより運転者Dの死角となる死角領域が、画像処理プロセッサ22により特定される(死角領域特定処理:ステップS3)。
【0051】
詳しくは、各位置検出センサ8a〜8cにより、運転者Dの頭部位置が検出され、各位置検出センサ8a〜8cから頭部D1までの各相対距離を用いるCPU10の演算処理により、頭部中心位置Dcが特定される。頭部中心位置Dcが特定されると、ピラーデータPDがROM12から画像処理プロセッサ22に読み出され、また運転者Dの頭部中心位置DcがRAM11から画像処理プロセッサ22に読み出される。そして、ピラーデータPDと頭部中心位置Dcとを用いる画像処理プロセッサ22の演算処理により、頭部中心位置Dcを投影中心としたピラーPの投影領域が、死角領域Zdとして特定される。
【0052】
このようにして死角領域Zdが特定されると、上述したように、仮想投影面VP、及び撮像面CPが、画像処理プロセッサ22の演算処理により設定され、車載カメラ6の焦点が撮像面CP上になる態様にて、撮像データIMが車載カメラ6により取得される。次いで、これら死角領域Zd、仮想投影面VP、撮像面CP、及びカメラ視点6aを用いる画像処理プロセッサ22の演算処理により、上記死角領域線画データBDが生成される。さらに、死角領域線画データBDと撮像フレームデータFLMとを用いる画像処理プロセッサ22の演算処理により、撮像フレームデータFLMごとに、当該撮像フレームデータFLMに対応した死角領域線画データBDが合成される。そして、当該合成された撮像フレームデータFLMを用いる画像処理プロセッサ22の演算処理により、同合成された撮像フレームデータFLMに対する視点変換が実行される。
【0053】
上述のようにして死角領域特定処理が行われると、シーンに応じた表示フレームデータが、画像処理プロセッサ22により生成される(表示位置特定処理:ステップS4)。
詳しくは、車両Cの現在位置、地図描画データMD、及び経路データRDを用いるCPU10の演算処理により、現在、車両Cが走行する道路の道路種別が特定される(ステップS4−1)。次いで、地図描画データMDを用いるCPU10の演算処理により、上記特定された道路種別に対応する走行予定距離が取得される(ステップS4−2)。続いて、予め設定された走行予定経路、及び地図描画データMDを用いるCPU10の演算処理により、走行予定経路に沿って自車の中心位置が通過する軌跡、つまり走行予想軌跡が算出される。さらに、上記算出された走行予想軌跡、取得された走行予定距離、及び車両Cの現在位置を用いるCPU10の演算処理により、その走行予想軌跡に沿って走行予定距離だけ走行したときに車両Cが到達すると予想される地点(運転者に見せるべき画像に対応した地点)、すなわち予想通過地点が特定される(ステップS4−3)。
【0054】
このようにして予想通過地点が特定されると、当該予想通過地点がRAM11から画像処理プロセッサ22に読み出され、予想通過地点と死角領域Zdとを用いる画像処理プロセッサ22の演算処理により、当該予想通過地点が死角領域Zdの右側であるか否かの判断がなされる(ステップS4−4)。そして、予想通過地点が死角領域Zdの右側であると判断されると(ステップS4−5においてYES)、画像処理プロセッサ22の演算処理により、表示画面4aにおけるピラーPの輪郭4iの表示位置が左側に特定される。一方、予想通過地点が死角領域Zdの右側でないと判断されると(ステップS4−5においてNO)、画像処理プロセッサ22の演算処理により、表示画面4aにおけるピラーPの輪郭4iの表示位置が右側に特定される。このようにして表示位置が特定されると、上記合成された撮像フレームデータFLMを用いる画像処理プロセッサ22の演算処理により、表示位置に対応する表示フレームデータが、同撮像フレームデータFLMから切り出される。つまり、予想通過地点が死角領域Zdの右側であると判断されると、撮像フレームデータFLMから右側用の表示フレームデータDPRが切り出される。これに対して、予想通過地点が死角領域Zdの右側でないと判断されると、撮像フレームデータFLMから左側用の表示フレームデータDPLが切り出される。
【0055】
上述のようにして表示位置特定処理が行われると、画像処理プロセッサ22により、所定のフレームレートにて、表示フレームデータがピラーモニター4に出力される(ステップS5)。これにより、予想通過地点と死角領域との位置関係に基づく範囲の画像、つまり、運転者Dに見せるべきシーンに応じた画像が、表示画面4aの広い範囲にわたり提供されることになる。そのうえ、運転者Dに見せるべきシーンに応じた画像が、長い時間にわたり提供されることになる。
【0056】
運転者Dに見せるべきシーンに応じた画像が表示画面4aに表示されると、経路データRD及び車両Cの現在位置を用いるCPU10の演算処理により、運転支援システムの終了条件が満たされているか否かの判定がなされる。運転支援システムの終了条件としては、例えば、運転支援処理の対象となる交差点を車両Cが通過した後に、さらに20mを走行したこと、あるいは運転支援処理の対象となるカーブにてカーブ曲率が200R以下になった後に、さらに5秒が経過したことなど、が挙げられる。そして、運転支援システムの終了条件が満たされるまで、上述する死角領域特定処理、表示位置特定処理、表示処理、及びシステム終了判定が同順に繰り返され、運転支援システムの終了条件が満たされると、運転支援処理が終了される(ステップS7においてYES)。
【0057】
以上説明したように、上記実施形態における運転支援システム、運転支援方法、及び運転支援プログラムによれば、以下のような効果を得ることができる。
(1)上記実施形態によれば、走行予想軌跡に基づく予想通過地点と死角領域Zdとの位置関係に基づいて、ピラーPの輪郭4iの表示位置が特定される。そして、特定された表示位置に基づいて、表示画面4aに表示する画像の範囲が周辺画像から切り出される。このため、ピラーPの輪郭4iの表示位置が、表示画面4aにおける画像の移動方向に基づいて特定されることになる。そして、表示画面4aに表示する画像の範囲が、このようにして特定されたピラーPの輪郭4iの表示位置に基づいて特定されることになる。つまり、表示画面4aに表示される画像の範囲が、表示画面4aにおける画像の移動方向に基づいて変更可能になる。このため、運転者Dに見せるべき画像を、今後の走行状況にあわせて表示画面4a内に表示することが可能になる。
【0058】
(2)上記実施形態によれば、車両Cが走行する道路の道路情報に基づいて、予想通過地点が特定される。車両Cの走行速度は、一般に、車両Cが走行する道路の道路情報に応じて大きく異なる。こうした車両Cの走行速度が大きくなれば、走行予想軌跡に沿って走行する際に運転者の確認すべき地点、即ち、運転者に見せるべき地点までの距離である予
想走行距離が増加し、反対に、車両Cの走行速度が小さくなれば、走行予想軌跡に沿って走行する際に運転者に見せるべき地点までの距離である予想走行距離も減少することになる。そのため、走行予想軌跡に沿って走行する際、車両の走行速度に応じて変化する運転者に見せるべき地点までの距離、即ち、予想走行距離から予想通過地点が特定されるため、こうした予想走行距離が一定値となれば、上述する予想走行距離の増減により、予想通過地点そのものの位置精度が損なわれてしまう。この点、上記実施形態であれば、予想通過地点を特定するための予想走行距離がこうした道路情報に基づいて設定されるため、予想通過地点に関する精度が向上し、上述する効果がより確実なものとなる。
【0059】
(3)上記実施形態では、走行予定経路に基づいて走行予想軌跡が特定されることから、走行予想軌跡に関する精度が向上可能になり、上述する効果がより確実なものとなる。
尚、上記実施形態は以下のように変更して実施することもできる。
【0060】
・運転支援処理に先立って走行予定経路が設定される構成に限らず、運転支援処理に先立って走行予定経路が設定されない構成であっても、例えば、車両Cの周辺における道路形状や道路種別、さらには車両Cの運転状況等に基づいて、通過予想地点が特定される構成であれば、上記(1)(2)と同様の効果が得られる。
【0061】
・通過予想地点の特定に際して、予想走行距離が道路種別毎に特定されるが、こうした構成に限らず、予想走行距離が一定値として扱われる構成であっても、上記(1)と同様の効果が得られ、また予想走行距離の特定処理が割愛される分だけ、運転支援処理に要する演算の負荷が軽減可能にもなる。
【0062】
・撮像フレームデータFLMに視点変換を施す構成に限らず、運転者の視点から見た画像がカメラ視点から得られる構成であれば、こうした視点変換が割愛可能にもなる。こうした構成であれ、上記(1)〜(3)と同様の効果が得られ、また視点変換が割愛される分だけ、運転支援処理に要する演算の負荷が軽減可能にもなる。
【0063】
・死角領域と予想通過地点との位置関係としては、予想通過地点が死角領域の右側であるか否かの関係に限らず、表示画面における画像の移動方向と相関する位置関係であれば、死角領域と予想通過地点との相対的な距離、あるいは相対的な距離及び方向をも適用可能である。
【符号の説明】
【0064】
1…運転支援システム、2…制御手段を構成する運転支援ユニット、3…ディスプレイ、4…表示手段を構成するピラーモニター、4i…輪郭、5…スピーカ、6…周辺画像取得手段を構成する車載カメラ、8a〜8c…位置検出センサ、10…走行予想軌跡特定手段及び予想通過地点特定手段を構成するCPU、11…RAM、12…ROM、13…GPS受信部、14…車両側I/F部、15…地理データ記憶部、16…地図描画プロセッサ、17…外部入力I/F部、19…センサI/F部、21…撮像データ入力部、22…表示位置特定手段、画像範囲特定手段、及び画像抽出手段を構成する画像処理プロセッサ、30…車速センサ、31…ジャイロ、IM…撮像データ、FLM…撮像フレームデータ、DPL,DPR…表示フレームデータ、RD…経路データ、MD…地図描画データ、D
…運転者、BD…死角領域線画データ、P…ピラー、PL…左側通過地点、PR…右側通過地点。
【特許請求の範囲】
【請求項1】
車両の車体により運転者の死角となる死角領域と、当該死角領域に隣接する隣接領域とを示す画像を表示画面に表示する運転支援システムであって、
前記車両の周辺を示す周辺画像を取得する周辺画像取得手段と、
前記車両の走行予想軌跡を特定する走行予想軌跡特定手段と、
前記走行予想軌跡に基づいて、所定距離走行後に車両が通過すると予想される予想通過地点を特定する予想通過地点特定手段と、
前記死角領域と前記予想通過地点との位置関係に基づいて、前記車体の輪郭を示す線画の前記表示画面内における表示位置を特定する表示位置特定手段と、
前記線画の表示位置に基づいて、前記表示画面に表示する画像の範囲を前記周辺画像に対して特定する画像範囲特定手段と、
前記周辺画像から前記範囲の画像を抽出する画像抽出手段と、
抽出された前記範囲の画像を、前記死角領域と前記隣接領域とを示す画像として前記表示画面に表示すると共に、前記輪郭の線画を同表示画面内における前記表示位置に表示する表示手段と、
を備えたことを特徴とする運転支援システム。
【請求項2】
前記予想通過地点特定手段は、
前記車両の走行する道路の道路情報に基づいて前記所定距離を設定する
ことを特徴とする請求項1に記載の運転支援システム。
【請求項3】
前記走行予想軌跡特定手段は、
予め設定されている前記車両の走行予定経路に基づいて前記走行予想軌跡を特定する
ことを特徴とする請求項1又は2に記載の運転支援システム。
【請求項4】
車両の車体により運転者の死角となる死角領域と、当該死角領域に隣接する隣接領域とを示す画像を表示画面に表示する制御手段を用いた運転支援方法であって、
前記制御手段が、
前記車両の周辺を示す周辺画像を取得し、
前記車両の走行予想軌跡を特定して、該走行予想軌跡に基づいて、所定距離走行後に車両が通過すると予想される予想通過地点を特定し、
前記死角領域と前記予想通過地点との位置関係に基づいて、前記車体の輪郭を示す線画の前記表示画面内における表示位置を特定して、該線画の表示位置に基づいて、前記表示画面に表示する画像の範囲を前記周辺画像に対して特定し、
前記周辺画像から前記範囲の画像を抽出して、該抽出された前記範囲の画像を、前記死角領域と前記隣接領域とを示す画像として前記表示画面に表示すると共に、前記輪郭の線画を同表示画面における前記表示位置に表示する
ことを特徴とする運転支援方法。
【請求項5】
車両の車体により運転者の死角となる死角領域と、当該死角領域に隣接する隣接領域とを示す画像を表示画面に表示する制御手段を用いた運転支援プログラムであって、
前記制御手段を、
前記車両の周辺を示す周辺画像を取得する周辺画像取得手段と、
前記車両の走行予想軌跡を特定する走行予想軌跡特定手段と、
前記走行予想軌跡に基づいて、所定距離走行後に車両が通過すると予想される予想通過地点を特定する予想通過地点特定手段と、
前記死角領域と前記予想通過地点との位置関係に基づいて、前記車体の輪郭を示す線画の前記表示画面内における表示位置を特定する表示位置特定手段と、
前記線画の表示位置に基づいて、前記表示画面に表示する画像の範囲を前記周辺画像に
対して特定する画像範囲特定手段と、
前記周辺画像から前記範囲の画像を抽出する画像抽出手段と、
抽出された前記範囲の画像を、前記死角領域と前記隣接領域とを示す画像として前記表示画面に表示すると共に、前記輪郭の線画を同表示画面内における前記表示位置に表示する表示手段として機能させる
ことを特徴とする運転支援プログラム。
【請求項1】
車両の車体により運転者の死角となる死角領域と、当該死角領域に隣接する隣接領域とを示す画像を表示画面に表示する運転支援システムであって、
前記車両の周辺を示す周辺画像を取得する周辺画像取得手段と、
前記車両の走行予想軌跡を特定する走行予想軌跡特定手段と、
前記走行予想軌跡に基づいて、所定距離走行後に車両が通過すると予想される予想通過地点を特定する予想通過地点特定手段と、
前記死角領域と前記予想通過地点との位置関係に基づいて、前記車体の輪郭を示す線画の前記表示画面内における表示位置を特定する表示位置特定手段と、
前記線画の表示位置に基づいて、前記表示画面に表示する画像の範囲を前記周辺画像に対して特定する画像範囲特定手段と、
前記周辺画像から前記範囲の画像を抽出する画像抽出手段と、
抽出された前記範囲の画像を、前記死角領域と前記隣接領域とを示す画像として前記表示画面に表示すると共に、前記輪郭の線画を同表示画面内における前記表示位置に表示する表示手段と、
を備えたことを特徴とする運転支援システム。
【請求項2】
前記予想通過地点特定手段は、
前記車両の走行する道路の道路情報に基づいて前記所定距離を設定する
ことを特徴とする請求項1に記載の運転支援システム。
【請求項3】
前記走行予想軌跡特定手段は、
予め設定されている前記車両の走行予定経路に基づいて前記走行予想軌跡を特定する
ことを特徴とする請求項1又は2に記載の運転支援システム。
【請求項4】
車両の車体により運転者の死角となる死角領域と、当該死角領域に隣接する隣接領域とを示す画像を表示画面に表示する制御手段を用いた運転支援方法であって、
前記制御手段が、
前記車両の周辺を示す周辺画像を取得し、
前記車両の走行予想軌跡を特定して、該走行予想軌跡に基づいて、所定距離走行後に車両が通過すると予想される予想通過地点を特定し、
前記死角領域と前記予想通過地点との位置関係に基づいて、前記車体の輪郭を示す線画の前記表示画面内における表示位置を特定して、該線画の表示位置に基づいて、前記表示画面に表示する画像の範囲を前記周辺画像に対して特定し、
前記周辺画像から前記範囲の画像を抽出して、該抽出された前記範囲の画像を、前記死角領域と前記隣接領域とを示す画像として前記表示画面に表示すると共に、前記輪郭の線画を同表示画面における前記表示位置に表示する
ことを特徴とする運転支援方法。
【請求項5】
車両の車体により運転者の死角となる死角領域と、当該死角領域に隣接する隣接領域とを示す画像を表示画面に表示する制御手段を用いた運転支援プログラムであって、
前記制御手段を、
前記車両の周辺を示す周辺画像を取得する周辺画像取得手段と、
前記車両の走行予想軌跡を特定する走行予想軌跡特定手段と、
前記走行予想軌跡に基づいて、所定距離走行後に車両が通過すると予想される予想通過地点を特定する予想通過地点特定手段と、
前記死角領域と前記予想通過地点との位置関係に基づいて、前記車体の輪郭を示す線画の前記表示画面内における表示位置を特定する表示位置特定手段と、
前記線画の表示位置に基づいて、前記表示画面に表示する画像の範囲を前記周辺画像に
対して特定する画像範囲特定手段と、
前記周辺画像から前記範囲の画像を抽出する画像抽出手段と、
抽出された前記範囲の画像を、前記死角領域と前記隣接領域とを示す画像として前記表示画面に表示すると共に、前記輪郭の線画を同表示画面内における前記表示位置に表示する表示手段として機能させる
ことを特徴とする運転支援プログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【公開番号】特開2010−238147(P2010−238147A)
【公開日】平成22年10月21日(2010.10.21)
【国際特許分類】
【出願番号】特願2009−87920(P2009−87920)
【出願日】平成21年3月31日(2009.3.31)
【出願人】(000100768)アイシン・エィ・ダブリュ株式会社 (3,717)
【Fターム(参考)】
【公開日】平成22年10月21日(2010.10.21)
【国際特許分類】
【出願日】平成21年3月31日(2009.3.31)
【出願人】(000100768)アイシン・エィ・ダブリュ株式会社 (3,717)
【Fターム(参考)】
[ Back to top ]