車載システム
【課題】路側機から受信した障害物の情報に基いて、ユーザが障害物を即座に把握できるように、当該障害物についての警告を行う「車載システム」を提供する。
【解決手段】路側機２００から障害物情報受信機１３が受信した障害物情報が、自車５０の前方に、自車５０より進行速度の遅い他車５１が存在していることを表している場合には（ａ１）、前方カメラ２３が障害物撮影カメラとして算定され、前方カメラ２３が撮影した画像中から、他車５１が写り込んでいる領域５２の画像を切り出す（ａ２）。そして、切り出した画像を拡大し、注意マーク５３を描画した警告画像４０を生成し（ａ３）、表示装置１２に表示する。
【解決手段】路側機２００から障害物情報受信機１３が受信した障害物情報が、自車５０の前方に、自車５０より進行速度の遅い他車５１が存在していることを表している場合には（ａ１）、前方カメラ２３が障害物撮影カメラとして算定され、前方カメラ２３が撮影した画像中から、他車５１が写り込んでいる領域５２の画像を切り出す（ａ２）。そして、切り出した画像を拡大し、注意マーク５３を描画した警告画像４０を生成し（ａ３）、表示装置１２に表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自動車の運転者に周辺情報を提示する技術に関するものである。
【背景技術】
【０００２】
自動車の運転者に周辺情報を提示する技術としては、交差点等に設置された路側機から、当該交差点周辺の他車や歩行者等の障害物の情報を、自動車に搭載された車載システムに送信し、車載システムにおいて、受信した情報に基づいて、障害物に対するユーザの注意を喚起する技術が知られている（たとえば、特許文献１、２）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開2007-272598号公報
【特許文献２】特開2007-251287号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
さて、上述のような車載システムにおける、他車や歩行者等の障害物に対するユーザへの注意喚起の方法としては、自車と障害物の位置関係を模式的に表した警告画像の出力によって行う技術が提案されている。
しかしながら、このような警告画像を表示する技術によれば、警告画像が自車と障害物の位置関係を模式的に表したものにすぎないため、ユーザが、警告画像が表す状況と、現実の状況の対応づけを即座に行うことが困難なことがあり、ユーザが、警告画像によって表されている障害物に対応する現実の対象を速やかに把握できない場合が生じ得る。
【０００５】
そこで、本発明は、自動車に搭載された車載システムにおいて、路側機から受信した障害物の情報に基づいて、ユーザが障害物を即座に把握できるように、当該障害物についての警告を行うことを課題とする。
【課題を解決するための手段】
【０００６】
前記課題達成のために、本発明は、自動車に搭載される車載システムに、路側機と通信し、前記路側機から周辺に存在する障害物の位置を少なくとも表す障害物情報を受信する障害物情報受信装置と、前記自動車の周辺を撮影するカメラと、前記障害物情報受信装置が受信した障害物情報が表す障害物の位置に基づいて、前記カメラが撮影した画像内の障害物が写り込む領域を算定する障害物領域算定部と、前記カメラが撮影した画像から、前記障害物領域算定部が算定した領域の画像部分を抽出して、警告画像として表示する警告画像表示部とを備えたものである。
【０００７】
ここで、このような車載システムは、当該車載システムに、レーダを用いて前記自動車の周辺に存在する物体を検出する周辺物検出部を備え、前記警告画像表示部において、前記周辺物検出部によって検出された物体によって、前記カメラの、前記障害物情報が位置を表す障害物方向の視界が遮られている場合には、前記カメラが撮影した画像上に、前記算定した領域を示す図形を描画した画像を、警告画像として表示するように構成してもよい。また、このような車載システムは、前記警告画像表示部において、夜間には、前記カメラが撮影した画像上に、前記算定した領域を示す図形を描画した画像を、警告画像として表示するように構成してもよい。
【０００８】
また、前記課題達成のために、本発明は、自動車に搭載される車載システムに、路側機と通信し、前記路側機から周辺に存在する障害物の位置を少なくとも表す障害物情報を受信する障害物情報受信装置と、前記自動車の周辺を撮影するカメラと、前記障害物情報受信装置が受信した障害物情報が表す障害物の位置に基づいて、前記カメラが撮影した画像内の障害物が写り込む領域を算定する障害物領域算定部と、前記カメラが撮影した画像上に、前記障害物領域算定部が算定した領域を示す図形を描画した画像を、警告画像として表示する警告画像表示部とを備えたものである。
【０００９】
ここで、このような車載システムにおいて、前記警告画像表示部は、前記図形として、前記カメラが撮影した画像の前記算定した領域を囲む図形を描画するように構成してもよいし、前記図形として、前記カメラが撮影した画像の前記算定した領域を指し示す矢印型の図形を描画するように構成してもよい。
【００１０】
また、このような車載システムにおいて、前記警告画像表示部は、前記図形として、所定のマークを、前記カメラが撮影した画像の前記算定した領域内に描画するように構成してもよい。また、このように構成する場合において、前記障害物情報が、前記障害物の種別の情報を含む場合には、前記マークとして、前記障害物情報が示す障害物の種別を表す形状を有するマークを描画するようにしてもよい。また、前記障害物情報が示す障害物の位置が遠いほど前記マークを小さく描画するようにしてもよい。
【００１１】
なお、以上の各車載システムにおいて、前記障害物情報は、前記障害物の移動速度と移動方向の情報を含む場合には、前記障害物領域算定部において、前記障害物情報が表す前記障害物の位置と移動速度と移動方向と、前記障害物情報が、現在からどれだけ過去の時点における前記障害物の情報を表しているかとに基づいて、当該障害物の現在の位置を推定し、推定した障害物の現在の位置に基づいて、前記カメラが撮影した画像内の障害物が写り込む領域を算定するようにしてもよい。また、以上の各車載システムに前記警告画像表示部が前記警告画像を表示するときに、前記自動車周辺の地図に、前記自動車の現在位置と前記障害物の位置とを表した案内画像を表示する案内画像表示部を設けるようにしてよい。
【００１２】
これらの車載システムによれば、現実の状況をカメラで撮影した画像によって、路側機から受信した障害物情報が表す障害物をユーザに警告するので、自車と障害物の位置関係を模式的に表した警告画像を用いる場合に比べ、ユーザが、警告画像が表す状況と現実状況の対応づけや、現実の障害物の把握を、容易かつ速やかに行えるようになる。
【発明の効果】
【００１３】
以上のように、本発明によれば、自動車に搭載された車載システムにおいて、路側機から受信した障害物の情報に基づいて、ユーザが障害物を即座に把握できるように、当該障害物についての警告を行うことができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施形態に係る車載システムの構成を示す図である。
【図２】本発明の実施形態に係る障害物情報送受の仕組を示す図である。
【図３】本発明の実施形態に係る車載システムの表示例を示す図である。
【図４】本発明の実施形態に係る警告出力制御処理と警告出力処理を示すフローチャートである。
【図５】本発明の実施形態に係る警告出力処理の処理例を示す図である。
【図６】本発明の実施形態に係る警告出力処理の処理例を示す図である。
【図７】本発明の実施形態に係る警告出力処理の処理例を示す図である。
【図８】本発明の実施形態に係る警告出力処理の処理例を示す図である。
【図９】本発明の実施形態に係る警告出力処理の処理例を示す図である。
【発明を実施するための形態】
【００１５】
以下、本発明の実施形態について説明する。
図１ａに、本実施形態に係る車載システムの構成を示す。
車載システムは、自動車に搭載されるシステムであり、図示するように、操作部１１、表示装置１２、障害物情報受信機１３、記憶装置１４、制御部１５、ナビゲーション装置１６、警告出力部１７、操作部１１や表示装置１２を用いたＧＵＩを制御するＧＵＩ制御部１８、スピーカ１９に音声を出力する音声出力部２０、前方レーダ２１、後方レーダ２２、前方カメラ２３、後方カメラ２４とを備えている。
【００１６】
ここで、図１ｂに示すように、前方レーダ２１は自動車前部に配置され自動車の前方に存在する物体を検出し、後方レーダ２２は、自動車後部に配置され自動車の後方に存在する物体を検出する。
また、前方カメラ２３は、たとえば、自動車フロントウインドウ上部に配置され自動車の前方を撮影し、後方カメラ２４は、たとえば、自動車後部に配置され自動車の後方を撮影する。
但し、車載システムは、ハードウエア的には、マイクロプロセッサや、メモリや、その他の周辺デバイスを有する一般的な構成を備えたコンピュータを利用して構成されるものであってよく、この場合、以上に示した車載システムの制御部他の各部もしくはその一部は、マイクロプロセッサが予め用意されたプログラムを実行することにより具現化するプロセスとして実現されるものであって良い。また、この場合、このようなプログラムは、記録媒体や適当な通信路を介して、車載システムに提供されるものであって良い。
【００１７】
さて、ここで、障害物情報受信機１３は、交差点などに設置された路側機から、電波/光ビーコンやDSRCを介して送信される、周辺情報を受信する受信機である。
ここで、路側機は、障害物情報提供システムを構成する装置であり、障害物情報提供システムは、図２ａに示すように、交差点の各進入路に設置された路側機２００、交差点の周辺を監視するカメラ３００やレーダ装置４００、カメラ３００やレーダ装置４００の監視内容から交差点周辺に存在する障害物を認識して各路側機２００から送信する障害物情報を生成し、各路側機２００に提供する障害物情報提供装置５００などを含んで構成される。
【００１８】
ここで、障害物情報提供装置５００から提供され路側機２００から送信される障害物情報には、図２ｂに示すように、交差点の路側機２００に対する位置や交差点の形状を表す交差点データが含まれる、また、障害物情報には、交差点周辺に存在する他車両や歩行者を障害物として、当該障害物のバス、トラック、ミニバン、セダン、二輪車、自転車、歩行者といった種別を表す障害物種別と、障害物の位置を表す障害物位置と、当該障害物の移動方向や移動速度を表す障害物速度との情報などが含まれる。
【００１９】
そして、車載システムの障害物情報受信機１３は、図２ｂに示すように、このような障害物情報提供システムを構成する路側機２００の近傍に位置するときに、当該近傍に位置する路側機２００から障害物情報を受信する。
次に、ナビゲーション装置１６は、記憶装置１４に記憶されている地図データを用いて、現在位置や進行方向の算出や、ユーザから設定された目的地までのルートの探索や、現在位置や目的地やルートの案内を行う。
現在位置や目的地やルートの案内は、現在位置周辺を地図表示範囲として、地図表示範囲内の地図上に、現在位置と自車の進行方向を表す現在位置マークや目的地を表す目的地マークやルートを表すルート図形を描画した案内画像を生成し、ＧＵＩ制御部１８を介して表示装置１２に表示することによって行う。なお、ルート案内は、音声出力部２０を介して、ルートに従って進路変更すべき地点や、進路変更方向を案内する音声をスピーカ１９に出力することによっても行うようにしてもよい。
【００２０】
ここで、車載システムは、画面モードとして単画面モードと二画面モードとを備えており、単画面モードが設定されているときには、ナビゲーション装置１６は、図３ａに示すように、案内画像３０を、表示装置１２の表示画面全面に表示する。ここで、図示するように、案内画像３０は、現在位置周辺の地図３１上に、現在位置と自車の進行方向を表す現在地マーク３２が示されたものとなる。また、上述のように、目的地やルートが設定されている場合には、地図３１上で目的地を表す目的地マークや、地図３１上でルートを表すルート図形の、地図表示範囲内の部分も案内画像３０に含まれることとなる。
【００２１】
なお、画面モードの初期値は単画面モードである。
以下、このような構成において制御部１５が行う警告出力制御処理について説明する。
図４ａに示すように、この警告出力制御処理では、障害物情報受信機１３における路側機２００からの障害物情報の受信の発生を監視し（ステップ４０２）、障害物情報を受信したならば、障害物情報より求まる障害物と自車との位置関係や相対速度等に基づいて、当該障害物情報が表す障害物についてユーザの注意を喚起する必要があるかどうかを判定する（ステップ４０４）。ここでは、たとえば、障害物が障害物情報が表す移動方向への障害物情報が表す移動速度による移動を維持し、自車が現在の進路、移動速度を維持したときに、障害物と自車とが衝突する可能性がある場合に、障害物についてユーザの注意を喚起する必要があると判定する。なお、自車の進路（直進、左折、右折、後進等）は、自車の方向指示器の操作状態や、トランスミッションのシフト位置などに基づいて判定することができる。
【００２２】
そして、注意を喚起する必要がなければステップ４０２に戻り、注意を喚起する必要があれば、画面モードを二画面モードに設定する（ステップ４０６）。ここで、二画面モードとは、表示装置１２の表示画面を図３ｂに示すように左右に二分割して用いるモードであり、分割した一方の領域は案内画像表示ウインドウに、他方の領域は警告画像表示ウインドウに設定される。図示した例では、左側が、案内画像表示ウインドウ、右側が警告画像表示ウインドウとなる。
【００２３】
ここで、ナビゲーション装置１６は、画面モードとして二画面モードが設定されているときには、図３ｂに示すように、案内画像表示ウインドウに応じたサイズの案内画像３０を生成し、ＧＵＩ制御部１８を介して、案内画像表示ウインドウに表示する。
【００２４】
図４ａに戻り、このような二画面モードを設定したならば（ステップ４０６）、ステップ４０４で注意喚起が必要と判定した障害物情報を対象とする警告出力を警告出力部１７に指示する（ステップ４０８）。
ここで、警告出力を指示された警告出力部１７は、警告出力処理を実行し、図３ｂに示すように、対象とする障害物情報が表す障害物を警告する画像である警告画像４０を、ＧＵＩ制御部１８を介して警告画像表示ウインドウに表示すると共に、音声出力部２０に障害物情報が表す障害物を警告する警告音声をスピーカ１９に出力させる。なお、この警告出力部１７が行う警告処理の詳細については後述する。
【００２５】
そして、予め定めておいた警告表示継続期間（たとえば、３秒）が経過したならば（ステップ４１０）、画面モードを単画面モードに復帰し（ステップ４１２）、ステップ４０２の障害物情報の受信の監視に戻る。
以上、制御部１５が行う警告出力制御処理について説明した。
次に、このような警告出力制御処理のステップ４０８の警告出力指示に応答して警告出力部１７が行う警告出力処理について説明する。
図４ｂに、この警告出力処理の手順を示す。
図示するように、この警告出力処理において、警告出力処理部は、まず、警告出力処理の対象となっている障害物情報の障害物種別と、障害物位置と、障害物速度とより、障害物情報が表す障害物を撮影しているカメラ３００を障害物撮影カメラとして特定すると共に、障害物撮影カメラが撮影した画像中の障害物情報が表す障害物が写り込んでいる領域を算定する（ステップ４５２）。
【００２６】
ここで、障害物撮影カメラは、障害物位置が表す障害物の位置の自車から見た方向より求めることができる。また、障害物撮影カメラの取付位置/方向、したがって、障害物撮影カメラの撮影画像中の各位置に写り込む、自車に対する相対位置は既知であるので、障害物の大きさ、障害物の自車に対する相対位置が特定できれば、障害物撮影カメラが撮影した画像中の障害物情報が表す障害物が写り込んでいる領域は一義的に算定することができる。そして、障害物の大きさは、障害物種別が示す障害物の種別（バス、トラック、ミニバン、セダン、二輪車、自転車、歩行者）に応じておおよそ定めることができ、障害物の自車に対する相対位置は、障害物位置が表す障害物の位置と自車の現在位置とより求めることができる。ただし、障害物の自車に対する相対位置は、障害物情報に遅延があり、障害物情報がＴ時間過去の障害物の状態を表すものである場合には、障害物位置が表すＴ時間過去の障害物の位置から、障害物速度が表す障害物の移動方向に障害物速度が表す移動速度でＴ時間分、障害物の位置を移動させた位置を、障害物の現在の位置として求めるようにしてもよい。なお、障害物情報の遅延時間Ｔは、たとえば、障害物情報が100ｍs周期で更新されるものであれば、当該周期100ｍsを遅延時間Ｔとして用いるようにしてもよい。
【００２７】
次に、このようにして、障害物撮影カメラと、障害物撮影カメラが撮影した画像中の障害物情報が表す障害物が写り込んでいる領域を算定したならば（ステップ４５２）、障害物撮影カメラが撮影した画像から、障害物情報が表す障害物が写り込んでいる領域部分を切り出し（ステップ４５４）、切り出した画像を用いた警告画像４０を作成し、ＧＵＩ制御部１８を介して、警告画像表示ウインドウに表示する（ステップ４５６）。そして、障害物情報が表す障害物を警告する音声を、音声出力部２０によりスピーカ１９に出力させ、警告画像出力処理を終了する。
【００２８】
ここで、このような警告画像出力処理の処理例を示す。
いま、障害物情報受信機１３が受信した障害物情報が、図５ａ１に示すように、自車５０の前方に、自車５０より進行速度の遅い他車５１が存在していることを表している場合には、前方カメラ２３が障害物撮影カメラとして算定され、図５ａ２に示す前方カメラ２３が撮影した画像中から、他車５１が写り込んでいる領域５２の画像が切り出される。そして、図５ａ３に示すように、切り出した画像を拡大し、注意マーク５３を描画した警告画像４０が生成され、図３ｂに示すように、表示装置１２の警告画像表示ウインドウに表示されることになる。また、音声出力部２０によって、たとえば、「前方の車両に注意して下さい」といった音声がスピーカ１９から出力されることになる。
【００２９】
また、障害物情報受信機１３が受信した障害物情報が、図５ｂ１に示すように、自車５０の前方に、対向車５４が存在していることを表しており、自車５０が右折しようとしている場合には、前方カメラ２３が障害物撮影カメラとして算定され、図５ｂ２に示す前方カメラ２３が撮影した画像中から、対向車５４が写り込んでいる領域５５の画像が切り出される。そして、図５ｂ３に示すように、切り出した画像を拡大し、注意マーク５３を描画した警告画像４０が生成され、表示装置１２の警告画像表示ウインドウに表示されることになる。また、音声出力部２０によって、たとえば、「対向車両に注意して下さい」といった音声がスピーカ１９から出力されることになる。
【００３０】
また、障害物情報受信機１３が受信した障害物情報が、図６ａ１に示すように、自車５０の左前方に、自転車５６が存在していることを表しており、自車５０が左折しようとしている場合には、前方カメラ２３が障害物撮影カメラとして算定され、図６ａ２に示す前方カメラ２３が撮影した画像中から、自転車５６が写り込んでいる領域５７の画像が切り出される。そして、図６ａ３に示すように、切り出した画像を拡大し、注意マーク５３を描画した警告画像４０が生成され、表示装置１２の警告画像表示ウインドウに表示されることになる。また、音声出力部２０によって、たとえば、「左前方の自転車に注意して下さい」といった音声がスピーカ１９から出力されることになる。
【００３１】
また、障害物情報受信機１３が受信した障害物情報が、図６ｂ１に示すように、自車５０の左後方に二輪車５８が存在していることを表しており、自車５０が左折しようとしている場合には、後方カメラ２４が障害物撮影カメラとして算定され、図６ｂ２に示す後方カメラ２４が撮影した画像中から、二輪車５８が写り込んでいる領域５９中の画像が切り出される。そして、図６ｂ３に示すように、切り出した画像を拡大し、注意マーク５３を描画した警告画像４０が生成され、表示装置１２の警告画像表示ウインドウに表示されることになる。また、音声出力部２０によって、たとえば、「左後方の二輪車に注意して下さい」といった音声がスピーカ１９から出力されることになる。
【００３２】
以上、本発明の実施形態について説明した。
ところで、以上の警告出力処理では、障害物撮影カメラの撮影した画像から切り出した障害物の画像部分を拡大した画像上に注意マーク５３を表した画像を警告画像４０として用いたが、警告画像４０としては、障害物撮影カメラが撮影した画像上に、当該画像中において、障害物の写り込んでいる領域を示すマークを表した画像を用いるようにしてもよい。
【００３３】
たとえば、障害物情報受信機１３が受信した障害物情報が、図７ａ１に示すように、自車５０の前方に、対向車７１が存在していることを表しており、自車５０が右折しようとしている場合には、警告出力部１７は、以下のように警告画像４０を生成する。すなわち、障害物の位置より前方カメラ２３を障害物撮影カメラとして算定したならば、図７ａ２に示す前方カメラ２３が撮影した画像中の、対向車７１が写り込んでいる領域７２を特定する。そして、図７ａ３に示すように、前方カメラ２３が撮影した画像上に、対向車７１が写り込んでいる領域７２を囲む円形のマーク７３と、前方カメラ２３が撮影した画像の下部左右方向中央を始点として、対向車７１が写り込んでいる領域７２を指し示す矢印マーク７４とを描画して警告画像４０を生成する。そして、生成した警告画像４０を、表示装置１２の警告画像表示ウインドウに表示する。
【００３４】
また、たとえば、障害物情報受信機１３が受信した障害物情報が、図７ｂ１に示すように、自車５０の左前方に、自転車７５が存在していることを表しており、自車５０が左折しようとしている場合には、警告出力部１７は、以下のように警告画像４０を生成する。すなわち、障害物の位置より前方カメラ２３を障害物撮影カメラとして算定したならば、図７ｂ２に示す前方カメラ２３が撮影した画像中の、自転車７５が写り込んでいる領域７６を特定する。そして、図７ｂ３に示すように、前方カメラ２３が撮影した画像上に、自転車７５が写り込んでいる領域７６を囲む円形のマーク７７と、前方カメラ２３が撮影した画像の下部左右方向中央を始点として、自転車７５が写り込んでいる領域７６を指示する矢印マーク７８とを描画して警告画像４０を生成する。そして、生成した警告画像４０を、表示装置１２の警告画像表示ウインドウに表示する。
【００３５】
また、警告出力部１７が生成する警告画像４０としては、図５、６に示したような、障害物撮影カメラの撮影した画像から切り出した障害物の画像部分を拡大した画像上に注意マーク５３を表した警告画像４０と、図７に示したような、障害物撮影カメラが撮影した画像上に、当該画像中において、障害物の写り込んでいる領域を示すマークを表した警告画像４０とを切り替えて用いるようにしてもよい。
【００３６】
たとえば、警告出力部１７において、前方レーダ２１と後方レーダ２２が検出している物体の大きさや位置に応じて、障害物撮影カメラが撮影した画像に他の物体に遮られずに障害物が実際に写り込んでいるかどうかを判定し、障害物が実際に写り込んでいる場合には、図５、６に示したような、障害物撮影カメラの撮影した画像から切り出した障害物の画像部分を拡大した画像上に注意マーク５３を表した警告画像４０を生成して表示し、他の物体に遮られて障害物撮影カメラが撮影した画像に障害物が実際には写り込んでいない場合には、図７に示したような、障害物撮影カメラが撮影した画像上に、当該画像中において、障害物の写り込んでいる部分を示すマークを表した警告画像４０を生成して表示するようにしてもよい。
【００３７】
このようにすることにより、たとえば、障害物情報受信機１３が受信した障害物情報が、図８ａ１に示すように、自車５０の前方に、対向車８１が存在していることを表しており、自車５０が右折しようとしている場合であって、前方レーダ２１が自車５０のすぐ前に、前方カメラ２３の対向車８１方向の視界を遮る先行車８２が存在することを検出しているときには、警告出力部１７は、図８ａ２に示すように、前方カメラ２３が撮影した画像上に、前方カメラ２３の視界が遮られていない場合に対向車８１が写り込むはずの領域を囲む円形のマーク８３と、前方カメラ２３が撮影した画像の下部左右方向中央を始点として、前方カメラ２３の視界が遮られていない場合に対向車８１が写り込むはずの領域を指示する矢印マーク８４とを描画して警告画像４０を生成することになる。
【００３８】
一方、このような場合に、前方レーダ２１が自車５０のすぐ前に、前方カメラ２３の対向車８１方向の視界を遮る先行車８２が存在することを検出していない場合には、警告出力部１７は、図５ｂ３に示すように、警告画像４０を生成することになる。
また、警告出力部１７における警告画像４０の生成、表示は、夜間には、図５、６に示したような、障害物撮影カメラの撮影した画像から切り出した障害物の画像部分を拡大した画像上に注意マーク５３を表した警告画像４０を生成して表示し、昼間には、図７に示したような、障害物撮影カメラが撮影した画像上に、当該画像中において、障害物の写り込んでいる領域を示すマークを表した警告画像４０を生成して表示することにより行うようにしてもよい。なお、夜間であるか否かの判定は、前照灯の点灯の有無、光センサを設けて検出した周囲の明るさ等に基づいて行うことができる。
【００３９】
また、図７ａ３、ｂ３、図８ａ２に示したように、障害物撮影カメラが撮影した画像に、障害物の写り込んでいる領域を囲む円形のマークを表示する代わりに、図８ｂ１に示すように、障害物撮影カメラが撮影した画像上に、画像中の障害物の写り込んでいる領域を代表する位置、または、視界が遮られていない場合に障害物が写り込む領域を代表する位置を示すマーク８５を表すようにしてもよい。ここで、画像中の障害物の写り込んでいる領域を代表する位置、または、視界が遮られていない場合に障害物が写り込む領域を代表する位置としては、画像中の障害物の写り込んでいる領域、または、視界が遮られていない場合に障害物が写り込む領域の中心位置や、当該領域の下端の左右方向中心位置などを用いるようにする。
【００４０】
また、この場合には、当該マーク８５の大きさを、図８ｂ１、ｂ２に示すように、障害物と自車５０との距離が小さいほど大きくなるように、障害物撮影カメラが撮影した画像上に表すようにしてもよい。なお、図８ｂ１が障害物と自車５０との距離が小さい場合であり、図８ｂ２が障害物と自車５０との距離が大きい場合を表している。
【００４１】
また、この画像中の障害物の写り込んでいる位置を示すマーク８５としては、障害物情報の障害物種別が表す障害物の種別に応じた図形を用いるようにしてもよい。
すなわち、障害物種別が表す障害物の種別がセダンであれば、図８ｂ３に示すようなセダンを模擬した図形を用いて、図８ｂ４に示すように警告画像４０を生成し、障害物種別が表す障害物の種別が二輪車であれば、図８ｂ５に示すような二輪車を模擬した図形を用いて、図８ｂ６に示すように警告画像４０を生成するようにする。
【００４２】
また、以上の実施形態は、ナビゲーション装置１６において、画面モードとして二画面モードが設定されているときには、図９に示すように、案内画像３０に代えて、前方の交差点形状を模式的に表す交差点拡大画像９０を生成して、案内画像表示ウインドウに表示することにより、警告画像４０と共に交差点拡大画像を表示するようにしてもよい。また、この場合には、図示するように、交差点拡大画像９０上に、自車５０の現在位置と進行方向を表す自車マーク９１と、障害物情報が表す障害物の位置と移動方向とを表す障害物マーク９２とを表すようにする。
【００４３】
以上、本発明の実施形態について説明した。
なお、以上の実施形態における前方レーダ２１や後方レーダ２２は、前方レーダ２１や後方レーダ２２で検出した物体の位置に応じて自車５０と物体の衝突を予測して警告する警告システムと共用するようにしてもよい。また、前方カメラ２３は、前方カメラ２３で撮影した画像を記憶するドライブレコーダシステムと共用するようにしてもよい。また、後方カメラ２４は、自車５０の後進時に、後方カメラ２４の撮影画像を表示する駐車支援システムと共用するようにしてもよい。
【００４４】
このように、本実施形態によれば、現実の状況を前方カメラ２３、後方カメラ２４で撮影した画像によって、路側機２００から受信した障害物情報が表す障害物をユーザに警告するので、自車５０と障害物の位置関係を模式的に表した警告画像４０を用いる場合に比べ、ユーザが、警告画像４０が表す状況と現実状況の対応づけや、現実の障害物を把握を、容易かつ速やかに行えるようになる。
【符号の説明】
【００４５】
１１…操作部、１２…表示装置、１３…障害物情報受信機、１４…記憶装置、１５…制御部、１６…ナビゲーション装置、１７…警告出力部、１８…ＧＵＩ制御部、１９…スピーカ、２０…音声出力部、２１…前方レーダ、２２…後方レーダ、２３…前方カメラ、２４…後方カメラ、３０…案内画像、３１…地図、３２…現在地マーク、４０…警告画像、５０…自車、５３…注意マーク、９０…交差点拡大画像、２００…路側機、３００…カメラ、４００…レーダ装置、５００…障害物情報提供装置。
【技術分野】
【０００１】
本発明は、自動車の運転者に周辺情報を提示する技術に関するものである。
【背景技術】
【０００２】
自動車の運転者に周辺情報を提示する技術としては、交差点等に設置された路側機から、当該交差点周辺の他車や歩行者等の障害物の情報を、自動車に搭載された車載システムに送信し、車載システムにおいて、受信した情報に基づいて、障害物に対するユーザの注意を喚起する技術が知られている（たとえば、特許文献１、２）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開2007-272598号公報
【特許文献２】特開2007-251287号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
さて、上述のような車載システムにおける、他車や歩行者等の障害物に対するユーザへの注意喚起の方法としては、自車と障害物の位置関係を模式的に表した警告画像の出力によって行う技術が提案されている。
しかしながら、このような警告画像を表示する技術によれば、警告画像が自車と障害物の位置関係を模式的に表したものにすぎないため、ユーザが、警告画像が表す状況と、現実の状況の対応づけを即座に行うことが困難なことがあり、ユーザが、警告画像によって表されている障害物に対応する現実の対象を速やかに把握できない場合が生じ得る。
【０００５】
そこで、本発明は、自動車に搭載された車載システムにおいて、路側機から受信した障害物の情報に基づいて、ユーザが障害物を即座に把握できるように、当該障害物についての警告を行うことを課題とする。
【課題を解決するための手段】
【０００６】
前記課題達成のために、本発明は、自動車に搭載される車載システムに、路側機と通信し、前記路側機から周辺に存在する障害物の位置を少なくとも表す障害物情報を受信する障害物情報受信装置と、前記自動車の周辺を撮影するカメラと、前記障害物情報受信装置が受信した障害物情報が表す障害物の位置に基づいて、前記カメラが撮影した画像内の障害物が写り込む領域を算定する障害物領域算定部と、前記カメラが撮影した画像から、前記障害物領域算定部が算定した領域の画像部分を抽出して、警告画像として表示する警告画像表示部とを備えたものである。
【０００７】
ここで、このような車載システムは、当該車載システムに、レーダを用いて前記自動車の周辺に存在する物体を検出する周辺物検出部を備え、前記警告画像表示部において、前記周辺物検出部によって検出された物体によって、前記カメラの、前記障害物情報が位置を表す障害物方向の視界が遮られている場合には、前記カメラが撮影した画像上に、前記算定した領域を示す図形を描画した画像を、警告画像として表示するように構成してもよい。また、このような車載システムは、前記警告画像表示部において、夜間には、前記カメラが撮影した画像上に、前記算定した領域を示す図形を描画した画像を、警告画像として表示するように構成してもよい。
【０００８】
また、前記課題達成のために、本発明は、自動車に搭載される車載システムに、路側機と通信し、前記路側機から周辺に存在する障害物の位置を少なくとも表す障害物情報を受信する障害物情報受信装置と、前記自動車の周辺を撮影するカメラと、前記障害物情報受信装置が受信した障害物情報が表す障害物の位置に基づいて、前記カメラが撮影した画像内の障害物が写り込む領域を算定する障害物領域算定部と、前記カメラが撮影した画像上に、前記障害物領域算定部が算定した領域を示す図形を描画した画像を、警告画像として表示する警告画像表示部とを備えたものである。
【０００９】
ここで、このような車載システムにおいて、前記警告画像表示部は、前記図形として、前記カメラが撮影した画像の前記算定した領域を囲む図形を描画するように構成してもよいし、前記図形として、前記カメラが撮影した画像の前記算定した領域を指し示す矢印型の図形を描画するように構成してもよい。
【００１０】
また、このような車載システムにおいて、前記警告画像表示部は、前記図形として、所定のマークを、前記カメラが撮影した画像の前記算定した領域内に描画するように構成してもよい。また、このように構成する場合において、前記障害物情報が、前記障害物の種別の情報を含む場合には、前記マークとして、前記障害物情報が示す障害物の種別を表す形状を有するマークを描画するようにしてもよい。また、前記障害物情報が示す障害物の位置が遠いほど前記マークを小さく描画するようにしてもよい。
【００１１】
なお、以上の各車載システムにおいて、前記障害物情報は、前記障害物の移動速度と移動方向の情報を含む場合には、前記障害物領域算定部において、前記障害物情報が表す前記障害物の位置と移動速度と移動方向と、前記障害物情報が、現在からどれだけ過去の時点における前記障害物の情報を表しているかとに基づいて、当該障害物の現在の位置を推定し、推定した障害物の現在の位置に基づいて、前記カメラが撮影した画像内の障害物が写り込む領域を算定するようにしてもよい。また、以上の各車載システムに前記警告画像表示部が前記警告画像を表示するときに、前記自動車周辺の地図に、前記自動車の現在位置と前記障害物の位置とを表した案内画像を表示する案内画像表示部を設けるようにしてよい。
【００１２】
これらの車載システムによれば、現実の状況をカメラで撮影した画像によって、路側機から受信した障害物情報が表す障害物をユーザに警告するので、自車と障害物の位置関係を模式的に表した警告画像を用いる場合に比べ、ユーザが、警告画像が表す状況と現実状況の対応づけや、現実の障害物の把握を、容易かつ速やかに行えるようになる。
【発明の効果】
【００１３】
以上のように、本発明によれば、自動車に搭載された車載システムにおいて、路側機から受信した障害物の情報に基づいて、ユーザが障害物を即座に把握できるように、当該障害物についての警告を行うことができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施形態に係る車載システムの構成を示す図である。
【図２】本発明の実施形態に係る障害物情報送受の仕組を示す図である。
【図３】本発明の実施形態に係る車載システムの表示例を示す図である。
【図４】本発明の実施形態に係る警告出力制御処理と警告出力処理を示すフローチャートである。
【図５】本発明の実施形態に係る警告出力処理の処理例を示す図である。
【図６】本発明の実施形態に係る警告出力処理の処理例を示す図である。
【図７】本発明の実施形態に係る警告出力処理の処理例を示す図である。
【図８】本発明の実施形態に係る警告出力処理の処理例を示す図である。
【図９】本発明の実施形態に係る警告出力処理の処理例を示す図である。
【発明を実施するための形態】
【００１５】
以下、本発明の実施形態について説明する。
図１ａに、本実施形態に係る車載システムの構成を示す。
車載システムは、自動車に搭載されるシステムであり、図示するように、操作部１１、表示装置１２、障害物情報受信機１３、記憶装置１４、制御部１５、ナビゲーション装置１６、警告出力部１７、操作部１１や表示装置１２を用いたＧＵＩを制御するＧＵＩ制御部１８、スピーカ１９に音声を出力する音声出力部２０、前方レーダ２１、後方レーダ２２、前方カメラ２３、後方カメラ２４とを備えている。
【００１６】
ここで、図１ｂに示すように、前方レーダ２１は自動車前部に配置され自動車の前方に存在する物体を検出し、後方レーダ２２は、自動車後部に配置され自動車の後方に存在する物体を検出する。
また、前方カメラ２３は、たとえば、自動車フロントウインドウ上部に配置され自動車の前方を撮影し、後方カメラ２４は、たとえば、自動車後部に配置され自動車の後方を撮影する。
但し、車載システムは、ハードウエア的には、マイクロプロセッサや、メモリや、その他の周辺デバイスを有する一般的な構成を備えたコンピュータを利用して構成されるものであってよく、この場合、以上に示した車載システムの制御部他の各部もしくはその一部は、マイクロプロセッサが予め用意されたプログラムを実行することにより具現化するプロセスとして実現されるものであって良い。また、この場合、このようなプログラムは、記録媒体や適当な通信路を介して、車載システムに提供されるものであって良い。
【００１７】
さて、ここで、障害物情報受信機１３は、交差点などに設置された路側機から、電波/光ビーコンやDSRCを介して送信される、周辺情報を受信する受信機である。
ここで、路側機は、障害物情報提供システムを構成する装置であり、障害物情報提供システムは、図２ａに示すように、交差点の各進入路に設置された路側機２００、交差点の周辺を監視するカメラ３００やレーダ装置４００、カメラ３００やレーダ装置４００の監視内容から交差点周辺に存在する障害物を認識して各路側機２００から送信する障害物情報を生成し、各路側機２００に提供する障害物情報提供装置５００などを含んで構成される。
【００１８】
ここで、障害物情報提供装置５００から提供され路側機２００から送信される障害物情報には、図２ｂに示すように、交差点の路側機２００に対する位置や交差点の形状を表す交差点データが含まれる、また、障害物情報には、交差点周辺に存在する他車両や歩行者を障害物として、当該障害物のバス、トラック、ミニバン、セダン、二輪車、自転車、歩行者といった種別を表す障害物種別と、障害物の位置を表す障害物位置と、当該障害物の移動方向や移動速度を表す障害物速度との情報などが含まれる。
【００１９】
そして、車載システムの障害物情報受信機１３は、図２ｂに示すように、このような障害物情報提供システムを構成する路側機２００の近傍に位置するときに、当該近傍に位置する路側機２００から障害物情報を受信する。
次に、ナビゲーション装置１６は、記憶装置１４に記憶されている地図データを用いて、現在位置や進行方向の算出や、ユーザから設定された目的地までのルートの探索や、現在位置や目的地やルートの案内を行う。
現在位置や目的地やルートの案内は、現在位置周辺を地図表示範囲として、地図表示範囲内の地図上に、現在位置と自車の進行方向を表す現在位置マークや目的地を表す目的地マークやルートを表すルート図形を描画した案内画像を生成し、ＧＵＩ制御部１８を介して表示装置１２に表示することによって行う。なお、ルート案内は、音声出力部２０を介して、ルートに従って進路変更すべき地点や、進路変更方向を案内する音声をスピーカ１９に出力することによっても行うようにしてもよい。
【００２０】
ここで、車載システムは、画面モードとして単画面モードと二画面モードとを備えており、単画面モードが設定されているときには、ナビゲーション装置１６は、図３ａに示すように、案内画像３０を、表示装置１２の表示画面全面に表示する。ここで、図示するように、案内画像３０は、現在位置周辺の地図３１上に、現在位置と自車の進行方向を表す現在地マーク３２が示されたものとなる。また、上述のように、目的地やルートが設定されている場合には、地図３１上で目的地を表す目的地マークや、地図３１上でルートを表すルート図形の、地図表示範囲内の部分も案内画像３０に含まれることとなる。
【００２１】
なお、画面モードの初期値は単画面モードである。
以下、このような構成において制御部１５が行う警告出力制御処理について説明する。
図４ａに示すように、この警告出力制御処理では、障害物情報受信機１３における路側機２００からの障害物情報の受信の発生を監視し（ステップ４０２）、障害物情報を受信したならば、障害物情報より求まる障害物と自車との位置関係や相対速度等に基づいて、当該障害物情報が表す障害物についてユーザの注意を喚起する必要があるかどうかを判定する（ステップ４０４）。ここでは、たとえば、障害物が障害物情報が表す移動方向への障害物情報が表す移動速度による移動を維持し、自車が現在の進路、移動速度を維持したときに、障害物と自車とが衝突する可能性がある場合に、障害物についてユーザの注意を喚起する必要があると判定する。なお、自車の進路（直進、左折、右折、後進等）は、自車の方向指示器の操作状態や、トランスミッションのシフト位置などに基づいて判定することができる。
【００２２】
そして、注意を喚起する必要がなければステップ４０２に戻り、注意を喚起する必要があれば、画面モードを二画面モードに設定する（ステップ４０６）。ここで、二画面モードとは、表示装置１２の表示画面を図３ｂに示すように左右に二分割して用いるモードであり、分割した一方の領域は案内画像表示ウインドウに、他方の領域は警告画像表示ウインドウに設定される。図示した例では、左側が、案内画像表示ウインドウ、右側が警告画像表示ウインドウとなる。
【００２３】
ここで、ナビゲーション装置１６は、画面モードとして二画面モードが設定されているときには、図３ｂに示すように、案内画像表示ウインドウに応じたサイズの案内画像３０を生成し、ＧＵＩ制御部１８を介して、案内画像表示ウインドウに表示する。
【００２４】
図４ａに戻り、このような二画面モードを設定したならば（ステップ４０６）、ステップ４０４で注意喚起が必要と判定した障害物情報を対象とする警告出力を警告出力部１７に指示する（ステップ４０８）。
ここで、警告出力を指示された警告出力部１７は、警告出力処理を実行し、図３ｂに示すように、対象とする障害物情報が表す障害物を警告する画像である警告画像４０を、ＧＵＩ制御部１８を介して警告画像表示ウインドウに表示すると共に、音声出力部２０に障害物情報が表す障害物を警告する警告音声をスピーカ１９に出力させる。なお、この警告出力部１７が行う警告処理の詳細については後述する。
【００２５】
そして、予め定めておいた警告表示継続期間（たとえば、３秒）が経過したならば（ステップ４１０）、画面モードを単画面モードに復帰し（ステップ４１２）、ステップ４０２の障害物情報の受信の監視に戻る。
以上、制御部１５が行う警告出力制御処理について説明した。
次に、このような警告出力制御処理のステップ４０８の警告出力指示に応答して警告出力部１７が行う警告出力処理について説明する。
図４ｂに、この警告出力処理の手順を示す。
図示するように、この警告出力処理において、警告出力処理部は、まず、警告出力処理の対象となっている障害物情報の障害物種別と、障害物位置と、障害物速度とより、障害物情報が表す障害物を撮影しているカメラ３００を障害物撮影カメラとして特定すると共に、障害物撮影カメラが撮影した画像中の障害物情報が表す障害物が写り込んでいる領域を算定する（ステップ４５２）。
【００２６】
ここで、障害物撮影カメラは、障害物位置が表す障害物の位置の自車から見た方向より求めることができる。また、障害物撮影カメラの取付位置/方向、したがって、障害物撮影カメラの撮影画像中の各位置に写り込む、自車に対する相対位置は既知であるので、障害物の大きさ、障害物の自車に対する相対位置が特定できれば、障害物撮影カメラが撮影した画像中の障害物情報が表す障害物が写り込んでいる領域は一義的に算定することができる。そして、障害物の大きさは、障害物種別が示す障害物の種別（バス、トラック、ミニバン、セダン、二輪車、自転車、歩行者）に応じておおよそ定めることができ、障害物の自車に対する相対位置は、障害物位置が表す障害物の位置と自車の現在位置とより求めることができる。ただし、障害物の自車に対する相対位置は、障害物情報に遅延があり、障害物情報がＴ時間過去の障害物の状態を表すものである場合には、障害物位置が表すＴ時間過去の障害物の位置から、障害物速度が表す障害物の移動方向に障害物速度が表す移動速度でＴ時間分、障害物の位置を移動させた位置を、障害物の現在の位置として求めるようにしてもよい。なお、障害物情報の遅延時間Ｔは、たとえば、障害物情報が100ｍs周期で更新されるものであれば、当該周期100ｍsを遅延時間Ｔとして用いるようにしてもよい。
【００２７】
次に、このようにして、障害物撮影カメラと、障害物撮影カメラが撮影した画像中の障害物情報が表す障害物が写り込んでいる領域を算定したならば（ステップ４５２）、障害物撮影カメラが撮影した画像から、障害物情報が表す障害物が写り込んでいる領域部分を切り出し（ステップ４５４）、切り出した画像を用いた警告画像４０を作成し、ＧＵＩ制御部１８を介して、警告画像表示ウインドウに表示する（ステップ４５６）。そして、障害物情報が表す障害物を警告する音声を、音声出力部２０によりスピーカ１９に出力させ、警告画像出力処理を終了する。
【００２８】
ここで、このような警告画像出力処理の処理例を示す。
いま、障害物情報受信機１３が受信した障害物情報が、図５ａ１に示すように、自車５０の前方に、自車５０より進行速度の遅い他車５１が存在していることを表している場合には、前方カメラ２３が障害物撮影カメラとして算定され、図５ａ２に示す前方カメラ２３が撮影した画像中から、他車５１が写り込んでいる領域５２の画像が切り出される。そして、図５ａ３に示すように、切り出した画像を拡大し、注意マーク５３を描画した警告画像４０が生成され、図３ｂに示すように、表示装置１２の警告画像表示ウインドウに表示されることになる。また、音声出力部２０によって、たとえば、「前方の車両に注意して下さい」といった音声がスピーカ１９から出力されることになる。
【００２９】
また、障害物情報受信機１３が受信した障害物情報が、図５ｂ１に示すように、自車５０の前方に、対向車５４が存在していることを表しており、自車５０が右折しようとしている場合には、前方カメラ２３が障害物撮影カメラとして算定され、図５ｂ２に示す前方カメラ２３が撮影した画像中から、対向車５４が写り込んでいる領域５５の画像が切り出される。そして、図５ｂ３に示すように、切り出した画像を拡大し、注意マーク５３を描画した警告画像４０が生成され、表示装置１２の警告画像表示ウインドウに表示されることになる。また、音声出力部２０によって、たとえば、「対向車両に注意して下さい」といった音声がスピーカ１９から出力されることになる。
【００３０】
また、障害物情報受信機１３が受信した障害物情報が、図６ａ１に示すように、自車５０の左前方に、自転車５６が存在していることを表しており、自車５０が左折しようとしている場合には、前方カメラ２３が障害物撮影カメラとして算定され、図６ａ２に示す前方カメラ２３が撮影した画像中から、自転車５６が写り込んでいる領域５７の画像が切り出される。そして、図６ａ３に示すように、切り出した画像を拡大し、注意マーク５３を描画した警告画像４０が生成され、表示装置１２の警告画像表示ウインドウに表示されることになる。また、音声出力部２０によって、たとえば、「左前方の自転車に注意して下さい」といった音声がスピーカ１９から出力されることになる。
【００３１】
また、障害物情報受信機１３が受信した障害物情報が、図６ｂ１に示すように、自車５０の左後方に二輪車５８が存在していることを表しており、自車５０が左折しようとしている場合には、後方カメラ２４が障害物撮影カメラとして算定され、図６ｂ２に示す後方カメラ２４が撮影した画像中から、二輪車５８が写り込んでいる領域５９中の画像が切り出される。そして、図６ｂ３に示すように、切り出した画像を拡大し、注意マーク５３を描画した警告画像４０が生成され、表示装置１２の警告画像表示ウインドウに表示されることになる。また、音声出力部２０によって、たとえば、「左後方の二輪車に注意して下さい」といった音声がスピーカ１９から出力されることになる。
【００３２】
以上、本発明の実施形態について説明した。
ところで、以上の警告出力処理では、障害物撮影カメラの撮影した画像から切り出した障害物の画像部分を拡大した画像上に注意マーク５３を表した画像を警告画像４０として用いたが、警告画像４０としては、障害物撮影カメラが撮影した画像上に、当該画像中において、障害物の写り込んでいる領域を示すマークを表した画像を用いるようにしてもよい。
【００３３】
たとえば、障害物情報受信機１３が受信した障害物情報が、図７ａ１に示すように、自車５０の前方に、対向車７１が存在していることを表しており、自車５０が右折しようとしている場合には、警告出力部１７は、以下のように警告画像４０を生成する。すなわち、障害物の位置より前方カメラ２３を障害物撮影カメラとして算定したならば、図７ａ２に示す前方カメラ２３が撮影した画像中の、対向車７１が写り込んでいる領域７２を特定する。そして、図７ａ３に示すように、前方カメラ２３が撮影した画像上に、対向車７１が写り込んでいる領域７２を囲む円形のマーク７３と、前方カメラ２３が撮影した画像の下部左右方向中央を始点として、対向車７１が写り込んでいる領域７２を指し示す矢印マーク７４とを描画して警告画像４０を生成する。そして、生成した警告画像４０を、表示装置１２の警告画像表示ウインドウに表示する。
【００３４】
また、たとえば、障害物情報受信機１３が受信した障害物情報が、図７ｂ１に示すように、自車５０の左前方に、自転車７５が存在していることを表しており、自車５０が左折しようとしている場合には、警告出力部１７は、以下のように警告画像４０を生成する。すなわち、障害物の位置より前方カメラ２３を障害物撮影カメラとして算定したならば、図７ｂ２に示す前方カメラ２３が撮影した画像中の、自転車７５が写り込んでいる領域７６を特定する。そして、図７ｂ３に示すように、前方カメラ２３が撮影した画像上に、自転車７５が写り込んでいる領域７６を囲む円形のマーク７７と、前方カメラ２３が撮影した画像の下部左右方向中央を始点として、自転車７５が写り込んでいる領域７６を指示する矢印マーク７８とを描画して警告画像４０を生成する。そして、生成した警告画像４０を、表示装置１２の警告画像表示ウインドウに表示する。
【００３５】
また、警告出力部１７が生成する警告画像４０としては、図５、６に示したような、障害物撮影カメラの撮影した画像から切り出した障害物の画像部分を拡大した画像上に注意マーク５３を表した警告画像４０と、図７に示したような、障害物撮影カメラが撮影した画像上に、当該画像中において、障害物の写り込んでいる領域を示すマークを表した警告画像４０とを切り替えて用いるようにしてもよい。
【００３６】
たとえば、警告出力部１７において、前方レーダ２１と後方レーダ２２が検出している物体の大きさや位置に応じて、障害物撮影カメラが撮影した画像に他の物体に遮られずに障害物が実際に写り込んでいるかどうかを判定し、障害物が実際に写り込んでいる場合には、図５、６に示したような、障害物撮影カメラの撮影した画像から切り出した障害物の画像部分を拡大した画像上に注意マーク５３を表した警告画像４０を生成して表示し、他の物体に遮られて障害物撮影カメラが撮影した画像に障害物が実際には写り込んでいない場合には、図７に示したような、障害物撮影カメラが撮影した画像上に、当該画像中において、障害物の写り込んでいる部分を示すマークを表した警告画像４０を生成して表示するようにしてもよい。
【００３７】
このようにすることにより、たとえば、障害物情報受信機１３が受信した障害物情報が、図８ａ１に示すように、自車５０の前方に、対向車８１が存在していることを表しており、自車５０が右折しようとしている場合であって、前方レーダ２１が自車５０のすぐ前に、前方カメラ２３の対向車８１方向の視界を遮る先行車８２が存在することを検出しているときには、警告出力部１７は、図８ａ２に示すように、前方カメラ２３が撮影した画像上に、前方カメラ２３の視界が遮られていない場合に対向車８１が写り込むはずの領域を囲む円形のマーク８３と、前方カメラ２３が撮影した画像の下部左右方向中央を始点として、前方カメラ２３の視界が遮られていない場合に対向車８１が写り込むはずの領域を指示する矢印マーク８４とを描画して警告画像４０を生成することになる。
【００３８】
一方、このような場合に、前方レーダ２１が自車５０のすぐ前に、前方カメラ２３の対向車８１方向の視界を遮る先行車８２が存在することを検出していない場合には、警告出力部１７は、図５ｂ３に示すように、警告画像４０を生成することになる。
また、警告出力部１７における警告画像４０の生成、表示は、夜間には、図５、６に示したような、障害物撮影カメラの撮影した画像から切り出した障害物の画像部分を拡大した画像上に注意マーク５３を表した警告画像４０を生成して表示し、昼間には、図７に示したような、障害物撮影カメラが撮影した画像上に、当該画像中において、障害物の写り込んでいる領域を示すマークを表した警告画像４０を生成して表示することにより行うようにしてもよい。なお、夜間であるか否かの判定は、前照灯の点灯の有無、光センサを設けて検出した周囲の明るさ等に基づいて行うことができる。
【００３９】
また、図７ａ３、ｂ３、図８ａ２に示したように、障害物撮影カメラが撮影した画像に、障害物の写り込んでいる領域を囲む円形のマークを表示する代わりに、図８ｂ１に示すように、障害物撮影カメラが撮影した画像上に、画像中の障害物の写り込んでいる領域を代表する位置、または、視界が遮られていない場合に障害物が写り込む領域を代表する位置を示すマーク８５を表すようにしてもよい。ここで、画像中の障害物の写り込んでいる領域を代表する位置、または、視界が遮られていない場合に障害物が写り込む領域を代表する位置としては、画像中の障害物の写り込んでいる領域、または、視界が遮られていない場合に障害物が写り込む領域の中心位置や、当該領域の下端の左右方向中心位置などを用いるようにする。
【００４０】
また、この場合には、当該マーク８５の大きさを、図８ｂ１、ｂ２に示すように、障害物と自車５０との距離が小さいほど大きくなるように、障害物撮影カメラが撮影した画像上に表すようにしてもよい。なお、図８ｂ１が障害物と自車５０との距離が小さい場合であり、図８ｂ２が障害物と自車５０との距離が大きい場合を表している。
【００４１】
また、この画像中の障害物の写り込んでいる位置を示すマーク８５としては、障害物情報の障害物種別が表す障害物の種別に応じた図形を用いるようにしてもよい。
すなわち、障害物種別が表す障害物の種別がセダンであれば、図８ｂ３に示すようなセダンを模擬した図形を用いて、図８ｂ４に示すように警告画像４０を生成し、障害物種別が表す障害物の種別が二輪車であれば、図８ｂ５に示すような二輪車を模擬した図形を用いて、図８ｂ６に示すように警告画像４０を生成するようにする。
【００４２】
また、以上の実施形態は、ナビゲーション装置１６において、画面モードとして二画面モードが設定されているときには、図９に示すように、案内画像３０に代えて、前方の交差点形状を模式的に表す交差点拡大画像９０を生成して、案内画像表示ウインドウに表示することにより、警告画像４０と共に交差点拡大画像を表示するようにしてもよい。また、この場合には、図示するように、交差点拡大画像９０上に、自車５０の現在位置と進行方向を表す自車マーク９１と、障害物情報が表す障害物の位置と移動方向とを表す障害物マーク９２とを表すようにする。
【００４３】
以上、本発明の実施形態について説明した。
なお、以上の実施形態における前方レーダ２１や後方レーダ２２は、前方レーダ２１や後方レーダ２２で検出した物体の位置に応じて自車５０と物体の衝突を予測して警告する警告システムと共用するようにしてもよい。また、前方カメラ２３は、前方カメラ２３で撮影した画像を記憶するドライブレコーダシステムと共用するようにしてもよい。また、後方カメラ２４は、自車５０の後進時に、後方カメラ２４の撮影画像を表示する駐車支援システムと共用するようにしてもよい。
【００４４】
このように、本実施形態によれば、現実の状況を前方カメラ２３、後方カメラ２４で撮影した画像によって、路側機２００から受信した障害物情報が表す障害物をユーザに警告するので、自車５０と障害物の位置関係を模式的に表した警告画像４０を用いる場合に比べ、ユーザが、警告画像４０が表す状況と現実状況の対応づけや、現実の障害物を把握を、容易かつ速やかに行えるようになる。
【符号の説明】
【００４５】
１１…操作部、１２…表示装置、１３…障害物情報受信機、１４…記憶装置、１５…制御部、１６…ナビゲーション装置、１７…警告出力部、１８…ＧＵＩ制御部、１９…スピーカ、２０…音声出力部、２１…前方レーダ、２２…後方レーダ、２３…前方カメラ、２４…後方カメラ、３０…案内画像、３１…地図、３２…現在地マーク、４０…警告画像、５０…自車、５３…注意マーク、９０…交差点拡大画像、２００…路側機、３００…カメラ、４００…レーダ装置、５００…障害物情報提供装置。
【特許請求の範囲】
【請求項１】
自動車に搭載される車載システムであって、
路側機と通信し、前記路側機から周辺に存在する障害物の位置を少なくとも表す障害物情報を受信する障害物情報受信装置と、
前記自動車の周辺を撮影するカメラと、
前記障害物情報受信装置が受信した障害物情報が表す障害物の位置に基づいて、前記カメラが撮影した画像内の障害物が写り込む領域を算定する障害物領域算定部と、
前記カメラが撮影した画像から、前記障害物領域算定部が算定した領域の画像部分を抽出して、警告画像として表示する警告画像表示部とを有することを特徴とする車載システム。
【請求項２】
請求項１記載の車載システムであって、
レーダを用いて前記自動車の周辺に存在する物体を検出する周辺物検出部を有し、
前記警告画像表示部は、前記周辺物検出部によって検出された物体によって、前記カメラの、前記障害物情報が位置を表す障害物方向の視界が遮られている場合には、前記カメラが撮影した画像上に、前記算定した領域を示す図形を描画した画像を、警告画像として表示することを特徴とする車載システム。
【請求項３】
請求項１記載の車載システムであって、
前記警告画像表示部は、夜間には、前記カメラが撮影した画像上に、前記算定した領域を示す図形を描画した画像を、警告画像として表示することを特徴とする車載システム。
【請求項４】
自動車に搭載される車載システムであって、
路側機と通信し、前記路側機から周辺に存在する障害物の位置を少なくとも表す障害物情報を受信する障害物情報受信装置と、
前記自動車の周辺を撮影するカメラと、
前記障害物情報受信装置が受信した障害物情報が表す障害物の位置に基づいて、前記カメラが撮影した画像内の障害物が写り込む領域を算定する障害物領域算定部と、
前記カメラが撮影した画像上に、前記障害物領域算定部が算定した領域を示す図形を描画した画像を、警告画像として表示する警告画像表示部とを有することを特徴とする車載システム。
【請求項５】
請求項４記載の車載システムであって、
前記警告画像表示部は、前記図形として、前記カメラが撮影した画像の前記算定した領域を囲む図形を描画することを特徴とする車載システム。
【請求項６】
請求項４記載の車載システムであって、
前記警告画像表示部は、前記図形として、前記カメラが撮影した画像の前記算定した領域を指し示す矢印型の図形を描画することを特徴とする車載システム。
【請求項７】
請求項４記載の車載システムであって、
前記警告画像表示部は、前記図形として、所定のマークを、前記カメラが撮影した画像の前記算定した領域内に描画することを特徴とする車載システム。
【請求項８】
請求項７記載の車載システムであって、
前記障害物情報は、前記障害物の種別の情報を含み、
前記警告画像表示部は、前記マークとして、前記障害物情報が示す障害物の種別を表す形状を有するマークを描画することを特徴とする車載システム。
【請求項９】
請求項７記載の車載システムであって、
前記警告画像表示部は、前記障害物情報が示す障害物の位置が遠いほど前記マークを小さく描画することを特徴とする車載システム。
【請求項１０】
請求項１または４記載の車載システムであって、
前記障害物情報は、前記障害物の移動速度と移動方向をさらに表し、
前記障害物領域算定部は、前記障害物情報が表す前記障害物の位置と移動速度と移動方向と、前記障害物情報が、現在からどれだけ過去の時点における前記障害物の情報を表しているかとに基づいて、当該障害物の現在の位置を推定し、推定した障害物の現在の位置に基づいて、前記カメラが撮影した画像内の障害物が写り込む領域を算定することを特徴とする車載システム。
【請求項１１】
請求項１または４記載の車載システムであって、
前記警告画像表示部が前記警告画像を表示するときに、前記自動車周辺の地図に、前記自動車の現在位置と前記障害物の位置とを表した案内画像を表示する案内画像表示部を有することを特徴とする車載システム。
【請求項１２】
自動車に搭載される、路側機と通信し、前記路側機から周辺に存在する障害物の位置を少なくとも表す障害物情報を受信する障害物情報受信装置と、前記自動車の周辺を撮影するカメラとを備えたコンピュータによって読みとられ実行されるコンピュータプログラムであって、
前記コンピュータを、
前記障害物情報受信装置が受信した障害物情報が表す障害物の位置に基づいて、前記カメラが撮影した画像内の障害物が写り込む領域を算定する障害物領域算定部と、
前記カメラが撮影した画像から、前記障害物領域算定部が算定した領域の画像部分を抽出して、警告画像として表示する警告画像表示部として機能させることを特徴とする車コンピュータプログラム。
【請求項１３】
自動車に搭載される、路側機と通信し、前記路側機から周辺に存在する障害物の位置を少なくとも表す障害物情報を受信する障害物情報受信装置と、前記自動車の周辺を撮影するカメラとを備えたコンピュータによって読みとられ実行されるコンピュータプログラムであって、
前記コンピュータを、
前記障害物情報受信装置が受信した障害物情報が表す障害物の位置に基づいて、前記カメラが撮影した画像内の障害物が写り込む領域を算定する障害物領域算定部と、
前記カメラが撮影した画像上に、前記障害物領域算定部が算定した領域を示す図形を描画した画像を、警告画像として表示する警告画像表示部として機能させることを特徴とするコンピュータプログラム。
【請求項１４】
請求項１３記載のコンピュータプログラムであって、
前記警告画像表示部は、前記図形として、前記カメラが撮影した画像の前記算定した領域を囲む図形を描画することを特徴とするコンピュータプログラム。
【請求項１５】
請求項１３記載のコンピュータプログラムであって、
前記警告画像表示部は、前記図形として、前記カメラが撮影した画像の前記算定した領域を指し示す矢印型の図形を描画することを特徴とするコンピュータプログラム。
【請求項１６】
請求項１３記載のコンピュータプログラムであって、
前記警告画像表示部は、前記図形として、所定のマークを、前記カメラが撮影した画像の前記算定した領域内に描画することを特徴とするコンピュータプログラム。
【請求項１７】
請求項１６記載のコンピュータプログラムであって、
前記障害物情報は、前記障害物の種別の情報を含み、
前記警告画像表示部は、前記マークとして、前記障害物情報が示す障害物の種別を表す形状を有するマークを描画することを特徴とするコンピュータプログラム。
【請求項１８】
請求項１６記載のコンピュータプログラムであって、
前記警告画像表示部は、前記障害物情報が示す障害物の位置が遠いほど前記マークを小さく描画することを特徴とするコンピュータプログラム。
【請求項１９】
請求項１２または１３記載のコンピュータプログラムであって、
前記障害物情報は、前記障害物の移動速度と移動方向をさらに表し、
前記障害物領域算定部は、前記障害物情報が表す前記障害物の位置と移動速度と移動方向と、前記障害物情報が、現在からどれだけ過去の時点における前記障害物の情報を表しているかとに基づいて、当該障害物の現在の位置を推定し、推定した障害物の現在の位置に基づいて、前記カメラが撮影した画像内の障害物が写り込む領域を算定することを特徴とするコンピュータプログラム。
【請求項２０】
請求項１２または１３記載のコンピュータプログラムであって、
前記警告画像表示部が前記警告画像を表示するときに、前記自動車周辺の地図に、前記自動車の現在位置と前記障害物の位置とを表した案内画像を表示する案内画像表示部を有することを特徴とする車コンピュータプログラム。
【請求項１】
自動車に搭載される車載システムであって、
路側機と通信し、前記路側機から周辺に存在する障害物の位置を少なくとも表す障害物情報を受信する障害物情報受信装置と、
前記自動車の周辺を撮影するカメラと、
前記障害物情報受信装置が受信した障害物情報が表す障害物の位置に基づいて、前記カメラが撮影した画像内の障害物が写り込む領域を算定する障害物領域算定部と、
前記カメラが撮影した画像から、前記障害物領域算定部が算定した領域の画像部分を抽出して、警告画像として表示する警告画像表示部とを有することを特徴とする車載システム。
【請求項２】
請求項１記載の車載システムであって、
レーダを用いて前記自動車の周辺に存在する物体を検出する周辺物検出部を有し、
前記警告画像表示部は、前記周辺物検出部によって検出された物体によって、前記カメラの、前記障害物情報が位置を表す障害物方向の視界が遮られている場合には、前記カメラが撮影した画像上に、前記算定した領域を示す図形を描画した画像を、警告画像として表示することを特徴とする車載システム。
【請求項３】
請求項１記載の車載システムであって、
前記警告画像表示部は、夜間には、前記カメラが撮影した画像上に、前記算定した領域を示す図形を描画した画像を、警告画像として表示することを特徴とする車載システム。
【請求項４】
自動車に搭載される車載システムであって、
路側機と通信し、前記路側機から周辺に存在する障害物の位置を少なくとも表す障害物情報を受信する障害物情報受信装置と、
前記自動車の周辺を撮影するカメラと、
前記障害物情報受信装置が受信した障害物情報が表す障害物の位置に基づいて、前記カメラが撮影した画像内の障害物が写り込む領域を算定する障害物領域算定部と、
前記カメラが撮影した画像上に、前記障害物領域算定部が算定した領域を示す図形を描画した画像を、警告画像として表示する警告画像表示部とを有することを特徴とする車載システム。
【請求項５】
請求項４記載の車載システムであって、
前記警告画像表示部は、前記図形として、前記カメラが撮影した画像の前記算定した領域を囲む図形を描画することを特徴とする車載システム。
【請求項６】
請求項４記載の車載システムであって、
前記警告画像表示部は、前記図形として、前記カメラが撮影した画像の前記算定した領域を指し示す矢印型の図形を描画することを特徴とする車載システム。
【請求項７】
請求項４記載の車載システムであって、
前記警告画像表示部は、前記図形として、所定のマークを、前記カメラが撮影した画像の前記算定した領域内に描画することを特徴とする車載システム。
【請求項８】
請求項７記載の車載システムであって、
前記障害物情報は、前記障害物の種別の情報を含み、
前記警告画像表示部は、前記マークとして、前記障害物情報が示す障害物の種別を表す形状を有するマークを描画することを特徴とする車載システム。
【請求項９】
請求項７記載の車載システムであって、
前記警告画像表示部は、前記障害物情報が示す障害物の位置が遠いほど前記マークを小さく描画することを特徴とする車載システム。
【請求項１０】
請求項１または４記載の車載システムであって、
前記障害物情報は、前記障害物の移動速度と移動方向をさらに表し、
前記障害物領域算定部は、前記障害物情報が表す前記障害物の位置と移動速度と移動方向と、前記障害物情報が、現在からどれだけ過去の時点における前記障害物の情報を表しているかとに基づいて、当該障害物の現在の位置を推定し、推定した障害物の現在の位置に基づいて、前記カメラが撮影した画像内の障害物が写り込む領域を算定することを特徴とする車載システム。
【請求項１１】
請求項１または４記載の車載システムであって、
前記警告画像表示部が前記警告画像を表示するときに、前記自動車周辺の地図に、前記自動車の現在位置と前記障害物の位置とを表した案内画像を表示する案内画像表示部を有することを特徴とする車載システム。
【請求項１２】
自動車に搭載される、路側機と通信し、前記路側機から周辺に存在する障害物の位置を少なくとも表す障害物情報を受信する障害物情報受信装置と、前記自動車の周辺を撮影するカメラとを備えたコンピュータによって読みとられ実行されるコンピュータプログラムであって、
前記コンピュータを、
前記障害物情報受信装置が受信した障害物情報が表す障害物の位置に基づいて、前記カメラが撮影した画像内の障害物が写り込む領域を算定する障害物領域算定部と、
前記カメラが撮影した画像から、前記障害物領域算定部が算定した領域の画像部分を抽出して、警告画像として表示する警告画像表示部として機能させることを特徴とする車コンピュータプログラム。
【請求項１３】
自動車に搭載される、路側機と通信し、前記路側機から周辺に存在する障害物の位置を少なくとも表す障害物情報を受信する障害物情報受信装置と、前記自動車の周辺を撮影するカメラとを備えたコンピュータによって読みとられ実行されるコンピュータプログラムであって、
前記コンピュータを、
前記障害物情報受信装置が受信した障害物情報が表す障害物の位置に基づいて、前記カメラが撮影した画像内の障害物が写り込む領域を算定する障害物領域算定部と、
前記カメラが撮影した画像上に、前記障害物領域算定部が算定した領域を示す図形を描画した画像を、警告画像として表示する警告画像表示部として機能させることを特徴とするコンピュータプログラム。
【請求項１４】
請求項１３記載のコンピュータプログラムであって、
前記警告画像表示部は、前記図形として、前記カメラが撮影した画像の前記算定した領域を囲む図形を描画することを特徴とするコンピュータプログラム。
【請求項１５】
請求項１３記載のコンピュータプログラムであって、
前記警告画像表示部は、前記図形として、前記カメラが撮影した画像の前記算定した領域を指し示す矢印型の図形を描画することを特徴とするコンピュータプログラム。
【請求項１６】
請求項１３記載のコンピュータプログラムであって、
前記警告画像表示部は、前記図形として、所定のマークを、前記カメラが撮影した画像の前記算定した領域内に描画することを特徴とするコンピュータプログラム。
【請求項１７】
請求項１６記載のコンピュータプログラムであって、
前記障害物情報は、前記障害物の種別の情報を含み、
前記警告画像表示部は、前記マークとして、前記障害物情報が示す障害物の種別を表す形状を有するマークを描画することを特徴とするコンピュータプログラム。
【請求項１８】
請求項１６記載のコンピュータプログラムであって、
前記警告画像表示部は、前記障害物情報が示す障害物の位置が遠いほど前記マークを小さく描画することを特徴とするコンピュータプログラム。
【請求項１９】
請求項１２または１３記載のコンピュータプログラムであって、
前記障害物情報は、前記障害物の移動速度と移動方向をさらに表し、
前記障害物領域算定部は、前記障害物情報が表す前記障害物の位置と移動速度と移動方向と、前記障害物情報が、現在からどれだけ過去の時点における前記障害物の情報を表しているかとに基づいて、当該障害物の現在の位置を推定し、推定した障害物の現在の位置に基づいて、前記カメラが撮影した画像内の障害物が写り込む領域を算定することを特徴とするコンピュータプログラム。
【請求項２０】
請求項１２または１３記載のコンピュータプログラムであって、
前記警告画像表示部が前記警告画像を表示するときに、前記自動車周辺の地図に、前記自動車の現在位置と前記障害物の位置とを表した案内画像を表示する案内画像表示部を有することを特徴とする車コンピュータプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１０−１９８４２８（Ｐ２０１０−１９８４２８Ａ）
【公開日】平成２２年９月９日（２０１０．９．９）
【国際特許分類】
【出願番号】特願２００９−４３７２１（Ｐ２００９−４３７２１）
【出願日】平成２１年２月２６日（２００９．２．２６）
【出願人】（０００１０１７３２）アルパイン株式会社 (2,424)
【Ｆターム（参考）】
【公開日】平成２２年９月９日（２０１０．９．９）
【国際特許分類】
【出願日】平成２１年２月２６日（２００９．２．２６）
【出願人】（０００１０１７３２）アルパイン株式会社 (2,424)
【Ｆターム（参考）】
[ Back to top ]