説明

車両周辺表示装置、車両周辺表示方法およびプログラム

【課題】 ドライバが車両周辺の画像を表示したいと思う場所において、適切に画像を表示する車両周辺表示装置を提供する。
【解決手段】 車両周辺表示装置1は、過去に表示した周辺画像と、その周辺画像を表示した地点の道路に関する道路データとを関連付けて記憶した表示履歴DB17と、カメラにて撮影中の画像データを取得して周辺画像を生成する周辺画像生成部12と、車両の現在位置のデータを取得する現在位置データ取得部10と、地図DBから車両の現在位置に対応する道路データを取得し、取得した道路データに関連付けられた周辺画像を表示履歴DB17から探索する画像探索部11と、探索された周辺画像と周辺画像生成部にて生成した周辺画像の類似度を計算する類似度計算部14と、類似度が所定の閾値以上である場合に、周辺画像生成部にて生成した周辺画像をディスプレイ38に表示する表示制御部16とを備える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車両の運転支援のために、車両周辺の様子を撮影して表示する車両周辺表示装置に関する。
【背景技術】
【0002】
従来から、車両の周辺の様子を撮影した画像をドライバに提供し、運転を支援するシステムが知られていた。特許文献1は、車両の側方の監視画像を表示する装置の発明を開示している。特許文献1に記載された発明は、側方監視画像を表示させる必要のある場所をあらかじめ登録しておき、車両がその場所に差し掛かったときにディスプレイに側方監視画像を表示する。
【0003】
特許文献2は、カメラにより撮影した車両周辺の撮影画像を切り替えて表示する装置の発明を開示している。特許文献2に記載された発明は、道路の構成に基づいて表示画面を切り替えるようにしている。なお、特許文献2において「道路の構成」とは、道路の位置、車線数、幅員、および道路の流入、分岐、交差等の各道路の接続関係の情報である。
【0004】
特許文献3は、撮影予定位置においてドライバが見たい方向の状況を撮影して表示する装置の発明を開示している。特許文献3に記載された発明は、車両の現在位置が撮影予定位置またはその近傍であったとき、現在の状況と撮影条件とが一致するか否かを判定し、撮影条件に一致する場合に、指定されたカメラで撮影を行う。なお、特許文献3において「撮影条件」とは、進行方向、トランスミッションのシフトポジション、車速などの条件である。
【0005】
また、特許文献3では、撮影予定位置を自動的に登録する態様を開示している。すなわち、車両の走行中にドライバが撮影を行ないたいと思った地点で、手動で撮影を指示すると、その地点の画像を撮影して表示装置に表示すると共に、その位置を撮影予定位置として登録する。さらに、特許文献3では、撮影された画像から障害物等を検出し、車体が障害物をこすりそうな状況にあるときに、その位置を撮影予定位置として自動登録を行うことも開示されている。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開平8−293098号公報
【特許文献2】特開2005−309812号公報
【特許文献3】特開2005−318519号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、特許文献1に記載された発明では、側方監視画像を表示させる必要のある場所をあらかじめ登録する必要があり、ドライバにとって使いやすいとは言えなかった。特許文献2に記載された発明は、道路構成に基づいて車両周辺の画像を撮影および表示するので、あらかじめ登録する必要はない。しかし、車両周辺の画像を見たいかどうかは、ドライバの熟練度合い、走行中の道路に対する慣れ具合、苦手なシーンによって異なる。例えば、大雨が苦手なドライバもいれば、夜間、人混みが苦手なドライバもいる。苦手ではないシーンにおいて、車両の周辺画像が表示されると、画像表示自体を煩わしく感じる場合もあった。
【0008】
特許文献3に記載されているように、ドライバが過去に画像表示を指示した地点を登録する方法によれば、ドライバの要求に基づいた地点において画像を表示することが可能である。しかし、この方法は、過去に走行した道路にしか適用することができず、新しい道路を走行する場合には適用できなかった。
【0009】
そこで、本発明は上記背景に鑑み、ドライバが車両周辺の画像を表示したいと思う場所において、適切に周辺画像を表示する車両周辺表示装置を提供することを目的とする。
【課題を解決するための手段】
【0010】
本発明の車両周辺表示装置は、車両に搭載されたカメラにて撮影された周辺画像を表示する装置であって、過去に表示した周辺画像と、その周辺画像を表示した地点の道路に関する道路データとを関連付けて記憶した表示履歴記憶部と、前記カメラにて撮影中の画像データを取得して周辺画像を生成する周辺画像生成部と、車両の現在位置のデータを取得する現在位置データ取得部と、道路データを含む地図データを記憶した地図記憶部から車両の現在位置に対応する道路データを取得し、取得した道路データに関連付けられた周辺画像を前記表示履歴記憶部から探索する画像探索部と、前記画像探索部にて周辺画像が探索された場合に、探索された周辺画像と前記周辺画像生成部にて生成した周辺画像の類似度を計算する類似度計算部と、前記類似度が所定の閾値以上である場合に、前記周辺画像生成部にて生成した周辺画像をディスプレイに表示する表示制御部とを備える。
【0011】
このように現在の周辺画像と表示履歴記憶部に記憶された過去に表示した周辺画像との類似度が所定の閾値以上の場合に、現在の周辺画像を表示する構成により、現在の周辺画像が過去に表示した周辺画像と同じシーンの場合に周辺画像を表示することができる。これにより、単に、道路データが同じというだけでむやみに周辺画像が表示されることがなく、画像表示を煩わしく感じさせないようにできる。また、道路データが一致する周辺画像が探索された場合に、周辺画像の類似度の計算を行う構成により、道路データが異なり類似しない可能性が高い周辺画像との類似度計算を行わないようにできる。
【0012】
本発明の車両周辺表示装置は、車両に搭載されたセンサから車両の状態を示す車両データを取得する車両データ取得部を備え、前記表示履歴記憶部は、前記周辺画像の表示時における車両データを前記周辺画像に関連付けて記憶しており、前記画像探索部は、車両の現在位置に対応する道路データおよび前記車両データ取得部にて取得した車両データに関連付けられた周辺画像を前記表示履歴記憶部から探索してもよい。
【0013】
このように車両データ取得部にて取得した車両データに関連付けられた周辺画像を探索することにより、類似する可能性のある周辺画像を効率良く探索することができる。
【0014】
本発明の車両周辺表示装置は、現在位置から目的地までの経路のデータを取得する経路データ取得部と、前記地図記憶部に記憶された地図データから前記経路上の道路データを取得し、取得した道路データと前記表示履歴記憶部に記憶された道路データとを比較して、前記表示履歴記憶部に記憶された道路データと同じ道路データを有する地点を周辺画像の表示候補地として前記経路上から求めて表示候補地記憶部に記憶する表示計画部とを備え、前記画像探索部は、前記現在位置データ取得部にて取得した現在位置のデータに基づいて、車両が前記表示候補地を含む所定の範囲内に入ったと判定されたときに、その道路データに関連付けられた周辺画像を前記表示履歴記憶部から探索してもよい。
【0015】
このように経路データに基づいて、表示履歴記憶部に記憶された道路データと同じ道路データを有する表示候補地を求めておくことにより、車両が表示候補地に到達したときに周辺画像を表示するか否かを判定する処理を行えばよい。これにより、走行時に道路データが一致する周辺画像が表示履歴記憶部に存在するか否かを常に判断する必要がなく、走行時における処理負担を軽減できる。
【0016】
本発明の車両周辺表示装置において、前記表示履歴記憶部は、周辺画像の表示を停止したときの周辺画像のデータを記憶しており、前記類似度計算部は、表示を停止したときの周辺画像と前記周辺画像生成部にて生成した周辺画像の類似度を計算し、前記表示制御部は、前記類似度が所定の閾値以上である場合に、周辺画像のディスプレイへの表示を停止してもよい。
【0017】
この構成により、過去の表示履歴に基づいて、適切なタイミングで画像表示を停止できる。
【0018】
本発明の車両周辺表示装置において、前記画像探索部は、取得した道路データのうちの一部の道路データを探索キーとして用い、当該一部の道路データに関連付けられた周辺画像の探索を行い、前記一部の道路データに関連付けられた画像が所定数以上存在する場合には、探索キーとなる道路データの数を増やして周辺画像の探索を行ってもよい。
【0019】
このように一部の道路データを探索キーとして用いることにより、探索キーから除外された道路データが一致しなくても、表示履歴記憶部に記憶された周辺画像と現在の周辺画像との類似度を計算する。これにより、比較対象の候補となる周辺画像を広く探索するので、過去の周辺画像と比較する前の段階で処理が終了してしまって、類似する周辺画像を見落としてしまう可能性を低減できる。また、探索キーとして用いた一部の道路データに関連付けられた画像が所定数以上存在する場合には、探索キーを増やすことにより、関連付けられた画像を減らし、類似度計算に要する処理負荷を軽減できる。なお、所定数以上の周辺画像が関連付けられている探索キー(道路データの組み合わせ)は頻出の道路データであるので、探索キーを増やしても、類似する可能性のある周辺画像を見落とす可能性は少ないと考えられる。
【0020】
本発明の車両周辺表示装置において、前記表示履歴記憶部には、どの方向の周辺画像を表示したかを特定する方向特定データが記憶されており、前記周辺画像生成部にて生成した周辺画像を用いて、前記方向特定データにて特定される周辺画像を生成してもよい。
【0021】
このように方向特定データを有することにより、同じ方向の周辺画像の類似度を適切に計算することができる。
【0022】
本発明の車両周辺表示装置は、前記表示履歴記憶部は、過去に表示した周辺画像から検出された道路上にある物体の画像を記憶しており、前記類似度計算部は、前記周辺画像から検出された道路上にある物体の画像と、前記表示履歴記憶部に記憶された物体の画像の類似度を計算してもよい。
【0023】
この構成により、表示履歴記憶部に記憶するデータ量を低減できると共に、ドライバの運転時における判断に大きい影響を与える道路上の物体の画像を比較するので、過去に周辺画像を表示したシーンか否かを適切に判定することができる。
【0024】
本発明の車両周辺表示装置は、前記物体の画像から物体の幅を計算し、計算した物体幅と前記道路データに含まれる道路幅とに基づいて実道路幅を計算する実道路幅計算部を備え、前記表示履歴記憶部は、過去に周辺画像を表示したときの実道路幅のデータを記憶し、前記類似度計算部は、前記周辺画像から計算された実道路幅と、前記表示履歴記憶部に記憶された実道路幅とを比較し、前記表示制御部は、前記実道路幅が一致したときに周辺画像を表示してもよい。
【0025】
この構成により、車種やドライバの熟練度によって異なる運転支援が必要な実道路幅を考慮して、周辺画像を表示するか否かを適切に判断することができる。
【0026】
本発明の車両周辺表示装置は、車両に搭載されたカメラにて撮影された周辺画像を表示する装置であって、車両に搭載されたセンサから車両の状態を示す車両データを取得する車両データ取得部と、過去に表示した周辺画像と、その周辺画像の表示時における車両データとを関連付けて記憶した表示履歴記憶部と、前記車両データ取得部にて取得した車両データに関連付けられた周辺画像を前記表示履歴記憶部から探索する画像探索部と、前記カメラにて撮影中の画像データを取得して周辺画像を生成する周辺画像生成部と、前記画像探索部にて周辺画像が探索された場合に、探索された周辺画像と前記周辺画像生成部にて生成した周辺画像の類似度を計算する類似度計算部と、前記類似度が所定の閾値以上である場合に、前記周辺画像生成部にて生成した周辺画像をディスプレイに表示する表示制御部とを備える。
【0027】
このように現在の周辺画像と表示履歴記憶部に記憶された過去に表示した周辺画像との類似度が所定の閾値以上の場合に、現在の周辺画像を表示する構成により、現在の周辺画像が過去に表示した周辺画像と同じシーンの場合に周辺画像を表示することができる。これにより、単に、操作の内容が同じというだけでむやみに周辺画像が表示されることがなく、画像表示を煩わしく感じさせないようにできる。また、車両データが一致する周辺画像が探索された場合に、周辺画像の類似度の計算を行う構成により、車両データが異なり類似しない可能性が高い周辺画像との類似度計算を行わないようにできる。
【0028】
本発明の車両周辺表示方法は、車両に搭載されたカメラにて撮影された周辺画像を表示する方法であって、前記カメラにて撮影中の画像データを取得して周辺画像を生成する周辺画像生成ステップと、車両の現在位置のデータを取得する現在位置データ取得ステップと、道路に関する道路データを含む地図データを記憶した地図記憶部から車両の現在位置に対応する道路データを取得し、取得した道路データに関連付けられた周辺画像を、過去に表示した周辺画像とその周辺画像を表示した地点の道路データとを関連付けて記憶した表示履歴記憶部から探索する画像探索ステップと、前記画像探索ステップにて周辺画像が探索された場合に、探索された周辺画像と前記周辺画像生成ステップにて生成した周辺画像の類似度を計算する類似度計算ステップと、前記類似度が所定の閾値以上である場合に、前記周辺画像生成ステップにて生成した周辺画像をディスプレイに表示する表示制御ステップとを備える。
【0029】
本発明のプログラムは、車両に搭載されたカメラにて撮影された周辺画像を表示するためのプログラムであって、コンピュータに、前記カメラにて撮影中の画像データを取得して周辺画像を生成する周辺画像生成ステップと、車両の現在位置のデータを取得する現在位置データ取得ステップと、道路に関する道路データを含む地図データを記憶した地図記憶部から車両の現在位置に対応する道路データを取得し、取得した道路データに関連付けられた周辺画像を、過去に表示した周辺画像とその周辺画像を表示した地点の道路データとを関連付けて記憶した表示履歴記憶部から探索する画像探索ステップと、前記画像探索ステップにて周辺画像が探索された場合に、探索された周辺画像と前記周辺画像生成ステップにて生成した周辺画像の類似度を計算する類似度計算ステップと、前記類似度が所定の閾値以上である場合に、前記周辺画像生成ステップにて生成した周辺画像をディスプレイに表示する表示制御ステップとを実行させる。
【0030】
この構成により、本発明の車両周辺表示方法およびプログラムは、上記した車両周辺表示装置と同様に、単に、道路データが同じというだけでむやみに周辺画像が表示されることがなく、画像表示を煩わしく感じさせないようにできる。なお、本発明の車両周辺表示装置の各種の構成を本発明の車両周辺表示方法およびプログラムに適用することが可能である。
【発明の効果】
【0031】
本発明は、現在の周辺画像が過去に表示した周辺画像と同じシーンの場合に周辺画像を表示することにより、単に、道路データが同じというだけでむやみに周辺画像が表示されることがなく、画像表示を煩わしく感じさせないようにできる。
【図面の簡単な説明】
【0032】
【図1】第1の実施の形態の車両周辺表示装置の構成を示す図である。
【図2】(a)表示履歴DBに記憶された周辺画像の表示開始時のデータの例を示す図である。(b)表示履歴DBに記憶された周辺画像の表示停止時のデータの例を示す図である。
【図3】(a)〜(e)画像特徴量の計算処理について説明する図である。
【図4】(a)勾配値の計算について説明するための図である。(b)勾配値の計算に用いる係数の例を示す図である。
【図5】車両周辺表示装置のハードウェア構成を示す図である。
【図6】(a)第1の実施の形態の車両周辺表示装置の表示履歴DBにデータを蓄積する動作を示す図である。(b)表示履歴記憶の詳細な動作を示す図である。
【図7】第1の実施の形態の車両周辺表示装置が周辺画像を表示する動作を示す図である。
【図8】第2の実施の形態の車両周辺表示装置の構成を示す図である。
【図9】第2の実施の形態の車両周辺表示装置が表示候補地を計画する動作を示す図である。
【図10】第2の実施の形態の車両周辺表示装置によって周辺画像を表示する動作を示す図である。
【図11】探索キーの数の変更について説明するための図である。
【発明を実施するための形態】
【0033】
以下、本発明の実施の形態の車両周辺表示装置の構成について説明する。以下では、車両周辺表示装置がカーナビゲーション装置(以下、「カーナビ」という)と別体である場合を例として説明するが、車両周辺表示装置はカーナビに組み込まれていてもよい。
【0034】
図1は、第1の実施の形態の車両周辺表示装置1の構成を示す図である。車両周辺表示装置1には、カーナビ30、GPS受信機35、センサ群36、カメラ群37、ディスプレイ38が接続されている。ディスプレイ38は、カーナビ30のディスプレイ33を利用してもよい。
【0035】
カーナビ30は、通常のカーナビ30と同様に、経路探索部31、経路案内部32、ディスプレイ33、地図データベース(以下、「地図DB」という)34を有する。地図DB34には、道路の種別や道路のリンク種別等を示す道路データが記憶されている。GPS受信機35は、GPS衛星からの信号を受信し、車両の現在位置を検出する。GPS受信機35は、現在位置データを車両周辺表示装置1に送信する。なお、本実施の形態では、車両の現在位置を検出する構成としてGPS受信機35のみを示しているが、現在位置を検出するセンサとしては、例えば、車両の絶対方位を検出するための地磁気センサ、車両の相対方位を検出するためのジャイロスコープ、車両の走行距離を検出する距離センサ、ステアリングの回転センサ、各転動輪の車速センサ等を用いることも可能である。これらのセンサを用いることにより、現在位置の検出精度を高めることができる。
【0036】
センサ群36は、車両に搭載された各種のセンサであり、車両の状態を検出する。センサ群36には、速度、ギアのシフトポジション、ウィンカー、ヘッドライト、ワイパー、ハンドル、ブレーキ、エアコン、窓、オーディオ等の状態を検知するセンサが含まれる。センサ群36は、検知された車両データを車両周辺表示装置1に送信する。
【0037】
カメラ群37は、車両の周辺を撮影するために車両に搭載された複数台のカメラである。本実施の形態では、カメラ群37として、車両の左右をそれぞれ撮影する2台のカメラ、車両の後方を撮影するカメラ、車両前方の死角を撮影するカメラを有する。カメラ群37は、撮影によって得られた画像データを車両周辺表示装置1に送信する。なお、本実施の形態では、複数台のカメラを用いる例について説明しているが、カメラは必ずしも複数台である必要はなく、例えば後方を撮影するカメラのみを搭載することとしてもよい。
【0038】
車両周辺表示装置1は、現在位置データ取得部10と、画像探索部11と、周辺画像生成部12と、画像特徴量計算部13と、類似度計算部14と、画像表示判定部15と、表示制御部16と、表示履歴データベース(以下、「表示履歴DB」という)17とを有している。
【0039】
周辺画像生成部12は、4台のカメラにて撮影された画像データを取得し、取得した画像を合成して周辺画像を生成する。本実施の形態では、周辺画像として、「ブラインドコーナー画像」「トップビュー画像」「後方ワイドビュー画像」「バックガイド画像」「すり抜け画像」「電子ミラー画像」を生成する。
【0040】
「ブラインドコーナー画像」は、車両のバンパーによって死角になっている右斜め前または左斜め前の画像である。前方のカメラ画像に基づいて生成される。「トップビュー画像」は、車両を上方から見下ろした画像である。4台のカメラ画像を合成して生成される。「後方ワイドビュー画像」は、車両の後方を広角にとらえた画像である。後方と2台の側方のカメラ画像を合成して生成される。「バックガイド画像」は車両の後方の比較的近くを表示した画像である。後方のカメラ画像に基づいて生成される。「すり抜け画像」は、狭い道路においてすり抜けやすれ違いをサポートする画像である。2台の側方のカメラ画像に基づいて生成される。「電子ミラー画像」は、サイドミラーで確認できる方向の画像をサイドミラーより広い角度でとらえた画像である。側方のカメラ画像に基づいて生成される。なお、ここで示した周辺画像の種類は一例であり、上記以外の周辺画像を生成および表示することとしてもよい。
【0041】
現在位置データ取得部10は、GPS受信機35から現在位置データを取得する。現在位置データ取得部10は、現在位置データを画像探索部11に渡す。画像探索部11は、表示履歴DB17から過去に表示した周辺画像の特徴量を探索する。
【0042】
図2(a)および図2(b)は、表示履歴DB17に記憶されたデータの例を示す図である。図2(a)は、周辺画像の表示を開始したときの周辺画像とその関連データ、図2(b)は、周辺画像の表示を停止したときの周辺画像とその関連データである。説明の便宜上、図2(a)と図2(b)の2つの図に分けて記載しているが、図2(a)、図2(b)に示すデータは共に、表示履歴DB17に記憶されている。
【0043】
図2(a)に示すように、表示履歴DB17には、周辺画像の表示を開始したときの位置と、道路データと、車両データと、周辺画像の画像データとが関連付けて記憶されている。また、図2(b)に示すように周辺画像の表示を停止したときの位置と、道路データと、車両データと、周辺画像の画像データも同様に記憶されている。図2(a)、図2(b)において、「No.」は対応しており、同じ「No.」の周辺画像の表示開始と表示停止のデータは組になっている。例えば、図2(b)に示す「No.1」で表示が停止された周辺画像は、図2(a)に示す「No.1」で表示が開始された周辺画像である。
【0044】
次に、表示履歴DB17に記憶された各データについて説明する。周辺画像の表示を開始したときに周辺画像データに関連付けて記憶した各種データ(図2(a)参照)と周辺画像の表示を停止したときに周辺画像データに関連付けて記憶した各種データ(図2(b)参照)は同じである。以下では、図2(a)を中心に説明する。位置は、緯度、経度によって表現されたデータである。周辺画像の表示を開始したときに、現在位置データ取得部10にて取得したデータが記憶される。
【0045】
道路データとしては、道路の「種別」と「リンク種別」が記憶されている。道路の「種別」は、例えば、「国道」「県道」「その他の一般道路」「高速自動車道路」「都市高速道路」「駐車場」等である。道路の「リンク種別」は、例えば、「交差点」「ランプ」「ロータリー」「トンネル」等である。なお、ここに挙げた道路データは一例であり、道路の構成等を特徴づける他のデータを用いることも可能である。例えば、「分岐」、「分岐属性」「信号」「車線数」「幅員」「一方通行」「法定速度」等を道路データとして用いてもよい。なお、「分岐属性」とは、「分岐なし」「IC」「SA,PA」「JCT」等のように、道路が分岐している理由を示すデータである。
【0046】
車両データとしては、周辺画像を表示したときにセンサ群36から取得したデータが記憶されている。車両データは、具体的には、「速度」「ギア」「ウィンカー」「ヘッドライト」「ワイパー」の状態を示すデータである。なお、ここに挙げた車両データは一例であり、他の車両データを用いてもよい。「ヘッドライト」は「ON」のデータが記憶された場合には、「通常点灯」か「ハイビーム」かのデータも併せて記憶されている。「ワイパー」は、「0」のデータがワイパー停止を示し、「1〜3」のデータがワイパーの動作速度を示す。数値が大きくなるほど、ワイパーが高速に動作したことを示す。
【0047】
画像データとしては、周辺画像の方向を特定する「方向」のデータと、周辺画像の「画像特徴量」のデータとが記憶されている。「方向」のデータは、「ブラインドコーナー画像」「トップビュー画像」「後方ワイドビュー画像」「後方ガイド画像」「すり抜け画像」「電子ミラー画像」のいずれの周辺画像であるかを特定する。「画像特徴量」は、画像を識別するためのデータである。画像自体ではなく、画像特徴量を用いることにより、表示履歴DB17のデータ量を抑制することができる。なお、車両周辺表示装置1が大容量のメモリを有する場合には、画像自体を記憶してもよい。
【0048】
次に、画像探索部11の機能について説明する。本実施の形態の車両周辺表示装置1は、現在の周辺画像が過去に表示した周辺画像と類似している場合には、ドライバが過去に周辺画像を表示したシーンと類似するシーンであると判断し、現在の周辺画像を表示する。ここで、現在の周辺画像を、表示履歴DB17に記憶されたすべての周辺画像と比較すると処理負担が大きい。そこで、比較対象の候補となる周辺画像を探索するのが画像探索部11の機能である。
【0049】
画像探索部11は、現在位置データ取得部10から渡された現在位置データに対応する道路データを地図DB34から読み出す。また、画像探索部11は、センサ群36から送信された車両データを受信する。画像探索部11は、地図DB34から読み出した道路データと、センサ群36から受信した車両データを探索キーとして用いて、表示履歴DB17から探索キーに一致する周辺画像の画像特徴量を探索する。例えば、道路データが「国道」「トンネル」であって、車両データが「速度:30km/h」「ギア:D」「ウィンカー:OFF」の場合、これらを探索キーとして周辺画像の探索を行うと、「No.1」の画像の画像特徴量が探索される。なお、探索キーとしては、図2(a)に示すすべての道路データ、車両データを用いてもよいし、一部の道路データ、車両データを用いてもよい。
【0050】
画像探索部11は、探索キーの道路データ、車両データに合致する周辺画像が探索された場合には、その画像特徴量を出力する。探索キーに合致する周辺画像が存在しなかった場合には、画像探索部11は、周辺画像が見つからなかった旨を出力する。
【0051】
類似度計算部14は、画像探索部11にて探索された過去の周辺画像と、現在の周辺画像との類似度を計算する。類似度計算部14は、画像特徴量計算部13に対し、画像探索部11にて探索された周辺画像と同じ方向の周辺画像の画像特徴量データを送信するように指示する。例えば、画像探索部11にて、図2(a)に示す「No.1」のデータが探索された場合には、類似度計算部14は、「後方ワイドビュー画像」の画像特徴量データの送信を指示する。
【0052】
周辺画像生成部12は、カメラ群37から取得したカメラ画像を合成して、指定された周辺画像を生成する。周辺画像生成部12は、生成した周辺画像を画像特徴量計算部13に渡す。画像特徴量計算部13は、周辺画像の画像特徴量を計算する。
【0053】
図3(a)〜図3(e)は、画像特徴量の計算処理について説明する図である。画像特徴量計算部13は、図3(a)に示すように、周辺画像に対して特徴量計算の対象となる領域Aを設定する。例えば、ドライバが運転の際に注視する視野を特徴量計算の対象領域Aとして設定することにより、特徴量の計算精度を高めることができる。次に、画像特徴量計算部13は、図3(b)に示すように、対象領域Aに対して複数の小領域Bを設定する。なお、小領域Bを設定する際に、それぞれの小領域Bが部分的に重なってもよい。
【0054】
続いて、画像特徴量計算部13は、図3(c)に示すように小領域Bを16分割して計算単位の領域Cを得る。画像特徴量計算部13は、図3(d)に示すように、計算単位領域Cのそれぞれにおいて8方向の勾配値を求める。
【0055】
図4(a)及び図4(b)は、勾配値の計算について説明するための図である。図4(a)に示すように、3×3画素で構成される計算単位領域Cの各画素値に、方向によって決まる特有の係数を掛けて合計することにより、勾配値を計算する。図4(b)は、勾配値の計算に用いる係数の例を示す図である。
【0056】
画像特徴量計算部13は、小領域Bに含まれる16個すべての計算単位の8方向の勾配値を合算し、図3(e)に示すようなヒストグラムを求める。このヒストグラムが画像の小領域Bにおける特徴量である。以上の画像特徴量の計算処理は、安倍満、吉田悠一「VisualRankの多クラスへの拡張: 画像特徴量を用いた類似画像の自動分類とランキング付け手法」電子情報通信学会に詳しく記載されている。
【0057】
類似度計算部14は、画像探索部11にて探索された過去の周辺画像と画像特徴量計算部13にて計算された現在の周辺画像の画像特徴量に基づいて、両画像の類似度を計算する。類似度計算部14は、比較対象の画像において、対応する位置にある小領域Bの特徴量どうしを比較して類似度を求め、その比較結果を合計して全体の類似度を計算する。類似度計算部14は、計算によって求めた類似度の値を画像表示判定部15に渡す。
【0058】
画像表示判定部15は、類似度が所定の閾値以上であるか否かを判定する。類似度が所定の閾値以上であると判定された場合に、画像表示判定部15は現在の周辺画像を表示すると判定し、表示制御部16に対し、現在の周辺画像を表示するように指示を出す。表示制御部16は、画像表示判定部15からの指示を受けると、周辺画像生成部12にて生成した周辺画像のデータをディスプレイ38に送信し、ディスプレイ38に周辺画像を表示させる。
【0059】
また、類似度計算部14は、表示制御部16にて周辺画像の表示が開始された後に、画像探索部11にて探索された過去の周辺画像の表示を停止したときの周辺画像(すなわち、画像表示を停止する直前の周辺画像)と現在の周辺画像との類似度を計算し、計算によって求めた類似度の値を画像表示判定部15に渡す。画像表示判定部15は、類似度が所定の閾値以上であるか否かを判定し、類似度が所定の閾値以上であると判定された場合に、周辺画像の表示を停止すると判定する。表示制御部16は、画像表示判定部15から画像表示を停止するとの指示を受けた場合に、ディスプレイ38に対し、周辺画像の表示を停止するように指示する制御信号を送信する。
【0060】
図5は、上記に説明した車両周辺表示装置1のハードウェア構成を示す図である。車両周辺表示装置1は、ECU40、RAM41、ROM42、通信インターフェース44、ハードディスク45、操作部46がデータバス47によって接続されたコンピュータによって構成される。ECU40が、ROM42に書き込まれたプログラム43に従って演算処理を実行することにより、上記した車両周辺表示装置1の機能が実現される。このようなプログラム43は、本発明の範囲に含まれる。
【0061】
図6(a)および図6(b)は、第1の実施の形態の車両周辺表示装置1の表示履歴DB17にデータを蓄積する動作を示す図である。図6(a)に示すように、車両周辺表示装置1は、車両の走行中に、ドライバからの周辺画像の表示指示があったか否かを判定する(S10)。表示指示がない場合には(S10でNO)、表示指示があるまで、この判定を繰り返し行う。
【0062】
ドライバから周辺画像の表示指示があった場合には(S10でYES)、車両周辺表示装置1は、撮影中の画像を送信するようにカメラ群37に対して指示を出す。周辺画像の表示指示には、ドライバがどの方向の周辺画像を表示したいかを示すデータを含む。例えば、周辺画像の表示指示を行うスイッチを8個準備し、どのスイッチを押されたかに応じて、左右の「ブラインドコーナー画像」「トップビュー画像」「後方ワイドビュー画像」「バックガイド画像」「すり抜け画像」、左右の「電子ミラー画像」のいずれを表示したいかを識別できるようにしてもよい。車両周辺表示装置1は、カメラ群37から撮影中の画像データを受信すると、受信したカメラ画像を合成して周辺画像を生成し(S12)、生成した周辺画像をディスプレイ38に表示する(S14)。また、車両周辺表示装置1は、表示を開始したときの周辺画像の画像特徴量データを表示履歴DB17に記憶する(S16)。
【0063】
図6(b)は、表示履歴記憶(S16)の詳細な動作を示す図である。図6(b)に示すように、車両周辺表示装置1は、現在位置データ取得部10にて、ドライバが周辺画像の表示指示を出したときの車両の現在位置のデータを取得する(S30)。車両周辺表示装置1は、現在位置に対応する道路データを地図DB34から読み出す(S32)。また、車両周辺表示装置1は、ドライバが周辺画像の表示指示を出したときの車両データをセンサ群36から取得する(S34)。車両周辺表示装置1は、ドライバが周辺画像の表示指示を出したときにカメラ画像から生成された周辺画像の画像特徴量を計算する(S36)。以上のように求めた道路データ、車両データおよび周辺画像の画像データを関連付けて、表示履歴DB17に記憶する(S38)。
【0064】
車両周辺表示装置1は、周辺画像の表示中には、ドライバからの周辺画像表示の停止指示があったか否かを判定する(S18)。周辺画像表示の停止指示がない場合には(S18でNO)、停止指示があるまで周辺画像を表示しながら、この判定を繰り返し行う。ドライバから周辺画像表示の停止指示があった場合には(S18でYES)、車両周辺表示装置1の表示制御部16は、周辺画像の表示を停止する(S20)。また、車両周辺表示装置1は、周辺画像の表示を停止したとき、すなわち表示を停止する直前の周辺画像のデータを表示履歴DB17に記憶する(S22)。周辺画像のデータの表示を停止する詳細な動作は、図6(b)にて説明した動作と同じである。
【0065】
図7は、第1の実施の形態の車両周辺表示装置1が周辺画像を表示する動作を示す図である。車両周辺表示装置1は、車両の走行中に、GPS受信機35から現在位置データを取得する(S40)。車両周辺表示装置1は、現在位置に対応する道路データを地図DB34から読み出す(S42)。また、車両周辺表示装置1は、センサ群36から車両データを取得する(S44)。なお、現在位置データの取得(S40)と車両データの取得(S44)の順序は、図7に示す順序に限定されるものではなく、例えば、逆であってもよい。
【0066】
車両周辺表示装置1は、取得した道路データおよび車両データと同じ道路データおよび車両データに関連付けられた過去の周辺画像が存在するか表示履歴DB17内を探索する(S46)。道路データおよび車両データが同一の周辺画像が見つからなかった場合には(S48でNO)、車両周辺表示装置1は、周辺画像の表示を行わないで現在位置データを取得する処理(S40)に戻る。
【0067】
道路データおよび車両データが同一の周辺画像が見つかった場合には(S48でYES)、車両周辺表示装置1は、カメラ群37から取得した画像データを生成して周辺画像を生成し(S50)、生成した周辺画像の特徴量を計算する(S52)。続いて、車両周辺表示装置1は、表示履歴DB17から読み出した画像特徴量と現在の周辺画像の画像特徴量との類似度を計算する(S52)。類似度が所定の閾値未満の場合には(S54でNO)、車両周辺表示装置1は、周辺画像の表示を行わないで現在位置データを取得する処理(S40)に戻る。
【0068】
類似度が所定の閾値以上の場合には(S54でYES)、車両周辺表示装置1は、カメラ群37にて撮影中の周辺画像のディスプレイ38への表示を開始する(S56)。周辺画像の表示中には、車両周辺表示装置1は、周辺画像の表示を停止する停止条件を満たすか否かを判定し(S58)、停止条件を満たさないと判定されたときには(S58でNO)、周辺画像の表示を続けながら、停止条件を満たすか否かの判定を繰り返し行う。
【0069】
車両周辺表示装置1は、停止条件を満たすと判定されたときに(S58でYES)、周辺画像の表示を停止する(S60)。本実施の形態では、周辺画像の表示の停止条件は、現在の周辺画像と、表示履歴DB17に記憶された周辺画像の表示を停止したときの周辺画像の類似度が所定の閾値以上となったときである。従って、車両周辺表示装置1は、撮影中のカメラ画像の画像特徴量と、表示履歴DB17に記憶された表示停止時の画像特徴量(図2(b)参照)とを比較して類似度を計算し、類似度が所定の閾値以上であるかを判定する。以上、第1の実施の形態の車両周辺表示装置1の構成および動作について説明した。
【0070】
第1の実施の形態の車両周辺表示装置1は、現在の周辺画像と、表示履歴DB17に記憶された過去に表示した周辺画像との類似度を計算し、類似度が所定の閾値以上のときに周辺画像を表示するので、過去に周辺画像を表示したときと同じか、あるいは似通ったシーンにおいて、周辺画像を表示することができる。これにより、ドライバが苦手とするシーンにおいて、自動的に周辺画像が表示され、適切に運転を支援することができる。また、道路データや車両データが同じであってもシーンが異なる場合には、周辺画像が表示されないので、ドライバが煩わしさを感じることが少なくなる。
【0071】
第1の実施の形態の車両周辺表示装置1は、現在の周辺画像との比較対象となる過去の周辺画像の候補を道路データや車両データに基づいて選ぶので、比較対象の候補となる過去の周辺画像を減らし、周辺画像の類似度を計算する処理負担を軽減できる。
【0072】
第1の実施の形態の車両周辺表示装置1は、過去に周辺画像の表示を停止したときの周辺画像と現在の周辺画像の類似度を計算し、類似度が所定の閾値以上のときに周辺画像の表示を停止するので、過去にドライバが周辺画像の表示が必要ないと判断したタイミングで、周辺画像の表示を停止できる。
【0073】
第1の実施の形態の車両周辺表示装置1は、周辺画像生成部12にて生成された周辺画像どうしの類似度を計算している。運転を支援するために生成された周辺画像に映る対象物はおおよそ決まっているので、周辺画像どうしの類似度計算を精度良く行うことができる。
【0074】
(第2の実施の形態)
図8は、本発明の第2の実施の形態の車両周辺表示装置2の構成を示す図である。第2の実施の形態の車両周辺表示装置2の基本的な構成は、第1の実施の形態の車両周辺表示装置1と同じである。第2の実施の形態の車両周辺表示装置2は、第1の実施の形態の車両周辺表示装置1の構成に加え、経路データ取得部18と、画像表示計画部19と、表示候補地データベース(以下、「表示候補地DB」という)20とを有している。経路データ取得部18は、カーナビ30にて探索された出発地から目的地までの経路データを取得する。経路データ取得部18は、取得した経路データを画像表示計画部19に渡す。
【0075】
画像表示計画部19は、カーナビ30から受信した経路データの経路上において、周辺画像を表示する候補となる表示候補地を計画する。具体的には、画像表示計画部19は、地図DB34に記憶された地図データから経路上の道路データを取得する。画像表示計画部19は、経路上の道路データと表示履歴DB17に記憶された道路データとを比較し、同じ道路データを有する地点を周辺画像の表示候補地として求める。画像表示計画部19は、求めた表示候補地を表示候補地DB20に記憶する。
【0076】
画像探索部11は、基本的には、第1の実施の形態における画像探索部11と同様に、撮影中のカメラ画像との比較対象となる過去の周辺画像の探索を行う。ただし、第1の実施の形態と異なり、画像探索部11は、車両が表示候補地DB20に記憶された表示候補地に近づいたときに、画像探索を行う点である。
【0077】
図9は、第2の実施の形態の車両周辺表示装置2が表示候補地を計画する動作を示す図である。カーナビ30は、ドライバから目的地の設定を受け付け(S70)、現在位置から目的地までの経路を探索する(S72)。カーナビ30は、探索した経路データを車両周辺表示装置2に送信する(S74)。車両周辺表示装置2は、カーナビ30から送信された経路データを受信すると(S76)、受信した経路データにて特定される経路の道路データを地図DB34から読み出す(S78)。
【0078】
車両周辺表示装置2は、経路上の道路データと表示履歴DB17に記憶された道路データとを比較し、表示履歴DB17に経路上の道路データと同じ道路データが記憶されているか否かを判定する(S80)。同じ道路データがある場合には(S80でYES)、その道路データにかかる地点を表示候補地とし、表示候補地DB20に書き込む(S82)。経路上にあるすべての道路データについて、上記の判定を行って、表示候補地DB20に、経路上における周辺画像の表示候補地を記憶する。カーナビ30は、表示候補地DB20の準備が整った段階で、経路案内を開始する(S84)。
【0079】
図10は、第2の実施の形態の車両周辺表示装置2によって周辺画像を表示する動作を示す図である。第2の実施の形態の車両周辺表示装置2は、車両の走行中に現在位置データを取得し(S90)、現在位置データと表示候補地DB20に記憶された表示候補地のデータとに基づいて、車両が表示候補地に到達したか否かを判定する(S92)。ここで、表示候補地に到達したか否かの判定は、車両が表示候補地を含む所定の範囲(例えば、表示候補地を中心とする半径100mの範囲)に進入したか否かによって判定する。車両が表示候補地に到達していない場合には(S92でNO)、車両周辺表示装置2は、現在位置データを取得する処理(S90)に戻る。なお、表示候補地に到達したか否かを判定するための所定の範囲の大きさは、道路データに応じて変えてもよい。例えば、道路の種別が「国道」の場合には半径100mに設定し、道路の種別が「駐車場」の場合には半径10mに設定する等してもよい。
【0080】
車両が表示候補地に到達したと判定した場合には(S92でYES)、車両周辺表示装置2は、センサ群36から車両データを取得する(S94)。車両周辺表示装置2は、表示候補地における周辺画像データおよびその関連データを表示履歴DB17から読み出し、読み出したデータに含まれる車両データと、センサ群36から受信した車両データが一致するか否かを判定する(S96)。車両データが一致しない場合には(S96でNO)、車両周辺表示装置2は、その表示候補地では周辺画像を表示せず、現在位置データを取得する処理に戻る(S90)。
【0081】
車両データが一致する場合には(S96でYES)、車両周辺表示装置2は、カメラ群37から取得した画像データから周辺画像を生成し、生成した画像の特徴量を求める。続いて、車両周辺表示装置2は、現在の周辺画像の画像特徴量と表示履歴DB17から読み出した画像特徴量とを比較し、両画像の類似度を計算する(S100)。類似度が所定の閾値未満の場合には(S102でNO)、車両周辺表示装置2は、周辺画像の表示を行わないで現在位置データを取得する処理(S90)に戻る。
【0082】
類似度が所定の閾値以上の場合には(S102でYES)、車両周辺表示装置2は、現在の周辺画像のディスプレイ38への表示を開始する(S104)。周辺画像の表示中には、車両周辺表示装置2は、周辺画像の表示を停止する停止条件を満たすか否かを判定し(S106)、停止条件を満たさないと判定されたときには(S106でNO)、周辺画像の表示を続けながら、停止条件を満たすか否かの判定を繰り返し行う。
【0083】
車両周辺表示装置1は、停止条件を満たすと判定されたときに(S106でYES)、周辺画像の表示を停止する(S108)。本実施の形態では、周辺画像の表示の停止条件は、現在の周辺画像と表示履歴DB17に記憶された表示を停止したときの周辺画像との類似度が所定の閾値以上となったときである。従って、車両周辺表示装置2は、撮影中のカメラ画像の画像特徴量と、表示履歴DB17に記憶された表示停止時の画像特徴量(図2(b)参照)とを比較して類似度を計算し、類似度が所定の閾値以上であるかを判定する。以上、第2の実施の形態の車両周辺表示装置2の構成および動作について説明した。
【0084】
第2の実施の形態の車両周辺表示装置2は、第1の実施の形態と同様に、過去に周辺画像を表示したときと同じか、あるいは似通ったシーンにおいて、周辺画像を表示することができる。また、道路データや車両データが同じであってもシーンが異なる場合には、周辺画像が表示されないので、ドライバが煩わしさを感じることが少なくなるという効果を有する。
【0085】
また、第2の実施の形態の車両周辺表示装置2は、カーナビ30にて設定された経路データに基づいて、周辺画像を表示する候補となる表示候補地を求めておき、車両が表示候補地に到達したときに周辺画像を表示するか否かの判定を行うので、常に、周辺画像を表示するか否かの判定を行う場合に比べて処理負担を軽減することができる。
【0086】
以上、本発明の車両周辺表示装置および車両周辺表示方法の構成および動作について、実施の形態を挙げて詳細に説明したが、本発明は上記した実施の形態に限定されるものではない。
【0087】
上記した実施の形態では、道路データ、車両データの一部を探索キーとして画像探索を行う例について説明したが、探索キーとして用いるパラメータは、そのパラメータの組み合わせに関連付けられた周辺画像の数に応じて変更してもよい。
【0088】
図11は、探索キーの数の変更について説明するための表示履歴DBの例を示す図である。図11に示す表示履歴DBから、「道路の種別」、「速度」、「ギア」、「ウィンカー」を探索キーとして周辺画像を探索した場合、「No.1」〜「No.3」のデータはいずれも探索キーの値が同じであるので、周辺画像として「image07」〜「image09」の3つの周辺画像が探索される。ここで、3つの周辺画像のそれぞれとの類似度を計算する処理負荷が大きい場合、「ヘッドライト」「ワイパー」を探索キーに加えて周辺画像を探索する。この場合、「No.1」〜「No.3」の「ヘッドライト」及び「ワイパー」の値は異なるので、「image07」〜「image09」のいずれかの周辺画像が探索される。従って、車両周辺表示装置は、いずれか1つの周辺画像との類似度を計算すればよいので、計算の処理負担を軽減できる。いくつの周辺画像が探索された場合に、探索キーの数を増やすかは、車両周辺表示装置を構成するECUの処理能力に応じて適宜設定することができる。
【0089】
上記した実施の形態では、画像特徴量計算部13は、図3(a)に示すように、周辺画像に対して特徴量計算の対象となる領域Aを設定し、当該領域での特徴量を計算する例について説明したが、特徴量計算対象の領域の形状は必ずしも矩形でなくてもよい。画像特徴量計算部13は、例えば、道路上にある物体を検出し、検出した物体を特徴量計算対象としてもよい。これにより、特徴量を計算する領域を小さくできると共に、特徴量のデータも小さくできる。
【0090】
また、検出された道路上の物体と道路データに含まれる道路幅とに基づいて、実際に道路として使用することが可能な実道路幅を求める実道路幅計算部を備えてもよい。実道路幅計算部は、物体の幅と物体のある位置に基づいて、物体の両側から道路端までの距離のうち長い方を求める。なお、道路上の物体のうち前方車両を除外する処理を行ってもよい。このような実道路幅計算部を備えることにより、道路上に置かれた障害物等により実際に通行できる可能性のない部分を除外した実道路幅に基づいて、周辺画像を表示するか否かを判断することができる。表示履歴記憶部に実道路幅のデータを記憶しておき、過去に周辺画像を表示したときの実道路幅のデータと現在の周辺画像から計算された実道路幅のデータとを比較し、両者が一致する場合に、周辺画像を表示する構成とすることもできる。
【0091】
上記した実施の形態では、表示履歴DB17から道路データおよび車両データの両方が一致する周辺画像を探索する例について説明したが、道路データまたは車両データのいずれかを用いて、過去の周辺画像の探索を行ってもよい。
【0092】
上記した実施の形態では、表示履歴DB17に記憶された表示を停止した直前の周辺画像と撮影中のカメラ画像との類似度が所定の閾値以上となったときに周辺画像の表示を停止する例について説明したが、表示を停止させる条件として、別の条件を用いてもよい。例えば、周辺画像の表示時間が所定の閾値を経過したときに画像表示を停止してもよいし、画像表示の開始時点から所定の距離だけ車両が移動したときに画像表示を停止してもよい。また、画像の特徴量が表示開始時の画像から所定の閾値だけ変化したときに画像表示を停止してもよい。また、例えば、渋滞中などには、時間が経過しても車両があまり進まないことが想定されるので、移動距離を停止条件とし、駐車場等においては、移動距離は小さいので、表示時間を停止条件とするなど、シーンに応じて停止条件を変更することも可能である。
【0093】
上記した実施の形態では、図2(a)、図2(b)にて道路データ、車両データの例を挙げたが、道路データ、車両データは上記実施の形態で挙げた例に限定されない。道路データ、車両データは、過去の周辺画像との類似度を求める前段階として比較対象の候補となる周辺画像を絞り込む役割を有するので、ドライブシーンに関わりがあり、類似する可能性の高い周辺画像を選択できるデータであればよい。例えば、車両データとして、車両の方位のデータと時刻のデータを用いてもよい。周辺画像の表示が日中である場合には、時刻から太陽のある方向が求まり、車両の方位によって車両が太陽に対して向いている方向が決まる。従って、車両の方位のデータは、ドライバがまぶしいと感じているか否かに関係しており、ドライブシーンに関わりがある。また、車両データ、道路データ以外のデータとして、「曜日」のデータを用いてもよい。曜日は道路の混み具合に影響する場合があるので、ドライブシーンに関わりがある。
【産業上の利用可能性】
【0094】
本発明は、現在の車両周辺のシーンが過去に周辺画像を表示したシーンと類似しているか否かを判定し、適切なタイミングで周辺画像を表示できるという効果を有し、運転を支援するための車両周辺表示装置等として有用である。
【符号の説明】
【0095】
1,2 車両周辺表示装置
10 現在位置データ取得部
11 画像探索部
12 周辺画像生成部
13 画像特徴量計算部
14 類似度計算部
15 画像表示判定部
16 表示制御部
17 表示履歴DB
18 経路データ取得部
19 画像表示計画部
20 表示候補地DB
30 カーナビゲーション装置
31 経路探索部
32 経路案内部
33 ディスプレイ
34 地図DB
35 GPS受信機
36 センサ群
37 カメラ群
38 ディスプレイ
40 ECU
41 RAM
42 ROM
43 プログラム
44 通信I/F
45 ハードディスク
46 操作部

【特許請求の範囲】
【請求項1】
車両に搭載されたカメラにて撮影された周辺画像を表示する車両周辺表示装置であって、
過去に表示した周辺画像と、その周辺画像を表示した地点の道路に関する道路データとを関連付けて記憶した表示履歴記憶部と、
前記カメラにて撮影中の画像データを取得して、周辺画像を生成する周辺画像生成部と、
車両の現在位置のデータを取得する現在位置データ取得部と、
道路データを含む地図データを記憶した地図記憶部から車両の現在位置に対応する道路データを取得し、取得した道路データに関連付けられた周辺画像を前記表示履歴記憶部から探索する画像探索部と、
前記画像探索部にて周辺画像が探索された場合に、探索された周辺画像と前記周辺画像生成部にて生成した周辺画像の類似度を計算する類似度計算部と、
前記類似度が所定の閾値以上である場合に、前記周辺画像生成部にて生成した周辺画像をディスプレイに表示する表示制御部と、
を備える車両周辺表示装置。
【請求項2】
車両に搭載されたセンサから車両の状態を示す車両データを取得する車両データ取得部を備え、
前記表示履歴記憶部は、前記周辺画像の表示時における車両データを、前記周辺画像に関連付けて記憶しており、
前記画像探索部は、車両の現在位置に対応する道路データおよび前記車両データ取得部にて取得した車両データに関連付けられた周辺画像を前記表示履歴記憶部から探索する請求項1に記載の車両周辺表示装置。
【請求項3】
現在位置から目的地までの経路のデータを取得する経路データ取得部と、
前記地図記憶部に記憶された地図データから前記経路上の道路データを取得し、取得した道路データと前記表示履歴記憶部に記憶された道路データとを比較して、前記表示履歴記憶部に記憶された道路データと同じ道路データを有する地点を周辺画像の表示候補地として前記経路上から求めて表示候補地記憶部に記憶する表示計画部と、
を備え、
前記画像探索部は、前記現在位置データ取得部にて取得した現在位置のデータに基づいて、車両が前記表示候補地を含む所定の範囲内に入ったと判定されたときに、その道路データに関連付けられた周辺画像を前記表示履歴記憶部から探索する請求項1または2に記載の車両周辺表示装置。
【請求項4】
前記表示履歴記憶部は、周辺画像の表示を停止したときの周辺画像のデータを記憶しており、
前記類似度計算部は、表示を停止したときの周辺画像と、前記周辺画像生成部にて生成した周辺画像の類似度を計算し、
前記表示制御部は、前記類似度が所定の閾値以上である場合に、周辺画像のディスプレイへの表示を停止する請求項1〜3のいずれかに記載の車両周辺表示装置。
【請求項5】
前記画像探索部は、取得した道路データのうちの一部の道路データを探索キーとして用い、当該一部の道路データに関連付けられた周辺画像の探索を行い、前記一部の道路データに関連付けられた画像が所定数以上存在する場合には、探索キーとなる道路データの数を増やして周辺画像の探索を行う請求項1〜4のいずれかに記載の車両周辺表示装置。
【請求項6】
前記表示履歴記憶部には、どの方向の周辺画像を表示したかを特定する方向特定データが記憶されており、
前記周辺画像生成部にて生成した周辺画像を用いて、前記方向特定データにて特定される周辺画像を生成する請求項1〜5のいずれかに記載の車両周辺表示装置。
【請求項7】
前記表示履歴記憶部は、過去に表示した周辺画像から検出された道路上にある物体の画像を記憶しており、
前記類似度計算部は、前記周辺画像から検出された道路上にある物体の画像と、前記表示履歴記憶部に記憶された物体の画像の類似度を計算する請求項1〜6のいずれかに記載の車両周辺表示装置。
【請求項8】
前記物体の画像から物体の幅を計算し、計算した物体幅と前記道路データに含まれる道路幅とに基づいて実道路幅を計算する実道路幅計算部を備え、
前記表示履歴記憶部は、過去に周辺画像を表示したときの実道路幅のデータを記憶し、
前記類似度計算部は、前記周辺画像から計算された実道路幅と、前記表示履歴記憶部に記憶された実道路幅とを比較し、
前記表示制御部は、前記実道路幅が一致したときに周辺画像を表示する請求項7に記載の車両周辺表示装置。
【請求項9】
車両に搭載されたカメラにて撮影された周辺画像を表示する車両周辺表示装置であって、
車両に搭載されたセンサから車両の状態を示す車両データを取得する車両データ取得部と、
過去に表示した周辺画像と、その周辺画像の表示時における車両データとを関連付けて記憶した表示履歴記憶部と、
前記車両データ取得部にて取得した車両データに関連付けられた周辺画像を前記表示履歴記憶部から探索する画像探索部と、
前記カメラにて撮影中の画像データを取得して周辺画像を生成する周辺画像生成部と、
前記画像探索部にて周辺画像が探索された場合に、探索された周辺画像と前記周辺画像生成部にて生成した周辺画像の類似度を計算する類似度計算部と、
前記類似度が所定の閾値以上である場合に、前記周辺画像生成部にて生成した周辺画像をディスプレイに表示する表示制御部と、
を備える車両周辺表示装置。
【請求項10】
車両に搭載されたカメラにて撮影された周辺画像を表示する車両周辺表示方法であって、
前記カメラにて撮影中の画像データを取得して周辺画像を生成する周辺画像生成ステップと、
車両の現在位置のデータを取得する現在位置データ取得ステップと、
道路に関する道路データを含む地図データを記憶した地図記憶部から車両の現在位置に対応する道路データを取得し、取得した道路データに関連付けられた周辺画像を、過去に表示した周辺画像とその周辺画像を表示した地点の道路データとを関連付けて記憶した表示履歴記憶部から探索する画像探索ステップと、
前記画像探索ステップにて周辺画像が探索された場合に、探索された周辺画像と前記周辺画像生成ステップにて生成した周辺画像の類似度を計算する類似度計算ステップと、
前記類似度が所定の閾値以上である場合に、前記周辺画像生成ステップにて生成した周辺画像をディスプレイに表示する表示制御ステップと、
を備える車両周辺表示方法。
【請求項11】
車両に搭載されたカメラにて撮影された周辺画像を表示するためのプログラムであって、コンピュータに、
前記カメラにて撮影中の画像データを取得して周辺画像を生成する周辺画像生成ステップと、
車両の現在位置のデータを取得する現在位置データ取得ステップと、
道路に関する道路データを含む地図データを記憶した地図記憶部から車両の現在位置に対応する道路データを取得し、取得した道路データに関連付けられた周辺画像を、過去に表示した周辺画像とその周辺画像を表示した地点の道路データとを関連付けて記憶した表示履歴記憶部から探索する画像探索ステップと、
前記画像探索ステップにて周辺画像が探索された場合に、探索された周辺画像と前記周辺画像生成ステップにて生成した周辺画像の類似度を計算する類似度計算ステップと、
前記類似度が所定の閾値以上である場合に、前記周辺画像生成ステップにて生成した周辺画像をディスプレイに表示する表示制御ステップと、
を実行させるプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate


【公開番号】特開2011−75437(P2011−75437A)
【公開日】平成23年4月14日(2011.4.14)
【国際特許分類】
【出願番号】特願2009−228109(P2009−228109)
【出願日】平成21年9月30日(2009.9.30)
【出願人】(502324066)株式会社デンソーアイティーラボラトリ (332)
【出願人】(000004260)株式会社デンソー (27,639)
【Fターム(参考)】