運転支援システム、運転支援方法および運転支援プログラム
【課題】 道路地図の表示を基本としながらも、できるだけ簡便でかつ分かりやすい方法で、ドライバの操作に応じた撮像映像を表示する「運転支援システム、運転支援方法および運転支援プログラム」を提供する。
【解決手段】 本発明の運転支援システムは、自車位置を検出する位置検出部100と、ディスプレイ30と、自車位置周辺の道路地図および自車位置マークMをディスプレイに表示可能な表示手段と、自車周辺を撮像する撮像カメラ40と、撮像カメラ40らの撮像信号を画像処理しサムネイル画像や俯瞰画像を生成する画像処理装置50と、ユーザにより入力されたディスプレイ上の位置を検出する入力位置検出手段と、ユーザ入力により自車位置マークMが選択された場合に、自車位置マークMの周辺にサムネイル画像を表示させる表示制御手段とを有する。
【解決手段】 本発明の運転支援システムは、自車位置を検出する位置検出部100と、ディスプレイ30と、自車位置周辺の道路地図および自車位置マークMをディスプレイに表示可能な表示手段と、自車周辺を撮像する撮像カメラ40と、撮像カメラ40らの撮像信号を画像処理しサムネイル画像や俯瞰画像を生成する画像処理装置50と、ユーザにより入力されたディスプレイ上の位置を検出する入力位置検出手段と、ユーザ入力により自車位置マークMが選択された場合に、自車位置マークMの周辺にサムネイル画像を表示させる表示制御手段とを有する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車載用カメラを搭載した電子装置の運転支援システム、運転支援方法および運転支援プログラムに関し、特に、ナビゲーション画面を表示しているときの車載カメラによる映像の切替に関する。
【背景技術】
【0002】
自動車等の移動体に撮像カメラを搭載し、その撮像映像を利用したアプリケーションが急拡大している。このようなアプリケーションの多くは、撮像カメラで撮像された画像を表示し、運転者の死角を補助するような運転支援システムに関するものである。例えば、車両遠方の障害物を撮影するカメラシステム(コーナーモニターシステムなど)、車両近傍の死角障害物を撮影するシステム(サイドビューカメラシステム)、後方障害物を撮像したり車庫入れを案内するシステム(リアビューシステムなど)である。また、車両の前方、後方、側方に複数の撮像カメラを装備し、これらの撮像カメラからの画像を組み合わせて車両の真上方向から見下ろすような俯瞰画像(トップビューシステムなど)を表示したり、各撮像カメラの画像に視点を切替られるようにした運転支援システムも実用化されている。
【0003】
車両後方に1つの撮像カメラを搭載し、後退時の駐車支援などの安全確認を行うリアビューシステムとナビゲーションシステムとの組み合わせでは、一般にバックギアに連動してディスプレイに後方の撮像画像を表示している。また、撮像カメラによる撮像画像の表示とナビゲーション動作との連携を試みた提案がなされている。例えば、特許文献1は、ナビゲーション画像上に、撮像手段によって撮像された異なる方向の複数の画像を重畳して表示するものである。特許文献2は、自車周辺の環境状態または自車の走行状態に基づいて、表示させる画像の優先度を変更し、切替スイッチから信号を受けたときに優先度の順位に従って順次画像を切替えるものである。さらに特許文献3は、自車が交差点又は分岐点の手前の所定距離に至った時点で、撮像カメラにより撮像された周辺画像を表示させ、自車位置が交差点内の視認可能な位置に進入したと判断された時点で周辺画像を停止させるものである。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2001−84500号公報
【特許文献2】特開2010−69943号公報
【特許文献3】特許4432801号号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、複数の車載カメラにより撮像画像を表示する従来の運転支援システムには、次のような課題がある。車両に搭載される撮像カメラの数が増えるにつれ、特に、撮像カメラの視点切替え操作が煩雑になっている。また、道路地図を表示しているナビゲーションシステムから所望の撮像カメラの画像への切替を簡便かつ操作が容易な方法で行えることが安全上重要である。そこで、車両の走行状態や運転状態に応じて、最適な視点のカメラ画像を表示する運転支援システムが考案されている。
【0006】
図14は、従来の運転支援システムの一例を説明する図である。図14(a)に示すように、ディスプレイ上にナビゲーションシステムによる道路地図が表示されているとき、その画面には、カメラ画像に切替えるための入力キーK1が表示されている。ユーザが入力キーK1を選択すると、図14(b)に示すように、道路地図画面の全体または一部に、フロントの撮像カメラで撮像されたカメラ画像が表示される。このとき、ディスプレイには、フロントカメラ画像を切替えるための、パノラマ、コーナー、トップ(俯瞰画像)のカメラ画像に視点変換を行うための視点切替キーK2が表示される。ユーザによっていずれの視点切替キーK2が選択されると、選択されたカメラ画像に切替えられる。また、予めカメラ画像を表示したい地点を登録しておき、その地点で自動的にカメラ画像を表示させることも可能になっている。
【0007】
しかし、このような従来の運転支援システムにおいて、走行状態や運転状態、周囲環境を最適に把握することは現実には難しく、必ずしもドライバが所望するカメラ画像が表示されるとは限らなかった。また、場合によっては、ドライバがナビゲーションの道路地図画面を見たいにも関わらず、意図しないカメラ画像が表示されてしまうこともあった。さらにユーザによる操作性も煩雑であった。
【0008】
そこで本発明では、道路地図の表示を基本としながらも、できるだけ簡便でかつ分かりやすい方法で、ドライバの操作に応じた撮像映像を表示する運転支援システム、運転支援方法および運転支援プログラムを提供することを目的とする。
【課題を解決するための手段】
【0009】
本発明に係る運転支援システムは、自車位置を検出する検出手段と、ディスプレイと、前記検出手段により検出された自車位置に基づき自車位置周辺の道路地図および自車位置を表す自車位置マークをディスプレイに表示可能な表示手段と、自車周辺を撮像する撮像手段と、前記撮像手段からの撮像信号を画像処理し撮像画像を生成する画像処理手段と、ユーザにより入力されたディスプレイ上の位置を検出する入力位置検出手段と、前記入力位置検出手段の検出結果に基づき自車位置マークが選択された場合に、前記撮像画像を自車位置マークの周辺に表示させる表示制御手段とを有する。
【0010】
好ましくは前記撮像画像の表示位置は、自車を上方から見たときの前記撮像手段の取り付け位置に対応する。好ましくは前記撮像画像は、予め決められたサイズのサムネイル画像である。好ましくは前記表示制御手段は、前記撮像画像が前記自車位置マークの周辺に表示されている状態で前記入力位置検出手段の検出結果に基づき前記撮像画像が選択された場合に、前記選択された撮像画像の拡大画像を表示させる。好ましくは前記表示制御手段は、前記撮像画像が前記自車位置マークの周辺に表示されている状態で前記入力位置検出手段の検出結果に基づき前記自車位置マークが選択された場合に、自車を上方から見下ろすような俯瞰画像を表示させる。好ましくは前記表示制御手段は、前記撮像画像が前記自車位置マークの周辺に表示されている状態で前記入力位置検出手段の検出結果に基づき前記自車位置マークが選択された場合に、予め設定した任意の位置の撮像手段に対応する撮像画像を表示させる。好ましくは前記表示制御手段は、前記撮像画像が前記自車位置マークの周辺に表示されている状態で前記入力位置検出手段の検出結果に基づき自車位置マークおよび前記撮像画像以外が選択された場合に、道路地図および自車位置マークを含む元の画面を表示させる。好ましくは前記表示制御手段は、前記拡大画像が表示されている状態で、前記入力位置検出手段の検出結果に基づき前記拡大画像が選択された場合に、自車位置マークの周辺に撮像画像が表示された元の画面を表示させる。好ましくは前記表示制御手段は、前記俯瞰画像が表示されている状態で、前記入力位置検出手段の検出結果に基づき前記俯瞰画像が選択された場合に、自車位置マーク周辺に撮像画像が表示された元の画面を表示させる。
【0011】
本発明に係る運転支援方法は、自車位置周辺の道路地図を表示する機能、および自車周辺を撮像する撮像手段からの画像を表示する機能を備えた電子装置におけるものであって、自車位置を検出し、検出された自車位置に基づき自車位置周辺の道路地図および自車位置を表す自車位置マークをディスプレイに表示し、道路地図および自車位置マークが表示されているとき、ユーザ入力により自車位置マークが選択された場合には、前記撮像手段により撮像された撮像画像を自車位置マークの周辺に表示させる。
【0012】
本発明に係る運転支援プログラムは、自車位置周辺の道路地図を表示する機能、および自車周辺を撮像する撮像手段からの画像を表示する機能を備えた電子装置が実行するものであって、自車位置を検出し、検出された自車位置に基づき自車位置周辺の道路地図および自車位置を表す自車位置マークをディスプレイに表示し、道路地図および自車位置マークが表示されているとき、ユーザ入力により自車位置マークが選択された場合には、前記撮像手段により撮像された撮像画像を自車位置マークの周辺に表示させる。
【発明の効果】
【0013】
本発明によれば、通常のナビゲーション動作により道路地図が表示されているとき、ユーザ入力により自車位置マークが選択されると、自車位置マーク周辺に撮像画像を表示させるようにしたので、ユーザ(ドライバ)は、見たいときに簡単に自車位置周辺の撮像画像を確認することができる。さらに、そのような撮像画像の表示位置は、自車位置マークを基準に撮像手段の取り付け位置と対応するため、ユーザにとって、どの方向の撮像画像の認識が容易になる。さらに撮像画像を選択することでその拡大画像を表示させることで、ユーザにって確認したい撮像画像の操作が容易になる。
【図面の簡単な説明】
【0014】
【図1】本発明の実施例に係る運転支援システムの全体構成を示すブロック図である。
【図2】図1に示すナビゲーション装置の構成を示すブロック図である。
【図3】撮像カメラの取り付けを説明する図である。
【図4】画像処理装置の構成を示すブロック図である。
【図5】運転支援プログラムの機能ブロック図である。
【図6】本実施例の運転支援プログラムの機能ブロック図である。
【図7】表示状態と表示内容の関係を説明するテーブルである。
【図8】各表示状態における入力判定部の入力判定内容を説明するテーブルである。
【図9】表示状態の判定結果および入力判定部の判定結果と切替画像との関係を説明するテーブルである。
【図10】本発明の実施例に係る運転支援システムの動作を説明するフローチャートである。
【図11】本発明の実施例に係る画面切替シーケンスを説明する図である。
【図12】本実施例の変形例による表示状態3の例を示す図である。
【図13】8つの撮像カメラを搭載したときのサムネイル画像の表示例である。
【図14】従来の運転支援システムにおける撮像画像の表示例を説明する図である。
【発明を実施するための形態】
【0015】
次に、本発明の実施の形態について図面を参照して詳細に説明する。本発明の好ましい実施の形態において、運転支援システムは、自車の前方、後方および左右の側方にそれぞれ撮像カメラを搭載し、それらの4つの撮像カメラから得られた撮像画像の視点切替をナビゲーション動作中に実行する機能を有する。
【実施例】
【0016】
図1は、本発明の実施例に係る運転支援システムの全体の構成を示すブロック図である。運転支援システム10は、自車位置周辺の道路地図を表示し目的地までのルート案内などの機能を備えたナビゲーション装置20と、ナビゲーション装置20に接続され道路地図や撮像カメラにより撮像された画像(以下、カメラ画像と言うことがある)を表示する機能に加え、タッチパネルによる位置入力機能を備えた表示装置30と、車両の前方、後方、右側方、左側方にそれぞれ設置された撮像カメラ40A、40B、40C、40D(以下、総称するときは撮像カメラ40という)と、撮像カメラ40からの撮像データを画像処理し、カメラ画像や俯瞰画像等を生成する画像処理装置50とを含んで構成される。
【0017】
図2は、典型的なナビゲーション装置20の構成を示すブロック図である。ナビゲーション装置20は、自車位置を検出する自車位置検出部100と、ユーザからの入力を受け取る入力部110と、ナビゲーション動作に必要な同地地図データ等を格納した記憶部120と、ナビゲーション動作のためのプログラムを記憶したプログラムメモリ130と、演算されたデータや画像処理装置50からのデータを保持するデータメモリ140と、表示装置30および画像処理装置50とバス等を介して接続されるインターフェース部150と、各部を制御する制御部160とを有する。
【0018】
位置検出部100は、GPS衛星を利用した自車の絶対位置を測位可能なGPS測位器、車速センサや方位センサを利用した自車の相対位置を測位可能な自立航法センサを有することができる。位置検出部100で検出された位置情報は制御部160へ出力され、自車位置周辺の道路地図データの読み出しや自車位置マークの表示等に利用される。
【0019】
入力部110は、好ましくは、表示装置30に搭載されたタッチパネルによる入力を含む。タッチパネルは、公知のように、ユーザの指などがディスプレイに接触または接近したとき、その座標位置を検出する。入力部110は、タッチパネルによる入力のほかにも、マウス、リモコン、キーボード等による入力インターフェースであってもよく、それらを用いてディスプレイ上に表示されたカーソルにより入力を行うことができる。
【0020】
記憶部120は、道路地図を表示するために必要なリンクデータ、交差点データ、施設データ等を含む。さらに、道路地図上に表示される自車位置マークを示すポリゴンデータ等を含む。なお、記憶部120は、必ずしも必須ではなく、ナビゲーション装置によっては、外部サーバとの通信によって道路地図データを取得してもよいし、半導体メモリなどの外部記憶装置から道路地図データを入手するものであってもよい。
【0021】
プログラムメモリ130は、運転支援システムに必要なプログラムを保持する。本実施例では、運転支援システムは、ナビゲーション動作を実行するためのプログラムと、撮像カメラによる画像を表示するためのプログラムとを有する。ナビゲーション動作を実行するためのプログラムとして、自車位置周辺の道路地図データを記憶部120から読み出しこれを表示装置30に表示するためのプログラム、目的地までのルートを探索するためのプログラム、ルートを案内するプログラムなどを含む。さらに撮像カメラの画像を表示するプログラムとして、ユーザ入力に応じて道路地図画面上に撮像カメラの画像を合成させたり、ユーザ入力に応じて撮像カメラの視点を切替えたり、さらに撮像カメラの画像の表示に関する種々の設定をするプログラムを備えている。
【0022】
データメモリ140は、記憶部120から読み出された道路地図データや画像処理装置50で生成された画像データを保持する。インターフェース部150は、画像処理装置50との間で制御信号やデータの送受を制御し、また表示装置30との間で制御信号やデータの送受を制御する。
【0023】
表示装置30は、インターフェース部150を介して画像データを受け取りこれを表示する。さらに表示装置30は、ユーザにより入力されたディスプレイ上の位置を検出する検出手段としてタッチパネルを含む。タッチパネルは、公知のように、静電容量変化などを測定することで、ユーザの指等が接触または接近した座標位置を検出する。検出された座標位置は、インターフェース部150を介して制御部160へ送信される。
【0024】
撮像カメラ40は、CCDやCMOSイメージセンサを用いて構成される。図3に示すように、撮像カメラ40Aは、車両前方のバンパーなどに取り付けられ、車両の前方を視野角θ1で撮像する。撮像カメラ40C、40Dは、車両のドアミラーから車両の側部を視野角θ2、θ3で撮像する。撮像カメラ40Bは、車両の後部バンパーなどに取り付けられ、車両の後方を視野角θ4で撮像する。撮像カメラの視野角θ1、θ2、θ3、θ4は、隣接する撮像カメラの視野角と端部がオーバーラップし、撮像カメラ40A〜40Dにより車両の全周囲を撮像できるようになっている。
【0025】
図4は、画像処理装置50の内部構成を示すブロック図である。画像処理装置50は、撮像カメラ40A〜40Dの撮像信号を入力し、これをディジタル信号に変換する入力部200と、入力部200からの画像データを受け取り、各撮像カメラ40の視点方向で撮像された画像からサムネイル画像を生成するサムネイル画像生成部210と、入力部200からの画像データを受け取り、サムネイル画像を拡大した拡大画像を生成する拡大画像生成部220と、入力部200からの画像データを受け取り、自車の真上から見下ろすような俯瞰画像(トップビュー画像)を生成する俯瞰画像生成部230とを有する。各生成部210、220、230には、ナビゲーション装置20からの制御信号C1、C2、C3が入力され、各生成部210、220、230は、制御信号C1、C2、C3に基づき画像を生成する。各生成部210、220、230で生成された画像データは、インターフェース部150を介してデータメモリ140へ転送される。各生成部210、220、230の処理は、ソフトウエアにより実行するものでも、ハードウエア回路により実行するものであってもよい。
【0026】
サムネイル画像生成部210は、予め決められたサイズのサムネイル画像を生成する。サムネイルのサイズは、表示装置(ディスプレイ)30の大きさ、道路地図画面の大きさ、そこに表示される自車位置マークの大きさ等に基づき決定される。好ましくは、自車位置マークを中心にその前後左右に4つのサムネイル画像が同時に表示できる大きさである。
【0027】
拡大画像生成部220は、サムネイル画像を拡大するような拡大画像を生成する。拡大画像のサイズは、好ましくは、ディスプレイの画面と同等であることができるが、それよりも小さくサイズであってもよい。
【0028】
俯瞰画像生成部230は、例えば図5に示すように、車両の前方のカメラ40Aで撮像された画像300A、車両の後方のカメラ40Bで撮像された画像300B、左右のカメラで撮像された画像信号300C、300Dを、基準点Oを基準に視点変換し、車両の真上から放射状に見下ろすように合成された画像を生成する。
【0029】
図6は、図2に示したプログラムメモリ130に格納された撮像画像の表示のためのプログラムの機能ブロック図である。撮像画像表示プログラム310は、表示装置30の表示状態を判定する表示状態判定部320と、ユーザ入力された位置から選択された対象を判定する入力判定部330と、表示状態判定部320および入力判定部330の各判定結果に基づき画像の切替を行う画像切替部340とを有する。
【0030】
図7は、表示状態判定部320の判定動作を説明する図である。本実施例では、表示状態判定図320は、図7に示すような表示状態1ないし4のいずれかを判定する。すなわち、表示状態1は、ナビゲーション装置20により自車位置周辺の道路地図が表示されている状態、表示状態2は、道路地図画面にサムネイル画像が合成して表示されている状態、表示状態3は、サムネイル画像の拡大画像が表示されている状態、表示状態4は、俯瞰画像が表示されている状態である。表示状態判定部300は、画像の切替が行われたとき表示状態を判定しその内容を保持する。
【0031】
入力判定部330は、表示状態1〜4に応じて、ユーザ入力により検出された座標位置に基づき、表示装置30に表示されている画像のどの部分が選択されたのかを判定する。図8は、入力判定部の判定内容を説明するテーブルである。入力判定部330は、表示状態1のとき、ユーザ入力の座標位置により自車位置マークが選択されたか否かを判定する。表示状態2のとき、自車位置マーク、サムネイル画像、これらの画像以外のいずれが選択されたかを判定する。表示状態3のとき、拡大画像が選択されたか否かを判定し、表示状態4のとき、俯瞰画像が選択されたか否かを判定する。
【0032】
画像切替部330は、表示状態判定部320の判定結果および入力判定部330の判定結果に基づき表示装置30に表示すべき画像を決定し、また必要があれば画像の切替を行う。図9は、表示状態の判定結果、入力の判定結果、および切替画像の関係を説明するテーブルである。表示状態1において、すなわち道路地図が表示されたナビゲーション画面において自車位置マークが選択された場合には、道路地図画面の自車位置マークの周辺にサムネイル画像が表示される。表示状態2において、自車位置マークが選択された場合には、自車を真上から見下ろすような俯瞰画像が表示される。また、表示状態2において、サムネイル画像が選択された場合には、選択されたサムネイル画像の拡大画像が表示され、自車位置マークおよびサムネイル画像以外の領域が選択された場合には、元の道路地図を表したナビゲーション画面が表示される。表示状態3において、拡大画像が選択された場合には、サムネイル画像すなわち表示状態2に戻り、また表示状態4において、俯瞰画像が選択された場合には、サムネイル画像すなわち表示状態2に戻る。
【0033】
次に、本発明の実施例の運転支援動作を図10のフローチャート、および図11の画面切替シーケンスを用いて説明する。先ず、自車の走行が開始されると、位置検出部100によって自車位置が検出され、制御部160は、自車位置周辺の道路地図データを記憶部120から読み出し、表示装置30に自車位置周辺の道路地図を表示させる(ステップS101)。道路地図画面は、図11(a)に示されるように、道路地図上に自車位置を示す自車位置マークMが合成して表示される。自車位置マークMは、自車位置が一見して分かるようにするために道路地図上に合成して表示され、走行中の道路上に表示される。自車位置マークの形状、大きさ、色彩、点滅の有無等は、特に制限されるものではなく、自車位置を表すことができるマークであればよい。典型的に自車位置マークは、道路地図画面のほぼ中央に固定的に表示され、自車位置の変更に伴い道路地図がスクロールされる。道路地図画面は、ノースアップであってよいし、ヘディングアップであってもよい。また、目的地までのルートが探索されていれば、当該ルートが道路上に合成して表示され、そのルート案内が行われる。
【0034】
自車の走行開始に伴い、前方、後方、左右の撮像カメラ40も起動され、撮像カメラ40からの撮像信号が画像処理装置50へ提供される。画像処理装置50の各生成部(図4を参照)は、入力された撮像信号に基づきサムネイル画像、拡大画像、俯瞰画像の生成を開始してもよいし、制御部160からの制御信号C1、C2、C3からの指示に応答してサムネイル画像、拡大画像、俯瞰画像を生成するようにしてもよい。
【0035】
道路地図が表示されることで、表示状態判定部320は、表示装置30が表示状態1であることを判定し、その判定結果を保持する。次いで、入力判定部330は、ユーザからの入力を監視し(ステップS102)、ユーザからの座標位置の入力があると、自車位置マークMが選択されたか否かを判定する(ステップS103)。自車位置マークMに対応する座標エリアが予め設定され、その座標エリアへの入力があったとき、自車位置マークMが選択されたと判定される。
【0036】
自車位置マークMが選択された判定されると、画像切替部340は、図9のテーブルに示したように、道路地図画面上にサムネイル画像を合成して表示させる(ステップS104)。サムネイル画像は、各撮像カメラ40A〜40Dの視点方向を撮像した画像であってこれを予め決められたサイズに縮小したものであり、道路地図画面には、サムネイル画像のウインドウが表示される。このサムネイル画像は、サムネイル画像生成部210により生成され、画像切替部340からの制御信号C1に基づき生成されるようにしてもよい。
【0037】
図11(b)は、サムネイル画像の表示例を示している。図に示すように、サムネイル画像TH−Aは、撮像カメラ40Aにより撮像された前方画像であり、自車位置マークMの前方すなわち進行方向に表示され、このサムネイル画像TH−Aの表示位置は、自車を真上から見たときの撮像カメラ40Aの位置に対応する。サムネイル画像TH−Bは、撮像カメラ40Bにより撮像された後方画像であり、自車位置マークMの後方に表示され、この表示位置は、撮像カメラ40Bの位置に対応する。同様に、サムネイル画像TH−C、TH−Dは、撮像カメラ40C、40Dによって撮像された左右の側方画像であり、自車位置マークの左側および右側に表示され、これらの表示位置は、撮像カメラ40C、40Dの位置にそれぞれ対応する。
【0038】
こうして自車位置マークMの周囲に撮像カメラ40の位置に対応したサムネイル画像のウインドウが合成して表示されるため、ユーザは、一見してサムネイル画像と自車位置との関係を容易に理解し、自車のどの方向の撮像画像かを認識する。
【0039】
サムネイル画像に画面が切替えられたことで、表示状態判定部320は、表示状態を表示状態2に更新する(ステップS105)。引き続き、入力判定部330は、ユーザ入力を監視し、ユーザ入力があったとき(ステップS106)、ユーザ入力によって、自車位置マーク、サムネイル画像、それ以外の画像のいずれが選択されたかを判定する(図8を参照)。
【0040】
入力判定部330により自車位置マークMが選択されたと判定された場合(ステップS107)、画像切替部340は、表示状態2において自車位置マークMが選択されたので、表示装置30には俯瞰画像が表示される(ステップS108)。図11(c)は、俯瞰画像の表示例である。俯瞰画像は、表示装置30の画面全体に拡大して表示されるようにしてもよいし、予め一定のサイズをもって道路地図上に合成して表示されるようにしてもよい。俯瞰画像は、俯瞰画像生成部220によって生成され、画像切替部340からの制御信号C3に応じて生成するようにすることができる。俯瞰画像が表示されたことで、表示状態判定部320は、表示状態を表示状態4に更新する。こうして、ユーザは、自車位置周辺に障害物等が存在するか否かの確認などを行うことができる。
【0041】
一方、入力判定部330によりサムネイル画像が選択されたと判定された場合(ステップS109)、画像切替部340は、選択されたサムネイル画像の拡大画像を表示させる(ステップS110)。例えば、自車前方を撮像したサムネイル画像TH−Aが選択された場合には、その拡大画像が表示され、左側方のサムネイル画像TH−Cが選択された場合には、その拡大画像が表示される。サムネイル画像の拡大画像は、拡大画像生成部220によって生成され、拡大画像の大きさは、表示装置30のサイズ全体であってもよいし、一定のサイズで道路地図画面上に合成されてもよい。図11(d)は、サムネイル画像TH−Bが選択されたときのその拡大画像の表示例である。拡大画像が表示されたことで、表示状態判定部320は、表示状態を表示状態3に更新する。
【0042】
さらに、入力判定部330により、サムネイル画像および自車位置マークMでもない領域が選択されたと判定された場合(ステップS111)、画像切替部340は、表示状態1の道路地図画面を表示させる(ステップS112)。なお、表示状態3または表示状態4の状態で、入力判定部330により拡大画像または俯瞰画像が選択されたと判定された場合には、画像切替部340は、表示状態2の画像に画面を切替える。
【0043】
このように本実施例の運転支援システムによれば、簡便かつ直感的な操作で必要な撮像カメラの視点の画像を表示することができる。また、撮像カメラの台数が増えても、同様の操作手法で対応することが可能である。
【0044】
次に、本実施例の変形例について説明する。上記実施例では、表示状態2において自車位置マークMが選択されたとき、表示状態4において俯瞰画像に切替える例を示したが、表示状態4において、どのような画像を表示させるかをユーザ設定できるようにしてもよい。ユーザ設定は、運転支援システムを動作させる前に初期設定として実行される。例えば、表示状態4において、俯瞰画像と、任意に選択した撮像カメラの拡大画像との組合せを表示させるようにしてもよい。図12は、俯瞰画像と左側方の拡大画像とを組み合わせたものである。勿論、これ以外の任意の組合せであってもよく、俯瞰画像とサムネイル画像の組合せであってもよい。
【0045】
また、上記実施例では、自車の前後左右に4つの撮像カメラを搭載した例を示したが、これ以外の撮像カメラの数であってもよい。例えば、自車の前方に3つの撮像カメラを搭載し(自車の左右のコーナーと中央を撮像)、自車の左右にそれぞれ2つの撮像カメラを搭載し、自車の後方に3つの撮像カメラと搭載し(自車の左右のコーナーと中央を撮像)、合計で8つの撮像カメラを備えるものであってもよい。この場合、サムネイル画像のウインドウ表示は、図13に示すようになる。勿論、撮像カメラの数は、4つよりも少ない数であってもよく、例えば、自車の前方と後方の合計2つの撮像カメラであってもよいし、自車の前方のみ、あるいは自車の後方のみの1つの撮像カメラであっても良い。撮像カメラが1つの場合には、表示状態2から自車位置マークが選択されたことが判定されると、同様に俯瞰画像が表示されるが、俯瞰画像は、自車周辺の一部に限られることになる。
【0046】
また、上記実施例では、道路地図画面がヘディングアップのときを示したが、ノースアップでもよい。この場合には、道路地図画面にて自車位置マークを選択すると、一時的に道路地図画面をヘディングアップに切り替えるとともに、自車位置マーク周辺にサムネイル画像を表示する、すなわち、図11(b)に示す画像を表示するようにしてもよい。
【0047】
以上、本発明の好ましい実施の形態について詳述したが、本発明は、特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。上記実施例では、ユーザ入力により自車位置マークが選択された場合に自車位置マークの周辺にサムネイル画像のウインドウを表示するようにしたが、サムネイル画像以外にも撮像カメラの視点方向により撮像された画像をそのまま表示するようにしてもよい。さらに運転支援システムは、ナビゲーション機能に加えて、オーディオ機能、ビデオ機能、通信機能などを備えた電子装置を含むものであってもよい。
【符号の説明】
【0048】
10:運転支援システム 20:ナビゲーション装置
30:表示装置 40:撮像カメラ
50:画像処理装置 100:位置検出部
110:入力部 120:記憶部
130:プログラムメモリ 140:データメモリ
150:インターフェース部 200:入力部
210:サムネイル画像生成部 220:拡大画像生成部
230:俯瞰画像生成部 300A:前方画像
300B:後方画像 300C、300D:側方画像
M:自車位置マーク C1、C2、C3:制御信号
【技術分野】
【0001】
本発明は、車載用カメラを搭載した電子装置の運転支援システム、運転支援方法および運転支援プログラムに関し、特に、ナビゲーション画面を表示しているときの車載カメラによる映像の切替に関する。
【背景技術】
【0002】
自動車等の移動体に撮像カメラを搭載し、その撮像映像を利用したアプリケーションが急拡大している。このようなアプリケーションの多くは、撮像カメラで撮像された画像を表示し、運転者の死角を補助するような運転支援システムに関するものである。例えば、車両遠方の障害物を撮影するカメラシステム(コーナーモニターシステムなど)、車両近傍の死角障害物を撮影するシステム(サイドビューカメラシステム)、後方障害物を撮像したり車庫入れを案内するシステム(リアビューシステムなど)である。また、車両の前方、後方、側方に複数の撮像カメラを装備し、これらの撮像カメラからの画像を組み合わせて車両の真上方向から見下ろすような俯瞰画像(トップビューシステムなど)を表示したり、各撮像カメラの画像に視点を切替られるようにした運転支援システムも実用化されている。
【0003】
車両後方に1つの撮像カメラを搭載し、後退時の駐車支援などの安全確認を行うリアビューシステムとナビゲーションシステムとの組み合わせでは、一般にバックギアに連動してディスプレイに後方の撮像画像を表示している。また、撮像カメラによる撮像画像の表示とナビゲーション動作との連携を試みた提案がなされている。例えば、特許文献1は、ナビゲーション画像上に、撮像手段によって撮像された異なる方向の複数の画像を重畳して表示するものである。特許文献2は、自車周辺の環境状態または自車の走行状態に基づいて、表示させる画像の優先度を変更し、切替スイッチから信号を受けたときに優先度の順位に従って順次画像を切替えるものである。さらに特許文献3は、自車が交差点又は分岐点の手前の所定距離に至った時点で、撮像カメラにより撮像された周辺画像を表示させ、自車位置が交差点内の視認可能な位置に進入したと判断された時点で周辺画像を停止させるものである。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2001−84500号公報
【特許文献2】特開2010−69943号公報
【特許文献3】特許4432801号号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、複数の車載カメラにより撮像画像を表示する従来の運転支援システムには、次のような課題がある。車両に搭載される撮像カメラの数が増えるにつれ、特に、撮像カメラの視点切替え操作が煩雑になっている。また、道路地図を表示しているナビゲーションシステムから所望の撮像カメラの画像への切替を簡便かつ操作が容易な方法で行えることが安全上重要である。そこで、車両の走行状態や運転状態に応じて、最適な視点のカメラ画像を表示する運転支援システムが考案されている。
【0006】
図14は、従来の運転支援システムの一例を説明する図である。図14(a)に示すように、ディスプレイ上にナビゲーションシステムによる道路地図が表示されているとき、その画面には、カメラ画像に切替えるための入力キーK1が表示されている。ユーザが入力キーK1を選択すると、図14(b)に示すように、道路地図画面の全体または一部に、フロントの撮像カメラで撮像されたカメラ画像が表示される。このとき、ディスプレイには、フロントカメラ画像を切替えるための、パノラマ、コーナー、トップ(俯瞰画像)のカメラ画像に視点変換を行うための視点切替キーK2が表示される。ユーザによっていずれの視点切替キーK2が選択されると、選択されたカメラ画像に切替えられる。また、予めカメラ画像を表示したい地点を登録しておき、その地点で自動的にカメラ画像を表示させることも可能になっている。
【0007】
しかし、このような従来の運転支援システムにおいて、走行状態や運転状態、周囲環境を最適に把握することは現実には難しく、必ずしもドライバが所望するカメラ画像が表示されるとは限らなかった。また、場合によっては、ドライバがナビゲーションの道路地図画面を見たいにも関わらず、意図しないカメラ画像が表示されてしまうこともあった。さらにユーザによる操作性も煩雑であった。
【0008】
そこで本発明では、道路地図の表示を基本としながらも、できるだけ簡便でかつ分かりやすい方法で、ドライバの操作に応じた撮像映像を表示する運転支援システム、運転支援方法および運転支援プログラムを提供することを目的とする。
【課題を解決するための手段】
【0009】
本発明に係る運転支援システムは、自車位置を検出する検出手段と、ディスプレイと、前記検出手段により検出された自車位置に基づき自車位置周辺の道路地図および自車位置を表す自車位置マークをディスプレイに表示可能な表示手段と、自車周辺を撮像する撮像手段と、前記撮像手段からの撮像信号を画像処理し撮像画像を生成する画像処理手段と、ユーザにより入力されたディスプレイ上の位置を検出する入力位置検出手段と、前記入力位置検出手段の検出結果に基づき自車位置マークが選択された場合に、前記撮像画像を自車位置マークの周辺に表示させる表示制御手段とを有する。
【0010】
好ましくは前記撮像画像の表示位置は、自車を上方から見たときの前記撮像手段の取り付け位置に対応する。好ましくは前記撮像画像は、予め決められたサイズのサムネイル画像である。好ましくは前記表示制御手段は、前記撮像画像が前記自車位置マークの周辺に表示されている状態で前記入力位置検出手段の検出結果に基づき前記撮像画像が選択された場合に、前記選択された撮像画像の拡大画像を表示させる。好ましくは前記表示制御手段は、前記撮像画像が前記自車位置マークの周辺に表示されている状態で前記入力位置検出手段の検出結果に基づき前記自車位置マークが選択された場合に、自車を上方から見下ろすような俯瞰画像を表示させる。好ましくは前記表示制御手段は、前記撮像画像が前記自車位置マークの周辺に表示されている状態で前記入力位置検出手段の検出結果に基づき前記自車位置マークが選択された場合に、予め設定した任意の位置の撮像手段に対応する撮像画像を表示させる。好ましくは前記表示制御手段は、前記撮像画像が前記自車位置マークの周辺に表示されている状態で前記入力位置検出手段の検出結果に基づき自車位置マークおよび前記撮像画像以外が選択された場合に、道路地図および自車位置マークを含む元の画面を表示させる。好ましくは前記表示制御手段は、前記拡大画像が表示されている状態で、前記入力位置検出手段の検出結果に基づき前記拡大画像が選択された場合に、自車位置マークの周辺に撮像画像が表示された元の画面を表示させる。好ましくは前記表示制御手段は、前記俯瞰画像が表示されている状態で、前記入力位置検出手段の検出結果に基づき前記俯瞰画像が選択された場合に、自車位置マーク周辺に撮像画像が表示された元の画面を表示させる。
【0011】
本発明に係る運転支援方法は、自車位置周辺の道路地図を表示する機能、および自車周辺を撮像する撮像手段からの画像を表示する機能を備えた電子装置におけるものであって、自車位置を検出し、検出された自車位置に基づき自車位置周辺の道路地図および自車位置を表す自車位置マークをディスプレイに表示し、道路地図および自車位置マークが表示されているとき、ユーザ入力により自車位置マークが選択された場合には、前記撮像手段により撮像された撮像画像を自車位置マークの周辺に表示させる。
【0012】
本発明に係る運転支援プログラムは、自車位置周辺の道路地図を表示する機能、および自車周辺を撮像する撮像手段からの画像を表示する機能を備えた電子装置が実行するものであって、自車位置を検出し、検出された自車位置に基づき自車位置周辺の道路地図および自車位置を表す自車位置マークをディスプレイに表示し、道路地図および自車位置マークが表示されているとき、ユーザ入力により自車位置マークが選択された場合には、前記撮像手段により撮像された撮像画像を自車位置マークの周辺に表示させる。
【発明の効果】
【0013】
本発明によれば、通常のナビゲーション動作により道路地図が表示されているとき、ユーザ入力により自車位置マークが選択されると、自車位置マーク周辺に撮像画像を表示させるようにしたので、ユーザ(ドライバ)は、見たいときに簡単に自車位置周辺の撮像画像を確認することができる。さらに、そのような撮像画像の表示位置は、自車位置マークを基準に撮像手段の取り付け位置と対応するため、ユーザにとって、どの方向の撮像画像の認識が容易になる。さらに撮像画像を選択することでその拡大画像を表示させることで、ユーザにって確認したい撮像画像の操作が容易になる。
【図面の簡単な説明】
【0014】
【図1】本発明の実施例に係る運転支援システムの全体構成を示すブロック図である。
【図2】図1に示すナビゲーション装置の構成を示すブロック図である。
【図3】撮像カメラの取り付けを説明する図である。
【図4】画像処理装置の構成を示すブロック図である。
【図5】運転支援プログラムの機能ブロック図である。
【図6】本実施例の運転支援プログラムの機能ブロック図である。
【図7】表示状態と表示内容の関係を説明するテーブルである。
【図8】各表示状態における入力判定部の入力判定内容を説明するテーブルである。
【図9】表示状態の判定結果および入力判定部の判定結果と切替画像との関係を説明するテーブルである。
【図10】本発明の実施例に係る運転支援システムの動作を説明するフローチャートである。
【図11】本発明の実施例に係る画面切替シーケンスを説明する図である。
【図12】本実施例の変形例による表示状態3の例を示す図である。
【図13】8つの撮像カメラを搭載したときのサムネイル画像の表示例である。
【図14】従来の運転支援システムにおける撮像画像の表示例を説明する図である。
【発明を実施するための形態】
【0015】
次に、本発明の実施の形態について図面を参照して詳細に説明する。本発明の好ましい実施の形態において、運転支援システムは、自車の前方、後方および左右の側方にそれぞれ撮像カメラを搭載し、それらの4つの撮像カメラから得られた撮像画像の視点切替をナビゲーション動作中に実行する機能を有する。
【実施例】
【0016】
図1は、本発明の実施例に係る運転支援システムの全体の構成を示すブロック図である。運転支援システム10は、自車位置周辺の道路地図を表示し目的地までのルート案内などの機能を備えたナビゲーション装置20と、ナビゲーション装置20に接続され道路地図や撮像カメラにより撮像された画像(以下、カメラ画像と言うことがある)を表示する機能に加え、タッチパネルによる位置入力機能を備えた表示装置30と、車両の前方、後方、右側方、左側方にそれぞれ設置された撮像カメラ40A、40B、40C、40D(以下、総称するときは撮像カメラ40という)と、撮像カメラ40からの撮像データを画像処理し、カメラ画像や俯瞰画像等を生成する画像処理装置50とを含んで構成される。
【0017】
図2は、典型的なナビゲーション装置20の構成を示すブロック図である。ナビゲーション装置20は、自車位置を検出する自車位置検出部100と、ユーザからの入力を受け取る入力部110と、ナビゲーション動作に必要な同地地図データ等を格納した記憶部120と、ナビゲーション動作のためのプログラムを記憶したプログラムメモリ130と、演算されたデータや画像処理装置50からのデータを保持するデータメモリ140と、表示装置30および画像処理装置50とバス等を介して接続されるインターフェース部150と、各部を制御する制御部160とを有する。
【0018】
位置検出部100は、GPS衛星を利用した自車の絶対位置を測位可能なGPS測位器、車速センサや方位センサを利用した自車の相対位置を測位可能な自立航法センサを有することができる。位置検出部100で検出された位置情報は制御部160へ出力され、自車位置周辺の道路地図データの読み出しや自車位置マークの表示等に利用される。
【0019】
入力部110は、好ましくは、表示装置30に搭載されたタッチパネルによる入力を含む。タッチパネルは、公知のように、ユーザの指などがディスプレイに接触または接近したとき、その座標位置を検出する。入力部110は、タッチパネルによる入力のほかにも、マウス、リモコン、キーボード等による入力インターフェースであってもよく、それらを用いてディスプレイ上に表示されたカーソルにより入力を行うことができる。
【0020】
記憶部120は、道路地図を表示するために必要なリンクデータ、交差点データ、施設データ等を含む。さらに、道路地図上に表示される自車位置マークを示すポリゴンデータ等を含む。なお、記憶部120は、必ずしも必須ではなく、ナビゲーション装置によっては、外部サーバとの通信によって道路地図データを取得してもよいし、半導体メモリなどの外部記憶装置から道路地図データを入手するものであってもよい。
【0021】
プログラムメモリ130は、運転支援システムに必要なプログラムを保持する。本実施例では、運転支援システムは、ナビゲーション動作を実行するためのプログラムと、撮像カメラによる画像を表示するためのプログラムとを有する。ナビゲーション動作を実行するためのプログラムとして、自車位置周辺の道路地図データを記憶部120から読み出しこれを表示装置30に表示するためのプログラム、目的地までのルートを探索するためのプログラム、ルートを案内するプログラムなどを含む。さらに撮像カメラの画像を表示するプログラムとして、ユーザ入力に応じて道路地図画面上に撮像カメラの画像を合成させたり、ユーザ入力に応じて撮像カメラの視点を切替えたり、さらに撮像カメラの画像の表示に関する種々の設定をするプログラムを備えている。
【0022】
データメモリ140は、記憶部120から読み出された道路地図データや画像処理装置50で生成された画像データを保持する。インターフェース部150は、画像処理装置50との間で制御信号やデータの送受を制御し、また表示装置30との間で制御信号やデータの送受を制御する。
【0023】
表示装置30は、インターフェース部150を介して画像データを受け取りこれを表示する。さらに表示装置30は、ユーザにより入力されたディスプレイ上の位置を検出する検出手段としてタッチパネルを含む。タッチパネルは、公知のように、静電容量変化などを測定することで、ユーザの指等が接触または接近した座標位置を検出する。検出された座標位置は、インターフェース部150を介して制御部160へ送信される。
【0024】
撮像カメラ40は、CCDやCMOSイメージセンサを用いて構成される。図3に示すように、撮像カメラ40Aは、車両前方のバンパーなどに取り付けられ、車両の前方を視野角θ1で撮像する。撮像カメラ40C、40Dは、車両のドアミラーから車両の側部を視野角θ2、θ3で撮像する。撮像カメラ40Bは、車両の後部バンパーなどに取り付けられ、車両の後方を視野角θ4で撮像する。撮像カメラの視野角θ1、θ2、θ3、θ4は、隣接する撮像カメラの視野角と端部がオーバーラップし、撮像カメラ40A〜40Dにより車両の全周囲を撮像できるようになっている。
【0025】
図4は、画像処理装置50の内部構成を示すブロック図である。画像処理装置50は、撮像カメラ40A〜40Dの撮像信号を入力し、これをディジタル信号に変換する入力部200と、入力部200からの画像データを受け取り、各撮像カメラ40の視点方向で撮像された画像からサムネイル画像を生成するサムネイル画像生成部210と、入力部200からの画像データを受け取り、サムネイル画像を拡大した拡大画像を生成する拡大画像生成部220と、入力部200からの画像データを受け取り、自車の真上から見下ろすような俯瞰画像(トップビュー画像)を生成する俯瞰画像生成部230とを有する。各生成部210、220、230には、ナビゲーション装置20からの制御信号C1、C2、C3が入力され、各生成部210、220、230は、制御信号C1、C2、C3に基づき画像を生成する。各生成部210、220、230で生成された画像データは、インターフェース部150を介してデータメモリ140へ転送される。各生成部210、220、230の処理は、ソフトウエアにより実行するものでも、ハードウエア回路により実行するものであってもよい。
【0026】
サムネイル画像生成部210は、予め決められたサイズのサムネイル画像を生成する。サムネイルのサイズは、表示装置(ディスプレイ)30の大きさ、道路地図画面の大きさ、そこに表示される自車位置マークの大きさ等に基づき決定される。好ましくは、自車位置マークを中心にその前後左右に4つのサムネイル画像が同時に表示できる大きさである。
【0027】
拡大画像生成部220は、サムネイル画像を拡大するような拡大画像を生成する。拡大画像のサイズは、好ましくは、ディスプレイの画面と同等であることができるが、それよりも小さくサイズであってもよい。
【0028】
俯瞰画像生成部230は、例えば図5に示すように、車両の前方のカメラ40Aで撮像された画像300A、車両の後方のカメラ40Bで撮像された画像300B、左右のカメラで撮像された画像信号300C、300Dを、基準点Oを基準に視点変換し、車両の真上から放射状に見下ろすように合成された画像を生成する。
【0029】
図6は、図2に示したプログラムメモリ130に格納された撮像画像の表示のためのプログラムの機能ブロック図である。撮像画像表示プログラム310は、表示装置30の表示状態を判定する表示状態判定部320と、ユーザ入力された位置から選択された対象を判定する入力判定部330と、表示状態判定部320および入力判定部330の各判定結果に基づき画像の切替を行う画像切替部340とを有する。
【0030】
図7は、表示状態判定部320の判定動作を説明する図である。本実施例では、表示状態判定図320は、図7に示すような表示状態1ないし4のいずれかを判定する。すなわち、表示状態1は、ナビゲーション装置20により自車位置周辺の道路地図が表示されている状態、表示状態2は、道路地図画面にサムネイル画像が合成して表示されている状態、表示状態3は、サムネイル画像の拡大画像が表示されている状態、表示状態4は、俯瞰画像が表示されている状態である。表示状態判定部300は、画像の切替が行われたとき表示状態を判定しその内容を保持する。
【0031】
入力判定部330は、表示状態1〜4に応じて、ユーザ入力により検出された座標位置に基づき、表示装置30に表示されている画像のどの部分が選択されたのかを判定する。図8は、入力判定部の判定内容を説明するテーブルである。入力判定部330は、表示状態1のとき、ユーザ入力の座標位置により自車位置マークが選択されたか否かを判定する。表示状態2のとき、自車位置マーク、サムネイル画像、これらの画像以外のいずれが選択されたかを判定する。表示状態3のとき、拡大画像が選択されたか否かを判定し、表示状態4のとき、俯瞰画像が選択されたか否かを判定する。
【0032】
画像切替部330は、表示状態判定部320の判定結果および入力判定部330の判定結果に基づき表示装置30に表示すべき画像を決定し、また必要があれば画像の切替を行う。図9は、表示状態の判定結果、入力の判定結果、および切替画像の関係を説明するテーブルである。表示状態1において、すなわち道路地図が表示されたナビゲーション画面において自車位置マークが選択された場合には、道路地図画面の自車位置マークの周辺にサムネイル画像が表示される。表示状態2において、自車位置マークが選択された場合には、自車を真上から見下ろすような俯瞰画像が表示される。また、表示状態2において、サムネイル画像が選択された場合には、選択されたサムネイル画像の拡大画像が表示され、自車位置マークおよびサムネイル画像以外の領域が選択された場合には、元の道路地図を表したナビゲーション画面が表示される。表示状態3において、拡大画像が選択された場合には、サムネイル画像すなわち表示状態2に戻り、また表示状態4において、俯瞰画像が選択された場合には、サムネイル画像すなわち表示状態2に戻る。
【0033】
次に、本発明の実施例の運転支援動作を図10のフローチャート、および図11の画面切替シーケンスを用いて説明する。先ず、自車の走行が開始されると、位置検出部100によって自車位置が検出され、制御部160は、自車位置周辺の道路地図データを記憶部120から読み出し、表示装置30に自車位置周辺の道路地図を表示させる(ステップS101)。道路地図画面は、図11(a)に示されるように、道路地図上に自車位置を示す自車位置マークMが合成して表示される。自車位置マークMは、自車位置が一見して分かるようにするために道路地図上に合成して表示され、走行中の道路上に表示される。自車位置マークの形状、大きさ、色彩、点滅の有無等は、特に制限されるものではなく、自車位置を表すことができるマークであればよい。典型的に自車位置マークは、道路地図画面のほぼ中央に固定的に表示され、自車位置の変更に伴い道路地図がスクロールされる。道路地図画面は、ノースアップであってよいし、ヘディングアップであってもよい。また、目的地までのルートが探索されていれば、当該ルートが道路上に合成して表示され、そのルート案内が行われる。
【0034】
自車の走行開始に伴い、前方、後方、左右の撮像カメラ40も起動され、撮像カメラ40からの撮像信号が画像処理装置50へ提供される。画像処理装置50の各生成部(図4を参照)は、入力された撮像信号に基づきサムネイル画像、拡大画像、俯瞰画像の生成を開始してもよいし、制御部160からの制御信号C1、C2、C3からの指示に応答してサムネイル画像、拡大画像、俯瞰画像を生成するようにしてもよい。
【0035】
道路地図が表示されることで、表示状態判定部320は、表示装置30が表示状態1であることを判定し、その判定結果を保持する。次いで、入力判定部330は、ユーザからの入力を監視し(ステップS102)、ユーザからの座標位置の入力があると、自車位置マークMが選択されたか否かを判定する(ステップS103)。自車位置マークMに対応する座標エリアが予め設定され、その座標エリアへの入力があったとき、自車位置マークMが選択されたと判定される。
【0036】
自車位置マークMが選択された判定されると、画像切替部340は、図9のテーブルに示したように、道路地図画面上にサムネイル画像を合成して表示させる(ステップS104)。サムネイル画像は、各撮像カメラ40A〜40Dの視点方向を撮像した画像であってこれを予め決められたサイズに縮小したものであり、道路地図画面には、サムネイル画像のウインドウが表示される。このサムネイル画像は、サムネイル画像生成部210により生成され、画像切替部340からの制御信号C1に基づき生成されるようにしてもよい。
【0037】
図11(b)は、サムネイル画像の表示例を示している。図に示すように、サムネイル画像TH−Aは、撮像カメラ40Aにより撮像された前方画像であり、自車位置マークMの前方すなわち進行方向に表示され、このサムネイル画像TH−Aの表示位置は、自車を真上から見たときの撮像カメラ40Aの位置に対応する。サムネイル画像TH−Bは、撮像カメラ40Bにより撮像された後方画像であり、自車位置マークMの後方に表示され、この表示位置は、撮像カメラ40Bの位置に対応する。同様に、サムネイル画像TH−C、TH−Dは、撮像カメラ40C、40Dによって撮像された左右の側方画像であり、自車位置マークの左側および右側に表示され、これらの表示位置は、撮像カメラ40C、40Dの位置にそれぞれ対応する。
【0038】
こうして自車位置マークMの周囲に撮像カメラ40の位置に対応したサムネイル画像のウインドウが合成して表示されるため、ユーザは、一見してサムネイル画像と自車位置との関係を容易に理解し、自車のどの方向の撮像画像かを認識する。
【0039】
サムネイル画像に画面が切替えられたことで、表示状態判定部320は、表示状態を表示状態2に更新する(ステップS105)。引き続き、入力判定部330は、ユーザ入力を監視し、ユーザ入力があったとき(ステップS106)、ユーザ入力によって、自車位置マーク、サムネイル画像、それ以外の画像のいずれが選択されたかを判定する(図8を参照)。
【0040】
入力判定部330により自車位置マークMが選択されたと判定された場合(ステップS107)、画像切替部340は、表示状態2において自車位置マークMが選択されたので、表示装置30には俯瞰画像が表示される(ステップS108)。図11(c)は、俯瞰画像の表示例である。俯瞰画像は、表示装置30の画面全体に拡大して表示されるようにしてもよいし、予め一定のサイズをもって道路地図上に合成して表示されるようにしてもよい。俯瞰画像は、俯瞰画像生成部220によって生成され、画像切替部340からの制御信号C3に応じて生成するようにすることができる。俯瞰画像が表示されたことで、表示状態判定部320は、表示状態を表示状態4に更新する。こうして、ユーザは、自車位置周辺に障害物等が存在するか否かの確認などを行うことができる。
【0041】
一方、入力判定部330によりサムネイル画像が選択されたと判定された場合(ステップS109)、画像切替部340は、選択されたサムネイル画像の拡大画像を表示させる(ステップS110)。例えば、自車前方を撮像したサムネイル画像TH−Aが選択された場合には、その拡大画像が表示され、左側方のサムネイル画像TH−Cが選択された場合には、その拡大画像が表示される。サムネイル画像の拡大画像は、拡大画像生成部220によって生成され、拡大画像の大きさは、表示装置30のサイズ全体であってもよいし、一定のサイズで道路地図画面上に合成されてもよい。図11(d)は、サムネイル画像TH−Bが選択されたときのその拡大画像の表示例である。拡大画像が表示されたことで、表示状態判定部320は、表示状態を表示状態3に更新する。
【0042】
さらに、入力判定部330により、サムネイル画像および自車位置マークMでもない領域が選択されたと判定された場合(ステップS111)、画像切替部340は、表示状態1の道路地図画面を表示させる(ステップS112)。なお、表示状態3または表示状態4の状態で、入力判定部330により拡大画像または俯瞰画像が選択されたと判定された場合には、画像切替部340は、表示状態2の画像に画面を切替える。
【0043】
このように本実施例の運転支援システムによれば、簡便かつ直感的な操作で必要な撮像カメラの視点の画像を表示することができる。また、撮像カメラの台数が増えても、同様の操作手法で対応することが可能である。
【0044】
次に、本実施例の変形例について説明する。上記実施例では、表示状態2において自車位置マークMが選択されたとき、表示状態4において俯瞰画像に切替える例を示したが、表示状態4において、どのような画像を表示させるかをユーザ設定できるようにしてもよい。ユーザ設定は、運転支援システムを動作させる前に初期設定として実行される。例えば、表示状態4において、俯瞰画像と、任意に選択した撮像カメラの拡大画像との組合せを表示させるようにしてもよい。図12は、俯瞰画像と左側方の拡大画像とを組み合わせたものである。勿論、これ以外の任意の組合せであってもよく、俯瞰画像とサムネイル画像の組合せであってもよい。
【0045】
また、上記実施例では、自車の前後左右に4つの撮像カメラを搭載した例を示したが、これ以外の撮像カメラの数であってもよい。例えば、自車の前方に3つの撮像カメラを搭載し(自車の左右のコーナーと中央を撮像)、自車の左右にそれぞれ2つの撮像カメラを搭載し、自車の後方に3つの撮像カメラと搭載し(自車の左右のコーナーと中央を撮像)、合計で8つの撮像カメラを備えるものであってもよい。この場合、サムネイル画像のウインドウ表示は、図13に示すようになる。勿論、撮像カメラの数は、4つよりも少ない数であってもよく、例えば、自車の前方と後方の合計2つの撮像カメラであってもよいし、自車の前方のみ、あるいは自車の後方のみの1つの撮像カメラであっても良い。撮像カメラが1つの場合には、表示状態2から自車位置マークが選択されたことが判定されると、同様に俯瞰画像が表示されるが、俯瞰画像は、自車周辺の一部に限られることになる。
【0046】
また、上記実施例では、道路地図画面がヘディングアップのときを示したが、ノースアップでもよい。この場合には、道路地図画面にて自車位置マークを選択すると、一時的に道路地図画面をヘディングアップに切り替えるとともに、自車位置マーク周辺にサムネイル画像を表示する、すなわち、図11(b)に示す画像を表示するようにしてもよい。
【0047】
以上、本発明の好ましい実施の形態について詳述したが、本発明は、特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。上記実施例では、ユーザ入力により自車位置マークが選択された場合に自車位置マークの周辺にサムネイル画像のウインドウを表示するようにしたが、サムネイル画像以外にも撮像カメラの視点方向により撮像された画像をそのまま表示するようにしてもよい。さらに運転支援システムは、ナビゲーション機能に加えて、オーディオ機能、ビデオ機能、通信機能などを備えた電子装置を含むものであってもよい。
【符号の説明】
【0048】
10:運転支援システム 20:ナビゲーション装置
30:表示装置 40:撮像カメラ
50:画像処理装置 100:位置検出部
110:入力部 120:記憶部
130:プログラムメモリ 140:データメモリ
150:インターフェース部 200:入力部
210:サムネイル画像生成部 220:拡大画像生成部
230:俯瞰画像生成部 300A:前方画像
300B:後方画像 300C、300D:側方画像
M:自車位置マーク C1、C2、C3:制御信号
【特許請求の範囲】
【請求項1】
自車位置を検出する検出手段と、
ディスプレイと、
前記検出手段により検出された自車位置に基づき自車位置周辺の道路地図および自車位置を表す自車位置マークをディスプレイに表示可能な表示手段と、
自車周辺を撮像する撮像手段と、
前記撮像手段からの撮像信号を画像処理し撮像画像を生成する画像処理手段と、
ユーザにより入力されたディスプレイ上の位置を検出する入力位置検出手段と、
前記入力位置検出手段の検出結果に基づき自車位置マークが選択された場合に、前記撮像画像を自車位置マークの周辺に表示させる表示制御手段と、
を有する運転支援システム。
【請求項2】
前記撮像画像の表示位置は、自車を上方から見たときの前記撮像手段の取り付け位置に対応する、請求項1に記載の運転支援システム。
【請求項3】
前記撮像画像は、予め決められたサイズのサムネイル画像である、請求項1または2に記載の運転支援システム。
【請求項4】
前記表示制御手段は、前記撮像画像が前記自車位置マークの周辺に表示されている状態で前記入力位置検出手段の検出結果に基づき前記撮像画像が選択された場合に、前記選択された撮像画像の拡大画像を表示させる、請求項1ないし3いずれか1つに記載の運転支援システム。
【請求項5】
前記表示制御手段は、前記撮像画像が前記自車位置マークの周辺に表示されている状態で前記入力位置検出手段の検出結果に基づき前記自車位置マークが選択された場合に、自車を上方から見下ろすような俯瞰画像を表示させる、請求項1ないし4いずれか1つに記載の運転支援システム。
【請求項6】
前記表示制御手段は、前記撮像画像が前記自車位置マークの周辺に表示されている状態で、前記入力位置検出手段の検出結果に基づき前記自車位置マークが選択された場合に、予め設定した任意の位置の撮像手段に対応する撮像画像を表示させる、請求項1ないし5いずれか1つに記載の運転支援システム。
【請求項7】
前記表示制御手段は、前記撮像画像が前記自車位置マークの周辺に表示されている状態で、前記入力位置検出手段の検出結果に基づき自車位置マークおよび前記撮像画像以外が選択された場合に、道路地図および自車位置マークを含む元の画面を表示させる、請求項1ないし6いずれか1つに記載の運転支援システム。
【請求項8】
前記表示制御手段は、前記拡大画像が表示されている状態で、前記入力位置検出手段の検出結果に基づき前記拡大画像が選択された場合に、自車位置マークの周辺に撮像画像が表示された元の画面を表示させる、請求項4ないし7いずれか1つに記載の運転支援システム。
【請求項9】
前記表示制御手段は、前記俯瞰画像が表示されている状態で、前記入力位置検出手段の検出結果に基づき前記俯瞰画像が選択された場合に、自車位置マーク周辺に撮像画像が表示された元の画面を表示させる、請求項5ないし7いずれか1つに記載の運転支援システム。
【請求項10】
自車位置周辺の道路地図を表示する機能、および自車周辺を撮像する撮像手段からの画像を表示する機能を備えた電子装置における運転支援方法であって、
自車位置を検出し、検出された自車位置に基づき自車位置周辺の道路地図および自車位置を表す自車位置マークをディスプレイに表示し、
道路地図および自車位置マークが表示されているとき、ユーザ入力により自車位置マークが選択された場合には、前記撮像手段により撮像された撮像画像を自車位置マークの周辺に表示させる、運転支援方法。
【請求項11】
運転支援方法はさらに、ユーザ入力により前記撮像画像が選択された場合には、当該選択された撮像画像の拡大画像を表示させる、請求項10に記載の運転支援方法。
【請求項12】
運転支援方法はさらに、前記撮像画像が表示されている状態でユーザ入力により自車位置マークが選択された場合には、自車を上方から見下ろした俯瞰画像を表示させる、請求項10または11に記載の運転支援方法。
【請求項13】
運転支援方法はさらに、前記撮像画像が表示されている状態でユーザ入力により自車位置マークおよび撮像画像以外が選択された場合には、元の道路地図の画面に戻す、請求項10ないし12いずれか1つに記載の運転支援方法。
【請求項14】
運転支援方法はさらに、前記拡大画像または俯瞰画像が表示されている状態でユーザ入力により拡大画像または俯瞰画像が選択された場合、自車位置マークの周辺に撮像画像が表示された元の画面に戻す、請求項10ないし13いずれか1つに記載の運転支援方法。
【請求項15】
自車位置周辺の道路地図を表示する機能、および自車周辺を撮像する撮像手段からの画像を表示する機能を備えた電子装置が実行する運転支援プログラムであって、
自車位置を検出し、検出された自車位置に基づき自車位置周辺の道路地図および自車位置を表す自車位置マークをディスプレイに表示し、
道路地図および自車位置マークが表示されているとき、ユーザ入力により自車位置マークが選択された場合には、前記撮像手段により撮像された撮像画像を自車位置マークの周辺に表示させる、運転支援プログラム。
【請求項16】
運転支援プログラムはさらに、ユーザ入力により前記撮像画像が選択された場合には、当該選択された撮像画像の拡大画像を表示させる、請求項15に記載の運転支援プログラム。
【請求項17】
運転支援プログラムはさらに、前記撮像画像が表示されている状態でユーザ入力により自車位置マークが選択された場合には、自車を上方から見下ろした俯瞰画像を表示させる、請求項15または16に記載の運転支援プログラム。
【請求項18】
運転支援プログラムはさらに、前記撮像画像が表示されている状態でユーザ入力により自車位置マークおよび撮像画像以外が選択された場合には、元の道路地図の画面に戻す、請求項15ないし17いずれか1つに記載の運転支援プログラム。
【請求項19】
運転支援プログラムはさらに、前記拡大画像または俯瞰画像が表示されている状態でユーザ入力により拡大画像または俯瞰画像が選択された場合、自車位置マークの周辺に撮像画像が表示された元の画面に戻す、請求項15ないし18いずれか1つに記載の運転支援プログラム。
【請求項1】
自車位置を検出する検出手段と、
ディスプレイと、
前記検出手段により検出された自車位置に基づき自車位置周辺の道路地図および自車位置を表す自車位置マークをディスプレイに表示可能な表示手段と、
自車周辺を撮像する撮像手段と、
前記撮像手段からの撮像信号を画像処理し撮像画像を生成する画像処理手段と、
ユーザにより入力されたディスプレイ上の位置を検出する入力位置検出手段と、
前記入力位置検出手段の検出結果に基づき自車位置マークが選択された場合に、前記撮像画像を自車位置マークの周辺に表示させる表示制御手段と、
を有する運転支援システム。
【請求項2】
前記撮像画像の表示位置は、自車を上方から見たときの前記撮像手段の取り付け位置に対応する、請求項1に記載の運転支援システム。
【請求項3】
前記撮像画像は、予め決められたサイズのサムネイル画像である、請求項1または2に記載の運転支援システム。
【請求項4】
前記表示制御手段は、前記撮像画像が前記自車位置マークの周辺に表示されている状態で前記入力位置検出手段の検出結果に基づき前記撮像画像が選択された場合に、前記選択された撮像画像の拡大画像を表示させる、請求項1ないし3いずれか1つに記載の運転支援システム。
【請求項5】
前記表示制御手段は、前記撮像画像が前記自車位置マークの周辺に表示されている状態で前記入力位置検出手段の検出結果に基づき前記自車位置マークが選択された場合に、自車を上方から見下ろすような俯瞰画像を表示させる、請求項1ないし4いずれか1つに記載の運転支援システム。
【請求項6】
前記表示制御手段は、前記撮像画像が前記自車位置マークの周辺に表示されている状態で、前記入力位置検出手段の検出結果に基づき前記自車位置マークが選択された場合に、予め設定した任意の位置の撮像手段に対応する撮像画像を表示させる、請求項1ないし5いずれか1つに記載の運転支援システム。
【請求項7】
前記表示制御手段は、前記撮像画像が前記自車位置マークの周辺に表示されている状態で、前記入力位置検出手段の検出結果に基づき自車位置マークおよび前記撮像画像以外が選択された場合に、道路地図および自車位置マークを含む元の画面を表示させる、請求項1ないし6いずれか1つに記載の運転支援システム。
【請求項8】
前記表示制御手段は、前記拡大画像が表示されている状態で、前記入力位置検出手段の検出結果に基づき前記拡大画像が選択された場合に、自車位置マークの周辺に撮像画像が表示された元の画面を表示させる、請求項4ないし7いずれか1つに記載の運転支援システム。
【請求項9】
前記表示制御手段は、前記俯瞰画像が表示されている状態で、前記入力位置検出手段の検出結果に基づき前記俯瞰画像が選択された場合に、自車位置マーク周辺に撮像画像が表示された元の画面を表示させる、請求項5ないし7いずれか1つに記載の運転支援システム。
【請求項10】
自車位置周辺の道路地図を表示する機能、および自車周辺を撮像する撮像手段からの画像を表示する機能を備えた電子装置における運転支援方法であって、
自車位置を検出し、検出された自車位置に基づき自車位置周辺の道路地図および自車位置を表す自車位置マークをディスプレイに表示し、
道路地図および自車位置マークが表示されているとき、ユーザ入力により自車位置マークが選択された場合には、前記撮像手段により撮像された撮像画像を自車位置マークの周辺に表示させる、運転支援方法。
【請求項11】
運転支援方法はさらに、ユーザ入力により前記撮像画像が選択された場合には、当該選択された撮像画像の拡大画像を表示させる、請求項10に記載の運転支援方法。
【請求項12】
運転支援方法はさらに、前記撮像画像が表示されている状態でユーザ入力により自車位置マークが選択された場合には、自車を上方から見下ろした俯瞰画像を表示させる、請求項10または11に記載の運転支援方法。
【請求項13】
運転支援方法はさらに、前記撮像画像が表示されている状態でユーザ入力により自車位置マークおよび撮像画像以外が選択された場合には、元の道路地図の画面に戻す、請求項10ないし12いずれか1つに記載の運転支援方法。
【請求項14】
運転支援方法はさらに、前記拡大画像または俯瞰画像が表示されている状態でユーザ入力により拡大画像または俯瞰画像が選択された場合、自車位置マークの周辺に撮像画像が表示された元の画面に戻す、請求項10ないし13いずれか1つに記載の運転支援方法。
【請求項15】
自車位置周辺の道路地図を表示する機能、および自車周辺を撮像する撮像手段からの画像を表示する機能を備えた電子装置が実行する運転支援プログラムであって、
自車位置を検出し、検出された自車位置に基づき自車位置周辺の道路地図および自車位置を表す自車位置マークをディスプレイに表示し、
道路地図および自車位置マークが表示されているとき、ユーザ入力により自車位置マークが選択された場合には、前記撮像手段により撮像された撮像画像を自車位置マークの周辺に表示させる、運転支援プログラム。
【請求項16】
運転支援プログラムはさらに、ユーザ入力により前記撮像画像が選択された場合には、当該選択された撮像画像の拡大画像を表示させる、請求項15に記載の運転支援プログラム。
【請求項17】
運転支援プログラムはさらに、前記撮像画像が表示されている状態でユーザ入力により自車位置マークが選択された場合には、自車を上方から見下ろした俯瞰画像を表示させる、請求項15または16に記載の運転支援プログラム。
【請求項18】
運転支援プログラムはさらに、前記撮像画像が表示されている状態でユーザ入力により自車位置マークおよび撮像画像以外が選択された場合には、元の道路地図の画面に戻す、請求項15ないし17いずれか1つに記載の運転支援プログラム。
【請求項19】
運転支援プログラムはさらに、前記拡大画像または俯瞰画像が表示されている状態でユーザ入力により拡大画像または俯瞰画像が選択された場合、自車位置マークの周辺に撮像画像が表示された元の画面に戻す、請求項15ないし18いずれか1つに記載の運転支援プログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【公開番号】特開2012−91625(P2012−91625A)
【公開日】平成24年5月17日(2012.5.17)
【国際特許分類】
【出願番号】特願2010−239460(P2010−239460)
【出願日】平成22年10月26日(2010.10.26)
【出願人】(000101732)アルパイン株式会社 (2,424)
【Fターム(参考)】
【公開日】平成24年5月17日(2012.5.17)
【国際特許分類】
【出願日】平成22年10月26日(2010.10.26)
【出願人】(000101732)アルパイン株式会社 (2,424)
【Fターム(参考)】
[ Back to top ]