画像表示システム、画像生成装置及び画像生成方法
【課題】シフト位置の切替操作に関わらず俯瞰画像を表示し続けることで、車両の周囲の状況を確認することができる画像表示システム、画像生成装置及び画像生成方法を提供する。
【解決手段】画像表示システム120は、車両に配置されたカメラ51,52,53で得られる撮影画像に基づいて車両及び車両の周囲を仮想視点から見た様子を示す合成画像を生成する合成画像生成部34と、車両の変速位置のシフトレバーのシフト位置を検出するシフト位置信号受信部13と、シフト位置信号受信部13によって検出されたシフト位置に応じて合成画像を表示するディスプレイ21と、シフト位置が変更されてからの時間を計測する計測部14と、を備え、合成画像表示状態でシフト位置が変更された場合、その際に計測部14で計測された計測時間が所定時間に達しないうちに元のシフト位置に戻された場合は、合成画像を切り替えずにその表示を維持する。
【解決手段】画像表示システム120は、車両に配置されたカメラ51,52,53で得られる撮影画像に基づいて車両及び車両の周囲を仮想視点から見た様子を示す合成画像を生成する合成画像生成部34と、車両の変速位置のシフトレバーのシフト位置を検出するシフト位置信号受信部13と、シフト位置信号受信部13によって検出されたシフト位置に応じて合成画像を表示するディスプレイ21と、シフト位置が変更されてからの時間を計測する計測部14と、を備え、合成画像表示状態でシフト位置が変更された場合、その際に計測部14で計測された計測時間が所定時間に達しないうちに元のシフト位置に戻された場合は、合成画像を切り替えずにその表示を維持する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車両において画像を表示する技術に関する。
【背景技術】
【0002】
従来より、自動車などの車両に搭載され、車載カメラで得られる撮影画像に基づいて車両の周囲の領域を示す周辺画像を車室内のディスプレイに表示する画像表示システムが知られている。この画像表示システムを利用することにより、ユーザ(代表的にはドライバ)は車両の周囲の様子をほぼリアルタイムに把握することができる。
【0003】
例えば、運転席の逆側となるフロントフェンダの外側領域は運転席から死角となりやすく、車体と障害物との間のクリアランスをユーザが把握しにくい。これに対して、画像表示システムを利用すれば、車両の側方に配置された車載カメラの撮影画像に基づいてフロントフェンダの外側領域を示す周辺画像を車室内のディスプレイに表示できる。これにより、車両の幅寄せを行う場合などにおいて、運転席の逆側の車体と障害物との間のクリアランスをユーザが容易に確認できることとなる。
【0004】
なお、車両の変速装置のシフトレバーのシフト位置が後退位置にあるときに車両の周辺画像及び後方撮影画像を表示する画像表示システムが知られている(例えば、特許文献1)。この画像表示システムでは、車両後退時に車両の周辺及び後方を周辺画像及び後方撮影画像を用いて確認することができる。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2010−221980号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
駐車時のようにシフト位置を後退位置と前進位置との間で頻繁に切り替える場合には、車両前進時に車両の周辺及び前方の状況を周辺画像及び前方撮影画像を用いて確認する必要が生じる場合がある。しかしながら、上記のような画像表示システムでは、シフト位置を後退位置から前進位置に切り替えた場合、地図画像のような周辺画像及び前方撮影画像以外の画像に切り替えられるため、車両前進時に車両の周辺及び前方の状況を周辺画像及び前方撮影画像を用いて確認することができなかった。なお、シフト位置が前進位置の場合に地図画像を含むナビゲーション装置の画像を表示するのは、通常の車両運転時(走行時)においてユーザはナビゲーション装置の画像を確認したいという要求を満たすためである。
【0007】
本発明の目的は、シフト位置の切替操作に関わらず俯瞰画像を表示し続けることで、車両の周囲の状況を確認することができる画像表示システム、画像生成装置及び画像生成方法を提供することである。
【課題を解決するための手段】
【0008】
本発明による画像表示システムは、車両に搭載される画像表示システムであって、車両に配置されたカメラと、カメラで得られる撮影画像に基づいて車両及び車両の周囲を仮想視点から見た様子を示す合成画像を生成する合成画像生成手段と、車両の変速位置のシフトレバーのシフト位置を検出するシフト位置検出手段と、シフト位置検出手段によって検出されたシフト位置に応じて合成画像を表示する合成画像表示手段と、シフト位置が変更されてからの時間を計測する計測手段と、を備え、合成画像表示状態でシフト位置が変更された場合、その際に計測手段で計測された計測時間が所定時間に達しないうちに元のシフト位置に戻された場合は、合成画像を切り替えずにその表示を維持する。
【0009】
本発明による画像生成装置は、撮影画像に基づいて車両及び車両の周囲を仮想視点から見た様子を示す合成画像を生成する合成画像生成手段と、車両の変速位置のシフトレバーのシフト位置を検出するシフト位置検出手段からのシフトポジション信号を受信するシフト位置信号受信手段と、シフト位置検出手段によって検出されたシフト位置に応じて合成画像を表示する合成画像表示手段と、シフト位置が変更されてからの時間を計測する計測手段と、を備え、合成画像表示状態でシフト位置が変更された場合、その際に計測手段で計測された計測時間が所定時間に達しないうちに元のシフト位置に戻された場合は、合成画像を切り替えずにその表示を維持する。
【0010】
本発明による画像表示方法は、車両に配置されたカメラで得られる撮影画像に基づいて車両及び車両の周囲を仮想視点から見た様子を示す合成画像を生成し、車両の変速位置のシフトレバーのシフト位置を検出し、検出されたシフト位置に応じて合成画像を表示し、シフト位置が変更されてからの時間を計測し、合成画像表示状態でシフト位置が変更された場合、その際に計測された計測時間が所定時間に達しないうちに元のシフト位置に戻された場合は、合成画像を切り替えずにその表示を維持する、ステップを有する。
【発明の効果】
【0011】
本発明によれば、シフト位置の切替操作に関わらず俯瞰画像を表示し続けることで、車両の周囲の状況を確認することができる。
【図面の簡単な説明】
【0012】
【図1】第1の実施の形態の画像表示システムの構成例を示す図である。
【図2】車載カメラが車両に配置される位置を示す図である。
【図3】(A)及び(B)は、画像結合部によって生成される結合画像の説明図である。
【図4】ソナーシステムの構成を主に示す図である。
【図5】クリアランスソナーが車両に配置される位置を示す図である。
【図6】合成画像を生成する手法を説明する図である。
【図7】画像表示システムの動作モードの遷移を示す図である。
【図8】画像切替処理の一例の説明図である。
【図9】ガイド線の付加及び消去の一例の説明図である。
【図10】画像切替処理時における画像表示システムの処理例の説明図である。
【図11】第2の実施の形態の画像表示システムの構成例を示す図である。
【図12】画像配置処理の一例の説明図である。
【図13】画像配置処理のタイムチャートである。
【図14】画像配置処理時における画像表示システムの処理例の説明図である。
【発明を実施するための形態】
【0013】
<第1の実施の形態>
<1−1.システム構成>
図1は、本発明の実施の形態の画像表示システム120の構成を示すブロック図である。この画像表示システム120は、車両(本実施の形態では、自動車)に搭載されるものであり、車両の周囲を撮影して画像を生成して車室内に表示する機能を有している。画像表示システム120のユーザ(代表的にはドライバ)は、この画像表示システム120を利用することにより、当該車両の周囲の様子をほぼリアルタイムに把握できるようになっている。
【0014】
図1に示すように、画像表示システム120は、車両の周囲の様子を示す周辺画像を生成する画像生成装置100と、車両に乗車するユーザに対して各種情報を表示するナビゲーション装置20とを主に備えている。画像生成装置100で生成された周辺画像は、ナビゲーション装置20において表示される。
【0015】
ナビゲーション装置20は、ユーザに対しナビゲーション案内を行うものであり、タッチパネル機能を備えた液晶などのディスプレイ21と、ユーザが操作を行うハードスイッチなどの操作部22と、装置全体を制御する制御部23とを備えている。ディスプレイ21の画面がユーザから視認可能なように、ナビゲーション装置20は車両のインストルメントパネルなどに設置される。
【0016】
ユーザの各種の指示は、操作部22とタッチパネルとしてのディスプレイ21とによって受け付けられる。制御部23は、CPU、RAM及びROMなどを備えたコンピュータであり、所定のプログラムに従ってCPUが演算処理を行うことでナビゲーション機能を含む各種の機能が実現される。ナビゲーション装置20は、画像生成装置100と通信可能に接続され、画像生成装置100との間で各種の制御信号の送受信や、画像生成装置100で生成された画像の受信が可能となっている。
【0017】
ディスプレイ21には、制御部23の制御により、通常は、ナビゲーション装置20単体の機能によって、ナビゲーション案内用の車両の周辺の地図画像が表示される。地図画像は、ナビゲーション装置20が備えるハードディスクなどに予め記憶されている。また、ナビゲーション装置20が備えるGPS装置によって車両の位置(緯度、経度)が取得され、この車両の位置に基づいて、車両の周辺の地図画像がディスプレイ21に表示される。表示する地図画像の縮尺はユーザの操作部22の操作に応じて変更可能である。
【0018】
一方で、画像表示システム120の動作モードを変更した場合は、画像生成装置100で生成された車両の周囲の様子を示す周辺画像が、ディスプレイ21に表示される。これにより、ナビゲーション装置20は、画像生成装置100で生成された周辺画像を受信して表示する表示装置としても機能する。
【0019】
画像生成装置100は、画像を生成する機能を有するECU(Electronic Control Unit)である本体部10と、車両の周囲を撮影する撮影部5とを備えている。本体部10は、車両の所定の位置に配置され、撮影部5で車両の周囲を撮影して得られる撮影画像に基づいてディスプレイ21に表示するための周辺画像を生成する。
【0020】
撮影部5は、本体部10に電気的に接続され、本体部10からの信号に基づいて動作する。撮影部5は、車載カメラであるフロントカメラ51、サイドカメラ52、及び、バックカメラ53を備えている。各車載カメラ51〜53は、レンズと撮像素子とを備えており電子的に画像を取得する。
【0021】
これらの複数の車載カメラ51〜53は、車両の異なる位置にそれぞれ配置される。図2は、車載カメラ51〜53が車両9に配置される位置を示す図である。
【0022】
図2に示すように、フロントカメラ51は、車両9の前端にあるナンバープレート取付位置の近傍に設けられ、その光軸51aは車両9の直進方向に向けられている。バックカメラ53は、車両9の後端にあるナンバープレート取付位置の近傍に設けられ、その光軸53aは車両9の直進方向の逆方向に向けられている。これらフロントカメラ51やバックカメラ53の取り付け位置は、左右中央であることが望ましいが、左右中央から左右方向に多少ずれた位置であってもよい。また、サイドカメラ52は左右のサイドミラー93にそれぞれ設けられ、その光軸52aは車両9の左右方向(直進方向に直交する方向)に沿って車両9の外側に向けられている。
【0023】
これらの車載カメラ51〜53のレンズとしては魚眼レンズなどが採用されており、車載カメラ51〜53は180度以上の画角θを有している。このため、車載カメラは、それぞれの光軸を中心として、斜め下方や斜め上方の範囲の視野も撮影画像に移すことができる。撮影部5は、4つの車載カメラ51〜53を利用することで車両9の全周囲の撮影が可能となっている。
【0024】
図1に戻り、画像生成装置100の本体部10は、装置全体を制御する制御部1と、撮影部5の4つの車載カメラ51〜53それぞれの撮影画像を入力する入力端子49と、表示用の周辺画像を生成する画像生成部3と、ナビゲーション装置20との間で通信を行うナビ通信部42を主に備えている。
【0025】
ナビゲーション装置20の操作部22やディスプレイ21によって受け付けられたユーザからの各種の指示は、制御信号としてナビ通信部42によって受け付けられて制御部1に入力される。また、画像生成装置100は、表示内容を切り替える指示をユーザから受け付ける要求手段としての切替スイッチ43を備えている。この切替スイッチ43からもユーザの指示を示す信号が制御部1に入力される。これにより、画像生成装置100は、ナビゲーション装置20に対するユーザの操作、及び、切替スイッチ43に対するユーザの操作の双方に応答した動作が可能となっている。切替スイッチ43は、ユーザが操作しやすいように、本体部10とは別に車両の適位置に配置される。
【0026】
画像生成部3は、各種の画像処理が可能なハードウェア回路であり、入力端子49を介して撮影部5から入力される撮影画像を処理し、ディスプレイ21に表示するための周辺画像を生成する。画像生成部3は、画像結合部30、メモリ31、画像調整部32、合成画像生成部34、画像配置部35、画像切替部36、ガイド線付加部37及びガイド線処理部を主な構成要素として備えている。
【0027】
画像結合部30は、撮影部5で取得された撮影画像を1枚の結合画像に結合する。図3の(A)及び図3の(B)は、画像結合部30によって生成される結合画像Pcnの説明図である。撮影部5のフロントカメラ51、サイドカメラ52及びバックカメラ53で同時に撮影が行われると、車両9の前方、左側方、右側方及び後方をそれぞれ示す4つの撮影画像P1〜P4が取得される。画像結合部30は、これら4枚の撮影画像P1〜P4を結合することによって、図3の(B)に示すような結合画像Pcnを生成する。画像結合部30によって生成された結合画像Pcnは、メモリ31に格納される。
【0028】
画像調整部32は、画像結合部30にて生成された結合画像Pcnを表示に利用するための調整を行うものである。具体的には、画像調整部32は、結合画像Pcnに含まれる撮影画像P1〜P4に対して、歪み補正、拡大縮小、及び、切り出しなどの画像処理を行う。画像調整部32は、画像選択部33を備える。画像選択部33は、結合画像Pcnに含まれる撮影画像P1〜P4の切り出し処理の際に、切り出し範囲、すなわちディスプレイ21への表示範囲を選択する。
【0029】
合成画像生成部34は、結合画像Pcnに基づいて、車両の周囲の任意の仮想視点からみた車両の周囲の領域を示す合成画像を生成する。合成画像生成部34が合成画像を生成する手法については後述する。
【0030】
画像調整部32により表示用に調整された撮影画像、及び合成画像生成部34により生成された合成画像は、ナビ通信部42によってナビゲーション装置20に出力される。その際に、画像配置部35は、以下に説明する画像表示システム120の動作モードに応じて、画面上の所定の表示位置にこれらの画像を配置した表示画像を生成し、ナビゲーション装置20へ出力する。これにより、被写体像として車両の周囲の少なくとも一部の領域を含む周辺画像がナビゲーション装置20のディスプレイ21に表示されることになる。
【0031】
本明細書において、「周辺画像」とは、車両の周囲の少なくとも一部の領域を示す画像を意味し、表示用に調整された撮影画像、及び、合成画像の双方を含む概念である。表示用に調整された撮影画像は、取得された車載カメラ51〜53のレンズの位置を視点とし、その視点からみた周辺画像となる。また、合成画像は、車両の周囲の任意の位置に設定された仮想視点からみた周辺画像となる。
【0032】
画像切替部36は、後述するように、切替スイッチ43からのユーザ要求に応じて、車両の変速装置のシフトレバーのシフト位置が後退位置にあるときに合成画像及び撮影画像P4を含む第1の画像をディスプレイ21の表示画面に表示し、シフト位置が後退位置から前進位置に切り替わると、ディスプレイ21の表示画面の表示を、第1の画像から、合成画像及び撮影画像P1を含む第2の画像に切り替える(「後退前進切替時の画像切替」)。また、画像切替部36は、後述するように、シフト位置が前進位置にある状態で第2の画像を表示する時間が所定の時間に到達すると、ディスプレイ21の表示画面の表示を、第2の画像から、合成画像及び撮影画像P1,P4以外の画像を含む地図データ等の第3の画像に切り替える。
【0033】
ガイド線付加部37は、後述するように、画像に各種ガイド線を付加する。ガイド線は、車両端が通過する軌跡を示す予想進路線、車両後端を示す距離目安線、車両後端に垂直後退した場合の進路を示す車幅平行線、ステアリングを左右に最大にきった場合の車両の予測軌跡を示す駐車ガイド線等とすることができる。ガイド線処理部38は、ガイド線付加部37が画像に付加したガイド線を消去し、かつ、画像をディスプレイ21の表示画面に表示する際にガイド線付加部37がガイド線を画像に付加するのを禁止する。
【0034】
制御部1は、CPU、RAM及びROMなどを備えたコンピュータであり、所定のプログラムに従ってCPUが演算処理を行うことで各種の制御機能が実現される。図中に示す、画像制御部11、表示制御部12、シフト位置信号受信部13、計測部14、ユーザ要求信号受信部15、領域選択部16、優先度設定部17、検知信号受信部18及び状態信号受信部19は、このようにして実現される制御部1の機能のうちの一部を示している。
【0035】
画像制御部11は、画像生成部3によって実行される画像処理に係る制御を行う。例えば、画像制御部11は、合成画像生成部34が生成する合成画像の生成に必要な各種パラメータなどを指示する。
【0036】
表示制御部12は、ナビゲーション装置20のディスプレイ21に表示する表示内容に係る制御を行う。例えば、画像表示システム120の動作モードの変更に応じて、ディスプレイ21の表示内容を切り替える。
【0037】
シフト位置信号受信部13は、後述するシフト位置信号を受信することによって、シフトレバーのシフト位置に応じた画像をディスプレイ21の表示画面に表示するよう画像生成部3に指示する。
【0038】
計測部14は、シフト位置が前進位置にある状態で上記第2の画像を表示する時間を計測する。ユーザ要求信号受信部15は、上記後退前進切替時の画像切替の要求、シフト位置が前進位置にある状態で上記第2の画像を表示する時間の延長の要求等の各種ユーザ要求信号を切替スイッチ43から受信する。
【0039】
領域選択部16は、車両の周囲に設定される複数の周辺領域のうちから、ユーザに示すべき周辺領域を選択する。優先度設定部17は、ユーザに示すべき周辺領域が複数ある場合に、それらの優先度を設定する。検知信号受信部18は、後述する検知信号を受信することによって、障害物が所定の範囲内(車両の周囲)にあるか否か検知する。状態信号受信部19は、後述する停止信号を受信することによって、車両の走行状態に応じた画像をディスプレイ21の表示画面に表示するよう画像生成部3に指示する。
【0040】
画像生成装置100の本体部10は、不揮発性メモリ40、カード読取部44、及び、信号入力部41をさらに備えており、これらは制御部1に接続されている。
【0041】
不揮発性メモリ40は、電源オフ時においても記憶内容を維持可能なフラッシュメモリなどである。不揮発性メモリ40には、視点データ4aが記憶されている。視点データ4aは、合成画像の仮想視点を定める際に利用される。
【0042】
カード読取部44は、可搬性の記録媒体であるメモリカードMCの読み取りを行う。カード読取部44は、メモリカードMCの着脱が可能なカードスロットを備えており、そのカードスロットに装着されたメモリカードMCに記録されたデータを読み取る。カード読取部44で読み取られたデータは、制御部1に入力される。メモリカードMCは、種々のデータを記憶可能なフラッシュメモリなどであり、画像生成装置100はメモリカードMCに記憶された種々のデータを利用できる。例えば、メモリカードMCにプログラムを記憶させ、これを読み出すことで、制御部1の機能を実現するプログラム(ファームウェア)を更新することが可能である。
【0043】
また、信号入力部41は、車両に設けられた各種装置からの信号を入力する。この信号入力部41を介して、画像表示システム120の外部からの信号が制御部1に入力される。本実施の形態では、ソナーシステム7a、シフトセンサ7b、舵角センサ7c及び車速センサ7dからの信号が信号入力部41を介して制御部1に入力される。
【0044】
障害物検知手段としてのソナーシステム7からは、後述するように、障害物の位置及び車両と障害物との間の距離を含む検出結果が入力される。シフト位置検出手段としてのシフトセンサ71からは、車両の変速装置のシフトレバーの操作の位置、すなわち、”P(駐車)”,”D(前進)”,”N(中立)”,”R(後退)”などのシフトポジションを示すシフト位置信号が入力される。舵角センサ72からは、ドライバによるステアリングホイールの操作角を示す操作角信号が入力される。車両状態検出手段としての車速センサ73からは、車両の停止状態又は移動状態を検出する、車速パルスに基づく状態信号が入力される。
【0045】
<1−2.ソナーシステム>
図4は、ソナーシステム7aの構成を主に示す図である。図4に示すように、ソナーシステム7は、システム全体を統括するソナー制御部70と、複数のクリアランスソナー72と、車内に警告音を発するブザー71と、を備える。
【0046】
クリアランスソナー72は、超音波を発信し、その超音波が障害物で反射した反射波を受信することによって車両の周囲に存在する障害物を検出する。また、クリアランスソナー72は、超音波を発信してから戻ってくるまでの時間に基づいて車両と障害物との間の距離を測定することができる。
【0047】
各クリアランスソナー72の検出結果は、ソナー制御部70に入力され、車両と障害物との間の距離に応じてブザー71から警告音が出力される。これにより、ユーザは、車両の周囲に障害物が存在するか否か把握することができる。
【0048】
図5は、複数のクリアランスソナー72が車両9に配置される位置を示す図である。複数のクリアランスソナー72は、車両9の前方の左右端部及び車両9の後方の左右端部にそれぞれ設けられている。
【0049】
各クリアランスソナー72は、車両9の周辺の一部の周辺領域A1〜A4に向けて超音波を発信する。具体的には、車両9の前方の左端部に設けられるクリアランスソナー72は、車両9の前方左側に設定される周辺領域(「前方左側領域」)A1に向けて超音波を発信する。また、車両9の前方の右端部に設けられるクリアランスソナー72は、車両9の前方右側に設定される周辺領域(「前方右側領域」)A2に向けて超音波を発信する。また、車両9の後方の左端部に設けられるクリアランスソナー72は、車両9の後方左側に設定される周辺領域(「後方左側領域」)A3に向けて超音波を発信する。さらに、車両9の後方の右端部に設けられるクリアランスソナー72は、車両9の後方右側に設定される周辺領域(「後方右側領域」)A4に向けて超音波を発信する。
【0050】
これら4つの周辺領域A1〜A4は、車両9に対して相対的に固定されて予め設定される。このようなクリアランスソナー72の配置により、ソナーシステム7では、4つの周辺領域A1〜A4に存在する障害物を検出することができる。ソナーシステム7は、障害物を検出したクリアランスソナー72の位置に基づいて、検出した障害物の位置が4つの周辺領域A1〜A4のいずれであるかを把握することができる。さらに、ソナーシステム7は、車両と障害物との間の距離を測定することができる。
【0051】
このような障害物の位置及び車両と障害物との間の距離を含むソナーシステム7の検出結果は、図4に示すように、ソナー制御部70から画像生成装置100の制御部1に信号入力部41を介して入力される。そして、このソナーシステム7の検出結果は、制御部1の検知信号受信部15等で利用される。
【0052】
<1−3.画像合成処理>
次に、画像生成部3の合成画像生成部34が、撮影部5で得られた複数の撮影画像P1〜P4に基づいて車両9及び車両9の周辺を任意の仮想視点からみた様子を示す合成画像を生成する手法について説明する。図6は、合成画像を生成する手法を説明するための図である。
【0053】
上述の通り、撮影部5のフロントカメラ51、サイドカメラ52及びバックカメラ53で同時に撮影が行われると、車両9の前方、左側方、右側方及び後方をそれぞれ示す4つの撮影画像P1〜P4が取得される。撮影部5で取得される4つの撮影画像P1〜P4を結合した結合画像Pcnには、撮影時点の車両9の全周囲を示す情報が含まれている。
【0054】
次に、結合画像Pcnの各画素が、仮想的な三次元空間における立体曲面TSに投影される。立体曲面TSは、例えば略半球状(お椀形状)をしており、その中心部分(お椀の底部分)が車両9が存在する位置として定められている。結合画像Pcnの各画素の位置とこの立体曲面TSの各画素の位置とは予め対応関係が定められている。このため、立体曲面TSの各画素の値は、この対応関係と結合画像Pcnに含まれる各画素の値とに基づいて決定できる。
【0055】
結合画像Pcnの各画素の位置と立体曲面TSの各画素の位置との対応関係は、車両9における4つの車載カメラ51〜53の配置(相互間距離、地上高さ、光軸角度等)に依存する。この対応関係を示すテーブルデータは、不揮発性メモリ40に予め記憶されている。
【0056】
また、不揮発性メモリ40に予め記憶された車体の形状やサイズを示すデータが利用され、車両9の三次元形状を示すポリゴンのモデルが仮想的に構成される。構成された車両9のモデルは、立体曲面TSが設定される三次元空間において、車両9の位置と定められた略半球状の中心部分に配置される。
【0057】
さらに、立体曲面TSが存在する三次元空間に対して、制御部1により仮想視点VPが設定される。仮想視点VPは、視点位置と視野方向とで規定され、この三次元空間における車両9の近傍に相当する任意の視点位置に任意の視野方向に向けて設定される。
【0058】
そして、設定された仮想視点VPに応じて、立体曲面TSにおける必要な領域が画像として切り出される。仮想視点VPと、立体曲面TSにおける必要な領域との関係は予め定められており、テーブルデータとして不揮発性メモリ40等に予め記憶されている。一方で、設定された仮想視点VPに応じてポリゴンのモデルに関してレンダリングがなされ、その結果となる二次元の車両の像が、切り出された画像に対して重畳される。これにより、車両9及びその車両9の周囲を任意の仮想視点VPからみた様子を示す合成画像が生成されることになる。
【0059】
例えば、視点位置が車両9の位置の略中央の直上で、視野方向が直下方向とした仮想視点VPaを設定した場合は、車両9の略直上から車両9を見下ろすように、車両9及び車両9の周囲の領域を示す合成画像CPaが生成される。また、図中に示すように、視点位置が車両9の位置の左後方で、視野方向が車両9における略前方方向とした仮想視点VPbを設定した場合は、車両9の左後方からその周辺全体を見渡すように、車両9及び車両9の周囲の領域を示す合成画像CPbが生成される。
【0060】
なお、実際に合成画像を生成する場合においては、立体曲面TSの全ての画素の値を決定する必要はなく、設定された仮想視点VPに対応して必要となる領域の画素の値のみを撮影画像P1〜P4に基づいて決定することで、処理速度を向上できる。画像表示システム120では、このような合成画像生成部34の機能を利用することで、車両9の周囲の任意の視点からみた合成画像を生成して、ディスプレイ21に表示する。
【0061】
<1−4.動作モード>
次に、画像表示システム120の動作モードについて説明する。図7は、画像表示システム120の動作モードの遷移を示す図である。画像表示システム120は、ナビモードM0、フロントモードM1、サイドモードM2、及び、バックモードM3の3つの動作モードを有している。これらの動作モードは、ドライバの車両9への操作や車両9の走行状態に応じて制御部1の制御により切り替えられるようになっている。
【0062】
ナビモードM0は、ナビゲーション装置20の機能により、ナビゲーション案内を行う動作モードである。ナビモードM0では、画像生成装置100の機能が利用されず、ナビゲーション装置20単体の機能でディスプレイ21に各種の表示がなされる。具体的には、ディスプレイ21には、車両9の周辺の地図画像NPが主に表示される。
【0063】
これに対し、フロントモードM1、サイドモードM2及びバックモードM3は、画像生成装置100の機能を利用して、周辺画像をディスプレイ21に表示して、車両の周囲の状況をリアルタイムでユーザに示す動作モードである。
【0064】
フロントモードM1は、車両9の前方を表示する動作モードであり、見通しの悪い交差点への進入時などに利用される。ディスプレイ21の第2表示位置L2には、フロントカメラ51で取得されて表示用に調整した撮影画像(以下、「フロント画像」という。)SP1が表示される。このフロント画像SP1は、車両9の前方の視点(フロントカメラ51のレンズ位置)からみた周辺画像である。フロントモードM1では、表示中の周辺画像(すなわち、フロント画像)SP1の視点が車両9の前方であることを示すアイコンC1が表示される。
【0065】
また、第1表示位置L1には、合成画像生成部34により生成された、車両9の略直上から車両9を見下ろすように車両9とその周辺の領域を示す合成画像CPaが表示される。
【0066】
サイドモードM2は、車両9の側方を表示する動作モードであり、幅寄せを行う場合などに利用される。ディスプレイ21の第3表示位置L3及び第4表示位置L4には、サイドカメラ52で取得されて表示用に調整した撮影画像(以下、「サイド画像」という。)SP2が表示される。このサイド画像SP2は、車両9の側方の視点(サイドカメラ52のレンズ位置)からみた周辺画像である。サイドモードM2では、表示中の周辺画像(すなわち、サイド画像)SP2の視点が車両9の側方であることを示すアイコンC2が表示される。
【0067】
また、バックモードM3は、車両9の後方を表示する動作モードであり、後退時に利用される。ディスプレイ21の第2表示位置L2には、バックカメラ53で取得されて表示用に調整した撮影画像(以下、「バック画像」という。)SP3が表示される。このバック画像SP3は、車両9の後方の視点(バックカメラ53のレンズ位置)からみた周辺画像である。バックモードM3では、表示中の周辺画像(すなわち、バック画像)SP3の視点が車両9の後方であることを示すアイコンC3が表示される。
【0068】
また、第1表示位置L1には、合成画像生成部34により生成された、車両9の略直上から車両9を見下ろすように車両9とその周囲の領域を示す合成画像CPaが表示される。
【0069】
ナビモードM0において、ナビゲーション装置20の操作部22に所定の操作がなされると、フロントモードM1及びサイドモードM2のうちの最後に有効化された動作モード(いわゆる、ラストモード)に切り替わる。フロントモードM1とサイドモードM2とは、切替スイッチ43を押下するごとに切り替えられる。また、フロントモードM1あるいはサイドモードM2において、ナビゲーション装置20の操作部22に所定の操作がなされると、ナビモードM0に戻る。
【0070】
また、バックモードM3以外の動作モードにおいて、シフトセンサ71から入力されるシフトポジションが”R(後退)”となったときは、バックモードM3に切り替えられる。すなわち、シフトポジションが”R(後退)”の場合は、車両9は後退する状態であるため、車両9の後方を主に示すバックモードM3に切り替えられる。また、バックモードM3の場合に、シフトポジションが”R(後退)”以外となったときは、バックモードM3に切り替えられる直前の動作モードに戻ることになる。
【0071】
このように画像表示システム120は、複数の動作モードを切り替えることで、複数の視点からみた周辺画像を切り替えてディスプレイ21に表示可能となっている。なお、サイドミラーが格納されている場合には、正常なサイド画像SP2を撮影することができない。したがって、サイドミラー格納時には、フロントモードM1やバックモードM3からサイドモードM2への切り換えが禁止される。
【0072】
なお、フロントモードM1における合成画像CPaには、予想進路線S1が付加され、フロントモードM1におけるフロント画像SP1には、予想進路線S1,S2が付加され、バックモードM3における合成画像CPaには、予想進路線S3,S4及び距離目安線Mが付加され、バックモードM3におけるバック画像SP3には、予想進路線S4、距離目安線M及び車幅平行線Hが付加されている。
【0073】
<1−5.画像切替処理>
次に、画像切替処理を行うときの画像表示システム120の処理について説明する。以後の説明における処理は、切替スイッチ43により、上記後退前進切替時の画像切替の要求に関するユーザ要求信号を受信している場合について行われる。
【0074】
図8は、画像切替の一例の説明図である。車両が所定速度以下(駐車を行うような低速度)でシフトポジションが「R」になると、図8に示すように、ディスプレイ21の表示画面に合成画像CPa及びバック画像SP3を含む後退動作を支援するのに適した画像が表示される。この状態において、シフトポジションが「R」から「D」に切り替わると、合成画像CPa及びフロント画像SP1を含む画像に表示が切り替わる。その後、シフトポジションが「D」から「R」に切り替わると、合成画像CPa及びバック画像SP3を含む画像に表示が切り替わる。
【0075】
上述のようなシフトポジションが「D」のときにディスプレイ21の表示画面に合成画像CPa及びフロント画像SP1を含む画像が表示されている状態で、計測部14が計測したその状態の継続時間が所定の時間を経過すると、ディスプレイ21の表示画面は、地図画像NPに切り替わる。なお、合成画像CPa、フロント画像SP1及びバック画像SP3以外の画像を含む他の画像(第3の画像)に切り替えてもよい。
【0076】
また、切替スイッチ43により、合成画像CPa及びフロント画像SP1を含む画像の表示時間の延長要求に関するユーザ要求信号が送信された場合は、合成画像CPa及びフロント画像SP1を含む画像の表示時間を所定の延長時間だけ延長し、所定の延長時間が経過した後に、ディスプレイ21の表示画面を地図画像NPに切り替える。尚、所定の延長時間内にシフトポジションが「D」から「R」に切り替わると、合成画像CPa及びバック画像SP3を含む画像に表示が切り替わり、同じ処理が繰り返される。また、この場合の合成画像CPa及びフロント画像SP1を含む画像の表示時間は、上記延長時間を加えた時間長とすれば、ユーザの延長操作の意志を反映させたものになる。
【0077】
また、ソナーシステム7aにより障害物を検知した場合、合成画像CPa及びフロント画像SP1を含む画像の表示時間を所定の延長時間だけ延長し、所定の延長時間が経過した後に、ディスプレイ21の表示画面を地図画像NPに切り替える。尚、この場合、ソナーによる障害物検知が解除されてから所定時間経過した時点まで延長すれば、障害物による運転への影響を考えた表示とすることができる。また、所定の延長時間内にシフトポジションが「D」から「R」に切り替わると、合成画像CPa及びバック画像SP3を含む画像に表示が切り替わり、同じ処理が繰り返される。
【0078】
<1−6.ガイド線の付加及び消去処理>
次に、ガイド線を付加し又は消去するときの画像表示システム120の処理について説明する。図9は、ガイド線の付加及び消去の一例の説明図である。車両が停止した状態において、切替スイッチ43からの切替信号により、バックモードM3におけるディスプレイ21の表示画面のバック画像SP3をフロント画像SP1に切り替わると、ガイド線処理部38は、合成画像CPaから予想進路線S3,S4及び距離目安線Mを消去し、ガイド線付加部37がフロント画像SP1にガイド線を付加するのを禁止する。
【0079】
それに対し、車両が停止した状態において、切替スイッチ43からの切替信号により、バックモードM3におけるディスプレイ21の表示画面のフロント画像SP1をバック画像SP3に切り替わると、ガイド線付加部37は、合成画像CPaに予想進路線S3,S4及び距離目安線Mを付加し、バック画像SP3に予想進路線S4、距離目安線M及び車幅平行線Hを付加する。
【0080】
また、バックモードM3におけるディスプレイ21の表示画面にフロント画像SP1を表示した状態で車両が停止状態から移動状態になると、ガイド線付加部37は、合成画像CPaに予想進路線S3,S4及び距離目安線Mを付加する。
【0081】
それに対し、バックモードM3におけるディスプレイ21の表示画面にフロント画像SP1を表示した状態で車両が移動状態から停止状態になると、ガイド線消去又は禁止部37は、合成画像CPaから予想進路線S3,S4及び距離目安線Mを消去する。
【0082】
続いて、図10を参照して、後退前進切替時の画像遷移処理について説明する。なお、図10を参照して説明する処理は、車両が所定速度以下(駐車を行うような低速度)でシフトポジションが「R」になると実行される。
【0083】
オペレーションAAにおいて、表示制御部12は、後に説明する合成画像CPa及びフロント画像SP1を含む画像の表示時間Tを初期値T0に設定する(初期化)。オペレーションABにおいて、画像配置部35は、合成画像CPa及びバック画像SP3を選択し、ナビゲーション装置20へ出力する表示画像上に配置する。表示画像は、画像生成装置100によってナビゲーション装置20へ出力される。ナビゲーション装置20は、画像生成装置100から出力された表示画像をディスプレイ21へ表示する。
【0084】
オペレーションACにおいて、シフト位置信号受信部13は、シフトポジションが「R」から「R」以外(例えば、「D」)に切り替わったか否か判断する。シフトポジションが「R」から「R」以外(例えば、「D」)に切り替わった場合、オペレーションADにおいて、表示制御部12は、計測部14の計測値t(自走式タイマで常時カウントアップされる)をゼロにリセットした後に計測部14による合成画像CPa及びフロント画像SP1を含む画像を表示している時間(計測値t)の計測を開始し、それに対し、シフトポジションが「R」から「R」以外(例えば、「D」)に切り替わらない場合、オペレーションABに戻る。
【0085】
オペレーションADの後、オペレーションAEにおいて、画像配置部35は、合成画像CPa及びフロント画像SP1を選択し、ナビゲーション装置20へ出力する表示画像上に配置する。表示画像は、画像生成装置100によってナビゲーション装置20へ出力される。ナビゲーション装置20は、画像生成装置100から出力された表示画像をディスプレイ21へ表示する。
【0086】
オペレーションAFにおいて、シフト位置信号受信部13は、シフトポジションが「R」以外(例えば、「D」)から「R」に切り替わったか否か判断する。シフトポジションが「R」以外(例えば、「D」)から「R」に切り替わらなかった場合、オペレーションAGにおいて、オペレーションAGにおいて、表示制御部12は、合成画像CPa及びフロント画像SP1を含む画像の表示時間Tを所定の延長時間ΔTだけ延長する延長操作が切替スイッチ43等によって行われたか否か判断し、それに対し、シフトポジションが「R」以外(例えば、「D」)から「R」に切り替わった場合、オペレーションABに戻る。
【0087】
オペレーションAGで延長操作があった場合、オペレーションAHにおいて、表示制御部12は、表示時間Tに延長時間ΔTを加算し、オペレーションAIにおいて、探知信号受信部18は、ソナーシステム7aにより障害物を検知したか否か判断する。なお、オペレーションAGで延長操作がなかった場合、そのままオペレーションAIに進む。
【0088】
オペレーションAIで障害物を検知した場合、オペレーションAJにおいて、表示制御部12は計測値tをゼロにリセットし、オペレーションAEに戻り、それに対し、オペレーションAIで障害物を検知しない場合、オペレーションAKにおいて、表示制御部12は、計測値tが表示時間Tを経過したか否か判断する。計測値tが表示時間Tを経過した場合、画像切替部36は、ディスプレイ21の表示を地図画像NPに切り替え、それに対し、計測値tが表示時間Tを経過していない場合、オペレーションAEに戻る。
【0089】
<2.第2の実施の形態>
<2−1.システム構成>
続いて第2の実施の形態について説明する。第2の実施の形態では、アクセサリー(ACC)スイッチがオンになり、オープニング画面を表示した後に切替スイッチ43からのユーザ要求に応じて、フロント画像SP1、左右のサイド画像SP2及びバック画像SP3を取得してから合成画像CPaを形成するまでの間に、車両のサイドミラーで確認しにくいために運転者の死角となりやすい左側のサイド画像SP2をフロント画像SP1とともにディスプレイ21の表示画面に表示し、合成画像CPaが形成された後に合成画像CPa及びフロント画像SP1をディスプレイ21の表示画面に表示する。
【0090】
ACCスイッチをオンにし、フロント画像SP1、サイド画像SP2及びバック画像SP3を取得してから合成画像CPaの生成が完了するまでの間にオープニング画像をディスプレイ21の表示画面に表示した場合、この間に車両の周辺を確認するためのフロント画像SP1、サイド画像SP2、バック画像SP3及び合成画像CPaのいずれも表示画面に表示することができないので、画像を用いて車両の周辺を確認することができない。
【0091】
本実施の形態によれば、フロント画像SP1、サイド画像SP2及びバック画像SP3を取得してから合成画像CPaの生成が完了するまでの間に、車両のサイドミラーで確認しにくいために運転者の死角となりやすい左側のサイド画像SP2をフロント画像SP1とともにディスプレイ21の表示画面に表示しているので、左側のサイド画像SP2及びフロント画像SP1を用いて車両の周辺、特に、運転者の死角となりやすい車両のを確認することができる。
【0092】
図11は、第2の実施の形態の画像表示システム120の構成例を示す図である。図1に示す構成要素と同一の構成要素については同一の参照符号を付する。同一の参照符号が付された構成要素の動作は特に説明しない限り同じである。また、図11に示す構成要素やその機能を他の実施例が備えていてもよい。
【0093】
ACCスイッチ45は、車両に備えられたエンジン始動用のキーシリンダーと電気的に一体に構成されている。また、ナビゲーション装置20が備えるハードディスクなどには、オープニング画像が予め記憶されている。
【0094】
<2−2.画像配置処理>
次に、左側のサイド画像SP2及びフロント画像SP1を配置するときの画像表示システム120の処理について説明する。図12は、画像配置処理の一例の説明図であり、図13は、画像配置処理のタイムチャートである。ACCスイッチ45がオンになってから時間t1が経過すると、ディスプレイ21の表示画面にはオープニング画面OPが表示される。
【0095】
時間t2(>t1)になると、フロント画像SP1、サイド画像SP2及びバック画像SP3が取得され、合成画像CPaの生成を開始するとともに、左側のサイド画像SP2及びフロント画像SP1をディスプレイ21の表示画面に表示する。時間t3(>t2)になると、画像表示システム120が起動し、時間t4(>t3)になると、合成画像CPaの生成が終了する。したがって、左側のサイド画像SP2及びフロント画像SP1が時間t4−t2だけ表示され、画像表示システム120を起動してから合成画像CPaを表示するまでのマージンΔはt4−t3となる。
【0096】
続いて、図14を参照して、画像配置における画像表示システム120の処理を説明する。なお、他の実施態様においては、下記のオペレーションBA〜BHの各オペレーションはステップであってもよい。
【0097】
オペレーションBAにおいて、車載カメラ51〜53は、それぞれ撮影画像P1〜P4を撮影する。オペレーションBBにおいて、画像結合部30は、これらの画像P1〜P4を結合した結合画像Pcnを生成し、メモリ31に格納する。オペレーションBCにおいて、合成画像生成部34は、結合画像Pcnに基づいて合成画像CPaの生成を開始する。
【0098】
オペレーションBDにおいて、画像配置部35は、現在の画像表示システム120の動作モードに従って、左側のサイド画像SP2及びフロント画像SP3を選択し、ナビゲーション装置20へ出力する表示画像上に配置する。表示画像は、画像生成装置100によってナビゲーション装置20へ出力される。オペレーションBEにおいて、ナビゲーション装置20は、画像生成装置100から出力された表示画像をディスプレイ21へ表示する。
【0099】
オペレーションBFにおいて、合成画像CPaの生成が終了したか否か判断する。合成画像CPaの生成が終了した場合、オペレーションBGにおいて、画像配置部35は、現在の画像表示システム120の動作モードに従って、合成画像CPa及びフロント画像SP3を選択し、ナビゲーション装置20へ出力する表示画像上に配置する。表示画像は、画像生成装置100によってナビゲーション装置20へ出力される。オペレーションBHにおいて、ナビゲーション装置20は、画像生成装置100から出力された表示画像をディスプレイ21へ表示する。
【符号の説明】
【0100】
34 合成画像生成部
36 画像切替部
100 画像生成装置
120 画像表示システム
【技術分野】
【0001】
本発明は、車両において画像を表示する技術に関する。
【背景技術】
【0002】
従来より、自動車などの車両に搭載され、車載カメラで得られる撮影画像に基づいて車両の周囲の領域を示す周辺画像を車室内のディスプレイに表示する画像表示システムが知られている。この画像表示システムを利用することにより、ユーザ(代表的にはドライバ)は車両の周囲の様子をほぼリアルタイムに把握することができる。
【0003】
例えば、運転席の逆側となるフロントフェンダの外側領域は運転席から死角となりやすく、車体と障害物との間のクリアランスをユーザが把握しにくい。これに対して、画像表示システムを利用すれば、車両の側方に配置された車載カメラの撮影画像に基づいてフロントフェンダの外側領域を示す周辺画像を車室内のディスプレイに表示できる。これにより、車両の幅寄せを行う場合などにおいて、運転席の逆側の車体と障害物との間のクリアランスをユーザが容易に確認できることとなる。
【0004】
なお、車両の変速装置のシフトレバーのシフト位置が後退位置にあるときに車両の周辺画像及び後方撮影画像を表示する画像表示システムが知られている(例えば、特許文献1)。この画像表示システムでは、車両後退時に車両の周辺及び後方を周辺画像及び後方撮影画像を用いて確認することができる。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2010−221980号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
駐車時のようにシフト位置を後退位置と前進位置との間で頻繁に切り替える場合には、車両前進時に車両の周辺及び前方の状況を周辺画像及び前方撮影画像を用いて確認する必要が生じる場合がある。しかしながら、上記のような画像表示システムでは、シフト位置を後退位置から前進位置に切り替えた場合、地図画像のような周辺画像及び前方撮影画像以外の画像に切り替えられるため、車両前進時に車両の周辺及び前方の状況を周辺画像及び前方撮影画像を用いて確認することができなかった。なお、シフト位置が前進位置の場合に地図画像を含むナビゲーション装置の画像を表示するのは、通常の車両運転時(走行時)においてユーザはナビゲーション装置の画像を確認したいという要求を満たすためである。
【0007】
本発明の目的は、シフト位置の切替操作に関わらず俯瞰画像を表示し続けることで、車両の周囲の状況を確認することができる画像表示システム、画像生成装置及び画像生成方法を提供することである。
【課題を解決するための手段】
【0008】
本発明による画像表示システムは、車両に搭載される画像表示システムであって、車両に配置されたカメラと、カメラで得られる撮影画像に基づいて車両及び車両の周囲を仮想視点から見た様子を示す合成画像を生成する合成画像生成手段と、車両の変速位置のシフトレバーのシフト位置を検出するシフト位置検出手段と、シフト位置検出手段によって検出されたシフト位置に応じて合成画像を表示する合成画像表示手段と、シフト位置が変更されてからの時間を計測する計測手段と、を備え、合成画像表示状態でシフト位置が変更された場合、その際に計測手段で計測された計測時間が所定時間に達しないうちに元のシフト位置に戻された場合は、合成画像を切り替えずにその表示を維持する。
【0009】
本発明による画像生成装置は、撮影画像に基づいて車両及び車両の周囲を仮想視点から見た様子を示す合成画像を生成する合成画像生成手段と、車両の変速位置のシフトレバーのシフト位置を検出するシフト位置検出手段からのシフトポジション信号を受信するシフト位置信号受信手段と、シフト位置検出手段によって検出されたシフト位置に応じて合成画像を表示する合成画像表示手段と、シフト位置が変更されてからの時間を計測する計測手段と、を備え、合成画像表示状態でシフト位置が変更された場合、その際に計測手段で計測された計測時間が所定時間に達しないうちに元のシフト位置に戻された場合は、合成画像を切り替えずにその表示を維持する。
【0010】
本発明による画像表示方法は、車両に配置されたカメラで得られる撮影画像に基づいて車両及び車両の周囲を仮想視点から見た様子を示す合成画像を生成し、車両の変速位置のシフトレバーのシフト位置を検出し、検出されたシフト位置に応じて合成画像を表示し、シフト位置が変更されてからの時間を計測し、合成画像表示状態でシフト位置が変更された場合、その際に計測された計測時間が所定時間に達しないうちに元のシフト位置に戻された場合は、合成画像を切り替えずにその表示を維持する、ステップを有する。
【発明の効果】
【0011】
本発明によれば、シフト位置の切替操作に関わらず俯瞰画像を表示し続けることで、車両の周囲の状況を確認することができる。
【図面の簡単な説明】
【0012】
【図1】第1の実施の形態の画像表示システムの構成例を示す図である。
【図2】車載カメラが車両に配置される位置を示す図である。
【図3】(A)及び(B)は、画像結合部によって生成される結合画像の説明図である。
【図4】ソナーシステムの構成を主に示す図である。
【図5】クリアランスソナーが車両に配置される位置を示す図である。
【図6】合成画像を生成する手法を説明する図である。
【図7】画像表示システムの動作モードの遷移を示す図である。
【図8】画像切替処理の一例の説明図である。
【図9】ガイド線の付加及び消去の一例の説明図である。
【図10】画像切替処理時における画像表示システムの処理例の説明図である。
【図11】第2の実施の形態の画像表示システムの構成例を示す図である。
【図12】画像配置処理の一例の説明図である。
【図13】画像配置処理のタイムチャートである。
【図14】画像配置処理時における画像表示システムの処理例の説明図である。
【発明を実施するための形態】
【0013】
<第1の実施の形態>
<1−1.システム構成>
図1は、本発明の実施の形態の画像表示システム120の構成を示すブロック図である。この画像表示システム120は、車両(本実施の形態では、自動車)に搭載されるものであり、車両の周囲を撮影して画像を生成して車室内に表示する機能を有している。画像表示システム120のユーザ(代表的にはドライバ)は、この画像表示システム120を利用することにより、当該車両の周囲の様子をほぼリアルタイムに把握できるようになっている。
【0014】
図1に示すように、画像表示システム120は、車両の周囲の様子を示す周辺画像を生成する画像生成装置100と、車両に乗車するユーザに対して各種情報を表示するナビゲーション装置20とを主に備えている。画像生成装置100で生成された周辺画像は、ナビゲーション装置20において表示される。
【0015】
ナビゲーション装置20は、ユーザに対しナビゲーション案内を行うものであり、タッチパネル機能を備えた液晶などのディスプレイ21と、ユーザが操作を行うハードスイッチなどの操作部22と、装置全体を制御する制御部23とを備えている。ディスプレイ21の画面がユーザから視認可能なように、ナビゲーション装置20は車両のインストルメントパネルなどに設置される。
【0016】
ユーザの各種の指示は、操作部22とタッチパネルとしてのディスプレイ21とによって受け付けられる。制御部23は、CPU、RAM及びROMなどを備えたコンピュータであり、所定のプログラムに従ってCPUが演算処理を行うことでナビゲーション機能を含む各種の機能が実現される。ナビゲーション装置20は、画像生成装置100と通信可能に接続され、画像生成装置100との間で各種の制御信号の送受信や、画像生成装置100で生成された画像の受信が可能となっている。
【0017】
ディスプレイ21には、制御部23の制御により、通常は、ナビゲーション装置20単体の機能によって、ナビゲーション案内用の車両の周辺の地図画像が表示される。地図画像は、ナビゲーション装置20が備えるハードディスクなどに予め記憶されている。また、ナビゲーション装置20が備えるGPS装置によって車両の位置(緯度、経度)が取得され、この車両の位置に基づいて、車両の周辺の地図画像がディスプレイ21に表示される。表示する地図画像の縮尺はユーザの操作部22の操作に応じて変更可能である。
【0018】
一方で、画像表示システム120の動作モードを変更した場合は、画像生成装置100で生成された車両の周囲の様子を示す周辺画像が、ディスプレイ21に表示される。これにより、ナビゲーション装置20は、画像生成装置100で生成された周辺画像を受信して表示する表示装置としても機能する。
【0019】
画像生成装置100は、画像を生成する機能を有するECU(Electronic Control Unit)である本体部10と、車両の周囲を撮影する撮影部5とを備えている。本体部10は、車両の所定の位置に配置され、撮影部5で車両の周囲を撮影して得られる撮影画像に基づいてディスプレイ21に表示するための周辺画像を生成する。
【0020】
撮影部5は、本体部10に電気的に接続され、本体部10からの信号に基づいて動作する。撮影部5は、車載カメラであるフロントカメラ51、サイドカメラ52、及び、バックカメラ53を備えている。各車載カメラ51〜53は、レンズと撮像素子とを備えており電子的に画像を取得する。
【0021】
これらの複数の車載カメラ51〜53は、車両の異なる位置にそれぞれ配置される。図2は、車載カメラ51〜53が車両9に配置される位置を示す図である。
【0022】
図2に示すように、フロントカメラ51は、車両9の前端にあるナンバープレート取付位置の近傍に設けられ、その光軸51aは車両9の直進方向に向けられている。バックカメラ53は、車両9の後端にあるナンバープレート取付位置の近傍に設けられ、その光軸53aは車両9の直進方向の逆方向に向けられている。これらフロントカメラ51やバックカメラ53の取り付け位置は、左右中央であることが望ましいが、左右中央から左右方向に多少ずれた位置であってもよい。また、サイドカメラ52は左右のサイドミラー93にそれぞれ設けられ、その光軸52aは車両9の左右方向(直進方向に直交する方向)に沿って車両9の外側に向けられている。
【0023】
これらの車載カメラ51〜53のレンズとしては魚眼レンズなどが採用されており、車載カメラ51〜53は180度以上の画角θを有している。このため、車載カメラは、それぞれの光軸を中心として、斜め下方や斜め上方の範囲の視野も撮影画像に移すことができる。撮影部5は、4つの車載カメラ51〜53を利用することで車両9の全周囲の撮影が可能となっている。
【0024】
図1に戻り、画像生成装置100の本体部10は、装置全体を制御する制御部1と、撮影部5の4つの車載カメラ51〜53それぞれの撮影画像を入力する入力端子49と、表示用の周辺画像を生成する画像生成部3と、ナビゲーション装置20との間で通信を行うナビ通信部42を主に備えている。
【0025】
ナビゲーション装置20の操作部22やディスプレイ21によって受け付けられたユーザからの各種の指示は、制御信号としてナビ通信部42によって受け付けられて制御部1に入力される。また、画像生成装置100は、表示内容を切り替える指示をユーザから受け付ける要求手段としての切替スイッチ43を備えている。この切替スイッチ43からもユーザの指示を示す信号が制御部1に入力される。これにより、画像生成装置100は、ナビゲーション装置20に対するユーザの操作、及び、切替スイッチ43に対するユーザの操作の双方に応答した動作が可能となっている。切替スイッチ43は、ユーザが操作しやすいように、本体部10とは別に車両の適位置に配置される。
【0026】
画像生成部3は、各種の画像処理が可能なハードウェア回路であり、入力端子49を介して撮影部5から入力される撮影画像を処理し、ディスプレイ21に表示するための周辺画像を生成する。画像生成部3は、画像結合部30、メモリ31、画像調整部32、合成画像生成部34、画像配置部35、画像切替部36、ガイド線付加部37及びガイド線処理部を主な構成要素として備えている。
【0027】
画像結合部30は、撮影部5で取得された撮影画像を1枚の結合画像に結合する。図3の(A)及び図3の(B)は、画像結合部30によって生成される結合画像Pcnの説明図である。撮影部5のフロントカメラ51、サイドカメラ52及びバックカメラ53で同時に撮影が行われると、車両9の前方、左側方、右側方及び後方をそれぞれ示す4つの撮影画像P1〜P4が取得される。画像結合部30は、これら4枚の撮影画像P1〜P4を結合することによって、図3の(B)に示すような結合画像Pcnを生成する。画像結合部30によって生成された結合画像Pcnは、メモリ31に格納される。
【0028】
画像調整部32は、画像結合部30にて生成された結合画像Pcnを表示に利用するための調整を行うものである。具体的には、画像調整部32は、結合画像Pcnに含まれる撮影画像P1〜P4に対して、歪み補正、拡大縮小、及び、切り出しなどの画像処理を行う。画像調整部32は、画像選択部33を備える。画像選択部33は、結合画像Pcnに含まれる撮影画像P1〜P4の切り出し処理の際に、切り出し範囲、すなわちディスプレイ21への表示範囲を選択する。
【0029】
合成画像生成部34は、結合画像Pcnに基づいて、車両の周囲の任意の仮想視点からみた車両の周囲の領域を示す合成画像を生成する。合成画像生成部34が合成画像を生成する手法については後述する。
【0030】
画像調整部32により表示用に調整された撮影画像、及び合成画像生成部34により生成された合成画像は、ナビ通信部42によってナビゲーション装置20に出力される。その際に、画像配置部35は、以下に説明する画像表示システム120の動作モードに応じて、画面上の所定の表示位置にこれらの画像を配置した表示画像を生成し、ナビゲーション装置20へ出力する。これにより、被写体像として車両の周囲の少なくとも一部の領域を含む周辺画像がナビゲーション装置20のディスプレイ21に表示されることになる。
【0031】
本明細書において、「周辺画像」とは、車両の周囲の少なくとも一部の領域を示す画像を意味し、表示用に調整された撮影画像、及び、合成画像の双方を含む概念である。表示用に調整された撮影画像は、取得された車載カメラ51〜53のレンズの位置を視点とし、その視点からみた周辺画像となる。また、合成画像は、車両の周囲の任意の位置に設定された仮想視点からみた周辺画像となる。
【0032】
画像切替部36は、後述するように、切替スイッチ43からのユーザ要求に応じて、車両の変速装置のシフトレバーのシフト位置が後退位置にあるときに合成画像及び撮影画像P4を含む第1の画像をディスプレイ21の表示画面に表示し、シフト位置が後退位置から前進位置に切り替わると、ディスプレイ21の表示画面の表示を、第1の画像から、合成画像及び撮影画像P1を含む第2の画像に切り替える(「後退前進切替時の画像切替」)。また、画像切替部36は、後述するように、シフト位置が前進位置にある状態で第2の画像を表示する時間が所定の時間に到達すると、ディスプレイ21の表示画面の表示を、第2の画像から、合成画像及び撮影画像P1,P4以外の画像を含む地図データ等の第3の画像に切り替える。
【0033】
ガイド線付加部37は、後述するように、画像に各種ガイド線を付加する。ガイド線は、車両端が通過する軌跡を示す予想進路線、車両後端を示す距離目安線、車両後端に垂直後退した場合の進路を示す車幅平行線、ステアリングを左右に最大にきった場合の車両の予測軌跡を示す駐車ガイド線等とすることができる。ガイド線処理部38は、ガイド線付加部37が画像に付加したガイド線を消去し、かつ、画像をディスプレイ21の表示画面に表示する際にガイド線付加部37がガイド線を画像に付加するのを禁止する。
【0034】
制御部1は、CPU、RAM及びROMなどを備えたコンピュータであり、所定のプログラムに従ってCPUが演算処理を行うことで各種の制御機能が実現される。図中に示す、画像制御部11、表示制御部12、シフト位置信号受信部13、計測部14、ユーザ要求信号受信部15、領域選択部16、優先度設定部17、検知信号受信部18及び状態信号受信部19は、このようにして実現される制御部1の機能のうちの一部を示している。
【0035】
画像制御部11は、画像生成部3によって実行される画像処理に係る制御を行う。例えば、画像制御部11は、合成画像生成部34が生成する合成画像の生成に必要な各種パラメータなどを指示する。
【0036】
表示制御部12は、ナビゲーション装置20のディスプレイ21に表示する表示内容に係る制御を行う。例えば、画像表示システム120の動作モードの変更に応じて、ディスプレイ21の表示内容を切り替える。
【0037】
シフト位置信号受信部13は、後述するシフト位置信号を受信することによって、シフトレバーのシフト位置に応じた画像をディスプレイ21の表示画面に表示するよう画像生成部3に指示する。
【0038】
計測部14は、シフト位置が前進位置にある状態で上記第2の画像を表示する時間を計測する。ユーザ要求信号受信部15は、上記後退前進切替時の画像切替の要求、シフト位置が前進位置にある状態で上記第2の画像を表示する時間の延長の要求等の各種ユーザ要求信号を切替スイッチ43から受信する。
【0039】
領域選択部16は、車両の周囲に設定される複数の周辺領域のうちから、ユーザに示すべき周辺領域を選択する。優先度設定部17は、ユーザに示すべき周辺領域が複数ある場合に、それらの優先度を設定する。検知信号受信部18は、後述する検知信号を受信することによって、障害物が所定の範囲内(車両の周囲)にあるか否か検知する。状態信号受信部19は、後述する停止信号を受信することによって、車両の走行状態に応じた画像をディスプレイ21の表示画面に表示するよう画像生成部3に指示する。
【0040】
画像生成装置100の本体部10は、不揮発性メモリ40、カード読取部44、及び、信号入力部41をさらに備えており、これらは制御部1に接続されている。
【0041】
不揮発性メモリ40は、電源オフ時においても記憶内容を維持可能なフラッシュメモリなどである。不揮発性メモリ40には、視点データ4aが記憶されている。視点データ4aは、合成画像の仮想視点を定める際に利用される。
【0042】
カード読取部44は、可搬性の記録媒体であるメモリカードMCの読み取りを行う。カード読取部44は、メモリカードMCの着脱が可能なカードスロットを備えており、そのカードスロットに装着されたメモリカードMCに記録されたデータを読み取る。カード読取部44で読み取られたデータは、制御部1に入力される。メモリカードMCは、種々のデータを記憶可能なフラッシュメモリなどであり、画像生成装置100はメモリカードMCに記憶された種々のデータを利用できる。例えば、メモリカードMCにプログラムを記憶させ、これを読み出すことで、制御部1の機能を実現するプログラム(ファームウェア)を更新することが可能である。
【0043】
また、信号入力部41は、車両に設けられた各種装置からの信号を入力する。この信号入力部41を介して、画像表示システム120の外部からの信号が制御部1に入力される。本実施の形態では、ソナーシステム7a、シフトセンサ7b、舵角センサ7c及び車速センサ7dからの信号が信号入力部41を介して制御部1に入力される。
【0044】
障害物検知手段としてのソナーシステム7からは、後述するように、障害物の位置及び車両と障害物との間の距離を含む検出結果が入力される。シフト位置検出手段としてのシフトセンサ71からは、車両の変速装置のシフトレバーの操作の位置、すなわち、”P(駐車)”,”D(前進)”,”N(中立)”,”R(後退)”などのシフトポジションを示すシフト位置信号が入力される。舵角センサ72からは、ドライバによるステアリングホイールの操作角を示す操作角信号が入力される。車両状態検出手段としての車速センサ73からは、車両の停止状態又は移動状態を検出する、車速パルスに基づく状態信号が入力される。
【0045】
<1−2.ソナーシステム>
図4は、ソナーシステム7aの構成を主に示す図である。図4に示すように、ソナーシステム7は、システム全体を統括するソナー制御部70と、複数のクリアランスソナー72と、車内に警告音を発するブザー71と、を備える。
【0046】
クリアランスソナー72は、超音波を発信し、その超音波が障害物で反射した反射波を受信することによって車両の周囲に存在する障害物を検出する。また、クリアランスソナー72は、超音波を発信してから戻ってくるまでの時間に基づいて車両と障害物との間の距離を測定することができる。
【0047】
各クリアランスソナー72の検出結果は、ソナー制御部70に入力され、車両と障害物との間の距離に応じてブザー71から警告音が出力される。これにより、ユーザは、車両の周囲に障害物が存在するか否か把握することができる。
【0048】
図5は、複数のクリアランスソナー72が車両9に配置される位置を示す図である。複数のクリアランスソナー72は、車両9の前方の左右端部及び車両9の後方の左右端部にそれぞれ設けられている。
【0049】
各クリアランスソナー72は、車両9の周辺の一部の周辺領域A1〜A4に向けて超音波を発信する。具体的には、車両9の前方の左端部に設けられるクリアランスソナー72は、車両9の前方左側に設定される周辺領域(「前方左側領域」)A1に向けて超音波を発信する。また、車両9の前方の右端部に設けられるクリアランスソナー72は、車両9の前方右側に設定される周辺領域(「前方右側領域」)A2に向けて超音波を発信する。また、車両9の後方の左端部に設けられるクリアランスソナー72は、車両9の後方左側に設定される周辺領域(「後方左側領域」)A3に向けて超音波を発信する。さらに、車両9の後方の右端部に設けられるクリアランスソナー72は、車両9の後方右側に設定される周辺領域(「後方右側領域」)A4に向けて超音波を発信する。
【0050】
これら4つの周辺領域A1〜A4は、車両9に対して相対的に固定されて予め設定される。このようなクリアランスソナー72の配置により、ソナーシステム7では、4つの周辺領域A1〜A4に存在する障害物を検出することができる。ソナーシステム7は、障害物を検出したクリアランスソナー72の位置に基づいて、検出した障害物の位置が4つの周辺領域A1〜A4のいずれであるかを把握することができる。さらに、ソナーシステム7は、車両と障害物との間の距離を測定することができる。
【0051】
このような障害物の位置及び車両と障害物との間の距離を含むソナーシステム7の検出結果は、図4に示すように、ソナー制御部70から画像生成装置100の制御部1に信号入力部41を介して入力される。そして、このソナーシステム7の検出結果は、制御部1の検知信号受信部15等で利用される。
【0052】
<1−3.画像合成処理>
次に、画像生成部3の合成画像生成部34が、撮影部5で得られた複数の撮影画像P1〜P4に基づいて車両9及び車両9の周辺を任意の仮想視点からみた様子を示す合成画像を生成する手法について説明する。図6は、合成画像を生成する手法を説明するための図である。
【0053】
上述の通り、撮影部5のフロントカメラ51、サイドカメラ52及びバックカメラ53で同時に撮影が行われると、車両9の前方、左側方、右側方及び後方をそれぞれ示す4つの撮影画像P1〜P4が取得される。撮影部5で取得される4つの撮影画像P1〜P4を結合した結合画像Pcnには、撮影時点の車両9の全周囲を示す情報が含まれている。
【0054】
次に、結合画像Pcnの各画素が、仮想的な三次元空間における立体曲面TSに投影される。立体曲面TSは、例えば略半球状(お椀形状)をしており、その中心部分(お椀の底部分)が車両9が存在する位置として定められている。結合画像Pcnの各画素の位置とこの立体曲面TSの各画素の位置とは予め対応関係が定められている。このため、立体曲面TSの各画素の値は、この対応関係と結合画像Pcnに含まれる各画素の値とに基づいて決定できる。
【0055】
結合画像Pcnの各画素の位置と立体曲面TSの各画素の位置との対応関係は、車両9における4つの車載カメラ51〜53の配置(相互間距離、地上高さ、光軸角度等)に依存する。この対応関係を示すテーブルデータは、不揮発性メモリ40に予め記憶されている。
【0056】
また、不揮発性メモリ40に予め記憶された車体の形状やサイズを示すデータが利用され、車両9の三次元形状を示すポリゴンのモデルが仮想的に構成される。構成された車両9のモデルは、立体曲面TSが設定される三次元空間において、車両9の位置と定められた略半球状の中心部分に配置される。
【0057】
さらに、立体曲面TSが存在する三次元空間に対して、制御部1により仮想視点VPが設定される。仮想視点VPは、視点位置と視野方向とで規定され、この三次元空間における車両9の近傍に相当する任意の視点位置に任意の視野方向に向けて設定される。
【0058】
そして、設定された仮想視点VPに応じて、立体曲面TSにおける必要な領域が画像として切り出される。仮想視点VPと、立体曲面TSにおける必要な領域との関係は予め定められており、テーブルデータとして不揮発性メモリ40等に予め記憶されている。一方で、設定された仮想視点VPに応じてポリゴンのモデルに関してレンダリングがなされ、その結果となる二次元の車両の像が、切り出された画像に対して重畳される。これにより、車両9及びその車両9の周囲を任意の仮想視点VPからみた様子を示す合成画像が生成されることになる。
【0059】
例えば、視点位置が車両9の位置の略中央の直上で、視野方向が直下方向とした仮想視点VPaを設定した場合は、車両9の略直上から車両9を見下ろすように、車両9及び車両9の周囲の領域を示す合成画像CPaが生成される。また、図中に示すように、視点位置が車両9の位置の左後方で、視野方向が車両9における略前方方向とした仮想視点VPbを設定した場合は、車両9の左後方からその周辺全体を見渡すように、車両9及び車両9の周囲の領域を示す合成画像CPbが生成される。
【0060】
なお、実際に合成画像を生成する場合においては、立体曲面TSの全ての画素の値を決定する必要はなく、設定された仮想視点VPに対応して必要となる領域の画素の値のみを撮影画像P1〜P4に基づいて決定することで、処理速度を向上できる。画像表示システム120では、このような合成画像生成部34の機能を利用することで、車両9の周囲の任意の視点からみた合成画像を生成して、ディスプレイ21に表示する。
【0061】
<1−4.動作モード>
次に、画像表示システム120の動作モードについて説明する。図7は、画像表示システム120の動作モードの遷移を示す図である。画像表示システム120は、ナビモードM0、フロントモードM1、サイドモードM2、及び、バックモードM3の3つの動作モードを有している。これらの動作モードは、ドライバの車両9への操作や車両9の走行状態に応じて制御部1の制御により切り替えられるようになっている。
【0062】
ナビモードM0は、ナビゲーション装置20の機能により、ナビゲーション案内を行う動作モードである。ナビモードM0では、画像生成装置100の機能が利用されず、ナビゲーション装置20単体の機能でディスプレイ21に各種の表示がなされる。具体的には、ディスプレイ21には、車両9の周辺の地図画像NPが主に表示される。
【0063】
これに対し、フロントモードM1、サイドモードM2及びバックモードM3は、画像生成装置100の機能を利用して、周辺画像をディスプレイ21に表示して、車両の周囲の状況をリアルタイムでユーザに示す動作モードである。
【0064】
フロントモードM1は、車両9の前方を表示する動作モードであり、見通しの悪い交差点への進入時などに利用される。ディスプレイ21の第2表示位置L2には、フロントカメラ51で取得されて表示用に調整した撮影画像(以下、「フロント画像」という。)SP1が表示される。このフロント画像SP1は、車両9の前方の視点(フロントカメラ51のレンズ位置)からみた周辺画像である。フロントモードM1では、表示中の周辺画像(すなわち、フロント画像)SP1の視点が車両9の前方であることを示すアイコンC1が表示される。
【0065】
また、第1表示位置L1には、合成画像生成部34により生成された、車両9の略直上から車両9を見下ろすように車両9とその周辺の領域を示す合成画像CPaが表示される。
【0066】
サイドモードM2は、車両9の側方を表示する動作モードであり、幅寄せを行う場合などに利用される。ディスプレイ21の第3表示位置L3及び第4表示位置L4には、サイドカメラ52で取得されて表示用に調整した撮影画像(以下、「サイド画像」という。)SP2が表示される。このサイド画像SP2は、車両9の側方の視点(サイドカメラ52のレンズ位置)からみた周辺画像である。サイドモードM2では、表示中の周辺画像(すなわち、サイド画像)SP2の視点が車両9の側方であることを示すアイコンC2が表示される。
【0067】
また、バックモードM3は、車両9の後方を表示する動作モードであり、後退時に利用される。ディスプレイ21の第2表示位置L2には、バックカメラ53で取得されて表示用に調整した撮影画像(以下、「バック画像」という。)SP3が表示される。このバック画像SP3は、車両9の後方の視点(バックカメラ53のレンズ位置)からみた周辺画像である。バックモードM3では、表示中の周辺画像(すなわち、バック画像)SP3の視点が車両9の後方であることを示すアイコンC3が表示される。
【0068】
また、第1表示位置L1には、合成画像生成部34により生成された、車両9の略直上から車両9を見下ろすように車両9とその周囲の領域を示す合成画像CPaが表示される。
【0069】
ナビモードM0において、ナビゲーション装置20の操作部22に所定の操作がなされると、フロントモードM1及びサイドモードM2のうちの最後に有効化された動作モード(いわゆる、ラストモード)に切り替わる。フロントモードM1とサイドモードM2とは、切替スイッチ43を押下するごとに切り替えられる。また、フロントモードM1あるいはサイドモードM2において、ナビゲーション装置20の操作部22に所定の操作がなされると、ナビモードM0に戻る。
【0070】
また、バックモードM3以外の動作モードにおいて、シフトセンサ71から入力されるシフトポジションが”R(後退)”となったときは、バックモードM3に切り替えられる。すなわち、シフトポジションが”R(後退)”の場合は、車両9は後退する状態であるため、車両9の後方を主に示すバックモードM3に切り替えられる。また、バックモードM3の場合に、シフトポジションが”R(後退)”以外となったときは、バックモードM3に切り替えられる直前の動作モードに戻ることになる。
【0071】
このように画像表示システム120は、複数の動作モードを切り替えることで、複数の視点からみた周辺画像を切り替えてディスプレイ21に表示可能となっている。なお、サイドミラーが格納されている場合には、正常なサイド画像SP2を撮影することができない。したがって、サイドミラー格納時には、フロントモードM1やバックモードM3からサイドモードM2への切り換えが禁止される。
【0072】
なお、フロントモードM1における合成画像CPaには、予想進路線S1が付加され、フロントモードM1におけるフロント画像SP1には、予想進路線S1,S2が付加され、バックモードM3における合成画像CPaには、予想進路線S3,S4及び距離目安線Mが付加され、バックモードM3におけるバック画像SP3には、予想進路線S4、距離目安線M及び車幅平行線Hが付加されている。
【0073】
<1−5.画像切替処理>
次に、画像切替処理を行うときの画像表示システム120の処理について説明する。以後の説明における処理は、切替スイッチ43により、上記後退前進切替時の画像切替の要求に関するユーザ要求信号を受信している場合について行われる。
【0074】
図8は、画像切替の一例の説明図である。車両が所定速度以下(駐車を行うような低速度)でシフトポジションが「R」になると、図8に示すように、ディスプレイ21の表示画面に合成画像CPa及びバック画像SP3を含む後退動作を支援するのに適した画像が表示される。この状態において、シフトポジションが「R」から「D」に切り替わると、合成画像CPa及びフロント画像SP1を含む画像に表示が切り替わる。その後、シフトポジションが「D」から「R」に切り替わると、合成画像CPa及びバック画像SP3を含む画像に表示が切り替わる。
【0075】
上述のようなシフトポジションが「D」のときにディスプレイ21の表示画面に合成画像CPa及びフロント画像SP1を含む画像が表示されている状態で、計測部14が計測したその状態の継続時間が所定の時間を経過すると、ディスプレイ21の表示画面は、地図画像NPに切り替わる。なお、合成画像CPa、フロント画像SP1及びバック画像SP3以外の画像を含む他の画像(第3の画像)に切り替えてもよい。
【0076】
また、切替スイッチ43により、合成画像CPa及びフロント画像SP1を含む画像の表示時間の延長要求に関するユーザ要求信号が送信された場合は、合成画像CPa及びフロント画像SP1を含む画像の表示時間を所定の延長時間だけ延長し、所定の延長時間が経過した後に、ディスプレイ21の表示画面を地図画像NPに切り替える。尚、所定の延長時間内にシフトポジションが「D」から「R」に切り替わると、合成画像CPa及びバック画像SP3を含む画像に表示が切り替わり、同じ処理が繰り返される。また、この場合の合成画像CPa及びフロント画像SP1を含む画像の表示時間は、上記延長時間を加えた時間長とすれば、ユーザの延長操作の意志を反映させたものになる。
【0077】
また、ソナーシステム7aにより障害物を検知した場合、合成画像CPa及びフロント画像SP1を含む画像の表示時間を所定の延長時間だけ延長し、所定の延長時間が経過した後に、ディスプレイ21の表示画面を地図画像NPに切り替える。尚、この場合、ソナーによる障害物検知が解除されてから所定時間経過した時点まで延長すれば、障害物による運転への影響を考えた表示とすることができる。また、所定の延長時間内にシフトポジションが「D」から「R」に切り替わると、合成画像CPa及びバック画像SP3を含む画像に表示が切り替わり、同じ処理が繰り返される。
【0078】
<1−6.ガイド線の付加及び消去処理>
次に、ガイド線を付加し又は消去するときの画像表示システム120の処理について説明する。図9は、ガイド線の付加及び消去の一例の説明図である。車両が停止した状態において、切替スイッチ43からの切替信号により、バックモードM3におけるディスプレイ21の表示画面のバック画像SP3をフロント画像SP1に切り替わると、ガイド線処理部38は、合成画像CPaから予想進路線S3,S4及び距離目安線Mを消去し、ガイド線付加部37がフロント画像SP1にガイド線を付加するのを禁止する。
【0079】
それに対し、車両が停止した状態において、切替スイッチ43からの切替信号により、バックモードM3におけるディスプレイ21の表示画面のフロント画像SP1をバック画像SP3に切り替わると、ガイド線付加部37は、合成画像CPaに予想進路線S3,S4及び距離目安線Mを付加し、バック画像SP3に予想進路線S4、距離目安線M及び車幅平行線Hを付加する。
【0080】
また、バックモードM3におけるディスプレイ21の表示画面にフロント画像SP1を表示した状態で車両が停止状態から移動状態になると、ガイド線付加部37は、合成画像CPaに予想進路線S3,S4及び距離目安線Mを付加する。
【0081】
それに対し、バックモードM3におけるディスプレイ21の表示画面にフロント画像SP1を表示した状態で車両が移動状態から停止状態になると、ガイド線消去又は禁止部37は、合成画像CPaから予想進路線S3,S4及び距離目安線Mを消去する。
【0082】
続いて、図10を参照して、後退前進切替時の画像遷移処理について説明する。なお、図10を参照して説明する処理は、車両が所定速度以下(駐車を行うような低速度)でシフトポジションが「R」になると実行される。
【0083】
オペレーションAAにおいて、表示制御部12は、後に説明する合成画像CPa及びフロント画像SP1を含む画像の表示時間Tを初期値T0に設定する(初期化)。オペレーションABにおいて、画像配置部35は、合成画像CPa及びバック画像SP3を選択し、ナビゲーション装置20へ出力する表示画像上に配置する。表示画像は、画像生成装置100によってナビゲーション装置20へ出力される。ナビゲーション装置20は、画像生成装置100から出力された表示画像をディスプレイ21へ表示する。
【0084】
オペレーションACにおいて、シフト位置信号受信部13は、シフトポジションが「R」から「R」以外(例えば、「D」)に切り替わったか否か判断する。シフトポジションが「R」から「R」以外(例えば、「D」)に切り替わった場合、オペレーションADにおいて、表示制御部12は、計測部14の計測値t(自走式タイマで常時カウントアップされる)をゼロにリセットした後に計測部14による合成画像CPa及びフロント画像SP1を含む画像を表示している時間(計測値t)の計測を開始し、それに対し、シフトポジションが「R」から「R」以外(例えば、「D」)に切り替わらない場合、オペレーションABに戻る。
【0085】
オペレーションADの後、オペレーションAEにおいて、画像配置部35は、合成画像CPa及びフロント画像SP1を選択し、ナビゲーション装置20へ出力する表示画像上に配置する。表示画像は、画像生成装置100によってナビゲーション装置20へ出力される。ナビゲーション装置20は、画像生成装置100から出力された表示画像をディスプレイ21へ表示する。
【0086】
オペレーションAFにおいて、シフト位置信号受信部13は、シフトポジションが「R」以外(例えば、「D」)から「R」に切り替わったか否か判断する。シフトポジションが「R」以外(例えば、「D」)から「R」に切り替わらなかった場合、オペレーションAGにおいて、オペレーションAGにおいて、表示制御部12は、合成画像CPa及びフロント画像SP1を含む画像の表示時間Tを所定の延長時間ΔTだけ延長する延長操作が切替スイッチ43等によって行われたか否か判断し、それに対し、シフトポジションが「R」以外(例えば、「D」)から「R」に切り替わった場合、オペレーションABに戻る。
【0087】
オペレーションAGで延長操作があった場合、オペレーションAHにおいて、表示制御部12は、表示時間Tに延長時間ΔTを加算し、オペレーションAIにおいて、探知信号受信部18は、ソナーシステム7aにより障害物を検知したか否か判断する。なお、オペレーションAGで延長操作がなかった場合、そのままオペレーションAIに進む。
【0088】
オペレーションAIで障害物を検知した場合、オペレーションAJにおいて、表示制御部12は計測値tをゼロにリセットし、オペレーションAEに戻り、それに対し、オペレーションAIで障害物を検知しない場合、オペレーションAKにおいて、表示制御部12は、計測値tが表示時間Tを経過したか否か判断する。計測値tが表示時間Tを経過した場合、画像切替部36は、ディスプレイ21の表示を地図画像NPに切り替え、それに対し、計測値tが表示時間Tを経過していない場合、オペレーションAEに戻る。
【0089】
<2.第2の実施の形態>
<2−1.システム構成>
続いて第2の実施の形態について説明する。第2の実施の形態では、アクセサリー(ACC)スイッチがオンになり、オープニング画面を表示した後に切替スイッチ43からのユーザ要求に応じて、フロント画像SP1、左右のサイド画像SP2及びバック画像SP3を取得してから合成画像CPaを形成するまでの間に、車両のサイドミラーで確認しにくいために運転者の死角となりやすい左側のサイド画像SP2をフロント画像SP1とともにディスプレイ21の表示画面に表示し、合成画像CPaが形成された後に合成画像CPa及びフロント画像SP1をディスプレイ21の表示画面に表示する。
【0090】
ACCスイッチをオンにし、フロント画像SP1、サイド画像SP2及びバック画像SP3を取得してから合成画像CPaの生成が完了するまでの間にオープニング画像をディスプレイ21の表示画面に表示した場合、この間に車両の周辺を確認するためのフロント画像SP1、サイド画像SP2、バック画像SP3及び合成画像CPaのいずれも表示画面に表示することができないので、画像を用いて車両の周辺を確認することができない。
【0091】
本実施の形態によれば、フロント画像SP1、サイド画像SP2及びバック画像SP3を取得してから合成画像CPaの生成が完了するまでの間に、車両のサイドミラーで確認しにくいために運転者の死角となりやすい左側のサイド画像SP2をフロント画像SP1とともにディスプレイ21の表示画面に表示しているので、左側のサイド画像SP2及びフロント画像SP1を用いて車両の周辺、特に、運転者の死角となりやすい車両のを確認することができる。
【0092】
図11は、第2の実施の形態の画像表示システム120の構成例を示す図である。図1に示す構成要素と同一の構成要素については同一の参照符号を付する。同一の参照符号が付された構成要素の動作は特に説明しない限り同じである。また、図11に示す構成要素やその機能を他の実施例が備えていてもよい。
【0093】
ACCスイッチ45は、車両に備えられたエンジン始動用のキーシリンダーと電気的に一体に構成されている。また、ナビゲーション装置20が備えるハードディスクなどには、オープニング画像が予め記憶されている。
【0094】
<2−2.画像配置処理>
次に、左側のサイド画像SP2及びフロント画像SP1を配置するときの画像表示システム120の処理について説明する。図12は、画像配置処理の一例の説明図であり、図13は、画像配置処理のタイムチャートである。ACCスイッチ45がオンになってから時間t1が経過すると、ディスプレイ21の表示画面にはオープニング画面OPが表示される。
【0095】
時間t2(>t1)になると、フロント画像SP1、サイド画像SP2及びバック画像SP3が取得され、合成画像CPaの生成を開始するとともに、左側のサイド画像SP2及びフロント画像SP1をディスプレイ21の表示画面に表示する。時間t3(>t2)になると、画像表示システム120が起動し、時間t4(>t3)になると、合成画像CPaの生成が終了する。したがって、左側のサイド画像SP2及びフロント画像SP1が時間t4−t2だけ表示され、画像表示システム120を起動してから合成画像CPaを表示するまでのマージンΔはt4−t3となる。
【0096】
続いて、図14を参照して、画像配置における画像表示システム120の処理を説明する。なお、他の実施態様においては、下記のオペレーションBA〜BHの各オペレーションはステップであってもよい。
【0097】
オペレーションBAにおいて、車載カメラ51〜53は、それぞれ撮影画像P1〜P4を撮影する。オペレーションBBにおいて、画像結合部30は、これらの画像P1〜P4を結合した結合画像Pcnを生成し、メモリ31に格納する。オペレーションBCにおいて、合成画像生成部34は、結合画像Pcnに基づいて合成画像CPaの生成を開始する。
【0098】
オペレーションBDにおいて、画像配置部35は、現在の画像表示システム120の動作モードに従って、左側のサイド画像SP2及びフロント画像SP3を選択し、ナビゲーション装置20へ出力する表示画像上に配置する。表示画像は、画像生成装置100によってナビゲーション装置20へ出力される。オペレーションBEにおいて、ナビゲーション装置20は、画像生成装置100から出力された表示画像をディスプレイ21へ表示する。
【0099】
オペレーションBFにおいて、合成画像CPaの生成が終了したか否か判断する。合成画像CPaの生成が終了した場合、オペレーションBGにおいて、画像配置部35は、現在の画像表示システム120の動作モードに従って、合成画像CPa及びフロント画像SP3を選択し、ナビゲーション装置20へ出力する表示画像上に配置する。表示画像は、画像生成装置100によってナビゲーション装置20へ出力される。オペレーションBHにおいて、ナビゲーション装置20は、画像生成装置100から出力された表示画像をディスプレイ21へ表示する。
【符号の説明】
【0100】
34 合成画像生成部
36 画像切替部
100 画像生成装置
120 画像表示システム
【特許請求の範囲】
【請求項1】
車両に搭載される画像表示システムであって、
車両に配置されたカメラと、
前記カメラで得られる撮影画像に基づいて車両及び車両の周囲を仮想視点から見た様子を示す合成画像を生成する合成画像生成手段と、
車両の変速位置のシフトレバーのシフト位置を検出するシフト位置検出手段と、
前記シフト位置検出手段によって検出されたシフト位置に応じて合成画像を表示する合成画像表示手段と、
シフト位置が変更されてからの時間を計測する計測手段と、
を備え、
前記合成画像表示状態でシフト位置が変更された場合、その際に前記計測手段で計測された計測時間が所定時間に達しないうちに元のシフト位置に戻された場合は、前記合成画像を切り替えずにその表示を維持することを特徴とする画像表示システム。
【請求項2】
前記合成画像表示状態におけるシフト位置の変更は、後退位置からその他の位置への変更である請求項1に記載の画像表示システム。
【請求項3】
シフト位置が前進位置にある状態で前記合成画像を表示する時間の延長要求を行う要求手段を更に備え、
前記画像切替手段は、前記延長要求に応じて前記合成画像を表示する時間を延長する請求項2に記載の画像表示システム。
【請求項4】
障害物が所定の範囲内にあるか否か検知する障害物検知手段を更に備え、
前記表示切替手段は、障害物を検知した場合、前記合成画像を表示する時間を延長する請求項2又は3に記載の画像表示システム。
【請求項5】
撮影画像に基づいて車両及び車両の周囲を仮想視点から見た様子を示す合成画像を生成する合成画像生成手段と、
車両の変速位置のシフトレバーのシフト位置を検出するシフト位置検出手段からのシフトポジション信号を受信するシフト位置信号受信手段と、
前記シフト位置検出手段によって検出されたシフト位置に応じて合成画像を表示する合成画像表示手段と、
シフト位置が変更されてからの時間を計測する計測手段と、
を備え、
合成画像表示状態でシフト位置が変更された場合、その際に前記計測手段で計測された計測時間が所定時間に達しないうちに元のシフト位置に戻された場合は、前記合成画像を切り替えずにその表示を維持することを特徴とする画像生成装置。
【請求項6】
車両に配置されたカメラで得られる撮影画像に基づいて車両及び車両の周囲を仮想視点から見た様子を示す合成画像を生成し、
車両の変速位置のシフトレバーのシフト位置を検出し、
検出されたシフト位置に応じて合成画像を表示し、
シフト位置が変更されてからの時間を計測し、
合成画像表示状態でシフト位置が変更された場合、その際に計測された計測時間が所定時間に達しないうちに元のシフト位置に戻された場合は、前記合成画像を切り替えずにその表示を維持する、
ステップを有することを特徴とする画像表示方法。
【請求項1】
車両に搭載される画像表示システムであって、
車両に配置されたカメラと、
前記カメラで得られる撮影画像に基づいて車両及び車両の周囲を仮想視点から見た様子を示す合成画像を生成する合成画像生成手段と、
車両の変速位置のシフトレバーのシフト位置を検出するシフト位置検出手段と、
前記シフト位置検出手段によって検出されたシフト位置に応じて合成画像を表示する合成画像表示手段と、
シフト位置が変更されてからの時間を計測する計測手段と、
を備え、
前記合成画像表示状態でシフト位置が変更された場合、その際に前記計測手段で計測された計測時間が所定時間に達しないうちに元のシフト位置に戻された場合は、前記合成画像を切り替えずにその表示を維持することを特徴とする画像表示システム。
【請求項2】
前記合成画像表示状態におけるシフト位置の変更は、後退位置からその他の位置への変更である請求項1に記載の画像表示システム。
【請求項3】
シフト位置が前進位置にある状態で前記合成画像を表示する時間の延長要求を行う要求手段を更に備え、
前記画像切替手段は、前記延長要求に応じて前記合成画像を表示する時間を延長する請求項2に記載の画像表示システム。
【請求項4】
障害物が所定の範囲内にあるか否か検知する障害物検知手段を更に備え、
前記表示切替手段は、障害物を検知した場合、前記合成画像を表示する時間を延長する請求項2又は3に記載の画像表示システム。
【請求項5】
撮影画像に基づいて車両及び車両の周囲を仮想視点から見た様子を示す合成画像を生成する合成画像生成手段と、
車両の変速位置のシフトレバーのシフト位置を検出するシフト位置検出手段からのシフトポジション信号を受信するシフト位置信号受信手段と、
前記シフト位置検出手段によって検出されたシフト位置に応じて合成画像を表示する合成画像表示手段と、
シフト位置が変更されてからの時間を計測する計測手段と、
を備え、
合成画像表示状態でシフト位置が変更された場合、その際に前記計測手段で計測された計測時間が所定時間に達しないうちに元のシフト位置に戻された場合は、前記合成画像を切り替えずにその表示を維持することを特徴とする画像生成装置。
【請求項6】
車両に配置されたカメラで得られる撮影画像に基づいて車両及び車両の周囲を仮想視点から見た様子を示す合成画像を生成し、
車両の変速位置のシフトレバーのシフト位置を検出し、
検出されたシフト位置に応じて合成画像を表示し、
シフト位置が変更されてからの時間を計測し、
合成画像表示状態でシフト位置が変更された場合、その際に計測された計測時間が所定時間に達しないうちに元のシフト位置に戻された場合は、前記合成画像を切り替えずにその表示を維持する、
ステップを有することを特徴とする画像表示方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【公開番号】特開2012−217000(P2012−217000A)
【公開日】平成24年11月8日(2012.11.8)
【国際特許分類】
【出願番号】特願2011−80789(P2011−80789)
【出願日】平成23年3月31日(2011.3.31)
【出願人】(000237592)富士通テン株式会社 (3,383)
【出願人】(000003207)トヨタ自動車株式会社 (59,920)
【Fターム(参考)】
【公開日】平成24年11月8日(2012.11.8)
【国際特許分類】
【出願日】平成23年3月31日(2011.3.31)
【出願人】(000237592)富士通テン株式会社 (3,383)
【出願人】(000003207)トヨタ自動車株式会社 (59,920)
【Fターム(参考)】
[ Back to top ]