画像表示システム、画像処理装置、および、画像処理方法
【課題】駐車スペースの車両の進行方向に沿った距離を精度よく測定できる技術を提供する。
【解決手段】車両のユーザの選択により第１基準位置を設定して、車両の特定部位に基づく第２基準位置と第１基準位置との第１距離を導出し、第１距離が駐車に必要な第２距離以上となった場合にユーザへ報知する。これにより、車両の位置と駐車スペースとの位置関係を明確にして駐車スペースの距離を精度よくユーザへ知らせることができる。
【解決手段】車両のユーザの選択により第１基準位置を設定して、車両の特定部位に基づく第２基準位置と第１基準位置との第１距離を導出し、第１距離が駐車に必要な第２距離以上となった場合にユーザへ報知する。これにより、車両の位置と駐車スペースとの位置関係を明確にして駐車スペースの距離を精度よくユーザへ知らせることができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両における画像表示技術に関する。
【背景技術】
【０００２】
従来、車両を駐車する場合にユーザの目測で駐車スペースの広さを判断していた。そして、当該スペースへの駐車を開始した結果、車両の大きさよりも駐車スペースが狭いことにより駐車を断念せざるを得ない場合があった。また、車両の大きさと駐車スペースの広さとが略同一である場合、運転に慣れないユーザが駐車の際に車体を駐車スペースの外の障害物に衝突させてしまう可能性があった。
【０００３】
これに対して、駐車スペースへの駐車の可否を判断する技術が特許文献１に開示されている。この技術では、車両の前方に備えられたカメラにより車両の側方の画像を撮影してモニタに表示する。表示された画像に基づいて駐車スペースの一端を始点位置としてユーザが選択する。そして、始点位置決定後に車両を前進させ、駐車スペースの他端を終点位置としてユーザが選択することで、駐車スペースの車両の進行方向の距離を測定し、測定された距離と車体の長さとを比較して、駐車の可否を判定する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−９１０４６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に開示されている技術では、ユーザが車両の側方からの自車の車両が表示されていない画像に基づいて始点位置および終点位置を選択するため、自車の車両位置と駐車スペースの始点位置および終点位置との位置関係が明確ではない。このため、駐車スペースの始点と終点の位置を正確に設定して、駐車スペースの車両の進行方向に沿った距離を精度よく測定することが困難であった。また、駐車スペース以外に、ユーザが任意の位置からの距離の計測を行いたい場合に計測することができなかった。
【０００６】
本発明は、自車の車両位置と対応させて距離を精度よく測定すること目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、請求項１の発明は、車両に搭載される画像表示システムであって、前記車両に配置されたカメラで得られる撮影画像から、前記車両及び前記車両の周辺領域を俯瞰した俯瞰画像を生成する生成手段と、前記俯瞰画像を表示する表示手段と、前記俯瞰画像の表示手段における表示中にユーザの操作を受け付けて、前記車両の周辺領域における第１基準位置を設定する設定手段と、前記車両の特定部位に基づく第２基準位置と前記第１基準位置との距離である第１距離を導出する導出手段と、前記車両の移動によって変化する前記第１距離に関する情報を前記ユーザに報知する報知手段と、を備える。
【０００８】
また、請求項２の発明は、請求項１に記載の画像表示システムにおいて、前記報知手段は、前記車両の移動により前記第１距離が前記車両の駐車に必要な第２距離以上となった場合に前記ユーザに報知する。
【０００９】
また、請求項３の発明は、請求項１または２に記載の画像表示システムにおいて、前記表示手段は、前記第１基準位置を設定する場合において、前記車両の先端部から前記車両の左右方向に延びる線上のポイントを指標で表示する。
【００１０】
また、請求項４の発明は、請求項１乃至３のいずれかに記載の画像表示システムにおいて、前記導出手段は、前記車両の後端部に基づく位置である第２基準位置と前記第１基準位置との距離である第１距離を導出する。
【００１１】
また、請求項５の発明は、請求項１乃至３のいずれかに記載の画像表示システムにおいて、前記導出手段は、前記車両の先端部に基づく位置である第２基準位置と前記第１基準位置との距離である第１距離を導出する。
【００１２】
また、請求項６の発明は、請求項１乃至５のいずれかに記載の画像表示システムにおいて、前記導出手段は、前記車両の進行に伴い移動する前記第２基準位置が前記第１基準位置と接触した後に前記第１基準位置から離れた場合に前記第１距離の導出を開始する。
【００１３】
また、請求項７の発明は、請求項１乃至６のいずれかに記載の画像表示システムにおいて、前記表示手段は、前記第１距離の導出に必要となるユーザの運転操作情報を前記俯瞰画像と関連付けて表示する
また、請求項８の発明は、車両に搭載された表示装置に表示させる画像を生成する画像処理装置であって、前記車両に配置されたカメラで得られる撮影画像から、前記車両及び前記車両の周辺領域を俯瞰した俯瞰画像を生成する生成手段と、前記俯瞰画像を前記表示装置に出力して表示させる出力手段と、前記俯瞰画像の表示手段における表示中にユーザの操作を受け付けて、前記車両の周辺領域における第１基準位置を設定する設定手段と、前記車両の特定部位に基づく第２基準位置と前記第１基準位置との距離である第１距離を導出する導出手段と、前記車両の移動によって変化する前記第１距離に関する情報を前記ユーザに報知する報知手段と、を備える。
【００１４】
また、請求項９の発明は、車両に搭載される画像表示方法であって、前記車両に配置されたカメラで得られる撮影画像から、前記車両及び前記車両の周辺領域を俯瞰した俯瞰画像を生成する工程と、前記俯瞰画像を表示する工程と、前記俯瞰画像の表示手段における表示中にユーザの操作を受け付けて、前記車両の周辺領域における第１基準位置を設定する工程と、前記車両の特定部位に基づく第２基準位置と前記第１基準位置との距離である第１距離を導出する工程と、前記車両の移動によって変化する前記第１距離に関する情報を前記ユーザに報知する工程と、を備える。
【００１５】
さらに、請求項１０の発明は、車両に搭載される画像表示システムであって、前記車両に配置されたカメラで得られる撮影画像から生成される前記車両及び前記車両の周辺領域を俯瞰した俯瞰画像を表示装置に出力して表示させる出力手段と、前記俯瞰画像に示される前記車両の周辺領域に相対固定される第１基準マークと、前記俯瞰画像に示される前記車両に相対固定される第２基準マークとを、前記俯瞰画像に重畳する重畳手段と、前記車両の移動により、前記第１基準マークと前記第２基準マークとの距離が所定距離以上になると前記ユーザに報知する報知手段と、を備える。
【発明の効果】
【００１６】
請求項１ないし１０の発明によれば車両の移動によって変化する第１距離に関する情報をユーザに報知することで、車両のユーザが任意の位置からの距離の計測を行いたい場合に正確に計測することができる。
【００１７】
また、請求項２の発明によれば、第１距離が車両の駐車に必要な第２距離以上となった場合にユーザに報知することで、車両の位置と駐車スペースとの位置関係を明確にして、駐車スペースの距離を精度よくユーザへ知らせることができる。
【００１８】
また、特に請求項３の発明によれば、表示手段が、第１基準位置を設定する場合において、車両の先端部から車両の左右方向に延びる線上のポイントを指標で表示することで、ユーザは車両から目視で確認できる駐車スペースと表示された俯瞰画像との関係を車両を移動させながら把握できると共に、ユーザが目視で確認した位置を確実に設定できる。
【００１９】
また、特に請求項４の発明によれば、導出手段は、車両の後端部に基づく位置である第２基準位置と第１基準位置との距離である第１距離を導出することで、ユーザは駐車に必要な距離となった車両の位置からすぐに駐車動作を開始できる。
【００２０】
また、特に請求項５の発明によれば、導出手段は、車両の先端部に基づく位置である第２基準位置と前記第１基準位置との距離である第１距離を導出することで、ユーザは第１距離を導出している間に、車両の移動に伴って駐車スペースの状態を目視で確認できる。
【００２１】
また、特に請求項６の発明によれば、導出手段は、車両の進行に伴い移動する第２基準位置が第１基準位置と接触した後に第１基準位置から離れた場合に第１距離の導出を開始することで、ユーザは距離の導出のタイミングを知ることができ、距離の導出開始後のステアリングの不要な操作をなくすことで、正確な距離の導出が可能となる。
【００２２】
また、特に請求項７の発明によれば、表示手段は、第１距離の導出に必要となるユーザの運転操作情報を俯瞰画像と関連付けて表示することで、ユーザは第１距離を導出する場合に必要となる運転操作を合成画像と一緒に確認できる。
【図面の簡単な説明】
【００２３】
【図１】図１は、画像表示システムのブロック図である。
【図２】図２は、車載カメラが車両に配置される位置を示す図である。
【図３】図３は、合成画像を生成する手法を説明するための図である。
【図４】図４は、画像表示システムの動作モードの遷移を示す図である。
【図５】図５は、第１の実施の形態の縦列駐車モードを説明する図である。
【図６】図６は、画像処理装置の処理フローチャートである。
【図７】図７は、第２の実施の形態の縦列駐車モードを説明する図である。
【発明を実施するための形態】
【００２４】
以下、図面を参照しつつ本発明の実施の形態について説明する。
【００２５】
＜第１の実施の形態＞
＜１−１．システム構成＞
図１は、画像表示システム１２０のブロック図である。この画像表示システム１２０は、車両（本実施の形態では、自動車）に搭載されるものであり、車両の周辺を撮影して画像を生成し、その生成した画像を車室内のナビゲーション装置２０などの表示装置に出力する機能を有している。画像表示システム１２０のユーザ（代表的にはドライバ）は、この画像表示システム１２０を利用することにより、当該車両の周辺の様子をほぼリアルタイムに把握できるようになっている。
【００２６】
図１に示すように、画像表示システム１２０は、車両の周辺を示す周辺画像を生成してナビゲーション装置２０などの表示装置に画像情報を出力する画像処理装置１００と、車両の周囲を撮影するカメラを備えている撮影部５とを主に備えている。
【００２７】
ナビゲーション装置２０は、ユーザに対しナビゲーション案内を行うものであり、タッチパネル機能を備えた液晶などのディスプレイ２１と、ユーザが操作を行う操作部２２と、装置全体を制御する制御部２３とを備えている。ディスプレイ２１の画面がユーザから視認可能なように、ナビゲーション装置２０は車両のインストルメントパネルなどに設置される。ユーザからの各種の指示は、操作部２２とタッチパネルとしてのディスプレイ２１とによって受け付けられる。制御部２３は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えたコンピュータであり、所定のプログラムに従ってＣＰＵが演算処理を行うことでナビゲーション機能を含む各種の機能が実現される。
【００２８】
ナビゲーション装置２０は、画像処理装置１００と通信可能に接続され、画像処理装置１００との間で各種の制御信号の送受信や、画像処理装置１００で生成された周辺画像の受信が可能となっている。ディスプレイ２１には、制御部２３の制御により、通常はナビゲーション装置２０単体の機能に基づく画像が表示されるが、所定の条件下で画像処理装置１００で生成された車両の周辺の様子を示す周辺画像や、車両９及び車両９の周辺領域を俯瞰した俯瞰画像が表示される。また、ディスプレイ２１に表示される俯瞰画像は周辺領域をほぼリアルタイムに示すことになる。これにより、ナビゲーション装置２０は、画像処理装置１００で生成された周辺画像を受信して表示する表示装置としても機能する。
【００２９】
画像処理装置１００は、その本体部１０が周辺画像を生成する機能を有するＥＣＵ（Electronic Control Unit）であり、車両の所定の位置に配置される。画像処理装置１００は、車両の周辺を撮影する撮影部５を備えており、この撮影部５で車両の周辺を撮影して得られる撮影画像に基づいて仮想視点からみた合成画像を生成する画像生成装置として機能する。これらの撮影部５が備える複数の車載カメラ５１，５２，５３は、本体部１０とは別の車両の適位置に配置されるが詳細は後述する。
【００３０】
画像処理装置１００の本体部１０は、装置全体を制御する制御部１と、撮影部５で取得された撮影画像を処理して表示用の周辺画像を生成する画像生成部３と、ナビゲーション装置２０との間で通信を行うナビ通信部４２とを主に備えている。
【００３１】
ナビゲーション装置２０の操作部２２やディスプレイ２１によって受け付けられたユーザからの各種の指示は、制御信号としてナビ通信部４２によって受け付けられて制御部１に入力される。これにより、画像処理装置１００は、ナビゲーション装置２０に対するユーザの操作に応答した動作が可能となっている。
【００３２】
また、画像処理装置１００は、駐車支援ボタン２０１を備えている。この駐車支援ボタン２０１がユーザに操作されると、ユーザの指示を示す信号が制御部１に入力されて、後述するフロントモードＭ２（図４に示す。）の画像が表示される。なお、この駐車支援ボタン４５はハードボタンとして画像処理装置１００やナビゲーション装置２０に設けられてもよいし。また、駐車支援ボタン４５は、ナビゲーション装置２０のディスプレイ２１にユーザが指などをディスプレイ２１に接触させて操作するタッチパネルのボタンとして表示されるようにしてもよい。
【００３３】
画像生成部３は、各種の画像処理が可能なハードウェア回路として構成されており、合成画像生成部３１、画像範囲選択部３２、及び、画像情報出力部３３を主な機能として備えている。
【００３４】
合成画像生成部３１は、撮影部５の複数の車載カメラ５１，５２，５３で取得された複数の撮影画像に基づいて、車両の周辺の任意の仮想視点からみた合成画像を生成する。合成画像生成部３１が仮想視点からみた合成画像を生成する手法については後述する。
【００３５】
また、画像情報出力部３３は合成画像生成部３１において生成された合成画像情報をナビゲーション装置２０へ出力する。これにより、車両の周辺を示す周辺画像がナビゲーション装置２０のディスプレイ２１に表示されることになる。
【００３６】
制御部１は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えたコンピュータであり、所定のプログラムに従ってＣＰＵが演算処理を行うことで各種の制御機能が実現される。図中に示す、画像制御部１１、位置設定制御部１２、距離導出制御部１３、及び、報知制御部１４は、このようにして実現される制御部１の機能のうちの一部を示している。
【００３７】
画像制御部１１は、画像生成部３によって実行される画像処理を制御するものである。例えば、画像制御部１１は、合成画像生成部３１が生成する合成画像の生成に必要な各種パラメータなどを指示する。また、画像範囲選択部３２がサイドカメラ５３により撮影した画像の所定範囲を選択するための指示を車種ごとのパラメータの情報に基づいて行う。
【００３８】
位置設定制御部１２は、後述するユーザが車両９を縦列駐車する際に選択される縦列駐車モードにおいて、車両９の先端部に表示される指標ＭＡ（図５に示す。）と他車両またはその他の位置（例えば駐車スペースの領域内の一地点）との位置関係に基づいたユーザの選択により計測開始位置ＤＡ（図５に示す。）を設定する。つまり、指標ＭＡはユーザが選択した地点に固定されて、計測開始位置ＤＡとなる。
【００３９】
また、位置設定制御部１２は、俯瞰画像（例えば図５に示す画像Ｍ４１）に示される車両９の周辺領域に相対固定される計測開始位置ＤＡ（第１基準マーク）と俯瞰画像に示される車両９に相対固定される計測位置ＢＡ（第２基準マーク）とを、俯瞰画像中に重畳する制御を行う。
【００４０】
なお、計測開始位置ＤＡの設定は、ディスプレイ２１のタッチパネルやハードボタンを用いたユーザの操作により行う。
【００４１】
距離導出制御部１３は、後述する車両９の特定部位（例えば、車両９の先端部や車両９の後端部など）に基づく計測位置ＢＡとユーザの選択により設定された計測開始位置ＤＡとの間の距離を導出する。なお、計測位置ＢＡはユーザの計測開始位置ＤＡの設定に伴い車両９の特定部位に基づいてディスプレイ２１に表示され、車両９の移動に伴って車両９の進行方向へ移動する。
【００４２】
報知制御部１４は、車両９の移動により、計測開始位置ＤＡと計測位置ＢＡとの距離が車両９の駐車に必要な距離（例えば、車両の全長の約１．５倍）以上となった場合にユーザへの報知を行う。駐車に必要な距離以上となった報知の例は、ディスプレイ２１に表示されている画像の色や大きさを変えたり、ナビゲーション装置２０から音声を出力などがあげられる。
【００４３】
また、画像処理装置１００の本体部１０は、不揮発性メモリ４０、カード読取部４４、及び、信号入力部４１をさらに備えており、これらは制御部１に接続されている。
【００４４】
不揮発性メモリ４０は、電源オフ時においても記憶内容を維持可能なフラッシュメモリなどで構成されている。不揮発性メモリ４０には、車種別データ４ａが記憶されている。車種別データ４ａは、合成画像生成部３１が合成画像を生成する際に必要となる車両の種別に応じたデータなどである。また、車両を駐車する際に必要な距離などのデータも記録されている。
【００４５】
カード読取部４４は、可搬性の記録媒体であるメモリカードＭＣの読み取りを行う。カード読取部４４は、メモリカードＭＣの着脱が可能なカードスロットを備えており、そのカードスロットに装着されたメモリカードＭＣに記録されたデータを読み取る。カード読取部４４で読み取られたデータは、制御部１に入力される。
【００４６】
メモリカードＭＣは、種々のデータを記憶可能なフラッシュメモリなどで構成されており、画像処理装置１００はメモリカードＭＣに記憶された種々のデータを利用できる。例えば、メモリカードＭＣにプログラムを記憶させ、これを読み出すことで、制御部１の機能を実現するプログラム（ファームウェア）を更新することが可能である。また、メモリカードＭＣに不揮発性メモリ４０に記憶された車種別データ４ａとは異なる種別の車両に応じた車種別データを記憶させ、これを読み出して不揮発性メモリ４０に記憶させることで、画像表示システム１２０を異なる種別の車両に対応させることも可能である。
【００４７】
また、信号入力部４１は、車両に設けられた各種装置からの信号を入力する。この信号入力部４１を介して、画像表示システム１２０の外部からの信号が制御部１に入力される。具体的には、シフトセンサ８１、車速センサ８２、及び、方向指示器８３などから、各種情報を示す信号が制御部１に入力される。
【００４８】
シフトセンサ８１からは、車両９の変速装置のシフトレバーの操作の位置、すなわち、”Ｐ（駐車）”，”Ｄ（前進）”，”Ｎ（中立）”，”Ｒ（後退）”などのシフトポジションが入力される。車速センサ８２からは、その時点の車両９の走行速度（ｋｍ／ｈ）が入力される。
【００４９】
方向指示器８３からは、ウインカースイッチの操作に基づく方向指示、すなわち、車両のドライバが意図する方向指示を示すターン信号が入力される。ウインカースイッチが操作されたときはターン信号が発生し、ターン信号はその操作された方向（左方向あるいは右方向）を示すことになる。ウインカースイッチが中立位置となったときは、ターン信号はオフとなる。
【００５０】
＜１−２．撮影部＞
次に、画像処理装置１００の撮影部５について詳細に説明する。撮影部５は、制御部１に電気的に接続され、制御部１からの信号に基づいて動作する。
【００５１】
撮影部５は、車載カメラであるフロントカメラ５１、バックカメラ５２及びサイドカメラ５３を備えている。これらの車載カメラ５１，５２，５３はそれぞれ、ＣＣＤやＣＭＯＳなどの撮像素子を備えており電子的に画像を取得する。
【００５２】
図２は、車載カメラ５１，５２，５３が車両９に配置される位置を示す図である。なお、以下の説明においては、方向及び向きを示す際に、適宜、図中に示す３次元のＸＹＺ直交座標を用いる。このＸＹＺ軸は車両９に対して相対的に固定される。ここで、Ｘ軸方向は車両９の左右方向に沿い、Ｙ軸方向は車両９の直進方向（前後方向）に沿い、Ｚ軸方向は鉛直方向に沿っている。また、便宜上、＋Ｘ側を車両９の右側、＋Ｙ側を車両９の後側、＋Ｚ側を上側とする。
【００５３】
フロントカメラ５１は、車両９の前端にあるナンバープレート取付位置の近傍に設けられ、その光軸５１ａは車両９の直進方向（平面視でＹ軸方向の−Ｙ側）に向けられている。バックカメラ５２は、車両９の後端にあるナンバープレート取付位置の近傍に設けられ、その光軸５２ａは車両９の直進方向の逆方向（平面視でＹ軸方向の＋Ｙ側）に向けられている。また、サイドカメラ５３は、左右のドアミラー９３にそれぞれ設けられており、その光軸５３ａは車両９の左右方向（平面視でＸ軸方向）に沿って外部に向けられている。なお、フロントカメラ５１やバックカメラ５２の取り付け位置は、左右略中央であることが望ましいが、左右中央から左右方向に多少ずれた位置であってもよい。
【００５４】
これらの車載カメラ５１，５２，５３のレンズとしては魚眼レンズなどが採用されており、車載カメラ５１，５２，５３は１８０度以上の画角αを有している。このため、４つの車載カメラ５１，５２，５３を利用することで、車両９の全周囲の撮影が可能となっている。
【００５５】
＜１−３．画像変換処理＞
次に、画像生成部３の合成画像生成部３１が、撮影部５で得られた複数の撮影画像に基づいて車両９の周辺を任意の仮想視点からみた様子を示す合成画像を生成する手法について説明する。合成画像を生成する際には、不揮発性メモリ４０に予め記憶された車種別データ４ａが利用される。図３は、合成画像を生成する手法を説明するための図である。
【００５６】
撮影部５のフロントカメラ５１、バックカメラ５２及びサイドカメラ５３で同時に撮影が行われると、車両９の前方、後方、左側方、及び、右側方をそれぞれ示す４つの撮影画像Ｐ１〜Ｐ４が取得される。すなわち、撮影部５で取得される４つの撮影画像Ｐ１〜Ｐ４には、撮影時点の車両９の全周囲を示す情報が含まれていることになる。
【００５７】
次に、４つの撮影画像Ｐ１〜Ｐ４の各画素が、仮想的な三次元空間における立体曲面ＳＰに投影される。立体曲面ＳＰは、例えば略半球状（お椀形状）をしており、その中心部分（お椀の底部分）が車両９が存在する位置として定められている。撮影画像Ｐ１〜Ｐ４に含まれる各画素の位置と、この立体曲面ＳＰの各画素の位置とは予め対応関係が定められている。このため、立体曲面ＳＰの各画素の値は、この対応関係と撮影画像Ｐ１〜Ｐ４に含まれる各画素の値とに基づいて決定できる。
【００５８】
撮影画像Ｐ１〜Ｐ４の各画素の位置と立体曲面ＳＰの各画素の位置との対応関係は、車両９における４つの車載カメラ５１，５２，５３の配置（相互間距離、地上高さ、光軸角度等）に依存する。このため、この対応関係を示すテーブルデータが、不揮発性メモリ４０に記憶された車種別データ４ａに含まれている。
【００５９】
また、車種別データ４ａに含まれる車体の形状やサイズを示すポリゴンデータが利用され、車両９の三次元形状を示すポリゴンモデルである車両像を仮想的に備えている。構成された車両像は、立体曲面ＳＰが設定される三次元空間において、車両９の位置と定められた略半球状の中心部分に配置される。
【００６０】
さらに、立体曲面ＳＰが存在する三次元空間に対して、制御部１により仮想視点ＶＰが設定される。仮想視点ＶＰは、視点位置と視野方向とで規定され、この三次元空間における車両９の周辺に相当する任意の視点位置に任意の視野方向に向けて設定される。
【００６１】
そして、設定された仮想視点ＶＰに応じて、立体曲面ＳＰにおける必要な領域が画像として切り出される。仮想視点ＶＰと、立体曲面ＳＰにおける必要な領域との関係は予め定められており、テーブルデータとして不揮発性メモリ４０等に予め記憶されている。一方で、設定された仮想視点ＶＰに応じてポリゴンで構成された車両像に関してレンダリングがなされ、その結果となる二次元の車両像が、切り出された画像に対して重畳される。これにより、車両９及びその車両９の周辺を任意の仮想視点からみた様子を示す合成画像が生成されることになる。
【００６２】
例えば、視点位置が車両９の位置の略中央の直上位置で、視野方向が略直下方向とした仮想視点ＶＰ１を設定した場合は、車両９の略直上から車両９を見下ろすように、車両９（実際には車両像）及び車両９の周辺の様子を示す合成画像ＣＰ１が生成される。また、図中に示すように、視点位置が車両９の位置の左後方で、視野方向が車両９における略前方とした仮想視点ＶＰ２を設定した場合は、車両９の左後方からその周辺全体を見渡すように、車両９（実際には車両像）及び車両９の周辺の様子を示す合成画像ＣＰ２が生成される。
【００６３】
なお、実際に合成画像を生成する場合においては、立体曲面ＳＰの全ての画素の値を決定する必要はなく、設定された仮想視点ＶＰに対応して必要となる領域の画素の値のみを撮影画像Ｐ１〜Ｐ４に基づいて決定することで、処理速度を向上できる。
【００６４】
＜１−４．動作モード＞
次に、画像表示システム１２０の動作モードについて説明する。図４は、画像表示システム１２０の動作モードの遷移を示す図である。画像表示システム１２０は、ナビモードＭ１、フロントモードＭ２、バックモードＭ３、及び、縦列駐車モードＭ４の４つの動作モードを有している。これらの動作モードは、ユーザの操作や車両９の走行状態に応じて制御部１の制御により切り替えられるようになっている。
【００６５】
ナビモードＭ１は、ナビゲーション装置２０の機能により、ナビゲーション案内用の地図画像ＮＰを主にディスプレイ２１に表示する動作モードである。ナビモードＭ１では、画像処理装置１００の機能が利用されず、ナビゲーション装置２０単体の機能で各種の表示がなされる。
【００６６】
フロントモードＭ２、バックモードＭ３、及び、縦列駐車モードＭ４は、画像処理装置１００の機能を利用して、撮影画像ＰＰ、合成画像ＣＰ及びＣＱ０、運転サポート画像ＰＨ０などをディスプレイ２１に表示して、車両９の周辺の状況をほぼリアルタイムでユーザに示す動作モードである。
【００６７】
また、フロントモードＭ２は、前進時に必要となる車両９の前方や側方を主に示す画像を表示する動作モードである。例えば、図中に示すように、車両９の直上の仮想視点からみた車両９及び車両９の周辺の様子を示す合成画像（俯瞰画像）ＣＰ、つまり、仮想的に俯瞰した画像と、フロントカメラ５１での撮影により得られる撮影画像ＰＰとが同時にディスプレイ２１に表示される。この合成画像ＣＰの仮想視点の位置は、車両９の直上に限らず、ユーザの操作に応じて車両９の後方側などへ切り替えられるようになっていてもよい。さらに、フロントモードＭ２は、自車の中心に周囲２〜３ｍの範囲を俯瞰画像として表示したモードである。
【００６８】
また、バックモードＭ３は、後退時に必要となる車両９の後方を主に示す画像を表示する動作モードである。例えば、図中に示すように、車両９の直上の仮想視点からみた車両９及び車両９の周辺の様子を示す合成画像（俯瞰画像）ＣＰと、バックカメラ５２での撮影により得られる撮影画像ＰＰとが同時にディスプレイ２１に表示される。この合成画像ＣＰの仮想視点の位置は、車両９の直上に限らず、ユーザの操作に応じて車両９の前方側などへ切り替えられるようになっていてもよい。
【００６９】
さらに、縦列駐車モードＭ４は、ユーザが車両９を縦列駐車する際にユーザの運転操作をサポートするモードである。例えば、図中に示すように、車両９の直上の仮想視点からみた車両９、車両９の先端部から車両９の左右方向に延びる線上のポイントを表示する指標ＭＡ、及び、車両９の周辺の様子を示す画像が合成画像俯瞰画像）ＣＱ０として表示される。
【００７０】
詳細には縦列駐車モードＭ４は、フロントモードＭ２の縦列駐車ボタン２０２をユーザが操作することにより開始される。そして、縦列駐車モードＭ４では、フロントモードＭ２で表示されていた車両９と車両９の周辺の様子を示す合成画像俯瞰画像）ＣＰに、車両９の先端部から車両９の左右方向に延びる線上のポイントを表示する指標ＭＡが加わり、合成画像ＣＱとして表示される。
【００７１】
なお、以下では、図中の車両９の右側の指標を指標ＭＲとし、車両９の左側の指標を指標ＭＬとし、これら２つの指標を合わせて指標ＭＡという。
【００７２】
また、ユーザの運転操作の情報を合成画像ＣＱ０の表示と関連付けて表示する運転サポート画像ＰＨ０も合成画像ＣＱ０と同時にディスプレイに表示される。つまり、フロントモードＭ２の縦列駐車ボタン２０２をユーザが操作すると、フロントモードＭ２で表示されていた撮影画像ＰＰが運転サポート画像ＰＨ０に切り替わる。
【００７３】
各モードの遷移は、ナビモードＭ１において、ナビゲーション装置２０のディスプレイ２１に表示される駐車支援ボタン２０１をユーザが操作した場合、または、ユーザが操作部２２を操作した場合など、所定操作によりフロントモードＭ２に切り替えられる。また、フロントモードＭ２において、ユーザの操作部２２による操作などの所定操作により、ナビモードＭ１に切り替えられる。なお、ナビモードＭ１とフロントモードＭ２とは、車速センサ８２から入力される走行速度に応じて切り替えてもよい。
【００７４】
また、ナビモードＭ１あるいはフロントモードＭ２の場合に、シフトセンサ８１から入力されるシフトポジションが”Ｒ（後退）”となったときは、バックモードＭ３に切り替えられる。すなわち、シフトポジションが”Ｒ（後退）”の場合は、車両９は後退する状態であるため、車両９の後方を主に示すバックモードＭ３に切り替えられる。また、バックモードＭ３の場合に、シフトポジションが”Ｒ（後退）”以外となったときは、バックモードＭ３に切り替えられる直前の動作モードに戻ることになる。なお、バックモードＭ３において、ディスプレイ２１に表示される駐車支援ボタン２０１をユーザが操作した場合は、フロントモードＭ２となる。
【００７５】
そして、フロントモードＭ２において、ディスプレイ２１に表示された縦列駐車ボタン２０２をユーザが操作すると、縦列駐車モードＭ４の画像が画像処理装置１００から出力され、ディスプレイ２１に表示される。また、縦列駐車モードＭ４においてディスプレイ２１の戻るボタン２０３をユーザが操作した場合は、フロントモードＭ２に遷移する。
【００７６】
＜１−５縦列駐車モード＞
以下では、縦列駐車モードＭ４の画像の詳細について説明する。図５は第１の実施の形態の縦列駐車モードＭ４を説明する図である。フロントモードＭ２でユーザにより縦列駐車ボタン２０２が選択されると、縦列駐車モードＭ４の画像（以下、「画像Ｍ４」ともいう。）が画像処理装置１００から出力され、ディスプレイ２１に表示される。なお、以下に説明する縦列駐車モードＭ４の各画像（Ｍ４、Ｍ４１、Ｍ４２、及び、Ｍ４３）は縦列駐車モード内での各画像の遷移であり、ユーザの選択や車両操作に応じてこれらの画像が画像処理装置１００から出力され、ディスプレイ２１に表示される。
【００７７】
画像Ｍ４は、合成画像ＣＱ０の略中心に車両９の画像が表示されている。そして、車両９の先端部には左右方向に延びる線上のポイントの指標ＭＡが表示されており、車両９の右前側方には位置する他車両１９が表示されている。
【００７８】
なお、指標ＭＡは、車両９の右側には指標ＭＲ、車両９の左側には指標ＭＬを備えており、車両９の進行に伴い車両９の同方向に移動する。つまり、合成画像ＣＱ０では車両９の進行に伴い指標ＭＡ指標ＭＲ）が他車両１９の後端部に接近している。このように合成画像ＣＱ０はほぼ車両９及び車両９の周辺領域をほぼリアルタイムに表示する。
【００７９】
また、画像Ｍ４にはビットマップ画像の運転サポート画像ＰＨ０が表示されている。この運転サポート画像ＰＨ０は合成画像ＣＱ０の俯瞰画像と関連付けて車両９のユーザに必要な運転操作の情報を表示する。
【００８０】
そして、ユーザが目視で確認した車両９の駐車スペースの車両９の進行方向に沿った距離の計測を開始する場合、その計測を開始する位置を設定するために、ユーザは画像Ｍ４の地点設定ボタン２０４を選択する。なお、ユーザが戻るボタン２０３を選択すると前のモードであるフロントモードＭ２に遷移する。
【００８１】
縦列駐車モードＭ４の画像Ｍ４１以下、「画像Ｍ４１」ともいう。）は、車両９を他車両１９の方向に進行させて地点設定ボタン２０４をユーザが選択した場合の画像を示している。画像Ｍ４１の合成画像ＣＱ１では、車両９の指標ＭＲが他車両１９の先端部に位置している。このような位置でユーザが地点設定ボタン２０４を選択すると、指標ＭＡ（指標ＭＲおよび指標ＭＬ）は、計測開始位置ＤＡとして設定される。
【００８２】
なお、この計測開始位置ＤＡは、車両９の右側の計測開始位置を計測開始位置ＤＲ、車両９の左側の計測開始位置を計測開始位置ＤＬを備えており、ユーザが選択した位置に指標ＭＲ及び指標ＭＬが、計測開始位置ＤＲ及びＤＬとして固定される。これにより、ユーザは車両からの目視で確認できる駐車スペースと表示された俯瞰画像との関係を車両を移動させながら把握できると共に、ユーザが目視で確認した位置を確実に設定できる。また、ユーザは車両９の位置と計測開始位置ＤＡ及び計測位置ＢＡとの位置を明確に把握できる。
【００８３】
また、ユーザの地点設定ボタン２０４選択による計測開始位置の設置に伴い、車両９の後端部に計測位置ＢＡが設定される。この計測位置ＢＡは、車両９の右側に計測位置ＢＲ、車両９の左側に計測位置ＢＬを備えている。この計測位置ＢＡは車両９の進行に伴って車両９と同方向に移動する。また、画像Ｍ４１では合成画像ＣＱ１の俯瞰画像と関連付けて運転サポート画像ＰＨ１を表示する。なお、ユーザが戻るボタン２０３を操作すると計測開始位置の設定を解除して縦列駐車モードＭ４に遷移する。
【００８４】
画像Ｍ４２は、合成画像ＣＱ２で画像Ｍ４１に示したユーザの操作による計測開始位置の設定に伴う計測位置ＢＡが、車両９の進行後に伴って計測開始位置ＤＡと接触した後に計測開始位置ＤＡから離れた状態を示している。そして、計測位置ＢＡが計測開始位置ＤＡから離れたことで、駐車スペースの車両９の進行方向に沿った距離の計測を開始する。
【００８５】
つまり、車両９の右方向である他車両１９の先端部の方向に延びる位置に固定された計測開始位置ＤＲに、車両９の後端部の右方向に延びる線上の計測位置ＢＲが接触して、計測開始位置ＤＲから離れている。同時に、他車両１９の先端部の左方向に延びる位置に固定された計測開始位置ＤＬに、車両９の後端部の左方向に延びる線上の計測位置ＢＬが接触した後、計測開始位置ＤＬから離れている。そして、各計測位置が計測開始位置に接触して離れた直後に、距離の導出を開始する。
【００８６】
距離を導出している際の画像表示としては図中に示すように計測開始位置ＤＲと計測位置ＢＲとを結ぶ距離ラインＬＲ、計測開始位置ＤＬと計測位置ＢＬとを結ぶ距離ラインＬＬとで表示される。これにより、ユーザは駐車スペースの距離の導出タイミングを知ることができ、距離の導出開始後のステアリングの不要な操作をなくすことで、正確な距離の導出が可能となる。また、ユーザは車両９の位置と駐車スペースとの位置関係を明確に把握できる。
【００８７】
また、画像Ｍ４１は合成画像ＣＱ２の俯瞰画像と関連付けて運転サポート画像ＰＨ１を表示する。なお、ユーザが戻るボタン２０３を操作すると計測開始位置の設定を解除して縦列駐車モードＭＡに遷移する。
【００８８】
画像Ｍ４３は、合成画像ＣＱ３で車両９の後端部の計測位置ＢＡの位置と、他車両１９の先端部の位置に固定した計測開始位置ＤＡの位置との距離が予め定めた車両９の駐車に必要な距離以上となったことを示している。図中に示すように車両９の駐車に必要な距離になったことを示してユーザへ報知するために、距離ラインＬＲ、ＬＬの表示色を距離を計測中の場合と必要距離以上となった場合とで変更する。このような制御は、報知制御部１４によりなされる。これにより、車両９の位置と駐車スペースとの位置関係を明確にして、駐車スペースの距離を精度よくユーザへ知らせることができる。この計測している距離が必要距離以上となったことのユーザへの報知は、画像表示や音声出力などによってなされてもよい。
【００８９】
また、このように駐車スペースの車両９の進行方向に沿った距離が車両９の駐車に必要な距離となった場合は、ユーザは画像Ｍ４３に表示されている車両位置確定ボタン２０５を操作して、駐車スペースの選択及び駐車動作を開始する。これにより、ユーザは駐車に必要な距離となった車両９の位置からすぐに駐車動作を開始できる。
【００９０】
なお、画像Ｍ４３では合成画像ＣＱ３の俯瞰画像と関連付けて運転サポート画像ＰＨ３を表示する。このように画像処理装置１００は、各合成画像と関連付けて運転サポート画像を出力してディスプレイ２１に表示することで、駐車に必要な距離を導出する場合にユーザが行う運転操作を合成画像と一緒に確認できる。また、画像Ｍ４、画像Ｍ４１、画像Ｍ４２、及び、画像Ｍ４３では各合成画像と関連付けて表示する運転サポート画像に合わせて運転操作のポイントを文字で表示し、必要な運転操作を表示している。なお、ユーザが戻るボタン２０３を操作すると計測開始位置の設定を解除して縦列駐車モードＭ４に遷移する。
【００９１】
＜２．処理＞
次に画像処理装置１００の処理について説明する。図６は画像処理装置１００の処理フローチャートである。画像処理装置１００はユーザからの駐車支援ボタン２０１の操作信号を受信した場合（ステップＳ１０１がＹｅｓ）、フロントモードＭ２の画像を出力してステップＳ１０３の処理へ進む。なお、画像処理装置１００がユーザからの駐車支援ボタン２０１の操作信号を受信していない場合（ステップＳ１０１がＮｏ）は、処理を終了する。
【００９２】
ステップＳ１０３では、画像処理装置１００がユーザからの縦列駐車ボタン２０２の操作信号を受信した場合（ステップＳ１０３がＹｅｓ）、縦列駐車モードＭ４の画像を出力して（ステップＳ１０４）、ステップＳ１０５の処理へ進む。なお、縦列駐車ボタン２０２の操作信号を画像処理装置１００が受信していない場合（ステップＳ１０３がＮｏ）は、フロントモードＭ２の画像出力を継続する。
【００９３】
ステップＳ１０５では、ユーザの操作による指標ＭＡを用いた計測開始位置ＤＡの設定信号を画像処理装置１００が受信している場合（ステップＳ１０５がＹｅｓ）は、指標ＭＡの地点を計測開始位置ＤＡとして設定して（ステップＳ１０６）ステップＳ１０７の処理へ進む。
【００９４】
なお、画像処理装置１００が計測開始位置ＤＡの設定信号を受信していない場合（ステップＳ１０５がＮｏ）の場合は縦列駐車モードＭ４の画像を継続して表示する。なお、ユーザの操作に応じてフロントモードＭ２や縦列駐車モードＭ４などの他の画像に切り替えるようにしてもよい。
【００９５】
ステップＳ１０７では、ユーザの選択により計測開始位置を設定したことに伴い、車両９の特定部位に基づいて計測位置ＢＡを出力するステップＳ１０７）。計測位置ＢＡは、例えば車両９の後端部から車両９の左右方向に延びる線上のポイントを表示する指標である。
【００９６】
そして、画像処理装置１００は、車両９の進行に伴い車両９の後端部に表示された計測位置ＢＡがユーザの選択した地点に固定された計測開始位置ＤＡと接触した後に、計測開始位置ＤＡから離れたことを検出した場合（ステップＳ１０８がＹｅｓ）に、計測開始位置ＤＡから計測位置ＢＡ間の距離の計測を開始する（ステップＳ１０９）。
【００９７】
そして、更なる車両９の移動により、計測距離が所定の距離以上（例えば、車両９の全長の１．５倍以上）となった場合（ステップＳ１１０がＹｅｓ）、画像処理装置１００は、計測距離が所定の距離以上となったことを画像や音声でユーザへ報知して（ステップＳ１１１）、ステップＳ１１２の処理へ進む。
【００９８】
なお、ステップＳ１０８において、計測位置ＢＡが計測開始位置ＤＡから離れたことを検出していない場合（ステップＳ１０８）は、距離の計測は開始せずに縦列駐車モードＭ４において、ほぼリアルタイムの画像を出力する。
【００９９】
さらに、ステップＳ１１０において、計測距離が所定の距離以上となっていない場合は、距離の計測を継続して行う。なお、ユーザの操作に応じてフロントモードＭ２や縦列駐車モードＭ４などの他の画像に切り替えるようにしてもよい。
【０１００】
ステップＳ１１２の処理では、車両９の駐車に必要な距離となったことをユーザが確認して、ユーザが車両位置確定ボタン２０５を操作したことによる車両位置確定信号を画像処理装置１００が受信した場合（ステップＳ１１３がＹｅｓ）は、ユーザの操作により距離の計測が完了した領域を車両９の駐車領域として設定する駐車領域設定画像を出力する。
【０１０１】
この駐車領域の設定は一辺が車両９の全長の約１．５倍の長さで、他辺が車両９の車幅の約１．２倍の長さを有する略長方形の領域をユーザの操作により車両９を駐車する駐車スペースの位置に設定する。なお、ステップ１１２において、画像処理装置１００が車両位置確定信号を受信していない場合（ステップＳ１１２がＮｏ）は、そのままの画像を表示する。なお、ユーザの操作に応じてフロントモードＭ２や縦列駐車モードＭ４などの他の画像に切り替えるようにしてもよい。
【０１０２】
そして、ユーザが駐車領域を設定した旨の信号を画像処理装置１００が受信した場合（ステップＳ１１４がＹｅｓ）、画像処理装置は、画像や音声を用いてユーザが駐車スペースへ車両９を駐車する運転操作を支援する駐車支援画像を出力して（ステップＳ１１５）、ステップＳ１１６の処理へ進む。この駐車支援画像の例としては、車両を後退させる際のガイド線やステアリングを操作する位置や角度を指示するものである。
【０１０３】
なお、ステップＳ１１４において、ユーザの操作による駐車位置確定した旨の信号を画像処理装置１００が受信していない場合（ステップＳ１１４がＮｏ）は、そのままの画像を表示する。なお、ユーザの操作に応じてフロントモードＭ２や縦列駐車モードＭ４などの他の画像に切り替えるようにしてもよい。
【０１０４】
ステップＳ１１６では、ユーザの駐車動作により車両９の車両全体がステップＳ１１４で設定した駐車領域内に移動した場合に、ナビゲーション装置２０などからの車両９の一情報による駐車完了信号を画像処理装置１００が受信した場合（ステップＳ１１６）、画像処理装置１００は、駐車が完了したことを画像や音声によりユーザへ報知する（ステップＳ１１７）。
【０１０５】
なお、駐車完了信号を画像処理装置１００が受信していない場合（ステップＳ１１６がＮｏ）は、駐車支援画像の出力を継続する。なお、ユーザの操作に応じてフロントモードＭ２や縦列駐車モードＭ４などの他の画像に切り替えるようにしてもよい。
【０１０６】
＜第２の実施の形態＞
次に、第２の実施の形態について説明する。第２の実施の形態の縦列駐車モードＭ５では、ユーザの操作により指標ＭＡが計測開始位置ＤＡとして設定された場合に、第１の実施の形態では車両９の後端部に位置していた計測位置ＢＡを、車両９の先端部に設けている。第２の実施の形態の画像表示システム１２０の構成及び処理は、第１の実施の形態とほぼ同様であるが、一部相違する。このため以下、相違点を中心に説明する。
【０１０７】
図７は第２の実施の形態の縦列駐車モードＭ４ａを説明する図である。なお、以下では縦列駐車モードＭ４ａ、Ｍ４１ａ、Ｍ４２ａ、Ｍ４３ａを画像Ｍ４ａ、画像４１ａ、画像４２ａ、及び、画像４３ａともいう。
【０１０８】
画像処理装置１００は、フロントモードＭ２の縦列駐車ボタン２０２がユーザにより操作された信号を受信した場合、画像Ｍ４ａを出力する。
【０１０９】
画像Ｍ４ａは、合成画像ＣＱ１０で指標ＭＡ（指標ＭＲ及びＭＬ）を車両９の先端部に表示し、車両９の進行に伴い指標ＭＡは他車両１９の方向に進行している。
【０１１０】
画像Ｍ４１ａは、合成画像ＣＱ１１で指標ＭＡが他車両１９の先端部に位置しており、ユーザが地点設定ボタン２０４を操作すると、指標ＭＡは計測開始位置ＤＡとしてその地点に固定される。
【０１１１】
また、ユーザの地点設定ボタン２０４の選択による計測開始位置の設定に伴い、車両９の先端部に計測位置ＢＡａが設定される。なお、この計測位置ＢＡａは車両９の右側の計測位置を計測位置ＢＲａ、車両９の左側の計測位置を計測位置ＢＬａとして備える。この計測位置ＢＡａは車両９の進行に伴って同方向に移動する。
【０１１２】
画像Ｍ４２ａは、合成画像ＣＱ１２でユーザの操作による計測開始位置ＤＡの設定に伴う計測位置ＢＡａが、車両９の進行に伴って計測開始位置ＤＡと接触した後に計測開始位置ＤＡから離れた状態を示している。そして、計測位置ＢＡａが計測開始位置ＤＡをから離れたことで、駐車スペースの車両９の進行方向に沿った距離の計測を開始する。
【０１１３】
つまり、車両９の右方向である他車両１９の先端部の方向に延びる位置に固定された計測開始位置ＤＲに、車両９の先端部の右方向に延びる線上の計測位置ＢＲａが接触して、計測開始位置ＤＲから離れている。同時に、他車両１９の先端部の左方向に延びる位置に固定された計測開始位置ＤＬに、車両９の後端部の左方向に延びる線上の計測位置ＢＬａが接触した後、計測開始位置ＤＬから離れている。そして、各計測位置が計測開始位置に接触して離れた直後に、距離の導出を開始する。
【０１１４】
距離を導出している際の画像表示としては図中に示すように計測開始位置ＤＲと計測位置ＢＲとを結ぶ距離ラインＬＲａ、計測開始位置ＤＬと計測位置ＢＬとを結ぶ距離ラインＬＬａとで表示される。これにより、ユーザは距離を導出している間に、車両９の移動に伴って駐車スペースの状態を目視で確認できる。
【０１１５】
画像４３ａでは、図中に示すように車両９の駐車に必要な距離になったことをユーザへ報知するために、距離ラインＬＲａ、ＬＬａの表示色を距離を計測中の場合と必要距離以上となった場合とで変更されている。
＜変形例＞
以下、変形例について説明する。なお、上記の実施の形態、及び、下記で説明する形態を含む全ての形態は適宜に組み合わせ可能である。
【０１１６】
上記の実施の形態では、ユーザが車両９を駐車するスペースの距離を測定する場合について述べたが、駐車スペース以外に、ユーザの任意の区間の距離を測定することもできる。この場合、ユーザの操作によりナビゲーション装置２０のディスプレイ２１に表示される表示中に車両９の周辺領域におけるユーザの任意の区間の始点となる位置に第１基準位置を位置設定制御部１２が設定をする。
【０１１７】
次に、第１基準位置の設定に伴い、位置設定制御部１２は車両９の特定部位に基づく第２基準位置を設定する。そして、距離導出制御部１３が第１基準位置と第２基準位置との距離である第１距離を導出する。
【０１１８】
次に、車両９の移動によって変化する第１距離に関する情報を報知制御部１４が画像や音声により報知する。例えば、ユーザへの報知は車両９の移動によってディスプレイ２１に距離の表示をするなどである。これにより、車両９のユーザが任意の位置からの距離の計測を行いたい場合に正確に計測することができる。
【０１１９】
上記の実施の形態では、縦列駐車の場合の処理について述べたが、これらの各実施の形態の内容を並列駐車の場合に適用することも可能である。
【０１２０】
また、上記の実施の形態では車両９の先端部から左右方向に延びる線上の指標である指標ＭＡは車両の右側の指標ＭＲと車両の左側の指標ＭＬについて述べたが、予めユーザの選択により車両９を駐車させる方向が右か左か決定されている場合は、ユーザが選択した方向に指標を表示する。つまり、ユーザの選択が右側の場合は車両右側の指標ＭＲをディスプレイ２１に表示し、ユーザの選択が左側の場合は指標ＭＬをディスプレイ２１に表示する。
【０１２１】
さらに、ユーザにより車両９を駐車させる方向が選択された場合に表示される指標と同じ方向で計測開始位置を設定し、計測開始位置の設定に伴う計測位置も同じ方向に表示する。つまり、車両９の右側が選択された場合は指標ＭＲを表示し、ユーザが指標ＭＲの計測開始位置を設定すると、指標ＭＲと同じ車両９の右側に計測開始位置ＤＲを表示する。そして、計測開始位置設定に伴い、車両９の右側に計測位置ＢＲ（またはＢＲａ）を表示して距離の計測を行う。
【０１２２】
さらに、車両９の左側が選択された場合は、指標ＭＬを表示し、ユーザが指標ＭＬの計測開始位置を設定すると、指標ＭＬと同じ車両９の左側に計測開始位置ＤＬを表示する。そして、計測開始位置設定に伴い、車両９の左側に計測位置ＢＬａを表示して距離の計測を行う。
【０１２３】
また、指標ＭＡの位置は、ユーザの操作で車両９の先端部以外の位置に移動させて計測開始位置ＤＡを設定することも可能である。
【０１２４】
さらに、上記の実施の形態の俯瞰画像は複数のカメラの撮影画像により生成された合成画像以外に一のカメラにより生成された俯瞰画像であってもよい。
【符号の説明】
【０１２５】
１・・・・制御部
３・・・・画像生成部
５・・・・撮影部
２０・・・ナビゲーション装置
４０・・・不揮発性メモリ
４１・・・信号入力部
４２・・・ナビ通信部
８１・・・シフトセンサ
８２・・・車速センサ
８３・・・方向指示器
【技術分野】
【０００１】
本発明は、車両における画像表示技術に関する。
【背景技術】
【０００２】
従来、車両を駐車する場合にユーザの目測で駐車スペースの広さを判断していた。そして、当該スペースへの駐車を開始した結果、車両の大きさよりも駐車スペースが狭いことにより駐車を断念せざるを得ない場合があった。また、車両の大きさと駐車スペースの広さとが略同一である場合、運転に慣れないユーザが駐車の際に車体を駐車スペースの外の障害物に衝突させてしまう可能性があった。
【０００３】
これに対して、駐車スペースへの駐車の可否を判断する技術が特許文献１に開示されている。この技術では、車両の前方に備えられたカメラにより車両の側方の画像を撮影してモニタに表示する。表示された画像に基づいて駐車スペースの一端を始点位置としてユーザが選択する。そして、始点位置決定後に車両を前進させ、駐車スペースの他端を終点位置としてユーザが選択することで、駐車スペースの車両の進行方向の距離を測定し、測定された距離と車体の長さとを比較して、駐車の可否を判定する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−９１０４６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に開示されている技術では、ユーザが車両の側方からの自車の車両が表示されていない画像に基づいて始点位置および終点位置を選択するため、自車の車両位置と駐車スペースの始点位置および終点位置との位置関係が明確ではない。このため、駐車スペースの始点と終点の位置を正確に設定して、駐車スペースの車両の進行方向に沿った距離を精度よく測定することが困難であった。また、駐車スペース以外に、ユーザが任意の位置からの距離の計測を行いたい場合に計測することができなかった。
【０００６】
本発明は、自車の車両位置と対応させて距離を精度よく測定すること目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、請求項１の発明は、車両に搭載される画像表示システムであって、前記車両に配置されたカメラで得られる撮影画像から、前記車両及び前記車両の周辺領域を俯瞰した俯瞰画像を生成する生成手段と、前記俯瞰画像を表示する表示手段と、前記俯瞰画像の表示手段における表示中にユーザの操作を受け付けて、前記車両の周辺領域における第１基準位置を設定する設定手段と、前記車両の特定部位に基づく第２基準位置と前記第１基準位置との距離である第１距離を導出する導出手段と、前記車両の移動によって変化する前記第１距離に関する情報を前記ユーザに報知する報知手段と、を備える。
【０００８】
また、請求項２の発明は、請求項１に記載の画像表示システムにおいて、前記報知手段は、前記車両の移動により前記第１距離が前記車両の駐車に必要な第２距離以上となった場合に前記ユーザに報知する。
【０００９】
また、請求項３の発明は、請求項１または２に記載の画像表示システムにおいて、前記表示手段は、前記第１基準位置を設定する場合において、前記車両の先端部から前記車両の左右方向に延びる線上のポイントを指標で表示する。
【００１０】
また、請求項４の発明は、請求項１乃至３のいずれかに記載の画像表示システムにおいて、前記導出手段は、前記車両の後端部に基づく位置である第２基準位置と前記第１基準位置との距離である第１距離を導出する。
【００１１】
また、請求項５の発明は、請求項１乃至３のいずれかに記載の画像表示システムにおいて、前記導出手段は、前記車両の先端部に基づく位置である第２基準位置と前記第１基準位置との距離である第１距離を導出する。
【００１２】
また、請求項６の発明は、請求項１乃至５のいずれかに記載の画像表示システムにおいて、前記導出手段は、前記車両の進行に伴い移動する前記第２基準位置が前記第１基準位置と接触した後に前記第１基準位置から離れた場合に前記第１距離の導出を開始する。
【００１３】
また、請求項７の発明は、請求項１乃至６のいずれかに記載の画像表示システムにおいて、前記表示手段は、前記第１距離の導出に必要となるユーザの運転操作情報を前記俯瞰画像と関連付けて表示する
また、請求項８の発明は、車両に搭載された表示装置に表示させる画像を生成する画像処理装置であって、前記車両に配置されたカメラで得られる撮影画像から、前記車両及び前記車両の周辺領域を俯瞰した俯瞰画像を生成する生成手段と、前記俯瞰画像を前記表示装置に出力して表示させる出力手段と、前記俯瞰画像の表示手段における表示中にユーザの操作を受け付けて、前記車両の周辺領域における第１基準位置を設定する設定手段と、前記車両の特定部位に基づく第２基準位置と前記第１基準位置との距離である第１距離を導出する導出手段と、前記車両の移動によって変化する前記第１距離に関する情報を前記ユーザに報知する報知手段と、を備える。
【００１４】
また、請求項９の発明は、車両に搭載される画像表示方法であって、前記車両に配置されたカメラで得られる撮影画像から、前記車両及び前記車両の周辺領域を俯瞰した俯瞰画像を生成する工程と、前記俯瞰画像を表示する工程と、前記俯瞰画像の表示手段における表示中にユーザの操作を受け付けて、前記車両の周辺領域における第１基準位置を設定する工程と、前記車両の特定部位に基づく第２基準位置と前記第１基準位置との距離である第１距離を導出する工程と、前記車両の移動によって変化する前記第１距離に関する情報を前記ユーザに報知する工程と、を備える。
【００１５】
さらに、請求項１０の発明は、車両に搭載される画像表示システムであって、前記車両に配置されたカメラで得られる撮影画像から生成される前記車両及び前記車両の周辺領域を俯瞰した俯瞰画像を表示装置に出力して表示させる出力手段と、前記俯瞰画像に示される前記車両の周辺領域に相対固定される第１基準マークと、前記俯瞰画像に示される前記車両に相対固定される第２基準マークとを、前記俯瞰画像に重畳する重畳手段と、前記車両の移動により、前記第１基準マークと前記第２基準マークとの距離が所定距離以上になると前記ユーザに報知する報知手段と、を備える。
【発明の効果】
【００１６】
請求項１ないし１０の発明によれば車両の移動によって変化する第１距離に関する情報をユーザに報知することで、車両のユーザが任意の位置からの距離の計測を行いたい場合に正確に計測することができる。
【００１７】
また、請求項２の発明によれば、第１距離が車両の駐車に必要な第２距離以上となった場合にユーザに報知することで、車両の位置と駐車スペースとの位置関係を明確にして、駐車スペースの距離を精度よくユーザへ知らせることができる。
【００１８】
また、特に請求項３の発明によれば、表示手段が、第１基準位置を設定する場合において、車両の先端部から車両の左右方向に延びる線上のポイントを指標で表示することで、ユーザは車両から目視で確認できる駐車スペースと表示された俯瞰画像との関係を車両を移動させながら把握できると共に、ユーザが目視で確認した位置を確実に設定できる。
【００１９】
また、特に請求項４の発明によれば、導出手段は、車両の後端部に基づく位置である第２基準位置と第１基準位置との距離である第１距離を導出することで、ユーザは駐車に必要な距離となった車両の位置からすぐに駐車動作を開始できる。
【００２０】
また、特に請求項５の発明によれば、導出手段は、車両の先端部に基づく位置である第２基準位置と前記第１基準位置との距離である第１距離を導出することで、ユーザは第１距離を導出している間に、車両の移動に伴って駐車スペースの状態を目視で確認できる。
【００２１】
また、特に請求項６の発明によれば、導出手段は、車両の進行に伴い移動する第２基準位置が第１基準位置と接触した後に第１基準位置から離れた場合に第１距離の導出を開始することで、ユーザは距離の導出のタイミングを知ることができ、距離の導出開始後のステアリングの不要な操作をなくすことで、正確な距離の導出が可能となる。
【００２２】
また、特に請求項７の発明によれば、表示手段は、第１距離の導出に必要となるユーザの運転操作情報を俯瞰画像と関連付けて表示することで、ユーザは第１距離を導出する場合に必要となる運転操作を合成画像と一緒に確認できる。
【図面の簡単な説明】
【００２３】
【図１】図１は、画像表示システムのブロック図である。
【図２】図２は、車載カメラが車両に配置される位置を示す図である。
【図３】図３は、合成画像を生成する手法を説明するための図である。
【図４】図４は、画像表示システムの動作モードの遷移を示す図である。
【図５】図５は、第１の実施の形態の縦列駐車モードを説明する図である。
【図６】図６は、画像処理装置の処理フローチャートである。
【図７】図７は、第２の実施の形態の縦列駐車モードを説明する図である。
【発明を実施するための形態】
【００２４】
以下、図面を参照しつつ本発明の実施の形態について説明する。
【００２５】
＜第１の実施の形態＞
＜１−１．システム構成＞
図１は、画像表示システム１２０のブロック図である。この画像表示システム１２０は、車両（本実施の形態では、自動車）に搭載されるものであり、車両の周辺を撮影して画像を生成し、その生成した画像を車室内のナビゲーション装置２０などの表示装置に出力する機能を有している。画像表示システム１２０のユーザ（代表的にはドライバ）は、この画像表示システム１２０を利用することにより、当該車両の周辺の様子をほぼリアルタイムに把握できるようになっている。
【００２６】
図１に示すように、画像表示システム１２０は、車両の周辺を示す周辺画像を生成してナビゲーション装置２０などの表示装置に画像情報を出力する画像処理装置１００と、車両の周囲を撮影するカメラを備えている撮影部５とを主に備えている。
【００２７】
ナビゲーション装置２０は、ユーザに対しナビゲーション案内を行うものであり、タッチパネル機能を備えた液晶などのディスプレイ２１と、ユーザが操作を行う操作部２２と、装置全体を制御する制御部２３とを備えている。ディスプレイ２１の画面がユーザから視認可能なように、ナビゲーション装置２０は車両のインストルメントパネルなどに設置される。ユーザからの各種の指示は、操作部２２とタッチパネルとしてのディスプレイ２１とによって受け付けられる。制御部２３は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えたコンピュータであり、所定のプログラムに従ってＣＰＵが演算処理を行うことでナビゲーション機能を含む各種の機能が実現される。
【００２８】
ナビゲーション装置２０は、画像処理装置１００と通信可能に接続され、画像処理装置１００との間で各種の制御信号の送受信や、画像処理装置１００で生成された周辺画像の受信が可能となっている。ディスプレイ２１には、制御部２３の制御により、通常はナビゲーション装置２０単体の機能に基づく画像が表示されるが、所定の条件下で画像処理装置１００で生成された車両の周辺の様子を示す周辺画像や、車両９及び車両９の周辺領域を俯瞰した俯瞰画像が表示される。また、ディスプレイ２１に表示される俯瞰画像は周辺領域をほぼリアルタイムに示すことになる。これにより、ナビゲーション装置２０は、画像処理装置１００で生成された周辺画像を受信して表示する表示装置としても機能する。
【００２９】
画像処理装置１００は、その本体部１０が周辺画像を生成する機能を有するＥＣＵ（Electronic Control Unit）であり、車両の所定の位置に配置される。画像処理装置１００は、車両の周辺を撮影する撮影部５を備えており、この撮影部５で車両の周辺を撮影して得られる撮影画像に基づいて仮想視点からみた合成画像を生成する画像生成装置として機能する。これらの撮影部５が備える複数の車載カメラ５１，５２，５３は、本体部１０とは別の車両の適位置に配置されるが詳細は後述する。
【００３０】
画像処理装置１００の本体部１０は、装置全体を制御する制御部１と、撮影部５で取得された撮影画像を処理して表示用の周辺画像を生成する画像生成部３と、ナビゲーション装置２０との間で通信を行うナビ通信部４２とを主に備えている。
【００３１】
ナビゲーション装置２０の操作部２２やディスプレイ２１によって受け付けられたユーザからの各種の指示は、制御信号としてナビ通信部４２によって受け付けられて制御部１に入力される。これにより、画像処理装置１００は、ナビゲーション装置２０に対するユーザの操作に応答した動作が可能となっている。
【００３２】
また、画像処理装置１００は、駐車支援ボタン２０１を備えている。この駐車支援ボタン２０１がユーザに操作されると、ユーザの指示を示す信号が制御部１に入力されて、後述するフロントモードＭ２（図４に示す。）の画像が表示される。なお、この駐車支援ボタン４５はハードボタンとして画像処理装置１００やナビゲーション装置２０に設けられてもよいし。また、駐車支援ボタン４５は、ナビゲーション装置２０のディスプレイ２１にユーザが指などをディスプレイ２１に接触させて操作するタッチパネルのボタンとして表示されるようにしてもよい。
【００３３】
画像生成部３は、各種の画像処理が可能なハードウェア回路として構成されており、合成画像生成部３１、画像範囲選択部３２、及び、画像情報出力部３３を主な機能として備えている。
【００３４】
合成画像生成部３１は、撮影部５の複数の車載カメラ５１，５２，５３で取得された複数の撮影画像に基づいて、車両の周辺の任意の仮想視点からみた合成画像を生成する。合成画像生成部３１が仮想視点からみた合成画像を生成する手法については後述する。
【００３５】
また、画像情報出力部３３は合成画像生成部３１において生成された合成画像情報をナビゲーション装置２０へ出力する。これにより、車両の周辺を示す周辺画像がナビゲーション装置２０のディスプレイ２１に表示されることになる。
【００３６】
制御部１は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えたコンピュータであり、所定のプログラムに従ってＣＰＵが演算処理を行うことで各種の制御機能が実現される。図中に示す、画像制御部１１、位置設定制御部１２、距離導出制御部１３、及び、報知制御部１４は、このようにして実現される制御部１の機能のうちの一部を示している。
【００３７】
画像制御部１１は、画像生成部３によって実行される画像処理を制御するものである。例えば、画像制御部１１は、合成画像生成部３１が生成する合成画像の生成に必要な各種パラメータなどを指示する。また、画像範囲選択部３２がサイドカメラ５３により撮影した画像の所定範囲を選択するための指示を車種ごとのパラメータの情報に基づいて行う。
【００３８】
位置設定制御部１２は、後述するユーザが車両９を縦列駐車する際に選択される縦列駐車モードにおいて、車両９の先端部に表示される指標ＭＡ（図５に示す。）と他車両またはその他の位置（例えば駐車スペースの領域内の一地点）との位置関係に基づいたユーザの選択により計測開始位置ＤＡ（図５に示す。）を設定する。つまり、指標ＭＡはユーザが選択した地点に固定されて、計測開始位置ＤＡとなる。
【００３９】
また、位置設定制御部１２は、俯瞰画像（例えば図５に示す画像Ｍ４１）に示される車両９の周辺領域に相対固定される計測開始位置ＤＡ（第１基準マーク）と俯瞰画像に示される車両９に相対固定される計測位置ＢＡ（第２基準マーク）とを、俯瞰画像中に重畳する制御を行う。
【００４０】
なお、計測開始位置ＤＡの設定は、ディスプレイ２１のタッチパネルやハードボタンを用いたユーザの操作により行う。
【００４１】
距離導出制御部１３は、後述する車両９の特定部位（例えば、車両９の先端部や車両９の後端部など）に基づく計測位置ＢＡとユーザの選択により設定された計測開始位置ＤＡとの間の距離を導出する。なお、計測位置ＢＡはユーザの計測開始位置ＤＡの設定に伴い車両９の特定部位に基づいてディスプレイ２１に表示され、車両９の移動に伴って車両９の進行方向へ移動する。
【００４２】
報知制御部１４は、車両９の移動により、計測開始位置ＤＡと計測位置ＢＡとの距離が車両９の駐車に必要な距離（例えば、車両の全長の約１．５倍）以上となった場合にユーザへの報知を行う。駐車に必要な距離以上となった報知の例は、ディスプレイ２１に表示されている画像の色や大きさを変えたり、ナビゲーション装置２０から音声を出力などがあげられる。
【００４３】
また、画像処理装置１００の本体部１０は、不揮発性メモリ４０、カード読取部４４、及び、信号入力部４１をさらに備えており、これらは制御部１に接続されている。
【００４４】
不揮発性メモリ４０は、電源オフ時においても記憶内容を維持可能なフラッシュメモリなどで構成されている。不揮発性メモリ４０には、車種別データ４ａが記憶されている。車種別データ４ａは、合成画像生成部３１が合成画像を生成する際に必要となる車両の種別に応じたデータなどである。また、車両を駐車する際に必要な距離などのデータも記録されている。
【００４５】
カード読取部４４は、可搬性の記録媒体であるメモリカードＭＣの読み取りを行う。カード読取部４４は、メモリカードＭＣの着脱が可能なカードスロットを備えており、そのカードスロットに装着されたメモリカードＭＣに記録されたデータを読み取る。カード読取部４４で読み取られたデータは、制御部１に入力される。
【００４６】
メモリカードＭＣは、種々のデータを記憶可能なフラッシュメモリなどで構成されており、画像処理装置１００はメモリカードＭＣに記憶された種々のデータを利用できる。例えば、メモリカードＭＣにプログラムを記憶させ、これを読み出すことで、制御部１の機能を実現するプログラム（ファームウェア）を更新することが可能である。また、メモリカードＭＣに不揮発性メモリ４０に記憶された車種別データ４ａとは異なる種別の車両に応じた車種別データを記憶させ、これを読み出して不揮発性メモリ４０に記憶させることで、画像表示システム１２０を異なる種別の車両に対応させることも可能である。
【００４７】
また、信号入力部４１は、車両に設けられた各種装置からの信号を入力する。この信号入力部４１を介して、画像表示システム１２０の外部からの信号が制御部１に入力される。具体的には、シフトセンサ８１、車速センサ８２、及び、方向指示器８３などから、各種情報を示す信号が制御部１に入力される。
【００４８】
シフトセンサ８１からは、車両９の変速装置のシフトレバーの操作の位置、すなわち、”Ｐ（駐車）”，”Ｄ（前進）”，”Ｎ（中立）”，”Ｒ（後退）”などのシフトポジションが入力される。車速センサ８２からは、その時点の車両９の走行速度（ｋｍ／ｈ）が入力される。
【００４９】
方向指示器８３からは、ウインカースイッチの操作に基づく方向指示、すなわち、車両のドライバが意図する方向指示を示すターン信号が入力される。ウインカースイッチが操作されたときはターン信号が発生し、ターン信号はその操作された方向（左方向あるいは右方向）を示すことになる。ウインカースイッチが中立位置となったときは、ターン信号はオフとなる。
【００５０】
＜１−２．撮影部＞
次に、画像処理装置１００の撮影部５について詳細に説明する。撮影部５は、制御部１に電気的に接続され、制御部１からの信号に基づいて動作する。
【００５１】
撮影部５は、車載カメラであるフロントカメラ５１、バックカメラ５２及びサイドカメラ５３を備えている。これらの車載カメラ５１，５２，５３はそれぞれ、ＣＣＤやＣＭＯＳなどの撮像素子を備えており電子的に画像を取得する。
【００５２】
図２は、車載カメラ５１，５２，５３が車両９に配置される位置を示す図である。なお、以下の説明においては、方向及び向きを示す際に、適宜、図中に示す３次元のＸＹＺ直交座標を用いる。このＸＹＺ軸は車両９に対して相対的に固定される。ここで、Ｘ軸方向は車両９の左右方向に沿い、Ｙ軸方向は車両９の直進方向（前後方向）に沿い、Ｚ軸方向は鉛直方向に沿っている。また、便宜上、＋Ｘ側を車両９の右側、＋Ｙ側を車両９の後側、＋Ｚ側を上側とする。
【００５３】
フロントカメラ５１は、車両９の前端にあるナンバープレート取付位置の近傍に設けられ、その光軸５１ａは車両９の直進方向（平面視でＹ軸方向の−Ｙ側）に向けられている。バックカメラ５２は、車両９の後端にあるナンバープレート取付位置の近傍に設けられ、その光軸５２ａは車両９の直進方向の逆方向（平面視でＹ軸方向の＋Ｙ側）に向けられている。また、サイドカメラ５３は、左右のドアミラー９３にそれぞれ設けられており、その光軸５３ａは車両９の左右方向（平面視でＸ軸方向）に沿って外部に向けられている。なお、フロントカメラ５１やバックカメラ５２の取り付け位置は、左右略中央であることが望ましいが、左右中央から左右方向に多少ずれた位置であってもよい。
【００５４】
これらの車載カメラ５１，５２，５３のレンズとしては魚眼レンズなどが採用されており、車載カメラ５１，５２，５３は１８０度以上の画角αを有している。このため、４つの車載カメラ５１，５２，５３を利用することで、車両９の全周囲の撮影が可能となっている。
【００５５】
＜１−３．画像変換処理＞
次に、画像生成部３の合成画像生成部３１が、撮影部５で得られた複数の撮影画像に基づいて車両９の周辺を任意の仮想視点からみた様子を示す合成画像を生成する手法について説明する。合成画像を生成する際には、不揮発性メモリ４０に予め記憶された車種別データ４ａが利用される。図３は、合成画像を生成する手法を説明するための図である。
【００５６】
撮影部５のフロントカメラ５１、バックカメラ５２及びサイドカメラ５３で同時に撮影が行われると、車両９の前方、後方、左側方、及び、右側方をそれぞれ示す４つの撮影画像Ｐ１〜Ｐ４が取得される。すなわち、撮影部５で取得される４つの撮影画像Ｐ１〜Ｐ４には、撮影時点の車両９の全周囲を示す情報が含まれていることになる。
【００５７】
次に、４つの撮影画像Ｐ１〜Ｐ４の各画素が、仮想的な三次元空間における立体曲面ＳＰに投影される。立体曲面ＳＰは、例えば略半球状（お椀形状）をしており、その中心部分（お椀の底部分）が車両９が存在する位置として定められている。撮影画像Ｐ１〜Ｐ４に含まれる各画素の位置と、この立体曲面ＳＰの各画素の位置とは予め対応関係が定められている。このため、立体曲面ＳＰの各画素の値は、この対応関係と撮影画像Ｐ１〜Ｐ４に含まれる各画素の値とに基づいて決定できる。
【００５８】
撮影画像Ｐ１〜Ｐ４の各画素の位置と立体曲面ＳＰの各画素の位置との対応関係は、車両９における４つの車載カメラ５１，５２，５３の配置（相互間距離、地上高さ、光軸角度等）に依存する。このため、この対応関係を示すテーブルデータが、不揮発性メモリ４０に記憶された車種別データ４ａに含まれている。
【００５９】
また、車種別データ４ａに含まれる車体の形状やサイズを示すポリゴンデータが利用され、車両９の三次元形状を示すポリゴンモデルである車両像を仮想的に備えている。構成された車両像は、立体曲面ＳＰが設定される三次元空間において、車両９の位置と定められた略半球状の中心部分に配置される。
【００６０】
さらに、立体曲面ＳＰが存在する三次元空間に対して、制御部１により仮想視点ＶＰが設定される。仮想視点ＶＰは、視点位置と視野方向とで規定され、この三次元空間における車両９の周辺に相当する任意の視点位置に任意の視野方向に向けて設定される。
【００６１】
そして、設定された仮想視点ＶＰに応じて、立体曲面ＳＰにおける必要な領域が画像として切り出される。仮想視点ＶＰと、立体曲面ＳＰにおける必要な領域との関係は予め定められており、テーブルデータとして不揮発性メモリ４０等に予め記憶されている。一方で、設定された仮想視点ＶＰに応じてポリゴンで構成された車両像に関してレンダリングがなされ、その結果となる二次元の車両像が、切り出された画像に対して重畳される。これにより、車両９及びその車両９の周辺を任意の仮想視点からみた様子を示す合成画像が生成されることになる。
【００６２】
例えば、視点位置が車両９の位置の略中央の直上位置で、視野方向が略直下方向とした仮想視点ＶＰ１を設定した場合は、車両９の略直上から車両９を見下ろすように、車両９（実際には車両像）及び車両９の周辺の様子を示す合成画像ＣＰ１が生成される。また、図中に示すように、視点位置が車両９の位置の左後方で、視野方向が車両９における略前方とした仮想視点ＶＰ２を設定した場合は、車両９の左後方からその周辺全体を見渡すように、車両９（実際には車両像）及び車両９の周辺の様子を示す合成画像ＣＰ２が生成される。
【００６３】
なお、実際に合成画像を生成する場合においては、立体曲面ＳＰの全ての画素の値を決定する必要はなく、設定された仮想視点ＶＰに対応して必要となる領域の画素の値のみを撮影画像Ｐ１〜Ｐ４に基づいて決定することで、処理速度を向上できる。
【００６４】
＜１−４．動作モード＞
次に、画像表示システム１２０の動作モードについて説明する。図４は、画像表示システム１２０の動作モードの遷移を示す図である。画像表示システム１２０は、ナビモードＭ１、フロントモードＭ２、バックモードＭ３、及び、縦列駐車モードＭ４の４つの動作モードを有している。これらの動作モードは、ユーザの操作や車両９の走行状態に応じて制御部１の制御により切り替えられるようになっている。
【００６５】
ナビモードＭ１は、ナビゲーション装置２０の機能により、ナビゲーション案内用の地図画像ＮＰを主にディスプレイ２１に表示する動作モードである。ナビモードＭ１では、画像処理装置１００の機能が利用されず、ナビゲーション装置２０単体の機能で各種の表示がなされる。
【００６６】
フロントモードＭ２、バックモードＭ３、及び、縦列駐車モードＭ４は、画像処理装置１００の機能を利用して、撮影画像ＰＰ、合成画像ＣＰ及びＣＱ０、運転サポート画像ＰＨ０などをディスプレイ２１に表示して、車両９の周辺の状況をほぼリアルタイムでユーザに示す動作モードである。
【００６７】
また、フロントモードＭ２は、前進時に必要となる車両９の前方や側方を主に示す画像を表示する動作モードである。例えば、図中に示すように、車両９の直上の仮想視点からみた車両９及び車両９の周辺の様子を示す合成画像（俯瞰画像）ＣＰ、つまり、仮想的に俯瞰した画像と、フロントカメラ５１での撮影により得られる撮影画像ＰＰとが同時にディスプレイ２１に表示される。この合成画像ＣＰの仮想視点の位置は、車両９の直上に限らず、ユーザの操作に応じて車両９の後方側などへ切り替えられるようになっていてもよい。さらに、フロントモードＭ２は、自車の中心に周囲２〜３ｍの範囲を俯瞰画像として表示したモードである。
【００６８】
また、バックモードＭ３は、後退時に必要となる車両９の後方を主に示す画像を表示する動作モードである。例えば、図中に示すように、車両９の直上の仮想視点からみた車両９及び車両９の周辺の様子を示す合成画像（俯瞰画像）ＣＰと、バックカメラ５２での撮影により得られる撮影画像ＰＰとが同時にディスプレイ２１に表示される。この合成画像ＣＰの仮想視点の位置は、車両９の直上に限らず、ユーザの操作に応じて車両９の前方側などへ切り替えられるようになっていてもよい。
【００６９】
さらに、縦列駐車モードＭ４は、ユーザが車両９を縦列駐車する際にユーザの運転操作をサポートするモードである。例えば、図中に示すように、車両９の直上の仮想視点からみた車両９、車両９の先端部から車両９の左右方向に延びる線上のポイントを表示する指標ＭＡ、及び、車両９の周辺の様子を示す画像が合成画像俯瞰画像）ＣＱ０として表示される。
【００７０】
詳細には縦列駐車モードＭ４は、フロントモードＭ２の縦列駐車ボタン２０２をユーザが操作することにより開始される。そして、縦列駐車モードＭ４では、フロントモードＭ２で表示されていた車両９と車両９の周辺の様子を示す合成画像俯瞰画像）ＣＰに、車両９の先端部から車両９の左右方向に延びる線上のポイントを表示する指標ＭＡが加わり、合成画像ＣＱとして表示される。
【００７１】
なお、以下では、図中の車両９の右側の指標を指標ＭＲとし、車両９の左側の指標を指標ＭＬとし、これら２つの指標を合わせて指標ＭＡという。
【００７２】
また、ユーザの運転操作の情報を合成画像ＣＱ０の表示と関連付けて表示する運転サポート画像ＰＨ０も合成画像ＣＱ０と同時にディスプレイに表示される。つまり、フロントモードＭ２の縦列駐車ボタン２０２をユーザが操作すると、フロントモードＭ２で表示されていた撮影画像ＰＰが運転サポート画像ＰＨ０に切り替わる。
【００７３】
各モードの遷移は、ナビモードＭ１において、ナビゲーション装置２０のディスプレイ２１に表示される駐車支援ボタン２０１をユーザが操作した場合、または、ユーザが操作部２２を操作した場合など、所定操作によりフロントモードＭ２に切り替えられる。また、フロントモードＭ２において、ユーザの操作部２２による操作などの所定操作により、ナビモードＭ１に切り替えられる。なお、ナビモードＭ１とフロントモードＭ２とは、車速センサ８２から入力される走行速度に応じて切り替えてもよい。
【００７４】
また、ナビモードＭ１あるいはフロントモードＭ２の場合に、シフトセンサ８１から入力されるシフトポジションが”Ｒ（後退）”となったときは、バックモードＭ３に切り替えられる。すなわち、シフトポジションが”Ｒ（後退）”の場合は、車両９は後退する状態であるため、車両９の後方を主に示すバックモードＭ３に切り替えられる。また、バックモードＭ３の場合に、シフトポジションが”Ｒ（後退）”以外となったときは、バックモードＭ３に切り替えられる直前の動作モードに戻ることになる。なお、バックモードＭ３において、ディスプレイ２１に表示される駐車支援ボタン２０１をユーザが操作した場合は、フロントモードＭ２となる。
【００７５】
そして、フロントモードＭ２において、ディスプレイ２１に表示された縦列駐車ボタン２０２をユーザが操作すると、縦列駐車モードＭ４の画像が画像処理装置１００から出力され、ディスプレイ２１に表示される。また、縦列駐車モードＭ４においてディスプレイ２１の戻るボタン２０３をユーザが操作した場合は、フロントモードＭ２に遷移する。
【００７６】
＜１−５縦列駐車モード＞
以下では、縦列駐車モードＭ４の画像の詳細について説明する。図５は第１の実施の形態の縦列駐車モードＭ４を説明する図である。フロントモードＭ２でユーザにより縦列駐車ボタン２０２が選択されると、縦列駐車モードＭ４の画像（以下、「画像Ｍ４」ともいう。）が画像処理装置１００から出力され、ディスプレイ２１に表示される。なお、以下に説明する縦列駐車モードＭ４の各画像（Ｍ４、Ｍ４１、Ｍ４２、及び、Ｍ４３）は縦列駐車モード内での各画像の遷移であり、ユーザの選択や車両操作に応じてこれらの画像が画像処理装置１００から出力され、ディスプレイ２１に表示される。
【００７７】
画像Ｍ４は、合成画像ＣＱ０の略中心に車両９の画像が表示されている。そして、車両９の先端部には左右方向に延びる線上のポイントの指標ＭＡが表示されており、車両９の右前側方には位置する他車両１９が表示されている。
【００７８】
なお、指標ＭＡは、車両９の右側には指標ＭＲ、車両９の左側には指標ＭＬを備えており、車両９の進行に伴い車両９の同方向に移動する。つまり、合成画像ＣＱ０では車両９の進行に伴い指標ＭＡ指標ＭＲ）が他車両１９の後端部に接近している。このように合成画像ＣＱ０はほぼ車両９及び車両９の周辺領域をほぼリアルタイムに表示する。
【００７９】
また、画像Ｍ４にはビットマップ画像の運転サポート画像ＰＨ０が表示されている。この運転サポート画像ＰＨ０は合成画像ＣＱ０の俯瞰画像と関連付けて車両９のユーザに必要な運転操作の情報を表示する。
【００８０】
そして、ユーザが目視で確認した車両９の駐車スペースの車両９の進行方向に沿った距離の計測を開始する場合、その計測を開始する位置を設定するために、ユーザは画像Ｍ４の地点設定ボタン２０４を選択する。なお、ユーザが戻るボタン２０３を選択すると前のモードであるフロントモードＭ２に遷移する。
【００８１】
縦列駐車モードＭ４の画像Ｍ４１以下、「画像Ｍ４１」ともいう。）は、車両９を他車両１９の方向に進行させて地点設定ボタン２０４をユーザが選択した場合の画像を示している。画像Ｍ４１の合成画像ＣＱ１では、車両９の指標ＭＲが他車両１９の先端部に位置している。このような位置でユーザが地点設定ボタン２０４を選択すると、指標ＭＡ（指標ＭＲおよび指標ＭＬ）は、計測開始位置ＤＡとして設定される。
【００８２】
なお、この計測開始位置ＤＡは、車両９の右側の計測開始位置を計測開始位置ＤＲ、車両９の左側の計測開始位置を計測開始位置ＤＬを備えており、ユーザが選択した位置に指標ＭＲ及び指標ＭＬが、計測開始位置ＤＲ及びＤＬとして固定される。これにより、ユーザは車両からの目視で確認できる駐車スペースと表示された俯瞰画像との関係を車両を移動させながら把握できると共に、ユーザが目視で確認した位置を確実に設定できる。また、ユーザは車両９の位置と計測開始位置ＤＡ及び計測位置ＢＡとの位置を明確に把握できる。
【００８３】
また、ユーザの地点設定ボタン２０４選択による計測開始位置の設置に伴い、車両９の後端部に計測位置ＢＡが設定される。この計測位置ＢＡは、車両９の右側に計測位置ＢＲ、車両９の左側に計測位置ＢＬを備えている。この計測位置ＢＡは車両９の進行に伴って車両９と同方向に移動する。また、画像Ｍ４１では合成画像ＣＱ１の俯瞰画像と関連付けて運転サポート画像ＰＨ１を表示する。なお、ユーザが戻るボタン２０３を操作すると計測開始位置の設定を解除して縦列駐車モードＭ４に遷移する。
【００８４】
画像Ｍ４２は、合成画像ＣＱ２で画像Ｍ４１に示したユーザの操作による計測開始位置の設定に伴う計測位置ＢＡが、車両９の進行後に伴って計測開始位置ＤＡと接触した後に計測開始位置ＤＡから離れた状態を示している。そして、計測位置ＢＡが計測開始位置ＤＡから離れたことで、駐車スペースの車両９の進行方向に沿った距離の計測を開始する。
【００８５】
つまり、車両９の右方向である他車両１９の先端部の方向に延びる位置に固定された計測開始位置ＤＲに、車両９の後端部の右方向に延びる線上の計測位置ＢＲが接触して、計測開始位置ＤＲから離れている。同時に、他車両１９の先端部の左方向に延びる位置に固定された計測開始位置ＤＬに、車両９の後端部の左方向に延びる線上の計測位置ＢＬが接触した後、計測開始位置ＤＬから離れている。そして、各計測位置が計測開始位置に接触して離れた直後に、距離の導出を開始する。
【００８６】
距離を導出している際の画像表示としては図中に示すように計測開始位置ＤＲと計測位置ＢＲとを結ぶ距離ラインＬＲ、計測開始位置ＤＬと計測位置ＢＬとを結ぶ距離ラインＬＬとで表示される。これにより、ユーザは駐車スペースの距離の導出タイミングを知ることができ、距離の導出開始後のステアリングの不要な操作をなくすことで、正確な距離の導出が可能となる。また、ユーザは車両９の位置と駐車スペースとの位置関係を明確に把握できる。
【００８７】
また、画像Ｍ４１は合成画像ＣＱ２の俯瞰画像と関連付けて運転サポート画像ＰＨ１を表示する。なお、ユーザが戻るボタン２０３を操作すると計測開始位置の設定を解除して縦列駐車モードＭＡに遷移する。
【００８８】
画像Ｍ４３は、合成画像ＣＱ３で車両９の後端部の計測位置ＢＡの位置と、他車両１９の先端部の位置に固定した計測開始位置ＤＡの位置との距離が予め定めた車両９の駐車に必要な距離以上となったことを示している。図中に示すように車両９の駐車に必要な距離になったことを示してユーザへ報知するために、距離ラインＬＲ、ＬＬの表示色を距離を計測中の場合と必要距離以上となった場合とで変更する。このような制御は、報知制御部１４によりなされる。これにより、車両９の位置と駐車スペースとの位置関係を明確にして、駐車スペースの距離を精度よくユーザへ知らせることができる。この計測している距離が必要距離以上となったことのユーザへの報知は、画像表示や音声出力などによってなされてもよい。
【００８９】
また、このように駐車スペースの車両９の進行方向に沿った距離が車両９の駐車に必要な距離となった場合は、ユーザは画像Ｍ４３に表示されている車両位置確定ボタン２０５を操作して、駐車スペースの選択及び駐車動作を開始する。これにより、ユーザは駐車に必要な距離となった車両９の位置からすぐに駐車動作を開始できる。
【００９０】
なお、画像Ｍ４３では合成画像ＣＱ３の俯瞰画像と関連付けて運転サポート画像ＰＨ３を表示する。このように画像処理装置１００は、各合成画像と関連付けて運転サポート画像を出力してディスプレイ２１に表示することで、駐車に必要な距離を導出する場合にユーザが行う運転操作を合成画像と一緒に確認できる。また、画像Ｍ４、画像Ｍ４１、画像Ｍ４２、及び、画像Ｍ４３では各合成画像と関連付けて表示する運転サポート画像に合わせて運転操作のポイントを文字で表示し、必要な運転操作を表示している。なお、ユーザが戻るボタン２０３を操作すると計測開始位置の設定を解除して縦列駐車モードＭ４に遷移する。
【００９１】
＜２．処理＞
次に画像処理装置１００の処理について説明する。図６は画像処理装置１００の処理フローチャートである。画像処理装置１００はユーザからの駐車支援ボタン２０１の操作信号を受信した場合（ステップＳ１０１がＹｅｓ）、フロントモードＭ２の画像を出力してステップＳ１０３の処理へ進む。なお、画像処理装置１００がユーザからの駐車支援ボタン２０１の操作信号を受信していない場合（ステップＳ１０１がＮｏ）は、処理を終了する。
【００９２】
ステップＳ１０３では、画像処理装置１００がユーザからの縦列駐車ボタン２０２の操作信号を受信した場合（ステップＳ１０３がＹｅｓ）、縦列駐車モードＭ４の画像を出力して（ステップＳ１０４）、ステップＳ１０５の処理へ進む。なお、縦列駐車ボタン２０２の操作信号を画像処理装置１００が受信していない場合（ステップＳ１０３がＮｏ）は、フロントモードＭ２の画像出力を継続する。
【００９３】
ステップＳ１０５では、ユーザの操作による指標ＭＡを用いた計測開始位置ＤＡの設定信号を画像処理装置１００が受信している場合（ステップＳ１０５がＹｅｓ）は、指標ＭＡの地点を計測開始位置ＤＡとして設定して（ステップＳ１０６）ステップＳ１０７の処理へ進む。
【００９４】
なお、画像処理装置１００が計測開始位置ＤＡの設定信号を受信していない場合（ステップＳ１０５がＮｏ）の場合は縦列駐車モードＭ４の画像を継続して表示する。なお、ユーザの操作に応じてフロントモードＭ２や縦列駐車モードＭ４などの他の画像に切り替えるようにしてもよい。
【００９５】
ステップＳ１０７では、ユーザの選択により計測開始位置を設定したことに伴い、車両９の特定部位に基づいて計測位置ＢＡを出力するステップＳ１０７）。計測位置ＢＡは、例えば車両９の後端部から車両９の左右方向に延びる線上のポイントを表示する指標である。
【００９６】
そして、画像処理装置１００は、車両９の進行に伴い車両９の後端部に表示された計測位置ＢＡがユーザの選択した地点に固定された計測開始位置ＤＡと接触した後に、計測開始位置ＤＡから離れたことを検出した場合（ステップＳ１０８がＹｅｓ）に、計測開始位置ＤＡから計測位置ＢＡ間の距離の計測を開始する（ステップＳ１０９）。
【００９７】
そして、更なる車両９の移動により、計測距離が所定の距離以上（例えば、車両９の全長の１．５倍以上）となった場合（ステップＳ１１０がＹｅｓ）、画像処理装置１００は、計測距離が所定の距離以上となったことを画像や音声でユーザへ報知して（ステップＳ１１１）、ステップＳ１１２の処理へ進む。
【００９８】
なお、ステップＳ１０８において、計測位置ＢＡが計測開始位置ＤＡから離れたことを検出していない場合（ステップＳ１０８）は、距離の計測は開始せずに縦列駐車モードＭ４において、ほぼリアルタイムの画像を出力する。
【００９９】
さらに、ステップＳ１１０において、計測距離が所定の距離以上となっていない場合は、距離の計測を継続して行う。なお、ユーザの操作に応じてフロントモードＭ２や縦列駐車モードＭ４などの他の画像に切り替えるようにしてもよい。
【０１００】
ステップＳ１１２の処理では、車両９の駐車に必要な距離となったことをユーザが確認して、ユーザが車両位置確定ボタン２０５を操作したことによる車両位置確定信号を画像処理装置１００が受信した場合（ステップＳ１１３がＹｅｓ）は、ユーザの操作により距離の計測が完了した領域を車両９の駐車領域として設定する駐車領域設定画像を出力する。
【０１０１】
この駐車領域の設定は一辺が車両９の全長の約１．５倍の長さで、他辺が車両９の車幅の約１．２倍の長さを有する略長方形の領域をユーザの操作により車両９を駐車する駐車スペースの位置に設定する。なお、ステップ１１２において、画像処理装置１００が車両位置確定信号を受信していない場合（ステップＳ１１２がＮｏ）は、そのままの画像を表示する。なお、ユーザの操作に応じてフロントモードＭ２や縦列駐車モードＭ４などの他の画像に切り替えるようにしてもよい。
【０１０２】
そして、ユーザが駐車領域を設定した旨の信号を画像処理装置１００が受信した場合（ステップＳ１１４がＹｅｓ）、画像処理装置は、画像や音声を用いてユーザが駐車スペースへ車両９を駐車する運転操作を支援する駐車支援画像を出力して（ステップＳ１１５）、ステップＳ１１６の処理へ進む。この駐車支援画像の例としては、車両を後退させる際のガイド線やステアリングを操作する位置や角度を指示するものである。
【０１０３】
なお、ステップＳ１１４において、ユーザの操作による駐車位置確定した旨の信号を画像処理装置１００が受信していない場合（ステップＳ１１４がＮｏ）は、そのままの画像を表示する。なお、ユーザの操作に応じてフロントモードＭ２や縦列駐車モードＭ４などの他の画像に切り替えるようにしてもよい。
【０１０４】
ステップＳ１１６では、ユーザの駐車動作により車両９の車両全体がステップＳ１１４で設定した駐車領域内に移動した場合に、ナビゲーション装置２０などからの車両９の一情報による駐車完了信号を画像処理装置１００が受信した場合（ステップＳ１１６）、画像処理装置１００は、駐車が完了したことを画像や音声によりユーザへ報知する（ステップＳ１１７）。
【０１０５】
なお、駐車完了信号を画像処理装置１００が受信していない場合（ステップＳ１１６がＮｏ）は、駐車支援画像の出力を継続する。なお、ユーザの操作に応じてフロントモードＭ２や縦列駐車モードＭ４などの他の画像に切り替えるようにしてもよい。
【０１０６】
＜第２の実施の形態＞
次に、第２の実施の形態について説明する。第２の実施の形態の縦列駐車モードＭ５では、ユーザの操作により指標ＭＡが計測開始位置ＤＡとして設定された場合に、第１の実施の形態では車両９の後端部に位置していた計測位置ＢＡを、車両９の先端部に設けている。第２の実施の形態の画像表示システム１２０の構成及び処理は、第１の実施の形態とほぼ同様であるが、一部相違する。このため以下、相違点を中心に説明する。
【０１０７】
図７は第２の実施の形態の縦列駐車モードＭ４ａを説明する図である。なお、以下では縦列駐車モードＭ４ａ、Ｍ４１ａ、Ｍ４２ａ、Ｍ４３ａを画像Ｍ４ａ、画像４１ａ、画像４２ａ、及び、画像４３ａともいう。
【０１０８】
画像処理装置１００は、フロントモードＭ２の縦列駐車ボタン２０２がユーザにより操作された信号を受信した場合、画像Ｍ４ａを出力する。
【０１０９】
画像Ｍ４ａは、合成画像ＣＱ１０で指標ＭＡ（指標ＭＲ及びＭＬ）を車両９の先端部に表示し、車両９の進行に伴い指標ＭＡは他車両１９の方向に進行している。
【０１１０】
画像Ｍ４１ａは、合成画像ＣＱ１１で指標ＭＡが他車両１９の先端部に位置しており、ユーザが地点設定ボタン２０４を操作すると、指標ＭＡは計測開始位置ＤＡとしてその地点に固定される。
【０１１１】
また、ユーザの地点設定ボタン２０４の選択による計測開始位置の設定に伴い、車両９の先端部に計測位置ＢＡａが設定される。なお、この計測位置ＢＡａは車両９の右側の計測位置を計測位置ＢＲａ、車両９の左側の計測位置を計測位置ＢＬａとして備える。この計測位置ＢＡａは車両９の進行に伴って同方向に移動する。
【０１１２】
画像Ｍ４２ａは、合成画像ＣＱ１２でユーザの操作による計測開始位置ＤＡの設定に伴う計測位置ＢＡａが、車両９の進行に伴って計測開始位置ＤＡと接触した後に計測開始位置ＤＡから離れた状態を示している。そして、計測位置ＢＡａが計測開始位置ＤＡをから離れたことで、駐車スペースの車両９の進行方向に沿った距離の計測を開始する。
【０１１３】
つまり、車両９の右方向である他車両１９の先端部の方向に延びる位置に固定された計測開始位置ＤＲに、車両９の先端部の右方向に延びる線上の計測位置ＢＲａが接触して、計測開始位置ＤＲから離れている。同時に、他車両１９の先端部の左方向に延びる位置に固定された計測開始位置ＤＬに、車両９の後端部の左方向に延びる線上の計測位置ＢＬａが接触した後、計測開始位置ＤＬから離れている。そして、各計測位置が計測開始位置に接触して離れた直後に、距離の導出を開始する。
【０１１４】
距離を導出している際の画像表示としては図中に示すように計測開始位置ＤＲと計測位置ＢＲとを結ぶ距離ラインＬＲａ、計測開始位置ＤＬと計測位置ＢＬとを結ぶ距離ラインＬＬａとで表示される。これにより、ユーザは距離を導出している間に、車両９の移動に伴って駐車スペースの状態を目視で確認できる。
【０１１５】
画像４３ａでは、図中に示すように車両９の駐車に必要な距離になったことをユーザへ報知するために、距離ラインＬＲａ、ＬＬａの表示色を距離を計測中の場合と必要距離以上となった場合とで変更されている。
＜変形例＞
以下、変形例について説明する。なお、上記の実施の形態、及び、下記で説明する形態を含む全ての形態は適宜に組み合わせ可能である。
【０１１６】
上記の実施の形態では、ユーザが車両９を駐車するスペースの距離を測定する場合について述べたが、駐車スペース以外に、ユーザの任意の区間の距離を測定することもできる。この場合、ユーザの操作によりナビゲーション装置２０のディスプレイ２１に表示される表示中に車両９の周辺領域におけるユーザの任意の区間の始点となる位置に第１基準位置を位置設定制御部１２が設定をする。
【０１１７】
次に、第１基準位置の設定に伴い、位置設定制御部１２は車両９の特定部位に基づく第２基準位置を設定する。そして、距離導出制御部１３が第１基準位置と第２基準位置との距離である第１距離を導出する。
【０１１８】
次に、車両９の移動によって変化する第１距離に関する情報を報知制御部１４が画像や音声により報知する。例えば、ユーザへの報知は車両９の移動によってディスプレイ２１に距離の表示をするなどである。これにより、車両９のユーザが任意の位置からの距離の計測を行いたい場合に正確に計測することができる。
【０１１９】
上記の実施の形態では、縦列駐車の場合の処理について述べたが、これらの各実施の形態の内容を並列駐車の場合に適用することも可能である。
【０１２０】
また、上記の実施の形態では車両９の先端部から左右方向に延びる線上の指標である指標ＭＡは車両の右側の指標ＭＲと車両の左側の指標ＭＬについて述べたが、予めユーザの選択により車両９を駐車させる方向が右か左か決定されている場合は、ユーザが選択した方向に指標を表示する。つまり、ユーザの選択が右側の場合は車両右側の指標ＭＲをディスプレイ２１に表示し、ユーザの選択が左側の場合は指標ＭＬをディスプレイ２１に表示する。
【０１２１】
さらに、ユーザにより車両９を駐車させる方向が選択された場合に表示される指標と同じ方向で計測開始位置を設定し、計測開始位置の設定に伴う計測位置も同じ方向に表示する。つまり、車両９の右側が選択された場合は指標ＭＲを表示し、ユーザが指標ＭＲの計測開始位置を設定すると、指標ＭＲと同じ車両９の右側に計測開始位置ＤＲを表示する。そして、計測開始位置設定に伴い、車両９の右側に計測位置ＢＲ（またはＢＲａ）を表示して距離の計測を行う。
【０１２２】
さらに、車両９の左側が選択された場合は、指標ＭＬを表示し、ユーザが指標ＭＬの計測開始位置を設定すると、指標ＭＬと同じ車両９の左側に計測開始位置ＤＬを表示する。そして、計測開始位置設定に伴い、車両９の左側に計測位置ＢＬａを表示して距離の計測を行う。
【０１２３】
また、指標ＭＡの位置は、ユーザの操作で車両９の先端部以外の位置に移動させて計測開始位置ＤＡを設定することも可能である。
【０１２４】
さらに、上記の実施の形態の俯瞰画像は複数のカメラの撮影画像により生成された合成画像以外に一のカメラにより生成された俯瞰画像であってもよい。
【符号の説明】
【０１２５】
１・・・・制御部
３・・・・画像生成部
５・・・・撮影部
２０・・・ナビゲーション装置
４０・・・不揮発性メモリ
４１・・・信号入力部
４２・・・ナビ通信部
８１・・・シフトセンサ
８２・・・車速センサ
８３・・・方向指示器
【特許請求の範囲】
【請求項１】
車両に搭載される画像表示システムであって、
前記車両に配置されたカメラで得られる撮影画像から、前記車両及び前記車両の周辺領域を俯瞰した俯瞰画像を生成する生成手段と、
前記俯瞰画像を表示する表示手段と、
前記俯瞰画像の表示手段における表示中にユーザの操作を受け付けて、前記車両の周辺領域における第１基準位置を設定する設定手段と、
前記車両の特定部位に基づく第２基準位置と前記第１基準位置との距離である第１距離を導出する導出手段と、
前記車両の移動によって変化する前記第１距離に関する情報を前記ユーザに報知する報知手段と、
を備えることを特徴とする画像表示システム。
【請求項２】
請求項１に記載の画像表示システムにおいて、
前記報知手段は、前記車両の移動により前記第１距離が前記車両の駐車に必要な第２距離以上となった場合に前記ユーザに報知すること、
を特徴とする画像表示システム。
【請求項３】
請求項１または２に記載の画像表示システムにおいて、
前記表示手段は、前記第１基準位置を設定する場合において、前記車両の先端部から前記車両の左右方向に延びる線上のポイントを指標で表示することを特徴とする画像表示システム。
【請求項４】
請求項１乃至３のいずれかに記載の画像表示システムにおいて、
前記導出手段は、前記車両の後端部に基づく位置である第２基準位置と前記第１基準位置との距離である第１距離を導出すること、
を特徴とする画像表示システム。
【請求項５】
請求項１乃至３のいずれかに記載の画像表示システムにおいて、
前記導出手段は、前記車両の先端部に基づく位置である第２基準位置と前記第１基準位置との距離である第１距離を導出すること、
を特徴とする画像表示システム。
【請求項６】
請求項１乃至５のいずれかに記載の画像表示システムにおいて、
前記導出手段は、前記車両の進行に伴い移動する前記第２基準位置が前記第１基準位置と接触した後に前記第１基準位置から離れた場合に前記第１距離の導出を開始すること、
を特徴とする画像表示システム。
【請求項７】
請求項１乃至６のいずれかに記載の画像表示システムにおいて、
前記表示手段は、前記第１距離の導出に必要となるユーザの運転操作情報を前記俯瞰画像と関連付けて表示すること、
を特徴とする画像表示システム。
【請求項８】
車両に搭載された表示装置に表示させる画像を生成する画像処理装置であって、
前記車両に配置されたカメラで得られる撮影画像から、前記車両及び前記車両の周辺領域を俯瞰した俯瞰画像を生成する生成手段と、
前記俯瞰画像を前記表示装置に出力して表示させる出力手段と、
前記俯瞰画像の表示手段における表示中にユーザの操作を受け付けて、前記車両の周辺領域における第１基準位置を設定する設定手段と、
前記車両の特定部位に基づく第２基準位置と前記第１基準位置との距離である第１距離を導出する導出手段と、
前記車両の移動によって変化する前記第１距離に関する情報を前記ユーザに報知する報知手段と、
を備えることを特徴とする画像処理装置。
【請求項９】
車両に搭載される画像表示方法であって、
前記車両に配置されたカメラで得られる撮影画像から、前記車両及び前記車両の周辺領域を俯瞰した俯瞰画像を生成する工程と、
前記俯瞰画像を表示する工程と、
前記俯瞰画像の表示手段における表示中にユーザの操作を受け付けて、前記車両の周辺領域における第１基準位置を設定する工程と、
前記車両の特定部位に基づく第２基準位置と前記第１基準位置との距離である第１距離を導出する工程と、
前記車両の移動によって変化する前記第１距離に関する情報を前記ユーザに報知する工程と、
を備えることを特徴とする画像表示方法。
【請求項１０】
車両に搭載される画像表示システムであって、
前記車両に配置されたカメラで得られる撮影画像から生成される前記車両及び前記車両の周辺領域を俯瞰した俯瞰画像を表示装置に出力して表示させる出力手段と、
前記俯瞰画像に示される前記車両の周辺領域に相対固定される第１基準マークと、前記俯瞰画像に示される前記車両に相対固定される第２基準マークとを、前記俯瞰画像に重畳する重畳手段と、
前記車両の移動により、前記第１基準マークと前記第２基準マークとの距離が所定距離以上になると前記ユーザに報知する報知手段と、
を備えることを特徴とする画像表示システム。
【請求項１】
車両に搭載される画像表示システムであって、
前記車両に配置されたカメラで得られる撮影画像から、前記車両及び前記車両の周辺領域を俯瞰した俯瞰画像を生成する生成手段と、
前記俯瞰画像を表示する表示手段と、
前記俯瞰画像の表示手段における表示中にユーザの操作を受け付けて、前記車両の周辺領域における第１基準位置を設定する設定手段と、
前記車両の特定部位に基づく第２基準位置と前記第１基準位置との距離である第１距離を導出する導出手段と、
前記車両の移動によって変化する前記第１距離に関する情報を前記ユーザに報知する報知手段と、
を備えることを特徴とする画像表示システム。
【請求項２】
請求項１に記載の画像表示システムにおいて、
前記報知手段は、前記車両の移動により前記第１距離が前記車両の駐車に必要な第２距離以上となった場合に前記ユーザに報知すること、
を特徴とする画像表示システム。
【請求項３】
請求項１または２に記載の画像表示システムにおいて、
前記表示手段は、前記第１基準位置を設定する場合において、前記車両の先端部から前記車両の左右方向に延びる線上のポイントを指標で表示することを特徴とする画像表示システム。
【請求項４】
請求項１乃至３のいずれかに記載の画像表示システムにおいて、
前記導出手段は、前記車両の後端部に基づく位置である第２基準位置と前記第１基準位置との距離である第１距離を導出すること、
を特徴とする画像表示システム。
【請求項５】
請求項１乃至３のいずれかに記載の画像表示システムにおいて、
前記導出手段は、前記車両の先端部に基づく位置である第２基準位置と前記第１基準位置との距離である第１距離を導出すること、
を特徴とする画像表示システム。
【請求項６】
請求項１乃至５のいずれかに記載の画像表示システムにおいて、
前記導出手段は、前記車両の進行に伴い移動する前記第２基準位置が前記第１基準位置と接触した後に前記第１基準位置から離れた場合に前記第１距離の導出を開始すること、
を特徴とする画像表示システム。
【請求項７】
請求項１乃至６のいずれかに記載の画像表示システムにおいて、
前記表示手段は、前記第１距離の導出に必要となるユーザの運転操作情報を前記俯瞰画像と関連付けて表示すること、
を特徴とする画像表示システム。
【請求項８】
車両に搭載された表示装置に表示させる画像を生成する画像処理装置であって、
前記車両に配置されたカメラで得られる撮影画像から、前記車両及び前記車両の周辺領域を俯瞰した俯瞰画像を生成する生成手段と、
前記俯瞰画像を前記表示装置に出力して表示させる出力手段と、
前記俯瞰画像の表示手段における表示中にユーザの操作を受け付けて、前記車両の周辺領域における第１基準位置を設定する設定手段と、
前記車両の特定部位に基づく第２基準位置と前記第１基準位置との距離である第１距離を導出する導出手段と、
前記車両の移動によって変化する前記第１距離に関する情報を前記ユーザに報知する報知手段と、
を備えることを特徴とする画像処理装置。
【請求項９】
車両に搭載される画像表示方法であって、
前記車両に配置されたカメラで得られる撮影画像から、前記車両及び前記車両の周辺領域を俯瞰した俯瞰画像を生成する工程と、
前記俯瞰画像を表示する工程と、
前記俯瞰画像の表示手段における表示中にユーザの操作を受け付けて、前記車両の周辺領域における第１基準位置を設定する工程と、
前記車両の特定部位に基づく第２基準位置と前記第１基準位置との距離である第１距離を導出する工程と、
前記車両の移動によって変化する前記第１距離に関する情報を前記ユーザに報知する工程と、
を備えることを特徴とする画像表示方法。
【請求項１０】
車両に搭載される画像表示システムであって、
前記車両に配置されたカメラで得られる撮影画像から生成される前記車両及び前記車両の周辺領域を俯瞰した俯瞰画像を表示装置に出力して表示させる出力手段と、
前記俯瞰画像に示される前記車両の周辺領域に相対固定される第１基準マークと、前記俯瞰画像に示される前記車両に相対固定される第２基準マークとを、前記俯瞰画像に重畳する重畳手段と、
前記車両の移動により、前記第１基準マークと前記第２基準マークとの距離が所定距離以上になると前記ユーザに報知する報知手段と、
を備えることを特徴とする画像表示システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１２−４６１２５（Ｐ２０１２−４６１２５Ａ）
【公開日】平成２４年３月８日（２０１２．３．８）
【国際特許分類】
【出願番号】特願２０１０−１９１９２２（Ｐ２０１０−１９１９２２）
【出願日】平成２２年８月３０日（２０１０．８．３０）
【出願人】（０００２３７５９２）富士通テン株式会社 (3,383)
【Ｆターム（参考）】
【公開日】平成２４年３月８日（２０１２．３．８）
【国際特許分類】
【出願日】平成２２年８月３０日（２０１０．８．３０）
【出願人】（０００２３７５９２）富士通テン株式会社 (3,383)
【Ｆターム（参考）】
[ Back to top ]