画像表示システム、画像処理装置、および、画像表示方法
【課題】車両の駐車の際にステアリングホイールの操作が必要なタイミングをユーザへ報知する技術を提供する。
【解決手段】ユーザの操作に基づいて俯瞰画像中に車両９が駐車すべき駐車領域ＳＡ４１を設定すると、駐車領域ＳＡ４１の位置に相対的に設定される。ユーザがステアリングホイール９１を操作すべき位置を示す第１操作ポイントＰ１１及び第２操作ポイントＰ１２と、車両９に相対的に設定された第１基準マークＭ２１及び第２基準マークＭ２２とが俯瞰画像中に表示される。車両９の移動により第１操作ポイントＰ１１及び第２操作ポイントＰ１２と、第１基準マークＭ２１及び第２基準マークＭ２２とが接触した場合に、ステアリングホイール９１の操作が必要であることをユーザへ報知する。これにより、ユーザは車両９を駐車する際にステアリングホイール９１の操作が必要なタイミングを的確に把握できる。
【解決手段】ユーザの操作に基づいて俯瞰画像中に車両９が駐車すべき駐車領域ＳＡ４１を設定すると、駐車領域ＳＡ４１の位置に相対的に設定される。ユーザがステアリングホイール９１を操作すべき位置を示す第１操作ポイントＰ１１及び第２操作ポイントＰ１２と、車両９に相対的に設定された第１基準マークＭ２１及び第２基準マークＭ２２とが俯瞰画像中に表示される。車両９の移動により第１操作ポイントＰ１１及び第２操作ポイントＰ１２と、第１基準マークＭ２１及び第２基準マークＭ２２とが接触した場合に、ステアリングホイール９１の操作が必要であることをユーザへ報知する。これにより、ユーザは車両９を駐車する際にステアリングホイール９１の操作が必要なタイミングを的確に把握できる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両における画像表示技術に関する。
【背景技術】
【０００２】
従来、車両をユーザの選択した駐車領域に駐車する場合、車両後方のカメラから撮影した画像を表示装置で表示し、車両の進行方向を変化させる操作の必要がある位置にガイド線を表示していた。ユーザは表示装置に表示されたガイド線に車両の後端部が接近した場合、ステアリングホイールを操作して車両の進行方向を変化させていた。なお、本発明と関連する技術を説明する資料としては特許文献１がある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−９３４８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、車両後方のカメラにより撮影された画像では、車両本体が表示されていないため、車両の後端部とガイド線とが接近した状態にあるか否かがわかり難く、駐車動作中のどのタイミングでステアリングホイールの操作を行う必要があるのかの判断が困難であった。
【０００５】
本発明は、車両の駐車の際にステアリングホイールの操作が必要なタイミングをユーザへ報知することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、請求項１の発明は、車両に搭載される画像表示システムであって、前記車両に配置された複数のカメラで得られる撮影画像から、前記車両及び前記車両の周辺領域を俯瞰した俯瞰画像を生成する生成手段と、前記俯瞰画像を表示する表示手段と、ユーザの操作に基づいて前記俯瞰画像中に前記車両が駐車すべき駐車位置を設定する設定手段と、前記駐車位置に相対的に設定され前記ユーザがステアリングホイールを操作すべき位置を示す操作ポイントと、前記車両に相対的に設定された基準マークとを、前記俯瞰画像中に表示する表示制御手段と、前記車両の移動により、前記操作ポイントと前記基準マークとが接触した場合に、前記ステアリングホイールの操作が必要であることをユーザへ報知する報知手段と、を備える。
【０００７】
また、請求項２の発明は、請求項１に記載の画像表示システムにおいて、前記報知手段は、前記ユーザのステアリングホイールの操作量が閾値より大きくなった場合に、前記ステアリングホイールの操作が必要であることの報知を取りやめる。
【０００８】
また、請求項３の発明は、請求項１または２に記載の画像表示システムにおいて、前記報知手段は、前記車両の縦列駐車を行う場合に、前記ステアリングホイールの操作を最初に行うべき前記操作ポイントである第１操作ポイントと、前記車両の側面の一方に設定された前記基準マークである第１基準マークとの接触により、前記ステアリングホイールを操作する必要があることを報知した後に、前記第１操作ポイントの次に前記ステアリングホイールの操作を行うべき前記操作ポイントである第２操作ポイントと、前記車両の側面の他方に設定された前記基準マークである第２基準マークとが接触したときに、前記ステアリングホイールを操作する必要があることを報知する。
【０００９】
また、請求項４の発明は、請求項３に記載の画像表示システムにおいて、前記表示手段は、前記車両の後端部から前記車両が後退する方向に延びるガイド線を表示し、前記ユーザの前記第２操作ポイントにおける前記ステアリングホイールの操作が完了したことに応答して、前記ガイド線の長さを前記第２操作ポイントにおける前記ステアリングホイールの操作前よりも短く表示する。
【００１０】
また、請求項５の発明は、車両に搭載された表示装置に表示させる画像を生成する画像処理装置であって、前記車両に配置された複数のカメラで得られる撮影画像から、前記車両及び前記車両の周辺領域を俯瞰した俯瞰画像を生成する生成手段と、前記俯瞰画像を前記表示装置に出力して表示させる出力手段と、ユーザの操作に基づいて前記俯瞰画像中に前記車両が駐車すべき駐車位置を設定する設定手段と、前記駐車位置に相対的に設定され前記ユーザがステアリングホイールを操作すべき位置を示す操作ポイントと、前記車両に相対的に設定された基準マークとを、前記俯瞰画像中に表示させる表示制御手段と、前記車両の移動により、前記操作ポイントと前記基準マークとが接触した場合に、前記ステアリングホイールの操作が必要であることをユーザへ報知する報知手段と、を備える。
【００１１】
さらに、請求項６の発明は、車両に搭載される画像表示方法であって、前記車両に配置された複数のカメラで得られる撮影画像から、前記車両及び前記車両の周辺領域を俯瞰した俯瞰画像を生成する工程と、前記俯瞰画像を表示する工程と、ユーザの操作に基づいて前記俯瞰画像中に前記車両が駐車すべき駐車位置を設定する工程と、前記駐車位置に相対的に設定され前記ユーザがステアリングホイールを操作すべき位置を示す操作ポイントと、前記車両に相対的に設定された基準マークとを、前記俯瞰画像中に表示する工程と、前記車両の移動により、前記操作ポイントと前記基準マークとが接触した場合に、前記ステアリングホイールの操作が必要であることをユーザへ報知する工程と、を備える。
【発明の効果】
【００１２】
請求項１ないし６の発明によれば、車両の移動により、操作ポイントと基準マークとが接触した場合に、車両のステアリングホイールの操作が必要であることをユーザへ報知することで、ユーザは車両を駐車する際にステアリングホイールの操作が必要なタイミングを的確に把握できる。
【００１３】
また、特に請求項２の発明によれば、報知手段は、ユーザのステアリングホイールの操作量が閾値より大きくなった場合に、ステアリングホイールの操作が必要であることの報知を取りやめることで、ユーザは操作ポイントにおける必要なステアリングホイールの操作が完了したことを把握できる。
【００１４】
また、特に請求項３の発明によれば、報知手段は、車両の縦列駐車を行う場合に車両のステアリング操作を最初に行う操作ポイントである第１操作ポイントと、車両の車体の左右側面のいずれか一方に表示された第１基準マークとの接触により、ステアリングホイールを操作する必要があることを報知した後に、第１操作ポイントの次に車両のステアリング操作を行う第２操作ポイントと、車両の車体の左右側面のいずれか一方で前記第１基準マークとは異なるに側面に設けられた第２基準マークとの接触により、ステアリングホイールを操作する必要があることを報知することで、駐車位置までに複数回ステアリングホイールの操作が必要な縦列駐車において、ユーザは車両の駐車時にステアリングホイールの操作が必要なタイミングを的確に把握できる。
【００１５】
さらに、特に請求項４の発明によれば、設定手段は、ユーザの第２操作ポイントにおけるステアリングホイールの操作が完了したことに応答して、車両が後退する方向に延びるガイド線の長さをユーザが第２の操作ポイントでステアリングホイールを操作する前よりも短く表示することで、ユーザは車両を駐車位置に駐車させる場合の後退距離が明確となり、駐車位置へ確実に駐車できる。
【図面の簡単な説明】
【００１６】
【図１】図１は、画像表示システムのブロック図である。
【図２】図２は、車載カメラが車両に配置される位置を示す図である。
【図３】図３は、合成画像を生成する手法を説明するための図である。
【図４】図４は、画像表示システムの動作モードの遷移を示す図である。
【図５】図５は、特定領域の移動による車両の駐車すべき位置の設定を示す図である。
【図６】図６は、駐車開始位置に車両が到達した場合の操作ポイントと基準マークとの表示を示す図である。
【図７】図７は、操作ポイントと基準マークとが接触した状態を示す図である。
【図８】図８は、ステアリングホイール操作後に表示される操作ポイントと基準マークとの表示を示す図である。
【図９】図９は、ステアリングホイール操作後に表示された操作ポイントと基準マークとが接触した状態を示す図である。
【図１０】図１０は、駐車すべき位置に車両が到達した状態を示す図である。
【図１１】図１１は、画像処理装置の処理フローチャートである。
【図１２】図１２は、画像処理装置の処理フローチャートである。
【図１３】図１３は、ガイド線の長さを短く表示した状態を示す図である。
【発明を実施するための形態】
【００１７】
以下、図面を参照しつつ本発明の実施の形態について説明する。
【００１８】
＜第１の実施の形態＞
＜１−１．システム構成＞
図１は、画像表示システム１２０のブロック図である。この画像表示システム１２０は、車両（本実施の形態では、自動車）に搭載されるものであり、車両の周辺を撮影して画像を生成し、その生成した画像を車室内のナビゲーション装置２０などの表示装置に出力する機能を有している。画像表示システム１２０のユーザ（代表的にはドライバ）は、この画像表示システム１２０を利用することにより、当該車両の周辺の様子をほぼリアルタイムに把握できるようになっている。
【００１９】
図１に示すように、画像表示システム１２０は、車両の周辺を示す周辺画像を生成してナビゲーション装置２０などの表示装置に画像情報を出力する画像処理装置１００と、車両の周囲を撮影するカメラを備えている撮影部５とを主に備えている。
【００２０】
ナビゲーション装置２０は、ユーザに対しナビゲーション案内を行うものであり、タッチパネル機能を備えた液晶などのディスプレイ２１と、ユーザが操作を行う操作部２２と、装置全体を制御する制御部２３とを備えている。ディスプレイ２１の画面がユーザから視認可能なように、ナビゲーション装置２０は車両のインストルメントパネルなどに設置される。ユーザからの各種の指示は、操作部２２とタッチパネルとしてのディスプレイ２１とによって受け付けられる。制御部２３は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えたコンピュータであり、所定のプログラムに従ってＣＰＵが演算処理を行うことでナビゲーション機能を含む各種の機能が実現される。
【００２１】
ナビゲーション装置２０は、画像処理装置１００と通信可能に接続され、画像処理装置１００との間で各種の制御信号の送受信や、画像処理装置１００で生成された周辺画像の受信が可能となっている。ディスプレイ２１には、制御部２３の制御により、通常はナビゲーション装置２０単体の機能に基づく画像が表示されるが、所定の条件下で画像処理装置１００により生成された車両の周辺の様子を示す周辺画像や、車両９及び車両９の周辺領域を俯瞰した俯瞰画像が表示される。また、ディスプレイ２１に表示される俯瞰画像は周辺領域をほぼリアルタイムに示すことになる。これにより、ナビゲーション装置２０は、画像処理装置１００で生成された周辺画像を受信して表示する表示装置としても機能する。
【００２２】
画像処理装置１００は、その本体部１０が周辺画像を生成する機能を有するＥＣＵ（Electronic Control Unit）であり、車両の所定の位置に配置される。画像処理装置１００は、車両の周辺を撮影する撮影部５を備えており、この撮影部５で車両の周辺を撮影して得られる撮影画像に基づいて仮想視点からみた合成画像を生成する画像生成装置として機能する。これらの撮影部５が備える複数の車載カメラ５１，５２，５３は、本体部１０とは別の車両の適位置に配置されるが詳細は後述する。また、車両に搭載されるカメラの搭載位置は、車載カメラ５１，５２，５３の位置に限らず、車両の周辺画像を生成可能な位置であれば、他の位置に複数設けられても良い。
【００２３】
画像処理装置１００の本体部１０は、装置全体を制御する制御部１と、撮影部５で取得された撮影画像を処理して表示用の周辺画像を生成する画像生成部３と、ナビゲーション装置２０との間で通信を行うナビ通信部４２とを主に備えている。
【００２４】
ナビゲーション装置２０の操作部２２やディスプレイ２１によって受け付けられたユーザからの各種の指示は、制御信号としてナビ通信部４２によって受け付けられて制御部１に入力される。これにより、画像処理装置１００は、ナビゲーション装置２０に対するユーザの操作に応答した動作が可能となっている。
【００２５】
また、画像処理装置１００は、駐車支援ボタン２０１を備えている。この駐車支援ボタン２０１がユーザに操作されると、ユーザの指示を示す信号が制御部１に入力されて、後述するフロントモードＭ２（図４に示す。）の画像が表示される。なお、この駐車支援ボタン４５はハードボタンとして画像処理装置１００やナビゲーション装置２０に設けられてもよい。また、駐車支援ボタン４５は、ナビゲーション装置２０のディスプレイ２１にユーザが指などを接触させて操作するタッチパネルのボタンとして表示されるようにしてもよい。
【００２６】
画像生成部３は、各種の画像処理が可能なハードウェア回路として構成されており、合成画像生成部３１、画像範囲選択部３２、及び、画像情報出力部３３を主な機能として備えている。
【００２７】
合成画像生成部３１は、撮影部５の複数の車載カメラ５１，５２，５３で取得された複数の撮影画像に基づいて、車両の周辺の任意の仮想視点からみた合成画像を生成する。合成画像生成部３１が仮想視点からみた合成画像を生成する手法については後述する。
【００２８】
また、画像情報出力部３３は合成画像生成部３１において生成された合成画像情報をナビゲーション装置２０へ出力する。これにより、車両の周辺を示す周辺画像がナビゲーション装置２０のディスプレイ２１に表示されることになる。
【００２９】
制御部１は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えたコンピュータであり、所定のプログラムに従ってＣＰＵが演算処理を行うことで各種の制御機能が実現される。図中に示す画像制御部１１は、このようにして実現される制御部１の機能のうちの一部を示している。
【００３０】
画像制御部１１は、画像生成部３によって実行される画像処理を制御するものである。例えば、画像制御部１１は、合成画像生成部３１が生成する合成画像の生成に必要な各種パラメータなどを指示する。また、画像範囲選択部３２がサイドカメラ５３により撮影した画像の所定範囲を選択するための指示を車種ごとのパラメータの情報に基づいて行う。
【００３１】
また、画像制御部１１は、後述する縦列駐車ボタン２０２（図４に示す。）のユーザの操作に応答して、生成された合成画像中に後述する特定領域ＲＦ１１（図５に示す。）をナビゲーション装置２０に出力してディスプレイ２１に表示させるための制御を行う。
【００３２】
さらに、画像制御部１１は、第１操作ポイントＰ１１（図６に示す。）をディスプレイ２１の俯瞰画像中に表示させる。詳細には、縦列駐車モードＭ４において俯瞰画像中に表示される特定領域ＲＦ１１がユーザの操作に基づいて車両９を駐車すべき駐車位置に設定される。この設定により画像制御部１１は、ユーザがステアリングホイール９１を操作すべき位置を示す第１操作ポイントＰ１１をディスプレイ２１の俯瞰画像中に表示させる。この第１操作ポイントＰ１１は、車両９を駐車すべき駐車位置に相対的に設定される。また、画像制御部１１は、第１操作ポイントＰ１１の表示と併せて車両９に相対的に設定された第１基準マークＭ２１（図６に示す。）をディスプレイ２１の俯瞰画像中に表示させる。
【００３３】
そして、車両９の移動により第１操作ポイントＰ１１と第１基準マークＭ２１とが接触した場合に、ステアリングホイール９１の操作が必要であることをユーザへ報知する処理を行う。これにより、ユーザは車両９を駐車する際にステアリングホイール９１の操作が必要なタイミングを的確に把握できる。
【００３４】
なお、ステアリングホイール９１の操作が必要であることをユーザへ報知する例としては、第１操作ポイントＰ１１の色や大きさなどの表示状態を変化させたり、第１基準マークＭ２１の色や大きさなどの表示状態を変化させたりする。また、後述するガイド線Ｌ３１（図６に示す。）の色や大きさなどの表示状態を変化させるようにしてもよい。
【００３５】
また、画像処理装置１００の本体部１０は、不揮発性メモリ４０、カード読取部４４、及び、信号入力部４１をさらに備えており、これらは制御部１に接続されている。
【００３６】
不揮発性メモリ４０は、電源オフ時においても記憶内容を維持可能なフラッシュメモリなどで構成されている。不揮発性メモリ４０には、車種別データ４ａが記憶されている。車種別データ４ａは、合成画像生成部３１が合成画像を生成する際に必要となる車両の種別に応じたデータなどである。また、縦列駐車モードで表示させる特定領域ＲＦ１１、操作ポイント、及び、基準マークのデータなども記憶されている。
【００３７】
さらに、不揮発性メモリ４０はユーザの操作に基づいて設定された車両９を駐車すべき駐車位置と、駐車位置に相対的に設定された第１操作ポイントＰ１１の位置との位置関係に基づいて、車両９を駐車位置に到達させるためにステアリングホイール９１の必要な操作量を記憶している。ステアリングホイール９１の必要な操作量は、後述するユーザのステアリングホイール９１の操作量の閾値となる。
【００３８】
カード読取部４４は、可搬性の記録媒体であるメモリカードＭＣの読み取りを行う。カード読取部４４は、メモリカードＭＣの着脱が可能なカードスロットを備えており、そのカードスロットに装着されたメモリカードＭＣに記録されたデータを読み取る。カード読取部４４で読み取られたデータは、制御部１に入力される。
【００３９】
メモリカードＭＣは、種々のデータを記憶可能なフラッシュメモリなどで構成されており、画像処理装置１００はメモリカードＭＣに記憶された種々のデータを利用できる。例えば、メモリカードＭＣにプログラムを記憶させ、これを読み出すことで、制御部１の機能を実現するプログラム（ファームウェア）を更新することが可能である。また、メモリカードＭＣに不揮発性メモリ４０に記憶された車種別データ４ａとは異なる種別の車両に応じた車種別データを記憶させ、これを読み出して不揮発性メモリ４０に記憶させることで、画像表示システム１２０を異なる種別の車両に対応させることも可能である。
【００４０】
また、信号入力部４１は、車両に設けられた各種装置からの信号を入力する。この信号入力部４１を介して、画像表示システム１２０の外部からの信号が制御部１に入力される。具体的には、シフトセンサ８１、車速センサ８２、方向指示器８３、及び、操舵角センサ８４などから、各種情報を示す信号が制御部１に入力される。
【００４１】
シフトセンサ８１からは、車両９の変速装置のシフトレバーの操作の位置、すなわち、”Ｐ（駐車）”，”Ｄ（前進）”，”Ｎ（中立）”，”Ｒ（後退）”などのシフトポジションが入力される。車速センサ８２からは、その時点の車両９の走行速度（ｋｍ／ｈ）が入力される。
【００４２】
方向指示器８３からは、ウインカースイッチの操作に基づく方向指示、すなわち、車両のドライバが意図する方向指示を示すターン信号が入力される。ウインカースイッチが操作されたときはターン信号が発生し、ターン信号はその操作された方向（左方向あるいは右方向）を示すことになる。ウインカースイッチが中立位置となったときは、ターン信号はオフとなる。
【００４３】
操舵角センサ８４は、ユーザが操作したステアリングホイール９１の操作方向を制御部１に入力する。詳細には、操舵角センサ８４は、ユーザが操作したステアリングホイール９１の回転方向、回転角度、及び、回転速度を信号入力部４１を介して制御部１に入力する。なお、操舵角センサ８４の信号は車両本体を制御する制御部へも入力される。そして、操舵角センサ８４の入力信号と車速度センサ８２から車両本体を制御する制御部へ入力された信号に基づいて、車両９を操舵する前輪の操舵角と操舵速度が算出され、この算出された値に基づいて車両９の制御が行われる。
【００４４】
また、後述するように、画像処理装置１００は第１操作ポイントＰ１１と第１基準マークＰ２１とが接触した場合に、ステアリングホイール９１の操作が必要であることをユーザへ報知する。そして、報知した後にユーザのステアリングホイール９１の操作量が不揮発性メモリ４０に記録された操作閾値データ４ｂの値よりも大きくなった場合に、ステアリングホイール９１の操作が必要であることの報知を取りやめる。つまり、ユーザのステアリングホイール９１の操作量が閾値より大きくなった場合に、第１操作ポイントＰ１１と第１基準マークＭ２１とが接触したことにより、ステアリングホイール９１の操作が必要であることをユーザへ報知していたことを取り止める。
【００４５】
詳細には、画像処理装置１００は第１操作ポイント１１と第１基準マークＭ２１とが接触したことにより表示状態が変化した第１操作ポイントＰ１１と第１基準マークＭ２１の表示を取り消す処理を行う。また、ガイド線Ｌ３１の色及び大きさの少なくともいずれか一つの表示状態を変化する処理を行って、ディスプレイ２１に表示させている場合は、その表示状態を取り止めて変化する前の状態をディスプレイ２１に表示させる。これにより、ユーザは第１操作ポイントＰ１１における必要なステアリングホイール９１の操作が完了したことを把握できる。
【００４６】
＜１−２．撮影部＞
次に、画像処理装置１００の撮影部５について詳細に説明する。撮影部５は、制御部１に電気的に接続され、制御部１からの信号に基づいて動作する。
【００４７】
撮影部５は、車載カメラであるフロントカメラ５１、バックカメラ５２及びサイドカメラ５３を備えている。これらの車載カメラ５１，５２，５３はそれぞれ、ＣＣＤやＣＭＯＳなどの撮像素子を備えており電子的に画像を取得する。
【００４８】
図２は、車載カメラ５１，５２，５３が車両９に配置される位置を示す図である。なお、以下の説明においては、方向及び向きを示す際に、適宜、図中に示す３次元のＸＹＺ直交座標を用いる。このＸＹＺ軸は車両９に対して相対的に固定される。ここで、Ｘ軸方向は車両９の左右方向に沿い、Ｙ軸方向は車両９の直進方向（前後方向）に沿い、Ｚ軸方向は鉛直方向に沿っている。また、便宜上、＋Ｘ側を車両９の右側、＋Ｙ側を車両９の後側、＋Ｚ側を上側とする。
【００４９】
フロントカメラ５１は、車両９の前端にあるナンバープレート取付位置の近傍に設けられ、その光軸５１ａは車両９の直進方向（平面視でＹ軸方向の−Ｙ側）に向けられている。バックカメラ５２は、車両９の後端にあるナンバープレート取付位置の近傍に設けられ、その光軸５２ａは車両９の直進方向の逆方向（平面視でＹ軸方向の＋Ｙ側）に向けられている。また、サイドカメラ５３は、左右のドアミラー９３にそれぞれ設けられており、その光軸５３ａは車両９の左右方向（平面視でＸ軸方向）に沿って外部に向けられている。なお、フロントカメラ５１やバックカメラ５２の取り付け位置は、左右略中央であることが望ましいが、左右中央から左右方向に多少ずれた位置であってもよい。
【００５０】
これらの車載カメラ５１，５２，５３のレンズとしては魚眼レンズなどが採用されており、車載カメラ５１，５２，５３は１８０度以上の画角αを有している。このため、４つの車載カメラ５１，５２，５３を利用することで、車両９の全周囲の撮影が可能となっている。
【００５１】
＜１−３．画像変換処理＞
次に、画像生成部３の合成画像生成部３１が、撮影部５で得られた複数の撮影画像に基づいて車両９の周辺を任意の仮想視点からみた様子を示す合成画像を生成する手法について説明する。合成画像を生成する際には、不揮発性メモリ４０に予め記憶された車種別データ４ａが利用される。図３は、合成画像を生成する手法を説明するための図である。
【００５２】
撮影部５のフロントカメラ５１、バックカメラ５２及びサイドカメラ５３で同時に撮影が行われると、車両９の前方、後方、左側方、及び、右側方をそれぞれ示す４つの撮影画像Ｐ１〜Ｐ４が取得される。すなわち、撮影部５で取得される４つの撮影画像Ｐ１〜Ｐ４には、撮影時点の車両９の全周囲を示す情報が含まれていることになる。
【００５３】
次に、４つの撮影画像Ｐ１〜Ｐ４の各画素が、仮想的な三次元空間における立体曲面ＳＰに投影される。立体曲面ＳＰは、例えば略半球状（お椀形状）をしており、その中心部分（お椀の底部分）が車両９が存在する位置として定められている。撮影画像Ｐ１〜Ｐ４に含まれる各画素の位置と、この立体曲面ＳＰの各画素の位置とは予め対応関係が定められている。このため、立体曲面ＳＰの各画素の値は、この対応関係と撮影画像Ｐ１〜Ｐ４に含まれる各画素の値とに基づいて決定できる。
【００５４】
撮影画像Ｐ１〜Ｐ４の各画素の位置と立体曲面ＳＰの各画素の位置との対応関係は、車両９における４つの車載カメラ５１，５２，５３の配置（相互間距離、地上高さ、光軸角度等）に依存する。このため、この対応関係を示すテーブルデータが、不揮発性メモリ４０に記憶された車種別データ４ａに含まれている。
【００５５】
また、車種別データ４ａに含まれる車体の形状やサイズを示すポリゴンデータが利用され、車両９の三次元形状を示すポリゴンモデルである車両像を仮想的に備えている。構成された車両像は、立体曲面ＳＰが設定される三次元空間において、車両９の位置と定められた略半球状の中心部分に配置される。
【００５６】
さらに、立体曲面ＳＰが存在する三次元空間に対して、制御部１により仮想視点ＶＰが設定される。仮想視点ＶＰは、視点位置と視野方向とで規定され、この三次元空間における車両９の周辺に相当する任意の視点位置に任意の視野方向に向けて設定される。
【００５７】
そして、設定された仮想視点ＶＰに応じて、立体曲面ＳＰにおける必要な領域が画像として切り出される。仮想視点ＶＰと、立体曲面ＳＰにおける必要な領域との関係は予め定められており、テーブルデータとして不揮発性メモリ４０等に予め記憶されている。一方で、設定された仮想視点ＶＰに応じてポリゴンで構成された車両像に関してレンダリングがなされ、その結果となる二次元の車両像が、切り出された画像に対して重畳される。これにより、車両９及びその車両９の周辺を任意の仮想視点からみた様子を示す合成画像が生成されることになる。
【００５８】
例えば、視点位置が車両９の位置の略中央の直上位置で、視野方向が略直下方向とした仮想視点ＶＰ１を設定した場合は、車両９の略直上から車両９を見下ろすように、車両９（実際には車両像）及び車両９の周辺の様子を示す合成画像ＣＰ１が生成される。また、図中に示すように、視点位置が車両９の位置の左後方で、視野方向が車両９における略前方とした仮想視点ＶＰ２を設定した場合は、車両９の左後方からその周辺全体を見渡すように、車両９（実際には車両像）及び車両９の周辺の様子を示す合成画像ＣＰ２が生成される。
【００５９】
なお、実際に合成画像を生成する場合においては、立体曲面ＳＰの全ての画素の値を決定する必要はなく、設定された仮想視点ＶＰに対応して必要となる領域の画素の値のみを撮影画像Ｐ１〜Ｐ４に基づいて決定することで、処理速度を向上できる。
【００６０】
＜１−４．動作モード＞
次に、画像表示システム１２０の動作モードについて説明する。図４は、画像表示システム１２０の動作モードの遷移を示す図である。画像表示システム１２０は、ナビモードＭ１、フロントモードＭ２、バックモードＭ３、及び、縦列駐車モードＭ４の４つの動作モードを有している。これらの動作モードは、ユーザの操作や車両９の走行状態に応じて制御部１の制御により切り替えられるようになっている。
【００６１】
ナビモードＭ１は、ナビゲーション装置２０の機能により、ナビゲーション案内用の地図画像ＮＰを主にディスプレイ２１に表示する動作モードである。ナビモードＭ１では、画像処理装置１００の機能が利用されず、ナビゲーション装置２０単体の機能で各種の表示がなされる。
【００６２】
フロントモードＭ２、バックモードＭ３、及び、縦列駐車モードＭ４は、画像処理装置１００の機能を利用して、撮影画像ＰＰ、合成画像ＣＰ、及び、合成画像ＣＱ０などをディスプレイ２１に表示して、車両９の周辺の状況をほぼリアルタイムでユーザに示す動作モードである。
【００６３】
また、フロントモードＭ２は、前進時に必要となる車両９の前方や側方を主に示す画像を表示する動作モードである。例えば、図中に示すように、車両９の直上の仮想視点からみた車両９及び車両９の周辺の様子を示す合成画像（俯瞰画像）ＣＰと、フロントカメラ５１での撮影により得られる撮影画像ＰＰとが同時にディスプレイ２１に表示される。この合成画像ＣＰの仮想視点の位置は、車両９の直上に限らず、ユーザの操作に応じて車両９の後方側などへ切り替えられるようになっていてもよい。さらに、フロントモードＭ２は、自車の中心に周囲２〜３ｍの範囲を俯瞰画像として表示したモードである。
【００６４】
また、バックモードＭ３は、後退時に必要となる車両９の後方を主に示す画像を表示する動作モードである。例えば、図中に示すように、車両９の直上の仮想視点からみた車両９及び車両９の周辺の様子を示す合成画像（俯瞰画像）ＣＰと、バックカメラ５２での撮影により得られる撮影画像ＰＰとが同時にディスプレイ２１に表示される。この合成画像ＣＰの仮想視点の位置は、車両９の直上に限らず、ユーザの操作に応じて車両９の前方側などへ切り替えられるようになっていてもよい。
【００６５】
さらに、縦列駐車モードＭ４は、ユーザが車両９を縦列駐車する際にユーザの運転操作をサポートするモードである。例えば、図中に示すように、車両９の直上の仮想視点からみた車両９の周辺領域をほぼリアルタイムに示し、車両９の大きさに対応した特定領域ＲＦ１１と車両９の前方に駐車している他車両１９を表示する画像が合成画像俯瞰画像）ＣＱ０として画像処理装置１００が、ナビゲーション装置２０出力してディスプレイ２１に表示させる。
【００６６】
縦列駐車モードＭ４は、フロントモードＭ２の縦列駐車ボタン２０２をユーザが操作することにより開始される。そして、縦列駐車モードＭ４では、フロントモードＭ２で表示されていた車両９と車両９の周辺の様子を示す合成画像俯瞰画像）ＣＰに、車両９と車両９の大きさに対応した特定領域ＲＦ１１の画像の表示が加わり、合成画像ＣＱ０（以下「画像ＣＱ０」ともいう。）として、画像処理装置１００がディスプレイ２１に出力して表示させる。なお、縦列駐車モードＭ４は、フロントモードＭ２から仮想視点の位置を上方の位置に移動させて自車と駐車領域ＲＦ１１とがディスプレイ２１の１画面内で表示されるようにしている。
【００６７】
各モードの遷移は、ナビモードＭ１において、ナビゲーション装置２０のディスプレイ２１に表示される駐車支援ボタン２０１をユーザが操作した場合、または、ユーザが操作部２２を操作した場合など、所定操作によりフロントモードＭ２に切り替えられる。また、フロントモードＭ２において、ユーザの操作部２２による操作などの所定操作により、ナビモードＭ１に切り替えられる。なお、ナビモードＭ１とフロントモードＭ２とは、車速度センサ８２から入力される走行速度に応じて切り替えてもよい。
【００６８】
また、ナビモードＭ１あるいはフロントモードＭ２の場合に、シフトセンサ８１から入力されるシフトポジションが”Ｒ（後退）”となったときは、バックモードＭ３に切り替えられる。すなわち、シフトポジションが”Ｒ（後退）”の場合は、車両９は後退する状態であるため、車両９の後方を主に示すバックモードＭ３に切り替えられる。また、バックモードＭ３の場合に、シフトポジションが”Ｒ（後退）”以外となったときは、バックモードＭ３に切り替えられる直前の動作モードに戻ることになる。なお、バックモードＭ３において、ディスプレイ２１に表示される駐車支援ボタン２０１をユーザが操作した場合は、フロントモードＭ２となる。
【００６９】
そして、フロントモードＭ２において、ディスプレイ２１に表示された縦列駐車ボタン２０２をユーザが操作すると、縦列駐車モードＭ４の画像が画像処理装置１００から出力され、ディスプレイ２１に表示される。また、縦列駐車モードＭ４においてディスプレイ２１の戻るボタン２０３をユーザが操作した場合は、フロントモードＭ２に遷移する。
【００７０】
＜１−５縦列駐車モード＞
以下では、縦列駐車モードＭ４で画像処理装置１００からナビゲーション装置２０に出力され、ディスプレイ２１に表示される合成画像の詳細について図５〜図９を用いて説明する。図５は、特定領域ＲＦ１１の移動による車両９の駐車すべき位置の設定を示す図である。フロントモードＭ２で縦列駐車ボタン２０２がユーザにより操作されると、縦列駐車モードＭ４の画像ＣＱ０が画像処理装置１００からナビゲーション装置２０に出力され、ディスプレイ２１に表示される。
【００７１】
図５に示す画像ＣＱ０は、略中心に車両９の画像が表示されている俯瞰画像であり、車両の周辺領域を略リアルタイムに示している。そして、車両９の右側に特定領域ＲＦ１１が表示されている。この特定領域ＲＦ１１は、車両９が縦列駐車を行うのに必要なスペースであり、車両９の進行方向の長さが車両９の全長の約１．５倍で、車幅方向の長さが車両９の車幅の約１．２倍の広さを備えている略長方形の領域である。
【００７２】
特定領域ＲＦ１１は縦列駐車モードＭ４の開始に伴い、画像ＣＱ０の所定の位置に表示される。そして、図５の合成画像ＣＱ１以下「画像ＣＱ１」ともいう。）に示すようにユーザの操作により、ユーザが車両９を駐車すべき駐車位置に設定される。つまり、車両９の右側に位置する特定領域ＲＦ１１がユーザの操作により略平行移動して車両９の左側で他車両１９の後方の位置に移動する。
【００７３】
そして、ユーザはユーザの操作により移動した特定領域ＲＦ１１の位置を駐車領域ＳＡ４１として設定する。これにより、ユーザは車両９の駐車位置を設定でき、この設定により以後駐車領域ＳＡ４１は路面に対して固定表示される。なお、ここでいうユーザの操作はディスプレイ２１をユーザが指などを接触させてタッチパネルとして操作する場合や、操作部２２を用いて操作する場合などをいう。以下、説明する合成画像中で行われるユーザの操作は同様な操作が行われる。
【００７４】
図６は、駐車開始位置ＳＴ２に車両９が到達した場合の第１操作ポイントＰ１１と第１基準マークＭ２１との表示を示す図である。図５で示した駐車領域ＳＡ４１の設定により、車両９の駐車開始位置であるＳＴ２が合成画像ＣＱ２（以下、「画像ＣＱ２」ともいう。）に表示される。さらに、駐車領域ＳＡ４１の設定に伴い車両９の後方に指標が表示される。この指標は車両９の進行方向を示すものであり、本実施の形態では一例として車両９の予想進路を示すガイド線Ｌ３１の画像を表示している。
【００７５】
このガイド線Ｌ３１は後述するようにステアリングホイール９１の操作方向に応答して方向を変化させる。また、ステアリングホイール９１の操作量に応答して表示状態を変化させる。例えば、ステアリングホイール９１が中立位置にあり、車両９が直進する状態の場合、ガイド線Ｌ３１は車両９が後退する方向に略平行な状態の直線で表示される。そして、ステアリングホイール９１が左側に操作されると、ガイド線Ｌ３１は操作方向に応答して、車両９が前進する方向からみて左側の方向へ向きを変化させて曲線で表示される。なお、ステアリングホイール９１の操作量が多い程、曲線は直線の状態から半円に近い状態となって表示される。
【００７６】
合成画像ＣＱ３（以下、「画像ＣＱ３」ともいう。）は、車両９が駐車開始位置ＳＴ２に向かって前進し、駐車開始位置ＳＴ２の範囲内に到達した状態を示している。画像ＣＱ３では車両９が駐車開始位置ＳＴ２に到達したことを表示している。この到達により車両９の駐車すべき位置の駐車領域ＳＡ４１に相対的に設定されユーザがステアリングホイール９１を操作すべき位置を示す第１操作ポイント１１が画像処理装置１１から出力されディスプレイ２１に表示される。また、車両９に相対的に設定された第１基準マークＭ２１が第１操作ポイント１１が設けられた位置に対応した車両９の側面である車両９の左側側面に表示される。
【００７７】
図７は、第１操作ポイントＰ１１と第１基準マークＭ２１とが接触した状態を示す図である。合成画像ＣＱ４（以下、「画像ＣＱ４」ともいう。）は、車両９が駐車開始位置ＳＴ２の位置から後退する状態を表示している。そして、車両９の後退により第１操作ポイントＰ１１と第１基準マークＭ２１とが接近している。なお、第１操作ポイントＰ１１及び第１基準マークＭ２１が表示された後に、車両９が後退動作に入ると駐車開始位置ＳＴ２の画像表示は取り消される。
【００７８】
合成画像ＣＱ５（以下、「画像ＣＱ５」ともいう。）は、車両９の後退により第１操作ポイントＰ１１と第１基準マークＭ２１とが接触した状態を示している。このように車両９の後退により第１操作ポイントＰ１１と第１基準マークＭ２１とが接触した場合に、ユーザへステアリングホイール９１の操作が必要であることを報知するために、画像処理装置１００は第１操作ポイントＰ１１の色や大きさなどの表示状態を変化させてディスプレイ２１に表示させる。
【００７９】
また、第１基準マークＭ２１の色や大きさなどの表示状態を変化させてディスプレイ２１に表示させる。さらに、画像処理装置１００は車両９の後方に設けられた指標であるガイド線Ｌ３１の色や大きさなどの表示状態を変化させてディスプレイ２１に表示させる。これにより、ユーザは車両９を駐車する際にステアリングホイール９１の操作が必要なタイミングを的確に把握できる。
【００８０】
図８は、ステアリングホイール９１の操作後に表示される第２操作ポイントＰ１２と第２基準マークＭ２２との表示を示す図である。合成画像ＣＱ６以下「画像ＣＱ６」ともいう。）は、画像ＣＱ５で説明したように第１操作ポイントＰ１１と第１基準マークＭ２１とが接触した場合に、ユーザにステアリングホイール９１の操作が必要であることを報知する。
【００８１】
この報知を受けてユーザがステアリングホイール９１を操作する。詳細には画像ＣＱ６に示すように車両９が直進する方向であるステアリングホイール９１の中立位置から左方向へステアリングホイール９１を回転させる。車両９の後方のガイド線Ｌ３１は、ユーザのステアリングホイール９１の操作に伴い車両９の進行方向を示す状態となって表示される。
【００８２】
そして、ユーザのステアリングホイール９１の操作量が不揮発性メモリ４０に記録された操作閾値データ４ｂの値よりも大きくなった場合に、ステアリングホイール９１の操作が必要であることの報知を取り止める。
【００８３】
詳細には第１操作ポイント１１と第１基準マークＭ２１とが接触したことにより第１操作ポイントＰ１１、及び、第１基準マークＭ２１の画像の表示が取り消される。また、ガイド線Ｌ３１の色及び大きさの少なくともいずれか一つの表示状態が変化した状態を取り止めて、変化する前の状態にして画像処理装置１００が表示させる。このような画像情報を画像処理装置１００はナビゲーション装置２０に出力して、ディスプレイ２１に表示させる。これにより、ユーザは操作ポイントにおける必要なステアリングホイール９１の操作が完了したことを把握できる。
【００８４】
合成画像ＣＱ７以下「画像ＣＱ７」ともいう。）は、ユーザのステアリングホイール９１の操作が操作閾値データ４ｂの値よりも大きくなり、ユーザが車両９を後退させた後にステアリングホイール９１を中立位置に戻した状態を示している。この状態では車両９が駐車すべき位置である駐車領域ＳＡ４１と相対的に設定され、ユーザがステアリングホイール９１を操作すべき位置を示す第２操作ポイントＰ１２が表示される。
【００８５】
また、第２操作ポイントＰ１２と共に車両９に相対的に設定された第２基準マークＭ２２が第２操作ポイントＰ１２の位置と対応した車両９の側面である車両９の右側面に表示される。
【００８６】
図９は、ステアリングホイール９１の操作後に表示された第２操作ポイントＰ１２と第２基準マークＭ２２とが接触した状態を示す図である。合成画像ＣＱ８（以下「画像ＣＱ８」ともいう。）は、ユーザが車両９のステアリングホイール９１を中立位置とした状態で、車両９を後退させる状態を表示している。このように車両９が後退する状態で、ステアリングホイール９１の操作を行うべきポイントである第２操作ポイントＰ１２と車両９の右側面の第２基準マークＭ２２とが接触したときに、画像処理装置１００は、ステアリングホイール９１を操作する必要があることをユーザへ報知する。
【００８７】
ここで、ユーザへの報知は画像処理装置１００からナビゲーション装置２０に出力され、ディスプレイ２１に表示される第２操作ポイントＰ１２、第２基準マークＭ２２、及びガイド線Ｌ３１の少なくともいずれか一つの表示状態の変化である。これにより、駐車位置までに複数回ステアリングホイール９１の操作が必要な縦列駐車において、ユーザは車両９の駐車時にステアリングホイール９１の操作が必要なタイミングを的確に把握できる。
【００８８】
合成画像ＣＱ９以下「画像ＣＱ９」ともいう。）は、画像ＣＱ８で説明したように第２操作ポイントＰ１２と第２基準マークＭ２２とが接触した場合に、ユーザにステアリングホイール９１の操作が必要であることを報知する。この報知を受けてユーザがステアリングホイール９１を操作する。
【００８９】
詳細には画像ＣＱ９に示すように車両９が直進する方向であるステアリングホイール９１の中立位置から右方向へステアリングホイール９１を回転させる。車両９の後方のガイド線Ｌ３１は、ユーザのステアリングホイール９１の操作に伴い車両９の進行方向を示す状態となって表示されている。
【００９０】
そして、ユーザのステアリングホイール９１の操作量が不揮発メモリ４０に記録された操作閾値データ４ｂの値よりも大きくなった場合に、ステアリングホイール９１の操作が必要であることの報知を取り止める。
【００９１】
詳細には、第２操作ポイント１２と第２基準マークＭ２２とが接触したことにより表示状態が変化した第２操作ポイントＰ１２、及び、第２基準マークＭ２２の画像の表示が取り消される。また、ガイド線Ｌ３１の色及び大きさの少なくともいずれか一つの表示状態を変化させている状態を取り止めて、変化する前の状態として表示される。このような画像情報を画像処理装置１００はナビゲーション装置２０に出力して、ディスプレイ２１に表示させる。これにより、ユーザは操作ポイントにおける必要なステアリングホイール９１の操作が完了したことを把握できる。
【００９２】
図１０は、駐車すべき位置である駐車領域ＳＡ４１に車両９が到達した状態を示す図である。合成画像ＣＱ１０（以下、「画像ＣＱ１０」ともいう。）は、車両９が駐車領域４１に到達している状態を表示している。詳細にはユーザのステアリングホイール９１の操作が操作閾値データ４ｂの値よりも大きくなった場合に、ユーザが車両９を後退させた後、ステアリングホイール９１を中立位置に戻した状態が表示されている。このように合成画像中にユーザのステアリングホイール９１の操作を行うタイミングを適切に表示することで、ユーザは目的とする駐車位置に無駄な操作がなく車両９を駐車できる。
【００９３】
以上のように画像表示システム１２０においては、ユーザの操作に基づいて俯瞰画像中に車両９が駐車すべき駐車領域ＳＡ４１を設定すると、駐車領域ＳＡ４１の位置に相対的に設定される。そして、ユーザがステアリングホイール９１を操作すべき位置を示す第１操作ポイントＰ１１及び第２操作ポイントＰ１２と、車両９に相対的に設定された第１基準マークＭ２１及び第２基準マークＭ２２とが俯瞰画像中に表示される。また、車両９の移動により第１操作ポイントＰ１１及び第２操作ポイントＰ１２と、第１基準マークＭ２１及び第２基準マークＭ２２とが接触した場合に、ステアリングホイール９１の操作が必要であることをユーザへ報知する。これにより、ユーザは車両９を駐車する際にステアリングホイール９１の操作が必要なタイミングを的確に把握できる。
【００９４】
また、ユーザのステアリングホイール９１の操作量が不揮発メモリ４０に記録されている操作閾値データ４ｂの値よりも大きくなった場合に、ステアリングホイール９１の操作が必要であることの報知を取り止める。これにより、ユーザは操作ポイントＰ１１及びＰ１２における必要なステアリングホイール９１の操作が完了したことを把握できる。
【００９５】
また、車両９の縦列駐車を行う場合に、ステアリングホイール９１の操作を最初に行うべき第１操作ポイントＰ１１と、第１操作ポイントＰ１１の位置に対応した車両９の側面に設定された第１基準マークＭ２１との接触により、ステアリングホイール９１を中立位置から所定の方向へ操作する必要があることを報知する。この報知の後に、第１操作ポイントＰ１１の次にステアリングホイール９１の操作を行うべき第２操作ポイントＰ１２と、第２操作ポイントＰ１２の位置に対応して第２基準マークＭ２１が設定された車両９の側面とは逆の側面に設定される第２基準マークＭ２２との接触により報知が行われる。この報知は、第２操作ポイントＰ１２と第２基準マークＭ２１との接触のときとは逆の方向にステアリングホイール９１を操作する必要があることを報知する。これにより、駐車領域ＳＡ４１までに複数回ステアリングホイール９１の操作が必要な縦列駐車において、ユーザは車両９の駐車時にステアリングホイール９１の操作が必要なタイミングを的確に把握できる。
【００９６】
＜２．処理＞
次に、画像処理装置１００の処理について説明する。図１１及び図１２は、画像処理装置の処理フローチャートである。ユーザからの駐車支援ボタン２０１の操作信号が入力された場合（ステップＳ１０１がＹｅｓ）、画像処理装置１００はフロントモードＭ２の画像をナビゲーション装置２０に出力して（ステップＳ１０２）、ステップＳ１０３の処理へ進む。なお、ユーザからの駐車支援ボタン２０１の操作信号が画像処理装置１００に入力されていない場合（ステップＳ１０１がＮｏ）は、処理を終了する。
【００９７】
ステップＳ１０３では、ユーザからの縦列駐車ボタン２０２の操作信号が画像処理装置１００に入力された場合（ステップＳ１０３がＹｅｓ）、縦列駐車モードＭ４の画像を出力して（ステップＳ１０４）、ステップＳ１０５の処理へ進む。
【００９８】
縦列駐車モードＭ４では、画像ＣＱ０に示すように車両９の周辺領域を略リアルタイムに示す俯瞰画像を表示して、車両９の大きさに対応した特定領域ＲＦ１１を俯瞰画像中に表示する。なお、縦列駐車ボタン２０２の操作信号が画像処理装置１００に入力されていない場合（ステップＳ１０３がＮｏ）は、画像処理装置１００はフロントモードＭ２の画像出力を継続して行う。
【００９９】
ステップＳ１０５では、画像ＣＱ１に示すようにユーザの操作により合成画像内で駐車領域ＳＡ４１を設定した信号が入力された場合（ステップＳ１０５がＹｅｓ）は、画像ＣＱ２に示すようにユーザが設定した駐車領域ＳＡ４１の位置を車両９を駐車すべき位置として設定する（ステップＳ１０６）。そして、駐車領域ＳＡ４１の設定に伴い駐車領域ＳＡ４１に車両９を駐車するための駐車開始位置である駐車開始領域ＳＴ２をディスプレイ２１に表示させてステップＳ１０７の処理へ進む。
【０１００】
なお、駐車領域ＳＡ４１を設定する信号が画像処理装置１００に入力されていない場合（ステップＳ１０５がＮｏ）は、画像処理装置１００は縦列駐車モードＭ４の画像の出力をナビゲーション装置２０に継続して行う。また、所定時間経過後に縦列駐車モードＭ４の前のモードであるフロントモードＭ２に遷移するようにしてもよい。
【０１０１】
ステップＳ１０７では、画像ＣＱ３に示すように車両９が駐車開始領域ＳＴ２内に到着した場合（ステップＳ１０７がＹｅｓ）、駐車領域ＳＡ４１に相対的に設定されユーザがステアリングホイール９１を操作すべき位置を示す第１操作ポイント１１が表示される。また、車両９に相対的に設定された第１基準マークＭ２１が第１操作ポイント１１が設けられた位置に対応した車両９の側面である車両９の左側側面に表示され（ステップＳ１０８）、ステップＳ１０９の処理へ進む。
【０１０２】
なお、ステップＳ１０７において、駐車開始領域ＳＴ２に車両９が到着していない場合は、縦列駐車モードＭ４の画像を表示し、所定時間経過後に前のモードであるフロントモードＭ２に戻るようにしてもよい。
【０１０３】
ステップＳ１０９では、画像ＣＱ４、及び、画像ＣＱ５に示すように車両９が駐車開始位置ＳＴ２の位置から後退して、第１操作ポイントＰ１１と第１基準マークＭ２１とが接近した状態を表示している。そして、第１操作ポイントＰ１１と第１基準マークＭ２１とが接触した場合（ステップＳ１０９がＹｅｓ）、ユーザへステアリングホイール９１の操作が必要であることを報知して（ステップＳ１１０）、ステップＳ１１１の処理へ進む。これにより、ユーザは車両９を駐車する際にステアリングホイール９１の操作が必要なタイミングを的確に把握できる。
【０１０４】
なお、ユーザへの報知は、画像処理装置１００からナビゲーション装置２０に出力され、ディスプレイ２１に表示される第１操作ポイントＰ１１、第１基準マークＭ２１、及びガイド線Ｌ３１の少なくともいずれか一つの表示状態の変化である。
【０１０５】
なお、ステップＳ１０９において、第１操作ポイントＰ１１と第１基準マークＭ２１とが接触していない場合（ステップＳ１０９がＮｏ）は、画像処理装置１００は縦列駐車モードＭ４の画像の出力をナビゲーション装置２０に継続して行う。また、所定時間経過後に縦列駐車モードＭ４の前のモードであるフロントモードＭ２に遷移するようにしてもよい。
【０１０６】
ステップＳ１１１では、画像ＣＱ６に示すように、ユーザは車両９が直進する方向であるステアリングホイール９１の中立位置から左方向へステアリングホイール９１を回転させる。車両９の後方のガイド線Ｌ３１は、ユーザのステアリングホイール９１の操作に伴い車両９の進行方向を示す状態となって表示されている。
【０１０７】
そして、ユーザのステアリングホイール９１の操作量が不揮発メモリ４０に記録された操作閾値データ４ｂの値よりも大きくなった場合（ステップＳ１１１がＹｅｓ）に、ステアリングホイール９１の操作が必要であることの報知を取り止めて（ステップＳ１１２）、ステップＳ１１３の処理へ進む。これにより、ユーザは操作ポイントにおける必要なステアリングホイール９１の操作が完了したことを把握できる。
【０１０８】
なお、ステップＳ１１１において、ステアリングホイール９１の操作量が操作閾値データ４ｂの値よりも大きくない場合（ステップＳ１１１がＮｏ）は、画像処理装置１００は縦列駐車モードＭ４の画像の出力をナビゲーション装置２０に継続して行う。また、所定時間経過後に縦列駐車モードＭ４の前のモードであるフロントモードＭ２に遷移するようにしてもよい。
【０１０９】
ステップＳ１１３では、画像ＣＱ７に示すようにユーザのステアリングホイール９１の操作量が操作閾値データ４ｂの値よりも大きくなった状態で、ユーザが車両９を後退させる。そして、ユーザがステアリングホイール９１を中立位置に戻した場合（ステップＳ１１３がＹｅｓ）に、車両９が駐車すべき位置である駐車領域ＳＡ４１と相対的に設定され、ユーザがステアリングホイール９１を操作すべき位置を示す第２操作ポイントＰ１２が画像処理装置１００からナビゲーション装置２０に出力される。
【０１１０】
また、第２操作ポイントＰ１２の位置と対応した車両９の側面である車両９の右側面に車両９に相対的に設定された第２基準マークＭ２２が出力され（ステップＳ１１４）、ステップＳ１１５の処理へ進む。
【０１１１】
なお、ステップＳ１１３において、ステアリングホイール９１の中立位置を画像処理装置１００が検出していない場合（ステップＳ１１３がＮｏ）は、画像処理装置１００は縦列駐車モードＭ４の画像の出力をナビゲーション装置２０に継続して行う。また、所定時間経過後に縦列駐車モードＭ４の前のモードであるフロントモードＭ２に遷移するようにしてもよい。
【０１１２】
ステップＳ１１５では、画像ＣＱ８に示すように車両９が後退する状態で、ステアリングホイール９１の操作を行うべきポイントである第２操作ポイントＰ１２と車両９の右側面の第２基準マークＭ２２とが接触した場合（ステップＳ１１５がＹｅｓ）に、ステアリングホイール９１を操作する必要があることをユーザへ報知して（ステップＳ１１６）、ステップＳ１１７の処理へ進む。
【０１１３】
ユーザへの報知は、画像処理装置１００からナビゲーション装置２０に出力され、ディスプレイ２１に表示される第２操作ポイントＰ１２、第２基準マークＭ２２、及びガイド線Ｌ３１の少なくともいずれか一つの表示状態の変化である。これにより、駐車位置までに複数回ステアリングホイール９１の操作が必要な縦列駐車において、ユーザは車両９の駐車時にステアリングホイール９１の操作が必要なタイミングを的確に把握できる。
【０１１４】
なお、ステップＳ１１５において、第２操作ポイントＰ１２と第２基準マークＭ２２とが接触していない場合（ステップＳ１１５がＮｏ）は、画像処理装置１００は縦列駐車モードＭ４の画像の出力をナビゲーション装置２０に継続して行う。また、所定時間経過後に縦列駐車モードＭ４の前のモードであるフロントモードＭ２に遷移するようにしてもよい。
【０１１５】
ステップＳ１１７では、画像ＣＱ９に示すようにユーザは車両９が直進する方向であるステアリングホイール９１の中立位置から右方向へステアリングホイール９１を回転させる。車両９の後方のガイド線Ｌ３１は、ユーザのステアリングホイール９１の操作に伴い車両９の進行方向を示す状態となって表示されている。
【０１１６】
そして、ユーザのステアリングホイール９１の操作量が不揮発メモリ４０に記録された操作閾値データ４ｂの値よりも大きくなった場合に、ステアリングホイール９１の操作が必要であることの報知を取り止めて（ステップＳ１１８）、ステップＳ１１９の処理へ進む。これにより、ユーザは操作ポイントにおける必要なステアリングホイール９１の操作が完了したことを把握できる。
【０１１７】
ステップＳ１１９では、画像ＣＱ１０に示すようにユーザのステアリングホイール９１の操作量が操作閾値データ４ｂの値よりも大きくなった状態で、ユーザが車両９を後退させる。そして、ユーザがステアリングホイール９１を中立位置に戻した場合に、車両９が駐車すべき位置である駐車領域ＳＡ４１に到達する（ステップＳ１１９がＹｅｓ）と処理を終了する。このようにユーザのステアリングホイール９１の操作を行うタイミングを適切に表示することで、ユーザは目的とする駐車位置に無駄な操作がなく車両９を駐車できる。
【０１１８】
なお、ステップＳ１１９において、車両９の位置が駐車領域ＳＡ４１内に到達していない場合（ステップＳ１１９がＮｏ）は、画像処理装置１００は縦列駐車モードＭ４の画像の出力をナビゲーション装置２０に継続して行う。また、所定時間経過後に縦列駐車モードＭ４の前のモードであるフロントモードＭ２に遷移するようにしてもよい。
【０１１９】
＜第２の実施の形態＞
次に、第２の実施の形態について説明する。第２の実施の形態と第１の実施の形態との異なる部分は、第１の実施の形態ではガイド線Ｌ３１の長さの調整を行っていないのに対して、第２の実施の形態では第２の操作ポイントＰ１２においてユーザのステアリングホイール９１の操作が完了したことに応答して、ガイド線Ｌ３１の長さを調整することである。
【０１２０】
なお、第２の実施の形態の画像表示システム１２０の構成及び処理は、第１の実施の形態とほぼ同様であるが、上記のようにガイド線Ｌ３１の長さの調整を行う部分が一部相違する。このため以下、相違点を中心に説明する。
【０１２１】
第１の実施の形態では、図９の画像ＣＱ９で示されているように、第２の操作ポイントＰ１２において、ユーザは車両９が直進する方向であるステアリングホイール９１の中立位置から右方向へステアリングホイール９１を回転させる。
【０１２２】
車両９の後方のガイド線Ｌ３１は、ユーザのステアリングホイール９１の操作に伴い車両９の進行方向を示す状態に表示されている。そして、ユーザのステアリングホイール９１の操作量が不揮発メモリ４０に記録された操作閾値データ４ｂの値よりも大きくなった場合に、ステアリングホイール９１の操作が必要であることの報知を取り止めていた。
【０１２３】
これに対して第２の実施の形態では、図１３にガイド線Ｌ３１の長さを短く表示した状態を示している。このガイド線Ｌ３１の長さの調整は次のようにして行われる。合成画像ＣＱ１８（以下「画像ＣＱ１８」ともいう。）では、ステアリングホイール９１の操作を行うべきポイントである第２操作ポイントＰ１２と車両９の右側面の第２基準マークＭ２２とが接触したときに、画像処理装置１００は、ステアリングホイール９１を操作する必要があることをユーザへ報知する。
【０１２４】
次に、合成画像ＣＱ１９（以下「画像ＣＱ１９」ともいう。）ではユーザのステアリングホイール９１の操作量が操作閾値データ４ｂの値よりも大きくなった場合に、画像１９に表示するようにステアリングホイール９１の操作が必要であることの報知を取り止める。
【０１２５】
そして、第２の操作ポイントＰ１２におけるステアリングホイール９１の操作量が不揮発メモリ４０に記録された操作閾値データ４ｂの値よりも大きくなる。これに応答して、車両９が後退する方向に延びるガイド線Ｌ３１の長さをユーザが第２ポイントＰ１２でステアリングホイール９１を操作する前よりも短く表示する。詳細には、画像処理装置１００は車両９が駐車すべき位置である駐車領域ＳＡ４１の枠内に車両９が納まるようにガイド線Ｌ３１の長さをユーザが第２ポイントＰ１２でステアリングホイール９１を操作する前よりも短く表示させる。これにより、ユーザは車両９を駐車領域ＳＡ４１の位置に駐車させる場合の後退距離が明確となり、駐車位置へ確実に駐車できる。
【０１２６】
以上のように画像表示システム１２０においては、ユーザの第２操作ポイントＰ１２におけるステアリングホイール９１の操作量が閾値よりも大きくなったことに応答して、ガイド線Ｌ３１の長さを第２操作ポイントＰ１２におけるステアリングホイール９１の操作前よりも短く表示する。これにより、ユーザは車両９を縦列駐車位置に駐車させる場合の後退距離が明確となり、縦列駐車位置へ確実に駐車できる。
＜変形例＞
以下、変形例について説明する。なお、上記の実施の形態、及び、下記で説明する形態を含む全ての形態は適宜に組み合わせ可能である。
【０１２７】
上記の実施の形態では、車両９の左側の駐車領域を車両９の駐車すべき位置として設定し、車両９を駐車する例について述べたが、車両９の右側の駐車領域を車両９の駐車すべき位置として設定し、車両９を駐車する場合も同様に上記内容を適用できる。
【０１２８】
上記の実施の形態では、車両９の縦列駐車の場合について述べたが、車両９の並列駐車の場合にも適用できる。
【０１２９】
また、上記の実施の形態では、車両９の駐車は車両９を後退させる場合について述べたが、車両９を前進させて駐車させる場合にも操作ポイントと基準マークなどの画像を表示させることで適用できる。
【０１３０】
また、上記の実施の形態では、基準マークは、車両９の左側及び右側の側面に設けられることについて説明したが、基準マークの位置は車両９と相対的な位置であれば、車両９の前方及び後方の位置や、車両９の近傍の位置のいずれの位置であってもよい。
【０１３１】
また、上記の実施形態において、車両９の移動により操作ポイントと基準マークとが接触した場合に、ステアリングホイール９１の操作が必要であることをユーザへ報知するのは、ディスプレイ２１に文字やマークなどを表示したり、ナビゲーション装置２０から音声を出力したりしてユーザに知らせるようにしてもよい。
【０１３２】
また、上記の実施形態において、指標は車両９の予想進路を示すガイド線Ｌ３１は、車両９の位置から目標駐車位置までの理想的な進路を示す理想進行線であってもよい。
【０１３３】
さらに、上記の実施の形態の俯瞰画像は複数のカメラの撮影画像により生成された合成画像以外に一のカメラにより生成された俯瞰画像であってもよい。
【符号の説明】
【０１３４】
１・・・・制御部
３・・・・画像生成部
５・・・・撮影部
２０・・・ナビゲーション装置
４０・・・不揮発性メモリ
４１・・・信号入力部
４２・・・ナビ通信部
８１・・・シフトセンサ
８２・・・車速センサ
８３・・・方向指示器
【技術分野】
【０００１】
本発明は、車両における画像表示技術に関する。
【背景技術】
【０００２】
従来、車両をユーザの選択した駐車領域に駐車する場合、車両後方のカメラから撮影した画像を表示装置で表示し、車両の進行方向を変化させる操作の必要がある位置にガイド線を表示していた。ユーザは表示装置に表示されたガイド線に車両の後端部が接近した場合、ステアリングホイールを操作して車両の進行方向を変化させていた。なお、本発明と関連する技術を説明する資料としては特許文献１がある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−９３４８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、車両後方のカメラにより撮影された画像では、車両本体が表示されていないため、車両の後端部とガイド線とが接近した状態にあるか否かがわかり難く、駐車動作中のどのタイミングでステアリングホイールの操作を行う必要があるのかの判断が困難であった。
【０００５】
本発明は、車両の駐車の際にステアリングホイールの操作が必要なタイミングをユーザへ報知することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、請求項１の発明は、車両に搭載される画像表示システムであって、前記車両に配置された複数のカメラで得られる撮影画像から、前記車両及び前記車両の周辺領域を俯瞰した俯瞰画像を生成する生成手段と、前記俯瞰画像を表示する表示手段と、ユーザの操作に基づいて前記俯瞰画像中に前記車両が駐車すべき駐車位置を設定する設定手段と、前記駐車位置に相対的に設定され前記ユーザがステアリングホイールを操作すべき位置を示す操作ポイントと、前記車両に相対的に設定された基準マークとを、前記俯瞰画像中に表示する表示制御手段と、前記車両の移動により、前記操作ポイントと前記基準マークとが接触した場合に、前記ステアリングホイールの操作が必要であることをユーザへ報知する報知手段と、を備える。
【０００７】
また、請求項２の発明は、請求項１に記載の画像表示システムにおいて、前記報知手段は、前記ユーザのステアリングホイールの操作量が閾値より大きくなった場合に、前記ステアリングホイールの操作が必要であることの報知を取りやめる。
【０００８】
また、請求項３の発明は、請求項１または２に記載の画像表示システムにおいて、前記報知手段は、前記車両の縦列駐車を行う場合に、前記ステアリングホイールの操作を最初に行うべき前記操作ポイントである第１操作ポイントと、前記車両の側面の一方に設定された前記基準マークである第１基準マークとの接触により、前記ステアリングホイールを操作する必要があることを報知した後に、前記第１操作ポイントの次に前記ステアリングホイールの操作を行うべき前記操作ポイントである第２操作ポイントと、前記車両の側面の他方に設定された前記基準マークである第２基準マークとが接触したときに、前記ステアリングホイールを操作する必要があることを報知する。
【０００９】
また、請求項４の発明は、請求項３に記載の画像表示システムにおいて、前記表示手段は、前記車両の後端部から前記車両が後退する方向に延びるガイド線を表示し、前記ユーザの前記第２操作ポイントにおける前記ステアリングホイールの操作が完了したことに応答して、前記ガイド線の長さを前記第２操作ポイントにおける前記ステアリングホイールの操作前よりも短く表示する。
【００１０】
また、請求項５の発明は、車両に搭載された表示装置に表示させる画像を生成する画像処理装置であって、前記車両に配置された複数のカメラで得られる撮影画像から、前記車両及び前記車両の周辺領域を俯瞰した俯瞰画像を生成する生成手段と、前記俯瞰画像を前記表示装置に出力して表示させる出力手段と、ユーザの操作に基づいて前記俯瞰画像中に前記車両が駐車すべき駐車位置を設定する設定手段と、前記駐車位置に相対的に設定され前記ユーザがステアリングホイールを操作すべき位置を示す操作ポイントと、前記車両に相対的に設定された基準マークとを、前記俯瞰画像中に表示させる表示制御手段と、前記車両の移動により、前記操作ポイントと前記基準マークとが接触した場合に、前記ステアリングホイールの操作が必要であることをユーザへ報知する報知手段と、を備える。
【００１１】
さらに、請求項６の発明は、車両に搭載される画像表示方法であって、前記車両に配置された複数のカメラで得られる撮影画像から、前記車両及び前記車両の周辺領域を俯瞰した俯瞰画像を生成する工程と、前記俯瞰画像を表示する工程と、ユーザの操作に基づいて前記俯瞰画像中に前記車両が駐車すべき駐車位置を設定する工程と、前記駐車位置に相対的に設定され前記ユーザがステアリングホイールを操作すべき位置を示す操作ポイントと、前記車両に相対的に設定された基準マークとを、前記俯瞰画像中に表示する工程と、前記車両の移動により、前記操作ポイントと前記基準マークとが接触した場合に、前記ステアリングホイールの操作が必要であることをユーザへ報知する工程と、を備える。
【発明の効果】
【００１２】
請求項１ないし６の発明によれば、車両の移動により、操作ポイントと基準マークとが接触した場合に、車両のステアリングホイールの操作が必要であることをユーザへ報知することで、ユーザは車両を駐車する際にステアリングホイールの操作が必要なタイミングを的確に把握できる。
【００１３】
また、特に請求項２の発明によれば、報知手段は、ユーザのステアリングホイールの操作量が閾値より大きくなった場合に、ステアリングホイールの操作が必要であることの報知を取りやめることで、ユーザは操作ポイントにおける必要なステアリングホイールの操作が完了したことを把握できる。
【００１４】
また、特に請求項３の発明によれば、報知手段は、車両の縦列駐車を行う場合に車両のステアリング操作を最初に行う操作ポイントである第１操作ポイントと、車両の車体の左右側面のいずれか一方に表示された第１基準マークとの接触により、ステアリングホイールを操作する必要があることを報知した後に、第１操作ポイントの次に車両のステアリング操作を行う第２操作ポイントと、車両の車体の左右側面のいずれか一方で前記第１基準マークとは異なるに側面に設けられた第２基準マークとの接触により、ステアリングホイールを操作する必要があることを報知することで、駐車位置までに複数回ステアリングホイールの操作が必要な縦列駐車において、ユーザは車両の駐車時にステアリングホイールの操作が必要なタイミングを的確に把握できる。
【００１５】
さらに、特に請求項４の発明によれば、設定手段は、ユーザの第２操作ポイントにおけるステアリングホイールの操作が完了したことに応答して、車両が後退する方向に延びるガイド線の長さをユーザが第２の操作ポイントでステアリングホイールを操作する前よりも短く表示することで、ユーザは車両を駐車位置に駐車させる場合の後退距離が明確となり、駐車位置へ確実に駐車できる。
【図面の簡単な説明】
【００１６】
【図１】図１は、画像表示システムのブロック図である。
【図２】図２は、車載カメラが車両に配置される位置を示す図である。
【図３】図３は、合成画像を生成する手法を説明するための図である。
【図４】図４は、画像表示システムの動作モードの遷移を示す図である。
【図５】図５は、特定領域の移動による車両の駐車すべき位置の設定を示す図である。
【図６】図６は、駐車開始位置に車両が到達した場合の操作ポイントと基準マークとの表示を示す図である。
【図７】図７は、操作ポイントと基準マークとが接触した状態を示す図である。
【図８】図８は、ステアリングホイール操作後に表示される操作ポイントと基準マークとの表示を示す図である。
【図９】図９は、ステアリングホイール操作後に表示された操作ポイントと基準マークとが接触した状態を示す図である。
【図１０】図１０は、駐車すべき位置に車両が到達した状態を示す図である。
【図１１】図１１は、画像処理装置の処理フローチャートである。
【図１２】図１２は、画像処理装置の処理フローチャートである。
【図１３】図１３は、ガイド線の長さを短く表示した状態を示す図である。
【発明を実施するための形態】
【００１７】
以下、図面を参照しつつ本発明の実施の形態について説明する。
【００１８】
＜第１の実施の形態＞
＜１−１．システム構成＞
図１は、画像表示システム１２０のブロック図である。この画像表示システム１２０は、車両（本実施の形態では、自動車）に搭載されるものであり、車両の周辺を撮影して画像を生成し、その生成した画像を車室内のナビゲーション装置２０などの表示装置に出力する機能を有している。画像表示システム１２０のユーザ（代表的にはドライバ）は、この画像表示システム１２０を利用することにより、当該車両の周辺の様子をほぼリアルタイムに把握できるようになっている。
【００１９】
図１に示すように、画像表示システム１２０は、車両の周辺を示す周辺画像を生成してナビゲーション装置２０などの表示装置に画像情報を出力する画像処理装置１００と、車両の周囲を撮影するカメラを備えている撮影部５とを主に備えている。
【００２０】
ナビゲーション装置２０は、ユーザに対しナビゲーション案内を行うものであり、タッチパネル機能を備えた液晶などのディスプレイ２１と、ユーザが操作を行う操作部２２と、装置全体を制御する制御部２３とを備えている。ディスプレイ２１の画面がユーザから視認可能なように、ナビゲーション装置２０は車両のインストルメントパネルなどに設置される。ユーザからの各種の指示は、操作部２２とタッチパネルとしてのディスプレイ２１とによって受け付けられる。制御部２３は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えたコンピュータであり、所定のプログラムに従ってＣＰＵが演算処理を行うことでナビゲーション機能を含む各種の機能が実現される。
【００２１】
ナビゲーション装置２０は、画像処理装置１００と通信可能に接続され、画像処理装置１００との間で各種の制御信号の送受信や、画像処理装置１００で生成された周辺画像の受信が可能となっている。ディスプレイ２１には、制御部２３の制御により、通常はナビゲーション装置２０単体の機能に基づく画像が表示されるが、所定の条件下で画像処理装置１００により生成された車両の周辺の様子を示す周辺画像や、車両９及び車両９の周辺領域を俯瞰した俯瞰画像が表示される。また、ディスプレイ２１に表示される俯瞰画像は周辺領域をほぼリアルタイムに示すことになる。これにより、ナビゲーション装置２０は、画像処理装置１００で生成された周辺画像を受信して表示する表示装置としても機能する。
【００２２】
画像処理装置１００は、その本体部１０が周辺画像を生成する機能を有するＥＣＵ（Electronic Control Unit）であり、車両の所定の位置に配置される。画像処理装置１００は、車両の周辺を撮影する撮影部５を備えており、この撮影部５で車両の周辺を撮影して得られる撮影画像に基づいて仮想視点からみた合成画像を生成する画像生成装置として機能する。これらの撮影部５が備える複数の車載カメラ５１，５２，５３は、本体部１０とは別の車両の適位置に配置されるが詳細は後述する。また、車両に搭載されるカメラの搭載位置は、車載カメラ５１，５２，５３の位置に限らず、車両の周辺画像を生成可能な位置であれば、他の位置に複数設けられても良い。
【００２３】
画像処理装置１００の本体部１０は、装置全体を制御する制御部１と、撮影部５で取得された撮影画像を処理して表示用の周辺画像を生成する画像生成部３と、ナビゲーション装置２０との間で通信を行うナビ通信部４２とを主に備えている。
【００２４】
ナビゲーション装置２０の操作部２２やディスプレイ２１によって受け付けられたユーザからの各種の指示は、制御信号としてナビ通信部４２によって受け付けられて制御部１に入力される。これにより、画像処理装置１００は、ナビゲーション装置２０に対するユーザの操作に応答した動作が可能となっている。
【００２５】
また、画像処理装置１００は、駐車支援ボタン２０１を備えている。この駐車支援ボタン２０１がユーザに操作されると、ユーザの指示を示す信号が制御部１に入力されて、後述するフロントモードＭ２（図４に示す。）の画像が表示される。なお、この駐車支援ボタン４５はハードボタンとして画像処理装置１００やナビゲーション装置２０に設けられてもよい。また、駐車支援ボタン４５は、ナビゲーション装置２０のディスプレイ２１にユーザが指などを接触させて操作するタッチパネルのボタンとして表示されるようにしてもよい。
【００２６】
画像生成部３は、各種の画像処理が可能なハードウェア回路として構成されており、合成画像生成部３１、画像範囲選択部３２、及び、画像情報出力部３３を主な機能として備えている。
【００２７】
合成画像生成部３１は、撮影部５の複数の車載カメラ５１，５２，５３で取得された複数の撮影画像に基づいて、車両の周辺の任意の仮想視点からみた合成画像を生成する。合成画像生成部３１が仮想視点からみた合成画像を生成する手法については後述する。
【００２８】
また、画像情報出力部３３は合成画像生成部３１において生成された合成画像情報をナビゲーション装置２０へ出力する。これにより、車両の周辺を示す周辺画像がナビゲーション装置２０のディスプレイ２１に表示されることになる。
【００２９】
制御部１は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えたコンピュータであり、所定のプログラムに従ってＣＰＵが演算処理を行うことで各種の制御機能が実現される。図中に示す画像制御部１１は、このようにして実現される制御部１の機能のうちの一部を示している。
【００３０】
画像制御部１１は、画像生成部３によって実行される画像処理を制御するものである。例えば、画像制御部１１は、合成画像生成部３１が生成する合成画像の生成に必要な各種パラメータなどを指示する。また、画像範囲選択部３２がサイドカメラ５３により撮影した画像の所定範囲を選択するための指示を車種ごとのパラメータの情報に基づいて行う。
【００３１】
また、画像制御部１１は、後述する縦列駐車ボタン２０２（図４に示す。）のユーザの操作に応答して、生成された合成画像中に後述する特定領域ＲＦ１１（図５に示す。）をナビゲーション装置２０に出力してディスプレイ２１に表示させるための制御を行う。
【００３２】
さらに、画像制御部１１は、第１操作ポイントＰ１１（図６に示す。）をディスプレイ２１の俯瞰画像中に表示させる。詳細には、縦列駐車モードＭ４において俯瞰画像中に表示される特定領域ＲＦ１１がユーザの操作に基づいて車両９を駐車すべき駐車位置に設定される。この設定により画像制御部１１は、ユーザがステアリングホイール９１を操作すべき位置を示す第１操作ポイントＰ１１をディスプレイ２１の俯瞰画像中に表示させる。この第１操作ポイントＰ１１は、車両９を駐車すべき駐車位置に相対的に設定される。また、画像制御部１１は、第１操作ポイントＰ１１の表示と併せて車両９に相対的に設定された第１基準マークＭ２１（図６に示す。）をディスプレイ２１の俯瞰画像中に表示させる。
【００３３】
そして、車両９の移動により第１操作ポイントＰ１１と第１基準マークＭ２１とが接触した場合に、ステアリングホイール９１の操作が必要であることをユーザへ報知する処理を行う。これにより、ユーザは車両９を駐車する際にステアリングホイール９１の操作が必要なタイミングを的確に把握できる。
【００３４】
なお、ステアリングホイール９１の操作が必要であることをユーザへ報知する例としては、第１操作ポイントＰ１１の色や大きさなどの表示状態を変化させたり、第１基準マークＭ２１の色や大きさなどの表示状態を変化させたりする。また、後述するガイド線Ｌ３１（図６に示す。）の色や大きさなどの表示状態を変化させるようにしてもよい。
【００３５】
また、画像処理装置１００の本体部１０は、不揮発性メモリ４０、カード読取部４４、及び、信号入力部４１をさらに備えており、これらは制御部１に接続されている。
【００３６】
不揮発性メモリ４０は、電源オフ時においても記憶内容を維持可能なフラッシュメモリなどで構成されている。不揮発性メモリ４０には、車種別データ４ａが記憶されている。車種別データ４ａは、合成画像生成部３１が合成画像を生成する際に必要となる車両の種別に応じたデータなどである。また、縦列駐車モードで表示させる特定領域ＲＦ１１、操作ポイント、及び、基準マークのデータなども記憶されている。
【００３７】
さらに、不揮発性メモリ４０はユーザの操作に基づいて設定された車両９を駐車すべき駐車位置と、駐車位置に相対的に設定された第１操作ポイントＰ１１の位置との位置関係に基づいて、車両９を駐車位置に到達させるためにステアリングホイール９１の必要な操作量を記憶している。ステアリングホイール９１の必要な操作量は、後述するユーザのステアリングホイール９１の操作量の閾値となる。
【００３８】
カード読取部４４は、可搬性の記録媒体であるメモリカードＭＣの読み取りを行う。カード読取部４４は、メモリカードＭＣの着脱が可能なカードスロットを備えており、そのカードスロットに装着されたメモリカードＭＣに記録されたデータを読み取る。カード読取部４４で読み取られたデータは、制御部１に入力される。
【００３９】
メモリカードＭＣは、種々のデータを記憶可能なフラッシュメモリなどで構成されており、画像処理装置１００はメモリカードＭＣに記憶された種々のデータを利用できる。例えば、メモリカードＭＣにプログラムを記憶させ、これを読み出すことで、制御部１の機能を実現するプログラム（ファームウェア）を更新することが可能である。また、メモリカードＭＣに不揮発性メモリ４０に記憶された車種別データ４ａとは異なる種別の車両に応じた車種別データを記憶させ、これを読み出して不揮発性メモリ４０に記憶させることで、画像表示システム１２０を異なる種別の車両に対応させることも可能である。
【００４０】
また、信号入力部４１は、車両に設けられた各種装置からの信号を入力する。この信号入力部４１を介して、画像表示システム１２０の外部からの信号が制御部１に入力される。具体的には、シフトセンサ８１、車速センサ８２、方向指示器８３、及び、操舵角センサ８４などから、各種情報を示す信号が制御部１に入力される。
【００４１】
シフトセンサ８１からは、車両９の変速装置のシフトレバーの操作の位置、すなわち、”Ｐ（駐車）”，”Ｄ（前進）”，”Ｎ（中立）”，”Ｒ（後退）”などのシフトポジションが入力される。車速センサ８２からは、その時点の車両９の走行速度（ｋｍ／ｈ）が入力される。
【００４２】
方向指示器８３からは、ウインカースイッチの操作に基づく方向指示、すなわち、車両のドライバが意図する方向指示を示すターン信号が入力される。ウインカースイッチが操作されたときはターン信号が発生し、ターン信号はその操作された方向（左方向あるいは右方向）を示すことになる。ウインカースイッチが中立位置となったときは、ターン信号はオフとなる。
【００４３】
操舵角センサ８４は、ユーザが操作したステアリングホイール９１の操作方向を制御部１に入力する。詳細には、操舵角センサ８４は、ユーザが操作したステアリングホイール９１の回転方向、回転角度、及び、回転速度を信号入力部４１を介して制御部１に入力する。なお、操舵角センサ８４の信号は車両本体を制御する制御部へも入力される。そして、操舵角センサ８４の入力信号と車速度センサ８２から車両本体を制御する制御部へ入力された信号に基づいて、車両９を操舵する前輪の操舵角と操舵速度が算出され、この算出された値に基づいて車両９の制御が行われる。
【００４４】
また、後述するように、画像処理装置１００は第１操作ポイントＰ１１と第１基準マークＰ２１とが接触した場合に、ステアリングホイール９１の操作が必要であることをユーザへ報知する。そして、報知した後にユーザのステアリングホイール９１の操作量が不揮発性メモリ４０に記録された操作閾値データ４ｂの値よりも大きくなった場合に、ステアリングホイール９１の操作が必要であることの報知を取りやめる。つまり、ユーザのステアリングホイール９１の操作量が閾値より大きくなった場合に、第１操作ポイントＰ１１と第１基準マークＭ２１とが接触したことにより、ステアリングホイール９１の操作が必要であることをユーザへ報知していたことを取り止める。
【００４５】
詳細には、画像処理装置１００は第１操作ポイント１１と第１基準マークＭ２１とが接触したことにより表示状態が変化した第１操作ポイントＰ１１と第１基準マークＭ２１の表示を取り消す処理を行う。また、ガイド線Ｌ３１の色及び大きさの少なくともいずれか一つの表示状態を変化する処理を行って、ディスプレイ２１に表示させている場合は、その表示状態を取り止めて変化する前の状態をディスプレイ２１に表示させる。これにより、ユーザは第１操作ポイントＰ１１における必要なステアリングホイール９１の操作が完了したことを把握できる。
【００４６】
＜１−２．撮影部＞
次に、画像処理装置１００の撮影部５について詳細に説明する。撮影部５は、制御部１に電気的に接続され、制御部１からの信号に基づいて動作する。
【００４７】
撮影部５は、車載カメラであるフロントカメラ５１、バックカメラ５２及びサイドカメラ５３を備えている。これらの車載カメラ５１，５２，５３はそれぞれ、ＣＣＤやＣＭＯＳなどの撮像素子を備えており電子的に画像を取得する。
【００４８】
図２は、車載カメラ５１，５２，５３が車両９に配置される位置を示す図である。なお、以下の説明においては、方向及び向きを示す際に、適宜、図中に示す３次元のＸＹＺ直交座標を用いる。このＸＹＺ軸は車両９に対して相対的に固定される。ここで、Ｘ軸方向は車両９の左右方向に沿い、Ｙ軸方向は車両９の直進方向（前後方向）に沿い、Ｚ軸方向は鉛直方向に沿っている。また、便宜上、＋Ｘ側を車両９の右側、＋Ｙ側を車両９の後側、＋Ｚ側を上側とする。
【００４９】
フロントカメラ５１は、車両９の前端にあるナンバープレート取付位置の近傍に設けられ、その光軸５１ａは車両９の直進方向（平面視でＹ軸方向の−Ｙ側）に向けられている。バックカメラ５２は、車両９の後端にあるナンバープレート取付位置の近傍に設けられ、その光軸５２ａは車両９の直進方向の逆方向（平面視でＹ軸方向の＋Ｙ側）に向けられている。また、サイドカメラ５３は、左右のドアミラー９３にそれぞれ設けられており、その光軸５３ａは車両９の左右方向（平面視でＸ軸方向）に沿って外部に向けられている。なお、フロントカメラ５１やバックカメラ５２の取り付け位置は、左右略中央であることが望ましいが、左右中央から左右方向に多少ずれた位置であってもよい。
【００５０】
これらの車載カメラ５１，５２，５３のレンズとしては魚眼レンズなどが採用されており、車載カメラ５１，５２，５３は１８０度以上の画角αを有している。このため、４つの車載カメラ５１，５２，５３を利用することで、車両９の全周囲の撮影が可能となっている。
【００５１】
＜１−３．画像変換処理＞
次に、画像生成部３の合成画像生成部３１が、撮影部５で得られた複数の撮影画像に基づいて車両９の周辺を任意の仮想視点からみた様子を示す合成画像を生成する手法について説明する。合成画像を生成する際には、不揮発性メモリ４０に予め記憶された車種別データ４ａが利用される。図３は、合成画像を生成する手法を説明するための図である。
【００５２】
撮影部５のフロントカメラ５１、バックカメラ５２及びサイドカメラ５３で同時に撮影が行われると、車両９の前方、後方、左側方、及び、右側方をそれぞれ示す４つの撮影画像Ｐ１〜Ｐ４が取得される。すなわち、撮影部５で取得される４つの撮影画像Ｐ１〜Ｐ４には、撮影時点の車両９の全周囲を示す情報が含まれていることになる。
【００５３】
次に、４つの撮影画像Ｐ１〜Ｐ４の各画素が、仮想的な三次元空間における立体曲面ＳＰに投影される。立体曲面ＳＰは、例えば略半球状（お椀形状）をしており、その中心部分（お椀の底部分）が車両９が存在する位置として定められている。撮影画像Ｐ１〜Ｐ４に含まれる各画素の位置と、この立体曲面ＳＰの各画素の位置とは予め対応関係が定められている。このため、立体曲面ＳＰの各画素の値は、この対応関係と撮影画像Ｐ１〜Ｐ４に含まれる各画素の値とに基づいて決定できる。
【００５４】
撮影画像Ｐ１〜Ｐ４の各画素の位置と立体曲面ＳＰの各画素の位置との対応関係は、車両９における４つの車載カメラ５１，５２，５３の配置（相互間距離、地上高さ、光軸角度等）に依存する。このため、この対応関係を示すテーブルデータが、不揮発性メモリ４０に記憶された車種別データ４ａに含まれている。
【００５５】
また、車種別データ４ａに含まれる車体の形状やサイズを示すポリゴンデータが利用され、車両９の三次元形状を示すポリゴンモデルである車両像を仮想的に備えている。構成された車両像は、立体曲面ＳＰが設定される三次元空間において、車両９の位置と定められた略半球状の中心部分に配置される。
【００５６】
さらに、立体曲面ＳＰが存在する三次元空間に対して、制御部１により仮想視点ＶＰが設定される。仮想視点ＶＰは、視点位置と視野方向とで規定され、この三次元空間における車両９の周辺に相当する任意の視点位置に任意の視野方向に向けて設定される。
【００５７】
そして、設定された仮想視点ＶＰに応じて、立体曲面ＳＰにおける必要な領域が画像として切り出される。仮想視点ＶＰと、立体曲面ＳＰにおける必要な領域との関係は予め定められており、テーブルデータとして不揮発性メモリ４０等に予め記憶されている。一方で、設定された仮想視点ＶＰに応じてポリゴンで構成された車両像に関してレンダリングがなされ、その結果となる二次元の車両像が、切り出された画像に対して重畳される。これにより、車両９及びその車両９の周辺を任意の仮想視点からみた様子を示す合成画像が生成されることになる。
【００５８】
例えば、視点位置が車両９の位置の略中央の直上位置で、視野方向が略直下方向とした仮想視点ＶＰ１を設定した場合は、車両９の略直上から車両９を見下ろすように、車両９（実際には車両像）及び車両９の周辺の様子を示す合成画像ＣＰ１が生成される。また、図中に示すように、視点位置が車両９の位置の左後方で、視野方向が車両９における略前方とした仮想視点ＶＰ２を設定した場合は、車両９の左後方からその周辺全体を見渡すように、車両９（実際には車両像）及び車両９の周辺の様子を示す合成画像ＣＰ２が生成される。
【００５９】
なお、実際に合成画像を生成する場合においては、立体曲面ＳＰの全ての画素の値を決定する必要はなく、設定された仮想視点ＶＰに対応して必要となる領域の画素の値のみを撮影画像Ｐ１〜Ｐ４に基づいて決定することで、処理速度を向上できる。
【００６０】
＜１−４．動作モード＞
次に、画像表示システム１２０の動作モードについて説明する。図４は、画像表示システム１２０の動作モードの遷移を示す図である。画像表示システム１２０は、ナビモードＭ１、フロントモードＭ２、バックモードＭ３、及び、縦列駐車モードＭ４の４つの動作モードを有している。これらの動作モードは、ユーザの操作や車両９の走行状態に応じて制御部１の制御により切り替えられるようになっている。
【００６１】
ナビモードＭ１は、ナビゲーション装置２０の機能により、ナビゲーション案内用の地図画像ＮＰを主にディスプレイ２１に表示する動作モードである。ナビモードＭ１では、画像処理装置１００の機能が利用されず、ナビゲーション装置２０単体の機能で各種の表示がなされる。
【００６２】
フロントモードＭ２、バックモードＭ３、及び、縦列駐車モードＭ４は、画像処理装置１００の機能を利用して、撮影画像ＰＰ、合成画像ＣＰ、及び、合成画像ＣＱ０などをディスプレイ２１に表示して、車両９の周辺の状況をほぼリアルタイムでユーザに示す動作モードである。
【００６３】
また、フロントモードＭ２は、前進時に必要となる車両９の前方や側方を主に示す画像を表示する動作モードである。例えば、図中に示すように、車両９の直上の仮想視点からみた車両９及び車両９の周辺の様子を示す合成画像（俯瞰画像）ＣＰと、フロントカメラ５１での撮影により得られる撮影画像ＰＰとが同時にディスプレイ２１に表示される。この合成画像ＣＰの仮想視点の位置は、車両９の直上に限らず、ユーザの操作に応じて車両９の後方側などへ切り替えられるようになっていてもよい。さらに、フロントモードＭ２は、自車の中心に周囲２〜３ｍの範囲を俯瞰画像として表示したモードである。
【００６４】
また、バックモードＭ３は、後退時に必要となる車両９の後方を主に示す画像を表示する動作モードである。例えば、図中に示すように、車両９の直上の仮想視点からみた車両９及び車両９の周辺の様子を示す合成画像（俯瞰画像）ＣＰと、バックカメラ５２での撮影により得られる撮影画像ＰＰとが同時にディスプレイ２１に表示される。この合成画像ＣＰの仮想視点の位置は、車両９の直上に限らず、ユーザの操作に応じて車両９の前方側などへ切り替えられるようになっていてもよい。
【００６５】
さらに、縦列駐車モードＭ４は、ユーザが車両９を縦列駐車する際にユーザの運転操作をサポートするモードである。例えば、図中に示すように、車両９の直上の仮想視点からみた車両９の周辺領域をほぼリアルタイムに示し、車両９の大きさに対応した特定領域ＲＦ１１と車両９の前方に駐車している他車両１９を表示する画像が合成画像俯瞰画像）ＣＱ０として画像処理装置１００が、ナビゲーション装置２０出力してディスプレイ２１に表示させる。
【００６６】
縦列駐車モードＭ４は、フロントモードＭ２の縦列駐車ボタン２０２をユーザが操作することにより開始される。そして、縦列駐車モードＭ４では、フロントモードＭ２で表示されていた車両９と車両９の周辺の様子を示す合成画像俯瞰画像）ＣＰに、車両９と車両９の大きさに対応した特定領域ＲＦ１１の画像の表示が加わり、合成画像ＣＱ０（以下「画像ＣＱ０」ともいう。）として、画像処理装置１００がディスプレイ２１に出力して表示させる。なお、縦列駐車モードＭ４は、フロントモードＭ２から仮想視点の位置を上方の位置に移動させて自車と駐車領域ＲＦ１１とがディスプレイ２１の１画面内で表示されるようにしている。
【００６７】
各モードの遷移は、ナビモードＭ１において、ナビゲーション装置２０のディスプレイ２１に表示される駐車支援ボタン２０１をユーザが操作した場合、または、ユーザが操作部２２を操作した場合など、所定操作によりフロントモードＭ２に切り替えられる。また、フロントモードＭ２において、ユーザの操作部２２による操作などの所定操作により、ナビモードＭ１に切り替えられる。なお、ナビモードＭ１とフロントモードＭ２とは、車速度センサ８２から入力される走行速度に応じて切り替えてもよい。
【００６８】
また、ナビモードＭ１あるいはフロントモードＭ２の場合に、シフトセンサ８１から入力されるシフトポジションが”Ｒ（後退）”となったときは、バックモードＭ３に切り替えられる。すなわち、シフトポジションが”Ｒ（後退）”の場合は、車両９は後退する状態であるため、車両９の後方を主に示すバックモードＭ３に切り替えられる。また、バックモードＭ３の場合に、シフトポジションが”Ｒ（後退）”以外となったときは、バックモードＭ３に切り替えられる直前の動作モードに戻ることになる。なお、バックモードＭ３において、ディスプレイ２１に表示される駐車支援ボタン２０１をユーザが操作した場合は、フロントモードＭ２となる。
【００６９】
そして、フロントモードＭ２において、ディスプレイ２１に表示された縦列駐車ボタン２０２をユーザが操作すると、縦列駐車モードＭ４の画像が画像処理装置１００から出力され、ディスプレイ２１に表示される。また、縦列駐車モードＭ４においてディスプレイ２１の戻るボタン２０３をユーザが操作した場合は、フロントモードＭ２に遷移する。
【００７０】
＜１−５縦列駐車モード＞
以下では、縦列駐車モードＭ４で画像処理装置１００からナビゲーション装置２０に出力され、ディスプレイ２１に表示される合成画像の詳細について図５〜図９を用いて説明する。図５は、特定領域ＲＦ１１の移動による車両９の駐車すべき位置の設定を示す図である。フロントモードＭ２で縦列駐車ボタン２０２がユーザにより操作されると、縦列駐車モードＭ４の画像ＣＱ０が画像処理装置１００からナビゲーション装置２０に出力され、ディスプレイ２１に表示される。
【００７１】
図５に示す画像ＣＱ０は、略中心に車両９の画像が表示されている俯瞰画像であり、車両の周辺領域を略リアルタイムに示している。そして、車両９の右側に特定領域ＲＦ１１が表示されている。この特定領域ＲＦ１１は、車両９が縦列駐車を行うのに必要なスペースであり、車両９の進行方向の長さが車両９の全長の約１．５倍で、車幅方向の長さが車両９の車幅の約１．２倍の広さを備えている略長方形の領域である。
【００７２】
特定領域ＲＦ１１は縦列駐車モードＭ４の開始に伴い、画像ＣＱ０の所定の位置に表示される。そして、図５の合成画像ＣＱ１以下「画像ＣＱ１」ともいう。）に示すようにユーザの操作により、ユーザが車両９を駐車すべき駐車位置に設定される。つまり、車両９の右側に位置する特定領域ＲＦ１１がユーザの操作により略平行移動して車両９の左側で他車両１９の後方の位置に移動する。
【００７３】
そして、ユーザはユーザの操作により移動した特定領域ＲＦ１１の位置を駐車領域ＳＡ４１として設定する。これにより、ユーザは車両９の駐車位置を設定でき、この設定により以後駐車領域ＳＡ４１は路面に対して固定表示される。なお、ここでいうユーザの操作はディスプレイ２１をユーザが指などを接触させてタッチパネルとして操作する場合や、操作部２２を用いて操作する場合などをいう。以下、説明する合成画像中で行われるユーザの操作は同様な操作が行われる。
【００７４】
図６は、駐車開始位置ＳＴ２に車両９が到達した場合の第１操作ポイントＰ１１と第１基準マークＭ２１との表示を示す図である。図５で示した駐車領域ＳＡ４１の設定により、車両９の駐車開始位置であるＳＴ２が合成画像ＣＱ２（以下、「画像ＣＱ２」ともいう。）に表示される。さらに、駐車領域ＳＡ４１の設定に伴い車両９の後方に指標が表示される。この指標は車両９の進行方向を示すものであり、本実施の形態では一例として車両９の予想進路を示すガイド線Ｌ３１の画像を表示している。
【００７５】
このガイド線Ｌ３１は後述するようにステアリングホイール９１の操作方向に応答して方向を変化させる。また、ステアリングホイール９１の操作量に応答して表示状態を変化させる。例えば、ステアリングホイール９１が中立位置にあり、車両９が直進する状態の場合、ガイド線Ｌ３１は車両９が後退する方向に略平行な状態の直線で表示される。そして、ステアリングホイール９１が左側に操作されると、ガイド線Ｌ３１は操作方向に応答して、車両９が前進する方向からみて左側の方向へ向きを変化させて曲線で表示される。なお、ステアリングホイール９１の操作量が多い程、曲線は直線の状態から半円に近い状態となって表示される。
【００７６】
合成画像ＣＱ３（以下、「画像ＣＱ３」ともいう。）は、車両９が駐車開始位置ＳＴ２に向かって前進し、駐車開始位置ＳＴ２の範囲内に到達した状態を示している。画像ＣＱ３では車両９が駐車開始位置ＳＴ２に到達したことを表示している。この到達により車両９の駐車すべき位置の駐車領域ＳＡ４１に相対的に設定されユーザがステアリングホイール９１を操作すべき位置を示す第１操作ポイント１１が画像処理装置１１から出力されディスプレイ２１に表示される。また、車両９に相対的に設定された第１基準マークＭ２１が第１操作ポイント１１が設けられた位置に対応した車両９の側面である車両９の左側側面に表示される。
【００７７】
図７は、第１操作ポイントＰ１１と第１基準マークＭ２１とが接触した状態を示す図である。合成画像ＣＱ４（以下、「画像ＣＱ４」ともいう。）は、車両９が駐車開始位置ＳＴ２の位置から後退する状態を表示している。そして、車両９の後退により第１操作ポイントＰ１１と第１基準マークＭ２１とが接近している。なお、第１操作ポイントＰ１１及び第１基準マークＭ２１が表示された後に、車両９が後退動作に入ると駐車開始位置ＳＴ２の画像表示は取り消される。
【００７８】
合成画像ＣＱ５（以下、「画像ＣＱ５」ともいう。）は、車両９の後退により第１操作ポイントＰ１１と第１基準マークＭ２１とが接触した状態を示している。このように車両９の後退により第１操作ポイントＰ１１と第１基準マークＭ２１とが接触した場合に、ユーザへステアリングホイール９１の操作が必要であることを報知するために、画像処理装置１００は第１操作ポイントＰ１１の色や大きさなどの表示状態を変化させてディスプレイ２１に表示させる。
【００７９】
また、第１基準マークＭ２１の色や大きさなどの表示状態を変化させてディスプレイ２１に表示させる。さらに、画像処理装置１００は車両９の後方に設けられた指標であるガイド線Ｌ３１の色や大きさなどの表示状態を変化させてディスプレイ２１に表示させる。これにより、ユーザは車両９を駐車する際にステアリングホイール９１の操作が必要なタイミングを的確に把握できる。
【００８０】
図８は、ステアリングホイール９１の操作後に表示される第２操作ポイントＰ１２と第２基準マークＭ２２との表示を示す図である。合成画像ＣＱ６以下「画像ＣＱ６」ともいう。）は、画像ＣＱ５で説明したように第１操作ポイントＰ１１と第１基準マークＭ２１とが接触した場合に、ユーザにステアリングホイール９１の操作が必要であることを報知する。
【００８１】
この報知を受けてユーザがステアリングホイール９１を操作する。詳細には画像ＣＱ６に示すように車両９が直進する方向であるステアリングホイール９１の中立位置から左方向へステアリングホイール９１を回転させる。車両９の後方のガイド線Ｌ３１は、ユーザのステアリングホイール９１の操作に伴い車両９の進行方向を示す状態となって表示される。
【００８２】
そして、ユーザのステアリングホイール９１の操作量が不揮発性メモリ４０に記録された操作閾値データ４ｂの値よりも大きくなった場合に、ステアリングホイール９１の操作が必要であることの報知を取り止める。
【００８３】
詳細には第１操作ポイント１１と第１基準マークＭ２１とが接触したことにより第１操作ポイントＰ１１、及び、第１基準マークＭ２１の画像の表示が取り消される。また、ガイド線Ｌ３１の色及び大きさの少なくともいずれか一つの表示状態が変化した状態を取り止めて、変化する前の状態にして画像処理装置１００が表示させる。このような画像情報を画像処理装置１００はナビゲーション装置２０に出力して、ディスプレイ２１に表示させる。これにより、ユーザは操作ポイントにおける必要なステアリングホイール９１の操作が完了したことを把握できる。
【００８４】
合成画像ＣＱ７以下「画像ＣＱ７」ともいう。）は、ユーザのステアリングホイール９１の操作が操作閾値データ４ｂの値よりも大きくなり、ユーザが車両９を後退させた後にステアリングホイール９１を中立位置に戻した状態を示している。この状態では車両９が駐車すべき位置である駐車領域ＳＡ４１と相対的に設定され、ユーザがステアリングホイール９１を操作すべき位置を示す第２操作ポイントＰ１２が表示される。
【００８５】
また、第２操作ポイントＰ１２と共に車両９に相対的に設定された第２基準マークＭ２２が第２操作ポイントＰ１２の位置と対応した車両９の側面である車両９の右側面に表示される。
【００８６】
図９は、ステアリングホイール９１の操作後に表示された第２操作ポイントＰ１２と第２基準マークＭ２２とが接触した状態を示す図である。合成画像ＣＱ８（以下「画像ＣＱ８」ともいう。）は、ユーザが車両９のステアリングホイール９１を中立位置とした状態で、車両９を後退させる状態を表示している。このように車両９が後退する状態で、ステアリングホイール９１の操作を行うべきポイントである第２操作ポイントＰ１２と車両９の右側面の第２基準マークＭ２２とが接触したときに、画像処理装置１００は、ステアリングホイール９１を操作する必要があることをユーザへ報知する。
【００８７】
ここで、ユーザへの報知は画像処理装置１００からナビゲーション装置２０に出力され、ディスプレイ２１に表示される第２操作ポイントＰ１２、第２基準マークＭ２２、及びガイド線Ｌ３１の少なくともいずれか一つの表示状態の変化である。これにより、駐車位置までに複数回ステアリングホイール９１の操作が必要な縦列駐車において、ユーザは車両９の駐車時にステアリングホイール９１の操作が必要なタイミングを的確に把握できる。
【００８８】
合成画像ＣＱ９以下「画像ＣＱ９」ともいう。）は、画像ＣＱ８で説明したように第２操作ポイントＰ１２と第２基準マークＭ２２とが接触した場合に、ユーザにステアリングホイール９１の操作が必要であることを報知する。この報知を受けてユーザがステアリングホイール９１を操作する。
【００８９】
詳細には画像ＣＱ９に示すように車両９が直進する方向であるステアリングホイール９１の中立位置から右方向へステアリングホイール９１を回転させる。車両９の後方のガイド線Ｌ３１は、ユーザのステアリングホイール９１の操作に伴い車両９の進行方向を示す状態となって表示されている。
【００９０】
そして、ユーザのステアリングホイール９１の操作量が不揮発メモリ４０に記録された操作閾値データ４ｂの値よりも大きくなった場合に、ステアリングホイール９１の操作が必要であることの報知を取り止める。
【００９１】
詳細には、第２操作ポイント１２と第２基準マークＭ２２とが接触したことにより表示状態が変化した第２操作ポイントＰ１２、及び、第２基準マークＭ２２の画像の表示が取り消される。また、ガイド線Ｌ３１の色及び大きさの少なくともいずれか一つの表示状態を変化させている状態を取り止めて、変化する前の状態として表示される。このような画像情報を画像処理装置１００はナビゲーション装置２０に出力して、ディスプレイ２１に表示させる。これにより、ユーザは操作ポイントにおける必要なステアリングホイール９１の操作が完了したことを把握できる。
【００９２】
図１０は、駐車すべき位置である駐車領域ＳＡ４１に車両９が到達した状態を示す図である。合成画像ＣＱ１０（以下、「画像ＣＱ１０」ともいう。）は、車両９が駐車領域４１に到達している状態を表示している。詳細にはユーザのステアリングホイール９１の操作が操作閾値データ４ｂの値よりも大きくなった場合に、ユーザが車両９を後退させた後、ステアリングホイール９１を中立位置に戻した状態が表示されている。このように合成画像中にユーザのステアリングホイール９１の操作を行うタイミングを適切に表示することで、ユーザは目的とする駐車位置に無駄な操作がなく車両９を駐車できる。
【００９３】
以上のように画像表示システム１２０においては、ユーザの操作に基づいて俯瞰画像中に車両９が駐車すべき駐車領域ＳＡ４１を設定すると、駐車領域ＳＡ４１の位置に相対的に設定される。そして、ユーザがステアリングホイール９１を操作すべき位置を示す第１操作ポイントＰ１１及び第２操作ポイントＰ１２と、車両９に相対的に設定された第１基準マークＭ２１及び第２基準マークＭ２２とが俯瞰画像中に表示される。また、車両９の移動により第１操作ポイントＰ１１及び第２操作ポイントＰ１２と、第１基準マークＭ２１及び第２基準マークＭ２２とが接触した場合に、ステアリングホイール９１の操作が必要であることをユーザへ報知する。これにより、ユーザは車両９を駐車する際にステアリングホイール９１の操作が必要なタイミングを的確に把握できる。
【００９４】
また、ユーザのステアリングホイール９１の操作量が不揮発メモリ４０に記録されている操作閾値データ４ｂの値よりも大きくなった場合に、ステアリングホイール９１の操作が必要であることの報知を取り止める。これにより、ユーザは操作ポイントＰ１１及びＰ１２における必要なステアリングホイール９１の操作が完了したことを把握できる。
【００９５】
また、車両９の縦列駐車を行う場合に、ステアリングホイール９１の操作を最初に行うべき第１操作ポイントＰ１１と、第１操作ポイントＰ１１の位置に対応した車両９の側面に設定された第１基準マークＭ２１との接触により、ステアリングホイール９１を中立位置から所定の方向へ操作する必要があることを報知する。この報知の後に、第１操作ポイントＰ１１の次にステアリングホイール９１の操作を行うべき第２操作ポイントＰ１２と、第２操作ポイントＰ１２の位置に対応して第２基準マークＭ２１が設定された車両９の側面とは逆の側面に設定される第２基準マークＭ２２との接触により報知が行われる。この報知は、第２操作ポイントＰ１２と第２基準マークＭ２１との接触のときとは逆の方向にステアリングホイール９１を操作する必要があることを報知する。これにより、駐車領域ＳＡ４１までに複数回ステアリングホイール９１の操作が必要な縦列駐車において、ユーザは車両９の駐車時にステアリングホイール９１の操作が必要なタイミングを的確に把握できる。
【００９６】
＜２．処理＞
次に、画像処理装置１００の処理について説明する。図１１及び図１２は、画像処理装置の処理フローチャートである。ユーザからの駐車支援ボタン２０１の操作信号が入力された場合（ステップＳ１０１がＹｅｓ）、画像処理装置１００はフロントモードＭ２の画像をナビゲーション装置２０に出力して（ステップＳ１０２）、ステップＳ１０３の処理へ進む。なお、ユーザからの駐車支援ボタン２０１の操作信号が画像処理装置１００に入力されていない場合（ステップＳ１０１がＮｏ）は、処理を終了する。
【００９７】
ステップＳ１０３では、ユーザからの縦列駐車ボタン２０２の操作信号が画像処理装置１００に入力された場合（ステップＳ１０３がＹｅｓ）、縦列駐車モードＭ４の画像を出力して（ステップＳ１０４）、ステップＳ１０５の処理へ進む。
【００９８】
縦列駐車モードＭ４では、画像ＣＱ０に示すように車両９の周辺領域を略リアルタイムに示す俯瞰画像を表示して、車両９の大きさに対応した特定領域ＲＦ１１を俯瞰画像中に表示する。なお、縦列駐車ボタン２０２の操作信号が画像処理装置１００に入力されていない場合（ステップＳ１０３がＮｏ）は、画像処理装置１００はフロントモードＭ２の画像出力を継続して行う。
【００９９】
ステップＳ１０５では、画像ＣＱ１に示すようにユーザの操作により合成画像内で駐車領域ＳＡ４１を設定した信号が入力された場合（ステップＳ１０５がＹｅｓ）は、画像ＣＱ２に示すようにユーザが設定した駐車領域ＳＡ４１の位置を車両９を駐車すべき位置として設定する（ステップＳ１０６）。そして、駐車領域ＳＡ４１の設定に伴い駐車領域ＳＡ４１に車両９を駐車するための駐車開始位置である駐車開始領域ＳＴ２をディスプレイ２１に表示させてステップＳ１０７の処理へ進む。
【０１００】
なお、駐車領域ＳＡ４１を設定する信号が画像処理装置１００に入力されていない場合（ステップＳ１０５がＮｏ）は、画像処理装置１００は縦列駐車モードＭ４の画像の出力をナビゲーション装置２０に継続して行う。また、所定時間経過後に縦列駐車モードＭ４の前のモードであるフロントモードＭ２に遷移するようにしてもよい。
【０１０１】
ステップＳ１０７では、画像ＣＱ３に示すように車両９が駐車開始領域ＳＴ２内に到着した場合（ステップＳ１０７がＹｅｓ）、駐車領域ＳＡ４１に相対的に設定されユーザがステアリングホイール９１を操作すべき位置を示す第１操作ポイント１１が表示される。また、車両９に相対的に設定された第１基準マークＭ２１が第１操作ポイント１１が設けられた位置に対応した車両９の側面である車両９の左側側面に表示され（ステップＳ１０８）、ステップＳ１０９の処理へ進む。
【０１０２】
なお、ステップＳ１０７において、駐車開始領域ＳＴ２に車両９が到着していない場合は、縦列駐車モードＭ４の画像を表示し、所定時間経過後に前のモードであるフロントモードＭ２に戻るようにしてもよい。
【０１０３】
ステップＳ１０９では、画像ＣＱ４、及び、画像ＣＱ５に示すように車両９が駐車開始位置ＳＴ２の位置から後退して、第１操作ポイントＰ１１と第１基準マークＭ２１とが接近した状態を表示している。そして、第１操作ポイントＰ１１と第１基準マークＭ２１とが接触した場合（ステップＳ１０９がＹｅｓ）、ユーザへステアリングホイール９１の操作が必要であることを報知して（ステップＳ１１０）、ステップＳ１１１の処理へ進む。これにより、ユーザは車両９を駐車する際にステアリングホイール９１の操作が必要なタイミングを的確に把握できる。
【０１０４】
なお、ユーザへの報知は、画像処理装置１００からナビゲーション装置２０に出力され、ディスプレイ２１に表示される第１操作ポイントＰ１１、第１基準マークＭ２１、及びガイド線Ｌ３１の少なくともいずれか一つの表示状態の変化である。
【０１０５】
なお、ステップＳ１０９において、第１操作ポイントＰ１１と第１基準マークＭ２１とが接触していない場合（ステップＳ１０９がＮｏ）は、画像処理装置１００は縦列駐車モードＭ４の画像の出力をナビゲーション装置２０に継続して行う。また、所定時間経過後に縦列駐車モードＭ４の前のモードであるフロントモードＭ２に遷移するようにしてもよい。
【０１０６】
ステップＳ１１１では、画像ＣＱ６に示すように、ユーザは車両９が直進する方向であるステアリングホイール９１の中立位置から左方向へステアリングホイール９１を回転させる。車両９の後方のガイド線Ｌ３１は、ユーザのステアリングホイール９１の操作に伴い車両９の進行方向を示す状態となって表示されている。
【０１０７】
そして、ユーザのステアリングホイール９１の操作量が不揮発メモリ４０に記録された操作閾値データ４ｂの値よりも大きくなった場合（ステップＳ１１１がＹｅｓ）に、ステアリングホイール９１の操作が必要であることの報知を取り止めて（ステップＳ１１２）、ステップＳ１１３の処理へ進む。これにより、ユーザは操作ポイントにおける必要なステアリングホイール９１の操作が完了したことを把握できる。
【０１０８】
なお、ステップＳ１１１において、ステアリングホイール９１の操作量が操作閾値データ４ｂの値よりも大きくない場合（ステップＳ１１１がＮｏ）は、画像処理装置１００は縦列駐車モードＭ４の画像の出力をナビゲーション装置２０に継続して行う。また、所定時間経過後に縦列駐車モードＭ４の前のモードであるフロントモードＭ２に遷移するようにしてもよい。
【０１０９】
ステップＳ１１３では、画像ＣＱ７に示すようにユーザのステアリングホイール９１の操作量が操作閾値データ４ｂの値よりも大きくなった状態で、ユーザが車両９を後退させる。そして、ユーザがステアリングホイール９１を中立位置に戻した場合（ステップＳ１１３がＹｅｓ）に、車両９が駐車すべき位置である駐車領域ＳＡ４１と相対的に設定され、ユーザがステアリングホイール９１を操作すべき位置を示す第２操作ポイントＰ１２が画像処理装置１００からナビゲーション装置２０に出力される。
【０１１０】
また、第２操作ポイントＰ１２の位置と対応した車両９の側面である車両９の右側面に車両９に相対的に設定された第２基準マークＭ２２が出力され（ステップＳ１１４）、ステップＳ１１５の処理へ進む。
【０１１１】
なお、ステップＳ１１３において、ステアリングホイール９１の中立位置を画像処理装置１００が検出していない場合（ステップＳ１１３がＮｏ）は、画像処理装置１００は縦列駐車モードＭ４の画像の出力をナビゲーション装置２０に継続して行う。また、所定時間経過後に縦列駐車モードＭ４の前のモードであるフロントモードＭ２に遷移するようにしてもよい。
【０１１２】
ステップＳ１１５では、画像ＣＱ８に示すように車両９が後退する状態で、ステアリングホイール９１の操作を行うべきポイントである第２操作ポイントＰ１２と車両９の右側面の第２基準マークＭ２２とが接触した場合（ステップＳ１１５がＹｅｓ）に、ステアリングホイール９１を操作する必要があることをユーザへ報知して（ステップＳ１１６）、ステップＳ１１７の処理へ進む。
【０１１３】
ユーザへの報知は、画像処理装置１００からナビゲーション装置２０に出力され、ディスプレイ２１に表示される第２操作ポイントＰ１２、第２基準マークＭ２２、及びガイド線Ｌ３１の少なくともいずれか一つの表示状態の変化である。これにより、駐車位置までに複数回ステアリングホイール９１の操作が必要な縦列駐車において、ユーザは車両９の駐車時にステアリングホイール９１の操作が必要なタイミングを的確に把握できる。
【０１１４】
なお、ステップＳ１１５において、第２操作ポイントＰ１２と第２基準マークＭ２２とが接触していない場合（ステップＳ１１５がＮｏ）は、画像処理装置１００は縦列駐車モードＭ４の画像の出力をナビゲーション装置２０に継続して行う。また、所定時間経過後に縦列駐車モードＭ４の前のモードであるフロントモードＭ２に遷移するようにしてもよい。
【０１１５】
ステップＳ１１７では、画像ＣＱ９に示すようにユーザは車両９が直進する方向であるステアリングホイール９１の中立位置から右方向へステアリングホイール９１を回転させる。車両９の後方のガイド線Ｌ３１は、ユーザのステアリングホイール９１の操作に伴い車両９の進行方向を示す状態となって表示されている。
【０１１６】
そして、ユーザのステアリングホイール９１の操作量が不揮発メモリ４０に記録された操作閾値データ４ｂの値よりも大きくなった場合に、ステアリングホイール９１の操作が必要であることの報知を取り止めて（ステップＳ１１８）、ステップＳ１１９の処理へ進む。これにより、ユーザは操作ポイントにおける必要なステアリングホイール９１の操作が完了したことを把握できる。
【０１１７】
ステップＳ１１９では、画像ＣＱ１０に示すようにユーザのステアリングホイール９１の操作量が操作閾値データ４ｂの値よりも大きくなった状態で、ユーザが車両９を後退させる。そして、ユーザがステアリングホイール９１を中立位置に戻した場合に、車両９が駐車すべき位置である駐車領域ＳＡ４１に到達する（ステップＳ１１９がＹｅｓ）と処理を終了する。このようにユーザのステアリングホイール９１の操作を行うタイミングを適切に表示することで、ユーザは目的とする駐車位置に無駄な操作がなく車両９を駐車できる。
【０１１８】
なお、ステップＳ１１９において、車両９の位置が駐車領域ＳＡ４１内に到達していない場合（ステップＳ１１９がＮｏ）は、画像処理装置１００は縦列駐車モードＭ４の画像の出力をナビゲーション装置２０に継続して行う。また、所定時間経過後に縦列駐車モードＭ４の前のモードであるフロントモードＭ２に遷移するようにしてもよい。
【０１１９】
＜第２の実施の形態＞
次に、第２の実施の形態について説明する。第２の実施の形態と第１の実施の形態との異なる部分は、第１の実施の形態ではガイド線Ｌ３１の長さの調整を行っていないのに対して、第２の実施の形態では第２の操作ポイントＰ１２においてユーザのステアリングホイール９１の操作が完了したことに応答して、ガイド線Ｌ３１の長さを調整することである。
【０１２０】
なお、第２の実施の形態の画像表示システム１２０の構成及び処理は、第１の実施の形態とほぼ同様であるが、上記のようにガイド線Ｌ３１の長さの調整を行う部分が一部相違する。このため以下、相違点を中心に説明する。
【０１２１】
第１の実施の形態では、図９の画像ＣＱ９で示されているように、第２の操作ポイントＰ１２において、ユーザは車両９が直進する方向であるステアリングホイール９１の中立位置から右方向へステアリングホイール９１を回転させる。
【０１２２】
車両９の後方のガイド線Ｌ３１は、ユーザのステアリングホイール９１の操作に伴い車両９の進行方向を示す状態に表示されている。そして、ユーザのステアリングホイール９１の操作量が不揮発メモリ４０に記録された操作閾値データ４ｂの値よりも大きくなった場合に、ステアリングホイール９１の操作が必要であることの報知を取り止めていた。
【０１２３】
これに対して第２の実施の形態では、図１３にガイド線Ｌ３１の長さを短く表示した状態を示している。このガイド線Ｌ３１の長さの調整は次のようにして行われる。合成画像ＣＱ１８（以下「画像ＣＱ１８」ともいう。）では、ステアリングホイール９１の操作を行うべきポイントである第２操作ポイントＰ１２と車両９の右側面の第２基準マークＭ２２とが接触したときに、画像処理装置１００は、ステアリングホイール９１を操作する必要があることをユーザへ報知する。
【０１２４】
次に、合成画像ＣＱ１９（以下「画像ＣＱ１９」ともいう。）ではユーザのステアリングホイール９１の操作量が操作閾値データ４ｂの値よりも大きくなった場合に、画像１９に表示するようにステアリングホイール９１の操作が必要であることの報知を取り止める。
【０１２５】
そして、第２の操作ポイントＰ１２におけるステアリングホイール９１の操作量が不揮発メモリ４０に記録された操作閾値データ４ｂの値よりも大きくなる。これに応答して、車両９が後退する方向に延びるガイド線Ｌ３１の長さをユーザが第２ポイントＰ１２でステアリングホイール９１を操作する前よりも短く表示する。詳細には、画像処理装置１００は車両９が駐車すべき位置である駐車領域ＳＡ４１の枠内に車両９が納まるようにガイド線Ｌ３１の長さをユーザが第２ポイントＰ１２でステアリングホイール９１を操作する前よりも短く表示させる。これにより、ユーザは車両９を駐車領域ＳＡ４１の位置に駐車させる場合の後退距離が明確となり、駐車位置へ確実に駐車できる。
【０１２６】
以上のように画像表示システム１２０においては、ユーザの第２操作ポイントＰ１２におけるステアリングホイール９１の操作量が閾値よりも大きくなったことに応答して、ガイド線Ｌ３１の長さを第２操作ポイントＰ１２におけるステアリングホイール９１の操作前よりも短く表示する。これにより、ユーザは車両９を縦列駐車位置に駐車させる場合の後退距離が明確となり、縦列駐車位置へ確実に駐車できる。
＜変形例＞
以下、変形例について説明する。なお、上記の実施の形態、及び、下記で説明する形態を含む全ての形態は適宜に組み合わせ可能である。
【０１２７】
上記の実施の形態では、車両９の左側の駐車領域を車両９の駐車すべき位置として設定し、車両９を駐車する例について述べたが、車両９の右側の駐車領域を車両９の駐車すべき位置として設定し、車両９を駐車する場合も同様に上記内容を適用できる。
【０１２８】
上記の実施の形態では、車両９の縦列駐車の場合について述べたが、車両９の並列駐車の場合にも適用できる。
【０１２９】
また、上記の実施の形態では、車両９の駐車は車両９を後退させる場合について述べたが、車両９を前進させて駐車させる場合にも操作ポイントと基準マークなどの画像を表示させることで適用できる。
【０１３０】
また、上記の実施の形態では、基準マークは、車両９の左側及び右側の側面に設けられることについて説明したが、基準マークの位置は車両９と相対的な位置であれば、車両９の前方及び後方の位置や、車両９の近傍の位置のいずれの位置であってもよい。
【０１３１】
また、上記の実施形態において、車両９の移動により操作ポイントと基準マークとが接触した場合に、ステアリングホイール９１の操作が必要であることをユーザへ報知するのは、ディスプレイ２１に文字やマークなどを表示したり、ナビゲーション装置２０から音声を出力したりしてユーザに知らせるようにしてもよい。
【０１３２】
また、上記の実施形態において、指標は車両９の予想進路を示すガイド線Ｌ３１は、車両９の位置から目標駐車位置までの理想的な進路を示す理想進行線であってもよい。
【０１３３】
さらに、上記の実施の形態の俯瞰画像は複数のカメラの撮影画像により生成された合成画像以外に一のカメラにより生成された俯瞰画像であってもよい。
【符号の説明】
【０１３４】
１・・・・制御部
３・・・・画像生成部
５・・・・撮影部
２０・・・ナビゲーション装置
４０・・・不揮発性メモリ
４１・・・信号入力部
４２・・・ナビ通信部
８１・・・シフトセンサ
８２・・・車速センサ
８３・・・方向指示器
【特許請求の範囲】
【請求項１】
車両に搭載される画像表示システムであって、
前記車両に配置されたカメラで得られる撮影画像から、前記車両及び前記車両の周辺領域を俯瞰した俯瞰画像を生成する生成手段と、
前記俯瞰画像を表示する表示手段と、
ユーザの操作に基づいて前記俯瞰画像中に前記車両が駐車すべき駐車位置を設定する設定手段と、
前記駐車位置に相対的に設定され前記ユーザがステアリングホイールを操作すべき位置を示す操作ポイントと、前記車両に相対的に設定された基準マークとを、前記俯瞰画像中に表示する表示制御手段と、
前記車両の移動により、前記操作ポイントと前記基準マークとが接触した場合に、前記ステアリングホイールの操作が必要であることをユーザへ報知する報知手段と、
を備えること、
を特徴とする画像表示システム。
【請求項２】
請求項１に記載の画像表示システムにおいて、
前記報知手段は、前記ユーザのステアリングホイールの操作量が閾値より大きくなった場合に、前記ステアリングホイールの操作が必要であることの報知を取りやめること、
を特徴とする画像表示システム。
【請求項３】
請求項１または２に記載の画像表示システムにおいて、
前記報知手段は、前記車両の縦列駐車を行う場合に、
前記ステアリングホイールの操作を最初に行うべき前記操作ポイントである第１操作ポイントと、前記車両の側面の一方に設定された前記基準マークである第１基準マークとの接触により、前記ステアリングホイールを操作する必要があることを報知した後に、
前記第１操作ポイントの次に前記ステアリングホイールの操作を行うべき前記操作ポイントである第２操作ポイントと、前記車両の側面の他方に設定された前記基準マークである第２基準マークとが接触したときに、前記ステアリングホイールを操作する必要があることを報知すること、
を特徴とする画像表示システム。
【請求項４】
請求項３に記載の画像表示システムにおいて、
前記表示手段は、
前記車両の後端部から前記車両が後退する方向に延びるガイド線を表示し、
前記ユーザの前記第２操作ポイントにおける前記ステアリングホイールの操作が完了したことに応答して、前記ガイド線の長さを前記第２操作ポイントにおける前記ステアリングホイールの操作前よりも短く表示すること、
を特徴とする画像表示システム。
【請求項５】
車両に搭載された表示装置に表示させる画像を生成する画像処理装置であって、
前記車両に配置されたカメラで得られる撮影画像から、前記車両及び前記車両の周辺領域を俯瞰した俯瞰画像を生成する生成手段と、
前記俯瞰画像を前記表示装置に出力して表示させる出力手段と、
ユーザの操作に基づいて前記俯瞰画像中に前記車両が駐車すべき駐車位置を設定する設定手段と、
前記駐車位置に相対的に設定され前記ユーザがステアリングホイールを操作すべき位置を示す操作ポイントと、前記車両に相対的に設定された基準マークとを、前記俯瞰画像中に表示させる表示制御手段と、
前記車両の移動により、前記操作ポイントと前記基準マークとが接触した場合に、前記ステアリングホイールの操作が必要であることをユーザへ報知する報知手段と、
を備えること、
を特徴とする画像処理装置。
【請求項６】
車両に搭載される画像表示方法であって、
前記車両に配置されたカメラで得られる撮影画像から、前記車両及び前記車両の周辺領域を俯瞰した俯瞰画像を生成する工程と、
前記俯瞰画像を表示する工程と、
ユーザの操作に基づいて前記俯瞰画像中に前記車両が駐車すべき駐車位置を設定する工程と、
前記駐車位置に相対的に設定され前記ユーザがステアリングホイールを操作すべき位置を示す操作ポイントと、前記車両に相対的に設定された基準マークとを、前記俯瞰画像中に表示する工程と、
前記車両の移動により、前記操作ポイントと前記基準マークとが接触した場合に、前記ステアリングホイールの操作が必要であることをユーザへ報知する工程と、
を備えること、
を特徴とする画像表示方法。
【請求項１】
車両に搭載される画像表示システムであって、
前記車両に配置されたカメラで得られる撮影画像から、前記車両及び前記車両の周辺領域を俯瞰した俯瞰画像を生成する生成手段と、
前記俯瞰画像を表示する表示手段と、
ユーザの操作に基づいて前記俯瞰画像中に前記車両が駐車すべき駐車位置を設定する設定手段と、
前記駐車位置に相対的に設定され前記ユーザがステアリングホイールを操作すべき位置を示す操作ポイントと、前記車両に相対的に設定された基準マークとを、前記俯瞰画像中に表示する表示制御手段と、
前記車両の移動により、前記操作ポイントと前記基準マークとが接触した場合に、前記ステアリングホイールの操作が必要であることをユーザへ報知する報知手段と、
を備えること、
を特徴とする画像表示システム。
【請求項２】
請求項１に記載の画像表示システムにおいて、
前記報知手段は、前記ユーザのステアリングホイールの操作量が閾値より大きくなった場合に、前記ステアリングホイールの操作が必要であることの報知を取りやめること、
を特徴とする画像表示システム。
【請求項３】
請求項１または２に記載の画像表示システムにおいて、
前記報知手段は、前記車両の縦列駐車を行う場合に、
前記ステアリングホイールの操作を最初に行うべき前記操作ポイントである第１操作ポイントと、前記車両の側面の一方に設定された前記基準マークである第１基準マークとの接触により、前記ステアリングホイールを操作する必要があることを報知した後に、
前記第１操作ポイントの次に前記ステアリングホイールの操作を行うべき前記操作ポイントである第２操作ポイントと、前記車両の側面の他方に設定された前記基準マークである第２基準マークとが接触したときに、前記ステアリングホイールを操作する必要があることを報知すること、
を特徴とする画像表示システム。
【請求項４】
請求項３に記載の画像表示システムにおいて、
前記表示手段は、
前記車両の後端部から前記車両が後退する方向に延びるガイド線を表示し、
前記ユーザの前記第２操作ポイントにおける前記ステアリングホイールの操作が完了したことに応答して、前記ガイド線の長さを前記第２操作ポイントにおける前記ステアリングホイールの操作前よりも短く表示すること、
を特徴とする画像表示システム。
【請求項５】
車両に搭載された表示装置に表示させる画像を生成する画像処理装置であって、
前記車両に配置されたカメラで得られる撮影画像から、前記車両及び前記車両の周辺領域を俯瞰した俯瞰画像を生成する生成手段と、
前記俯瞰画像を前記表示装置に出力して表示させる出力手段と、
ユーザの操作に基づいて前記俯瞰画像中に前記車両が駐車すべき駐車位置を設定する設定手段と、
前記駐車位置に相対的に設定され前記ユーザがステアリングホイールを操作すべき位置を示す操作ポイントと、前記車両に相対的に設定された基準マークとを、前記俯瞰画像中に表示させる表示制御手段と、
前記車両の移動により、前記操作ポイントと前記基準マークとが接触した場合に、前記ステアリングホイールの操作が必要であることをユーザへ報知する報知手段と、
を備えること、
を特徴とする画像処理装置。
【請求項６】
車両に搭載される画像表示方法であって、
前記車両に配置されたカメラで得られる撮影画像から、前記車両及び前記車両の周辺領域を俯瞰した俯瞰画像を生成する工程と、
前記俯瞰画像を表示する工程と、
ユーザの操作に基づいて前記俯瞰画像中に前記車両が駐車すべき駐車位置を設定する工程と、
前記駐車位置に相対的に設定され前記ユーザがステアリングホイールを操作すべき位置を示す操作ポイントと、前記車両に相対的に設定された基準マークとを、前記俯瞰画像中に表示する工程と、
前記車両の移動により、前記操作ポイントと前記基準マークとが接触した場合に、前記ステアリングホイールの操作が必要であることをユーザへ報知する工程と、
を備えること、
を特徴とする画像表示方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１２−６１９５４（Ｐ２０１２−６１９５４Ａ）
【公開日】平成２４年３月２９日（２０１２．３．２９）
【国際特許分類】
【出願番号】特願２０１０−２０７６５１（Ｐ２０１０−２０７６５１）
【出願日】平成２２年９月１６日（２０１０．９．１６）
【出願人】（０００２３７５９２）富士通テン株式会社 (3,383)
【Ｆターム（参考）】
【公開日】平成２４年３月２９日（２０１２．３．２９）
【国際特許分類】
【出願日】平成２２年９月１６日（２０１０．９．１６）
【出願人】（０００２３７５９２）富士通テン株式会社 (3,383)
【Ｆターム（参考）】
[ Back to top ]