画像表示システム、画像処理装置、および、画像表示方法
【課題】車両列駐車の運転操作に応じてユーザが注意を払うべき箇所を明確にする技術を提供する。
【解決手段】車両及び車両の周辺領域を俯瞰した俯瞰画像を生成して、車両のステアリングホイールの操作内容を示す信号を入力する。車両を駐車する場合における操作内容に応答して、俯瞰画像中の車両の車体前方部を含む領域を拡大した前方拡大画像を表示する。これにより、駐車における車両位置に応じて車体のどの部分に注意を払って操作すればよいかをユーザは把握できる。
【解決手段】車両及び車両の周辺領域を俯瞰した俯瞰画像を生成して、車両のステアリングホイールの操作内容を示す信号を入力する。車両を駐車する場合における操作内容に応答して、俯瞰画像中の車両の車体前方部を含む領域を拡大した前方拡大画像を表示する。これにより、駐車における車両位置に応じて車体のどの部分に注意を払って操作すればよいかをユーザは把握できる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両における画像表示技術に関する。
【背景技術】
【０００２】
従来、車両の駐車を行う場合、ユーザは目測した駐車スペースの広さに対して車両の駐車が可能であると判断した場合に、ユーザが目測した情報に基づいてステアリングホイールを操作して車両を駐車していた。また、車両の周辺をカメラで撮影した画像を表示装置に表示してユーザが車両を駐車する場合の運転操作のサポートを行う技術がある。なお、本発明と関連する技術を説明する資料としては特許文献１がある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−９３４８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、ユーザの目測した情報に基づいて車両の駐車を行うと、車両と障害物との位置関係はユーザの感覚に基づいた不明瞭な状態で、ユーザが駐車を実行することとなり、ユーザの目測が誤っていた場合は車両を障害物に衝突させてしまう可能性があった。また、車両の周辺をカメラで撮影した画像を表示装置に表示する技術においても、駐車の際に表示装置に継続的に表示されている画像（例えば駐車動作を行っている際に継続的に表示されている車両後方の画像）だけでは、ユーザが車両を操作するごとに変化する車両の位置に応じて、車体のどの部分に障害物と衝突をしないかの注意を払って運転操作を行えばよいかがユーザにとって不明確となっていた。このような状態で、表示装置に表示された画像に基づいて車両を操作すると、車両を障害物に衝突させる可能性があった。
【０００５】
本発明は、車両の駐車の運転操作に応じてユーザが注意を払うべき箇所を明確にすることを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、請求項１の発明は、車両に搭載される画像表示システムであって、前記車両に配置されたカメラで得られる撮影画像から、前記車両及び前記車両の周辺領域を俯瞰した俯瞰画像を生成する生成手段と、前記車両を駐車する場合に、前記車両がステアリングホイールの切返し位置に到達したことを検出する検出手段と、前記検出手段の情報から前記車両が前記切返し位置に到達したことに応答して、前記俯瞰画像中の前記車両の車体前方部を含む領域を拡大した前方拡大画像を表示する表示手段と、を備える。
【０００７】
また、請求項２の発明は、請求項１に記載の画像表示システムにおいて、前記車両を駐車する場合にユーザが設定した前記車両の駐車すべき位置に応じて前記切返し位置を算出する算出手段をさらに備え、前記検出手段は、前記車両の位置情報から前記算出手段により算出された前記切返し位置への前記車両の到達を検出する。
【０００８】
また、請求項３の発明は、請求項１に記載の画像表示システムにおいて、前記車両のステアリングホイールの操作内容を示す信号を入力する入力手段をさらに備え、前記検出手段は前記ステアリングホイールの操作状態に応じて前記切返し位置への前記車両の到達を検出する。
【０００９】
また、請求項４の発明は、車両に搭載される画像表示システムであって、前記車両に配置されたカメラで得られる撮影画像から、前記車両及び前記車両の周辺領域を俯瞰した俯瞰画像を生成する生成手段と、前記車両のステアリングホイールの操作内容を示す信号を入力する入力手段と、前記車両を縦列駐車する場合における前記操作内容に応答して、前記俯瞰画像中の前記車両の車体前方部を含む領域を拡大した前方拡大画像を表示する表示手段と、を備える。
【００１０】
また、請求項５の発明は、請求項４に記載の画像表示システムにおいて、前記表示手段は、前記ステアリングホイールが、前記車両が直進する中立位置から第１方向に操作された後に、前記第１方向とは逆方向の第２方向に操作され、前記ステアリングホイールが、前記中立位置、及び、前記中立位置近傍のいずれかの位置となったことに応答して、前記前方拡大画像を表示する。
【００１１】
また、請求項６の発明は、請求項４に記載の画像表示システムにおいて、前記表示手段は、前記ステアリングホイールが、前記車両が直進する中立位置から第１方向に操作された後に、前記中立位置を経由して前記第１方向とは逆方向の第２方向に操作されたことに応答して、前記前方拡大画像を表示する。
【００１２】
また、請求項７の発明は、請求項５または６に記載の画像表示システムにおいて、前記表示手段は、前記前方拡大画像が表示されている間に、前記ステアリングホイールが前記第２方向から前記第１方向へ操作された場合に、前記前方拡大画像から前記車両の後方を示す画像に切り替えて表示する。
【００１３】
また、請求項８の発明は、請求項４乃至７のいずれかに記載の画像表示システムにおいて、前記表示手段は、前記前方拡大画像と前記俯瞰画像とを併せて表示する。
【００１４】
また、請求項９の発明は、車両に搭載された表示装置に表示させる画像を生成する画像処理装置であって、前記車両に配置されたカメラで得られる撮影画像から、前記車両及び前記車両の周辺領域を仮想視点から俯瞰した俯瞰画像を生成する生成手段と、前記車両のステアリングホイールの操作内容を示す信号を入力する入力手段と、前記車両を縦列駐車する場合における前記操作内容に応答して、前記俯瞰画像中の前記車両の車体前方部を含む領域を拡大した前方拡大画像を前記表示装置に出力して表示させる出力手段と、を備える。
【００１５】
さらに、請求項１０の発明は、車両に搭載される画像表示方法であって、前記車両に配置されたカメラで得られる撮影画像から、前記車両及び前記車両の周辺領域を仮想視点から俯瞰した俯瞰画像を生成する工程と、前記車両のステアリングホイールの操作内容を示す信号を入力する工程と、前記車両を縦列駐車する場合における前記操作内容に応答して、前記俯瞰画像中の前記車両の車体前方部を含む領域を拡大した前方拡大画像を表示する工程と、を備える。
【発明の効果】
【００１６】
請求項１ないし１０の発明によれば、検出手段の情報から車両が切返し位置に到達したことに応答して、俯瞰画像中の車両の車体前方部を含む領域を拡大した前方拡大画像を表示することで、ステアリングホイールを切返す位置でユーザが注意を払うべき車体の箇所を表示して、車体が他の物体に衝突することを防止できる。
【００１７】
また、特に請求項２の発明によれば、検出手段は、車両の位置情報から算出手段により算出された切返し位置への車両の到達を検出することで、車両がステアリングホイールの切返し位置へ到達したことを精度よく検出でき、それに伴いユーザが注意を払うべき車体の箇所を表示して、車体が他の物体に衝突することを防止できる。
【００１８】
また、特に請求項３の発明によれば、検出手段はステアリングホイールの操作状態に応じて切返し位置への車両の到達を検出することで、ユーザのステアリングホイールの操作状態に伴い、ユーザが注意を払うべき車体の箇所を表示して、車体が他の物体に衝突することを防止できる。
【００１９】
また、特に請求項４の発明によれば、車両を縦列駐車する場合における操作内容に応答して、俯瞰画像中の車両の車体前方部を含む領域を拡大した前方拡大画像を表示することで、縦列駐車における車両位置に応じて車体のどの部分に注意を払って操作すればよいかをユーザは把握できる。
【００２０】
また、特に請求項５の発明によれば、表示手段は、ステアリングホイールが、車両が直進する中立位置から第１方向に操作された後に、第１方向とは逆方向の第２方向に操作され、ステアリングホイールが、中立位置、及び、中立位置近傍のいずれかの位置となったことに応答して、前方拡大画像を表示することで、縦列駐車における車両位置に応じて車体前方部に注意を払って操作するタイミングの前にユーザは注意する対称の状況を確認できる。
【００２１】
また、特に請求項６の発明によれば、表示手段は、ステアリングホイールが、車両が直進する中立位置から第１方向に操作された後に、中立位置を経由して第１方向とは逆方向の第２方向に操作されたことに応答して、前方拡大画像を表示することで、縦列駐車における車両位置に応じて車体前方部に注意を払って操作するタイミングをユーザは把握できる。
【００２２】
また、特に請求項７の発明によれば、表示手段は、前方拡大画像が表示されている間に、ステアリングホイールが第２方向から第１方向へ操作された場合に、前方拡大画像から車両の後方を示す画像に切り替えて表示することで、縦列駐車における車両位置に応じて車体前方部及び車両の後方に注意を払って操作するタイミングをユーザは把握できる。
【００２３】
さらに、特に請求項８の発明によれば、表示手段は、前記前方拡大画像と前記俯瞰画像とを併せて表示することで、縦列駐車における車両位置に応じてユーザが注意を払って操作すべき車体部分の画像と、車両全体を含む車両９の周辺領域の画像とを同時にユーザは確認できる。
【図面の簡単な説明】
【００２４】
【図１】図１は、画像表示システムのブロック図である。
【図２】図２は、車載カメラが車両に配置される位置を示す図である。
【図３】図３は、合成画像を生成する手法を説明するための図である。
【図４】図４は、画像表示システムの動作モードの遷移を示す図である。
【図５】図５は、設定前の駐車領域の画像を含む合成画像と車両の後方画像とを示す図である。
【図６】図６は、設定後の駐車領域の画像を含む合成画像と車両の後方画像とを示す図である。
【図７】図７は、縦列駐車途中の画像を表示する合成画像と車両の後方画像とを示す図である。
【図８】図８は、縦列駐車途中の画像を表示する合成画像と前方拡大画像とを示す図である。
【図９】図９は、駐車領域内の車両の画像を表示する合成画像と車両の後方画像とを示す図である。
【図１０】図１０は、画像処理装置の処理フローチャートである。
【図１１】図１１は、画像処理装置の処理フローチャートである。
【図１２】図１２は、画像表示システムのブロック図である。
【図１３】図１３は、駐車領域の設定に伴う駐車開始位置の算出を示す図である。
【図１４】図１４は、切返し位置が表示された状態を示す図である。
【図１５】図１５は、車両がステアリングホイールの切返し位置に到達したことにより表示される前方拡大画像を示す図である。
【図１６】図１６は、画像処理装置の処理フローチャートである。
【図１７】図１７は、画像処理装置の処理フローチャートである。
【発明を実施するための形態】
【００２５】
以下、図面を参照しつつ本発明の実施の形態について説明する。
【００２６】
＜第１の実施の形態＞
＜１−１．システム構成＞
図１は、画像表示システム１２０のブロック図である。この画像表示システム１２０は、車両（本実施の形態では、自動車）に搭載されるものであり、車両の周辺を撮影して画像を生成し、その生成した画像を車室内のナビゲーション装置２０などの表示装置に出力する機能を有している。画像表示システム１２０のユーザ（代表的にはドライバ）は、この画像表示システム１２０を利用することにより、当該車両の周辺の様子をほぼリアルタイムに把握できるようになっている。
【００２７】
図１に示すように、画像表示システム１２０は、車両の周辺を示す周辺画像を生成してナビゲーション装置２０などの表示装置に画像情報を出力する画像処理装置１００と、車両の周囲を撮影するカメラを備えている撮影部５とを主に備えている。
【００２８】
ナビゲーション装置２０は、ユーザに対しナビゲーション案内を行うものであり、タッチパネル機能を備えた液晶などのディスプレイ２１と、ユーザが操作を行う操作部２２と、装置全体を制御する制御部２３とを備えている。ディスプレイ２１の画面がユーザから視認可能なように、ナビゲーション装置２０は車両のインストルメントパネルなどに設置される。ユーザからの各種の指示は、操作部２２とタッチパネルとしてのディスプレイ２１とによって受け付けられる。制御部２３は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えたコンピュータであり、所定のプログラムに従ってＣＰＵが演算処理を行うことでナビゲーション機能を含む各種の機能が実現される。
【００２９】
ナビゲーション装置２０は、画像処理装置１００と通信可能に接続され、画像処理装置１００との間で各種の制御信号の送受信や、画像処理装置１００で生成された周辺画像の受信が可能となっている。ディスプレイ２１には、制御部２３の制御により、通常はナビゲーション装置２０単体の機能に基づく画像が表示されるが、所定の条件下で画像処理装置１００により生成された車両の周辺の様子を示す周辺画像や、車両９及び車両９の周辺領域を俯瞰した俯瞰画像が表示される。また、ディスプレイ２１に表示される俯瞰画像は周辺領域をほぼリアルタイムに示すことになる。これにより、ナビゲーション装置２０は、画像処理装置１００で生成された周辺画像を受信して表示する表示装置としても機能する。
【００３０】
画像処理装置１００は、その本体部１０が周辺画像を生成する機能を有するＥＣＵ（Electronic Control Unit）であり、車両の所定の位置に配置される。画像処理装置１００は、車両の周辺を撮影する撮影部５を備えており、この撮影部５で車両の周辺を撮影して得られる撮影画像に基づいて仮想視点からみた合成画像を生成する画像生成装置として機能する。これらの撮影部５が備える複数の車載カメラ５１，５２，５３は、本体部１０とは別の車両の適位置に配置されるが詳細は後述する。
【００３１】
画像処理装置１００の本体部１０は、装置全体を制御する制御部１と、撮影部５で取得された撮影画像を処理して表示用の周辺画像を生成する画像生成部３と、ナビゲーション装置２０との間で通信を行うナビ通信部４２とを主に備えている。
【００３２】
ナビゲーション装置２０の操作部２２やディスプレイ２１によって受け付けられたユーザからの各種の指示は、制御信号としてナビ通信部４２によって受け付けられて制御部１に入力される。これにより、画像処理装置１００は、ナビゲーション装置２０に対するユーザの操作に応答した動作が可能となっている。
【００３３】
また、画像処理装置１００は、駐車支援ボタン４５を備えている。この駐車支援ボタン４５がユーザに操作されると、ユーザの指示を示す信号が制御部１に入力されて、後述するフロントモードＭ２（図４に示す。）の画像が表示される。なお、この駐車支援ボタン４５はハードボタンとして画像処理装置１００やナビゲーション装置２０に設けられてもよい。また、駐車支援ボタン４５は、ナビゲーション装置２０のディスプレイ２１にユーザが指などをディスプレイ２１に接触させて操作するタッチパネルのボタンとして表示されるようにしてもよい。
【００３４】
画像生成部３は、各種の画像処理が可能なハードウェア回路として構成されており、合成画像生成部３１、画像範囲選択部３２、及び、画像情報出力部３３を主な機能として備えている。
【００３５】
合成画像生成部３１は、撮影部５の複数の車載カメラ５１，５２，５３で取得された複数の撮影画像に基づいて、車両の周辺の任意の仮想視点からみた合成画像を生成する。合成画像生成部３１が仮想視点からみた合成画像を生成する手法については後述する。
【００３６】
また、画像情報出力部３３は合成画像生成部３１において生成された合成画像情報をナビゲーション装置２０へ出力する。これにより、車両の周辺を示す周辺画像がナビゲーション装置２０のディスプレイ２１に表示されることになる。
【００３７】
制御部１は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えたコンピュータであり、所定のプログラムに従ってＣＰＵが演算処理を行うことで各種の制御機能が実現される。図中に示す画像制御部１１は、このようにして実現される制御部１の機能のうちの一部を示している。
【００３８】
画像制御部１１は、画像生成部３によって実行される画像処理を制御するものである。例えば、画像制御部１１は、合成画像生成部３１が生成する合成画像の生成に必要な各種パラメータなどを指示する。また、画像範囲選択部３２がサイドカメラ５３により撮影した画像の所定範囲を選択するための指示を車種ごとのパラメータの情報に基づいて行う。
【００３９】
また、画像制御部１１は、後述する縦列駐車ボタン２０２（図４に示す。）のユーザの操作に応答して、生成された合成画像中に後述する駐車領域ＲＦ１１（図５に示す。）をナビゲーション装置２０に出力してディスプレイ２１に表示させるための制御を行う。
【００４０】
さらに、画像制御部１１は、後述する車両９のステアリングホイール９１のユーザの操作内容を示す信号が制御部１に入力されると、その操作内容に応答して生成された合成画像（俯瞰画像中の車両９の車体前方部を含む領域を拡大した前方拡大画像（図８に示すＣＱ３ａ。）をナビゲーション装置２０に出力してディスプレイ２１に表示させる制御を行う。これにより、縦列駐車における車両位置に応じて車体のどの部分に注意を払って操作すればよいかをユーザは把握できる。
【００４１】
また、画像処理装置１００の本体部１０は、不揮発性メモリ４０、カード読取部４４、及び、信号入力部４１をさらに備えており、これらは制御部１に接続されている。
【００４２】
不揮発性メモリ４０は、電源オフ時においても記憶内容を維持可能なフラッシュメモリなどで構成されている。不揮発性メモリ４０には、車種別データ４ａが記憶されている。車種別データ４ａは、合成画像生成部３１が合成画像を生成する際に必要となる車両の種別に応じたデータなどである。また、縦列駐車モードで表示させる駐車領域のデータやユーザのステアリングホイール９１の操作内容に応答して表示される画像データのパラメータなども記憶されている。
【００４３】
カード読取部４４は、可搬性の記録媒体であるメモリカードＭＣの読み取りを行う。カード読取部４４は、メモリカードＭＣの着脱が可能なカードスロットを備えており、そのカードスロットに装着されたメモリカードＭＣに記録されたデータを読み取る。カード読取部４４で読み取られたデータは、制御部１に入力される。
【００４４】
メモリカードＭＣは、種々のデータを記憶可能なフラッシュメモリなどで構成されており、画像処理装置１００はメモリカードＭＣに記憶された種々のデータを利用できる。例えば、メモリカードＭＣにプログラムを記憶させ、これを読み出すことで、制御部１の機能を実現するプログラム（ファームウェア）を更新することが可能である。また、メモリカードＭＣに不揮発性メモリ４０に記憶された車種別データ４ａとは異なる種別の車両に応じた車種別データを記憶させ、これを読み出して不揮発性メモリ４０に記憶させることで、画像表示システム１２０を異なる種別の車両に対応させることも可能である。
【００４５】
また、信号入力部４１は、車両に設けられた各種装置からの信号を入力する。この信号入力部４１を介して、画像表示システム１２０の外部からの信号が制御部１に入力される。具体的には、シフトセンサ８１、車速センサ８２、方向指示器８３、及び、操舵角センサ８４などから、各種情報を示す信号が制御部１に入力される。
【００４６】
シフトセンサ８１からは、車両９の変速装置のシフトレバーの操作の位置、すなわち、”Ｐ（駐車）”，”Ｄ（前進）”，”Ｎ（中立）”，”Ｒ（後退）”などのシフトポジションが入力される。車速センサ８２からは、その時点の車両９の走行速度（ｋｍ／ｈ）が入力される。
【００４７】
方向指示器８３からは、ウインカースイッチの操作に基づく方向指示、すなわち、車両のドライバが意図する方向指示を示すターン信号が入力される。ウインカースイッチが操作されたときはターン信号が発生し、ターン信号はその操作された方向（左方向あるいは右方向）を示すことになる。ウインカースイッチが中立位置となったときは、ターン信号はオフとなる。
【００４８】
操舵角センサ８４は、ユーザが操作したステアリングホイール９１の操作方向を制御部１に入力する。詳細には、操舵角センサ８４は、ユーザが操作したステアリングホイール９１の回転方向、回転角度、及び、回転速度を信号入力部４１を介して制御部１に入力する。なお、操舵角センサ８４の信号は車両本体を制御する制御部へも入力される。そして、操舵角センサ８４の入力信号と車速センサ８２から車両本体を制御する制御部へ入力された信号に基づいて、車両９を操舵する前輪（図８に示す前輪４０１。）の操舵角と操舵速度が算出され、この算出された値に基づいて車両９の制御が行われる。
【００４９】
＜１−２．撮影部＞
次に、画像処理装置１００の撮影部５について詳細に説明する。撮影部５は、制御部１に電気的に接続され、制御部１からの信号に基づいて動作する。
【００５０】
撮影部５は、車載カメラであるフロントカメラ５１、バックカメラ５２及びサイドカメラ５３を備えている。これらの車載カメラ５１，５２，５３はそれぞれ、ＣＣＤやＣＭＯＳなどの撮像素子を備えており電子的に画像を取得する。
【００５１】
図２は、車載カメラ５１，５２，５３が車両９に配置される位置を示す図である。なお、以下の説明においては、方向及び向きを示す際に、適宜、図中に示す３次元のＸＹＺ直交座標を用いる。このＸＹＺ軸は車両９に対して相対的に固定される。ここで、Ｘ軸方向は車両９の左右方向に沿い、Ｙ軸方向は車両９の直進方向（前後方向）に沿い、Ｚ軸方向は鉛直方向に沿っている。また、便宜上、＋Ｘ側を車両９の右側、＋Ｙ側を車両９の後側、＋Ｚ側を上側とする。
【００５２】
フロントカメラ５１は、車両９の前端にあるナンバープレート取付位置の近傍に設けられ、その光軸５１ａは車両９の直進方向（平面視でＹ軸方向の−Ｙ側）に向けられている。バックカメラ５２は、車両９の後端にあるナンバープレート取付位置の近傍に設けられ、その光軸５２ａは車両９の直進方向の逆方向（平面視でＹ軸方向の＋Ｙ側）に向けられている。また、サイドカメラ５３は、左右のドアミラー９３にそれぞれ設けられており、その光軸５３ａは車両９の左右方向（平面視でＸ軸方向）に沿って外部に向けられている。なお、フロントカメラ５１やバックカメラ５２の取り付け位置は、左右略中央であることが望ましいが、左右中央から左右方向に多少ずれた位置であってもよい。
【００５３】
これらの車載カメラ５１，５２，５３のレンズとしては魚眼レンズなどが採用されており、車載カメラ５１，５２，５３は１８０度以上の画角αを有している。このため、４つの車載カメラ５１，５２，５３を利用することで、車両９の全周囲の撮影が可能となっている。
【００５４】
＜１−３．画像変換処理＞
次に、画像生成部３の合成画像生成部３１が、撮影部５で得られた複数の撮影画像に基づいて車両９の周辺を任意の仮想視点からみた様子を示す合成画像を生成する手法について説明する。合成画像を生成する際には、不揮発性メモリ４０に予め記憶された車種別データ４ａが利用される。図３は、合成画像を生成する手法を説明するための図である。
【００５５】
撮影部５のフロントカメラ５１、バックカメラ５２及びサイドカメラ５３で同時に撮影が行われると、車両９の前方、後方、左側方、及び、右側方をそれぞれ示す４つの撮影画像Ｐ１〜Ｐ４が取得される。すなわち、撮影部５で取得される４つの撮影画像Ｐ１〜Ｐ４には、撮影時点の車両９の全周囲を示す情報が含まれていることになる。
【００５６】
次に、４つの撮影画像Ｐ１〜Ｐ４の各画素が、仮想的な三次元空間における立体曲面ＳＰに投影される。立体曲面ＳＰは、例えば略半球状（お椀形状）をしており、その中心部分（お椀の底部分）が車両９が存在する位置として定められている。撮影画像Ｐ１〜Ｐ４に含まれる各画素の位置と、この立体曲面ＳＰの各画素の位置とは予め対応関係が定められている。このため、立体曲面ＳＰの各画素の値は、この対応関係と撮影画像Ｐ１〜Ｐ４に含まれる各画素の値とに基づいて決定できる。
【００５７】
撮影画像Ｐ１〜Ｐ４の各画素の位置と立体曲面ＳＰの各画素の位置との対応関係は、車両９における４つの車載カメラ５１，５２，５３の配置（相互間距離、地上高さ、光軸角度等）に依存する。このため、この対応関係を示すテーブルデータが、不揮発性メモリ４０に記憶された車種別データ４ａに含まれている。
【００５８】
また、車種別データ４ａに含まれる車体の形状やサイズを示すポリゴンデータが利用され、車両９の三次元形状を示すポリゴンモデルである車両像を仮想的に備えている。構成された車両像は、立体曲面ＳＰが設定される三次元空間において、車両９の位置と定められた略半球状の中心部分に配置される。
【００５９】
さらに、立体曲面ＳＰが存在する三次元空間に対して、制御部１により仮想視点ＶＰが設定される。仮想視点ＶＰは、視点位置と視野方向とで規定され、この三次元空間における車両９の周辺に相当する任意の視点位置に任意の視野方向に向けて設定される。
【００６０】
そして、設定された仮想視点ＶＰに応じて、立体曲面ＳＰにおける必要な領域が画像として切り出される。仮想視点ＶＰと、立体曲面ＳＰにおける必要な領域との関係は予め定められており、テーブルデータとして不揮発性メモリ４０等に予め記憶されている。一方で、設定された仮想視点ＶＰに応じてポリゴンで構成された車両像に関してレンダリングがなされ、その結果となる二次元の車両像が、切り出された画像に対して重畳される。これにより、車両９及びその車両９の周辺を任意の仮想視点からみた様子を示す合成画像が生成されることになる。
【００６１】
例えば、視点位置が車両９の位置の略中央の直上位置で、視野方向が略直下方向とした仮想視点ＶＰ１を設定した場合は、車両９の略直上から車両９を見下ろすように、車両９（実際には車両像）及び車両９の周辺の様子を示す合成画像ＣＰ１が生成される。また、図中に示すように、視点位置が車両９の位置の左後方で、視野方向が車両９における略前方とした仮想視点ＶＰ２を設定した場合は、車両９の左後方からその周辺全体を見渡すように、車両９（実際には車両像）及び車両９の周辺の様子を示す合成画像ＣＰ２が生成される。
【００６２】
なお、実際に合成画像を生成する場合においては、立体曲面ＳＰの全ての画素の値を決定する必要はなく、設定された仮想視点ＶＰに対応して必要となる領域の画素の値のみを撮影画像Ｐ１〜Ｐ４に基づいて決定することで、処理速度を向上できる。
【００６３】
＜１−４．動作モード＞
次に、画像表示システム１２０の動作モードについて説明する。図４は、画像表示システム１２０の動作モードの遷移を示す図である。画像表示システム１２０は、ナビモードＭ１、フロントモードＭ２、バックモードＭ３、及び、縦列駐車モードＭ４の４つの動作モードを有している。これらの動作モードは、ユーザの操作や車両９の走行状態に応じて制御部１の制御により切り替えられるようになっている。
【００６４】
ナビモードＭ１は、ナビゲーション装置２０の機能により、ナビゲーション案内用の地図画像ＮＰを主にディスプレイ２１に表示する動作モードである。ナビモードＭ１では、画像処理装置１００の機能が利用されず、ナビゲーション装置２０単体の機能で各種の表示がなされる。
【００６５】
フロントモードＭ２、バックモードＭ３、及び、縦列駐車モードＭ４は、画像処理装置１００の機能を利用して、撮影画像ＰＰ、合成画像ＣＰ、及び、合成画像ＣＱ０などをディスプレイ２１に表示して、車両９の周辺の状況をほぼリアルタイムでユーザに示す動作モードである。
【００６６】
また、フロントモードＭ２は、前進時に必要となる車両９の前方や側方を主に示す画像を表示する動作モードである。例えば、図中に示すように、車両９の直上の仮想視点からみた車両９及び車両９の周辺の様子を示す合成画像（俯瞰画像）ＣＰと、フロントカメラ５１での撮影により得られる撮影画像ＰＰとが同時にディスプレイ２１に表示される。この合成画像ＣＰの仮想視点の位置は、車両９の直上に限らず、ユーザの操作に応じて車両９の後方側などへ切り替えられるようになっていてもよい。さらに、フロントモードＭ２は、自車の中心に周囲２〜３ｍの範囲を俯瞰画像として表示したモードである。
【００６７】
また、バックモードＭ３は、後退時に必要となる車両９の後方を主に示す画像を表示する動作モードである。例えば、図中に示すように、車両９の直上の仮想視点からみた車両９及び車両９の周辺の様子を示す合成画像（俯瞰画像）ＣＰと、バックカメラ５２での撮影により得られる撮影画像ＰＰとが同時にディスプレイ２１に表示される。この合成画像ＣＰの仮想視点の位置は、車両９の直上に限らず、ユーザの操作に応じて車両９の前方側などへ切り替えられるようになっていてもよい。
【００６８】
さらに、縦列駐車モードＭ４は、ユーザが車両９を縦列駐車する際にユーザの運転操作をサポートするモードである。例えば、図中に示すように、車両９の直上の仮想視点からみた車両９の周辺領域をほぼリアルタイムに示し、車両９の大きさに対応した広さを有する駐車領域ＲＦ１１と車両９の前方に駐車している他車両１９を表示する画像が合成画像俯瞰画像）ＣＱ０として画像処理装置１００は、ナビゲーション装置２０出力してディスプレイ２１に表示させる。
【００６９】
また、縦列駐車モードＭ４は、車両９の後方に備えられたカメラ５２で車両９の後方を撮影した後方画像ＢＡ０を合成画像ＣＱ０と併せて画像処理装置１００が出力して表示させる。
【００７０】
縦列駐車モードＭ４は、フロントモードＭ２の縦列駐車ボタン２０２をユーザが操作することにより開始される。そして、縦列駐車モードＭ４では、フロントモードＭ２で表示されていた車両９と車両９の周辺の様子を示す合成画像俯瞰画像）ＣＰに、車両９と車両９の大きさに対応した広さを有する駐車領域ＲＦ１１の画像の表示が加わり、合成画像ＣＱ０として画像処置装置１００がディスプレイ２１に出力して表示させる。なお、縦列駐車モードＭ４は、フロントモードＭ２から仮想視点の位置を上方の位置に移動させて自車と駐車領域ＲＦ１１とがディスプレイ２１の１画面内で表示されるようにしている。 また、フロントモードＭ２の縦列駐車ボタン２０２がユーザにより操作されると、画像処理装置１００は、フロントモードＭ２で表示されていた車両９の前方の撮影画像ＰＰからカメラ５２により車両９の後方を撮影した後方画像ＢＡ０に切替えて、ディスプレイ２１に表示させる。
【００７１】
各モードの遷移は、ナビモードＭ１において、ナビゲーション装置２０のディスプレイ２１に表示される駐車支援ボタン２０１をユーザが操作した場合、または、ユーザが操作部２２を操作した場合など、所定操作によりフロントモードＭ２に切り替えられる。また、フロントモードＭ２において、ユーザの操作部２２による操作などの所定操作により、ナビモードＭ１に切り替えられる。なお、ナビモードＭ１とフロントモードＭ２とは、車速センサ８２から入力される走行速度に応じて切り替えてもよい。
【００７２】
また、ナビモードＭ１あるいはフロントモードＭ２の場合に、シフトセンサ８１から入力されるシフトポジションが”Ｒ（後退）”となったときは、バックモードＭ３に切り替えられる。すなわち、シフトポジションが”Ｒ（後退）”の場合は、車両９は後退する状態であるため、車両９の後方を主に示すバックモードＭ３に切り替えられる。また、バックモードＭ３の場合に、シフトポジションが”Ｒ（後退）”以外となったときは、バックモードＭ３に切り替えられる直前の動作モードに戻ることになる。なお、バックモードＭ３において、ディスプレイ２１に表示される駐車支援ボタン２０１をユーザが操作した場合は、フロントモードＭ２となる。
【００７３】
そして、フロントモードＭ２において、ディスプレイ２１に表示された縦列駐車ボタン２０２をユーザが操作すると、縦列駐車モードＭ４の画像が画像処理装置１００から出力され、ディスプレイ２１に表示される。また、縦列駐車モードＭ４においてディスプレイ２１の戻るボタン２０３をユーザが操作した場合は、フロントモードＭ２に遷移する。
【００７４】
＜１−５縦列駐車モード＞
以下では、縦列駐車モードＭ４で画像処理装置１００からナビゲーション装置２０に出力され、ディスプレイ２１に表示される合成画像の詳細について図５〜図９を用いて説明する。図５は、設定前の駐車領域ＲＦ１１の画像を含む合成画像ＣＱ０（以下、「画像ＣＱ０」ともいう。）と車両９の後方画像ＢＡ０以下、「画像ＢＡ０」ともいう。）とを示す図である。フロントモードＭ２で縦列駐車ボタン２０２がユーザにより操作されると、縦列駐車モードＭ４の画像ＣＱ０と画像ＢＡ０とが画像処理装置１００からナビゲーション装置２０に出力され、ディスプレイ２１に表示される。
図５に示す画像ＣＱ０は、略中心に車両９の画像が表示されている俯瞰画像であり、車両の周辺領域を略リアルタイムに示している。そして、車両９の左側に駐車領域ＲＦ１１が表示されている。この駐車領域ＲＦ１１は、車両９が縦列駐車を行うのに必要なスペースであり、車両９の進行方向の長さが車両９の全長の約１．５倍で、車幅方向の長さが車両９の車幅の約１．２倍の広さを備えている略長方形の領域である。駐車領域ＲＦ１１は縦列駐車モードＭ４の開始に伴い、画像ＣＱ０の所定の位置に表示され、後述するようにユーザの操作により、駐車スペースの位置に設定される。また、図５に示す画像ＢＡ０は車両９に備えられたバックカメラ５２から撮影された画像であり、車両９の後方の駐車領域ＲＦ１１の一部分を含む画像が表示されている。
さらに、画像ＢＡ０の近傍には表示領域ガイド３０１が表示されている。この表示領域ガイド３０１は、画像ＢＡ０の画像が車両９に対してどの領域を撮影しているかを示したものであり、図５に示す表示領域ガイド３０１では車両９の後方領域を示している。このように表示されている画像が車両９からみてどの領域を撮影しているかを示すことで、ユーザは画像の撮影範囲を直感的に認識できる。
【００７５】
図６は、設定後の駐車領域ＲＦ１１の画像を含む合成画像ＣＱ１（以下、「画像ＣＱ１」ともいう。）と車両９の後方画像ＢＡ１（以下、「画像ＢＡ１」ともいう。）とを示す図である。車両９の左側には駐車領域ＲＦ１１の画像が表示されている。この駐車領域ＲＦ１１は、ユーザが指などをディスプレイ２１に接触させたり、操作部２２を用いて操作することにより、画像ＣＱ１内の任意の位置に設定される。図６ではユーザは画像ＣＱ１内の他車両１９の後方である駐車スペースＳＡ１０１以下、「スペースＳＡ１０１」ともいう。）の領域に駐車領域ＲＦ１１を移動させて、車両９を駐車させる位置を設定している。この設定により以後駐車領域ＲＦ１１は路面に対して固定表示される。また、図５に示す画像ＢＡ１は車両９に備えられたバックカメラ５２から撮影された画像であり、表示領域ガイド３０１は車両９の後方領域を示している。
【００７６】
図７は、縦列駐車途中の画像を表示する合成画像ＣＱ２以下、「画像ＣＱ２」ともいう。）と車両９の画像ＢＡ２（以下、「画像ＢＡ２」ともいう。）とを示す図である。ユーザは駐車領域ＲＦ１１をスペースＳＡ１０１の領域に設定して、スペースＳＡ１０１の位置に車両９を駐車させる動作を開始する。
【００７７】
縦列駐車を開始する場合、ユーザが駐車領域ＲＦ１１を操作して駐車スペースとして設定したスペースＳＡ１０１が、車両９の右側後方で車両９と略平行な位置となるよう車両９を移動させる。このとき車両９の右側の側面とスペースＳＡ１０１との車幅方向の間隔とは約１ｍの間隔とする。そして、シフト位置がバックになり車両が後退するときにユーザは車両９が直進する中立位置から右方向へステアリングホイール９１を操作し、車両９の後端部がスペースＳＡ１０１側へ所定角度傾いた後にステアリングホイール９１を中立位置に戻した状態を図７の画像ＣＱ２は示している。
【００７８】
図８は、縦列駐車途中の画像を表示する合成画像ＣＱ３（「画像ＣＱ３」ともいう。）と前方拡大画像ＣＱ３ａ以下、「画像ＣＱ３ａ」ともいう。）とを示す図である。図８ではユーザが車両９のステアリングホイール９１を中立位置とした状態で車両９を後退させた後、ステアリングホイール９１を中立位置から左方向に操作した状態を示している。そして、この操作内容に応答して俯瞰画像である画像ＣＱ３中の車両９の車体前方部を含む領域を拡大した画像ＣＱ３ａを図７の画像ＢＡ２から切替えてディスプレイ２１に表示させる。尚、前方拡大画像ＣＱ３ａは、以下のようにして作成される。即ち、合成画像ＣＱ３の前方部を切り出して所定倍率に拡大することで前方拡大画像ＣＱ３ａが作成される。あるいは、仮想視点位置を画像ＣＱ３の仮想視点位置に対し車両前部方向にかつ下方に移動させた新たな俯瞰画像を作成することで前方拡大画像ＣＱ３ａが作成される。
【００７９】
つまり、縦列駐車モードＭ４において、車両９のステアリングホイール９１が、車両９が直進する中立位置から右方向に操作された後に中立位置を経由して右方向とは逆方向の左方向に操作されたことに応答して、画像処理装置１００は画像ＣＱ３ａをディスプレイ２１に表示させる。これにより、縦列駐車における車両位置に応じて車体前方部に注意を払って操作するタイミングをユーザは把握できる。尚、車両９の後退中に右方向に操作された状態から中立位置に戻った時点で画像ＣＱ３ａをディスプレイ２１に表示させてもよい。即ち、車両９がステアリングの切り返しポイントに到達したことを検出したときに画像ＣＱ３ａを表示させる。
【００８０】
なお、車体前方部を含む領域とは、図８に示すように車体前方の両角部を含む領域であっても良いし、車体の回転方向に応じて運転者が注意すべき車体前方角部（切返しにより車体が右方向に回転する場合は車体前方部の右角部）であってもよい。このように車体前方角部を表示する場合、ユーザが注意すべき車体の箇所をより大きく拡大できるため、ユーザは障害物と車両９との位置関係をより明確に知ることができる。
図８に示す画像ＣＱ３ａでは、車両９がステアリングホイール９１を左方向へ操作したことに伴い、車両９の前輪４０１は直進方向を０度とした場合に、車両９の左方向に所定角度傾いている。そして、前輪４０１がこの所定角度に傾いた状態で車両９が移動する軌跡をガイド線５０１で表示する。ガイド線５０１の軌跡上には障害物である他車両１９の車体は重なっていないので、車両９は他車両１９と衝突することなく、スペースＳＡ１０１に移動できることをユーザは確認できる。
【００８１】
また、画像ＣＱ３ａの近傍には表示領域ガイド３０１ａが表示されている。この表示領域ガイド３０１ａは、図７に示す画像ＢＡ２から図８に示す画像ＣＱ３ａに画像の表示が切り替わったことに伴い、表示領域ガイド３０１の車両９の後方領域の表示から車両９の車体前方部を含む車両９の前方領域の表示に切り替わっている。このように縦列駐車モードＭ４において表示される画像の切り替えに応答して、表示領域ガイドの表示領域も変更される。これにより、画像の表示が切り替わった後も画像が車両９のどの領域を撮影しているかをユーザは直感的に認識できる。
【００８２】
さらに、図８に示すように画像ＣＱ３ａと俯瞰画像である画像ＣＱ３とを併せて表示することで、縦列駐車における車両位置に応じてユーザが注意を払って操作すべき車体部分の画像と、車両全体を含む車両９の周辺領域の画像とを同時にユーザは確認できる。
【００８３】
図９は、駐車領域ＲＦ１１に含まれるスペースＳＡ１０１の車両９の画像を表示する合成画像ＣＱ４（以下、画像「ＣＱ４」ともいう。）と車両９の後方画像ＢＡ４以下、「画像ＢＡ４」ともいう。）とを示す図である。
【００８４】
図９は、図８に示した操作内容をユーザが行った後に画像ＣＱ３ａが表示された状態で、ユーザがステアリングホイール９１を画像ＣＱ３ａが表示された際の左方向から右方向へ操作を切替えたことにより、画像ＣＱ３ａから画像ＢＡ４に切替えてディスプレイ２１に表示することを示している。これにより、縦列駐車における車両位置に応じて車体前方部及び車両の後方に注意を払って操作するタイミングをユーザは把握できる。なお、画像ＣＱ４では、ユーザがステアリングホイール９１を左方向から右方向へ操作して、略中立位置となった状態で、車両９は駐車領域ＲＦ１１内のスペースＳＡ１０１に位置している。このため、ユーザは他車両１９に衝突することなく車両９をスペースＳＡ１０１内に駐車できる。
【００８５】
なお、画像ＣＱ３ａから画像ＢＡ４の切り替えに伴い、表示領域ガイドの表示領域は、画像３０１ａに対応した車両９の車体前方部を含む車両９の前方領域を示した表示領域ガイド３０１から、画像ＢＡ４に対応した車両９の後方領域を示した表示領域ガイド３０１ａに切り替えられている。
＜２．処理＞
次に、画像処理装置１００の処理について説明する。図１０及び図１１は画像処理装置１００の処理フローチャートである。ユーザからの駐車支援ボタン２０１の操作信号が入力された場合（ステップＳ１０１がＹｅｓ）、画像処理装置１００はフロントモードＭ２の画像をナビゲーション装置２０に出力して（ステップＳ１０２）、ステップＳ１０３の処理へ進む。なお、ユーザからの駐車支援ボタン２０１の操作信号が画像処理装置１００に入力されていない場合（ステップＳ１０１がＮｏ）は、処理を終了する。
【００８６】
ステップＳ１０３では、ユーザからの縦列駐車ボタン２０２の操作信号が画像処理装置１００に入力された場合（ステップＳ１０３がＹｅｓ）、縦列駐車モードＭ４の画像を出力して（ステップＳ１０４）、ステップＳ１０５の処理へ進む。
【００８７】
縦列駐車モードＭ４では、車両９の周辺領域を略リアルタイムに示す俯瞰画像（画像ＣＱ０）を表示して、車両９の大きさに対応した広さを有す駐車領域ＲＦ１１を俯瞰画像（画像ＣＱ０）中に表示する。また、俯瞰画像と併せて画像ＢＡ０を表示する。なお、縦列駐車ボタン２０２の操作信号が画像処理装置１００に入力されていない場合（ステップＳ１０３がＮｏ）は、画像処理装置１００はフロントモードＭ２の画像出力を継続して行う。
【００８８】
ステップＳ１０５では、ユーザの操作により駐車領域ＲＦ１１が合成画像内の駐車スペースを含む位置に設定された信号が入力された場合（ステップＳ１０５がＹｅｓ）は、ユーザが設定した位置を駐車スペースとして設定して（ステップＳ１０６）、ステップＳ１０７の処理へ進む。
【００８９】
なお、駐車領域を設定する信号が画像処理装置１００に入力されていない場合（ステップＳ１０５がＮｏ）は、縦列駐車モードＭ４の画像出力を継続して行う。また、所定時間経過後に縦列駐車モードＭ４の前のモードであるフロントモードＭ２に遷移するようにしてもよい。
【００９０】
ステップＳ１０７では、操舵角センサ８４が検出した車両９のステアリングホイール９１の回転方向、回転角度、及び、回転速度の情報が画像処理装置１００へ入力により、画像ＣＱ３ａの出力条件を満たしている場合（ステップＳ１０７がＹｅｓ）は、図１１のステップＳ１０８の処理へ進む。そして、画像処理装置１００は画像ＣＱ３ａをナビゲーション装置２０へ出力してディスプレイ２１に表示させ（ステップＳ１０９）、ステップＳ１１０の処理へ進む。
【００９１】
つまり、ユーザのステアリングホイール９１の操作内容に応答して、俯瞰画像中の車両９の車体前方部を含む領域を拡大した画像ＣＱ３ａを表示する。また詳細には、車両９のステアリングホイールが車両９が直進する中立位置から右方向に操作された後に、中立位置を経由して右方向とは逆の左方向に操作されたことに応答して、画像ＣＱ３ａを表示する。これにより、縦列駐車における車両位置に応じて車体のどの部分に注意を払って操作すればよいかをユーザは把握できる。また、縦列駐車における車両位置に応じて車体前方部に注意を払って操作するタイミングをユーザは把握できる。
【００９２】
なお、画像ＣＱ３ａの出力条件を満たしていない場合（ステップＳ１０７がＮｏ）は、継続して操舵角センサ８４からの情報入力が画像処理装置１００になされる。また、所定時間経過後もステップＳ１０７の条件を満たさない場合は、縦列駐車モードＭ４の前のモードであるフロントモードＭ２に遷移するようにしてもよい。
【００９３】
次に、ステップＳ１０９では、操舵角センサ８４が検出した車両９のステアリングホイール９１の回転方向、回転角度、及び、回転速度の情報が画像処理装置１００へ入力により、画像ＢＡ４の出力条件を満たしているか否かを判定する（ステップＳ１０９）。
【００９４】
そして、画像ＢＡ４の出力条件を満たしている場合（ステップＳ１０９がＹｅｓ）は、画像処理装置１００は、ナビゲーション装置２０への画像出力を画像ＣＱ３ａから画像Ｂ４に切り替えて、ディスプレイ２１に画像Ｂ４を表示させて（ステップＳ１１０）、処理を終了する。
【００９５】
詳細には、画像ＣＱ３ａが表示されている間に、ステアリングホイール９１が左方向から右方向へ操作された場合に、拡大画像ＣＱ３ａから車両９の後方を示す画像Ｂ４に切替えて表示する。これにより、縦列駐車における車両位置に応じて車体前方部及び車両９の後方に注意を払って操作するタイミングをユーザは把握できる。
【００９６】
なお、画像Ｂ４の出力条件を満たしていない場合（ステップ１０９がＮｏ）は、継続して操舵角センサ８４からの情報入力が画像処理装置１００になされる。また、所定時間経過後もステップＳ１０９の条件を満たさない場合は、縦列駐車モードＭ４の前のモードであるフロントモードＭ２に遷移するようにしてもよい。
【００９７】
以上のように、画像表示システム１２０においては、車両９を縦列駐車する場合におけるステアリングホイール９１の操作内容に応答して、俯瞰画像中の車両９の車体前方部を含む領域を拡大した前方拡大画像ＣＱ３ａが表示される。このため、縦列駐車における車両位置に応じて車体のどの部分に注意を払って操作すればよいかをユーザ把握できる。
【００９８】
また、ステアリングホイール９１が車両９が直進する中立位置から右方向に操作された後に中立位置を経由して右方向とは逆の左方向に操作されたことに応答して、ディスプレイ２１に前方拡大画像ＣＱ３ａを表示する。このため、縦列駐車における車両位置に応じて車体前方部に注意を払って操作するタイミングをユーザ把握できる。
【００９９】
また、ディスプレイ２１に前方拡大画像が表示されている間に、ステアリングホイール９１が左方向から右方向へ操作された場合に、前方拡大画像ＣＱ３ａから車両９の後方を示す画像に切り替えて表示する。このため、縦列駐車における車両位置に応じて車体前方部、及び、車両９の後方に注意を払って操作するタイミングをユーザは把握できる。
【０１００】
また、ディスプレイ２１に前方拡大画像ＣＱ３ａと俯瞰画像ＣＱ３とを併せて表示する。これにより、縦列駐車における車両９の位置に応じてユーザが注意を払って操作すべき車体部分の画像と、車両９の周辺領域を含む車両全体の画像とを同時にユーザは確認できる。
＜第２の実施の形態＞
次に、第２の実施の形態について説明する。第２の実施の形態の画像処理システム１２０a（図１２に示す。）は、ユーザが車両９の駐車を開始する位置（駐車すべき位置に対して車両９の後退を開始する位置）に応じて、画像処理装置１１がステアリングホイール９１の切返し位置（以下、「切返し位置」ともいう。）を算出する。
【０１０１】
そして、車両９が切返し位置に到達したことを画像処理装置１１が検出した場合に、俯瞰画像中の車両９の車体前方部を含む領域を拡大した拡大領域を表示する。
【０１０２】
第２の実施の形態の画像処理システム１２０ａの構成及び処理は、第１の実施の形態とほぼ同様であるが、一部相違する。このため以下、相違点を中心に説明する。
＜３．システム構成＞
図１２は画像処理システム１２０ａのブロック図である。画像処理システム１００ａの画像処理装置１０ａに備えられる制御部１ａは、第１の実施の形態の制御部１の画像制御部１１の構成に加えて、新たに位置算出部１２、及び、位置検出部１３を備える。
【０１０３】
位置算出部１２は、縦列駐車モードＭ４において車両９が後退して移動する中で、ユーザが車両９のステアリングホイール９１を操作する位置である切返し位置を算出する。この切返し位置の算出は、ユーザが駐車領域ＲＦ１１を設定した駐車スペースＳＡ１０１の位置と、車両９の駐車開始位置との情報から制御部１ａが理想経路（駐車開始位置から駐車スペースＳＡ１０１までの経路）を算出し、その理想経路上のステアリングホイール９１を操作する位置が切返し位置として算出される。
【０１０４】
位置検出部１３は、車速度センサ８２、及び、操舵角センサ８４の情報に基づいて車両９の移動軌跡を演算し、位置算出部１２により算出された切返し位置と、ユーザの操作により移動する車両９の位置とが同じ位置となった場合に、車両９が切返し位置に到達したことを検出する。
＜４．表示画像説明＞
次に、縦列駐車モードＭ４で画像処理装置１００からナビゲーション装置２０に出力され、ディスプレイ２１に表示される合成画像の詳細について図１３〜図１５を用いて説明する。図１３は、駐車領域ＲＦ１１の設定に伴う駐車開始位置ＳＦ２１の算出を示す図である。ディスプレイ２１には合成画像ＣＱ１ａを含む画像が表示されている。この合成画像ＣＱ１ａには、車両９の近傍にユーザの操作により移動する駐車領域ＲＦ１１が表示されている。駐車領域ＲＦ１１はユーザの操作により他車両１９の後方の駐車スペースＳＡ１０１に移動する。そして、駐車スペースＳＡ１０１が車両９の駐車すべき位置として設定される。これにより、車両９の駐車すべき位置である駐車領域ＲＦ１１が路面に対して固定される。
【０１０５】
そして、車両９の駐車すべき位置である駐車領域ＲＦ１１が路面に対して固定されたことに伴い、車両９の縦列駐車が可能となる開始位置を演算し、開始位置ＳＦ２１として表示される。
【０１０６】
図１４は、切返しポイントＭＡ３１が表示された状態を示す図である。図１３に示す車両９の位置から、合成画像ＣＱ５に示すようにユーザの操作により車両９が直進方向に進行して、車体全体が開始位置ＳＦ２１の領域に入ると、ユーザはシフトレバーを”Ｄ（前進）”から”Ｒ（後退）”に切り替えて縦列駐車を開始する。なお、このように車体全体が開始位置ＳＦ２１の領域に入り、シフトレバーの切り替えが行われたことに伴い、その時点での車両９の位置から路面に固定された駐車領域ＲＦ１１までの車両９の進行すべき理想経路、及び、切返し位置を制御部１ａが演算する。なお、演算された理想経路は合成画像中に表示するようにしてもよい。また、切返し位置に対応する位置に指標ＭＡ３１をディスプレイ２１に表示してもよい。なお、この切返し位置である指標ＭＡ３１は理想経路上に位置する。
【０１０７】
図１５は、車両９がステアリングホイール９１の切返し位置に到達したことにより表示される前方拡大画像ＣＱ３ｃを示す図である。車両９が駐車動作を開始した後、切返し位置に車両９が到達したことを、位置検出部１３が検出すると、画像制御部１１は、合成画像ＣＱ３ｂ中の車両９の車体前方部を含む領域を拡大した前方拡大画像ＣＱ３ｃをディスプレイ２１に表示する。これにより、車両９がステアリングホイール９１の切返し位置へ到達したことを精度よく検出でき、それに伴いユーザが注意を払うべき車体の箇所を表示して、車体が他の物体に衝突することを防止できる。
＜４．処理＞
図１６及び図１７は、画像処理装置１００ａの処理フローチャートである。この図１６及び図１７の処理フローチャートは第１の実施の形態で図１０及び図１１を用いて説明した処理フローチャートにステップＳ２０１〜ステップＳ２０６の処理を加えたものであり、これ以外の処理は同様の処理である。図１６に示すステップＳ１０６において、ユーザの操作により駐車スペースＳＡ１０１に駐車領域ＲＦ１１を設定するとステップＳ２０１の処理へ進む。
【０１０８】
ステップＳ２０１の処理では、駐車領域ＲＦ１１の設定に伴い、画像処理装置１００aが車両９の開始位置ＳＦ２１を設定し（ステップＳ２０１）、ステップＳ２０２の処理へ進む。この開始位置ＳＦ２１の設定は、ステップＳ１０６で設定された駐車スペースＳＡ１０１の位置に応じて予め対応付けられた位置に設定される。つまり、駐車動作を開始した車両９が駐車スペースＳＡ１０１に到達するために必要な距離などを予め算出しておき、この駐車スペースＳＡ１０１に到達するために必要な距離などの情報に基づいて、画像処理装置１００ａが開始位置ＳＦ２１を最適な位置に設定する。
【０１０９】
ステップＳ２０２では、車両９の開始位置ＳＦ２１への到達の状態を画像処理装置１００ａが判定する（ステップＳ２０２）。車両９の開始位置ＳＦ２１への到達については、車速センサ８２、及び、操舵角センサ８４の入力情報に基づいて車両９の現在位置からの移動量を画像処理装置１００ａが演算し、車両９の開始位置ＳＦ２１への到達の状態を判定する。
【０１１０】
そして、車両９が開始位置ＳＦ２１に到達した場合（ステップＳ２０２がＹｅｓ）は、ステップＳ２０３の処理へ進む。なお、車両９が開始位置ＳＦ２１に到達していない場合（ステップＳ２０２がＮｏ）は、縦列駐車モードＭ４の画像出力を継続して行う。また、所定時間経過後に縦列駐車モードＭ４の前のモードであるフロントモードＭ２に遷移するようにしてもよい。
【０１１１】
ステップＳ２０３では、車両９の駐車開始位置から画像処理装置１００ａが理想経路（車両９の駐車開始位置から駐車スペースＳＡ１０１までの経路）を算出して（ステップＳ２０３）、ステップＳ２０４の処理へ進む。
【０１１２】
ステップＳ２０４では、位置算出部１２が理想経路上のステアリングホイール９１を操作する切返し位置を算出し（ステップＳ２０４）、ステップＳ２０５の処理へ進む。
【０１１３】
ステップＳ２０５では、位置検出部１３が、車速度センサ８２、及び、操舵角センサ８４の情報に基づいて車両９の移動軌跡を演算する。そして、車両９が切返し位置に到達した場合、つまり、位置算出部１２により算出された切返し位置と、ユーザの操作により移動する車両９の位置とが同じ位置となった場合（ステップＳ２０５がＹｅｓ）に、車両９が切返し位置に到達したとして、車両９の前方拡大画像を出力して（ステップＳ１０８）、ステップＳ２０６の処理へ進む。
【０１１４】
ここで、切返し位置に対応する車両９の位置は車両９の車体の所定部分であり、予めユーザの任意の位置に設定が可能である。なお、車両９が切返し位置に到達していない場合（ステップＳ２０５がＮｏ）は、縦列駐車モードＭ４の画像出力を継続して行う。また、所定時間経過後に縦列駐車モードＭ４の前のモードであるフロントモードＭ２に遷移するようにしてもよい。
【０１１５】
ステップＳ２０６では、車両９が切返し位置に到達した後、切返し位置を通過した場合（ステップＳ２０６がＹｅｓ）は、画像処理装置１００ａは、ナビゲーション装置２０への画像出力を画像ＣＱ３ｃから図９に示す画像Ｂ４に切り替えて、ディスプレイ２１に画像Ｂ４を表示させて（ステップＳ１１０）、処理を終了する。なお、車両９が切返し位置に到達した後、車両９が切返し位置を通過しない場合（ステップＳ２０６がＮｏ）、画像処理装置１００ａは縦列駐車モードＭ４の画像出力を継続して行う。また、所定時間経過後に縦列駐車モードＭ４の前のモードであるフロントモードＭ２に遷移するようにしてもよい。
【０１１６】
なお、本実施の形態では、車両９を駐車スペースＳＡ１０１に設定された駐車領域ＲＦ１１に対して縦列駐車させる場合について述べたが、本実施の形態の処理は縦列駐車以外の駐車例えば、並列駐車）においても適用できる。
【０１１７】
また、これまでの第１の実施の形態、及び、第２の実施の形態の記載から以下の処理が可能である。つまり、画像表示システムにおいては、車両９を駐車する場合に、車両９がステアリングホイール９１の切返し位置に到達したことを画像処理装置１００が検出する。そして、その検出情報から車両９が切返し位置に到達したことに応答して、俯瞰画像中の車両９の車体前方部を含む領域を拡大した前方拡大画像をディスプレイ２１に表示する。これにより、ステアリングホイール９１を切返す位置でユーザが注意を払うべき車体の箇所を表示して、車体が他の物体に衝突することを防止できる。
【０１１８】
また、画像処理装置１００は、車両９を駐車する場合にユーザが設定した車両の駐車すべき位置駐車スペースＳＡ１０１に設定された駐車領域ＲＦ１１）に応じてステアリングホイール９１の切返し位置を算出する。そして、画像処理装置１００は、車両９が移動した位置から算出されたステアリングホイール９１の切返し位置への車両９の到達を検出して、車両９の前方拡大画像をディスプレイ２１に表示する。これにより、車両９がステアリングホイール９１の切返し位置へ到達したことを精度よく検出でき、それに伴いユーザが注意を払うべき車体の箇所を表示して、車体が他の物体に衝突することを防止できる。
【０１１９】
さらに、画像処理装置１００は車両９のステアリングホイール９１の操作内容を示す信号の入力を受けて、ステアリングホイール９１の操作状態に応じて切返し位置への車両９の到達を画像処理装置１００が検出して、車両９の前方拡大画像をディスプレイ２１に表示する。これにより、ユーザのステアリングホイール９１の操作状態に伴い、ユーザが注意を払うべき車体の箇所を表示して、車体が他の物体に衝突することを防止できる。
＜変形例＞
以下、変形例について説明する。なお、上記の実施の形態、及び、下記で説明する形態を含む全ての形態は適宜に組み合わせ可能である。
【０１２０】
また、上記の実施の形態では、車両９の駐車スペースを車両９の右側のスペースＳＡ１０１として駐車する例について述べたが、車両９の左側の駐車スペースに車両９を駐車する場合にも上記実施の形態の技術は適用できる。つまり、車両９の左側の駐車スペースに車両９を駐車する場合の前方拡大画像の表示は、縦列駐車モードＭ４において、ステアリングホイール９１が車両９が直進する中立位置から左方向に操作された後に、中立位置を経由して左方向とは逆方向の右方向に操作されたことに応答して、後方画像から前方拡大画像に切替えて表示する。これにより、ユーザは縦列駐車位置の方向にかかわらず、車両位置に応じて車体前方部に注意を払って操作するタイミングをユーザは把握できる。
【０１２１】
また、前方拡大画像が表示された状態で、ユーザがステアリングホイール９１を前方拡大画像が表示された際の右方向から左方向へ操作したことにより、前方拡大画像から後方画像に切替えて表示する。これにより、縦列駐車における車両位置に応じて車体前方部及び車両９の後方に注意を払って操作するタイミングをユーザは把握できる。
【０１２２】
また、上記の実施の形態では、画像ＣＱ３ａから画像ＢＡ４への切り替えをステアリングホイール９１が左方向から右方向へ操作されたことを条件としたが、左方向から右方向へ操作され、右方向の操作により、ステアリングホイール９１が中立位置、及び、中立位置近傍のいずれかの位置となった時に画像ＣＱ３ａから画像ＢＡ４へ切り替えるようにしてもよい。これにより、ユーザが注意を払って操作を行う箇所をユーザは所定時間確認できる。また、縦列駐車における車両位置に応じて車体前方部に注意を払って操作するタイミングの前にユーザは注意する対称の状況を確認できる。
【０１２３】
また、表示されている合成画像よりも更に広い範囲を表示する場合は、俯瞰画像を生成する仮想視点の位置を現在の画像を生成する位置よりも上方向の位置に移動させることで、車両９から離れた駐車スペースに対して駐車領域ＲＦ１１をユーザが設定することもできる。
【０１２４】
さらに、上記の実施の形態の俯瞰画像は複数のカメラの撮影画像により生成された合成画像以外に一のカメラにより生成された俯瞰画像であってもよい。
【符号の説明】
【０１２５】
１・・・・制御部
３・・・・画像生成部
５・・・・撮影部
２０・・・ナビゲーション装置
４０・・・不揮発性メモリ
４１・・・信号入力部
４２・・・ナビ通信部
８１・・・シフトセンサ
８２・・・車速センサ
８３・・・方向指示器
【技術分野】
【０００１】
本発明は、車両における画像表示技術に関する。
【背景技術】
【０００２】
従来、車両の駐車を行う場合、ユーザは目測した駐車スペースの広さに対して車両の駐車が可能であると判断した場合に、ユーザが目測した情報に基づいてステアリングホイールを操作して車両を駐車していた。また、車両の周辺をカメラで撮影した画像を表示装置に表示してユーザが車両を駐車する場合の運転操作のサポートを行う技術がある。なお、本発明と関連する技術を説明する資料としては特許文献１がある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−９３４８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、ユーザの目測した情報に基づいて車両の駐車を行うと、車両と障害物との位置関係はユーザの感覚に基づいた不明瞭な状態で、ユーザが駐車を実行することとなり、ユーザの目測が誤っていた場合は車両を障害物に衝突させてしまう可能性があった。また、車両の周辺をカメラで撮影した画像を表示装置に表示する技術においても、駐車の際に表示装置に継続的に表示されている画像（例えば駐車動作を行っている際に継続的に表示されている車両後方の画像）だけでは、ユーザが車両を操作するごとに変化する車両の位置に応じて、車体のどの部分に障害物と衝突をしないかの注意を払って運転操作を行えばよいかがユーザにとって不明確となっていた。このような状態で、表示装置に表示された画像に基づいて車両を操作すると、車両を障害物に衝突させる可能性があった。
【０００５】
本発明は、車両の駐車の運転操作に応じてユーザが注意を払うべき箇所を明確にすることを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、請求項１の発明は、車両に搭載される画像表示システムであって、前記車両に配置されたカメラで得られる撮影画像から、前記車両及び前記車両の周辺領域を俯瞰した俯瞰画像を生成する生成手段と、前記車両を駐車する場合に、前記車両がステアリングホイールの切返し位置に到達したことを検出する検出手段と、前記検出手段の情報から前記車両が前記切返し位置に到達したことに応答して、前記俯瞰画像中の前記車両の車体前方部を含む領域を拡大した前方拡大画像を表示する表示手段と、を備える。
【０００７】
また、請求項２の発明は、請求項１に記載の画像表示システムにおいて、前記車両を駐車する場合にユーザが設定した前記車両の駐車すべき位置に応じて前記切返し位置を算出する算出手段をさらに備え、前記検出手段は、前記車両の位置情報から前記算出手段により算出された前記切返し位置への前記車両の到達を検出する。
【０００８】
また、請求項３の発明は、請求項１に記載の画像表示システムにおいて、前記車両のステアリングホイールの操作内容を示す信号を入力する入力手段をさらに備え、前記検出手段は前記ステアリングホイールの操作状態に応じて前記切返し位置への前記車両の到達を検出する。
【０００９】
また、請求項４の発明は、車両に搭載される画像表示システムであって、前記車両に配置されたカメラで得られる撮影画像から、前記車両及び前記車両の周辺領域を俯瞰した俯瞰画像を生成する生成手段と、前記車両のステアリングホイールの操作内容を示す信号を入力する入力手段と、前記車両を縦列駐車する場合における前記操作内容に応答して、前記俯瞰画像中の前記車両の車体前方部を含む領域を拡大した前方拡大画像を表示する表示手段と、を備える。
【００１０】
また、請求項５の発明は、請求項４に記載の画像表示システムにおいて、前記表示手段は、前記ステアリングホイールが、前記車両が直進する中立位置から第１方向に操作された後に、前記第１方向とは逆方向の第２方向に操作され、前記ステアリングホイールが、前記中立位置、及び、前記中立位置近傍のいずれかの位置となったことに応答して、前記前方拡大画像を表示する。
【００１１】
また、請求項６の発明は、請求項４に記載の画像表示システムにおいて、前記表示手段は、前記ステアリングホイールが、前記車両が直進する中立位置から第１方向に操作された後に、前記中立位置を経由して前記第１方向とは逆方向の第２方向に操作されたことに応答して、前記前方拡大画像を表示する。
【００１２】
また、請求項７の発明は、請求項５または６に記載の画像表示システムにおいて、前記表示手段は、前記前方拡大画像が表示されている間に、前記ステアリングホイールが前記第２方向から前記第１方向へ操作された場合に、前記前方拡大画像から前記車両の後方を示す画像に切り替えて表示する。
【００１３】
また、請求項８の発明は、請求項４乃至７のいずれかに記載の画像表示システムにおいて、前記表示手段は、前記前方拡大画像と前記俯瞰画像とを併せて表示する。
【００１４】
また、請求項９の発明は、車両に搭載された表示装置に表示させる画像を生成する画像処理装置であって、前記車両に配置されたカメラで得られる撮影画像から、前記車両及び前記車両の周辺領域を仮想視点から俯瞰した俯瞰画像を生成する生成手段と、前記車両のステアリングホイールの操作内容を示す信号を入力する入力手段と、前記車両を縦列駐車する場合における前記操作内容に応答して、前記俯瞰画像中の前記車両の車体前方部を含む領域を拡大した前方拡大画像を前記表示装置に出力して表示させる出力手段と、を備える。
【００１５】
さらに、請求項１０の発明は、車両に搭載される画像表示方法であって、前記車両に配置されたカメラで得られる撮影画像から、前記車両及び前記車両の周辺領域を仮想視点から俯瞰した俯瞰画像を生成する工程と、前記車両のステアリングホイールの操作内容を示す信号を入力する工程と、前記車両を縦列駐車する場合における前記操作内容に応答して、前記俯瞰画像中の前記車両の車体前方部を含む領域を拡大した前方拡大画像を表示する工程と、を備える。
【発明の効果】
【００１６】
請求項１ないし１０の発明によれば、検出手段の情報から車両が切返し位置に到達したことに応答して、俯瞰画像中の車両の車体前方部を含む領域を拡大した前方拡大画像を表示することで、ステアリングホイールを切返す位置でユーザが注意を払うべき車体の箇所を表示して、車体が他の物体に衝突することを防止できる。
【００１７】
また、特に請求項２の発明によれば、検出手段は、車両の位置情報から算出手段により算出された切返し位置への車両の到達を検出することで、車両がステアリングホイールの切返し位置へ到達したことを精度よく検出でき、それに伴いユーザが注意を払うべき車体の箇所を表示して、車体が他の物体に衝突することを防止できる。
【００１８】
また、特に請求項３の発明によれば、検出手段はステアリングホイールの操作状態に応じて切返し位置への車両の到達を検出することで、ユーザのステアリングホイールの操作状態に伴い、ユーザが注意を払うべき車体の箇所を表示して、車体が他の物体に衝突することを防止できる。
【００１９】
また、特に請求項４の発明によれば、車両を縦列駐車する場合における操作内容に応答して、俯瞰画像中の車両の車体前方部を含む領域を拡大した前方拡大画像を表示することで、縦列駐車における車両位置に応じて車体のどの部分に注意を払って操作すればよいかをユーザは把握できる。
【００２０】
また、特に請求項５の発明によれば、表示手段は、ステアリングホイールが、車両が直進する中立位置から第１方向に操作された後に、第１方向とは逆方向の第２方向に操作され、ステアリングホイールが、中立位置、及び、中立位置近傍のいずれかの位置となったことに応答して、前方拡大画像を表示することで、縦列駐車における車両位置に応じて車体前方部に注意を払って操作するタイミングの前にユーザは注意する対称の状況を確認できる。
【００２１】
また、特に請求項６の発明によれば、表示手段は、ステアリングホイールが、車両が直進する中立位置から第１方向に操作された後に、中立位置を経由して第１方向とは逆方向の第２方向に操作されたことに応答して、前方拡大画像を表示することで、縦列駐車における車両位置に応じて車体前方部に注意を払って操作するタイミングをユーザは把握できる。
【００２２】
また、特に請求項７の発明によれば、表示手段は、前方拡大画像が表示されている間に、ステアリングホイールが第２方向から第１方向へ操作された場合に、前方拡大画像から車両の後方を示す画像に切り替えて表示することで、縦列駐車における車両位置に応じて車体前方部及び車両の後方に注意を払って操作するタイミングをユーザは把握できる。
【００２３】
さらに、特に請求項８の発明によれば、表示手段は、前記前方拡大画像と前記俯瞰画像とを併せて表示することで、縦列駐車における車両位置に応じてユーザが注意を払って操作すべき車体部分の画像と、車両全体を含む車両９の周辺領域の画像とを同時にユーザは確認できる。
【図面の簡単な説明】
【００２４】
【図１】図１は、画像表示システムのブロック図である。
【図２】図２は、車載カメラが車両に配置される位置を示す図である。
【図３】図３は、合成画像を生成する手法を説明するための図である。
【図４】図４は、画像表示システムの動作モードの遷移を示す図である。
【図５】図５は、設定前の駐車領域の画像を含む合成画像と車両の後方画像とを示す図である。
【図６】図６は、設定後の駐車領域の画像を含む合成画像と車両の後方画像とを示す図である。
【図７】図７は、縦列駐車途中の画像を表示する合成画像と車両の後方画像とを示す図である。
【図８】図８は、縦列駐車途中の画像を表示する合成画像と前方拡大画像とを示す図である。
【図９】図９は、駐車領域内の車両の画像を表示する合成画像と車両の後方画像とを示す図である。
【図１０】図１０は、画像処理装置の処理フローチャートである。
【図１１】図１１は、画像処理装置の処理フローチャートである。
【図１２】図１２は、画像表示システムのブロック図である。
【図１３】図１３は、駐車領域の設定に伴う駐車開始位置の算出を示す図である。
【図１４】図１４は、切返し位置が表示された状態を示す図である。
【図１５】図１５は、車両がステアリングホイールの切返し位置に到達したことにより表示される前方拡大画像を示す図である。
【図１６】図１６は、画像処理装置の処理フローチャートである。
【図１７】図１７は、画像処理装置の処理フローチャートである。
【発明を実施するための形態】
【００２５】
以下、図面を参照しつつ本発明の実施の形態について説明する。
【００２６】
＜第１の実施の形態＞
＜１−１．システム構成＞
図１は、画像表示システム１２０のブロック図である。この画像表示システム１２０は、車両（本実施の形態では、自動車）に搭載されるものであり、車両の周辺を撮影して画像を生成し、その生成した画像を車室内のナビゲーション装置２０などの表示装置に出力する機能を有している。画像表示システム１２０のユーザ（代表的にはドライバ）は、この画像表示システム１２０を利用することにより、当該車両の周辺の様子をほぼリアルタイムに把握できるようになっている。
【００２７】
図１に示すように、画像表示システム１２０は、車両の周辺を示す周辺画像を生成してナビゲーション装置２０などの表示装置に画像情報を出力する画像処理装置１００と、車両の周囲を撮影するカメラを備えている撮影部５とを主に備えている。
【００２８】
ナビゲーション装置２０は、ユーザに対しナビゲーション案内を行うものであり、タッチパネル機能を備えた液晶などのディスプレイ２１と、ユーザが操作を行う操作部２２と、装置全体を制御する制御部２３とを備えている。ディスプレイ２１の画面がユーザから視認可能なように、ナビゲーション装置２０は車両のインストルメントパネルなどに設置される。ユーザからの各種の指示は、操作部２２とタッチパネルとしてのディスプレイ２１とによって受け付けられる。制御部２３は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えたコンピュータであり、所定のプログラムに従ってＣＰＵが演算処理を行うことでナビゲーション機能を含む各種の機能が実現される。
【００２９】
ナビゲーション装置２０は、画像処理装置１００と通信可能に接続され、画像処理装置１００との間で各種の制御信号の送受信や、画像処理装置１００で生成された周辺画像の受信が可能となっている。ディスプレイ２１には、制御部２３の制御により、通常はナビゲーション装置２０単体の機能に基づく画像が表示されるが、所定の条件下で画像処理装置１００により生成された車両の周辺の様子を示す周辺画像や、車両９及び車両９の周辺領域を俯瞰した俯瞰画像が表示される。また、ディスプレイ２１に表示される俯瞰画像は周辺領域をほぼリアルタイムに示すことになる。これにより、ナビゲーション装置２０は、画像処理装置１００で生成された周辺画像を受信して表示する表示装置としても機能する。
【００３０】
画像処理装置１００は、その本体部１０が周辺画像を生成する機能を有するＥＣＵ（Electronic Control Unit）であり、車両の所定の位置に配置される。画像処理装置１００は、車両の周辺を撮影する撮影部５を備えており、この撮影部５で車両の周辺を撮影して得られる撮影画像に基づいて仮想視点からみた合成画像を生成する画像生成装置として機能する。これらの撮影部５が備える複数の車載カメラ５１，５２，５３は、本体部１０とは別の車両の適位置に配置されるが詳細は後述する。
【００３１】
画像処理装置１００の本体部１０は、装置全体を制御する制御部１と、撮影部５で取得された撮影画像を処理して表示用の周辺画像を生成する画像生成部３と、ナビゲーション装置２０との間で通信を行うナビ通信部４２とを主に備えている。
【００３２】
ナビゲーション装置２０の操作部２２やディスプレイ２１によって受け付けられたユーザからの各種の指示は、制御信号としてナビ通信部４２によって受け付けられて制御部１に入力される。これにより、画像処理装置１００は、ナビゲーション装置２０に対するユーザの操作に応答した動作が可能となっている。
【００３３】
また、画像処理装置１００は、駐車支援ボタン４５を備えている。この駐車支援ボタン４５がユーザに操作されると、ユーザの指示を示す信号が制御部１に入力されて、後述するフロントモードＭ２（図４に示す。）の画像が表示される。なお、この駐車支援ボタン４５はハードボタンとして画像処理装置１００やナビゲーション装置２０に設けられてもよい。また、駐車支援ボタン４５は、ナビゲーション装置２０のディスプレイ２１にユーザが指などをディスプレイ２１に接触させて操作するタッチパネルのボタンとして表示されるようにしてもよい。
【００３４】
画像生成部３は、各種の画像処理が可能なハードウェア回路として構成されており、合成画像生成部３１、画像範囲選択部３２、及び、画像情報出力部３３を主な機能として備えている。
【００３５】
合成画像生成部３１は、撮影部５の複数の車載カメラ５１，５２，５３で取得された複数の撮影画像に基づいて、車両の周辺の任意の仮想視点からみた合成画像を生成する。合成画像生成部３１が仮想視点からみた合成画像を生成する手法については後述する。
【００３６】
また、画像情報出力部３３は合成画像生成部３１において生成された合成画像情報をナビゲーション装置２０へ出力する。これにより、車両の周辺を示す周辺画像がナビゲーション装置２０のディスプレイ２１に表示されることになる。
【００３７】
制御部１は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えたコンピュータであり、所定のプログラムに従ってＣＰＵが演算処理を行うことで各種の制御機能が実現される。図中に示す画像制御部１１は、このようにして実現される制御部１の機能のうちの一部を示している。
【００３８】
画像制御部１１は、画像生成部３によって実行される画像処理を制御するものである。例えば、画像制御部１１は、合成画像生成部３１が生成する合成画像の生成に必要な各種パラメータなどを指示する。また、画像範囲選択部３２がサイドカメラ５３により撮影した画像の所定範囲を選択するための指示を車種ごとのパラメータの情報に基づいて行う。
【００３９】
また、画像制御部１１は、後述する縦列駐車ボタン２０２（図４に示す。）のユーザの操作に応答して、生成された合成画像中に後述する駐車領域ＲＦ１１（図５に示す。）をナビゲーション装置２０に出力してディスプレイ２１に表示させるための制御を行う。
【００４０】
さらに、画像制御部１１は、後述する車両９のステアリングホイール９１のユーザの操作内容を示す信号が制御部１に入力されると、その操作内容に応答して生成された合成画像（俯瞰画像中の車両９の車体前方部を含む領域を拡大した前方拡大画像（図８に示すＣＱ３ａ。）をナビゲーション装置２０に出力してディスプレイ２１に表示させる制御を行う。これにより、縦列駐車における車両位置に応じて車体のどの部分に注意を払って操作すればよいかをユーザは把握できる。
【００４１】
また、画像処理装置１００の本体部１０は、不揮発性メモリ４０、カード読取部４４、及び、信号入力部４１をさらに備えており、これらは制御部１に接続されている。
【００４２】
不揮発性メモリ４０は、電源オフ時においても記憶内容を維持可能なフラッシュメモリなどで構成されている。不揮発性メモリ４０には、車種別データ４ａが記憶されている。車種別データ４ａは、合成画像生成部３１が合成画像を生成する際に必要となる車両の種別に応じたデータなどである。また、縦列駐車モードで表示させる駐車領域のデータやユーザのステアリングホイール９１の操作内容に応答して表示される画像データのパラメータなども記憶されている。
【００４３】
カード読取部４４は、可搬性の記録媒体であるメモリカードＭＣの読み取りを行う。カード読取部４４は、メモリカードＭＣの着脱が可能なカードスロットを備えており、そのカードスロットに装着されたメモリカードＭＣに記録されたデータを読み取る。カード読取部４４で読み取られたデータは、制御部１に入力される。
【００４４】
メモリカードＭＣは、種々のデータを記憶可能なフラッシュメモリなどで構成されており、画像処理装置１００はメモリカードＭＣに記憶された種々のデータを利用できる。例えば、メモリカードＭＣにプログラムを記憶させ、これを読み出すことで、制御部１の機能を実現するプログラム（ファームウェア）を更新することが可能である。また、メモリカードＭＣに不揮発性メモリ４０に記憶された車種別データ４ａとは異なる種別の車両に応じた車種別データを記憶させ、これを読み出して不揮発性メモリ４０に記憶させることで、画像表示システム１２０を異なる種別の車両に対応させることも可能である。
【００４５】
また、信号入力部４１は、車両に設けられた各種装置からの信号を入力する。この信号入力部４１を介して、画像表示システム１２０の外部からの信号が制御部１に入力される。具体的には、シフトセンサ８１、車速センサ８２、方向指示器８３、及び、操舵角センサ８４などから、各種情報を示す信号が制御部１に入力される。
【００４６】
シフトセンサ８１からは、車両９の変速装置のシフトレバーの操作の位置、すなわち、”Ｐ（駐車）”，”Ｄ（前進）”，”Ｎ（中立）”，”Ｒ（後退）”などのシフトポジションが入力される。車速センサ８２からは、その時点の車両９の走行速度（ｋｍ／ｈ）が入力される。
【００４７】
方向指示器８３からは、ウインカースイッチの操作に基づく方向指示、すなわち、車両のドライバが意図する方向指示を示すターン信号が入力される。ウインカースイッチが操作されたときはターン信号が発生し、ターン信号はその操作された方向（左方向あるいは右方向）を示すことになる。ウインカースイッチが中立位置となったときは、ターン信号はオフとなる。
【００４８】
操舵角センサ８４は、ユーザが操作したステアリングホイール９１の操作方向を制御部１に入力する。詳細には、操舵角センサ８４は、ユーザが操作したステアリングホイール９１の回転方向、回転角度、及び、回転速度を信号入力部４１を介して制御部１に入力する。なお、操舵角センサ８４の信号は車両本体を制御する制御部へも入力される。そして、操舵角センサ８４の入力信号と車速センサ８２から車両本体を制御する制御部へ入力された信号に基づいて、車両９を操舵する前輪（図８に示す前輪４０１。）の操舵角と操舵速度が算出され、この算出された値に基づいて車両９の制御が行われる。
【００４９】
＜１−２．撮影部＞
次に、画像処理装置１００の撮影部５について詳細に説明する。撮影部５は、制御部１に電気的に接続され、制御部１からの信号に基づいて動作する。
【００５０】
撮影部５は、車載カメラであるフロントカメラ５１、バックカメラ５２及びサイドカメラ５３を備えている。これらの車載カメラ５１，５２，５３はそれぞれ、ＣＣＤやＣＭＯＳなどの撮像素子を備えており電子的に画像を取得する。
【００５１】
図２は、車載カメラ５１，５２，５３が車両９に配置される位置を示す図である。なお、以下の説明においては、方向及び向きを示す際に、適宜、図中に示す３次元のＸＹＺ直交座標を用いる。このＸＹＺ軸は車両９に対して相対的に固定される。ここで、Ｘ軸方向は車両９の左右方向に沿い、Ｙ軸方向は車両９の直進方向（前後方向）に沿い、Ｚ軸方向は鉛直方向に沿っている。また、便宜上、＋Ｘ側を車両９の右側、＋Ｙ側を車両９の後側、＋Ｚ側を上側とする。
【００５２】
フロントカメラ５１は、車両９の前端にあるナンバープレート取付位置の近傍に設けられ、その光軸５１ａは車両９の直進方向（平面視でＹ軸方向の−Ｙ側）に向けられている。バックカメラ５２は、車両９の後端にあるナンバープレート取付位置の近傍に設けられ、その光軸５２ａは車両９の直進方向の逆方向（平面視でＹ軸方向の＋Ｙ側）に向けられている。また、サイドカメラ５３は、左右のドアミラー９３にそれぞれ設けられており、その光軸５３ａは車両９の左右方向（平面視でＸ軸方向）に沿って外部に向けられている。なお、フロントカメラ５１やバックカメラ５２の取り付け位置は、左右略中央であることが望ましいが、左右中央から左右方向に多少ずれた位置であってもよい。
【００５３】
これらの車載カメラ５１，５２，５３のレンズとしては魚眼レンズなどが採用されており、車載カメラ５１，５２，５３は１８０度以上の画角αを有している。このため、４つの車載カメラ５１，５２，５３を利用することで、車両９の全周囲の撮影が可能となっている。
【００５４】
＜１−３．画像変換処理＞
次に、画像生成部３の合成画像生成部３１が、撮影部５で得られた複数の撮影画像に基づいて車両９の周辺を任意の仮想視点からみた様子を示す合成画像を生成する手法について説明する。合成画像を生成する際には、不揮発性メモリ４０に予め記憶された車種別データ４ａが利用される。図３は、合成画像を生成する手法を説明するための図である。
【００５５】
撮影部５のフロントカメラ５１、バックカメラ５２及びサイドカメラ５３で同時に撮影が行われると、車両９の前方、後方、左側方、及び、右側方をそれぞれ示す４つの撮影画像Ｐ１〜Ｐ４が取得される。すなわち、撮影部５で取得される４つの撮影画像Ｐ１〜Ｐ４には、撮影時点の車両９の全周囲を示す情報が含まれていることになる。
【００５６】
次に、４つの撮影画像Ｐ１〜Ｐ４の各画素が、仮想的な三次元空間における立体曲面ＳＰに投影される。立体曲面ＳＰは、例えば略半球状（お椀形状）をしており、その中心部分（お椀の底部分）が車両９が存在する位置として定められている。撮影画像Ｐ１〜Ｐ４に含まれる各画素の位置と、この立体曲面ＳＰの各画素の位置とは予め対応関係が定められている。このため、立体曲面ＳＰの各画素の値は、この対応関係と撮影画像Ｐ１〜Ｐ４に含まれる各画素の値とに基づいて決定できる。
【００５７】
撮影画像Ｐ１〜Ｐ４の各画素の位置と立体曲面ＳＰの各画素の位置との対応関係は、車両９における４つの車載カメラ５１，５２，５３の配置（相互間距離、地上高さ、光軸角度等）に依存する。このため、この対応関係を示すテーブルデータが、不揮発性メモリ４０に記憶された車種別データ４ａに含まれている。
【００５８】
また、車種別データ４ａに含まれる車体の形状やサイズを示すポリゴンデータが利用され、車両９の三次元形状を示すポリゴンモデルである車両像を仮想的に備えている。構成された車両像は、立体曲面ＳＰが設定される三次元空間において、車両９の位置と定められた略半球状の中心部分に配置される。
【００５９】
さらに、立体曲面ＳＰが存在する三次元空間に対して、制御部１により仮想視点ＶＰが設定される。仮想視点ＶＰは、視点位置と視野方向とで規定され、この三次元空間における車両９の周辺に相当する任意の視点位置に任意の視野方向に向けて設定される。
【００６０】
そして、設定された仮想視点ＶＰに応じて、立体曲面ＳＰにおける必要な領域が画像として切り出される。仮想視点ＶＰと、立体曲面ＳＰにおける必要な領域との関係は予め定められており、テーブルデータとして不揮発性メモリ４０等に予め記憶されている。一方で、設定された仮想視点ＶＰに応じてポリゴンで構成された車両像に関してレンダリングがなされ、その結果となる二次元の車両像が、切り出された画像に対して重畳される。これにより、車両９及びその車両９の周辺を任意の仮想視点からみた様子を示す合成画像が生成されることになる。
【００６１】
例えば、視点位置が車両９の位置の略中央の直上位置で、視野方向が略直下方向とした仮想視点ＶＰ１を設定した場合は、車両９の略直上から車両９を見下ろすように、車両９（実際には車両像）及び車両９の周辺の様子を示す合成画像ＣＰ１が生成される。また、図中に示すように、視点位置が車両９の位置の左後方で、視野方向が車両９における略前方とした仮想視点ＶＰ２を設定した場合は、車両９の左後方からその周辺全体を見渡すように、車両９（実際には車両像）及び車両９の周辺の様子を示す合成画像ＣＰ２が生成される。
【００６２】
なお、実際に合成画像を生成する場合においては、立体曲面ＳＰの全ての画素の値を決定する必要はなく、設定された仮想視点ＶＰに対応して必要となる領域の画素の値のみを撮影画像Ｐ１〜Ｐ４に基づいて決定することで、処理速度を向上できる。
【００６３】
＜１−４．動作モード＞
次に、画像表示システム１２０の動作モードについて説明する。図４は、画像表示システム１２０の動作モードの遷移を示す図である。画像表示システム１２０は、ナビモードＭ１、フロントモードＭ２、バックモードＭ３、及び、縦列駐車モードＭ４の４つの動作モードを有している。これらの動作モードは、ユーザの操作や車両９の走行状態に応じて制御部１の制御により切り替えられるようになっている。
【００６４】
ナビモードＭ１は、ナビゲーション装置２０の機能により、ナビゲーション案内用の地図画像ＮＰを主にディスプレイ２１に表示する動作モードである。ナビモードＭ１では、画像処理装置１００の機能が利用されず、ナビゲーション装置２０単体の機能で各種の表示がなされる。
【００６５】
フロントモードＭ２、バックモードＭ３、及び、縦列駐車モードＭ４は、画像処理装置１００の機能を利用して、撮影画像ＰＰ、合成画像ＣＰ、及び、合成画像ＣＱ０などをディスプレイ２１に表示して、車両９の周辺の状況をほぼリアルタイムでユーザに示す動作モードである。
【００６６】
また、フロントモードＭ２は、前進時に必要となる車両９の前方や側方を主に示す画像を表示する動作モードである。例えば、図中に示すように、車両９の直上の仮想視点からみた車両９及び車両９の周辺の様子を示す合成画像（俯瞰画像）ＣＰと、フロントカメラ５１での撮影により得られる撮影画像ＰＰとが同時にディスプレイ２１に表示される。この合成画像ＣＰの仮想視点の位置は、車両９の直上に限らず、ユーザの操作に応じて車両９の後方側などへ切り替えられるようになっていてもよい。さらに、フロントモードＭ２は、自車の中心に周囲２〜３ｍの範囲を俯瞰画像として表示したモードである。
【００６７】
また、バックモードＭ３は、後退時に必要となる車両９の後方を主に示す画像を表示する動作モードである。例えば、図中に示すように、車両９の直上の仮想視点からみた車両９及び車両９の周辺の様子を示す合成画像（俯瞰画像）ＣＰと、バックカメラ５２での撮影により得られる撮影画像ＰＰとが同時にディスプレイ２１に表示される。この合成画像ＣＰの仮想視点の位置は、車両９の直上に限らず、ユーザの操作に応じて車両９の前方側などへ切り替えられるようになっていてもよい。
【００６８】
さらに、縦列駐車モードＭ４は、ユーザが車両９を縦列駐車する際にユーザの運転操作をサポートするモードである。例えば、図中に示すように、車両９の直上の仮想視点からみた車両９の周辺領域をほぼリアルタイムに示し、車両９の大きさに対応した広さを有する駐車領域ＲＦ１１と車両９の前方に駐車している他車両１９を表示する画像が合成画像俯瞰画像）ＣＱ０として画像処理装置１００は、ナビゲーション装置２０出力してディスプレイ２１に表示させる。
【００６９】
また、縦列駐車モードＭ４は、車両９の後方に備えられたカメラ５２で車両９の後方を撮影した後方画像ＢＡ０を合成画像ＣＱ０と併せて画像処理装置１００が出力して表示させる。
【００７０】
縦列駐車モードＭ４は、フロントモードＭ２の縦列駐車ボタン２０２をユーザが操作することにより開始される。そして、縦列駐車モードＭ４では、フロントモードＭ２で表示されていた車両９と車両９の周辺の様子を示す合成画像俯瞰画像）ＣＰに、車両９と車両９の大きさに対応した広さを有する駐車領域ＲＦ１１の画像の表示が加わり、合成画像ＣＱ０として画像処置装置１００がディスプレイ２１に出力して表示させる。なお、縦列駐車モードＭ４は、フロントモードＭ２から仮想視点の位置を上方の位置に移動させて自車と駐車領域ＲＦ１１とがディスプレイ２１の１画面内で表示されるようにしている。 また、フロントモードＭ２の縦列駐車ボタン２０２がユーザにより操作されると、画像処理装置１００は、フロントモードＭ２で表示されていた車両９の前方の撮影画像ＰＰからカメラ５２により車両９の後方を撮影した後方画像ＢＡ０に切替えて、ディスプレイ２１に表示させる。
【００７１】
各モードの遷移は、ナビモードＭ１において、ナビゲーション装置２０のディスプレイ２１に表示される駐車支援ボタン２０１をユーザが操作した場合、または、ユーザが操作部２２を操作した場合など、所定操作によりフロントモードＭ２に切り替えられる。また、フロントモードＭ２において、ユーザの操作部２２による操作などの所定操作により、ナビモードＭ１に切り替えられる。なお、ナビモードＭ１とフロントモードＭ２とは、車速センサ８２から入力される走行速度に応じて切り替えてもよい。
【００７２】
また、ナビモードＭ１あるいはフロントモードＭ２の場合に、シフトセンサ８１から入力されるシフトポジションが”Ｒ（後退）”となったときは、バックモードＭ３に切り替えられる。すなわち、シフトポジションが”Ｒ（後退）”の場合は、車両９は後退する状態であるため、車両９の後方を主に示すバックモードＭ３に切り替えられる。また、バックモードＭ３の場合に、シフトポジションが”Ｒ（後退）”以外となったときは、バックモードＭ３に切り替えられる直前の動作モードに戻ることになる。なお、バックモードＭ３において、ディスプレイ２１に表示される駐車支援ボタン２０１をユーザが操作した場合は、フロントモードＭ２となる。
【００７３】
そして、フロントモードＭ２において、ディスプレイ２１に表示された縦列駐車ボタン２０２をユーザが操作すると、縦列駐車モードＭ４の画像が画像処理装置１００から出力され、ディスプレイ２１に表示される。また、縦列駐車モードＭ４においてディスプレイ２１の戻るボタン２０３をユーザが操作した場合は、フロントモードＭ２に遷移する。
【００７４】
＜１−５縦列駐車モード＞
以下では、縦列駐車モードＭ４で画像処理装置１００からナビゲーション装置２０に出力され、ディスプレイ２１に表示される合成画像の詳細について図５〜図９を用いて説明する。図５は、設定前の駐車領域ＲＦ１１の画像を含む合成画像ＣＱ０（以下、「画像ＣＱ０」ともいう。）と車両９の後方画像ＢＡ０以下、「画像ＢＡ０」ともいう。）とを示す図である。フロントモードＭ２で縦列駐車ボタン２０２がユーザにより操作されると、縦列駐車モードＭ４の画像ＣＱ０と画像ＢＡ０とが画像処理装置１００からナビゲーション装置２０に出力され、ディスプレイ２１に表示される。
図５に示す画像ＣＱ０は、略中心に車両９の画像が表示されている俯瞰画像であり、車両の周辺領域を略リアルタイムに示している。そして、車両９の左側に駐車領域ＲＦ１１が表示されている。この駐車領域ＲＦ１１は、車両９が縦列駐車を行うのに必要なスペースであり、車両９の進行方向の長さが車両９の全長の約１．５倍で、車幅方向の長さが車両９の車幅の約１．２倍の広さを備えている略長方形の領域である。駐車領域ＲＦ１１は縦列駐車モードＭ４の開始に伴い、画像ＣＱ０の所定の位置に表示され、後述するようにユーザの操作により、駐車スペースの位置に設定される。また、図５に示す画像ＢＡ０は車両９に備えられたバックカメラ５２から撮影された画像であり、車両９の後方の駐車領域ＲＦ１１の一部分を含む画像が表示されている。
さらに、画像ＢＡ０の近傍には表示領域ガイド３０１が表示されている。この表示領域ガイド３０１は、画像ＢＡ０の画像が車両９に対してどの領域を撮影しているかを示したものであり、図５に示す表示領域ガイド３０１では車両９の後方領域を示している。このように表示されている画像が車両９からみてどの領域を撮影しているかを示すことで、ユーザは画像の撮影範囲を直感的に認識できる。
【００７５】
図６は、設定後の駐車領域ＲＦ１１の画像を含む合成画像ＣＱ１（以下、「画像ＣＱ１」ともいう。）と車両９の後方画像ＢＡ１（以下、「画像ＢＡ１」ともいう。）とを示す図である。車両９の左側には駐車領域ＲＦ１１の画像が表示されている。この駐車領域ＲＦ１１は、ユーザが指などをディスプレイ２１に接触させたり、操作部２２を用いて操作することにより、画像ＣＱ１内の任意の位置に設定される。図６ではユーザは画像ＣＱ１内の他車両１９の後方である駐車スペースＳＡ１０１以下、「スペースＳＡ１０１」ともいう。）の領域に駐車領域ＲＦ１１を移動させて、車両９を駐車させる位置を設定している。この設定により以後駐車領域ＲＦ１１は路面に対して固定表示される。また、図５に示す画像ＢＡ１は車両９に備えられたバックカメラ５２から撮影された画像であり、表示領域ガイド３０１は車両９の後方領域を示している。
【００７６】
図７は、縦列駐車途中の画像を表示する合成画像ＣＱ２以下、「画像ＣＱ２」ともいう。）と車両９の画像ＢＡ２（以下、「画像ＢＡ２」ともいう。）とを示す図である。ユーザは駐車領域ＲＦ１１をスペースＳＡ１０１の領域に設定して、スペースＳＡ１０１の位置に車両９を駐車させる動作を開始する。
【００７７】
縦列駐車を開始する場合、ユーザが駐車領域ＲＦ１１を操作して駐車スペースとして設定したスペースＳＡ１０１が、車両９の右側後方で車両９と略平行な位置となるよう車両９を移動させる。このとき車両９の右側の側面とスペースＳＡ１０１との車幅方向の間隔とは約１ｍの間隔とする。そして、シフト位置がバックになり車両が後退するときにユーザは車両９が直進する中立位置から右方向へステアリングホイール９１を操作し、車両９の後端部がスペースＳＡ１０１側へ所定角度傾いた後にステアリングホイール９１を中立位置に戻した状態を図７の画像ＣＱ２は示している。
【００７８】
図８は、縦列駐車途中の画像を表示する合成画像ＣＱ３（「画像ＣＱ３」ともいう。）と前方拡大画像ＣＱ３ａ以下、「画像ＣＱ３ａ」ともいう。）とを示す図である。図８ではユーザが車両９のステアリングホイール９１を中立位置とした状態で車両９を後退させた後、ステアリングホイール９１を中立位置から左方向に操作した状態を示している。そして、この操作内容に応答して俯瞰画像である画像ＣＱ３中の車両９の車体前方部を含む領域を拡大した画像ＣＱ３ａを図７の画像ＢＡ２から切替えてディスプレイ２１に表示させる。尚、前方拡大画像ＣＱ３ａは、以下のようにして作成される。即ち、合成画像ＣＱ３の前方部を切り出して所定倍率に拡大することで前方拡大画像ＣＱ３ａが作成される。あるいは、仮想視点位置を画像ＣＱ３の仮想視点位置に対し車両前部方向にかつ下方に移動させた新たな俯瞰画像を作成することで前方拡大画像ＣＱ３ａが作成される。
【００７９】
つまり、縦列駐車モードＭ４において、車両９のステアリングホイール９１が、車両９が直進する中立位置から右方向に操作された後に中立位置を経由して右方向とは逆方向の左方向に操作されたことに応答して、画像処理装置１００は画像ＣＱ３ａをディスプレイ２１に表示させる。これにより、縦列駐車における車両位置に応じて車体前方部に注意を払って操作するタイミングをユーザは把握できる。尚、車両９の後退中に右方向に操作された状態から中立位置に戻った時点で画像ＣＱ３ａをディスプレイ２１に表示させてもよい。即ち、車両９がステアリングの切り返しポイントに到達したことを検出したときに画像ＣＱ３ａを表示させる。
【００８０】
なお、車体前方部を含む領域とは、図８に示すように車体前方の両角部を含む領域であっても良いし、車体の回転方向に応じて運転者が注意すべき車体前方角部（切返しにより車体が右方向に回転する場合は車体前方部の右角部）であってもよい。このように車体前方角部を表示する場合、ユーザが注意すべき車体の箇所をより大きく拡大できるため、ユーザは障害物と車両９との位置関係をより明確に知ることができる。
図８に示す画像ＣＱ３ａでは、車両９がステアリングホイール９１を左方向へ操作したことに伴い、車両９の前輪４０１は直進方向を０度とした場合に、車両９の左方向に所定角度傾いている。そして、前輪４０１がこの所定角度に傾いた状態で車両９が移動する軌跡をガイド線５０１で表示する。ガイド線５０１の軌跡上には障害物である他車両１９の車体は重なっていないので、車両９は他車両１９と衝突することなく、スペースＳＡ１０１に移動できることをユーザは確認できる。
【００８１】
また、画像ＣＱ３ａの近傍には表示領域ガイド３０１ａが表示されている。この表示領域ガイド３０１ａは、図７に示す画像ＢＡ２から図８に示す画像ＣＱ３ａに画像の表示が切り替わったことに伴い、表示領域ガイド３０１の車両９の後方領域の表示から車両９の車体前方部を含む車両９の前方領域の表示に切り替わっている。このように縦列駐車モードＭ４において表示される画像の切り替えに応答して、表示領域ガイドの表示領域も変更される。これにより、画像の表示が切り替わった後も画像が車両９のどの領域を撮影しているかをユーザは直感的に認識できる。
【００８２】
さらに、図８に示すように画像ＣＱ３ａと俯瞰画像である画像ＣＱ３とを併せて表示することで、縦列駐車における車両位置に応じてユーザが注意を払って操作すべき車体部分の画像と、車両全体を含む車両９の周辺領域の画像とを同時にユーザは確認できる。
【００８３】
図９は、駐車領域ＲＦ１１に含まれるスペースＳＡ１０１の車両９の画像を表示する合成画像ＣＱ４（以下、画像「ＣＱ４」ともいう。）と車両９の後方画像ＢＡ４以下、「画像ＢＡ４」ともいう。）とを示す図である。
【００８４】
図９は、図８に示した操作内容をユーザが行った後に画像ＣＱ３ａが表示された状態で、ユーザがステアリングホイール９１を画像ＣＱ３ａが表示された際の左方向から右方向へ操作を切替えたことにより、画像ＣＱ３ａから画像ＢＡ４に切替えてディスプレイ２１に表示することを示している。これにより、縦列駐車における車両位置に応じて車体前方部及び車両の後方に注意を払って操作するタイミングをユーザは把握できる。なお、画像ＣＱ４では、ユーザがステアリングホイール９１を左方向から右方向へ操作して、略中立位置となった状態で、車両９は駐車領域ＲＦ１１内のスペースＳＡ１０１に位置している。このため、ユーザは他車両１９に衝突することなく車両９をスペースＳＡ１０１内に駐車できる。
【００８５】
なお、画像ＣＱ３ａから画像ＢＡ４の切り替えに伴い、表示領域ガイドの表示領域は、画像３０１ａに対応した車両９の車体前方部を含む車両９の前方領域を示した表示領域ガイド３０１から、画像ＢＡ４に対応した車両９の後方領域を示した表示領域ガイド３０１ａに切り替えられている。
＜２．処理＞
次に、画像処理装置１００の処理について説明する。図１０及び図１１は画像処理装置１００の処理フローチャートである。ユーザからの駐車支援ボタン２０１の操作信号が入力された場合（ステップＳ１０１がＹｅｓ）、画像処理装置１００はフロントモードＭ２の画像をナビゲーション装置２０に出力して（ステップＳ１０２）、ステップＳ１０３の処理へ進む。なお、ユーザからの駐車支援ボタン２０１の操作信号が画像処理装置１００に入力されていない場合（ステップＳ１０１がＮｏ）は、処理を終了する。
【００８６】
ステップＳ１０３では、ユーザからの縦列駐車ボタン２０２の操作信号が画像処理装置１００に入力された場合（ステップＳ１０３がＹｅｓ）、縦列駐車モードＭ４の画像を出力して（ステップＳ１０４）、ステップＳ１０５の処理へ進む。
【００８７】
縦列駐車モードＭ４では、車両９の周辺領域を略リアルタイムに示す俯瞰画像（画像ＣＱ０）を表示して、車両９の大きさに対応した広さを有す駐車領域ＲＦ１１を俯瞰画像（画像ＣＱ０）中に表示する。また、俯瞰画像と併せて画像ＢＡ０を表示する。なお、縦列駐車ボタン２０２の操作信号が画像処理装置１００に入力されていない場合（ステップＳ１０３がＮｏ）は、画像処理装置１００はフロントモードＭ２の画像出力を継続して行う。
【００８８】
ステップＳ１０５では、ユーザの操作により駐車領域ＲＦ１１が合成画像内の駐車スペースを含む位置に設定された信号が入力された場合（ステップＳ１０５がＹｅｓ）は、ユーザが設定した位置を駐車スペースとして設定して（ステップＳ１０６）、ステップＳ１０７の処理へ進む。
【００８９】
なお、駐車領域を設定する信号が画像処理装置１００に入力されていない場合（ステップＳ１０５がＮｏ）は、縦列駐車モードＭ４の画像出力を継続して行う。また、所定時間経過後に縦列駐車モードＭ４の前のモードであるフロントモードＭ２に遷移するようにしてもよい。
【００９０】
ステップＳ１０７では、操舵角センサ８４が検出した車両９のステアリングホイール９１の回転方向、回転角度、及び、回転速度の情報が画像処理装置１００へ入力により、画像ＣＱ３ａの出力条件を満たしている場合（ステップＳ１０７がＹｅｓ）は、図１１のステップＳ１０８の処理へ進む。そして、画像処理装置１００は画像ＣＱ３ａをナビゲーション装置２０へ出力してディスプレイ２１に表示させ（ステップＳ１０９）、ステップＳ１１０の処理へ進む。
【００９１】
つまり、ユーザのステアリングホイール９１の操作内容に応答して、俯瞰画像中の車両９の車体前方部を含む領域を拡大した画像ＣＱ３ａを表示する。また詳細には、車両９のステアリングホイールが車両９が直進する中立位置から右方向に操作された後に、中立位置を経由して右方向とは逆の左方向に操作されたことに応答して、画像ＣＱ３ａを表示する。これにより、縦列駐車における車両位置に応じて車体のどの部分に注意を払って操作すればよいかをユーザは把握できる。また、縦列駐車における車両位置に応じて車体前方部に注意を払って操作するタイミングをユーザは把握できる。
【００９２】
なお、画像ＣＱ３ａの出力条件を満たしていない場合（ステップＳ１０７がＮｏ）は、継続して操舵角センサ８４からの情報入力が画像処理装置１００になされる。また、所定時間経過後もステップＳ１０７の条件を満たさない場合は、縦列駐車モードＭ４の前のモードであるフロントモードＭ２に遷移するようにしてもよい。
【００９３】
次に、ステップＳ１０９では、操舵角センサ８４が検出した車両９のステアリングホイール９１の回転方向、回転角度、及び、回転速度の情報が画像処理装置１００へ入力により、画像ＢＡ４の出力条件を満たしているか否かを判定する（ステップＳ１０９）。
【００９４】
そして、画像ＢＡ４の出力条件を満たしている場合（ステップＳ１０９がＹｅｓ）は、画像処理装置１００は、ナビゲーション装置２０への画像出力を画像ＣＱ３ａから画像Ｂ４に切り替えて、ディスプレイ２１に画像Ｂ４を表示させて（ステップＳ１１０）、処理を終了する。
【００９５】
詳細には、画像ＣＱ３ａが表示されている間に、ステアリングホイール９１が左方向から右方向へ操作された場合に、拡大画像ＣＱ３ａから車両９の後方を示す画像Ｂ４に切替えて表示する。これにより、縦列駐車における車両位置に応じて車体前方部及び車両９の後方に注意を払って操作するタイミングをユーザは把握できる。
【００９６】
なお、画像Ｂ４の出力条件を満たしていない場合（ステップ１０９がＮｏ）は、継続して操舵角センサ８４からの情報入力が画像処理装置１００になされる。また、所定時間経過後もステップＳ１０９の条件を満たさない場合は、縦列駐車モードＭ４の前のモードであるフロントモードＭ２に遷移するようにしてもよい。
【００９７】
以上のように、画像表示システム１２０においては、車両９を縦列駐車する場合におけるステアリングホイール９１の操作内容に応答して、俯瞰画像中の車両９の車体前方部を含む領域を拡大した前方拡大画像ＣＱ３ａが表示される。このため、縦列駐車における車両位置に応じて車体のどの部分に注意を払って操作すればよいかをユーザ把握できる。
【００９８】
また、ステアリングホイール９１が車両９が直進する中立位置から右方向に操作された後に中立位置を経由して右方向とは逆の左方向に操作されたことに応答して、ディスプレイ２１に前方拡大画像ＣＱ３ａを表示する。このため、縦列駐車における車両位置に応じて車体前方部に注意を払って操作するタイミングをユーザ把握できる。
【００９９】
また、ディスプレイ２１に前方拡大画像が表示されている間に、ステアリングホイール９１が左方向から右方向へ操作された場合に、前方拡大画像ＣＱ３ａから車両９の後方を示す画像に切り替えて表示する。このため、縦列駐車における車両位置に応じて車体前方部、及び、車両９の後方に注意を払って操作するタイミングをユーザは把握できる。
【０１００】
また、ディスプレイ２１に前方拡大画像ＣＱ３ａと俯瞰画像ＣＱ３とを併せて表示する。これにより、縦列駐車における車両９の位置に応じてユーザが注意を払って操作すべき車体部分の画像と、車両９の周辺領域を含む車両全体の画像とを同時にユーザは確認できる。
＜第２の実施の形態＞
次に、第２の実施の形態について説明する。第２の実施の形態の画像処理システム１２０a（図１２に示す。）は、ユーザが車両９の駐車を開始する位置（駐車すべき位置に対して車両９の後退を開始する位置）に応じて、画像処理装置１１がステアリングホイール９１の切返し位置（以下、「切返し位置」ともいう。）を算出する。
【０１０１】
そして、車両９が切返し位置に到達したことを画像処理装置１１が検出した場合に、俯瞰画像中の車両９の車体前方部を含む領域を拡大した拡大領域を表示する。
【０１０２】
第２の実施の形態の画像処理システム１２０ａの構成及び処理は、第１の実施の形態とほぼ同様であるが、一部相違する。このため以下、相違点を中心に説明する。
＜３．システム構成＞
図１２は画像処理システム１２０ａのブロック図である。画像処理システム１００ａの画像処理装置１０ａに備えられる制御部１ａは、第１の実施の形態の制御部１の画像制御部１１の構成に加えて、新たに位置算出部１２、及び、位置検出部１３を備える。
【０１０３】
位置算出部１２は、縦列駐車モードＭ４において車両９が後退して移動する中で、ユーザが車両９のステアリングホイール９１を操作する位置である切返し位置を算出する。この切返し位置の算出は、ユーザが駐車領域ＲＦ１１を設定した駐車スペースＳＡ１０１の位置と、車両９の駐車開始位置との情報から制御部１ａが理想経路（駐車開始位置から駐車スペースＳＡ１０１までの経路）を算出し、その理想経路上のステアリングホイール９１を操作する位置が切返し位置として算出される。
【０１０４】
位置検出部１３は、車速度センサ８２、及び、操舵角センサ８４の情報に基づいて車両９の移動軌跡を演算し、位置算出部１２により算出された切返し位置と、ユーザの操作により移動する車両９の位置とが同じ位置となった場合に、車両９が切返し位置に到達したことを検出する。
＜４．表示画像説明＞
次に、縦列駐車モードＭ４で画像処理装置１００からナビゲーション装置２０に出力され、ディスプレイ２１に表示される合成画像の詳細について図１３〜図１５を用いて説明する。図１３は、駐車領域ＲＦ１１の設定に伴う駐車開始位置ＳＦ２１の算出を示す図である。ディスプレイ２１には合成画像ＣＱ１ａを含む画像が表示されている。この合成画像ＣＱ１ａには、車両９の近傍にユーザの操作により移動する駐車領域ＲＦ１１が表示されている。駐車領域ＲＦ１１はユーザの操作により他車両１９の後方の駐車スペースＳＡ１０１に移動する。そして、駐車スペースＳＡ１０１が車両９の駐車すべき位置として設定される。これにより、車両９の駐車すべき位置である駐車領域ＲＦ１１が路面に対して固定される。
【０１０５】
そして、車両９の駐車すべき位置である駐車領域ＲＦ１１が路面に対して固定されたことに伴い、車両９の縦列駐車が可能となる開始位置を演算し、開始位置ＳＦ２１として表示される。
【０１０６】
図１４は、切返しポイントＭＡ３１が表示された状態を示す図である。図１３に示す車両９の位置から、合成画像ＣＱ５に示すようにユーザの操作により車両９が直進方向に進行して、車体全体が開始位置ＳＦ２１の領域に入ると、ユーザはシフトレバーを”Ｄ（前進）”から”Ｒ（後退）”に切り替えて縦列駐車を開始する。なお、このように車体全体が開始位置ＳＦ２１の領域に入り、シフトレバーの切り替えが行われたことに伴い、その時点での車両９の位置から路面に固定された駐車領域ＲＦ１１までの車両９の進行すべき理想経路、及び、切返し位置を制御部１ａが演算する。なお、演算された理想経路は合成画像中に表示するようにしてもよい。また、切返し位置に対応する位置に指標ＭＡ３１をディスプレイ２１に表示してもよい。なお、この切返し位置である指標ＭＡ３１は理想経路上に位置する。
【０１０７】
図１５は、車両９がステアリングホイール９１の切返し位置に到達したことにより表示される前方拡大画像ＣＱ３ｃを示す図である。車両９が駐車動作を開始した後、切返し位置に車両９が到達したことを、位置検出部１３が検出すると、画像制御部１１は、合成画像ＣＱ３ｂ中の車両９の車体前方部を含む領域を拡大した前方拡大画像ＣＱ３ｃをディスプレイ２１に表示する。これにより、車両９がステアリングホイール９１の切返し位置へ到達したことを精度よく検出でき、それに伴いユーザが注意を払うべき車体の箇所を表示して、車体が他の物体に衝突することを防止できる。
＜４．処理＞
図１６及び図１７は、画像処理装置１００ａの処理フローチャートである。この図１６及び図１７の処理フローチャートは第１の実施の形態で図１０及び図１１を用いて説明した処理フローチャートにステップＳ２０１〜ステップＳ２０６の処理を加えたものであり、これ以外の処理は同様の処理である。図１６に示すステップＳ１０６において、ユーザの操作により駐車スペースＳＡ１０１に駐車領域ＲＦ１１を設定するとステップＳ２０１の処理へ進む。
【０１０８】
ステップＳ２０１の処理では、駐車領域ＲＦ１１の設定に伴い、画像処理装置１００aが車両９の開始位置ＳＦ２１を設定し（ステップＳ２０１）、ステップＳ２０２の処理へ進む。この開始位置ＳＦ２１の設定は、ステップＳ１０６で設定された駐車スペースＳＡ１０１の位置に応じて予め対応付けられた位置に設定される。つまり、駐車動作を開始した車両９が駐車スペースＳＡ１０１に到達するために必要な距離などを予め算出しておき、この駐車スペースＳＡ１０１に到達するために必要な距離などの情報に基づいて、画像処理装置１００ａが開始位置ＳＦ２１を最適な位置に設定する。
【０１０９】
ステップＳ２０２では、車両９の開始位置ＳＦ２１への到達の状態を画像処理装置１００ａが判定する（ステップＳ２０２）。車両９の開始位置ＳＦ２１への到達については、車速センサ８２、及び、操舵角センサ８４の入力情報に基づいて車両９の現在位置からの移動量を画像処理装置１００ａが演算し、車両９の開始位置ＳＦ２１への到達の状態を判定する。
【０１１０】
そして、車両９が開始位置ＳＦ２１に到達した場合（ステップＳ２０２がＹｅｓ）は、ステップＳ２０３の処理へ進む。なお、車両９が開始位置ＳＦ２１に到達していない場合（ステップＳ２０２がＮｏ）は、縦列駐車モードＭ４の画像出力を継続して行う。また、所定時間経過後に縦列駐車モードＭ４の前のモードであるフロントモードＭ２に遷移するようにしてもよい。
【０１１１】
ステップＳ２０３では、車両９の駐車開始位置から画像処理装置１００ａが理想経路（車両９の駐車開始位置から駐車スペースＳＡ１０１までの経路）を算出して（ステップＳ２０３）、ステップＳ２０４の処理へ進む。
【０１１２】
ステップＳ２０４では、位置算出部１２が理想経路上のステアリングホイール９１を操作する切返し位置を算出し（ステップＳ２０４）、ステップＳ２０５の処理へ進む。
【０１１３】
ステップＳ２０５では、位置検出部１３が、車速度センサ８２、及び、操舵角センサ８４の情報に基づいて車両９の移動軌跡を演算する。そして、車両９が切返し位置に到達した場合、つまり、位置算出部１２により算出された切返し位置と、ユーザの操作により移動する車両９の位置とが同じ位置となった場合（ステップＳ２０５がＹｅｓ）に、車両９が切返し位置に到達したとして、車両９の前方拡大画像を出力して（ステップＳ１０８）、ステップＳ２０６の処理へ進む。
【０１１４】
ここで、切返し位置に対応する車両９の位置は車両９の車体の所定部分であり、予めユーザの任意の位置に設定が可能である。なお、車両９が切返し位置に到達していない場合（ステップＳ２０５がＮｏ）は、縦列駐車モードＭ４の画像出力を継続して行う。また、所定時間経過後に縦列駐車モードＭ４の前のモードであるフロントモードＭ２に遷移するようにしてもよい。
【０１１５】
ステップＳ２０６では、車両９が切返し位置に到達した後、切返し位置を通過した場合（ステップＳ２０６がＹｅｓ）は、画像処理装置１００ａは、ナビゲーション装置２０への画像出力を画像ＣＱ３ｃから図９に示す画像Ｂ４に切り替えて、ディスプレイ２１に画像Ｂ４を表示させて（ステップＳ１１０）、処理を終了する。なお、車両９が切返し位置に到達した後、車両９が切返し位置を通過しない場合（ステップＳ２０６がＮｏ）、画像処理装置１００ａは縦列駐車モードＭ４の画像出力を継続して行う。また、所定時間経過後に縦列駐車モードＭ４の前のモードであるフロントモードＭ２に遷移するようにしてもよい。
【０１１６】
なお、本実施の形態では、車両９を駐車スペースＳＡ１０１に設定された駐車領域ＲＦ１１に対して縦列駐車させる場合について述べたが、本実施の形態の処理は縦列駐車以外の駐車例えば、並列駐車）においても適用できる。
【０１１７】
また、これまでの第１の実施の形態、及び、第２の実施の形態の記載から以下の処理が可能である。つまり、画像表示システムにおいては、車両９を駐車する場合に、車両９がステアリングホイール９１の切返し位置に到達したことを画像処理装置１００が検出する。そして、その検出情報から車両９が切返し位置に到達したことに応答して、俯瞰画像中の車両９の車体前方部を含む領域を拡大した前方拡大画像をディスプレイ２１に表示する。これにより、ステアリングホイール９１を切返す位置でユーザが注意を払うべき車体の箇所を表示して、車体が他の物体に衝突することを防止できる。
【０１１８】
また、画像処理装置１００は、車両９を駐車する場合にユーザが設定した車両の駐車すべき位置駐車スペースＳＡ１０１に設定された駐車領域ＲＦ１１）に応じてステアリングホイール９１の切返し位置を算出する。そして、画像処理装置１００は、車両９が移動した位置から算出されたステアリングホイール９１の切返し位置への車両９の到達を検出して、車両９の前方拡大画像をディスプレイ２１に表示する。これにより、車両９がステアリングホイール９１の切返し位置へ到達したことを精度よく検出でき、それに伴いユーザが注意を払うべき車体の箇所を表示して、車体が他の物体に衝突することを防止できる。
【０１１９】
さらに、画像処理装置１００は車両９のステアリングホイール９１の操作内容を示す信号の入力を受けて、ステアリングホイール９１の操作状態に応じて切返し位置への車両９の到達を画像処理装置１００が検出して、車両９の前方拡大画像をディスプレイ２１に表示する。これにより、ユーザのステアリングホイール９１の操作状態に伴い、ユーザが注意を払うべき車体の箇所を表示して、車体が他の物体に衝突することを防止できる。
＜変形例＞
以下、変形例について説明する。なお、上記の実施の形態、及び、下記で説明する形態を含む全ての形態は適宜に組み合わせ可能である。
【０１２０】
また、上記の実施の形態では、車両９の駐車スペースを車両９の右側のスペースＳＡ１０１として駐車する例について述べたが、車両９の左側の駐車スペースに車両９を駐車する場合にも上記実施の形態の技術は適用できる。つまり、車両９の左側の駐車スペースに車両９を駐車する場合の前方拡大画像の表示は、縦列駐車モードＭ４において、ステアリングホイール９１が車両９が直進する中立位置から左方向に操作された後に、中立位置を経由して左方向とは逆方向の右方向に操作されたことに応答して、後方画像から前方拡大画像に切替えて表示する。これにより、ユーザは縦列駐車位置の方向にかかわらず、車両位置に応じて車体前方部に注意を払って操作するタイミングをユーザは把握できる。
【０１２１】
また、前方拡大画像が表示された状態で、ユーザがステアリングホイール９１を前方拡大画像が表示された際の右方向から左方向へ操作したことにより、前方拡大画像から後方画像に切替えて表示する。これにより、縦列駐車における車両位置に応じて車体前方部及び車両９の後方に注意を払って操作するタイミングをユーザは把握できる。
【０１２２】
また、上記の実施の形態では、画像ＣＱ３ａから画像ＢＡ４への切り替えをステアリングホイール９１が左方向から右方向へ操作されたことを条件としたが、左方向から右方向へ操作され、右方向の操作により、ステアリングホイール９１が中立位置、及び、中立位置近傍のいずれかの位置となった時に画像ＣＱ３ａから画像ＢＡ４へ切り替えるようにしてもよい。これにより、ユーザが注意を払って操作を行う箇所をユーザは所定時間確認できる。また、縦列駐車における車両位置に応じて車体前方部に注意を払って操作するタイミングの前にユーザは注意する対称の状況を確認できる。
【０１２３】
また、表示されている合成画像よりも更に広い範囲を表示する場合は、俯瞰画像を生成する仮想視点の位置を現在の画像を生成する位置よりも上方向の位置に移動させることで、車両９から離れた駐車スペースに対して駐車領域ＲＦ１１をユーザが設定することもできる。
【０１２４】
さらに、上記の実施の形態の俯瞰画像は複数のカメラの撮影画像により生成された合成画像以外に一のカメラにより生成された俯瞰画像であってもよい。
【符号の説明】
【０１２５】
１・・・・制御部
３・・・・画像生成部
５・・・・撮影部
２０・・・ナビゲーション装置
４０・・・不揮発性メモリ
４１・・・信号入力部
４２・・・ナビ通信部
８１・・・シフトセンサ
８２・・・車速センサ
８３・・・方向指示器
【特許請求の範囲】
【請求項１】
車両に搭載される画像表示システムであって、
前記車両に配置されたカメラで得られる撮影画像から、前記車両及び前記車両の周辺領域を俯瞰した俯瞰画像を生成する生成手段と、
前記車両を駐車する場合に、前記車両がステアリングホイールの切返し位置に到達したことを検出する検出手段と、
前記検出手段の情報から前記車両が前記切返し位置に到達したことに応答して、前記俯瞰画像中の前記車両の車体前方部を含む領域を拡大した前方拡大画像を表示する表示手段と、
を備えること特徴とする画像表示システム。
【請求項２】
請求項１に記載の画像表示システムにおいて、
前記車両を駐車する場合にユーザが設定した前記車両の駐車すべき位置に応じて前記切返し位置を算出する算出手段をさらに備え、
前記検出手段は、前記車両の位置情報から前記算出手段により算出された前記切返し位置への前記車両の到達を検出すること、
を特徴とする画像表示システム。
【請求項３】
請求項１に記載の画像表示システムにおいて、
前記車両のステアリングホイールの操作内容を示す信号を入力する入力手段をさらに備え、
前記検出手段は前記ステアリングホイールの操作状態に応じて前記切返し位置への前記車両の到達を検出すること、
を特徴とする画像表示システム。
【請求項４】
車両に搭載される画像表示システムであって、
前記車両に配置されたカメラで得られる撮影画像から、前記車両及び前記車両の周辺領域を俯瞰した俯瞰画像を生成する生成手段と、
前記車両のステアリングホイールの操作内容を示す信号を入力する入力手段と、
前記車両を縦列駐車する場合における前記操作内容に応答して、前記俯瞰画像中の前記車両の車体前方部を含む領域を拡大した前方拡大画像を表示する表示手段と、
を備えること特徴とする画像表示システム。
【請求項５】
請求項４に記載の画像表示システムにおいて、
前記表示手段は、前記ステアリングホイールが、前記車両が直進する中立位置から第１方向に操作された後に、前記第１方向とは逆方向の第２方向に操作され、前記ステアリングホイールが、前記中立位置、及び、前記中立位置近傍のいずれかの位置となったことに応答して、前記前方拡大画像を表示すること、
を特徴とする画像表示システム。
【請求項６】
請求項４に記載の画像表示システムにおいて、
前記表示手段は、前記ステアリングホイールが、前記車両が直進する中立位置から第１方向に操作された後に、前記中立位置を経由して前記第１方向とは逆方向の第２方向に操作されたことに応答して、前記前方拡大画像を表示すること、
を特徴とする画像表示システム。
【請求項７】
請求項５または６に記載の画像表示システムにおいて、
前記表示手段は、前記前方拡大画像が表示されている間に、前記ステアリングホイールが前記第２方向から前記第１方向へ操作された場合に、前記前方拡大画像から前記車両の後方を示す画像に切り替えて表示すること、
を特徴とする画像表示システム。
【請求項８】
請求項４乃至７のいずれかに記載の画像表示システムにおいて、
前記表示手段は、前記前方拡大画像と前記俯瞰画像とを併せて表示すること、
を特徴とする画像表示システム。
【請求項９】
車両に搭載された表示装置に表示させる画像を生成する画像処理装置であって、
前記車両に配置されたカメラで得られる撮影画像から、前記車両及び前記車両の周辺領域を仮想視点から俯瞰した俯瞰画像を生成する生成手段と、
前記車両のステアリングホイールの操作内容を示す信号を入力する入力手段と、
前記車両を縦列駐車する場合における前記操作内容に応答して、前記俯瞰画像中の前記車両の車体前方部を含む領域を拡大した前方拡大画像を前記表示装置に出力して表示させる出力手段と、
を備えることを特徴とする画像処理装置。
【請求項１０】
車両に搭載される画像表示方法であって、
前記車両に配置されたカメラで得られる撮影画像から、前記車両及び前記車両の周辺領域を仮想視点から俯瞰した俯瞰画像を生成する工程と、
前記車両のステアリングホイールの操作内容を示す信号を入力する工程と、
前記車両を縦列駐車する場合における前記操作内容に応答して、前記俯瞰画像中の前記車両の車体前方部を含む領域を拡大した前方拡大画像を表示する工程と、
を備えること特徴とする画像表示方法。
【請求項１】
車両に搭載される画像表示システムであって、
前記車両に配置されたカメラで得られる撮影画像から、前記車両及び前記車両の周辺領域を俯瞰した俯瞰画像を生成する生成手段と、
前記車両を駐車する場合に、前記車両がステアリングホイールの切返し位置に到達したことを検出する検出手段と、
前記検出手段の情報から前記車両が前記切返し位置に到達したことに応答して、前記俯瞰画像中の前記車両の車体前方部を含む領域を拡大した前方拡大画像を表示する表示手段と、
を備えること特徴とする画像表示システム。
【請求項２】
請求項１に記載の画像表示システムにおいて、
前記車両を駐車する場合にユーザが設定した前記車両の駐車すべき位置に応じて前記切返し位置を算出する算出手段をさらに備え、
前記検出手段は、前記車両の位置情報から前記算出手段により算出された前記切返し位置への前記車両の到達を検出すること、
を特徴とする画像表示システム。
【請求項３】
請求項１に記載の画像表示システムにおいて、
前記車両のステアリングホイールの操作内容を示す信号を入力する入力手段をさらに備え、
前記検出手段は前記ステアリングホイールの操作状態に応じて前記切返し位置への前記車両の到達を検出すること、
を特徴とする画像表示システム。
【請求項４】
車両に搭載される画像表示システムであって、
前記車両に配置されたカメラで得られる撮影画像から、前記車両及び前記車両の周辺領域を俯瞰した俯瞰画像を生成する生成手段と、
前記車両のステアリングホイールの操作内容を示す信号を入力する入力手段と、
前記車両を縦列駐車する場合における前記操作内容に応答して、前記俯瞰画像中の前記車両の車体前方部を含む領域を拡大した前方拡大画像を表示する表示手段と、
を備えること特徴とする画像表示システム。
【請求項５】
請求項４に記載の画像表示システムにおいて、
前記表示手段は、前記ステアリングホイールが、前記車両が直進する中立位置から第１方向に操作された後に、前記第１方向とは逆方向の第２方向に操作され、前記ステアリングホイールが、前記中立位置、及び、前記中立位置近傍のいずれかの位置となったことに応答して、前記前方拡大画像を表示すること、
を特徴とする画像表示システム。
【請求項６】
請求項４に記載の画像表示システムにおいて、
前記表示手段は、前記ステアリングホイールが、前記車両が直進する中立位置から第１方向に操作された後に、前記中立位置を経由して前記第１方向とは逆方向の第２方向に操作されたことに応答して、前記前方拡大画像を表示すること、
を特徴とする画像表示システム。
【請求項７】
請求項５または６に記載の画像表示システムにおいて、
前記表示手段は、前記前方拡大画像が表示されている間に、前記ステアリングホイールが前記第２方向から前記第１方向へ操作された場合に、前記前方拡大画像から前記車両の後方を示す画像に切り替えて表示すること、
を特徴とする画像表示システム。
【請求項８】
請求項４乃至７のいずれかに記載の画像表示システムにおいて、
前記表示手段は、前記前方拡大画像と前記俯瞰画像とを併せて表示すること、
を特徴とする画像表示システム。
【請求項９】
車両に搭載された表示装置に表示させる画像を生成する画像処理装置であって、
前記車両に配置されたカメラで得られる撮影画像から、前記車両及び前記車両の周辺領域を仮想視点から俯瞰した俯瞰画像を生成する生成手段と、
前記車両のステアリングホイールの操作内容を示す信号を入力する入力手段と、
前記車両を縦列駐車する場合における前記操作内容に応答して、前記俯瞰画像中の前記車両の車体前方部を含む領域を拡大した前方拡大画像を前記表示装置に出力して表示させる出力手段と、
を備えることを特徴とする画像処理装置。
【請求項１０】
車両に搭載される画像表示方法であって、
前記車両に配置されたカメラで得られる撮影画像から、前記車両及び前記車両の周辺領域を仮想視点から俯瞰した俯瞰画像を生成する工程と、
前記車両のステアリングホイールの操作内容を示す信号を入力する工程と、
前記車両を縦列駐車する場合における前記操作内容に応答して、前記俯瞰画像中の前記車両の車体前方部を含む領域を拡大した前方拡大画像を表示する工程と、
を備えること特徴とする画像表示方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２０１２−７３８３６（Ｐ２０１２−７３８３６Ａ）
【公開日】平成２４年４月１２日（２０１２．４．１２）
【国際特許分類】
【出願番号】特願２０１０−２１８３２０（Ｐ２０１０−２１８３２０）
【出願日】平成２２年９月２９日（２０１０．９．２９）
【出願人】（０００２３７５９２）富士通テン株式会社 (3,383)
【Ｆターム（参考）】
【公開日】平成２４年４月１２日（２０１２．４．１２）
【国際特許分類】
【出願日】平成２２年９月２９日（２０１０．９．２９）
【出願人】（０００２３７５９２）富士通テン株式会社 (3,383)
【Ｆターム（参考）】
[ Back to top ]