画像生成装置、画像表示システム、及び、画像生成方法
【課題】車両の進行方向とは逆方向に存在する物体をユーザが把握できるようにする。
【解決手段】画像表示システムでは、シフト判定部が車両９の進行方向を判定する。そして、合成画像生成部が、車両９を俯瞰する仮想視点からみた車両９の周囲の周辺領域Ａ１と、車両９の進行方向とは逆方向の後方領域Ａ２とを連続的に示す合成画像ＣＰ１を生成する。ディスプレイは、この合成画像ＣＰ１を含む表示画像ＤＰ１を表示する。表示画像ＤＰ１が車両９の進行方向とは逆方向の後方領域Ａ２を示す合成画像ＣＰ１を含むため、ユーザは、表示された表示画像ＤＰ１を視認することで、車両９の進行方向とは逆方向に存在する物体を把握することができる。
【解決手段】画像表示システムでは、シフト判定部が車両９の進行方向を判定する。そして、合成画像生成部が、車両９を俯瞰する仮想視点からみた車両９の周囲の周辺領域Ａ１と、車両９の進行方向とは逆方向の後方領域Ａ２とを連続的に示す合成画像ＣＰ１を生成する。ディスプレイは、この合成画像ＣＰ１を含む表示画像ＤＰ１を表示する。表示画像ＤＰ１が車両９の進行方向とは逆方向の後方領域Ａ２を示す合成画像ＣＰ１を含むため、ユーザは、表示された表示画像ＤＰ１を視認することで、車両９の進行方向とは逆方向に存在する物体を把握することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両において画像を表示する技術に関する。
【背景技術】
【０００２】
従来より、自動車などの車両に搭載されるカメラで得られた撮影画像に基づいて、車両の周辺の領域を示す画像を車室内のディスプレイに表示する画像表示システムが知られている。この画像表示システムを利用することにより、ユーザ（代表的にはドライバ）は、車両の周辺の様子をほぼリアルタイムに把握することができる。
【０００３】
例えば、車両の後方を示すバック画像を表示する画像表示システムを車両の後退時において利用すれば、ユーザは、車両の後方に存在する物体を把握しやすい。このため、ユーザは、車両と物体との接触を回避しつつ、車両を安全に後退させることができる。
【０００４】
また、近年では、車両の周辺の異なる方向を撮影する複数のカメラで得られる撮影画像に基づいて、車両を俯瞰する仮想視点からみた俯瞰画像を表示する画像表示システムも知られている（例えば、特許文献１参照。）。ユーザは、このような俯瞰画像を確認することで、車両の近傍に存在する物体の位置を容易に把握することができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００３−１５８７３６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、ユーザは、このような画像表示システムを、駐車場で車両を駐車する場合や、狭い道路で他の車両とすれ違いをする場合など、比較的高い注意力を要する場面に利用する。このように比較的高い注意力を要する場面においては、ユーザの注意の大部分は車両の進行方向に向けられる。このため、車両の進行方向とは逆方向から近づく車両や歩行者などの物体が存在する場合であっても、その物体にユーザが気がつかないことがある。したがって、車両の進行方向とは逆方向に存在する物体をユーザが把握できる技術が求められていた。
【０００７】
またところで、車両の前方の領域と後方の領域との双方を切り替えて表示可能な画像表示システムが知られている。このような画像表示システムは、通常、車両の進行方向が前方の場合（シフトポジションが「Ｐ」「Ｒ」以外の場合）に車両の前方を示すフロント画像を表示し、車両の進行方向が後方の場合（シフトポジションが「Ｒ」の場合）に車両の後方を示すバック画像を表示する。ただし、車両を駐車させる場合などにおいては、車両の進行方向が後方の場合であっても、ユーザは車両の前方の確認が必要となることがある。このため、車両の進行方向が後方の場合であっても、ユーザの操作に応答してフロント画像を表示する画像表示システムが検討されている。しかしながら、このように車両の進行方向が後方の場合にフロント画像を表示すると、車両の進行方向が前方であるとユーザが誤解する可能性があるために改善が求められていた。
【０００８】
本発明は、車両の進行方向とは逆方向に存在する物体をユーザが把握できる技術を提供することを第１の目的とする。
【０００９】
また、本発明は、ユーザが車両の進行方向を誤解することを防止できる技術を提供することを第２の目的とする。
【課題を解決するための手段】
【００１０】
上記課題を解決するため、請求項１の発明は、車両において用いられ、前記車両の周辺を示す画像を生成する画像生成装置であって、前記車両の周辺の互いに異なる方向を撮影する複数のカメラの撮影画像を取得する取得手段と、前記車両の進行方向を判定する判定手段と、前記撮影画像に基づいて、前記車両を俯瞰する仮想視点からみた前記車両の周囲の第１領域と、前記車両の前記第１領域より外側の前記進行方向とは逆方向の第２領域とを連続的に示す合成画像を生成する生成手段と、前記合成画像を含む表示画像を表示装置に出力して、前記表示装置に表示させる出力手段と、を備えている。
【００１１】
また、請求項２の発明は、請求項１に記載の画像生成装置において、前記表示画像は、前記合成画像と、前記車両の前記進行方向の第３領域を示す画像と、を含む。
【００１２】
また、請求項３の発明は、請求項１または２に記載の画像生成装置において、前記合成画像は、前記車両の像を含む。
【００１３】
また、請求項４の発明は、請求項３に記載の画像生成装置において、前記生成手段は、前記進行方向が前方の場合は、前記合成画像における前記車両の像の中心位置を前記合成画像の上下中央よりも上側にし、前記進行方向が後方の場合は、前記合成画像における前記車両の像の中心位置を前記合成画像の上下中央よりも下側にする。
【００１４】
また、請求項５の発明は、請求項１ないし４のいずれかに記載の画像生成装置において、前記生成手段は、前記撮影画像のデータを仮想の投影面に投影することで前記合成画像を生成するものであり、前記投影面において、前記第１領域に相当する部分は平面である。
【００１５】
また、請求項６の発明は、請求項５に記載の画像生成装置において、前記投影面において、前記第２領域に相当する部分は、前記平面に接する曲面である。
【００１６】
また、請求項７の発明は、車両において用いられ、前記車両の周辺を示す画像を生成する画像生成装置であって、前記車両の前方及び後方をそれぞれ撮影する複数のカメラの撮影画像を取得する取得手段と、前記車両の進行方向を判定する判定手段と、前記撮影画像に基づいて、表示画像を生成する生成手段と、前記表示画像を表示装置に出力して、前記表示装置に表示させる出力手段と、を備え、前記生成手段は、前記表示画像として、前記車両の前記進行方向が前方の場合は、前記車両の前方を示す第１表示画像を生成し、前記車両の前記進行方向が後方の場合は、前記車両の後方を示す第２表示画像、及び、前記車両の前方を示す第３表示画像の一方をユーザの操作に応じて選択的に生成し、前記第１表示画像と前記３表示画像とは、前記車両の前方を異なる態様で示す。
【００１７】
また、請求項８の発明は、請求項７に記載の画像生成装置において、前記第１表示画像は、前記車両の前方の一部を隠すマスク領域を含み、前記第３表示画像は、前記マスク領域を含まない。
【００１８】
また、請求項９の発明は、請求項７に記載の画像生成装置において、前記第１表示画像は、前記車両の前方の一部を隠す非透過のマスク領域を含み、前記第３表示画像は、前記車両の前方の一部を隠す透過性のマスク領域を含む。
【００１９】
また、請求項１０の発明は、請求項７に記載の画像生成装置において、前記第１表示画像と前記第３表示画像とは、前記車両の前方の一部を隠すマスク領域の形状が異なる。
【００２０】
また、請求項１１の発明は、車両において用いられ、前記車両の周辺を示す画像を表示する画像表示システムであって、請求項１ないし１０のいずれかに記載の画像生成装置と、前記画像生成装置から出力される表示画像を表示する表示装置と、を備えている。
【００２１】
また、請求項１２の発明は、車両において用いられ、前記車両の周辺を示す画像を生成する画像生成方法であって、（ａ）前記車両の周辺の互いに異なる方向を撮影する複数のカメラの撮影画像を取得する工程と、（ｂ）前記車両の進行方向を判定する工程と、（ｃ）前記撮影画像に基づいて、前記車両を俯瞰する仮想視点からみた前記車両の周囲の第１領域と、前記車両の前記第１領域より外側の前記進行方向とは逆方向の第２領域とを連続的に示す合成画像を生成する工程と、（ｄ）前記合成画像を含む表示画像を表示する工程と、を備えている。
【００２２】
また、請求項１３の発明は、車両において用いられ、前記車両の周辺を示す画像を生成する画像生成方法であって、（ａ）前記車両の前方及び後方をそれぞれ撮影する複数のカメラの撮影画像を取得する工程と、（ｂ）前記車両の進行方向を判定する工程と、（ｃ）前記撮影画像に基づいて、表示画像を生成する工程と、（ｄ）前記表示画像を表示する工程と、を備え、前記工程（ｃ）は、前記表示画像として、前記車両の前記進行方向が前方の場合は、前記車両の前方を示す第１表示画像を生成し、前記車両の前記進行方向が後方の場合は、前記車両の後方を示す第２表示画像、及び、前記車両の前方を示す第３表示画像の一方をユーザの操作に応じて選択的に生成し、前記第１表示画像と前記３表示画像とは、前記車両の前方を異なる態様で示す。
【発明の効果】
【００２３】
請求項１ないし６、及び、請求項１２の発明によれば、表示画像が車両の進行方向とは逆方向の第２領域を示す合成画像を含むため、ユーザは表示画像を視認することで車両の進行方向とは逆方向に存在する物体を把握することができる。また、合成画像は車両の周囲の第１領域と進行方向とは逆方向の第２領域とを連続的に示すため、車両の進行方向とは逆方向に存在する物体の位置をユーザが直感的に把握することができる。
【００２４】
また、特に請求項２の発明によれば、表示画像は車両の進行方向とは逆方向の第２領域と車両の進行方向の第３領域との双方を示すため、ユーザは表示画像を視認することで、車両の進行方向に意識を向けながら、進行方向とは逆方向に存在する物体の存在を把握することができる。
【００２５】
また、特に請求項３の発明によれば、合成画像が車両の像を含むため、車両の進行方向とは逆方向に存在する物体の車両に対する相対的な位置を、ユーザが直感的に把握することができる。
【００２６】
また、特に請求項４の発明によれば、車両の進行方向とは逆方向に存在する物体の位置を、ユーザが把握しやすくすることができる。
【００２７】
また、特に請求項５の発明によれば、投影面において車両の周囲の第１領域に相当する部分は平面であるため、車両の周囲に存在する物体の位置を明瞭に把握することができる。
【００２８】
また、特に請求項６の発明によれば、投影面において進行方向とは逆方向の第２領域に相当する部分は曲面であるため、車両から離れた物体の像の歪みを緩和できる。
【００２９】
また、請求項７ないし１０、及び、請求項１３の発明によれば、車両の進行方向が前方の場合に表示される第１表示画像と、車両の進行方向が後方の場合に表示される第３表示画像とが、車両の前方を異なる態様で示すことから、ユーザが車両の進行方向を誤解することを防止できる。
【００３０】
また、特に請求項８の発明によれば、第１表示画像では車両の前方の不要な部分を隠すことができ、第３表示画像では車両の前方の広い範囲を示すことができる。
【００３１】
また、特に請求項９の発明によれば、第１表示画像では車両の前方の不要な部分を隠すことができ、第３表示画像では車両の前方の広い範囲を示すことができる。
【００３２】
また、特に請求項１０の発明によれば、第１表示画像と第３表示画像とを明確に区別できる。
【図面の簡単な説明】
【００３３】
【図１】図１は、第１の実施の形態の画像表示システムの構成を示す図である。
【図２】図２は、車載カメラが車両に配置される位置を示す図である。
【図３】図３は、合成画像を生成する手法を説明するための図である。
【図４】図４は、投影面の一例を示す図である。
【図５】図５は、第１の実施の形態の画像表示システムの動作モードの遷移を示す図である。
【図６】図６は、ナビモードの表示画像の一例を示す図である。
【図７】図７は、フロントモードの表示画像の一例を示す図である。
【図８】図８は、フロントモードの合成画像を生成する手法を説明するための図である。
【図９】図９は、バックモードの表示画像の一例を示す図である。
【図１０】図１０は、バックモードの合成画像を生成する手法を説明するための図である。
【図１１】図１１は、画像表示システムの処理の流れを示す図である。
【図１２】図１２は、第２の実施の形態の画像表示システムの動作モードの遷移を示す図である。
【図１３】図１３は、前方表示モードの表示画像の一例を示す図である。
【図１４】図１４は、前方表示モードの表示画像の一例を示す図である。
【図１５】図１５は、前方表示モードの表示画像の一例を示す図である。
【図１６】図１６は、第３の実施の形態の画像表示システムの構成を示す図である。
【図１７】図１７は、第３の実施の形態の画像表示システムの動作モードの遷移を示す図である。
【図１８】図１８は、すれ違いモードの表示画像の一例を示す図である。
【図１９】図１９は、車両の前方を示すサイド画像を生成する手法を説明する図である。
【図２０】図２０は、すれ違いモードの表示画像の一例を示す図である。
【図２１】図２１は、車両の後方を示すサイド画像を生成する手法を説明する図である。
【図２２】図２２は、すれ違いモードの画像表示システムの処理の流れを示す図である。
【発明を実施するための形態】
【００３４】
以下、図面を参照しつつ本発明の実施の形態について説明する。
【００３５】
＜１．第１の実施の形態＞
＜１−１．構成＞
図１は、第１の実施の形態の画像表示システム１２０の構成を示す図である。この画像表示システム１２０は、車両（本実施の形態では、自動車）において用いられるものであり、車両の周辺の領域を示す画像を車室内に表示する機能を有している。画像表示システム１２０のユーザ（代表的にはドライバ）は、この画像表示システム１２０を利用することにより、当該車両の周辺の様子をほぼリアルタイムに把握できる。
【００３６】
図１に示すように、画像表示システム１２０は、車両の周辺の領域を示す画像を生成する画像生成装置１００と、車両に乗車中のユーザに対して各種情報を表示するナビゲーション装置２０とを主に備えている。画像生成装置１００で生成された画像は、ナビゲーション装置２０において表示される。
【００３７】
ナビゲーション装置２０の主たる機能は、目的地までのルートを案内するものである。ナビゲーション装置２０は、タッチパネルを備えた液晶などのディスプレイ２１と、ユーザが操作を行うハードスイッチなどの操作部２２と、装置全体を制御する制御部２３とを備えている。ディスプレイ２１の画面がユーザから視認可能なように、ナビゲーション装置２０は車両のインストルメントパネルなどに設置される。
【００３８】
ユーザの操作は、操作部２２とディスプレイ２１のタッチパネルとによって受け付けられる。制御部２３は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えたコンピュータであり、所定のプログラムに従ってＣＰＵが演算処理を行うことでルートを案内する機能を含む各種の機能が実現される。ナビゲーション装置２０は、画像生成装置１００と電気的に接続され、画像生成装置１００との間で各種の信号の送受信や、画像生成装置１００で生成された画像の受信が可能である。
【００３９】
ディスプレイ２１は、通常は、ナビゲーション装置２０単体の機能によって、ルート案内用の画像を表示する。一方で、画像表示システム１２０の動作モードを変更した場合は、ディスプレイ２１は、画像生成装置１００で生成された車両の周辺の様子を示す画像を表示する。したがって、ナビゲーション装置２０は、画像生成装置１００で生成された画像を表示するための表示装置としても機能する。
【００４０】
画像生成装置１００は、画像を取得する撮影部５と、その画像を処理する本体部１０とを備えている。本体部１０は、撮影部５が取得した撮影画像に基づいて、ディスプレイ２１に表示するための表示画像を生成する。
【００４１】
撮影部５は、車両の周辺を撮影して撮影画像を取得する。撮影部５は、フロントカメラ５１、バックカメラ５２、左サイドカメラ５３、及び、右サイドカメラ５４の４つの車載カメラを備えている。車載カメラ５１〜５４のそれぞれは、レンズと撮像素子とを備えており電子的に画像を取得する。車載カメラ５１〜５４で取得された撮影画像は、本体部１０に入力される。
【００４２】
これらの車載カメラ５１〜５４は、車両の異なる位置にそれぞれ配置され、車両の周辺の互いに異なる方向を撮影する。図２は、車載カメラ５１〜５４が車両９に配置される位置を示す図である。
【００４３】
図２に示すように、フロントカメラ５１は、車両９の前端の左右中央の近傍に設けられ、その光軸５１ａは車両９の前方（直進方向）に向けられている。バックカメラ５２は、車両９の後端の左右中央の近傍に設けられ、その光軸５２ａは車両９の後方（直進方向の逆方向）に向けられている。左サイドカメラ５３は車両９の左側のサイドミラー９３に設けられ、その光軸５３ａは車両９の左側方（直進方向の直交方向）に向けられている。また、右サイドカメラ５４は車両９の右側のサイドミラー９３に設けられ、その光軸５４ａは車両９の右側方（直進方向の直交方向）に向けられている。
【００４４】
これらの車載カメラ５１〜５４のレンズには魚眼レンズなどが採用され、各車載カメラ５１〜５４は１８０度以上の画角θを有している。このため、４つの車載カメラ５１〜５４を利用することで、車両９の全周囲を撮影することが可能となっている。
【００４５】
図１に戻り、画像生成装置１００は、ユーザが操作可能な切替スイッチ４４を備えている。ユーザが切替スイッチ４４を操作した場合は、その操作を示す信号が本体部１０に入力される。切替スイッチ４４は、ユーザが操作しやすいように、本体部１０とは別に車室内の適位置に配置される。
【００４６】
また、画像生成装置１００の本体部１０は、撮影部５から撮影画像を取得する画像取得部４１と、表示画像を生成する画像生成部３と、ナビゲーション装置２０と通信するナビ通信部４２と、他の装置からの信号を受信する信号受信部４３と、画像表示システム１２０の全体を制御する制御部１と、を主に備えている。
【００４７】
画像取得部４１は、撮影部５の４つの車載カメラ５１〜５４のそれぞれから撮影画像を取得する。したがって、画像取得部４１は、車両９の前方、後方、左側方及び右側方をそれぞれ示す４つの撮影画像を取得する。
【００４８】
画像生成部３は、各種の画像処理を行うハードウェア回路である。画像生成部３は、画像取得部４１が取得した撮影画像を処理し、ディスプレイ２１に表示するための表示画像を生成する。画像生成部３は、合成画像生成部３１及び表示画像生成部３２を主な機能として備えている。
【００４９】
合成画像生成部３１は、４つの車載カメラ５１〜５４で取得された撮影画像に基づいて、仮想視点からみた車両９の周辺の領域を示す合成画像を生成する。合成画像生成部３１が合成画像を生成する手法については後述する。
【００５０】
表示画像生成部３２は、撮影部５で取得された撮影画像と、合成画像生成部３１が生成した合成画像とを利用して、ディスプレイ２１で表示するための表示画像を生成する。表示画像生成部３２は、撮影画像及び合成画像に対して拡大縮小、及び、切り出しなどの画像処理を行い、撮影画像及び合成画像を所定のサイズにする。そして、表示画像生成部３２は、この撮影画像及び合成画像を所定の位置に配置することで表示画像を生成する。
【００５１】
ナビ通信部４２は、ナビゲーション装置２０との間で信号の送受信を行う。ナビ通信部４２は、表示画像生成部３２が生成した表示画像を、ナビゲーション装置２０に出力する。これにより、車両９の周辺を示す表示画像がナビゲーション装置２０のディスプレイ２１に表示される。また、ナビゲーション装置２０の操作部２２やディスプレイ２１にユーザの操作がなされた場合は、ナビ通信部４２がその操作の内容を示す信号を受信して、制御部１に入力する。
【００５２】
信号受信部４３は、画像表示システム１２０とは別に車両９に設けられる他の装置からの信号を受信する。信号受信部４３は、車両９の変速装置のシフトレバーの位置であるシフトポジションを示す信号をシフトセンサ７１から受信して、制御部１に入力する。
【００５３】
制御部１は、画像表示システム１２０の全体を統括的に制御するコンピュータである。制御部１は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えており、所定のプログラムに従ってＣＰＵが演算処理を行うことで各種の制御機能が実現される。ナビゲーション装置２０や切替スイッチ４４にユーザの操作がなされた場合は、その操作の内容を示す信号が制御部１に入力される。制御部１は、この信号に応答して、ユーザの操作に基づく指示に従って画像表示システム１２０を動作させる。
【００５４】
図中に示す画像制御部１１及びシフト判定部１２は、プログラムに従った演算処理により実現される制御部１の機能のうちの一部である。
【００５５】
画像制御部１１は、画像生成部３によって実行される画像処理に係る制御を行う。例えば、画像制御部１１は、合成画像の生成に必要な各種パラメータを合成画像生成部３１に与える。また、画像制御部１１は、画像表示システム１２０の動作モード、及び、車両の進行方向に応じて、生成すべき表示画像の内容を表示画像生成部３２に指示する。
【００５６】
シフト判定部１２は、車両９のシフトセンサ７１からの信号に基づいて、シフトポジションが「Ｐ」（駐車），「Ｄ」（前進），「Ｎ」（中立），「Ｒ」（後退）のいずれであるかを判定する。これにより、シフト判定部１２は、実質的に、車両９の進行方向が前方あるいは後方のいずれであるかを判定する。
【００５７】
また、本体部１０は、電源オフ時においても記憶内容を維持可能な不揮発性メモリ４０をさらに備えている。不揮発性メモリ４０は、例えば、ハードディスクやフラッシュメモリなどである。不揮発性メモリ４０には、視点データ４ａ及び投影面データ４ｂが記憶されている。これらのデータ４ａ，４ｂは、合成画像を生成する際に利用される。
【００５８】
＜１−２．画像合成処理＞
次に、画像生成部３の合成画像生成部３１が、仮想視点からみた車両９の周囲の領域を示す合成画像を生成する手法について説明する。図３は、合成画像を生成する手法を説明するための図である。
【００５９】
撮影部５のフロントカメラ５１、バックカメラ５２、左サイドカメラ５３、及び、右サイドカメラ５４のそれぞれで撮影が行われると、車両９の前方、後方、左側方及び右側方をそれぞれ示す４つの撮影画像Ｐ１〜Ｐ４が取得される。これら４つの撮影画像Ｐ１〜Ｐ４には、車両９の全周囲のデータが含まれている。
【００６０】
このように取得された４つの撮影画像Ｐ１〜Ｐ４のデータ（各画素の値）は、仮想の投影面ＴＳに投影される。投影面ＴＳの中心の部分は、車両９が存在する位置として定められている。そして、投影面ＴＳのその他の部分は撮影画像Ｐ１〜Ｐ４のデータと予め対応付けられており、対応するデータが投影される。
【００６１】
投影面ＴＳにおいて車両９の前方の領域は、フロントカメラ５１で得られた撮影画像Ｐ１のデータが投影される。また、投影面ＴＳにおいて車両９の後方の領域は、バックカメラ５２で得られた撮影画像Ｐ２のデータが投影される。また、投影面ＴＳにおいて車両９の左側方の領域は左サイドカメラ５３で得られた撮影画像Ｐ３のデータが投影され、投影面ＴＳにおいて車両９の右側方の領域は右サイドカメラ５４で得られた撮影画像Ｐ４のデータが投影される。
【００６２】
また、投影面ＴＳの車両９が存在する位置に対して、車両９の像が重畳される。この車両９の像は、予めビットマップ等で準備され、不揮発性メモリ４０に記憶されている。このようにして、投影面ＴＳの各部分のデータが決定される。
【００６３】
このように投影面ＴＳの各部分のデータが決定されると、仮想視点ＶＰが設定される。具体的には、車両９及び車両９の周辺を俯瞰するように仮想視点ＶＰが設定される。そして、投影面ＴＳのうち、設定された仮想視点ＶＰからみて所定の角度に含まれる領域が切り出される。このようにして切り出して得られる画像が、仮想視点ＶＰからみた車両９の周囲の領域を示す合成画像ＣＰとなる。
【００６４】
図３においては、投影面ＴＳは平面に描かれているが、合成画像生成部３１は、合成画像の生成に用いる投影面ＴＳの形状を平面以外の形状に変更することが可能である。例えば、合成画像生成部３１は、投影面ＴＳを、図４に示すような略半球状（お椀形状）の立体曲面とすることもできる。また、合成画像生成部３１は、仮想視点ＶＰの位置を任意に変更することが可能である。仮想視点ＶＰの位置を変更することで、投影面ＴＳのうち合成画像ＣＰとして切り出される領域も変更される。
【００６５】
＜１−３．動作モード＞
次に、画像表示システム１２０の動作モードについて説明する。図５は、画像表示システム１２０の動作モードの遷移を示す図である。
【００６６】
画像表示システム１２０は、ナビモードＭ１、フロントモードＭ２、及び、バックモードＭ３の３つの動作モードを有している。ナビモードＭ１は、ナビゲーション装置２０の機能を有効化する動作モードである。
【００６７】
ナビモードＭ１では、画像生成装置１００の機能は利用されず、ナビゲーション装置２０単体の機能でディスプレイ２１に各種の表示がなされる。図６は、ナビモードＭ１において表示される表示画像ＤＰ０の一例を示す図である。この表示画像ＤＰ０には、車両９の位置を示す地図画像ＮＰが含まれている。
【００６８】
図５に戻り、フロントモードＭ２、及び、バックモードＭ３は、画像生成装置１００の機能を利用して、車両９の周辺の領域を示す表示画像をディスプレイ２１に表示する動作モードである。これらの動作モードにおいては、ユーザは、車両９の周辺の状況をほぼリアルタイムで把握することができる。フロントモードＭ２は、車両９の前方の領域を主に表示する動作モードである。一方、バックモードＭ３は、車両９の後方の領域を主に表示する動作モードである。
【００６９】
これらの動作モードは、ユーザの操作やシフトポジションに基づいて、制御部１の制御により切り替えられる。例えば、動作モードがナビモードＭ１の場合において、シフトポジションが「Ｐ」「Ｒ」以外となっており、かつ、切替スイッチ４４が操作されたときには、動作モードはフロントモードＭ２に切り替えられる（矢印Ｔ１）。また、動作モードがフロントモードＭ２の場合において、切替スイッチ４４が操作された場合は、動作モードはナビモードＭ１に戻る（矢印Ｔ２）。
【００７０】
また、動作モードがナビモードＭ１あるいはフロントモードＭ２の場合において、シフトポジションが「Ｒ」となったときは、動作モードがバックモードＭ３に切り替えられる（矢印Ｔ３，Ｔ５）。また、動作モードがバックモードＭ３の場合において、シフトポジションが「Ｒ」以外となったときは、動作モードはナビモードＭ１に戻る（矢印Ｔ４）。
【００７１】
シフトポジションが「Ｒ」の場合は、車両９の進行方向が後方となるため、車両９の後方の領域を主に示すバックモードＭ３に動作モードが移行することになる。一方、シフトポジションが「Ｐ」「Ｒ」以外の場合は、車両９の進行方向が前方となる。このため、ユーザの必要に応じて、車両９の前方の領域を主に示すフロントモードＭ２に動作モードが移行することになる。
【００７２】
画像生成部３は、このような動作モードに応じて生成する表示画像の態様を変更する。これにより、フロントモードＭ２とバックモードＭ３とで異なる態様の表示画像がディスプレイ２１に表示される。
【００７３】
図７は、フロントモードＭ２の表示画像ＤＰ１の一例を示す図である。この表示画像ＤＰ１においては、フロント画像ＳＰ１と合成画像ＣＰ１とアイコンＩＣとが並ぶように含まれている。アイコンＩＣは、フロント画像ＳＰ１に示される車両９の周辺の範囲を記号的に示している。
【００７４】
フロント画像ＳＰ１は、フロントカメラ５１で得られた撮影画像を処理したものであり、車両９の前方の領域を示している。フロントモードＭ２では車両９の進行方向が前方となるため、ユーザは、このフロント画像ＳＰ１を視認することによって、車両９の進行方向である前方に存在する物体を把握することができる。フロント画像ＳＰ１は、車両９の前方の一部を隠すマスク領域Ｍａを含んでいる。
【００７５】
また、合成画像ＣＰ１は、車両９の周囲の周辺領域Ａ１と、車両９の後方となる後方領域Ａ２とを示している。周辺領域Ａ１は、車両９を中心として車両９の前面、後面、左側面及び右側面のそれぞから所定の距離（例えば、２ｍ）までの範囲の矩形領域である。合成画像ＣＰ１は、車両９を俯瞰する仮想視点からみた周辺領域Ａ１を示し、この周辺領域Ａ１の中心となる部分には車両９の像が含まれている。後方領域Ａ２は、この周辺領域Ａ１よりも外側となる車両９の後方の領域である。
【００７６】
そして、合成画像ＣＰ１は、周辺領域Ａ１と後方領域Ａ２とを連続的に示している。すなわち、合成画像ＣＰ１には、周辺領域Ａ１と後方領域Ａ２とを区切る境界線が設けられておらず、周辺領域Ａ１と後方領域Ａ２とにまたがる被写体の像が連続するように含まれている。
【００７７】
ユーザは、このような合成画像ＣＰ１を視認することで、車両９の進行方向とは逆方向となる後方に存在する物体を把握することができる。また、合成画像ＣＰ１では、周辺領域Ａ１と後方領域Ａ２とが連続的に示されるため、ユーザは、車両９の後方に存在する物体の位置を直感的に把握することができる。
【００７８】
周辺領域Ａ１を示す画像と後方領域Ａ２を示す画像とを別の画像とし、これらを並べて表示することも考えられる。しかしながら、このようにした場合は、周辺領域Ａ１と後方領域Ａ２との位置関係が把握しにくいことから、後方領域Ａ２に物体が存在していたとしても、ユーザはその物体がどこに存在しているかを直感的には把握しにくい。また、後方領域Ａ２から周辺領域Ａ１に近づく物体があった場合は、その物体の像が画像間を移動することになるため、ユーザがその物体の像を見失ってしまう可能性がある。
【００７９】
これに対して、本実施の形態の合成画像ＣＰ１は、車両９の位置を含む周辺領域Ａ１と後方領域Ａ２とを連続的に示すことから、ユーザは、車両９の後方に存在する物体の車両９に対する相対的な位置を直感的に把握することができる。また、後方領域Ａ２から周辺領域Ａ１に近づく物体があったとしても、その物体の像は合成画像ＣＰ１内を移動することになるため、ユーザがその物体の像を見失うこともない。
【００８０】
ユーザは、図７に示す表示画像ＤＰ１を視認することで、車両９の前方とともに、車両９の後方の様子を確認することができる。したがって、ユーザは、車両９の進行方向である前方に意識を向けながらも、進行方向とは逆方向の後方に存在する物体も把握することが可能となる。
【００８１】
図８は、合成画像生成部３１が、図７に示す表示画像ＤＰ１に含まれる合成画像ＣＰ１を生成する手法を説明するための図である。図８に示すように、合成画像ＣＰ１を生成する場合においては、周辺領域Ａ１に相当する部分ＰＰ１が平面（水平面）、後方領域Ａ２に相当する部分ＰＰ２が曲面となる投影面ＴＳが利用される。部分ＰＰ２は、下に凸となる曲面である。部分ＰＰ２の車両側の端部は平面の部分ＰＰ１と接しており、部分ＰＰ２の部分ＰＰ１に対する傾きは車両９から離れるほど大きくなっている。
【００８２】
すなわち、投影面ＴＳにおいて、車両９の位置から所定の距離Ｈまでの範囲の部分ＰＰ１は平面となっている。周辺領域Ａ１のデータは、この平面の部分ＰＰ１に投影される。一方、投影面ＴＳにおいて、部分ＰＰ１よりも車両９の後方となる部分ＰＰ２は曲面となっている。後方領域Ａ２のデータは、この曲面の部分ＰＰ２に投影される。この投影面ＴＳの形状は、不揮発性メモリ４０に記憶された投影面データ４ｂに含まれている。
【００８３】
また、仮想視点ＶＰは、車両９の前後中央となる中央線ＣＬよりも後方に設定される。この仮想視点ＶＰの位置は、不揮発性メモリ４０に記憶された視点データ４ａに含まれている。そして、投影面ＴＳにおいて、このように設定された仮想視点ＶＰからみて所定の角度αに含まれる範囲が合成画像ＣＰ１に含まれることになる。
【００８４】
仮想視点ＶＰが車両９の前後中央よりも後方に設定されることから、図７に示すように、合成画像ＣＰ１において車両９の像の中心位置９ｃは、合成画像ＣＰ１の上下中央よりも上側に位置する。これにより、合成画像ＣＰ１において、後方領域Ａ２を示す部分を広くすることができ、車両９の進行方向とは逆方向の後方に存在する物体をユーザが把握しやすくすることができる。
【００８５】
また仮に、合成画像を生成する場合に、全体が平面となる投影面ＴＳを用いた場合においては、投影面ＴＳに投影される物体の像は車両９の位置から離れるほど拡大する。このため、車両９から近い物体については像の歪みは少ないが、車両９から離間した物体については車両９から離れるほど像の歪が大きくなってしまう。さらに、車両９の周辺の比較的狭い範囲しか、合成画像に含めることができなくなる。
【００８６】
これに対して、本実施の形態では、車両９から離間した後方領域Ａ２のデータを投影面ＴＳの曲面の部分ＰＰ２に投影するようにしている。このため、車両９から離れた物体の像の歪みを緩和できるとともに、車両９の周辺の比較的広い範囲を合成画像ＣＰ１に含めることが可能となる。また、車両９の近傍の周辺領域Ａ１のデータを投影面ＴＳの平面の部分ＰＰ１に投影するようにしている。このため、歪みの少ない物体の像を有効に利用できるとともに、車両９の近傍に存在する物体の位置を明瞭に把握することができる。
【００８７】
図９は、バックモードＭ３の表示画像ＤＰ２の一例を示す図である。この表示画像ＤＰ２においては、バック画像ＳＰ２と合成画像ＣＰ２とアイコンＩＣとが並ぶように含まれている。アイコンＩＣは、バック画像ＳＰ２に示される車両９の周辺の範囲を記号的に示している。
【００８８】
バック画像ＳＰ２は、フロントカメラ５１で得られた撮影画像を処理したものであり、車両９の後方の領域を示している。バックモードＭ３では車両９の進行方向が後方となるため、ユーザは、このバック画像ＳＰ２を視認することによって、車両９の進行方向である後方に存在する物体を把握することができる。
【００８９】
また、合成画像ＣＰ２は、車両９の周囲の周辺領域Ａ１と、車両９の前方となる前方領域Ａ３とを示している。合成画像ＣＰ２も、車両９を俯瞰する仮想視点からみた周辺領域Ａ１を示し、この周辺領域Ａ１の中心となる部分には車両９の像が含まれている。前方領域Ａ３は、この周辺領域Ａ１よりも外側となる車両９の前方の領域である。
【００９０】
そして、合成画像ＣＰ２は、周辺領域Ａ１と前方領域Ａ３とを連続的に示している。すなわち、合成画像ＣＰ２には、周辺領域Ａ１と前方領域Ａ３とを区切る境界線が設けられておらず、周辺領域Ａ１と前方領域Ａ３とにまたがる被写体の像が連続するように含まれている。
【００９１】
ユーザは、このような合成画像ＣＰ２を視認することで、車両９の進行方向とは逆方向となる前方に存在する物体を把握することができる。また、合成画像ＣＰ２では、周辺領域Ａ１と前方領域Ａ３とが連続的に示されるため、ユーザは、車両９の前方に存在する物体の車両９に対する相対的な位置を直感的に把握することができる。また、前方領域Ａ３から周辺領域Ａ１に近づく物体があったとしても、その物体の像は合成画像ＣＰ２内を移動することになるため、ユーザがその物体の像を見失うこともない。
【００９２】
ユーザは、図９に示す表示画像ＤＰ２を視認することで、車両９の後方とともに、車両９の前方の様子を確認することができる。したがって、ユーザは、車両９の進行方向である後方に意識を向けながらも、進行方向とは逆方向の前方に存在する物体も把握することが可能となる。
【００９３】
図１０は、合成画像生成部３１が、図９に示す表示画像ＤＰ２に含まれる合成画像ＣＰ２を生成する手法を説明するための図である。図１０に示すように、合成画像ＣＰ２を生成する場合においては、周辺領域Ａ１に相当する部分ＰＰ１が平面（水平面）、前方領域Ａ３に相当する部分ＰＰ３が曲面となる投影面ＴＳが利用される。部分ＰＰ３は、下に凸となる曲面である。部分ＰＰ３の車両側の端部は平面の部分ＰＰ１と接しており、部分ＰＰ３の部分ＰＰ１に対する傾きは車両９から離れるほど大きくなっている。
【００９４】
すなわち、投影面ＴＳにおいて、車両９の位置から所定の距離Ｈまでの範囲の部分ＰＰ１は平面となっている。周辺領域Ａ１のデータは、この平面の部分ＰＰ１に投影される。一方、投影面ＴＳにおいて、部分ＰＰ１よりも車両９の前方となる部分ＰＰ３は曲面となっている。前方領域Ａ３のデータは、この曲面の部分ＰＰ３に投影される。この投影面ＴＳの形状は、不揮発性メモリ４０に記憶された投影面データ４ｂに含まれている。
【００９５】
また、仮想視点ＶＰが、車両９の前後中央となる中央線ＣＬよりも前方に設定される。この仮想視点ＶＰの位置は、不揮発性メモリ４０に記憶された視点データ４ａに含まれている。そして、投影面ＴＳにおいて、このように設定された仮想視点ＶＰからみて所定の角度αに含まれる範囲が合成画像ＣＰ２に含まれることになる。
【００９６】
仮想視点ＶＰが車両９の前後中央よりも前方に設定されることから、図９に示すように、合成画像ＣＰ２において車両９の像の中心位置９ｃは、合成画像ＣＰ１の上下中央よりも下側に位置する。これにより、合成画像ＣＰ１において、前方領域Ａ３を示す部分を広くすることができ、車両９の進行方向とは逆方向の前方に存在する物体をユーザが把握しやすくすることができる。
【００９７】
また、車両９から離間した前方領域Ａ３のデータを投影面ＴＳの曲面の部分ＰＰ３に投影するため、車両９から離れた物体の像の歪みを緩和できるとともに、車両９の周辺の比較的広い範囲を合成画像ＣＰ２に含めることが可能となる。また、この場合も、車両９の近傍の周辺領域Ａ１のデータを投影面ＴＳの平面の部分ＰＰ１に投影するようにしているため、歪みの少ない物体の像を有効に利用できるとともに、車両９の近傍に存在する物体の位置を明瞭に把握することができる。
【００９８】
＜１−４．処理＞
次に、画像表示システム１２０の処理の流れについて説明する。図１１は、画像表示システム１２０が、車両９の周辺の領域を示す表示画像を表示する場合（フロントモードＭ２、または、バックモードＭ３）における処理の流れを示す図である。フロントモードＭ２、または、バックモードＭ３においては、図１１に示す処理が所定の周期（例えば、１／３０秒）で繰り返し実行される。
【００９９】
まず、シフト判定部１２が、シフトセンサ７１からの信号に基づいて、現時点におけるシフトポジションを判定する。これにより、シフト判定部１２は、実質的に現時点の車両９の進行方向を判定する（ステップＳ１１）。以降、車両９の進行方向に応じて処理の内容が異なる。
【０１００】
車両９の進行方向が前方の場合（すなわち、フロントモードＭ２の場合）（ステップＳ１２にてＹｅｓ）は、まず、画像取得部４１が４つの車載カメラ５１〜５４から４つの撮影画像を取得する（ステップＳ１３）。
【０１０１】
次に、合成画像生成部３１が、これらの撮影画像を用いて、図８で説明した手法により、周辺領域Ａ１と後方領域Ａ２とを連続的に示す合成画像ＣＰ１を生成する（ステップＳ１４）。そして、表示画像生成部３２が、この合成画像ＣＰ１と、車両９の前方の領域を示すフロント画像ＳＰ１と含む表示画像ＤＰ１（図７参照。）を生成する（ステップＳ１５）。
【０１０２】
このようにして生成された表示画像ＤＰ１は、ナビ通信部４２からナビゲーション装置２０に出力される。これにより、表示画像ＤＰ１が、ナビゲーション装置２０のディスプレイ２１に表示される（ステップＳ１９）。
【０１０３】
一方、車両９の進行方向が後方の場合（すなわち、バックモードＭ３の場合）（ステップＳ１２にてＮｏ）は、まず、画像取得部４１が４つの車載カメラ５１〜５４から４つの撮影画像を取得する（ステップＳ１６）。
【０１０４】
次に、合成画像生成部３１が、これらの撮影画像を用いて、図１０で説明した手法により、周辺領域Ａ１と前方領域Ａ３とを連続的に示す合成画像ＣＰ２を生成する（ステップＳ１７）。そして、表示画像生成部３２が、この合成画像ＣＰ２と、車両９の後方の領域を示すバック画像ＳＰ２と含む表示画像ＤＰ２（図９参照。）を生成する（ステップＳ１８）。
【０１０５】
このようにして生成された表示画像ＤＰ２は、ナビ通信部４２からナビゲーション装置２０に出力される。これにより、表示画像ＤＰ２が、ナビゲーション装置２０のディスプレイ２１に表示される（ステップＳ１９）。
【０１０６】
以上説明したように、第１の実施の形態の画像表示システム１２０では、シフト判定部１２が車両９の進行方向を判定する。そして、合成画像生成部３１が、車両９を俯瞰する仮想視点からみた車両９の周囲の周辺領域Ａ１と、車両９の周辺領域Ａ１より外側の進行方向とは逆方向の領域（後方領域Ａ２または前方領域Ａ３）とを連続的に示す合成画像を生成する。ディスプレイ２１は、この合成画像を含む表示画像を表示する。表示画像が車両９の進行方向とは逆方向の領域を示す合成画像を含むため、ユーザは表示画像を視認することで車両９の進行方向とは逆方向に存在する物体を把握することができる。また、周辺領域Ａ１と車両９の進行方向とは逆方向の領域とが連続的に示されるため、車両９の進行方向とは逆方向に存在する物体の位置をユーザが直感的に把握することができる。
【０１０７】
＜２．第２の実施の形態＞
次に、第２の実施の形態について説明する。第２の実施の形態の画像表示システムの動作及び処理は、第１の実施の形態とほぼ同様であるため、以下、第１の実施の形態との相違点を中心に説明する。第１の実施の形態では、車両９の進行方向が後方の場合（すなわち、バックモードＭ３の場合）においては、バック画像を含む表示画像が表示され、フロント画像を含む表示画像を表示することはなかった。
【０１０８】
これに対して、第２の実施の形態では、車両９の進行方向が後方の場合において、バック画像を含む表示画像と、フロント画像を含む表示画像とを、ユーザの操作によって切り替えて表示できるようになっている。より具体的には、車両９の進行方向が後方の場合においては、画像生成部３が、バック画像を含む表示画像と、フロント画像を含む表示画像との一方をユーザの操作に応じて選択的に生成する。そして、生成された表示画像がディスプレイ２１に表示される。これにより、第２の実施の形態では、車両９の進行方向が後方の場合においても、ユーザは必要に応じて、車両９の前方の領域を表示画像によって確認することが可能となっている。
【０１０９】
図１２は、第２の実施の形態の画像表示システム１２０の動作モードの遷移を示す図である。第２の実施の形態においても、画像表示システム１２０の動作モードには、ナビモードＭ１、フロントモードＭ２、及び、バックモードＭ３があり、これらの動作モードは第１の実施の形態と同様に変更される（矢印Ｔ１〜Ｔ５）。フロントモードＭ２においては、第１の実施の形態と同一の態様の表示画像ＤＰ１（図７参照。）がディスプレイ２１に表示される。
【０１１０】
ただし、第２の実施の形態においては、バックモードＭ３は、２つのサブモードを含んでいる。一方のサブモードは車両９の後方の領域を主に表示する後方表示モードＭ３１であり、他方のサブモードは車両９の前方の領域を主に表示する前方表示モードＭ３２である。動作モードがバックモードＭ３に切り替えられた直後は、サブモードは後方表示モードＭ３１となる。その後、ユーザが切替スイッチ４４を操作するごとに、サブモードは後方表示モードＭ３１と前方表示モードＭ３２との間で切り替えられる（矢印Ｔ６）。すなわち、ユーザが切替スイッチ４４を操作するごとに、画像生成部３が異なる態様の表示画像を生成し、その表示画像がディスプレイ２１に表示されることになる。
【０１１１】
後方表示モードＭ３１においては、車両９の後方を示すバック画像を含む表示画像が生成されて、ディスプレイ２１に表示される。一方、前方表示モードＭ３２においては、車両９の前方を示すフロント画像を含む表示画像が生成されて、ディスプレイ２１に表示される。後方表示モードＭ３１の表示画像の態様は、第１の実施の形態のバックモードＭ３の表示画像ＤＰ２（図９参照。）と同一である。これに対して、前方表示モードＭ３２の表示画像の態様は、フロントモードＭ２の表示画像ＤＰ１（図７参照。）とは異なっている。
【０１１２】
図１３は、前方表示モードＭ３２の表示画像ＤＰ３の一例を示す図である。この表示画像ＤＰ３においては、フロント画像ＳＰ３と合成画像ＣＰ１とアイコンＩＣとが並ぶように含まれている。フロント画像ＳＰ３は、フロントカメラ５１で得られた撮影画像を処理したものであり、車両９の前方の領域を示している。アイコンＩＣは、フロント画像ＳＰ３に示される車両９の周辺の範囲を記号的に示している。
【０１１３】
図７と図１３とを比較してわかるように、フロントモードＭ２の表示画像ＤＰ１が含むフロント画像ＳＰ１と、前方表示モードＭ３２の表示画像ＤＰ３が含むフロント画像ＳＰ３とは、その態様が異なっている。前述のように、フロントモードＭ２のフロント画像ＳＰ１（図７参照。）は、車両９の前方の一部を隠す非透過のマスク領域Ｍａを含んでいる。これに対して、前方表示モードＭ３２のフロント画像ＳＰ３（図１３参照。）は、このようなマスク領域を含んでいない。このように、フロントモードＭ２の表示画像ＤＰ１と、前方表示モードＭ３２の表示画像ＤＰ３とは、車両９の前方を異なる態様で示すことになる。
【０１１４】
仮に、フロントモードＭ２の表示画像と前方表示モードＭ３２の表示画像とを同一の態様としたとすると、ユーザは、前方表示モードＭ３２の表示画像を視認した場合に、画像表示システム１２０の現時点の動作モードがフロントモードＭ２であると誤解する可能性がある。換言すれば、ユーザは、前方表示モードＭ３２の表示画像を視認した場合に、現時点の車両９の進行方向が前方であると誤解する可能性がある。これに対して、本実施の形態では、フロントモードＭ２の表示画像ＤＰ１と前方表示モードＭ３２の表示画像ＤＰ３とが異なる態様であるため、ユーザが車両９の進行方向を誤解することを防止できる。
【０１１５】
フロントモードＭ２では車両９の進行方向が前方となるため、ユーザは、車両９の前方の領域のうち直接的に確認可能な領域については、自分の目で確認することが望ましい。このため、フロントモードＭ２のフロント画像ＳＰ１は、車両９の前方の領域のうち直接的に確認可能な一部の領域を隠すためのマスク領域Ｍａを含み、直接的に確認しにくい領域（死角となる領域）を主に示すようになっている。
【０１１６】
これに対して、前方表示モードＭ３２は、車両９の進行方向が後方の場合における車両９の前方の領域の確認が目的であるため、車両９の前方の広い範囲を確認できるようになっていることが望ましい。このため、前方表示モードＭ３２の表示画像ＤＰ３は、マスク領域を含まず、車両９の前方の広い範囲を示すことができるようになっている。
【０１１７】
なお、図１３の例では、前方表示モードＭ３２のフロント画像ＳＰ３はマスク領域を含んでいないが、フロントモードＭ２の表示画像ＤＰ１と前方表示モードＭ３２の表示画像ＤＰ３とが明確に区別できれば、前方表示モードＭ３２のフロント画像ＳＰ３がマスク領域を含んでいてもよい。
【０１１８】
例えば、図１４に示すように、前方表示モードＭ３２のフロント画像ＳＰ３が、透過性のマスク領域Ｍｂを含むようにしてもよい。この図１４に示す表示画像ＤＰ３では、マスク領域Ｍｂの部分であってもユーザは車両９の前方の領域を確認できるため、車両９の前方の広い範囲を示すことができる。
【０１１９】
また、図１５に示すように、前方表示モードＭ３２のフロント画像ＳＰ３が、フロントモードＭ２のマスク領域Ｍａとは異なる形状のマスク領域Ｍｃを含むようにしてもよい。このように、フロントモードＭ２の表示画像ＤＰ１と前方表示モードＭ３２の表示画像ＤＰ３とで、マスク領域の形状を明確に異ならせることで、ユーザは、現在表示されている表示画像がいずれの動作モードの表示画像であるかを明確に区別することができる。これにより、ユーザは、現時点の車両９の進行方向がいずれであるかを直感的に把握することができる。
【０１２０】
以上のように、第２の実施の形態の画像表示システム１２０では、車両９の進行方向が前方の場合に表示される表示画像ＤＰ１と、車両９の進行方向が後方の場合に表示される表示画像ＤＰ３とが、車両９の前方を異なる態様で示す。このため、ユーザが車両９の進行方向を誤解することを防止できる。
【０１２１】
＜３．第３の実施の形態＞
次に、第３の実施の形態について説明する。第３の実施の形態の画像表示システムの動作及び処理は、第１の実施の形態とほぼ同様であるため、以下、第１の実施の形態との相違点を中心に説明する。
【０１２２】
従来の画像表示システムでは、車両のサイドミラーが格納された場合について考慮されていなかった。車両のサイドミラーは、車両の駐車時以外は、車両が他の車両等とすれ違う場合や車両が比較的狭い道路を走行する場合など、車両の側面が他の物体と近接する場合に格納されることが多い。したがって、車両が走行可能な状態でサイドミラーが格納された場合は、車両９の側面が他の物体と近接する場合であると想定される。このため、第３の実施の形態の画像表示システム１２０では、サイドミラー９３が格納された場合は、車両９の側面が他の物体と近接した状態で走行する場合に有用な表示画像を表示するようにしている。
【０１２３】
図１６は、第３の実施の形態の画像表示システム１２０の構成を示す図である。第３の実施の形態では、制御部１が、プログラムに従った演算処理により実現される機能として、画像制御部１１及びシフト判定部１２に加えて、ミラー検出部１３をさらに備えている。第３の実施の形態の画像表示システム１２０のその他の構成は、図１に示す第１の実施の形態の画像表示システム１２０の構成と同様である。ミラー検出部１３は、車両９のサイドミラー９３を駆動させるミラー駆動部７２からの信号に基づいて、サイドミラー９３の状態（格納／展開）を検出する。ミラー駆動部７２は、ユーザの指示に従って、サイドミラー９３を格納、あるいは、展開させる。
【０１２４】
図１７は、第３の実施の形態の画像表示システム１２０の動作モードの遷移を示す図である。第３の実施の形態の画像表示システム１２０は、動作モードとして、ナビモードＭ１、フロントモードＭ２及びバックモードＭ３の他に、すれ違いモードＭ４を有している。第３の実施の形態においても、ナビモードＭ１、フロントモードＭ２及びバックモードＭ３については、第１の実施の形態（図５参照。）と同様に変更される。
【０１２５】
第３の実施の形態では、動作モードがナビモードＭ１の場合において、サイドミラー９３が格納されたときは、動作モードがすれ違いモードＭ４に切り替えられる（矢印Ｔ７）。また、動作モードがすれ違いモードＭ４の場合において、サイドミラー９３が展開されたときは、動作モードはナビモードＭ１に戻る（矢印Ｔ８）。なお、動作モードがフロントモードＭ２またはバックモードＭ３の場合に、サイドミラー９３が格納されたときに、動作モードがすれ違いモードＭ４に切り替えられてもよい。
【０１２６】
すれ違いモードＭ４は、車両９の側面が他の物体と近接した状態で走行する場合に有用な表示画像をディスプレイ２１に表示する動作モードである。車両９の側面が他の物体と近接する場合には、ユーザは、車両９の側面と他の物体とのクリアランスを確認する必要がある。しかしながら、このような車両９の側方の領域、特に運転席から逆側の領域については、ユーザが直接的に確認することは難しい。このため、すれ違いモードＭ４では、このような車両９の側方の領域を示す表示画像が表示される。
【０１２７】
すれ違いモードＭ４において、画像生成部３の表示画像生成部３２は、左右のサイドカメラ５３，５４の撮影画像に基づいて、車両９の側方、かつ、進行方向を示す表示画像を生成する。そして、生成された表示画像がディスプレイ２１に表示される。したがって、すれ違いモードＭ４では、車両９の進行方向に応じて異なる態様の表示画像が表示される。
【０１２８】
図１８は、すれ違いモードＭ４において、車両９の進行方向が前方の場合の表示画像ＤＰ４の一例を示す図である。この表示画像ＤＰ４においては、２つのサイド画像ＦＰ１，ＦＰ２とアイコンＩＣとが並ぶように含まれている。アイコンＩＣは、２つのサイド画像ＦＰ１，ＦＰ２に示される車両９の周辺の範囲を記号的に示している。
【０１２９】
左サイド画像ＦＰ１は、車両９の左側方、かつ、車両９の進行方向となる前方の領域を示している。より具体的には、左サイド画像ＦＰ１は、車両９の左側のサイドミラー９３よりも前方の領域を示している。また、左サイド画像ＦＰ１には、車両９の左側の前タイヤ近傍の車体の像が含まれている。
【０１３０】
一方、右サイド画像ＦＰ２は、車両９の右側方、かつ、車両９の進行方向となる前方の領域を示している。より具体的には、右サイド画像ＦＰ２は、車両９の右側のサイドミラー９３よりも前方の領域を示している。また、右サイド画像ＦＰ２には、車両９の右側の前タイヤ近傍の車体の像が含まれている。
【０１３１】
図１９は、表示画像ＤＰ４に含まれるサイド画像ＦＰ１，ＦＰ２を生成する手法を説明する図である。左サイド画像ＦＰ１は、左サイドカメラ５３で得られた撮影画像Ｐ３における、車両９の側（図中右側）、かつ、サイドミラー９３の前方に対応する領域ＦＡ１を切り出すことで生成される。一方、右サイド画像ＦＰ２は、右サイドカメラ５４で得られた撮影画像Ｐ４中における、車両９の側（図中左側）、かつ、サイドミラー９３の前方に対応する領域ＦＡ２を切り出すことで生成される。
【０１３２】
ユーザは、図１８に示す表示画像ＤＰ４を視認することによって、車両９の側方、かつ、車両９の進行方向となる前方に存在する物体を把握することができる。また、表示画像ＤＰ４のサイド画像ＦＰ１，ＦＰ２は、車両９の車体の一部の像を含むため、ユーザは、車両９の車体と他の物体とのクリアランスを把握できる。したがって、ユーザは、車両９の側面が他の物体と近接した状態で車両９を前進させる場合において、車両９と他の物体との接触を容易に回避することができる。
【０１３３】
図２０は、すれ違いモードＭ４において、車両９の進行方向が後方の場合の表示画像ＤＰ５の一例を示す図である。この表示画像ＤＰ５においては、２つのサイド画像ＲＰ１，ＲＰ２とアイコンＩＣとが並ぶように含まれている。アイコンＩＣは、２つのサイド画像ＲＰ１，ＲＰ２に示される車両９の周辺の範囲を記号的に示している。
【０１３４】
左サイド画像ＲＰ１は、車両９の左側方、かつ、車両９の進行方向となる後方の領域を示している。より具体的には、左サイド画像ＲＰ１は、車両９の左側のサイドミラー９３よりも後方の領域を示している。また、左サイド画像ＦＰ１には、車両９の左側の後タイヤ近傍の車体の像が含まれている。
【０１３５】
一方、右サイド画像ＲＰ２は、車両９の右側方、かつ、車両９の進行方向となる後方の領域を示している。より具体的には、右サイド画像ＲＰ２は、車両９の右側のサイドミラー９３よりも後方の領域を示している。また、右サイド画像ＲＰ２には、車両９の右側の後タイヤ近傍の車体の像が含まれている。
【０１３６】
図２１は、表示画像ＤＰ５に含まれるサイド画像ＲＰ１，ＲＰ２を生成する手法を説明する図である。左サイド画像ＲＰ１は、左サイドカメラ５３で得られた撮影画像Ｐ３における、車両９の側（図中右側）、かつ、サイドミラー９３の後方に対応する領域ＲＡ１を切り出すことで生成される。一方、右サイド画像ＲＰ２は、右サイドカメラ５４で得られた撮影画像Ｐ４中における、車両９の側（図中左側）、かつ、サイドミラー９３の後方に対応する領域ＲＡ２を切り出すことで生成される。
【０１３７】
ユーザは、図２０に示す表示画像ＤＰ５を視認することによって、車両９の側方、かつ、車両９の進行方向となる後方に存在する物体を把握することができる。また、表示画像ＤＰ５のサイド画像ＲＰ１，ＲＰ２は、車両９の車体の一部の像を含むため、ユーザは、車両９の車体と他の物体とのクリアランスを把握できる。したがって、ユーザは、車両９の側面が他の物体と近接した状態で車両９を後退させる場合において、車両９と他の物体との接触を容易に回避することができる。
【０１３８】
図２２は、すれ違いモードＭ４における画像表示システム１２０の処理の流れを示す図である。この処理は、サイドミラー９３が格納されて動作モードがすれ違いモードＭ４に移行した以降、所定の周期（例えば、１／３０秒）で繰り返し実行される。
【０１３９】
まず、ミラー検出部１３が、ミラー駆動部７２からの信号に基づいて、サイドミラー９３の状態（格納／展開）を検出する。サイドミラー９３が展開されている場合は（ステップＳ２１にてＮｏ）、すれ違いモードＭ４の処理は終了する。
【０１４０】
一方、サイドミラー９３が格納されている場合は（ステップＳ２１にてＹｅｓ）、続いて、シフト判定部１２が、シフトセンサ７１からの信号に基づいて、現時点におけるシフトポジションを判定する。これにより、シフト判定部１２は、実質的に現時点の車両９の進行方向を判定する（ステップＳ２２）。
【０１４１】
車両９の進行方向が前方の場合（シフトポジションが「Ｒ」以外の場合）（ステップＳ２３にてＹｅｓ）は、まず、画像取得部４１が左右のサイドカメラ５３，５４からそれぞれ撮影画像を取得する（ステップＳ２４）。
【０１４２】
次に、表示画像生成部３２が、これらの撮影画像を用いて図１９で示した手法により、車両９の側方、かつ、前方を示す表示画像ＤＰ４を生成する（ステップＳ２５）。生成された表示画像ＤＰ４は、ナビ通信部４２からナビゲーション装置２０に出力される。これにより、表示画像ＤＰ４が、ナビゲーション装置２０のディスプレイ２１に表示される（ステップＳ２８）。
【０１４３】
一方、車両９の進行方向が後方の場合（シフトポジションが「Ｒ」の場合）（ステップＳ２３にてＮｏ）は、まず、画像取得部４１が左右のサイドカメラ５３，５４からそれぞれ撮影画像を取得する（ステップＳ２６）。
【０１４４】
次に、表示画像生成部３２が、これらの撮影画像を用いて図２１で示した手法により、車両９の側方、かつ、後方を示す表示画像ＤＰ５を生成する（ステップＳ２７）。生成された表示画像ＤＰ５は、ナビ通信部４２からナビゲーション装置２０に出力される。これにより、表示画像ＤＰ５が、ナビゲーション装置２０のディスプレイ２１に表示される（ステップＳ２８）。
【０１４５】
以上のように、第３の実施の形態の画像表示システム１２０では、サイドミラー９３が格納された場合に、車両９の側方、かつ、進行方向を示す表示画像が生成され、ディスプレイ２１に表示される。したがって、ユーザは、車両９の側面が他の物体と近接する場合において、確認しにくい車両９の側方の様子を容易に把握することができる。
【０１４６】
＜４．変形例＞
以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態に限定されるものではなく様々な変形が可能である。以下では、このような変形例について説明する。上記実施の形態及び以下で説明する形態を含む全ての形態は、適宜に組み合わせ可能である。
【０１４７】
第１の実施の形態では、フロントモードＭ２の合成画像ＣＰ１に示される周辺領域Ａ１と、バックモードＭ３の合成画像ＣＰ２に示される周辺領域Ａ１とは同一の領域であったが、同一の領域でなくてもよい。
【０１４８】
第３の実施の形態では、表示画像において車両９の左側方と右側方との双方が示されていたが、車両９の左側方と右側方とのいずれか一方を示すようにしてもよい。このような場合、表示画像は、ユーザにとって確認することが難しい運転席から逆側の側方を示すことが望ましい。
【０１４９】
また、上記実施の形態では、画像生成装置１００の本体部１０とナビゲーション装置２０とは別の装置であるとして説明したが、本体部１０とナビゲーション装置２０とが同一の筐体内に配置されて一体型の装置として構成されてもよい。
【０１５０】
また、上記実施の形態では、画像生成装置１００で生成された画像を表示する表示装置はナビゲーション装置２０であるとして説明したが、ナビゲーション機能等の特殊な機能を有していない一般的な表示装置であってもよい。
【０１５１】
また、上記実施の形態において、画像生成装置１００の制御部１によって実現されると説明した機能の一部は、ナビゲーション装置２０の制御部２３によって実現されてもよい。
【０１５２】
また、シフトセンサ７１やミラー駆動部７２からの信号は、ナビゲーション装置２０が受信するようになっていてもよい。この場合は、ナビ通信部４２を経由して、画像生成装置１００の制御部１に当該信号を入力すればよい。
【０１５３】
また、上記実施の形態では、プログラムに従ったＣＰＵの演算処理によってソフトウェア的に各種の機能が実現されると説明したが、これら機能のうちの一部は電気的なハードウェア回路により実現されてもよい。また逆に、ハードウェア回路によって実現されるとした機能のうちの一部は、ソフトウェア的に実現されてもよい。
【０１５４】
◎なお、上述した具体的実施の形態には以下の構成を有する発明が含まれている。
【０１５５】
（１）車両において用いられ、前記車両の周辺を示す画像を生成する画像生成装置であって、前記車両の側方を撮影するサイドカメラの撮影画像を取得する取得手段と、前記車両の進行方向を判定する判定手段と、前記車両のサイドミラーの状態を検出する検出手段と、前記サイドミラーが格納された場合は、前記サイドカメラの撮影画像に基づいて前記車両の側方、かつ、前記進行方向を示す表示画像を生成する生成手段と、前記表示画像を表示装置に出力して、前記表示装置に表示させる出力手段と、を備えることを特徴とする画像生成装置。
【０１５６】
これによれば、サイドミラーが格納された場合において、車両の側方、かつ、進行方向を示す表示画像が表示される。このため、車両の側面が他の物体と近接する場合において、ユーザは確認しにくい車両の側方の様子を把握することができる。
【０１５７】
（２）上記（１）に記載の画像生成装置において、前記表示画像は、前記車両の車体の一部の像を含むことを特徴とする画像生成装置。
【０１５８】
これによれば、表示画像は車両の車体の一部の像を含むため、ユーザは、車両の車体と他の物体とのクリアランスを把握することができる。
【０１５９】
（３）車両において用いられ、前記車両の周辺を示す画像を生成する画像生成方法であって、（ａ）前記車両の側方を撮影するサイドカメラの撮影画像を取得する工程と、（ｂ）前記車両の進行方向を判定する工程と、（ｃ）前記車両のサイドミラーの状態を検出する工程と、（ｄ）前記サイドミラーが格納された場合は、前記サイドカメラの撮影画像に基づいて前記車両の側方、かつ、前記進行方向を示す表示画像を生成する工程と、（ｅ）前記表示画像を表示する工程と、を備えることを特徴とする画像生成方法。
【０１６０】
これによれば、サイドミラーが格納された場合において、車両の側方、かつ、進行方向を示す表示画像が表示される。このため、車両の側面が他の物体と近接する場合において、ユーザは確認しにくい車両の側方の様子を把握することができる。
【符号の説明】
【０１６１】
３ 画像生成部
５ 撮影部
９ 車両
１２ シフト判定部
１３ ミラー検出部
２０ ナビゲーション装置
２１ ディスプレイ
４２ ナビ通信部
１００ 画像生成装置
ＴＳ 投影面
ＶＰ 仮想視点
【技術分野】
【０００１】
本発明は、車両において画像を表示する技術に関する。
【背景技術】
【０００２】
従来より、自動車などの車両に搭載されるカメラで得られた撮影画像に基づいて、車両の周辺の領域を示す画像を車室内のディスプレイに表示する画像表示システムが知られている。この画像表示システムを利用することにより、ユーザ（代表的にはドライバ）は、車両の周辺の様子をほぼリアルタイムに把握することができる。
【０００３】
例えば、車両の後方を示すバック画像を表示する画像表示システムを車両の後退時において利用すれば、ユーザは、車両の後方に存在する物体を把握しやすい。このため、ユーザは、車両と物体との接触を回避しつつ、車両を安全に後退させることができる。
【０００４】
また、近年では、車両の周辺の異なる方向を撮影する複数のカメラで得られる撮影画像に基づいて、車両を俯瞰する仮想視点からみた俯瞰画像を表示する画像表示システムも知られている（例えば、特許文献１参照。）。ユーザは、このような俯瞰画像を確認することで、車両の近傍に存在する物体の位置を容易に把握することができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００３−１５８７３６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、ユーザは、このような画像表示システムを、駐車場で車両を駐車する場合や、狭い道路で他の車両とすれ違いをする場合など、比較的高い注意力を要する場面に利用する。このように比較的高い注意力を要する場面においては、ユーザの注意の大部分は車両の進行方向に向けられる。このため、車両の進行方向とは逆方向から近づく車両や歩行者などの物体が存在する場合であっても、その物体にユーザが気がつかないことがある。したがって、車両の進行方向とは逆方向に存在する物体をユーザが把握できる技術が求められていた。
【０００７】
またところで、車両の前方の領域と後方の領域との双方を切り替えて表示可能な画像表示システムが知られている。このような画像表示システムは、通常、車両の進行方向が前方の場合（シフトポジションが「Ｐ」「Ｒ」以外の場合）に車両の前方を示すフロント画像を表示し、車両の進行方向が後方の場合（シフトポジションが「Ｒ」の場合）に車両の後方を示すバック画像を表示する。ただし、車両を駐車させる場合などにおいては、車両の進行方向が後方の場合であっても、ユーザは車両の前方の確認が必要となることがある。このため、車両の進行方向が後方の場合であっても、ユーザの操作に応答してフロント画像を表示する画像表示システムが検討されている。しかしながら、このように車両の進行方向が後方の場合にフロント画像を表示すると、車両の進行方向が前方であるとユーザが誤解する可能性があるために改善が求められていた。
【０００８】
本発明は、車両の進行方向とは逆方向に存在する物体をユーザが把握できる技術を提供することを第１の目的とする。
【０００９】
また、本発明は、ユーザが車両の進行方向を誤解することを防止できる技術を提供することを第２の目的とする。
【課題を解決するための手段】
【００１０】
上記課題を解決するため、請求項１の発明は、車両において用いられ、前記車両の周辺を示す画像を生成する画像生成装置であって、前記車両の周辺の互いに異なる方向を撮影する複数のカメラの撮影画像を取得する取得手段と、前記車両の進行方向を判定する判定手段と、前記撮影画像に基づいて、前記車両を俯瞰する仮想視点からみた前記車両の周囲の第１領域と、前記車両の前記第１領域より外側の前記進行方向とは逆方向の第２領域とを連続的に示す合成画像を生成する生成手段と、前記合成画像を含む表示画像を表示装置に出力して、前記表示装置に表示させる出力手段と、を備えている。
【００１１】
また、請求項２の発明は、請求項１に記載の画像生成装置において、前記表示画像は、前記合成画像と、前記車両の前記進行方向の第３領域を示す画像と、を含む。
【００１２】
また、請求項３の発明は、請求項１または２に記載の画像生成装置において、前記合成画像は、前記車両の像を含む。
【００１３】
また、請求項４の発明は、請求項３に記載の画像生成装置において、前記生成手段は、前記進行方向が前方の場合は、前記合成画像における前記車両の像の中心位置を前記合成画像の上下中央よりも上側にし、前記進行方向が後方の場合は、前記合成画像における前記車両の像の中心位置を前記合成画像の上下中央よりも下側にする。
【００１４】
また、請求項５の発明は、請求項１ないし４のいずれかに記載の画像生成装置において、前記生成手段は、前記撮影画像のデータを仮想の投影面に投影することで前記合成画像を生成するものであり、前記投影面において、前記第１領域に相当する部分は平面である。
【００１５】
また、請求項６の発明は、請求項５に記載の画像生成装置において、前記投影面において、前記第２領域に相当する部分は、前記平面に接する曲面である。
【００１６】
また、請求項７の発明は、車両において用いられ、前記車両の周辺を示す画像を生成する画像生成装置であって、前記車両の前方及び後方をそれぞれ撮影する複数のカメラの撮影画像を取得する取得手段と、前記車両の進行方向を判定する判定手段と、前記撮影画像に基づいて、表示画像を生成する生成手段と、前記表示画像を表示装置に出力して、前記表示装置に表示させる出力手段と、を備え、前記生成手段は、前記表示画像として、前記車両の前記進行方向が前方の場合は、前記車両の前方を示す第１表示画像を生成し、前記車両の前記進行方向が後方の場合は、前記車両の後方を示す第２表示画像、及び、前記車両の前方を示す第３表示画像の一方をユーザの操作に応じて選択的に生成し、前記第１表示画像と前記３表示画像とは、前記車両の前方を異なる態様で示す。
【００１７】
また、請求項８の発明は、請求項７に記載の画像生成装置において、前記第１表示画像は、前記車両の前方の一部を隠すマスク領域を含み、前記第３表示画像は、前記マスク領域を含まない。
【００１８】
また、請求項９の発明は、請求項７に記載の画像生成装置において、前記第１表示画像は、前記車両の前方の一部を隠す非透過のマスク領域を含み、前記第３表示画像は、前記車両の前方の一部を隠す透過性のマスク領域を含む。
【００１９】
また、請求項１０の発明は、請求項７に記載の画像生成装置において、前記第１表示画像と前記第３表示画像とは、前記車両の前方の一部を隠すマスク領域の形状が異なる。
【００２０】
また、請求項１１の発明は、車両において用いられ、前記車両の周辺を示す画像を表示する画像表示システムであって、請求項１ないし１０のいずれかに記載の画像生成装置と、前記画像生成装置から出力される表示画像を表示する表示装置と、を備えている。
【００２１】
また、請求項１２の発明は、車両において用いられ、前記車両の周辺を示す画像を生成する画像生成方法であって、（ａ）前記車両の周辺の互いに異なる方向を撮影する複数のカメラの撮影画像を取得する工程と、（ｂ）前記車両の進行方向を判定する工程と、（ｃ）前記撮影画像に基づいて、前記車両を俯瞰する仮想視点からみた前記車両の周囲の第１領域と、前記車両の前記第１領域より外側の前記進行方向とは逆方向の第２領域とを連続的に示す合成画像を生成する工程と、（ｄ）前記合成画像を含む表示画像を表示する工程と、を備えている。
【００２２】
また、請求項１３の発明は、車両において用いられ、前記車両の周辺を示す画像を生成する画像生成方法であって、（ａ）前記車両の前方及び後方をそれぞれ撮影する複数のカメラの撮影画像を取得する工程と、（ｂ）前記車両の進行方向を判定する工程と、（ｃ）前記撮影画像に基づいて、表示画像を生成する工程と、（ｄ）前記表示画像を表示する工程と、を備え、前記工程（ｃ）は、前記表示画像として、前記車両の前記進行方向が前方の場合は、前記車両の前方を示す第１表示画像を生成し、前記車両の前記進行方向が後方の場合は、前記車両の後方を示す第２表示画像、及び、前記車両の前方を示す第３表示画像の一方をユーザの操作に応じて選択的に生成し、前記第１表示画像と前記３表示画像とは、前記車両の前方を異なる態様で示す。
【発明の効果】
【００２３】
請求項１ないし６、及び、請求項１２の発明によれば、表示画像が車両の進行方向とは逆方向の第２領域を示す合成画像を含むため、ユーザは表示画像を視認することで車両の進行方向とは逆方向に存在する物体を把握することができる。また、合成画像は車両の周囲の第１領域と進行方向とは逆方向の第２領域とを連続的に示すため、車両の進行方向とは逆方向に存在する物体の位置をユーザが直感的に把握することができる。
【００２４】
また、特に請求項２の発明によれば、表示画像は車両の進行方向とは逆方向の第２領域と車両の進行方向の第３領域との双方を示すため、ユーザは表示画像を視認することで、車両の進行方向に意識を向けながら、進行方向とは逆方向に存在する物体の存在を把握することができる。
【００２５】
また、特に請求項３の発明によれば、合成画像が車両の像を含むため、車両の進行方向とは逆方向に存在する物体の車両に対する相対的な位置を、ユーザが直感的に把握することができる。
【００２６】
また、特に請求項４の発明によれば、車両の進行方向とは逆方向に存在する物体の位置を、ユーザが把握しやすくすることができる。
【００２７】
また、特に請求項５の発明によれば、投影面において車両の周囲の第１領域に相当する部分は平面であるため、車両の周囲に存在する物体の位置を明瞭に把握することができる。
【００２８】
また、特に請求項６の発明によれば、投影面において進行方向とは逆方向の第２領域に相当する部分は曲面であるため、車両から離れた物体の像の歪みを緩和できる。
【００２９】
また、請求項７ないし１０、及び、請求項１３の発明によれば、車両の進行方向が前方の場合に表示される第１表示画像と、車両の進行方向が後方の場合に表示される第３表示画像とが、車両の前方を異なる態様で示すことから、ユーザが車両の進行方向を誤解することを防止できる。
【００３０】
また、特に請求項８の発明によれば、第１表示画像では車両の前方の不要な部分を隠すことができ、第３表示画像では車両の前方の広い範囲を示すことができる。
【００３１】
また、特に請求項９の発明によれば、第１表示画像では車両の前方の不要な部分を隠すことができ、第３表示画像では車両の前方の広い範囲を示すことができる。
【００３２】
また、特に請求項１０の発明によれば、第１表示画像と第３表示画像とを明確に区別できる。
【図面の簡単な説明】
【００３３】
【図１】図１は、第１の実施の形態の画像表示システムの構成を示す図である。
【図２】図２は、車載カメラが車両に配置される位置を示す図である。
【図３】図３は、合成画像を生成する手法を説明するための図である。
【図４】図４は、投影面の一例を示す図である。
【図５】図５は、第１の実施の形態の画像表示システムの動作モードの遷移を示す図である。
【図６】図６は、ナビモードの表示画像の一例を示す図である。
【図７】図７は、フロントモードの表示画像の一例を示す図である。
【図８】図８は、フロントモードの合成画像を生成する手法を説明するための図である。
【図９】図９は、バックモードの表示画像の一例を示す図である。
【図１０】図１０は、バックモードの合成画像を生成する手法を説明するための図である。
【図１１】図１１は、画像表示システムの処理の流れを示す図である。
【図１２】図１２は、第２の実施の形態の画像表示システムの動作モードの遷移を示す図である。
【図１３】図１３は、前方表示モードの表示画像の一例を示す図である。
【図１４】図１４は、前方表示モードの表示画像の一例を示す図である。
【図１５】図１５は、前方表示モードの表示画像の一例を示す図である。
【図１６】図１６は、第３の実施の形態の画像表示システムの構成を示す図である。
【図１７】図１７は、第３の実施の形態の画像表示システムの動作モードの遷移を示す図である。
【図１８】図１８は、すれ違いモードの表示画像の一例を示す図である。
【図１９】図１９は、車両の前方を示すサイド画像を生成する手法を説明する図である。
【図２０】図２０は、すれ違いモードの表示画像の一例を示す図である。
【図２１】図２１は、車両の後方を示すサイド画像を生成する手法を説明する図である。
【図２２】図２２は、すれ違いモードの画像表示システムの処理の流れを示す図である。
【発明を実施するための形態】
【００３４】
以下、図面を参照しつつ本発明の実施の形態について説明する。
【００３５】
＜１．第１の実施の形態＞
＜１−１．構成＞
図１は、第１の実施の形態の画像表示システム１２０の構成を示す図である。この画像表示システム１２０は、車両（本実施の形態では、自動車）において用いられるものであり、車両の周辺の領域を示す画像を車室内に表示する機能を有している。画像表示システム１２０のユーザ（代表的にはドライバ）は、この画像表示システム１２０を利用することにより、当該車両の周辺の様子をほぼリアルタイムに把握できる。
【００３６】
図１に示すように、画像表示システム１２０は、車両の周辺の領域を示す画像を生成する画像生成装置１００と、車両に乗車中のユーザに対して各種情報を表示するナビゲーション装置２０とを主に備えている。画像生成装置１００で生成された画像は、ナビゲーション装置２０において表示される。
【００３７】
ナビゲーション装置２０の主たる機能は、目的地までのルートを案内するものである。ナビゲーション装置２０は、タッチパネルを備えた液晶などのディスプレイ２１と、ユーザが操作を行うハードスイッチなどの操作部２２と、装置全体を制御する制御部２３とを備えている。ディスプレイ２１の画面がユーザから視認可能なように、ナビゲーション装置２０は車両のインストルメントパネルなどに設置される。
【００３８】
ユーザの操作は、操作部２２とディスプレイ２１のタッチパネルとによって受け付けられる。制御部２３は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えたコンピュータであり、所定のプログラムに従ってＣＰＵが演算処理を行うことでルートを案内する機能を含む各種の機能が実現される。ナビゲーション装置２０は、画像生成装置１００と電気的に接続され、画像生成装置１００との間で各種の信号の送受信や、画像生成装置１００で生成された画像の受信が可能である。
【００３９】
ディスプレイ２１は、通常は、ナビゲーション装置２０単体の機能によって、ルート案内用の画像を表示する。一方で、画像表示システム１２０の動作モードを変更した場合は、ディスプレイ２１は、画像生成装置１００で生成された車両の周辺の様子を示す画像を表示する。したがって、ナビゲーション装置２０は、画像生成装置１００で生成された画像を表示するための表示装置としても機能する。
【００４０】
画像生成装置１００は、画像を取得する撮影部５と、その画像を処理する本体部１０とを備えている。本体部１０は、撮影部５が取得した撮影画像に基づいて、ディスプレイ２１に表示するための表示画像を生成する。
【００４１】
撮影部５は、車両の周辺を撮影して撮影画像を取得する。撮影部５は、フロントカメラ５１、バックカメラ５２、左サイドカメラ５３、及び、右サイドカメラ５４の４つの車載カメラを備えている。車載カメラ５１〜５４のそれぞれは、レンズと撮像素子とを備えており電子的に画像を取得する。車載カメラ５１〜５４で取得された撮影画像は、本体部１０に入力される。
【００４２】
これらの車載カメラ５１〜５４は、車両の異なる位置にそれぞれ配置され、車両の周辺の互いに異なる方向を撮影する。図２は、車載カメラ５１〜５４が車両９に配置される位置を示す図である。
【００４３】
図２に示すように、フロントカメラ５１は、車両９の前端の左右中央の近傍に設けられ、その光軸５１ａは車両９の前方（直進方向）に向けられている。バックカメラ５２は、車両９の後端の左右中央の近傍に設けられ、その光軸５２ａは車両９の後方（直進方向の逆方向）に向けられている。左サイドカメラ５３は車両９の左側のサイドミラー９３に設けられ、その光軸５３ａは車両９の左側方（直進方向の直交方向）に向けられている。また、右サイドカメラ５４は車両９の右側のサイドミラー９３に設けられ、その光軸５４ａは車両９の右側方（直進方向の直交方向）に向けられている。
【００４４】
これらの車載カメラ５１〜５４のレンズには魚眼レンズなどが採用され、各車載カメラ５１〜５４は１８０度以上の画角θを有している。このため、４つの車載カメラ５１〜５４を利用することで、車両９の全周囲を撮影することが可能となっている。
【００４５】
図１に戻り、画像生成装置１００は、ユーザが操作可能な切替スイッチ４４を備えている。ユーザが切替スイッチ４４を操作した場合は、その操作を示す信号が本体部１０に入力される。切替スイッチ４４は、ユーザが操作しやすいように、本体部１０とは別に車室内の適位置に配置される。
【００４６】
また、画像生成装置１００の本体部１０は、撮影部５から撮影画像を取得する画像取得部４１と、表示画像を生成する画像生成部３と、ナビゲーション装置２０と通信するナビ通信部４２と、他の装置からの信号を受信する信号受信部４３と、画像表示システム１２０の全体を制御する制御部１と、を主に備えている。
【００４７】
画像取得部４１は、撮影部５の４つの車載カメラ５１〜５４のそれぞれから撮影画像を取得する。したがって、画像取得部４１は、車両９の前方、後方、左側方及び右側方をそれぞれ示す４つの撮影画像を取得する。
【００４８】
画像生成部３は、各種の画像処理を行うハードウェア回路である。画像生成部３は、画像取得部４１が取得した撮影画像を処理し、ディスプレイ２１に表示するための表示画像を生成する。画像生成部３は、合成画像生成部３１及び表示画像生成部３２を主な機能として備えている。
【００４９】
合成画像生成部３１は、４つの車載カメラ５１〜５４で取得された撮影画像に基づいて、仮想視点からみた車両９の周辺の領域を示す合成画像を生成する。合成画像生成部３１が合成画像を生成する手法については後述する。
【００５０】
表示画像生成部３２は、撮影部５で取得された撮影画像と、合成画像生成部３１が生成した合成画像とを利用して、ディスプレイ２１で表示するための表示画像を生成する。表示画像生成部３２は、撮影画像及び合成画像に対して拡大縮小、及び、切り出しなどの画像処理を行い、撮影画像及び合成画像を所定のサイズにする。そして、表示画像生成部３２は、この撮影画像及び合成画像を所定の位置に配置することで表示画像を生成する。
【００５１】
ナビ通信部４２は、ナビゲーション装置２０との間で信号の送受信を行う。ナビ通信部４２は、表示画像生成部３２が生成した表示画像を、ナビゲーション装置２０に出力する。これにより、車両９の周辺を示す表示画像がナビゲーション装置２０のディスプレイ２１に表示される。また、ナビゲーション装置２０の操作部２２やディスプレイ２１にユーザの操作がなされた場合は、ナビ通信部４２がその操作の内容を示す信号を受信して、制御部１に入力する。
【００５２】
信号受信部４３は、画像表示システム１２０とは別に車両９に設けられる他の装置からの信号を受信する。信号受信部４３は、車両９の変速装置のシフトレバーの位置であるシフトポジションを示す信号をシフトセンサ７１から受信して、制御部１に入力する。
【００５３】
制御部１は、画像表示システム１２０の全体を統括的に制御するコンピュータである。制御部１は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えており、所定のプログラムに従ってＣＰＵが演算処理を行うことで各種の制御機能が実現される。ナビゲーション装置２０や切替スイッチ４４にユーザの操作がなされた場合は、その操作の内容を示す信号が制御部１に入力される。制御部１は、この信号に応答して、ユーザの操作に基づく指示に従って画像表示システム１２０を動作させる。
【００５４】
図中に示す画像制御部１１及びシフト判定部１２は、プログラムに従った演算処理により実現される制御部１の機能のうちの一部である。
【００５５】
画像制御部１１は、画像生成部３によって実行される画像処理に係る制御を行う。例えば、画像制御部１１は、合成画像の生成に必要な各種パラメータを合成画像生成部３１に与える。また、画像制御部１１は、画像表示システム１２０の動作モード、及び、車両の進行方向に応じて、生成すべき表示画像の内容を表示画像生成部３２に指示する。
【００５６】
シフト判定部１２は、車両９のシフトセンサ７１からの信号に基づいて、シフトポジションが「Ｐ」（駐車），「Ｄ」（前進），「Ｎ」（中立），「Ｒ」（後退）のいずれであるかを判定する。これにより、シフト判定部１２は、実質的に、車両９の進行方向が前方あるいは後方のいずれであるかを判定する。
【００５７】
また、本体部１０は、電源オフ時においても記憶内容を維持可能な不揮発性メモリ４０をさらに備えている。不揮発性メモリ４０は、例えば、ハードディスクやフラッシュメモリなどである。不揮発性メモリ４０には、視点データ４ａ及び投影面データ４ｂが記憶されている。これらのデータ４ａ，４ｂは、合成画像を生成する際に利用される。
【００５８】
＜１−２．画像合成処理＞
次に、画像生成部３の合成画像生成部３１が、仮想視点からみた車両９の周囲の領域を示す合成画像を生成する手法について説明する。図３は、合成画像を生成する手法を説明するための図である。
【００５９】
撮影部５のフロントカメラ５１、バックカメラ５２、左サイドカメラ５３、及び、右サイドカメラ５４のそれぞれで撮影が行われると、車両９の前方、後方、左側方及び右側方をそれぞれ示す４つの撮影画像Ｐ１〜Ｐ４が取得される。これら４つの撮影画像Ｐ１〜Ｐ４には、車両９の全周囲のデータが含まれている。
【００６０】
このように取得された４つの撮影画像Ｐ１〜Ｐ４のデータ（各画素の値）は、仮想の投影面ＴＳに投影される。投影面ＴＳの中心の部分は、車両９が存在する位置として定められている。そして、投影面ＴＳのその他の部分は撮影画像Ｐ１〜Ｐ４のデータと予め対応付けられており、対応するデータが投影される。
【００６１】
投影面ＴＳにおいて車両９の前方の領域は、フロントカメラ５１で得られた撮影画像Ｐ１のデータが投影される。また、投影面ＴＳにおいて車両９の後方の領域は、バックカメラ５２で得られた撮影画像Ｐ２のデータが投影される。また、投影面ＴＳにおいて車両９の左側方の領域は左サイドカメラ５３で得られた撮影画像Ｐ３のデータが投影され、投影面ＴＳにおいて車両９の右側方の領域は右サイドカメラ５４で得られた撮影画像Ｐ４のデータが投影される。
【００６２】
また、投影面ＴＳの車両９が存在する位置に対して、車両９の像が重畳される。この車両９の像は、予めビットマップ等で準備され、不揮発性メモリ４０に記憶されている。このようにして、投影面ＴＳの各部分のデータが決定される。
【００６３】
このように投影面ＴＳの各部分のデータが決定されると、仮想視点ＶＰが設定される。具体的には、車両９及び車両９の周辺を俯瞰するように仮想視点ＶＰが設定される。そして、投影面ＴＳのうち、設定された仮想視点ＶＰからみて所定の角度に含まれる領域が切り出される。このようにして切り出して得られる画像が、仮想視点ＶＰからみた車両９の周囲の領域を示す合成画像ＣＰとなる。
【００６４】
図３においては、投影面ＴＳは平面に描かれているが、合成画像生成部３１は、合成画像の生成に用いる投影面ＴＳの形状を平面以外の形状に変更することが可能である。例えば、合成画像生成部３１は、投影面ＴＳを、図４に示すような略半球状（お椀形状）の立体曲面とすることもできる。また、合成画像生成部３１は、仮想視点ＶＰの位置を任意に変更することが可能である。仮想視点ＶＰの位置を変更することで、投影面ＴＳのうち合成画像ＣＰとして切り出される領域も変更される。
【００６５】
＜１−３．動作モード＞
次に、画像表示システム１２０の動作モードについて説明する。図５は、画像表示システム１２０の動作モードの遷移を示す図である。
【００６６】
画像表示システム１２０は、ナビモードＭ１、フロントモードＭ２、及び、バックモードＭ３の３つの動作モードを有している。ナビモードＭ１は、ナビゲーション装置２０の機能を有効化する動作モードである。
【００６７】
ナビモードＭ１では、画像生成装置１００の機能は利用されず、ナビゲーション装置２０単体の機能でディスプレイ２１に各種の表示がなされる。図６は、ナビモードＭ１において表示される表示画像ＤＰ０の一例を示す図である。この表示画像ＤＰ０には、車両９の位置を示す地図画像ＮＰが含まれている。
【００６８】
図５に戻り、フロントモードＭ２、及び、バックモードＭ３は、画像生成装置１００の機能を利用して、車両９の周辺の領域を示す表示画像をディスプレイ２１に表示する動作モードである。これらの動作モードにおいては、ユーザは、車両９の周辺の状況をほぼリアルタイムで把握することができる。フロントモードＭ２は、車両９の前方の領域を主に表示する動作モードである。一方、バックモードＭ３は、車両９の後方の領域を主に表示する動作モードである。
【００６９】
これらの動作モードは、ユーザの操作やシフトポジションに基づいて、制御部１の制御により切り替えられる。例えば、動作モードがナビモードＭ１の場合において、シフトポジションが「Ｐ」「Ｒ」以外となっており、かつ、切替スイッチ４４が操作されたときには、動作モードはフロントモードＭ２に切り替えられる（矢印Ｔ１）。また、動作モードがフロントモードＭ２の場合において、切替スイッチ４４が操作された場合は、動作モードはナビモードＭ１に戻る（矢印Ｔ２）。
【００７０】
また、動作モードがナビモードＭ１あるいはフロントモードＭ２の場合において、シフトポジションが「Ｒ」となったときは、動作モードがバックモードＭ３に切り替えられる（矢印Ｔ３，Ｔ５）。また、動作モードがバックモードＭ３の場合において、シフトポジションが「Ｒ」以外となったときは、動作モードはナビモードＭ１に戻る（矢印Ｔ４）。
【００７１】
シフトポジションが「Ｒ」の場合は、車両９の進行方向が後方となるため、車両９の後方の領域を主に示すバックモードＭ３に動作モードが移行することになる。一方、シフトポジションが「Ｐ」「Ｒ」以外の場合は、車両９の進行方向が前方となる。このため、ユーザの必要に応じて、車両９の前方の領域を主に示すフロントモードＭ２に動作モードが移行することになる。
【００７２】
画像生成部３は、このような動作モードに応じて生成する表示画像の態様を変更する。これにより、フロントモードＭ２とバックモードＭ３とで異なる態様の表示画像がディスプレイ２１に表示される。
【００７３】
図７は、フロントモードＭ２の表示画像ＤＰ１の一例を示す図である。この表示画像ＤＰ１においては、フロント画像ＳＰ１と合成画像ＣＰ１とアイコンＩＣとが並ぶように含まれている。アイコンＩＣは、フロント画像ＳＰ１に示される車両９の周辺の範囲を記号的に示している。
【００７４】
フロント画像ＳＰ１は、フロントカメラ５１で得られた撮影画像を処理したものであり、車両９の前方の領域を示している。フロントモードＭ２では車両９の進行方向が前方となるため、ユーザは、このフロント画像ＳＰ１を視認することによって、車両９の進行方向である前方に存在する物体を把握することができる。フロント画像ＳＰ１は、車両９の前方の一部を隠すマスク領域Ｍａを含んでいる。
【００７５】
また、合成画像ＣＰ１は、車両９の周囲の周辺領域Ａ１と、車両９の後方となる後方領域Ａ２とを示している。周辺領域Ａ１は、車両９を中心として車両９の前面、後面、左側面及び右側面のそれぞから所定の距離（例えば、２ｍ）までの範囲の矩形領域である。合成画像ＣＰ１は、車両９を俯瞰する仮想視点からみた周辺領域Ａ１を示し、この周辺領域Ａ１の中心となる部分には車両９の像が含まれている。後方領域Ａ２は、この周辺領域Ａ１よりも外側となる車両９の後方の領域である。
【００７６】
そして、合成画像ＣＰ１は、周辺領域Ａ１と後方領域Ａ２とを連続的に示している。すなわち、合成画像ＣＰ１には、周辺領域Ａ１と後方領域Ａ２とを区切る境界線が設けられておらず、周辺領域Ａ１と後方領域Ａ２とにまたがる被写体の像が連続するように含まれている。
【００７７】
ユーザは、このような合成画像ＣＰ１を視認することで、車両９の進行方向とは逆方向となる後方に存在する物体を把握することができる。また、合成画像ＣＰ１では、周辺領域Ａ１と後方領域Ａ２とが連続的に示されるため、ユーザは、車両９の後方に存在する物体の位置を直感的に把握することができる。
【００７８】
周辺領域Ａ１を示す画像と後方領域Ａ２を示す画像とを別の画像とし、これらを並べて表示することも考えられる。しかしながら、このようにした場合は、周辺領域Ａ１と後方領域Ａ２との位置関係が把握しにくいことから、後方領域Ａ２に物体が存在していたとしても、ユーザはその物体がどこに存在しているかを直感的には把握しにくい。また、後方領域Ａ２から周辺領域Ａ１に近づく物体があった場合は、その物体の像が画像間を移動することになるため、ユーザがその物体の像を見失ってしまう可能性がある。
【００７９】
これに対して、本実施の形態の合成画像ＣＰ１は、車両９の位置を含む周辺領域Ａ１と後方領域Ａ２とを連続的に示すことから、ユーザは、車両９の後方に存在する物体の車両９に対する相対的な位置を直感的に把握することができる。また、後方領域Ａ２から周辺領域Ａ１に近づく物体があったとしても、その物体の像は合成画像ＣＰ１内を移動することになるため、ユーザがその物体の像を見失うこともない。
【００８０】
ユーザは、図７に示す表示画像ＤＰ１を視認することで、車両９の前方とともに、車両９の後方の様子を確認することができる。したがって、ユーザは、車両９の進行方向である前方に意識を向けながらも、進行方向とは逆方向の後方に存在する物体も把握することが可能となる。
【００８１】
図８は、合成画像生成部３１が、図７に示す表示画像ＤＰ１に含まれる合成画像ＣＰ１を生成する手法を説明するための図である。図８に示すように、合成画像ＣＰ１を生成する場合においては、周辺領域Ａ１に相当する部分ＰＰ１が平面（水平面）、後方領域Ａ２に相当する部分ＰＰ２が曲面となる投影面ＴＳが利用される。部分ＰＰ２は、下に凸となる曲面である。部分ＰＰ２の車両側の端部は平面の部分ＰＰ１と接しており、部分ＰＰ２の部分ＰＰ１に対する傾きは車両９から離れるほど大きくなっている。
【００８２】
すなわち、投影面ＴＳにおいて、車両９の位置から所定の距離Ｈまでの範囲の部分ＰＰ１は平面となっている。周辺領域Ａ１のデータは、この平面の部分ＰＰ１に投影される。一方、投影面ＴＳにおいて、部分ＰＰ１よりも車両９の後方となる部分ＰＰ２は曲面となっている。後方領域Ａ２のデータは、この曲面の部分ＰＰ２に投影される。この投影面ＴＳの形状は、不揮発性メモリ４０に記憶された投影面データ４ｂに含まれている。
【００８３】
また、仮想視点ＶＰは、車両９の前後中央となる中央線ＣＬよりも後方に設定される。この仮想視点ＶＰの位置は、不揮発性メモリ４０に記憶された視点データ４ａに含まれている。そして、投影面ＴＳにおいて、このように設定された仮想視点ＶＰからみて所定の角度αに含まれる範囲が合成画像ＣＰ１に含まれることになる。
【００８４】
仮想視点ＶＰが車両９の前後中央よりも後方に設定されることから、図７に示すように、合成画像ＣＰ１において車両９の像の中心位置９ｃは、合成画像ＣＰ１の上下中央よりも上側に位置する。これにより、合成画像ＣＰ１において、後方領域Ａ２を示す部分を広くすることができ、車両９の進行方向とは逆方向の後方に存在する物体をユーザが把握しやすくすることができる。
【００８５】
また仮に、合成画像を生成する場合に、全体が平面となる投影面ＴＳを用いた場合においては、投影面ＴＳに投影される物体の像は車両９の位置から離れるほど拡大する。このため、車両９から近い物体については像の歪みは少ないが、車両９から離間した物体については車両９から離れるほど像の歪が大きくなってしまう。さらに、車両９の周辺の比較的狭い範囲しか、合成画像に含めることができなくなる。
【００８６】
これに対して、本実施の形態では、車両９から離間した後方領域Ａ２のデータを投影面ＴＳの曲面の部分ＰＰ２に投影するようにしている。このため、車両９から離れた物体の像の歪みを緩和できるとともに、車両９の周辺の比較的広い範囲を合成画像ＣＰ１に含めることが可能となる。また、車両９の近傍の周辺領域Ａ１のデータを投影面ＴＳの平面の部分ＰＰ１に投影するようにしている。このため、歪みの少ない物体の像を有効に利用できるとともに、車両９の近傍に存在する物体の位置を明瞭に把握することができる。
【００８７】
図９は、バックモードＭ３の表示画像ＤＰ２の一例を示す図である。この表示画像ＤＰ２においては、バック画像ＳＰ２と合成画像ＣＰ２とアイコンＩＣとが並ぶように含まれている。アイコンＩＣは、バック画像ＳＰ２に示される車両９の周辺の範囲を記号的に示している。
【００８８】
バック画像ＳＰ２は、フロントカメラ５１で得られた撮影画像を処理したものであり、車両９の後方の領域を示している。バックモードＭ３では車両９の進行方向が後方となるため、ユーザは、このバック画像ＳＰ２を視認することによって、車両９の進行方向である後方に存在する物体を把握することができる。
【００８９】
また、合成画像ＣＰ２は、車両９の周囲の周辺領域Ａ１と、車両９の前方となる前方領域Ａ３とを示している。合成画像ＣＰ２も、車両９を俯瞰する仮想視点からみた周辺領域Ａ１を示し、この周辺領域Ａ１の中心となる部分には車両９の像が含まれている。前方領域Ａ３は、この周辺領域Ａ１よりも外側となる車両９の前方の領域である。
【００９０】
そして、合成画像ＣＰ２は、周辺領域Ａ１と前方領域Ａ３とを連続的に示している。すなわち、合成画像ＣＰ２には、周辺領域Ａ１と前方領域Ａ３とを区切る境界線が設けられておらず、周辺領域Ａ１と前方領域Ａ３とにまたがる被写体の像が連続するように含まれている。
【００９１】
ユーザは、このような合成画像ＣＰ２を視認することで、車両９の進行方向とは逆方向となる前方に存在する物体を把握することができる。また、合成画像ＣＰ２では、周辺領域Ａ１と前方領域Ａ３とが連続的に示されるため、ユーザは、車両９の前方に存在する物体の車両９に対する相対的な位置を直感的に把握することができる。また、前方領域Ａ３から周辺領域Ａ１に近づく物体があったとしても、その物体の像は合成画像ＣＰ２内を移動することになるため、ユーザがその物体の像を見失うこともない。
【００９２】
ユーザは、図９に示す表示画像ＤＰ２を視認することで、車両９の後方とともに、車両９の前方の様子を確認することができる。したがって、ユーザは、車両９の進行方向である後方に意識を向けながらも、進行方向とは逆方向の前方に存在する物体も把握することが可能となる。
【００９３】
図１０は、合成画像生成部３１が、図９に示す表示画像ＤＰ２に含まれる合成画像ＣＰ２を生成する手法を説明するための図である。図１０に示すように、合成画像ＣＰ２を生成する場合においては、周辺領域Ａ１に相当する部分ＰＰ１が平面（水平面）、前方領域Ａ３に相当する部分ＰＰ３が曲面となる投影面ＴＳが利用される。部分ＰＰ３は、下に凸となる曲面である。部分ＰＰ３の車両側の端部は平面の部分ＰＰ１と接しており、部分ＰＰ３の部分ＰＰ１に対する傾きは車両９から離れるほど大きくなっている。
【００９４】
すなわち、投影面ＴＳにおいて、車両９の位置から所定の距離Ｈまでの範囲の部分ＰＰ１は平面となっている。周辺領域Ａ１のデータは、この平面の部分ＰＰ１に投影される。一方、投影面ＴＳにおいて、部分ＰＰ１よりも車両９の前方となる部分ＰＰ３は曲面となっている。前方領域Ａ３のデータは、この曲面の部分ＰＰ３に投影される。この投影面ＴＳの形状は、不揮発性メモリ４０に記憶された投影面データ４ｂに含まれている。
【００９５】
また、仮想視点ＶＰが、車両９の前後中央となる中央線ＣＬよりも前方に設定される。この仮想視点ＶＰの位置は、不揮発性メモリ４０に記憶された視点データ４ａに含まれている。そして、投影面ＴＳにおいて、このように設定された仮想視点ＶＰからみて所定の角度αに含まれる範囲が合成画像ＣＰ２に含まれることになる。
【００９６】
仮想視点ＶＰが車両９の前後中央よりも前方に設定されることから、図９に示すように、合成画像ＣＰ２において車両９の像の中心位置９ｃは、合成画像ＣＰ１の上下中央よりも下側に位置する。これにより、合成画像ＣＰ１において、前方領域Ａ３を示す部分を広くすることができ、車両９の進行方向とは逆方向の前方に存在する物体をユーザが把握しやすくすることができる。
【００９７】
また、車両９から離間した前方領域Ａ３のデータを投影面ＴＳの曲面の部分ＰＰ３に投影するため、車両９から離れた物体の像の歪みを緩和できるとともに、車両９の周辺の比較的広い範囲を合成画像ＣＰ２に含めることが可能となる。また、この場合も、車両９の近傍の周辺領域Ａ１のデータを投影面ＴＳの平面の部分ＰＰ１に投影するようにしているため、歪みの少ない物体の像を有効に利用できるとともに、車両９の近傍に存在する物体の位置を明瞭に把握することができる。
【００９８】
＜１−４．処理＞
次に、画像表示システム１２０の処理の流れについて説明する。図１１は、画像表示システム１２０が、車両９の周辺の領域を示す表示画像を表示する場合（フロントモードＭ２、または、バックモードＭ３）における処理の流れを示す図である。フロントモードＭ２、または、バックモードＭ３においては、図１１に示す処理が所定の周期（例えば、１／３０秒）で繰り返し実行される。
【００９９】
まず、シフト判定部１２が、シフトセンサ７１からの信号に基づいて、現時点におけるシフトポジションを判定する。これにより、シフト判定部１２は、実質的に現時点の車両９の進行方向を判定する（ステップＳ１１）。以降、車両９の進行方向に応じて処理の内容が異なる。
【０１００】
車両９の進行方向が前方の場合（すなわち、フロントモードＭ２の場合）（ステップＳ１２にてＹｅｓ）は、まず、画像取得部４１が４つの車載カメラ５１〜５４から４つの撮影画像を取得する（ステップＳ１３）。
【０１０１】
次に、合成画像生成部３１が、これらの撮影画像を用いて、図８で説明した手法により、周辺領域Ａ１と後方領域Ａ２とを連続的に示す合成画像ＣＰ１を生成する（ステップＳ１４）。そして、表示画像生成部３２が、この合成画像ＣＰ１と、車両９の前方の領域を示すフロント画像ＳＰ１と含む表示画像ＤＰ１（図７参照。）を生成する（ステップＳ１５）。
【０１０２】
このようにして生成された表示画像ＤＰ１は、ナビ通信部４２からナビゲーション装置２０に出力される。これにより、表示画像ＤＰ１が、ナビゲーション装置２０のディスプレイ２１に表示される（ステップＳ１９）。
【０１０３】
一方、車両９の進行方向が後方の場合（すなわち、バックモードＭ３の場合）（ステップＳ１２にてＮｏ）は、まず、画像取得部４１が４つの車載カメラ５１〜５４から４つの撮影画像を取得する（ステップＳ１６）。
【０１０４】
次に、合成画像生成部３１が、これらの撮影画像を用いて、図１０で説明した手法により、周辺領域Ａ１と前方領域Ａ３とを連続的に示す合成画像ＣＰ２を生成する（ステップＳ１７）。そして、表示画像生成部３２が、この合成画像ＣＰ２と、車両９の後方の領域を示すバック画像ＳＰ２と含む表示画像ＤＰ２（図９参照。）を生成する（ステップＳ１８）。
【０１０５】
このようにして生成された表示画像ＤＰ２は、ナビ通信部４２からナビゲーション装置２０に出力される。これにより、表示画像ＤＰ２が、ナビゲーション装置２０のディスプレイ２１に表示される（ステップＳ１９）。
【０１０６】
以上説明したように、第１の実施の形態の画像表示システム１２０では、シフト判定部１２が車両９の進行方向を判定する。そして、合成画像生成部３１が、車両９を俯瞰する仮想視点からみた車両９の周囲の周辺領域Ａ１と、車両９の周辺領域Ａ１より外側の進行方向とは逆方向の領域（後方領域Ａ２または前方領域Ａ３）とを連続的に示す合成画像を生成する。ディスプレイ２１は、この合成画像を含む表示画像を表示する。表示画像が車両９の進行方向とは逆方向の領域を示す合成画像を含むため、ユーザは表示画像を視認することで車両９の進行方向とは逆方向に存在する物体を把握することができる。また、周辺領域Ａ１と車両９の進行方向とは逆方向の領域とが連続的に示されるため、車両９の進行方向とは逆方向に存在する物体の位置をユーザが直感的に把握することができる。
【０１０７】
＜２．第２の実施の形態＞
次に、第２の実施の形態について説明する。第２の実施の形態の画像表示システムの動作及び処理は、第１の実施の形態とほぼ同様であるため、以下、第１の実施の形態との相違点を中心に説明する。第１の実施の形態では、車両９の進行方向が後方の場合（すなわち、バックモードＭ３の場合）においては、バック画像を含む表示画像が表示され、フロント画像を含む表示画像を表示することはなかった。
【０１０８】
これに対して、第２の実施の形態では、車両９の進行方向が後方の場合において、バック画像を含む表示画像と、フロント画像を含む表示画像とを、ユーザの操作によって切り替えて表示できるようになっている。より具体的には、車両９の進行方向が後方の場合においては、画像生成部３が、バック画像を含む表示画像と、フロント画像を含む表示画像との一方をユーザの操作に応じて選択的に生成する。そして、生成された表示画像がディスプレイ２１に表示される。これにより、第２の実施の形態では、車両９の進行方向が後方の場合においても、ユーザは必要に応じて、車両９の前方の領域を表示画像によって確認することが可能となっている。
【０１０９】
図１２は、第２の実施の形態の画像表示システム１２０の動作モードの遷移を示す図である。第２の実施の形態においても、画像表示システム１２０の動作モードには、ナビモードＭ１、フロントモードＭ２、及び、バックモードＭ３があり、これらの動作モードは第１の実施の形態と同様に変更される（矢印Ｔ１〜Ｔ５）。フロントモードＭ２においては、第１の実施の形態と同一の態様の表示画像ＤＰ１（図７参照。）がディスプレイ２１に表示される。
【０１１０】
ただし、第２の実施の形態においては、バックモードＭ３は、２つのサブモードを含んでいる。一方のサブモードは車両９の後方の領域を主に表示する後方表示モードＭ３１であり、他方のサブモードは車両９の前方の領域を主に表示する前方表示モードＭ３２である。動作モードがバックモードＭ３に切り替えられた直後は、サブモードは後方表示モードＭ３１となる。その後、ユーザが切替スイッチ４４を操作するごとに、サブモードは後方表示モードＭ３１と前方表示モードＭ３２との間で切り替えられる（矢印Ｔ６）。すなわち、ユーザが切替スイッチ４４を操作するごとに、画像生成部３が異なる態様の表示画像を生成し、その表示画像がディスプレイ２１に表示されることになる。
【０１１１】
後方表示モードＭ３１においては、車両９の後方を示すバック画像を含む表示画像が生成されて、ディスプレイ２１に表示される。一方、前方表示モードＭ３２においては、車両９の前方を示すフロント画像を含む表示画像が生成されて、ディスプレイ２１に表示される。後方表示モードＭ３１の表示画像の態様は、第１の実施の形態のバックモードＭ３の表示画像ＤＰ２（図９参照。）と同一である。これに対して、前方表示モードＭ３２の表示画像の態様は、フロントモードＭ２の表示画像ＤＰ１（図７参照。）とは異なっている。
【０１１２】
図１３は、前方表示モードＭ３２の表示画像ＤＰ３の一例を示す図である。この表示画像ＤＰ３においては、フロント画像ＳＰ３と合成画像ＣＰ１とアイコンＩＣとが並ぶように含まれている。フロント画像ＳＰ３は、フロントカメラ５１で得られた撮影画像を処理したものであり、車両９の前方の領域を示している。アイコンＩＣは、フロント画像ＳＰ３に示される車両９の周辺の範囲を記号的に示している。
【０１１３】
図７と図１３とを比較してわかるように、フロントモードＭ２の表示画像ＤＰ１が含むフロント画像ＳＰ１と、前方表示モードＭ３２の表示画像ＤＰ３が含むフロント画像ＳＰ３とは、その態様が異なっている。前述のように、フロントモードＭ２のフロント画像ＳＰ１（図７参照。）は、車両９の前方の一部を隠す非透過のマスク領域Ｍａを含んでいる。これに対して、前方表示モードＭ３２のフロント画像ＳＰ３（図１３参照。）は、このようなマスク領域を含んでいない。このように、フロントモードＭ２の表示画像ＤＰ１と、前方表示モードＭ３２の表示画像ＤＰ３とは、車両９の前方を異なる態様で示すことになる。
【０１１４】
仮に、フロントモードＭ２の表示画像と前方表示モードＭ３２の表示画像とを同一の態様としたとすると、ユーザは、前方表示モードＭ３２の表示画像を視認した場合に、画像表示システム１２０の現時点の動作モードがフロントモードＭ２であると誤解する可能性がある。換言すれば、ユーザは、前方表示モードＭ３２の表示画像を視認した場合に、現時点の車両９の進行方向が前方であると誤解する可能性がある。これに対して、本実施の形態では、フロントモードＭ２の表示画像ＤＰ１と前方表示モードＭ３２の表示画像ＤＰ３とが異なる態様であるため、ユーザが車両９の進行方向を誤解することを防止できる。
【０１１５】
フロントモードＭ２では車両９の進行方向が前方となるため、ユーザは、車両９の前方の領域のうち直接的に確認可能な領域については、自分の目で確認することが望ましい。このため、フロントモードＭ２のフロント画像ＳＰ１は、車両９の前方の領域のうち直接的に確認可能な一部の領域を隠すためのマスク領域Ｍａを含み、直接的に確認しにくい領域（死角となる領域）を主に示すようになっている。
【０１１６】
これに対して、前方表示モードＭ３２は、車両９の進行方向が後方の場合における車両９の前方の領域の確認が目的であるため、車両９の前方の広い範囲を確認できるようになっていることが望ましい。このため、前方表示モードＭ３２の表示画像ＤＰ３は、マスク領域を含まず、車両９の前方の広い範囲を示すことができるようになっている。
【０１１７】
なお、図１３の例では、前方表示モードＭ３２のフロント画像ＳＰ３はマスク領域を含んでいないが、フロントモードＭ２の表示画像ＤＰ１と前方表示モードＭ３２の表示画像ＤＰ３とが明確に区別できれば、前方表示モードＭ３２のフロント画像ＳＰ３がマスク領域を含んでいてもよい。
【０１１８】
例えば、図１４に示すように、前方表示モードＭ３２のフロント画像ＳＰ３が、透過性のマスク領域Ｍｂを含むようにしてもよい。この図１４に示す表示画像ＤＰ３では、マスク領域Ｍｂの部分であってもユーザは車両９の前方の領域を確認できるため、車両９の前方の広い範囲を示すことができる。
【０１１９】
また、図１５に示すように、前方表示モードＭ３２のフロント画像ＳＰ３が、フロントモードＭ２のマスク領域Ｍａとは異なる形状のマスク領域Ｍｃを含むようにしてもよい。このように、フロントモードＭ２の表示画像ＤＰ１と前方表示モードＭ３２の表示画像ＤＰ３とで、マスク領域の形状を明確に異ならせることで、ユーザは、現在表示されている表示画像がいずれの動作モードの表示画像であるかを明確に区別することができる。これにより、ユーザは、現時点の車両９の進行方向がいずれであるかを直感的に把握することができる。
【０１２０】
以上のように、第２の実施の形態の画像表示システム１２０では、車両９の進行方向が前方の場合に表示される表示画像ＤＰ１と、車両９の進行方向が後方の場合に表示される表示画像ＤＰ３とが、車両９の前方を異なる態様で示す。このため、ユーザが車両９の進行方向を誤解することを防止できる。
【０１２１】
＜３．第３の実施の形態＞
次に、第３の実施の形態について説明する。第３の実施の形態の画像表示システムの動作及び処理は、第１の実施の形態とほぼ同様であるため、以下、第１の実施の形態との相違点を中心に説明する。
【０１２２】
従来の画像表示システムでは、車両のサイドミラーが格納された場合について考慮されていなかった。車両のサイドミラーは、車両の駐車時以外は、車両が他の車両等とすれ違う場合や車両が比較的狭い道路を走行する場合など、車両の側面が他の物体と近接する場合に格納されることが多い。したがって、車両が走行可能な状態でサイドミラーが格納された場合は、車両９の側面が他の物体と近接する場合であると想定される。このため、第３の実施の形態の画像表示システム１２０では、サイドミラー９３が格納された場合は、車両９の側面が他の物体と近接した状態で走行する場合に有用な表示画像を表示するようにしている。
【０１２３】
図１６は、第３の実施の形態の画像表示システム１２０の構成を示す図である。第３の実施の形態では、制御部１が、プログラムに従った演算処理により実現される機能として、画像制御部１１及びシフト判定部１２に加えて、ミラー検出部１３をさらに備えている。第３の実施の形態の画像表示システム１２０のその他の構成は、図１に示す第１の実施の形態の画像表示システム１２０の構成と同様である。ミラー検出部１３は、車両９のサイドミラー９３を駆動させるミラー駆動部７２からの信号に基づいて、サイドミラー９３の状態（格納／展開）を検出する。ミラー駆動部７２は、ユーザの指示に従って、サイドミラー９３を格納、あるいは、展開させる。
【０１２４】
図１７は、第３の実施の形態の画像表示システム１２０の動作モードの遷移を示す図である。第３の実施の形態の画像表示システム１２０は、動作モードとして、ナビモードＭ１、フロントモードＭ２及びバックモードＭ３の他に、すれ違いモードＭ４を有している。第３の実施の形態においても、ナビモードＭ１、フロントモードＭ２及びバックモードＭ３については、第１の実施の形態（図５参照。）と同様に変更される。
【０１２５】
第３の実施の形態では、動作モードがナビモードＭ１の場合において、サイドミラー９３が格納されたときは、動作モードがすれ違いモードＭ４に切り替えられる（矢印Ｔ７）。また、動作モードがすれ違いモードＭ４の場合において、サイドミラー９３が展開されたときは、動作モードはナビモードＭ１に戻る（矢印Ｔ８）。なお、動作モードがフロントモードＭ２またはバックモードＭ３の場合に、サイドミラー９３が格納されたときに、動作モードがすれ違いモードＭ４に切り替えられてもよい。
【０１２６】
すれ違いモードＭ４は、車両９の側面が他の物体と近接した状態で走行する場合に有用な表示画像をディスプレイ２１に表示する動作モードである。車両９の側面が他の物体と近接する場合には、ユーザは、車両９の側面と他の物体とのクリアランスを確認する必要がある。しかしながら、このような車両９の側方の領域、特に運転席から逆側の領域については、ユーザが直接的に確認することは難しい。このため、すれ違いモードＭ４では、このような車両９の側方の領域を示す表示画像が表示される。
【０１２７】
すれ違いモードＭ４において、画像生成部３の表示画像生成部３２は、左右のサイドカメラ５３，５４の撮影画像に基づいて、車両９の側方、かつ、進行方向を示す表示画像を生成する。そして、生成された表示画像がディスプレイ２１に表示される。したがって、すれ違いモードＭ４では、車両９の進行方向に応じて異なる態様の表示画像が表示される。
【０１２８】
図１８は、すれ違いモードＭ４において、車両９の進行方向が前方の場合の表示画像ＤＰ４の一例を示す図である。この表示画像ＤＰ４においては、２つのサイド画像ＦＰ１，ＦＰ２とアイコンＩＣとが並ぶように含まれている。アイコンＩＣは、２つのサイド画像ＦＰ１，ＦＰ２に示される車両９の周辺の範囲を記号的に示している。
【０１２９】
左サイド画像ＦＰ１は、車両９の左側方、かつ、車両９の進行方向となる前方の領域を示している。より具体的には、左サイド画像ＦＰ１は、車両９の左側のサイドミラー９３よりも前方の領域を示している。また、左サイド画像ＦＰ１には、車両９の左側の前タイヤ近傍の車体の像が含まれている。
【０１３０】
一方、右サイド画像ＦＰ２は、車両９の右側方、かつ、車両９の進行方向となる前方の領域を示している。より具体的には、右サイド画像ＦＰ２は、車両９の右側のサイドミラー９３よりも前方の領域を示している。また、右サイド画像ＦＰ２には、車両９の右側の前タイヤ近傍の車体の像が含まれている。
【０１３１】
図１９は、表示画像ＤＰ４に含まれるサイド画像ＦＰ１，ＦＰ２を生成する手法を説明する図である。左サイド画像ＦＰ１は、左サイドカメラ５３で得られた撮影画像Ｐ３における、車両９の側（図中右側）、かつ、サイドミラー９３の前方に対応する領域ＦＡ１を切り出すことで生成される。一方、右サイド画像ＦＰ２は、右サイドカメラ５４で得られた撮影画像Ｐ４中における、車両９の側（図中左側）、かつ、サイドミラー９３の前方に対応する領域ＦＡ２を切り出すことで生成される。
【０１３２】
ユーザは、図１８に示す表示画像ＤＰ４を視認することによって、車両９の側方、かつ、車両９の進行方向となる前方に存在する物体を把握することができる。また、表示画像ＤＰ４のサイド画像ＦＰ１，ＦＰ２は、車両９の車体の一部の像を含むため、ユーザは、車両９の車体と他の物体とのクリアランスを把握できる。したがって、ユーザは、車両９の側面が他の物体と近接した状態で車両９を前進させる場合において、車両９と他の物体との接触を容易に回避することができる。
【０１３３】
図２０は、すれ違いモードＭ４において、車両９の進行方向が後方の場合の表示画像ＤＰ５の一例を示す図である。この表示画像ＤＰ５においては、２つのサイド画像ＲＰ１，ＲＰ２とアイコンＩＣとが並ぶように含まれている。アイコンＩＣは、２つのサイド画像ＲＰ１，ＲＰ２に示される車両９の周辺の範囲を記号的に示している。
【０１３４】
左サイド画像ＲＰ１は、車両９の左側方、かつ、車両９の進行方向となる後方の領域を示している。より具体的には、左サイド画像ＲＰ１は、車両９の左側のサイドミラー９３よりも後方の領域を示している。また、左サイド画像ＦＰ１には、車両９の左側の後タイヤ近傍の車体の像が含まれている。
【０１３５】
一方、右サイド画像ＲＰ２は、車両９の右側方、かつ、車両９の進行方向となる後方の領域を示している。より具体的には、右サイド画像ＲＰ２は、車両９の右側のサイドミラー９３よりも後方の領域を示している。また、右サイド画像ＲＰ２には、車両９の右側の後タイヤ近傍の車体の像が含まれている。
【０１３６】
図２１は、表示画像ＤＰ５に含まれるサイド画像ＲＰ１，ＲＰ２を生成する手法を説明する図である。左サイド画像ＲＰ１は、左サイドカメラ５３で得られた撮影画像Ｐ３における、車両９の側（図中右側）、かつ、サイドミラー９３の後方に対応する領域ＲＡ１を切り出すことで生成される。一方、右サイド画像ＲＰ２は、右サイドカメラ５４で得られた撮影画像Ｐ４中における、車両９の側（図中左側）、かつ、サイドミラー９３の後方に対応する領域ＲＡ２を切り出すことで生成される。
【０１３７】
ユーザは、図２０に示す表示画像ＤＰ５を視認することによって、車両９の側方、かつ、車両９の進行方向となる後方に存在する物体を把握することができる。また、表示画像ＤＰ５のサイド画像ＲＰ１，ＲＰ２は、車両９の車体の一部の像を含むため、ユーザは、車両９の車体と他の物体とのクリアランスを把握できる。したがって、ユーザは、車両９の側面が他の物体と近接した状態で車両９を後退させる場合において、車両９と他の物体との接触を容易に回避することができる。
【０１３８】
図２２は、すれ違いモードＭ４における画像表示システム１２０の処理の流れを示す図である。この処理は、サイドミラー９３が格納されて動作モードがすれ違いモードＭ４に移行した以降、所定の周期（例えば、１／３０秒）で繰り返し実行される。
【０１３９】
まず、ミラー検出部１３が、ミラー駆動部７２からの信号に基づいて、サイドミラー９３の状態（格納／展開）を検出する。サイドミラー９３が展開されている場合は（ステップＳ２１にてＮｏ）、すれ違いモードＭ４の処理は終了する。
【０１４０】
一方、サイドミラー９３が格納されている場合は（ステップＳ２１にてＹｅｓ）、続いて、シフト判定部１２が、シフトセンサ７１からの信号に基づいて、現時点におけるシフトポジションを判定する。これにより、シフト判定部１２は、実質的に現時点の車両９の進行方向を判定する（ステップＳ２２）。
【０１４１】
車両９の進行方向が前方の場合（シフトポジションが「Ｒ」以外の場合）（ステップＳ２３にてＹｅｓ）は、まず、画像取得部４１が左右のサイドカメラ５３，５４からそれぞれ撮影画像を取得する（ステップＳ２４）。
【０１４２】
次に、表示画像生成部３２が、これらの撮影画像を用いて図１９で示した手法により、車両９の側方、かつ、前方を示す表示画像ＤＰ４を生成する（ステップＳ２５）。生成された表示画像ＤＰ４は、ナビ通信部４２からナビゲーション装置２０に出力される。これにより、表示画像ＤＰ４が、ナビゲーション装置２０のディスプレイ２１に表示される（ステップＳ２８）。
【０１４３】
一方、車両９の進行方向が後方の場合（シフトポジションが「Ｒ」の場合）（ステップＳ２３にてＮｏ）は、まず、画像取得部４１が左右のサイドカメラ５３，５４からそれぞれ撮影画像を取得する（ステップＳ２６）。
【０１４４】
次に、表示画像生成部３２が、これらの撮影画像を用いて図２１で示した手法により、車両９の側方、かつ、後方を示す表示画像ＤＰ５を生成する（ステップＳ２７）。生成された表示画像ＤＰ５は、ナビ通信部４２からナビゲーション装置２０に出力される。これにより、表示画像ＤＰ５が、ナビゲーション装置２０のディスプレイ２１に表示される（ステップＳ２８）。
【０１４５】
以上のように、第３の実施の形態の画像表示システム１２０では、サイドミラー９３が格納された場合に、車両９の側方、かつ、進行方向を示す表示画像が生成され、ディスプレイ２１に表示される。したがって、ユーザは、車両９の側面が他の物体と近接する場合において、確認しにくい車両９の側方の様子を容易に把握することができる。
【０１４６】
＜４．変形例＞
以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態に限定されるものではなく様々な変形が可能である。以下では、このような変形例について説明する。上記実施の形態及び以下で説明する形態を含む全ての形態は、適宜に組み合わせ可能である。
【０１４７】
第１の実施の形態では、フロントモードＭ２の合成画像ＣＰ１に示される周辺領域Ａ１と、バックモードＭ３の合成画像ＣＰ２に示される周辺領域Ａ１とは同一の領域であったが、同一の領域でなくてもよい。
【０１４８】
第３の実施の形態では、表示画像において車両９の左側方と右側方との双方が示されていたが、車両９の左側方と右側方とのいずれか一方を示すようにしてもよい。このような場合、表示画像は、ユーザにとって確認することが難しい運転席から逆側の側方を示すことが望ましい。
【０１４９】
また、上記実施の形態では、画像生成装置１００の本体部１０とナビゲーション装置２０とは別の装置であるとして説明したが、本体部１０とナビゲーション装置２０とが同一の筐体内に配置されて一体型の装置として構成されてもよい。
【０１５０】
また、上記実施の形態では、画像生成装置１００で生成された画像を表示する表示装置はナビゲーション装置２０であるとして説明したが、ナビゲーション機能等の特殊な機能を有していない一般的な表示装置であってもよい。
【０１５１】
また、上記実施の形態において、画像生成装置１００の制御部１によって実現されると説明した機能の一部は、ナビゲーション装置２０の制御部２３によって実現されてもよい。
【０１５２】
また、シフトセンサ７１やミラー駆動部７２からの信号は、ナビゲーション装置２０が受信するようになっていてもよい。この場合は、ナビ通信部４２を経由して、画像生成装置１００の制御部１に当該信号を入力すればよい。
【０１５３】
また、上記実施の形態では、プログラムに従ったＣＰＵの演算処理によってソフトウェア的に各種の機能が実現されると説明したが、これら機能のうちの一部は電気的なハードウェア回路により実現されてもよい。また逆に、ハードウェア回路によって実現されるとした機能のうちの一部は、ソフトウェア的に実現されてもよい。
【０１５４】
◎なお、上述した具体的実施の形態には以下の構成を有する発明が含まれている。
【０１５５】
（１）車両において用いられ、前記車両の周辺を示す画像を生成する画像生成装置であって、前記車両の側方を撮影するサイドカメラの撮影画像を取得する取得手段と、前記車両の進行方向を判定する判定手段と、前記車両のサイドミラーの状態を検出する検出手段と、前記サイドミラーが格納された場合は、前記サイドカメラの撮影画像に基づいて前記車両の側方、かつ、前記進行方向を示す表示画像を生成する生成手段と、前記表示画像を表示装置に出力して、前記表示装置に表示させる出力手段と、を備えることを特徴とする画像生成装置。
【０１５６】
これによれば、サイドミラーが格納された場合において、車両の側方、かつ、進行方向を示す表示画像が表示される。このため、車両の側面が他の物体と近接する場合において、ユーザは確認しにくい車両の側方の様子を把握することができる。
【０１５７】
（２）上記（１）に記載の画像生成装置において、前記表示画像は、前記車両の車体の一部の像を含むことを特徴とする画像生成装置。
【０１５８】
これによれば、表示画像は車両の車体の一部の像を含むため、ユーザは、車両の車体と他の物体とのクリアランスを把握することができる。
【０１５９】
（３）車両において用いられ、前記車両の周辺を示す画像を生成する画像生成方法であって、（ａ）前記車両の側方を撮影するサイドカメラの撮影画像を取得する工程と、（ｂ）前記車両の進行方向を判定する工程と、（ｃ）前記車両のサイドミラーの状態を検出する工程と、（ｄ）前記サイドミラーが格納された場合は、前記サイドカメラの撮影画像に基づいて前記車両の側方、かつ、前記進行方向を示す表示画像を生成する工程と、（ｅ）前記表示画像を表示する工程と、を備えることを特徴とする画像生成方法。
【０１６０】
これによれば、サイドミラーが格納された場合において、車両の側方、かつ、進行方向を示す表示画像が表示される。このため、車両の側面が他の物体と近接する場合において、ユーザは確認しにくい車両の側方の様子を把握することができる。
【符号の説明】
【０１６１】
３ 画像生成部
５ 撮影部
９ 車両
１２ シフト判定部
１３ ミラー検出部
２０ ナビゲーション装置
２１ ディスプレイ
４２ ナビ通信部
１００ 画像生成装置
ＴＳ 投影面
ＶＰ 仮想視点
【特許請求の範囲】
【請求項１】
車両において用いられ、前記車両の周辺を示す画像を生成する画像生成装置であって、
前記車両の周辺の互いに異なる方向を撮影する複数のカメラの撮影画像を取得する取得手段と、
前記車両の進行方向を判定する判定手段と、
前記撮影画像に基づいて、前記車両を俯瞰する仮想視点からみた前記車両の周囲の第１領域と、前記車両の前記第１領域より外側の前記進行方向とは逆方向の第２領域とを連続的に示す合成画像を生成する生成手段と、
前記合成画像を含む表示画像を表示装置に出力して、前記表示装置に表示させる出力手段と、
を備えることを特徴とする画像生成装置。
【請求項２】
請求項１に記載の画像生成装置において、
前記表示画像は、
前記合成画像と、
前記車両の前記進行方向の第３領域を示す画像と、
を含むことを特徴とする画像生成装置。
【請求項３】
請求項１または２に記載の画像生成装置において、
前記合成画像は、前記車両の像を含むことを特徴とする画像生成装置。
【請求項４】
請求項３に記載の画像生成装置において、
前記生成手段は、
前記進行方向が前方の場合は、前記合成画像における前記車両の像の中心位置を前記合成画像の上下中央よりも上側にし、
前記進行方向が後方の場合は、前記合成画像における前記車両の像の中心位置を前記合成画像の上下中央よりも下側にすることを特徴とする画像生成装置。
【請求項５】
請求項１ないし４のいずれかに記載の画像生成装置において、
前記生成手段は、前記撮影画像のデータを仮想の投影面に投影することで前記合成画像を生成するものであり、
前記投影面において、前記第１領域に相当する部分は平面であることを特徴とする画像生成装置。
【請求項６】
請求項５に記載の画像生成装置において、
前記投影面において、前記第２領域に相当する部分は、前記平面に接する曲面であることを特徴とする画像生成装置。
【請求項７】
車両において用いられ、前記車両の周辺を示す画像を生成する画像生成装置であって、
前記車両の前方及び後方をそれぞれ撮影する複数のカメラの撮影画像を取得する取得手段と、
前記車両の進行方向を判定する判定手段と、
前記撮影画像に基づいて、表示画像を生成する生成手段と、
前記表示画像を表示装置に出力して、前記表示装置に表示させる出力手段と、
を備え、
前記生成手段は、前記表示画像として、
前記車両の前記進行方向が前方の場合は、前記車両の前方を示す第１表示画像を生成し、
前記車両の前記進行方向が後方の場合は、前記車両の後方を示す第２表示画像、及び、前記車両の前方を示す第３表示画像の一方をユーザの操作に応じて選択的に生成し、
前記第１表示画像と前記３表示画像とは、前記車両の前方を異なる態様で示すことを特徴とする画像生成装置。
【請求項８】
請求項７に記載の画像生成装置において、
前記第１表示画像は、前記車両の前方の一部を隠すマスク領域を含み、
前記第３表示画像は、前記マスク領域を含まないことを特徴とする画像生成装置。
【請求項９】
請求項７に記載の画像生成装置において、
前記第１表示画像は、前記車両の前方の一部を隠す非透過のマスク領域を含み、
前記第３表示画像は、前記車両の前方の一部を隠す透過性のマスク領域を含むことを特徴とする画像生成装置。
【請求項１０】
請求項７に記載の画像生成装置において、
前記第１表示画像と前記第３表示画像とは、前記車両の前方の一部を隠すマスク領域の形状が異なることを特徴とする画像生成装置。
【請求項１１】
車両において用いられ、前記車両の周辺を示す画像を表示する画像表示システムであって、
請求項１ないし１０のいずれかに記載の画像生成装置と、
前記画像生成装置から出力される表示画像を表示する表示装置と、
を備えることを特徴とする画像表示システム。
【請求項１２】
車両において用いられ、前記車両の周辺を示す画像を生成する画像生成方法であって、
（ａ）前記車両の周辺の互いに異なる方向を撮影する複数のカメラの撮影画像を取得する工程と、
（ｂ）前記車両の進行方向を判定する工程と、
（ｃ）前記撮影画像に基づいて、前記車両を俯瞰する仮想視点からみた前記車両の周囲の第１領域と、前記車両の前記第１領域より外側の前記進行方向とは逆方向の第２領域とを連続的に示す合成画像を生成する工程と、
（ｄ）前記合成画像を含む表示画像を表示する工程と、
を備えることを特徴とする画像生成方法。
【請求項１３】
車両において用いられ、前記車両の周辺を示す画像を生成する画像生成方法であって、
（ａ）前記車両の前方及び後方をそれぞれ撮影する複数のカメラの撮影画像を取得する工程と、
（ｂ）前記車両の進行方向を判定する工程と、
（ｃ）前記撮影画像に基づいて、表示画像を生成する工程と、
（ｄ）前記表示画像を表示する工程と、
を備え、
前記工程（ｃ）は、前記表示画像として、
前記車両の前記進行方向が前方の場合は、前記車両の前方を示す第１表示画像を生成し、
前記車両の前記進行方向が後方の場合は、前記車両の後方を示す第２表示画像、及び、前記車両の前方を示す第３表示画像の一方をユーザの操作に応じて選択的に生成し、
前記第１表示画像と前記３表示画像とは、前記車両の前方を異なる態様で示すことを特徴とする画像生成方法。
【請求項１】
車両において用いられ、前記車両の周辺を示す画像を生成する画像生成装置であって、
前記車両の周辺の互いに異なる方向を撮影する複数のカメラの撮影画像を取得する取得手段と、
前記車両の進行方向を判定する判定手段と、
前記撮影画像に基づいて、前記車両を俯瞰する仮想視点からみた前記車両の周囲の第１領域と、前記車両の前記第１領域より外側の前記進行方向とは逆方向の第２領域とを連続的に示す合成画像を生成する生成手段と、
前記合成画像を含む表示画像を表示装置に出力して、前記表示装置に表示させる出力手段と、
を備えることを特徴とする画像生成装置。
【請求項２】
請求項１に記載の画像生成装置において、
前記表示画像は、
前記合成画像と、
前記車両の前記進行方向の第３領域を示す画像と、
を含むことを特徴とする画像生成装置。
【請求項３】
請求項１または２に記載の画像生成装置において、
前記合成画像は、前記車両の像を含むことを特徴とする画像生成装置。
【請求項４】
請求項３に記載の画像生成装置において、
前記生成手段は、
前記進行方向が前方の場合は、前記合成画像における前記車両の像の中心位置を前記合成画像の上下中央よりも上側にし、
前記進行方向が後方の場合は、前記合成画像における前記車両の像の中心位置を前記合成画像の上下中央よりも下側にすることを特徴とする画像生成装置。
【請求項５】
請求項１ないし４のいずれかに記載の画像生成装置において、
前記生成手段は、前記撮影画像のデータを仮想の投影面に投影することで前記合成画像を生成するものであり、
前記投影面において、前記第１領域に相当する部分は平面であることを特徴とする画像生成装置。
【請求項６】
請求項５に記載の画像生成装置において、
前記投影面において、前記第２領域に相当する部分は、前記平面に接する曲面であることを特徴とする画像生成装置。
【請求項７】
車両において用いられ、前記車両の周辺を示す画像を生成する画像生成装置であって、
前記車両の前方及び後方をそれぞれ撮影する複数のカメラの撮影画像を取得する取得手段と、
前記車両の進行方向を判定する判定手段と、
前記撮影画像に基づいて、表示画像を生成する生成手段と、
前記表示画像を表示装置に出力して、前記表示装置に表示させる出力手段と、
を備え、
前記生成手段は、前記表示画像として、
前記車両の前記進行方向が前方の場合は、前記車両の前方を示す第１表示画像を生成し、
前記車両の前記進行方向が後方の場合は、前記車両の後方を示す第２表示画像、及び、前記車両の前方を示す第３表示画像の一方をユーザの操作に応じて選択的に生成し、
前記第１表示画像と前記３表示画像とは、前記車両の前方を異なる態様で示すことを特徴とする画像生成装置。
【請求項８】
請求項７に記載の画像生成装置において、
前記第１表示画像は、前記車両の前方の一部を隠すマスク領域を含み、
前記第３表示画像は、前記マスク領域を含まないことを特徴とする画像生成装置。
【請求項９】
請求項７に記載の画像生成装置において、
前記第１表示画像は、前記車両の前方の一部を隠す非透過のマスク領域を含み、
前記第３表示画像は、前記車両の前方の一部を隠す透過性のマスク領域を含むことを特徴とする画像生成装置。
【請求項１０】
請求項７に記載の画像生成装置において、
前記第１表示画像と前記第３表示画像とは、前記車両の前方の一部を隠すマスク領域の形状が異なることを特徴とする画像生成装置。
【請求項１１】
車両において用いられ、前記車両の周辺を示す画像を表示する画像表示システムであって、
請求項１ないし１０のいずれかに記載の画像生成装置と、
前記画像生成装置から出力される表示画像を表示する表示装置と、
を備えることを特徴とする画像表示システム。
【請求項１２】
車両において用いられ、前記車両の周辺を示す画像を生成する画像生成方法であって、
（ａ）前記車両の周辺の互いに異なる方向を撮影する複数のカメラの撮影画像を取得する工程と、
（ｂ）前記車両の進行方向を判定する工程と、
（ｃ）前記撮影画像に基づいて、前記車両を俯瞰する仮想視点からみた前記車両の周囲の第１領域と、前記車両の前記第１領域より外側の前記進行方向とは逆方向の第２領域とを連続的に示す合成画像を生成する工程と、
（ｄ）前記合成画像を含む表示画像を表示する工程と、
を備えることを特徴とする画像生成方法。
【請求項１３】
車両において用いられ、前記車両の周辺を示す画像を生成する画像生成方法であって、
（ａ）前記車両の前方及び後方をそれぞれ撮影する複数のカメラの撮影画像を取得する工程と、
（ｂ）前記車両の進行方向を判定する工程と、
（ｃ）前記撮影画像に基づいて、表示画像を生成する工程と、
（ｄ）前記表示画像を表示する工程と、
を備え、
前記工程（ｃ）は、前記表示画像として、
前記車両の前記進行方向が前方の場合は、前記車両の前方を示す第１表示画像を生成し、
前記車両の前記進行方向が後方の場合は、前記車両の後方を示す第２表示画像、及び、前記車両の前方を示す第３表示画像の一方をユーザの操作に応じて選択的に生成し、
前記第１表示画像と前記３表示画像とは、前記車両の前方を異なる態様で示すことを特徴とする画像生成方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【公開番号】特開２０１２−２５７００４（Ｐ２０１２−２５７００４Ａ）
【公開日】平成２４年１２月２７日（２０１２．１２．２７）
【国際特許分類】
【出願番号】特願２０１１−１２７９２８（Ｐ２０１１−１２７９２８）
【出願日】平成２３年６月８日（２０１１．６．８）
【出願人】（０００２３７５９２）富士通テン株式会社 (3,383)
【Ｆターム（参考）】
【公開日】平成２４年１２月２７日（２０１２．１２．２７）
【国際特許分類】
【出願日】平成２３年６月８日（２０１１．６．８）
【出願人】（０００２３７５９２）富士通テン株式会社 (3,383)
【Ｆターム（参考）】
[ Back to top ]