画像生成装置及び画像表示システム
【課題】車両の走行速度が所定の閾値より低い場合に周辺画像を表示させるときに、表示モードの切り替え無しに車両の周辺の必要な領域の状況をユーザに提供する。
【解決手段】画像表示システムでは、車両９の走行速度が所定の閾値より低くなりフロントモードＭ１に移行すると、フロントモードＭ１の開始時点では車両９の前方領域及び側方領域の双方を同時に表示可能な汎用性の高い前側方モードＭ１１とされる。前側方モードＭ１１で示される画面は、交差点への進入、すれ違い、幅寄せなどの想定される様々な状況に対応可能であることから、ユーザは表示モードを切り替えることなく、車両９の周辺の必要な領域の状況を確認することができる。
【解決手段】画像表示システムでは、車両９の走行速度が所定の閾値より低くなりフロントモードＭ１に移行すると、フロントモードＭ１の開始時点では車両９の前方領域及び側方領域の双方を同時に表示可能な汎用性の高い前側方モードＭ１１とされる。前側方モードＭ１１で示される画面は、交差点への進入、すれ違い、幅寄せなどの想定される様々な状況に対応可能であることから、ユーザは表示モードを切り替えることなく、車両９の周辺の必要な領域の状況を確認することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に搭載された表示装置に表示させる画像を生成する技術に関する。
【背景技術】
【０００２】
従来より、自動車などの車両に搭載され、車載カメラを利用して車両の周辺の画像を生成する画像生成装置が知られている。画像生成装置で生成された画像は車室内のディスプレイに表示される。これにより、車両の周辺の様子がほぼリアルタイムにドライバに示される。
【０００３】
例えば、運転席の逆側となるフロントフェンダの外側領域は運転席から死角となりやすい。このため、車載カメラの撮影によりフロントフェンダの外側領域を示す画像を生成し、その画像を車室内のディスプレイに表示させる。これにより、車両の幅寄せを行う場合などにおいて、運転席の逆側の車体と障害物との間のクリアランスをドライバは容易に確認できるようになる。
【０００４】
また、近年では、複数の車載カメラで車両の周辺を撮影して得られる複数の撮影画像を利用して、車両の真上や後方などの任意の仮想視点からみた車両の周辺の様子を示す合成画像を生成してドライバに提供することなども提案されている（例えば、特許文献１参照。）
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第３３００３３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、交差点への進入、すれ違い、幅寄せなど、車両の周辺の確認が特に必要な運転操作を行う場合においては、ドライバは車両の走行速度を低下させることが多い。このため、車両の走行速度が所定の閾値より低下した場合には、ドライバが周辺の確認が必要な状況であるとして、車両の周辺を示す周辺画像を車室内のディスプレイに自動的に表示させることが考えられる。
【０００７】
しかしながら、ドライバが車両の走行速度を低下させたときの状況に応じて、ドライバが確認を特に必要とする車両の周辺の領域は異なる。例えば、交差点へ進入する場面では、ドライバは車両の前方領域の確認が特に必要となる。一方で、すれ違いや幅寄せなどを行う場面では、ドライバは車両の側方領域の確認が特に必要となる。
【０００８】
このため、車両の走行速度が所定の閾値より低下した場合に、前方領域のみを示す表示モード、あるいは、側方領域のみを示す表示モードに一律に移行したのでは、ドライバが確認を所望する領域とは異なる領域が表示される場面がある。例えば、ドライバが交差点への進入を意図している状況では、車両の前方領域の確認が必要となるが、車両の側方領域を表示する表示モードに自動的に移行してしまう場面が生じる。このような場合では、ドライバは前方領域を表示する表示モードに切り替えなければならない。車両の周辺の確認が特に必要となる状況で、このような表示モードを切り替える操作を行うことは煩雑であり、利便性が損なわれる可能性がある。
【０００９】
本発明は、上記課題に鑑みてなされたものであり、車両の走行速度が所定の閾値より低くなった場合に、車両の周辺の必要な領域の状況をユーザに提供できる技術を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記課題を解決するため、請求項１の発明は、車両に搭載された表示装置に表示させる画像を生成する画像生成装置であって、前記画像生成装置は、前記車両の周辺を示す周辺画像を表示するための複数の表示モードを有しており、前記車両の走行速度を取得する手段と、前記表示装置に画像を表示させる表示制御手段と、を備え、前記表示制御手段は、前記走行速度が所定の閾値より低くなった場合には、前記車両の前方領域を示す第１画像と、前記車両に搭載された複数のカメラで得られる複数の画像を用いて生成された合成画像に車両像を含めた第２画像とを表示する表示モードで、前記周辺画像を前記表示装置に表示させ、前記周辺画像の表示後に前記走行速度が所定の閾値より高くなった場合には、前記周辺画像を他の画像に切り替え、該他の画像を前記表示装置に表示させる。
【００１１】
また、請求項２の発明は、請求項１に記載の画像生成装置において、前記表示制御手段は、前記車両の方向指示器からの信号に応じて、前記第２画像が示す前記車両の周辺の領域を変更する。
【００１２】
また、請求項３の発明は、請求項１に記載の画像生成装置において、前記第１画像および前記第２画像の表示後に、前記表示モードを前記複数の表示モードのうちの他の表示モードに切り替え可能なモード切替手段、をさらに備えている。
【００１３】
また、請求項４の発明は、車両に搭載される画像表示システムであって、請求項１ないし３のいずれかに記載の画像生成装置と、前記画像生成装置で生成された画像を表示する表示装置と、を備えている。
【発明の効果】
【００１４】
請求項１ないし４の発明によれば、走行速度が閾値より低くなった場合は、車両の前方領域と合成画像との双方を表示する表示モードで周辺画像を表示装置に表示させるため、車両の周辺の必要な領域の状況をユーザに提供できる。また、周辺画像の表示後に走行速度が閾値より高くなった場合には、周辺画像を他の画像に切り替えるため、ユーザを走行に集中させることができる。
【図面の簡単な説明】
【００１５】
【図１】図１は、画像表示システムの構成を示すブロック図である。
【図２】図２は、車載カメラが車両に配置される位置を示す図である。
【図３】図３は、合成画像を生成する手法を説明するための図である。
【図４】図４は、画像表示システムの動作モードの遷移を示す図である。
【図５】図５は、フロントモードにおける表示モードの遷移を示す図である。
【図６】図６は、前側方モードの画面の一例を示す図である。
【図７】図７は、前側方モードで示される視野範囲を説明する図である。
【図８】図８は、すれ違いモードで示される視野範囲を説明する図である。
【図９】図９は、サイドカメラモードで示される視野範囲を説明する図である。
【図１０】図１０は、第１の実施の形態の画像表示システムの基本動作の流れを示す図である。
【図１１】図１１は、前側方モードにおける画面の状態遷移を示す図である。
【図１２】図１２は、仮想視点の位置の遷移を示す図である。
【図１３】図１３は、第２の実施の形態の画像表示システムの基本動作の流れを示す図である。
【図１４】図１４は、第３の実施の形態の画像表示システムの基本動作の流れを示す図である。
【発明を実施するための形態】
【００１６】
以下、図面を参照しつつ本発明の実施の形態について説明する。
【００１７】
＜１．第１の実施の形態＞
＜１−１．構成＞
図１は、第１の実施の形態の画像表示システム１００の構成を示すブロック図である。この画像表示システム１００は、車両（本実施の形態では、自動車）に搭載されるものであり、車両の周辺を撮影して画像を生成し、車室内に表示する機能を有している。画像表示システム１００のユーザ（代表的にはドライバ）は、この画像表示システム１００を利用することにより当該車両の周辺を容易に把握できるようになっている。
【００１８】
図１に示すように、画像表示システム１００は、車両の周辺を撮影する撮影部５と、車両の周辺を示す周辺画像を生成する画像生成装置１０と、車両に乗車するユーザに対して各種情報を提供するナビゲーション装置２０とを備えている。画像生成装置１０は、画像生成機能を有するＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）として構成され、車両の所定の位置に配置される。
【００１９】
ナビゲーション装置２０は、ユーザに対しナビゲーション案内を行うものであり、タッチパネル機能を備えた液晶などのディスプレイ２１と、ユーザが操作を行う操作部２２と、装置全体を制御する制御部２３とを備えている。ディスプレイ２１の画面がユーザから視認可能なように、ナビゲーション装置２０は車両のインストルメントパネルなどに設置される。ユーザからの各種の指示は、操作部２２とタッチパネルとしてのディスプレイ２１とによって受け付けられる。制御部２３は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えたコンピュータとして構成され、所定のプログラムに従ってＣＰＵが演算処理を行うことでナビゲーション機能を含む各種の機能が実現される。
【００２０】
ナビゲーション装置２０は、画像生成装置１０と通信可能に接続され、画像生成装置１０との間で各種の制御信号の送受信や、画像生成装置１０で生成された周辺画像の受信が可能となっている。ディスプレイ２１には、制御部２３の制御により、通常はナビゲーション装置２０単体の機能に基づく画像が表示されるが、所定の条件下で画像生成装置１０で生成された車両の周辺の様子を示す周辺画像が表示される。これにより、ナビゲーション装置２０は、画像生成装置１０で生成された周辺画像を受信して表示する表示装置としても機能する。
【００２１】
撮影部５は、画像生成装置１０に電気的に接続され画像生成装置１０からの信号に基づいて動作する。撮影部５は、車載カメラであるフロントカメラ５１、サイドカメラ５２及びバックカメラ５３を備えている。これらの車載カメラ５１，５２，５３は、レンズと撮像素子とを備えており電子的に画像を取得する。
【００２２】
図２は、車載カメラ５１，５２，５３が車両９に配置される位置を示す図である。図２に示すように、フロントカメラ５１は、車両９の前端にあるナンバープレート取付位置の近傍に設けられ、その光軸５１ａは車両９の直進方向に向けられている。また、サイドカメラ５２は、左右のドアミラー９３にそれぞれ設けられており、その光軸５２ａは直進方向に対して直交するように車両９の外部方向に向けられている。バックカメラ５３は、車両９の後端にあるナンバープレート取付位置の近傍に設けられ、その光軸５３ａは車両９の直進方向の逆方向に向けられている。なお、フロントカメラ５１やバックカメラ５３の取り付け位置は、左右略中央であることが望ましいが、左右中央から左右方向に多少ずれた位置であってもよい。
【００２３】
これらの車載カメラ５１，５２，５３のレンズとしては魚眼レンズなどが採用されており、車載カメラ５１，５２，５３は１８０度以上の画角αを有している。このため、４つの車載カメラ５１，５２，５３を利用することで、車両９の全周囲の撮影が可能となっている。
【００２４】
図１に戻り、画像生成装置１０は、装置全体を制御する制御部１と、撮影部５で取得された撮影画像を処理して表示用の周辺画像を生成する画像処理部３と、ナビゲーション装置２０との間で通信を行うナビ通信部４２と、表示内容を切り替える指示をユーザから受け付ける切替スイッチ４３とを備えている。
【００２５】
ナビゲーション装置２０の操作部２２やディスプレイ２１によって受け付けられたユーザからの各種の指示は、制御信号としてナビ通信部４２によって受け付けられて制御部１に入力される。また、切替スイッチ４３からもユーザの指示を示す信号が制御部１に入力される。これにより、画像生成装置１０は、ナビゲーション装置２０に対するユーザの操作、及び、切替スイッチ４３に対するユーザの操作の双方に応答した動作が可能となっている。
【００２６】
画像処理部３は、各種の画像処理が可能なハードウェア回路として構成されており、撮影画像調整部３１、及び、合成画像生成部３２を主な機能として備えている。撮影画像調整部３１は、撮影部５で取得された撮影画像について調整を行うものであり、撮影画像の明るさやコントラスト等の画質調整や歪み補正などを行う。合成画像生成部３２は、撮影部５の複数の車載カメラ５１，５２，５３で取得された複数の撮影画像に基づいて、車両９の周辺の任意の仮想視点からみた合成画像を生成する。合成画像生成部３２が仮想視点からみた合成画像を生成する手法については後述する。撮影画像や合成画像は、表示用の画像に調整された後、ナビ通信部４２によってナビゲーション装置２０に出力される。これにより、車両の周辺を示す周辺画像がナビゲーション装置２０のディスプレイ２１に表示される。
【００２７】
制御部１は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えたコンピュータとして構成され、所定のプログラムに従ってＣＰＵが演算処理を行うことで各種の制御機能が実現される。このようにして実現される制御部１の機能には、画像処理部３によって実行される画像処理を制御する機能などが含まれている。合成画像生成部３２が生成する合成画像の生成に必要な各種パラメータは、この制御部１の機能によって指示される。
【００２８】
また、画像生成装置１０は、不揮発性メモリ４０、カード読取部４４、及び、信号入力部４１をさらに備えており、これらは制御部１に接続されている。
【００２９】
不揮発性メモリ４０は、電源オフ時においても記憶内容を維持可能なフラッシュメモリなどで構成されている。不揮発性メモリ４０には、合成画像の生成に必要な各種のデータが予め記憶される。例えば、車両９の種別に応じた車種別データ７が、不揮発性メモリ４０に予め記憶されている。不揮発性メモリ４０に係るデータの読み出しや書き込みは、制御部１によって制御される。
【００３０】
カード読取部４４は、可搬性の記録媒体であるメモリカード６１の読み取りを行う。カード読取部４４は、メモリカード６１の着脱が可能なカードスロットを備えており、そのカードスロットに装着されたメモリカード６１に記録されたデータを読み取る。カード読取部４４で読み取られたデータは、制御部１に入力される。
【００３１】
メモリカード６１は、種々のデータを記憶可能なフラッシュメモリなどで構成されており、画像生成装置１０はメモリカード６１に記憶された種々のデータを利用できる。例えば、メモリカード６１にプログラムを記憶させ、これを読み出すことで、制御部１の機能を実現するプログラム（ファームウェア）を更新することが可能である。また、メモリカード６１に不揮発性メモリ４０に記憶された車種別データ７とは異なる種別の車両に応じた車種別データ７を記憶させ、これを読み出して不揮発性メモリ４０に記憶させることで、画像表示システム１００を異なる種別の車両に対応させることも可能である。
【００３２】
また、信号入力部４１は、車両９に設けられた各種装置からの信号を入力する。この信号入力部４１を介して、画像表示システム１００の外部からの信号が制御部１に入力される。具体的には、シフトセンサ８１、車速度センサ８２、及び、方向指示器８３などから、各種情報を示す信号が制御部１に入力される。シフトセンサ８１からは、車両９の変速装置のシフトレバーの操作の位置、すなわち、”Ｐ（駐車）”，”Ｄ（前進）”，”Ｎ（中立）”，”Ｒ（後退）”などのシフトポジションが入力される。車速度センサ８２からは、その時点の車両９の走行速度（ｋｍ／ｈ）が入力される。
【００３３】
また、方向指示器８３からは、ウインカースイッチの操作に基づく方向指示、すなわち、車両９のドライバが意図する方向指示を示すターン信号が入力される。ウインカースイッチが操作されたときはターン信号が発生し、ターン信号はその操作された方向（左方向あるいは右方向）を示すことになる。ウインカースイッチが中立位置となったときは、ターン信号はオフとなる。
【００３４】
＜１−２．画像変換処理＞
次に、画像処理部３の合成画像生成部３２が、撮影部５で得られた複数の撮影画像に基づいて車両９の周辺を任意の仮想視点からみた様子を示す合成画像を生成する手法について説明する。合成画像を生成する際には、不揮発性メモリ４０に予め記憶された車種別データ７が利用される。図３は、合成画像を生成する手法を説明するための図である。
【００３５】
撮影部５のフロントカメラ５１、サイドカメラ５２及びバックカメラ５３で同時に撮影が行われると、車両９の前方、左側方、右側方、及び、後方をそれぞれ示す４つの撮影画像Ｐ１〜Ｐ４が取得される。すなわち、撮影部５で取得される４つの撮影画像Ｐ１〜Ｐ４には、撮影時点の車両９の全周囲を示す情報が含まれていることになる。
【００３６】
次に、４つの撮影画像Ｐ１〜Ｐ４の各画素が、仮想的な三次元空間における立体曲面ＳＰに投影される。立体曲面ＳＰは、例えば略半球状（お椀形状）をしており、その中心部分（お椀の底部分）が車両９が存在する位置として定められている。撮影画像Ｐ１〜Ｐ４に含まれる各画素の位置と、この立体曲面ＳＰの各画素の位置とは予め対応関係が定められている。このため、立体曲面ＳＰの各画素の値は、この対応関係と撮影画像Ｐ１〜Ｐ４に含まれる各画素の値とに基づいて決定できる。
【００３７】
撮影画像Ｐ１〜Ｐ４の各画素の位置と立体曲面ＳＰの各画素の位置との対応関係は、車両９における４つの車載カメラ５１，５２，５３の配置（相互間距離、地上高さ、光軸角度等）に依存する。このため、この対応関係を示すテーブルデータが、不揮発性メモリ４０に記憶された車種別データ７に含まれている。
【００３８】
また、車種別データ７に含まれる車体の形状やサイズを示すポリゴンデータが利用され、車両９の三次元形状を示すポリゴンモデルである車両像が仮想的に構成される。構成された車両像は、立体曲面ＳＰが設定される三次元空間において、車両９の位置と定められた略半球状の中心部分に配置される。
【００３９】
さらに、立体曲面ＳＰが存在する三次元空間に対して、制御部１により仮想視点ＶＰが設定される。仮想視点ＶＰは、視点位置と視野方向とで規定され、この三次元空間における車両９の周辺に相当する任意の視点位置に任意の視野方向に向けて設定される。
【００４０】
そして、設定された仮想視点ＶＰに応じて、立体曲面ＳＰにおける必要な領域が画像として切り出される。仮想視点ＶＰと、立体曲面ＳＰにおける必要な領域との関係は予め定められており、テーブルデータとして不揮発性メモリ４０等に予め記憶されている。一方で、設定された仮想視点ＶＰに応じてポリゴンで構成された車両像に関してレンダリングがなされ、その結果となる二次元の車両像が、切り出された画像に対して重畳される。これにより、車両９及びその車両９の周辺を任意の仮想視点からみた様子を示す合成画像が生成されることになる。
【００４１】
例えば、視点位置が車両９の位置の略中央の直上位置で、視野方向が略直下方向とした仮想視点ＶＰ１を設定した場合は、略真上から車両９を見下ろすように、車両９（実際には車両像）及び車両９の周辺の様子を示す合成画像ＣＰ１が生成される。また、図中に示すように、視点位置が車両９の位置の左後方で、視野方向が車両９における略前方とした仮想視点ＶＰ２を設定した場合は、車両９の左後方からその周辺全体を見渡すように、車両９（実際には車両像）及び車両９の周辺の様子を示す合成画像ＣＰ２が生成される。
【００４２】
なお、実際に合成画像を生成する場合においては、立体曲面ＳＰの全ての画素の値を決定する必要はなく、設定された仮想視点ＶＰに対応して必要となる領域の画素の値のみを撮影画像Ｐ１〜Ｐ４に基づいて決定することで、処理速度を向上できる。
【００４３】
＜１−３．動作モード＞
次に、画像表示システム１００の動作モードについて説明する。図４は、画像表示システム１００の動作モードの遷移を示す図である。画像表示システム１００では、ナビモードＭ０とフロントモードＭ１とで動作モードが自動的に切り替えられるようになっている。なお、シフトレバーを”Ｒ”に操作したときに、車両９の後方領域を示す周辺画像を表示するバックモードを、動作モードとしてさらに有していてもよい。
【００４４】
ナビモードＭ０は、ナビゲーション装置２０の機能により、ナビゲーション案内用の地図画像などをディスプレイ２１に表示する動作モードである。ナビモードＭ０では、撮影部５及び画像生成装置１０の機能が利用されず、ナビゲーション装置２０単体の機能で各種の表示がなされる。このため、ナビゲーション装置２０が、テレビジョン放送の電波を受信して表示する機能を有している場合は、ナビゲーション案内用の地図画像に代えて、テレビジョン放送画面が表示されることもある。
【００４５】
これに対して、フロントモードＭ１は、撮影部５及び画像生成装置１０の機能を利用して、車両９の周辺の状況を示す周辺画像をディスプレイ２１にほぼリアルタイムで表示する動作モードである。フロントモードＭ１では、前進時に必要となる車両９の前方領域や側方領域を示す周辺画像が表示される。
【００４６】
ナビモードＭ０の場合において、車速度センサ８２から入力される走行速度が所定の閾値（本実施の形態では１０ｋｍ／ｈ）より低くなったときは、制御部１の制御により、フロントモードＭ１に自動的に切り替えられる。一方で、フロントモードＭ１の場合において、走行速度が所定の閾値（本実施の形態では１０ｋｍ／ｈ）以上になったときは、制御部１の制御により、ナビモードＭ０に自動的に切り替えられる。
【００４７】
車両９の走行速度が比較的高い場合においては、ドライバを走行に集中させるためにフロントモードＭ１が解除され、ナビモードＭ０となる。逆に、車両９の走行速度が比較的低い場合においては、見通しの悪い交差点への進入、対向車とのすれ違い、あるいは、道路の端に車体を寄せる幅寄せなど、ドライバは車両の周辺の確認が特に必要な運転操作を行っている場面が多い。このため、走行速度が比較的低い場合においては、車両９の前方領域や側方領域を主に示すフロントモードＭ１に自動的に切り替えられる。
【００４８】
なお、ナビモードＭ０からフロントモードＭ１に切り替える閾値と、フロントモードＭ１からナビモードＭ０に切り替える閾値とが異なっていてもよい。また、ユーザからの明示的な操作指示があった場合にも、ナビモードＭ０とフロントモードＭ１とで動作モードが切り替えられるようになっていてもよい。
【００４９】
＜１−４．フロントモード＞
次に、フロントモードＭ１における車両９の周辺の表示態様について詳細に説明する。図５は、フロントモードＭ１における表示モードの遷移を示す図である。フロントモードＭ１では、前側方モードＭ１１、すれ違いモードＭ１２、及び、サイドカメラモードＭ１３の３つの表示モードがあり、これらの表示モードは互いに表示態様が異なっている。これらの表示モードは、ユーザが切替スイッチ４３を押下するごとに、前側方モードＭ１１、すれ違いモードＭ１２、サイドカメラモードＭ１３の順で制御部１の制御により切り替えられる。サイドカメラモードＭ１３の場合に切替スイッチ４３を押下すると、再び、前側方モードＭ１１に戻るようになっている。
【００５０】
前側方モードＭ１１は、フロントカメラ５１での撮影により得られるフロント画像ＦＰ１と、仮想視点ＶＰからみた車両９の側方領域を示す合成画像ＦＰ２とを並べて含む画面をディスプレイ２１に表示する表示モードである。すなわち、前側方モードＭ１１では、車両９の前方領域を示すフロント画像ＦＰ１と、車両９の側方領域を示す合成画像ＦＰ２との二つの画像が同一画面上に示される。
【００５１】
また、すれ違いモードＭ１２は、仮想視点ＶＰからみた合成画像ＦＰ３を一つのみ含む画面をディスプレイ２１に表示する表示モードである。さらに、サイドカメラモードＭ１３は、サイドカメラ５２での撮影により得られるサイド画像ＦＰ４を一つのみ含む画面をディスプレイ２１に表示する表示モードである。
【００５２】
＜１−４−１．前側方モード＞
図６は、前側方モードＭ１１においてディスプレイ２１に表示される画面の一例を示す図である。図に示すように、前側方モードＭ１１における画面では、上部にフロント画像ＦＰ１が配置され、下部に合成画像ＦＰ２が配置されている。フロント画像ＦＰ１は、仮想視点ＶＰからの合成画像ではなく、フロントカメラ５１での撮影により得られた撮影画像を撮影画像調整部３１で表示用に調整したものである。一方、合成画像ＦＰ２は、車両９の後方位置から前方に向けた仮想視点ＶＰからみた車両９の側方領域を主に示す合成画像である。
【００５３】
図７は、車両９の周辺における前側方モードＭ１１で示される視野範囲を説明する図である。図中において、破線で示す範囲ＦＶ１が、フロント画像ＦＰ１で示される視野範囲である。一方、二点鎖線で示す範囲ＦＶ２が、合成画像ＦＰ２で示される視野範囲である。視野範囲ＦＶ１と視野範囲ＦＶ２とは、相互の境界となる領域Ａ１において一部が重なっている。
【００５４】
フロント画像ＦＰ１では、車両９の前方領域において左右方向に広がる水平角度１８０°の領域が視野範囲ＦＶ１として設定されている。このため、ユーザはフロント画像ＦＰ１の閲覧により、見通しの悪い交差点に進入する場合に死角となりやすい車両９の前方領域における左右に延びる領域に存在する物体を確認できる。
【００５５】
一方、合成画像ＦＰ２においては、車両９の前端よりも前方から後端よりも後方までの左右双方の側方領域と、車両９の後方領域とを含む範囲が視野範囲ＦＶ２として設定されている。このため、合成画像ＦＰ２の閲覧により、側方領域や後方領域に存在する物体を確認できる。運転席から死角となりやすい、ドアミラー９３に映らないフロントフェンダ９４の外側付近の領域なども、視野範囲ＦＶ２に含まれている。
【００５６】
前側方モードＭ１１においては、このような視野範囲ＦＶ１，ＦＶ２の二つの画像ＦＰ１，ＦＰ２を画面を切り替えることなく同時に閲覧することができるため（図６も併せて参照。）、ユーザは車両９の前方領域及び側方領域の双方の状況を一目で確認できる。
【００５７】
合成画像ＦＰ２の仮想視点ＶＰの視点位置は車両９の後方位置に設定され、視野方向は車両９の前方方向に設定されている。このため、図６に示すように、合成画像ＦＰ２では、車両９の後方位置から前方方向をみた状態で車両９の周辺の様子が車両９の像とともに示される。これにより、フロント画像ＦＰ１の視野の向きと、合成画像ＦＰ２の視野の向きと、ユーザ（代表的にはドライバ）自身の視野の向きとがおよそ一致することから、ディスプレイ２１の画面に示された物体が存在する方向に関してユーザの混乱を招くことがない。また、ユーザは頭の中で座標変換を行うなどの複雑な思考過程を経ることもないため、ディスプレイ２１に表示された物体と車両９との位置関係を直感的に把握できる。
【００５８】
＜１−４−２．すれ違いモード＞
次に、図５に戻って、すれ違いモードＭ１２における表示態様について説明する。すれ違いモードＭ１２は、細い道などにおいて対向車とすれ違う場合を想定し、その場合に特化した表示モードであり、合成画像ＦＰ３のみを含む画面がディスプレイ２１に表示される。合成画像ＦＰ３の仮想視点ＶＰの視点位置は車両９の後端の直上付近に設定され、視野方向は車両９の略中央付近に向けられている。このため、合成画像ＦＰ３では、車両９を上から見下ろすような状態で、車両９の左右双方の側方領域が示される。
【００５９】
図８は、車両９の周辺におけるすれ違いモードＭ１２で示される視野範囲を説明する図である。図中において、二点鎖線で示す範囲ＦＶ３が、合成画像ＦＰ３で示される視野範囲である。合成画像ＦＰ３においては、車両９の前端よりも前方から後端よりも後方までの左右双方の側方領域と、車両９の後方領域とを含む範囲が視野範囲ＦＶ３として設定されている。
【００６０】
図７と図８とを比較して分かるように、合成画像ＦＰ３の視野範囲ＦＶ３と、前側方モードＭ１１の合成画像ＦＰ２の視野範囲ＦＶ２とは類似しているが、視野範囲ＦＶ３は視野範囲ＦＶ２よりも車両９の前方に延びている。ただし、この視野範囲ＦＶ３に含まれ視野範囲ＦＶ２から外れる領域は、フロント画像ＦＰ１の視野範囲ＦＶ１に含まれる。すなわち、すれ違いモードＭ１２の視野範囲ＦＶ３は、前側方モードＭ１１の２つの視野範囲ＦＶ１，ＦＶ２のいずれかに含まれることになる。
【００６１】
細い道などにおいて対向車とすれ違う場合には、前方から進行してくる対向車とのクリアランスと、車体と側方の物体とのクリアランスとの双方を確認する必要がある。すなわち、車両９の前端よりも前方から車両９の後端にかけての左右双方の側方領域の確認が必要となる。一方で、対向車とすれ違う場合には、前側方モードＭ１１のフロント画像ＦＰ１が示すような車両９の前方領域において左右に延びる領域についての確認は不要である。このため、すれ違いモードＭ１２では、車両９の左右双方の側方領域のみを示す合成画像ＦＰ３を含む画面をディスプレイ２１に表示させることで、対向車とすれ違う場合にユーザが確認すべき領域を確認しやすくなっている。
【００６２】
＜１−４−３．サイドカメラモード＞
次に、図５に戻って、サイドカメラモードＭ１３における表示態様について説明する。サイドカメラモードＭ１３は、道路の端に車体を寄せる幅寄せを行う場合などを想定し、その場合に特化した表示モードであり、サイド画像ＦＰ４のみがディスプレイ２１に表示される。
【００６３】
図９は、車両９の周辺におけるサイドカメラモードＭ１３で示される視野範囲を説明する図である。図中において、二点鎖線で示す範囲ＦＶ４が、サイド画像ＦＰ４で示される視野範囲である。運転席（車両９では右側）の逆側（車両９では左側）における車両９のフロントフェンダ９４の外側領域のみが視野範囲ＦＶ４として設定されている。このサイドカメラモードＭ１３の視野範囲ＦＶ４は、図７に示す前側方モードＭ１１の合成画像ＦＰ２の視野範囲ＦＶ２に含まれる。
【００６４】
道路の端に車体を寄せる幅寄せを行う場合においては、幅寄せする側の車体とその側方の物体とのクリアランスを確認する必要がある。通常は、運転席の逆側に幅寄せすることになるが、運転席の逆側の側方領域、特に車両９のフロントフェンダ９４の外側領域については死角になりやすい。このため、サイドカメラモードＭ１３では、運転席の逆側のフロントフェンダ９４の外側領域のみを示すサイド画像ＦＰ４を含む画面をディスプレイ２１に表示させて当該領域を拡大して示すことで、幅寄せを行う場合にユーザが確認すべき領域を確認しやすくなっている。
【００６５】
＜１−５．基本動作＞
上記のように、すれ違いモードＭ１２は対向車とすれ違う場合に特化した側方領域のみを示す周辺画像を一つのみ含む画面が表示され、サイドカメラモードＭ１３は幅寄せを行う場合に特化した側方領域のみを示す周辺画像を一つのみ含む画面が表示される。
【００６６】
これに対して、前側方モードＭ１１では、車両９の前方領域を示す画像と側方領域を示す画像との双方を含む画面が表示される。つまり、前側方モードＭ１１では、車両９の前方領域と側方領域との双方を一度に確認できる。また、すれ違いモードＭ１２の視野範囲ＦＶ３、及び、サイドカメラモードＭ１３の視野範囲ＦＶ４は、前側方モードＭ１１の２つの視野範囲ＦＶ１，ＦＶ２のいずれかに含まれる。これにより、前側方モードＭ１１は、交差点への進入、すれ違い、あるいは、幅寄せなどの全ての場面で利用することが可能である。つまり、前側方モードＭ１１は、他の表示モードと比較して視野範囲が最も広く、汎用性の高い表示モードであるといえる。
【００６７】
上記のように、画像表示システム１００では、走行速度が低下した場合にはフロントモードＭ１に自動的に切り替えられるが、この場合においてドライバが意図している状況は、交差点への進入、すれ違い、及び、幅寄せのいずれの状況も想定される。このため、どのような状況でも対応可能なように、画像表示システム１００では、走行速度が低下してフロントモードＭ１に自動的に切り替えられ、周辺画像を表示する動作となった直後には、表示モードを汎用性の高い前側方モードＭ１１にするようになっている。すなわち、周辺画像を表示する動作を開始した時点から、前側方モードＭ１１とされることになる。
【００６８】
以下、このような画像表示システム１００の動作について説明する。画像表示システム１００は、車両９が備えるバッテリからＡＣＣスイッチを介して電力が供給されている。このため、画像表示システム１００は、ＡＣＣスイッチがオンとなって電力が供給されると起動し、ＡＣＣスイッチがオフとなると起動停止する。図１０は、このような画像表示システム１００の起動中における基本的な動作の流れを示す図である。
【００６９】
画像表示システム１００が起動すると、まず、制御部１により各種の初期化処理がなされる。初期化処理では、例えば、不揮発性メモリ４０から車種別データ７が読み出されて制御部１のＲＡＭに記憶され、以降の処理に使用可能な状態とされる（ステップＳ１１）。
【００７０】
初期化処理が終了すると、制御部１により、車両９の走行速度が継続的に監視される（ステップＳ１２）。そして、車両９の走行速度が１０ｋｍ／ｈ以上の場合は（ステップＳ１２にてＮｏ）、制御部１の制御により動作モードがナビモードＭ０となり、ディスプレイ２１においてナビゲーション装置２０単体の機能で各種の表示がなされる（ステップＳ１３）。
【００７１】
一方、車両９の走行速度が１０ｋｍ／ｈ未満の場合は（ステップＳ１２にてＹｅｓ）、制御部１の制御により動作モードがフロントモードＭ１となり、この時点で合成画像生成部３２により合成画像の生成が開始される（ステップＳ１４）。そして以降、車両９の走行速度が１０ｋｍ／ｈ以上となるまで（ステップＳ１９にてＮｏの間）、ディスプレイ２１に車両９の周辺を示す周辺画像の表示がなされ（ステップＳ１６）、車両９の周辺の状況がほぼリアルタイムでユーザ（代表的にはドライバ）に示されることになる。
【００７２】
車両９の走行速度が１０ｋｍ／ｈ未満に低下してフロントモードＭ１となった直後は、制御部１の制御により表示モードが汎用性の高い前側方モードＭ１１に設定される（ステップＳ１５）。これにより、フロントモードＭ１の開始時点から前側方モードＭ１１となり、車両の前方領域及び側方領域の双方が同時にディスプレイ２１に表示されることになる。
【００７３】
また、フロントモードＭ１において切替スイッチ４３が押下されると（ステップＳ１７にてＹｅｓ）、前側方モードＭ１１、すれ違いモードＭ１２、サイドカメラモードＭ１３の順で制御部１の制御により表示モードが切り替えられる（ステップＳ１８）。このため、ユーザは、まず汎用性の高い前側方モードＭ１１の画面を利用して確認したい領域を確認した上で、意図した状況に特化した画面を閲覧したい場合は切替スイッチ４３を押下して表示モードをすれ違いモードＭ１２やサイドカメラモードＭ１３に切り替えることになる。
【００７４】
フロントモードＭ１において車両９の走行速度が１０ｋｍ／ｈ以上となった場合は（ステップＳ１９にてＹｅｓ）、合成画像生成部３２において合成画像の生成が停止される（ステップＳ２０）。そして、処理はステップＳ１２に戻り、再び、車両９の走行速度が１０ｋｍ／ｈ未満となるかが監視されることになる。
【００７５】
以上のように、画像表示システム１００では、車両９の走行速度が所定の閾値より低くなってフロントモードＭ１に移行し、周辺画像を表示する動作となった直後は、車両９の前方領域及び側方領域の双方を同時に表示可能な汎用性の高い前側方モードＭ１１とされる。すなわち、フロントモードＭ１の開始時点から前側方モードＭ１１とされる。前側方モードＭ１１で示される画面は、交差点への進入、すれ違い、幅寄せなどの想定される様々な状況に対応可能であることから、ユーザは表示モードを切り替えることなく、車両９の周辺の必要な領域の状況を確認することができる。
【００７６】
＜１−６．方向指示器の操作の連動＞
また、前側方モードＭ１１では、ドライバの方向指示器８３のウインカースイッチの操作に応答して、合成画像ＦＰ２の仮想視点ＶＰの視点位置が、制御部１の制御により移動されるようになっている。
【００７７】
図１１は、前側方モードＭ１１における画面の状態遷移を示す図である。また、図１２は、仮想視点ＶＰの位置の遷移を示す図である。方向指示器８３から入力されるターン信号がオフの場合、すなわち、方向指示が無い場合は、仮想視点ＶＰの視点位置は車両９の後方における左右略中央の位置ＶＰＣ（図１２参照）、視野方向は車両９の前方方向に設定される。これにより、図１１の状態ＳＴＣに示すように、車両９の左右双方の側方領域を略均等に含む合成画像ＦＰ２が生成される。
【００７８】
一方、方向指示器８３から入力されるターン信号がオンの場合、すなわち、方向指示が有る場合は、仮想視点ＶＰに関して視野方向は車両９の前方方向のまま、視点位置がターン信号が示す方向の位置に移動される。
【００７９】
具体的には、ターン信号が左方向を示すときは、仮想視点ＶＰの視点位置は車両９の左サイドの位置ＶＰＬに設定される（図１２参照）。これにより、図１１の状態ＳＴＬに示すように、方向指示器８３のターン信号が示す左方向の側方領域を右方向の側方領域よりも大きく示す合成画像ＦＰ２が生成されて、ディスプレイ２１に表示される。この場合も、合成画像ＦＰ２では、車両９の後方位置から前方方向をみた状態で車両９の周辺の様子が示される。
【００８０】
また、ターン信号が右方向を示すときは、仮想視点ＶＰの視点位置は車両９の右サイドの位置ＶＰＲに設定される（図１２参照）。これにより、図１１の状態ＳＴＲに示すように、方向指示器８３のターン信号が示す右方向の側方領域を左方向の側方領域よりも大きく示す合成画像ＦＰ２が生成されて、ディスプレイ２１に表示される。この場合も、合成画像ＦＰ２では、車両９の後方位置から前方方向をみた状態で車両９の周辺の様子が示される。
【００８１】
方向指示器８３で指示された方向は、方向変更や幅寄せのときに車両９が移動して接触する物体が存在する可能性が高い。したがって、このように方向指示器８３で指示された方向の側方領域を大きく示すことで、ユーザ（代表的にはドライバ）の注意を接触する可能性のある物体に向けさせることができ、車両９と物体との接触を有効に防止できる。なお、方向指示が解除されると、図１１の状態ＳＴＣに示すように、車両９の左右双方の側方領域を略均等に含む合成画像ＦＰ２が表示される状態に戻ることになる。
【００８２】
また、既述のように画像表示システム１００では、車両９の走行速度が１０ｋｍ／ｈ未満となりフロントモードＭ１に移行すると、フロントモードＭ１の開始時点から自動的に前側方モードＭ１１となる。そしてもし、車両９の走行速度が１０ｋｍ／ｈ未満となった時点で、方向指示器８３から入力されるターン信号がオンの場合、すなわち、方向指示が有る場合は、前側方モードＭ１１の開始時点から、方向指示器８３で指示された方向の側方領域を大きく示す合成画像ＦＰ２が生成されて、ディスプレイ２１に表示される。
【００８３】
具体的には、走行速度が１０ｋｍ／ｈ未満となった時点でターン信号が左方向を示すときは、前側方モードＭ１１の開始時点から図１１の状態ＳＴＬに示す状態になる。また、走行速度が１０ｋｍ／ｈ未満となった時点でターン信号が右方向を示すときは、前側方モードＭ１１の開始時点から図１１の状態ＳＴＲに示す状態になる。
【００８４】
このように、方向指示が有る場合は、フロントモードＭ１の開始時点、すなわち、周辺画像を表示する動作を開始した時点から方向指示器８３で指示された方向の側方領域を大きく示すことで、より迅速にユーザ（代表的にはドライバ）の注意を接触する可能性のある物体に向けさせることができる。
【００８５】
＜２．第２の実施の形態＞
次に、第２の実施の形態について説明する。第２の実施の形態における画像表示システムの構成・処理は、第１の実施の形態とほぼ同様であるが一部のみが相違しているため、以下、第１の実施の形態との相違点を中心に説明する。
【００８６】
第１の実施の形態では、フロントモードＭ１となった時点で合成画像生成部３２により合成画像の生成が開始されていた。これによれば、合成画像を表示させる場合にのみ合成画像の生成を行うため、無駄な画像処理がなされず消費電力を低減させる観点では好ましい。一方で、合成画像の生成を開始してその合成画像をディスプレイ２１に表示するまでにはある程度の時間がかかることから、フロントモードＭ１となったときに迅速に合成画像をディスプレイ２１に表示させることができない場面もあり得る。このため、第２の実施の形態では、画像生成装置１０の起動中は常時に合成画像を生成するようになっている。
【００８７】
図１３は、第２の実施の形態の画像表示システム１００の起動中における基本的な動作の流れを示す図である。この画像表示システム１００も、ＡＣＣスイッチがオンとなって電力が供給されると起動し、ＡＣＣスイッチがオフとなると起動停止する。
【００８８】
画像表示システム１００が起動すると、まず、制御部１により各種の初期化処理がなされる（ステップＳ２１）。初期化処理が終了すると、合成画像生成部３２により合成画像の生成が開始される（ステップＳ２２）。以降、画像表示システム１００が起動停止するまで合成画像の生成が継続される。すなわち、画像表示システム１００の起動中は常時に合成画像が生成されることになる。
【００８９】
合成画像の生成が開始されると、制御部１により、車両９の走行速度が継続的に監視される（ステップＳ２３）。そして、車両９の走行速度が１０ｋｍ／ｈ以上の場合は（ステップＳ２３にてＮｏ）、動作モードがナビモードＭ０となる（ステップＳ２４）。
【００９０】
一方、車両９の走行速度が１０ｋｍ／ｈ未満の場合は（ステップＳ２３にてＹｅｓ）、動作モードがフロントモードＭ１となり前側方モードＭ１１に設定されて（ステップＳ２５）、合成画像がディスプレイ２１に表示される（ステップＳ２６）。この時点では、既に合成画像の生成がなされているため、フロントモードＭ１となったときにほぼ瞬時に合成画像をディスプレイ２１に表示させることが可能である。
【００９１】
以降は、車両９の走行速度が１０ｋｍ／ｈ以上となるまで（ステップＳ２９にてＮｏの間）、ディスプレイ２１に車両９の周辺を示す周辺画像の表示がなされる（ステップＳ２６）。この間、フロントモードＭ１において切替スイッチ４３が押下されると（ステップＳ２７にてＹｅｓ）、表示モードが切り替えられる（ステップＳ２８）。
【００９２】
また、車両９の走行速度が１０ｋｍ／ｈ以上となった場合は（ステップＳ２９にてＹｅｓ）、処理はステップＳ２２に戻り、再び、車両９の走行速度が１０ｋｍ／ｈ未満となるかが監視される。この際、合成画像生成部３２において合成画像の生成は停止されず、そのまま継続されることになる。
【００９３】
以上のように、第２の実施の形態の画像表示システム１００では、起動中は常時に合成画像を生成するため、合成画像を表示すべき状態となったときに即座に合成画像を表示できる。
【００９４】
＜３．第３の実施の形態＞
次に、第３の実施の形態について説明する。第３の実施の形態における画像表示システムの構成・処理は、第１の実施の形態とほぼ同様であるが一部のみが相違しているため、以下、第１の実施の形態との相違点を中心に説明する。
【００９５】
第１の実施の形態では、フロントモードＭ１となった時点で合成画像生成部３２により合成画像の生成が開始されていたため、消費電力の低減の観点で好ましい。一方、第２の実施の形態では、画像生成装置１０の起動中は常時に合成画像を生成していたため、必要なときに合成画像を迅速に表示できる観点で好ましい。
【００９６】
これに対して、第３の実施の形態では、車両９の走行速度が周辺画像を表示する第１閾値（例えば１０ｋｍ／ｈ）より高い第２閾値（例えば２０ｋｍ／ｈ）を設定し、その第２閾値よりも低くなった場合に合成画像を生成する。これにより、消費電力を低減しつつ、合成画像を迅速に表示できるようになっている。すなわち、第３の実施の形態では、消費電力と表示の素早さとのバランスをとって、第１及び第２の実施の形態の双方のメリットが得られるようになっている。
【００９７】
図１４は、第３の実施の形態の画像表示システム１００の起動中における基本的な動作の流れを示す図である。この画像表示システム１００も、ＡＣＣスイッチがオンとなって電力が供給されると起動し、ＡＣＣスイッチがオフとなると起動停止する。
【００９８】
画像表示システム１００が起動すると、まず、制御部１により各種の初期化処理がなされる（ステップＳ３１）。
【００９９】
初期化処理が終了すると、制御部１により、車両９の走行速度が継続的に監視される（ステップＳ３２）。そして、車両９の走行速度が第２閾値である２０ｋｍ／ｈ未満の場合は（ステップＳ３２にてＹｅｓ）、合成画像生成部３２により合成画像の生成が行われる（ステップＳ３３）。一方、車両９の走行速度が第２閾値である２０ｋｍ／ｈ以上の場合は（ステップＳ２３にてＮｏ）、合成画像生成部３２において合成画像の生成が停止される（ステップＳ３４）。
【０１００】
さらに、制御部１により、車両９の走行速度が監視される（ステップＳ３５）。車両９の走行速度が第１閾値である１０ｋｍ／ｈ以上の場合は（ステップＳ３５にてＮｏ）、動作モードはナビモードＭ０となり（ステップＳ３６）、処理はステップＳ３２に戻る。すなわち、このナビモードＭ０では、制御部１により、車両９の走行速度が第２閾値（２０ｋｍ／ｈ）、及び、第１閾値（１０ｋｍ／ｈ）より低下したか否かがそれぞれ監視されることになる。
【０１０１】
そして、走行速度が第２閾値（２０ｋｍ／ｈ）より低下した時点で合成画像の生成が開始され（ステップＳ３２，Ｓ３３）、さらに、走行速度が第１閾値（１０ｋｍ／ｈ）より低下した時点で動作モードがフロントモードＭ１となることになる（ステップＳ３５にてＹｅｓ）。したがって、フロントモードＭ１となって前側方モードＭ１１に設定され（ステップＳ３７）、合成画像がディスプレイ２１に表示する時点では（ステップＳ３８）、既に合成画像の生成がなされている。このため、フロントモードＭ１となったときに迅速に合成画像をディスプレイ２１に表示させることが可能である。
【０１０２】
以降は、車両９の走行速度が１０ｋｍ／ｈ以上となるまで（ステップＳ４１にてＮｏの間）、ディスプレイ２１に車両９の周辺を示す周辺画像の表示がなされる（ステップＳ３８）。この間、フロントモードＭ１において切替スイッチ４３が押下されると（ステップＳ３９にてＹｅｓ）、表示モードが切り替えられる（ステップＳ４０）。
【０１０３】
また、車両９の走行速度が１０ｋｍ／ｈ以上となった場合は（ステップＳ４１にてＹｅｓ）、処理はステップＳ３２に戻り、再び、車両９の走行速度と第２閾値（２０ｋｍ／ｈ）とが比較される。そして、車両９の走行速度が第２閾値（２０ｋｍ／ｈ）となるまでは合成画像の生成は継続され、車両９の走行速度が第２閾値（２０ｋｍ／ｈ）以上となると合成画像の生成は停止されることになる。
【０１０４】
以上のように、第３の実施の形態の画像表示システム１００では、車両９の走行速度が第２閾値（２０ｋｍ／ｈ）よりも低くなった時点で合成画像の生成を開始することで、車両９の走行速度が第１閾値（１０ｋｍ／ｈ）より低くなったときには、迅速に合成画像を表示できることになる。また、車両９の走行速度が第２閾値以上のときは、合成画像の生成を停止するため、消費電力も有効に低減できる。したがって、消費電力を低減しつつ、必要なときに合成画像を迅速に表示できることになる。
【０１０５】
＜４．変形例＞
以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態に限定されるものではなく様々な変形が可能である。以下では、このような変形例について説明する。もちろん、以下で説明する形態を適宜に組み合わせてもよい。
【０１０６】
上記実施の形態では、画像生成装置１０とナビゲーション装置２０とは別の装置であるとして説明したが、画像生成装置１０とナビゲーション装置２０とが同一のハウジング内に配置されて一体型の装置として構成されてもよい。
【０１０７】
また、上記実施の形態では、画像生成装置１０で生成された画像を表示する表示装置はナビゲーション装置２０であるとして説明したが、ナビゲーション機能等の特殊な機能を有していない一般的な表示装置であってもよい。
【０１０８】
また、上記実施の形態において、画像生成装置１０の制御部１によって実現されると説明した機能の一部は、ナビゲーション装置２０の制御部２３によって実現されてもよい。
【０１０９】
また、シフトセンサ８１、車速度センサ８２、及び、方向指示器８３からの信号は画像生成装置１０に入力されるものとしていたが、これらの信号の一部または全部はナビゲーション装置２０に入力されるようになっていてもよい。
【０１１０】
また、上記実施の形態では、車両９のドライバが意図する方向指示を方向指示器８３から入力していたが、他の手段によって入力してもよい。例えば、ドライバの目を撮影した画像からドライバの視点の動きを検出し、その検出結果からドライバが意図する方向指示を入力するようなものであってもよい。
【０１１１】
また、上記実施の形態では、前側方モードＭ１１では、側方領域を示す画像として合成画像を採用していたが、左右双方あるいは一方のサイドカメラ５２での撮影により得られるサイド画像を採用してもよい。ただし、任意の仮想視点からみた車両の周辺の様子を提供でき、より汎用性の高い情報を提供できる点で、合成画像を採用することが望ましい。
【０１１２】
また、上記実施の形態では、前側方モードＭ１１以外の表示モードは、側方領域のみを示す画像を表示するようになっていたが、上記のフロント画像ＦＰ１のような前方領域のみを示す画像を表示するものであってもよい。すなわち、前側方モードＭ１１以外の表示モードは、特定の状況に特化するように、前方領域及び側方領域のいずれかのみを示す画像を表示するものであればよい。
【０１１３】
また、上記実施の形態では、プログラムに従ったＣＰＵの演算処理によってソフトウェア的に各種の機能が実現されると説明したが、これら機能のうちの一部は電気的なハードウェア回路により実現されてもよい。また逆に、ハードウェア回路によって実現されるとした機能のうちの一部は、ソフトウェア的に実現されてもよい。
【符号の説明】
【０１１４】
１ 制御部
５ 撮影部
９ 車両
１０ 画像生成装置
２１ ディスプレイ
３２ 合成画像生成部
４０ 不揮発性メモリ
４３ 切替スイッチ
【技術分野】
【０００１】
本発明は、車両に搭載された表示装置に表示させる画像を生成する技術に関する。
【背景技術】
【０００２】
従来より、自動車などの車両に搭載され、車載カメラを利用して車両の周辺の画像を生成する画像生成装置が知られている。画像生成装置で生成された画像は車室内のディスプレイに表示される。これにより、車両の周辺の様子がほぼリアルタイムにドライバに示される。
【０００３】
例えば、運転席の逆側となるフロントフェンダの外側領域は運転席から死角となりやすい。このため、車載カメラの撮影によりフロントフェンダの外側領域を示す画像を生成し、その画像を車室内のディスプレイに表示させる。これにより、車両の幅寄せを行う場合などにおいて、運転席の逆側の車体と障害物との間のクリアランスをドライバは容易に確認できるようになる。
【０００４】
また、近年では、複数の車載カメラで車両の周辺を撮影して得られる複数の撮影画像を利用して、車両の真上や後方などの任意の仮想視点からみた車両の周辺の様子を示す合成画像を生成してドライバに提供することなども提案されている（例えば、特許文献１参照。）
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第３３００３３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、交差点への進入、すれ違い、幅寄せなど、車両の周辺の確認が特に必要な運転操作を行う場合においては、ドライバは車両の走行速度を低下させることが多い。このため、車両の走行速度が所定の閾値より低下した場合には、ドライバが周辺の確認が必要な状況であるとして、車両の周辺を示す周辺画像を車室内のディスプレイに自動的に表示させることが考えられる。
【０００７】
しかしながら、ドライバが車両の走行速度を低下させたときの状況に応じて、ドライバが確認を特に必要とする車両の周辺の領域は異なる。例えば、交差点へ進入する場面では、ドライバは車両の前方領域の確認が特に必要となる。一方で、すれ違いや幅寄せなどを行う場面では、ドライバは車両の側方領域の確認が特に必要となる。
【０００８】
このため、車両の走行速度が所定の閾値より低下した場合に、前方領域のみを示す表示モード、あるいは、側方領域のみを示す表示モードに一律に移行したのでは、ドライバが確認を所望する領域とは異なる領域が表示される場面がある。例えば、ドライバが交差点への進入を意図している状況では、車両の前方領域の確認が必要となるが、車両の側方領域を表示する表示モードに自動的に移行してしまう場面が生じる。このような場合では、ドライバは前方領域を表示する表示モードに切り替えなければならない。車両の周辺の確認が特に必要となる状況で、このような表示モードを切り替える操作を行うことは煩雑であり、利便性が損なわれる可能性がある。
【０００９】
本発明は、上記課題に鑑みてなされたものであり、車両の走行速度が所定の閾値より低くなった場合に、車両の周辺の必要な領域の状況をユーザに提供できる技術を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記課題を解決するため、請求項１の発明は、車両に搭載された表示装置に表示させる画像を生成する画像生成装置であって、前記画像生成装置は、前記車両の周辺を示す周辺画像を表示するための複数の表示モードを有しており、前記車両の走行速度を取得する手段と、前記表示装置に画像を表示させる表示制御手段と、を備え、前記表示制御手段は、前記走行速度が所定の閾値より低くなった場合には、前記車両の前方領域を示す第１画像と、前記車両に搭載された複数のカメラで得られる複数の画像を用いて生成された合成画像に車両像を含めた第２画像とを表示する表示モードで、前記周辺画像を前記表示装置に表示させ、前記周辺画像の表示後に前記走行速度が所定の閾値より高くなった場合には、前記周辺画像を他の画像に切り替え、該他の画像を前記表示装置に表示させる。
【００１１】
また、請求項２の発明は、請求項１に記載の画像生成装置において、前記表示制御手段は、前記車両の方向指示器からの信号に応じて、前記第２画像が示す前記車両の周辺の領域を変更する。
【００１２】
また、請求項３の発明は、請求項１に記載の画像生成装置において、前記第１画像および前記第２画像の表示後に、前記表示モードを前記複数の表示モードのうちの他の表示モードに切り替え可能なモード切替手段、をさらに備えている。
【００１３】
また、請求項４の発明は、車両に搭載される画像表示システムであって、請求項１ないし３のいずれかに記載の画像生成装置と、前記画像生成装置で生成された画像を表示する表示装置と、を備えている。
【発明の効果】
【００１４】
請求項１ないし４の発明によれば、走行速度が閾値より低くなった場合は、車両の前方領域と合成画像との双方を表示する表示モードで周辺画像を表示装置に表示させるため、車両の周辺の必要な領域の状況をユーザに提供できる。また、周辺画像の表示後に走行速度が閾値より高くなった場合には、周辺画像を他の画像に切り替えるため、ユーザを走行に集中させることができる。
【図面の簡単な説明】
【００１５】
【図１】図１は、画像表示システムの構成を示すブロック図である。
【図２】図２は、車載カメラが車両に配置される位置を示す図である。
【図３】図３は、合成画像を生成する手法を説明するための図である。
【図４】図４は、画像表示システムの動作モードの遷移を示す図である。
【図５】図５は、フロントモードにおける表示モードの遷移を示す図である。
【図６】図６は、前側方モードの画面の一例を示す図である。
【図７】図７は、前側方モードで示される視野範囲を説明する図である。
【図８】図８は、すれ違いモードで示される視野範囲を説明する図である。
【図９】図９は、サイドカメラモードで示される視野範囲を説明する図である。
【図１０】図１０は、第１の実施の形態の画像表示システムの基本動作の流れを示す図である。
【図１１】図１１は、前側方モードにおける画面の状態遷移を示す図である。
【図１２】図１２は、仮想視点の位置の遷移を示す図である。
【図１３】図１３は、第２の実施の形態の画像表示システムの基本動作の流れを示す図である。
【図１４】図１４は、第３の実施の形態の画像表示システムの基本動作の流れを示す図である。
【発明を実施するための形態】
【００１６】
以下、図面を参照しつつ本発明の実施の形態について説明する。
【００１７】
＜１．第１の実施の形態＞
＜１−１．構成＞
図１は、第１の実施の形態の画像表示システム１００の構成を示すブロック図である。この画像表示システム１００は、車両（本実施の形態では、自動車）に搭載されるものであり、車両の周辺を撮影して画像を生成し、車室内に表示する機能を有している。画像表示システム１００のユーザ（代表的にはドライバ）は、この画像表示システム１００を利用することにより当該車両の周辺を容易に把握できるようになっている。
【００１８】
図１に示すように、画像表示システム１００は、車両の周辺を撮影する撮影部５と、車両の周辺を示す周辺画像を生成する画像生成装置１０と、車両に乗車するユーザに対して各種情報を提供するナビゲーション装置２０とを備えている。画像生成装置１０は、画像生成機能を有するＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）として構成され、車両の所定の位置に配置される。
【００１９】
ナビゲーション装置２０は、ユーザに対しナビゲーション案内を行うものであり、タッチパネル機能を備えた液晶などのディスプレイ２１と、ユーザが操作を行う操作部２２と、装置全体を制御する制御部２３とを備えている。ディスプレイ２１の画面がユーザから視認可能なように、ナビゲーション装置２０は車両のインストルメントパネルなどに設置される。ユーザからの各種の指示は、操作部２２とタッチパネルとしてのディスプレイ２１とによって受け付けられる。制御部２３は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えたコンピュータとして構成され、所定のプログラムに従ってＣＰＵが演算処理を行うことでナビゲーション機能を含む各種の機能が実現される。
【００２０】
ナビゲーション装置２０は、画像生成装置１０と通信可能に接続され、画像生成装置１０との間で各種の制御信号の送受信や、画像生成装置１０で生成された周辺画像の受信が可能となっている。ディスプレイ２１には、制御部２３の制御により、通常はナビゲーション装置２０単体の機能に基づく画像が表示されるが、所定の条件下で画像生成装置１０で生成された車両の周辺の様子を示す周辺画像が表示される。これにより、ナビゲーション装置２０は、画像生成装置１０で生成された周辺画像を受信して表示する表示装置としても機能する。
【００２１】
撮影部５は、画像生成装置１０に電気的に接続され画像生成装置１０からの信号に基づいて動作する。撮影部５は、車載カメラであるフロントカメラ５１、サイドカメラ５２及びバックカメラ５３を備えている。これらの車載カメラ５１，５２，５３は、レンズと撮像素子とを備えており電子的に画像を取得する。
【００２２】
図２は、車載カメラ５１，５２，５３が車両９に配置される位置を示す図である。図２に示すように、フロントカメラ５１は、車両９の前端にあるナンバープレート取付位置の近傍に設けられ、その光軸５１ａは車両９の直進方向に向けられている。また、サイドカメラ５２は、左右のドアミラー９３にそれぞれ設けられており、その光軸５２ａは直進方向に対して直交するように車両９の外部方向に向けられている。バックカメラ５３は、車両９の後端にあるナンバープレート取付位置の近傍に設けられ、その光軸５３ａは車両９の直進方向の逆方向に向けられている。なお、フロントカメラ５１やバックカメラ５３の取り付け位置は、左右略中央であることが望ましいが、左右中央から左右方向に多少ずれた位置であってもよい。
【００２３】
これらの車載カメラ５１，５２，５３のレンズとしては魚眼レンズなどが採用されており、車載カメラ５１，５２，５３は１８０度以上の画角αを有している。このため、４つの車載カメラ５１，５２，５３を利用することで、車両９の全周囲の撮影が可能となっている。
【００２４】
図１に戻り、画像生成装置１０は、装置全体を制御する制御部１と、撮影部５で取得された撮影画像を処理して表示用の周辺画像を生成する画像処理部３と、ナビゲーション装置２０との間で通信を行うナビ通信部４２と、表示内容を切り替える指示をユーザから受け付ける切替スイッチ４３とを備えている。
【００２５】
ナビゲーション装置２０の操作部２２やディスプレイ２１によって受け付けられたユーザからの各種の指示は、制御信号としてナビ通信部４２によって受け付けられて制御部１に入力される。また、切替スイッチ４３からもユーザの指示を示す信号が制御部１に入力される。これにより、画像生成装置１０は、ナビゲーション装置２０に対するユーザの操作、及び、切替スイッチ４３に対するユーザの操作の双方に応答した動作が可能となっている。
【００２６】
画像処理部３は、各種の画像処理が可能なハードウェア回路として構成されており、撮影画像調整部３１、及び、合成画像生成部３２を主な機能として備えている。撮影画像調整部３１は、撮影部５で取得された撮影画像について調整を行うものであり、撮影画像の明るさやコントラスト等の画質調整や歪み補正などを行う。合成画像生成部３２は、撮影部５の複数の車載カメラ５１，５２，５３で取得された複数の撮影画像に基づいて、車両９の周辺の任意の仮想視点からみた合成画像を生成する。合成画像生成部３２が仮想視点からみた合成画像を生成する手法については後述する。撮影画像や合成画像は、表示用の画像に調整された後、ナビ通信部４２によってナビゲーション装置２０に出力される。これにより、車両の周辺を示す周辺画像がナビゲーション装置２０のディスプレイ２１に表示される。
【００２７】
制御部１は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えたコンピュータとして構成され、所定のプログラムに従ってＣＰＵが演算処理を行うことで各種の制御機能が実現される。このようにして実現される制御部１の機能には、画像処理部３によって実行される画像処理を制御する機能などが含まれている。合成画像生成部３２が生成する合成画像の生成に必要な各種パラメータは、この制御部１の機能によって指示される。
【００２８】
また、画像生成装置１０は、不揮発性メモリ４０、カード読取部４４、及び、信号入力部４１をさらに備えており、これらは制御部１に接続されている。
【００２９】
不揮発性メモリ４０は、電源オフ時においても記憶内容を維持可能なフラッシュメモリなどで構成されている。不揮発性メモリ４０には、合成画像の生成に必要な各種のデータが予め記憶される。例えば、車両９の種別に応じた車種別データ７が、不揮発性メモリ４０に予め記憶されている。不揮発性メモリ４０に係るデータの読み出しや書き込みは、制御部１によって制御される。
【００３０】
カード読取部４４は、可搬性の記録媒体であるメモリカード６１の読み取りを行う。カード読取部４４は、メモリカード６１の着脱が可能なカードスロットを備えており、そのカードスロットに装着されたメモリカード６１に記録されたデータを読み取る。カード読取部４４で読み取られたデータは、制御部１に入力される。
【００３１】
メモリカード６１は、種々のデータを記憶可能なフラッシュメモリなどで構成されており、画像生成装置１０はメモリカード６１に記憶された種々のデータを利用できる。例えば、メモリカード６１にプログラムを記憶させ、これを読み出すことで、制御部１の機能を実現するプログラム（ファームウェア）を更新することが可能である。また、メモリカード６１に不揮発性メモリ４０に記憶された車種別データ７とは異なる種別の車両に応じた車種別データ７を記憶させ、これを読み出して不揮発性メモリ４０に記憶させることで、画像表示システム１００を異なる種別の車両に対応させることも可能である。
【００３２】
また、信号入力部４１は、車両９に設けられた各種装置からの信号を入力する。この信号入力部４１を介して、画像表示システム１００の外部からの信号が制御部１に入力される。具体的には、シフトセンサ８１、車速度センサ８２、及び、方向指示器８３などから、各種情報を示す信号が制御部１に入力される。シフトセンサ８１からは、車両９の変速装置のシフトレバーの操作の位置、すなわち、”Ｐ（駐車）”，”Ｄ（前進）”，”Ｎ（中立）”，”Ｒ（後退）”などのシフトポジションが入力される。車速度センサ８２からは、その時点の車両９の走行速度（ｋｍ／ｈ）が入力される。
【００３３】
また、方向指示器８３からは、ウインカースイッチの操作に基づく方向指示、すなわち、車両９のドライバが意図する方向指示を示すターン信号が入力される。ウインカースイッチが操作されたときはターン信号が発生し、ターン信号はその操作された方向（左方向あるいは右方向）を示すことになる。ウインカースイッチが中立位置となったときは、ターン信号はオフとなる。
【００３４】
＜１−２．画像変換処理＞
次に、画像処理部３の合成画像生成部３２が、撮影部５で得られた複数の撮影画像に基づいて車両９の周辺を任意の仮想視点からみた様子を示す合成画像を生成する手法について説明する。合成画像を生成する際には、不揮発性メモリ４０に予め記憶された車種別データ７が利用される。図３は、合成画像を生成する手法を説明するための図である。
【００３５】
撮影部５のフロントカメラ５１、サイドカメラ５２及びバックカメラ５３で同時に撮影が行われると、車両９の前方、左側方、右側方、及び、後方をそれぞれ示す４つの撮影画像Ｐ１〜Ｐ４が取得される。すなわち、撮影部５で取得される４つの撮影画像Ｐ１〜Ｐ４には、撮影時点の車両９の全周囲を示す情報が含まれていることになる。
【００３６】
次に、４つの撮影画像Ｐ１〜Ｐ４の各画素が、仮想的な三次元空間における立体曲面ＳＰに投影される。立体曲面ＳＰは、例えば略半球状（お椀形状）をしており、その中心部分（お椀の底部分）が車両９が存在する位置として定められている。撮影画像Ｐ１〜Ｐ４に含まれる各画素の位置と、この立体曲面ＳＰの各画素の位置とは予め対応関係が定められている。このため、立体曲面ＳＰの各画素の値は、この対応関係と撮影画像Ｐ１〜Ｐ４に含まれる各画素の値とに基づいて決定できる。
【００３７】
撮影画像Ｐ１〜Ｐ４の各画素の位置と立体曲面ＳＰの各画素の位置との対応関係は、車両９における４つの車載カメラ５１，５２，５３の配置（相互間距離、地上高さ、光軸角度等）に依存する。このため、この対応関係を示すテーブルデータが、不揮発性メモリ４０に記憶された車種別データ７に含まれている。
【００３８】
また、車種別データ７に含まれる車体の形状やサイズを示すポリゴンデータが利用され、車両９の三次元形状を示すポリゴンモデルである車両像が仮想的に構成される。構成された車両像は、立体曲面ＳＰが設定される三次元空間において、車両９の位置と定められた略半球状の中心部分に配置される。
【００３９】
さらに、立体曲面ＳＰが存在する三次元空間に対して、制御部１により仮想視点ＶＰが設定される。仮想視点ＶＰは、視点位置と視野方向とで規定され、この三次元空間における車両９の周辺に相当する任意の視点位置に任意の視野方向に向けて設定される。
【００４０】
そして、設定された仮想視点ＶＰに応じて、立体曲面ＳＰにおける必要な領域が画像として切り出される。仮想視点ＶＰと、立体曲面ＳＰにおける必要な領域との関係は予め定められており、テーブルデータとして不揮発性メモリ４０等に予め記憶されている。一方で、設定された仮想視点ＶＰに応じてポリゴンで構成された車両像に関してレンダリングがなされ、その結果となる二次元の車両像が、切り出された画像に対して重畳される。これにより、車両９及びその車両９の周辺を任意の仮想視点からみた様子を示す合成画像が生成されることになる。
【００４１】
例えば、視点位置が車両９の位置の略中央の直上位置で、視野方向が略直下方向とした仮想視点ＶＰ１を設定した場合は、略真上から車両９を見下ろすように、車両９（実際には車両像）及び車両９の周辺の様子を示す合成画像ＣＰ１が生成される。また、図中に示すように、視点位置が車両９の位置の左後方で、視野方向が車両９における略前方とした仮想視点ＶＰ２を設定した場合は、車両９の左後方からその周辺全体を見渡すように、車両９（実際には車両像）及び車両９の周辺の様子を示す合成画像ＣＰ２が生成される。
【００４２】
なお、実際に合成画像を生成する場合においては、立体曲面ＳＰの全ての画素の値を決定する必要はなく、設定された仮想視点ＶＰに対応して必要となる領域の画素の値のみを撮影画像Ｐ１〜Ｐ４に基づいて決定することで、処理速度を向上できる。
【００４３】
＜１−３．動作モード＞
次に、画像表示システム１００の動作モードについて説明する。図４は、画像表示システム１００の動作モードの遷移を示す図である。画像表示システム１００では、ナビモードＭ０とフロントモードＭ１とで動作モードが自動的に切り替えられるようになっている。なお、シフトレバーを”Ｒ”に操作したときに、車両９の後方領域を示す周辺画像を表示するバックモードを、動作モードとしてさらに有していてもよい。
【００４４】
ナビモードＭ０は、ナビゲーション装置２０の機能により、ナビゲーション案内用の地図画像などをディスプレイ２１に表示する動作モードである。ナビモードＭ０では、撮影部５及び画像生成装置１０の機能が利用されず、ナビゲーション装置２０単体の機能で各種の表示がなされる。このため、ナビゲーション装置２０が、テレビジョン放送の電波を受信して表示する機能を有している場合は、ナビゲーション案内用の地図画像に代えて、テレビジョン放送画面が表示されることもある。
【００４５】
これに対して、フロントモードＭ１は、撮影部５及び画像生成装置１０の機能を利用して、車両９の周辺の状況を示す周辺画像をディスプレイ２１にほぼリアルタイムで表示する動作モードである。フロントモードＭ１では、前進時に必要となる車両９の前方領域や側方領域を示す周辺画像が表示される。
【００４６】
ナビモードＭ０の場合において、車速度センサ８２から入力される走行速度が所定の閾値（本実施の形態では１０ｋｍ／ｈ）より低くなったときは、制御部１の制御により、フロントモードＭ１に自動的に切り替えられる。一方で、フロントモードＭ１の場合において、走行速度が所定の閾値（本実施の形態では１０ｋｍ／ｈ）以上になったときは、制御部１の制御により、ナビモードＭ０に自動的に切り替えられる。
【００４７】
車両９の走行速度が比較的高い場合においては、ドライバを走行に集中させるためにフロントモードＭ１が解除され、ナビモードＭ０となる。逆に、車両９の走行速度が比較的低い場合においては、見通しの悪い交差点への進入、対向車とのすれ違い、あるいは、道路の端に車体を寄せる幅寄せなど、ドライバは車両の周辺の確認が特に必要な運転操作を行っている場面が多い。このため、走行速度が比較的低い場合においては、車両９の前方領域や側方領域を主に示すフロントモードＭ１に自動的に切り替えられる。
【００４８】
なお、ナビモードＭ０からフロントモードＭ１に切り替える閾値と、フロントモードＭ１からナビモードＭ０に切り替える閾値とが異なっていてもよい。また、ユーザからの明示的な操作指示があった場合にも、ナビモードＭ０とフロントモードＭ１とで動作モードが切り替えられるようになっていてもよい。
【００４９】
＜１−４．フロントモード＞
次に、フロントモードＭ１における車両９の周辺の表示態様について詳細に説明する。図５は、フロントモードＭ１における表示モードの遷移を示す図である。フロントモードＭ１では、前側方モードＭ１１、すれ違いモードＭ１２、及び、サイドカメラモードＭ１３の３つの表示モードがあり、これらの表示モードは互いに表示態様が異なっている。これらの表示モードは、ユーザが切替スイッチ４３を押下するごとに、前側方モードＭ１１、すれ違いモードＭ１２、サイドカメラモードＭ１３の順で制御部１の制御により切り替えられる。サイドカメラモードＭ１３の場合に切替スイッチ４３を押下すると、再び、前側方モードＭ１１に戻るようになっている。
【００５０】
前側方モードＭ１１は、フロントカメラ５１での撮影により得られるフロント画像ＦＰ１と、仮想視点ＶＰからみた車両９の側方領域を示す合成画像ＦＰ２とを並べて含む画面をディスプレイ２１に表示する表示モードである。すなわち、前側方モードＭ１１では、車両９の前方領域を示すフロント画像ＦＰ１と、車両９の側方領域を示す合成画像ＦＰ２との二つの画像が同一画面上に示される。
【００５１】
また、すれ違いモードＭ１２は、仮想視点ＶＰからみた合成画像ＦＰ３を一つのみ含む画面をディスプレイ２１に表示する表示モードである。さらに、サイドカメラモードＭ１３は、サイドカメラ５２での撮影により得られるサイド画像ＦＰ４を一つのみ含む画面をディスプレイ２１に表示する表示モードである。
【００５２】
＜１−４−１．前側方モード＞
図６は、前側方モードＭ１１においてディスプレイ２１に表示される画面の一例を示す図である。図に示すように、前側方モードＭ１１における画面では、上部にフロント画像ＦＰ１が配置され、下部に合成画像ＦＰ２が配置されている。フロント画像ＦＰ１は、仮想視点ＶＰからの合成画像ではなく、フロントカメラ５１での撮影により得られた撮影画像を撮影画像調整部３１で表示用に調整したものである。一方、合成画像ＦＰ２は、車両９の後方位置から前方に向けた仮想視点ＶＰからみた車両９の側方領域を主に示す合成画像である。
【００５３】
図７は、車両９の周辺における前側方モードＭ１１で示される視野範囲を説明する図である。図中において、破線で示す範囲ＦＶ１が、フロント画像ＦＰ１で示される視野範囲である。一方、二点鎖線で示す範囲ＦＶ２が、合成画像ＦＰ２で示される視野範囲である。視野範囲ＦＶ１と視野範囲ＦＶ２とは、相互の境界となる領域Ａ１において一部が重なっている。
【００５４】
フロント画像ＦＰ１では、車両９の前方領域において左右方向に広がる水平角度１８０°の領域が視野範囲ＦＶ１として設定されている。このため、ユーザはフロント画像ＦＰ１の閲覧により、見通しの悪い交差点に進入する場合に死角となりやすい車両９の前方領域における左右に延びる領域に存在する物体を確認できる。
【００５５】
一方、合成画像ＦＰ２においては、車両９の前端よりも前方から後端よりも後方までの左右双方の側方領域と、車両９の後方領域とを含む範囲が視野範囲ＦＶ２として設定されている。このため、合成画像ＦＰ２の閲覧により、側方領域や後方領域に存在する物体を確認できる。運転席から死角となりやすい、ドアミラー９３に映らないフロントフェンダ９４の外側付近の領域なども、視野範囲ＦＶ２に含まれている。
【００５６】
前側方モードＭ１１においては、このような視野範囲ＦＶ１，ＦＶ２の二つの画像ＦＰ１，ＦＰ２を画面を切り替えることなく同時に閲覧することができるため（図６も併せて参照。）、ユーザは車両９の前方領域及び側方領域の双方の状況を一目で確認できる。
【００５７】
合成画像ＦＰ２の仮想視点ＶＰの視点位置は車両９の後方位置に設定され、視野方向は車両９の前方方向に設定されている。このため、図６に示すように、合成画像ＦＰ２では、車両９の後方位置から前方方向をみた状態で車両９の周辺の様子が車両９の像とともに示される。これにより、フロント画像ＦＰ１の視野の向きと、合成画像ＦＰ２の視野の向きと、ユーザ（代表的にはドライバ）自身の視野の向きとがおよそ一致することから、ディスプレイ２１の画面に示された物体が存在する方向に関してユーザの混乱を招くことがない。また、ユーザは頭の中で座標変換を行うなどの複雑な思考過程を経ることもないため、ディスプレイ２１に表示された物体と車両９との位置関係を直感的に把握できる。
【００５８】
＜１−４−２．すれ違いモード＞
次に、図５に戻って、すれ違いモードＭ１２における表示態様について説明する。すれ違いモードＭ１２は、細い道などにおいて対向車とすれ違う場合を想定し、その場合に特化した表示モードであり、合成画像ＦＰ３のみを含む画面がディスプレイ２１に表示される。合成画像ＦＰ３の仮想視点ＶＰの視点位置は車両９の後端の直上付近に設定され、視野方向は車両９の略中央付近に向けられている。このため、合成画像ＦＰ３では、車両９を上から見下ろすような状態で、車両９の左右双方の側方領域が示される。
【００５９】
図８は、車両９の周辺におけるすれ違いモードＭ１２で示される視野範囲を説明する図である。図中において、二点鎖線で示す範囲ＦＶ３が、合成画像ＦＰ３で示される視野範囲である。合成画像ＦＰ３においては、車両９の前端よりも前方から後端よりも後方までの左右双方の側方領域と、車両９の後方領域とを含む範囲が視野範囲ＦＶ３として設定されている。
【００６０】
図７と図８とを比較して分かるように、合成画像ＦＰ３の視野範囲ＦＶ３と、前側方モードＭ１１の合成画像ＦＰ２の視野範囲ＦＶ２とは類似しているが、視野範囲ＦＶ３は視野範囲ＦＶ２よりも車両９の前方に延びている。ただし、この視野範囲ＦＶ３に含まれ視野範囲ＦＶ２から外れる領域は、フロント画像ＦＰ１の視野範囲ＦＶ１に含まれる。すなわち、すれ違いモードＭ１２の視野範囲ＦＶ３は、前側方モードＭ１１の２つの視野範囲ＦＶ１，ＦＶ２のいずれかに含まれることになる。
【００６１】
細い道などにおいて対向車とすれ違う場合には、前方から進行してくる対向車とのクリアランスと、車体と側方の物体とのクリアランスとの双方を確認する必要がある。すなわち、車両９の前端よりも前方から車両９の後端にかけての左右双方の側方領域の確認が必要となる。一方で、対向車とすれ違う場合には、前側方モードＭ１１のフロント画像ＦＰ１が示すような車両９の前方領域において左右に延びる領域についての確認は不要である。このため、すれ違いモードＭ１２では、車両９の左右双方の側方領域のみを示す合成画像ＦＰ３を含む画面をディスプレイ２１に表示させることで、対向車とすれ違う場合にユーザが確認すべき領域を確認しやすくなっている。
【００６２】
＜１−４−３．サイドカメラモード＞
次に、図５に戻って、サイドカメラモードＭ１３における表示態様について説明する。サイドカメラモードＭ１３は、道路の端に車体を寄せる幅寄せを行う場合などを想定し、その場合に特化した表示モードであり、サイド画像ＦＰ４のみがディスプレイ２１に表示される。
【００６３】
図９は、車両９の周辺におけるサイドカメラモードＭ１３で示される視野範囲を説明する図である。図中において、二点鎖線で示す範囲ＦＶ４が、サイド画像ＦＰ４で示される視野範囲である。運転席（車両９では右側）の逆側（車両９では左側）における車両９のフロントフェンダ９４の外側領域のみが視野範囲ＦＶ４として設定されている。このサイドカメラモードＭ１３の視野範囲ＦＶ４は、図７に示す前側方モードＭ１１の合成画像ＦＰ２の視野範囲ＦＶ２に含まれる。
【００６４】
道路の端に車体を寄せる幅寄せを行う場合においては、幅寄せする側の車体とその側方の物体とのクリアランスを確認する必要がある。通常は、運転席の逆側に幅寄せすることになるが、運転席の逆側の側方領域、特に車両９のフロントフェンダ９４の外側領域については死角になりやすい。このため、サイドカメラモードＭ１３では、運転席の逆側のフロントフェンダ９４の外側領域のみを示すサイド画像ＦＰ４を含む画面をディスプレイ２１に表示させて当該領域を拡大して示すことで、幅寄せを行う場合にユーザが確認すべき領域を確認しやすくなっている。
【００６５】
＜１−５．基本動作＞
上記のように、すれ違いモードＭ１２は対向車とすれ違う場合に特化した側方領域のみを示す周辺画像を一つのみ含む画面が表示され、サイドカメラモードＭ１３は幅寄せを行う場合に特化した側方領域のみを示す周辺画像を一つのみ含む画面が表示される。
【００６６】
これに対して、前側方モードＭ１１では、車両９の前方領域を示す画像と側方領域を示す画像との双方を含む画面が表示される。つまり、前側方モードＭ１１では、車両９の前方領域と側方領域との双方を一度に確認できる。また、すれ違いモードＭ１２の視野範囲ＦＶ３、及び、サイドカメラモードＭ１３の視野範囲ＦＶ４は、前側方モードＭ１１の２つの視野範囲ＦＶ１，ＦＶ２のいずれかに含まれる。これにより、前側方モードＭ１１は、交差点への進入、すれ違い、あるいは、幅寄せなどの全ての場面で利用することが可能である。つまり、前側方モードＭ１１は、他の表示モードと比較して視野範囲が最も広く、汎用性の高い表示モードであるといえる。
【００６７】
上記のように、画像表示システム１００では、走行速度が低下した場合にはフロントモードＭ１に自動的に切り替えられるが、この場合においてドライバが意図している状況は、交差点への進入、すれ違い、及び、幅寄せのいずれの状況も想定される。このため、どのような状況でも対応可能なように、画像表示システム１００では、走行速度が低下してフロントモードＭ１に自動的に切り替えられ、周辺画像を表示する動作となった直後には、表示モードを汎用性の高い前側方モードＭ１１にするようになっている。すなわち、周辺画像を表示する動作を開始した時点から、前側方モードＭ１１とされることになる。
【００６８】
以下、このような画像表示システム１００の動作について説明する。画像表示システム１００は、車両９が備えるバッテリからＡＣＣスイッチを介して電力が供給されている。このため、画像表示システム１００は、ＡＣＣスイッチがオンとなって電力が供給されると起動し、ＡＣＣスイッチがオフとなると起動停止する。図１０は、このような画像表示システム１００の起動中における基本的な動作の流れを示す図である。
【００６９】
画像表示システム１００が起動すると、まず、制御部１により各種の初期化処理がなされる。初期化処理では、例えば、不揮発性メモリ４０から車種別データ７が読み出されて制御部１のＲＡＭに記憶され、以降の処理に使用可能な状態とされる（ステップＳ１１）。
【００７０】
初期化処理が終了すると、制御部１により、車両９の走行速度が継続的に監視される（ステップＳ１２）。そして、車両９の走行速度が１０ｋｍ／ｈ以上の場合は（ステップＳ１２にてＮｏ）、制御部１の制御により動作モードがナビモードＭ０となり、ディスプレイ２１においてナビゲーション装置２０単体の機能で各種の表示がなされる（ステップＳ１３）。
【００７１】
一方、車両９の走行速度が１０ｋｍ／ｈ未満の場合は（ステップＳ１２にてＹｅｓ）、制御部１の制御により動作モードがフロントモードＭ１となり、この時点で合成画像生成部３２により合成画像の生成が開始される（ステップＳ１４）。そして以降、車両９の走行速度が１０ｋｍ／ｈ以上となるまで（ステップＳ１９にてＮｏの間）、ディスプレイ２１に車両９の周辺を示す周辺画像の表示がなされ（ステップＳ１６）、車両９の周辺の状況がほぼリアルタイムでユーザ（代表的にはドライバ）に示されることになる。
【００７２】
車両９の走行速度が１０ｋｍ／ｈ未満に低下してフロントモードＭ１となった直後は、制御部１の制御により表示モードが汎用性の高い前側方モードＭ１１に設定される（ステップＳ１５）。これにより、フロントモードＭ１の開始時点から前側方モードＭ１１となり、車両の前方領域及び側方領域の双方が同時にディスプレイ２１に表示されることになる。
【００７３】
また、フロントモードＭ１において切替スイッチ４３が押下されると（ステップＳ１７にてＹｅｓ）、前側方モードＭ１１、すれ違いモードＭ１２、サイドカメラモードＭ１３の順で制御部１の制御により表示モードが切り替えられる（ステップＳ１８）。このため、ユーザは、まず汎用性の高い前側方モードＭ１１の画面を利用して確認したい領域を確認した上で、意図した状況に特化した画面を閲覧したい場合は切替スイッチ４３を押下して表示モードをすれ違いモードＭ１２やサイドカメラモードＭ１３に切り替えることになる。
【００７４】
フロントモードＭ１において車両９の走行速度が１０ｋｍ／ｈ以上となった場合は（ステップＳ１９にてＹｅｓ）、合成画像生成部３２において合成画像の生成が停止される（ステップＳ２０）。そして、処理はステップＳ１２に戻り、再び、車両９の走行速度が１０ｋｍ／ｈ未満となるかが監視されることになる。
【００７５】
以上のように、画像表示システム１００では、車両９の走行速度が所定の閾値より低くなってフロントモードＭ１に移行し、周辺画像を表示する動作となった直後は、車両９の前方領域及び側方領域の双方を同時に表示可能な汎用性の高い前側方モードＭ１１とされる。すなわち、フロントモードＭ１の開始時点から前側方モードＭ１１とされる。前側方モードＭ１１で示される画面は、交差点への進入、すれ違い、幅寄せなどの想定される様々な状況に対応可能であることから、ユーザは表示モードを切り替えることなく、車両９の周辺の必要な領域の状況を確認することができる。
【００７６】
＜１−６．方向指示器の操作の連動＞
また、前側方モードＭ１１では、ドライバの方向指示器８３のウインカースイッチの操作に応答して、合成画像ＦＰ２の仮想視点ＶＰの視点位置が、制御部１の制御により移動されるようになっている。
【００７７】
図１１は、前側方モードＭ１１における画面の状態遷移を示す図である。また、図１２は、仮想視点ＶＰの位置の遷移を示す図である。方向指示器８３から入力されるターン信号がオフの場合、すなわち、方向指示が無い場合は、仮想視点ＶＰの視点位置は車両９の後方における左右略中央の位置ＶＰＣ（図１２参照）、視野方向は車両９の前方方向に設定される。これにより、図１１の状態ＳＴＣに示すように、車両９の左右双方の側方領域を略均等に含む合成画像ＦＰ２が生成される。
【００７８】
一方、方向指示器８３から入力されるターン信号がオンの場合、すなわち、方向指示が有る場合は、仮想視点ＶＰに関して視野方向は車両９の前方方向のまま、視点位置がターン信号が示す方向の位置に移動される。
【００７９】
具体的には、ターン信号が左方向を示すときは、仮想視点ＶＰの視点位置は車両９の左サイドの位置ＶＰＬに設定される（図１２参照）。これにより、図１１の状態ＳＴＬに示すように、方向指示器８３のターン信号が示す左方向の側方領域を右方向の側方領域よりも大きく示す合成画像ＦＰ２が生成されて、ディスプレイ２１に表示される。この場合も、合成画像ＦＰ２では、車両９の後方位置から前方方向をみた状態で車両９の周辺の様子が示される。
【００８０】
また、ターン信号が右方向を示すときは、仮想視点ＶＰの視点位置は車両９の右サイドの位置ＶＰＲに設定される（図１２参照）。これにより、図１１の状態ＳＴＲに示すように、方向指示器８３のターン信号が示す右方向の側方領域を左方向の側方領域よりも大きく示す合成画像ＦＰ２が生成されて、ディスプレイ２１に表示される。この場合も、合成画像ＦＰ２では、車両９の後方位置から前方方向をみた状態で車両９の周辺の様子が示される。
【００８１】
方向指示器８３で指示された方向は、方向変更や幅寄せのときに車両９が移動して接触する物体が存在する可能性が高い。したがって、このように方向指示器８３で指示された方向の側方領域を大きく示すことで、ユーザ（代表的にはドライバ）の注意を接触する可能性のある物体に向けさせることができ、車両９と物体との接触を有効に防止できる。なお、方向指示が解除されると、図１１の状態ＳＴＣに示すように、車両９の左右双方の側方領域を略均等に含む合成画像ＦＰ２が表示される状態に戻ることになる。
【００８２】
また、既述のように画像表示システム１００では、車両９の走行速度が１０ｋｍ／ｈ未満となりフロントモードＭ１に移行すると、フロントモードＭ１の開始時点から自動的に前側方モードＭ１１となる。そしてもし、車両９の走行速度が１０ｋｍ／ｈ未満となった時点で、方向指示器８３から入力されるターン信号がオンの場合、すなわち、方向指示が有る場合は、前側方モードＭ１１の開始時点から、方向指示器８３で指示された方向の側方領域を大きく示す合成画像ＦＰ２が生成されて、ディスプレイ２１に表示される。
【００８３】
具体的には、走行速度が１０ｋｍ／ｈ未満となった時点でターン信号が左方向を示すときは、前側方モードＭ１１の開始時点から図１１の状態ＳＴＬに示す状態になる。また、走行速度が１０ｋｍ／ｈ未満となった時点でターン信号が右方向を示すときは、前側方モードＭ１１の開始時点から図１１の状態ＳＴＲに示す状態になる。
【００８４】
このように、方向指示が有る場合は、フロントモードＭ１の開始時点、すなわち、周辺画像を表示する動作を開始した時点から方向指示器８３で指示された方向の側方領域を大きく示すことで、より迅速にユーザ（代表的にはドライバ）の注意を接触する可能性のある物体に向けさせることができる。
【００８５】
＜２．第２の実施の形態＞
次に、第２の実施の形態について説明する。第２の実施の形態における画像表示システムの構成・処理は、第１の実施の形態とほぼ同様であるが一部のみが相違しているため、以下、第１の実施の形態との相違点を中心に説明する。
【００８６】
第１の実施の形態では、フロントモードＭ１となった時点で合成画像生成部３２により合成画像の生成が開始されていた。これによれば、合成画像を表示させる場合にのみ合成画像の生成を行うため、無駄な画像処理がなされず消費電力を低減させる観点では好ましい。一方で、合成画像の生成を開始してその合成画像をディスプレイ２１に表示するまでにはある程度の時間がかかることから、フロントモードＭ１となったときに迅速に合成画像をディスプレイ２１に表示させることができない場面もあり得る。このため、第２の実施の形態では、画像生成装置１０の起動中は常時に合成画像を生成するようになっている。
【００８７】
図１３は、第２の実施の形態の画像表示システム１００の起動中における基本的な動作の流れを示す図である。この画像表示システム１００も、ＡＣＣスイッチがオンとなって電力が供給されると起動し、ＡＣＣスイッチがオフとなると起動停止する。
【００８８】
画像表示システム１００が起動すると、まず、制御部１により各種の初期化処理がなされる（ステップＳ２１）。初期化処理が終了すると、合成画像生成部３２により合成画像の生成が開始される（ステップＳ２２）。以降、画像表示システム１００が起動停止するまで合成画像の生成が継続される。すなわち、画像表示システム１００の起動中は常時に合成画像が生成されることになる。
【００８９】
合成画像の生成が開始されると、制御部１により、車両９の走行速度が継続的に監視される（ステップＳ２３）。そして、車両９の走行速度が１０ｋｍ／ｈ以上の場合は（ステップＳ２３にてＮｏ）、動作モードがナビモードＭ０となる（ステップＳ２４）。
【００９０】
一方、車両９の走行速度が１０ｋｍ／ｈ未満の場合は（ステップＳ２３にてＹｅｓ）、動作モードがフロントモードＭ１となり前側方モードＭ１１に設定されて（ステップＳ２５）、合成画像がディスプレイ２１に表示される（ステップＳ２６）。この時点では、既に合成画像の生成がなされているため、フロントモードＭ１となったときにほぼ瞬時に合成画像をディスプレイ２１に表示させることが可能である。
【００９１】
以降は、車両９の走行速度が１０ｋｍ／ｈ以上となるまで（ステップＳ２９にてＮｏの間）、ディスプレイ２１に車両９の周辺を示す周辺画像の表示がなされる（ステップＳ２６）。この間、フロントモードＭ１において切替スイッチ４３が押下されると（ステップＳ２７にてＹｅｓ）、表示モードが切り替えられる（ステップＳ２８）。
【００９２】
また、車両９の走行速度が１０ｋｍ／ｈ以上となった場合は（ステップＳ２９にてＹｅｓ）、処理はステップＳ２２に戻り、再び、車両９の走行速度が１０ｋｍ／ｈ未満となるかが監視される。この際、合成画像生成部３２において合成画像の生成は停止されず、そのまま継続されることになる。
【００９３】
以上のように、第２の実施の形態の画像表示システム１００では、起動中は常時に合成画像を生成するため、合成画像を表示すべき状態となったときに即座に合成画像を表示できる。
【００９４】
＜３．第３の実施の形態＞
次に、第３の実施の形態について説明する。第３の実施の形態における画像表示システムの構成・処理は、第１の実施の形態とほぼ同様であるが一部のみが相違しているため、以下、第１の実施の形態との相違点を中心に説明する。
【００９５】
第１の実施の形態では、フロントモードＭ１となった時点で合成画像生成部３２により合成画像の生成が開始されていたため、消費電力の低減の観点で好ましい。一方、第２の実施の形態では、画像生成装置１０の起動中は常時に合成画像を生成していたため、必要なときに合成画像を迅速に表示できる観点で好ましい。
【００９６】
これに対して、第３の実施の形態では、車両９の走行速度が周辺画像を表示する第１閾値（例えば１０ｋｍ／ｈ）より高い第２閾値（例えば２０ｋｍ／ｈ）を設定し、その第２閾値よりも低くなった場合に合成画像を生成する。これにより、消費電力を低減しつつ、合成画像を迅速に表示できるようになっている。すなわち、第３の実施の形態では、消費電力と表示の素早さとのバランスをとって、第１及び第２の実施の形態の双方のメリットが得られるようになっている。
【００９７】
図１４は、第３の実施の形態の画像表示システム１００の起動中における基本的な動作の流れを示す図である。この画像表示システム１００も、ＡＣＣスイッチがオンとなって電力が供給されると起動し、ＡＣＣスイッチがオフとなると起動停止する。
【００９８】
画像表示システム１００が起動すると、まず、制御部１により各種の初期化処理がなされる（ステップＳ３１）。
【００９９】
初期化処理が終了すると、制御部１により、車両９の走行速度が継続的に監視される（ステップＳ３２）。そして、車両９の走行速度が第２閾値である２０ｋｍ／ｈ未満の場合は（ステップＳ３２にてＹｅｓ）、合成画像生成部３２により合成画像の生成が行われる（ステップＳ３３）。一方、車両９の走行速度が第２閾値である２０ｋｍ／ｈ以上の場合は（ステップＳ２３にてＮｏ）、合成画像生成部３２において合成画像の生成が停止される（ステップＳ３４）。
【０１００】
さらに、制御部１により、車両９の走行速度が監視される（ステップＳ３５）。車両９の走行速度が第１閾値である１０ｋｍ／ｈ以上の場合は（ステップＳ３５にてＮｏ）、動作モードはナビモードＭ０となり（ステップＳ３６）、処理はステップＳ３２に戻る。すなわち、このナビモードＭ０では、制御部１により、車両９の走行速度が第２閾値（２０ｋｍ／ｈ）、及び、第１閾値（１０ｋｍ／ｈ）より低下したか否かがそれぞれ監視されることになる。
【０１０１】
そして、走行速度が第２閾値（２０ｋｍ／ｈ）より低下した時点で合成画像の生成が開始され（ステップＳ３２，Ｓ３３）、さらに、走行速度が第１閾値（１０ｋｍ／ｈ）より低下した時点で動作モードがフロントモードＭ１となることになる（ステップＳ３５にてＹｅｓ）。したがって、フロントモードＭ１となって前側方モードＭ１１に設定され（ステップＳ３７）、合成画像がディスプレイ２１に表示する時点では（ステップＳ３８）、既に合成画像の生成がなされている。このため、フロントモードＭ１となったときに迅速に合成画像をディスプレイ２１に表示させることが可能である。
【０１０２】
以降は、車両９の走行速度が１０ｋｍ／ｈ以上となるまで（ステップＳ４１にてＮｏの間）、ディスプレイ２１に車両９の周辺を示す周辺画像の表示がなされる（ステップＳ３８）。この間、フロントモードＭ１において切替スイッチ４３が押下されると（ステップＳ３９にてＹｅｓ）、表示モードが切り替えられる（ステップＳ４０）。
【０１０３】
また、車両９の走行速度が１０ｋｍ／ｈ以上となった場合は（ステップＳ４１にてＹｅｓ）、処理はステップＳ３２に戻り、再び、車両９の走行速度と第２閾値（２０ｋｍ／ｈ）とが比較される。そして、車両９の走行速度が第２閾値（２０ｋｍ／ｈ）となるまでは合成画像の生成は継続され、車両９の走行速度が第２閾値（２０ｋｍ／ｈ）以上となると合成画像の生成は停止されることになる。
【０１０４】
以上のように、第３の実施の形態の画像表示システム１００では、車両９の走行速度が第２閾値（２０ｋｍ／ｈ）よりも低くなった時点で合成画像の生成を開始することで、車両９の走行速度が第１閾値（１０ｋｍ／ｈ）より低くなったときには、迅速に合成画像を表示できることになる。また、車両９の走行速度が第２閾値以上のときは、合成画像の生成を停止するため、消費電力も有効に低減できる。したがって、消費電力を低減しつつ、必要なときに合成画像を迅速に表示できることになる。
【０１０５】
＜４．変形例＞
以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態に限定されるものではなく様々な変形が可能である。以下では、このような変形例について説明する。もちろん、以下で説明する形態を適宜に組み合わせてもよい。
【０１０６】
上記実施の形態では、画像生成装置１０とナビゲーション装置２０とは別の装置であるとして説明したが、画像生成装置１０とナビゲーション装置２０とが同一のハウジング内に配置されて一体型の装置として構成されてもよい。
【０１０７】
また、上記実施の形態では、画像生成装置１０で生成された画像を表示する表示装置はナビゲーション装置２０であるとして説明したが、ナビゲーション機能等の特殊な機能を有していない一般的な表示装置であってもよい。
【０１０８】
また、上記実施の形態において、画像生成装置１０の制御部１によって実現されると説明した機能の一部は、ナビゲーション装置２０の制御部２３によって実現されてもよい。
【０１０９】
また、シフトセンサ８１、車速度センサ８２、及び、方向指示器８３からの信号は画像生成装置１０に入力されるものとしていたが、これらの信号の一部または全部はナビゲーション装置２０に入力されるようになっていてもよい。
【０１１０】
また、上記実施の形態では、車両９のドライバが意図する方向指示を方向指示器８３から入力していたが、他の手段によって入力してもよい。例えば、ドライバの目を撮影した画像からドライバの視点の動きを検出し、その検出結果からドライバが意図する方向指示を入力するようなものであってもよい。
【０１１１】
また、上記実施の形態では、前側方モードＭ１１では、側方領域を示す画像として合成画像を採用していたが、左右双方あるいは一方のサイドカメラ５２での撮影により得られるサイド画像を採用してもよい。ただし、任意の仮想視点からみた車両の周辺の様子を提供でき、より汎用性の高い情報を提供できる点で、合成画像を採用することが望ましい。
【０１１２】
また、上記実施の形態では、前側方モードＭ１１以外の表示モードは、側方領域のみを示す画像を表示するようになっていたが、上記のフロント画像ＦＰ１のような前方領域のみを示す画像を表示するものであってもよい。すなわち、前側方モードＭ１１以外の表示モードは、特定の状況に特化するように、前方領域及び側方領域のいずれかのみを示す画像を表示するものであればよい。
【０１１３】
また、上記実施の形態では、プログラムに従ったＣＰＵの演算処理によってソフトウェア的に各種の機能が実現されると説明したが、これら機能のうちの一部は電気的なハードウェア回路により実現されてもよい。また逆に、ハードウェア回路によって実現されるとした機能のうちの一部は、ソフトウェア的に実現されてもよい。
【符号の説明】
【０１１４】
１ 制御部
５ 撮影部
９ 車両
１０ 画像生成装置
２１ ディスプレイ
３２ 合成画像生成部
４０ 不揮発性メモリ
４３ 切替スイッチ
【特許請求の範囲】
【請求項１】
車両に搭載された表示装置に表示させる画像を生成する画像生成装置であって、
前記画像生成装置は、前記車両の周辺を示す周辺画像を表示するための複数の表示モードを有しており、
前記車両の走行速度を取得する手段と、
前記表示装置に画像を表示させる表示制御手段と、
を備え、
前記表示制御手段は、
前記走行速度が所定の閾値より低くなった場合には、前記車両の前方領域を示す第１画像と、前記車両に搭載された複数のカメラで得られる複数の画像を用いて生成された合成画像に車両像を含めた第２画像とを表示する表示モードで、前記周辺画像を前記表示装置に表示させ、
前記周辺画像の表示後に前記走行速度が所定の閾値より高くなった場合には、前記周辺画像を他の画像に切り替え、該他の画像を前記表示装置に表示させることを特徴とする画像生成装置。
【請求項２】
請求項１に記載の画像生成装置において、
前記表示制御手段は、前記車両の方向指示器からの信号に応じて、前記第２画像が示す前記車両の周辺の領域を変更することを特徴とする画像生成装置。
【請求項３】
請求項１に記載の画像生成装置において、
前記第１画像および前記第２画像の表示後に、前記表示モードを前記複数の表示モードのうちの他の表示モードに切り替え可能なモード切替手段、
をさらに備えることを特徴とする画像生成装置。
【請求項４】
車両に搭載される画像表示システムであって、
請求項１ないし３のいずれかに記載の画像生成装置と、
前記画像生成装置で生成された画像を表示する表示装置と、
を備えることを特徴とする画像表示システム。
【請求項１】
車両に搭載された表示装置に表示させる画像を生成する画像生成装置であって、
前記画像生成装置は、前記車両の周辺を示す周辺画像を表示するための複数の表示モードを有しており、
前記車両の走行速度を取得する手段と、
前記表示装置に画像を表示させる表示制御手段と、
を備え、
前記表示制御手段は、
前記走行速度が所定の閾値より低くなった場合には、前記車両の前方領域を示す第１画像と、前記車両に搭載された複数のカメラで得られる複数の画像を用いて生成された合成画像に車両像を含めた第２画像とを表示する表示モードで、前記周辺画像を前記表示装置に表示させ、
前記周辺画像の表示後に前記走行速度が所定の閾値より高くなった場合には、前記周辺画像を他の画像に切り替え、該他の画像を前記表示装置に表示させることを特徴とする画像生成装置。
【請求項２】
請求項１に記載の画像生成装置において、
前記表示制御手段は、前記車両の方向指示器からの信号に応じて、前記第２画像が示す前記車両の周辺の領域を変更することを特徴とする画像生成装置。
【請求項３】
請求項１に記載の画像生成装置において、
前記第１画像および前記第２画像の表示後に、前記表示モードを前記複数の表示モードのうちの他の表示モードに切り替え可能なモード切替手段、
をさらに備えることを特徴とする画像生成装置。
【請求項４】
車両に搭載される画像表示システムであって、
請求項１ないし３のいずれかに記載の画像生成装置と、
前記画像生成装置で生成された画像を表示する表示装置と、
を備えることを特徴とする画像表示システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１３−３８７９４（Ｐ２０１３−３８７９４Ａ）
【公開日】平成２５年２月２１日（２０１３．２．２１）
【国際特許分類】
【出願番号】特願２０１２−１９５９９１（Ｐ２０１２−１９５９９１）
【出願日】平成２４年９月６日（２０１２．９．６）
【分割の表示】特願２００９−１５７３６８（Ｐ２００９−１５７３６８）の分割
【原出願日】平成２１年７月２日（２００９．７．２）
【出願人】（０００２３７５９２）富士通テン株式会社 (3,383)
【Ｆターム（参考）】
【公開日】平成２５年２月２１日（２０１３．２．２１）
【国際特許分類】
【出願日】平成２４年９月６日（２０１２．９．６）
【分割の表示】特願２００９−１５７３６８（Ｐ２００９−１５７３６８）の分割
【原出願日】平成２１年７月２日（２００９．７．２）
【出願人】（０００２３７５９２）富士通テン株式会社 (3,383)
【Ｆターム（参考）】
[ Back to top ]