画像表示システム、画像処理装置及び画像表示方法
【課題】車載カメラの撮影画像に基づいて車体と障害物との間のクリアランスを確認する際に、障害物との間の距離感の判断を容易にする。
【解決手段】画像表示システム１２０は、車両９に配置されたカメラ５１〜５３で得られる撮影画像に基づいて仮想視点から見た合成画像を生成する合成画像生成手段３２と、合成画像を表示画面に表示する表示手段２０と、合成画像生成手段３２により生成され表示画面に表示された車両９周辺の俯瞰画像の一部の領域を指定する第１の指定入力を受け付ける受付手段２１と、第１の指定入力を受け付けた場合に、指定領域の拡大画像を表示画面に全画面表示する表示制御手段１２を備える。
【解決手段】画像表示システム１２０は、車両９に配置されたカメラ５１〜５３で得られる撮影画像に基づいて仮想視点から見た合成画像を生成する合成画像生成手段３２と、合成画像を表示画面に表示する表示手段２０と、合成画像生成手段３２により生成され表示画面に表示された車両９周辺の俯瞰画像の一部の領域を指定する第１の指定入力を受け付ける受付手段２１と、第１の指定入力を受け付けた場合に、指定領域の拡大画像を表示画面に全画面表示する表示制御手段１２を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本明細書で論じられる実施態様は、車両において画像を表示する技術に関する。
【背景技術】
【０００２】
従来より、自動車などの車両に搭載され、車載カメラで車両の周辺を撮影して得られた画像を車室内のディスプレイに表示する画像表示システムが知られている。この画像表示システムを利用することにより、ユーザ（代表的にはドライバ）は車両の周辺の様子をほぼリアルタイムに把握することができる。
【０００３】
例えば、運転席の逆側となるフロントフェンダの外側領域は運転席から死角となりやすく、車体と障害物との間のクリアランスをユーザが把握しにくい。これに対して、画像表示システムを利用すれば、車載カメラの撮影によりフロントフェンダの外側領域を示す画像が取得され、その画像が車室内のディスプレイに表示される。これにより、車両の幅寄せを行う場合などにおいて、運転席の逆側の車体と障害物との間のクリアランスをユーザが容易に確認できることとなる。
【０００４】
なお、複数のカメラにより撮られた各映像に基づいて車両の周辺の俯瞰映像をディスプレイに表示する俯瞰映像表示手段と、俯瞰映像において車両の周囲を複数の領域に分割しそれぞれを撮像領域として規定する撮像領域規定手段と、撮像領域のいずれかがディスプレイ上でユーザにより選択されたことを検出し且つ検出された撮像領域を選択領域として設定する選択領域設定手段と、選択領域に対応する対象映像をディスプレイに拡大表示する拡大表示手段を備える車両周辺表示装置が提案されている。
【０００５】
また、車両周辺表示装置において、前方カメラや後方カメラの選択画像をモニタの表示画面の全体に拡大表示することが提案されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００９−２３９６７４号公報
【特許文献２】特開２０１０−１４７５１６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
車体と障害物との間のクリアランスを把握する際に車載カメラの撮影画像により注視したい箇所は、ユーザによって異なる。したがって固定された視点から撮影された画像そのものよりも、複数の車載カメラの画像から合成した俯瞰画像やその拡大画像の方がユーザの利便性が高い。
【０００８】
しかしながら、従来の画像表示システムは、車両の周辺全体の俯瞰画像やその拡大画像を、ディスプレイ装置の表示画面上の一部分の小さな表示エリア内に表示するものであった。このためユーザは車両と障害物との間の正確な距離感を掴むことが難しかった。
【０００９】
実施態様に係る装置及び方法は、車載カメラで車両の周辺を撮影して得られた画像に基づいて車体と障害物との間のクリアランスを確認する際に、障害物との間の距離感の判断を容易にすることを目的とする。
【課題を解決するための手段】
【００１０】
１つの実施形態によれば、車両に搭載される画像表示システムが与えられる。画像表示システムは、車両に配置されたカメラで得られる撮影画像に基づいて仮想視点から見た合成画像を生成する合成画像生成手段と、合成画像生成手段により生成された合成画像を表示画面に表示する表示手段と、合成画像生成手段により生成され表示画面に表示された車両周辺の俯瞰画像の一部の領域を指定する第１の指定入力を受け付ける受付手段と、第１の指定入力を受け付けた場合に、指定された領域の拡大画像を表示画面に全画面表示する表示制御手段を備える。
【００１１】
他の実施形態による画像表示システムは、車両に配置されたカメラで得られる撮影画像に基づいて仮想視点から見た合成画像を生成する合成画像生成手段と、合成画像生成手段により生成された合成画像及び前記撮影画像を表示画面に表示する表示手段と、合成画像生成手段により生成され前記表示画面に表示された前記車両周辺の俯瞰画像の一部の領域を指定する指定入力を受け付ける受付手段と、指定入力を受け付けた場合に、前記指定された領域の拡大画像を前記表示画面に表示する表示制御手段を備える。表示制御手段によって制御される表示画面の１以上の表示モードには、カメラにより得られる撮影画像を表示画面に表示する状態を含み、撮影画像の表示中に指定入力を受け付けたとき、表示制御手段は、合成画像生成手段により生成される、撮影画像から俯瞰画像まで変化する第１のアニメーション及び俯瞰画像から拡大画像まで変化する第２のアニメーションを表示する。
【発明の効果】
【００１２】
本件開示の装置又は方法によれば、車両周辺の任意の箇所を拡大して示す俯瞰画像を、表示画面に全画面表示することが可能となる。このため、ユーザが車体と障害物との間のクリアランスを確認する際に、障害物との間の距離感を掴みやすくなる。
【００１３】
ディスプレイの表示を俯瞰画像の一部の拡大画像に直接切り替えると、ユーザは、どこが拡大表示されているかを見失い自分の意図通りに操作が受け付けられたか否かに不安を覚えることになる。
【００１４】
カメラの撮影画像から俯瞰画像まで、俯瞰画像から拡大画像まで変化するアニメーションを表示すれば、ユーザは、自分が意図したとおりに表示が行われていることを確認しやすくなる。
【図面の簡単な説明】
【００１５】
【図１】画像表示システムの構成例を示すブロック図である。
【図２】車載カメラが車両に配置される位置の例を示す図である。
【図３】合成画像を生成する手法の一例の説明図である。
【図４】（Ａ）〜（Ｃ）は、合成画像生成部によって生成される俯瞰画像の拡大画像の例の説明図である。
【図５】表示モードの状態遷移図の第１例の説明図である。
【図６】ナビモードにおける表示内容の例を示す図である。
【図７】バックモード用２画面表示状態における表示内容の例を示す図である。
【図８】（Ａ）及び（Ｂ）は、第１バックカメラ画像表示状態及び第２バックカメラ画像表示状態における表示内容の例を示す図である。
【図９】フロントモード用２画面表示状態における表示内容の例を示す図である。
【図１０】（Ａ）及び（Ｂ）は、フロントカメラ画像表示状態及びサイドカメラ映像表示状態における表示内容の例を示す図である。
【図１１】周囲確認モードにおける表示内容の例を示す図である。
【図１２】２画面表示状態における表示切替処理の第１例のフローチャートである。
【図１３】２画面表示状態における表示切替処理の第１例の説明図である。
【図１４】拡大俯瞰画像の表示状態を示す図（その１）である。
【図１５】（Ａ）〜（Ｃ）は、第２領域Ｒ２の表示の変化例の説明図である。
【図１６】（Ａ）はアニメーションの表示処理のフローチャートであり、（Ｂ）はアニメーション表示における中間画像の表示処理のフローチャートである。
【図１７】２画面表示状態における表示切替処理の第２例のフローチャートである。
【図１８】（Ａ）及び（Ｂ）は、２画面表示状態における表示切替処理の第２例の説明図である。
【図１９】（Ａ）〜（Ｃ）は、拡大俯瞰画像の視点の位置を変更する方法の第１例の説明図である。
【図２０】（Ａ）〜（Ｃ）は、拡大俯瞰画像の視点の位置を変更する方法の第２例の説明図である。
【図２１】表示モードの状態遷移図の第２例の説明図である。
【図２２】全画面俯瞰表示状態における表示内容の例を示す図である。
【図２３】全画面俯瞰表示状態における表示切替処理のフローチャートである。
【図２４】（Ａ）及び（Ｂ）は、全画面俯瞰表示状態における表示切替処理の説明図である。
【発明を実施するための形態】
【００１６】
以下、図面を参照しつつ本発明の実施の形態について説明する。
＜１．システム構成＞
図１は、画像表示システム１２０の構成例を示すブロック図である。この画像表示システム１２０は、車両（本実施の形態では、自動車）に搭載されるものであり、車両の周辺を撮影して画像を生成して車室内に表示する機能を有している。画像表示システム１２０のユーザ（代表的にはドライバ）は、この画像表示システム１２０を利用することにより、当該車両の周辺の様子をほぼリアルタイムに把握できるようになっている。なお、以下の説明において使用される用語「画像」は、静止画像及び動画のいずれの意味も含む。
【００１７】
図１に示すように、画像表示システム１２０は、車両の周辺の様子を示す画像を生成する画像処理装置１００と、車両に乗車するユーザに対して各種情報を表示するナビゲーション装置２０とを主に備えている。画像処理装置１００で生成された画像は、ナビゲーション装置２０において表示される。
【００１８】
ナビゲーション装置２０は、ユーザに対しナビゲーション案内を行うものであり、タッチパネル機能を備えた液晶などのディスプレイ２１と、ユーザが操作を行うハードスイッチなどで構成される操作部２２と、装置全体を制御する制御部２３とを備えている。ディスプレイ２１の画面がユーザから視認可能なように、ナビゲーション装置２０は車両のインストルメントパネルなどに設置される。ユーザの各種の指示は、操作部２２とタッチパネルとしてのディスプレイ２１とによって受け付けられる。制御部２３は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えたコンピュータで構成され、所定のプログラムに従ってＣＰＵが演算処理を行うことでナビゲーション機能を含む各種の機能が実現される。
【００１９】
ナビゲーション装置２０は、画像処理装置１００と通信可能に接続され、画像処理装置１００との間で各種の制御信号の送受信や、画像処理装置１００で生成された画像の受信が可能となっている。ディスプレイ２１には、制御部２３の制御により、通常はナビゲーション装置２０単体の機能に基づく画像が表示されるが、動作モードを変更することで画像処理装置１００で生成された車両の周辺の様子を示す画像が表示される。これにより、ナビゲーション装置２０は、画像処理装置１００で生成された画像を受信して表示する表示装置としても機能する。
【００２０】
画像処理装置１００は、その本体部１０が画像を生成する機能を有するＥＣＵ（Electronic Control Unit）として構成され、車両の所定の位置に配置される。画像処理装置１００は、車両の周辺を撮影する撮影部５を備えており、この撮影部５で車両の周辺を撮影して得られる撮影画像に基づいて仮想視点から見た合成画像を生成する画像生成装置として機能する。
【００２１】
撮影部５は、本体部１０に電気的に接続され、本体部１０からの信号に基づいて動作する。撮影部５は、車載カメラであるフロントカメラ５１、バックカメラ５２、及び、サイドカメラ５３を備えている。各車載カメラ５１〜５３は、レンズと撮像素子とを備えており電子的に画像を取得する。
【００２２】
これらの複数の車載カメラ５１〜５３は、車両の異なる位置にそれぞれ配置される。図２は、車載カメラ５１〜５３が車両９に配置される位置の例を示す図である。
【００２３】
図２に示すように、フロントカメラ５１は、車両９の前端にあるナンバープレート取付位置の近傍に設けられ、その光軸５１ａは車両９の直進方向に向けられている。バックカメラ５２は、車両９の後端にあるナンバープレート取付位置の近傍に設けられ、その光軸５２ａは車両９の直進方向の逆方向に向けられている。これらフロントカメラ５１やバックカメラ５２の取付位置は、左右略中央であることが望ましいが、左右中央から左右方向に多少ずれた位置であってもよい。また、サイドカメラ５３は左右のドアミラー９３にそれぞれ設けられ、その光軸５３ａは車両９の左右方向（直進方向に直交する方向）に沿って車両９の外側に向けられている。
【００２４】
これらの車載カメラ５１〜５３のレンズとしては魚眼レンズなどが採用されており、車載カメラ５１〜５３は１８０度以上の画角θを有している。このため、４つの車載カメラ５１〜５３を利用することで、車両９の全周囲の撮影が可能となっている。
【００２５】
図１に戻り、画像処理装置１００の本体部１０は、装置全体を制御する制御部１と、撮影部５で取得された撮影画像を処理して表示用の画像を生成する画像生成部３と、ナビゲーション装置２０との間で通信を行うナビ通信部４２とを主に備えている。
【００２６】
ナビゲーション装置２０の操作部２２やディスプレイ２１によって受け付けられたユーザからの各種の指示は、制御信号としてナビ通信部４２によって受け付けられて制御部１に入力される。これにより、画像処理装置１００は、ナビゲーション装置２０に対するユーザの操作に応答した動作が可能となっている。
【００２７】
画像生成部３は、各種の画像処理が可能なハードウエア回路として構成されており、撮影画像調整部３１、及び、合成画像生成部３２を主な機能として備えている。
【００２８】
撮影画像調整部３１は、撮影部５で取得された撮影画像を対象とした調整を行うものである。具体的には、撮影画像調整部３１は、撮影画像に対して明るさ補正などの画像処理を行う。
【００２９】
合成画像生成部３２は、撮像部５の複数の車載カメラ５１〜５３で取得されて撮影画像調整部３１によって調整された複数の撮影画像に基づいて、車両の周辺の任意の仮想視点からみた車両の周辺の様子を示す合成画像を生成する。合成画像生成部３２が合成画像を生成する手法については後述する。
【００３０】
合成画像生成部３２により生成された合成画像は、ナビ通信部４２によってナビゲーション装置２０に出力される。これにより、車両の周辺の少なくとも一部の領域を示す合成画像がナビゲーション装置２０のディスプレイ２１に表示されることになる。
【００３１】
制御部１は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えたコンピュータとして構成され、所定のプログラムに従ってＣＰＵが演算処理を行うことで各種の制御機能が実現される。図中に示す、画像制御部１１及び表示制御部１２は、このようにして実現される制御部１の機能のうちの一部を示している。
【００３２】
画像制御部１１は、画像生成部３によって実行される画像処理に係る制御を行う。例えば、画像制御部１１は、合成画像生成部３２が生成する合成画像の生成に必要な各種パラメータなどを指示する。表示制御部１２は、ナビゲーション装置２０のディスプレイ２１に表示する表示内容に係る制御を行う。表示制御部１２の具体的な処理内容については後述する。
【００３３】
また、画像処理装置１００の本体部１０は、不揮発性メモリ４０、及びカード読取部４４をさらに備えており、これらは制御部１に接続されている。
【００３４】
不揮発性メモリ４０は、電源オフ時においても記憶内容を維持可能なフラッシュメモリなどで構成されている。不揮発性メモリ４０には、視点データ４ａが記憶されている。視点データ４ａは、合成画像の仮想視点を定める際に利用される。
【００３５】
カード読取部４４は、可搬性の記録媒体であるメモリカードＭＣの読み取りを行う。カード読取部４４は、メモリカードＭＣの着脱が可能なカードスロットを備えており、そのカードスロットに装着されたメモリカードＭＣに記憶されたデータを読み取る。カード読取部４４で読み取られたデータは、制御部１に入力される。
【００３６】
メモリカードＭＣは、種々のデータを記憶可能なフラッシュメモリなどで構成されており、画像処理装置１００はメモリカードＭＣに記憶された種々のデータを利用できる。例えば、メモリカードＭＣにプログラムを記憶させ、これを読み出すことで、制御部１の機能を実現するプログラム（ファームウエア）を更新することが可能である。
【００３７】
＜２．画像合成処理＞
次に、画像生成部３の合成画像生成部３２が、撮像部５で得られた複数の撮影画像に基づいて車両９の周辺を任意の仮想視点からみた様子を示す合成画像を生成する手法について説明する。図３は、合成画像を生成する手法の一例の説明図である。
【００３８】
撮影部５のフロントカメラ５１、バックカメラ５２及びサイドカメラ５３で同時に撮影が行われると、車両９の前方、後方、左側方、及び、右側方をそれぞれ示す４つの撮影画像Ｐ１〜Ｐ４が取得される。すなわち、撮影部５で取得される４つの撮影画像Ｐ１〜Ｐ４には、撮影時点の車両の全周囲を示す情報が含まれていることになる。
【００３９】
次に、４つの撮影画像Ｐ１〜Ｐ４の各画素が、仮想的な三次元空間における立体曲面ＳＰに投影される。立体曲面ＳＰは、例えば略半球状（お椀形状）をしており、その中心部分（お椀の底部分）が車両９が存在する位置として定められている。撮影画像Ｐ１〜Ｐ４に含まれる各画素の位置と、この立体曲面ＳＰの各画素の位置とは予め対応関係が定められている。このため、立体曲面ＳＰの各画素の値は、この対応関係と撮影画像Ｐ１からＰ４に含まれる各画素の値とに基づいて決定できる。
【００４０】
撮影画像Ｐ１〜Ｐ４の各画素の位置と立体曲面ＳＰの各画素の位置との対応関係は、車両９における４つの車載カメラ５１〜５３の配置（相互間距離、地上高さ、光軸角度等）に依存する。この対応関係を示すテーブルデータは、不揮発性メモリ４０に予め記憶されている。
【００４１】
また、不揮発性メモリ４０に予め記憶された車体の形状やサイズを示すデータが利用され、車両９の三次元形状を示すポリゴンのモデルが仮想的に構成される。構成された車両９のモデルは、立体曲面ＳＰが設定される三次元空間において、車両９の位置と定められた略半球状の中心部分に配置される。
【００４２】
さらに、立体曲面ＳＰが存在する三次元空間に対して、制御部１により仮想視点ＶＰが設定される。仮想視点ＶＰは、視点位置と視野方向とで規定され、この三次元空間における車両９の周辺に相当する任意の視点位置に任意の視野方向に向けて設定される。
【００４３】
そして、設定された仮想視点ＶＰに応じて、立体曲面ＳＰにおける必要な領域が画像として切り出される。仮想視点ＶＰと、立体曲面ＳＰにおける必要な領域との関係は予め定められており、テーブルデータとして不揮発性メモリ４０等に予め記憶されている。一方で、設定された仮想視点ＶＰに応じてポリゴンのモデルに関してレンダリングがなされ、その結果となる二次元の車両の像が、切り出された画像に対して重畳される。これにより、車両９及びその車両９の周辺を任意の仮想視点ＶＰからみた様子を示す合成画像が生成されることになる。
【００４４】
例えば、視点位置が車両９の位置の略中央の直上位置で、視野方向が略直下方向とした仮想視点ＶＰａを設定した場合は、車両９の略直上から車両９を見下ろすように、車両９及び車両９の周辺の領域を示す俯瞰画像の合成画像ＣＰａが生成される。また、図中に示すように、視点位置が車両９の位置の左後方で、視野方向が車両９における略前方とした仮想視点ＶＰｂを設定した場合は、車両９の左後方からその周辺全体を見渡すように、車両９及び車両９の周辺の領域を示す合成画像ＣＰｂが生成される。更に、仮想視点ＶＰａの位置を車両に近づけると拡大した合成画像が生成され、仮想視点ＶＰａの位置を車両から遠ざけると縮小した、即ち車両の周囲を広範囲に映す合成画像が生成される。
【００４５】
合成画像生成部３２は、車両９及び車両９の周辺の領域を示す俯瞰画像の一部分を拡大した部分拡大画像を生成することもできる。図４の（Ａ）の俯瞰画像の合成画像ＣＰ１は、図３の合成画像ＣＰａと同様に車両９及び車両９の周辺の領域を示す。
【００４６】
例えば、視点位置を車両９の位置の左前方の上方、かつ車両９に近づけた位置とし、視野方向が略直下方向に仮想視点を設定すると、図４の（Ｂ）の拡大画像の合成画像ＣＰ２が生成される。拡大画像ＣＰ２は、図４の（Ａ）の俯瞰画像ＣＰ１の領域６０の部分を拡大する拡大画像である。また、例えば視点位置を車両９の位置の左後方の上方、かつ車両９に近づけた位置とし、視野方向が略直下方向とした仮想視点を設定すると、図４の（Ｃ）の拡大画像の合成画像ＣＰ３が生成される。拡大画像ＣＰ３は、図４の（Ａ）の俯瞰画像ＣＰ１の領域６１の部分を拡大する拡大画像である。
【００４７】
なお、実際に合成画像を生成する場合においては、立体曲面ＳＰの全ての画素の値を決定する必要はなく、設定された仮想視点ＶＰに対応して必要となる領域の画素の値のみを撮影画像Ｐ１〜Ｐ４に基づいて決定することで、処理速度を向上できる。
【００４８】
画像表示システム１２０では、このような合成画像生成部３２の機能を利用することで、車両９及び車両９の周辺全体を俯瞰して示す合成画像や、車両９の周辺の一部の周辺領域のみを示す合成画像などを生成し、ディスプレイ２１に表示することができる。
【００４９】
＜３．表示モード＞
画像表示システム１２０は、ナビモードや、撮影部５で取得された撮影画像や合成画像生成部３２が合成した合成画像を表示するための複数の表示モードを有している。これらの表示モードは、車両９の走行状態やシフトレバーの位置、操作部２２、ディスプレイ２１のタッチパネルなどを介したユーザの操作に基づいて表示制御部１２の制御により切り替えられる。以下、表示制御部１２による表示モードの切替処理の各実施例について説明する。
【００５０】
＜４．第１の実施例＞
図５は、表示制御部１２により切り替わる表示モードの状態遷移図の第１例の説明図である。ナビモードＳＴ１０は、ナビゲーション装置２０の機能により、ナビゲーション案内用の地図画像などをディスプレイ２１に表示する動作モードである。ナビモードＳＴ１０では、図６に示すような経路案内のためのナビゲーション表示Ｄｎがディスプレイ２１上に表示される。
【００５１】
図５を参照する。例えば、シフトレバーの位置が「Ｒ」ポジションとなると、表示制御部１２は、表示モードをバックモードＳＴ２０へ遷移させる。シフトレバーの位置が「Ｒ」ポジション以外になると、表示制御部１２は、表示モードをナビモードＳＴ１０へ復帰させる。
【００５２】
また、例えばシフトレバーの位置が「Ｒ」ポジション以外のポジションであり、かつ車両９の速度が所定速度Ｖ１未満であるとき、表示制御部１２は、表示モードをフロントモードＳＴ３０へ遷移させる。車両９の速度が所定速度Ｖ１以上であるとき、表示制御部１２は、表示モードをナビモードＳＴ１０へ復帰させる。
【００５３】
なお、フロントモードＳＴ３０中にシフトレバーの位置が「Ｒ」ポジションになったとき、表示制御部１２は、表示モードをバックモードＳＴ２０へ直接遷移させてもよい。また、バックモードＳＴ２０中にシフトレバーの位置が「Ｒ」ポジション以外のポジションになり、かつ車両９の速度が所定速度Ｖ１未満であるとき、表示制御部１２は、表示モードをフロントモードＳＴ３０へ直接遷移させてもよい。
【００５４】
また、例えばシフトレバーの位置が「Ｒ」ポジション以外のポジションであり、操作部２２がユーザから所定の操作を受け付けたとき、表示制御部１２は、表示モードを周囲確認モードＳＴ４０へ遷移させる。所定の操作は、例えばハードスイッチの長押しであってよい。以下の説明及び図面において、ハードスイッチを「ハードＳＷ」と表記することがある。
【００５５】
また、操作部２２がユーザから所定の復帰操作を受け付けたとき、表示制御部１２は、表示モードをナビモードＳＴ１０へ復帰させる。例えば、所定の復帰操作もハードＳＷの長押しであってよい。
【００５６】
バックモードＳＴ２０又はフロントモードＳＴ３０中に、操作部２２がユーザから所定の操作を受け付けたとき、表示制御部１２は、表示モードを周囲確認モードＳＴ４０へ遷移させてよい。このとき表示制御部１２は、遷移元の表示モードを記憶する。操作部２２がユーザから所定の復帰操作を受け付けたとき、表示制御部１２は、表示モードを元の表示モードへ復帰させる。
【００５７】
続いて、各モードＳＴ２０、ＳＴ３０及びＳＴ４０における表示内容について説明する。バックモードＳＴ２０は、バックモード用２画面表示状態ＳＴ２１、第１バックカメラ画像表示状態ＳＴ２２及び第２バックカメラ画像表示状態ＳＴ２３の表示モードを有する。
【００５８】
操作部２２のハードＳＷやディスプレイ２１のタッチパネルに設定されたソフトスイッチ等として設けられた所定のカメラスイッチが操作されると、表示制御部１２は、表示モードを状態ＳＴ２１〜ＳＴ２３間で遷移させる。以下の説明及び図面において、カメラスイッチを「カメラＳＷ」と表記することがある。
【００５９】
図７は、バックモード用２画面表示状態ＳＴ２１における表示内容の例を示す図である。参照符号Ｖ０は、ディスプレイ２１上に所定の全画面表示を行う際の表示範囲を示す。以下の説明において、所定の全画面表示を行う際の表示範囲Ｖ０を、「全画面Ｖ０」を表記することがある。全画面Ｖ０は、ディスプレイ２１の表示画面全体であってよい。また、所定の全画面表示においてディスプレイ２１の表示画面全体の内側に所定のマージンを設けて全画面Ｖ０を表示する等の場合のように、全画面Ｖ０は、ディスプレイ２１の表示画面全体よりもやや小さい領域であってもよい。バックモード用２画面表示Ｄｔｂは、全画面Ｖ０内に第１領域Ｒ１及び第２領域Ｒ２を有する。表示制御部１２は、第１領域Ｒ１に、車両９の周辺全体の俯瞰画像ＣＰｗの合成画像を表示する。
【００６０】
また、表示制御部１２は、バックカメラ５２の撮影画像もしくは車両９の周辺全体の俯瞰画像の部分画像を第２領域Ｒ２に表示する。図７に示す表示例では、バックカメラ５２の撮影画像Ｐｂ１が第２領域Ｒ２に表示されている。表示制御部１２によって実行される、第２領域Ｒ２内における表示内容の切替処理については後述する。
【００６１】
図８の（Ａ）及び図８の（Ｂ）は、それぞれ第１バックカメラ画像表示状態ＳＴ２２、及び第２バックカメラ画像表示状態ＳＴ２３における表示内容の例を示す図である。第１バックカメラ画像表示状態ＳＴ２２における画面表示（以下、「第１バックカメラ画像表示」と表記することがある）Ｄｂ１は、ディスプレイ２１上の全画面Ｖ０に表示されるバックカメラ５２の撮影画像Ｐｂ１の全画面表示を含む。
【００６２】
第２バックカメラ画像表示状態ＳＴ２３における画面表示（以下、「第２バックカメラ画像表示」と表記することがある）Ｄｂ２は、全画面Ｖ０に表示されるバックカメラ５２の撮影画像Ｐｂ２の全画面表示を含む。画像Ｐｂ１と画像Ｐｂ２とは画角が相違する。
【００６３】
図５を参照する。フロントモードＳＴ３０は、フロントモード用２画面表示状態ＳＴ３１、フロントカメラ画像表示状態ＳＴ３２及びサイドカメラ画像表示状態ＳＴ３３の表示モードを有する。カメラＳＷが操作されると、表示制御部１２は、表示モードを状態ＳＴ３１〜ＳＴ３３間で遷移させる。
【００６４】
図９は、フロントモード用２画面表示状態ＳＴ３１における表示内容の例を示す図である。フロントモード用２画面表示Ｄｔｆは、全画面Ｖ０内に第１領域Ｒ１及び第２領域Ｒ２を有する。表示制御部１２は、第１領域Ｒ１に、車両９の周辺全体の俯瞰画像ＣＰｗの合成画像を表示する。
【００６５】
また、表示制御部１２は、フロントカメラ５１の撮影画像もしくは車両９の周辺全体の俯瞰画像の部分画像を第２領域Ｒ２に表示する。図９に示す表示例では、フロントカメラ５１により撮影されたブラインドコーナーモニタ（ＢＣＭ: Blind Corner Monitor）画像Ｐｆ１が第２領域Ｒ２に表示されている。表示制御部１２によって実行される、第２領域Ｒ２内における表示内容の切替処理については後述する。
【００６６】
図１０の（Ａ）及び図１０の（Ｂ）は、フロントカメラ画像表示状態ＳＴ３２及びサイドカメラ映像表示状態ＳＴ３３における表示内容の例を示す図である。フロントカメラ画像表示状態ＳＴ３２における画面表示（以下、「フロントカメラ画像表示」と表記することがある）Ｄｆは、ＢＣＭ画像Ｐｆ１と、車両９の後方の任意の仮想視点から車両９の周辺全体を見渡す合成画像Ｐｆ２の表示を含む。
【００６７】
サイドカメラ画像表示状態ＳＴ３３における画面表示（以下、「サイドカメラ画像表示」と表記することがある）Ｄｓは、左右のサイドカメラ５３によりそれぞれ撮影された画像Ｐｓ１及びＰｓ２の表示を含む。
【００６８】
続いて、周囲確認モードＳＴ４０における表示内容を説明する。図１１に、周囲確認モードＳＴ４０における表示内容の例を示す。周囲確認モードＳＴ４０における画面表示（以下、「全周囲確認表示」と表記することがある）Ｄｃは、車両９の周囲の風景を含めた立体的俯瞰映像の表示を含む。
【００６９】
次に、バックモード用２画面表示状態ＳＴ２１及びフロントモード用２画面表示状態ＳＴ３１における、第２領域Ｒ２の表示の切り替えについて説明する。図１２は、バックモード用２画面表示状態ＳＴ２１における表示切替処理の第１例のフローチャートである。
【００７０】
なお、他の実施態様においては、下記のオペレーションＡＡ〜ＡＧの各オペレーションはステップであってもよい。オペレーションＡＡにおいて表示制御部１２は、バックモード用２画面表示Ｄｔｂをディスプレイ２１に表示する。表示されたバックモード用２画面表示Ｄｔｂを図１３に示す。
【００７１】
第１領域Ｒ１に表示される俯瞰画像ＣＰｗは、複数の区画の領域Ａ０〜Ａ８に分割されている。なお、図１３において点線で示した各領域を示す境界線は、ディスプレイ２１に実際に表示してもしなくてもよい。他の実施例についても同様である。
【００７２】
図１２を参照する。オペレーションＡＢにおいて表示制御部１２は、カメラＳＷのタッチによるユーザの入力があったか否かを判定する。カメラＳＷがタッチされた場合（オペレーションＡＢ：Ｙ）、処理はオペレーションＡＧへ移行する。オペレーションＡＧにおいて表示制御部１２は、表示モードを第１バックカメラ画像表示状態ＳＴ２２へ遷移させて処理を終了する。
【００７３】
カメラＳＷがタッチされていない場合（オペレーションＡＢ：Ｎ）、処理はオペレーションＡＣへ移行する。オペレーションＡＣにおいて表示制御部１２は、ディスプレイ２１のタッチパネルの操作により、第１領域Ｒ１をタッチするユーザの入力があったか否かを判定する。
【００７４】
第１領域Ｒ１がタッチされた場合（オペレーションＡＣ：Ｙ）、処理はオペレーションＡＤへ移行する。第１領域Ｒ１がタッチされていない場合（オペレーションＡＣ：Ｎ）、処理はオペレーションＡＢへ戻る。
【００７５】
表示制御部１２は、図１３に示す第１領域Ｒ１内の各領域Ａ０〜Ａ８のいずれをユーザがタッチしたかに応じて、第２領域Ｒ２内の表示画像を切り替える。ユーザがタッチした領域と第２領域Ｒ２内の表示画像の対応関係を以下に示す。
【００７６】
領域Ａ０：バックモード用２画面表示状態ＳＴ２１へ遷移時にデフォルト表示するように指定された画像（例えば、バックカメラ５２の撮影画像Ｐｂ１であってよい）
車両左前方の領域Ａ１：車両左前方を真上から拡大して見た拡大俯瞰画像の合成画像
車両前方の領域Ａ２：車両前方を真上から拡大して見た拡大俯瞰画像の合成画像
車両右前方の領域Ａ３：車両右前方を真上から拡大して見た拡大俯瞰画像の合成画像
車両左側方の領域Ａ４：車両左側方を真上から拡大して見た拡大俯瞰画像の合成画像
車両右側方の領域Ａ５：車両右側方を真上から拡大して見た拡大俯瞰画像の合成画像
車両左後方の領域Ａ６：車両左後方を真上から拡大して見た拡大俯瞰画像の合成画像
車両後方の領域Ａ７：車両後方を真上から拡大して見た拡大俯瞰画像の合成画像
車両右後方の領域Ａ８：車両右後方を真上から拡大して見た拡大俯瞰画像の合成画像
【００７７】
図１２を参照する。オペレーションＡＤにおいて表示制御部１２は、タッチされた領域が、デフォルト表示画像を指定する領域であったか否かを判定する。本例では表示制御部１２は、タッチされた領域が、領域Ａ０であるか否かを判定する。タッチされた領域が、デフォルト表示画像を指定する領域でない場合（オペレーションＡＤ：Ｎ）、処理はオペレーションＡＥへ移行する。そうでない場合（オペレーションＡＤ：Ｙ）には、処理はオペレーションＡＦへ移行する。
【００７８】
オペレーションＡＥにおいて合成画像生成部３２は、タッチされた領域に応じて上記の対応関係に基づき定まる拡大俯瞰画像を生成する。表示制御部１２は、合成画像生成部３２が生成した拡大俯瞰画像を第２領域Ｒ２へ表示する。その後処理はオペレーションＡＢへ戻る。
【００７９】
拡大俯瞰画像が第２領域Ｒ２へ表示された状態を図１４に示す。本例では、ユーザが車両左後方の領域Ａ６をタッチしたことに応答して、車両左後方を真上から見た拡大俯瞰画像ＣＰ６が第２領域Ｒ２へ表示される。
【００８０】
なお、合成画像生成部３２は、拡大俯瞰画像ＣＰ６内に、拡大俯瞰画像における実物の大きさを示す寸法線７０を挿入してよい。寸法線７０を表示することにより、ユーザが車体と障害物との間の距離感を掴み易くする。なお、後述の他の実施例においても拡大俯瞰画像に寸法線を入れてもよい。
【００８１】
図１２を参照する。オペレーションＡＦにおいて表示制御部１２は、バックモード用２画面表示状態ＳＴ２１へ遷移時にデフォルト表示するように指定された画像を第２領域Ｒ２へ表示する。本例では表示制御部１２は、バックカメラ５２の撮影画像Ｐｂ１を第２領域Ｒ２へ表示する。その後処理はオペレーションＡＢへ戻る。
【００８２】
次に、図１２に示す処理において第２領域Ｒ２内の表示を切り替える際のアニメーション表示について説明する。例えば、第２領域Ｒ２の表示画像を、デフォルト表示されていたバックカメラ５２の撮影画像Ｐｂ１から、車両左後方の拡大俯瞰画像ＣＰ６へ切り替える場合について検討する。
【００８３】
撮影画像Ｐｂ１から拡大俯瞰画像ＣＰ６へ直接表示を切り替えると、ユーザは、車両９の周辺のどこが拡大表示されているかを見失うことが考えられる。この場合にユーザは、自分の意図通りに操作が受け付けられたか否かに不安を覚えることになる。
【００８４】
そこで本実施例では、第２領域Ｒ２内の表示画像を切り替える場合には、切替前の画像から車両周辺全体の俯瞰画像ＣＰｗまで視点位置が連続的に変化するアニメーションを表示した後に、俯瞰画像ＣＰｗから切替後の画像まで視点位置が連続的に変化するアニメーションを表示する。
【００８５】
このように、いったん車両周辺全体の俯瞰画像ＣＰｗまで連続的に視点を変えてから、切替後の画像へ連続的に変化することにより、ユーザは何処が拡大されているか容易に理解できるようになる。このため、自分の意図通りに表示処理が実行されることが把握しやすくなる。
【００８６】
図１５の（Ａ）〜図１５の（Ｃ）は、第２領域Ｒ２の表示の変化例の説明図である。いま、第２領域Ｒ２の表示切り替え前の状態において、図１５の（Ａ）に示すようなバックカメラ５２の撮影画像Ｐｂ１が第２領域Ｒ２内に表示されている場合を想定する。
【００８７】
表示制御部１２が、第２領域Ｒ２の表示画像を拡大俯瞰画像ＣＰ６へ切り替える場合、ディスプレイ２１には、図１５の（Ａ）に示す撮影画像Ｐｂ１から、図１５の（Ｂ）に示す車両周辺全体の俯瞰画像ＣＰｗまで連続的に変化するアニメーションが表示される。その後、ディスプレイ２１には、俯瞰画像ＣＰｗから図１５の（Ｃ）に示す拡大俯瞰画像ＣＰ６まで連続的に変化するアニメーションが表示される。
【００８８】
図１６の（Ａ）は、アニメーションの表示処理のフローチャートである。なお、他の実施態様においては、下記のオペレーションＢＡ及びＢＢの各オペレーションはステップであってもよい。
【００８９】
オペレーションＢＡにおいて合成画像生成部３２は、バックカメラ５２の撮影画像Ｐｂ１の視点から見た画像から、車両周辺全体の俯瞰画像ＣＰｗの仮想視点から見た画像まで連続的に変化するアニメーションの各中間画像を生成する。表示制御部１２は、合成画像生成部３２により生成された中間画像を順次表示する。
【００９０】
オペレーションＢＢにおいて合成画像生成部３２は、車両周辺全体の俯瞰画像ＣＰｗの仮想視点から見た画像から、拡大俯瞰画像ＣＰ６の仮想視点からみた画像まで連続的に変化するアニメーションの各中間画像を生成する。表示制御部１２は、合成画像生成部３２により生成された中間画像を順次表示する。
【００９１】
図１６の（Ｂ）は、仮想視点をある起点から終点まで移動させたときの合成画像のアニメーションの中間画像を表示する処理のフローチャートである。なお、他の実施態様においては、下記のオペレーションＣＡ〜ＣＥの各オペレーションはステップであってもよい。
【００９２】
オペレーションＣＡにおいて画像制御部１１は、移動の起点における仮想視点の視点位置Ｖｐｐ、視野方向Ｏｐを合成画像生成部３２に設定する。オペレーションＣＢにおいて画像制御部１１は、移動の終点における仮想視点の視点位置Ｖｆｐ、視野方向Ｏｆを合成画像生成部３２に設定する。
【００９３】
オペレーションＣＡにおいて合成画像生成部３２は、移動の途中点における仮想視点の視点位置Ｖｐｍ、視野方向Ｏｍを決定する。例えば、途中点における仮想視点の決定は以下の通りであってよい。
【００９４】
本実施例では、視点Ｖｐｍの座標を、車両９に相対的に固定される３次元直交座標系によって表現する。起点位置Ｖｐｐの座標を（Ｘｐ，Ｙｐ，Ｚｐ）とし、終点位置Ｖｆｐの座標を（Ｘｆ，Ｙｆ，Ｚｆ）とする。また、視点位置の移動にかける時間をＴ（秒）とし、フレームレートをＦ（ｆｐｓ）とする。合成画像生成部３２は、各フレームにおける中間点の仮想視点の座標を、以下のように起点及び終点間の補間処理によって決定する。
【００９５】
合成画像生成部３２は、仮想視点のＸ軸方向、Ｙ軸方向及びＺ軸方向のそれぞれの移動距離Ｄｘ、Ｄｙ及びＤｚを次式によって算出する。
【００９６】
Ｄｘ＝Ｘｆ−Ｘｐ
Ｄｙ＝Ｙｆ−Ｙｐ
Ｄｚ＝Ｚｆ−Ｚｐ
【００９７】
合成画像生成部３２は、Ｘ軸方向、Ｙ軸方向及びＺ軸方向の１フレーム当たりのそれぞれの平均移動量ｍｘ、ｍｙ及びｍｚを次式によって算出する。
【００９８】
ｍｘ＝Ｄｘ／（Ｆ×Ｔ）
ｍｙ＝Ｄｙ／（Ｆ×Ｔ）
ｍｚ＝Ｄｚ／（Ｆ×Ｔ）
【００９９】
合成画像生成部３２は、移動途中の視点位置ＶｐｍのＸ座標Ｘｎ、Ｙ座標Ｙｎ及びＺ座標Ｚｎを次式によって算出する。
【０１００】
Ｘｎ＝Ｘn-1＋α×ｍｘ
Ｙｎ＝Ｙn-1＋α×ｍｙ
Ｚｎ＝Ｚn-1＋α×ｍｚ
【０１０１】
上式のＸn-1、Ｙn-1及びＺn-1は、それぞれ１フレーム前の視点位置ＶｐｍのＸ座標、Ｙ座標及びＺ座標である。またαは、仮想視点の移動速度の係数である。
【０１０２】
移動の途中点における仮想視点の視野方向Ｏｍについても、同様の補間処理によって決定することができる。
【０１０３】
オペレーションＣＤにおいて合成画像生成部３２は、オペレーションＣＣで決定された仮想視点から見た合成画像を生成する。表示制御部１２は、合成画像生成部３２により生成された画像を順次表示する。
【０１０４】
オペレーションＣＥにおいて、合成画像生成部３２はオペレーションＣＣで算出した途中点が終点に至ったか否かを判定する。途中点が終点に至った場合（オペレーションＣＥ：Ｙ）、処理は終了する。途中点が終点に至らない場合（オペレーションＣＥ：Ｎ）、処理はオペレーションＣＣへ戻る。
【０１０５】
なお、第２領域Ｒ２内の表示画像を拡大俯瞰画像からバックカメラ５２の撮影画像Ｐｂ１へ切り替える際にも、上記と同様に、車両周辺全体の俯瞰画像ＣＰｗを経由して変化するアニメーションを表示してもよい。さらに、第２領域Ｒ２内の表示画像をある拡大俯瞰画像から他の拡大俯瞰画像へ切り替える際にも、上記と同様に俯瞰画像ＣＰｗを経由して変化するアニメーションを表示してもよい。
【０１０６】
以上、バックモード用２画面表示状態ＳＴ２１における第２領域Ｒ２の表示の切り替えについて説明した。フロントモード用２画面表示状態ＳＴ３１における第２領域Ｒ２の表示の切り替えも、上記説明と同様であってよい。
【０１０７】
＜５．第２の実施例＞
続いて、バックモード用２画面表示状態ＳＴ２１において、第１領域Ｒ１に表示された俯瞰画像ＣＰｗがタッチされた場合の表示処理の他の実施例を説明する。本実施例では、俯瞰画像ＣＰｗがタッチされた場合に、拡大俯瞰画像を全画面Ｖ０に全画面表示する。
【０１０８】
図１７は、バックモード用２画面表示状態ＳＴ２１における表示切替処理の第２例のフローチャートである。なお、フロントモード用２画面表示状態ＳＴ３１における処理も同様であってよい。また、他の実施態様においては、下記のオペレーションＤＡ〜ＤＨの各オペレーションはステップであってもよい。
【０１０９】
オペレーションＤＡにおいて表示制御部１２は、バックモード用２画面表示Ｄｔｂをディスプレイ２１に表示する。表示されたバックモード用２画面表示Ｄｔｂを図１８の（Ａ）に示す。図１８の（Ａ）の表示内容は、図１３を参照して説明したバックモード用２画面表示Ｄｔｂと同様である。本例では、状態ＳＴ２１に遷移した直後には、デフォルト表示するように指定されたバックカメラ５２の撮影画像Ｐｂ１が第２領域Ｒ２に表示されている。
【０１１０】
図１７を参照する。オペレーションＤＢにおいて表示制御部１２は、カメラＳＷのタッチによるユーザの入力があったか否かを判定する。カメラＳＷがタッチされた場合（オペレーションＤＢ：Ｙ）、処理はオペレーションＤＨへ移行する。オペレーションＤＨにおいて表示制御部１２は、表示モードを第１バックカメラ画像表示状態ＳＴ２２へ遷移させて処理を終了する。
【０１１１】
カメラＳＷがタッチされていない場合（オペレーションＤＢ：Ｎ）、処理はオペレーションＤＣへ移行する。オペレーションＤＣにおいて表示制御部１２は、ディスプレイ２１のタッチパネルの操作により、第１領域Ｒ１をタッチするユーザの入力があったか否かを判定する。
【０１１２】
第１領域Ｒ１がタッチされた場合（オペレーションＤＣ：Ｙ）、処理はオペレーションＤＤへ移行する。第１領域Ｒ１がタッチされていない場合（オペレーションＤＣ：Ｎ）、処理はオペレーションＤＢへ戻る。
【０１１３】
オペレーションＤＤにおいて合成画像生成部３２は、第１領域Ｒ１内の分割領域Ａ０〜Ａ８のうちユーザによりタッチされた領域を真上から拡大して見た拡大俯瞰画像を生成する。表示制御部１２は、合成画像生成部３２が生成した拡大俯瞰画像を全画面表示する。
【０１１４】
拡大俯瞰画像がディスプレイ２１の全画面Ｖ０に、全画面表示された状態を図１８の（Ｂ）に示す。本例では、ユーザが車両左後方の領域Ａ６をタッチしたことに応答して、車両左後方を真上から見た拡大俯瞰画像ＣＰ６が全画面表示される。また、後述する「戻るボタン」７１も全画面Ｖ０内に表示されている。
【０１１５】
図１７を参照する。オペレーションＤＥにおいて表示制御部１２は、タッチパネルにタッチするユーザの入力があったか否かを判定する。タッチパネルがタッチされた場合（オペレーションＤＥ：Ｙ）、処理はオペレーションＤＦへ移行する。タッチパネルがタッチされない場合（オペレーションＤＥ：Ｎ）、処理はオペレーションＤＥへ戻る。
【０１１６】
オペレーションＤＦにおいて表示制御部１２は、タッチされた箇所が戻るボタン７１であったか否かを判定する。戻るボタン７１がタッチされた場合（オペレーションＤＦ：Ｙ）、処理はオペレーションＤＡへ戻る。タッチされた箇所が戻るボタン７１でない場合（オペレーションＤＦ：Ｎ）、処理はオペレーションＤＧへ移る。
【０１１７】
オペレーションＤＧにおいて合成画像生成部３２は、タッチされた拡大俯瞰画像上の位置に応じて、全画面表示する拡大俯瞰画像の視点の位置を変更する。その後処理は、オペレーションＤＥへ戻る。
【０１１８】
本実施例によれば、車両周辺の任意の箇所を拡大して示す俯瞰画像を、表示画面に全画面表示することが可能となる。このため、ユーザが車体と障害物との間のクリアランスを確認する際に、障害物との間の距離感を掴みやすくなる。
【０１１９】
続いて、図１７に示す表示処理においてオペレーションＤＧにおける拡大俯瞰画像の視点の位置を変更する処理について説明する。図１９の（Ａ）〜図１９の（Ｃ）は、拡大俯瞰画像の視点の位置を変更する方法の第１例の説明図である。
【０１２０】
図１９の（Ａ）の状態では、車両９の左後方の領域Ａ６を示す拡大俯瞰画像ＣＰ６が全画面Ｖ０に表示されている。全画面表示された拡大俯瞰画像ＣＰ６は、全画面Ｖ０の中心Ｃの周りに配置された複数の部分領域ＡＬＵ、ＡＲＵ、ＡＬＤ及びＡＲＤを含む。
【０１２１】
ユーザにより部分領域ＡＬＵ、ＡＲＵ、ＡＬＤ及びＡＲＤがタッチされたことが検出されると、表示制御部１２は、タッチされた領域と現在表示中の拡大俯瞰画像の視点の位置に応じて変更後の拡大俯瞰画像の視点の位置を決定する。
【０１２２】
例えば、拡大俯瞰画像ＣＰ６の表示中に左上領域ＡＬＵがタッチされたときに表示される拡大俯瞰画像を図１９の（Ｂ）に示す。拡大俯瞰画像ＣＰ６の表示中に左上領域ＡＬＵがタッチされると、視点は前方へ移動し、車両左側方の領域Ａ４の拡大俯瞰画像ＣＰ４が全画面表示される。
【０１２３】
なお、拡大俯瞰画像ＣＰ４の表示中に左上領域ＡＬＵがタッチされると、視点は前方へ移動し、車両左前方の領域Ａ１の拡大俯瞰画像が全画面表示される。また拡大俯瞰画像ＣＰ４の表示中に左下領域ＡＬＤがタッチされると、視点は下方へ移動し、車両左後方の領域Ａ６の拡大俯瞰画像ＣＰ６が全画面表示される。
【０１２４】
また例えば、拡大俯瞰画像ＣＰ６の表示中に右下領域ＡＲＤがタッチされたときに表示される拡大俯瞰画像を図１９の（Ｃ）に示す。拡大俯瞰画像ＣＰ６の表示中に右下領域ＡＲＤがタッチされると、視点は右へ移動し、車両後方の領域Ａ７の拡大俯瞰画像ＣＰ７が全画面表示される。
【０１２５】
なお、拡大俯瞰画像ＣＰ７の表示中に左上領域ＡＬＵがタッチされると、視点は左前方へ移動し、車両左側方の領域Ａ４の拡大俯瞰画像ＣＰ４が全画面表示される。拡大俯瞰画像ＣＰ７の表示中に右上領域ＡＲＵがタッチされると、視点は右前方へ移動し、車両右側方の領域Ａ５の拡大俯瞰画像が全画面表示される。
【０１２６】
なお、拡大俯瞰画像ＣＰ７の表示中に左下領域ＡＬＤがタッチされると、視点は左へ移動し、車両左後方の領域Ａ６の拡大俯瞰画像ＣＰ６が全画面表示される。拡大俯瞰画像ＣＰ７の表示中に右下領域ＡＲＤがタッチされると、視点は右へ移動し、車両右後方の領域Ａ８の拡大俯瞰画像が全画面表示される。
【０１２７】
なお、上記の部分領域の配置方法及び視点の移動方向の例は、あくまで説明のための一例であり、様々な配置方法及び移動方向を採用することができる。
【０１２８】
合成画像生成部３２は、表示制御部１２により決定された視点の位置から見た拡大俯瞰画像を生成する。表示制御部１２は、生成された拡大俯瞰画像を表示する。これにより、拡大俯瞰画像の表示範囲がスライドする。
【０１２９】
なお、拡大俯瞰画像の視点を変更するとき、合成画像生成部３２は、視点の高さを同じ状態に保ったまま、変更後の視点位置まで拡大俯瞰画像が連続的にスライドするアニメーションを生成してもよい。
【０１３０】
拡大俯瞰画像を全画面表示すると、車両周辺全体の俯瞰画像を表示するスペースがなくなる。このため、拡大俯瞰画像により何処を拡大すべきかを指定する際に、車両周辺全体の俯瞰画像を用いることができなくなる。したがって、ユーザが視点の変更を指示する手段を提供することが必要である。
【０１３１】
本実施例によれば、拡大俯瞰画像を全画面表示した場合における拡大俯瞰画像の視点の変更手段が提供される。さらに、本実施例によれば、タッチパネルを用いた直感的な操作によって拡大俯瞰画像の視点を変更することができるためユーザの利便性が向上する。
【０１３２】
本実施例によれば、現在の拡大俯瞰画像から隣接する拡大俯瞰画像への移動がワンタッチで可能となる。特に、本実施例のように車両周辺の画像を表示する場合には、ユーザが注視する障害物と車両との相対位置関係は、車両の移動に伴って連続的に変化することが多い。
【０１３３】
本実施例では、隣接する拡大俯瞰画像への視点の移動がワンタッチでできるので、車両の周りを連続的に相対移動する障害物を追跡することが容易になる。
【０１３４】
続いて、拡大俯瞰画像の視点の位置を変更する他の方法の実施例を説明する。図２０の（Ａ）〜図２０の（Ｃ）は、拡大俯瞰画像の視点の位置を変更する方法の第２例の説明図である。図２０の（Ａ）の状態では、車両９の左後方の領域を示す拡大俯瞰画像ＣＰ６がディスプレイ２１の全画面Ｖ０に表示されている。
【０１３５】
拡大俯瞰画像を全画面表示したとき、合成画像生成部３２は、ユーザによる視点の変更方向指示を受け付ける矢印表示８０を画像に挿入する。ユーザにより矢印表示８０がタッチされると、合成画像生成部３２はタッチされた矢印の方向に存在する拡大俯瞰画像を生成する。表示制御部１２は、この拡大俯瞰画像をディスプレイに表示させ視点の位置をスライドする。拡大俯瞰画像の視点を変更するとき、合成画像生成部３２は、拡大俯瞰画像が連続的にスライドするアニメーションを生成してもよい。
【０１３６】
合成画像生成部３２は、上下左右の４方向や斜め方向を加えた８方向を常に示す固定の矢印表示を画像に挿入してよい。これに代えて、表示可能な他の拡大俯瞰画像が存在する方向を示す矢印表示のみを画像に挿入してもよい。
【０１３７】
この場合、表示制御部１２は、現在表示中の拡大俯瞰画像の位置から見て、表示可能な他の拡大俯瞰画像が存在する方向を判定する。拡大俯瞰画像ＣＰ６の場合、車両９の左側方の領域Ａ４を示す拡大俯瞰画像と、車両９の後方の領域Ａ７を示す拡大俯瞰画像が表示可能である。
【０１３８】
表示制御部１２により、表示可能な他の拡大俯瞰画像が存在する方向が判定されると、合成画像生成部３２はこの方向を示す矢印表示８０を現在表示中の画像に挿入する。図２０の（Ａ）の状態では、車両９の左側方の領域Ａ４を示す拡大俯瞰画像が存在する方向である「前方」を示す矢印８１と、車両９の後方の領域Ａ７を示す拡大俯瞰画像が存在する方向である「右」を示す矢印８２が表示される。
【０１３９】
矢印８１及び８２のいずれかがユーザによりタッチされると、合成画像生成部３２は、タッチされた矢印の方向に存在する拡大俯瞰画像を生成する。例えば、拡大俯瞰画像ＣＰ６の表示中に前方を示す矢印８１がタッチされたときに表示される拡大俯瞰画像を図２０の（Ｂ）に示す。拡大俯瞰画像ＣＰ６の表示中に矢印８１がタッチされると、視点は前方へ移動し、車両左側方の領域Ａ４の拡大俯瞰画像ＣＰ４が全画面表示される。
【０１４０】
なお、拡大俯瞰画像ＣＰ４が表示された状態では、車両９の左前方の領域Ａ１を示す拡大俯瞰画像が存在する方向である「前方」を示す矢印８１と、車両９の右側方の領域Ａ５を示す拡大俯瞰画像が存在する方向である「右」を示す矢印８２と、車両９の左後方の領域Ａ６を示す拡大俯瞰画像が存在する方向である「後方」を示す矢印８３が表示される。
【０１４１】
また例えば、拡大俯瞰画像ＣＰ６の表示中に「右」を示す矢印８２がタッチされたときに表示される拡大俯瞰画像を図２０の（Ｃ）に示す。拡大俯瞰画像ＣＰ６の表示中に矢印８２がタッチされると、視点は右方へ移動し、車両後方の領域Ａ７の拡大俯瞰画像ＣＰ７が全画面表示される。
【０１４２】
なお、拡大俯瞰画像ＣＰ７が表示された状態では、車両９の前方の領域Ａ２を示す拡大俯瞰画像が存在する方向である「前方」を示す矢印８１と、車両９の右後方の領域Ａ８を示す拡大俯瞰画像が存在する方向である「右」を示す矢印８２と、車両９の左後方の領域Ａ６を示す拡大俯瞰画像が存在する方向である「左」を示す矢印８４が表示される。
【０１４３】
本実施例によっても、拡大俯瞰画像を全画面表示した場合における拡大俯瞰画像の視点の変更手段が提供される。さらに、本実施例によれば、タッチパネルを用いた直感的な操作によって拡大俯瞰画像の視点を変更することでき、ユーザの利便性が向上する。
【０１４４】
また、本実施例によっても、現在の拡大俯瞰画像から隣接する拡大俯瞰画像への移動がワンタッチで可能となる。
【０１４５】
＜６．第３の実施例＞
続いて、表示制御部１２による表示モードの他の切り替え処理の実施例について説明する。図２１は、表示モードの状態遷移図の第２例の説明図である。図５に示す状態遷移図と同一の部分については同じ参照符号を付している。
【０１４６】
ナビモードＳＴ１０、バックモードＳＴ２０、フロントモードＳＴ３０及び周囲確認モードＳＴ４０のそれぞれのモード間の遷移方法は、図５を参照して上述した方法と同様であってよい。
【０１４７】
本実施例では、バックモードＳＴ２０は、全画面俯瞰表示状態ＳＴ２４を備える。バックモードＳＴ２０においてカメラスイッチが操作されると、表示制御部１２は、表示モードを状態ＳＴ２４、ＳＴ２１〜ＳＴ２３間で遷移させる。
【０１４８】
図２２は、全画面俯瞰表示状態ＳＴ２４における表示内容の例を示す図である。全画面俯瞰表示状態ＳＴ２４における画面表示（以下、「全画面俯瞰表示」と表記することがある）Ｄｗｗは、ディスプレイ２１上の全画面Ｖ０に表示される車両９の周辺全体の全画面俯瞰画像ＣＰｗｗの合成画像を表示する。
【０１４９】
上述したバックモード用２画面表示Ｄｔｂにて表示される俯瞰画像ＣＰｗと比較すると、全画面俯瞰画像ＣＰｗｗは、視点の位置を高くすることにより画角がより広く、車両９周囲のより広い範囲を表示する俯瞰画像になっている。
【０１５０】
図２１を参照する。フロントモードＳＴ３０も、全画面俯瞰表示状態ＳＴ３４を備える。フロントモードＳＴ２０においてカメラスイッチが操作されると、表示制御部１２は、表示モードを状態ＳＴ３４、ＳＴ３１〜ＳＴ３３間で遷移させる。全画面俯瞰表示状態ＳＴ３４における表示内容は、全画面俯瞰表示状態ＳＴ２４の表示内容と同様であってよい。
【０１５１】
図２３は、全画面俯瞰表示状態ＳＴ２４における表示切替処理のフローチャートである。全画面俯瞰表示状態ＳＴ３４における処理も同様であってよい。また、他の実施態様においては、下記のオペレーションＥＡ〜ＥＨの各オペレーションはステップであってもよい。
【０１５２】
オペレーションＥＡにおいて表示制御部１２は、全画面俯瞰表示Ｄｗｗをディスプレイ２１に表示する。表示された全画面俯瞰表示Ｄｗｗを図２４の（Ａ）に示す。全画面表示された全画面俯瞰画像ＣＰｗｗは、複数の区画の領域Ａ１１〜Ａ１８に分割されている。なお、図２４において点線で示した各領域を示す境界線は、ディスプレイ２１に実際に表示してもしなくてもよい。
【０１５３】
図２３を参照する。オペレーションＥＢにおいて表示制御部１２は、カメラＳＷのタッチによるユーザの入力があったか否かを判定する。カメラＳＷがタッチされた場合（オペレーションＥＢ：Ｙ）、処理はオペレーションＥＨへ移行する。オペレーションＥＨにおいて表示制御部１２は、表示モードをバックモード用２画面表示状態ＳＴ２１へ遷移させて処理を終了する。
【０１５４】
カメラＳＷがタッチされていない場合（オペレーションＥＢ：Ｎ）、処理はオペレーションＥＣへ移行する。オペレーションＥＣにおいて表示制御部１２は、タッチパネルにタッチするユーザの入力があったか否かを判定する。タッチパネルがタッチされた場合（オペレーションＥＣ：Ｙ）、処理はオペレーションＥＤへ移行する。タッチパネルがタッチされない場合（オペレーションＥＣ：Ｎ）、処理はオペレーションＥＢへ戻る。
【０１５５】
オペレーションＥＤにおいて表示制御部１２は、全画面俯瞰画像ＣＰｗｗの各領域Ａ１１〜Ａ１８のいずれをユーザがタッチしたかに応じて、全画面Ｖ０に全画面表示する拡大俯瞰画像を選択する。ユーザがタッチした領域と表示画像の対応関係を以下に示す。
【０１５６】
車両左前方の領域Ａ１１：車両左前方を真上から拡大して見た拡大俯瞰画像の合成画像
車両前方の領域Ａ１２：車両前方を真上から拡大して見た拡大俯瞰画像の合成画像
車両右前方の領域Ａ１３：車両右前方を真上から拡大して見た拡大俯瞰画像の合成画像
車両左側方の領域Ａ１４：車両左側方を真上から拡大して見た拡大俯瞰画像の合成画像
車両右側方の領域Ａ１５：車両右側方を真上から拡大して見た拡大俯瞰画像の合成画像
車両左後方の領域Ａ１６：車両左後方を真上から拡大して見た拡大俯瞰画像の合成画像
車両後方の領域Ａ１７：車両後方を真上から拡大して見た拡大俯瞰画像の合成画像
車両右後方の領域Ａ１８：車両右後方を真上から拡大して見た拡大俯瞰画像の合成画像
【０１５７】
合成画像生成部３２は、タッチされた領域に応じて上記の対応関係に基づき定まる拡大俯瞰画像を生成する。表示制御部１２は、合成画像生成部３２が生成した拡大俯瞰画像を全画面表示する。
【０１５８】
拡大俯瞰画像が全画面表示された状態を図２４の（Ｂ）に示す。本例では、ユーザが車両左後方の領域Ａ１６をタッチしたことに応答して、車両左後方を真上から見た拡大俯瞰画像ＣＰ１６が全画面表示される。
【０１５９】
図２３を参照する。オペレーションＥＥにおいて表示制御部１２は、タッチパネルにタッチするユーザの入力があったか否かを判定する。タッチパネルがタッチされた場合（オペレーションＥＥ：Ｙ）、処理はオペレーションＥＦへ移行する。タッチパネルがタッチされない場合（オペレーションＥＥ：Ｎ）、処理はオペレーションＥＥへ戻る。
【０１６０】
オペレーションＥＦにおいて表示制御部１２は、タッチされた箇所が戻るボタン７１であったか否かを判定する。戻るボタン７１がタッチされた場合（オペレーションＥＦ：Ｙ）、処理はオペレーションＥＡへ戻る。タッチされた箇所が戻るボタン７１でない場合（オペレーションＥＦ：Ｎ）、処理はオペレーションＥＧへ移る。
【０１６１】
オペレーションＥＧにおいて合成画像生成部３２は、タッチされた拡大俯瞰画像上の位置に応じて、全画面表示する拡大俯瞰画像の視点の位置を変更する。その後処理は、オペレーションＥＥへ戻る。拡大俯瞰画像の視点の位置の変更処理は、図１９の（Ａ）〜図１９の（Ｃ）及び図２０の（Ａ）〜図２０の（Ｃ）を参照して説明した処理と同様であってよい。
【０１６２】
本実施例により、車両９の周辺の比較的広い範囲を表す全画面俯瞰画像ＣＰｗｗ内の所望の位置をワンタッチすることにより、拡大俯瞰画像の全画面表示に容易に切り替える事ができる。また拡大俯瞰画像内に挿入された戻るボタン７１をタッチすることにより、全画面俯瞰画像ＣＰｗｗへ容易に切り替えることができる。
【０１６３】
このように、全画面俯瞰画像ＣＰｗｗと拡大俯瞰画像との間をワンタッチで切り替えることができることにより、ユーザが車体と障害物との間のクリアランスを確認する際の利便性を向上することができる。
【０１６４】
例えば、全画面俯瞰画像ＣＰｗｗは比較的広い範囲を表すため、例えば駐車場などにおいて比較的遠くから駐車スペースの白線を確認することができる。このため、駐車スペースへの方向を遠方から判断し、近づいたらワンタッチで拡大俯瞰画像に切り替えて障害物との相対距離を正確に把握する、等の使用が可能となる。
以上の実施例においては、俯瞰画像を複数の領域に分割し、タッチされた領域の拡大俯瞰画像を生成し表示するようにした。換言すれば、各領域の中心の真上近傍に視点位置が存在する。この場合、隣接する領域の境界に障害物が存在する場合に障害物が確認しづらくなる可能性がある。そこで、変形例として俯瞰画像を複数の領域に分割するのではなく、俯瞰画像上でタッチされた点を中心とした拡大俯瞰画像を生成、表示してもよい。即ち、俯瞰画像上でタッチされた点を視点位置として拡大俯瞰画像を生成する。このようにすれば、確認したい箇所を中心とした拡大俯瞰画像表示が可能となるため障害物を確認し易くなる。
【符号の説明】
【０１６５】
２０ ナビゲーション装置
２１ ディスプレイ
２２ 操作部
１１ 画像制御部
１２ 表示制御部
３１ 合成画像生成部
５１ フロントカメラ
５２ バックカメラ
５３ サイドカメラ
１２０ 画像表示システム
【技術分野】
【０００１】
本明細書で論じられる実施態様は、車両において画像を表示する技術に関する。
【背景技術】
【０００２】
従来より、自動車などの車両に搭載され、車載カメラで車両の周辺を撮影して得られた画像を車室内のディスプレイに表示する画像表示システムが知られている。この画像表示システムを利用することにより、ユーザ（代表的にはドライバ）は車両の周辺の様子をほぼリアルタイムに把握することができる。
【０００３】
例えば、運転席の逆側となるフロントフェンダの外側領域は運転席から死角となりやすく、車体と障害物との間のクリアランスをユーザが把握しにくい。これに対して、画像表示システムを利用すれば、車載カメラの撮影によりフロントフェンダの外側領域を示す画像が取得され、その画像が車室内のディスプレイに表示される。これにより、車両の幅寄せを行う場合などにおいて、運転席の逆側の車体と障害物との間のクリアランスをユーザが容易に確認できることとなる。
【０００４】
なお、複数のカメラにより撮られた各映像に基づいて車両の周辺の俯瞰映像をディスプレイに表示する俯瞰映像表示手段と、俯瞰映像において車両の周囲を複数の領域に分割しそれぞれを撮像領域として規定する撮像領域規定手段と、撮像領域のいずれかがディスプレイ上でユーザにより選択されたことを検出し且つ検出された撮像領域を選択領域として設定する選択領域設定手段と、選択領域に対応する対象映像をディスプレイに拡大表示する拡大表示手段を備える車両周辺表示装置が提案されている。
【０００５】
また、車両周辺表示装置において、前方カメラや後方カメラの選択画像をモニタの表示画面の全体に拡大表示することが提案されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００９−２３９６７４号公報
【特許文献２】特開２０１０−１４７５１６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
車体と障害物との間のクリアランスを把握する際に車載カメラの撮影画像により注視したい箇所は、ユーザによって異なる。したがって固定された視点から撮影された画像そのものよりも、複数の車載カメラの画像から合成した俯瞰画像やその拡大画像の方がユーザの利便性が高い。
【０００８】
しかしながら、従来の画像表示システムは、車両の周辺全体の俯瞰画像やその拡大画像を、ディスプレイ装置の表示画面上の一部分の小さな表示エリア内に表示するものであった。このためユーザは車両と障害物との間の正確な距離感を掴むことが難しかった。
【０００９】
実施態様に係る装置及び方法は、車載カメラで車両の周辺を撮影して得られた画像に基づいて車体と障害物との間のクリアランスを確認する際に、障害物との間の距離感の判断を容易にすることを目的とする。
【課題を解決するための手段】
【００１０】
１つの実施形態によれば、車両に搭載される画像表示システムが与えられる。画像表示システムは、車両に配置されたカメラで得られる撮影画像に基づいて仮想視点から見た合成画像を生成する合成画像生成手段と、合成画像生成手段により生成された合成画像を表示画面に表示する表示手段と、合成画像生成手段により生成され表示画面に表示された車両周辺の俯瞰画像の一部の領域を指定する第１の指定入力を受け付ける受付手段と、第１の指定入力を受け付けた場合に、指定された領域の拡大画像を表示画面に全画面表示する表示制御手段を備える。
【００１１】
他の実施形態による画像表示システムは、車両に配置されたカメラで得られる撮影画像に基づいて仮想視点から見た合成画像を生成する合成画像生成手段と、合成画像生成手段により生成された合成画像及び前記撮影画像を表示画面に表示する表示手段と、合成画像生成手段により生成され前記表示画面に表示された前記車両周辺の俯瞰画像の一部の領域を指定する指定入力を受け付ける受付手段と、指定入力を受け付けた場合に、前記指定された領域の拡大画像を前記表示画面に表示する表示制御手段を備える。表示制御手段によって制御される表示画面の１以上の表示モードには、カメラにより得られる撮影画像を表示画面に表示する状態を含み、撮影画像の表示中に指定入力を受け付けたとき、表示制御手段は、合成画像生成手段により生成される、撮影画像から俯瞰画像まで変化する第１のアニメーション及び俯瞰画像から拡大画像まで変化する第２のアニメーションを表示する。
【発明の効果】
【００１２】
本件開示の装置又は方法によれば、車両周辺の任意の箇所を拡大して示す俯瞰画像を、表示画面に全画面表示することが可能となる。このため、ユーザが車体と障害物との間のクリアランスを確認する際に、障害物との間の距離感を掴みやすくなる。
【００１３】
ディスプレイの表示を俯瞰画像の一部の拡大画像に直接切り替えると、ユーザは、どこが拡大表示されているかを見失い自分の意図通りに操作が受け付けられたか否かに不安を覚えることになる。
【００１４】
カメラの撮影画像から俯瞰画像まで、俯瞰画像から拡大画像まで変化するアニメーションを表示すれば、ユーザは、自分が意図したとおりに表示が行われていることを確認しやすくなる。
【図面の簡単な説明】
【００１５】
【図１】画像表示システムの構成例を示すブロック図である。
【図２】車載カメラが車両に配置される位置の例を示す図である。
【図３】合成画像を生成する手法の一例の説明図である。
【図４】（Ａ）〜（Ｃ）は、合成画像生成部によって生成される俯瞰画像の拡大画像の例の説明図である。
【図５】表示モードの状態遷移図の第１例の説明図である。
【図６】ナビモードにおける表示内容の例を示す図である。
【図７】バックモード用２画面表示状態における表示内容の例を示す図である。
【図８】（Ａ）及び（Ｂ）は、第１バックカメラ画像表示状態及び第２バックカメラ画像表示状態における表示内容の例を示す図である。
【図９】フロントモード用２画面表示状態における表示内容の例を示す図である。
【図１０】（Ａ）及び（Ｂ）は、フロントカメラ画像表示状態及びサイドカメラ映像表示状態における表示内容の例を示す図である。
【図１１】周囲確認モードにおける表示内容の例を示す図である。
【図１２】２画面表示状態における表示切替処理の第１例のフローチャートである。
【図１３】２画面表示状態における表示切替処理の第１例の説明図である。
【図１４】拡大俯瞰画像の表示状態を示す図（その１）である。
【図１５】（Ａ）〜（Ｃ）は、第２領域Ｒ２の表示の変化例の説明図である。
【図１６】（Ａ）はアニメーションの表示処理のフローチャートであり、（Ｂ）はアニメーション表示における中間画像の表示処理のフローチャートである。
【図１７】２画面表示状態における表示切替処理の第２例のフローチャートである。
【図１８】（Ａ）及び（Ｂ）は、２画面表示状態における表示切替処理の第２例の説明図である。
【図１９】（Ａ）〜（Ｃ）は、拡大俯瞰画像の視点の位置を変更する方法の第１例の説明図である。
【図２０】（Ａ）〜（Ｃ）は、拡大俯瞰画像の視点の位置を変更する方法の第２例の説明図である。
【図２１】表示モードの状態遷移図の第２例の説明図である。
【図２２】全画面俯瞰表示状態における表示内容の例を示す図である。
【図２３】全画面俯瞰表示状態における表示切替処理のフローチャートである。
【図２４】（Ａ）及び（Ｂ）は、全画面俯瞰表示状態における表示切替処理の説明図である。
【発明を実施するための形態】
【００１６】
以下、図面を参照しつつ本発明の実施の形態について説明する。
＜１．システム構成＞
図１は、画像表示システム１２０の構成例を示すブロック図である。この画像表示システム１２０は、車両（本実施の形態では、自動車）に搭載されるものであり、車両の周辺を撮影して画像を生成して車室内に表示する機能を有している。画像表示システム１２０のユーザ（代表的にはドライバ）は、この画像表示システム１２０を利用することにより、当該車両の周辺の様子をほぼリアルタイムに把握できるようになっている。なお、以下の説明において使用される用語「画像」は、静止画像及び動画のいずれの意味も含む。
【００１７】
図１に示すように、画像表示システム１２０は、車両の周辺の様子を示す画像を生成する画像処理装置１００と、車両に乗車するユーザに対して各種情報を表示するナビゲーション装置２０とを主に備えている。画像処理装置１００で生成された画像は、ナビゲーション装置２０において表示される。
【００１８】
ナビゲーション装置２０は、ユーザに対しナビゲーション案内を行うものであり、タッチパネル機能を備えた液晶などのディスプレイ２１と、ユーザが操作を行うハードスイッチなどで構成される操作部２２と、装置全体を制御する制御部２３とを備えている。ディスプレイ２１の画面がユーザから視認可能なように、ナビゲーション装置２０は車両のインストルメントパネルなどに設置される。ユーザの各種の指示は、操作部２２とタッチパネルとしてのディスプレイ２１とによって受け付けられる。制御部２３は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えたコンピュータで構成され、所定のプログラムに従ってＣＰＵが演算処理を行うことでナビゲーション機能を含む各種の機能が実現される。
【００１９】
ナビゲーション装置２０は、画像処理装置１００と通信可能に接続され、画像処理装置１００との間で各種の制御信号の送受信や、画像処理装置１００で生成された画像の受信が可能となっている。ディスプレイ２１には、制御部２３の制御により、通常はナビゲーション装置２０単体の機能に基づく画像が表示されるが、動作モードを変更することで画像処理装置１００で生成された車両の周辺の様子を示す画像が表示される。これにより、ナビゲーション装置２０は、画像処理装置１００で生成された画像を受信して表示する表示装置としても機能する。
【００２０】
画像処理装置１００は、その本体部１０が画像を生成する機能を有するＥＣＵ（Electronic Control Unit）として構成され、車両の所定の位置に配置される。画像処理装置１００は、車両の周辺を撮影する撮影部５を備えており、この撮影部５で車両の周辺を撮影して得られる撮影画像に基づいて仮想視点から見た合成画像を生成する画像生成装置として機能する。
【００２１】
撮影部５は、本体部１０に電気的に接続され、本体部１０からの信号に基づいて動作する。撮影部５は、車載カメラであるフロントカメラ５１、バックカメラ５２、及び、サイドカメラ５３を備えている。各車載カメラ５１〜５３は、レンズと撮像素子とを備えており電子的に画像を取得する。
【００２２】
これらの複数の車載カメラ５１〜５３は、車両の異なる位置にそれぞれ配置される。図２は、車載カメラ５１〜５３が車両９に配置される位置の例を示す図である。
【００２３】
図２に示すように、フロントカメラ５１は、車両９の前端にあるナンバープレート取付位置の近傍に設けられ、その光軸５１ａは車両９の直進方向に向けられている。バックカメラ５２は、車両９の後端にあるナンバープレート取付位置の近傍に設けられ、その光軸５２ａは車両９の直進方向の逆方向に向けられている。これらフロントカメラ５１やバックカメラ５２の取付位置は、左右略中央であることが望ましいが、左右中央から左右方向に多少ずれた位置であってもよい。また、サイドカメラ５３は左右のドアミラー９３にそれぞれ設けられ、その光軸５３ａは車両９の左右方向（直進方向に直交する方向）に沿って車両９の外側に向けられている。
【００２４】
これらの車載カメラ５１〜５３のレンズとしては魚眼レンズなどが採用されており、車載カメラ５１〜５３は１８０度以上の画角θを有している。このため、４つの車載カメラ５１〜５３を利用することで、車両９の全周囲の撮影が可能となっている。
【００２５】
図１に戻り、画像処理装置１００の本体部１０は、装置全体を制御する制御部１と、撮影部５で取得された撮影画像を処理して表示用の画像を生成する画像生成部３と、ナビゲーション装置２０との間で通信を行うナビ通信部４２とを主に備えている。
【００２６】
ナビゲーション装置２０の操作部２２やディスプレイ２１によって受け付けられたユーザからの各種の指示は、制御信号としてナビ通信部４２によって受け付けられて制御部１に入力される。これにより、画像処理装置１００は、ナビゲーション装置２０に対するユーザの操作に応答した動作が可能となっている。
【００２７】
画像生成部３は、各種の画像処理が可能なハードウエア回路として構成されており、撮影画像調整部３１、及び、合成画像生成部３２を主な機能として備えている。
【００２８】
撮影画像調整部３１は、撮影部５で取得された撮影画像を対象とした調整を行うものである。具体的には、撮影画像調整部３１は、撮影画像に対して明るさ補正などの画像処理を行う。
【００２９】
合成画像生成部３２は、撮像部５の複数の車載カメラ５１〜５３で取得されて撮影画像調整部３１によって調整された複数の撮影画像に基づいて、車両の周辺の任意の仮想視点からみた車両の周辺の様子を示す合成画像を生成する。合成画像生成部３２が合成画像を生成する手法については後述する。
【００３０】
合成画像生成部３２により生成された合成画像は、ナビ通信部４２によってナビゲーション装置２０に出力される。これにより、車両の周辺の少なくとも一部の領域を示す合成画像がナビゲーション装置２０のディスプレイ２１に表示されることになる。
【００３１】
制御部１は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えたコンピュータとして構成され、所定のプログラムに従ってＣＰＵが演算処理を行うことで各種の制御機能が実現される。図中に示す、画像制御部１１及び表示制御部１２は、このようにして実現される制御部１の機能のうちの一部を示している。
【００３２】
画像制御部１１は、画像生成部３によって実行される画像処理に係る制御を行う。例えば、画像制御部１１は、合成画像生成部３２が生成する合成画像の生成に必要な各種パラメータなどを指示する。表示制御部１２は、ナビゲーション装置２０のディスプレイ２１に表示する表示内容に係る制御を行う。表示制御部１２の具体的な処理内容については後述する。
【００３３】
また、画像処理装置１００の本体部１０は、不揮発性メモリ４０、及びカード読取部４４をさらに備えており、これらは制御部１に接続されている。
【００３４】
不揮発性メモリ４０は、電源オフ時においても記憶内容を維持可能なフラッシュメモリなどで構成されている。不揮発性メモリ４０には、視点データ４ａが記憶されている。視点データ４ａは、合成画像の仮想視点を定める際に利用される。
【００３５】
カード読取部４４は、可搬性の記録媒体であるメモリカードＭＣの読み取りを行う。カード読取部４４は、メモリカードＭＣの着脱が可能なカードスロットを備えており、そのカードスロットに装着されたメモリカードＭＣに記憶されたデータを読み取る。カード読取部４４で読み取られたデータは、制御部１に入力される。
【００３６】
メモリカードＭＣは、種々のデータを記憶可能なフラッシュメモリなどで構成されており、画像処理装置１００はメモリカードＭＣに記憶された種々のデータを利用できる。例えば、メモリカードＭＣにプログラムを記憶させ、これを読み出すことで、制御部１の機能を実現するプログラム（ファームウエア）を更新することが可能である。
【００３７】
＜２．画像合成処理＞
次に、画像生成部３の合成画像生成部３２が、撮像部５で得られた複数の撮影画像に基づいて車両９の周辺を任意の仮想視点からみた様子を示す合成画像を生成する手法について説明する。図３は、合成画像を生成する手法の一例の説明図である。
【００３８】
撮影部５のフロントカメラ５１、バックカメラ５２及びサイドカメラ５３で同時に撮影が行われると、車両９の前方、後方、左側方、及び、右側方をそれぞれ示す４つの撮影画像Ｐ１〜Ｐ４が取得される。すなわち、撮影部５で取得される４つの撮影画像Ｐ１〜Ｐ４には、撮影時点の車両の全周囲を示す情報が含まれていることになる。
【００３９】
次に、４つの撮影画像Ｐ１〜Ｐ４の各画素が、仮想的な三次元空間における立体曲面ＳＰに投影される。立体曲面ＳＰは、例えば略半球状（お椀形状）をしており、その中心部分（お椀の底部分）が車両９が存在する位置として定められている。撮影画像Ｐ１〜Ｐ４に含まれる各画素の位置と、この立体曲面ＳＰの各画素の位置とは予め対応関係が定められている。このため、立体曲面ＳＰの各画素の値は、この対応関係と撮影画像Ｐ１からＰ４に含まれる各画素の値とに基づいて決定できる。
【００４０】
撮影画像Ｐ１〜Ｐ４の各画素の位置と立体曲面ＳＰの各画素の位置との対応関係は、車両９における４つの車載カメラ５１〜５３の配置（相互間距離、地上高さ、光軸角度等）に依存する。この対応関係を示すテーブルデータは、不揮発性メモリ４０に予め記憶されている。
【００４１】
また、不揮発性メモリ４０に予め記憶された車体の形状やサイズを示すデータが利用され、車両９の三次元形状を示すポリゴンのモデルが仮想的に構成される。構成された車両９のモデルは、立体曲面ＳＰが設定される三次元空間において、車両９の位置と定められた略半球状の中心部分に配置される。
【００４２】
さらに、立体曲面ＳＰが存在する三次元空間に対して、制御部１により仮想視点ＶＰが設定される。仮想視点ＶＰは、視点位置と視野方向とで規定され、この三次元空間における車両９の周辺に相当する任意の視点位置に任意の視野方向に向けて設定される。
【００４３】
そして、設定された仮想視点ＶＰに応じて、立体曲面ＳＰにおける必要な領域が画像として切り出される。仮想視点ＶＰと、立体曲面ＳＰにおける必要な領域との関係は予め定められており、テーブルデータとして不揮発性メモリ４０等に予め記憶されている。一方で、設定された仮想視点ＶＰに応じてポリゴンのモデルに関してレンダリングがなされ、その結果となる二次元の車両の像が、切り出された画像に対して重畳される。これにより、車両９及びその車両９の周辺を任意の仮想視点ＶＰからみた様子を示す合成画像が生成されることになる。
【００４４】
例えば、視点位置が車両９の位置の略中央の直上位置で、視野方向が略直下方向とした仮想視点ＶＰａを設定した場合は、車両９の略直上から車両９を見下ろすように、車両９及び車両９の周辺の領域を示す俯瞰画像の合成画像ＣＰａが生成される。また、図中に示すように、視点位置が車両９の位置の左後方で、視野方向が車両９における略前方とした仮想視点ＶＰｂを設定した場合は、車両９の左後方からその周辺全体を見渡すように、車両９及び車両９の周辺の領域を示す合成画像ＣＰｂが生成される。更に、仮想視点ＶＰａの位置を車両に近づけると拡大した合成画像が生成され、仮想視点ＶＰａの位置を車両から遠ざけると縮小した、即ち車両の周囲を広範囲に映す合成画像が生成される。
【００４５】
合成画像生成部３２は、車両９及び車両９の周辺の領域を示す俯瞰画像の一部分を拡大した部分拡大画像を生成することもできる。図４の（Ａ）の俯瞰画像の合成画像ＣＰ１は、図３の合成画像ＣＰａと同様に車両９及び車両９の周辺の領域を示す。
【００４６】
例えば、視点位置を車両９の位置の左前方の上方、かつ車両９に近づけた位置とし、視野方向が略直下方向に仮想視点を設定すると、図４の（Ｂ）の拡大画像の合成画像ＣＰ２が生成される。拡大画像ＣＰ２は、図４の（Ａ）の俯瞰画像ＣＰ１の領域６０の部分を拡大する拡大画像である。また、例えば視点位置を車両９の位置の左後方の上方、かつ車両９に近づけた位置とし、視野方向が略直下方向とした仮想視点を設定すると、図４の（Ｃ）の拡大画像の合成画像ＣＰ３が生成される。拡大画像ＣＰ３は、図４の（Ａ）の俯瞰画像ＣＰ１の領域６１の部分を拡大する拡大画像である。
【００４７】
なお、実際に合成画像を生成する場合においては、立体曲面ＳＰの全ての画素の値を決定する必要はなく、設定された仮想視点ＶＰに対応して必要となる領域の画素の値のみを撮影画像Ｐ１〜Ｐ４に基づいて決定することで、処理速度を向上できる。
【００４８】
画像表示システム１２０では、このような合成画像生成部３２の機能を利用することで、車両９及び車両９の周辺全体を俯瞰して示す合成画像や、車両９の周辺の一部の周辺領域のみを示す合成画像などを生成し、ディスプレイ２１に表示することができる。
【００４９】
＜３．表示モード＞
画像表示システム１２０は、ナビモードや、撮影部５で取得された撮影画像や合成画像生成部３２が合成した合成画像を表示するための複数の表示モードを有している。これらの表示モードは、車両９の走行状態やシフトレバーの位置、操作部２２、ディスプレイ２１のタッチパネルなどを介したユーザの操作に基づいて表示制御部１２の制御により切り替えられる。以下、表示制御部１２による表示モードの切替処理の各実施例について説明する。
【００５０】
＜４．第１の実施例＞
図５は、表示制御部１２により切り替わる表示モードの状態遷移図の第１例の説明図である。ナビモードＳＴ１０は、ナビゲーション装置２０の機能により、ナビゲーション案内用の地図画像などをディスプレイ２１に表示する動作モードである。ナビモードＳＴ１０では、図６に示すような経路案内のためのナビゲーション表示Ｄｎがディスプレイ２１上に表示される。
【００５１】
図５を参照する。例えば、シフトレバーの位置が「Ｒ」ポジションとなると、表示制御部１２は、表示モードをバックモードＳＴ２０へ遷移させる。シフトレバーの位置が「Ｒ」ポジション以外になると、表示制御部１２は、表示モードをナビモードＳＴ１０へ復帰させる。
【００５２】
また、例えばシフトレバーの位置が「Ｒ」ポジション以外のポジションであり、かつ車両９の速度が所定速度Ｖ１未満であるとき、表示制御部１２は、表示モードをフロントモードＳＴ３０へ遷移させる。車両９の速度が所定速度Ｖ１以上であるとき、表示制御部１２は、表示モードをナビモードＳＴ１０へ復帰させる。
【００５３】
なお、フロントモードＳＴ３０中にシフトレバーの位置が「Ｒ」ポジションになったとき、表示制御部１２は、表示モードをバックモードＳＴ２０へ直接遷移させてもよい。また、バックモードＳＴ２０中にシフトレバーの位置が「Ｒ」ポジション以外のポジションになり、かつ車両９の速度が所定速度Ｖ１未満であるとき、表示制御部１２は、表示モードをフロントモードＳＴ３０へ直接遷移させてもよい。
【００５４】
また、例えばシフトレバーの位置が「Ｒ」ポジション以外のポジションであり、操作部２２がユーザから所定の操作を受け付けたとき、表示制御部１２は、表示モードを周囲確認モードＳＴ４０へ遷移させる。所定の操作は、例えばハードスイッチの長押しであってよい。以下の説明及び図面において、ハードスイッチを「ハードＳＷ」と表記することがある。
【００５５】
また、操作部２２がユーザから所定の復帰操作を受け付けたとき、表示制御部１２は、表示モードをナビモードＳＴ１０へ復帰させる。例えば、所定の復帰操作もハードＳＷの長押しであってよい。
【００５６】
バックモードＳＴ２０又はフロントモードＳＴ３０中に、操作部２２がユーザから所定の操作を受け付けたとき、表示制御部１２は、表示モードを周囲確認モードＳＴ４０へ遷移させてよい。このとき表示制御部１２は、遷移元の表示モードを記憶する。操作部２２がユーザから所定の復帰操作を受け付けたとき、表示制御部１２は、表示モードを元の表示モードへ復帰させる。
【００５７】
続いて、各モードＳＴ２０、ＳＴ３０及びＳＴ４０における表示内容について説明する。バックモードＳＴ２０は、バックモード用２画面表示状態ＳＴ２１、第１バックカメラ画像表示状態ＳＴ２２及び第２バックカメラ画像表示状態ＳＴ２３の表示モードを有する。
【００５８】
操作部２２のハードＳＷやディスプレイ２１のタッチパネルに設定されたソフトスイッチ等として設けられた所定のカメラスイッチが操作されると、表示制御部１２は、表示モードを状態ＳＴ２１〜ＳＴ２３間で遷移させる。以下の説明及び図面において、カメラスイッチを「カメラＳＷ」と表記することがある。
【００５９】
図７は、バックモード用２画面表示状態ＳＴ２１における表示内容の例を示す図である。参照符号Ｖ０は、ディスプレイ２１上に所定の全画面表示を行う際の表示範囲を示す。以下の説明において、所定の全画面表示を行う際の表示範囲Ｖ０を、「全画面Ｖ０」を表記することがある。全画面Ｖ０は、ディスプレイ２１の表示画面全体であってよい。また、所定の全画面表示においてディスプレイ２１の表示画面全体の内側に所定のマージンを設けて全画面Ｖ０を表示する等の場合のように、全画面Ｖ０は、ディスプレイ２１の表示画面全体よりもやや小さい領域であってもよい。バックモード用２画面表示Ｄｔｂは、全画面Ｖ０内に第１領域Ｒ１及び第２領域Ｒ２を有する。表示制御部１２は、第１領域Ｒ１に、車両９の周辺全体の俯瞰画像ＣＰｗの合成画像を表示する。
【００６０】
また、表示制御部１２は、バックカメラ５２の撮影画像もしくは車両９の周辺全体の俯瞰画像の部分画像を第２領域Ｒ２に表示する。図７に示す表示例では、バックカメラ５２の撮影画像Ｐｂ１が第２領域Ｒ２に表示されている。表示制御部１２によって実行される、第２領域Ｒ２内における表示内容の切替処理については後述する。
【００６１】
図８の（Ａ）及び図８の（Ｂ）は、それぞれ第１バックカメラ画像表示状態ＳＴ２２、及び第２バックカメラ画像表示状態ＳＴ２３における表示内容の例を示す図である。第１バックカメラ画像表示状態ＳＴ２２における画面表示（以下、「第１バックカメラ画像表示」と表記することがある）Ｄｂ１は、ディスプレイ２１上の全画面Ｖ０に表示されるバックカメラ５２の撮影画像Ｐｂ１の全画面表示を含む。
【００６２】
第２バックカメラ画像表示状態ＳＴ２３における画面表示（以下、「第２バックカメラ画像表示」と表記することがある）Ｄｂ２は、全画面Ｖ０に表示されるバックカメラ５２の撮影画像Ｐｂ２の全画面表示を含む。画像Ｐｂ１と画像Ｐｂ２とは画角が相違する。
【００６３】
図５を参照する。フロントモードＳＴ３０は、フロントモード用２画面表示状態ＳＴ３１、フロントカメラ画像表示状態ＳＴ３２及びサイドカメラ画像表示状態ＳＴ３３の表示モードを有する。カメラＳＷが操作されると、表示制御部１２は、表示モードを状態ＳＴ３１〜ＳＴ３３間で遷移させる。
【００６４】
図９は、フロントモード用２画面表示状態ＳＴ３１における表示内容の例を示す図である。フロントモード用２画面表示Ｄｔｆは、全画面Ｖ０内に第１領域Ｒ１及び第２領域Ｒ２を有する。表示制御部１２は、第１領域Ｒ１に、車両９の周辺全体の俯瞰画像ＣＰｗの合成画像を表示する。
【００６５】
また、表示制御部１２は、フロントカメラ５１の撮影画像もしくは車両９の周辺全体の俯瞰画像の部分画像を第２領域Ｒ２に表示する。図９に示す表示例では、フロントカメラ５１により撮影されたブラインドコーナーモニタ（ＢＣＭ: Blind Corner Monitor）画像Ｐｆ１が第２領域Ｒ２に表示されている。表示制御部１２によって実行される、第２領域Ｒ２内における表示内容の切替処理については後述する。
【００６６】
図１０の（Ａ）及び図１０の（Ｂ）は、フロントカメラ画像表示状態ＳＴ３２及びサイドカメラ映像表示状態ＳＴ３３における表示内容の例を示す図である。フロントカメラ画像表示状態ＳＴ３２における画面表示（以下、「フロントカメラ画像表示」と表記することがある）Ｄｆは、ＢＣＭ画像Ｐｆ１と、車両９の後方の任意の仮想視点から車両９の周辺全体を見渡す合成画像Ｐｆ２の表示を含む。
【００６７】
サイドカメラ画像表示状態ＳＴ３３における画面表示（以下、「サイドカメラ画像表示」と表記することがある）Ｄｓは、左右のサイドカメラ５３によりそれぞれ撮影された画像Ｐｓ１及びＰｓ２の表示を含む。
【００６８】
続いて、周囲確認モードＳＴ４０における表示内容を説明する。図１１に、周囲確認モードＳＴ４０における表示内容の例を示す。周囲確認モードＳＴ４０における画面表示（以下、「全周囲確認表示」と表記することがある）Ｄｃは、車両９の周囲の風景を含めた立体的俯瞰映像の表示を含む。
【００６９】
次に、バックモード用２画面表示状態ＳＴ２１及びフロントモード用２画面表示状態ＳＴ３１における、第２領域Ｒ２の表示の切り替えについて説明する。図１２は、バックモード用２画面表示状態ＳＴ２１における表示切替処理の第１例のフローチャートである。
【００７０】
なお、他の実施態様においては、下記のオペレーションＡＡ〜ＡＧの各オペレーションはステップであってもよい。オペレーションＡＡにおいて表示制御部１２は、バックモード用２画面表示Ｄｔｂをディスプレイ２１に表示する。表示されたバックモード用２画面表示Ｄｔｂを図１３に示す。
【００７１】
第１領域Ｒ１に表示される俯瞰画像ＣＰｗは、複数の区画の領域Ａ０〜Ａ８に分割されている。なお、図１３において点線で示した各領域を示す境界線は、ディスプレイ２１に実際に表示してもしなくてもよい。他の実施例についても同様である。
【００７２】
図１２を参照する。オペレーションＡＢにおいて表示制御部１２は、カメラＳＷのタッチによるユーザの入力があったか否かを判定する。カメラＳＷがタッチされた場合（オペレーションＡＢ：Ｙ）、処理はオペレーションＡＧへ移行する。オペレーションＡＧにおいて表示制御部１２は、表示モードを第１バックカメラ画像表示状態ＳＴ２２へ遷移させて処理を終了する。
【００７３】
カメラＳＷがタッチされていない場合（オペレーションＡＢ：Ｎ）、処理はオペレーションＡＣへ移行する。オペレーションＡＣにおいて表示制御部１２は、ディスプレイ２１のタッチパネルの操作により、第１領域Ｒ１をタッチするユーザの入力があったか否かを判定する。
【００７４】
第１領域Ｒ１がタッチされた場合（オペレーションＡＣ：Ｙ）、処理はオペレーションＡＤへ移行する。第１領域Ｒ１がタッチされていない場合（オペレーションＡＣ：Ｎ）、処理はオペレーションＡＢへ戻る。
【００７５】
表示制御部１２は、図１３に示す第１領域Ｒ１内の各領域Ａ０〜Ａ８のいずれをユーザがタッチしたかに応じて、第２領域Ｒ２内の表示画像を切り替える。ユーザがタッチした領域と第２領域Ｒ２内の表示画像の対応関係を以下に示す。
【００７６】
領域Ａ０：バックモード用２画面表示状態ＳＴ２１へ遷移時にデフォルト表示するように指定された画像（例えば、バックカメラ５２の撮影画像Ｐｂ１であってよい）
車両左前方の領域Ａ１：車両左前方を真上から拡大して見た拡大俯瞰画像の合成画像
車両前方の領域Ａ２：車両前方を真上から拡大して見た拡大俯瞰画像の合成画像
車両右前方の領域Ａ３：車両右前方を真上から拡大して見た拡大俯瞰画像の合成画像
車両左側方の領域Ａ４：車両左側方を真上から拡大して見た拡大俯瞰画像の合成画像
車両右側方の領域Ａ５：車両右側方を真上から拡大して見た拡大俯瞰画像の合成画像
車両左後方の領域Ａ６：車両左後方を真上から拡大して見た拡大俯瞰画像の合成画像
車両後方の領域Ａ７：車両後方を真上から拡大して見た拡大俯瞰画像の合成画像
車両右後方の領域Ａ８：車両右後方を真上から拡大して見た拡大俯瞰画像の合成画像
【００７７】
図１２を参照する。オペレーションＡＤにおいて表示制御部１２は、タッチされた領域が、デフォルト表示画像を指定する領域であったか否かを判定する。本例では表示制御部１２は、タッチされた領域が、領域Ａ０であるか否かを判定する。タッチされた領域が、デフォルト表示画像を指定する領域でない場合（オペレーションＡＤ：Ｎ）、処理はオペレーションＡＥへ移行する。そうでない場合（オペレーションＡＤ：Ｙ）には、処理はオペレーションＡＦへ移行する。
【００７８】
オペレーションＡＥにおいて合成画像生成部３２は、タッチされた領域に応じて上記の対応関係に基づき定まる拡大俯瞰画像を生成する。表示制御部１２は、合成画像生成部３２が生成した拡大俯瞰画像を第２領域Ｒ２へ表示する。その後処理はオペレーションＡＢへ戻る。
【００７９】
拡大俯瞰画像が第２領域Ｒ２へ表示された状態を図１４に示す。本例では、ユーザが車両左後方の領域Ａ６をタッチしたことに応答して、車両左後方を真上から見た拡大俯瞰画像ＣＰ６が第２領域Ｒ２へ表示される。
【００８０】
なお、合成画像生成部３２は、拡大俯瞰画像ＣＰ６内に、拡大俯瞰画像における実物の大きさを示す寸法線７０を挿入してよい。寸法線７０を表示することにより、ユーザが車体と障害物との間の距離感を掴み易くする。なお、後述の他の実施例においても拡大俯瞰画像に寸法線を入れてもよい。
【００８１】
図１２を参照する。オペレーションＡＦにおいて表示制御部１２は、バックモード用２画面表示状態ＳＴ２１へ遷移時にデフォルト表示するように指定された画像を第２領域Ｒ２へ表示する。本例では表示制御部１２は、バックカメラ５２の撮影画像Ｐｂ１を第２領域Ｒ２へ表示する。その後処理はオペレーションＡＢへ戻る。
【００８２】
次に、図１２に示す処理において第２領域Ｒ２内の表示を切り替える際のアニメーション表示について説明する。例えば、第２領域Ｒ２の表示画像を、デフォルト表示されていたバックカメラ５２の撮影画像Ｐｂ１から、車両左後方の拡大俯瞰画像ＣＰ６へ切り替える場合について検討する。
【００８３】
撮影画像Ｐｂ１から拡大俯瞰画像ＣＰ６へ直接表示を切り替えると、ユーザは、車両９の周辺のどこが拡大表示されているかを見失うことが考えられる。この場合にユーザは、自分の意図通りに操作が受け付けられたか否かに不安を覚えることになる。
【００８４】
そこで本実施例では、第２領域Ｒ２内の表示画像を切り替える場合には、切替前の画像から車両周辺全体の俯瞰画像ＣＰｗまで視点位置が連続的に変化するアニメーションを表示した後に、俯瞰画像ＣＰｗから切替後の画像まで視点位置が連続的に変化するアニメーションを表示する。
【００８５】
このように、いったん車両周辺全体の俯瞰画像ＣＰｗまで連続的に視点を変えてから、切替後の画像へ連続的に変化することにより、ユーザは何処が拡大されているか容易に理解できるようになる。このため、自分の意図通りに表示処理が実行されることが把握しやすくなる。
【００８６】
図１５の（Ａ）〜図１５の（Ｃ）は、第２領域Ｒ２の表示の変化例の説明図である。いま、第２領域Ｒ２の表示切り替え前の状態において、図１５の（Ａ）に示すようなバックカメラ５２の撮影画像Ｐｂ１が第２領域Ｒ２内に表示されている場合を想定する。
【００８７】
表示制御部１２が、第２領域Ｒ２の表示画像を拡大俯瞰画像ＣＰ６へ切り替える場合、ディスプレイ２１には、図１５の（Ａ）に示す撮影画像Ｐｂ１から、図１５の（Ｂ）に示す車両周辺全体の俯瞰画像ＣＰｗまで連続的に変化するアニメーションが表示される。その後、ディスプレイ２１には、俯瞰画像ＣＰｗから図１５の（Ｃ）に示す拡大俯瞰画像ＣＰ６まで連続的に変化するアニメーションが表示される。
【００８８】
図１６の（Ａ）は、アニメーションの表示処理のフローチャートである。なお、他の実施態様においては、下記のオペレーションＢＡ及びＢＢの各オペレーションはステップであってもよい。
【００８９】
オペレーションＢＡにおいて合成画像生成部３２は、バックカメラ５２の撮影画像Ｐｂ１の視点から見た画像から、車両周辺全体の俯瞰画像ＣＰｗの仮想視点から見た画像まで連続的に変化するアニメーションの各中間画像を生成する。表示制御部１２は、合成画像生成部３２により生成された中間画像を順次表示する。
【００９０】
オペレーションＢＢにおいて合成画像生成部３２は、車両周辺全体の俯瞰画像ＣＰｗの仮想視点から見た画像から、拡大俯瞰画像ＣＰ６の仮想視点からみた画像まで連続的に変化するアニメーションの各中間画像を生成する。表示制御部１２は、合成画像生成部３２により生成された中間画像を順次表示する。
【００９１】
図１６の（Ｂ）は、仮想視点をある起点から終点まで移動させたときの合成画像のアニメーションの中間画像を表示する処理のフローチャートである。なお、他の実施態様においては、下記のオペレーションＣＡ〜ＣＥの各オペレーションはステップであってもよい。
【００９２】
オペレーションＣＡにおいて画像制御部１１は、移動の起点における仮想視点の視点位置Ｖｐｐ、視野方向Ｏｐを合成画像生成部３２に設定する。オペレーションＣＢにおいて画像制御部１１は、移動の終点における仮想視点の視点位置Ｖｆｐ、視野方向Ｏｆを合成画像生成部３２に設定する。
【００９３】
オペレーションＣＡにおいて合成画像生成部３２は、移動の途中点における仮想視点の視点位置Ｖｐｍ、視野方向Ｏｍを決定する。例えば、途中点における仮想視点の決定は以下の通りであってよい。
【００９４】
本実施例では、視点Ｖｐｍの座標を、車両９に相対的に固定される３次元直交座標系によって表現する。起点位置Ｖｐｐの座標を（Ｘｐ，Ｙｐ，Ｚｐ）とし、終点位置Ｖｆｐの座標を（Ｘｆ，Ｙｆ，Ｚｆ）とする。また、視点位置の移動にかける時間をＴ（秒）とし、フレームレートをＦ（ｆｐｓ）とする。合成画像生成部３２は、各フレームにおける中間点の仮想視点の座標を、以下のように起点及び終点間の補間処理によって決定する。
【００９５】
合成画像生成部３２は、仮想視点のＸ軸方向、Ｙ軸方向及びＺ軸方向のそれぞれの移動距離Ｄｘ、Ｄｙ及びＤｚを次式によって算出する。
【００９６】
Ｄｘ＝Ｘｆ−Ｘｐ
Ｄｙ＝Ｙｆ−Ｙｐ
Ｄｚ＝Ｚｆ−Ｚｐ
【００９７】
合成画像生成部３２は、Ｘ軸方向、Ｙ軸方向及びＺ軸方向の１フレーム当たりのそれぞれの平均移動量ｍｘ、ｍｙ及びｍｚを次式によって算出する。
【００９８】
ｍｘ＝Ｄｘ／（Ｆ×Ｔ）
ｍｙ＝Ｄｙ／（Ｆ×Ｔ）
ｍｚ＝Ｄｚ／（Ｆ×Ｔ）
【００９９】
合成画像生成部３２は、移動途中の視点位置ＶｐｍのＸ座標Ｘｎ、Ｙ座標Ｙｎ及びＺ座標Ｚｎを次式によって算出する。
【０１００】
Ｘｎ＝Ｘn-1＋α×ｍｘ
Ｙｎ＝Ｙn-1＋α×ｍｙ
Ｚｎ＝Ｚn-1＋α×ｍｚ
【０１０１】
上式のＸn-1、Ｙn-1及びＺn-1は、それぞれ１フレーム前の視点位置ＶｐｍのＸ座標、Ｙ座標及びＺ座標である。またαは、仮想視点の移動速度の係数である。
【０１０２】
移動の途中点における仮想視点の視野方向Ｏｍについても、同様の補間処理によって決定することができる。
【０１０３】
オペレーションＣＤにおいて合成画像生成部３２は、オペレーションＣＣで決定された仮想視点から見た合成画像を生成する。表示制御部１２は、合成画像生成部３２により生成された画像を順次表示する。
【０１０４】
オペレーションＣＥにおいて、合成画像生成部３２はオペレーションＣＣで算出した途中点が終点に至ったか否かを判定する。途中点が終点に至った場合（オペレーションＣＥ：Ｙ）、処理は終了する。途中点が終点に至らない場合（オペレーションＣＥ：Ｎ）、処理はオペレーションＣＣへ戻る。
【０１０５】
なお、第２領域Ｒ２内の表示画像を拡大俯瞰画像からバックカメラ５２の撮影画像Ｐｂ１へ切り替える際にも、上記と同様に、車両周辺全体の俯瞰画像ＣＰｗを経由して変化するアニメーションを表示してもよい。さらに、第２領域Ｒ２内の表示画像をある拡大俯瞰画像から他の拡大俯瞰画像へ切り替える際にも、上記と同様に俯瞰画像ＣＰｗを経由して変化するアニメーションを表示してもよい。
【０１０６】
以上、バックモード用２画面表示状態ＳＴ２１における第２領域Ｒ２の表示の切り替えについて説明した。フロントモード用２画面表示状態ＳＴ３１における第２領域Ｒ２の表示の切り替えも、上記説明と同様であってよい。
【０１０７】
＜５．第２の実施例＞
続いて、バックモード用２画面表示状態ＳＴ２１において、第１領域Ｒ１に表示された俯瞰画像ＣＰｗがタッチされた場合の表示処理の他の実施例を説明する。本実施例では、俯瞰画像ＣＰｗがタッチされた場合に、拡大俯瞰画像を全画面Ｖ０に全画面表示する。
【０１０８】
図１７は、バックモード用２画面表示状態ＳＴ２１における表示切替処理の第２例のフローチャートである。なお、フロントモード用２画面表示状態ＳＴ３１における処理も同様であってよい。また、他の実施態様においては、下記のオペレーションＤＡ〜ＤＨの各オペレーションはステップであってもよい。
【０１０９】
オペレーションＤＡにおいて表示制御部１２は、バックモード用２画面表示Ｄｔｂをディスプレイ２１に表示する。表示されたバックモード用２画面表示Ｄｔｂを図１８の（Ａ）に示す。図１８の（Ａ）の表示内容は、図１３を参照して説明したバックモード用２画面表示Ｄｔｂと同様である。本例では、状態ＳＴ２１に遷移した直後には、デフォルト表示するように指定されたバックカメラ５２の撮影画像Ｐｂ１が第２領域Ｒ２に表示されている。
【０１１０】
図１７を参照する。オペレーションＤＢにおいて表示制御部１２は、カメラＳＷのタッチによるユーザの入力があったか否かを判定する。カメラＳＷがタッチされた場合（オペレーションＤＢ：Ｙ）、処理はオペレーションＤＨへ移行する。オペレーションＤＨにおいて表示制御部１２は、表示モードを第１バックカメラ画像表示状態ＳＴ２２へ遷移させて処理を終了する。
【０１１１】
カメラＳＷがタッチされていない場合（オペレーションＤＢ：Ｎ）、処理はオペレーションＤＣへ移行する。オペレーションＤＣにおいて表示制御部１２は、ディスプレイ２１のタッチパネルの操作により、第１領域Ｒ１をタッチするユーザの入力があったか否かを判定する。
【０１１２】
第１領域Ｒ１がタッチされた場合（オペレーションＤＣ：Ｙ）、処理はオペレーションＤＤへ移行する。第１領域Ｒ１がタッチされていない場合（オペレーションＤＣ：Ｎ）、処理はオペレーションＤＢへ戻る。
【０１１３】
オペレーションＤＤにおいて合成画像生成部３２は、第１領域Ｒ１内の分割領域Ａ０〜Ａ８のうちユーザによりタッチされた領域を真上から拡大して見た拡大俯瞰画像を生成する。表示制御部１２は、合成画像生成部３２が生成した拡大俯瞰画像を全画面表示する。
【０１１４】
拡大俯瞰画像がディスプレイ２１の全画面Ｖ０に、全画面表示された状態を図１８の（Ｂ）に示す。本例では、ユーザが車両左後方の領域Ａ６をタッチしたことに応答して、車両左後方を真上から見た拡大俯瞰画像ＣＰ６が全画面表示される。また、後述する「戻るボタン」７１も全画面Ｖ０内に表示されている。
【０１１５】
図１７を参照する。オペレーションＤＥにおいて表示制御部１２は、タッチパネルにタッチするユーザの入力があったか否かを判定する。タッチパネルがタッチされた場合（オペレーションＤＥ：Ｙ）、処理はオペレーションＤＦへ移行する。タッチパネルがタッチされない場合（オペレーションＤＥ：Ｎ）、処理はオペレーションＤＥへ戻る。
【０１１６】
オペレーションＤＦにおいて表示制御部１２は、タッチされた箇所が戻るボタン７１であったか否かを判定する。戻るボタン７１がタッチされた場合（オペレーションＤＦ：Ｙ）、処理はオペレーションＤＡへ戻る。タッチされた箇所が戻るボタン７１でない場合（オペレーションＤＦ：Ｎ）、処理はオペレーションＤＧへ移る。
【０１１７】
オペレーションＤＧにおいて合成画像生成部３２は、タッチされた拡大俯瞰画像上の位置に応じて、全画面表示する拡大俯瞰画像の視点の位置を変更する。その後処理は、オペレーションＤＥへ戻る。
【０１１８】
本実施例によれば、車両周辺の任意の箇所を拡大して示す俯瞰画像を、表示画面に全画面表示することが可能となる。このため、ユーザが車体と障害物との間のクリアランスを確認する際に、障害物との間の距離感を掴みやすくなる。
【０１１９】
続いて、図１７に示す表示処理においてオペレーションＤＧにおける拡大俯瞰画像の視点の位置を変更する処理について説明する。図１９の（Ａ）〜図１９の（Ｃ）は、拡大俯瞰画像の視点の位置を変更する方法の第１例の説明図である。
【０１２０】
図１９の（Ａ）の状態では、車両９の左後方の領域Ａ６を示す拡大俯瞰画像ＣＰ６が全画面Ｖ０に表示されている。全画面表示された拡大俯瞰画像ＣＰ６は、全画面Ｖ０の中心Ｃの周りに配置された複数の部分領域ＡＬＵ、ＡＲＵ、ＡＬＤ及びＡＲＤを含む。
【０１２１】
ユーザにより部分領域ＡＬＵ、ＡＲＵ、ＡＬＤ及びＡＲＤがタッチされたことが検出されると、表示制御部１２は、タッチされた領域と現在表示中の拡大俯瞰画像の視点の位置に応じて変更後の拡大俯瞰画像の視点の位置を決定する。
【０１２２】
例えば、拡大俯瞰画像ＣＰ６の表示中に左上領域ＡＬＵがタッチされたときに表示される拡大俯瞰画像を図１９の（Ｂ）に示す。拡大俯瞰画像ＣＰ６の表示中に左上領域ＡＬＵがタッチされると、視点は前方へ移動し、車両左側方の領域Ａ４の拡大俯瞰画像ＣＰ４が全画面表示される。
【０１２３】
なお、拡大俯瞰画像ＣＰ４の表示中に左上領域ＡＬＵがタッチされると、視点は前方へ移動し、車両左前方の領域Ａ１の拡大俯瞰画像が全画面表示される。また拡大俯瞰画像ＣＰ４の表示中に左下領域ＡＬＤがタッチされると、視点は下方へ移動し、車両左後方の領域Ａ６の拡大俯瞰画像ＣＰ６が全画面表示される。
【０１２４】
また例えば、拡大俯瞰画像ＣＰ６の表示中に右下領域ＡＲＤがタッチされたときに表示される拡大俯瞰画像を図１９の（Ｃ）に示す。拡大俯瞰画像ＣＰ６の表示中に右下領域ＡＲＤがタッチされると、視点は右へ移動し、車両後方の領域Ａ７の拡大俯瞰画像ＣＰ７が全画面表示される。
【０１２５】
なお、拡大俯瞰画像ＣＰ７の表示中に左上領域ＡＬＵがタッチされると、視点は左前方へ移動し、車両左側方の領域Ａ４の拡大俯瞰画像ＣＰ４が全画面表示される。拡大俯瞰画像ＣＰ７の表示中に右上領域ＡＲＵがタッチされると、視点は右前方へ移動し、車両右側方の領域Ａ５の拡大俯瞰画像が全画面表示される。
【０１２６】
なお、拡大俯瞰画像ＣＰ７の表示中に左下領域ＡＬＤがタッチされると、視点は左へ移動し、車両左後方の領域Ａ６の拡大俯瞰画像ＣＰ６が全画面表示される。拡大俯瞰画像ＣＰ７の表示中に右下領域ＡＲＤがタッチされると、視点は右へ移動し、車両右後方の領域Ａ８の拡大俯瞰画像が全画面表示される。
【０１２７】
なお、上記の部分領域の配置方法及び視点の移動方向の例は、あくまで説明のための一例であり、様々な配置方法及び移動方向を採用することができる。
【０１２８】
合成画像生成部３２は、表示制御部１２により決定された視点の位置から見た拡大俯瞰画像を生成する。表示制御部１２は、生成された拡大俯瞰画像を表示する。これにより、拡大俯瞰画像の表示範囲がスライドする。
【０１２９】
なお、拡大俯瞰画像の視点を変更するとき、合成画像生成部３２は、視点の高さを同じ状態に保ったまま、変更後の視点位置まで拡大俯瞰画像が連続的にスライドするアニメーションを生成してもよい。
【０１３０】
拡大俯瞰画像を全画面表示すると、車両周辺全体の俯瞰画像を表示するスペースがなくなる。このため、拡大俯瞰画像により何処を拡大すべきかを指定する際に、車両周辺全体の俯瞰画像を用いることができなくなる。したがって、ユーザが視点の変更を指示する手段を提供することが必要である。
【０１３１】
本実施例によれば、拡大俯瞰画像を全画面表示した場合における拡大俯瞰画像の視点の変更手段が提供される。さらに、本実施例によれば、タッチパネルを用いた直感的な操作によって拡大俯瞰画像の視点を変更することができるためユーザの利便性が向上する。
【０１３２】
本実施例によれば、現在の拡大俯瞰画像から隣接する拡大俯瞰画像への移動がワンタッチで可能となる。特に、本実施例のように車両周辺の画像を表示する場合には、ユーザが注視する障害物と車両との相対位置関係は、車両の移動に伴って連続的に変化することが多い。
【０１３３】
本実施例では、隣接する拡大俯瞰画像への視点の移動がワンタッチでできるので、車両の周りを連続的に相対移動する障害物を追跡することが容易になる。
【０１３４】
続いて、拡大俯瞰画像の視点の位置を変更する他の方法の実施例を説明する。図２０の（Ａ）〜図２０の（Ｃ）は、拡大俯瞰画像の視点の位置を変更する方法の第２例の説明図である。図２０の（Ａ）の状態では、車両９の左後方の領域を示す拡大俯瞰画像ＣＰ６がディスプレイ２１の全画面Ｖ０に表示されている。
【０１３５】
拡大俯瞰画像を全画面表示したとき、合成画像生成部３２は、ユーザによる視点の変更方向指示を受け付ける矢印表示８０を画像に挿入する。ユーザにより矢印表示８０がタッチされると、合成画像生成部３２はタッチされた矢印の方向に存在する拡大俯瞰画像を生成する。表示制御部１２は、この拡大俯瞰画像をディスプレイに表示させ視点の位置をスライドする。拡大俯瞰画像の視点を変更するとき、合成画像生成部３２は、拡大俯瞰画像が連続的にスライドするアニメーションを生成してもよい。
【０１３６】
合成画像生成部３２は、上下左右の４方向や斜め方向を加えた８方向を常に示す固定の矢印表示を画像に挿入してよい。これに代えて、表示可能な他の拡大俯瞰画像が存在する方向を示す矢印表示のみを画像に挿入してもよい。
【０１３７】
この場合、表示制御部１２は、現在表示中の拡大俯瞰画像の位置から見て、表示可能な他の拡大俯瞰画像が存在する方向を判定する。拡大俯瞰画像ＣＰ６の場合、車両９の左側方の領域Ａ４を示す拡大俯瞰画像と、車両９の後方の領域Ａ７を示す拡大俯瞰画像が表示可能である。
【０１３８】
表示制御部１２により、表示可能な他の拡大俯瞰画像が存在する方向が判定されると、合成画像生成部３２はこの方向を示す矢印表示８０を現在表示中の画像に挿入する。図２０の（Ａ）の状態では、車両９の左側方の領域Ａ４を示す拡大俯瞰画像が存在する方向である「前方」を示す矢印８１と、車両９の後方の領域Ａ７を示す拡大俯瞰画像が存在する方向である「右」を示す矢印８２が表示される。
【０１３９】
矢印８１及び８２のいずれかがユーザによりタッチされると、合成画像生成部３２は、タッチされた矢印の方向に存在する拡大俯瞰画像を生成する。例えば、拡大俯瞰画像ＣＰ６の表示中に前方を示す矢印８１がタッチされたときに表示される拡大俯瞰画像を図２０の（Ｂ）に示す。拡大俯瞰画像ＣＰ６の表示中に矢印８１がタッチされると、視点は前方へ移動し、車両左側方の領域Ａ４の拡大俯瞰画像ＣＰ４が全画面表示される。
【０１４０】
なお、拡大俯瞰画像ＣＰ４が表示された状態では、車両９の左前方の領域Ａ１を示す拡大俯瞰画像が存在する方向である「前方」を示す矢印８１と、車両９の右側方の領域Ａ５を示す拡大俯瞰画像が存在する方向である「右」を示す矢印８２と、車両９の左後方の領域Ａ６を示す拡大俯瞰画像が存在する方向である「後方」を示す矢印８３が表示される。
【０１４１】
また例えば、拡大俯瞰画像ＣＰ６の表示中に「右」を示す矢印８２がタッチされたときに表示される拡大俯瞰画像を図２０の（Ｃ）に示す。拡大俯瞰画像ＣＰ６の表示中に矢印８２がタッチされると、視点は右方へ移動し、車両後方の領域Ａ７の拡大俯瞰画像ＣＰ７が全画面表示される。
【０１４２】
なお、拡大俯瞰画像ＣＰ７が表示された状態では、車両９の前方の領域Ａ２を示す拡大俯瞰画像が存在する方向である「前方」を示す矢印８１と、車両９の右後方の領域Ａ８を示す拡大俯瞰画像が存在する方向である「右」を示す矢印８２と、車両９の左後方の領域Ａ６を示す拡大俯瞰画像が存在する方向である「左」を示す矢印８４が表示される。
【０１４３】
本実施例によっても、拡大俯瞰画像を全画面表示した場合における拡大俯瞰画像の視点の変更手段が提供される。さらに、本実施例によれば、タッチパネルを用いた直感的な操作によって拡大俯瞰画像の視点を変更することでき、ユーザの利便性が向上する。
【０１４４】
また、本実施例によっても、現在の拡大俯瞰画像から隣接する拡大俯瞰画像への移動がワンタッチで可能となる。
【０１４５】
＜６．第３の実施例＞
続いて、表示制御部１２による表示モードの他の切り替え処理の実施例について説明する。図２１は、表示モードの状態遷移図の第２例の説明図である。図５に示す状態遷移図と同一の部分については同じ参照符号を付している。
【０１４６】
ナビモードＳＴ１０、バックモードＳＴ２０、フロントモードＳＴ３０及び周囲確認モードＳＴ４０のそれぞれのモード間の遷移方法は、図５を参照して上述した方法と同様であってよい。
【０１４７】
本実施例では、バックモードＳＴ２０は、全画面俯瞰表示状態ＳＴ２４を備える。バックモードＳＴ２０においてカメラスイッチが操作されると、表示制御部１２は、表示モードを状態ＳＴ２４、ＳＴ２１〜ＳＴ２３間で遷移させる。
【０１４８】
図２２は、全画面俯瞰表示状態ＳＴ２４における表示内容の例を示す図である。全画面俯瞰表示状態ＳＴ２４における画面表示（以下、「全画面俯瞰表示」と表記することがある）Ｄｗｗは、ディスプレイ２１上の全画面Ｖ０に表示される車両９の周辺全体の全画面俯瞰画像ＣＰｗｗの合成画像を表示する。
【０１４９】
上述したバックモード用２画面表示Ｄｔｂにて表示される俯瞰画像ＣＰｗと比較すると、全画面俯瞰画像ＣＰｗｗは、視点の位置を高くすることにより画角がより広く、車両９周囲のより広い範囲を表示する俯瞰画像になっている。
【０１５０】
図２１を参照する。フロントモードＳＴ３０も、全画面俯瞰表示状態ＳＴ３４を備える。フロントモードＳＴ２０においてカメラスイッチが操作されると、表示制御部１２は、表示モードを状態ＳＴ３４、ＳＴ３１〜ＳＴ３３間で遷移させる。全画面俯瞰表示状態ＳＴ３４における表示内容は、全画面俯瞰表示状態ＳＴ２４の表示内容と同様であってよい。
【０１５１】
図２３は、全画面俯瞰表示状態ＳＴ２４における表示切替処理のフローチャートである。全画面俯瞰表示状態ＳＴ３４における処理も同様であってよい。また、他の実施態様においては、下記のオペレーションＥＡ〜ＥＨの各オペレーションはステップであってもよい。
【０１５２】
オペレーションＥＡにおいて表示制御部１２は、全画面俯瞰表示Ｄｗｗをディスプレイ２１に表示する。表示された全画面俯瞰表示Ｄｗｗを図２４の（Ａ）に示す。全画面表示された全画面俯瞰画像ＣＰｗｗは、複数の区画の領域Ａ１１〜Ａ１８に分割されている。なお、図２４において点線で示した各領域を示す境界線は、ディスプレイ２１に実際に表示してもしなくてもよい。
【０１５３】
図２３を参照する。オペレーションＥＢにおいて表示制御部１２は、カメラＳＷのタッチによるユーザの入力があったか否かを判定する。カメラＳＷがタッチされた場合（オペレーションＥＢ：Ｙ）、処理はオペレーションＥＨへ移行する。オペレーションＥＨにおいて表示制御部１２は、表示モードをバックモード用２画面表示状態ＳＴ２１へ遷移させて処理を終了する。
【０１５４】
カメラＳＷがタッチされていない場合（オペレーションＥＢ：Ｎ）、処理はオペレーションＥＣへ移行する。オペレーションＥＣにおいて表示制御部１２は、タッチパネルにタッチするユーザの入力があったか否かを判定する。タッチパネルがタッチされた場合（オペレーションＥＣ：Ｙ）、処理はオペレーションＥＤへ移行する。タッチパネルがタッチされない場合（オペレーションＥＣ：Ｎ）、処理はオペレーションＥＢへ戻る。
【０１５５】
オペレーションＥＤにおいて表示制御部１２は、全画面俯瞰画像ＣＰｗｗの各領域Ａ１１〜Ａ１８のいずれをユーザがタッチしたかに応じて、全画面Ｖ０に全画面表示する拡大俯瞰画像を選択する。ユーザがタッチした領域と表示画像の対応関係を以下に示す。
【０１５６】
車両左前方の領域Ａ１１：車両左前方を真上から拡大して見た拡大俯瞰画像の合成画像
車両前方の領域Ａ１２：車両前方を真上から拡大して見た拡大俯瞰画像の合成画像
車両右前方の領域Ａ１３：車両右前方を真上から拡大して見た拡大俯瞰画像の合成画像
車両左側方の領域Ａ１４：車両左側方を真上から拡大して見た拡大俯瞰画像の合成画像
車両右側方の領域Ａ１５：車両右側方を真上から拡大して見た拡大俯瞰画像の合成画像
車両左後方の領域Ａ１６：車両左後方を真上から拡大して見た拡大俯瞰画像の合成画像
車両後方の領域Ａ１７：車両後方を真上から拡大して見た拡大俯瞰画像の合成画像
車両右後方の領域Ａ１８：車両右後方を真上から拡大して見た拡大俯瞰画像の合成画像
【０１５７】
合成画像生成部３２は、タッチされた領域に応じて上記の対応関係に基づき定まる拡大俯瞰画像を生成する。表示制御部１２は、合成画像生成部３２が生成した拡大俯瞰画像を全画面表示する。
【０１５８】
拡大俯瞰画像が全画面表示された状態を図２４の（Ｂ）に示す。本例では、ユーザが車両左後方の領域Ａ１６をタッチしたことに応答して、車両左後方を真上から見た拡大俯瞰画像ＣＰ１６が全画面表示される。
【０１５９】
図２３を参照する。オペレーションＥＥにおいて表示制御部１２は、タッチパネルにタッチするユーザの入力があったか否かを判定する。タッチパネルがタッチされた場合（オペレーションＥＥ：Ｙ）、処理はオペレーションＥＦへ移行する。タッチパネルがタッチされない場合（オペレーションＥＥ：Ｎ）、処理はオペレーションＥＥへ戻る。
【０１６０】
オペレーションＥＦにおいて表示制御部１２は、タッチされた箇所が戻るボタン７１であったか否かを判定する。戻るボタン７１がタッチされた場合（オペレーションＥＦ：Ｙ）、処理はオペレーションＥＡへ戻る。タッチされた箇所が戻るボタン７１でない場合（オペレーションＥＦ：Ｎ）、処理はオペレーションＥＧへ移る。
【０１６１】
オペレーションＥＧにおいて合成画像生成部３２は、タッチされた拡大俯瞰画像上の位置に応じて、全画面表示する拡大俯瞰画像の視点の位置を変更する。その後処理は、オペレーションＥＥへ戻る。拡大俯瞰画像の視点の位置の変更処理は、図１９の（Ａ）〜図１９の（Ｃ）及び図２０の（Ａ）〜図２０の（Ｃ）を参照して説明した処理と同様であってよい。
【０１６２】
本実施例により、車両９の周辺の比較的広い範囲を表す全画面俯瞰画像ＣＰｗｗ内の所望の位置をワンタッチすることにより、拡大俯瞰画像の全画面表示に容易に切り替える事ができる。また拡大俯瞰画像内に挿入された戻るボタン７１をタッチすることにより、全画面俯瞰画像ＣＰｗｗへ容易に切り替えることができる。
【０１６３】
このように、全画面俯瞰画像ＣＰｗｗと拡大俯瞰画像との間をワンタッチで切り替えることができることにより、ユーザが車体と障害物との間のクリアランスを確認する際の利便性を向上することができる。
【０１６４】
例えば、全画面俯瞰画像ＣＰｗｗは比較的広い範囲を表すため、例えば駐車場などにおいて比較的遠くから駐車スペースの白線を確認することができる。このため、駐車スペースへの方向を遠方から判断し、近づいたらワンタッチで拡大俯瞰画像に切り替えて障害物との相対距離を正確に把握する、等の使用が可能となる。
以上の実施例においては、俯瞰画像を複数の領域に分割し、タッチされた領域の拡大俯瞰画像を生成し表示するようにした。換言すれば、各領域の中心の真上近傍に視点位置が存在する。この場合、隣接する領域の境界に障害物が存在する場合に障害物が確認しづらくなる可能性がある。そこで、変形例として俯瞰画像を複数の領域に分割するのではなく、俯瞰画像上でタッチされた点を中心とした拡大俯瞰画像を生成、表示してもよい。即ち、俯瞰画像上でタッチされた点を視点位置として拡大俯瞰画像を生成する。このようにすれば、確認したい箇所を中心とした拡大俯瞰画像表示が可能となるため障害物を確認し易くなる。
【符号の説明】
【０１６５】
２０ ナビゲーション装置
２１ ディスプレイ
２２ 操作部
１１ 画像制御部
１２ 表示制御部
３１ 合成画像生成部
５１ フロントカメラ
５２ バックカメラ
５３ サイドカメラ
１２０ 画像表示システム
【特許請求の範囲】
【請求項１】
車両に搭載される画像表示システムであって、
前記車両に配置されたカメラで得られる撮影画像に基づいて仮想視点から見た合成画像を生成する合成画像生成手段と、
前記合成画像生成手段により生成された合成画像を表示画面に表示する表示手段と、
前記合成画像生成手段により生成され前記表示画面に表示された前記車両周辺の俯瞰画像の一部の領域を指定する第１の指定入力を受け付ける受付手段と、
前記第１の指定入力を受け付けた場合に、前記指定された領域の拡大画像を前記表示画面に全画面表示する表示制御手段と、
を備えることを特徴とする画像表示システム。
【請求項２】
前記表示制御手段によって制御される前記表示画面の１以上の表示モードには、第１領域と第２領域とを少なくとも有する２画面表示状態が含まれ、
前記受付手段は、前記２画面表示状態において前記第１領域に表示された前記俯瞰画像の領域の指定を受け付けることを特徴とする請求項１に記載の画面表示システム。
【請求項３】
前記表示制御手段によって制御される前記表示画面の１以上の表示モードには、前記俯瞰画像が全画面表示される状態を少なくとも含み、
前記受付手段は、全画面表示された前記俯瞰画像の領域の指定を受け付けることを特徴とする請求項１に記載の画面表示システム。
【請求項４】
前記表示制御手段によって制御される前記表示画面の１以上の表示モードには、前記カメラにより得られる撮影画像を前記表示画面に表示する状態を含み、
前記撮影画像の表示中に前記第１の指定入力を受け付けた場合に、前記表示制御手段は、前記合成画像生成手段により生成される、前記撮影画像から前記俯瞰画像まで変化する第１のアニメーション及び前記俯瞰画像から前記拡大画像まで変化する第２のアニメーションと、を表示することを特徴とする請求項１〜３のいずれか一項に記載の画像表示システム。
【請求項５】
前記受付手段は、前記拡大画像を分割した複数領域のいずれかを指定する第２の指定入力を受け付け、
前記表示制御手段は、前記第２の指定入力が受け付けられた場合に、指定された領域に応じて前記拡大画像の視野の位置を変更することを特徴とする請求項１〜４のいずれか一項に記載の画像表示システム。
【請求項６】
前記受付手段は、前記表示画面に表示された矢印表示を指定する第２の指定入力を受け付け、
前記前記表示制御手段は、前記第２の指定入力が受け付けられた場合に、指定された矢印に応じて前記拡大画像の視野の位置を変更することを特徴とする請求項１〜４のいずれか一項に記載の画像表示システム。
【請求項７】
前記合成画像生成手段は、前記拡大画像中に寸法線を挿入する請求項１〜６のいずれか一項に記載の画像表示システム。
【請求項８】
車両に搭載される画像表示システムであって、
前記車両に配置されたカメラで得られる撮影画像に基づいて仮想視点から見た合成画像を生成する合成画像生成手段と、
前記合成画像生成手段により生成された合成画像及び前記撮影画像を表示画面に表示する表示手段と、
前記合成画像生成手段により生成され前記表示画面に表示された前記車両周辺の俯瞰画像の一部の領域を指定する指定入力を受け付ける受付手段と、
前記指定入力を受け付けた場合に、前記指定された領域の拡大画像を前記表示画面に表示する表示制御手段と、を備え、
前記表示制御手段によって制御される前記表示画面の１以上の表示モードには、前記カメラにより得られる撮影画像を前記表示画面に表示する状態を含み、
前記撮影画像の表示中に前記指定入力を受け付けたとき、前記表示制御手段は、前記合成画像生成手段により生成される、前記撮影画像から前記俯瞰画像まで変化する第１のアニメーション及び前記俯瞰画像から前記拡大画像まで変化する第２のアニメーションと、を表示することを特徴とする画像表示システム。
【請求項９】
車両に搭載される表示装置に表示させる画像を生成する画像処理装置であって、
前記車両に配置されたカメラで得られる撮影画像に基づいて仮想視点から見た合成画像を生成する合成画像生成手段と、
前記合成画像生成手段により生成された合成画像を前記表示装置の表示画面に表示する表示手段と、
前記合成画像生成手段により生成され前記表示画面に表示された前記車両周辺の俯瞰画像の一部の領域を指定する第１の指定入力を受け付ける受付手段と、
前記第１の指定入力を受け付けた場合に、前記指定された領域の拡大画像を前記表示画面に全画面表示する表示制御手段と、
を備えることを特徴とする画像処理装置。
【請求項１０】
車両に搭載される表示装置に表示させる画像を生成する画像処理装置であって、
前記車両に配置されたカメラで得られる撮影画像に基づいて仮想視点から見た合成画像を生成する合成画像生成手段と、
前記合成画像生成手段により生成された合成画像及び前記撮影画像を表示画面に表示する表示手段と、
前記合成画像生成手段により生成され前記表示画面に表示された前記車両周辺の俯瞰画像の一部の領域を指定する指定入力を受け付ける受付手段と、
前記第１の指定入力を受け付けた場合に、前記指定された領域の拡大画像を前記表示画面に表示する表示制御手段と、を備え、
前記表示制御手段によって制御される前記表示画面の１以上の表示モードには、前記カメラにより得られる撮影画像を前記表示画面に表示する状態を含み、
前記撮影画像の表示中に前記指定入力を受け付けたとき、前記表示制御手段は、前記合成画像生成手段により生成される、前記撮影画像から前記俯瞰画像まで変化する第１のアニメーション及び前記俯瞰画像から前記拡大画像まで変化する第２のアニメーションと、を表示することを特徴とする画像処理装置。
【請求項１１】
車両において画像を表示する画像表示方法であって、
前記車両に配置されたカメラで得られる撮影画像に基づいて仮想視点から見た前記車両周辺の俯瞰画像を生成し、
前記俯瞰画像を表示画面に表示し、
前記表示画面に表示された俯瞰画像の一部の領域を指定する第１の指定入力を受け付け、
前記第１の指定入力を受け付けた場合に、仮想視点から見た場合の前記指定された領域の拡大画像を前記撮影画像に基づいて生成し、
前記拡大画像を前記表示画面に全画面表示する、ことを特徴とする画像表示方法。
【請求項１２】
車両において画像を表示する画像表示方法であって、
前記車両に配置されたカメラで得られる撮影画像に基づいて仮想視点から見た前記車両周辺の俯瞰画像を生成し、
前記撮影画像と前記俯瞰画像とを表示画面に表示し、
前記表示画面に表示された俯瞰画像の一部の領域を指定する指定入力を受け付け、
前記指定入力を受け付けた場合に、前記撮影画像から前記俯瞰画像まで変化する第１のアニメーションと、前記俯瞰画像から前記いずれかの領域の拡大画像まで変化する第２のアニメーションと、を生成し、
前記第１及び第２のアニメーションを前記表示画面に表示することを特徴とする画像表示方法。
【請求項１】
車両に搭載される画像表示システムであって、
前記車両に配置されたカメラで得られる撮影画像に基づいて仮想視点から見た合成画像を生成する合成画像生成手段と、
前記合成画像生成手段により生成された合成画像を表示画面に表示する表示手段と、
前記合成画像生成手段により生成され前記表示画面に表示された前記車両周辺の俯瞰画像の一部の領域を指定する第１の指定入力を受け付ける受付手段と、
前記第１の指定入力を受け付けた場合に、前記指定された領域の拡大画像を前記表示画面に全画面表示する表示制御手段と、
を備えることを特徴とする画像表示システム。
【請求項２】
前記表示制御手段によって制御される前記表示画面の１以上の表示モードには、第１領域と第２領域とを少なくとも有する２画面表示状態が含まれ、
前記受付手段は、前記２画面表示状態において前記第１領域に表示された前記俯瞰画像の領域の指定を受け付けることを特徴とする請求項１に記載の画面表示システム。
【請求項３】
前記表示制御手段によって制御される前記表示画面の１以上の表示モードには、前記俯瞰画像が全画面表示される状態を少なくとも含み、
前記受付手段は、全画面表示された前記俯瞰画像の領域の指定を受け付けることを特徴とする請求項１に記載の画面表示システム。
【請求項４】
前記表示制御手段によって制御される前記表示画面の１以上の表示モードには、前記カメラにより得られる撮影画像を前記表示画面に表示する状態を含み、
前記撮影画像の表示中に前記第１の指定入力を受け付けた場合に、前記表示制御手段は、前記合成画像生成手段により生成される、前記撮影画像から前記俯瞰画像まで変化する第１のアニメーション及び前記俯瞰画像から前記拡大画像まで変化する第２のアニメーションと、を表示することを特徴とする請求項１〜３のいずれか一項に記載の画像表示システム。
【請求項５】
前記受付手段は、前記拡大画像を分割した複数領域のいずれかを指定する第２の指定入力を受け付け、
前記表示制御手段は、前記第２の指定入力が受け付けられた場合に、指定された領域に応じて前記拡大画像の視野の位置を変更することを特徴とする請求項１〜４のいずれか一項に記載の画像表示システム。
【請求項６】
前記受付手段は、前記表示画面に表示された矢印表示を指定する第２の指定入力を受け付け、
前記前記表示制御手段は、前記第２の指定入力が受け付けられた場合に、指定された矢印に応じて前記拡大画像の視野の位置を変更することを特徴とする請求項１〜４のいずれか一項に記載の画像表示システム。
【請求項７】
前記合成画像生成手段は、前記拡大画像中に寸法線を挿入する請求項１〜６のいずれか一項に記載の画像表示システム。
【請求項８】
車両に搭載される画像表示システムであって、
前記車両に配置されたカメラで得られる撮影画像に基づいて仮想視点から見た合成画像を生成する合成画像生成手段と、
前記合成画像生成手段により生成された合成画像及び前記撮影画像を表示画面に表示する表示手段と、
前記合成画像生成手段により生成され前記表示画面に表示された前記車両周辺の俯瞰画像の一部の領域を指定する指定入力を受け付ける受付手段と、
前記指定入力を受け付けた場合に、前記指定された領域の拡大画像を前記表示画面に表示する表示制御手段と、を備え、
前記表示制御手段によって制御される前記表示画面の１以上の表示モードには、前記カメラにより得られる撮影画像を前記表示画面に表示する状態を含み、
前記撮影画像の表示中に前記指定入力を受け付けたとき、前記表示制御手段は、前記合成画像生成手段により生成される、前記撮影画像から前記俯瞰画像まで変化する第１のアニメーション及び前記俯瞰画像から前記拡大画像まで変化する第２のアニメーションと、を表示することを特徴とする画像表示システム。
【請求項９】
車両に搭載される表示装置に表示させる画像を生成する画像処理装置であって、
前記車両に配置されたカメラで得られる撮影画像に基づいて仮想視点から見た合成画像を生成する合成画像生成手段と、
前記合成画像生成手段により生成された合成画像を前記表示装置の表示画面に表示する表示手段と、
前記合成画像生成手段により生成され前記表示画面に表示された前記車両周辺の俯瞰画像の一部の領域を指定する第１の指定入力を受け付ける受付手段と、
前記第１の指定入力を受け付けた場合に、前記指定された領域の拡大画像を前記表示画面に全画面表示する表示制御手段と、
を備えることを特徴とする画像処理装置。
【請求項１０】
車両に搭載される表示装置に表示させる画像を生成する画像処理装置であって、
前記車両に配置されたカメラで得られる撮影画像に基づいて仮想視点から見た合成画像を生成する合成画像生成手段と、
前記合成画像生成手段により生成された合成画像及び前記撮影画像を表示画面に表示する表示手段と、
前記合成画像生成手段により生成され前記表示画面に表示された前記車両周辺の俯瞰画像の一部の領域を指定する指定入力を受け付ける受付手段と、
前記第１の指定入力を受け付けた場合に、前記指定された領域の拡大画像を前記表示画面に表示する表示制御手段と、を備え、
前記表示制御手段によって制御される前記表示画面の１以上の表示モードには、前記カメラにより得られる撮影画像を前記表示画面に表示する状態を含み、
前記撮影画像の表示中に前記指定入力を受け付けたとき、前記表示制御手段は、前記合成画像生成手段により生成される、前記撮影画像から前記俯瞰画像まで変化する第１のアニメーション及び前記俯瞰画像から前記拡大画像まで変化する第２のアニメーションと、を表示することを特徴とする画像処理装置。
【請求項１１】
車両において画像を表示する画像表示方法であって、
前記車両に配置されたカメラで得られる撮影画像に基づいて仮想視点から見た前記車両周辺の俯瞰画像を生成し、
前記俯瞰画像を表示画面に表示し、
前記表示画面に表示された俯瞰画像の一部の領域を指定する第１の指定入力を受け付け、
前記第１の指定入力を受け付けた場合に、仮想視点から見た場合の前記指定された領域の拡大画像を前記撮影画像に基づいて生成し、
前記拡大画像を前記表示画面に全画面表示する、ことを特徴とする画像表示方法。
【請求項１２】
車両において画像を表示する画像表示方法であって、
前記車両に配置されたカメラで得られる撮影画像に基づいて仮想視点から見た前記車両周辺の俯瞰画像を生成し、
前記撮影画像と前記俯瞰画像とを表示画面に表示し、
前記表示画面に表示された俯瞰画像の一部の領域を指定する指定入力を受け付け、
前記指定入力を受け付けた場合に、前記撮影画像から前記俯瞰画像まで変化する第１のアニメーションと、前記俯瞰画像から前記いずれかの領域の拡大画像まで変化する第２のアニメーションと、を生成し、
前記第１及び第２のアニメーションを前記表示画面に表示することを特徴とする画像表示方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【公開番号】特開２０１２−１２４６１０（Ｐ２０１２−１２４６１０Ａ）
【公開日】平成２４年６月２８日（２０１２．６．２８）
【国際特許分類】
【出願番号】特願２０１０−２７１９４０（Ｐ２０１０−２７１９４０）
【出願日】平成２２年１２月６日（２０１０．１２．６）
【出願人】（０００２３７５９２）富士通テン株式会社 (3,383)
【Ｆターム（参考）】
【公開日】平成２４年６月２８日（２０１２．６．２８）
【国際特許分類】
【出願日】平成２２年１２月６日（２０１０．１２．６）
【出願人】（０００２３７５９２）富士通テン株式会社 (3,383)
【Ｆターム（参考）】
[ Back to top ]