画像表示システム、画像生成装置、及び、画像表示方法
【課題】周辺画像に表示内容を切り替える場合において、切り替え後に表示された周辺画像がどの視点からみた周辺画像であるかをユーザが直感的に把握できる技術を提供する。
【解決手段】画像表示システム１２０においては、ディスプレイの表示内容を周辺画像に切り替える場合に、複数の合成画像を時間的に連続して表示して、所定の基準視点ＶＰ０から移動先の視点ＶＰ１まで仮想視点ＶＰの位置が段階的に移動するアニメーション表現がなされる。このため、切り替え後にディスプレイ２１に表示された周辺画像がどの視点からみた周辺画像であるかをユーザが直感的に把握することができる。
【解決手段】画像表示システム１２０においては、ディスプレイの表示内容を周辺画像に切り替える場合に、複数の合成画像を時間的に連続して表示して、所定の基準視点ＶＰ０から移動先の視点ＶＰ１まで仮想視点ＶＰの位置が段階的に移動するアニメーション表現がなされる。このため、切り替え後にディスプレイ２１に表示された周辺画像がどの視点からみた周辺画像であるかをユーザが直感的に把握することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両において画像を表示する技術に関する。
【背景技術】
【０００２】
従来より、自動車などの車両に搭載され、車載カメラで得られる撮影画像に基づいて車両の周辺の領域を示す周辺画像を車室内のディスプレイに表示する画像表示システムが知られている。この画像表示システムを利用することにより、ユーザ（代表的にはドライバ）は車両の周辺の様子をほぼリアルタイムに把握することができる。
【０００３】
例えば、運転席の逆側となるフロントフェンダの外側領域は運転席から死角となりやすく、車体と障害物との間のクリアランスをユーザが把握しにくい。これに対して、画像表示システムを利用すれば、車両の側方に配置された車載カメラの撮影画像に基づいてフロントフェンダの外側領域を示す周辺画像を車室内のディスプレイに表示できる。これにより、車両の幅寄せを行う場合などにおいて、運転席の逆側の車体と障害物との間のクリアランスをユーザが容易に確認できることとなる。
【０００４】
なお、本明細書で説明する技術に関連する技術を開示した文献として特許文献１がある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−２１０４５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
近年では、車両の前方、後方、側方などの複数の位置に車載カメラを配置し、それら複数の車載カメラで得られる撮影画像に基づく周辺画像を表示する画像表示システムも提案されている。このような画像表示システムでは、異なる視点からみた周辺画像を表示することが可能である。例えば、車両の前方の視点からみた周辺画像や、車両の後方の視点からみた周辺画像などを表示することができる。
【０００７】
しかしながら、このように複数の視点からみた周辺画像を表示可能な画像表示システムでは、ディスプレイの表示内容を周辺画像に切り替えた場合に、表示された周辺画像がいずれの視点からみた周辺画像であるかをユーザが直感的に把握しにくい。
【０００８】
例えば、車両の周辺の地図画像の表示状態において、車両の後方の視点からみた周辺画像に表示内容を切り替えた場合において、切り替え後に表示された周辺画像が、いずれ視点からみたものであるかをユーザが直感的に把握することが難しいことがある。また、車両の前方の視点からみた周辺画像の表示状態において、車両の後方の視点からみた周辺画像に表示内容を切り替えた場合など、表示する周辺画像の視点が変更された場合においても同様である。
【０００９】
本発明は、上記課題に鑑みてなされたものであり、周辺画像に表示内容を切り替える場合において、切り替え後に表示された周辺画像がどの視点からみた周辺画像であるかをユーザが直感的に把握できる技術を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記課題を解決するため、請求項１の発明は、車両に搭載される画像表示システムであって、前記車両に配置された複数のカメラそれぞれの撮影画像を入力する入力手段と、前記撮影画像に基づいて、任意の仮想視点からみた前記車両の周辺の領域を示す合成画像を生成する画像生成手段と、前記撮影画像に基づく第１視点からみた第１周辺画像に表示内容を切り替える場合に、複数の前記合成画像を時間的に連続して表示して、所定の基準視点から前記第１視点まで前記仮想視点の位置が段階的に移動するアニメーション表現を行う表示手段と、を備えている。
【００１１】
また、請求項２の発明は、請求項１に記載の画像表示システムにおいて、前記表示手段は、前記車両の周辺の地図画像を表示可能であり、前記地図画像から前記第１周辺画像に表示内容を切り替える場合に、前記アニメーション表現を行う。
【００１２】
また、請求項３の発明は、請求項１に記載の画像表示システムにおいて、前記表示手段は、前記第１視点と異なる第２視点からみた第２周辺画像から、前記第１周辺画像に表示内容を切り替える場合に、前記第２視点から前記基準視点を経由して前記第１視点まで前記仮想視点の位置が段階的に移動する前記アニメーション表現を行う。
【００１３】
また、請求項４の発明は、請求項１ないし３のいずれかに記載の画像表示システムにおいて、前記基準視点は、前記車両を俯瞰する視点である。
【００１４】
また、請求項５の発明は、請求項１ないし３のいずれかに記載の画像表示システムにおいて、前記基準視点は、前記車両のドライバの視点である。
【００１５】
また、請求項６の発明は、請求項２に記載の画像表示システムにおいて、上空から地上を撮影した写真画像を取得する写真取得手段、をさらに備え、前記基準視点は、前記車両を俯瞰する視点であり、前記表示手段は、前記アニメーション表現を行う前に、前記地図画像と略同一の縮尺で前記車両の周囲の領域を示す前記写真画像を表示した後、前記基準視点からみた前記合成画像と略同一の縮尺で前記車両の周囲の領域を示すまで前記写真画像の被写体像を段階的に拡大する。
【００１６】
また、請求項７の発明は、車両に搭載される表示装置に表示させる画像を生成する画像生成装置であって、前記車両に配置された複数のカメラそれぞれの撮影画像を入力する入力手段と、前記撮影画像に基づいて、任意の仮想視点からみた前記車両の周辺の領域を示す合成画像を生成する画像生成手段と、前記表示装置が前記撮影画像に基づく第１視点からみた第１周辺画像に表示内容を切り替える場合に、複数の前記合成画像を前記表示装置に時間的に連続して出力し、所定の基準視点から前記第１視点まで前記仮想視点の位置が段階的に移動するアニメーション表現を前記表示装置に行わせる出力手段と、を備えている。
【００１７】
また、請求項８の発明は、車両に搭載される表示装置に画像を表示する画像表示方法であって、前記車両に配置された複数のカメラそれぞれの撮影画像を入力する工程と、前記撮影画像に基づいて、任意の仮想視点からみた前記車両の周辺の領域を示す合成画像を生成する工程と、前記表示装置が前記撮影画像に基づく第１視点からみた第１周辺画像に表示内容を切り替える場合に、複数の前記合成画像を時間的に連続して表示して、所定の基準視点から前記第１視点まで前記仮想視点の位置が段階的に移動するアニメーション表現を行う工程と、を備えている。
【発明の効果】
【００１８】
請求項１ないし８の発明によれば、周辺画像に表示内容を切り替える場合に、所定の基準視点から周辺画像の視点まで仮想視点が段階的に移動するアニメーション表現がなされる。このため、切り替え後に表示された周辺画像がどの視点からみた周辺画像であるかをユーザが直感的に把握できる。
【００１９】
また、特に請求項２の発明によれば、地図画像から周辺画像に表示内容を切り替える場合において、切り替え後に表示された周辺画像がどの視点からみた周辺画像であるかをユーザが直感的に把握できる。
【００２０】
また、特に請求項３の発明によれば、表示する周辺画像の視点を切り替える場合に、切り替え後に表示された周辺画像がどの視点からみた周辺画像であるかをユーザが直感的に把握できる。
【００２１】
また、特に請求項４の発明によれば、車両を俯瞰する視点から周辺画像の視点まで仮想視点が段階的に移動するアニメーション表現がなされるため、周辺画像の視点を車両全体を基準に容易に把握することができる。
【００２２】
また、特に請求項５の発明によれば、車両のドライバの視点から周辺画像の視点まで仮想視点が段階的に移動するアニメーション表現がなされるため、周辺画像の視点をドライバの視点を基準に容易に把握することができる。
【００２３】
また、特に請求項６の発明によれば、地図画像から周辺画像に表示内容を切り替える場合において、地図画像と略同一の縮尺で車両の周囲の領域を示す写真画像を表示し、その後、基準視点からみた合成画像と略同一縮尺で車両の周囲の領域を示すまで写真画像の被写体像を段階的に拡大する。さらに、基準視点から周辺画像の視点まで仮想視点が段階的に移動するアニメーション表現がなされる。このため、表示切替前の地図画像から表示切替後の周辺画像まで、表示する画像の視点をスムーズに変更することができる。その結果、表示手段に表示された周辺画像がどの視点からみた周辺画像であるかをユーザがさらに直感的に把握できる。
【図面の簡単な説明】
【００２４】
【図１】図１は、第１の実施の形態の画像表示システムの構成を示すブロック図である。
【図２】図２は、車載カメラが車両に配置される位置を示す図である。
【図３】図３は、合成画像を生成する手法を説明する図である。
【図４】図４は、画像表示システムの動作モードの遷移を示す図である。
【図５】図５は、俯瞰画像がディスプレイに表示される様子を示す図である。
【図６】図６は、仮想視点の遷移の一例を示す図である。
【図７】図７は、アニメーション表現の一例を示す図である。
【図８】図８は、仮想視点の遷移の一例を示す図である。
【図９】図９は、アニメーション表現の一例を示す図である。
【図１０】図１０は、ナビモードから周辺画像を表示する動作モードに切り替える場合の処理の流れを示す図である。
【図１１】図１１は、仮想視点の遷移の一例を示す図である。
【図１２】図１２は、アニメーション表現の一例を示す図である。
【図１３】図１３は、周辺画像を表示する動作モードの相互間で動作モードを切り替える場合の処理の流れを示す図である。
【図１４】図１４は、ドライバ視点画像がディスプレイに表示される様子を示す図である。
【図１５】図１５は、仮想視点の遷移の一例を示す図である。
【図１６】図１６は、仮想視点の遷移の一例を示す図である。
【図１７】図１７は、第３の実施の形態の画像表示システムの構成を示すブロック図である。
【図１８】図１８は、写真画像がディスプレイに表示される様子を示す図である。
【図１９】図１９は、ディスプレイに表示される画像の遷移を示す図である。
【図２０】図２０は、ナビモードから周辺画像を表示する動作モードに切り替える場合の処理の流れを示す図である。
【図２１】図２１は、仮想視点からの合成画像を表示する動作モードの一例を示す図である。
【発明を実施するための形態】
【００２５】
以下、図面を参照しつつ本発明の実施の形態について説明する。
【００２６】
＜１．第１の実施の形態＞
＜１−１．システム構成＞
図１は、第１の実施の形態の画像表示システム１２０の構成を示すブロック図である。この画像表示システム１２０は、車両（本実施の形態では、自動車）に搭載されるものであり、車両の周辺を撮影して画像を生成して車室内に表示する機能を有している。画像表示システム１２０のユーザ（代表的にはドライバ）は、この画像表示システム１２０を利用することにより、当該車両の周辺の様子をほぼリアルタイムに把握できるようになっている。
【００２７】
図１に示すように、画像表示システム１２０は、車両の周辺の様子を示す周辺画像を生成する画像生成装置１００と、車両に乗車するユーザに対して各種情報を表示するナビゲーション装置２０とを主に備えている。画像生成装置１００で生成された周辺画像は、ナビゲーション装置２０において表示される。
【００２８】
ナビゲーション装置２０は、ユーザに対しナビゲーション案内を行うものであり、タッチパネル機能を備えた液晶などのディスプレイ２１と、ユーザが操作を行うハードスイッチなどの操作部２２と、装置全体を制御する制御部２３とを備えている。ディスプレイ２１の画面がユーザから視認可能なように、ナビゲーション装置２０は車両のインストルメントパネルなどに設置される。
【００２９】
ユーザの各種の指示は、操作部２２とタッチパネルとしてのディスプレイ２１とによって受け付けられる。制御部２３は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えたコンピュータであり、所定のプログラムに従ってＣＰＵが演算処理を行うことでナビゲーション機能を含む各種の機能が実現される。ナビゲーション装置２０は、画像生成装置１００と通信可能に接続され、画像生成装置１００との間で各種の制御信号の送受信や、画像生成装置１００で生成された画像の受信が可能となっている。
【００３０】
ディスプレイ２１には、制御部２３の制御により、通常は、ナビゲーション装置２０単体の機能によって、ナビゲーション案内用の車両の周辺の地図画像が表示される。地図画像は、ナビゲーション装置２０が備えるハードディスクなどに予め記憶されている。また、ナビゲーション装置２０が備えるＧＰＳ装置によって車両の位置（緯度、経度）が取得され、この車両の位置に基づいて、車両の周辺の地図画像がディスプレイ２１に表示される。表示する地図画像の縮尺はユーザの操作部２２の操作に応じて変更可能とされている。
【００３１】
一方で、画像表示システム１２０の動作モードを変更した場合は、画像生成装置１００で生成された車両の周辺の様子を示す周辺画像が、ディスプレイ２１に表示される。これにより、ナビゲーション装置２０は、画像生成装置１００で生成された周辺画像を受信して表示する表示装置としても機能する。
【００３２】
画像生成装置１００は、画像を生成する機能を有するＥＣＵ（Electronic Control Unit）である本体部１０と、車両の周辺を撮影する撮影部５とを備えている。本体部１０は、車両の所定の位置に配置され、撮影部５で車両の周辺を撮影して得られる撮影画像に基づいてディスプレイ２１に表示するための周辺画像を生成する。
【００３３】
撮影部５は、本体部１０に電気的に接続され、本体部１０からの信号に基づいて動作する。撮影部５は、車載カメラであるフロントカメラ５１、サイドカメラ５２、及び、バックカメラ５３を備えている。各車載カメラ５１〜５３は、レンズと撮像素子とを備えており電子的に画像を取得する。
【００３４】
これらの複数の車載カメラ５１〜５３は、車両の異なる位置にそれぞれ配置される。図２は、車載カメラ５１〜５３が車両９に配置される位置を示す図である。
【００３５】
図２に示すように、フロントカメラ５１は、車両９の前端にあるナンバープレート取付位置の近傍に設けられ、その光軸５１ａは車両９の直進方向に向けられている。バックカメラ５３は、車両９の後端にあるナンバープレート取付位置の近傍に設けられ、その光軸５３ａは車両９の直進方向の逆方向に向けられている。これらフロントカメラ５１やバックカメラ５３の取り付け位置は、左右中央であることが望ましいが、左右中央から左右方向に多少ずれた位置であってもよい。また、サイドカメラ５２は左右のドアミラー９３にそれぞれ設けられ、その光軸５２ａは車両９の左右方向（直進方向に直交する方向）に沿って車両９の外側に向けられている。
【００３６】
これらの車載カメラ５１〜５３のレンズとしては魚眼レンズなどが採用されており、車載カメラ５１〜５３は１８０度以上の画角θを有している。このため、４つの車載カメラ５１〜５３を利用することで、車両９の全周囲の撮影が可能となっている。
【００３７】
図１に戻り、画像生成装置１００の本体部１０は、装置全体を制御する制御部１と、撮影部５の４つの車載カメラ５１〜５３それぞれの撮影画像を入力する入力端子４９と、表示用の周辺画像を生成する画像生成部３と、ナビゲーション装置２０との間で通信を行うナビ通信部４２とを主に備えている。
【００３８】
ナビゲーション装置２０の操作部２２やディスプレイ２１によって受け付けられたユーザからの各種の指示は、制御信号としてナビ通信部４２によって受け付けられて制御部１に入力される。また、画像生成装置１００は、表示内容を切り替える指示をユーザから受け付ける切替スイッチ４３を備えている。この切替スイッチ４３からもユーザの指示を示す信号が制御部１に入力される。これにより、画像生成装置１００は、ナビゲーション装置２０に対するユーザの操作、及び、切替スイッチ４３に対するユーザの操作の双方に応答した動作が可能となっている。切替スイッチ４３は、ユーザが操作しやすいように、本体部１０とは別に車両の適位置に配置される。
【００３９】
画像生成部３は、各種の画像処理が可能なハードウェア回路であり、入力端子４９を介して撮影部５から入力される撮影画像を処理し、ディスプレイ２１に表示するための周辺画像を生成する。画像生成部３は、撮影画像調整部３１、及び、合成画像生成部３２を主な機能として備えている。
【００４０】
撮影画像調整部３１は、撮影部５で取得された撮影画像を対象とし、表示に利用するための調整を行うものである。具体的には、撮影画像調整部３１は、撮影画像に対して、歪み補正、拡大縮小、及び、切り出しなどの画像処理を行う。
【００４１】
合成画像生成部３２は、撮影部５の複数の車載カメラ５１〜５３で取得された複数の撮影画像に基づいて、車両の周辺の任意の仮想視点からみた車両の周辺の領域を示す合成画像を生成する。合成画像生成部３２が合成画像を生成する手法については後述する。
【００４２】
撮影画像調整部３１に表示用に調整された撮影画像、及び、合成画像生成部３２により生成された合成画像は、ナビ通信部４２によってナビゲーション装置２０に出力される。これにより、被写体像として車両の周辺の少なくとも一部の領域を含む周辺画像がナビゲーション装置２０のディスプレイ２１に表示されることになる。
【００４３】
本明細書において、「周辺画像」とは、車両の周辺の少なくとも一部の領域を示す画像を意味し、表示用に調整された撮影画像、及び、合成画像の双方を含む概念である。表示用に調整された撮影画像は、取得された車載カメラ５１〜５３のレンズの位置を視点とし、その視点からみた周辺画像となる。また、合成画像は、車両の周辺の任意の位置に設定された仮想視点からみた周辺画像となる。
【００４４】
制御部１は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えたコンピュータであり、所定のプログラムに従ってＣＰＵが演算処理を行うことで各種の制御機能が実現される。図中に示す、画像制御部１１、及び、表示制御部１２は、このようにして実現される制御部１の機能のうちの一部を示している。
【００４５】
画像制御部１１は、画像生成部３によって実行される画像処理に係る制御を行う。例えば、画像制御部１１は、合成画像生成部３２が生成する合成画像の生成に必要な各種パラメータなどを指示する。
【００４６】
表示制御部１２は、ナビゲーション装置２０のディスプレイ２１に表示する表示内容に係る制御を行う。例えば、画像表示システム１２０の動作モードの変更に応じて、ディスプレイ２１の表示内容を切り替える。
【００４７】
また、画像生成装置１００の本体部１０は、不揮発性メモリ４０、カード読取部４４、及び、信号入力部４１をさらに備えており、これらは制御部１に接続されている。
【００４８】
不揮発性メモリ４０は、電源オフ時においても記憶内容を維持可能なフラッシュメモリなどである。不揮発性メモリ４０には、視点データ４ａが記憶されている。視点データ４ａは、合成画像の仮想視点を定める際に利用される。
【００４９】
カード読取部４４は、可搬性の記録媒体であるメモリカードＭＣの読み取りを行う。カード読取部４４は、メモリカードＭＣの着脱が可能なカードスロットを備えており、そのカードスロットに装着されたメモリカードＭＣに記録されたデータを読み取る。カード読取部４４で読み取られたデータは、制御部１に入力される。メモリカードＭＣは、種々のデータを記憶可能なフラッシュメモリなどであり、画像生成装置１００はメモリカードＭＣに記憶された種々のデータを利用できる。例えば、メモリカードＭＣにプログラムを記憶させ、これを読み出すことで、制御部１の機能を実現するプログラム（ファームウェア）を更新することが可能である。
【００５０】
また、信号入力部４１は、車両に設けられた各種装置からの信号を入力する。この信号入力部４１を介して、画像表示システム１２０の外部からの信号が制御部１に入力される。本実施の形態では、シフトセンサ７１からの信号が信号入力部４１を介して制御部１に入力される。シフトセンサ７１からは、車両の変速装置のシフトレバーの操作の位置、すなわち、”Ｐ（駐車）”，”Ｄ（前進）”，”Ｎ（中立）”，”Ｒ（後退）”などのシフトポジションが入力される。
【００５１】
＜１−２．画像合成処理＞
次に、画像生成部３の合成画像生成部３２が、撮影部５で得られた複数の撮影画像に基づいて車両９の周辺を任意の仮想視点からみた様子を示す合成画像を生成する手法について説明する。図３は、合成画像を生成する手法を説明するための図である。
【００５２】
撮影部５のフロントカメラ５１、サイドカメラ５２及びバックカメラ５３で同時に撮影が行われると、車両９の前方、左側方、右側方及び後方をそれぞれ示す４つの撮影画像Ｐ１〜Ｐ４が取得される。すなわち、撮影部５で取得される４つの撮影画像Ｐ１〜Ｐ４には、撮影時点の車両９の全周囲を示す情報が含まれていることになる。
【００５３】
次に、４つの撮影画像Ｐ１〜Ｐ４の各画素が、仮想的な三次元空間における立体曲面ＴＳに投影される。立体曲面ＴＳは、例えば略半球状（お椀形状）をしており、その中心部分（お椀の底部分）が車両９が存在する位置として定められている。撮影画像Ｐ１〜Ｐ４に含まれる各画素の位置と、この立体曲面ＴＳの各画素の位置とは予め対応関係が定められている。このため、立体曲面ＴＳの各画素の値は、この対応関係と撮影画像Ｐ１〜Ｐ４に含まれる各画素の値とに基づいて決定できる。
【００５４】
撮影画像Ｐ１〜Ｐ４の各画素の位置と立体曲面ＴＳの各画素の位置との対応関係は、車両９における４つの車載カメラ５１〜５３の配置（相互間距離、地上高さ、光軸角度等）に依存する。この対応関係を示すテーブルデータは、不揮発性メモリ４０に予め記憶されている。
【００５５】
また、不揮発性メモリ４０に予め記憶された車体の形状やサイズを示すデータが利用され、車両９の三次元形状を示すポリゴンのモデルが仮想的に構成される。構成された車両９のモデルは、立体曲面ＴＳが設定される三次元空間において、車両９の位置と定められた略半球状の中心部分に配置される。
【００５６】
さらに、立体曲面ＴＳが存在する三次元空間に対して、制御部１により仮想視点ＶＰが設定される。仮想視点ＶＰは、視点位置と視野方向とで規定され、この三次元空間における車両９の近傍に相当する任意の視点位置に任意の視野方向に向けて設定される。
【００５７】
そして、設定された仮想視点ＶＰに応じて、立体曲面ＴＳにおける必要な領域が画像として切り出される。仮想視点ＶＰと、立体曲面ＴＳにおける必要な領域との関係は予め定められており、テーブルデータとして不揮発性メモリ４０等に予め記憶されている。一方で、設定された仮想視点ＶＰに応じてポリゴンのモデルに関してレンダリングがなされ、その結果となる二次元の車両の像が、切り出された画像に対して重畳される。これにより、車両９及びその車両９の周辺を任意の仮想視点ＶＰからみた様子を示す合成画像が生成されることになる。
【００５８】
例えば、視点位置が車両９の位置の略中央の直上で、視野方向が直下方向とした仮想視点ＶＰａを設定した場合は、車両９の略直上から車両９を見下ろすように、車両９及び車両９の周辺の領域を示す合成画像ＣＰａが生成される。また、図中に示すように、視点位置が車両９の位置の左後方で、視野方向が車両９における略前方方向とした仮想視点ＶＰｂを設定した場合は、車両９の左後方からその周辺全体を見渡すように、車両９及び車両９の周辺の領域を示す合成画像ＣＰｂが生成される。
【００５９】
なお、実際に合成画像を生成する場合においては、立体曲面ＴＳの全ての画素の値を決定する必要はなく、設定された仮想視点ＶＰに対応して必要となる領域の画素の値のみを撮影画像Ｐ１〜Ｐ４に基づいて決定することで、処理速度を向上できる。
【００６０】
画像表示システム１２０では、このような合成画像生成部３２の機能を利用することで、車両９の周辺の任意の視点からみた合成画像を生成して、ディスプレイ２１に表示することができる。
【００６１】
＜１−３．動作モード＞
次に、画像表示システム１２０の動作モードについて説明する。図４は、画像表示システム１２０の動作モードの遷移を示す図である。画像表示システム１２０は、ナビモードＭ０、フロントモードＭ１、サイドモードＭ２、及び、バックモードＭ３の３つの動作モードを有している。これらの動作モードは、ドライバの車両９への操作や車両９の走行状態に応じて制御部１の制御により切り替えられるようになっている。
【００６２】
ナビモードＭ０は、ナビゲーション装置２０の機能により、ナビゲーション案内を行う動作モードである。ナビモードＭ０では、画像生成装置１００の機能が利用されず、ナビゲーション装置２０単体の機能でディスプレイ２１に各種の表示がなされる。具体的には、ディスプレイ２１には、車両９の周辺の地図画像ＮＰが主に表示される。
【００６３】
これに対し、フロントモードＭ１、サイドモードＭ２及びバックモードＭ３は、画像生成装置１００の機能を利用して、周辺画像をディスプレイ２１に表示して、車両の周辺の状況をリアルタイムでユーザに示す動作モードである。
【００６４】
フロントモードＭ１は、車両９の前方を表示する動作モードであり、見通しの悪い交差点への進入時などに利用される。ディスプレイ２１には、フロントカメラ５１で取得されて表示用に調整した撮影画像（以下、「フロント画像」という。）ＳＰ１が表示される。このフロント画像ＳＰ１は、車両９の前方の視点（フロントカメラ５１のレンズ位置）からみた周辺画像である。フロントモードＭ１では、表示中の周辺画像（すなわち、フロント画像）ＳＰ１の視点が車両９の前方であることを示すアイコンＣ１が表示される。
【００６５】
サイドモードＭ２は、車両９の側方を表示する動作モードであり、幅寄せを行う場合などに利用される。ディスプレイ２１には、サイドカメラ５２で取得されて表示用に調整した撮影画像（以下、「サイド画像」という。）ＳＰ２が表示される。このサイド画像ＳＰ２は、車両９の側方の視点（サイドカメラ５２のレンズ位置）からみた周辺画像である。サイドモードＭ２では、表示中の周辺画像（すなわち、サイド画像）ＳＰ２の視点が車両９の側方であることを示すアイコンＣ２が表示される。
【００６６】
また、バックモードＭ３は、車両９の後方を表示する動作モードであり、後退時に利用される。ディスプレイ２１には、バックカメラ５３で取得されて表示用に調整した撮影画像（以下、「バック画像」という。）ＳＰ３が表示される。このバック画像ＳＰ３は、車両９の後方の視点（バックカメラ５３のレンズ位置）からみた周辺画像である。バックモードＭ３では、表示中の周辺画像（すなわち、バック画像）ＳＰ３の視点が車両９の後方であることを示すアイコンＣ３が表示される。
【００６７】
ナビモードＭ０において、ナビゲーション装置２０の操作部２２に所定の操作がなされると、フロントモードＭ１及びサイドモードＭ２のうちの最後に有効化された動作モード（いわゆる、ラストモード）に切り替わる。フロントモードＭ１とサイドモードＭ２とは、切替スイッチ４３を押下するごとに切り替えられる。また、フロントモードＭ１あるいはサイドモードＭ２において、ナビゲーション装置２０の操作部２２に所定の操作がなされると、ナビモードＭ０に戻る。
【００６８】
また、バックモードＭ３以外の動作モードにおいて、シフトセンサ７１から入力されるシフトポジションが”Ｒ（後退）”となったときは、バックモードＭ３に切り替えられる。すなわち、シフトポジションが”Ｒ（後退）”の場合は、車両９は後退する状態であるため、車両９の後方を主に示すバックモードＭ３に切り替えられる。また、バックモードＭ３の場合に、シフトポジションが”Ｒ（後退）”以外となったときは、バックモードＭ３に切り替えられる直前の動作モードに戻ることになる。
【００６９】
このように画像表示システム１２０は、複数の動作モードを切り替えることで、複数の視点からみた周辺画像を切り替えてディスプレイ２１に表示可能となっている。このように複数の視点からの周辺画像を表示可能な場合は、ディスプレイ２１の表示内容を周辺画像に切り替えた場合に、表示された周辺画像がいずれの視点からみた周辺画像であるかをユーザが直感的に把握しにくくなる可能性がある。
【００７０】
例えば、地図画像を表示するナビモードＭ０から周辺画像を表示する動作モードＭ１，Ｍ２，Ｍ３のいずれかに切り替えた場合において、切り替え後に表示された周辺画像が、いずれ視点からみたものであるか（フロント画像ＳＰ１、サイド画像ＳＰ２及びバック画像ＳＰ３のいずれであるか）を、ユーザが直感的に把握することは難しい。また、周辺画像を表示する動作モードＭ１，Ｍ２，Ｍ３の相互間で動作モードが切り替わった場合（表示する周辺画像の視点が異なる視点に変更された場合）においても、切り替え後に表示された周辺画像が、いずれ視点からみたものであるかをユーザが直感的に把握することは難しい。
【００７１】
このため、画像表示システム１２０では、ディスプレイ２１の表示内容を周辺画像に切り替える場合においては、所定の基準視点から切り替え後の周辺画像の視点まで、表示する画像の視点の位置が段階的かつ連続的に移動するアニメーション表現がディスプレイ２１においてなされるようになっている。以下、このようなアニメーション表現について説明する。
【００７２】
＜１−４．ナビモードからの切り替え＞
まず、ナビモードＭ０から周辺画像を表示する動作モードＭ１，Ｍ２，Ｍ３のいずれかに切り替える場合について説明する。
【００７３】
この場合は、まず、図５に示すように、ナビモードＭ０の地図画像ＮＰを表示している状態から、車両９及び車両９の周辺の全体を俯瞰する合成画像である俯瞰画像ＣＰ０が表示される。この俯瞰画像ＣＰ０の仮想視点の視点位置は、車両９の略中央の直上であり、視野方向は直下方向となっている。このような視点位置及び視野方向で規定される仮想視点が、基準視点となる。そして、仮想視点は、この基準視点から切り替え後に表示する周辺画像の視点まで段階的かつ連続的に移動される。
【００７４】
図６は、ナビモードＭ０からフロントモードＭ１に切り替える場合における仮想視点の遷移を示す図である。この場合は、仮想視点ＶＰは、基準視点ＶＰ０から、フロント画像の視点（フロントカメラ５１のレンズ位置）ＶＰ１まで段階的に移動される。そして、このように仮想視点ＶＰが段階的に移動されている状態で、複数の合成画像が時間的に連続して生成される。生成された複数の合成画像は、ナビゲーション装置２０に順次に出力されて、ディスプレイ２１に時間的に連続して表示される。
【００７５】
これにより、図７に示すように、ディスプレイ２１において、基準視点ＶＰ０からフロント画像の視点ＶＰ１まで、表示する合成画像ＣＰｍの仮想視点が段階的に移動するようなアニメーション表現がなされることになる。すなわち、ディスプレイ２１に表示された合成画像ＣＰｍは、当初は車両９の全体が俯瞰して示している（状態ＳＴ１１）。その後、合成画像ＣＰｍは、徐々に車両９の前方の領域を拡大して示し（状態ＳＴ１２）、最終的に車両９の前方の領域を示すことになる（状態ＳＴ１３）。
【００７６】
フロント画像の視点ＶＰ１まで仮想視点ＶＰが移動し、フロント画像と同様の領域が合成画像ＣＰｍに示されると、ディスプレイ２１において合成画像ＣＰｍに代えてフロント画像ＣＰ１が表示される。これにより、フロントモードＭ１に切り替わることになる。
【００７７】
また、図８は、ナビモードＭ０からバックモードＭ３に切り替える場合における仮想視点の遷移を示す図である。この場合は、仮想視点ＶＰは、基準視点ＶＰ０から、バック画像の視点（バックカメラ５３のレンズ位置）ＶＰ３まで段階的に移動される。そして、このように仮想視点ＶＰが段階的に移動されている状態で、複数の合成画像が時間的に連続して生成される。生成された複数の合成画像は、ナビゲーション装置２０に順次に出力されて、ディスプレイ２１に時間的に連続して表示される。
【００７８】
これにより、図９に示すように、ディスプレイ２１において、基準視点ＶＰ０からバック画像の視点ＶＰ３まで、表示する合成画像ＣＰｍの仮想視点が段階的に移動するようなアニメーション表現がなされることになる。すなわち、ディスプレイ２１に表示された合成画像ＣＰｍは、当初は車両９の全体が俯瞰して示している（状態ＳＴ２１）。その後、合成画像ＣＰｍが示す被写体像の上下が反転され（状態ＳＴ２２）、合成画像ＣＰｍは徐々に車両９の後方の領域を拡大して示し（状態ＳＴ２３）、最終的に車両９の後方の領域を示すことになる（状態ＳＴ２４）。バック画像の視点ＶＰ３まで仮想視点ＶＰが移動し、バック画像と同様の領域が合成画像ＣＰｍに示されると、ディスプレイ２１において合成画像ＣＰｍに代えてバック画像ＣＰ３が表示される。これにより、バックモードＭ３に切り替わることになる。
【００７９】
このようなアニメーション表現を行うことで、瞬時に周辺画像を表示した場合と比較して、切り替え後に表示された周辺画像がどの視点からみた周辺画像であるかをユーザが直感的に把握することができる。また、仮想視点の移動の起点となる基準視点ＶＰ０を、車両９を俯瞰する視点とするため、移動後の視点の視点位置や視野方向を、車両全体を基準に容易に把握することができる。
【００８０】
図１０は、ナビモードＭ０から周辺画像を表示する動作モードＭ１，Ｍ２，Ｍ３のいずれかに切り替える場合の処理の流れを示す図である。この処理は、主に表示制御部１２の制御により実現される。
【００８１】
まず、基準視点ＶＰ０の視点位置及び視点方向を示すデータが、不揮発性メモリ４０に記憶された視点データ４ａから取得される（ステップＳ１１）。次に、移動先の視点の視点位置及び視点方向を示すデータが、不揮発性メモリ４０に記憶された視点データ４ａから取得される（ステップＳ１２）。移動先の視点とは、切り替え後に表示される周辺画像の視点である。具体的には、移動先の視点は、フロントモードＭ１に切り替える場合はフロント画像の視点、サイドモードＭ２に切り替える場合はサイド画像の視点、バックモードＭ３に切り替える場合はバック画像の視点である。
【００８２】
次に、基準視点ＶＰ０からみた合成画像、すなわち、俯瞰画像ＣＰ０が合成画像生成部３２に生成され、ディスプレイ２１に表示される（図５参照。）（ステップＳ１３）。
【００８３】
続いて、複数の合成画像ＣＰｍを時間的に連続して表示して、基準視点ＶＰ０から移動先の視点まで仮想視点ＶＰの位置が段階的に移動するアニメーション表現がなされる。この仮想視点ＶＰの移動中においては、仮想視点ＶＰの視点位置及び視点方向はそれぞれ段階的に変更される。
【００８４】
具体的には、まず、移動先の視点へ向けて、仮想視点ＶＰが１フレーム分に相当する量だけ移動される（ステップＳ１４）。この移動中における仮想視点ＶＰの視点位置及び視点方向は、移動前の視点の視点位置及び視点方向と、移動後の視点の視点位置及び視点方向と、移動に用いる合成画像のフレーム数とに基づいて線形補完により導出される。そして、この仮想視点ＶＰからの合成画像ＣＰｍが合成画像生成部３２により生成され、ディスプレイ２１に表示される（ステップＳ１５）。
【００８５】
このようなステップＳ１４及びステップＳ１５の処理が繰り返されることで、仮想視点の位置が段階的に移動するアニメーション表現がなされる。ステップＳ１４及びステップＳ１５の処理は、仮想視点ＶＰが移動先の視点に到達するまで繰り返される。このようなアニメーション表現は例えば０．５秒〜１．５秒かけて行われる。
【００８６】
仮想視点ＶＰが移動先の視点に到達すると（ステップＳ１６にてＹｅｓ）、ディスプレイ２１において合成画像ＣＰｍに代えて、動作モードの切り替え後に表示すべき撮影画像（フロント画像ＳＰ１、サイド画像ＳＰ２及びバック画像ＳＰ３のいずれか）が表示される（ステップＳ１７）。この場合に、瞬時に切り替えずに、アルファブレンドなどの周知の手法を利用して、合成画像ＣＰｍから表示すべき撮影画像に徐々にディスプレイ２１の表示内容を切り替えるようにしてもよい。
【００８７】
＜１−５．視点の変更＞
次に、周辺画像を表示する動作モードＭ１，Ｍ２，Ｍ３の相互間で動作モードを切り替える場合について説明する。この場合においては、仮想視点は、切り替え前の周辺画像の視点から基準視点ＶＰ０まで段階的かつ連続的に移動され、さらに、基準視点ＶＰ０から切り替え後の周辺画像の視点まで段階的かつ連続的に移動される。
【００８８】
図１１は、フロントモードＭ１からバックモードＭ３に切り替える場合における仮想視点の遷移を示す図である。この場合は、仮想視点ＶＰは、フロント画像の視点ＶＰ１から基準視点ＶＰ０まで段階的に移動され、その後、基準視点ＶＰ０からバック画像の視点ＶＰ３まで段階的に移動される。そして、このように仮想視点ＶＰが段階的に移動されている状態で、複数の合成画像が時間的に連続して生成される。生成された複数の合成画像は、ナビゲーション装置２０に順次に出力されて、ディスプレイ２１に時間的に連続して表示される。
【００８９】
これにより、図１２に示すように、ディスプレイ２１において、フロント画像の視点ＶＰ１から基準視点ＶＰ０を経由してバック画像の視点ＶＰ３まで、表示する合成画像ＣＰｍの仮想視点が段階的に移動するようなアニメーション表現がなされることになる。
【００９０】
すなわち、ディスプレイ２１に表示する合成画像ＣＰｍは、当初はフロント画像と同様に車両９の前方の領域を示している（状態ＳＴ３１）。そして、合成画像ＣＰｍは、徐々に車両９の車体前方を示し（状態ＳＴ３２）、その後、車両９の全体を俯瞰して示す（状態ＳＴ３３）。このとき、ディスプレイ２１には、基準視点ＶＰ０からの合成画像ＣＰｍである俯瞰画像ＣＰ０が表示されたことになる。続いて、合成画像ＣＰｍが示す被写体像の上下が反転される（状態ＳＴ３４）。そして、合成画像ＣＰｍは、徐々に車両９の後方の領域を拡大して示し（状態ＳＴ３５）、最終的に車両９の後方の領域を示すことになる（状態ＳＴ３６）。
【００９１】
表示する周辺画像の視点を変更する場合においても、このようなアニメーション表現を行うことで、周辺画像の視点を瞬時に切り替えた場合と比較して、切り替え後に表示された周辺画像がどの視点からみた周辺画像であるかをユーザが直感的に把握することができる。
【００９２】
図１３は、周辺画像を表示する動作モードＭ１，Ｍ２，Ｍ３の相互間で動作モードを切り替える場合の処理の流れを示す図である。この処理も、主に表示制御部１２の制御により実現される。
【００９３】
まず、基準視点ＶＰ０の視点位置及び視点方向を示すデータが、不揮発性メモリ４０に記憶された視点データ４ａから取得される（ステップＳ２１）。次に、移動元の視点及び移動先の視点それぞれの視点位置及び視点方向を示すデータが、不揮発性メモリ４０に記憶された視点データ４ａから取得される（ステップＳ２２）。移動元の視点とは、切り替え前に表示された周辺画像の視点である。具体的には、移動元の視点は、フロントモードＭ１から切り替える場合はフロント画像の視点、サイドモードＭ２から切り替える場合はサイド画像の視点、バックモードＭ３から切り替える場合はバック画像の視点である。
【００９４】
次に、移動元の視点からみた合成画像ＣＰｍが生成される。そして、動作モードの切り替え前に表示していた撮影画像に代えて、生成された合成画像ＣＰｍがディスプレイ２１に表示される（ステップＳ２３）。この場合に、瞬時に切り替えずに、アルファブレンドなどの周知の手法を利用して、表示していた撮影画像から合成画像ＣＰｍに徐々にディスプレイ２１の表示内容を切り替えるようにしてもよい。
【００９５】
続いて、複数の合成画像ＣＰｍを時間的に連続して表示して、移動元の視点から基準視点ＶＰ０まで仮想視点ＶＰの位置が段階的に移動するアニメーション表現がなされる。まず、基準視点ＶＰ０へ向けて、仮想視点ＶＰが１フレーム分に相当する量だけ移動される（ステップＳ２４）。そして、この仮想視点ＶＰからの合成画像ＣＰｍが合成画像生成部３２により生成され、ディスプレイ２１に表示される（ステップＳ２５）。このステップＳ２４及びステップＳ２５の処理が、仮想視点ＶＰが基準視点ＶＰ０に到達するまで繰り返される。
【００９６】
仮想視点ＶＰが基準視点ＶＰ０に到達すると（ステップＳ２６にてＹｅｓ）、続いて、複数の合成画像ＣＰｍを時間的に連続して表示して、基準視点ＶＰ０から移動先の視点まで仮想視点ＶＰの位置が段階的に移動するアニメーション表現がなされる。まず、移動先の視点へ向けて、仮想視点ＶＰが１フレーム分に相当する量だけ移動される（ステップＳ２７）。そして、この仮想視点ＶＰからの合成画像ＣＰｍが合成画像生成部３２により生成され、ディスプレイ２１に表示される（ステップＳ２８）。このステップＳ２７及びステップＳ２８の処理が、仮想視点ＶＰが移動先の視点に到達するまで繰り返される。
【００９７】
このような処理により、ディスプレイ２１において、移動元の視点から基準視点ＶＰ０を経由して移動先の視点まで仮想視点ＶＰの位置が段階的に移動するアニメーション表現がなされる。このようなアニメーション表現は例えば０．５秒〜１．５秒かけて行われる。
【００９８】
仮想視点ＶＰが移動先の視点に到達すると（ステップＳ２９にてＹｅｓ）、ディスプレイ２１において合成画像ＣＰｍに代えて、動作モードの切り替え後に表示すべき撮影画像が表示される（ステップＳ３０）。この場合も、瞬時に切り替えずに、アルファブレンドなどの周知の手法を利用して、合成画像ＣＰｍから表示すべき撮影画像に徐々にディスプレイ２１の表示内容を切り替えるようにしてもよい。
【００９９】
以上のように、画像表示システム１２０においては、ディスプレイ２１の表示内容を周辺画像に切り替える場合に、複数の合成画像ＣＰｍを時間的に連続して表示して、所定の基準視点ＶＰ０から移動先の視点まで仮想視点ＶＰの位置が段階的に移動するアニメーション表現がなされる。このため、切り替え後にディスプレイ２１に表示された周辺画像がどの視点からみた周辺画像であるかをユーザが直感的に把握することができる。
【０１００】
また、地図画像から周辺画像に表示内容を切り替える場合に、アニメーション表現を行うため、瞬時に周辺画像を表示した場合と比較して、切り替え後に表示された周辺画像がどの視点からみた周辺画像であるかをユーザが直感的に把握することができる。
【０１０１】
また、表示する周辺画像の視点を切り替える場合には、切り替え前の周辺画像の視点から基準視点を経由して切り替え後の周辺画像の視点まで、仮想視点ＶＰの位置が段階的に移動するアニメーション表現がなされる。このため、周辺画像の視点を瞬時に切り替えた場合と比較して、切り替え後に表示された周辺画像がどの視点からみた周辺画像であるかをユーザが直感的に把握できる。
【０１０２】
また、車両９を俯瞰する視点を基準視点ＶＰ０とし、この基準視点ＶＰ０から切り替え後の周辺画像の視点まで仮想視点ＶＰが段階的に移動するアニメーション表現がなされる。このため、切り替え後の周辺画像の視点を車両全体を基準に容易に把握することができる。
【０１０３】
＜２．第２の実施の形態＞
次に、第２の実施の形態について説明する。第１の実施の形態では、車両９を俯瞰する視点を基準視点ＶＰ０としていたが、第２の実施の形態では、車両９のドライバの視点を基準視点ＶＰ０としている。第２の実施の形態の画像表示システム１２０の構成及び動作は、第１の実施の形態とほぼ同様であるため、以下、第１の実施の形態との相違点を中心に説明する。
【０１０４】
第２の実施の形態において、ナビモードＭ０から周辺画像を表示する動作モードＭ１，Ｍ２，Ｍ３のいずれかに切り替える場合においては、まず、図１４に示すように、ナビモードＭ０の地図画像ＮＰを表示している状態から、車両９のドライバの視点からみた様子を示すドライバ視点画像ＣＰ５が表示される。
【０１０５】
このドライバ視点画像ＣＰ５では、ドライバの視点からみた車両９の前方の領域と、ドライバの視点からみた車両９の内装とが示されている。このドライバ視点画像ＣＰ５は、ドライバの視点を仮想視点ＶＰとする合成画像と、車両９の内装を示す内装画像とを重畳することで合成画像生成部３２により生成される。内装画像には、予め不揮発性メモリ４０に記憶されたビットマップやポリゴンなどのデータが用いられる。仮想視点ＶＰは、このドライバの視点から、切り替え後に表示する周辺画像の視点まで段階的に移動される。
【０１０６】
例えば、ナビモードＭ０からバックモードＭ３に切り替える場合においては、図１５に示すように、ドライバの視点ＶＰ５からバック画像の視点ＶＰ３まで仮想視点ＶＰが段階的に移動される。そして、このように仮想視点ＶＰが段階的に移動されている状態で複数の合成画像が生成されて、ディスプレイ２１に時間的に連続して表示される。
【０１０７】
これにより、ディスプレイ２１において、ドライバの視点ＶＰ５からバック画像の視点ＶＰ３まで、表示する合成画像の仮想視点が段階的に移動するようなアニメーション表現がなされる。すなわち、ディスプレイ２１に表示する合成画像ＣＰｍは、当初はドライバの視点ＶＰ５からの車両の前方の領域を示し、徐々に車両９の側方の領域を示し、最終的に車両９の後方の領域を示すことになる。
【０１０８】
このように、第２の実施の形態では、車両９のドライバの視点ＶＰ５から周辺画像の視点まで仮想視点が段階的に移動するアニメーション表現がなされるため、切り替え後の周辺画像の視点をドライバの視点を基準にユーザが容易に把握することができる。
【０１０９】
表示する周辺画像の視点を異なる視点に切り替える場合には、切り替え前の周辺画像の視点からドライバの視点ＶＰ５を経由して切り替え後の周辺画像の視点まで、仮想視点ＶＰの位置が段階的に移動するアニメーション表現が行われる。
【０１１０】
なお、アニメーション表現に用いる合成画像においては、内装画像を重畳し、仮想視点ＶＰの変更に合わせて重畳する内装画像を変更するようにしてもよい。これにより、図１５に示すように仮想視点ＶＰを遷移させた場合は、ドライバが車両９の後方へ振り返った場合に視認するものと同様の様子を示す合成画像をディスプレイ２１に表示することができ、移動する仮想視点の位置をユーザが直感的に把握することができる。
【０１１１】
また、図１６に示すように、仮想視点ＶＰを移動する前に、仮想視点ＶＰの視野方向を移動先の視点の視野方向に変更してから、仮想視点ＶＰを移動させるようにしてもよい。この場合も、アニメーション表現に用いる合成画像に内装画像を重畳するようにすれば、車両９の車室内を進むような様子を示す合成画像をディスプレイ２１に表示することができ、移動する仮想視点の位置をユーザが直感的に把握することができる。
【０１１２】
＜３．第３の実施の形態＞
次に、第３の実施の形態について説明する。第１の実施の形態では、ナビモードＭ０から周辺画像を表示する動作モードＭ１，Ｍ２，Ｍ３のいずれかに切り替える場合において、地図画像ＮＰからそのまま俯瞰画像ＣＰ０にディスプレイ２１の表示内容を切り替えていた（図５参照。）。これに対して、第３の実施の形態では、地図画像ＮＰの表示と俯瞰画像ＣＰ０の表示との間に、航空写真などの写真画像を表示するようにしている。第３の実施の形態の画像表示システム１２０の構成及び動作も、第１の実施の形態とほぼ同様であるため、以下、第１の実施の形態との相違点を中心に説明する。
【０１１３】
図１７は、第３の実施の形態の画像表示システム１２０の構成を示すブロック図である。第３の実施の形態の画像表示システム１２０では、画像生成装置１００の本体部１０が、無線通信部４５を備えている。
【０１１４】
無線通信部４５は、無線通信によりインターネットなどのネットワーク８０に接続し、ネットワーク８０に接続されたサーバ装置８１からデータを取得することが可能である。サーバ装置８１においては、航空写真や衛星写真など上空から地上を撮影した写真画像が記憶されている。
【０１１５】
また、画像表示システム１２０は、プログラムに従って制御部１のＣＰＵが演算処理を行うことで実現される機能として、写真取得部１３を備えている。写真取得部１３は、無線通信部４５を介して、サーバ装置８１に対して、緯度、経度及び縮尺等を示す要求信号を送信する。これにより、写真取得部１３は、任意の位置の任意の縮尺の写真画像を取得することができる。写真取得部１３は、ナビゲーション装置２０が備えるＧＰＳ装置で得られる車両９の位置（緯度、経度）に基づいて、車両９の周辺の領域を示す写真画像を取得する。第３の実施の形態の画像表示システム１２０のその他の構成は、図１に示す第１の実施の形態の画像表示システム１２０と同様である。
【０１１６】
第３の実施の形態において、ナビモードＭ０から周辺画像を表示する動作モードＭ１，Ｍ２，Ｍ３のいずれかに切り替える場合においては、まず、図１８に示すように、ナビモードＭ０の地図画像ＮＰを表示している状態から、写真画像ＡＰが表示される。
【０１１７】
この写真画像ＡＰは、切り替え前に表示されていた地図画像ＮＰと略同一の縮尺で、車両９の周辺の領域を示すものとなっている。したがって、地図画像ＮＰと写真画像ＡＰとは、車両９を中心とした略同一の領域を示すことになる。このため、地図画像ＮＰから写真画像ＡＰにディスプレイ２１の表示内容が切り替わったとしてもユーザに違和感を与えることが無い。このような写真画像ＡＰは、写真取得部１３の制御により、無線通信部４５を利用してサーバ装置８１から取得される。
【０１１８】
この写真画像ＡＰに示される被写体像は、俯瞰画像ＣＰ０と略同一の縮尺で車両９の周囲の領域を示すまで段階的に拡大される。図１９は、ナビモードＭ０からフロントモードＭ１に切り替える場合において、ディスプレイ２１に表示される画像の遷移を示す図である。ディスプレイ２１においては、まず、地図画像ＮＰと略同一の縮尺で車両９の周辺の領域を示す写真画像ＡＰが表示される（状態ＳＴ４１）。そして、この写真画像ＡＰの被写体像が段階的に拡大され（状態ＳＴ４２）、写真画像ＡＰは、俯瞰画像ＣＰ０と略同一の縮尺で車両９の周囲の領域を示すことになる（状態ＳＴ４３）。
【０１１９】
この状態で、写真画像ＡＰから、基準視点ＶＰ０からみた合成画像ＣＰｍである俯瞰画像ＣＰ０にディスプレイ２１の表示内容が切り替えられる（状態ＳＴ４４）。この切り替え前後の写真画像ＡＰと俯瞰画像ＣＰ０とは、略同一の領域を示している。このため、写真画像ＡＰから俯瞰画像ＣＰ０にディスプレイ２１の表示内容が切り替わったとしてもユーザに違和感を与えることが無い。
【０１２０】
そして、以降は、第１の実施の形態と同様に、基準視点ＶＰ０からフロント画像の視点ＶＰ１まで、表示する合成画像ＣＰｍの仮想視点が段階的に移動するようなアニメーション表現がなされることになる（状態ＳＴ４５，ＳＴ４６）。
【０１２１】
図２０は、ナビモードＭ０から周辺画像を表示する動作モードＭ１，Ｍ２，Ｍ３のいずれかに切り替える場合の処理の流れを示す図である。
【０１２２】
まず、基準視点ＶＰ０の視点位置及び視点方向を示すデータが取得され（ステップＳ３１）、次に、移動先の視点の視点位置及び視点方向を示すデータが取得される（ステップＳ３２）。
【０１２３】
次に、写真取得部１３が、ナビゲーション装置２０から、車両９の位置（緯度、経度）及び表示している地図画像ＮＰの縮尺を取得する。そして、これらの車両９の位置（緯度、経度）及び縮尺を含む要求信号を無線通信部４５を利用してサーバ装置８１に送信する。これにより、写真取得部１３は、地図画像ＮＰと略同一の縮尺で、車両９の周辺の領域を示す写真画像ＡＰをサーバ装置８１から取得する（ステップＳ３３）。
【０１２４】
取得された写真画像ＡＰは、地図画像ＮＰに代えて表示制御部１２の制御によりディスプレイ２１に表示される（ステップＳ３４）。この場合に、瞬時に切り替えずに、アルファブレンドなどの周知の手法を利用して、地図画像ＮＰから写真画像ＡＰに徐々にディスプレイ２１の表示内容を切り替えるようにしてもよい。
【０１２５】
次に、表示制御部１２の制御により、写真画像ＡＰの被写体像が段階的に拡大される（ステップＳ３５）。この拡大によって、写真画像ＡＰが示す車両９の周辺の領域の縮尺が俯瞰画像ＣＰ０の縮尺と略同一となると（ステップＳ３６にてＹｅｓ）、写真画像ＡＰの被写体像の拡大が停止される。
【０１２６】
そして、写真画像ＡＰに代えて俯瞰画像ＣＰ０がディスプレイ２１に表示される（ステップＳ３７）。この場合にも、瞬時に切り替えずに、アルファブレンドなどの周知の手法を利用して、写真画像ＡＰから俯瞰画像ＣＰ０に徐々にディスプレイ２１の表示内容を切り替えるようにしてもよい。以降の処理は、図１０に示すステップＳ１４と同様である。
【０１２７】
このように第３の実施の形態においては、地図画像ＮＰから周辺画像にディスプレイ２１の表示内容を切り替える場合において、地図画像ＮＰと略同一の縮尺で車両の周囲の領域を示す写真画像ＡＰが表示される。そして、基準視点ＶＰ０からみた合成画像ＣＰｍである俯瞰画像ＣＰ０と略同一縮尺で車両９の周囲の領域を示すまで写真画像ＡＰの被写体像が段階的に拡大された後、第１の実施の形態と同様のアニメーション表現がなされる。
【０１２８】
このため、切り替え前の地図画像ＮＰから切り替え後の周辺画像まで、ディスプレイ２１に表示する画像の視点をスムーズに変更することができる。その結果、切り替え後にディスプレイ２１に表示された周辺画像がどの視点からみた周辺画像であるかをユーザがさらに直感的に把握できる。
【０１２９】
＜４．変形例＞
以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態に限定されるものではなく様々な変形が可能である。以下では、このような変形例について説明する。上記実施の形態で説明した形態及び以下で説明する形態を含む全ての形態は、適宜に組み合わせ可能である。
【０１３０】
上記実施の形態では、周辺画像を表示する動作モードＭ１，Ｍ２，Ｍ３では周辺画像として撮影画像が表示されるものとして説明を行ったが、周辺画像として仮想視点からみた合成画像が表示されるようにしてもよい。例えば、図２１に示すように、車両９の後方から車両９の全体をみるような仮想視点からの合成画像ＣＰ６を表示する動作モードがあってもよい。このように合成画像を表示する動作モードに切り替える場合も、基準視点から、切り替え後に表示する合成画像の視点まで仮想視点が段階的に移動するようなアニメーション表現を行うようにすることができる。
【０１３１】
また、第３の実施の形態では、写真取得部１３は、写真画像を外部のサーバ装置８１から取得すると説明した。これに対して、不揮発性メモリ４０や、ナビゲーション装置２０が備えるハードディスクなどに写真画像を予め記憶させておき、これらから写真取得部１３が写真画像を取得するようにしてもよい。
【０１３２】
また、上記実施の形態では、画像生成装置１００とナビゲーション装置２０とは別の装置であるとして説明したが、画像生成装置１００とナビゲーション装置２０とが同一の筐体内に配置されて一体型の装置として構成されてもよい。
【０１３３】
また、上記実施の形態では、画像生成装置１００で生成された画像を表示する表示装置はナビゲーション装置２０であるとして説明したが、ナビゲーション機能等の特殊な機能を有していない一般的な表示装置であってもよい。
【０１３４】
また、上記実施の形態において、画像生成装置１００の制御部１によって実現されると説明した機能の一部は、ナビゲーション装置２０の制御部２３によって実現されてもよい。
【０１３５】
また、シフトセンサ７１からの信号は、ナビゲーション装置２０に入力されるようになっていてもよい。この場合は、ナビ通信部４２を経由して、画像生成装置１００の制御部１に当該信号を入力すればよい。
【０１３６】
また、上記実施の形態では、プログラムに従ったＣＰＵの演算処理によってソフトウェア的に各種の機能が実現されると説明したが、これら機能のうちの一部は電気的なハードウェア回路により実現されてもよい。また逆に、ハードウェア回路によって実現されるとした機能のうちの一部は、ソフトウェア的に実現されてもよい。
【符号の説明】
【０１３７】
５ 撮影部
９ 車両
１２ 表示制御部
１３ 写真取得部
２１ ディスプレイ
３２ 合成画像生成部
８１ サーバ装置
ＡＰ 写真画像
ＣＰ０ 俯瞰画像
ＮＰ 地図画像
ＶＰ 仮想視点
ＶＰ０ 基準視点
【技術分野】
【０００１】
本発明は、車両において画像を表示する技術に関する。
【背景技術】
【０００２】
従来より、自動車などの車両に搭載され、車載カメラで得られる撮影画像に基づいて車両の周辺の領域を示す周辺画像を車室内のディスプレイに表示する画像表示システムが知られている。この画像表示システムを利用することにより、ユーザ（代表的にはドライバ）は車両の周辺の様子をほぼリアルタイムに把握することができる。
【０００３】
例えば、運転席の逆側となるフロントフェンダの外側領域は運転席から死角となりやすく、車体と障害物との間のクリアランスをユーザが把握しにくい。これに対して、画像表示システムを利用すれば、車両の側方に配置された車載カメラの撮影画像に基づいてフロントフェンダの外側領域を示す周辺画像を車室内のディスプレイに表示できる。これにより、車両の幅寄せを行う場合などにおいて、運転席の逆側の車体と障害物との間のクリアランスをユーザが容易に確認できることとなる。
【０００４】
なお、本明細書で説明する技術に関連する技術を開示した文献として特許文献１がある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−２１０４５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
近年では、車両の前方、後方、側方などの複数の位置に車載カメラを配置し、それら複数の車載カメラで得られる撮影画像に基づく周辺画像を表示する画像表示システムも提案されている。このような画像表示システムでは、異なる視点からみた周辺画像を表示することが可能である。例えば、車両の前方の視点からみた周辺画像や、車両の後方の視点からみた周辺画像などを表示することができる。
【０００７】
しかしながら、このように複数の視点からみた周辺画像を表示可能な画像表示システムでは、ディスプレイの表示内容を周辺画像に切り替えた場合に、表示された周辺画像がいずれの視点からみた周辺画像であるかをユーザが直感的に把握しにくい。
【０００８】
例えば、車両の周辺の地図画像の表示状態において、車両の後方の視点からみた周辺画像に表示内容を切り替えた場合において、切り替え後に表示された周辺画像が、いずれ視点からみたものであるかをユーザが直感的に把握することが難しいことがある。また、車両の前方の視点からみた周辺画像の表示状態において、車両の後方の視点からみた周辺画像に表示内容を切り替えた場合など、表示する周辺画像の視点が変更された場合においても同様である。
【０００９】
本発明は、上記課題に鑑みてなされたものであり、周辺画像に表示内容を切り替える場合において、切り替え後に表示された周辺画像がどの視点からみた周辺画像であるかをユーザが直感的に把握できる技術を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記課題を解決するため、請求項１の発明は、車両に搭載される画像表示システムであって、前記車両に配置された複数のカメラそれぞれの撮影画像を入力する入力手段と、前記撮影画像に基づいて、任意の仮想視点からみた前記車両の周辺の領域を示す合成画像を生成する画像生成手段と、前記撮影画像に基づく第１視点からみた第１周辺画像に表示内容を切り替える場合に、複数の前記合成画像を時間的に連続して表示して、所定の基準視点から前記第１視点まで前記仮想視点の位置が段階的に移動するアニメーション表現を行う表示手段と、を備えている。
【００１１】
また、請求項２の発明は、請求項１に記載の画像表示システムにおいて、前記表示手段は、前記車両の周辺の地図画像を表示可能であり、前記地図画像から前記第１周辺画像に表示内容を切り替える場合に、前記アニメーション表現を行う。
【００１２】
また、請求項３の発明は、請求項１に記載の画像表示システムにおいて、前記表示手段は、前記第１視点と異なる第２視点からみた第２周辺画像から、前記第１周辺画像に表示内容を切り替える場合に、前記第２視点から前記基準視点を経由して前記第１視点まで前記仮想視点の位置が段階的に移動する前記アニメーション表現を行う。
【００１３】
また、請求項４の発明は、請求項１ないし３のいずれかに記載の画像表示システムにおいて、前記基準視点は、前記車両を俯瞰する視点である。
【００１４】
また、請求項５の発明は、請求項１ないし３のいずれかに記載の画像表示システムにおいて、前記基準視点は、前記車両のドライバの視点である。
【００１５】
また、請求項６の発明は、請求項２に記載の画像表示システムにおいて、上空から地上を撮影した写真画像を取得する写真取得手段、をさらに備え、前記基準視点は、前記車両を俯瞰する視点であり、前記表示手段は、前記アニメーション表現を行う前に、前記地図画像と略同一の縮尺で前記車両の周囲の領域を示す前記写真画像を表示した後、前記基準視点からみた前記合成画像と略同一の縮尺で前記車両の周囲の領域を示すまで前記写真画像の被写体像を段階的に拡大する。
【００１６】
また、請求項７の発明は、車両に搭載される表示装置に表示させる画像を生成する画像生成装置であって、前記車両に配置された複数のカメラそれぞれの撮影画像を入力する入力手段と、前記撮影画像に基づいて、任意の仮想視点からみた前記車両の周辺の領域を示す合成画像を生成する画像生成手段と、前記表示装置が前記撮影画像に基づく第１視点からみた第１周辺画像に表示内容を切り替える場合に、複数の前記合成画像を前記表示装置に時間的に連続して出力し、所定の基準視点から前記第１視点まで前記仮想視点の位置が段階的に移動するアニメーション表現を前記表示装置に行わせる出力手段と、を備えている。
【００１７】
また、請求項８の発明は、車両に搭載される表示装置に画像を表示する画像表示方法であって、前記車両に配置された複数のカメラそれぞれの撮影画像を入力する工程と、前記撮影画像に基づいて、任意の仮想視点からみた前記車両の周辺の領域を示す合成画像を生成する工程と、前記表示装置が前記撮影画像に基づく第１視点からみた第１周辺画像に表示内容を切り替える場合に、複数の前記合成画像を時間的に連続して表示して、所定の基準視点から前記第１視点まで前記仮想視点の位置が段階的に移動するアニメーション表現を行う工程と、を備えている。
【発明の効果】
【００１８】
請求項１ないし８の発明によれば、周辺画像に表示内容を切り替える場合に、所定の基準視点から周辺画像の視点まで仮想視点が段階的に移動するアニメーション表現がなされる。このため、切り替え後に表示された周辺画像がどの視点からみた周辺画像であるかをユーザが直感的に把握できる。
【００１９】
また、特に請求項２の発明によれば、地図画像から周辺画像に表示内容を切り替える場合において、切り替え後に表示された周辺画像がどの視点からみた周辺画像であるかをユーザが直感的に把握できる。
【００２０】
また、特に請求項３の発明によれば、表示する周辺画像の視点を切り替える場合に、切り替え後に表示された周辺画像がどの視点からみた周辺画像であるかをユーザが直感的に把握できる。
【００２１】
また、特に請求項４の発明によれば、車両を俯瞰する視点から周辺画像の視点まで仮想視点が段階的に移動するアニメーション表現がなされるため、周辺画像の視点を車両全体を基準に容易に把握することができる。
【００２２】
また、特に請求項５の発明によれば、車両のドライバの視点から周辺画像の視点まで仮想視点が段階的に移動するアニメーション表現がなされるため、周辺画像の視点をドライバの視点を基準に容易に把握することができる。
【００２３】
また、特に請求項６の発明によれば、地図画像から周辺画像に表示内容を切り替える場合において、地図画像と略同一の縮尺で車両の周囲の領域を示す写真画像を表示し、その後、基準視点からみた合成画像と略同一縮尺で車両の周囲の領域を示すまで写真画像の被写体像を段階的に拡大する。さらに、基準視点から周辺画像の視点まで仮想視点が段階的に移動するアニメーション表現がなされる。このため、表示切替前の地図画像から表示切替後の周辺画像まで、表示する画像の視点をスムーズに変更することができる。その結果、表示手段に表示された周辺画像がどの視点からみた周辺画像であるかをユーザがさらに直感的に把握できる。
【図面の簡単な説明】
【００２４】
【図１】図１は、第１の実施の形態の画像表示システムの構成を示すブロック図である。
【図２】図２は、車載カメラが車両に配置される位置を示す図である。
【図３】図３は、合成画像を生成する手法を説明する図である。
【図４】図４は、画像表示システムの動作モードの遷移を示す図である。
【図５】図５は、俯瞰画像がディスプレイに表示される様子を示す図である。
【図６】図６は、仮想視点の遷移の一例を示す図である。
【図７】図７は、アニメーション表現の一例を示す図である。
【図８】図８は、仮想視点の遷移の一例を示す図である。
【図９】図９は、アニメーション表現の一例を示す図である。
【図１０】図１０は、ナビモードから周辺画像を表示する動作モードに切り替える場合の処理の流れを示す図である。
【図１１】図１１は、仮想視点の遷移の一例を示す図である。
【図１２】図１２は、アニメーション表現の一例を示す図である。
【図１３】図１３は、周辺画像を表示する動作モードの相互間で動作モードを切り替える場合の処理の流れを示す図である。
【図１４】図１４は、ドライバ視点画像がディスプレイに表示される様子を示す図である。
【図１５】図１５は、仮想視点の遷移の一例を示す図である。
【図１６】図１６は、仮想視点の遷移の一例を示す図である。
【図１７】図１７は、第３の実施の形態の画像表示システムの構成を示すブロック図である。
【図１８】図１８は、写真画像がディスプレイに表示される様子を示す図である。
【図１９】図１９は、ディスプレイに表示される画像の遷移を示す図である。
【図２０】図２０は、ナビモードから周辺画像を表示する動作モードに切り替える場合の処理の流れを示す図である。
【図２１】図２１は、仮想視点からの合成画像を表示する動作モードの一例を示す図である。
【発明を実施するための形態】
【００２５】
以下、図面を参照しつつ本発明の実施の形態について説明する。
【００２６】
＜１．第１の実施の形態＞
＜１−１．システム構成＞
図１は、第１の実施の形態の画像表示システム１２０の構成を示すブロック図である。この画像表示システム１２０は、車両（本実施の形態では、自動車）に搭載されるものであり、車両の周辺を撮影して画像を生成して車室内に表示する機能を有している。画像表示システム１２０のユーザ（代表的にはドライバ）は、この画像表示システム１２０を利用することにより、当該車両の周辺の様子をほぼリアルタイムに把握できるようになっている。
【００２７】
図１に示すように、画像表示システム１２０は、車両の周辺の様子を示す周辺画像を生成する画像生成装置１００と、車両に乗車するユーザに対して各種情報を表示するナビゲーション装置２０とを主に備えている。画像生成装置１００で生成された周辺画像は、ナビゲーション装置２０において表示される。
【００２８】
ナビゲーション装置２０は、ユーザに対しナビゲーション案内を行うものであり、タッチパネル機能を備えた液晶などのディスプレイ２１と、ユーザが操作を行うハードスイッチなどの操作部２２と、装置全体を制御する制御部２３とを備えている。ディスプレイ２１の画面がユーザから視認可能なように、ナビゲーション装置２０は車両のインストルメントパネルなどに設置される。
【００２９】
ユーザの各種の指示は、操作部２２とタッチパネルとしてのディスプレイ２１とによって受け付けられる。制御部２３は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えたコンピュータであり、所定のプログラムに従ってＣＰＵが演算処理を行うことでナビゲーション機能を含む各種の機能が実現される。ナビゲーション装置２０は、画像生成装置１００と通信可能に接続され、画像生成装置１００との間で各種の制御信号の送受信や、画像生成装置１００で生成された画像の受信が可能となっている。
【００３０】
ディスプレイ２１には、制御部２３の制御により、通常は、ナビゲーション装置２０単体の機能によって、ナビゲーション案内用の車両の周辺の地図画像が表示される。地図画像は、ナビゲーション装置２０が備えるハードディスクなどに予め記憶されている。また、ナビゲーション装置２０が備えるＧＰＳ装置によって車両の位置（緯度、経度）が取得され、この車両の位置に基づいて、車両の周辺の地図画像がディスプレイ２１に表示される。表示する地図画像の縮尺はユーザの操作部２２の操作に応じて変更可能とされている。
【００３１】
一方で、画像表示システム１２０の動作モードを変更した場合は、画像生成装置１００で生成された車両の周辺の様子を示す周辺画像が、ディスプレイ２１に表示される。これにより、ナビゲーション装置２０は、画像生成装置１００で生成された周辺画像を受信して表示する表示装置としても機能する。
【００３２】
画像生成装置１００は、画像を生成する機能を有するＥＣＵ（Electronic Control Unit）である本体部１０と、車両の周辺を撮影する撮影部５とを備えている。本体部１０は、車両の所定の位置に配置され、撮影部５で車両の周辺を撮影して得られる撮影画像に基づいてディスプレイ２１に表示するための周辺画像を生成する。
【００３３】
撮影部５は、本体部１０に電気的に接続され、本体部１０からの信号に基づいて動作する。撮影部５は、車載カメラであるフロントカメラ５１、サイドカメラ５２、及び、バックカメラ５３を備えている。各車載カメラ５１〜５３は、レンズと撮像素子とを備えており電子的に画像を取得する。
【００３４】
これらの複数の車載カメラ５１〜５３は、車両の異なる位置にそれぞれ配置される。図２は、車載カメラ５１〜５３が車両９に配置される位置を示す図である。
【００３５】
図２に示すように、フロントカメラ５１は、車両９の前端にあるナンバープレート取付位置の近傍に設けられ、その光軸５１ａは車両９の直進方向に向けられている。バックカメラ５３は、車両９の後端にあるナンバープレート取付位置の近傍に設けられ、その光軸５３ａは車両９の直進方向の逆方向に向けられている。これらフロントカメラ５１やバックカメラ５３の取り付け位置は、左右中央であることが望ましいが、左右中央から左右方向に多少ずれた位置であってもよい。また、サイドカメラ５２は左右のドアミラー９３にそれぞれ設けられ、その光軸５２ａは車両９の左右方向（直進方向に直交する方向）に沿って車両９の外側に向けられている。
【００３６】
これらの車載カメラ５１〜５３のレンズとしては魚眼レンズなどが採用されており、車載カメラ５１〜５３は１８０度以上の画角θを有している。このため、４つの車載カメラ５１〜５３を利用することで、車両９の全周囲の撮影が可能となっている。
【００３７】
図１に戻り、画像生成装置１００の本体部１０は、装置全体を制御する制御部１と、撮影部５の４つの車載カメラ５１〜５３それぞれの撮影画像を入力する入力端子４９と、表示用の周辺画像を生成する画像生成部３と、ナビゲーション装置２０との間で通信を行うナビ通信部４２とを主に備えている。
【００３８】
ナビゲーション装置２０の操作部２２やディスプレイ２１によって受け付けられたユーザからの各種の指示は、制御信号としてナビ通信部４２によって受け付けられて制御部１に入力される。また、画像生成装置１００は、表示内容を切り替える指示をユーザから受け付ける切替スイッチ４３を備えている。この切替スイッチ４３からもユーザの指示を示す信号が制御部１に入力される。これにより、画像生成装置１００は、ナビゲーション装置２０に対するユーザの操作、及び、切替スイッチ４３に対するユーザの操作の双方に応答した動作が可能となっている。切替スイッチ４３は、ユーザが操作しやすいように、本体部１０とは別に車両の適位置に配置される。
【００３９】
画像生成部３は、各種の画像処理が可能なハードウェア回路であり、入力端子４９を介して撮影部５から入力される撮影画像を処理し、ディスプレイ２１に表示するための周辺画像を生成する。画像生成部３は、撮影画像調整部３１、及び、合成画像生成部３２を主な機能として備えている。
【００４０】
撮影画像調整部３１は、撮影部５で取得された撮影画像を対象とし、表示に利用するための調整を行うものである。具体的には、撮影画像調整部３１は、撮影画像に対して、歪み補正、拡大縮小、及び、切り出しなどの画像処理を行う。
【００４１】
合成画像生成部３２は、撮影部５の複数の車載カメラ５１〜５３で取得された複数の撮影画像に基づいて、車両の周辺の任意の仮想視点からみた車両の周辺の領域を示す合成画像を生成する。合成画像生成部３２が合成画像を生成する手法については後述する。
【００４２】
撮影画像調整部３１に表示用に調整された撮影画像、及び、合成画像生成部３２により生成された合成画像は、ナビ通信部４２によってナビゲーション装置２０に出力される。これにより、被写体像として車両の周辺の少なくとも一部の領域を含む周辺画像がナビゲーション装置２０のディスプレイ２１に表示されることになる。
【００４３】
本明細書において、「周辺画像」とは、車両の周辺の少なくとも一部の領域を示す画像を意味し、表示用に調整された撮影画像、及び、合成画像の双方を含む概念である。表示用に調整された撮影画像は、取得された車載カメラ５１〜５３のレンズの位置を視点とし、その視点からみた周辺画像となる。また、合成画像は、車両の周辺の任意の位置に設定された仮想視点からみた周辺画像となる。
【００４４】
制御部１は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えたコンピュータであり、所定のプログラムに従ってＣＰＵが演算処理を行うことで各種の制御機能が実現される。図中に示す、画像制御部１１、及び、表示制御部１２は、このようにして実現される制御部１の機能のうちの一部を示している。
【００４５】
画像制御部１１は、画像生成部３によって実行される画像処理に係る制御を行う。例えば、画像制御部１１は、合成画像生成部３２が生成する合成画像の生成に必要な各種パラメータなどを指示する。
【００４６】
表示制御部１２は、ナビゲーション装置２０のディスプレイ２１に表示する表示内容に係る制御を行う。例えば、画像表示システム１２０の動作モードの変更に応じて、ディスプレイ２１の表示内容を切り替える。
【００４７】
また、画像生成装置１００の本体部１０は、不揮発性メモリ４０、カード読取部４４、及び、信号入力部４１をさらに備えており、これらは制御部１に接続されている。
【００４８】
不揮発性メモリ４０は、電源オフ時においても記憶内容を維持可能なフラッシュメモリなどである。不揮発性メモリ４０には、視点データ４ａが記憶されている。視点データ４ａは、合成画像の仮想視点を定める際に利用される。
【００４９】
カード読取部４４は、可搬性の記録媒体であるメモリカードＭＣの読み取りを行う。カード読取部４４は、メモリカードＭＣの着脱が可能なカードスロットを備えており、そのカードスロットに装着されたメモリカードＭＣに記録されたデータを読み取る。カード読取部４４で読み取られたデータは、制御部１に入力される。メモリカードＭＣは、種々のデータを記憶可能なフラッシュメモリなどであり、画像生成装置１００はメモリカードＭＣに記憶された種々のデータを利用できる。例えば、メモリカードＭＣにプログラムを記憶させ、これを読み出すことで、制御部１の機能を実現するプログラム（ファームウェア）を更新することが可能である。
【００５０】
また、信号入力部４１は、車両に設けられた各種装置からの信号を入力する。この信号入力部４１を介して、画像表示システム１２０の外部からの信号が制御部１に入力される。本実施の形態では、シフトセンサ７１からの信号が信号入力部４１を介して制御部１に入力される。シフトセンサ７１からは、車両の変速装置のシフトレバーの操作の位置、すなわち、”Ｐ（駐車）”，”Ｄ（前進）”，”Ｎ（中立）”，”Ｒ（後退）”などのシフトポジションが入力される。
【００５１】
＜１−２．画像合成処理＞
次に、画像生成部３の合成画像生成部３２が、撮影部５で得られた複数の撮影画像に基づいて車両９の周辺を任意の仮想視点からみた様子を示す合成画像を生成する手法について説明する。図３は、合成画像を生成する手法を説明するための図である。
【００５２】
撮影部５のフロントカメラ５１、サイドカメラ５２及びバックカメラ５３で同時に撮影が行われると、車両９の前方、左側方、右側方及び後方をそれぞれ示す４つの撮影画像Ｐ１〜Ｐ４が取得される。すなわち、撮影部５で取得される４つの撮影画像Ｐ１〜Ｐ４には、撮影時点の車両９の全周囲を示す情報が含まれていることになる。
【００５３】
次に、４つの撮影画像Ｐ１〜Ｐ４の各画素が、仮想的な三次元空間における立体曲面ＴＳに投影される。立体曲面ＴＳは、例えば略半球状（お椀形状）をしており、その中心部分（お椀の底部分）が車両９が存在する位置として定められている。撮影画像Ｐ１〜Ｐ４に含まれる各画素の位置と、この立体曲面ＴＳの各画素の位置とは予め対応関係が定められている。このため、立体曲面ＴＳの各画素の値は、この対応関係と撮影画像Ｐ１〜Ｐ４に含まれる各画素の値とに基づいて決定できる。
【００５４】
撮影画像Ｐ１〜Ｐ４の各画素の位置と立体曲面ＴＳの各画素の位置との対応関係は、車両９における４つの車載カメラ５１〜５３の配置（相互間距離、地上高さ、光軸角度等）に依存する。この対応関係を示すテーブルデータは、不揮発性メモリ４０に予め記憶されている。
【００５５】
また、不揮発性メモリ４０に予め記憶された車体の形状やサイズを示すデータが利用され、車両９の三次元形状を示すポリゴンのモデルが仮想的に構成される。構成された車両９のモデルは、立体曲面ＴＳが設定される三次元空間において、車両９の位置と定められた略半球状の中心部分に配置される。
【００５６】
さらに、立体曲面ＴＳが存在する三次元空間に対して、制御部１により仮想視点ＶＰが設定される。仮想視点ＶＰは、視点位置と視野方向とで規定され、この三次元空間における車両９の近傍に相当する任意の視点位置に任意の視野方向に向けて設定される。
【００５７】
そして、設定された仮想視点ＶＰに応じて、立体曲面ＴＳにおける必要な領域が画像として切り出される。仮想視点ＶＰと、立体曲面ＴＳにおける必要な領域との関係は予め定められており、テーブルデータとして不揮発性メモリ４０等に予め記憶されている。一方で、設定された仮想視点ＶＰに応じてポリゴンのモデルに関してレンダリングがなされ、その結果となる二次元の車両の像が、切り出された画像に対して重畳される。これにより、車両９及びその車両９の周辺を任意の仮想視点ＶＰからみた様子を示す合成画像が生成されることになる。
【００５８】
例えば、視点位置が車両９の位置の略中央の直上で、視野方向が直下方向とした仮想視点ＶＰａを設定した場合は、車両９の略直上から車両９を見下ろすように、車両９及び車両９の周辺の領域を示す合成画像ＣＰａが生成される。また、図中に示すように、視点位置が車両９の位置の左後方で、視野方向が車両９における略前方方向とした仮想視点ＶＰｂを設定した場合は、車両９の左後方からその周辺全体を見渡すように、車両９及び車両９の周辺の領域を示す合成画像ＣＰｂが生成される。
【００５９】
なお、実際に合成画像を生成する場合においては、立体曲面ＴＳの全ての画素の値を決定する必要はなく、設定された仮想視点ＶＰに対応して必要となる領域の画素の値のみを撮影画像Ｐ１〜Ｐ４に基づいて決定することで、処理速度を向上できる。
【００６０】
画像表示システム１２０では、このような合成画像生成部３２の機能を利用することで、車両９の周辺の任意の視点からみた合成画像を生成して、ディスプレイ２１に表示することができる。
【００６１】
＜１−３．動作モード＞
次に、画像表示システム１２０の動作モードについて説明する。図４は、画像表示システム１２０の動作モードの遷移を示す図である。画像表示システム１２０は、ナビモードＭ０、フロントモードＭ１、サイドモードＭ２、及び、バックモードＭ３の３つの動作モードを有している。これらの動作モードは、ドライバの車両９への操作や車両９の走行状態に応じて制御部１の制御により切り替えられるようになっている。
【００６２】
ナビモードＭ０は、ナビゲーション装置２０の機能により、ナビゲーション案内を行う動作モードである。ナビモードＭ０では、画像生成装置１００の機能が利用されず、ナビゲーション装置２０単体の機能でディスプレイ２１に各種の表示がなされる。具体的には、ディスプレイ２１には、車両９の周辺の地図画像ＮＰが主に表示される。
【００６３】
これに対し、フロントモードＭ１、サイドモードＭ２及びバックモードＭ３は、画像生成装置１００の機能を利用して、周辺画像をディスプレイ２１に表示して、車両の周辺の状況をリアルタイムでユーザに示す動作モードである。
【００６４】
フロントモードＭ１は、車両９の前方を表示する動作モードであり、見通しの悪い交差点への進入時などに利用される。ディスプレイ２１には、フロントカメラ５１で取得されて表示用に調整した撮影画像（以下、「フロント画像」という。）ＳＰ１が表示される。このフロント画像ＳＰ１は、車両９の前方の視点（フロントカメラ５１のレンズ位置）からみた周辺画像である。フロントモードＭ１では、表示中の周辺画像（すなわち、フロント画像）ＳＰ１の視点が車両９の前方であることを示すアイコンＣ１が表示される。
【００６５】
サイドモードＭ２は、車両９の側方を表示する動作モードであり、幅寄せを行う場合などに利用される。ディスプレイ２１には、サイドカメラ５２で取得されて表示用に調整した撮影画像（以下、「サイド画像」という。）ＳＰ２が表示される。このサイド画像ＳＰ２は、車両９の側方の視点（サイドカメラ５２のレンズ位置）からみた周辺画像である。サイドモードＭ２では、表示中の周辺画像（すなわち、サイド画像）ＳＰ２の視点が車両９の側方であることを示すアイコンＣ２が表示される。
【００６６】
また、バックモードＭ３は、車両９の後方を表示する動作モードであり、後退時に利用される。ディスプレイ２１には、バックカメラ５３で取得されて表示用に調整した撮影画像（以下、「バック画像」という。）ＳＰ３が表示される。このバック画像ＳＰ３は、車両９の後方の視点（バックカメラ５３のレンズ位置）からみた周辺画像である。バックモードＭ３では、表示中の周辺画像（すなわち、バック画像）ＳＰ３の視点が車両９の後方であることを示すアイコンＣ３が表示される。
【００６７】
ナビモードＭ０において、ナビゲーション装置２０の操作部２２に所定の操作がなされると、フロントモードＭ１及びサイドモードＭ２のうちの最後に有効化された動作モード（いわゆる、ラストモード）に切り替わる。フロントモードＭ１とサイドモードＭ２とは、切替スイッチ４３を押下するごとに切り替えられる。また、フロントモードＭ１あるいはサイドモードＭ２において、ナビゲーション装置２０の操作部２２に所定の操作がなされると、ナビモードＭ０に戻る。
【００６８】
また、バックモードＭ３以外の動作モードにおいて、シフトセンサ７１から入力されるシフトポジションが”Ｒ（後退）”となったときは、バックモードＭ３に切り替えられる。すなわち、シフトポジションが”Ｒ（後退）”の場合は、車両９は後退する状態であるため、車両９の後方を主に示すバックモードＭ３に切り替えられる。また、バックモードＭ３の場合に、シフトポジションが”Ｒ（後退）”以外となったときは、バックモードＭ３に切り替えられる直前の動作モードに戻ることになる。
【００６９】
このように画像表示システム１２０は、複数の動作モードを切り替えることで、複数の視点からみた周辺画像を切り替えてディスプレイ２１に表示可能となっている。このように複数の視点からの周辺画像を表示可能な場合は、ディスプレイ２１の表示内容を周辺画像に切り替えた場合に、表示された周辺画像がいずれの視点からみた周辺画像であるかをユーザが直感的に把握しにくくなる可能性がある。
【００７０】
例えば、地図画像を表示するナビモードＭ０から周辺画像を表示する動作モードＭ１，Ｍ２，Ｍ３のいずれかに切り替えた場合において、切り替え後に表示された周辺画像が、いずれ視点からみたものであるか（フロント画像ＳＰ１、サイド画像ＳＰ２及びバック画像ＳＰ３のいずれであるか）を、ユーザが直感的に把握することは難しい。また、周辺画像を表示する動作モードＭ１，Ｍ２，Ｍ３の相互間で動作モードが切り替わった場合（表示する周辺画像の視点が異なる視点に変更された場合）においても、切り替え後に表示された周辺画像が、いずれ視点からみたものであるかをユーザが直感的に把握することは難しい。
【００７１】
このため、画像表示システム１２０では、ディスプレイ２１の表示内容を周辺画像に切り替える場合においては、所定の基準視点から切り替え後の周辺画像の視点まで、表示する画像の視点の位置が段階的かつ連続的に移動するアニメーション表現がディスプレイ２１においてなされるようになっている。以下、このようなアニメーション表現について説明する。
【００７２】
＜１−４．ナビモードからの切り替え＞
まず、ナビモードＭ０から周辺画像を表示する動作モードＭ１，Ｍ２，Ｍ３のいずれかに切り替える場合について説明する。
【００７３】
この場合は、まず、図５に示すように、ナビモードＭ０の地図画像ＮＰを表示している状態から、車両９及び車両９の周辺の全体を俯瞰する合成画像である俯瞰画像ＣＰ０が表示される。この俯瞰画像ＣＰ０の仮想視点の視点位置は、車両９の略中央の直上であり、視野方向は直下方向となっている。このような視点位置及び視野方向で規定される仮想視点が、基準視点となる。そして、仮想視点は、この基準視点から切り替え後に表示する周辺画像の視点まで段階的かつ連続的に移動される。
【００７４】
図６は、ナビモードＭ０からフロントモードＭ１に切り替える場合における仮想視点の遷移を示す図である。この場合は、仮想視点ＶＰは、基準視点ＶＰ０から、フロント画像の視点（フロントカメラ５１のレンズ位置）ＶＰ１まで段階的に移動される。そして、このように仮想視点ＶＰが段階的に移動されている状態で、複数の合成画像が時間的に連続して生成される。生成された複数の合成画像は、ナビゲーション装置２０に順次に出力されて、ディスプレイ２１に時間的に連続して表示される。
【００７５】
これにより、図７に示すように、ディスプレイ２１において、基準視点ＶＰ０からフロント画像の視点ＶＰ１まで、表示する合成画像ＣＰｍの仮想視点が段階的に移動するようなアニメーション表現がなされることになる。すなわち、ディスプレイ２１に表示された合成画像ＣＰｍは、当初は車両９の全体が俯瞰して示している（状態ＳＴ１１）。その後、合成画像ＣＰｍは、徐々に車両９の前方の領域を拡大して示し（状態ＳＴ１２）、最終的に車両９の前方の領域を示すことになる（状態ＳＴ１３）。
【００７６】
フロント画像の視点ＶＰ１まで仮想視点ＶＰが移動し、フロント画像と同様の領域が合成画像ＣＰｍに示されると、ディスプレイ２１において合成画像ＣＰｍに代えてフロント画像ＣＰ１が表示される。これにより、フロントモードＭ１に切り替わることになる。
【００７７】
また、図８は、ナビモードＭ０からバックモードＭ３に切り替える場合における仮想視点の遷移を示す図である。この場合は、仮想視点ＶＰは、基準視点ＶＰ０から、バック画像の視点（バックカメラ５３のレンズ位置）ＶＰ３まで段階的に移動される。そして、このように仮想視点ＶＰが段階的に移動されている状態で、複数の合成画像が時間的に連続して生成される。生成された複数の合成画像は、ナビゲーション装置２０に順次に出力されて、ディスプレイ２１に時間的に連続して表示される。
【００７８】
これにより、図９に示すように、ディスプレイ２１において、基準視点ＶＰ０からバック画像の視点ＶＰ３まで、表示する合成画像ＣＰｍの仮想視点が段階的に移動するようなアニメーション表現がなされることになる。すなわち、ディスプレイ２１に表示された合成画像ＣＰｍは、当初は車両９の全体が俯瞰して示している（状態ＳＴ２１）。その後、合成画像ＣＰｍが示す被写体像の上下が反転され（状態ＳＴ２２）、合成画像ＣＰｍは徐々に車両９の後方の領域を拡大して示し（状態ＳＴ２３）、最終的に車両９の後方の領域を示すことになる（状態ＳＴ２４）。バック画像の視点ＶＰ３まで仮想視点ＶＰが移動し、バック画像と同様の領域が合成画像ＣＰｍに示されると、ディスプレイ２１において合成画像ＣＰｍに代えてバック画像ＣＰ３が表示される。これにより、バックモードＭ３に切り替わることになる。
【００７９】
このようなアニメーション表現を行うことで、瞬時に周辺画像を表示した場合と比較して、切り替え後に表示された周辺画像がどの視点からみた周辺画像であるかをユーザが直感的に把握することができる。また、仮想視点の移動の起点となる基準視点ＶＰ０を、車両９を俯瞰する視点とするため、移動後の視点の視点位置や視野方向を、車両全体を基準に容易に把握することができる。
【００８０】
図１０は、ナビモードＭ０から周辺画像を表示する動作モードＭ１，Ｍ２，Ｍ３のいずれかに切り替える場合の処理の流れを示す図である。この処理は、主に表示制御部１２の制御により実現される。
【００８１】
まず、基準視点ＶＰ０の視点位置及び視点方向を示すデータが、不揮発性メモリ４０に記憶された視点データ４ａから取得される（ステップＳ１１）。次に、移動先の視点の視点位置及び視点方向を示すデータが、不揮発性メモリ４０に記憶された視点データ４ａから取得される（ステップＳ１２）。移動先の視点とは、切り替え後に表示される周辺画像の視点である。具体的には、移動先の視点は、フロントモードＭ１に切り替える場合はフロント画像の視点、サイドモードＭ２に切り替える場合はサイド画像の視点、バックモードＭ３に切り替える場合はバック画像の視点である。
【００８２】
次に、基準視点ＶＰ０からみた合成画像、すなわち、俯瞰画像ＣＰ０が合成画像生成部３２に生成され、ディスプレイ２１に表示される（図５参照。）（ステップＳ１３）。
【００８３】
続いて、複数の合成画像ＣＰｍを時間的に連続して表示して、基準視点ＶＰ０から移動先の視点まで仮想視点ＶＰの位置が段階的に移動するアニメーション表現がなされる。この仮想視点ＶＰの移動中においては、仮想視点ＶＰの視点位置及び視点方向はそれぞれ段階的に変更される。
【００８４】
具体的には、まず、移動先の視点へ向けて、仮想視点ＶＰが１フレーム分に相当する量だけ移動される（ステップＳ１４）。この移動中における仮想視点ＶＰの視点位置及び視点方向は、移動前の視点の視点位置及び視点方向と、移動後の視点の視点位置及び視点方向と、移動に用いる合成画像のフレーム数とに基づいて線形補完により導出される。そして、この仮想視点ＶＰからの合成画像ＣＰｍが合成画像生成部３２により生成され、ディスプレイ２１に表示される（ステップＳ１５）。
【００８５】
このようなステップＳ１４及びステップＳ１５の処理が繰り返されることで、仮想視点の位置が段階的に移動するアニメーション表現がなされる。ステップＳ１４及びステップＳ１５の処理は、仮想視点ＶＰが移動先の視点に到達するまで繰り返される。このようなアニメーション表現は例えば０．５秒〜１．５秒かけて行われる。
【００８６】
仮想視点ＶＰが移動先の視点に到達すると（ステップＳ１６にてＹｅｓ）、ディスプレイ２１において合成画像ＣＰｍに代えて、動作モードの切り替え後に表示すべき撮影画像（フロント画像ＳＰ１、サイド画像ＳＰ２及びバック画像ＳＰ３のいずれか）が表示される（ステップＳ１７）。この場合に、瞬時に切り替えずに、アルファブレンドなどの周知の手法を利用して、合成画像ＣＰｍから表示すべき撮影画像に徐々にディスプレイ２１の表示内容を切り替えるようにしてもよい。
【００８７】
＜１−５．視点の変更＞
次に、周辺画像を表示する動作モードＭ１，Ｍ２，Ｍ３の相互間で動作モードを切り替える場合について説明する。この場合においては、仮想視点は、切り替え前の周辺画像の視点から基準視点ＶＰ０まで段階的かつ連続的に移動され、さらに、基準視点ＶＰ０から切り替え後の周辺画像の視点まで段階的かつ連続的に移動される。
【００８８】
図１１は、フロントモードＭ１からバックモードＭ３に切り替える場合における仮想視点の遷移を示す図である。この場合は、仮想視点ＶＰは、フロント画像の視点ＶＰ１から基準視点ＶＰ０まで段階的に移動され、その後、基準視点ＶＰ０からバック画像の視点ＶＰ３まで段階的に移動される。そして、このように仮想視点ＶＰが段階的に移動されている状態で、複数の合成画像が時間的に連続して生成される。生成された複数の合成画像は、ナビゲーション装置２０に順次に出力されて、ディスプレイ２１に時間的に連続して表示される。
【００８９】
これにより、図１２に示すように、ディスプレイ２１において、フロント画像の視点ＶＰ１から基準視点ＶＰ０を経由してバック画像の視点ＶＰ３まで、表示する合成画像ＣＰｍの仮想視点が段階的に移動するようなアニメーション表現がなされることになる。
【００９０】
すなわち、ディスプレイ２１に表示する合成画像ＣＰｍは、当初はフロント画像と同様に車両９の前方の領域を示している（状態ＳＴ３１）。そして、合成画像ＣＰｍは、徐々に車両９の車体前方を示し（状態ＳＴ３２）、その後、車両９の全体を俯瞰して示す（状態ＳＴ３３）。このとき、ディスプレイ２１には、基準視点ＶＰ０からの合成画像ＣＰｍである俯瞰画像ＣＰ０が表示されたことになる。続いて、合成画像ＣＰｍが示す被写体像の上下が反転される（状態ＳＴ３４）。そして、合成画像ＣＰｍは、徐々に車両９の後方の領域を拡大して示し（状態ＳＴ３５）、最終的に車両９の後方の領域を示すことになる（状態ＳＴ３６）。
【００９１】
表示する周辺画像の視点を変更する場合においても、このようなアニメーション表現を行うことで、周辺画像の視点を瞬時に切り替えた場合と比較して、切り替え後に表示された周辺画像がどの視点からみた周辺画像であるかをユーザが直感的に把握することができる。
【００９２】
図１３は、周辺画像を表示する動作モードＭ１，Ｍ２，Ｍ３の相互間で動作モードを切り替える場合の処理の流れを示す図である。この処理も、主に表示制御部１２の制御により実現される。
【００９３】
まず、基準視点ＶＰ０の視点位置及び視点方向を示すデータが、不揮発性メモリ４０に記憶された視点データ４ａから取得される（ステップＳ２１）。次に、移動元の視点及び移動先の視点それぞれの視点位置及び視点方向を示すデータが、不揮発性メモリ４０に記憶された視点データ４ａから取得される（ステップＳ２２）。移動元の視点とは、切り替え前に表示された周辺画像の視点である。具体的には、移動元の視点は、フロントモードＭ１から切り替える場合はフロント画像の視点、サイドモードＭ２から切り替える場合はサイド画像の視点、バックモードＭ３から切り替える場合はバック画像の視点である。
【００９４】
次に、移動元の視点からみた合成画像ＣＰｍが生成される。そして、動作モードの切り替え前に表示していた撮影画像に代えて、生成された合成画像ＣＰｍがディスプレイ２１に表示される（ステップＳ２３）。この場合に、瞬時に切り替えずに、アルファブレンドなどの周知の手法を利用して、表示していた撮影画像から合成画像ＣＰｍに徐々にディスプレイ２１の表示内容を切り替えるようにしてもよい。
【００９５】
続いて、複数の合成画像ＣＰｍを時間的に連続して表示して、移動元の視点から基準視点ＶＰ０まで仮想視点ＶＰの位置が段階的に移動するアニメーション表現がなされる。まず、基準視点ＶＰ０へ向けて、仮想視点ＶＰが１フレーム分に相当する量だけ移動される（ステップＳ２４）。そして、この仮想視点ＶＰからの合成画像ＣＰｍが合成画像生成部３２により生成され、ディスプレイ２１に表示される（ステップＳ２５）。このステップＳ２４及びステップＳ２５の処理が、仮想視点ＶＰが基準視点ＶＰ０に到達するまで繰り返される。
【００９６】
仮想視点ＶＰが基準視点ＶＰ０に到達すると（ステップＳ２６にてＹｅｓ）、続いて、複数の合成画像ＣＰｍを時間的に連続して表示して、基準視点ＶＰ０から移動先の視点まで仮想視点ＶＰの位置が段階的に移動するアニメーション表現がなされる。まず、移動先の視点へ向けて、仮想視点ＶＰが１フレーム分に相当する量だけ移動される（ステップＳ２７）。そして、この仮想視点ＶＰからの合成画像ＣＰｍが合成画像生成部３２により生成され、ディスプレイ２１に表示される（ステップＳ２８）。このステップＳ２７及びステップＳ２８の処理が、仮想視点ＶＰが移動先の視点に到達するまで繰り返される。
【００９７】
このような処理により、ディスプレイ２１において、移動元の視点から基準視点ＶＰ０を経由して移動先の視点まで仮想視点ＶＰの位置が段階的に移動するアニメーション表現がなされる。このようなアニメーション表現は例えば０．５秒〜１．５秒かけて行われる。
【００９８】
仮想視点ＶＰが移動先の視点に到達すると（ステップＳ２９にてＹｅｓ）、ディスプレイ２１において合成画像ＣＰｍに代えて、動作モードの切り替え後に表示すべき撮影画像が表示される（ステップＳ３０）。この場合も、瞬時に切り替えずに、アルファブレンドなどの周知の手法を利用して、合成画像ＣＰｍから表示すべき撮影画像に徐々にディスプレイ２１の表示内容を切り替えるようにしてもよい。
【００９９】
以上のように、画像表示システム１２０においては、ディスプレイ２１の表示内容を周辺画像に切り替える場合に、複数の合成画像ＣＰｍを時間的に連続して表示して、所定の基準視点ＶＰ０から移動先の視点まで仮想視点ＶＰの位置が段階的に移動するアニメーション表現がなされる。このため、切り替え後にディスプレイ２１に表示された周辺画像がどの視点からみた周辺画像であるかをユーザが直感的に把握することができる。
【０１００】
また、地図画像から周辺画像に表示内容を切り替える場合に、アニメーション表現を行うため、瞬時に周辺画像を表示した場合と比較して、切り替え後に表示された周辺画像がどの視点からみた周辺画像であるかをユーザが直感的に把握することができる。
【０１０１】
また、表示する周辺画像の視点を切り替える場合には、切り替え前の周辺画像の視点から基準視点を経由して切り替え後の周辺画像の視点まで、仮想視点ＶＰの位置が段階的に移動するアニメーション表現がなされる。このため、周辺画像の視点を瞬時に切り替えた場合と比較して、切り替え後に表示された周辺画像がどの視点からみた周辺画像であるかをユーザが直感的に把握できる。
【０１０２】
また、車両９を俯瞰する視点を基準視点ＶＰ０とし、この基準視点ＶＰ０から切り替え後の周辺画像の視点まで仮想視点ＶＰが段階的に移動するアニメーション表現がなされる。このため、切り替え後の周辺画像の視点を車両全体を基準に容易に把握することができる。
【０１０３】
＜２．第２の実施の形態＞
次に、第２の実施の形態について説明する。第１の実施の形態では、車両９を俯瞰する視点を基準視点ＶＰ０としていたが、第２の実施の形態では、車両９のドライバの視点を基準視点ＶＰ０としている。第２の実施の形態の画像表示システム１２０の構成及び動作は、第１の実施の形態とほぼ同様であるため、以下、第１の実施の形態との相違点を中心に説明する。
【０１０４】
第２の実施の形態において、ナビモードＭ０から周辺画像を表示する動作モードＭ１，Ｍ２，Ｍ３のいずれかに切り替える場合においては、まず、図１４に示すように、ナビモードＭ０の地図画像ＮＰを表示している状態から、車両９のドライバの視点からみた様子を示すドライバ視点画像ＣＰ５が表示される。
【０１０５】
このドライバ視点画像ＣＰ５では、ドライバの視点からみた車両９の前方の領域と、ドライバの視点からみた車両９の内装とが示されている。このドライバ視点画像ＣＰ５は、ドライバの視点を仮想視点ＶＰとする合成画像と、車両９の内装を示す内装画像とを重畳することで合成画像生成部３２により生成される。内装画像には、予め不揮発性メモリ４０に記憶されたビットマップやポリゴンなどのデータが用いられる。仮想視点ＶＰは、このドライバの視点から、切り替え後に表示する周辺画像の視点まで段階的に移動される。
【０１０６】
例えば、ナビモードＭ０からバックモードＭ３に切り替える場合においては、図１５に示すように、ドライバの視点ＶＰ５からバック画像の視点ＶＰ３まで仮想視点ＶＰが段階的に移動される。そして、このように仮想視点ＶＰが段階的に移動されている状態で複数の合成画像が生成されて、ディスプレイ２１に時間的に連続して表示される。
【０１０７】
これにより、ディスプレイ２１において、ドライバの視点ＶＰ５からバック画像の視点ＶＰ３まで、表示する合成画像の仮想視点が段階的に移動するようなアニメーション表現がなされる。すなわち、ディスプレイ２１に表示する合成画像ＣＰｍは、当初はドライバの視点ＶＰ５からの車両の前方の領域を示し、徐々に車両９の側方の領域を示し、最終的に車両９の後方の領域を示すことになる。
【０１０８】
このように、第２の実施の形態では、車両９のドライバの視点ＶＰ５から周辺画像の視点まで仮想視点が段階的に移動するアニメーション表現がなされるため、切り替え後の周辺画像の視点をドライバの視点を基準にユーザが容易に把握することができる。
【０１０９】
表示する周辺画像の視点を異なる視点に切り替える場合には、切り替え前の周辺画像の視点からドライバの視点ＶＰ５を経由して切り替え後の周辺画像の視点まで、仮想視点ＶＰの位置が段階的に移動するアニメーション表現が行われる。
【０１１０】
なお、アニメーション表現に用いる合成画像においては、内装画像を重畳し、仮想視点ＶＰの変更に合わせて重畳する内装画像を変更するようにしてもよい。これにより、図１５に示すように仮想視点ＶＰを遷移させた場合は、ドライバが車両９の後方へ振り返った場合に視認するものと同様の様子を示す合成画像をディスプレイ２１に表示することができ、移動する仮想視点の位置をユーザが直感的に把握することができる。
【０１１１】
また、図１６に示すように、仮想視点ＶＰを移動する前に、仮想視点ＶＰの視野方向を移動先の視点の視野方向に変更してから、仮想視点ＶＰを移動させるようにしてもよい。この場合も、アニメーション表現に用いる合成画像に内装画像を重畳するようにすれば、車両９の車室内を進むような様子を示す合成画像をディスプレイ２１に表示することができ、移動する仮想視点の位置をユーザが直感的に把握することができる。
【０１１２】
＜３．第３の実施の形態＞
次に、第３の実施の形態について説明する。第１の実施の形態では、ナビモードＭ０から周辺画像を表示する動作モードＭ１，Ｍ２，Ｍ３のいずれかに切り替える場合において、地図画像ＮＰからそのまま俯瞰画像ＣＰ０にディスプレイ２１の表示内容を切り替えていた（図５参照。）。これに対して、第３の実施の形態では、地図画像ＮＰの表示と俯瞰画像ＣＰ０の表示との間に、航空写真などの写真画像を表示するようにしている。第３の実施の形態の画像表示システム１２０の構成及び動作も、第１の実施の形態とほぼ同様であるため、以下、第１の実施の形態との相違点を中心に説明する。
【０１１３】
図１７は、第３の実施の形態の画像表示システム１２０の構成を示すブロック図である。第３の実施の形態の画像表示システム１２０では、画像生成装置１００の本体部１０が、無線通信部４５を備えている。
【０１１４】
無線通信部４５は、無線通信によりインターネットなどのネットワーク８０に接続し、ネットワーク８０に接続されたサーバ装置８１からデータを取得することが可能である。サーバ装置８１においては、航空写真や衛星写真など上空から地上を撮影した写真画像が記憶されている。
【０１１５】
また、画像表示システム１２０は、プログラムに従って制御部１のＣＰＵが演算処理を行うことで実現される機能として、写真取得部１３を備えている。写真取得部１３は、無線通信部４５を介して、サーバ装置８１に対して、緯度、経度及び縮尺等を示す要求信号を送信する。これにより、写真取得部１３は、任意の位置の任意の縮尺の写真画像を取得することができる。写真取得部１３は、ナビゲーション装置２０が備えるＧＰＳ装置で得られる車両９の位置（緯度、経度）に基づいて、車両９の周辺の領域を示す写真画像を取得する。第３の実施の形態の画像表示システム１２０のその他の構成は、図１に示す第１の実施の形態の画像表示システム１２０と同様である。
【０１１６】
第３の実施の形態において、ナビモードＭ０から周辺画像を表示する動作モードＭ１，Ｍ２，Ｍ３のいずれかに切り替える場合においては、まず、図１８に示すように、ナビモードＭ０の地図画像ＮＰを表示している状態から、写真画像ＡＰが表示される。
【０１１７】
この写真画像ＡＰは、切り替え前に表示されていた地図画像ＮＰと略同一の縮尺で、車両９の周辺の領域を示すものとなっている。したがって、地図画像ＮＰと写真画像ＡＰとは、車両９を中心とした略同一の領域を示すことになる。このため、地図画像ＮＰから写真画像ＡＰにディスプレイ２１の表示内容が切り替わったとしてもユーザに違和感を与えることが無い。このような写真画像ＡＰは、写真取得部１３の制御により、無線通信部４５を利用してサーバ装置８１から取得される。
【０１１８】
この写真画像ＡＰに示される被写体像は、俯瞰画像ＣＰ０と略同一の縮尺で車両９の周囲の領域を示すまで段階的に拡大される。図１９は、ナビモードＭ０からフロントモードＭ１に切り替える場合において、ディスプレイ２１に表示される画像の遷移を示す図である。ディスプレイ２１においては、まず、地図画像ＮＰと略同一の縮尺で車両９の周辺の領域を示す写真画像ＡＰが表示される（状態ＳＴ４１）。そして、この写真画像ＡＰの被写体像が段階的に拡大され（状態ＳＴ４２）、写真画像ＡＰは、俯瞰画像ＣＰ０と略同一の縮尺で車両９の周囲の領域を示すことになる（状態ＳＴ４３）。
【０１１９】
この状態で、写真画像ＡＰから、基準視点ＶＰ０からみた合成画像ＣＰｍである俯瞰画像ＣＰ０にディスプレイ２１の表示内容が切り替えられる（状態ＳＴ４４）。この切り替え前後の写真画像ＡＰと俯瞰画像ＣＰ０とは、略同一の領域を示している。このため、写真画像ＡＰから俯瞰画像ＣＰ０にディスプレイ２１の表示内容が切り替わったとしてもユーザに違和感を与えることが無い。
【０１２０】
そして、以降は、第１の実施の形態と同様に、基準視点ＶＰ０からフロント画像の視点ＶＰ１まで、表示する合成画像ＣＰｍの仮想視点が段階的に移動するようなアニメーション表現がなされることになる（状態ＳＴ４５，ＳＴ４６）。
【０１２１】
図２０は、ナビモードＭ０から周辺画像を表示する動作モードＭ１，Ｍ２，Ｍ３のいずれかに切り替える場合の処理の流れを示す図である。
【０１２２】
まず、基準視点ＶＰ０の視点位置及び視点方向を示すデータが取得され（ステップＳ３１）、次に、移動先の視点の視点位置及び視点方向を示すデータが取得される（ステップＳ３２）。
【０１２３】
次に、写真取得部１３が、ナビゲーション装置２０から、車両９の位置（緯度、経度）及び表示している地図画像ＮＰの縮尺を取得する。そして、これらの車両９の位置（緯度、経度）及び縮尺を含む要求信号を無線通信部４５を利用してサーバ装置８１に送信する。これにより、写真取得部１３は、地図画像ＮＰと略同一の縮尺で、車両９の周辺の領域を示す写真画像ＡＰをサーバ装置８１から取得する（ステップＳ３３）。
【０１２４】
取得された写真画像ＡＰは、地図画像ＮＰに代えて表示制御部１２の制御によりディスプレイ２１に表示される（ステップＳ３４）。この場合に、瞬時に切り替えずに、アルファブレンドなどの周知の手法を利用して、地図画像ＮＰから写真画像ＡＰに徐々にディスプレイ２１の表示内容を切り替えるようにしてもよい。
【０１２５】
次に、表示制御部１２の制御により、写真画像ＡＰの被写体像が段階的に拡大される（ステップＳ３５）。この拡大によって、写真画像ＡＰが示す車両９の周辺の領域の縮尺が俯瞰画像ＣＰ０の縮尺と略同一となると（ステップＳ３６にてＹｅｓ）、写真画像ＡＰの被写体像の拡大が停止される。
【０１２６】
そして、写真画像ＡＰに代えて俯瞰画像ＣＰ０がディスプレイ２１に表示される（ステップＳ３７）。この場合にも、瞬時に切り替えずに、アルファブレンドなどの周知の手法を利用して、写真画像ＡＰから俯瞰画像ＣＰ０に徐々にディスプレイ２１の表示内容を切り替えるようにしてもよい。以降の処理は、図１０に示すステップＳ１４と同様である。
【０１２７】
このように第３の実施の形態においては、地図画像ＮＰから周辺画像にディスプレイ２１の表示内容を切り替える場合において、地図画像ＮＰと略同一の縮尺で車両の周囲の領域を示す写真画像ＡＰが表示される。そして、基準視点ＶＰ０からみた合成画像ＣＰｍである俯瞰画像ＣＰ０と略同一縮尺で車両９の周囲の領域を示すまで写真画像ＡＰの被写体像が段階的に拡大された後、第１の実施の形態と同様のアニメーション表現がなされる。
【０１２８】
このため、切り替え前の地図画像ＮＰから切り替え後の周辺画像まで、ディスプレイ２１に表示する画像の視点をスムーズに変更することができる。その結果、切り替え後にディスプレイ２１に表示された周辺画像がどの視点からみた周辺画像であるかをユーザがさらに直感的に把握できる。
【０１２９】
＜４．変形例＞
以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態に限定されるものではなく様々な変形が可能である。以下では、このような変形例について説明する。上記実施の形態で説明した形態及び以下で説明する形態を含む全ての形態は、適宜に組み合わせ可能である。
【０１３０】
上記実施の形態では、周辺画像を表示する動作モードＭ１，Ｍ２，Ｍ３では周辺画像として撮影画像が表示されるものとして説明を行ったが、周辺画像として仮想視点からみた合成画像が表示されるようにしてもよい。例えば、図２１に示すように、車両９の後方から車両９の全体をみるような仮想視点からの合成画像ＣＰ６を表示する動作モードがあってもよい。このように合成画像を表示する動作モードに切り替える場合も、基準視点から、切り替え後に表示する合成画像の視点まで仮想視点が段階的に移動するようなアニメーション表現を行うようにすることができる。
【０１３１】
また、第３の実施の形態では、写真取得部１３は、写真画像を外部のサーバ装置８１から取得すると説明した。これに対して、不揮発性メモリ４０や、ナビゲーション装置２０が備えるハードディスクなどに写真画像を予め記憶させておき、これらから写真取得部１３が写真画像を取得するようにしてもよい。
【０１３２】
また、上記実施の形態では、画像生成装置１００とナビゲーション装置２０とは別の装置であるとして説明したが、画像生成装置１００とナビゲーション装置２０とが同一の筐体内に配置されて一体型の装置として構成されてもよい。
【０１３３】
また、上記実施の形態では、画像生成装置１００で生成された画像を表示する表示装置はナビゲーション装置２０であるとして説明したが、ナビゲーション機能等の特殊な機能を有していない一般的な表示装置であってもよい。
【０１３４】
また、上記実施の形態において、画像生成装置１００の制御部１によって実現されると説明した機能の一部は、ナビゲーション装置２０の制御部２３によって実現されてもよい。
【０１３５】
また、シフトセンサ７１からの信号は、ナビゲーション装置２０に入力されるようになっていてもよい。この場合は、ナビ通信部４２を経由して、画像生成装置１００の制御部１に当該信号を入力すればよい。
【０１３６】
また、上記実施の形態では、プログラムに従ったＣＰＵの演算処理によってソフトウェア的に各種の機能が実現されると説明したが、これら機能のうちの一部は電気的なハードウェア回路により実現されてもよい。また逆に、ハードウェア回路によって実現されるとした機能のうちの一部は、ソフトウェア的に実現されてもよい。
【符号の説明】
【０１３７】
５ 撮影部
９ 車両
１２ 表示制御部
１３ 写真取得部
２１ ディスプレイ
３２ 合成画像生成部
８１ サーバ装置
ＡＰ 写真画像
ＣＰ０ 俯瞰画像
ＮＰ 地図画像
ＶＰ 仮想視点
ＶＰ０ 基準視点
【特許請求の範囲】
【請求項１】
車両に搭載される画像表示システムであって、
前記車両に配置された複数のカメラそれぞれの撮影画像を入力する入力手段と、
前記撮影画像に基づいて、任意の仮想視点からみた前記車両の周辺の領域を示す合成画像を生成する画像生成手段と、
前記撮影画像に基づく第１視点からみた第１周辺画像に表示内容を切り替える場合に、複数の前記合成画像を時間的に連続して表示して、所定の基準視点から前記第１視点まで前記仮想視点の位置が段階的に移動するアニメーション表現を行う表示手段と、
を備えることを特徴とする画像表示システム。
【請求項２】
請求項１に記載の画像表示システムにおいて、
前記表示手段は、
前記車両の周辺の地図画像を表示可能であり、
前記地図画像から前記第１周辺画像に表示内容を切り替える場合に、前記アニメーション表現を行うことを特徴とする画像表示システム。
【請求項３】
請求項１に記載の画像表示システムにおいて、
前記表示手段は、
前記第１視点と異なる第２視点からみた第２周辺画像から、前記第１周辺画像に表示内容を切り替える場合に、
前記第２視点から前記基準視点を経由して前記第１視点まで前記仮想視点の位置が段階的に移動する前記アニメーション表現を行うことを特徴とする画像表示システム。
【請求項４】
請求項１ないし３のいずれかに記載の画像表示システムにおいて、
前記基準視点は、前記車両を俯瞰する視点であることを特徴とする画像表示システム。
【請求項５】
請求項１ないし３のいずれかに記載の画像表示システムにおいて、
前記基準視点は、前記車両のドライバの視点であることを特徴とする画像表示システム。
【請求項６】
請求項２に記載の画像表示システムにおいて、
上空から地上を撮影した写真画像を取得する写真取得手段、
をさらに備え、
前記基準視点は、前記車両を俯瞰する視点であり、
前記表示手段は、前記アニメーション表現を行う前に、
前記地図画像と略同一の縮尺で前記車両の周囲の領域を示す前記写真画像を表示した後、
前記基準視点からみた前記合成画像と略同一の縮尺で前記車両の周囲の領域を示すまで前記写真画像の被写体像を段階的に拡大することを特徴とする画像表示システム。
【請求項７】
車両に搭載される表示装置に表示させる画像を生成する画像生成装置であって、
前記車両に配置された複数のカメラそれぞれの撮影画像を入力する入力手段と、
前記撮影画像に基づいて、任意の仮想視点からみた前記車両の周辺の領域を示す合成画像を生成する画像生成手段と、
前記表示装置が前記撮影画像に基づく第１視点からみた第１周辺画像に表示内容を切り替える場合に、複数の前記合成画像を前記表示装置に時間的に連続して出力し、所定の基準視点から前記第１視点まで前記仮想視点の位置が段階的に移動するアニメーション表現を前記表示装置に行わせる出力手段と、
を備えることを特徴とする画像生成装置。
【請求項８】
車両に搭載される表示装置に画像を表示する画像表示方法であって、
前記車両に配置された複数のカメラそれぞれの撮影画像を入力する工程と、
前記撮影画像に基づいて、任意の仮想視点からみた前記車両の周辺の領域を示す合成画像を生成する工程と、
前記表示装置が前記撮影画像に基づく第１視点からみた第１周辺画像に表示内容を切り替える場合に、複数の前記合成画像を時間的に連続して表示して、所定の基準視点から前記第１視点まで前記仮想視点の位置が段階的に移動するアニメーション表現を行う工程と、
を備えることを特徴とする画像表示方法。
【請求項１】
車両に搭載される画像表示システムであって、
前記車両に配置された複数のカメラそれぞれの撮影画像を入力する入力手段と、
前記撮影画像に基づいて、任意の仮想視点からみた前記車両の周辺の領域を示す合成画像を生成する画像生成手段と、
前記撮影画像に基づく第１視点からみた第１周辺画像に表示内容を切り替える場合に、複数の前記合成画像を時間的に連続して表示して、所定の基準視点から前記第１視点まで前記仮想視点の位置が段階的に移動するアニメーション表現を行う表示手段と、
を備えることを特徴とする画像表示システム。
【請求項２】
請求項１に記載の画像表示システムにおいて、
前記表示手段は、
前記車両の周辺の地図画像を表示可能であり、
前記地図画像から前記第１周辺画像に表示内容を切り替える場合に、前記アニメーション表現を行うことを特徴とする画像表示システム。
【請求項３】
請求項１に記載の画像表示システムにおいて、
前記表示手段は、
前記第１視点と異なる第２視点からみた第２周辺画像から、前記第１周辺画像に表示内容を切り替える場合に、
前記第２視点から前記基準視点を経由して前記第１視点まで前記仮想視点の位置が段階的に移動する前記アニメーション表現を行うことを特徴とする画像表示システム。
【請求項４】
請求項１ないし３のいずれかに記載の画像表示システムにおいて、
前記基準視点は、前記車両を俯瞰する視点であることを特徴とする画像表示システム。
【請求項５】
請求項１ないし３のいずれかに記載の画像表示システムにおいて、
前記基準視点は、前記車両のドライバの視点であることを特徴とする画像表示システム。
【請求項６】
請求項２に記載の画像表示システムにおいて、
上空から地上を撮影した写真画像を取得する写真取得手段、
をさらに備え、
前記基準視点は、前記車両を俯瞰する視点であり、
前記表示手段は、前記アニメーション表現を行う前に、
前記地図画像と略同一の縮尺で前記車両の周囲の領域を示す前記写真画像を表示した後、
前記基準視点からみた前記合成画像と略同一の縮尺で前記車両の周囲の領域を示すまで前記写真画像の被写体像を段階的に拡大することを特徴とする画像表示システム。
【請求項７】
車両に搭載される表示装置に表示させる画像を生成する画像生成装置であって、
前記車両に配置された複数のカメラそれぞれの撮影画像を入力する入力手段と、
前記撮影画像に基づいて、任意の仮想視点からみた前記車両の周辺の領域を示す合成画像を生成する画像生成手段と、
前記表示装置が前記撮影画像に基づく第１視点からみた第１周辺画像に表示内容を切り替える場合に、複数の前記合成画像を前記表示装置に時間的に連続して出力し、所定の基準視点から前記第１視点まで前記仮想視点の位置が段階的に移動するアニメーション表現を前記表示装置に行わせる出力手段と、
を備えることを特徴とする画像生成装置。
【請求項８】
車両に搭載される表示装置に画像を表示する画像表示方法であって、
前記車両に配置された複数のカメラそれぞれの撮影画像を入力する工程と、
前記撮影画像に基づいて、任意の仮想視点からみた前記車両の周辺の領域を示す合成画像を生成する工程と、
前記表示装置が前記撮影画像に基づく第１視点からみた第１周辺画像に表示内容を切り替える場合に、複数の前記合成画像を時間的に連続して表示して、所定の基準視点から前記第１視点まで前記仮想視点の位置が段階的に移動するアニメーション表現を行う工程と、
を備えることを特徴とする画像表示方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【公開番号】特開２０１２−３９３４１（Ｐ２０１２−３９３４１Ａ）
【公開日】平成２４年２月２３日（２０１２．２．２３）
【国際特許分類】
【出願番号】特願２０１０−１７６９２８（Ｐ２０１０−１７６９２８）
【出願日】平成２２年８月６日（２０１０．８．６）
【出願人】（０００２３７５９２）富士通テン株式会社 (3,383)
【Ｆターム（参考）】
【公開日】平成２４年２月２３日（２０１２．２．２３）
【国際特許分類】
【出願日】平成２２年８月６日（２０１０．８．６）
【出願人】（０００２３７５９２）富士通テン株式会社 (3,383)
【Ｆターム（参考）】
[ Back to top ]