画像処理装置、画像処理システム、および、画像処理方法
【課題】モデル図における視野範囲を変更することで、仮想視点の視点位置に応じて車両の周辺のいずれの領域が合成画像として表示装置に表示されるのかがユーザにひと目でわかる技術を提供する。
【解決手段】合成画像によって表現可能な、車両に対する前記仮想視点からの視野範囲を示すモデル図を出力して、モデル図の表示状態で、仮想視点の視点位置の変更をユーザから受け付ける。そして、この出力手段は、仮想視点の視点位置の変更に応じて、視野範囲を変更したモデル図を出力する。これにより、仮想視点の位置を設定した後に合成画像を表示させて確認した結果、ユーザが希望する合成画像が表示されていない場合は、設定をやり直すという煩わしい作業を解消できる。
【解決手段】合成画像によって表現可能な、車両に対する前記仮想視点からの視野範囲を示すモデル図を出力して、モデル図の表示状態で、仮想視点の視点位置の変更をユーザから受け付ける。そして、この出力手段は、仮想視点の視点位置の変更に応じて、視野範囲を変更したモデル図を出力する。これにより、仮想視点の位置を設定した後に合成画像を表示させて確認した結果、ユーザが希望する合成画像が表示されていない場合は、設定をやり直すという煩わしい作業を解消できる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に搭載された表示装置に画像を表示する技術に関する。
【背景技術】
【０００２】
一般に、車両に搭載した複数のカメラにより車両周辺の画像を取得し、自動的に、または、ユーザの操作によって、表示装置に表示することで車両周辺の監視を行う装置がある。また、カメラで撮影した画像をカメラによる視点とは異なる複数の仮想視点から見た画像となるように仮想視点の角度を調整する切替ボタンを備えた車両周囲監視装置の技術が開示されている（例えば、特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−３２４６４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載の技術は、切替ボタンによって仮想視点の視点位置を調整した後に表示装置に合成画像の画面を表示させてユーザの希望する合成画像の表示がなされているか否かを確認する。そして、ユーザが希望する表示範囲の合成画像が表示されていない場合は、再度設定画面から、切替ボタンにより仮想視点の視点位置を変更して調整をやり直すという煩わしい作業になるという問題があった。
【０００５】
本発明は、上記課題に鑑みてなされたものであり、仮想視点の視点位置に応じて車両の周辺のいずれの領域が合成画像として表示装置に表示されるのかがユーザにひと目でわかる技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、請求項１の発明は、車両に搭載された表示装置に表示させる画像を生成する画像処理装置であって、前記車両の周辺を複数のカメラで撮影して得られる複数の画像に基づいて任意の仮想視点からみた合成画像を生成する合成画像生成手段と、生成された前記合成画像を前記表示装置に出力する第１出力手段と、前記合成画像によって表現可能な、前記車両に対する前記仮想視点からの視野範囲を示すモデル図を前記表示装置に出力する第２出力手段と、前記表示装置での前記モデル図の表示状態で、前記仮想視点の視点位置の変更をユーザから受け付ける受付手段と、を備え、前記第２出力手段は、前記仮想視点の視点位置の変更に応じて、前記視野範囲を変更したモデル図を出力する。
【０００７】
また、請求項２の発明は、請求項１に記載の画像処理装置において、前記第２出力手段は、前記仮想視点の視点位置の候補を複数設けている前記モデル図の前記視点位置の変更に伴い、選択された視点位置の表示態様を他の視点位置の候補とは異なる表示態様として出力する。
【０００８】
また、請求項３の発明は、請求項１または２に記載の画像処理装置において、前記第２出力手段は、前記仮想視点から死角となる範囲の表示態様を、前記視野範囲の表示態様とは異なる表示態様として出力する。
【０００９】
また、請求項４の発明は、請求項１ないし３のいずれかに記載の画像処理装置において、前記第２出力手段は、前記視点位置の変更に伴う前記視野範囲に対応する前記合成画像とともに前記モデル図を出力する。
【００１０】
また、請求項５の発明は、車両に搭載される画像処理システムであって、請求項１ないし４のいずれかに記載の画像処理装置と、前記車両の周辺を撮影する前記車両に備えられた複数のカメラと、を備える。
【００１１】
また、請求項６の発明は、車両に搭載された表示装置に表示させる画像を生成する画像処理方法であって、前記車両の周辺を複数のカメラで撮影して得られる複数の画像に基づいて任意の仮想視点からみた合成画像を生成する合成画像生成工程と、生成された前記合成画像を前記表示装置に出力する第１出力工程と、前記合成画像によって表現可能な、前記車両に対する前記仮想視点からの視野範囲を示すモデル図を前記表示装置に出力する第２出力工程と、前記表示装置での前記モデル図の表示状態で、前記仮想視点の視点位置の変更をユーザから受け付ける受付工程と、を備え、前記第２出力工程は、前記仮想視点の視点位置の変更に応じて、前記視野範囲を変更したモデル図を出力する。
【発明の効果】
【００１２】
請求項１ないし６の発明によれば、車両に対する仮想視点からの視野範囲を示すモデル図を出力しつつ、仮想視点の視点位置の変更を受け付ける。そして、仮想視点の視点位置の変更に応じて、視野範囲を変更したモデル図を出力することで、仮想視点の視点位置に応じて車両の周辺のいずれの領域が合成画像として表示装置に表示されるのかがひと目でわかる。このため、仮想視点の位置を設定した後に合成画像を表示させて確認した結果、ユーザが希望する合成画像が表示されていない場合は、設定をやり直すという煩わしい作業を解消できる。
【００１３】
また、特に請求項２の発明によれば、視点位置の変更に伴いユーザに選択された視点位置の表示態様を他の視点位置の候補とは異なる表示態様として出力することにより、ユーザは表示装置をみて選択している視点位置をひと目で確認できる。
【００１４】
また、特に請求項３の発明によれば、仮想視点から死角となる範囲の表示態様を、モデル図における視野範囲の表示態様とは異なる表示態様として出力することにより、ユーザが設定する仮想視点から死角となって表示されない部分がひと目で確認できる。
【００１５】
また、特に請求項４の発明によれば、第２出力手段が、前記視点位置の変更に伴う前記視野範囲に対応する前記合成画像とともに前記モデル図を出力することにより、車両に対する仮想視点からの視野範囲を示すモデル図と、ユーザが選択した仮想視点の視点位置に基づいて生成される合成画像を一画面で確認しながら、視点位置の設定を行える。
【図面の簡単な説明】
【００１６】
【図１】図１は、画像処理システムの構成を示した図である。
【図２】図２は、車載カメラが車両に配置される位置を示す図である。
【図３】図３は、合成画像を生成する手法を説明するための図である。
【図４】図４は、画像処理システムの動作モードの遷移を示す図である。
【図５】図５は、モデル図の第１の例を示した図である。
【図６】図６は、モデル図の第２の例を示した図である。
【図７】図７は、モデル図と合成画像とをともに表示した第１の例を示した図である。
【図８】図８は、モデル図と合成画像とをともに表示した第２の例を示した図である。
【図９】図９は、モデル図による視点位置設定処理のフローチャートである。
【発明を実施するための形態】
【００１７】
以下、図面を参照しつつ本発明の実施の形態について説明する。
【００１８】
＜１−１．システム構成＞
図１は、画像処理システム１２０の構成を示すブロック図である。この画像処理システム１２０は、車両（本実施の形態では、自動車）に搭載されるものであり、車両の周辺を撮影して画像を生成し、その生成した画像を車室内のナビゲーション装置２０などの表示装置に出力する機能を有している。画像処理システム１２０のユーザ（代表的にはドライバ）は、この画像処理システム１２０を利用することにより、当該車両の周辺の様子をほぼリアルタイムに把握できるようになっている。
【００１９】
図１に示すように、画像処理システム１２０は、車両の周辺を示す周辺画像を生成してナビゲーション装置２０などの表示装置に画像情報を出力する画像処理装置１００と、車両の周囲を撮影するカメラを備えている撮影部５とを主に備えている。
【００２０】
ナビゲーション装置２０は、ユーザに対しナビゲーション案内を行うものであり、タッチパネル機能を備えた液晶などのディスプレイ２１と、ユーザが操作を行う操作部２２と、装置全体を制御する制御部２３とを備えている。ディスプレイ２１の画面がユーザから視認可能なように、ナビゲーション装置２０は車両のインストルメントパネルなどに設置される。ユーザからの各種の指示は、操作部２２とタッチパネルとしてのディスプレイ２１とによって受け付けられる。制御部２３は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えたコンピュータとして構成され、所定のプログラムに従ってＣＰＵが演算処理を行うことでナビゲーション機能を含む各種の機能が実現される。
【００２１】
ナビゲーション装置２０は、画像処理装置１００と通信可能に接続され、画像処理装置１００との間で各種の制御信号の送受信や、画像処理装置１００で生成された周辺画像の受信が可能となっている。ディスプレイ２１には、制御部２３の制御により、通常はナビゲーション装置２０単体の機能に基づく画像が表示されるが、所定の条件下で画像処理装置１００で生成された車両の周辺の様子を示す周辺画像が表示される。これにより、ナビゲーション装置２０は、画像処理装置１００で生成された周辺画像を受信して表示する表示装置としても機能する。
【００２２】
画像処理装置１００は、その本体部１０が周辺画像を生成する機能を有するＥＣＵ（Electronic Control Unit）として構成され、車両の所定の位置に配置される。画像処理装置１００は、車両の周辺を撮影する撮影部５を備えており、この撮影部５で車両の周辺を撮影して得られる撮影画像に基づいて仮想視点からみた合成画像を生成する画像生成装置として機能する。これらの撮影部５が備える複数の車載カメラ５１，５２，５３は、本体部１０とは別の車両の適位置に配置されるが詳細は後述する。
【００２３】
画像処理装置１００の本体部１０は、装置全体を制御する制御部１と、撮影部５で取得された撮影画像を処理して表示用の周辺画像を生成する画像生成部３と、ナビゲーション装置２０との間で通信を行うナビ通信部４２とを主に備えている。
【００２４】
ナビゲーション装置２０の操作部２２やディスプレイ２１によって受け付けられたユーザからの各種の指示は、制御信号としてナビ通信部４２によって受け付けられて制御部１に入力される。また、画像処理装置１００は、表示内容を切り替える指示をユーザから受け付ける切替スイッチ４３を備えている。この切替スイッチ４３からもユーザの指示を示す信号が制御部１に入力される。これにより、画像処理装置１００は、ナビゲーション装置２０に対するユーザの操作、及び、切替スイッチ４３に対するユーザの操作の双方に応答した動作が可能となっている。切替スイッチ４３は、ユーザが操作しやすいように、本体部１０とは別に車両の適位置に配置される。
【００２５】
画像生成部３は、各種の画像処理が可能なハードウェア回路として構成されており、合成画像生成部３１を主な機能として備えている。
【００２６】
合成画像生成部３１は、撮影部５の複数の車載カメラ５１，５２，５３で取得された複数の撮影画像に基づいて、車両の周辺の任意の仮想視点からみた合成画像を生成する。合成画像生成部３１が仮想視点からみた合成画像を生成する手法については後述する。
【００２７】
ナビ通信部４２は、画像生成部３で生成された合成画像やその合成画像の仮想視点からの視野範囲を示すモデル図をナビゲーション装置２０へ出力する出力部４２ａと、ナビゲーション装置２０のタッチパネル機能を備えたディスプレイ２１や操作部２２からのユーザが操作した情報を受信する受付部４２ｂとを備えている。ここでいうモデル図とは、実際の車両を模したモデル車両の画像に対するユーザが選択可能な仮想視点の視点位置の複数の候補が示されており、視点位置をユーザが視点位置変更アイコン用いて変更するための画像である。そして、視点位置の変更はナビゲーション装置のタッチパネル機能を備えたディスプレイ２１や操作部２２を操作することで、任意の仮想視点の視点位置に変更可能である。なお、以下では合成画像とモデル図とをあわせて画像情報ということもある。
【００２８】
出力部４２ａからの画像情報の出力は制御部１の画像情報出力指示信号に基づいて行われる。この信号を受けて、たとえば合成画像によって表現可能な、車両に対する仮想視点からの視野範囲を示すモデル図が出力される。これにより、ユーザは合成画像としてナビゲーション装置２０に表示される画像の仮想視点からの視野範囲を示すモデル図を確認できる。
【００２９】
また、出力部４２ａは上述のモデル図とともに合成画像をナビゲーション装置２０に出力することもできる。これにより、車両に対する仮想視点からの視野範囲を示すモデル図と、ユーザが選択した仮想視点の視点位置に基づいて生成される合成画像をナビゲーション装置２０の一つの画面で確認しながら、視点位置の設定を行える。
【００３０】
受信部４２ｂはモデル図がナビゲーション装置２０に表示された状態で、後述する仮想視点の視点位置の変更をユーザから受け付け、その結果、仮想視点の視点位置が変更されたモデル図が出力部４２ａから出力される。
【００３１】
制御部１は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えたコンピュータとして構成され、所定のプログラムに従ってＣＰＵが演算処理を行うことで各種の制御機能が実現される。図中に示す、画像制御部１１および表示制御部１２は、このようにして実現される制御部１の機能のうちの一部を示している。
【００３２】
画像制御部１１は、画像生成部３によって実行される画像処理を制御するものである。例えば、画像制御部１１は、合成画像生成部３１が生成する合成画像の生成に必要な各種パラメータなどを指示する。
【００３３】
表示制御部１２は、主に画像処理装置１００で処理された画像情報をナビゲーション装置２０に表示させる場合の制御を行う。たとえば、合成画像生成部３１で生成された合成画像情報のナビゲーション装置２０への出力制御や、モデル図のナビゲーション装置２０への出力制御などを行う。
【００３４】
また、画像処理装置１００の本体部１０は、不揮発性メモリ４０、カード読取部４４、及び、信号入力部４１をさらに備えており、これらは制御部１に接続されている。
【００３５】
不揮発性メモリ４０は、電源オフ時においても記憶内容を維持可能なフラッシュメモリなどで構成されている。不揮発性メモリ４０には、主に車種別データ４ａ、および、モデル図データ４ｂが記憶されている。
【００３６】
車種別データ４ａは、合成画像生成部３１が合成画像を生成する際に必要となる車両の種別に応じたデータなどである。
【００３７】
また、モデル図データ４ｂは、主に車種ごとのモデル図である車両と複数の仮想視点の視点位置候補、および、ユーザの操作により視点位置の変更を行う視点位置候補変更アイコンなどを含むデータである。このモデル図データ４ｂは制御部１の表示制御部１２の画像情報出力指示信号により出力部４２ａを介してナビゲーション装置２０に出力される。
【００３８】
カード読取部４４は、可搬性の記録媒体であるメモリカードＭＫの読み取りを行う。カード読取部４４は、メモリカードＭＫの着脱が可能なカードスロットを備えており、そのカードスロットに装着されたメモリカードＭＫに記録されたデータを読み取る。カード読取部４４で読み取られたデータは、制御部１に入力される。
【００３９】
メモリカードＭＫは、種々のデータを記憶可能なフラッシュメモリなどで構成されており、画像処理装置１００はメモリカードＭＫに記憶された種々のデータを利用できる。例えば、メモリカードＭＫにプログラムを記憶させ、これを読み出すことで、制御部１の機能を実現するプログラム（ファームウェア）を更新することが可能である。また、メモリカードＭＫに不揮発性メモリ４０に記憶された車種別データ４ａとは異なる種別の車両に応じた車種別データを記憶させ、これを読み出して不揮発性メモリ４０に記憶させることで、画像処理システム１２０を異なる種別の車両に対応させることも可能である。
【００４０】
また、信号入力部４１は、車両に設けられた各種装置からの信号を入力する。この信号入力部４１を介して、画像表示システム１２０の外部からの信号が制御部１に入力される。具体的には、シフトセンサ８１、および、車速度センサ８２などから、各種情報を示す信号が制御部１に入力される。
【００４１】
シフトセンサ８１からは、車両９の変速装置のシフトレバーの操作の位置、すなわち、”Ｐ（駐車）”，”Ｄ（前進）”，”Ｎ（中立）”，”Ｒ（後退）”などのシフトポジションが入力される。車速度センサ８２からは、その時点の車両９の走行速度（ｋｍ／ｈ）が入力される。
【００４２】
＜１−２．撮影部＞
次に、画像処理装置１００の撮影部５について詳細に説明する。撮影部５は、制御部１に電気的に接続され、制御部１からの信号に基づいて動作する。
【００４３】
撮影部５は、車載カメラであるフロントカメラ５１、バックカメラ５２及びサイドカメラ５３を備えている。これらの車載カメラ５１，５２，５３はそれぞれ、ＣＣＤやＣＭＯＳなどの撮像素子を備えており電子的に画像を取得する。
【００４４】
図２は、車載カメラ５１，５２，５３が車両９に配置される位置を示す図である。なお、以下の説明においては、方向及び向きを示す際に、適宜、図中に示す３次元のＸＹＺ直交座標を用いる。このＸＹＺ軸は車両９に対して相対的に固定される。ここで、Ｘ軸方向は車両９の左右方向に沿い、Ｙ軸方向は車両９の直進方向（前後方向）に沿い、Ｚ軸方向は鉛直方向に沿っている。また、便宜上、＋Ｘ側を車両９の右側、＋Ｙ側を車両９の後側、＋Ｚ側を上側とする。
【００４５】
フロントカメラ５１は、車両９の前端にあるナンバープレート取付位置の近傍に設けられ、その光軸５１ａは車両９の直進方向（平面視でＹ軸方向の−Ｙ側）に向けられている。バックカメラ５２は、車両９の後端にあるナンバープレート取付位置の近傍に設けられ、その光軸５２ａは車両９の直進方向の逆方向（平面視でＹ軸方向の＋Ｙ側）に向けられている。また、サイドカメラ５３は、左右のドアミラー９３にそれぞれ設けられており、その光軸５３ａは車両９の左右方向（平面視でＸ軸方向）に沿って外部に向けられている。なお、フロントカメラ５１やバックカメラ５２の取り付け位置は、左右略中央であることが望ましいが、左右中央から左右方向に多少ずれた位置であってもよい。
【００４６】
これらの車載カメラ５１，５２，５３のレンズとしては魚眼レンズなどが採用されており、車載カメラ５１，５２，５３は１８０度以上の画角αを有している。このため、４つの車載カメラ５１，５２，５３を利用することで、車両９の全周囲の撮影が可能となっている。
【００４７】
＜１−３．画像変換処理＞
次に、画像生成部３の合成画像生成部３１が、撮影部５で得られた複数の撮影画像に基づいて車両９の周辺を任意の仮想視点からみた様子を示す合成画像を生成する手法について説明する。合成画像を生成する際には、不揮発性メモリ４０に予め記憶された車種別データ４ａが利用される。図３は、合成画像を生成する手法を説明するための図である。
【００４８】
撮影部５のフロントカメラ５１、バックカメラ５２及びサイドカメラ５３で同時に撮影が行われると、車両９の前方、後方、左側方、及び、右側方をそれぞれ示す４つの撮影画像Ｐ１〜Ｐ４が取得される。すなわち、撮影部５で取得される４つの撮影画像Ｐ１〜Ｐ４には、撮影時点の車両９の全周囲を示す情報が含まれていることになる。
【００４９】
次に、４つの撮影画像Ｐ１〜Ｐ４の各画素が、仮想的な三次元空間における立体曲面ＳＰ２に投影される。立体曲面ＳＰ２は、例えば略半球状（お椀形状）をしており、その中心部分（お椀の底部分）が車両９が存在する位置として定められている。撮影画像Ｐ１〜Ｐ４に含まれる各画素の位置と、この立体曲面ＳＰ２の各画素の位置とは予め対応関係が定められている。このため、立体曲面ＳＰ２の各画素の値は、この対応関係と撮影画像Ｐ１〜Ｐ４に含まれる各画素の値とに基づいて決定できる。
【００５０】
なお、撮影画像Ｐ１〜Ｐ４の撮影は、上記のとおり車載カメラ５１，５２，５３は１８０度以上の画角αを有している広角カメラを用いている。このように広角カメラで撮影を行った場合、画像の一部がカメラのフードやフィルター枠などの障害物に遮られて周辺領域の光量低下がおこることにより、画面内に撮影者が意図しない陰りが生じることがある。このように陰りが生じている現象を一般に「ケラレ」という。
【００５１】
図３に示す立体曲面ＳＰ１は、撮影画像Ｐ１〜Ｐ４の一部のケラレの発生により、それらの画像を投影した立体曲面ＳＰ１の周辺の所定領域に光量低下による陰りが生じている状態を示している。このように陰りが生じている立体曲面をそのままナビゲーション装置２０に表示すると、所定の仮想視点からみた合成画像が略半球状（お椀形状）とはならない。
【００５２】
そのため、立体曲面ＳＰ１のうちケラレによる光量低下が生じている周辺領域を除いた中央の略半球状（お椀形状）の領域である立体曲面ＳＰ２を用いて、任意の仮想視点に応じた合成画像を生成する。たとえば図４に示すように、立体曲面ＳＰ１の破線部分を境界として、ケラレによる光量低下が生じている周辺領域を取り除いて、立体曲面ＳＰ２とする。これにより、略半球状（お椀形状）の被写体の画像を形成でき、ユーザがお椀を上から覗き込んだように立体的に表示された車両と障害物との位置関係を把握できる画像を提供できる。
【００５３】
なお、上記では一例としてケラレによる光量低下の場合の処理について述べたが、ケラレ以外の光量低下（たとえば、口径食による光量低下など）が発生した場合にも適用可能である。
【００５４】
また、撮影画像Ｐ１〜Ｐ４の各画素の位置と立体曲面ＳＰの各画素の位置との対応関係は、車両９における４つの車載カメラ５１，５２，５３の配置（相互間距離、地上高さ、光軸角度等）に依存する。このため、この対応関係を示すテーブルデータが、不揮発性メモリ４０に記憶された車種別データ４ａに含まれている。
【００５５】
また、車種別データ４ａに含まれる車体の形状やサイズを示すポリゴンデータが利用され、車両９の三次元形状を示すポリゴンモデルである車両像が仮想的に構成される。構成された車両像は、立体曲面ＳＰが設定される三次元空間において、車両９の位置と定められた略半球状の中心部分に配置される。
【００５６】
さらに、立体曲面ＳＰが存在する三次元空間に対して、制御部１により仮想視点ＶＰが設定される。仮想視点ＶＰは、視点位置と視野方向とで規定され、この三次元空間における車両９の周辺に相当する任意の視点位置に任意の視野方向に向けて設定される。
【００５７】
そして、設定された仮想視点ＶＰに応じて、上記のように立体曲面ＳＰ２における必要な領域が画像として切り出される。仮想視点ＶＰと、立体曲面ＳＰにおける必要な領域との関係は予め定められており、テーブルデータとして不揮発性メモリ４０等に予め記憶されている。一方で、設定された仮想視点ＶＰに応じてポリゴンで構成された車両像に関してレンダリングがなされ、その結果となる二次元の車両像が、切り出された画像に対して重畳される。これにより、車両９及びその車両９の周辺を任意の仮想視点からみた様子を示す合成画像が生成されることになる。
【００５８】
例えば、視点位置が車両９の位置の略中央の直上位置で、視野方向が略直下方向とした仮想視点ＶＰ１１を設定した場合は、車両９の略直上から車両９を見下ろすように、車両９（実際には車両像）及び車両９の周辺の様子を示す合成画像ＣＰ１が生成される。また、図中に示すように、視点位置が車両９の位置の左後方で、視野方向が車両９における略前方とした仮想視点ＶＰ１２を設定した場合は、車両９の左後方からその周辺全体を見渡すように、車両９（実際には車両像）及び車両９の周辺の様子を示す合成画像ＣＰ２が生成される。
【００５９】
なお、実際に合成画像を生成する場合においては、立体曲面ＳＰ２の全ての画素の値を決定する必要はなく、設定された仮想視点ＶＰに対応して必要となる領域の画素の値のみを撮影画像Ｐ１〜Ｐ４に基づいて決定することで、処理速度を向上できる。
【００６０】
＜１−４．動作モード＞
次に、画像処理システム１２０の動作モードについて説明する。図４は、画像処理システム１２０の動作モードの遷移を示す図である。画像処理システム１２０は、ナビモードＭ０、周囲確認モードＭ１、フロントモードＭ２、及び、バックモードＭ３の４つの動作モードを有している。これらの動作モードは、ドライバの操作や車両９の走行状態に応じて制御部１の制御により切り替えられるようになっている。
【００６１】
ナビモードＭ０は、ナビゲーション装置２０の機能により、ナビゲーション案内用の地図画像などをディスプレイ２１に表示する動作モードである。ナビモードＭ０では、画像処理装置１００の機能が利用されず、ナビゲーション装置２０単体の機能で各種の表示がなされる。このため、ナビゲーション装置２０が、テレビジョン放送の電波を受信して表示する機能を有している場合は、ナビゲーション案内用の地図画像に代えて、テレビジョン放送画面が表示されることもある。
【００６２】
これに対して、周囲確認モードＭ１、フロントモードＭ２及びバックモードＭ３は、画像処理装置１００の機能を利用して、車両９の周辺の状況をリアルタイムで示す表示用画像をディスプレイ２１に表示する動作モードである。
【００６３】
周囲確認モードＭ１は、車両９を見下ろした状態で車両９の周囲を周回するようなアニメーション表現を行う動作モードである。フロントモードＭ２は、前進時に必要となる車両９の前方や側方を主に示す表示用画像を表示する動作モードである。また、バックモードＭ３は、後退時に必要となる車両９の後方を主に示す表示用画像を表示する動作モードである。
【００６４】
画像処理システム１２０は起動すると、最初に周囲確認モードＭ１となる。周囲確認モードＭ１の場合には、車両９の周囲を周回するようなアニメーション表現がなされた後に所定時間（例えば、６秒）が経過すると、自動的にフロントモードＭ２に切り替えられる。また、フロントモードＭ２の場合において、走行速度が例えば０ｋｍ／ｈの状態（停止状態）で切替スイッチ４３が所定時間以上継続して押下されると、周囲確認モードＭ１に切り替えられる。なお、ドライバからの所定の指示で、周囲確認モードＭ１からフロントモードＭ２に切り替えるようにしてもよい。
【００６５】
また、フロントモードＭ２の場合に走行速度が例えば１０ｋｍ／ｈ以上になったときは、ナビモードＭ０に切り替えられる。逆に、ナビモードＭ０の場合に車速度センサ８２から入力される走行速度が例えば１０ｋｍ／ｈ未満になったときは、フロントモードＭ２に切り替えられる。
【００６６】
車両９の走行速度が比較的高い場合においては、ドライバを走行に集中させるためにフロントモードＭ２が解除される。逆に、車両９の走行速度が比較的低い場合においては、ドライバは車両９の周辺の状況をより考慮した運転、具体的には、見通しの悪い交差点への進入、方向変更、あるいは、幅寄せなどを行っている場面が多い。このため、走行速度が比較的低い場合においては、ナビモードＭ０からフロントモードＭ２に切り替えられる。なお、ナビモードＭ０からフロントモードＭ２に切り替える場合は、走行速度が１０ｋｍ／ｈ未満という条件に、ドライバからの明示的な操作指示があるという条件を加えてもよい。
【００６７】
また、ナビモードＭ０の場合において、走行速度が例えば０ｋｍ／ｈの状態（停止状態）で切替スイッチ４３が所定時間以上継続して押下されると、周囲確認モードＭ１に切り替えられる。そして、車両９の周囲を周回するようなアニメーション表現がなされた後に所定時間（例えば、６秒）が経過すると、自動的にもとのモードであるナビモードＭ２に切り替える。
【００６８】
また、ナビモードＭ０あるいはフロントモードＭ２の場合に、シフトセンサ８１から入力されるシフトレバーの位置が”Ｒ（後退）”となったときは、バックモードＭ３に切り替えられる。すなわち、車両９の変速装置が”Ｒ（後退）”の位置に操作されているときには、車両９は後退する状態であるため、車両９の後方を主に示すバックモードＭ３に切り替えられる。
【００６９】
一方、バックモードＭ３の場合に、シフトレバーの位置が”Ｒ（後退）”以外となったときは、その時点の走行速度を基準として、ナビモードＭ０あるいはフロントモードＭ２に切り替えられる。すなわち、走行速度が１０ｋｍ／ｈ以上であればナビモードＭ０に切り替えられ、走行速度が１０ｋｍ／ｈ未満であればフロントモードＭ２に切り替えられる。
＜１−５．モデル図＞
次に、画像処理装置１００に備えられたナビ通信部４２の出力部４２ａから出力され、ナビゲーション装置２０に表示されるモデル図について、モデル図の第１の例を示した図５を用いて説明する。
【００７０】
図５に示すモデル図ＭＤ１には、モデル車両ＭＣに対して複数の仮想視点の視点位置の候補ＶＰ１〜ＶＰ５が設けられている。ユーザは視点位置変更アイコン６１を操作することでこれらの候補から任意の視点位置に変更する。なおこの操作は、ナビゲーション装置２０のタッチパネル機能を備えたディスプレイ２１や操作部２２を用いて行われる。
【００７１】
図５に示されている例では、モデル車両ＭＣの後方に位置する視点位置ＶＰ１が選択されており、この視点位置ＶＰ１からの視野範囲ＦＥ１が斜線にて表示されている。この視野範囲ＦＥ１は、たとえば、上記のバックモードやフロントモードの際にナビゲーション装置２０に表示される合成画像の表示範囲に対応している。
【００７２】
戻るボタン７１は、ひとつ前の画面である図示しない設定画面に戻る際に、ユーザにより選択される。また、完了ボタン７２は、仮想視点の位置の変更情報を不揮発性メモリ４０に記憶してひとつ前の画面である図示しない設定メニュー画面に戻る際に、ユーザにより選択される。そして、設定された仮想視点の視点位置に基づいて、上記のバックモードやフロントモードの合成画像の表示が行われる。
【００７３】
次に、別の視点位置からの視野範囲を示したモデル図を第２の例とし、図６を用いて説明する。図６において上記図５に示すモデル図と異なる点は、仮想視点の視点位置がモデル車両ＭＣの後方の視点位置ＶＰ１からモデル車両ＭＣの直上（真上）の視点位置ＶＰ３に変更された点である。この変更はユーザのタッチパネル機能を備えたディスプレイ２１や操作部２２の操作に基づいて行われる。
【００７４】
そして、この視点位置の変更に伴い、視野範囲も視点位置ＶＰ１に対応するＦＥ１の視野範囲から視点位置ＶＰ３に対応する視野範囲ＦＥ３に変更される。これにより、車両に対する仮想視点からの視野範囲を示すモデル図を出力しつつ、仮想視点の視点位置の変更を受け付けることができる。また、仮想視点の視点位置の変更に応じて、視野範囲を変更したモデル図を出力することで、仮想視点の視点位置に応じて車両の周辺のいずれの領域が合成画像として表示装置に表示されるのかがユーザはひと目でわかる。このため、仮想視点の位置を設定した後に合成画像を表示させて確認した結果、ユーザが希望する合成画像が示されていない場合は、設定をやり直すという煩わしい作業を解消できる。
【００７５】
また、選択された視点位置の表示態様を他の視点位置の候補の表示態様とは異ならせる。これにより、ユーザは表示装置をみて選択している視点位置をひと目で確認できる。
【００７６】
このようにユーザにより選択されている視点位置の表示態様と選択されていない視点位置の表示態様とを異ならせる方法としては、それぞれの表示の明るさを変えることがあげられる。たとえば、選択されている視点位置を明るい色（黄色や赤色などの光で照らされているような色）とし、選択されていない視点位置を暗い色（黒色や茶色などの光が遮られているような色）とする。
【００７７】
なお、視点位置がＶＰ１からＶＰ３に変更されたことにより車両後方の後部ガラス上端部のルーフスポイラーの付近（図６では黒塗りで表示されている部分の死角領域ＦＳ３）が仮想視点の視点位置ＶＰ３から死角となる範囲として表示されている。このようにユーザに選択された視点位置から死角となる範囲は視野範囲ＦＥ３の表示態様と異なる表示態様とする。これにより、ユーザが設定する仮想視点から死角となって合成画像によって表示されない部分がひと目で確認できる。
【００７８】
視野範囲の表示態様と死角となる範囲の表示態様とを異ならせる方法としては、両者の明るさを変える。たとえば、視野範囲を明るい色（黄色や赤色などの光で照らされているような色）とし、死角となる範囲を暗い色（黒色や茶色などの光が遮られているような色）とする。
【００７９】
さらに、別の例としてモデル図と合成画像とを組み合わせてナビゲーション装置２０に表示する第１の例を図７に示し、第２の例を図８に示す。図７では、上述の図５において説明したモデル図とともにその表示範囲ＦＥ１に対応して表示される合成画像ＣＩ１をナビゲーション装置２０の一画面で表示している。これにより、ユーザは車両に対する仮想視点からの視野範囲を示すモデル図と、ユーザが選択した仮想視点の視点位置に基づいて生成される合成画像とを一画面で実際に確認しながら、視点位置の設定を行える。
【００８０】
図８は上述の図６において説明したモデル図とともにその表示範囲ＦＥ３に対応して表示される合成画像ＣＩ３をナビゲーション装置２０の一画面で表示している。そして、図７から図８へのモデル図および合成画像の変更は、ユーザが視点位置変更アイコン６１を操作して行う。これにより、ユーザは仮想視点の視点位置とその視点位置に対応したナビゲーション装置２０に表示される合成画像の表示範囲を確認しながら、視点位置の変更を行える。
【００８１】
なお、上述の実施の形態では、視点位置の変更はＶＰ１からＶＰ３への変更について述べたがこれ以外の視点位置への変更も可能であり、また実施の形態で述べた５箇所の視点位置に限定されることはなく、この５箇所以外の位置に視点位置を設けてもよい。また、視点位置の数を５箇所よりも減らしてもよい。
【００８２】
さらに、モデル図と合成画像とをともに表示する場合、一画面で表示する以外にそれぞれを別画面として表示してもよい。
【００８３】
＜２．動作＞
次に、モデル図による視点位置設定処理を図９に示すフローチャートを用いて説明する。画像処理装置１００は、ユーザが合成画像の仮想視点の視点位置を設定するためにタッチ機能を備えたディスプレイ２１や操作部２２を操作した旨の設定ボタン押下信号を受信する（ステップＳ１０１がＹｅｓ）と、不揮発性メモリ４０に記憶されている図示しない設定画面の情報をナビゲーション装置２０へ出力して（ステップＳ１０２）、次の処理であるステップＳ１０３へ進む。なお、設定ボタン押下信号を受信していない場合（ステップＳ１０１がＮｏ）は、処理を終了する。
【００８４】
次に、ステップＳ１０３では設定画面のうちの仮想視点の視点位置設定ボタンが押下された信号を受信する（ステップＳ１０３がＹｅｓ）と、現在設定されている視点位置に対応した視野範囲を示すモデル図を不揮発性メモリ４０のモデル図データ４ｂから読み出して、出力部４２ａを介してナビゲーション装置２０へ出力する（ステップＳ１０４）。なお、画像処理装置１００の受信部４２ｂが仮想視点の視点位置設定ボタンの押下信号を受信していない場合（ステップＳ１０３がＮｏ）は、処理を終了する。
【００８５】
そして、ナビゲーション装置２０に表示されたモデル図の視点位置変更アイコン６１をユーザが操作したことで、視点位置を所定の位置に変更した場合はその信号を受付部４２ｂが受信する（ステップＳ１０５がＹｅｓ）と、不揮発性メモリ４０に変更した視点位置情報を記憶する（ステップＳ１０６）。
【００８６】
なお、視点位置の変更に伴う信号を受付部４２ｂが受信していない場合は、ナビゲーション装置２０に同一の視点位置のモデル図がそのまま表示された状態となり、次の処理であるステップＳ１０８へ進む。
【００８７】
ステップＳ１０６にて視点位置の情報を記憶した後は、変更された視点位置でその視点位置に対応した視野範囲を示すモデル図情報をモデル図データ４ｂから読み出して、出力部４２ａからナビゲーション装置２０へ出力する（ステップＳ１０７）。これにより、車両に対する仮想視点からの視野範囲を示すモデル図を出力しつつ、仮想視点の視点位置の変更を受け付ける。
【００８８】
そして、仮想視点の視点位置の変更に応じて、視野範囲を変更したモデル図を出力することで、仮想視点の視点位置に応じて車両の周辺のいずれの領域が合成画像として表示装置に表示されるのかがひと目でわかる。このため、仮想視点の位置を設定した後に合成画像を表示させて確認した結果、ユーザが希望する合成画像が示されていない場合は、設定をやり直すという煩わしい作業を解消できる。
【００８９】
次に、モデル図内の完了ボタン７２が押下された信号を受信する（ステップＳ１０８がＹｅｓ）と、変更後の視点位置の設定のまま処理を終了して、設定ボタン押下前の画面（例えば、ナビモードの画面）に戻る。なお、完了ボタンが押下された信号を受信していない場合（ステップＳ１０８がＮｏ）の場合は、ナビゲーション装置２０にモデル図がそのまま表示された状態となる。または、所定時間経過後にナビモードの画面に戻る。
【００９０】
なお、上記処理で説明した不揮発性メモリ４０に記憶されているモデルデータ４ｂや図示しない設定画面のデータなどはナビゲーション装置２０に備えられた図示しないメモリに記憶していてもよい。
＜３．変形例＞
以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態に限定されるものではなく様々な変形が可能である。以下では、このような変形例について説明する。上記実施の形態で説明した形態及び以下で説明する形態を含む全ての形態は、適宜に組み合わせ可能である。
【００９１】
上記実施の形態では、画像処理装置１００とナビゲーション装置２０とは別の装置であるとして説明したが、画像処理装置１００とナビゲーション装置２０とが同一の筐体内に配置されて一体型の装置として構成されてもよい。
【００９２】
また、上記実施の形態では、画像処理装置１００で生成された画像を表示する表示装置はナビゲーション装置２０であるとして説明したが、ナビゲーション機能等の特殊な機能を有していない一般的な表示装置であってもよい。
【００９３】
また、上記実施の形態において、画像処理装置１００の制御部１によって実現されると説明した機能の一部は、ナビゲーション装置２０の制御部２３によって実現されてもよい。
【００９４】
また、上記実施の形態において、信号入力部４１を介して画像処理装置１００の制御部１に入力されると説明した信号の一部または全部は、ナビゲーション装置２０に入力されるようになっていてもよい。この場合は、ナビ通信部４２を経由して、画像処理装置１００の制御部１に当該信号を入力すればよい。
【００９５】
また、上記実施の形態では、プログラムに従ったＣＰＵの演算処理によってソフトウェア的に各種の機能が実現されると説明したが、これら機能のうちの一部は電気的なハードウェア回路により実現されてもよい。また逆に、ハードウェア回路によって実現されるとした機能のうちの一部は、ソフトウェア的に実現されてもよい。
【符号の説明】
【００９６】
１ 制御部
３ 画像生成部
５ 撮影部
２０ ナビゲーション装置
４０ 不揮発性メモリ
４１ 信号入力部
４２ ナビ通信部
８１ シフトセンサ
８２ 車速度センサ
【技術分野】
【０００１】
本発明は、車両に搭載された表示装置に画像を表示する技術に関する。
【背景技術】
【０００２】
一般に、車両に搭載した複数のカメラにより車両周辺の画像を取得し、自動的に、または、ユーザの操作によって、表示装置に表示することで車両周辺の監視を行う装置がある。また、カメラで撮影した画像をカメラによる視点とは異なる複数の仮想視点から見た画像となるように仮想視点の角度を調整する切替ボタンを備えた車両周囲監視装置の技術が開示されている（例えば、特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−３２４６４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載の技術は、切替ボタンによって仮想視点の視点位置を調整した後に表示装置に合成画像の画面を表示させてユーザの希望する合成画像の表示がなされているか否かを確認する。そして、ユーザが希望する表示範囲の合成画像が表示されていない場合は、再度設定画面から、切替ボタンにより仮想視点の視点位置を変更して調整をやり直すという煩わしい作業になるという問題があった。
【０００５】
本発明は、上記課題に鑑みてなされたものであり、仮想視点の視点位置に応じて車両の周辺のいずれの領域が合成画像として表示装置に表示されるのかがユーザにひと目でわかる技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、請求項１の発明は、車両に搭載された表示装置に表示させる画像を生成する画像処理装置であって、前記車両の周辺を複数のカメラで撮影して得られる複数の画像に基づいて任意の仮想視点からみた合成画像を生成する合成画像生成手段と、生成された前記合成画像を前記表示装置に出力する第１出力手段と、前記合成画像によって表現可能な、前記車両に対する前記仮想視点からの視野範囲を示すモデル図を前記表示装置に出力する第２出力手段と、前記表示装置での前記モデル図の表示状態で、前記仮想視点の視点位置の変更をユーザから受け付ける受付手段と、を備え、前記第２出力手段は、前記仮想視点の視点位置の変更に応じて、前記視野範囲を変更したモデル図を出力する。
【０００７】
また、請求項２の発明は、請求項１に記載の画像処理装置において、前記第２出力手段は、前記仮想視点の視点位置の候補を複数設けている前記モデル図の前記視点位置の変更に伴い、選択された視点位置の表示態様を他の視点位置の候補とは異なる表示態様として出力する。
【０００８】
また、請求項３の発明は、請求項１または２に記載の画像処理装置において、前記第２出力手段は、前記仮想視点から死角となる範囲の表示態様を、前記視野範囲の表示態様とは異なる表示態様として出力する。
【０００９】
また、請求項４の発明は、請求項１ないし３のいずれかに記載の画像処理装置において、前記第２出力手段は、前記視点位置の変更に伴う前記視野範囲に対応する前記合成画像とともに前記モデル図を出力する。
【００１０】
また、請求項５の発明は、車両に搭載される画像処理システムであって、請求項１ないし４のいずれかに記載の画像処理装置と、前記車両の周辺を撮影する前記車両に備えられた複数のカメラと、を備える。
【００１１】
また、請求項６の発明は、車両に搭載された表示装置に表示させる画像を生成する画像処理方法であって、前記車両の周辺を複数のカメラで撮影して得られる複数の画像に基づいて任意の仮想視点からみた合成画像を生成する合成画像生成工程と、生成された前記合成画像を前記表示装置に出力する第１出力工程と、前記合成画像によって表現可能な、前記車両に対する前記仮想視点からの視野範囲を示すモデル図を前記表示装置に出力する第２出力工程と、前記表示装置での前記モデル図の表示状態で、前記仮想視点の視点位置の変更をユーザから受け付ける受付工程と、を備え、前記第２出力工程は、前記仮想視点の視点位置の変更に応じて、前記視野範囲を変更したモデル図を出力する。
【発明の効果】
【００１２】
請求項１ないし６の発明によれば、車両に対する仮想視点からの視野範囲を示すモデル図を出力しつつ、仮想視点の視点位置の変更を受け付ける。そして、仮想視点の視点位置の変更に応じて、視野範囲を変更したモデル図を出力することで、仮想視点の視点位置に応じて車両の周辺のいずれの領域が合成画像として表示装置に表示されるのかがひと目でわかる。このため、仮想視点の位置を設定した後に合成画像を表示させて確認した結果、ユーザが希望する合成画像が表示されていない場合は、設定をやり直すという煩わしい作業を解消できる。
【００１３】
また、特に請求項２の発明によれば、視点位置の変更に伴いユーザに選択された視点位置の表示態様を他の視点位置の候補とは異なる表示態様として出力することにより、ユーザは表示装置をみて選択している視点位置をひと目で確認できる。
【００１４】
また、特に請求項３の発明によれば、仮想視点から死角となる範囲の表示態様を、モデル図における視野範囲の表示態様とは異なる表示態様として出力することにより、ユーザが設定する仮想視点から死角となって表示されない部分がひと目で確認できる。
【００１５】
また、特に請求項４の発明によれば、第２出力手段が、前記視点位置の変更に伴う前記視野範囲に対応する前記合成画像とともに前記モデル図を出力することにより、車両に対する仮想視点からの視野範囲を示すモデル図と、ユーザが選択した仮想視点の視点位置に基づいて生成される合成画像を一画面で確認しながら、視点位置の設定を行える。
【図面の簡単な説明】
【００１６】
【図１】図１は、画像処理システムの構成を示した図である。
【図２】図２は、車載カメラが車両に配置される位置を示す図である。
【図３】図３は、合成画像を生成する手法を説明するための図である。
【図４】図４は、画像処理システムの動作モードの遷移を示す図である。
【図５】図５は、モデル図の第１の例を示した図である。
【図６】図６は、モデル図の第２の例を示した図である。
【図７】図７は、モデル図と合成画像とをともに表示した第１の例を示した図である。
【図８】図８は、モデル図と合成画像とをともに表示した第２の例を示した図である。
【図９】図９は、モデル図による視点位置設定処理のフローチャートである。
【発明を実施するための形態】
【００１７】
以下、図面を参照しつつ本発明の実施の形態について説明する。
【００１８】
＜１−１．システム構成＞
図１は、画像処理システム１２０の構成を示すブロック図である。この画像処理システム１２０は、車両（本実施の形態では、自動車）に搭載されるものであり、車両の周辺を撮影して画像を生成し、その生成した画像を車室内のナビゲーション装置２０などの表示装置に出力する機能を有している。画像処理システム１２０のユーザ（代表的にはドライバ）は、この画像処理システム１２０を利用することにより、当該車両の周辺の様子をほぼリアルタイムに把握できるようになっている。
【００１９】
図１に示すように、画像処理システム１２０は、車両の周辺を示す周辺画像を生成してナビゲーション装置２０などの表示装置に画像情報を出力する画像処理装置１００と、車両の周囲を撮影するカメラを備えている撮影部５とを主に備えている。
【００２０】
ナビゲーション装置２０は、ユーザに対しナビゲーション案内を行うものであり、タッチパネル機能を備えた液晶などのディスプレイ２１と、ユーザが操作を行う操作部２２と、装置全体を制御する制御部２３とを備えている。ディスプレイ２１の画面がユーザから視認可能なように、ナビゲーション装置２０は車両のインストルメントパネルなどに設置される。ユーザからの各種の指示は、操作部２２とタッチパネルとしてのディスプレイ２１とによって受け付けられる。制御部２３は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えたコンピュータとして構成され、所定のプログラムに従ってＣＰＵが演算処理を行うことでナビゲーション機能を含む各種の機能が実現される。
【００２１】
ナビゲーション装置２０は、画像処理装置１００と通信可能に接続され、画像処理装置１００との間で各種の制御信号の送受信や、画像処理装置１００で生成された周辺画像の受信が可能となっている。ディスプレイ２１には、制御部２３の制御により、通常はナビゲーション装置２０単体の機能に基づく画像が表示されるが、所定の条件下で画像処理装置１００で生成された車両の周辺の様子を示す周辺画像が表示される。これにより、ナビゲーション装置２０は、画像処理装置１００で生成された周辺画像を受信して表示する表示装置としても機能する。
【００２２】
画像処理装置１００は、その本体部１０が周辺画像を生成する機能を有するＥＣＵ（Electronic Control Unit）として構成され、車両の所定の位置に配置される。画像処理装置１００は、車両の周辺を撮影する撮影部５を備えており、この撮影部５で車両の周辺を撮影して得られる撮影画像に基づいて仮想視点からみた合成画像を生成する画像生成装置として機能する。これらの撮影部５が備える複数の車載カメラ５１，５２，５３は、本体部１０とは別の車両の適位置に配置されるが詳細は後述する。
【００２３】
画像処理装置１００の本体部１０は、装置全体を制御する制御部１と、撮影部５で取得された撮影画像を処理して表示用の周辺画像を生成する画像生成部３と、ナビゲーション装置２０との間で通信を行うナビ通信部４２とを主に備えている。
【００２４】
ナビゲーション装置２０の操作部２２やディスプレイ２１によって受け付けられたユーザからの各種の指示は、制御信号としてナビ通信部４２によって受け付けられて制御部１に入力される。また、画像処理装置１００は、表示内容を切り替える指示をユーザから受け付ける切替スイッチ４３を備えている。この切替スイッチ４３からもユーザの指示を示す信号が制御部１に入力される。これにより、画像処理装置１００は、ナビゲーション装置２０に対するユーザの操作、及び、切替スイッチ４３に対するユーザの操作の双方に応答した動作が可能となっている。切替スイッチ４３は、ユーザが操作しやすいように、本体部１０とは別に車両の適位置に配置される。
【００２５】
画像生成部３は、各種の画像処理が可能なハードウェア回路として構成されており、合成画像生成部３１を主な機能として備えている。
【００２６】
合成画像生成部３１は、撮影部５の複数の車載カメラ５１，５２，５３で取得された複数の撮影画像に基づいて、車両の周辺の任意の仮想視点からみた合成画像を生成する。合成画像生成部３１が仮想視点からみた合成画像を生成する手法については後述する。
【００２７】
ナビ通信部４２は、画像生成部３で生成された合成画像やその合成画像の仮想視点からの視野範囲を示すモデル図をナビゲーション装置２０へ出力する出力部４２ａと、ナビゲーション装置２０のタッチパネル機能を備えたディスプレイ２１や操作部２２からのユーザが操作した情報を受信する受付部４２ｂとを備えている。ここでいうモデル図とは、実際の車両を模したモデル車両の画像に対するユーザが選択可能な仮想視点の視点位置の複数の候補が示されており、視点位置をユーザが視点位置変更アイコン用いて変更するための画像である。そして、視点位置の変更はナビゲーション装置のタッチパネル機能を備えたディスプレイ２１や操作部２２を操作することで、任意の仮想視点の視点位置に変更可能である。なお、以下では合成画像とモデル図とをあわせて画像情報ということもある。
【００２８】
出力部４２ａからの画像情報の出力は制御部１の画像情報出力指示信号に基づいて行われる。この信号を受けて、たとえば合成画像によって表現可能な、車両に対する仮想視点からの視野範囲を示すモデル図が出力される。これにより、ユーザは合成画像としてナビゲーション装置２０に表示される画像の仮想視点からの視野範囲を示すモデル図を確認できる。
【００２９】
また、出力部４２ａは上述のモデル図とともに合成画像をナビゲーション装置２０に出力することもできる。これにより、車両に対する仮想視点からの視野範囲を示すモデル図と、ユーザが選択した仮想視点の視点位置に基づいて生成される合成画像をナビゲーション装置２０の一つの画面で確認しながら、視点位置の設定を行える。
【００３０】
受信部４２ｂはモデル図がナビゲーション装置２０に表示された状態で、後述する仮想視点の視点位置の変更をユーザから受け付け、その結果、仮想視点の視点位置が変更されたモデル図が出力部４２ａから出力される。
【００３１】
制御部１は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えたコンピュータとして構成され、所定のプログラムに従ってＣＰＵが演算処理を行うことで各種の制御機能が実現される。図中に示す、画像制御部１１および表示制御部１２は、このようにして実現される制御部１の機能のうちの一部を示している。
【００３２】
画像制御部１１は、画像生成部３によって実行される画像処理を制御するものである。例えば、画像制御部１１は、合成画像生成部３１が生成する合成画像の生成に必要な各種パラメータなどを指示する。
【００３３】
表示制御部１２は、主に画像処理装置１００で処理された画像情報をナビゲーション装置２０に表示させる場合の制御を行う。たとえば、合成画像生成部３１で生成された合成画像情報のナビゲーション装置２０への出力制御や、モデル図のナビゲーション装置２０への出力制御などを行う。
【００３４】
また、画像処理装置１００の本体部１０は、不揮発性メモリ４０、カード読取部４４、及び、信号入力部４１をさらに備えており、これらは制御部１に接続されている。
【００３５】
不揮発性メモリ４０は、電源オフ時においても記憶内容を維持可能なフラッシュメモリなどで構成されている。不揮発性メモリ４０には、主に車種別データ４ａ、および、モデル図データ４ｂが記憶されている。
【００３６】
車種別データ４ａは、合成画像生成部３１が合成画像を生成する際に必要となる車両の種別に応じたデータなどである。
【００３７】
また、モデル図データ４ｂは、主に車種ごとのモデル図である車両と複数の仮想視点の視点位置候補、および、ユーザの操作により視点位置の変更を行う視点位置候補変更アイコンなどを含むデータである。このモデル図データ４ｂは制御部１の表示制御部１２の画像情報出力指示信号により出力部４２ａを介してナビゲーション装置２０に出力される。
【００３８】
カード読取部４４は、可搬性の記録媒体であるメモリカードＭＫの読み取りを行う。カード読取部４４は、メモリカードＭＫの着脱が可能なカードスロットを備えており、そのカードスロットに装着されたメモリカードＭＫに記録されたデータを読み取る。カード読取部４４で読み取られたデータは、制御部１に入力される。
【００３９】
メモリカードＭＫは、種々のデータを記憶可能なフラッシュメモリなどで構成されており、画像処理装置１００はメモリカードＭＫに記憶された種々のデータを利用できる。例えば、メモリカードＭＫにプログラムを記憶させ、これを読み出すことで、制御部１の機能を実現するプログラム（ファームウェア）を更新することが可能である。また、メモリカードＭＫに不揮発性メモリ４０に記憶された車種別データ４ａとは異なる種別の車両に応じた車種別データを記憶させ、これを読み出して不揮発性メモリ４０に記憶させることで、画像処理システム１２０を異なる種別の車両に対応させることも可能である。
【００４０】
また、信号入力部４１は、車両に設けられた各種装置からの信号を入力する。この信号入力部４１を介して、画像表示システム１２０の外部からの信号が制御部１に入力される。具体的には、シフトセンサ８１、および、車速度センサ８２などから、各種情報を示す信号が制御部１に入力される。
【００４１】
シフトセンサ８１からは、車両９の変速装置のシフトレバーの操作の位置、すなわち、”Ｐ（駐車）”，”Ｄ（前進）”，”Ｎ（中立）”，”Ｒ（後退）”などのシフトポジションが入力される。車速度センサ８２からは、その時点の車両９の走行速度（ｋｍ／ｈ）が入力される。
【００４２】
＜１−２．撮影部＞
次に、画像処理装置１００の撮影部５について詳細に説明する。撮影部５は、制御部１に電気的に接続され、制御部１からの信号に基づいて動作する。
【００４３】
撮影部５は、車載カメラであるフロントカメラ５１、バックカメラ５２及びサイドカメラ５３を備えている。これらの車載カメラ５１，５２，５３はそれぞれ、ＣＣＤやＣＭＯＳなどの撮像素子を備えており電子的に画像を取得する。
【００４４】
図２は、車載カメラ５１，５２，５３が車両９に配置される位置を示す図である。なお、以下の説明においては、方向及び向きを示す際に、適宜、図中に示す３次元のＸＹＺ直交座標を用いる。このＸＹＺ軸は車両９に対して相対的に固定される。ここで、Ｘ軸方向は車両９の左右方向に沿い、Ｙ軸方向は車両９の直進方向（前後方向）に沿い、Ｚ軸方向は鉛直方向に沿っている。また、便宜上、＋Ｘ側を車両９の右側、＋Ｙ側を車両９の後側、＋Ｚ側を上側とする。
【００４５】
フロントカメラ５１は、車両９の前端にあるナンバープレート取付位置の近傍に設けられ、その光軸５１ａは車両９の直進方向（平面視でＹ軸方向の−Ｙ側）に向けられている。バックカメラ５２は、車両９の後端にあるナンバープレート取付位置の近傍に設けられ、その光軸５２ａは車両９の直進方向の逆方向（平面視でＹ軸方向の＋Ｙ側）に向けられている。また、サイドカメラ５３は、左右のドアミラー９３にそれぞれ設けられており、その光軸５３ａは車両９の左右方向（平面視でＸ軸方向）に沿って外部に向けられている。なお、フロントカメラ５１やバックカメラ５２の取り付け位置は、左右略中央であることが望ましいが、左右中央から左右方向に多少ずれた位置であってもよい。
【００４６】
これらの車載カメラ５１，５２，５３のレンズとしては魚眼レンズなどが採用されており、車載カメラ５１，５２，５３は１８０度以上の画角αを有している。このため、４つの車載カメラ５１，５２，５３を利用することで、車両９の全周囲の撮影が可能となっている。
【００４７】
＜１−３．画像変換処理＞
次に、画像生成部３の合成画像生成部３１が、撮影部５で得られた複数の撮影画像に基づいて車両９の周辺を任意の仮想視点からみた様子を示す合成画像を生成する手法について説明する。合成画像を生成する際には、不揮発性メモリ４０に予め記憶された車種別データ４ａが利用される。図３は、合成画像を生成する手法を説明するための図である。
【００４８】
撮影部５のフロントカメラ５１、バックカメラ５２及びサイドカメラ５３で同時に撮影が行われると、車両９の前方、後方、左側方、及び、右側方をそれぞれ示す４つの撮影画像Ｐ１〜Ｐ４が取得される。すなわち、撮影部５で取得される４つの撮影画像Ｐ１〜Ｐ４には、撮影時点の車両９の全周囲を示す情報が含まれていることになる。
【００４９】
次に、４つの撮影画像Ｐ１〜Ｐ４の各画素が、仮想的な三次元空間における立体曲面ＳＰ２に投影される。立体曲面ＳＰ２は、例えば略半球状（お椀形状）をしており、その中心部分（お椀の底部分）が車両９が存在する位置として定められている。撮影画像Ｐ１〜Ｐ４に含まれる各画素の位置と、この立体曲面ＳＰ２の各画素の位置とは予め対応関係が定められている。このため、立体曲面ＳＰ２の各画素の値は、この対応関係と撮影画像Ｐ１〜Ｐ４に含まれる各画素の値とに基づいて決定できる。
【００５０】
なお、撮影画像Ｐ１〜Ｐ４の撮影は、上記のとおり車載カメラ５１，５２，５３は１８０度以上の画角αを有している広角カメラを用いている。このように広角カメラで撮影を行った場合、画像の一部がカメラのフードやフィルター枠などの障害物に遮られて周辺領域の光量低下がおこることにより、画面内に撮影者が意図しない陰りが生じることがある。このように陰りが生じている現象を一般に「ケラレ」という。
【００５１】
図３に示す立体曲面ＳＰ１は、撮影画像Ｐ１〜Ｐ４の一部のケラレの発生により、それらの画像を投影した立体曲面ＳＰ１の周辺の所定領域に光量低下による陰りが生じている状態を示している。このように陰りが生じている立体曲面をそのままナビゲーション装置２０に表示すると、所定の仮想視点からみた合成画像が略半球状（お椀形状）とはならない。
【００５２】
そのため、立体曲面ＳＰ１のうちケラレによる光量低下が生じている周辺領域を除いた中央の略半球状（お椀形状）の領域である立体曲面ＳＰ２を用いて、任意の仮想視点に応じた合成画像を生成する。たとえば図４に示すように、立体曲面ＳＰ１の破線部分を境界として、ケラレによる光量低下が生じている周辺領域を取り除いて、立体曲面ＳＰ２とする。これにより、略半球状（お椀形状）の被写体の画像を形成でき、ユーザがお椀を上から覗き込んだように立体的に表示された車両と障害物との位置関係を把握できる画像を提供できる。
【００５３】
なお、上記では一例としてケラレによる光量低下の場合の処理について述べたが、ケラレ以外の光量低下（たとえば、口径食による光量低下など）が発生した場合にも適用可能である。
【００５４】
また、撮影画像Ｐ１〜Ｐ４の各画素の位置と立体曲面ＳＰの各画素の位置との対応関係は、車両９における４つの車載カメラ５１，５２，５３の配置（相互間距離、地上高さ、光軸角度等）に依存する。このため、この対応関係を示すテーブルデータが、不揮発性メモリ４０に記憶された車種別データ４ａに含まれている。
【００５５】
また、車種別データ４ａに含まれる車体の形状やサイズを示すポリゴンデータが利用され、車両９の三次元形状を示すポリゴンモデルである車両像が仮想的に構成される。構成された車両像は、立体曲面ＳＰが設定される三次元空間において、車両９の位置と定められた略半球状の中心部分に配置される。
【００５６】
さらに、立体曲面ＳＰが存在する三次元空間に対して、制御部１により仮想視点ＶＰが設定される。仮想視点ＶＰは、視点位置と視野方向とで規定され、この三次元空間における車両９の周辺に相当する任意の視点位置に任意の視野方向に向けて設定される。
【００５７】
そして、設定された仮想視点ＶＰに応じて、上記のように立体曲面ＳＰ２における必要な領域が画像として切り出される。仮想視点ＶＰと、立体曲面ＳＰにおける必要な領域との関係は予め定められており、テーブルデータとして不揮発性メモリ４０等に予め記憶されている。一方で、設定された仮想視点ＶＰに応じてポリゴンで構成された車両像に関してレンダリングがなされ、その結果となる二次元の車両像が、切り出された画像に対して重畳される。これにより、車両９及びその車両９の周辺を任意の仮想視点からみた様子を示す合成画像が生成されることになる。
【００５８】
例えば、視点位置が車両９の位置の略中央の直上位置で、視野方向が略直下方向とした仮想視点ＶＰ１１を設定した場合は、車両９の略直上から車両９を見下ろすように、車両９（実際には車両像）及び車両９の周辺の様子を示す合成画像ＣＰ１が生成される。また、図中に示すように、視点位置が車両９の位置の左後方で、視野方向が車両９における略前方とした仮想視点ＶＰ１２を設定した場合は、車両９の左後方からその周辺全体を見渡すように、車両９（実際には車両像）及び車両９の周辺の様子を示す合成画像ＣＰ２が生成される。
【００５９】
なお、実際に合成画像を生成する場合においては、立体曲面ＳＰ２の全ての画素の値を決定する必要はなく、設定された仮想視点ＶＰに対応して必要となる領域の画素の値のみを撮影画像Ｐ１〜Ｐ４に基づいて決定することで、処理速度を向上できる。
【００６０】
＜１−４．動作モード＞
次に、画像処理システム１２０の動作モードについて説明する。図４は、画像処理システム１２０の動作モードの遷移を示す図である。画像処理システム１２０は、ナビモードＭ０、周囲確認モードＭ１、フロントモードＭ２、及び、バックモードＭ３の４つの動作モードを有している。これらの動作モードは、ドライバの操作や車両９の走行状態に応じて制御部１の制御により切り替えられるようになっている。
【００６１】
ナビモードＭ０は、ナビゲーション装置２０の機能により、ナビゲーション案内用の地図画像などをディスプレイ２１に表示する動作モードである。ナビモードＭ０では、画像処理装置１００の機能が利用されず、ナビゲーション装置２０単体の機能で各種の表示がなされる。このため、ナビゲーション装置２０が、テレビジョン放送の電波を受信して表示する機能を有している場合は、ナビゲーション案内用の地図画像に代えて、テレビジョン放送画面が表示されることもある。
【００６２】
これに対して、周囲確認モードＭ１、フロントモードＭ２及びバックモードＭ３は、画像処理装置１００の機能を利用して、車両９の周辺の状況をリアルタイムで示す表示用画像をディスプレイ２１に表示する動作モードである。
【００６３】
周囲確認モードＭ１は、車両９を見下ろした状態で車両９の周囲を周回するようなアニメーション表現を行う動作モードである。フロントモードＭ２は、前進時に必要となる車両９の前方や側方を主に示す表示用画像を表示する動作モードである。また、バックモードＭ３は、後退時に必要となる車両９の後方を主に示す表示用画像を表示する動作モードである。
【００６４】
画像処理システム１２０は起動すると、最初に周囲確認モードＭ１となる。周囲確認モードＭ１の場合には、車両９の周囲を周回するようなアニメーション表現がなされた後に所定時間（例えば、６秒）が経過すると、自動的にフロントモードＭ２に切り替えられる。また、フロントモードＭ２の場合において、走行速度が例えば０ｋｍ／ｈの状態（停止状態）で切替スイッチ４３が所定時間以上継続して押下されると、周囲確認モードＭ１に切り替えられる。なお、ドライバからの所定の指示で、周囲確認モードＭ１からフロントモードＭ２に切り替えるようにしてもよい。
【００６５】
また、フロントモードＭ２の場合に走行速度が例えば１０ｋｍ／ｈ以上になったときは、ナビモードＭ０に切り替えられる。逆に、ナビモードＭ０の場合に車速度センサ８２から入力される走行速度が例えば１０ｋｍ／ｈ未満になったときは、フロントモードＭ２に切り替えられる。
【００６６】
車両９の走行速度が比較的高い場合においては、ドライバを走行に集中させるためにフロントモードＭ２が解除される。逆に、車両９の走行速度が比較的低い場合においては、ドライバは車両９の周辺の状況をより考慮した運転、具体的には、見通しの悪い交差点への進入、方向変更、あるいは、幅寄せなどを行っている場面が多い。このため、走行速度が比較的低い場合においては、ナビモードＭ０からフロントモードＭ２に切り替えられる。なお、ナビモードＭ０からフロントモードＭ２に切り替える場合は、走行速度が１０ｋｍ／ｈ未満という条件に、ドライバからの明示的な操作指示があるという条件を加えてもよい。
【００６７】
また、ナビモードＭ０の場合において、走行速度が例えば０ｋｍ／ｈの状態（停止状態）で切替スイッチ４３が所定時間以上継続して押下されると、周囲確認モードＭ１に切り替えられる。そして、車両９の周囲を周回するようなアニメーション表現がなされた後に所定時間（例えば、６秒）が経過すると、自動的にもとのモードであるナビモードＭ２に切り替える。
【００６８】
また、ナビモードＭ０あるいはフロントモードＭ２の場合に、シフトセンサ８１から入力されるシフトレバーの位置が”Ｒ（後退）”となったときは、バックモードＭ３に切り替えられる。すなわち、車両９の変速装置が”Ｒ（後退）”の位置に操作されているときには、車両９は後退する状態であるため、車両９の後方を主に示すバックモードＭ３に切り替えられる。
【００６９】
一方、バックモードＭ３の場合に、シフトレバーの位置が”Ｒ（後退）”以外となったときは、その時点の走行速度を基準として、ナビモードＭ０あるいはフロントモードＭ２に切り替えられる。すなわち、走行速度が１０ｋｍ／ｈ以上であればナビモードＭ０に切り替えられ、走行速度が１０ｋｍ／ｈ未満であればフロントモードＭ２に切り替えられる。
＜１−５．モデル図＞
次に、画像処理装置１００に備えられたナビ通信部４２の出力部４２ａから出力され、ナビゲーション装置２０に表示されるモデル図について、モデル図の第１の例を示した図５を用いて説明する。
【００７０】
図５に示すモデル図ＭＤ１には、モデル車両ＭＣに対して複数の仮想視点の視点位置の候補ＶＰ１〜ＶＰ５が設けられている。ユーザは視点位置変更アイコン６１を操作することでこれらの候補から任意の視点位置に変更する。なおこの操作は、ナビゲーション装置２０のタッチパネル機能を備えたディスプレイ２１や操作部２２を用いて行われる。
【００７１】
図５に示されている例では、モデル車両ＭＣの後方に位置する視点位置ＶＰ１が選択されており、この視点位置ＶＰ１からの視野範囲ＦＥ１が斜線にて表示されている。この視野範囲ＦＥ１は、たとえば、上記のバックモードやフロントモードの際にナビゲーション装置２０に表示される合成画像の表示範囲に対応している。
【００７２】
戻るボタン７１は、ひとつ前の画面である図示しない設定画面に戻る際に、ユーザにより選択される。また、完了ボタン７２は、仮想視点の位置の変更情報を不揮発性メモリ４０に記憶してひとつ前の画面である図示しない設定メニュー画面に戻る際に、ユーザにより選択される。そして、設定された仮想視点の視点位置に基づいて、上記のバックモードやフロントモードの合成画像の表示が行われる。
【００７３】
次に、別の視点位置からの視野範囲を示したモデル図を第２の例とし、図６を用いて説明する。図６において上記図５に示すモデル図と異なる点は、仮想視点の視点位置がモデル車両ＭＣの後方の視点位置ＶＰ１からモデル車両ＭＣの直上（真上）の視点位置ＶＰ３に変更された点である。この変更はユーザのタッチパネル機能を備えたディスプレイ２１や操作部２２の操作に基づいて行われる。
【００７４】
そして、この視点位置の変更に伴い、視野範囲も視点位置ＶＰ１に対応するＦＥ１の視野範囲から視点位置ＶＰ３に対応する視野範囲ＦＥ３に変更される。これにより、車両に対する仮想視点からの視野範囲を示すモデル図を出力しつつ、仮想視点の視点位置の変更を受け付けることができる。また、仮想視点の視点位置の変更に応じて、視野範囲を変更したモデル図を出力することで、仮想視点の視点位置に応じて車両の周辺のいずれの領域が合成画像として表示装置に表示されるのかがユーザはひと目でわかる。このため、仮想視点の位置を設定した後に合成画像を表示させて確認した結果、ユーザが希望する合成画像が示されていない場合は、設定をやり直すという煩わしい作業を解消できる。
【００７５】
また、選択された視点位置の表示態様を他の視点位置の候補の表示態様とは異ならせる。これにより、ユーザは表示装置をみて選択している視点位置をひと目で確認できる。
【００７６】
このようにユーザにより選択されている視点位置の表示態様と選択されていない視点位置の表示態様とを異ならせる方法としては、それぞれの表示の明るさを変えることがあげられる。たとえば、選択されている視点位置を明るい色（黄色や赤色などの光で照らされているような色）とし、選択されていない視点位置を暗い色（黒色や茶色などの光が遮られているような色）とする。
【００７７】
なお、視点位置がＶＰ１からＶＰ３に変更されたことにより車両後方の後部ガラス上端部のルーフスポイラーの付近（図６では黒塗りで表示されている部分の死角領域ＦＳ３）が仮想視点の視点位置ＶＰ３から死角となる範囲として表示されている。このようにユーザに選択された視点位置から死角となる範囲は視野範囲ＦＥ３の表示態様と異なる表示態様とする。これにより、ユーザが設定する仮想視点から死角となって合成画像によって表示されない部分がひと目で確認できる。
【００７８】
視野範囲の表示態様と死角となる範囲の表示態様とを異ならせる方法としては、両者の明るさを変える。たとえば、視野範囲を明るい色（黄色や赤色などの光で照らされているような色）とし、死角となる範囲を暗い色（黒色や茶色などの光が遮られているような色）とする。
【００７９】
さらに、別の例としてモデル図と合成画像とを組み合わせてナビゲーション装置２０に表示する第１の例を図７に示し、第２の例を図８に示す。図７では、上述の図５において説明したモデル図とともにその表示範囲ＦＥ１に対応して表示される合成画像ＣＩ１をナビゲーション装置２０の一画面で表示している。これにより、ユーザは車両に対する仮想視点からの視野範囲を示すモデル図と、ユーザが選択した仮想視点の視点位置に基づいて生成される合成画像とを一画面で実際に確認しながら、視点位置の設定を行える。
【００８０】
図８は上述の図６において説明したモデル図とともにその表示範囲ＦＥ３に対応して表示される合成画像ＣＩ３をナビゲーション装置２０の一画面で表示している。そして、図７から図８へのモデル図および合成画像の変更は、ユーザが視点位置変更アイコン６１を操作して行う。これにより、ユーザは仮想視点の視点位置とその視点位置に対応したナビゲーション装置２０に表示される合成画像の表示範囲を確認しながら、視点位置の変更を行える。
【００８１】
なお、上述の実施の形態では、視点位置の変更はＶＰ１からＶＰ３への変更について述べたがこれ以外の視点位置への変更も可能であり、また実施の形態で述べた５箇所の視点位置に限定されることはなく、この５箇所以外の位置に視点位置を設けてもよい。また、視点位置の数を５箇所よりも減らしてもよい。
【００８２】
さらに、モデル図と合成画像とをともに表示する場合、一画面で表示する以外にそれぞれを別画面として表示してもよい。
【００８３】
＜２．動作＞
次に、モデル図による視点位置設定処理を図９に示すフローチャートを用いて説明する。画像処理装置１００は、ユーザが合成画像の仮想視点の視点位置を設定するためにタッチ機能を備えたディスプレイ２１や操作部２２を操作した旨の設定ボタン押下信号を受信する（ステップＳ１０１がＹｅｓ）と、不揮発性メモリ４０に記憶されている図示しない設定画面の情報をナビゲーション装置２０へ出力して（ステップＳ１０２）、次の処理であるステップＳ１０３へ進む。なお、設定ボタン押下信号を受信していない場合（ステップＳ１０１がＮｏ）は、処理を終了する。
【００８４】
次に、ステップＳ１０３では設定画面のうちの仮想視点の視点位置設定ボタンが押下された信号を受信する（ステップＳ１０３がＹｅｓ）と、現在設定されている視点位置に対応した視野範囲を示すモデル図を不揮発性メモリ４０のモデル図データ４ｂから読み出して、出力部４２ａを介してナビゲーション装置２０へ出力する（ステップＳ１０４）。なお、画像処理装置１００の受信部４２ｂが仮想視点の視点位置設定ボタンの押下信号を受信していない場合（ステップＳ１０３がＮｏ）は、処理を終了する。
【００８５】
そして、ナビゲーション装置２０に表示されたモデル図の視点位置変更アイコン６１をユーザが操作したことで、視点位置を所定の位置に変更した場合はその信号を受付部４２ｂが受信する（ステップＳ１０５がＹｅｓ）と、不揮発性メモリ４０に変更した視点位置情報を記憶する（ステップＳ１０６）。
【００８６】
なお、視点位置の変更に伴う信号を受付部４２ｂが受信していない場合は、ナビゲーション装置２０に同一の視点位置のモデル図がそのまま表示された状態となり、次の処理であるステップＳ１０８へ進む。
【００８７】
ステップＳ１０６にて視点位置の情報を記憶した後は、変更された視点位置でその視点位置に対応した視野範囲を示すモデル図情報をモデル図データ４ｂから読み出して、出力部４２ａからナビゲーション装置２０へ出力する（ステップＳ１０７）。これにより、車両に対する仮想視点からの視野範囲を示すモデル図を出力しつつ、仮想視点の視点位置の変更を受け付ける。
【００８８】
そして、仮想視点の視点位置の変更に応じて、視野範囲を変更したモデル図を出力することで、仮想視点の視点位置に応じて車両の周辺のいずれの領域が合成画像として表示装置に表示されるのかがひと目でわかる。このため、仮想視点の位置を設定した後に合成画像を表示させて確認した結果、ユーザが希望する合成画像が示されていない場合は、設定をやり直すという煩わしい作業を解消できる。
【００８９】
次に、モデル図内の完了ボタン７２が押下された信号を受信する（ステップＳ１０８がＹｅｓ）と、変更後の視点位置の設定のまま処理を終了して、設定ボタン押下前の画面（例えば、ナビモードの画面）に戻る。なお、完了ボタンが押下された信号を受信していない場合（ステップＳ１０８がＮｏ）の場合は、ナビゲーション装置２０にモデル図がそのまま表示された状態となる。または、所定時間経過後にナビモードの画面に戻る。
【００９０】
なお、上記処理で説明した不揮発性メモリ４０に記憶されているモデルデータ４ｂや図示しない設定画面のデータなどはナビゲーション装置２０に備えられた図示しないメモリに記憶していてもよい。
＜３．変形例＞
以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態に限定されるものではなく様々な変形が可能である。以下では、このような変形例について説明する。上記実施の形態で説明した形態及び以下で説明する形態を含む全ての形態は、適宜に組み合わせ可能である。
【００９１】
上記実施の形態では、画像処理装置１００とナビゲーション装置２０とは別の装置であるとして説明したが、画像処理装置１００とナビゲーション装置２０とが同一の筐体内に配置されて一体型の装置として構成されてもよい。
【００９２】
また、上記実施の形態では、画像処理装置１００で生成された画像を表示する表示装置はナビゲーション装置２０であるとして説明したが、ナビゲーション機能等の特殊な機能を有していない一般的な表示装置であってもよい。
【００９３】
また、上記実施の形態において、画像処理装置１００の制御部１によって実現されると説明した機能の一部は、ナビゲーション装置２０の制御部２３によって実現されてもよい。
【００９４】
また、上記実施の形態において、信号入力部４１を介して画像処理装置１００の制御部１に入力されると説明した信号の一部または全部は、ナビゲーション装置２０に入力されるようになっていてもよい。この場合は、ナビ通信部４２を経由して、画像処理装置１００の制御部１に当該信号を入力すればよい。
【００９５】
また、上記実施の形態では、プログラムに従ったＣＰＵの演算処理によってソフトウェア的に各種の機能が実現されると説明したが、これら機能のうちの一部は電気的なハードウェア回路により実現されてもよい。また逆に、ハードウェア回路によって実現されるとした機能のうちの一部は、ソフトウェア的に実現されてもよい。
【符号の説明】
【００９６】
１ 制御部
３ 画像生成部
５ 撮影部
２０ ナビゲーション装置
４０ 不揮発性メモリ
４１ 信号入力部
４２ ナビ通信部
８１ シフトセンサ
８２ 車速度センサ
【特許請求の範囲】
【請求項１】
車両に搭載された表示装置に表示させる画像を生成する画像処理装置であって、
前記車両の周辺を複数のカメラで撮影して得られる複数の画像に基づいて任意の仮想視点からみた合成画像を生成する合成画像生成手段と、
生成された前記合成画像を前記表示装置に出力する第１出力手段と、
前記合成画像によって表現可能な、前記車両に対する前記仮想視点からの視野範囲を示すモデル図を前記表示装置に出力する第２出力手段と、
前記表示装置での前記モデル図の表示状態で、前記仮想視点の視点位置の変更をユーザから受け付ける受付手段と、
を備え、
前記第２出力手段は、前記仮想視点の視点位置の変更に応じて、前記視野範囲を変更したモデル図を出力すること、
を特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記第２出力手段は、前記仮想視点の視点位置の候補を複数設けている前記モデル図の前記視点位置の変更に伴い、選択された視点位置の表示態様を他の視点位置の候補とは異なる表示態様として出力すること、
を特徴とする画像処理装置。
【請求項３】
請求項１または２に記載の画像処理装置において、
前記第２出力手段は、前記仮想視点から死角となる範囲の表示態様を、前記視野範囲の表示態様とは異なる表示態様として出力すること、
を特徴とする画像処理装置。
【請求項４】
請求項１ないし３のいずれかに記載の画像処理装置において、
前記第２出力手段は、前記視点位置の変更に伴う前記視野範囲に対応する前記合成画像とともに前記モデル図を出力すること、
を特徴とする画像処理装置。
【請求項５】
車両に搭載される画像処理システムであって、
請求項１ないし４のいずれかに記載の画像処理装置と、
前記車両の周辺を撮影する前記車両に備えられた複数のカメラと、
を備えることを特徴とする画像処理システム。
【請求項６】
車両に搭載された表示装置に表示させる画像を生成する画像処理方法であって、
前記車両の周辺を複数のカメラで撮影して得られる複数の画像に基づいて任意の仮想視点からみた合成画像を生成する合成画像生成工程と、
生成された前記合成画像を前記表示装置に出力する第１出力工程と、
前記合成画像によって表現可能な、前記車両に対する前記仮想視点からの視野範囲を示すモデル図を前記表示装置に出力する第２出力工程と、
前記表示装置での前記モデル図の表示状態で、前記仮想視点の視点位置の変更をユーザから受け付ける受付工程と、
を備え、
前記第２出力工程は、前記仮想視点の視点位置の変更に応じて、前記視野範囲を変更したモデル図を出力すること、
を特徴とする画像処理方法。
【請求項１】
車両に搭載された表示装置に表示させる画像を生成する画像処理装置であって、
前記車両の周辺を複数のカメラで撮影して得られる複数の画像に基づいて任意の仮想視点からみた合成画像を生成する合成画像生成手段と、
生成された前記合成画像を前記表示装置に出力する第１出力手段と、
前記合成画像によって表現可能な、前記車両に対する前記仮想視点からの視野範囲を示すモデル図を前記表示装置に出力する第２出力手段と、
前記表示装置での前記モデル図の表示状態で、前記仮想視点の視点位置の変更をユーザから受け付ける受付手段と、
を備え、
前記第２出力手段は、前記仮想視点の視点位置の変更に応じて、前記視野範囲を変更したモデル図を出力すること、
を特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記第２出力手段は、前記仮想視点の視点位置の候補を複数設けている前記モデル図の前記視点位置の変更に伴い、選択された視点位置の表示態様を他の視点位置の候補とは異なる表示態様として出力すること、
を特徴とする画像処理装置。
【請求項３】
請求項１または２に記載の画像処理装置において、
前記第２出力手段は、前記仮想視点から死角となる範囲の表示態様を、前記視野範囲の表示態様とは異なる表示態様として出力すること、
を特徴とする画像処理装置。
【請求項４】
請求項１ないし３のいずれかに記載の画像処理装置において、
前記第２出力手段は、前記視点位置の変更に伴う前記視野範囲に対応する前記合成画像とともに前記モデル図を出力すること、
を特徴とする画像処理装置。
【請求項５】
車両に搭載される画像処理システムであって、
請求項１ないし４のいずれかに記載の画像処理装置と、
前記車両の周辺を撮影する前記車両に備えられた複数のカメラと、
を備えることを特徴とする画像処理システム。
【請求項６】
車両に搭載された表示装置に表示させる画像を生成する画像処理方法であって、
前記車両の周辺を複数のカメラで撮影して得られる複数の画像に基づいて任意の仮想視点からみた合成画像を生成する合成画像生成工程と、
生成された前記合成画像を前記表示装置に出力する第１出力工程と、
前記合成画像によって表現可能な、前記車両に対する前記仮想視点からの視野範囲を示すモデル図を前記表示装置に出力する第２出力工程と、
前記表示装置での前記モデル図の表示状態で、前記仮想視点の視点位置の変更をユーザから受け付ける受付工程と、
を備え、
前記第２出力工程は、前記仮想視点の視点位置の変更に応じて、前記視野範囲を変更したモデル図を出力すること、
を特徴とする画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１１−１５１４４６（Ｐ２０１１−１５１４４６Ａ）
【公開日】平成２３年８月４日（２０１１．８．４）
【国際特許分類】
【出願番号】特願２０１０−８８２７（Ｐ２０１０−８８２７）
【出願日】平成２２年１月１９日（２０１０．１．１９）
【出願人】（０００２３７５９２）富士通テン株式会社 (3,383)
【Ｆターム（参考）】
【公開日】平成２３年８月４日（２０１１．８．４）
【国際特許分類】
【出願日】平成２２年１月１９日（２０１０．１．１９）
【出願人】（０００２３７５９２）富士通テン株式会社 (3,383)
【Ｆターム（参考）】
[ Back to top ]