画像処理装置、電子装置、および、画像処理方法
【課題】車両に搭載された表示装置に画像を表示する技術を提供する。
【解決手段】
所定の指示信号に応答して、車両の周辺を撮影する複数のカメラから取得される複数の画像に基づいた車両周囲の上方の仮想視点から車両方向をみる合成画像を生成する。この合成画像は、車両の周囲を周回するように仮想視点の位置が段階的に変更された複数の合成画像を表示装置に連続して出力される。これにより、ユーザが車両を目の前にした視点から車両の全周囲を確認することで、１つの画面で直感的に車両と障害物との位置関係を把握できる。
【解決手段】
所定の指示信号に応答して、車両の周辺を撮影する複数のカメラから取得される複数の画像に基づいた車両周囲の上方の仮想視点から車両方向をみる合成画像を生成する。この合成画像は、車両の周囲を周回するように仮想視点の位置が段階的に変更された複数の合成画像を表示装置に連続して出力される。これにより、ユーザが車両を目の前にした視点から車両の全周囲を確認することで、１つの画面で直感的に車両と障害物との位置関係を把握できる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に搭載された表示装置に画像を表示する技術に関する。
【背景技術】
【０００２】
一般に、車両に搭載した複数のカメラにより車両の周辺の画像を取得し、自動的に、または、ユーザの操作によって、表示装置に表示することで車両周辺の監視を可能とする装置がある。また、車両の真上を仮想視点として見下ろした画像を画面に表示し、ユーザに車両全周囲の安全確認の手段を提供する装置がある。さらに、車両に搭載した複数のカメラを使用して所定の高さの視点で撮影し、カメラが撮影した画像の視点位置を車両の全体図とともに表示する第１画面と、この第１画面に表示されるOLE_LINK1視点位置の移動に対応させて、それぞれのカメラ画像を表示するOLE_LINK1第２画面との２つの画面で車両周囲の安全確認を行う技術がある（例えば、特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−２１９５５９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来のカメラによる車両周辺の画像表示は、複数のカメラのうち個々のカメラからの画像が車両のどの方向に対応しているのかを確認をする必要があり、画面にユーザの車両が映らないので車両と車両の周辺に存在する障害物との距離などの位置関係をユーザが把握するのは困難であった。
【０００５】
また、車両の真上を仮想視点として見下ろした画像を画面に表示した場合、ユーザは車両の全周囲の広い範囲をいちどに確認する必要があり、ユーザにとっては情報量が多すぎて、どこを注意すべきかのポイントを絞ることが困難であった。
【０００６】
さらに、特許文献１に開示されている技術では、カメラが撮影した画像の視点の位置を車両の全体図とともに示す画面と、視点位置の移動に対応させて、それぞれのカメラ画像を表示する画面とを別々の画面で表示しており、２つの画面に表示された情報の対応付けをユーザ自身で行わなければならず、車両と障害物との位置関係をユーザが把握しにくいという問題があった。
【０００７】
本発明は、上記課題に鑑みてなされたものであり、車両と車両周辺の障害物との位置関係をユーザが直感的に把握できる技術を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するため、請求項１の発明は、表示装置に画像を出力する指示を行うための指示信号を受信する受信手段と、車両の周辺を撮影する複数のカメラから取得される複数の画像に基づいて前記車両の周囲の上方の仮想視点から前記車両方向をみる第１合成画像を生成する合成画像生成手段と、前記合成画像生成手段により前記車両の周囲を周回するように仮想視点の位置が段階的に変更されて生成される複数の第１合成画像を、前記指示信号に応答して、前記表示装置に連続して出力する出力手段とを備える。
【０００９】
また、請求項２の発明は、請求項１に記載の画像処理装置において、前記合成画像生成手段は、前記車両の略中心の直上の仮想視点からみた第２合成画像を生成し、前記出力手段は、連続表示により、前記複数の第１合成画像と前記第２合成画像との相互間において仮想視点の位置が連続的に変化するように示す複数の合成画像を出力する。
【００１０】
また、請求項３の発明は、請求項２に記載の画像処理装置において、前記出力手段は、前記複数の第１合成画像の出力後に、前記第２合成画像を出力する。
【００１１】
また、請求項４の発明は、請求項１ないし３のいずれかに記載の画像処理装置において、前記合成画像生成手段は、前記複数の第１合成画像を、前記車両の位置が中心となるように生成する。
【００１２】
また、請求項５の発明は、請求項１ないし３のいずれかに記載の画像処理装置において、前記合成画像生成手段は、前記複数の第１合成画像を、ユーザが指定する前記車両の周辺の地点が中心となるように生成する。
【００１３】
また、請求項６の発明は、請求項１ないし５のいずれかに記載の画像処理装置において、前記指示信号は、前記画像処理装置の起動時に発生する。
【００１４】
また、請求項７の発明は、表示装置に画像を出力する指示を行うための指示信号を出力する操作手段と、前記指示信号を受信する受信手段と、車両の周辺を撮影する複数のカメラから取得される複数の画像に基づいて前記車両の周囲の上方の仮想視点から前記車両方向をみる合成画像を生成する合成画像生成手段と、前記合成画像生成手段により前記車両の周囲を周回するように仮想視点の位置が段階的に変更される合成画像を、前記指示信号に応答して、前記表示装置に連続して出力する出力手段とを備える。
【００１５】
また、請求項８の発明は、請求項７に記載の電子装置において、前記出力手段により出力された合成画像を表示する前記表示装置をさらに備える。
【００１６】
また、請求項９の発明は、表示装置に画像を出力する指示を行うための指示信号を受信する工程と、車両の周辺を撮影する複数のカメラから取得される複数の画像に基づいて前記車両の周囲の上方の仮想視点から前記車両方向をみる合成画像を生成する工程と、前記車両の周囲を周回するように仮想視点の位置が段階的に変更されて生成される複数の合成画像を、前記指示信号に応答して、前記表示装置に連続して出力する工程とを備える。
【発明の効果】
【００１７】
請求項１ないし９の発明によれば、車両を見下ろした状態で車両の周囲を周回するように示す複数の合成画像が表示装置に表示されるため、ユーザが車両を目の前にした視点から車両の全周囲を確認することで、１つの画面で直感的に車両と障害物との位置関係を把握できる。
【００１８】
また、特に請求項２の発明によれば、仮想視点が連続性を持って移動しつつ、車両の周囲を旋回するように示す複数の合成画像と車両上方からみた合成画像との双方が表示されることで、ユーザは１つの画面で直感的に車両と障害物との位置関係を把握できる。さらに、車両の周囲と車両の上方との複数の視点から車両周囲の安全性を確認できる。
【００１９】
また、特に請求項３の発明によれば、車両の周囲の画像でユーザが見落とす障害物などの情報があったとしても、車両の周囲の画像の後に連続性をもって表示される車両の上方の画像により再度安全確認を行うことができる。また、ユーザが車両の全周囲の広い範囲をいちどに確認する必要はなく、車両周囲の限られた範囲の画像の後に車両上方の広い範囲の車両全体の画像を連続して表示することで、ユーザは１つの画面で車両周囲の安全確認をより確実に行える。
【００２０】
また、特に請求項４の発明によれば、車両の位置を中心として車両の周囲を順に移動する仮想視点からみた合成画像を生成することで、ユーザは１つの画面で直感的に車両の全周囲の障害物を確認することができる。
【００２１】
また、特に請求項５の発明によれば、車両の周辺のユーザが指定した地点を中心とすることで、ユーザは１つの画面で確認したい車両周囲の任意の地点を中心に安全確認を行える。
【００２２】
また、特に請求項６の発明によれば、画像処理装置の起動時にユーザは１つの画面で車両の周辺を確認することができる。
【図面の簡単な説明】
【００２３】
【図１】図１は、画像表示システムのブロック図である。
【図２】図２は、複数の車載カメラが車両に配置される位置を示す図である。
【図３】図３は、任意の仮想視点からみた合成画像の生成方法を説明する図である。
【図４】図４は、画像処理部の処理の流れを示す図である。
【図５】図５は、第１の実施形態における合成画像の画面遷移を示す図である。
【図６】図６は、表示部の表示処理の流れを示す図である。
【図７】図７は、第２の実施形態における合成画像の画面遷移を示す図である。
【図８】図８は、画像処理部の処理の変形例１を示す図である。
【図９】図９は、画像処理部の処理の変形例２を示す図である。
【図１０】図１０は、第３の実施形態の画像表示システムのブロック図である。
【図１１】図１１は、第３の実施形態の画像処理部の処理の流れを示す図である。
【図１２】図１２は、第３の実施形態の合成画像の画面遷移を示す図である。
【図１３】図１３は、第３の実施形態の画像処理部の処理の変形例１を示す図である。
【図１４】図１４は、第３の実施形態の画像処理部の処理の変形例２を示す図である。
【発明を実施するための形態】
【００２４】
以下、図面を参照しつつ本発明の実施形態について説明する。
＜１．第１の実施の形態＞
＜１−１．構成＞
図１は、第１の実施形態の画像表示システム１００のブロック図である。この画像表示システム１００は、車両（本実施の形態では、自動車）に搭載される電子装置であり、車両の周辺を撮影して画像を生成し、車室内に表示する機能を有している。この画像表示システム１００を利用するユーザとなる車両のドライバは当該車両の周辺を容易に把握できるようになっている。
【００２５】
図１に示すように、画像表示システム１００は、画像処理部１０と、車両の周辺を撮影する撮影部５とを備えている。画像表示システム１００は液晶ディスプレイなどの表示部２１を備えており、表示部２１の画面がドライバから視認可能なように車両のインストルメントパネルなどに設置される。また、撮影部５は、画像処理部１０に電気的に接続され画像処理部１０からの信号に基づいて動作する。なお、表示部２１はタッチパネル機能を有し、ユーザから各種指示を受付可能である。
【００２６】
撮影部５は、車載カメラであるフロントカメラ５１、サイドカメラ５２及びバックカメラ５３を備えている。これらの車載カメラ５１，５２，５３は、レンズと撮像素子とを備えており電子的に画像を取得する。
【００２７】
図２は、車載カメラ５１，５２，５３が車両９に配置される位置を示す図である。図２に示すように、フロントカメラ５１は、車両９の前端となるフロントバンパ９１の左右略中心に設けられ、その光軸は車両９の直進方向に向けられている。また、サイドカメラ５２は、左右のドアミラー９３にそれぞれ設けられており、その光軸は直進方向に対して直交するように車両９の外部方向に向けられている。バックカメラ５３は、車両９の後端となるリアバンパ９２の左右略中心に設けられ、その光軸は車両９の直進方向の逆方向に向けられている。
【００２８】
これらの車載カメラ５１，５２，５３のレンズとしては魚眼レンズなどが採用されており、車載カメラ５１，５２，５３は１８０度以上の画角αを有している。このため、４つの車載カメラ５１，５２，５３を利用することで、車両９の全周囲の撮影が可能となっている。
【００２９】
なお、車載カメラ５１，５２，５３は１８０度以上の画角αを有しているため、各カメラの撮影範囲が重複する重複領域β生じる。このような重複領域では同一の物体が別々の方向に表示される。そのため、このような重複領域の画像処理は、両方のカメラの画像の重複する部分の透過率調整（例えば互いに５０％とする。）して重ね合わせて表示してもよいし、重複する部分から任意の範囲の画像を削除してもよい。
【００３０】
図１に戻り、画像処理部１０は、撮影部５で取得された撮影画像を処理して表示用の画像に変換する画像変換部３と、各種の演算処理を行うＣＰＵ１と、表示部２１と通信を行う通信部４２とを備えている。画像変換部３で生成された画像は通信部４２から表示部２１に出力されて表示される。
【００３１】
画像変換部３は、撮影部５の複数の車載カメラ５１，５２，５３で取得された複数の撮影画像に基づいて仮想視点からみた合成画像を生成できる。画像変換部３は、このような画像処理に必要な輝度調整部３１と多重化部３２と視点変換部３３とを備えたハードウェア回路として構成されている。
【００３２】
輝度調整部３１は、撮影部５で取得された撮影画像の全体としての明るさを示す平均輝度を参照し、撮影画像のゲイン調整を行うようになっている。具体的には、撮影画像の平均輝度が比較的高い場合はゲイン調整値を小さくし、比較的低い場合はゲイン調整値を大きくする。これにより、車両９の周辺環境がある程度暗い場合などにおいて撮影画像の明るさが調整されることとなる。
【００３３】
多重化部３２は、複数の車載カメラ５１，５２，５３で取得されてゲイン調整された複数の撮影画像を一つの画像に合成して多重化画像とする。視点変換部３３は、多重化部３２で生成された多重化画像を用いて、車両９の周辺の任意の仮想視点からみた合成画像を生成する。視点変換部３３が、仮想視点からみた合成画像を生成する手法については後述する。
【００３４】
ＣＰＵ１は、画像表示システム１００の各部を統括的に制御する制御部として機能する。ＣＰＵ１の各種の制御機能は、ＣＰＵ１が備えるメモリ１１などに予め記憶されたプログラムに従って演算処理が実行されることによりソフトウェア的に実現される。
【００３５】
また、画像処理部１０は、車両９に設けられた各種装置からの信号を入力する信号入力部４１を備えている。この信号入力部４１を介して、画像表示システム１００の外部からの信号がＣＰＵ１に入力される。具体的には、車両制御装置８４からは車両のＡＣＣ−ＯＮ／ＯＦＦの信号が入力される。ＡＣＣは、車両９の画像表示システム１００を含む付属品に対して、電力を供給する供給線をＯＮ／ＯＦＦするスイッチである。
【００３６】
また、表示部２１にはシフトセンサ８１、車速度センサ８２、切替スイッチ８３、および、車両電源制御装置８４などから、各種情報を示す信号が入力される。シフトレバー８１からは、”Ｐ”，”Ｄ”，”Ｎ”，”Ｒ”などのシフトポジションが入力される。また、車速度センサ８２からは、その時点の車両９の走行速度（ｋｍ／ｈ）が入力される。切替スイッチ８３からは、表示部２１のディスプレイに表示されるカメラ画像を切替える信号が入力される。例えばフロントカメラの画像、サイドカメラの画像、バックカメラの画像のような順序で切替えがなされる。車両制御装置８４からは車両のＡＣＣ−ＯＮ／ＯＦＦの信号が入力される。なお、後述するように車両制御装置８４からの車両のＡＣＣ−ＯN／ＯＦＦ信号は信号入力部４１を介して画像処理部１０のＣＰＵ１にも入力される。
【００３７】
＜１−２．画像変換処理＞
次に、画像変換部３の視点変換部３３が、撮影部５で得られた複数の撮影画像に基づいて、任意の仮想視点からみた合成画像を生成する手法について説明する。図３は、任意の仮想視点からみた合成画像を生成する手法を説明するための図である。
【００３８】
撮影部５のフロントカメラ５１、サイドカメラ５２及びバックカメラ５３で同時に撮影が行われると、車両９の前方、左側方、右側方、及び、後方をそれぞれ示す４つの撮影画像Ｐ１〜Ｐ４が取得される。すなわち、撮影部５で取得される４つの撮影画像Ｐ１〜Ｐ４には、撮影時点の車両９の全周囲を示す情報が含まれていることになる。
【００３９】
取得された４つの撮影画像Ｐ１〜Ｐ４は多重化された後、視点変換部３３により仮想的な三次元の立体曲面ＳＰに投影される。立体曲面ＳＰは、例えば略半球状（お椀形状）をしており、その中心部分（お椀の底部分）が車両９の位置として定められている。撮影画像Ｐ１〜Ｐ４に含まれる各画素の位置と、この立体曲面ＳＰの各画素の位置とはあらかじめ対応関係が定められている。このため、立体曲面ＳＰの各画素の値は、この対応関係と、撮影画像Ｐ１〜Ｐ４に含まれる各画素の値とに基づいて決定できる。撮影画像Ｐ１〜Ｐ４の各画素の位置と立体曲面ＳＰの各画素の位置との対応関係は、テーブルデータとして画像処理部１０のＣＰＵ１が備えるメモリ１１に記憶される。
【００４０】
一方で、立体曲面ＳＰに対するＶＰ１，ＶＰ２，ＶＰ５，および、ＶＰ７などの仮想視点が設定される。そして、設定された仮想視点ＶＰ１，ＶＰ２，ＶＰ５，および、ＶＰ７に応じて、立体曲面ＳＰにおける必要な領域が画像として切り出されることにより、任意の仮想視点からみた合成画像が生成されることになる。
【００４１】
例えば、図中に示すように、車両９の後方となる仮想視点ＶＰ１を設定した場合は、車両９の後方から車両９を見下ろしたような合成画像ＣＰ１が生成されることになる。また、車両９の左側面となる仮想視点ＶＰ２や右側面となるＶＰ５を設定した場合は、車両９の左側面、または、右側面から車両９を見下ろしたような合成画像ＣＰ２、または、ＣＰ５が生成されることとなる。さらに、車両９の真上の仮想視点ＶＰ７を設定した場合は、車両９の真上から見下ろすような合成画像ＣＰ７が生成される。仮想視点と、立体曲面ＳＰにおける必要な領域との関係はあらかじめ定められており、テーブルデータとして画像処理部１０のＣＰＵ１が備えるメモリ１１に記憶される。
【００４２】
実際に合成画像を生成する場合においては、立体曲面ＳＰの全ての画素の値を決定する必要はなく、仮想視点に対応して必要となる領域の画素の値のみを撮影画像Ｐ１〜Ｐ４に基づいて決定することで、処理速度を向上できる。また、合成画像中に示す車両９の像はあらかじめビットマップなどはメモリ１１内に用意しておき、仮想視点に応じた方向の車両９の像を生成された合成画像に重畳すればよい。
【００４３】
なお、撮影画像Ｐ１〜Ｐ４の各画素の位置と立体曲面ＳＰの各画素の位置との対応関係のテーブルデータ、仮想視点と立体曲面ＳＰにおける必要な領域との関係を定めたテーブルデータ、車両の像のビットマップデータなどのメモリ１１内に保存されているデータは他のデータに書き換え可能である。またメモリ１１はＣＰＵ１の内部に設けられているが、これに限らずＣＰＵ１の外部または画像処理部１０の外部に設けられても良い。
【００４４】
＜１−３．動作＞
次に、本実施形態の画像処理部１０の動作について、図４の画像処理部１０の処理の流れを示す図、および、図５の第１の実施形態における合成画像の画面遷移を示す図を参照して説明する。
【００４５】
画像処理部１０のＣＰＵ１が車両電源制御装置８４からのＡＣＣ−ＯＮ信号を信号入力部４１を介して受信する（ステップＳ１０１がＹｅｓ）と、画像処理部１０の通信部４２は表示部２１との初期通信を開始する（ステップＳ１０２）。ここで初期通信とは画像処理部１０と表示部２１との間で通信可能か否かを確認する処理をいう。画像処理部１０のＣＰＵ１が車両電源制御装置８４からのＡＣＣ−ＯＮ信号を受信していない場合は処理を終了する（ステップＳ１０１がＮｏ）。
【００４６】
画像処理部１０と表示部２１との初期通信が正常に終了すれば（ステップＳ１０３がＹｅｓ）、画像処理部１０はＣＰＵ１のメモリ１１から車両周囲確認処理を行うためのデータを読み出す（ステップＳ１０４）。車両周囲確認処理データの例としては、車両のビットマップデータ、視点の移動データ（時間ごとの視点位置や視点の方向のデータ）などがあげられる。
【００４７】
初期通信が正常に終了していない場合（ステップＳ１０３がＮｏ）は再度、表示部２１との通信を行ったり、複数回の通信を試みても通信できない場合は処理を終了する。なお、ここで初期通信が正常に終了しない場合としては、故障などの原因で画像処理部１０が正常に動作していないことがあげられる。このような場合は表示部２１に車両周囲の画像表示のシステムが故障している旨の警告を表示するようにできる。
【００４８】
メモリ１１から車両周辺確認処理のデータを読み出した後に、画像処理部１０の画像変換部３は読み出したデータに基づいて、車両周囲の合成画像を生成する（ステップＳ１０５）。作成された合成画像のデータは表示部２１に送信される（ステップＳ１０６）。なお、画像処理部１０は作成した仮想視点の位置が段階的に変更されている複数の合成画像が連続性を有するように順番に表示部２１にデータを送信する。これにより仮想視点の位置が段階的に変更され、連続表示により車両を見下ろした状態で、車両９の周囲を周回する画像を表示部２１に表示させることができる。
【００４９】
複数の合成画像の表示部２１への送信が終了する（ステップＳ１０７がＹｅｓ）と、車両９の略中心の直上（真上）の合成画像を生成し（ステップＳ１０８）、生成した車両９の略中心の直上（真上）の合成画像を表示部２１へ送信する（ステップＳ１０９）。
【００５０】
なお、複数の合成画像データの表示部２１への送信が終了していない場合（ステップＳ１０７がＮｏ）は、ステップＳ１０５の処理に戻って、次の車両周囲の合成画像を生成する処理を行う。
【００５１】
上記の車両９の周囲の複数の合成画像の生成と表示、車両９の略中心の直上（真上）の合成画像の生成と表示について、図５に基づいて説明する。
【００５２】
車両９の後方から車両９を見下ろしたような合成画像ＣＰ１、車両９の左側面から車両９を見下ろしたような合成画像ＣＰ２、車両９の左斜め側面から車両９を見下ろしたような合成画像ＣＰ３、車両９の前方から車両９を見下ろしたような合成画像ＣＰ４、車両９の右側面から車両９を見下ろしたような合成画像ＣＰ５、車両９の右斜め側面から車両９を見下ろしたような合成画像ＣＰ６、車両９の略中心の直上（真上）から車両９を見下ろしたような合成画像ＣＰ７がそれぞれ撮影部５のカメラ５１，５２，５３から入力される画像に基づいて、画像処理部１０はユーザが自身の目線の高さで車両の周囲を１周するようなＣＰ１からＣＰ６の合成画像を順番に生成し、最後に車両周囲の全体を車両９の略中心の直上（真上）の視点からみたＣＰ７の合成画像をＣＰ６の次に生成して、表示部２１に連続表示させる。これにより、車両を見下ろした状態で車両の周囲を周回するように示す複数の合成画像が表示部２１に表示されるため、ユーザが車両を目の前にした視点から車両の全周囲を確認することで、１つの画面で直感的に車両と障害物との位置関係を把握できる。
【００５３】
また、仮想視点の位置が連続性を持って移動しつつ、車両の周囲を旋回するように示す複数の合成画像と車両の略中心の直上（真上）からみた合成画像との双方が表示されることで、ユーザは１つの画面で直感的に車両と障害物との位置関係を把握できる。さらに、車両の周囲と車両の略中心の直上（真上）との複数の視点から車両周囲の安全性を確認できる。
【００５４】
また、車両の周囲の画像でユーザが見落とす障害物などの情報があったとしても、車両の周囲の画像の後に連続性をもって表示される車両の上方の画像により再度安全確認を行うことができる。
【００５５】
また、ユーザが車両の全周囲の広い範囲をいちどに確認する必要はなく、車両周囲の限られた範囲の画像の後に車両の略中心の直上（真上）の広い範囲の車両全体の画像を連続して表示することで、ユーザは１つの画面で車両周囲の安全確認をより確実に行える。
【００５６】
また、車両の位置を中心として車両の周囲を順に移動する仮想視点からみた合成画像を生成することで、ユーザは１つの画面で直感的に車両の全周囲の障害物を確認することができる。
【００５７】
なお、ここで示した合成画像は一例であり、合成画像の車両を見下ろす高さ、方向、合成画像の連続表示の一時停止、連続表示の回転速度の調整、連続表示の回転を逆回転とすることなどの設定はユーザの任意の変更が可能である。
【００５８】
また、連続表示を一時停止して表示部の画面の任意の部分をユーザ操作により選択することで選択した部分を拡大表示させることもできる。さらに、本実施形態では車両周囲を表示する合成画像を連続表示した後に、車両の略中心の直上（真上）の合成画像を連続表示させる場合を述べたが、この順序に限ることなく車両の略中心の直上（真上）の合成画像を表示した後に車両周囲の合成画像を連続表示させてもよい。
【００５９】
また、本実施形態では車両の後方の仮想視点の位置から周囲を１周する場合について述べたが、画像を遷移させる開始位置は特定されるものではなく任意の位置でもよい。さらに、周囲を周回する回数は１回に限らず２回以上または半周など任意の回数でもよい。
【００６０】
また、本実施形態では車両周囲確認処理の開始条件を画像処理部１０または表示部２１が車両電源制御装置８４からのＡＣＣ−ＯＮ信号を受信したことを開始条件とすることで、これにより画像処理装置の起動時にユーザが車両の周辺を確認できる。通常、画像処理装置は車両の走行前にＡＣＣ−ＯＮに応答して起動するため、車両の走行前にユーザが車両の周辺を確認できるという効果を有する。このような車両周囲確認処理の開始条件は、ＡＣＣ−ＯＮ信号の受信のみではなく、切替スイッチ８３を所定時間以上（例えば３秒以上）継続して押下することとしてもよい。これによりユーザが車両周囲を自動で確認したい場合にはいつでも確認を行うことができる。
【００６１】
さらに、複数の合成画像を連続表示している際に、表示部２１に図示しない完了ボタンを設けて、連続表示の途中であってもこの完了ボタンを押下することで、合成画像の連続表示を終了させたり、図示しない設定ボタンを設けて予め、ＡＣＣ−ＯＮや切替えスイッチ８３を所定時間以上押下することによる車両周囲確認処理の開始を行わないようにすることもできる。
【００６２】
また、車両周囲確認処理を実行して合成画像を連続表示している場合に、車速が所定速度以上、シフトポジションの”Ｒ”への切替え、切替ＳＷの押下といったユーザの操作に基づく信号が表示部２１に入力された場合は、以下に詳述するように車両周囲確認処理を終了して、ユーザの操作に対応した処理を開始する。
【００６３】
次に、表示部２１の処理動作について図６の表示部２１の表示処理の流れを示す図を用いて説明する。表示部２１は車両電源制御装置８４からのＡＣＣ−ＯＮ信号を受信する（ステップＳ２０１がＹｅｓ）と、表示部の本体電源をＯＮする（ステップＳ２０２）。なお、車両電源制御装置８４からのＡＣＣ−ＯＮ信号を受信していない（ステップＳ２０１がＮｏ）の場合は処理を終了する。
【００６４】
その後、同じく車両電源制御装置８４からのＡＣＣ−ＯＮ信号を受信している画像処理部１０と初期通信を開始する（ステップＳ２０３）。ここで、初期通信とは画像処理部１０と表示部２１との間で通信可能か否かを確認する処理をいう。初期通信が正常に終了した場合（ステップＳ２０４がＹｅｓ）は、画像処理部１０から車両周囲確認処理の合成画像のデータを受信する（ステップＳ２０５）。
【００６５】
初期通信が正常に終了していない場合（ステップＳ２０４がＮｏ）は、再度画像処理部１０との通信を行ったり、複数回通信を試みても通信できない場合は処理を終了する。なお、ここで初期通信が正常に終了しない場合としては、故障などの原因で画像処理部１０が正常に動作していないことがあげられる。このような場合は、表示部２１に車両周囲の画像表示のシステムが故障している旨の警告を表示するようにできる。
【００６６】
表示部２１が画像処理部１０から合成画像データを受信している間に、表示部２１はオープニング画面を表示する（ステップＳ２０６）。オープニング画面表示後、画像処理部１０から受信した車両周囲の複数の合成画像を上記図５を用いて説明したように、連続表示させる（ステップＳ２０７）。複数の合成画像を連続表示している間にシフトセンサ８１から表示部２１へシフトポジションが”Ｒ“に切替えられた信号が送信される（ステップＳ２０８がＹｅｓ）と、表示部２１は車両周囲の合成画像を連続表示している画面から、車両の後方を撮影した画像を表示するバックモード画像表示の画面に切替えて表示する（ステップＳ２０９）。
【００６７】
シフトポジションが”Ｒ“に切替えられていない場合（ステップＳ２０８がＮｏ）で、切替スイッチ８３が押下された場合（ステップＳ２１０がＹｅｓ）は、表示部２１は車両周囲の合成画像を連続表示している画面から、車両の前方を撮影した画像を表示するフロントモード画像表示の画面に切替えて表示する。（ステップＳ２１１）。
【００６８】
切替スイッチ８３が押下されていない場合（ステップＳ２１０がＮｏ）で、車速が所定の速度以上（例えば車速が１２ｋｍ／ｈ以上）の場合（ステップＳ２１２がＹｅｓ）は、車両周囲の合成画像を連続表示している画面からナビゲーション画像を表示する画面に切替えて表示する（ステップＳ２１５）。車速が所定の速度以上でない場合（ステップＳ２１２がＮｏ）は、車両周囲の合成画像の連続表示が終了しているか否かを判断し（ステップＳ２１３）、合成画像の連続表示が終了していない場合（ステップＳ２１３がＮｏ）は、画像処理部１０から表示部２１へ新たな合成画像が送信され、表示部２１は合成画像処理部１０から送信された新たな合成画像を前の合成画像と連続性をもたせて表示する。
【００６９】
車両周囲の合成画像の連続表示が終了した場合（ステップＳ２１３がＹｅｓ）は、画像処理部１０から表示部２１へ送信された車両９の略中心の直上（真上）の合成画像が表示部２１に表示される（ステップＳ２１４）。これにより、車両を見下ろした状態で車両の周囲を周回するように示す複数の合成画像が表示装置に表示されるため、ユーザが車両を目の前にした視点から車両の全周囲を確認することで、１つの画面で直感的に車両と障害物との位置関係を把握できる。
【００７０】
車両９の略中心の直上（真上）の合成画像表示後、表示部２１はナビゲーション画像を表示する画面を表示する（ステップＳ２１５）。
【００７１】
仮想視点の方向が連続性を持って移動しつつ、車両の周囲を旋回するように示す複数の合成画像と車両上方からみた合成画像との双方が表示されることで、ユーザは１つの画面で直感的に車両と障害物との位置関係を把握できる。さらに、車両の周囲と車両の略中心の直上（真上）との複数の視点から車両周囲の安全性を確認できる。
【００７２】
また、車両の周囲の画像でユーザが見落とす障害物などの情報があったとしても、車両の周囲の画像の後に連続性をもって表示される車両の略中心の直上（真上）の画像により再度安全確認を行うことができる。
【００７３】
また、ユーザが車両の全周囲の広い範囲を確認する必要はなく、車両周囲の限られた範囲の画像の後に車両の略中心の直上（真上）の広い範囲の車両全体の画像を連続して表示することで、ユーザは１つの画面で車両周囲の安全確認をより確実に行える。
【００７４】
また、車両周囲の限られた範囲の画像の後に車両の略中心の直上（真上）の広い範囲の車両全体の画像を連続して表示することで、ユーザは１つの画面で車両周囲の安全確認をより確実に行える。
【００７５】
また、車両の位置を中心として車両周囲を順に移動する仮想視点からみた合成画像を生成することで、ユーザは１つの画面で直感的に車両の全周囲の障害物を確認することができる。
【００７６】
なお、ここで示した合成画像は一例であり、合成画像の車両を見下ろす高さ、方向、合成画像の連続表示の一時停止、連続表示の回転速度の調整、連続表示の回転を逆回転とすることなどの設定はユーザの任意の変更が可能である。
【００７７】
また、連続表示を一時停止して表示部の画面の任意の部分をユーザ操作により選択することで選択した部分を拡大表示することも可能である。さらに、本実施形態では車両周囲を表示する合成画像を連続表示した後に、車両上方の合成画像を連続表示させる場合を述べたが、この順序に限ることなく車両の略中心の直上（真上）の合成画像を表示した後に車両周囲の合成画像を連続表示させてもよい。
【００７８】
また、本実施形態では車両の後方の仮想視点の位置から周囲を１周する場合について述べたが、画像を遷移させる開始位置は特定されるものではなく任意の位置でもよい。さらに、周囲を周回する回数は１回に限らず２回以上または半周など任意の回数でもよい。
【００７９】
また、本実施形態では車両周囲確認処理の開始条件を画像処理部１０または表示部２１が車両電源制御装置８４からのＡＣＣ−ＯＮ信号を受信したことを開始条件とすることで、これにより画像処理装置の起動時にユーザが車両の周辺を確認することができる。通常、画像処理装置は車両の走行前にＡＣＣ−ＯＮに応答して起動するため、車両の走行前にユーザが車両の周辺を確認できるという効果を有する。このような車両周囲確認処理の開始条件は、ＡＣＣ−ＯＮ信号の受信のみではなく、切替スイッチ８３を所定時間以上（例えば３秒以上）継続して押下することとしてもよい。これによりユーザが車両周囲を自動で確認したい場合にはいつでも確認を行うことができる。
【００８０】
さらに、複数の合成画像を連続表示している際に、表示部２１に図示しない完了ボタンを設けて、連続表示の途中であってもこの完了ボタンを押下することで、合成画像の連続表示を終了させたり、図示しない設定ボタンを設けて予めＡＣＣ−ＯＮ時や切替えスイッチ８３を所定時間以上押下することによる車両周囲確認処理の開始を行わないようにすることもできる。
＜２．第２の実施の形態＞
第２の実施形態は第１の実施形態と基本的な構成は同一である。本実施形態については図７の第２の実施形態における合成画像の画面遷移を示す図を用いて説明する。図７のＣＰ１ａからＣＰ７ａは上記図５に示したＣＰ１からＣＰ７の車両周囲の合成画像の連続表示とは周囲の合成画像を生成する視点の位置が異なる。本実施形態では、車両の左側に仮想視点を移動させた状態でその周囲の合成画像ＣＰ１ａからＣＰ７ａを画像処理部１０で生成し、これらの合成画像を表示部２１に連続表示させる。
【００８１】
ＣＰ１ａは車両９の後方で車両９の左に所定距離移動した位置の仮想視点から車両９を見下ろしたような合成画像、ＣＰ２ａは車両９の左側面で車両９の左に所定距離移動した位置の仮想視点から車両９を見下ろしたような合成画像、ＣＰ３ａは車両９の左斜め側面で車両９の左に所定距離移動した位置の仮想視点から車両９を見下ろしたような合成画像、ＣＰ４ａは車両９の前面で車両９の左に所定距離移動した位置の仮想視点から車両９を見下ろしたような合成画像、ＣＰ５ａは車両９の右側面で車両９の左に所定距離移動した位置の仮想視点から車両９を見下ろしたような合成画像、ＣＰ６ａは車両９の右側面で車両９の左に所定距離移動した位置の仮想視点から車両９を見下ろしたような合成画像、ＣＰ７ａは車両９の略中心の直上（真上）の仮想視点から左に所定距離移動して車両９を見下ろしたような合成画像である。
【００８２】
このように車両から所定距離移動して、周囲の合成画像の連続表示の仮想視点の位置を車両の画像を一部にでも含む範囲内で切替えることで、ユーザが確認したい部分を選択して表示できる。例えばユーザが運転席（右側の席）に着座しており、左側を重点的に確認したい場合は、上記に示したように車両から左に所定距離移動した位置の視点を中心に合成画像を生成し、その合成画像の連続表示を行うことが可能である。仮想視点の位置の変更はユーザが手動で行うことが可能であり、車両の画像を含む範囲でユーザが確認を希望する任意の位置を中心に合成画像の連続表示を行うことが可能である。これにより、ユーザは重点的に確認を行いたい位置を中心にその周囲の状況を確認することができ、車両と障害物との位置関係を１つの画面で直感的に把握することができる。
【００８３】
また、仮想視点の位置が連続性を持って遷移しつつ、車両から所定距離移動した周囲を旋回するように示す複数の合成画像と車両の略中心の直上（真上）の仮想視点から所定距離移動した合成画像との双方が表示されることで、ユーザは１つの画面で直感的に車両と障害物との位置関係を把握できる。さらに、車両から所定距離移動した周囲の仮想視点と車両の略中心の直上（真上）から所定距離移動した仮想視点との複数の仮想視点から車両周囲の安全性を確認できる。
【００８４】
また、車両から所定距離移動した周囲の画像でユーザが見落とす障害物などの情報があったとしても、車両から所定距離移動した周囲の画像の後に連続性をもって表示される車両の略中心の直上（真上）の仮想視点から所定距離移動した画像により再度安全確認を行うことができる。
【００８５】
また、車両から所定距離移動した位置を真上からみた広い範囲をいちどに確認する必要はなく、車両から所定距離移動した周囲の限られた範囲の画像の後に車両の略中心の直上（真上）の仮想視点から所定距離移動した広い範囲の画像を連続して表示することで、ユーザは１つの画面で車両周囲の安全確認をより確実に行える。
＜３．画像処理部；変形例＞
＜３−１．変形例１＞
次に、図４を用いて説明した画像処理部１０の処理の変形例について説明する。
【００８６】
図４では、仮想視点の位置が異なる複数の合成画像を生成するごとに表示部２１に送信していたが、この変形例１では複数の合成画像を生成してから表示部２１に送信するようにしている。
【００８７】
図８は、この変形例１の画像処理部１０の処理の例を示す図である。画像処理部１０のＣＰＵ１が車両電源制御装置８４からの表示部２１に画像を出力する指示を行うための指示信号であるＡＣＣ−ＯＮ信号を信号入力部４１を介して受信する（ステップＳ３０１がＹｅｓ）と、画像処理部１０の通信部４２は表示部２１との初期通信を開始する（ステップＳ３０２）。ここで初期通信とは画像処理部１０と表示部２１との間で通信可能か否かを確認する処理をいう。画像処理部１０のＣＰＵ１が車両電源制御装置８４からのＡＣＣ−ＯＮ信号を受信していない場合は処理を終了する（ステップＳ３０１がＮｏ）。
【００８８】
画像処理部１０と表示部２１との初期通信が正常に終了すれば（ステップＳ３０３がＹｅｓ）、ＣＰＵ１はメモリ１１から車両周囲確認処理を行うためのデータを読み出す（ステップＳ３０４）。車両周囲確認処理データの例としては、車両のビットマップデータ、視点の移動データ（時間ごとの視点位置や視点の方向のデータ）などのパラメータのデータがあげられる。
【００８９】
初期通信が正常に終了していない場合（ステップＳ３０３がＮｏ）は再度、表示部２１との通信を行ったり、複数回の通信を試みても通信できない場合は処理を終了する。なお、ここで初期通信が正常に終了しない場合としては、故障などの原因で画像処理部１０が正常に動作していないことがあげられる。このような場合は表示部２１に車両周囲の画像表示のシステムが故障している旨の警告を表示するようにできる。
【００９０】
ステップＳ３０４に戻って、メモリ１１から車両周辺確認処理のデータを読み出した後に、画像処理部１０の画像変換部３は読み出したデータに基づいて、車両周囲確認処理の合成画像を生成する（ステップＳ３０５）。ここで、車両周囲確認処理の合成画像とは、車両９の周囲の合成画像、および、車両９の略中心の直上（真上）の合成画像をいう。
【００９１】
作成された車両周囲確認処理の合成画像のデータは表示部２１に出力される（ステップＳ３０６）。なお、画像処理部１０は作成した仮想視点の位置が段階的に変更されている複数の合成画像が連続性を有するような順番でまとめて表示部２１にデータが出力される。
【００９２】
これにより仮想視点の位置が段階的に変更され、車両９の周囲の上方の仮想視点から車両方向にみた状態で、車両９の周囲を連続的に周回する画像を表示部２１に表示させることができる。また、車両９の周囲の合成画像、および、車両９の略中心の直上（真上）の複数の合成画像を同じタイミングで表示部２１に出力することで、段階的に変更されて連続的に表示されている合成画像のうち、所定の画像の表示をとばして、次の画像を表示したり、前の画像に戻って表示することができ、連続的に表示される画像のうちユーザが確認したい箇所の画像を素早く表示できる。
【００９３】
＜３−２．変形例２＞
また、図４では、仮想視点の位置が異なる複数の合成画像を生成するごとに表示部２１に送信していたが、変形例２では、予め生成されてメモリ１１に記憶された複数の合成画像をＡＣＣ−ＯＮ信号に応答して表示部２１に送信するようにしている。
【００９４】
図９は、この変形例２の画像処理部１０の処理の例を示す図である。画像処理部１０のＣＰＵ１が車両電源制御装置８４からの表示部２１に画像を出力する指示を行うための指示信号であるＡＣＣ−ＯＮ信号を信号入力部４１を介して受信する（ステップＳ４０１がＹｅｓ）と、画像処理部１０の通信部４２は表示部２１との初期通信を開始する（ステップＳ４０２）。ここで初期通信とは画像処理部１０と表示部２１との間で通信可能か否かを確認する処理をいう。画像処理部１０のＣＰＵ１が車両電源制御装置８４からのＡＣＣ−ＯＮ信号を受信していない場合（ステップＳ４０１がＮｏ）は処理を終了する。
【００９５】
画像処理部１０と表示部２１との初期通信が正常に終了すれば（ステップＳ４０３がＹｅｓ）、ＣＰＵ１はメモリ１１から車両周囲確認処理の合成画像データを読み出す（ステップＳ４０４）。この合成画像データは、ＡＣＣ−ＯＮ信号を受信する前に車両９の周辺を撮影する撮影部５の複数のカメラにより撮影された複数の撮影画像に基づいて、上記画像変換処理により生成された合成画像であり、予めメモリ１１に保存されているデータである。
【００９６】
ステップＳ４０４において、予めメモリ１１に保存されている車両周囲確認処理の合成画像データが、メモリ１１から読み出された後、車両周囲確認処理の合成画像データが表示部２１へ出力される（ステップＳ４０５）。
【００９７】
これにより、表示装置２１に画像を出力する指示を行うための指示信号であるＡＣＣ−ＯＮ信号を画像処理部１０のＣＰＵ１が受信してすぐに車両周辺確認処理の合成データを表示部２１へ出力することができ、指示信号を受信してから表示部２１へ合成画像データ出力する時間を短縮できる。
【００９８】
初期通信が正常に終了していない場合（ステップＳ４０３がＮｏ）は再度、表示部２１との通信を行ったり、複数回の通信を試みても通信できない場合は処理を終了する。なお、ここで初期通信が正常に終了しない場合としては、故障などの原因で画像処理部１０が正常に動作していないことがあげられる。このような場合は表示部２１に車両周囲の画像表示のシステムが故障している旨の警告を表示するようにできる。
＜４第３の実施の形態＞
次に、第３の実施の形態について説明する。上記第１の実施の形態では主に、ＡＣＣ−ＯＮ信号を指示信号とし、この指示信号に応答して仮想視点の位置が異なる複数の合成画像を送信していた。これに対して、第３の実施の形態では、ユーザの操作に基づく信号を指示信号とし、ユーザの操作に応答して複数の合成画像が送信されるようになっている。
【００９９】
＜４−１．構成＞
図１０は、第３の実施の形態の画像表示システム１０１のブロック図である。第３の実施形態も、第１の実施形態と基本的な構成はほぼ同一である。図１０において、上記図１で説明した構成と異なる点は、表示部２１に設けられた操作部６１ａと操作部６１ｂとを備えていることである。
【０１００】
操作部６１ａは表示部２１の表示画面に透明電極で形成されたタッチスイッチ、および、表示部２１の周囲に設けられた固定のハードスイッチなどからなり、ユーザの操作による指示信号が、信号入力部４１を介してＣＰＵ１に送信される。ＣＰＵ１はこの指示信号を受けて、後述する画像処理部１０での合成画像の生成および合成画像の表示部２１への出力を行う。
【０１０１】
合成画像の具体例としては、車両９の周辺を撮影する撮影部５の複数のカメラ（フロントカメラ５１、サイドカメラ５２、および、バックカメラ５３）から取得される複数の画像に基づいて生成される、車両９の周囲の上方の仮想視点から車両９の方向をみる画像があげられる。また、合成画像の他の具体例は、車両９の略中心の直上（真上）の仮想視点からみた画像などがある。
【０１０２】
操作部６１ｂは画像処理システム１０１に一体的に設けられている固定スイッチである。この操作部６１ｂのユーザの操作による指示信号が、信号入力部４１を介してＣＰＵ１に送信される。ＣＰＵ１はこの指示信号を受けて、後述する画像処理部１０での合成画像の生成および合成画像の表示部２１への出力を行う。なお、操作部６１ｂは、遠隔操作可能とするリモートコントローラであってもよく、あるいは固定スイッチとリモートコントローラの両者を併用してもよい。図１０における画像処理システム１０１のその他の構成は、上記図１で画像処理システム１００で説明した構成と同じ構成である。
【０１０３】
＜４−２．動作＞
図１１は、第３の実施形態の画像処理部の処理の流れを示す図である。
【０１０４】
画像処理部１０のＣＰＵ１がユーザの操作により操作部６１ａ、または、操作部６１ｂからの指示信号を受信した場合（ステップＳ５０１がＹｅｓ）、ＣＰＵ１はメモリ１１から車両周囲確認処理を行うためのデータを読み出す（ステップＳ５０２）。車両周囲確認処理データの例としては、車両のビットマップデータ、視点の移動データ（時間ごとの視点位置や視点の方向のデータ）などがあげられる。
【０１０５】
なお、画像処理部１０のＣＰＵ１が操作部６１ａ、または、操作部６１ｂのいずれかの操作部から指示信号を受信していない場合（ステップＳ５０１がＮｏ）は処理を終了する。
【０１０６】
メモリ１１から車両周辺確認処理のデータを読み出した後に、画像処理部１０の画像変換部３は読み出したデータに基づいて、車両周囲の合成画像を生成する（ステップＳ５０３）。作成された合成画像のデータは表示部２１に出力される（ステップＳ５０４）。なお、画像処理部１０は作成した仮想視点の位置が段階的に変更されている複数の合成画像が連続性を有するように順番に表示部２１にデータを出力する。これにより仮想視点の位置が段階的に変更され、車両９の周囲の上方の仮想視点から車両方向にみた状態で、車両９の周囲を連続的に周回する画像を表示部２１に表示させることができる。
【０１０７】
複数の合成画像の表示部２１への出力が終了する（ステップＳ５０５がＹｅｓ）と、車両９の略中心の直上（真上）の合成画像を生成し（ステップＳ５０６）、生成した車両９の略中心の直上（真上）の合成画像を表示部２１へ出力する（ステップＳ５０７）。
【０１０８】
なお、ステップＳ５０５において複数の合成画像データの表示部２１への出力が終了していない場合（ステップＳ５０５がＮｏ）は、ステップＳ５０３の処理に戻って、次の車両９の周囲の合成画像を生成する処理を行う。
【０１０９】
次に、表示部２１の処理動作について、図１２の第３の実施形態の合成画像の画面遷移を示す図を用いて説明する。表示部２１は画像処理部１０から車両周囲確認処理の合成画像データを受信する（ステップＳ６０１がＹｅｓ）と、表示部２１に画像処理部１０から受信した車両９の周囲の複数の合成画像を連続表示させる（ステップＳ６０２）。
【０１１０】
なお、画像処理部１０から車両周囲確認処理の合成画像データを受信していない場合（ステップＳ６０１がＮｏ）は処理を終了する。
【０１１１】
ステップＳ６０２の処理により、複数の合成画像を連続表示している間にシフトセンサ８１から表示部２１へシフトポジションが”Ｒ“に切替えられた信号が送信される（ステップＳ６０３がＹｅｓ）と、表示部２１は車両９の周囲の合成画像を連続表示している画面から、車両９の後方を撮影した画像を表示するバックモード画像表示の画面に切替えて表示する（ステップＳ６０４）。
【０１１２】
シフトポジションが”Ｒ“に切替えられていない場合（ステップＳ６０３がＮｏ）で、切替スイッチ８３が押下された場合（ステップＳ６０５がＹｅｓ）は、表示部２１は車両９の周囲の合成画像を連続表示している画面から、車両９の前方を撮影した画像を表示するフロントモード画像表示の画面に切替えて表示する。（ステップＳ６０６）。
【０１１３】
ステップＳ６０５において、切替スイッチ８３が押下されていない場合（ステップＳ６０５がＮｏ）で、車速が所定の速度以上（例えば車速が１２ｋｍ／ｈ以上）の場合（ステップＳ６０７がＹｅｓ）は、車両９の周囲の合成画像を連続表示している画面からナビゲーション画像を表示する画面に切替えて表示する（ステップＳ６１０）。
【０１１４】
車速が所定の速度以上でない場合（ステップＳ６０７がＮｏ）は、車両９の周囲の合成画像の連続表示が終了しているか否かを判断し（ステップＳ６０８）、合成画像の連続表示が終了していない場合（ステップＳ６０８がＮｏ）は、画像処理部１０から表示部２１へ新たな合成画像が送信され、表示部２１は合成画像処理部１０から送信された新たな合成画像を前の合成画像と連続性をもたせて表示する。
【０１１５】
車両９の周囲の合成画像の連続表示が終了した場合（ステップＳ６０８がＹｅｓ）は、画像処理部１０から表示部２１へ送信された車両９の略中心の直上（真上）の合成画像が表示部２１に表示される（ステップＳ６０９）。これにより、車両を見下ろした状態で車両の周囲を周回するように示す複数の合成画像が表示装置に表示されるため、ユーザが車両を目の前にした視点から車両の全周囲を確認することで、１つの画面で直感的に車両と障害物との位置関係を把握できる。
【０１１６】
ステップＳ６０９において、車両９の略中心の直上（真上）の合成画像表示後、表示部２１はナビゲーション画像を表示する画面を表示する（ステップＳ６１０）。
【０１１７】
このように、仮想視点の方向が連続性を持って移動しつつ、車両の周囲を旋回するように示す複数の合成画像と車両上方からみた合成画像との双方が表示されることで、ユーザは１つの画面で直感的に車両と障害物との位置関係を把握できる。さらに、車両９の周囲と車両９の略中心の直上（真上）との複数の視点から車両９の周囲の安全性を確認できる。
【０１１８】
また、車両９の周囲の画像でユーザが見落とす障害物などの情報があったとしても、車両９の周囲の画像の後に連続性をもって表示される車両９の略中心の直上（真上）の画像により再度安全確認を行うことができる。
【０１１９】
また、ユーザが車両９の全周囲の広い範囲を確認する必要はなく、車両９の周囲の限られた範囲の画像の後に車両９の略中心の直上（真上）の広い範囲の車両９全体の画像を連続して表示することで、ユーザは１つの画面で車両９の周囲の安全確認をより確実に行える。
【０１２０】
また、車両９の周囲の限られた範囲の画像の後に車両９の略中心の直上（真上）の広い範囲の車両９全体の画像を連続して表示することで、ユーザは１つの画面で車両９の周囲の安全確認をより確実に行える。
【０１２１】
また、車両９の位置を中心として車両９の周囲を順に移動する仮想視点からみた合成画像を生成することで、ユーザは１つの画面で直感的に車両９の全周囲の障害物を確認することができる。
【０１２２】
なお、ここで示した合成画像は一例であり、合成画像の車両を見下ろす高さ、方向、合成画像の連続表示の一時停止、連続表示の回転速度の調整、連続表示の回転を逆回転とすることなどの設定はユーザの任意の変更が可能である。
【０１２３】
また、連続表示を一時停止して表示部の画面の任意の部分をユーザ操作により選択することで選択した部分を拡大表示することも可能である。さらに、本実施形態では車両９の周囲を表示する合成画像を連続表示した後に、車両９の上方の合成画像を連続表示させる場合を述べたが、この順序に限ることなく車両９の略中心の直上（真上）の合成画像を表示した後に車両９の周囲の合成画像を連続表示させてもよい。
【０１２４】
また、本実施形態では車両９の後方の仮想視点の位置から周囲を１周する場合について述べたが、画像を遷移させる開始位置は特定されるものではなく任意の位置でもよい。さらに、周囲を周回する回数は１回に限らず２回以上または半周など任意の回数でもよい。
【０１２５】
また、本実施形態では車両９の周囲確認処理の開始条件を画像処理部１０がユーザの操作による操作部６１ａ、または、操作部６１ｂからの指示信号を受信したことを開始条件とすることで、ユーザが車両９の周辺確認を行いたい場合にいつでも車両９の周囲を確認できる。
【０１２６】
さらに、複数の合成画像を連続表示している際に、表示部２１に図示しない完了ボタンを設けて、連続表示の途中であってもこの完了ボタンを押下することで、合成画像の連続表示を終了させたり、操作部６１ａ、または、操作部６１ｂを所定時間以上押下することによる車両周囲確認処理の開始を行わないようにすることもできる。
【０１２７】
＜４−３．変形例１＞
次に、第３の実施形態の画像処理部の処理の変形例について説明する。
【０１２８】
この変形例１では、複数の合成画像を生成してから表示部２１に送信するようにしている。図１３は、この場合の画像処理部の処理の例を示す図である。画像処理部１０のＣＰＵ１がユーザの操作により操作部６１ａ、または、操作部６１ｂからの指示信号を受信した場合（ステップＳ７０１がＹｅｓ）、ＣＰＵ１はメモリ１１から車両周囲確認処理を行うためのデータを読み出す（ステップＳ７０２）。車両周囲確認処理データの例としては、車両のビットマップデータ、視点の移動データ（時間ごとの視点位置や視点の方向のデータ）などのパラメータのデータがあげられる。
【０１２９】
メモリ１１から車両周辺確認処理のデータを読み出した後に、画像処理部１０の画像変換部３は読み出したデータに基づいて、車両周囲確認処理の合成画像を生成する（ステップＳ７０３）。ここで、車両周囲確認処理の合成画像とは、車両９の周囲の合成画像、および、車両９の略中心の直上（真上）の合成画像をいう。
【０１３０】
ステップＳ７０３において、作成された車両周囲確認処理の合成画像のデータは表示部２１に出力される（ステップＳ７０４）。なお、画像処理部１０は作成した仮想視点の位置が段階的に変更されている複数の合成画像が連続性を有するような順番でまとめて表示部２１にデータが出力される。
【０１３１】
これにより仮想視点の位置が段階的に変更され、車両９の周囲の上方の仮想視点から車両９の方向にみた状態で、車両９の周囲を連続的に周回する画像を表示部２１に表示させることができる。また、車両９の周囲の合成画像、および、車両９の略中心の直上（真上）の複数の合成画像を同じタイミングで表示部２１に出力することで、段階的に変更されて連続的に表示されている合成画像のうち、所定の画像の表示をとばして、次の画像を表示したり、前の画像に戻って表示することができ、連続的に表示される画像のうちユーザが確認したい箇所の画像を素早く表示できる。
【０１３２】
＜４−４．変形例２＞
この変形例２では、予め生成されてメモリ１１に記憶された複数の合成画像を指示信号に応答して表示部２１に送信するようにしている。図１４は、第３の実施形態の画像処理部の処理の変形例２を示す図である。画像処理部１０のＣＰＵ１がユーザの操作により操作部６１ａ、または、操作部６１ｂからの指示信号を受信した場合（ステップＳ８０１がＹｅｓ）、画像処理部１０はＣＰＵ１のメモリ１１から車両周囲確認処理の合成画像データを読み出す（ステップＳ８０２）。この合成画像データは、操作部６１ａ、または、操作部６１ｂからの指示信号を受信する前に車両９の周辺を撮影する撮影部５の複数のカメラにより撮影された複数の撮影画像に基づいて、上記画像変換処理により生成された合成画像であり、予めメモリ１１に保存されているデータである。
【０１３３】
なお、ＣＰＵ１がユーザの操作により操作部６１ａ、または、操作部６１ｂからの指示信号を受信していない場合は処理を終了する（ステップＳ８０１がＮｏ）。
【０１３４】
ステップＳ８０２に戻り、予めメモリ１１に保存されている車両周囲確認処理の合成画像データが、メモリ１１から読み出された後、車両周囲確認処理の合成画像データが表示部２１へ出力される（ステップＳ８０３）。
【０１３５】
これにより、表示装置２１に画像を出力する指示を行うための指示信号である操作部６１ａ、または、操作部６２ｂからの信号を画像処理部１０のＣＰＵ１が受信してすぐに車両周辺確認処理の合成データを表示部２１へ出力することができ、指示信号を受信してから表示部２１へ合成画像データ出力する時間を短縮できる。
【符号の説明】
【０１３６】
１００ 画像処理システム
１０ 画像処理部
５ 撮影部
２１ 表示部
８３ 切替スイッチ
８４ 車両電源制御装置
【技術分野】
【０００１】
本発明は、車両に搭載された表示装置に画像を表示する技術に関する。
【背景技術】
【０００２】
一般に、車両に搭載した複数のカメラにより車両の周辺の画像を取得し、自動的に、または、ユーザの操作によって、表示装置に表示することで車両周辺の監視を可能とする装置がある。また、車両の真上を仮想視点として見下ろした画像を画面に表示し、ユーザに車両全周囲の安全確認の手段を提供する装置がある。さらに、車両に搭載した複数のカメラを使用して所定の高さの視点で撮影し、カメラが撮影した画像の視点位置を車両の全体図とともに表示する第１画面と、この第１画面に表示されるOLE_LINK1視点位置の移動に対応させて、それぞれのカメラ画像を表示するOLE_LINK1第２画面との２つの画面で車両周囲の安全確認を行う技術がある（例えば、特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−２１９５５９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来のカメラによる車両周辺の画像表示は、複数のカメラのうち個々のカメラからの画像が車両のどの方向に対応しているのかを確認をする必要があり、画面にユーザの車両が映らないので車両と車両の周辺に存在する障害物との距離などの位置関係をユーザが把握するのは困難であった。
【０００５】
また、車両の真上を仮想視点として見下ろした画像を画面に表示した場合、ユーザは車両の全周囲の広い範囲をいちどに確認する必要があり、ユーザにとっては情報量が多すぎて、どこを注意すべきかのポイントを絞ることが困難であった。
【０００６】
さらに、特許文献１に開示されている技術では、カメラが撮影した画像の視点の位置を車両の全体図とともに示す画面と、視点位置の移動に対応させて、それぞれのカメラ画像を表示する画面とを別々の画面で表示しており、２つの画面に表示された情報の対応付けをユーザ自身で行わなければならず、車両と障害物との位置関係をユーザが把握しにくいという問題があった。
【０００７】
本発明は、上記課題に鑑みてなされたものであり、車両と車両周辺の障害物との位置関係をユーザが直感的に把握できる技術を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するため、請求項１の発明は、表示装置に画像を出力する指示を行うための指示信号を受信する受信手段と、車両の周辺を撮影する複数のカメラから取得される複数の画像に基づいて前記車両の周囲の上方の仮想視点から前記車両方向をみる第１合成画像を生成する合成画像生成手段と、前記合成画像生成手段により前記車両の周囲を周回するように仮想視点の位置が段階的に変更されて生成される複数の第１合成画像を、前記指示信号に応答して、前記表示装置に連続して出力する出力手段とを備える。
【０００９】
また、請求項２の発明は、請求項１に記載の画像処理装置において、前記合成画像生成手段は、前記車両の略中心の直上の仮想視点からみた第２合成画像を生成し、前記出力手段は、連続表示により、前記複数の第１合成画像と前記第２合成画像との相互間において仮想視点の位置が連続的に変化するように示す複数の合成画像を出力する。
【００１０】
また、請求項３の発明は、請求項２に記載の画像処理装置において、前記出力手段は、前記複数の第１合成画像の出力後に、前記第２合成画像を出力する。
【００１１】
また、請求項４の発明は、請求項１ないし３のいずれかに記載の画像処理装置において、前記合成画像生成手段は、前記複数の第１合成画像を、前記車両の位置が中心となるように生成する。
【００１２】
また、請求項５の発明は、請求項１ないし３のいずれかに記載の画像処理装置において、前記合成画像生成手段は、前記複数の第１合成画像を、ユーザが指定する前記車両の周辺の地点が中心となるように生成する。
【００１３】
また、請求項６の発明は、請求項１ないし５のいずれかに記載の画像処理装置において、前記指示信号は、前記画像処理装置の起動時に発生する。
【００１４】
また、請求項７の発明は、表示装置に画像を出力する指示を行うための指示信号を出力する操作手段と、前記指示信号を受信する受信手段と、車両の周辺を撮影する複数のカメラから取得される複数の画像に基づいて前記車両の周囲の上方の仮想視点から前記車両方向をみる合成画像を生成する合成画像生成手段と、前記合成画像生成手段により前記車両の周囲を周回するように仮想視点の位置が段階的に変更される合成画像を、前記指示信号に応答して、前記表示装置に連続して出力する出力手段とを備える。
【００１５】
また、請求項８の発明は、請求項７に記載の電子装置において、前記出力手段により出力された合成画像を表示する前記表示装置をさらに備える。
【００１６】
また、請求項９の発明は、表示装置に画像を出力する指示を行うための指示信号を受信する工程と、車両の周辺を撮影する複数のカメラから取得される複数の画像に基づいて前記車両の周囲の上方の仮想視点から前記車両方向をみる合成画像を生成する工程と、前記車両の周囲を周回するように仮想視点の位置が段階的に変更されて生成される複数の合成画像を、前記指示信号に応答して、前記表示装置に連続して出力する工程とを備える。
【発明の効果】
【００１７】
請求項１ないし９の発明によれば、車両を見下ろした状態で車両の周囲を周回するように示す複数の合成画像が表示装置に表示されるため、ユーザが車両を目の前にした視点から車両の全周囲を確認することで、１つの画面で直感的に車両と障害物との位置関係を把握できる。
【００１８】
また、特に請求項２の発明によれば、仮想視点が連続性を持って移動しつつ、車両の周囲を旋回するように示す複数の合成画像と車両上方からみた合成画像との双方が表示されることで、ユーザは１つの画面で直感的に車両と障害物との位置関係を把握できる。さらに、車両の周囲と車両の上方との複数の視点から車両周囲の安全性を確認できる。
【００１９】
また、特に請求項３の発明によれば、車両の周囲の画像でユーザが見落とす障害物などの情報があったとしても、車両の周囲の画像の後に連続性をもって表示される車両の上方の画像により再度安全確認を行うことができる。また、ユーザが車両の全周囲の広い範囲をいちどに確認する必要はなく、車両周囲の限られた範囲の画像の後に車両上方の広い範囲の車両全体の画像を連続して表示することで、ユーザは１つの画面で車両周囲の安全確認をより確実に行える。
【００２０】
また、特に請求項４の発明によれば、車両の位置を中心として車両の周囲を順に移動する仮想視点からみた合成画像を生成することで、ユーザは１つの画面で直感的に車両の全周囲の障害物を確認することができる。
【００２１】
また、特に請求項５の発明によれば、車両の周辺のユーザが指定した地点を中心とすることで、ユーザは１つの画面で確認したい車両周囲の任意の地点を中心に安全確認を行える。
【００２２】
また、特に請求項６の発明によれば、画像処理装置の起動時にユーザは１つの画面で車両の周辺を確認することができる。
【図面の簡単な説明】
【００２３】
【図１】図１は、画像表示システムのブロック図である。
【図２】図２は、複数の車載カメラが車両に配置される位置を示す図である。
【図３】図３は、任意の仮想視点からみた合成画像の生成方法を説明する図である。
【図４】図４は、画像処理部の処理の流れを示す図である。
【図５】図５は、第１の実施形態における合成画像の画面遷移を示す図である。
【図６】図６は、表示部の表示処理の流れを示す図である。
【図７】図７は、第２の実施形態における合成画像の画面遷移を示す図である。
【図８】図８は、画像処理部の処理の変形例１を示す図である。
【図９】図９は、画像処理部の処理の変形例２を示す図である。
【図１０】図１０は、第３の実施形態の画像表示システムのブロック図である。
【図１１】図１１は、第３の実施形態の画像処理部の処理の流れを示す図である。
【図１２】図１２は、第３の実施形態の合成画像の画面遷移を示す図である。
【図１３】図１３は、第３の実施形態の画像処理部の処理の変形例１を示す図である。
【図１４】図１４は、第３の実施形態の画像処理部の処理の変形例２を示す図である。
【発明を実施するための形態】
【００２４】
以下、図面を参照しつつ本発明の実施形態について説明する。
＜１．第１の実施の形態＞
＜１−１．構成＞
図１は、第１の実施形態の画像表示システム１００のブロック図である。この画像表示システム１００は、車両（本実施の形態では、自動車）に搭載される電子装置であり、車両の周辺を撮影して画像を生成し、車室内に表示する機能を有している。この画像表示システム１００を利用するユーザとなる車両のドライバは当該車両の周辺を容易に把握できるようになっている。
【００２５】
図１に示すように、画像表示システム１００は、画像処理部１０と、車両の周辺を撮影する撮影部５とを備えている。画像表示システム１００は液晶ディスプレイなどの表示部２１を備えており、表示部２１の画面がドライバから視認可能なように車両のインストルメントパネルなどに設置される。また、撮影部５は、画像処理部１０に電気的に接続され画像処理部１０からの信号に基づいて動作する。なお、表示部２１はタッチパネル機能を有し、ユーザから各種指示を受付可能である。
【００２６】
撮影部５は、車載カメラであるフロントカメラ５１、サイドカメラ５２及びバックカメラ５３を備えている。これらの車載カメラ５１，５２，５３は、レンズと撮像素子とを備えており電子的に画像を取得する。
【００２７】
図２は、車載カメラ５１，５２，５３が車両９に配置される位置を示す図である。図２に示すように、フロントカメラ５１は、車両９の前端となるフロントバンパ９１の左右略中心に設けられ、その光軸は車両９の直進方向に向けられている。また、サイドカメラ５２は、左右のドアミラー９３にそれぞれ設けられており、その光軸は直進方向に対して直交するように車両９の外部方向に向けられている。バックカメラ５３は、車両９の後端となるリアバンパ９２の左右略中心に設けられ、その光軸は車両９の直進方向の逆方向に向けられている。
【００２８】
これらの車載カメラ５１，５２，５３のレンズとしては魚眼レンズなどが採用されており、車載カメラ５１，５２，５３は１８０度以上の画角αを有している。このため、４つの車載カメラ５１，５２，５３を利用することで、車両９の全周囲の撮影が可能となっている。
【００２９】
なお、車載カメラ５１，５２，５３は１８０度以上の画角αを有しているため、各カメラの撮影範囲が重複する重複領域β生じる。このような重複領域では同一の物体が別々の方向に表示される。そのため、このような重複領域の画像処理は、両方のカメラの画像の重複する部分の透過率調整（例えば互いに５０％とする。）して重ね合わせて表示してもよいし、重複する部分から任意の範囲の画像を削除してもよい。
【００３０】
図１に戻り、画像処理部１０は、撮影部５で取得された撮影画像を処理して表示用の画像に変換する画像変換部３と、各種の演算処理を行うＣＰＵ１と、表示部２１と通信を行う通信部４２とを備えている。画像変換部３で生成された画像は通信部４２から表示部２１に出力されて表示される。
【００３１】
画像変換部３は、撮影部５の複数の車載カメラ５１，５２，５３で取得された複数の撮影画像に基づいて仮想視点からみた合成画像を生成できる。画像変換部３は、このような画像処理に必要な輝度調整部３１と多重化部３２と視点変換部３３とを備えたハードウェア回路として構成されている。
【００３２】
輝度調整部３１は、撮影部５で取得された撮影画像の全体としての明るさを示す平均輝度を参照し、撮影画像のゲイン調整を行うようになっている。具体的には、撮影画像の平均輝度が比較的高い場合はゲイン調整値を小さくし、比較的低い場合はゲイン調整値を大きくする。これにより、車両９の周辺環境がある程度暗い場合などにおいて撮影画像の明るさが調整されることとなる。
【００３３】
多重化部３２は、複数の車載カメラ５１，５２，５３で取得されてゲイン調整された複数の撮影画像を一つの画像に合成して多重化画像とする。視点変換部３３は、多重化部３２で生成された多重化画像を用いて、車両９の周辺の任意の仮想視点からみた合成画像を生成する。視点変換部３３が、仮想視点からみた合成画像を生成する手法については後述する。
【００３４】
ＣＰＵ１は、画像表示システム１００の各部を統括的に制御する制御部として機能する。ＣＰＵ１の各種の制御機能は、ＣＰＵ１が備えるメモリ１１などに予め記憶されたプログラムに従って演算処理が実行されることによりソフトウェア的に実現される。
【００３５】
また、画像処理部１０は、車両９に設けられた各種装置からの信号を入力する信号入力部４１を備えている。この信号入力部４１を介して、画像表示システム１００の外部からの信号がＣＰＵ１に入力される。具体的には、車両制御装置８４からは車両のＡＣＣ−ＯＮ／ＯＦＦの信号が入力される。ＡＣＣは、車両９の画像表示システム１００を含む付属品に対して、電力を供給する供給線をＯＮ／ＯＦＦするスイッチである。
【００３６】
また、表示部２１にはシフトセンサ８１、車速度センサ８２、切替スイッチ８３、および、車両電源制御装置８４などから、各種情報を示す信号が入力される。シフトレバー８１からは、”Ｐ”，”Ｄ”，”Ｎ”，”Ｒ”などのシフトポジションが入力される。また、車速度センサ８２からは、その時点の車両９の走行速度（ｋｍ／ｈ）が入力される。切替スイッチ８３からは、表示部２１のディスプレイに表示されるカメラ画像を切替える信号が入力される。例えばフロントカメラの画像、サイドカメラの画像、バックカメラの画像のような順序で切替えがなされる。車両制御装置８４からは車両のＡＣＣ−ＯＮ／ＯＦＦの信号が入力される。なお、後述するように車両制御装置８４からの車両のＡＣＣ−ＯN／ＯＦＦ信号は信号入力部４１を介して画像処理部１０のＣＰＵ１にも入力される。
【００３７】
＜１−２．画像変換処理＞
次に、画像変換部３の視点変換部３３が、撮影部５で得られた複数の撮影画像に基づいて、任意の仮想視点からみた合成画像を生成する手法について説明する。図３は、任意の仮想視点からみた合成画像を生成する手法を説明するための図である。
【００３８】
撮影部５のフロントカメラ５１、サイドカメラ５２及びバックカメラ５３で同時に撮影が行われると、車両９の前方、左側方、右側方、及び、後方をそれぞれ示す４つの撮影画像Ｐ１〜Ｐ４が取得される。すなわち、撮影部５で取得される４つの撮影画像Ｐ１〜Ｐ４には、撮影時点の車両９の全周囲を示す情報が含まれていることになる。
【００３９】
取得された４つの撮影画像Ｐ１〜Ｐ４は多重化された後、視点変換部３３により仮想的な三次元の立体曲面ＳＰに投影される。立体曲面ＳＰは、例えば略半球状（お椀形状）をしており、その中心部分（お椀の底部分）が車両９の位置として定められている。撮影画像Ｐ１〜Ｐ４に含まれる各画素の位置と、この立体曲面ＳＰの各画素の位置とはあらかじめ対応関係が定められている。このため、立体曲面ＳＰの各画素の値は、この対応関係と、撮影画像Ｐ１〜Ｐ４に含まれる各画素の値とに基づいて決定できる。撮影画像Ｐ１〜Ｐ４の各画素の位置と立体曲面ＳＰの各画素の位置との対応関係は、テーブルデータとして画像処理部１０のＣＰＵ１が備えるメモリ１１に記憶される。
【００４０】
一方で、立体曲面ＳＰに対するＶＰ１，ＶＰ２，ＶＰ５，および、ＶＰ７などの仮想視点が設定される。そして、設定された仮想視点ＶＰ１，ＶＰ２，ＶＰ５，および、ＶＰ７に応じて、立体曲面ＳＰにおける必要な領域が画像として切り出されることにより、任意の仮想視点からみた合成画像が生成されることになる。
【００４１】
例えば、図中に示すように、車両９の後方となる仮想視点ＶＰ１を設定した場合は、車両９の後方から車両９を見下ろしたような合成画像ＣＰ１が生成されることになる。また、車両９の左側面となる仮想視点ＶＰ２や右側面となるＶＰ５を設定した場合は、車両９の左側面、または、右側面から車両９を見下ろしたような合成画像ＣＰ２、または、ＣＰ５が生成されることとなる。さらに、車両９の真上の仮想視点ＶＰ７を設定した場合は、車両９の真上から見下ろすような合成画像ＣＰ７が生成される。仮想視点と、立体曲面ＳＰにおける必要な領域との関係はあらかじめ定められており、テーブルデータとして画像処理部１０のＣＰＵ１が備えるメモリ１１に記憶される。
【００４２】
実際に合成画像を生成する場合においては、立体曲面ＳＰの全ての画素の値を決定する必要はなく、仮想視点に対応して必要となる領域の画素の値のみを撮影画像Ｐ１〜Ｐ４に基づいて決定することで、処理速度を向上できる。また、合成画像中に示す車両９の像はあらかじめビットマップなどはメモリ１１内に用意しておき、仮想視点に応じた方向の車両９の像を生成された合成画像に重畳すればよい。
【００４３】
なお、撮影画像Ｐ１〜Ｐ４の各画素の位置と立体曲面ＳＰの各画素の位置との対応関係のテーブルデータ、仮想視点と立体曲面ＳＰにおける必要な領域との関係を定めたテーブルデータ、車両の像のビットマップデータなどのメモリ１１内に保存されているデータは他のデータに書き換え可能である。またメモリ１１はＣＰＵ１の内部に設けられているが、これに限らずＣＰＵ１の外部または画像処理部１０の外部に設けられても良い。
【００４４】
＜１−３．動作＞
次に、本実施形態の画像処理部１０の動作について、図４の画像処理部１０の処理の流れを示す図、および、図５の第１の実施形態における合成画像の画面遷移を示す図を参照して説明する。
【００４５】
画像処理部１０のＣＰＵ１が車両電源制御装置８４からのＡＣＣ−ＯＮ信号を信号入力部４１を介して受信する（ステップＳ１０１がＹｅｓ）と、画像処理部１０の通信部４２は表示部２１との初期通信を開始する（ステップＳ１０２）。ここで初期通信とは画像処理部１０と表示部２１との間で通信可能か否かを確認する処理をいう。画像処理部１０のＣＰＵ１が車両電源制御装置８４からのＡＣＣ−ＯＮ信号を受信していない場合は処理を終了する（ステップＳ１０１がＮｏ）。
【００４６】
画像処理部１０と表示部２１との初期通信が正常に終了すれば（ステップＳ１０３がＹｅｓ）、画像処理部１０はＣＰＵ１のメモリ１１から車両周囲確認処理を行うためのデータを読み出す（ステップＳ１０４）。車両周囲確認処理データの例としては、車両のビットマップデータ、視点の移動データ（時間ごとの視点位置や視点の方向のデータ）などがあげられる。
【００４７】
初期通信が正常に終了していない場合（ステップＳ１０３がＮｏ）は再度、表示部２１との通信を行ったり、複数回の通信を試みても通信できない場合は処理を終了する。なお、ここで初期通信が正常に終了しない場合としては、故障などの原因で画像処理部１０が正常に動作していないことがあげられる。このような場合は表示部２１に車両周囲の画像表示のシステムが故障している旨の警告を表示するようにできる。
【００４８】
メモリ１１から車両周辺確認処理のデータを読み出した後に、画像処理部１０の画像変換部３は読み出したデータに基づいて、車両周囲の合成画像を生成する（ステップＳ１０５）。作成された合成画像のデータは表示部２１に送信される（ステップＳ１０６）。なお、画像処理部１０は作成した仮想視点の位置が段階的に変更されている複数の合成画像が連続性を有するように順番に表示部２１にデータを送信する。これにより仮想視点の位置が段階的に変更され、連続表示により車両を見下ろした状態で、車両９の周囲を周回する画像を表示部２１に表示させることができる。
【００４９】
複数の合成画像の表示部２１への送信が終了する（ステップＳ１０７がＹｅｓ）と、車両９の略中心の直上（真上）の合成画像を生成し（ステップＳ１０８）、生成した車両９の略中心の直上（真上）の合成画像を表示部２１へ送信する（ステップＳ１０９）。
【００５０】
なお、複数の合成画像データの表示部２１への送信が終了していない場合（ステップＳ１０７がＮｏ）は、ステップＳ１０５の処理に戻って、次の車両周囲の合成画像を生成する処理を行う。
【００５１】
上記の車両９の周囲の複数の合成画像の生成と表示、車両９の略中心の直上（真上）の合成画像の生成と表示について、図５に基づいて説明する。
【００５２】
車両９の後方から車両９を見下ろしたような合成画像ＣＰ１、車両９の左側面から車両９を見下ろしたような合成画像ＣＰ２、車両９の左斜め側面から車両９を見下ろしたような合成画像ＣＰ３、車両９の前方から車両９を見下ろしたような合成画像ＣＰ４、車両９の右側面から車両９を見下ろしたような合成画像ＣＰ５、車両９の右斜め側面から車両９を見下ろしたような合成画像ＣＰ６、車両９の略中心の直上（真上）から車両９を見下ろしたような合成画像ＣＰ７がそれぞれ撮影部５のカメラ５１，５２，５３から入力される画像に基づいて、画像処理部１０はユーザが自身の目線の高さで車両の周囲を１周するようなＣＰ１からＣＰ６の合成画像を順番に生成し、最後に車両周囲の全体を車両９の略中心の直上（真上）の視点からみたＣＰ７の合成画像をＣＰ６の次に生成して、表示部２１に連続表示させる。これにより、車両を見下ろした状態で車両の周囲を周回するように示す複数の合成画像が表示部２１に表示されるため、ユーザが車両を目の前にした視点から車両の全周囲を確認することで、１つの画面で直感的に車両と障害物との位置関係を把握できる。
【００５３】
また、仮想視点の位置が連続性を持って移動しつつ、車両の周囲を旋回するように示す複数の合成画像と車両の略中心の直上（真上）からみた合成画像との双方が表示されることで、ユーザは１つの画面で直感的に車両と障害物との位置関係を把握できる。さらに、車両の周囲と車両の略中心の直上（真上）との複数の視点から車両周囲の安全性を確認できる。
【００５４】
また、車両の周囲の画像でユーザが見落とす障害物などの情報があったとしても、車両の周囲の画像の後に連続性をもって表示される車両の上方の画像により再度安全確認を行うことができる。
【００５５】
また、ユーザが車両の全周囲の広い範囲をいちどに確認する必要はなく、車両周囲の限られた範囲の画像の後に車両の略中心の直上（真上）の広い範囲の車両全体の画像を連続して表示することで、ユーザは１つの画面で車両周囲の安全確認をより確実に行える。
【００５６】
また、車両の位置を中心として車両の周囲を順に移動する仮想視点からみた合成画像を生成することで、ユーザは１つの画面で直感的に車両の全周囲の障害物を確認することができる。
【００５７】
なお、ここで示した合成画像は一例であり、合成画像の車両を見下ろす高さ、方向、合成画像の連続表示の一時停止、連続表示の回転速度の調整、連続表示の回転を逆回転とすることなどの設定はユーザの任意の変更が可能である。
【００５８】
また、連続表示を一時停止して表示部の画面の任意の部分をユーザ操作により選択することで選択した部分を拡大表示させることもできる。さらに、本実施形態では車両周囲を表示する合成画像を連続表示した後に、車両の略中心の直上（真上）の合成画像を連続表示させる場合を述べたが、この順序に限ることなく車両の略中心の直上（真上）の合成画像を表示した後に車両周囲の合成画像を連続表示させてもよい。
【００５９】
また、本実施形態では車両の後方の仮想視点の位置から周囲を１周する場合について述べたが、画像を遷移させる開始位置は特定されるものではなく任意の位置でもよい。さらに、周囲を周回する回数は１回に限らず２回以上または半周など任意の回数でもよい。
【００６０】
また、本実施形態では車両周囲確認処理の開始条件を画像処理部１０または表示部２１が車両電源制御装置８４からのＡＣＣ−ＯＮ信号を受信したことを開始条件とすることで、これにより画像処理装置の起動時にユーザが車両の周辺を確認できる。通常、画像処理装置は車両の走行前にＡＣＣ−ＯＮに応答して起動するため、車両の走行前にユーザが車両の周辺を確認できるという効果を有する。このような車両周囲確認処理の開始条件は、ＡＣＣ−ＯＮ信号の受信のみではなく、切替スイッチ８３を所定時間以上（例えば３秒以上）継続して押下することとしてもよい。これによりユーザが車両周囲を自動で確認したい場合にはいつでも確認を行うことができる。
【００６１】
さらに、複数の合成画像を連続表示している際に、表示部２１に図示しない完了ボタンを設けて、連続表示の途中であってもこの完了ボタンを押下することで、合成画像の連続表示を終了させたり、図示しない設定ボタンを設けて予め、ＡＣＣ−ＯＮや切替えスイッチ８３を所定時間以上押下することによる車両周囲確認処理の開始を行わないようにすることもできる。
【００６２】
また、車両周囲確認処理を実行して合成画像を連続表示している場合に、車速が所定速度以上、シフトポジションの”Ｒ”への切替え、切替ＳＷの押下といったユーザの操作に基づく信号が表示部２１に入力された場合は、以下に詳述するように車両周囲確認処理を終了して、ユーザの操作に対応した処理を開始する。
【００６３】
次に、表示部２１の処理動作について図６の表示部２１の表示処理の流れを示す図を用いて説明する。表示部２１は車両電源制御装置８４からのＡＣＣ−ＯＮ信号を受信する（ステップＳ２０１がＹｅｓ）と、表示部の本体電源をＯＮする（ステップＳ２０２）。なお、車両電源制御装置８４からのＡＣＣ−ＯＮ信号を受信していない（ステップＳ２０１がＮｏ）の場合は処理を終了する。
【００６４】
その後、同じく車両電源制御装置８４からのＡＣＣ−ＯＮ信号を受信している画像処理部１０と初期通信を開始する（ステップＳ２０３）。ここで、初期通信とは画像処理部１０と表示部２１との間で通信可能か否かを確認する処理をいう。初期通信が正常に終了した場合（ステップＳ２０４がＹｅｓ）は、画像処理部１０から車両周囲確認処理の合成画像のデータを受信する（ステップＳ２０５）。
【００６５】
初期通信が正常に終了していない場合（ステップＳ２０４がＮｏ）は、再度画像処理部１０との通信を行ったり、複数回通信を試みても通信できない場合は処理を終了する。なお、ここで初期通信が正常に終了しない場合としては、故障などの原因で画像処理部１０が正常に動作していないことがあげられる。このような場合は、表示部２１に車両周囲の画像表示のシステムが故障している旨の警告を表示するようにできる。
【００６６】
表示部２１が画像処理部１０から合成画像データを受信している間に、表示部２１はオープニング画面を表示する（ステップＳ２０６）。オープニング画面表示後、画像処理部１０から受信した車両周囲の複数の合成画像を上記図５を用いて説明したように、連続表示させる（ステップＳ２０７）。複数の合成画像を連続表示している間にシフトセンサ８１から表示部２１へシフトポジションが”Ｒ“に切替えられた信号が送信される（ステップＳ２０８がＹｅｓ）と、表示部２１は車両周囲の合成画像を連続表示している画面から、車両の後方を撮影した画像を表示するバックモード画像表示の画面に切替えて表示する（ステップＳ２０９）。
【００６７】
シフトポジションが”Ｒ“に切替えられていない場合（ステップＳ２０８がＮｏ）で、切替スイッチ８３が押下された場合（ステップＳ２１０がＹｅｓ）は、表示部２１は車両周囲の合成画像を連続表示している画面から、車両の前方を撮影した画像を表示するフロントモード画像表示の画面に切替えて表示する。（ステップＳ２１１）。
【００６８】
切替スイッチ８３が押下されていない場合（ステップＳ２１０がＮｏ）で、車速が所定の速度以上（例えば車速が１２ｋｍ／ｈ以上）の場合（ステップＳ２１２がＹｅｓ）は、車両周囲の合成画像を連続表示している画面からナビゲーション画像を表示する画面に切替えて表示する（ステップＳ２１５）。車速が所定の速度以上でない場合（ステップＳ２１２がＮｏ）は、車両周囲の合成画像の連続表示が終了しているか否かを判断し（ステップＳ２１３）、合成画像の連続表示が終了していない場合（ステップＳ２１３がＮｏ）は、画像処理部１０から表示部２１へ新たな合成画像が送信され、表示部２１は合成画像処理部１０から送信された新たな合成画像を前の合成画像と連続性をもたせて表示する。
【００６９】
車両周囲の合成画像の連続表示が終了した場合（ステップＳ２１３がＹｅｓ）は、画像処理部１０から表示部２１へ送信された車両９の略中心の直上（真上）の合成画像が表示部２１に表示される（ステップＳ２１４）。これにより、車両を見下ろした状態で車両の周囲を周回するように示す複数の合成画像が表示装置に表示されるため、ユーザが車両を目の前にした視点から車両の全周囲を確認することで、１つの画面で直感的に車両と障害物との位置関係を把握できる。
【００７０】
車両９の略中心の直上（真上）の合成画像表示後、表示部２１はナビゲーション画像を表示する画面を表示する（ステップＳ２１５）。
【００７１】
仮想視点の方向が連続性を持って移動しつつ、車両の周囲を旋回するように示す複数の合成画像と車両上方からみた合成画像との双方が表示されることで、ユーザは１つの画面で直感的に車両と障害物との位置関係を把握できる。さらに、車両の周囲と車両の略中心の直上（真上）との複数の視点から車両周囲の安全性を確認できる。
【００７２】
また、車両の周囲の画像でユーザが見落とす障害物などの情報があったとしても、車両の周囲の画像の後に連続性をもって表示される車両の略中心の直上（真上）の画像により再度安全確認を行うことができる。
【００７３】
また、ユーザが車両の全周囲の広い範囲を確認する必要はなく、車両周囲の限られた範囲の画像の後に車両の略中心の直上（真上）の広い範囲の車両全体の画像を連続して表示することで、ユーザは１つの画面で車両周囲の安全確認をより確実に行える。
【００７４】
また、車両周囲の限られた範囲の画像の後に車両の略中心の直上（真上）の広い範囲の車両全体の画像を連続して表示することで、ユーザは１つの画面で車両周囲の安全確認をより確実に行える。
【００７５】
また、車両の位置を中心として車両周囲を順に移動する仮想視点からみた合成画像を生成することで、ユーザは１つの画面で直感的に車両の全周囲の障害物を確認することができる。
【００７６】
なお、ここで示した合成画像は一例であり、合成画像の車両を見下ろす高さ、方向、合成画像の連続表示の一時停止、連続表示の回転速度の調整、連続表示の回転を逆回転とすることなどの設定はユーザの任意の変更が可能である。
【００７７】
また、連続表示を一時停止して表示部の画面の任意の部分をユーザ操作により選択することで選択した部分を拡大表示することも可能である。さらに、本実施形態では車両周囲を表示する合成画像を連続表示した後に、車両上方の合成画像を連続表示させる場合を述べたが、この順序に限ることなく車両の略中心の直上（真上）の合成画像を表示した後に車両周囲の合成画像を連続表示させてもよい。
【００７８】
また、本実施形態では車両の後方の仮想視点の位置から周囲を１周する場合について述べたが、画像を遷移させる開始位置は特定されるものではなく任意の位置でもよい。さらに、周囲を周回する回数は１回に限らず２回以上または半周など任意の回数でもよい。
【００７９】
また、本実施形態では車両周囲確認処理の開始条件を画像処理部１０または表示部２１が車両電源制御装置８４からのＡＣＣ−ＯＮ信号を受信したことを開始条件とすることで、これにより画像処理装置の起動時にユーザが車両の周辺を確認することができる。通常、画像処理装置は車両の走行前にＡＣＣ−ＯＮに応答して起動するため、車両の走行前にユーザが車両の周辺を確認できるという効果を有する。このような車両周囲確認処理の開始条件は、ＡＣＣ−ＯＮ信号の受信のみではなく、切替スイッチ８３を所定時間以上（例えば３秒以上）継続して押下することとしてもよい。これによりユーザが車両周囲を自動で確認したい場合にはいつでも確認を行うことができる。
【００８０】
さらに、複数の合成画像を連続表示している際に、表示部２１に図示しない完了ボタンを設けて、連続表示の途中であってもこの完了ボタンを押下することで、合成画像の連続表示を終了させたり、図示しない設定ボタンを設けて予めＡＣＣ−ＯＮ時や切替えスイッチ８３を所定時間以上押下することによる車両周囲確認処理の開始を行わないようにすることもできる。
＜２．第２の実施の形態＞
第２の実施形態は第１の実施形態と基本的な構成は同一である。本実施形態については図７の第２の実施形態における合成画像の画面遷移を示す図を用いて説明する。図７のＣＰ１ａからＣＰ７ａは上記図５に示したＣＰ１からＣＰ７の車両周囲の合成画像の連続表示とは周囲の合成画像を生成する視点の位置が異なる。本実施形態では、車両の左側に仮想視点を移動させた状態でその周囲の合成画像ＣＰ１ａからＣＰ７ａを画像処理部１０で生成し、これらの合成画像を表示部２１に連続表示させる。
【００８１】
ＣＰ１ａは車両９の後方で車両９の左に所定距離移動した位置の仮想視点から車両９を見下ろしたような合成画像、ＣＰ２ａは車両９の左側面で車両９の左に所定距離移動した位置の仮想視点から車両９を見下ろしたような合成画像、ＣＰ３ａは車両９の左斜め側面で車両９の左に所定距離移動した位置の仮想視点から車両９を見下ろしたような合成画像、ＣＰ４ａは車両９の前面で車両９の左に所定距離移動した位置の仮想視点から車両９を見下ろしたような合成画像、ＣＰ５ａは車両９の右側面で車両９の左に所定距離移動した位置の仮想視点から車両９を見下ろしたような合成画像、ＣＰ６ａは車両９の右側面で車両９の左に所定距離移動した位置の仮想視点から車両９を見下ろしたような合成画像、ＣＰ７ａは車両９の略中心の直上（真上）の仮想視点から左に所定距離移動して車両９を見下ろしたような合成画像である。
【００８２】
このように車両から所定距離移動して、周囲の合成画像の連続表示の仮想視点の位置を車両の画像を一部にでも含む範囲内で切替えることで、ユーザが確認したい部分を選択して表示できる。例えばユーザが運転席（右側の席）に着座しており、左側を重点的に確認したい場合は、上記に示したように車両から左に所定距離移動した位置の視点を中心に合成画像を生成し、その合成画像の連続表示を行うことが可能である。仮想視点の位置の変更はユーザが手動で行うことが可能であり、車両の画像を含む範囲でユーザが確認を希望する任意の位置を中心に合成画像の連続表示を行うことが可能である。これにより、ユーザは重点的に確認を行いたい位置を中心にその周囲の状況を確認することができ、車両と障害物との位置関係を１つの画面で直感的に把握することができる。
【００８３】
また、仮想視点の位置が連続性を持って遷移しつつ、車両から所定距離移動した周囲を旋回するように示す複数の合成画像と車両の略中心の直上（真上）の仮想視点から所定距離移動した合成画像との双方が表示されることで、ユーザは１つの画面で直感的に車両と障害物との位置関係を把握できる。さらに、車両から所定距離移動した周囲の仮想視点と車両の略中心の直上（真上）から所定距離移動した仮想視点との複数の仮想視点から車両周囲の安全性を確認できる。
【００８４】
また、車両から所定距離移動した周囲の画像でユーザが見落とす障害物などの情報があったとしても、車両から所定距離移動した周囲の画像の後に連続性をもって表示される車両の略中心の直上（真上）の仮想視点から所定距離移動した画像により再度安全確認を行うことができる。
【００８５】
また、車両から所定距離移動した位置を真上からみた広い範囲をいちどに確認する必要はなく、車両から所定距離移動した周囲の限られた範囲の画像の後に車両の略中心の直上（真上）の仮想視点から所定距離移動した広い範囲の画像を連続して表示することで、ユーザは１つの画面で車両周囲の安全確認をより確実に行える。
＜３．画像処理部；変形例＞
＜３−１．変形例１＞
次に、図４を用いて説明した画像処理部１０の処理の変形例について説明する。
【００８６】
図４では、仮想視点の位置が異なる複数の合成画像を生成するごとに表示部２１に送信していたが、この変形例１では複数の合成画像を生成してから表示部２１に送信するようにしている。
【００８７】
図８は、この変形例１の画像処理部１０の処理の例を示す図である。画像処理部１０のＣＰＵ１が車両電源制御装置８４からの表示部２１に画像を出力する指示を行うための指示信号であるＡＣＣ−ＯＮ信号を信号入力部４１を介して受信する（ステップＳ３０１がＹｅｓ）と、画像処理部１０の通信部４２は表示部２１との初期通信を開始する（ステップＳ３０２）。ここで初期通信とは画像処理部１０と表示部２１との間で通信可能か否かを確認する処理をいう。画像処理部１０のＣＰＵ１が車両電源制御装置８４からのＡＣＣ−ＯＮ信号を受信していない場合は処理を終了する（ステップＳ３０１がＮｏ）。
【００８８】
画像処理部１０と表示部２１との初期通信が正常に終了すれば（ステップＳ３０３がＹｅｓ）、ＣＰＵ１はメモリ１１から車両周囲確認処理を行うためのデータを読み出す（ステップＳ３０４）。車両周囲確認処理データの例としては、車両のビットマップデータ、視点の移動データ（時間ごとの視点位置や視点の方向のデータ）などのパラメータのデータがあげられる。
【００８９】
初期通信が正常に終了していない場合（ステップＳ３０３がＮｏ）は再度、表示部２１との通信を行ったり、複数回の通信を試みても通信できない場合は処理を終了する。なお、ここで初期通信が正常に終了しない場合としては、故障などの原因で画像処理部１０が正常に動作していないことがあげられる。このような場合は表示部２１に車両周囲の画像表示のシステムが故障している旨の警告を表示するようにできる。
【００９０】
ステップＳ３０４に戻って、メモリ１１から車両周辺確認処理のデータを読み出した後に、画像処理部１０の画像変換部３は読み出したデータに基づいて、車両周囲確認処理の合成画像を生成する（ステップＳ３０５）。ここで、車両周囲確認処理の合成画像とは、車両９の周囲の合成画像、および、車両９の略中心の直上（真上）の合成画像をいう。
【００９１】
作成された車両周囲確認処理の合成画像のデータは表示部２１に出力される（ステップＳ３０６）。なお、画像処理部１０は作成した仮想視点の位置が段階的に変更されている複数の合成画像が連続性を有するような順番でまとめて表示部２１にデータが出力される。
【００９２】
これにより仮想視点の位置が段階的に変更され、車両９の周囲の上方の仮想視点から車両方向にみた状態で、車両９の周囲を連続的に周回する画像を表示部２１に表示させることができる。また、車両９の周囲の合成画像、および、車両９の略中心の直上（真上）の複数の合成画像を同じタイミングで表示部２１に出力することで、段階的に変更されて連続的に表示されている合成画像のうち、所定の画像の表示をとばして、次の画像を表示したり、前の画像に戻って表示することができ、連続的に表示される画像のうちユーザが確認したい箇所の画像を素早く表示できる。
【００９３】
＜３−２．変形例２＞
また、図４では、仮想視点の位置が異なる複数の合成画像を生成するごとに表示部２１に送信していたが、変形例２では、予め生成されてメモリ１１に記憶された複数の合成画像をＡＣＣ−ＯＮ信号に応答して表示部２１に送信するようにしている。
【００９４】
図９は、この変形例２の画像処理部１０の処理の例を示す図である。画像処理部１０のＣＰＵ１が車両電源制御装置８４からの表示部２１に画像を出力する指示を行うための指示信号であるＡＣＣ−ＯＮ信号を信号入力部４１を介して受信する（ステップＳ４０１がＹｅｓ）と、画像処理部１０の通信部４２は表示部２１との初期通信を開始する（ステップＳ４０２）。ここで初期通信とは画像処理部１０と表示部２１との間で通信可能か否かを確認する処理をいう。画像処理部１０のＣＰＵ１が車両電源制御装置８４からのＡＣＣ−ＯＮ信号を受信していない場合（ステップＳ４０１がＮｏ）は処理を終了する。
【００９５】
画像処理部１０と表示部２１との初期通信が正常に終了すれば（ステップＳ４０３がＹｅｓ）、ＣＰＵ１はメモリ１１から車両周囲確認処理の合成画像データを読み出す（ステップＳ４０４）。この合成画像データは、ＡＣＣ−ＯＮ信号を受信する前に車両９の周辺を撮影する撮影部５の複数のカメラにより撮影された複数の撮影画像に基づいて、上記画像変換処理により生成された合成画像であり、予めメモリ１１に保存されているデータである。
【００９６】
ステップＳ４０４において、予めメモリ１１に保存されている車両周囲確認処理の合成画像データが、メモリ１１から読み出された後、車両周囲確認処理の合成画像データが表示部２１へ出力される（ステップＳ４０５）。
【００９７】
これにより、表示装置２１に画像を出力する指示を行うための指示信号であるＡＣＣ−ＯＮ信号を画像処理部１０のＣＰＵ１が受信してすぐに車両周辺確認処理の合成データを表示部２１へ出力することができ、指示信号を受信してから表示部２１へ合成画像データ出力する時間を短縮できる。
【００９８】
初期通信が正常に終了していない場合（ステップＳ４０３がＮｏ）は再度、表示部２１との通信を行ったり、複数回の通信を試みても通信できない場合は処理を終了する。なお、ここで初期通信が正常に終了しない場合としては、故障などの原因で画像処理部１０が正常に動作していないことがあげられる。このような場合は表示部２１に車両周囲の画像表示のシステムが故障している旨の警告を表示するようにできる。
＜４第３の実施の形態＞
次に、第３の実施の形態について説明する。上記第１の実施の形態では主に、ＡＣＣ−ＯＮ信号を指示信号とし、この指示信号に応答して仮想視点の位置が異なる複数の合成画像を送信していた。これに対して、第３の実施の形態では、ユーザの操作に基づく信号を指示信号とし、ユーザの操作に応答して複数の合成画像が送信されるようになっている。
【００９９】
＜４−１．構成＞
図１０は、第３の実施の形態の画像表示システム１０１のブロック図である。第３の実施形態も、第１の実施形態と基本的な構成はほぼ同一である。図１０において、上記図１で説明した構成と異なる点は、表示部２１に設けられた操作部６１ａと操作部６１ｂとを備えていることである。
【０１００】
操作部６１ａは表示部２１の表示画面に透明電極で形成されたタッチスイッチ、および、表示部２１の周囲に設けられた固定のハードスイッチなどからなり、ユーザの操作による指示信号が、信号入力部４１を介してＣＰＵ１に送信される。ＣＰＵ１はこの指示信号を受けて、後述する画像処理部１０での合成画像の生成および合成画像の表示部２１への出力を行う。
【０１０１】
合成画像の具体例としては、車両９の周辺を撮影する撮影部５の複数のカメラ（フロントカメラ５１、サイドカメラ５２、および、バックカメラ５３）から取得される複数の画像に基づいて生成される、車両９の周囲の上方の仮想視点から車両９の方向をみる画像があげられる。また、合成画像の他の具体例は、車両９の略中心の直上（真上）の仮想視点からみた画像などがある。
【０１０２】
操作部６１ｂは画像処理システム１０１に一体的に設けられている固定スイッチである。この操作部６１ｂのユーザの操作による指示信号が、信号入力部４１を介してＣＰＵ１に送信される。ＣＰＵ１はこの指示信号を受けて、後述する画像処理部１０での合成画像の生成および合成画像の表示部２１への出力を行う。なお、操作部６１ｂは、遠隔操作可能とするリモートコントローラであってもよく、あるいは固定スイッチとリモートコントローラの両者を併用してもよい。図１０における画像処理システム１０１のその他の構成は、上記図１で画像処理システム１００で説明した構成と同じ構成である。
【０１０３】
＜４−２．動作＞
図１１は、第３の実施形態の画像処理部の処理の流れを示す図である。
【０１０４】
画像処理部１０のＣＰＵ１がユーザの操作により操作部６１ａ、または、操作部６１ｂからの指示信号を受信した場合（ステップＳ５０１がＹｅｓ）、ＣＰＵ１はメモリ１１から車両周囲確認処理を行うためのデータを読み出す（ステップＳ５０２）。車両周囲確認処理データの例としては、車両のビットマップデータ、視点の移動データ（時間ごとの視点位置や視点の方向のデータ）などがあげられる。
【０１０５】
なお、画像処理部１０のＣＰＵ１が操作部６１ａ、または、操作部６１ｂのいずれかの操作部から指示信号を受信していない場合（ステップＳ５０１がＮｏ）は処理を終了する。
【０１０６】
メモリ１１から車両周辺確認処理のデータを読み出した後に、画像処理部１０の画像変換部３は読み出したデータに基づいて、車両周囲の合成画像を生成する（ステップＳ５０３）。作成された合成画像のデータは表示部２１に出力される（ステップＳ５０４）。なお、画像処理部１０は作成した仮想視点の位置が段階的に変更されている複数の合成画像が連続性を有するように順番に表示部２１にデータを出力する。これにより仮想視点の位置が段階的に変更され、車両９の周囲の上方の仮想視点から車両方向にみた状態で、車両９の周囲を連続的に周回する画像を表示部２１に表示させることができる。
【０１０７】
複数の合成画像の表示部２１への出力が終了する（ステップＳ５０５がＹｅｓ）と、車両９の略中心の直上（真上）の合成画像を生成し（ステップＳ５０６）、生成した車両９の略中心の直上（真上）の合成画像を表示部２１へ出力する（ステップＳ５０７）。
【０１０８】
なお、ステップＳ５０５において複数の合成画像データの表示部２１への出力が終了していない場合（ステップＳ５０５がＮｏ）は、ステップＳ５０３の処理に戻って、次の車両９の周囲の合成画像を生成する処理を行う。
【０１０９】
次に、表示部２１の処理動作について、図１２の第３の実施形態の合成画像の画面遷移を示す図を用いて説明する。表示部２１は画像処理部１０から車両周囲確認処理の合成画像データを受信する（ステップＳ６０１がＹｅｓ）と、表示部２１に画像処理部１０から受信した車両９の周囲の複数の合成画像を連続表示させる（ステップＳ６０２）。
【０１１０】
なお、画像処理部１０から車両周囲確認処理の合成画像データを受信していない場合（ステップＳ６０１がＮｏ）は処理を終了する。
【０１１１】
ステップＳ６０２の処理により、複数の合成画像を連続表示している間にシフトセンサ８１から表示部２１へシフトポジションが”Ｒ“に切替えられた信号が送信される（ステップＳ６０３がＹｅｓ）と、表示部２１は車両９の周囲の合成画像を連続表示している画面から、車両９の後方を撮影した画像を表示するバックモード画像表示の画面に切替えて表示する（ステップＳ６０４）。
【０１１２】
シフトポジションが”Ｒ“に切替えられていない場合（ステップＳ６０３がＮｏ）で、切替スイッチ８３が押下された場合（ステップＳ６０５がＹｅｓ）は、表示部２１は車両９の周囲の合成画像を連続表示している画面から、車両９の前方を撮影した画像を表示するフロントモード画像表示の画面に切替えて表示する。（ステップＳ６０６）。
【０１１３】
ステップＳ６０５において、切替スイッチ８３が押下されていない場合（ステップＳ６０５がＮｏ）で、車速が所定の速度以上（例えば車速が１２ｋｍ／ｈ以上）の場合（ステップＳ６０７がＹｅｓ）は、車両９の周囲の合成画像を連続表示している画面からナビゲーション画像を表示する画面に切替えて表示する（ステップＳ６１０）。
【０１１４】
車速が所定の速度以上でない場合（ステップＳ６０７がＮｏ）は、車両９の周囲の合成画像の連続表示が終了しているか否かを判断し（ステップＳ６０８）、合成画像の連続表示が終了していない場合（ステップＳ６０８がＮｏ）は、画像処理部１０から表示部２１へ新たな合成画像が送信され、表示部２１は合成画像処理部１０から送信された新たな合成画像を前の合成画像と連続性をもたせて表示する。
【０１１５】
車両９の周囲の合成画像の連続表示が終了した場合（ステップＳ６０８がＹｅｓ）は、画像処理部１０から表示部２１へ送信された車両９の略中心の直上（真上）の合成画像が表示部２１に表示される（ステップＳ６０９）。これにより、車両を見下ろした状態で車両の周囲を周回するように示す複数の合成画像が表示装置に表示されるため、ユーザが車両を目の前にした視点から車両の全周囲を確認することで、１つの画面で直感的に車両と障害物との位置関係を把握できる。
【０１１６】
ステップＳ６０９において、車両９の略中心の直上（真上）の合成画像表示後、表示部２１はナビゲーション画像を表示する画面を表示する（ステップＳ６１０）。
【０１１７】
このように、仮想視点の方向が連続性を持って移動しつつ、車両の周囲を旋回するように示す複数の合成画像と車両上方からみた合成画像との双方が表示されることで、ユーザは１つの画面で直感的に車両と障害物との位置関係を把握できる。さらに、車両９の周囲と車両９の略中心の直上（真上）との複数の視点から車両９の周囲の安全性を確認できる。
【０１１８】
また、車両９の周囲の画像でユーザが見落とす障害物などの情報があったとしても、車両９の周囲の画像の後に連続性をもって表示される車両９の略中心の直上（真上）の画像により再度安全確認を行うことができる。
【０１１９】
また、ユーザが車両９の全周囲の広い範囲を確認する必要はなく、車両９の周囲の限られた範囲の画像の後に車両９の略中心の直上（真上）の広い範囲の車両９全体の画像を連続して表示することで、ユーザは１つの画面で車両９の周囲の安全確認をより確実に行える。
【０１２０】
また、車両９の周囲の限られた範囲の画像の後に車両９の略中心の直上（真上）の広い範囲の車両９全体の画像を連続して表示することで、ユーザは１つの画面で車両９の周囲の安全確認をより確実に行える。
【０１２１】
また、車両９の位置を中心として車両９の周囲を順に移動する仮想視点からみた合成画像を生成することで、ユーザは１つの画面で直感的に車両９の全周囲の障害物を確認することができる。
【０１２２】
なお、ここで示した合成画像は一例であり、合成画像の車両を見下ろす高さ、方向、合成画像の連続表示の一時停止、連続表示の回転速度の調整、連続表示の回転を逆回転とすることなどの設定はユーザの任意の変更が可能である。
【０１２３】
また、連続表示を一時停止して表示部の画面の任意の部分をユーザ操作により選択することで選択した部分を拡大表示することも可能である。さらに、本実施形態では車両９の周囲を表示する合成画像を連続表示した後に、車両９の上方の合成画像を連続表示させる場合を述べたが、この順序に限ることなく車両９の略中心の直上（真上）の合成画像を表示した後に車両９の周囲の合成画像を連続表示させてもよい。
【０１２４】
また、本実施形態では車両９の後方の仮想視点の位置から周囲を１周する場合について述べたが、画像を遷移させる開始位置は特定されるものではなく任意の位置でもよい。さらに、周囲を周回する回数は１回に限らず２回以上または半周など任意の回数でもよい。
【０１２５】
また、本実施形態では車両９の周囲確認処理の開始条件を画像処理部１０がユーザの操作による操作部６１ａ、または、操作部６１ｂからの指示信号を受信したことを開始条件とすることで、ユーザが車両９の周辺確認を行いたい場合にいつでも車両９の周囲を確認できる。
【０１２６】
さらに、複数の合成画像を連続表示している際に、表示部２１に図示しない完了ボタンを設けて、連続表示の途中であってもこの完了ボタンを押下することで、合成画像の連続表示を終了させたり、操作部６１ａ、または、操作部６１ｂを所定時間以上押下することによる車両周囲確認処理の開始を行わないようにすることもできる。
【０１２７】
＜４−３．変形例１＞
次に、第３の実施形態の画像処理部の処理の変形例について説明する。
【０１２８】
この変形例１では、複数の合成画像を生成してから表示部２１に送信するようにしている。図１３は、この場合の画像処理部の処理の例を示す図である。画像処理部１０のＣＰＵ１がユーザの操作により操作部６１ａ、または、操作部６１ｂからの指示信号を受信した場合（ステップＳ７０１がＹｅｓ）、ＣＰＵ１はメモリ１１から車両周囲確認処理を行うためのデータを読み出す（ステップＳ７０２）。車両周囲確認処理データの例としては、車両のビットマップデータ、視点の移動データ（時間ごとの視点位置や視点の方向のデータ）などのパラメータのデータがあげられる。
【０１２９】
メモリ１１から車両周辺確認処理のデータを読み出した後に、画像処理部１０の画像変換部３は読み出したデータに基づいて、車両周囲確認処理の合成画像を生成する（ステップＳ７０３）。ここで、車両周囲確認処理の合成画像とは、車両９の周囲の合成画像、および、車両９の略中心の直上（真上）の合成画像をいう。
【０１３０】
ステップＳ７０３において、作成された車両周囲確認処理の合成画像のデータは表示部２１に出力される（ステップＳ７０４）。なお、画像処理部１０は作成した仮想視点の位置が段階的に変更されている複数の合成画像が連続性を有するような順番でまとめて表示部２１にデータが出力される。
【０１３１】
これにより仮想視点の位置が段階的に変更され、車両９の周囲の上方の仮想視点から車両９の方向にみた状態で、車両９の周囲を連続的に周回する画像を表示部２１に表示させることができる。また、車両９の周囲の合成画像、および、車両９の略中心の直上（真上）の複数の合成画像を同じタイミングで表示部２１に出力することで、段階的に変更されて連続的に表示されている合成画像のうち、所定の画像の表示をとばして、次の画像を表示したり、前の画像に戻って表示することができ、連続的に表示される画像のうちユーザが確認したい箇所の画像を素早く表示できる。
【０１３２】
＜４−４．変形例２＞
この変形例２では、予め生成されてメモリ１１に記憶された複数の合成画像を指示信号に応答して表示部２１に送信するようにしている。図１４は、第３の実施形態の画像処理部の処理の変形例２を示す図である。画像処理部１０のＣＰＵ１がユーザの操作により操作部６１ａ、または、操作部６１ｂからの指示信号を受信した場合（ステップＳ８０１がＹｅｓ）、画像処理部１０はＣＰＵ１のメモリ１１から車両周囲確認処理の合成画像データを読み出す（ステップＳ８０２）。この合成画像データは、操作部６１ａ、または、操作部６１ｂからの指示信号を受信する前に車両９の周辺を撮影する撮影部５の複数のカメラにより撮影された複数の撮影画像に基づいて、上記画像変換処理により生成された合成画像であり、予めメモリ１１に保存されているデータである。
【０１３３】
なお、ＣＰＵ１がユーザの操作により操作部６１ａ、または、操作部６１ｂからの指示信号を受信していない場合は処理を終了する（ステップＳ８０１がＮｏ）。
【０１３４】
ステップＳ８０２に戻り、予めメモリ１１に保存されている車両周囲確認処理の合成画像データが、メモリ１１から読み出された後、車両周囲確認処理の合成画像データが表示部２１へ出力される（ステップＳ８０３）。
【０１３５】
これにより、表示装置２１に画像を出力する指示を行うための指示信号である操作部６１ａ、または、操作部６２ｂからの信号を画像処理部１０のＣＰＵ１が受信してすぐに車両周辺確認処理の合成データを表示部２１へ出力することができ、指示信号を受信してから表示部２１へ合成画像データ出力する時間を短縮できる。
【符号の説明】
【０１３６】
１００ 画像処理システム
１０ 画像処理部
５ 撮影部
２１ 表示部
８３ 切替スイッチ
８４ 車両電源制御装置
【特許請求の範囲】
【請求項１】
表示装置に画像を出力する指示を行うための指示信号を受信する受信手段と、
車両の周辺を撮影する複数のカメラから取得される複数の画像に基づいて前記車両の周囲の上方の仮想視点から前記車両方向をみる第１合成画像を生成する合成画像生成手段と、
前記合成画像生成手段により前記車両の周囲を周回するように仮想視点の位置が段階的に変更されて生成される複数の第１合成画像を、前記指示信号に応答して、前記表示装置に連続して出力する出力手段と、
を備える画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記合成画像生成手段は、前記車両の略中心の直上の仮想視点からみた第２合成画像を生成し、
前記出力手段は、連続表示により、前記複数の第１合成画像と前記第２合成画像との相互間において仮想視点の位置が連続的に変化するように示す複数の合成画像を出力する画像処理装置。
【請求項３】
請求項２に記載の画像処理装置において、
前記出力手段は、前記複数の第１合成画像の出力後に、前記第２合成画像を出力する画像処理装置。
【請求項４】
請求項１ないし３のいずれかに記載の画像処理装置において、
前記合成画像生成手段は、前記複数の第１合成画像を、前記車両の位置が中心となるように生成する画像処理装置。
【請求項５】
請求項１ないし３のいずれかに記載の画像処理装置において、
前記合成画像生成手段は、前記複数の第１合成画像を、ユーザが指定する前記車両の周辺の地点が中心となるように生成する画像処理装置。
【請求項６】
請求項１ないし５のいずれかに記載の画像処理装置において、
前記指示信号は、前記画像処理装置の起動時に発生する画像処理装置。
【請求項７】
表示装置に画像を出力する指示を行うための指示信号を出力する操作手段と、
前記指示信号を受信する受信手段と、
車両の周辺を撮影する複数のカメラから取得される複数の画像に基づいて前記車両の周囲の上方の仮想視点から前記車両方向をみる合成画像を生成する合成画像生成手段と、
前記合成画像生成手段により前記車両の周囲を周回するように仮想視点の位置が段階的に変更される合成画像を、前記指示信号に応答して、前記表示装置に連続して出力する出力手段と、
を備える電子装置。
【請求項８】
請求項７に記載の電子装置において、
前記出力手段により出力された合成画像を表示する前記表示装置、
をさらに備える電子装置。
【請求項９】
表示装置に画像を出力する指示を行うための指示信号を受信する工程と、
車両の周辺を撮影する複数のカメラから取得される複数の画像に基づいて前記車両の周囲の上方の仮想視点から前記車両方向をみる合成画像を生成する工程と、
前記車両の周囲を周回するように仮想視点の位置が段階的に変更されて生成される複数の合成画像を、前記指示信号に応答して、前記表示装置に連続して出力する工程と、
を備える画像処理方法。
【請求項１】
表示装置に画像を出力する指示を行うための指示信号を受信する受信手段と、
車両の周辺を撮影する複数のカメラから取得される複数の画像に基づいて前記車両の周囲の上方の仮想視点から前記車両方向をみる第１合成画像を生成する合成画像生成手段と、
前記合成画像生成手段により前記車両の周囲を周回するように仮想視点の位置が段階的に変更されて生成される複数の第１合成画像を、前記指示信号に応答して、前記表示装置に連続して出力する出力手段と、
を備える画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記合成画像生成手段は、前記車両の略中心の直上の仮想視点からみた第２合成画像を生成し、
前記出力手段は、連続表示により、前記複数の第１合成画像と前記第２合成画像との相互間において仮想視点の位置が連続的に変化するように示す複数の合成画像を出力する画像処理装置。
【請求項３】
請求項２に記載の画像処理装置において、
前記出力手段は、前記複数の第１合成画像の出力後に、前記第２合成画像を出力する画像処理装置。
【請求項４】
請求項１ないし３のいずれかに記載の画像処理装置において、
前記合成画像生成手段は、前記複数の第１合成画像を、前記車両の位置が中心となるように生成する画像処理装置。
【請求項５】
請求項１ないし３のいずれかに記載の画像処理装置において、
前記合成画像生成手段は、前記複数の第１合成画像を、ユーザが指定する前記車両の周辺の地点が中心となるように生成する画像処理装置。
【請求項６】
請求項１ないし５のいずれかに記載の画像処理装置において、
前記指示信号は、前記画像処理装置の起動時に発生する画像処理装置。
【請求項７】
表示装置に画像を出力する指示を行うための指示信号を出力する操作手段と、
前記指示信号を受信する受信手段と、
車両の周辺を撮影する複数のカメラから取得される複数の画像に基づいて前記車両の周囲の上方の仮想視点から前記車両方向をみる合成画像を生成する合成画像生成手段と、
前記合成画像生成手段により前記車両の周囲を周回するように仮想視点の位置が段階的に変更される合成画像を、前記指示信号に応答して、前記表示装置に連続して出力する出力手段と、
を備える電子装置。
【請求項８】
請求項７に記載の電子装置において、
前記出力手段により出力された合成画像を表示する前記表示装置、
をさらに備える電子装置。
【請求項９】
表示装置に画像を出力する指示を行うための指示信号を受信する工程と、
車両の周辺を撮影する複数のカメラから取得される複数の画像に基づいて前記車両の周囲の上方の仮想視点から前記車両方向をみる合成画像を生成する工程と、
前記車両の周囲を周回するように仮想視点の位置が段階的に変更されて生成される複数の合成画像を、前記指示信号に応答して、前記表示装置に連続して出力する工程と、
を備える画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１１−８７６２（Ｐ２０１１−８７６２Ａ）
【公開日】平成２３年１月１３日（２０１１．１．１３）
【国際特許分類】
【出願番号】特願２０１０−５２２１０（Ｐ２０１０−５２２１０）
【出願日】平成２２年３月９日（２０１０．３．９）
【出願人】（０００２３７５９２）富士通テン株式会社 (3,383)
【Ｆターム（参考）】
【公開日】平成２３年１月１３日（２０１１．１．１３）
【国際特許分類】
【出願日】平成２２年３月９日（２０１０．３．９）
【出願人】（０００２３７５９２）富士通テン株式会社 (3,383)
【Ｆターム（参考）】
[ Back to top ]