画像処理システム、車両用装置、画像処理装置、プログラム、及び、画像表示方法
【課題】比較的コストの低い車載装置を用いて仮想視点からみた合成画像を表示させる。
【解決手段】画像処理システム１０は、車両９で用いられる車載装置２と、車載装置２とは別個に構成される可搬性装置３とを備えている。車載装置２は、複数の車載カメラ５でそれぞれ得られた複数の撮影画像を可搬性装置３に送信する。可搬性装置３は、これら複数の撮影画像に基づいて仮想視点からみた合成画像を生成する。そして、可搬性装置３は生成した合成画像を車載装置２に返信し、車載装置２がこの合成画像をディスプレイ２９に表示する。したがって、車載装置２が合成画像を生成する機能を備えなくとも、合成画像をディスプレイ２９に表示させることができる。これにより、比較的コストの低い車載装置を用いた場合であっても、合成画像をディスプレイ２９に表示させることができる。
【解決手段】画像処理システム１０は、車両９で用いられる車載装置２と、車載装置２とは別個に構成される可搬性装置３とを備えている。車載装置２は、複数の車載カメラ５でそれぞれ得られた複数の撮影画像を可搬性装置３に送信する。可搬性装置３は、これら複数の撮影画像に基づいて仮想視点からみた合成画像を生成する。そして、可搬性装置３は生成した合成画像を車載装置２に返信し、車載装置２がこの合成画像をディスプレイ２９に表示する。したがって、車載装置２が合成画像を生成する機能を備えなくとも、合成画像をディスプレイ２９に表示させることができる。これにより、比較的コストの低い車載装置を用いた場合であっても、合成画像をディスプレイ２９に表示させることができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に搭載されたカメラで得られた画像を処理する技術に関する。
【背景技術】
【０００２】
従来より、自動車などの車両に搭載されたカメラで得られた撮影画像を用いて、車両の周辺の領域を示す画像をディスプレイに表示する車載装置が知られている。このような車載装置を利用することにより、ユーザ（代表的にはドライバ）は、車両の周辺の様子を把握することができる。
【０００３】
例えば、車両の後方を示す画像を表示する車載装置であるバックモニタ装置を利用すれば、ユーザは車両を後退させる場合に、車両の後方に存在する物体を把握しやすい。このため、ユーザは、車両と物体との接触を回避しつつ、車両を安全に後退させることができる。
【０００４】
また、近年では、車両の周辺の異なる方向を撮影する複数のカメラでそれぞれ得られた複数の撮影画像を用いて仮想視点からみた合成画像を生成し、その合成画像を表示する車載装置も提案されている（例えば、特許文献１参照。）。ユーザは、このような合成画像を確認することで、車両の近傍に存在する物体の位置を直感的に把握することができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第３２８６３０６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記のような合成画像を生成するためには複雑かつ多大な演算処理が必要となるため、車載装置は、演算能力の高い高性能な集積回路を備える必要がある。このため、ユーザがこのような合成画像の表示機能を所望する場合、比較的コストの高い車載装置の導入が必要となるため、コストの低減が求められていた。
【０００７】
本発明は、上記課題に鑑みてなされたものであり、比較的コストの低い車両用装置を用いて合成画像を表示させることができる技術を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するため、請求項１の発明は、画像処理システムであって、車両で用いられる車両用装置と、前記車両用装置とは別個に構成される画像処理装置と、を備え、前記車両用装置は、前記車両に搭載された複数のカメラでそれぞれ得られた複数の撮影画像を取得する取得手段と、前記複数の撮影画像を前記画像処理装置に送信する第１送信手段と、前記複数の撮影画像に基づいて前記画像処理装置で生成された、仮想視点からみた前記車両の周辺の領域を示す合成画像を受信する第１受信手段と、前記合成画像を表示装置に出力して表示させる出力手段と、を備え、前記画像処理装置は、前記車両用装置から送信された前記複数の撮影画像を受信する第２受信手段と、前記複数の撮影画像に基づいて前記合成画像を生成する生成手段と、前記合成画像を前記車両用装置に送信する第２送信手段と、を備えている。
【０００９】
また、請求項２の発明は、請求項１に記載の画像処理システムにおいて、前記出力手段は、前記第１送信手段が前記複数の撮影画像を送信してから該複数の撮影画像に基づく前記合成画像を前記第１受信手段が受信するまでの期間、該複数の撮影画像の少なくとも一つを前記表示装置に出力して表示させる。
【００１０】
また、請求項３の発明は、請求項１または２に記載の画像処理システムにおいて、前記取得手段は、前記複数の撮影画像のそれぞれを周期的に取得するものであり、前記車両用装置は、前記複数の撮影画像のうち、含まれる被写体が時間的に変化した変化画像を特定する特定手段、をさらに備え、前記変化画像がある場合は、前記第１送信手段は、前記複数の撮影画像のうちの前記変化画像のみを送信し、前記生成手段は、過去に前記合成画像の生成に用いた前記複数の撮影画像のうち、前記変化画像に対応する前記撮影画像のみを前記変化画像に替えて、新たな前記合成画像を生成する。
【００１１】
また、請求項４の発明は、請求項３に記載の画像処理システムにおいて、前記変化画像がある場合は、前記出力手段は、前記変化画像に基づく前記合成画像を出力する前に、前記変化画像を前記表示装置に出力して表示させる。
【００１２】
また、請求項５の発明は、請求項４に記載の画像処理システムにおいて、前記車両用装置は、前記変化画像がある場合に、ユーザに警告する警告手段、をさらに備えている。
【００１３】
また、請求項６の発明は、請求項１ないし５のいずれかに記載の画像処理システムにおいて、前記第１送信手段は、前記合成画像のサイズを指定するサイズ情報を前記画像処理装置に送信し、前記生成手段は、前記サイズ情報で指定するサイズの前記合成画像を生成する。
【００１４】
また、請求項７の発明は、請求項１ないし６のいずれかに記載の画像処理システムにおいて、前記画像処理装置は、複数の種別の車両像を記憶する記憶手段、をさらに備え、前記第１送信手段は、前記車両の種別を前記画像処理装置に送信し、前記生成手段は、前記車両の種別に応じた車両像を前記合成画像に含める。
【００１５】
また、請求項８の発明は、請求項１ないし６のいずれかに記載の画像処理システムにおいて、前記画像処理装置は、地表の様子を示す地表画像を記憶する記憶手段と、前記車両の位置を示す位置情報に基づいて、前記車両の周辺を示す前記地表画像と前記合成画像とを含む結合画像を生成する結合手段と、をさらに備え、前記第１送信手段は、前記位置情報を前記画像処理装置に送信し、前記第２送信手段は、前記結合画像を前記車両用装置に送信し、前記出力手段は、前記結合画像を前記表示装置に出力して表示させる。
【００１６】
また、請求項９の発明は、請求項８に記載の画像処理システムにおいて、前記第１送信手段は、前記地表画像の縮尺に係る縮尺情報を前記画像処理装置に送信し、前記結合手段は、前記縮尺情報に応じた縮尺の前記地表画像を含む前記結合画像を生成する。
【００１７】
また、請求項１０の発明は、請求項１に記載の画像処理システムにおいて、前記画像処理装置は、前記複数のカメラをそれぞれ指定するための複数のボタン、をさらに備え、前記出力手段は、前記合成画像中における前記複数のカメラそれぞれの位置の近傍に当該カメラが対応する前記ボタンの識別情報を重畳した前記合成画像を前記表示装置に出力して表示させる。
【００１８】
また、請求項１１の発明は、請求項１０に記載の画像処理システムにおいて、前記生成手段は、前記複数のボタンのいずれかがユーザに操作された場合は、操作された前記ボタンに対応する前記カメラの位置の近傍を拡大した前記合成画像を生成する。
【００１９】
また、請求項１２の発明は、請求項１０に記載の画像処理システムにおいて、前記第２送信手段は、前記複数のボタンのいずれかがユーザに操作された場合は、操作された前記ボタンを特定するボタン情報を前記車両用装置に送信し、前記出力手段は、前記ボタン情報に基づいて、操作された前記ボタンに対応する前記カメラで得られた前記撮影画像を前記表示装置に出力して表示させる。
【００２０】
また、請求項１３の発明は、請求項１０ないし１２のいずれかに記載の画像処理システムにおいて、前記合成画像は、車両像を含み、前記ボタンの識別情報は、前記合成画像中の前記車両像に重なるように重畳される。
【００２１】
また、請求項１４の発明は、請求項１０ないし１３のいずれかに記載の画像処理システムにおいて、前記画像処理装置は、前記合成画像中における前記複数のカメラそれぞれの位置の近傍に当該カメラが対応する前記ボタンの識別情報を重畳した前記合成画像を表示する表示手段、をさらに備えている。
【００２２】
また、請求項１５の発明は、請求項１４に記載の画像処理システムにおいて、前記表示手段は、画面の長手方向と、前記合成画像中の車両の像の長手方向とが一致するように前記合成画像を表示する。
【００２３】
また、請求項１６の発明は、車両で用いられる車両用装置であって、前記車両に搭載された複数のカメラでそれぞれ得られた複数の撮影画像を取得する取得手段と、前記複数の撮影画像を、前記車両用装置とは別個に構成される画像処理装置に送信する送信手段と、前記複数の撮影画像に基づいて前記画像処理装置で生成された、仮想視点からみた前記車両の周辺の領域を示す合成画像を受信する受信手段と、前記合成画像を表示装置に出力して表示させる出力手段と、を備えている。
【００２４】
また、請求項１７の発明は、車両で用いられる車両用装置とは別個に構成される画像処理装置であって、前記車両用装置から送信された、前記車両に搭載された複数のカメラでそれぞれ得られた複数の撮影画像を受信する受信手段と、前記複数の撮影画像に基づいて、仮想視点からみた前記車両の周辺の領域を示す合成画像を生成する生成手段と、前記合成画像を前記車両用装置に送信する送信手段と、を備えている。
【００２５】
また、請求項１８の発明は、車両で用いられる車両用装置とは別個に構成される画像処理装置に含まれるコンピュータによって実行可能なプログラムであって、前記プログラムの前記コンピュータによる実行は、前記コンピュータに、（ａ）前記車両用装置から送信された、前記車両に搭載された複数のカメラでそれぞれ得られた複数の撮影画像を受信する工程と、（ｂ）前記複数の撮影画像に基づいて、仮想視点からみた前記車両の周辺の領域を示す合成画像を生成する工程と、（ｃ）前記合成画像を前記車両用装置に送信する工程と、を実行させる。
【００２６】
また、請求項１９の発明は、車両で用いられる車両用装置と、前記車両用装置とは別個に構成される画像処理装置とを用いて画像を表示する画像表示方法であって、（ａ）前記車両用装置が、前記車両に搭載された複数のカメラでそれぞれ得られた複数の撮影画像を取得する工程と、（ｂ）前記複数の撮影画像を前記車両用装置から前記画像処理装置に送信する工程と、（ｃ）前記画像処理装置が、前記複数の撮影画像に基づいて、仮想視点からみた前記車両の周辺の領域を示す合成画像を生成する工程と、（ｄ）前記合成画像を前記画像処理装置から前記車両用装置に送信する工程と、（ｅ）前記車両用装置が、前記合成画像を表示装置に出力して表示させる工程と、を備えている。
【発明の効果】
【００２７】
請求項１ないし１９の発明によれば、車両で用いられる車両用装置が仮想視点からみた合成画像を生成する機能を備えなくとも、合成画像を表示装置に表示させることができる。このため、比較的コストの低い車両用装置を用いて合成画像を表示装置に表示させることができる。
【００２８】
また、特に請求項２の発明によれば、合成画像を受信するまでは複数の撮影画像の少なくとも一つを表示させることから、合成画像の表示前であっても、ユーザは車両の周辺の様子を把握することができる。
【００２９】
また、特に請求項３の発明によれば、変化画像がある場合は、変化画像のみが画像処理装置に送信され、変化画像に対応する撮影画像のみを変化画像に替えて新たな合成画像を生成される。このため、車両用装置から画像処理装置に送信するデータ量を低減しつつ、変化のあった被写体を含む合成画像を生成することができる。
【００３０】
また、特に請求項４の発明によれば、合成画像を出力する前に変化画像を表示装置に表示させることから、合成画像の表示前であっても、ユーザは車両の周辺における変化のあった被写体を確認することができる。
【００３１】
また、特に請求項５の発明によれば、変化画像がある場合にユーザに警告するため、ユーザは車両の周辺において変化のあった被写体が存在することを認識することができる。
【００３２】
また、特に請求項６の発明によれば、画像処理装置においてサイズ情報で指定するサイズの合成画像が生成されるため、車両用装置側の要請に応じたサイズの合成画像を生成できる。
【００３３】
また、特に請求項７の発明によれば、実際の車両の種別に即した車両像を合成画像に含めることができる。
【００３４】
また、特に請求項８の発明によれば、車両の周辺を示す地表画像と合成画像とを含む結合画像が表示されるため、ユーザは車両の近傍の物体の情報とともに、車両の周辺の地表の情報も得ることができる。
【００３５】
また、特に請求項９の発明によれば、車両用装置から送信される縮尺情報に応じた縮尺の地表画像が生成されるため、車両用装置において必要な縮尺の地表画像を表示させることができる。
【００３６】
また、特に請求項１０の発明によれば、合成画像中における複数のカメラそれぞれの位置の近傍に対応するボタンの識別情報が重畳された合成画像が表示装置に表示される。このため、ユーザは、いずれのボタンがいずれのカメラと対応しているかを明確に把握することができる。
【００３７】
また、特に請求項１１の発明によれば、操作されたボタンに対応するカメラの位置の近傍を拡大した合成画像が表示されるため、ユーザは合成画像の所望の位置を拡大して確認することができる。
【００３８】
また、特に請求項１２の発明によれば、操作されたボタンに対応するカメラで得られた撮影画像が表示されるため、ユーザは所望の撮影画像を確認することができる。
【００３９】
また、特に請求項１３の発明によれば、車両の周辺の被写体が、ボタンの識別情報によって隠れないようにすることができる。
【００４０】
また、特に請求項１４の発明によれば、画像処理装置において合成画像中における複数のカメラそれぞれの位置の近傍に対応するボタンの識別情報が重畳された合成画像が表示される。このため、ユーザは、いずれのボタンがいずれのカメラと対応しているかを画像処理装置の表示手段においても把握することができる。
【００４１】
また、特に請求項１５の発明によれば、画面の長手方向と合成画像中の車両の像の長手方向とが一致するように合成画像が表示されるため、車両の像を比較的大きなサイズで表示することができる。
【図面の簡単な説明】
【００４２】
【図１】図１は、第１の実施の形態の画像処理システムの概要を示す図である。
【図２】図２は、第１の実施の形態の車載装置の構成を示す図である。
【図３】図３は、車載カメラが配置される位置を示す図である。
【図４】図４は、第１の実施の形態の可搬性装置の構成を示す図である。
【図５】図５は、合成画像を生成する手法を説明する図である。
【図６】図６は、第１の実施の形態の画像処理システムの処理の流れを示す図である。
【図７】図７は、表示画像の一例を示す図である。
【図８】図８は、第２の実施の形態の画像処理システムの処理の流れを示す図である。
【図９】図９は、表示画像の遷移例を示す図である。
【図１０】図１０は、表示画像の遷移を示す図である。
【図１１】図１１は、第３の実施の形態の車載装置の構成を示す図である。
【図１２】図１２は、表示画像の遷移例を示す図である。
【図１３】図１３は、第３の実施の形態の画像処理システムの処理の流れを示す図である。
【図１４】図１４は、可搬性装置の操作部と車載装置の表示内容との関係を示す図である。
【図１５】図１５は、表示画像の遷移例を示す図である。
【図１６】図１６は、第４の実施の形態の画像処理システムの処理の流れを示す図である。
【図１７】図１７は、表示画像の一例を示す図である。
【図１８】図１８は、表示画像の遷移例を示す図である。
【図１９】図１９は、第５の実施の形態の画像処理システムの処理の流れを示す図である。
【図２０】図２０は、第６の実施の形態の画像処理システムの概要を示す図である。
【図２１】図２１は、第６の実施の形態の車載装置の構成を示す図である。
【図２２】図２２は、第６の実施の形態のサーバ装置の構成を示す図である。
【図２３】図２３は、第６の実施の形態の画像処理システムの処理の流れを示す図である。
【図２４】図２４は、第７の実施の形態の車載装置の構成を示す図である。
【図２５】図２５は、第７の実施の形態のサーバ装置の構成を示す図である。
【図２６】図２６は、第６の実施の形態の画像処理システムの処理の流れを示す図である。
【図２７】図２７は、結合画像の一例を示す図である。
【図２８】図２８は、表示画像の遷移を示す図である。
【図２９】図２９は、縮尺を変更するための画像処理システムの処理の流れを示す図である。
【発明を実施するための形態】
【００４３】
以下、図面を参照しつつ本発明の実施の形態について説明する。
【００４４】
＜１．第１の実施の形態＞
＜１−１．システムの概要＞
図１は、第１の実施の形態の画像処理システム１０の概要を示す図である。画像処理システム１０は、自動車などの車両９に搭載される車載装置２と、車載装置２とは別個に構成される可搬性装置３とを備えている。
【００４５】
車載装置２及び可搬性装置３の双方は、Bluetooth（登録商標）などの所定の通信方式に準拠した無線通信機能を有している。したがって、車載装置２と可搬性装置３とは、無線通信によって相互にデータを送受信することが可能となっている。なお、車載装置２と可搬性装置３とを通信ケーブルで物理的に接続し、車載装置２と可搬性装置３とが有線通信によって相互にデータを送受信可能となっていてもよい。
【００４６】
車載装置２は、車両９で用いられる車両用装置であり、車両９の周辺を撮影する複数の車載カメラ５と、ディスプレイ２９とを備えている。車載装置２は、複数の車載カメラ５で得られた撮影画像に基づく画像を、車両９の車室内のディスプレイ２９に表示する機能を有している。
【００４７】
また、可搬性装置３は、例えば、携帯電話やスマートフォンなど、車両９に乗車したユーザが所持する携帯型の装置である。可搬性装置３は、通話機能とともに画像処理機能を有しており、画像処理装置として機能する。この可搬性装置３が備える画像処理機能の一つとして、仮想視点からみた合成画像を生成する機能がある。
【００４８】
画像処理システム１０では、このように可搬性装置３が合成画像を生成する機能を備えるため、車載装置２が合成画像を生成する機能を備えていなくとも、合成画像を車載装置２のディスプレイ２９に表示できるようになっている。車載装置２は、複数の車載カメラ５でそれぞれ得られた複数の撮影画像を可搬性装置３に送信する。可搬性装置３は、これら複数の撮影画像に基づいて仮想視点からみた合成画像を生成する。そして、可搬性装置３は生成した合成画像を車載装置２に返信し、車載装置２がこの合成画像をディスプレイ２９に表示する。以下、このような画像処理システム１０の構成及び処理について詳細に説明する。
【００４９】
＜１−２．車載装置の構成＞
まず、車載装置２の構成について説明する。図２は、車載装置２の構成を示す図である。車載装置２は、前述した複数の車載カメラ５及びディスプレイ２９とともに、本体部２１と操作部２２とを備えている。
【００５０】
ディスプレイ２９は、例えば、液晶パネルなどを備えた薄型の表示装置である。ディスプレイ２９は、本体部２１と一体化されており、本体部２１から出力される表示画像を表示する。ディスプレイ２９は、その表示画面がユーザから視認可能なように、車室内のインストルメントパネルなどに配置される。
【００５１】
複数の車載カメラ５はそれぞれ、レンズと撮像素子とを備えており、車両９の周辺を示す撮影画像を電子的に取得する。各車載カメラ５Ｆ，５Ｂ，５Ｌ，５Ｒは、所定の周期（例えば、１／３０秒）で周期的に撮影を行う。
【００５２】
複数の車載カメラ５はそれぞれ、本体部２１とは別に車両９の適位置に配置され、取得した撮影画像を本体部２１に入力する。複数の車載カメラ５は、フロントカメラ５Ｆ、バックカメラ５Ｂ、左サイドカメラ５Ｌ、及び、右サイドカメラ５Ｒを含んでいる。これら４つの車載カメラ５Ｆ，５Ｂ，５Ｌ，５Ｒは、車両９の異なる位置に配置され、車両９の周辺の異なる方向を撮影する。
【００５３】
図３は、車載カメラ５Ｆ，５Ｂ，５Ｌ，５Ｒが車両９に配置される位置を示す図である。フロントカメラ５Ｆは、車両９の前端の左右中央の近傍に設けられ、その光軸５Ｆａは車両９の前方（直進方向）に向けられている。バックカメラ５Ｂは、車両９の後端の左右中央の近傍に設けられ、その光軸５Ｂａは車両９の後方（直進方向の逆方向）に向けられている。左サイドカメラ５Ｌは車両９の左側のサイドミラー９３Ｌに設けられ、その光軸５Ｌａは車両９の左側方（直進方向の直交方向）に向けられている。また、右サイドカメラ５Ｒは車両９の右側のサイドミラー９３Ｒに設けられ、その光軸５Ｒａは車両９の右側方（直進方向の直交方向）に向けられている。
【００５４】
これらの車載カメラ５Ｆ，５Ｂ，５Ｌ，５Ｒのレンズには魚眼レンズなどが採用され、各車載カメラ５Ｆ，５Ｂ，５Ｌ，５Ｒは１８０度以上の画角θを有している。このため、４つの車載カメラ５Ｆ，５Ｂ，５Ｌ，５Ｒを利用することで、車両９の全周囲を撮影することが可能となっている。
【００５５】
図１に戻り、操作部２２は、ユーザが直接的に操作可能な部材であり、タッチパネル及び操作ボタンを含んでいる。タッチパネルはディスプレイ２９の表示画面に重ねて設けられ、操作ボタンはディスプレイ２９の表示画面の周囲に設けられる。ユーザが操作部２２を操作した場合は、その操作内容を示す信号が本体部２１に入力される。
【００５６】
また、本体部２１は、制御部２３と、画像取得部２４と、記憶部２５と、画像出力部２６と、スピーカ２７と、データ通信部２８とを備えている。
【００５７】
画像取得部２４は、４つの車載カメラ５Ｆ，５Ｂ，５Ｌ，５Ｒでそれぞれ得られた撮影画像を取得する。したがって、画像取得部２４は、車両９の前方、後方、左側方及び右側方をそれぞれ示す４つの撮影画像を取得する。画像取得部２４は、これら４つの撮影画像のそれぞれを所定の周期（例えば、１／３０秒）で周期的に取得する。
【００５８】
記憶部２５は、例えば、フラッシュメモリなどの不揮発性メモリであり、各種の情報を記憶する。記憶部２５は、車両情報２５ａ及びプログラム２５ｂを記憶している。車両情報２５ａは、車載装置２が搭載される車両９の種別を特定する情報である。車両９の種別には、モデル（車種）、及び、ボディカラーなどが含まれる。
【００５９】
画像出力部２６は、表示すべき表示画像を、ディスプレイ２９に出力して表示させる。このような表示画像には、必要に応じて撮影画像や合成画像が含まれる。
【００６０】
スピーカ２７は、制御部２３からの電気信号に基づいて、動作音や警告音など各種の音を出力する。
【００６１】
データ通信部２８は、無線通信によって外部の通信装置と通信する。データ通信部２８は、可搬性装置３との間でデータの送受信を行うことが可能である。データ通信部２８は、複数の撮影画像を可搬性装置３に送信するとともに、合成画像を可搬性装置３から受信する。
【００６２】
また、制御部２３は、車載装置２の全体を統括的に制御するマイクロコンピュータである。制御部２３は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えており、記憶部２５に記憶されたプログラム２５ｂに従ってＣＰＵが演算処理を行うことで、各種の制御機能が実現される。
【００６３】
図中に示す表示制御部２３ａは、プログラム２５ｂに従ってＣＰＵが演算処理を行うことで実現される制御部２３の機能の一つである。
【００６４】
表示制御部２３ａは、ディスプレイ２９の表示に係る各種の制御を行う。表示制御部２３ａは、例えば、撮影画像や合成画像を利用してディスプレイ２９に表示すべき表示画像を、その時点の動作モードに応じて生成する。
【００６５】
車載装置２は、動作モードとして、車載カメラ５で得られた撮影画像を主に表示する通常モードと、仮想視点からみた合成画像を主に表示する全周囲モードとを備えている。車載装置２は、起動時には通常モードとなっているが、可搬性装置３との間で通信が確立し、かつ、ユーザの指示がある場合は全周囲モードに移行する。
【００６６】
通常モードでは、表示制御部２３ａは、ユーザから選択されたいずれかの車載カメラ５で得られた撮影画像を含む表示画像を生成する。そして、表示制御部２３ａは、画像出力部２６を制御して、この表示画像をディスプレイ２９に出力させる。これにより、撮影画像を含む表示画像がディスプレイ２９に表示される。
【００６７】
一方、全周囲モードでは、表示制御部２３ａは、データ通信部２８を制御して、４つの撮影画像を可搬性装置３に送信させる。そして、表示制御部２３ａは、データ通信部２８を制御して、可搬性装置３で生成された合成画像を受信させる。そして、表示制御部２３ａは、この合成画像を含む表示画像を生成し、画像出力部２６を制御して表示画像をディスプレイ２９に出力させる。これにより、仮想視点からみた合成画像を含む表示画像がディスプレイ２９に表示される。
【００６８】
＜１−３．可搬性装置の構成＞
次に、可搬性装置３の構成について説明する。図４は、可搬性装置３の構成を示す図である。可搬性装置３は、制御部３１と、マイク３２と、スピーカ３３と、音声通信部３４と、操作部３５と、ディスプレイ３６と、データ通信部３７と、記憶部３８とを備えている。
【００６９】
マイク３２は、周辺の音を電気信号に変換する。マイク３２は、例えば、通話中のユーザが発した音声を電気信号に変換する。スピーカ３３は、電気信号に基づいて各種の音を出力する。スピーカ３３は、例えば、通話相手が発した音声を出力する。音声通信部３４は、通話にかかる音声の電気信号を、基地局との間で送受信する。これらマイク３２、スピーカ３３及び音声通信部３４により、可搬性装置３の通話機能が実現される。
【００７０】
操作部３５は、ユーザが直接的に操作可能な部材であり、複数の操作ボタンを含んでいる。ユーザが操作部３５を操作した場合は、その操作内容を示す信号が制御部３１に入力される。
【００７１】
ディスプレイ３６は、例えば、液晶パネルを備えており、制御部３１からの信号に基づいて各種の画像を表示する。
【００７２】
データ通信部３７は、無線通信によって外部の通信装置と通信する。データ通信部３７は、車載装置２との間でデータの送受信を行うことが可能である。データ通信部３７は、複数の撮影画像を車載装置２から受信するとともに、合成画像を車載装置２に送信する。
【００７３】
記憶部３８は、例えば、フラッシュメモリなどの不揮発性メモリであり、各種の情報を記憶する。記憶部３８は、複数の車両像９０、及び、プログラム３９を記憶している。これらの複数の車両像９０はそれぞれ、車両の外観を示す像のデータであり、合成画像を生成する際に利用される。記憶部３８には、様々な車両の種別（モデル及びボディカラー）に対応した車両像９０が予め記憶されている。
【００７４】
また、制御部３１は、可搬性装置３の全体を統括的に制御するマイクロコンピュータである。制御部３１は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えており、記憶部３８に記憶されたプログラム３９に従ってＣＰＵが演算処理を行うことで、各種の制御機能が実現される。
【００７５】
図中に示す合成画像生成部３１ａは、プログラム３９に従ってＣＰＵが演算処理を行うことで実現される制御部３１の機能の一つである。合成画像生成部３１ａは、車載装置２で取得された４つの撮影画像に基づいて、仮想視点からみた車両９の周辺の領域を示す合成画像を生成する。合成画像生成部３１ａは、車載装置２との間で通信が確立し、かつ、ユーザの指示がある場合に有効化される。
【００７６】
図５は、合成画像生成部３１ａが合成画像を生成する手法を説明するための図である。
【００７７】
車載装置２のフロントカメラ５Ｆ、バックカメラ５Ｂ、左サイドカメラ５Ｌ、及び、右サイドカメラ５Ｒのそれぞれで撮影が行われると、車両９の前方、後方、左側方及び右側方をそれぞれ示す４つの撮影画像ＰＦ，ＰＢ，ＰＬ，ＰＲが取得される。これら４つの撮影画像ＰＦ，ＰＢ，ＰＬ，ＰＲには、車両９の全周囲のデータが含まれている。
【００７８】
これら４つの撮影画像ＰＦ，ＰＢ，ＰＬ，ＰＲは、車載装置２から可搬性装置３に送信される。可搬性装置３の合成画像生成部３１ａは、これら４つの撮影画像ＰＦ，ＰＢ，ＰＬ，ＰＲを用いて合成画像ＣＰを生成する。
【００７９】
まず、４つの撮影画像ＰＦ，ＰＢ，ＰＬ，ＰＲのデータ（各画素の値）が、仮想的な三次元空間における立体曲面である投影面ＴＳに投影される。投影面ＴＳは、例えば略半球状（お椀形状）をしている。この投影面ＴＳの中心部分（お椀の底部分）は、車両９が存在する位置として定められている。一方、投影面ＴＳのその他の部分は、撮影画像ＰＦ，ＰＢ，ＰＬ，ＰＲのデータと対応付けられており、対応するデータが投影される。撮影画像ＰＦ，ＰＢ，ＰＬ，ＰＲのデータと投影面ＴＳの位置との対応関係を示す情報は、予め記憶部２５に記憶されている。
【００８０】
投影面ＴＳにおいて車両９の前方に相当する領域は、フロントカメラ５Ｆで得られた撮影画像（以下、「フロント画像」という。）ＰＦのデータが投影される。また、投影面ＴＳにおいて車両９の後方に相当する領域は、バックカメラ５Ｂで得られた撮影画像（以下、「バック画像」という。）ＰＢのデータが投影される。また、投影面ＴＳにおいて車両９の左側方に相当する領域は左サイドカメラ５Ｌで得られた撮影画像（以下、「左サイド画像」という。）ＰＬのデータが投影され、投影面ＴＳにおいて車両９の右側方に相当する領域は右サイドカメラ５Ｒで得られた撮影画像（以下、「右サイド画像」という。）ＰＲのデータが投影される。
【００８１】
このように投影面ＴＳの各部分のデータが決定されると、三次元空間に対して仮想視点ＶＰが設定される。仮想視点ＶＰは、三次元空間における任意の視点位置に任意の視野方向に向けて設定することができる。そして、投影面ＴＳのうち、設定された仮想視点ＶＰからみて所定の視野角に含まれる領域が画像として切り出される。このようにして切り出して得られた画像が、仮想視点ＶＰからみた車両９の周囲の領域を示す合成画像ＣＰとなる。
【００８２】
さらに、このようにして生成された合成画像ＣＰには、車両９が存在する位置に車両像９０が重畳される。合成画像ＣＰに重畳される車両像９０としては、車両９の種別に応じたものが記憶部２５から読み出されて使用される。これにより、合成画像ＣＰに車両像９０が含まれることになる。ユーザは、このような合成画像ＣＰを視認することで、車両９の周辺の被写体の位置を車両９に対する相対位置で把握することができる。
【００８３】
このような処理により、例えば図に示すように、視点位置を車両９の直上、視野方向を直下とした仮想視点ＶＰａを設定した場合には、車両９及び車両９の周辺の領域を俯瞰する合成画像ＣＰａが生成される。また、視点位置を車両９の左後方、視野方向を車両９の前方とした仮想視点ＶＰｂを設定した場合には、車両９の左後方からその周辺全体を見渡すように、車両９及び車両９の周辺の領域を示す合成画像ＣＰｂが生成される。
【００８４】
＜１−４．処理の流れ＞
次に、画像処理システム１０の処理の流れについて説明する。図６は、画像処理システム１０の処理の流れを示す図である。図中の左側は車載装置２の処理の流れを示しており、図中の右側は可搬性装置３の処理の流れを示している。これらの処理は、車載装置２と可搬性装置３との間で通信が確立し、かつ、それぞれの装置に対してユーザが所定の操作を行った場合（全周囲モードの場合）に実行される。車載装置２では、表示制御部２３ａの制御により、図６に示す処理が所定の周期（例えば、１／３０秒）で繰り返し実行される。また、可搬性装置３では、制御部３１の制御により、車載装置２からの信号に応答して図６に示す処理が実行される。
【００８５】
まず、車載装置２の４つの車載カメラ５Ｆ，５Ｂ，５Ｌ，５Ｒのそれぞれが、車両９の周辺を撮影する。そして、本体部２１の画像取得部２４が、４つの車載カメラ５Ｆ，５Ｂ，５Ｌ，５Ｒでそれぞれ得られた４つの撮影画像ＰＦ，ＰＢ，ＰＬ，ＰＲを取得する（ステップＳＡ１１）。
【００８６】
次に、車載装置２のデータ通信部２８が、４つの撮影画像ＰＦ，ＰＢ，ＰＬ，ＰＲを無線通信によって可搬性装置３に送信する（ステップＳＡ１２）。また、データ通信部２８は、これらの撮影画像ＰＦ，ＰＢ，ＰＬ，ＰＲと併せて、車両情報２５ａ、及び、サイズ情報を可搬性装置３に送信する。前述のように車両情報２５ａは、車両９の種別を特定する情報である。一方、サイズ情報は、車載装置２のディスプレイ２９への表示に適した合成画像ＣＰのサイズを縦横の画素数で指定する情報である。
【００８７】
可搬性装置３のデータ通信部３７は、車載装置２から送信されたこれら４つの撮影画像ＰＦ，ＰＢ，ＰＬ，ＰＲ、車両情報２５ａ、及び、サイズ情報を受信する（ステップＳＢ１１）。
【００８８】
可搬性装置３は、これらの情報の受信に応答して合成画像ＣＰを生成する。すなわち、合成画像生成部３１ａが、前述した手法により、４つの撮影画像に基づいて、仮想視点からみた車両９の周辺の領域を示す合成画像ＣＰを生成する（ステップＳＢ１２）。前述のように、仮想視点ＶＰは任意の視点位置及び任意の視野方向に設定できるが、本実施の形態では、視点位置を車両９の直上、視野方向を直下とした仮想視点ＶＰａが設定される。これにより、車両９及び車両９の周辺の領域を俯瞰する合成画像ＣＰが生成される。
【００８９】
また、合成画像生成部３１ａは、この合成画像ＣＰを生成する際に、車載装置２から送信された車両情報２５ａに基づいて車両９の種別に応じた車両像９０を記憶部３８から読み出し、この車両像９０を合成画像ＣＰに含める。これにより、実際の車両９のモデルに即した形状、かつ、実際の車両９のボディカラーに即した色の車両像９０が合成画像ＣＰに含められる。
【００９０】
また、合成画像生成部３１ａは、車載装置２から送信されたサイズ情報に基づいて、サイズ情報で指定するサイズの合成画像ＣＰを生成する。これにより、車載装置２での表示に適したサイズの合成画像ＣＰが生成される。
【００９１】
次に、可搬性装置３のデータ通信部３７は、生成された合成画像ＣＰを無線通信によって車載装置２に送信する（ステップＳＢ１３）。車載装置２のデータ通信部２８は、可搬性装置３から送信されたこの合成画像ＣＰを受信する（ステップＳＡ１３）。
【００９２】
車載装置２は、４つの撮影画像ＰＦ，ＰＢ，ＰＬ，ＰＲを送信した後（ステップＳＡ１２の後）は合成画像ＣＰを受信するまで処理を待機し、合成画像ＣＰの受信（ステップＳＡ１３）に応答して処理を再開する。
【００９３】
具体的には、まず、表示制御部２３ａが、受信した合成画像ＣＰを含む表示画像を生成する。合成画像ＣＰは既に表示に適したサイズに調整されているため、表示制御部２３ａは表示画像を容易に生成することができる。そして、画像出力部２６が、生成された表示画像をディスプレイ２９に出力する。これにより、合成画像ＣＰを含む表示画像がディスプレイ２９に表示される（ステップＳＡ１４）。
【００９４】
図７は、このようにしてディスプレイ２９に表示された表示画像ＤＰの一例を示す図である。図に示すように表示画像ＤＰには、仮想視点からみた車両９の周辺の領域を示す合成画像ＣＰが含まれている。この合成画像ＣＰには、車両９のモデル及びボディカラーに応じた車両像９０が含まれている。前述のように図６に示す処理は所定の周期で繰り返されるため、合成画像ＣＰの内容も所定の周期で更新される。したがって、ユーザはこのような表示画像ＤＰを視認することで、車両９の周辺に存在する物体を把握することができる。
【００９５】
以上のように、画像処理システム１０は、車両９で用いられる車載装置２と、車載装置２とは別個に構成される可搬性装置３とを備えている。車載装置２は、複数の車載カメラ５でそれぞれ得られた複数の撮影画像を可搬性装置３に送信する。可搬性装置３は、これら複数の撮影画像に基づいて仮想視点からみた合成画像ＣＰを生成する。そして、可搬性装置３は生成した合成画像ＣＰを車載装置２に返信し、車載装置２がこの合成画像ＣＰをディスプレイ２９に表示する。したがって、車載装置２が合成画像ＣＰを生成する機能を備えなくとも、合成画像ＣＰをディスプレイ２９に表示させることができる。これにより、比較的コストの低い車載装置を用いた場合であっても、合成画像ＣＰをディスプレイ２９に表示させることができる。
【００９６】
また、ユーザは、合成画像ＣＰの生成機能を備えていない車載装置２を導入した場合であっても、合成画像ＣＰの生成機能を備えた可搬性装置３を導入すれば、合成画像ＣＰの表示機能を事後的に追加することができる。また、可搬性装置３は、プログラムが記憶された所定のサーバ装置や記録媒体から当該プログラムを取得すれば、このような合成画像ＣＰの生成機能を備えることができる。このため、このような合成画像ＣＰの表示機能を容易に追加することができる。
【００９７】
また、車載装置２のデータ通信部２８は、合成画像ＣＰのサイズを指定するサイズ情報を可搬性装置３に送信する。一方で、可搬性装置３の合成画像生成部３１ａはサイズ情報で指定するサイズの合成画像ＣＰを生成する。したがって、可搬性装置３は、車載装置２側の要請に応じたサイズの合成画像ＣＰを生成できる。このため、可搬性装置３は、通信相手となる車載装置が変更されたとしても、通信相手の車載装置のハードに応じた適切なサイズの合成画像ＣＰを生成することができる。
【００９８】
また、車載装置２のデータ通信部２８は、車両９の種別（モデル及びボディカラー）を示す車両情報２５ａを可搬性装置３に送信する。一方で、可搬性装置３の合成画像生成部３１ａは、車両情報２５ａに基づいて、車両９の種別に応じた車両像９０を合成画像ＣＰに含める。したがって、実際の車両９の種別に即した車両像９０を合成画像ＣＰに含めることができ、臨場感のある合成画像ＣＰを生成することができる。
【００９９】
＜２．第２の実施の形態＞
次に、第２の実施の形態について説明する。第１の実施の形態では、車載装置２は撮影画像を送信してから合成画像を受信するまでの期間は処理を待機していた。車載装置２が撮影画像を送信してから合成画像を受信するまでの時間は、車載装置２と可搬性装置３との間の通信速度、及び、可搬性装置３の処理速度に依存する。したがって、これらの速度によっては、車載装置２を全周囲モードに移行させた直後に、しばらくの間、合成画像ＣＰがディスプレイ２９に表示されない状態となる可能性がある。
【０１００】
このため、第２の実施の形態の車載装置２は、撮影画像を送信してから合成画像を受信するまでの期間において、撮影画像をディスプレイ２９に表示させるようにしている。第２の実施の形態の画像処理システム１０の構成及び処理は第１の実施の形態とほぼ同様であるため、以下、第１の実施の形態との相違点を中心に説明する。
【０１０１】
図８は、第２の実施の形態の画像処理システム１０の処理の流れを示す図である。図８におけるステップＳＡ２１，ＳＡ２２，ＳＡ２５，ＳＡ２６の車載装置２の処理は、図６のステップＳＡ１１，ＳＡ１２，ＳＡ１３，ＳＡ１４の処理と同様である。また、図８におけるステップＳＢ２１〜ＳＢ２３の可搬性装置３の処理は、図６のステップＳＢ１１〜ＳＢ１３と同様である。したがって、本実施の形態においても、車載装置２が複数の撮影画像を可搬性装置３に送信し、可搬性装置３が合成画像ＣＰを生成して車載装置２に送信し、車載装置２がその合成画像ＣＰを表示することになる。
【０１０２】
ただし、第２の実施の形態においては、車載装置２が複数の撮影画像を送信してから合成画像を受信するまでの期間（ステップＳＡ２２からステップＳＡ２５までの期間）に、ステップＳＡ２３，ＳＡ２４が実行される。
【０１０３】
まず、ディスプレイ２９に既に合成画像ＣＰが表示されているか否かが判定される（ステップＳＡ２３）。図８の処理が２回目以降である場合は、合成画像ＣＰが既に表示されている。したがって、この場合は（ステップＳＡ２３にてＹｅｓ）、合成画像ＣＰの表示を優先させ、処理はそのままステップＳＡ２５に進む。
【０１０４】
一方、図８の処理が初回である場合、すなわち、全周囲モードに移行させた直後は、合成画像ＣＰがディスプレイ２９に表示されていない。この場合は（ステップＳＡ２３にてＮｏ）、表示制御部２３ａが、可搬性装置３に送信したものと同一の４つの撮影画像ＰＦ，ＰＢ，ＰＬ，ＰＲを含む表示画像ＤＰを生成する。そして、表示制御部２３ａは、画像出力部２６を制御して、この表示画像ＤＰをディスプレイ２９に出力させる。これにより、４つの撮影画像ＰＦ，ＰＢ，ＰＬ，ＰＲを含む表示画像ＤＰがディスプレイ２９に表示される（ステップＳＡ２４）。その後、処理はステップＳＡ２５に進む。
【０１０５】
図９の上部は、ステップＳＡ２４において表示される表示画像ＤＰの例を示している。この表示画像ＤＰには、４つの撮影画像ＰＦ，ＰＢ，ＰＬ，ＰＲが含まれている。その後、車載装置２が合成画像ＣＰを可搬性装置３から受信すると、図９の下部に示すような合成画像ＣＰを含む表示画像ＤＰがディスプレイ２９に表示される。ユーザは、合成画像ＣＰが表示される前であっても、図９の上部に示すような撮影画像ＰＦ，ＰＢ，ＰＬ，ＰＲを含む表示画像ＤＰを視認することで、車両９の周辺の様子を把握できることになる。
【０１０６】
以上のように、第２の実施の形態の画像処理システム１０においては、車載装置２のデータ通信部２８が複数の撮影画像を送信してから該複数の撮影画像に基づく合成画像ＣＰを受信するまでの期間、画像出力部２６が該複数の撮影画像をディスプレイ２９に出力して表示させる。このため、合成画像ＣＰの表示前であっても、ユーザは車両９の周辺の様子を把握できる。
【０１０７】
なお、上記では、車載装置２が撮影画像を送信してから合成画像を受信するまでの期間、４つの撮影画像ＰＦ，ＰＢ，ＰＬ，ＰＲの全てを表示するようにしているが、４つの撮影画像ＰＦ，ＰＢ，ＰＬ，ＰＲのうちの少なくとも１つを表示すればよい。例えば、最も死角となりやすい後方を示すバック画像ＰＢのみを表示するようにしてもよい。また、図１０に示すように、４つの撮影画像ＰＦ，ＰＢ，ＰＬ，ＰＲを、時系列的に順次に表示するようにしてもよい。また、車載装置２は、少なくとも撮影画像を送信してから合成画像を受信するまでの期間に撮影画像を表示すればよく、撮影画像の送信前、あるいは、合成画像の受信後も撮影画像を表示してもよい。
【０１０８】
＜３．第３の実施の形態＞
次に、第３の実施の形態について説明する。第１の実施の形態では、車載装置２は常に４つの撮影画像の全てを可搬性装置３に送信していた。しかしながら、このように常に４つの撮影画像の全てを送信した場合には、送信するデータ量が多くなることなどから、全体的な処理速度が低下する可能性がある。
【０１０９】
このため、第３の実施の形態の車載装置２は、４つの撮影画像の全てを可搬性装置３に送信する全画像送信を実行する周期を、第１の実施の形態よりも長くしている。一方で、車載装置２は、全画像送信と全画像送信との間においては、含まれる被写体が時間的に変化した撮影画像のみを可搬性装置３に送信するようにしている。第３の実施の形態の画像処理システム１０の構成及び処理は第１の実施の形態とほぼ同様であるため、以下、第１の実施の形態との相違点を中心に説明する。
【０１１０】
図１１は、第３の実施の形態の車載装置２の構成を示す図である。第３の実施の形態の車載装置２は、プログラム２５ｂに従ってＣＰＵが演算処理を行うことで実現される制御部２３の機能として、表示制御部２３ａの他に、変化検出部２３ｂ及び警告制御部２３ｃを備えている。第３の実施の形態の車載装置２の他の構成は、第１の実施の形態と同様である。
【０１１１】
変化検出部２３ｂは、車載カメラ５Ｆ，５Ｂ，５Ｌ，５Ｒのそれぞれで周期的に得られる撮影画像のうち、含まれる被写体が時間的に変化した変化画像を特定する。すなわち、変化検出部２３ｂは、同一の車載カメラで時間的に連続して得られる撮影画像同士（前フレーム、及び、現フレーム）において、対応する画素の値の差分をとり、その差分の総和が所定の閾値を超えた撮影画像を変化画像として特定する。
【０１１２】
より具体的には、変化検出部２３ｂは、フロント画像ＰＦについては前フレームのフロント画像ＰＦとの差分、バック画像ＰＢについては前フレームのバック画像ＰＢとの差分、左サイド画像ＰＬについては前フレームの左サイド画像ＰＬとの差分、右サイド画像ＰＦについては前フレームの右サイド画像ＰＲとの差分をそれぞれ導出する。そして、変化検出部２３ｂは、４つの撮影画像ＰＦ，ＰＢ，ＰＬ，ＰＲのうち、導出した差分の総和が所定の閾値を超える撮影画像については、含まれる被写体が変化したと判断する。変化検出部２３ｂは、このように変化のあった被写体を含む撮影画像を変化画像として特定する。
【０１１３】
警告制御部２３ｃは、変化検出部２３ｂが変化画像があると判断した場合に、ユーザに警告する。警告制御部２３ｃは、変化画像がある場合は、スピーカ２７を制御してスピーカ２７から所定の警告音を出力させる。
【０１１４】
また、本実施の形態の表示制御部２３ａは、変化検出部２３ｂが変化画像があると判断した場合は、当該変化画像をディスプレイ２９に表示させる。変化画像がある場合、すなわち、車両９の周辺の被写体に変化が生じた場合であっても、その被写体の変化が合成画像ＣＰの内容に反映されるまでにはタイムラグがある。このため、本実施の形態の表示制御部２３ａは、変化画像がある場合には、その変化画像に基づいて生成される合成画像ＣＰの表示に先立って、その変化画像をディスプレイ２９に表示させる。すなわち、画像出力部２６は、変化画像に基づく合成画像ＣＰを出力する前に、変化画像をディスプレイ２９に出力して表示させることになる。
【０１１５】
図１２は、本実施の形態の全周囲モードにおいてディスプレイ２９に表示される表示画像ＤＰの遷移を示す図である。変化画像がない場合、すなわち、被写体に変化が無い場合は、表示画像ＤＰには合成画像ＣＰのみが含まれている（状態ＳＴ１）。
【０１１６】
このような状態において、変化画像がある場合、すなわち、被写体に変化が生じた場合は、表示画像ＤＰに当該変化画像が含められ、変化画像を含む表示画像ＤＰがディスプレイ２９に表示される（状態ＳＴ２）。図１２の例では、バック画像ＰＢ中の被写体Ｓｂに変化が生じており、このバック画像ＰＢが変化画像としてディスプレイ２９に表示されている。なお、表示画像ＤＰには合成画像ＣＰも含まれているが、この時点は被写体Ｓｂが変化した直後のため、合成画像ＣＰの内容に当該被写体Ｓｂの様子は反映されていない。
【０１１７】
その後、変化画像に基づいて生成された被写体Ｓｂの様子を反映した合成画像ＣＰが表示可能となると、当該合成画像ＣＰがディスプレイ２９に表示される。一方で、変化画像（バック画像ＰＢ）はディスプレイ２９に表示されなくなる（状態ＳＴ３）。
【０１１８】
ユーザは、このような表示画像ＤＰを視認することで、被写体に変化があったこと（すなわち、車両９の周辺に動く物体が存在すること）を認識できる。また、被写体に変化が生じた場合には、当該被写体を含む合成画像ＣＰの表示前に、当該被写体を含む変化画像が表示されるため、ユーザは当該被写体を速やかに確認することができる。
【０１１９】
図１３は、第３の実施の形態の画像処理システム１０の処理の流れを示す図である。本実施の形態においても、車載装置２では、表示制御部２３ａの制御により、図１３に示す処理が所定の第１周期（例えば、１／３０秒）で繰り返し実行される。ただし、第３の実施の形態では、この第１周期より長い第２周期（例えば、１秒）ごとに、他の場合と異なる特定処理が実行される。
【０１２０】
第２周期ごとの特定処理では（ステップＳＡ３０にてＹｅｓ）、第１の実施の形態とほぼ同様の処理が実行される。すなわち、まず、車載装置２の画像取得部２４が４つの撮影画像ＰＦ，ＰＢ，ＰＬ，ＰＲを取得し（ステップＳＡ３１）、車載装置２のデータ通信部２８が４つの撮影画像ＰＦ，ＰＢ，ＰＬ，ＰＲの全てを可搬性装置３に送信する全画像送信を実行する（ステップＳＡ３２）。
【０１２１】
可搬性装置３のデータ通信部３７がこれらの４つの撮影画像ＰＦ，ＰＢ，ＰＬ，ＰＲを受信すると（ステップＳＢ３１）、可搬性装置３の記憶部３８が受信した４つの撮影画像の全てを記憶する。これにより、記憶部３８が過去に撮影画像を記憶していた場合は、４つの撮影画像ＰＦ，ＰＢ，ＰＬ，ＰＲの全てが更新される（ステップＳＢ３２）。そして、合成画像生成部３１ａが、記憶部３８に記憶されている４つの撮影画像ＰＦ，ＰＢ，ＰＬ，ＰＲを用いて合成画像ＣＰを生成し（ステップＳＢ３３）、データ通信部３７が生成された合成画像ＣＰを車載装置２に送信する（ステップＳＢ３４）。
【０１２２】
車載装置２のデータ通信部２８がこの合成画像ＣＰを受信すると（ステップＳＡ３８）、車載装置２の画像出力部２６が合成画像ＣＰを含む表示画像ＤＰをディスプレイ２９に出力して表示させる（ステップＳＡ３９）。
【０１２３】
この特定処理は第２周期ごとに実行されるため、第２周期ごとに４つの撮影画像ＰＦ，ＰＢ，ＰＬ，ＰＲの全ての内容を反映した新たな合成画像ＣＰがディスプレイ２９に表示されることになる。
【０１２４】
一方、特定処理以外の場合（全画像送信と全画像送信との間の場合）は（ステップＳＡ３０にてＮｏ）、まず、車載装置２の画像取得部２４が４つの撮影画像ＰＦ，ＰＢ，ＰＬ，ＰＲを取得する（ステップＳＡ３３）。次に、変化検出部２３ｂが、前述した手法により、これら４つの撮影画像ＰＦ，ＰＢ，ＰＬ，ＰＲのうちから、含まれる被写体が時間的に変化した変化画像を特定する。そして、変化画像が存在しない場合は（ステップＳＡ３４にてＮｏ）、そのまま処理が終了する。
【０１２５】
また、変化画像が存在する場合は（ステップＳＡ３４にてＹｅｓ）、車載装置２のデータ通信部２８が、４つの撮影画像ＰＦ，ＰＢ，ＰＬ，ＰＲのうちの変化画像のみを可搬性装置３に送信する（ステップＳＡ３５）。
【０１２６】
可搬性装置３のデータ通信部３７が変化画像を受信すると（ステップＳＢ３１）、可搬性装置３の記憶部３８が受信した変化画像を記憶する。これにより、記憶部３８が記憶している過去に得られた４つの撮影画像ＰＦ，ＰＢ，ＰＬ，ＰＲのうち、変化画像に対応する撮影画像のみが更新される（ステップＳＢ３２）。例えば、変化画像がフロント画像ＰＦの場合はフロント画像ＰＦのみが更新され、変化画像がバック画像ＰＢの場合はバック画像ＰＢのみが更新される。したがって、変化画像に対応しない過去の撮影画像については、記憶部３８に記憶された状態で維持される。
【０１２７】
そして、合成画像生成部３１ａが、記憶部３８に記憶されている４つの撮影画像ＰＦ，ＰＢ，ＰＬ，ＰＲを用いて合成画像ＣＰを生成する（ステップＳＢ３３）。これにより、合成画像生成部３１ａは、過去に合成画像ＣＰの生成に用いた４つの撮影画像ＰＦ，ＰＢ，ＰＬ，ＰＲのうち、変化画像に対応する撮影画像のみを変化画像に替えて、新たな合成画像ＣＰを生成することになる。その結果、変化した被写体を含む新たな合成画像ＣＰが生成される。新たな合成画像ＣＰが生成されると、データ通信部３７が生成された合成画像ＣＰを車載装置２に送信する（ステップＳＢ３４）。
【０１２８】
また、車載装置２は、変化画像を送信した後（ステップＳＡ３５の後）は、この変化画像に基づく合成画像ＣＰを受信するまで、変化画像を表示する。具体的には、表示制御部２３ａが、可搬性装置３に送信したものと同一の変化画像を含む表示画像ＤＰを生成する。そして、表示制御部２３ａは、画像出力部２６を制御して、この表示画像ＤＰをディスプレイ２９に出力させる。これにより、図１２の状態ＳＴ２のような、変化画像を含む表示画像ＤＰがディスプレイ２９に表示される（ステップＳＡ３６）。
【０１２９】
次に、警告制御部２３ｃが、スピーカ２７を制御してスピーカ２７からビープ音などの所定の警告音を出力させる（ステップＳＡ３７）。これにより、変化画像がある場合、すなわち、車両９の周辺に動く物体が存在する場合に、ユーザにその旨が知らされることになる。
【０１３０】
その後、車載装置２のデータ通信部２８が、変化画像に基づく合成画像ＣＰを受信すると（ステップＳＡ３８）、表示制御部２３ａが、変化画像に基づく合成画像ＣＰを含む表示画像ＤＰを生成する。そして、画像出力部２６が、この表示画像ＤＰをディスプレイ２９に出力して表示させる。これにより、図１２の状態ＳＴ３のような、変化した被写体Ｓｂを含む合成画像ＣＰがディスプレイ２９に表示されることになる（ステップＳＡ３９）。
【０１３１】
以上のように、第３の実施の形態の画像処理システム１０においては、車載装置２の変化検出部２３ｂが、４つの撮影画像のうち含まれる被写体が時間的に変化した変化画像を特定する。このような変化画像がある場合は、車載装置２のデータ通信部２８は、変化画像のみを可搬性装置３に送信する。そして、可搬性装置３の合成画像生成部３１ａは、過去に合成画像ＣＰの生成に用いた４つの撮影画像のうち変化画像に対応する撮影画像のみを変化画像に替えて新たな合成画像を生成する。このため、車載装置２が可搬性装置３に送信するデータ量を有効に低減して処理速度を向上しつつ、車両９の周辺において変化のあった被写体を含む合成画像ＣＰを生成することができる。
【０１３２】
また、車載装置２の画像出力部２６は、変化画像がある場合は、変化画像に基づく合成画像ＣＰを出力する前に、変化画像をディスプレイ２９に出力して表示させる。このため、変化画像に基づく合成画像ＣＰの表示前であっても、ユーザは車両９の周辺において変化のあった被写体を確認することができる。
【０１３３】
また、警告制御部２３ｃは、変化画像がある場合に、スピーカ２７から所定の警告音を出力させて、ユーザに警告する。このため、ユーザは車両９の周辺において変化のあった被写体（すなわち、動く物体）が存在することを認識することができる。
【０１３４】
＜４．第４の実施の形態＞
次に、第４の実施の形態について説明する。第４の実施の形態の画像処理システム１０の構成及び処理は第１の実施の形態とほぼ同様であるため、以下、第１の実施の形態との相違点を中心に説明する。第４の実施の形態においては、ユーザが可搬性装置３を操作することで、車載装置２に表示される表示画像ＤＰの内容を変更できるようになっている。
【０１３５】
図１４は、可搬性装置３の操作部３５と車載装置２の表示内容との関係を示す図である。
【０１３６】
可搬性装置３は、操作部３５の一部に、テンキーとして機能する複数の操作ボタンを備えている。そして、これらの操作ボタンのうち、「２」ボタン３５Ｆ、「８」ボタン３５Ｂ、「４」ボタン３５Ｌ及び「６」ボタン３５Ｒは、車両９に搭載された４つの車載カメラ５にそれぞれ対応付けられている。具体的には、「２」ボタン３５Ｆはフロントカメラ５Ｆ、「８」ボタン３５Ｂはバックカメラ５Ｂ、「４」ボタン３５Ｌは左サイドカメラ５Ｌ、「６」ボタン３５Ｒは右サイドカメラ５Ｒにそれぞれ対応付けられている。これらの４つ操作ボタン３５Ｆ，３６Ｂ，３６Ｌ，３６Ｒは、対応づけられた車載カメラ５を指定するための操作部材として機能する。
【０１３７】
一方で、車載装置２のディスプレイ２９に表示される合成画像ＣＰにおいては、４つの車載カメラ５それぞれの位置（より正確には、４つの車載カメラ５それぞれの実際の配置位置に相当する位置）の近傍には、ラベルＣＦ，ＣＬ，ＣＢ，ＣＲが重畳されている。これらのラベルＣＦ，ＣＬ，ＣＢ，ＣＲは、各車載カメラ５が対応する操作ボタンを識別するための識別情報となる。
【０１３８】
具体的には、合成画像ＣＰ中のフロントカメラ５Ｆの位置の近傍には「２」を示すラベルＣＦが重畳され、バックカメラ５Ｂの位置の近傍には「８」を示すラベルＣＢが重畳され、左サイドカメラ５Ｌの位置の近傍には「４」を示すラベルＣＬが重畳され、右サイドカメラ５Ｒの位置の近傍には「６」を示すラベルＣＲが重畳されている。したがって、ユーザは、このようなラベルＣＦ，ＣＬ，ＣＢ，ＣＲが重畳された合成画像ＣＰを視認することで、「２」ボタン３５Ｆはフロントカメラ５Ｆ、「８」ボタン３５Ｂはバックカメラ５Ｂ、「４」ボタン３５Ｌは左サイドカメラ５Ｌ、「６」ボタン３５Ｒは右サイドカメラ５Ｒにそれぞれ対応付けられていることを明確に把握できる。
【０１３９】
また、このようなラベルＣＦ，ＣＬ，ＣＢ，ＣＲが重畳された合成画像ＣＰは、可搬性装置３のディスプレイ３６にも表示される。このため、ユーザは、いずれの操作ボタンがいずれの車載カメラ５と対応しているかを、可搬性装置３のディスプレイ３６を確認することによっても把握できる。また、ディスプレイ３６は、その画面の長手方向と、合成画像ＣＰ中の車両像９０の長手方向とが一致するように合成画像ＣＰを表示する。このため、可搬性装置３が備える比較的小さなサイズのディスプレイ３６においても、車両像９０を比較的大きなサイズで表示することができる。
【０１４０】
また、図１４に示す状態において、ユーザが、４つ操作ボタン３５Ｆ，３６Ｂ，３６Ｌ，３６Ｒのいずれかを操作した場合は、操作された操作ボタンに対応する車載カメラ５の位置の近傍を拡大した合成画像ＣＰが表示される。例えば、図１５に示すように、ユーザが「４」ボタン３５Ｌを操作した場合は、「４」ボタン３５Ｌに対応する左サイドカメラ５Ｌの位置の近傍を拡大した合成画像ＣＰが表示されることになる。したがって、ユーザは、可搬性装置３の操作ボタンを操作することで、合成画像ＣＰの所望の位置を拡大して確認することができる。
【０１４１】
図１６は、第４の実施の形態の画像処理システム１０の処理の流れを示す図である。まず、車載装置２の画像取得部２４が４つの撮影画像ＰＦ，ＰＢ，ＰＬ，ＰＲを取得し（ステップＳＡ４１）、車載装置２のデータ通信部２８が４つの撮影画像ＰＦ，ＰＢ，ＰＬ，ＰＲを可搬性装置３に送信する（ステップＳＡ４２）。
【０１４２】
可搬性装置３のデータ通信部３７は、これらの４つの撮影画像ＰＦ，ＰＢ，ＰＬ，ＰＲを受信する（ステップＳＢ４１）。次に、可搬性装置３の４つ操作ボタン３５Ｆ，３６Ｂ，３６Ｌ，３６Ｒのいずれかがユーザに操作されたか否かが判定される。
【０１４３】
４つの操作ボタンのいずれも操作されていない場合（ステップＳＢ４２にてＮｏ）は、合成画像生成部３１ａは、適位置にラベルＣＦ，ＣＬ，ＣＢ，ＣＲを重畳した合成画像ＣＰを生成する（ステップＳＢ４３）。一方、４つの操作ボタンのいずれかが操作された場合（ステップＳＢ４２にてＹｅｓ）は、合成画像生成部３１ａは、操作された操作ボタンに対応する車載カメラ５の位置の近傍を拡大した合成画像ＣＰを生成する（ステップＳＢ４４）。
【０１４４】
次に、可搬性装置３のディスプレイ３６が、生成された合成画像ＣＰを表示する（ステップＳＢ４５）。これとともに、データ通信部３７が、生成された合成画像ＣＰを車載装置２に送信する（ステップＳＢ４６）。
【０１４５】
車載装置２のデータ通信部２８がこの合成画像ＣＰを受信すると（ステップＳＡ４３）、車載装置２の画像出力部２６が合成画像ＣＰを含む表示画像ＤＰをディスプレイ２９に出力して表示させる（ステップＳＡ４４）。
【０１４６】
これにより、可搬性装置３の４つの操作ボタンのいずれも操作されていない場合は、ラベルＣＦ，ＣＬ，ＣＢ，ＣＲが重畳された合成画像ＣＰが車載装置２のディスプレイ２９に表示される。一方、可搬性装置３の４つの操作ボタンのいずれかが操作された場合は、操作された操作ボタンに対応する車載カメラ５の位置の近傍を拡大した合成画像ＣＰが車載装置２のディスプレイ２９に表示される。
【０１４７】
以上のように、第４の実施の形態の画像処理システム１０においては、合成画像ＣＰ中における複数の車載カメラ５それぞれの位置の近傍に、対応する操作ボタンの識別情報となるラベルが重畳された合成画像ＣＰが車載装置２のディスプレイ２９に表示される。このため、ユーザは、いずれの操作ボタンがいずれの車載カメラと対応しているかを明確に把握することができる。
【０１４８】
また、４つの操作ボタンのいずれかがユーザに操作された場合は、合成画像生成部３１ａは、操作された操作ボタンに対応する車載カメラ５の位置の近傍を拡大した合成画像ＣＰを生成し、この合成画像ＣＰが車載装置２のディスプレイ２９に表示される。このため、ユーザは合成画像ＣＰの所望の位置を拡大して確認することができる。
【０１４９】
なお、図１４及び図１５の例では、操作ボタンの識別情報となるラベルＣＦ，ＣＬ，ＣＢ，ＣＲは、車両像９０の周囲に重畳されていた。これに対して、図１７に示すように、ラベルＣＦ，ＣＬ，ＣＢ，ＣＲが、合成画像ＣＰ中の車両像９０に重なるように重畳されるようにしてもよい。このようにすれば、合成画像ＣＰ中において、ラベルＣＦ，ＣＬ，ＣＢ，ＣＲにより車両９の周辺の被写体が隠れないようにすることができる。
【０１５０】
＜５．第５の実施の形態＞
次に、第５の実施の形態について説明する。第５の実施の形態の画像処理システム１０の構成及び処理は第４の実施の形態とほぼ同様であるため、以下、第４の実施の形態との相違点を中心に説明する。第４の実施の形態においては、可搬性装置３の４つの操作ボタンのいずれかが操作された場合は、操作された操作ボタンに対応する車載カメラ５の位置の近傍を拡大した合成画像ＣＰが車載装置２のディスプレイ２９に表示されていた。これに対して、第５の実施の形態においては、可搬性装置３の４つの操作ボタンのいずれかが操作された場合は、操作された操作ボタンに対応する車載カメラ５で得られた撮影画像が車載装置２のディスプレイ２９に表示されるようになっている。
【０１５１】
例えば、図１８に示すように、ユーザが「４」ボタン３５Ｌを操作した場合は、「４」ボタン３５Ｌに対応する左サイドカメラ５Ｌで得られた左サイド画像ＰＬを含む表示画像ＤＰがディスプレイ２９に表示されることになる。したがって、ユーザは、可搬性装置３の操作ボタンを操作することで、所望の車載カメラ５で得られた撮影画像を確認することができる。
【０１５２】
図１９は、第５の実施の形態の画像処理システム１０の処理の流れを示す図である。まず、車載装置２の画像取得部２４が４つの撮影画像ＰＦ，ＰＢ，ＰＬ，ＰＲを取得し（ステップＳＡ５１）、車載装置２のデータ通信部２８が４つの撮影画像ＰＦ，ＰＢ，ＰＬ，ＰＲを可搬性装置３に送信する（ステップＳＡ５２）。
【０１５３】
可搬性装置３のデータ通信部３７は、これらの４つの撮影画像ＰＦ，ＰＢ，ＰＬ，ＰＲを受信する（ステップＳＢ５１）。
【０１５４】
次に、可搬性装置３の４つ操作ボタン３５Ｆ，３６Ｂ，３６Ｌ，３６Ｒのいずれかがユーザに操作されたか否かが判定される。４つの操作ボタンのいずれも操作されていない場合（ステップＳＢ５２にてＮｏ）は、処理はそのままステップＳＢ５４に進む。一方、４つの操作ボタンのいずれかが操作された場合（ステップＳＢ４２にてＹｅｓ）は、データ通信部２８が操作された操作ボタンを特定するボタン情報を車載装置２に送信してから（ステップＳＢ５３）、処理がステップＳＢ５４に進むことになる。
【０１５５】
車載装置２のデータ通信部２８がこのボタン情報を受信すると（ステップＳＡ５３にてＹｅｓ）、表示制御部２３ａが、ボタン情報に基づいて操作された操作ボタンを特定する。そして、表示制御部２３ａは、操作された操作ボタンに対応する車載カメラ５の撮影画像を含む表示画像ＤＰを生成する。この際、既に合成画像ＣＰが表示されている場合は、当該合成画像と、操作された操作ボタンに対応する車載カメラ５の撮影画像とを含む表示画像ＤＰを生成する。
【０１５６】
そして、表示制御部２３ａは、画像出力部２６を制御して、この表示画像ＤＰをディスプレイ２９に出力させる。これにより、操作された操作ボタンに対応する車載カメラ５の撮影画像を含む表示画像ＤＰがディスプレイ２９に表示される（ステップＳＡ５４）。
【０１５７】
また、ステップＳＢ５４においては、可搬性装置３の合成画像生成部３１ａが、適位置にラベルＣＦ，ＣＬ，ＣＢ，ＣＲを重畳した合成画像ＣＰを生成する。次に、可搬性装置３のディスプレイ３６が、生成された合成画像ＣＰを表示する（ステップＳＢ５５）。これとともに、可搬性装置３のデータ通信部３７が、生成された合成画像ＣＰを車載装置２に送信する（ステップＳＢ５６）。
【０１５８】
車載装置２のデータ通信部２８がこの合成画像ＣＰを受信すると（ステップＳＡ５５）、車載装置２の画像出力部２６が合成画像ＣＰを含む表示画像ＤＰをディスプレイ２９に出力して表示させる（ステップＳＡ５６）。
【０１５９】
以上のように、第５の実施の形態の画像処理システム１０においては、４つの操作ボタンのいずれかがユーザに操作された場合は、操作された操作ボタンを特定するボタン情報が可搬性装置３から車載装置２に送信される。そして、車載装置２では、このボタン情報に基づいて、操作された操作ボタンに対応する車載カメラ５で得られた撮影画像がディスプレイ２９に表示される。したがって、ユーザは所望の撮影画像を確認することができる。
【０１６０】
なお、本実施の形態においても、図１７に示すように、ラベルＣＦ，ＣＬ，ＣＢ，ＣＲが、合成画像ＣＰ中の車両像９０に重なるように重畳されてもよい。
【０１６１】
＜６．第６の実施の形態＞
次に、第６の実施の形態について説明する。第１の実施の形態の画像処理システム１０では、ユーザが所持する可搬性装置３において合成画像が生成されていた。これに対して、第６の実施の形態の画像処理システムでは、可搬性装置３に替えてネットワーク上のサーバ装置において合成画像が生成されるようになっている。以下、第１の実施の形態との相違点を中心に説明する。
【０１６２】
図２０は、第６の実施の形態の画像処理システム１１の概要を示す図である。画像処理システム１１は、車両９に搭載される車載装置２と、車載装置２とは別個に構成されるサーバ装置４とを備えている。車両９とサーバ装置４とは、インターネットなどのネットワーク８を介して相互にデータを送受信することが可能となっている。サーバ装置４は、画像処理機能を有しており、画像処理装置として機能する。このサーバ装置４が備える画像処理機能の一つとして、仮想視点からみた合成画像を生成する機能がある。
【０１６３】
図２１は、第６の実施の形態の車載装置２の構成を示す図である。第６の実施の形態の車載装置２は、図２に示すものとほぼ同様の構成であるが、データ通信部２８に替えてデータ通信部２８ａを備えている。このデータ通信部２８ａは、無線通信を利用したネットワーク８への接続機能を有している。これにより、データ通信部２８ａは、ネットワーク８に接続されたサーバ装置４との間でデータの送受信を行うことが可能である。なお、データ通信部２８ａが、ユーザが所持する携帯電話等の他の通信装置を中継器として利用して、ネットワーク８に接続されたサーバ装置４との間でデータの送受信を行うことが可能となっていてもよい。
【０１６４】
図２２は、サーバ装置４の構成を示す図である。サーバ装置４は、制御部４１と、データ通信部４２と、記憶部４３とを備えている。
【０１６５】
データ通信部４２は、ネットワーク８に接続され、ネットワーク８への接続機能を有する他の通信装置との間でデータ通信を行う。これにより、データ通信部４２は、車載装置２との間でデータの送受信を行うことが可能である。
【０１６６】
記憶部４３は、ハードディスクなどの不揮発性の記憶装置であり、各種の情報を記憶する。記憶部３８は、複数の車両像９０、及び、プログラム４４を記憶している。
【０１６７】
また、制御部４１は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えたコンピュータである。記憶部４３に記憶されたプログラム４４に従ってＣＰＵが演算処理を行うことで、制御部４１の各種の機能が実現される。
【０１６８】
図中に示す合成画像生成部４１ａは、プログラム４４に従ってＣＰＵが演算処理を行うことで実現される制御部４１の機能の一つである。この合成画像生成部４１ａは、第１の実施の形態の合成画像生成部３１ａと同様の手法によって、４つの撮影画像に基づいて仮想視点からみた車両９の周辺の領域を示す合成画像を生成する。
【０１６９】
図２３は、第６の実施の形態の画像処理システム１１の処理の流れを示す図である。図中の左側は車載装置２の処理の流れを示しており、図中の右側はサーバ装置４の処理の流れを示している。車載装置２の処理の流れは、第１の実施の形態（図６）とほぼ同様である。サーバ装置４では、制御部４１の制御により、車載装置２からの信号に応答して図２３に示す処理が実行される。
【０１７０】
まず、車載装置２の画像取得部２４が４つの撮影画像ＰＦ，ＰＢ，ＰＬ，ＰＲを取得する（ステップＳＡ６１）。次に、車載装置２のデータ通信部２８ａが４つの撮影画像ＰＦ，ＰＢ，ＰＬ，ＰＲ、車両情報２５ａ、及び、サイズ情報をサーバ装置４に送信する（ステップＳＡ６２）。
【０１７１】
サーバ装置４のデータ通信部４２は、これらの４つの撮影画像ＰＦ，ＰＢ，ＰＬ，ＰＲ、車両情報２５ａ、及び、サイズ情報を受信する（ステップＳＣ１１）。この受信に応答して、サーバ装置４の合成画像生成部４１ａは、４つの撮影画像を用いて、仮想視点からみた車両９の周辺の領域を示す合成画像ＣＰを生成する（ステップＳＣ１２）。
【０１７２】
合成画像生成部４１ａは、この合成画像ＣＰを生成する際に、車載装置２から送信された車両情報２５ａに基づいて車両９の種別に応じた車両像９０を記憶部４３から読み出し、この車両像９０を合成画像ＣＰに含める。また、合成画像生成部４１ａは、車載装置２から送信されたサイズ情報に基づいて、サイズ情報で指定するサイズの合成画像ＣＰを生成する。
【０１７３】
次に、サーバ装置４のデータ通信部４２が、生成された合成画像ＣＰを車載装置２に送信する（ステップＳＣ１３）。
【０１７４】
車載装置２のデータ通信部２８ａがこの合成画像ＣＰを受信すると（ステップＳＡ６３）、車載装置２の画像出力部２６が合成画像ＣＰを含む表示画像ＤＰをディスプレイ２９に出力して表示させる（ステップＳＡ６４）。
【０１７５】
以上のように、第６の実施の形態の画像処理システム１１では、ネットワーク８上のサーバ装置４において合成画像が生成される。このため、本実施の形態の画像処理システム１１においても、車載装置２が合成画像ＣＰを生成する機能を備えなくとも、合成画像ＣＰをディスプレイ２９に表示させることができる。したがって、比較的コストの低い車載装置を用いた場合であっても、合成画像ＣＰをディスプレイ２９に表示させることができる。また、ユーザは、合成画像ＣＰの生成機能を備えた可搬性装置等を導入する必要も無いため、合成画像ＣＰの表示機能を容易に追加することができる。
【０１７６】
なお、本実施の形態では、第１の実施の形態の可搬性装置３に替えてサーバ装置４を用いる場合について説明したが、第２または第３の実施の形態の可搬性装置３に替えてサーバ装置４を用いるようにしてもよい。
【０１７７】
＜７．第７の実施の形態＞
次に、第７の実施の形態について説明する。一般に、サーバ装置は、可搬性装置等と比較して大容量の記憶装置を有している。このため、このように比較的大容量の記憶装置を有するサーバ装置に合成画像を生成させる場合においては、合成画像と他の画像とを組み合わせることも可能である。
【０１７８】
第７の実施の形態においては、サーバ装置４において航空写真の画像（以下、「航空画像」という。）が予め記憶されており、この航空画像と合成画像とを組み合わせた結合画像が生成されるようになっている。第７の実施の形態の画像処理システム１１の構成及び処理は第６の実施の形態とほぼ同様であるため、以下、第６の実施の形態との相違点を中心に説明する。
【０１７９】
図２４は、第７の実施の形態の車載装置２の構成を示す図である。第７の実施の形態の車載装置２は、図２１に示す第６の実施の形態の車載装置２の構成に加えて、位置取得部２０を備えている。位置取得部２０は、複数のＧＰＳ衛星からの信号を受信して、車両９の位置を示す位置情報（緯度経度）を取得する。
【０１８０】
図２５は、第７の実施の形態のサーバ装置４の構成を示す図である。第７の実施の形態のサーバ装置４においては、記憶部４３が、車両像９０及びプログラム４４の他に、航空画像データベース４５を記憶している。航空画像データベース４５には、上空から地表の様子を撮影した多数の航空画像がそれぞれの位置を示す位置情報（緯度経度）と関連付けて記憶されている。
【０１８１】
また、サーバ装置４は、プログラム４４に従ってＣＰＵが演算処理を行うことで実現される制御部４１の機能として、合成画像生成部４１ａの他に、画像結合部４１ｂを備えている。画像結合部４１ｂは、航空画像と合成画像生成部４１ａが生成した合成画像とを結合して、航空画像と合成画像とを含む結合画像を生成する。
【０１８２】
図２６は、第６の実施の形態の画像処理システム１１の処理の流れを示す図である。まず、車載装置２の画像取得部２４が４つの撮影画像ＰＦ，ＰＢ，ＰＬ，ＰＲを取得する（ステップＳＡ７１）。次に、車載装置２の位置取得部２０が、その時点における車両９の位置を示す位置情報を取得する（ステップＳＡ７２）。
【０１８３】
次に、車載装置２のデータ通信部２８ａが４つの撮影画像ＰＦ，ＰＢ，ＰＬ，ＰＲをサーバ装置４に送信する（ステップＳＡ７３）。また、この際、データ通信部２８ａは、これら４つの撮影画像ＰＦ，ＰＢ，ＰＬ，ＰＲとともに、位置情報をサーバ装置４に送信する。
【０１８４】
サーバ装置４のデータ通信部４２は、４つの撮影画像ＰＦ，ＰＢ，ＰＬ，ＰＲとともに位置情報を受信する（ステップＳＣ２１）。この受信に応答して、サーバ装置４の合成画像生成部４１ａは、４つの撮影画像を用いて、仮想視点からみた車両９の周辺の領域を示す合成画像ＣＰを生成する（ステップＳＣ２２）。
【０１８５】
次に、画像結合部４１ｂが、車載装置２から受信した位置情報に基づいて、この位置情報が示す位置（すなわち、車両９の位置）を中心とした航空画像を、航空画像データベース４５から取得する（ステップＳＣ２３）。これにより、車両９の周辺を示す航空画像が取得される。
【０１８６】
そして、画像結合部４１ｂは、この航空画像の中央部分に合成画像ＣＰを重畳することにより、航空画像と合成画像ＣＰとを含む結合画像を生成する（ステップＳＣ２４）。この際、画像結合部４１ｂは、航空画像の縮尺に合うように合成画像ＣＰのサイズを調整する。
【０１８７】
図２７は、このようにして生成された結合画像ＯＰの一例を示す図である。結合画像ＯＰは、その中央部分が合成画像ＣＰとなっており、その合成画像ＣＰの外側部分が航空画像ＡＰとなっている。ユーザは、このような結合画像ＯＰを視認することで、車両９の近傍の物体の情報とともに、車両９の周辺の比較的広い範囲の地表の情報も得ることができる。例えば、車両９が駐車場に存在する場合は、ユーザは、結合画像ＯＰに基づいて、駐車場の出口、駐車場で定められた進行方向、駐車場の全体形状などを把握することができる。
【０１８８】
次に、サーバ装置４のデータ通信部４２が、合成画像ＣＰと航空画像ＡＰとを含む結合画像ＯＰを車載装置２に送信する（図２６のステップＳＣ２５）。
【０１８９】
車載装置２のデータ通信部２８ａがこの結合画像ＯＰを受信すると（ステップＳＡ７４）、表示制御部２３ａが、受信した結合画像ＯＰを含む表示画像ＤＰを生成する。そして、画像出力部２６が、生成された表示画像ＤＰをディスプレイ２９に出力する。これにより、結合画像ＯＰを含む表示画像ＤＰがディスプレイ２９に表示される（ステップＳＡ７５）。
【０１９０】
図２８の上部は、このようにして表示された結合画像ＯＰを含む表示画像ＤＰの例を示す図である。図に示すように、表示画像ＤＰには、縮尺を変更するための２つのコマンドボタンＢ１，Ｂ２が含まれている。ユーザは、ディスプレイ２９の表示画面に表示されたこれら２つのコマンドボタンＢ１，Ｂ２に触れることで、結合画像ＯＰ中の航空画像ＡＰの縮尺を変更できるようになっている。
【０１９１】
例えば、詳細ボタンＢ１に触れた場合は、図２８の下部に示すように、航空画像ＡＰが示す地表の様子が拡大され、航空画像ＡＰに含まれる地表の範囲は狭くなる。一方、広域ボタンＢ２に触れた場合は、航空画像ＡＰが示す地表の様子が縮小され、航空画像ＡＰに含まれる地表の範囲は広くなる。また、このように航空画像ＡＰの縮尺が変更されると、航空画像ＡＰの縮尺に合わせて合成画像ＣＰのサイズ（縮尺）も調整される。このように、ユーザは、航空画像ＡＰの縮尺を所望に変更できるため、必要な地表の範囲を含む航空画像ＡＰをディスプレイ２９に表示させることができる。
【０１９２】
図２９は、このような縮尺の変更指示に対応する画像処理システム１１の処理の流れを示す図である。車載装置２では、制御部２３の制御により、図２６に示す処理とは独立して、図２９に示す処理が所定の周期で繰り返し実行される。また、サーバ装置４では、制御部４１の制御により、車載装置２からの信号に応答して図２９に示す処理が実行される。
【０１９３】
まず、車載装置２の制御部２３が、ユーザから航空画像ＡＰの縮尺の変更指示がなされたか否かを判断する（ステップＳＡ８１）。すなわち、制御部２３が、操作部２２に含まれるタッチパネルからの信号に基づいて、ユーザが２つのコマンドボタンＢ１，Ｂ２のいずれかに触れたか否かを判断する。航空画像ＡＰの縮尺の変更指示が無い場合は（ステップＳＡ８１にてＮｏ）、そのまま処理が終了する。
【０１９４】
航空画像ＡＰの縮尺の変更指示があった場合は（ステップＳＡ８１にてＹｅｓ）、車載装置２のデータ通信部２８ａが、航空画像ＡＰの縮尺の変更を指示する縮尺情報をサーバ装置４に送信する（ステップＳＡ８２）。触れられたコマンドボタンが詳細ボタンＢ１の場合は地表の様子の拡大を指示する縮尺情報が送信され、触れられたコマンドボタンが広域ボタンＢ２の場合は地表の様子の縮小を指示する縮尺情報が送信される。
【０１９５】
サーバ装置４のデータ通信部４２は、この縮尺情報を受信する（ステップＳＣ３１）。この縮尺情報の受信に応答して、サーバ装置４の画像結合部４１ｂは、縮尺情報に応じて航空画像ＡＰの縮尺を変更する（ステップＳＣ３２）。以降、画像結合部４１ｂは、縮尺情報に応じた縮尺の航空画像ＡＰを含む結合画像ＯＰを生成することになる。
【０１９６】
以上のように、第６の実施の形態の画像処理システム１１では、サーバ装置４の記憶部２５が地表の様子を示す航空画像を記憶しており、画像結合部４１ｂが、車両９の位置を示す位置情報に基づいて、車両９の周辺を示す航空画像と合成画像とを含む結合画像を生成する。そして、車載装置２がこの結合画像ＯＰをディスプレイ２９に表示する。このような結合画像ＯＰがディスプレイ２９に表示されるため、ユーザは車両９の近傍の物体の情報とともに、車両９の周辺の比較的広い範囲の地表の情報も得ることができる。
【０１９７】
また、車載装置２から送信される縮尺情報に応じた縮尺の航空画像ＡＰが生成されるため、ユーザが必要となる縮尺の航空画像ＡＰをディスプレイ２９に表示させることができる。
【０１９８】
なお、本実施の形態では、サーバ装置４が航空画像を記憶しているものとして説明したが、可搬性装置３に航空画像を記憶させ、可搬性装置３が合成画像と航空画像とを含む結合画像を生成するようにしてもよい。
【０１９９】
＜８．変形例＞
以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態に限定されるものではなく様々な変形が可能である。以下では、このような変形例について説明する。上記実施の形態及び以下で説明する形態を含む全ての形態は、適宜に組み合わせ可能である。
【０２００】
上記実施の形態では、車両で用いられる車両用装置として車載装置２を例に説明を行ったが、車両用装置が携帯電話やスマートフォンなどの可搬性の通信装置として構成されていてもよい。
【０２０１】
また、上記実施の形態では、車両９及び車両９の周辺の領域を俯瞰する合成画像が生成されていたが、任意の仮想視点からみた合成画像を生成するようにしてもよい。
【０２０２】
また、上記実施の形態では、ディスプレイ２９は本体部２１と一体化されていたが、ディスプレイが本体部とは別体として設けられていてもよい。
【０２０３】
また、上記実施の形態では、車載装置２から複数の撮影画像を送信するごとに、車両情報２５ａ及びサイズ情報が画像処理装置（可搬性装置３あるいはサーバ装置４）に送信されていた。これに対して、車載装置２から画像処理装置に対し車両情報２５ａ及びサイズ情報が１回のみ送信され、この車両情報２５ａ及びサイズ情報が車載装置２の識別情報と関連付けられて、画像処理装置に記憶されるようにしてもよい。
【０２０４】
また、第７の実施の形態では、地表の様子を示す地表画像として航空画像が用いられていたが、衛星写真の画像や、イラストで表現される一般的な地図画像などを用いてもよい。
【０２０５】
また、第７の実施の形態では、縮尺情報をサーバ装置４に送信して地表画像（航空画像）に含まれる地表の範囲が変更されていた。これに対して、縮尺情報をサーバ装置４に送信することで、地表画像の縮尺と合成画像の縮尺とが一致するように調整できるようにしてもよい。
【０２０６】
また、上記実施の形態では、プログラムに従ったＣＰＵの演算処理によってソフトウェア的に合成処理を生成する機能を含む各種の機能が実現されると説明したが、これら機能のうちの一部は電気的なハードウェア回路により実現されてもよい。
【符号の説明】
【０２０７】
２ 車載装置
３ 可搬性装置
４ サーバ装置
５ 車載カメラ
９ 車両
３５ 操作部
１０ 画像処理システム
１１ 画像処理システム
９０ 車両像
ＡＰ 航空画像
ＣＰ 合成画像
ＤＰ 表示画像
ＯＰ 結合画像
【技術分野】
【０００１】
本発明は、車両に搭載されたカメラで得られた画像を処理する技術に関する。
【背景技術】
【０００２】
従来より、自動車などの車両に搭載されたカメラで得られた撮影画像を用いて、車両の周辺の領域を示す画像をディスプレイに表示する車載装置が知られている。このような車載装置を利用することにより、ユーザ（代表的にはドライバ）は、車両の周辺の様子を把握することができる。
【０００３】
例えば、車両の後方を示す画像を表示する車載装置であるバックモニタ装置を利用すれば、ユーザは車両を後退させる場合に、車両の後方に存在する物体を把握しやすい。このため、ユーザは、車両と物体との接触を回避しつつ、車両を安全に後退させることができる。
【０００４】
また、近年では、車両の周辺の異なる方向を撮影する複数のカメラでそれぞれ得られた複数の撮影画像を用いて仮想視点からみた合成画像を生成し、その合成画像を表示する車載装置も提案されている（例えば、特許文献１参照。）。ユーザは、このような合成画像を確認することで、車両の近傍に存在する物体の位置を直感的に把握することができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第３２８６３０６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記のような合成画像を生成するためには複雑かつ多大な演算処理が必要となるため、車載装置は、演算能力の高い高性能な集積回路を備える必要がある。このため、ユーザがこのような合成画像の表示機能を所望する場合、比較的コストの高い車載装置の導入が必要となるため、コストの低減が求められていた。
【０００７】
本発明は、上記課題に鑑みてなされたものであり、比較的コストの低い車両用装置を用いて合成画像を表示させることができる技術を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するため、請求項１の発明は、画像処理システムであって、車両で用いられる車両用装置と、前記車両用装置とは別個に構成される画像処理装置と、を備え、前記車両用装置は、前記車両に搭載された複数のカメラでそれぞれ得られた複数の撮影画像を取得する取得手段と、前記複数の撮影画像を前記画像処理装置に送信する第１送信手段と、前記複数の撮影画像に基づいて前記画像処理装置で生成された、仮想視点からみた前記車両の周辺の領域を示す合成画像を受信する第１受信手段と、前記合成画像を表示装置に出力して表示させる出力手段と、を備え、前記画像処理装置は、前記車両用装置から送信された前記複数の撮影画像を受信する第２受信手段と、前記複数の撮影画像に基づいて前記合成画像を生成する生成手段と、前記合成画像を前記車両用装置に送信する第２送信手段と、を備えている。
【０００９】
また、請求項２の発明は、請求項１に記載の画像処理システムにおいて、前記出力手段は、前記第１送信手段が前記複数の撮影画像を送信してから該複数の撮影画像に基づく前記合成画像を前記第１受信手段が受信するまでの期間、該複数の撮影画像の少なくとも一つを前記表示装置に出力して表示させる。
【００１０】
また、請求項３の発明は、請求項１または２に記載の画像処理システムにおいて、前記取得手段は、前記複数の撮影画像のそれぞれを周期的に取得するものであり、前記車両用装置は、前記複数の撮影画像のうち、含まれる被写体が時間的に変化した変化画像を特定する特定手段、をさらに備え、前記変化画像がある場合は、前記第１送信手段は、前記複数の撮影画像のうちの前記変化画像のみを送信し、前記生成手段は、過去に前記合成画像の生成に用いた前記複数の撮影画像のうち、前記変化画像に対応する前記撮影画像のみを前記変化画像に替えて、新たな前記合成画像を生成する。
【００１１】
また、請求項４の発明は、請求項３に記載の画像処理システムにおいて、前記変化画像がある場合は、前記出力手段は、前記変化画像に基づく前記合成画像を出力する前に、前記変化画像を前記表示装置に出力して表示させる。
【００１２】
また、請求項５の発明は、請求項４に記載の画像処理システムにおいて、前記車両用装置は、前記変化画像がある場合に、ユーザに警告する警告手段、をさらに備えている。
【００１３】
また、請求項６の発明は、請求項１ないし５のいずれかに記載の画像処理システムにおいて、前記第１送信手段は、前記合成画像のサイズを指定するサイズ情報を前記画像処理装置に送信し、前記生成手段は、前記サイズ情報で指定するサイズの前記合成画像を生成する。
【００１４】
また、請求項７の発明は、請求項１ないし６のいずれかに記載の画像処理システムにおいて、前記画像処理装置は、複数の種別の車両像を記憶する記憶手段、をさらに備え、前記第１送信手段は、前記車両の種別を前記画像処理装置に送信し、前記生成手段は、前記車両の種別に応じた車両像を前記合成画像に含める。
【００１５】
また、請求項８の発明は、請求項１ないし６のいずれかに記載の画像処理システムにおいて、前記画像処理装置は、地表の様子を示す地表画像を記憶する記憶手段と、前記車両の位置を示す位置情報に基づいて、前記車両の周辺を示す前記地表画像と前記合成画像とを含む結合画像を生成する結合手段と、をさらに備え、前記第１送信手段は、前記位置情報を前記画像処理装置に送信し、前記第２送信手段は、前記結合画像を前記車両用装置に送信し、前記出力手段は、前記結合画像を前記表示装置に出力して表示させる。
【００１６】
また、請求項９の発明は、請求項８に記載の画像処理システムにおいて、前記第１送信手段は、前記地表画像の縮尺に係る縮尺情報を前記画像処理装置に送信し、前記結合手段は、前記縮尺情報に応じた縮尺の前記地表画像を含む前記結合画像を生成する。
【００１７】
また、請求項１０の発明は、請求項１に記載の画像処理システムにおいて、前記画像処理装置は、前記複数のカメラをそれぞれ指定するための複数のボタン、をさらに備え、前記出力手段は、前記合成画像中における前記複数のカメラそれぞれの位置の近傍に当該カメラが対応する前記ボタンの識別情報を重畳した前記合成画像を前記表示装置に出力して表示させる。
【００１８】
また、請求項１１の発明は、請求項１０に記載の画像処理システムにおいて、前記生成手段は、前記複数のボタンのいずれかがユーザに操作された場合は、操作された前記ボタンに対応する前記カメラの位置の近傍を拡大した前記合成画像を生成する。
【００１９】
また、請求項１２の発明は、請求項１０に記載の画像処理システムにおいて、前記第２送信手段は、前記複数のボタンのいずれかがユーザに操作された場合は、操作された前記ボタンを特定するボタン情報を前記車両用装置に送信し、前記出力手段は、前記ボタン情報に基づいて、操作された前記ボタンに対応する前記カメラで得られた前記撮影画像を前記表示装置に出力して表示させる。
【００２０】
また、請求項１３の発明は、請求項１０ないし１２のいずれかに記載の画像処理システムにおいて、前記合成画像は、車両像を含み、前記ボタンの識別情報は、前記合成画像中の前記車両像に重なるように重畳される。
【００２１】
また、請求項１４の発明は、請求項１０ないし１３のいずれかに記載の画像処理システムにおいて、前記画像処理装置は、前記合成画像中における前記複数のカメラそれぞれの位置の近傍に当該カメラが対応する前記ボタンの識別情報を重畳した前記合成画像を表示する表示手段、をさらに備えている。
【００２２】
また、請求項１５の発明は、請求項１４に記載の画像処理システムにおいて、前記表示手段は、画面の長手方向と、前記合成画像中の車両の像の長手方向とが一致するように前記合成画像を表示する。
【００２３】
また、請求項１６の発明は、車両で用いられる車両用装置であって、前記車両に搭載された複数のカメラでそれぞれ得られた複数の撮影画像を取得する取得手段と、前記複数の撮影画像を、前記車両用装置とは別個に構成される画像処理装置に送信する送信手段と、前記複数の撮影画像に基づいて前記画像処理装置で生成された、仮想視点からみた前記車両の周辺の領域を示す合成画像を受信する受信手段と、前記合成画像を表示装置に出力して表示させる出力手段と、を備えている。
【００２４】
また、請求項１７の発明は、車両で用いられる車両用装置とは別個に構成される画像処理装置であって、前記車両用装置から送信された、前記車両に搭載された複数のカメラでそれぞれ得られた複数の撮影画像を受信する受信手段と、前記複数の撮影画像に基づいて、仮想視点からみた前記車両の周辺の領域を示す合成画像を生成する生成手段と、前記合成画像を前記車両用装置に送信する送信手段と、を備えている。
【００２５】
また、請求項１８の発明は、車両で用いられる車両用装置とは別個に構成される画像処理装置に含まれるコンピュータによって実行可能なプログラムであって、前記プログラムの前記コンピュータによる実行は、前記コンピュータに、（ａ）前記車両用装置から送信された、前記車両に搭載された複数のカメラでそれぞれ得られた複数の撮影画像を受信する工程と、（ｂ）前記複数の撮影画像に基づいて、仮想視点からみた前記車両の周辺の領域を示す合成画像を生成する工程と、（ｃ）前記合成画像を前記車両用装置に送信する工程と、を実行させる。
【００２６】
また、請求項１９の発明は、車両で用いられる車両用装置と、前記車両用装置とは別個に構成される画像処理装置とを用いて画像を表示する画像表示方法であって、（ａ）前記車両用装置が、前記車両に搭載された複数のカメラでそれぞれ得られた複数の撮影画像を取得する工程と、（ｂ）前記複数の撮影画像を前記車両用装置から前記画像処理装置に送信する工程と、（ｃ）前記画像処理装置が、前記複数の撮影画像に基づいて、仮想視点からみた前記車両の周辺の領域を示す合成画像を生成する工程と、（ｄ）前記合成画像を前記画像処理装置から前記車両用装置に送信する工程と、（ｅ）前記車両用装置が、前記合成画像を表示装置に出力して表示させる工程と、を備えている。
【発明の効果】
【００２７】
請求項１ないし１９の発明によれば、車両で用いられる車両用装置が仮想視点からみた合成画像を生成する機能を備えなくとも、合成画像を表示装置に表示させることができる。このため、比較的コストの低い車両用装置を用いて合成画像を表示装置に表示させることができる。
【００２８】
また、特に請求項２の発明によれば、合成画像を受信するまでは複数の撮影画像の少なくとも一つを表示させることから、合成画像の表示前であっても、ユーザは車両の周辺の様子を把握することができる。
【００２９】
また、特に請求項３の発明によれば、変化画像がある場合は、変化画像のみが画像処理装置に送信され、変化画像に対応する撮影画像のみを変化画像に替えて新たな合成画像を生成される。このため、車両用装置から画像処理装置に送信するデータ量を低減しつつ、変化のあった被写体を含む合成画像を生成することができる。
【００３０】
また、特に請求項４の発明によれば、合成画像を出力する前に変化画像を表示装置に表示させることから、合成画像の表示前であっても、ユーザは車両の周辺における変化のあった被写体を確認することができる。
【００３１】
また、特に請求項５の発明によれば、変化画像がある場合にユーザに警告するため、ユーザは車両の周辺において変化のあった被写体が存在することを認識することができる。
【００３２】
また、特に請求項６の発明によれば、画像処理装置においてサイズ情報で指定するサイズの合成画像が生成されるため、車両用装置側の要請に応じたサイズの合成画像を生成できる。
【００３３】
また、特に請求項７の発明によれば、実際の車両の種別に即した車両像を合成画像に含めることができる。
【００３４】
また、特に請求項８の発明によれば、車両の周辺を示す地表画像と合成画像とを含む結合画像が表示されるため、ユーザは車両の近傍の物体の情報とともに、車両の周辺の地表の情報も得ることができる。
【００３５】
また、特に請求項９の発明によれば、車両用装置から送信される縮尺情報に応じた縮尺の地表画像が生成されるため、車両用装置において必要な縮尺の地表画像を表示させることができる。
【００３６】
また、特に請求項１０の発明によれば、合成画像中における複数のカメラそれぞれの位置の近傍に対応するボタンの識別情報が重畳された合成画像が表示装置に表示される。このため、ユーザは、いずれのボタンがいずれのカメラと対応しているかを明確に把握することができる。
【００３７】
また、特に請求項１１の発明によれば、操作されたボタンに対応するカメラの位置の近傍を拡大した合成画像が表示されるため、ユーザは合成画像の所望の位置を拡大して確認することができる。
【００３８】
また、特に請求項１２の発明によれば、操作されたボタンに対応するカメラで得られた撮影画像が表示されるため、ユーザは所望の撮影画像を確認することができる。
【００３９】
また、特に請求項１３の発明によれば、車両の周辺の被写体が、ボタンの識別情報によって隠れないようにすることができる。
【００４０】
また、特に請求項１４の発明によれば、画像処理装置において合成画像中における複数のカメラそれぞれの位置の近傍に対応するボタンの識別情報が重畳された合成画像が表示される。このため、ユーザは、いずれのボタンがいずれのカメラと対応しているかを画像処理装置の表示手段においても把握することができる。
【００４１】
また、特に請求項１５の発明によれば、画面の長手方向と合成画像中の車両の像の長手方向とが一致するように合成画像が表示されるため、車両の像を比較的大きなサイズで表示することができる。
【図面の簡単な説明】
【００４２】
【図１】図１は、第１の実施の形態の画像処理システムの概要を示す図である。
【図２】図２は、第１の実施の形態の車載装置の構成を示す図である。
【図３】図３は、車載カメラが配置される位置を示す図である。
【図４】図４は、第１の実施の形態の可搬性装置の構成を示す図である。
【図５】図５は、合成画像を生成する手法を説明する図である。
【図６】図６は、第１の実施の形態の画像処理システムの処理の流れを示す図である。
【図７】図７は、表示画像の一例を示す図である。
【図８】図８は、第２の実施の形態の画像処理システムの処理の流れを示す図である。
【図９】図９は、表示画像の遷移例を示す図である。
【図１０】図１０は、表示画像の遷移を示す図である。
【図１１】図１１は、第３の実施の形態の車載装置の構成を示す図である。
【図１２】図１２は、表示画像の遷移例を示す図である。
【図１３】図１３は、第３の実施の形態の画像処理システムの処理の流れを示す図である。
【図１４】図１４は、可搬性装置の操作部と車載装置の表示内容との関係を示す図である。
【図１５】図１５は、表示画像の遷移例を示す図である。
【図１６】図１６は、第４の実施の形態の画像処理システムの処理の流れを示す図である。
【図１７】図１７は、表示画像の一例を示す図である。
【図１８】図１８は、表示画像の遷移例を示す図である。
【図１９】図１９は、第５の実施の形態の画像処理システムの処理の流れを示す図である。
【図２０】図２０は、第６の実施の形態の画像処理システムの概要を示す図である。
【図２１】図２１は、第６の実施の形態の車載装置の構成を示す図である。
【図２２】図２２は、第６の実施の形態のサーバ装置の構成を示す図である。
【図２３】図２３は、第６の実施の形態の画像処理システムの処理の流れを示す図である。
【図２４】図２４は、第７の実施の形態の車載装置の構成を示す図である。
【図２５】図２５は、第７の実施の形態のサーバ装置の構成を示す図である。
【図２６】図２６は、第６の実施の形態の画像処理システムの処理の流れを示す図である。
【図２７】図２７は、結合画像の一例を示す図である。
【図２８】図２８は、表示画像の遷移を示す図である。
【図２９】図２９は、縮尺を変更するための画像処理システムの処理の流れを示す図である。
【発明を実施するための形態】
【００４３】
以下、図面を参照しつつ本発明の実施の形態について説明する。
【００４４】
＜１．第１の実施の形態＞
＜１−１．システムの概要＞
図１は、第１の実施の形態の画像処理システム１０の概要を示す図である。画像処理システム１０は、自動車などの車両９に搭載される車載装置２と、車載装置２とは別個に構成される可搬性装置３とを備えている。
【００４５】
車載装置２及び可搬性装置３の双方は、Bluetooth（登録商標）などの所定の通信方式に準拠した無線通信機能を有している。したがって、車載装置２と可搬性装置３とは、無線通信によって相互にデータを送受信することが可能となっている。なお、車載装置２と可搬性装置３とを通信ケーブルで物理的に接続し、車載装置２と可搬性装置３とが有線通信によって相互にデータを送受信可能となっていてもよい。
【００４６】
車載装置２は、車両９で用いられる車両用装置であり、車両９の周辺を撮影する複数の車載カメラ５と、ディスプレイ２９とを備えている。車載装置２は、複数の車載カメラ５で得られた撮影画像に基づく画像を、車両９の車室内のディスプレイ２９に表示する機能を有している。
【００４７】
また、可搬性装置３は、例えば、携帯電話やスマートフォンなど、車両９に乗車したユーザが所持する携帯型の装置である。可搬性装置３は、通話機能とともに画像処理機能を有しており、画像処理装置として機能する。この可搬性装置３が備える画像処理機能の一つとして、仮想視点からみた合成画像を生成する機能がある。
【００４８】
画像処理システム１０では、このように可搬性装置３が合成画像を生成する機能を備えるため、車載装置２が合成画像を生成する機能を備えていなくとも、合成画像を車載装置２のディスプレイ２９に表示できるようになっている。車載装置２は、複数の車載カメラ５でそれぞれ得られた複数の撮影画像を可搬性装置３に送信する。可搬性装置３は、これら複数の撮影画像に基づいて仮想視点からみた合成画像を生成する。そして、可搬性装置３は生成した合成画像を車載装置２に返信し、車載装置２がこの合成画像をディスプレイ２９に表示する。以下、このような画像処理システム１０の構成及び処理について詳細に説明する。
【００４９】
＜１−２．車載装置の構成＞
まず、車載装置２の構成について説明する。図２は、車載装置２の構成を示す図である。車載装置２は、前述した複数の車載カメラ５及びディスプレイ２９とともに、本体部２１と操作部２２とを備えている。
【００５０】
ディスプレイ２９は、例えば、液晶パネルなどを備えた薄型の表示装置である。ディスプレイ２９は、本体部２１と一体化されており、本体部２１から出力される表示画像を表示する。ディスプレイ２９は、その表示画面がユーザから視認可能なように、車室内のインストルメントパネルなどに配置される。
【００５１】
複数の車載カメラ５はそれぞれ、レンズと撮像素子とを備えており、車両９の周辺を示す撮影画像を電子的に取得する。各車載カメラ５Ｆ，５Ｂ，５Ｌ，５Ｒは、所定の周期（例えば、１／３０秒）で周期的に撮影を行う。
【００５２】
複数の車載カメラ５はそれぞれ、本体部２１とは別に車両９の適位置に配置され、取得した撮影画像を本体部２１に入力する。複数の車載カメラ５は、フロントカメラ５Ｆ、バックカメラ５Ｂ、左サイドカメラ５Ｌ、及び、右サイドカメラ５Ｒを含んでいる。これら４つの車載カメラ５Ｆ，５Ｂ，５Ｌ，５Ｒは、車両９の異なる位置に配置され、車両９の周辺の異なる方向を撮影する。
【００５３】
図３は、車載カメラ５Ｆ，５Ｂ，５Ｌ，５Ｒが車両９に配置される位置を示す図である。フロントカメラ５Ｆは、車両９の前端の左右中央の近傍に設けられ、その光軸５Ｆａは車両９の前方（直進方向）に向けられている。バックカメラ５Ｂは、車両９の後端の左右中央の近傍に設けられ、その光軸５Ｂａは車両９の後方（直進方向の逆方向）に向けられている。左サイドカメラ５Ｌは車両９の左側のサイドミラー９３Ｌに設けられ、その光軸５Ｌａは車両９の左側方（直進方向の直交方向）に向けられている。また、右サイドカメラ５Ｒは車両９の右側のサイドミラー９３Ｒに設けられ、その光軸５Ｒａは車両９の右側方（直進方向の直交方向）に向けられている。
【００５４】
これらの車載カメラ５Ｆ，５Ｂ，５Ｌ，５Ｒのレンズには魚眼レンズなどが採用され、各車載カメラ５Ｆ，５Ｂ，５Ｌ，５Ｒは１８０度以上の画角θを有している。このため、４つの車載カメラ５Ｆ，５Ｂ，５Ｌ，５Ｒを利用することで、車両９の全周囲を撮影することが可能となっている。
【００５５】
図１に戻り、操作部２２は、ユーザが直接的に操作可能な部材であり、タッチパネル及び操作ボタンを含んでいる。タッチパネルはディスプレイ２９の表示画面に重ねて設けられ、操作ボタンはディスプレイ２９の表示画面の周囲に設けられる。ユーザが操作部２２を操作した場合は、その操作内容を示す信号が本体部２１に入力される。
【００５６】
また、本体部２１は、制御部２３と、画像取得部２４と、記憶部２５と、画像出力部２６と、スピーカ２７と、データ通信部２８とを備えている。
【００５７】
画像取得部２４は、４つの車載カメラ５Ｆ，５Ｂ，５Ｌ，５Ｒでそれぞれ得られた撮影画像を取得する。したがって、画像取得部２４は、車両９の前方、後方、左側方及び右側方をそれぞれ示す４つの撮影画像を取得する。画像取得部２４は、これら４つの撮影画像のそれぞれを所定の周期（例えば、１／３０秒）で周期的に取得する。
【００５８】
記憶部２５は、例えば、フラッシュメモリなどの不揮発性メモリであり、各種の情報を記憶する。記憶部２５は、車両情報２５ａ及びプログラム２５ｂを記憶している。車両情報２５ａは、車載装置２が搭載される車両９の種別を特定する情報である。車両９の種別には、モデル（車種）、及び、ボディカラーなどが含まれる。
【００５９】
画像出力部２６は、表示すべき表示画像を、ディスプレイ２９に出力して表示させる。このような表示画像には、必要に応じて撮影画像や合成画像が含まれる。
【００６０】
スピーカ２７は、制御部２３からの電気信号に基づいて、動作音や警告音など各種の音を出力する。
【００６１】
データ通信部２８は、無線通信によって外部の通信装置と通信する。データ通信部２８は、可搬性装置３との間でデータの送受信を行うことが可能である。データ通信部２８は、複数の撮影画像を可搬性装置３に送信するとともに、合成画像を可搬性装置３から受信する。
【００６２】
また、制御部２３は、車載装置２の全体を統括的に制御するマイクロコンピュータである。制御部２３は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えており、記憶部２５に記憶されたプログラム２５ｂに従ってＣＰＵが演算処理を行うことで、各種の制御機能が実現される。
【００６３】
図中に示す表示制御部２３ａは、プログラム２５ｂに従ってＣＰＵが演算処理を行うことで実現される制御部２３の機能の一つである。
【００６４】
表示制御部２３ａは、ディスプレイ２９の表示に係る各種の制御を行う。表示制御部２３ａは、例えば、撮影画像や合成画像を利用してディスプレイ２９に表示すべき表示画像を、その時点の動作モードに応じて生成する。
【００６５】
車載装置２は、動作モードとして、車載カメラ５で得られた撮影画像を主に表示する通常モードと、仮想視点からみた合成画像を主に表示する全周囲モードとを備えている。車載装置２は、起動時には通常モードとなっているが、可搬性装置３との間で通信が確立し、かつ、ユーザの指示がある場合は全周囲モードに移行する。
【００６６】
通常モードでは、表示制御部２３ａは、ユーザから選択されたいずれかの車載カメラ５で得られた撮影画像を含む表示画像を生成する。そして、表示制御部２３ａは、画像出力部２６を制御して、この表示画像をディスプレイ２９に出力させる。これにより、撮影画像を含む表示画像がディスプレイ２９に表示される。
【００６７】
一方、全周囲モードでは、表示制御部２３ａは、データ通信部２８を制御して、４つの撮影画像を可搬性装置３に送信させる。そして、表示制御部２３ａは、データ通信部２８を制御して、可搬性装置３で生成された合成画像を受信させる。そして、表示制御部２３ａは、この合成画像を含む表示画像を生成し、画像出力部２６を制御して表示画像をディスプレイ２９に出力させる。これにより、仮想視点からみた合成画像を含む表示画像がディスプレイ２９に表示される。
【００６８】
＜１−３．可搬性装置の構成＞
次に、可搬性装置３の構成について説明する。図４は、可搬性装置３の構成を示す図である。可搬性装置３は、制御部３１と、マイク３２と、スピーカ３３と、音声通信部３４と、操作部３５と、ディスプレイ３６と、データ通信部３７と、記憶部３８とを備えている。
【００６９】
マイク３２は、周辺の音を電気信号に変換する。マイク３２は、例えば、通話中のユーザが発した音声を電気信号に変換する。スピーカ３３は、電気信号に基づいて各種の音を出力する。スピーカ３３は、例えば、通話相手が発した音声を出力する。音声通信部３４は、通話にかかる音声の電気信号を、基地局との間で送受信する。これらマイク３２、スピーカ３３及び音声通信部３４により、可搬性装置３の通話機能が実現される。
【００７０】
操作部３５は、ユーザが直接的に操作可能な部材であり、複数の操作ボタンを含んでいる。ユーザが操作部３５を操作した場合は、その操作内容を示す信号が制御部３１に入力される。
【００７１】
ディスプレイ３６は、例えば、液晶パネルを備えており、制御部３１からの信号に基づいて各種の画像を表示する。
【００７２】
データ通信部３７は、無線通信によって外部の通信装置と通信する。データ通信部３７は、車載装置２との間でデータの送受信を行うことが可能である。データ通信部３７は、複数の撮影画像を車載装置２から受信するとともに、合成画像を車載装置２に送信する。
【００７３】
記憶部３８は、例えば、フラッシュメモリなどの不揮発性メモリであり、各種の情報を記憶する。記憶部３８は、複数の車両像９０、及び、プログラム３９を記憶している。これらの複数の車両像９０はそれぞれ、車両の外観を示す像のデータであり、合成画像を生成する際に利用される。記憶部３８には、様々な車両の種別（モデル及びボディカラー）に対応した車両像９０が予め記憶されている。
【００７４】
また、制御部３１は、可搬性装置３の全体を統括的に制御するマイクロコンピュータである。制御部３１は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えており、記憶部３８に記憶されたプログラム３９に従ってＣＰＵが演算処理を行うことで、各種の制御機能が実現される。
【００７５】
図中に示す合成画像生成部３１ａは、プログラム３９に従ってＣＰＵが演算処理を行うことで実現される制御部３１の機能の一つである。合成画像生成部３１ａは、車載装置２で取得された４つの撮影画像に基づいて、仮想視点からみた車両９の周辺の領域を示す合成画像を生成する。合成画像生成部３１ａは、車載装置２との間で通信が確立し、かつ、ユーザの指示がある場合に有効化される。
【００７６】
図５は、合成画像生成部３１ａが合成画像を生成する手法を説明するための図である。
【００７７】
車載装置２のフロントカメラ５Ｆ、バックカメラ５Ｂ、左サイドカメラ５Ｌ、及び、右サイドカメラ５Ｒのそれぞれで撮影が行われると、車両９の前方、後方、左側方及び右側方をそれぞれ示す４つの撮影画像ＰＦ，ＰＢ，ＰＬ，ＰＲが取得される。これら４つの撮影画像ＰＦ，ＰＢ，ＰＬ，ＰＲには、車両９の全周囲のデータが含まれている。
【００７８】
これら４つの撮影画像ＰＦ，ＰＢ，ＰＬ，ＰＲは、車載装置２から可搬性装置３に送信される。可搬性装置３の合成画像生成部３１ａは、これら４つの撮影画像ＰＦ，ＰＢ，ＰＬ，ＰＲを用いて合成画像ＣＰを生成する。
【００７９】
まず、４つの撮影画像ＰＦ，ＰＢ，ＰＬ，ＰＲのデータ（各画素の値）が、仮想的な三次元空間における立体曲面である投影面ＴＳに投影される。投影面ＴＳは、例えば略半球状（お椀形状）をしている。この投影面ＴＳの中心部分（お椀の底部分）は、車両９が存在する位置として定められている。一方、投影面ＴＳのその他の部分は、撮影画像ＰＦ，ＰＢ，ＰＬ，ＰＲのデータと対応付けられており、対応するデータが投影される。撮影画像ＰＦ，ＰＢ，ＰＬ，ＰＲのデータと投影面ＴＳの位置との対応関係を示す情報は、予め記憶部２５に記憶されている。
【００８０】
投影面ＴＳにおいて車両９の前方に相当する領域は、フロントカメラ５Ｆで得られた撮影画像（以下、「フロント画像」という。）ＰＦのデータが投影される。また、投影面ＴＳにおいて車両９の後方に相当する領域は、バックカメラ５Ｂで得られた撮影画像（以下、「バック画像」という。）ＰＢのデータが投影される。また、投影面ＴＳにおいて車両９の左側方に相当する領域は左サイドカメラ５Ｌで得られた撮影画像（以下、「左サイド画像」という。）ＰＬのデータが投影され、投影面ＴＳにおいて車両９の右側方に相当する領域は右サイドカメラ５Ｒで得られた撮影画像（以下、「右サイド画像」という。）ＰＲのデータが投影される。
【００８１】
このように投影面ＴＳの各部分のデータが決定されると、三次元空間に対して仮想視点ＶＰが設定される。仮想視点ＶＰは、三次元空間における任意の視点位置に任意の視野方向に向けて設定することができる。そして、投影面ＴＳのうち、設定された仮想視点ＶＰからみて所定の視野角に含まれる領域が画像として切り出される。このようにして切り出して得られた画像が、仮想視点ＶＰからみた車両９の周囲の領域を示す合成画像ＣＰとなる。
【００８２】
さらに、このようにして生成された合成画像ＣＰには、車両９が存在する位置に車両像９０が重畳される。合成画像ＣＰに重畳される車両像９０としては、車両９の種別に応じたものが記憶部２５から読み出されて使用される。これにより、合成画像ＣＰに車両像９０が含まれることになる。ユーザは、このような合成画像ＣＰを視認することで、車両９の周辺の被写体の位置を車両９に対する相対位置で把握することができる。
【００８３】
このような処理により、例えば図に示すように、視点位置を車両９の直上、視野方向を直下とした仮想視点ＶＰａを設定した場合には、車両９及び車両９の周辺の領域を俯瞰する合成画像ＣＰａが生成される。また、視点位置を車両９の左後方、視野方向を車両９の前方とした仮想視点ＶＰｂを設定した場合には、車両９の左後方からその周辺全体を見渡すように、車両９及び車両９の周辺の領域を示す合成画像ＣＰｂが生成される。
【００８４】
＜１−４．処理の流れ＞
次に、画像処理システム１０の処理の流れについて説明する。図６は、画像処理システム１０の処理の流れを示す図である。図中の左側は車載装置２の処理の流れを示しており、図中の右側は可搬性装置３の処理の流れを示している。これらの処理は、車載装置２と可搬性装置３との間で通信が確立し、かつ、それぞれの装置に対してユーザが所定の操作を行った場合（全周囲モードの場合）に実行される。車載装置２では、表示制御部２３ａの制御により、図６に示す処理が所定の周期（例えば、１／３０秒）で繰り返し実行される。また、可搬性装置３では、制御部３１の制御により、車載装置２からの信号に応答して図６に示す処理が実行される。
【００８５】
まず、車載装置２の４つの車載カメラ５Ｆ，５Ｂ，５Ｌ，５Ｒのそれぞれが、車両９の周辺を撮影する。そして、本体部２１の画像取得部２４が、４つの車載カメラ５Ｆ，５Ｂ，５Ｌ，５Ｒでそれぞれ得られた４つの撮影画像ＰＦ，ＰＢ，ＰＬ，ＰＲを取得する（ステップＳＡ１１）。
【００８６】
次に、車載装置２のデータ通信部２８が、４つの撮影画像ＰＦ，ＰＢ，ＰＬ，ＰＲを無線通信によって可搬性装置３に送信する（ステップＳＡ１２）。また、データ通信部２８は、これらの撮影画像ＰＦ，ＰＢ，ＰＬ，ＰＲと併せて、車両情報２５ａ、及び、サイズ情報を可搬性装置３に送信する。前述のように車両情報２５ａは、車両９の種別を特定する情報である。一方、サイズ情報は、車載装置２のディスプレイ２９への表示に適した合成画像ＣＰのサイズを縦横の画素数で指定する情報である。
【００８７】
可搬性装置３のデータ通信部３７は、車載装置２から送信されたこれら４つの撮影画像ＰＦ，ＰＢ，ＰＬ，ＰＲ、車両情報２５ａ、及び、サイズ情報を受信する（ステップＳＢ１１）。
【００８８】
可搬性装置３は、これらの情報の受信に応答して合成画像ＣＰを生成する。すなわち、合成画像生成部３１ａが、前述した手法により、４つの撮影画像に基づいて、仮想視点からみた車両９の周辺の領域を示す合成画像ＣＰを生成する（ステップＳＢ１２）。前述のように、仮想視点ＶＰは任意の視点位置及び任意の視野方向に設定できるが、本実施の形態では、視点位置を車両９の直上、視野方向を直下とした仮想視点ＶＰａが設定される。これにより、車両９及び車両９の周辺の領域を俯瞰する合成画像ＣＰが生成される。
【００８９】
また、合成画像生成部３１ａは、この合成画像ＣＰを生成する際に、車載装置２から送信された車両情報２５ａに基づいて車両９の種別に応じた車両像９０を記憶部３８から読み出し、この車両像９０を合成画像ＣＰに含める。これにより、実際の車両９のモデルに即した形状、かつ、実際の車両９のボディカラーに即した色の車両像９０が合成画像ＣＰに含められる。
【００９０】
また、合成画像生成部３１ａは、車載装置２から送信されたサイズ情報に基づいて、サイズ情報で指定するサイズの合成画像ＣＰを生成する。これにより、車載装置２での表示に適したサイズの合成画像ＣＰが生成される。
【００９１】
次に、可搬性装置３のデータ通信部３７は、生成された合成画像ＣＰを無線通信によって車載装置２に送信する（ステップＳＢ１３）。車載装置２のデータ通信部２８は、可搬性装置３から送信されたこの合成画像ＣＰを受信する（ステップＳＡ１３）。
【００９２】
車載装置２は、４つの撮影画像ＰＦ，ＰＢ，ＰＬ，ＰＲを送信した後（ステップＳＡ１２の後）は合成画像ＣＰを受信するまで処理を待機し、合成画像ＣＰの受信（ステップＳＡ１３）に応答して処理を再開する。
【００９３】
具体的には、まず、表示制御部２３ａが、受信した合成画像ＣＰを含む表示画像を生成する。合成画像ＣＰは既に表示に適したサイズに調整されているため、表示制御部２３ａは表示画像を容易に生成することができる。そして、画像出力部２６が、生成された表示画像をディスプレイ２９に出力する。これにより、合成画像ＣＰを含む表示画像がディスプレイ２９に表示される（ステップＳＡ１４）。
【００９４】
図７は、このようにしてディスプレイ２９に表示された表示画像ＤＰの一例を示す図である。図に示すように表示画像ＤＰには、仮想視点からみた車両９の周辺の領域を示す合成画像ＣＰが含まれている。この合成画像ＣＰには、車両９のモデル及びボディカラーに応じた車両像９０が含まれている。前述のように図６に示す処理は所定の周期で繰り返されるため、合成画像ＣＰの内容も所定の周期で更新される。したがって、ユーザはこのような表示画像ＤＰを視認することで、車両９の周辺に存在する物体を把握することができる。
【００９５】
以上のように、画像処理システム１０は、車両９で用いられる車載装置２と、車載装置２とは別個に構成される可搬性装置３とを備えている。車載装置２は、複数の車載カメラ５でそれぞれ得られた複数の撮影画像を可搬性装置３に送信する。可搬性装置３は、これら複数の撮影画像に基づいて仮想視点からみた合成画像ＣＰを生成する。そして、可搬性装置３は生成した合成画像ＣＰを車載装置２に返信し、車載装置２がこの合成画像ＣＰをディスプレイ２９に表示する。したがって、車載装置２が合成画像ＣＰを生成する機能を備えなくとも、合成画像ＣＰをディスプレイ２９に表示させることができる。これにより、比較的コストの低い車載装置を用いた場合であっても、合成画像ＣＰをディスプレイ２９に表示させることができる。
【００９６】
また、ユーザは、合成画像ＣＰの生成機能を備えていない車載装置２を導入した場合であっても、合成画像ＣＰの生成機能を備えた可搬性装置３を導入すれば、合成画像ＣＰの表示機能を事後的に追加することができる。また、可搬性装置３は、プログラムが記憶された所定のサーバ装置や記録媒体から当該プログラムを取得すれば、このような合成画像ＣＰの生成機能を備えることができる。このため、このような合成画像ＣＰの表示機能を容易に追加することができる。
【００９７】
また、車載装置２のデータ通信部２８は、合成画像ＣＰのサイズを指定するサイズ情報を可搬性装置３に送信する。一方で、可搬性装置３の合成画像生成部３１ａはサイズ情報で指定するサイズの合成画像ＣＰを生成する。したがって、可搬性装置３は、車載装置２側の要請に応じたサイズの合成画像ＣＰを生成できる。このため、可搬性装置３は、通信相手となる車載装置が変更されたとしても、通信相手の車載装置のハードに応じた適切なサイズの合成画像ＣＰを生成することができる。
【００９８】
また、車載装置２のデータ通信部２８は、車両９の種別（モデル及びボディカラー）を示す車両情報２５ａを可搬性装置３に送信する。一方で、可搬性装置３の合成画像生成部３１ａは、車両情報２５ａに基づいて、車両９の種別に応じた車両像９０を合成画像ＣＰに含める。したがって、実際の車両９の種別に即した車両像９０を合成画像ＣＰに含めることができ、臨場感のある合成画像ＣＰを生成することができる。
【００９９】
＜２．第２の実施の形態＞
次に、第２の実施の形態について説明する。第１の実施の形態では、車載装置２は撮影画像を送信してから合成画像を受信するまでの期間は処理を待機していた。車載装置２が撮影画像を送信してから合成画像を受信するまでの時間は、車載装置２と可搬性装置３との間の通信速度、及び、可搬性装置３の処理速度に依存する。したがって、これらの速度によっては、車載装置２を全周囲モードに移行させた直後に、しばらくの間、合成画像ＣＰがディスプレイ２９に表示されない状態となる可能性がある。
【０１００】
このため、第２の実施の形態の車載装置２は、撮影画像を送信してから合成画像を受信するまでの期間において、撮影画像をディスプレイ２９に表示させるようにしている。第２の実施の形態の画像処理システム１０の構成及び処理は第１の実施の形態とほぼ同様であるため、以下、第１の実施の形態との相違点を中心に説明する。
【０１０１】
図８は、第２の実施の形態の画像処理システム１０の処理の流れを示す図である。図８におけるステップＳＡ２１，ＳＡ２２，ＳＡ２５，ＳＡ２６の車載装置２の処理は、図６のステップＳＡ１１，ＳＡ１２，ＳＡ１３，ＳＡ１４の処理と同様である。また、図８におけるステップＳＢ２１〜ＳＢ２３の可搬性装置３の処理は、図６のステップＳＢ１１〜ＳＢ１３と同様である。したがって、本実施の形態においても、車載装置２が複数の撮影画像を可搬性装置３に送信し、可搬性装置３が合成画像ＣＰを生成して車載装置２に送信し、車載装置２がその合成画像ＣＰを表示することになる。
【０１０２】
ただし、第２の実施の形態においては、車載装置２が複数の撮影画像を送信してから合成画像を受信するまでの期間（ステップＳＡ２２からステップＳＡ２５までの期間）に、ステップＳＡ２３，ＳＡ２４が実行される。
【０１０３】
まず、ディスプレイ２９に既に合成画像ＣＰが表示されているか否かが判定される（ステップＳＡ２３）。図８の処理が２回目以降である場合は、合成画像ＣＰが既に表示されている。したがって、この場合は（ステップＳＡ２３にてＹｅｓ）、合成画像ＣＰの表示を優先させ、処理はそのままステップＳＡ２５に進む。
【０１０４】
一方、図８の処理が初回である場合、すなわち、全周囲モードに移行させた直後は、合成画像ＣＰがディスプレイ２９に表示されていない。この場合は（ステップＳＡ２３にてＮｏ）、表示制御部２３ａが、可搬性装置３に送信したものと同一の４つの撮影画像ＰＦ，ＰＢ，ＰＬ，ＰＲを含む表示画像ＤＰを生成する。そして、表示制御部２３ａは、画像出力部２６を制御して、この表示画像ＤＰをディスプレイ２９に出力させる。これにより、４つの撮影画像ＰＦ，ＰＢ，ＰＬ，ＰＲを含む表示画像ＤＰがディスプレイ２９に表示される（ステップＳＡ２４）。その後、処理はステップＳＡ２５に進む。
【０１０５】
図９の上部は、ステップＳＡ２４において表示される表示画像ＤＰの例を示している。この表示画像ＤＰには、４つの撮影画像ＰＦ，ＰＢ，ＰＬ，ＰＲが含まれている。その後、車載装置２が合成画像ＣＰを可搬性装置３から受信すると、図９の下部に示すような合成画像ＣＰを含む表示画像ＤＰがディスプレイ２９に表示される。ユーザは、合成画像ＣＰが表示される前であっても、図９の上部に示すような撮影画像ＰＦ，ＰＢ，ＰＬ，ＰＲを含む表示画像ＤＰを視認することで、車両９の周辺の様子を把握できることになる。
【０１０６】
以上のように、第２の実施の形態の画像処理システム１０においては、車載装置２のデータ通信部２８が複数の撮影画像を送信してから該複数の撮影画像に基づく合成画像ＣＰを受信するまでの期間、画像出力部２６が該複数の撮影画像をディスプレイ２９に出力して表示させる。このため、合成画像ＣＰの表示前であっても、ユーザは車両９の周辺の様子を把握できる。
【０１０７】
なお、上記では、車載装置２が撮影画像を送信してから合成画像を受信するまでの期間、４つの撮影画像ＰＦ，ＰＢ，ＰＬ，ＰＲの全てを表示するようにしているが、４つの撮影画像ＰＦ，ＰＢ，ＰＬ，ＰＲのうちの少なくとも１つを表示すればよい。例えば、最も死角となりやすい後方を示すバック画像ＰＢのみを表示するようにしてもよい。また、図１０に示すように、４つの撮影画像ＰＦ，ＰＢ，ＰＬ，ＰＲを、時系列的に順次に表示するようにしてもよい。また、車載装置２は、少なくとも撮影画像を送信してから合成画像を受信するまでの期間に撮影画像を表示すればよく、撮影画像の送信前、あるいは、合成画像の受信後も撮影画像を表示してもよい。
【０１０８】
＜３．第３の実施の形態＞
次に、第３の実施の形態について説明する。第１の実施の形態では、車載装置２は常に４つの撮影画像の全てを可搬性装置３に送信していた。しかしながら、このように常に４つの撮影画像の全てを送信した場合には、送信するデータ量が多くなることなどから、全体的な処理速度が低下する可能性がある。
【０１０９】
このため、第３の実施の形態の車載装置２は、４つの撮影画像の全てを可搬性装置３に送信する全画像送信を実行する周期を、第１の実施の形態よりも長くしている。一方で、車載装置２は、全画像送信と全画像送信との間においては、含まれる被写体が時間的に変化した撮影画像のみを可搬性装置３に送信するようにしている。第３の実施の形態の画像処理システム１０の構成及び処理は第１の実施の形態とほぼ同様であるため、以下、第１の実施の形態との相違点を中心に説明する。
【０１１０】
図１１は、第３の実施の形態の車載装置２の構成を示す図である。第３の実施の形態の車載装置２は、プログラム２５ｂに従ってＣＰＵが演算処理を行うことで実現される制御部２３の機能として、表示制御部２３ａの他に、変化検出部２３ｂ及び警告制御部２３ｃを備えている。第３の実施の形態の車載装置２の他の構成は、第１の実施の形態と同様である。
【０１１１】
変化検出部２３ｂは、車載カメラ５Ｆ，５Ｂ，５Ｌ，５Ｒのそれぞれで周期的に得られる撮影画像のうち、含まれる被写体が時間的に変化した変化画像を特定する。すなわち、変化検出部２３ｂは、同一の車載カメラで時間的に連続して得られる撮影画像同士（前フレーム、及び、現フレーム）において、対応する画素の値の差分をとり、その差分の総和が所定の閾値を超えた撮影画像を変化画像として特定する。
【０１１２】
より具体的には、変化検出部２３ｂは、フロント画像ＰＦについては前フレームのフロント画像ＰＦとの差分、バック画像ＰＢについては前フレームのバック画像ＰＢとの差分、左サイド画像ＰＬについては前フレームの左サイド画像ＰＬとの差分、右サイド画像ＰＦについては前フレームの右サイド画像ＰＲとの差分をそれぞれ導出する。そして、変化検出部２３ｂは、４つの撮影画像ＰＦ，ＰＢ，ＰＬ，ＰＲのうち、導出した差分の総和が所定の閾値を超える撮影画像については、含まれる被写体が変化したと判断する。変化検出部２３ｂは、このように変化のあった被写体を含む撮影画像を変化画像として特定する。
【０１１３】
警告制御部２３ｃは、変化検出部２３ｂが変化画像があると判断した場合に、ユーザに警告する。警告制御部２３ｃは、変化画像がある場合は、スピーカ２７を制御してスピーカ２７から所定の警告音を出力させる。
【０１１４】
また、本実施の形態の表示制御部２３ａは、変化検出部２３ｂが変化画像があると判断した場合は、当該変化画像をディスプレイ２９に表示させる。変化画像がある場合、すなわち、車両９の周辺の被写体に変化が生じた場合であっても、その被写体の変化が合成画像ＣＰの内容に反映されるまでにはタイムラグがある。このため、本実施の形態の表示制御部２３ａは、変化画像がある場合には、その変化画像に基づいて生成される合成画像ＣＰの表示に先立って、その変化画像をディスプレイ２９に表示させる。すなわち、画像出力部２６は、変化画像に基づく合成画像ＣＰを出力する前に、変化画像をディスプレイ２９に出力して表示させることになる。
【０１１５】
図１２は、本実施の形態の全周囲モードにおいてディスプレイ２９に表示される表示画像ＤＰの遷移を示す図である。変化画像がない場合、すなわち、被写体に変化が無い場合は、表示画像ＤＰには合成画像ＣＰのみが含まれている（状態ＳＴ１）。
【０１１６】
このような状態において、変化画像がある場合、すなわち、被写体に変化が生じた場合は、表示画像ＤＰに当該変化画像が含められ、変化画像を含む表示画像ＤＰがディスプレイ２９に表示される（状態ＳＴ２）。図１２の例では、バック画像ＰＢ中の被写体Ｓｂに変化が生じており、このバック画像ＰＢが変化画像としてディスプレイ２９に表示されている。なお、表示画像ＤＰには合成画像ＣＰも含まれているが、この時点は被写体Ｓｂが変化した直後のため、合成画像ＣＰの内容に当該被写体Ｓｂの様子は反映されていない。
【０１１７】
その後、変化画像に基づいて生成された被写体Ｓｂの様子を反映した合成画像ＣＰが表示可能となると、当該合成画像ＣＰがディスプレイ２９に表示される。一方で、変化画像（バック画像ＰＢ）はディスプレイ２９に表示されなくなる（状態ＳＴ３）。
【０１１８】
ユーザは、このような表示画像ＤＰを視認することで、被写体に変化があったこと（すなわち、車両９の周辺に動く物体が存在すること）を認識できる。また、被写体に変化が生じた場合には、当該被写体を含む合成画像ＣＰの表示前に、当該被写体を含む変化画像が表示されるため、ユーザは当該被写体を速やかに確認することができる。
【０１１９】
図１３は、第３の実施の形態の画像処理システム１０の処理の流れを示す図である。本実施の形態においても、車載装置２では、表示制御部２３ａの制御により、図１３に示す処理が所定の第１周期（例えば、１／３０秒）で繰り返し実行される。ただし、第３の実施の形態では、この第１周期より長い第２周期（例えば、１秒）ごとに、他の場合と異なる特定処理が実行される。
【０１２０】
第２周期ごとの特定処理では（ステップＳＡ３０にてＹｅｓ）、第１の実施の形態とほぼ同様の処理が実行される。すなわち、まず、車載装置２の画像取得部２４が４つの撮影画像ＰＦ，ＰＢ，ＰＬ，ＰＲを取得し（ステップＳＡ３１）、車載装置２のデータ通信部２８が４つの撮影画像ＰＦ，ＰＢ，ＰＬ，ＰＲの全てを可搬性装置３に送信する全画像送信を実行する（ステップＳＡ３２）。
【０１２１】
可搬性装置３のデータ通信部３７がこれらの４つの撮影画像ＰＦ，ＰＢ，ＰＬ，ＰＲを受信すると（ステップＳＢ３１）、可搬性装置３の記憶部３８が受信した４つの撮影画像の全てを記憶する。これにより、記憶部３８が過去に撮影画像を記憶していた場合は、４つの撮影画像ＰＦ，ＰＢ，ＰＬ，ＰＲの全てが更新される（ステップＳＢ３２）。そして、合成画像生成部３１ａが、記憶部３８に記憶されている４つの撮影画像ＰＦ，ＰＢ，ＰＬ，ＰＲを用いて合成画像ＣＰを生成し（ステップＳＢ３３）、データ通信部３７が生成された合成画像ＣＰを車載装置２に送信する（ステップＳＢ３４）。
【０１２２】
車載装置２のデータ通信部２８がこの合成画像ＣＰを受信すると（ステップＳＡ３８）、車載装置２の画像出力部２６が合成画像ＣＰを含む表示画像ＤＰをディスプレイ２９に出力して表示させる（ステップＳＡ３９）。
【０１２３】
この特定処理は第２周期ごとに実行されるため、第２周期ごとに４つの撮影画像ＰＦ，ＰＢ，ＰＬ，ＰＲの全ての内容を反映した新たな合成画像ＣＰがディスプレイ２９に表示されることになる。
【０１２４】
一方、特定処理以外の場合（全画像送信と全画像送信との間の場合）は（ステップＳＡ３０にてＮｏ）、まず、車載装置２の画像取得部２４が４つの撮影画像ＰＦ，ＰＢ，ＰＬ，ＰＲを取得する（ステップＳＡ３３）。次に、変化検出部２３ｂが、前述した手法により、これら４つの撮影画像ＰＦ，ＰＢ，ＰＬ，ＰＲのうちから、含まれる被写体が時間的に変化した変化画像を特定する。そして、変化画像が存在しない場合は（ステップＳＡ３４にてＮｏ）、そのまま処理が終了する。
【０１２５】
また、変化画像が存在する場合は（ステップＳＡ３４にてＹｅｓ）、車載装置２のデータ通信部２８が、４つの撮影画像ＰＦ，ＰＢ，ＰＬ，ＰＲのうちの変化画像のみを可搬性装置３に送信する（ステップＳＡ３５）。
【０１２６】
可搬性装置３のデータ通信部３７が変化画像を受信すると（ステップＳＢ３１）、可搬性装置３の記憶部３８が受信した変化画像を記憶する。これにより、記憶部３８が記憶している過去に得られた４つの撮影画像ＰＦ，ＰＢ，ＰＬ，ＰＲのうち、変化画像に対応する撮影画像のみが更新される（ステップＳＢ３２）。例えば、変化画像がフロント画像ＰＦの場合はフロント画像ＰＦのみが更新され、変化画像がバック画像ＰＢの場合はバック画像ＰＢのみが更新される。したがって、変化画像に対応しない過去の撮影画像については、記憶部３８に記憶された状態で維持される。
【０１２７】
そして、合成画像生成部３１ａが、記憶部３８に記憶されている４つの撮影画像ＰＦ，ＰＢ，ＰＬ，ＰＲを用いて合成画像ＣＰを生成する（ステップＳＢ３３）。これにより、合成画像生成部３１ａは、過去に合成画像ＣＰの生成に用いた４つの撮影画像ＰＦ，ＰＢ，ＰＬ，ＰＲのうち、変化画像に対応する撮影画像のみを変化画像に替えて、新たな合成画像ＣＰを生成することになる。その結果、変化した被写体を含む新たな合成画像ＣＰが生成される。新たな合成画像ＣＰが生成されると、データ通信部３７が生成された合成画像ＣＰを車載装置２に送信する（ステップＳＢ３４）。
【０１２８】
また、車載装置２は、変化画像を送信した後（ステップＳＡ３５の後）は、この変化画像に基づく合成画像ＣＰを受信するまで、変化画像を表示する。具体的には、表示制御部２３ａが、可搬性装置３に送信したものと同一の変化画像を含む表示画像ＤＰを生成する。そして、表示制御部２３ａは、画像出力部２６を制御して、この表示画像ＤＰをディスプレイ２９に出力させる。これにより、図１２の状態ＳＴ２のような、変化画像を含む表示画像ＤＰがディスプレイ２９に表示される（ステップＳＡ３６）。
【０１２９】
次に、警告制御部２３ｃが、スピーカ２７を制御してスピーカ２７からビープ音などの所定の警告音を出力させる（ステップＳＡ３７）。これにより、変化画像がある場合、すなわち、車両９の周辺に動く物体が存在する場合に、ユーザにその旨が知らされることになる。
【０１３０】
その後、車載装置２のデータ通信部２８が、変化画像に基づく合成画像ＣＰを受信すると（ステップＳＡ３８）、表示制御部２３ａが、変化画像に基づく合成画像ＣＰを含む表示画像ＤＰを生成する。そして、画像出力部２６が、この表示画像ＤＰをディスプレイ２９に出力して表示させる。これにより、図１２の状態ＳＴ３のような、変化した被写体Ｓｂを含む合成画像ＣＰがディスプレイ２９に表示されることになる（ステップＳＡ３９）。
【０１３１】
以上のように、第３の実施の形態の画像処理システム１０においては、車載装置２の変化検出部２３ｂが、４つの撮影画像のうち含まれる被写体が時間的に変化した変化画像を特定する。このような変化画像がある場合は、車載装置２のデータ通信部２８は、変化画像のみを可搬性装置３に送信する。そして、可搬性装置３の合成画像生成部３１ａは、過去に合成画像ＣＰの生成に用いた４つの撮影画像のうち変化画像に対応する撮影画像のみを変化画像に替えて新たな合成画像を生成する。このため、車載装置２が可搬性装置３に送信するデータ量を有効に低減して処理速度を向上しつつ、車両９の周辺において変化のあった被写体を含む合成画像ＣＰを生成することができる。
【０１３２】
また、車載装置２の画像出力部２６は、変化画像がある場合は、変化画像に基づく合成画像ＣＰを出力する前に、変化画像をディスプレイ２９に出力して表示させる。このため、変化画像に基づく合成画像ＣＰの表示前であっても、ユーザは車両９の周辺において変化のあった被写体を確認することができる。
【０１３３】
また、警告制御部２３ｃは、変化画像がある場合に、スピーカ２７から所定の警告音を出力させて、ユーザに警告する。このため、ユーザは車両９の周辺において変化のあった被写体（すなわち、動く物体）が存在することを認識することができる。
【０１３４】
＜４．第４の実施の形態＞
次に、第４の実施の形態について説明する。第４の実施の形態の画像処理システム１０の構成及び処理は第１の実施の形態とほぼ同様であるため、以下、第１の実施の形態との相違点を中心に説明する。第４の実施の形態においては、ユーザが可搬性装置３を操作することで、車載装置２に表示される表示画像ＤＰの内容を変更できるようになっている。
【０１３５】
図１４は、可搬性装置３の操作部３５と車載装置２の表示内容との関係を示す図である。
【０１３６】
可搬性装置３は、操作部３５の一部に、テンキーとして機能する複数の操作ボタンを備えている。そして、これらの操作ボタンのうち、「２」ボタン３５Ｆ、「８」ボタン３５Ｂ、「４」ボタン３５Ｌ及び「６」ボタン３５Ｒは、車両９に搭載された４つの車載カメラ５にそれぞれ対応付けられている。具体的には、「２」ボタン３５Ｆはフロントカメラ５Ｆ、「８」ボタン３５Ｂはバックカメラ５Ｂ、「４」ボタン３５Ｌは左サイドカメラ５Ｌ、「６」ボタン３５Ｒは右サイドカメラ５Ｒにそれぞれ対応付けられている。これらの４つ操作ボタン３５Ｆ，３６Ｂ，３６Ｌ，３６Ｒは、対応づけられた車載カメラ５を指定するための操作部材として機能する。
【０１３７】
一方で、車載装置２のディスプレイ２９に表示される合成画像ＣＰにおいては、４つの車載カメラ５それぞれの位置（より正確には、４つの車載カメラ５それぞれの実際の配置位置に相当する位置）の近傍には、ラベルＣＦ，ＣＬ，ＣＢ，ＣＲが重畳されている。これらのラベルＣＦ，ＣＬ，ＣＢ，ＣＲは、各車載カメラ５が対応する操作ボタンを識別するための識別情報となる。
【０１３８】
具体的には、合成画像ＣＰ中のフロントカメラ５Ｆの位置の近傍には「２」を示すラベルＣＦが重畳され、バックカメラ５Ｂの位置の近傍には「８」を示すラベルＣＢが重畳され、左サイドカメラ５Ｌの位置の近傍には「４」を示すラベルＣＬが重畳され、右サイドカメラ５Ｒの位置の近傍には「６」を示すラベルＣＲが重畳されている。したがって、ユーザは、このようなラベルＣＦ，ＣＬ，ＣＢ，ＣＲが重畳された合成画像ＣＰを視認することで、「２」ボタン３５Ｆはフロントカメラ５Ｆ、「８」ボタン３５Ｂはバックカメラ５Ｂ、「４」ボタン３５Ｌは左サイドカメラ５Ｌ、「６」ボタン３５Ｒは右サイドカメラ５Ｒにそれぞれ対応付けられていることを明確に把握できる。
【０１３９】
また、このようなラベルＣＦ，ＣＬ，ＣＢ，ＣＲが重畳された合成画像ＣＰは、可搬性装置３のディスプレイ３６にも表示される。このため、ユーザは、いずれの操作ボタンがいずれの車載カメラ５と対応しているかを、可搬性装置３のディスプレイ３６を確認することによっても把握できる。また、ディスプレイ３６は、その画面の長手方向と、合成画像ＣＰ中の車両像９０の長手方向とが一致するように合成画像ＣＰを表示する。このため、可搬性装置３が備える比較的小さなサイズのディスプレイ３６においても、車両像９０を比較的大きなサイズで表示することができる。
【０１４０】
また、図１４に示す状態において、ユーザが、４つ操作ボタン３５Ｆ，３６Ｂ，３６Ｌ，３６Ｒのいずれかを操作した場合は、操作された操作ボタンに対応する車載カメラ５の位置の近傍を拡大した合成画像ＣＰが表示される。例えば、図１５に示すように、ユーザが「４」ボタン３５Ｌを操作した場合は、「４」ボタン３５Ｌに対応する左サイドカメラ５Ｌの位置の近傍を拡大した合成画像ＣＰが表示されることになる。したがって、ユーザは、可搬性装置３の操作ボタンを操作することで、合成画像ＣＰの所望の位置を拡大して確認することができる。
【０１４１】
図１６は、第４の実施の形態の画像処理システム１０の処理の流れを示す図である。まず、車載装置２の画像取得部２４が４つの撮影画像ＰＦ，ＰＢ，ＰＬ，ＰＲを取得し（ステップＳＡ４１）、車載装置２のデータ通信部２８が４つの撮影画像ＰＦ，ＰＢ，ＰＬ，ＰＲを可搬性装置３に送信する（ステップＳＡ４２）。
【０１４２】
可搬性装置３のデータ通信部３７は、これらの４つの撮影画像ＰＦ，ＰＢ，ＰＬ，ＰＲを受信する（ステップＳＢ４１）。次に、可搬性装置３の４つ操作ボタン３５Ｆ，３６Ｂ，３６Ｌ，３６Ｒのいずれかがユーザに操作されたか否かが判定される。
【０１４３】
４つの操作ボタンのいずれも操作されていない場合（ステップＳＢ４２にてＮｏ）は、合成画像生成部３１ａは、適位置にラベルＣＦ，ＣＬ，ＣＢ，ＣＲを重畳した合成画像ＣＰを生成する（ステップＳＢ４３）。一方、４つの操作ボタンのいずれかが操作された場合（ステップＳＢ４２にてＹｅｓ）は、合成画像生成部３１ａは、操作された操作ボタンに対応する車載カメラ５の位置の近傍を拡大した合成画像ＣＰを生成する（ステップＳＢ４４）。
【０１４４】
次に、可搬性装置３のディスプレイ３６が、生成された合成画像ＣＰを表示する（ステップＳＢ４５）。これとともに、データ通信部３７が、生成された合成画像ＣＰを車載装置２に送信する（ステップＳＢ４６）。
【０１４５】
車載装置２のデータ通信部２８がこの合成画像ＣＰを受信すると（ステップＳＡ４３）、車載装置２の画像出力部２６が合成画像ＣＰを含む表示画像ＤＰをディスプレイ２９に出力して表示させる（ステップＳＡ４４）。
【０１４６】
これにより、可搬性装置３の４つの操作ボタンのいずれも操作されていない場合は、ラベルＣＦ，ＣＬ，ＣＢ，ＣＲが重畳された合成画像ＣＰが車載装置２のディスプレイ２９に表示される。一方、可搬性装置３の４つの操作ボタンのいずれかが操作された場合は、操作された操作ボタンに対応する車載カメラ５の位置の近傍を拡大した合成画像ＣＰが車載装置２のディスプレイ２９に表示される。
【０１４７】
以上のように、第４の実施の形態の画像処理システム１０においては、合成画像ＣＰ中における複数の車載カメラ５それぞれの位置の近傍に、対応する操作ボタンの識別情報となるラベルが重畳された合成画像ＣＰが車載装置２のディスプレイ２９に表示される。このため、ユーザは、いずれの操作ボタンがいずれの車載カメラと対応しているかを明確に把握することができる。
【０１４８】
また、４つの操作ボタンのいずれかがユーザに操作された場合は、合成画像生成部３１ａは、操作された操作ボタンに対応する車載カメラ５の位置の近傍を拡大した合成画像ＣＰを生成し、この合成画像ＣＰが車載装置２のディスプレイ２９に表示される。このため、ユーザは合成画像ＣＰの所望の位置を拡大して確認することができる。
【０１４９】
なお、図１４及び図１５の例では、操作ボタンの識別情報となるラベルＣＦ，ＣＬ，ＣＢ，ＣＲは、車両像９０の周囲に重畳されていた。これに対して、図１７に示すように、ラベルＣＦ，ＣＬ，ＣＢ，ＣＲが、合成画像ＣＰ中の車両像９０に重なるように重畳されるようにしてもよい。このようにすれば、合成画像ＣＰ中において、ラベルＣＦ，ＣＬ，ＣＢ，ＣＲにより車両９の周辺の被写体が隠れないようにすることができる。
【０１５０】
＜５．第５の実施の形態＞
次に、第５の実施の形態について説明する。第５の実施の形態の画像処理システム１０の構成及び処理は第４の実施の形態とほぼ同様であるため、以下、第４の実施の形態との相違点を中心に説明する。第４の実施の形態においては、可搬性装置３の４つの操作ボタンのいずれかが操作された場合は、操作された操作ボタンに対応する車載カメラ５の位置の近傍を拡大した合成画像ＣＰが車載装置２のディスプレイ２９に表示されていた。これに対して、第５の実施の形態においては、可搬性装置３の４つの操作ボタンのいずれかが操作された場合は、操作された操作ボタンに対応する車載カメラ５で得られた撮影画像が車載装置２のディスプレイ２９に表示されるようになっている。
【０１５１】
例えば、図１８に示すように、ユーザが「４」ボタン３５Ｌを操作した場合は、「４」ボタン３５Ｌに対応する左サイドカメラ５Ｌで得られた左サイド画像ＰＬを含む表示画像ＤＰがディスプレイ２９に表示されることになる。したがって、ユーザは、可搬性装置３の操作ボタンを操作することで、所望の車載カメラ５で得られた撮影画像を確認することができる。
【０１５２】
図１９は、第５の実施の形態の画像処理システム１０の処理の流れを示す図である。まず、車載装置２の画像取得部２４が４つの撮影画像ＰＦ，ＰＢ，ＰＬ，ＰＲを取得し（ステップＳＡ５１）、車載装置２のデータ通信部２８が４つの撮影画像ＰＦ，ＰＢ，ＰＬ，ＰＲを可搬性装置３に送信する（ステップＳＡ５２）。
【０１５３】
可搬性装置３のデータ通信部３７は、これらの４つの撮影画像ＰＦ，ＰＢ，ＰＬ，ＰＲを受信する（ステップＳＢ５１）。
【０１５４】
次に、可搬性装置３の４つ操作ボタン３５Ｆ，３６Ｂ，３６Ｌ，３６Ｒのいずれかがユーザに操作されたか否かが判定される。４つの操作ボタンのいずれも操作されていない場合（ステップＳＢ５２にてＮｏ）は、処理はそのままステップＳＢ５４に進む。一方、４つの操作ボタンのいずれかが操作された場合（ステップＳＢ４２にてＹｅｓ）は、データ通信部２８が操作された操作ボタンを特定するボタン情報を車載装置２に送信してから（ステップＳＢ５３）、処理がステップＳＢ５４に進むことになる。
【０１５５】
車載装置２のデータ通信部２８がこのボタン情報を受信すると（ステップＳＡ５３にてＹｅｓ）、表示制御部２３ａが、ボタン情報に基づいて操作された操作ボタンを特定する。そして、表示制御部２３ａは、操作された操作ボタンに対応する車載カメラ５の撮影画像を含む表示画像ＤＰを生成する。この際、既に合成画像ＣＰが表示されている場合は、当該合成画像と、操作された操作ボタンに対応する車載カメラ５の撮影画像とを含む表示画像ＤＰを生成する。
【０１５６】
そして、表示制御部２３ａは、画像出力部２６を制御して、この表示画像ＤＰをディスプレイ２９に出力させる。これにより、操作された操作ボタンに対応する車載カメラ５の撮影画像を含む表示画像ＤＰがディスプレイ２９に表示される（ステップＳＡ５４）。
【０１５７】
また、ステップＳＢ５４においては、可搬性装置３の合成画像生成部３１ａが、適位置にラベルＣＦ，ＣＬ，ＣＢ，ＣＲを重畳した合成画像ＣＰを生成する。次に、可搬性装置３のディスプレイ３６が、生成された合成画像ＣＰを表示する（ステップＳＢ５５）。これとともに、可搬性装置３のデータ通信部３７が、生成された合成画像ＣＰを車載装置２に送信する（ステップＳＢ５６）。
【０１５８】
車載装置２のデータ通信部２８がこの合成画像ＣＰを受信すると（ステップＳＡ５５）、車載装置２の画像出力部２６が合成画像ＣＰを含む表示画像ＤＰをディスプレイ２９に出力して表示させる（ステップＳＡ５６）。
【０１５９】
以上のように、第５の実施の形態の画像処理システム１０においては、４つの操作ボタンのいずれかがユーザに操作された場合は、操作された操作ボタンを特定するボタン情報が可搬性装置３から車載装置２に送信される。そして、車載装置２では、このボタン情報に基づいて、操作された操作ボタンに対応する車載カメラ５で得られた撮影画像がディスプレイ２９に表示される。したがって、ユーザは所望の撮影画像を確認することができる。
【０１６０】
なお、本実施の形態においても、図１７に示すように、ラベルＣＦ，ＣＬ，ＣＢ，ＣＲが、合成画像ＣＰ中の車両像９０に重なるように重畳されてもよい。
【０１６１】
＜６．第６の実施の形態＞
次に、第６の実施の形態について説明する。第１の実施の形態の画像処理システム１０では、ユーザが所持する可搬性装置３において合成画像が生成されていた。これに対して、第６の実施の形態の画像処理システムでは、可搬性装置３に替えてネットワーク上のサーバ装置において合成画像が生成されるようになっている。以下、第１の実施の形態との相違点を中心に説明する。
【０１６２】
図２０は、第６の実施の形態の画像処理システム１１の概要を示す図である。画像処理システム１１は、車両９に搭載される車載装置２と、車載装置２とは別個に構成されるサーバ装置４とを備えている。車両９とサーバ装置４とは、インターネットなどのネットワーク８を介して相互にデータを送受信することが可能となっている。サーバ装置４は、画像処理機能を有しており、画像処理装置として機能する。このサーバ装置４が備える画像処理機能の一つとして、仮想視点からみた合成画像を生成する機能がある。
【０１６３】
図２１は、第６の実施の形態の車載装置２の構成を示す図である。第６の実施の形態の車載装置２は、図２に示すものとほぼ同様の構成であるが、データ通信部２８に替えてデータ通信部２８ａを備えている。このデータ通信部２８ａは、無線通信を利用したネットワーク８への接続機能を有している。これにより、データ通信部２８ａは、ネットワーク８に接続されたサーバ装置４との間でデータの送受信を行うことが可能である。なお、データ通信部２８ａが、ユーザが所持する携帯電話等の他の通信装置を中継器として利用して、ネットワーク８に接続されたサーバ装置４との間でデータの送受信を行うことが可能となっていてもよい。
【０１６４】
図２２は、サーバ装置４の構成を示す図である。サーバ装置４は、制御部４１と、データ通信部４２と、記憶部４３とを備えている。
【０１６５】
データ通信部４２は、ネットワーク８に接続され、ネットワーク８への接続機能を有する他の通信装置との間でデータ通信を行う。これにより、データ通信部４２は、車載装置２との間でデータの送受信を行うことが可能である。
【０１６６】
記憶部４３は、ハードディスクなどの不揮発性の記憶装置であり、各種の情報を記憶する。記憶部３８は、複数の車両像９０、及び、プログラム４４を記憶している。
【０１６７】
また、制御部４１は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えたコンピュータである。記憶部４３に記憶されたプログラム４４に従ってＣＰＵが演算処理を行うことで、制御部４１の各種の機能が実現される。
【０１６８】
図中に示す合成画像生成部４１ａは、プログラム４４に従ってＣＰＵが演算処理を行うことで実現される制御部４１の機能の一つである。この合成画像生成部４１ａは、第１の実施の形態の合成画像生成部３１ａと同様の手法によって、４つの撮影画像に基づいて仮想視点からみた車両９の周辺の領域を示す合成画像を生成する。
【０１６９】
図２３は、第６の実施の形態の画像処理システム１１の処理の流れを示す図である。図中の左側は車載装置２の処理の流れを示しており、図中の右側はサーバ装置４の処理の流れを示している。車載装置２の処理の流れは、第１の実施の形態（図６）とほぼ同様である。サーバ装置４では、制御部４１の制御により、車載装置２からの信号に応答して図２３に示す処理が実行される。
【０１７０】
まず、車載装置２の画像取得部２４が４つの撮影画像ＰＦ，ＰＢ，ＰＬ，ＰＲを取得する（ステップＳＡ６１）。次に、車載装置２のデータ通信部２８ａが４つの撮影画像ＰＦ，ＰＢ，ＰＬ，ＰＲ、車両情報２５ａ、及び、サイズ情報をサーバ装置４に送信する（ステップＳＡ６２）。
【０１７１】
サーバ装置４のデータ通信部４２は、これらの４つの撮影画像ＰＦ，ＰＢ，ＰＬ，ＰＲ、車両情報２５ａ、及び、サイズ情報を受信する（ステップＳＣ１１）。この受信に応答して、サーバ装置４の合成画像生成部４１ａは、４つの撮影画像を用いて、仮想視点からみた車両９の周辺の領域を示す合成画像ＣＰを生成する（ステップＳＣ１２）。
【０１７２】
合成画像生成部４１ａは、この合成画像ＣＰを生成する際に、車載装置２から送信された車両情報２５ａに基づいて車両９の種別に応じた車両像９０を記憶部４３から読み出し、この車両像９０を合成画像ＣＰに含める。また、合成画像生成部４１ａは、車載装置２から送信されたサイズ情報に基づいて、サイズ情報で指定するサイズの合成画像ＣＰを生成する。
【０１７３】
次に、サーバ装置４のデータ通信部４２が、生成された合成画像ＣＰを車載装置２に送信する（ステップＳＣ１３）。
【０１７４】
車載装置２のデータ通信部２８ａがこの合成画像ＣＰを受信すると（ステップＳＡ６３）、車載装置２の画像出力部２６が合成画像ＣＰを含む表示画像ＤＰをディスプレイ２９に出力して表示させる（ステップＳＡ６４）。
【０１７５】
以上のように、第６の実施の形態の画像処理システム１１では、ネットワーク８上のサーバ装置４において合成画像が生成される。このため、本実施の形態の画像処理システム１１においても、車載装置２が合成画像ＣＰを生成する機能を備えなくとも、合成画像ＣＰをディスプレイ２９に表示させることができる。したがって、比較的コストの低い車載装置を用いた場合であっても、合成画像ＣＰをディスプレイ２９に表示させることができる。また、ユーザは、合成画像ＣＰの生成機能を備えた可搬性装置等を導入する必要も無いため、合成画像ＣＰの表示機能を容易に追加することができる。
【０１７６】
なお、本実施の形態では、第１の実施の形態の可搬性装置３に替えてサーバ装置４を用いる場合について説明したが、第２または第３の実施の形態の可搬性装置３に替えてサーバ装置４を用いるようにしてもよい。
【０１７７】
＜７．第７の実施の形態＞
次に、第７の実施の形態について説明する。一般に、サーバ装置は、可搬性装置等と比較して大容量の記憶装置を有している。このため、このように比較的大容量の記憶装置を有するサーバ装置に合成画像を生成させる場合においては、合成画像と他の画像とを組み合わせることも可能である。
【０１７８】
第７の実施の形態においては、サーバ装置４において航空写真の画像（以下、「航空画像」という。）が予め記憶されており、この航空画像と合成画像とを組み合わせた結合画像が生成されるようになっている。第７の実施の形態の画像処理システム１１の構成及び処理は第６の実施の形態とほぼ同様であるため、以下、第６の実施の形態との相違点を中心に説明する。
【０１７９】
図２４は、第７の実施の形態の車載装置２の構成を示す図である。第７の実施の形態の車載装置２は、図２１に示す第６の実施の形態の車載装置２の構成に加えて、位置取得部２０を備えている。位置取得部２０は、複数のＧＰＳ衛星からの信号を受信して、車両９の位置を示す位置情報（緯度経度）を取得する。
【０１８０】
図２５は、第７の実施の形態のサーバ装置４の構成を示す図である。第７の実施の形態のサーバ装置４においては、記憶部４３が、車両像９０及びプログラム４４の他に、航空画像データベース４５を記憶している。航空画像データベース４５には、上空から地表の様子を撮影した多数の航空画像がそれぞれの位置を示す位置情報（緯度経度）と関連付けて記憶されている。
【０１８１】
また、サーバ装置４は、プログラム４４に従ってＣＰＵが演算処理を行うことで実現される制御部４１の機能として、合成画像生成部４１ａの他に、画像結合部４１ｂを備えている。画像結合部４１ｂは、航空画像と合成画像生成部４１ａが生成した合成画像とを結合して、航空画像と合成画像とを含む結合画像を生成する。
【０１８２】
図２６は、第６の実施の形態の画像処理システム１１の処理の流れを示す図である。まず、車載装置２の画像取得部２４が４つの撮影画像ＰＦ，ＰＢ，ＰＬ，ＰＲを取得する（ステップＳＡ７１）。次に、車載装置２の位置取得部２０が、その時点における車両９の位置を示す位置情報を取得する（ステップＳＡ７２）。
【０１８３】
次に、車載装置２のデータ通信部２８ａが４つの撮影画像ＰＦ，ＰＢ，ＰＬ，ＰＲをサーバ装置４に送信する（ステップＳＡ７３）。また、この際、データ通信部２８ａは、これら４つの撮影画像ＰＦ，ＰＢ，ＰＬ，ＰＲとともに、位置情報をサーバ装置４に送信する。
【０１８４】
サーバ装置４のデータ通信部４２は、４つの撮影画像ＰＦ，ＰＢ，ＰＬ，ＰＲとともに位置情報を受信する（ステップＳＣ２１）。この受信に応答して、サーバ装置４の合成画像生成部４１ａは、４つの撮影画像を用いて、仮想視点からみた車両９の周辺の領域を示す合成画像ＣＰを生成する（ステップＳＣ２２）。
【０１８５】
次に、画像結合部４１ｂが、車載装置２から受信した位置情報に基づいて、この位置情報が示す位置（すなわち、車両９の位置）を中心とした航空画像を、航空画像データベース４５から取得する（ステップＳＣ２３）。これにより、車両９の周辺を示す航空画像が取得される。
【０１８６】
そして、画像結合部４１ｂは、この航空画像の中央部分に合成画像ＣＰを重畳することにより、航空画像と合成画像ＣＰとを含む結合画像を生成する（ステップＳＣ２４）。この際、画像結合部４１ｂは、航空画像の縮尺に合うように合成画像ＣＰのサイズを調整する。
【０１８７】
図２７は、このようにして生成された結合画像ＯＰの一例を示す図である。結合画像ＯＰは、その中央部分が合成画像ＣＰとなっており、その合成画像ＣＰの外側部分が航空画像ＡＰとなっている。ユーザは、このような結合画像ＯＰを視認することで、車両９の近傍の物体の情報とともに、車両９の周辺の比較的広い範囲の地表の情報も得ることができる。例えば、車両９が駐車場に存在する場合は、ユーザは、結合画像ＯＰに基づいて、駐車場の出口、駐車場で定められた進行方向、駐車場の全体形状などを把握することができる。
【０１８８】
次に、サーバ装置４のデータ通信部４２が、合成画像ＣＰと航空画像ＡＰとを含む結合画像ＯＰを車載装置２に送信する（図２６のステップＳＣ２５）。
【０１８９】
車載装置２のデータ通信部２８ａがこの結合画像ＯＰを受信すると（ステップＳＡ７４）、表示制御部２３ａが、受信した結合画像ＯＰを含む表示画像ＤＰを生成する。そして、画像出力部２６が、生成された表示画像ＤＰをディスプレイ２９に出力する。これにより、結合画像ＯＰを含む表示画像ＤＰがディスプレイ２９に表示される（ステップＳＡ７５）。
【０１９０】
図２８の上部は、このようにして表示された結合画像ＯＰを含む表示画像ＤＰの例を示す図である。図に示すように、表示画像ＤＰには、縮尺を変更するための２つのコマンドボタンＢ１，Ｂ２が含まれている。ユーザは、ディスプレイ２９の表示画面に表示されたこれら２つのコマンドボタンＢ１，Ｂ２に触れることで、結合画像ＯＰ中の航空画像ＡＰの縮尺を変更できるようになっている。
【０１９１】
例えば、詳細ボタンＢ１に触れた場合は、図２８の下部に示すように、航空画像ＡＰが示す地表の様子が拡大され、航空画像ＡＰに含まれる地表の範囲は狭くなる。一方、広域ボタンＢ２に触れた場合は、航空画像ＡＰが示す地表の様子が縮小され、航空画像ＡＰに含まれる地表の範囲は広くなる。また、このように航空画像ＡＰの縮尺が変更されると、航空画像ＡＰの縮尺に合わせて合成画像ＣＰのサイズ（縮尺）も調整される。このように、ユーザは、航空画像ＡＰの縮尺を所望に変更できるため、必要な地表の範囲を含む航空画像ＡＰをディスプレイ２９に表示させることができる。
【０１９２】
図２９は、このような縮尺の変更指示に対応する画像処理システム１１の処理の流れを示す図である。車載装置２では、制御部２３の制御により、図２６に示す処理とは独立して、図２９に示す処理が所定の周期で繰り返し実行される。また、サーバ装置４では、制御部４１の制御により、車載装置２からの信号に応答して図２９に示す処理が実行される。
【０１９３】
まず、車載装置２の制御部２３が、ユーザから航空画像ＡＰの縮尺の変更指示がなされたか否かを判断する（ステップＳＡ８１）。すなわち、制御部２３が、操作部２２に含まれるタッチパネルからの信号に基づいて、ユーザが２つのコマンドボタンＢ１，Ｂ２のいずれかに触れたか否かを判断する。航空画像ＡＰの縮尺の変更指示が無い場合は（ステップＳＡ８１にてＮｏ）、そのまま処理が終了する。
【０１９４】
航空画像ＡＰの縮尺の変更指示があった場合は（ステップＳＡ８１にてＹｅｓ）、車載装置２のデータ通信部２８ａが、航空画像ＡＰの縮尺の変更を指示する縮尺情報をサーバ装置４に送信する（ステップＳＡ８２）。触れられたコマンドボタンが詳細ボタンＢ１の場合は地表の様子の拡大を指示する縮尺情報が送信され、触れられたコマンドボタンが広域ボタンＢ２の場合は地表の様子の縮小を指示する縮尺情報が送信される。
【０１９５】
サーバ装置４のデータ通信部４２は、この縮尺情報を受信する（ステップＳＣ３１）。この縮尺情報の受信に応答して、サーバ装置４の画像結合部４１ｂは、縮尺情報に応じて航空画像ＡＰの縮尺を変更する（ステップＳＣ３２）。以降、画像結合部４１ｂは、縮尺情報に応じた縮尺の航空画像ＡＰを含む結合画像ＯＰを生成することになる。
【０１９６】
以上のように、第６の実施の形態の画像処理システム１１では、サーバ装置４の記憶部２５が地表の様子を示す航空画像を記憶しており、画像結合部４１ｂが、車両９の位置を示す位置情報に基づいて、車両９の周辺を示す航空画像と合成画像とを含む結合画像を生成する。そして、車載装置２がこの結合画像ＯＰをディスプレイ２９に表示する。このような結合画像ＯＰがディスプレイ２９に表示されるため、ユーザは車両９の近傍の物体の情報とともに、車両９の周辺の比較的広い範囲の地表の情報も得ることができる。
【０１９７】
また、車載装置２から送信される縮尺情報に応じた縮尺の航空画像ＡＰが生成されるため、ユーザが必要となる縮尺の航空画像ＡＰをディスプレイ２９に表示させることができる。
【０１９８】
なお、本実施の形態では、サーバ装置４が航空画像を記憶しているものとして説明したが、可搬性装置３に航空画像を記憶させ、可搬性装置３が合成画像と航空画像とを含む結合画像を生成するようにしてもよい。
【０１９９】
＜８．変形例＞
以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態に限定されるものではなく様々な変形が可能である。以下では、このような変形例について説明する。上記実施の形態及び以下で説明する形態を含む全ての形態は、適宜に組み合わせ可能である。
【０２００】
上記実施の形態では、車両で用いられる車両用装置として車載装置２を例に説明を行ったが、車両用装置が携帯電話やスマートフォンなどの可搬性の通信装置として構成されていてもよい。
【０２０１】
また、上記実施の形態では、車両９及び車両９の周辺の領域を俯瞰する合成画像が生成されていたが、任意の仮想視点からみた合成画像を生成するようにしてもよい。
【０２０２】
また、上記実施の形態では、ディスプレイ２９は本体部２１と一体化されていたが、ディスプレイが本体部とは別体として設けられていてもよい。
【０２０３】
また、上記実施の形態では、車載装置２から複数の撮影画像を送信するごとに、車両情報２５ａ及びサイズ情報が画像処理装置（可搬性装置３あるいはサーバ装置４）に送信されていた。これに対して、車載装置２から画像処理装置に対し車両情報２５ａ及びサイズ情報が１回のみ送信され、この車両情報２５ａ及びサイズ情報が車載装置２の識別情報と関連付けられて、画像処理装置に記憶されるようにしてもよい。
【０２０４】
また、第７の実施の形態では、地表の様子を示す地表画像として航空画像が用いられていたが、衛星写真の画像や、イラストで表現される一般的な地図画像などを用いてもよい。
【０２０５】
また、第７の実施の形態では、縮尺情報をサーバ装置４に送信して地表画像（航空画像）に含まれる地表の範囲が変更されていた。これに対して、縮尺情報をサーバ装置４に送信することで、地表画像の縮尺と合成画像の縮尺とが一致するように調整できるようにしてもよい。
【０２０６】
また、上記実施の形態では、プログラムに従ったＣＰＵの演算処理によってソフトウェア的に合成処理を生成する機能を含む各種の機能が実現されると説明したが、これら機能のうちの一部は電気的なハードウェア回路により実現されてもよい。
【符号の説明】
【０２０７】
２ 車載装置
３ 可搬性装置
４ サーバ装置
５ 車載カメラ
９ 車両
３５ 操作部
１０ 画像処理システム
１１ 画像処理システム
９０ 車両像
ＡＰ 航空画像
ＣＰ 合成画像
ＤＰ 表示画像
ＯＰ 結合画像
【特許請求の範囲】
【請求項１】
画像処理システムであって、
車両で用いられる車両用装置と、
前記車両用装置とは別個に構成される画像処理装置と、
を備え、
前記車両用装置は、
前記車両に搭載された複数のカメラでそれぞれ得られた複数の撮影画像を取得する取得手段と、
前記複数の撮影画像を前記画像処理装置に送信する第１送信手段と、
前記複数の撮影画像に基づいて前記画像処理装置で生成された、仮想視点からみた前記車両の周辺の領域を示す合成画像を受信する第１受信手段と、
前記合成画像を表示装置に出力して表示させる出力手段と、
を備え、
前記画像処理装置は、
前記車両用装置から送信された前記複数の撮影画像を受信する第２受信手段と、
前記複数の撮影画像に基づいて前記合成画像を生成する生成手段と、
前記合成画像を前記車両用装置に送信する第２送信手段と、
を備えることを特徴とする画像処理システム。
【請求項２】
請求項１に記載の画像処理システムにおいて、
前記出力手段は、前記第１送信手段が前記複数の撮影画像を送信してから該複数の撮影画像に基づく前記合成画像を前記第１受信手段が受信するまでの期間、該複数の撮影画像の少なくとも一つを前記表示装置に出力して表示させることを特徴とする画像処理システム。
【請求項３】
請求項１または２に記載の画像処理システムにおいて、
前記取得手段は、前記複数の撮影画像のそれぞれを周期的に取得するものであり、
前記車両用装置は、
前記複数の撮影画像のうち、含まれる被写体が時間的に変化した変化画像を特定する特定手段、
をさらに備え、
前記変化画像がある場合は、
前記第１送信手段は、前記複数の撮影画像のうちの前記変化画像のみを送信し、
前記生成手段は、過去に前記合成画像の生成に用いた前記複数の撮影画像のうち、前記変化画像に対応する前記撮影画像のみを前記変化画像に替えて、新たな前記合成画像を生成することを特徴とする画像処理システム。
【請求項４】
請求項３に記載の画像処理システムにおいて、
前記変化画像がある場合は、
前記出力手段は、前記変化画像に基づく前記合成画像を出力する前に、前記変化画像を前記表示装置に出力して表示させることを特徴とする画像処理システム。
【請求項５】
請求項４に記載の画像処理システムにおいて、
前記車両用装置は、
前記変化画像がある場合に、ユーザに警告する警告手段、
をさらに備えることを特徴とする画像処理システム。
【請求項６】
請求項１ないし５のいずれかに記載の画像処理システムにおいて、
前記第１送信手段は、前記合成画像のサイズを指定するサイズ情報を前記画像処理装置に送信し、
前記生成手段は、前記サイズ情報で指定するサイズの前記合成画像を生成することを特徴とする画像処理システム。
【請求項７】
請求項１ないし６のいずれかに記載の画像処理システムにおいて、
前記画像処理装置は、
複数の種別の車両像を記憶する記憶手段、
をさらに備え、
前記第１送信手段は、前記車両の種別を前記画像処理装置に送信し、
前記生成手段は、前記車両の種別に応じた車両像を前記合成画像に含めることを特徴とする画像処理システム。
【請求項８】
請求項１ないし６のいずれかに記載の画像処理システムにおいて、
前記画像処理装置は、
地表の様子を示す地表画像を記憶する記憶手段と、
前記車両の位置を示す位置情報に基づいて、前記車両の周辺を示す前記地表画像と前記合成画像とを含む結合画像を生成する結合手段と、
をさらに備え、
前記第１送信手段は、前記位置情報を前記画像処理装置に送信し、
前記第２送信手段は、前記結合画像を前記車両用装置に送信し、
前記出力手段は、前記結合画像を前記表示装置に出力して表示させることを特徴とする画像処理システム。
【請求項９】
請求項８に記載の画像処理システムにおいて、
前記第１送信手段は、前記地表画像の縮尺に係る縮尺情報を前記画像処理装置に送信し、
前記結合手段は、前記縮尺情報に応じた縮尺の前記地表画像を含む前記結合画像を生成することを特徴とする画像処理システム。
【請求項１０】
請求項１に記載の画像処理システムにおいて、
前記画像処理装置は、
前記複数のカメラをそれぞれ指定するための複数のボタン、
をさらに備え、
前記出力手段は、前記合成画像中における前記複数のカメラそれぞれの位置の近傍に当該カメラが対応する前記ボタンの識別情報を重畳した前記合成画像を前記表示装置に出力して表示させることを特徴とする画像処理システム。
【請求項１１】
請求項１０に記載の画像処理システムにおいて、
前記生成手段は、前記複数のボタンのいずれかがユーザに操作された場合は、操作された前記ボタンに対応する前記カメラの位置の近傍を拡大した前記合成画像を生成することを特徴とする画像処理システム。
【請求項１２】
請求項１０に記載の画像処理システムにおいて、
前記第２送信手段は、前記複数のボタンのいずれかがユーザに操作された場合は、操作された前記ボタンを特定するボタン情報を前記車両用装置に送信し、
前記出力手段は、前記ボタン情報に基づいて、操作された前記ボタンに対応する前記カメラで得られた前記撮影画像を前記表示装置に出力して表示させることを特徴とする画像処理システム。
【請求項１３】
請求項１０ないし１２のいずれかに記載の画像処理システムにおいて、
前記合成画像は、車両像を含み、
前記ボタンの識別情報は、前記合成画像中の前記車両像に重なるように重畳されることを特徴とする画像処理システム。
【請求項１４】
請求項１０ないし１３のいずれかに記載の画像処理システムにおいて、
前記画像処理装置は、
前記合成画像中における前記複数のカメラそれぞれの位置の近傍に当該カメラが対応する前記ボタンの識別情報を重畳した前記合成画像を表示する表示手段、
をさらに備えることを特徴とする画像処理システム。
【請求項１５】
請求項１４に記載の画像処理システムにおいて、
前記表示手段は、画面の長手方向と、前記合成画像中の車両の像の長手方向とが一致するように前記合成画像を表示することを特徴とする画像処理システム。
【請求項１６】
車両で用いられる車両用装置であって、
前記車両に搭載された複数のカメラでそれぞれ得られた複数の撮影画像を取得する取得手段と、
前記複数の撮影画像を、前記車両用装置とは別個に構成される画像処理装置に送信する送信手段と、
前記複数の撮影画像に基づいて前記画像処理装置で生成された、仮想視点からみた前記車両の周辺の領域を示す合成画像を受信する受信手段と、
前記合成画像を表示装置に出力して表示させる出力手段と、
を備えることを特徴とする車両用装置。
【請求項１７】
車両で用いられる車両用装置とは別個に構成される画像処理装置であって、
前記車両用装置から送信された、前記車両に搭載された複数のカメラでそれぞれ得られた複数の撮影画像を受信する受信手段と、
前記複数の撮影画像に基づいて、仮想視点からみた前記車両の周辺の領域を示す合成画像を生成する生成手段と、
前記合成画像を前記車両用装置に送信する送信手段と、
を備えることを特徴とする画像処理装置。
【請求項１８】
車両で用いられる車両用装置とは別個に構成される画像処理装置に含まれるコンピュータによって実行可能なプログラムであって、前記プログラムの前記コンピュータによる実行は、前記コンピュータに、
（ａ）前記車両用装置から送信された、前記車両に搭載された複数のカメラでそれぞれ得られた複数の撮影画像を受信する工程と、
（ｂ）前記複数の撮影画像に基づいて、仮想視点からみた前記車両の周辺の領域を示す合成画像を生成する工程と、
（ｃ）前記合成画像を前記車両用装置に送信する工程と、
を実行させることを特徴とするプログラム。
【請求項１９】
車両で用いられる車両用装置と、前記車両用装置とは別個に構成される画像処理装置とを用いて画像を表示する画像表示方法であって、
（ａ）前記車両用装置が、前記車両に搭載された複数のカメラでそれぞれ得られた複数の撮影画像を取得する工程と、
（ｂ）前記複数の撮影画像を前記車両用装置から前記画像処理装置に送信する工程と、
（ｃ）前記画像処理装置が、前記複数の撮影画像に基づいて、仮想視点からみた前記車両の周辺の領域を示す合成画像を生成する工程と、
（ｄ）前記合成画像を前記画像処理装置から前記車両用装置に送信する工程と、
（ｅ）前記車両用装置が、前記合成画像を表示装置に出力して表示させる工程と、
を備えることを特徴とする画像表示方法。
【請求項１】
画像処理システムであって、
車両で用いられる車両用装置と、
前記車両用装置とは別個に構成される画像処理装置と、
を備え、
前記車両用装置は、
前記車両に搭載された複数のカメラでそれぞれ得られた複数の撮影画像を取得する取得手段と、
前記複数の撮影画像を前記画像処理装置に送信する第１送信手段と、
前記複数の撮影画像に基づいて前記画像処理装置で生成された、仮想視点からみた前記車両の周辺の領域を示す合成画像を受信する第１受信手段と、
前記合成画像を表示装置に出力して表示させる出力手段と、
を備え、
前記画像処理装置は、
前記車両用装置から送信された前記複数の撮影画像を受信する第２受信手段と、
前記複数の撮影画像に基づいて前記合成画像を生成する生成手段と、
前記合成画像を前記車両用装置に送信する第２送信手段と、
を備えることを特徴とする画像処理システム。
【請求項２】
請求項１に記載の画像処理システムにおいて、
前記出力手段は、前記第１送信手段が前記複数の撮影画像を送信してから該複数の撮影画像に基づく前記合成画像を前記第１受信手段が受信するまでの期間、該複数の撮影画像の少なくとも一つを前記表示装置に出力して表示させることを特徴とする画像処理システム。
【請求項３】
請求項１または２に記載の画像処理システムにおいて、
前記取得手段は、前記複数の撮影画像のそれぞれを周期的に取得するものであり、
前記車両用装置は、
前記複数の撮影画像のうち、含まれる被写体が時間的に変化した変化画像を特定する特定手段、
をさらに備え、
前記変化画像がある場合は、
前記第１送信手段は、前記複数の撮影画像のうちの前記変化画像のみを送信し、
前記生成手段は、過去に前記合成画像の生成に用いた前記複数の撮影画像のうち、前記変化画像に対応する前記撮影画像のみを前記変化画像に替えて、新たな前記合成画像を生成することを特徴とする画像処理システム。
【請求項４】
請求項３に記載の画像処理システムにおいて、
前記変化画像がある場合は、
前記出力手段は、前記変化画像に基づく前記合成画像を出力する前に、前記変化画像を前記表示装置に出力して表示させることを特徴とする画像処理システム。
【請求項５】
請求項４に記載の画像処理システムにおいて、
前記車両用装置は、
前記変化画像がある場合に、ユーザに警告する警告手段、
をさらに備えることを特徴とする画像処理システム。
【請求項６】
請求項１ないし５のいずれかに記載の画像処理システムにおいて、
前記第１送信手段は、前記合成画像のサイズを指定するサイズ情報を前記画像処理装置に送信し、
前記生成手段は、前記サイズ情報で指定するサイズの前記合成画像を生成することを特徴とする画像処理システム。
【請求項７】
請求項１ないし６のいずれかに記載の画像処理システムにおいて、
前記画像処理装置は、
複数の種別の車両像を記憶する記憶手段、
をさらに備え、
前記第１送信手段は、前記車両の種別を前記画像処理装置に送信し、
前記生成手段は、前記車両の種別に応じた車両像を前記合成画像に含めることを特徴とする画像処理システム。
【請求項８】
請求項１ないし６のいずれかに記載の画像処理システムにおいて、
前記画像処理装置は、
地表の様子を示す地表画像を記憶する記憶手段と、
前記車両の位置を示す位置情報に基づいて、前記車両の周辺を示す前記地表画像と前記合成画像とを含む結合画像を生成する結合手段と、
をさらに備え、
前記第１送信手段は、前記位置情報を前記画像処理装置に送信し、
前記第２送信手段は、前記結合画像を前記車両用装置に送信し、
前記出力手段は、前記結合画像を前記表示装置に出力して表示させることを特徴とする画像処理システム。
【請求項９】
請求項８に記載の画像処理システムにおいて、
前記第１送信手段は、前記地表画像の縮尺に係る縮尺情報を前記画像処理装置に送信し、
前記結合手段は、前記縮尺情報に応じた縮尺の前記地表画像を含む前記結合画像を生成することを特徴とする画像処理システム。
【請求項１０】
請求項１に記載の画像処理システムにおいて、
前記画像処理装置は、
前記複数のカメラをそれぞれ指定するための複数のボタン、
をさらに備え、
前記出力手段は、前記合成画像中における前記複数のカメラそれぞれの位置の近傍に当該カメラが対応する前記ボタンの識別情報を重畳した前記合成画像を前記表示装置に出力して表示させることを特徴とする画像処理システム。
【請求項１１】
請求項１０に記載の画像処理システムにおいて、
前記生成手段は、前記複数のボタンのいずれかがユーザに操作された場合は、操作された前記ボタンに対応する前記カメラの位置の近傍を拡大した前記合成画像を生成することを特徴とする画像処理システム。
【請求項１２】
請求項１０に記載の画像処理システムにおいて、
前記第２送信手段は、前記複数のボタンのいずれかがユーザに操作された場合は、操作された前記ボタンを特定するボタン情報を前記車両用装置に送信し、
前記出力手段は、前記ボタン情報に基づいて、操作された前記ボタンに対応する前記カメラで得られた前記撮影画像を前記表示装置に出力して表示させることを特徴とする画像処理システム。
【請求項１３】
請求項１０ないし１２のいずれかに記載の画像処理システムにおいて、
前記合成画像は、車両像を含み、
前記ボタンの識別情報は、前記合成画像中の前記車両像に重なるように重畳されることを特徴とする画像処理システム。
【請求項１４】
請求項１０ないし１３のいずれかに記載の画像処理システムにおいて、
前記画像処理装置は、
前記合成画像中における前記複数のカメラそれぞれの位置の近傍に当該カメラが対応する前記ボタンの識別情報を重畳した前記合成画像を表示する表示手段、
をさらに備えることを特徴とする画像処理システム。
【請求項１５】
請求項１４に記載の画像処理システムにおいて、
前記表示手段は、画面の長手方向と、前記合成画像中の車両の像の長手方向とが一致するように前記合成画像を表示することを特徴とする画像処理システム。
【請求項１６】
車両で用いられる車両用装置であって、
前記車両に搭載された複数のカメラでそれぞれ得られた複数の撮影画像を取得する取得手段と、
前記複数の撮影画像を、前記車両用装置とは別個に構成される画像処理装置に送信する送信手段と、
前記複数の撮影画像に基づいて前記画像処理装置で生成された、仮想視点からみた前記車両の周辺の領域を示す合成画像を受信する受信手段と、
前記合成画像を表示装置に出力して表示させる出力手段と、
を備えることを特徴とする車両用装置。
【請求項１７】
車両で用いられる車両用装置とは別個に構成される画像処理装置であって、
前記車両用装置から送信された、前記車両に搭載された複数のカメラでそれぞれ得られた複数の撮影画像を受信する受信手段と、
前記複数の撮影画像に基づいて、仮想視点からみた前記車両の周辺の領域を示す合成画像を生成する生成手段と、
前記合成画像を前記車両用装置に送信する送信手段と、
を備えることを特徴とする画像処理装置。
【請求項１８】
車両で用いられる車両用装置とは別個に構成される画像処理装置に含まれるコンピュータによって実行可能なプログラムであって、前記プログラムの前記コンピュータによる実行は、前記コンピュータに、
（ａ）前記車両用装置から送信された、前記車両に搭載された複数のカメラでそれぞれ得られた複数の撮影画像を受信する工程と、
（ｂ）前記複数の撮影画像に基づいて、仮想視点からみた前記車両の周辺の領域を示す合成画像を生成する工程と、
（ｃ）前記合成画像を前記車両用装置に送信する工程と、
を実行させることを特徴とするプログラム。
【請求項１９】
車両で用いられる車両用装置と、前記車両用装置とは別個に構成される画像処理装置とを用いて画像を表示する画像表示方法であって、
（ａ）前記車両用装置が、前記車両に搭載された複数のカメラでそれぞれ得られた複数の撮影画像を取得する工程と、
（ｂ）前記複数の撮影画像を前記車両用装置から前記画像処理装置に送信する工程と、
（ｃ）前記画像処理装置が、前記複数の撮影画像に基づいて、仮想視点からみた前記車両の周辺の領域を示す合成画像を生成する工程と、
（ｄ）前記合成画像を前記画像処理装置から前記車両用装置に送信する工程と、
（ｅ）前記車両用装置が、前記合成画像を表示装置に出力して表示させる工程と、
を備えることを特徴とする画像表示方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【公開番号】特開２０１３−２１４６８（Ｐ２０１３−２１４６８Ａ）
【公開日】平成２５年１月３１日（２０１３．１．３１）
【国際特許分類】
【出願番号】特願２０１１−１５２５４１（Ｐ２０１１−１５２５４１）
【出願日】平成２３年７月１１日（２０１１．７．１１）
【出願人】（０００２３７５９２）富士通テン株式会社 (3,383)
【Ｆターム（参考）】
【公開日】平成２５年１月３１日（２０１３．１．３１）
【国際特許分類】
【出願日】平成２３年７月１１日（２０１１．７．１１）
【出願人】（０００２３７５９２）富士通テン株式会社 (3,383)
【Ｆターム（参考）】
[ Back to top ]