情報処理システム、サーバ装置、および、車載装置
【課題】車両が走行する地点に応じた表示態様の画像をユーザに提供する。
【解決手段】複数の車両からユーザが撮影画像の表示態様を切替えた地点の当該表示態様を示すデータをサーバ装置で取得し、一の地点でユーザの使用頻度が最も高い表示態様のデータを代表態様として地点と対応付けて記憶する。そして、車両が代表態様の情報が記録された地点を走行する際に、サーバ装置から車両に代表態様の情報を送信して車両のディスプレイに当該表示態様に基づく画像を表示させる。これにより、複数の車両が実際に走行した車両の位置に対応する地点における撮影画像の最適な表示態様を取得できる。また、当該地点を初めて走行するユーザに撮影画像の最適な表示態様を提供できる。
【解決手段】複数の車両からユーザが撮影画像の表示態様を切替えた地点の当該表示態様を示すデータをサーバ装置で取得し、一の地点でユーザの使用頻度が最も高い表示態様のデータを代表態様として地点と対応付けて記憶する。そして、車両が代表態様の情報が記録された地点を走行する際に、サーバ装置から車両に代表態様の情報を送信して車両のディスプレイに当該表示態様に基づく画像を表示させる。これにより、複数の車両が実際に走行した車両の位置に対応する地点における撮影画像の最適な表示態様を取得できる。また、当該地点を初めて走行するユーザに撮影画像の最適な表示態様を提供できる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の表示処理に関する。
【背景技術】
【０００２】
従来、車両周辺の撮影画像を表示装置のディスプレイに表示する場合、ユーザの選択した表示態様の画像を表示していた。しかし、表示態様を選択するユーザ操作が車両を運転する際に行われる場合、ユーザの運転に対する注意が散漫となるときがあった。これに対して、特許文献１には過去に車両が走行した地点近傍での表示態様の使用履歴により、当該地点に車両が近づいた場合、当該地点近傍での使用頻度が最も高い表示態様の画像を表示装置のディスプレイに表示する技術が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−３０４４１６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載の技術では表示態様の使用履歴が、一の地点を車両が走行する場合に当該地点近傍の走行環境に応じてユーザが選択した表示態様の履歴なのか、当該地点を車両が走行することに関係なく当該地点に車両が接近する前から使用されていた表示態様の履歴なのかが不明確であった。そのため、表示態様の履歴が当該地点の走行環境に応じてユーザが選択したものでない場合、使用頻度の最も高い表示態様に対応する画像をディスプレイに表示しても、車両が走行する地点に対する最適な表示態様をユーザに提供できないことがあった。
【０００５】
本発明は上記課題に鑑みてなされたものであり、車両が走行する地点に対応した最適な表示態様をユーザに提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、請求項１の発明は、情報処理システムであって、車両で使用されて該車両の周辺の撮影画像を異なる表示態様で表示可能な第１車載装置と、車両で使用されて該車両の周辺の撮影画像を異なる表示態様で表示可能な第２車載装置と、前記第１車載装置及び前記第２車載装置と通信可能なサーバ装置と、を備え、（ａ）前記第１車載装置は、（ａ−１）現在の車両の位置を取得する取得手段と、（ａ−２）前記撮影画像の表示態様をユーザが切り替えたときの車両の位置と、切り替え後の前記表示態様とを含む車両情報を前記サーバ装置に送信する送信手段と、を備え、（ｂ）前記サーバ装置は、（ｂ−１）複数の車両の前記第１車載装置から前記車両情報を取得する取得手段と、（ｂ−２）前記車両情報に基づいて、前記車両情報が示す車両の位置において使用頻度が最も高い表示態様である代表態様を特定する特定手段と、（ｂ−３）車両の位置と、該位置の前記代表態様とを対応付けて記憶する記憶手段と、（ｂ−４）前記第２車載装置に、前記代表態様を送信する送信手段と、を備え、（ｃ）前記第２車載装置は、（ｃ−１）現在の車両の位置を取得する取得手段と、（ｃ−２）現在の車両の位置に対応する前記代表態様で前記撮影画像を表示する表示手段と、を備える。
【０００７】
また、請求項２の発明は、情報処理システムであって、車両で使用されて該車両の周辺の撮影画像を異なる表示態様で表示可能な車載装置と、前記車載装置と通信可能なサーバ装置と、を備え、（ａ）前記車載装置は、現在の車両の位置を取得する取得手段と、前記撮影画像の表示態様をユーザが切り替えたときの車両の位置と、切り替え後の前記表示態様とを含む車両情報を前記サーバ装置に送信する送信手段と、を備え、（ｂ）前記サーバ装置は、複数の車両の前記車載装置から前記車両情報を取得する取得手段と、前記車両情報に基づいて、前記車両情報が示す車両の位置において使用頻度が最も高い表示態様である代表態様を特定する特定手段と、を備える。
【０００８】
また、請求項３の発明は、情報処理システムであって、車両で使用されて該車両の周辺の撮影画像を異なる表示態様で表示可能な車載装置と、前記車載装置と通信可能なサーバ装置と、を備え、（ａ）前記サーバ装置は、車両の位置と、該位置において前記異なる表示態様のうち使用頻度が最も高い表示態様である代表態様とを対応付けて記憶する記憶手段と、前記車載装置に、前記代表態様を送信する送信手段と、を備え、（ｂ）前記車載装置は、現在の車両の位置を取得する取得手段と、現在の車両の位置に対応する前記代表態様で前記撮影画像を表示する表示手段と、を備える。
【０００９】
また、請求項４の発明は、車両で使用されて該車両の周辺の撮影画像を異なる表示態様で表示可能な車載装置と通信可能なサーバ装置であって、前記撮影画像の表示態様をユーザが切り替えたときの車両の位置と、切り替え後の前記表示態様とを含む車両情報を、複数の車両の前記車載装置から取得する取得手段と、前記車両情報に基づいて、前記車両情報が示す車両の位置において使用頻度が最も高い表示態様である代表態様を特定する特定手段と、を備える。
【００１０】
また、請求項５の発明は、車両で使用されて該車両の周辺の撮影画像を異なる表示態様で表示可能な車載装置と通信可能なサーバ装置であって、車両の位置と、該位置において前記異なる表示態様のうち使用頻度が最も高い表示態様である代表態様とを対応付けて記憶する記憶手段と、前記車載装置に、前記代表態様を送信する送信手段と、を備える。
【００１１】
また、請求項６の発明は、請求項５に記載のサーバ装置において、前記車載装置が使用される車両の位置を取得する取得手段、をさらに備え、前記送信手段は、前記車載装置が使用される車両の位置に対応する前記代表態様を送信する。
【００１２】
また、請求項７の発明は、請求項５に記載のサーバ装置において、前記送信手段は、前記記憶手段に記憶される全ての前記代表態様を一度に送信する。
【００１３】
また、請求項８の発明は、車両で使用されて該車両の周辺の撮影画像を異なる表示態様で表示可能な車載装置であって、現在の車両の位置を取得する取得手段と、前記撮影画像の表示態様をユーザが切り替えたときの車両の位置と、切り替え後の前記表示態様とを含む車両情報を、所定のサーバ装置に送信する送信手段と、を備える。
【００１４】
また、請求項９の発明は、車両で使用されて該車両の周辺の撮影画像を異なる表示態様で表示可能な車載装置であって、現在の車両の位置を取得する第１取得手段と、車両の位置と、該位置において前記異なる表示態様のうち使用頻度が最も高い表示態様である代表態様とを対応付けて記憶するサーバ装置から、前記代表態様を取得する第２取得手段と、現在の車両の位置に対応する前記代表態様で前記撮影画像を表示する表示手段と、を備える。
【００１５】
また、請求項１０の発明は、請求項９に記載の車載装置において、前記第２取得手段は、前記第１取得手段に取得された車両の位置に対応する前記代表態様を取得する。
【００１６】
また、請求項１１の発明は、請求項９に記載の車載装置において、前記代表態様を記憶する記憶手段、をさらに備え、前記第２取得手段は、前記記憶手段に記憶される全ての前記代表態様を一度に取得し、前記記憶手段に記憶させる。
【００１７】
また、請求項１２の発明は、情報処理システムであって、車両で使用されて該車両の周辺の撮影画像を異なる表示態様で表示可能な表示手段と、現在の車両の位置を取得する取得手段と、前記撮影画像の表示態様をユーザが切替えたときの前記車両の位置と、切り替え後の前記表示態様とを含む車両情報に基づいて、前記車両情報が示す車両の位置において使用頻度が最も高い表示態様である代表態様を特定する特定手段と、前記車両の位置と、該位置の前記代表態様とを対応付けて記憶する記憶手段と、を備え、前記表示手段は、前記現在の車両の位置に対応する前記代表態様で前記撮影画像を表示する。
【発明の効果】
【００１８】
請求項１の発明によれば、現在の車両の位置に対応する代表態様で撮影画像を表示することで、複数の車両が実際に走行した車両の位置に対応する地点における撮影画像の最適な表示態様を取得できる。また、当該地点を初めて走行するユーザに撮影画像の最適な表示態様を提供できる。
【００１９】
また、請求項２の発明によれば、取得手段が取得した車両情報に基づいて、車両情報が示す車両の位置において使用頻度が最も高い表示態様である代表態様を特定することで、複数の車両が実際に走行した車両の位置に対応する地点における撮影画像の最適な表示態様を取得できる。
【００２０】
また、請求項３の発明によれば、現在の車両の位置に対応する代表態様で撮影画像を表示することで、車両の位置に対応する地点を初めて走行するユーザに撮影画像の最適な表示態様を提供できる。
【００２１】
また、請求項４の発明によれば、取得手段が取得した車両情報に基づいて、車両情報が示す車両の位置において使用頻度が最も高い表示態様である代表態様を特定することで、複数の車両が実際に走行した車両の位置に対応する地点における撮影画像の最適な表示態様を取得できる。
【００２２】
また、請求項５の発明によれば、車載装置に、代表態様を送信することで、車両の位置に対応する地点を初めて走行するユーザに撮影画像の最適な表示態様を提供できる。
【００２３】
また、請求項６の発明によれば、送信手段が車載装置で使用される車両の位置に対応する代表態様を送信することで、車両の位置に対応する地点を初めて走行するユーザに撮影画像の最適な表示態様を提供できる。
【００２４】
また、請求項７の発明によれば、送信手段は、記憶手段に記憶される全ての代表態様を一度に送信することで、複数の地点ごとの撮影画像の最適な表示態様を車両のユーザに提供できる。
【００２５】
また、請求項８の発明によれば、撮影画像の表示態様をユーザが切り替えたときの車両の位置と、切り替え後の前記表示態様とを含む車両情報を、所定のサーバ装置に送信することで、複数の車両が実際に走行した車両の位置に対応する地点における撮影画像の表示態様をサーバ装置に提供できる。
【００２６】
また、請求項９の発明によれば、現在の車両の位置に対応する代表態様で撮影画像を表示することで、車両の位置に対応する地点を初めて走行するユーザに撮影画像の最適な表示態様を提供できる。
【００２７】
また、請求項１０の発明によれば、第２取得手段は、第１取得手段に取得された車両の位置に対応する代表態様を取得することで、車両の位置に対応する地点を初めて走行するユーザに撮影画像の最適な表示態様を提供できる。また、予め複数の地点における撮影画像の代表態様を記憶する必要がないことから、車載装置のメモリに記憶する容量を削減できる。
【００２８】
また、請求項１１の発明によれば、第２取得手段は、記憶手段に記憶される全ての代表態様を一度に取得し、記憶手段に記憶させることで、複数の地点における撮影画像の代表態様を予め取得できる。
【００２９】
さらに、請求項１２の発明によれば、表示手段は、現在の車両の位置に対応する表示態様で撮影画像を表示することで、車両の位置に対応する地点を初めて走行するユーザに撮影画像の最適な表示態様を提供できる。
【図面の簡単な説明】
【００３０】
【図１】図１は、画像の表示態様の通信を行う情報処理システムの概要を示す図である。
【図２】図２は、車載装置のブロック図である。
【図３】図３は、車載カメラが車両に配置される位置を示す図である。
【図４】図４は、合成画像を生成する手法を説明するための図である。
【図５】図５は、サーバ装置のブロック図である。
【図６】図６は、車載装置のブロック図である。
【図７】図７は、車載装置の動作モードの遷移を示す図である。
【図８】図８は、フロントモードにおける表示態様の遷移を示す図である。
【図９】図９は、表示装置に表示される画像に対応する領域を示した図である。
【図１０】図１０は、表示装置の記憶部に記憶される車両情報を示す図である。
【図１１】図１１は、サーバ装置のデータ記憶部に記憶される集計データを示す図である。
【図１２】図１２は、サーバ装置のデータ記憶部に記憶される地点データを示す図である。
【図１３】図１３は、車載装置からサーバ装置へ車両情報を送信する処理を示すフローチャートである。
【図１４】図１４は、サーバ装置から車載装置に個別地点データを送信する処理フローチャートである。
【図１５】図１５は、サーバ装置から車載装置に個別地点データを送信する処理フローチャートである。
【図１６】図１６は、車載装置のブロック図である。
【図１７】図１７は、サーバ装置から車載装置に地点データを送信する処理フローチャートである。
【図１８】図１８は、サーバ装置から車載装置に地点データを送信する処理フローチャートである。
【発明を実施するための形態】
【００３１】
以下、図面を参照しつつ本発明の実施の形態について説明する。
【００３２】
＜実施の形態１＞
＜１．構成＞
＜１−１．全体のシステム概要＞
図１は、画像の表示態様に関する情報の通信を行う情報処理システム１３０の概要を示す図である。情報処理システム１３０は、車両Ａ１ａ、Ａ１ｂ、Ａ１ｃ、Ａ１ｄなどの複数の車両にそれぞれ搭載される車載装置１２０ａ、１２０ｂ、１２０ｃ、１２０ｄと、所定のセンターに配置されたサーバ装置９とを含んで構成される。
【００３３】
自動車などの車両Ａ１ａ、Ａ１ｂ、Ａ１ｃ（以下、「車両Ａ１」ともいう。）に搭載される車載装置１２０ａ、１２０ｂ、１２０ｃ（以下、「送信側車載装置１２０」ともいう。）は、表示装置の通信部（例えば、図２に示す表示装置２０の通信部２３）を介してサーバ装置９との通信を行う。
【００３４】
サーバ装置９は送信側車載装置１２０のディスプレイ（例えば、図２に示す「ディスプレイ２４」）に表示される撮影画像の表示態様の情報を送信側車載装置１２０との通信により取得し、当該表示態様の情報を処理して記憶する。そして、サーバ装置９は、車両Ａ１ｄの走行する位置に対応する地点における撮影画像の表示態様に関する情報を受信側車載装置１２０ｄに送信する。
【００３５】
車載装置１２０ｄは、サーバ装置９から取得した表示態様に関する情報により、複数のカメラ（図４に示すカメラ５１、５２、５３、５４）の少なくとも一つを用いて撮影された画像をディスプレイ（例えば、図２に示すディスプレイ２４）に表示する。以下、この車載装置１２０ｄを「受信側車載装置１２０ｄ」ともいう。これにより、複数の車両が実際に走行した車両の位置に対応する地点における撮影画像の最適な表示態様を取得できる。また、当該地点を初めて走行するユーザに撮影画像の最適な表示態様を提供できる。
【００３６】
＜１−２．送信側車載装置＞
図２は、車載装置１２０ａ、１２０ｂ、１２０ｃのブロック図である。この送信側車載装置１２０は、車両Ａ１a、Ａ１ｂ、Ａ１ｃの周辺を撮影して画像を生成し、生成した画像を車室内の表示装置２０に出力する機能を有している。車両Ａ１のユーザ（代表的にはドライバ）は、送信側車載装置１２０を利用することにより、当該車両の周辺の様子をほぼリアルタイムに把握できるようになっている。
【００３７】
図２に示すように、送信側車載装置１２０は、表示装置２０と、車両の周辺を示す周辺画像を生成して表示装置２０に画像情報を出力する画像処理装置１００と、車両の周囲を撮影するカメラを備えている撮影部５とを主に有している。
【００３８】
表示装置２０は、ナビゲーション案内を表示するディスプレイを有するナビゲーション装置、音楽のタイトル情報やテレビの映像などを表示するディスプレイを備えたオーディオ装置、ユーザが携帯し車両Ａ１内へ持ち込んで使用可能なスマートフォンなどである。
【００３９】
また、表示装置２０は装置全体を制御する制御部２１と、制御部２１の処理データなどを記憶する記憶部２２と、サーバ装置９との間で通信を行う通信部２３と、タッチパネル機能を備えた液晶などのディスプレイ２４と、ユーザが操作を行う操作部２５とを備えている。そして、ディスプレイ２４の画面がユーザから視認可能なように、表示装置２０は車両Ａ１のインストルメントパネルなどに設置される。ユーザからの各種の指示は、操作部２５とタッチパネルとしてのディスプレイ２４とによって受け付けられる。
【００４０】
制御部２１は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えたコンピュータであり、所定のプログラムに従ってＣＰＵが演算処理を行うことでナビゲーション機能を含む各種の機能が実現される。
【００４１】
制御部２１は、主に表示制御部２０１、および、位置導出部２０２の機能を備えている。表示制御部２０１は、操作部２５などからのユーザの操作に伴いディスプレイ２４に表示される車載カメラの撮影画像の表示態様を制御する。つまり、車両Ａ１の周辺の撮影画像を異なる表示態様で表示する制御を行う。
【００４２】
位置導出部２０２は、車両Ａ１の位置に対応する緯度・経度情報を導出する。このような車両Ａ１の位置情報の導出が行われるのは、例えば、ディスプレイ２４に表示される車載カメラの撮影画像の表示形態をユーザが切り替えたときである。このような車両Ａ１の位置はＧＰＳ（Ｇｌｐｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）衛星からの電波の信号を受信し、受信した信号を制御部２１で処理することにより実現される。ＧＰＳは、地球を周回する多数のＧＰＳ衛星のうち少なくとも３つ以上の衛星からの電波に基づいて車両Ａ１の位置を測位するシステムである。
【００４３】
記憶部２２は、制御部１が表示装置２０を制御するプログラムを記憶する。また、記憶部２２は、ディスプレイ２４に表示される車載カメラの撮影画像の表示態様をユーザが切替えたときの車両Ａ１の位置情報と、ユーザによる切替え後の撮影画像の表示態様とを含む情報である車両情報（例えば、図１０に示す車両情報ＴＡ１、ＴＡ２、ＴＡ３）を記憶する。つまり、車両ごとに走行地点におけるユーザの撮影画像の切り替え操作がトリガとなって、切り替え後の撮影画像の表示態様と、切り替えが行われた地点情報とを記憶部２２に記憶する。
【００４４】
通信部２３は表示装置２０とサーバ装置９との通信を行うインターフェースであり、記憶部２２に記憶された車両情報ＴＡ１、ＴＡ２、ＴＡ３（以下、「車両情報ＴＡ」ともいう。）をサーバ装置９に送信する。これにより、複数の車両が実際に走行した車両の位置に対応する地点における撮影画像の最適な表示態様を取得できる。なお、サーバ装置９への車両情報ＴＡの送信は、所定のデータ数が記憶部２２に蓄積された場合に行われる。
【００４５】
また、車両情報ＴＡのサーバ装置９への送信は、記憶部２２に車両情報ＴＡを記憶せずに車両情報ＴＡが取得された際に通信部２３を介して行うようにしてもよい。つまり、ディスプレイ２４に表示された撮影画像の表示態様がユーザの操作により切り替えられたときに、切り替えに伴う車両情報ＴＡをサーバ装置９に送信するようにしてもよい。
【００４６】
ディスプレイ２４は、各種画像を表示する表示部であり、表示制御部２０１の制御により、通常は表示装置２０単体の機能に基づく画像を表示する。そして、所定の条件下で画像処理装置１００で生成された車両Ａ１の周辺の様子を示す周辺画像を表示する。また、ディスプレイ２４は、車両Ａ１、および、車両Ａ１の周辺領域を俯瞰した俯瞰画像を表示する。さらに、ディスプレイ２４に表示される俯瞰画像は周辺領域をほぼリアルタイムに示すことになる。これにより、表示装置２０は、画像処理装置１００で生成された周辺画像を受信して表示する装置としても機能する。
【００４７】
操作部２５は、表示装置２０の各種機能を実現するためにユーザが操作を行うものであり、例えば、表示装置２０に設けられたハードスイッチなどである。また、操作部２５をユーザが操作することでディスプレイ２４に表示された車載カメラの撮影画像の表示態様を切り替えることができる。
【００４８】
画像処理装置１００は、その本体部１０が周辺画像を生成する機能を有するＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）であり、車両Ａ１の所定の位置に配置される。画像処理装置１００は、撮影部５で車両Ａ１の周辺を撮影して得られる撮影画像に基づいて仮想視点からみた合成画像を生成する画像生成装置として機能する。また、画像処理装置１００は撮影部５の一のカメラで撮影された画像を処理する装置としても機能する。撮影部５が備える複数の車載カメラ５１、５２、５３、５４は、本体部１０とは別の車両Ａ１の適位置に配置されるが詳細は後述する。
【００４９】
画像処理装置１００の本体部１０は、装置全体を制御する制御部１と、撮影部５で取得された撮影画像を処理して表示用の周辺画像を生成する画像処理部３を主に備えている。
【００５０】
表示装置２０の操作部２５、および、ディスプレイ２４のいずれかによって受け付けられたユーザからの各種の指示は、制御信号として通信部４１によって受け付けられて制御部１に入力される。これにより、画像処理装置１００は、表示装置２０に対するユーザの操作に応答した動作が可能となっている。
【００５１】
また、画像処理装置１００は、切替ボタン３０１を備えている。切替ボタン３０１がユーザに操作されると、ユーザの指示を示す信号が制御部１に入力されて、後述するフロントモード（例えば、図８に示すフロントモードＭ２。）の表示態様の画像がディスプレイ２４に表示される。なお、切替ボタン３０１はハードボタンとして表示装置２０に設けられてもよい。また、切替ボタン３０１は、表示装置２０のディスプレイ２４にユーザが指などをディスプレイ２４に接触させて操作するタッチパネルのボタンとして表示されるようにしてもよい。
【００５２】
画像処理部３は、各種の画像処理が可能なハードウェア回路として構成されており、画像取得部３１、合成画像生成部３２、および、画像送信部３３を主な機能として備えている。
【００５３】
画像取得部３１は、車両Ａ１の周辺を撮影する撮影部５の車載カメラ５１、５２、５３、５４で撮影された複数の撮影画像を取得する。
【００５４】
合成画像生成部３２は、車載カメラ５１、５２、５３、５４で取得された複数の撮影画像に基づいて、車両の周辺の任意の仮想視点からみた合成画像を生成する。合成画像生成部３２が仮想視点からみた合成画像を生成する手法については後述する。
【００５５】
また、画像送信部３３は合成画像生成部３２において生成された合成画像、および、その他の画像（たとえば、一のカメラで撮影された画像）の少なくとも一つを通信部４１を介して表示装置２０へ送信する。これにより、車両の周辺を示す周辺画像が表示装置２０のディスプレイ２４に表示される。
【００５６】
制御部１は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えたコンピュータであり、所定のプログラムに従ってＣＰＵが演算処理を行うことで各種の制御機能が実現される。図中に示す画像制御部１０１は、このようにして実現される制御部１の機能のうちの一部である。
【００５７】
画像制御部１０１は、画像処理部３によって実行される画像処理を制御するものである。例えば、画像制御部１０１は、合成画像生成部３２が生成する合成画像の生成に必要な各種パラメータを指示する。なお、このようなパラメータの指示は例えば、撮影画像の表示態様の切り替えに伴うユーザ操作の指示信号を制御部１が受信した場合に、画像制御部１０１が行う。
【００５８】
また、画像処理装置１００の本体部１０は、不揮発性メモリ４０、通信部４１、および、信号入力部４２をさらに備えており、これらは制御部１に接続されている。
【００５９】
不揮発性メモリ４０は、電源オフ時においても記憶内容を維持可能なフラッシュメモリなどで構成されている。不揮発性メモリ４０には、車種別情報４ａが記憶されている。車種別情報４ａは、合成画像生成部３２が合成画像を生成する際に必要となる車両の種別に応じたデータを含んでいる。
【００６０】
通信部４１は、画像処理装置１００が表示装置２０との間で通信を行うためのインターフェースである。
【００６１】
信号入力部４２は、車両Ａ１に設けられた各種装置からの信号の入力が行われる際のインターフェースである。信号入力部４２を介して、送信側車載装置１２０の外部からの信号が制御部１に入力される。具体的には、シフトセンサ８１、車速センサ８２、方向指示器８３、および、操舵角センサ８４などから、各種情報を示す信号が制御部１に入力される。
【００６２】
シフトセンサ８１からは、車両Ａ１の変速装置のシフトレバーの操作の位置、すなわち、”Ｐ（駐車）”，”Ｄ（前進）”，”Ｎ（中立）”，”Ｒ（後退）”などのシフトポジションが入力される。車速センサ８２からは、その時点の車両Ａ１の走行速度（ｋｍ／ｈ）が入力される。
【００６３】
方向指示器８３からは、ウインカースイッチの操作に基づく方向指示、すなわち、車両Ａ１のドライバが意図する方向指示を示すターン信号が入力される。ウインカースイッチが操作されたときはターン信号が発生し、ターン信号はその操作された方向（左方向あるいは右方向）を示すことになる。ウインカースイッチが中立位置となったときは、ターン信号はオフとなる。
【００６４】
操舵角センサ８４からは、ユーザが操作したステアリングホイールの操作方向が制御部１に入力される。詳細には、操舵角センサ８４には、ユーザが操作したステアリングホイールの回転方向、回転角度、及び、回転速度が信号入力部４２を介して制御部１に入力される。
【００６５】
＜１−３．撮影部＞
次に、画像処理装置１００の撮影部５について詳細に説明する。撮影部５は、制御部１に電気的に接続され、制御部１からの信号に基づいて動作する。
【００６６】
撮影部５は、車載カメラであるフロントカメラ５１、バックカメラ５２、左サイドカメラ５３、および、右サイドカメラ５４を備えている。これらの車載カメラ５１、５２、５３、５４はそれぞれ、ＣＣＤやＣＭＯＳなどの撮像素子を備えており電子的に画像を取得する。
【００６７】
図３は、車載カメラ５１、５２、５３、５４が車両Ａ１およびＡ１ｄに配置される位置を示す図である。なお、以下の説明においては、車両Ａ１を例に説明を行う。また、方向及び向きを示す際に、適宜、図中に示す３次元のＸＹＺ直交座標を用いる。このＸＹＺ軸は車両Ａ１に対して相対的に固定される。ここで、Ｘ軸方向は車両Ａ１の左右方向に沿い、Ｙ軸方向は車両Ａ１の直進方向（前後方向）に沿い、Ｚ軸方向は鉛直方向に沿っている。また、便宜上、＋Ｘ側を車両Ａ１の右側、＋Ｙ側を車両Ａ１の後側、＋Ｚ側を上側とする。
【００６８】
フロントカメラ５１は、車両Ａ１の前端にあるナンバープレート取付位置の近傍に設けられ、その光軸５１ａは車両Ａ１の直進方向（平面視でＹ軸方向の−Ｙ側）に向けられている。バックカメラ５２は、車両Ａ１の後端にあるナンバープレート取付位置の近傍に設けられ、その光軸５２ａは車両Ａ１の直進方向の逆方向（平面視でＹ軸方向の＋Ｙ側）に向けられている。また、左サイドカメラ５３は、左のドアミラー９３に設けられており、右サイドカメラ５４は右のドアミラー９４に設けられている。そして、光軸５３ａは車両Ａ１の左方向、光軸５４ａは車両Ａ１の右方向（平面視でＸ軸方向）に沿って外部に向けられている。なお、フロントカメラ５１やバックカメラ５２の取り付け位置は、左右略中央であることが望ましいが、左右中央から左右方向に多少ずれた位置であってもよい。
【００６９】
これらの車載カメラ５１、５２、５３、５４のレンズとしては魚眼レンズなどが採用されており、車載カメラ５１、５２、５３、５４は１８０度以上の画角αを有している。このため、４つの車載カメラ５１、５２、５３、５４を利用することで、車両Ａ１の全周囲の撮影が可能となっている。
【００７０】
＜１−３．画像変換処理＞
次に、画像処理部３の合成画像生成部３２が、撮影部５で得られた複数の撮影画像に基づいて車両Ａ１およびＡ１ｄの周辺を任意の仮想視点からみた様子を示す合成画像を生成する手法について説明する。合成画像を生成する際には、不揮発性メモリ４０に予め記憶された車種別情報４ａが利用される。図４は、合成画像を生成する手法を説明するための図である。なお、以下の画像変換処理の説明では車両Ａ１の処理を例に説明を行うが、車両Ａ１ｄについても同様の画像変換処理が行われる。
【００７１】
撮影部５のフロントカメラ５１、バックカメラ５２、左サイドカメラ５３、および、右サイドカメラ５４で同時に撮影が行われると、車両Ａ１の前方、後方、左側方、および、右側方をそれぞれ示す４つの撮影画像Ｐ１〜Ｐ４が取得される。すなわち、撮影部５で取得される４つの撮影画像Ｐ１〜Ｐ４には、撮影時点の車両Ａ１の全周囲を示す情報が含まれていることになる。
【００７２】
次に、４つの撮影画像Ｐ１〜Ｐ４の各画素が、仮想的な三次元空間における立体曲面ＳＰに投影される。立体曲面ＳＰは、例えば略半球状（お椀形状）をしており、その中心部分（お椀の底部分）が車両Ａ１の存在する位置として定められている。撮影画像Ｐ１〜Ｐ４に含まれる各画素の位置と、立体曲面ＳＰの各画素の位置とは予め対応関係が定められている。このため、立体曲面ＳＰの各画素の値は、この対応関係と撮影画像Ｐ１〜Ｐ４に含まれる各画素の値とに基づいて決定できる。
【００７３】
撮影画像Ｐ１〜Ｐ４の各画素の位置と立体曲面ＳＰの各画素の位置との対応関係は、車両Ａ１における４つの車載カメラ５１、５２、５３、５４の配置（相互間距離、地上高さ、光軸角度等）に依存する。このため、この対応関係を示すテーブルデータが、不揮発性メモリ４０に記憶された車種別情報４ａに含まれている。
【００７４】
また、車種別情報４ａに含まれる車体の形状やサイズを示すポリゴンデータが利用され、車両Ａ１の三次元形状を示すポリゴンモデルである車両像を仮想的に備えている。構成された車両像は、立体曲面ＳＰが設定される三次元空間において、車両Ａ１の位置と定められた略半球状の中心部分に配置される。
【００７５】
さらに、立体曲面ＳＰが存在する三次元空間に対して、制御部１により仮想視点ＶＰが設定される。仮想視点ＶＰは、視点位置と視野方向とで規定され、この三次元空間における車両Ａ１の周辺に相当する任意の視点位置に任意の視野方向に向けて設定される。
【００７６】
そして、設定された仮想視点ＶＰに応じて、立体曲面ＳＰにおける必要な領域が画像として切り出される。仮想視点ＶＰと、立体曲面ＳＰにおける必要な領域との関係は予め定められており、テーブルデータとして不揮発性メモリ４０等に予め記憶されている。つまり、設定された仮想視点ＶＰに応じて画像の領域が切り出されて、ポリゴンで構成された車両像に関してレンダリングがなされ、その結果となる二次元の車両像が、切り出された画像に対して重畳される。これにより、車両Ａ１および車両Ａ１の周辺を任意の仮想視点からみた様子を示す合成画像が生成されることになる。
【００７７】
例えば、視点位置が車両Ａ１の位置の略中央の直上位置で、視野方向が略直下方向とした仮想視点ＶＰ１を設定した場合は、車両Ａ１の略直上から車両Ａ１を見下ろすように、車両Ａ１（実際には車両像）及び車両Ａ１の周辺の様子を示す合成画像ＣＰ１が生成される。また、図中に示すように、視点位置が車両Ａ１の位置の左後方で、視野方向が車両Ａ１における略前方とした仮想視点ＶＰ２を設定した場合は、車両Ａ１の左後方からその周辺全体を見渡すように、車両Ａ１（実際には車両像）及び車両Ａ１の周辺の様子を示す合成画像ＣＰ２が生成される。
【００７８】
なお、実際に合成画像を生成する場合においては、立体曲面ＳＰの全ての画素の値を決定する必要はなく、設定された仮想視点ＶＰに対応して必要となる領域の画素の値のみを撮影画像Ｐ１〜Ｐ４に基づいて決定することで、処理速度を向上できる。
【００７９】
＜１−４．サーバ装置＞
図５は、サーバ装置９のブロック図である。サーバ装置９は、車両Ａ１の送信側車載装置１２０から収集した撮影画像の表示態様を含むデータを処理し、車両Ａ１ｄの受信側車載装置１２０ｄに表示態様に関するデータを送信する。サーバ装置９は、制御部９１、データ記録部９２、および、通信部９５を主に備えている。
【００８０】
制御部９１はＣＰＵ、ＲＡＭ、および、ＲＯＭなどを備えたコンピュータであり、所定のプログラムに従ってＣＰＵが演算処理を行うことで各種の制御機能が実現される。図中に示す取得部９１１、および、特定部９１２は、このようにして実現される制御部１の機能のうちの一部である。
【００８１】
取得部９１１は、送信側車載装置１２０から送信される車両情報ＴＡを取得する。つまり、撮影画像の表示態様をユーザが切替えたときの車両Ａ１の位置情報（車両Ａ１の緯度・経度情報）と、ユーザによる切替え後の撮影画像の表示態様とを含む車両情報ＴＡを取得する。
【００８２】
特定部９１２は、車両情報ＴＡにおける車両Ａ１の位置に対応する地点で使用頻度の最も高い表示態様である代表態様を特定する。つまり、ディスプレイ２４に表示される撮影画像の表示態様をユーザが切替えた場合に、ユーザによる切替え後の撮影画像の表示態様のうち最も使用回数の多い表示態様を代表態様として特定する。これにより複数の車両が実際に走行した車両の位置に対応する地点における撮影画像の最適な表示態様を取得できる。
【００８３】
データ記録部９２には、集計データ（例えば、図１１に示す集計データＴＤ）、および、地点データ（例えば、図１２に示す地点データＴＰ）を含むデータを記録する。集計データＴＤは、複数の車両Ａ１から送信され、取得部９１１が取得した車両情報ＴＡを集計したデータである。つまり、集計データＴＤは、ユーザがディスプレイ２４に表示される撮影画像を切替えたときの車両Ａ１の位置情報と、ユーザによる切替え後の撮影画像の表示態様とを含む車両情報ＴＡを蓄積したものである。
【００８４】
また、地点データＴＰは、集計データＴＤのデータに基づいて、車両Ａ１の位置に対応する地点における撮影画像の代表態様を特定部９１２が特定したデータである。つまり、地点データＴＰは、ディスプレイ２４に表示される撮影画像の表示態様をユーザが切替えたときの車両Ａ１の位置において、ユーザによる切替え後の撮影画像の表示態様のうち使用頻度が最も高い表示態様を含むデータを蓄積したものである。このように複数の車両が実際に走行した車両の位置に対応する地点における撮影画像の最適な表示態様を取得できる。
【００８５】
通信部９５は、サーバ装置９が送信側車載装置１２０、および、受信側車載装置１２０ｄとの情報の送受信を行うためのインターフェースである。そして、通信部９５を介してサーバ装置９から受信側車載装置１２０ｄに車両Ａ１ｄの位置に対応する地点の地点データを送信することで、車両の位置に対応する地点を初めて走行するユーザに最適な表示態様を提供できる。なお、サーバ装置９から受信側車載装置１２０ｄに送信する地点データは地点データＴＰに記録されたデータのうちの車両Ａ１ｄの位置に対応する地点のデータであり、後述する個別地点データ（例えば、図１２に示す個別地点データｔｐ１）である。
【００８６】
＜１−５．受信側車載装置＞
図６は、受信側車載装置１２０ｄのブロック図である。受信側車載装置１２０ｄは受信側車載装置１２０ｄを搭載する車両１ｄが走行する位置に対応する地点の代表態様の情報をサーバ装置９から受信する。なお、受信側車載装置１２０ｄの構成は、サーバ装置９に車両情報ＴＡを送信する送信側車載装置１２０の構成と略同一の構成であるが、一部が相違する。以下相違点について説明する。
【００８７】
車両Ａ１に搭載された送信側車載装置１２０が、表示装置２０の記憶部２２にサーバ装置９に送信する車両情報ＴＡを記憶していたのに対して、受信側車載装置１２０ｄはサーバ装置９から取得した個別地点データｔｐ１を記録している
つまり、受信側車載装置１２０ｄは、サーバ装置９の地点データＴＰの中から車両Ａ１ｄの位置に対応した地点の代表態様を含む個別地点データｔｐ１を取得して、当該代表態様によりディスプレイ２４に表示される撮影画像の表示態様を表示制御部２０１が制御する。これにより、車両の位置に対応する地点を初めて走行するユーザに撮影画像の最適な表示態様を提供できる。また、複数の地点の代表態様を記憶部２２ｄに記憶する場合と比べて、予め複数の地点の代表態様を記憶する必要がないことから、表示装置２０ｄの記憶部２２ｄに記憶する容量を削減できる。
【００８８】
なお、サーバ装置９から送信された場合に、記憶部２２ｄに個別地点データｔｐ１を記憶せずに、個別地点データｔｐ１の代表態様によりディスプレイ２４に表示される撮影画像の表示態様を表示制御部２０１が制御するようにしてもよい。
【００８９】
＜１−６．動作モード＞
次に、送信側車載装置１２０、および、受信側車載装置１２０ｄの動作モードについて説明する。図７は、送信側車載装置１２０、および、受信側車載装置１２０ｄの動作モードの遷移を示す図である。送信側車載装置１２０、および、受信側車載装置１２０ｄは、ナビモードＭ０、周囲確認モードＭ１、フロントモードＭ２、バックモードＭ３の４つの動作モードを有している。これらの動作モードは、ユーザの操作や車両Ａ１およびＡ１ｄの走行状態に応じて制御部１の制御により切り替えられるようになっている。なお、以下の動作モードの説明では車両Ａ１ｄの処理を例に説明を行うが、車両Ａ１についても同様の画像変換処理が行われる。
ナビモードＭ０は、表示装置２０ｄの機能により、ナビゲーション案内用の地図画像などをディスプレイ２４に表示する動作モードである。ナビモードＭ０では、画像処理装置１００の機能が利用されず、表示装置２０ｄ単体の機能で各種の表示がなされる。このため、表示装置２０ｄが、テレビジョン放送の電波を受信して表示する機能を有している場合は、ナビゲーション案内用の地図画像に代えて、テレビジョン放送画面が表示されることもある。
【００９０】
これに対して、周囲確認モードＭ１、フロントモードＭ２、および、バックモードＭ３は、画像処理装置１００の機能を利用して、車両Ａ１ｄの周辺の状況をリアルタイムで示す表示用画像をディスプレイ２４に表示する動作モードである。
【００９１】
周囲確認モードＭ１は、車両Ａ１ｄを見下ろした状態で車両Ａ１ｄの周囲を周回するようなアニメーション表現を行う動作モードである。フロントモードＭ２は、前進時に必要となる車両Ａ１ｄの前方や側方を主に示す表示用画像を表示する動作モードである。また、バックモードＭ３は、後退時に必要となる車両Ａ１ｄの後方を主に示す表示用画像を表示する動作モードである。
【００９２】
受信側車載装置１２０ｄを起動すると、最初に周囲確認モードＭ１となる。周囲確認モードＭ１の場合には、車両Ａ１ｄの周囲を周回するようなアニメーション表現がなされた後に所定時間（例えば、６秒）が経過すると、自動的にフロントモードＭ２に切り替えられる。また、フロントモードＭ２の場合において、走行速度が例えば０ｋｍ／ｈの状態（停止状態）で切替ボタン３０１が所定時間以上継続して押下されると、周囲確認モードＭ１に切り替えられる。なお、ドライバからの所定の指示で、周囲確認モードＭ１からフロントモードＭ２に切り替えるようにしてもよい。
【００９３】
また、フロントモードＭ２の場合に走行速度が例えば１０ｋｍ／ｈ以上になったときは、ナビモードＭ０に切り替えられる。逆に、ナビモードＭ０の場合に車速センサ８２から入力される走行速度が例えば１０ｋｍ／ｈ未満になったときは、フロントモードＭ２に切り替えられる。
【００９４】
車両Ａ１ｄの走行速度が比較的高い場合においては、ドライバを走行に集中させるためにフロントモードＭ２が解除される。逆に、車両Ａ１ｄの走行速度が比較的低い場合においては、ドライバは車両Ａ１ｄの周辺の状況をより考慮した運転、具体的には、見通しの悪い交差点への進入、方向変更、あるいは、幅寄せなどを行っている場面が多い。このため、走行速度が比較的低い場合においては、ナビモードＭ０からフロントモードＭ２に切り替えられる。なお、ナビモードＭ０からフロントモードＭ２に切り替える場合は、走行速度が１０ｋｍ／ｈ未満という条件に、ドライバからの明示的な操作指示があるという条件を加えてもよい。
【００９５】
また、ナビモードＭ０の場合において、走行速度が例えば０ｋｍ／ｈの状態（停止状態）で切替ボタン３０１が所定時間以上継続して押下されると、周囲確認モードＭ１に切り替えられる。そして、車両Ａ１ｄの周囲を周回するようなアニメーション表現がなされた後に所定時間（例えば、６秒）が経過すると、自動的にもとのモードであるナビモードＭ０に切り替わる。
【００９６】
また、ナビモードＭ０あるいはフロントモードＭ２の場合に、シフトセンサ８１から入力されるシフトレバーの位置が”Ｒ（後退）”となったときは、バックモードＭ３に切り替えられる。すなわち、車両Ａ１ｄの変速装置が”Ｒ（後退）”の位置に操作されているときには、車両Ａ１ｄは後退する状態であるため、車両Ａ１ｄの後方を主に示すバックモードＭ３に切り替えられる。
【００９７】
一方、バックモードＭ３の場合に、シフトレバーの位置が”Ｒ（後退）”以外となったときは、その時点の走行速度を基準として、ナビモードＭ０あるいはフロントモードＭ２に切り替えられる。すなわち、走行速度が１０ｋｍ／ｈ以上であればナビモードＭ０に切り替えられ、走行速度が１０ｋｍ／ｈ未満であればフロントモードＭ２に切り替えられる。なお、上記のモードの切り替えの条件（例えば走行速度が０ｋｍ／ｈ、走行速度が１０ｋｍ／ｈ以上など）は、一例であり、その他の条件とすることもできる。
【００９８】
次に、これらの４つのモードのうちフロントモードＭ２の車両Ａ１ｄの周辺の表示態様について詳細に説明する。図８は、フロントモードＭ２における表示態様の遷移を示す図である。また、図９はディスプレイ２４に表示される画像に対応する領域を示した図である。なお、図９の車両Ａ１ｄの周辺の領域（Ｒ１〜Ｒ１０）は、先に図４を用いて説明した立体曲面ＳＰの車両Ａ１、Ａ１ｄの周辺の領域を示している。また、領域Ｒ１〜Ｒ１０のそれぞれは複数の画素の集合の矩形の領域である。
【００９９】
フロントモードＭ２では、走行俯瞰モードＭ２１、自車確認モードＭ２２、および、サイドカメラモードＭ２３の３つの表示態様があり、これらの表示態様は互いに表示される撮影画像の種類が異なっている。これらの画面のうちＭ２１、Ｍ２２、および、Ｍ２３の画面には、各表示態様における視野範囲を示す視野ガイド９０が表示され、ユーザに対して車両Ａ１ｄの周辺のいずれの領域を表示しているかが示されるようになっている。
【０１００】
モードＭ２１〜Ｍ２３の表示態様の切り替えは、ユーザが切替ボタン３０１を押下するごとに、走行俯瞰モードＭ２１、自車確認モードＭ２２、サイドカメラモードＭ２３の順で制御部１の制御により切り替えられる。
【０１０１】
走行俯瞰モードＭ２１は、視点位置が車両Ａ１ｄの位置の略中央の直上位置で、視野方向が略真下方向とした仮想視点ＶＰ１からみた車両Ａ１ｄの様子を示す合成画像ＦＰ１と、フロントカメラ５１の撮影により得られるフロント画像ＦＰ２とを並べて含む画面をディスプレイ２４に表示する表示モードである。すなわち、走行俯瞰モードＭ２１では、図９に示す車両Ａ１ｄの周辺の領域Ｒ１〜Ｒ１０に対応する合成画像ＦＰ１と、フロントカメラ５１の撮影画像である車両Ａ１ｄの前方を示すフロント画像ＦＰ２との二つの画像が同一画面上に示される。
【０１０２】
走行俯瞰モードＭ２１においては、このような二つの合成画像ＦＰ１、ＦＰ２を閲覧することができるため、ユーザは、車両Ａ１ｄの周囲全体とともに、車両Ａ１ｄの進行方向である前方の状況を一目で確認できる。走行俯瞰モードＭ２１は、前進中のさまざまな場面で汎用性高く利用できる表示モードであるといえる。
【０１０３】
また、自車確認モードＭ２２は、フロントカメラ５１での撮影により得られるフロント画像ＦＰ３と、視点位置が車両Ａ１ｄの位置の略後方位置で、視野方向が車両Ａ１における略前方とした仮想視点ＶＰ２からみた車両Ａ１ｄの様子を示す合成画像ＦＰ４とを並べて含む画面をディスプレイ２４に表示する表示モードである。すなわち、自車確認モードＭ２２では、車両Ａ１ｄの前方を示すフロント画像ＦＰ３と、車両Ａ１ｄの周辺領域Ｒ１〜Ｒ１０に対応する合成画像ＦＰ４との二つの画像が同一画面上に示される。
【０１０４】
このように、自車確認モードＭ２２の合成画像ＦＰ４は、図９に示す領域のうち走行俯瞰モードＭ２１の合成画像ＦＰ１と同じ領域（Ｒ１〜Ｒ１０）に対応している。合成画像ＦＰ１とＦＰ４との異なる点は、仮想視点の視点位置および視点方向である。上述のように、合成画像ＦＰ１の視点位置は車両Ａ１ｄの位置の略中央の直上位置、視野方向は略真下方向である。また、合成画像ＦＰ４の視点位置は車両Ａ１ｄの位置の略後方位置、視野方向は車両Ａ１における略前方である。
【０１０５】
また、自車確認モードＭ２２のフロント画像ＦＰ３は、走行俯瞰モードＭ２１のフロント画像ＦＰ２と比較して、左右方向の視野範囲が広く設定されている。このため、見通しの悪い交差点に進入する場合に死角となりやすい車両Ａ１ｄの前端より前方かつ左右方向に存在する物体を確認できる。
【０１０６】
また、自車確認モードＭ２２の合成画像ＦＰ４は、走行俯瞰モードＭ２１の合成画像ＦＰ１と比較して仮想視点ＶＰの位置が車両Ａ１ｄの後方に移動されているため、車両Ａ１ｄの後方を示す領域は狭くなるものの、車両Ａ１ｄの側方が確認しやすくなっている。このため、対向車とすれ違う場合などに、対向車とのクリアランスを容易に確認できる。
【０１０７】
自車確認モードＭ２２においては、このような二つの画像ＦＰ３，ＦＰ４を閲覧することができるため、ユーザは、見通しの悪い交差点に進入する場合や対向車とすれ違う場合などの慎重な運転を必要とする状況において、確認すべき領域の状況を一目で確認できる。
【０１０８】
サイドカメラモードＭ２３は、左サイドカメラ５３および右サイドカメラ５４での撮影によりそれぞれ得られるサイド画像ＦＰ５，ＦＰ６を並べて含む画面をディスプレイ２４に表示する表示モードである。サイド画像ＦＰ５，ＦＰ６は、運転席から死角となりやすいフロントフェンダ９７の外側のみを示している。
【０１０９】
サイドカメラモードＭ２３においては、このような二つの画像ＦＰ５，ＦＰ６を閲覧することができるため、ユーザは、道路の端に車体を寄せる幅寄せを行う場合などにおいて、確認すべき領域の状況を容易に確認できる。
【０１１０】
＜１−７．データベース＞
次に、車両Ａ１ａの車載装置１２０ａに記憶される車両情報ＴＡ１、車両Ａ１ｂの車載装置１２０ｂに記憶される車両情報ＴＡ２、車両Ａ１ｃの車載装置１２０ｃに記憶される車両情報ＴＡ３と、サーバ装置９のデータ記録部９２に記録される集計データＴＤおよび地点データＴＰとについて詳細に説明する。
【０１１１】
図１０は、車両情報ＴＡ１、ＴＡ２、ＴＡ３を示す図である。車両情報ＴＡ１は車両Ａ１ａ、車両情報ＴＡ２は車両Ａ１ｂ、車両情報ＴＡ３は車両Ａ１ｃにおいて、ユーザがディスプレイ２４に表示される撮影画像の表示態様を切り替えたことにより取得されるデータである。各データは「ユーザＩＤ」、「情報取得日時」、「位置情報」、「モード情報」、および、「画像情報」の項目を有している。
【０１１２】
「ユーザＩＤ」は、各車両の識別番号である。「情報取得日時」は、ディスプレイ２４に表示された撮影画像の表示態様をユーザが切り替えた日時の情報である。「位置情報」は、ディスプレイ２４に表示された撮影画像の表示態様をユーザが切り替えたときの車両の位置に対応する地点の情報（例えば、車両Ａ１の緯度・経度情報）である。
【０１１３】
「モード情報」は、撮影画像の表示態様をユーザが切り替えた後の表示態様であるディスプレイ２４に撮影画像を表示するモードの情報である。車両情報ＴＡ１、および、ＴＡ２では、自車確認モードＭ２２の値が記録されており、車両情報ＴＡ３では、サイドカメラモードＭ２３の値が記録されている。
【０１１４】
「画像情報」は、各モードにおいてディスプレイ２４に表示される画像に対応する撮影画像、および、領域の少なくとも一つの情報である。車両情報ＴＡ１、および、ＴＡ２では、合成画像ＦＰ１に対応する領域Ｒ１〜Ｒ１０と、画像ＦＰ２に対応するフロントカメラ画像の情報が記録されている。車両情報ＴＡ３では、画像ＦＰ５に対応する左サイドカメラ画像、および、画像ＦＰ６に対応する右サイドカメラ画像の情報が記録されている。
【０１１５】
図１１は、サーバ装置９のデータ記録部９２に記録される集計データＴＤを示す図である。集計データＴＤは、複数の車両Ａ１から送信された車両情報ＴＡを集計したデータであり、車両情報ＴＡの項目と同じ項目（「ユーザＩＤ」、「情報取得日時」、「位置情報」、「モード情報」、「画像情報」）を有しているデータである。なお、図１１の集計データＴＤに示す３つのデータは位置情報が同一および近傍のいずれかの車両情報である。なお、集計データＴＤは位置情報が同一および近傍のいずれかの位置のみではなく、複数の車両からの異なる位置の位置情報も集計することができる。
【０１１６】
図１２は、サーバ装置９のデータ記録部９２に記録されている地点データＴＰを示す図である。地点データＴＰは、集計データＴＤのうちの位置情報が同一および近傍のいずれかの車両情報がサーバ装置９の取得部９１１により所定数を超えて取得された場合に、特定部９１２が使用頻度が最も高い表示態様を代表態様として特定し、当該代表態様を位置情報と対応付けて記録したデータである。
【０１１７】
詳細には図１２に示すように地点データＴＰは「位置情報」、「モード情報」、および、「画像情報」の項目を有している。なお、地点データＴＰに記録されている地点ごとのデータが個別地点データｔｐであり、図１２の地点データＴＰには複数の個別地点データｔｐ１、ｔｐ２が記録されている。「位置情報」はディスプレイ２４に表示された撮影画像の表示態様をユーザが切り替えたときの車両の位置に対応する地点の情報である。
【０１１８】
「モード情報」は、ディスプレイ２４に表示された撮影画像の表示態様をユーザが切り替えたときの位置情報に対応付けて、当該位置で撮影画像の表示態様をユーザが切り替えた後のディスプレイ２４に表示されるモード情報のうち、使用頻度が最も高いモード情報である。つまり、集計データＴＤにおいて位置情報が同一および近傍のいずれかのデータのうち、ユーザの使用頻度が最も高いモード情報の値が記録されている。
【０１１９】
「画像情報」はモード情報に対応する情報であり、ディスプレイ２４に表示された撮影画像の表示態様をユーザが切り替えたときの位置情報に対応付けて、当該位置で撮影画像の表示態様をユーザが切り替えた後のディスプレイ２４に表示される画像情報のうち、使用頻度が最も高い画像情報である。つまり、集計データＴＤにおいて位置情報が同一および近傍のいずれかのデータのうち、ユーザの使用頻度の最も高い画像情報が記録されている。
【０１２０】
＜１−８．処理フローチャート＞
図１３は、送信側車載装置１２０からサーバ装置９へ車両情報ＴＡを送信する処理フローチャートである。ディスプレイ２４に表示されている撮影画像のモード切り替え操作がユーザにより行われた場合（ステップＳ１０１がＹｅｓ）、ステップＳ１０２の処理に進む。なお、ユーザによるモード切り替え操作が行われていない場合（ステップＳ１０１がＮｏ）は、現在のモードでディスプレイ２４の撮影画像の表示を送信側車載装置１２０が継続する。
【０１２１】
ステップＳ１０２では、ユーザの切り替え操作に対応したモードの撮影画像を送信側車載装置１２０がディスプレイ２４に表示して（ステップＳ１０２）、ステップＳ１０３の処理に進む。
【０１２２】
ステップＳ１０３では、ユーザの切り替え操作に対応したモードの撮影画像が例えば３秒を超えて表示された場合、つまり３秒を超えてユーザによるモードの切り替え操作が行われなかった場合（ステップＳ１０３がＹｅｓ）は、ステップＳ１０４の処理に進む。なお、３秒以内に別のモードへの切り替え操作がユーザにより行われた場合（ステップＳ１０３がＮｏ）は、ステップＳ１０２の処理に戻り、ユーザの切り替え操作に対応した別のモードの撮影画像を送信側車載装置１２０がディスプレイ２４に表示する。また、モードの切り替え操作の有無を判定する時間（３秒）は別の時間（例えば、２秒、５秒など）に変更が可能である。
【０１２３】
ステップＳ１０４では、ディスプレイ２４に表示される撮影画像の表示態様をユーザが切替えたときの車両Ａ１の位置を表示装置２０の位置導出部２０２が導出して（ステップＳ１０４）、ステップＳ１０５の処理に進む。
【０１２４】
ステップＳ１０５では、ディスプレイ２４に表示される撮影画像の表示態様をユーザが切替えたときの車両Ａ１の位置情報と、ユーザによる切替え後の撮影画像の表示態様とを含む情報である車両情報ＴＡをサーバ装置９に送信する（ステップＳ１０４）。
【０１２５】
サーバ装置９では、送信側車載装置１２０から送信された車両情報ＴＡを取得部９１１が取得して（ステップＳ２０１）、当該車両情報ＴＡをデータ記録部９２に集計データＴＤとして記録する（ステップＳ２０２）。
【０１２６】
図１４、および、図１５は、サーバ装置９から受信側車載装置１２０ｄに個別地点データｔｐ１を送信する処理フローチャートである。受信側車載装置１２０ｄにおける表示装置２０ｄの位置導出部２０２は、車両Ａ１ｄの走行に伴い車両Ａ１ｄの位置を導出して（ステップＳ３０１）、車両Ａ１ｄの位置に対応した位置データをサーバ装置９に送信する（ステップＳ３０２）。
【０１２７】
サーバ装置９は、受信側車載装置１２０ｄからの位置データを取得して（ステップＳ４０１）、ステップＳ４０２の処理に進む。
【０１２８】
ステップＳ４０２では、受信側車載装置１２０ｄから取得した位置データの車両Ａ１の位置に対応する地点データがサーバ装置９のデータ記録部９２の地点データＴＰに記録されている場合（ステップＳ４０２がＹｅｓ）は、地点データＴＰの中から車両Ａ１ｄの位置に対応する地点データである個別地点データｔｐ１を受信側車載装置１２０ｄに送信する（ステップＳ４０３）。つまり、地点データＴＰの中から車両Ａ１ｄの位置に対応する位置情報の代表態様であるモード情報、および、画像情報を含む情報を受信側車載装置１２０ｄに送信する。なお、車両Ａ１ｄの位置に対応する個別地点データｔｐがデータ記録部９２の地点データＴＰに記録されていない場合（ステップＳ４０２がＮｏ）は処理を終了する。
【０１２９】
受信側車載装置１２０ｄはサーバ装置９から個別地点データｔｐ１を取得して（ステップＳ３０３）、ステップＳ３０４の処理に進む。
【０１３０】
ステップＳ３０４では、個別地点データｔｐ１に記録されているモード情報および画像情報の少なくとも一つの情報により撮影画像を表示するモードを表示制御部２０１が切り替えて（ステップＳ３０４）、ステップＳ３０５の処理に進む。このように使用頻度が最も高いモードに切り替えられるため、モードの切り替えに煩雑な操作を伴うことなく、車両Ａ１ｄの位置の走行環境に最適な態様で車両周辺の様子を確認できる。
【０１３１】
ステップＳ３０５では、車両Ａ１ｄの位置が個別地点データｔｐ１の地点を通過した位置でない場合（ステップＳ３０５がＮｏ）は、ステップＳ３０７の処理に進む。なお、車両Ａ１ｄの位置が個別地点データｔｐの地点を通過した位置の場合（ステップＳ３０５がＹｅｓ）は、ユーザが切り替える前のモードに戻る制御を表示制御部２０１が行うことで、モードを切り替える前の撮影画像がディスプレイ２４に表示される（ステップＳ３０６）。
【０１３２】
ステップＳ３０７では、個別地点データｔｐ１に対応する地点を車両Ａ１ｄが通過する前に、ユーザの操作によりモード切り替え操作が行われた場合（ステップＳ３０７がＹｅｓ）は、ステップＳ３０８の処理に進む。なお、ユーザの操作によるモード切り替え操作が行われていない場合（ステップＳ３０７がＮｏ）は、ステップＳ３０５の処理に戻る。
【０１３３】
ステップＳ３０８では、ユーザの切り替え操作に対応したモードの撮影画像をディスプレイ２４に表示して（ステップＳ３０８）、ステップＳ３０９の処理に進む。
【０１３４】
ステップＳ３０９の処理では、３秒を超えてユーザのモード切り替え操作が行われない場合（ステップＳ３０９がＹｅｓ）は、ステップＳ３１０の処理に進む。なお、３秒以内に別のモードへの切り替え操作がユーザにより行われた場合（ステップＳ３０９がＮｏ）は、ステップＳ３０８の処理に戻りユーザの切り替え操作に対応した別のモードの撮影画像をディスプレイ２４に表示する。
【０１３５】
ステップＳ３１０では、ディスプレイ２４に表示される撮影画像の表示態様をユーザが切替えたときの車両Ａ１ｄの位置を表示装置２０ｄの位置導出部２０２が導出して（ステップＳ３１０）、ステップＳ３１１の処理に進む。
【０１３６】
ステップＳ３１１では、ディスプレイ２４に表示される車載カメラの撮影画像の表示態様をユーザが切替えたときの車両Ａ１ｄの位置情報と、ユーザによる切替え後の撮影画像の表示態様とを含む情報である車両情報をサーバ装置９に送信する（ステップＳ３１０）。
【０１３７】
サーバ装置９では、受信側車載装置１２０ｄからの車両情報を取得部９１１が取得して（ステップＳ４０４）、当該車両情報をデータ記録部９２に集計データＴＤとして記録する（ステップＳ４０５）。このように、車両Ａ１ｄの位置に対応する地点の代表態様の情報をサーバ装置９から取得して、ディスプレイ２４に表示される画像を切り替える受信側車載装置１２０ｄからもユーザの切り替え操作に伴う新たな車両情報をサーバ装置９に送信することができる。そして、サーバ装置９に送信されたデータを蓄積することで、当該地点おける撮影画像の最適な表示態様を導出するための車両情報の蓄積が可能となる。
＜第２の実施の形態＞
次に、第２の実施の形態について説明する。第２の実施の形態と第１の実施形態との相違点は次のとおりである。第１の実施の形態では、サーバ装置９が車両Ａ１ｄの位置に対応する地点データを受信側車載装置１２０ｄに送信する場合、地点データＴＰの複数の地点ごとの表示態様のうち、受信側車載装置１２０ｄから受信した車両Ａ１ｄの位置に対応する地点の代表態様を含む個別地点データｔｐ１を送信していた。
【０１３８】
これに対して第２の実施の形態では、車両Ａ１ｄの位置にかかわらず、地点データＴＰの複数の地点ごとの表示態様のうち全ての地点の表示態様を一度に車両Ａ１ｄに送信する。以下、第２の実施の形態について説明する。なお、第２の実施の形態においては、システム構成は第１の実施の形態と略同一であり、処理が相違する。以下では、相違点を中心に説明する。
【０１３９】
＜２−１．システム構成＞
図１６は、受信側車載装置１２１ｄのブロック図である。表示装置２０ｄの記憶部２２ｄには、サーバ装置９のデータ記録部９２に記録されている地点データＴＰと同じデータが記録されている。つまり、サーバ装置９から受信側車載装置１２１ｄに全ての代表態様のデータである地点データＴＰが所定タイミングで送信されて、記憶部２２ｄに記憶されている。このように全ての地点の代表態様が予め記録されていることから、車両Ａ１ｄの位置に応じてサーバ装置９との通信を行なうことなく、受信側車載装置１２１ｄ単体で車両Ａ１ｄの位置に対応した地点の代表態様によりディスプレイ２４の表示態様を自動的に切り替えることができる。なお、受信側車載装置１２１ｄのその他の構成は図６に示した受信側車載装置１２０ｄの構成と同一である。
【０１４０】
＜２−２．処理フローチャート＞
図１７および図１８は、サーバ装置９から受信側車載装置１２１ｄに地点データＴＰを送信する処理フローチャートである。図１７、および、図１８の処理は第１の実施の形態中で説明した図１４、および、図１５の処理の一部が相違するものである。
【０１４１】
サーバ装置９は、データ記録部９２に記録された全ての代表態様である地点データＴＰを一度に受信側車載装置１２１ｄに送信する（ステップＳ６０１）。つまり、地点データＴＰに記録された全地点の代表態様のデータをサーバ装置９から受信側車載装置１２１ｄに送信する。
【０１４２】
受信側車載装置１２１ｄは、サーバ装置９から送信された地点データＴＰを取得して（ステップＳ５０１）、ステップＳ３０１の処理に進む。
【０１４３】
ステップＳ３０１では、位置導出部２０２が車両Ａ１ｄの位置を導出し（ステップＳ３０１）、ステップＳ５０２の処理に進む。
【０１４４】
ステップＳ５０２では、車両Ａ１ｄの位置に対応する地点が、表示装置２０ｄの記憶部２２ｄに記憶された地点データＴＰに存在する場合（ステップＳ５０２がＹｅｓ）は、ステップＳ５０３の処理に進む。
【０１４５】
ステップＳ５０３では、記憶部２２ｄに記憶された地点データＴＰにより撮影画像を表示するモードを表示制御部２０１が切り替えて（ステップＳ５０３）、ステップＳ３０５の処理に進む。
【０１４６】
なお、車両Ａ１ｄの位置に対応する地点のデータが地点データＴＰに存在しない場合（ステップＳ５０２がＹｅｓ）は、表示制御部２０１によるディスプレイ２４に表示されているモードの切り替えは行わずに、ステップＳ３０１の処理に戻り、位置導出部２０２が車両Ａ１ｄの位置を導出する（ステップＳ３０１）。
＜変形例＞
以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態に限定されるものではなく様々な変形が可能である。以下では、このような変形例について説明する。なお、上記実施の形態で説明した形態、および、以下で説明する形態を含む全ての形態は、適宜に組み合わせ可能である。
【０１４７】
上記実施の形態において、一の地点について送信側車載装置１２０がサーバ装置９に車両情報ＴＡを送信し、サーバ装置９から送信される代表態様を取得した受信側車載装置１２０ｄが当該代表態様による表示態様の切り替えを行うことについて述べた。これ以外にサーバ装置９に車両情報を送信する車載装置とサーバ装置９から代表態様を取得する車載装置については異なる組み合わせが可能である。
【０１４８】
例えば、一の地点において車載装置１２０ｂ、１２０ｃ、１２０ｄがサーバ装置９に車両情報を送信し、サーバ装置９から送信される代表態様を車載装置１２０ａが取得するようにしてもよい。また、一の地点において車載装置１２０ａ、１２０ｂ、１２０ｃがサーバ装置９に車両情報を送信し、同じ地点において車両情報を送信したのとは別のタイミングで車載装置１２０ａを搭載した車両Ａ１ａが走行する場合に、サーバ装置９から送信される代表態様を車載装置１２０ａが取得するようにしてもよい。
【０１４９】
また、上記実施の形態において、一つの車載装置が、上述した送信側車載装置１２０と受信側車載装置１２０ｄとの双方の機能を備えていてもよい。
【０１５０】
また、上記実施の形態において、送信側車載装置１２０、および、受信側車載装置１２０ｄによって実現されると説明した機能の一部は、サーバ装置９によって実現されるようにしてもよい。
【０１５１】
また、上記実施の形態において、サーバ装置９によって実現されると説明した機能の一部は、送信側車載装置１２０、および、受信側車載装置１２０ｄのいずれかによって実現されるようにしてもよい。
【０１５２】
また、上記実施の形態において、車両情報ＴＡ、集計データＴＤ、および、地点データＴＰにおいて、表示態様（代表態様）を示す項目として説明した「モード情報」、および、「画像情報」については、表示態様（代表態様）の種類を判別可能な情報のみを記録するようにしてもよい。つまり、「モード情報」のみを記録してもよいし、「画像情報」のみを記録するようにしてもよい。また、表示態様を示す情報として、合成画像の仮想視点の情報を記録してもよい。つまり、仮想視点の視点位置、および、視野方向の情報を記録してもよい。
【０１５３】
また、上記実施の形態において、信号入力部４２を介して画像処理装置１００の制御部１に入力されると説明した信号の一部および全部のいずれかは、表示装置２０に入力されるようになっていてもよい。この場合は、通信部４１を経由して、画像処理装置１００の制御部１に当該信号を入力すればよい。
【０１５４】
また、上記実施の形態において、車両が搭載している車載装置の種類をサーバ装置９のデータ記録部９２に予め記録しておき、車両に搭載されている画像システムの種類に応じた代表態様の情報をサーバ装置９から車載装置に送信するようにしてもよい。つまり、車載装置の種類によって異なるモード情報、および、車載装置の種類によって異なる画像情報の少なくとも一つの情報を車載装置の種類に応じてサーバ装置９から車載装置を送信するようにしてもよい。
【符号の説明】
【０１５５】
１・・・・・制御部
３・・・・・画像処理部
５・・・・・撮影部
１０・・・・本体部
２０・・・・表示装置
【技術分野】
【０００１】
本発明は、画像の表示処理に関する。
【背景技術】
【０００２】
従来、車両周辺の撮影画像を表示装置のディスプレイに表示する場合、ユーザの選択した表示態様の画像を表示していた。しかし、表示態様を選択するユーザ操作が車両を運転する際に行われる場合、ユーザの運転に対する注意が散漫となるときがあった。これに対して、特許文献１には過去に車両が走行した地点近傍での表示態様の使用履歴により、当該地点に車両が近づいた場合、当該地点近傍での使用頻度が最も高い表示態様の画像を表示装置のディスプレイに表示する技術が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−３０４４１６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載の技術では表示態様の使用履歴が、一の地点を車両が走行する場合に当該地点近傍の走行環境に応じてユーザが選択した表示態様の履歴なのか、当該地点を車両が走行することに関係なく当該地点に車両が接近する前から使用されていた表示態様の履歴なのかが不明確であった。そのため、表示態様の履歴が当該地点の走行環境に応じてユーザが選択したものでない場合、使用頻度の最も高い表示態様に対応する画像をディスプレイに表示しても、車両が走行する地点に対する最適な表示態様をユーザに提供できないことがあった。
【０００５】
本発明は上記課題に鑑みてなされたものであり、車両が走行する地点に対応した最適な表示態様をユーザに提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、請求項１の発明は、情報処理システムであって、車両で使用されて該車両の周辺の撮影画像を異なる表示態様で表示可能な第１車載装置と、車両で使用されて該車両の周辺の撮影画像を異なる表示態様で表示可能な第２車載装置と、前記第１車載装置及び前記第２車載装置と通信可能なサーバ装置と、を備え、（ａ）前記第１車載装置は、（ａ−１）現在の車両の位置を取得する取得手段と、（ａ−２）前記撮影画像の表示態様をユーザが切り替えたときの車両の位置と、切り替え後の前記表示態様とを含む車両情報を前記サーバ装置に送信する送信手段と、を備え、（ｂ）前記サーバ装置は、（ｂ−１）複数の車両の前記第１車載装置から前記車両情報を取得する取得手段と、（ｂ−２）前記車両情報に基づいて、前記車両情報が示す車両の位置において使用頻度が最も高い表示態様である代表態様を特定する特定手段と、（ｂ−３）車両の位置と、該位置の前記代表態様とを対応付けて記憶する記憶手段と、（ｂ−４）前記第２車載装置に、前記代表態様を送信する送信手段と、を備え、（ｃ）前記第２車載装置は、（ｃ−１）現在の車両の位置を取得する取得手段と、（ｃ−２）現在の車両の位置に対応する前記代表態様で前記撮影画像を表示する表示手段と、を備える。
【０００７】
また、請求項２の発明は、情報処理システムであって、車両で使用されて該車両の周辺の撮影画像を異なる表示態様で表示可能な車載装置と、前記車載装置と通信可能なサーバ装置と、を備え、（ａ）前記車載装置は、現在の車両の位置を取得する取得手段と、前記撮影画像の表示態様をユーザが切り替えたときの車両の位置と、切り替え後の前記表示態様とを含む車両情報を前記サーバ装置に送信する送信手段と、を備え、（ｂ）前記サーバ装置は、複数の車両の前記車載装置から前記車両情報を取得する取得手段と、前記車両情報に基づいて、前記車両情報が示す車両の位置において使用頻度が最も高い表示態様である代表態様を特定する特定手段と、を備える。
【０００８】
また、請求項３の発明は、情報処理システムであって、車両で使用されて該車両の周辺の撮影画像を異なる表示態様で表示可能な車載装置と、前記車載装置と通信可能なサーバ装置と、を備え、（ａ）前記サーバ装置は、車両の位置と、該位置において前記異なる表示態様のうち使用頻度が最も高い表示態様である代表態様とを対応付けて記憶する記憶手段と、前記車載装置に、前記代表態様を送信する送信手段と、を備え、（ｂ）前記車載装置は、現在の車両の位置を取得する取得手段と、現在の車両の位置に対応する前記代表態様で前記撮影画像を表示する表示手段と、を備える。
【０００９】
また、請求項４の発明は、車両で使用されて該車両の周辺の撮影画像を異なる表示態様で表示可能な車載装置と通信可能なサーバ装置であって、前記撮影画像の表示態様をユーザが切り替えたときの車両の位置と、切り替え後の前記表示態様とを含む車両情報を、複数の車両の前記車載装置から取得する取得手段と、前記車両情報に基づいて、前記車両情報が示す車両の位置において使用頻度が最も高い表示態様である代表態様を特定する特定手段と、を備える。
【００１０】
また、請求項５の発明は、車両で使用されて該車両の周辺の撮影画像を異なる表示態様で表示可能な車載装置と通信可能なサーバ装置であって、車両の位置と、該位置において前記異なる表示態様のうち使用頻度が最も高い表示態様である代表態様とを対応付けて記憶する記憶手段と、前記車載装置に、前記代表態様を送信する送信手段と、を備える。
【００１１】
また、請求項６の発明は、請求項５に記載のサーバ装置において、前記車載装置が使用される車両の位置を取得する取得手段、をさらに備え、前記送信手段は、前記車載装置が使用される車両の位置に対応する前記代表態様を送信する。
【００１２】
また、請求項７の発明は、請求項５に記載のサーバ装置において、前記送信手段は、前記記憶手段に記憶される全ての前記代表態様を一度に送信する。
【００１３】
また、請求項８の発明は、車両で使用されて該車両の周辺の撮影画像を異なる表示態様で表示可能な車載装置であって、現在の車両の位置を取得する取得手段と、前記撮影画像の表示態様をユーザが切り替えたときの車両の位置と、切り替え後の前記表示態様とを含む車両情報を、所定のサーバ装置に送信する送信手段と、を備える。
【００１４】
また、請求項９の発明は、車両で使用されて該車両の周辺の撮影画像を異なる表示態様で表示可能な車載装置であって、現在の車両の位置を取得する第１取得手段と、車両の位置と、該位置において前記異なる表示態様のうち使用頻度が最も高い表示態様である代表態様とを対応付けて記憶するサーバ装置から、前記代表態様を取得する第２取得手段と、現在の車両の位置に対応する前記代表態様で前記撮影画像を表示する表示手段と、を備える。
【００１５】
また、請求項１０の発明は、請求項９に記載の車載装置において、前記第２取得手段は、前記第１取得手段に取得された車両の位置に対応する前記代表態様を取得する。
【００１６】
また、請求項１１の発明は、請求項９に記載の車載装置において、前記代表態様を記憶する記憶手段、をさらに備え、前記第２取得手段は、前記記憶手段に記憶される全ての前記代表態様を一度に取得し、前記記憶手段に記憶させる。
【００１７】
また、請求項１２の発明は、情報処理システムであって、車両で使用されて該車両の周辺の撮影画像を異なる表示態様で表示可能な表示手段と、現在の車両の位置を取得する取得手段と、前記撮影画像の表示態様をユーザが切替えたときの前記車両の位置と、切り替え後の前記表示態様とを含む車両情報に基づいて、前記車両情報が示す車両の位置において使用頻度が最も高い表示態様である代表態様を特定する特定手段と、前記車両の位置と、該位置の前記代表態様とを対応付けて記憶する記憶手段と、を備え、前記表示手段は、前記現在の車両の位置に対応する前記代表態様で前記撮影画像を表示する。
【発明の効果】
【００１８】
請求項１の発明によれば、現在の車両の位置に対応する代表態様で撮影画像を表示することで、複数の車両が実際に走行した車両の位置に対応する地点における撮影画像の最適な表示態様を取得できる。また、当該地点を初めて走行するユーザに撮影画像の最適な表示態様を提供できる。
【００１９】
また、請求項２の発明によれば、取得手段が取得した車両情報に基づいて、車両情報が示す車両の位置において使用頻度が最も高い表示態様である代表態様を特定することで、複数の車両が実際に走行した車両の位置に対応する地点における撮影画像の最適な表示態様を取得できる。
【００２０】
また、請求項３の発明によれば、現在の車両の位置に対応する代表態様で撮影画像を表示することで、車両の位置に対応する地点を初めて走行するユーザに撮影画像の最適な表示態様を提供できる。
【００２１】
また、請求項４の発明によれば、取得手段が取得した車両情報に基づいて、車両情報が示す車両の位置において使用頻度が最も高い表示態様である代表態様を特定することで、複数の車両が実際に走行した車両の位置に対応する地点における撮影画像の最適な表示態様を取得できる。
【００２２】
また、請求項５の発明によれば、車載装置に、代表態様を送信することで、車両の位置に対応する地点を初めて走行するユーザに撮影画像の最適な表示態様を提供できる。
【００２３】
また、請求項６の発明によれば、送信手段が車載装置で使用される車両の位置に対応する代表態様を送信することで、車両の位置に対応する地点を初めて走行するユーザに撮影画像の最適な表示態様を提供できる。
【００２４】
また、請求項７の発明によれば、送信手段は、記憶手段に記憶される全ての代表態様を一度に送信することで、複数の地点ごとの撮影画像の最適な表示態様を車両のユーザに提供できる。
【００２５】
また、請求項８の発明によれば、撮影画像の表示態様をユーザが切り替えたときの車両の位置と、切り替え後の前記表示態様とを含む車両情報を、所定のサーバ装置に送信することで、複数の車両が実際に走行した車両の位置に対応する地点における撮影画像の表示態様をサーバ装置に提供できる。
【００２６】
また、請求項９の発明によれば、現在の車両の位置に対応する代表態様で撮影画像を表示することで、車両の位置に対応する地点を初めて走行するユーザに撮影画像の最適な表示態様を提供できる。
【００２７】
また、請求項１０の発明によれば、第２取得手段は、第１取得手段に取得された車両の位置に対応する代表態様を取得することで、車両の位置に対応する地点を初めて走行するユーザに撮影画像の最適な表示態様を提供できる。また、予め複数の地点における撮影画像の代表態様を記憶する必要がないことから、車載装置のメモリに記憶する容量を削減できる。
【００２８】
また、請求項１１の発明によれば、第２取得手段は、記憶手段に記憶される全ての代表態様を一度に取得し、記憶手段に記憶させることで、複数の地点における撮影画像の代表態様を予め取得できる。
【００２９】
さらに、請求項１２の発明によれば、表示手段は、現在の車両の位置に対応する表示態様で撮影画像を表示することで、車両の位置に対応する地点を初めて走行するユーザに撮影画像の最適な表示態様を提供できる。
【図面の簡単な説明】
【００３０】
【図１】図１は、画像の表示態様の通信を行う情報処理システムの概要を示す図である。
【図２】図２は、車載装置のブロック図である。
【図３】図３は、車載カメラが車両に配置される位置を示す図である。
【図４】図４は、合成画像を生成する手法を説明するための図である。
【図５】図５は、サーバ装置のブロック図である。
【図６】図６は、車載装置のブロック図である。
【図７】図７は、車載装置の動作モードの遷移を示す図である。
【図８】図８は、フロントモードにおける表示態様の遷移を示す図である。
【図９】図９は、表示装置に表示される画像に対応する領域を示した図である。
【図１０】図１０は、表示装置の記憶部に記憶される車両情報を示す図である。
【図１１】図１１は、サーバ装置のデータ記憶部に記憶される集計データを示す図である。
【図１２】図１２は、サーバ装置のデータ記憶部に記憶される地点データを示す図である。
【図１３】図１３は、車載装置からサーバ装置へ車両情報を送信する処理を示すフローチャートである。
【図１４】図１４は、サーバ装置から車載装置に個別地点データを送信する処理フローチャートである。
【図１５】図１５は、サーバ装置から車載装置に個別地点データを送信する処理フローチャートである。
【図１６】図１６は、車載装置のブロック図である。
【図１７】図１７は、サーバ装置から車載装置に地点データを送信する処理フローチャートである。
【図１８】図１８は、サーバ装置から車載装置に地点データを送信する処理フローチャートである。
【発明を実施するための形態】
【００３１】
以下、図面を参照しつつ本発明の実施の形態について説明する。
【００３２】
＜実施の形態１＞
＜１．構成＞
＜１−１．全体のシステム概要＞
図１は、画像の表示態様に関する情報の通信を行う情報処理システム１３０の概要を示す図である。情報処理システム１３０は、車両Ａ１ａ、Ａ１ｂ、Ａ１ｃ、Ａ１ｄなどの複数の車両にそれぞれ搭載される車載装置１２０ａ、１２０ｂ、１２０ｃ、１２０ｄと、所定のセンターに配置されたサーバ装置９とを含んで構成される。
【００３３】
自動車などの車両Ａ１ａ、Ａ１ｂ、Ａ１ｃ（以下、「車両Ａ１」ともいう。）に搭載される車載装置１２０ａ、１２０ｂ、１２０ｃ（以下、「送信側車載装置１２０」ともいう。）は、表示装置の通信部（例えば、図２に示す表示装置２０の通信部２３）を介してサーバ装置９との通信を行う。
【００３４】
サーバ装置９は送信側車載装置１２０のディスプレイ（例えば、図２に示す「ディスプレイ２４」）に表示される撮影画像の表示態様の情報を送信側車載装置１２０との通信により取得し、当該表示態様の情報を処理して記憶する。そして、サーバ装置９は、車両Ａ１ｄの走行する位置に対応する地点における撮影画像の表示態様に関する情報を受信側車載装置１２０ｄに送信する。
【００３５】
車載装置１２０ｄは、サーバ装置９から取得した表示態様に関する情報により、複数のカメラ（図４に示すカメラ５１、５２、５３、５４）の少なくとも一つを用いて撮影された画像をディスプレイ（例えば、図２に示すディスプレイ２４）に表示する。以下、この車載装置１２０ｄを「受信側車載装置１２０ｄ」ともいう。これにより、複数の車両が実際に走行した車両の位置に対応する地点における撮影画像の最適な表示態様を取得できる。また、当該地点を初めて走行するユーザに撮影画像の最適な表示態様を提供できる。
【００３６】
＜１−２．送信側車載装置＞
図２は、車載装置１２０ａ、１２０ｂ、１２０ｃのブロック図である。この送信側車載装置１２０は、車両Ａ１a、Ａ１ｂ、Ａ１ｃの周辺を撮影して画像を生成し、生成した画像を車室内の表示装置２０に出力する機能を有している。車両Ａ１のユーザ（代表的にはドライバ）は、送信側車載装置１２０を利用することにより、当該車両の周辺の様子をほぼリアルタイムに把握できるようになっている。
【００３７】
図２に示すように、送信側車載装置１２０は、表示装置２０と、車両の周辺を示す周辺画像を生成して表示装置２０に画像情報を出力する画像処理装置１００と、車両の周囲を撮影するカメラを備えている撮影部５とを主に有している。
【００３８】
表示装置２０は、ナビゲーション案内を表示するディスプレイを有するナビゲーション装置、音楽のタイトル情報やテレビの映像などを表示するディスプレイを備えたオーディオ装置、ユーザが携帯し車両Ａ１内へ持ち込んで使用可能なスマートフォンなどである。
【００３９】
また、表示装置２０は装置全体を制御する制御部２１と、制御部２１の処理データなどを記憶する記憶部２２と、サーバ装置９との間で通信を行う通信部２３と、タッチパネル機能を備えた液晶などのディスプレイ２４と、ユーザが操作を行う操作部２５とを備えている。そして、ディスプレイ２４の画面がユーザから視認可能なように、表示装置２０は車両Ａ１のインストルメントパネルなどに設置される。ユーザからの各種の指示は、操作部２５とタッチパネルとしてのディスプレイ２４とによって受け付けられる。
【００４０】
制御部２１は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えたコンピュータであり、所定のプログラムに従ってＣＰＵが演算処理を行うことでナビゲーション機能を含む各種の機能が実現される。
【００４１】
制御部２１は、主に表示制御部２０１、および、位置導出部２０２の機能を備えている。表示制御部２０１は、操作部２５などからのユーザの操作に伴いディスプレイ２４に表示される車載カメラの撮影画像の表示態様を制御する。つまり、車両Ａ１の周辺の撮影画像を異なる表示態様で表示する制御を行う。
【００４２】
位置導出部２０２は、車両Ａ１の位置に対応する緯度・経度情報を導出する。このような車両Ａ１の位置情報の導出が行われるのは、例えば、ディスプレイ２４に表示される車載カメラの撮影画像の表示形態をユーザが切り替えたときである。このような車両Ａ１の位置はＧＰＳ（Ｇｌｐｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）衛星からの電波の信号を受信し、受信した信号を制御部２１で処理することにより実現される。ＧＰＳは、地球を周回する多数のＧＰＳ衛星のうち少なくとも３つ以上の衛星からの電波に基づいて車両Ａ１の位置を測位するシステムである。
【００４３】
記憶部２２は、制御部１が表示装置２０を制御するプログラムを記憶する。また、記憶部２２は、ディスプレイ２４に表示される車載カメラの撮影画像の表示態様をユーザが切替えたときの車両Ａ１の位置情報と、ユーザによる切替え後の撮影画像の表示態様とを含む情報である車両情報（例えば、図１０に示す車両情報ＴＡ１、ＴＡ２、ＴＡ３）を記憶する。つまり、車両ごとに走行地点におけるユーザの撮影画像の切り替え操作がトリガとなって、切り替え後の撮影画像の表示態様と、切り替えが行われた地点情報とを記憶部２２に記憶する。
【００４４】
通信部２３は表示装置２０とサーバ装置９との通信を行うインターフェースであり、記憶部２２に記憶された車両情報ＴＡ１、ＴＡ２、ＴＡ３（以下、「車両情報ＴＡ」ともいう。）をサーバ装置９に送信する。これにより、複数の車両が実際に走行した車両の位置に対応する地点における撮影画像の最適な表示態様を取得できる。なお、サーバ装置９への車両情報ＴＡの送信は、所定のデータ数が記憶部２２に蓄積された場合に行われる。
【００４５】
また、車両情報ＴＡのサーバ装置９への送信は、記憶部２２に車両情報ＴＡを記憶せずに車両情報ＴＡが取得された際に通信部２３を介して行うようにしてもよい。つまり、ディスプレイ２４に表示された撮影画像の表示態様がユーザの操作により切り替えられたときに、切り替えに伴う車両情報ＴＡをサーバ装置９に送信するようにしてもよい。
【００４６】
ディスプレイ２４は、各種画像を表示する表示部であり、表示制御部２０１の制御により、通常は表示装置２０単体の機能に基づく画像を表示する。そして、所定の条件下で画像処理装置１００で生成された車両Ａ１の周辺の様子を示す周辺画像を表示する。また、ディスプレイ２４は、車両Ａ１、および、車両Ａ１の周辺領域を俯瞰した俯瞰画像を表示する。さらに、ディスプレイ２４に表示される俯瞰画像は周辺領域をほぼリアルタイムに示すことになる。これにより、表示装置２０は、画像処理装置１００で生成された周辺画像を受信して表示する装置としても機能する。
【００４７】
操作部２５は、表示装置２０の各種機能を実現するためにユーザが操作を行うものであり、例えば、表示装置２０に設けられたハードスイッチなどである。また、操作部２５をユーザが操作することでディスプレイ２４に表示された車載カメラの撮影画像の表示態様を切り替えることができる。
【００４８】
画像処理装置１００は、その本体部１０が周辺画像を生成する機能を有するＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）であり、車両Ａ１の所定の位置に配置される。画像処理装置１００は、撮影部５で車両Ａ１の周辺を撮影して得られる撮影画像に基づいて仮想視点からみた合成画像を生成する画像生成装置として機能する。また、画像処理装置１００は撮影部５の一のカメラで撮影された画像を処理する装置としても機能する。撮影部５が備える複数の車載カメラ５１、５２、５３、５４は、本体部１０とは別の車両Ａ１の適位置に配置されるが詳細は後述する。
【００４９】
画像処理装置１００の本体部１０は、装置全体を制御する制御部１と、撮影部５で取得された撮影画像を処理して表示用の周辺画像を生成する画像処理部３を主に備えている。
【００５０】
表示装置２０の操作部２５、および、ディスプレイ２４のいずれかによって受け付けられたユーザからの各種の指示は、制御信号として通信部４１によって受け付けられて制御部１に入力される。これにより、画像処理装置１００は、表示装置２０に対するユーザの操作に応答した動作が可能となっている。
【００５１】
また、画像処理装置１００は、切替ボタン３０１を備えている。切替ボタン３０１がユーザに操作されると、ユーザの指示を示す信号が制御部１に入力されて、後述するフロントモード（例えば、図８に示すフロントモードＭ２。）の表示態様の画像がディスプレイ２４に表示される。なお、切替ボタン３０１はハードボタンとして表示装置２０に設けられてもよい。また、切替ボタン３０１は、表示装置２０のディスプレイ２４にユーザが指などをディスプレイ２４に接触させて操作するタッチパネルのボタンとして表示されるようにしてもよい。
【００５２】
画像処理部３は、各種の画像処理が可能なハードウェア回路として構成されており、画像取得部３１、合成画像生成部３２、および、画像送信部３３を主な機能として備えている。
【００５３】
画像取得部３１は、車両Ａ１の周辺を撮影する撮影部５の車載カメラ５１、５２、５３、５４で撮影された複数の撮影画像を取得する。
【００５４】
合成画像生成部３２は、車載カメラ５１、５２、５３、５４で取得された複数の撮影画像に基づいて、車両の周辺の任意の仮想視点からみた合成画像を生成する。合成画像生成部３２が仮想視点からみた合成画像を生成する手法については後述する。
【００５５】
また、画像送信部３３は合成画像生成部３２において生成された合成画像、および、その他の画像（たとえば、一のカメラで撮影された画像）の少なくとも一つを通信部４１を介して表示装置２０へ送信する。これにより、車両の周辺を示す周辺画像が表示装置２０のディスプレイ２４に表示される。
【００５６】
制御部１は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えたコンピュータであり、所定のプログラムに従ってＣＰＵが演算処理を行うことで各種の制御機能が実現される。図中に示す画像制御部１０１は、このようにして実現される制御部１の機能のうちの一部である。
【００５７】
画像制御部１０１は、画像処理部３によって実行される画像処理を制御するものである。例えば、画像制御部１０１は、合成画像生成部３２が生成する合成画像の生成に必要な各種パラメータを指示する。なお、このようなパラメータの指示は例えば、撮影画像の表示態様の切り替えに伴うユーザ操作の指示信号を制御部１が受信した場合に、画像制御部１０１が行う。
【００５８】
また、画像処理装置１００の本体部１０は、不揮発性メモリ４０、通信部４１、および、信号入力部４２をさらに備えており、これらは制御部１に接続されている。
【００５９】
不揮発性メモリ４０は、電源オフ時においても記憶内容を維持可能なフラッシュメモリなどで構成されている。不揮発性メモリ４０には、車種別情報４ａが記憶されている。車種別情報４ａは、合成画像生成部３２が合成画像を生成する際に必要となる車両の種別に応じたデータを含んでいる。
【００６０】
通信部４１は、画像処理装置１００が表示装置２０との間で通信を行うためのインターフェースである。
【００６１】
信号入力部４２は、車両Ａ１に設けられた各種装置からの信号の入力が行われる際のインターフェースである。信号入力部４２を介して、送信側車載装置１２０の外部からの信号が制御部１に入力される。具体的には、シフトセンサ８１、車速センサ８２、方向指示器８３、および、操舵角センサ８４などから、各種情報を示す信号が制御部１に入力される。
【００６２】
シフトセンサ８１からは、車両Ａ１の変速装置のシフトレバーの操作の位置、すなわち、”Ｐ（駐車）”，”Ｄ（前進）”，”Ｎ（中立）”，”Ｒ（後退）”などのシフトポジションが入力される。車速センサ８２からは、その時点の車両Ａ１の走行速度（ｋｍ／ｈ）が入力される。
【００６３】
方向指示器８３からは、ウインカースイッチの操作に基づく方向指示、すなわち、車両Ａ１のドライバが意図する方向指示を示すターン信号が入力される。ウインカースイッチが操作されたときはターン信号が発生し、ターン信号はその操作された方向（左方向あるいは右方向）を示すことになる。ウインカースイッチが中立位置となったときは、ターン信号はオフとなる。
【００６４】
操舵角センサ８４からは、ユーザが操作したステアリングホイールの操作方向が制御部１に入力される。詳細には、操舵角センサ８４には、ユーザが操作したステアリングホイールの回転方向、回転角度、及び、回転速度が信号入力部４２を介して制御部１に入力される。
【００６５】
＜１−３．撮影部＞
次に、画像処理装置１００の撮影部５について詳細に説明する。撮影部５は、制御部１に電気的に接続され、制御部１からの信号に基づいて動作する。
【００６６】
撮影部５は、車載カメラであるフロントカメラ５１、バックカメラ５２、左サイドカメラ５３、および、右サイドカメラ５４を備えている。これらの車載カメラ５１、５２、５３、５４はそれぞれ、ＣＣＤやＣＭＯＳなどの撮像素子を備えており電子的に画像を取得する。
【００６７】
図３は、車載カメラ５１、５２、５３、５４が車両Ａ１およびＡ１ｄに配置される位置を示す図である。なお、以下の説明においては、車両Ａ１を例に説明を行う。また、方向及び向きを示す際に、適宜、図中に示す３次元のＸＹＺ直交座標を用いる。このＸＹＺ軸は車両Ａ１に対して相対的に固定される。ここで、Ｘ軸方向は車両Ａ１の左右方向に沿い、Ｙ軸方向は車両Ａ１の直進方向（前後方向）に沿い、Ｚ軸方向は鉛直方向に沿っている。また、便宜上、＋Ｘ側を車両Ａ１の右側、＋Ｙ側を車両Ａ１の後側、＋Ｚ側を上側とする。
【００６８】
フロントカメラ５１は、車両Ａ１の前端にあるナンバープレート取付位置の近傍に設けられ、その光軸５１ａは車両Ａ１の直進方向（平面視でＹ軸方向の−Ｙ側）に向けられている。バックカメラ５２は、車両Ａ１の後端にあるナンバープレート取付位置の近傍に設けられ、その光軸５２ａは車両Ａ１の直進方向の逆方向（平面視でＹ軸方向の＋Ｙ側）に向けられている。また、左サイドカメラ５３は、左のドアミラー９３に設けられており、右サイドカメラ５４は右のドアミラー９４に設けられている。そして、光軸５３ａは車両Ａ１の左方向、光軸５４ａは車両Ａ１の右方向（平面視でＸ軸方向）に沿って外部に向けられている。なお、フロントカメラ５１やバックカメラ５２の取り付け位置は、左右略中央であることが望ましいが、左右中央から左右方向に多少ずれた位置であってもよい。
【００６９】
これらの車載カメラ５１、５２、５３、５４のレンズとしては魚眼レンズなどが採用されており、車載カメラ５１、５２、５３、５４は１８０度以上の画角αを有している。このため、４つの車載カメラ５１、５２、５３、５４を利用することで、車両Ａ１の全周囲の撮影が可能となっている。
【００７０】
＜１−３．画像変換処理＞
次に、画像処理部３の合成画像生成部３２が、撮影部５で得られた複数の撮影画像に基づいて車両Ａ１およびＡ１ｄの周辺を任意の仮想視点からみた様子を示す合成画像を生成する手法について説明する。合成画像を生成する際には、不揮発性メモリ４０に予め記憶された車種別情報４ａが利用される。図４は、合成画像を生成する手法を説明するための図である。なお、以下の画像変換処理の説明では車両Ａ１の処理を例に説明を行うが、車両Ａ１ｄについても同様の画像変換処理が行われる。
【００７１】
撮影部５のフロントカメラ５１、バックカメラ５２、左サイドカメラ５３、および、右サイドカメラ５４で同時に撮影が行われると、車両Ａ１の前方、後方、左側方、および、右側方をそれぞれ示す４つの撮影画像Ｐ１〜Ｐ４が取得される。すなわち、撮影部５で取得される４つの撮影画像Ｐ１〜Ｐ４には、撮影時点の車両Ａ１の全周囲を示す情報が含まれていることになる。
【００７２】
次に、４つの撮影画像Ｐ１〜Ｐ４の各画素が、仮想的な三次元空間における立体曲面ＳＰに投影される。立体曲面ＳＰは、例えば略半球状（お椀形状）をしており、その中心部分（お椀の底部分）が車両Ａ１の存在する位置として定められている。撮影画像Ｐ１〜Ｐ４に含まれる各画素の位置と、立体曲面ＳＰの各画素の位置とは予め対応関係が定められている。このため、立体曲面ＳＰの各画素の値は、この対応関係と撮影画像Ｐ１〜Ｐ４に含まれる各画素の値とに基づいて決定できる。
【００７３】
撮影画像Ｐ１〜Ｐ４の各画素の位置と立体曲面ＳＰの各画素の位置との対応関係は、車両Ａ１における４つの車載カメラ５１、５２、５３、５４の配置（相互間距離、地上高さ、光軸角度等）に依存する。このため、この対応関係を示すテーブルデータが、不揮発性メモリ４０に記憶された車種別情報４ａに含まれている。
【００７４】
また、車種別情報４ａに含まれる車体の形状やサイズを示すポリゴンデータが利用され、車両Ａ１の三次元形状を示すポリゴンモデルである車両像を仮想的に備えている。構成された車両像は、立体曲面ＳＰが設定される三次元空間において、車両Ａ１の位置と定められた略半球状の中心部分に配置される。
【００７５】
さらに、立体曲面ＳＰが存在する三次元空間に対して、制御部１により仮想視点ＶＰが設定される。仮想視点ＶＰは、視点位置と視野方向とで規定され、この三次元空間における車両Ａ１の周辺に相当する任意の視点位置に任意の視野方向に向けて設定される。
【００７６】
そして、設定された仮想視点ＶＰに応じて、立体曲面ＳＰにおける必要な領域が画像として切り出される。仮想視点ＶＰと、立体曲面ＳＰにおける必要な領域との関係は予め定められており、テーブルデータとして不揮発性メモリ４０等に予め記憶されている。つまり、設定された仮想視点ＶＰに応じて画像の領域が切り出されて、ポリゴンで構成された車両像に関してレンダリングがなされ、その結果となる二次元の車両像が、切り出された画像に対して重畳される。これにより、車両Ａ１および車両Ａ１の周辺を任意の仮想視点からみた様子を示す合成画像が生成されることになる。
【００７７】
例えば、視点位置が車両Ａ１の位置の略中央の直上位置で、視野方向が略直下方向とした仮想視点ＶＰ１を設定した場合は、車両Ａ１の略直上から車両Ａ１を見下ろすように、車両Ａ１（実際には車両像）及び車両Ａ１の周辺の様子を示す合成画像ＣＰ１が生成される。また、図中に示すように、視点位置が車両Ａ１の位置の左後方で、視野方向が車両Ａ１における略前方とした仮想視点ＶＰ２を設定した場合は、車両Ａ１の左後方からその周辺全体を見渡すように、車両Ａ１（実際には車両像）及び車両Ａ１の周辺の様子を示す合成画像ＣＰ２が生成される。
【００７８】
なお、実際に合成画像を生成する場合においては、立体曲面ＳＰの全ての画素の値を決定する必要はなく、設定された仮想視点ＶＰに対応して必要となる領域の画素の値のみを撮影画像Ｐ１〜Ｐ４に基づいて決定することで、処理速度を向上できる。
【００７９】
＜１−４．サーバ装置＞
図５は、サーバ装置９のブロック図である。サーバ装置９は、車両Ａ１の送信側車載装置１２０から収集した撮影画像の表示態様を含むデータを処理し、車両Ａ１ｄの受信側車載装置１２０ｄに表示態様に関するデータを送信する。サーバ装置９は、制御部９１、データ記録部９２、および、通信部９５を主に備えている。
【００８０】
制御部９１はＣＰＵ、ＲＡＭ、および、ＲＯＭなどを備えたコンピュータであり、所定のプログラムに従ってＣＰＵが演算処理を行うことで各種の制御機能が実現される。図中に示す取得部９１１、および、特定部９１２は、このようにして実現される制御部１の機能のうちの一部である。
【００８１】
取得部９１１は、送信側車載装置１２０から送信される車両情報ＴＡを取得する。つまり、撮影画像の表示態様をユーザが切替えたときの車両Ａ１の位置情報（車両Ａ１の緯度・経度情報）と、ユーザによる切替え後の撮影画像の表示態様とを含む車両情報ＴＡを取得する。
【００８２】
特定部９１２は、車両情報ＴＡにおける車両Ａ１の位置に対応する地点で使用頻度の最も高い表示態様である代表態様を特定する。つまり、ディスプレイ２４に表示される撮影画像の表示態様をユーザが切替えた場合に、ユーザによる切替え後の撮影画像の表示態様のうち最も使用回数の多い表示態様を代表態様として特定する。これにより複数の車両が実際に走行した車両の位置に対応する地点における撮影画像の最適な表示態様を取得できる。
【００８３】
データ記録部９２には、集計データ（例えば、図１１に示す集計データＴＤ）、および、地点データ（例えば、図１２に示す地点データＴＰ）を含むデータを記録する。集計データＴＤは、複数の車両Ａ１から送信され、取得部９１１が取得した車両情報ＴＡを集計したデータである。つまり、集計データＴＤは、ユーザがディスプレイ２４に表示される撮影画像を切替えたときの車両Ａ１の位置情報と、ユーザによる切替え後の撮影画像の表示態様とを含む車両情報ＴＡを蓄積したものである。
【００８４】
また、地点データＴＰは、集計データＴＤのデータに基づいて、車両Ａ１の位置に対応する地点における撮影画像の代表態様を特定部９１２が特定したデータである。つまり、地点データＴＰは、ディスプレイ２４に表示される撮影画像の表示態様をユーザが切替えたときの車両Ａ１の位置において、ユーザによる切替え後の撮影画像の表示態様のうち使用頻度が最も高い表示態様を含むデータを蓄積したものである。このように複数の車両が実際に走行した車両の位置に対応する地点における撮影画像の最適な表示態様を取得できる。
【００８５】
通信部９５は、サーバ装置９が送信側車載装置１２０、および、受信側車載装置１２０ｄとの情報の送受信を行うためのインターフェースである。そして、通信部９５を介してサーバ装置９から受信側車載装置１２０ｄに車両Ａ１ｄの位置に対応する地点の地点データを送信することで、車両の位置に対応する地点を初めて走行するユーザに最適な表示態様を提供できる。なお、サーバ装置９から受信側車載装置１２０ｄに送信する地点データは地点データＴＰに記録されたデータのうちの車両Ａ１ｄの位置に対応する地点のデータであり、後述する個別地点データ（例えば、図１２に示す個別地点データｔｐ１）である。
【００８６】
＜１−５．受信側車載装置＞
図６は、受信側車載装置１２０ｄのブロック図である。受信側車載装置１２０ｄは受信側車載装置１２０ｄを搭載する車両１ｄが走行する位置に対応する地点の代表態様の情報をサーバ装置９から受信する。なお、受信側車載装置１２０ｄの構成は、サーバ装置９に車両情報ＴＡを送信する送信側車載装置１２０の構成と略同一の構成であるが、一部が相違する。以下相違点について説明する。
【００８７】
車両Ａ１に搭載された送信側車載装置１２０が、表示装置２０の記憶部２２にサーバ装置９に送信する車両情報ＴＡを記憶していたのに対して、受信側車載装置１２０ｄはサーバ装置９から取得した個別地点データｔｐ１を記録している
つまり、受信側車載装置１２０ｄは、サーバ装置９の地点データＴＰの中から車両Ａ１ｄの位置に対応した地点の代表態様を含む個別地点データｔｐ１を取得して、当該代表態様によりディスプレイ２４に表示される撮影画像の表示態様を表示制御部２０１が制御する。これにより、車両の位置に対応する地点を初めて走行するユーザに撮影画像の最適な表示態様を提供できる。また、複数の地点の代表態様を記憶部２２ｄに記憶する場合と比べて、予め複数の地点の代表態様を記憶する必要がないことから、表示装置２０ｄの記憶部２２ｄに記憶する容量を削減できる。
【００８８】
なお、サーバ装置９から送信された場合に、記憶部２２ｄに個別地点データｔｐ１を記憶せずに、個別地点データｔｐ１の代表態様によりディスプレイ２４に表示される撮影画像の表示態様を表示制御部２０１が制御するようにしてもよい。
【００８９】
＜１−６．動作モード＞
次に、送信側車載装置１２０、および、受信側車載装置１２０ｄの動作モードについて説明する。図７は、送信側車載装置１２０、および、受信側車載装置１２０ｄの動作モードの遷移を示す図である。送信側車載装置１２０、および、受信側車載装置１２０ｄは、ナビモードＭ０、周囲確認モードＭ１、フロントモードＭ２、バックモードＭ３の４つの動作モードを有している。これらの動作モードは、ユーザの操作や車両Ａ１およびＡ１ｄの走行状態に応じて制御部１の制御により切り替えられるようになっている。なお、以下の動作モードの説明では車両Ａ１ｄの処理を例に説明を行うが、車両Ａ１についても同様の画像変換処理が行われる。
ナビモードＭ０は、表示装置２０ｄの機能により、ナビゲーション案内用の地図画像などをディスプレイ２４に表示する動作モードである。ナビモードＭ０では、画像処理装置１００の機能が利用されず、表示装置２０ｄ単体の機能で各種の表示がなされる。このため、表示装置２０ｄが、テレビジョン放送の電波を受信して表示する機能を有している場合は、ナビゲーション案内用の地図画像に代えて、テレビジョン放送画面が表示されることもある。
【００９０】
これに対して、周囲確認モードＭ１、フロントモードＭ２、および、バックモードＭ３は、画像処理装置１００の機能を利用して、車両Ａ１ｄの周辺の状況をリアルタイムで示す表示用画像をディスプレイ２４に表示する動作モードである。
【００９１】
周囲確認モードＭ１は、車両Ａ１ｄを見下ろした状態で車両Ａ１ｄの周囲を周回するようなアニメーション表現を行う動作モードである。フロントモードＭ２は、前進時に必要となる車両Ａ１ｄの前方や側方を主に示す表示用画像を表示する動作モードである。また、バックモードＭ３は、後退時に必要となる車両Ａ１ｄの後方を主に示す表示用画像を表示する動作モードである。
【００９２】
受信側車載装置１２０ｄを起動すると、最初に周囲確認モードＭ１となる。周囲確認モードＭ１の場合には、車両Ａ１ｄの周囲を周回するようなアニメーション表現がなされた後に所定時間（例えば、６秒）が経過すると、自動的にフロントモードＭ２に切り替えられる。また、フロントモードＭ２の場合において、走行速度が例えば０ｋｍ／ｈの状態（停止状態）で切替ボタン３０１が所定時間以上継続して押下されると、周囲確認モードＭ１に切り替えられる。なお、ドライバからの所定の指示で、周囲確認モードＭ１からフロントモードＭ２に切り替えるようにしてもよい。
【００９３】
また、フロントモードＭ２の場合に走行速度が例えば１０ｋｍ／ｈ以上になったときは、ナビモードＭ０に切り替えられる。逆に、ナビモードＭ０の場合に車速センサ８２から入力される走行速度が例えば１０ｋｍ／ｈ未満になったときは、フロントモードＭ２に切り替えられる。
【００９４】
車両Ａ１ｄの走行速度が比較的高い場合においては、ドライバを走行に集中させるためにフロントモードＭ２が解除される。逆に、車両Ａ１ｄの走行速度が比較的低い場合においては、ドライバは車両Ａ１ｄの周辺の状況をより考慮した運転、具体的には、見通しの悪い交差点への進入、方向変更、あるいは、幅寄せなどを行っている場面が多い。このため、走行速度が比較的低い場合においては、ナビモードＭ０からフロントモードＭ２に切り替えられる。なお、ナビモードＭ０からフロントモードＭ２に切り替える場合は、走行速度が１０ｋｍ／ｈ未満という条件に、ドライバからの明示的な操作指示があるという条件を加えてもよい。
【００９５】
また、ナビモードＭ０の場合において、走行速度が例えば０ｋｍ／ｈの状態（停止状態）で切替ボタン３０１が所定時間以上継続して押下されると、周囲確認モードＭ１に切り替えられる。そして、車両Ａ１ｄの周囲を周回するようなアニメーション表現がなされた後に所定時間（例えば、６秒）が経過すると、自動的にもとのモードであるナビモードＭ０に切り替わる。
【００９６】
また、ナビモードＭ０あるいはフロントモードＭ２の場合に、シフトセンサ８１から入力されるシフトレバーの位置が”Ｒ（後退）”となったときは、バックモードＭ３に切り替えられる。すなわち、車両Ａ１ｄの変速装置が”Ｒ（後退）”の位置に操作されているときには、車両Ａ１ｄは後退する状態であるため、車両Ａ１ｄの後方を主に示すバックモードＭ３に切り替えられる。
【００９７】
一方、バックモードＭ３の場合に、シフトレバーの位置が”Ｒ（後退）”以外となったときは、その時点の走行速度を基準として、ナビモードＭ０あるいはフロントモードＭ２に切り替えられる。すなわち、走行速度が１０ｋｍ／ｈ以上であればナビモードＭ０に切り替えられ、走行速度が１０ｋｍ／ｈ未満であればフロントモードＭ２に切り替えられる。なお、上記のモードの切り替えの条件（例えば走行速度が０ｋｍ／ｈ、走行速度が１０ｋｍ／ｈ以上など）は、一例であり、その他の条件とすることもできる。
【００９８】
次に、これらの４つのモードのうちフロントモードＭ２の車両Ａ１ｄの周辺の表示態様について詳細に説明する。図８は、フロントモードＭ２における表示態様の遷移を示す図である。また、図９はディスプレイ２４に表示される画像に対応する領域を示した図である。なお、図９の車両Ａ１ｄの周辺の領域（Ｒ１〜Ｒ１０）は、先に図４を用いて説明した立体曲面ＳＰの車両Ａ１、Ａ１ｄの周辺の領域を示している。また、領域Ｒ１〜Ｒ１０のそれぞれは複数の画素の集合の矩形の領域である。
【００９９】
フロントモードＭ２では、走行俯瞰モードＭ２１、自車確認モードＭ２２、および、サイドカメラモードＭ２３の３つの表示態様があり、これらの表示態様は互いに表示される撮影画像の種類が異なっている。これらの画面のうちＭ２１、Ｍ２２、および、Ｍ２３の画面には、各表示態様における視野範囲を示す視野ガイド９０が表示され、ユーザに対して車両Ａ１ｄの周辺のいずれの領域を表示しているかが示されるようになっている。
【０１００】
モードＭ２１〜Ｍ２３の表示態様の切り替えは、ユーザが切替ボタン３０１を押下するごとに、走行俯瞰モードＭ２１、自車確認モードＭ２２、サイドカメラモードＭ２３の順で制御部１の制御により切り替えられる。
【０１０１】
走行俯瞰モードＭ２１は、視点位置が車両Ａ１ｄの位置の略中央の直上位置で、視野方向が略真下方向とした仮想視点ＶＰ１からみた車両Ａ１ｄの様子を示す合成画像ＦＰ１と、フロントカメラ５１の撮影により得られるフロント画像ＦＰ２とを並べて含む画面をディスプレイ２４に表示する表示モードである。すなわち、走行俯瞰モードＭ２１では、図９に示す車両Ａ１ｄの周辺の領域Ｒ１〜Ｒ１０に対応する合成画像ＦＰ１と、フロントカメラ５１の撮影画像である車両Ａ１ｄの前方を示すフロント画像ＦＰ２との二つの画像が同一画面上に示される。
【０１０２】
走行俯瞰モードＭ２１においては、このような二つの合成画像ＦＰ１、ＦＰ２を閲覧することができるため、ユーザは、車両Ａ１ｄの周囲全体とともに、車両Ａ１ｄの進行方向である前方の状況を一目で確認できる。走行俯瞰モードＭ２１は、前進中のさまざまな場面で汎用性高く利用できる表示モードであるといえる。
【０１０３】
また、自車確認モードＭ２２は、フロントカメラ５１での撮影により得られるフロント画像ＦＰ３と、視点位置が車両Ａ１ｄの位置の略後方位置で、視野方向が車両Ａ１における略前方とした仮想視点ＶＰ２からみた車両Ａ１ｄの様子を示す合成画像ＦＰ４とを並べて含む画面をディスプレイ２４に表示する表示モードである。すなわち、自車確認モードＭ２２では、車両Ａ１ｄの前方を示すフロント画像ＦＰ３と、車両Ａ１ｄの周辺領域Ｒ１〜Ｒ１０に対応する合成画像ＦＰ４との二つの画像が同一画面上に示される。
【０１０４】
このように、自車確認モードＭ２２の合成画像ＦＰ４は、図９に示す領域のうち走行俯瞰モードＭ２１の合成画像ＦＰ１と同じ領域（Ｒ１〜Ｒ１０）に対応している。合成画像ＦＰ１とＦＰ４との異なる点は、仮想視点の視点位置および視点方向である。上述のように、合成画像ＦＰ１の視点位置は車両Ａ１ｄの位置の略中央の直上位置、視野方向は略真下方向である。また、合成画像ＦＰ４の視点位置は車両Ａ１ｄの位置の略後方位置、視野方向は車両Ａ１における略前方である。
【０１０５】
また、自車確認モードＭ２２のフロント画像ＦＰ３は、走行俯瞰モードＭ２１のフロント画像ＦＰ２と比較して、左右方向の視野範囲が広く設定されている。このため、見通しの悪い交差点に進入する場合に死角となりやすい車両Ａ１ｄの前端より前方かつ左右方向に存在する物体を確認できる。
【０１０６】
また、自車確認モードＭ２２の合成画像ＦＰ４は、走行俯瞰モードＭ２１の合成画像ＦＰ１と比較して仮想視点ＶＰの位置が車両Ａ１ｄの後方に移動されているため、車両Ａ１ｄの後方を示す領域は狭くなるものの、車両Ａ１ｄの側方が確認しやすくなっている。このため、対向車とすれ違う場合などに、対向車とのクリアランスを容易に確認できる。
【０１０７】
自車確認モードＭ２２においては、このような二つの画像ＦＰ３，ＦＰ４を閲覧することができるため、ユーザは、見通しの悪い交差点に進入する場合や対向車とすれ違う場合などの慎重な運転を必要とする状況において、確認すべき領域の状況を一目で確認できる。
【０１０８】
サイドカメラモードＭ２３は、左サイドカメラ５３および右サイドカメラ５４での撮影によりそれぞれ得られるサイド画像ＦＰ５，ＦＰ６を並べて含む画面をディスプレイ２４に表示する表示モードである。サイド画像ＦＰ５，ＦＰ６は、運転席から死角となりやすいフロントフェンダ９７の外側のみを示している。
【０１０９】
サイドカメラモードＭ２３においては、このような二つの画像ＦＰ５，ＦＰ６を閲覧することができるため、ユーザは、道路の端に車体を寄せる幅寄せを行う場合などにおいて、確認すべき領域の状況を容易に確認できる。
【０１１０】
＜１−７．データベース＞
次に、車両Ａ１ａの車載装置１２０ａに記憶される車両情報ＴＡ１、車両Ａ１ｂの車載装置１２０ｂに記憶される車両情報ＴＡ２、車両Ａ１ｃの車載装置１２０ｃに記憶される車両情報ＴＡ３と、サーバ装置９のデータ記録部９２に記録される集計データＴＤおよび地点データＴＰとについて詳細に説明する。
【０１１１】
図１０は、車両情報ＴＡ１、ＴＡ２、ＴＡ３を示す図である。車両情報ＴＡ１は車両Ａ１ａ、車両情報ＴＡ２は車両Ａ１ｂ、車両情報ＴＡ３は車両Ａ１ｃにおいて、ユーザがディスプレイ２４に表示される撮影画像の表示態様を切り替えたことにより取得されるデータである。各データは「ユーザＩＤ」、「情報取得日時」、「位置情報」、「モード情報」、および、「画像情報」の項目を有している。
【０１１２】
「ユーザＩＤ」は、各車両の識別番号である。「情報取得日時」は、ディスプレイ２４に表示された撮影画像の表示態様をユーザが切り替えた日時の情報である。「位置情報」は、ディスプレイ２４に表示された撮影画像の表示態様をユーザが切り替えたときの車両の位置に対応する地点の情報（例えば、車両Ａ１の緯度・経度情報）である。
【０１１３】
「モード情報」は、撮影画像の表示態様をユーザが切り替えた後の表示態様であるディスプレイ２４に撮影画像を表示するモードの情報である。車両情報ＴＡ１、および、ＴＡ２では、自車確認モードＭ２２の値が記録されており、車両情報ＴＡ３では、サイドカメラモードＭ２３の値が記録されている。
【０１１４】
「画像情報」は、各モードにおいてディスプレイ２４に表示される画像に対応する撮影画像、および、領域の少なくとも一つの情報である。車両情報ＴＡ１、および、ＴＡ２では、合成画像ＦＰ１に対応する領域Ｒ１〜Ｒ１０と、画像ＦＰ２に対応するフロントカメラ画像の情報が記録されている。車両情報ＴＡ３では、画像ＦＰ５に対応する左サイドカメラ画像、および、画像ＦＰ６に対応する右サイドカメラ画像の情報が記録されている。
【０１１５】
図１１は、サーバ装置９のデータ記録部９２に記録される集計データＴＤを示す図である。集計データＴＤは、複数の車両Ａ１から送信された車両情報ＴＡを集計したデータであり、車両情報ＴＡの項目と同じ項目（「ユーザＩＤ」、「情報取得日時」、「位置情報」、「モード情報」、「画像情報」）を有しているデータである。なお、図１１の集計データＴＤに示す３つのデータは位置情報が同一および近傍のいずれかの車両情報である。なお、集計データＴＤは位置情報が同一および近傍のいずれかの位置のみではなく、複数の車両からの異なる位置の位置情報も集計することができる。
【０１１６】
図１２は、サーバ装置９のデータ記録部９２に記録されている地点データＴＰを示す図である。地点データＴＰは、集計データＴＤのうちの位置情報が同一および近傍のいずれかの車両情報がサーバ装置９の取得部９１１により所定数を超えて取得された場合に、特定部９１２が使用頻度が最も高い表示態様を代表態様として特定し、当該代表態様を位置情報と対応付けて記録したデータである。
【０１１７】
詳細には図１２に示すように地点データＴＰは「位置情報」、「モード情報」、および、「画像情報」の項目を有している。なお、地点データＴＰに記録されている地点ごとのデータが個別地点データｔｐであり、図１２の地点データＴＰには複数の個別地点データｔｐ１、ｔｐ２が記録されている。「位置情報」はディスプレイ２４に表示された撮影画像の表示態様をユーザが切り替えたときの車両の位置に対応する地点の情報である。
【０１１８】
「モード情報」は、ディスプレイ２４に表示された撮影画像の表示態様をユーザが切り替えたときの位置情報に対応付けて、当該位置で撮影画像の表示態様をユーザが切り替えた後のディスプレイ２４に表示されるモード情報のうち、使用頻度が最も高いモード情報である。つまり、集計データＴＤにおいて位置情報が同一および近傍のいずれかのデータのうち、ユーザの使用頻度が最も高いモード情報の値が記録されている。
【０１１９】
「画像情報」はモード情報に対応する情報であり、ディスプレイ２４に表示された撮影画像の表示態様をユーザが切り替えたときの位置情報に対応付けて、当該位置で撮影画像の表示態様をユーザが切り替えた後のディスプレイ２４に表示される画像情報のうち、使用頻度が最も高い画像情報である。つまり、集計データＴＤにおいて位置情報が同一および近傍のいずれかのデータのうち、ユーザの使用頻度の最も高い画像情報が記録されている。
【０１２０】
＜１−８．処理フローチャート＞
図１３は、送信側車載装置１２０からサーバ装置９へ車両情報ＴＡを送信する処理フローチャートである。ディスプレイ２４に表示されている撮影画像のモード切り替え操作がユーザにより行われた場合（ステップＳ１０１がＹｅｓ）、ステップＳ１０２の処理に進む。なお、ユーザによるモード切り替え操作が行われていない場合（ステップＳ１０１がＮｏ）は、現在のモードでディスプレイ２４の撮影画像の表示を送信側車載装置１２０が継続する。
【０１２１】
ステップＳ１０２では、ユーザの切り替え操作に対応したモードの撮影画像を送信側車載装置１２０がディスプレイ２４に表示して（ステップＳ１０２）、ステップＳ１０３の処理に進む。
【０１２２】
ステップＳ１０３では、ユーザの切り替え操作に対応したモードの撮影画像が例えば３秒を超えて表示された場合、つまり３秒を超えてユーザによるモードの切り替え操作が行われなかった場合（ステップＳ１０３がＹｅｓ）は、ステップＳ１０４の処理に進む。なお、３秒以内に別のモードへの切り替え操作がユーザにより行われた場合（ステップＳ１０３がＮｏ）は、ステップＳ１０２の処理に戻り、ユーザの切り替え操作に対応した別のモードの撮影画像を送信側車載装置１２０がディスプレイ２４に表示する。また、モードの切り替え操作の有無を判定する時間（３秒）は別の時間（例えば、２秒、５秒など）に変更が可能である。
【０１２３】
ステップＳ１０４では、ディスプレイ２４に表示される撮影画像の表示態様をユーザが切替えたときの車両Ａ１の位置を表示装置２０の位置導出部２０２が導出して（ステップＳ１０４）、ステップＳ１０５の処理に進む。
【０１２４】
ステップＳ１０５では、ディスプレイ２４に表示される撮影画像の表示態様をユーザが切替えたときの車両Ａ１の位置情報と、ユーザによる切替え後の撮影画像の表示態様とを含む情報である車両情報ＴＡをサーバ装置９に送信する（ステップＳ１０４）。
【０１２５】
サーバ装置９では、送信側車載装置１２０から送信された車両情報ＴＡを取得部９１１が取得して（ステップＳ２０１）、当該車両情報ＴＡをデータ記録部９２に集計データＴＤとして記録する（ステップＳ２０２）。
【０１２６】
図１４、および、図１５は、サーバ装置９から受信側車載装置１２０ｄに個別地点データｔｐ１を送信する処理フローチャートである。受信側車載装置１２０ｄにおける表示装置２０ｄの位置導出部２０２は、車両Ａ１ｄの走行に伴い車両Ａ１ｄの位置を導出して（ステップＳ３０１）、車両Ａ１ｄの位置に対応した位置データをサーバ装置９に送信する（ステップＳ３０２）。
【０１２７】
サーバ装置９は、受信側車載装置１２０ｄからの位置データを取得して（ステップＳ４０１）、ステップＳ４０２の処理に進む。
【０１２８】
ステップＳ４０２では、受信側車載装置１２０ｄから取得した位置データの車両Ａ１の位置に対応する地点データがサーバ装置９のデータ記録部９２の地点データＴＰに記録されている場合（ステップＳ４０２がＹｅｓ）は、地点データＴＰの中から車両Ａ１ｄの位置に対応する地点データである個別地点データｔｐ１を受信側車載装置１２０ｄに送信する（ステップＳ４０３）。つまり、地点データＴＰの中から車両Ａ１ｄの位置に対応する位置情報の代表態様であるモード情報、および、画像情報を含む情報を受信側車載装置１２０ｄに送信する。なお、車両Ａ１ｄの位置に対応する個別地点データｔｐがデータ記録部９２の地点データＴＰに記録されていない場合（ステップＳ４０２がＮｏ）は処理を終了する。
【０１２９】
受信側車載装置１２０ｄはサーバ装置９から個別地点データｔｐ１を取得して（ステップＳ３０３）、ステップＳ３０４の処理に進む。
【０１３０】
ステップＳ３０４では、個別地点データｔｐ１に記録されているモード情報および画像情報の少なくとも一つの情報により撮影画像を表示するモードを表示制御部２０１が切り替えて（ステップＳ３０４）、ステップＳ３０５の処理に進む。このように使用頻度が最も高いモードに切り替えられるため、モードの切り替えに煩雑な操作を伴うことなく、車両Ａ１ｄの位置の走行環境に最適な態様で車両周辺の様子を確認できる。
【０１３１】
ステップＳ３０５では、車両Ａ１ｄの位置が個別地点データｔｐ１の地点を通過した位置でない場合（ステップＳ３０５がＮｏ）は、ステップＳ３０７の処理に進む。なお、車両Ａ１ｄの位置が個別地点データｔｐの地点を通過した位置の場合（ステップＳ３０５がＹｅｓ）は、ユーザが切り替える前のモードに戻る制御を表示制御部２０１が行うことで、モードを切り替える前の撮影画像がディスプレイ２４に表示される（ステップＳ３０６）。
【０１３２】
ステップＳ３０７では、個別地点データｔｐ１に対応する地点を車両Ａ１ｄが通過する前に、ユーザの操作によりモード切り替え操作が行われた場合（ステップＳ３０７がＹｅｓ）は、ステップＳ３０８の処理に進む。なお、ユーザの操作によるモード切り替え操作が行われていない場合（ステップＳ３０７がＮｏ）は、ステップＳ３０５の処理に戻る。
【０１３３】
ステップＳ３０８では、ユーザの切り替え操作に対応したモードの撮影画像をディスプレイ２４に表示して（ステップＳ３０８）、ステップＳ３０９の処理に進む。
【０１３４】
ステップＳ３０９の処理では、３秒を超えてユーザのモード切り替え操作が行われない場合（ステップＳ３０９がＹｅｓ）は、ステップＳ３１０の処理に進む。なお、３秒以内に別のモードへの切り替え操作がユーザにより行われた場合（ステップＳ３０９がＮｏ）は、ステップＳ３０８の処理に戻りユーザの切り替え操作に対応した別のモードの撮影画像をディスプレイ２４に表示する。
【０１３５】
ステップＳ３１０では、ディスプレイ２４に表示される撮影画像の表示態様をユーザが切替えたときの車両Ａ１ｄの位置を表示装置２０ｄの位置導出部２０２が導出して（ステップＳ３１０）、ステップＳ３１１の処理に進む。
【０１３６】
ステップＳ３１１では、ディスプレイ２４に表示される車載カメラの撮影画像の表示態様をユーザが切替えたときの車両Ａ１ｄの位置情報と、ユーザによる切替え後の撮影画像の表示態様とを含む情報である車両情報をサーバ装置９に送信する（ステップＳ３１０）。
【０１３７】
サーバ装置９では、受信側車載装置１２０ｄからの車両情報を取得部９１１が取得して（ステップＳ４０４）、当該車両情報をデータ記録部９２に集計データＴＤとして記録する（ステップＳ４０５）。このように、車両Ａ１ｄの位置に対応する地点の代表態様の情報をサーバ装置９から取得して、ディスプレイ２４に表示される画像を切り替える受信側車載装置１２０ｄからもユーザの切り替え操作に伴う新たな車両情報をサーバ装置９に送信することができる。そして、サーバ装置９に送信されたデータを蓄積することで、当該地点おける撮影画像の最適な表示態様を導出するための車両情報の蓄積が可能となる。
＜第２の実施の形態＞
次に、第２の実施の形態について説明する。第２の実施の形態と第１の実施形態との相違点は次のとおりである。第１の実施の形態では、サーバ装置９が車両Ａ１ｄの位置に対応する地点データを受信側車載装置１２０ｄに送信する場合、地点データＴＰの複数の地点ごとの表示態様のうち、受信側車載装置１２０ｄから受信した車両Ａ１ｄの位置に対応する地点の代表態様を含む個別地点データｔｐ１を送信していた。
【０１３８】
これに対して第２の実施の形態では、車両Ａ１ｄの位置にかかわらず、地点データＴＰの複数の地点ごとの表示態様のうち全ての地点の表示態様を一度に車両Ａ１ｄに送信する。以下、第２の実施の形態について説明する。なお、第２の実施の形態においては、システム構成は第１の実施の形態と略同一であり、処理が相違する。以下では、相違点を中心に説明する。
【０１３９】
＜２−１．システム構成＞
図１６は、受信側車載装置１２１ｄのブロック図である。表示装置２０ｄの記憶部２２ｄには、サーバ装置９のデータ記録部９２に記録されている地点データＴＰと同じデータが記録されている。つまり、サーバ装置９から受信側車載装置１２１ｄに全ての代表態様のデータである地点データＴＰが所定タイミングで送信されて、記憶部２２ｄに記憶されている。このように全ての地点の代表態様が予め記録されていることから、車両Ａ１ｄの位置に応じてサーバ装置９との通信を行なうことなく、受信側車載装置１２１ｄ単体で車両Ａ１ｄの位置に対応した地点の代表態様によりディスプレイ２４の表示態様を自動的に切り替えることができる。なお、受信側車載装置１２１ｄのその他の構成は図６に示した受信側車載装置１２０ｄの構成と同一である。
【０１４０】
＜２−２．処理フローチャート＞
図１７および図１８は、サーバ装置９から受信側車載装置１２１ｄに地点データＴＰを送信する処理フローチャートである。図１７、および、図１８の処理は第１の実施の形態中で説明した図１４、および、図１５の処理の一部が相違するものである。
【０１４１】
サーバ装置９は、データ記録部９２に記録された全ての代表態様である地点データＴＰを一度に受信側車載装置１２１ｄに送信する（ステップＳ６０１）。つまり、地点データＴＰに記録された全地点の代表態様のデータをサーバ装置９から受信側車載装置１２１ｄに送信する。
【０１４２】
受信側車載装置１２１ｄは、サーバ装置９から送信された地点データＴＰを取得して（ステップＳ５０１）、ステップＳ３０１の処理に進む。
【０１４３】
ステップＳ３０１では、位置導出部２０２が車両Ａ１ｄの位置を導出し（ステップＳ３０１）、ステップＳ５０２の処理に進む。
【０１４４】
ステップＳ５０２では、車両Ａ１ｄの位置に対応する地点が、表示装置２０ｄの記憶部２２ｄに記憶された地点データＴＰに存在する場合（ステップＳ５０２がＹｅｓ）は、ステップＳ５０３の処理に進む。
【０１４５】
ステップＳ５０３では、記憶部２２ｄに記憶された地点データＴＰにより撮影画像を表示するモードを表示制御部２０１が切り替えて（ステップＳ５０３）、ステップＳ３０５の処理に進む。
【０１４６】
なお、車両Ａ１ｄの位置に対応する地点のデータが地点データＴＰに存在しない場合（ステップＳ５０２がＹｅｓ）は、表示制御部２０１によるディスプレイ２４に表示されているモードの切り替えは行わずに、ステップＳ３０１の処理に戻り、位置導出部２０２が車両Ａ１ｄの位置を導出する（ステップＳ３０１）。
＜変形例＞
以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態に限定されるものではなく様々な変形が可能である。以下では、このような変形例について説明する。なお、上記実施の形態で説明した形態、および、以下で説明する形態を含む全ての形態は、適宜に組み合わせ可能である。
【０１４７】
上記実施の形態において、一の地点について送信側車載装置１２０がサーバ装置９に車両情報ＴＡを送信し、サーバ装置９から送信される代表態様を取得した受信側車載装置１２０ｄが当該代表態様による表示態様の切り替えを行うことについて述べた。これ以外にサーバ装置９に車両情報を送信する車載装置とサーバ装置９から代表態様を取得する車載装置については異なる組み合わせが可能である。
【０１４８】
例えば、一の地点において車載装置１２０ｂ、１２０ｃ、１２０ｄがサーバ装置９に車両情報を送信し、サーバ装置９から送信される代表態様を車載装置１２０ａが取得するようにしてもよい。また、一の地点において車載装置１２０ａ、１２０ｂ、１２０ｃがサーバ装置９に車両情報を送信し、同じ地点において車両情報を送信したのとは別のタイミングで車載装置１２０ａを搭載した車両Ａ１ａが走行する場合に、サーバ装置９から送信される代表態様を車載装置１２０ａが取得するようにしてもよい。
【０１４９】
また、上記実施の形態において、一つの車載装置が、上述した送信側車載装置１２０と受信側車載装置１２０ｄとの双方の機能を備えていてもよい。
【０１５０】
また、上記実施の形態において、送信側車載装置１２０、および、受信側車載装置１２０ｄによって実現されると説明した機能の一部は、サーバ装置９によって実現されるようにしてもよい。
【０１５１】
また、上記実施の形態において、サーバ装置９によって実現されると説明した機能の一部は、送信側車載装置１２０、および、受信側車載装置１２０ｄのいずれかによって実現されるようにしてもよい。
【０１５２】
また、上記実施の形態において、車両情報ＴＡ、集計データＴＤ、および、地点データＴＰにおいて、表示態様（代表態様）を示す項目として説明した「モード情報」、および、「画像情報」については、表示態様（代表態様）の種類を判別可能な情報のみを記録するようにしてもよい。つまり、「モード情報」のみを記録してもよいし、「画像情報」のみを記録するようにしてもよい。また、表示態様を示す情報として、合成画像の仮想視点の情報を記録してもよい。つまり、仮想視点の視点位置、および、視野方向の情報を記録してもよい。
【０１５３】
また、上記実施の形態において、信号入力部４２を介して画像処理装置１００の制御部１に入力されると説明した信号の一部および全部のいずれかは、表示装置２０に入力されるようになっていてもよい。この場合は、通信部４１を経由して、画像処理装置１００の制御部１に当該信号を入力すればよい。
【０１５４】
また、上記実施の形態において、車両が搭載している車載装置の種類をサーバ装置９のデータ記録部９２に予め記録しておき、車両に搭載されている画像システムの種類に応じた代表態様の情報をサーバ装置９から車載装置に送信するようにしてもよい。つまり、車載装置の種類によって異なるモード情報、および、車載装置の種類によって異なる画像情報の少なくとも一つの情報を車載装置の種類に応じてサーバ装置９から車載装置を送信するようにしてもよい。
【符号の説明】
【０１５５】
１・・・・・制御部
３・・・・・画像処理部
５・・・・・撮影部
１０・・・・本体部
２０・・・・表示装置
【特許請求の範囲】
【請求項１】
情報処理システムであって、
車両で使用されて該車両の周辺の撮影画像を異なる表示態様で表示可能な第１車載装置と、
車両で使用されて該車両の周辺の撮影画像を異なる表示態様で表示可能な第２車載装置と、
前記第１車載装置及び前記第２車載装置と通信可能なサーバ装置と、
を備え、
（ａ）前記第１車載装置は、
（ａ−１）現在の車両の位置を取得する取得手段と、
（ａ−２）前記撮影画像の表示態様をユーザが切り替えたときの車両の位置と、切り替え後の前記表示態様とを含む車両情報を前記サーバ装置に送信する送信手段と、
を備え、
（ｂ）前記サーバ装置は、
（ｂ−１）複数の車両の前記第１車載装置から前記車両情報を取得する取得手段と、
（ｂ−２）前記車両情報に基づいて、前記車両情報が示す車両の位置において使用頻度が最も高い表示態様である代表態様を特定する特定手段と、
（ｂ−３）車両の位置と、該位置の前記代表態様とを対応付けて記憶する記憶手段と、
（ｂ−４）前記第２車載装置に、前記代表態様を送信する送信手段と、
を備え、
（ｃ）前記第２車載装置は、
（ｃ−１）現在の車両の位置を取得する取得手段と、
（ｃ−２）現在の車両の位置に対応する前記代表態様で前記撮影画像を表示する表示手段と、
を備えることを特徴とする情報処理システム。
【請求項２】
情報処理システムであって、
車両で使用されて該車両の周辺の撮影画像を異なる表示態様で表示可能な車載装置と、
前記車載装置と通信可能なサーバ装置と、
を備え、
（ａ）前記車載装置は、
現在の車両の位置を取得する取得手段と、
前記撮影画像の表示態様をユーザが切り替えたときの車両の位置と、切り替え後の前記表示態様とを含む車両情報を前記サーバ装置に送信する送信手段と、
を備え、
（ｂ）前記サーバ装置は、
複数の車両の前記車載装置から前記車両情報を取得する取得手段と、
前記車両情報に基づいて、前記車両情報が示す車両の位置において使用頻度が最も高い表示態様である代表態様を特定する特定手段と、
を備えることを特徴とする情報処理システム。
【請求項３】
情報処理システムであって、
車両で使用されて該車両の周辺の撮影画像を異なる表示態様で表示可能な車載装置と、
前記車載装置と通信可能なサーバ装置と、
を備え、
（ａ）前記サーバ装置は、
車両の位置と、該位置において前記異なる表示態様のうち使用頻度が最も高い表示態様である代表態様とを対応付けて記憶する記憶手段と、
前記車載装置に、前記代表態様を送信する送信手段と、
を備え、
（ｂ）前記車載装置は、
現在の車両の位置を取得する取得手段と、
現在の車両の位置に対応する前記代表態様で前記撮影画像を表示する表示手段と、
を備えることを特徴とする情報処理システム。
【請求項４】
車両で使用されて該車両の周辺の撮影画像を異なる表示態様で表示可能な車載装置と通信可能なサーバ装置であって、
前記撮影画像の表示態様をユーザが切り替えたときの車両の位置と、切り替え後の前記表示態様とを含む車両情報を、複数の車両の前記車載装置から取得する取得手段と、
前記車両情報に基づいて、前記車両情報が示す車両の位置において使用頻度が最も高い表示態様である代表態様を特定する特定手段と、
を備えることを特徴とするサーバ装置。
【請求項５】
車両で使用されて該車両の周辺の撮影画像を異なる表示態様で表示可能な車載装置と通信可能なサーバ装置であって、
車両の位置と、該位置において前記異なる表示態様のうち使用頻度が最も高い表示態様である代表態様とを対応付けて記憶する記憶手段と、
前記車載装置に、前記代表態様を送信する送信手段と、
を備えることを特徴とするサーバ装置。
【請求項６】
請求項５に記載のサーバ装置において、
前記車載装置が使用される車両の位置を取得する取得手段、
をさらに備え、
前記送信手段は、前記車載装置が使用される車両の位置に対応する前記代表態様を送信することを特徴とするサーバ装置。
【請求項７】
請求項５に記載のサーバ装置において、
前記送信手段は、前記記憶手段に記憶される全ての前記代表態様を一度に送信することを特徴とするサーバ装置。
【請求項８】
車両で使用されて該車両の周辺の撮影画像を異なる表示態様で表示可能な車載装置であって、
現在の車両の位置を取得する取得手段と、
前記撮影画像の表示態様をユーザが切り替えたときの車両の位置と、切り替え後の前記表示態様とを含む車両情報を、所定のサーバ装置に送信する送信手段と、
を備えることを特徴とする車載装置。
【請求項９】
車両で使用されて該車両の周辺の撮影画像を異なる表示態様で表示可能な車載装置であって、
現在の車両の位置を取得する第１取得手段と、
車両の位置と、該位置において前記異なる表示態様のうち使用頻度が最も高い表示態様である代表態様とを対応付けて記憶するサーバ装置から、前記代表態様を取得する第２取得手段と、
現在の車両の位置に対応する前記代表態様で前記撮影画像を表示する表示手段と、
を備えることを特徴とする車載装置。
【請求項１０】
請求項９に記載の車載装置において、
前記第２取得手段は、前記第１取得手段に取得された車両の位置に対応する前記代表態様を取得することを特徴とする車載装置。
【請求項１１】
請求項９に記載の車載装置において、
前記代表態様を記憶する記憶手段、
をさらに備え、
前記第２取得手段は、前記記憶手段に記憶される全ての前記代表態様を一度に取得し、
前記記憶手段に記憶させることを特徴とする車載装置。
【請求項１２】
情報処理システムであって、
車両で使用されて該車両の周辺の撮影画像を異なる表示態様で表示可能な表示手段と、
現在の車両の位置を取得する取得手段と、
前記撮影画像の表示態様をユーザが切替えたときの前記車両の位置と、切り替え後の前記表示態様とを含む車両情報に基づいて、前記車両情報が示す車両の位置において使用頻度が最も高い表示態様である代表態様を特定する特定手段と、
前記車両の位置と、該位置の前記代表態様とを対応付けて記憶する記憶手段と、
を備え、
前記表示手段は、前記現在の車両の位置に対応する前記代表態様で前記撮影画像を表示すること、
を特徴とする情報処理システム。
【請求項１】
情報処理システムであって、
車両で使用されて該車両の周辺の撮影画像を異なる表示態様で表示可能な第１車載装置と、
車両で使用されて該車両の周辺の撮影画像を異なる表示態様で表示可能な第２車載装置と、
前記第１車載装置及び前記第２車載装置と通信可能なサーバ装置と、
を備え、
（ａ）前記第１車載装置は、
（ａ−１）現在の車両の位置を取得する取得手段と、
（ａ−２）前記撮影画像の表示態様をユーザが切り替えたときの車両の位置と、切り替え後の前記表示態様とを含む車両情報を前記サーバ装置に送信する送信手段と、
を備え、
（ｂ）前記サーバ装置は、
（ｂ−１）複数の車両の前記第１車載装置から前記車両情報を取得する取得手段と、
（ｂ−２）前記車両情報に基づいて、前記車両情報が示す車両の位置において使用頻度が最も高い表示態様である代表態様を特定する特定手段と、
（ｂ−３）車両の位置と、該位置の前記代表態様とを対応付けて記憶する記憶手段と、
（ｂ−４）前記第２車載装置に、前記代表態様を送信する送信手段と、
を備え、
（ｃ）前記第２車載装置は、
（ｃ−１）現在の車両の位置を取得する取得手段と、
（ｃ−２）現在の車両の位置に対応する前記代表態様で前記撮影画像を表示する表示手段と、
を備えることを特徴とする情報処理システム。
【請求項２】
情報処理システムであって、
車両で使用されて該車両の周辺の撮影画像を異なる表示態様で表示可能な車載装置と、
前記車載装置と通信可能なサーバ装置と、
を備え、
（ａ）前記車載装置は、
現在の車両の位置を取得する取得手段と、
前記撮影画像の表示態様をユーザが切り替えたときの車両の位置と、切り替え後の前記表示態様とを含む車両情報を前記サーバ装置に送信する送信手段と、
を備え、
（ｂ）前記サーバ装置は、
複数の車両の前記車載装置から前記車両情報を取得する取得手段と、
前記車両情報に基づいて、前記車両情報が示す車両の位置において使用頻度が最も高い表示態様である代表態様を特定する特定手段と、
を備えることを特徴とする情報処理システム。
【請求項３】
情報処理システムであって、
車両で使用されて該車両の周辺の撮影画像を異なる表示態様で表示可能な車載装置と、
前記車載装置と通信可能なサーバ装置と、
を備え、
（ａ）前記サーバ装置は、
車両の位置と、該位置において前記異なる表示態様のうち使用頻度が最も高い表示態様である代表態様とを対応付けて記憶する記憶手段と、
前記車載装置に、前記代表態様を送信する送信手段と、
を備え、
（ｂ）前記車載装置は、
現在の車両の位置を取得する取得手段と、
現在の車両の位置に対応する前記代表態様で前記撮影画像を表示する表示手段と、
を備えることを特徴とする情報処理システム。
【請求項４】
車両で使用されて該車両の周辺の撮影画像を異なる表示態様で表示可能な車載装置と通信可能なサーバ装置であって、
前記撮影画像の表示態様をユーザが切り替えたときの車両の位置と、切り替え後の前記表示態様とを含む車両情報を、複数の車両の前記車載装置から取得する取得手段と、
前記車両情報に基づいて、前記車両情報が示す車両の位置において使用頻度が最も高い表示態様である代表態様を特定する特定手段と、
を備えることを特徴とするサーバ装置。
【請求項５】
車両で使用されて該車両の周辺の撮影画像を異なる表示態様で表示可能な車載装置と通信可能なサーバ装置であって、
車両の位置と、該位置において前記異なる表示態様のうち使用頻度が最も高い表示態様である代表態様とを対応付けて記憶する記憶手段と、
前記車載装置に、前記代表態様を送信する送信手段と、
を備えることを特徴とするサーバ装置。
【請求項６】
請求項５に記載のサーバ装置において、
前記車載装置が使用される車両の位置を取得する取得手段、
をさらに備え、
前記送信手段は、前記車載装置が使用される車両の位置に対応する前記代表態様を送信することを特徴とするサーバ装置。
【請求項７】
請求項５に記載のサーバ装置において、
前記送信手段は、前記記憶手段に記憶される全ての前記代表態様を一度に送信することを特徴とするサーバ装置。
【請求項８】
車両で使用されて該車両の周辺の撮影画像を異なる表示態様で表示可能な車載装置であって、
現在の車両の位置を取得する取得手段と、
前記撮影画像の表示態様をユーザが切り替えたときの車両の位置と、切り替え後の前記表示態様とを含む車両情報を、所定のサーバ装置に送信する送信手段と、
を備えることを特徴とする車載装置。
【請求項９】
車両で使用されて該車両の周辺の撮影画像を異なる表示態様で表示可能な車載装置であって、
現在の車両の位置を取得する第１取得手段と、
車両の位置と、該位置において前記異なる表示態様のうち使用頻度が最も高い表示態様である代表態様とを対応付けて記憶するサーバ装置から、前記代表態様を取得する第２取得手段と、
現在の車両の位置に対応する前記代表態様で前記撮影画像を表示する表示手段と、
を備えることを特徴とする車載装置。
【請求項１０】
請求項９に記載の車載装置において、
前記第２取得手段は、前記第１取得手段に取得された車両の位置に対応する前記代表態様を取得することを特徴とする車載装置。
【請求項１１】
請求項９に記載の車載装置において、
前記代表態様を記憶する記憶手段、
をさらに備え、
前記第２取得手段は、前記記憶手段に記憶される全ての前記代表態様を一度に取得し、
前記記憶手段に記憶させることを特徴とする車載装置。
【請求項１２】
情報処理システムであって、
車両で使用されて該車両の周辺の撮影画像を異なる表示態様で表示可能な表示手段と、
現在の車両の位置を取得する取得手段と、
前記撮影画像の表示態様をユーザが切替えたときの前記車両の位置と、切り替え後の前記表示態様とを含む車両情報に基づいて、前記車両情報が示す車両の位置において使用頻度が最も高い表示態様である代表態様を特定する特定手段と、
前記車両の位置と、該位置の前記代表態様とを対応付けて記憶する記憶手段と、
を備え、
前記表示手段は、前記現在の車両の位置に対応する前記代表態様で前記撮影画像を表示すること、
を特徴とする情報処理システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【公開番号】特開２０１２−１９１４７９（Ｐ２０１２−１９１４７９Ａ）
【公開日】平成２４年１０月４日（２０１２．１０．４）
【国際特許分類】
【出願番号】特願２０１１−５３９７１（Ｐ２０１１−５３９７１）
【出願日】平成２３年３月１１日（２０１１．３．１１）
【出願人】（０００２３７５９２）富士通テン株式会社 (3,383)
【Ｆターム（参考）】
【公開日】平成２４年１０月４日（２０１２．１０．４）
【国際特許分類】
【出願日】平成２３年３月１１日（２０１１．３．１１）
【出願人】（０００２３７５９２）富士通テン株式会社 (3,383)
【Ｆターム（参考）】
[ Back to top ]