風景画像合成装置、風景画像合成方法及び風景画像合成プログラム
【課題】走行途上の視覚的な有益情報を運転手に提供すること。
【解決手段】第１の車１０の車載カメラ１１ａで撮影された第１の風景画像を入力し、第２の車２０の車載カメラ２１ａで撮影された第２の風景画像を無線通信ネットワーク７００を介して受信して、第１の風景画像の一領域と第２の風景画像の一領域とを比較して類似度が最も高い領域を特定し、その特定領域でそれら２枚の風景画像を重ね合わせて、重ね合わされた合成風景画像を表示する。
【解決手段】第１の車１０の車載カメラ１１ａで撮影された第１の風景画像を入力し、第２の車２０の車載カメラ２１ａで撮影された第２の風景画像を無線通信ネットワーク７００を介して受信して、第１の風景画像の一領域と第２の風景画像の一領域とを比較して類似度が最も高い領域を特定し、その特定領域でそれら２枚の風景画像を重ね合わせて、重ね合わされた合成風景画像を表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、異なる車の車載カメラでそれぞれ撮影された２枚の風景画像を合成する技術に関する。
【背景技術】
【０００２】
現在、通信ネットワークは、家庭や会社といった位置的に不動な環境のみならず、モバイル通信と称されるように人や車等の移動を伴うような環境にも急速に普及されている。特に、車には高機能なナビゲーションシステムが搭載されており、ＧＰＳから得られた緯度・経度の位置情報や国土交通省道路局が提供しているＩＴＳのＶＩＣＳサービスを利用することにより、渋滞や事故に関する情報がリアルタイムで入手可能となっている（非特許文献１乃至３参照）。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】「カーナビゲーション」、［online］、フリー百科事典『ウィキペディア（Wikipedia）』、［平成22年6月15日検索］、インターネット<URL : http://ja.wikipedia.org/wiki/%E3%82%AB%E3%83%BC%E3%83%8A%E3%83%93%E3%82%B2%E3%83%BC%E3%82%B7%E3%83%A7%E3%83%B3>
【非特許文献２】「グローバル・ポジショニング・システム」、［online］、フリー百科事典『ウィキペディア（Wikipedia）』、［平成22年6月15日検索］、インターネット<URL : http://ja.wikipedia.org/wiki/%E3%82%B0%E3%83%AD%E3%83%BC%E3%83%90%E3%83%AB%E3%83%BB%E3%83%9D%E3%82%B8%E3%82%B7%E3%83%A7%E3%83%8B%E3%83%B3%E3%82%B0%E3%83%BB%E3%82%B7%E3%82%B9%E3%83%86%E3%83%A0>
【非特許文献３】「カーナビ＆ＶＩＣＳ 道路交通情報通信システム」、［online］、国土交通省、［平成22年6月15日検索］、インターネット<URL : http://www.mlit.go.jp/road/style/cont1/index.html>
【非特許文献４】「OpenCV-1.0 リファレンス マニュアル（日本語訳）」、［online］、［平成22年6月15日検索］、インターネット<URL : http://opencv.jp/opencv-1.0.0/document/>
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、交通量の観測区間が粗く、交通状況の観測センサが設置されている場所が主要道路に限られているため、道路交差点での事故の削減に利用されるような有益な情報がドライバーに十分に提供されていない。また、シンボル化された渋滞情報を主に配信するため、先の道路状態や交通状況を把握することは困難である。
【０００５】
なお、現在では車載カメラが搭載された車も販売されているが、そのような車載カメラは視覚的な支援を駐車時に行うことを主な目的としているに過ぎない。また、全方位の車載カメラにあっては、ウェブ上で提供される地図に付加される風景画像を撮影するのみであり、その風景画像は静止画であって、時々刻々と変化する人や車の状態を適時適切に反映するものではない。
【０００６】
本発明は、上記を鑑みてなされたものであり、走行途上の視覚的な有益情報を運転手に提供することを課題とする。
【課題を解決するための手段】
【０００７】
請求項１に記載の風景画像合成装置は、第１の車の車載カメラで撮影された第１の風景画像を入力する入力手段と、入力された前記第１の風景画像を記憶する記憶手段と、第２の車の車載カメラで撮影された第２の風景画像を通信ネットワークを介して受信する受信手段と、前記第１の風景画像を前記記憶手段から取得し、前記第１の風景画像の一領域と前記第２の風景画像の一領域とを比較して類似度が最も高い領域を特定し、当該特定領域で前記２枚の風景画像を重ね合わせる合成手段と、重ね合わされた合成風景画像を表示する表示手段と、を有することを特徴とする。
【０００８】
本発明によれば、第１の車の車載カメラで撮影された第１の風景画像を入力し、第２の車の車載カメラで撮影された第２の風景画像を通信ネットワークを介して受信して、第１の風景画像の一領域と第２の風景画像の一領域とを比較して類似度が最も高い領域を特定し、その特定領域でそれら２枚の風景画像を重ね合わせて、重ね合わされた合成風景画像を表示するため、異なる視点から撮影された画像情報を統合すること、換言すれば、第１の車の車載カメラで撮影されない風景画像（第２の車の車載カメラでのみ撮影された風景画像）を表示することが可能となり、これにより、走行途上の視覚的な有益情報を第１の車の運転手に提供することができる。
【０００９】
請求項２に記載の風景画像合成装置は、請求項１に記載の風景画像合成装置において、ランドマークを部位毎に撮影した複数のランドマーク画像と各部位の位置情報とをそれぞれ関連付けて蓄積しておく蓄積手段と、前記合成風景画像と前記各ランドマーク画像とをそれぞれつき合わせて照合する照合手段と、照合度が最も高いランドマーク画像に対応する部位の位置情報を前記蓄積手段から取得し、前記合成風景画像と共に表示する表示手段と、衛星測位システムから前記第１の車の現在位置情報を受信する受信手段と、表示された前記部位の位置情報を前記現在位置情報に補正する補正手段と、を更に有することを特徴とする。
【００１０】
請求項３に記載の風景画像合成装置は、請求項１又は２に記載の風景画像合成装置において、前記合成手段は、走行中に撮影された時系列な複数の前記第１の風景画像と、同時間帯で走行中に撮影された複数の前記第２の風景画像とをそれぞれ順次重ね合わせ、前記表示手段は、重ね合わされた複数の合成風景画像を時系列順に連続表示することを特徴とする。
【００１１】
本発明によれば、走行中に撮影された時系列な複数の第１の風景画像と、同時間帯で走行中に撮影された複数の第２の風景画像とをそれぞれ順次重ね合わせ、重ね合わされた複数の合成風景画像を時系列順に連続表示するため、第１の車の運転手からは確認できない未知の道路や環境情報の最新状況を時々刻々と該運転手に提供可能となり、より確実に交通事故を削減することができる。
【００１２】
請求項４に記載の風景画像合成装置は、請求項１乃至３のいずれかに記載の風景画像合成装置において、前記合成手段は、前記類似度が所定の閾値以下の場合には、前記２枚の風景画像を重ね合わせないことを特徴とする。
【００１３】
本発明によれば、類似度が所定の閾値以下の場合には、２枚の風景画像を重ね合わせないため、重ね合わされる箇所が全く無いような異なる２枚の風景画像が誤って重ね合わされることを防ぐことが可能となり、より適切な有益情報を第１の車の運転手に提供することができる。
【００１４】
請求項５に記載の風景画像合成方法は、コンピュータにより、第１の車の車載カメラで撮影された第１の風景画像を入力する第１のステップと、入力された前記第１の風景画像を記憶手段に記憶する第２のステップと、第２の車の車載カメラで撮影された第２の風景画像を通信ネットワークを介して受信する第３のステップと、前記第１の風景画像を前記記憶手段から取得し、前記第１の風景画像の一領域と前記第２の風景画像の一領域とを比較して類似度が最も高い領域を特定し、当該特定領域で前記２枚の風景画像を重ね合わせる第４のステップと、重ね合わされた合成風景画像を表示する第５のステップと、を有することを特徴とする。
【００１５】
本発明によれば、第１の車の車載カメラで撮影された第１の風景画像を入力し、第２の車の車載カメラで撮影された第２の風景画像を通信ネットワークを介して受信して、第１の風景画像の一領域と第２の風景画像の一領域とを比較して類似度が最も高い領域を特定し、その特定領域でそれら２枚の風景画像を重ね合わせて、重ね合わされた合成風景画像を表示するため、異なる視点から撮影された画像情報を統合すること、換言すれば、第１の車の車載カメラで撮影されない風景画像（第２の車の車載カメラでのみ撮影された風景画像）を表示することが可能となり、これにより、走行途上の視覚的な有益情報を第１の車の運転手に提供することができる。
【００１６】
請求項６に記載の風景画像合成方法は、請求項５に記載の風景画像合成方法において、ランドマークを部位毎に撮影した複数のランドマーク画像と各部位の位置情報とをそれぞれ関連付けて蓄積手段に蓄積しておくステップと、前記合成風景画像と前記各ランドマーク画像とをそれぞれつき合わせて照合するステップと、照合度が最も高いランドマーク画像に対応する部位の位置情報を前記蓄積手段から取得し、前記合成風景画像と共に表示するステップと、衛星測位システムから前記第１の車の現在位置情報を受信するステップと、表示された前記部位の位置情報を前記現在位置情報に補正するステップと、を更に有することを特徴とする。
【００１７】
請求項７に記載の風景画像合成方法は、請求項５又は６に記載の風景画像合成方法において、前記第４のステップは、走行中に撮影された時系列な複数の前記第１の風景画像と、同時間帯で走行中に撮影された複数の前記第２の風景画像とをそれぞれ順次重ね合わせ、前記第５のステップは、重ね合わされた複数の合成風景画像を時系列順に連続表示することを特徴とする。
【００１８】
本発明によれば、走行中に撮影された時系列な複数の第１の風景画像と、同時間帯で走行中に撮影された複数の第２の風景画像とをそれぞれ順次重ね合わせ、重ね合わされた複数の合成風景画像を時系列順に連続表示するため、第１の車の運転手からは確認できない未知の道路や環境情報の最新状況を時々刻々と該運転手に提供可能となり、より確実に交通事故を削減することができる。
【００１９】
請求項８に記載の風景画像合成方法は、請求項５乃至７のいずれかに記載の風景画像合成方法において、前記第４のステップは、前記類似度が所定の閾値以下の場合には、前記２枚の風景画像を重ね合わせないことを特徴とする。
【００２０】
本発明によれば、類似度が所定の閾値以下の場合には、２枚の風景画像を重ね合わせないため、重ね合わされる箇所が全く無いような異なる２枚の風景画像が誤って重ね合わされることを防ぐことが可能となり、より適切な有益情報を第１の車の運転手に提供することができる。
【００２１】
請求項９に記載の風景画像合成プログラムは、請求項５乃至８のいずれか１項に記載の風景画像合成方法における各ステップをコンピュータによって実行させることを特徴とする。
【発明の効果】
【００２２】
本発明によれば、走行途上の視覚的な有益情報を運転手に提供することができる。
【図面の簡単な説明】
【００２３】
【図１】道路交差点近隣を走行中の複数の車を上方から見た図である。
【図２】風景画像合成システムの機能ブロック構成を示す図である。
【図３】風景画像の合成を説明する図である。
【発明を実施するための形態】
【００２４】
以下、本発明を実施する一実施の形態について図面を用いて説明する。但し、本発明は多くの異なる様態で実施することが可能であり、本実施の形態の記載内容に限定して解釈すべきではない。
【００２５】
図１は、道路交差点近隣を走行中の複数の車を上方から見た図である。この道路交差点５００には５本の道路が交差しており、図１の中心から見て左の道路には第１の車１０が、下の道路には第２の車２０が、左上の道路には第３の車３０が道路交差点５００に向かってそれぞれ走行している。
【００２６】
第１の車１０には４台の車載カメラ１１ａ〜１１ｄが搭載され、前後左右の四方の風景や景観を走行中にそれぞれ撮影し、所定時間間隔で撮影した時系列な複数の風景画像を各車載カメラ毎又は各方向毎に取得可能となっている。そして、撮影された風景画像は時系列順に連続表示され、環境情報として運転手に提供可能となっている。
【００２７】
また、第２の車２０や第３の車３０にも同様に４台の車載カメラがそれぞれ搭載され、全ての車は、無線通信ネットワーク７００を介して他の全ての車と相互にデータ通信可能となっている。なお、このように車に搭載される車載カメラは、車から車外を撮影する専用の監視カメラやＷｅｂカメラを利用してもよいし、駐車目的に装備された車載カメラを利用するようにしてもよい。
【００２８】
図２は、本実施の形態に係る風景画像合成システムの機能ブロック構成を示す図である。この風景画像合成システム１は、風景画像合成装置１００と、風景画像送信装置２００とで構成されている。なお、運用上は両装置が１台の車に搭載されるものであるが、発明の理解を容易にするため、ここでは、風景画像合成装置１００は第１の車１０に搭載され、風景画像送信装置２００は第２の車２０に搭載されるものとする。
【００２９】
風景画像送信装置２００は、第２の車２０が走行中に車載カメラ２１ａ〜２１ｄによって所定時間間隔でそれぞれ撮影された時系列な複数の風景画像（以下、第２の風景画像という）を入力する入力部２０１と、入力された複数の第２の風景画像を各車載カメラ毎又は各方向毎に時系列で記憶する記憶部２０２と、その時系列な複数の第２の風景画像を記憶部２０２から取得して無線通信ネットワーク７００を介して風景画像合成装置１００に送信する送信部２０３とで構成されている。
【００３０】
一方、風景画像合成装置１００は、入力部１０１と、記憶部１０２と、第１の受信部１０３と、合成部１０４と、蓄積部１０５と、照合部１０６と、表示部１０７と、第２の受信部１０８と、補正部１０９とで構成されている。
【００３１】
入力部１０１は、車載カメラ１１ａ〜１１ｄに電気的にそれぞれ接続されており、第１の車１０が走行中に車載カメラ１１ａ〜１１ｄによって所定時間間隔でそれぞれ撮影された時系列な複数の風景画像（以下、第１の風景画像という）を入力する機能を有している。
【００３２】
記憶部１０２は、入力された複数の第１の風景画像を各車載カメラ毎又は各方向毎に時系列で記憶する機能を有している。
【００３３】
第１の受信部１０３は、無線通信ネットワーク７００を介して風景画像送信装置２００から送信された時系列な複数の第２の風景画像を受信する機能を有している。
【００３４】
合成部１０４は、時系列な複数の第１の風景画像を記憶部１０２から取得して、同時刻又は同時間帯に撮影された第１の風景画像の一領域と第２の風景画像の一領域とを比較して類似度が最も高い領域を特定し、その特定領域でそれら２枚の風景画像（第１の風景画像と第２の風景画像）を重ね合わせる機能を有している。なお、合成部１０４は、この画像の重ね合わせ処理を、時系列な複数の第１の風景画像と、同時間帯で走行中に撮影された複数の第２の風景画像とを用いてそれぞれ順次行う。これにより、重ね合わされた時系列な複数の合成風景画像が生成されることになる。また、合成部１０４は、上記類似度が所定の閾値以下の場合には、全く別方向の風景を撮影した画像（例えば、車載カメラ２１ｃと車載カメラ１１ｃとで撮影された画像）であると判断し、それら２枚の風景画像を重ね合わせない機能を有している。
【００３５】
蓄積部１０５は、ランドマークを部位毎に撮影した複数のランドマーク画像と各部位の緯度経度情報やランドマーク情報とをそれぞれ関連付けて蓄積しておく機能を有している。ランドマーク画像としては、例えば、東京タワーＴの門や角（かど）を撮影した各画像や、有名な建築物の窓の画像等が挙げられる。蓄積部１０５には、東京タワーＴの門の画像と、その門の緯度経度や東京タワーＴの門であることを表す情報とが関連付けて蓄積されている。
【００３６】
照合部１０６は、合成風景画像と各ランドマーク画像とをそれぞれつき合わせて照合し、照合度を算出する機能を有している。なお、合成風景画像は時系列順に複数生成されるため、照合部１０６は、この照合処理を各合成風景画像を用いてそれぞれ順次行う。
【００３７】
表示部１０７は、照合部１０６での照合の結果、照合度が最も高いランドマーク画像に対応する部位の緯度経度情報を蓄積部１０５から取得して、合成風景画像と共に表示する機能を有している。なお、合成風景画像は時系列順に複数生成されるため、表示部１０７は、複数の合成風景画像を時系列順に連続表示（更新表示）する。
【００３８】
第２の受信部１０８は、ＧＰＳ等の衛星測位システムから第１の車１０の現在の緯度経度情報を受信する機能を有している。
【００３９】
補正部１０９は、現在表示されている位置情報を、第２の受信部１０８で衛星測位システムから受信した現在の経度緯度情報に補正する機能を有している。
【００４０】
次に、風景画像合成システムの処理動作について説明する。なお、理解を容易にするため、第１の風景画像は第１の車１０の車載カメラ１１ａにより撮影された風景Ａの画像（図１参照）であり、第２の風景画像は第２の車２０の車載カメラ２１ａにより撮影された風景Ｂの画像であるものとする。また、それら第１の風景画像及び第２の風景画像は、同時刻に撮影された各１枚の画像であるものとする。
【００４１】
最初に、風景画像送信装置２００の入力部２０１により、車載カメラ２１ａによって撮影された風景Ｂの第２の風景画像が入力され、記憶部２０２に記憶される（Ｓ１）。第２の風景画像には、東京タワーＴと第３の車３０とが撮影されている。
【００４２】
次いで、送信部２０３により、その第２の風景画像が無線通信ネットワーク７００を介して風景画像合成装置１００に送信される（Ｓ２）。
【００４３】
次いで、風景画像合成装置１００の第１の受信部１０３により、無線通信ネットワーク７００を介して風景画像送信装置２００から送信された第２の風景画像が受信される（Ｓ３）。
【００４４】
一方、風景画像合成装置１００の入力部１０１により、車載カメラ１１ａによって撮影された第１の風景画像が入力され、記憶部１０２に記憶される（Ｓ４）。第１の風景画像には、東京タワーＴが撮影されている。なお、Ｓ４は、Ｓ３よりも前に処理しておくことも可能である。
【００４５】
次いで、合成部１０４により、第１の風景画像の一領域と第２の風景画像の一領域とが比較されて類似度が最も高い領域が特定され、その特定領域で第１の風景画像と第２の風景画像とが重ね合わされる（Ｓ５）。
【００４６】
例えば、第１の風景画像の各画素又は一定領域の輝度値と、第２の風景画像の各画素又は一定領域の輝度値との差が最小となる箇所を特定し、その特定箇所をのりしろ部分として２枚の画像を重ね合わせて合成風景画像を生成する（図３参照）。具体的には、それら２枚の風景画像に共通して撮影された東京タワーＴのある画像領域がのりしろ部分となり、東京タワーＴと第３の車３０とを含む広範囲な合成風景画像が生成されることになる。
【００４７】
なお、車載カメラ１１ａの照明度と車載カメラ２１ａの照明度とに差異がある可能性が高いため、それら２枚の風景画像に輝度の分散を用いて正規化処理を施した後に、輝度値の差分計算を行って上記特定箇所を検出することが好ましい。
【００４８】
次いで、表示部１０７により、Ｓ５で重ね合わされた合成風景画像が画面に表示される（Ｓ６）。
【００４９】
なお、Ｓ５において、合成部１０４は、類似度が最も高い領域であっても、その類似度が一定の閾値以下の場合（一領域間の輝度値の差分が一定の閾値以上の場合）には、それら２枚の風景画像を重ね合わせない。これにより、全く異なる方向が撮影された２枚の風景画像が誤って合成されることを防止することができる。
【００５０】
以上より、合成風景画像には第３の車３０が撮影されているため、道路交差点５００に向かって運転している第１の車１０の運転手に対して、第３の車３０の存在を視覚的に通知することが可能となる。また、Ｓ１〜Ｓ６を所定時間間隔で繰り返し、複数の合成風景画像を時系列順に連続表示することにより、最新の合成風景画像を運転手に提供することが可能となる。
【００５１】
以上のＳ１〜Ｓ６に対して、更に以下の処理を施すことが可能である。
【００５２】
風景画像合成装置１００の照合部１０６により、Ｓ５で生成された合成風景画像と、蓄積部１０５に蓄積された複数のランドマーク画像とがそれぞれマッチングされ、各ランドマーク画像に対する合成風景画像のマッチング度が算出される（Ｓ７）。
【００５３】
次いで、表示部１０７により、Ｓ７でのマッチングの結果、マッチング度が最も高いランドマーク画像に対応する部位の緯度経度情報及びランドマーク情報が蓄積部１０５から取得され、合成風景画像と共に表示される（Ｓ８）。
【００５４】
次いで、第２の受信部１０８により、ＧＰＳ等の衛星測位システムから第１の車１０の現在の緯度経度情報が受信される（Ｓ９）。
【００５５】
最後に、補正部１０９により、Ｓ８で現在表示されている位置情報が、Ｓ９で受信した現在の経度緯度情報に補正される（Ｓ１０）。
【００５６】
以上より、合成風景画像に併せて表示される緯度経度情報がＧＰＳ等から取得した緯度経度情報に補正されるので、合成風景画像が生成された際の正確な位置を運転手に提供することが可能となる。
【００５７】
なお、前述したように、複数の合成風景画像を時系列順に連続表示して動画として表示することも可能であるが、人や自転車等の移動対象のみを差分画像処理から特定して合成することも可能である。これにより、必要最小限の情報を運転手に提供することができる。また、その差分画像については、位置変化がある情報のみに絞るために、表示する階調レベルを粗くしたり、エッジ画像（非特許文献４参照）を用いることも可能である。これにより、人物のプライバシー問題を回避した上で有益情報を運転手に提供し、交通事故を削減することができる。
【００５８】
本実施の形態によれば、第１の車１０の車載カメラ１１ａで撮影された第１の風景画像を入力し、第２の車２０の車載カメラ２１ａで撮影された第２の風景画像を無線通信ネットワーク７００を介して受信して、第１の風景画像の一領域と第２の風景画像の一領域とを比較して類似度が最も高い領域を特定し、その特定領域でそれら２枚の風景画像を重ね合わせて、重ね合わされた合成風景画像を表示するので、異なる視点から撮影された画像情報を統合すること、換言すれば、第１の車１０の車載カメラで撮影されない風景画像（第２の車２０の車載カメラでのみ撮影された風景画像）を表示することが可能となり、これにより、走行途上の視覚的な有益情報を第１の車１０の運転手に提供することができる。
【００５９】
本実施の形態によれば、走行中に撮影された時系列な複数の第１の風景画像と、同時間帯で走行中に撮影された複数の第２の風景画像とをそれぞれ順次重ね合わせ、重ね合わされた複数の合成風景画像を時系列順に連続表示するので、第１の車１０の運転手からは確認できない未知の道路や環境情報の最新状況を時々刻々と該運転手に提供可能となり、より確実に交通事故を削減することができる。
【００６０】
本実施の形態によれば、類似度が所定の閾値以下の場合には、２枚の風景画像を重ね合わせないので、重ね合わされる箇所が全く無いような異なる２枚の風景画像が誤って重ね合わされることを防ぐことが可能となり、より適切な有益情報を第１の車の運転手に提供することができる。
【００６１】
最後に、本実施の形態で説明した風景画像合成システム１は、交通工学分野、マルチメディア分野、符号化分野、通信分野、実環境におけるモニタリングや画像センシング，映像製作等に関する産業分野に適用することが可能である。
【００６２】
また、本実施の形態で説明した風景画像合成システム１は、コンピュータで構成される。すなわち、記憶部２０２と、記憶部１０２と、蓄積部１０８とは、メモリ等の記憶手段で実現される。また、入力部２０１と、送信部２０３と、入力部１０１と、第１の受信部１０３と、合成部１０４と、照合部１０６と、表示部１０７と、第２の受信部１０８と、補正部１０９とは、ＣＰＵ等の演算手段で実現され、プログラムで実行される。
【００６３】
また、本実施の形態で説明した風景画像合成システム１をプログラムとして光記憶装置や磁気記憶装置等の記録媒体に読出可能に記録し、この記録媒体をコンピュータに組み込んだり、若しくは記録媒体に記録されたプログラムを、任意の通信回線を介してコンピュータにダウンロードしたり、又は記録媒体からインストールし、該プログラムでコンピュータを動作させることにより、上述した各処理動作を風景画像合成システム１として機能させることができるのは勿論である。
【符号の説明】
【００６４】
１…風景画像合成システム
１０…第１の車
１１ａ〜１１ｄ…車載カメラ、
２０…第２の車
２１ａ〜２１ｄ…車載カメラ、
３０…第３の車
３１ａ〜３１ｄ…車載カメラ、
１００…風景画像合成装置
１０１…入力部
１０２…記憶部
１０３…第１の受信部
１０４…合成部
１０５…蓄積部
１０６…照合部
１０７…表示部
１０８…第２の受信部
１０９…補正部
２００…風景画像送信装置
２０１…入力部
２０２…記憶部
２０３…送信部
５００…道路交差点
７００…無線通信ネットワーク
Ａ、Ｂ…風景
Ｓ…ステップ
Ｔ…東京タワー
【技術分野】
【０００１】
本発明は、異なる車の車載カメラでそれぞれ撮影された２枚の風景画像を合成する技術に関する。
【背景技術】
【０００２】
現在、通信ネットワークは、家庭や会社といった位置的に不動な環境のみならず、モバイル通信と称されるように人や車等の移動を伴うような環境にも急速に普及されている。特に、車には高機能なナビゲーションシステムが搭載されており、ＧＰＳから得られた緯度・経度の位置情報や国土交通省道路局が提供しているＩＴＳのＶＩＣＳサービスを利用することにより、渋滞や事故に関する情報がリアルタイムで入手可能となっている（非特許文献１乃至３参照）。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】「カーナビゲーション」、［online］、フリー百科事典『ウィキペディア（Wikipedia）』、［平成22年6月15日検索］、インターネット<URL : http://ja.wikipedia.org/wiki/%E3%82%AB%E3%83%BC%E3%83%8A%E3%83%93%E3%82%B2%E3%83%BC%E3%82%B7%E3%83%A7%E3%83%B3>
【非特許文献２】「グローバル・ポジショニング・システム」、［online］、フリー百科事典『ウィキペディア（Wikipedia）』、［平成22年6月15日検索］、インターネット<URL : http://ja.wikipedia.org/wiki/%E3%82%B0%E3%83%AD%E3%83%BC%E3%83%90%E3%83%AB%E3%83%BB%E3%83%9D%E3%82%B8%E3%82%B7%E3%83%A7%E3%83%8B%E3%83%B3%E3%82%B0%E3%83%BB%E3%82%B7%E3%82%B9%E3%83%86%E3%83%A0>
【非特許文献３】「カーナビ＆ＶＩＣＳ 道路交通情報通信システム」、［online］、国土交通省、［平成22年6月15日検索］、インターネット<URL : http://www.mlit.go.jp/road/style/cont1/index.html>
【非特許文献４】「OpenCV-1.0 リファレンス マニュアル（日本語訳）」、［online］、［平成22年6月15日検索］、インターネット<URL : http://opencv.jp/opencv-1.0.0/document/>
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、交通量の観測区間が粗く、交通状況の観測センサが設置されている場所が主要道路に限られているため、道路交差点での事故の削減に利用されるような有益な情報がドライバーに十分に提供されていない。また、シンボル化された渋滞情報を主に配信するため、先の道路状態や交通状況を把握することは困難である。
【０００５】
なお、現在では車載カメラが搭載された車も販売されているが、そのような車載カメラは視覚的な支援を駐車時に行うことを主な目的としているに過ぎない。また、全方位の車載カメラにあっては、ウェブ上で提供される地図に付加される風景画像を撮影するのみであり、その風景画像は静止画であって、時々刻々と変化する人や車の状態を適時適切に反映するものではない。
【０００６】
本発明は、上記を鑑みてなされたものであり、走行途上の視覚的な有益情報を運転手に提供することを課題とする。
【課題を解決するための手段】
【０００７】
請求項１に記載の風景画像合成装置は、第１の車の車載カメラで撮影された第１の風景画像を入力する入力手段と、入力された前記第１の風景画像を記憶する記憶手段と、第２の車の車載カメラで撮影された第２の風景画像を通信ネットワークを介して受信する受信手段と、前記第１の風景画像を前記記憶手段から取得し、前記第１の風景画像の一領域と前記第２の風景画像の一領域とを比較して類似度が最も高い領域を特定し、当該特定領域で前記２枚の風景画像を重ね合わせる合成手段と、重ね合わされた合成風景画像を表示する表示手段と、を有することを特徴とする。
【０００８】
本発明によれば、第１の車の車載カメラで撮影された第１の風景画像を入力し、第２の車の車載カメラで撮影された第２の風景画像を通信ネットワークを介して受信して、第１の風景画像の一領域と第２の風景画像の一領域とを比較して類似度が最も高い領域を特定し、その特定領域でそれら２枚の風景画像を重ね合わせて、重ね合わされた合成風景画像を表示するため、異なる視点から撮影された画像情報を統合すること、換言すれば、第１の車の車載カメラで撮影されない風景画像（第２の車の車載カメラでのみ撮影された風景画像）を表示することが可能となり、これにより、走行途上の視覚的な有益情報を第１の車の運転手に提供することができる。
【０００９】
請求項２に記載の風景画像合成装置は、請求項１に記載の風景画像合成装置において、ランドマークを部位毎に撮影した複数のランドマーク画像と各部位の位置情報とをそれぞれ関連付けて蓄積しておく蓄積手段と、前記合成風景画像と前記各ランドマーク画像とをそれぞれつき合わせて照合する照合手段と、照合度が最も高いランドマーク画像に対応する部位の位置情報を前記蓄積手段から取得し、前記合成風景画像と共に表示する表示手段と、衛星測位システムから前記第１の車の現在位置情報を受信する受信手段と、表示された前記部位の位置情報を前記現在位置情報に補正する補正手段と、を更に有することを特徴とする。
【００１０】
請求項３に記載の風景画像合成装置は、請求項１又は２に記載の風景画像合成装置において、前記合成手段は、走行中に撮影された時系列な複数の前記第１の風景画像と、同時間帯で走行中に撮影された複数の前記第２の風景画像とをそれぞれ順次重ね合わせ、前記表示手段は、重ね合わされた複数の合成風景画像を時系列順に連続表示することを特徴とする。
【００１１】
本発明によれば、走行中に撮影された時系列な複数の第１の風景画像と、同時間帯で走行中に撮影された複数の第２の風景画像とをそれぞれ順次重ね合わせ、重ね合わされた複数の合成風景画像を時系列順に連続表示するため、第１の車の運転手からは確認できない未知の道路や環境情報の最新状況を時々刻々と該運転手に提供可能となり、より確実に交通事故を削減することができる。
【００１２】
請求項４に記載の風景画像合成装置は、請求項１乃至３のいずれかに記載の風景画像合成装置において、前記合成手段は、前記類似度が所定の閾値以下の場合には、前記２枚の風景画像を重ね合わせないことを特徴とする。
【００１３】
本発明によれば、類似度が所定の閾値以下の場合には、２枚の風景画像を重ね合わせないため、重ね合わされる箇所が全く無いような異なる２枚の風景画像が誤って重ね合わされることを防ぐことが可能となり、より適切な有益情報を第１の車の運転手に提供することができる。
【００１４】
請求項５に記載の風景画像合成方法は、コンピュータにより、第１の車の車載カメラで撮影された第１の風景画像を入力する第１のステップと、入力された前記第１の風景画像を記憶手段に記憶する第２のステップと、第２の車の車載カメラで撮影された第２の風景画像を通信ネットワークを介して受信する第３のステップと、前記第１の風景画像を前記記憶手段から取得し、前記第１の風景画像の一領域と前記第２の風景画像の一領域とを比較して類似度が最も高い領域を特定し、当該特定領域で前記２枚の風景画像を重ね合わせる第４のステップと、重ね合わされた合成風景画像を表示する第５のステップと、を有することを特徴とする。
【００１５】
本発明によれば、第１の車の車載カメラで撮影された第１の風景画像を入力し、第２の車の車載カメラで撮影された第２の風景画像を通信ネットワークを介して受信して、第１の風景画像の一領域と第２の風景画像の一領域とを比較して類似度が最も高い領域を特定し、その特定領域でそれら２枚の風景画像を重ね合わせて、重ね合わされた合成風景画像を表示するため、異なる視点から撮影された画像情報を統合すること、換言すれば、第１の車の車載カメラで撮影されない風景画像（第２の車の車載カメラでのみ撮影された風景画像）を表示することが可能となり、これにより、走行途上の視覚的な有益情報を第１の車の運転手に提供することができる。
【００１６】
請求項６に記載の風景画像合成方法は、請求項５に記載の風景画像合成方法において、ランドマークを部位毎に撮影した複数のランドマーク画像と各部位の位置情報とをそれぞれ関連付けて蓄積手段に蓄積しておくステップと、前記合成風景画像と前記各ランドマーク画像とをそれぞれつき合わせて照合するステップと、照合度が最も高いランドマーク画像に対応する部位の位置情報を前記蓄積手段から取得し、前記合成風景画像と共に表示するステップと、衛星測位システムから前記第１の車の現在位置情報を受信するステップと、表示された前記部位の位置情報を前記現在位置情報に補正するステップと、を更に有することを特徴とする。
【００１７】
請求項７に記載の風景画像合成方法は、請求項５又は６に記載の風景画像合成方法において、前記第４のステップは、走行中に撮影された時系列な複数の前記第１の風景画像と、同時間帯で走行中に撮影された複数の前記第２の風景画像とをそれぞれ順次重ね合わせ、前記第５のステップは、重ね合わされた複数の合成風景画像を時系列順に連続表示することを特徴とする。
【００１８】
本発明によれば、走行中に撮影された時系列な複数の第１の風景画像と、同時間帯で走行中に撮影された複数の第２の風景画像とをそれぞれ順次重ね合わせ、重ね合わされた複数の合成風景画像を時系列順に連続表示するため、第１の車の運転手からは確認できない未知の道路や環境情報の最新状況を時々刻々と該運転手に提供可能となり、より確実に交通事故を削減することができる。
【００１９】
請求項８に記載の風景画像合成方法は、請求項５乃至７のいずれかに記載の風景画像合成方法において、前記第４のステップは、前記類似度が所定の閾値以下の場合には、前記２枚の風景画像を重ね合わせないことを特徴とする。
【００２０】
本発明によれば、類似度が所定の閾値以下の場合には、２枚の風景画像を重ね合わせないため、重ね合わされる箇所が全く無いような異なる２枚の風景画像が誤って重ね合わされることを防ぐことが可能となり、より適切な有益情報を第１の車の運転手に提供することができる。
【００２１】
請求項９に記載の風景画像合成プログラムは、請求項５乃至８のいずれか１項に記載の風景画像合成方法における各ステップをコンピュータによって実行させることを特徴とする。
【発明の効果】
【００２２】
本発明によれば、走行途上の視覚的な有益情報を運転手に提供することができる。
【図面の簡単な説明】
【００２３】
【図１】道路交差点近隣を走行中の複数の車を上方から見た図である。
【図２】風景画像合成システムの機能ブロック構成を示す図である。
【図３】風景画像の合成を説明する図である。
【発明を実施するための形態】
【００２４】
以下、本発明を実施する一実施の形態について図面を用いて説明する。但し、本発明は多くの異なる様態で実施することが可能であり、本実施の形態の記載内容に限定して解釈すべきではない。
【００２５】
図１は、道路交差点近隣を走行中の複数の車を上方から見た図である。この道路交差点５００には５本の道路が交差しており、図１の中心から見て左の道路には第１の車１０が、下の道路には第２の車２０が、左上の道路には第３の車３０が道路交差点５００に向かってそれぞれ走行している。
【００２６】
第１の車１０には４台の車載カメラ１１ａ〜１１ｄが搭載され、前後左右の四方の風景や景観を走行中にそれぞれ撮影し、所定時間間隔で撮影した時系列な複数の風景画像を各車載カメラ毎又は各方向毎に取得可能となっている。そして、撮影された風景画像は時系列順に連続表示され、環境情報として運転手に提供可能となっている。
【００２７】
また、第２の車２０や第３の車３０にも同様に４台の車載カメラがそれぞれ搭載され、全ての車は、無線通信ネットワーク７００を介して他の全ての車と相互にデータ通信可能となっている。なお、このように車に搭載される車載カメラは、車から車外を撮影する専用の監視カメラやＷｅｂカメラを利用してもよいし、駐車目的に装備された車載カメラを利用するようにしてもよい。
【００２８】
図２は、本実施の形態に係る風景画像合成システムの機能ブロック構成を示す図である。この風景画像合成システム１は、風景画像合成装置１００と、風景画像送信装置２００とで構成されている。なお、運用上は両装置が１台の車に搭載されるものであるが、発明の理解を容易にするため、ここでは、風景画像合成装置１００は第１の車１０に搭載され、風景画像送信装置２００は第２の車２０に搭載されるものとする。
【００２９】
風景画像送信装置２００は、第２の車２０が走行中に車載カメラ２１ａ〜２１ｄによって所定時間間隔でそれぞれ撮影された時系列な複数の風景画像（以下、第２の風景画像という）を入力する入力部２０１と、入力された複数の第２の風景画像を各車載カメラ毎又は各方向毎に時系列で記憶する記憶部２０２と、その時系列な複数の第２の風景画像を記憶部２０２から取得して無線通信ネットワーク７００を介して風景画像合成装置１００に送信する送信部２０３とで構成されている。
【００３０】
一方、風景画像合成装置１００は、入力部１０１と、記憶部１０２と、第１の受信部１０３と、合成部１０４と、蓄積部１０５と、照合部１０６と、表示部１０７と、第２の受信部１０８と、補正部１０９とで構成されている。
【００３１】
入力部１０１は、車載カメラ１１ａ〜１１ｄに電気的にそれぞれ接続されており、第１の車１０が走行中に車載カメラ１１ａ〜１１ｄによって所定時間間隔でそれぞれ撮影された時系列な複数の風景画像（以下、第１の風景画像という）を入力する機能を有している。
【００３２】
記憶部１０２は、入力された複数の第１の風景画像を各車載カメラ毎又は各方向毎に時系列で記憶する機能を有している。
【００３３】
第１の受信部１０３は、無線通信ネットワーク７００を介して風景画像送信装置２００から送信された時系列な複数の第２の風景画像を受信する機能を有している。
【００３４】
合成部１０４は、時系列な複数の第１の風景画像を記憶部１０２から取得して、同時刻又は同時間帯に撮影された第１の風景画像の一領域と第２の風景画像の一領域とを比較して類似度が最も高い領域を特定し、その特定領域でそれら２枚の風景画像（第１の風景画像と第２の風景画像）を重ね合わせる機能を有している。なお、合成部１０４は、この画像の重ね合わせ処理を、時系列な複数の第１の風景画像と、同時間帯で走行中に撮影された複数の第２の風景画像とを用いてそれぞれ順次行う。これにより、重ね合わされた時系列な複数の合成風景画像が生成されることになる。また、合成部１０４は、上記類似度が所定の閾値以下の場合には、全く別方向の風景を撮影した画像（例えば、車載カメラ２１ｃと車載カメラ１１ｃとで撮影された画像）であると判断し、それら２枚の風景画像を重ね合わせない機能を有している。
【００３５】
蓄積部１０５は、ランドマークを部位毎に撮影した複数のランドマーク画像と各部位の緯度経度情報やランドマーク情報とをそれぞれ関連付けて蓄積しておく機能を有している。ランドマーク画像としては、例えば、東京タワーＴの門や角（かど）を撮影した各画像や、有名な建築物の窓の画像等が挙げられる。蓄積部１０５には、東京タワーＴの門の画像と、その門の緯度経度や東京タワーＴの門であることを表す情報とが関連付けて蓄積されている。
【００３６】
照合部１０６は、合成風景画像と各ランドマーク画像とをそれぞれつき合わせて照合し、照合度を算出する機能を有している。なお、合成風景画像は時系列順に複数生成されるため、照合部１０６は、この照合処理を各合成風景画像を用いてそれぞれ順次行う。
【００３７】
表示部１０７は、照合部１０６での照合の結果、照合度が最も高いランドマーク画像に対応する部位の緯度経度情報を蓄積部１０５から取得して、合成風景画像と共に表示する機能を有している。なお、合成風景画像は時系列順に複数生成されるため、表示部１０７は、複数の合成風景画像を時系列順に連続表示（更新表示）する。
【００３８】
第２の受信部１０８は、ＧＰＳ等の衛星測位システムから第１の車１０の現在の緯度経度情報を受信する機能を有している。
【００３９】
補正部１０９は、現在表示されている位置情報を、第２の受信部１０８で衛星測位システムから受信した現在の経度緯度情報に補正する機能を有している。
【００４０】
次に、風景画像合成システムの処理動作について説明する。なお、理解を容易にするため、第１の風景画像は第１の車１０の車載カメラ１１ａにより撮影された風景Ａの画像（図１参照）であり、第２の風景画像は第２の車２０の車載カメラ２１ａにより撮影された風景Ｂの画像であるものとする。また、それら第１の風景画像及び第２の風景画像は、同時刻に撮影された各１枚の画像であるものとする。
【００４１】
最初に、風景画像送信装置２００の入力部２０１により、車載カメラ２１ａによって撮影された風景Ｂの第２の風景画像が入力され、記憶部２０２に記憶される（Ｓ１）。第２の風景画像には、東京タワーＴと第３の車３０とが撮影されている。
【００４２】
次いで、送信部２０３により、その第２の風景画像が無線通信ネットワーク７００を介して風景画像合成装置１００に送信される（Ｓ２）。
【００４３】
次いで、風景画像合成装置１００の第１の受信部１０３により、無線通信ネットワーク７００を介して風景画像送信装置２００から送信された第２の風景画像が受信される（Ｓ３）。
【００４４】
一方、風景画像合成装置１００の入力部１０１により、車載カメラ１１ａによって撮影された第１の風景画像が入力され、記憶部１０２に記憶される（Ｓ４）。第１の風景画像には、東京タワーＴが撮影されている。なお、Ｓ４は、Ｓ３よりも前に処理しておくことも可能である。
【００４５】
次いで、合成部１０４により、第１の風景画像の一領域と第２の風景画像の一領域とが比較されて類似度が最も高い領域が特定され、その特定領域で第１の風景画像と第２の風景画像とが重ね合わされる（Ｓ５）。
【００４６】
例えば、第１の風景画像の各画素又は一定領域の輝度値と、第２の風景画像の各画素又は一定領域の輝度値との差が最小となる箇所を特定し、その特定箇所をのりしろ部分として２枚の画像を重ね合わせて合成風景画像を生成する（図３参照）。具体的には、それら２枚の風景画像に共通して撮影された東京タワーＴのある画像領域がのりしろ部分となり、東京タワーＴと第３の車３０とを含む広範囲な合成風景画像が生成されることになる。
【００４７】
なお、車載カメラ１１ａの照明度と車載カメラ２１ａの照明度とに差異がある可能性が高いため、それら２枚の風景画像に輝度の分散を用いて正規化処理を施した後に、輝度値の差分計算を行って上記特定箇所を検出することが好ましい。
【００４８】
次いで、表示部１０７により、Ｓ５で重ね合わされた合成風景画像が画面に表示される（Ｓ６）。
【００４９】
なお、Ｓ５において、合成部１０４は、類似度が最も高い領域であっても、その類似度が一定の閾値以下の場合（一領域間の輝度値の差分が一定の閾値以上の場合）には、それら２枚の風景画像を重ね合わせない。これにより、全く異なる方向が撮影された２枚の風景画像が誤って合成されることを防止することができる。
【００５０】
以上より、合成風景画像には第３の車３０が撮影されているため、道路交差点５００に向かって運転している第１の車１０の運転手に対して、第３の車３０の存在を視覚的に通知することが可能となる。また、Ｓ１〜Ｓ６を所定時間間隔で繰り返し、複数の合成風景画像を時系列順に連続表示することにより、最新の合成風景画像を運転手に提供することが可能となる。
【００５１】
以上のＳ１〜Ｓ６に対して、更に以下の処理を施すことが可能である。
【００５２】
風景画像合成装置１００の照合部１０６により、Ｓ５で生成された合成風景画像と、蓄積部１０５に蓄積された複数のランドマーク画像とがそれぞれマッチングされ、各ランドマーク画像に対する合成風景画像のマッチング度が算出される（Ｓ７）。
【００５３】
次いで、表示部１０７により、Ｓ７でのマッチングの結果、マッチング度が最も高いランドマーク画像に対応する部位の緯度経度情報及びランドマーク情報が蓄積部１０５から取得され、合成風景画像と共に表示される（Ｓ８）。
【００５４】
次いで、第２の受信部１０８により、ＧＰＳ等の衛星測位システムから第１の車１０の現在の緯度経度情報が受信される（Ｓ９）。
【００５５】
最後に、補正部１０９により、Ｓ８で現在表示されている位置情報が、Ｓ９で受信した現在の経度緯度情報に補正される（Ｓ１０）。
【００５６】
以上より、合成風景画像に併せて表示される緯度経度情報がＧＰＳ等から取得した緯度経度情報に補正されるので、合成風景画像が生成された際の正確な位置を運転手に提供することが可能となる。
【００５７】
なお、前述したように、複数の合成風景画像を時系列順に連続表示して動画として表示することも可能であるが、人や自転車等の移動対象のみを差分画像処理から特定して合成することも可能である。これにより、必要最小限の情報を運転手に提供することができる。また、その差分画像については、位置変化がある情報のみに絞るために、表示する階調レベルを粗くしたり、エッジ画像（非特許文献４参照）を用いることも可能である。これにより、人物のプライバシー問題を回避した上で有益情報を運転手に提供し、交通事故を削減することができる。
【００５８】
本実施の形態によれば、第１の車１０の車載カメラ１１ａで撮影された第１の風景画像を入力し、第２の車２０の車載カメラ２１ａで撮影された第２の風景画像を無線通信ネットワーク７００を介して受信して、第１の風景画像の一領域と第２の風景画像の一領域とを比較して類似度が最も高い領域を特定し、その特定領域でそれら２枚の風景画像を重ね合わせて、重ね合わされた合成風景画像を表示するので、異なる視点から撮影された画像情報を統合すること、換言すれば、第１の車１０の車載カメラで撮影されない風景画像（第２の車２０の車載カメラでのみ撮影された風景画像）を表示することが可能となり、これにより、走行途上の視覚的な有益情報を第１の車１０の運転手に提供することができる。
【００５９】
本実施の形態によれば、走行中に撮影された時系列な複数の第１の風景画像と、同時間帯で走行中に撮影された複数の第２の風景画像とをそれぞれ順次重ね合わせ、重ね合わされた複数の合成風景画像を時系列順に連続表示するので、第１の車１０の運転手からは確認できない未知の道路や環境情報の最新状況を時々刻々と該運転手に提供可能となり、より確実に交通事故を削減することができる。
【００６０】
本実施の形態によれば、類似度が所定の閾値以下の場合には、２枚の風景画像を重ね合わせないので、重ね合わされる箇所が全く無いような異なる２枚の風景画像が誤って重ね合わされることを防ぐことが可能となり、より適切な有益情報を第１の車の運転手に提供することができる。
【００６１】
最後に、本実施の形態で説明した風景画像合成システム１は、交通工学分野、マルチメディア分野、符号化分野、通信分野、実環境におけるモニタリングや画像センシング，映像製作等に関する産業分野に適用することが可能である。
【００６２】
また、本実施の形態で説明した風景画像合成システム１は、コンピュータで構成される。すなわち、記憶部２０２と、記憶部１０２と、蓄積部１０８とは、メモリ等の記憶手段で実現される。また、入力部２０１と、送信部２０３と、入力部１０１と、第１の受信部１０３と、合成部１０４と、照合部１０６と、表示部１０７と、第２の受信部１０８と、補正部１０９とは、ＣＰＵ等の演算手段で実現され、プログラムで実行される。
【００６３】
また、本実施の形態で説明した風景画像合成システム１をプログラムとして光記憶装置や磁気記憶装置等の記録媒体に読出可能に記録し、この記録媒体をコンピュータに組み込んだり、若しくは記録媒体に記録されたプログラムを、任意の通信回線を介してコンピュータにダウンロードしたり、又は記録媒体からインストールし、該プログラムでコンピュータを動作させることにより、上述した各処理動作を風景画像合成システム１として機能させることができるのは勿論である。
【符号の説明】
【００６４】
１…風景画像合成システム
１０…第１の車
１１ａ〜１１ｄ…車載カメラ、
２０…第２の車
２１ａ〜２１ｄ…車載カメラ、
３０…第３の車
３１ａ〜３１ｄ…車載カメラ、
１００…風景画像合成装置
１０１…入力部
１０２…記憶部
１０３…第１の受信部
１０４…合成部
１０５…蓄積部
１０６…照合部
１０７…表示部
１０８…第２の受信部
１０９…補正部
２００…風景画像送信装置
２０１…入力部
２０２…記憶部
２０３…送信部
５００…道路交差点
７００…無線通信ネットワーク
Ａ、Ｂ…風景
Ｓ…ステップ
Ｔ…東京タワー
【特許請求の範囲】
【請求項１】
第１の車の車載カメラで撮影された第１の風景画像を入力する入力手段と、
入力された前記第１の風景画像を記憶する記憶手段と、
第２の車の車載カメラで撮影された第２の風景画像を通信ネットワークを介して受信する受信手段と、
前記第１の風景画像を前記記憶手段から取得し、前記第１の風景画像の一領域と前記第２の風景画像の一領域とを比較して類似度が最も高い領域を特定し、当該特定領域で前記２枚の風景画像を重ね合わせる合成手段と、
重ね合わされた合成風景画像を表示する表示手段と、
を有することを特徴とする風景画像合成装置。
【請求項２】
ランドマークを部位毎に撮影した複数のランドマーク画像と各部位の位置情報とをそれぞれ関連付けて蓄積しておく蓄積手段と、
前記合成風景画像と前記各ランドマーク画像とをそれぞれつき合わせて照合する照合手段と、
照合度が最も高いランドマーク画像に対応する部位の位置情報を前記蓄積手段から取得し、前記合成風景画像と共に表示する表示手段と、
衛星測位システムから前記第１の車の現在位置情報を受信する受信手段と、
表示された前記部位の位置情報を前記現在位置情報に補正する補正手段と、
を更に有することを特徴とする請求項１に記載の風景画像合成装置。
【請求項３】
前記合成手段は、
走行中に撮影された時系列な複数の前記第１の風景画像と、同時間帯で走行中に撮影された複数の前記第２の風景画像とをそれぞれ順次重ね合わせ、
前記表示手段は、
重ね合わされた複数の合成風景画像を時系列順に連続表示することを特徴とする請求項１又は２に記載の風景画像合成装置。
【請求項４】
前記合成手段は、
前記類似度が所定の閾値以下の場合には、前記２枚の風景画像を重ね合わせないことを特徴とする請求項１乃至３のいずれかに記載の風景画像合成装置。
【請求項５】
コンピュータにより、
第１の車の車載カメラで撮影された第１の風景画像を入力する第１のステップと、
入力された前記第１の風景画像を記憶手段に記憶する第２のステップと、
第２の車の車載カメラで撮影された第２の風景画像を通信ネットワークを介して受信する第３のステップと、
前記第１の風景画像を前記記憶手段から取得し、前記第１の風景画像の一領域と前記第２の風景画像の一領域とを比較して類似度が最も高い領域を特定し、当該特定領域で前記２枚の風景画像を重ね合わせる第４のステップと、
重ね合わされた合成風景画像を表示する第５のステップと、
を有することを特徴とする風景画像合成方法。
【請求項６】
ランドマークを部位毎に撮影した複数のランドマーク画像と各部位の位置情報とをそれぞれ関連付けて蓄積手段に蓄積しておくステップと、
前記合成風景画像と前記各ランドマーク画像とをそれぞれつき合わせて照合するステップと、
照合度が最も高いランドマーク画像に対応する部位の位置情報を前記蓄積手段から取得し、前記合成風景画像と共に表示するステップと、
衛星測位システムから前記第１の車の現在位置情報を受信するステップと、
表示された前記部位の位置情報を前記現在位置情報に補正するステップと、
を更に有することを特徴とする請求項５に記載の風景画像合成方法。
【請求項７】
前記第４のステップは、
走行中に撮影された時系列な複数の前記第１の風景画像と、同時間帯で走行中に撮影された複数の前記第２の風景画像とをそれぞれ順次重ね合わせ、
前記第５のステップは、
重ね合わされた複数の合成風景画像を時系列順に連続表示することを特徴とする請求項５又は６に記載の風景画像合成方法。
【請求項８】
前記第４のステップは、
前記類似度が所定の閾値以下の場合には、前記２枚の風景画像を重ね合わせないことを特徴とする請求項５乃至７のいずれかに記載の風景画像合成方法。
【請求項９】
請求項５乃至８のいずれか１項に記載の風景画像合成方法における各ステップをコンピュータによって実行させることを特徴とする風景画像合成プログラム。
【請求項１】
第１の車の車載カメラで撮影された第１の風景画像を入力する入力手段と、
入力された前記第１の風景画像を記憶する記憶手段と、
第２の車の車載カメラで撮影された第２の風景画像を通信ネットワークを介して受信する受信手段と、
前記第１の風景画像を前記記憶手段から取得し、前記第１の風景画像の一領域と前記第２の風景画像の一領域とを比較して類似度が最も高い領域を特定し、当該特定領域で前記２枚の風景画像を重ね合わせる合成手段と、
重ね合わされた合成風景画像を表示する表示手段と、
を有することを特徴とする風景画像合成装置。
【請求項２】
ランドマークを部位毎に撮影した複数のランドマーク画像と各部位の位置情報とをそれぞれ関連付けて蓄積しておく蓄積手段と、
前記合成風景画像と前記各ランドマーク画像とをそれぞれつき合わせて照合する照合手段と、
照合度が最も高いランドマーク画像に対応する部位の位置情報を前記蓄積手段から取得し、前記合成風景画像と共に表示する表示手段と、
衛星測位システムから前記第１の車の現在位置情報を受信する受信手段と、
表示された前記部位の位置情報を前記現在位置情報に補正する補正手段と、
を更に有することを特徴とする請求項１に記載の風景画像合成装置。
【請求項３】
前記合成手段は、
走行中に撮影された時系列な複数の前記第１の風景画像と、同時間帯で走行中に撮影された複数の前記第２の風景画像とをそれぞれ順次重ね合わせ、
前記表示手段は、
重ね合わされた複数の合成風景画像を時系列順に連続表示することを特徴とする請求項１又は２に記載の風景画像合成装置。
【請求項４】
前記合成手段は、
前記類似度が所定の閾値以下の場合には、前記２枚の風景画像を重ね合わせないことを特徴とする請求項１乃至３のいずれかに記載の風景画像合成装置。
【請求項５】
コンピュータにより、
第１の車の車載カメラで撮影された第１の風景画像を入力する第１のステップと、
入力された前記第１の風景画像を記憶手段に記憶する第２のステップと、
第２の車の車載カメラで撮影された第２の風景画像を通信ネットワークを介して受信する第３のステップと、
前記第１の風景画像を前記記憶手段から取得し、前記第１の風景画像の一領域と前記第２の風景画像の一領域とを比較して類似度が最も高い領域を特定し、当該特定領域で前記２枚の風景画像を重ね合わせる第４のステップと、
重ね合わされた合成風景画像を表示する第５のステップと、
を有することを特徴とする風景画像合成方法。
【請求項６】
ランドマークを部位毎に撮影した複数のランドマーク画像と各部位の位置情報とをそれぞれ関連付けて蓄積手段に蓄積しておくステップと、
前記合成風景画像と前記各ランドマーク画像とをそれぞれつき合わせて照合するステップと、
照合度が最も高いランドマーク画像に対応する部位の位置情報を前記蓄積手段から取得し、前記合成風景画像と共に表示するステップと、
衛星測位システムから前記第１の車の現在位置情報を受信するステップと、
表示された前記部位の位置情報を前記現在位置情報に補正するステップと、
を更に有することを特徴とする請求項５に記載の風景画像合成方法。
【請求項７】
前記第４のステップは、
走行中に撮影された時系列な複数の前記第１の風景画像と、同時間帯で走行中に撮影された複数の前記第２の風景画像とをそれぞれ順次重ね合わせ、
前記第５のステップは、
重ね合わされた複数の合成風景画像を時系列順に連続表示することを特徴とする請求項５又は６に記載の風景画像合成方法。
【請求項８】
前記第４のステップは、
前記類似度が所定の閾値以下の場合には、前記２枚の風景画像を重ね合わせないことを特徴とする請求項５乃至７のいずれかに記載の風景画像合成方法。
【請求項９】
請求項５乃至８のいずれか１項に記載の風景画像合成方法における各ステップをコンピュータによって実行させることを特徴とする風景画像合成プログラム。
【図１】
【図２】
【図３】
【図２】
【図３】
【公開番号】特開２０１２−９９２３（Ｐ２０１２−９９２３Ａ）
【公開日】平成２４年１月１２日（２０１２．１．１２）
【国際特許分類】
【出願番号】特願２０１０−１４１４０７（Ｐ２０１０−１４１４０７）
【出願日】平成２２年６月２２日（２０１０．６．２２）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＶＩＣＳ
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成２４年１月１２日（２０１２．１．１２）
【国際特許分類】
【出願日】平成２２年６月２２日（２０１０．６．２２）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＶＩＣＳ
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]