情報提供装置
【課題】連続的に記録された大量のドライブ映像の中から景色の良いシーンを低い計算コストで抽出することができ、景色の良いシーンのみを効率的に閲覧させることができる情報提供装置を提供する。
【解決手段】車両の走行ルート上の各地点における標高を示す標高データ及び各地点周辺の画像のデータを格納する格納手段１１１と、標高データを用いて、周辺の地点と比べて標高の高い地点であって、所定値以上の標高差がある特徴地点を求めるための処理を行う処理手段１０３と、処理に基づいて特徴地点を取得する取得手段１０８と、表示手段に表示される地図上の該当する位置に取得された特徴地点を示すマークであって、指示することにより該当する見渡しの良い地点周辺の画像を表示させることが可能なマークを表示させる表示制御手段１０９とを備える。
【解決手段】車両の走行ルート上の各地点における標高を示す標高データ及び各地点周辺の画像のデータを格納する格納手段１１１と、標高データを用いて、周辺の地点と比べて標高の高い地点であって、所定値以上の標高差がある特徴地点を求めるための処理を行う処理手段１０３と、処理に基づいて特徴地点を取得する取得手段１０８と、表示手段に表示される地図上の該当する位置に取得された特徴地点を示すマークであって、指示することにより該当する見渡しの良い地点周辺の画像を表示させることが可能なマークを表示させる表示制御手段１０９とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ドライブ中におけるデータを記録する情報提供装置に関し、特に、データの参照、加工、及び流通を行い、眺めの良い地点の情報を提供する情報提供装置に関する。
【背景技術】
【０００２】
従来から、カーナビゲーションシステム（以下、カーナビとも言う）において、デジタルカメラで撮影した画像をカーナビ画面で鑑賞することができるものや、パーソナルコンピュータ上でカーナビの走行履歴と画像とをアルバム風に処理し、かつホームページに公開することを支援する機能を有するものが存在する。また、ドライブシーンを記録するものとして、ドライブレコーダが存在するが、ドライブレコーダは事故などの大きな加速度がクルマに生じた時点の映像のみを記録し、後で閲覧できるものである。
【０００３】
ここで、連続的にドライブシーンを記録した場合、何時間にもわたるドライブ映像の中から特に興味があるシーンを高速に提示してもらいたいという要求がある。特に、眺めの良いシーンは思い出としての価値が高いと考えられ、これらのシーンを高速に抽出し提示してもらいたいという要求がある。
【特許文献１】特開２００２−１８１５６７号公報（要約）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、上述したように、ドライブアルバム的な機能を有するカーナビが存在するが、これは文字通りアルバムとして走行記録を残すということを支援するのみであり、そもそもドライブ全体にわたって継続的に撮影した映像あるいは画像を閲覧することをサポートするドライブレコーダ的なものではない。また、上述したようなドライブレコーダでは、一般に危険なシーン以外の平常時におけるシーンのデータは捨てられてしまう。すなわち、景色や眺めが良いシーンを検出して残すというようなことができない。
【０００５】
このことから、上記要求を満たすために、興味のあるシーンや眺めの良いシーンをドライバが運転中に意識的にマークして残すようにすることは考えられるが、注意が散漫になり、運転における安全性を阻害する可能性があり問題がある。また、このようなポイント（マーク）を残すことに意識を集中すると、ドライブそのものを楽しむということをも阻害してしまうというも問題がある。また、景色の良いシーンでは、その景色を楽しんでいるために、ポイントを記録すること自体が忘れられる傾向にあり、後になってから、そのシーンを検索したいと思うものである。また、あらかじめ眺めの良いシーンのサンプル画像を用意し、これらの画像とドライブ映像の各フレームの類似度を計算し、類似度が高いシーンを抽出することが考えられるが、これは非常に計算コストが高く、長時間のドライブデータに対して効率よく行うことは困難である。
【０００６】
また、上記要求を満たすものとして、海などの眺望の良い地点を抽出する装置が上記特許文献１に開示されている。この装置では、所定の場所における景色評価値を設定し、それらの中でもっとも評価値が高い点を求めている。しかし、この方法も上記と同様、大量のデータの中から最適なものを求めるにはコストが高く、長時間のドライブデータに対しては、評価すべき点が多すぎ、そのまま適用しても計算量的に困難である。
【０００７】
本発明は、上記問題を解決するためのものであり、連続的に記録された大量のドライブ映像の中から景色の良いシーンを低い計算コストで抽出することができ、景色の良いシーンのみを効率的に閲覧させることができる情報提供装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明によれば、地図を表示手段に表示させるとともに、車両の走行ルート内で見渡しの良い地点を示す情報提供装置であって、取得されたデータであって、前記車両の走行ルート上の各地点における標高を示す標高データ及び前記各地点周辺の画像のデータを格納する格納手段と、前記標高データを用いて、周辺の地点と比べて標高の高い地点であって、所定値以上の標高差がある特徴地点を求めるための処理を行う処理手段と、前記処理に基づいて前記特徴地点を取得する取得手段と、前記表示手段に表示される前記地図上の該当する位置に、取得された前記特徴地点を示すマークであって、前記マークを指示することにより該当する前記特徴地点周辺の画像を表示させることが可能な前記マークを表示させる表示制御手段とを、備える情報提供装置が提供される。この構成により、連続的に記録された大量のドライブ映像の中から景色の良いシーンを低い計算コストで抽出することができ、景色の良いシーンのみを効率的に閲覧させることができる。
【０００９】
また、本発明によれば、地図を表示手段に表示させるとともに、車両の走行ルート内で見渡しの良い地点を示す情報提供装置であって、取得されたデータであって、前記車両の走行ルート上の各地点における標高を示す標高データ及び前記各地点周辺の画像のデータを格納する格納手段と、前記標高データを用いて、周辺の地点と比べて標高の高い地点であって、所定値以上の標高差がある特徴地点を求めるための処理を行う処理手段と、取得された情報であって、前記処理手段の前記処理に基づく前記特徴地点における前記車両の位置情報に基づいて、各特徴地点における地形の特徴を示す特徴度の計算の処理を行う地形評価手段と、前記地形評価手段によって計算される前記特徴度に基づいて見渡しの良い地点を取得する取得手段と、前記表示手段に表示される前記地図上の該当する位置に、取得された前記見渡しの良い地点を示すマークであって、前記マークを指示することにより該当する前記見渡しの良い地点周辺の画像を表示させることが可能な前記マークを表示させる表示制御手段とを、備える情報提供装置が提供される。この構成により、連続的に記録された大量のドライブ映像の中から景色の良いシーンを低い計算コストで抽出することができ、景色の良いシーンのみを効率的に閲覧させることができる。ここで、位置情報とは、例えば車両自身における緯度及び経度の情報であり、以下においても同様である。
【００１０】
また、本発明によれば、地図を表示手段に表示させるとともに、車両の走行ルート内で見渡しの良い地点を示す情報提供装置であって、取得されたデータであって、前記車両の走行ルート上の各地点における標高を示す標高データ及び前記各地点周辺の画像のデータを格納する格納手段と、前記標高データを用いて、周辺の地点と比べて標高の高い地点であって、所定値以上の標高差がある特徴地点を求めるための処理を行う処理手段と、取得された情報であって、前記処理手段の前記処理に基づく前記特徴地点における前記車両の位置情報に基づいて、各特徴地点周辺における画像を取得し、取得された各前記画像を複数の部分画像に分割し、分割された前記部分画像と所定の参照部分画像との類似度を計算し、前記所定の参照部分画像に対して類似度の高い部分画像の前記画像全体における割合を計算する画像評価計算の処理を行う画像評価手段と、前記画像評価手段によって計算される前記割合に基づいて見渡しの良い地点を取得する取得手段と、前記表示手段に表示される前記地図上の該当する位置に、取得された前記見渡しの良い地点を示すマークであって、前記マークを指示することにより該当する前記見渡しの良い地点周辺の画像を表示させることが可能な前記マークを表示させる表示制御手段とを、備える情報提供装置が提供される。この構成により、連続的に記録された大量のドライブ映像の中から景色の良いシーンを低い計算コストで抽出することができ、景色の良いシーンのみを効率的に閲覧させることができる。
【００１１】
また、本発明によれば、地図を表示手段に表示させるとともに、車両の走行ルート内で見渡しの良い地点を示す情報提供装置であって、取得されたデータであって、前記車両の走行ルート上の各地点における標高を示す標高データ及び前記各地点周辺の画像のデータを格納する格納手段と、前記標高データを用いて、周辺の地点と比べて標高の高い地点であって、所定値以上の標高差がある特徴地点を求めるための処理を行う処理手段と、取得された情報であって、前記処理手段の前記処理に基づく前記特徴地点における前記車両の位置情報に基づいて、各特徴地点における地形の特徴を示す特徴度の計算の処理を行う地形評価手段と、取得された情報であって、前記処理手段の前記処理に基づく前記特徴地点における前記車両の位置情報に基づいて、各特徴地点周辺における画像を取得し、取得された各前記画像を複数の部分画像に分割し、分割された前記部分画像と所定の参照部分画像との類似度を計算し、前記所定の参照部分画像に対して類似度の高い部分画像の前記画像全体における割合を計算する画像評価計算の処理を行う画像評価手段と、前記地形評価手段によって計算される前記特徴度と、前記画像評価手段によって計算される前記所定の参照部分画像の前記割合とを変数とする所定の関数が最大となるような見渡しの良い地点を取得する取得手段と、前記表示手段に表示される前記地図上の該当する位置に、取得された前記見渡しの良い地点を示すマークであって、前記マークを指示することにより該当する前記見渡しの良い地点周辺の画像を表示させることが可能な前記マークを表示させる表示制御手段とを、備える情報提供装置が提供される。この構成により、連続的に記録された大量のドライブ映像の中から景色の良いシーンを低い計算コストで抽出することができ、景色の良いシーンのみを効率的に閲覧させることができる。
【００１２】
また、本発明の情報提供装置において、各特徴地点における前記地形の特徴を示す特徴度が、各特徴地点における見渡し具合を示す開度であることは、本発明の好ましい態様である。この構成により、より適切な見渡しの良い地点を取得することができる。
【００１３】
また、本発明の情報提供装置において、前記格納手段に格納された前記標高データのノイズを除去するスムージングを行うスムージング手段を更に備え、前記処理手段が、スムージングされた前記標高データを用いて処理を行うことは、本発明の好ましい態様である。この構成により、より適切な見渡しの良い地点を取得することができる。
【００１４】
また、本発明の情報提供装置において、前記表示手段と、前記車両の走行ルート上の各地点における標高を示す標高データを含む車両情報を測定する測定手段と、前記車両の周囲を撮像する撮像手段とを更に備え、前記格納手段が、測定された前記車両情報及び撮像された前記車両の周囲の画像を関連付けて格納し、前記処理手段が格納された前記標高データを用いて前記処理を行うことは、本発明の好ましい態様である。この構成により、独立して見渡しの良い地点を取得することができる。
【００１５】
また、本発明によれば、地図を表示手段に表示させるとともに、車両の走行ルート内で見渡しの良い地点を示す情報提供装置であって、前記車両の走行ルート上の各地点における可視領域の可視水面領域を求め、求められた前記可視水面領域を複数の所定の形状に分割し、分割された各所定の形状における立体角を算出し、算出された前記各所定の形状における立体角に基づいて前記可視領域の立体角を求める立体角算出手段と、求められた各地点における前記可視領域の前記立体角に基づいて、見渡しの良い地点を取得する取得手段と、前記表示手段に表示される前記地図上の該当する位置に、取得された前記見渡しの良い地点を示すマークであって、前記マークを指示することにより該当する前記見渡しの良い地点周辺の画像を表示させることが可能な前記マークを表示させる表示制御手段とを、備える情報提供装置が提供される。この構成により、連続的に記録された大量のドライブ映像の中から景色の良いシーンを低い計算コストで抽出することができ、景色の良いシーンのみを効率的に閲覧させることができる。
【００１６】
また、本発明によれば、車両の走行ルート内で見渡しの良い地点を地図上に示す情報提供装置であって、前記地図を表示する表示手段と、前記車両の周囲を撮像する撮像手段と、撮像された前記車両の周囲の画像を格納する格納手段と、前記車両の走行ルート上の各地点における可視領域の可視水面領域を求め、求められた前記可視水面領域を複数の所定の形状に分割し、分割された各所定の形状における立体角を算出し、算出された前記各所定の形状における立体角に基づいて前記可視領域の立体角を求める立体角算出手段と、求められた各地点における前記可視領域の前記立体角に基づいて、見渡しの良い地点を取得する取得手段と、前記表示手段に表示される前記地図上の該当する位置に、取得された前記見渡しの良い地点を示すマークであって、前記マークを指示することにより該当する前記見渡しの良い地点周辺の画像を表示させることが可能な前記マークを表示させる表示制御手段とを、備える情報提供装置が提供される。この構成により、連続的に記録された大量のドライブ映像の中から景色の良いシーンを低い計算コストで抽出することができ、景色の良いシーンのみを効率的に閲覧させることができる。
【００１７】
また、本発明の情報提供装置において、前記表示制御手段が、前記各地点周辺の画像を用いて前記車両の走行ルートにおけるサムネイル画像を生成し、表示させることは、本発明の好ましい態様である。この構成により、ダイジェストとしての画像を提供することができる。ここで、サムネイル画像とは、例えば各地点周辺の画像のうちそれらを代表する画像を言う。
【発明の効果】
【００１８】
本発明の情報提供装置は、上記構成を有し、連続的に記録された大量のドライブ映像の中から景色の良いシーンを低い計算コストで抽出することができ、景色の良いシーンのみを効率的に閲覧させることができる。
【発明を実施するための最良の形態】
【００１９】
以下、本発明の実施の形態に係る情報提供装置について説明する。まず、本発明の実施の形態に係る情報提供装置の一例について図１を用いて説明する。図１に示すように、情報提供装置は、通信部１００、制御部１０１、スムージング部１０２（上述するスムージング手段に相当）、特徴抽出部１０３（上述する処理手段に相当）、データ編集処理部１０４、データ配信処理部１０５、見渡し度計算部１０６（上述する地形評価手段に相当）、画像処理部１０７（上述する画像評価手段、立体角算出手段に相当）、最適化処理部１０８（上述する取得手段に相当）、表示処理部１０９（上述する表示制御手段に相当）、ディスプレイ１１０（上述する表示手段に相当）、ドライブログデータ格納部１１１（上述する格納手段に相当）、ＤＥＭ（Digital Elevation Model）データ格納部１１２、カメラ１１３（上述する撮像手段に相当）、ＧＰＳ（Global Positioning System）１１４（上述する測定手段に相当）、映像撮像部１１５、車載ＬＡＮ通信部１１６、ドライブログ記録部１１７から構成されている。
【００２０】
なお、情報提供装置の構成要素はこれに限られるものではなく、またカメラ１１３、ＧＰＳ１１４、映像撮像部１１５、車載ＬＡＮ通信部１１６、ドライブログ記録部１１７を除いた構成であってもよい。この場合の情報提供装置は、自宅などに置かれるＰＣなどでもよく、そのＰＣとドライブログ記録部１１７とを接続可能とすることにより、映像データや位置情報などを取得することができ、上述した情報提供装置と同様の処理を行うことができる。
【００２１】
通信部１００は、情報提供装置の外部との通信を行うものであり、例えば後述する最適化処理部１０８による処理結果（景色の良い地点における切り出されたサムネイル画像や映像、他のドライブデータなど）を外部のサーバなどへアップするために送信するものである。これにより、他の者がサーバへアクセスすることにより、ある走行ルート上における景色の良い地点の映像などを閲覧することが可能となる。制御部１０１は、車載情報装置全体の動作を制御するものである。
【００２２】
例えば、制御部１０１は、後述する表示処理部１０９によってディスプレイ１１０に表示されたアイコンなどのマークやサムネイル画像が選択された場合に、選択されたマークの近傍又は選択されたサムネイル画像に写る場所の近傍でのドライブ映像をドライブログデータ格納部１１１から読み出し、再生させる。スムージング部１０２は、後述するように、入力された標高データのノイズを除去するスムージングを行い、具体的には、入力された標高データに対して、例えばメディアンフィルタによるショットノイズ排除や、例えば移動平均平滑化による微小揺らぎ除去を行うものである。なお、スムージング部１０２はショットノイズなどの排除を行うが、このようなノイズの排除に限られず、例えば計算負荷を軽減するために量子化した際の量子化ノイズを除去するようにしてもよい。また、スムージング部１０２は、後述するように、特徴抽出部１０３による処理がスムージングされた標高データを対象としない場合にはスムージング処理をする必要はない。
【００２３】
特徴抽出部１０３は、スムージングされた標高データを用いて、周辺の地点と比べて標高の高い地点であって、所定値以上の標高差がある特徴地点（大局的極大点）を求めるための処理を行う。具体的には、特徴抽出部１０３は、後述するように、スムージング部１０２によって処理されたデータに対して、極値点検出や大局的特徴抽出（微小ピーク除去）を行うものである。なお、特徴抽出部１０３による処理の対象は、スムージングされた標高データに限られず、スムージングされていない標高データであってもよい。データ編集処理部１０４は、映像データそのものの上にここが景色の良い（見渡しの良い、眺望の良い、眺めの良いとも言う）場所であるということを指し示すものである。データ配信処理部１０５は、通信部１００が処理結果などを送信する際の送信制御を行うものである。
【００２４】
見渡し度計算部１０６は、特徴抽出部１０３の処理に基づく特徴地点における車両の位置情報（緯度及び経度）に基づいて、各特徴地点における地形の特徴を示す特徴度（例えば、見渡し具合を示す開度）の計算の処理を行うものであり、例えば開度計算による地形評価計算を行うものである。画像処理部１０７は、特徴抽出部１０３の処理に基づく特徴地点における車両の位置情報（緯度及び経度）に基づいて、各特徴地点周辺における画像を取得し、取得された各画像を複数の部分画像に分割し、分割された部分画像と所定の参照部分画像との類似度を計算し、所定の参照部分画像に対して類似度の高い部分画像の画像全体における割合を計算する画像評価計算の処理を行うものである。
【００２５】
また、画像処理部１０７は、車両の走行ルート上の各地点における可視領域の可視水面領域を求め、求められた可視水面領域を複数の所定の形状に分割し、分割された各所定の形状における立体角を算出し、算出された各所定の形状における立体角に基づいて可視領域の立体角を求めるものである。すなわち、画像処理部１０７は、空領域計算による画像評価計算を行ったり、可視領域の立体角の計算を行ったりするものである。
【００２６】
ここで、立体角とは、錐体の頂点から見た広がりを表す量を言い、錐体の頂点を中心とする半径１の球の球面を切り取ったときの面積で表したものである。最適化処理部１０８は、特徴抽出部１０３などによる処理に基づいて特徴地点を取得（抽出）するものであり、具体的には、特徴抽出部１０３、見渡し度計算部１０６、画像処理部１０７などによって処理された結果に基づいて景色が良い地点を、例えば降順にソートして取得（抽出）するものである。
【００２７】
表示処理部１０９は、図１７に示すように、表示手段に表示される地図上の該当する位置に、最適化処理部１０８によって取得（抽出）された特徴地点を示すマークであって、マークを指示することにより該当する特徴地点周辺の画像を表示させることが可能なマーク又は特徴地点周辺の画像を表示させるものである。具体的には、ドライブログデータ格納部１１１に格納されたドライブログの中から選択されたドライブログのコース概要をディスプレイ１１０に表示させたり、最適化処理部１０８によって抽出されたドライブルート上の景色の良い地点に、アイコンなどのマークやドライブ映像から切り出したその地点付近のサムネイル画像などを生成し、ディスプレイ１１０に表示させたりするものである。
【００２８】
なお、ドライブ映像からサムネイル画像を切り出し、例えばドライブログデータ格納部１１１に格納するのは制御手段１０１であるが、他の構成要素が行ってもよい。ドライブログデータ格納部１１１は、後述するカメラ１１３による映像データやＧＰＳ１１４による車両の位置の情報など（後述する車両関連情報）を格納するものである。ＤＥＭデータ格納部１１２は、標高データを地図上に並べたＤＥＭデータをあらかじめ格納しておくものである。
【００２９】
カメラ１１３は、車載情報装置が搭載された車両内外の様子を撮像し、映像撮像部１１５はカメラ１１３によって撮像された映像や画像をドライブログ記録部１１７に引き渡す。ＧＰＳ１１４は、車載情報装置が搭載された車両の位置、速度、向き、車両の現在居る標高などの車両関連情報を測定するものである。車載ＬＡＮ通信部１１６は、ＧＰＳ１１４によって測定された車両関連情報を取得し、ドライブログ記録部１１７に引き渡す。ドライブログ記録部１１７は、映像撮像部１１５から取得した映像や画像のデータ、車載ＬＡＮ通信部１１６から取得した車両関連情報などを同期してドライブログデータ格納部１１１に格納するものである。
【００３０】
次に、本発明の情報提供装置における見渡しの良い地点を抽出する処理フローの一例について図２を用いて説明する。なお、ここではスムージング処理を含めたフローについて説明するが、上述したようにスムージング処理を含めないフローであってもよい。図２に示すように、ＧＰＳ１１４からデータ（標高データ｛ｈ（ｔi）｝）が入力されると（ステップＳ２０１）、ドライブログデータ格納部１１１に格納される。ここで、入力される標高データについて図３ａ、図３ｂを用いて説明する。図３ａは車両が走行したドライブルートを示しており、横軸が経度、縦軸が緯度となっている。ドライブルート上のそれぞれの時点での標高データを示したものが図３ｂである。図３ａに示すＡ、Ｂ、Ｃは、図３ｂに示すＡ、Ｂ、Ｃにそれぞれ対応している。図３ｂは横軸が時間、縦軸が標高となっている。後述するスムージング部１０２によってスムージングされると、図３ｂのノイズが除去される。
【００３１】
スムージング部１０２は、格納された標高データに対してスムージングを行う（ステップＳ２０２）。スムージングについては後述する。標高データにスムージングがなされると、特徴抽出部１０３は、スムージングされた標高データに基づいて特徴点抽出を行う（ステップＳ２０３）。特徴点抽出については後述する。
【００３２】
特徴点抽出がなされると、見渡し度計算部１０６や画像処理部１０７が、より精度を上げるために見渡し度計算を行う（ステップＳ２０４）。見渡し度計算については後述する。見渡し度計算がなされると、最適化処理部１０８が見渡し度計算された結果に基づいて見渡しの良い地点を抽出する最適化処理を行う（ステップＳ２０５）。なお、この処理フローでは、より精度を上げるために見渡し度計算のステップＳ２０４が存在するが、より単純に最適化処理を行う場合には、見渡し度計算のステップＳ２０４を省略することが可能である。
【００３３】
次に、上述したスムージングについて説明する。上述したスムージングは図４のステップＳ４０２及びＳ４０３に相当する部分である。ステップＳ４０２では、ショットノイズ排除を行う。ショットノイズ排除では、例えばメディアンフィルタによって入力された標高データのノイズを排除する。ステップＳ４０３では、微小揺らぎ除去を行う。微小揺らぎ除去では、ショットノイズ排除のステップＳ４０２においてノイズが排除された標高データに対して、例えば移動平均平滑化によって平滑化を行う。
【００３４】
次に、上述した特徴点抽出について説明する。上述した特徴点抽出は図４のステップＳ４０４及びＳ４０５に相当する部分である。ステップＳ４０４では、極値点検出を行う。具体的な極値点の検出について図５ａ、図５ｂを用いて説明する。図５ａ、図５ｂに示すように、時点ｔi-1、時点ｔi、時点ｔi+1における標高データをそれぞれｈ（ｔi-1）、ｈ（ｔi）、ｈ（ｔi+1）とした場合、ｈ（ｔi-1）＜ｈ（ｔi）かつｈ（ｔi）＞ｈ（ｔi+1）若しくはｈ（ｔi-1）＞ｈ（ｔi）かつｈ（ｔi）＜ｈ（ｔi+1）の場合には、ｈ（ｔi）が極値点となる。
【００３５】
ステップＳ４０５では、大局的特徴抽出を行う。大局的特徴抽出では、例えば微小ピーク除去によってわずかなピークとなっている部分を除去する。ここで、微小ピーク除去の具体的な処理フローの一例を示す図６を用いて説明する。まず、極値点検出で検出された極値データｈ（ｔi）が入力され（ステップＳ６０１）、極値強度値Ｉ0が入力される（ステップＳ６０２）。次に、極値強度計算がなされる（ステップＳ６０３）。ここで、極値強度Ｉ（ｈ（ｔi））は以下の式（１）によって計算される。
【００３６】
【数１】
【００３７】
その後、計算された極値強度の最小極大点検出を行う（ステップＳ６０４）。ここで、極値強度の最小極大点Ｉmin及び極値強度を最小にするｉminを以下の式（２）及び（３）によって求める。
【００３８】
【数２】
【００３９】
【数３】
【００４０】
次に、求められたＩminがＩ0より大きいか否かが判断される（ステップＳ６０５）。ＩminがＩ0より大きい場合には大局的極大点として出力される（ステップＳ６０９）。一方、ＩminがＩ0より小さい場合、極値除去及び非極値除去を行う（ステップＳ６０６、Ｓ６０７）。ここで、極値除去について図７ａを用い、非極値除去について図７ｂを用いて説明する。ＩminがＩ0より小さい場合には、図７ａに示すように極値ｈ（ｔi）が除去され、また、図７ｂに示すようにｈ（ｔi+1）が非極値の場合にはｈ（ｔi+1）は除去される。そして、極値がまだ存在するか否かを判断し（ステップＳ６０８）、まだ存在する場合にはステップＳ６０３に戻り、極値が存在しない場合には大局的極大点を出力する（ステップＳ６０９）。
【００４１】
次に、上述した見渡し度計算について説明する。上述した見渡し度計算は図４のステップＳ４０６及びＳ４０７に相当する部分である。なお、この例では、見渡し度計算に地形評価計算のステップと画像評価計算のステップとが含まれるが、必ずしも双方を行う必要はなく、片方のみでも構わない。地形評価計算のステップと画像評価計算のステップを含む処理の場合には、地形上の開度Ｋ、画像フレームにおける空領域の面積（又は空領域の面積の割合）Ｌをそれぞれ計算し、それらを変数とする所定の関数、例えばｆ（Ｋ、Ｌ）＝ａ×Ｋ＋ｂ×Ｌが最大となる地点を抽出する。ここで、ａ、ｂは定数である。なお、所定の関数はこれに限られるものではない。
【００４２】
ステップＳ４０６では、地形評価計算を行う。地形評価計算では、例えば開度計算を行う。ここで、開度計算の具体的な処理フローの一例を示す図８を用いて説明する。まず、大局的特徴抽出のステップＳ４０５において抽出された大局的極大値データｈ（ｔi）が入力される（ステップＳ８０１）。その後、見渡し度計算部１０６は、入力された大局的極大値データ（ｈ（ｔi）｜ｉ∈Λ）が存在するか否か、すなわちΛが空か（φか）否かを判断する（ステップＳ８０２）。
【００４３】
大局的極大値データｈ（ｔi）が存在する場合、見渡し度計算部１０６は、ｉに関して繰り返し処理を起動する（ステップＳ８０３）。その後、大局的極大値位置周辺のドライブデータ（ｘ（ｔi）、ｙ（ｔi））が入力される（ステップＳ８０４）。ｘ（ｔi）、ｙ（ｔi）は緯度、経度をそれぞれ表す。ここで、見渡し度計算部１０６は、図９に示すように、入力されるドライブデータ点を最近隣のＤＥＭデータの格子点（ＤＥＭ点）上に落とす処理（ドライブデータ点をＤＥＭ点とする処理）を行う。このドライブデータ点から落とされた最近隣ＤＥＭ点をドライブデータ点として以下処理する。これにより、あらかじめ地図上に格子状に配置された標高データであるＤＥＭデータを有効に用いることができ、処理負荷を低減できる。
【００４４】
見渡し度計算部１０６は、最近隣ＤＥＭ点をドライブデータ点とした各ドライブデータに関して繰り返し処理を起動する（ステップＳ８０５）。その後、ドライブデータ周辺のＤＥＭデータが入力される（ステップＳ８０６）。入力されると、見渡し度計算部１０６は、ドライブデータ点を中心とした各方向（ｄ）についての開度計算処理（各方向についての繰り返し処理）を起動する（ステップＳ８０７）。そして、見渡し度計算部１０６は、各方向に対して、仰角の最大、最小値を計算する（ステップＳ８０８）。
【００４５】
ここで、仰角の最大、最小値について図１０を用いて説明する。図１０は、ドライブデータ点を基準としたある方向における仰角の最大値及び最小値を示すものであり、横軸をドライブデータ点からの距離（Ｌメートル）、縦軸を各点における標高とするものである。なお、Ｌの値は、例えば１００などであるがこれに限られるものではない。図１０に示すように、ドライブデータ点から最も標高の高い点及び最も標高の低い点へ向けて直線を引くことにより、見渡し計算部１０６は、その直線と縦軸との間のそれぞれの角度を仰角の最大値φd（方向付き地上開度）及び仰角の最小値Ψd（方向付き地下開度）として計算する（ステップＳ８０９）。そして、見渡し度計算部１０６は、各方向についての方向付き地上開度及び地下開度の計算が終了（各方向の繰り返し処理が終了）したか否かを判断する（ステップＳ８１０）。
【００４６】
終了していない場合にはステップＳ８０７以降を繰り返し、終了している場合には、見渡し度計算部１０６は、ドライブデータ点における地上開度及び地下開度を計算する（ステップＳ８１１）。ここで、地上開度は以下の式（４）、地下開度は以下の式（５）によって算出されるが、これらの式に限られるものではない。式（４）、（５）では８方向すべてにおける平均をとっているが、例えば片側の４方向のみの平均をとることによって算出するようにしてもよい。また、平均値をとらずに、進行方向に対して垂直方向で右にカーブしている場合には、進行方向左側の方向付き開度の最大値、左にカーブしている場合には進行方向右側の方向付き開度の最大値としてもよい。
【００４７】
【数４】
【００４８】
【数５】
【００４９】
そして、見渡し度計算部１０６は、各ドライブデータについての地上開度及び地下開度の算出が終了（各ドライブデータの繰り返し処理が終了）したか否かを判断し（ステップＳ８１２）、処理が終了していなければステップＳ８０５に戻り、処理が終了していれば終了する。
【００５０】
次に、上述した見渡し度計算のうちのステップＳ４０７について説明する。ステップＳ４０７では、画像評価計算を行う。画像評価計算では、例えば空領域計算を行う。ここで、空領域計算の具体的な処理フローの一例を示す図１１を用いて説明する。まず、大局的特徴抽出のステップＳ４０５において抽出された大局的極大値データｈ（ｔi）が入力される（ステップＳ１１０１）。その後、画像処理部１０７は、入力された大局的極大値データ（ｈ（ｔi）｜ｉ∈Λ）が存在するか否か、すなわちΛが空か（φか）否かを判断する（ステップＳ１１０２）。
【００５１】
大局的極大値データｈ（ｔi）が存在する場合、画像処理部１０７は、ｉに関して繰り返し処理を起動する（ステップＳ１１０３）。その後、大局的極大値位置周辺の画像フレーム（Ｐ（ｔbi）｜ｂ∈Ｍ（ｉ））が入力される（ステップＳ１１０４）。画像処理部１０７は、各画像フレームについて繰り返し処理（空領域計算処理）を起動する（ステップＳ１１０５）。画像処理部１０７は、図１２ａに示す画像フレーム１２００を図１２ｂに示すように複数の部分画像に分割する（ステップＳ１１０６）。
【００５２】
画像処理部１０７は、空領域参照部分画像１２０１と他の部分画像との類似度を計算する（ステップＳ１１０７）。類似度を計算する方法として、例えば部分画像間の対応するピクセル同士で差分をとって、所定値以下であれば類似度が高いとする方法や、ピクセル同士ではなく部分画像全体同士で差分をとって、所定値以下であれば類似度が高いとする方法などがある。
【００５３】
画像処理部１０７は、計算された類似度に基づいてクラスタリングを行う（ステップＳ１１０８）。ここでのクラスタリングは、例えばｎＭＤＳ（non-Metric Multidimentional Scaling）によるものである。ｎＭＤＳによると、図１３に示すような２次元の座標上にそれぞれの部分画像に対応するマーク１３００が配置される。図１３に示すように、空領域参照部分画像１２０１と類似度の高い部分画像に対応するマークは、空領域に属する部分画像群１３０１に含まれる。
【００５４】
画像処理部１０７は、上述したクラスタリングによって、空領域参照部分画像１２０１が属するクラスタを特定する（ステップＳ１１０９）。この際、例えば混合ガウス分布モデルでフィットさせる。画像処理部１０７は、空領域のクラスタに属する部分画像の面積の割合を計算し、保存する（ステップＳ１１１０）。最適化処理部１０８は、例えば、画像処理部１０７によって計算された空領域のクラスタに属する部分画像の面積の割合が多いほど見渡しが良いと判断する。画像処理部１０７は、各画像フレームについての処理が終了（各画像フレームの繰り返し処理が終了）したか否かを判断する（ステップＳ１１１１）。処理が終了していなければステップＳ１１０５に戻り、処理が終了していれば終了する。
【００５５】
上述したように、地形評価計算及び画像評価計算の双方を含めた処理の場合には、それぞれのステップで地形上での開度Ｋと画像フレームにおける空領域の面積（又は空領域の面積の割合）Ｌをそれぞれ計算し、それらを変数とする所定の関数、例えばｆ（Ｋ、Ｌ）＝ａ×Ｋ＋ｂ×Ｌが最大となる地点を抽出する。ここで、ａ、ｂは定数である。
【００５６】
上述してきた内容は、主として標高データに基づいて見渡しの良い場所を抽出する処理フローについてのものであった。以下では、主として海岸線や湖沿いなどの地点における可視領域の立体角に基づいて見渡しの良い場所を抽出する処理フローの一例について説明する。
【００５７】
ここで、可視領域の立体角の計算アルゴリズムについて図１４を用いて説明する。なお、以下では海岸線における可視領域の立体角の計算について説明する。まず、車両の位置を示す特徴点（ｘ（ｔi）、ｙ（ｔi））が入力される（ステップＳ１４０１）。なお、例えば上述したような標高データの差分をとり、その差分が一定時間以上所定の値を超えない場合、地図データベースを参照して海岸線などに車両が位置する（存在する）と判断した場合に、特徴点が入力されるようにしてもよい。
【００５８】
特徴点が入力された後、パラメータが入力される（ステップＳ１４０２）。パラメータが入力されると、画像処理部１０７は、入力された各特徴点についての繰り返し処理を起動する（ステップＳ１４０３）。画像処理部１０７は、まず可視水面領域を計算する（ステップＳ１４０４）。すなわち、例えば図１５ａに示す特徴点（ｘ（ｔi）、ｙ（ｔi））における可視円が図１５ｂに示されており、地図データベースを参照することによって海領域と可視円との交差領域（可視円内における海領域）を求める。
【００５９】
可視水面領域が計算されると、画像処理部１０７は可視水面領域を、例えば微小三角形へ分割する（ステップＳ１４０５）。具体的には、ポリゴンへの変換方法を用いて微小三角形に分割する。なお、ここでは三角形に分割しているがこれに限られるものではなく、四角形などであっても可能である。分割された後、画像処理部１０７は、可視領域立体角初期化を行う（ステップＳ１４０６）。具体的には立体角Ω＝０とする。
【００６０】
可視領域立体角の初期化がされた後、画像処理部１０７は各微小三角形について微小立体角の計算を行う処理（各微小三角形について繰り返し処理）を起動する（ステップＳ１４０７）。画像処理部１０７は、微小三角形の微小立体角ｄΩを計算する（ステップＳ１４０８）。微小三角形の微小立体角の計算については後述する。画像処理部１０７は、計算された微小三角形の微小立体角の加算（可視領域立体角更新：Ω＋ｄΩ）を行う（ステップＳ１４０９）。画像処理部１０７は各微小三角形の繰り返し処理が終了したか否かを判断し（ステップＳ１４１０）、繰り返し処理が終了していなければステップＳ１４０７へ戻り、繰り返し処理が終了していれば終了する。
【００６１】
ここで、微小三角形の微小立体角ｄΩの計算について図１６を用いて説明する。図１６に示すように、地球の中心をＯ（オー）とし、地球表面上のある特徴点をＱ（キュー）とし、Ｑを含む微小面積をｄＳ、Ｑにおける面Ｓの法線ベクトルをｄＳｖとし、ＯからＱへのベクトルをｒｖとした場合、ｄΩはｒｖとｄＳｖとの内積によって算出される。そして、面Ｓにおける立体角ΩはｄΩを積分することによって求められる。なお、内積とは、２つのベクトルの単位座標ベクトルに関する成分どうしの積の和を言う。例えば、ベクトルａ、ｂがあって、２つのなす角をθとするとき、内積は｜ａ｜｜ｂ｜cosθの値である。
【産業上の利用可能性】
【００６２】
本発明に係る情報提供装置は、連続的に記録された大量のドライブ映像の中から景色の良いシーンを低い計算コストで抽出することができ、景色の良いシーンのみを効率的に閲覧させることができるため、データの参照、加工、及び流通を行い、眺めの良い地点の情報を提供する情報提供装置などに有用である。
【図面の簡単な説明】
【００６３】
【図１】本発明の実施の形態に係る情報提供装置の構成の一例を示す構成図である。
【図２】本発明の実施の形態に係る情報提供装置における見渡しの良い地点を抽出する処理フローの一例を示すフローチャートである。
【図３ａ】本発明の実施の形態における車両が走行したドライブルートを示した図である。
【図３ｂ】本発明の実施の形態におけるドライブルート上のそれぞれの時点での標高データを示した図である。
【図４】本発明の実施の形態におけるスムージング、特徴点抽出、見渡し度計算の詳細な内容を示すフローチャートである。
【図５ａ】本発明の実施の形態における極値点の検出について説明するための図である。
【図５ｂ】本発明の実施の形態における極値点の検出について説明するための他の図である。
【図６】本発明の実施の形態における微小ピーク除去の具体的な処理フローの一例を示すフローチャートである。
【図７ａ】本発明の実施の形態の微小ピーク除去における極値除去について説明するための図である。
【図７ｂ】本発明の実施の形態の微小ピーク除去における非極値除去について説明するための図である。
【図８】本発明の実施の形態における開度計算の具体的な処理フローの一例を示すフローチャートである。
【図９】本発明の実施の形態におけるドライブデータ点を最近隣のＤＥＭデータの格子点（ＤＥＭ点）上に落とす処理を説明するための図である。
【図１０】本発明の実施の形態における仰角の最大、最小値について説明するための図である。
【図１１】本発明の実施の形態における空領域計算の具体的な処理フローの一例を示すフローチャートである。
【図１２ａ】本発明の実施の形態における空領域計算処理で用いられる画像フレームを示す図である。
【図１２ｂ】本発明の実施の形態における画像フレームを複数の部分画像に分割した画像フレームを示す図である。
【図１３】本発明の実施の形態における類似度に基づくクラスタリングについて説明するための図である。
【図１４】本発明の実施の形態における可視領域の立体角の計算アルゴリズムの一例を示すフローチャートである。
【図１５ａ】本発明の実施の形態における可視水面領域の計算について説明するための図である。
【図１５ｂ】本発明の実施の形態における可視水面領域の計算について説明するための他の図である。
【図１６】本発明の実施の形態における微小三角形の微小立体角ｄΩの計算について説明するための図である。
【図１７】本発明の実施の形態における表示処理部によって表示される表示の一例を示す図である。
【符号の説明】
【００６４】
１００ 通信部
１０１ 制御部
１０２ スムージング部（スムージング手段）
１０３ 特徴抽出部（処理手段）
１０４ データ編集処理部
１０５ データ配信処理部
１０６ 見渡し度計算部（地形評価手段）
１０７ 画像処理部（画像評価手段、立体角算出手段）
１０８ 最適化処理部（取得手段）
１０９ 表示処理部（表示制御手段）
１１０ ディスプレイ（表示手段）
１１１ ドライブログデータ格納部（格納手段）
１１２ ＤＥＭデータ格納部
１１３ カメラ（撮像手段）
１１４ ＧＰＳ（測定手段）
１１５ 映像撮像部
１１６ 車載ＬＡＮ通信部
１１７ ドライブログ記録部
１２００ 画像フレーム
１２０１ 空領域参照部分画像
１３００ 部分画像に対応するマーク
１３０１ 空領域に属する部分画像群
【技術分野】
【０００１】
本発明は、ドライブ中におけるデータを記録する情報提供装置に関し、特に、データの参照、加工、及び流通を行い、眺めの良い地点の情報を提供する情報提供装置に関する。
【背景技術】
【０００２】
従来から、カーナビゲーションシステム（以下、カーナビとも言う）において、デジタルカメラで撮影した画像をカーナビ画面で鑑賞することができるものや、パーソナルコンピュータ上でカーナビの走行履歴と画像とをアルバム風に処理し、かつホームページに公開することを支援する機能を有するものが存在する。また、ドライブシーンを記録するものとして、ドライブレコーダが存在するが、ドライブレコーダは事故などの大きな加速度がクルマに生じた時点の映像のみを記録し、後で閲覧できるものである。
【０００３】
ここで、連続的にドライブシーンを記録した場合、何時間にもわたるドライブ映像の中から特に興味があるシーンを高速に提示してもらいたいという要求がある。特に、眺めの良いシーンは思い出としての価値が高いと考えられ、これらのシーンを高速に抽出し提示してもらいたいという要求がある。
【特許文献１】特開２００２−１８１５６７号公報（要約）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、上述したように、ドライブアルバム的な機能を有するカーナビが存在するが、これは文字通りアルバムとして走行記録を残すということを支援するのみであり、そもそもドライブ全体にわたって継続的に撮影した映像あるいは画像を閲覧することをサポートするドライブレコーダ的なものではない。また、上述したようなドライブレコーダでは、一般に危険なシーン以外の平常時におけるシーンのデータは捨てられてしまう。すなわち、景色や眺めが良いシーンを検出して残すというようなことができない。
【０００５】
このことから、上記要求を満たすために、興味のあるシーンや眺めの良いシーンをドライバが運転中に意識的にマークして残すようにすることは考えられるが、注意が散漫になり、運転における安全性を阻害する可能性があり問題がある。また、このようなポイント（マーク）を残すことに意識を集中すると、ドライブそのものを楽しむということをも阻害してしまうというも問題がある。また、景色の良いシーンでは、その景色を楽しんでいるために、ポイントを記録すること自体が忘れられる傾向にあり、後になってから、そのシーンを検索したいと思うものである。また、あらかじめ眺めの良いシーンのサンプル画像を用意し、これらの画像とドライブ映像の各フレームの類似度を計算し、類似度が高いシーンを抽出することが考えられるが、これは非常に計算コストが高く、長時間のドライブデータに対して効率よく行うことは困難である。
【０００６】
また、上記要求を満たすものとして、海などの眺望の良い地点を抽出する装置が上記特許文献１に開示されている。この装置では、所定の場所における景色評価値を設定し、それらの中でもっとも評価値が高い点を求めている。しかし、この方法も上記と同様、大量のデータの中から最適なものを求めるにはコストが高く、長時間のドライブデータに対しては、評価すべき点が多すぎ、そのまま適用しても計算量的に困難である。
【０００７】
本発明は、上記問題を解決するためのものであり、連続的に記録された大量のドライブ映像の中から景色の良いシーンを低い計算コストで抽出することができ、景色の良いシーンのみを効率的に閲覧させることができる情報提供装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明によれば、地図を表示手段に表示させるとともに、車両の走行ルート内で見渡しの良い地点を示す情報提供装置であって、取得されたデータであって、前記車両の走行ルート上の各地点における標高を示す標高データ及び前記各地点周辺の画像のデータを格納する格納手段と、前記標高データを用いて、周辺の地点と比べて標高の高い地点であって、所定値以上の標高差がある特徴地点を求めるための処理を行う処理手段と、前記処理に基づいて前記特徴地点を取得する取得手段と、前記表示手段に表示される前記地図上の該当する位置に、取得された前記特徴地点を示すマークであって、前記マークを指示することにより該当する前記特徴地点周辺の画像を表示させることが可能な前記マークを表示させる表示制御手段とを、備える情報提供装置が提供される。この構成により、連続的に記録された大量のドライブ映像の中から景色の良いシーンを低い計算コストで抽出することができ、景色の良いシーンのみを効率的に閲覧させることができる。
【０００９】
また、本発明によれば、地図を表示手段に表示させるとともに、車両の走行ルート内で見渡しの良い地点を示す情報提供装置であって、取得されたデータであって、前記車両の走行ルート上の各地点における標高を示す標高データ及び前記各地点周辺の画像のデータを格納する格納手段と、前記標高データを用いて、周辺の地点と比べて標高の高い地点であって、所定値以上の標高差がある特徴地点を求めるための処理を行う処理手段と、取得された情報であって、前記処理手段の前記処理に基づく前記特徴地点における前記車両の位置情報に基づいて、各特徴地点における地形の特徴を示す特徴度の計算の処理を行う地形評価手段と、前記地形評価手段によって計算される前記特徴度に基づいて見渡しの良い地点を取得する取得手段と、前記表示手段に表示される前記地図上の該当する位置に、取得された前記見渡しの良い地点を示すマークであって、前記マークを指示することにより該当する前記見渡しの良い地点周辺の画像を表示させることが可能な前記マークを表示させる表示制御手段とを、備える情報提供装置が提供される。この構成により、連続的に記録された大量のドライブ映像の中から景色の良いシーンを低い計算コストで抽出することができ、景色の良いシーンのみを効率的に閲覧させることができる。ここで、位置情報とは、例えば車両自身における緯度及び経度の情報であり、以下においても同様である。
【００１０】
また、本発明によれば、地図を表示手段に表示させるとともに、車両の走行ルート内で見渡しの良い地点を示す情報提供装置であって、取得されたデータであって、前記車両の走行ルート上の各地点における標高を示す標高データ及び前記各地点周辺の画像のデータを格納する格納手段と、前記標高データを用いて、周辺の地点と比べて標高の高い地点であって、所定値以上の標高差がある特徴地点を求めるための処理を行う処理手段と、取得された情報であって、前記処理手段の前記処理に基づく前記特徴地点における前記車両の位置情報に基づいて、各特徴地点周辺における画像を取得し、取得された各前記画像を複数の部分画像に分割し、分割された前記部分画像と所定の参照部分画像との類似度を計算し、前記所定の参照部分画像に対して類似度の高い部分画像の前記画像全体における割合を計算する画像評価計算の処理を行う画像評価手段と、前記画像評価手段によって計算される前記割合に基づいて見渡しの良い地点を取得する取得手段と、前記表示手段に表示される前記地図上の該当する位置に、取得された前記見渡しの良い地点を示すマークであって、前記マークを指示することにより該当する前記見渡しの良い地点周辺の画像を表示させることが可能な前記マークを表示させる表示制御手段とを、備える情報提供装置が提供される。この構成により、連続的に記録された大量のドライブ映像の中から景色の良いシーンを低い計算コストで抽出することができ、景色の良いシーンのみを効率的に閲覧させることができる。
【００１１】
また、本発明によれば、地図を表示手段に表示させるとともに、車両の走行ルート内で見渡しの良い地点を示す情報提供装置であって、取得されたデータであって、前記車両の走行ルート上の各地点における標高を示す標高データ及び前記各地点周辺の画像のデータを格納する格納手段と、前記標高データを用いて、周辺の地点と比べて標高の高い地点であって、所定値以上の標高差がある特徴地点を求めるための処理を行う処理手段と、取得された情報であって、前記処理手段の前記処理に基づく前記特徴地点における前記車両の位置情報に基づいて、各特徴地点における地形の特徴を示す特徴度の計算の処理を行う地形評価手段と、取得された情報であって、前記処理手段の前記処理に基づく前記特徴地点における前記車両の位置情報に基づいて、各特徴地点周辺における画像を取得し、取得された各前記画像を複数の部分画像に分割し、分割された前記部分画像と所定の参照部分画像との類似度を計算し、前記所定の参照部分画像に対して類似度の高い部分画像の前記画像全体における割合を計算する画像評価計算の処理を行う画像評価手段と、前記地形評価手段によって計算される前記特徴度と、前記画像評価手段によって計算される前記所定の参照部分画像の前記割合とを変数とする所定の関数が最大となるような見渡しの良い地点を取得する取得手段と、前記表示手段に表示される前記地図上の該当する位置に、取得された前記見渡しの良い地点を示すマークであって、前記マークを指示することにより該当する前記見渡しの良い地点周辺の画像を表示させることが可能な前記マークを表示させる表示制御手段とを、備える情報提供装置が提供される。この構成により、連続的に記録された大量のドライブ映像の中から景色の良いシーンを低い計算コストで抽出することができ、景色の良いシーンのみを効率的に閲覧させることができる。
【００１２】
また、本発明の情報提供装置において、各特徴地点における前記地形の特徴を示す特徴度が、各特徴地点における見渡し具合を示す開度であることは、本発明の好ましい態様である。この構成により、より適切な見渡しの良い地点を取得することができる。
【００１３】
また、本発明の情報提供装置において、前記格納手段に格納された前記標高データのノイズを除去するスムージングを行うスムージング手段を更に備え、前記処理手段が、スムージングされた前記標高データを用いて処理を行うことは、本発明の好ましい態様である。この構成により、より適切な見渡しの良い地点を取得することができる。
【００１４】
また、本発明の情報提供装置において、前記表示手段と、前記車両の走行ルート上の各地点における標高を示す標高データを含む車両情報を測定する測定手段と、前記車両の周囲を撮像する撮像手段とを更に備え、前記格納手段が、測定された前記車両情報及び撮像された前記車両の周囲の画像を関連付けて格納し、前記処理手段が格納された前記標高データを用いて前記処理を行うことは、本発明の好ましい態様である。この構成により、独立して見渡しの良い地点を取得することができる。
【００１５】
また、本発明によれば、地図を表示手段に表示させるとともに、車両の走行ルート内で見渡しの良い地点を示す情報提供装置であって、前記車両の走行ルート上の各地点における可視領域の可視水面領域を求め、求められた前記可視水面領域を複数の所定の形状に分割し、分割された各所定の形状における立体角を算出し、算出された前記各所定の形状における立体角に基づいて前記可視領域の立体角を求める立体角算出手段と、求められた各地点における前記可視領域の前記立体角に基づいて、見渡しの良い地点を取得する取得手段と、前記表示手段に表示される前記地図上の該当する位置に、取得された前記見渡しの良い地点を示すマークであって、前記マークを指示することにより該当する前記見渡しの良い地点周辺の画像を表示させることが可能な前記マークを表示させる表示制御手段とを、備える情報提供装置が提供される。この構成により、連続的に記録された大量のドライブ映像の中から景色の良いシーンを低い計算コストで抽出することができ、景色の良いシーンのみを効率的に閲覧させることができる。
【００１６】
また、本発明によれば、車両の走行ルート内で見渡しの良い地点を地図上に示す情報提供装置であって、前記地図を表示する表示手段と、前記車両の周囲を撮像する撮像手段と、撮像された前記車両の周囲の画像を格納する格納手段と、前記車両の走行ルート上の各地点における可視領域の可視水面領域を求め、求められた前記可視水面領域を複数の所定の形状に分割し、分割された各所定の形状における立体角を算出し、算出された前記各所定の形状における立体角に基づいて前記可視領域の立体角を求める立体角算出手段と、求められた各地点における前記可視領域の前記立体角に基づいて、見渡しの良い地点を取得する取得手段と、前記表示手段に表示される前記地図上の該当する位置に、取得された前記見渡しの良い地点を示すマークであって、前記マークを指示することにより該当する前記見渡しの良い地点周辺の画像を表示させることが可能な前記マークを表示させる表示制御手段とを、備える情報提供装置が提供される。この構成により、連続的に記録された大量のドライブ映像の中から景色の良いシーンを低い計算コストで抽出することができ、景色の良いシーンのみを効率的に閲覧させることができる。
【００１７】
また、本発明の情報提供装置において、前記表示制御手段が、前記各地点周辺の画像を用いて前記車両の走行ルートにおけるサムネイル画像を生成し、表示させることは、本発明の好ましい態様である。この構成により、ダイジェストとしての画像を提供することができる。ここで、サムネイル画像とは、例えば各地点周辺の画像のうちそれらを代表する画像を言う。
【発明の効果】
【００１８】
本発明の情報提供装置は、上記構成を有し、連続的に記録された大量のドライブ映像の中から景色の良いシーンを低い計算コストで抽出することができ、景色の良いシーンのみを効率的に閲覧させることができる。
【発明を実施するための最良の形態】
【００１９】
以下、本発明の実施の形態に係る情報提供装置について説明する。まず、本発明の実施の形態に係る情報提供装置の一例について図１を用いて説明する。図１に示すように、情報提供装置は、通信部１００、制御部１０１、スムージング部１０２（上述するスムージング手段に相当）、特徴抽出部１０３（上述する処理手段に相当）、データ編集処理部１０４、データ配信処理部１０５、見渡し度計算部１０６（上述する地形評価手段に相当）、画像処理部１０７（上述する画像評価手段、立体角算出手段に相当）、最適化処理部１０８（上述する取得手段に相当）、表示処理部１０９（上述する表示制御手段に相当）、ディスプレイ１１０（上述する表示手段に相当）、ドライブログデータ格納部１１１（上述する格納手段に相当）、ＤＥＭ（Digital Elevation Model）データ格納部１１２、カメラ１１３（上述する撮像手段に相当）、ＧＰＳ（Global Positioning System）１１４（上述する測定手段に相当）、映像撮像部１１５、車載ＬＡＮ通信部１１６、ドライブログ記録部１１７から構成されている。
【００２０】
なお、情報提供装置の構成要素はこれに限られるものではなく、またカメラ１１３、ＧＰＳ１１４、映像撮像部１１５、車載ＬＡＮ通信部１１６、ドライブログ記録部１１７を除いた構成であってもよい。この場合の情報提供装置は、自宅などに置かれるＰＣなどでもよく、そのＰＣとドライブログ記録部１１７とを接続可能とすることにより、映像データや位置情報などを取得することができ、上述した情報提供装置と同様の処理を行うことができる。
【００２１】
通信部１００は、情報提供装置の外部との通信を行うものであり、例えば後述する最適化処理部１０８による処理結果（景色の良い地点における切り出されたサムネイル画像や映像、他のドライブデータなど）を外部のサーバなどへアップするために送信するものである。これにより、他の者がサーバへアクセスすることにより、ある走行ルート上における景色の良い地点の映像などを閲覧することが可能となる。制御部１０１は、車載情報装置全体の動作を制御するものである。
【００２２】
例えば、制御部１０１は、後述する表示処理部１０９によってディスプレイ１１０に表示されたアイコンなどのマークやサムネイル画像が選択された場合に、選択されたマークの近傍又は選択されたサムネイル画像に写る場所の近傍でのドライブ映像をドライブログデータ格納部１１１から読み出し、再生させる。スムージング部１０２は、後述するように、入力された標高データのノイズを除去するスムージングを行い、具体的には、入力された標高データに対して、例えばメディアンフィルタによるショットノイズ排除や、例えば移動平均平滑化による微小揺らぎ除去を行うものである。なお、スムージング部１０２はショットノイズなどの排除を行うが、このようなノイズの排除に限られず、例えば計算負荷を軽減するために量子化した際の量子化ノイズを除去するようにしてもよい。また、スムージング部１０２は、後述するように、特徴抽出部１０３による処理がスムージングされた標高データを対象としない場合にはスムージング処理をする必要はない。
【００２３】
特徴抽出部１０３は、スムージングされた標高データを用いて、周辺の地点と比べて標高の高い地点であって、所定値以上の標高差がある特徴地点（大局的極大点）を求めるための処理を行う。具体的には、特徴抽出部１０３は、後述するように、スムージング部１０２によって処理されたデータに対して、極値点検出や大局的特徴抽出（微小ピーク除去）を行うものである。なお、特徴抽出部１０３による処理の対象は、スムージングされた標高データに限られず、スムージングされていない標高データであってもよい。データ編集処理部１０４は、映像データそのものの上にここが景色の良い（見渡しの良い、眺望の良い、眺めの良いとも言う）場所であるということを指し示すものである。データ配信処理部１０５は、通信部１００が処理結果などを送信する際の送信制御を行うものである。
【００２４】
見渡し度計算部１０６は、特徴抽出部１０３の処理に基づく特徴地点における車両の位置情報（緯度及び経度）に基づいて、各特徴地点における地形の特徴を示す特徴度（例えば、見渡し具合を示す開度）の計算の処理を行うものであり、例えば開度計算による地形評価計算を行うものである。画像処理部１０７は、特徴抽出部１０３の処理に基づく特徴地点における車両の位置情報（緯度及び経度）に基づいて、各特徴地点周辺における画像を取得し、取得された各画像を複数の部分画像に分割し、分割された部分画像と所定の参照部分画像との類似度を計算し、所定の参照部分画像に対して類似度の高い部分画像の画像全体における割合を計算する画像評価計算の処理を行うものである。
【００２５】
また、画像処理部１０７は、車両の走行ルート上の各地点における可視領域の可視水面領域を求め、求められた可視水面領域を複数の所定の形状に分割し、分割された各所定の形状における立体角を算出し、算出された各所定の形状における立体角に基づいて可視領域の立体角を求めるものである。すなわち、画像処理部１０７は、空領域計算による画像評価計算を行ったり、可視領域の立体角の計算を行ったりするものである。
【００２６】
ここで、立体角とは、錐体の頂点から見た広がりを表す量を言い、錐体の頂点を中心とする半径１の球の球面を切り取ったときの面積で表したものである。最適化処理部１０８は、特徴抽出部１０３などによる処理に基づいて特徴地点を取得（抽出）するものであり、具体的には、特徴抽出部１０３、見渡し度計算部１０６、画像処理部１０７などによって処理された結果に基づいて景色が良い地点を、例えば降順にソートして取得（抽出）するものである。
【００２７】
表示処理部１０９は、図１７に示すように、表示手段に表示される地図上の該当する位置に、最適化処理部１０８によって取得（抽出）された特徴地点を示すマークであって、マークを指示することにより該当する特徴地点周辺の画像を表示させることが可能なマーク又は特徴地点周辺の画像を表示させるものである。具体的には、ドライブログデータ格納部１１１に格納されたドライブログの中から選択されたドライブログのコース概要をディスプレイ１１０に表示させたり、最適化処理部１０８によって抽出されたドライブルート上の景色の良い地点に、アイコンなどのマークやドライブ映像から切り出したその地点付近のサムネイル画像などを生成し、ディスプレイ１１０に表示させたりするものである。
【００２８】
なお、ドライブ映像からサムネイル画像を切り出し、例えばドライブログデータ格納部１１１に格納するのは制御手段１０１であるが、他の構成要素が行ってもよい。ドライブログデータ格納部１１１は、後述するカメラ１１３による映像データやＧＰＳ１１４による車両の位置の情報など（後述する車両関連情報）を格納するものである。ＤＥＭデータ格納部１１２は、標高データを地図上に並べたＤＥＭデータをあらかじめ格納しておくものである。
【００２９】
カメラ１１３は、車載情報装置が搭載された車両内外の様子を撮像し、映像撮像部１１５はカメラ１１３によって撮像された映像や画像をドライブログ記録部１１７に引き渡す。ＧＰＳ１１４は、車載情報装置が搭載された車両の位置、速度、向き、車両の現在居る標高などの車両関連情報を測定するものである。車載ＬＡＮ通信部１１６は、ＧＰＳ１１４によって測定された車両関連情報を取得し、ドライブログ記録部１１７に引き渡す。ドライブログ記録部１１７は、映像撮像部１１５から取得した映像や画像のデータ、車載ＬＡＮ通信部１１６から取得した車両関連情報などを同期してドライブログデータ格納部１１１に格納するものである。
【００３０】
次に、本発明の情報提供装置における見渡しの良い地点を抽出する処理フローの一例について図２を用いて説明する。なお、ここではスムージング処理を含めたフローについて説明するが、上述したようにスムージング処理を含めないフローであってもよい。図２に示すように、ＧＰＳ１１４からデータ（標高データ｛ｈ（ｔi）｝）が入力されると（ステップＳ２０１）、ドライブログデータ格納部１１１に格納される。ここで、入力される標高データについて図３ａ、図３ｂを用いて説明する。図３ａは車両が走行したドライブルートを示しており、横軸が経度、縦軸が緯度となっている。ドライブルート上のそれぞれの時点での標高データを示したものが図３ｂである。図３ａに示すＡ、Ｂ、Ｃは、図３ｂに示すＡ、Ｂ、Ｃにそれぞれ対応している。図３ｂは横軸が時間、縦軸が標高となっている。後述するスムージング部１０２によってスムージングされると、図３ｂのノイズが除去される。
【００３１】
スムージング部１０２は、格納された標高データに対してスムージングを行う（ステップＳ２０２）。スムージングについては後述する。標高データにスムージングがなされると、特徴抽出部１０３は、スムージングされた標高データに基づいて特徴点抽出を行う（ステップＳ２０３）。特徴点抽出については後述する。
【００３２】
特徴点抽出がなされると、見渡し度計算部１０６や画像処理部１０７が、より精度を上げるために見渡し度計算を行う（ステップＳ２０４）。見渡し度計算については後述する。見渡し度計算がなされると、最適化処理部１０８が見渡し度計算された結果に基づいて見渡しの良い地点を抽出する最適化処理を行う（ステップＳ２０５）。なお、この処理フローでは、より精度を上げるために見渡し度計算のステップＳ２０４が存在するが、より単純に最適化処理を行う場合には、見渡し度計算のステップＳ２０４を省略することが可能である。
【００３３】
次に、上述したスムージングについて説明する。上述したスムージングは図４のステップＳ４０２及びＳ４０３に相当する部分である。ステップＳ４０２では、ショットノイズ排除を行う。ショットノイズ排除では、例えばメディアンフィルタによって入力された標高データのノイズを排除する。ステップＳ４０３では、微小揺らぎ除去を行う。微小揺らぎ除去では、ショットノイズ排除のステップＳ４０２においてノイズが排除された標高データに対して、例えば移動平均平滑化によって平滑化を行う。
【００３４】
次に、上述した特徴点抽出について説明する。上述した特徴点抽出は図４のステップＳ４０４及びＳ４０５に相当する部分である。ステップＳ４０４では、極値点検出を行う。具体的な極値点の検出について図５ａ、図５ｂを用いて説明する。図５ａ、図５ｂに示すように、時点ｔi-1、時点ｔi、時点ｔi+1における標高データをそれぞれｈ（ｔi-1）、ｈ（ｔi）、ｈ（ｔi+1）とした場合、ｈ（ｔi-1）＜ｈ（ｔi）かつｈ（ｔi）＞ｈ（ｔi+1）若しくはｈ（ｔi-1）＞ｈ（ｔi）かつｈ（ｔi）＜ｈ（ｔi+1）の場合には、ｈ（ｔi）が極値点となる。
【００３５】
ステップＳ４０５では、大局的特徴抽出を行う。大局的特徴抽出では、例えば微小ピーク除去によってわずかなピークとなっている部分を除去する。ここで、微小ピーク除去の具体的な処理フローの一例を示す図６を用いて説明する。まず、極値点検出で検出された極値データｈ（ｔi）が入力され（ステップＳ６０１）、極値強度値Ｉ0が入力される（ステップＳ６０２）。次に、極値強度計算がなされる（ステップＳ６０３）。ここで、極値強度Ｉ（ｈ（ｔi））は以下の式（１）によって計算される。
【００３６】
【数１】
【００３７】
その後、計算された極値強度の最小極大点検出を行う（ステップＳ６０４）。ここで、極値強度の最小極大点Ｉmin及び極値強度を最小にするｉminを以下の式（２）及び（３）によって求める。
【００３８】
【数２】
【００３９】
【数３】
【００４０】
次に、求められたＩminがＩ0より大きいか否かが判断される（ステップＳ６０５）。ＩminがＩ0より大きい場合には大局的極大点として出力される（ステップＳ６０９）。一方、ＩminがＩ0より小さい場合、極値除去及び非極値除去を行う（ステップＳ６０６、Ｓ６０７）。ここで、極値除去について図７ａを用い、非極値除去について図７ｂを用いて説明する。ＩminがＩ0より小さい場合には、図７ａに示すように極値ｈ（ｔi）が除去され、また、図７ｂに示すようにｈ（ｔi+1）が非極値の場合にはｈ（ｔi+1）は除去される。そして、極値がまだ存在するか否かを判断し（ステップＳ６０８）、まだ存在する場合にはステップＳ６０３に戻り、極値が存在しない場合には大局的極大点を出力する（ステップＳ６０９）。
【００４１】
次に、上述した見渡し度計算について説明する。上述した見渡し度計算は図４のステップＳ４０６及びＳ４０７に相当する部分である。なお、この例では、見渡し度計算に地形評価計算のステップと画像評価計算のステップとが含まれるが、必ずしも双方を行う必要はなく、片方のみでも構わない。地形評価計算のステップと画像評価計算のステップを含む処理の場合には、地形上の開度Ｋ、画像フレームにおける空領域の面積（又は空領域の面積の割合）Ｌをそれぞれ計算し、それらを変数とする所定の関数、例えばｆ（Ｋ、Ｌ）＝ａ×Ｋ＋ｂ×Ｌが最大となる地点を抽出する。ここで、ａ、ｂは定数である。なお、所定の関数はこれに限られるものではない。
【００４２】
ステップＳ４０６では、地形評価計算を行う。地形評価計算では、例えば開度計算を行う。ここで、開度計算の具体的な処理フローの一例を示す図８を用いて説明する。まず、大局的特徴抽出のステップＳ４０５において抽出された大局的極大値データｈ（ｔi）が入力される（ステップＳ８０１）。その後、見渡し度計算部１０６は、入力された大局的極大値データ（ｈ（ｔi）｜ｉ∈Λ）が存在するか否か、すなわちΛが空か（φか）否かを判断する（ステップＳ８０２）。
【００４３】
大局的極大値データｈ（ｔi）が存在する場合、見渡し度計算部１０６は、ｉに関して繰り返し処理を起動する（ステップＳ８０３）。その後、大局的極大値位置周辺のドライブデータ（ｘ（ｔi）、ｙ（ｔi））が入力される（ステップＳ８０４）。ｘ（ｔi）、ｙ（ｔi）は緯度、経度をそれぞれ表す。ここで、見渡し度計算部１０６は、図９に示すように、入力されるドライブデータ点を最近隣のＤＥＭデータの格子点（ＤＥＭ点）上に落とす処理（ドライブデータ点をＤＥＭ点とする処理）を行う。このドライブデータ点から落とされた最近隣ＤＥＭ点をドライブデータ点として以下処理する。これにより、あらかじめ地図上に格子状に配置された標高データであるＤＥＭデータを有効に用いることができ、処理負荷を低減できる。
【００４４】
見渡し度計算部１０６は、最近隣ＤＥＭ点をドライブデータ点とした各ドライブデータに関して繰り返し処理を起動する（ステップＳ８０５）。その後、ドライブデータ周辺のＤＥＭデータが入力される（ステップＳ８０６）。入力されると、見渡し度計算部１０６は、ドライブデータ点を中心とした各方向（ｄ）についての開度計算処理（各方向についての繰り返し処理）を起動する（ステップＳ８０７）。そして、見渡し度計算部１０６は、各方向に対して、仰角の最大、最小値を計算する（ステップＳ８０８）。
【００４５】
ここで、仰角の最大、最小値について図１０を用いて説明する。図１０は、ドライブデータ点を基準としたある方向における仰角の最大値及び最小値を示すものであり、横軸をドライブデータ点からの距離（Ｌメートル）、縦軸を各点における標高とするものである。なお、Ｌの値は、例えば１００などであるがこれに限られるものではない。図１０に示すように、ドライブデータ点から最も標高の高い点及び最も標高の低い点へ向けて直線を引くことにより、見渡し計算部１０６は、その直線と縦軸との間のそれぞれの角度を仰角の最大値φd（方向付き地上開度）及び仰角の最小値Ψd（方向付き地下開度）として計算する（ステップＳ８０９）。そして、見渡し度計算部１０６は、各方向についての方向付き地上開度及び地下開度の計算が終了（各方向の繰り返し処理が終了）したか否かを判断する（ステップＳ８１０）。
【００４６】
終了していない場合にはステップＳ８０７以降を繰り返し、終了している場合には、見渡し度計算部１０６は、ドライブデータ点における地上開度及び地下開度を計算する（ステップＳ８１１）。ここで、地上開度は以下の式（４）、地下開度は以下の式（５）によって算出されるが、これらの式に限られるものではない。式（４）、（５）では８方向すべてにおける平均をとっているが、例えば片側の４方向のみの平均をとることによって算出するようにしてもよい。また、平均値をとらずに、進行方向に対して垂直方向で右にカーブしている場合には、進行方向左側の方向付き開度の最大値、左にカーブしている場合には進行方向右側の方向付き開度の最大値としてもよい。
【００４７】
【数４】
【００４８】
【数５】
【００４９】
そして、見渡し度計算部１０６は、各ドライブデータについての地上開度及び地下開度の算出が終了（各ドライブデータの繰り返し処理が終了）したか否かを判断し（ステップＳ８１２）、処理が終了していなければステップＳ８０５に戻り、処理が終了していれば終了する。
【００５０】
次に、上述した見渡し度計算のうちのステップＳ４０７について説明する。ステップＳ４０７では、画像評価計算を行う。画像評価計算では、例えば空領域計算を行う。ここで、空領域計算の具体的な処理フローの一例を示す図１１を用いて説明する。まず、大局的特徴抽出のステップＳ４０５において抽出された大局的極大値データｈ（ｔi）が入力される（ステップＳ１１０１）。その後、画像処理部１０７は、入力された大局的極大値データ（ｈ（ｔi）｜ｉ∈Λ）が存在するか否か、すなわちΛが空か（φか）否かを判断する（ステップＳ１１０２）。
【００５１】
大局的極大値データｈ（ｔi）が存在する場合、画像処理部１０７は、ｉに関して繰り返し処理を起動する（ステップＳ１１０３）。その後、大局的極大値位置周辺の画像フレーム（Ｐ（ｔbi）｜ｂ∈Ｍ（ｉ））が入力される（ステップＳ１１０４）。画像処理部１０７は、各画像フレームについて繰り返し処理（空領域計算処理）を起動する（ステップＳ１１０５）。画像処理部１０７は、図１２ａに示す画像フレーム１２００を図１２ｂに示すように複数の部分画像に分割する（ステップＳ１１０６）。
【００５２】
画像処理部１０７は、空領域参照部分画像１２０１と他の部分画像との類似度を計算する（ステップＳ１１０７）。類似度を計算する方法として、例えば部分画像間の対応するピクセル同士で差分をとって、所定値以下であれば類似度が高いとする方法や、ピクセル同士ではなく部分画像全体同士で差分をとって、所定値以下であれば類似度が高いとする方法などがある。
【００５３】
画像処理部１０７は、計算された類似度に基づいてクラスタリングを行う（ステップＳ１１０８）。ここでのクラスタリングは、例えばｎＭＤＳ（non-Metric Multidimentional Scaling）によるものである。ｎＭＤＳによると、図１３に示すような２次元の座標上にそれぞれの部分画像に対応するマーク１３００が配置される。図１３に示すように、空領域参照部分画像１２０１と類似度の高い部分画像に対応するマークは、空領域に属する部分画像群１３０１に含まれる。
【００５４】
画像処理部１０７は、上述したクラスタリングによって、空領域参照部分画像１２０１が属するクラスタを特定する（ステップＳ１１０９）。この際、例えば混合ガウス分布モデルでフィットさせる。画像処理部１０７は、空領域のクラスタに属する部分画像の面積の割合を計算し、保存する（ステップＳ１１１０）。最適化処理部１０８は、例えば、画像処理部１０７によって計算された空領域のクラスタに属する部分画像の面積の割合が多いほど見渡しが良いと判断する。画像処理部１０７は、各画像フレームについての処理が終了（各画像フレームの繰り返し処理が終了）したか否かを判断する（ステップＳ１１１１）。処理が終了していなければステップＳ１１０５に戻り、処理が終了していれば終了する。
【００５５】
上述したように、地形評価計算及び画像評価計算の双方を含めた処理の場合には、それぞれのステップで地形上での開度Ｋと画像フレームにおける空領域の面積（又は空領域の面積の割合）Ｌをそれぞれ計算し、それらを変数とする所定の関数、例えばｆ（Ｋ、Ｌ）＝ａ×Ｋ＋ｂ×Ｌが最大となる地点を抽出する。ここで、ａ、ｂは定数である。
【００５６】
上述してきた内容は、主として標高データに基づいて見渡しの良い場所を抽出する処理フローについてのものであった。以下では、主として海岸線や湖沿いなどの地点における可視領域の立体角に基づいて見渡しの良い場所を抽出する処理フローの一例について説明する。
【００５７】
ここで、可視領域の立体角の計算アルゴリズムについて図１４を用いて説明する。なお、以下では海岸線における可視領域の立体角の計算について説明する。まず、車両の位置を示す特徴点（ｘ（ｔi）、ｙ（ｔi））が入力される（ステップＳ１４０１）。なお、例えば上述したような標高データの差分をとり、その差分が一定時間以上所定の値を超えない場合、地図データベースを参照して海岸線などに車両が位置する（存在する）と判断した場合に、特徴点が入力されるようにしてもよい。
【００５８】
特徴点が入力された後、パラメータが入力される（ステップＳ１４０２）。パラメータが入力されると、画像処理部１０７は、入力された各特徴点についての繰り返し処理を起動する（ステップＳ１４０３）。画像処理部１０７は、まず可視水面領域を計算する（ステップＳ１４０４）。すなわち、例えば図１５ａに示す特徴点（ｘ（ｔi）、ｙ（ｔi））における可視円が図１５ｂに示されており、地図データベースを参照することによって海領域と可視円との交差領域（可視円内における海領域）を求める。
【００５９】
可視水面領域が計算されると、画像処理部１０７は可視水面領域を、例えば微小三角形へ分割する（ステップＳ１４０５）。具体的には、ポリゴンへの変換方法を用いて微小三角形に分割する。なお、ここでは三角形に分割しているがこれに限られるものではなく、四角形などであっても可能である。分割された後、画像処理部１０７は、可視領域立体角初期化を行う（ステップＳ１４０６）。具体的には立体角Ω＝０とする。
【００６０】
可視領域立体角の初期化がされた後、画像処理部１０７は各微小三角形について微小立体角の計算を行う処理（各微小三角形について繰り返し処理）を起動する（ステップＳ１４０７）。画像処理部１０７は、微小三角形の微小立体角ｄΩを計算する（ステップＳ１４０８）。微小三角形の微小立体角の計算については後述する。画像処理部１０７は、計算された微小三角形の微小立体角の加算（可視領域立体角更新：Ω＋ｄΩ）を行う（ステップＳ１４０９）。画像処理部１０７は各微小三角形の繰り返し処理が終了したか否かを判断し（ステップＳ１４１０）、繰り返し処理が終了していなければステップＳ１４０７へ戻り、繰り返し処理が終了していれば終了する。
【００６１】
ここで、微小三角形の微小立体角ｄΩの計算について図１６を用いて説明する。図１６に示すように、地球の中心をＯ（オー）とし、地球表面上のある特徴点をＱ（キュー）とし、Ｑを含む微小面積をｄＳ、Ｑにおける面Ｓの法線ベクトルをｄＳｖとし、ＯからＱへのベクトルをｒｖとした場合、ｄΩはｒｖとｄＳｖとの内積によって算出される。そして、面Ｓにおける立体角ΩはｄΩを積分することによって求められる。なお、内積とは、２つのベクトルの単位座標ベクトルに関する成分どうしの積の和を言う。例えば、ベクトルａ、ｂがあって、２つのなす角をθとするとき、内積は｜ａ｜｜ｂ｜cosθの値である。
【産業上の利用可能性】
【００６２】
本発明に係る情報提供装置は、連続的に記録された大量のドライブ映像の中から景色の良いシーンを低い計算コストで抽出することができ、景色の良いシーンのみを効率的に閲覧させることができるため、データの参照、加工、及び流通を行い、眺めの良い地点の情報を提供する情報提供装置などに有用である。
【図面の簡単な説明】
【００６３】
【図１】本発明の実施の形態に係る情報提供装置の構成の一例を示す構成図である。
【図２】本発明の実施の形態に係る情報提供装置における見渡しの良い地点を抽出する処理フローの一例を示すフローチャートである。
【図３ａ】本発明の実施の形態における車両が走行したドライブルートを示した図である。
【図３ｂ】本発明の実施の形態におけるドライブルート上のそれぞれの時点での標高データを示した図である。
【図４】本発明の実施の形態におけるスムージング、特徴点抽出、見渡し度計算の詳細な内容を示すフローチャートである。
【図５ａ】本発明の実施の形態における極値点の検出について説明するための図である。
【図５ｂ】本発明の実施の形態における極値点の検出について説明するための他の図である。
【図６】本発明の実施の形態における微小ピーク除去の具体的な処理フローの一例を示すフローチャートである。
【図７ａ】本発明の実施の形態の微小ピーク除去における極値除去について説明するための図である。
【図７ｂ】本発明の実施の形態の微小ピーク除去における非極値除去について説明するための図である。
【図８】本発明の実施の形態における開度計算の具体的な処理フローの一例を示すフローチャートである。
【図９】本発明の実施の形態におけるドライブデータ点を最近隣のＤＥＭデータの格子点（ＤＥＭ点）上に落とす処理を説明するための図である。
【図１０】本発明の実施の形態における仰角の最大、最小値について説明するための図である。
【図１１】本発明の実施の形態における空領域計算の具体的な処理フローの一例を示すフローチャートである。
【図１２ａ】本発明の実施の形態における空領域計算処理で用いられる画像フレームを示す図である。
【図１２ｂ】本発明の実施の形態における画像フレームを複数の部分画像に分割した画像フレームを示す図である。
【図１３】本発明の実施の形態における類似度に基づくクラスタリングについて説明するための図である。
【図１４】本発明の実施の形態における可視領域の立体角の計算アルゴリズムの一例を示すフローチャートである。
【図１５ａ】本発明の実施の形態における可視水面領域の計算について説明するための図である。
【図１５ｂ】本発明の実施の形態における可視水面領域の計算について説明するための他の図である。
【図１６】本発明の実施の形態における微小三角形の微小立体角ｄΩの計算について説明するための図である。
【図１７】本発明の実施の形態における表示処理部によって表示される表示の一例を示す図である。
【符号の説明】
【００６４】
１００ 通信部
１０１ 制御部
１０２ スムージング部（スムージング手段）
１０３ 特徴抽出部（処理手段）
１０４ データ編集処理部
１０５ データ配信処理部
１０６ 見渡し度計算部（地形評価手段）
１０７ 画像処理部（画像評価手段、立体角算出手段）
１０８ 最適化処理部（取得手段）
１０９ 表示処理部（表示制御手段）
１１０ ディスプレイ（表示手段）
１１１ ドライブログデータ格納部（格納手段）
１１２ ＤＥＭデータ格納部
１１３ カメラ（撮像手段）
１１４ ＧＰＳ（測定手段）
１１５ 映像撮像部
１１６ 車載ＬＡＮ通信部
１１７ ドライブログ記録部
１２００ 画像フレーム
１２０１ 空領域参照部分画像
１３００ 部分画像に対応するマーク
１３０１ 空領域に属する部分画像群
【特許請求の範囲】
【請求項１】
地図を表示手段に表示させるとともに、車両の走行ルート内で見渡しの良い地点を示す情報提供装置であって、
取得されたデータであって、前記車両の走行ルート上の各地点における標高を示す標高データ及び前記各地点周辺の画像のデータを格納する格納手段と、
前記標高データを用いて、周辺の地点と比べて標高の高い地点であって、所定値以上の標高差がある特徴地点を求めるための処理を行う処理手段と、
前記処理に基づいて前記特徴地点を取得する取得手段と、
前記表示手段に表示される前記地図上の該当する位置に、取得された前記特徴地点を示すマークであって、前記マークを指示することにより該当する前記特徴地点周辺の画像を表示させることが可能な前記マークを表示させる表示制御手段とを、
備える情報提供装置。
【請求項２】
地図を表示手段に表示させるとともに、車両の走行ルート内で見渡しの良い地点を示す情報提供装置であって、
取得されたデータであって、前記車両の走行ルート上の各地点における標高を示す標高データ及び前記各地点周辺の画像のデータを格納する格納手段と、
前記標高データを用いて、周辺の地点と比べて標高の高い地点であって、所定値以上の標高差がある特徴地点を求めるための処理を行う処理手段と、
取得された情報であって、前記処理手段の前記処理に基づく前記特徴地点における前記車両の位置情報に基づいて、各特徴地点における地形の特徴を示す特徴度の計算の処理を行う地形評価手段と、
前記地形評価手段によって計算される前記特徴度に基づいて見渡しの良い地点を取得する取得手段と、
前記表示手段に表示される前記地図上の該当する位置に、取得された前記見渡しの良い地点を示すマークであって、前記マークを指示することにより該当する前記見渡しの良い地点周辺の画像を表示させることが可能な前記マークを表示させる表示制御手段とを、
備える情報提供装置。
【請求項３】
地図を表示手段に表示させるとともに、車両の走行ルート内で見渡しの良い地点を示す情報提供装置であって、
取得されたデータであって、前記車両の走行ルート上の各地点における標高を示す標高データ及び前記各地点周辺の画像のデータを格納する格納手段と、
前記標高データを用いて、周辺の地点と比べて標高の高い地点であって、所定値以上の標高差がある特徴地点を求めるための処理を行う処理手段と、
取得された情報であって、前記処理手段の前記処理に基づく前記特徴地点における前記車両の位置情報に基づいて、各特徴地点周辺における画像を取得し、取得された各前記画像を複数の部分画像に分割し、分割された前記部分画像と所定の参照部分画像との類似度を計算し、前記所定の参照部分画像に対して類似度の高い部分画像の前記画像全体における割合を計算する画像評価計算の処理を行う画像評価手段と、
前記画像評価手段によって計算される前記割合に基づいて見渡しの良い地点を取得する取得手段と、
前記表示手段に表示される前記地図上の該当する位置に、取得された前記見渡しの良い地点を示すマークであって、前記マークを指示することにより該当する前記見渡しの良い地点周辺の画像を表示させることが可能な前記マークを表示させる表示制御手段とを、
備える情報提供装置。
【請求項４】
地図を表示手段に表示させるとともに、車両の走行ルート内で見渡しの良い地点を示す情報提供装置であって、
取得されたデータであって、前記車両の走行ルート上の各地点における標高を示す標高データ及び前記各地点周辺の画像のデータを格納する格納手段と、
前記標高データを用いて、周辺の地点と比べて標高の高い地点であって、所定値以上の標高差がある特徴地点を求めるための処理を行う処理手段と、
取得された情報であって、前記処理手段の前記処理に基づく前記特徴地点における前記車両の位置情報に基づいて、各特徴地点における地形の特徴を示す特徴度の計算の処理を行う地形評価手段と、
取得された情報であって、前記処理手段の前記処理に基づく前記特徴地点における前記車両の位置情報に基づいて、各特徴地点周辺における画像を取得し、取得された各前記画像を複数の部分画像に分割し、分割された前記部分画像と所定の参照部分画像との類似度を計算し、前記所定の参照部分画像に対して類似度の高い部分画像の前記画像全体における割合を計算する画像評価計算の処理を行う画像評価手段と、
前記地形評価手段によって計算される前記特徴度と、前記画像評価手段によって計算される前記所定の参照部分画像の前記割合とを変数とする所定の関数が最大となるような見渡しの良い地点を取得する取得手段と、
前記表示手段に表示される前記地図上の該当する位置に、取得された前記見渡しの良い地点を示すマークであって、前記マークを指示することにより該当する前記見渡しの良い地点周辺の画像を表示させることが可能な前記マークを表示させる表示制御手段とを、
備える情報提供装置。
【請求項５】
各特徴地点における前記地形の特徴を示す特徴度は、各特徴地点における見渡し具合を示す開度である請求項２又は４に記載の情報提供装置。
【請求項６】
前記格納手段に格納された前記標高データのノイズを除去するスムージングを行うスムージング手段を更に備え、
前記処理手段は、スムージングされた前記標高データを用いて処理を行う請求項１から５のいずれか１つに記載の情報提供装置。
【請求項７】
前記表示手段と、前記車両の走行ルート上の各地点における標高を示す標高データを含む車両情報を測定する測定手段と、前記車両の周囲を撮像する撮像手段とを更に備え、
前記格納手段は、測定された前記車両情報及び撮像された前記車両の周囲の画像を関連付けて格納し、
前記処理手段は格納された前記標高データを用いて前記処理を行う請求項１から６のいずれか１つに記載の情報提供装置。
【請求項８】
地図を表示手段に表示させるとともに、車両の走行ルート内で見渡しの良い地点を示す情報提供装置であって、
前記車両の走行ルート上の各地点における可視領域の可視水面領域を求め、求められた前記可視水面領域を複数の所定の形状に分割し、分割された各所定の形状における立体角を算出し、算出された前記各所定の形状における立体角に基づいて前記可視領域の立体角を求める立体角算出手段と、
求められた各地点における前記可視領域の前記立体角に基づいて、見渡しの良い地点を取得する取得手段と、
前記表示手段に表示される前記地図上の該当する位置に、取得された前記見渡しの良い地点を示すマークであって、前記マークを指示することにより該当する前記見渡しの良い地点周辺の画像を表示させることが可能な前記マークを表示させる表示制御手段とを、
備える情報提供装置。
【請求項９】
車両の走行ルート内で見渡しの良い地点を地図上に示す情報提供装置であって、
前記地図を表示する表示手段と、
前記車両の周囲を撮像する撮像手段と、
撮像された前記車両の周囲の画像を格納する格納手段と、
前記車両の走行ルート上の各地点における可視領域の可視水面領域を求め、求められた前記可視水面領域を複数の所定の形状に分割し、分割された各所定の形状における立体角を算出し、算出された前記各所定の形状における立体角に基づいて前記可視領域の立体角を求める立体角算出手段と、
求められた各地点における前記可視領域の前記立体角に基づいて、見渡しの良い地点を取得する取得手段と、
前記表示手段に表示される前記地図上の該当する位置に、取得された前記見渡しの良い地点を示すマークであって、前記マークを指示することにより該当する前記見渡しの良い地点周辺の画像を表示させることが可能な前記マークを表示させる表示制御手段とを、
備える情報提供装置。
【請求項１０】
前記表示制御手段は、前記各地点周辺の画像を用いて前記車両の走行ルートにおけるサムネイル画像を生成し、表示させる請求項１から９のいずれか１つに記載の情報提供装置。
【請求項１】
地図を表示手段に表示させるとともに、車両の走行ルート内で見渡しの良い地点を示す情報提供装置であって、
取得されたデータであって、前記車両の走行ルート上の各地点における標高を示す標高データ及び前記各地点周辺の画像のデータを格納する格納手段と、
前記標高データを用いて、周辺の地点と比べて標高の高い地点であって、所定値以上の標高差がある特徴地点を求めるための処理を行う処理手段と、
前記処理に基づいて前記特徴地点を取得する取得手段と、
前記表示手段に表示される前記地図上の該当する位置に、取得された前記特徴地点を示すマークであって、前記マークを指示することにより該当する前記特徴地点周辺の画像を表示させることが可能な前記マークを表示させる表示制御手段とを、
備える情報提供装置。
【請求項２】
地図を表示手段に表示させるとともに、車両の走行ルート内で見渡しの良い地点を示す情報提供装置であって、
取得されたデータであって、前記車両の走行ルート上の各地点における標高を示す標高データ及び前記各地点周辺の画像のデータを格納する格納手段と、
前記標高データを用いて、周辺の地点と比べて標高の高い地点であって、所定値以上の標高差がある特徴地点を求めるための処理を行う処理手段と、
取得された情報であって、前記処理手段の前記処理に基づく前記特徴地点における前記車両の位置情報に基づいて、各特徴地点における地形の特徴を示す特徴度の計算の処理を行う地形評価手段と、
前記地形評価手段によって計算される前記特徴度に基づいて見渡しの良い地点を取得する取得手段と、
前記表示手段に表示される前記地図上の該当する位置に、取得された前記見渡しの良い地点を示すマークであって、前記マークを指示することにより該当する前記見渡しの良い地点周辺の画像を表示させることが可能な前記マークを表示させる表示制御手段とを、
備える情報提供装置。
【請求項３】
地図を表示手段に表示させるとともに、車両の走行ルート内で見渡しの良い地点を示す情報提供装置であって、
取得されたデータであって、前記車両の走行ルート上の各地点における標高を示す標高データ及び前記各地点周辺の画像のデータを格納する格納手段と、
前記標高データを用いて、周辺の地点と比べて標高の高い地点であって、所定値以上の標高差がある特徴地点を求めるための処理を行う処理手段と、
取得された情報であって、前記処理手段の前記処理に基づく前記特徴地点における前記車両の位置情報に基づいて、各特徴地点周辺における画像を取得し、取得された各前記画像を複数の部分画像に分割し、分割された前記部分画像と所定の参照部分画像との類似度を計算し、前記所定の参照部分画像に対して類似度の高い部分画像の前記画像全体における割合を計算する画像評価計算の処理を行う画像評価手段と、
前記画像評価手段によって計算される前記割合に基づいて見渡しの良い地点を取得する取得手段と、
前記表示手段に表示される前記地図上の該当する位置に、取得された前記見渡しの良い地点を示すマークであって、前記マークを指示することにより該当する前記見渡しの良い地点周辺の画像を表示させることが可能な前記マークを表示させる表示制御手段とを、
備える情報提供装置。
【請求項４】
地図を表示手段に表示させるとともに、車両の走行ルート内で見渡しの良い地点を示す情報提供装置であって、
取得されたデータであって、前記車両の走行ルート上の各地点における標高を示す標高データ及び前記各地点周辺の画像のデータを格納する格納手段と、
前記標高データを用いて、周辺の地点と比べて標高の高い地点であって、所定値以上の標高差がある特徴地点を求めるための処理を行う処理手段と、
取得された情報であって、前記処理手段の前記処理に基づく前記特徴地点における前記車両の位置情報に基づいて、各特徴地点における地形の特徴を示す特徴度の計算の処理を行う地形評価手段と、
取得された情報であって、前記処理手段の前記処理に基づく前記特徴地点における前記車両の位置情報に基づいて、各特徴地点周辺における画像を取得し、取得された各前記画像を複数の部分画像に分割し、分割された前記部分画像と所定の参照部分画像との類似度を計算し、前記所定の参照部分画像に対して類似度の高い部分画像の前記画像全体における割合を計算する画像評価計算の処理を行う画像評価手段と、
前記地形評価手段によって計算される前記特徴度と、前記画像評価手段によって計算される前記所定の参照部分画像の前記割合とを変数とする所定の関数が最大となるような見渡しの良い地点を取得する取得手段と、
前記表示手段に表示される前記地図上の該当する位置に、取得された前記見渡しの良い地点を示すマークであって、前記マークを指示することにより該当する前記見渡しの良い地点周辺の画像を表示させることが可能な前記マークを表示させる表示制御手段とを、
備える情報提供装置。
【請求項５】
各特徴地点における前記地形の特徴を示す特徴度は、各特徴地点における見渡し具合を示す開度である請求項２又は４に記載の情報提供装置。
【請求項６】
前記格納手段に格納された前記標高データのノイズを除去するスムージングを行うスムージング手段を更に備え、
前記処理手段は、スムージングされた前記標高データを用いて処理を行う請求項１から５のいずれか１つに記載の情報提供装置。
【請求項７】
前記表示手段と、前記車両の走行ルート上の各地点における標高を示す標高データを含む車両情報を測定する測定手段と、前記車両の周囲を撮像する撮像手段とを更に備え、
前記格納手段は、測定された前記車両情報及び撮像された前記車両の周囲の画像を関連付けて格納し、
前記処理手段は格納された前記標高データを用いて前記処理を行う請求項１から６のいずれか１つに記載の情報提供装置。
【請求項８】
地図を表示手段に表示させるとともに、車両の走行ルート内で見渡しの良い地点を示す情報提供装置であって、
前記車両の走行ルート上の各地点における可視領域の可視水面領域を求め、求められた前記可視水面領域を複数の所定の形状に分割し、分割された各所定の形状における立体角を算出し、算出された前記各所定の形状における立体角に基づいて前記可視領域の立体角を求める立体角算出手段と、
求められた各地点における前記可視領域の前記立体角に基づいて、見渡しの良い地点を取得する取得手段と、
前記表示手段に表示される前記地図上の該当する位置に、取得された前記見渡しの良い地点を示すマークであって、前記マークを指示することにより該当する前記見渡しの良い地点周辺の画像を表示させることが可能な前記マークを表示させる表示制御手段とを、
備える情報提供装置。
【請求項９】
車両の走行ルート内で見渡しの良い地点を地図上に示す情報提供装置であって、
前記地図を表示する表示手段と、
前記車両の周囲を撮像する撮像手段と、
撮像された前記車両の周囲の画像を格納する格納手段と、
前記車両の走行ルート上の各地点における可視領域の可視水面領域を求め、求められた前記可視水面領域を複数の所定の形状に分割し、分割された各所定の形状における立体角を算出し、算出された前記各所定の形状における立体角に基づいて前記可視領域の立体角を求める立体角算出手段と、
求められた各地点における前記可視領域の前記立体角に基づいて、見渡しの良い地点を取得する取得手段と、
前記表示手段に表示される前記地図上の該当する位置に、取得された前記見渡しの良い地点を示すマークであって、前記マークを指示することにより該当する前記見渡しの良い地点周辺の画像を表示させることが可能な前記マークを表示させる表示制御手段とを、
備える情報提供装置。
【請求項１０】
前記表示制御手段は、前記各地点周辺の画像を用いて前記車両の走行ルートにおけるサムネイル画像を生成し、表示させる請求項１から９のいずれか１つに記載の情報提供装置。
【図１】
【図２】
【図３ａ】
【図３ｂ】
【図４】
【図５ａ】
【図５ｂ】
【図６】
【図７ａ】
【図７ｂ】
【図８】
【図９】
【図１０】
【図１１】
【図１２ａ】
【図１２ｂ】
【図１３】
【図１４】
【図１５ａ】
【図１５ｂ】
【図１６】
【図１７】
【図２】
【図３ａ】
【図３ｂ】
【図４】
【図５ａ】
【図５ｂ】
【図６】
【図７ａ】
【図７ｂ】
【図８】
【図９】
【図１０】
【図１１】
【図１２ａ】
【図１２ｂ】
【図１３】
【図１４】
【図１５ａ】
【図１５ｂ】
【図１６】
【図１７】
【公開番号】特開２００９−８０７１２（Ｐ２００９−８０７１２Ａ）
【公開日】平成２１年４月１６日（２００９．４．１６）
【国際特許分類】
【出願番号】特願２００７−２５０４７０（Ｐ２００７−２５０４７０）
【出願日】平成１９年９月２７日（２００７．９．２７）
【出願人】（５０２３２４０６６）株式会社デンソーアイティーラボラトリ (332)
【Ｆターム（参考）】
【公開日】平成２１年４月１６日（２００９．４．１６）
【国際特許分類】
【出願日】平成１９年９月２７日（２００７．９．２７）
【出願人】（５０２３２４０６６）株式会社デンソーアイティーラボラトリ (332)
【Ｆターム（参考）】
[ Back to top ]