説明

データ管理システム、データ管理方法、及びデータ管理プログラム

【課題】コストの上昇を抑えつつ十分な量の参照データを整備し、精度の高い位置同定を可能とする技術を実現する。
【解決手段】車両Vからの風景の撮影画像Iを記憶し、当該記憶された撮影画像Iに基づいて画像マッチングのための参照データRを整備するデータ管理システム。退出路Eを有する施設から車両Vが退出したとき、車両Vが実際に走行した実走行退出路を特定する実走行退出路特定部と、退出路進入点から実走行退出路と施設の外の道路との接続地点までの退出区間Fを設定する退出区間設定部と、退出区間F内に、当該退出区間F内で所定の音声案内を完了可能な案内開始地点の設定可能範囲である案内開始区間Gを設定する案内開始区間設定部と、案内開始区間G内で撮影された少なくとも1つの撮影画像Iに基づいて参照データRを生成する参照データ生成部と、を備える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車両からの風景の撮影画像を記憶し、当該記憶された撮影画像に基づいて画像マッチングのための参照データを整備するデータ管理システム、並びにそのようなデータ管理システムにおけるデータ管理方法及びデータ管理プログラムに関する。
【背景技術】
【0002】
従来から、車載ナビゲーションシステムでは、車両の現在位置を算出する方法には種々の手法が採用されている。そのような手法としては、例えば、ジャイロセンサや地磁気センサ等から取得した情報を利用する方法(自律航法)、GPS衛星からの信号を利用する方法、又は自律航法とGPS信号の利用とを組み合わせる方法等が挙げられる。また、これらの手法により暫定的な現在位置を求めておき、更に車載カメラにより撮影された車両周辺の画像を用いて、高精度に現在位置を算出する手法も提案されている。例えば下記の特許文献1には、そのような手法を利用した位置測位装置が開示されている。これによれば、まず、暫定的な現在位置を基準にした座標系(自動車座標系)における道路標示の特徴点の座標(自動車座標系特徴点)が、車載カメラによる撮影画像に基づいて算出される。次に、自動車座標系における特徴点の座標と、予め記憶されている当該道路標示の特徴点のワールド座標系における座標とに基づいて、車両の現在位置が算出される。この装置では、GPS衛星からの信号及び各種センサからの信号による測位では誤差を含んでしまう場合であっても、精度の高い現在位置を算出することが可能となる。
【0003】
しかし、特許文献1による位置測位装置では、道路標示のない場所では当該装置を利用できない。また、画像処理によって認識された特徴点の空間座標を演算する必要があるので、装置には高い演算能力が要求され、コストアップの要因となる可能性もある。そこで、道路標示のない道路や特定敷地内においても利用でき、各特徴点の空間座標を演算することなく高精度な位置決めを行うために、車両周辺の風景画像の認識技術(画像マッチング技術)の利用が考えられる。ここで、例えば駐車場等の施設内では、GPS衛星からの信号を利用した測位が円滑に実施できない場合もあることから、画像マッチング技術の利用に対する期待が特に大きくなる。
【0004】
但し、画像マッチング処理の前提となる参照データを、量的に十分にしかも常に最新の状態を反映させるように予め整備しようとすれば、コスト上昇の要因となる可能性がある。特に、施設からの車両の退出時の案内等を行うべく退出予定判定を誤りなく高精度に行うこと等を想定した場合、施設毎・退出路毎、更には例えば日照状態や気象状態等の外部要因毎の参照データを個別に整備することが好ましいが、そのためには膨大な時間及び労力を要し、結果的にコストは大幅に上昇する。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2007−108043号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
そこで、コストの上昇を抑えつつ十分な量の参照データを整備し、精度の高い位置同定を可能とする技術の実現が望まれる。また、その際には効率的なマッチング処理を可能とするような有用な参照データが整備されることが望まれる。
【課題を解決するための手段】
【0007】
本発明に係る、車両からの風景の撮影画像を記憶し、当該記憶された撮影画像に基づいて画像マッチングのための参照データを整備するデータ管理システムの特徴構成は、1つ又は複数の退出路を有する施設から車両が退出したとき、車両が実際に走行した前記退出路である実走行退出路を特定する実走行退出路特定部と、前記実走行退出路への進入点である退出路進入点から、前記実走行退出路が前記施設の外の道路に接続する接続地点までの区間である退出区間を設定する退出区間設定部と、前記退出区間内に、前記接続地点に関する所定の音声案内の発音開始地点である案内開始地点から前記接続地点までの間に前記音声案内を完了するような前記案内開始地点の設定可能範囲である案内開始区間を設定する案内開始区間設定部と、前記案内開始区間内で撮影された少なくとも1つの撮影画像に基づいて前記参照データを生成する参照データ生成部と、を備える点にある。
【0008】
上記の特徴構成によれば、施設が有する1つ又は複数の退出路の中から実走行退出路が特定されると共に、当該実走行退出路に所定の退出区間及び案内開始区間が順次設定される。そして、その案内開始区間内で撮影された少なくとも1つの撮影画像に基づいて参照データが生成される。よって、施設毎・退出路毎に予め十分な量の参照データを整備しておかなくても、車両の実際の走行に伴って参照データを生成して整備することができる。つまり、コストの上昇を抑えつつ十分な量の参照データを整備することが可能となる。また、上記のようにして整備された参照データを利用してマッチング処理を行うことで、精度の高い位置同定が可能となる。
【0009】
更に、上記の特徴構成では、退出区間内に設定される案内開始区間内で撮影された撮影画像に基づいて参照データが生成される。よって、例えばその参照データに基づいて退出予定判定を行った場合に、当該退出予定判定後であってかつ施設の外の道路に到達する前に、その後の経路案内等の音声案内フレーズの全部を確実に発音させることができる。
【0010】
ここで、前記案内開始区間内で撮影された複数の候補撮影画像と前記施設内における前記退出区間以外の領域で撮影された複数の対照撮影画像との間の類似度を算出する類似度算出部を更に備え、前記参照データ生成部は、前記類似度に基づいて前記複数の候補撮影画像の中から特定撮影画像を選択し、当該特定撮影画像に基づいて前記参照データを生成する構成とすると好適である。
【0011】
画像マッチングを利用した位置同定を行う場合、誤認識を極力抑制すると共に効率の良いマッチング処理を行うことが可能となるように参照データを整備することが好ましい。この点、上記の構成によれば、複数の候補撮影画像と複数の対照撮影画像との間の類似度が算出され、その類似度に基づいて選択される特定撮影画像に基づいて参照データが生成される。よって、例えば対照撮影画像との間の類似度が比較的低い候補撮影画像を特定撮影画像として選択する構成を採用することで、誤認識の可能性が抑制できると共に効率の良いマッチング処理を可能とする有用な参照データを得ることができる。
【0012】
また、前記参照データ生成部は、それぞれの前記候補撮影画像について類似度が最も高くなる前記対照撮影画像との間の類似度をそれぞれの最大類似度として求め、全ての前記候補撮影画像の中で最も低い最大類似度が付与された候補撮影画像を前記特定撮影画像として選択する構成とすると好適である。
【0013】
この構成によれば、誤認識の可能性を最大限抑制できると共に効率的なマッチング処理を可能とする、有用な参照データを得ることができる。
【0014】
また、前記参照データの基になる撮影画像が撮影された際の、日照状態を表す日照情報及び気象状態を表す気象情報の少なくとも一方を含む外部要因情報を取得する外部要因情報取得部と、前記外部要因情報と前記参照データ生成部により生成される前記参照データとを関連付けて記憶する参照データ記憶部と、を更に備える構成とすると好適である。
【0015】
撮影画像から特徴点の抽出を行う場合には、その時々における日照状態や気象状態等の外部要因に応じて様々な影響を受け得ることから、マッチング処理も同様に影響を受け得る。そのため、参照データはそのような各種の外部要因毎に整備されていることが好ましい。この点、上記の構成によれば、新たに生成される参照データの基になる撮影画像が撮影された際の日照情報及び気象情報の少なくとも一方を含む外部要因情報が取得され、その外部要因情報と参照データ生成部により生成される参照データとが関連付けて記憶される。よって、車両の実際の走行に伴って、日照情報及び気象情報の少なくとも一方に関連付けて参照データを整備することができる。従って、その後のマッチング処理において、その時々における日照状態や気象状態等に応じた参照データを利用することが可能となり、マッチング処理の効率を更に高めることが可能となる。
【0016】
以上の各構成を備えた本発明に係るデータ管理システムの技術的特徴は、車両からの風景の撮影画像を記憶し、当該記憶された撮影画像に基づいて画像マッチングのための参照データを整備するデータ管理システムにおけるデータ管理方法やデータ管理プログラムにも適用可能である。そのため、本発明は、そのような方法やプログラムも権利の対象とすることができる。
【0017】
その場合における、データ管理方法の特徴構成は、1つ又は複数の退出路を有する施設から車両が退出したとき、車両が実際に走行した前記退出路である実走行退出路を特定する実走行退出路特定ステップと、前記実走行退出路への進入点である退出路進入点から、前記実走行退出路が前記施設の外の道路に接続する接続地点までの区間である退出区間を設定する退出区間設定ステップと、前記退出区間内に、前記接続地点に関する所定の音声案内の発音開始地点である案内開始地点から前記接続地点までの間に前記音声案内を完了するような前記案内開始地点の設定可能範囲である案内開始区間を設定する案内開始区間設定ステップと、前記案内開始区間内で撮影された少なくとも1つの撮影画像に基づいて前記参照データを生成する参照データ生成ステップと、を備える点にある。
【0018】
また、その場合における、データ管理プログラムの特徴構成は、1つ又は複数の退出路を有する施設から車両が退出したとき、車両が実際に走行した前記退出路である実走行退出路を特定する実走行退出路特定機能と、前記実走行退出路への進入点である退出路進入点から、前記実走行退出路が前記施設の外の道路に接続する接続地点までの区間である退出区間を設定する退出区間設定機能と、前記退出区間内に、前記接続地点に関する所定の音声案内の発音開始地点である案内開始地点から前記接続地点までの間に前記音声案内を完了するような前記案内開始地点の設定可能範囲である案内開始区間を設定する案内開始区間設定機能と、前記案内開始区間内で撮影された少なくとも1つの撮影画像に基づいて前記参照データを生成する参照データ生成機能と、をコンピュータに実現させる点にある。
【0019】
当然ながら、これらのデータ管理方法やデータ管理プログラムも、上述したデータ管理システムに係る作用効果を得ることができる。更に、これらのデータ管理方法やデータ管理プログラムに、上述したデータ管理システムの好適な構成の例として挙げたいくつかの付加的技術を組み込むことも可能であり、その場合、それぞれの付加的技術に対応する作用効果も得ることができる。
【図面の簡単な説明】
【0020】
【図1】本発明に係るデータ管理システムの基本概念を示す模式図である。
【図2】本発明の実施形態に係るナビゲーションシステムの構成を模式的に示すブロック図である。
【図3】本発明の主な適用対象となる施設の概略構成を示す模式図である。
【図4】施設内に設定される各区間及び各地点の位置関係を示す模式図である。
【図5】本発明の実施形態に係る特定撮影画像の選択手法を概念的に示す模式図である。
【図6】本発明の実施形態に係るデータ管理処理の全体の処理手順を示すフローチャートである。
【図7】実走行退出路特定処理の処理手順を示すフローチャートである。
【図8】退出区間設定処理の処理手順を示すフローチャートである。
【図9】案内開始区間設定処理の処理手順を示すフローチャートである。
【図10】参照データ生成処理の処理手順を示すフローチャートである。
【図11】参照データ記憶処理の処理手順を示すフローチャートである。
【発明を実施するための形態】
【0021】
本発明に係るデータ管理システムの実施形態について、図面を参照して説明する。データ管理システムは、車両Vからの風景の撮影画像Iを記憶し、当該記憶された撮影画像Iに基づいて画像マッチングのための参照データRを整備するシステムである。本実施形態では、データ管理システムが、車両Vに搭載されたナビゲーションシステム(車載ナビゲーションシステム)1の一部として構成されている場合を例として説明する。本実施形態に係るデータ管理システムは、以下に説明するように、車両Vの位置同定を行うための参照データ管理システム(車両位置同定用参照データ管理システム)として構成されている。
【0022】
1.ナビゲーションシステムの概要
図1は、本実施形態に係るナビゲーションシステム1及びデータ管理システムの基本概念を示す模式図である。本実施形態に係るナビゲーションシステム1は、地図描画機能、自車位置算出機能、経路探索機能、及び経路案内機能等、一般的なナビゲーションシステムに通常備えられる機能を備えている。また、このナビゲーションシステム1は、自車位置を高精度に算出することを可能とするべく、車両周辺の風景画像の画像認識(画像マッチング)技術を利用して自車位置を算出するように構成されている。すなわち、車両Vに搭載された車載カメラ14(図2を参照)により撮影されて得られる撮影画像Iについて、所定の参照データRとのパターンマッチング処理(画像マッチング処理の一例であり、以下「マッチング処理」と称する場合がある。)を実行し、そのマッチング処理の結果に基づいて自車位置を高精度に算出することが可能である。また、ナビゲーションシステム1は、上記マッチング処理の結果に基づいて、ユーザー(車両Vの乗員)により設定された目的地へ車両Vを案内するための経路案内(例えば、音声案内)を所定のタイミングで実行することが可能である。
【0023】
本実施形態に係るナビゲーションシステム1は、特に、ショッピングモール等の駐車場に代表される施設P内においても、上記のような画像マッチング技術を利用した自車位置算出や経路案内を行うように構成されている。より具体的には、図1の下側に示すように、施設Pが有する退出路Eから車両Vが退出するとき、当該退出路Eのいずれかの地点に画像マッチングのための参照データRが整備されている場合には、その参照データRと車載カメラ14からの撮影画像Iから得られる画像特徴点データとに基づいてマッチング処理が行われる。そして、マッチングに成功した際に、施設P内における車両Vの現在位置が特定されると共に、目的地が設定されている場合には施設P(退出路E)からの退出後の経路案内が行われる。施設Pからの退出の際には、車両Vが発進してから間もない場合が多く、元来GPS衛星からの信号や推測航法に基づく自車位置算出が円滑に実施できないこともあると考えられることから、上記のような画像マッチング技術の利用が特に有効である。
【0024】
但し、画像マッチングの前提となる参照データRを、量的に十分にしかも常に最新の状態を反映させるように予め整備しようとすれば、コスト上昇の要因となる可能性がある。また、それぞれの施設Pが有する退出路Eは必ずしも1つであるとは限らず、施設Pによっては図3に示すように複数の退出路Eを有している場合も少なくない。そのような場合に、施設P毎及び退出路E毎に参照データRを個別に整備しようとすれば膨大な時間及び労力を要し、結果的にコストは大幅に上昇する。更に、マッチング処理を誤りなく高精度に行うためには、上記に加えて更に、例えば日照状態や気象状態等の外部要因毎の参照データRを個別に整備することが好ましいが、その場合コストは更に上昇する。
【0025】
そこで、本実施形態に係るナビゲーションシステム1は、後述する参照データ管理モジュール3を中核として構成されるデータ管理システムを備えた構成とされている。図1の上側に示すように、このナビゲーションシステム1(データ管理システム)では、車両Vが施設P内を走行している間は車載カメラ14からの撮影画像Iが記憶格納される(ステップ#01)。その後、車両Vが施設Pの退出路Eから退出したことが判定されると(ステップ#02)、車両Vが実際に走行した退出路Eが特定され(ステップ#03)、退出区間Fが設定される(ステップ#04)。また、退出区間F内に案内開始区間Gが設定され(ステップ#05)、当該案内開始区間Gにおいて参照データRが生成される(ステップ#06)。なお、参照データRの生成に際しては、案内開始区間Gで撮影された候補撮影画像Iaと、施設P内の退出区間F以外の領域で撮影された対照撮影画像Ibとの間の類似度が考慮される。
【0026】
新たに生成された参照データRは、別系統で取得される外部要因情報Cと関連付けられて、学習参照データRbとして参照データベース63に追加格納される(ステップ#07)。これにより、コストの上昇を抑えつつ、効率的なマッチング処理を可能とするような有用な参照データRを十分に整備することが可能となっている。そして、次にその施設Pを訪れて当該施設Pから退出する際には、上記のようにして更新された参照データベース63(参照データR)を利用してマッチング処理を行う。本実施形態に係るナビゲーションシステム1では、以上の処理が繰り返し実行される。以下、本実施形態に係るナビゲーションシステム1について、詳細に説明する。
【0027】
2.ナビゲーションシステムの概略構成
次に、ナビゲーションシステム1の概略構成について、図2を参照して説明する。図2に示すように、ナビゲーションシステム1は、自車位置検出モジュール2と、参照データ管理モジュール3と、ナビ制御モジュール5と、記憶装置6と、を備えている。記憶装置6には、道路地図データベース(図2においては「道路地図DB」と表示)61と、施設情報データベース(図2においては「施設情報DB」と表示)62と、参照データベース(図2においては「参照DB」と表示)63と、走行履歴データベース(図2においては「走行履歴DB」と表示)64と、が含まれる。
【0028】
自車位置検出モジュール2、参照データ管理モジュール3、及びナビ制御モジュール5のそれぞれは、後述するように、1つ又は複数の機能部を備えている。そして、これらの各機能部は、互いに共通の或いはそれぞれ独立のCPU等の演算処理装置を中核部材として、ハードウェア又はソフトウェア(プログラム)或いはその両方により構成されている。また、これらの各機能部は、通信ラインを介して相互に情報の受け渡しを行うことができるように構成されている。更に、これらの機能部は、必要に応じて所定のデータを記憶装置6から抽出して読み出すことができるように構成されている。
【0029】
また、記憶装置6は、例えばハードディスクドライブやフラッシュメモリ等のように、情報を記憶及び書き換え可能な記録媒体をハードウェア構成として備えている。なお、記憶装置6を構成する道路地図データベース61、施設情報データベース62、参照データベース63、及び走行履歴データベース64は、それぞれ独立のハードウェアを有していても良いし、共通のハードウェアに備えられていても良い。
【0030】
2−1.自車位置検出モジュール
自車位置検出モジュール2は、GPS処理部21、推測航法処理部22、自車位置算定部23、マップマッチング部24、自車位置決定部25、撮影画像処理部27、及び画像認識部28を備えている。また、本実施形態では、図2に示すように、自車位置検出モジュール2は、車両Vに備えられた車載カメラ14、GPS測定ユニット15、距離センサ16、方位センサ17、道路地図データベース61、及び参照データベース63に接続されており、これらからの情報を取得可能に構成されている。
【0031】
道路地図データベース61は、道路地図データを格納したデータベースである。ここで、道路地図データには、複数のノードと複数のリンク(図3を参照)とで表される道路間の接続情報や、それぞれの道路の種別(高速道路、有料道路、国道、県道等の種別)や長さ、形状、識別子等の属性情報が含まれている。この道路地図データベース61は、ナビゲーションシステム1による通常の経路探索処理や経路案内処理を実行する際や、マップマッチング処理を実行する際等に参照される。
【0032】
参照データベース63は、画像マッチングのための参照データRを格納したデータベースである。ここで、参照データRには、所定位置において撮影された車両からの風景画像を画像処理することによって得られる画像特徴点データが含まれている。この参照データRを生成する際の画像処理は、後述する撮影画像処理部27が行う処理と同様である。また、各参照データRには、それぞれの参照データRの基になる風景画像が撮影された位置、日照状態、気象状態、及び識別子等の属性情報が含まれている。本例では、日照状態は1日のうちにおける時間帯区分として、例えば「昼」、「夜」等のように表され、気象状態は例えば「晴」、「雨」等のように表される。各画像特徴点データと各属性情報とは互いに関連付けて記憶格納されている。
【0033】
また、本実施形態では、図2に示すように、参照データベース63に格納される参照データRには、既存参照データRaと学習参照データRbとが含まれる。既存参照データRaは、ナビゲーションシステム1のメーカー側において整備されて提供される普遍的・画一的な参照データRである。既存参照データRaは、その整備時のコスト面を考慮して、属性情報のうちの日照状態及び気象状態が、それぞれ一律に「昼・晴」となるようなデータとされている。学習参照データRbは、本実施形態では、ナビゲーションシステム1を搭載した車両Vの実際の走行に伴って既存参照データRaとは別にユーザー毎に独自に生成して整備される個別的な参照データRである。もちろん、ナビゲーションシステム1の使用開始時には学習参照データRbは整備されておらず、既存参照データRaのみを有する状態である。これらの既存参照データRa及び学習参照データRbの双方を含む参照データRを格納した参照データベース63は、車両Vの走行中等に、自車位置同定を行うためのマッチング処理を実行する際等に参照される。
【0034】
本実施形態では特に、各施設Pが有する少なくとも1つの退出路Eにおいて得られた風景画像に基づく既存参照データRaが予め整備されている。また、後述するように、各施設Pが有する1つ又は複数の退出路Eにおいて得られた撮影画像Iに基づく学習参照データRbが、車両Vの実際の走行に伴って蓄積されて事後的に整備される。このような退出路Eにおける参照データRは、車両Vがその後直ちに施設Pから退出する予定であることの判定(退出予定判定)を行うためのマッチング処理を実行する際等に参照される。
【0035】
車載カメラ14は、所定のタイミングで車両Vの周辺の風景を撮影する撮像装置である。本実施形態では、車載カメラ14は、光軸が車両Vの進行方向前方を向くように設置されており、車両Vの前方を撮影するフロントカメラとされている。この車載カメラ14により、車両Vの前方の風景の撮影画像Iが逐次取得される。なお、車載カメラ14がリヤカメラとされ、車両Vの後方風景の撮影画像Iが逐次取得される構成としても良い。
【0036】
GPS処理部21には、GPS(Global Positioning System)衛星からのGPS信号を受信するGPS測定ユニット15が接続されている。GPS処理部21は、GPS測定ユニット15で受信されたGPS衛星からの信号を解析して車両Vの現在位置(緯度及び経度で表わされる現在位置座標)を導出し、導出結果としてのGPS位置データを自車位置算定部23に出力する。
【0037】
推測航法処理部22には、距離センサ16と方位センサ17とが接続されている。距離センサ16は、車両Vの走行速度(車速)や移動距離を検出するセンサである。距離センサ16は、例えば車速パルスセンサ等により構成され、その検出結果としての車速及び移動距離の情報を推測航法処理部22へ出力する。方位センサ17は、車両Vの進行方位を検出するセンサである。方位センサ17は、例えばジャイロセンサや地磁気センサ等により構成され、その検出結果としての進行方位の情報を推測航法処理部22へ出力する。推測航法処理部22は、刻々と送られてくる移動距離情報と進行方位情報とに基づいて推測航法位置座標を導出し、導出結果としての推測航法位置データを自車位置算定部23に出力する。
【0038】
自車位置算定部23は、GPS位置データと推測航法位置データとに基づいて、公知の方法により車両Vの推定される現在位置(推定自車位置)を算出する。ここで、自車位置算定部23により算出された推定自車位置は、測定誤差等を含んだ情報となっている。そのため、マップマッチング部24は、道路地図データベース61に記憶された地図データを参照して、推定自車位置が道路地図データに含まれるいずれかの道路上となるように自車位置座標を補正する。その補正された自車位置座標で表される位置は推定自車位置として自車位置決定部25に出力され、自車位置決定部25において自車位置が決定される。ここで、自車位置決定部25は、後述するマッチング処理の結果を加味して最終的な自車位置を決定する。
【0039】
撮影画像処理部27は、車載カメラ14による車両Vの前方の風景の撮影画像Iから複数の特徴点を抽出して画像特徴点データを生成する。本実施形態では、撮影画像処理部27は、撮影画像Iにエッジ検出処理を施すことでエッジ検出画像を生成し、当該エッジ検出画像に基づいて取り出されるエッジ点を特徴点として抽出して、特徴点群からなる画像特徴点データを生成する。なお、エッジ検出処理に際しては、撮影画像I中における輝度差(濃度差)、彩度差、及び色相差等に基づいてエッジ点を抽出する構成とすることができる。撮影画像処理部27は、生成した画像特徴点データを画像認識部28に出力する。
【0040】
画像認識部28は、撮影画像処理部27から画像特徴点データを受け取ると共に、参照データベース63から画像マッチングのための参照データRを抽出して受け取り、画像特徴点データと参照データRとのパターンマッチング処理を行う。マッチング処理において、画像認識部28は、参照データRに含まれる特徴点群の配置と一致する特徴点群が画像特徴点データに所定の割合以上で含まれる場合には、マッチングに成功したと判定する。一方、画像認識部28は、参照データRに含まれる特徴点群の配置と一致する特徴点群が画像特徴点データに所定の割合未満しか含まれていない場合には、マッチングに失敗したと判定する。
【0041】
画像認識部28は、マッチングに成功した場合には、参照データRに含まれる位置情報を読み出して、当該位置情報を自車位置決定部25に出力する。自車位置決定部25は、その位置情報を受け取り、先に取得された自車位置情報を新たに受け取った位置情報に置き換える自車位置修正を行う。これにより、自車位置決定部25は、画像認識部28によるマッチング処理の結果に基づいて、より高精度な自車位置を決定することが可能である。また、画像認識部28は、所定の案内処理に対応付けられた参照データRとのマッチングに成功した場合には、その旨の情報をナビ制御モジュール5に出力する。ナビ制御モジュール5では、案内処理部52により音声案内等の案内処理が実行される。
【0042】
2−2.参照データ管理モジュール
参照データ管理モジュール3は、走行履歴管理部31、退出判定部32、実走行退出路特定部33、退出区間設定部34、案内開始区間設定部35、撮影画像管理部41、参照データ生成部42、類似度算出部43、外部要因情報取得部44、及び参照データ記憶部45を備えている。また、本実施形態では、図2に示すように、参照データ管理モジュール3は、車載カメラ14、施設情報データベース62、及び走行履歴データベース64に接続されており、これらからの情報を取得可能に構成されている。また、参照データ管理モジュール3は、参照データベース63にも接続されており、当該参照データベース63に対して生成した参照データRを転送して追加格納することが可能である。なお、本実施形態では、これらの参照データ管理モジュール3、車載カメラ14、施設情報データベース62、参照データベース63、及び走行履歴データベース64により、本発明における「データ管理システム」が構成されている。
【0043】
施設情報データベース62は、施設Pに関する施設情報を格納したデータベースである。ここで、本実施形態では、「施設P」にはショッピングモール等の商業施設が含まれる他、当該商業施設等に付帯して又はそれらとは独立に設けられる駐車場が含まれる。施設情報には、各施設Pの位置、大きさ、形状等の属性情報が含まれている。それぞれの施設情報は、施設P毎に割り当てられた識別子等の関連付け情報を用いて、道路地図データベース61に格納された道路地図データに関連付けられている。
【0044】
また、本実施形態では、施設情報には各施設P(特に駐車場)から退出するための退出路Eの情報が含まれている。この退出路Eは、施設Pの外の道路に接続されている一方通行道路等、一旦その道路上を走行すればその後必ず施設Pから退出することになる施設内道路である。施設情報には、各施設Pとは別に、各退出路Eの位置、大きさ、形状等の属性情報が含まれている。退出路Eに関するそれぞれの施設情報は、退出路E毎に割り当てられた識別子等の関連付け情報を用いて、道路地図データベース61に格納された道路地図データに関連付けられている。
【0045】
走行履歴データベース64は、車両Vの走行履歴に関する各種の情報を格納したデータベースである。本実施形態では、走行履歴データベース64には、少なくとも車載カメラ14により取得される撮影画像Iと車両Vの走行軌跡とが格納される。
【0046】
撮影画像管理部41は、車載カメラ14により逐次取得される車両Vの前方の風景の撮影画像Iを管理する機能部である。撮影画像管理部41により撮影画像管理機能が実現される。撮影画像管理部41は、車載カメラ14により取得される撮影画像Iを逐次受け取り、取得された各撮影画像Iを走行履歴データベース64に記憶格納する。本実施形態では特に、車両Vが施設Pに入場してから所定の駐車区画に駐車し、所定時間後に当該施設Pから退出するまでの、施設P内における一連の走行に伴う撮影画像Iが、互いに同じ記憶領域にまとめて記憶格納される。その際、撮影画像Iは、撮影位置及び撮影日時の情報に関連付けられて記憶格納される。また、撮影画像管理部41は、必要に応じて走行履歴データベース64から所望の撮影画像Iを抽出して読み出すことが可能である。
【0047】
走行履歴管理部31は、車両Vの走行履歴を管理する機能部である。走行履歴管理部31により走行履歴管理機能が実現される。本実施形態では、走行履歴管理部31は、車両Vの走行履歴として主に走行軌跡の情報を管理する。そのため本実施形態では、走行履歴管理部31は、推測航法処理部22で導出される推測航法位置座標の情報を逐次受け取り、連続する所定数の推測航法位置座標の集合として車両Vの走行軌跡の情報を取得可能である。取得された走行軌跡は、走行履歴データベース64に記憶格納される。その際、走行軌跡は、取得日時の情報に関連付けられて記憶格納される。そして、撮影画像Iと走行軌跡とは撮影日時(取得日時)の情報に基づいて互いに関連付けられる。また、走行履歴管理部31は、必要に応じて走行履歴データベース64から所望の走行軌跡を抽出して読み出すことが可能である。
【0048】
退出判定部32は、車両Vが施設Pから当該施設Pの外に退出したことを判定する機能部である。退出判定部32により退出判定機能が実現される。本実施形態では、退出判定部32は、自車位置決定部25により決定される自車位置が道路地図データに含まれるいずれかの道路(ここでは特に、施設Pに隣接している道路)上に一致しているか否かにより退出判定を行う。すなわち、退出判定部32は、自車位置が施設Pに隣接している道路上に一致していない間は車両Vが未だ施設Pに存在していると判定し、自車位置が施設Pに隣接している道路上に一致する状態となった時点で車両Vが施設Pから実際に退出したと判定する。なお、本実施形態ではこのようにして施設Pからの退出判定を行うため、退出路Eと施設Pに隣接する道路との接続地点と、実際の退出判定位置とが一致しない場合がある。退出判定部32は、退出判定結果の情報を実走行退出路特定部33に出力する。
【0049】
実走行退出路特定部33は、1つ又は複数の退出路Eを有する施設Pから車両Vが退出したとき、車両Vが実際に走行した退出路Eである実走行退出路Eaを特定する機能部である。実走行退出路特定部33により実走行退出路特定機能が実現される。本実施形態では、実走行退出路特定部33は、車両Vが施設Pから実際に退出したとの判定結果を退出判定部32から受け取ると、走行履歴管理部31を介して、退出判定部32により実際に施設Pから退出したと判定された地点(退出判定地点)よりも手前の所定距離(所定走行距離)分の走行軌跡を走行履歴データベース64から抽出して取得する。この場合の所定距離は、退出路Eの長さ以上に設定される。また、所定距離は、各施設Pの規模等を考慮して退出路Eの一般的な長さに基づいて施設P毎に予め規定されていると好適である。
【0050】
実走行退出路特定部33は、施設情報データベース62から、車両Vが退出した施設Pが有する各退出路Eについての形状を表す属性情報をそれぞれ抽出して取得する。そして、実走行退出路特定部33は、取得された走行軌跡と取得された各退出路Eの形状情報とに基づいて、走行軌跡に所定以上の割合で一致する形状を有する退出路Eが存在するか否かを判定する。実走行退出路特定部33は、そのような退出路Eが存在する場合には、その退出路Eを実走行退出路Eaとして特定する。実走行退出路特定部33は、特定した実走行退出路Eaの情報を退出区間設定部34に出力する。
【0051】
退出区間設定部34は、特定された実走行退出路Eaに対して退出区間Fを設定する機能部である。ここで退出区間Fは、図3及び図4に示すように、実走行退出路Eaへの進入点である退出路進入点Faから、実走行退出路Eaが施設Pの外の道路に接続する接続地点Fbまでの区間である。退出区間設定部34により退出区間設定機能が実現される。退出区間設定部34は、実走行退出路特定部33により特定された実走行退出路Eaの情報と、走行履歴データベース64から抽出された走行軌跡の情報とに基づいて退出路進入点Faを決定する。すなわち、退出区間設定部34は、走行軌跡と実走行退出路Eaとが最初に重なるようになった地点を退出路進入点Faとして決定する。ここでは、退出区間設定部34は、走行軌跡上における退出路進入点Faに対応する地点を決定する。
【0052】
また、退出区間設定部34は、車両Vが退出した施設Pの外において当該施設Pの周辺に存在する道路(ここでは、隣接する道路)を道路地図データベース61から抽出し、抽出された隣接道路の情報と実走行退出路Eaの情報と走行軌跡とに基づいて、接続地点Fbを決定する。すなわち、退出区間設定部34は、抽出された隣接道路と実走行退出路Eaとの合流地点付近において、走行軌跡から推定される車両Vの進行方向が所定量以上変化している地点を接続地点Fbとして決定する。ここでは、退出区間設定部34は、走行軌跡上における接続地点Fbに対応する地点を決定し、その情報を取得する。退出区間設定部34は、取得された実走行退出路Ea、並びに当該実走行退出路Eaについての退出路進入点Fa及び接続地点Fbの情報に基づいて、実走行退出路Ea上における退出路進入点Faから接続地点Fbまでの区間を退出区間Fとして設定する。退出区間設定部34は、設定した退出区間Fの情報を案内開始区間設定部35に出力する。
【0053】
案内開始区間設定部35は、設定された退出区間F内に、所定の案内開始区間Gを設定する機能部である。ここで案内開始区間Gは、接続地点Fbに関する所定の音声案内の発音開始地点である案内開始地点から接続地点Fbまでの間に上記音声案内を完了するような案内開始地点の設定可能範囲である。案内開始区間設定部35により案内開始区間設定機能が実現される。ここで、接続地点Fbに関する所定の音声案内は、ナビゲーションシステム1において目的地が設定されている場合に、後述するナビ制御モジュール5を中核として接続地点Fbでの進行方位を音声フレーズによりユーザーに案内通知するものである。本実施形態では、そのような音声フレーズは、例えば「次の施設出口分岐を左方向、○○方面です。」等のように案内内容に応じて規則的に定まる。そのため、音声案内のために要する時間(案内所要時間)はほぼ一定となる。
【0054】
案内開始区間設定部35は、上記のような音声案内を接続地点Fbに到達するまでの間に完了させることができるような音声案内の開始地点(発音開始地点)の設定可能範囲を、案内開始区間Gとして設定する。本実施形態では、案内開始区間設定部35は、車両Vが退出した施設P内における交通規制の一種である制限車速(一般に、徐行速度に設定されている)と、案内所要時間とに基づいて案内開始区間Gを設定する。より具体的には、案内開始区間設定部35は、制限車速と案内所要時間とを乗算することにより、車両Vが制限車速で走行すると仮定した場合における音声案内のために要する走行距離(案内所要距離)を算出する。そして、車両Vが接続地点Fbに到達すると同時に音声案内が完了すると仮定した場合における発音開始地点(すなわち、接続地点Fbよりも案内所要距離だけ手前の地点)を、音声案内開始限界地点Gaとして設定する(図4を参照)。
【0055】
案内開始区間設定部35は、退出区間F内における退出路進入点Faから音声案内開始限界地点Gaまでの区間を案内開始区間Gとして設定する。なお、施設Pが複数の退出路Eを有する場合には、退出区間Fの長さは退出路E毎によって異なるのに対して、当該施設Pにおける案内所要距離は一定である。そのため、同一の施設Pであっても退出路Eが異なれば、当該退出路Eの退出区間Fに設定される案内開始区間Gの長さも異なったものとなる。案内開始区間設定部35は、設定した案内開始区間Gの情報を参照データ生成部42に出力する。
【0056】
参照データ生成部42は、案内開始区間G内で撮影された少なくとも1つの撮影画像Iに基づいて参照データR(学習参照データRb)を生成する機能部である。参照データ生成部42により参照データ生成機能が実現される。参照データ生成部42は、設定された案内開始区間Gの情報を案内開始区間設定部35から受け取ると、撮影画像管理部41を介して、車両Vが退出した施設P内の領域である施設内領域Q(図3及び図4を参照)で撮影されて走行履歴データベース64に記憶格納された複数の撮影画像Iを取得する。ここで、施設内領域Qは、施設Pの入口から出口までの領域であって、車両Vを駐車するための区画である駐車区画や、退出区間F(案内開始区間Gを含む)を含む領域である。また、取得された撮影画像Iは、バッファメモリに一時的に格納される。
【0057】
参照データ生成部42は、取得される複数の撮影画像Iを、施設内領域Q内における各撮影画像Iが撮影された位置に応じて少なくとも2つのカテゴリに分類する。本例では、参照データ生成部42は、施設内領域Qのうち案内開始区間G内で撮影された複数の撮影画像Iを、第一のカテゴリである候補撮影画像Iaに分類すると共に、施設内領域Qのうち退出区間F以外の領域(退出路進入点Faよりも施設入口側の領域)で撮影された複数の撮影画像Iを、第二のカテゴリである対照撮影画像Ibに分類する。本例では、参照データ生成部42は、退出区間Fのうち案内開始区間G以外の領域(音声案内開始限界地点Gaよりも施設出口側の領域)で撮影された複数の撮影画像Iを、第三のカテゴリである棄却撮影画像に分類する。なお、この棄却撮影画像は、ここではそのまま棄却(バッファメモリから消去)される。これは、仮に棄却撮影画像に基づいて新たな学習参照データRbが生成されたとしても、その学習参照データRbに基づいて退出予定判定を行った場合には、退出路Eを退出するまでに音声案内を完了することができないからである。
【0058】
参照データ生成部42は、複数の候補撮影画像Iaの中から特定の候補撮影画像Ia(特定撮影画像IA)を選択する。本実施形態では、参照データ生成部42は、複数の候補撮影画像Iaと複数の対照撮影画像Ibとの間の類似度Sに基づいて、特定撮影画像IAを選択する。このような類似度Sを算出するための機能部として、参照データ管理モジュール3には類似度算出部43が備えられている。類似度算出部43により類似度算出機能が実現される。本実施形態では、類似度算出部43は、全ての候補撮影画像Iaのうち所定間隔(例えば、2〜10〔m〕)で撮影された一部の候補撮影画像Iaのみを残し、残りを棄却する。類似度算出部43は、同様に全ての対照撮影画像Ibのうち所定間隔(例えば、2〜10〔m〕)で撮影された一部の対照撮影画像Ibのみを残し、残りを棄却する。そして、類似度算出部43は、上記のようにして間引かれた候補撮影画像Iaのそれぞれと間引かれた対照撮影画像Ibのそれぞれとの間の類似度Sを算出する。
【0059】
なお、類似度Sを算出する手法としては、例えば、画素値の平均を用いる手法、画像ヒストグラムを用いる手法、同一位置画素値の差分を用いる手法、画像の空間周波数ヒストグラムを用いる手法等、公知の種々の手法が採用可能である。これらの算出手法は、好適な1つを予め選択して固定しておいても良いし、撮影画像Iが取得される状況に応じて変更可能としても良い。
【0060】
参照データ生成部42は、類似度算出部43から得られる類似度Sの情報に基づいて、候補撮影画像Iaのそれぞれに対して、対照撮影画像Ibのそれぞれとの間の類似度Sの変化の様子を解析するための解析データを生成する。この解析データの一例を図5に示している。図5に示すように、各候補撮影画像Iaについての解析データは、本例では撮影順に並べられた比較対照となる対照撮影画像Ibを横軸にとる共に縦軸を類似度Sとした二次元プロットとして生成される。当然、候補撮影画像Iaが異なれば、二次元プロットの形状も異なることになる。図5においては、複数の候補撮影画像Iaについての解析データのうち、3つの候補撮影画像Iaについての解析データを例示している。
【0061】
参照データ生成部42は、それぞれの候補撮影画像Iaについて、類似度Sが最も高くなる所定の対照撮影画像Ibとの間の類似度Sをそれぞれの最大類似度Sxとして求める。図5の下段の解析データに対応する候補撮影画像Iaについては、所定の対照撮影画像Ibとの間で類似度Sが最大となり、その値が最大類似度Sx1として付与される。中段及び上段の解析データに対応する候補撮影画像Iaについても、それぞれ所定の対照撮影画像Ibとの間で類似度Sが最大となり、それぞれの値が最大類似度Sx2,Sx3として付与される。なお、他の候補撮影画像Iaについても同様に最大類似度Sxが付与される。参照データ生成部42は、各候補撮影画像Iaに付与された最大類似度Sxどうしを比較し、全ての候補撮影画像Iaの中で最も低い最大類似度Sxが付与された候補撮影画像Iaを、特定撮影画像IAとして選択する。なお、図5に示す例では、最も低い最大類似度Sx2が付与された中段の候補撮影画像Iaが、特定撮影画像IAとして1つだけ選択されることになる。
【0062】
参照データ生成部42は、選択された特定撮影画像IAに基づいて学習参照データRbを生成する。参照データ生成部42は、特定撮影画像IAから複数の特徴点を抽出して画像特徴点データを生成する。本実施形態では、参照データ生成部42は、上述した撮影画像処理部27と同様に、特定撮影画像IAにエッジ検出処理を施すことでエッジ検出画像を生成し、当該エッジ検出画像に基づいて取り出されるエッジ点を特徴点として抽出して、特徴点群からなる画像特徴点データを生成する。参照データ生成部42は、このようにして特定撮影画像IAから得られる画像特徴点データとして、学習参照データRbを生成する。この学習参照データRbは、既存参照データRaとは別の新たな参照データRであり、ユーザー毎に独自に整備されるものである。
【0063】
外部要因情報取得部44は、学習参照データRbの生成とは別系統で、所定の外部要因情報Cを取得する機能部である。ここで、外部要因情報Cは、新たに生成される学習参照データRbの基になる特定撮影画像IAが撮影された際の、日照状態及び気象状態の少なくとも一方を含む情報である。外部要因情報取得部44により外部要因情報取得機能が実現される。本例では、外部要因情報Cとして日照状態及び気象状態の双方を含む情報が取得される。本例では、撮影時の日照状態を表す日照情報は、複数区分(例えば、「昼」、「夜」等の区分であり、「夕方」等を含めて更に細分化した区分とすることも可能)に分けられた時間帯を表す情報として取得される。撮影時の気象状態を表す情報は、複数区分(例えば、「晴」、「雨」等の区分であり、「曇」、「雪」等を含めて更に細分化した区分とすることも可能)に分けられた状態を表す情報として取得される。外部要因情報取得部44は、取得される外部要因情報Cの情報を参照データ記憶部45に出力する。
【0064】
参照データ記憶部45は、外部要因情報Cと学習参照データRbとを関連付けて記憶する機能部である。参照データ記憶部45により参照データ記憶機能が実現される。本実施形態では、参照データ記憶部45は、外部要因情報取得部44から受け取った外部要因情報Cの情報を参照して、生成された学習参照データRbの基になる特定撮影画像IAが撮影された実走行退出路Eaに、外部要因情報Cで表される条件に一致する既存参照データRaが存在するか否かを判定する。そして、そのような既存参照データRaが存在しない場合には、参照データ記憶部45は、当該実走行退出路Eaに割り当てられた識別子及び外部要因情報Cと関連付けて学習参照データRbを記憶する。このようにして、参照データ記憶部45は新たな学習参照データRbを追加するように参照データベース63を更新する。図4には一例として、「昼・晴」の状態における既存参照データRaとは別に、「夜・雨」の状態における学習参照データRbが既存参照データRaの整備地点とは異なる地点に新たに生成された様子を示している。
【0065】
なお本例では、実走行退出路Eaに外部要因情報Cで表される条件に一致する既存参照データRaが存在する場合には、参照データ記憶部45は、その退出路Eにおける外部要因情報Cに対応付けられた既存参照データRaを破棄(参照データベース63から削除)すると共に、当該退出路Eに割り当てられた識別子及び外部要因情報Cと関連付けて学習参照データRbを記憶する。このようにすることで、最新の風景の状態が反映された参照データRを整備することができる。
【0066】
2−3.ナビ制御モジュール
ナビ制御モジュール5は、経路探索部51及び案内処理部52を備えている。経路探索部51は、ナビゲーションシステム1においてユーザーにより設定された条件に基づいて出発地から目的地までの案内経路を探索する機能部である。案内処理部52は、経路探索部51により探索された案内経路に従って、ユーザーに対して適切な経路案内を行う機能部である。案内処理部52は、モニタ12の表示画面に表示される案内表示やスピーカ13から発音される音声案内等により経路案内を行う。
【0067】
3.参照データ管理処理の手順
次に、本実施形態に係るデータ管理システムを含むナビゲーションシステム1において実行されるデータ管理処理の手順(データ管理方法)について説明する。以下に説明するデータ管理処理の手順は、ナビゲーションシステム1の各機能部を構成するハードウェア又はソフトウェア(プログラム)或いはその両方により実行される。上記の各機能部がプログラムにより構成される場合には、ナビゲーションシステム1が有する演算処理装置が、上記の各機能部を構成するプログラムを実行するコンピュータとして動作する。
【0068】
図6は、データ管理処理の全体の処理手順(メインフロー)を示すフローチャートである。図1及び図6に示すように、車両Vが施設内領域Qにある間は、撮影画像管理部41により、走行履歴データベース64に撮影画像Iが記憶格納される(ステップ#01)。なおその際、走行履歴データベース64には、走行履歴管理部31により、車両Vの走行軌跡の情報も記憶格納される。撮影画像Iと走行軌跡の情報とは互いに関連付けられて記憶格納される。退出判定部32により、車両Vが施設Pから退出したか否かが判定される(ステップ#02)。車両Vが施設Pから退出したと判定されない場合には(ステップ#02:No)、データ管理処理はそのまま終了する。一方、車両Vが施設Pから退出したと判定された場合には(ステップ#02:Yes)、実走行退出路特定部33により、実走行退出路Eaを特定する実走行退出路特定処理が実行される(ステップ#03)。
【0069】
図7は、実走行退出路特定処理のより詳細な処理手順を示すフローチャートである。図7に示すように、実走行退出路特定処理では、退出判定部32により施設Pからの退出が判定された地点(退出判定地点)より手前の所定距離分の走行軌跡が走行履歴データベース64から読み出されて取得される(ステップ#11)。施設情報データベース62から、車両Vが退出した施設Pが有する各退出路Eについての形状を表す属性情報が取得され、退出した施設Pに走行軌跡に一致する形状の退出路Eが存在するか否かが判定される(ステップ#12)。そのような退出路Eが存在しない場合には(ステップ#12:No)、データ管理処理はそのまま終了する。一方、そのような退出路Eが存在する場合には(ステップ#12:Yes)、該当する退出路Eが実走行退出路Eaとして特定される(ステップ#13)。また、特定された実走行退出路Eaに付与された識別子としての退出路IDが、施設情報データベース62から読み出されて取得される(ステップ#14)。以上で実走行退出路特定処理を終了して、メインフローに戻る。
【0070】
次に、退出区間設定部34により、実走行退出路Eaに対して退出区間Fを設定する退出区間設定処理が実行される(ステップ#04)。図8は、退出区間設定処理のより詳細な処理手順を示すフローチャートである。図8に示すように、退出区間設定処理では、実走行退出路Eaと走行軌跡とに基づいて、実走行退出路Eaにおける退出路進入点Faが決定される。(ステップ#21)。施設Pの周辺に存在する道路の情報が、道路地図データベース61から抽出される(ステップ#22)。抽出された隣接道路と実走行退出路Eaと走行軌跡とに基づいて接続地点Fbが決定され、当該接続地点Fbの情報が取得される(ステップ#23)。そして、走行軌跡上にそれぞれ取得される退出路進入点Faから接続地点Fbまでの区間が、実走行退出路Eaにおける退出区間Fとして設定される(ステップ#24)。以上で退出区間設定処理を終了して、メインフローに戻る。
【0071】
次に、案内開始区間設定部35により、退出区間F内に案内開始区間Gを設定する案内開始区間設定処理が実行される(ステップ#05)。図9は、案内開始区間設定処理のより詳細な処理手順を示すフローチャートである。図9に示すように、案内開始区間設定処理では、施設P内に制限車速の規制があるか否かが判定される(ステップ#31)。制限車速の規制がある場合には(ステップ#31:Yes)、その制限車速の情報が取得される(ステップ#32)。一方、制限車速の規制がない場合には(ステップ#31:No)、制限車速として予め定められた所定速度(例えば、10〔km/h〕)が設定される(ステップ#33)。音声案内に必要な発音時間(案内所要時間)が取得され(ステップ#34)、制限車速と案内所要時間とに基づいて、音声案内に必要な走行距離(案内所要距離)が更に算出されて取得される(ステップ#35)。退出区間Fにおける、接続地点Fbよりも案内所要距離だけ手前の地点が、音声案内開始限界地点Gaとして設定される(ステップ#36)。そして、退出区間Fにおける、退出路進入点Faから音声案内開始限界地点Gaまでの区間が、案内開始区間Gとして設定される(ステップ#37)。以上で案内開始区間設定処理を終了して、メインフローに戻る。
【0072】
次に、参照データ生成部42により、案内開始区間G内において取得された候補撮影画像Iaの1つである特定撮影画像IAに基づいて参照データR(学習参照データRb)を生成する参照データ生成処理が実行される(ステップ#06)。図10は、参照データ生成処理のより詳細な処理手順を示すフローチャートである。図10に示すように、参照データ生成処理では、施設P内で撮影された複数の撮影画像Iが、走行履歴データベース64から読み出されて取得される(ステップ#41)。取得された撮影画像Iは、その撮影位置に応じて候補撮影画像Iaと対照撮影画像Ibとに分類される(ステップ#42)。類似度算出部43により、各候補撮影画像Iaと各対照撮影画像Ibとの間の類似度Sが算出される(ステップ#43)。算出されたそれぞれの組み合わせについての類似度Sに基づいて、各候補撮影画像Iaについてそれぞれ最大類似度Sxが導出され(ステップ#44)、最大類似度Sxどうしが比較される(ステップ#45)。複数の最大類似度Sxの中で最も低い最大類似度Sxが付与された候補撮影画像Iaが、特定撮影画像IAとして決定される(ステップ#46)。決定された特定撮影画像IAから複数の特徴点が抽出され、特徴点群からなる画像特徴点データとして参照データR(学習参照データRb)が生成される(ステップ#47)。以上で参照データ生成処理を終了して、メインフローに戻る。
【0073】
最後に、参照データ記憶部45により、新たに生成した学習参照データRbを参照データベース63に記憶格納する参照データ記憶処理が実行される(ステップ#07)。図11は、参照データ記憶処理のより詳細な処理手順を示すフローチャートである。図11に示すように、参照データ記憶処理では、生成された新たな参照データR(学習参照データRb)に、識別子としての退出路ID及び外部要因情報Cが付与される(ステップ#51)。なお、外部要因情報Cは、上記のとおり新たに生成される学習参照データRbの基になる特定撮影画像IAが撮影された際の日照状態及び気象状態の双方を含む情報であり、データ管理処理のメインフローとは別系統で外部要因情報取得部44により取得される。そして、退出路ID及び外部要因情報Cで表される外部要因が一致する既存参照データRaが既に存在するか否かが判定される(ステップ#52)。そのような既存参照データRaが存在する場合には(ステップ#52:Yes)当該既存参照データRaは破棄され(ステップ#53)、その後、新たに生成した参照データR(学習参照データRb)は退出路ID及び外部要因情報Cと関連付けられて参照データベース63に記憶格納される(ステップ#54)。以上で参照データ記憶処理が終了し、それに伴ってデータ管理処理のメインフローも終了する。
【0074】
以上説明したようなナビゲーションシステム1(データ管理システム)によれば、施設P毎・退出路E毎に予め十分な量の既存参照データRaを整備しておかなくても、車両Vの実際の走行に伴って、既存参照データRaとは別の学習参照データRbを生成して整備することができる。よって、コストの上昇を抑えつつ十分な量の参照データRを整備することが可能である。
【0075】
学習参照データRbを生成して整備するに際しては、案内開始区間Gで撮影された複数の候補撮影画像Iaと施設内領域Qのうち退出区間F以外の領域で撮影された複数の対照撮影画像Ibとの間の類似度Sが算出され、その類似度Sに基づいて特定撮影画像IAが選択される。その際、各候補撮影画像Iaに付与された最大類似度Sxどうしが比較され、全ての候補撮影画像Iaの中で最も低い最大類似度Sxが付与された候補撮影画像Iaが特定撮影画像IAとして選択される。そして、その特定撮影画像IAに基づいて学習参照データRbが生成される。よって、そのようにして生成された学習参照データRbは、施設内領域Qで撮影される全ての撮影画像Iに対して、類似する割合が相対的に低いものとなる。よって、誤認識の可能性を最大限抑制できると共に効率の良いマッチング処理を可能とする有用な参照データRを整備することができる。
【0076】
また、本実施形態では、新たに生成される学習参照データRbの基になる特定撮影画像IAが撮影された際の日照状態及び気象状態の双方を含む外部要因情報Cが、当該学習参照データRbに関連付けて記憶される。そのため、その時々における日照状態や気象状態等に応じた参照データR(既存参照データRa及び学習参照データRbの双方を含む)を、その後のマッチング処理に利用することが可能である。従って、その時々における日照状態や気象状態等の外部要因の影響を極力排除してマッチング処理の効率を更に高めることが可能な、非常に有用な参照データRを整備することができる。
【0077】
4.その他の実施形態
最後に、本発明に係るデータ管理システムの、その他の実施形態について説明する。なお、以下のそれぞれの実施形態で開示される構成は、矛盾が生じない限り、他の実施形態で開示される構成と組み合わせて適用することも可能である。
【0078】
(1)上記の実施形態においては、参照データ生成部42が、各候補撮影画像Iaに付与された最大類似度Sxどうしを比較し、全ての候補撮影画像Iaの中で最も低い最大類似度Sxが付与された候補撮影画像Iaを特定撮影画像IAとして選択する場合を例として説明した。しかし、本発明の実施形態はこれに限定されない。すなわち、特定撮影画像IAの選択に際しては少なくとも類似度Sが考慮されていれば良く、例えば参照データ生成部42が、各候補撮影画像Iaに付与された平均類似度(ここでは、これをSmとする。)どうしを比較し、全ての候補撮影画像Iaの中で最も低い平均類似度Smが付与された候補撮影画像Iaを特定撮影画像IAとして選択する構成とすることも、本発明の好適な実施形態の一つである。
【0079】
(2)上記の実施形態においては、参照データ生成部42が、複数の候補撮影画像Iaと複数の対照撮影画像Ibとの間の類似度Sに基づいて特定撮影画像IAを選択する場合を例として説明した。しかし、本発明の実施形態はこれに限定されない。すなわち、例えば参照データ生成部42が、類似度Sとは無関係に、複数の候補撮影画像Iaの中の任意の候補撮影画像Iaを特定撮影画像IAとして選択する構成とすることも、本発明の好適な実施形態の一つである。
【0080】
(3)上記の実施形態においては、複数の候補撮影画像Iaの中から1つの候補撮影画像Iaが特定撮影画像IAとして選択される場合を例として説明した。しかし、本発明の実施形態はこれに限定されない。すなわち、例えば2つ以上の候補撮影画像Iaが特定撮影画像IAとして選択される構成とすることも、本発明の好適な実施形態の一つである。
【0081】
(4)上記の実施形態においては、学習参照データRbと関連付けて参照データベース63に記憶格納される外部要因情報Cが、日照状態及び気象状態の双方を含む情報とされている場合を例として説明した。しかし、本発明の実施形態はこれに限定されない。すなわち、外部要因情報Cは撮影時の日照状態及び気象状態の少なくとも一方を表す情報を含んでいれば好適であり、外部要因情報Cに撮影時の日照状態の情報のみが含まれた構成や、外部要因情報Cに撮影時の気象状態の情報のみが含まれた構成とすることも、本発明の好適な実施形態の一つである。これらの場合において、外部要因情報Cに、日照状態及び気象状態以外に更に撮影時の明るさ(照度)や季節を表す情報が含まれた構成としても好適である。なお、学習参照データRbが、外部要因情報Cと関連付けられることなく単独で参照データベース63に記憶格納される構成とすることも、本発明の好適な実施形態の一つである。
【0082】
(5)上記の実施形態においては、参照データベース63に、ナビゲーションシステム1のメーカー側から提供される既存参照データRaが予め格納されている場合を例として説明した。しかし、本発明の実施形態はこれに限定されない。すなわち、例えば参照データベース63にこのような既存参照データRaが備えられずに、ナビゲーションシステム1(データ管理システム)によって生成される学習参照データRbのみが随時参照データベース63に格納される構成とすることも、本発明の好適な実施形態の一つである。
【0083】
(6)上記の実施形態においては、参照データ記憶部45が、実走行退出路Eaに外部要因情報Cで表される条件に一致する既存参照データRaが存在する場合に、既存参照データRaを破棄すると共に学習参照データRbを参照データベース63に記憶格納する場合を例として説明した。しかし、本発明の実施形態はこれに限定されない。すなわち、例えば既存参照データRaが整備された日時と学習参照データRbが生成された日時との間の期間の長さに応じて、既存参照データRa及び学習参照データRbのどちらを破棄するかを選択可能な構成としても良い。或いは、既存参照データRaがいかなる場合にも破棄されることなく常に残される構成としても良い。
【0084】
(7)上記の実施形態においては、退出判定部32が、自車位置が道路地図データに含まれる施設Pの隣接道路上に一致しているか否かにより施設Pからの退出判定を行う場合を例として説明した。しかし、本発明の実施形態はこれに限定されない。すなわち、例えば退出判定部32が、車両Vの挙動(例えば、ステアリング操作量や車速の変化)に基づいて施設Pからの退出判定を行う構成とすることも、本発明の好適な実施形態の一つである。
【0085】
(8)上記の実施形態においては、退出路進入点Fa、接続地点Fb、退出区間F、音声案内開始限界地点Ga、及び案内開始区間G等の設定に関して、具体例を挙げて説明した。しかし、本発明の実施形態はこれに限定されない。すなわち、これらの各地点、各区間は、所期の目的に応じて任意の形態で設定することが可能である。例えば退出路進入点Faに関しては、施設情報データベース62に格納された施設情報に各退出路Eにおける施設入口側(施設Pの外の道路とは反対側)の端部である退出路進入点Faの情報が含まれている場合には、施設情報データベース62からその情報を抽出して退出路進入点Faが設定される構成とすることができる。接続地点Fbに関しても同様である。また例えば音声案内開始限界地点Gaに関しては、車両Vが施設内領域Qにおける制限速度を必ずしも遵守しない可能性があることを考慮して、接続地点Fbよりも案内所要距離だけ手前の地点に対して更に所定の余裕距離分だけ手前の地点が音声案内開始限界地点Gaとして設定される構成としても好適である。
【0086】
(9)上記の実施形態においては、車載カメラ14により取得される撮影画像Iが走行履歴データベース64に記憶格納されてその後の類似度算出処理に提供され、選択された特定撮影画像IAから特徴点が抽出されて学習参照データRbが生成される場合を例として説明した。しかし、本発明の実施形態はこれに限定されない。すなわち、例えば車載カメラ14により取得される撮影画像Iに対して撮影画像処理部27にて処理後の画像特徴点データが走行履歴データベース64に記憶格納されてその後の類似度算出処理に提供され、選択された画像特徴点データがそのまま学習参照データRbとされる構成としても実質的に同じである。従って、仮にそのような改変がなされたとしても、そのような構成は本発明の構成と均等であって本発明の技術的範囲に属する。
【0087】
(10)上記の実施形態においては、データ管理システムを含むナビゲーションシステム1の全ての構成が、車両Vに搭載されている場合を例として説明した。しかし、本発明の実施形態はこれに限定されない。すなわち、ナビゲーションシステム1(又はデータ管理システム)の一部の構成が、所定の通信網を介して情報を伝達可能に構成されたサーバ装置に備えられた構成とすることも、本発明の好適な実施形態の一つである。このような構成においては、参照データベース63をサーバ装置に備えさせ、複数の車両Vにおいてそれぞれ生成された学習参照データRbが共通の参照データベース63に記憶格納されて順次蓄積される構成としても好適である。この場合、サーバ装置と複数の車両Vに搭載された複数のナビゲーションシステム1とにより、参照データRの整備に関して改良が施された、所謂プローブカーシステムが構成される。
【0088】
(11)上記の実施形態においては、施設情報データベース62に格納される施設情報に、各施設Pにおける退出路Eの情報が含まれている場合を例として説明した。しかし、本発明の実施形態はこれに限定されない。すなわち、例えば上記のような所謂プローブカーシステムが構成されている場合において、施設情報データベース62にそのような退出路Eの情報が格納されることなく、複数の車両Vの走行軌跡に基づいて各施設Pにおける退出路Eの情報が取得される構成とすることも、本発明の好適な実施形態の一つである。この場合、例えば施設P内における多数の車両Vの走行軌跡が互いに重複する部分が、当該施設P内における退出路Eとして取得される構成とすることができる。なお、データ管理システムを含むナビゲーションシステム1の全ての構成が車両Vに搭載されている場合であっても、当該車両Vの過去の走行軌跡に基づいて、同様に、複数の走行軌跡が互いに重複する部分として退出路Eが取得される構成とすることも可能である。
【0089】
(12)その他の構成に関しても、本明細書において開示された実施形態は全ての点で例示であって、本発明の実施形態はこれに限定されない。すなわち、本願の特許請求の範囲に記載されていない構成に関しては、本発明の目的を逸脱しない範囲内で適宜改変することが可能である。
【産業上の利用可能性】
【0090】
本発明は、車両からの風景の撮影画像を記憶し、当該記憶された撮影画像に基づいて画像マッチングのための参照データを整備するデータ管理システムに好適に利用することができる。
【符号の説明】
【0091】
33 実走行退出路特定部
34 退出区間設定部
35 案内開始区間設定部
42 参照データ生成部
43 類似度算出部
44 外部要因情報取得部
45 参照データ記憶部
V 車両
P 施設
E 退出路
Ea 実走行退出路
F 退出区間
Fa 退出路進入点
Fb 接続地点
G 案内開始区間
I 撮影画像
Ia 候補撮影画像
Ib 対照撮影画像
IA 特定撮影画像
S 類似度
Sx 最大類似度
R 参照データ
C 外部要因情報


【特許請求の範囲】
【請求項1】
車両からの風景の撮影画像を記憶し、当該記憶された撮影画像に基づいて画像マッチングのための参照データを整備するデータ管理システムであって、
1つ又は複数の退出路を有する施設から車両が退出したとき、車両が実際に走行した前記退出路である実走行退出路を特定する実走行退出路特定部と、
前記実走行退出路への進入点である退出路進入点から、前記実走行退出路が前記施設の外の道路に接続する接続地点までの区間である退出区間を設定する退出区間設定部と、
前記退出区間内に、前記接続地点に関する所定の音声案内の発音開始地点である案内開始地点から前記接続地点までの間に前記音声案内を完了するような前記案内開始地点の設定可能範囲である案内開始区間を設定する案内開始区間設定部と、
前記案内開始区間内で撮影された少なくとも1つの撮影画像に基づいて前記参照データを生成する参照データ生成部と、
を備えるデータ管理システム。
【請求項2】
前記案内開始区間内で撮影された複数の候補撮影画像と前記施設内における前記退出区間以外の領域で撮影された複数の対照撮影画像との間の類似度を算出する類似度算出部を更に備え、
前記参照データ生成部は、前記類似度に基づいて前記複数の候補撮影画像の中から特定撮影画像を選択し、当該特定撮影画像に基づいて前記参照データを生成する請求項1に記載のデータ管理システム。
【請求項3】
前記参照データ生成部は、それぞれの前記候補撮影画像について類似度が最も高くなる前記対照撮影画像との間の類似度をそれぞれの最大類似度として求め、全ての前記候補撮影画像の中で最も低い最大類似度が付与された候補撮影画像を前記特定撮影画像として選択する請求項2に記載のデータ管理システム。
【請求項4】
前記参照データの基になる撮影画像が撮影された際の、日照状態を表す日照情報及び気象状態を表す気象情報の少なくとも一方を含む外部要因情報を取得する外部要因情報取得部と、
前記外部要因情報と前記参照データ生成部により生成される前記参照データとを関連付けて記憶する参照データ記憶部と、
を更に備える請求項1から3のいずれか一項に記載のデータ管理システム。
【請求項5】
車両からの風景の撮影画像を記憶し、当該記憶された撮影画像に基づいて画像マッチングのための参照データを整備するデータ管理システムにおけるデータ管理方法であって、
1つ又は複数の退出路を有する施設から車両が退出したとき、車両が実際に走行した前記退出路である実走行退出路を特定する実走行退出路特定ステップと、
前記実走行退出路への進入点である退出路進入点から、前記実走行退出路が前記施設の外の道路に接続する接続地点までの区間である退出区間を設定する退出区間設定ステップと、
前記退出区間内に、前記接続地点に関する所定の音声案内の発音開始地点である案内開始地点から前記接続地点までの間に前記音声案内を完了するような前記案内開始地点の設定可能範囲である案内開始区間を設定する案内開始区間設定ステップと、
前記案内開始区間内で撮影された少なくとも1つの撮影画像に基づいて前記参照データを生成する参照データ生成ステップと、
を備えるデータ管理方法。
【請求項6】
車両からの風景の撮影画像を記憶し、当該記憶された撮影画像に基づいて画像マッチングのための参照データを整備するデータ管理システムにおけるデータ管理プログラムであって、
1つ又は複数の退出路を有する施設から車両が退出したとき、車両が実際に走行した前記退出路である実走行退出路を特定する実走行退出路特定機能と、
前記実走行退出路への進入点である退出路進入点から、前記実走行退出路が前記施設の外の道路に接続する接続地点までの区間である退出区間を設定する退出区間設定機能と、
前記退出区間内に、前記接続地点に関する所定の音声案内の発音開始地点である案内開始地点から前記接続地点までの間に前記音声案内を完了するような前記案内開始地点の設定可能範囲である案内開始区間を設定する案内開始区間設定機能と、
前記案内開始区間内で撮影された少なくとも1つの撮影画像に基づいて前記参照データを生成する参照データ生成機能と、
をコンピュータに実現させるためのデータ管理プログラム。


【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate


【公開番号】特開2012−159373(P2012−159373A)
【公開日】平成24年8月23日(2012.8.23)
【国際特許分類】
【出願番号】特願2011−18686(P2011−18686)
【出願日】平成23年1月31日(2011.1.31)
【出願人】(000100768)アイシン・エィ・ダブリュ株式会社 (3,717)
【Fターム(参考)】