ナビゲーション装置及び制御方法
【課題】ユーザを混乱させることなく適切に案内を行うことが可能なナビゲーション装置を提供する。
【解決手段】ナビゲーション装置は、取得手段と、記憶手段と、案内手段とを備える。取得手段は、撮像手段が撮像した画像を取得する。記憶手段は、施設に関するランドマーク情報を記憶する。案内手段は、移動体が経路に沿って移動する際に当該経路上の所定の案内地点を案内する。このとき、取得手段は、前記移動体の現在位置が前記所定の案内地点の所定距離以内に近づいたときに当該所定の案内地点の風景を撮像した画像を取得し、案内手段は、前記取得された所定の案内地点の画像に基づいて、前記記憶手段に記憶されたランドマーク情報で示される施設を用いた案内、または当該ランドマーク情報で示される施設を除外した案内のいずれかを行う。
【解決手段】ナビゲーション装置は、取得手段と、記憶手段と、案内手段とを備える。取得手段は、撮像手段が撮像した画像を取得する。記憶手段は、施設に関するランドマーク情報を記憶する。案内手段は、移動体が経路に沿って移動する際に当該経路上の所定の案内地点を案内する。このとき、取得手段は、前記移動体の現在位置が前記所定の案内地点の所定距離以内に近づいたときに当該所定の案内地点の風景を撮像した画像を取得し、案内手段は、前記取得された所定の案内地点の画像に基づいて、前記記憶手段に記憶されたランドマーク情報で示される施設を用いた案内、または当該ランドマーク情報で示される施設を除外した案内のいずれかを行う。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、移動体に搭載された撮像手段から得られる画像を用いて案内を行う技術に関する。
【背景技術】
【0002】
従来から、移動体に設置されたカメラから撮影された実写映像に案内表示を重畳させて表示する技術が知られている。例えば、特許文献1には、交差点等の周辺を撮影した画像から目印となる物体を抽出し、当該目印となる物体に対応した提示情報を生成して出力する技術が開示されている。また、特許文献2には、カメラから取得した画像と格納されたテンプレートとでパターンマッチングを行い、画像中のどの位置がテンプレートと対応するのかを求める技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2009−186372号公報
【特許文献2】特開2003−203219号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
予め記憶されているランドマークの情報はリアルタイムに更新されないため、案内を行う時点で既になくなっている、又は、対応する施設の店舗が変わっていることがある。この場合に、当該ランドマークの情報を用いて案内を行うと、ユーザを混乱させてしまう可能性がある。また、特許文献1に記載の技術のように、画像全体から目印となる物体を探す場合、処理負荷が大きい等の問題が生じる。
【0005】
本発明は、上記のような課題を解決するためになされたものであり、ユーザを混乱させることなく適切に案内を行うことが可能なナビゲーション装置を提供することを主な目的とする。
【課題を解決するための手段】
【0006】
請求項1に記載の発明は、ナビゲーション装置は、撮像手段が撮像した画像を取得する取得手段と、施設に関するランドマーク情報を記憶する記憶手段と、移動体が経路に沿って移動する際に当該経路上の所定の案内地点を案内する案内手段と、を備え、前記取得手段は、前記移動体の現在位置が前記所定の案内地点の所定距離以内に近づいたときに当該所定の案内地点の風景を撮像した画像を取得し、前記案内手段は、前記取得された所定の案内地点の画像に基づいて、前記記憶手段に記憶されたランドマーク情報で示される施設を用いた案内、または当該ランドマーク情報で示される施設を除外した案内のいずれかを行うことを特徴とする。
【0007】
請求項3に記載の発明は、施設に関するランドマーク情報を記憶する記憶手段を有するナビゲーション装置が実行する制御方法であって、撮像手段が撮像した画像を取得する取得工程と、移動体が経路に沿って移動する際に当該経路上の所定の案内地点を案内する案内工程と、を備え、前記取得工程は、前記移動体の現在位置が前記所定の案内地点の所定距離以内に近づいたときに当該所定の案内地点の風景を撮像した画像を取得し、前記案内工程は、前記取得された所定の案内地点の画像に基づいて、前記記憶手段に記憶されたランドマーク情報で示される施設を用いた案内、または当該ランドマーク情報で示される施設を除外した案内のいずれかを行う。
【図面の簡単な説明】
【0008】
【図1】本実施例に係るナビゲーション装置の概略構成の一例である。
【図2】(a)交差点Piの周辺を撮影した撮影画像の一例である。(b)ランドマーク情報を取得する処理の概要を示す図である。
【図3】ランドマークを含む撮影画像の一例である。
【図4】検索範囲の設定方法を概念的に示す図である。
【図5】ランドマーク検出処理の処理手順を示すフローチャートの一例である。
【図6】(a)第1案内例で処理対象となる画像を示す。(b)第1案内例の処理手順を示すフローチャートの一例である。
【図7】(a)第2案内例で処理対象となる画像を示す。(b)第2案内例の処理手順を示すフローチャートの一例である。
【図8】第3案内例の処理手順を示すフローチャートの一例である。
【図9】交通制御対象物が表示された画像例を示す。
【図10】第4案内例の処理手順を示すフローチャートの一例である。
【図11】(a)第5案内例の概要を表す図である。(b)第5案内例の処理手順を示すフローチャートの一例である。
【発明を実施するための形態】
【0009】
本発明の好適な実施形態によれば、撮像手段が撮像した画像を取得する取得手段と、施設に関するランドマーク情報を記憶する記憶手段と、移動体が経路に沿って移動する際、前記記憶手段に記憶された前記ランドマーク情報から案内地点に対応するランドマークを抽出する抽出手段と、前記抽出されたランドマークを用いて前記案内地点を案内する案内手段と、前記ランドマーク情報に対応する特徴物を撮影可能な地点において、前記取得手段が取得した前記画像から前記特徴物を認識できるか判断する判断手段と、を備え、前記案内手段は、前記判断手段が前記特徴物を認識できないと判断した場合、前記抽出手段が抽出したランドマークから当該特徴物に対応するランドマークを除外して案内する。
【0010】
上記のナビゲーション装置は、取得手段と、記憶手段と、抽出手段と、案内手段と、判断手段と、を備える。取得手段は、撮像手段が撮像した画像を取得する。記憶手段は、施設に関するランドマーク情報を記憶する。抽出手段は、移動体が経路に沿って移動する際、記憶手段に記憶されたランドマーク情報から案内地点に対応するランドマークを抽出する。案内手段は、抽出されたランドマークを用いて案内地点を案内する。判断手段は、ランドマーク情報に対応する特徴物を撮影可能な地点において、取得手段が取得した画像から特徴物を認識できるか判断する。そして、案内手段は、判断手段が特徴物を認識できないと判断した場合、抽出手段が抽出したランドマークから当該特徴物に対応するランドマークを除外して案内する。
【0011】
この実施形態によれば、ナビゲーション装置は、記憶されたランドマーク情報に対応する特徴物が実際に存在するかを撮影した画像に基づき判定し、特徴物が存在すると判断した場合のみ、当該ランドマーク情報に基づき案内を行う。これにより、ナビゲーション装置は、ランドマーク情報に対応する施設等が案内を行う時点で存在しなくなった場合であっても、ユーザに混乱を生じさせることなく別の情報に基づき案内を実行することができる。
【0012】
上記のナビゲーション装置の一態様では、前記判断手段は、前記特徴物を認識できないと判断した場合、前記抽出手段が抽出しない他のランドマークに対応する他の特徴物を認識できるか否かを判断し、前記案内手段は、前記判断手段が前記他の特徴物を認識できたと判断した場合、前記他のランドマークを用いて案内地点を案内する。これにより、ナビゲーション装置は、案内時にランドマーク情報に対応する施設等が存在しなくなっていた場合であっても、ユーザに混乱を生じさせることなく案内を実行することができる。
【0013】
上記のナビゲーション装置の他の一態様では、前記判断手段は、前記特徴物を認識できない場合、前記画像から案内の対象となる新たな特徴物が抽出できるか否かを判断し、前記案内手段は、前記判断手段が前記新たな特徴物を抽出できた場合、前記新たな特徴情報を用いて案内地点を案内する。これにより、ナビゲーション装置は、案内時にランドマーク情報に対応する施設等が存在しなくなっていた場合であっても、ユーザに混乱を生じさせることなく案内を実行することができる。
【0014】
上記のナビゲーション装置の他の一態様では、前記新たな特徴物は、前記案内地点に設置されている交通制御対象物である。この態様では、ナビゲーション装置は、ランドマーク情報によらず、交通制御対象物を用いて、種々の案内地点で幅広く案内を実行することができる。
【0015】
上記のナビゲーション装置の他の一態様では、前記記憶手段は、前記案内地点の関連情報を記憶し、前記案内手段は、前記判断手段が前記特徴物を認識できないと判断した場合、前記ランドマーク情報以外の前記案内地点の関連情報に基づき、前記案内地点の案内を行う。ここで、「案内地点の関連情報」とは、例えば、案内地点の名称、案内地点で分岐する道路の方面などの情報が該当する。この態様により、ナビゲーション装置は、特徴物を検出することができない場合であっても、ユーザに混乱を生じさせることなく案内を実行することができる。
【0016】
上記のナビゲーション装置の他の一態様では、前記案内手段は、前記判断手段が前記特徴物を認識できないと判断した場合、前記案内地点での進行方向の情報に基づき、前記案内地点の案内を行う。この態様により、ナビゲーション装置は、特徴物を検出することができない場合であっても、ユーザに混乱を生じさせることなく案内を実行することができる。
【0017】
上記のナビゲーション装置の他の一態様では、前記案内手段は、前記判断手段が前記特徴物を認識できないと判断した場合、前記抽出手段が抽出したランドマークが認識できない旨の案内を行う。この態様により、ナビゲーション装置は、ランドマークが存在しなくなった旨をユーザに明示的に知らせることができる。
【0018】
本発明の他の実施形態によれば、施設に関する施設情報を記憶する記憶手段を有するナビゲーション装置により実行される制御方法であって、撮像手段が撮像した画像を取得する取得工程と、移動体が経路に沿って移動する際、前記記憶手段に記憶された前記ランドマーク情報から案内地点に対応するランドマークを抽出する抽出工程と、前記抽出されたランドマークを用いて前記案内地点を案内する案内工程と、前記ランドマーク情報に対応する特徴物を撮影可能な地点において、前記取得工程が取得した前記画像から前記特徴物を認識できるか判断する判断工程と、を備え、前記案内工程は、前記判断工程が前記特徴物を認識できないと判断した場合、前記抽出工程が抽出したランドマークから当該特徴物に対応するランドマークを除外して案内する。ナビゲーション装置は、この制御方法を実行することで、ランドマーク情報に対応する施設等が案内を行う時点で存在しなくなった場合であっても、ユーザに混乱を生じさせることなく別の情報に基づき案内を実行することができる。
【0019】
本発明のさらに別の実施形態によれば、施設に関するランドマーク情報を記憶する記憶手段を有するナビゲーション装置により実行されるプログラムであって、撮像手段が撮像した画像を取得する取得手段と、移動体が経路に沿って移動する際、前記記憶手段に記憶された前記ランドマーク情報から案内地点に対応するランドマークを抽出する抽出手段と、前記抽出されたランドマークを用いて前記案内地点を案内する案内手段と、前記ランドマーク情報に対応する特徴物を撮影可能な地点において、前記取得手段が取得した前記画像から前記特徴物を認識できるか判断する判断手段、として前記ナビゲーション装置を機能させ、前記案内手段は、前記判断手段が前記特徴物を認識できないと判断した場合、前記抽出手段が抽出したランドマークから当該特徴物に対応するランドマークを除外して案内する。ナビゲーション装置は、このプログラムを搭載し実行することで、ランドマーク情報に対応する施設等が案内を行う時点で存在しなくなった場合であっても、ユーザに混乱を生じさせることなく別の情報に基づき案内を実行することができる。なお、好適には、上記のプログラムは記憶媒体に記憶される。
【実施例】
【0020】
以下、図面を参照して本発明の好適な実施例について説明する。以後では、「目的地」とは、使用者がナビゲーション装置1に設定した目的の地点を指す。また、「立寄地」とは、使用者が目的地の途中で立ち寄る地点としてナビゲーション装置1に設定した地点を指す。また、目的地及び立寄地を特に区別しない場合、これらを「目的地等」とも呼ぶ。また、「ランドマーク」とは、経路案内時に目印となる施設のマークを指す。また、「案内地点」とは、経路案内時に案内を行う地点を指す。
【0021】
[概略構成]
図1は、ナビゲーション装置1の概略構成を示す。ナビゲーション装置1は、車両に搭載され、カメラ5と接続する。図1に示すように、ナビゲーション装置1は、自立測位装置10、GPS受信機18、システムコントローラ20、ディスクドライブ31、データ記憶ユニット36、通信用インタフェース37、通信装置38、表示ユニット40、音声出力ユニット50及び入力装置60を備える。
【0022】
自立測位装置10は、加速度センサ11、角速度センサ12及び距離センサ13を備える。加速度センサ11は、例えば圧電素子からなり、車両の加速度を検出し、加速度データを出力する。角速度センサ12は、例えば振動ジャイロからなり、車両の方向変換時における車両の角速度を検出し、角速度データ及び相対方位データを出力する。距離センサ13は、車両の車輪の回転に伴って発生されているパルス信号からなる車速パルスを計測する。
【0023】
GPS受信機18は、複数のGPS衛星から、測位用データを含む下り回線データを搬送する電波19を受信する。測位用データは、緯度及び経度情報等から車両の絶対的な位置(以後、「現在位置」とも呼ぶ。)を検出するために用いられる。
【0024】
システムコントローラ20は、インタフェース21、CPU(Central Processing Unit)22、ROM(Read Only Memory)23及びRAM(Random Access Memory)24を含んでおり、ナビゲーション装置1全体の制御を行う。
【0025】
インタフェース21は、加速度センサ11、角速度センサ12及び距離センサ13並びにGPS受信機18とのインタフェース動作を行う。そして、これらから、車速パルス、加速度データ、相対方位データ、角速度データ、GPS測位データ、絶対方位データ等をシステムコントローラ20に入力する。CPU22は、予め用意されたプログラムを実行することにより、システムコントローラ20全体を制御する。ROM23は、システムコントローラ20を制御する制御プログラム等が格納された図示しない不揮発性メモリ等を有する。RAM24は、入力装置60を介して使用者により予め設定された経路データ等の各種データを読み出し可能に格納したり、CPU22に対してワーキングエリアを提供したりする。
【0026】
システムコントローラ20、CD−ROMドライブ又はDVD−ROMドライブなどのディスクドライブ31、データ記憶ユニット36、通信用インタフェース37、表示ユニット40、音声出力ユニット50及び入力装置60は、バスライン30を介して相互に接続されている。
【0027】
ディスクドライブ31は、システムコントローラ20の制御の下、CD又はDVDといったディスク33から、音楽データ、映像データなどのコンテンツデータを読み出し、出力する。なお、ディスクドライブ31は、CD−ROMドライブ又はDVD−ROMドライブのうち、いずれか一方としてもよいし、CD及びDVDコンパチブルのドライブとしてもよい。
【0028】
データ記憶ユニット36は、例えば、HDDなどにより構成され、地図データなどのナビゲーション処理に用いられる各種データを記憶するユニットである。データ記憶ユニット36は、本発明における「記憶手段」の一例である。地図データには、各案内地点に対応するランドマークの情報(「ランドマーク情報IL」とも呼ぶ。)を各案内地点に関連付けて記憶したデータベース(「ランドマーク情報DB」とも呼ぶ。)が含まれる。ここで、ランドマーク情報ILは、具体的には、ランドマークを示す画像、ランドマークが示す施設名称、その他ランドマークの位置などのランドマークに関連する情報が該当する。
【0029】
通信装置38は、例えば、FMチューナやビーコンレシーバ、携帯電話や専用の通信カードなどにより構成され、VICS(Vehicle Information Communication System、登録商標)センタなどから配信される情報(以下、「VICS情報」と呼ぶ。)を電波39より取得する。そしてインタフェース37は、通信装置38のインタフェース動作を行い、VICS情報をシステムコントローラ20等に入力する。
【0030】
表示ユニット40は、システムコントローラ20の制御の下、各種表示データをディスプレイなどの表示装置に表示する。具体的には、システムコントローラ20は、データ記憶ユニット36から地図データを読み出す。表示ユニット40は、システムコントローラ20によってデータ記憶ユニット36から読み出された地図データなどを表示画面上に表示する。表示ユニット40は、バスライン30を介してCPU22から送られる制御データに基づいて表示ユニット40全体の制御を行うグラフィックコントローラ41と、VRAM(Video RAM)等のメモリからなり即時表示可能な画像情報を一時的に記憶するバッファメモリ42と、グラフィックコントローラ41から出力される画像データに基づいて、液晶、CRT(Cathode Ray Tube)等のディスプレイ44を表示制御する表示制御部43と、ディスプレイ44とを備える。ディスプレイ44は、画像表示部として機能し、例えば対角5〜10インチ程度の液晶表示装置等からなり、車内のフロントパネル付近に装着される。
【0031】
音声出力ユニット50は、システムコントローラ20の制御の下、CD−ROMドライブ31又はDVD−ROM32、若しくはRAM24等からバスライン30を介して送られる音声デジタルデータのD/A(Digital to Analog)変換を行うD/Aコンバータ51と、D/Aコンバータ51から出力される音声アナログ信号を増幅する増幅器(AMP)52と、増幅された音声アナログ信号を音声に変換して車内に出力するスピーカ53とを備えて構成されている。
【0032】
入力装置60は、各種コマンドやデータを入力するための、キー、スイッチ、ボタン、リモコン、音声入力装置等から構成されている。入力装置60は、車内に搭載された当該車載用電子システムの本体のフロントパネルやディスプレイ44の周囲に配置される。また、ディスプレイ44がタッチパネル方式の場合、ディスプレイ44の表示画面上に設けられたタッチパネルも入力装置60として機能する。
【0033】
カメラ5は、所定の画角を有し、撮像素子に入射する光に基づき撮影した画像(単に「撮影画像」とも呼ぶ。)を生成する。カメラ5は、車両の前方方向に向けられる。カメラ5は、本発明における「撮像手段」の一例である。
【0034】
なお、システムコントローラ20は、本発明における「取得手段」、「抽出手段」、「案内手段」、「判断手段」に相当する。
【0035】
[制御方法]
次に、システムコントローラ20が実行する経路案内方法について説明する。概略的には、システムコントローラ20は、車両が経路案内中に案内地点に近づいた場合、当該案内地点と関連付けられたランドマーク情報ILが示すランドマークが実際に撮影画像中に存在するか否か判断する。そして、システムコントローラ20は、当該ランドマークが存在する場合には当該ランドマークを用いて案内を行い、当該ランドマークが存在しない場合には、当該ランドマーク以外の情報に基づき案内を行う。
【0036】
<ランドマーク検出処理>
まず、ランドマーク情報ILが示すランドマークを撮影画像から検出する処理(「ランドマーク検出処理」とも呼ぶ。)について説明する。システムコントローラ20は、案内地点に所定距離以内に近づいた場合、ランドマーク情報DBからランドマーク情報ILを読み出す。これについて、図2を参照して説明する。
【0037】
図2(a)は、案内地点である交差点「Pi」に所定距離以内に近づいた場合の撮影画像の一例である。図2(b)は、ランドマーク情報DBからランドマーク情報ILを読み出す処理の概要を示す図である。図2(b)では、地図データ上の表現に即して、交差点Piをノード「NPi」、交差点Piに接続した道路「R1」乃至「R4」をリンク「LR1」乃至「LR4」により図2(a)の撮影画像が表現されている。なお、説明の便宜上、図2(a)、(b)では、交差点Piの近傍に存在する施設を図示していない。
【0038】
システムコントローラ20は、GPS受信機18や自立測位装置10の検出信号に基づき現在位置を特定し、地図データを参照して、現在位置から案内地点である交差点Piを特定する。そして、システムコントローラ20は、交差点Piを示すノードNPiの識別番号に基づきランドマーク情報DBを参照して、交差点Piに関連付けられたランドマーク情報ILを取得する。図2(b)では、システムコントローラ20は、ランドマーク情報ILとして、交差点Piと関連付けられた施設の名称「コンビニA」及び施設「コンビニA」のロゴマーク等である画像「ImgA」及びその他の情報を取得する。ここで、「A」は所定の文字列を表す。そして、システムコントローラ20は、当該ランドマーク情報ILをRAM24等の一次記憶領域に保存する。
【0039】
次に、システムコントローラ20は、パターンマッチングによる画像認識により、交差点Piを表示範囲に含む撮影画像から当該ランドマーク情報ILが示すランドマークが存在するか否か判定する。以後では、パターンマッチングを行う対象となる撮影画像を、「対象画像Itag」と呼ぶ。
【0040】
これについて、図3を参照して具体的に説明する。図3(a)、(b)は、案内地点である交差点Piが撮影された対象画像Itagの一例を示す。図3(a)、(b)では、施設「コンビニA」の施設名称が記された看板である特徴物「Ft1」、及び施設「コンビニA」のロゴマーク等である画像ImgAを示す特徴物「Ft2」が対象画像Itag中に表示されている。
【0041】
まず、システムコントローラ20は、ランドマーク情報ILから特定される施設名称「コンビニA」を示す画像と画像ImgAとをテンプレートとして、図3(a)、(b)に示す対象画像Itag中の所定の大きさの範囲と比較する。言い換えると、システムコントローラ20は、対象画像Itag中でテンプレートと比較する範囲(「検索範囲」とも呼ぶ。)を定め、テンプレートと、検索範囲との類似度を算出する。検索範囲の決定方法については後述する。
【0042】
そして、システムコントローラ20は、類似度が予め定められた所定値以上の場合、当該テンプレートが示すランドマークが対象画像Itag中に存在すると判断する。上述の所定値は、例えば、撮影画像中の特徴物と、ランドマーク情報ILとが一致すると判断される類似度の下限値に実験等に基づき予め定められる。一方、システムコントローラ20は、類似度が所定値未満の場合、検索範囲を変更して、変更後の検索範囲とテンプレートとの類似度を算出する。
【0043】
具体的には、システムコントローラ20は、名称「コンビニA」をテンプレートとした場合、図3(a)に示すように、当該テンプレートを検索範囲「W1」と比較したときに、類似度が所定値以上になると判断する。また、システムコントローラ20は、画像ImgAをテンプレートとした場合、図3(b)に示すように、当該テンプレートを検索範囲「W2」と比較したときに、類似度が所定値以上になると判断する。
【0044】
ここで、撮影画像中での検索範囲の決定方法について、図4(a)、(b)を参照して第1の例及び第2の例の2つの具体例を用いて説明する。
【0045】
図4(a)は、第1の例での検索範囲の設定方法を概念的に示す図である。図4(a)の範囲「W10」乃至「W12」は、既に検索が行われた検索範囲を合わせた範囲(「検索済範囲」とも呼ぶ。)をこの順に時系列的に示したものである。
【0046】
図4(a)に示すように、第1の例では、システムコントローラ20は、交差点Piを中心として、矢印「Y1」乃至「Y4」の示す方向に、縦横均等に検索済範囲を拡大させている。即ち、システムコントローラ20は、ランドマークは交差点に近い位置に通常存在するとの推測に基づき、検索範囲を、交差点Piの中心に近い位置から順に検索範囲を設定する。これにより、システムコントローラ20は、早期に、ランドマーク情報ILと一致する特徴物を撮影画像中から検出することができる。
【0047】
図4(b)は、第2の例での検索範囲の設定方法を概念的に示す図である。図4(b)の範囲「W13」乃至「W15」は、検索済範囲をこの順に時系列的に示したものである。図4(a)に示すように、第2の例では、システムコントローラ20は、検索済範囲を、主にランドマークがある矢印「Y5」方向に向けて拡大させている。このように、システムコントローラ20は、ランドマーク情報ILに基づきランドマークの位置がわかる場合、当該交差点Piの位置からランドマークの位置に向けて、検索済範囲を拡大させる。これにより、システムコントローラ20は、早期に、ランドマーク情報ILが示すランドマークと一致する特徴物を撮影画像中から検出することができる。
【0048】
そして、システムコントローラ20は、上述の処理の結果、ランドマーク情報ILが示すランドマークと一致する特徴物を撮影画像中から検出した場合、当該ランドマーク情報ILを用いて案内地点での案内を行う。例えば、システムコントローラ20は、図3(a)、(b)の例で、交差点Piでランドマーク情報ILが示すランドマークと一致する特徴物Ft1、Ft2を検出後、「コンビニA」を目印として交差点Piで右折又は左折する旨の音声案内を行うと共に、撮影画像中で特徴物Ft1、Ft2のいずれか又は両方を外枠で囲うなどにより強調表示する。
【0049】
このように、システムコントローラ20は、案内を行う際に、データ記憶ユニット36に記憶されたランドマーク情報ILが示すランドマークが実際に存在するか確認した上で当該ランドマーク情報ILを用いて案内を行う。これにより、システムコントローラ20は、存在しなくなったランドマークを用いて案内を行うことに起因してユーザに混乱が生じるのを抑制することができる。
【0050】
(処理フロー)
図5は、ランドマーク検出処理の処理手順を示すフローチャートの一例である。システムコントローラ20は、図5に示すフローチャートを、例えば経路案内中に車両が案内地点へ所定距離以内に近づいたと判断した場合に実行する。
【0051】
まず、システムコントローラ20は、案内地点を特定する(ステップS101)。具体的には、システムコントローラ20は、地図データを参照し、現在位置及び目的地等までの走行予定のルートに基づき、次に通過する案内地点を特定する。そして、システムコントローラ20は、ランドマーク情報DBから当該案内地点に対応するランドマーク情報ILを取得する(ステップS102)。このとき、システムコントローラ20は、ランドマーク情報ILを一次記憶領域に記憶する。
【0052】
そして、システムコントローラ20は、案内地点が撮影された対象画像Itagをデータ記憶ユニット36等のメモリに保存する(ステップS103)。次に、システムコントローラ20は、一つのランドマーク情報ILが示すランドマークをテンプレートとして設定する(ステップS104)。
【0053】
次に、システムコントローラ20は、当該ランドマークの位置を特定可能か否か判定する(ステップS105)。そして、システムコントローラ20は、当該ランドマークの位置を特定可能であると判断した場合(ステップS105;Yes)、検索方向を指定する(ステップS106)。具体的には、システムコントローラ20は、案内地点から当該施設の位置に向かう方向に検索方向を定める。一方、システムコントローラ20は、当該ランドマークの位置を特定不可能であると判断した場合(ステップS105;No)、検索方向を指定しない。そして、システムコントローラ20は、案内地点の位置に基づき検索範囲を特定する(ステップS107)。このとき、システムコントローラ20は、例えば、対象画像Itag中の案内地点の位置を予め定めておいてもよく、又は、現在位置と案内地点との距離に基づき、所定のマップ又は式を参照して、対象画像Itag中での案内地点の位置を特定してもよい。上述のマップ等は、例えば実験等に基づき予め定められる。
【0054】
次に、システムコントローラ20は、検索範囲とテンプレートとの類似度を算出する(ステップS108)。そして、システムコントローラ20は、類似度が所定値以上の場合(ステップS109;Yes)、当該テンプレートに対応するランドマーク情報ILに基づき案内を行う(ステップS110)。このように、システムコントローラ20は、実際に撮影画像に存在するランドマークのランドマーク情報ILのみを用いて案内を行うことで、ランドマーク情報ILに対応する施設が存在しなくなった場合でも、ユーザに混乱を生じさせるのを抑制することができる。
【0055】
一方、システムコントローラ20は、類似度が所定値未満の場合(ステップS109;No)、対象画像Itagの全体が検索済範囲となっているか否か判定する(ステップS111)。そして、システムコントローラ20は、対象画像Itagの全体が検索済範囲となっている場合(ステップS111;Yes)、他のランドマーク情報ILが存在するか否か判定する(ステップS112)。一方、システムコントローラ20は、対象画像Itagの全体が検索済範囲となっていないと判断した場合(ステップS111;No)、検索範囲を変更し(ステップS114)、再び、ステップS108以降の処理を実行する。
【0056】
そして、ステップS112で、システムコントローラ20は、他のランドマーク情報ILが存在すると判断した場合(ステップS112;Yes)、当該ランドマーク情報ILが示すランドマークをテンプレートとして設定し(ステップS104)、ステップS105以後の処理を行う。一方、システムコントローラ20は、他のランドマーク情報ILが存在しないと判断した場合(ステップS112;No)、ランドマーク情報ILを用いずに案内を行う(ステップS113)。ステップS113の処理については、後述するセクションで詳しく説明する。
【0057】
<ランドマークが存在しない場合>
次に、上述のランドマーク検出処理の結果、ランドマーク情報ILに対応する特徴物が撮影画像中で認識できない場合の案内方法について説明する。以下では、ランドマーク情報ILを用いない案内方法の具体例である第1案内例乃至第5案内例を説明する。これらの案内例は、任意に組み合わせて実行されてもよい。
【0058】
(第1案内例)
第1案内例では、システムコントローラ20は、対象画像Itagから、ランドマーク情報ILが示すランドマーク以外のランドマークに対応する他の特徴物(以後、「他特徴物Fex」とも呼ぶ。)を検出する。そして、システムコントローラ20は、他特徴物Fexを検出することができた場合、当該他特徴物Fexを用いて案内を行う。
【0059】
図6(a)は、ランドマーク情報ILとしてランドマーク情報DBに登録されていないコンビニAの看板を示す特徴物「Ft3」が案内地点である交差点Piの近傍に存在する場合の対象画像Itagの一例を示す。図6(a)に示すように、システムコントローラ20は、再び交差点Piの位置に基づき検索範囲を指定して文字列等の検出を行うことにより、検索範囲「W3」内に文字列を含む特徴物Ft3が存在することを検出する。
【0060】
そして、この場合、システムコントローラ20は、ユーザに表示する撮影画像から特徴物Ft3を強調する表示を行うと共に、当該特徴物Ft3を目印に右左折すべき旨の音声案内を行う。例えば、システムコントローラ20は、案内時に、検索範囲W3の破線枠を撮影画像に重畳させて点滅表示すると共に、「xxメートル先、右折です。点滅した地点が目印です。」と音声案内を行う。
【0061】
図6(b)は、第1案内例の処理手順を示すフローチャートの一例である。システムコントローラ20は、図6(b)に示すフローチャートの処理を、図5のステップS113へ処理が進んだ場合に実行する。
【0062】
まず、システムコントローラ20は、対象画像Itagから他特徴物Fexを検索する(ステップS201)。具体的には、システムコントローラ20は、対象画像Itagから看板、その他ランドマークとなる特徴物が対象画像Itag中に存在するか検索する。
【0063】
そして、システムコントローラ20は、他特徴物Fexを検出したと判断した場合(ステップS202;Yes)、案内地点の案内時に当該他特徴物Fexを強調表示する(ステップS203)。例えば、システムコントローラ20は、撮影画像を表示ユニット40に表示させる際、他特徴物Fexの外枠を点滅表示させる。また、好適には、システムコントローラ20は、音声案内により強調表示した部分が目印である旨を通知する。
【0064】
一方、システムコントローラ20は、対象画像Itagから他特徴物Fexを検出できないと判断した場合(ステップS202;No)、ランドマークを用いずに案内を行う(ステップS203)。具体的には、この場合、システムコントローラ20は、後述する第4案内例及び第5案内例等を実行する。
【0065】
このように、第1案内例によれば、システムコントローラ20は、ランドマーク情報ILを用いない場合であっても、他のランドマークを用いて、ユーザに明確に案内地点を特定させることができる。
【0066】
(第2案内例)
第2案内例では、システムコントローラ20は、第1案内例に加えて、施設の看板等の特徴物を示す画像と、当該特徴物が示す施設名称その他特徴物の情報とを対応付けたデータベース(「特徴物DB」とも呼ぶ。)を参照し、検出した他特徴物Fexが特徴物DBに登録された画像と一致している場合には、当該特徴物DBの情報を利用して案内を行う。
【0067】
図7(a)は、第2案内例の処理を概念的に示した図である。システムコントローラ20は、図6(a)の場合と同様、対象画像Itagから特徴物Ft3を検出し、当該特徴物Ft3と特徴物DBに登録された画像とが一致するか否か判定する。例えば、システムコントローラ20は、ランドマーク検出処理で述べた検索範囲とテンプレートとの比較方法と同様、特徴物Ft3の画像と特徴物DBに登録された画像との類似度が所定値以上の場合、これらが一致すると判断する。
【0068】
そして、システムコントローラ20は、特徴物Ft3の画像と一致する画像が特徴物DBに存在すると判断した後、当該一致した画像に関連付けられて記憶された特徴物Ft3に対応する施設の名称「コンビニA」を特徴物DBから取得する。そして、システムコントローラ20は、特徴物DBから得られた情報を用いて案内を行う。例えば、システムコントローラ20は、第1案内例と同様、撮影画像から特徴物Ft3を強調表示すると共に、「xxメートル先、右折です。コンビニAが目印です。」と音声案内を行う。
【0069】
図7(b)は、第2案内例の処理手順を示すフローチャートの一例である。図7(b)のフローチャートは、第1案内例と第2案内例とを組み合わせた処理手順を示す。システムコントローラ20は、図7(b)に示すフローチャートの処理を、図5のステップS113へ処理が進んだ場合に実行する。
【0070】
まず、システムコントローラ20は、対象画像Itagから他特徴物Fexを検索する(ステップS301)。そして、システムコントローラ20は、他特徴物Fexを検出したと判断した場合(ステップS302;Yes)、特徴物DBに当該他特徴物Fexの画像が登録されているか否か判定する(ステップS303)。そして、システムコントローラ20は、特徴物DBに当該他特徴物Fexの画像が登録されていると判断した場合(ステップS303;Yes)、特徴物DBの情報を用いて案内を行う(ステップS304)。例えば、システムコントローラ20は、撮影画像中の他特徴物Fexを強調表示すると共に、特徴物DBから取得した当該他特徴物Fexに対応する施設名称等を用いて音声案内を行う。
【0071】
一方、システムコントローラ20は、特徴物DBに当該特徴物の画像が登録されていないと判断した場合(ステップS303;No)、第1案内例と同様、案内時に当該他特徴物Fexを強調表示する(ステップS305)。
【0072】
一方、システムコントローラ20は、対象画像Itagから他特徴物Fexを検出できないと判断した場合(ステップS302;No)、ランドマークを用いずに案内を行う(ステップS306)。具体的には、この場合、システムコントローラ20は、後述する第4案内例及び第5案内例等を実行する。
【0073】
このように、システムコントローラ20は、特徴物DBを用いることで、第1案内例と比較して、より多くの情報に基づき、案内地点をユーザに特定させることができる。
【0074】
(第3案内例)
第3案内例では、システムコントローラ20は、第1案内例又は第2案内例に加えて、他特徴物Fexが示す文字又は文字列を用いて案内を行う。例えば、図6(a)及び図7(a)の例では、システムコントローラ20は、特徴物Ft3の画像に表示された「A」の文字列を認識し、「xxメートル先、右折です。Aが目印です。」と音声案内を行う。
【0075】
図8は、第3案内例の処理手順を示すフローチャートの一例である。図8のフローチャートは、第1案内例乃至第3案内例を組み合わせた処理手順を示す。システムコントローラ20は、図8に示すフローチャートの処理を、図5のステップS113へ処理が進んだ場合に実行する。
【0076】
まず、システムコントローラ20は、対象画像Itagから他特徴物Fexを検索する(ステップS401)。そして、システムコントローラ20は、他特徴物Fexを検出したと判断した場合(ステップS402;Yes)、当該他特徴物Fexの画像が特徴物DBに存在するか否か判定する(ステップS403)。そして、システムコントローラ20は、当該他特徴物Fexの画像が特徴物DBに存在すると判断した場合(ステップS403;Yes)、特徴物DBの情報を用いて案内を行う(ステップS404)。
【0077】
一方、システムコントローラ20は、当該他特徴物Fexの画像が特徴物DBに存在しないと判断した場合(ステップS403;No)、当該他特徴物Fexの文字認識が可能か否か判定する(ステップS405)。そして、システムコントローラ20は、当該他特徴物Fexの文字認識が可能であると判断した場合(ステップS405;Yes)、認識した文字を用いて案内を行う(ステップS406)。例えば、システムコントローラ20は、撮影画像で他特徴物Fexを強調表示すると共に、認識した文字を用いて音声案内を行う。
【0078】
また、システムコントローラ20は、当該他特徴物Fexの文字認識が不可能であると判断した場合(ステップS405;No)、第1案内例と同様、案内地点の案内時に当該特徴物を強調表示する(ステップS407)。
【0079】
一方、システムコントローラ20は、対象画像Itagから他特徴物Fexを検出できないと判断した場合(ステップS402;No)、ランドマークを用いずに案内を行う(ステップS408)。具体的には、この場合、システムコントローラ20は、後述する第4案内例又は第5案内例等を実行する。
【0080】
このように、システムコントローラ20は、検出した他特徴物Fexが特徴物DBに登録されていない場合であっても、他特徴物Fexの文字を認識することで、第1案内例と比較して、より多くの情報に基づき、案内地点をユーザに特定させることができる。
【0081】
(第4案内例)
第4案内例では、システムコントローラ20は、第1乃至第3案内例に加えて、またはこれに代えて、信号機、交差点名称看板、方向看板(案内標識)など一般的に交差点にある交通制御に供される物(「交通制御対象物」とも呼ぶ。)を検出し、当該交通制御対象物を用いて案内を行う。
【0082】
図9(a)は、信号機に相当する特徴物「Ft4」が表示された対象画像Itagの一例を示す。
【0083】
まず、システムコントローラ20は、ランドマーク検出処理と同様、所定の検索範囲を指定し、信号機のテンプレートと、検索範囲との類似度を算出する。上述の信号機のテンプレートは、データ記憶ユニット36等のメモリに予め記憶されている。
【0084】
そして、システムコントローラ20は、検索範囲「W4」と信号機のテンプレートとを比較した場合に、類似度が所定値以上であると判断する。そして、この場合、システムコントローラ20は、例えば特徴物Ft4を強調表示すると共に、「xxメートル先、右折です。信号機が目印です。」と音声案内を行う。
【0085】
なお、好適には、上述の処理に加えて、システムコントローラ20は、信号機の赤、青、黄の状態をさらに検出し、当該信号機の状態を用いて音声案内を行ってもよい。例えば、システムコントローラ20は、検出した信号機が赤の場合には、「xxメートル先、右折です。赤信号が目印です。」と音声案内を行う。
【0086】
図9(b)は、「B」(「B」は文字列)と記載された交差点名称看板に相当する特徴物「Ft5」が表示された対象画像Itagの一例を示す。この場合、システムコントローラ20は、検索範囲「W5」と交差点名称看板のテンプレートとを比較した場合に、類似度が所定値以上であると判断する。そして、システムコントローラ20は、例えば特徴物Ft5を強調表示すると共に、「xxメートル先、右折です。Bが目印です。」、又は、「xxメートル先、Bを右折です。」と音声案内を行う。
【0087】
図9(c)は、方向看板に相当する特徴物「Ft6」が表示された対象画像Itagの一例を示す。この場合、システムコントローラ20は、検索範囲「W6」と交差点名称看板のテンプレートとを比較した場合に、類似度が所定値以上であると判断する。そして、システムコントローラ20は、例えば特徴物Ft6を強調表示すると共に、「xxメートル先、右折です。方向看板(案内標識)が目印です。」と音声案内を行う。
【0088】
図10は、第4案内例の処理手順を示すフローチャートの一例である。システムコントローラ20は、図10に示すフローチャートの処理を、ステップS113へ処理が進んだ場合、又はステップS204、ステップS306、ステップS408に進んだ場合に実行する。
【0089】
まず、システムコントローラ20は、交通制御対象物の画像を、交通制御対象物の画像を格納したデータベースから一つ取得する(ステップS501)。そして、システムコントローラ20は、当該交通制御対象物の画像をテンプレートとして設定する(ステップS502)。
【0090】
次に、システムコントローラ20は、案内地点の位置に基づき対象画像Itagから検索範囲を決定する(ステップS503)。そして、システムコントローラ20は、検索範囲とテンプレートとの類似度を算出する(ステップS504)。そして、システムコントローラ20は、類似度が所定値以上の場合(ステップS505;Yes)、当該テンプレートに対応する交通制御対象物の情報に基づき案内を行う(ステップS506)。例えば、システムコントローラ20は、当該検索範囲を強調表示すると共に、交通制御対象物の名称等を用いて音声案内を行う。
【0091】
一方、システムコントローラ20は、類似度が所定値未満の場合(ステップS505;No)、対象画像Itagの全体が検索済範囲となっているか否か判定する(ステップS507)。そして、システムコントローラ20は、対象画像Itagの全体が検索済範囲となっている場合(ステップS507;Yes)、他の交通制御対象物の画像がデータベースに存在するか否か判定する(ステップS508)。一方、システムコントローラ20は、対象画像Itagの全体が検索済範囲となっていないと判断した場合(ステップS507;No)、検索範囲を変更し(ステップS510)、再び、ステップS504以降の処理を実行する。
【0092】
そして、ステップS508で、システムコントローラ20は、他の交通制御対象物の画像が存在すると判断した場合(ステップS508;Yes)、ステップS501へ処理を戻す。一方、システムコントローラ20は、他の交通制御対象物の画像が存在しないと判断した場合(ステップS508;No)、他の方法に基づき案内を行う(ステップS114)。具体的には、この場合、システムコントローラ20は、第5案内例等に基づき案内を行う。
【0093】
このように、システムコントローラ20は、交通制御対象物に基づき案内を行うことで、種々の案内地点において、案内地点をユーザに特定させることができる。
【0094】
(第5案内例)
第5案内例では、システムコントローラ20は、第1乃至第4案内例に加えて、またはこれに代えて、案内地点となる交差点を特定後、地図データ上で当該交差点に関連付けられた情報(単に「関連情報」とも呼ぶ。)に基づき案内を行う。
【0095】
図11(a)は、第5案内例の概要を表す図である。図11(a)に示すように、システムコントローラ20は、交差点Piを特定後、交差点PiのノードNPiの識別番号に基づき、地図データから当該交差点Piの関連情報を抽出する。図11(a)では、システムコントローラ20は、地図データから交差点Piの交差点名称「B」及び渋谷方面などの交差点Piで分岐する道路の各進行先に対応する方面名称「C」、「D」、「E」を取得する。ここで、「B」乃至「E」は文字又は文字列を示す。
【0096】
そして、システムコントローラ20は、交差点Piで進行すべき方向を案内する場合、地図データから取得した交差点名称「B」又は方面名称「C」乃至「E」を用いる。具体的には、システムコントローラ20は、関連情報の種類ごとに予め定められた優先度に従い、交差点名称「B」又は方面名称「C」乃至「E」のいずれを用いるかについて決定する。そして、システムコントローラ20は、交差点名称「B」を用いる場合には、「xxメートル先、Bを右折です。」と音声案内を行う。また、システムコントローラ20は、方面名称「C」乃至「E」を用いる場合には、「xxメートル先、E方向、右折です。」と音声案内を行う。
【0097】
図11(b)は、第5案内例の処理手順を示すフローチャートの一例である。システムコントローラ20は、図11(b)に示すフローチャートの処理を、ステップS113へ処理が進んだ場合、又はステップS204、ステップS306、ステップS408、ステップS509に進んだ場合に実行する。
【0098】
まず、システムコントローラ20は、地図データから交差点Piの関連情報を取得する(ステップS601)。次に、システムコントローラ20は、優先度に従い、取得した関連情報のうち、案内に用いる関連情報を決定する(ステップS602)。そして、システムコントローラ20は、決定した関連情報に基づき案内を行う(ステップS603)。
【0099】
(その他の案内例)
システムコントローラ20は、上述の案内例に代えて、又はこれに加えて、ランドマークなど案内地点を特定するための情報を用いず、案内地点で進行すべき方向の情報を用いて案内を行ってもよい。例えば、この場合、システムコントローラ20は、「xxメートル先、右折です。」と音声案内を行う。さらにこれに加え、又はこれに代えて、システムコントローラ20は、撮影画像に進行方向を示す矢印を重畳させて表示してもよい。従って、この場合、システムコントローラ20は、ランドマークなど案内地点を特定するための情報を特に用いずに案内を行う。
【0100】
また、システムコントローラ20は、上述の案内例に加えて、ランドマーク情報ILが示すランドマークに対応する特徴物を撮影画像中で検出できなかったことを、音声又は表示により通知してもよい。例えば、システムコントローラ20は、この場合、「目印となるコンビニAは検出できませんでした。」と音声案内を行う。このようにすることで、システムコントローラ20は、かつて存在したランドマークが存在しなくなったことをユーザに知らせることができる。
【0101】
[変形例]
第1案内例では、システムコントローラ20は、ランドマーク情報ILが示すランドマークの画像をテンプレートに指定して検索範囲との類似度を算出し、当該類似度が所定値以上か否か判定した。これに代えて、システムコントローラ20は、ランドマーク情報ILが文字又は文字例の場合には、検索範囲から文字又は文字列を読み取り、これらの文字又は文字列が一致するか否か判定してもよい。第2案内例等でも同様に、システムコントローラ20は、テンプレートと検索範囲との画像同士を比較する場合に代えて、特徴物DBに格納された所定の文字又は文字列と同一の文字又は文字列が検索範囲中に存在するか否か判定してもよい。
【産業上の利用可能性】
【0102】
本発明は、車載用ナビゲーション装置、PND(Personal Navigation Device)、その他カメラから取得した画像を用いて案内を行う装置に好適に適用することができる。
【符号の説明】
【0103】
1 ナビゲーション装置
10 自立測位装置
12 GPS受信機
20 システムコントローラ
22 CPU
36 データ記憶ユニット
38 通信装置
40 表示ユニット
44 ディスプレイ
【技術分野】
【0001】
本発明は、移動体に搭載された撮像手段から得られる画像を用いて案内を行う技術に関する。
【背景技術】
【0002】
従来から、移動体に設置されたカメラから撮影された実写映像に案内表示を重畳させて表示する技術が知られている。例えば、特許文献1には、交差点等の周辺を撮影した画像から目印となる物体を抽出し、当該目印となる物体に対応した提示情報を生成して出力する技術が開示されている。また、特許文献2には、カメラから取得した画像と格納されたテンプレートとでパターンマッチングを行い、画像中のどの位置がテンプレートと対応するのかを求める技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2009−186372号公報
【特許文献2】特開2003−203219号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
予め記憶されているランドマークの情報はリアルタイムに更新されないため、案内を行う時点で既になくなっている、又は、対応する施設の店舗が変わっていることがある。この場合に、当該ランドマークの情報を用いて案内を行うと、ユーザを混乱させてしまう可能性がある。また、特許文献1に記載の技術のように、画像全体から目印となる物体を探す場合、処理負荷が大きい等の問題が生じる。
【0005】
本発明は、上記のような課題を解決するためになされたものであり、ユーザを混乱させることなく適切に案内を行うことが可能なナビゲーション装置を提供することを主な目的とする。
【課題を解決するための手段】
【0006】
請求項1に記載の発明は、ナビゲーション装置は、撮像手段が撮像した画像を取得する取得手段と、施設に関するランドマーク情報を記憶する記憶手段と、移動体が経路に沿って移動する際に当該経路上の所定の案内地点を案内する案内手段と、を備え、前記取得手段は、前記移動体の現在位置が前記所定の案内地点の所定距離以内に近づいたときに当該所定の案内地点の風景を撮像した画像を取得し、前記案内手段は、前記取得された所定の案内地点の画像に基づいて、前記記憶手段に記憶されたランドマーク情報で示される施設を用いた案内、または当該ランドマーク情報で示される施設を除外した案内のいずれかを行うことを特徴とする。
【0007】
請求項3に記載の発明は、施設に関するランドマーク情報を記憶する記憶手段を有するナビゲーション装置が実行する制御方法であって、撮像手段が撮像した画像を取得する取得工程と、移動体が経路に沿って移動する際に当該経路上の所定の案内地点を案内する案内工程と、を備え、前記取得工程は、前記移動体の現在位置が前記所定の案内地点の所定距離以内に近づいたときに当該所定の案内地点の風景を撮像した画像を取得し、前記案内工程は、前記取得された所定の案内地点の画像に基づいて、前記記憶手段に記憶されたランドマーク情報で示される施設を用いた案内、または当該ランドマーク情報で示される施設を除外した案内のいずれかを行う。
【図面の簡単な説明】
【0008】
【図1】本実施例に係るナビゲーション装置の概略構成の一例である。
【図2】(a)交差点Piの周辺を撮影した撮影画像の一例である。(b)ランドマーク情報を取得する処理の概要を示す図である。
【図3】ランドマークを含む撮影画像の一例である。
【図4】検索範囲の設定方法を概念的に示す図である。
【図5】ランドマーク検出処理の処理手順を示すフローチャートの一例である。
【図6】(a)第1案内例で処理対象となる画像を示す。(b)第1案内例の処理手順を示すフローチャートの一例である。
【図7】(a)第2案内例で処理対象となる画像を示す。(b)第2案内例の処理手順を示すフローチャートの一例である。
【図8】第3案内例の処理手順を示すフローチャートの一例である。
【図9】交通制御対象物が表示された画像例を示す。
【図10】第4案内例の処理手順を示すフローチャートの一例である。
【図11】(a)第5案内例の概要を表す図である。(b)第5案内例の処理手順を示すフローチャートの一例である。
【発明を実施するための形態】
【0009】
本発明の好適な実施形態によれば、撮像手段が撮像した画像を取得する取得手段と、施設に関するランドマーク情報を記憶する記憶手段と、移動体が経路に沿って移動する際、前記記憶手段に記憶された前記ランドマーク情報から案内地点に対応するランドマークを抽出する抽出手段と、前記抽出されたランドマークを用いて前記案内地点を案内する案内手段と、前記ランドマーク情報に対応する特徴物を撮影可能な地点において、前記取得手段が取得した前記画像から前記特徴物を認識できるか判断する判断手段と、を備え、前記案内手段は、前記判断手段が前記特徴物を認識できないと判断した場合、前記抽出手段が抽出したランドマークから当該特徴物に対応するランドマークを除外して案内する。
【0010】
上記のナビゲーション装置は、取得手段と、記憶手段と、抽出手段と、案内手段と、判断手段と、を備える。取得手段は、撮像手段が撮像した画像を取得する。記憶手段は、施設に関するランドマーク情報を記憶する。抽出手段は、移動体が経路に沿って移動する際、記憶手段に記憶されたランドマーク情報から案内地点に対応するランドマークを抽出する。案内手段は、抽出されたランドマークを用いて案内地点を案内する。判断手段は、ランドマーク情報に対応する特徴物を撮影可能な地点において、取得手段が取得した画像から特徴物を認識できるか判断する。そして、案内手段は、判断手段が特徴物を認識できないと判断した場合、抽出手段が抽出したランドマークから当該特徴物に対応するランドマークを除外して案内する。
【0011】
この実施形態によれば、ナビゲーション装置は、記憶されたランドマーク情報に対応する特徴物が実際に存在するかを撮影した画像に基づき判定し、特徴物が存在すると判断した場合のみ、当該ランドマーク情報に基づき案内を行う。これにより、ナビゲーション装置は、ランドマーク情報に対応する施設等が案内を行う時点で存在しなくなった場合であっても、ユーザに混乱を生じさせることなく別の情報に基づき案内を実行することができる。
【0012】
上記のナビゲーション装置の一態様では、前記判断手段は、前記特徴物を認識できないと判断した場合、前記抽出手段が抽出しない他のランドマークに対応する他の特徴物を認識できるか否かを判断し、前記案内手段は、前記判断手段が前記他の特徴物を認識できたと判断した場合、前記他のランドマークを用いて案内地点を案内する。これにより、ナビゲーション装置は、案内時にランドマーク情報に対応する施設等が存在しなくなっていた場合であっても、ユーザに混乱を生じさせることなく案内を実行することができる。
【0013】
上記のナビゲーション装置の他の一態様では、前記判断手段は、前記特徴物を認識できない場合、前記画像から案内の対象となる新たな特徴物が抽出できるか否かを判断し、前記案内手段は、前記判断手段が前記新たな特徴物を抽出できた場合、前記新たな特徴情報を用いて案内地点を案内する。これにより、ナビゲーション装置は、案内時にランドマーク情報に対応する施設等が存在しなくなっていた場合であっても、ユーザに混乱を生じさせることなく案内を実行することができる。
【0014】
上記のナビゲーション装置の他の一態様では、前記新たな特徴物は、前記案内地点に設置されている交通制御対象物である。この態様では、ナビゲーション装置は、ランドマーク情報によらず、交通制御対象物を用いて、種々の案内地点で幅広く案内を実行することができる。
【0015】
上記のナビゲーション装置の他の一態様では、前記記憶手段は、前記案内地点の関連情報を記憶し、前記案内手段は、前記判断手段が前記特徴物を認識できないと判断した場合、前記ランドマーク情報以外の前記案内地点の関連情報に基づき、前記案内地点の案内を行う。ここで、「案内地点の関連情報」とは、例えば、案内地点の名称、案内地点で分岐する道路の方面などの情報が該当する。この態様により、ナビゲーション装置は、特徴物を検出することができない場合であっても、ユーザに混乱を生じさせることなく案内を実行することができる。
【0016】
上記のナビゲーション装置の他の一態様では、前記案内手段は、前記判断手段が前記特徴物を認識できないと判断した場合、前記案内地点での進行方向の情報に基づき、前記案内地点の案内を行う。この態様により、ナビゲーション装置は、特徴物を検出することができない場合であっても、ユーザに混乱を生じさせることなく案内を実行することができる。
【0017】
上記のナビゲーション装置の他の一態様では、前記案内手段は、前記判断手段が前記特徴物を認識できないと判断した場合、前記抽出手段が抽出したランドマークが認識できない旨の案内を行う。この態様により、ナビゲーション装置は、ランドマークが存在しなくなった旨をユーザに明示的に知らせることができる。
【0018】
本発明の他の実施形態によれば、施設に関する施設情報を記憶する記憶手段を有するナビゲーション装置により実行される制御方法であって、撮像手段が撮像した画像を取得する取得工程と、移動体が経路に沿って移動する際、前記記憶手段に記憶された前記ランドマーク情報から案内地点に対応するランドマークを抽出する抽出工程と、前記抽出されたランドマークを用いて前記案内地点を案内する案内工程と、前記ランドマーク情報に対応する特徴物を撮影可能な地点において、前記取得工程が取得した前記画像から前記特徴物を認識できるか判断する判断工程と、を備え、前記案内工程は、前記判断工程が前記特徴物を認識できないと判断した場合、前記抽出工程が抽出したランドマークから当該特徴物に対応するランドマークを除外して案内する。ナビゲーション装置は、この制御方法を実行することで、ランドマーク情報に対応する施設等が案内を行う時点で存在しなくなった場合であっても、ユーザに混乱を生じさせることなく別の情報に基づき案内を実行することができる。
【0019】
本発明のさらに別の実施形態によれば、施設に関するランドマーク情報を記憶する記憶手段を有するナビゲーション装置により実行されるプログラムであって、撮像手段が撮像した画像を取得する取得手段と、移動体が経路に沿って移動する際、前記記憶手段に記憶された前記ランドマーク情報から案内地点に対応するランドマークを抽出する抽出手段と、前記抽出されたランドマークを用いて前記案内地点を案内する案内手段と、前記ランドマーク情報に対応する特徴物を撮影可能な地点において、前記取得手段が取得した前記画像から前記特徴物を認識できるか判断する判断手段、として前記ナビゲーション装置を機能させ、前記案内手段は、前記判断手段が前記特徴物を認識できないと判断した場合、前記抽出手段が抽出したランドマークから当該特徴物に対応するランドマークを除外して案内する。ナビゲーション装置は、このプログラムを搭載し実行することで、ランドマーク情報に対応する施設等が案内を行う時点で存在しなくなった場合であっても、ユーザに混乱を生じさせることなく別の情報に基づき案内を実行することができる。なお、好適には、上記のプログラムは記憶媒体に記憶される。
【実施例】
【0020】
以下、図面を参照して本発明の好適な実施例について説明する。以後では、「目的地」とは、使用者がナビゲーション装置1に設定した目的の地点を指す。また、「立寄地」とは、使用者が目的地の途中で立ち寄る地点としてナビゲーション装置1に設定した地点を指す。また、目的地及び立寄地を特に区別しない場合、これらを「目的地等」とも呼ぶ。また、「ランドマーク」とは、経路案内時に目印となる施設のマークを指す。また、「案内地点」とは、経路案内時に案内を行う地点を指す。
【0021】
[概略構成]
図1は、ナビゲーション装置1の概略構成を示す。ナビゲーション装置1は、車両に搭載され、カメラ5と接続する。図1に示すように、ナビゲーション装置1は、自立測位装置10、GPS受信機18、システムコントローラ20、ディスクドライブ31、データ記憶ユニット36、通信用インタフェース37、通信装置38、表示ユニット40、音声出力ユニット50及び入力装置60を備える。
【0022】
自立測位装置10は、加速度センサ11、角速度センサ12及び距離センサ13を備える。加速度センサ11は、例えば圧電素子からなり、車両の加速度を検出し、加速度データを出力する。角速度センサ12は、例えば振動ジャイロからなり、車両の方向変換時における車両の角速度を検出し、角速度データ及び相対方位データを出力する。距離センサ13は、車両の車輪の回転に伴って発生されているパルス信号からなる車速パルスを計測する。
【0023】
GPS受信機18は、複数のGPS衛星から、測位用データを含む下り回線データを搬送する電波19を受信する。測位用データは、緯度及び経度情報等から車両の絶対的な位置(以後、「現在位置」とも呼ぶ。)を検出するために用いられる。
【0024】
システムコントローラ20は、インタフェース21、CPU(Central Processing Unit)22、ROM(Read Only Memory)23及びRAM(Random Access Memory)24を含んでおり、ナビゲーション装置1全体の制御を行う。
【0025】
インタフェース21は、加速度センサ11、角速度センサ12及び距離センサ13並びにGPS受信機18とのインタフェース動作を行う。そして、これらから、車速パルス、加速度データ、相対方位データ、角速度データ、GPS測位データ、絶対方位データ等をシステムコントローラ20に入力する。CPU22は、予め用意されたプログラムを実行することにより、システムコントローラ20全体を制御する。ROM23は、システムコントローラ20を制御する制御プログラム等が格納された図示しない不揮発性メモリ等を有する。RAM24は、入力装置60を介して使用者により予め設定された経路データ等の各種データを読み出し可能に格納したり、CPU22に対してワーキングエリアを提供したりする。
【0026】
システムコントローラ20、CD−ROMドライブ又はDVD−ROMドライブなどのディスクドライブ31、データ記憶ユニット36、通信用インタフェース37、表示ユニット40、音声出力ユニット50及び入力装置60は、バスライン30を介して相互に接続されている。
【0027】
ディスクドライブ31は、システムコントローラ20の制御の下、CD又はDVDといったディスク33から、音楽データ、映像データなどのコンテンツデータを読み出し、出力する。なお、ディスクドライブ31は、CD−ROMドライブ又はDVD−ROMドライブのうち、いずれか一方としてもよいし、CD及びDVDコンパチブルのドライブとしてもよい。
【0028】
データ記憶ユニット36は、例えば、HDDなどにより構成され、地図データなどのナビゲーション処理に用いられる各種データを記憶するユニットである。データ記憶ユニット36は、本発明における「記憶手段」の一例である。地図データには、各案内地点に対応するランドマークの情報(「ランドマーク情報IL」とも呼ぶ。)を各案内地点に関連付けて記憶したデータベース(「ランドマーク情報DB」とも呼ぶ。)が含まれる。ここで、ランドマーク情報ILは、具体的には、ランドマークを示す画像、ランドマークが示す施設名称、その他ランドマークの位置などのランドマークに関連する情報が該当する。
【0029】
通信装置38は、例えば、FMチューナやビーコンレシーバ、携帯電話や専用の通信カードなどにより構成され、VICS(Vehicle Information Communication System、登録商標)センタなどから配信される情報(以下、「VICS情報」と呼ぶ。)を電波39より取得する。そしてインタフェース37は、通信装置38のインタフェース動作を行い、VICS情報をシステムコントローラ20等に入力する。
【0030】
表示ユニット40は、システムコントローラ20の制御の下、各種表示データをディスプレイなどの表示装置に表示する。具体的には、システムコントローラ20は、データ記憶ユニット36から地図データを読み出す。表示ユニット40は、システムコントローラ20によってデータ記憶ユニット36から読み出された地図データなどを表示画面上に表示する。表示ユニット40は、バスライン30を介してCPU22から送られる制御データに基づいて表示ユニット40全体の制御を行うグラフィックコントローラ41と、VRAM(Video RAM)等のメモリからなり即時表示可能な画像情報を一時的に記憶するバッファメモリ42と、グラフィックコントローラ41から出力される画像データに基づいて、液晶、CRT(Cathode Ray Tube)等のディスプレイ44を表示制御する表示制御部43と、ディスプレイ44とを備える。ディスプレイ44は、画像表示部として機能し、例えば対角5〜10インチ程度の液晶表示装置等からなり、車内のフロントパネル付近に装着される。
【0031】
音声出力ユニット50は、システムコントローラ20の制御の下、CD−ROMドライブ31又はDVD−ROM32、若しくはRAM24等からバスライン30を介して送られる音声デジタルデータのD/A(Digital to Analog)変換を行うD/Aコンバータ51と、D/Aコンバータ51から出力される音声アナログ信号を増幅する増幅器(AMP)52と、増幅された音声アナログ信号を音声に変換して車内に出力するスピーカ53とを備えて構成されている。
【0032】
入力装置60は、各種コマンドやデータを入力するための、キー、スイッチ、ボタン、リモコン、音声入力装置等から構成されている。入力装置60は、車内に搭載された当該車載用電子システムの本体のフロントパネルやディスプレイ44の周囲に配置される。また、ディスプレイ44がタッチパネル方式の場合、ディスプレイ44の表示画面上に設けられたタッチパネルも入力装置60として機能する。
【0033】
カメラ5は、所定の画角を有し、撮像素子に入射する光に基づき撮影した画像(単に「撮影画像」とも呼ぶ。)を生成する。カメラ5は、車両の前方方向に向けられる。カメラ5は、本発明における「撮像手段」の一例である。
【0034】
なお、システムコントローラ20は、本発明における「取得手段」、「抽出手段」、「案内手段」、「判断手段」に相当する。
【0035】
[制御方法]
次に、システムコントローラ20が実行する経路案内方法について説明する。概略的には、システムコントローラ20は、車両が経路案内中に案内地点に近づいた場合、当該案内地点と関連付けられたランドマーク情報ILが示すランドマークが実際に撮影画像中に存在するか否か判断する。そして、システムコントローラ20は、当該ランドマークが存在する場合には当該ランドマークを用いて案内を行い、当該ランドマークが存在しない場合には、当該ランドマーク以外の情報に基づき案内を行う。
【0036】
<ランドマーク検出処理>
まず、ランドマーク情報ILが示すランドマークを撮影画像から検出する処理(「ランドマーク検出処理」とも呼ぶ。)について説明する。システムコントローラ20は、案内地点に所定距離以内に近づいた場合、ランドマーク情報DBからランドマーク情報ILを読み出す。これについて、図2を参照して説明する。
【0037】
図2(a)は、案内地点である交差点「Pi」に所定距離以内に近づいた場合の撮影画像の一例である。図2(b)は、ランドマーク情報DBからランドマーク情報ILを読み出す処理の概要を示す図である。図2(b)では、地図データ上の表現に即して、交差点Piをノード「NPi」、交差点Piに接続した道路「R1」乃至「R4」をリンク「LR1」乃至「LR4」により図2(a)の撮影画像が表現されている。なお、説明の便宜上、図2(a)、(b)では、交差点Piの近傍に存在する施設を図示していない。
【0038】
システムコントローラ20は、GPS受信機18や自立測位装置10の検出信号に基づき現在位置を特定し、地図データを参照して、現在位置から案内地点である交差点Piを特定する。そして、システムコントローラ20は、交差点Piを示すノードNPiの識別番号に基づきランドマーク情報DBを参照して、交差点Piに関連付けられたランドマーク情報ILを取得する。図2(b)では、システムコントローラ20は、ランドマーク情報ILとして、交差点Piと関連付けられた施設の名称「コンビニA」及び施設「コンビニA」のロゴマーク等である画像「ImgA」及びその他の情報を取得する。ここで、「A」は所定の文字列を表す。そして、システムコントローラ20は、当該ランドマーク情報ILをRAM24等の一次記憶領域に保存する。
【0039】
次に、システムコントローラ20は、パターンマッチングによる画像認識により、交差点Piを表示範囲に含む撮影画像から当該ランドマーク情報ILが示すランドマークが存在するか否か判定する。以後では、パターンマッチングを行う対象となる撮影画像を、「対象画像Itag」と呼ぶ。
【0040】
これについて、図3を参照して具体的に説明する。図3(a)、(b)は、案内地点である交差点Piが撮影された対象画像Itagの一例を示す。図3(a)、(b)では、施設「コンビニA」の施設名称が記された看板である特徴物「Ft1」、及び施設「コンビニA」のロゴマーク等である画像ImgAを示す特徴物「Ft2」が対象画像Itag中に表示されている。
【0041】
まず、システムコントローラ20は、ランドマーク情報ILから特定される施設名称「コンビニA」を示す画像と画像ImgAとをテンプレートとして、図3(a)、(b)に示す対象画像Itag中の所定の大きさの範囲と比較する。言い換えると、システムコントローラ20は、対象画像Itag中でテンプレートと比較する範囲(「検索範囲」とも呼ぶ。)を定め、テンプレートと、検索範囲との類似度を算出する。検索範囲の決定方法については後述する。
【0042】
そして、システムコントローラ20は、類似度が予め定められた所定値以上の場合、当該テンプレートが示すランドマークが対象画像Itag中に存在すると判断する。上述の所定値は、例えば、撮影画像中の特徴物と、ランドマーク情報ILとが一致すると判断される類似度の下限値に実験等に基づき予め定められる。一方、システムコントローラ20は、類似度が所定値未満の場合、検索範囲を変更して、変更後の検索範囲とテンプレートとの類似度を算出する。
【0043】
具体的には、システムコントローラ20は、名称「コンビニA」をテンプレートとした場合、図3(a)に示すように、当該テンプレートを検索範囲「W1」と比較したときに、類似度が所定値以上になると判断する。また、システムコントローラ20は、画像ImgAをテンプレートとした場合、図3(b)に示すように、当該テンプレートを検索範囲「W2」と比較したときに、類似度が所定値以上になると判断する。
【0044】
ここで、撮影画像中での検索範囲の決定方法について、図4(a)、(b)を参照して第1の例及び第2の例の2つの具体例を用いて説明する。
【0045】
図4(a)は、第1の例での検索範囲の設定方法を概念的に示す図である。図4(a)の範囲「W10」乃至「W12」は、既に検索が行われた検索範囲を合わせた範囲(「検索済範囲」とも呼ぶ。)をこの順に時系列的に示したものである。
【0046】
図4(a)に示すように、第1の例では、システムコントローラ20は、交差点Piを中心として、矢印「Y1」乃至「Y4」の示す方向に、縦横均等に検索済範囲を拡大させている。即ち、システムコントローラ20は、ランドマークは交差点に近い位置に通常存在するとの推測に基づき、検索範囲を、交差点Piの中心に近い位置から順に検索範囲を設定する。これにより、システムコントローラ20は、早期に、ランドマーク情報ILと一致する特徴物を撮影画像中から検出することができる。
【0047】
図4(b)は、第2の例での検索範囲の設定方法を概念的に示す図である。図4(b)の範囲「W13」乃至「W15」は、検索済範囲をこの順に時系列的に示したものである。図4(a)に示すように、第2の例では、システムコントローラ20は、検索済範囲を、主にランドマークがある矢印「Y5」方向に向けて拡大させている。このように、システムコントローラ20は、ランドマーク情報ILに基づきランドマークの位置がわかる場合、当該交差点Piの位置からランドマークの位置に向けて、検索済範囲を拡大させる。これにより、システムコントローラ20は、早期に、ランドマーク情報ILが示すランドマークと一致する特徴物を撮影画像中から検出することができる。
【0048】
そして、システムコントローラ20は、上述の処理の結果、ランドマーク情報ILが示すランドマークと一致する特徴物を撮影画像中から検出した場合、当該ランドマーク情報ILを用いて案内地点での案内を行う。例えば、システムコントローラ20は、図3(a)、(b)の例で、交差点Piでランドマーク情報ILが示すランドマークと一致する特徴物Ft1、Ft2を検出後、「コンビニA」を目印として交差点Piで右折又は左折する旨の音声案内を行うと共に、撮影画像中で特徴物Ft1、Ft2のいずれか又は両方を外枠で囲うなどにより強調表示する。
【0049】
このように、システムコントローラ20は、案内を行う際に、データ記憶ユニット36に記憶されたランドマーク情報ILが示すランドマークが実際に存在するか確認した上で当該ランドマーク情報ILを用いて案内を行う。これにより、システムコントローラ20は、存在しなくなったランドマークを用いて案内を行うことに起因してユーザに混乱が生じるのを抑制することができる。
【0050】
(処理フロー)
図5は、ランドマーク検出処理の処理手順を示すフローチャートの一例である。システムコントローラ20は、図5に示すフローチャートを、例えば経路案内中に車両が案内地点へ所定距離以内に近づいたと判断した場合に実行する。
【0051】
まず、システムコントローラ20は、案内地点を特定する(ステップS101)。具体的には、システムコントローラ20は、地図データを参照し、現在位置及び目的地等までの走行予定のルートに基づき、次に通過する案内地点を特定する。そして、システムコントローラ20は、ランドマーク情報DBから当該案内地点に対応するランドマーク情報ILを取得する(ステップS102)。このとき、システムコントローラ20は、ランドマーク情報ILを一次記憶領域に記憶する。
【0052】
そして、システムコントローラ20は、案内地点が撮影された対象画像Itagをデータ記憶ユニット36等のメモリに保存する(ステップS103)。次に、システムコントローラ20は、一つのランドマーク情報ILが示すランドマークをテンプレートとして設定する(ステップS104)。
【0053】
次に、システムコントローラ20は、当該ランドマークの位置を特定可能か否か判定する(ステップS105)。そして、システムコントローラ20は、当該ランドマークの位置を特定可能であると判断した場合(ステップS105;Yes)、検索方向を指定する(ステップS106)。具体的には、システムコントローラ20は、案内地点から当該施設の位置に向かう方向に検索方向を定める。一方、システムコントローラ20は、当該ランドマークの位置を特定不可能であると判断した場合(ステップS105;No)、検索方向を指定しない。そして、システムコントローラ20は、案内地点の位置に基づき検索範囲を特定する(ステップS107)。このとき、システムコントローラ20は、例えば、対象画像Itag中の案内地点の位置を予め定めておいてもよく、又は、現在位置と案内地点との距離に基づき、所定のマップ又は式を参照して、対象画像Itag中での案内地点の位置を特定してもよい。上述のマップ等は、例えば実験等に基づき予め定められる。
【0054】
次に、システムコントローラ20は、検索範囲とテンプレートとの類似度を算出する(ステップS108)。そして、システムコントローラ20は、類似度が所定値以上の場合(ステップS109;Yes)、当該テンプレートに対応するランドマーク情報ILに基づき案内を行う(ステップS110)。このように、システムコントローラ20は、実際に撮影画像に存在するランドマークのランドマーク情報ILのみを用いて案内を行うことで、ランドマーク情報ILに対応する施設が存在しなくなった場合でも、ユーザに混乱を生じさせるのを抑制することができる。
【0055】
一方、システムコントローラ20は、類似度が所定値未満の場合(ステップS109;No)、対象画像Itagの全体が検索済範囲となっているか否か判定する(ステップS111)。そして、システムコントローラ20は、対象画像Itagの全体が検索済範囲となっている場合(ステップS111;Yes)、他のランドマーク情報ILが存在するか否か判定する(ステップS112)。一方、システムコントローラ20は、対象画像Itagの全体が検索済範囲となっていないと判断した場合(ステップS111;No)、検索範囲を変更し(ステップS114)、再び、ステップS108以降の処理を実行する。
【0056】
そして、ステップS112で、システムコントローラ20は、他のランドマーク情報ILが存在すると判断した場合(ステップS112;Yes)、当該ランドマーク情報ILが示すランドマークをテンプレートとして設定し(ステップS104)、ステップS105以後の処理を行う。一方、システムコントローラ20は、他のランドマーク情報ILが存在しないと判断した場合(ステップS112;No)、ランドマーク情報ILを用いずに案内を行う(ステップS113)。ステップS113の処理については、後述するセクションで詳しく説明する。
【0057】
<ランドマークが存在しない場合>
次に、上述のランドマーク検出処理の結果、ランドマーク情報ILに対応する特徴物が撮影画像中で認識できない場合の案内方法について説明する。以下では、ランドマーク情報ILを用いない案内方法の具体例である第1案内例乃至第5案内例を説明する。これらの案内例は、任意に組み合わせて実行されてもよい。
【0058】
(第1案内例)
第1案内例では、システムコントローラ20は、対象画像Itagから、ランドマーク情報ILが示すランドマーク以外のランドマークに対応する他の特徴物(以後、「他特徴物Fex」とも呼ぶ。)を検出する。そして、システムコントローラ20は、他特徴物Fexを検出することができた場合、当該他特徴物Fexを用いて案内を行う。
【0059】
図6(a)は、ランドマーク情報ILとしてランドマーク情報DBに登録されていないコンビニAの看板を示す特徴物「Ft3」が案内地点である交差点Piの近傍に存在する場合の対象画像Itagの一例を示す。図6(a)に示すように、システムコントローラ20は、再び交差点Piの位置に基づき検索範囲を指定して文字列等の検出を行うことにより、検索範囲「W3」内に文字列を含む特徴物Ft3が存在することを検出する。
【0060】
そして、この場合、システムコントローラ20は、ユーザに表示する撮影画像から特徴物Ft3を強調する表示を行うと共に、当該特徴物Ft3を目印に右左折すべき旨の音声案内を行う。例えば、システムコントローラ20は、案内時に、検索範囲W3の破線枠を撮影画像に重畳させて点滅表示すると共に、「xxメートル先、右折です。点滅した地点が目印です。」と音声案内を行う。
【0061】
図6(b)は、第1案内例の処理手順を示すフローチャートの一例である。システムコントローラ20は、図6(b)に示すフローチャートの処理を、図5のステップS113へ処理が進んだ場合に実行する。
【0062】
まず、システムコントローラ20は、対象画像Itagから他特徴物Fexを検索する(ステップS201)。具体的には、システムコントローラ20は、対象画像Itagから看板、その他ランドマークとなる特徴物が対象画像Itag中に存在するか検索する。
【0063】
そして、システムコントローラ20は、他特徴物Fexを検出したと判断した場合(ステップS202;Yes)、案内地点の案内時に当該他特徴物Fexを強調表示する(ステップS203)。例えば、システムコントローラ20は、撮影画像を表示ユニット40に表示させる際、他特徴物Fexの外枠を点滅表示させる。また、好適には、システムコントローラ20は、音声案内により強調表示した部分が目印である旨を通知する。
【0064】
一方、システムコントローラ20は、対象画像Itagから他特徴物Fexを検出できないと判断した場合(ステップS202;No)、ランドマークを用いずに案内を行う(ステップS203)。具体的には、この場合、システムコントローラ20は、後述する第4案内例及び第5案内例等を実行する。
【0065】
このように、第1案内例によれば、システムコントローラ20は、ランドマーク情報ILを用いない場合であっても、他のランドマークを用いて、ユーザに明確に案内地点を特定させることができる。
【0066】
(第2案内例)
第2案内例では、システムコントローラ20は、第1案内例に加えて、施設の看板等の特徴物を示す画像と、当該特徴物が示す施設名称その他特徴物の情報とを対応付けたデータベース(「特徴物DB」とも呼ぶ。)を参照し、検出した他特徴物Fexが特徴物DBに登録された画像と一致している場合には、当該特徴物DBの情報を利用して案内を行う。
【0067】
図7(a)は、第2案内例の処理を概念的に示した図である。システムコントローラ20は、図6(a)の場合と同様、対象画像Itagから特徴物Ft3を検出し、当該特徴物Ft3と特徴物DBに登録された画像とが一致するか否か判定する。例えば、システムコントローラ20は、ランドマーク検出処理で述べた検索範囲とテンプレートとの比較方法と同様、特徴物Ft3の画像と特徴物DBに登録された画像との類似度が所定値以上の場合、これらが一致すると判断する。
【0068】
そして、システムコントローラ20は、特徴物Ft3の画像と一致する画像が特徴物DBに存在すると判断した後、当該一致した画像に関連付けられて記憶された特徴物Ft3に対応する施設の名称「コンビニA」を特徴物DBから取得する。そして、システムコントローラ20は、特徴物DBから得られた情報を用いて案内を行う。例えば、システムコントローラ20は、第1案内例と同様、撮影画像から特徴物Ft3を強調表示すると共に、「xxメートル先、右折です。コンビニAが目印です。」と音声案内を行う。
【0069】
図7(b)は、第2案内例の処理手順を示すフローチャートの一例である。図7(b)のフローチャートは、第1案内例と第2案内例とを組み合わせた処理手順を示す。システムコントローラ20は、図7(b)に示すフローチャートの処理を、図5のステップS113へ処理が進んだ場合に実行する。
【0070】
まず、システムコントローラ20は、対象画像Itagから他特徴物Fexを検索する(ステップS301)。そして、システムコントローラ20は、他特徴物Fexを検出したと判断した場合(ステップS302;Yes)、特徴物DBに当該他特徴物Fexの画像が登録されているか否か判定する(ステップS303)。そして、システムコントローラ20は、特徴物DBに当該他特徴物Fexの画像が登録されていると判断した場合(ステップS303;Yes)、特徴物DBの情報を用いて案内を行う(ステップS304)。例えば、システムコントローラ20は、撮影画像中の他特徴物Fexを強調表示すると共に、特徴物DBから取得した当該他特徴物Fexに対応する施設名称等を用いて音声案内を行う。
【0071】
一方、システムコントローラ20は、特徴物DBに当該特徴物の画像が登録されていないと判断した場合(ステップS303;No)、第1案内例と同様、案内時に当該他特徴物Fexを強調表示する(ステップS305)。
【0072】
一方、システムコントローラ20は、対象画像Itagから他特徴物Fexを検出できないと判断した場合(ステップS302;No)、ランドマークを用いずに案内を行う(ステップS306)。具体的には、この場合、システムコントローラ20は、後述する第4案内例及び第5案内例等を実行する。
【0073】
このように、システムコントローラ20は、特徴物DBを用いることで、第1案内例と比較して、より多くの情報に基づき、案内地点をユーザに特定させることができる。
【0074】
(第3案内例)
第3案内例では、システムコントローラ20は、第1案内例又は第2案内例に加えて、他特徴物Fexが示す文字又は文字列を用いて案内を行う。例えば、図6(a)及び図7(a)の例では、システムコントローラ20は、特徴物Ft3の画像に表示された「A」の文字列を認識し、「xxメートル先、右折です。Aが目印です。」と音声案内を行う。
【0075】
図8は、第3案内例の処理手順を示すフローチャートの一例である。図8のフローチャートは、第1案内例乃至第3案内例を組み合わせた処理手順を示す。システムコントローラ20は、図8に示すフローチャートの処理を、図5のステップS113へ処理が進んだ場合に実行する。
【0076】
まず、システムコントローラ20は、対象画像Itagから他特徴物Fexを検索する(ステップS401)。そして、システムコントローラ20は、他特徴物Fexを検出したと判断した場合(ステップS402;Yes)、当該他特徴物Fexの画像が特徴物DBに存在するか否か判定する(ステップS403)。そして、システムコントローラ20は、当該他特徴物Fexの画像が特徴物DBに存在すると判断した場合(ステップS403;Yes)、特徴物DBの情報を用いて案内を行う(ステップS404)。
【0077】
一方、システムコントローラ20は、当該他特徴物Fexの画像が特徴物DBに存在しないと判断した場合(ステップS403;No)、当該他特徴物Fexの文字認識が可能か否か判定する(ステップS405)。そして、システムコントローラ20は、当該他特徴物Fexの文字認識が可能であると判断した場合(ステップS405;Yes)、認識した文字を用いて案内を行う(ステップS406)。例えば、システムコントローラ20は、撮影画像で他特徴物Fexを強調表示すると共に、認識した文字を用いて音声案内を行う。
【0078】
また、システムコントローラ20は、当該他特徴物Fexの文字認識が不可能であると判断した場合(ステップS405;No)、第1案内例と同様、案内地点の案内時に当該特徴物を強調表示する(ステップS407)。
【0079】
一方、システムコントローラ20は、対象画像Itagから他特徴物Fexを検出できないと判断した場合(ステップS402;No)、ランドマークを用いずに案内を行う(ステップS408)。具体的には、この場合、システムコントローラ20は、後述する第4案内例又は第5案内例等を実行する。
【0080】
このように、システムコントローラ20は、検出した他特徴物Fexが特徴物DBに登録されていない場合であっても、他特徴物Fexの文字を認識することで、第1案内例と比較して、より多くの情報に基づき、案内地点をユーザに特定させることができる。
【0081】
(第4案内例)
第4案内例では、システムコントローラ20は、第1乃至第3案内例に加えて、またはこれに代えて、信号機、交差点名称看板、方向看板(案内標識)など一般的に交差点にある交通制御に供される物(「交通制御対象物」とも呼ぶ。)を検出し、当該交通制御対象物を用いて案内を行う。
【0082】
図9(a)は、信号機に相当する特徴物「Ft4」が表示された対象画像Itagの一例を示す。
【0083】
まず、システムコントローラ20は、ランドマーク検出処理と同様、所定の検索範囲を指定し、信号機のテンプレートと、検索範囲との類似度を算出する。上述の信号機のテンプレートは、データ記憶ユニット36等のメモリに予め記憶されている。
【0084】
そして、システムコントローラ20は、検索範囲「W4」と信号機のテンプレートとを比較した場合に、類似度が所定値以上であると判断する。そして、この場合、システムコントローラ20は、例えば特徴物Ft4を強調表示すると共に、「xxメートル先、右折です。信号機が目印です。」と音声案内を行う。
【0085】
なお、好適には、上述の処理に加えて、システムコントローラ20は、信号機の赤、青、黄の状態をさらに検出し、当該信号機の状態を用いて音声案内を行ってもよい。例えば、システムコントローラ20は、検出した信号機が赤の場合には、「xxメートル先、右折です。赤信号が目印です。」と音声案内を行う。
【0086】
図9(b)は、「B」(「B」は文字列)と記載された交差点名称看板に相当する特徴物「Ft5」が表示された対象画像Itagの一例を示す。この場合、システムコントローラ20は、検索範囲「W5」と交差点名称看板のテンプレートとを比較した場合に、類似度が所定値以上であると判断する。そして、システムコントローラ20は、例えば特徴物Ft5を強調表示すると共に、「xxメートル先、右折です。Bが目印です。」、又は、「xxメートル先、Bを右折です。」と音声案内を行う。
【0087】
図9(c)は、方向看板に相当する特徴物「Ft6」が表示された対象画像Itagの一例を示す。この場合、システムコントローラ20は、検索範囲「W6」と交差点名称看板のテンプレートとを比較した場合に、類似度が所定値以上であると判断する。そして、システムコントローラ20は、例えば特徴物Ft6を強調表示すると共に、「xxメートル先、右折です。方向看板(案内標識)が目印です。」と音声案内を行う。
【0088】
図10は、第4案内例の処理手順を示すフローチャートの一例である。システムコントローラ20は、図10に示すフローチャートの処理を、ステップS113へ処理が進んだ場合、又はステップS204、ステップS306、ステップS408に進んだ場合に実行する。
【0089】
まず、システムコントローラ20は、交通制御対象物の画像を、交通制御対象物の画像を格納したデータベースから一つ取得する(ステップS501)。そして、システムコントローラ20は、当該交通制御対象物の画像をテンプレートとして設定する(ステップS502)。
【0090】
次に、システムコントローラ20は、案内地点の位置に基づき対象画像Itagから検索範囲を決定する(ステップS503)。そして、システムコントローラ20は、検索範囲とテンプレートとの類似度を算出する(ステップS504)。そして、システムコントローラ20は、類似度が所定値以上の場合(ステップS505;Yes)、当該テンプレートに対応する交通制御対象物の情報に基づき案内を行う(ステップS506)。例えば、システムコントローラ20は、当該検索範囲を強調表示すると共に、交通制御対象物の名称等を用いて音声案内を行う。
【0091】
一方、システムコントローラ20は、類似度が所定値未満の場合(ステップS505;No)、対象画像Itagの全体が検索済範囲となっているか否か判定する(ステップS507)。そして、システムコントローラ20は、対象画像Itagの全体が検索済範囲となっている場合(ステップS507;Yes)、他の交通制御対象物の画像がデータベースに存在するか否か判定する(ステップS508)。一方、システムコントローラ20は、対象画像Itagの全体が検索済範囲となっていないと判断した場合(ステップS507;No)、検索範囲を変更し(ステップS510)、再び、ステップS504以降の処理を実行する。
【0092】
そして、ステップS508で、システムコントローラ20は、他の交通制御対象物の画像が存在すると判断した場合(ステップS508;Yes)、ステップS501へ処理を戻す。一方、システムコントローラ20は、他の交通制御対象物の画像が存在しないと判断した場合(ステップS508;No)、他の方法に基づき案内を行う(ステップS114)。具体的には、この場合、システムコントローラ20は、第5案内例等に基づき案内を行う。
【0093】
このように、システムコントローラ20は、交通制御対象物に基づき案内を行うことで、種々の案内地点において、案内地点をユーザに特定させることができる。
【0094】
(第5案内例)
第5案内例では、システムコントローラ20は、第1乃至第4案内例に加えて、またはこれに代えて、案内地点となる交差点を特定後、地図データ上で当該交差点に関連付けられた情報(単に「関連情報」とも呼ぶ。)に基づき案内を行う。
【0095】
図11(a)は、第5案内例の概要を表す図である。図11(a)に示すように、システムコントローラ20は、交差点Piを特定後、交差点PiのノードNPiの識別番号に基づき、地図データから当該交差点Piの関連情報を抽出する。図11(a)では、システムコントローラ20は、地図データから交差点Piの交差点名称「B」及び渋谷方面などの交差点Piで分岐する道路の各進行先に対応する方面名称「C」、「D」、「E」を取得する。ここで、「B」乃至「E」は文字又は文字列を示す。
【0096】
そして、システムコントローラ20は、交差点Piで進行すべき方向を案内する場合、地図データから取得した交差点名称「B」又は方面名称「C」乃至「E」を用いる。具体的には、システムコントローラ20は、関連情報の種類ごとに予め定められた優先度に従い、交差点名称「B」又は方面名称「C」乃至「E」のいずれを用いるかについて決定する。そして、システムコントローラ20は、交差点名称「B」を用いる場合には、「xxメートル先、Bを右折です。」と音声案内を行う。また、システムコントローラ20は、方面名称「C」乃至「E」を用いる場合には、「xxメートル先、E方向、右折です。」と音声案内を行う。
【0097】
図11(b)は、第5案内例の処理手順を示すフローチャートの一例である。システムコントローラ20は、図11(b)に示すフローチャートの処理を、ステップS113へ処理が進んだ場合、又はステップS204、ステップS306、ステップS408、ステップS509に進んだ場合に実行する。
【0098】
まず、システムコントローラ20は、地図データから交差点Piの関連情報を取得する(ステップS601)。次に、システムコントローラ20は、優先度に従い、取得した関連情報のうち、案内に用いる関連情報を決定する(ステップS602)。そして、システムコントローラ20は、決定した関連情報に基づき案内を行う(ステップS603)。
【0099】
(その他の案内例)
システムコントローラ20は、上述の案内例に代えて、又はこれに加えて、ランドマークなど案内地点を特定するための情報を用いず、案内地点で進行すべき方向の情報を用いて案内を行ってもよい。例えば、この場合、システムコントローラ20は、「xxメートル先、右折です。」と音声案内を行う。さらにこれに加え、又はこれに代えて、システムコントローラ20は、撮影画像に進行方向を示す矢印を重畳させて表示してもよい。従って、この場合、システムコントローラ20は、ランドマークなど案内地点を特定するための情報を特に用いずに案内を行う。
【0100】
また、システムコントローラ20は、上述の案内例に加えて、ランドマーク情報ILが示すランドマークに対応する特徴物を撮影画像中で検出できなかったことを、音声又は表示により通知してもよい。例えば、システムコントローラ20は、この場合、「目印となるコンビニAは検出できませんでした。」と音声案内を行う。このようにすることで、システムコントローラ20は、かつて存在したランドマークが存在しなくなったことをユーザに知らせることができる。
【0101】
[変形例]
第1案内例では、システムコントローラ20は、ランドマーク情報ILが示すランドマークの画像をテンプレートに指定して検索範囲との類似度を算出し、当該類似度が所定値以上か否か判定した。これに代えて、システムコントローラ20は、ランドマーク情報ILが文字又は文字例の場合には、検索範囲から文字又は文字列を読み取り、これらの文字又は文字列が一致するか否か判定してもよい。第2案内例等でも同様に、システムコントローラ20は、テンプレートと検索範囲との画像同士を比較する場合に代えて、特徴物DBに格納された所定の文字又は文字列と同一の文字又は文字列が検索範囲中に存在するか否か判定してもよい。
【産業上の利用可能性】
【0102】
本発明は、車載用ナビゲーション装置、PND(Personal Navigation Device)、その他カメラから取得した画像を用いて案内を行う装置に好適に適用することができる。
【符号の説明】
【0103】
1 ナビゲーション装置
10 自立測位装置
12 GPS受信機
20 システムコントローラ
22 CPU
36 データ記憶ユニット
38 通信装置
40 表示ユニット
44 ディスプレイ
【特許請求の範囲】
【請求項1】
撮像手段が撮像した画像を取得する取得手段と、
施設に関するランドマーク情報を記憶する記憶手段と、
移動体が経路に沿って移動する際に当該経路上の所定の案内地点を案内する案内手段と、
を備え、
前記取得手段は、前記移動体の現在位置が前記所定の案内地点の所定距離以内に近づいたときに当該所定の案内地点の風景を撮像した画像を取得し、
前記案内手段は、前記取得された所定の案内地点の画像に基づいて、前記記憶手段に記憶されたランドマーク情報で示される施設を用いた案内、または当該ランドマーク情報で示される施設を除外した案内のいずれかを行うことを特徴とするナビゲーション装置。
【請求項2】
前記案内手段は、前記取得された所定の案内地点の画像から前記ランドマーク情報に対応する施設が存在する場合には、前記画像における当該施設を強調表示して案内し、前記施設が存在しない場合には、前記画像に含まれる前記施設に関わらない対象物を用いて案内することを特徴とする請求項1に記載のナビゲーション装置。
【請求項3】
施設に関するランドマーク情報を記憶する記憶手段を有するナビゲーション装置が実行する制御方法であって、
撮像手段が撮像した画像を取得する取得工程と、
移動体が経路に沿って移動する際に当該経路上の所定の案内地点を案内する案内工程と、
を備え、
前記取得工程は、前記移動体の現在位置が前記所定の案内地点の所定距離以内に近づいたときに当該所定の案内地点の風景を撮像した画像を取得し、
前記案内工程は、前記取得された所定の案内地点の画像に基づいて、前記記憶手段に記憶されたランドマーク情報で示される施設を用いた案内、または当該ランドマーク情報で示される施設を除外した案内のいずれかを行うことを特徴とする制御方法。
【請求項1】
撮像手段が撮像した画像を取得する取得手段と、
施設に関するランドマーク情報を記憶する記憶手段と、
移動体が経路に沿って移動する際に当該経路上の所定の案内地点を案内する案内手段と、
を備え、
前記取得手段は、前記移動体の現在位置が前記所定の案内地点の所定距離以内に近づいたときに当該所定の案内地点の風景を撮像した画像を取得し、
前記案内手段は、前記取得された所定の案内地点の画像に基づいて、前記記憶手段に記憶されたランドマーク情報で示される施設を用いた案内、または当該ランドマーク情報で示される施設を除外した案内のいずれかを行うことを特徴とするナビゲーション装置。
【請求項2】
前記案内手段は、前記取得された所定の案内地点の画像から前記ランドマーク情報に対応する施設が存在する場合には、前記画像における当該施設を強調表示して案内し、前記施設が存在しない場合には、前記画像に含まれる前記施設に関わらない対象物を用いて案内することを特徴とする請求項1に記載のナビゲーション装置。
【請求項3】
施設に関するランドマーク情報を記憶する記憶手段を有するナビゲーション装置が実行する制御方法であって、
撮像手段が撮像した画像を取得する取得工程と、
移動体が経路に沿って移動する際に当該経路上の所定の案内地点を案内する案内工程と、
を備え、
前記取得工程は、前記移動体の現在位置が前記所定の案内地点の所定距離以内に近づいたときに当該所定の案内地点の風景を撮像した画像を取得し、
前記案内工程は、前記取得された所定の案内地点の画像に基づいて、前記記憶手段に記憶されたランドマーク情報で示される施設を用いた案内、または当該ランドマーク情報で示される施設を除外した案内のいずれかを行うことを特徴とする制御方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【公開番号】特開2012−137482(P2012−137482A)
【公開日】平成24年7月19日(2012.7.19)
【国際特許分類】
【出願番号】特願2011−261800(P2011−261800)
【出願日】平成23年11月30日(2011.11.30)
【分割の表示】特願2011−543943(P2011−543943)の分割
【原出願日】平成22年12月24日(2010.12.24)
【出願人】(000005016)パイオニア株式会社 (3,620)
【Fターム(参考)】
【公開日】平成24年7月19日(2012.7.19)
【国際特許分類】
【出願日】平成23年11月30日(2011.11.30)
【分割の表示】特願2011−543943(P2011−543943)の分割
【原出願日】平成22年12月24日(2010.12.24)
【出願人】(000005016)パイオニア株式会社 (3,620)
【Fターム(参考)】
[ Back to top ]