携帯型ナビゲーション装置
【構成】 携帯型ナビゲーション装置(10)は、ユーザによって保持されて、ユーザの移動と共に移動する。移動中に、カメラで撮影した動画像データを画像処理することによって、ユーザが通った移動経路中のトイレやコンビニのような特定施設を探索して記録しておく。ユーザが希望するとき、当該特定施設の最寄りの検出地点を、たとえば表示器によってユーザに提示する。
【効果】ユーザが見落とした特定施設を提示できる。
【効果】ユーザが見落とした特定施設を提示できる。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は、携帯型ナビゲーション装置に関し、特に、ユーザが移動した経路に存在していた特定の施設、たとえばトイレ、コンビニエンスストア(コンビニ)、自動販売機(自販機)などを検出してその検出地点を記憶しておき、ユーザが必要を生じたとき、検出地点をユーザに提示できる、新規な携帯型ナビゲーション装置に関する。
【背景技術】
【0002】
特許文献1には、移動に困難を感じる機会の多い高齢者や障害者のような歩行者に対して、GPS装置で検出した歩行者の位置から一定距離内にある地図上の施設を歩行者に対して出力するものである。
【0003】
この特許文献1では、障害者用トイレ、バリアフリー施設、目的地までの経路の目安となる施設等の情報を歩行者に提供することができる。
【0004】
また、特許文献2には、車両の予測走行地点に基づいて、その近くにある休憩エリアを地図データから見つけ出し、車両のユーザに対して適切に休憩案内を行なおうとするものである。
【特許文献1】特開2003-148993号公報[G01C 21/00 G08G 1/005 G09B 29/10]
【特許文献2】特開2008-32558号公報[G01C 21/00 G08G 1/0969]
【発明の開示】
【発明が解決しようとする課題】
【0005】
上記背景技術によれば、歩行者や車両ユーザに対して、必要な施設情報を提供できるという利点がある。しかしながら、いずれの背景技術も、GPSによって特定した位置の近くにある、地図データに登録されている施設情報を提示するものであり、地図データを持たない場合には適用できないばかりか、仮に地図データを持っていても、地図に載っていないトイレなどの施設を歩行者に提示することはできない。
【0006】
それゆえに、この発明の主たる目的は、新規な、携帯型ナビゲーション装置を提供することである。
【0007】
この発明の他の目的は、地図データを持っていなくても、また地図に載っていなくても、必要な施設を移動するユーザに適切に提示できる、携帯型ナビゲーション装置を提供することである。
【課題を解決するための手段】
【0008】
本発明は、上記の課題を解決するために、以下の構成を採用した。なお、括弧内の参照符号および補足説明等は、本発明の理解を助けるために後述する実施の形態との対応関係を示したものであって、本発明を何ら限定するものではない。
【0009】
第1の発明は、カメラを備え、ユーザとともに移動する、携帯型ナビゲーション装置であって、ユーザとともに移動するときの移動位置を検知する位置検知手段、移動中にカメラで撮影したカメラ画像に基づいて特定施設を検出する検出手段、検出手段によって特定施設を検出したときの移動位置に関連して検出地点を登録する登録手段、およびユーザの入力操作に応答して、登録手段に登録されている最寄りの検出地点を提示する提示手段を備える、携帯型ナビゲーション装置である。
【0010】
第1の発明では、携帯型ナビゲーション装置(10)は、ユーザ(1)と一緒に移動する。その移動中、位置検知手段(38,S1-S13,48)が移動位置を検知する。また、カメラ(22)は移動中、常に動画像または連続静止画像を撮影する。検出手段(38,S21,S31-S35)は、その動画像または静止画像に基づいて特定施設があるかどうか検出する。特定施設、たとえばトイレ、コンビニ、自販機などを検出手段が検出したとき、登録手段(38,S37)は、その検出地点を登録する。ユーザが入力操作(S23)をしたとき、提示手段(38,S25)は、登録手段によって登録されている検出地点のうちの、最寄りの検出地点をユーザに提示する。提示方法は、表示器に表示する方法などがある。
【0011】
第1の発明によれば、ユーザが実際に移動しているときカメラで撮影したカメラ画像から特定施設を検出するようにしているので、地図データがなくても、あるいは地図に載っていなくても、ユーザが必要とする特定施設の検出地点を的確に提示できる。
【0012】
第2の発明は、第1の発明に従属し、特定施設には独自のマークまたは図形が設定されていて、検出手段は、カメラ画像中にそのマークまたは図形が含まれているとき、特定施設の存在を検出する、携帯型ナビゲーション装置である。
【0013】
第2の発明では、検出手段は、カメラ画像をSIFTやSURFなどの技法に従って画像処理し、画像処理した結果データベースに予め登録しているマークまたは図形に類似するとの判断があるとき、特定施設がカメラ画像中において検出される。第2の発明によれば、簡単な画像処理で特定施設を検出できる。
【0014】
第3の発明は、第1または第2の発明に従属し、位置検知手段が検知した移動位置に基づいて移動経路を生成する移動経路生成手段をさらに備え、提示手段は、移動経路とともに検出地点を提示する、携帯型ナビゲーション装置である。
【0015】
第3の発明では、移動経路生成手段(38,S1-S13)は、たとえば位置検知手段に含まれるGPS手段(48)などが検知した移動位置から移動軌跡を生成する。そして、提示手段は、その移動経路とともに、検出地点を提示する。第3の発明によれば、移動経路と共に検出地点が提示されるので、その検出地点が自分が移動してきたどのあたりか容易に把握することができる。
【0016】
第4の発明は、第1ないし第3の発明のいずれかに従属し、移動経路に従って検出地点まで逆方向に誘導する誘導手段をさらに備える、携帯型ナビゲーション装置である。
【0017】
第4の発明では、誘導手段(38,S27,S41-S51)は、移動経路生成手段が生成した移動経路に従って、ユーザを検出地点まで逆方向に誘導する。第4の発明によれば、ユーザが自分の移動した移動経路を思い出せなかったり、十分理解できなかったりしたときでも、ユーザを特定施設に誘導することができる。
【0018】
第5の発明は、第1ないし第4の発明のいずれかに従属し、検出手段は複数種類の特定施設を検出し、ユーザの入力操作は特定施設の種類を指定する入力操作を含み、提示手段は、ユーザが指定した特定施設の最寄りの検出地点を提示する、携帯型ナビゲーション装置である。
【0019】
第5の発明では、トイレ、コンビニなど複数種類の特定施設を検出し、ユーザの指定に応じて、その指定する特定施設の最寄りの検出地点を提示することができる。
【0020】
第6の発明は、カメラを備え、ユーザとともに移動する、携帯型ナビゲーション装置のコンピュータによって実行されるナビゲーションプログラムであって、コンピュータを、ユーザとともに移動するときの移動位置を検知する位置検知手段、移動中にカメラで撮影したカメラ画像に基づいて特定施設を検出する検出手段、検出手段によって特定施設を検出したときの移動位置に関連して検出地点を登録する登録手段、およびユーザの入力操作に応答して、登録手段に登録されている最寄りの検出地点を提示する提示手段として機能させる、ナビゲーションプログラムである。
【0021】
第6発明によれば、第1の発明と同様の効果が期待できる。
【発明の効果】
【0022】
この発明によれば、ユーザが実際に移動しているときにその移動経路に存在していた特定施設を自動的に検出し、その検出地点を記憶しておくので、地図データがなくても、あるいは地図に載っていなくても、ユーザが必要とする特定施設の場所をユーザに提示することができる。
【0023】
この発明の上述の目的,その他の目的,特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【図面の簡単な説明】
【0024】
【図1】図1はこの発明の一実施例の携帯型ナビゲーション装置の外観を示す図解図である。
【図2】図2は図1実施例の携帯型ナビゲーション装置の利用形態の一例を示す図解図である。
【図3】図3は実施例の携帯型ナビゲーション装置の構成を示すブロック図である。
【図4】図4は実施例の携帯型ナビゲーション装置のRAMのメモリマップの一例を示す図解図である。
【図5】図5は実施例の携帯型ナビゲーション装置における経路データ取得動作の一例を示すフロー図である。
【図6】図6は図5実施例で取得して経路データ領域に記録される経路データの一例を示す図解図である。
【図7】図7は実施例の携帯型ナビゲーション装置において特定施設を探索して記録し、必要に応じてユーザに最寄りの特定施設を提示する全体動作の一例を示すフロー図である。
【図8】図8は図7実施例において検出対象の探索動作の一例を示すフロー図である。
【図9】図9は図8実施例において探索した探索済み対象リストの一例を示す図解図である。
【図10】図10は図7実施例においてユーザが選択した最寄りの特定施設を提示する表示の一例を示す図解図である。
【図11】図11は図7実施例における誘導動作の一例を示すフロー図である。
【発明を実施するための最良の形態】
【0025】
図1を参照して、一実施例の携帯型ナビゲーション装置10は、典型的には、いわゆるスマートフォンのように、携帯電話機の機能とPDA(Personal Digital Assistant)の機能とを併有する携帯情報端末である。実施例では、一例として、アップル社製の携帯電話機iphone(商品名)を想定しているが、勿論、他社の同等の機能を有する携帯電話機、スマートフォン、PDAなど任意の携帯情報端末が利用可能である。
【0026】
実施例の携帯型ナビゲーション装置10は、トイレ、コンビニ、自販機など、必要性を感じていないとき、すなわち探していない場合には気付かずに通り過ぎてしまいがちな施設を、ユーザが移動した経路上で自動的に検出し、その検出地点を記憶しておき、ユーザが必要を感じたときには、その施設の検出地点をユーザに提示する、一種の記憶補完装置である。ただし、実施例のナビゲーション装置10では、さらに必要なら、ユーザをその検出地点まで誘導するようにしている。この実施例のナビゲーション装置によれば、ユーザが移動時に実際に通った経路上の特定施設を検出して記録または記憶しておくので、地図データがなくても、あるいは地図に掲載されていなくても、ユーザが通った経路上の最寄りの特定施設の場所を提示できる。
【0027】
実施例の携帯型ナビゲーション装置10はほぼ矩形の扁平なハウジング12を含み、ハウジング12の前面には、たとえばLCD(液晶表示器)のような表示器14が設けられ、表示器14の上にはタッチパネル16が配置される。タッチパネル16は、抵抗膜式または静電容量式のいずれでもよく、あるいは別の方式のタッチパネルであってよい。
【0028】
表示器14の右側のハウジング前面には、「ホームボタン」と呼ばれる押しボタンスイッチ18が設けられ、このスイッチ18は、メニューを選択したり、カメラのシャッタとして用いられたり、様々に利用されるハードスイッチである。このスイッチ18の上の右側面には、図1において点線で示すマイク20が設けられる。
【0029】
表示器14の左側のハウジングの後面には、図1において点線で示すカメラ22が設けられる。このカメラ22は、映像または画像の入力手段またはそれの一部を構成する。カメラ22の下方のハウジング12の前面には、スピーカ24が配置される。
【0030】
タッチパネル16の下の表示器14には、このナビゲーション装置10のユーザが記憶補完を望む施設の1つであるトイレおよびコンビニを示すトイレボタン26およびコンビニボタン28が、いわゆるソフトキーとして表示される。ユーザがこのトイレボタン26またはコンビニボタン28の位置でタッチパネル16にタッチすることによって、そのときユーザがトイレまたはコンビニを対象として選択したことを示す信号が、後述のCPU38に入力される。ただし、特定施設としては、ここで挙げたトイレやコンビニに限らず、自販機、スーパーマーケットなど他の任意の施設が考えられる。
【0031】
このような、携帯端末によって構成された実施例の携帯型ナビゲーション装置10は、たとえば、図2に示す利用形態で利用される。つまり、携帯型のナビゲーション装置10は、ユーザ(歩行者)1の首に掛けたストラップ11で、ユーザ1のほぼ胸の位置に吊り下げられる。このとき、カメラ22は前方を撮影できるようにされていて、動画または連続静止画を撮影できるモードに設定される。静止画の場合の撮影時間間隔は任意ではあるが、たとえば1秒程度でよい。動画撮影の場合はその装置に設定されているデフォルトのフレームレートで撮影される。
【0032】
図3を参照して、携帯型ナビゲーション装置10は、上で説明した表示器14、タッチパネル16、スイッチ18、マイク20、カメラ22およびスピーカ24の他、ジャイロセンサ(3軸地磁気センサ)30および3軸加速度センサ32を含み、これらのジャイロセンサ30および加速度センサ32からのセンサデータは、センサI/F34を通して、入力される。
【0033】
実施例の携帯型ナビゲーション装置10はさらに、CPU38、ROM40、RAM42、フラッシュメモリ44、無線通信回路46、GPS回路48および時計回路50を含む。無線通信回路46は、このナビゲーション装置10によって音声通話(電話)をし、あるいはネットに接続してデータや電子メールの送受信を行なうことができる。GPS(Global Positioning System:地球測位システム)回路48は、このナビゲーション装置10の現在位置を特定するために用いられる。時計回路50によって現在時刻を知ることができる。
【0034】
上述のジャイロセンサ30は、直交3軸方向の地磁気の強さを検知するもので、この実施例では、CPU38とともに電子コンパスまたはディジタルコンパスを構成するために利用される。電子コンパスは、よく知られているように、2つの地磁気センサを直角に組み合わせて、前後方向と左右方向の地磁気を検出し、その強さからどちらが北の方向なのかを計算する。3軸加速度センサ32は、この実施例では、この装置10を携帯している人間、つまり歩行者の歩行速度を計測するために用いられる。ただし、加速度センサ32の出力によって歩行速度を計数する方法はよく知られたところであり、ここでは詳細説明は省略する。
【0035】
また、ジャイロセンサ30および加速度センサ32の出力に基づいて、歩数を計測することもできる。たとえばデパートやスーパーケットのような大型店舗の中ではGPSが効かないので、その間の移動(歩行)経路は、コンパスによる方位データと歩数に基づく歩行距離データで推定する。ただし、ジャイロセンサや加速度センサの出力によって歩数を計数する方法はよく知られたところであり、詳細説明は省略する。
【0036】
ナビゲーション装置10に含まれるRAM42には、図4に示すように、プログラム領域52およびデータ領域54が設けられる。プログラム領域52にはROM40に予め設定されている種々のプログラムが使用に際して展開される。たとえばOS領域521にはマルチタスクOS(Multi-task Operating System)が記憶される。
【0037】
探索プログラム領域522には、後述の図6に示すように、カメラ22で撮影した画像をたとえばSIFT(Scale-Invariant Feature Transform:特徴点の検出と特徴量の記述を行うアルゴリズムであり、検出した特徴点に対して、画像の回転、スケール変化、照明変化等にロバストな特徴量を記述する。)やSURF(Speeded Up Robust Features:ロバストな画像検出および記述を行なうアルゴリズムである。)の技法を用いてパターン認識をすることによって、トイレやコンビニのような特定施設を探索するためのプログラムが設定されている。この探索プログラムは、トイレなどの検出対象を探索し、発見した検出対象をリストに登録するプログラムである。
【0038】
経路記録プログラム領域523には、実施例のナビゲーション装置10を図2のように保持して歩行(移動)するときの経路のデータ(後述)を記録するためのプログラムが記憶されている。
【0039】
上述のようにナビゲーション装置10には、または、ナビゲーション装置10に付属して、センサI/F34を介して、ジャイロセンサなどの各種センサ30および32が設けられるが、これらのセンサ30および32からのセンサデータを取り込むためのセンサデータ取得プログラムがセンサデータ取得プログラム領域524に設定される。そして、GPS回路48を用いてナビゲーション装置10の現在位置のデータを取得するためのGPSデータ取得プログラムがGPSデータ取得プログラム領域525に設定される。
【0040】
なお、上述の経路記録プログラムによって記録する、経路データを取得するための手段としては、実施例では、センサデータ取得プログラムで取得したジャイロセンサ30や加速度センサ32の出力データおよびGPSデータ取得プログラムで取得したGPSデータを利用する。GPSデータは、ナビゲーション装置10の現在位置を示す現在位置データとして利用される。ジャイロセンサ30の出力データは、ユーザが直進中か、右折したか、あるいは左折したかのデータを取得するために利用される。方位を特定できる電子コンパスは、上述のように、ジャイロセンサ30の出力データに基づいて方位を特定する。加速度センサ32の出力データは、上述のように、移動(歩行)速度や歩数のデータを取得するために利用される。
【0041】
誘導プログラム領域526には、経路記録プログラム523で記録した経路上の、探索プログラム522で探索した最寄りの特定施設をユーザに提示し、必要に応じてユーザを当該特定施設へ誘導するためのプログラムが設定されている。
【0042】
RAM42のデータ記憶領域54には、センサデータ記憶領域541が設定され、センサデータ記憶領域541には、上述のセンサデータ取得プログラム524、525で取得したセンサデータ(GPS、加速度、ジャイロなど)のデータが一時的に記憶される。
【0043】
探索対象画像データベース542には、実施例のナビゲーション装置10で探索対象に決められている施設、たとえばトイレ、コンビニ、自販機などの画像、典型的には、トイレを表す絵文字(ピクトグラフ)、コンビニの各社のサービスマーク(図形)、自販機の外形図形などの特徴量が予め登録されている。なお、トイレを示す絵文字には複数種類の絵文字があるので、この複数の絵文字をできるだけ多く登録しておくことが望ましい。また、コンビニの図形マークにしても、大手のコンビニだけでなく、できるだけ多くのマーク図形を登録しておくことが望ましい。また、自販機の外形形態は千差万別だが、一定の大きさのハウジングがあり、その前面の囲まれた領域に商品見本や販売ボタンがあるという基本姿態では共通性があるので、代表的な何種類かの外形図形を登録しておけばよい。
【0044】
検出対象施設リスト領域543には、探索プログラム522で探索した対象施設、トイレ、コンビニ、自販機の別を示すデータが、検出時刻および検出地点のデータとともに、図9に例示するリストの形式で、または他の任意の形式で、登録される。
【0045】
経路データ領域544には、たとえば後述の図8で示すような、経路データが記憶される。経路データには、時刻データとそのときの歩行者(ユーザ)の歩行状態、たとえば直進か右左折かなどが、一例として、1秒に1回、記録される。
【0046】
ワーキング領域545は、一時記憶領域である。
【0047】
なお、図3の実施例では、各センサ30および32は有線でセンサインタフェース34に接続され、したがって、センサデータは有線でCPU38に取り込まれるものとして図示した。しかしながら、これらのセンサ30および32のセンサデータは、たとえばBluetooth(商品名)やZigbee(商品名)の近距離無線を用いて、無線で入力することも考えられる。この場合には、センサデータ取得プログラム524は、無線通信回路46からセンサデータを取り込むように変更される。
【0048】
ここで、図5を参照して、この実施例のナビゲーション装置10において、経路データを取得して記録する動作を説明する。ただし、経路取得動作は、移動(歩行)の開始から終了まで、図5に従って自動的に、ほぼ1秒に1回、実行され得る。ただし、移動を開始するときにはナビゲーション装置10の電源を入れておくとともに、前述のように、カメラ22を作動状態(オン)にしておく。
【0049】
最初のステップS1では、CPU38は、ジャイロセンサ30および加速度センサ32ならびにGPSデータを、センサデータ取得プログラム524ならびにGPSデータ取得プログラム525(図4)に従って取得する。これらセンサデータおよびGPSデータは、ワーキング領域545(図4)に一時的に保存される。それと共に、ステップS1ではさらに、カメラ22で撮影した画像データ(動画像の場合はそのときのフレームの画像の画像データ)を取り込む。図5の経路記録動作においては、カメラ画像は、後述のランドマーク検出のために、使う。
【0050】
ステップS3において、CPU38は、一時保存したセンサデータおよびGPSデータに基づいて、ユーザ(歩行者)が直進しているのか、右折したのか、それとも左折したのかを認識する。この直進/右左折の認識は特に、ジャイロセンサ30のデータの変化をチェックすることによって、容易に判断できる。たとえば、角速度の左右変化なければ直進、左右どちらかに変化した場合には左折または右折と判断することができる。
【0051】
そして、ステップS5において、CPU38は、ステップS3で認識した歩行状態が右左折を示すかどうか判断する。
【0052】
右左折の場合、ステップS5で“YES”となり、次のステップS7で、その右左折の時刻として、時計回路50の時刻データを記録する。それと共に、ステップS9で、GPSデータに基づいて、直進距離を推定するとともに、カメラ画像を画像処理することによって、右左折地点の目印(ランドマーク)を検出する。目印の例としては、典型的には、信号機が挙げられるが、その他、赤い看板とか、大きな屋外ディスプレイなどを検出することができる。特に大型店舗内での右左折地点には信号機がないので、これら看板などを右左折の目印にするとよい。
【0053】
なお、「直進距離」とは、この地点で右左折するまで直進した距離、1つ前の右左折地点からの距離をいい、この距離は、後述の「最寄りの特定施設の提示」の際に、経路に沿って表示する。特定施設を提示するとき、距離を併せて表示することによって、ユーザの利便性が一層向上する。
【0054】
なお、この実施例では、図6の移動経路データとして、各時刻でのGPSデータも記録するようにしているが、この時刻毎のGPSデータは、図10に示すように移動地点をプロットして1本の移動経路にとして表示するときなどに使う。ただし、図6では、図面が煩雑になるのを防ぐために、GPSデータは直近の1つだけが図示されている。
【0055】
ステップS5で“NO”を判断した場合、直進であるので、次のステップS11で、そのときの直進中の時刻の時刻データを記録する。それと共に、ステップS13で、カメラ画像を画像処理することによって、当該直進中地点での目印(ランドマーク)を検出する。目印の例としては、ステップS9の場合と同様に考えられる。
【0056】
図5に従って検出した移動(歩行)経路の経路データの一例が図6に示される。この図6では、後述の図9の場合も同様であるが、図面の下から上へ時間が経過するように表現している。そして、図6の例では、10時00分02秒およびそれ以前から東向きの直進が続き、10時00分27秒に左折して北方向へ向きを変えたことが分かる。そして、左折地点までの東向き直進距離が300mであると記録されている。
【0057】
次に、図7を参照して、実施例のナビゲーション装置10における特定施設の探索からユーザへの提示、誘導までの全体的な動作を説明する。この図7の動作は、基本的には、CPU38のマルチタスク機能によって、図5の経路記録動作と並行して、たとえば1秒に1回実行されるものである。したがって、図7の最初のステップS21においては、図5のステップS1で取得したセンサデータおよびカメラ画像を利用して、探索プログラム522に従って、探索対象画像データベース542(図4)に探索対象として予め登録されている特定施設を探索する。
【0058】
詳しくは、図8に示すように、ステップS31で、探索プログラム522に従って、図5のステップS1で取得したカメラ画像をSIFTまたはSURFなどの技法で処理して、カメラ画像からマークまたは図形の特徴量を求める。次いで、ステップS33において、ステップS31で抽出した特徴量と探索対象画像データベース542に予め登録しているマークまたは図形の特徴量と比較することによって、つまり、カメラ画像から検出したマークまたは図形と登録マークまたは図形とを比較することによって、そのときのカメラ画像に探索対象特定施設が含まれているかどうか、およびその特定施設の種類(トイレ、コンビニ、自販機など)は何かを判断する。
【0059】
含まれているなら、次のステップS35でCPU38は“YES”を判断するので、CPU38は、続くステップS37において、図9に示す検出対象施設リストに、そのとき検出した特定施設を追加登録する。
【0060】
なお、図9の例においては、左欄に、時計回路50からの時刻データに従った検出時刻のデータが記録され、中欄に、ステップS43で判別した検索済み特定施設の種類データが記録され、右欄に、たとえばGPSデータに従って当該特定施設の検出地点の経緯度データが記録される。
【0061】
なお、通常速度で歩行している場合で考えると、特定施設が一瞬(1秒)だけ検出されることはごく稀であり、普通は、同じ特定施設が連続して何回か検出されるはずである。そのような場合、実施例では、最後に検出した時点で当該特定施設を登録するようにしている。なぜなら、通常は、最後に検出した位置でその特定施設を通り過ぎたと考えられるので、最後に検出した位置が特定施設の実際の位置に最も近いと考えられるからである。
【0062】
そのために、図9に示す検出対象特定施設リストを登録する際には、検出の都度そのとき検出した特定施設の種類を上書きし、検出されなくなると、直前の検出地点が最後の検出地点となるようにしている。
【0063】
図7に戻って、次のステップS23で、CPU38は、ユーザ(歩行者)が、ナビゲーション装置10によって記憶補完をしてもらいたい特定施設を対象として選択したかどうか、判断する。この判断は、先に説明したように、タッチパネル16の、ボタン26または28(図1)の領域にユーザがタッチしたかどうかをタッチ検出プログラム(図示せず)に従って判断することによって、実行できる。
【0064】
このステップS23で、もし、トイレボタン26へのタッチを検出したとした場合、次のステップS25で、たとえば図10に示すように、最寄りのトイレの場所(最後の検出地点)を、移動経路56とともに、表示器14に表示する。ただし、この移動経路56は、図6の移動経路データに含まれるGPSデータに従ってプロットするだけで簡単に描画できる。
【0065】
図10の表示例では、最後にトイレを検出した時刻も表示するようにしているので、その時刻との対比の便利のために、表示器14に現在時刻表示領域58を設け、そこに現在時刻(ユーザがステップS23で選択した時刻)を表示するようにしている。また、図10では、先のステップS9で検出した直進距離も移動経路56に沿って表示している。たとえば、図10の表示例でいえば、最初の北向きの左折から次の東向きの右折までの直進距離が350mで、右折の直進距離が90mで、最後の左折から現在までの直進距離が300mであることがわかる。
【0066】
ステップS25で、ユーザの選択した特定施設の最寄りの検出地点を提示した後、ステップS27で、現在地からその最寄りの検出地点まで、ユーザを逆に方向に誘導する。ただし、このステップS27はオプションで、不要なら削除すればよいし、図示しないGUIを表示してユーザに「最寄りの検出地点まで誘導しましょうか?」と質問して、ユーザが「はい」と答えたときだけ実行するようにしてもよい。
【0067】
図11を参照して、逆方向への誘導動作について説明する。
【0068】
最初のステップS41で、CPU38は、ユーザが選択した対象特定施設から現在地までの図6に示すような移動経路のデータを、経路データ領域544(図4)から読み出す。そして、ステップS43で、次の右左折までの直進距離(図6の右欄に括弧書きで示す。)を提示するとともに、もしあれば、その右左折地点にある目印(ランドマーク)、たとえば特定色の看板、信号などを提示する。このステップS43での直進距離や目印の提示は、図10のような特定施設の最寄りの検出地点の提示と同じようにして、表示器14で経路56を表示しながら提示できる。
【0069】
そして、次のステップS45において、CPU38は、そのときステップS1(図5)で取得しているセンサデータやカメラ画像のデータをセンサデータ領域541(図4)から読み出して、ステップS47で、直進すべきなのか、右折すべきなのか、左折すべきなのかを認識する。たとえば、ステップS41で読み出した経路データに記録されている時刻毎のGPSデータと、その逆方向誘導時のGPSデータ(現在地)とを比較するなどの方法で、直進/右左折を認識することができる。ただし、GPSが使えない室内では、前述のように、歩数を計測するなどして、現在地点を予測する必要がある。
【0070】
ステップS49で“YES”のとき、すなわち、右/左折すべきとステップS49で判断したとき、次のステップS51で、CPU38は、次の右左折地点までの経路の提示に切り換える。
【0071】
上述の実施例では、経路上で複数種類の特定施設を探索でき、ユーザがそのうちのいずれかを指定または選択できるようにしたが、1つの種類の特定施設だけを探索するようにしてもよい。その場合には、ユーザの選択(ステップS23:図7)は不要であり、たとえばタッチパネルにタッチするだけで、ステップS25に進むようにしてもよい。
【0072】
また、最寄りの特定施設をユーザに提示する方法として、図10に示すように、表示器14に移動経路56を表示し、その移動経路に沿って特定施設の検出地点を表示した。しかしながら、移動経路56のような図形を表示しないで、たとえば「時刻(何時何分何秒)にトイレを検出しました。」のように、テキストだけで表示するようにしてもよい。さらには、表示器14上での表示ではなく、スピーカ24からたとえば「時刻(何時何分何秒)にトイレを検出しました。」という音声出力として提示するようにしてもよい。
【0073】
また、実施例では、ユーザは歩行者であり、その歩行者の歩行と共に移動して前方にある特定施設を探索するものとして説明した。しかしながら、この発明の携帯型ナビゲーション装置は歩行者に保持されて移動するものの他、たとえば車椅子で移動している者とともに移動するものであってよい。つまり、歩行者専用ではない。
【符号の説明】
【0074】
10 …携帯型ナビゲーション装置
14 …表示器
16 …タッチパネル
38 …CPU(コンピュータ)
42 …RAM
52 …プログラム領域
54 …データ記憶領域
【技術分野】
【0001】
この発明は、携帯型ナビゲーション装置に関し、特に、ユーザが移動した経路に存在していた特定の施設、たとえばトイレ、コンビニエンスストア(コンビニ)、自動販売機(自販機)などを検出してその検出地点を記憶しておき、ユーザが必要を生じたとき、検出地点をユーザに提示できる、新規な携帯型ナビゲーション装置に関する。
【背景技術】
【0002】
特許文献1には、移動に困難を感じる機会の多い高齢者や障害者のような歩行者に対して、GPS装置で検出した歩行者の位置から一定距離内にある地図上の施設を歩行者に対して出力するものである。
【0003】
この特許文献1では、障害者用トイレ、バリアフリー施設、目的地までの経路の目安となる施設等の情報を歩行者に提供することができる。
【0004】
また、特許文献2には、車両の予測走行地点に基づいて、その近くにある休憩エリアを地図データから見つけ出し、車両のユーザに対して適切に休憩案内を行なおうとするものである。
【特許文献1】特開2003-148993号公報[G01C 21/00 G08G 1/005 G09B 29/10]
【特許文献2】特開2008-32558号公報[G01C 21/00 G08G 1/0969]
【発明の開示】
【発明が解決しようとする課題】
【0005】
上記背景技術によれば、歩行者や車両ユーザに対して、必要な施設情報を提供できるという利点がある。しかしながら、いずれの背景技術も、GPSによって特定した位置の近くにある、地図データに登録されている施設情報を提示するものであり、地図データを持たない場合には適用できないばかりか、仮に地図データを持っていても、地図に載っていないトイレなどの施設を歩行者に提示することはできない。
【0006】
それゆえに、この発明の主たる目的は、新規な、携帯型ナビゲーション装置を提供することである。
【0007】
この発明の他の目的は、地図データを持っていなくても、また地図に載っていなくても、必要な施設を移動するユーザに適切に提示できる、携帯型ナビゲーション装置を提供することである。
【課題を解決するための手段】
【0008】
本発明は、上記の課題を解決するために、以下の構成を採用した。なお、括弧内の参照符号および補足説明等は、本発明の理解を助けるために後述する実施の形態との対応関係を示したものであって、本発明を何ら限定するものではない。
【0009】
第1の発明は、カメラを備え、ユーザとともに移動する、携帯型ナビゲーション装置であって、ユーザとともに移動するときの移動位置を検知する位置検知手段、移動中にカメラで撮影したカメラ画像に基づいて特定施設を検出する検出手段、検出手段によって特定施設を検出したときの移動位置に関連して検出地点を登録する登録手段、およびユーザの入力操作に応答して、登録手段に登録されている最寄りの検出地点を提示する提示手段を備える、携帯型ナビゲーション装置である。
【0010】
第1の発明では、携帯型ナビゲーション装置(10)は、ユーザ(1)と一緒に移動する。その移動中、位置検知手段(38,S1-S13,48)が移動位置を検知する。また、カメラ(22)は移動中、常に動画像または連続静止画像を撮影する。検出手段(38,S21,S31-S35)は、その動画像または静止画像に基づいて特定施設があるかどうか検出する。特定施設、たとえばトイレ、コンビニ、自販機などを検出手段が検出したとき、登録手段(38,S37)は、その検出地点を登録する。ユーザが入力操作(S23)をしたとき、提示手段(38,S25)は、登録手段によって登録されている検出地点のうちの、最寄りの検出地点をユーザに提示する。提示方法は、表示器に表示する方法などがある。
【0011】
第1の発明によれば、ユーザが実際に移動しているときカメラで撮影したカメラ画像から特定施設を検出するようにしているので、地図データがなくても、あるいは地図に載っていなくても、ユーザが必要とする特定施設の検出地点を的確に提示できる。
【0012】
第2の発明は、第1の発明に従属し、特定施設には独自のマークまたは図形が設定されていて、検出手段は、カメラ画像中にそのマークまたは図形が含まれているとき、特定施設の存在を検出する、携帯型ナビゲーション装置である。
【0013】
第2の発明では、検出手段は、カメラ画像をSIFTやSURFなどの技法に従って画像処理し、画像処理した結果データベースに予め登録しているマークまたは図形に類似するとの判断があるとき、特定施設がカメラ画像中において検出される。第2の発明によれば、簡単な画像処理で特定施設を検出できる。
【0014】
第3の発明は、第1または第2の発明に従属し、位置検知手段が検知した移動位置に基づいて移動経路を生成する移動経路生成手段をさらに備え、提示手段は、移動経路とともに検出地点を提示する、携帯型ナビゲーション装置である。
【0015】
第3の発明では、移動経路生成手段(38,S1-S13)は、たとえば位置検知手段に含まれるGPS手段(48)などが検知した移動位置から移動軌跡を生成する。そして、提示手段は、その移動経路とともに、検出地点を提示する。第3の発明によれば、移動経路と共に検出地点が提示されるので、その検出地点が自分が移動してきたどのあたりか容易に把握することができる。
【0016】
第4の発明は、第1ないし第3の発明のいずれかに従属し、移動経路に従って検出地点まで逆方向に誘導する誘導手段をさらに備える、携帯型ナビゲーション装置である。
【0017】
第4の発明では、誘導手段(38,S27,S41-S51)は、移動経路生成手段が生成した移動経路に従って、ユーザを検出地点まで逆方向に誘導する。第4の発明によれば、ユーザが自分の移動した移動経路を思い出せなかったり、十分理解できなかったりしたときでも、ユーザを特定施設に誘導することができる。
【0018】
第5の発明は、第1ないし第4の発明のいずれかに従属し、検出手段は複数種類の特定施設を検出し、ユーザの入力操作は特定施設の種類を指定する入力操作を含み、提示手段は、ユーザが指定した特定施設の最寄りの検出地点を提示する、携帯型ナビゲーション装置である。
【0019】
第5の発明では、トイレ、コンビニなど複数種類の特定施設を検出し、ユーザの指定に応じて、その指定する特定施設の最寄りの検出地点を提示することができる。
【0020】
第6の発明は、カメラを備え、ユーザとともに移動する、携帯型ナビゲーション装置のコンピュータによって実行されるナビゲーションプログラムであって、コンピュータを、ユーザとともに移動するときの移動位置を検知する位置検知手段、移動中にカメラで撮影したカメラ画像に基づいて特定施設を検出する検出手段、検出手段によって特定施設を検出したときの移動位置に関連して検出地点を登録する登録手段、およびユーザの入力操作に応答して、登録手段に登録されている最寄りの検出地点を提示する提示手段として機能させる、ナビゲーションプログラムである。
【0021】
第6発明によれば、第1の発明と同様の効果が期待できる。
【発明の効果】
【0022】
この発明によれば、ユーザが実際に移動しているときにその移動経路に存在していた特定施設を自動的に検出し、その検出地点を記憶しておくので、地図データがなくても、あるいは地図に載っていなくても、ユーザが必要とする特定施設の場所をユーザに提示することができる。
【0023】
この発明の上述の目的,その他の目的,特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【図面の簡単な説明】
【0024】
【図1】図1はこの発明の一実施例の携帯型ナビゲーション装置の外観を示す図解図である。
【図2】図2は図1実施例の携帯型ナビゲーション装置の利用形態の一例を示す図解図である。
【図3】図3は実施例の携帯型ナビゲーション装置の構成を示すブロック図である。
【図4】図4は実施例の携帯型ナビゲーション装置のRAMのメモリマップの一例を示す図解図である。
【図5】図5は実施例の携帯型ナビゲーション装置における経路データ取得動作の一例を示すフロー図である。
【図6】図6は図5実施例で取得して経路データ領域に記録される経路データの一例を示す図解図である。
【図7】図7は実施例の携帯型ナビゲーション装置において特定施設を探索して記録し、必要に応じてユーザに最寄りの特定施設を提示する全体動作の一例を示すフロー図である。
【図8】図8は図7実施例において検出対象の探索動作の一例を示すフロー図である。
【図9】図9は図8実施例において探索した探索済み対象リストの一例を示す図解図である。
【図10】図10は図7実施例においてユーザが選択した最寄りの特定施設を提示する表示の一例を示す図解図である。
【図11】図11は図7実施例における誘導動作の一例を示すフロー図である。
【発明を実施するための最良の形態】
【0025】
図1を参照して、一実施例の携帯型ナビゲーション装置10は、典型的には、いわゆるスマートフォンのように、携帯電話機の機能とPDA(Personal Digital Assistant)の機能とを併有する携帯情報端末である。実施例では、一例として、アップル社製の携帯電話機iphone(商品名)を想定しているが、勿論、他社の同等の機能を有する携帯電話機、スマートフォン、PDAなど任意の携帯情報端末が利用可能である。
【0026】
実施例の携帯型ナビゲーション装置10は、トイレ、コンビニ、自販機など、必要性を感じていないとき、すなわち探していない場合には気付かずに通り過ぎてしまいがちな施設を、ユーザが移動した経路上で自動的に検出し、その検出地点を記憶しておき、ユーザが必要を感じたときには、その施設の検出地点をユーザに提示する、一種の記憶補完装置である。ただし、実施例のナビゲーション装置10では、さらに必要なら、ユーザをその検出地点まで誘導するようにしている。この実施例のナビゲーション装置によれば、ユーザが移動時に実際に通った経路上の特定施設を検出して記録または記憶しておくので、地図データがなくても、あるいは地図に掲載されていなくても、ユーザが通った経路上の最寄りの特定施設の場所を提示できる。
【0027】
実施例の携帯型ナビゲーション装置10はほぼ矩形の扁平なハウジング12を含み、ハウジング12の前面には、たとえばLCD(液晶表示器)のような表示器14が設けられ、表示器14の上にはタッチパネル16が配置される。タッチパネル16は、抵抗膜式または静電容量式のいずれでもよく、あるいは別の方式のタッチパネルであってよい。
【0028】
表示器14の右側のハウジング前面には、「ホームボタン」と呼ばれる押しボタンスイッチ18が設けられ、このスイッチ18は、メニューを選択したり、カメラのシャッタとして用いられたり、様々に利用されるハードスイッチである。このスイッチ18の上の右側面には、図1において点線で示すマイク20が設けられる。
【0029】
表示器14の左側のハウジングの後面には、図1において点線で示すカメラ22が設けられる。このカメラ22は、映像または画像の入力手段またはそれの一部を構成する。カメラ22の下方のハウジング12の前面には、スピーカ24が配置される。
【0030】
タッチパネル16の下の表示器14には、このナビゲーション装置10のユーザが記憶補完を望む施設の1つであるトイレおよびコンビニを示すトイレボタン26およびコンビニボタン28が、いわゆるソフトキーとして表示される。ユーザがこのトイレボタン26またはコンビニボタン28の位置でタッチパネル16にタッチすることによって、そのときユーザがトイレまたはコンビニを対象として選択したことを示す信号が、後述のCPU38に入力される。ただし、特定施設としては、ここで挙げたトイレやコンビニに限らず、自販機、スーパーマーケットなど他の任意の施設が考えられる。
【0031】
このような、携帯端末によって構成された実施例の携帯型ナビゲーション装置10は、たとえば、図2に示す利用形態で利用される。つまり、携帯型のナビゲーション装置10は、ユーザ(歩行者)1の首に掛けたストラップ11で、ユーザ1のほぼ胸の位置に吊り下げられる。このとき、カメラ22は前方を撮影できるようにされていて、動画または連続静止画を撮影できるモードに設定される。静止画の場合の撮影時間間隔は任意ではあるが、たとえば1秒程度でよい。動画撮影の場合はその装置に設定されているデフォルトのフレームレートで撮影される。
【0032】
図3を参照して、携帯型ナビゲーション装置10は、上で説明した表示器14、タッチパネル16、スイッチ18、マイク20、カメラ22およびスピーカ24の他、ジャイロセンサ(3軸地磁気センサ)30および3軸加速度センサ32を含み、これらのジャイロセンサ30および加速度センサ32からのセンサデータは、センサI/F34を通して、入力される。
【0033】
実施例の携帯型ナビゲーション装置10はさらに、CPU38、ROM40、RAM42、フラッシュメモリ44、無線通信回路46、GPS回路48および時計回路50を含む。無線通信回路46は、このナビゲーション装置10によって音声通話(電話)をし、あるいはネットに接続してデータや電子メールの送受信を行なうことができる。GPS(Global Positioning System:地球測位システム)回路48は、このナビゲーション装置10の現在位置を特定するために用いられる。時計回路50によって現在時刻を知ることができる。
【0034】
上述のジャイロセンサ30は、直交3軸方向の地磁気の強さを検知するもので、この実施例では、CPU38とともに電子コンパスまたはディジタルコンパスを構成するために利用される。電子コンパスは、よく知られているように、2つの地磁気センサを直角に組み合わせて、前後方向と左右方向の地磁気を検出し、その強さからどちらが北の方向なのかを計算する。3軸加速度センサ32は、この実施例では、この装置10を携帯している人間、つまり歩行者の歩行速度を計測するために用いられる。ただし、加速度センサ32の出力によって歩行速度を計数する方法はよく知られたところであり、ここでは詳細説明は省略する。
【0035】
また、ジャイロセンサ30および加速度センサ32の出力に基づいて、歩数を計測することもできる。たとえばデパートやスーパーケットのような大型店舗の中ではGPSが効かないので、その間の移動(歩行)経路は、コンパスによる方位データと歩数に基づく歩行距離データで推定する。ただし、ジャイロセンサや加速度センサの出力によって歩数を計数する方法はよく知られたところであり、詳細説明は省略する。
【0036】
ナビゲーション装置10に含まれるRAM42には、図4に示すように、プログラム領域52およびデータ領域54が設けられる。プログラム領域52にはROM40に予め設定されている種々のプログラムが使用に際して展開される。たとえばOS領域521にはマルチタスクOS(Multi-task Operating System)が記憶される。
【0037】
探索プログラム領域522には、後述の図6に示すように、カメラ22で撮影した画像をたとえばSIFT(Scale-Invariant Feature Transform:特徴点の検出と特徴量の記述を行うアルゴリズムであり、検出した特徴点に対して、画像の回転、スケール変化、照明変化等にロバストな特徴量を記述する。)やSURF(Speeded Up Robust Features:ロバストな画像検出および記述を行なうアルゴリズムである。)の技法を用いてパターン認識をすることによって、トイレやコンビニのような特定施設を探索するためのプログラムが設定されている。この探索プログラムは、トイレなどの検出対象を探索し、発見した検出対象をリストに登録するプログラムである。
【0038】
経路記録プログラム領域523には、実施例のナビゲーション装置10を図2のように保持して歩行(移動)するときの経路のデータ(後述)を記録するためのプログラムが記憶されている。
【0039】
上述のようにナビゲーション装置10には、または、ナビゲーション装置10に付属して、センサI/F34を介して、ジャイロセンサなどの各種センサ30および32が設けられるが、これらのセンサ30および32からのセンサデータを取り込むためのセンサデータ取得プログラムがセンサデータ取得プログラム領域524に設定される。そして、GPS回路48を用いてナビゲーション装置10の現在位置のデータを取得するためのGPSデータ取得プログラムがGPSデータ取得プログラム領域525に設定される。
【0040】
なお、上述の経路記録プログラムによって記録する、経路データを取得するための手段としては、実施例では、センサデータ取得プログラムで取得したジャイロセンサ30や加速度センサ32の出力データおよびGPSデータ取得プログラムで取得したGPSデータを利用する。GPSデータは、ナビゲーション装置10の現在位置を示す現在位置データとして利用される。ジャイロセンサ30の出力データは、ユーザが直進中か、右折したか、あるいは左折したかのデータを取得するために利用される。方位を特定できる電子コンパスは、上述のように、ジャイロセンサ30の出力データに基づいて方位を特定する。加速度センサ32の出力データは、上述のように、移動(歩行)速度や歩数のデータを取得するために利用される。
【0041】
誘導プログラム領域526には、経路記録プログラム523で記録した経路上の、探索プログラム522で探索した最寄りの特定施設をユーザに提示し、必要に応じてユーザを当該特定施設へ誘導するためのプログラムが設定されている。
【0042】
RAM42のデータ記憶領域54には、センサデータ記憶領域541が設定され、センサデータ記憶領域541には、上述のセンサデータ取得プログラム524、525で取得したセンサデータ(GPS、加速度、ジャイロなど)のデータが一時的に記憶される。
【0043】
探索対象画像データベース542には、実施例のナビゲーション装置10で探索対象に決められている施設、たとえばトイレ、コンビニ、自販機などの画像、典型的には、トイレを表す絵文字(ピクトグラフ)、コンビニの各社のサービスマーク(図形)、自販機の外形図形などの特徴量が予め登録されている。なお、トイレを示す絵文字には複数種類の絵文字があるので、この複数の絵文字をできるだけ多く登録しておくことが望ましい。また、コンビニの図形マークにしても、大手のコンビニだけでなく、できるだけ多くのマーク図形を登録しておくことが望ましい。また、自販機の外形形態は千差万別だが、一定の大きさのハウジングがあり、その前面の囲まれた領域に商品見本や販売ボタンがあるという基本姿態では共通性があるので、代表的な何種類かの外形図形を登録しておけばよい。
【0044】
検出対象施設リスト領域543には、探索プログラム522で探索した対象施設、トイレ、コンビニ、自販機の別を示すデータが、検出時刻および検出地点のデータとともに、図9に例示するリストの形式で、または他の任意の形式で、登録される。
【0045】
経路データ領域544には、たとえば後述の図8で示すような、経路データが記憶される。経路データには、時刻データとそのときの歩行者(ユーザ)の歩行状態、たとえば直進か右左折かなどが、一例として、1秒に1回、記録される。
【0046】
ワーキング領域545は、一時記憶領域である。
【0047】
なお、図3の実施例では、各センサ30および32は有線でセンサインタフェース34に接続され、したがって、センサデータは有線でCPU38に取り込まれるものとして図示した。しかしながら、これらのセンサ30および32のセンサデータは、たとえばBluetooth(商品名)やZigbee(商品名)の近距離無線を用いて、無線で入力することも考えられる。この場合には、センサデータ取得プログラム524は、無線通信回路46からセンサデータを取り込むように変更される。
【0048】
ここで、図5を参照して、この実施例のナビゲーション装置10において、経路データを取得して記録する動作を説明する。ただし、経路取得動作は、移動(歩行)の開始から終了まで、図5に従って自動的に、ほぼ1秒に1回、実行され得る。ただし、移動を開始するときにはナビゲーション装置10の電源を入れておくとともに、前述のように、カメラ22を作動状態(オン)にしておく。
【0049】
最初のステップS1では、CPU38は、ジャイロセンサ30および加速度センサ32ならびにGPSデータを、センサデータ取得プログラム524ならびにGPSデータ取得プログラム525(図4)に従って取得する。これらセンサデータおよびGPSデータは、ワーキング領域545(図4)に一時的に保存される。それと共に、ステップS1ではさらに、カメラ22で撮影した画像データ(動画像の場合はそのときのフレームの画像の画像データ)を取り込む。図5の経路記録動作においては、カメラ画像は、後述のランドマーク検出のために、使う。
【0050】
ステップS3において、CPU38は、一時保存したセンサデータおよびGPSデータに基づいて、ユーザ(歩行者)が直進しているのか、右折したのか、それとも左折したのかを認識する。この直進/右左折の認識は特に、ジャイロセンサ30のデータの変化をチェックすることによって、容易に判断できる。たとえば、角速度の左右変化なければ直進、左右どちらかに変化した場合には左折または右折と判断することができる。
【0051】
そして、ステップS5において、CPU38は、ステップS3で認識した歩行状態が右左折を示すかどうか判断する。
【0052】
右左折の場合、ステップS5で“YES”となり、次のステップS7で、その右左折の時刻として、時計回路50の時刻データを記録する。それと共に、ステップS9で、GPSデータに基づいて、直進距離を推定するとともに、カメラ画像を画像処理することによって、右左折地点の目印(ランドマーク)を検出する。目印の例としては、典型的には、信号機が挙げられるが、その他、赤い看板とか、大きな屋外ディスプレイなどを検出することができる。特に大型店舗内での右左折地点には信号機がないので、これら看板などを右左折の目印にするとよい。
【0053】
なお、「直進距離」とは、この地点で右左折するまで直進した距離、1つ前の右左折地点からの距離をいい、この距離は、後述の「最寄りの特定施設の提示」の際に、経路に沿って表示する。特定施設を提示するとき、距離を併せて表示することによって、ユーザの利便性が一層向上する。
【0054】
なお、この実施例では、図6の移動経路データとして、各時刻でのGPSデータも記録するようにしているが、この時刻毎のGPSデータは、図10に示すように移動地点をプロットして1本の移動経路にとして表示するときなどに使う。ただし、図6では、図面が煩雑になるのを防ぐために、GPSデータは直近の1つだけが図示されている。
【0055】
ステップS5で“NO”を判断した場合、直進であるので、次のステップS11で、そのときの直進中の時刻の時刻データを記録する。それと共に、ステップS13で、カメラ画像を画像処理することによって、当該直進中地点での目印(ランドマーク)を検出する。目印の例としては、ステップS9の場合と同様に考えられる。
【0056】
図5に従って検出した移動(歩行)経路の経路データの一例が図6に示される。この図6では、後述の図9の場合も同様であるが、図面の下から上へ時間が経過するように表現している。そして、図6の例では、10時00分02秒およびそれ以前から東向きの直進が続き、10時00分27秒に左折して北方向へ向きを変えたことが分かる。そして、左折地点までの東向き直進距離が300mであると記録されている。
【0057】
次に、図7を参照して、実施例のナビゲーション装置10における特定施設の探索からユーザへの提示、誘導までの全体的な動作を説明する。この図7の動作は、基本的には、CPU38のマルチタスク機能によって、図5の経路記録動作と並行して、たとえば1秒に1回実行されるものである。したがって、図7の最初のステップS21においては、図5のステップS1で取得したセンサデータおよびカメラ画像を利用して、探索プログラム522に従って、探索対象画像データベース542(図4)に探索対象として予め登録されている特定施設を探索する。
【0058】
詳しくは、図8に示すように、ステップS31で、探索プログラム522に従って、図5のステップS1で取得したカメラ画像をSIFTまたはSURFなどの技法で処理して、カメラ画像からマークまたは図形の特徴量を求める。次いで、ステップS33において、ステップS31で抽出した特徴量と探索対象画像データベース542に予め登録しているマークまたは図形の特徴量と比較することによって、つまり、カメラ画像から検出したマークまたは図形と登録マークまたは図形とを比較することによって、そのときのカメラ画像に探索対象特定施設が含まれているかどうか、およびその特定施設の種類(トイレ、コンビニ、自販機など)は何かを判断する。
【0059】
含まれているなら、次のステップS35でCPU38は“YES”を判断するので、CPU38は、続くステップS37において、図9に示す検出対象施設リストに、そのとき検出した特定施設を追加登録する。
【0060】
なお、図9の例においては、左欄に、時計回路50からの時刻データに従った検出時刻のデータが記録され、中欄に、ステップS43で判別した検索済み特定施設の種類データが記録され、右欄に、たとえばGPSデータに従って当該特定施設の検出地点の経緯度データが記録される。
【0061】
なお、通常速度で歩行している場合で考えると、特定施設が一瞬(1秒)だけ検出されることはごく稀であり、普通は、同じ特定施設が連続して何回か検出されるはずである。そのような場合、実施例では、最後に検出した時点で当該特定施設を登録するようにしている。なぜなら、通常は、最後に検出した位置でその特定施設を通り過ぎたと考えられるので、最後に検出した位置が特定施設の実際の位置に最も近いと考えられるからである。
【0062】
そのために、図9に示す検出対象特定施設リストを登録する際には、検出の都度そのとき検出した特定施設の種類を上書きし、検出されなくなると、直前の検出地点が最後の検出地点となるようにしている。
【0063】
図7に戻って、次のステップS23で、CPU38は、ユーザ(歩行者)が、ナビゲーション装置10によって記憶補完をしてもらいたい特定施設を対象として選択したかどうか、判断する。この判断は、先に説明したように、タッチパネル16の、ボタン26または28(図1)の領域にユーザがタッチしたかどうかをタッチ検出プログラム(図示せず)に従って判断することによって、実行できる。
【0064】
このステップS23で、もし、トイレボタン26へのタッチを検出したとした場合、次のステップS25で、たとえば図10に示すように、最寄りのトイレの場所(最後の検出地点)を、移動経路56とともに、表示器14に表示する。ただし、この移動経路56は、図6の移動経路データに含まれるGPSデータに従ってプロットするだけで簡単に描画できる。
【0065】
図10の表示例では、最後にトイレを検出した時刻も表示するようにしているので、その時刻との対比の便利のために、表示器14に現在時刻表示領域58を設け、そこに現在時刻(ユーザがステップS23で選択した時刻)を表示するようにしている。また、図10では、先のステップS9で検出した直進距離も移動経路56に沿って表示している。たとえば、図10の表示例でいえば、最初の北向きの左折から次の東向きの右折までの直進距離が350mで、右折の直進距離が90mで、最後の左折から現在までの直進距離が300mであることがわかる。
【0066】
ステップS25で、ユーザの選択した特定施設の最寄りの検出地点を提示した後、ステップS27で、現在地からその最寄りの検出地点まで、ユーザを逆に方向に誘導する。ただし、このステップS27はオプションで、不要なら削除すればよいし、図示しないGUIを表示してユーザに「最寄りの検出地点まで誘導しましょうか?」と質問して、ユーザが「はい」と答えたときだけ実行するようにしてもよい。
【0067】
図11を参照して、逆方向への誘導動作について説明する。
【0068】
最初のステップS41で、CPU38は、ユーザが選択した対象特定施設から現在地までの図6に示すような移動経路のデータを、経路データ領域544(図4)から読み出す。そして、ステップS43で、次の右左折までの直進距離(図6の右欄に括弧書きで示す。)を提示するとともに、もしあれば、その右左折地点にある目印(ランドマーク)、たとえば特定色の看板、信号などを提示する。このステップS43での直進距離や目印の提示は、図10のような特定施設の最寄りの検出地点の提示と同じようにして、表示器14で経路56を表示しながら提示できる。
【0069】
そして、次のステップS45において、CPU38は、そのときステップS1(図5)で取得しているセンサデータやカメラ画像のデータをセンサデータ領域541(図4)から読み出して、ステップS47で、直進すべきなのか、右折すべきなのか、左折すべきなのかを認識する。たとえば、ステップS41で読み出した経路データに記録されている時刻毎のGPSデータと、その逆方向誘導時のGPSデータ(現在地)とを比較するなどの方法で、直進/右左折を認識することができる。ただし、GPSが使えない室内では、前述のように、歩数を計測するなどして、現在地点を予測する必要がある。
【0070】
ステップS49で“YES”のとき、すなわち、右/左折すべきとステップS49で判断したとき、次のステップS51で、CPU38は、次の右左折地点までの経路の提示に切り換える。
【0071】
上述の実施例では、経路上で複数種類の特定施設を探索でき、ユーザがそのうちのいずれかを指定または選択できるようにしたが、1つの種類の特定施設だけを探索するようにしてもよい。その場合には、ユーザの選択(ステップS23:図7)は不要であり、たとえばタッチパネルにタッチするだけで、ステップS25に進むようにしてもよい。
【0072】
また、最寄りの特定施設をユーザに提示する方法として、図10に示すように、表示器14に移動経路56を表示し、その移動経路に沿って特定施設の検出地点を表示した。しかしながら、移動経路56のような図形を表示しないで、たとえば「時刻(何時何分何秒)にトイレを検出しました。」のように、テキストだけで表示するようにしてもよい。さらには、表示器14上での表示ではなく、スピーカ24からたとえば「時刻(何時何分何秒)にトイレを検出しました。」という音声出力として提示するようにしてもよい。
【0073】
また、実施例では、ユーザは歩行者であり、その歩行者の歩行と共に移動して前方にある特定施設を探索するものとして説明した。しかしながら、この発明の携帯型ナビゲーション装置は歩行者に保持されて移動するものの他、たとえば車椅子で移動している者とともに移動するものであってよい。つまり、歩行者専用ではない。
【符号の説明】
【0074】
10 …携帯型ナビゲーション装置
14 …表示器
16 …タッチパネル
38 …CPU(コンピュータ)
42 …RAM
52 …プログラム領域
54 …データ記憶領域
【特許請求の範囲】
【請求項1】
カメラを備え、ユーザとともに移動する、携帯型ナビゲーション装置であって、
ユーザとともに移動するときの移動位置を検知する位置検知手段、
移動中に前記カメラで撮影したカメラ画像に基づいて特定施設を検出する検出手段、
前記検出手段によって前記特定施設を検出したときの移動位置に関連して検出地点を登録する登録手段、および
ユーザの入力操作に応答して、前記登録手段に登録されている最寄りの検出地点を提示する提示手段を備える、携帯型ナビゲーション装置。
【請求項2】
前記特定施設には独自のマークまたは図形が設定されていて、
前記検出手段は、前記カメラ画像中にそのマークまたは図形が含まれているとき、前記特定施設の存在を検出する、請求項1記載の携帯型ナビゲーション装置。
【請求項3】
前記位置検知手段が検知した移動位置に基づいて移動経路を生成する移動経路生成手段をさらに備え、前記提示手段は、前記移動経路とともに前記検出地点を提示する、請求項1または2記載の携帯型ナビゲーション装置。
【請求項4】
前記移動経路に従って前記検出地点まで逆方向に誘導する誘導手段をさらに備える、請求項1ないし3のいずれかに記載の携帯型ナビゲーション装置。
【請求項5】
前記検出手段は複数種類の特定施設を検出し、前記ユーザの入力操作は特定施設の種類を指定する入力操作を含み、前記提示手段は、前記ユーザが指定した特定施設の最寄りの検出地点を提示する、請求項1ないし4のいずれかに記載の携帯型ナビゲーション装置。
【請求項6】
カメラを備え、ユーザとともに移動する、携帯型ナビゲーション装置のコンピュータによって実行されるナビゲーションプログラムであって、
前記コンピュータを、
ユーザとともに移動するときの移動位置を検知する位置検知手段、
移動中に前記カメラで撮影したカメラ画像に基づいて特定施設を検出する検出手段、
前記検出手段によって前記特定施設を検出したときの移動位置に関連して検出地点を登録する登録手段、および
ユーザの入力操作に応答して、前記登録手段に登録されている最寄りの検出地点を提示する提示手段
として機能させる、ナビゲーションプログラム。
【請求項1】
カメラを備え、ユーザとともに移動する、携帯型ナビゲーション装置であって、
ユーザとともに移動するときの移動位置を検知する位置検知手段、
移動中に前記カメラで撮影したカメラ画像に基づいて特定施設を検出する検出手段、
前記検出手段によって前記特定施設を検出したときの移動位置に関連して検出地点を登録する登録手段、および
ユーザの入力操作に応答して、前記登録手段に登録されている最寄りの検出地点を提示する提示手段を備える、携帯型ナビゲーション装置。
【請求項2】
前記特定施設には独自のマークまたは図形が設定されていて、
前記検出手段は、前記カメラ画像中にそのマークまたは図形が含まれているとき、前記特定施設の存在を検出する、請求項1記載の携帯型ナビゲーション装置。
【請求項3】
前記位置検知手段が検知した移動位置に基づいて移動経路を生成する移動経路生成手段をさらに備え、前記提示手段は、前記移動経路とともに前記検出地点を提示する、請求項1または2記載の携帯型ナビゲーション装置。
【請求項4】
前記移動経路に従って前記検出地点まで逆方向に誘導する誘導手段をさらに備える、請求項1ないし3のいずれかに記載の携帯型ナビゲーション装置。
【請求項5】
前記検出手段は複数種類の特定施設を検出し、前記ユーザの入力操作は特定施設の種類を指定する入力操作を含み、前記提示手段は、前記ユーザが指定した特定施設の最寄りの検出地点を提示する、請求項1ないし4のいずれかに記載の携帯型ナビゲーション装置。
【請求項6】
カメラを備え、ユーザとともに移動する、携帯型ナビゲーション装置のコンピュータによって実行されるナビゲーションプログラムであって、
前記コンピュータを、
ユーザとともに移動するときの移動位置を検知する位置検知手段、
移動中に前記カメラで撮影したカメラ画像に基づいて特定施設を検出する検出手段、
前記検出手段によって前記特定施設を検出したときの移動位置に関連して検出地点を登録する登録手段、および
ユーザの入力操作に応答して、前記登録手段に登録されている最寄りの検出地点を提示する提示手段
として機能させる、ナビゲーションプログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【公開番号】特開2012−98111(P2012−98111A)
【公開日】平成24年5月24日(2012.5.24)
【国際特許分類】
【出願番号】特願2010−245098(P2010−245098)
【出願日】平成22年11月1日(2010.11.1)
【国等の委託研究の成果に係る記載事項】(出願人による申告)平成21年6月19日付け、支出負担行為担当官 総務省大臣官房会計課企画官、研究テーマ「高齢者・障がい者(チャレンジド)のためのユビキタスネットワークロボット技術の研究開発」に関する委託研究、産業技術力強化法第19条の適用を受ける特許出願
【出願人】(393031586)株式会社国際電気通信基礎技術研究所 (905)
【Fターム(参考)】
【公開日】平成24年5月24日(2012.5.24)
【国際特許分類】
【出願日】平成22年11月1日(2010.11.1)
【国等の委託研究の成果に係る記載事項】(出願人による申告)平成21年6月19日付け、支出負担行為担当官 総務省大臣官房会計課企画官、研究テーマ「高齢者・障がい者(チャレンジド)のためのユビキタスネットワークロボット技術の研究開発」に関する委託研究、産業技術力強化法第19条の適用を受ける特許出願
【出願人】(393031586)株式会社国際電気通信基礎技術研究所 (905)
【Fターム(参考)】
[ Back to top ]