説明

誘導案内装置、誘導案内方法、誘導案内プログラムおよび記録媒体

【課題】撮影機器における撮影環境が悪化している場合であっても、誘導案内を行うことができる誘導案内装置、誘導案内方法、誘導案内プログラムおよび記録媒体を提供する。
【解決手段】誘導案内装置100は、撮影部101により車両400の前景をリアルタイムで撮影し、撮影した撮影画像が鮮明な鮮明画像であれば、サーバ200に鮮明画像を記憶しておく。誘導案内装置100は、ランドマーク等の視認性が悪化していると、過去にサーバ200に記憶された鮮明画像を参照し、目的地への案内の目標物となる案内目標物を特定した上で、案内目標物に基づいて目的地への案内を行う。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、誘導案内を行うための誘導案内装置、誘導案内方法、誘導案内プログラムおよび記録媒体に関する。
【背景技術】
【0002】
従来から、車両等に搭載した撮影機器(カメラ)によって実際の景色を撮影し、この撮影した撮影画像を用いて目的地へのルートを案内する技術が知られている。例えば、特許文献1には、撮影した撮影画像から看板やランドマーク等の目標物を認識させる画像認識を行い、画像認識された目標物を用いて目的地へのルートを案内する技術が記載されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2005−249504号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、撮影機器によって撮影した撮影画像を用いて目的地へのルートを案内する場合において、夜間、大雨又は濃霧等の撮影環境が悪化しているときには、撮影した撮影画像が不鮮明となり、撮影した撮影画像からランドマーク等の目標物を認識できず、目標物を用いて目的地へのルートを案内することができないケースが生じる。
【0005】
例えば、撮影環境が良好な昼間走行であれば、図1(a)に示すように、昼間走行中に撮影した撮影画像を用いて、「50m前方に確認できる郵便ポストを目標物に、その交差点を左です」などと案内できる。しかしながら、撮影環境が悪化している夜間走行では、図1(b)に示すように、夜間走行中に撮影した撮影画像からは50m前方にある郵便ポストを認識できず、郵便ポストを目標物に目的地へのルートを案内することができない。
【0006】
本発明の目的は、撮影機器における撮影環境が悪化している場合であっても、目標物に基づいて、誘導案内を行うことができる誘導案内装置、誘導案内方法、誘導案内プログラムおよび記録媒体を提供することである。
【課題を解決するための手段】
【0007】
請求項1の発明にかかる誘導案内装置は、撮影画像を用いて特定された案内の目標物となる案内目標物に基づいて誘導案内を行う誘導案内装置であって、前記撮影画像を取得する撮影手段と、現在の位置を特定するための位置情報を取得する位置情報取得手段と、前記撮影手段によって取得された撮影画像が鮮明でない場合に、所定の記憶部に記憶されている鮮明画像から前記位置情報取得手段によって取得された位置情報に対応する前記鮮明画像を、前記撮影画像に代わる代替画像として取得する代替画像取得手段と、前記代替画像取得手段により取得された前記代替画像に基づいて、前記案内目標物を特定して案内情報を生成する案内情報生成手段と、を備えたことを特徴とする。
【0008】
請求項6の発明にかかる誘導案内方法は、撮影画像を用いて特定された案内の目標物となる案内目標物に基づいて誘導案内を行う誘導案内方法であって、前記撮影画像を取得する撮影工程と、現在の位置を特定するための位置情報を取得する位置情報取得工程と、前記撮影工程によって取得された撮影画像が鮮明でない場合に、所定の記憶部に記憶されている鮮明画像から前記位置情報取得工程によって取得された位置情報に対応する前記鮮明画像を、前記撮影画像に代わる代替画像として取得する代替画像取得工程と、前記代替画像取得工程により取得された前記代替画像に基づいて、前記案内目標物を特定して案内情報を生成する案内情報生成工程と、を含むことを特徴とする。
【0009】
請求項7の発明にかかる誘導案内プログラムは、請求項6に記載の誘導案内方法をコンピュータに実行させることを特徴とする。
【0010】
請求項8の発明にかかる記録媒体は、請求項7に記載の誘導案内プログラムを記録したことを特徴とする。
【図面の簡単な説明】
【0011】
【図1】従来技術における誘導案内装置の案内表示を示す図である。
【図2】誘導案内装置とサーバとのシステム構成図の一例を示す図である。
【図3】誘導案内装置及びサーバの機能的構成を示すブロック図の一例を示す図である。
【図4】誘導案内装置とサーバとのシーケンス図の一例を示す図である。
【図5】サーバにおける代替画像の記憶更新処理を示すフローチャート図の一例を示す図である。
【図6】サーバのデータベースに記憶される代替画像データ及び区間情報の概念図の一例を示す図である。
【図7】誘導案内装置における撮影画像と代替画像との画像調整処理を示すフローチャート図の一例を示す図である。
【図8】誘導案内装置における撮影画像と代替画像との画像調整処理の概念図の一例を示す図である。
【図9】誘導案内装置における案内情報生成処理を示すフローチャート図の一例を示す図である。
【図10】誘導案内装置の案内表示の一例を示す図である。
【図11】変形例1における誘導案内装置の機能的構成を示すブロック図の一例を示す図である。
【発明を実施するための形態】
【0012】
(誘導案内装置とサーバとのシステム構成図)
まず、図2を参照して、誘導案内装置100とサーバ200とのシステム構成図について説明する。
【0013】
本実施形態では、誘導案内装置100は、車両400に搭載されるナビゲーション装置で構成されている。
この誘導案内装置100には、カメラ等の撮影部101が設けられ、撮影部101により車両400の進行方向における前景がリアルタイムで撮影される。
【0014】
また、誘導案内装置100には、インターネット等の公衆回線300と無線によりデータの送受信を行うために、アンテナ110が設けられている。これにより、誘導案内装置100は、公衆回線300を介して、サーバ200にアクセス可能になっている。
具体的には、誘導案内装置100からサーバ200にデータを送信する場合には、誘導案内装置100に設けられたアンテナ110からデータが無線で出力され、出力されたデータが公衆回線300に接続された通信基地局301に入力される。そして、通信基地局301に入力されたデータがサーバ200に送信される。サーバ200から誘導案内装置100にデータを送信する場合も、通信経路は逆であるものの同様である。このようにして、誘導案内装置100とサーバ200とは、お互いにデータを送受信可能になっている。
なお、図2において、アンテナ110は、車両400から飛び出して記載されているが、誘導案内装置100の内部に設けられていてもよいし、フィルムアンテナ等であってもよい。
【0015】
そして、誘導案内装置100は、撮影部101により撮影された撮影画像データをサーバ200に送信して、サーバ200のデータベースに撮影画像データを逐次記憶させる。
【0016】
サーバ200は、誘導案内装置100からの撮影画像データを受信すると、受信した撮影画像データを、地図情報上の区間情報ごとに、サーバ200のデータベースに記憶する(後述する図6参照)。
特に、サーバ200のデータベースは、利用者毎に分かれておらず、自己の車両400のみならず、プローブカーや第三者の車両400からの撮影画像データも同じデータベースに記憶されるので、走行したことがないルートを走行中の車両400であっても、第三者の車両400からの撮影画像データを参照することができる。
【0017】
さらに、サーバ200は、誘導案内装置100から特定の出力要求信号を入力すると、データベースに記憶された特定の撮影画像データを誘導案内装置100に送信するように構成されている。詳しくは、図4の誘導案内装置100とサーバ200とのシーケンス図を用いて後述する。
【0018】
(誘導案内装置及びサーバの機能的構成を示すブロック図)
次に、図3を参照して、誘導案内装置100及びサーバ200の機能的構成を示すブロック図について説明する。ここでは、誘導案内装置100の機能的構成を示すブロック図について説明した後、サーバ200の機能的構成を示すブロック図について説明することにする。
【0019】
ここで、本実施形態では、「画像」とは、後述する画像表示部109に表示され、視認可能なものをいい、「画像データ」とは、画像表示部109に表示させるためのデータをいうものとする。
また、上述した通り「撮影画像」とは、撮影部101により撮影された今現在(リアルタイム)の画像をいい、後述する「代替画像」とは、上記撮影画像に代替し、上記撮影画像のうちで、過去の鮮明な画像をいう。
【0020】
(誘導案内装置100のブロック図)
図3に示すように、誘導案内装置100は、
被写体(車両の前景)を撮影する撮影部101と、
誘導案内装置100の制御処理を行う案内報知制御部102と、
様々なデータを記憶する案内装置記憶部103と、
車両の走行状態を検出する走行センサ104と、
GPS衛星からのGPS信号を受信するGPS受信部105と、
データの送受信を行う通信部106と、
操作の入力を受け付ける操作入力部107と、
音声を出力する音声出力部108と、
画像を表示する画像表示部109とが備えられている。
なお、図示は省略するが、これ以外にも、案内報知を行うために様々なデバイスが誘導案内装置100に備えられている。
【0021】
また、案内報知制御部102は、例えばCPU(Central Processing Unit)から構成され、誘導案内装置100に備えられた各種デバイスの制御処理を行う。
【0022】
この案内報知制御部102は、
撮影画像を取得する撮影画像取得部102aと、
速度情報を取得する速度情報取得部102bと、
現在の位置情報を取得する位置情報取得部102cと、
鮮明画像を記憶部203に記憶させる指示を行う記憶指示部102dと、
記憶部203から代替画像を取得する代替画像取得部102eと、
目的地までのルートを生成する目的地ルート生成部102fと、
目的地への案内音声を生成する案内音声生成部102gと、
音声出力部108の出力制御を行う音声出力制御部102hと、
表示する画像の調整を行う画像調整部102iと、
撮影画像と代替画像とを照合する照合部102jと、
目的地への案内画像を生成する案内画像生成部102kと、
画像表示部109の表示制御を行う画像表示制御部102mとを少なくとも備えている。
これらの案内報知制御部102に含まれる上記の取得部・生成部・制御部等は、バスを介して相互に接続されている。
なお、図示は省略するが、これ以外にも、案内報知を行うために様々な取得部・生成部・制御部等が案内報知制御部102に備えられている。
【0023】
案内装置記憶部103は、RAM(Random Access Memory)、HDD(Hard disk drive)、SSD(Solid State Drive)等の記憶装置から構成されている。
この案内装置記憶部103は、地図情報のデータベースを記憶する地図情報データベース103aと、撮影画像を一時的に記憶する撮影画像一時記憶部103bと、代替画像を一時的に記憶する代替画像一時記憶部103cと、目標物を記憶する目標物画像データベース103d等を有している。
また、代替画像一時記憶部103cは、複数の代替画像データが記憶できるように、所定の記憶容量が確保されている。
【0024】
ここで、「目標物」とは、目的地への案内に参照される画像であり、看板、街灯、特定のビル、ランドマーク等を示す画像をいう。また、目標物は、夜間、大雨又は濃霧等の撮影環境が悪化しているときでも識別しやすい、反射板を利用した路側帯や標識、信号灯、街灯などの「識別目標物」と、撮影環境が悪化していると識別しにくくなる「通常目標物」とから構成されている。なお、この識別目標物と通常目標物とは、光を発生又は反射する物か否かを基本として、区分けされている。
【0025】
撮影部101は、カメラ等から構成され、車両の前景を撮影し、撮影した撮影画像データを生成する。生成された撮影画像データは、撮影画像取得部102aによって取得され、撮影画像一時記憶部103bに記憶される。
【0026】
走行センサ104は、加速度センサ、角速度センサ等から構成され、各種信号を案内報知制御部102に出力する。
速度情報取得部102bは、走行センサ104から入力した信号に基づいて、現在の速度情報を取得する。
【0027】
GPS受信部105は、GPS衛星から時刻のデータ、衛星の軌道情報などが含まれたGPS信号を受信する。
そして、位置情報取得部102cは、GPS受信部105で受信したGPS信号と、速度情報取得部102bで取得した速度情報と、地図情報データベース103aに記憶された地図情報とに基づいて、現在の位置情報を取得する。
【0028】
通信部106は、入出力インターフェースであり、アンテナ110から無線でデータを送受信する。従って、通信部106は、アンテナ110、通信基地局301及び公衆回線300を介して、サーバ200と誘導案内装置100とのデータのやり取りを行っている。
また、記憶指示部102dは、撮影部101によって撮影された撮影画像が鮮明な撮影画像であると、かかる鮮明な撮影画像を代替画像として、後述するサーバ200の記憶部203に記憶させる指示を行う。かかる指示を受けて、通信部106は、代替画像の代替画像データを、サーバ200に出力することになる。
これに対して、サーバ200の記憶部203に記憶された代替画像データがサーバ200から出力されると、通信部106が代替画像データを入力し、代替画像取得部102eが代替画像データを取得する。
【0029】
操作入力部107は、ポインティングデバイスなどの入力装置や、タッチパネル式の入力装置から構成され、目的地等の情報の入力を受け付けたり、後述する「画像認識モード」の選択を受け付けたりする。
操作入力部107から目的地の情報の入力を受け付けると、目的地ルート生成部102fは、位置情報取得部102cによって取得された現在の位置情報と、入力された目的地の情報と、地図情報データベース103aに記憶された地図情報とに基づいて、目的地まで目的地ルート情報を生成する。
また、操作入力部107から「画像認識モード」の選択を受け付けると、サーバ200に対して、サーバ200の記憶部203に記憶された代替画像データを要求する指示を行う。
【0030】
ここで、「画像認識モード」とは、案内表示方法の一形態を示すものである。本実施形態においては、案内表示方法として、「画像認識モード」と「通常認識モード」との2つの案内表示方法を備えている。
このうち、「通常認識モード」は、夜間、大雨又は濃霧等の撮影環境の有無にかかわらず、リアルタイムに撮影した撮影画像を用いて案内表示を行うものであり、「画像認識モード」は、リアルタイムに撮影した撮影画像の代わりに、サーバ200に記憶されている鮮明な代替画像を用いて案内表示を行うものである。
【0031】
音声出力部108は、例えばスピーカ等から構成され、音声の出力を行う。
案内音声生成部102gは、目的地への案内音声を生成し、音声出力制御部102hが生成された案内音声を音声出力部108に出力させる。
【0032】
画像表示部109は、例えば液晶表示装置、有機ELディスプレイ等から構成され、画像の表示を行う。
照合部102jは、代替画像取得部102eによって取得された代替画像データと、撮影画像取得部102aによって取得された撮影画像データとを照合する。画像調整部102iは、照合部102jによる照合結果に基づいて、画像表示部109に表示させる画像を調整しながら、画像表示部109に表示させる表示画像を決定する。案内画像生成部102kは、画像調整部102iによって決定された表示画像に基づいて、目的地への案内画像を生成する。画像表示制御部102mは、案内画像生成部102kによって生成された案内画像及び画像調整部102iによって決定された表示画像を画像表示部109に表示させる。
【0033】
(サーバ200のブロック図)
次に、サーバ200の機能的構成を示すブロック図について説明する。
図3に示すように、サーバ200は、公衆回線300(図2において図示)からのデータを送受信する通信部201と、サーバ200の制御処理を行うサーバ制御部202と、様々なデータを記憶する記憶部203等を備えている。
【0034】
通信部201は、入出力インターフェースであり、公衆回線300を介して誘導案内装置100とデータを送受信する。従って、通信部201は、公衆回線300を介して、サーバ200と誘導案内装置100とのデータのやり取りを行っている。
【0035】
サーバ制御部202は、例えばCPUから構成され、サーバ200に関する制御処理を行い、記憶部203にデータを記憶させたり、記憶部203からデータを読み出して、読み出したデータを出力させたりする。
【0036】
記憶部203は、RAM、HDD、SSD等の記憶装置から構成されている。そして、記憶部203は、代替画像データのデータベースを記憶する代替画像データベース203a等を有している。
この代替画像データベース203aは、誘導案内装置100から受信した撮影画像データを代替画像として記憶しているデータベースであり、サーバ制御部202により適宜更新される。代替画像データベース203aは、図6で後述するように、地図情報の区間情報と走行速度区分(速度情報)とで区分けされている。
【0037】
(誘導案内装置とサーバとのシーケンス図)
図4を参照して、誘導案内装置100とサーバ200とのシーケンス図について説明する。
【0038】
ステップS10において、誘導案内装置100の案内報知制御部102は、加速度センサ、角速度センサ等の走行センサ104から入力した信号に基づいて、現在の速度情報を取得する速度情報取得処理を行う。
【0039】
ステップS20において、誘導案内装置100の案内報知制御部102は、GPS衛星からのGPS信号を受信し、受信したGPS信号、上記ステップS10において取得した速度情報及び地図情報データベース103aに記憶された地図情報に基づいて、現在の位置情報を取得する位置情報取得処理を行う。
【0040】
ステップS30において、誘導案内装置100の案内報知制御部102は、操作入力部107から目的地の情報の入力を受け付けると、操作入力部107により入力された目的地の情報、上記ステップS20において取得した現在の位置情報及び地図情報データベース103aに記憶された地図情報に基づいて、目的地まで目的地ルート情報を生成する目的地ルート生成処理を行う。
【0041】
ステップS40において、誘導案内装置100の案内報知制御部102は、撮影部101から撮影された撮影画像データを取得する撮影処理を行う。
【0042】
ステップS50において、誘導案内装置100の案内報知制御部102は、上記ステップS40で取得した撮影画像データを撮影画像一時記憶部103bに一時的に記憶させる撮影画像記憶処理を行う。
【0043】
ステップS60において、誘導案内装置100の案内報知制御部102は、撮影画像一時記憶部103bに記憶されている撮影画像データが、鮮明な撮影画像であるか否かを判定する鮮明判定処理を行う。
この鮮明判定処理としては、まず、目標物画像データベース103dを参照し、撮影画像データから画像認識処理により目標物を抽出する。そして、抽出した目標物の数が所定数以上であるか否かで判定することを行う。
なお、この鮮明判定処理として、目標物を抽出せずに、撮影画像の表示色の数が所定数以上か否か等で判定を行ってもよい。
また、現在の時刻の情報や、天気の情報等をインターネット上のサイト等から情報を取得して、当該鮮明判定処理を行うようにしてもよい。例えば、時刻がPM6:00以降である場合や、天気が雨である場合には、「鮮明な撮影画像でない」と判断するようにしてもよい。
【0044】
ステップS70において、誘導案内装置100の案内報知制御部102は、上記ステップS60において鮮明な撮影画像であると判定されれば、鮮明な撮影画像データを、サーバ200の記憶部203に記憶させる記憶指示処理を行う。
具体的には、この記憶指示処理では、サーバ制御部202に鮮明な撮影画像データを代替画像データベース203aに記憶させる指示を行う記憶指示データと、鮮明な撮影画像データと、上記ステップS60で判定された撮影画像データと、上記ステップS10で取得された速度情報と、上記ステップS20で取得された位置情報とを、サーバ200に送信する。
【0045】
ステップS210において、サーバ200のサーバ制御部202は、誘導案内装置100から上記ステップS70の記憶指示があると、受信した撮影画像データが更新条件を満たしていれば、受信した撮影画像データを更新して記憶させる更新記憶処理を行う。
この更新記憶処理については、詳しくは、図5及び図6を用いて説明する。
【0046】
ステップS80において、誘導案内装置100の案内報知制御部102は、「画像認識モード」が選択されているか否かの画像認識モード確認処理を行う。具体的には、操作入力部107から画像認識モードの選択を受け付けたか否かによって確認を行う。
ここで、画像認識モードが選択されていれば、次のステップS90に処理を移し、画像認識モードが選択されていなければ、次のステップS90の処理は行わずに、ステップS120に処理を移す。
本実施形態では、「所定の表示変更条件」として、操作入力部107から画像認識モードの選択を受け付けることとした。これにより、利用者が時間帯や視認性の状況を判断して、サーバ200にある代替画像データを利用するかどうか決めることができる。
しかしながら、「所定の表示変更条件」として、操作入力部107から画像認識モードの選択を受け付けることによらずに、夜間、大雨又は濃霧等の撮影環境が悪化していることを判定する判定部を設けて、判定部が撮影環境が悪化していると判定したことを条件としてもよい。これによれば、自動的に画像認識モードを選択させることができる。
【0047】
ステップS90において、誘導案内装置100の案内報知制御部102は、代替画像データベース203aから、現在の位置情報及び速度情報に対応する代替画像を要求する代替画像要求処理を行う。
具体的には、この代替画像要求処理では、サーバ制御部202に代替画像データベース203aに記憶されている代替画像データを出力させる出力要求データと、上記ステップS10において取得した速度情報と、上記ステップS20において取得した現在の位置情報と、「利用者情報」とをサーバ200に送信する。
ここで、「利用者情報」とは、目的地ルート情報を生成していれば、その目的地ルート情報を、目的地ルート情報を生成していなければ、ここまでの走行履歴情報を意味する。
【0048】
ステップS220において、サーバ200のサーバ制御部202は、受信した速度情報、位置情報及び利用者情報(目的地ルート情報、走行履歴情報)に基づいて、利用者の走行ルートを予測し、利用者に対応する代替画像データを準備する走行ルート予測処理を行う。
例えば、利用者情報として目的地ルート情報を入力していれば、目的地までのルート上から、これから走行する走行ルートを予測する。また、利用者情報として走行履歴情報を入力していれば、利用者の車両400が向かっている方向にあり、目的地として最も設定されやすいランドマーク等までのルート上から、走行ルートを予測する。
なお、走行ルートを予測に関しては、上述したものに限られるものではなく、適宜周知技術の走行ルートの予測を用いることができる。
【0049】
ステップS230において、サーバ200のサーバ制御部202は、上記ステップS220における予測に基づいて、最適な代替画像データを選択して送信する。
【0050】
ステップS100において、誘導案内装置100の案内報知制御部102は、サーバ200から代替画像データを受信して、代替画像一時記憶部103cに記憶する。
【0051】
ステップS110において、誘導案内装置100の案内報知制御部102は、画像表示部109に表示させる画像を調整する画像調整処理を行う。この画像調整処理については、詳しくは、図7及び図8を用いて説明する。
【0052】
ステップS120において、誘導案内装置100の案内報知制御部102は、画像表示部109に表示させる画像に基づいて、目的地への案内を行うための案内画像及び案内音声を生成する案内情報生成処理を行う。この案内情報生成処理についても、詳しくは、図7及び図8を用いて説明する。
【0053】
ステップS130において、誘導案内装置100の案内報知制御部102は、目的地への案内を行うための案内報知処理を行う。
この案内報知処理は、上記ステップS110で調整された画像及び上記ステップS120で生成された案内画像を画像表示部109に表示させるとともに、上記ステップS120で生成された案内音声を音声出力部108に出力させる処理を行う。
【0054】
(サーバにおける代替画像の記憶更新処理)
上記ステップS210において概要を説明した記憶更新処理について、図5のフローチャート図を用いて、図6の記憶更新処理の概念図とともに、詳しく説明する。
【0055】
まず、ステップS210−1において、サーバ200のサーバ制御部202は、位置情報に対応する地図情報上の区間情報を取得する。
この「区間情報」とは、図6(b)に示すように、地図情報上に予め定められた区間を意味する。
【0056】
まず、ステップS210−2において、サーバ200のサーバ制御部202は、代替画像データベース203aから区間情報に対応するレコードを参照し、参照したレコードから受信した速度情報に対応するフィールドを特定する。
【0057】
まず、ステップS210−3において、サーバ200のサーバ制御部202は、特定したフィールドに画像データ(パケットデータ)が記憶されているか否かを判定する。
サーバ制御部202は、特定したフィールドに画像データが記憶されていないと判定すれば、ステップS210−4に処理を移し、特定したフィールドに画像データが記憶されていると判定すれば、ステップS210−5に処理を移す。
【0058】
まず、ステップS210−4において、サーバ200のサーバ制御部202は、特定したフィールドに、新たに受信した撮影画像データを、代替画像データとして更新して記憶する。
【0059】
まず、ステップS210−5において、サーバ200のサーバ制御部202は、特定したフィールドに既に画像データが記憶されていれば、既に記憶されている画像データと新たに受信した鮮明な撮影画像データとを比較して、新たに受信した鮮明な撮影画像データが「更新条件」が成立しているデータであるか否かを判定する。
そして、サーバ制御部202は、更新条件が成立していると判定すれば、ステップS210−4に処理を移して、新たに受信した撮影画像データを更新して記憶し、更新条件が成立していないと判定すれば、新たに受信した撮影画像データを更新せずに、今回の記憶更新処理を終了する。
【0060】
ここで、「更新条件」とは、上記ステップS60と同様に、特定したフィールドに既に記憶されている画像データ及び新たに受信した撮影画像データから、それぞれ目標物を抽出して、抽出した目標物の数が新たに受信した撮影画像データの方が多ければ、更新条件が成立しているものとする。これにより、鮮明な画像を更新させて記憶していくことができる。
なお、「更新条件」としては、上記目標物の数を比較したことによる更新条件に限られず、撮影画像データの更新時間を更新条件としてもよい。
具体的には、撮影画像データに日時を示す日時情報も対応させておき、既に記憶されている画像データの日時情報と新たに受信した撮影画像データの日時情報とを比較し、所定の時間差(差分)以上である場合(例えば、1週間以上更新されていない場合)に、更新条件が成立しているものとすることもできる。これにより、いくら鮮明な画像といえども、古い画像データがいつまでも記憶されることがなくなる。
もちろん、上記目標物の数を比較したことによる更新条件と、上記日時情報の時間差を比較したことによる更新条件とを組み合わせてもよい。
【0061】
以上の記憶更新処理について、図6(a)を用いて、代替画像データベース203aが更新される概念について説明する。
図6(a)に示すように、代替画像データベース203aは、区間情報と速度情報とに基づいて、データベースが構築されている。
そして、新たに撮影画像データ(パケットデータ)を受信した場合には、新たな撮影画像データに対応する位置情報と速度情報とから、フィールドを特定し(ステップS210−2参照)、特定したフィールドに記憶されているデータと新たな撮影画像データとを比較して、特定したフィールドにデータが取得されていない場合又は更新条件が成立している場合には、新たな撮影画像データに置き換えられる(ステップS210−3〜ステップS210−5参照)。
特に、上述した通り、代替画像データベース203aには、自己の車両400のみならず、プローブカーや第三者の車両400からの撮影画像データも更新して記憶されることから、走行したことがないルートであっても代替画像データを参照できたり、より多くの代替画像データを収集したりすることができる。
【0062】
なお、本実施形態では、区間情報と速度情報とに基づいて、代替画像データベース203aを構築したが、区間情報だけで構築してもよいし、区間情報と速度情報の他に、時間情報(朝・昼・夕方の時間情報)、車両情報(大型車用・普通車用)等を含めて構築してもよい。
【0063】
(誘導案内装置における画像調整処理)
上記ステップS110において概要を説明した画像調整処理について、図7のフローチャート図を用いて、図8の画像調整処理の概念図とともに、詳しく説明する。
【0064】
まず、ステップS110−1において、誘導案内装置100の案内報知制御部102は、目標物画像データベース103dを参照し、上記ステップS40で取得された撮影画像データ(撮影画像一時記憶部103bに記憶された撮影画像データ)から、撮影環境が悪化しているときでも識別しやすい識別目標物を特定する特定処理を行う。
【0065】
同様に、ステップS110−2において、誘導案内装置100の案内報知制御部102は、目標物画像データベース103dを参照し、上記ステップS100で受信した代替画像データ(代替画像一時記憶部103cに記憶された最新の代替画像データ)から、上記識別目標物を特定する特定処理を行う。
【0066】
ステップS110−3において、誘導案内装置100の案内報知制御部102は、上記ステップS110−1及びステップS110−2で特定された識別目標物を、照合する照合処理を行う。
この照合処理は、撮影画像データと代替画像データとで共通する識別目標物を特定した上で、共通する識別目標物の大きさや表示位置のズレ(差分)を特定する。
【0067】
ステップS110−4において、誘導案内装置100の案内報知制御部102は、共通する識別目標物の大きさや表示位置のズレが、所定の範囲内のものであるか否かを判定する。すなわち、共通する識別目標物のズレが小さいか否かを判定する。
案内報知制御部102は、共通する識別目標物のズレが所定の範囲内のものであると判定すれば、ステップS110−5に処理を移し、共通する識別目標物のズレが所定の範囲内のものでないと判定すれば、ステップS110−6に処理を移す。
なお、上記「予め定められた所定の範囲」としてのズレの範囲は、速度情報によって変化させることが望ましい。すなわち、速度情報が大きいと(高速であると)、ズレの範囲も予め大きくしておき、速度情報が小さいと(低速であると)、ズレの範囲も予め小さくしておくことが望ましい。
【0068】
ステップS110−5において、誘導案内装置100の案内報知制御部102は、共通する識別目標物のズレが小さいものであると、最新の代替画像データに対応する代替画像を、画像表示部109に表示させる表示画像として決定する。
【0069】
ステップS110−6において、誘導案内装置100の案内報知制御部102は、共通する識別目標物のズレが大きいものであると、過去に受信した代替画像データ(代替画像一時記憶部103cに記憶された古い代替画像データ)から、リアルタイムに撮影されている撮影画像データを基準として、最適な代替画像を検索する検索処理を行う。
この検索処理では、過去に受信した代替画像データからも識別目標物を特定し、撮影画像データの識別目標物を基準として、最も撮影画像データの識別目標物とのズレが小さい撮影画像データを、最適な代替画像として検索する。
【0070】
ステップS110−7において、誘導案内装置100の案内報知制御部102は、上記ステップS110−6で検索した最適な代替画像を、画像表示部109に表示させる表示画像として決定する。
【0071】
以上の画像調整処理について、図8を用いて、画像表示部109に表示させる表示画像が決定される概念について説明する。
図8は、「上段部」に撮影部101からリアルタイムに撮影されている撮影画像データの撮影画像から特定された識別目標物(街灯120a、120b)が表され、「中段部」にサーバ200から受信した代替画像データの代替画像から特定された識別目標物が表され、「下段部」に画像表示部109に表示させる表示画像が表され、「最下部」に時間の経過を示す下線が表されている。また、今回の説明では、各画像は、左から1フレーム目の画像、2フレーム目の画像と表現することにする。
【0072】
基本的には代替画像データは地図情報とリンクされているため、およそ走行中の撮影画像データと代替画像データとは適合するようなタイミングで使用される。
しかし、代替画像データの代替画像は、現在の走行速度などと状況が異なるため、代替画像データとリアルタイムに撮影されている撮影画像データとの調整が必要となってくる。
【0073】
そこで、実際の撮影画像データの撮影画像で視認性が悪い中でも確認できる「識別目標物」(例えば、高速道路での反射板を利用した路側帯や標識、信号灯、街灯など)があった場合、代替画像データとリアルタイムに撮影されている撮影画像データとで、画像認識を使ってその「識別目標物」を照合させる(上記ステップS110−1〜S110−3参照)。
【0074】
例えば、図8では、3フレーム目の代替画像では街灯120aが現れるが、3フレーム目の撮影画像を参照すると、街灯120aは実際にはまだ現れていない。すなわち、車両400の現在の走行速度が、当初サーバ200が予測したときよりも遅くなっている。
そこで、リアルタイムに撮影されている3フレーム目の撮影画像データを基準として、最適な代替画像の検索処理を行う(上記ステップS110−6参照)。
そうすると、3フレーム目には、2フレーム目の代替画像が表示画像として決定され、画像表示部109に表示される(上記ステップS110−7参照)。
【0075】
4フレーム目に関しては、代替画像の街灯120bの位置と撮影画像の街灯120aの位置とのズレが大きい。
このため、4フレーム目の撮影画像の街灯120aを基準として、最適な代替画像の検索を検索する。そうすると、3フレーム目の代替画像が最適な代替画像として決定されるので、4フレーム目には、3フレーム目の代替画像が表示画像として決定され、画像表示部109に表示される。
以降は同様に、代替画像データとリアルタイムに撮影されている撮影画像データとの調整を行っていく。
【0076】
以上のように、代替画像データとリアルタイムに撮影されている撮影画像データとの調整を行っていくことで、精度高く代替画像データと実際の走行中の前景が合うようになる。
【0077】
(誘導案内装置における案内情報生成処理)
上記ステップS120において概要を説明した案内情報生成処理について、図9のフローチャート図を用いて詳しく説明する。
【0078】
まず、ステップS120−1において、誘導案内装置100の案内報知制御部102は、案内表示方法として画像認識モードであるか否かを判定する。
案内報知制御部102は、画像認識モードであると判定すれば、ステップS120−2に処理を移し、画像認識モードでないと判定すれば、ステップS120−3に処理を移す。
【0079】
ステップS120−2において、誘導案内装置100の案内報知制御部102は、画像認識モードであると、目標物画像データベース103dを参照し、上記ステップS110−5又はステップS110−6で決定された表示画像のデータ(代替画像データ)から目標物を特定し、上記ステップS30で生成された目的地ルート情報等に基づいて、目標物のうち「案内目標物」を特定する。
ここで、「案内目標物」とは、目的地への案内に最も適した目標物であり、例えば、左折を案内する場合には、目標物のうち左折箇所に最も近い場所になる目標物を意味する。
【0080】
ステップS120−3において、誘導案内装置100の案内報知制御部102は、画像認識モードでないと、目標物画像データベース103dを参照し、上記ステップS40で取得された撮影画像データ(撮影画像一時記憶部103bに記憶された撮影画像データ)から目標物を特定し、上記ステップS30で生成された目的地ルート情報等に基づいて、目標物のうち「案内目標物」を特定する。
【0081】
ステップS120−4において、誘導案内装置100の案内報知制御部102は、上記ステップS120−2又はステップS120−3で特定された「案内目標物」に基づいて、目的地への案内を行うための案内画像を生成する。
【0082】
ステップS120−5において、誘導案内装置100の案内報知制御部102は、上記ステップS120−2又はステップS120−3で特定された「案内目標物」に基づいて、目的地への案内を行うための案内音声を生成して、今回の案内情報生成処理を終了する。
【0083】
(誘導案内装置の案内表示)
以上により説明した誘導案内装置100において、画像認識モードであるときの目的地への案内表示の一例について、図10を用いて説明する。
【0084】
通常であれば、図10(a)に示すように、画像表示部109において、現在の位置情報、地図情報及び目的地ルート情報に基づいた地図画像が表示される。また、画像表示部109の画面左上には、目的地への情報が表示されている。
ここで、図10(a)では、2次元の地図画像が表示されているが、3次元の地図画像を表示しても構わない。
【0085】
案内箇所が近づくと、図10(b)に示すように、画像表示部109において2画面表示になり、左側の画面では、図10(a)と同様の地図画像が表示される。一方、右側の画面では、代替画像データに基づく代替画像が表示されるとともに、案内画像として、ビル手前を左折する矢印画像が表示される。
さらに、音声出力部108から、「次の左側のビルの手前で左折してください」という案内音声が出力される。
【0086】
これにより、撮影部101により撮影された撮影画像では、左側のビル等の目標物の視認性が悪化しているときでも、代替画像により目標物を事前に認識させて案内を行うことができる。
【0087】
(変形例1)
上記実施形態では、代替画像データを記憶するための代替画像データベース203aをサーバ200に備えるように構成したが、図11に示すように、誘導案内装置100の案内装置記憶部103に記憶させてもよい。
【0088】
図11は、変形例1における誘導案内装置100の機能的構成を示すブロック図の一例を示す図である。図11において、上記実施形態の図3と共通のものについては、同じ番号を付し、説明を省略する。
【0089】
図11に示すように、案内装置記憶部103は、地図情報データベース103aと、撮影画像一時記憶部103bと、代替画像一時記憶部103cと、目標物画像データベース103dの他に、代替画像データベース103eを記憶している。
従って、案内装置記憶部103は、サーバと代替画像データの送受信をする必要がなく、素早く代替画像データを読み込むことができる。
【0090】
この場合には、図4に示したサーバ側におけるステップS210〜230の処理は、案内装置記憶部103(案内報知制御部102)で行えばよい。
【0091】
なお、変形例1のように、案内装置記憶部103に代替画像データベース103eを備えた場合であっても、代替画像データベース103eは、利用者自身の撮影部101により撮影された鮮明な撮影画像データのみを記憶するとは限られない。
すなわち、誘導案内装置100は、所定の時間毎又は誘導案内装置100からサーバへの所定の要求毎に、サーバから更新データとして、第三者が撮影した撮影画像データを含む新たな代替画像データを入力して、代替画像データベース103eに記憶させてもよい。
【0092】
(その他の変形例)
また、本実施形態では、誘導案内装置100は、車両400に搭載されたナビゲーション装置で構成されているが、バイクや自転車に搭載されるナビゲーション装置であってもよいし、携帯型のナビゲーション装置であってもよい。さらには、スマートフォンのような携帯端末機であってもよい。
【0093】
また、本実施形態では、誘導案内装置100は、位置情報の特定や代替画像データベース203a、103eに速度情報を用いているが、速度情報を用いなくてもよい。
【0094】
また、本実施形態では、誘導案内装置100は、案内情報として「案内画像」及び「案内音声」を生成しているが、いずれか一方のみ生成してもよい。従って、「画像表示部109」及び「音声出力部108」のいずれか一方のみで誘導案内を行ってもよい。
【符号の説明】
【0095】
100 誘導案内装置
101 撮影部
102 案内報知制御部
102a 撮影画像取得部
102b 速度情報取得部
102c 位置情報取得部
102d 記憶指示部
102e 代替画像取得部
102f 目的地ルート生成部
102g 案内音声生成部
102h 音声出力制御部
102i 画像調整部
102j 照合部
102k 案内画像生成部
102m 画像表示制御部
103 案内装置記憶部
104 走行センサ
105 GPS受信部
106 通信部
107 操作入力部
108 音声出力部
109 画像表示部
200 サーバ
201 通信部
202 サーバ制御部
203 記憶部


【特許請求の範囲】
【請求項1】
撮影画像を用いて特定された案内の目標物となる案内目標物に基づいて誘導案内を行う誘導案内装置であって、
前記撮影画像を取得する撮影手段と、
現在の位置を特定するための位置情報を取得する位置情報取得手段と、
前記撮影手段によって取得された撮影画像が鮮明でない場合に、所定の記憶部に記憶されている鮮明画像から前記位置情報取得手段によって取得された位置情報に対応する前記鮮明画像を、前記撮影画像に代わる代替画像として取得する代替画像取得手段と、
前記代替画像取得手段により取得された前記代替画像に基づいて、前記案内目標物を特定して案内情報を生成する案内情報生成手段と、
を備えたことを特徴とする誘導案内装置。
【請求項2】
前記撮影手段によって取得された撮影画像が鮮明であれば、前記位置情報取得手段によって取得された位置情報に対応付けて前記所定の記憶部に記憶させる記憶指示手段と、
を更に備えることを特徴とする請求項1に記載の誘導案内装置。
【請求項3】
前記案内情報生成手段は、
所定の表示変更条件が成立した場合には、前記代替画像取得手段により取得された前記代替画像に基づいて前記案内目標物を特定し、
所定の表示変更条件が成立していない場合には、前記撮影手段によって取得された撮影画像に基づいて前記案内目標物を特定して、
前記案内情報を生成することを特徴とする請求項1又は請求項2に記載の誘導案内装置。
【請求項4】
画像を表示する画像表示手段と、前記画像表示手段に画像を表示させる画像表示制御手段とを更に備え
前記案内情報生成手段は、前記案内情報として、目的地への案内を行うための案内画像を生成する案内画像生成手段を有し、
前記画像表示制御手段は、前記代替画像取得手段により取得された前記代替画像及び前記案内画像生成手段によって生成された前記案内画像を前記画像表示手段に表示させることを特徴とする請求項1乃至請求項3にいずれかに記載の誘導案内装置。
【請求項5】
前記代替画像取得手段により取得された前記代替画像及び前記撮影手段によって取得された撮影画像のそれぞれから共通する目標物を特定し、特定した目標物に基づいて、前記代替画像と前記撮影画像とを照合する照合手段と、
前記照合手段による照合結果に基づいて、前記代替画像を前記画像表示手段に表示させるタイミングを調整する画像調整手段と、
を備えたことを特徴とする請求項4に記載の誘導案内装置。
【請求項6】
撮影画像を用いて特定された案内の目標物となる案内目標物に基づいて誘導案内を行う誘導案内方法であって、
前記撮影画像を取得する撮影工程と、
現在の位置を特定するための位置情報を取得する位置情報取得工程と、
前記撮影工程によって取得された撮影画像が鮮明でない場合に、所定の記憶部に記憶されている鮮明画像から前記位置情報取得工程によって取得された位置情報に対応する前記鮮明画像を、前記撮影画像に代わる代替画像として取得する代替画像取得工程と、
前記代替画像取得工程により取得された前記代替画像に基づいて、前記案内目標物を特定して案内情報を生成する案内情報生成工程と、
を含むことを特徴とする誘導案内方法。
【請求項7】
請求項6に記載の誘導案内方法をコンピュータに実行させることを特徴とする誘導案内プログラム。
【請求項8】
請求項7に記載の誘導案内プログラムを記録したことを特徴とするコンピュータに読み取り可能な記録媒体。

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図1】
image rotate

【図8】
image rotate


【公開番号】特開2012−137320(P2012−137320A)
【公開日】平成24年7月19日(2012.7.19)
【国際特許分類】
【出願番号】特願2010−288241(P2010−288241)
【出願日】平成22年12月24日(2010.12.24)
【出願人】(000005016)パイオニア株式会社 (3,620)
【Fターム(参考)】