説明

ナビゲーション装置、ナビゲーション方法およびナビゲーションプログラム

【課題】運転者が注目した対象物に関する情報が予め所定の記憶媒体に記憶されていなければ、当該対象物に関する情報を運転者に対して案内することはできない。
【解決手段】地物の位置を特定するための情報を含む地物情報を記憶媒体から取得し、自車両の運転者の視線方向を検出し、前記自車両の位置および前記自車両の向きを示す車両情報を取得し、前記視線方向と前記自車両の向きとに基づいて前記視線方向の方位を導出し、前記自車両の位置から所定距離内の前記方位において、前記地物情報として前記記憶媒体に記憶されている地物が存在するか判定し、前記自車両の位置から所定距離内の前記方位において、前記地物情報として前記記憶媒体に記憶されている地物が存在しない場合、前記視線方向を含む前記自車両の周囲の画像を示す画像情報を取得する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ナビゲーション装置、ナビゲーション方法およびナビゲーションプログラムに関する。
【背景技術】
【0002】
従来、運転者の視線を検出し、視線の方向にある対象物に関する情報を案内するナビゲーション技術が知られている。特許文献1には、運転者の視線の方向にある建物の情報を、フロントガラスに表示する技術が記載されている。特許文献2には、運転者が注目している建物に関する質問を運転者が発したときにその質問に対する答え(例えば建物の名称や位置など)の音声を発する技術が記載されている。
【特許文献1】特開2006−242859号公報
【特許文献2】特開2006−90790号公報
【発明の開示】
【発明が解決しようとする課題】
【0003】
しかし従来の技術の場合、運転者が注目した対象物に関する情報が予め所定の記憶媒体に記憶されていなければ、当該対象物に関する情報を運転者に対して案内することはできない。そのため、運転者が運転中に何か興味をひかれる対象物を発見したとしても、そのような運転者に対して何も対処することができなかった。
【0004】
本発明は、上記課題に鑑みてなされたもので、運転者が注目した対象物に関する情報が所定の記憶媒体に記憶されていない場合に、当該対象物に関して運転者が行うことが予測される行為を補助するための情報を取得する技術を提供することを目的とする。
【課題を解決するための手段】
【0005】
上記の目的を達成するため、本発明においては、運転者の視線方向と自車両の向きとに基づいて視線方向の方位を導出し、自車両の位置から所定距離内の前記方位において、地物情報として記憶媒体に記憶されている地物が存在しない場合、前記視線方向を含む自車両の周囲の画像を示す画像情報を取得する。この構成によると、運転者の視線方向にある対象物が地物情報として予め記憶媒体に記憶されていない場合、当該対象物の画像を含む画像情報を取得することができる。取得した画像情報は、運転者が当該対象物に関して行うことが予測される行為を補助するための情報として活用することができる。なお、運転者の視線方向にある対象物が地物情報に記憶されている場合は、画像情報を取得しない構成であるため、無用に多くの画像情報が取得されることがない。
【0006】
地物情報取得手段においては、地物情報をナビゲーション装置がアクセス可能な記憶媒体から取得することができればよい。無線通信によって情報センタから地物情報を取得してもよい。本明細書において地物とは、地上に存在する自然または人工の物体のうち、移動体を除き、地表において位置が固定されている非移動体である人工物または自然物を指すものとする。人工物には例えば、建物や各種施設、道路、鉄道などが含まれ、自然物には例えば、樹木や山、海、河川などが含まれる。なお、本明細書において対象物とは、移動体、非移動体の両方を含むものを指す。地物情報は、地物の位置を特定するための情報を含んでいる。地物の位置を特定するための情報は、路面の基準位置を原点とした座標系で表されるものであってもよいし、緯度や経度で表されてもよい。地物の位置を特定するための情報には、さらに地物の高さを示す情報が含まれていてもよい。また、地物情報は、位置を特定するための情報以外にも、例えば地物の名称や種別などの情報を含んでいてもよい。
【0007】
視線方向検出手段においては、運転者の視線方向を検出することができればよく、運転者の視線の方向を特定するための各種技術によって実現可能である。例えば、運転者の顔の向きや眼の位置、眼球の向き等を自車両の車室内のカメラや各種のセンサによって検出し、当該顔の向きや眼の位置、眼球の向き等に基づいて視線方向を特定すればよい。また、視線方向は、予め決められた座標系で定義することができればよく、例えば、自車両の基準位置に固定的な原点を定義した座標系等を採用可能である。
【0008】
車両情報取得手段は、自車両の位置と自車両の向きを示す車両情報を取得することができればよく、種々の構成を採用可能である。ここで、自車両の位置を表す座標系は、地物情報に含まれる地物の位置を表す座標系と対応付けることができればよい。例えば路面の基準位置を原点とした座標系で表されるものであってもよいし、緯度や経度で表されてもよいし、緯度や経度が特定されたノードとの相対関係によって表されてもよい。自車両の向きも、地物の位置を表す座標系における向きと対応付けることができればよい。例えば、地物情報にて用いられる座標系において予め規定された固定的な基準方向に対する向きとして表されてもよいし(例えば北の方向を基準とした角度等)、緯度および経度が特定されたノードとの相対関係によって路面上での向きを特定してもよく、種々の構成を採用可能である。
【0009】
自車両の位置を取得する構成としては例えば、GPS衛星からの信号や車両に搭載された車速センサやジャイロセンサなどの各種センサからの出力、地図上での自車両の軌跡、路車間通信等によって自車両の位置を取得する構成等を採用可能である。自車両の向きを取得する構成としては例えば、自車両に搭載された地磁気センサやジャイロセンサなどから出力された信号によって自車両の向きを取得する構成等を採用可能である。
【0010】
記憶判定手段は、視線方向と自車両の向きとに基づいて視線方向の方位を導出する。また、導出された方位において自車両の位置から所定距離内に、地物情報として記憶媒体に記憶されている地物が存在するか判定する。導出された方位は、地物情報で用いられる座標系における向きと対応付けることができればよい。なお、所定距離は、例えばある基準となる大きさの地物が、運転中の運転者の注意を引く程度の大きさに見える距離などの統計データに基づいて設計してよく、例えば数メートル〜数十メートルとしてよい。また例えば単位面積あたりに地物情報として位置が記憶されている地物の数が多い地域に自車両がいる場合は、数が少ない地域にいる場合より短く設定されてもよい。
【0011】
画像情報取得手段は、記憶判定手段にて地物が存在しないと判定されたとき、運転者の視線方向を含む自車両の周囲の画像を示す画像情報を取得することができればよい。画像情報取得手段は、運転者の視野を含む一つの広角カメラから画像情報を取得してもよいし、取得した画像情報から視線方向の対象物の画像領域をトリミングしてもよい。また、自車両に複数備えられた撮像部のいずれから画像情報を取得するか選択する機能を備えていてもよい。
【0012】
さらに、本発明において、画像情報取得手段が画像情報を取得したときの自車両の位置と対応付けて、画像情報を記憶媒体に登録する画像情報登録手段を備えていてもよい。この構成によると、画像情報に対応付けて画像情報を取得した位置を登録しておくことができる。そのため、どこで撮影された画像であるかを後で正確に把握するために利用することができる。また、画像情報と対応付けて記憶媒体に登録されている位置情報を、目的地や経由地設定に利用することもできる。登録した位置情報をこのように利用する場合、従来のように地図から場所を探して設定する作業を行う必要がなく、ナビゲーション装置のユーザの手間を軽減できる。なお、画像情報を取得したときの自車両の位置とともに、視線方向の方位や、取得日時なども画像情報と対応付けて登録されてもよい。
【0013】
なお、画像情報登録手段は、画像情報を取得したときの自車両の位置と、視線方向の方位と、画像情報と、撮像部のレンズの焦点距離などの情報に基づいて、運転者が注目した地物と自車両との距離を算出し、自車両の位置と視線方向の方位と当該距離とから運転者が注目した地物の位置を算出し、地物の位置を画像情報と対応付けて記憶媒体に登録してもよい。
【0014】
さらに、本発明において、画像情報取得手段が取得した画像情報に基づいて画像をディスプレイに表示させる表示制御手段を備えていてもよい。この構成によると、視線方向を含む自車両の周囲の画像をレビューすることができる。自車両が走行中である間は画像を表示せずに保持しておき、自車両が停止したときに画像を表示させ、記憶媒体に登録するかしないかを選択できる機能を備えていてもよい。
【0015】
さらに、本発明において、記憶判定手段は、視線方向が自車両の進行方向を含む所定範囲を除く範囲に含まれるとき、前記地物が存在するかを判定してもよい。自車両の進行方向を含む所定範囲は、ほぼ、常時運転者の視界に含まれる。従って、当該所定範囲に関して常に、地物情報として記憶媒体に記憶されている地物が存在するか記憶判定を行うとすると、ナビゲーション装置の処理負荷が増大する。また、無用に多くの画像情報を取得することにつながる。
【0016】
そこで、視線方向が当該所定範囲を除く範囲に含まれるときについてのみ、記憶判定を行うことにより、ナビゲーション装置の処理負荷が増大することを防ぐことができる。また、無用に多くの画像情報が取得されることを防ぐことができる。なお、当該所定範囲は運転者が運転中に常時注意して見ている視角であればよく、例えば、進行方向±20°の範囲など、予め特定しておけばよい。
【0017】
なお、視線方向検出手段による視線方向の検出は、運転者が所定の言葉を発したときや、運転者が所定の操作ボタンを操作したときに実施される構成であってもよい。この構成によると、運転者による所定の言葉を検出しない限り、あるいは所定の操作ボタンの操作が検出されない限り、視線方向を検出することもなく、その結果、記憶判定や画像情報の取得が行われることもない。そのため、ナビゲーション装置の処理負荷の増大や多くの画像情報が取得されることを防ぐことができる。
【0018】
さらに、本発明のように運転者の視線方向と自車両の向きとに基づいて視線方向の方位を導出し、自車両の位置から所定距離内の前記方位において、地物情報として記憶媒体に記憶されている地物が存在しない場合、前記視線方向を含む自車両の周囲の画像を示す画像情報を取得する手法は、プログラムや方法としても適用可能である。また、以上のようなナビゲーション装置、プログラム、方法は、単独の装置として実現される場合もあれば、車両に備えられる各部と共有の部品を利用して実現される場合もあり、各種の態様を含むものである。また、一部がソフトウェアであり一部がハードウェアであったりするなど、適宜、変更可能である。さらに、ナビゲーション装置を制御するプログラムの記録媒体としても発明は成立する。むろん、そのソフトウェアの記録媒体は、磁気記録媒体であってもよいし光磁気記録媒体であってもよいし、今後開発されるいかなる記録媒体においても全く同様に考えることができる。
【発明を実施するための最良の形態】
【0019】
ここでは、下記の順序に従って本発明の実施の形態について説明する。
(1)ナビゲーション装置の構成:
(2)運転支援処理:
(2−1)画像情報取得処理:
(3)他の実施形態:
【0020】
(1)ナビゲーション装置の構成:
図1は、本発明にかかるナビゲーション装置10の構成を示すブロック図である。ナビゲーション装置10は、CPU,RAM,ROM等を備える制御部20と記憶媒体30とを備えており、記憶媒体30やROMに記憶されたプログラムを制御部20で実行することができる。本実施形態においては、このプログラムの一つとしてナビゲーションプログラム21を実施可能であり、後述するディスプレイやスピーカーによって各種情報を出力して自車両の経路案内等を実施する。また、ナビゲーションプログラム21はその機能の一つとして運転者の視線方向を含む画像を示す画像情報を取得する機能を備えている。
【0021】
自車両(ナビゲーション装置10が搭載された車両)には、ナビゲーションプログラム21によって上述の機能を実現するためにGPS受信部40aと車速センサ40bとジャイロセンサ40cとマイク41と車内カメラ42と車外カメラ43とディスプレイ44と図示しないスピーカーとを備えており、これらの各部と制御部20との信号の授受は図示しないインタフェースによって実現されている。
【0022】
GPS受信部40aは、GPS衛星からの電波を受信し、図示しないインタフェースを介して自車両の現在位置を算出するための情報を出力する。制御部20は、この信号を取得して自車両の現在位置を取得する。車速センサ40bは、自車両が備える車輪の回転速度に対応した信号を出力する。制御部20は、図示しないインタフェースを介してこの信号を取得し、自車両の速度を取得する。ジャイロセンサ40cは、自車両の角速度に対応した信号を出力する。制御部20は、図示しないインタフェースを介してこの信号を取得し、自車両の向きを示す情報を取得する。車速センサ40bとジャイロセンサ40cとは、GPS受信部40aの出力信号から特定される自車両の現在位置を補正し、また、自車両の向きを検出するために利用される。マイク41は、自車両の車室内で発生する音声に対応した電気信号を生成し、図示しないインタフェースを介して出力する。制御部20は、この信号を取得して音声に対応した音声情報を取得する。
【0023】
車内カメラ42は、自車両を運転する運転者の顔を視野に含むように自車両に対して取り付けられ、撮影した画像を示す画像情報を出力する。制御部20は、図示しないインタフェースを介してこの画像情報を取得し、画像に含まれる顔の向きを、自車両の基準位置に固定的な原点を定義した3次元座標系で特定することによって視線方向を検出する。むろん、座標系は上述の構成の他、路面上に設定された基準を原点にした座標や緯度や経度を利用した座標であってもよく、また、路面に平行な平面内で定義された2次元座標系で視線方向を検出してもよく、種々の構成を採用可能である。
【0024】
車外カメラ43は自車両の周囲を視野に含むように自車両に対して取り付けられ、撮影した画像を示す画像情報を出力する。制御部20は、図示しないインタフェースを介してこの画像データを取得する。なお、本実施形態においては、自車両の周囲であって、自車両の運転者の視界に含まれ得る範囲を撮影できるように、自車両に対して車外カメラ43が取り付けられている。
【0025】
図2は、自車両における車内カメラ42と車外カメラ43との配置例を示す説明図である。同図2においては、自車両100の外周と車室内の様子を運転者Dとともに模式的に示している。この例において、車内カメラ42は自車両100の車室内におけるバックミラーの周辺に取り付けられており、運転者Dの顔を含む範囲を視野にして画像を撮影することができる。なお、図2においては、車内カメラ42の視野を一点鎖線で示している。また、車外カメラ43は自車両100の左右それぞれのサイドミラーSに取り付けられている。なお、図2においては、車外カメラ43の視野を二点鎖線で示している。
【0026】
また、制御部20は、任意の画像を出力するための信号と任意の音声出力を行うための信号とを図示しないインタフェースを介して出力する。この結果、ディスプレイ44および図示しないスピーカーは上述の信号に応じた任意の画像および音声を出力する。本実施形態においては、ディスプレイ44に車外カメラ43から取得した画像情報に基づいて画像が表示される。また、ディスプレイ44やスピーカーを利用して自車両の経路案内等が行われる。
【0027】
本実施形態において記憶媒体30はHDD(Hard Disk Device)等の不揮発性のメモリであり、記憶媒体30には、ナビゲーションプログラム21による案内を実施するために地図情報30aが記憶されている。また、記憶媒体30には地物情報30bが記憶されている。地図情報30aは、道路上に設定されたノードを示すノードデータやノード同士の連結を示すリンクデータ等を含み、自車両の位置の特定や目的地への案内等に利用される。地図情報30aおよび地物情報30bは、無線通信によって情報センタから取得する構成であってもよい。
【0028】
地物情報30bは、地物の位置を特定するための情報が含まれており、後述する記憶判定部21dにて参照される。本明細書において地物とは、地上に存在する自然または人工の物体のうち、移動体を除き、地表において位置が固定されている非移動体である人工物または自然物を指すものとする。人工物には例えば、建物や各種施設、道路、鉄道などが含まれ、自然物には例えば、樹木や山、海、河川などが含まれる。なお、本明細書において対象物とは、移動体、非移動体の両方を含むものとする。移動体の位置は地物情報30bには含まれない。地物の位置を特定するための情報は、路面の基準位置を原点とした座標系で表されるものであってもよいし、緯度や経度で表されてもよい。本実施形態においては、地物の位置は、緯度および経度で表されるものとする。地物の位置を特定するための情報には、さらに地物の高さを示す情報が含まれていてもよい。また、地物情報30bは、位置を特定するための情報以外にも、例えば地物の名称や種別などの情報を含んでいてもよい。
【0029】
本実施形態において、ナビゲーションプログラム21は、上述の各部と協働することによって運転支援処理を行うため、地物情報取得部21aと視線方向検出部21bと車両情報取得部21cと記憶判定部21dと画像情報取得部21eと画像情報登録部21fと、表示制御部21gと、図示しないナビゲーション処理部と音声検出部とを備えている。
【0030】
図示しないナビゲーション処理部は、自車両を目的地へ案内するための経路を特定する経路探索処理や、特定された経路や各種の案内を行うための信号をディスプレイ44やスピーカーから出力する処理を行うモジュールである。
地物情報取得部21aは、地物情報30bを記憶媒体30から取得しRAMに格納するモジュールである。
【0031】
視線方向検出部21bは、車内カメラ42が出力する信号に基づいて、運転者の視線方向を検出する。本実施形態においては運転者の顔の向きによって視線方向を検出する構成を採用しており、視線方向検出部21bにおいては車内カメラ42の画像からパターンマッチングによって眼と鼻とを検出し、その相対関係から顔の向きを判定し、顔の向きを視線方向とする。本実施形態において当該視線方向は、自車両に設定された固定的な原点を基準とした座標系で定義される。なお、視線方向を検出するための構成は、上述のような顔の向きに基づく処理に限定されず、眼の位置、眼球の向き等を自車両の車室内のカメラや各種のセンサによって検出し、当該眼の位置、眼球の向き等に基づいて視線方向を検出する構成を採用してもよい。
【0032】
なお、本実施形態において、視線方向検出部21bは、自車両の進行方向を含む所定範囲を除く範囲に含まれる視線方向を検出する。本実施形態においては、上述の3次元座標系において、自車両の進行方向に平行な線であって運転者の視線の原点を通る線が予め規定されており、当該線に対して路面に平行な方向に±α°(例えば、±20°)の範囲は視線方向の検出範囲として除外するように設定されている。自車両の進行方向を含む所定範囲は、ほぼ、常時運転者の視界に含まれる。従って、当該所定範囲に関して常に、後述する記憶判定が行われると、ナビゲーション装置10の処理負荷が増大する。また、後述する画像情報取得部21eによって無用に多くの画像情報が取得されることにつながる。
【0033】
そこで、本実施形態においては、視線方向が当該所定範囲を除く範囲に含まれるかを判定し、当該所定範囲外に視線方向が含まれる場合にのみ後述する記憶判定を行う構成とすることにより、ナビゲーション装置10の処理負荷が増大することを防ぐことができる。また、無用に多くの画像情報が取得されることを防ぐことができる。なお、当該所定範囲は運転者が常時注意を払える視角であればよく、各種の範囲を当該所定範囲として設定することができる。
【0034】
図示しない音声検出部は、マイク41が出力する信号に基づいて音声情報を取得し、当該音声情報に基づいて運転者が発した所定の言葉を検出する。所定の言葉とは、例えば、「あれ」等の代名詞、「あの建物」、「あの風景」等の代名詞と名詞の組み合わせなどである。本実施形態において視線方向検出部21bは、運転者が所定の言葉を発したときに実施される。従って音声検出部によって運転者による所定の言葉を検出しない限り、視線方向を検出することもなく、その結果、後述する記憶判定や画像情報の取得が行われることもない。そのため、ナビゲーション装置の処理負荷の増大や多くの画像情報が取得されることを防ぐことができる。
【0035】
車両情報取得部21cは、GPS受信部40aと車速センサ40bとジャイロセンサ40cとが出力する信号および地図情報30aに基づいて自車両の位置および自車両の向きを示す情報を取得する。ここで、自車両の位置を表す座標系は、地物情報30bに含まれる地物の位置を表す座標系と対応付けることができればよい。例えば路面の基準位置を原点とした座標系で表されるものであってもよいし、緯度や経度で表されてもよいし、緯度や経度が特定されたノードとの相対関係によって表されてもよい。自車両の向きも、地物の位置を表す座標系における向きと対応付けることができればよい。例えば、地物情報にて用いられる座標系において予め規定された固定的な基準方向に対する向きとして表されてもよいし、緯度および経度が特定されたノードとの相対関係によって路面上での向きを表してもよい。本実施形態においては、自車両の位置は緯度および経度にて表され、自車両の向きは北の方向を基準とした角度で表されるものとする。なお、自車両の位置は路車間通信によって取得される構成であってもよい。また、自車両の向きは図示しない地磁気センサから取得されてもよい。
【0036】
記憶判定部21dは、視線方向と自車両の向きとに基づいて視線方向の方位を導出し、導出された方位において自車両の位置から所定距離内に、地物情報30bとして記憶媒体30に記憶されている地物が存在するか判定し、判定結果を画像情報取得部21eに通知するモジュールである。導出された方位は、地物情報30bで用いられる座標系における向きと対応付けることができればよい。具体的には本実施形態においては、記憶判定部21dは、北の方向を基準とした角度として自車両の向きと、自車両の進行方向に平行な線であって運転者の視線の原点を通る線を基準として表された視線方向とから、視線方向の方位を北の方向を基準とした角度として導出する。なお、所定距離は、例えばある基準となる大きさの地物が、運転中の運転者の注意を引く程度の大きさに見える距離などの統計データに基づいて設計してよく、例えば数メートル〜数十メートルとしてよい。また例えば単位面積あたりに地物情報として位置が記憶されている地物の数が多い地域に自車両がいる場合は、数が少ない地域にいる場合より短く設定されてもよい。
【0037】
画像情報取得部21eは、導出された方位において自車両の位置から所定距離内に、地物情報30bとして記憶媒体30に記憶されている地物が存在しない旨の通知を記憶判定部21dから受けると、運転者の視線方向を含む自車両の周囲の画像を示す画像情報を車外カメラ43から取得し、RAMに格納する。画像情報取得部21eは、運転者の視線方向が自車両の進行方向を基準として左側であるときは、左のサイドミラーに取り付けられた車外カメラ43に画像を撮影させ、画像情報を取得する。同様に右側であるときは右のサイドミラーに取り付けられた車外カメラ43に画像を撮影させ、画像情報を取得する。
【0038】
画像情報登録部21fは、画像情報取得部21eが車外カメラ43から画像情報を取得したときの自車両の位置を示す情報を車両情報取得部21cから取得し、当該画像情報と当該自車両の位置とを対応付けて記憶媒体30に登録するモジュールである。
表示制御部21gは、画像情報取得部21eが取得した画像情報に基づいてディスプレイ44に画像を表示するための制御を行うモジュールである。表示制御部21gは、車両情報取得部21cから自車両の車速を示す情報を取得して、自車両が走行中である間は画像を表示せずにRAMに保持しておき、自車両が停止したときに画像を表示させる機能を備えている。また、ディスプレイ44に表示させた画像をもとに記憶媒体30に登録するかしないかを運転者が選択できる機能を備えていてもよい。
以上、ナビゲーション装置10の構成を説明した。
【0039】
(2)運転支援処理:
次に、以上の構成においてナビゲーション装置10が実施する処理を説明する。ナビゲーション装置10によってナビゲーションプログラム21が実行されているときには、一定間隔(例えば、100ms)毎に図3に示す処理が地物情報取得部21aと視線方向検出部21bと車両情報取得部21cと記憶判定部21dと画像情報取得部21eと画像情報登録部21fと表示制御部21gとナビゲーション処理部と音声検出部とによって実行される。なお、図示しないナビゲーション処理部は図3に示す処理と並行して処理を行っており、ナビゲーション処理部においては、この処理の過程で車両情報取得部21cによって自車両の位置および自車両の向きを示す車両情報を取得している。
【0040】
図3に示す処理においては、まず、所定の言葉の発話が運転者によってなされたか否かを図示しない音声検出部が判定する(ステップS100)。すなわち、音声検出部は、マイク41の出力信号に基づいて音声情報を特定し、当該音声が予め決められた所定の言葉を含む音声であるか否かを判定する。
【0041】
次に、視線方向検出部21bは、運転者の視線方向を検出し、当該視線方向が所定範囲外であるか否か(すなわち、視線方向が自車両の進行方向を含む所定範囲を除く範囲に含まれるか否か)を判定する(ステップS105)。図4は、自車両と視線方向の例を説明するための説明図である。図4においては、運転者の座席の中心を通る自車両の進行方向に平行な線(図4に示す破線)を視線方向の角度を定義する基準としており、運転者の座席に設定された基準点からみた±α°の範囲(図4に示すハッチング領域)は、記憶判定部21d、画像情報取得部21e、画像情報登録部21f、表示制御部21gが処理を実施する対象範囲から除外する。
【0042】
そこで、視線方向検出部21bは、車内カメラ42の出力信号を取得して、車内カメラ42が出力する信号に基づいて、当該車内カメラ42の撮影画像からパターンマッチングによって眼と鼻とを検出し、その相対関係から顔の向きを判定し、顔の向きを視線方向とする。そして、当該視線方向が上述の所定範囲に含まれるか否かを判定する。ステップS105にて、視線方向が自車両の進行方向を含む所定範囲に含まれると判定された場合、運転者の視線は通常の運転による視線方向であると考え、視線方向の対象物に関して何ら処理を行うことなく処理を終了する。
【0043】
ステップS105にて、視線方向が自車両の進行方向を含む所定範囲を除く範囲(図4に示す扇形の領域A)に含まれると判定された場合、記憶判定部21dは、さらに、自車両の位置から所定距離内の視線方向の方位において、地物情報として記憶済みの地物が存在するか判定する(ステップS110)。具体的にはまず車両情報取得部21cが取得した自車両の向きと視線方向とに基づいて視線方向の方位を導出する。導出された方位と自車両の位置と所定距離とに基づいて、該当する区域を含む地物情報30bを地物情報取得部21aが記憶媒体30から取得する。記憶判定部21dは、自車両の位置から所定距離内の前記方位に含まれる位置に地物情報30bに記憶済みの地物が存在するか否かを判定する。
【0044】
ステップS110にて地物情報30bに記憶済みの地物が存在すると判定されたとき、ナビゲーション処理部は当該地物についての情報を案内する(ステップS115)。すなわち、ナビゲーション処理部は、該当する地物の地物情報30bを参照して、自車両の位置から所定距離内の前記方位に重なる位置に存在する地物の情報を取得し、ディスプレイ44やスピーカー等に対して当該地物の名称などを案内するための信号を出力する。
【0045】
この結果、運転者が案内等を行うように事前に登録することなく、また、ナビゲーション装置10に対する操作等をすることなく、単に地物を視認するのみで当該地物に関する情報がディスプレイ44やスピーカー等から案内される。従って、運転者は、運転中に煩雑な操作を行わなくても自身が視認した地物に関する情報を知ることができる。一方、ステップS110にて、地物情報30bに記憶済みの地物が存在すると判定されない場合には、画像情報取得部21eが車外カメラ43に視線方向を含む自車両の周囲の画像を撮影させる(ステップS120)。
【0046】
(2−1)画像情報取得処理:
次に、ステップS125にて実施する画像情報取得処理を説明する。図5は画像情報取得処理を示すフローチャートである。画像情報取得部21eは、車外カメラ43から画像情報を取得しRAMに格納する(ステップS200)。そして、画像情報取得部21eは、当該画像情報が示す画像に基づいて、運転者の視線方向の対象物が人工物を示すものであるか否かを判定する(ステップS205)。具体的には例えば、人工物の画像においては輝度ヒストグラムにばらつきが少なくなるなどの特徴を利用して、取得した画像情報が示す画像に人工物が存在するかを判定する。
【0047】
ステップS205にて視線方向に人工物が存在すると判定された場合、画像情報登録部21fは、当該画像情報を取得したときの自車両の位置と対応付けて当該画像情報を記憶媒体30に登録する(ステップS210)。そのため、どこで撮影された画像であるかを後で正確に把握するためにこの位置情報を利用することができる。また、画像情報30cと対応付けて記憶媒体に登録されている位置情報30dを、目的地や経由地設定の際に利用することもできる。
【0048】
具体的には例えば、目的地を設定する画面において、画像情報登録部21fによって登録された画像を順に表示し、図示しない操作部を操作して目的地として設定したい地物の画像を選択して決定すると、目的地としてその地物の位置を設定できるようにしてもよい。登録した位置情報をこのように利用する場合、従来のように地図から場所を探して設定する作業を行う必要がなく、ナビゲーション装置のユーザの手間を軽減できる。また、文字情報だけでなく画像を表示するので、ユーザはそれがどのような外観の施設であるかなどを一目瞭然に認識させることができる。なお、画像情報を取得したときの自車両の位置とともに、視線方向の方位や、取得日時なども画像情報と対応付けて登録されてもよい。画像情報の取得日時でソートできると、所望の地物を探す際により便利である。
【0049】
ステップS205にて視線方向に人工物が存在すると判定されない場合、表示制御部21gは、車両情報取得部21cが取得した車速などの情報を基に、自車両が停止中であるか判定する(ステップS215)。自車両が停止中でないとき、表示制御部21gは、画像情報をRAMに保持する(ステップS225)。表示制御部21gは、自車両が停止中であるとき、RAMに保持されている画像情報に基づいてディスプレイ44に画像を表示させる(ステップS220)。運転者は、自身が注目した対象物を、自車両を停止させたときに、ディスプレイ44にてレビューすることができる。例えば、運転者が運転中に桜並木の近くや、紅葉の綺麗な山中を走行しているとき、それらの風景の画像情報を取得し、ディスプレイ44に表示させることができる。さらに、これらの画像情報を記憶媒体30に登録するかしないかをユーザに選択させる機能を備えていてもよい。
【0050】
以上、画像情報取得処理および運転支援処理について説明した。なお、本実施形態によるとステップS110にて運転者の視線方向にある対象物が地物情報30bに記憶されていると判定される場合は、画像情報取得処理が実施されない構成であるため、無用に多くの画像情報が取得されることがない。
【0051】
以上説明したように、本実施形態によると、運転者の視線方向にある対象物が地物情報として予め記憶媒体に記憶されていない場合、当該対象物の画像を含む画像情報を取得することができる。取得した画像情報は、上述したように運転者が当該対象物に関して行うことが予測される行為(画像のレビューや目的地設定など)を補助するための情報として活用することができる。
【0052】
(3)他の実施形態:
以上の実施形態は本発明を実施するための一例であり、視線方向と自車両の向きとに基づいて視線方向の方位を導出し、自車両の位置から所定距離内の前記方位において、地物情報として記憶媒体に記憶されている地物が存在しない場合、視線方向を含む自車両の周囲の画像を示す画像情報を取得する限りにおいて、他にも種々の実施形態を採用可能である。例えば、ステップS205の判定を省略して、ステップS200の後にステップS210〜ステップS225の処理を行うようにしてもよい。すなわち、視線方向の地物人工物であるか否かに関わらず、画像情報を取得した際の自車両の位置と対応つけて画像情報を登録する処理と、画像を表示する処理の両方を実施してもよい。
【0053】
なお、画像情報登録手段は、画像情報を取得したときの自車両の位置と、視線方向の方位と、画像情報と、撮像部のレンズの焦点距離などの情報に基づいて、運転者が注目した地物と自車両との距離を算出し、自車両の位置と視線方向の方位と当該距離とから運転者が注目した地物の位置を算出し、地物の位置を画像情報と対応付けて記憶媒体に登録してもよい。
【0054】
また、視線方向検出手段による視線方向の検出は、運転者が所定の操作ボタンを操作したときに実施される構成であってもよい。この構成によると、運転者による所定の操作ボタンの操作が検出されない限り、視線方向を検出することがない。その結果、記憶判定や、画像情報の取得が行われることがない。そのため、ナビゲーション装置の処理負荷の増大や無用に多くの画像情報が取得されることを防ぐことができる。
【0055】
さらに、画像情報取得処理において取得される画像情報は、地物情報30bに含まれない地物、例えば地物情報30bの作成後に新しく建設された施設や、樹木などだけに限られない。運転者の視線方向に歩行者などの移動体が検出された場合には、当該移動体を含む画像情報が取得される。
また、画像情報取得手段は、運転者の視野を含む一つの広角カメラから画像情報を取得してもよいし、取得した画像情報から視線方向の対象物の画像領域をトリミングしてもよい。
【0056】
なお、ステップS110にて記憶判定する手法は、画像情報を取得した後、画像情報に基づいて画像の視線方向に存在する対象物は人工物であるか否かを判定し、対象物が人工物でないと判定したときに、当該対象物は地物情報30bに記憶されていないと判定してもよい。また、画像に含まれる看板などの文字を認識して、その名称の施設が地物情報30bに含まれていない場合に、その施設が地物情報30bとして記憶されていないと判定するようにしてもよい。
【図面の簡単な説明】
【0057】
【図1】車両に搭載されたナビゲーション装置の構成を示すブロック図である。
【図2】車内カメラと車外カメラとの配置例を示す説明図である。
【図3】運転支援処理のフローチャートである。
【図4】自車両と視線方向の例を説明するための説明図である。
【図5】画像情報取得処理のフローチャートである。
【符号の説明】
【0058】
10:ナビゲーション装置、20:制御部、21:ナビゲーションプログラム、21a:地物情報取得部、21b:視線方向検出部、21c:車両情報取得部、21d:記憶判定部、21e:画像情報取得部、21f:画像情報登録部、21g:表示制御部、30:記憶媒体、30a:地図情報、30b:地物情報、30c:画像情報、30d:位置情報、40a:GPS受信部、40b:車速センサ、40c:ジャイロセンサ、41:マイク、42:車内カメラ、43:車外カメラ、44:ディスプレイ、100:自車両、D:運転者、S:サイドミラー。

【特許請求の範囲】
【請求項1】
地物の位置を特定するための情報を含む地物情報を記憶媒体から取得する地物情報取得手段と、
自車両の運転者の視線方向を検出する視線方向検出手段と、
前記自車両の位置および前記自車両の向きを示す車両情報を取得する車両情報取得手段と、
前記視線方向と前記自車両の向きとに基づいて前記視線方向の方位を導出し、前記自車両の位置から所定距離内の前記方位において、前記地物情報として前記記憶媒体に記憶されている地物が存在するか判定する記憶判定手段と、
前記自車両の位置から所定距離内の前記方位において、前記地物情報として前記記憶媒体に記憶されている地物が存在しない場合、前記視線方向を含む前記自車両の周囲の画像を示す画像情報を取得する画像情報取得手段と、
を備えるナビゲーション装置。
【請求項2】
前記画像情報を取得したときの前記自車両の位置と対応付けて前記画像情報を前記記憶媒体に登録する画像情報登録手段を備える、
請求項1に記載のナビゲーション装置。
【請求項3】
前記画像情報に基づいて前記画像をディスプレイに表示させる表示制御手段を備える、
請求項1または請求項2に記載のナビゲーション装置。
【請求項4】
前記記憶判定手段は、前記視線方向が前記自車両の進行方向を含む所定範囲を除く範囲に含まれるとき、前記地物が存在するかを判定する、
請求項1〜請求項3のいずれかに記載のナビゲーション装置。
【請求項5】
地物の位置を特定するための情報を含む地物情報を記憶媒体から取得する地物情報取得工程と、
自車両の運転者の視線方向を検出する視線方向検出工程と、
前記自車両の位置および前記自車両の向きを示す車両情報を取得する車両情報取得工程と、
前記視線方向と前記自車両の向きとに基づいて前記視線方向の方位を導出し、前記自車両の位置から所定距離内の前記方位において、前記地物情報として前記記憶媒体に記憶されている地物が存在するか判定する記憶判定工程と、
前記自車両の位置から所定距離内の前記方位において、前記地物情報として前記記憶媒体に記憶されている地物が存在しない場合、前記視線方向を含む前記自車両の周囲の画像を示す画像情報を取得する画像情報取得工程と、
を含むナビゲーション方法。
【請求項6】
地物の位置を特定するための情報を含む地物情報を記憶媒体から取得する地物情報取得手段と、
自車両の運転者の視線方向を検出する視線方向検出手段と、
前記自車両の位置および前記自車両の向きを示す車両情報を取得する車両情報取得手段と、
前記視線方向と前記自車両の向きとに基づいて前記視線方向の方位を導出し、前記自車両の位置から所定距離内の前記方位において、前記地物情報として前記記憶媒体に記憶されている地物が存在するか判定する記憶判定手段と、
前記自車両の位置から所定距離内の前記方位において、前記地物情報として前記記憶媒体に記憶されている地物が存在しない場合、前記視線方向を含む前記自車両の周囲の画像を示す画像情報を取得する画像情報取得手段として、
コンピュータを機能させるナビゲーションプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate


【公開番号】特開2008−304400(P2008−304400A)
【公開日】平成20年12月18日(2008.12.18)
【国際特許分類】
【出願番号】特願2007−153362(P2007−153362)
【出願日】平成19年6月8日(2007.6.8)
【出願人】(000100768)アイシン・エィ・ダブリュ株式会社 (3,717)
【Fターム(参考)】