ナビゲーション装置
【課題】ユーザが建造物を簡便に指定でき、その建造物の特定精度を向上させ、ユーザが情報を得る際の負担を軽減させるナビゲーション装置を得る。
【解決手段】測位部２と地図建造物データベース１とモデル構築部６と画像取得部３と注目方向受取部４と形状認識部５と建造物特定部７と案内情報取得部８と表示部９とを備える。モデル構築部６は現在位置周辺の立体モデルを構築する。画像取得部３は実写画像を取得する。注目方向受取部４は実写画像を表示する表示装置において指定された建造物への方向を求める。形状認識部５は周辺建造物の形状的特徴情報を抽出する。建造物特定部７は立体モデルと方向と形状的特徴情報を用いて指定された建造物を特定する。案内情報取得部８は建造物の案内情報を地図建造物データベース１から取得し、表示部９は案内情報を音声又は映像の少なくとも１つで出力する。
【解決手段】測位部２と地図建造物データベース１とモデル構築部６と画像取得部３と注目方向受取部４と形状認識部５と建造物特定部７と案内情報取得部８と表示部９とを備える。モデル構築部６は現在位置周辺の立体モデルを構築する。画像取得部３は実写画像を取得する。注目方向受取部４は実写画像を表示する表示装置において指定された建造物への方向を求める。形状認識部５は周辺建造物の形状的特徴情報を抽出する。建造物特定部７は立体モデルと方向と形状的特徴情報を用いて指定された建造物を特定する。案内情報取得部８は建造物の案内情報を地図建造物データベース１から取得し、表示部９は案内情報を音声又は映像の少なくとも１つで出力する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、車載用のナビゲーション装置に関し、特に車両周辺の建造物に関する情報を得るためのナビゲーション装置に関する。
【背景技術】
【０００２】
従来のナビゲーション装置においては、ユーザが適切な検索条件を入力して建物を特定し、その情報を取得していた。また、従来のカーナビゲーションシステムでは、車載カメラからの実写映像をナビゲーション装置の画面に表示し、その画面に見えている建物を指で触れる等により建物を指定し、車載カメラで撮影した連続画像から得られる対象物の特徴点とその対応点の座標情報及びＧＰＳ（グローバル・ポジショニング・システム）から得られるカメラの位置情報を用いて対象物の位置情報を獲得し、その位置情報から近い順に複数の建物の情報を順次列挙して表示し、ユーザに選択させていた。（例えば特許文献１参照）。
【０００３】
【特許文献１】特開２００４-１３８５５６号公報（第４頁、第１図）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
従来のナビゲーション装置では、適切な検索条件を入力しなければならなかったり、建物の特定精度が十分でないため複数の建物の中からユーザが選択しなくてはならず、ユーザの負担が大きいという問題点があった。
【０００５】
この発明は、上述のような問題を解決するためになされたもので、ユーザが建造物を簡便に指定でき、その建造物の特定精度を向上させ、ユーザが情報を得る際の負担を軽減させるナビゲーション装置を得ることを目的とする。
【課題を解決するための手段】
【０００６】
この発明に係るナビゲーション装置は、測位部と、地図建造物データベースと、モデル構築部と、画像取得部と、注目方向受取部と、形状認識部と、建造物特定部と、案内情報取得部と、表示部とを備えている。モデル構築部は、測位部からの現在位置情報と地図建造物データベースからの地図及び建造物情報から現在位置周辺の立体モデルを構築する。画像取得部は、現在位置の周辺を撮像し実写画像を取得する。注目方向受取部は、画像取得部からの実写画像を画面に表示する表示装置において、指定された建造物の画面上の位置情報を受取り、現在位置に対する指定された建造物への方向を求める。形状認識部は、画像取得部からの実写画像から周辺建造物の形状的特徴情報を抽出する。建造物特定部は、モデル構築部からの立体モデルと注目方向受取部からの方向と形状認識部からの形状的特徴情報を用いて表示画面上において指定された建造物が立体モデル中のどの建造物であるかを特定する。案内情報取得部は、建造物特定部で特定された建造物の案内情報を地図建造物データベースから取得し、表示部は、この案内情報を音声又は映像の少なくとも１つで出力するものである。
【発明の効果】
【０００７】
この発明に係るナビゲーション装置は、画像取得部と注目方向受取部とを備えたため、表示画面上において建造物を簡便に指定することができる。また、測位部と、地図建造物データベースと、モデル構築部と形状認識部と建造物特定部とを備えたため、現在位置周辺の立体モデルを地図建造物データベースに基づき構築し、これと現実に撮像した実写画像を照合するので、建造物の特定精度が向上する。これらの結果、建造物の情報を簡便に取得でき、ユーザの負担を軽減させることができる。
【発明を実施するための最良の形態】
【０００８】
実施の形態１．
図１は、この発明を実施するための実施の形態１におけるナビゲーション装置のシステム構成図である。図において、地図建造物データベース１は、地図及び建造物の立体形状情報と、案内情報を記憶している。立体形状情報は地図情報と関連付けて建造物の立体モデルを構築するための情報であり、例えば建造物の位置、敷地形状、階数などがある。敷地形状および階数に代わって、より詳細な立体モデルを持っていてもよい。案内情報は建造物に関する案内をユーザに提示するための情報であり、例えば名称、詳細情報などがある。また、ここで挙げた情報は外部ネットワークと通信して取得してもよい。なおここでの建造物は、人工物に限定される事無く、例えば公園や、山、川、海岸等でもよい。
【０００９】
測位部２は、車両の現在位置や姿勢を求める。位置や姿勢は、例えば従来のカーナビゲーション装置で行われているように、ＧＰＳ、車速センサ、ジャイロセンサといったセンサ群の測定値とマップマッチングなどを用いて計算する。
【００１０】
画像取得部３は、現在位置の周辺を撮像し、周辺の実写画像を取得する。ここで実写画像は、例えば車載カメラによって自車前方の画像を取得する。
【００１１】
注目方向受取部４は、ユーザによって表示画面上で指定された建造物への方向と、注目方向角を求める。ここで注目方向角は、自車位置を基準とし、指定された建造物への方向と車両が向いている方向とのなす角として表される。具体的には、画像取得部３によって取得した周辺の撮影画像（実写画像）をディスプレイ等の表示装置に表示し、その表示画面上でユーザが注目し指定した建造物の注目点の位置情報を受取る。受取った実写画像上の注目点の位置、カメラが設置された位置姿勢およびカメラパラメータを用いて座標変換を行い、注目点の方向と車両が向いている方向とのなす角を計算する。座標変換の方法としては、例えば「３次元ＣＧの基礎と応用」ＩＳＢＮ７８１９−１０８０−７、Ｐ．２２−２４、Ｐ．５９−６６に記載された透視変換の逆変換を用いる。画像上での注目点の位置は、例えばタッチパネル機能を有するディスプレイを触るか、リモコンによってディスプレイ上のカーソルを操作することで指定する。
【００１２】
形状認識部５は、画像取得部３によって取得した実写画像を用いて周辺建造物の形状的特徴情報を抽出する。ここで周辺建造物は、自車から現実に見えている建造物である。周辺建造物の形状的特徴情報としては、例えば実写画像の特徴点、エッジ、平面などを用いる。これらの形状的特徴情報を画像から抽出する方法としては、例えば「画像処理入門」ＩＳＢＮ４−７８９８−１８３４−９、Ｐ．５０−６２に記載された方法を用いる。
【００１３】
モデル構築部６は、まず、測位部２から取得した自車位置姿勢を用いて周辺領域を設定する。ここで周辺領域は、自車位置を原点として自車姿勢の方向を奥行き方向（＝車両が向いている方向）とした座標系で表す。また周辺領域の範囲は、例えば自車の左右方向にそれぞれ５０[ｍ]、前方に５００[ｍ]などと一定の範囲を取るように予め設定しておけばよい。周辺領域の範囲は、走行中の道路の種別、周辺にある建造物の数などを考慮して動的に決定してもよい。その場合は、例えば高速道路を走行中なら前方の距離を１０[ｋｍ]とする、周辺の観光施設の数が２０個になるまで範囲を広げるなどとすればよい。次に、地図建造物データベース１から周辺領域内に位置する建造物の立体形状情報を取得し、この情報を用いて立体モデルを構築する。
【００１４】
建造物特定部７は、注目方向受取部４で受取った指定された建造物への方向や注目方向角、形状認識部５で認識した周辺建造物の形状的特徴情報、およびモデル構築部６で構築した周辺領域の立体モデルを用いて注目建造物を特定する。
【００１５】
案内情報取得部８は、建造物特定部７が特定した注目建造物に関する案内情報を、地図建造物データベース１から取得する。取得する案内情報としては、例えば建造物の名称がある。建造物が観光用であれば建造時期、歴史的背景、観光情報などを取得してもよい。建造物が商業用であれば、営業時間、セール情報などを取得してもよい。建造物が駅や空港などであれば、時刻表や空席情報を表示してもよい。
【００１６】
表示部９は、案内情報取得部８で取得した案内情報を音声でスピーカに出力したり、映像でディスプレイに表示する。この時に、画像取得部３で取得した実写画像に建造物の案内情報を重畳させてもよい。
【００１７】
図２は本発明の実施の形態１を実現するハードウェア構成の一例である。地図建造物データベース１は、記憶装置１０２に地図データおよび建造物データをあらかじめ記憶しておくことで実現する。あるいは、地図建造物データベース１は、外部機器インタフェース１０４を経由して外部の記憶媒体あるいはネットワークから地図データおよび建造物データを取得し、マイコンインタフェース１０３を経由して記憶装置１０２に一時的に格納することで実現する。
【００１８】
測位部２は、車両インタフェース１０５が車両から受け取った速度、ＧＰＳレシーバ１０６がＧＰＳ衛星から電波を受け取って計算した推定自車位置、ジャイロセンサ１０７が検出した車両の角速度を、マイコンインタフェース１０３が仲介して記憶装置１０２に格納し、地図建造物データベース１において記憶装置１０２に格納されている地図データと上記した速度、推定自車位置、角速度を用いて、ＣＰＵ１０１が自車の位置および姿勢を特定し記憶装置１０２に格納することで実現する。
【００１９】
画像取得部３は、カメラ１１１で撮影した画像を外部機器インタフェース１０４およびマイコンインタフェース１０３が仲介して記憶装置１０２に格納することで実現する。
【００２０】
注目方向受取部４は、画像取得部３において記憶装置１０２に格納された画像を映像出力装置１０８に表示することで実現した表示装置と、ＨＭＩ（ヒューマン・マシン・インターフェース）装置１１０によって受け取ったユーザの入力情報を、マイコンインタフェース１０３が仲介して記憶装置１０２に格納し、この入力情報を用いてＣＰＵ１０１が注目方向角を計算して記憶装置１０２に格納することで実現する。
【００２１】
形状認識部５は、画像取得部３において記憶装置１０２に格納された画像を用いて、ＣＰＵ１０３が形状的特徴情報を抽出して記憶装置１０２に格納することで実現する。
【００２２】
モデル構築部６は、測位部２において記憶装置１０２に格納された自車位置姿勢、地図建造物データベース１において記憶装置１０２に格納された地図データおよび建造物データを用いて、ＣＰＵ１０３が立体モデルを構築して記憶装置１０２に格納することで実現する。
【００２３】
建造物特定部７は、注目方向受取部４において記憶装置１０２に格納された注目方向角、形状認識部５において記憶装置１０２に格納された形状的特徴情報、モデル構築部６において記憶装置１０２に格納された立体モデルを用いて、ＣＰＵ１０３が建造物を特定して記憶装置１０２に格納することで実現する。
【００２４】
案内情報取得部８は、建造物特定部７において記憶装置１０２に格納された建造物に対応する案内情報を、地図建造物データベース１において記憶装置１０２に格納された建造物データからＣＰＵ１０３が選択し、記憶装置１０２の別領域に格納することで実現する。
【００２５】
表示部９は、案内情報取得部８において記憶装置１０２に格納された案内情報を用いてＣＰＵ１０３が作成した案内映像および案内音声を、マイコンインタフェース１０３が仲介して映像出力装置１０８および音響出力装置１０９に出力することで実現する。
【００２６】
次に、このように構成されたナビゲーション装置の建造物の特定方法及び建造物特定部７の動作について説明する。建造物の特定には、先ず、車載カメラで自車周辺を撮像し、それを表示装置に示し、ユーザは表示画像内で注目する或る建造物を指定する。次に、建造物特定部７は、実空間内に在ってユーザにより指定された建造物の現実の二次元画像及びそれを元に形状認識部５が抽出した形状的特徴情報と、地図建造物データベース１からモデル構築部６が作成した立体モデル（仮想空間）内の各建造物の仮想の二次元画像とを比較し、現実の画像に一番近い仮想空間内の建造物を選んで、その建造物をユーザにより指定された建造物と特定する。その動作について、図３に示すフローチャートを用いて説明する。
【００２７】
先ず、ステップ７１では、立体モデル内の周辺領域内の全ての建造物について評価値を算出したかどうかを判定する。ここでの評価値とは、ユーザが指定した建造物である可能性を数値化したものである。評価値を算出していない建造物が残っていた場合は、それらの建造物のうちの１つを選択してステップ７２に進む。全ての建造物の評価値を算出していた場合は、ステップ７４に進む。
【００２８】
ステップ７２では、ステップ７１で選択した建造物を基準とした投影画像（仮想の二次元画像）を作成する（図４、５参照）。ここで投影画像は、注目方向角に選択建造物が存在した場合に自車位置から見えると考えられる画像を、立体モデルを元に作成したものである。つまり、実空間内の注目方向角と仮想空間内の選択建造物の方向角とが同じになる様に作成した画像である。あるいは、実写画面で指定された建造物への方向と、立体モデル内の選択該建造物への方向とが同じになる様に、立体モデル全体を移動して作成した画像でもある。なお、選択建造物には幅があるため、選択建造物への方向としては、例えば、原点から選択建造物の中心とするとか、立体モデル全体を移動して画像を作成する際に選択建造物の中で一番移動量が少なくなる場所とする方法などがある。
【００２９】
投影画像は、例えば以下のようにして作成する。立体モデルにおいては原点が自車位置であるので、投影画像の投影中心を立体モデルの原点とする。次に、注目方向角と選択建造物の方向角とを一致させるように投影画像の投影方向を決定する。つまり、実空間内の自車位置から指定された建造物への方向（＝注目方向ベクトル）と車両が向いている方向とでなす角（＝注目方向角）が、仮想空間内（立体モデル）の原点から選択建造物への方向と投影方向とでなす角（＝選択建造物の方向角）と一致するように投影方向を決定する。このようにして決定した投影中心と投影方向を用いて透視変換を行う。透視変換によって得た画像に対してカメラパラメータを用いた変換を適用し、投影画像として用いる。
【００３０】
ステップ７２ａでは、ステップ７２で作成した投影画像を用いて、ステップ７１で選択した建造物の可視度を算出する。ここで可視度は、自車の位置姿勢から選択建造物が見えるべき大きさが大きいほど値が大きくなるパラメータである。可視度は、例えば投影画像における選択建造物の面積を用いる。
【００３１】
ステップ７２ｂでは、ステップ７２で作成した投影画像を用いて、ステップ７１で選択した建造物の方向一致度を算出する。ここで方向一致度は、自車の位置姿勢から選択建造物が見えるべき方向角と、注目方向角が近いほど値が大きくなるパラメータである。あるいは、投影画像を作成する際に、立体モデル全体を移動させた移動角度から算出されるものである。方向一致度は、例えば立体モデルの奥行き方向（＝車両が向いている方向）と方向が一致するベクトルとステップ７２における投影方向と方向が一致するベクトルとの内積を用いる。ただし、ここで用いるベクトルは長さを正規化しておくこととする。
【００３２】
ステップ７２ｃでは、ステップ７２で作成した投影画像を用いて、ステップ７１で選択した建造物の形状類似度を算出する。ここで形状類似度は、自車の位置姿勢から見えるべき景色における選択建造物の形状的特徴情報と、実際に撮影した画像が似ているほど値が大きくなるパラメータである。形状類似度は、例えば、投影画像（仮想の二次元画像）から抽出した形状的特徴情報と、現実の二次元画像から形状認識部５で抽出した形状的特徴情報とを照合し比較する。形状的特徴情報としてエッジを用いる場合、形状認識部５で抽出した各エッジについて、投影画像上で最も近いエッジを探索してその距離を求める。各エッジについて求めた距離の総和を求め、エッジ数で割った値の逆数を形状類似度とすればよい。ここで用いるエッジを垂直方向のものに限定するなどし、不要なエッジによるノイズを除去してもよい。また注目方向点（注目方向角に対応する画像上の点）と各エッジとの位置関係を考慮して計算してもよい。
【００３３】
ステップ７３では、ステップ７２ａからステップ７２ｃで算出した各パラメータを用いて、ステップ７１で選択した建造物の評価値を算出する。評価値としては、例えば全パラメータの和を用いる。ここで、ユーザの性格や走行状況に合わせて各パラメータに対する重み係数を設定し、重み付けしたパラメータの和を評価値としてもよい。例えば、大きく見えている建造物に注目しやすい傾向があるユーザが操作する場合は可視度に対する重み係数を大きく設定する、ＧＰＳ衛星の電波が受信できず測位精度が低い場合は方向一致度に対する重み係数を小さくするなどとする。ここで、ユーザの性格に応じた重み設定は、複数のユーザの使用状況を調査して平均的な設定を初期設定としてもよいし、実際に使用するユーザの使用状況を解析することで各ユーザに最適な設定を求めてもよい。また、評価値の計算式は各パラメータの線形結合でなくてもよい。例えば、方向一致度が低い場合に可視度の影響は小さいと考えられるため、これら２つのパラメータの積と形状類似度との和を評価値とするなどとしてもよい。
【００３４】
ステップ７４では、ステップ７１からステップ７３で求めた各建造物の評価値を比較して、評価値が最も高い建造物をユーザが指定した注目建造物として特定する。ここで評価値が上位となった複数の建造物について、その評価値に大きな差がない場合、それらの建造物の自車位置からの距離、建造物の施設種類あるいは建造物の知名度などを用いて一つに特定する。施設種類は、地図建造物データベース１において各建造物に関連付けて保持されているものとする。ユーザが通常は注目しないと考えられるコンビニエンスストア、スーパーなどの施設種類は優先度を低く設定し、ユーザが注目する可能性が高い観光施設、駅などの施設種類の優先度を高く設定しておく。この設定に従って、候補となる建造物を比較すればよい。この際に、走行状況によって施設種類に設定された優先度を調整してもよい。例えば、ガソリンが少なくなってきた場合はガソリンスタンドの優先度を高くする、飲食店に立ち寄った直後は飲食店の優先度を低くするなどとする。こうして設定された優先度に従い、ユーザが注目しないと考えられる施設種類に属する建造物は、注目建造物の候補から除外する。また知名度を用いる場合、例えばその建造物の名称を外部ネットワーク上で検索し、そのヒット数を指標とすればよい。
【００３５】
図６は以上に述べたパラメータ計算の一例について概要を示すものである。図６における実写画像は、画像処理部３で取得した実写画像を簡略化したものの一例である。また形状的特徴情報は、実写画像の一例から形状的特徴情報を認識した結果を図示したものである。図中の丸印は注目方向点（注目方向角に対応する画像上の点）を示している。平面地図は、例示した立体モデルを上方から平面的に図示したものである。地図中の四角形は建造物を、三角形は自車位置を、三角形から伸びる破線は自車位置（原点）からの注目方向ベクトルを示している。投影画像ａ〜ｃは、原点からそれぞれ平面地図上のＡ〜Ｃに対応する建造物（選択建造物）への方向と注目方向ベクトルが重なるように立体モデル全体を移動した投影画像である。あるいは、実空間内の注目方向角と仮想空間内のＡ〜Ｃに対応する建造物（選択建造物）の方向角とが同じになる様に投影方向を設定して作成した画像でもある。
【００３６】
この例では、ユーザが指定した建造物はＢであるが、奥行き方向を投影方向とした投影画像では注目方向ベクトルと建造物Ａが重なる。特に、建造物ＡやＢが階数情報のみで、正確な高さ情報が無い時など建造物データの精度が低かったり、ビルの谷間等のためＧＰＳによる位置測定精度が低下し地図データの精度が低いと、建造物ＡとＢの投影画像の高さ情報や位置情報が曖昧となる為、立体モデルと注目方向角との照合だけでは建造物を誤って特定してしまう場合がある。そのため、現実に撮像した実写画像から抽出した形状的特徴情報を考慮する必要がある。高さ情報や位置情報が曖昧でも、形状的特徴情報として例えば注目方向点から左右の垂直方向のエッジまでの距離を用いると、建造物ＡとＢでは建物の幅が異なるため区別できる様になる。その結果、投影画像ａは立体モデルの奥行き方向と投影方向とが一致しているため方向一致度は高いが、形状類似度は中程度であると判定する。投影画像ｂの方向一致度はａより少し低いが、形状類似度はａより高いと判定する。投影画像ｃの方向一致度はきわめて低く、形状類似度も低いと判定する。これらの判定結果を数値化し、評価関数のパラメータとして、建造物を特定する。
【００３７】
このように構成されたナビゲーション装置によれば、画像取得部３および注目方向受取部４を備えたことにより、表示画面上においてユーザが注目する建造物を簡便に指定することができる。また、測位部と、地図建造物データベースと、モデル構築部と建造物特定部とを備えたため、現在位置周辺の立体モデルを構築し、これと実写画像を照合するので、建造物の特定精度が向上する。さらに、形状認識部５を備えたことにより、地図および建造物の立体形状に関する情報が十分で無い場合や自車の位置姿勢を高精度に測定できない場合でも、現実に撮像した実写画像から抽出した形状的特徴情報を照合するので、建造物の特定精度を向上させることができる。これらの結果、建造物の情報を簡便に取得でき、ユーザの負担を軽減させることができる。
【００３８】
実施の形態２．
実施の形態２では、ビルの谷間等のためＧＰＳによる現在位置精度が十分でなかったり、地図建造物データベース１の建造物が階数情報のみで、正確な高さ情報が無い時など建造物の精度が十分でなかったり誤差があるときの建造物の特定手法を示す。図７は、この発明を実施するための実施の形態２におけるナビゲーション装置を示すシステム構成図である。図において、地図建造物データベース１、測位部２、画像取得部３、注目方向受取部４、形状認識部５、案内情報取得部８および表示部９は、先の実施の形態１と同じ働きをする。
【００３９】
走行状況取得部１０は、測位精度に関わる自車の走行状況を車両および各種センサから受け取る。走行状況としては、例えばハンドルの切り方、ブレーキおよびアクセルの強さ、ＧＰＳ電波の受信状況、車両の振動などがある。
【００４０】
モデル構築部６ａは、実施の形態１のモデル構築部６と同様の方法で自車周辺領域の立体モデルを構築する。そして地図建造物データベースが持つ建造物の立体形状情報の精度、走行状況取得部１０が取得した自車の走行状況を用いて、立体モデルに誤差範囲を付加する。誤差範囲は、以下のような方法で設定する。建造物は、立体形状情報の精度および詳細度に応じてモデル形状の誤差範囲を設定する。例えば高さ情報として階数しか持っていない場合、その階数に応じた高さの範囲を設定する。原点位置および奥行き方向は、測位精度に応じて誤差範囲を設定する。例えばＧＰＳ電波の受信状況が悪いと自車の位置の推定値がずれる可能性が高いので、原点位置の誤差範囲を大きく設定する。また、ハンドルを急に切った瞬間は自車姿勢の推定値がずれる可能性が高いので、奥行き方向の誤差範囲を大きく設定する。
【００４１】
図２で本発明の実施の形態２を実現するハードウェア構成を説明する。地図建造物データベース１、測位部２、画像取得部３、注目方向受取部４、形状認識部５、モデル構築部６ａ、建造物特定部７ａ、案内情報取得部８、表示部９は実施の形態１と同様のハードウェア構成で実現する。
【００４２】
走行状況取得部１０は、車両インタフェース１０５が車両から受け取った走行状況、ＧＰＳレシーバ１０６がＧＰＳ衛星から電波を受け取って計算した自車位置、ジャイロセンサ１０７が検出した車両の角速度を、マイコンインタフェース１０３が仲介して記憶装置１０２に格納することで実現する。
【００４３】
このように構成されたナビゲーション装置の建造物測定部７ａの動作について、図８に示すフローチャートを用いて説明する。建造物特定部７ａは、実施の形態１における建造物特定部７と同様の方法で注目建造物を特定するが、その際に立体モデルに付加された誤差範囲を考慮する。ステップ７１、７２、７２ａ〜７２ｃ、７３、７４は、実施の形態１の同じ番号のステップと同様の動作をする。
【００４４】
ステップ７１ａでは、誤差範囲の全ての条件下で評価値の算出を行ったかどうかを判定する。誤差範囲として例えば高さの範囲が設定されていた場合、立体モデルの各建造物の高さとして誤差範囲内の別の値を適用し、立体モデルを変形する。こうして変形した立体モデルの上で全ての建造物の評価値を再計算するために、建造物を１つ選択してステップ７２に進む。ここで、一度適用した値は用いず、範囲内の全ての値を適用していた場合は、ステップ７４に進む。また誤差範囲として複数のパラメータが設定されていた場合、その全ての組み合わせを適用する。
【００４５】
ステップ７３では、実施の形態１におけるステップ７３と同様の方法を用いてステップ７１で選択した建造物の評価値を算出する。ただしその際に、既に別の条件下で選択建造物の評価値を算出していた場合、大きい方の評価値を採用する。また、採用された方の評価値を与えた条件を記録しておく。
【００４６】
ステップ７４では、実施の形態１おけるステップ７４と同様の方法を用いて指定された建造物を特定する。ここで、特定した建造物の評価値を与えた条件下で原点位置および奥行き方向が測位部２で得た自車位置姿勢と異なる場合、この値を測位部２にフィードバックすることで測位精度を向上させてもよい。
【００４７】
なお、ここでは走行状況取得部１０が車両の測位誤差を求め、モデル構築部６ａが原点位置や奥行き方向の誤差を立体モデルに付加している。しかし、走行状況取得部１０が無くても、モデル構築部６ａは立体モデルの建造物に誤差範囲を付加し、建造物特定部７ａが建造物の特定をすることができる。
【００４８】
このように構成されたナビゲーション装置によれば、モデル構築部６ａで誤差を考慮した立体モデルを構築することにより、地図情報および建造物情報に誤差がある場合でも、建造物の特定精度を高くすることができる。また、走行状況取得部１０を設けたことにより、自車位置姿勢の誤差も考慮して、誤差を付加した立体モデルを構築するため、より建造物の特定精度を高くすることができる。
【００４９】
実施の形態３．
ここでは、建造物の色や模様といった属性類似度も考慮し、指定された建造物の特定精度を向上させる手法について述べる。図９は本発明の実施の形態３によるナビゲーション装置を示すシステム構成図である。図９における、地図建造物データベース１ａ、測位部２、画像取得部３、注目方向受取部４、形状認識部５、案内情報取得部８および表示部９は、先の実施の形態１と同じ働きをする。
【００５０】
モデル構築部６ｂは、実施の形態１におけるモデル構築部６と同様の方法で自車周辺領域の立体モデルを構築する。そして構築した立体モデルの各点に対し、地図建造物データベース１ａが持つ属性情報を関連付ける。建造物の属性情報とは例えば色、テクスチャ、材質などであり、それらの情報を地図建造物データベース１ａが持っているものとする。
【００５１】
属性認識部１１は、画像取得部３によって取得した実写画像を用いて周辺建造物の属性情報を抽出する。ここで抽出する属性情報は、地図建造物データベース１ａが持っているものと同様のものとする。建造物の属性は、画像取得部３で取得した画像から輝度値などを用いて平面抽出し、さらに抽出した平面に対してテクスチャ解析などを行うことで求める。平面抽出およびテクスチャ解析の方法としては、例えば「画像処理入門」ＩＳＢＮ４−７８９８−１８３４−９、Ｐ．５０−６２に記載された方法を用いる。
【００５２】
図２で本発明の実施の形態３を実現するハードウェア構成を説明する。地図建造物データベース１ａ、測位部２、画像取得部３、注目方向受取部４、形状認識部５、モデル構築部６ｂ、建造物特定部７ｂ、案内情報取得部８、表示部９は実施の形態１と同様のハードウェア構成で実現する。属性認識部１１は、画像取得部３において記憶装置１０２に格納された画像を用いて、ＣＰＵ１０３が属性情報を抽出して記憶装置１０２に格納することで実現する。
【００５３】
このように構成されたナビゲーション装置の建造物測定部７ｂの動作について、図１０に示すフローチャートを用いて説明する。建造物特定部７ｂは、実施の形態１における建造物特定部７と同様の方法で注目建造物を特定するが、その際に属性認識部１１で抽出した属性情報を考慮する。ステップ７１、７２、７２ａ〜７２ｃ、７３、７４は実施の形態１における同じ番号のステップと同様の動作をする。
【００５４】
ステップ７２ｄでは、ステップ７２で作成した投影画像を用いて、ステップ７１で選択した建造物の属性類似度を算出する。ここで属性類似度は、自車の位置姿勢から見えるべき景色における選択建造物の属性情報と実際に撮影した画像が似ているほど値が大きくなるパラメータである。属性類似度は、例えば仮想空間内の選択建造物の投影画像から抽出した属性情報と、属性認識部１１で抽出した実空間内の指定された建造物の属性情報とを比較する。属性情報として色を用いる場合、属性認識部１１で抽出した実写画像中の各画素の輝度値と投影画像中の対応する画素の輝度値との差を求める。各画素について求めた輝度値の差の総和を求め、画素数で割った値の逆数を属性類似度とすればよい。
【００５５】
なお、夕暮れ等状況によって建造物の色が変化する場合は、例えば色差を用いるとよい。色差を求める式としては、例えばＣＩＥ１９７６Ｌ＊ａ＊ｂ＊の色差式を用いる。画像中で隣接する建造物に対してこの式を適用して得られる値と、立体モデル中で隣接する建造物に対してこの式を適用して得られる値とを比較し、これが近ければ類似度が高いと判定する。また、隣接する建造物との色差ではなく、画像全体の色を平均したものとの色差を求めるようにしてもよい。
【００５６】
ステップ７４では、実施の形態１におけるステップ７４と同様の方法を用いて指定された建造物を特定する。
【００５７】
このように構成されたナビゲーション装置によれば、属性情報を関連付けた立体モデルと属性認識部１１を設けたことにより、建造物特定部７ｂで属性情報を考慮した評価関数によって建造物を特定できるため、自車位置姿勢、地図情報および建造物情報の誤差がある場合でも、建造物の特定精度を高くすることができる。また、状況によって建造物の属性情報が変化しても適切に建造物を特定する事ができる。
【００５８】
実施の形態４．
ここでは、地面の起伏を認識する事で立体モデルの精度を向上させ、指定された建造物の特定精度を向上させる手法について述べる。図１１は本発明の実施の形態４によるナビゲーション装置を示すシステム構成図である。この図における、地図建造物データベース１、測位部２、画像取得部３、注目方向受取部４、形状認識部５、建造物特定部７、案内情報取得部８および表示部９は、先の実施の形態１と同じ働きをする。図１１において、地図建造物データベース１が地図の詳細な標高情報を持っていないと、モデル構築部６ｃで構築する立体モデルが不正確なものとなり、建造物特定部７による建造物特定精度が低くなる。
【００５９】
起伏認識部１２は、画像取得部３から取得した実写画像から、自車周辺の地面の起伏を認識する。自車周辺の起伏は、例えば実写画像から道路面を抽出して消失点を求め、その消失点の画像上の位置から自車姿勢に対する周辺道路の傾斜を求める。消失点の決定方法としては、例えば「画像処理入門」ＩＳＢＮ４−７８９８−１８３４−９、Ｐ．５０−６２に記載された方法を用いる。
【００６０】
モデル構築部６ｃは、測位部２から取得した自車位置姿勢を用い、自車位置を原点として自車姿勢の方向を奥行き方向とした周辺領域を設定する。そして、地図建造物データベース１から周辺領域に位置する建造物の立体形状情報を取得する。また、起伏認識部１１から周辺起伏を取得する。取得した建造物の立体形状情報に含まれる敷地形状を用いて、その建造物が面している道路上の地点の地図上の位置を計算する。具体的には、建造物の敷地に隣接する道路のうちで自車に最も近い道路に対して、敷地の中心から垂線を引く。その垂線と道路の交点が、求める地点となる。そして、周辺起伏を用いて、自車位置とその地点の標高差を計算し、建造物の立体形状情報と合わせて立体モデルを構築すればよい。その後の建造物の特定は実施の形態１と同様に行う。
【００６１】
図２で本発明の実施の形態４を実現するハードウェア構成を説明する。地図建造物データベース１、測位部２、画像取得部３、注目方向受取部４、形状認識部５、モデル構築部６ｃ、建造物特定部７、案内情報取得部８、表示部９は実施の形態１と同様のハードウェア構成で実現する。起伏認識部１２は、画像取得部３において記憶装置１０２に格納された画像を用いて、ＣＰＵ１０３が周辺起伏を計算して記憶装置１０２に格納することで実現する。
【００６２】
このように構成されたナビゲーション装置によれば、起伏認識部１２を設けたので、モデル構築部６ｃで高精度な立体モデルを構築することができ、地図情報に標高情報が含まれていない場合や不十分な場合でも、建造物の特定精度を高くすることができる。
【００６３】
実施の形態５．
運転者は、運転状況によってはナビゲーション装置を操作できずに、建造物を行き過ぎてしまい、適切な情報が得られない事がある。ここでは、車両の位置姿勢と実写画像を保存することにより、余裕のある時などに過去の画像から建造物を特定できるようにするものについて述べる。図１２は本発明の実施の形態５によるナビゲーション装置を示すシステム構成図である。この図における、地図建造物データベース１、測位部２、画像取得部３、建造物特定部７、案内情報取得部８および表示部９は、先の実施の形態１と同じ働きをする。
【００６４】
保存部１３は、測位部２から取得した自車の位置姿勢と画像取得部３から取得した実写画像を取得した時刻と関連付けて保存する。そして、保存した実写画像を再生してユーザに選択させ、注目方向受取部４および形状認識部５にその画像を渡す。さらに、その画像と同じ時刻に関連付けられた自車位置姿勢をモデル構築部６に渡す。ここで、本手法での利用において適切な画像のみを保存するようにしてもよい。不適切な画像としては、例えば明るすぎる画像、暗すぎる画像、ぶれている画像、先行車両によって周辺の建造物が見えない画像、現在地点から遠い地点の画像などがある。保存する画像を減らすことにより、メモリ使用量を抑制するとともに、画像の検索性を向上させることができる。また、画像の検索性を向上させる方法として、交差点を通過した時点などを区切りとして、保存する画像を階層化する方法を取ってもよい。
【００６５】
注目方向受取部４および形状認識部５は、保存部１３から取得した実写画像を用いて、実施の形態１における注目方向受取部４および形状認識部５と同様の働きをする。モデル構築部６は、保存部１３から取得した自車位置姿勢を用いて、実施の形態１におけるモデル構築部６と同様の働きをする。
【００６６】
図２で本発明の実施の形態５を実現するハードウェア構成を説明する。地図建造物データベース１、測位部２、画像取得部３、注目方向受取部４、形状認識部５、モデル構築部６、建造物特定部７、案内情報取得部８、表示部９は実施の形態１と同様のハードウェア構成で実現する。保存部１３は、画像取得部３において記憶装置１０２に格納された画像および測位部２において記憶領域１０２に格納された自車位置姿勢を、十分な大きさで確保された記憶装置１０２の別領域に格納することで実現する。
【００６７】
このように構成されたナビゲーション装置によれば、保存部１３を設けたことにより、ユーザが過去の画像から建造物を指定できるため、ユーザが運転状況などに応じて安全かつ効果的に建造物の情報を取得することができ、ユーザの負担を軽減させることができる。
【図面の簡単な説明】
【００６８】
【図１】この発明の実施の形態１を示すナビゲーション装置のシステム構成図である。
【図２】この発明の実施の形態１〜５を示すナビゲーション装置の実現方法を示すハードウェア構成図の一例である。
【図３】この発明の実施の形態１を示す建造物特定部７の処理のフローチャートである。
【図４】この発明の実施の形態１を示すナビゲーション装置の説明図である。
【図５】この発明の実施の形態１を示すナビゲーション装置の説明図である。
【図６】この発明の実施の形態１を示す建造物特定部７が評価値を計算する際のイメージを示す概要図である。
【図７】この発明の実施の形態２を示すナビゲーション装置を示す構成図である。
【図８】この発明の実施の形態２を示す建造物特定部７ａの処理のフローチャートである。
【図９】この発明の実施の形態３を示すナビゲーション装置を示す構成図である。
【図１０】この発明の実施の形態３を示す建造物特定部７ｂの処理のフローチャートである。
【図１１】この発明の実施の形態４を示すナビゲーション装置を示す構成図である。
【図１２】この発明の実施の形態５を示すナビゲーション装置を示す構成図である。
【符号の説明】
【００６９】
１、１ａ 地図建造物データベース
２ 測位部
３ 画像取得部
４ 注目方向受取部
５ 形状認識部
６、６ａ、６ｂ、６ｃ モデル構築部
７、７ａ、７ｂ 建造物特定部
８ 案内情報取得部
９ 表示部
１０ 走行状況取得部
１１ 属性認識部
１２ 起伏認識部
１３ 保存部
１０１ ＣＰＵ
１０２ 記憶装置
１０３ マイコンインタフェース
１０４ 外部機器インタフェース
１０５ 車両インタフェース
１０６ ＧＰＳレシーバ
１０７ ジャイロセンサ
１０８ 映像出力装置
１０９ 音響出力装置
１１０ ＨＭＩ装置
１１１ カメラ
【技術分野】
【０００１】
この発明は、車載用のナビゲーション装置に関し、特に車両周辺の建造物に関する情報を得るためのナビゲーション装置に関する。
【背景技術】
【０００２】
従来のナビゲーション装置においては、ユーザが適切な検索条件を入力して建物を特定し、その情報を取得していた。また、従来のカーナビゲーションシステムでは、車載カメラからの実写映像をナビゲーション装置の画面に表示し、その画面に見えている建物を指で触れる等により建物を指定し、車載カメラで撮影した連続画像から得られる対象物の特徴点とその対応点の座標情報及びＧＰＳ（グローバル・ポジショニング・システム）から得られるカメラの位置情報を用いて対象物の位置情報を獲得し、その位置情報から近い順に複数の建物の情報を順次列挙して表示し、ユーザに選択させていた。（例えば特許文献１参照）。
【０００３】
【特許文献１】特開２００４-１３８５５６号公報（第４頁、第１図）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
従来のナビゲーション装置では、適切な検索条件を入力しなければならなかったり、建物の特定精度が十分でないため複数の建物の中からユーザが選択しなくてはならず、ユーザの負担が大きいという問題点があった。
【０００５】
この発明は、上述のような問題を解決するためになされたもので、ユーザが建造物を簡便に指定でき、その建造物の特定精度を向上させ、ユーザが情報を得る際の負担を軽減させるナビゲーション装置を得ることを目的とする。
【課題を解決するための手段】
【０００６】
この発明に係るナビゲーション装置は、測位部と、地図建造物データベースと、モデル構築部と、画像取得部と、注目方向受取部と、形状認識部と、建造物特定部と、案内情報取得部と、表示部とを備えている。モデル構築部は、測位部からの現在位置情報と地図建造物データベースからの地図及び建造物情報から現在位置周辺の立体モデルを構築する。画像取得部は、現在位置の周辺を撮像し実写画像を取得する。注目方向受取部は、画像取得部からの実写画像を画面に表示する表示装置において、指定された建造物の画面上の位置情報を受取り、現在位置に対する指定された建造物への方向を求める。形状認識部は、画像取得部からの実写画像から周辺建造物の形状的特徴情報を抽出する。建造物特定部は、モデル構築部からの立体モデルと注目方向受取部からの方向と形状認識部からの形状的特徴情報を用いて表示画面上において指定された建造物が立体モデル中のどの建造物であるかを特定する。案内情報取得部は、建造物特定部で特定された建造物の案内情報を地図建造物データベースから取得し、表示部は、この案内情報を音声又は映像の少なくとも１つで出力するものである。
【発明の効果】
【０００７】
この発明に係るナビゲーション装置は、画像取得部と注目方向受取部とを備えたため、表示画面上において建造物を簡便に指定することができる。また、測位部と、地図建造物データベースと、モデル構築部と形状認識部と建造物特定部とを備えたため、現在位置周辺の立体モデルを地図建造物データベースに基づき構築し、これと現実に撮像した実写画像を照合するので、建造物の特定精度が向上する。これらの結果、建造物の情報を簡便に取得でき、ユーザの負担を軽減させることができる。
【発明を実施するための最良の形態】
【０００８】
実施の形態１．
図１は、この発明を実施するための実施の形態１におけるナビゲーション装置のシステム構成図である。図において、地図建造物データベース１は、地図及び建造物の立体形状情報と、案内情報を記憶している。立体形状情報は地図情報と関連付けて建造物の立体モデルを構築するための情報であり、例えば建造物の位置、敷地形状、階数などがある。敷地形状および階数に代わって、より詳細な立体モデルを持っていてもよい。案内情報は建造物に関する案内をユーザに提示するための情報であり、例えば名称、詳細情報などがある。また、ここで挙げた情報は外部ネットワークと通信して取得してもよい。なおここでの建造物は、人工物に限定される事無く、例えば公園や、山、川、海岸等でもよい。
【０００９】
測位部２は、車両の現在位置や姿勢を求める。位置や姿勢は、例えば従来のカーナビゲーション装置で行われているように、ＧＰＳ、車速センサ、ジャイロセンサといったセンサ群の測定値とマップマッチングなどを用いて計算する。
【００１０】
画像取得部３は、現在位置の周辺を撮像し、周辺の実写画像を取得する。ここで実写画像は、例えば車載カメラによって自車前方の画像を取得する。
【００１１】
注目方向受取部４は、ユーザによって表示画面上で指定された建造物への方向と、注目方向角を求める。ここで注目方向角は、自車位置を基準とし、指定された建造物への方向と車両が向いている方向とのなす角として表される。具体的には、画像取得部３によって取得した周辺の撮影画像（実写画像）をディスプレイ等の表示装置に表示し、その表示画面上でユーザが注目し指定した建造物の注目点の位置情報を受取る。受取った実写画像上の注目点の位置、カメラが設置された位置姿勢およびカメラパラメータを用いて座標変換を行い、注目点の方向と車両が向いている方向とのなす角を計算する。座標変換の方法としては、例えば「３次元ＣＧの基礎と応用」ＩＳＢＮ７８１９−１０８０−７、Ｐ．２２−２４、Ｐ．５９−６６に記載された透視変換の逆変換を用いる。画像上での注目点の位置は、例えばタッチパネル機能を有するディスプレイを触るか、リモコンによってディスプレイ上のカーソルを操作することで指定する。
【００１２】
形状認識部５は、画像取得部３によって取得した実写画像を用いて周辺建造物の形状的特徴情報を抽出する。ここで周辺建造物は、自車から現実に見えている建造物である。周辺建造物の形状的特徴情報としては、例えば実写画像の特徴点、エッジ、平面などを用いる。これらの形状的特徴情報を画像から抽出する方法としては、例えば「画像処理入門」ＩＳＢＮ４−７８９８−１８３４−９、Ｐ．５０−６２に記載された方法を用いる。
【００１３】
モデル構築部６は、まず、測位部２から取得した自車位置姿勢を用いて周辺領域を設定する。ここで周辺領域は、自車位置を原点として自車姿勢の方向を奥行き方向（＝車両が向いている方向）とした座標系で表す。また周辺領域の範囲は、例えば自車の左右方向にそれぞれ５０[ｍ]、前方に５００[ｍ]などと一定の範囲を取るように予め設定しておけばよい。周辺領域の範囲は、走行中の道路の種別、周辺にある建造物の数などを考慮して動的に決定してもよい。その場合は、例えば高速道路を走行中なら前方の距離を１０[ｋｍ]とする、周辺の観光施設の数が２０個になるまで範囲を広げるなどとすればよい。次に、地図建造物データベース１から周辺領域内に位置する建造物の立体形状情報を取得し、この情報を用いて立体モデルを構築する。
【００１４】
建造物特定部７は、注目方向受取部４で受取った指定された建造物への方向や注目方向角、形状認識部５で認識した周辺建造物の形状的特徴情報、およびモデル構築部６で構築した周辺領域の立体モデルを用いて注目建造物を特定する。
【００１５】
案内情報取得部８は、建造物特定部７が特定した注目建造物に関する案内情報を、地図建造物データベース１から取得する。取得する案内情報としては、例えば建造物の名称がある。建造物が観光用であれば建造時期、歴史的背景、観光情報などを取得してもよい。建造物が商業用であれば、営業時間、セール情報などを取得してもよい。建造物が駅や空港などであれば、時刻表や空席情報を表示してもよい。
【００１６】
表示部９は、案内情報取得部８で取得した案内情報を音声でスピーカに出力したり、映像でディスプレイに表示する。この時に、画像取得部３で取得した実写画像に建造物の案内情報を重畳させてもよい。
【００１７】
図２は本発明の実施の形態１を実現するハードウェア構成の一例である。地図建造物データベース１は、記憶装置１０２に地図データおよび建造物データをあらかじめ記憶しておくことで実現する。あるいは、地図建造物データベース１は、外部機器インタフェース１０４を経由して外部の記憶媒体あるいはネットワークから地図データおよび建造物データを取得し、マイコンインタフェース１０３を経由して記憶装置１０２に一時的に格納することで実現する。
【００１８】
測位部２は、車両インタフェース１０５が車両から受け取った速度、ＧＰＳレシーバ１０６がＧＰＳ衛星から電波を受け取って計算した推定自車位置、ジャイロセンサ１０７が検出した車両の角速度を、マイコンインタフェース１０３が仲介して記憶装置１０２に格納し、地図建造物データベース１において記憶装置１０２に格納されている地図データと上記した速度、推定自車位置、角速度を用いて、ＣＰＵ１０１が自車の位置および姿勢を特定し記憶装置１０２に格納することで実現する。
【００１９】
画像取得部３は、カメラ１１１で撮影した画像を外部機器インタフェース１０４およびマイコンインタフェース１０３が仲介して記憶装置１０２に格納することで実現する。
【００２０】
注目方向受取部４は、画像取得部３において記憶装置１０２に格納された画像を映像出力装置１０８に表示することで実現した表示装置と、ＨＭＩ（ヒューマン・マシン・インターフェース）装置１１０によって受け取ったユーザの入力情報を、マイコンインタフェース１０３が仲介して記憶装置１０２に格納し、この入力情報を用いてＣＰＵ１０１が注目方向角を計算して記憶装置１０２に格納することで実現する。
【００２１】
形状認識部５は、画像取得部３において記憶装置１０２に格納された画像を用いて、ＣＰＵ１０３が形状的特徴情報を抽出して記憶装置１０２に格納することで実現する。
【００２２】
モデル構築部６は、測位部２において記憶装置１０２に格納された自車位置姿勢、地図建造物データベース１において記憶装置１０２に格納された地図データおよび建造物データを用いて、ＣＰＵ１０３が立体モデルを構築して記憶装置１０２に格納することで実現する。
【００２３】
建造物特定部７は、注目方向受取部４において記憶装置１０２に格納された注目方向角、形状認識部５において記憶装置１０２に格納された形状的特徴情報、モデル構築部６において記憶装置１０２に格納された立体モデルを用いて、ＣＰＵ１０３が建造物を特定して記憶装置１０２に格納することで実現する。
【００２４】
案内情報取得部８は、建造物特定部７において記憶装置１０２に格納された建造物に対応する案内情報を、地図建造物データベース１において記憶装置１０２に格納された建造物データからＣＰＵ１０３が選択し、記憶装置１０２の別領域に格納することで実現する。
【００２５】
表示部９は、案内情報取得部８において記憶装置１０２に格納された案内情報を用いてＣＰＵ１０３が作成した案内映像および案内音声を、マイコンインタフェース１０３が仲介して映像出力装置１０８および音響出力装置１０９に出力することで実現する。
【００２６】
次に、このように構成されたナビゲーション装置の建造物の特定方法及び建造物特定部７の動作について説明する。建造物の特定には、先ず、車載カメラで自車周辺を撮像し、それを表示装置に示し、ユーザは表示画像内で注目する或る建造物を指定する。次に、建造物特定部７は、実空間内に在ってユーザにより指定された建造物の現実の二次元画像及びそれを元に形状認識部５が抽出した形状的特徴情報と、地図建造物データベース１からモデル構築部６が作成した立体モデル（仮想空間）内の各建造物の仮想の二次元画像とを比較し、現実の画像に一番近い仮想空間内の建造物を選んで、その建造物をユーザにより指定された建造物と特定する。その動作について、図３に示すフローチャートを用いて説明する。
【００２７】
先ず、ステップ７１では、立体モデル内の周辺領域内の全ての建造物について評価値を算出したかどうかを判定する。ここでの評価値とは、ユーザが指定した建造物である可能性を数値化したものである。評価値を算出していない建造物が残っていた場合は、それらの建造物のうちの１つを選択してステップ７２に進む。全ての建造物の評価値を算出していた場合は、ステップ７４に進む。
【００２８】
ステップ７２では、ステップ７１で選択した建造物を基準とした投影画像（仮想の二次元画像）を作成する（図４、５参照）。ここで投影画像は、注目方向角に選択建造物が存在した場合に自車位置から見えると考えられる画像を、立体モデルを元に作成したものである。つまり、実空間内の注目方向角と仮想空間内の選択建造物の方向角とが同じになる様に作成した画像である。あるいは、実写画面で指定された建造物への方向と、立体モデル内の選択該建造物への方向とが同じになる様に、立体モデル全体を移動して作成した画像でもある。なお、選択建造物には幅があるため、選択建造物への方向としては、例えば、原点から選択建造物の中心とするとか、立体モデル全体を移動して画像を作成する際に選択建造物の中で一番移動量が少なくなる場所とする方法などがある。
【００２９】
投影画像は、例えば以下のようにして作成する。立体モデルにおいては原点が自車位置であるので、投影画像の投影中心を立体モデルの原点とする。次に、注目方向角と選択建造物の方向角とを一致させるように投影画像の投影方向を決定する。つまり、実空間内の自車位置から指定された建造物への方向（＝注目方向ベクトル）と車両が向いている方向とでなす角（＝注目方向角）が、仮想空間内（立体モデル）の原点から選択建造物への方向と投影方向とでなす角（＝選択建造物の方向角）と一致するように投影方向を決定する。このようにして決定した投影中心と投影方向を用いて透視変換を行う。透視変換によって得た画像に対してカメラパラメータを用いた変換を適用し、投影画像として用いる。
【００３０】
ステップ７２ａでは、ステップ７２で作成した投影画像を用いて、ステップ７１で選択した建造物の可視度を算出する。ここで可視度は、自車の位置姿勢から選択建造物が見えるべき大きさが大きいほど値が大きくなるパラメータである。可視度は、例えば投影画像における選択建造物の面積を用いる。
【００３１】
ステップ７２ｂでは、ステップ７２で作成した投影画像を用いて、ステップ７１で選択した建造物の方向一致度を算出する。ここで方向一致度は、自車の位置姿勢から選択建造物が見えるべき方向角と、注目方向角が近いほど値が大きくなるパラメータである。あるいは、投影画像を作成する際に、立体モデル全体を移動させた移動角度から算出されるものである。方向一致度は、例えば立体モデルの奥行き方向（＝車両が向いている方向）と方向が一致するベクトルとステップ７２における投影方向と方向が一致するベクトルとの内積を用いる。ただし、ここで用いるベクトルは長さを正規化しておくこととする。
【００３２】
ステップ７２ｃでは、ステップ７２で作成した投影画像を用いて、ステップ７１で選択した建造物の形状類似度を算出する。ここで形状類似度は、自車の位置姿勢から見えるべき景色における選択建造物の形状的特徴情報と、実際に撮影した画像が似ているほど値が大きくなるパラメータである。形状類似度は、例えば、投影画像（仮想の二次元画像）から抽出した形状的特徴情報と、現実の二次元画像から形状認識部５で抽出した形状的特徴情報とを照合し比較する。形状的特徴情報としてエッジを用いる場合、形状認識部５で抽出した各エッジについて、投影画像上で最も近いエッジを探索してその距離を求める。各エッジについて求めた距離の総和を求め、エッジ数で割った値の逆数を形状類似度とすればよい。ここで用いるエッジを垂直方向のものに限定するなどし、不要なエッジによるノイズを除去してもよい。また注目方向点（注目方向角に対応する画像上の点）と各エッジとの位置関係を考慮して計算してもよい。
【００３３】
ステップ７３では、ステップ７２ａからステップ７２ｃで算出した各パラメータを用いて、ステップ７１で選択した建造物の評価値を算出する。評価値としては、例えば全パラメータの和を用いる。ここで、ユーザの性格や走行状況に合わせて各パラメータに対する重み係数を設定し、重み付けしたパラメータの和を評価値としてもよい。例えば、大きく見えている建造物に注目しやすい傾向があるユーザが操作する場合は可視度に対する重み係数を大きく設定する、ＧＰＳ衛星の電波が受信できず測位精度が低い場合は方向一致度に対する重み係数を小さくするなどとする。ここで、ユーザの性格に応じた重み設定は、複数のユーザの使用状況を調査して平均的な設定を初期設定としてもよいし、実際に使用するユーザの使用状況を解析することで各ユーザに最適な設定を求めてもよい。また、評価値の計算式は各パラメータの線形結合でなくてもよい。例えば、方向一致度が低い場合に可視度の影響は小さいと考えられるため、これら２つのパラメータの積と形状類似度との和を評価値とするなどとしてもよい。
【００３４】
ステップ７４では、ステップ７１からステップ７３で求めた各建造物の評価値を比較して、評価値が最も高い建造物をユーザが指定した注目建造物として特定する。ここで評価値が上位となった複数の建造物について、その評価値に大きな差がない場合、それらの建造物の自車位置からの距離、建造物の施設種類あるいは建造物の知名度などを用いて一つに特定する。施設種類は、地図建造物データベース１において各建造物に関連付けて保持されているものとする。ユーザが通常は注目しないと考えられるコンビニエンスストア、スーパーなどの施設種類は優先度を低く設定し、ユーザが注目する可能性が高い観光施設、駅などの施設種類の優先度を高く設定しておく。この設定に従って、候補となる建造物を比較すればよい。この際に、走行状況によって施設種類に設定された優先度を調整してもよい。例えば、ガソリンが少なくなってきた場合はガソリンスタンドの優先度を高くする、飲食店に立ち寄った直後は飲食店の優先度を低くするなどとする。こうして設定された優先度に従い、ユーザが注目しないと考えられる施設種類に属する建造物は、注目建造物の候補から除外する。また知名度を用いる場合、例えばその建造物の名称を外部ネットワーク上で検索し、そのヒット数を指標とすればよい。
【００３５】
図６は以上に述べたパラメータ計算の一例について概要を示すものである。図６における実写画像は、画像処理部３で取得した実写画像を簡略化したものの一例である。また形状的特徴情報は、実写画像の一例から形状的特徴情報を認識した結果を図示したものである。図中の丸印は注目方向点（注目方向角に対応する画像上の点）を示している。平面地図は、例示した立体モデルを上方から平面的に図示したものである。地図中の四角形は建造物を、三角形は自車位置を、三角形から伸びる破線は自車位置（原点）からの注目方向ベクトルを示している。投影画像ａ〜ｃは、原点からそれぞれ平面地図上のＡ〜Ｃに対応する建造物（選択建造物）への方向と注目方向ベクトルが重なるように立体モデル全体を移動した投影画像である。あるいは、実空間内の注目方向角と仮想空間内のＡ〜Ｃに対応する建造物（選択建造物）の方向角とが同じになる様に投影方向を設定して作成した画像でもある。
【００３６】
この例では、ユーザが指定した建造物はＢであるが、奥行き方向を投影方向とした投影画像では注目方向ベクトルと建造物Ａが重なる。特に、建造物ＡやＢが階数情報のみで、正確な高さ情報が無い時など建造物データの精度が低かったり、ビルの谷間等のためＧＰＳによる位置測定精度が低下し地図データの精度が低いと、建造物ＡとＢの投影画像の高さ情報や位置情報が曖昧となる為、立体モデルと注目方向角との照合だけでは建造物を誤って特定してしまう場合がある。そのため、現実に撮像した実写画像から抽出した形状的特徴情報を考慮する必要がある。高さ情報や位置情報が曖昧でも、形状的特徴情報として例えば注目方向点から左右の垂直方向のエッジまでの距離を用いると、建造物ＡとＢでは建物の幅が異なるため区別できる様になる。その結果、投影画像ａは立体モデルの奥行き方向と投影方向とが一致しているため方向一致度は高いが、形状類似度は中程度であると判定する。投影画像ｂの方向一致度はａより少し低いが、形状類似度はａより高いと判定する。投影画像ｃの方向一致度はきわめて低く、形状類似度も低いと判定する。これらの判定結果を数値化し、評価関数のパラメータとして、建造物を特定する。
【００３７】
このように構成されたナビゲーション装置によれば、画像取得部３および注目方向受取部４を備えたことにより、表示画面上においてユーザが注目する建造物を簡便に指定することができる。また、測位部と、地図建造物データベースと、モデル構築部と建造物特定部とを備えたため、現在位置周辺の立体モデルを構築し、これと実写画像を照合するので、建造物の特定精度が向上する。さらに、形状認識部５を備えたことにより、地図および建造物の立体形状に関する情報が十分で無い場合や自車の位置姿勢を高精度に測定できない場合でも、現実に撮像した実写画像から抽出した形状的特徴情報を照合するので、建造物の特定精度を向上させることができる。これらの結果、建造物の情報を簡便に取得でき、ユーザの負担を軽減させることができる。
【００３８】
実施の形態２．
実施の形態２では、ビルの谷間等のためＧＰＳによる現在位置精度が十分でなかったり、地図建造物データベース１の建造物が階数情報のみで、正確な高さ情報が無い時など建造物の精度が十分でなかったり誤差があるときの建造物の特定手法を示す。図７は、この発明を実施するための実施の形態２におけるナビゲーション装置を示すシステム構成図である。図において、地図建造物データベース１、測位部２、画像取得部３、注目方向受取部４、形状認識部５、案内情報取得部８および表示部９は、先の実施の形態１と同じ働きをする。
【００３９】
走行状況取得部１０は、測位精度に関わる自車の走行状況を車両および各種センサから受け取る。走行状況としては、例えばハンドルの切り方、ブレーキおよびアクセルの強さ、ＧＰＳ電波の受信状況、車両の振動などがある。
【００４０】
モデル構築部６ａは、実施の形態１のモデル構築部６と同様の方法で自車周辺領域の立体モデルを構築する。そして地図建造物データベースが持つ建造物の立体形状情報の精度、走行状況取得部１０が取得した自車の走行状況を用いて、立体モデルに誤差範囲を付加する。誤差範囲は、以下のような方法で設定する。建造物は、立体形状情報の精度および詳細度に応じてモデル形状の誤差範囲を設定する。例えば高さ情報として階数しか持っていない場合、その階数に応じた高さの範囲を設定する。原点位置および奥行き方向は、測位精度に応じて誤差範囲を設定する。例えばＧＰＳ電波の受信状況が悪いと自車の位置の推定値がずれる可能性が高いので、原点位置の誤差範囲を大きく設定する。また、ハンドルを急に切った瞬間は自車姿勢の推定値がずれる可能性が高いので、奥行き方向の誤差範囲を大きく設定する。
【００４１】
図２で本発明の実施の形態２を実現するハードウェア構成を説明する。地図建造物データベース１、測位部２、画像取得部３、注目方向受取部４、形状認識部５、モデル構築部６ａ、建造物特定部７ａ、案内情報取得部８、表示部９は実施の形態１と同様のハードウェア構成で実現する。
【００４２】
走行状況取得部１０は、車両インタフェース１０５が車両から受け取った走行状況、ＧＰＳレシーバ１０６がＧＰＳ衛星から電波を受け取って計算した自車位置、ジャイロセンサ１０７が検出した車両の角速度を、マイコンインタフェース１０３が仲介して記憶装置１０２に格納することで実現する。
【００４３】
このように構成されたナビゲーション装置の建造物測定部７ａの動作について、図８に示すフローチャートを用いて説明する。建造物特定部７ａは、実施の形態１における建造物特定部７と同様の方法で注目建造物を特定するが、その際に立体モデルに付加された誤差範囲を考慮する。ステップ７１、７２、７２ａ〜７２ｃ、７３、７４は、実施の形態１の同じ番号のステップと同様の動作をする。
【００４４】
ステップ７１ａでは、誤差範囲の全ての条件下で評価値の算出を行ったかどうかを判定する。誤差範囲として例えば高さの範囲が設定されていた場合、立体モデルの各建造物の高さとして誤差範囲内の別の値を適用し、立体モデルを変形する。こうして変形した立体モデルの上で全ての建造物の評価値を再計算するために、建造物を１つ選択してステップ７２に進む。ここで、一度適用した値は用いず、範囲内の全ての値を適用していた場合は、ステップ７４に進む。また誤差範囲として複数のパラメータが設定されていた場合、その全ての組み合わせを適用する。
【００４５】
ステップ７３では、実施の形態１におけるステップ７３と同様の方法を用いてステップ７１で選択した建造物の評価値を算出する。ただしその際に、既に別の条件下で選択建造物の評価値を算出していた場合、大きい方の評価値を採用する。また、採用された方の評価値を与えた条件を記録しておく。
【００４６】
ステップ７４では、実施の形態１おけるステップ７４と同様の方法を用いて指定された建造物を特定する。ここで、特定した建造物の評価値を与えた条件下で原点位置および奥行き方向が測位部２で得た自車位置姿勢と異なる場合、この値を測位部２にフィードバックすることで測位精度を向上させてもよい。
【００４７】
なお、ここでは走行状況取得部１０が車両の測位誤差を求め、モデル構築部６ａが原点位置や奥行き方向の誤差を立体モデルに付加している。しかし、走行状況取得部１０が無くても、モデル構築部６ａは立体モデルの建造物に誤差範囲を付加し、建造物特定部７ａが建造物の特定をすることができる。
【００４８】
このように構成されたナビゲーション装置によれば、モデル構築部６ａで誤差を考慮した立体モデルを構築することにより、地図情報および建造物情報に誤差がある場合でも、建造物の特定精度を高くすることができる。また、走行状況取得部１０を設けたことにより、自車位置姿勢の誤差も考慮して、誤差を付加した立体モデルを構築するため、より建造物の特定精度を高くすることができる。
【００４９】
実施の形態３．
ここでは、建造物の色や模様といった属性類似度も考慮し、指定された建造物の特定精度を向上させる手法について述べる。図９は本発明の実施の形態３によるナビゲーション装置を示すシステム構成図である。図９における、地図建造物データベース１ａ、測位部２、画像取得部３、注目方向受取部４、形状認識部５、案内情報取得部８および表示部９は、先の実施の形態１と同じ働きをする。
【００５０】
モデル構築部６ｂは、実施の形態１におけるモデル構築部６と同様の方法で自車周辺領域の立体モデルを構築する。そして構築した立体モデルの各点に対し、地図建造物データベース１ａが持つ属性情報を関連付ける。建造物の属性情報とは例えば色、テクスチャ、材質などであり、それらの情報を地図建造物データベース１ａが持っているものとする。
【００５１】
属性認識部１１は、画像取得部３によって取得した実写画像を用いて周辺建造物の属性情報を抽出する。ここで抽出する属性情報は、地図建造物データベース１ａが持っているものと同様のものとする。建造物の属性は、画像取得部３で取得した画像から輝度値などを用いて平面抽出し、さらに抽出した平面に対してテクスチャ解析などを行うことで求める。平面抽出およびテクスチャ解析の方法としては、例えば「画像処理入門」ＩＳＢＮ４−７８９８−１８３４−９、Ｐ．５０−６２に記載された方法を用いる。
【００５２】
図２で本発明の実施の形態３を実現するハードウェア構成を説明する。地図建造物データベース１ａ、測位部２、画像取得部３、注目方向受取部４、形状認識部５、モデル構築部６ｂ、建造物特定部７ｂ、案内情報取得部８、表示部９は実施の形態１と同様のハードウェア構成で実現する。属性認識部１１は、画像取得部３において記憶装置１０２に格納された画像を用いて、ＣＰＵ１０３が属性情報を抽出して記憶装置１０２に格納することで実現する。
【００５３】
このように構成されたナビゲーション装置の建造物測定部７ｂの動作について、図１０に示すフローチャートを用いて説明する。建造物特定部７ｂは、実施の形態１における建造物特定部７と同様の方法で注目建造物を特定するが、その際に属性認識部１１で抽出した属性情報を考慮する。ステップ７１、７２、７２ａ〜７２ｃ、７３、７４は実施の形態１における同じ番号のステップと同様の動作をする。
【００５４】
ステップ７２ｄでは、ステップ７２で作成した投影画像を用いて、ステップ７１で選択した建造物の属性類似度を算出する。ここで属性類似度は、自車の位置姿勢から見えるべき景色における選択建造物の属性情報と実際に撮影した画像が似ているほど値が大きくなるパラメータである。属性類似度は、例えば仮想空間内の選択建造物の投影画像から抽出した属性情報と、属性認識部１１で抽出した実空間内の指定された建造物の属性情報とを比較する。属性情報として色を用いる場合、属性認識部１１で抽出した実写画像中の各画素の輝度値と投影画像中の対応する画素の輝度値との差を求める。各画素について求めた輝度値の差の総和を求め、画素数で割った値の逆数を属性類似度とすればよい。
【００５５】
なお、夕暮れ等状況によって建造物の色が変化する場合は、例えば色差を用いるとよい。色差を求める式としては、例えばＣＩＥ１９７６Ｌ＊ａ＊ｂ＊の色差式を用いる。画像中で隣接する建造物に対してこの式を適用して得られる値と、立体モデル中で隣接する建造物に対してこの式を適用して得られる値とを比較し、これが近ければ類似度が高いと判定する。また、隣接する建造物との色差ではなく、画像全体の色を平均したものとの色差を求めるようにしてもよい。
【００５６】
ステップ７４では、実施の形態１におけるステップ７４と同様の方法を用いて指定された建造物を特定する。
【００５７】
このように構成されたナビゲーション装置によれば、属性情報を関連付けた立体モデルと属性認識部１１を設けたことにより、建造物特定部７ｂで属性情報を考慮した評価関数によって建造物を特定できるため、自車位置姿勢、地図情報および建造物情報の誤差がある場合でも、建造物の特定精度を高くすることができる。また、状況によって建造物の属性情報が変化しても適切に建造物を特定する事ができる。
【００５８】
実施の形態４．
ここでは、地面の起伏を認識する事で立体モデルの精度を向上させ、指定された建造物の特定精度を向上させる手法について述べる。図１１は本発明の実施の形態４によるナビゲーション装置を示すシステム構成図である。この図における、地図建造物データベース１、測位部２、画像取得部３、注目方向受取部４、形状認識部５、建造物特定部７、案内情報取得部８および表示部９は、先の実施の形態１と同じ働きをする。図１１において、地図建造物データベース１が地図の詳細な標高情報を持っていないと、モデル構築部６ｃで構築する立体モデルが不正確なものとなり、建造物特定部７による建造物特定精度が低くなる。
【００５９】
起伏認識部１２は、画像取得部３から取得した実写画像から、自車周辺の地面の起伏を認識する。自車周辺の起伏は、例えば実写画像から道路面を抽出して消失点を求め、その消失点の画像上の位置から自車姿勢に対する周辺道路の傾斜を求める。消失点の決定方法としては、例えば「画像処理入門」ＩＳＢＮ４−７８９８−１８３４−９、Ｐ．５０−６２に記載された方法を用いる。
【００６０】
モデル構築部６ｃは、測位部２から取得した自車位置姿勢を用い、自車位置を原点として自車姿勢の方向を奥行き方向とした周辺領域を設定する。そして、地図建造物データベース１から周辺領域に位置する建造物の立体形状情報を取得する。また、起伏認識部１１から周辺起伏を取得する。取得した建造物の立体形状情報に含まれる敷地形状を用いて、その建造物が面している道路上の地点の地図上の位置を計算する。具体的には、建造物の敷地に隣接する道路のうちで自車に最も近い道路に対して、敷地の中心から垂線を引く。その垂線と道路の交点が、求める地点となる。そして、周辺起伏を用いて、自車位置とその地点の標高差を計算し、建造物の立体形状情報と合わせて立体モデルを構築すればよい。その後の建造物の特定は実施の形態１と同様に行う。
【００６１】
図２で本発明の実施の形態４を実現するハードウェア構成を説明する。地図建造物データベース１、測位部２、画像取得部３、注目方向受取部４、形状認識部５、モデル構築部６ｃ、建造物特定部７、案内情報取得部８、表示部９は実施の形態１と同様のハードウェア構成で実現する。起伏認識部１２は、画像取得部３において記憶装置１０２に格納された画像を用いて、ＣＰＵ１０３が周辺起伏を計算して記憶装置１０２に格納することで実現する。
【００６２】
このように構成されたナビゲーション装置によれば、起伏認識部１２を設けたので、モデル構築部６ｃで高精度な立体モデルを構築することができ、地図情報に標高情報が含まれていない場合や不十分な場合でも、建造物の特定精度を高くすることができる。
【００６３】
実施の形態５．
運転者は、運転状況によってはナビゲーション装置を操作できずに、建造物を行き過ぎてしまい、適切な情報が得られない事がある。ここでは、車両の位置姿勢と実写画像を保存することにより、余裕のある時などに過去の画像から建造物を特定できるようにするものについて述べる。図１２は本発明の実施の形態５によるナビゲーション装置を示すシステム構成図である。この図における、地図建造物データベース１、測位部２、画像取得部３、建造物特定部７、案内情報取得部８および表示部９は、先の実施の形態１と同じ働きをする。
【００６４】
保存部１３は、測位部２から取得した自車の位置姿勢と画像取得部３から取得した実写画像を取得した時刻と関連付けて保存する。そして、保存した実写画像を再生してユーザに選択させ、注目方向受取部４および形状認識部５にその画像を渡す。さらに、その画像と同じ時刻に関連付けられた自車位置姿勢をモデル構築部６に渡す。ここで、本手法での利用において適切な画像のみを保存するようにしてもよい。不適切な画像としては、例えば明るすぎる画像、暗すぎる画像、ぶれている画像、先行車両によって周辺の建造物が見えない画像、現在地点から遠い地点の画像などがある。保存する画像を減らすことにより、メモリ使用量を抑制するとともに、画像の検索性を向上させることができる。また、画像の検索性を向上させる方法として、交差点を通過した時点などを区切りとして、保存する画像を階層化する方法を取ってもよい。
【００６５】
注目方向受取部４および形状認識部５は、保存部１３から取得した実写画像を用いて、実施の形態１における注目方向受取部４および形状認識部５と同様の働きをする。モデル構築部６は、保存部１３から取得した自車位置姿勢を用いて、実施の形態１におけるモデル構築部６と同様の働きをする。
【００６６】
図２で本発明の実施の形態５を実現するハードウェア構成を説明する。地図建造物データベース１、測位部２、画像取得部３、注目方向受取部４、形状認識部５、モデル構築部６、建造物特定部７、案内情報取得部８、表示部９は実施の形態１と同様のハードウェア構成で実現する。保存部１３は、画像取得部３において記憶装置１０２に格納された画像および測位部２において記憶領域１０２に格納された自車位置姿勢を、十分な大きさで確保された記憶装置１０２の別領域に格納することで実現する。
【００６７】
このように構成されたナビゲーション装置によれば、保存部１３を設けたことにより、ユーザが過去の画像から建造物を指定できるため、ユーザが運転状況などに応じて安全かつ効果的に建造物の情報を取得することができ、ユーザの負担を軽減させることができる。
【図面の簡単な説明】
【００６８】
【図１】この発明の実施の形態１を示すナビゲーション装置のシステム構成図である。
【図２】この発明の実施の形態１〜５を示すナビゲーション装置の実現方法を示すハードウェア構成図の一例である。
【図３】この発明の実施の形態１を示す建造物特定部７の処理のフローチャートである。
【図４】この発明の実施の形態１を示すナビゲーション装置の説明図である。
【図５】この発明の実施の形態１を示すナビゲーション装置の説明図である。
【図６】この発明の実施の形態１を示す建造物特定部７が評価値を計算する際のイメージを示す概要図である。
【図７】この発明の実施の形態２を示すナビゲーション装置を示す構成図である。
【図８】この発明の実施の形態２を示す建造物特定部７ａの処理のフローチャートである。
【図９】この発明の実施の形態３を示すナビゲーション装置を示す構成図である。
【図１０】この発明の実施の形態３を示す建造物特定部７ｂの処理のフローチャートである。
【図１１】この発明の実施の形態４を示すナビゲーション装置を示す構成図である。
【図１２】この発明の実施の形態５を示すナビゲーション装置を示す構成図である。
【符号の説明】
【００６９】
１、１ａ 地図建造物データベース
２ 測位部
３ 画像取得部
４ 注目方向受取部
５ 形状認識部
６、６ａ、６ｂ、６ｃ モデル構築部
７、７ａ、７ｂ 建造物特定部
８ 案内情報取得部
９ 表示部
１０ 走行状況取得部
１１ 属性認識部
１２ 起伏認識部
１３ 保存部
１０１ ＣＰＵ
１０２ 記憶装置
１０３ マイコンインタフェース
１０４ 外部機器インタフェース
１０５ 車両インタフェース
１０６ ＧＰＳレシーバ
１０７ ジャイロセンサ
１０８ 映像出力装置
１０９ 音響出力装置
１１０ ＨＭＩ装置
１１１ カメラ
【特許請求の範囲】
【請求項１】
車両の現在位置を求める測位部と、
地図及び建造物情報を記憶した地図建造物データベースと、
前記測位部からの現在位置情報と前記地図建造物データベースからの地図及び建造物情報から現在位置周辺の立体モデルを構築するモデル構築部と、
現在位置の周辺を撮像し実写画像を取得する画像取得部と、
前記画像取得部からの実写画像を画面に表示する表示装置において、指定された建造物の画面上の位置情報を受取り、現在位置に対する前記指定された建造物への方向を求める注目方向受取部と、
前記画像取得部からの実写画像から周辺建造物の形状的特徴情報を抽出する形状認識部と、
前記モデル構築部からの立体モデルと前記注目方向受取部からの方向と前記形状認識部からの形状的特徴情報を用いて表示画面上において指定された建造物が立体モデルの中のどの建造物であるかを特定する建造物特定部と、
前記建造物特定部で特定された建造物の案内情報を前記地図建造物データベースから取得する案内情報取得部と、
前記案内情報取得部からの案内情報を音声又は映像の少なくとも１つで出力する表示部とを備えたナビゲーション装置。
【請求項２】
建造物特定部は、表示画面上において指定された建造物への方向と立体モデル内の各建造物への方向とが同じになる様に前記立体モデルを移動して作成した仮想画像を元に、
前記仮想画像内の前記各建造物の大きさから算出される可視度、
前記立体モデルの移動角度から算出される方向一致度、
形状認識部からの前記指定された建造物の形状的特徴情報と前記仮想画像内の前記各建造物の形状的特徴情報とを照合して算出される形状類似度のうち少なくとも一つによる評価値を求めて、
前記評価値の最も高いものを前記指定された建造物と特定する請求項１記載のナビゲーション装置。
【請求項３】
建造物特定部は、モデル構築部からの誤差範囲を設定した立体モデルを用いて、指定された建造物を特定する請求項１記載のナビゲーション装置。
【請求項４】
地図建造物データベースの建造物情報は、位置、敷地形状、階数、色彩及び模様を含み、
画像取得部からの実写画像から建造物の色彩及び模様を抽出する属性認識部を更に備え、
建造物特定部は、表示画面上において指定された建造物への方向と色彩及び模様情報が関連付けられた立体モデル内の各建造物への方向とが同じになる様に前記立体モデルを移動して作成した仮想画像を元に、
前記属性認識部からの色彩及び模様情報と前記仮想画像からの色彩及び模様情報とを照合して算出される属性類似度、
前記仮想画像内の前記各建造物の大きさから算出される可視度、
前記立体モデルの移動角度から算出される方向一致度、
形状認識部からの前記指定された建造物の形状的特徴情報と前記仮想画像内の前記各建造物の形状的特徴情報とを照合して算出される形状類似度のうち少なくとも一つによる評価値を求めて、
前記評価値の最も高いものを前記指定された建造物と特定する請求項１記載のナビゲーション装置。
【請求項５】
画像取得部からの実写画像から車両周辺の起伏を求める起伏認識部を更に備え、
モデル構築部は、測位部からの現在位置情報と地図建造物データベースからの地図及び建造物情報と前記起伏認識部からの起伏情報から現在位置周辺の立体モデルを構築し、
建造物特定部は、前記モデル構築部からの立体モデルと注目方向受取部からの方向と形状認識部からの形状的特徴情報を用いて表示画面上において指定された建造物が立体モデルの中のどの建造物であるかを特定する請求項１記載のナビゲーション装置。
【請求項６】
測位部と画像取得部の情報を保存する保存部を更に備えた請求項１記載のナビゲーション装置。
【請求項１】
車両の現在位置を求める測位部と、
地図及び建造物情報を記憶した地図建造物データベースと、
前記測位部からの現在位置情報と前記地図建造物データベースからの地図及び建造物情報から現在位置周辺の立体モデルを構築するモデル構築部と、
現在位置の周辺を撮像し実写画像を取得する画像取得部と、
前記画像取得部からの実写画像を画面に表示する表示装置において、指定された建造物の画面上の位置情報を受取り、現在位置に対する前記指定された建造物への方向を求める注目方向受取部と、
前記画像取得部からの実写画像から周辺建造物の形状的特徴情報を抽出する形状認識部と、
前記モデル構築部からの立体モデルと前記注目方向受取部からの方向と前記形状認識部からの形状的特徴情報を用いて表示画面上において指定された建造物が立体モデルの中のどの建造物であるかを特定する建造物特定部と、
前記建造物特定部で特定された建造物の案内情報を前記地図建造物データベースから取得する案内情報取得部と、
前記案内情報取得部からの案内情報を音声又は映像の少なくとも１つで出力する表示部とを備えたナビゲーション装置。
【請求項２】
建造物特定部は、表示画面上において指定された建造物への方向と立体モデル内の各建造物への方向とが同じになる様に前記立体モデルを移動して作成した仮想画像を元に、
前記仮想画像内の前記各建造物の大きさから算出される可視度、
前記立体モデルの移動角度から算出される方向一致度、
形状認識部からの前記指定された建造物の形状的特徴情報と前記仮想画像内の前記各建造物の形状的特徴情報とを照合して算出される形状類似度のうち少なくとも一つによる評価値を求めて、
前記評価値の最も高いものを前記指定された建造物と特定する請求項１記載のナビゲーション装置。
【請求項３】
建造物特定部は、モデル構築部からの誤差範囲を設定した立体モデルを用いて、指定された建造物を特定する請求項１記載のナビゲーション装置。
【請求項４】
地図建造物データベースの建造物情報は、位置、敷地形状、階数、色彩及び模様を含み、
画像取得部からの実写画像から建造物の色彩及び模様を抽出する属性認識部を更に備え、
建造物特定部は、表示画面上において指定された建造物への方向と色彩及び模様情報が関連付けられた立体モデル内の各建造物への方向とが同じになる様に前記立体モデルを移動して作成した仮想画像を元に、
前記属性認識部からの色彩及び模様情報と前記仮想画像からの色彩及び模様情報とを照合して算出される属性類似度、
前記仮想画像内の前記各建造物の大きさから算出される可視度、
前記立体モデルの移動角度から算出される方向一致度、
形状認識部からの前記指定された建造物の形状的特徴情報と前記仮想画像内の前記各建造物の形状的特徴情報とを照合して算出される形状類似度のうち少なくとも一つによる評価値を求めて、
前記評価値の最も高いものを前記指定された建造物と特定する請求項１記載のナビゲーション装置。
【請求項５】
画像取得部からの実写画像から車両周辺の起伏を求める起伏認識部を更に備え、
モデル構築部は、測位部からの現在位置情報と地図建造物データベースからの地図及び建造物情報と前記起伏認識部からの起伏情報から現在位置周辺の立体モデルを構築し、
建造物特定部は、前記モデル構築部からの立体モデルと注目方向受取部からの方向と形状認識部からの形状的特徴情報を用いて表示画面上において指定された建造物が立体モデルの中のどの建造物であるかを特定する請求項１記載のナビゲーション装置。
【請求項６】
測位部と画像取得部の情報を保存する保存部を更に備えた請求項１記載のナビゲーション装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２００９−２２９１８０（Ｐ２００９−２２９１８０Ａ）
【公開日】平成２１年１０月８日（２００９．１０．８）
【国際特許分類】
【出願番号】特願２００８−７３４４２（Ｐ２００８−７３４４２）
【出願日】平成２０年３月２１日（２００８．３．２１）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
【公開日】平成２１年１０月８日（２００９．１０．８）
【国際特許分類】
【出願日】平成２０年３月２１日（２００８．３．２１）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
[ Back to top ]