移動体ナビゲート情報表示方法および移動体ナビゲート情報表示装置
画像データ生成部（４０５）は、道路形状データと道路形状モデルとの照合を行うことにより、姿勢データを推定すると共に、ナビゲート情報の画像を、移動体の前方の道路の実写映像中またはフロントガラス越しに見える実際の景観中の適切な位置に正確に合成して表示するための映像（画像）データを生成する。映像表示部（５）はその映像データに基づいた表示を行う。ナビゲート情報を、移動体の前方の道路の実写映像中または実際の景観中における適切な位置に正確に投影した表示を行うことができ、ナビゲート情報と実写映像または実視景観との対応関係をドライバーが直観的に正確に認識することが可能になる。
【発明の詳細な説明】
【技術分野】
本発明は、いわゆるカーナビゲーション装置およびそれによるカーナビゲート情報の表示方法のような移動体ナビゲート情報表示方法および移動体ナビゲート情報表示装置に関する。
【背景技術】
自動車車両のような移動体の現在位置を検出し、周辺の道路地図と共に検出された現在位置を表示画面に表示して、行き先や道順など種々の案内情報の表示や音声出力を行うという、いわゆるカーナビゲーション装置のような移動体ナビゲート装置が開発されている。
このような従来のカーナビゲーション装置では、車速センサからの車速パルスおよび地磁気センサからの地磁気による方角に基づいて、予めＣＤ−ＲＯＭのような記憶手段にデータとして格納されている地図上を自律航法制御部でトレースするとともに、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）衛星から伝送されるＧＰＳ信号に基づいて当該移動体の現在位置の確認を行う。この分野での開発初期のカーナビゲーション装置では、計測誤差等の要因から、実際の走行位置と地図上でのトレース位置とが有意にずれてしまい、例えば実際には海岸線寄りの道路を走行中に、カーナビゲーション装置によって検出された自車の走行位置は海の中が示されている、といった明らかな誤動作（誤検出）などもあったが、このような有意の位置ずれが生じる場合には、位置補正（マップマッチング）を行うようにする技術などが開発されて、現在では自車の走行位置の検出精度は十分なものとなってきている。そしてこのようにして得られた自車の現在位置の情報とＣＤ−ＲＯＭなどの大容量データ記憶手段から得た地図情報とを重ね合わせることで、現在位置とその付近の所定範囲内の道路地図とを表す画像を、例えば液晶表示装置のような画像表示装置の画面に平面的な地図のような２次元画像として表示すると共に、自車位置、進行方向、速度、地図情報、進路案内、最短経路、道路情報などのようないわゆるナビゲート情報を２次元画像の地図に重ね合わせて、あるいは２次元画像の地図の中の該当する位置に嵌め込んで、表示するようにしている。
従来のナビゲーション表示装置では、２次元画像の道路平面地図または周囲景観を３次元ＣＧ化して立体的に表した道路地図中に、矢印などのアイコンで表示される走行位置および走行方向や、現在位置から目的地までの推奨ルート（最適経路）などの情報の画像を、重ねて表示するものもある。またさらには、道路交通情報受信機（ＶＩＣＳ）などから得られる道路渋滞情報等をテキストラベルで画面上に表示するものもある。
ところが、このような従来の技術では、平面的（２次元的）な簡略化された地図や３次元表現であってもＣＧによって抽象的に簡略化して表現された画像を用いた間接的なナビゲート情報しか提供することができないので、自動車に乗って運転しているドライバーにとっては、例えば現在位置や進路案内などの情報と実際にフロントガラス越しに見えている景観中の道路との対応関係が直観的には判りにくいという不都合がある。
これらの不都合を解決するために、地図情報の他に実写映像を利用するナビゲーション装置が、例えば特開平１０−１３２５９８号公報、特開平１１−３０４４９９号公報などによって提案されている。
特開平１０−１３２５９８号公報は、移動体の現在位置と進行方向を検出し、その検出された現在位置および進行方向に対応して表示すべきナビゲート情報を選択し、車両のフロントガラスを通して見える進行方向前方の景観とほぼ相似したカメラアングルから撮像装置によって撮像された実写映像と、そのときの自車両の現在位置に対応して読み出されたナビゲート情報の画像とを重畳させて、例えば液晶表示パネルの画面などに表示することで、実際の道路およびその周囲の景観の映像とナビゲート情報との対応関係を視覚的に判りやすいものにして表示する、というものである。
また、一般的なカーナビゲーション装置ではナビゲート情報は主として映像表示部に映し出される映像情報であることから、運転者は運転中において注意力が散漫となりやすい虞がある。
そこで、特開平１１−３０４４９９号公報では、車体の前方を撮影するＣＣＤカメラのような撮像装置を、例えば車両のフロントガラスの天井寄りの位置またはダッシュボート付近などに設けておき、その撮像装置によって撮影された車体の前方の道路を含んだ景観の映像（画像）を、地図情報を表示する画面中の所定位置に子画面として嵌め込んで表示するという技術が提案されている。
この技術によれば、車両のドライバーは運転中に画像表示装置の画面に表示された地図などのナビゲート情報を見ている状態でも、その画面内の所定位置に子画面として映し出された前方の景観の実写映像を見ることで、前方の景観に視線を戻さなくとも車両の前方状況を把握することができる。
また、その小画面の実写映像中に映し出される障害物が大きいと判断された場合や横から急に飛び出して来た物体があった場合などには、子画面の外形寸法（画面サイズ）を大きくして表示するように設定したことで、前方の危険性の高い状態の発生を即座に視覚的にドライバーに伝えると共に、その危険性の高い前方状況をドライバーに対して高い視認性で見せるようにすることができ、延いてはさらなる安全運転を確することを可能とする、といった技術なども提案されている。
また、先行車両判定や自動操舵を行うためには、移動体の前方の道路等を含んだ景観をさらに正確にデータとして把握することが必要になるので、画像道路情報と地図道路情報を用いて３次元道路形状を推定するという技術が、例えば特開２００１−３３１７８７号公報によって提案されている。この特開２００１−３３１７８７号公報は、自車両の前景の画像データから抽出される画像道路形状と自車両の周辺の地図データとを、３次元または２次元で構成された一つの論理空間に投影し、この投影された双方の道路形状の論理空間における重なり状態に基づいて、道路形状、路面に対する自車両の姿勢、自車両の絶対位置などを推定する、というもので、単眼のＣＣＤカメラで撮影した映像に基づいて十分に正確な道路形状の推定を行って、正確な先行車両判定や自動操舵を実現する、というものである。
しかしながら、上記の特開平１０−１３２５９８号公報では、以下に述べるような問題点がある。すなわち、第１に、画像情報は単純に背景映像として使われるだけであり、例えば行先表示の矢印の画像は画面の中央部から表示を開始して、車両の進行に連れて景観の後方（一般に表示画面の上側から下側）へと画面の中央部を例えば直線的に移動するように表示されるだけなので、例えばカーブした道路でのナビゲート情報の表示や、両側４車線のような多車線が設けられている道路では、ナビゲート情報の表示が景観中のどの位置を正確に示しているのか判別できなかったり、あるいは全くずれた位置を指し示していたりすることになる場合があるという問題がある。
また、第２に、カメラの姿勢パラメータはカメラの光軸の地面（あるいは水平方向）に対する角度として予め固定的に設定されているので、例えば走行中の車両の振動、操舵による車両のローリングやピッチング、上り坂や下り坂での車両の傾きなどに起因してカメラの姿勢が変化することに起因して、例えば右折位置のような道順や進行方向の矢印などによるナビゲート情報の画像は、実際の景観を撮影してなる映像に対して大幅にずれてしまい、実質的に誤った方向を指し示すことになったり、どの位置で右折すればよいのかを示しているのかが判然としない表示となってしまうという問題がある。
例えば、第８図に示した一例では、ナビゲート情報の画像である矢印９０１は、明確に前方景観中の道路での左折位置を示しているように見える。しかし、一般的な乗用車や、運転席が高い位置にあるバスやトラックのような車両であっても、実際に車両の運転席からフロントガラス越しに見える道路の景観は、第８図に示したような高い位置から見下ろしたような鳥瞰図的なものとはなり得ない。換言すれば、地上１０ｍあるいはそれ以上の高さの、例えばジャンボジェット機のコックピットなどのように、自動車車両の運転席としては有り得ないような極めて高い位置にある運転席など以外からは、ビルディングや住宅などの建物が並んでいる景観における道路の映像を、第８図に示したような曲り角やビルディングの裏の道までが鳥瞰図的に見渡せるように撮影することは、実際上不可能である。実際には、高々１ｍ前後の高さに運転者の視線が位置する一般的な乗用車や、高くても２ないし３ｍ程度の高さに運転者の視線が位置する大型トラックやバスのような一般的な自動車車両では、第９図に一例を示したように、特に前後方向の密度が詰まっており、かつ進行方向の道路に対して交差する道路が沿線のビルディング等で隠れてしまって見辛い傾向の景観（および実写映像）となる場合が多い。
第１０Ａ図は、一般的な車両の運転席からの例えば１ｍ程度の高さの視線における単位角度変化（路面に対する姿勢）Δθｅに対する路面への投影射像の変化の度合い（ΔＬＡ）を模式的に表したものである。これに対して、第１０Ｂ図は、第１０Ａ図よりも高い例えば１０ｍ程度の高さの視線における単位角度変化（路面に対する姿勢）Δθｅに対する路面への投影射像の変化の度合い（ΔＬＢ）を表したものである。この第１０Ａ図および第１０Ｂ図に示したように、低い位置からの投影射像の変化の度合い（これが低い位置から撮影した場合の姿勢変化Δθｅに対する位置のずれの大きさに相当する）ΔＬＡと、高い位置からの投影射像の変化の度合い（これが高い位置から撮影した場合の姿勢変化Δθｅに対する位置のずれの大きさに相当する）ΔＬＢとでは、ΔＬＡ≫ＬＢであることが明らかである。このため、特開平１０−１３２５９８号公報のように固定的な位置にナビゲート情報を重畳させて表示すると、車両の姿勢変化や、片勾配（カント；ｃａｎｔ）など道路の立体的な形状等に因る道路に対する相対的な車両の姿勢変化などに起因して、ナビゲート情報の表示位置が実写映像での適切に表示すべき位置から大幅にずれるという事態が頻発してしまい、その結果、ナビゲート情報が景観中のどの位置を示しているのかなどをユーザー（運転者）が直観的に正確に把握することは困難あるいは不可能なものとなる。
さらに具体的には、特開平１０−１３２５９８号公報のように景観の実写映像の画面中の中央線上のような固定的な位置にナビゲート情報の例えば矢印などを位置させるようにする技術では、車両の少しの姿勢変化でも景観の実写映像とナビゲート情報の画像との間でのずれが大幅なものとなり、またビルディングのような建物や樹木などの道路沿線で車両寄りにある景観によってそれよりも遠方の景観が遮られることが多いので、それに対処するためにさらに正確な位置にナビゲート情報の画像を表示することが必要となるが、特開平１０−１３２５９８号公報ではそのような対処は不可能である。
また、実際には自動車のような移動体は一般に、走行中には車両のローリングやピッチングなどで頻繁に姿勢が変化することが多く、しかも上記のような理由から一般的な車両の高々１乃至３ｍ程度の高さからの景観中では、少しの姿勢変化でも大幅な位置ずれとなってしまうので、特開平１０−１３２５９８号公報の技術では、例えば道順を示す矢印のようなナビゲート情報の表示位置が実写映像中での適正な表示位置から大幅にずれた状態になるという事態が多発する虞がある。しかも、そのような姿勢変化は、車両の駆動方式などの構造やエンジンの配置位置などで支配的に定まる重心位置の違いなどによって、車両の形式ごとで異なったものとなる場合が多いので、車両の形式ごとや姿勢変化の大きさや方向ごとで異なった対応をすることが必要となるが、そのような対応は特開平１０−１３２５９８号公報では不可能である。また、車体および運転者の身体を大きく傾斜させて曲線を通過する二輪車やスクータの場合には、車両の姿勢変化はさらに顕著なものとなるので、そのような二輪車向けのナビゲート装置の場合には、車両の姿勢変化に起因した表示位置のずれがさらに顕著なものとなってしまう。
また、第３に、道路地図データに附加されている道路名称、ランドマーク、病院などの道順案内などのナビゲートを行うに際して有力な目印となり得る場所を自車両の現在位置に基づいて３次元的にリアルタイムに表示することが望ましいが、そのようなことは特開平１０−１３２５９８号公報では全く考慮されておらず、提案もされていない。しかも、第９図に一例を示したように、道路沿線の目印となる建物は車両寄りの建物や景観などの背後に隠れて見辛いものとなる場合も多い。
特開平１１−３０４４９９号公報では、上記のような特開平１０−１３２５９８号公報に関するものと同様の問題点の他に、次のような問題点がある。すなわち、特開平１１−３０４４９９号公報では、道路前方の景観の実写映像を子画面に表示するだけであるため、道路地図情報と実映映像との照合は、やはりドライバーが自分の頭の中で考えて行わなければならない。このため、例えば不慣れな（または初めて通るような）土地における交差や分岐等が多い道路を運転するドライバーにとっては、直観的にナビゲート情報を把握することが困難であり、延いてはユーザーが道順を間違ってしまったりナビゲート情報の意味する内容を誤認したり理解不能になったりする虞がある。
特開２００１−３３１７８７号公報では、次のような問題点がある。すなわち、特定な道路形状モデルがないため、多車線道路の場合では画像データから抽出する自車走行車線の中心線と道路地図データから推定する道路中心線との間で大きなずれを生じる可能性がある。また、自車走行車線の情報を推定できないので、車線変更や左折右折の際に正しいナビゲート情報を提供することができない。
また、走行路面の片勾配は水平曲率に対応して変化するように設定されているという道路構造を考慮していないので、曲線道路では現在走行中の車線の隣の車線での路面に対する姿勢データの推定結果が大幅に変わってしまうこととなり、道路形状を正確に推定することができない虞がある。
また、画像からの道路特徴抽出を行うに際しては、道路形状の推定結果をフィードバックせずに単純にフレーム毎に微分フィルタによって輝度変化が大きい部分を白線として抽出するようにしているが、この手法によって得られる推定結果は天候の変化や路面上の影、汚れなどのような種々の環境的な要因の影響を極めて受けやすい。このため、道路特徴抽出データの表す道路形状モデルが実体の道路形状とは有意にずれた不正確なものとなる虞があるという問題などもある。
本発明はかかる問題点に鑑みてなされたもので、その目的は、進路案内、自車位置、地図情報などのナビゲート情報を、移動体の前方の道路の実写映像中または実際の景観中における適切な位置に正確に投影した表示を行って、ナビゲート情報と実写映像または実視景観との対応関係をドライバーが直観的に正確に認識することができるようにした、ナビゲート情報表示方法および移動体ナビゲート情報表示装置を提供することにある。
【発明の開示】
本発明による移動体ナビゲート情報表示方法は、移動体の現在位置を検出すると共に移動体の進行方向の道路を含んだ景観を被写体とした実写映像を移動体に設置された車載カメラによって撮影するプロセスと、検出された移動体の現在位置に対応した移動体の運行に関するナビゲート情報を、予め道路地図データと関連付けて記憶されていたナビゲート情報の中から読み出すプロセスと、移動体の現在位置と道路地図データとに基づいて、現在位置から撮影されることが想定される道路に関する道路形状モデルを生成するプロセスと、実写映像から景観中に含まれる道路の画像データである道路形状データを抽出するプロセスと、道路形状モデルのデータと道路形状データとを照合して、被写体の道路に対する車載カメラまたは移動体の姿勢データを推定し、この姿勢データに基づいて移動体の現在位置に対応して読み出されたナビゲート情報の撮影された実写映像における表示位置を決定するプロセスと、撮影された実写映像の決定された位置に読み出されたナビゲート情報を合成した画像を表示するプロセスとを備えている。
また、本発明による移動体ナビゲート情報表示装置は、移動体の現在位置を検出する現在位置検出手段と、移動体の進行方向の道路を含んだ景観を被写体とした実写映像を移動体に設置された車載カメラによって撮影する撮像手段と、移動体の検出された現在位置に対応した移動体の運行に関するナビゲート情報を、予め道路地図データと関連付けて記憶されていたナビゲート情報の中から読み出し、移動体の現在位置と道路地図データとに基づいて、現在位置から撮影されることが想定される道路に関する道路形状モデルを生成し、実写映像から景観中に含まれる道路の画像データである道路形状データを抽出し、道路形状モデルのデータと道路形状データとを照合して、被写体の道路に対する車載カメラまたは移動体の姿勢データを推定し、この姿勢データに基づいて、移動体の現在位置に対応して読み出されたナビゲート情報の撮影された実写映像における表示位置を決定し、撮影された実写映像のされた位置に読み出されたナビゲート情報を合成してなる画像を表示するためのデータを出力するデータ処理手段と、データ処理手段から出力されたデータに基づいて、撮影された実写映像の決定された位置に読み出されたナビゲート情報を合成した画像を表示する画像表示手段とを備えている。
本発明による移動体ナビゲート情報表示方法または移動体ナビゲート情報表示装置では、自動車車両のような移動体の現在位置と、その現在位置を含んだ道路地図データとに基づいて、現在位置から撮影されることが想定される道路に関する道路形状モデルを生成し、またそれと共に、実写映像から前方あるいは進行方向の景観中に含まれる道路の画像データである道路形状データを抽出し、それら道路形状モデルのデータと道路形状データとを照合して、被写体である景観中の道路に対する車載カメラまたは移動体の姿勢データを推定する。そしてその姿勢データに基づいて、移動体の現在位置に対応して読み出されたナビゲート情報の撮影された実写映像における適切な表示位置を決定し、その撮影された実写映像の決定された適切な位置に、読み出されたナビゲート情報を合成した画像を表示する。
このようにして、実写映像中でのどこの位置にナビゲート情報を合成するのが適切であるのかを、道路形状モデルのデータと道路形状データとを照合することによって決定することにより、例えば進路案内、自車位置、地図情報などのナビゲート情報を、移動体の前方の道路の実写映像中または実際の景観中における適切な位置に正確に投影した表示を行うことが可能となり、延いてはナビゲート情報と実写映像または実視景観との対応関係をドライバーが直観的に正確に認識することが可能となる。
ここで、上記のナビゲート情報としては、例えば移動体の目的地に到着するまでの道順に関する進路案内、自車位置、自車が走行中の車線、進路案内または自車位置を当該移動体の運転者が確認するに当たっての目印となる建物のうち、少なくともいずれか一つなどが可能である。
また、ナビゲート情報が文字または記号もしくは数字の情報であるときは、その情報をアイコン化して、そのアイコンの画像を撮影された実写映像に合成して表示するようにすることなども可能である。
また、上記のデータ処理手段またはデータ処理を行うプロセスは、ナビゲート情報を３次元拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）空間内の仮想実体（ｖｉｒｔｕａｌ ｏｂｊｅｃｔ）として表現し、既に得られた姿勢データに基づいて２次元特徴空間に変換してなる道路形状データの中の該当する位置に割り当てるようにすることで、そのナビゲート情報の画像を実写映像中に仮想実体として合成することなども可能である。このようにすることにより、例えば道順案内の目印となる建物についての文字または記号もしくは数字からなるナビゲート情報を、実写映像ではその目印の建物が手前側の建物などの背後や曲線道路の内周側などに隠れて見えない場合であっても、その目印の建物の存在を視覚的に直観的に示すことが可能となる。
なお、上記のデータ処理手段またはデータ処理を行うプロセスは、道路形状データを遠近法的な２次元特徴空間の画像データに変換すると共に道路形状モデルのデータを遠近法的な２次元特徴空間の画像データに変換し、それらを２次元特徴空間にて２次元データどうしで照合して、被写体の道路の路面に対する車載カメラまたは移動体の姿勢データを推定するようにしてもよい。このようにすることにより、姿勢データを推定するために行われる道路形状データと道路形状モデルのデータとの照合を、３次元論理空間などで３次元データ同士で行うといった情報量が極めて多くなりデータの高速処理が困難になる場合があることが想定されるような手法を用いなくとも、疑似３次元的な２次元特徴空間で２次元データ同士で行うことができるので、その照合のプロセスの簡易化および高速化を達成することなどが可能となる。
なお、上記のカメラ姿勢データの出力を安定させるために、この姿勢データに、車体に付設された３次元慣性センサから取得した角速度や加速度データを統合するようにしてもよい。つまり、画像照合から求めた結果は直接的であり、高精度であるが、雑音や誤抽出に影響されやすい。その一方、３次元慣性センサからの角速度や加速度データの累積で求めた結果は、累積誤差は高いが、安定しており、しかも高速である。この二つのセンサの統合によって、より安定した正確な車載カメラ姿勢データを求めることができる。
また、上記のデータ処理手段またはデータ処理を行うプロセスは、道路形状モデルを生成するにあたり、曲線道路における走行路面の片勾配は当該曲線道路の水平曲率に対応して変化するように設定されているという道路構造を考慮したモデリングを行うことで、多車線道路の道路形状モデルを生成するものとしてもよい。このようにすることにより、自動車車両のような移動体が多車線道路を走行している場合であっても、多車線道路の道路形状を正確に把握することができ、延いてはそのような多車線道路の道路形状に正確に対応した適切な位置にナビゲート情報を合成して表示することが可能となる。
また、上記のデータ処理手段またはデータ処理を行うプロセスは、道路形状モデルのデータと道路形状データとを照合するにあたり、道路ルックアップテーブル（ＲＳＬ：Ｒｏａｄ Ｓｈａｐｅ Ｌｏｏｋ−ｕｐ ｔａｂｌｅ）を用いて、実写映像から景観中に含まれる道路白線の存在確率を求めてＲＳＬ値を算出し、そのＲＳＬ値による評価値が最大になるように当該移動体の姿勢データを求めるようにしてもよい。このようにすることにより、天候の変化や路面上の影、汚れなどのような種々の環境的な要因の悪影響を受けることなく常に正確な道路形状データを抽出することができ、延いてはそれを用いて正確な姿勢データを推定することが可能となる。
また、上記の画像表示手段または画像表示を行うプロセスは、撮影された実写映像の中の適切であると決定された位置に読み出されたナビゲート情報を合成してなる画像を、例えばダッシュボートのほぼ中央部などに設置されたカーナビゲーション用の液晶表示パネルのような表示装置の所定の表示画面に表示するものであるようにすることが可能である。
あるいは、撮影された実写映像の決定された位置に読み出されたナビゲート情報を合成してなる画像を、いわゆるＨＵＤ（Ｈｅａｄ Ｕｐ Ｄｉｓｐｌａｙ）型投射装置のような表示装置などによって、運転席前面の透明窓の内側表面に投射して表示するようにしてもよい。
また、上記のデータ処理手段またはデータ処理を行うプロセスは、移動体の検出された現在位置に対応したナビゲート情報を、予め道路地図データと関連付けて記憶されていたナビゲート情報の中から読み出し、当該移動体の現在位置と道路地図データとに基づいて、現在位置から撮影されることが想定される道路に関する道路形状モデルを生成し、実写映像から景観中に含まれる道路の画像データである道路形状データを抽出し、道路形状モデルのデータと道路形状データとを照合して、被写体の道路に対する車載カメラまたは移動体の姿勢データを推定し、車両に付けられた３次元慣性センサ（ＩＮＳ）から取得した方位データと統合し、統合した姿勢データに基づいて、移動体の現在位置に対応して読み出されたナビゲート情報の撮影された実写映像における表示位置を決定し、その決定された位置に読み出されたナビゲート情報の画像を表示するためのデータを出力するものであり、上記の画像表示手段または画像表示プロセスは、ナビゲート情報の画像を移動体の運転席前面の透明窓の内側表面に投射して表示することで、そのナビゲート情報の画像を運転席前面の透明窓から見える景観に合成して表示するものであるようにすることなども可能である。
【図面の簡単な説明】
第１図は、本発明の一実施の形態に係る移動体ナビゲート情報表示装置の概要構成を表した図である。
第２Ａ図ないし第２Ｄ図は、３次元車両座標系ＶＣＳおよび３次元カメラ座標系ＣＣＳならびに２次元投影画像座標系ＩＣＳの相対的位置関係を表した図である。
第３図は、道路地図データによって表される点と線によるマッピングの一例を表した図である。
第４図は、クロソイド曲線で近似してなる道路セグメント水平形状モデルを表した図である。
第５図は、２Ｄ−２Ｄマッチングの際に用いられる道路水平形状モデルの一例を表した図である。
第６図は、中央処理部における、道路形状データの抽出および道路形状モデルの生成ならびにカメラ姿勢パラメータの推定等を含んだ一連の主要な処理の流れを表したフローチャートである。
第７図は、中央処理部で行われる各種の演算に用いられる各種の数式を纏めて表した図である。
第８図は、従来のナビゲートシステムにて表示可能であると主張されているナビゲート情報の画像を重畳してなる映像の一例を表した図である。
第９図は、実際の自動車の運転席からフロントガラス越しに見える前方景観の一例を表した図である。
第１０Ａ図は、一般的な車両の運転席からの視線における単位角度変化に対する路面への投影射像の変化の度合いを模式的に表し、第１０Ｂ図は、第１０Ａ図よりも高い位置からの視線における単位角度変化に対する路面への投影射像の変化の度合いを表した図である。
【発明を実施するための最良の形態】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
第１図は、本発明の一実施の形態に係る移動体ナビゲート情報表示装置の概要構成を表したものである。なお、本発明の実施の形態に係る移動体ナビゲート情報表示方法は、この移動体ナビゲート情報表示装置の動作あるいは作用によって具現化されるものであるから、以下、それらを併せて説明する。
この移動体ナビゲート情報表示装置は、センサ入力部１と、操作部２と、地図管理部３と、中央処理部４と、映像表示部５と、制御部６とを、その主要部として備えている。
さらに詳細には、センサ入力部１は、ＣＣＤ（固体撮像素子）カメラ１０１と、ＧＰＳセンサ１０２と、ＩＮＳセンサ１０３と、道路交通情報受信機（ＶＩＣＳ）１０４とを備えている。ＣＣＤカメラ１０１はドライバーがフロントガラス越しに見る視線とほぼ同様のカメラアングルで車両前方の景観を撮影（撮像）するように、例えばこの移動体ナビゲート情報表示装置が搭載されている自動車のような移動体（以下、これを自車両または当該移動体もしくは自車とも呼ぶ）の運転席のダッシュボードの上または天井付近（図示省略）などに設置されている。このＣＣＤカメラ１０１は、例えば固定焦点距離の単眼方式のものであり、道路を含んだ前方の景観の画像を撮像してその画像信号を取り込む。取り込まれた画像信号は、中央処理部４の画像メモリ（図示省略）にデータとして転送される。そしてＧＰＳセンサ１０２とＩＮＳセンサ１０３とで取得された当該移動体に関する走行方位のデータおよび車速データは、ＣＣＤカメラ１０１で取得された画像データと同期して、中央処理部４へと転送される。また、道路交通情報受信装置（ＶＩＣＳ）１０４から受けられたデータも中央処理部４に転送される。
操作部２は、ユーザーからのボタン操作またはリモコン入力装置（図示省略）などによって入力された操作命令に応答してシステム設定やモード変更などの命令を中央処理部４に転送する。
地図管理部３は、中央処理部４からの読み出し命令に従って、操作部２からの命令入力で指定された道路位置の各種情報を、所定の地理的領域の地図データを予め記録している地図データＣＤ３０１から読み出して、中央処理部４へと転送する。
中央処理部４は、画像処理モジュール４０１、測位処理モジュール４０２、映像出力処理モジュール４０３、制御出力処理モジュール４０４という４つのモジュールと、画像データ生成部４０５とから、その主要部が構成されている。
画像処理モジュール４０１は、車載ＣＣＤカメラの姿勢推定、走行車線追跡、害物検出、および車間距離計算などを行う。
測位処理モジュール４０２は、センサ入力部１からの方位及び車速を地図管理部３の道路地図データとマップマッチングして、正しい道路位置情報の演算を行ってそのデータを出力する。
映像出力処理モジュール４０３は、映像表示部５における進路案内、自車位置、および地図情報を、３次元拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）空間内の仮想実体（Ｖｉｒｔｕａｌ Ｏｂｊｅｃｔ）として表現し、それを後述するような推定方法で求められたＣＣＤカメラ１０１の姿勢パラメータで２次元道路映像へと投影して、移動体の前面の景観の実写映像と融合（合成）させる。また、悪天候状況での道路区画線強調表示や障害物などの危険表示などを行うためのデータ生成も行う。またさらには、道路地図に附加すべき情報として、例えば、ランドマーク、鉄道の駅、病院、ガソリンスタンドなどのような道順案内の際の目印となり得る物体の情報をアイコン化して、それをカメラ姿勢パラメータを用いて道路の実写映像に投影する。
制御出力処理モジュール４０４は、各解析結果を総合的に判断し、自車両に対する危険性の度合いに対応した警報等を出力するためのアラーム出力命令を、制御部６に対して与える。
画像データ生成部４０５は、主に画像処理モジュールおよび測位処理モジュールから出力されたデータならびに地図管理部３から読み出された地図データに基づいて、自車両の現在走行中の走行車線認識、道路形状認識、障害物認識や、自車両の絶対路上位置認識、カメラ姿勢の推定などを行って、ナビゲート情報を実写映像中の適切な位置に合成して表示するためのデータを生成する。
映像表示部５は、画像データ生成部４０５によって生成されたデータに基づいて、ナビゲート情報を実写映像中の適切な位置に合成した映像（画像）を、例えば液晶表示パネルの画面に表示する。
制御部６は、上記のようなアラーム出力命令に対応した警報等の出力の制御や、制御出力モジュールによる解析結果に対応した音声出力の制御、ブレーキの制御、操舵の制御などを、例えばそれらの制御量を調節するために設けられている各サーボモータ系などの動作を制御することによって行う。
次に、本発明による一実施の形態に係る移動体ナビゲート情報表示装置の、動作（機能）について説明する。
この移動体ナビゲート情報表示装置では、自車両の現在位置を含む付近の地理に関する道路地図データを、ＧＰＳセンサ１０２およびＩＮＳセンサ１０３ならびに測位処理モジュールによって検出された現在位置のデータに基づいて、画像データ生成部４０５が、現在位置から撮影されることが想定される道路に関する道路形状モデルを生成する。またそれと共に、実写映像から進行方向の景観中に含まれる道路の画像データである道路形状データを、例えば道路の走行区分線の白線画像データ等に基づいて抽出する。
続いて、画像データ生成部４０５は、道路形状データと道路形状モデルのデータとを照合して、ＣＣＤカメラ１０１によって撮影される被写体となっている景観中の道路に対するＣＣＤカメラ１０１の姿勢データ（または自車両の姿勢データでも構わない）を推定する。なお、このとき、この姿勢データに、車体に付設された３次元慣性センサから取得した角速度や加速度データを統合することが望ましい。
そしてその姿勢データに基づいて、移動体の現在位置に対応して読み出されたナビゲート情報の撮影された実写映像における適切な表示位置を決定し、その撮影された実写映像の決定された適切な位置に、読み出されたナビゲート情報を合成した画像を表示することができるような画像データを生成する。
このようにして、画像データ生成部４０５が、実写映像中でのどこの位置にナビゲート情報を合成するのが適切であるのかを、道路形状モデルのデータと道路形状データとを照合することによって決定し、そのようにして生成された画像データに基づいて、映像表示部５が、例えば進路案内、自車位置、地図情報などのナビゲート情報を、移動体の前方の道路の実写映像中またはフロントガラス越しに見える実際の景観中の適切な位置に正確に合成した表示を行うことができる。その結果、本実施の形態に係る移動体ナビゲート情報表示装置によれば、ナビゲート情報と実写映像または実視景観との対応関係をドライバーが直観的に正確に認識することを可能とした映像を表示することができる。
ここで、上記のナビゲート情報とは、例えば移動体の目的地に到着するまでの道順に関する進路案内、自車位置、自車が走行中の車線、進路案内または自車位置を当該移動体の運転者が確認するに当たっての目印となる建物のうち、少なくともいずれか一つなどである。また、ナビゲート情報が文字または記号もしくは数字の情報であるときは、その情報をアイコン化して、そのアイコンの画像を撮影された実写映像に合成して表示することが望ましい。
また、画像データ生成部４０５では、ナビゲート情報を３次元拡張現実空間内の仮想実体として表現して、既に得られた姿勢データ等に基づいて２次元特徴空間に変換してなる道路形状データの中の該当する位置に割り当てるようにすることで、そのナビゲート情報の画像を実写映像中の適切な位置に仮想実体として合成して、例えば道順案内の目印となる建物についての文字または記号もしくは数字からなるナビゲート情報を、実写映像ではその目印の建物が手前側の建物などの背後や曲線道路の内周側などに隠れて見えない場合であっても、その目印の建物の存在を視覚的に直観的に示すようにしている。
また、画像データ生成部４０５では、道路形状データを遠近法的な２次元特徴空間の画像データに変換すると共に道路形状モデルのデータを遠近法的な２次元特徴空間の画像データに変換し、それらを２次元特徴空間にて２次元データ同士で照合して、被写体の道路の路面に対する車載カメラまたは移動体の姿勢データを推定している。このように、姿勢データを推定するために行われる道路形状データと道路形状モデルのデータとの照合を、疑似３次元的な２次元特徴空間で２次元データ同士で行うようにしたことで、その照合のプロセスの簡易化および高速化が達成されている。
また、道路形状モデルを生成するにあたり、曲線道路における走行路面の片勾配は当該曲線道路の水平曲率に対応して変化するように設定されているという道路構造を考慮したモデリングを行うことで、多車線道路の道路形状モデルを生成している。これにより、自動車車両のような移動体が多車線道路を走行しているときでも、多車線道路の道路形状を正確に把握することができ、延いてはそのような多車線道路の道路形状に正確に対応した適切な位置にナビゲート情報を合成して表示することができる。
また、道路形状モデルのデータと道路形状データとを照合するにあたり、道路ルックアップテーブル（ＲＳＬ：Ｒｏａｄ Ｓｈａｐｅ Ｌｏｏｋ−ｕｐ ｔａｂｌｅ，参照文献：胡振程「車載カメラの運動解析による複数移動体の抽出及び同時追跡に関する研究」熊本大学大学院自然科学研究科博士学位論文）を用いて、実写映像から景観中に含まれる道路白線の存在確率を求めてＲＳＬ値を算出し、そのＲＳＬ値による評価値が最大になるように当該移動体の姿勢データを求めるようにしてもよい。このようにすることで、天候の変化や、路面上の影または汚れなどのような種々の環境的な要因の悪影響を受けることなく常に正確な道路形状データを抽出することができ、延いてはそれを用いて正確な姿勢データを推定することが可能となる。
また、撮影された実写映像中の適切な位置にナビゲート情報を合成してなる画像を、例えばダッシュボートのほぼ中央部などに設置されたカーナビゲーション用の液晶表示パネルのような表示装置に表示するようにしてもよい。
または、撮影された実写映像における上記のような照合によって決定された適切な位置に、読み出されたナビゲート情報を合成してなる画像を、いわゆるＨＵＤ（Ｈｅａｄ Ｕｐ Ｄｉｓｐｌａｙ）型投射装置のような表示装置などによって、運転席前面の透明窓の内側表面に投射して表示するようにしてもよい。
あるいは、ナビゲート情報の画像を撮影された実写映像の中に合成するのではなく、上記のような照合によってナビゲート情報の画像を表示するのに適切な位置であると決定された位置のデータを用いて、その位置に相当する運転席前面のフロントガラスの内側表面に、ナビゲート情報の画像をＨＵＤ的に投射して表示することで、そのナビゲート情報の画像を運転席前面の透明窓から見える景観に合成して表示してもよい。
次に、本発明に係る移動体ナビゲート情報表示装置および移動体ナビゲート情報表示方法の実施例について説明する。
第２図Ａ〜第２Ｄ図は、３次元車両座標系ＶＣＳ（Ｘｖ，Ｙｖ，Ｚｖ）および３次元カメラ座標系ＣＣＳ（Ｘｃ，Ｙｃ，Ｚｃ）ならびに２次元投影画像座標系ＩＣＳ（ｘｉ，ｙｉ）の相対的位置関係を表したものである。ここで、３次元車両座標系ＶＣＳの原点は車両後輪中央線の中点に位置しており、Ｚｖ軸は車両の中央線に、Ｘｖ軸，Ｙｖ軸はそれぞれ左，上に指向するように、各々設定されているものとする。また、３次元カメラ座標系ＣＣＳの原点はＣＣＤカメラのレンズ中心点に位置しており、Ｚｃ軸はカメラの光軸に重なるように設定されているものとする。また、２次元投影画像座標系ＩＣＳはＺｃ＝ｆｃｏｎｓｔ（Ｚｃ＝ｆなる平面）に位置しているものとする。
カメラ座標系ＣＣＳから画像座標系ＩＣＳへの変換関係は正投影である。従って、第７図に式１に示したような行列による関係式として記述することができる。但し、ＰはＣＣＳ座標系内の座標［Ｘｃ，Ｙｃ，Ｚｃ，１］、ｐはＩＣＳ座標系内の座標［ｘｉ，ｙｉ，１］である。
Ａは３×４の投影マトリックスであり、一般に第７図に式２として示したように分解することができる。ここに、Ｋはカメラ内部のパラメータマトリクスと呼ばれるもので、画像の横縦方向変形率（Ｓｘ，Ｓｙ）および画像中心点（ｕｏ，ｖｏ）ならびに回転変形率Ｓθによって定まるものである。このＫを第７図に式３として表す。
カメラ姿勢マトリクスＭは、カメラ外部パラメータマトリクスと呼ばれるもので、視点から対象モデル座標系への変換関係を示しており、一般に剛体の３次元並進および回転変換によって第７図に式４として示したように表すことができるものである。ここに、Ｒ１１〜Ｒ３３（Ｒの要素全て）は回転パラメータであり、Ｔｘ，Ｔｙ，Ｔｚ（Ｔの要素全て）は並進パラメータである。
ところでカメラ倍率は一般に１で近似することも可能であることから、式１〜式４に基づいて、第７図に式５で示したような拘束式が成り立つ。
ここで、カメラ姿勢を代表する回転および並進の６つのパラメータを姿勢ベクトルで表示すると、画像座標系と車両座標系との投影関係は、第７図の式６で示したような数式で表現される。すなわち、式６によれば、２Ｄ−３Ｄ空間における一つの対応点対（ｐ，Ｐ）は、カメラ姿勢データに対して第７図に式６で示したような一つの拘束式を決定することとなる。理論的には、このような６つの対応点対があれば、カメラの姿勢を推定するためには十分である。
しかし、単純な単眼のＣＣＤカメラによって撮像される前方景観のモノクロの実写画像データのみから３次元空間の奥行きを正確かつ確実に推定することは、理論的に極めて困難あるいは不可能であるため、本実施例では、２Ｄ−３Ｄでの（２次元空間対３次元空間照合による）マッチングを避けて、道路地図情報から多車線道路形状モデルを推定し、その多車線道路形状モデルを実写映像データから抽出された多車線道路形状データと２Ｄ−２Ｄ特徴空間でのマッチングに変換して、２次元空間対２次元空間での照合によってカメラ姿勢データを推定する。但し、このときの照合は２Ｄ−２Ｄ特徴空間でのマッチングのみには限定されないことは言うまでもない。この他にも、例えば前方景観の実写画像データ以外の情報源から３次元空間の奥行きデータを正確かつ確実に推定し、そのデータを用いて２次元空間対３次元空間の照合を行うようにしてもよいことは言うまでもない。但し、その場合には、一般に処理すべきデータ量が２Ｄ−２Ｄ特徴空間でのマッチングの場合よりも多くなる傾向にあることは言うまでもない。
第３図は、道路地図データによって表される点と線によるマッピングの一例を表したものである。道路地図データには一般にノードと呼ばれる道路セグメントの緯度経度と海抜などの３次元位置情報、道路名称、等級、車線数、交差状況などが記録されている。道路幅は道路等級に基づいて推定することができる。また、一般に地図データに記載されたノード位置は道路中央線上にある。道路の構造は一般に、水平曲率と縦断曲率を用いる複雑曲面によって構成されている。
第４図は、クロソイド（ｃｌｏｔｈｏｉｄ）曲線で近似してなる道路セグメント水平形状モデルを表したものである。このような道路セグメント水平形状モデルは、第７図の式７に示したような数式を用いてモデリングすることができる。ここで、式７におけるｃ０ｉとｃ１ｉは、それぞれ水平曲線の初期曲率と曲率の変化パラメータである。またｎ１ｉは上り車線数、ｎｒｉは下り車線数、ｗｉはセグメント間の平均道路幅である。Ｌｉはセグメント長さを示すものである。このモデルを用いて地図データに基づいて任意路上位置での道路形状モデルを簡易に極めて短時間で構築することができる。
車両の走行位置は一般に、道路中央線ではなく日本のような左側通行の慣習の国では左にオフセットしている場合が多いが、自車両の路上位置（車両座標系の原点から道路中央への偏移量）および向き（車両座標系のＺ軸方向と道路水平接線との偏移角）の情報を用いることで、実際の走行位置が片車線にオフセットしていることに対応する道路中心線の道路水平形状モデルを、車両座標系ＶＣＳベースとした新しいモデルに変換することができる。
そして視認距離（実写映像として撮影されることが想定される領域）内の道路の路面が平坦であると仮定して、投影変換式である第７図の式６から、第７図に式８として示したような道路水平形状モデルの投影式を推定する。この第７図の式８では、３次元の道路形状を言うなれば遠近法的に２次元に投影したので、カメラ姿勢を推定するための照合方法としてデータ処理の繁雑化の虞のある２Ｄ−３Ｄマッチングを２Ｄ−２Ｄマッチングに簡単化することできる。
このように、本実施例では、道路地図データから推定される道路形状モデルと道路の実写映像から抽出される道路形状データとを２次元の特徴空間で２Ｄ−２Ｄマッチングさせて最適な姿勢ベクトルを推定する。第５図は、その２Ｄ−２Ｄマッチングの際に用いられる道路水平形状モデルの一例を示したものである。
なお、実際の道路環境では、太陽光線や人工照明などによる光の照射状況や天候状況等によって車線の区切りを示す道路白線の明度や色合いなどが大幅に変化する場合が多いため、道路形状モデルと実写映像から抽出された道路形状データとを直接的にうまくマッチングさせることができなくなる場合がある。そこで本実例では、道路白線ルックアップテーブル（ＲＳＬ）の概念を用いて、道路白線の明度値の代りにその存在確率を映像化することによって、高速かつロバストな道路形状マッチングを実現することができる。
ＲＳＬの値は、道路白線に近いほど高くなる。具体的な計算法としては、まず道路白線、区切り線、および道路領域の境界線候補を特徴領域として抽出し、画像を２値化する（特徴領域に属する画素を１とし、他の画素を０とする）。そして第７図に示した式９を用いて各画素のＲＳＬ値を計算する。但しここに、λｘ，ｙは２値化した画素値であり、χｉ，ｊはＲＳＬ用のカーネル係数である。雑音を抑制するために、カーネルサイズは通常５又は７に設定する。各係数はＧａｕｓｓｉｎ分布式によって定める。カメラ姿勢推定の最終評価式を、第７図の式１０に示す。ここに、ησは道路水平形状モデルの２次元投影点の集合である。この式１０によって、道路地図データに基づいて生成される道路形状モデルと実写映像から抽出される道路形状データとを完全にマッチングする最高のＲＳＬ評価値を得ることができる。
６パラメータの姿勢ベクトルσの最適値を求めるためには、種々のローカル極値サーチ方法を用いることができるが、その中でも特にＨｏｏｋｅとＪｅｅｖｅｓの直接サーチアルゴリズムを好適に採用することができる（Ｒ．Ｈｏｏｋｅ ａｎｄ Ｔ．Ｊｅｅｖｅｓ．”Ｄｉｒｅｃｔ ｓｅａｒｃｈ ｓｏｌｕｔｉｏｎ ｏｆ ｎｕｍｅｒｉｃａｌ ａｎｄ ｓｔａｔｉｓｔｉｃａｌ ｐｒｏｂｌｅｍｓ，”Ｊｏｕｒｎａｌ ｏｆ ｔｈｅ Ａｓｓｏｃｉａｔｉｏｎ ｆｏｒ Ｃｏｍｐｕｔｉｎｇ Ｍａｃｈｉｎｅｒｙ（ＡＣＭ），ｐｐ．２１２−２２９（１９６１）．）。
このようにして求められたカメラ姿勢データは、ナビゲート情報を表示すべき位置を決定するためのデータの照合の際などに用いられる。また、このカメラ姿勢データはフィードバック量として次回の推定にも使用される。
第６図は、中央処理部における、道路形状データの抽出および道路形状モデルの生成ならびにカメラ姿勢パラメータの推定等を含んだ一連の主要な処理の流れを表したフローチャートである。
まず、ＣＣＤカメラによって撮影された自車両の前方の道路を含んだ景観の実写映像のデータを取り込む（Ｓ１）。
またそれと共に、実写映像のデータの取り込みと同期して、ＧＰＳセンサおよびＩＮＳセンサによって取得されたデータを取り込む（Ｓ２）。
そして、実写映像データから道路の走行区分線などの白線や舗装面の境界線などの区切り線領域を抽出してＲＳＬ値を算出する（Ｓ３）。
また、いわゆるマップマッチングによって自車両の現在位置（絶対位置）を求め（検出し）、その現在位置に対応した関連地図データを地図データＣＤに記憶されている情報の中から読み出す（Ｓ４）。
実写映像として撮影されている景観中の道路に関する道路水平形状モデルを構築する（Ｓ５）。
更新されたカメラ姿勢ベクトルに基づいて、道路水平形状モデルを遠近法的な２次元空間に投影する（Ｓ６）。
道路映像のＲＳＬ表現と投影した道路水平形状モデルとのマッチングを行って評価値を求める（Ｓ７）。
得られた評価値が最大値であるか否かを判断する（Ｓ８）。このとき最大値と判断された場合には（Ｓ８のＹ）、そのときの姿勢ベクトルを出力し（Ｓ９）、その出力値を次回のサーチ起点としてフィードバックする（Ｓ１０）。しかし最大値でなければ（Ｓ８のＮ）、Ｈｏｏｋｅ ＆ Ｊｅｅｖｅｓ法によって姿勢ベクトルを更新して（Ｓ１１）再評価を行う（Ｓ１１〜Ｓ６〜Ｓ８）。このループは最大値が得られるまで（Ｓ８のＹになるまで）繰り返される。なお、上記の評価値が最大となる姿勢ベクトルと同時点で累積した角度および方位変化量をカルマンフィルタに入力して、統合した姿勢データを出力する。
また、以上の一連の動作は、次回のデータ取り込み〜処理の開始タイミングになると（Ｓ１２のＹ）、再びデータ取り込みという第１ステップから上記と同様の順を追って実行される。
以上、詳細に説明したように、本実施の形態に係る移動体ナビゲート情報表示装置または移動体ナビゲート情報表示手段によれば、ナビゲート情報の画像を、移動体の前方の道路の実写映像中またはフロントガラス越しに見える実際の景観中の適切な位置に正確に合成することができる。そしてその結果、ナビゲート情報と実写映像または実視景観との対応関係をドライバーが直観的に正確に認識することができるような映像を、表示することが可能となる。
なお、上記実施の形態では、被写体として自車両の前方の景観を撮影し、その前方の景観に含まれている道路の実写映像にナビゲート情報を合成する場合について説明したが、この他にも、本発明の適用例としては、例えば実写映像（被写体）としては、本実施の形態のような道路の代りに、狭隘な地形に設けられた運河や港湾などを撮影すると共に、道路地図データの代りに航行予定の航路などの情報を含んだ電子海図データなどを用いて、操舵室の窓などから見える前方景観の実写映像の中に航行予定の航路などのナビゲート情報の画像を合成して表示することなども可能である。
以上説明したように、本発明の移動体ナビゲート情報表示方法または移動体ナビゲート情報表示装置によれば、自動車車両のような移動体の現在位置と、その現在位置を含んだ道路地図データとに基づいて、現在位置から撮影されることが想定される道路に関する道路形状モデルを生成し、またそれと共に、実写画像から前方あるいは進行方向の景観中に含まれる道路の画像データである道路形状データを抽出し、それら道路形状モデルのデータと道路形状データとを照合して、被写体である景観中の道路に対する車載カメラまたは移動体の姿勢データを推定し、この姿勢データに基づいて、移動体の現在位置に対応して読み出されたナビゲート情報の撮影された実写画像における適切な表示位置を決定し、その撮影された実写画像の決定された適切な位置に、読み出されたナビゲート情報を合成した画像を表示するようにしたので、例えば進路案内、自車位置、地図情報などのナビゲート情報を、移動体の前方の道路の実写映像中または実際の景観中における適切な位置に正確に投影した表示を行うことが可能となり、延いてはナビゲート情報と実写映像または実視景観との対応関係をドライバーが直観的に正確に認識することが可能となるという効果を奏する。
【図１】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【技術分野】
本発明は、いわゆるカーナビゲーション装置およびそれによるカーナビゲート情報の表示方法のような移動体ナビゲート情報表示方法および移動体ナビゲート情報表示装置に関する。
【背景技術】
自動車車両のような移動体の現在位置を検出し、周辺の道路地図と共に検出された現在位置を表示画面に表示して、行き先や道順など種々の案内情報の表示や音声出力を行うという、いわゆるカーナビゲーション装置のような移動体ナビゲート装置が開発されている。
このような従来のカーナビゲーション装置では、車速センサからの車速パルスおよび地磁気センサからの地磁気による方角に基づいて、予めＣＤ−ＲＯＭのような記憶手段にデータとして格納されている地図上を自律航法制御部でトレースするとともに、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）衛星から伝送されるＧＰＳ信号に基づいて当該移動体の現在位置の確認を行う。この分野での開発初期のカーナビゲーション装置では、計測誤差等の要因から、実際の走行位置と地図上でのトレース位置とが有意にずれてしまい、例えば実際には海岸線寄りの道路を走行中に、カーナビゲーション装置によって検出された自車の走行位置は海の中が示されている、といった明らかな誤動作（誤検出）などもあったが、このような有意の位置ずれが生じる場合には、位置補正（マップマッチング）を行うようにする技術などが開発されて、現在では自車の走行位置の検出精度は十分なものとなってきている。そしてこのようにして得られた自車の現在位置の情報とＣＤ−ＲＯＭなどの大容量データ記憶手段から得た地図情報とを重ね合わせることで、現在位置とその付近の所定範囲内の道路地図とを表す画像を、例えば液晶表示装置のような画像表示装置の画面に平面的な地図のような２次元画像として表示すると共に、自車位置、進行方向、速度、地図情報、進路案内、最短経路、道路情報などのようないわゆるナビゲート情報を２次元画像の地図に重ね合わせて、あるいは２次元画像の地図の中の該当する位置に嵌め込んで、表示するようにしている。
従来のナビゲーション表示装置では、２次元画像の道路平面地図または周囲景観を３次元ＣＧ化して立体的に表した道路地図中に、矢印などのアイコンで表示される走行位置および走行方向や、現在位置から目的地までの推奨ルート（最適経路）などの情報の画像を、重ねて表示するものもある。またさらには、道路交通情報受信機（ＶＩＣＳ）などから得られる道路渋滞情報等をテキストラベルで画面上に表示するものもある。
ところが、このような従来の技術では、平面的（２次元的）な簡略化された地図や３次元表現であってもＣＧによって抽象的に簡略化して表現された画像を用いた間接的なナビゲート情報しか提供することができないので、自動車に乗って運転しているドライバーにとっては、例えば現在位置や進路案内などの情報と実際にフロントガラス越しに見えている景観中の道路との対応関係が直観的には判りにくいという不都合がある。
これらの不都合を解決するために、地図情報の他に実写映像を利用するナビゲーション装置が、例えば特開平１０−１３２５９８号公報、特開平１１−３０４４９９号公報などによって提案されている。
特開平１０−１３２５９８号公報は、移動体の現在位置と進行方向を検出し、その検出された現在位置および進行方向に対応して表示すべきナビゲート情報を選択し、車両のフロントガラスを通して見える進行方向前方の景観とほぼ相似したカメラアングルから撮像装置によって撮像された実写映像と、そのときの自車両の現在位置に対応して読み出されたナビゲート情報の画像とを重畳させて、例えば液晶表示パネルの画面などに表示することで、実際の道路およびその周囲の景観の映像とナビゲート情報との対応関係を視覚的に判りやすいものにして表示する、というものである。
また、一般的なカーナビゲーション装置ではナビゲート情報は主として映像表示部に映し出される映像情報であることから、運転者は運転中において注意力が散漫となりやすい虞がある。
そこで、特開平１１−３０４４９９号公報では、車体の前方を撮影するＣＣＤカメラのような撮像装置を、例えば車両のフロントガラスの天井寄りの位置またはダッシュボート付近などに設けておき、その撮像装置によって撮影された車体の前方の道路を含んだ景観の映像（画像）を、地図情報を表示する画面中の所定位置に子画面として嵌め込んで表示するという技術が提案されている。
この技術によれば、車両のドライバーは運転中に画像表示装置の画面に表示された地図などのナビゲート情報を見ている状態でも、その画面内の所定位置に子画面として映し出された前方の景観の実写映像を見ることで、前方の景観に視線を戻さなくとも車両の前方状況を把握することができる。
また、その小画面の実写映像中に映し出される障害物が大きいと判断された場合や横から急に飛び出して来た物体があった場合などには、子画面の外形寸法（画面サイズ）を大きくして表示するように設定したことで、前方の危険性の高い状態の発生を即座に視覚的にドライバーに伝えると共に、その危険性の高い前方状況をドライバーに対して高い視認性で見せるようにすることができ、延いてはさらなる安全運転を確することを可能とする、といった技術なども提案されている。
また、先行車両判定や自動操舵を行うためには、移動体の前方の道路等を含んだ景観をさらに正確にデータとして把握することが必要になるので、画像道路情報と地図道路情報を用いて３次元道路形状を推定するという技術が、例えば特開２００１−３３１７８７号公報によって提案されている。この特開２００１−３３１７８７号公報は、自車両の前景の画像データから抽出される画像道路形状と自車両の周辺の地図データとを、３次元または２次元で構成された一つの論理空間に投影し、この投影された双方の道路形状の論理空間における重なり状態に基づいて、道路形状、路面に対する自車両の姿勢、自車両の絶対位置などを推定する、というもので、単眼のＣＣＤカメラで撮影した映像に基づいて十分に正確な道路形状の推定を行って、正確な先行車両判定や自動操舵を実現する、というものである。
しかしながら、上記の特開平１０−１３２５９８号公報では、以下に述べるような問題点がある。すなわち、第１に、画像情報は単純に背景映像として使われるだけであり、例えば行先表示の矢印の画像は画面の中央部から表示を開始して、車両の進行に連れて景観の後方（一般に表示画面の上側から下側）へと画面の中央部を例えば直線的に移動するように表示されるだけなので、例えばカーブした道路でのナビゲート情報の表示や、両側４車線のような多車線が設けられている道路では、ナビゲート情報の表示が景観中のどの位置を正確に示しているのか判別できなかったり、あるいは全くずれた位置を指し示していたりすることになる場合があるという問題がある。
また、第２に、カメラの姿勢パラメータはカメラの光軸の地面（あるいは水平方向）に対する角度として予め固定的に設定されているので、例えば走行中の車両の振動、操舵による車両のローリングやピッチング、上り坂や下り坂での車両の傾きなどに起因してカメラの姿勢が変化することに起因して、例えば右折位置のような道順や進行方向の矢印などによるナビゲート情報の画像は、実際の景観を撮影してなる映像に対して大幅にずれてしまい、実質的に誤った方向を指し示すことになったり、どの位置で右折すればよいのかを示しているのかが判然としない表示となってしまうという問題がある。
例えば、第８図に示した一例では、ナビゲート情報の画像である矢印９０１は、明確に前方景観中の道路での左折位置を示しているように見える。しかし、一般的な乗用車や、運転席が高い位置にあるバスやトラックのような車両であっても、実際に車両の運転席からフロントガラス越しに見える道路の景観は、第８図に示したような高い位置から見下ろしたような鳥瞰図的なものとはなり得ない。換言すれば、地上１０ｍあるいはそれ以上の高さの、例えばジャンボジェット機のコックピットなどのように、自動車車両の運転席としては有り得ないような極めて高い位置にある運転席など以外からは、ビルディングや住宅などの建物が並んでいる景観における道路の映像を、第８図に示したような曲り角やビルディングの裏の道までが鳥瞰図的に見渡せるように撮影することは、実際上不可能である。実際には、高々１ｍ前後の高さに運転者の視線が位置する一般的な乗用車や、高くても２ないし３ｍ程度の高さに運転者の視線が位置する大型トラックやバスのような一般的な自動車車両では、第９図に一例を示したように、特に前後方向の密度が詰まっており、かつ進行方向の道路に対して交差する道路が沿線のビルディング等で隠れてしまって見辛い傾向の景観（および実写映像）となる場合が多い。
第１０Ａ図は、一般的な車両の運転席からの例えば１ｍ程度の高さの視線における単位角度変化（路面に対する姿勢）Δθｅに対する路面への投影射像の変化の度合い（ΔＬＡ）を模式的に表したものである。これに対して、第１０Ｂ図は、第１０Ａ図よりも高い例えば１０ｍ程度の高さの視線における単位角度変化（路面に対する姿勢）Δθｅに対する路面への投影射像の変化の度合い（ΔＬＢ）を表したものである。この第１０Ａ図および第１０Ｂ図に示したように、低い位置からの投影射像の変化の度合い（これが低い位置から撮影した場合の姿勢変化Δθｅに対する位置のずれの大きさに相当する）ΔＬＡと、高い位置からの投影射像の変化の度合い（これが高い位置から撮影した場合の姿勢変化Δθｅに対する位置のずれの大きさに相当する）ΔＬＢとでは、ΔＬＡ≫ＬＢであることが明らかである。このため、特開平１０−１３２５９８号公報のように固定的な位置にナビゲート情報を重畳させて表示すると、車両の姿勢変化や、片勾配（カント；ｃａｎｔ）など道路の立体的な形状等に因る道路に対する相対的な車両の姿勢変化などに起因して、ナビゲート情報の表示位置が実写映像での適切に表示すべき位置から大幅にずれるという事態が頻発してしまい、その結果、ナビゲート情報が景観中のどの位置を示しているのかなどをユーザー（運転者）が直観的に正確に把握することは困難あるいは不可能なものとなる。
さらに具体的には、特開平１０−１３２５９８号公報のように景観の実写映像の画面中の中央線上のような固定的な位置にナビゲート情報の例えば矢印などを位置させるようにする技術では、車両の少しの姿勢変化でも景観の実写映像とナビゲート情報の画像との間でのずれが大幅なものとなり、またビルディングのような建物や樹木などの道路沿線で車両寄りにある景観によってそれよりも遠方の景観が遮られることが多いので、それに対処するためにさらに正確な位置にナビゲート情報の画像を表示することが必要となるが、特開平１０−１３２５９８号公報ではそのような対処は不可能である。
また、実際には自動車のような移動体は一般に、走行中には車両のローリングやピッチングなどで頻繁に姿勢が変化することが多く、しかも上記のような理由から一般的な車両の高々１乃至３ｍ程度の高さからの景観中では、少しの姿勢変化でも大幅な位置ずれとなってしまうので、特開平１０−１３２５９８号公報の技術では、例えば道順を示す矢印のようなナビゲート情報の表示位置が実写映像中での適正な表示位置から大幅にずれた状態になるという事態が多発する虞がある。しかも、そのような姿勢変化は、車両の駆動方式などの構造やエンジンの配置位置などで支配的に定まる重心位置の違いなどによって、車両の形式ごとで異なったものとなる場合が多いので、車両の形式ごとや姿勢変化の大きさや方向ごとで異なった対応をすることが必要となるが、そのような対応は特開平１０−１３２５９８号公報では不可能である。また、車体および運転者の身体を大きく傾斜させて曲線を通過する二輪車やスクータの場合には、車両の姿勢変化はさらに顕著なものとなるので、そのような二輪車向けのナビゲート装置の場合には、車両の姿勢変化に起因した表示位置のずれがさらに顕著なものとなってしまう。
また、第３に、道路地図データに附加されている道路名称、ランドマーク、病院などの道順案内などのナビゲートを行うに際して有力な目印となり得る場所を自車両の現在位置に基づいて３次元的にリアルタイムに表示することが望ましいが、そのようなことは特開平１０−１３２５９８号公報では全く考慮されておらず、提案もされていない。しかも、第９図に一例を示したように、道路沿線の目印となる建物は車両寄りの建物や景観などの背後に隠れて見辛いものとなる場合も多い。
特開平１１−３０４４９９号公報では、上記のような特開平１０−１３２５９８号公報に関するものと同様の問題点の他に、次のような問題点がある。すなわち、特開平１１−３０４４９９号公報では、道路前方の景観の実写映像を子画面に表示するだけであるため、道路地図情報と実映映像との照合は、やはりドライバーが自分の頭の中で考えて行わなければならない。このため、例えば不慣れな（または初めて通るような）土地における交差や分岐等が多い道路を運転するドライバーにとっては、直観的にナビゲート情報を把握することが困難であり、延いてはユーザーが道順を間違ってしまったりナビゲート情報の意味する内容を誤認したり理解不能になったりする虞がある。
特開２００１−３３１７８７号公報では、次のような問題点がある。すなわち、特定な道路形状モデルがないため、多車線道路の場合では画像データから抽出する自車走行車線の中心線と道路地図データから推定する道路中心線との間で大きなずれを生じる可能性がある。また、自車走行車線の情報を推定できないので、車線変更や左折右折の際に正しいナビゲート情報を提供することができない。
また、走行路面の片勾配は水平曲率に対応して変化するように設定されているという道路構造を考慮していないので、曲線道路では現在走行中の車線の隣の車線での路面に対する姿勢データの推定結果が大幅に変わってしまうこととなり、道路形状を正確に推定することができない虞がある。
また、画像からの道路特徴抽出を行うに際しては、道路形状の推定結果をフィードバックせずに単純にフレーム毎に微分フィルタによって輝度変化が大きい部分を白線として抽出するようにしているが、この手法によって得られる推定結果は天候の変化や路面上の影、汚れなどのような種々の環境的な要因の影響を極めて受けやすい。このため、道路特徴抽出データの表す道路形状モデルが実体の道路形状とは有意にずれた不正確なものとなる虞があるという問題などもある。
本発明はかかる問題点に鑑みてなされたもので、その目的は、進路案内、自車位置、地図情報などのナビゲート情報を、移動体の前方の道路の実写映像中または実際の景観中における適切な位置に正確に投影した表示を行って、ナビゲート情報と実写映像または実視景観との対応関係をドライバーが直観的に正確に認識することができるようにした、ナビゲート情報表示方法および移動体ナビゲート情報表示装置を提供することにある。
【発明の開示】
本発明による移動体ナビゲート情報表示方法は、移動体の現在位置を検出すると共に移動体の進行方向の道路を含んだ景観を被写体とした実写映像を移動体に設置された車載カメラによって撮影するプロセスと、検出された移動体の現在位置に対応した移動体の運行に関するナビゲート情報を、予め道路地図データと関連付けて記憶されていたナビゲート情報の中から読み出すプロセスと、移動体の現在位置と道路地図データとに基づいて、現在位置から撮影されることが想定される道路に関する道路形状モデルを生成するプロセスと、実写映像から景観中に含まれる道路の画像データである道路形状データを抽出するプロセスと、道路形状モデルのデータと道路形状データとを照合して、被写体の道路に対する車載カメラまたは移動体の姿勢データを推定し、この姿勢データに基づいて移動体の現在位置に対応して読み出されたナビゲート情報の撮影された実写映像における表示位置を決定するプロセスと、撮影された実写映像の決定された位置に読み出されたナビゲート情報を合成した画像を表示するプロセスとを備えている。
また、本発明による移動体ナビゲート情報表示装置は、移動体の現在位置を検出する現在位置検出手段と、移動体の進行方向の道路を含んだ景観を被写体とした実写映像を移動体に設置された車載カメラによって撮影する撮像手段と、移動体の検出された現在位置に対応した移動体の運行に関するナビゲート情報を、予め道路地図データと関連付けて記憶されていたナビゲート情報の中から読み出し、移動体の現在位置と道路地図データとに基づいて、現在位置から撮影されることが想定される道路に関する道路形状モデルを生成し、実写映像から景観中に含まれる道路の画像データである道路形状データを抽出し、道路形状モデルのデータと道路形状データとを照合して、被写体の道路に対する車載カメラまたは移動体の姿勢データを推定し、この姿勢データに基づいて、移動体の現在位置に対応して読み出されたナビゲート情報の撮影された実写映像における表示位置を決定し、撮影された実写映像のされた位置に読み出されたナビゲート情報を合成してなる画像を表示するためのデータを出力するデータ処理手段と、データ処理手段から出力されたデータに基づいて、撮影された実写映像の決定された位置に読み出されたナビゲート情報を合成した画像を表示する画像表示手段とを備えている。
本発明による移動体ナビゲート情報表示方法または移動体ナビゲート情報表示装置では、自動車車両のような移動体の現在位置と、その現在位置を含んだ道路地図データとに基づいて、現在位置から撮影されることが想定される道路に関する道路形状モデルを生成し、またそれと共に、実写映像から前方あるいは進行方向の景観中に含まれる道路の画像データである道路形状データを抽出し、それら道路形状モデルのデータと道路形状データとを照合して、被写体である景観中の道路に対する車載カメラまたは移動体の姿勢データを推定する。そしてその姿勢データに基づいて、移動体の現在位置に対応して読み出されたナビゲート情報の撮影された実写映像における適切な表示位置を決定し、その撮影された実写映像の決定された適切な位置に、読み出されたナビゲート情報を合成した画像を表示する。
このようにして、実写映像中でのどこの位置にナビゲート情報を合成するのが適切であるのかを、道路形状モデルのデータと道路形状データとを照合することによって決定することにより、例えば進路案内、自車位置、地図情報などのナビゲート情報を、移動体の前方の道路の実写映像中または実際の景観中における適切な位置に正確に投影した表示を行うことが可能となり、延いてはナビゲート情報と実写映像または実視景観との対応関係をドライバーが直観的に正確に認識することが可能となる。
ここで、上記のナビゲート情報としては、例えば移動体の目的地に到着するまでの道順に関する進路案内、自車位置、自車が走行中の車線、進路案内または自車位置を当該移動体の運転者が確認するに当たっての目印となる建物のうち、少なくともいずれか一つなどが可能である。
また、ナビゲート情報が文字または記号もしくは数字の情報であるときは、その情報をアイコン化して、そのアイコンの画像を撮影された実写映像に合成して表示するようにすることなども可能である。
また、上記のデータ処理手段またはデータ処理を行うプロセスは、ナビゲート情報を３次元拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）空間内の仮想実体（ｖｉｒｔｕａｌ ｏｂｊｅｃｔ）として表現し、既に得られた姿勢データに基づいて２次元特徴空間に変換してなる道路形状データの中の該当する位置に割り当てるようにすることで、そのナビゲート情報の画像を実写映像中に仮想実体として合成することなども可能である。このようにすることにより、例えば道順案内の目印となる建物についての文字または記号もしくは数字からなるナビゲート情報を、実写映像ではその目印の建物が手前側の建物などの背後や曲線道路の内周側などに隠れて見えない場合であっても、その目印の建物の存在を視覚的に直観的に示すことが可能となる。
なお、上記のデータ処理手段またはデータ処理を行うプロセスは、道路形状データを遠近法的な２次元特徴空間の画像データに変換すると共に道路形状モデルのデータを遠近法的な２次元特徴空間の画像データに変換し、それらを２次元特徴空間にて２次元データどうしで照合して、被写体の道路の路面に対する車載カメラまたは移動体の姿勢データを推定するようにしてもよい。このようにすることにより、姿勢データを推定するために行われる道路形状データと道路形状モデルのデータとの照合を、３次元論理空間などで３次元データ同士で行うといった情報量が極めて多くなりデータの高速処理が困難になる場合があることが想定されるような手法を用いなくとも、疑似３次元的な２次元特徴空間で２次元データ同士で行うことができるので、その照合のプロセスの簡易化および高速化を達成することなどが可能となる。
なお、上記のカメラ姿勢データの出力を安定させるために、この姿勢データに、車体に付設された３次元慣性センサから取得した角速度や加速度データを統合するようにしてもよい。つまり、画像照合から求めた結果は直接的であり、高精度であるが、雑音や誤抽出に影響されやすい。その一方、３次元慣性センサからの角速度や加速度データの累積で求めた結果は、累積誤差は高いが、安定しており、しかも高速である。この二つのセンサの統合によって、より安定した正確な車載カメラ姿勢データを求めることができる。
また、上記のデータ処理手段またはデータ処理を行うプロセスは、道路形状モデルを生成するにあたり、曲線道路における走行路面の片勾配は当該曲線道路の水平曲率に対応して変化するように設定されているという道路構造を考慮したモデリングを行うことで、多車線道路の道路形状モデルを生成するものとしてもよい。このようにすることにより、自動車車両のような移動体が多車線道路を走行している場合であっても、多車線道路の道路形状を正確に把握することができ、延いてはそのような多車線道路の道路形状に正確に対応した適切な位置にナビゲート情報を合成して表示することが可能となる。
また、上記のデータ処理手段またはデータ処理を行うプロセスは、道路形状モデルのデータと道路形状データとを照合するにあたり、道路ルックアップテーブル（ＲＳＬ：Ｒｏａｄ Ｓｈａｐｅ Ｌｏｏｋ−ｕｐ ｔａｂｌｅ）を用いて、実写映像から景観中に含まれる道路白線の存在確率を求めてＲＳＬ値を算出し、そのＲＳＬ値による評価値が最大になるように当該移動体の姿勢データを求めるようにしてもよい。このようにすることにより、天候の変化や路面上の影、汚れなどのような種々の環境的な要因の悪影響を受けることなく常に正確な道路形状データを抽出することができ、延いてはそれを用いて正確な姿勢データを推定することが可能となる。
また、上記の画像表示手段または画像表示を行うプロセスは、撮影された実写映像の中の適切であると決定された位置に読み出されたナビゲート情報を合成してなる画像を、例えばダッシュボートのほぼ中央部などに設置されたカーナビゲーション用の液晶表示パネルのような表示装置の所定の表示画面に表示するものであるようにすることが可能である。
あるいは、撮影された実写映像の決定された位置に読み出されたナビゲート情報を合成してなる画像を、いわゆるＨＵＤ（Ｈｅａｄ Ｕｐ Ｄｉｓｐｌａｙ）型投射装置のような表示装置などによって、運転席前面の透明窓の内側表面に投射して表示するようにしてもよい。
また、上記のデータ処理手段またはデータ処理を行うプロセスは、移動体の検出された現在位置に対応したナビゲート情報を、予め道路地図データと関連付けて記憶されていたナビゲート情報の中から読み出し、当該移動体の現在位置と道路地図データとに基づいて、現在位置から撮影されることが想定される道路に関する道路形状モデルを生成し、実写映像から景観中に含まれる道路の画像データである道路形状データを抽出し、道路形状モデルのデータと道路形状データとを照合して、被写体の道路に対する車載カメラまたは移動体の姿勢データを推定し、車両に付けられた３次元慣性センサ（ＩＮＳ）から取得した方位データと統合し、統合した姿勢データに基づいて、移動体の現在位置に対応して読み出されたナビゲート情報の撮影された実写映像における表示位置を決定し、その決定された位置に読み出されたナビゲート情報の画像を表示するためのデータを出力するものであり、上記の画像表示手段または画像表示プロセスは、ナビゲート情報の画像を移動体の運転席前面の透明窓の内側表面に投射して表示することで、そのナビゲート情報の画像を運転席前面の透明窓から見える景観に合成して表示するものであるようにすることなども可能である。
【図面の簡単な説明】
第１図は、本発明の一実施の形態に係る移動体ナビゲート情報表示装置の概要構成を表した図である。
第２Ａ図ないし第２Ｄ図は、３次元車両座標系ＶＣＳおよび３次元カメラ座標系ＣＣＳならびに２次元投影画像座標系ＩＣＳの相対的位置関係を表した図である。
第３図は、道路地図データによって表される点と線によるマッピングの一例を表した図である。
第４図は、クロソイド曲線で近似してなる道路セグメント水平形状モデルを表した図である。
第５図は、２Ｄ−２Ｄマッチングの際に用いられる道路水平形状モデルの一例を表した図である。
第６図は、中央処理部における、道路形状データの抽出および道路形状モデルの生成ならびにカメラ姿勢パラメータの推定等を含んだ一連の主要な処理の流れを表したフローチャートである。
第７図は、中央処理部で行われる各種の演算に用いられる各種の数式を纏めて表した図である。
第８図は、従来のナビゲートシステムにて表示可能であると主張されているナビゲート情報の画像を重畳してなる映像の一例を表した図である。
第９図は、実際の自動車の運転席からフロントガラス越しに見える前方景観の一例を表した図である。
第１０Ａ図は、一般的な車両の運転席からの視線における単位角度変化に対する路面への投影射像の変化の度合いを模式的に表し、第１０Ｂ図は、第１０Ａ図よりも高い位置からの視線における単位角度変化に対する路面への投影射像の変化の度合いを表した図である。
【発明を実施するための最良の形態】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
第１図は、本発明の一実施の形態に係る移動体ナビゲート情報表示装置の概要構成を表したものである。なお、本発明の実施の形態に係る移動体ナビゲート情報表示方法は、この移動体ナビゲート情報表示装置の動作あるいは作用によって具現化されるものであるから、以下、それらを併せて説明する。
この移動体ナビゲート情報表示装置は、センサ入力部１と、操作部２と、地図管理部３と、中央処理部４と、映像表示部５と、制御部６とを、その主要部として備えている。
さらに詳細には、センサ入力部１は、ＣＣＤ（固体撮像素子）カメラ１０１と、ＧＰＳセンサ１０２と、ＩＮＳセンサ１０３と、道路交通情報受信機（ＶＩＣＳ）１０４とを備えている。ＣＣＤカメラ１０１はドライバーがフロントガラス越しに見る視線とほぼ同様のカメラアングルで車両前方の景観を撮影（撮像）するように、例えばこの移動体ナビゲート情報表示装置が搭載されている自動車のような移動体（以下、これを自車両または当該移動体もしくは自車とも呼ぶ）の運転席のダッシュボードの上または天井付近（図示省略）などに設置されている。このＣＣＤカメラ１０１は、例えば固定焦点距離の単眼方式のものであり、道路を含んだ前方の景観の画像を撮像してその画像信号を取り込む。取り込まれた画像信号は、中央処理部４の画像メモリ（図示省略）にデータとして転送される。そしてＧＰＳセンサ１０２とＩＮＳセンサ１０３とで取得された当該移動体に関する走行方位のデータおよび車速データは、ＣＣＤカメラ１０１で取得された画像データと同期して、中央処理部４へと転送される。また、道路交通情報受信装置（ＶＩＣＳ）１０４から受けられたデータも中央処理部４に転送される。
操作部２は、ユーザーからのボタン操作またはリモコン入力装置（図示省略）などによって入力された操作命令に応答してシステム設定やモード変更などの命令を中央処理部４に転送する。
地図管理部３は、中央処理部４からの読み出し命令に従って、操作部２からの命令入力で指定された道路位置の各種情報を、所定の地理的領域の地図データを予め記録している地図データＣＤ３０１から読み出して、中央処理部４へと転送する。
中央処理部４は、画像処理モジュール４０１、測位処理モジュール４０２、映像出力処理モジュール４０３、制御出力処理モジュール４０４という４つのモジュールと、画像データ生成部４０５とから、その主要部が構成されている。
画像処理モジュール４０１は、車載ＣＣＤカメラの姿勢推定、走行車線追跡、害物検出、および車間距離計算などを行う。
測位処理モジュール４０２は、センサ入力部１からの方位及び車速を地図管理部３の道路地図データとマップマッチングして、正しい道路位置情報の演算を行ってそのデータを出力する。
映像出力処理モジュール４０３は、映像表示部５における進路案内、自車位置、および地図情報を、３次元拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）空間内の仮想実体（Ｖｉｒｔｕａｌ Ｏｂｊｅｃｔ）として表現し、それを後述するような推定方法で求められたＣＣＤカメラ１０１の姿勢パラメータで２次元道路映像へと投影して、移動体の前面の景観の実写映像と融合（合成）させる。また、悪天候状況での道路区画線強調表示や障害物などの危険表示などを行うためのデータ生成も行う。またさらには、道路地図に附加すべき情報として、例えば、ランドマーク、鉄道の駅、病院、ガソリンスタンドなどのような道順案内の際の目印となり得る物体の情報をアイコン化して、それをカメラ姿勢パラメータを用いて道路の実写映像に投影する。
制御出力処理モジュール４０４は、各解析結果を総合的に判断し、自車両に対する危険性の度合いに対応した警報等を出力するためのアラーム出力命令を、制御部６に対して与える。
画像データ生成部４０５は、主に画像処理モジュールおよび測位処理モジュールから出力されたデータならびに地図管理部３から読み出された地図データに基づいて、自車両の現在走行中の走行車線認識、道路形状認識、障害物認識や、自車両の絶対路上位置認識、カメラ姿勢の推定などを行って、ナビゲート情報を実写映像中の適切な位置に合成して表示するためのデータを生成する。
映像表示部５は、画像データ生成部４０５によって生成されたデータに基づいて、ナビゲート情報を実写映像中の適切な位置に合成した映像（画像）を、例えば液晶表示パネルの画面に表示する。
制御部６は、上記のようなアラーム出力命令に対応した警報等の出力の制御や、制御出力モジュールによる解析結果に対応した音声出力の制御、ブレーキの制御、操舵の制御などを、例えばそれらの制御量を調節するために設けられている各サーボモータ系などの動作を制御することによって行う。
次に、本発明による一実施の形態に係る移動体ナビゲート情報表示装置の、動作（機能）について説明する。
この移動体ナビゲート情報表示装置では、自車両の現在位置を含む付近の地理に関する道路地図データを、ＧＰＳセンサ１０２およびＩＮＳセンサ１０３ならびに測位処理モジュールによって検出された現在位置のデータに基づいて、画像データ生成部４０５が、現在位置から撮影されることが想定される道路に関する道路形状モデルを生成する。またそれと共に、実写映像から進行方向の景観中に含まれる道路の画像データである道路形状データを、例えば道路の走行区分線の白線画像データ等に基づいて抽出する。
続いて、画像データ生成部４０５は、道路形状データと道路形状モデルのデータとを照合して、ＣＣＤカメラ１０１によって撮影される被写体となっている景観中の道路に対するＣＣＤカメラ１０１の姿勢データ（または自車両の姿勢データでも構わない）を推定する。なお、このとき、この姿勢データに、車体に付設された３次元慣性センサから取得した角速度や加速度データを統合することが望ましい。
そしてその姿勢データに基づいて、移動体の現在位置に対応して読み出されたナビゲート情報の撮影された実写映像における適切な表示位置を決定し、その撮影された実写映像の決定された適切な位置に、読み出されたナビゲート情報を合成した画像を表示することができるような画像データを生成する。
このようにして、画像データ生成部４０５が、実写映像中でのどこの位置にナビゲート情報を合成するのが適切であるのかを、道路形状モデルのデータと道路形状データとを照合することによって決定し、そのようにして生成された画像データに基づいて、映像表示部５が、例えば進路案内、自車位置、地図情報などのナビゲート情報を、移動体の前方の道路の実写映像中またはフロントガラス越しに見える実際の景観中の適切な位置に正確に合成した表示を行うことができる。その結果、本実施の形態に係る移動体ナビゲート情報表示装置によれば、ナビゲート情報と実写映像または実視景観との対応関係をドライバーが直観的に正確に認識することを可能とした映像を表示することができる。
ここで、上記のナビゲート情報とは、例えば移動体の目的地に到着するまでの道順に関する進路案内、自車位置、自車が走行中の車線、進路案内または自車位置を当該移動体の運転者が確認するに当たっての目印となる建物のうち、少なくともいずれか一つなどである。また、ナビゲート情報が文字または記号もしくは数字の情報であるときは、その情報をアイコン化して、そのアイコンの画像を撮影された実写映像に合成して表示することが望ましい。
また、画像データ生成部４０５では、ナビゲート情報を３次元拡張現実空間内の仮想実体として表現して、既に得られた姿勢データ等に基づいて２次元特徴空間に変換してなる道路形状データの中の該当する位置に割り当てるようにすることで、そのナビゲート情報の画像を実写映像中の適切な位置に仮想実体として合成して、例えば道順案内の目印となる建物についての文字または記号もしくは数字からなるナビゲート情報を、実写映像ではその目印の建物が手前側の建物などの背後や曲線道路の内周側などに隠れて見えない場合であっても、その目印の建物の存在を視覚的に直観的に示すようにしている。
また、画像データ生成部４０５では、道路形状データを遠近法的な２次元特徴空間の画像データに変換すると共に道路形状モデルのデータを遠近法的な２次元特徴空間の画像データに変換し、それらを２次元特徴空間にて２次元データ同士で照合して、被写体の道路の路面に対する車載カメラまたは移動体の姿勢データを推定している。このように、姿勢データを推定するために行われる道路形状データと道路形状モデルのデータとの照合を、疑似３次元的な２次元特徴空間で２次元データ同士で行うようにしたことで、その照合のプロセスの簡易化および高速化が達成されている。
また、道路形状モデルを生成するにあたり、曲線道路における走行路面の片勾配は当該曲線道路の水平曲率に対応して変化するように設定されているという道路構造を考慮したモデリングを行うことで、多車線道路の道路形状モデルを生成している。これにより、自動車車両のような移動体が多車線道路を走行しているときでも、多車線道路の道路形状を正確に把握することができ、延いてはそのような多車線道路の道路形状に正確に対応した適切な位置にナビゲート情報を合成して表示することができる。
また、道路形状モデルのデータと道路形状データとを照合するにあたり、道路ルックアップテーブル（ＲＳＬ：Ｒｏａｄ Ｓｈａｐｅ Ｌｏｏｋ−ｕｐ ｔａｂｌｅ，参照文献：胡振程「車載カメラの運動解析による複数移動体の抽出及び同時追跡に関する研究」熊本大学大学院自然科学研究科博士学位論文）を用いて、実写映像から景観中に含まれる道路白線の存在確率を求めてＲＳＬ値を算出し、そのＲＳＬ値による評価値が最大になるように当該移動体の姿勢データを求めるようにしてもよい。このようにすることで、天候の変化や、路面上の影または汚れなどのような種々の環境的な要因の悪影響を受けることなく常に正確な道路形状データを抽出することができ、延いてはそれを用いて正確な姿勢データを推定することが可能となる。
また、撮影された実写映像中の適切な位置にナビゲート情報を合成してなる画像を、例えばダッシュボートのほぼ中央部などに設置されたカーナビゲーション用の液晶表示パネルのような表示装置に表示するようにしてもよい。
または、撮影された実写映像における上記のような照合によって決定された適切な位置に、読み出されたナビゲート情報を合成してなる画像を、いわゆるＨＵＤ（Ｈｅａｄ Ｕｐ Ｄｉｓｐｌａｙ）型投射装置のような表示装置などによって、運転席前面の透明窓の内側表面に投射して表示するようにしてもよい。
あるいは、ナビゲート情報の画像を撮影された実写映像の中に合成するのではなく、上記のような照合によってナビゲート情報の画像を表示するのに適切な位置であると決定された位置のデータを用いて、その位置に相当する運転席前面のフロントガラスの内側表面に、ナビゲート情報の画像をＨＵＤ的に投射して表示することで、そのナビゲート情報の画像を運転席前面の透明窓から見える景観に合成して表示してもよい。
次に、本発明に係る移動体ナビゲート情報表示装置および移動体ナビゲート情報表示方法の実施例について説明する。
第２図Ａ〜第２Ｄ図は、３次元車両座標系ＶＣＳ（Ｘｖ，Ｙｖ，Ｚｖ）および３次元カメラ座標系ＣＣＳ（Ｘｃ，Ｙｃ，Ｚｃ）ならびに２次元投影画像座標系ＩＣＳ（ｘｉ，ｙｉ）の相対的位置関係を表したものである。ここで、３次元車両座標系ＶＣＳの原点は車両後輪中央線の中点に位置しており、Ｚｖ軸は車両の中央線に、Ｘｖ軸，Ｙｖ軸はそれぞれ左，上に指向するように、各々設定されているものとする。また、３次元カメラ座標系ＣＣＳの原点はＣＣＤカメラのレンズ中心点に位置しており、Ｚｃ軸はカメラの光軸に重なるように設定されているものとする。また、２次元投影画像座標系ＩＣＳはＺｃ＝ｆｃｏｎｓｔ（Ｚｃ＝ｆなる平面）に位置しているものとする。
カメラ座標系ＣＣＳから画像座標系ＩＣＳへの変換関係は正投影である。従って、第７図に式１に示したような行列による関係式として記述することができる。但し、ＰはＣＣＳ座標系内の座標［Ｘｃ，Ｙｃ，Ｚｃ，１］、ｐはＩＣＳ座標系内の座標［ｘｉ，ｙｉ，１］である。
Ａは３×４の投影マトリックスであり、一般に第７図に式２として示したように分解することができる。ここに、Ｋはカメラ内部のパラメータマトリクスと呼ばれるもので、画像の横縦方向変形率（Ｓｘ，Ｓｙ）および画像中心点（ｕｏ，ｖｏ）ならびに回転変形率Ｓθによって定まるものである。このＫを第７図に式３として表す。
カメラ姿勢マトリクスＭは、カメラ外部パラメータマトリクスと呼ばれるもので、視点から対象モデル座標系への変換関係を示しており、一般に剛体の３次元並進および回転変換によって第７図に式４として示したように表すことができるものである。ここに、Ｒ１１〜Ｒ３３（Ｒの要素全て）は回転パラメータであり、Ｔｘ，Ｔｙ，Ｔｚ（Ｔの要素全て）は並進パラメータである。
ところでカメラ倍率は一般に１で近似することも可能であることから、式１〜式４に基づいて、第７図に式５で示したような拘束式が成り立つ。
ここで、カメラ姿勢を代表する回転および並進の６つのパラメータを姿勢ベクトルで表示すると、画像座標系と車両座標系との投影関係は、第７図の式６で示したような数式で表現される。すなわち、式６によれば、２Ｄ−３Ｄ空間における一つの対応点対（ｐ，Ｐ）は、カメラ姿勢データに対して第７図に式６で示したような一つの拘束式を決定することとなる。理論的には、このような６つの対応点対があれば、カメラの姿勢を推定するためには十分である。
しかし、単純な単眼のＣＣＤカメラによって撮像される前方景観のモノクロの実写画像データのみから３次元空間の奥行きを正確かつ確実に推定することは、理論的に極めて困難あるいは不可能であるため、本実施例では、２Ｄ−３Ｄでの（２次元空間対３次元空間照合による）マッチングを避けて、道路地図情報から多車線道路形状モデルを推定し、その多車線道路形状モデルを実写映像データから抽出された多車線道路形状データと２Ｄ−２Ｄ特徴空間でのマッチングに変換して、２次元空間対２次元空間での照合によってカメラ姿勢データを推定する。但し、このときの照合は２Ｄ−２Ｄ特徴空間でのマッチングのみには限定されないことは言うまでもない。この他にも、例えば前方景観の実写画像データ以外の情報源から３次元空間の奥行きデータを正確かつ確実に推定し、そのデータを用いて２次元空間対３次元空間の照合を行うようにしてもよいことは言うまでもない。但し、その場合には、一般に処理すべきデータ量が２Ｄ−２Ｄ特徴空間でのマッチングの場合よりも多くなる傾向にあることは言うまでもない。
第３図は、道路地図データによって表される点と線によるマッピングの一例を表したものである。道路地図データには一般にノードと呼ばれる道路セグメントの緯度経度と海抜などの３次元位置情報、道路名称、等級、車線数、交差状況などが記録されている。道路幅は道路等級に基づいて推定することができる。また、一般に地図データに記載されたノード位置は道路中央線上にある。道路の構造は一般に、水平曲率と縦断曲率を用いる複雑曲面によって構成されている。
第４図は、クロソイド（ｃｌｏｔｈｏｉｄ）曲線で近似してなる道路セグメント水平形状モデルを表したものである。このような道路セグメント水平形状モデルは、第７図の式７に示したような数式を用いてモデリングすることができる。ここで、式７におけるｃ０ｉとｃ１ｉは、それぞれ水平曲線の初期曲率と曲率の変化パラメータである。またｎ１ｉは上り車線数、ｎｒｉは下り車線数、ｗｉはセグメント間の平均道路幅である。Ｌｉはセグメント長さを示すものである。このモデルを用いて地図データに基づいて任意路上位置での道路形状モデルを簡易に極めて短時間で構築することができる。
車両の走行位置は一般に、道路中央線ではなく日本のような左側通行の慣習の国では左にオフセットしている場合が多いが、自車両の路上位置（車両座標系の原点から道路中央への偏移量）および向き（車両座標系のＺ軸方向と道路水平接線との偏移角）の情報を用いることで、実際の走行位置が片車線にオフセットしていることに対応する道路中心線の道路水平形状モデルを、車両座標系ＶＣＳベースとした新しいモデルに変換することができる。
そして視認距離（実写映像として撮影されることが想定される領域）内の道路の路面が平坦であると仮定して、投影変換式である第７図の式６から、第７図に式８として示したような道路水平形状モデルの投影式を推定する。この第７図の式８では、３次元の道路形状を言うなれば遠近法的に２次元に投影したので、カメラ姿勢を推定するための照合方法としてデータ処理の繁雑化の虞のある２Ｄ−３Ｄマッチングを２Ｄ−２Ｄマッチングに簡単化することできる。
このように、本実施例では、道路地図データから推定される道路形状モデルと道路の実写映像から抽出される道路形状データとを２次元の特徴空間で２Ｄ−２Ｄマッチングさせて最適な姿勢ベクトルを推定する。第５図は、その２Ｄ−２Ｄマッチングの際に用いられる道路水平形状モデルの一例を示したものである。
なお、実際の道路環境では、太陽光線や人工照明などによる光の照射状況や天候状況等によって車線の区切りを示す道路白線の明度や色合いなどが大幅に変化する場合が多いため、道路形状モデルと実写映像から抽出された道路形状データとを直接的にうまくマッチングさせることができなくなる場合がある。そこで本実例では、道路白線ルックアップテーブル（ＲＳＬ）の概念を用いて、道路白線の明度値の代りにその存在確率を映像化することによって、高速かつロバストな道路形状マッチングを実現することができる。
ＲＳＬの値は、道路白線に近いほど高くなる。具体的な計算法としては、まず道路白線、区切り線、および道路領域の境界線候補を特徴領域として抽出し、画像を２値化する（特徴領域に属する画素を１とし、他の画素を０とする）。そして第７図に示した式９を用いて各画素のＲＳＬ値を計算する。但しここに、λｘ，ｙは２値化した画素値であり、χｉ，ｊはＲＳＬ用のカーネル係数である。雑音を抑制するために、カーネルサイズは通常５又は７に設定する。各係数はＧａｕｓｓｉｎ分布式によって定める。カメラ姿勢推定の最終評価式を、第７図の式１０に示す。ここに、ησは道路水平形状モデルの２次元投影点の集合である。この式１０によって、道路地図データに基づいて生成される道路形状モデルと実写映像から抽出される道路形状データとを完全にマッチングする最高のＲＳＬ評価値を得ることができる。
６パラメータの姿勢ベクトルσの最適値を求めるためには、種々のローカル極値サーチ方法を用いることができるが、その中でも特にＨｏｏｋｅとＪｅｅｖｅｓの直接サーチアルゴリズムを好適に採用することができる（Ｒ．Ｈｏｏｋｅ ａｎｄ Ｔ．Ｊｅｅｖｅｓ．”Ｄｉｒｅｃｔ ｓｅａｒｃｈ ｓｏｌｕｔｉｏｎ ｏｆ ｎｕｍｅｒｉｃａｌ ａｎｄ ｓｔａｔｉｓｔｉｃａｌ ｐｒｏｂｌｅｍｓ，”Ｊｏｕｒｎａｌ ｏｆ ｔｈｅ Ａｓｓｏｃｉａｔｉｏｎ ｆｏｒ Ｃｏｍｐｕｔｉｎｇ Ｍａｃｈｉｎｅｒｙ（ＡＣＭ），ｐｐ．２１２−２２９（１９６１）．）。
このようにして求められたカメラ姿勢データは、ナビゲート情報を表示すべき位置を決定するためのデータの照合の際などに用いられる。また、このカメラ姿勢データはフィードバック量として次回の推定にも使用される。
第６図は、中央処理部における、道路形状データの抽出および道路形状モデルの生成ならびにカメラ姿勢パラメータの推定等を含んだ一連の主要な処理の流れを表したフローチャートである。
まず、ＣＣＤカメラによって撮影された自車両の前方の道路を含んだ景観の実写映像のデータを取り込む（Ｓ１）。
またそれと共に、実写映像のデータの取り込みと同期して、ＧＰＳセンサおよびＩＮＳセンサによって取得されたデータを取り込む（Ｓ２）。
そして、実写映像データから道路の走行区分線などの白線や舗装面の境界線などの区切り線領域を抽出してＲＳＬ値を算出する（Ｓ３）。
また、いわゆるマップマッチングによって自車両の現在位置（絶対位置）を求め（検出し）、その現在位置に対応した関連地図データを地図データＣＤに記憶されている情報の中から読み出す（Ｓ４）。
実写映像として撮影されている景観中の道路に関する道路水平形状モデルを構築する（Ｓ５）。
更新されたカメラ姿勢ベクトルに基づいて、道路水平形状モデルを遠近法的な２次元空間に投影する（Ｓ６）。
道路映像のＲＳＬ表現と投影した道路水平形状モデルとのマッチングを行って評価値を求める（Ｓ７）。
得られた評価値が最大値であるか否かを判断する（Ｓ８）。このとき最大値と判断された場合には（Ｓ８のＹ）、そのときの姿勢ベクトルを出力し（Ｓ９）、その出力値を次回のサーチ起点としてフィードバックする（Ｓ１０）。しかし最大値でなければ（Ｓ８のＮ）、Ｈｏｏｋｅ ＆ Ｊｅｅｖｅｓ法によって姿勢ベクトルを更新して（Ｓ１１）再評価を行う（Ｓ１１〜Ｓ６〜Ｓ８）。このループは最大値が得られるまで（Ｓ８のＹになるまで）繰り返される。なお、上記の評価値が最大となる姿勢ベクトルと同時点で累積した角度および方位変化量をカルマンフィルタに入力して、統合した姿勢データを出力する。
また、以上の一連の動作は、次回のデータ取り込み〜処理の開始タイミングになると（Ｓ１２のＹ）、再びデータ取り込みという第１ステップから上記と同様の順を追って実行される。
以上、詳細に説明したように、本実施の形態に係る移動体ナビゲート情報表示装置または移動体ナビゲート情報表示手段によれば、ナビゲート情報の画像を、移動体の前方の道路の実写映像中またはフロントガラス越しに見える実際の景観中の適切な位置に正確に合成することができる。そしてその結果、ナビゲート情報と実写映像または実視景観との対応関係をドライバーが直観的に正確に認識することができるような映像を、表示することが可能となる。
なお、上記実施の形態では、被写体として自車両の前方の景観を撮影し、その前方の景観に含まれている道路の実写映像にナビゲート情報を合成する場合について説明したが、この他にも、本発明の適用例としては、例えば実写映像（被写体）としては、本実施の形態のような道路の代りに、狭隘な地形に設けられた運河や港湾などを撮影すると共に、道路地図データの代りに航行予定の航路などの情報を含んだ電子海図データなどを用いて、操舵室の窓などから見える前方景観の実写映像の中に航行予定の航路などのナビゲート情報の画像を合成して表示することなども可能である。
以上説明したように、本発明の移動体ナビゲート情報表示方法または移動体ナビゲート情報表示装置によれば、自動車車両のような移動体の現在位置と、その現在位置を含んだ道路地図データとに基づいて、現在位置から撮影されることが想定される道路に関する道路形状モデルを生成し、またそれと共に、実写画像から前方あるいは進行方向の景観中に含まれる道路の画像データである道路形状データを抽出し、それら道路形状モデルのデータと道路形状データとを照合して、被写体である景観中の道路に対する車載カメラまたは移動体の姿勢データを推定し、この姿勢データに基づいて、移動体の現在位置に対応して読み出されたナビゲート情報の撮影された実写画像における適切な表示位置を決定し、その撮影された実写画像の決定された適切な位置に、読み出されたナビゲート情報を合成した画像を表示するようにしたので、例えば進路案内、自車位置、地図情報などのナビゲート情報を、移動体の前方の道路の実写映像中または実際の景観中における適切な位置に正確に投影した表示を行うことが可能となり、延いてはナビゲート情報と実写映像または実視景観との対応関係をドライバーが直観的に正確に認識することが可能となるという効果を奏する。
【図１】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【特許請求の範囲】
【請求項１】
移動体の現在位置を検出すると共に前記移動体の進行方向の道路を含んだ景観を被写体とした実写映像を前記移動体に設置された車載カメラによって撮影するプロセスと、
検出された前記移動体の現在位置に対応した前記移動体の運行に関するナビゲート情報を、予め道路地図データと関連付けて記憶されていたナビゲート情報の中から読み出すプロセスと、
前記移動体の現在位置と前記道路地図データとに基づいて、前記現在位置から撮影されることが想定される道路に関する道路形状モデルを生成するプロセスと、
前記実写映像から前記景観中に含まれる道路に関する画像データである道路形状データを抽出するプロセスと、
前記道路形状モデルのデータと前記道路形状データとを照合して、前記被写体の道路に対する前記車載カメラまたは前記移動体の姿勢データを推定し、前記姿勢データに基づいて、前記移動体の現在位置に対応して読み出されたナビゲート情報の前記撮影された実写映像における表示位置を決定するプロセスと、
前記撮影された実写映像の前記決定された位置に前記読み出されたナビゲート情報を合成した画像を表示するプロセスと
を備えたことを特徴とする移動体ナビゲート情報表示方法。
【請求項２】
前記道路形状データを遠近法的な２次元特徴空間の画像データに変換すると共に前記道路形状モデルのデータを前記遠近法的な２次元特徴空間の画像データに変換し、前記２次元特徴空間で前記道路形状データと前記道路形状モデルのデータとを２次元データどうしで照合して、前記被写体の道路に対する前記車載カメラまたは前記移動体の姿勢データを推定する
ことを特徴とする請求の範囲第１項記載の移動体ナビゲート情報表示方法。
【請求項３】
前記ナビゲート情報の表示位置を決定するプロセスにおいて、前記推定された移動体の姿勢データに、移動体に付設された３次元慣性センサから取得した方位データを統合し、その統合した姿勢データに基づいて前記ナビゲート情報の表示位置を決定する
ことを特徴とする請求の範囲第１項記載の移動体ナビゲート情報表示方法。
【請求項４】
道路形状モデルを生成するにあたり、曲線道路における走行路面の片勾配は当該曲線道路の水平曲率に対応して変化するように設定されているという道路構造を考慮したモデリングを行って、多車線道路の道路形状モデルを生成する
ことを特徴とする請求の範囲第１項記載の移動体ナビゲート情報表示方法。
【請求項５】
前記道路形状モデルのデータと前記道路形状データとを照合するにあたり、道路ルックアップテーブル（ＲＳＬ）を用いて、前記実写映像から前記景観中に含まれる道路白線の存在確率を求めてＲＳＬ値を算出し、そのＲＳＬ値による評価値が最大になるように前記姿勢データを求めることで、前記照合を行う
ことを特徴とする請求の範囲第１項記載の移動体ナビゲート情報表示方法。
【請求項６】
前記撮影された実写映像の前記決定された位置に前記読み出されたナビゲート情報を合成してなる画像を、画像表示装置の画面に表示する
ことを特徴とする請求の範囲第１項記載の移動体ナビゲート情報表示方法。
【請求項７】
前記撮影された実写映像の前記決定された位置に前記読み出されたナビゲート情報を合成してなる画像を、前記移動体の運転席前面の透明窓の内側表面に投射して表示する
ことを特徴とする請求の範囲第１項記載の移動体ナビゲート情報表示方法。
【請求項８】
前記ナビゲート情報の画像を、前記移動体の運転席前面の透明窓の内側表面に投射して表示することで、前記ナビゲート情報の画像を前記運転席前面の透明窓から見える景観に合成して表示する
ことを特徴とする請求の範囲第１項記載の移動体ナビゲート情報表示方法。
【請求項９】
前記ナビゲート情報を３次元拡張現実空間内の仮想実体として表現し、前記姿勢データに基づいて、前記２次元特徴空間に変換してなる道路形状データの中で該当する位置に割り当てることで、前記ナビゲート情報を前記実写映像に合成する
ことを特徴とする請求の範囲第１項記載の移動体ナビゲート情報表示方法。
【請求項１０】
前記ナビゲート情報が文字または記号もしくは数字の情報であるときは、その情報をアイコン化して前記撮影された実写映像に合成して表示する
ことを特徴とする請求の範囲第１項記載の移動体ナビゲート情報表示方法。
【請求項１１】
前記ナビゲート情報が、当該移動体の目的地に到着するまでの道順に関する進路案内、自車位置、自車が走行中の車線、前記進路案内または前記自車位置を当該移動体の運転者が確認するに当たっての目印となる建物のうち、少なくともいずれか一つである
ことを特徴とする請求の範囲第１項記載の移動体ナビゲート情報表示方法。
【請求項１２】
移動体の現在位置を検出する現在位置検出手段と、
前記移動体の進行方向の道路を含んだ景観を被写体とした実写映像を前記移動体に設置された車載カメラによって撮影する撮像手段と、
前記移動体の検出された現在位置に対応した前記移動体の運行に関するナビゲート情報を、予め道路地図データと関連付けて記憶されていたナビゲート情報の中から読み出し、前記移動体の現在位置と前記道路地図データとに基づいて、前記現在位置から撮影されることが想定される道路に関する道路形状モデルを生成し、前記実写映像から前記景観中に含まれる道路に関する画像データである道路形状データを抽出し、前記道路形状モデルのデータと前記道路形状データとを照合して、前記被写体の道路に対する前記車載カメラまたは前記移動体の姿勢データを推定し、前記姿勢データに基づいて、前記移動体の現在位置に対応して読み出されたナビゲート情報の前記撮影された実写映像における表示位置を決定し、前記撮影された実写映像の前記決定された位置に前記読み出されたナビゲート情報を合成してなる画像を表示するためのデータを出力するデータ処理手段と、
前記データ処理手段から出力されたデータに基づいて、前記撮影された実写映像の前記決定された位置に前記読み出されたナビゲート情報を合成した画像を表示する画像表示手段と
を備えたことを特徴とする移動体ナビゲート情報表示装置。
【請求項１３】
前記データ処理手段が、前記道路形状データを遠近法的な２次元特徴空間の画像データに変換すると共に前記道路形状モデルのデータを前記遠近法的な２次元特徴空間の画像データに変換し、前記２次元特徴空間で前記道路形状データと前記道路形状モデルのデータとを２次元データどうしで照合して、前記被写体の道路に対する前記車載カメラまたは前記移動体の姿勢データを推定する
ことを特徴とする請求の範囲第１２項記載の移動体ナビゲート情報表示装置。
【請求項１４】
前記データ処理手段が、前記推定された移動体の姿勢データに、移動体に付設された３次元慣性センサから取得した方位データを統合し、その統合した姿勢データに基づいて前記ナビゲート情報の表示位置を決定する
ことを特徴とする請求の範囲第１２項記載の移動体ナビゲート情報表示装置。
【請求項１５】
前記データ処理手段が、道路形状モデルを生成するにあたり、曲線道路における走行路面の片勾配は当該曲線道路の水平曲率に対応して変化するように設定されているという道路構造を考慮したモデリングを行って、多車線道路の道路形状モデルを生成する
ことを特徴とする請求の範囲第１２項記載の移動体ナビゲート情報表示装置。
【請求項１６】
前記データ処理手段が、前記道路形状モデルのデータと前記道路形状データとを照合するにあたり、道路ルックアップテーブル（ＲＳＬ）を用いて、前記実写映像から前記景観中に含まれる道路白線の存在確率を求めてＲＳＬ値を算出し、そのＲＳＬ値による評価値が最大になるように前記姿勢データを求めることで、前記照合を行う
ことを特徴とする請求の範囲第１２項記載の移動体ナビゲート情報表示装置。
【請求項１７】
前記画像表示手段は、前記撮影された実写映像の前記決定された位置に前記読み出されたナビゲート情報を合成してなる画像を所定の表示画面に表示するものである
ことを特徴とする請求の範囲第１２項記載の移動体ナビゲート情報表示装置。
【請求項１８】
前記画像表示手段は、前記撮影された実写映像の前記決定された位置に前記読み出されたナビゲート情報を合成してなる画像を、前記移動体の運転席前面の透明窓の内側表面に投射して表示するものである
ことを特徴とする請求の範囲第１２項記載の移動体ナビゲート情報表示装置。
【請求項１９】
前記データ処理手段は、前記移動体の検出された現在位置に対応した前記移動体の運行に関するナビゲート情報を、予め道路地図データと関連付けて記憶されていたナビゲート情報の中から読み出し、前記移動体の現在位置と前記道路地図データとに基づいて、前記現在位置から撮影されることが想定される道路に関する道路形状モデルを生成し、前記実写映像から前記景観中に含まれる道路の画像データである道路形状データを抽出し、前記道路形状モデルのデータと前記道路形状データとを照合して、前記被写体の道路に対する前記車載カメラまたは前記移動体の姿勢データを推定し、前記姿勢データに車両に付けられた３次元慣性センサ（ＩＮＳ）から取得した方位データを統合し、前記統合した姿勢データに基づいて、前記移動体の現在位置に対応して読み出されたナビゲート情報の前記撮影された実写映像における表示位置を決定し、前記撮影された実写映像の前記決定された位置に前記読み出されたナビゲート情報の画像を表示するためのデータを出力するものであり、
前記画像表示手段は、前記ナビゲート情報の画像を、前記移動体の運転席前面の透明窓の内側表面に投射して表示することで、前記ナビゲート情報の画像を前記運転席前面の透明窓から見える景観に合成して表示するものである
ことを特徴とする請求の範囲第１２項記載の移動体ナビゲート情報表示装置。
【請求項２０】
前記データ処理手段が、前記ナビゲート情報を３次元拡張現実空間内の仮想実体として表現し、前記姿勢データに基づいて、前記２次元特徴空間に変換してなる道路形状データの中で該当する位置に割り当てることで、前記ナビゲート情報を前記実写映像に合成する
ことを特徴とする請求の範囲第１２項記載の移動体ナビゲート情報表示装置。
【請求項２１】
前記ナビゲート情報が文字または記号もしくは数字の情報であるときは、その情報をアイコン化して前記撮影された実写映像に合成して表示する
ことを特徴とする請求の範囲第１２項記載の移動体ナビゲート情報表示装置。
【請求項２２】
前記ナビゲート情報は、当該移動体の目的地に到着するまでの道順に関する進路案内、自車位置、自車が走行中の車線、前記進路案内または前記自車位置を当該移動体の運転者が確認するに当たっての目印となる建物のうち、少なくともいずれか一つである
ことを特徴とする請求の範囲第１２項記載の移動体ナビゲート情報表示装置。
【請求項１】
移動体の現在位置を検出すると共に前記移動体の進行方向の道路を含んだ景観を被写体とした実写映像を前記移動体に設置された車載カメラによって撮影するプロセスと、
検出された前記移動体の現在位置に対応した前記移動体の運行に関するナビゲート情報を、予め道路地図データと関連付けて記憶されていたナビゲート情報の中から読み出すプロセスと、
前記移動体の現在位置と前記道路地図データとに基づいて、前記現在位置から撮影されることが想定される道路に関する道路形状モデルを生成するプロセスと、
前記実写映像から前記景観中に含まれる道路に関する画像データである道路形状データを抽出するプロセスと、
前記道路形状モデルのデータと前記道路形状データとを照合して、前記被写体の道路に対する前記車載カメラまたは前記移動体の姿勢データを推定し、前記姿勢データに基づいて、前記移動体の現在位置に対応して読み出されたナビゲート情報の前記撮影された実写映像における表示位置を決定するプロセスと、
前記撮影された実写映像の前記決定された位置に前記読み出されたナビゲート情報を合成した画像を表示するプロセスと
を備えたことを特徴とする移動体ナビゲート情報表示方法。
【請求項２】
前記道路形状データを遠近法的な２次元特徴空間の画像データに変換すると共に前記道路形状モデルのデータを前記遠近法的な２次元特徴空間の画像データに変換し、前記２次元特徴空間で前記道路形状データと前記道路形状モデルのデータとを２次元データどうしで照合して、前記被写体の道路に対する前記車載カメラまたは前記移動体の姿勢データを推定する
ことを特徴とする請求の範囲第１項記載の移動体ナビゲート情報表示方法。
【請求項３】
前記ナビゲート情報の表示位置を決定するプロセスにおいて、前記推定された移動体の姿勢データに、移動体に付設された３次元慣性センサから取得した方位データを統合し、その統合した姿勢データに基づいて前記ナビゲート情報の表示位置を決定する
ことを特徴とする請求の範囲第１項記載の移動体ナビゲート情報表示方法。
【請求項４】
道路形状モデルを生成するにあたり、曲線道路における走行路面の片勾配は当該曲線道路の水平曲率に対応して変化するように設定されているという道路構造を考慮したモデリングを行って、多車線道路の道路形状モデルを生成する
ことを特徴とする請求の範囲第１項記載の移動体ナビゲート情報表示方法。
【請求項５】
前記道路形状モデルのデータと前記道路形状データとを照合するにあたり、道路ルックアップテーブル（ＲＳＬ）を用いて、前記実写映像から前記景観中に含まれる道路白線の存在確率を求めてＲＳＬ値を算出し、そのＲＳＬ値による評価値が最大になるように前記姿勢データを求めることで、前記照合を行う
ことを特徴とする請求の範囲第１項記載の移動体ナビゲート情報表示方法。
【請求項６】
前記撮影された実写映像の前記決定された位置に前記読み出されたナビゲート情報を合成してなる画像を、画像表示装置の画面に表示する
ことを特徴とする請求の範囲第１項記載の移動体ナビゲート情報表示方法。
【請求項７】
前記撮影された実写映像の前記決定された位置に前記読み出されたナビゲート情報を合成してなる画像を、前記移動体の運転席前面の透明窓の内側表面に投射して表示する
ことを特徴とする請求の範囲第１項記載の移動体ナビゲート情報表示方法。
【請求項８】
前記ナビゲート情報の画像を、前記移動体の運転席前面の透明窓の内側表面に投射して表示することで、前記ナビゲート情報の画像を前記運転席前面の透明窓から見える景観に合成して表示する
ことを特徴とする請求の範囲第１項記載の移動体ナビゲート情報表示方法。
【請求項９】
前記ナビゲート情報を３次元拡張現実空間内の仮想実体として表現し、前記姿勢データに基づいて、前記２次元特徴空間に変換してなる道路形状データの中で該当する位置に割り当てることで、前記ナビゲート情報を前記実写映像に合成する
ことを特徴とする請求の範囲第１項記載の移動体ナビゲート情報表示方法。
【請求項１０】
前記ナビゲート情報が文字または記号もしくは数字の情報であるときは、その情報をアイコン化して前記撮影された実写映像に合成して表示する
ことを特徴とする請求の範囲第１項記載の移動体ナビゲート情報表示方法。
【請求項１１】
前記ナビゲート情報が、当該移動体の目的地に到着するまでの道順に関する進路案内、自車位置、自車が走行中の車線、前記進路案内または前記自車位置を当該移動体の運転者が確認するに当たっての目印となる建物のうち、少なくともいずれか一つである
ことを特徴とする請求の範囲第１項記載の移動体ナビゲート情報表示方法。
【請求項１２】
移動体の現在位置を検出する現在位置検出手段と、
前記移動体の進行方向の道路を含んだ景観を被写体とした実写映像を前記移動体に設置された車載カメラによって撮影する撮像手段と、
前記移動体の検出された現在位置に対応した前記移動体の運行に関するナビゲート情報を、予め道路地図データと関連付けて記憶されていたナビゲート情報の中から読み出し、前記移動体の現在位置と前記道路地図データとに基づいて、前記現在位置から撮影されることが想定される道路に関する道路形状モデルを生成し、前記実写映像から前記景観中に含まれる道路に関する画像データである道路形状データを抽出し、前記道路形状モデルのデータと前記道路形状データとを照合して、前記被写体の道路に対する前記車載カメラまたは前記移動体の姿勢データを推定し、前記姿勢データに基づいて、前記移動体の現在位置に対応して読み出されたナビゲート情報の前記撮影された実写映像における表示位置を決定し、前記撮影された実写映像の前記決定された位置に前記読み出されたナビゲート情報を合成してなる画像を表示するためのデータを出力するデータ処理手段と、
前記データ処理手段から出力されたデータに基づいて、前記撮影された実写映像の前記決定された位置に前記読み出されたナビゲート情報を合成した画像を表示する画像表示手段と
を備えたことを特徴とする移動体ナビゲート情報表示装置。
【請求項１３】
前記データ処理手段が、前記道路形状データを遠近法的な２次元特徴空間の画像データに変換すると共に前記道路形状モデルのデータを前記遠近法的な２次元特徴空間の画像データに変換し、前記２次元特徴空間で前記道路形状データと前記道路形状モデルのデータとを２次元データどうしで照合して、前記被写体の道路に対する前記車載カメラまたは前記移動体の姿勢データを推定する
ことを特徴とする請求の範囲第１２項記載の移動体ナビゲート情報表示装置。
【請求項１４】
前記データ処理手段が、前記推定された移動体の姿勢データに、移動体に付設された３次元慣性センサから取得した方位データを統合し、その統合した姿勢データに基づいて前記ナビゲート情報の表示位置を決定する
ことを特徴とする請求の範囲第１２項記載の移動体ナビゲート情報表示装置。
【請求項１５】
前記データ処理手段が、道路形状モデルを生成するにあたり、曲線道路における走行路面の片勾配は当該曲線道路の水平曲率に対応して変化するように設定されているという道路構造を考慮したモデリングを行って、多車線道路の道路形状モデルを生成する
ことを特徴とする請求の範囲第１２項記載の移動体ナビゲート情報表示装置。
【請求項１６】
前記データ処理手段が、前記道路形状モデルのデータと前記道路形状データとを照合するにあたり、道路ルックアップテーブル（ＲＳＬ）を用いて、前記実写映像から前記景観中に含まれる道路白線の存在確率を求めてＲＳＬ値を算出し、そのＲＳＬ値による評価値が最大になるように前記姿勢データを求めることで、前記照合を行う
ことを特徴とする請求の範囲第１２項記載の移動体ナビゲート情報表示装置。
【請求項１７】
前記画像表示手段は、前記撮影された実写映像の前記決定された位置に前記読み出されたナビゲート情報を合成してなる画像を所定の表示画面に表示するものである
ことを特徴とする請求の範囲第１２項記載の移動体ナビゲート情報表示装置。
【請求項１８】
前記画像表示手段は、前記撮影された実写映像の前記決定された位置に前記読み出されたナビゲート情報を合成してなる画像を、前記移動体の運転席前面の透明窓の内側表面に投射して表示するものである
ことを特徴とする請求の範囲第１２項記載の移動体ナビゲート情報表示装置。
【請求項１９】
前記データ処理手段は、前記移動体の検出された現在位置に対応した前記移動体の運行に関するナビゲート情報を、予め道路地図データと関連付けて記憶されていたナビゲート情報の中から読み出し、前記移動体の現在位置と前記道路地図データとに基づいて、前記現在位置から撮影されることが想定される道路に関する道路形状モデルを生成し、前記実写映像から前記景観中に含まれる道路の画像データである道路形状データを抽出し、前記道路形状モデルのデータと前記道路形状データとを照合して、前記被写体の道路に対する前記車載カメラまたは前記移動体の姿勢データを推定し、前記姿勢データに車両に付けられた３次元慣性センサ（ＩＮＳ）から取得した方位データを統合し、前記統合した姿勢データに基づいて、前記移動体の現在位置に対応して読み出されたナビゲート情報の前記撮影された実写映像における表示位置を決定し、前記撮影された実写映像の前記決定された位置に前記読み出されたナビゲート情報の画像を表示するためのデータを出力するものであり、
前記画像表示手段は、前記ナビゲート情報の画像を、前記移動体の運転席前面の透明窓の内側表面に投射して表示することで、前記ナビゲート情報の画像を前記運転席前面の透明窓から見える景観に合成して表示するものである
ことを特徴とする請求の範囲第１２項記載の移動体ナビゲート情報表示装置。
【請求項２０】
前記データ処理手段が、前記ナビゲート情報を３次元拡張現実空間内の仮想実体として表現し、前記姿勢データに基づいて、前記２次元特徴空間に変換してなる道路形状データの中で該当する位置に割り当てることで、前記ナビゲート情報を前記実写映像に合成する
ことを特徴とする請求の範囲第１２項記載の移動体ナビゲート情報表示装置。
【請求項２１】
前記ナビゲート情報が文字または記号もしくは数字の情報であるときは、その情報をアイコン化して前記撮影された実写映像に合成して表示する
ことを特徴とする請求の範囲第１２項記載の移動体ナビゲート情報表示装置。
【請求項２２】
前記ナビゲート情報は、当該移動体の目的地に到着するまでの道順に関する進路案内、自車位置、自車が走行中の車線、前記進路案内または前記自車位置を当該移動体の運転者が確認するに当たっての目印となる建物のうち、少なくともいずれか一つである
ことを特徴とする請求の範囲第１２項記載の移動体ナビゲート情報表示装置。
【国際公開番号】ＷＯ２００４／０４８８９５
【国際公開日】平成１６年６月１０日（２００４．６．１０）
【発行日】平成１８年３月２３日（２００６．３．２３）
【国際特許分類】
【出願番号】特願２００４−５５４９９３（Ｐ２００４−５５４９９３）
【国際出願番号】ＰＣＴ／ＪＰ２００３／０１４８１５
【国際出願日】平成１５年１１月２０日（２００３．１１．２０）
【出願人】（８０１００００５０）財団法人くまもとテクノ産業財団 (38)
【Ｆターム（参考）】
【国際公開日】平成１６年６月１０日（２００４．６．１０）
【発行日】平成１８年３月２３日（２００６．３．２３）
【国際特許分類】
【国際出願番号】ＰＣＴ／ＪＰ２００３／０１４８１５
【国際出願日】平成１５年１１月２０日（２００３．１１．２０）
【出願人】（８０１００００５０）財団法人くまもとテクノ産業財団 (38)
【Ｆターム（参考）】
[ Back to top ]