ナビゲーション装置、ナビゲーション方法、及びナビゲーション用プログラム
【課題】道路形状データの精度は現状レベルでも、経路案内オブジェクトが道路に一致するように経路案内オブジェクトを実写画像に重畳表示することができるナビゲーション装置の提供。
【解決手段】自車が進むべき進路を示す経路案内オブジェクトを画面に表示するナビゲーション装置であって、自車前方の実写画像を取得する撮像部と、実写画像の道路白線を検出する白線検出部と、道路形状を表す道路形状データを含む地図情報を格納する地図情報格納部と、道路白線に沿って経路案内オブジェクトが表示されるように、道路白線の検出結果に基づき道路形状データを補正する道路形状データ補正部と、補正された道路形状データに基づき、経路案内オブジェクトを生成する経路案内オブジェクト生成部と、生成された経路案内オブジェクトを画面に表示する表示部とを備える。
【解決手段】自車が進むべき進路を示す経路案内オブジェクトを画面に表示するナビゲーション装置であって、自車前方の実写画像を取得する撮像部と、実写画像の道路白線を検出する白線検出部と、道路形状を表す道路形状データを含む地図情報を格納する地図情報格納部と、道路白線に沿って経路案内オブジェクトが表示されるように、道路白線の検出結果に基づき道路形状データを補正する道路形状データ補正部と、補正された道路形状データに基づき、経路案内オブジェクトを生成する経路案内オブジェクト生成部と、生成された経路案内オブジェクトを画面に表示する表示部とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ナビゲーション装置、ナビゲーション方法、及びナビゲーション用プログラムに関し、より特定的には、実写画像に自車が進むべき進路を示す経路案内オブジェクトを重畳表示するナビゲーション装置、ナビゲーション方法、及びナビゲーション用プログラムに関する。
【背景技術】
【０００２】
従来、車両前方の実写画像をビデオカメラ等の撮像手段で取得し、自車が交差点等の案内点に近づくと、自車が進むべき進路を示す矢印画像を経路案内オブジェクトとして実写画像に重畳表示する車載用ナビゲーション装置が提案されている（例えば、特許文献１参照）。
【０００３】
このように実写画像に経路案内オブジェクトを重畳表示するナビゲーション装置においては、ユーザ（運転者）はフロントガラス越しに見える実風景と案内画面の対比がしやすい。このため、当該ナビゲーション装置は、運転者に対して直感的な経路誘導を行うことができる。
【０００４】
一方、車両に搭載されたカメラから車両前方の実写画像を入力し、実写画像から道路白線候補点を抽出した後、当該道路白線候補点をＨｏｕｇｈ変換することによって直線を検出し、その直線を道路白線として認識する白線検出装置が開示されている（例えば、特許文献２参照）。
【０００５】
また、道路白線の検出結果を用いて、前方車線（レーン）に追従して自車の走行を制御する車線追従装置が開示されている（例えば、特許文献３）。
【０００６】
また、道路白線の検出結果から得た車線数および自車の走行している車線情報を使用して、走行すべき車線を決定し自車の移動方向と車線位置を決定する誘導手段を有するナビゲーション装置が開示されている（例えば、特許文献４参照）。
【特許文献１】特開平７−６３５７２号公報
【特許文献２】特開昭６３−１４２４７８号公報
【特許文献３】特開２００５−３８２２５号公報
【特許文献４】特開２００４−２０５５２７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
車両前方の実写画像をビデオカメラ等の撮像手段で取得し、自車が案内点に近づくと、自車の進むべき進路を示す矢印画像を経路案内オブジェクトとして重畳表示する車載用ナビゲーション装置において、経路案内オブジェクトは、当該装置が備える地図データベースに格納された道路形状データに基づき生成される。通常、道路形状データと実際の道路形状には誤差があり、図２３に示すように正確には一致しない。一般的に、道路形状データの位置精度誤差（水平方向）は現状では数ｍ〜数１０ｍ程度であることが知られている。ここで、図２３に示す黒丸は道路形状データを構成する案内点ノード又は形状ノードであり、案内点ノード又は形状ノードはこのように離散的に管理されている。このため、経路案内オブジェクトを実写画像に重畳表示すると図２４に示すように、実際の道路に対してずれて表示されるという問題があった。このようにずれて表示されてしまうと、場所によっては運転者が誤った進路を取る可能性があり、誘導案内に支障を来たす。
【０００８】
実写画像に重畳表示される経路案内オブジェクトを実写画像の道路に沿って描画するためには、高密度且つ高精度な道路形状データが求められるが、通常、上記案内点ノード、形状ノードの配置密度は高くなく、このようなデータを作成するためには莫大なコストと労力がかかる。
【０００９】
本発明はこのような実情に鑑みてなされたもので、道路形状データの精度は現状レベルでも、経路案内オブジェクトが道路に一致するように当該経路案内オブジェクトを実写画像に重畳表示することができるナビゲーション装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明に係るナビゲーション装置は、
自車が進むべき進路を示す経路案内オブジェクトを画面に表示するナビゲーション装置であって、
自車前方の実写画像を取得する撮像部と、
上記実写画像の道路白線を検出する白線検出部と、
道路形状を表す道路形状データを含む地図情報を格納する地図情報格納部と、
上記道路白線に沿って上記経路案内オブジェクトが表示されるように、上記道路白線の検出結果に基づき上記道路形状データを補正する道路形状データ補正部と、
補正された上記道路形状データに基づき、上記経路案内オブジェクトを生成する経路案内オブジェクト生成部と、
生成された上記経路案内オブジェクトを上記画面に表示する表示部とを備えている。
【００１１】
本発明においては、
上記表示部は、上記経路案内オブジェクトを上記実写画像上に重畳表示することが好ましい。
【００１２】
本発明においては、
上記道路形状データは、複数の道路形状点の集合であり、
上記道路形状データ補正部は、上記白線検出部が検出した上記道路白線に沿って第１の道路形状ベクトルを生成し、当該道路形状ベクトルに対して上記道路形状点から垂線を下ろし、当該道路形状ベクトルと当該垂線との交点を補正後の道路形状点とすることで上記道路形状データを補正することが好ましい。
【００１３】
本発明においては、
上記道路白線の検出結果の信頼性有無を判定する信頼度判定部を備え、
上記信頼度判定部において信頼性有りと判定された場合に限り、上記道路形状補正部は上記道路形状データを補正することが好ましい。
【００１４】
本発明においては、
上記道路形状データは、複数の道路形状点の集合であり、
上記道路形状データ補正部は、
上記実写画像上に上記道路白線を検出できた領域と上記道路白線を検出できなかった領域が混在する場合に、上記道路白線を検出できた領域と上記道路白線を検出できなかった領域の境界に各上記領域でそれぞれ最も近い上記道路形状点同士を結ぶ線分と上記第１の道路形状ベクトルとがなす角度が緩やかになるように、上記道路白線を検出できなかった領域の上記道路形状データを補正することが好ましい。
【００１５】
本発明においては、
上記道路形状データ補正部は、
上記道路白線を検出できなかった領域の上記道路形状点を上記垂線と平行に移動することで上記道路形状データを補正することが好ましい。
【００１６】
本発明においては、
上記道路形状データ補正部は、
上記第１の道路形状ベクトルと、上記白線を検出できた領域内で自車位置から最遠の上記道路形状点と自車位置を結ぶことで得られる第２の道路形状ベクトルとがなす角度θを算出し、上記道路白線を検出した領域と上記道路白線を検出できなかった領域の各上記道路形状点を、上記最遠の道路形状点が上記第１の道路形状ベクトル上に位置するように上記角度θ回転させることで上記道路形状データを補正することが好ましい。
【００１７】
本発明においては、
上記角度θを記憶する角度差記憶部を備え、
上記道路形状データ補正部は、上記白線検出部が白線を検出できなかった場合には、過去に記憶した上記角度θの平均値を算出し、上記道路形状点を上記平均値分回転させることで補正することが好ましい。
【００１８】
本発明においては、
レーンチェンジ方向を指示するオブジェクトを生成するレーンチェンジオブジェクト生成部を備え、
上記表示部は、上記経路案内オブジェクト上にレーンチェンジオブジェクトを重畳表示することが好ましい。
【発明の効果】
【００１９】
本発明によれば、道路形状データを白線検出結果に基づき補正するので、格納されている道路形状データの精度は現状レベルでも、経路案内オブジェクトが道路に一致するように当該経路案内オブジェクトを実写画像に重畳表示することができるナビゲーション装置を提供することができる。
【００２０】
ただし、カメラの画像認識の認識精度には限界があり、例えば、白線が前方車両に遮られていると認識できない、白線が薄くなっていると認識しづらくなる、白線ではない所を誤検出することがある。このため、信頼度という指標に基づき、白線検出結果が信頼性有りと判断されたときのみ白線検出結果を上記補正に使用する。
【００２１】
また、画像を複数の領域に分けて白線検出処理を行うと前方の道路状況によっては、手前側は白線検出できるが、奥側は白線検出できない場合もある。このようなときでも、検出できた領域内では積極的にその検出結果に基づき道路形状データを補正する。
【００２２】
このとき、白線検出できた領域とできなかった領域の境界付近でデータ上の道路形状が歪にならないように、白線検出できなかった領域においても道路形状データを補正する。その結果、経路案内オブジェクトが領域境界付近で極端に折れ曲がったりせず、当該オブジェクトを高精度に描画できるので、視認性に優れた重畳表示を行うことができる。
【００２３】
また、自車前方にレーンが複数ある場合には、現在走行中のレーン上に経路案内オブジェクトが重畳されるため、本来レーンチェンジすべき場所であってもレーンを変えずにそのまま直進しなければならないと運転者が勘違いしてしまい、運転者がうまくレーンチェンジできない可能性がある。このようなことがないよう、本発明では経路案内オブジェクト上にレーンチェンジ方向を指示するレーンチェンジオブジェクトを重畳表示することができるので、運転者は安心である。また、レーンチェンジオブジェクトは経路案内オブジェクト上に重畳表示されるので、その他の部分に重畳表示する場合と比べて、実写画像の背景部分を隠蔽することがないので、運転者は実風景と実写画像を容易に対比することができる。
【００２４】
本発明は、取得した実写画像を画面に表示する方式のナビゲーション装置に適用できるのは勿論、取得した実写画像を画面に表示しない方式のナビゲーション装置にも適用可能である。例えば、表示部としてウィンドシールドディスプレイやヘッドアップディスプレイを使用する場合には、取得した実写画像を当該ディスプレイの画面に表示しなくて良い。実風景がディスプレイ越しに視認できるためである。
【００２５】
ウィンドシールドディスプレイやヘッドアップディスプレイを使用する場合、例えば、運転者の視点の高さに応じて予め経路案内オブジェクトの表示位置を調節しておくことにより、経路案内オブジェクトを、フロントガラス越しに見える実風景の道路に重なるように表示することができる。
【発明を実施するための最良の形態】
【００２６】
以下、本発明のナビゲーション装置について図面を参照しながら説明する。なお、各図面において、本発明に関係のない構成要素の図示は省略している。
【００２７】
（第１実施形態）
図１は、本発明の第１実施形態に係るナビゲーション装置１００の全体構成を示すブロック図である。図１に示されるように、ナビゲーション装置１００は、撮像部１０１と、測位部１０２と、地図情報格納部１０３と、入力部１０４と、制御部１０５と、経路探索部１０６と、画像処理部１０７と、信頼度判定部１０８と、道路形状補正部１０９と、経路案内オブジェクト生成部１１０と、表示合成部１１１と、表示部１１２とを備える。
【００２８】
撮像部１０１は、車両前方を撮像し、その実写画像を取得する。撮像部１０１は、例えば、デジタルカメラである。撮像部１０１は、例えば、ルームミラー背面に車両前方に向けて設置され、或いは車両天井部外側に車両前方に向けて設置される。なお、撮像部１０１は、２個以上のカメラから構成されていても良い。２個以上のカメラから構成されるときは、それらの実写画像を合成することもできる。
【００２９】
測位部１０２は、ナビゲーション装置１００が設置される車両に取り付けられ、当該車両（自車）の現在位置や速度、方位を測位するための手段である。測位部１０２は、例えば、ＧＮＳＳ（ＧＬＯＢＡＬ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）受信機、車速センサ、ジャイロ（角速度）センサ、加速度センサ等である。ＧＮＳＳ受信機は、例えば、ＧＰＳ受信機であり、複数の衛星からの電波を受信し、受信した電波を復調することで受信機の絶対位置を計測するものである。ＧＮＳＳ受信機は、搬送波位相を使用する測位方式であっても良い。なお、自車の現在位置や速度、方位の測位は、ＧＮＳＳ受信機や各種センサを単独又は複合利用して行う。測位部１０２で測位された自車位置を基に、後述する地図情報に対しマップマッチング処理を行うことができる。
【００３０】
地図情報格納部１０３は、道路や交差点に関するデータを含む地図情報を格納するものであり、例えば、ＨＤＤやＤＶＤ、フラッシュメモリである。なお、地図情報格納部１０３は、図示しない携帯電話等の図示しない通信手段によって、センター設備から地図情報を適宜ダウンロードするものであってもよい。
【００３１】
ここで、地図情報格納部１０３に格納されている地図情報について説明する。
図２及び図３は、地図情報格納部１０３に格納されている地図情報の内、本実施形態に関連する情報のレコード形式を示す図である。
【００３２】
地図情報格納部１０３には、本実施形態に関連する情報として、（Ａ）ノードデータ、（Ｂ）リンクデータ、（Ｃ）道路種別データ、（Ｄ）形状ノードデータが格納されている。
【００３３】
ノードは、交差点や合流地点など、幾方向かに道路が分岐する地点を表す。ノードデータは、ノード毎の緯度・経度等の位置情報と、当該ノードに接続する、後述するリンクの数と、リンクのＩＤとを含む。なお、ノードの位置情報は地図メッシュの四隅のいずれかを始点とする正規化座標で表現しても良い。
【００３４】
リンクは、ノードとノードを結ぶ道路を表す。リンクデータは、リンクの端点である始点ノード及び終点ノードの各ＩＤと、リンクコスト（例えば、リンクの長さであり、単位はメートルやキロメートルなど）と、リンク幅（道路幅であり、単位はメートルなど）と、道路種別と、後述する形状ノードのＩＤとを含む。ここで、リンクコストは、経路探索部１０６が経路探索を行う際のコスト計算に用いられる。
【００３５】
道路種別データは、上述したリンクの種別、すなわち道路種別を識別するためのデータである。道路種別データは、高速道や一般道といった道路の種類毎に付与される固有の値である。この道路種別データによって、経路探索部１０６は一般道優先や高速道優先といった探索条件を設定した上で経路探索を行うことができる。
【００３６】
形状ノードは、上述のリンク上に存在するノードであって、当該リンクが直線状でない場合に、その形状を表現するための曲折点を表すものである。形状ノードデータは、当該形状ノードの緯度・経度等の位置情報と、当該形状ノードが存在するリンクのＩＤとを含む。なお、形状ノードの位置情報はノードの端点を始点とする正規化座標で表現しても良い。
【００３７】
図４は、地図情報格納部１０３に格納された地図情報を基に、ノード、形状ノード、及びリンクから構成される道路ネットワークを復元した様子を示す模式図である。各ノードには２本以上のリンクが接続して別のノードと結ばれており、一部のリンク（例えばリンクＬ１００）上には当該リンクの湾曲形状を表す形状ノードが存在する。なお、リンクが直線的な道路である場合には、形状ノードは必ずしも存在しない。また、ノード間隔が小さく設定されている場合（例えば、ノード間隔が５ｍ以下）には、形状ノードは必ずしも存在しない。以下の説明では、ノードと形状ノードを総称して道路形状点と呼ぶことがある。
【００３８】
なお、このような道路ネットワークを復元可能な道路形状データだけではなく、背景データ（河川、緑地など）、施設データ（例えば、ファミリーレストランやガソリンスタンドの位置を管理する情報）なども地図情報格納部１０３に含まれるが、本実施形態ではその説明を割愛する。
【００３９】
図１に戻って、ナビゲーション装置１００の構成要素について説明する。
入力部１０４は、ユーザからの指示を入力するものである。入力部１０４は、例えば、押圧式のスイッチを複数並べたもの、タッチパネル式のもの、リモコン式のもの、あるいは利用者の声を認識してナビゲーション装置への入力情報に変換するマイクロフォン及び音声認識エンジン等である。ユーザからの指示内容としては、例えば、目的地検索、経由地設定、目的地設定、経路探索条件設定、経路探索実行、縮尺変更（拡大／縮小）、表示モードを地図モードと実写モードに切り替える指示等がある。実写モードでは、経路情報が実写画像に重畳表示される。地図モードでは、経路情報が地図上に重畳表示される。
【００４０】
制御部１０５は、ナビゲーション装置１００全体の動作を制御するものである。制御部１０５は、ＣＰＵ或いはＭＰＵと、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）とを含む。ＣＰＵ或いはＭＰＵは、ＲＯＭに格納されるプログラムを実行することによって、図１に示す各機能ブロックの動作を制御する。また、ＣＰＵ及びＭＰＵは、プログラムの実行中、ＲＡＭを作業領域として使用する。
【００４１】
経路探索部１０６は、入力部１０４から入力された目的地に関する情報と、測位部１０２から取得した自車位置情報と、地図情報格納部１０３に格納されたデータとに基づいて、目的地に至る最適経路を探索する。探索された経路にはいくつかの案内点（案内対象の交差点）が含まれる。なお、交差点が案内点であるかどうかの判定は、最適経路を構成するノードのうち、判定対象である交差点に対応するノードに進入するリンクと当該ノードから脱出するリンクとがなす角度を参照することで行われる。また、最適経路の探索はダイクストラ法、横型探索法などの公知の手法を用いることができ、最適経路データは典型的にはリンクデータ列として表現される。
【００４２】
画像処理部１０７は、撮像部１０１によって取得した実写画像から道路白線を検出する機能を有している。白線検出は、公知の手法で行うことができる。具体的には、まず撮像部１０１で取得した実写画像をメモリにストアする。ストアした画像がカラー画像である場合は、カラー画像のグレー画像化を行う。次に、ストアした画像に対してＳｏｂｅｌフィルタ等のフィルタでエッジ抽出を行い、抽出した値を２値化する。次いで、２値化した値に対してＨｏｕｇｈ変換を行い、複数の直線式を求める。次いで、類似した直線同士を一つにまとめることで得た直線を道路白線として検出する。なお、水平方向、垂直方向のエッジを除去し誤認識を防止することが望ましい。その他、特開平９−３１９８７２号公報記載の方法を用いることもできる。
【００４３】
信頼度判定部１０８は、画像処理部１０７の白線検出結果の信頼度を判定する機能を有している。具体的な信頼度判定方法は後述する。
【００４４】
道路形状補正部１０９は、信頼度判定部１０８が白線検出結果を信頼性有りと判定した場合に、その白線検出結果を基に地図情報格納部１０３が格納する道路形状データを補正する機能を有している。なお、信頼度判定部１０８が白線検出結果を信頼性無しと判定した場合は、道路形状補正部１０９は、道路形状データを補正しない。
【００４５】
経路案内オブジェクト生成部１１０は、経路探索部１０６によって探索された最適経路に該当する道路に沿った形状の経路案内オブジェクトを生成する機能を有している。経路案内オブジェクトは、一定の幅（例えば、実写画像の道路の幅）を持った矢印図形として生成される。この幅は、リンクデータのリンク幅に基づき設定することができる。なお、経路案内オブジェクトは、矢印図形に限らず、先端の三角形を除いた折れ線図形、その他の任意の図形とすることができる。経路案内オブジェクトは、長さや幅だけでなく、高さ方向の厚みを有するものであってもよい。
【００４６】
表示合成部１１１は、実写画像に案内オブジェクトを重畳し、この重畳画像を表示部１１２に表示させる機能を有している（実写モード時）。また、表示合成部１１１は、自車位置周辺の地図画像を、必要に応じて自車位置マーク、最適経路などとともに表示部１１０に表示する機能を有している（地図モード時）。地図モード時は、実写画像は表示されない。
【００４７】
表示部１１２は、実写モード時、地図モード時の双方において、道路案内画像を表示するものである。表示部１１２は、例えば、液晶ディスプレイ、ウィンドシールドディスプレイ、ヘッドアップディスプレイなどの表示デバイスである。なお、ウィンドシールドディスプレイやヘッドアップディスプレイとする場合は、取得した実写画像を当該ディスプレイに表示しなくても良い。実風景がディスプレイ越しに視認できるためである。また、運転者の視線移動を最小にすることができ安全である。
ウィンドシールドディスプレイ、ヘッドアップディスプレイを使用する場合、例えば、運転者の視点の高さに応じて予め経路案内オブジェクトの表示位置を調節しておくことにより、経路案内オブジェクトを、フロントガラス越しに見える実風景の道路に重なるように表示することができる。
【００４８】
次に本発明の実施の形態に係るナビゲーション装置１００の実写モード時の動作について図５に従って説明する。図５は、本実施形態に係るナビゲーション装置１００の動作を示すフロー図である。
【００４９】
まず、制御部１０５が、入力部１０４から目的地が設定されたか否かを判定する（ステップＳ１０１）。ステップＳ１０１において、目的地が設定されなかった場合、制御部１０５は、Ｓ１０１に処理を戻す。一方、ステップＳ１０１において、目的地が設定された場合、経路探索部１０６は、測位部１０２で取得した自車位置情報に基づいて、地図情報格納部１０３を参照し、目的地に至る最適経路を探索する（ステップＳ１０２）。目的地に至る最適経路が探索されると、制御部１０５は、道路案内を開始する（ステップＳ１０３）。
【００５０】
次いで、制御部１０５は、撮像部１０１の撮像方向、撮像範囲を定めるパラメータであるカメラ位置、カメラ姿勢（水平角、仰角）、焦点距離、及び画像サイズに基づいて、カメラの視野空間を算出する（ステップＳ１０４）。
【００５１】
図６は、カメラ視野空間とウィンドウ座標系を示す図である。制御部１０５は、三次元空間において、カメラ位置（視点Ｏ）からカメラ正面方向にｋだけ進んだ点（点Ｋ）を求め、画像サイズに相当する横ＷＤｘ、縦ＷＤｙの平面（ウィンドウＷＤ）を、視点Ｏと点Ｋを結んだベクトルに垂直になるように配置する。ここで、ウィンドウＷＤは表示部１１２の画面と縦横比が同じである。また、ウィンドウＷＤ上の点Ｋを原点とし、座標軸のＸｗ軸は右向きが正、Ｙｗ軸は上向きが正とする座標系をウィンドウ座標系と定義する。また、ｋは撮像部１０１の光学的条件（視野角、焦点距離等）とウィンドウＷＤの大きさに応じて定められ、撮像部１０１で自車前方の風景を捉えたときと、ウィンドウＷＤ内を視点Ｏから覗いたときとで同じ視野範囲になるように定められる。視点ＯとウィンドウＷＤの４隅の点とをそれぞれ結ぶ４本の直線で囲まれる四角錐状の領域が、カメラ視野空間である。
【００５２】
図５のフロー図に戻り、説明を続ける。
制御部１０５は、自車が目的地に到達したか否かを判定する（ステップＳ１０５）。ステップＳ１０５において、目的地に到達したと判定された場合、制御部１０５は、処理を終了する。一方、ステップＳ１０５において、目的地に到達していないと判定された場合、制御部１０５は、カメラ視野空間内の道路形状点を抽出する（ステップＳ１０６）。具体的には図７を用いて説明する。
【００５３】
図７は、カメラ視野空間（図７において破線で囲まれた三角形状の領域）内の道路形状点が抽出された様子を示す図であり、三次元地図空間とカメラ視野空間とを自車上方から見た図である。ここでは、経路探索部１０６が探索した最適経路のリンクデータから自車近傍の道路形状点が抽出される。図７においては、最適経路が道路Ｒ１から道路Ｒ２へ分岐するものとしており、道路Ｒ１、道路Ｒ２に対応する道路形状点が抽出されている。なお、道路形状点は、自車位置を原点、自車右方向を座標軸Ｘｌ軸、自車進行方向をＺｌ軸とするローカル座標系で抽出される。また、このときマップマッチングした経路上の自車位置を道路形状点として追加する。なお、自車位置の移動とともにカメラ視野空間内の道路形状点が順次抽出されることになる。
【００５４】
図５のフロー図に戻り、説明を続ける。
次いで、画像処理部１０７が白線検出処理を行う（Ｓ１０７）。そして、信頼度判定部１０８が白線検出結果の信頼度の判定を行う（Ｓ１０８）。信頼度の判定方法を、具体的に図８を用いて説明する。
【００５５】
図８は、信頼度判定部１０８が白線検出結果を基に信頼度を判定する処理を示す図である。白線検出処理は、時間ΔＴ毎に行われるものとする。図８に示すように、時間ΔＴ毎の白線検出処理において、自車の左右両側で白線検出できた場合は「信頼性あり」と判定する。自車の左右いずれか片側でしか白線検出できなかった場合は、２回以上連続して片側で白線検出できたときのみ「信頼性あり」と判定する。それ以外については「信頼性なし」と判定する。このように信頼度の判定を行うことで、白線の誤検出の影響を排除することができる。なお、信頼度判定部１０８の処理としては、上記の説明では画像処理の結果を利用したが、他にも任意のものを利用することができる。例えば、道路種別によって信頼度を判定しても良い。道路種別によって信頼度を判定するときは、高速道、都市高速のときだけ「信頼性あり」とし、それ以外は「信頼性なし」とする。また、地図情報格納部１０３に予め信頼度データを格納しておき、それを読込んで使用しても良い。また、図示しない通信手段から信頼度データをダウンロードとして使用することもできる。
【００５６】
図５のフロー図に戻り、説明を続ける。
道路形状補正部１０９は、白線検出結果が「信頼性あり」であるか或いは「信頼性なし」であるかに応じて、道路形状データを補正するか否かを決定する（Ｓ１０９）。「信頼性なし」の場合は、道路形状補正部１０９は道路形状データを補正せず、経路案内オブジェクト生成部１１０が補正なしの道路形状データを基に経路案内オブジェクトを生成する。一方、「信頼性あり」の場合は、まず道路形状補正部１０９は白線検出結果をウィンドウ座標系からローカル座標系へ座標変換する（Ｓ１１０）。そして、道路形状補正部１０９が道路形状データを補正し、経路案内オブジェクト生成部１１０が補正後の道路形状データを基に経路案内オブジェクトを生成する（Ｓ１１１）。道路形状データの補正方法を、具体的に図９、図１０を用いて説明する。
【００５７】
図９は、自車の左右両側の白線を検出した場合に、道路形状データを補正する様子を示す図である。
図９に示すように、まず、検出した左右両側の白線（一点鎖線で示す）の中点を通る線として道路形状ベクトル（破線で示す）を求め、道路形状点（黒丸で示す）から当該道路形状ベクトルに垂線を下ろし、当該垂線と当該道路形状ベクトルの交点を補正後の道路形状点（点々模様のある丸で示す）とする補正を行う。
【００５８】
図１０は、自車の左右いずれか片方の白線を検出した場合に、道路形状データを補正する様子を示す図である。
左側の白線（左側の一点鎖線で示す）を検出し、右側の白線（右側の一点鎖線で示す）を検出できなかったとする。この場合、左側の白線と平行に右側にも白線が存在すると仮定して、右側の白線位置を推定する。つまり、右側の白線位置を、左側の白線位置と地図情報格納部１０３に格納されたリンク幅（道路幅）とを基に推定する。そして、左側白線と仮想右側白線の中点を通る線を道路形状ベクトル（破線で示す）とする。この道路形状ベクトルに対し道路形状点から垂線を下ろし、当該垂線と当該道路形状ベクトルとの交点を補正後の道路形状点（点々模様のある丸で示す）とする補正を行う。
【００５９】
図５のフロー図に戻り、説明を続ける。
次に制御部１０５は経路案内オブジェクトの投影処理を行う（Ｓ１１３）。次いで、表示合成部１１１は、実写画像に経路案内オブジェクトを重畳させた画像を表示部１１２の画面に表示させる（Ｓ１１４）。ここで投影処理について、具体的に図１１を用いて説明する。
【００６０】
図１１は、経路案内オブジェクトの投影処理を説明する図である。図１１に示されるように、まずローカル座標系において経路案内オブジェクトを構成する各点を３次元の視線座標系（Ｘｅ，Ｙｅ，Ｚｅ）上に移す。変換式は、
（式１）
Ｘｅ＝Ｘｌ
Ｙｅ＝−ｈ
Ｚｅ＝Ｚｌ
となる。視線座標系は、原点Ｏが視点位置であり、Ｚｅ軸方向を視線方向を正、Ｙｅ軸方向を高さ方向を正、Ｘｅ軸を視線方向に対して右に９０度傾けた方向を正とする座標系である。ここで、ｈは、撮像部１０１の設置高さである。これにより、経路案内オブジェクトを視線座標系で視点より一定距離だけ下の平面内（つまり、路面上）に置くことができる。
【００６１】
そして、視線座標系上で経路案内オブジェクトを形成する各点を、さらに、Ｚｅ＝ｋの位置にＺｅ軸に対して垂直に置かれた投影面に中心投影する。計算式は、
（式２）
Ｘｗ＝ｋＸｅ／Ｚｅ
Ｙｗ＝ｋＹｅ／Ｚｅ
となる。ここで、ｋは図６の定義と同じである。これによって、視線座標系で視点からウィンドウＷＤ内を覗いた視野が撮像部１０１で実際の風景を捉える視野と等価になることから、図１２に示すように経路案内オブジェクトが精度良く表示され、実写画像上で路面や案内対象交差点に相当する位置を特定することができる。なお、上記（式１）及び（式２）は座標系の定義の仕方やカメラパラメータに応じて、最適なものを選択することができる。
【００６２】
図１２は実写画像に重畳表示される経路案内オブジェクトの様子を示す図である。
図１２に示すように、実写画像に重畳表示される経路案内オブジェクトを白線検出結果に基づき補正するので、地図の道路形状データ精度は現状レベルでも、実写画像に重畳表示される経路案内オブジェクトを道路に対して高精度に位置合わせして描画することができるナビゲーション装置を提供することができる。ただし、画像認識の認識精度は限界がある（例えば、白線が前方車両に遮られていると認識できない、白線が薄くなっていると認識しづらくなる、白線ではない所を誤検出する）ため、信頼度という指標に基づき、白線を正しく認識できたときのみ白線検出結果を使用するという工夫をしている。
【００６３】
また、上述の実施形態では、車両前方を向いたカメラで撮像された実写画像を用いる例を説明したが、予め記憶媒体に保存されている実写画像や通信によって取得した実写画像上に経路案内オブジェクトを重畳表示するようにしても構わない。
【００６４】
（実施の形態２）
次に、第２実施形態について、図面を参照し説明する。
図１３は、本発明の第２実施形態に係るナビゲーション装置２００の全体構成を示すブロック図である。図１３に示されるように、ナビゲーション装置２００は、撮像部１０１と、測位部１０２と、地図情報格納部１０３と、入力部１０４と、制御部１０５と、経路探索部１０６と、画像処理部２０７と、信頼度判定部２０８と、道路形状補正部２０９と、経路案内オブジェクト生成部１１０と、表示合成部１１１と、表示部１１２とを備える。
【００６５】
図１３に示す各ブロックの構成要素のうち、図１（第１実施形態）と同じ構成要素であるものについては同一の参照符号を付してその説明を省略する。以下、第１実施形態とは機能が異なる画像処理部２０７、信頼度判定部２０８、道路形状補正部２０９について説明する。
【００６６】
画像処理部２０７は、撮像部１０１が取得した実写画像から道路白線を検出する機能を有している。ここで、第１実施形態と異なる点は、実写画像を複数の領域に分割し、分割した領域毎に手前側から奥側へ順番に白線検出を行う点である。また、上記領域の大きさを前回の白線検出結果に応じて動的に変更し、処理負荷を低減させる機能を有している。なお、各領域における白線検出は、第１実施形態と同様の手法で行うことができる。
【００６７】
信頼度判定部２０８は、画像処理部２０７の白線検出結果の信頼度を判定する機能を有している。具体的な信頼度判定方法は後述する。
【００６８】
道路形状補正部２０９は、画像処理部２０７の白線検出結果及び信頼度判定部２０８の信頼度に応じて、地図情報格納部１０３に格納された道路形状データを補正する機能を有している。本実施形態では、第１実施形態とは異なり、画像処理を行う領域を複数設けたため、実写画像中に白線検出ができた領域とできなかった領域とが混在する場合がある。このような場合でも、領域境界付近で経路案内オブジェクトの形状が歪とならないように道路形状データを補正する機能を道路形状補正部２０９は有している。
【００６９】
次に本実施形態に係るナビゲーション装置２００の実写モード時の動作について図１４、図１５に従って説明する。図１４は、本実施形態に係るナビゲーション装置２００の動作を示すフロー図である。図１４において、図５（第１実施形態）と同じステップについては同一の参照符号を付し、その説明を省略する。
【００７０】
図５のフロー図と異なるのは、ステップＳ２０１の白線検出、信頼度判定、経路案内オブジェクト生成処理である。このステップＳ２０１の処理内容について図１５を用いて説明する。
【００７１】
図１５は、図１４におけるステップＳ２０１の処理内容の詳細を示すフロー図である。
図１５に示されるように、まず、画像処理部２０７は、全領域で白線検出と白線検出結果の信頼度判定を行ったかどうかを判断する（ステップＳ３０１）。もし、全領域で白線検出と信頼度判定が終了していない場合、ステップＳ３０１に処理を戻す。具体的に図１６を用いて説明する。
【００７２】
図１６は、画像処理部２０７と信頼度判定部２０８が、白線検出と信頼度判定を行う領域の一例を示している。図１６に示す例では、実写画像の道路部分を、まず右側と左側に分割し、さらに、手前側（画像の下側）から奥側（画像の上側）に向かって３つの領域にそれぞれ分割している。これにより、計６つの領域に分割されており、画像処理部２０７は左側の領域で左側白線を、右側の領域で右側白線を検出する。
【００７３】
奥行き方向の各領域サイズは手前側程大きいサイズとされており、領域ＷＲ１と領域ＷＬ１は自車前方０ｍ〜１６ｍの領域、領域ＷＲ２と領域ＷＬ２は自車前方１６ｍ〜５０ｍの領域、領域ＷＲ３と領域ＷＬ３は自車前方５０ｍ〜１５０ｍの領域とされている。
【００７４】
道路の消失点より奥側の画像に対しては白線検出のための領域設定をせず、白線検出と信頼度判定処理の対象から外すことで演算量を削減する。
【００７５】
なお、領域の分割数、各領域のサイズは任意に設定することができる。特に車線数に応じて、横方向の分割数を増減しても良い。
【００７６】
白線検出と信頼度判定は手前側から奥側に向かって順番に行われる。信頼度判定処理は、自車左右両側の白線検出が終わった段階で行われる。信頼度判定の対象となる領域は自車前方０ｍ〜１６ｍの領域については領域ＷＲ１と領域ＷＬ１であり、このように左右の領域をセットにして信頼度判定が行われる。なお、信頼度判定の具体的処理内容は図８に示す方法と同じである。
【００７７】
もし、左右両側で白線を検出できなかったら、その検出できなかった領域より奥側の領域では白線検出処理は実施せず、信頼度を「信頼性なし」とすることができる。これにより、演算量を削減することができる。
【００７８】
また、図１７に示すように、白線を検出できた場合は時間ΔＴ後の検出対象領域（次回
の検出対象領域）を狭め、演算量を削減することができる。図１７（ａ）は、時刻Ｔにおける検出対象領域を示しており、デフォルト状態である。時刻Ｔで白線を検出した場合、時刻Ｔ＋ΔＴでは、図１７（ｂ）に示すように、時刻Ｔで白線を検出した付近の領域に領
域サイズを絞り込む。なお、白線を検出ができなかった場合は、時間ΔＴ後の領域サイズ
をデフォルト状態に戻せばよい。
【００７９】
図１５のフロー図に戻り、説明を続ける。
ステップＳ３０２では、「信頼性あり」、「信頼性なし」の領域が混在するかどうかを判定する。「信頼性あり」、「信頼性なし」の領域が混在しない場合、ステップＳ３０３に処理を進める。ステップＳ３０３では、全ての領域で「信頼性あり」かどうかを判定する。全ての領域で「信頼性あり」の場合、ステップＳ１１０、Ｓ１１１へ処理を進める。全ての領域で「信頼性あり」ではない、すなわち、全ての領域で「信頼性なし」の場合、ステップＳ１１２に処理を進める。ここで、ステップＳ１１０、Ｓ１１１、Ｓ１１２は、図５のフロー図と同じであるため、その説明を省略する。
【００８０】
一方、「信頼性あり」、「信頼性なし」の領域が混在する場合、ステップＳ３０４に処理を進める。「信頼性あり」、「信頼性なし」の領域が混在するとは、例えば、図１６の実写画像に設けられた各領域において、領域ＷＲ１と領域ＷＬ１が「信頼性あり」、領域ＷＲ２と領域ＷＬ２が「信頼性あり」、領域ＷＲ３と領域ＷＬ３が「信頼性なし」であるような場合である。
【００８１】
ステップＳ３０４では、「信頼性あり」の領域について、検出した白線をウィンドウ座標系からローカル座標系へ座標変換する。
【００８２】
次いで、白線検出できた領域については白線検出結果に基づき道路形状データを補正し、白線検出できなかった領域については道路形状データを適切に補正し、白線検知できた領域とできなかった領域の境界部分においてデータ上の道路形状が歪とならないように補正する（ステップＳ３０５）。ここで、領域境界付近においてデータ上の道路形状が歪とならないように補正する処理内容について、図１８乃至図２１を参照しつつ説明する。
【００８３】
図１８は、視野空間内の道路形状点が白線検出できた領域とできなかった領域に分けられるときに、その領域境界付近においてデータ上の道路形状が歪とならないように道路形状データが補正される様子を示す図である。なお、図１８は各道路形状点を上記のローカル座標系で示している。
【００８４】
図１８において、Ｎ１〜Ｎ５は地図の道路形状点を示している。Ｌ１は自車位置と道路形状点Ｎ１を接続する線（リンク）であり、Ｌ２は道路形状点Ｎ１と道路形状点Ｎ２を接続する線（リンク）であり、Ｌ３は道路形状点Ｎ２と道路形状点Ｎ３を接続する線（リンク）であり、Ｌ４は道路形状点Ｎ３と道路形状点Ｎ４を接続する線（リンク）であり、Ｌ５は道路形状点Ｎ４と道路形状点Ｎ５を接続する線（リンク）である。リンクＬ４は、白線検出できた領域内のＬ４１と白線検出できなかった領域内のＬ４２とに分けて示されている。Ｖ１は白線検出結果に基づいて作成された道路形状ベクトル（第１の道路形状ベクトル）である。
【００８５】
図１８に示されるように、白線検出できた領域内では、道路形状点から道路形状ベクトルＶ１へ垂線を下ろし、当該垂線と当該道路形状ベクトルの交点を補正後の道路形状点とする補正をする。Ｃ１〜Ｃ３は、補正後の道路形状点を示している。
【００８６】
一方、白線検出できなかった領域で道路形状データを保持した場合、補正後の道路形状点Ｃ３と補正しない道路形状点Ｎ４を繋ぐ直線は、データ上の道路形状を歪にする。ここで、「道路形状を歪にする」とは、白線検知できた領域と白線検知できなかった領域の境界付近で道路形状が急激に折れ曲がった状態にすることを指す。その結果、生成される経路案内オブジェクトも途中で歪に折れ曲がった状態となり、当該オブジェクトの視認性が悪くなる。なお、「道路形状が歪になる」とは、自車進行方位（図では上向き）に対して道路形状点Ｎ３と道路形状点Ｎ４を結ぶベクトルがなす角度と、自車進行方位に対して道路形状点Ｃ３と道路形状点Ｎ４を結ぶベクトルの角度を比べたとき、後者が大きくなる現象と表現することもできる。
【００８７】
そこで、図１８に示すように、領域境界付近で道路形状が歪とならないように、白線検出できなかった領域内の道路形状点Ｎ４，Ｎ５及びリンクＬ４２，Ｌ５を、道路形状点Ｎ３がＣ３に移動する向きと同じ向きに移動させる。つまり、移動する方向は、自車の進行方位すなわち道路形状ベクトルＶ１に対して垂直な方向であり、白線検知できた領域と白線検知できなかった領域の境界付近での道路形状の折れ曲がり角度が小さくなる方向である。なお、リンクＬ４２の下端部が、道路形状ベクトルＶ１の上端部と一致するように道路形状点Ｎ４，Ｎ５及びリンクＬ４２，Ｌ５を移動させる。これにより、道路白線を検出できた領域と道路白線を検出できなかった領域の境界に各領域でそれぞれ最も近い補正後の道路形状点（図１８では、Ｃ３とＣ４）同士を結ぶ線分と道路形状ベクトルＶ１とがなす角度が緩やかになる。よって、領域境界付近で道路形状が急激な角度で折れ曲がってしまうことを抑制し、経路案内オブジェクトの形状を滑らかな形状にしてその視認性を向上させることができる。
【００８８】
図１９は、視野空間内の道路形状点が白線検出できた領域とできなかった領域に分けられる場合に、その領域境界付近でデータ上の道路形状が歪にならないよう道路形状データを補正する他の例を示す図である。なお、図１９は各道路形状点をローカル座標系で示している。
【００８９】
図１９に示される例は、図１８に示される例に比べて、白線検出できなかった領域の道路形状点Ｎ４，Ｎ５の移動量が異なる。
【００９０】
図１９においては、まず、白線検出できなかった領域内の最も自車位置に近い道路形状点Ｎ４から、道路形状ベクトルＶ１を延長した線（道路形状ベクトルＶ１の先に点線で示す）に対して垂線を下ろし、当該垂線と当該延長線との交点を求め、その交点を補正後の道路形状点Ｃ６とする。つまり、当該交点まで道路形状点を移動する。次いで、Ｎ４からＣ６へ移動したのと同じ量だけ、Ｎ４以降の道路形状点（図示例ではＮ５）をＮ４と同じ方向へ移動させる。これによって、Ｎ５がＣ７へ移動する。図１９に示すように、補正後の道路形状点Ｃ６は、道路形状ベクトルＶ１の延長線上にある。これにより、領域境界付近で道路形状が急激な角度で折れ曲がってしまうことを抑制し、経路案内オブジェクトの形状を滑らかな形状にしてその視認性を向上させることができる。
【００９１】
図１８、図１９に示した移動方法以外にも、道路形状点を回転移動することで道路形状が歪になるのを抑制することができる。図２０、図２１を用いて詳細に説明する。
【００９２】
図２０は、白線検出結果に基づき作成した道路形状ベクトルと、道路形状データを基に作成した道路形状ベクトルの角度差θを示す図である。なお、図２０は各道路形状点をローカル座標系で示している。
【００９３】
図２０において、Ｎ１０〜Ｎ１４は地図の道路形状点である。Ｖ３は白線検出結果に基づき作成した道路形状ベクトル（第１の道路形状ベクトル）であり、Ｖ４は白線検知できた領域内で自車位置から最遠にある道路形状点と自車位置とを結ぶ、地図の道路形状ベクトル（第２の道路形状ベクトル）である。角度θは、道路形状ベクトルＶ３と道路形状ベクトルＶ４間の角度である。
【００９４】
このような状態において、図２１に示すように地図の道路形状点Ｎ１０〜Ｎ１４を角度θ分回転させることにより、Ｎ１２を道路形状ベクトルＶ３上に移動させる。そして、角度θ回転後の道路形状点（白線検出できた領域内のみ）から道路形状ベクトルＶ３に対して垂線を下ろし、当該垂線と当該道路形状ベクトルＶ３の交点を補正後の道路形状点とする補正を行う。補正後の道路形状点が、Ｃ１０〜Ｃ１２である。白線検出できなかった領域内の道路形状点については、角度θ回転後の位置を補正後の位置とする。その結果得られる道路形状点がＣ１３，Ｃ１４である。これにより、領域境界付近で道路形状が急激な角度で折れ曲がってしまうことを抑制し、経路案内オブジェクトの形状を滑らかな形状にしてその視認性を向上させることができる。
【００９５】
なお、上記以外の方法であっても、領域境界付近で道路形状が歪とならない方法であれば、どのような方法で道路形状を補正してもよい。
【００９６】
以上の説明から、実写画像を複数の領域に分けて画像認識すると前方の道路状況によっては、手前側は白線を認識できているが、奥側は白線を認識できていない場合がある。このような場合でも、白線検出できた領域内では積極的に白線検出結果に基づき道路形状データを補正する。また、白線検出できた領域とできなかった領域の境界付近で道路形状が歪にならないように、白線検出できなかった領域内の道路形状データも補正することにより、経路案内オブジェクトが領域境界付近で極端に折れ曲がったりしないので、視認性に優れた経路案内オブジェクト表示をすることができる。
【００９７】
なお、上記第１実施形態、第２実施形態においては、以下のような変更をすることもできる。
例えば、白線検出できなかった場合の案内オブジェクト生成（例えば、図５、図１５のフロー図におけるステップＳ１１２）において、それ以前に一旦白線検出できていたときは、以下のように道路形状ベクトル生成を行ってもよい。すなわち、図２０における角度θと同様の手法で算出した角度の平均値を記憶しておき、白線検出できなかったときに道路形状点を当該平均値分回転させ、白線検知できた領域については更に図２１に示したように道路形状点を移動させることで道路形状データの補正を行い、その補正後の道路形状データを用いて経路案内オブジェクトを生成するようにしても良い。これにより、カメラの取り付け誤差等によるオフセット誤差（一定方位の誤差）の影響を無くすことができる。自車方位をリンク方位とする場合に特に顕著な効果がある。
【００９８】
また、白線検出できた場合、その後同じ箇所を走行するときは白線検出処理を省略し、前回の補正後の道路形状点を呼び出すようにしても良い。
【００９９】
また、自車の他、他車にもナビゲーション装置１００或いは２００を搭載している場合においては、他車が白線検出できなかった場所に関する情報を自車が通信手段（図示せず）を介して受信し、同じ場所を走行するときは自車において白線検出処理を省略することもできる。この場合、演算量を削減することができる。
【０１００】
また、自車前方に複数レーンがあるとき、白線検出を行って道路形状を補正した結果、現在走行中のレーン上に経路案内オブジェクトが重畳表示されてしまうため、本来レーンチェンジすべき場所であるのにレーンチェンジせずにそのまま走行しなければならないと運転手が勘違いしてしまう可能性がある。
【０１０１】
このようなときには、ナビゲーション装置１００又は２００に設けたレーンチェンジオブジェクト生成部（図示せず）がレーンチェンジオブジェクトを生成し、図２２に示すように経路案内オブジェクト上にレーンチェンジオブジェクトを重畳することができる。
【０１０２】
図２２は、経路案内オブジェクト上にレーンチェンジ方向を示すレーンチェンジオブジェクトを重畳表示した様子を示す図である。
図２２に示すように、経路案内オブジェクト上にレーンチェンジ方向を指示するオブジェクトが重畳される。このため、運転者は本来レーンチェンジすべき場所で的確にレーンチェンジ方向が分かるので、運転者は安心である。また、レーンチェンジオブジェクトは経路案内オブジェクト上に重畳表示されるので、その他の部分に重畳する場合と比べて、背景の実風景を隠蔽することがなく、また、レーンチェンジオブジェクトの視認性に優れている。
【０１０３】
上述の各実施形態では、車両前方を向いたカメラで取得した実写画像を用いる例を説明したが、予め記憶媒体に保存されている実写画像や通信によって取得した実写画像上に経路案内オブジェクトを重畳表示しても構わない。
【０１０４】
上述の各実施形態の構成は、単に具体例を示すものであり、本願発明の技術的範囲を制限するものではない。本願の技術的範囲内において、任意の構成を採用することが可能である。
【産業上の利用可能性】
【０１０５】
本発明のナビゲーション装置は、車両に設置されるカーナビゲーション装置等として有用である。また、携帯電話におけるナビゲーション装置等としても有用である。
【図面の簡単な説明】
【０１０６】
【図１】本発明の第１実施形態に係るナビゲーション装置の全体構成を示すブロック図
【図２】第１実施形態において、地図データベースに記憶されている情報の一例を示す図
【図３】第１実施形態において、地図データベースに記憶されている情報の一例を示す図
【図４】第１実施形態において、地図データベースに記憶されているノードデータ、形状ノードデータ、及びリンクデータに基づき作成された道路ネットワークの一例を示す図
【図５】第１実施形態に係るナビゲーション装置の動作を示すフロー図
【図６】第１実施形態におけるカメラ視野空間とウィンドウ座標系を示す図
【図７】第１実施形態において、カメラ視野空間内の道路形状点が抽出された様子を示す図
【図８】第１実施形態において、信頼度判定部が白線検出結果を基に信頼度を判定する処理を示す図
【図９】第１実施形態において、自車左右両側の白線を検出したときに道路形状データを補正する様子を示す図
【図１０】第１実施形態において、自車左右いずれか片側の白線を検出したときに道路形状データを補正する様子を示す図
【図１１】第１実施形態において、経路案内オブジェクトの投影処理を説明する図
【図１２】第１実施形態において、実写画像に経路案内オブジェクトを重畳表示した状態を示す図
【図１３】本発明の第２実施形態に係るナビゲーション装置の全体構成を示すブロック図
【図１４】第２実施形態に係るナビゲーション装置の動作を示すフロー図
【図１５】第２実施形態に係るナビゲーション装置の動作を示すフロー図
【図１６】第２実施形態において、実写画像における白線検出と信頼度判定を行う領域を分割した様子を示す図
【図１７】第２実施形態において、白線検出する領域を絞り込む様子を示す図
【図１８】第２実施形態において、視野空間内の道路形状点が白線検出できた領域とできなかった領域に分けられるときに、その領域境界付近で道路形状が歪にならないように道路形状データを補正する様子の第１例を示す図
【図１９】第２実施形態において、視野空間内の道路形状点が白線検出できた領域とできなかった領域に分けられるときに、その領域境界付近で道路形状が歪にならないように道路形状データを補正する様子の第２例を示す図
【図２０】第２実施形態において、視野空間内の道路形状点が白線検出できた領域とできなかった領域に分けられるときに、その領域境界付近で道路形状が歪にならないように道路形状データを補正する様子の第３例を示す図
【図２１】第２実施形態において、視野空間内の道路形状点が白線検出できた領域とできなかった領域に分けられるときに、その領域境界付近で道路形状が歪にならないように道路形状データを補正する様子の第３例を示す図
【図２２】第１実施形態又は第２実施形態において、経路案内オブジェクト上にレーンチェンジオブジェクトを重畳表示した状態を示す図
【図２３】地図データ上の道路形状と実際の道路形状がずれている様子を示す図
【図２４】従来技術として、実写画像に経路案内オブジェクトを重畳表示した状態を示す図
【符号の説明】
【０１０７】
１００ ナビゲーション装置
１０１ 撮像部
１０２ 測位部
１０３ 地図情報格納部
１０４ 入力部
１０５ 制御部
１０６ 経路探索部
１０７ 画像処理部
１０８ 信頼度判定部
１０９ 道路形状補正部
１１０ 経路案内オブジェクト生成部
１１１ 表示合成部
１１２ 表示部
【技術分野】
【０００１】
本発明は、ナビゲーション装置、ナビゲーション方法、及びナビゲーション用プログラムに関し、より特定的には、実写画像に自車が進むべき進路を示す経路案内オブジェクトを重畳表示するナビゲーション装置、ナビゲーション方法、及びナビゲーション用プログラムに関する。
【背景技術】
【０００２】
従来、車両前方の実写画像をビデオカメラ等の撮像手段で取得し、自車が交差点等の案内点に近づくと、自車が進むべき進路を示す矢印画像を経路案内オブジェクトとして実写画像に重畳表示する車載用ナビゲーション装置が提案されている（例えば、特許文献１参照）。
【０００３】
このように実写画像に経路案内オブジェクトを重畳表示するナビゲーション装置においては、ユーザ（運転者）はフロントガラス越しに見える実風景と案内画面の対比がしやすい。このため、当該ナビゲーション装置は、運転者に対して直感的な経路誘導を行うことができる。
【０００４】
一方、車両に搭載されたカメラから車両前方の実写画像を入力し、実写画像から道路白線候補点を抽出した後、当該道路白線候補点をＨｏｕｇｈ変換することによって直線を検出し、その直線を道路白線として認識する白線検出装置が開示されている（例えば、特許文献２参照）。
【０００５】
また、道路白線の検出結果を用いて、前方車線（レーン）に追従して自車の走行を制御する車線追従装置が開示されている（例えば、特許文献３）。
【０００６】
また、道路白線の検出結果から得た車線数および自車の走行している車線情報を使用して、走行すべき車線を決定し自車の移動方向と車線位置を決定する誘導手段を有するナビゲーション装置が開示されている（例えば、特許文献４参照）。
【特許文献１】特開平７−６３５７２号公報
【特許文献２】特開昭６３−１４２４７８号公報
【特許文献３】特開２００５−３８２２５号公報
【特許文献４】特開２００４−２０５５２７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
車両前方の実写画像をビデオカメラ等の撮像手段で取得し、自車が案内点に近づくと、自車の進むべき進路を示す矢印画像を経路案内オブジェクトとして重畳表示する車載用ナビゲーション装置において、経路案内オブジェクトは、当該装置が備える地図データベースに格納された道路形状データに基づき生成される。通常、道路形状データと実際の道路形状には誤差があり、図２３に示すように正確には一致しない。一般的に、道路形状データの位置精度誤差（水平方向）は現状では数ｍ〜数１０ｍ程度であることが知られている。ここで、図２３に示す黒丸は道路形状データを構成する案内点ノード又は形状ノードであり、案内点ノード又は形状ノードはこのように離散的に管理されている。このため、経路案内オブジェクトを実写画像に重畳表示すると図２４に示すように、実際の道路に対してずれて表示されるという問題があった。このようにずれて表示されてしまうと、場所によっては運転者が誤った進路を取る可能性があり、誘導案内に支障を来たす。
【０００８】
実写画像に重畳表示される経路案内オブジェクトを実写画像の道路に沿って描画するためには、高密度且つ高精度な道路形状データが求められるが、通常、上記案内点ノード、形状ノードの配置密度は高くなく、このようなデータを作成するためには莫大なコストと労力がかかる。
【０００９】
本発明はこのような実情に鑑みてなされたもので、道路形状データの精度は現状レベルでも、経路案内オブジェクトが道路に一致するように当該経路案内オブジェクトを実写画像に重畳表示することができるナビゲーション装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明に係るナビゲーション装置は、
自車が進むべき進路を示す経路案内オブジェクトを画面に表示するナビゲーション装置であって、
自車前方の実写画像を取得する撮像部と、
上記実写画像の道路白線を検出する白線検出部と、
道路形状を表す道路形状データを含む地図情報を格納する地図情報格納部と、
上記道路白線に沿って上記経路案内オブジェクトが表示されるように、上記道路白線の検出結果に基づき上記道路形状データを補正する道路形状データ補正部と、
補正された上記道路形状データに基づき、上記経路案内オブジェクトを生成する経路案内オブジェクト生成部と、
生成された上記経路案内オブジェクトを上記画面に表示する表示部とを備えている。
【００１１】
本発明においては、
上記表示部は、上記経路案内オブジェクトを上記実写画像上に重畳表示することが好ましい。
【００１２】
本発明においては、
上記道路形状データは、複数の道路形状点の集合であり、
上記道路形状データ補正部は、上記白線検出部が検出した上記道路白線に沿って第１の道路形状ベクトルを生成し、当該道路形状ベクトルに対して上記道路形状点から垂線を下ろし、当該道路形状ベクトルと当該垂線との交点を補正後の道路形状点とすることで上記道路形状データを補正することが好ましい。
【００１３】
本発明においては、
上記道路白線の検出結果の信頼性有無を判定する信頼度判定部を備え、
上記信頼度判定部において信頼性有りと判定された場合に限り、上記道路形状補正部は上記道路形状データを補正することが好ましい。
【００１４】
本発明においては、
上記道路形状データは、複数の道路形状点の集合であり、
上記道路形状データ補正部は、
上記実写画像上に上記道路白線を検出できた領域と上記道路白線を検出できなかった領域が混在する場合に、上記道路白線を検出できた領域と上記道路白線を検出できなかった領域の境界に各上記領域でそれぞれ最も近い上記道路形状点同士を結ぶ線分と上記第１の道路形状ベクトルとがなす角度が緩やかになるように、上記道路白線を検出できなかった領域の上記道路形状データを補正することが好ましい。
【００１５】
本発明においては、
上記道路形状データ補正部は、
上記道路白線を検出できなかった領域の上記道路形状点を上記垂線と平行に移動することで上記道路形状データを補正することが好ましい。
【００１６】
本発明においては、
上記道路形状データ補正部は、
上記第１の道路形状ベクトルと、上記白線を検出できた領域内で自車位置から最遠の上記道路形状点と自車位置を結ぶことで得られる第２の道路形状ベクトルとがなす角度θを算出し、上記道路白線を検出した領域と上記道路白線を検出できなかった領域の各上記道路形状点を、上記最遠の道路形状点が上記第１の道路形状ベクトル上に位置するように上記角度θ回転させることで上記道路形状データを補正することが好ましい。
【００１７】
本発明においては、
上記角度θを記憶する角度差記憶部を備え、
上記道路形状データ補正部は、上記白線検出部が白線を検出できなかった場合には、過去に記憶した上記角度θの平均値を算出し、上記道路形状点を上記平均値分回転させることで補正することが好ましい。
【００１８】
本発明においては、
レーンチェンジ方向を指示するオブジェクトを生成するレーンチェンジオブジェクト生成部を備え、
上記表示部は、上記経路案内オブジェクト上にレーンチェンジオブジェクトを重畳表示することが好ましい。
【発明の効果】
【００１９】
本発明によれば、道路形状データを白線検出結果に基づき補正するので、格納されている道路形状データの精度は現状レベルでも、経路案内オブジェクトが道路に一致するように当該経路案内オブジェクトを実写画像に重畳表示することができるナビゲーション装置を提供することができる。
【００２０】
ただし、カメラの画像認識の認識精度には限界があり、例えば、白線が前方車両に遮られていると認識できない、白線が薄くなっていると認識しづらくなる、白線ではない所を誤検出することがある。このため、信頼度という指標に基づき、白線検出結果が信頼性有りと判断されたときのみ白線検出結果を上記補正に使用する。
【００２１】
また、画像を複数の領域に分けて白線検出処理を行うと前方の道路状況によっては、手前側は白線検出できるが、奥側は白線検出できない場合もある。このようなときでも、検出できた領域内では積極的にその検出結果に基づき道路形状データを補正する。
【００２２】
このとき、白線検出できた領域とできなかった領域の境界付近でデータ上の道路形状が歪にならないように、白線検出できなかった領域においても道路形状データを補正する。その結果、経路案内オブジェクトが領域境界付近で極端に折れ曲がったりせず、当該オブジェクトを高精度に描画できるので、視認性に優れた重畳表示を行うことができる。
【００２３】
また、自車前方にレーンが複数ある場合には、現在走行中のレーン上に経路案内オブジェクトが重畳されるため、本来レーンチェンジすべき場所であってもレーンを変えずにそのまま直進しなければならないと運転者が勘違いしてしまい、運転者がうまくレーンチェンジできない可能性がある。このようなことがないよう、本発明では経路案内オブジェクト上にレーンチェンジ方向を指示するレーンチェンジオブジェクトを重畳表示することができるので、運転者は安心である。また、レーンチェンジオブジェクトは経路案内オブジェクト上に重畳表示されるので、その他の部分に重畳表示する場合と比べて、実写画像の背景部分を隠蔽することがないので、運転者は実風景と実写画像を容易に対比することができる。
【００２４】
本発明は、取得した実写画像を画面に表示する方式のナビゲーション装置に適用できるのは勿論、取得した実写画像を画面に表示しない方式のナビゲーション装置にも適用可能である。例えば、表示部としてウィンドシールドディスプレイやヘッドアップディスプレイを使用する場合には、取得した実写画像を当該ディスプレイの画面に表示しなくて良い。実風景がディスプレイ越しに視認できるためである。
【００２５】
ウィンドシールドディスプレイやヘッドアップディスプレイを使用する場合、例えば、運転者の視点の高さに応じて予め経路案内オブジェクトの表示位置を調節しておくことにより、経路案内オブジェクトを、フロントガラス越しに見える実風景の道路に重なるように表示することができる。
【発明を実施するための最良の形態】
【００２６】
以下、本発明のナビゲーション装置について図面を参照しながら説明する。なお、各図面において、本発明に関係のない構成要素の図示は省略している。
【００２７】
（第１実施形態）
図１は、本発明の第１実施形態に係るナビゲーション装置１００の全体構成を示すブロック図である。図１に示されるように、ナビゲーション装置１００は、撮像部１０１と、測位部１０２と、地図情報格納部１０３と、入力部１０４と、制御部１０５と、経路探索部１０６と、画像処理部１０７と、信頼度判定部１０８と、道路形状補正部１０９と、経路案内オブジェクト生成部１１０と、表示合成部１１１と、表示部１１２とを備える。
【００２８】
撮像部１０１は、車両前方を撮像し、その実写画像を取得する。撮像部１０１は、例えば、デジタルカメラである。撮像部１０１は、例えば、ルームミラー背面に車両前方に向けて設置され、或いは車両天井部外側に車両前方に向けて設置される。なお、撮像部１０１は、２個以上のカメラから構成されていても良い。２個以上のカメラから構成されるときは、それらの実写画像を合成することもできる。
【００２９】
測位部１０２は、ナビゲーション装置１００が設置される車両に取り付けられ、当該車両（自車）の現在位置や速度、方位を測位するための手段である。測位部１０２は、例えば、ＧＮＳＳ（ＧＬＯＢＡＬ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）受信機、車速センサ、ジャイロ（角速度）センサ、加速度センサ等である。ＧＮＳＳ受信機は、例えば、ＧＰＳ受信機であり、複数の衛星からの電波を受信し、受信した電波を復調することで受信機の絶対位置を計測するものである。ＧＮＳＳ受信機は、搬送波位相を使用する測位方式であっても良い。なお、自車の現在位置や速度、方位の測位は、ＧＮＳＳ受信機や各種センサを単独又は複合利用して行う。測位部１０２で測位された自車位置を基に、後述する地図情報に対しマップマッチング処理を行うことができる。
【００３０】
地図情報格納部１０３は、道路や交差点に関するデータを含む地図情報を格納するものであり、例えば、ＨＤＤやＤＶＤ、フラッシュメモリである。なお、地図情報格納部１０３は、図示しない携帯電話等の図示しない通信手段によって、センター設備から地図情報を適宜ダウンロードするものであってもよい。
【００３１】
ここで、地図情報格納部１０３に格納されている地図情報について説明する。
図２及び図３は、地図情報格納部１０３に格納されている地図情報の内、本実施形態に関連する情報のレコード形式を示す図である。
【００３２】
地図情報格納部１０３には、本実施形態に関連する情報として、（Ａ）ノードデータ、（Ｂ）リンクデータ、（Ｃ）道路種別データ、（Ｄ）形状ノードデータが格納されている。
【００３３】
ノードは、交差点や合流地点など、幾方向かに道路が分岐する地点を表す。ノードデータは、ノード毎の緯度・経度等の位置情報と、当該ノードに接続する、後述するリンクの数と、リンクのＩＤとを含む。なお、ノードの位置情報は地図メッシュの四隅のいずれかを始点とする正規化座標で表現しても良い。
【００３４】
リンクは、ノードとノードを結ぶ道路を表す。リンクデータは、リンクの端点である始点ノード及び終点ノードの各ＩＤと、リンクコスト（例えば、リンクの長さであり、単位はメートルやキロメートルなど）と、リンク幅（道路幅であり、単位はメートルなど）と、道路種別と、後述する形状ノードのＩＤとを含む。ここで、リンクコストは、経路探索部１０６が経路探索を行う際のコスト計算に用いられる。
【００３５】
道路種別データは、上述したリンクの種別、すなわち道路種別を識別するためのデータである。道路種別データは、高速道や一般道といった道路の種類毎に付与される固有の値である。この道路種別データによって、経路探索部１０６は一般道優先や高速道優先といった探索条件を設定した上で経路探索を行うことができる。
【００３６】
形状ノードは、上述のリンク上に存在するノードであって、当該リンクが直線状でない場合に、その形状を表現するための曲折点を表すものである。形状ノードデータは、当該形状ノードの緯度・経度等の位置情報と、当該形状ノードが存在するリンクのＩＤとを含む。なお、形状ノードの位置情報はノードの端点を始点とする正規化座標で表現しても良い。
【００３７】
図４は、地図情報格納部１０３に格納された地図情報を基に、ノード、形状ノード、及びリンクから構成される道路ネットワークを復元した様子を示す模式図である。各ノードには２本以上のリンクが接続して別のノードと結ばれており、一部のリンク（例えばリンクＬ１００）上には当該リンクの湾曲形状を表す形状ノードが存在する。なお、リンクが直線的な道路である場合には、形状ノードは必ずしも存在しない。また、ノード間隔が小さく設定されている場合（例えば、ノード間隔が５ｍ以下）には、形状ノードは必ずしも存在しない。以下の説明では、ノードと形状ノードを総称して道路形状点と呼ぶことがある。
【００３８】
なお、このような道路ネットワークを復元可能な道路形状データだけではなく、背景データ（河川、緑地など）、施設データ（例えば、ファミリーレストランやガソリンスタンドの位置を管理する情報）なども地図情報格納部１０３に含まれるが、本実施形態ではその説明を割愛する。
【００３９】
図１に戻って、ナビゲーション装置１００の構成要素について説明する。
入力部１０４は、ユーザからの指示を入力するものである。入力部１０４は、例えば、押圧式のスイッチを複数並べたもの、タッチパネル式のもの、リモコン式のもの、あるいは利用者の声を認識してナビゲーション装置への入力情報に変換するマイクロフォン及び音声認識エンジン等である。ユーザからの指示内容としては、例えば、目的地検索、経由地設定、目的地設定、経路探索条件設定、経路探索実行、縮尺変更（拡大／縮小）、表示モードを地図モードと実写モードに切り替える指示等がある。実写モードでは、経路情報が実写画像に重畳表示される。地図モードでは、経路情報が地図上に重畳表示される。
【００４０】
制御部１０５は、ナビゲーション装置１００全体の動作を制御するものである。制御部１０５は、ＣＰＵ或いはＭＰＵと、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）とを含む。ＣＰＵ或いはＭＰＵは、ＲＯＭに格納されるプログラムを実行することによって、図１に示す各機能ブロックの動作を制御する。また、ＣＰＵ及びＭＰＵは、プログラムの実行中、ＲＡＭを作業領域として使用する。
【００４１】
経路探索部１０６は、入力部１０４から入力された目的地に関する情報と、測位部１０２から取得した自車位置情報と、地図情報格納部１０３に格納されたデータとに基づいて、目的地に至る最適経路を探索する。探索された経路にはいくつかの案内点（案内対象の交差点）が含まれる。なお、交差点が案内点であるかどうかの判定は、最適経路を構成するノードのうち、判定対象である交差点に対応するノードに進入するリンクと当該ノードから脱出するリンクとがなす角度を参照することで行われる。また、最適経路の探索はダイクストラ法、横型探索法などの公知の手法を用いることができ、最適経路データは典型的にはリンクデータ列として表現される。
【００４２】
画像処理部１０７は、撮像部１０１によって取得した実写画像から道路白線を検出する機能を有している。白線検出は、公知の手法で行うことができる。具体的には、まず撮像部１０１で取得した実写画像をメモリにストアする。ストアした画像がカラー画像である場合は、カラー画像のグレー画像化を行う。次に、ストアした画像に対してＳｏｂｅｌフィルタ等のフィルタでエッジ抽出を行い、抽出した値を２値化する。次いで、２値化した値に対してＨｏｕｇｈ変換を行い、複数の直線式を求める。次いで、類似した直線同士を一つにまとめることで得た直線を道路白線として検出する。なお、水平方向、垂直方向のエッジを除去し誤認識を防止することが望ましい。その他、特開平９−３１９８７２号公報記載の方法を用いることもできる。
【００４３】
信頼度判定部１０８は、画像処理部１０７の白線検出結果の信頼度を判定する機能を有している。具体的な信頼度判定方法は後述する。
【００４４】
道路形状補正部１０９は、信頼度判定部１０８が白線検出結果を信頼性有りと判定した場合に、その白線検出結果を基に地図情報格納部１０３が格納する道路形状データを補正する機能を有している。なお、信頼度判定部１０８が白線検出結果を信頼性無しと判定した場合は、道路形状補正部１０９は、道路形状データを補正しない。
【００４５】
経路案内オブジェクト生成部１１０は、経路探索部１０６によって探索された最適経路に該当する道路に沿った形状の経路案内オブジェクトを生成する機能を有している。経路案内オブジェクトは、一定の幅（例えば、実写画像の道路の幅）を持った矢印図形として生成される。この幅は、リンクデータのリンク幅に基づき設定することができる。なお、経路案内オブジェクトは、矢印図形に限らず、先端の三角形を除いた折れ線図形、その他の任意の図形とすることができる。経路案内オブジェクトは、長さや幅だけでなく、高さ方向の厚みを有するものであってもよい。
【００４６】
表示合成部１１１は、実写画像に案内オブジェクトを重畳し、この重畳画像を表示部１１２に表示させる機能を有している（実写モード時）。また、表示合成部１１１は、自車位置周辺の地図画像を、必要に応じて自車位置マーク、最適経路などとともに表示部１１０に表示する機能を有している（地図モード時）。地図モード時は、実写画像は表示されない。
【００４７】
表示部１１２は、実写モード時、地図モード時の双方において、道路案内画像を表示するものである。表示部１１２は、例えば、液晶ディスプレイ、ウィンドシールドディスプレイ、ヘッドアップディスプレイなどの表示デバイスである。なお、ウィンドシールドディスプレイやヘッドアップディスプレイとする場合は、取得した実写画像を当該ディスプレイに表示しなくても良い。実風景がディスプレイ越しに視認できるためである。また、運転者の視線移動を最小にすることができ安全である。
ウィンドシールドディスプレイ、ヘッドアップディスプレイを使用する場合、例えば、運転者の視点の高さに応じて予め経路案内オブジェクトの表示位置を調節しておくことにより、経路案内オブジェクトを、フロントガラス越しに見える実風景の道路に重なるように表示することができる。
【００４８】
次に本発明の実施の形態に係るナビゲーション装置１００の実写モード時の動作について図５に従って説明する。図５は、本実施形態に係るナビゲーション装置１００の動作を示すフロー図である。
【００４９】
まず、制御部１０５が、入力部１０４から目的地が設定されたか否かを判定する（ステップＳ１０１）。ステップＳ１０１において、目的地が設定されなかった場合、制御部１０５は、Ｓ１０１に処理を戻す。一方、ステップＳ１０１において、目的地が設定された場合、経路探索部１０６は、測位部１０２で取得した自車位置情報に基づいて、地図情報格納部１０３を参照し、目的地に至る最適経路を探索する（ステップＳ１０２）。目的地に至る最適経路が探索されると、制御部１０５は、道路案内を開始する（ステップＳ１０３）。
【００５０】
次いで、制御部１０５は、撮像部１０１の撮像方向、撮像範囲を定めるパラメータであるカメラ位置、カメラ姿勢（水平角、仰角）、焦点距離、及び画像サイズに基づいて、カメラの視野空間を算出する（ステップＳ１０４）。
【００５１】
図６は、カメラ視野空間とウィンドウ座標系を示す図である。制御部１０５は、三次元空間において、カメラ位置（視点Ｏ）からカメラ正面方向にｋだけ進んだ点（点Ｋ）を求め、画像サイズに相当する横ＷＤｘ、縦ＷＤｙの平面（ウィンドウＷＤ）を、視点Ｏと点Ｋを結んだベクトルに垂直になるように配置する。ここで、ウィンドウＷＤは表示部１１２の画面と縦横比が同じである。また、ウィンドウＷＤ上の点Ｋを原点とし、座標軸のＸｗ軸は右向きが正、Ｙｗ軸は上向きが正とする座標系をウィンドウ座標系と定義する。また、ｋは撮像部１０１の光学的条件（視野角、焦点距離等）とウィンドウＷＤの大きさに応じて定められ、撮像部１０１で自車前方の風景を捉えたときと、ウィンドウＷＤ内を視点Ｏから覗いたときとで同じ視野範囲になるように定められる。視点ＯとウィンドウＷＤの４隅の点とをそれぞれ結ぶ４本の直線で囲まれる四角錐状の領域が、カメラ視野空間である。
【００５２】
図５のフロー図に戻り、説明を続ける。
制御部１０５は、自車が目的地に到達したか否かを判定する（ステップＳ１０５）。ステップＳ１０５において、目的地に到達したと判定された場合、制御部１０５は、処理を終了する。一方、ステップＳ１０５において、目的地に到達していないと判定された場合、制御部１０５は、カメラ視野空間内の道路形状点を抽出する（ステップＳ１０６）。具体的には図７を用いて説明する。
【００５３】
図７は、カメラ視野空間（図７において破線で囲まれた三角形状の領域）内の道路形状点が抽出された様子を示す図であり、三次元地図空間とカメラ視野空間とを自車上方から見た図である。ここでは、経路探索部１０６が探索した最適経路のリンクデータから自車近傍の道路形状点が抽出される。図７においては、最適経路が道路Ｒ１から道路Ｒ２へ分岐するものとしており、道路Ｒ１、道路Ｒ２に対応する道路形状点が抽出されている。なお、道路形状点は、自車位置を原点、自車右方向を座標軸Ｘｌ軸、自車進行方向をＺｌ軸とするローカル座標系で抽出される。また、このときマップマッチングした経路上の自車位置を道路形状点として追加する。なお、自車位置の移動とともにカメラ視野空間内の道路形状点が順次抽出されることになる。
【００５４】
図５のフロー図に戻り、説明を続ける。
次いで、画像処理部１０７が白線検出処理を行う（Ｓ１０７）。そして、信頼度判定部１０８が白線検出結果の信頼度の判定を行う（Ｓ１０８）。信頼度の判定方法を、具体的に図８を用いて説明する。
【００５５】
図８は、信頼度判定部１０８が白線検出結果を基に信頼度を判定する処理を示す図である。白線検出処理は、時間ΔＴ毎に行われるものとする。図８に示すように、時間ΔＴ毎の白線検出処理において、自車の左右両側で白線検出できた場合は「信頼性あり」と判定する。自車の左右いずれか片側でしか白線検出できなかった場合は、２回以上連続して片側で白線検出できたときのみ「信頼性あり」と判定する。それ以外については「信頼性なし」と判定する。このように信頼度の判定を行うことで、白線の誤検出の影響を排除することができる。なお、信頼度判定部１０８の処理としては、上記の説明では画像処理の結果を利用したが、他にも任意のものを利用することができる。例えば、道路種別によって信頼度を判定しても良い。道路種別によって信頼度を判定するときは、高速道、都市高速のときだけ「信頼性あり」とし、それ以外は「信頼性なし」とする。また、地図情報格納部１０３に予め信頼度データを格納しておき、それを読込んで使用しても良い。また、図示しない通信手段から信頼度データをダウンロードとして使用することもできる。
【００５６】
図５のフロー図に戻り、説明を続ける。
道路形状補正部１０９は、白線検出結果が「信頼性あり」であるか或いは「信頼性なし」であるかに応じて、道路形状データを補正するか否かを決定する（Ｓ１０９）。「信頼性なし」の場合は、道路形状補正部１０９は道路形状データを補正せず、経路案内オブジェクト生成部１１０が補正なしの道路形状データを基に経路案内オブジェクトを生成する。一方、「信頼性あり」の場合は、まず道路形状補正部１０９は白線検出結果をウィンドウ座標系からローカル座標系へ座標変換する（Ｓ１１０）。そして、道路形状補正部１０９が道路形状データを補正し、経路案内オブジェクト生成部１１０が補正後の道路形状データを基に経路案内オブジェクトを生成する（Ｓ１１１）。道路形状データの補正方法を、具体的に図９、図１０を用いて説明する。
【００５７】
図９は、自車の左右両側の白線を検出した場合に、道路形状データを補正する様子を示す図である。
図９に示すように、まず、検出した左右両側の白線（一点鎖線で示す）の中点を通る線として道路形状ベクトル（破線で示す）を求め、道路形状点（黒丸で示す）から当該道路形状ベクトルに垂線を下ろし、当該垂線と当該道路形状ベクトルの交点を補正後の道路形状点（点々模様のある丸で示す）とする補正を行う。
【００５８】
図１０は、自車の左右いずれか片方の白線を検出した場合に、道路形状データを補正する様子を示す図である。
左側の白線（左側の一点鎖線で示す）を検出し、右側の白線（右側の一点鎖線で示す）を検出できなかったとする。この場合、左側の白線と平行に右側にも白線が存在すると仮定して、右側の白線位置を推定する。つまり、右側の白線位置を、左側の白線位置と地図情報格納部１０３に格納されたリンク幅（道路幅）とを基に推定する。そして、左側白線と仮想右側白線の中点を通る線を道路形状ベクトル（破線で示す）とする。この道路形状ベクトルに対し道路形状点から垂線を下ろし、当該垂線と当該道路形状ベクトルとの交点を補正後の道路形状点（点々模様のある丸で示す）とする補正を行う。
【００５９】
図５のフロー図に戻り、説明を続ける。
次に制御部１０５は経路案内オブジェクトの投影処理を行う（Ｓ１１３）。次いで、表示合成部１１１は、実写画像に経路案内オブジェクトを重畳させた画像を表示部１１２の画面に表示させる（Ｓ１１４）。ここで投影処理について、具体的に図１１を用いて説明する。
【００６０】
図１１は、経路案内オブジェクトの投影処理を説明する図である。図１１に示されるように、まずローカル座標系において経路案内オブジェクトを構成する各点を３次元の視線座標系（Ｘｅ，Ｙｅ，Ｚｅ）上に移す。変換式は、
（式１）
Ｘｅ＝Ｘｌ
Ｙｅ＝−ｈ
Ｚｅ＝Ｚｌ
となる。視線座標系は、原点Ｏが視点位置であり、Ｚｅ軸方向を視線方向を正、Ｙｅ軸方向を高さ方向を正、Ｘｅ軸を視線方向に対して右に９０度傾けた方向を正とする座標系である。ここで、ｈは、撮像部１０１の設置高さである。これにより、経路案内オブジェクトを視線座標系で視点より一定距離だけ下の平面内（つまり、路面上）に置くことができる。
【００６１】
そして、視線座標系上で経路案内オブジェクトを形成する各点を、さらに、Ｚｅ＝ｋの位置にＺｅ軸に対して垂直に置かれた投影面に中心投影する。計算式は、
（式２）
Ｘｗ＝ｋＸｅ／Ｚｅ
Ｙｗ＝ｋＹｅ／Ｚｅ
となる。ここで、ｋは図６の定義と同じである。これによって、視線座標系で視点からウィンドウＷＤ内を覗いた視野が撮像部１０１で実際の風景を捉える視野と等価になることから、図１２に示すように経路案内オブジェクトが精度良く表示され、実写画像上で路面や案内対象交差点に相当する位置を特定することができる。なお、上記（式１）及び（式２）は座標系の定義の仕方やカメラパラメータに応じて、最適なものを選択することができる。
【００６２】
図１２は実写画像に重畳表示される経路案内オブジェクトの様子を示す図である。
図１２に示すように、実写画像に重畳表示される経路案内オブジェクトを白線検出結果に基づき補正するので、地図の道路形状データ精度は現状レベルでも、実写画像に重畳表示される経路案内オブジェクトを道路に対して高精度に位置合わせして描画することができるナビゲーション装置を提供することができる。ただし、画像認識の認識精度は限界がある（例えば、白線が前方車両に遮られていると認識できない、白線が薄くなっていると認識しづらくなる、白線ではない所を誤検出する）ため、信頼度という指標に基づき、白線を正しく認識できたときのみ白線検出結果を使用するという工夫をしている。
【００６３】
また、上述の実施形態では、車両前方を向いたカメラで撮像された実写画像を用いる例を説明したが、予め記憶媒体に保存されている実写画像や通信によって取得した実写画像上に経路案内オブジェクトを重畳表示するようにしても構わない。
【００６４】
（実施の形態２）
次に、第２実施形態について、図面を参照し説明する。
図１３は、本発明の第２実施形態に係るナビゲーション装置２００の全体構成を示すブロック図である。図１３に示されるように、ナビゲーション装置２００は、撮像部１０１と、測位部１０２と、地図情報格納部１０３と、入力部１０４と、制御部１０５と、経路探索部１０６と、画像処理部２０７と、信頼度判定部２０８と、道路形状補正部２０９と、経路案内オブジェクト生成部１１０と、表示合成部１１１と、表示部１１２とを備える。
【００６５】
図１３に示す各ブロックの構成要素のうち、図１（第１実施形態）と同じ構成要素であるものについては同一の参照符号を付してその説明を省略する。以下、第１実施形態とは機能が異なる画像処理部２０７、信頼度判定部２０８、道路形状補正部２０９について説明する。
【００６６】
画像処理部２０７は、撮像部１０１が取得した実写画像から道路白線を検出する機能を有している。ここで、第１実施形態と異なる点は、実写画像を複数の領域に分割し、分割した領域毎に手前側から奥側へ順番に白線検出を行う点である。また、上記領域の大きさを前回の白線検出結果に応じて動的に変更し、処理負荷を低減させる機能を有している。なお、各領域における白線検出は、第１実施形態と同様の手法で行うことができる。
【００６７】
信頼度判定部２０８は、画像処理部２０７の白線検出結果の信頼度を判定する機能を有している。具体的な信頼度判定方法は後述する。
【００６８】
道路形状補正部２０９は、画像処理部２０７の白線検出結果及び信頼度判定部２０８の信頼度に応じて、地図情報格納部１０３に格納された道路形状データを補正する機能を有している。本実施形態では、第１実施形態とは異なり、画像処理を行う領域を複数設けたため、実写画像中に白線検出ができた領域とできなかった領域とが混在する場合がある。このような場合でも、領域境界付近で経路案内オブジェクトの形状が歪とならないように道路形状データを補正する機能を道路形状補正部２０９は有している。
【００６９】
次に本実施形態に係るナビゲーション装置２００の実写モード時の動作について図１４、図１５に従って説明する。図１４は、本実施形態に係るナビゲーション装置２００の動作を示すフロー図である。図１４において、図５（第１実施形態）と同じステップについては同一の参照符号を付し、その説明を省略する。
【００７０】
図５のフロー図と異なるのは、ステップＳ２０１の白線検出、信頼度判定、経路案内オブジェクト生成処理である。このステップＳ２０１の処理内容について図１５を用いて説明する。
【００７１】
図１５は、図１４におけるステップＳ２０１の処理内容の詳細を示すフロー図である。
図１５に示されるように、まず、画像処理部２０７は、全領域で白線検出と白線検出結果の信頼度判定を行ったかどうかを判断する（ステップＳ３０１）。もし、全領域で白線検出と信頼度判定が終了していない場合、ステップＳ３０１に処理を戻す。具体的に図１６を用いて説明する。
【００７２】
図１６は、画像処理部２０７と信頼度判定部２０８が、白線検出と信頼度判定を行う領域の一例を示している。図１６に示す例では、実写画像の道路部分を、まず右側と左側に分割し、さらに、手前側（画像の下側）から奥側（画像の上側）に向かって３つの領域にそれぞれ分割している。これにより、計６つの領域に分割されており、画像処理部２０７は左側の領域で左側白線を、右側の領域で右側白線を検出する。
【００７３】
奥行き方向の各領域サイズは手前側程大きいサイズとされており、領域ＷＲ１と領域ＷＬ１は自車前方０ｍ〜１６ｍの領域、領域ＷＲ２と領域ＷＬ２は自車前方１６ｍ〜５０ｍの領域、領域ＷＲ３と領域ＷＬ３は自車前方５０ｍ〜１５０ｍの領域とされている。
【００７４】
道路の消失点より奥側の画像に対しては白線検出のための領域設定をせず、白線検出と信頼度判定処理の対象から外すことで演算量を削減する。
【００７５】
なお、領域の分割数、各領域のサイズは任意に設定することができる。特に車線数に応じて、横方向の分割数を増減しても良い。
【００７６】
白線検出と信頼度判定は手前側から奥側に向かって順番に行われる。信頼度判定処理は、自車左右両側の白線検出が終わった段階で行われる。信頼度判定の対象となる領域は自車前方０ｍ〜１６ｍの領域については領域ＷＲ１と領域ＷＬ１であり、このように左右の領域をセットにして信頼度判定が行われる。なお、信頼度判定の具体的処理内容は図８に示す方法と同じである。
【００７７】
もし、左右両側で白線を検出できなかったら、その検出できなかった領域より奥側の領域では白線検出処理は実施せず、信頼度を「信頼性なし」とすることができる。これにより、演算量を削減することができる。
【００７８】
また、図１７に示すように、白線を検出できた場合は時間ΔＴ後の検出対象領域（次回
の検出対象領域）を狭め、演算量を削減することができる。図１７（ａ）は、時刻Ｔにおける検出対象領域を示しており、デフォルト状態である。時刻Ｔで白線を検出した場合、時刻Ｔ＋ΔＴでは、図１７（ｂ）に示すように、時刻Ｔで白線を検出した付近の領域に領
域サイズを絞り込む。なお、白線を検出ができなかった場合は、時間ΔＴ後の領域サイズ
をデフォルト状態に戻せばよい。
【００７９】
図１５のフロー図に戻り、説明を続ける。
ステップＳ３０２では、「信頼性あり」、「信頼性なし」の領域が混在するかどうかを判定する。「信頼性あり」、「信頼性なし」の領域が混在しない場合、ステップＳ３０３に処理を進める。ステップＳ３０３では、全ての領域で「信頼性あり」かどうかを判定する。全ての領域で「信頼性あり」の場合、ステップＳ１１０、Ｓ１１１へ処理を進める。全ての領域で「信頼性あり」ではない、すなわち、全ての領域で「信頼性なし」の場合、ステップＳ１１２に処理を進める。ここで、ステップＳ１１０、Ｓ１１１、Ｓ１１２は、図５のフロー図と同じであるため、その説明を省略する。
【００８０】
一方、「信頼性あり」、「信頼性なし」の領域が混在する場合、ステップＳ３０４に処理を進める。「信頼性あり」、「信頼性なし」の領域が混在するとは、例えば、図１６の実写画像に設けられた各領域において、領域ＷＲ１と領域ＷＬ１が「信頼性あり」、領域ＷＲ２と領域ＷＬ２が「信頼性あり」、領域ＷＲ３と領域ＷＬ３が「信頼性なし」であるような場合である。
【００８１】
ステップＳ３０４では、「信頼性あり」の領域について、検出した白線をウィンドウ座標系からローカル座標系へ座標変換する。
【００８２】
次いで、白線検出できた領域については白線検出結果に基づき道路形状データを補正し、白線検出できなかった領域については道路形状データを適切に補正し、白線検知できた領域とできなかった領域の境界部分においてデータ上の道路形状が歪とならないように補正する（ステップＳ３０５）。ここで、領域境界付近においてデータ上の道路形状が歪とならないように補正する処理内容について、図１８乃至図２１を参照しつつ説明する。
【００８３】
図１８は、視野空間内の道路形状点が白線検出できた領域とできなかった領域に分けられるときに、その領域境界付近においてデータ上の道路形状が歪とならないように道路形状データが補正される様子を示す図である。なお、図１８は各道路形状点を上記のローカル座標系で示している。
【００８４】
図１８において、Ｎ１〜Ｎ５は地図の道路形状点を示している。Ｌ１は自車位置と道路形状点Ｎ１を接続する線（リンク）であり、Ｌ２は道路形状点Ｎ１と道路形状点Ｎ２を接続する線（リンク）であり、Ｌ３は道路形状点Ｎ２と道路形状点Ｎ３を接続する線（リンク）であり、Ｌ４は道路形状点Ｎ３と道路形状点Ｎ４を接続する線（リンク）であり、Ｌ５は道路形状点Ｎ４と道路形状点Ｎ５を接続する線（リンク）である。リンクＬ４は、白線検出できた領域内のＬ４１と白線検出できなかった領域内のＬ４２とに分けて示されている。Ｖ１は白線検出結果に基づいて作成された道路形状ベクトル（第１の道路形状ベクトル）である。
【００８５】
図１８に示されるように、白線検出できた領域内では、道路形状点から道路形状ベクトルＶ１へ垂線を下ろし、当該垂線と当該道路形状ベクトルの交点を補正後の道路形状点とする補正をする。Ｃ１〜Ｃ３は、補正後の道路形状点を示している。
【００８６】
一方、白線検出できなかった領域で道路形状データを保持した場合、補正後の道路形状点Ｃ３と補正しない道路形状点Ｎ４を繋ぐ直線は、データ上の道路形状を歪にする。ここで、「道路形状を歪にする」とは、白線検知できた領域と白線検知できなかった領域の境界付近で道路形状が急激に折れ曲がった状態にすることを指す。その結果、生成される経路案内オブジェクトも途中で歪に折れ曲がった状態となり、当該オブジェクトの視認性が悪くなる。なお、「道路形状が歪になる」とは、自車進行方位（図では上向き）に対して道路形状点Ｎ３と道路形状点Ｎ４を結ぶベクトルがなす角度と、自車進行方位に対して道路形状点Ｃ３と道路形状点Ｎ４を結ぶベクトルの角度を比べたとき、後者が大きくなる現象と表現することもできる。
【００８７】
そこで、図１８に示すように、領域境界付近で道路形状が歪とならないように、白線検出できなかった領域内の道路形状点Ｎ４，Ｎ５及びリンクＬ４２，Ｌ５を、道路形状点Ｎ３がＣ３に移動する向きと同じ向きに移動させる。つまり、移動する方向は、自車の進行方位すなわち道路形状ベクトルＶ１に対して垂直な方向であり、白線検知できた領域と白線検知できなかった領域の境界付近での道路形状の折れ曲がり角度が小さくなる方向である。なお、リンクＬ４２の下端部が、道路形状ベクトルＶ１の上端部と一致するように道路形状点Ｎ４，Ｎ５及びリンクＬ４２，Ｌ５を移動させる。これにより、道路白線を検出できた領域と道路白線を検出できなかった領域の境界に各領域でそれぞれ最も近い補正後の道路形状点（図１８では、Ｃ３とＣ４）同士を結ぶ線分と道路形状ベクトルＶ１とがなす角度が緩やかになる。よって、領域境界付近で道路形状が急激な角度で折れ曲がってしまうことを抑制し、経路案内オブジェクトの形状を滑らかな形状にしてその視認性を向上させることができる。
【００８８】
図１９は、視野空間内の道路形状点が白線検出できた領域とできなかった領域に分けられる場合に、その領域境界付近でデータ上の道路形状が歪にならないよう道路形状データを補正する他の例を示す図である。なお、図１９は各道路形状点をローカル座標系で示している。
【００８９】
図１９に示される例は、図１８に示される例に比べて、白線検出できなかった領域の道路形状点Ｎ４，Ｎ５の移動量が異なる。
【００９０】
図１９においては、まず、白線検出できなかった領域内の最も自車位置に近い道路形状点Ｎ４から、道路形状ベクトルＶ１を延長した線（道路形状ベクトルＶ１の先に点線で示す）に対して垂線を下ろし、当該垂線と当該延長線との交点を求め、その交点を補正後の道路形状点Ｃ６とする。つまり、当該交点まで道路形状点を移動する。次いで、Ｎ４からＣ６へ移動したのと同じ量だけ、Ｎ４以降の道路形状点（図示例ではＮ５）をＮ４と同じ方向へ移動させる。これによって、Ｎ５がＣ７へ移動する。図１９に示すように、補正後の道路形状点Ｃ６は、道路形状ベクトルＶ１の延長線上にある。これにより、領域境界付近で道路形状が急激な角度で折れ曲がってしまうことを抑制し、経路案内オブジェクトの形状を滑らかな形状にしてその視認性を向上させることができる。
【００９１】
図１８、図１９に示した移動方法以外にも、道路形状点を回転移動することで道路形状が歪になるのを抑制することができる。図２０、図２１を用いて詳細に説明する。
【００９２】
図２０は、白線検出結果に基づき作成した道路形状ベクトルと、道路形状データを基に作成した道路形状ベクトルの角度差θを示す図である。なお、図２０は各道路形状点をローカル座標系で示している。
【００９３】
図２０において、Ｎ１０〜Ｎ１４は地図の道路形状点である。Ｖ３は白線検出結果に基づき作成した道路形状ベクトル（第１の道路形状ベクトル）であり、Ｖ４は白線検知できた領域内で自車位置から最遠にある道路形状点と自車位置とを結ぶ、地図の道路形状ベクトル（第２の道路形状ベクトル）である。角度θは、道路形状ベクトルＶ３と道路形状ベクトルＶ４間の角度である。
【００９４】
このような状態において、図２１に示すように地図の道路形状点Ｎ１０〜Ｎ１４を角度θ分回転させることにより、Ｎ１２を道路形状ベクトルＶ３上に移動させる。そして、角度θ回転後の道路形状点（白線検出できた領域内のみ）から道路形状ベクトルＶ３に対して垂線を下ろし、当該垂線と当該道路形状ベクトルＶ３の交点を補正後の道路形状点とする補正を行う。補正後の道路形状点が、Ｃ１０〜Ｃ１２である。白線検出できなかった領域内の道路形状点については、角度θ回転後の位置を補正後の位置とする。その結果得られる道路形状点がＣ１３，Ｃ１４である。これにより、領域境界付近で道路形状が急激な角度で折れ曲がってしまうことを抑制し、経路案内オブジェクトの形状を滑らかな形状にしてその視認性を向上させることができる。
【００９５】
なお、上記以外の方法であっても、領域境界付近で道路形状が歪とならない方法であれば、どのような方法で道路形状を補正してもよい。
【００９６】
以上の説明から、実写画像を複数の領域に分けて画像認識すると前方の道路状況によっては、手前側は白線を認識できているが、奥側は白線を認識できていない場合がある。このような場合でも、白線検出できた領域内では積極的に白線検出結果に基づき道路形状データを補正する。また、白線検出できた領域とできなかった領域の境界付近で道路形状が歪にならないように、白線検出できなかった領域内の道路形状データも補正することにより、経路案内オブジェクトが領域境界付近で極端に折れ曲がったりしないので、視認性に優れた経路案内オブジェクト表示をすることができる。
【００９７】
なお、上記第１実施形態、第２実施形態においては、以下のような変更をすることもできる。
例えば、白線検出できなかった場合の案内オブジェクト生成（例えば、図５、図１５のフロー図におけるステップＳ１１２）において、それ以前に一旦白線検出できていたときは、以下のように道路形状ベクトル生成を行ってもよい。すなわち、図２０における角度θと同様の手法で算出した角度の平均値を記憶しておき、白線検出できなかったときに道路形状点を当該平均値分回転させ、白線検知できた領域については更に図２１に示したように道路形状点を移動させることで道路形状データの補正を行い、その補正後の道路形状データを用いて経路案内オブジェクトを生成するようにしても良い。これにより、カメラの取り付け誤差等によるオフセット誤差（一定方位の誤差）の影響を無くすことができる。自車方位をリンク方位とする場合に特に顕著な効果がある。
【００９８】
また、白線検出できた場合、その後同じ箇所を走行するときは白線検出処理を省略し、前回の補正後の道路形状点を呼び出すようにしても良い。
【００９９】
また、自車の他、他車にもナビゲーション装置１００或いは２００を搭載している場合においては、他車が白線検出できなかった場所に関する情報を自車が通信手段（図示せず）を介して受信し、同じ場所を走行するときは自車において白線検出処理を省略することもできる。この場合、演算量を削減することができる。
【０１００】
また、自車前方に複数レーンがあるとき、白線検出を行って道路形状を補正した結果、現在走行中のレーン上に経路案内オブジェクトが重畳表示されてしまうため、本来レーンチェンジすべき場所であるのにレーンチェンジせずにそのまま走行しなければならないと運転手が勘違いしてしまう可能性がある。
【０１０１】
このようなときには、ナビゲーション装置１００又は２００に設けたレーンチェンジオブジェクト生成部（図示せず）がレーンチェンジオブジェクトを生成し、図２２に示すように経路案内オブジェクト上にレーンチェンジオブジェクトを重畳することができる。
【０１０２】
図２２は、経路案内オブジェクト上にレーンチェンジ方向を示すレーンチェンジオブジェクトを重畳表示した様子を示す図である。
図２２に示すように、経路案内オブジェクト上にレーンチェンジ方向を指示するオブジェクトが重畳される。このため、運転者は本来レーンチェンジすべき場所で的確にレーンチェンジ方向が分かるので、運転者は安心である。また、レーンチェンジオブジェクトは経路案内オブジェクト上に重畳表示されるので、その他の部分に重畳する場合と比べて、背景の実風景を隠蔽することがなく、また、レーンチェンジオブジェクトの視認性に優れている。
【０１０３】
上述の各実施形態では、車両前方を向いたカメラで取得した実写画像を用いる例を説明したが、予め記憶媒体に保存されている実写画像や通信によって取得した実写画像上に経路案内オブジェクトを重畳表示しても構わない。
【０１０４】
上述の各実施形態の構成は、単に具体例を示すものであり、本願発明の技術的範囲を制限するものではない。本願の技術的範囲内において、任意の構成を採用することが可能である。
【産業上の利用可能性】
【０１０５】
本発明のナビゲーション装置は、車両に設置されるカーナビゲーション装置等として有用である。また、携帯電話におけるナビゲーション装置等としても有用である。
【図面の簡単な説明】
【０１０６】
【図１】本発明の第１実施形態に係るナビゲーション装置の全体構成を示すブロック図
【図２】第１実施形態において、地図データベースに記憶されている情報の一例を示す図
【図３】第１実施形態において、地図データベースに記憶されている情報の一例を示す図
【図４】第１実施形態において、地図データベースに記憶されているノードデータ、形状ノードデータ、及びリンクデータに基づき作成された道路ネットワークの一例を示す図
【図５】第１実施形態に係るナビゲーション装置の動作を示すフロー図
【図６】第１実施形態におけるカメラ視野空間とウィンドウ座標系を示す図
【図７】第１実施形態において、カメラ視野空間内の道路形状点が抽出された様子を示す図
【図８】第１実施形態において、信頼度判定部が白線検出結果を基に信頼度を判定する処理を示す図
【図９】第１実施形態において、自車左右両側の白線を検出したときに道路形状データを補正する様子を示す図
【図１０】第１実施形態において、自車左右いずれか片側の白線を検出したときに道路形状データを補正する様子を示す図
【図１１】第１実施形態において、経路案内オブジェクトの投影処理を説明する図
【図１２】第１実施形態において、実写画像に経路案内オブジェクトを重畳表示した状態を示す図
【図１３】本発明の第２実施形態に係るナビゲーション装置の全体構成を示すブロック図
【図１４】第２実施形態に係るナビゲーション装置の動作を示すフロー図
【図１５】第２実施形態に係るナビゲーション装置の動作を示すフロー図
【図１６】第２実施形態において、実写画像における白線検出と信頼度判定を行う領域を分割した様子を示す図
【図１７】第２実施形態において、白線検出する領域を絞り込む様子を示す図
【図１８】第２実施形態において、視野空間内の道路形状点が白線検出できた領域とできなかった領域に分けられるときに、その領域境界付近で道路形状が歪にならないように道路形状データを補正する様子の第１例を示す図
【図１９】第２実施形態において、視野空間内の道路形状点が白線検出できた領域とできなかった領域に分けられるときに、その領域境界付近で道路形状が歪にならないように道路形状データを補正する様子の第２例を示す図
【図２０】第２実施形態において、視野空間内の道路形状点が白線検出できた領域とできなかった領域に分けられるときに、その領域境界付近で道路形状が歪にならないように道路形状データを補正する様子の第３例を示す図
【図２１】第２実施形態において、視野空間内の道路形状点が白線検出できた領域とできなかった領域に分けられるときに、その領域境界付近で道路形状が歪にならないように道路形状データを補正する様子の第３例を示す図
【図２２】第１実施形態又は第２実施形態において、経路案内オブジェクト上にレーンチェンジオブジェクトを重畳表示した状態を示す図
【図２３】地図データ上の道路形状と実際の道路形状がずれている様子を示す図
【図２４】従来技術として、実写画像に経路案内オブジェクトを重畳表示した状態を示す図
【符号の説明】
【０１０７】
１００ ナビゲーション装置
１０１ 撮像部
１０２ 測位部
１０３ 地図情報格納部
１０４ 入力部
１０５ 制御部
１０６ 経路探索部
１０７ 画像処理部
１０８ 信頼度判定部
１０９ 道路形状補正部
１１０ 経路案内オブジェクト生成部
１１１ 表示合成部
１１２ 表示部
【特許請求の範囲】
【請求項１】
自車が進むべき進路を示す経路案内オブジェクトを画面に表示するナビゲーション装置であって、
自車前方の実写画像を取得する撮像部と、
前記実写画像の道路白線を検出する白線検出部と、
道路形状を表す道路形状データを含む地図情報を格納する地図情報格納部と、
前記道路白線に沿って前記経路案内オブジェクトが表示されるように、前記道路白線の検出結果に基づき前記道路形状データを補正する道路形状データ補正部と、
補正された前記道路形状データに基づき、前記経路案内オブジェクトを生成する経路案内オブジェクト生成部と、
生成された前記経路案内オブジェクトを前記画面に表示する表示部とを備えたナビゲーション装置。
【請求項２】
前記表示部は、前記経路案内オブジェクトを前記実写画像上に重畳表示することを特徴とする請求項１に記載のナビゲーション装置。
【請求項３】
前記道路形状データは、複数の道路形状点の集合であり、
前記道路形状データ補正部は、前記白線検出部が検出した前記道路白線に沿って第１の道路形状ベクトルを生成し、当該道路形状ベクトルに対して前記道路形状点から垂線を下ろし、当該道路形状ベクトルと当該垂線との交点を補正後の道路形状点とすることで前記道路形状データを補正することを特徴とする請求項１記載のナビゲーション装置。
【請求項４】
前記道路白線の検出結果の信頼性有無を判定する信頼度判定部を備え、
前記信頼度判定部において信頼性有りと判定された場合に限り、前記道路形状補正部は前記道路形状データを補正することを特徴とする請求項１に記載のナビゲーション装置。
【請求項５】
前記道路形状データは、複数の道路形状点の集合であり、
前記道路形状データ補正部は、
前記実写画像上に前記道路白線を検出できた領域と前記道路白線を検出できなかった領域が混在する場合に、前記道路白線を検出できた領域と前記道路白線を検出できなかった領域の境界に各前記領域でそれぞれ最も近い前記道路形状点同士を結ぶ線分と前記第１の道路形状ベクトルとがなす角度が緩やかになるように、前記道路白線を検出できなかった領域の前記道路形状データを補正することを特徴とする請求項３に記載のナビゲーション装置。
【請求項６】
前記道路形状データ補正部は、
前記道路白線を検出できなかった領域の前記道路形状点を前記垂線と平行に移動することで前記道路形状データを補正することを特徴とする請求項５に記載のナビゲーション装置。
【請求項７】
前記道路形状データ補正部は、
前記第１の道路形状ベクトルと、前記白線を検出できた領域内で自車位置から最遠の前記道路形状点と自車位置を結ぶことで得られる第２の道路形状ベクトルとがなす角度θを算出し、前記道路白線を検出した領域と前記道路白線を検出できなかった領域の各前記道路形状点を、前記最遠の道路形状点が前記第１の道路形状ベクトル上に位置するように前記角度θ回転させることで前記道路形状データを補正することを特徴とする請求項５に記載のナビゲーション装置。
【請求項８】
前記角度θを記憶する角度差記憶部を備え、
前記道路形状データ補正部は、前記白線検出部が白線を検出できなかった場合には、過去に記憶した前記角度θの平均値を算出し、前記道路形状点を前記平均値分回転させることで補正することを特徴とする請求項７に記載のナビゲーション装置。
【請求項９】
レーンチェンジ方向を指示するオブジェクトを生成するレーンチェンジオブジェクト生成部を備え、
前記表示部は、前記経路案内オブジェクト上にレーンチェンジオブジェクトを重畳表示することを特徴とする請求項１に記載のナビゲーション装置。
【請求項１０】
自車が進むべき進路を示す経路案内オブジェクトを画面に表示するナビゲーション方法であって、
前記実写画像の道路白線を検出する白線検出ステップと、
道路形状を表す道路形状データを含む地図情報を格納する地図情報格納ステップと、
前記道路白線に沿って前記経路案内オブジェクトが表示されるように、前記道路白線の検出結果に基づき前記道路形状データを補正する道路形状データ補正ステップと、
補正された前記道路形状データに基づき、前記経路案内オブジェクトを生成する経路案内オブジェクト生成ステップと、
生成された前記経路案内オブジェクトを前記画面に表示する表示ステップとを備えたナビゲーション方法。
【請求項１１】
自車が進むべき進路を示す経路案内オブジェクトを画面に表示するためにコンピュータに下記のステップを実行させるナビゲーション用プログラムであって、
前記実写画像の道路白線を検出する白線検出ステップと、
道路形状を表す道路形状データを含む地図情報を格納する地図情報格納ステップと、
前記道路白線に沿って前記経路案内オブジェクトが表示されるように、前記道路白線の検出結果に基づき前記道路形状データを補正する道路形状データ補正ステップと、
補正された前記道路形状データに基づき、前記経路案内オブジェクトを生成する経路案内オブジェクト生成ステップと、
生成された前記経路案内オブジェクトを前記画面に表示する表示ステップとを、前記コンピュータに実行させるナビゲーション用プログラム。
【請求項１】
自車が進むべき進路を示す経路案内オブジェクトを画面に表示するナビゲーション装置であって、
自車前方の実写画像を取得する撮像部と、
前記実写画像の道路白線を検出する白線検出部と、
道路形状を表す道路形状データを含む地図情報を格納する地図情報格納部と、
前記道路白線に沿って前記経路案内オブジェクトが表示されるように、前記道路白線の検出結果に基づき前記道路形状データを補正する道路形状データ補正部と、
補正された前記道路形状データに基づき、前記経路案内オブジェクトを生成する経路案内オブジェクト生成部と、
生成された前記経路案内オブジェクトを前記画面に表示する表示部とを備えたナビゲーション装置。
【請求項２】
前記表示部は、前記経路案内オブジェクトを前記実写画像上に重畳表示することを特徴とする請求項１に記載のナビゲーション装置。
【請求項３】
前記道路形状データは、複数の道路形状点の集合であり、
前記道路形状データ補正部は、前記白線検出部が検出した前記道路白線に沿って第１の道路形状ベクトルを生成し、当該道路形状ベクトルに対して前記道路形状点から垂線を下ろし、当該道路形状ベクトルと当該垂線との交点を補正後の道路形状点とすることで前記道路形状データを補正することを特徴とする請求項１記載のナビゲーション装置。
【請求項４】
前記道路白線の検出結果の信頼性有無を判定する信頼度判定部を備え、
前記信頼度判定部において信頼性有りと判定された場合に限り、前記道路形状補正部は前記道路形状データを補正することを特徴とする請求項１に記載のナビゲーション装置。
【請求項５】
前記道路形状データは、複数の道路形状点の集合であり、
前記道路形状データ補正部は、
前記実写画像上に前記道路白線を検出できた領域と前記道路白線を検出できなかった領域が混在する場合に、前記道路白線を検出できた領域と前記道路白線を検出できなかった領域の境界に各前記領域でそれぞれ最も近い前記道路形状点同士を結ぶ線分と前記第１の道路形状ベクトルとがなす角度が緩やかになるように、前記道路白線を検出できなかった領域の前記道路形状データを補正することを特徴とする請求項３に記載のナビゲーション装置。
【請求項６】
前記道路形状データ補正部は、
前記道路白線を検出できなかった領域の前記道路形状点を前記垂線と平行に移動することで前記道路形状データを補正することを特徴とする請求項５に記載のナビゲーション装置。
【請求項７】
前記道路形状データ補正部は、
前記第１の道路形状ベクトルと、前記白線を検出できた領域内で自車位置から最遠の前記道路形状点と自車位置を結ぶことで得られる第２の道路形状ベクトルとがなす角度θを算出し、前記道路白線を検出した領域と前記道路白線を検出できなかった領域の各前記道路形状点を、前記最遠の道路形状点が前記第１の道路形状ベクトル上に位置するように前記角度θ回転させることで前記道路形状データを補正することを特徴とする請求項５に記載のナビゲーション装置。
【請求項８】
前記角度θを記憶する角度差記憶部を備え、
前記道路形状データ補正部は、前記白線検出部が白線を検出できなかった場合には、過去に記憶した前記角度θの平均値を算出し、前記道路形状点を前記平均値分回転させることで補正することを特徴とする請求項７に記載のナビゲーション装置。
【請求項９】
レーンチェンジ方向を指示するオブジェクトを生成するレーンチェンジオブジェクト生成部を備え、
前記表示部は、前記経路案内オブジェクト上にレーンチェンジオブジェクトを重畳表示することを特徴とする請求項１に記載のナビゲーション装置。
【請求項１０】
自車が進むべき進路を示す経路案内オブジェクトを画面に表示するナビゲーション方法であって、
前記実写画像の道路白線を検出する白線検出ステップと、
道路形状を表す道路形状データを含む地図情報を格納する地図情報格納ステップと、
前記道路白線に沿って前記経路案内オブジェクトが表示されるように、前記道路白線の検出結果に基づき前記道路形状データを補正する道路形状データ補正ステップと、
補正された前記道路形状データに基づき、前記経路案内オブジェクトを生成する経路案内オブジェクト生成ステップと、
生成された前記経路案内オブジェクトを前記画面に表示する表示ステップとを備えたナビゲーション方法。
【請求項１１】
自車が進むべき進路を示す経路案内オブジェクトを画面に表示するためにコンピュータに下記のステップを実行させるナビゲーション用プログラムであって、
前記実写画像の道路白線を検出する白線検出ステップと、
道路形状を表す道路形状データを含む地図情報を格納する地図情報格納ステップと、
前記道路白線に沿って前記経路案内オブジェクトが表示されるように、前記道路白線の検出結果に基づき前記道路形状データを補正する道路形状データ補正ステップと、
補正された前記道路形状データに基づき、前記経路案内オブジェクトを生成する経路案内オブジェクト生成ステップと、
生成された前記経路案内オブジェクトを前記画面に表示する表示ステップとを、前記コンピュータに実行させるナビゲーション用プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【公開番号】特開２００８−３０９５２９（Ｐ２００８−３０９５２９Ａ）
【公開日】平成２０年１２月２５日（２００８．１２．２５）
【国際特許分類】
【出願番号】特願２００７−１５５６０３（Ｐ２００７−１５５６０３）
【出願日】平成１９年６月１２日（２００７．６．１２）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２０年１２月２５日（２００８．１２．２５）
【国際特許分類】
【出願日】平成１９年６月１２日（２００７．６．１２）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]