車載用ナビゲーション装置
【課題】周辺環境に変化があった場合でもユーザにとって認識しやすい最適なルート案内を行うことができる「車載用ナビゲーション装置」を提供すること。
【解決手段】車載用ナビゲーション装置において、撮像手段により取得された画像にルート案内表示を重ね合わせて合成した実写画像を表示手段の画面に表示させている状態で、該画面上でのルート案内表示を見え難くする要因（Ｓ１，Ｓ２，Ｓ３，Ｓ４，Ｓ６）が発生していると判定したときに、地図データ及びナビゲーション機能に基づいて生成したバーチャル画像による案内画面に切り替える（Ｓ７）。
【解決手段】車載用ナビゲーション装置において、撮像手段により取得された画像にルート案内表示を重ね合わせて合成した実写画像を表示手段の画面に表示させている状態で、該画面上でのルート案内表示を見え難くする要因（Ｓ１，Ｓ２，Ｓ３，Ｓ４，Ｓ６）が発生していると判定したときに、地図データ及びナビゲーション機能に基づいて生成したバーチャル画像による案内画面に切り替える（Ｓ７）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は車載用ナビゲーション装置に関し、特に、表示画面を通してルート案内を行うに際しユーザにとって認識しやすい表示を行うよう適応された車載用ナビゲーション装置に関する。
【背景技術】
【０００２】
典型的な車載用ナビゲーション装置においては、ナビゲーションに係る一切の処理を制御するＣＰＵ等の制御装置、地図データを格納したＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等の記憶装置、ＬＣＤモニタ等の表示装置、自車の現在位置を検出するためのＧＰＳ受信機、自車の方位や走行速度等を検出するためのジャイロ等の自立航法センサや車速センサなどが設けられている。そして、制御装置により、自車の現在位置を含む地図データを記憶装置から読み出し、この地図データに基づいて自車位置の周囲の地図画像を表示装置の画面に描画すると共に、自車の現在位置を指示する自車位置マークを画面上に重ね合わせて表示し、自車の移動に応じて地図画像をスクロール表示したり、地図画像を画面に固定して自車位置マークを移動させたりして、自車が現在何処を走行しているのかを一目でわかるようにしている。
【０００３】
また、車載用ナビゲーション装置には、ユーザが目的地に向けて道路を間違うことなく容易に走行できるように案内する機能（経路誘導機能）が搭載されている。この経路誘導機能によれば、制御装置により、地図データを用いて出発地（典型的には自車位置）から設定された目的地までを結ぶ最適な経路を、横型探索法やダイクストラ法等のシミュレーション計算を行って探索し、その探索した経路を誘導経路として記憶しておき、走行中、地図画像上にその誘導経路を他の道路とは識別可能に（例えば、色を変えたり、線幅を太くして）表示したり、また誘導経路上で接近中の交差点まで所定距離に達したときに、音声案内と共に地図画像上にその交差点の拡大図（交差点での進行方向を示す矢印、交差点までの距離、交差点名などを含む）を表示したりすることで、目的地に向けた最適な経路をユーザが把握できるようになっている。
【０００４】
また、最近では、車両にカメラを搭載してその撮像画像をナビゲーションに利用することが行われている。例えば、車両の進行方向（前方）を撮影するカメラを設置し、このカメラで取得された実写画像上に、上記のナビゲーション機能に基づき探索された経路（案内ルート）の表示を重ね合わせて合成し、その合成画像を表示装置の画面に表示しながら目的地まで案内する手法が実用化されている。図４（ａ）はその場合の案内画面の一例を示したものであり、図示の例では、カメラで撮影された車両前方の映像（実写画像４１）にナビゲーション機能に基づいたルート表示（図中、ハッチングで示す部分の画像４２）を重ね合わせて合成した画像（案内画面４０）が表示されている。
【０００５】
なお、以下の記述において特に定義していない限り、単に「実写画像」というときは、便宜上、図４（ａ）に例示したような画像（カメラの撮像画像にルート表示等を合成して得られた画像）を指すものとする。
【０００６】
かかる従来技術に関連する技術としては、例えば、特許文献１に記載されるように、ナビゲーション装置により、走行中の道路においてユーザが進行方向に見ている景色（実際の画像）をカメラで撮影し、撮影された実写画像とユーザへの案内を行う案内画像とを重ね合わせ、表示部に表示するようにしたものがある。
【特許文献１】特開２００５−２１４８５７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
上述したように従来の車載用ナビゲーション装置においては、目的地までのルート案内を行う際に車載カメラで取得した車両前方の映像も併せて画面に表示することで、ユーザにとって分かりやすい案内を行えるようにしている。
【０００８】
しかしながら、図４（ａ）に例示したような実写画像の表示によるルート案内を行ったときに、例えば、前方に先行車両が走行している場合や、天候不良等により前方の視界が悪い場合などは、その先行車両によって前方の視界が遮られたり、また、視界不良により画面上でのルート案内表示が見え難かったりするため、車両前方の状況を正確に把握することができないといった不都合があった。つまり、車両前方を含めた周辺の環境条件によっては、ユーザにとって必ずしも満足する（認識しやすい）ルート案内を行うことができないといった課題があった。
【０００９】
本発明は、かかる従来技術における課題に鑑み創作されたもので、周辺環境に変化があった場合でもユーザにとって認識しやすい最適なルート案内を行うことができる車載用ナビゲーション装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記の従来技術の課題を解決するため、本発明によれば、画面を通して情報を提供する表示手段と、地図データを格納した記憶手段と、走行中の自車の前方の画像を取得する撮像手段と、前記撮像手段により取得された画像にルート案内表示を重ね合わせて合成した実写画像と、前記地図データ及びナビゲーション機能に基づいて生成したバーチャル画像とを選択的に前記表示手段の画面に表示するよう適応された描画手段と、前記表示手段、記憶手段、撮像手段及び描画手段に動作可能に接続された制御手段とを具備し、前記制御手段は、前記描画手段に対し前記実写画像を前記表示手段の画面に表示させている状態で、該画面上でのルート案内表示を見え難くする要因が発生していると判定したときに、前記バーチャル画像による案内画面に切り替えるよう制御することを特徴とする車載用ナビゲーション装置が提供される。
【００１１】
本発明に係る車載用ナビゲーション装置によれば、制御手段により、撮像手段で取得された画像にルート案内表示を合成した実写画像から、当該ルート案内表示を見え難くする要因（例えば、先行車両の存在、天候不良等に起因する視界不良など）が発生しているかどうかを判断し、その要因が発生していると判定したときに、描画手段を介して、実写画像からバーチャル画像による案内画面への切替を行わせるようにしている。
【００１２】
すなわち、撮像手段による実写画像から周辺環境の変化を認識し、その認識に基づいて実写画像／バーチャル画像による案内画面の切り替えを行うようにしている。これによって、周辺環境に変化があった場合でもユーザにとって認識しやすい最適なルート案内を提供することが可能となる。
【００１３】
本発明に係る車載用ナビゲーション装置の他の構成上の特徴及びそれに基づく具体的な処理態様、有利な利点等については、後述する発明の実施の形態を参照しながら詳細に説明する。
【発明を実施するための最良の形態】
【００１４】
以下、本発明の実施の形態について、添付の図面を参照しながら説明する。
【００１５】
図１は本発明の一実施形態に係る車載用ナビゲーション装置の構成をブロック図の形態で示したものである。
【００１６】
本実施形態に係る車載用ナビゲーション装置３０は、図示のように記録媒体としてのハードディスクドライブ（ＨＤＤ）１と、ユーザインタフェースとしての操作部２と、ＧＰＳ受信機３と、自立航法センサ４と、通信機５と、超音波センサ６と、レーダ７と、ビーコン受信機８と、ＦＭ多重受信機９と、外光センサ１０と、車載カメラ１１と、表示装置１２と、スピーカ１３と、ナビゲーション装置本体２０とを備えている。さらに、ナビゲーション装置本体２０には、図示のようにバッファメモリ２１と、画像処理部２２と、マイクロコンピュータ（マイコン）により構成された制御部２３と、地図描画部２４と、操作画面・マーク発生部２５と、誘導経路記憶部２６と、誘導経路描画部２７と、表示制御部２８と、音声出力部２９とが内蔵されている。
【００１７】
ＨＤＤ１は、地図データベース（地図ＤＢ）として機能する。すなわち、ＨＤＤ１によって駆動されるディスク（図示せず）には、その割り当てられた記憶領域に地図データが格納されている。この地図は、各縮尺レベル（１／１２５００、１／２５０００、１／５００００等）に応じて適当な大きさの経度幅及び緯度幅に区切られており、道路等は経緯度で表現された点（ノード）の座標集合で表されている。道路は２以上のノードの連結からなり、２つのノードを連結した部分はリンクと呼ばれる。地図データは各種のレイヤから構成され、例えば、道路リスト、ノードテーブル、交差点構成ノードリスト、交差点ネットリスト等からなるマップマッチング用及び経路探索用の道路レイヤ、地図画面上に道路、建物、施設、公園、河川等を表示するための背景レイヤ、行政区画名、道路名、交差点名、建物や施設等の名称や住所等の文字、地図記号等を表示するための文字・記号レイヤ等から構成されている。
【００１８】
また、ＨＤＤ１内の別の記憶領域には、いわゆるドライブレコーダ情報が記録されるようになっている。すなわち、制御部２３からの制御に基づき、車載カメラ１１で継続的に撮影して得られた車両前方の画像のデータが、その取得時（撮像時）の時間情報と共に、所定のタイミングで時系列的に逐次格納されるようになっている。このようにドライブレコーダ情報として記録しておくのは、次に同じポイントを通過したときに、地図ＤＢに照らし合わせて当該ポイントの実写画像を表示装置１２の画面に表示できるようにするためである。また、万一衝突事故に遭った場合に事故原因等の究明に利用できるようにするためである。さらに、ＨＤＤ１内の別の記憶領域には、車載カメラ１１で撮影して得られた画像のパターン認識を行うために当該画像のデータを比較照合するためのパターンマッチング用の参照データが格納されている。この参照データ（パターン）には、車線区分を標示する白線やその他横断歩道等を示す白線（車線横断線）のパターン、道路上に描かれた道路標示のパターン、路肩等に設置された道路標識のパターン等が含まれている。
【００１９】
操作部２は、ナビゲーション装置本体２０を操作するためにユーザが指示した情報を入力するためのものであり、例えば、赤外線通信等によりナビゲーション装置本体２０内の制御部２３に接続されるリモコン送信器（以下、単に「リモコン」という）の形態を有している。特に図示はしないが、かかるリモコンには、後述する表示装置１２に各種操作画面を表示させたり、画面上の各種メニューや各種項目等を選択したり、選択したメニュー等を実行させたりするための各種操作キーやボタン、ジョイスティック等が設けられている。操作部２の形態としては、リモコン以外に、センターコンソール上に固定的に設けられた「操作パネル」であってもよいし、必要に応じて表示装置の画面上に配置される「タッチパネル」であってもよい。この場合、当該表示装置には、表示部を構成するＬＣＤパネル上に透明電極からなるタッチパネル（抵抗感圧方式、静電容量結合方式等）が配置され、さらにタッチパネル上で操作者の指が触れた位置を検出してその結果を制御部２３に出力する操作位置検出部が設けられる。
【００２０】
ＧＰＳ受信機３は、複数のＧＰＳ衛星から送られてくる電波をアンテナで受信して自車の現在位置の経度及び緯度を検出し、３次元測位処理等を行って自車の絶対位置及びその方位（ＧＰＳ方位）を算出する。ＧＰＳ方位は、現時点における自車位置と１サンプリング時間（例えば、１秒）前の自車位置とに基づいて算出することができる。自立航法センサ４は、自車の方位を検出するためのジャイロ等の角度センサや加速度センサ、一定の走行距離毎にパルス（車速パルス）を発生する距離センサ等を有しており、これらのセンサによって自車の相対位置や方位、車速等を算出する。通信機５は、アンテナを介して外部と通信するための車載電話機や携帯電話機（この場合は専用のモデムが付属する）等からなり、例えば、地図データの配信サービスを行う情報センタ等と通信して所要の最新の地図情報を取得したりする場合に使用される。
【００２１】
超音波センサ６は車両外部の適当な箇所に設置されており、特に図示はしないが、例えば、車両前方のバンパーの近傍に設置されている。この超音波センサ６は、その送信機から発信される超音波が車両前方に指向されるよう配置されており、これにより、車両前方の所定の距離の範囲内に障害物（この場合、先行車両）が存在するかどうかを検出することができる。レーダ７は、車載カメラ１１の撮像方向（この場合、車両前方）に合わせて当該方向に信号を放射できるように車両の適当な箇所（例えば、車体の頂上部）に設置されている。このレーダ７において、発信部から当該方向に向けてミリ波等の電波信号を発信すると、発信された電波信号は、当該方向に何らかの物体（この場合、先行車両）が有れば当該物体で反射され、反射波信号として戻ってくる。受信部では、当該物体からの反射波を受信し、受信された反射波の強度と所定のしきい値とを比較して、反射波強度が当該しきい値以上である場合に、当該物体の存在を検出する。つまり、レーダ７は、超音波センサ６と同様に、車両前方の所定の距離の範囲内に先行車両が存在するかどうかを検出するのに利用され得る。
【００２２】
ビーコン受信機８は、自車が走行する道路の路肩に設置されている電波ビーコン発信機又は光ビーコン発信機からリアルタイムで送られてくる渋滞情報等の交通情報（いわゆるＶＩＣＳ情報）のデータを含む信号を受信し、その受信信号を復調することによって交通情報のデータを抽出し、制御部２３に出力する。同様にＦＭ多重受信機９は、ＦＭアンテナを介して渋滞情報等の交通情報（ＶＩＣＳ情報）のデータを含むＦＭ多重放送波を受信し、その受信信号を復調することによって多重化されている交通情報のデータを抽出し、制御部２３に出力する。制御部２３に出力された渋滞情報等の交通情報（データ）は、後述するように実写画像（合成画像）による案内画面からバーチャル画像による案内画面への切り替えの際に利用され得る。
【００２３】
外光センサ１０は車両外部の適当な箇所に設置されており、特に図示はしないが、例えば、屋根の中央部分に設置されている。この外光センサ１０は、車両周囲の明るさを検出するためのものであり、その検出された外光の光量に応じた信号（アナログ信号）をデジタル信号に変換して制御部２３に出力する。制御部２３に出力された外光信号（車両周囲の明るさ）は、ビーコン受信機８及びＦＭ多重受信機９の各出力データと同様に、実写画像（合成画像）による案内画面からバーチャル画像による案内画面への切り替えの際に利用され得る。
【００２４】
車載カメラ１１は車両の適当な箇所に設置されており、特に図示はしないが、例えば、車室内の運転席前方のルームミラーの近傍に設けてもよいし、車両の外部において前方のバンパーの上部もしくは屋根の中央部分に設けてもよい。この車載カメラ１１は、そのレンズを車両前方に向けて設置されており、本装置３０が稼働中の間、継続的に車両前方の画像（進行方向に見えている景色）を取得している。
【００２５】
表示装置１２はＬＣＤモニタ等からなり、少なくとも運転席から表示画面を見ることができるようにセンターコンソールのほぼ中間位置（操作部２として「操作パネル」を使用した場合には、この操作パネルの上方の位置）に設置されている。この表示装置１２の画面には、ナビゲーション装置本体２０からの制御に基づき、基本的にはナビゲーションに係る案内情報（自車の現在位置の周囲の地図、自車位置マーク、自車位置から目的地までの誘導経路、施設検索に基づいた案内情報など）が表示される。さらに本発明に関連する情報として、後述するように制御部２３からの制御に基づき表示制御部２８を介して切り替えられたルート案内画面（実写画像（合成画像）による案内画面、又はバーチャル画像による案内画面）が表示される。スピーカ１３は、車室内の所定の箇所に所要の個数（例えば、フロント席の左右の近傍とリア席（１列）の左右の近傍にそれぞれ２個ずつ）設置されており、ナビゲーション装置本体２０からの制御に基づいてナビゲーションに係る案内情報を音声出力する。
【００２６】
ナビゲーション装置本体２０において、バッファメモリ２１は、制御部２３からの制御に基づきＨＤＤ１を介してディスク（図示せず）から読み出された所要の地図データを一時的に格納しておくためのメモリである。画像処理部２２は、車載カメラ１１で撮影して得られた車両前方の画像を他車両等の物体、車両周辺の道路標識や路面状況等として画像認識する機能ブロックであり、車載カメラ１１で取得された画像（アナログ信号）を増幅し、デジタル化して制御部２３に出力する。この画像処理部２２では、一般的な画像認識装置において通常行われている処理と同様の処理が行われ、例えば、車載カメラ１１で取得された画像のノイズを除去したり、２値化やエッジ検出等の手法を用いて、取得した画像の中から特徴となる画像を識別し、その識別した画像を予めＨＤＤ１内に用意した複数のマッチング用パターンと比較照合し、一致した場合にその結果を出力する。本実施形態に関連する処理としては、車載カメラ１１で撮像された画像（信号）から、先行車両等の物体を検知したり、道路上の白線（車線区分標示白線、横断歩道、道路標示等）を検知したり、取得した画像の輝度に基づいて昼か夜かを検知したりする。
【００２７】
制御部２３はナビゲーション装置本体２０の中枢をなし、特に図示はしないが、ナビゲーションに必要な処理（経路探索処理、地図や自車位置マーク、誘導経路等の描画処理、マップマッチング及びそれに基づいた自車位置修正処理など）を規定したプログラムを格納したＲＯＭ、各種処理に必要なデータを一時格納しておくためのＲＡＭ等のメモリを内蔵しており、さらに、タイマ機能も内蔵している。
【００２８】
この制御部２３は、メモリに格納されたプログラムに従い、基本的には、ＧＰＳ受信機３の出力から自車の現在位置を検出したり、自立航法センサ４の出力から自車の方位や走行速度を算出したり、ＨＤＤ１を制御して表示させたい範囲（自車の現在位置を含む所要の範囲）の地図データを読み出してバッファメモリ２１に取り込み、その地図データを用いて設定された探索条件で自車の現在位置から目的地までの誘導経路を探索したり、その地図データと自立航法センサ４から出力されるデータとを用いて所定の走行距離（又は時間）毎にマップマッチング処理を行い自車位置を走行道路上に位置修正したりするなど、ナビゲーションに係る種々の処理を制御する。さらに制御部２３は、本発明に関連する処理として、後述するように実写画像（合成画像）又はバーチャル画像による案内画面の切替表示に係る処理を制御する。
【００２９】
地図描画部２４は、制御部２３からの制御に基づいてバッファメモリ２１に読み出された地図データを用いて地図画像の描画処理を行う機能ブロックである。操作画面・マーク発生部２５は、制御部２３からの制御に基づき、動作状況に応じて各種メニュー画面（操作画面）や自車位置マーク、カーソル等の各種マークを生成する機能ブロックである。誘導経路記憶部２６は、制御部２３によって探索された誘導経路の出発地（自車位置）から目的地までの全てのノードに関するデータを格納しておくためのメモリである。誘導経路描画部２７は、制御部２３からの制御に基づいて誘導経路記憶部２６から誘導経路のデータを読み出し、当該誘導経路を他の道路とは異なる表示態様（例えば、色を変える、線幅を太くするなど）で描画する機能ブロックである。
【００３０】
表示制御部２８は、表示装置１２の画面に案内情報として表示されるべき画像の生成及びその描画を制御するための機能ブロックであり、図示はしないが、グラフィックコントローラやビデオＲＡＭ等を有している。この表示制御部２８は、基本的には、制御部２３からの制御に基づき、地図描画部２４で描画された地図画像に、誘導経路描画部２７で描画された誘導経路、操作画面・マーク発生部２５で生成された各種メニュー画面や自車位置マーク等の各種マークを重ね合わせ、その合成した画像を表示装置１２の画面に表示させる機能を有している。さらに表示制御部２８は、本発明に関連する処理として、後述するように制御部２３からの制御に基づいて、カメラ１１で撮影された車両前方の映像に案内ルートや警告メッセージ等の表示を重ね合わせて合成した画像（実写画像）と、地図ＤＢとナビゲーション機能に基づいて生成したバーチャル画像とを選択的に切り替えて表示装置１２の画面に表示させる機能も有している。音声出力部２９は、制御部２３からの制御に基づいて上記のナビゲーションに係る案内情報（デジタル情報）をアナログ音声信号に変換してスピーカ１３に出力する機能ブロックである。
【００３１】
以上のように構成された車載用ナビゲーション装置３０において、ＨＤＤ１は「記憶手段」に、車載カメラ１１は「撮像手段」に、表示装置１２は「表示手段」に、制御部２３は「制御手段」に、表示制御部２８は「描画手段」に、それぞれ対応している。
【００３２】
本実施形態に係る車載用ナビゲーション装置３０は、後述するように、ナビゲーションに係る情報及び各種センサの情報（地図ＤＢ（ＨＤＤ１）、ＧＰＳ受信機３、自立航法センサ４、超音波センサ６、レーダ７、ビーコン受信機８、ＦＭ多重受信機９、外光センサ１０、車載カメラ１１）から周辺環境の変化を認識し、その認識結果に基づいて実写画像による案内画面とバーチャル画像による案内画面との切り替えを行うようにしたことを特徴とする。周辺環境の変化を認識する態様としては種々の手法が考えられる。想定される幾つかの手法について、以下に説明する。
【００３３】
実写画像（ルート表示等との合成画像）を表示装置１２の画面に表示させているときに当該画面上でのルート案内表示を見え難くする要因としては、先ず、「前方視界を遮る先行車両」がある。これについては、カメラ１1 で取得された画像を画像処理部２２で画像認識することで先行車両の有無を認識し、先行車両を検知した場合で、さらに表示画面内で一定面積以上を占める場合に、バーチャル画像による案内画面への切り替えを行う。先行車両の有無を認識する手段としては、レーダ７や超音波センサ６等による物体検出技術を利用してもよい。
【００３４】
また、ルート案内表示を見え難くする別の要因としては「周囲の明るさ」がある。この場合、周囲が暗く、実写画像（カメラ１１の撮像画像）上で十分な視界が得られないと判定したときに、バーチャル画像による案内画面への切り替えを行う。例えば、撮像画像の明暗判定による切り替え（所定の照度に満たない暗さの場合）や、地図ＤＢと画像処理部２２による白線認識の組合せに基づいた切り替え等が考えられる。この場合、道路を走行中にカメラ１1 によって取得された画像には、車線区分を標示する白線や横断歩道を示す白線、道路上に描かれた道路標示（白線）などが含まれている。従って、この撮像画像に含まれる「白線」を画像処理部２２において画像認識し、この「白線」認識に基づき制御部２３において地図ＤＢを参照することで、実際は「白線」が存在するはずの道路上で当該「白線」が検出されない場合には、カメラ１１の実写画像による案内画面では十分な前方視界が得られないと判定して、バーチャル画像による案内画面に切り替える。また、制御部２３のタイマ機能を利用して周囲が暗いと判断した場合、ディマーやヘッドライトが「オン」された場合等に、画面切替を行ってもよい。
【００３５】
また、ルート案内表示を見え難くする別の要因としては「道路形状」がある。これについては、地図ＤＢを参照して、道路形状の条件により、カメラ１１で撮像された実写画像による案内では十分な視界が得られないと判定したときに、バーチャル画像による案内画面に切り替える。その判定の基準としては、一定の曲率半径（Ｒ）以上のカーブがある場合、曲がるべき交差点が連続している場合、ビル等が密集して交差点の状況が判別しづらいと想定される場合などが考えられる。
【００３６】
また、ルート案内表示を見え難くする別の要因としては「特殊環境」がある。例えば、トンネル内や渋滞多発エリア等が該当する。これについては、地図ＤＢを参照して、視界が暗いと判定したときに、バーチャル画像による案内画面に切り替える。
【００３７】
また、ルート案内表示を見え難くする別の要因としては「悪天候時」がある。例えば、路面の画像認識により雨／雪などにより路面がぬれている場合や凍結している場合、カメラ画像認識によりレンズ表面に汚れや水滴等が付着していると想定される場合、ワイパ情報により天候が悪いと予想される場合等において、カメラ１１で撮像された実写画像による案内では十分な視界が得られないと判定し、画面を切り替える。
【００３８】
以下、本実施形態に係る車載用ナビゲーション装置３０において行う実写画像又はバーチャル画像による案内画面の切替表示に係る処理について、その処理フローの一例を示す図２及び図３を参照しながら説明する。併せて、図４に示す画面表示例も参照しながら補足説明する。
【００３９】
先ず本装置３０の初期状態として、制御部２３からの制御に基づき表示制御部２８により、カメラ１１で撮影された車両前方の映像にルート表示等を合成して得られた画像（実写画像）を表示装置１２の画面に表示可能な状態（実写画像の表示機能が「オン」状態）にあるものとする。
【００４０】
このような状態で、最初のステップＳ１では、制御部２３において、周囲の明るさは所定の照度（例えば、１０００ルクス）以上ある（ＹＥＳ）か否（ＮＯ）かを判定する。この判定は、制御部２３からの制御に基づき画像処理部２２により、又は外光センサ１０の出力信号に基づいて、行うことができる。そして、判定結果がＹＥＳの場合にはステップＳ２に進み、判定結果がＮＯの場合にはステップＳ７に進む。
【００４１】
ステップＳ２では、制御部２３において、前方所定の距離（例えば、５０ｍ）の範囲内に先行車両が存在しない（ＹＥＳ）か否（ＮＯ）かを判定する。この判定は、ＧＰＳ受信機３で算出された自車位置と、カメラ１１の撮像画像（画像処理部２２を通して画像処理されたもの）と、レーダ７の出力とに基づいて行うことができる。そして、判定結果がＹＥＳの場合にはステップＳ３に進み、判定結果がＮＯの場合にはステップＳ７に進む。
【００４２】
ステップＳ３では、制御部２３において、現在走行中の道路に所定の曲率半径（Ｒ）以上のカーブ（例えば、Ｒ≧１２０ｍのカーブ）がある（ＹＥＳ）か否（ＮＯ）かを判定する。つまり、道路の「曲がり」が小さいか否かを判定する。この判定は、地図ＤＢ（ＨＤＤ１）を参照して行うことができる。そして、判定結果がＹＥＳの場合にはステップＳ４に進み、判定結果がＮＯの場合にはステップＳ７に進む。
【００４３】
ステップＳ４では、制御部２３において、現在走行中の道路にカーブが連続して存在しない（ＹＥＳ）か否（ＮＯ）かを判定する。この判定は、ステップＳ３で行った処理と同様にして、地図ＤＢを参照して行うことができる。そして、判定結果がＹＥＳの場合にはステップＳ５に進み、判定結果がＮＯの場合にはステップＳ６に進む。
【００４４】
ステップＳ６では、制御部２３において、現在走行中の道路に所定の曲率半径（Ｒ）未満のカーブ（例えば、Ｒ＜１２０ｍ）のカーブが存在しない（ＹＥＳ）か否（ＮＯ）かを判定する。この判定は、ステップＳ３で行った処理と同様にして、地図ＤＢを参照して行うことができる。そして、判定結果がＹＥＳの場合にはステップＳ５に進み、判定結果がＮＯの場合にはステップＳ７に進む。
【００４５】
ステップＳ５では、制御部２３からの制御に基づき表示制御部２８を介して表示装置１２の画面に、表示制御部２８において生成された実写画像（ルート表示等との合成画像）を表示する。そして、ステップＳ８（図３）に進む。
【００４６】
このときの画面表示例を図４（ａ）に示す。図示の例では、車載カメラ１１で撮影された車両前方の映像（実写画像４１）にナビゲーション機能に基づいたルート表示（図中、ハッチングで示す部分の画像４２）を重ね合わせて合成した画像（案内画面４０）が表示されている。
【００４７】
一方、ステップＳ７では、制御部２３からの制御に基づき表示制御部２８を介して表示装置１２の画面に、表示制御部２８において生成されたバーチャル画像を表示する。そして、ステップＳ１１（図３）に進む。
【００４８】
このときの画面表示例を図４（ｂ）に示す。図示の例では、バーチャル画像として、三次元（３Ｄ）詳細市街地図の画像５１に、ナビゲーション機能に基づき探索された誘導経路（案内ルート）５２と、自車位置マーク５３とを重ね合わせた画像（案内画面５０）が表示されている。かかる３Ｄ詳細市街地図（バーチャル画像）は、車線数の多い道路を走行する場合や、地図ＤＢとして高精度な地図情報を保有している場合等において、優先的に表示される。現状の地図ＤＢには、数値的に幅のある粗い情報ではあるが、リンク情報の道路属性フラグとして「幅員（道路幅）」及び「車線数」の情報が含まれている。
【００４９】
周辺環境によっては（曲がるべき交差点が連続している場合や、田舎道などでビルの立体表示が貧弱になる場合など）、上記の３Ｄ詳細市街地図の代わりに、バーチャル情報として、二次元（２Ｄ）地図の画像に案内ルートと自車位置マークを重ね合わせた画像を表示する。
【００５０】
次に図３を参照すると、先ずステップＳ８では（実写画像を表示している状態）、制御部２３において、ルート案内を現在行っている（ＹＥＳ）か否（ＮＯ）かを判定する。判定結果がＹＥＳの場合にはステップＳ９に進み、判定結果がＮＯの場合にはステップＳ１（図２）に戻って上記の処理を繰り返す。
【００５１】
ステップＳ９では、制御部２３において、案内ルート上で前方所定の距離（例えば、１００ｍ）の範囲内で右左折を２回以上する（ＹＥＳ）か否（ＮＯ）かを判定する。この判定は、ＧＰＳ受信機３で算出された自車位置と、誘導経路記憶部２６に格納されている誘導経路のデータ（ルート情報）と、地図ＤＢとに基づいて行うことができる。そして、判定結果がＹＥＳの場合にはステップＳ１０に進み、判定結果がＮＯの場合にはステップＳ１（図２）に戻って上記の処理を繰り返す。
【００５２】
ステップＳ１０では、ステップＳ７で行った処理と同様にして、制御部２３からの制御に基づき表示制御部２８を介して表示装置１２の画面に、表示制御部２８において生成されたバーチャル画像を表示する。そして、そして、ステップＳ１２に進む。
【００５３】
一方、ステップＳ１１では（バーチャル画像を表示している状態）、ステップＳ８で行った処理と同様にして、制御部２３において、ルート案内をしている（ＹＥＳ）か否（ＮＯ）かを判定する。判定結果がＹＥＳの場合にはステップＳ１２に進み、判定結果がＮＯの場合にはステップＳ１４に進む。
【００５４】
ステップＳ１２では、制御部２３において、交差点を通過した（ＹＥＳ）か否（ＮＯ）かを判定する。この判定は、ＧＰＳ受信機３で算出された自車位置と、地図ＤＢとに基づいて行うことができる。そして、判定結果がＹＥＳの場合にはステップＳ１３に進み、判定結果がＮＯの場合には当該判定処理を繰り返す。
【００５５】
ステップＳ１３では、ステップＳ９で行った処理と同様にして、制御部２３において、案内ルート上で前方所定の距離（例えば、５０ｍ）の範囲内で右左折をしない（ＹＥＳ）か否（ＮＯ）かを判定する。判定結果がＹＥＳの場合にはステップＳ１（図２）に戻って上記の処理を繰り返し、判定結果がＮＯの場合にはステップＳ１２に戻って上記の処理を繰り返す。
【００５６】
一方、ステップＳ１４では、ステップＳ１２で行った処理と同様にして、制御部２３において、交差点を通過した（ＹＥＳ）か否（ＮＯ）かを判定する。判定結果がＹＥＳの場合にはステップＳ１（図２）に戻って上記の処理を繰り返し、判定結果がＮＯの場合には当該判定処理を繰り返す。
【００５７】
以上説明したように、本実施形態に係る車載用ナビゲーション装置３０（図１）において行う実写画像又はバーチャル画像による案内画面の切替表示に係る処理（図２、図３）によれば、制御部２３により、カメラ１１で取得された画像にルート表示等を合成した実写画像を主として、ナビゲーションに係る情報及び各種センサの情報（地図ＤＢ、ＧＰＳ受信機３、自立航法センサ４、超音波センサ６、レーダ７、ビーコン受信機８、ＦＭ多重受信機９、外光センサ１０、車載カメラ１１）から、当該ルート表示等を見え難くする要因（先行車両の存在、天候不良等に起因する視界不良など）が発生しているかどうかを判断し、その要因が発生していると判定したときに、表示制御部２８を介して、実写画像からバーチャル画像による案内画面への切替を行わせるようにしている。
【００５８】
つまり、車載カメラ１１による撮像画像（実写画像）とナビゲーションに係る情報及び各種センサの情報から自車周辺の環境の変化を認識し、その認識に基づいて実写画像／バーチャル画像による案内画面の切り替えを行うようにしている。これによって、周辺環境に変化があった場合でも、ユーザにとって認識しやすい最適なルート案内表示を行うことができる。
【００５９】
上述した実施形態では、バーチャル画像による案内画面５０（図４（ｂ））を表示装置１２の画面に表示させている状態で、交差点の通過を検知したときに、実写画像による案内画面４０（図４（ａ））に切り替えるよう制御した場合を例にとって説明したが、本発明の要旨からも明らかなように、バーチャル画像から実写画像による案内画面への切替タイミングはこれに限定されないことはもちろんである。
【００６０】
また、上述した実施形態では、地図データ等を格納する記録媒体としてＨＤＤ１を使用しているが、記録媒体の形態はこれに限定されず、ＤＶＤドライブ（ＤＶＤ−ＲＯＭ）やＣＤドライブ（ＣＤ−ＲＯＭ）等の他の記録媒体を適宜使用することも可能である。
【図面の簡単な説明】
【００６１】
【図１】本発明の一実施形態に係る車載用ナビゲーション装置の構成を示すブロック図である。
【図２】図１の装置において行う実写画像又はバーチャル画像による案内画面の切替表示に係る処理の一例（その１）を示すフロー図である。
【図３】図１の装置において行う実写画像又はバーチャル画像による案内画面の切替表示に係る処理の一例（その２）を示すフロー図である。
【図４】案内画面の切替表示に係る画面表示例を示す図である。
【符号の説明】
【００６２】
１…ＨＤＤ（地図データベース／記憶手段）、
３…ＧＰＳ受信機、
４…自立航法センサ、
６…超音波センサ、
７…レーダ、
８…ビーコン受信機、
９…ＦＭ多重受信機、
１１…車載カメラ（撮像手段）、
１２…表示装置（表示手段）、
２０…ナビゲーション装置本体、
２２…画像処理部、
２３…制御部（制御手段）、
２８…表示制御部（描画手段）、
３０…車載用ナビゲーション装置、
４０，５０…案内画面、
４１…実写画像、
４２…ルート表示（画像）、
５１…３Ｄ地図画像、
５２…案内ルート（誘導経路）。
【技術分野】
【０００１】
本発明は車載用ナビゲーション装置に関し、特に、表示画面を通してルート案内を行うに際しユーザにとって認識しやすい表示を行うよう適応された車載用ナビゲーション装置に関する。
【背景技術】
【０００２】
典型的な車載用ナビゲーション装置においては、ナビゲーションに係る一切の処理を制御するＣＰＵ等の制御装置、地図データを格納したＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等の記憶装置、ＬＣＤモニタ等の表示装置、自車の現在位置を検出するためのＧＰＳ受信機、自車の方位や走行速度等を検出するためのジャイロ等の自立航法センサや車速センサなどが設けられている。そして、制御装置により、自車の現在位置を含む地図データを記憶装置から読み出し、この地図データに基づいて自車位置の周囲の地図画像を表示装置の画面に描画すると共に、自車の現在位置を指示する自車位置マークを画面上に重ね合わせて表示し、自車の移動に応じて地図画像をスクロール表示したり、地図画像を画面に固定して自車位置マークを移動させたりして、自車が現在何処を走行しているのかを一目でわかるようにしている。
【０００３】
また、車載用ナビゲーション装置には、ユーザが目的地に向けて道路を間違うことなく容易に走行できるように案内する機能（経路誘導機能）が搭載されている。この経路誘導機能によれば、制御装置により、地図データを用いて出発地（典型的には自車位置）から設定された目的地までを結ぶ最適な経路を、横型探索法やダイクストラ法等のシミュレーション計算を行って探索し、その探索した経路を誘導経路として記憶しておき、走行中、地図画像上にその誘導経路を他の道路とは識別可能に（例えば、色を変えたり、線幅を太くして）表示したり、また誘導経路上で接近中の交差点まで所定距離に達したときに、音声案内と共に地図画像上にその交差点の拡大図（交差点での進行方向を示す矢印、交差点までの距離、交差点名などを含む）を表示したりすることで、目的地に向けた最適な経路をユーザが把握できるようになっている。
【０００４】
また、最近では、車両にカメラを搭載してその撮像画像をナビゲーションに利用することが行われている。例えば、車両の進行方向（前方）を撮影するカメラを設置し、このカメラで取得された実写画像上に、上記のナビゲーション機能に基づき探索された経路（案内ルート）の表示を重ね合わせて合成し、その合成画像を表示装置の画面に表示しながら目的地まで案内する手法が実用化されている。図４（ａ）はその場合の案内画面の一例を示したものであり、図示の例では、カメラで撮影された車両前方の映像（実写画像４１）にナビゲーション機能に基づいたルート表示（図中、ハッチングで示す部分の画像４２）を重ね合わせて合成した画像（案内画面４０）が表示されている。
【０００５】
なお、以下の記述において特に定義していない限り、単に「実写画像」というときは、便宜上、図４（ａ）に例示したような画像（カメラの撮像画像にルート表示等を合成して得られた画像）を指すものとする。
【０００６】
かかる従来技術に関連する技術としては、例えば、特許文献１に記載されるように、ナビゲーション装置により、走行中の道路においてユーザが進行方向に見ている景色（実際の画像）をカメラで撮影し、撮影された実写画像とユーザへの案内を行う案内画像とを重ね合わせ、表示部に表示するようにしたものがある。
【特許文献１】特開２００５−２１４８５７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
上述したように従来の車載用ナビゲーション装置においては、目的地までのルート案内を行う際に車載カメラで取得した車両前方の映像も併せて画面に表示することで、ユーザにとって分かりやすい案内を行えるようにしている。
【０００８】
しかしながら、図４（ａ）に例示したような実写画像の表示によるルート案内を行ったときに、例えば、前方に先行車両が走行している場合や、天候不良等により前方の視界が悪い場合などは、その先行車両によって前方の視界が遮られたり、また、視界不良により画面上でのルート案内表示が見え難かったりするため、車両前方の状況を正確に把握することができないといった不都合があった。つまり、車両前方を含めた周辺の環境条件によっては、ユーザにとって必ずしも満足する（認識しやすい）ルート案内を行うことができないといった課題があった。
【０００９】
本発明は、かかる従来技術における課題に鑑み創作されたもので、周辺環境に変化があった場合でもユーザにとって認識しやすい最適なルート案内を行うことができる車載用ナビゲーション装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記の従来技術の課題を解決するため、本発明によれば、画面を通して情報を提供する表示手段と、地図データを格納した記憶手段と、走行中の自車の前方の画像を取得する撮像手段と、前記撮像手段により取得された画像にルート案内表示を重ね合わせて合成した実写画像と、前記地図データ及びナビゲーション機能に基づいて生成したバーチャル画像とを選択的に前記表示手段の画面に表示するよう適応された描画手段と、前記表示手段、記憶手段、撮像手段及び描画手段に動作可能に接続された制御手段とを具備し、前記制御手段は、前記描画手段に対し前記実写画像を前記表示手段の画面に表示させている状態で、該画面上でのルート案内表示を見え難くする要因が発生していると判定したときに、前記バーチャル画像による案内画面に切り替えるよう制御することを特徴とする車載用ナビゲーション装置が提供される。
【００１１】
本発明に係る車載用ナビゲーション装置によれば、制御手段により、撮像手段で取得された画像にルート案内表示を合成した実写画像から、当該ルート案内表示を見え難くする要因（例えば、先行車両の存在、天候不良等に起因する視界不良など）が発生しているかどうかを判断し、その要因が発生していると判定したときに、描画手段を介して、実写画像からバーチャル画像による案内画面への切替を行わせるようにしている。
【００１２】
すなわち、撮像手段による実写画像から周辺環境の変化を認識し、その認識に基づいて実写画像／バーチャル画像による案内画面の切り替えを行うようにしている。これによって、周辺環境に変化があった場合でもユーザにとって認識しやすい最適なルート案内を提供することが可能となる。
【００１３】
本発明に係る車載用ナビゲーション装置の他の構成上の特徴及びそれに基づく具体的な処理態様、有利な利点等については、後述する発明の実施の形態を参照しながら詳細に説明する。
【発明を実施するための最良の形態】
【００１４】
以下、本発明の実施の形態について、添付の図面を参照しながら説明する。
【００１５】
図１は本発明の一実施形態に係る車載用ナビゲーション装置の構成をブロック図の形態で示したものである。
【００１６】
本実施形態に係る車載用ナビゲーション装置３０は、図示のように記録媒体としてのハードディスクドライブ（ＨＤＤ）１と、ユーザインタフェースとしての操作部２と、ＧＰＳ受信機３と、自立航法センサ４と、通信機５と、超音波センサ６と、レーダ７と、ビーコン受信機８と、ＦＭ多重受信機９と、外光センサ１０と、車載カメラ１１と、表示装置１２と、スピーカ１３と、ナビゲーション装置本体２０とを備えている。さらに、ナビゲーション装置本体２０には、図示のようにバッファメモリ２１と、画像処理部２２と、マイクロコンピュータ（マイコン）により構成された制御部２３と、地図描画部２４と、操作画面・マーク発生部２５と、誘導経路記憶部２６と、誘導経路描画部２７と、表示制御部２８と、音声出力部２９とが内蔵されている。
【００１７】
ＨＤＤ１は、地図データベース（地図ＤＢ）として機能する。すなわち、ＨＤＤ１によって駆動されるディスク（図示せず）には、その割り当てられた記憶領域に地図データが格納されている。この地図は、各縮尺レベル（１／１２５００、１／２５０００、１／５００００等）に応じて適当な大きさの経度幅及び緯度幅に区切られており、道路等は経緯度で表現された点（ノード）の座標集合で表されている。道路は２以上のノードの連結からなり、２つのノードを連結した部分はリンクと呼ばれる。地図データは各種のレイヤから構成され、例えば、道路リスト、ノードテーブル、交差点構成ノードリスト、交差点ネットリスト等からなるマップマッチング用及び経路探索用の道路レイヤ、地図画面上に道路、建物、施設、公園、河川等を表示するための背景レイヤ、行政区画名、道路名、交差点名、建物や施設等の名称や住所等の文字、地図記号等を表示するための文字・記号レイヤ等から構成されている。
【００１８】
また、ＨＤＤ１内の別の記憶領域には、いわゆるドライブレコーダ情報が記録されるようになっている。すなわち、制御部２３からの制御に基づき、車載カメラ１１で継続的に撮影して得られた車両前方の画像のデータが、その取得時（撮像時）の時間情報と共に、所定のタイミングで時系列的に逐次格納されるようになっている。このようにドライブレコーダ情報として記録しておくのは、次に同じポイントを通過したときに、地図ＤＢに照らし合わせて当該ポイントの実写画像を表示装置１２の画面に表示できるようにするためである。また、万一衝突事故に遭った場合に事故原因等の究明に利用できるようにするためである。さらに、ＨＤＤ１内の別の記憶領域には、車載カメラ１１で撮影して得られた画像のパターン認識を行うために当該画像のデータを比較照合するためのパターンマッチング用の参照データが格納されている。この参照データ（パターン）には、車線区分を標示する白線やその他横断歩道等を示す白線（車線横断線）のパターン、道路上に描かれた道路標示のパターン、路肩等に設置された道路標識のパターン等が含まれている。
【００１９】
操作部２は、ナビゲーション装置本体２０を操作するためにユーザが指示した情報を入力するためのものであり、例えば、赤外線通信等によりナビゲーション装置本体２０内の制御部２３に接続されるリモコン送信器（以下、単に「リモコン」という）の形態を有している。特に図示はしないが、かかるリモコンには、後述する表示装置１２に各種操作画面を表示させたり、画面上の各種メニューや各種項目等を選択したり、選択したメニュー等を実行させたりするための各種操作キーやボタン、ジョイスティック等が設けられている。操作部２の形態としては、リモコン以外に、センターコンソール上に固定的に設けられた「操作パネル」であってもよいし、必要に応じて表示装置の画面上に配置される「タッチパネル」であってもよい。この場合、当該表示装置には、表示部を構成するＬＣＤパネル上に透明電極からなるタッチパネル（抵抗感圧方式、静電容量結合方式等）が配置され、さらにタッチパネル上で操作者の指が触れた位置を検出してその結果を制御部２３に出力する操作位置検出部が設けられる。
【００２０】
ＧＰＳ受信機３は、複数のＧＰＳ衛星から送られてくる電波をアンテナで受信して自車の現在位置の経度及び緯度を検出し、３次元測位処理等を行って自車の絶対位置及びその方位（ＧＰＳ方位）を算出する。ＧＰＳ方位は、現時点における自車位置と１サンプリング時間（例えば、１秒）前の自車位置とに基づいて算出することができる。自立航法センサ４は、自車の方位を検出するためのジャイロ等の角度センサや加速度センサ、一定の走行距離毎にパルス（車速パルス）を発生する距離センサ等を有しており、これらのセンサによって自車の相対位置や方位、車速等を算出する。通信機５は、アンテナを介して外部と通信するための車載電話機や携帯電話機（この場合は専用のモデムが付属する）等からなり、例えば、地図データの配信サービスを行う情報センタ等と通信して所要の最新の地図情報を取得したりする場合に使用される。
【００２１】
超音波センサ６は車両外部の適当な箇所に設置されており、特に図示はしないが、例えば、車両前方のバンパーの近傍に設置されている。この超音波センサ６は、その送信機から発信される超音波が車両前方に指向されるよう配置されており、これにより、車両前方の所定の距離の範囲内に障害物（この場合、先行車両）が存在するかどうかを検出することができる。レーダ７は、車載カメラ１１の撮像方向（この場合、車両前方）に合わせて当該方向に信号を放射できるように車両の適当な箇所（例えば、車体の頂上部）に設置されている。このレーダ７において、発信部から当該方向に向けてミリ波等の電波信号を発信すると、発信された電波信号は、当該方向に何らかの物体（この場合、先行車両）が有れば当該物体で反射され、反射波信号として戻ってくる。受信部では、当該物体からの反射波を受信し、受信された反射波の強度と所定のしきい値とを比較して、反射波強度が当該しきい値以上である場合に、当該物体の存在を検出する。つまり、レーダ７は、超音波センサ６と同様に、車両前方の所定の距離の範囲内に先行車両が存在するかどうかを検出するのに利用され得る。
【００２２】
ビーコン受信機８は、自車が走行する道路の路肩に設置されている電波ビーコン発信機又は光ビーコン発信機からリアルタイムで送られてくる渋滞情報等の交通情報（いわゆるＶＩＣＳ情報）のデータを含む信号を受信し、その受信信号を復調することによって交通情報のデータを抽出し、制御部２３に出力する。同様にＦＭ多重受信機９は、ＦＭアンテナを介して渋滞情報等の交通情報（ＶＩＣＳ情報）のデータを含むＦＭ多重放送波を受信し、その受信信号を復調することによって多重化されている交通情報のデータを抽出し、制御部２３に出力する。制御部２３に出力された渋滞情報等の交通情報（データ）は、後述するように実写画像（合成画像）による案内画面からバーチャル画像による案内画面への切り替えの際に利用され得る。
【００２３】
外光センサ１０は車両外部の適当な箇所に設置されており、特に図示はしないが、例えば、屋根の中央部分に設置されている。この外光センサ１０は、車両周囲の明るさを検出するためのものであり、その検出された外光の光量に応じた信号（アナログ信号）をデジタル信号に変換して制御部２３に出力する。制御部２３に出力された外光信号（車両周囲の明るさ）は、ビーコン受信機８及びＦＭ多重受信機９の各出力データと同様に、実写画像（合成画像）による案内画面からバーチャル画像による案内画面への切り替えの際に利用され得る。
【００２４】
車載カメラ１１は車両の適当な箇所に設置されており、特に図示はしないが、例えば、車室内の運転席前方のルームミラーの近傍に設けてもよいし、車両の外部において前方のバンパーの上部もしくは屋根の中央部分に設けてもよい。この車載カメラ１１は、そのレンズを車両前方に向けて設置されており、本装置３０が稼働中の間、継続的に車両前方の画像（進行方向に見えている景色）を取得している。
【００２５】
表示装置１２はＬＣＤモニタ等からなり、少なくとも運転席から表示画面を見ることができるようにセンターコンソールのほぼ中間位置（操作部２として「操作パネル」を使用した場合には、この操作パネルの上方の位置）に設置されている。この表示装置１２の画面には、ナビゲーション装置本体２０からの制御に基づき、基本的にはナビゲーションに係る案内情報（自車の現在位置の周囲の地図、自車位置マーク、自車位置から目的地までの誘導経路、施設検索に基づいた案内情報など）が表示される。さらに本発明に関連する情報として、後述するように制御部２３からの制御に基づき表示制御部２８を介して切り替えられたルート案内画面（実写画像（合成画像）による案内画面、又はバーチャル画像による案内画面）が表示される。スピーカ１３は、車室内の所定の箇所に所要の個数（例えば、フロント席の左右の近傍とリア席（１列）の左右の近傍にそれぞれ２個ずつ）設置されており、ナビゲーション装置本体２０からの制御に基づいてナビゲーションに係る案内情報を音声出力する。
【００２６】
ナビゲーション装置本体２０において、バッファメモリ２１は、制御部２３からの制御に基づきＨＤＤ１を介してディスク（図示せず）から読み出された所要の地図データを一時的に格納しておくためのメモリである。画像処理部２２は、車載カメラ１１で撮影して得られた車両前方の画像を他車両等の物体、車両周辺の道路標識や路面状況等として画像認識する機能ブロックであり、車載カメラ１１で取得された画像（アナログ信号）を増幅し、デジタル化して制御部２３に出力する。この画像処理部２２では、一般的な画像認識装置において通常行われている処理と同様の処理が行われ、例えば、車載カメラ１１で取得された画像のノイズを除去したり、２値化やエッジ検出等の手法を用いて、取得した画像の中から特徴となる画像を識別し、その識別した画像を予めＨＤＤ１内に用意した複数のマッチング用パターンと比較照合し、一致した場合にその結果を出力する。本実施形態に関連する処理としては、車載カメラ１１で撮像された画像（信号）から、先行車両等の物体を検知したり、道路上の白線（車線区分標示白線、横断歩道、道路標示等）を検知したり、取得した画像の輝度に基づいて昼か夜かを検知したりする。
【００２７】
制御部２３はナビゲーション装置本体２０の中枢をなし、特に図示はしないが、ナビゲーションに必要な処理（経路探索処理、地図や自車位置マーク、誘導経路等の描画処理、マップマッチング及びそれに基づいた自車位置修正処理など）を規定したプログラムを格納したＲＯＭ、各種処理に必要なデータを一時格納しておくためのＲＡＭ等のメモリを内蔵しており、さらに、タイマ機能も内蔵している。
【００２８】
この制御部２３は、メモリに格納されたプログラムに従い、基本的には、ＧＰＳ受信機３の出力から自車の現在位置を検出したり、自立航法センサ４の出力から自車の方位や走行速度を算出したり、ＨＤＤ１を制御して表示させたい範囲（自車の現在位置を含む所要の範囲）の地図データを読み出してバッファメモリ２１に取り込み、その地図データを用いて設定された探索条件で自車の現在位置から目的地までの誘導経路を探索したり、その地図データと自立航法センサ４から出力されるデータとを用いて所定の走行距離（又は時間）毎にマップマッチング処理を行い自車位置を走行道路上に位置修正したりするなど、ナビゲーションに係る種々の処理を制御する。さらに制御部２３は、本発明に関連する処理として、後述するように実写画像（合成画像）又はバーチャル画像による案内画面の切替表示に係る処理を制御する。
【００２９】
地図描画部２４は、制御部２３からの制御に基づいてバッファメモリ２１に読み出された地図データを用いて地図画像の描画処理を行う機能ブロックである。操作画面・マーク発生部２５は、制御部２３からの制御に基づき、動作状況に応じて各種メニュー画面（操作画面）や自車位置マーク、カーソル等の各種マークを生成する機能ブロックである。誘導経路記憶部２６は、制御部２３によって探索された誘導経路の出発地（自車位置）から目的地までの全てのノードに関するデータを格納しておくためのメモリである。誘導経路描画部２７は、制御部２３からの制御に基づいて誘導経路記憶部２６から誘導経路のデータを読み出し、当該誘導経路を他の道路とは異なる表示態様（例えば、色を変える、線幅を太くするなど）で描画する機能ブロックである。
【００３０】
表示制御部２８は、表示装置１２の画面に案内情報として表示されるべき画像の生成及びその描画を制御するための機能ブロックであり、図示はしないが、グラフィックコントローラやビデオＲＡＭ等を有している。この表示制御部２８は、基本的には、制御部２３からの制御に基づき、地図描画部２４で描画された地図画像に、誘導経路描画部２７で描画された誘導経路、操作画面・マーク発生部２５で生成された各種メニュー画面や自車位置マーク等の各種マークを重ね合わせ、その合成した画像を表示装置１２の画面に表示させる機能を有している。さらに表示制御部２８は、本発明に関連する処理として、後述するように制御部２３からの制御に基づいて、カメラ１１で撮影された車両前方の映像に案内ルートや警告メッセージ等の表示を重ね合わせて合成した画像（実写画像）と、地図ＤＢとナビゲーション機能に基づいて生成したバーチャル画像とを選択的に切り替えて表示装置１２の画面に表示させる機能も有している。音声出力部２９は、制御部２３からの制御に基づいて上記のナビゲーションに係る案内情報（デジタル情報）をアナログ音声信号に変換してスピーカ１３に出力する機能ブロックである。
【００３１】
以上のように構成された車載用ナビゲーション装置３０において、ＨＤＤ１は「記憶手段」に、車載カメラ１１は「撮像手段」に、表示装置１２は「表示手段」に、制御部２３は「制御手段」に、表示制御部２８は「描画手段」に、それぞれ対応している。
【００３２】
本実施形態に係る車載用ナビゲーション装置３０は、後述するように、ナビゲーションに係る情報及び各種センサの情報（地図ＤＢ（ＨＤＤ１）、ＧＰＳ受信機３、自立航法センサ４、超音波センサ６、レーダ７、ビーコン受信機８、ＦＭ多重受信機９、外光センサ１０、車載カメラ１１）から周辺環境の変化を認識し、その認識結果に基づいて実写画像による案内画面とバーチャル画像による案内画面との切り替えを行うようにしたことを特徴とする。周辺環境の変化を認識する態様としては種々の手法が考えられる。想定される幾つかの手法について、以下に説明する。
【００３３】
実写画像（ルート表示等との合成画像）を表示装置１２の画面に表示させているときに当該画面上でのルート案内表示を見え難くする要因としては、先ず、「前方視界を遮る先行車両」がある。これについては、カメラ１1 で取得された画像を画像処理部２２で画像認識することで先行車両の有無を認識し、先行車両を検知した場合で、さらに表示画面内で一定面積以上を占める場合に、バーチャル画像による案内画面への切り替えを行う。先行車両の有無を認識する手段としては、レーダ７や超音波センサ６等による物体検出技術を利用してもよい。
【００３４】
また、ルート案内表示を見え難くする別の要因としては「周囲の明るさ」がある。この場合、周囲が暗く、実写画像（カメラ１１の撮像画像）上で十分な視界が得られないと判定したときに、バーチャル画像による案内画面への切り替えを行う。例えば、撮像画像の明暗判定による切り替え（所定の照度に満たない暗さの場合）や、地図ＤＢと画像処理部２２による白線認識の組合せに基づいた切り替え等が考えられる。この場合、道路を走行中にカメラ１1 によって取得された画像には、車線区分を標示する白線や横断歩道を示す白線、道路上に描かれた道路標示（白線）などが含まれている。従って、この撮像画像に含まれる「白線」を画像処理部２２において画像認識し、この「白線」認識に基づき制御部２３において地図ＤＢを参照することで、実際は「白線」が存在するはずの道路上で当該「白線」が検出されない場合には、カメラ１１の実写画像による案内画面では十分な前方視界が得られないと判定して、バーチャル画像による案内画面に切り替える。また、制御部２３のタイマ機能を利用して周囲が暗いと判断した場合、ディマーやヘッドライトが「オン」された場合等に、画面切替を行ってもよい。
【００３５】
また、ルート案内表示を見え難くする別の要因としては「道路形状」がある。これについては、地図ＤＢを参照して、道路形状の条件により、カメラ１１で撮像された実写画像による案内では十分な視界が得られないと判定したときに、バーチャル画像による案内画面に切り替える。その判定の基準としては、一定の曲率半径（Ｒ）以上のカーブがある場合、曲がるべき交差点が連続している場合、ビル等が密集して交差点の状況が判別しづらいと想定される場合などが考えられる。
【００３６】
また、ルート案内表示を見え難くする別の要因としては「特殊環境」がある。例えば、トンネル内や渋滞多発エリア等が該当する。これについては、地図ＤＢを参照して、視界が暗いと判定したときに、バーチャル画像による案内画面に切り替える。
【００３７】
また、ルート案内表示を見え難くする別の要因としては「悪天候時」がある。例えば、路面の画像認識により雨／雪などにより路面がぬれている場合や凍結している場合、カメラ画像認識によりレンズ表面に汚れや水滴等が付着していると想定される場合、ワイパ情報により天候が悪いと予想される場合等において、カメラ１１で撮像された実写画像による案内では十分な視界が得られないと判定し、画面を切り替える。
【００３８】
以下、本実施形態に係る車載用ナビゲーション装置３０において行う実写画像又はバーチャル画像による案内画面の切替表示に係る処理について、その処理フローの一例を示す図２及び図３を参照しながら説明する。併せて、図４に示す画面表示例も参照しながら補足説明する。
【００３９】
先ず本装置３０の初期状態として、制御部２３からの制御に基づき表示制御部２８により、カメラ１１で撮影された車両前方の映像にルート表示等を合成して得られた画像（実写画像）を表示装置１２の画面に表示可能な状態（実写画像の表示機能が「オン」状態）にあるものとする。
【００４０】
このような状態で、最初のステップＳ１では、制御部２３において、周囲の明るさは所定の照度（例えば、１０００ルクス）以上ある（ＹＥＳ）か否（ＮＯ）かを判定する。この判定は、制御部２３からの制御に基づき画像処理部２２により、又は外光センサ１０の出力信号に基づいて、行うことができる。そして、判定結果がＹＥＳの場合にはステップＳ２に進み、判定結果がＮＯの場合にはステップＳ７に進む。
【００４１】
ステップＳ２では、制御部２３において、前方所定の距離（例えば、５０ｍ）の範囲内に先行車両が存在しない（ＹＥＳ）か否（ＮＯ）かを判定する。この判定は、ＧＰＳ受信機３で算出された自車位置と、カメラ１１の撮像画像（画像処理部２２を通して画像処理されたもの）と、レーダ７の出力とに基づいて行うことができる。そして、判定結果がＹＥＳの場合にはステップＳ３に進み、判定結果がＮＯの場合にはステップＳ７に進む。
【００４２】
ステップＳ３では、制御部２３において、現在走行中の道路に所定の曲率半径（Ｒ）以上のカーブ（例えば、Ｒ≧１２０ｍのカーブ）がある（ＹＥＳ）か否（ＮＯ）かを判定する。つまり、道路の「曲がり」が小さいか否かを判定する。この判定は、地図ＤＢ（ＨＤＤ１）を参照して行うことができる。そして、判定結果がＹＥＳの場合にはステップＳ４に進み、判定結果がＮＯの場合にはステップＳ７に進む。
【００４３】
ステップＳ４では、制御部２３において、現在走行中の道路にカーブが連続して存在しない（ＹＥＳ）か否（ＮＯ）かを判定する。この判定は、ステップＳ３で行った処理と同様にして、地図ＤＢを参照して行うことができる。そして、判定結果がＹＥＳの場合にはステップＳ５に進み、判定結果がＮＯの場合にはステップＳ６に進む。
【００４４】
ステップＳ６では、制御部２３において、現在走行中の道路に所定の曲率半径（Ｒ）未満のカーブ（例えば、Ｒ＜１２０ｍ）のカーブが存在しない（ＹＥＳ）か否（ＮＯ）かを判定する。この判定は、ステップＳ３で行った処理と同様にして、地図ＤＢを参照して行うことができる。そして、判定結果がＹＥＳの場合にはステップＳ５に進み、判定結果がＮＯの場合にはステップＳ７に進む。
【００４５】
ステップＳ５では、制御部２３からの制御に基づき表示制御部２８を介して表示装置１２の画面に、表示制御部２８において生成された実写画像（ルート表示等との合成画像）を表示する。そして、ステップＳ８（図３）に進む。
【００４６】
このときの画面表示例を図４（ａ）に示す。図示の例では、車載カメラ１１で撮影された車両前方の映像（実写画像４１）にナビゲーション機能に基づいたルート表示（図中、ハッチングで示す部分の画像４２）を重ね合わせて合成した画像（案内画面４０）が表示されている。
【００４７】
一方、ステップＳ７では、制御部２３からの制御に基づき表示制御部２８を介して表示装置１２の画面に、表示制御部２８において生成されたバーチャル画像を表示する。そして、ステップＳ１１（図３）に進む。
【００４８】
このときの画面表示例を図４（ｂ）に示す。図示の例では、バーチャル画像として、三次元（３Ｄ）詳細市街地図の画像５１に、ナビゲーション機能に基づき探索された誘導経路（案内ルート）５２と、自車位置マーク５３とを重ね合わせた画像（案内画面５０）が表示されている。かかる３Ｄ詳細市街地図（バーチャル画像）は、車線数の多い道路を走行する場合や、地図ＤＢとして高精度な地図情報を保有している場合等において、優先的に表示される。現状の地図ＤＢには、数値的に幅のある粗い情報ではあるが、リンク情報の道路属性フラグとして「幅員（道路幅）」及び「車線数」の情報が含まれている。
【００４９】
周辺環境によっては（曲がるべき交差点が連続している場合や、田舎道などでビルの立体表示が貧弱になる場合など）、上記の３Ｄ詳細市街地図の代わりに、バーチャル情報として、二次元（２Ｄ）地図の画像に案内ルートと自車位置マークを重ね合わせた画像を表示する。
【００５０】
次に図３を参照すると、先ずステップＳ８では（実写画像を表示している状態）、制御部２３において、ルート案内を現在行っている（ＹＥＳ）か否（ＮＯ）かを判定する。判定結果がＹＥＳの場合にはステップＳ９に進み、判定結果がＮＯの場合にはステップＳ１（図２）に戻って上記の処理を繰り返す。
【００５１】
ステップＳ９では、制御部２３において、案内ルート上で前方所定の距離（例えば、１００ｍ）の範囲内で右左折を２回以上する（ＹＥＳ）か否（ＮＯ）かを判定する。この判定は、ＧＰＳ受信機３で算出された自車位置と、誘導経路記憶部２６に格納されている誘導経路のデータ（ルート情報）と、地図ＤＢとに基づいて行うことができる。そして、判定結果がＹＥＳの場合にはステップＳ１０に進み、判定結果がＮＯの場合にはステップＳ１（図２）に戻って上記の処理を繰り返す。
【００５２】
ステップＳ１０では、ステップＳ７で行った処理と同様にして、制御部２３からの制御に基づき表示制御部２８を介して表示装置１２の画面に、表示制御部２８において生成されたバーチャル画像を表示する。そして、そして、ステップＳ１２に進む。
【００５３】
一方、ステップＳ１１では（バーチャル画像を表示している状態）、ステップＳ８で行った処理と同様にして、制御部２３において、ルート案内をしている（ＹＥＳ）か否（ＮＯ）かを判定する。判定結果がＹＥＳの場合にはステップＳ１２に進み、判定結果がＮＯの場合にはステップＳ１４に進む。
【００５４】
ステップＳ１２では、制御部２３において、交差点を通過した（ＹＥＳ）か否（ＮＯ）かを判定する。この判定は、ＧＰＳ受信機３で算出された自車位置と、地図ＤＢとに基づいて行うことができる。そして、判定結果がＹＥＳの場合にはステップＳ１３に進み、判定結果がＮＯの場合には当該判定処理を繰り返す。
【００５５】
ステップＳ１３では、ステップＳ９で行った処理と同様にして、制御部２３において、案内ルート上で前方所定の距離（例えば、５０ｍ）の範囲内で右左折をしない（ＹＥＳ）か否（ＮＯ）かを判定する。判定結果がＹＥＳの場合にはステップＳ１（図２）に戻って上記の処理を繰り返し、判定結果がＮＯの場合にはステップＳ１２に戻って上記の処理を繰り返す。
【００５６】
一方、ステップＳ１４では、ステップＳ１２で行った処理と同様にして、制御部２３において、交差点を通過した（ＹＥＳ）か否（ＮＯ）かを判定する。判定結果がＹＥＳの場合にはステップＳ１（図２）に戻って上記の処理を繰り返し、判定結果がＮＯの場合には当該判定処理を繰り返す。
【００５７】
以上説明したように、本実施形態に係る車載用ナビゲーション装置３０（図１）において行う実写画像又はバーチャル画像による案内画面の切替表示に係る処理（図２、図３）によれば、制御部２３により、カメラ１１で取得された画像にルート表示等を合成した実写画像を主として、ナビゲーションに係る情報及び各種センサの情報（地図ＤＢ、ＧＰＳ受信機３、自立航法センサ４、超音波センサ６、レーダ７、ビーコン受信機８、ＦＭ多重受信機９、外光センサ１０、車載カメラ１１）から、当該ルート表示等を見え難くする要因（先行車両の存在、天候不良等に起因する視界不良など）が発生しているかどうかを判断し、その要因が発生していると判定したときに、表示制御部２８を介して、実写画像からバーチャル画像による案内画面への切替を行わせるようにしている。
【００５８】
つまり、車載カメラ１１による撮像画像（実写画像）とナビゲーションに係る情報及び各種センサの情報から自車周辺の環境の変化を認識し、その認識に基づいて実写画像／バーチャル画像による案内画面の切り替えを行うようにしている。これによって、周辺環境に変化があった場合でも、ユーザにとって認識しやすい最適なルート案内表示を行うことができる。
【００５９】
上述した実施形態では、バーチャル画像による案内画面５０（図４（ｂ））を表示装置１２の画面に表示させている状態で、交差点の通過を検知したときに、実写画像による案内画面４０（図４（ａ））に切り替えるよう制御した場合を例にとって説明したが、本発明の要旨からも明らかなように、バーチャル画像から実写画像による案内画面への切替タイミングはこれに限定されないことはもちろんである。
【００６０】
また、上述した実施形態では、地図データ等を格納する記録媒体としてＨＤＤ１を使用しているが、記録媒体の形態はこれに限定されず、ＤＶＤドライブ（ＤＶＤ−ＲＯＭ）やＣＤドライブ（ＣＤ−ＲＯＭ）等の他の記録媒体を適宜使用することも可能である。
【図面の簡単な説明】
【００６１】
【図１】本発明の一実施形態に係る車載用ナビゲーション装置の構成を示すブロック図である。
【図２】図１の装置において行う実写画像又はバーチャル画像による案内画面の切替表示に係る処理の一例（その１）を示すフロー図である。
【図３】図１の装置において行う実写画像又はバーチャル画像による案内画面の切替表示に係る処理の一例（その２）を示すフロー図である。
【図４】案内画面の切替表示に係る画面表示例を示す図である。
【符号の説明】
【００６２】
１…ＨＤＤ（地図データベース／記憶手段）、
３…ＧＰＳ受信機、
４…自立航法センサ、
６…超音波センサ、
７…レーダ、
８…ビーコン受信機、
９…ＦＭ多重受信機、
１１…車載カメラ（撮像手段）、
１２…表示装置（表示手段）、
２０…ナビゲーション装置本体、
２２…画像処理部、
２３…制御部（制御手段）、
２８…表示制御部（描画手段）、
３０…車載用ナビゲーション装置、
４０，５０…案内画面、
４１…実写画像、
４２…ルート表示（画像）、
５１…３Ｄ地図画像、
５２…案内ルート（誘導経路）。
【特許請求の範囲】
【請求項１】
画面を通して情報を提供する表示手段と、
地図データを格納した記憶手段と、
走行中の自車の前方の画像を取得する撮像手段と、
前記撮像手段により取得された画像にルート案内表示を重ね合わせて合成した実写画像と、前記地図データ及びナビゲーション機能に基づいて生成したバーチャル画像とを選択的に前記表示手段の画面に表示するよう適応された描画手段と、
前記表示手段、記憶手段、撮像手段及び描画手段に動作可能に接続された制御手段とを具備し、
前記制御手段は、前記描画手段に対し前記実写画像を前記表示手段の画面に表示させている状態で、該画面上でのルート案内表示を見え難くする要因が発生していると判定したときに、前記バーチャル画像による案内画面に切り替えるよう制御することを特徴とする車載用ナビゲーション装置。
【請求項２】
前記制御手段は、前記表示手段の画面に表示されている前記実写画像に先行車両が映し出されているときに、前記描画手段に対し前記バーチャル画像による案内画面に切り替えるよう制御することを特徴とする請求項１に記載の車載用ナビゲーション装置。
【請求項３】
前記制御手段は、前記表示手段の画面に表示されている前記実写画像を構成する前記撮像手段による撮像画像上で十分な視界が得られないと判定したときに、前記描画手段に対し前記バーチャル画像による案内画面に切り替えるよう制御することを特徴とする請求項１に記載の車載用ナビゲーション装置。
【請求項４】
前記制御手段は、前記地図データを参照して自車が走行中の道路の形状から、前記実写画像による案内では十分な視界が得られないと判定したときに、前記描画手段に対し前記バーチャル画像による案内画面に切り替えるよう制御することを特徴とする請求項１に記載の車載用ナビゲーション装置。
【請求項５】
前記制御手段は、前記描画手段に対し前記バーチャル画像を前記表示手段の画面に表示させている状態で、前記地図データを参照して自車が交差点を通過したことを検知したときに、前記実写画像による案内画面に切り替えるよう制御することを特徴とする請求項１から４のいずれか一項に記載の車載用ナビゲーション装置。
【請求項１】
画面を通して情報を提供する表示手段と、
地図データを格納した記憶手段と、
走行中の自車の前方の画像を取得する撮像手段と、
前記撮像手段により取得された画像にルート案内表示を重ね合わせて合成した実写画像と、前記地図データ及びナビゲーション機能に基づいて生成したバーチャル画像とを選択的に前記表示手段の画面に表示するよう適応された描画手段と、
前記表示手段、記憶手段、撮像手段及び描画手段に動作可能に接続された制御手段とを具備し、
前記制御手段は、前記描画手段に対し前記実写画像を前記表示手段の画面に表示させている状態で、該画面上でのルート案内表示を見え難くする要因が発生していると判定したときに、前記バーチャル画像による案内画面に切り替えるよう制御することを特徴とする車載用ナビゲーション装置。
【請求項２】
前記制御手段は、前記表示手段の画面に表示されている前記実写画像に先行車両が映し出されているときに、前記描画手段に対し前記バーチャル画像による案内画面に切り替えるよう制御することを特徴とする請求項１に記載の車載用ナビゲーション装置。
【請求項３】
前記制御手段は、前記表示手段の画面に表示されている前記実写画像を構成する前記撮像手段による撮像画像上で十分な視界が得られないと判定したときに、前記描画手段に対し前記バーチャル画像による案内画面に切り替えるよう制御することを特徴とする請求項１に記載の車載用ナビゲーション装置。
【請求項４】
前記制御手段は、前記地図データを参照して自車が走行中の道路の形状から、前記実写画像による案内では十分な視界が得られないと判定したときに、前記描画手段に対し前記バーチャル画像による案内画面に切り替えるよう制御することを特徴とする請求項１に記載の車載用ナビゲーション装置。
【請求項５】
前記制御手段は、前記描画手段に対し前記バーチャル画像を前記表示手段の画面に表示させている状態で、前記地図データを参照して自車が交差点を通過したことを検知したときに、前記実写画像による案内画面に切り替えるよう制御することを特徴とする請求項１から４のいずれか一項に記載の車載用ナビゲーション装置。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２００８−２４１２７６（Ｐ２００８−２４１２７６Ａ）
【公開日】平成２０年１０月９日（２００８．１０．９）
【国際特許分類】
【出願番号】特願２００７−７８２２９（Ｐ２００７−７８２２９）
【出願日】平成１９年３月２６日（２００７．３．２６）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＶＩＣＳ
【出願人】（０００１０１７３２）アルパイン株式会社 (2,424)
【Ｆターム（参考）】
【公開日】平成２０年１０月９日（２００８．１０．９）
【国際特許分類】
【出願日】平成１９年３月２６日（２００７．３．２６）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＶＩＣＳ
【出願人】（０００１０１７３２）アルパイン株式会社 (2,424)
【Ｆターム（参考）】
[ Back to top ]