ナビゲーション装置
【課題】見やすい実写映像を表示できるナビゲーション装置を提供する。
【解決手段】前方を撮影するカメラ７と、カメラで撮影された前方の映像を取得する映像取得部８と、経路誘導矢印を常に映像取得部で取得された映像の上部に重畳させた映像を生成する映像合成処理部１４と、映像合成処理部で生成された映像を表示する表示部１０を備えている。
【解決手段】前方を撮影するカメラ７と、カメラで撮影された前方の映像を取得する映像取得部８と、経路誘導矢印を常に映像取得部で取得された映像の上部に重畳させた映像を生成する映像合成処理部１４と、映像合成処理部で生成された映像を表示する表示部１０を備えている。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、ユーザを目的地まで案内するナビゲーション装置に関し、特にカメラで撮影することにより得られた実写映像に経路誘導矢印を表示する技術に関する。
【背景技術】
【０００２】
従来、カーナビゲーション装置において、走行中に車載カメラでリアルタイムに前方を撮影し、この撮影により得られた実写映像の上に、ＣＧ（Computer Graphics）によって案内情報を重畳して表示することにより経路誘導を行う技術が知られている（例えば、特許文献１参照）。
【０００３】
また、同様の技術として、特許文献２は、ナビゲーション情報要素を感覚的に把握しやすいように表示するカーナビゲーションシステムを開示している。このカーナビゲーションシステムは、自動車のノーズなどに取付けた撮像カメラで進行方向の景色を撮像し、ナビゲーション情報要素の背景表示について地図画像と実写映像とをセレクタで選択できるようにして、この背景画像に対して画像合成部によりナビゲーション情報要素を重ね合せて表示器に表示する。この特許文献２には、経路誘導矢印の生成および重畳方法に関して、画像を解析することなく、実写映像と同じ視線角度および表示縮尺のＣＧから矢印を生成し、実写映像上に重畳する技術が開示されている。
【０００４】
また、特許文献３は、矢印などの案内情報を運転の妨げにならないように実風景に重ねて表示するナビゲーション装置を開示している。このナビゲーション装置において、経路作成部は、自車位置取得部と地図記憶部と目的地設定部から取得した自車位置情報と地図情報と目的地位置情報とに基づいて経路を作成する。案内情報特定部は、案内情報を提示する地図上の位置と、提示する案内情報の種類を特定する。障害物検知部は、画像認識などにより、自車の周辺にある障害物（歩行者や車両等）の位置と種類とを検知する。優先度決定部は、各障害物の提示優先度を決定する。表示位置決定部は、案内情報の表示位置として、検知した障害物と重ならない位置を求める。画像出力部は、車両のフロントガラス内の決定された位置に、あるいは、前方画像を表示するディスプレイ内の決定された位置に、案内情報を出力する。
【０００５】
【特許文献１】特許２９１５５０８号公報
【特許文献２】特開平１１−１０８６８４号公報
【特許文献３】特開２００６−１６２４４２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献２に開示された技術では、実写映像上には前方車両が映っていることもあるので、実写映像と同じ視線角度および表示縮尺のＣＧから矢印を生成して実写映像上に重畳するという方法では、時として前方車両上に矢印が重畳表示されるので、見づらくなるという問題がある。また、特許文献３に開示された技術では、自車周辺の障害物（歩行者や車両等）の位置と種類とを検知し、この検知した障害物と重ならない位置を案内情報の表示位置として決定して案内情報を出力するが、障害物と重ならない位置を探すのが困難であるという問題がある。
【０００７】
この発明は、上述した問題を解消するためになされたものであり、その課題は、見やすい実写映像を表示できるナビゲーション装置を提供することにある。
【課題を解決するための手段】
【０００８】
この発明に係るナビゲーション装置は、上記課題を解決するために、前方を撮影するカメラと、カメラで撮影された前方の映像を取得する映像取得部と、経路誘導矢印を表示する際には映像取得部で取得された映像の上部に重畳させて映像を生成する映像合成処理部と、映像合成処理部で生成された映像を表示する表示部を備えている。
【発明の効果】
【０００９】
この発明に係るナビゲーション装置によれば、経路誘導矢印を表示する際には前方車両によって遮蔽されにくい映像の上部に表示するように構成したので、前方車両と経路誘導矢印とが重なることが少なくなり、見やすい実写映像を表示することができる。
【発明を実施するための最良の形態】
【００１０】
以下、この発明の実施の形態を、図面を参照しながら詳細に説明する。
実施の形態１．
図１は、この発明の実施の形態１に係るナビゲーション装置、特に車に適したカーナビゲーション装置の構成を示すブロック図である。このカーナビゲーション装置は、ＧＰＳ（Global Positioning System）レシーバ１、車速センサ２、方位センサ３、位置方位計測部４、地図データベース５、入力操作部６、カメラ７、映像取得部８、ナビゲーション制御部９および表示部１０を備えている。
【００１１】
ＧＰＳレシーバ１は、複数の衛星からの電波を受信することにより自車位置を計測する。このＧＰＳレシーバ１で計測された自車位置は、自車位置信号として位置方位計測部４に送られる。車速センサ２は、自車の速度を逐次計測する。この車速センサ２は、一般には、タイヤの回転数を計測するセンサから構成されている。車速センサ２で計測された自車の速度は、車速信号として位置方位計測部４に送られる。方位センサ３は、自車の進行方向を逐次計測する。この方位センサ３で計測された自車の進行方位（以下、単に「方位」という）は、方位信号として位置方位計測部４に送られる。
【００１２】
位置方位計測部４は、ＧＰＳレシーバ１から送られてくる自車位置信号から自車の現在位置および方位を計測する。なお、トンネルの中または周囲の建造物などによって自車の上空が遮られている場合は、電波を受信できる衛星の数がゼロまたは少なくなって受信状態が悪くなり、ＧＰＳレシーバ１からの自車位置信号だけでは自車の現在位置および方位が計測できなくなったり、計測できても精度が悪化するため、車速センサ２からの車速信号および方位センサ３からの方位信号を用いた自律航法を利用して自車位置を計測し、ＧＰＳレシーバ１による計測を補う処理を実行する。
【００１３】
位置方位計測部４で計測された自車の現在位置および方位は、上述したように、ＧＰＳレシーバ１の受信状態の悪化による計測精度の悪化、タイヤの摩耗による直径の変化、温度変化に起因する車速の誤差またはセンサ自体の精度に起因する誤差などといった様々な誤差を含んでいる。そこで、位置方位計測部４は、計測により得られた誤差を含んだ自車の現在位置および方位を、地図データベース５から取得した道路データを用いてマップマッチングを行うことにより修正する。この修正された自車の現在位置および方位は、自車位置方位データとしてナビゲーション制御部９に送られる。
【００１４】
地図データベース５は、道路の位置、道路の種別（高速道路、有料道路、一般道路または細街路など）、道路に関する規制（速度制限または一方通行など）または交差点近傍のレーン情報といった道路データの他、道路周辺の施設の情報などを含む地図データを保持している。道路の位置は、道路を複数のノードとノード間を直線で結ぶリンクとで表現され、このノードの緯度および経度を記録することにより表現されている。例えば、あるノードに３つ以上のリンクが接続されている場合は、そのノードの位置で複数の道路が交わっていることを表している。この地図データベース５に保持されている地図データは、上述したように位置方位計測部４によって読み出される他、ナビゲーション制御部９によって読み出される。
【００１５】
入力操作部６は、リモートコントローラ、タッチパネルまたは音声認識装置などの少なくとも１つから構成されており、ユーザである運転者または同乗者が、操作によって、目的地を入力したり、カーナビゲーション装置が提供する情報を選択したりするために使用される。この入力操作部６の操作によって発生されたデータは、操作データとしてナビゲーション制御部９に送られる。
【００１６】
カメラ７は、自車の前方を撮影するカメラまたは周囲全体を含む幅広い方向を一度に撮影できるカメラなどの少なくとも１つから構成されており、自車の進行方向を含む自車近傍を撮影する。このカメラ７で撮影することにより得られた映像信号は、映像取得部８に送られる。
【００１７】
映像取得部８は、カメラ７から送られてくる映像信号を、計算機で処理可能なデジタル信号に変換する。この映像取得部８における変換により得られたデジタル信号は、映像データとしてナビゲーション制御部９に送られる。
【００１８】
ナビゲーション制御部９は、入力操作部６から入力された目的地までの誘導経路の計算、誘導経路と自車の現在位置および方位とに応じた案内情報の生成、または、自車位置周辺の地図と自車位置を示す自車マークを合成した案内図の生成などといったカーナビゲーション装置が有する自車周辺の地図を表示する機能、および、自車を目的地に誘導するための機能などを提供するためのデータ処理を行う他、自車位置、目的地または誘導経路に関連する交通情報、観光地、飲食店または物販店などの情報の検索、入力操作部６から入力された条件にマッチした施設の検索といったデータ処理を実行する。
【００１９】
また、ナビゲーション制御部９は、地図データベース５から読み出した地図データに基づき生成した地図、映像取得部８から取得した映像データによって示される映像または自己の内部の映像合成処理部１４（詳細は後述する）で合成された画像を、単独で、または、これらを組み合わせて表示するための表示データを生成する。このナビゲーション制御部９の詳細は後述する。ナビゲーション制御部９における種々の処理によって生成された表示データは、表示部１０に送られる。
【００２０】
表示部１０は、例えばＬＣＤ（Liquid Crystal Display）から構成されており、ナビゲーション制御部９から送られてくる表示データにしたがって、地図および／または実写映像などを画面に表示する。
【００２１】
次に、ナビゲーション制御部９の詳細を説明する。ナビゲーション制御部９は、目的地設定部１１、経路計算部１２、案内表示生成部１３、映像合成処理部１４および表示決定部１５を備えている。なお、図１においては、図面の煩雑さを避けるために、上記複数の構成要素間の接続の一部を省略しているが、省略した部分については、以下において出現する都度説明する。
【００２２】
目的地設定部１１は、入力操作部６から送られてくる操作データにしたがって目的地を設定する。この目的地設定部１１で設定された目的地は、目的地データとして経路計算部１２に送られる。経路計算部１２は、目的地設定部１１から送られてくる目的地データ、位置方位計測部４から送られてくる自車位置方位データ、および、地図データベース５から読み出した地図データを用いて、目的地までの誘導経路を計算する。この経路計算部１２で計算された誘導経路は、誘導経路データとして表示決定部１５に送られる。
【００２３】
案内表示生成部１３は、表示決定部１５からの指示に応じて、従来のカーナビゲーション装置で用いられている地図による案内図（以下、「地図案内図」という）を生成する。この案内表示生成部１３で生成される地図案内図には、平面地図、交差点拡大図、高速略図などといった実写映像を用いない様々な案内図が含まれる。また、地図案内図は、平面地図に限定されず、３次元ＣＧを用いた案内図または平面地図を俯瞰する案内図であってもよい。なお。地図案内図を作成する技術は周知であるので、ここでは詳細な説明は省略する。この案内表示生成部１３で生成された地図案内図は、地図案内図データとして表示決定部１５に送られる。
【００２４】
映像合成処理部１４は、表示決定部１５からの指示に応じて、実写映像を用いた案内図（以下、「実写案内図」という）を生成する。例えば、映像合成処理部１４は、地図データベース５から、自車周辺の道路ネットワーク、ランドマークまたは交差点などといった周辺物の情報を取得し、映像取得部８から送られてくる映像データによって示される実写映像上に存在する周辺物の周辺に、この周辺物の形状または内容などを説明するための図形、文字列またはイメージなど（以下、「コンテンツ」という）を重ね合わせた実写案内図を生成する。また、映像合成処理部１４は、コンテンツに高さ情報を付加する処理を行う（詳細は後述）。
【００２５】
表示決定部１５は、上述したように、案内表示生成部１３に対して地図案内図の生成を指示するとともに、映像合成処理部１４に対して実写案内図の生成を指示する。また、表示決定部１５は、位置方位計測部４から送られてくる自車位置方位データ、地図データベース５から読み出した自車周辺の地図データ、入力操作部６から送られてくる操作データ、案内表示生成部１３から送られてくる地図案内図データおよび映像合成処理部１４から送られてくる実写案内図データに基づき表示部１０の画面に表示する内容を決定する。この表示決定部１５において決定された表示内容に対応するデータは、表示データとして表示部１０に送られる。
【００２６】
これにより、表示部１０には、例えば、車両が交差点に近づいた場合には交差点拡大図が表示され、入力操作部６のメニューボタンが押されている場合はメニューが表示され、入力操作部６によって実写表示モードに設定された場合は実写映像を用いた実写案内図が表示される。なお、実写映像を用いた実写案内図への切り替えは、実写表示モードの設定が行われる場合以外にも、自車と曲がるべき交差点の距離が一定値以下になった場合に実写案内図に切り替わるように構成することもできる。
【００２７】
また、表示部１０の画面に表示する案内図は、例えば案内表示生成部１３で生成された地図案内図（例えば平面地図）を画面の左側に配置し、映像合成処理部１４で生成された実写案内図（例えば実写映像を用いた交差点拡大図）を画面の右側に配置するというように、実写案内図と地図案内図とを１つの画面内に同時に表示するように構成できる。
【００２８】
次に、上記のように構成される、この発明の実施の形態１に係るカーナビゲーション装置の動作を、映像合成処理部１４で行われる映像合成処理を中心に、図２に示すフローチャートを参照しながら説明する。
【００２９】
映像合成処理では、まず、自車位置方位および映像が取得される（ステップＳＴ１１）。すなわち、映像合成処理部１４は、位置方位計測部４から自車位置方位データを取得するとともに、その時点で映像取得部８において生成された映像データを取得する。このステップＳＴ１１で取得される映像データによって示される映像は、実写映像である。
【００３０】
次いで、コンテンツ生成が行われる（ステップＳＴ１２）。すなわち、映像合成処理部１４は、地図データベース５から自車の周辺物を検索し、その中からユーザに提示したいコンテンツ情報を生成する。コンテンツ情報は、誘導する経路、自車周辺の道路ネットワーク、ランドマーク、交差点などユーザに提示したいコンテンツが、図形、文字列またはイメージとそれを表示すべき座標値の集合として表現される。この座標値は、例えば、緯度および経度のように地上で一意に決定されるような座標系（以下、「基準座標系」と呼ぶ）で与えられる。そして、図形であれば、各頂点の基準座標系での座標、文字列またはイメージであれば、それが表示される基準となる座標が与えられる。このステップＳＴ１２において、ユーザに提示したいコンテンツと、その総数ａが確定する。このステップＳＴ１２で行われるコンテンツ生成処理については、後にさらに詳細に説明する。
【００３１】
次いで、コンテンツ総数ａが取得される（ステップＳＴ１３）。すなわち、映像合成処理部１４は、ステップＳＴ１２で生成したコンテンツの総数ａを取得する。次いで、カウンタの内容ｉが「１」に初期化される（ステップＳＴ１４）。すなわち、合成済みコンテンツ数をカウントするためのカウンタの内容ｉが「１」に設定される。なお、カウンタは、映像合成処理部１４の内部に設けられている。
【００３２】
次いで、全てのコンテンツ情報の合成処理が終了したかどうかが調べられる（ステップＳＴ１５）。具体的には、映像合成処理部１４は、カウンタの内容である合成済みコンテンツ数ｉがコンテンツ総数ａより大きくになったかどうかを調べる。このステップＳＴ１５において、全てのコンテンツ情報の合成処理が終了した、つまり、合成済みコンテンツ数ｉがコンテンツ総数ａより大きくなったことが判断されると、映像合成処理は終了し、その時点でコンテンツが合成された映像データが、表示決定部１５に送られる。
【００３３】
一方、ステップＳＴ１５において、全てのコンテンツ情報の合成処理が終了していない、つまり、合成済みコンテンツ数ｉがコンテンツ総数ａより大きくないことが判断されると、ｉ番目のコンテンツ情報が取得される（ステップＳＴ１６）。すなわち、映像合成処理部１４は、ステップＳＴ１２で生成したコンテンツ情報のうちのｉ番目のコンテンツ情報を取得する。
【００３４】
次いで、コンテンツが経路誘導矢印であるかどうかが調べられる（ステップＳＴ１７）。すなわち、映像合成処理部１４は、ステップＳＴ１６で取得したコンテンツ情報が経路誘導矢印であるかどうかを調べる。このステップＳＴ１７において、コンテンツが経路誘導矢印でないことが判断されると、シーケンスはステップＳＴ１９に進む。
【００３５】
一方、ステップＳＴ１７において、コンテンツが経路誘導矢印であることが判断されると、次いで、コンテンツに高さ情報が付加される（ステップＳＴ１８）。すなわち、映像合成処理部１４は、経路誘導矢印を表すコンテンツに、例えば１０［ｍ］上空といった高さ情報を付加する。この高さ情報は、カーナビゲーション装置の製作者があらかじめ定めておくように構成できるし、ユーザが任意に定めるように構成することもできる。その後、シーケンスはステップＳＴ１９に進む。
【００３６】
ステップＳＴ１９においては、透視変換によるコンテンツ情報の映像上の位置が計算される。すなわち、映像合成処理部１４は、ステップＳＴ１１で取得した自車位置方位（基準座標系における自車の位置方位）、カメラ７の自車を基準にした座標系における位置方位、および、あらかじめ取得しておいた画角および焦点距離といったカメラ７の固有値を使用し、ステップＳＴ１１で取得した映像上のコンテンツを表示すべき基準座標系における位置を計算する。この計算は、透視変換と言われる座標変換計算と同じである。
【００３７】
次いで、映像合成処理が行われる（ステップＳＴ２０）。すなわち、映像合成処理部１４は、ステップＳＴ１１で取得した映像上の、ステップＳＴ１９で計算された位置に、ステップＳＴ１６で取得したコンテンツ情報によって示された図形、文字列またはイメージなどを描画する。この場合、描画するコンテンツが経路誘導矢印である場合は、ステップＳＴ１８で付加された高さ情報に応じた位置に経路誘導矢印が描画される。これにより、実写映像にコンテンツが重畳された映像が生成される。
【００３８】
次いで、カウンタの内容ｉがインクリメントされる（ステップＳＴ２１）。すなわち、映像合成処理部１４は、カウンタの内容をインクリメントする。その後、シーケンスはステップＳＴ１５に戻り、上述した処理が繰り返される。
【００３９】
次に、上述した映像合成処理のステップＳＴ１２で行われるコンテンツ生成処理の詳細を、図３に示すフローチャートを参照しながら説明する。
【００４０】
コンテンツ生成処理では、まず、コンテンツを収集する範囲が決定される（ステップＳＴ２０１）。すなわち、映像合成処理部１４は、例えば自車を中心とする半径５０ｍの円形、または、自車から前方５０ｍ、左右１０ｍの矩形といった範囲を、コンテンツを収集する範囲と定める。なお、コンテンツを収集する範囲は、カーナビゲーション装置の製作者が予め定めるように構成できるし、ユーザが任意に設定するように構成することもできる。
【００４１】
次いで、収集するコンテンツの種類が決定される（ステップＳＴ２０２）。収集するコンテンツの種類は、例えば図４に示すように、案内する状況に応じて変化する。映像合成処理部１４は、案内する状況に応じて収集するコンテンツの種類を決定する。なお、コンテンツの種類は、カーナビゲーション装置の製作者が予め定めるように構成できるし、ユーザが任意に設定するように構成することもできる。
【００４２】
次いで、コンテンツの収集が行われる（ステップＳＴ２０３）。すなわち、映像合成処理部１４は、ステップＳＴ２０１で決定された範囲内に存在するコンテンツであって、ステップＳＴ２０２で決定された種類のコンテンツを、地図データベース５または他の処理部などから収集する。その後、コンテンツ生成処理は終了する。
【００４３】
以上説明したように、この発明の実施の形態１に係るカーナビゲーション装置によれば、経路誘導矢印に高さ情報を付加し、この高さ情報で示される位置に経路誘導矢印を表示するように構成したので、図５に示すように、経路誘導矢印を前方車両に遮蔽されにくい画面上部に描画することができる。その結果、前方車両と経路誘導矢印とが重なることが少なくなり、分かりやすい案内を行うことができる。
【００４４】
なお、上述した実施の形態１に係るカーナビゲーション装置においては、経路誘導矢印に高さ情報を付加することにより、経路誘導矢印を画面上部に描画するように構成したが、ステップＳＴ１９における映像上の対応する位置の計算後に、経路誘導矢印を画面上部にずらして描画するといった他の方法を用いて経路誘導矢印を画面の上部に描画するように構成することもできる。
【００４５】
また、上述した映像合成処理部１４では、透視変換を用いて映像上にコンテンツを合成するように構成したが、映像に対して画像認識処理を行うことにより映像内の対象を認識し、その認識した映像の上にコンテンツを合成するように構成することもできる。
【００４６】
実施の形態２．
図６は、この発明の実施の形態２に係るカーナビゲーション装置の構成を示すブロック図である。このカーナビゲーション装置は、実施の形態１に係るカーナビゲーション装置のナビゲーション制御部９に前方車両検知部１６が追加されるとともに、映像合成処理部１４が映像合成処理部１４ａに変更されて構成されている。
【００４７】
前方車両検知部１６は、映像合成処理部１４からの指示に応答して、映像取得部８からの映像を画像解析することにより自車の前方に車両（以下、「前方車両」という）の存否を検知し、前方車両存否データとして映像合成処理部１４ａに送る。なお、画像認識を用いて前方車両を検知する技術に関しては、例えば、特開平５−２０５９３号公報または特開平６−５９０３３号公報などに開示されているので、必要に応じて参照されたい。
【００４８】
なお、前方車両検知部１６は、画像解析を用いて前方車両を検知する代わりに、例えばミリ波レーダを用いて自車の前方の物体を検知することにより前方車両の存否を検知するように構成することもできる。さらに、画像解析を用いて前方車両を検知する方法とミリ波レーダを用いて前方車両を検知する方法とを組み合わせて構成することもできる。
【００４９】
映像合成処理部１４ａは、実施の形態１に係るカーナビゲーション装置の映像合成処理部１４が実行する処理の他に、前方車両検知部１６に対して、前方車両の存否を検知するように指示する処理を実行する。また、映像合成処理部１４ａは、前方車両検知部１６から送られてくる前方車両存否データを調べることにより、前方車両が存在するかどうかが調べ、前方車両が存在することが判断されると、コンテンツに高さ情報を付加する処理を実行する。
【００５０】
次に、上記のように構成される、この発明の実施の形態２に係るカーナビゲーション装置の動作を説明する。この実施の形態２に係るカーナビゲーション装置で行われる映像合成処理は、コンテンツが経路誘導矢印である場合の処理が追加された点を除き、図２に示した実施の形態１に係るカーナビゲーション装置で行われる映像合成処理と同じである。以下では、実施の形態１と相違する部分を中心に、図７に示すフローチャートを参照しながら説明する。なお、図７のフローチャートに示した処理のうち、実施の形態１に係るカーナビゲーション装置の映像合成処理（図２参照）と同じ処理を行うステップには、実施の形態１で使用した符号と同じ符号を付して説明を簡略化する。
【００５１】
映像合成処理では、まず、自車位置方位および映像が取得される（ステップＳＴ１１）。次いで、コンテンツ生成が行われる（ステップＳＴ１２）。次いで、コンテンツ総数ａが取得される（ステップＳＴ１３）。次いで、カウンタの内容ｉが「１」に初期化される（ステップＳＴ１４）。次いで、全てのコンテンツ情報の合成処理が終了したかどうかが調べられる（ステップＳＴ１５）。このステップＳＴ１５において、全てのコンテンツ情報の合成処理が終了したことが判断されると、映像合成処理は終了し、その時点でコンテンツが合成された映像データが、表示決定部１５に送られる。
【００５２】
一方、ステップＳＴ１５において、全てのコンテンツ情報の合成処理が終了していないことが判断されると、ｉ番目のコンテンツ情報が取得される（ステップＳＴ１６）。次いで、コンテンツが経路誘導矢印であるかどうかが調べられる（ステップＳＴ１７）。このステップＳＴ１７において、コンテンツが経路誘導矢印でないことが判断されると、シーケンスはステップＳＴ１９に進む。
【００５３】
一方、ステップＳＴ１７において、コンテンツが経路誘導矢印であることが判断されると、次いで、前方車両の有無が取得される（ステップＳＴ３１）。すなわち、映像合成処理部１４ａは、前方車両検知部１６に対して、前方車両の存否を検知するように指示する。前方車両検知部１６は、この指示に応答して、映像取得部８から得られる映像を画像解析することにより前方車両の存否を検知し、前方車両存否データとして映像合成処理部１４ａに送る。
【００５４】
次いで、前方車両が存在するかどうかが調べられる（ステップＳＴ３２）。すなわち、映像合成処理部１４ａは、前方車両検知部１６から送られてくる前方車両存否データを調べることにより、前方車両が存在するかどうかが調べる。このステップＳＴ３２において、前方車両が存在しないことが判断されると、シーケンスはステップＳＴ１９に進む。一方、ステップＳＴ３２において、前方車両が存在することが判断されると、次いで、コンテンツに高さ情報が付加される（ステップＳＴ３３）。このステップＳＴ３３の処理は、実施の形態１のステップＳＴ１８の処理と同じである。その後、シーケンスはステップＳＴ１９に進む。
【００５５】
ステップＳＴ１９においては、透視変換によるコンテンツ情報の映像上の位置が計算される。次いで、映像合成処理が行われる（ステップＳＴ２０）。次いで、カウンタの内容ｉがインクリメントされる（ステップＳＴ２１）。その後、シーケンスはステップＳＴ１５に戻り、上述した処理が繰り返される。
【００５６】
以上説明したように、この発明の実施の形態２に係るカーナビゲーション装置によれば、前方車両の有無に応じて経路誘導矢印に高さ情報を付加するかどうかを切り替えることにより、前方車両が存在する場合には経路誘導矢印を前方車両に遮蔽されにくい画面上部に描画した実写案内図を表示し、存在しない場合には道路上に経路誘導矢印を表示した通常の実写案内図を表示することができる。その結果、前方車両と経路誘導矢印とが重なることがなくなり、分かりやすい案内を行うことができる。
【００５７】
なお、上述した実施の形態２に係るカーナビゲーション装置においては、経路誘導矢印に高さ情報を付加することにより、経路誘導矢印を画面上部に描画するように構成したが、ステップＳＴ１９における画像上の対応する位置の計算後に、経路誘導矢印を画面上部にずらして描画するといった他の方法を用いて経路誘導矢印を画面の上部に描画するように構成することもできる。
【００５８】
実施の形態３．
この発明の実施の形態３に係るカーナビゲーション装置の構成は、映像合成処理部１４ａの機能を除き、図６に示した実施の形態２に係るカーナビゲーション装置の構成と同じである。映像合成処理部１４ａは、実施の形態２に係るカーナビゲーション装置のそれが有する、コンテンツに高さ情報を付加するという機能の代わりに、背景色および経路誘導矢印の色を決定する機能を有する。
【００５９】
また、実施の形態３に係るカーナビゲーション装置で行われる映像合成処理は、コンテンツが経路誘導矢印である場合の処理の内容を除き、図７に示した実施の形態２に係るカーナビゲーション装置で行われる映像合成処理と同じである。以下では、実施の形態２と相違する部分を中心に、図８に示すフローチャートを参照しながら説明する。なお、図８のフローチャートに示した処理のうち、実施の形態２に係るカーナビゲーション装置の映像合成処理と同じ処理を行うステップには、実施の形態２で使用した符号と同じ符号を付して説明を簡略化する。
【００６０】
映像合成処理では、まず、自車位置方位および映像が取得される（ステップＳＴ１１）。次いで、コンテンツ生成が行われる（ステップＳＴ１２）。次いで、コンテンツ総数ａが取得される（ステップＳＴ１３）。次いで、カウンタの内容ｉが「１」に初期化される（ステップＳＴ１４）。次いで、全てのコンテンツ情報の合成処理が終了したかどうかが調べられる（ステップＳＴ１５）。このステップＳＴ１５において、全てのコンテンツ情報の合成処理が終了したことが判断されると、映像合成処理は終了し、その時点でコンテンツが合成された映像データが、表示決定部１５に送られる。
【００６１】
一方、ステップＳＴ１５において、全てのコンテンツ情報の合成処理が終了していないことが判断されると、ｉ番目のコンテンツ情報が取得される（ステップＳＴ１６）。次いで、透視変換によるコンテンツ情報の映像上の位置が計算される（ステップＳＴ１９）。次いで、コンテンツが経路誘導矢印であるかどうかが調べられる（ステップＳＴ１７）。このステップＳＴ１７において、コンテンツが経路誘導矢印でないことが判断されると、シーケンスはステップＳＴ２０に進む。
【００６２】
一方、ステップＳＴ１７において、コンテンツが経路誘導矢印であることが判断されると、次いで、前方車両の有無が取得される（ステップＳＴ３１）。次いで、前方車両が存在するかどうかが調べられる（ステップＳＴ３２）。このステップＳＴ３２において、前方車両が存在しないことが判断されると、シーケンスはステップＳＴ２０に進む。
【００６３】
一方、ステップＳＴ３２において、前方車両が存在することが判断されると、次いで、背景色が計算される（ステップＳＴ１８）。すなわち、映像合成処理部１４ａは、経路誘導矢印の背景となる色を計算する。背景色の算出は、例えばステップＳＴ１９で計算された映像上の位置に対応する全ての画素の平均をとることにより行うことができる。なお、背景色を計算するエリアは、ステップＳＴ１９で計算された映像上の位置に一致する必要はなく、計算された位置を含む矩形といったように計算された位置とそれ以外のエリアを合わせたものであってもよいし、計算された位置の周囲１０［ｐｉｘｅｌ］といったようにステップＳＴ１９で計算された映像上の位置以外のエリアのみであってもよい。
【００６４】
次いで、経路誘導矢印の色が決定される（ステップＳＴ４２）。すなわち、映像合成処理部１４ａは、ステップＳＴ４１で計算した背景色をもとに、経路誘導矢印の色を決定する。このステップＳＴ４２の処理については、後に詳細に説明する。その後、シーケンスはステップＳＴ２０に進む。ステップＳＴ２０においては、映像合成処理が行われる。次いで、カウンタの内容ｉがインクリメントされる（ステップＳＴ２１）。その後、シーケンスはステップＳＴ１５に戻り、上述した処理が繰り返される。
【００６５】
次に、上述した映像合成処理のステップＳＴ４２で行われる経路誘導矢印の色を決定する処理の詳細を、図９に示すフローチャートを参照しながら説明する。この経路誘導矢印の色を決定する処理は、映像合成処理部１４によって実行される。
【００６６】
経路誘導矢印の色を決定する処理では、図１０に示すような、背景色と経路誘導矢印の色との対応を示したテーブルが用いられる。このテーブルは映像合成処理部１４の内部に形成される。なお、図１０に示すテーブルは、色の表記方法としてＲＧＢ形式を用いる場合の例を示しているが、ＣＭＹ形式などといった他の形式を用いることもできる。さらに、図１０に示すテーブルは、カーナビゲーション装置の製作者があらかじめ定めるように構成できるし、ユーザが任意に変更できるように構成することもできる。
【００６７】
経路誘導矢印の色を決定する処理では、まず、テーブルの総行数ａが求められる（ステップＳＴ５１）。次いで、参照済み行数をカウントするためのカウンタの内容ｉが「１」に設定されるとともに、テーブルの１つの行の背景色と映像合成処理（図８参照）のステップＳＴ４１で計算された背景色との、その時点における最小の差ｄｉｆｆminが無限大に、その時点で最小の差となる行番号ｉminが「１」に設定される。
【００６８】
次いで、全ての行の参照が終了したかどうかが調べられる（ステップＳＴ５３）。具体的には、カウンタの内容である参照済み行数ｉが総行数ａより大きくになったかどうかが調べられる。このステップＳＴ５３において、全ての行の参照が終了した、つまり、参照済み行数ｉが総行数ａより大きくなっていないことが判断されると、次いで、テーブルのｉ行目の背景色が取得される（ステップＳＴ５４）。
【００６９】
次いで、経路誘導矢印の背景色とｉ行目の背景色との差ｄｉｆｆが計算される（ステップＳＴ５５）。すなわち、映像合成処理（図８参照）のステップＳＴ４１で計算された背景色（ＲＧＢをＲsrc、Ｇsrc、Ｂsrcとする）とステップＳＴ５４で取得された背景色（ＲＧＢをＲi、Ｇi、Ｂiとする）の差ｄｉｆｆが以下の計算式で計算される。
ｄｉｆｆ=（Ｒsrc−Ｒi）2＋（Ｇsrc−Ｇi）2＋（Ｂsrc−Ｂi）2
【００７０】
次いで、最小の差ｄｉｆｆminがステップＳＴ５５で計算された差ｄｉｆｆより小さいかどうかが調べられる（ステップＳＴ５６）。このステップＳＴ５６において、最小の差ｄｉｆｆminが差ｄｉｆｆより小さいことが判断されると、次いで、ｉminがｉに、最小の差ｄｉｆｆminが差ｄｉｆｆにそれぞれ更新される（ステップＳＴ５７）。一方、上記ステップＳＴ５６において、最小の差ｄｉｆｆminが差ｄｉｆｆより小さくないことが判断されると、ステップＳＴ５７の処理はスキップされる。次いで、ｉがインクリメントされる（ステップＳＴ５８）。その後、シーケンスはステップＳＴ５３に戻り、上述した処理が繰り返される。
【００７１】
上記ステップＳＴ５３において、全ての行の参照が終了した、つまり、参照済み行数ｉが総行数ａより大きくなっていないことが判断されると、次いで、テーブルのｉmin行目の経路誘導矢印の色が、実際に使用する経路誘導矢印の色として決定される（ステップＳＴ５９）。以上により、経路誘導矢印の色を決定する処理は終了する。
【００７２】
以上説明したように、この発明の実施の形態３に係るカーナビゲーション装置によれば、前方車両が存在する場合に、経路誘導矢印の背景色を考慮して、経路誘導矢印の色を認識しやすい色に変更するように構成したので、前方車両の上であっても認識しやすい経路誘導矢印を描画できる。
【００７３】
なお、上述した経路誘導矢印の色を決定する処理では、図１０に示すような背景色と矢印色の対応を表したテーブルを用いて経路誘導矢印の色を決定するように構成したが、テーブルを用いずに、例えば背景色の補色を経路誘導矢印の色とするようなアルゴリズムを用いて経路誘導矢印の色を決定するように構成することもできる。
【００７４】
また、上述した実施の形態１に係るカーナビゲーション装置では、前方車両が存在する場合に、経路誘導矢印の色を変更するように構成したが、経路誘導矢印の色に限定されず、例えば模様または形状などといった、所謂、表示形態を変更するように構成することができる。
【００７５】
実施の形態４．
この発明の実施の形態４に係るカーナビゲーション装置は、前方車両が存在する場合に、実写案内図に代えて、従来の地図案内図を表示するようにしたものである。
【００７６】
図１１は、この発明の実施の形態４に係るカーナビゲーション装置の構成を示すブロック図である。このカーナビゲーション装置は、実施の形態２に係るカーナビゲーション装置のナビゲーション制御部９に含まれる表示決定部１５が表示決定部１５ａに、前方車両検知部１６が前方車両検知部１６ａにそれぞれ変更されて構成されている。
【００７７】
前方車両検知部１６ａ、映像合成処理部１４からの指示に応答して、映像取得部８から得られる映像を画像解析することにより自車の前方に前方車両の存否を検知し、前方車両存否データとして映像合成処理部１４ａに送る他に、該前方車両存否データを表示決定部１５ａにも送る。
【００７８】
表示決定部１５ａは、案内表示生成部１３に対して地図案内図の生成を指示し、映像合成処理部１４に対して実写案内図の生成を指示する他に、前方車両検知部１６ａに対して車両存否データの取得を指示する。また、表示決定部１５ａは、位置方位計測部４から送られてくる自車位置方位データ、地図データベース５から読み出した自車周辺の地図データ、入力操作部６から送られてくる操作データ、案内表示生成部１３から送られてくる地図案内図データおよび映像合成処理部１４から送られてくる実写案内図データに基づく他に、前方車両検知部１６ａから送られてくる前方車両存否データをも考慮して表示部１０の画面に表示する内容を決定する。この表示決定部１５において決定された表示内容に対応するデータは、表示データとして表示部１０に送られる。
【００７９】
次に、上記のように構成される、この発明の実施の形態４に係るカーナビゲーション装置の動作を、映像合成処理部１４に対して映像合成処理を依頼する処理を中心に、図１２に示すフローチャートを参照しながら説明する。なお、図１２のフローチャートに示す処理を開始するまでに、案内対象物に近づいたり、ユーザが入力操作部６を操作して画面を切り替えたりするなどして、映像合成処理部１４に対して映像合成処理を依頼することが決まったものとする。
【００８０】
まず、前方車両の有無が取得される（ステップＳＴ６１）。すなわち、映像合成処理部１４ａは、前方車両検知部１６に対して、前方車両の存否を検知するように指示する。前方車両検知部１６は、この指示に応答して、映像取得部８から得られる映像を画像解析することにより前方車両の存否を検知し、前方車両存否データとして映像合成処理部１４ａに送る。
【００８１】
次いで、前方車両が存在するかどうかが調べられる（ステップＳＴ６２）。すなわち、映像合成処理部１４ａは、前方車両検知部１６ａから送られてくる前方車両存否データを調べることにより、前方車両が存在するかどうかが調べる。このステップＳＴ６２において、前方車両が存在することが判断されると、次いで、映像合成処理が実行される（ステップＳＴ６３）。すなわち、映像合成処理部１４ａは、図７のフローチャートに示した実施の形態２に係るカーナビゲーション装置の映像合成処理、または、図８のフローチャートに示した実施の形態３に係るカーナビゲーション装置の映像合成処理を実行する。
【００８２】
一方、ステップＳＴ６２において、前方車両が存在しないことが判断されると、従来の地図案内図が生成される（ステップＳＴ６４）。すなわち、映像合成処理部１４ａは、表示決定部１５ａに対し、映像合成処理を行わない旨を通知する。表示決定部１５ａは、前方車両検知部１６ａに対して車両存否データの取得を指示し、これに応答して、前方車両検知部１６ａから送られてくる前方車両存否データが、前方車両が存在することを示していれば、案内表示生成部１３に対して地図案内図の生成を指示する。そして、この指示に応答して、案内表示生成部１３から送られてくる地図案内図データを、表示データとして表示部１０に送る。これにより、表示部１０に、交差点誘導案内などといった従来のカーナビゲーション装置と同様の地図案内図が表示される。
【００８３】
以上説明したように、この発明の実施の形態３に係るカーナビゲーション装置によれば、前方車両が存在することにより視界が遮られる場合に、従来と同様の地図案内図を用いた案内に切り替えられるので、分かりやすい案内を確保することができる。
【００８４】
実施の形態５．
図１３は、この発明の実施の形態５に係るカーナビゲーション装置の構成を示すブロック図である。このカーナビゲーション装置は、実施の形態１に係るカーナビゲーション装置のナビゲーション制御部９に表示位置決定部１７が追加されるとともに、映像合成処理部１４が映像合成処理部１４ｂに変更されて構成されている。
【００８５】
表示位置決定部１７は、映像取得部８で取得された映像を用いて、該映像内で経路誘導矢印を表示させる位置を決定する。この表示位置決定部１７で決定された位置を表すデータは、映像合成処理部１４ｂに送られる。
【００８６】
映像合成処理部１４ｂは、実施の形態１に係るカーナビゲーション装置の映像合成処理部１４が実行する処理の他に、表示位置決定部１７に対して、経路誘導矢印を表示する位置を決定するように指示する処理を実行する。また、映像合成処理部１４ｂは、表示位置決定部１７から送られてくる経路誘導矢印を表示する位置を表すデータによって示される映像内の位置に、経路誘導矢印を合成する処理を実行する。
【００８７】
次に、上記のように構成される、この発明の実施の形態５に係るカーナビゲーション装置の動作を説明する。
【００８８】
まず、表示位置決定部１７で行われる表示位置の決定処理を、図１４に示すフローチャートを参照しながら説明する。この表示位置の決定処理では、まず、マスクエリアがクリアされる（ステップＳＴ７１）。ここで、マスクエリアとは、経路誘導矢印を表示するのに不適切な映像内のエリアをいう。このステップＳＴ７１の処理により、不適切なエリアが選択されていない状況にされる。
【００８９】
次いで、前方画像が取得される（ステップＳＴ７２）。すなわち、表示位置決定部１７は、映像取得部８から映像データを入力し、１つの画像を取得する。次いで、車両の検出が行われる（ステップＳＴ７３）。すなわち、表示位置決定部１７は、ステップＳＴ７２で取得した前方画像を解析して画像認識を行うことにより、前方車両を検出する。ここで、画像認識を用いた前方車両を検出する技術に関しては、上述したように、特開平５−２０５９３号公報または特開平６−５９０３３号公報などに開示されているので、必要に応じて参照されたい。
【００９０】
次いで、車両が存在するかどうかが調べられる（ステップＳＴ７４）。すなわち、表示位置決定部１７は、ステップＳＴ７３における検出結果に基づき、前方車両が存在するかどうかを調べる。このステップＳＴ７４において、車両が存在しないことが判断されると、シーケンスはステップＳＴ７６に進む。
【００９１】
一方、ステップＳＴ７４において、車両が存在することが判断されると、車両のエリアがマスクエリアに追加される（ステップＳＴ７５）。すなわち、表示位置決定部１７は、画像上の車両が存在するエリアをマスクエリアとして、自己の内部の図示しないメモリに追加する。その後、シーケンスはステップＳＴ７６に進む。
【００９２】
ステップＳＴ７６においては、信号機の検出が行われる。すなわち、表示位置決定部１７は、ステップＳＴ７２で取得した前方画像を解析して画像認識を行うことにより、信号機を検出する。この画像認識では、例えば地面からの高さ５ｍに対応する画像上の位置において、赤、青または黄色の円が存在する場合に、その周囲の高さ５０ｃｍ、幅１ｍの場所を信号機と判断することができる。
【００９３】
次いで、信号機が存在するかどうかが調べられる（ステップＳＴ７７）。すなわち、表示位置決定部１７は、ステップＳＴ７６における検出結果に基づき、信号機が存在するかどうかを調べる。このステップＳＴ７７において、信号機が存在しないことが判断されると、表示位置の決定処理は終了する。
【００９４】
一方、ステップＳＴ７７において、信号機が存在することが判断されると、信号機のエリアがマスクエリアに追加される（ステップＳＴ７８）。すなわち、表示位置決定部１７は、画像上の信号機が存在するエリアをマスクエリアとして、自己の内部の図示しないメモリに追加する。その後、表示位置の決定処理は終了する。
【００９５】
図１５は、画像中の前方車両および信号機の部分（斜線で示す部分）がマスクエリアとして登録されている様子を示す。
【００９６】
なお、上述した表示位置の決定処理では、前方車両および信号機を検知してマスクエリアを計算する場合について説明したが、それ以外にも、例えば歩行者、道路標識または道路標示などの運転行動に関わる物体を単独または組み合わせてマスクエリアとすることもできる。また、車両および信号機を必ずマスクエリアとする必要はなく、どちらか片方のみをマスクエリアとしたり、どちらもマスクエリアとしないように構成することもできる。
【００９７】
また、画像認識においては、運転行動に関わる物体を認識するだけでなく、例えば信号機の位置情報が判明している場合、自車位置方位とカメラの設置位置と信号機の位置情報を用いて画像上の信号機の位置を計算し、この計算した位置をマスクエリアとするように、画像解析を用いずにマスクエリアを定めることもできる。
【００９８】
また、上述した表示位置の決定処理では、不適切なエリアを計算するように構成したが、適切なエリアを計算するように構成することもできる。さらに、上述した表示位置の決定処理では、不適切なエリアと適切なエリアを２分しているが、適切さまたは不適切さを段階的に計算するように構成することもできる。
【００９９】
次に、実施の形態５に係るカーナビゲーション装置で行われる映像合成処理を、図１６に示すフローチャートを参照しながら説明する。この映像合成処理は、コンテンツをマスクエリア以外の位置に描画する処理を除き、図２に示した実施の形態１に係るカーナビゲーション装置で行われる映像合成処理と同じである。なお、図１６のフローチャートに示した処理のうち、実施の形態１に係るカーナビゲーション装置の映像合成処理と同じ処理を行うステップには、実施の形態１で使用した符号と同じ符号を付して説明を簡略化する。
【０１００】
映像合成処理では、まず、自車位置方位および映像が取得される（ステップＳＴ１１）。次いで、コンテンツ生成が行われる（ステップＳＴ１２）。次いで、コンテンツ総数ａが取得される（ステップＳＴ１３）。次いで、マスクエリアが取得される（ステップＳＴ８１）。すなわち、映像合成処理部１４ｂは、表示位置決定部１７からマスクエリアを取得する。次いで、カウンタの内容ｉが「１」に初期化される（ステップＳＴ１４）。次いで、全てのコンテンツ情報の合成処理が終了したかどうかが調べられる（ステップＳＴ１５）。このステップＳＴ１５において、全てのコンテンツ情報の合成処理が終了したことが判断されると、映像合成処理は終了し、その時点でコンテンツが合成された映像データが、表示決定部１５に送られる。
【０１０１】
一方、ステップＳＴ１５において、全てのコンテンツ情報の合成処理が終了していないことが判断されると、ｉ番目のコンテンツ情報が取得される（ステップＳＴ１６）。次いで、透視変換によるコンテンツ情報の映像上の位置が計算される（ステップＳＴ１９）。次いで、計算された位置がマスクエリア内に存在するかどうかが調べられる（ステップＳＴ８２）。すなわち、映像合成処理部１４ｂは、ステップＳＴ１９で計算した位置がステップＳＴ８１で表示位置決定部１７から取得しマスクエリア内に存在するかどうかが調べる。このステップＳＴ８２において、計算された位置がマスクエリア内に存在しないことが判断されると、シーケンスはステップＳＴ２０に進む。
【０１０２】
一方、ステップＳＴ１７において、計算された位置がマスクエリア内に存在することが判断されると、次いで、上下左右を探索して非マスクエリアまでの距離が計算される（ステップＳＴ８３）。すなわち、映像合成処理部１４ｂは、ステップＳＴ１９で計算したコンテンツ情報の映像上の位置の上下左右を探索し、最も近い非マスクエリアまでの距離［ｐｉｘｅｌ］を計算する。例えば、上に１０［ｐｉｘｅｌ］、下に１５［ｐｉｘｅｌ］、左に２０［ｐｉｘｅｌ］および右に２５［ｐｉｘｅｌ］といったように計算される。
【０１０３】
次いで、コンテンツ情報の映像上の位置をずらす処理が行われる（ステップＳＴ８４）。すなわち、映像合成処理部１４ｂは、ステップＳＴ８３で求めた上下左右のうち最も近いものを選択し、コンテンツ情報の映像上の位置を選択した距離だけずらす処理、例えば、上に１０［ｐｉｘｅｌ］だけずらす処理を実行する。その後、シーケンスはステップＳＴ２０に進む。ステップＳＴ２０においては、映像合成処理が行われる。次いで、カウンタの内容ｉがインクリメントされる（ステップＳＴ２１）。その後、シーケンスはステップＳＴ１５に戻り、上述した処理が繰り返される。
【０１０４】
なお、上記ステップＳＴ８２〜ステップＳＴ８４の処理において、コンテンツ情報の映像上の位置をずらした後に、マスクエリアに重なっているかどうかを判断し、マスクエリアに重なっている場合は、さらにずらすという処理を繰り返し実行するように構成することもできる。
【０１０５】
以上説明したように、この発明の実施の形態５に係るカーナビゲーション装置によれば、カメラ７で撮影した自車周辺の実写映像上に経路誘導矢印を重畳表示する際に、描画に最も適した場所を選択し、その場所に経路誘導矢印を描画するように構成できるので、前方車両または信号機などを避けて誘導矢印を描画することができる。その結果、分かりやすい案内が可能となる。
【０１０６】
なお、図示の実施の形態では、車に適用したカーナビゲーション装置として説明したが、この発明に係るナビゲーション装置は、カメラを有する携帯電話機で飛行機等の移動体に対しても同様に適用することができる。
【図面の簡単な説明】
【０１０７】
【図１】この発明の実施の形態１に係るカーナビゲーション装置の構成を示すブロック図である。
【図２】この発明の実施の形態１に係るカーナビゲーション装置の動作を、映像合成処理を中心に示すフローチャートである。
【図３】この発明の実施の形態１に係るカーナビゲーション装置で行われる映像合成処理の中のコンテンツ生成処理の詳細を示すフローチャートである。
【図４】この発明の実施の形態１に係るカーナビゲーション装置において使用されるコンテンツの種類を説明するための図である。
【図５】この発明の実施の形態１に係るカーナビゲーション装置で画面に表示される案内図の例を示す図である。
【図６】この発明の実施の形態２に係るカーナビゲーション装置の構成を示すブロック図である。
【図７】この発明の実施の形態２に係るカーナビゲーション装置の動作を、映像合成処理を中心に示すフローチャートである。
【図８】この発明の実施の形態３に係るカーナビゲーション装置の動作を、映像合成処理を中心に示すフローチャートである。
【図９】この発明の実施の形態３に係るカーナビゲーション装置の映像合成処理で行われる経路誘導矢印の色を決定する処理の詳細を示すフローチャートである。
【図１０】この発明の実施の形態３に係るカーナビゲーション装置で使用される背景色と経路誘導矢印の色とを対応付けたテーブルの例を示す図である。
【図１１】この発明の実施の形態４に係るカーナビゲーション装置の構成を示すブロック図である。
【図１２】この発明の実施の形態４に係るカーナビゲーション装置の動作を、映像合成処理部に対して映像合成処理を依頼する処理を中心に示すフローチャートである。
【図１３】この発明の実施の形態５に係るカーナビゲーション装置の構成を示すブロック図である。
【図１４】この発明の実施の形態５に係るカーナビゲーション装置の表示位置決定部１７で行われる表示位置の決定処理を示すフローチャートである。
【図１５】この発明の実施の形態５に係るカーナビゲーション装置で使用されるマスクエリアを説明するための図である。
【図１６】この発明の実施の形態５に係るカーナビゲーション装置の動作を、映像合成処理を中心に示すフローチャートである。
【符号の説明】
【０１０８】
１ ＧＰＳレシーバ、２ 車速センサ、３ 方位センサ、４ 位置方位計測部、５ 地図データベース、６ 入力操作部、７ カメラ、８ 映像取得部、９ ナビゲーション制御部、１０ 表示部、１１ 目的地設定部、１２ 経路計算部、１３ 案内表示生成部、１４，１４ａ，１４ｂ 映像合成処理部、１５，１５ａ 表示決定部、１６，１６ａ 前方車両検知部。
【技術分野】
【０００１】
この発明は、ユーザを目的地まで案内するナビゲーション装置に関し、特にカメラで撮影することにより得られた実写映像に経路誘導矢印を表示する技術に関する。
【背景技術】
【０００２】
従来、カーナビゲーション装置において、走行中に車載カメラでリアルタイムに前方を撮影し、この撮影により得られた実写映像の上に、ＣＧ（Computer Graphics）によって案内情報を重畳して表示することにより経路誘導を行う技術が知られている（例えば、特許文献１参照）。
【０００３】
また、同様の技術として、特許文献２は、ナビゲーション情報要素を感覚的に把握しやすいように表示するカーナビゲーションシステムを開示している。このカーナビゲーションシステムは、自動車のノーズなどに取付けた撮像カメラで進行方向の景色を撮像し、ナビゲーション情報要素の背景表示について地図画像と実写映像とをセレクタで選択できるようにして、この背景画像に対して画像合成部によりナビゲーション情報要素を重ね合せて表示器に表示する。この特許文献２には、経路誘導矢印の生成および重畳方法に関して、画像を解析することなく、実写映像と同じ視線角度および表示縮尺のＣＧから矢印を生成し、実写映像上に重畳する技術が開示されている。
【０００４】
また、特許文献３は、矢印などの案内情報を運転の妨げにならないように実風景に重ねて表示するナビゲーション装置を開示している。このナビゲーション装置において、経路作成部は、自車位置取得部と地図記憶部と目的地設定部から取得した自車位置情報と地図情報と目的地位置情報とに基づいて経路を作成する。案内情報特定部は、案内情報を提示する地図上の位置と、提示する案内情報の種類を特定する。障害物検知部は、画像認識などにより、自車の周辺にある障害物（歩行者や車両等）の位置と種類とを検知する。優先度決定部は、各障害物の提示優先度を決定する。表示位置決定部は、案内情報の表示位置として、検知した障害物と重ならない位置を求める。画像出力部は、車両のフロントガラス内の決定された位置に、あるいは、前方画像を表示するディスプレイ内の決定された位置に、案内情報を出力する。
【０００５】
【特許文献１】特許２９１５５０８号公報
【特許文献２】特開平１１−１０８６８４号公報
【特許文献３】特開２００６−１６２４４２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献２に開示された技術では、実写映像上には前方車両が映っていることもあるので、実写映像と同じ視線角度および表示縮尺のＣＧから矢印を生成して実写映像上に重畳するという方法では、時として前方車両上に矢印が重畳表示されるので、見づらくなるという問題がある。また、特許文献３に開示された技術では、自車周辺の障害物（歩行者や車両等）の位置と種類とを検知し、この検知した障害物と重ならない位置を案内情報の表示位置として決定して案内情報を出力するが、障害物と重ならない位置を探すのが困難であるという問題がある。
【０００７】
この発明は、上述した問題を解消するためになされたものであり、その課題は、見やすい実写映像を表示できるナビゲーション装置を提供することにある。
【課題を解決するための手段】
【０００８】
この発明に係るナビゲーション装置は、上記課題を解決するために、前方を撮影するカメラと、カメラで撮影された前方の映像を取得する映像取得部と、経路誘導矢印を表示する際には映像取得部で取得された映像の上部に重畳させて映像を生成する映像合成処理部と、映像合成処理部で生成された映像を表示する表示部を備えている。
【発明の効果】
【０００９】
この発明に係るナビゲーション装置によれば、経路誘導矢印を表示する際には前方車両によって遮蔽されにくい映像の上部に表示するように構成したので、前方車両と経路誘導矢印とが重なることが少なくなり、見やすい実写映像を表示することができる。
【発明を実施するための最良の形態】
【００１０】
以下、この発明の実施の形態を、図面を参照しながら詳細に説明する。
実施の形態１．
図１は、この発明の実施の形態１に係るナビゲーション装置、特に車に適したカーナビゲーション装置の構成を示すブロック図である。このカーナビゲーション装置は、ＧＰＳ（Global Positioning System）レシーバ１、車速センサ２、方位センサ３、位置方位計測部４、地図データベース５、入力操作部６、カメラ７、映像取得部８、ナビゲーション制御部９および表示部１０を備えている。
【００１１】
ＧＰＳレシーバ１は、複数の衛星からの電波を受信することにより自車位置を計測する。このＧＰＳレシーバ１で計測された自車位置は、自車位置信号として位置方位計測部４に送られる。車速センサ２は、自車の速度を逐次計測する。この車速センサ２は、一般には、タイヤの回転数を計測するセンサから構成されている。車速センサ２で計測された自車の速度は、車速信号として位置方位計測部４に送られる。方位センサ３は、自車の進行方向を逐次計測する。この方位センサ３で計測された自車の進行方位（以下、単に「方位」という）は、方位信号として位置方位計測部４に送られる。
【００１２】
位置方位計測部４は、ＧＰＳレシーバ１から送られてくる自車位置信号から自車の現在位置および方位を計測する。なお、トンネルの中または周囲の建造物などによって自車の上空が遮られている場合は、電波を受信できる衛星の数がゼロまたは少なくなって受信状態が悪くなり、ＧＰＳレシーバ１からの自車位置信号だけでは自車の現在位置および方位が計測できなくなったり、計測できても精度が悪化するため、車速センサ２からの車速信号および方位センサ３からの方位信号を用いた自律航法を利用して自車位置を計測し、ＧＰＳレシーバ１による計測を補う処理を実行する。
【００１３】
位置方位計測部４で計測された自車の現在位置および方位は、上述したように、ＧＰＳレシーバ１の受信状態の悪化による計測精度の悪化、タイヤの摩耗による直径の変化、温度変化に起因する車速の誤差またはセンサ自体の精度に起因する誤差などといった様々な誤差を含んでいる。そこで、位置方位計測部４は、計測により得られた誤差を含んだ自車の現在位置および方位を、地図データベース５から取得した道路データを用いてマップマッチングを行うことにより修正する。この修正された自車の現在位置および方位は、自車位置方位データとしてナビゲーション制御部９に送られる。
【００１４】
地図データベース５は、道路の位置、道路の種別（高速道路、有料道路、一般道路または細街路など）、道路に関する規制（速度制限または一方通行など）または交差点近傍のレーン情報といった道路データの他、道路周辺の施設の情報などを含む地図データを保持している。道路の位置は、道路を複数のノードとノード間を直線で結ぶリンクとで表現され、このノードの緯度および経度を記録することにより表現されている。例えば、あるノードに３つ以上のリンクが接続されている場合は、そのノードの位置で複数の道路が交わっていることを表している。この地図データベース５に保持されている地図データは、上述したように位置方位計測部４によって読み出される他、ナビゲーション制御部９によって読み出される。
【００１５】
入力操作部６は、リモートコントローラ、タッチパネルまたは音声認識装置などの少なくとも１つから構成されており、ユーザである運転者または同乗者が、操作によって、目的地を入力したり、カーナビゲーション装置が提供する情報を選択したりするために使用される。この入力操作部６の操作によって発生されたデータは、操作データとしてナビゲーション制御部９に送られる。
【００１６】
カメラ７は、自車の前方を撮影するカメラまたは周囲全体を含む幅広い方向を一度に撮影できるカメラなどの少なくとも１つから構成されており、自車の進行方向を含む自車近傍を撮影する。このカメラ７で撮影することにより得られた映像信号は、映像取得部８に送られる。
【００１７】
映像取得部８は、カメラ７から送られてくる映像信号を、計算機で処理可能なデジタル信号に変換する。この映像取得部８における変換により得られたデジタル信号は、映像データとしてナビゲーション制御部９に送られる。
【００１８】
ナビゲーション制御部９は、入力操作部６から入力された目的地までの誘導経路の計算、誘導経路と自車の現在位置および方位とに応じた案内情報の生成、または、自車位置周辺の地図と自車位置を示す自車マークを合成した案内図の生成などといったカーナビゲーション装置が有する自車周辺の地図を表示する機能、および、自車を目的地に誘導するための機能などを提供するためのデータ処理を行う他、自車位置、目的地または誘導経路に関連する交通情報、観光地、飲食店または物販店などの情報の検索、入力操作部６から入力された条件にマッチした施設の検索といったデータ処理を実行する。
【００１９】
また、ナビゲーション制御部９は、地図データベース５から読み出した地図データに基づき生成した地図、映像取得部８から取得した映像データによって示される映像または自己の内部の映像合成処理部１４（詳細は後述する）で合成された画像を、単独で、または、これらを組み合わせて表示するための表示データを生成する。このナビゲーション制御部９の詳細は後述する。ナビゲーション制御部９における種々の処理によって生成された表示データは、表示部１０に送られる。
【００２０】
表示部１０は、例えばＬＣＤ（Liquid Crystal Display）から構成されており、ナビゲーション制御部９から送られてくる表示データにしたがって、地図および／または実写映像などを画面に表示する。
【００２１】
次に、ナビゲーション制御部９の詳細を説明する。ナビゲーション制御部９は、目的地設定部１１、経路計算部１２、案内表示生成部１３、映像合成処理部１４および表示決定部１５を備えている。なお、図１においては、図面の煩雑さを避けるために、上記複数の構成要素間の接続の一部を省略しているが、省略した部分については、以下において出現する都度説明する。
【００２２】
目的地設定部１１は、入力操作部６から送られてくる操作データにしたがって目的地を設定する。この目的地設定部１１で設定された目的地は、目的地データとして経路計算部１２に送られる。経路計算部１２は、目的地設定部１１から送られてくる目的地データ、位置方位計測部４から送られてくる自車位置方位データ、および、地図データベース５から読み出した地図データを用いて、目的地までの誘導経路を計算する。この経路計算部１２で計算された誘導経路は、誘導経路データとして表示決定部１５に送られる。
【００２３】
案内表示生成部１３は、表示決定部１５からの指示に応じて、従来のカーナビゲーション装置で用いられている地図による案内図（以下、「地図案内図」という）を生成する。この案内表示生成部１３で生成される地図案内図には、平面地図、交差点拡大図、高速略図などといった実写映像を用いない様々な案内図が含まれる。また、地図案内図は、平面地図に限定されず、３次元ＣＧを用いた案内図または平面地図を俯瞰する案内図であってもよい。なお。地図案内図を作成する技術は周知であるので、ここでは詳細な説明は省略する。この案内表示生成部１３で生成された地図案内図は、地図案内図データとして表示決定部１５に送られる。
【００２４】
映像合成処理部１４は、表示決定部１５からの指示に応じて、実写映像を用いた案内図（以下、「実写案内図」という）を生成する。例えば、映像合成処理部１４は、地図データベース５から、自車周辺の道路ネットワーク、ランドマークまたは交差点などといった周辺物の情報を取得し、映像取得部８から送られてくる映像データによって示される実写映像上に存在する周辺物の周辺に、この周辺物の形状または内容などを説明するための図形、文字列またはイメージなど（以下、「コンテンツ」という）を重ね合わせた実写案内図を生成する。また、映像合成処理部１４は、コンテンツに高さ情報を付加する処理を行う（詳細は後述）。
【００２５】
表示決定部１５は、上述したように、案内表示生成部１３に対して地図案内図の生成を指示するとともに、映像合成処理部１４に対して実写案内図の生成を指示する。また、表示決定部１５は、位置方位計測部４から送られてくる自車位置方位データ、地図データベース５から読み出した自車周辺の地図データ、入力操作部６から送られてくる操作データ、案内表示生成部１３から送られてくる地図案内図データおよび映像合成処理部１４から送られてくる実写案内図データに基づき表示部１０の画面に表示する内容を決定する。この表示決定部１５において決定された表示内容に対応するデータは、表示データとして表示部１０に送られる。
【００２６】
これにより、表示部１０には、例えば、車両が交差点に近づいた場合には交差点拡大図が表示され、入力操作部６のメニューボタンが押されている場合はメニューが表示され、入力操作部６によって実写表示モードに設定された場合は実写映像を用いた実写案内図が表示される。なお、実写映像を用いた実写案内図への切り替えは、実写表示モードの設定が行われる場合以外にも、自車と曲がるべき交差点の距離が一定値以下になった場合に実写案内図に切り替わるように構成することもできる。
【００２７】
また、表示部１０の画面に表示する案内図は、例えば案内表示生成部１３で生成された地図案内図（例えば平面地図）を画面の左側に配置し、映像合成処理部１４で生成された実写案内図（例えば実写映像を用いた交差点拡大図）を画面の右側に配置するというように、実写案内図と地図案内図とを１つの画面内に同時に表示するように構成できる。
【００２８】
次に、上記のように構成される、この発明の実施の形態１に係るカーナビゲーション装置の動作を、映像合成処理部１４で行われる映像合成処理を中心に、図２に示すフローチャートを参照しながら説明する。
【００２９】
映像合成処理では、まず、自車位置方位および映像が取得される（ステップＳＴ１１）。すなわち、映像合成処理部１４は、位置方位計測部４から自車位置方位データを取得するとともに、その時点で映像取得部８において生成された映像データを取得する。このステップＳＴ１１で取得される映像データによって示される映像は、実写映像である。
【００３０】
次いで、コンテンツ生成が行われる（ステップＳＴ１２）。すなわち、映像合成処理部１４は、地図データベース５から自車の周辺物を検索し、その中からユーザに提示したいコンテンツ情報を生成する。コンテンツ情報は、誘導する経路、自車周辺の道路ネットワーク、ランドマーク、交差点などユーザに提示したいコンテンツが、図形、文字列またはイメージとそれを表示すべき座標値の集合として表現される。この座標値は、例えば、緯度および経度のように地上で一意に決定されるような座標系（以下、「基準座標系」と呼ぶ）で与えられる。そして、図形であれば、各頂点の基準座標系での座標、文字列またはイメージであれば、それが表示される基準となる座標が与えられる。このステップＳＴ１２において、ユーザに提示したいコンテンツと、その総数ａが確定する。このステップＳＴ１２で行われるコンテンツ生成処理については、後にさらに詳細に説明する。
【００３１】
次いで、コンテンツ総数ａが取得される（ステップＳＴ１３）。すなわち、映像合成処理部１４は、ステップＳＴ１２で生成したコンテンツの総数ａを取得する。次いで、カウンタの内容ｉが「１」に初期化される（ステップＳＴ１４）。すなわち、合成済みコンテンツ数をカウントするためのカウンタの内容ｉが「１」に設定される。なお、カウンタは、映像合成処理部１４の内部に設けられている。
【００３２】
次いで、全てのコンテンツ情報の合成処理が終了したかどうかが調べられる（ステップＳＴ１５）。具体的には、映像合成処理部１４は、カウンタの内容である合成済みコンテンツ数ｉがコンテンツ総数ａより大きくになったかどうかを調べる。このステップＳＴ１５において、全てのコンテンツ情報の合成処理が終了した、つまり、合成済みコンテンツ数ｉがコンテンツ総数ａより大きくなったことが判断されると、映像合成処理は終了し、その時点でコンテンツが合成された映像データが、表示決定部１５に送られる。
【００３３】
一方、ステップＳＴ１５において、全てのコンテンツ情報の合成処理が終了していない、つまり、合成済みコンテンツ数ｉがコンテンツ総数ａより大きくないことが判断されると、ｉ番目のコンテンツ情報が取得される（ステップＳＴ１６）。すなわち、映像合成処理部１４は、ステップＳＴ１２で生成したコンテンツ情報のうちのｉ番目のコンテンツ情報を取得する。
【００３４】
次いで、コンテンツが経路誘導矢印であるかどうかが調べられる（ステップＳＴ１７）。すなわち、映像合成処理部１４は、ステップＳＴ１６で取得したコンテンツ情報が経路誘導矢印であるかどうかを調べる。このステップＳＴ１７において、コンテンツが経路誘導矢印でないことが判断されると、シーケンスはステップＳＴ１９に進む。
【００３５】
一方、ステップＳＴ１７において、コンテンツが経路誘導矢印であることが判断されると、次いで、コンテンツに高さ情報が付加される（ステップＳＴ１８）。すなわち、映像合成処理部１４は、経路誘導矢印を表すコンテンツに、例えば１０［ｍ］上空といった高さ情報を付加する。この高さ情報は、カーナビゲーション装置の製作者があらかじめ定めておくように構成できるし、ユーザが任意に定めるように構成することもできる。その後、シーケンスはステップＳＴ１９に進む。
【００３６】
ステップＳＴ１９においては、透視変換によるコンテンツ情報の映像上の位置が計算される。すなわち、映像合成処理部１４は、ステップＳＴ１１で取得した自車位置方位（基準座標系における自車の位置方位）、カメラ７の自車を基準にした座標系における位置方位、および、あらかじめ取得しておいた画角および焦点距離といったカメラ７の固有値を使用し、ステップＳＴ１１で取得した映像上のコンテンツを表示すべき基準座標系における位置を計算する。この計算は、透視変換と言われる座標変換計算と同じである。
【００３７】
次いで、映像合成処理が行われる（ステップＳＴ２０）。すなわち、映像合成処理部１４は、ステップＳＴ１１で取得した映像上の、ステップＳＴ１９で計算された位置に、ステップＳＴ１６で取得したコンテンツ情報によって示された図形、文字列またはイメージなどを描画する。この場合、描画するコンテンツが経路誘導矢印である場合は、ステップＳＴ１８で付加された高さ情報に応じた位置に経路誘導矢印が描画される。これにより、実写映像にコンテンツが重畳された映像が生成される。
【００３８】
次いで、カウンタの内容ｉがインクリメントされる（ステップＳＴ２１）。すなわち、映像合成処理部１４は、カウンタの内容をインクリメントする。その後、シーケンスはステップＳＴ１５に戻り、上述した処理が繰り返される。
【００３９】
次に、上述した映像合成処理のステップＳＴ１２で行われるコンテンツ生成処理の詳細を、図３に示すフローチャートを参照しながら説明する。
【００４０】
コンテンツ生成処理では、まず、コンテンツを収集する範囲が決定される（ステップＳＴ２０１）。すなわち、映像合成処理部１４は、例えば自車を中心とする半径５０ｍの円形、または、自車から前方５０ｍ、左右１０ｍの矩形といった範囲を、コンテンツを収集する範囲と定める。なお、コンテンツを収集する範囲は、カーナビゲーション装置の製作者が予め定めるように構成できるし、ユーザが任意に設定するように構成することもできる。
【００４１】
次いで、収集するコンテンツの種類が決定される（ステップＳＴ２０２）。収集するコンテンツの種類は、例えば図４に示すように、案内する状況に応じて変化する。映像合成処理部１４は、案内する状況に応じて収集するコンテンツの種類を決定する。なお、コンテンツの種類は、カーナビゲーション装置の製作者が予め定めるように構成できるし、ユーザが任意に設定するように構成することもできる。
【００４２】
次いで、コンテンツの収集が行われる（ステップＳＴ２０３）。すなわち、映像合成処理部１４は、ステップＳＴ２０１で決定された範囲内に存在するコンテンツであって、ステップＳＴ２０２で決定された種類のコンテンツを、地図データベース５または他の処理部などから収集する。その後、コンテンツ生成処理は終了する。
【００４３】
以上説明したように、この発明の実施の形態１に係るカーナビゲーション装置によれば、経路誘導矢印に高さ情報を付加し、この高さ情報で示される位置に経路誘導矢印を表示するように構成したので、図５に示すように、経路誘導矢印を前方車両に遮蔽されにくい画面上部に描画することができる。その結果、前方車両と経路誘導矢印とが重なることが少なくなり、分かりやすい案内を行うことができる。
【００４４】
なお、上述した実施の形態１に係るカーナビゲーション装置においては、経路誘導矢印に高さ情報を付加することにより、経路誘導矢印を画面上部に描画するように構成したが、ステップＳＴ１９における映像上の対応する位置の計算後に、経路誘導矢印を画面上部にずらして描画するといった他の方法を用いて経路誘導矢印を画面の上部に描画するように構成することもできる。
【００４５】
また、上述した映像合成処理部１４では、透視変換を用いて映像上にコンテンツを合成するように構成したが、映像に対して画像認識処理を行うことにより映像内の対象を認識し、その認識した映像の上にコンテンツを合成するように構成することもできる。
【００４６】
実施の形態２．
図６は、この発明の実施の形態２に係るカーナビゲーション装置の構成を示すブロック図である。このカーナビゲーション装置は、実施の形態１に係るカーナビゲーション装置のナビゲーション制御部９に前方車両検知部１６が追加されるとともに、映像合成処理部１４が映像合成処理部１４ａに変更されて構成されている。
【００４７】
前方車両検知部１６は、映像合成処理部１４からの指示に応答して、映像取得部８からの映像を画像解析することにより自車の前方に車両（以下、「前方車両」という）の存否を検知し、前方車両存否データとして映像合成処理部１４ａに送る。なお、画像認識を用いて前方車両を検知する技術に関しては、例えば、特開平５−２０５９３号公報または特開平６−５９０３３号公報などに開示されているので、必要に応じて参照されたい。
【００４８】
なお、前方車両検知部１６は、画像解析を用いて前方車両を検知する代わりに、例えばミリ波レーダを用いて自車の前方の物体を検知することにより前方車両の存否を検知するように構成することもできる。さらに、画像解析を用いて前方車両を検知する方法とミリ波レーダを用いて前方車両を検知する方法とを組み合わせて構成することもできる。
【００４９】
映像合成処理部１４ａは、実施の形態１に係るカーナビゲーション装置の映像合成処理部１４が実行する処理の他に、前方車両検知部１６に対して、前方車両の存否を検知するように指示する処理を実行する。また、映像合成処理部１４ａは、前方車両検知部１６から送られてくる前方車両存否データを調べることにより、前方車両が存在するかどうかが調べ、前方車両が存在することが判断されると、コンテンツに高さ情報を付加する処理を実行する。
【００５０】
次に、上記のように構成される、この発明の実施の形態２に係るカーナビゲーション装置の動作を説明する。この実施の形態２に係るカーナビゲーション装置で行われる映像合成処理は、コンテンツが経路誘導矢印である場合の処理が追加された点を除き、図２に示した実施の形態１に係るカーナビゲーション装置で行われる映像合成処理と同じである。以下では、実施の形態１と相違する部分を中心に、図７に示すフローチャートを参照しながら説明する。なお、図７のフローチャートに示した処理のうち、実施の形態１に係るカーナビゲーション装置の映像合成処理（図２参照）と同じ処理を行うステップには、実施の形態１で使用した符号と同じ符号を付して説明を簡略化する。
【００５１】
映像合成処理では、まず、自車位置方位および映像が取得される（ステップＳＴ１１）。次いで、コンテンツ生成が行われる（ステップＳＴ１２）。次いで、コンテンツ総数ａが取得される（ステップＳＴ１３）。次いで、カウンタの内容ｉが「１」に初期化される（ステップＳＴ１４）。次いで、全てのコンテンツ情報の合成処理が終了したかどうかが調べられる（ステップＳＴ１５）。このステップＳＴ１５において、全てのコンテンツ情報の合成処理が終了したことが判断されると、映像合成処理は終了し、その時点でコンテンツが合成された映像データが、表示決定部１５に送られる。
【００５２】
一方、ステップＳＴ１５において、全てのコンテンツ情報の合成処理が終了していないことが判断されると、ｉ番目のコンテンツ情報が取得される（ステップＳＴ１６）。次いで、コンテンツが経路誘導矢印であるかどうかが調べられる（ステップＳＴ１７）。このステップＳＴ１７において、コンテンツが経路誘導矢印でないことが判断されると、シーケンスはステップＳＴ１９に進む。
【００５３】
一方、ステップＳＴ１７において、コンテンツが経路誘導矢印であることが判断されると、次いで、前方車両の有無が取得される（ステップＳＴ３１）。すなわち、映像合成処理部１４ａは、前方車両検知部１６に対して、前方車両の存否を検知するように指示する。前方車両検知部１６は、この指示に応答して、映像取得部８から得られる映像を画像解析することにより前方車両の存否を検知し、前方車両存否データとして映像合成処理部１４ａに送る。
【００５４】
次いで、前方車両が存在するかどうかが調べられる（ステップＳＴ３２）。すなわち、映像合成処理部１４ａは、前方車両検知部１６から送られてくる前方車両存否データを調べることにより、前方車両が存在するかどうかが調べる。このステップＳＴ３２において、前方車両が存在しないことが判断されると、シーケンスはステップＳＴ１９に進む。一方、ステップＳＴ３２において、前方車両が存在することが判断されると、次いで、コンテンツに高さ情報が付加される（ステップＳＴ３３）。このステップＳＴ３３の処理は、実施の形態１のステップＳＴ１８の処理と同じである。その後、シーケンスはステップＳＴ１９に進む。
【００５５】
ステップＳＴ１９においては、透視変換によるコンテンツ情報の映像上の位置が計算される。次いで、映像合成処理が行われる（ステップＳＴ２０）。次いで、カウンタの内容ｉがインクリメントされる（ステップＳＴ２１）。その後、シーケンスはステップＳＴ１５に戻り、上述した処理が繰り返される。
【００５６】
以上説明したように、この発明の実施の形態２に係るカーナビゲーション装置によれば、前方車両の有無に応じて経路誘導矢印に高さ情報を付加するかどうかを切り替えることにより、前方車両が存在する場合には経路誘導矢印を前方車両に遮蔽されにくい画面上部に描画した実写案内図を表示し、存在しない場合には道路上に経路誘導矢印を表示した通常の実写案内図を表示することができる。その結果、前方車両と経路誘導矢印とが重なることがなくなり、分かりやすい案内を行うことができる。
【００５７】
なお、上述した実施の形態２に係るカーナビゲーション装置においては、経路誘導矢印に高さ情報を付加することにより、経路誘導矢印を画面上部に描画するように構成したが、ステップＳＴ１９における画像上の対応する位置の計算後に、経路誘導矢印を画面上部にずらして描画するといった他の方法を用いて経路誘導矢印を画面の上部に描画するように構成することもできる。
【００５８】
実施の形態３．
この発明の実施の形態３に係るカーナビゲーション装置の構成は、映像合成処理部１４ａの機能を除き、図６に示した実施の形態２に係るカーナビゲーション装置の構成と同じである。映像合成処理部１４ａは、実施の形態２に係るカーナビゲーション装置のそれが有する、コンテンツに高さ情報を付加するという機能の代わりに、背景色および経路誘導矢印の色を決定する機能を有する。
【００５９】
また、実施の形態３に係るカーナビゲーション装置で行われる映像合成処理は、コンテンツが経路誘導矢印である場合の処理の内容を除き、図７に示した実施の形態２に係るカーナビゲーション装置で行われる映像合成処理と同じである。以下では、実施の形態２と相違する部分を中心に、図８に示すフローチャートを参照しながら説明する。なお、図８のフローチャートに示した処理のうち、実施の形態２に係るカーナビゲーション装置の映像合成処理と同じ処理を行うステップには、実施の形態２で使用した符号と同じ符号を付して説明を簡略化する。
【００６０】
映像合成処理では、まず、自車位置方位および映像が取得される（ステップＳＴ１１）。次いで、コンテンツ生成が行われる（ステップＳＴ１２）。次いで、コンテンツ総数ａが取得される（ステップＳＴ１３）。次いで、カウンタの内容ｉが「１」に初期化される（ステップＳＴ１４）。次いで、全てのコンテンツ情報の合成処理が終了したかどうかが調べられる（ステップＳＴ１５）。このステップＳＴ１５において、全てのコンテンツ情報の合成処理が終了したことが判断されると、映像合成処理は終了し、その時点でコンテンツが合成された映像データが、表示決定部１５に送られる。
【００６１】
一方、ステップＳＴ１５において、全てのコンテンツ情報の合成処理が終了していないことが判断されると、ｉ番目のコンテンツ情報が取得される（ステップＳＴ１６）。次いで、透視変換によるコンテンツ情報の映像上の位置が計算される（ステップＳＴ１９）。次いで、コンテンツが経路誘導矢印であるかどうかが調べられる（ステップＳＴ１７）。このステップＳＴ１７において、コンテンツが経路誘導矢印でないことが判断されると、シーケンスはステップＳＴ２０に進む。
【００６２】
一方、ステップＳＴ１７において、コンテンツが経路誘導矢印であることが判断されると、次いで、前方車両の有無が取得される（ステップＳＴ３１）。次いで、前方車両が存在するかどうかが調べられる（ステップＳＴ３２）。このステップＳＴ３２において、前方車両が存在しないことが判断されると、シーケンスはステップＳＴ２０に進む。
【００６３】
一方、ステップＳＴ３２において、前方車両が存在することが判断されると、次いで、背景色が計算される（ステップＳＴ１８）。すなわち、映像合成処理部１４ａは、経路誘導矢印の背景となる色を計算する。背景色の算出は、例えばステップＳＴ１９で計算された映像上の位置に対応する全ての画素の平均をとることにより行うことができる。なお、背景色を計算するエリアは、ステップＳＴ１９で計算された映像上の位置に一致する必要はなく、計算された位置を含む矩形といったように計算された位置とそれ以外のエリアを合わせたものであってもよいし、計算された位置の周囲１０［ｐｉｘｅｌ］といったようにステップＳＴ１９で計算された映像上の位置以外のエリアのみであってもよい。
【００６４】
次いで、経路誘導矢印の色が決定される（ステップＳＴ４２）。すなわち、映像合成処理部１４ａは、ステップＳＴ４１で計算した背景色をもとに、経路誘導矢印の色を決定する。このステップＳＴ４２の処理については、後に詳細に説明する。その後、シーケンスはステップＳＴ２０に進む。ステップＳＴ２０においては、映像合成処理が行われる。次いで、カウンタの内容ｉがインクリメントされる（ステップＳＴ２１）。その後、シーケンスはステップＳＴ１５に戻り、上述した処理が繰り返される。
【００６５】
次に、上述した映像合成処理のステップＳＴ４２で行われる経路誘導矢印の色を決定する処理の詳細を、図９に示すフローチャートを参照しながら説明する。この経路誘導矢印の色を決定する処理は、映像合成処理部１４によって実行される。
【００６６】
経路誘導矢印の色を決定する処理では、図１０に示すような、背景色と経路誘導矢印の色との対応を示したテーブルが用いられる。このテーブルは映像合成処理部１４の内部に形成される。なお、図１０に示すテーブルは、色の表記方法としてＲＧＢ形式を用いる場合の例を示しているが、ＣＭＹ形式などといった他の形式を用いることもできる。さらに、図１０に示すテーブルは、カーナビゲーション装置の製作者があらかじめ定めるように構成できるし、ユーザが任意に変更できるように構成することもできる。
【００６７】
経路誘導矢印の色を決定する処理では、まず、テーブルの総行数ａが求められる（ステップＳＴ５１）。次いで、参照済み行数をカウントするためのカウンタの内容ｉが「１」に設定されるとともに、テーブルの１つの行の背景色と映像合成処理（図８参照）のステップＳＴ４１で計算された背景色との、その時点における最小の差ｄｉｆｆminが無限大に、その時点で最小の差となる行番号ｉminが「１」に設定される。
【００６８】
次いで、全ての行の参照が終了したかどうかが調べられる（ステップＳＴ５３）。具体的には、カウンタの内容である参照済み行数ｉが総行数ａより大きくになったかどうかが調べられる。このステップＳＴ５３において、全ての行の参照が終了した、つまり、参照済み行数ｉが総行数ａより大きくなっていないことが判断されると、次いで、テーブルのｉ行目の背景色が取得される（ステップＳＴ５４）。
【００６９】
次いで、経路誘導矢印の背景色とｉ行目の背景色との差ｄｉｆｆが計算される（ステップＳＴ５５）。すなわち、映像合成処理（図８参照）のステップＳＴ４１で計算された背景色（ＲＧＢをＲsrc、Ｇsrc、Ｂsrcとする）とステップＳＴ５４で取得された背景色（ＲＧＢをＲi、Ｇi、Ｂiとする）の差ｄｉｆｆが以下の計算式で計算される。
ｄｉｆｆ=（Ｒsrc−Ｒi）2＋（Ｇsrc−Ｇi）2＋（Ｂsrc−Ｂi）2
【００７０】
次いで、最小の差ｄｉｆｆminがステップＳＴ５５で計算された差ｄｉｆｆより小さいかどうかが調べられる（ステップＳＴ５６）。このステップＳＴ５６において、最小の差ｄｉｆｆminが差ｄｉｆｆより小さいことが判断されると、次いで、ｉminがｉに、最小の差ｄｉｆｆminが差ｄｉｆｆにそれぞれ更新される（ステップＳＴ５７）。一方、上記ステップＳＴ５６において、最小の差ｄｉｆｆminが差ｄｉｆｆより小さくないことが判断されると、ステップＳＴ５７の処理はスキップされる。次いで、ｉがインクリメントされる（ステップＳＴ５８）。その後、シーケンスはステップＳＴ５３に戻り、上述した処理が繰り返される。
【００７１】
上記ステップＳＴ５３において、全ての行の参照が終了した、つまり、参照済み行数ｉが総行数ａより大きくなっていないことが判断されると、次いで、テーブルのｉmin行目の経路誘導矢印の色が、実際に使用する経路誘導矢印の色として決定される（ステップＳＴ５９）。以上により、経路誘導矢印の色を決定する処理は終了する。
【００７２】
以上説明したように、この発明の実施の形態３に係るカーナビゲーション装置によれば、前方車両が存在する場合に、経路誘導矢印の背景色を考慮して、経路誘導矢印の色を認識しやすい色に変更するように構成したので、前方車両の上であっても認識しやすい経路誘導矢印を描画できる。
【００７３】
なお、上述した経路誘導矢印の色を決定する処理では、図１０に示すような背景色と矢印色の対応を表したテーブルを用いて経路誘導矢印の色を決定するように構成したが、テーブルを用いずに、例えば背景色の補色を経路誘導矢印の色とするようなアルゴリズムを用いて経路誘導矢印の色を決定するように構成することもできる。
【００７４】
また、上述した実施の形態１に係るカーナビゲーション装置では、前方車両が存在する場合に、経路誘導矢印の色を変更するように構成したが、経路誘導矢印の色に限定されず、例えば模様または形状などといった、所謂、表示形態を変更するように構成することができる。
【００７５】
実施の形態４．
この発明の実施の形態４に係るカーナビゲーション装置は、前方車両が存在する場合に、実写案内図に代えて、従来の地図案内図を表示するようにしたものである。
【００７６】
図１１は、この発明の実施の形態４に係るカーナビゲーション装置の構成を示すブロック図である。このカーナビゲーション装置は、実施の形態２に係るカーナビゲーション装置のナビゲーション制御部９に含まれる表示決定部１５が表示決定部１５ａに、前方車両検知部１６が前方車両検知部１６ａにそれぞれ変更されて構成されている。
【００７７】
前方車両検知部１６ａ、映像合成処理部１４からの指示に応答して、映像取得部８から得られる映像を画像解析することにより自車の前方に前方車両の存否を検知し、前方車両存否データとして映像合成処理部１４ａに送る他に、該前方車両存否データを表示決定部１５ａにも送る。
【００７８】
表示決定部１５ａは、案内表示生成部１３に対して地図案内図の生成を指示し、映像合成処理部１４に対して実写案内図の生成を指示する他に、前方車両検知部１６ａに対して車両存否データの取得を指示する。また、表示決定部１５ａは、位置方位計測部４から送られてくる自車位置方位データ、地図データベース５から読み出した自車周辺の地図データ、入力操作部６から送られてくる操作データ、案内表示生成部１３から送られてくる地図案内図データおよび映像合成処理部１４から送られてくる実写案内図データに基づく他に、前方車両検知部１６ａから送られてくる前方車両存否データをも考慮して表示部１０の画面に表示する内容を決定する。この表示決定部１５において決定された表示内容に対応するデータは、表示データとして表示部１０に送られる。
【００７９】
次に、上記のように構成される、この発明の実施の形態４に係るカーナビゲーション装置の動作を、映像合成処理部１４に対して映像合成処理を依頼する処理を中心に、図１２に示すフローチャートを参照しながら説明する。なお、図１２のフローチャートに示す処理を開始するまでに、案内対象物に近づいたり、ユーザが入力操作部６を操作して画面を切り替えたりするなどして、映像合成処理部１４に対して映像合成処理を依頼することが決まったものとする。
【００８０】
まず、前方車両の有無が取得される（ステップＳＴ６１）。すなわち、映像合成処理部１４ａは、前方車両検知部１６に対して、前方車両の存否を検知するように指示する。前方車両検知部１６は、この指示に応答して、映像取得部８から得られる映像を画像解析することにより前方車両の存否を検知し、前方車両存否データとして映像合成処理部１４ａに送る。
【００８１】
次いで、前方車両が存在するかどうかが調べられる（ステップＳＴ６２）。すなわち、映像合成処理部１４ａは、前方車両検知部１６ａから送られてくる前方車両存否データを調べることにより、前方車両が存在するかどうかが調べる。このステップＳＴ６２において、前方車両が存在することが判断されると、次いで、映像合成処理が実行される（ステップＳＴ６３）。すなわち、映像合成処理部１４ａは、図７のフローチャートに示した実施の形態２に係るカーナビゲーション装置の映像合成処理、または、図８のフローチャートに示した実施の形態３に係るカーナビゲーション装置の映像合成処理を実行する。
【００８２】
一方、ステップＳＴ６２において、前方車両が存在しないことが判断されると、従来の地図案内図が生成される（ステップＳＴ６４）。すなわち、映像合成処理部１４ａは、表示決定部１５ａに対し、映像合成処理を行わない旨を通知する。表示決定部１５ａは、前方車両検知部１６ａに対して車両存否データの取得を指示し、これに応答して、前方車両検知部１６ａから送られてくる前方車両存否データが、前方車両が存在することを示していれば、案内表示生成部１３に対して地図案内図の生成を指示する。そして、この指示に応答して、案内表示生成部１３から送られてくる地図案内図データを、表示データとして表示部１０に送る。これにより、表示部１０に、交差点誘導案内などといった従来のカーナビゲーション装置と同様の地図案内図が表示される。
【００８３】
以上説明したように、この発明の実施の形態３に係るカーナビゲーション装置によれば、前方車両が存在することにより視界が遮られる場合に、従来と同様の地図案内図を用いた案内に切り替えられるので、分かりやすい案内を確保することができる。
【００８４】
実施の形態５．
図１３は、この発明の実施の形態５に係るカーナビゲーション装置の構成を示すブロック図である。このカーナビゲーション装置は、実施の形態１に係るカーナビゲーション装置のナビゲーション制御部９に表示位置決定部１７が追加されるとともに、映像合成処理部１４が映像合成処理部１４ｂに変更されて構成されている。
【００８５】
表示位置決定部１７は、映像取得部８で取得された映像を用いて、該映像内で経路誘導矢印を表示させる位置を決定する。この表示位置決定部１７で決定された位置を表すデータは、映像合成処理部１４ｂに送られる。
【００８６】
映像合成処理部１４ｂは、実施の形態１に係るカーナビゲーション装置の映像合成処理部１４が実行する処理の他に、表示位置決定部１７に対して、経路誘導矢印を表示する位置を決定するように指示する処理を実行する。また、映像合成処理部１４ｂは、表示位置決定部１７から送られてくる経路誘導矢印を表示する位置を表すデータによって示される映像内の位置に、経路誘導矢印を合成する処理を実行する。
【００８７】
次に、上記のように構成される、この発明の実施の形態５に係るカーナビゲーション装置の動作を説明する。
【００８８】
まず、表示位置決定部１７で行われる表示位置の決定処理を、図１４に示すフローチャートを参照しながら説明する。この表示位置の決定処理では、まず、マスクエリアがクリアされる（ステップＳＴ７１）。ここで、マスクエリアとは、経路誘導矢印を表示するのに不適切な映像内のエリアをいう。このステップＳＴ７１の処理により、不適切なエリアが選択されていない状況にされる。
【００８９】
次いで、前方画像が取得される（ステップＳＴ７２）。すなわち、表示位置決定部１７は、映像取得部８から映像データを入力し、１つの画像を取得する。次いで、車両の検出が行われる（ステップＳＴ７３）。すなわち、表示位置決定部１７は、ステップＳＴ７２で取得した前方画像を解析して画像認識を行うことにより、前方車両を検出する。ここで、画像認識を用いた前方車両を検出する技術に関しては、上述したように、特開平５−２０５９３号公報または特開平６−５９０３３号公報などに開示されているので、必要に応じて参照されたい。
【００９０】
次いで、車両が存在するかどうかが調べられる（ステップＳＴ７４）。すなわち、表示位置決定部１７は、ステップＳＴ７３における検出結果に基づき、前方車両が存在するかどうかを調べる。このステップＳＴ７４において、車両が存在しないことが判断されると、シーケンスはステップＳＴ７６に進む。
【００９１】
一方、ステップＳＴ７４において、車両が存在することが判断されると、車両のエリアがマスクエリアに追加される（ステップＳＴ７５）。すなわち、表示位置決定部１７は、画像上の車両が存在するエリアをマスクエリアとして、自己の内部の図示しないメモリに追加する。その後、シーケンスはステップＳＴ７６に進む。
【００９２】
ステップＳＴ７６においては、信号機の検出が行われる。すなわち、表示位置決定部１７は、ステップＳＴ７２で取得した前方画像を解析して画像認識を行うことにより、信号機を検出する。この画像認識では、例えば地面からの高さ５ｍに対応する画像上の位置において、赤、青または黄色の円が存在する場合に、その周囲の高さ５０ｃｍ、幅１ｍの場所を信号機と判断することができる。
【００９３】
次いで、信号機が存在するかどうかが調べられる（ステップＳＴ７７）。すなわち、表示位置決定部１７は、ステップＳＴ７６における検出結果に基づき、信号機が存在するかどうかを調べる。このステップＳＴ７７において、信号機が存在しないことが判断されると、表示位置の決定処理は終了する。
【００９４】
一方、ステップＳＴ７７において、信号機が存在することが判断されると、信号機のエリアがマスクエリアに追加される（ステップＳＴ７８）。すなわち、表示位置決定部１７は、画像上の信号機が存在するエリアをマスクエリアとして、自己の内部の図示しないメモリに追加する。その後、表示位置の決定処理は終了する。
【００９５】
図１５は、画像中の前方車両および信号機の部分（斜線で示す部分）がマスクエリアとして登録されている様子を示す。
【００９６】
なお、上述した表示位置の決定処理では、前方車両および信号機を検知してマスクエリアを計算する場合について説明したが、それ以外にも、例えば歩行者、道路標識または道路標示などの運転行動に関わる物体を単独または組み合わせてマスクエリアとすることもできる。また、車両および信号機を必ずマスクエリアとする必要はなく、どちらか片方のみをマスクエリアとしたり、どちらもマスクエリアとしないように構成することもできる。
【００９７】
また、画像認識においては、運転行動に関わる物体を認識するだけでなく、例えば信号機の位置情報が判明している場合、自車位置方位とカメラの設置位置と信号機の位置情報を用いて画像上の信号機の位置を計算し、この計算した位置をマスクエリアとするように、画像解析を用いずにマスクエリアを定めることもできる。
【００９８】
また、上述した表示位置の決定処理では、不適切なエリアを計算するように構成したが、適切なエリアを計算するように構成することもできる。さらに、上述した表示位置の決定処理では、不適切なエリアと適切なエリアを２分しているが、適切さまたは不適切さを段階的に計算するように構成することもできる。
【００９９】
次に、実施の形態５に係るカーナビゲーション装置で行われる映像合成処理を、図１６に示すフローチャートを参照しながら説明する。この映像合成処理は、コンテンツをマスクエリア以外の位置に描画する処理を除き、図２に示した実施の形態１に係るカーナビゲーション装置で行われる映像合成処理と同じである。なお、図１６のフローチャートに示した処理のうち、実施の形態１に係るカーナビゲーション装置の映像合成処理と同じ処理を行うステップには、実施の形態１で使用した符号と同じ符号を付して説明を簡略化する。
【０１００】
映像合成処理では、まず、自車位置方位および映像が取得される（ステップＳＴ１１）。次いで、コンテンツ生成が行われる（ステップＳＴ１２）。次いで、コンテンツ総数ａが取得される（ステップＳＴ１３）。次いで、マスクエリアが取得される（ステップＳＴ８１）。すなわち、映像合成処理部１４ｂは、表示位置決定部１７からマスクエリアを取得する。次いで、カウンタの内容ｉが「１」に初期化される（ステップＳＴ１４）。次いで、全てのコンテンツ情報の合成処理が終了したかどうかが調べられる（ステップＳＴ１５）。このステップＳＴ１５において、全てのコンテンツ情報の合成処理が終了したことが判断されると、映像合成処理は終了し、その時点でコンテンツが合成された映像データが、表示決定部１５に送られる。
【０１０１】
一方、ステップＳＴ１５において、全てのコンテンツ情報の合成処理が終了していないことが判断されると、ｉ番目のコンテンツ情報が取得される（ステップＳＴ１６）。次いで、透視変換によるコンテンツ情報の映像上の位置が計算される（ステップＳＴ１９）。次いで、計算された位置がマスクエリア内に存在するかどうかが調べられる（ステップＳＴ８２）。すなわち、映像合成処理部１４ｂは、ステップＳＴ１９で計算した位置がステップＳＴ８１で表示位置決定部１７から取得しマスクエリア内に存在するかどうかが調べる。このステップＳＴ８２において、計算された位置がマスクエリア内に存在しないことが判断されると、シーケンスはステップＳＴ２０に進む。
【０１０２】
一方、ステップＳＴ１７において、計算された位置がマスクエリア内に存在することが判断されると、次いで、上下左右を探索して非マスクエリアまでの距離が計算される（ステップＳＴ８３）。すなわち、映像合成処理部１４ｂは、ステップＳＴ１９で計算したコンテンツ情報の映像上の位置の上下左右を探索し、最も近い非マスクエリアまでの距離［ｐｉｘｅｌ］を計算する。例えば、上に１０［ｐｉｘｅｌ］、下に１５［ｐｉｘｅｌ］、左に２０［ｐｉｘｅｌ］および右に２５［ｐｉｘｅｌ］といったように計算される。
【０１０３】
次いで、コンテンツ情報の映像上の位置をずらす処理が行われる（ステップＳＴ８４）。すなわち、映像合成処理部１４ｂは、ステップＳＴ８３で求めた上下左右のうち最も近いものを選択し、コンテンツ情報の映像上の位置を選択した距離だけずらす処理、例えば、上に１０［ｐｉｘｅｌ］だけずらす処理を実行する。その後、シーケンスはステップＳＴ２０に進む。ステップＳＴ２０においては、映像合成処理が行われる。次いで、カウンタの内容ｉがインクリメントされる（ステップＳＴ２１）。その後、シーケンスはステップＳＴ１５に戻り、上述した処理が繰り返される。
【０１０４】
なお、上記ステップＳＴ８２〜ステップＳＴ８４の処理において、コンテンツ情報の映像上の位置をずらした後に、マスクエリアに重なっているかどうかを判断し、マスクエリアに重なっている場合は、さらにずらすという処理を繰り返し実行するように構成することもできる。
【０１０５】
以上説明したように、この発明の実施の形態５に係るカーナビゲーション装置によれば、カメラ７で撮影した自車周辺の実写映像上に経路誘導矢印を重畳表示する際に、描画に最も適した場所を選択し、その場所に経路誘導矢印を描画するように構成できるので、前方車両または信号機などを避けて誘導矢印を描画することができる。その結果、分かりやすい案内が可能となる。
【０１０６】
なお、図示の実施の形態では、車に適用したカーナビゲーション装置として説明したが、この発明に係るナビゲーション装置は、カメラを有する携帯電話機で飛行機等の移動体に対しても同様に適用することができる。
【図面の簡単な説明】
【０１０７】
【図１】この発明の実施の形態１に係るカーナビゲーション装置の構成を示すブロック図である。
【図２】この発明の実施の形態１に係るカーナビゲーション装置の動作を、映像合成処理を中心に示すフローチャートである。
【図３】この発明の実施の形態１に係るカーナビゲーション装置で行われる映像合成処理の中のコンテンツ生成処理の詳細を示すフローチャートである。
【図４】この発明の実施の形態１に係るカーナビゲーション装置において使用されるコンテンツの種類を説明するための図である。
【図５】この発明の実施の形態１に係るカーナビゲーション装置で画面に表示される案内図の例を示す図である。
【図６】この発明の実施の形態２に係るカーナビゲーション装置の構成を示すブロック図である。
【図７】この発明の実施の形態２に係るカーナビゲーション装置の動作を、映像合成処理を中心に示すフローチャートである。
【図８】この発明の実施の形態３に係るカーナビゲーション装置の動作を、映像合成処理を中心に示すフローチャートである。
【図９】この発明の実施の形態３に係るカーナビゲーション装置の映像合成処理で行われる経路誘導矢印の色を決定する処理の詳細を示すフローチャートである。
【図１０】この発明の実施の形態３に係るカーナビゲーション装置で使用される背景色と経路誘導矢印の色とを対応付けたテーブルの例を示す図である。
【図１１】この発明の実施の形態４に係るカーナビゲーション装置の構成を示すブロック図である。
【図１２】この発明の実施の形態４に係るカーナビゲーション装置の動作を、映像合成処理部に対して映像合成処理を依頼する処理を中心に示すフローチャートである。
【図１３】この発明の実施の形態５に係るカーナビゲーション装置の構成を示すブロック図である。
【図１４】この発明の実施の形態５に係るカーナビゲーション装置の表示位置決定部１７で行われる表示位置の決定処理を示すフローチャートである。
【図１５】この発明の実施の形態５に係るカーナビゲーション装置で使用されるマスクエリアを説明するための図である。
【図１６】この発明の実施の形態５に係るカーナビゲーション装置の動作を、映像合成処理を中心に示すフローチャートである。
【符号の説明】
【０１０８】
１ ＧＰＳレシーバ、２ 車速センサ、３ 方位センサ、４ 位置方位計測部、５ 地図データベース、６ 入力操作部、７ カメラ、８ 映像取得部、９ ナビゲーション制御部、１０ 表示部、１１ 目的地設定部、１２ 経路計算部、１３ 案内表示生成部、１４，１４ａ，１４ｂ 映像合成処理部、１５，１５ａ 表示決定部、１６，１６ａ 前方車両検知部。
【特許請求の範囲】
【請求項１】
前方を撮影するカメラと、
前記カメラで撮影された前方の映像を取得する映像取得部と、
経路誘導矢印を表示する際には、前記映像取得部で取得された映像の上部に重畳させて映像を生成する映像合成処理部と、
前記映像合成処理部で生成された映像を表示する表示部
とを備えたナビゲーション装置。
【請求項２】
前方を撮影するカメラと、
前記カメラで撮影された前方の映像を取得する映像取得部と、
前方車両の存否を検知する前方車両検知部と、
前記前方車両検知部により前方車両が存在することが検知された場合に、前記映像取得部で取得された映像に重畳させる経路誘導矢印の位置を変更する映像合成処理部
ことを特徴とする請求項１記載のナビゲーション装置。
【請求項３】
映像合成処理部は、前方車両検知部により前方車両が存在することが検知された場合に、映像取得部で取得された映像の上部に経路誘導矢印を重畳させた映像を生成する
ことを特徴とする請求項２記載のナビゲーション装置。
【請求項４】
映像合成処理部は、前方車両検知部により前方車両が存在することが検知された場合に、背景色に応じて表示形態を変更した経路誘導矢印を映像取得部で取得された映像に重畳させた映像を生成する
ことを特徴とする請求項２記載のナビゲーション装置。
【請求項５】
地図データを保持する地図データベースと、
現在位置および方位を計測する位置方位計測部と、
前記位置方位計測部で計測された位置の周辺の地図データを前記地図データベースから取得し、該地図データから地図を用いた案内図である地図案内図を生成する案内表示生成部と、
前方車両検知部により前方車両が存在することが検知された場合に、前記案内表示生成部で生成された地図案内図を表示部に表示させるように決定する表示決定部
とを備えたことを特徴とする請求項２記載のナビゲーション装置。
【請求項６】
前方を撮影するカメラと、
前記カメラで撮影された前方の映像を取得する映像取得部と、
前記映像取得部で取得された映像の中の所定の物体をマスクエリアに設定し、該マスクエリアに重ならない位置を、経路誘導矢印を表示させる位置として決定する表示位置決定部と、
前記映像取得部で取得された映像の中の前記表示位置決定部により決定された位置に経路誘導矢印を重畳させる映像合成処理部
とを備えたナビゲーション装置。
【請求項１】
前方を撮影するカメラと、
前記カメラで撮影された前方の映像を取得する映像取得部と、
経路誘導矢印を表示する際には、前記映像取得部で取得された映像の上部に重畳させて映像を生成する映像合成処理部と、
前記映像合成処理部で生成された映像を表示する表示部
とを備えたナビゲーション装置。
【請求項２】
前方を撮影するカメラと、
前記カメラで撮影された前方の映像を取得する映像取得部と、
前方車両の存否を検知する前方車両検知部と、
前記前方車両検知部により前方車両が存在することが検知された場合に、前記映像取得部で取得された映像に重畳させる経路誘導矢印の位置を変更する映像合成処理部
ことを特徴とする請求項１記載のナビゲーション装置。
【請求項３】
映像合成処理部は、前方車両検知部により前方車両が存在することが検知された場合に、映像取得部で取得された映像の上部に経路誘導矢印を重畳させた映像を生成する
ことを特徴とする請求項２記載のナビゲーション装置。
【請求項４】
映像合成処理部は、前方車両検知部により前方車両が存在することが検知された場合に、背景色に応じて表示形態を変更した経路誘導矢印を映像取得部で取得された映像に重畳させた映像を生成する
ことを特徴とする請求項２記載のナビゲーション装置。
【請求項５】
地図データを保持する地図データベースと、
現在位置および方位を計測する位置方位計測部と、
前記位置方位計測部で計測された位置の周辺の地図データを前記地図データベースから取得し、該地図データから地図を用いた案内図である地図案内図を生成する案内表示生成部と、
前方車両検知部により前方車両が存在することが検知された場合に、前記案内表示生成部で生成された地図案内図を表示部に表示させるように決定する表示決定部
とを備えたことを特徴とする請求項２記載のナビゲーション装置。
【請求項６】
前方を撮影するカメラと、
前記カメラで撮影された前方の映像を取得する映像取得部と、
前記映像取得部で取得された映像の中の所定の物体をマスクエリアに設定し、該マスクエリアに重ならない位置を、経路誘導矢印を表示させる位置として決定する表示位置決定部と、
前記映像取得部で取得された映像の中の前記表示位置決定部により決定された位置に経路誘導矢印を重畳させる映像合成処理部
とを備えたナビゲーション装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１１−４７６４９（Ｐ２０１１−４７６４９Ａ）
【公開日】平成２３年３月１０日（２０１１．３．１０）
【国際特許分類】
【出願番号】特願２００７−３３９９５１（Ｐ２００７−３３９９５１）
【出願日】平成１９年１２月２８日（２００７．１２．２８）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
【公開日】平成２３年３月１０日（２０１１．３．１０）
【国際特許分類】
【出願日】平成１９年１２月２８日（２００７．１２．２８）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
[ Back to top ]