説明

ナビゲーション装置

【課題】 地図データには含まれていない車両などの物体を含めて自車位置周辺の平面図を表示する。
【課題手段】 車載用ナビゲーション装置の記憶装置には、地図データと、物体(例えば、車両、バイク、人、建物)の画像データ(例えば、3Dポリゴンデータ)とが記憶されている。そして、カメラにより取得した映像を用いて、車両の周辺に存在する物体に対応する画像データを選択し、選択した画像データから生成される物体の画像(ポリゴン)を、車両周辺の地図上に配置した後、天頂方向からの平面図に変換し表示する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ナビゲーション装置に関し、特に車載用ナビゲーション装置の表示技術に関する。
【背景技術】
【0002】
特許文献1には、自車周辺の様子を監視するために、車両に設置されたカメラで撮影した映像をディスプレイに表示する車載用ナビゲーション装置が記載されている。
【0003】
【特許文献1】特開2001−033268号公報
【発明の開示】
【発明が解決しようとする課題】
【0004】
しかし、ユーザが自車位置周辺の様子を知りたい場合、カメラで撮影した映像そのものより、例えば、天頂方向から観た自車位置周辺の様子が表示された方が良いことがある。特許文献1の技術では、視点方向を変えて表示することはできないので、このニーズに答えられない。また、単なる天頂方向からの平面図は、地図データを用いて表示することはできるが、地図データに含まれていない車両などの物体をその平面図に含ませることはできない。
【0005】
本発明の目的は、地図データには含まれていない車両などの物体を含めて自車位置周辺の平面図を表示することにある。
【課題を解決するための手段】
【0006】
上記課題を解決すべく、本発明の車両のナビゲーション装置は、車両に設置されたカメラから取得した映像を基に、天頂方向からの平面図を生成し表示する。
【0007】
例えば、本発明の車両のナビゲーション装置は、地図データと物体の画像データとを記憶する記憶手段と、前記車両の周辺の映像を取得する周辺映像取得手段と、前記周辺映像取得手段により取得した映像を用いて、前記車両の周辺に存在する物体に対応する画像データを選択する選択手段と、前記選択手段により選択した画像データから生成される物体の画像を、前記車両周辺の地図上に配置して表示する表示手段とを備えている。
【0008】
また、前記ナビゲーション装置は、地図データと、物体の三次元データ(例えば、3Dポリゴンデータ)を含む物体三次元データとを記憶する記憶手段と、前記車両の周辺の映像を取得する周辺映像取得手段と、前記周辺映像取得手段により取得した映像を用いて、前記車両の周辺に存在する物体に対応する三次元データを、前記物体三次元データの中から選択する選択手段と、前記選択手段により選択した三次元データから生成される物体の画像を前記車両の周辺の地図上に配置させて表示する表示手段とを備えていてもよい。
【発明を実施するための最良の形態】
【0009】
以下に、本発明の一実施形態について、図面を参照して説明する。
【0010】
図1は、車載用ナビゲーション装置100の概略構成図である。図示するように、車載用ナビゲーション装置100は、演算処理部1と、ディスプレイ2と、記憶装置3と、音声入出力装置4と、入力装置5と、車輪速センサ6と、地磁気センサ7と、ジャイロセンサ8と、GPS(Global Positioning System)受信装置9と、カメラ10とを備えている。
【0011】
演算処理部1は、様々な処理を行う中心的ユニットである。例えば各種センサ6〜8やGPS受信装置9から出力される情報を基にして現在地を検出する。また、得られた現在地情報に基づいて、表示に必要な地図データを記憶装置3から読み出す。また、読み出した地図データをグラフィックス展開し、そこに現在地を示すマークを重ねてディスプレイ2へ表示する。また、記憶装置3に記憶されている地図データを用いて、ユーザから指示された目的地と現在地(出発地)とを結ぶ最適な経路(推奨経路)を探索する。また、音声入出力装置4やディスプレイ2を用いてユーザを誘導する。
【0012】
ディスプレイ2は、演算処理部1で生成されたグラフィックス情報を表示するユニットである。ディスプレイ2は、CRTや液晶ディスプレイなどで構成される。演算処理部1とディスプレイ2との間の信号S1は、RGB信号やNTSC(National Television System Committee)信号で接続するのが一般的である。
【0013】
記憶装置3は、CD-ROMやDVD-ROMやHDDやICカードといった記憶媒体で構成されている。この記憶媒体には、地図データが記憶されている。
【0014】
地図データは、地図上の区画された領域であるメッシュの識別コード(メッシュID)ごとに、そのメッシュ領域に含まれる道路を構成する各リンクのリンクデータを含む。リンクデータは、リンクIDごとに、リンクを構成する2つのノード(開始ノード、終了ノード)の座標情報、リンクを含む道路の種別情報、リンクの長さを示すリンク長情報、リンク旅行時間、2つのノードにそれぞれ接続するリンクのリンクID(接続リンクID)などを含んでいる。なお、ここでは、リンクを構成する2つのノードについて開始ノードと終了ノードとを区別することで、同じ道路の上り方向と下り方向とを、それぞれ別のリンクとして管理するようにしている。
【0015】
また、地図データには、対応するメッシュ領域に含まれている道路以外の地図構成物(建物、街路樹、ガードレールなど)の情報(位置、大きさなど)も含まれている。
【0016】
記憶装置3には、さらに、車、バイク、自転車、人などの移動するもの(動体)の3次元データである動体ポリゴンデータ310と、建物、街路樹、中央分離帯、ガードレールなどの静止物の3次元データである静止物ポリゴンデータとが記憶されている。
【0017】
図2は、動体ポリゴンデータ310の構成を示す図である。動体ポリゴンデータ310は、ポリゴンの名称311、実際の大きさ312、3Dポリゴンデータ313などを含んでいる。名称311は、車両の場合は、車種、型式などを含んでいる。実際の大きさ312は、車両の場合、幅、長さ、高さなどを含んでいる。ポリゴンファイル313は、3Dポリゴンを構成する面の情報、その配色などを含んでいる。
【0018】
図3は、静止物ポリゴンデータ320の構成を示す図である。静止物ポリゴンデータ320は、動体ポリゴンデータ320と同様に、ポリゴンの名称321、実際の大きさ322、3Dポリゴンデータ323などを含んでいる。
【0019】
図1に戻って説明する。
【0020】
音声入出力装置4は、演算処理部1で生成したユーザへのメッセージを音声信号に変換し出力する。また、ユーザが発した声を認識し演算処理部1にその内容を転送する処理を行う。
【0021】
入力装置5は、ユーザからの指示を受け付けるユニットである。入力装置5は、スクロールキー、縮尺変更キーなどのハードスイッチ、ジョイスティック、ディスプレイ上に貼られたタッチパネルなどで構成される。
【0022】
センサ6〜8およびGPS受信装置9は、車載用ナビゲーション装置100で現在地(自車位置)を検出するために使用されるものである。車輪速センサ6は、車輪の円周と計測される車輪の回転数の積から距離を測定し、さらに対となる車輪の回転数の差から移動体が曲がった角度を計測する。地磁気センサ7は、地球が保持している磁場を検知し、移動体が向いている方角を検出する。ジャイロ8は、光ファイバジャイロや振動ジャイロ等で構成され、移動体が回転した角度を検出するものである。GPS受信装置9は、GPS衛星からの信号を受信し移動体とGPS衛星間の距離と距離の変化率を3個以上の衛星に対して測定することで移動体の現在位置、進行速度および進行方位を測定する。
【0023】
カメラ10は、車載用ナビゲーション装置100が搭載されている車両の周辺の映像を取得するための撮像装置である。
【0024】
図4は、カメラ10の概略構成図である。カメラ10は、鉛直方向に上から、プリズム101と、CCDカメラなどの小型カメラ103と、ステッピングモータ104とで構成されている。プリズム101は、1つのカメラで複数方向の像(本実施形態では、相反する2つの方向の像)を同時に撮像するためにある。プリズム101は、テーパ形状をなしており、その底面101cはカメラレンズ102に対向している。2つの斜面101a,bの傾斜角度は、相反する2つの水平方向の像が一度にカメラレンズ102に入射するように調整されている。
【0025】
小型カメラ103は、プリズム101とともに、ステッピングモータ104により、回動制御される。小型カメラ103は、プリズム101とともに回動することにより、周囲360°の映像を撮影可能である。回動方向は、一定でもよいし、反転可能としてもよい。回動制御は、演算処理部1からの指示でなされる。
【0026】
図5は、カメラ10の設置位置を説明する図である。図5(a)は車両の前面、(b)は左側面、(c)は天頂から観た上面、(d)は右側面、(e)は後面である。本実施形態の車載用ナビゲーション装置100は、複数のカメラ10を備えている。図示するように、車両15の前後左右の角に、F〜Iの4つのカメラ10が設置されている。設置位置は、死角を減らし、より広範囲の映像が取得できるように調整されている。
【0027】
図6は、図5で示したようにカメラ10を設置した場合の撮影範囲を示す。上述したように、カメラ10は、プリズム101により、2つの方向を同時に撮影可能であり、またステッピングモータ104により回転するので、カメラ10を中心とした範囲16を撮像することができる。
【0028】
図7は、演算処理部1の機能ブロック図である。
【0029】
図示するように、演算処理部1は、ユーザ操作解析部41と、経路探索部42と、経路誘導部43と、現在位置算出部44と、情報記憶部45、画像処理部46と、表示処理部47とを備えている。
【0030】
ユーザ操作解析部41は、入力装置5に入力されたユーザからの要求を受け、その要求内容を解析して、その要求内容に対応する処理が実行されるように演算処理部1の各部を制御する。例えば、ユーザが推奨経路の探索を要求したときは、目的地を設定するため、地図をディスプレイ2に表示する処理を表示処理部47に要求する。また、現在地(出発地)から目的地までの経路を演算する処理を経路探索部42に要求する。
【0031】
現在位置算出部44は、車輪速センサ6で計測される距離パルスデータS5およびジャイロ8で計測される角加速度データS7を各々積分した結果得られる距離データおよび角度データを用い、そのデータを時間軸で積分していくことにより、初期位置(X,Y)から自車走行後の位置である仮想現在地(X′,Y′)を定期的に演算する。また、仮想現在位置を、地図データを用いて、マップマッチ処理することにより、形状の相関が最も高い道路(リンク)上に、現在位置を合わせ込む。こうして求めた現在位置が、地図上の表示位置(カーマークの位置)となる。
【0032】
経路探索部42は、ダイクストラ法等を用いて、指定された2地点(現在地、目的地)間を結ぶ経路のコスト(例えば、旅行時間)が最少となる経路を探索する。
【0033】
経路誘導部43は、経路探索部42で探索された経路を用いて経路誘導を行う。例えば、経路の情報と、現在地の情報とを比較し、交差点等を通過する前に直進すべきか、右左折すべきかを音声出入力装置4を用いて音声でユーザに知らせる。また、経路誘導部43は、ディスプレイ2に表示された地図上に進行すべき方向を表示して、ユーザに推奨経路を通知する。
【0034】
画像処理部46は、カメラ10で自車周辺を撮像して得た画像データを解析し、自車周辺に存在する物体に対応するポリゴンを特定し、特定したポリゴンを自車位置周辺の地図に配置する。そして、特定方向からみた画像を生成する。
【0035】
表示処理部47は、画像処理部46で生成された画像をもとに、描画コマンドを生成する。そして、生成したコマンドを、ディスプレイ2に送信する。
【0036】
図8は、演算処理部1のハードウェア構成例を示す図である。
【0037】
図示するように、演算処理部1は、各デバイス間をバス32で接続した構成としてある。演算処理部1は、数値演算及び各デバイスを制御するといった様々な処理を実行するCPU(Central Processing Unit)21と、記憶装置3から読み出した地図データ、演算データなどを格納するRAM(Random Access Memory)22と、プログラムやデータを格納するROM(Read Only Memory)23と、メモリ間およびメモリと各デバイスとの間のデータ転送を実行するDMA(Direct Memory Access)24と、グラフィックス描画を実行し且つ表示制御を行う描画コントローラ25と、グラフィックスイメージデータを蓄えるVRAM(Video Random Access Memory)26と、イメージデータをRGB信号に変換するカラーパレット27と、アナログ信号をデジタル信号に変換するA/D変換器28と、シリアル信号をバスに同期したパラレル信号に変換するSCI(Serial Communication Interface)29と、パラレル信号をバスに同期させてバス上にのせるPIO(Parallel Input/Output)30と、パルス信号を積分するカウンタ31と、カメラ10のステッピングモータに制御命令を送信して撮影方向を制御するとともに、撮像して得たアナログ信号を画像データに変換するカメラ制御装置33とを有する。
【0038】
[動作の説明]次に、上記構成の車載用ナビゲーション装置100の動作について説明する。
【0039】
本実施形態の車載用ナビゲーション装置100は、撮像した画像を用いて、自車位置周辺の様子をディスプレイ2に表示する機能を備えている。この機能を達成するための処理について説明する。
【0040】
なお、自車両の車種、色、大きさなどの自車情報と、カメラの設置位置に関する情報は、予め、情報記憶部45に記憶されているものとする。
【0041】
まず、撮像処理について説明する。図9は、かかる撮像処理のフロー図である。画像処理部46は、カメラ10のステッピングモータ104を制御して、カメラ10の撮影方向を定める。さらに、画像処理部46は、カメラ10で撮像して得た画像データを、画像ファイルとして情報記憶部45に保存する。このとき、画像処理部46は、自車状態(座標位置、車両方位)を、現在位置算出部44から取得する。また、撮像して得た画像には、相反する2方向の画像が含まれているので、画像を二つに分割し、それぞれの画像について画像ファイルを生成する。また、撮影時のプリズムの向き(CCDカメラ103の回転角)から、それぞれの画像の撮影方向を求める。画像処理部46は、こうして得た画像ファイルを、撮影日時と、撮影したときの自車状態(座標位置、車両方向)と、カメラの設置位置(例えば、前方右など)、撮影方向(カメラ撮影方位)とに対応させて保存する(S110)。
【0042】
次に、画像処理部46は、ステッピングモータ101を制御して、CCDカメラをプリズムとともに予め定めた角度だけ回動させ、撮影方向を変える(S112)。そして、再び、カメラ10で撮像して得た画像データを保存する(S110)。こうして、情報記憶部45には、画像ファイルが蓄積される。
【0043】
図10は、こうして蓄積されたカメラ画像データ450の構成を示す図である。図示するように、カメラ画像データ450には、撮影日時451と、撮影したときの車両位置452と、車両方位453と、カメラ位置454と、カメラ撮影方位455と、画像ファイル456とが含まれている。
【0044】
次に、カメラ10で得た画像データをもとに、天頂から見た自車位置周辺の平面図を表示する処理について説明する。
【0045】
図11は、かかる自車位置周辺の平面図の表示処理のフロー図である。
【0046】
まず、画像処理部46は、自車位置周辺の画像を用いて、自車位置周辺に存在する物体に対応する3Dポリゴンを検索(選択)する(S210)。
【0047】
図12は、かかる3Dポリゴン検索処理のフロー図である。
【0048】
画像処理部46は、情報記憶部45から、自車位置周辺のカメラ画像データ450を取得する。カメラ画像データ450に含まれている各画像ファイル456は、2次元画像データである。そこで、画像処理部46は、同一時刻(若しくは所定時間内)に撮影された画像で、かつ、撮影位置や撮影方向が異なる2次元画像データを用いて、3次元変換処理により、3次元画像データを得る。3次元画像データへの変換方法は、トーイン撮影法や並行撮影法による2次元データから3次元データへ変換する方法を用いることができる。
【0049】
こうして、画像処理部46は、自車位置を中心とした周囲360°の3次元画像データを取得する(S2110)。
【0050】
次に、画像処理部46は、動体ポリゴンデータ310の中から、ポリゴンを一つ抽出する。ここで、抽出したポリゴンを候補ポリゴンと呼ぶ(S2112)。
【0051】
次に、画像処理部46は、S2110で取得した自車周辺3D画像の中に、候補ポリゴンと一致する画像があるか否か判定する。この判定は、候補ポリゴンを特定の視線方向から見たときの画像をテンプレートとして、パターンマッチングの手法により行う(S2113)。
【0052】
候補ポリゴンと一致する画像がない場合(S2113でNo)、画像処理部46は、候補ポリゴンの全ての視点方向からみた画像についてS2113の判定を行ったか否か判定する(S2114)。全ての視線方向からみた画像について判定をしていない場合は、画像処理部46は、視線方向を変えて(S2115)、その視線方向から見た候補ポリゴンの画像について、S2113の判定を再度行う。
【0053】
一方、候補ポリゴンの全ての視線方向からみた画像についてS2113の判定を行った場合(S2114でYes)、画像処理部46は、後述するS2117に処理を移行する。
【0054】
ここで、S2110〜S2115の処理を、図13を用いて説明する。
【0055】
画像処理部46は、S2110において、自車周辺の3D画像を取得する(図13(a)参照)。S2112において、動体ポリゴンデータ310から候補ポリゴンを一つ抽出する(図13(b)参照)。次に、S2113において、抽出したポリゴンをある視線方向から見た場合の画像をテンプレートとして、自車周辺3D画像の中にマッチングする画像があるか否か調べる(図13(c)参照)。一致する画像がない場合、S2115において、候補ポリゴンの視線方向を変える(図13(d)参照)。そして、S2113に戻り、その視線方向から見た候補ポリゴンの画像をテンプレートとして、自車周辺3D画像の中にマッチングする画像があるか調べ直す(図13(e)参照)。かかる処理を、動体ポリゴンデータに含まれているポリゴンの全てについて行う。
【0056】
図12に戻って説明する。
【0057】
自車周辺3D画像の中に、候補ポリゴンの画像と一致する画像がある場合(S2113でYes)、画像処理部46は、その候補ポリゴンを自車周辺に存在する動体のポリゴンとして登録する。このとき、画像処理部46は、自車周辺3D画像の中の、候補ポリゴンに対応する画像の位置及び大きさに基づいて、候補ポリゴンに対応する物体の地図上の座標位置を算出する。そして、算出した座標位置を、候補ポリゴンに対応させて情報記憶部45に記憶する。
【0058】
図14は、自車周辺3D画像を用いて、その中に含まれている物体の地図上の座標位置を算出する方法を説明するための図である。
【0059】
画像処理部56は、自車の座標位置Oを、現在位置算出部44から取得する。また、カメラの設置位置Q、撮影方向L1を、カメラ画像データ450から取得する。
【0060】
図示するように、カメラの視野Rは、カメラの設置位置(基点)から離れるほど広がる。カメラの設置位置の関係から、視野には地面が含まれている。地面上の点は、近距離に位置するものほど、視野の下部に位置することになる。すなわち、撮像して得た画像Kの端の点p1、p2,p3は、視野Rの端の地図上の座標位置P1、P2,P3に対応する。また、画像Kの縦中央線上の点p4、p5、p6は、L1方向上の地図上の座標位置P4,P5,P6に対応する。車両などの物体は、地面上に存在するので、物体と地面との接点の位置が、その物体の地図上の座標位置となる。なお、動体ポリゴンデータ310には、車両などの物体の実際の大きさに関するデータ312が含まれているので、自車周辺3D画像中のその物体(車両)の大きさから、三角測量の原理により、自車位置とその物体(車両)までの距離を算出することができる。画像処理部46は、この距離を用いて、その物体(車両)の地図上の座標位置を算出してもよい。
【0061】
図12に戻って説明する。
【0062】
ポリゴンの登録後(S2116)、画像処理部46は、処理をS2117に移行する。
【0063】
上記S2114でYesの場合、若しくはS2116の処理の後、画像処理部46は、動体ポリゴンデータ310の中に、S2112で未抽出のポリゴンがあるか否か判定する(S2117)。未抽出のポリゴンがある場合(S2117でNo)、画像処理部46は、S2112に戻り、未抽出のポリゴンの中から一つのポリゴンを抽出し、候補ポリゴンに設定し、S2113以降の処理を行う。
【0064】
一方、動体ポリゴンデータ310の中にS2112で未抽出のポリゴンがない場合(S2117でYes)、画像処理部46は、ポリゴン検索処理を終了する。
【0065】
以上、カメラ10により取得したカメラ画像データ450を用いて、自車位置周辺に存在する物体に対応する3Dポリゴンを検索する処理(S210)について説明した。
【0066】
図11に戻って、S220以降の処理について説明する。
【0067】
画像処理部46は、地図データから、現在位置周辺の地図を取得する(S220)。
【0068】
次に、画像処理部46は、現在位置周辺の地図上における、S210で検索し登録されている3Dポリゴンの配置を決定する(230)。3Dポリゴンに対応する物体の座標位置は、ポリゴンの登録(S2116)の際に、既に求められているので、この座標位置を用いて、地図上の配置を決定する。
【0069】
次に、画像処理部46は、登録されている現在位置周辺の3Dポリゴンに、撮像した画像を用いて、テクスチャーマッピングを行う(S240)。具体的には、画像処理部46は、撮像して得た画像を、3Dポリゴンのその画像に対応する面に貼り付ける。例えば、カメラ10が前方車両を撮像した場合、前方車両の後部のみの画像が取得され、その画像から前方車両のポリゴンが特定される。かかる場合、画像処理部46は、車両のポリゴンの後部に対応する面に、撮像した画像(車両後部の画像)を貼り付ける。一方、前方車両の前面部、側面部などは、撮像した画像がないので、これらの面に対応するポリゴンの面には、撮像した画像によるテクスチャーマッピングを行わない。
【0070】
次に、画像処理部46は、S240でテクスチャーマッピングがなされなかった面、すなわちカメラの陰部分に対応するポリゴンの面について補正を行う(S250)。具体的には、画像処理部46は、カメラの陰部分の面について、暗めの色や、ぼやかした色を割り当てる。また、ポリゴンの一部が、S240でテクスチャーマッピングされている場合で、ポリゴンが単色である場合は、陰の部分についても、テクスチャーマッピングした画像をマッピングするようにしてもよい。こうして、自車周辺の物体のポリゴンの描画の際の配色が決定される。
【0071】
次に、画像処理部46は、天頂から見た自車位置周辺の平面図を生成する(S260)。具体的には、画像処理部46は、まず、自車情報(色、大きさ、車種)から、自車に対応するポリゴンを動体ポリゴンデータ310から検索する。そして、S220で取得した自車位置周辺の地図に、自車のポリゴンを配置する。つぎに、画像処理部46は、S210で検索し、S240及びS260で配色を決めたポリゴンを、S230で特定した位置に配置する。さらに、地図に含まれている静止物(ガードレールなど)のポリゴンを、静止物ポリゴンデータ320から検索し、地図上に配置する。そして、こうして得た3次元画像データを、天頂方向から見た2次元画像データに変換し平面図とする。
【0072】
表示処理部47は、画像処理部46で生成された2次元画像データからなる平面図を、ディスプレイ2に表示する(S270)。
【0073】
図15は、こうして表示された平面図の例を示す。自車両は、駐車場にあるとする。表示画面500には、現在位置周辺の地図501上に、自車両のイメージ502と、他の車両のイメージ503、504が表示されている。他の車両のイメージ503、504のうち、カメラの撮影範囲(視野)にある部分503a、504aは、撮影して得た画像がテクスチャーマッピングされている。一方、カメラの陰の部分503b、504bの色は補正されたものであり、暗めの色が配色されている。
【0074】
以上、本発明の一実施形態について説明した。
【0075】
本実施形態によれば、地図データにあるものは、そのまま表示し、地図データになく、かつ撮像した画像に含まれる物体については、イメージを貼り付けて表示する。したがって、車両に設置されたカメラで撮影された画像に基づいて、カメラの視点とは異なる、天頂方向からの自車周辺の平面図を表示することができる。
【0076】
また、本実施形態では、プリズム付きのカメラを回転させて周囲の映像を取得する。例えば、広角レンズ固定カメラによる車の全周囲監視では、少ない個数で全周囲をカバーできるが、広角のため、車の近くしか監視できない。また、前方、後方の固定監視カメラでは、特定方向の監視、100m前後の監視しかできない。これに対して、本実施形態では、広角である必要がなく、遠距離まで撮影可能である。また、特定方向の撮影に限定されない。
【0077】
<変形例> 本発明は、上記実施形態に制限されない。上記実施形態は、本発明の要旨の範囲内で様々な変形が可能である。
【0078】
例えば、カメラ10の構成は、図4で示したものに限定されない。図16に示すようにカメラ10を構成してもよい。このカメラ10は、図4で示したカメラを逆向きにした構造となっている。すなわち、鉛直方向に上から、ステッピングモータ104、CCDカメラ103、プリズム101とで構成されている。
【0079】
また、カメラ10の設置位置は、図5で示したものに限定されない。例えば、図16で示したカメラ10を、図17に示すように車両15に設置してもよい。図17では、前方中央、両側面中央、後方中央に、B〜Eの4つのカメラが設置されている。また、車両の下も撮影可能な位置に設置している。図18は、カメラをかかる位置に設置した場合の撮影範囲16を示す。
【0080】
図16で示したカメラを、図17に示すように設置すると、車両の下も撮影可能となる。そして、車両の下の物体、例えば、猫などの生物の存在を監視できるようになる。
【0081】
かかる場合、記憶装置3には、予め、車両の下を撮影した場合に撮像画像に含まれることになる、タイヤ、スプリング、車軸などの車両自身の構成物のポリゴンデータが記憶してある。
【0082】
そして、画像処理部46は、撮像した画像の中の、車両の下に対応する画像の部分に、これらの構成物が存在するか否かを、パターンマッチングの手法で判定し、これらの構成物が存在する場合、表示画面に表示する対象から除外する。そして、これらの構成物以外の物体が撮像した画像に含まれている場合、その存在を表示する。若しくは、音声入出力装置4を介して、存在を知らせる警告メッセージを出力してもよい。また、その物体に動きがある場合、動物がいることを知らせるようにしてもよい。また、車両の下の画像を表示するようにしてもよい。
【0083】
図19は、かかる場合の表示画面500の表示例である。表示画面500には、動物がいることを示す情報505と、車両の下の画像506が表示されている。また、人の存在も表示している。
【0084】
上記実施形態では、個々の物体ごとにポリゴンデータを記憶しているが、これに限定されない。物体の構成物ごとにポリゴンデータを記憶していてもよい。例えば、車両ごとでなく、車体、ヘッドライト、ウインカ等の車両の構成物ごとにポリゴンデータと、これらの構成物を紐付けするためのデータとを記憶していてもよい。そして、画像処理部46は、車両の構成物のポリゴンデータを組み合わせることにより、特定の車両のポリゴンデータとして使用するようにする。こうすれば、データ量を減らすことができる。
【0085】
また、上記実施形態では、三次元画像データとして、多角形の面の集合で構成されるポリゴンを用いる例について説明したが、これに限定されない。三次元画像を表すデータであれば、ポリゴンデータでなくてもよい。
【0086】
また、上記実施形態では、地図上にポリゴンを配置し、天頂から見た平面図を表示することしたが、表示する平面図は、三次元表示でなくてもよい。地図上に、二次元画像を配置して平面図としてもよい。例えば、記憶装置3に、予め、物体(例えば、車両)の天頂から見た上面の画像を保持しておく。画像処理部46は、カメラの撮像した画像から、物体の種類(例えば、車両の車種)を特定すると、その物体(車両)に対応する天頂方向から見た上面画像を記憶装置3から検索する。そして、検索した画像を、現在地周辺の地図上に配置して平面図とする。こうすれば、簡易な方法で、平面図の表示が可能となる。
【0087】
また、画像処理部46は、自車位置周辺の画像を取得すると、まず、その画像の中から、地図データにない物体を特定した後、その特定した物体について、対応するポリゴンを検索するようにしてもよい。もしくは、撮像画像の中から、地図データにある物体を除外した後、残りの部分について候補ポリゴンを検索するようにしてもよい。そして、検索したポリゴンを、自車位置周辺の地図に配置するようにしてもよい。例えば、撮像して得た画像に、ガードレールが含まれている場合、ガードレールの存在は、地図データから判定できる。そこで、撮像した画像中のガードレールの像の部分に関しては、候補ポリゴンとのパターンマッチングの対象としない。残りの部分について、候補ポリゴンとのパターンマッチングを試みるようにする。こうすれば、ポリゴン検索の処理を迅速化できる。
【0088】
また、ポリゴン検索を効率的に行うために、候補ポリゴンを絞り込む処理を行ってもよい。例えば、画像処理部46は、撮像した画像の中に、ナンバープレートを認識した場合、車両のポリゴンのみを検索の対象とするようにする。また、ナンバープレートを認識した場合、車両の前方若しくは後方の画像であるとして、その向きのポリゴンとの一致を確かめることにより、ポリゴンを検索するようにする。
【0089】
また、ポリゴン検索の前に、予め記憶している一般的な車両のテンプレート画像により、車両位置周辺の画像の中から車両画像の領域を求めるようにしてもよい。そして、ポリゴン検索を効率的に行うために、その領域の画像から、候補ポリゴンの車種及び色を絞り込むようにしてもよい。例えば、予め記憶している一般的な車両のテンプレート画像により、自車位置周辺の画像の中から車両画像の領域を求める。求めたその領域の画像から、車種(セダン、ワゴン、軽など)と色を仮決めする。そして、その車種及び色のポリゴンを検索対象とすることで、候補ポリゴンを絞り込む。また、ポリゴンの検索処理を行っても、その領域の画像にマッチングするポリゴンが検索されなかった場合、予め記憶している一般的な車種(セダン、ワゴン、軽など)のポリゴンをその領域の画像のポリゴンとして登録するようにしてもよい。
【0090】
また、前方の物体との距離は、図14で説明した算出方法に限定されない。前方の物体との距離を測定する距離センサを備えていてもよい。
【0091】
また、自車周辺画像の中に、地図データになく、ポリゴン検索もできない物体の像が含まれている場合、非認識の物体の存在を知らせるように表示するようにしてもよい。情報記憶部45は、非認識の物体の表示のための画像を、予め、保持していてもよい。
【0092】
また、カメラは、赤外線カメラで構成し、夜間でも撮影可能としてもよい。
【0093】
また、上記実施形態では、地図上にポリゴンを配置して、天頂方向から観た平面図を表示するようにしたが、他の方向から見た画像に変換し出力してもよい。例えば、視線方向の指定を、ユーザから受け付け、受け付けた視線方向からの画像を表示するようにしてもよい。
【0094】
また、ポリゴンの配置(マッピング)の順番は、ポリゴンに割り当てられた優先順位の低いものからマッピングするようにしてもよい。こうすれば、優先順位の高い物が、上書きされていき、最終的に表示される。また、撮影日時が最近の画像から検索されたポリゴンほど、優先順位を高くしてもよい。また、設置位置が高いカメラの画像から検索されたポリゴンほど、優先順位を高くしてもよい。
【0095】
また、上記の実施形態では、本発明を車載用ナビゲーション装置に適用した例について説明したが、本発明は車載用以外のナビゲーション装置にも適用することができる。
【図面の簡単な説明】
【0096】
【図1】図1は、車載用ナビゲーション装置の概略構成図である。
【図2】図2は、動体ポリゴンデータの構成を示す図である。
【図3】図3は、静止物ポリゴンデータの構成を示す図である。
【図4】図4は、カメラの概略構成図である。
【図5】図5は、カメラの設置位置を示す図である。
【図6】図6は、カメラの視野範囲を示す図である。
【図7】図7は、演算処理部1の機能構成を示す図である。
【図8】図8は、演算処理部1のハードウェア構成を示す図である。
【図9】図9は、撮影処理のフロー図である。
【図10】図10は、カメラ画像データの構成を示す図である。
【図11】図11は、表示処理のフロー図である。
【図12】図12は、3Dポリゴン検索処理(S210)のフロー図である。
【図13】図13は、S2110〜S2115の処理を説明するための図である。
【図14】図14は、取得画像から座標位置を算出する方法を説明するための図である。
【図15】図15は、表示例である。
【図16】図16は、カメラの概略構成図である。
【図17】図17は、カメラの設置位置を示す図である。
【図18】図18は、カメラの視野範囲を示す図である。
【図19】図19は、表示例である。
【符号の説明】
【0097】
100…車載用ナビゲーション装置、
1…演算処理部、2…ディスプレイ、3…記憶装置、4…音声出入力装置、5…入力装置、6…車輪速センサ、7…地磁気センサ、8…ジャイロ、9…GPS受信機、10…カメラ、21…CPU、22…RAM、23…ROM、24…DMA、25…描画コントローラ、26…VRAM、27…カラーパレット、28…A/D変換器、29…SCI、30…PIO、31…カウンタ、33…カメラ制御装置、41…ユーザ操作解析部、42…経路探索部、43…経路誘導部、44…現在位置算出部、45…情報記憶部、46…画像処理部、47…表示処理部

【特許請求の範囲】
【請求項1】
車両のナビゲーション装置であって、
地図データと物体の画像データとを記憶する記憶手段と、
前記車両の周辺の映像を取得する周辺映像取得手段と、
前記周辺映像取得手段により取得した映像を用いて、前記車両の周辺に存在する物体に対応する画像データを選択する選択手段と、
前記選択手段により選択した画像データから生成される物体の画像を、前記車両周辺の地図上に配置して表示する表示手段と
を備えることを特徴とするナビゲーション装置。
【請求項2】
車両のナビゲーション装置であって、
地図データと、物体の三次元データを含む物体三次元データとを記憶する記憶手段と、
前記車両の周辺の映像を取得する周辺映像取得手段と、
前記周辺映像取得手段により取得した映像を用いて、前記車両の周辺に存在する物体に対応する三次元データを前記物体三次元データの中から選択する選択手段と、
前記選択手段により選択した三次元データから生成される物体の画像を、前記車両の周辺の地図上に配置させて表示する表示手段と
を備えることを特徴とするナビゲーション装置。
【請求項3】
請求項2において、
前記表示手段は、
前記選択手段により選択した三次元データから生成される物体の三次元画像を、前記車両の周辺の地図上に配置させ、天頂方向から見た前記車両周辺の平面図を表示する
ことを特徴とするナビゲーション装置。
【請求項4】
請求項2において、
前記表示手段は、
前記選択手段により選択した三次元データから生成される物体の三次元画像に、前記周辺映像取得手段により取得した画像を用いてテクスチャーマッピングし、当該テクスチャーマッピングした三次元画像を、前記車両の周辺の地図上に配置させて表示する
ことを特徴とするナビゲーション装置。
【請求項5】
請求項2において、
前記表示手段は、
前記選択手段により選択した三次元データから生成される物体の三次元画像について、前記周辺映像取得手段により取得した当該物体の画像に対応する部分には、当該取得した画像を用いてテクスチャーマッピングし、当該周辺映像取得手段により取得した当該物体の画像に対応しない部分には、予め定めた色をマッピングし、
当該マッピングした物体の三次元画像を、前記車両の周辺の地図上に配置させて表示する
ことを特徴とするナビゲーション装置。
【請求項6】
請求項2において、
前記周辺画像取得手段は、
撮像装置と、
前記撮像装置のレンズに複数方向の映像を同時に入射させるプリズムと、
少なくも前記プリズムを回動させる手段と
を備える
ことを特徴とするナビゲーション装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate


【公開番号】特開2007−10515(P2007−10515A)
【公開日】平成19年1月18日(2007.1.18)
【国際特許分類】
【出願番号】特願2005−192523(P2005−192523)
【出願日】平成17年6月30日(2005.6.30)
【出願人】(591132335)株式会社ザナヴィ・インフォマティクス (745)
【Fターム(参考)】