三次元機械地図、三次元機械地図生成装置、ナビゲーション装置及び自動運転装置
【課題】 ナビゲーションや自動運転のための三次元地図を、人間がみるのではなく機械が自分の位置と姿勢を判断するための三次元機械地図を提供する。
【解決手段】 走行中の車両から全周映像を取得する全周映像撮影装置１１１と、全周映像に基づいて全周ＣＶ映像を生成するＣＶ演算装置１１２と、全周ＣＶ映像から幾何学的単純図形を抽出・選択・分離してその位置座標と姿勢を三次元的に求める幾何学的単純図形検出装置１１３と、幾何学的単純図形検出により検出された図形のトラッキングデータからその三次元位置と姿勢を検出して三次元座標を付加する三次元座標付加装置１１４と、検出された幾何学的単純図形に属性を与える属性登録装置１１５と、検出された幾何学的単純図形から元となる三次元空間に対応する三次元空間を再構築して三次元機械地図を生成・記録する三次元機械地図記録装置１１６とを備える構成としてある。
【解決手段】 走行中の車両から全周映像を取得する全周映像撮影装置１１１と、全周映像に基づいて全周ＣＶ映像を生成するＣＶ演算装置１１２と、全周ＣＶ映像から幾何学的単純図形を抽出・選択・分離してその位置座標と姿勢を三次元的に求める幾何学的単純図形検出装置１１３と、幾何学的単純図形検出により検出された図形のトラッキングデータからその三次元位置と姿勢を検出して三次元座標を付加する三次元座標付加装置１１４と、検出された幾何学的単純図形に属性を与える属性登録装置１１５と、検出された幾何学的単純図形から元となる三次元空間に対応する三次元空間を再構築して三次元機械地図を生成・記録する三次元機械地図記録装置１１６とを備える構成としてある。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自動車、重機、航空機等の移動体の三次元位置を評定し、自動運転、又はアシストするための三次元地図と、その三次元地図生成装置、及びその３次元地図を用いた自動運転装置に関する。
特に、本発明は、走行，航行する移動体の現在位置又は将来位置を三次元空間内に探索して、移動体の進行方向や車両姿勢等を、人間がみて判断するのではなく、機械が判断することにより、移動する移動体の現在状況と将来状況を高精度に判断することができる自動運転装置、及び本願出願人に係るナビゲーション装置（国際公開ＷＯ２００５／０３８４０２）及び新旧映像座標統合装置（特開２００７−１１４９１６号）を含めて、好適な三次元地図とその三次元地図生成装置に関する。
【背景技術】
【０００２】
車両等の移動をナビゲートするナビゲーション装置としては、ＧＰＳ測地衛星を利用したカーナビゲーションシステムが知られている（特許文献１−３参照）。
一般に、車両等の移動をナビゲートするナビゲーション装置の地図としては二次元地図が普及しており、たとえ三次元地図と呼称していても、せいぜいＣＧで表現した町並みを表示する程度のものである。
また、車両等の自動運転を行う場合には、まず、自己位置を精度良く評定する手法を手に入れなければならない。現在、自己位置評定として知られるものはＧＰＳである。
ここで、ＧＰＳナビゲーションシステムで得られる位置精度としては、従来は、電離層における電波の反射や屈折等の影響があり、誤差が５０〜３００メートルというところであった。
【０００３】
近年は、緯度・経度・高度の既知の点を利用して電波到達時間の誤差を計測し、それを修正信号として送信して受信地点の誤差を修正する方法が付加されるようになり、誤差は十数メートル程度まで縮小されるようになった。
但し、車両の制御にはこの程度の精度では不足であり、概略位置が分かる程度であるといえる現在のＧＰＳ精度では、車両を道路の車線内で誘導することはできない。
従って、地図の精度もＧＰＳ精度より多少良いものでも利用上は問題が生じていなかった。
【０００４】
【特許文献１】特開平１１−３０４５１３号
【特許文献２】特開２００１−２５５１５７号
【特許文献３】特開２００２−３５７４３０号
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、このように位置精度の誤差が数十メートルの範囲にある従来のナビゲーションシステムでは、誤差が大きすぎて自動運転には適用できなかった。
なお、自動運転装置の自己位置評定、及び自己姿勢評定は、ナビゲーションにも共通であり、自動運転装置はそのままナビゲーションや運転アシストに応用できることは言うまでもない。従って、以下はその区別を明確にしないで説明することもあるが、自己位置評定、自己姿勢評定は、自動運転・ナビゲーションの両者に共通であるものとして説明する。
【０００６】
例えば、道路上で車線を特定し、車両の自動運転を実現するためには、道路上の車両位置精度を数ｃｍ程度の誤差にまで高める必要があり、この精度は測量の精度に近く、従来のナビゲーションシステムを利用する限り、いかなる方法であっても、数ｃｍの精度で、しかも、リアルタイムに連続的な位置計測をして、それを出力するようなことは不可能であった。
また、自動運転に限らず、例えば、自動車の車庫入れや、航空機の離着陸時、ロボットの作業やナビゲーションなどに用いる場合にも、数ｃｍ程度の位置精度をリアルタイムに取得することが必要であり、このようなナビゲーションシステムは現在まで実現されていない。
【０００７】
そこで、本願発明者は、本願及び特開２００５−２９５４９５号で提案しているように、鋭意研究の結果、前もって三次元地図を用意し、移動体に搭載したカメラで撮影される動画映像と比較することで、カメラ位置と姿勢角を高精度に求めることができ、そのカメラ位置情報により、移動体の三次元位置座標を高精度に表示し得ることに想到した。
すなわち、本発明は、上述した従来の技術が有する課題を解決するために提案されたものであり、本願及び本願出願人に係る上記国際公開ＷＯ２００５／０３８４０２及び特開２００７−１１４９１６号で提案されたナビゲーションのための三次元地図を、人間がみるのではなく、機械が自分の位置と姿勢を判断するための三次元機械地図とすることで、地図のデータ量を減少させ、さらにコンビュータにとって処理しやすくすることで、演算効率を向上させ、より実用的にしたものを三次元機械地図とすることができる三次元地図の生成装置の提供を目的とする。
なお、その原理は、上記国際公開ＷＯ２００５／０３８４０２及び特開２００７−１１４９１６号のナビゲーション装置に共通である。従って、好ましくは、本発明の三次元機械地図は、本願及び上記国際公開ＷＯ２００５／０３８４０２及び特開２００７−１１４９１６号のナビゲーション装置等に利用されることも前提としている。
【課題を解決するための手段】
【０００８】
本発明に係る第一の発明は、三次元機械地図であり、次の特徴を有している。
三次元機械地図は、人間ではなく機械が見るものであり、従来には存在しない全く新しい概念である。機械が見るための地図であるために、人間が見る画像ではなく、機械が見るために都合良く画像処理しておき、この三次元機械地図を用いることで、位置と姿勢、及び周囲との相対関係、目的地、目的対象までの方向を三次元的に確認することができる。
三次元機械地図は、機械が見るためのものであることから、画像よりもデータ量を極力軽くすることができることが特徴である。データ量を軽くすることにより、容易に狭帯域で、三次元機械地図のデータ配信を可能となる。その結果製造コストを極端に低減することができる。従って、本願及び本願出願人の提案に係る上記国際公開ＷＯ２００５／０３８４０２及び特開２００７−１１４９１６号に係る発明の実用性がより高まったことになる。
また、車両に積載したカメラから得られるリアルタイム映像側と三次元機械地図との関係は、できるだけ共通アルゴリズムとし、比較データを同一フォーマットとすることで、三次元機械地図の変更更新部位を即時更新可能とすることができる。
【０００９】
本発明に係る第二の発明は、三次元機械地図生成装置であり、三次元機械地図の作成は安価に、できるだけ自動化（＋指定対象物を手動で付加）で製造可能とすることができる。また、三次元機械地図は、更新においても安価に、容易に、軽作業で、さらには自動で更新可能とすることができる。
また、三次元機械地図へ、道路標示、道路標識、案内版等の座標付加、属性付加することができる。
【００１０】
上記目的を達成するため、本発明では、まず、第一の発明として新しい概念の地図を提案する。
地図という概念は、そもそも人間が見るものであるが、本発明に言う三次元機械地図とは、紙やディスプレイ上で人間が見るものではなく、機械がデータとして読み取って、位置や方向を判断するものである。
従って、機械が処理しやすい形式でなければならない。機械も進化していけば最終的に人間が見るものを人間と同じように見て判断することができるであろうが、機械は人間の視覚情報とは違い、まだまだ未進化であり、機械が見るのに適した特徴有る部分を主として三次元機械地図を生成する。三次元機械地図においては、対象空間を機械的に認識しやすい幾何学的に単純な図形に分解し、その内から都合のよいもののみを選択して、三次元空間を再構成することで、三次元機械地図を構成する。
【００１１】
例えば、直線、直線の端点、Ｌ字コーナー、クロス、直角、円、平行線、面、点の分布等を三次元的に解析して、三次元空間を再構築したものが三次元機械地図である。
また、それら幾何学的に単純化された図形を属性毎に分類することで、機能と利用範囲を広げることができる。
また、三次元機械地図の特徴は機械系と直接結合できることであり、他の位置評定手段、例えばＧＰＳによる位置データ等と直接やりとりし、複数のデータの座標結合等を可能とするという特徴を有する。
【００１２】
第三の発明として、車載した全周囲カメラからの全周映像から、特徴点を自動抽出し、ＣＶ演算して得られるＣＶ映像を用いて、画像処理し、相対座標を取得しながら、画像中の単純幾何学図形を抽出して、その位置座標に配置していく、又は記録していく。あるいは、単純幾何学図形そのものを、その位置座標に配置していく、又は記録していくことで三次元機械地図を生成することができる。さらに、案内マーカを車両走行路近傍に設置し、案内マーカ図形を三次元機械地図上に記しておくことで、単純幾何学図形を取得できない区間や、夜間運転、降雪時運転等でも利用できる三次元機械地図を生成することができる。
この三次元機械地図を車載し、又は配信を受けて車両側で受信し、車載したカメラで撮影したリアルタイム映像と比較するナビゲーション装置及び自動運転装置が実現できる。
【００１３】
ナビゲーション装置は、三次元機械地図とナビゲーション対象となる移動体に備えられたカメラにより得られる現実の映像を、記録媒体を再生して得られる映像的な特徴ある単純幾何学図形から構成される三次元機械地図の三次元座標と比較し、現実の映像と一致する三次元座標上の地点と方向を求め、移動体に備えられたカメラの三次元座標上の位置、速度、加速度、視点方向、３軸回転姿勢、３軸回転速度、３軸回転加速度を含む所定項目のうち、いずれか又はそれらを組み合わせた複数の項目を出力する地点検索ナビゲーション装置とを備える構成としてある。
また、自動運転装置は、三次元機械地図と自動運転の対象となる移動体に備えられたカメラにより得られる現実の映像を、記録媒体を再生して得られる映像的な特徴ある単純幾何学図形から構成される三次元機械地図の三次元座標と比較し、現実の映像と一致する三次元座標上の地点と方向を求め、移動体に備えられたカメラの三次元座標上の位置、速度、加速度、視点方向、３軸回転姿勢、３軸回転速度、３軸回転加速度を含む所定項目のうち、いずれか又はそれらを組み合わせた複数の項目を出力し、その信号により車両の進行方向、速度、停止、発進等をコントロールし、することで自動運転を実現する自動運転装置を構成するとしてある。
さらに、複数のサスペンション、４個の車輪をそれぞれ独立にコントロールをすることで、重心位置、車両傾斜を含めて、より微妙な車両コントロールを可能とする自動運転を実現することができる。
【００１４】
具体的には、本発明の三次元機械地図は、請求項１に記載するように、目的となる三次元空間の一部又は大部分が複数の幾何学的単純図形で置換され、単純化されて再構成された単純化三次元空間データを持ち、それら単純化三次元空間データがコンピュータによって読み取られることで、幾何学的単純図形が前記三次元空間に対応した座標、姿勢、及び／又は属性等の関連データを共に出力する構成としてある。
【００１５】
ここで、幾何学的単純図形とは、点、線分、線分の端点、直角カド、クロス、四角形、円、楕円、等の比較的単純な形状の図形、及びその組み合わせを言う。
これら図形は単体では二次元であったり、三次元であったりするが、三次元空間に配置されているので、三次元機械地図においては、常に三次元座標の中に三次元的に配置させる。
これらは、一般の複雑な形状よりもコンピュータの画像解析技術により、検出、生成、分析、比較等が容易であるので、現実の三次元空間をそのまま映像やＣＧとして持つよりも、データ量は軽くなるという優れた特徴を持つ。
また、後述するように、コンビュータにより生成、更新、比較、記録、再生、その他画像処理においても有利である。
また、後述するように、コンビュータにより検出されやすい図形を、道路上及びその近傍に設置することで、様々な条件下でも自動運転をより確実にすることができる。
さらに、後述するように、前記幾何学単純図形をＣＧ化して座標と共に登録する方法と、ＣＧ化せずに映像のまま切り取って、それを座標と共に登録して三次元機械地図とするとも可能である。
また、上記のようにＣＧ化せずに映像のまま切り取って三次元機械地図とするだけではなく、データ量が増大することに問題がなければ、映像を切り取らずに、ＣＶ映像そのものを三次元地図として利用できることは言うまでもない。機械だけではなく、人間が見るという目的をも含めて、ＣＶ映像で人間が現場を確認する必要が追加されれば、ＣＶ映像そのものを三次元地図とすることも可能である。
【００１６】
現実の三次元空間を前記複数の幾何学的単純図形で置換して再構築するときに、コンビュータによって読み取り、書き込みをしやすくするために、幾何学的単純図形を用いる。登録された幾何学的単純図形をコンピュータで読み取り、それを出力するようにした段階までを三次元機械地図という。
また、現実の三次元空間を前記幾何学的単純図形と見なされる映像の一部分を切り取って、複数の映像の断片を再配置して三次元機械地図を構成し、その後コンビュータによって読み取り、書き込みをしやすくするために、複数の映像断片を登録し、登録された映像断片をコンピュータで読み取り、それを出力するようにした段階までを三次元機械地図という。
幾何学的単純図形と映像断片とは三次元機械地図を構成する要素であり、一般に相互に置き換えが可能であるが、本明細書では、その置き換えができない場合を除いて、特に区別しないで説明する。
【００１７】
三次元機械地図に登録されている幾何学的単純図形は常に三次元空間に配置されている。これは目的の三次元空間の一部を反映したものであり、現実空間の全てが反映されているわけではない。
これはコンビュータが読み取るための地図であり、第一義的に人間が見るものではない。読み取った幾何学的単純図形（単純幾何学図形）は、図形として再現表示するために図形として読み取っても良いし、一義的に人間が見るものではないことから、図形の形状と種類等を示す属性と共に、その座標と姿勢としてのみ読み取っても良い。ここで座標も姿勢も、三次元であり、計６自由度を持ち、現実三次元空間に対応している。
また、これはコンビュータが見た現実空間と言うこともできる。三次元機械地図には現実空間の全ては反映されず、コンピュータによる認識、登録等にとって都合の良いものだけが取り込まれて三次元機械地図に反映されている。
【００１８】
また、本発明の三次元機械地図は、請求項２に記載するように、現実空間から取り出した幾何学的単純図形のみならず、使用目的に合致した対象物を前記幾何学的単純図形として、再構築した単純化三次元データを持ち、目的となる現実の三次元空間を使用目的に合致させて再構築することで、コンピュータで読み取り、或いは書き込むことができて、前記図形の全ての座標、姿勢、及び／又は属性等の関連データを共に出力する構成とすることができる。
【００１９】
このような構成によれば、例えば、任意に生成した請求項１記載の三次元機械地図に加えて、目的別の対象物を幾何学的単純化図形に置換し、前記単純化三次元データとして登録する。
目的に応じて、選択的に図形化する対象は変わるが、どの場合も第一義的にコンビュータによって読み取り、属性と共に出力することは共通である。
【００２０】
また、本発明の三次元機械地図は、請求項３に記載するように、特に、交通を目的とする場合において、交通標識、道路表示、道路幅員、道路案内板等の交通に必要な対象物を幾何学的単純図形として形状分類し、属性情報として、三次元空間に追加して配置する構成とすることができる。
さらに、本発明の三次元機械地図は、請求項４に記載するように、特に自動運転を目的とする場合において、交通標識、道路表示（地物）、道路案内板等の対象物を幾何学的単純図形として形状分類し、その属性情報と共に対象物が存在する三次元空間の座標に追加して配置し、さらに、現実には直接数値表示されていない走行中心線、道路幅員、車線数、道路勾配、回転半径等の自動運転、又は運転アシストに必要な数値属性情報を、車両走行のための三次元空間に対応させて配置する構成とすることができる。
【００２１】
このような構成によれば、特に、本来運転者が読み取る目的で設置された交通標識、道路標識、道路案内坂等を選択的に図形化し、さらに、現実には直接数値表示されていない走行中心線、道路幅員、車線数、道路勾配、回転半径等の自動運転、又は運転アシストに必要な数値属性情報を、自動運転のための三次元地図として利用する三次元機械地図を提供することができる。
ここで、交通標識、道路標識、道路案内坂等はその三次元位置、又は三次元位置と方向の情報として、形状を画像のまま登録してもよいが、そのまま登録しないで、形状分類した属性として登録することも可能である。その場合は対象物の属性として形状の分類が成されているので、対処物は規格化された形状の情報を持っていることになる。
従って、三元空間内に対象物の形状及びその方向を三次元機械地図の中に、形状そのものではなく、属性とその中心座標（代表座標）のみで表現可能である。交通標識、道路標識、道路案内板等は規格化された形状を持つので、形状分類した属性登録の方が、データ処理上は有利である。
一方、属性には対象物の部分映像をも持たせることができるので、対象物の現実映像も一部付加して、目的となる三次元空間を再構築することで、コンピュータで読み取り、あるいは書き込むことができるようにした三次元機械地図を提供することができる。
【００２２】
また、本発明の三次元機械地図生成装置は、請求項５に記載するように、走行中の車両から全周映像を取得する車載全周映像撮影装置と、全周ＣＶ映像（特開２００５−２９５４９５号公報参照）を取得するＣＶ演算装置と、前記全周ＣＶ映像から、幾何学的単純図形を抽出し、選択し、分離し、その位置座標と姿勢を三次元的に求める幾何学的単純図形検出装置と、検出された前記幾何学的単純図形に三次元座標を与える三次元座標付加装置と、検出された前記幾何学的単純図形に属性を与える属性登録装置と、検出された前記幾何学的単純図形から、三次元空間を再構築し、目的に応じた他の情報を付加することで生成される本発明に係る三次元機械地図を記録する三次元機械地図記録装置と、を有する構成としてある。
【００２３】
このような構成からなる本発明の三次元機械地図生成装置によれば、車載全周映像撮影装置は、車両に全周囲カメラを積載し、走行中の車両から全周映像を取得することができる。全周映像でなくても本発明は成立するが、全周映像であることが全方位全俯角仰角に関して均等に情報を取得できるので有利である。
ＣＶ演算装置は、その詳細が本願出願人に係る特開２００５−２９５４９５号に詳細に記載されている。全周映像の中に特徴点を自動抽出し、それを隣接するフレームにトラッキングし、トラッキングデータを解析することで全周ＣＶ映像を取得することができる。このＣＶ演算及びＣＶ演算装置については後述する（図１３〜図２５参照）。
【００２４】
幾何学的単純図形検出装置は、全周ＣＶ映像から、ＣＶ値を頼りに三次元解析することで、幾何学的単純図形を抽出し、選択し、分離し、その位置座標と姿勢を三次元的に求めることができる。また、幾何学的単純図形を自動認識し、トラッキングすることも可能である。
三次元座標付加装置は、前記幾何学的単純図形検出作業と同時に、検出した図形のフレーム間トラッキングにより、前記幾何学単純図形の三次元座標を与えるものである。
属性登録装置は、検出された前記幾何学的単純図形に属性を与えるものである。前もって前記幾何学的単純図形を形状分類しておけば、形状分類が属性情報となる。色が必要であれば色情報が属性情報となる。走行に関する意味があれば意味が属性となる。前記幾何学的単純図形の代表座標をデータとして、その三次元形状を属性情報とすることも可能である。形状が既知であれば、その形状の中心座標を属性とすることができる。ここで属性とは対象に関連する広範囲の意味を持つ。
三次元機械地図記録装置は、検出された前記幾何学的単純図形から、もととなる映像が属する三次元空間に対応する三次元空間をコンピュータ内に再構築することになる。
三次元機械地図記録装置は、再構築された三次元機械地図を記録し、目的に応じて、他の必要な情報を統合することで目的に応じた三次元機械地図を完成させる。
これらを有することを特徴とするものが三次元機械地図生成装置である。
【００２５】
また、本発明のナビゲーション装置は、請求項６に記載するように、本発明に係る三次元機械地図を備えたナビゲーション装置であって、リアルタイム映像から、及び／又は当該ナビゲーション装置で取得された車両のＣＶ値を用いて解析し、映像内の静止物体の位置と姿勢及び、移動する自車以外の車両の位置、姿勢、回転、速度、加速度等の力学的数値を求め、危険回避行動をとることを可能とした構成としてある。
【００２６】
通常、ＣＶ演算は自車両と静止座標系の対象物との運動の関係を６自由度で求めるが、数学的に、また物理的に、自車両と移動する他車両間との間の関係においてもまったく同様であり、数学的に、物理的に、本質的な差はない。
従って、これまでのＣＶ値の定義を、自車両と移動する他車両間との間の関係に拡張することで、まったく同様に二者間の、及び多者間の相対運動を定義できる。これを利用して前記移動体の位置、回転、速度、加速度等を求めることができる。
【００２７】
また、本発明のナビゲーション装置は、請求項７に記載するように、リアルタイム映像の記録、及び／又は当該ナビゲーション装置から得られたＣＶ値の記録から、事故時の自車を含む関連対象物の力学的解析をすることを可能とした構成とすることができる。
このような構成からなる本発明の三次元機械地図生成装置によれば、請求項６では、リアルタイム処理が必要であるため精度において困難さが有るが、ドライブレコーダーのように記録した映像を用いれば、詳細なデータが取得できるので、事故解析には有益である。
【００２８】
また、本発明のナビゲーション装置は、請求項８に記載するように、現実の空間に、及び又はリアルタイム映像に、図１２に示すような、矢印等の案内用のＣＧを合成し、又は／及び音声により、ナビゲーションする構成とすることができる。
このような構成とすることにより、ＣＧや音声によってナビゲーションを実行することができ、より使いやすいナビゲーション装置を提供することができる。
【００２９】
また、本発明のナビゲーション装置は、請求項９に記載するように、リアルタイム映像を前記三次元地図と同様のアルゴリズムで分析し、解析し、単純幾何学図形を抽出し、前記三次元機械地図を更新する構成とすることができる。
このような構成とすることにより、三次元機械地図の更新を、リアルタイム映像で行うことが可能となる。
三次元機械地図は記録映像から生成されるので、更新が必要である。走行しながら、リアルタイム映像と違いがあるときは、同じアルゴリズムとして置くことで、リアルタイム映像から三次元機械地図に部分更新をかけることができる。
【００３０】
また、本発明のナビゲーション装置は、請求項１０に記載するように、取得された自車両の情報を他車両に配信することにより、互いに情報交換することでより安全なナビゲーションを行う構成とすることができる。
本発明に係るナビゲーション装置は、高度な判断を行うナビゲーション装置であるから、判断結果、前記更新情報や進路変更等コマンドを他車両に伝えることで、コミュニケーション走行が可能となる。
【００３１】
さらに、本発明のナビゲーション装置は、請求項１１に記載するように、道路定点に設置されたカメラからの映像を前記三次元機械地図上に、座標統合して、合成して、矛盾無い位置と姿勢の関係で、表示できるようにした構成とすることができる。
このような構成とすることにより、道路定点に設置されているカメラからのリアルタイム映像を、三次元機械地図上に視点を合致させて重ねて表示することで、定点映像がより具体的に理解できることになる。このときに限って、三次元機械地図は見るための映像でもあることになる。
【００３２】
また、本発明の自動運転装置は、請求項１２に記載するように、本が発明に係る三次元機械地図を備えた自動運転装置であって、車両に固定されて設置され、車両周囲の映像を取得する車載カメラ装置と、当該車載カメラから出力するリアルタイム映像を取得するリアルタイム映像生成装置と、当該車両に車載された三次元機械地図と前記リアルタイム映像を比較する比較装置と、当該車両が走行していると予想される地域の範囲で、前記リアルタイム映像内の複数の領域で、一部分の幾何学的成分が前記三次元機械地図の一部分の幾何学成分との対応位置を求めながら、三次元機械地図の視点位置と視点姿勢と視点方向とが近づくように調整し、三次元機械地図の限定された範囲内を探索する再生探索装置と、前記リアルタイム映像の複数部分が前記三次元機械地図の複数部分に一致したときの三次元機械地図の位置座標と、同様に一致したときの回転座標を出力する一致出力装置と、当該車両の走行時のリアルタイム映像の各フレームについて、その位置座標と回転座標を求めることで、前記リアルタイム映像のＣＶ値を取得するＣＶ値取得装置と、当該車両位置と姿勢、速度、加速度、方向、角速度、角加速度等を演算して、リアルタイムで取得する走行情報取得装置と、前記ＣＶ値から、リアルタイム映像内の自車両以外の車両及び障害物等の位置と姿勢、速度、加速度、方向、角速度、角速度等を演算して、リアルタイムで取得する対象物情報取得装置と、当該車両の走行車線と走行速度と走行方向を決定して走行させる自動走行装置とを備える構成としてある。
【００３３】
また、本発明の自動運転装置は、請求項１３に記載するように、自動運転による車両走行時の座標基準とするために、前記前記三次元機械地図を構成する幾何学的単純図形の中から、選択した図形又は画像を案内マーカ図形又は案内マーカ画像を三次元機械地図の三次元空間に対応させた指定案内マーカ図形と、形状が既知である案内マーカを、前もって道路又は道路近傍に適切な密度で設置し、それを前記三次元機械地図生成装置により、三次元機械地図に対応して反映させた案内マーカ図形を三次元機械地図の三次元空間に対応させた統一形状案内マーカ図形と、前記案内マーカ図形の元となる映像の一部画像を、そのまま案内マーカ画像として、三次元機械地図の三次元空間に対応させた案内マーカ画像と、を備え、前記指定案内マーカ図形と統一形状案内マーカの内で図形によるものを案内マーカ図形として属性登録するとともに、画像によるものを案内マーカ画像として属性登録してこれらを組み合わせる構成としてある。
【００３４】
また、本発明の自動運転装置は、請求項１４に記載するように、前記車載カメラによる道路及び道路近傍のリアルタイム映像内に写っている案内マーカ映像を検出する案内マーカ検出装置と、検出された前記案内マーカ映像と三次元機械地図上の案内マーカ図形とを対応させる案内マーカ地図対応装置と、前記案内マーカ地図対応装置により、対応した複数の案内マーカ図形が持っているそれぞれの座標から、当該車両の座標と姿勢を演算で求める車両ＣＶ値取得装置と、当該車両の進行に応じて、次々と新しく現れる案内マーカの座標を前記三次元機械地図上の新しい案内マーカ図形の座標を読み取るマーカ座標読み取り装置と、前記座標を予想位置として前記座標付近をリアルタイム映像内に検索して、前記案内マーカ地図対応装置で、新しい案内マーカ映像と新しい案内マーカ図形とを対応させ、対応の取れた複数の案内マーカ図形が属性として持つ座標から、前記車両ＣＶ値取得装置により、前位置より先に進行した車両の座標と姿勢を演算で求める作業を連続的に続ける繰り返し演算装置と、繰り返し作業による車両位置と姿勢を連続的に出力することで、常に車両位置を安定的に検出し続ける出力装置と、を備え、車両の座標と姿勢を取得しながら進行させる構成としてある。
【００３５】
また、本発明の自動運転装置は、請求項１５に記載するように、当該車両に積載したリアルタイム映像の記録、及び／又は当該自動運転装置から得られたＣＶ値の記録に基づいて、事故等の特殊な時点において、当該車両を含む関連対象物それぞれの、及びそれらの関係についての力学的解析を行う構成としてある。
さらに、本発明の自動運転装置は、請求項１６に記載するように、リアルタイム映像を前記三次元機械地図と同様のアルゴリズムで分析及び解析して、単純幾何学図形を抽出し、前記三次元機械地図を更新する構成としてある。
【００３６】
以上のような構成からなる本発明の自動運転装置では、先ず車両に設置されたカメラによるリアルタイム映像を解析することで得られるＣＶ値を取得する。これのみでは絶対値に関しては精度が低いが、相対値においては高精度なＣＶ値を取得することができる。
さらに、当該車両に設置された計測機器のデータを追加することで、それらの双方を用いることでさらに精度を向上させ、絶対精度も付加したＣＶ値を取得できる。
このようにして取得されたＣＶ値を解析して、当該車両の三次元的位置、速度、加速度、回転姿勢、回転速度、回転角速度等を取得することができる。
また、ＣＶ値を解析して、当該車両の周囲にあって走行に係わる静止物体の位置と概略形状を取得することができる。
さらに、ＣＶ値を解析して、当該車両以外の移動体の概略形状、三次元的位置、姿勢、回転速度、速度、回転速度、加速度、回転角速度等を取得することができる。
これらリアルタイム映像から取得されたＣＶ値を元として、当該車両を最適化制御し、安全運行を保持することができる自動運転装置を実現することができる。
【００３７】
このようにして、本発明の自動運転装置によれば、車両等に設置されたカメラによるリアルタイム映像を直接解析することで得られたＣＶ値により、さらに当該車両に設置されたＧＰＳ、鉛直計、ＩＭＵ、ジャイロ等の計測機器のデータを追加して精度を上げることができる。また、ＣＶ値と追加された計測機器データを解析して、より高精度のＣＶ値を得ることができる。
そして、高精度のＣＶ値により、高精度の当該車両の三次元的位置、速度、加速度、回転姿勢、回転速度、回転角速度等を取得し、また、ＣＶ値と追加された計測機器データを解析して、当該車両の周囲にあって走行に係わる静止物体の位置と概略形状を取得し、さらに、ＣＶ値と追加された前記計測機器データを解析して、当該車両以外の移動体の概略形状、三次元的位置、姿勢、回転速度、速度、回転速度、加速度、回転角速度等を取得する。
そして、これら取得された各種物理的力学的データを元にして、当該車両を最適化制御し、安全運行を保持することができる。
なお、生成された制御信号により当該車両を実際に制御する方法（自動運転方法）は既知の技術により実現できるので、詳細な説明は省略する。
【００３８】
ここで、ＣＶ値は移動するカメラから出力される映像全てに定義されるものであり、三次元機械地図生成時に取得した全周映像に対して定義されているが、この場合は、自動運転装置に設置されたリアルタイム映像に定義されるＣＶ値であり、リアルタイム演算されたＣＶ値である。
また、ＣＶ値は最初に定義した全周映像による特徴点抽出、特徴点トラッキング、ＣＶ演算という流れによらずに、広義なＣＶ値として、後述するように例えば三次元機械地図とリアルタイム映像とのマッチングから、算出されるような場合であっても、カメラ位置（車両位置）と姿勢を表記する場合全てに対して定義されるものとする。
【００３９】
上述したように、ＣＶ演算は自車両と静止座標系の対象物との運動の関係を６自由度で求めるが、数学的に、また物理的に、自車両と移動する他車両間との間の関係においてもまったく同様であり、数学的に、物理的に、本質的な差はない。
従って、これまでのＣＶ値の定義を、自車両と移動する他車両間との間の関係に拡張することで、まったく同様に二者間の、及び多者間の相対運動を定義できる。これを利用して前記移動体の位置、回転、速度、加速度等を求めることができ、これらの信号を使って車両を安全にコントロールすることができるようになる。
【００４０】
また、本発明の自動運転装置は、リアルタイム映像の記録、及び当該自動運転装置から得られたＣＶ値の記録を残しておくことで、事故時の自車を含む関連対象物の位置関係解析と力学的解析をする構成とすることができる。
リアルタイム処理は、精度において困難さが有るが、ドライブレコーダーのように記録した映像を用いれば、精度の高い詳細なデータが取得できるので、事故解析には有益である。
【００４１】
また、本発明のナビゲーション装置は、現実の空間に、及び又はリアルタイム映像に、矢印等の案内用のＣＧを合成し（図１２参照）、又は／及び音声により、ナビゲーションする構成とすることができる。
このような構成とすることにより、ＣＧや音声によってナビゲーションを実行することができ、より使いやすいナビゲーション装置を提供することができる。
【００４２】
また、本発明の自動運転装置は、リアルタイム映像を前記三次元地図と同様のアルゴリズムで分析し、解析し、単純幾何学図形を抽出し、前記三次元機械地図との違いを検出し、違いが有れば前記三次元地図を更新する構成とすることができる。
このような構成とすることにより、三次元機械地図の更新を、リアルタイム映像で行うことが可能となる。
三次元機械地図は記録映像から生成されるので、更新が必要である。走行しながら、リアルタイム映像と違いがあるときは、同じアルゴリズムとして置くことで、リアルタイム映像から三次元機械地図に部分更新をかけることができる。
三次元機械地図は単純幾何学図形により構成することができるが、その場合には、元となる映像の中に単純幾何学図形の元となる画像断片がなければならない。ところが、画像断片の中に単純幾何学図形の元となる映像が無い場合も存在する。
そこで、本発明では、リアルタイム映像を三次元地図と同様のアルゴリズムで分析し、解析し、単純幾何学図形を抽出するようにしてある。
【００４３】
また、本発明の自動運転装置は、取得された自車両の情報を他車両に配信することにより、互いに情報交換することでより安全な自動運転を行う構成とすることができる。
本発明に係る自動運転装置は、高度な判断と制御を行うナビゲーション装置でもあることから、判断結果、前記更新情報や進路変更等コマンドを他車両に伝えることで、コミュニケーション走行が可能となる。
【００４４】
さらに、本発明の自動運転装置は、道路定点に設置されたカメラからの映像を前記三次元機械地図上に、座標統合して、合成して、矛盾無い位置と姿勢の関係で、取り込むことができる構成とすることができる。
このような構成とすることにより、道路定点に設置されているカメラからのリアルタイム映像を単純幾何学図形に分解して、三次元機械地図上に視点を合致させて重ねて取り込むことで、定点映像がより具体的に理解できることになる。
【００４５】
なお、以上のような本発明は、本願発明者の提案による全周画像によるＣＶ画像技術（特開２００５−２９５４９５号）を利用するものである。
本発明の元となっているＣＶ演算及びＣＶ値（特開２００５−２９５４９５号）は、全周カメラによる動画像の球面画像から生まれた。動画像を球面画像として扱うことで焦点距離及び光軸の概念から解放され、動画像を視覚に適したかたちで二次元面を持ったまま、古典的な三角測量の原理に戻って三次元化し、簡単に取り扱うことができるようになった。さらに動画像における単純化されたＣＶ値基準の概念の導入により、動画像処理が面のまま単純化されて三次元化し、動画像の領域分割及びそのトラッキングが容易となり、しかも高精度となったことで一気に進展した。
【発明の効果】
【００４６】
本発明の三次元機械地図、三次元機械地図生成装置、ナビゲーション装置及び自動運転装置によれば、自動車、重機、航空機等の移動体の三次元位置を評定したり、移動体の進行方向や現在状況等をガイドするための三次元地図と、その三次元地図生成装置において、走行，航行する移動体の現在位置又は将来位置を三次元空間内に探索して、移動体の進行方向や車両姿勢等を、人間がみて判断するのではなく、機械が判断することにより、移動する移動体の現在状況と将来状況を高精度に判断することができる、
【発明を実施するための最良の形態】
【００４７】
以下、本発明に係る三次元機械地図と、三次元機械地図生成装置、及び三次元機械地図を備えたナビゲーション装置及び自動運転装置の好ましい実施形態について、図面を参照しつつ説明する。
ここで、以下に示す本発明の三次元機械地図生成装置やナビゲーション装置、自動運転装置、その他の装置は、いずれもプログラム（ソフトウェア）の命令によりコンピュータで実行される処理，手段，機能によって実現される。プログラムは、コンピュータの各構成要素に指令を送り、以下に示すような所定の処理や機能、例えば、映像中からの基準点や特徴点の自動抽出，抽出した基準点の自動追跡，基準点の三次元座標の算出，ＣＶ（カメラベクトル）値の演算等を行わせる。
このように、本発明における各処理や手段は、プログラムとコンピュータとが協働した具体的手段によって実現される。
なお、プログラムの全部又は一部は、例えば、磁気ディスク，光ディスク，半導体メモリ，その他任意のコンピュータで読取り可能な記録媒体により提供され、記録媒体から読み出されたプログラムがコンピュータにインストールされて実行される。また、プログラムは、記録媒体を介さず、通信回線を通じて直接にコンピュータにロードし実行することもできる。
【００４８】
以下、本発明の一実施形態として、全周映像からＣＶ演算を用いて画像処理し、三次元機械地図を生成し、車載の通常ビデオカメラによる通常の広角映像（全周映像ではない）と前記装置で生成した三次元機械地図を用いて、上記国際公開ＷＯ２００５／０３８４０２及び特開２００７−１１４９１６号に係るナビゲーション装置や自動運転装置を実現する場合を示す。
【００４９】
［三次元機械地図］
まず、全周映像から三次元機械地図を生成する実施形態を示す。
機械地図とリアルタイム映像側の目標は以下の通りである。
○三次元機械地図側の目標
・三次元機械地図は、人間ではなく機械が見るもの。→機械が位置と姿勢及び周囲との相対関係、目的までの方向を三次元的に確認する。
・三次元機械地図のデータ量を極力軽くする。（地図データ配信を可能とする）
・三次元機械地図の作成は、ＣＶ映像データベースから生成することで、安価に、できるだけ自動化する（＋指定対象物を手動で付加）。
・三次元機械地図の更新は安価に、容易に、軽作業で、さらには自動で行う。
・三次元機械地図へ道路標示、道路標識、案内版等の座標付加、属性付加を行う。
・リアルタイム映像側と三次元機械地図とを、できるだけ共通アルゴリズムとし、変更更新部位を即時更新可能とする。（目標）
【００５０】
○取得したリアルタイム映像側の目標
・車両からの実像、又は全周映像ではない、通常の広角カメラによるリアルタイム映像を用いて、その映像内に案内指示ＣＧを合成して案内表示する。
・三次元機械地図及びリアルタイム映像にタグを貼り付け、メモ付加機能とする。
・三次元機械地図とリアルタイム映像解析による危険回避行動機能付加。（目標）
・車両走行記録、及び記録解析。（車両ＣＶ値記録、及び記録解析）
・車両走行記録解析データによる事故解析。
・車両走行記録解析データによる三次元機械地図の更新。
・更新データの自動配信により、他車両とのデータ共有。
・道路定点カメラからの情報取得。
【００５１】
［三次元地図生成装置］
以下、本発明に係る三次元機械地図を生成する三次元地図生成装置の一実施形態について、図１を参照して説明する。
図１は、本発明の一実施形態に係る三次元地図生成装置１１０の構成を示すブロック図である。
三次元機械地図を生成するには、車載全周映像撮影装置１１１により、車両に全周囲カメラを積載し、走行中の車両から全周映像（図５参照）を取得することができる。
取得した全周映像はメルカトール（図１１参照）であるが、その一部を平面に投影して遠近法的に表現したものが図５である。撮影位置説明のための例としての図５は、片側二車線の内の右車線上の車両から撮影したものであることが後に意味を持つ。
【００５２】
なお、全周映像でなくても本発明は成立するが、全周映像であることが全方位全俯角仰角に関して均等に情報を取得できるので有利である。
また、位置情報を取得するためにＧＰＳやＩＭＵ、ジャイロ等を積載することで、概略位置と概略姿勢が既知となるため、後の処理が楽になる。但し、校正する精度の高い地図が存在すれば、原理的にＧＰＳやＩＭＵ、ジャイロ等は無くても良いものである。
また製造の初期工程において、概略位置を知っておくことは演算上も有利であることから、これらＧＰＳやＩＭＵ、ジャイロ等を同時積載してデータを取得することが望ましい。
また、後の処理において鉛直が重要な情報となるので鉛直計を積載して置くことが望ましい。
【００５３】
ＣＶ演算装置１１２は、その詳細が本願出願人に係る上記特開２００５−２９５４９５号に詳細に記載されているが、全周映像の中に特徴点を自動抽出し、それを隣接する複数フレームにトラッキングし、カメラ移動のベースとトラッキング点で校正する三角形を構成し、そのトラッキングデータを解析することで、特徴点の三次元座標と、カメラ位置と姿勢を持つ全周ＣＶ映像を取得することができる。ＣＶ値とは、カメラの位置と姿勢を６自由度で表現したものである。
即ち、全フレームについてｘ，ｙ，ｚ，θx，θy，θz，の６自由度のそれぞれの係数を演算で決定することになる。
なお、ＣＶ演算及びＣＶ演算装置については後で更に詳述する（図１３〜図２５参照）。
【００５４】
幾何学的単純図形検出装置１１３は、全周ＣＶ映像から、ＣＶ値を基として座標を絞り込み、三次元解析することで、幾何学的単純図形を抽出し、選択し、分離し、その位置座標と姿勢を三次元的に求めることができる。
ここで、幾何学的単純図形とは、点、線、端点、面、直角カド、円、円弧等であるが、この実施例では、点、線、端点を検出している。
例えば、昼間の映像からは、道路標示の白線、ビルの縁、窓枠等から、直線と直線の端点を主として抽出するが、夜間の映像からは街灯やビル内のライトから、点を主として抽出することになる。
従って、前記幾何学的単純図形として、点と線と端点を同時に再構成することで、昼夜とも三次元機械地図として利用できることになる。
【００５５】
三次元座標付加装置１１４は、幾何学的単純図形検出作業（図６参照）と同時に検出した図形のトラッキングデータから、上記ＣＶ演算と同じ原理で、その三次元位置と姿勢を検出し、その三次元座標（図７参照）を与えるものである。
図６は、全周映像を平面に投影した画像であり、そこに幾何学的単純図形として、直線と直線の端点を自動検出したものである。自動検出した前記幾何学的単純図形を隣接する複数のフレームにトラッキングすることで、その三次元座標を取得したものが図７である。これは既に三次元機械地図の一部である。
また、ＣＶ演算で得られる座標は相対座標であるので、地図上の既知のデータや高精度のＧＰＳのデータから、後処理で絶対座標を付加することになる。
【００５６】
属性登録装置１１５は、検出された幾何学的単純図形に属性を与えるものである。
本実施形態では、本願出願人に係るＰＲＭ認識（米国特許６６１４９３２，国際公開ＷＯ０２／０１５０５）技術により、前もって用意したパタンとの比較により、認識し、前記幾何学的単純図形を形状分類しておけば、形状分類が属性情報となる。色が必要であれば色情報が属性情報となる。
また、交通標識等、道路交通に必要な対象物も、上記ＰＲＭ技術により、認識して、その属性を登録することができる。
ここでは、線と端点を属性として登録（図７参照）している。幾何学的単純図形の代表座標をデータとして、その三次元形状を属性情報とすることも可能である。ここで属性とは広範囲の意味を持つ。
【００５７】
ＰＲＭとは、Parts Reconstruction Method（３Ｄ対象物認識方法）の略であり、本願発明者により開発された対象物を認識するための技術である（国際公開ＷＯ０２／０１５０５参照）。
具体的には、ＰＲＭ技術は、前もって予想される対象物の形状と属性を部品（オペレータ部品）としてすべて用意しておき、それら部品と現実の実写映像を対比して、一致する部品を選択して対象物を認識する技術である。例えば、走行車輌等に必要となる対象物の「部品」は、道路標示としての車線、白線、黄線、横断道、道路標識としての速度標識、案内標識などであり、これらは定形のものであるので、ＰＲＭ技術によりその認識は容易に行える。また、対象物をＣＶ映像中に検索する場合においても、その対象物の存在する予想三次元空間を狭い範囲に限定することが可能となり、認識の効率化が可能となる。
【００５８】
例えば、信号機であれば、その三次元形状を取得しただけでは「検出」であり、座標と姿勢まで分かれば「特定」であるが、信号機という名称が分かり、３個のライトが赤青黄に変化し、それぞれの交通上の意味を理解しているときに、属性を理解（認識）したということができる。
なお、ＰＲＭ認識によって、あらゆる監視対象物（予測される対象物、障害物、不審物等）が認識されるとは限らない。すなわち、記憶となるデータベースに情報が存在しない対象物は認識できない。しかし、これは特に問題となるものではない。人間であっても記憶にないものは認識できないのと同様である。認識とはそのもの、あるいは、そのものに近いものの記憶との対比によって得られるものであるからである。
【００５９】
三次元機械地図記録装置１１５は、検出された前記幾何学的単純図形から、元となる三次元空間に対応する三次元空間を再構築（図３、図４参照）することになる。
これは既に三次元機械地図であるが、三次元機械地図記録装置１１５では、これから再構築された三次元機械地図を利用するフォーマットに従って記録し、目的に応じて、他の必要な情報を統合することで目的に応じた三次元機械地図を完成させる。
これらを有することを特徴とするものが三次元機械地図生成装置である。
図３は、三次元機械地図を俯瞰的に表現したものであり、図４は、画像取得時の車両目線で表現したものである。三次元機械地図を視覚的に表現すると、一方向からのみ見ることになるが、本来三次元機械地図は機械（コンピュータ）が判断するものであり、全方向、及び全ての視点に変換可能なデータを持っている。
【００６０】
また、以上のような三次元地図を備えることで、後述する本発明に係るナビゲーション装置（図２参照）は、記録媒体に記録される情報が、移動体から観察される範囲における映像的な幾何学的単純特徴図形の種類とその三次元座標と、映像的な幾何学的単純特徴図形を含む小領域の二次元画像の三次元配置とその三次元座標と、映像的な幾何学的単純特徴図形を含む対象物の形状とその三次元座標と、映像的な特徴点以外の移動体の移動に必要な周辺画像，ＣＧ等の形状と三次元座標と、移動体が移動する道路，車両走行路，又は予定航路等の画像，ＣＧとその三次元形状及びその三次元座標とを含み、これら各情報は、いずれか又はそれらの組み合わせ又はそれら全部、又はそれらの属性情報を含んで、三次元機械地図とともに記録される。
【００６１】
以上のような本実施形態に係る三次元地図生成装置１１０によって生成された三次元機械地図とは、例えば図３、図４に示すようなものである。
但し、三次元機械地図は人間が見るためのものではないので、ここに示したものは、敢えて目に見える形式に表現したものであり、実際には、このように目に見える形式にして利用するものではない。
【００６２】
［ナビゲーション装置］
次に、上述した三次元機械地図を利用した本発明のナビゲーション装置の一実施形態について、本願出願人に係る上記国際公開ＷＯ２００５／０３８４０２及び特開２００７−１１４９１６号で提案された方法に従って、図２を参照しつつ説明する。
同図に示すように、本実施形態に係るナビゲーション装置１２０は、上述した三次元機械地図１２１（図３、図４参照）と、移動する車両に積載されたカメラからのリアルタイム映像１２２（図８参照）とを、比較演算装置１２３において比較する。
これによって、機械が自動的に車両の位置と姿勢を判断し（図９参照）、位置方向評定出力装置１２４で現在位置を三次元機械地図上に特定し（図１０参照）、これによって、ナビゲーション装置を実現している。
【００６３】
図８は、移動する車両に積載されたカメラからのリアルタイム映像であり、このリアルタイム映像が三次元機械地図と比較されることになる。
ここで、図８に示す三次元機械地図を作成するための映像は右車線であったが、例として示したリアルタイム映像は左車線であることが重要である。
三次元機械地図取得時の車線とは関係なく、リアルタイム映像の撮影位置が自由に選択されていることが重要である。
【００６４】
機械が自動的に車両の位置と姿勢を判断し、位置と方向を評定する状況を図９に示す。
図９では、始めに三次元機械地図をリアルタイム映像に投影する。
次に三次元機械地図の横ラインと映像のエッジ成分を合わせる。
調整された三次元機械地図とリアルタイム映像上で、次に三次元機械地図の縦ラインと映像のエッジ成分を合わせる。
この作業を繰り返し、三次元機械地図とリアルタイム映像の一致点を求めることで、一致した三次元機械地図の座標から、現在位置と姿勢を取得する。
図１０には、連続するフレームについて、実際に位置と姿勢を評定した結果を、三次元機械地図内に視覚的に示してある。但し、実際はコンビュータ内部のデータ処理としてなされていて目に見えるわけでない。
【００６５】
車両制御装置１２５では、画像処理技術を用いて、移動体の移動経路について予め三次元機械地図に登録しておき、その三次元機械地図と、現実の移動体に積載されたカメラによるリアルタイム映像とを、三次元機械地図と対比することにより、移動体のカメラ位置を示す三次元座標をＧＰＳシステムより高精度に案内することができる。
また、自車両のみならず、映像内に写り込んでいる他車両についても、その中に特徴点を抽出し、トラッキングすることで、その他車両の位置、速度、加速度、姿勢までも計測でき、移動体の回転姿勢をも取得でき、これを用いて、車両の衝突回避、危険回避等の制御が可能となる。
【００６６】
また、車両制御装置１２５は、リアルタイム映像を解析し、三次元機械地図とＣＶ演算とにより、ＣＶ値を求め、ＣＶ値を解析して、自車両の位置、回転姿勢、加速度、速度、及び、映像中の他の車両の位置、回転、加速度、速度を求め、自動危機回避操作をとることができる。
さらに、不幸にも事故が起こってしまったときには、記録された車載カメラの映像から、自車両のみ成らず、映像内の事故に関係する車両の全ての位置、回転、加速度、速度を求めることができることになる。
【００６７】
以上のように、本実施形態のナビゲーション装置１２０は、車載したカメラから撮影したリアルタイム映像と車載した三次元機械地図とをコンピュータによって比較し、現実空間との対応を求め、その対応関係から車載したカメラの三次元位置と姿勢を演算で求め、車両位置と姿勢を決定することで行う三次元機械地図を備えるナビゲーション装置を実現している。
【００６８】
ここで、リアルタイム映像としては、敢えて全周映像ではなく、通常の広角カメラ一個を用いてリアルタイム映像を得るものとした。性能と精度から判断すれば、全周囲カメラによる全周囲ビデオ映像の方が優れていることは明らかである。但し、産業として普及させるには、特殊用途を除き、安価な通常カメラと通常の広角映像を用いるものとして本実施形態で採用している。
また、せっかくリアルタイム映像を用いることから、これを見るための映像としても利用し、このリアルタイム映像上に案内ＣＧを表示し（案内表示１２６）、あるいは、情報タグを貼り付け、情報タグに情報を入力し、又は記録し、呼び出すことがきる。
図１２に、映像上に案内ＣＧを表示した一例を示す。
三次元機械地図は機械が見るためのものであるが、これは明らかに人間が見るためのものである。
以上、本実施形態のナビゲーション装置の一例を示したが、本発明に係るナビゲーション装置は上記実施形態のみに限定されるものではない。
【００６９】
［ＣＶ演算］
次に、以上のような本発明の三次元機械地図生成装置における三次元機械地図の生成処理の前提となるＣＶ演算について図１３〜図２５を参照しつつ説明する。
ＣＶ演算とはＣＶ値を求める方法の一つであり、ＣＶ演算により求められた結果をＣＶ値，ＣＶデータと呼ぶ。ＣＶという表記は、カメラベクトル：CameraVectorの略記であり、カメラベクトル（ＣＶ）とは計測等のために映像を取得するビデオカメラ等のカメラの三次元位置と３軸回転姿勢を示す値である。
ＣＶ演算は、動画像（ビデオ映像）を取得し、その映像内の特徴点を検出し、それを隣接する複数のフレームに追跡し、カメラ位置と特徴点の追跡軌跡とが作る三角形を画像内に数多く生成し、その三角形を解析することで、カメラの三次元位置とカメラの３軸回転姿勢を求めるものである。
【００７０】
ＣＶ演算では、ＣＶ値を求める過程で、同時に映像内の特徴点（基準点）についても三次元座標が同時に求まることが重要な特性である。
また、動画像から演算で求められるＣＶ値は、動画像の各フレームに対応して、三次元のカメラ位置と三次元のカメラ姿勢とが同時に求まる。しかも、原理的には一台のカメラで、映像と対応してＣＶ値が求められる特性は、ＣＶ演算でしか実現し得ない、優れた特徴である。
但し、ＣＶ値は、例えば、他の方法による計測手段（ＧＰＳとジャイロ、又はＩＭＵ等）より求めることもできる。従って、ＣＶ値の取得はＣＶ演算による場合には限られない。
なお、ＧＰＳとジャイロ、又はＩＭＵ等によりＣＶ値を取得する場合には、動画像の各フレームと、その三次元的カメラ位置と三次元的カメラ姿勢とを同時に取得するためには画像フレームと計測サンプリング時刻を高精度で、かつ完全に同期させる必要がある。
【００７１】
動画像から演算で求められるＣＶデータは、加工しない段階では相対値であるが、短区間であれば高精度で三次元位置情報と３軸回転の角度情報を取得できる。
また、ＣＶデータを画像から取得する場合は、取得されたデータは相対値であり、絶対値に変換するには既知の地点でのキャリブレーションが必要であるが、ＣＶ値と同時に取得される特徴点三次元位置座標と姿勢により、又は新たに画像内に指定して取得した特徴点により、画像内の任意の対象物との位置関係を計測することができるという、他の方法では実現困難な優れた特性を備える。
また、画像に対応したＣＶ値が求まるので、画像との相性が良く、画像から取得したＣＶ値である限り、その画像内では矛盾が無いので、画像以外から求めるＣＶ値と比較して、画像から直接にカメラ位置とその３軸回転姿勢を求めることができるＣＶ演算は画像内計測や画像内測量に好適となる。
そして、本発明では、このＣＶ演算により得られたＣＶ値データに基づいて三次元機械地図を生成するものである。
【００７２】
［ＣＶ演算部］
ＣＶ演算は、上述した三次元機械地図生成装置１１０のＣＶ演算装置１１２（図１参照）として機能する、図１３に示すＣＶ演算部２で行われる。
ＣＶ演算部２は、図１３に示すように、全周ビデオ映像部１から入力されるビデオ映像について所定のＣＶ演算処理を行うことでＣＶ値を求めるようになっており、具体的には、特徴点抽出部２-１と、特徴点対応処理部２-２と、カメラベクトル演算部２-３と、誤差最小化部２-４と、三次元情報追跡部２-５と、高精度カメラベクトル演算部２-６とを備えている。
【００７３】
まず、ＣＶ演算に使用する映像としては、原理的にはどのような映像でもよいが、画角の限られた映像では視点方向を移動した場合に映像がとぎれてしまうので、実用的には全周映像（図１４〜図１６参照）か、広角映像を全周映像の一部として扱うことが望ましい。なお、動画映像は連続する静止画と同様であり、複数の静止画として扱うことができる。
また、映像は、一般には予め記録した動画映像を使うことになるが、自動車等の移動体の移動に合わせてリアルタイムに取り込んだ映像を使用することも勿論可能である。
【００７４】
そこで、本実施形態では、ＣＶ演算に使用する映像として、車輌等の移動体の３６０度の全周囲を撮影した全周映像（図１４〜図１６参照）か、又は全周映像に近い広角映像を用いて、その全周映像を視点方向に平面展開することにより、全周映像の一部として扱うことができる。
全周映像の平面展開とは、全周映像を、通常の画像として遠近法的に表現するものである。ここで、「遠近法」と呼称するのは、全周画像のそのものはメルカトール図法や球面投影図法のように、遠近法とは異なる方法で表示されているので（図１６参照）、これを例えば等距離図法のように平面展開表示することで、通常の遠近法映像に変換表示できるからである。
【００７５】
全周ビデオ映像部１において全周映像を生成するには、まず、図１４及び図１５に示すように、全周ビデオカメラ１-１を使用して、ＣＶ値データを取得する目的で、走行車輌等の移動体１-１ａに固定された全周ビデオカメラ１-１で、移動体１-１ａの移動とともに移動体周辺を撮影する。
なお、移動体１-１ａには、その位置座標を取得する目的で、例えば、絶対座標を取得するＧＰＳ機器単独やＩＭＵ機器を付加したもの等により構成した位置計測機器等を備えることができる。
また、移動体１-１ａに搭載される全周ビデオカメラ１-１としては、広範囲映像を撮影，取得するカメラであればどのような構成であってもよく、例えば、広角レンズや魚眼レンズ付きカメラ、移動カメラ、固定カメラ、複数のカメラを固定したカメラ、３６０度周囲に回転可能なカメラ等がある。本実施形態では、図１４及び図１５に示すように、車輌に複数のカメラが一体的に固定され、移動体１-１ａの移動に伴って広範囲映像を撮影する全周ビデオカメラ１-１を使用している。
【００７６】
そして、以上のような全周ビデオカメラ１-１によれば、図１５に示すように、移動体１-１ａの天井部に設置されることで、カメラの３６０度全周囲の映像を複数のカメラで同時に撮影することができ、移動体１-１ａが移動することで、広範囲映像を動画データとして取得できる。
ここで、全周ビデオカメラ１-１は、カメラの全周映像を直接取得できるビデオカメラであるが、カメラの全周囲の半分以上を映像として取得できれば全周映像として使用できる。
また、画角が制限された通常のカメラの場合でも、ＣＶ演算の精度としては低下するが、全周映像の一部分として取り扱うことが可能である。
【００７７】
なお、全周ビデオカメラ１-１で撮影された広範囲映像は、一枚の画像として、撮影時の画角に一致する仮想球面に貼り付けることができる。
仮想球面に貼り付けられた球面画像データは、仮想球面に貼り付けた状態の球面画像（３６０度画像）データとして保存・出力される。仮想球面は、広範囲映像を取得するカメラ部を中心点とした任意の球面状に設定することができる。
図１６（ａ）は球面画像が貼り付けられる仮想球面の外観イメージであり、同図（ｂ）は仮想球面に貼り付けられた球面画像の一例である。また、同図（ｃ）は、（ｂ）の球面画像をメルカトール図法に従って平面展開した画像例を示す。
【００７８】
そして、以上のように生成・取得された全周ビデオ映像が、ＣＶ演算部２に入力されてＣＶ値データが求められる（図１３参照）。
ＣＶ演算部２では、まず、特徴点抽出部２-１が、全周ビデオ映像部１の全周ビデオカメラ１-１で撮影されて一時記録された動画像データの中から、十分な数の特徴点（基準点）を自動抽出する。
特徴点対応処理部２-２は、自動抽出された特徴点を、各フレーム間で各フレーム画像内において自動的に追跡することで、その対応関係を自動的に求める。
カメラベクトル演算部２-３は、対応関係が求められた特徴点の三次元位置座標から各フレーム画像に対応したカメラベクトルを演算で自動的に求める。
誤差最小化部２-４は、複数のカメラ位置の重複演算により、各カメラベクトルの解の分布が最小になるように統計処理し、誤差の最小化処理を施したカメラ位置方向を自動的に決定する。
【００７９】
三次元情報追跡部２-５は、カメラベクトル演算部２-３で得られたカメラベクトルを概略のカメラベクトルと位置づけ、その後のプロセスで順次画像の一部として得られる三次元情報に基づいて、複数のフレーム画像に含まれる部分的三次元情報を隣接するフレームの画像に沿って自動追跡を行う。ここで、三次元情報（三次元形状）とは、主に特徴点の三次元分布情報であり、すなわち、三次元の点の集まりであり、この三次元の点の集まりが三次元形状を構成する。
高精度カメラベクトル演算部２-６は、三次元情報追跡部２-５で得られた追跡データに基づいて、カメラベクトル演算部２-３で得られるカメラベクトルより、さらに高精度なカメラベクトルを生成，出力する。
そして、以上のようにして得られたカメラベクトルが、後述する三次元機械地図生成装置２００に入力され、ＣＶタグの生成や貼り付け処理に利用されることになる。
【００８０】
複数の画像（動画又は連続静止画）の特徴点からカメラベクトルを検出するにはいくつかの方法があるが、図１３に示す本実施形態のＣＶ演算部２では、画像内に十分に多くの数の特徴点を自動抽出し、それを自動追跡することで、三角測量幾何学、及びエピポーラ幾何学により、カメラの三次元ベクトル及び３軸回転ベクトルを求めるようにしてある。
特徴点を充分に多くとることにより、カメラベクトル情報が重複することで、三地点の座標で構成される単位の三角形を、その十倍以上の多くの特徴点から求めることになり、重複する情報から誤差を最小化させて、より精度の高いカメラベクトルを求めることができる。
【００８１】
カメラベクトルとは、移動するカメラの持つ六個の自由度のベクトルである。
一般に、静止した三次元物体は、位置座標（Ｘ，Ｙ，Ｚ）と、それぞれの座標軸の回転角（Φｘ，Φｙ，Φｚ）の六個の自由度を持つ。従って、カメラベクトルは、カメラの位置座標（Ｘ，Ｙ，Ｚ）とそれぞれの座標軸の回転角（Φｘ，Φｙ，Φｚ）の六個の自由度のベクトルをいう。なお、カメラが移動する場合は、自由度に移動方向も入るが、これは上記の六個の自由度から微分して導き出すことができる。
このように、本実施形態のカメラベクトルの検出とは、カメラは各フレーム毎に六個の自由度の値をとり、各フレーム毎に異なる六個の自由度を決定することである。
【００８２】
以下、ＣＶ演算部２における具体的なカメラベクトルの検出方法について、図１７以下を参照しつつ説明する。
まず、上述した全周カメラ映像部１０の全周ビデオカメラ１-１で取得された画像データは、間接に又は直接に、ＣＶ演算部２の特徴点抽出部２-１に入力され、特徴点抽出部２-１で、適切にサンプリングされたフレーム画像中に、特徴点となるべき点又は小領域画像が自動抽出され、特徴点対応処理部２-２で、複数のフレーム画像間で特徴点の対応関係が自動的に求められる。
具体的には、カメラベクトルの検出の基準となる、十分に必要な数以上の特徴点を求める。画像間の特徴点とその対応関係の一例を、図１７〜図１９に示す。図中「＋」が自動抽出された特徴点であり、複数のフレーム画像間で対応関係が自動追跡される（図１９に示す対応点１〜４参照）。
ここで、特徴点の抽出は、図２０に示すように、各画像中に充分に多くの特徴点を指定，抽出することが望ましく（図２０の○印参照）、例えば、１００点程度の特徴点を抽出する。
【００８３】
続いて、カメラベクトル演算部２-３で、抽出された特徴点の三次元座標が演算により求められ、その三次元座標に基づいてカメラベクトルが演算により求められる。具体的には、カメラベクトル演算部２-３は、連続する各フレーム間に存在する、十分な数の特徴の位置と、移動するカメラ間の位置ベクトル、カメラの３軸回転ベクトル、各カメラ位置と特徴点をそれぞれ結んだベクトル等、各種三次元ベクトルの相対値を演算により連続的に算出する。
本実施形態では、例えば、３６０度全周画像のエピポーラ幾何からエピポーラ方程式を解くことによりカメラ運動（カメラ位置とカメラ回転）を計算するようになっている。また、これを三角測量として説明すれば、方位と俯角仰角を測量する機器を車載して、対象となる複数の測量地点を、移動する測量機器により同一対象物を計測して取得したデータから、各対象地点の座標と測量機器の移動の軌跡を求める場合と同じである。
【００８４】
図１９に示す画像１，２は、３６０度全周画像をメルカトール展開した画像であり、緯度φ、軽度θとすると、画像１上の点は（θ１，φ１）、画像２上の点は（θ２，φ２）となる。そして、それぞれのカメラでの空間座標は、ｚ１＝（ｃｏｓφ１ｃｏｓθ１，ｃｏｓφ１ｓｉｎθ１，ｓｉｎφ１）、ｚ２＝（ｃｏｓφ２ｃｏｓθ２，ｃｏｓφ２ｓｉｎθ２，ｓｉｎφ２）である。カメラの移動ベクトルをｔ、カメラの回転行列をＲ、とすると、ｚ１T［ｔ］×Ｒｚ２＝０がエピポーラ方程式である。
十分な数の特徴点を与えることにより、線形代数演算により最小自乗法による解としてｔ及びＲを計算することができる。この演算を対応する複数フレームに適用し演算する。
【００８５】
ここで、カメラベクトルの演算に利用する画像としては、３６０度全周画像を用いることが好ましい。
カメラベクトル演算に用いる画像としては、原理的にはどのような画像でも良いが、全周映像は対象物の方向がそのまま緯度経度で表現されていることから、きわめて有利である。図１９に示す３６０度全周画像のような広角レンズによる画像の方が特徴点を数多く選択し、複数フレームに渡って追跡し易くなる。また、狭角レンズによる映像あっても、同一対象物の周りを移動しながら様々な方向から撮影する場合には特徴点が視界から逃げないので有効である。
そこで、本実施形態では、ＣＶ演算に３６０度全周画像を用いており、これによって、特徴点の追跡距離を長くでき、特徴点を十分に多く選択することができ、遠距離、中距離、短距離それぞれに都合の良い特徴点を選択することができるようになる。また、回転ベクトルを補正する場合には、極回転変換処理を加えることで、演算処理も容易に行えるようになる。これらのことから、より精度の高い演算結果が得られるようになる。
なお、図１９は、ＣＶ演算部２における処理を理解し易くするために、１台又は複数台のカメラで撮影した画像を合成した３６０度全周囲の球面画像を地図図法でいうメルカトール図法で展開したものを示しているが、実際のＣＶ演算では、必ずしもメルカトール図法による展開画像である必要はない。
【００８６】
次に、誤差最小化部２-４では、各フレームに対応する複数のカメラ位置と複数の特徴点の数により、複数通り生じる演算方程式により、各特徴点に基づくベクトルを複数通り演算して求めて、各特徴点の位置及びカメラ位置の分布が最小になるように統計処理をして、最終的なベクトルを求める。例えば、複数フレームのカメラ位置、カメラ回転及び複数の特徴点について、Levenberg-Marquardt法により最小自乗法の最適解を推定し、誤差を収束してカメラ位置、カメラ回転行列、特徴点の座標を求める。
さらに、誤差の分布が大きい特徴点については削除し、他の特徴点に基づいて再演算することで、各特徴点及びカメラ位置での演算の精度を上げるようにする。
このようにして、特徴点の位置とカメラベクトルを精度良く求めることができる。
【００８７】
図２１〜図２３に、ＣＶ演算により得られる特徴点の三次元座標とカメラベクトルの例を示す。図２１〜図２３は、本実施形態のＣＶ演算によるベクトル検出方法を示す説明図であり、移動するカメラによって取得された複数のフレーム画像によって得られるカメラ及び対象物の相対的な位置関係を示す図である。
図２１では、図１９の画像１，２に示した特徴点１〜４の三次元座標と、画像１と画像２の間で移動するカメラベクトル（Ｘ，Ｙ，Ｚ）が示されている。
図２２及び図２３は、充分に多くの特徴点とフレーム画像により得られた特徴点の位置と移動するカメラの位置が示されている。同図中、グラフ中央に直線状に連続する○印がカメラ位置であり、その周囲に位置する○印が特徴点の位置と高さを示している。
【００８８】
ここで、ＣＶ演算部２におけるＣＶ演算は、より高精度な特徴点とカメラ位置の三次元情報を高速に得るために、図２４に示すように、カメラから特徴点の距離に応じて複数の特徴点を設定し、複数の演算を繰り返し行うようにする。
具体的には、ＣＶ演算部２では、画像内には映像的に特徴がある特徴点を自動検出し、各フレーム画像内に特徴点の対応点を求める際に、カメラベクトル演算に用いるｎ番目とｎ＋ｍ番目の二つのフレーム画像FｎとＦｎ＋ｍに着目して単位演算とし、ｎとｍを適切に設定した単位演算を繰り返すことができる。
ｍはフレーム間隔であり、カメラから画像内の特徴点までの距離によって特徴点を複数段に分類し、カメラから特徴点までの距離が遠いほどｍが大きくなるように設定し、カメラから特徴点までの距離が近いほどｍが小さくなるように設定する。このようにするのは、カメラから特徴点までの距離が遠ければ遠いほど、画像間における位置の変化が少ないからである。
【００８９】
そして、特徴点のｍ値による分類を、十分にオーバーラップさせながら、複数段階のｍを設定し、画像の進行とともにｎが連続的に進行するのにともなって、演算を連続的に進行させる。そして、ｎの進行とｍの各段階で、同一特徴点について複数回重複演算を行う。
このようにして、フレーム画像ＦｎとＦｎ＋ｍに着目した単位演算を行うことにより、ｍ枚毎にサンプリングした各フレーム間（フレーム間は駒落ちしている）では、長時間かけて精密カメラベクトルを演算し、フレーム画像ＦｎとＦｎ＋ｍの間のｍ枚のフレーム（最小単位フレーム）では、短時間処理で行える簡易演算とすることができる。
【００９０】
ｍ枚毎の精密カメラベクトル演算に誤差がないとすれば、ｍ枚のフレームのカメラベクトルの両端は、高精度演算をしたＦｎとＦｎ＋ｍのカメラベクトルと重なることになる。従って、ＦｎとＦｎ＋ｍの中間のｍ枚の最小単位のフレームについては簡易演算で求め、簡易演算で求めたｍ枚の最小単位フレームのカメラベクトルの両端を、高精度演算で求めたＦｎとＦｎ＋ｍのカメラベクトルに一致するように、ｍ枚の連続したカメラベクトルのスケール調整をすることができる。
このようにして、画像の進行とともにｎが連続的に進行することにより、同一特徴点について複数回演算されて得られる各カメラベクトルの誤差が最小になるようにスケール調整して統合し、最終のカメラベクトルを決定することができる。これにより、誤差のない高精度のカメラベクトルを求めつつ、簡易演算を組み合わせることにより、演算処理を高速化することができるようになる。
【００９１】
ここで、簡易演算としては、精度に応じて種々の方法があるが、例えば、(1)高精度演算では１００個以上の多くの特徴点を用いる場合に、簡易演算では最低限の１０個程度の特徴点を用いる方法や、(2)同じ特徴点の数としても、特徴点とカメラ位置を同等に考えれば、そこには無数の三角形が成立し、その数だけの方程式が成立するため、その方程式の数を減らすことで、簡易演算とすることができる。
これによって、各特徴点及びカメラ位置の誤差が最小になるようにスケール調整する形で統合し、距離演算を行い、さらに、誤差の分布が大きい特徴点を削除し、必要に応じて他の特徴点について再演算することで、各特徴点及びカメラ位置での演算の精度を上げることができる。
【００９２】
また、このように高速な簡易演算を行うことにより、カメラベクトルのリアルタイム処理が可能となる。カメラベクトルのリアルタイム処理は、目的の精度をとれる最低のフレーム数と、自動抽出した最低の特徴点数で演算を行い、カメラベクトルの概略値をリアルタイムで求め、表示し、次に、画像が蓄積するにつれて、フレーム数を増加させ、特徴点の数を増加させ、より精度の高いカメラベクトル演算を行い、概略値を精度の高いカメラベクトル値に置き換えて表示することができる。
【００９３】
さらに、本実施形態では、より高精度のカメラベクトルを求めるために、三次元情報（三次元形状）の追跡を行うことができる。
具体的には、まず、三次元情報追跡部２-５で、カメラベクトル演算部２-３，誤差最小化部２-４を経て得られたカメラベクトルを概略のカメラベクトルと位置づけ、その後のプロセスで生成される画像の一部として得られる三次元情報（三次元形状）に基づいて、複数のフレーム画像に含まれる部分的三次元情報を隣接するフレーム間で連続的に追跡して三次元形状の自動追跡を行う。
そして、この三次元情報追跡部２-５で得られた三次元情報の追跡結果から、高精度カメラベクトル演算部２-６においてより高精度なカメラベクトルが求められる。
【００９４】
上述した特徴点抽出部２-１及び特徴点対応処理部２-２では、特徴点を複数のフレーム間画像内に自動追跡するが、特徴点が消失するなどして特徴点の追跡フレーム数に制限が出てくることがある。また、画像は二次元であり、追跡途中で形状が変化するために追跡精度にも一定の限界がある。
そこで、特徴点追跡で得られるカメラベクトルを概略値と位置づけ、その後のプロセスで得られる三次元情報（三次元形状）を各フレーム画像上に追跡して、その軌跡から高精度カメラベクトルを求めることができる。
三次元形状の追跡は、マッチング及び相関の精度を得やすく、三次元形状はフレーム画像によって、その三次元形状も大きさも変化しないので、多くのフレームに亘って追跡が可能であり、そのことでカメラベクトル演算の精度を向上させることができる。これはカメラベクトル演算部２-３により概略のカメラベクトルが既知であり、三次元形状が既に分かっているから可能となるものである。
【００９５】
カメラベクトルが概略値の場合、非常に多くのフレームに亘る三次元座標の誤差は、特徴点追跡による各フレームに関係するフレームが少ないので、誤差が累積して長距離では次第に大きな誤差になるが、画像の一部分を切り取ったときの三次元形状の誤差は相対的に少なく、形状の変化と大きさに及ぼす影響はかなり少ないものとなる。このため、三次元形状での比較や追跡は、二次元形状追跡の時よりも極めて有利となる。追跡において、二次元形状での追跡の場合、複数のフレームにおける形状の変化と大きさの変化を避けられないまま追跡することになるので、誤差が大きかったり、対応点が見つからないなどの問題があったが、三次元形状での追跡においては形状の変化が極めて少なく、しかも原理的に大きさの変化もないので、正確な追跡が可能となる。
【００９６】
ここで、追跡の対象となる三次元形状データとしては、例えば、特徴点の三次元分布形状や、特徴点の三次元分布形状から求められるポリゴン面等がある。
また、得られた三次元形状を、カメラ位置から二次元画像に変換して、二次元画像として追跡することも可能である。カメラベクトルの概略値が既知であることから、カメラ視点からの二次元画像に投影変換が可能であり、カメラ視点の移動による対象の形状変化にも追従することが可能となる。
【００９７】
以上のようにして求められたカメラベクトルは、全周ビデオカメラ１-１で撮影されたビデオ映像中に重ねて表示することができる。
例えば、図２５に示すように、車載カメラからの映像を平面展開して、各フレーム画像内の目的平面上の対応点を自動で探索し、対応点を一致させるように結合して目的平面の結合画像を生成し、同一の座標系に統合して表示する。
さらに、その共通座標系の中にカメラ位置とカメラ方向を次々に検出し、その位置や方向、軌跡をプロットしていくことができる。ＣＶデータは、その三次元位置と３軸回転を示しており、ビデオ映像に重ねて表示することで、ビデオ映像の各フレームでＣＶ値を同時に観察できる。ＣＶデータをビデオ映像に重ねて表示した画像例を図２５に示す。
なお、ビデオ映像内にカメラ位置を正しく表示すると、ＣＶ値が示すビデオ映像内の位置は画像の中心となり、カメラ移動が直線に近い場合は、すべてのフレームのＣＶ値が重なって表示されてしまうので、例えば図２５に示すように、敢えてカメラ位置から真下に１メートルの位置を表示することが適切である。あるいは道路面までの距離を基準として、道路面の高さにＣＶ値を表示するのがより適切である。
【００９８】
［自動運転装置］
次に、上述した三次元機械地図及びＣＶ演算を利用した本発明の自動運転装置の一実施形態について、図２６を参照しつつ説明する。
同図に示すように、本実施形態に係る自動運転装置１３０は、上述したナビゲーション装置１２０と同様、三次元機械地図１２１（図３、図４参照）と、移動する車両に積載されたカメラからのリアルタイム映像１２２（図８参照）とを、比較演算する構成となっている。
具体的には、自動運転装置１３０は、車載カメラ装置１３１と、アルタイム映像生成装置１３２と、比較装置１３３と、三次元機械地図１２１と、再生探索装置１３４と、一致出力装置１３５と、ＣＶ値取得装置１３６と、走行情報取得装置１３７と、対象物情報取得装置１３８と、自動走行装置１３９とを備えている。
【００９９】
車載カメラ１３１は、車両に固定されて設置され、車両周囲の映像を取得する。例えば、車載カメラ１３１は、図１４で示したように、全周ビデオカメラ１-１を移動体（車両）１-１ａの屋根の中心に設置して、車両の移動とともに車両周辺の映像を撮影する。また、車載カメラ１３１は、後述する図３１に示すように、複数のカメラを車両の屋根に所定の配置レイアウトで設置することもできる。
リアルタイム映像生成装置１３２は、車載カメラ１３１から出力するリアルタイム映像を取得する。
比較装置１３３は、車両に車載された三次元機械地図１２１と、車載カメラ１３１で撮影されたリアルタイム映像を、例えばＰＣ（パーソナルコンピュータ）等、車両に搭載した情報処理装置で保持・格納し、当該ＰＣのメモリ内で比較する。
【０１００】
再生探索装置１３４は、当該車両が走行していると予想される地域の範囲で、リアルタイム映像内の複数の領域で、一部分の幾何学的成分が三次元機械地図の一部分の幾何学成分との対応位置を求めながら、三次元機械地図の視点位置と視点姿勢と視点方向とが近づくように調整し、三次元機械地図の限定された範囲内を探索する。
一致出力装置１３５は、リアルタイム映像の複数部分が三次元機械地図の複数部分に一致したときの三次元機械地図の位置座標と、同様に一致したときの回転座標を出力する。
ＣＶ値取得装置１３６は、当該車両の走行時のリアルタイム映像の各フレームについて、その位置座標と回転座標を求めることで、リアルタイム映像のＣＶ値を取得する。
なお、ＣＶ値の取得については、上述したＣＶ演算により行う（図１３〜図２５参照）。
【０１０１】
走行情報取得装置１３７は、当該車両位置と姿勢、速度、加速度、方向、角速度、角加速度等を演算して、リアルタイムで取得する。
対象物情報取得装置１３８は、ＣＶ値取得装置１３６で得られたＣＶ値から、リアルタイム映像内の自車両以外の車両及び障害物等の位置と姿勢、速度、加速度、方向、角速度、角速度等を演算して、リアルタイムで取得する。
そして、自動走行装置１３９は、上記各装置で得られたデータに基づき生成された制御信号により、当該車両の走行車線と走行速度と走行方向を決定して走行させる。
この自動走行装置１３９による車両の制御（自動運転）については、既知の技術により実現できる。
以上により、三次元機械地図及びリアルタイム映像に基づく自動運転装置１３０が構成される。
【０１０２】
次に、以上のような本発明に係る自動運転装置において、案内マーカを利用する場合について、図２７〜図２８を参照しつつ説明する。
上述した三次元機械地図を備えた自動運転装置においては、三次元機械地図を構成する単純幾何学図形とリアルタイム映像の対応により、リアルタイム映像を取得したカメラのＣＶ値を取得し、それを車両位置として、車両をコントロールすることになる。
このため、三次元機械地図を構成する単純幾何学図形とリアルタイム映像の対応が常に取れる場合はよいが、映像は予想できないことがあり、また、天候や時間帯、特に夜間、降雪時などの場合には、適切な単純幾何学図形に対応する映像が見えない場合（リアルタイム映像の対応が取れない）も想定される。
そこで、以下に示す案内マーカを利用することにより、三次元機械地図と走行する車両からのリアルタイム映像の対応が常に取れるようにすることが可能となる。
【０１０３】
図２７は、図１で示した本発明の一実施形態に係る三次元機械地図生成装置１１０で利用する案内マーカの構成を示したブロック図である。
同図に示すように、本発明の一実施形態に係る案内マーカ１４０は、指定案内マーカ１４１、統一形状案内マーカ１４２からなり、これら案内マーカ１４０により案内マーカ図形１４３と案内マーカ画像１４４を生成して、三次元機械地図生成装置１１０に入力するようになっている。
具体的には、案内マーカ１４０は、自動運転による車両走行時の座標基準とするために、機械地図生成装置１１０で使用される。
【０１０４】
指定案内マーカ図形１４１は、三次元機械地図を構成する幾何学的単純図形の中から、選択した図形又は画像を案内マーカ図形又は案内マーカ画像として三次元機械地図の三次元空間に対応させたものである。
統一形状案内マーカ図形１４２は、形状が既知である案内マーカを、前もって、例えば道路又は道路近傍に適切な密度で設置し、それを三次元機械地図生成装置１１０により、三次元機械地図に対応して反映させた案内マーカ図形を三次元機械地図の三次元空間に対応させたものである。
案内マーカ画像１４４は、案内マーカ図形１４３の元となる映像の一部画像を、そのまま案内マーカ画像として、三次元機械地図の三次元空間に対応させたものである。
【０１０５】
以上の指定案内マーカ図形１４１・統一形状案内マーカ図形１４２により三次元機械地図の三次元空間に対応させた案内マーカ図形１４３・案内マーカ画像１４４が生成され、三次元機械地図生成装置１１０を介して、案内マーカ付き三次元機械地図１２１ａが生成される。
そして、指定案内マーカ図形１４１と統一形状案内マーカ図形１４２内で、図形によるものを案内マーカ図形として属性登録しておくことができる。
また画像によるものを案内マーカ画像として属性登録しておくことができる。
これら案内マーカ図形１４３・案内マーカ画像１４４の組み合わせによって、三次元機械地図を構成する単純幾何学図形とリアルタイム映像の対応が取れないような場合にも、三次元機械地図と走行する車両からのリアルタイム映像の対応が常に取れるようにすることができるようになる。
【０１０６】
以下、案内マーカ１４０（案内マーカ図形１４３・案内マーカ画像１４４）の好ましい態様について具体的に説明する。
まず、三次元機械地図を構成する単純幾何学図形に特に特徴のある図形に着目し、それを案内マーカ図形として重点的に対応させる（指定案内マーカ図形１４１）。
また、単純幾何学図形に特徴がない地域においては、積極的に案内マーカを実際の道路又はその近傍に設置することにする（統一形状案内マーカ図形１４２）。この場合、赤外線や偏光を利用して、カメラ側には赤外線に感度を持つＣＣＤや赤外線フィルタを用い、人間には視認しにくくすることも可能である。
【０１０７】
また、三次元機械地図に登録されていることから、マーカの形状と図形と位置が予想できているので、案内マーカは確認作業のみとなるので、演算は容易となる。
この場合、演算処理するＰＣ等の情報処理装置で認識されやすい、日照や気候の影響を受けにくい形状と図形を選択することができる。例えば、○と＋を組み合わせ図形などは、スケール及び回転に強い図形として利用が可能である。
また、ＰＣ側で、これらの図形を検出して認識する場合は、いわゆる高度な認識作業ではなく、既に形状も属性も既知である物体の確認作業を行うことになる。
【０１０８】
さらに、案内マーカは、確認作業でよいことと、形状が小さく画像としても小さいことから、簡易的には、幾何学図形に置換することなく、三次元機械地図生成時に用いたＣＶ映像から、マーカ部分の画像をそのまま切り取って案内マーカ画像としてそのまま利用し、三次元機械地図に貼り付けても良いことになる。
また、マーカのみから車両位置を計測するには、遠方のマーカも必要となるので、遠方の案内マーカにおいては反射板として利用し、カメラではなく、案内マーカに直接レーザ光を当ててその位置を計測して確認することでも可能である。
【０１０９】
案内マーカ付きの三次元機械地図は、車載カメラでリアルタイム映像として取得した後、三次元地図生成との比較においてＰＣで認識又は検出しやすい幾何学的単純図形又はその組み合わせから構成されることが望ましい。
また、三次元機械地図生成においても、統一形状案内マーカにおいては、実際に現地に設置することになるので、その後の地図生成処理においても正しく確実に統一形状案内マーカを捉えるように、単純な幾何学図形が適している。
そして、三次元機械地図はこれら案内マーカ図形から構成されることになる。
なお、案内マーカの設置密度、又は指定密度は、車載カメラで取得されるリアルタイム映像の視野内に、同時に複数の案内マーカを同時に検出できるような密度とする必要がある。例えば、リアルタイム映像内には、最低三個の案内マーカが同時に映っている必要がある。
【０１１０】
次に、以上のような案内マーカ１４０を使用して三次元機械地図を構成する単純幾何学図形とリアルタイム映像の対応付けを行う自動運転装置の一実施形態について、図２８を参照しつつ説明する。
図２８は、案内マーカを利用する自動運転装置の一実施形態の構成を示す機能ブロック図である。
同図に示すように、本実施形態に係る自動運転装置１５０は、上述した案内マーカ図形として登録されている三次元機械地図を備えた自動運転装置であり、案内マーカ検出装置１５１と、案内マーカ地図対応装置１５２と、車両ＣＶ値取得装置１５３と、マーカ座標読み取り装置１５４と、繰り返し演算装置１５５と、出力装置１５６とを備えている。
【０１１１】
案内マーカ検出装置１５１は、車載カメラによる道路及び道路近傍のリアルタイム映像内に写っている複数の案内マーカ映像を検出する。
案内マーカ地図対応装置１５２は、検出された案内マーカ映像と三次元機械地図上の案内マーカ図形とを対応させる。
車両ＣＶ値取得装置１５３は、案内マーカ地図対応装置により、対応した複数の案内マーカ図形が持っているそれぞれの座標から、当該車両の座標と姿勢を演算で求める。
マーカ座標読み取り装置１５４は、当該車両の進行に応じて、次々と新しく現れる案内マーカの座標を三次元機械地図上の新しい案内マーカ図形の座標を読み取る。
【０１１２】
繰り返し演算装置１５５は、マーカ座標読み取り装置１５４で読み取られた座標を予想位置として座標付近をリアルタイム映像内に検索して、案内マーカ地図対応装置１５２により、新しい案内マーカ映像と新しい案内マーカ図形とを対応させる。そして、対応の取れた複数の案内マーカ図形が属性として持つ座標から、車両ＣＶ値取得装置により、前位置より先に進行した車両の座標と姿勢を演算で求める作業を連続的に続ける。
出力装置１５６は、上記の繰り返し作業による車両位置と姿勢を連続的に出力することで、常に車両位置を安定的に検出し続ける。
以上により、本実施形態に係る自動運転装置１５０では、車両の座標と姿勢を常に取得しながら進行させることができるようになる。
【０１１３】
なお、以上説明した本発明に係る自動運転装置においても、上述したナビゲーション装置と同様に、車両に積載したリアルタイム映像の記録、及び／又は当該自動運転装置から得られたＣＶ値の記録を元として、事故等の特殊な時点に於いて、当該車両を含む関連対象物それぞれの、及びそれらの関係について力学的解析を行うことができる。
また、リアルタイム映像を前記三次元機械地図と同様のアルゴリズムで分析及び解析して、単純幾何学図形を抽出し、前記三次元機械地図を更新することもできる。
【０１１４】
次に、上述した本発明に係る自動運転装置のより具体的な実施形態について、図２９〜図３２を参照して説明する。
図２９は、本発明に係る三次元機械地図を備えた自動運転装置の好ましい一実施形態の概略構成を示すブロック図である。
同図に示す自動運転装置１６０は、自動運転を行う車両のおかれている場を認識する場認識装置１６１と、人間ではなく、機械（コンピュータ）が判断するための三次元機械地図を格納・記憶する三次元機械地図データベース１６２と、当該車両周辺の障害物認識装置１６３と、自己位置と姿勢を評定する自己位置評定装置１６４と、上記各装置の情報から、車両をコントロールするに必要な信号を生成して、車両をコントロールする自動走行装置１６５を備えている。
【０１１５】
場認識装置１６１は、自動運転を行う「場」である環境そのものの情報を取得する。車両が存在する環境の三次元空間、気候、時間、場所等の情報を取得する。場認識装置１６１により、場の情報の中に、車両自身を位置づけることではじめて自動運転の条件が整う。
三次元機械地図データベース１６２は、車両が利用する全ての空間の三次元機械地図を格納している。
ここには、車両の存在する空間、これから向かうべき空間とその属性を登録してある。
また、三次元機械地図は他の装置との連携もあり、その利用範囲も多い。他の装置との関連での利用では、必ずしも三次元機械地図を必要としない装置（例えば三次元機械地図データベース１６２、自動走行装置１６５等）もあるが、有ることでその装置の機能を高度に発揮できることになる。
【０１１６】
障害物認識装置１６３は、車両の周囲の障害物を認識する機能を発揮する。具体的には、対向車両や並進車両、道路又は横断歩道を横断する歩行者、道路落下物、等車両走行に障害となるもの又は歩行者に危険を及ぼす可能性のある歩行者との関係等を認識する。
自己位置評定装置１６４は、三次元機械地図の中での自分の位置と姿勢を精度良く決定するという、自動運転にとって最も基本的な作業を行う。
具体的には、自己位置評定装置１６４による自己位置評定は、車両に設置したカメラからのリアルタイム映像と三次元機械地図を比較して、三次元機械地図に対しての自車両の位置と姿勢を精読良く求めることになる。位置と姿勢を表す物理的パラメータの数は６であり、６自由度を持つカメラ位置と姿勢を決定することに等しい。さらに、リアルタイム映像のみからも、相対値としてのＣＶ値を取得することが可能であり、双方から精度の高い自己位置評定を行う。
自動走行装置１６５は、上記の場認識装置１６１、三次元機械地図データベース１６２、障害物認識装置１６３、自己位置評定装置１６４からの情報を統合し、自動走行に必要な制御信号を生成する。
【０１１７】
次に、以上のような三次元機械地図を備えた自動運転装置のより具体的な実施形態を説明する。
まず、本発明の一実施形態に係る自動運転装置の基本原理について、図３０を参照して説明する。
同図に示すように、本実施形態に係る自動運転装置１７０は、三次元機械地図装置１７１を備えるとともに、空間解析装置１７２と、概略位置評定装置１７３と、相対自己位置姿勢評定装置１７４と、絶対自己位置姿勢評定装置１７５と、移動体分離装置１７６と、移動体位置姿勢評定装置１７７と、対象物認識装置１７８と、移動体認識装置１７９と、判断装置１８０と、制御装置１８１と、表示装置１８２と、ＣＶ映像更新装置１８３と、ＣＶ映像データベース１８４とを備えた構成となっている。
【０１１８】
三次元機械地図装置１７１は、人間ではなく、機械（コンピュータ）が判断するための三次元地図を任意に読み出す。
空間解析装置１７２は、三次元機械地図と車両に積載したカメラにより取得されるリアルタイム映像の対応により、自動運転を行う車両のおかれている環境に関して三次元的に解析する。
概略位置評定装置１７３は、例えばＧＰＳ等の既知の技術により、車両の概略位置を評定・特定する。
相対自己位置姿勢評定装置１７４は、リアルタイム映像をＣＶ演算して、相対的な座標と姿勢を求める。
【０１１９】
絶対自己位置姿勢評定装置１７５は、概略位置評定装置１７３で得られた概略位置と相対自己位置姿勢評定装置１７４で得られた相対な座標と姿勢から、車両位置を絞り込み、その範囲で三次元機械地図の中にリアルタイム映像との対応により、一致点を探して、精度の高い現在位置座標と姿勢を絶対値で求める。
移動体分離装置１７６は、リアルタイム映像に関する多くの特徴点をトラッキングし、その中から、移動体のトラッキング成分を演算により抽出し、静止座標系から移動体映像成分を分離する。
移動体位置姿勢評定装置１７７は、移動体分離装置１７６で得られた移動体映像成分に係わる移動体トラッキング成分から移動体の位置と姿勢を抽出する。
【０１２０】
対象物認識装置１７８は、車両走行に関係する他車両や、障害物等を登録されている属性と比較して、対象物を認識する。
移動体認識装置１７９は、移動体の属性を知る必要がある場合には、登録されている属性と比較して、移動体の属性種別を決定する。
判断装置１８０は、上記の全ての装置の全部又は一部からの情報、又はその一部を取り入れて、安全を判断し、適切な進路を選択し、車両制御に必要な信号を生成する。
制御装置１８１は、車両制御に必要な信号によって車両を安全で適切に制御する。
表示装置１８２は、上記の全装置からの情報、又はその一部の信号、制御内容等を表示する。
【０１２１】
ＣＶ映像更新装置１８３は、三次元機械地図が存在しない、あるいは、地図と現実が一致しない地域・現場において、新規に映像を取得しながらＣＶ演算をしたＣＶ映像を、空間解析装置１７２から取り込む。
ＣＶ映像データベース１８４は、ＣＶ映像更新装置１８３から取り込まれたＣＶ映像を格納・記憶する記憶手段であり、ＣＶ映像更新装置１８３により更新又は追加されたＣＶ映像により、随時データベースの内容が更新される。
そして、このＣＶ映像データベース１８４により、三次元機械地図装置１７１の内容が更新される。
【０１２２】
以上のような構成からなる本実施形態の自動運転装置１７０は、具体的には以下のように動作する。
空間解析装置１７２では、自動運転を行う「場」である環境そのものの情報を取得する。
具体的には、車両が存在する環境の三次元空間、気候、時間、場所等の情報を取得する。
この空間解析装置１７２により、場の情報の中に、車両自身を位置づけることで初めて自動運転の条件が整う。
【０１２３】
また、空間解析装置１７２は、リアルタイム映像を取得するとともに、リアルタイム映像からＣＶ値を取得し、取得したＣＶ値により、三次元空間の概略と自車位置と姿勢の関係を求める。
このＣＶ値の演算は、上述したＣＶ値取得装置１３６（図２６参照）におけるのと同様に行うことができる（図１３〜図２５参照）。
ここで、リアルタイム映像を取得するには、例えば、上述した図１４に示したような車載カメラにより取得できるが、本実施形態では、図３１に示すように、複数のカメラを車両の屋根等に所定の配置レイアウトで設定することでリアルタイム映像を取得するようにしてある。
【０１２４】
具体的には、図３１に示すように、カメラ１とカメラ２の二個対になった複合カメラを用い、それぞれ水平視野角１３５度を確保し、合成視野角として２７０度以上の水平視野角を確保する。二個のカメラで合成視野角２７０度を確保できないときは、三個のカメラとすることで目的の合成視野角を確保すればよい。
このような対のカメラを車両の４カ所（車両前方２カ所、後方２カ所）に取り付けて、水平方向には３６０度の全周視野を確保し、後述するように、一部重複視野としてその視差も利用する。重複視野については後述する。
これにより、本実施形態では、４カ所計８個のカメラで水平方向全視野を確保していることになる。この計８個のカメラから得られる映像を結合合成して全周映像を生成する。以下これをリアルタイム映像として扱う。
なお、図３１に示すように、車両の屋根中央部分（図３１のＡ）の位置に、水平全方向を撮影できる全周カメラを取り付けるようにしても良い。
【０１２５】
また、リアルタイム映像をＣＶ演算することで、ＣＶ値を取得することができる。このＣＶ値を得るためのＣＶ演算の詳細については上述した通りである（図１３〜図２５参照）。
一方、三次元機械地図は三次元機械地図装置に記録してあり、概略位置評定装置１７３で、概略位置を指定して、その付近の三次元機械地図を取り出すことができる。
三次元機械地図を生成するには、全周映像をＣＶ演算し、鉛直補正し、絶対座標を付加するなどの処理の後に、ＣＶ映像を生成する。
そして、ＣＶ映像から、新たな特徴点を三次元計測しながら、単純幾何学図形に分解することで、三次元機械地図を生成する。
三次元機械地図とリアルタイム映像の対比により、リアルタイム映像のカメラ位置を演算で求める方法は上述した通りである（図２６参照）。
【０１２６】
ここで、三次元機械地図が存在しない地域、あるいは、例えば現場が工事されているなどして地図と現実が一致しない地区を通行するような場合は、当該自動運転車両は新規に映像を取得しながらＣＶ演算をして、空間解析装置１７２からのＣＶ映像をＣＶ映像更新装置１８３に取り込み、ＣＶ映像データベース１８４の内容（現地の内容）を更新するか、新規に追加する。更新又は追加されたＣＶ映像データベース１８４により、三次元機械地図装置１７１の内容が更新される。
このように、本実施形態では、地図と現実が一致しない地区を走行する場合と、地図に存在しない地域を走行する場合には、三次元機械地図の元となるＣＶ映像を追加又は更新しながら進むことができる。
【０１２７】
なお、車両の走行にはリアルタイム処理が求められるので、ＣＶ映像を三次元機械地図に変換する必要はなく、ＣＶ映像をそのまま三次元地図として利用することができる。
ＣＶ映像そのものであっても、三次元機械地図の目的は達成することができるので、ＣＶ映像をそのまま三次元機械地図の代わりにすることが可能である。三次元機械地図装置１７１に格納される三次元機械地図は、データ量を極力少なくすることを最大の目的としているのであり、例えば、データ量が問題とならないような場合には、ＣＶ映像を三次元機械地図の代わりとすることは可能である。
【０１２８】
ただし、ＣＶ映像のままでは更新地域が増大するとデータ量が増大するので、ＣＶ映像と三次元機械地図を適宜併用することが好ましい。
このようにして、本実施形態では、地図のないところは地図を作りながら走行することが可能となる。
ＣＶ映像は記録され、後処理で三次元機械地図に変換される。更新情報は通信で他社に伝達することも可能である。
実際には、地図のない地域では地図生成専用の車両を走行させ、地図データの更新には更新専用車両を走行させることが一般的である。
【０１２９】
次に、概略位置評定装置１７３により、ＧＰＳ等を設置した車両概略位置が求められ、現場の概略位置を出力して、それを三次元機械地図装置５０９に送ることで、概略位置の三次元機械地図が次々出力される。
一方、空間解析装置１７２からのリアルタイム映像をＣＶ演算することにより、相対自己位置姿勢評定装置１７４で相対的な自己位置と姿勢が決定される。
ここで、「相対的」とは、緯度経度高度に関する絶対座標を持たないことを意味する。
なお、本実施形態の自動運転装置１７０では、空間解析装置１７２の８個のカメラの視野が重複しているので（図３１参照）、一部視差のある映像を取得することができ、距離長さに関しては相対的ではなく、長さの単位スケールを持つことができる。
【０１３０】
次に、リアルタイム映像と三次元機械地図装置１７１から出力される概略位置近傍の三次元機械地図との比較により、当該車両の、正確には当該車両に積載したそれぞれのカメラの、絶対位置が求められる。
本実施形態では、この三次元機械地図とリアルタイム映像の比較に、端点、直接による単純幾何学図形と指定マーカ図形、統一形状マーカ図形を用いるものとする（図２７参照）。
これにより、三次元機械地図は、端点、直線以外に、案内マーカが登録されていて、中心座標を示していることで、その絶対三次元座標を取得することが可能となる。
すなわち、単純幾何学図形とマーカ図形を一致する地点と姿勢を探し出す作業を自動的に行うことで、カメラのそれぞれの位置を三次元機械地図上で決定できることになる。このようにして当該車両の絶対自己位置と姿勢が求められる。
【０１３１】
ここで、絶対自己位置姿勢評定装置１７５によって絶対自己位置姿勢を精度良く求めるには演算時間もそれなりにかかることから、システムの効率の点を考慮して、本実施形態では、絶対自己位置姿勢評定演算の頻度は、毎秒３０フレームで出力するリアルタイム映像のフレームを間引いて毎秒５フレームとする。
さらに、リアルタイム映像から毎秒５フレームの間欠フレームで、絶対自己位置姿勢を精度良く求め、その中間は毎秒３０フレームのリアルタイム映像を直接ＣＶ演算したＣＶ値（相対自己位置姿勢評定装置１７４の出力）を内挿して求める。あるいは、内挿のための信号にはこれ以外にも、自車両の車速パルス又は加速度計とジャイロの組み合わせ等でも良い。
【０１３２】
対象物認識装置１７８は、長さの単位スケールを持つこの状態のＣＶ映像で処理することが十分可能であるが、本実施形態では、対象物認識を上述したＰＲＭ方式で行うこともできる。なお、ＰＲＭ方式による場合、対象物のデータベースに登録されたパーツを検索するため、後の過程の三次元機械地図により絶対自己位置姿勢評定装置１７５による処理を行った後に、対象物認識を行うことが望ましい。
絶対自己位置姿勢が演算によって求まることで、ＣＶ映像を利用することができ、これによって、対象物を三次元空間で切り取ることが容易になる。
対象物は複数のＣＶ映像のフレームで重複しているが、三次元座標の絶対値が求められていることで、関連する複数のフレームから対象物を切り出して処理することができることになり、精度、認識確度が向上する。
【０１３３】
移動体分離装置１７６においては、ＣＶ映像に多数の特徴点を設定し、それらの特徴点について、静止座標系に属するものと、移動体座標系に属するものとに分離することができる。
移動体位置姿勢評定装置１７７では、移動体座標系に属する特徴点のトラッキングデータと、重複する視野の視差からスケールを求め、移動体の静止座標系に対する位置、速度、加速度、姿勢、方向、角速度、角加速度等を演算で求めることができる。
これは、並進する車両や対向車の速度のみならず、その姿勢や回転角速度等も全て自車両と同様に演算で求めることを意味する。
従って、自車両の速度姿勢のコントロールのための情報としてのみならず、当該情報を記録しておくことで、走行の解析や、自己解析にも極めて有益である。
【０１３４】
移動体認識装置１７９では、移動体位置姿勢評定装置１７７で、移動体のＣＶ値が既知となることで、さらに、ＰＲＭ方式により移動体の候補をデータベースから検索することで、移動体の認識を可能とする。
ここまでで、リアルタイム映像のＣＶ値、自車両の位置と姿勢の絶対値、速度、加速度、回転、進行方向、回転角速度、三次元機械地図における座標値付近の属性部品、対象物認識結果、対向車両、並進車両等の位置と姿勢の絶対値、速度、加速度、回転、進行方向、回転角速度、移動体認識結果、等の情報が取得される。
そして、これらの情報が判断装置１８０に入力され、人工知能により安全走行条件と適性走行条件を満たす自車両の走行条件を決定し、自車両の制御信号に変換される。
【０１３５】
さらには、対向車両、並進車両に対しても、自車両走行条件を送信して、相手車両の走行条件に追加することも可能である。同様に他車両からの信号を通信手段で取得して、自車両の判断装置５１２に反映させることも可能である。
制御装置１８１では、このようにして取得された自車両の制御信号により、自車両の速度、方向、さらには複数のサスペンション、ホイールをそれぞれ独立にコントロールし、あるいはヘッドライト方向をコントロールすることで、実際の車両走行をコントロールすることができる。
また、車両の自動運転・手動運転は、任意に切り替えことが可能で、運転者が同乗している場合もあるので、コントロール信号を可視化して、表示装置１８２に表示することができるようになっている。
【０１３６】
表示装置１８２には、上述した８個のカメラ（図３１参照）からの映像を結合表示することで、サラウンドビュウや、超広角バックモニターを実現している。
この表示装置１８２における表示例を図３２〜図３４に示す。
図３２はサラウンドビュウの表示例、図３３は超広角バックモニターの表示例、図３４はリアルタイムＣＶ映像にＣＧガイドを付加した表示例である。
【０１３７】
以上、本実施形態に係る自動運転装置１７０について説明したが、本実施形態に係る自動運転装置１７０は、上述した構成・動作に限定されるものではなく、種々の追加・変更が可能である。
例えば、三次元機械地図に目的地や通過地をセットすることで、リアルタイム映像の中に、案内ＣＧを表示することができる。また、表示画面上の案内ＣＧを指先等の手段でクリックすると案内の内容が表示され、案内先との通信が可能となる。
また、三次元機械地図又はＣＶ映像を当該表示装置に表示し、予定の基本走行経路を三次元機械地図上に自動又は手動で記載し、その基本走行経路を自動走行し、障害物や交通状況に応じて、進路変更し、経路変更し、速度変更し、障害物を避け、目的地まで到達することができる。
さらに、道路定点の設置されたカメラからの映像を、通信手段を介して受信し、三次元機械地図やＶ映像に座標統合して合成することができ、表示装置１８２を介して、矛盾の無い位置と姿勢の関係で表示することもできる。
【０１３８】
以上、本発明の三次元機械地図と三次元機械地図生成装置、及び三次元機械地図を用いたナビゲーション装置及び自動運転装置について、好ましい実施形態を示して説明したが、本発明は、上述した実施形態にのみ限定されるものではなく、本発明の範囲で種々の変更実施が可能であることは言うまでもない。
例えば、本発明のナビゲーション装置及び自動運転装置は、三次元地図を持つことから、適用する移動体は、地上を走行する車両に限らず、三次元空間を航行するものであっても良い。飛行機でも利用可能であるから、着陸時の精度の高いナビゲーションや自動運転が可能である。ロボットは究極の自動運転でありそのままの利用が可能である。また、宇宙船から見える星や星座を特徴点として、宇宙規模でのナビゲーションや自動運転も可能である。
【産業上の利用可能性】
【０１３９】
本発明は、例えば、自動車に搭載されるカーナビゲーション装置、飛行機に搭載されるナビゲーション装置、危険な箇所での無人自動運転重機、自動運転用のナビゲーション装置、ロボットのナビゲーション装置などに好適なナビゲーション装置として利用することができる。
【図面の簡単な説明】
【０１４０】
【図１】本発明の一実施形態に係る三次元地図生成装置の構成を示すブロック図である。
【図２】本発明の一実施形態に係るナビゲーション装置の構成を示すブロック図である。
【図３】本発明に係る三次元機械地図生成を俯瞰的に示した図である。
【図４】本発明に係る三次元機械地図生成を、画像取得時の車両の目線で示した図である。
【図５】全周映像の一部を平面に投影して遠近法的に表現した図であり、片側二車線の内の右斜線上の車両から撮影したものである。
【図６】全周映像を平面に投影した画像を示す図である。
【図７】図６に示す全周映像について三次元座標を取得した結果を示す図である。
【図８】移動する車両に積載されたカメラから撮影されたリアルタイム映像を示す図である。
【図９】リアルタイム映像と機械地図とのマッチングプロセスを示す図である。
【図１０】三次元機械地図上に、機械が自動的に判断した車両の位置と姿勢に基づく車両の現在位置を三次元機械地図上に示した図である。
【図１１】全周囲カメラで取得した全周映像をメルカトール方により表した図である。
【図１２】リアルタイム映像に、矢印等の案内用のＣＧを合成した一例を示す図である。
【図１３】本発明の三次元機械地図生成装置のＣＶ画像取得部として機能するＣＶ演算部の一実施形態の基本構成を示すブロック図である。
【図１４】図１３に示すＣＶ演算部で使用する全周ビデオ映像を撮影する手段を示す概略図であり、屋根部に全周カメラを搭載した車輌の斜視図である。
【図１５】図１３に示すＣＶ演算部で使用する全周ビデオ映像を撮影する手段を示す概略図であり、（ａ）は屋根部に全周カメラを搭載した車輌の正面図、（ｂ）は同じく平面図である。
【図１６】全周カメラで撮影される映像から得られる変換画像を示す説明図であり、（ａ）は球面画像が貼り付けられる仮想球面を、（ｂ）は仮想球面に貼り付けられた球面画像の一例を、（ｃ）は（ｂ）に示した球面画像をメルカトール図法に従って平面展開した画像を示している。
【図１７】本発明の一実施形態に係るＣＶ演算部における具体的なカメラベクトルの検出方法を示す説明図である。
【図１８】本発明の一実施形態に係るＣＶ演算部における具体的なカメラベクトルの検出方法を示す説明図である。
【図１９】本発明の一実施形態に係るＣＶ演算部における具体的なカメラベクトルの検出方法を示す説明図である。
【図２０】本発明の一実施形態に係るＣＶ演算部によるカメラベクトルの検出方法における望ましい特徴点の指定態様を示す説明図である。
【図２１】本発明の一実施形態に係るＣＶ演算部により得られる特徴点の三次元座標とカメラベクトルの例を示すグラフである。
【図２２】本発明の一実施形態に係るＣＶ演算部により得られる特徴点の三次元座標とカメラベクトルの例を示すグラフである。
【図２３】本発明の一実施形態に係るＣＶデータ演算部により得られる特徴点の三次元座標とカメラベクトルの例を示すグラフである。
【図２４】本発明の一実施形態に係るＣＶ演算部において、カメラから特徴点の距離に応じて複数の特徴点を設定し、複数の演算を繰り返し行う場合を示す説明図である。
【図２５】本発明の一実施形態に係るＣＶデータ演算部求められたカメラベクトルの軌跡をビデオ映像中に表示した場合の図である。
【図２６】本発明の一実施形態に係る自動運転装置の構成を示すブロック図である。
【図２７】本発明の自動運転装置で使用する案内マーカの構成を示すブロック図である。
【図２８】本発明の案内マーカを利用する自動運転装置の構成を示すブロック図である。
【図２９】本発明の他の実施形態に係る自動運転装置の構成を示すブロック図である。
【図３０】本発明の他の実施形態に係る自動運転装置の構成を示すブロック図である。
【図３１】本発明の自動運転装置におけるリアルタイム映像を取得するためのカメラ構成の一例を示す、車両上面から見た模式図である。
【図３２】図３１で示すカメラで取得される映像を結合表示して表示装置に表示した場合の表示例を示す図であり、サラウンドビュウの表示例である。
【図３３】図３１で示すカメラで取得される映像を結合表示して表示装置に表示した場合の表示例を示す図であり、超広角バックモニターの表示例である。
【図３４】図３１で示すカメラで取得される映像を結合表示して表示装置に表示した場合の表示例を示す図であり、リアルタイムＣＶ映像にＣＧガイドを付加した表示例である。
【符号の説明】
【０１４１】
２ ＣＶ演算部
１１０ 三次元機械地図生成装置
１１１ 全周映像撮影装置
１１２ ＣＶ演算装置
１１３ 幾何学的単純図形検出装置
１１４ 三次元座標付加装置
１１５ 属性登録装置
１１６ 三次元機械地図記録装置
１２０ ナビゲーション装置
１２１ 三次元機械地図
１２２ リアルタイム映像
１２３ 比較演算装置
１２４ 位置方向評定出力装置
１２５ 車両制御装置
１２６ 案内表示
【技術分野】
【０００１】
本発明は、自動車、重機、航空機等の移動体の三次元位置を評定し、自動運転、又はアシストするための三次元地図と、その三次元地図生成装置、及びその３次元地図を用いた自動運転装置に関する。
特に、本発明は、走行，航行する移動体の現在位置又は将来位置を三次元空間内に探索して、移動体の進行方向や車両姿勢等を、人間がみて判断するのではなく、機械が判断することにより、移動する移動体の現在状況と将来状況を高精度に判断することができる自動運転装置、及び本願出願人に係るナビゲーション装置（国際公開ＷＯ２００５／０３８４０２）及び新旧映像座標統合装置（特開２００７−１１４９１６号）を含めて、好適な三次元地図とその三次元地図生成装置に関する。
【背景技術】
【０００２】
車両等の移動をナビゲートするナビゲーション装置としては、ＧＰＳ測地衛星を利用したカーナビゲーションシステムが知られている（特許文献１−３参照）。
一般に、車両等の移動をナビゲートするナビゲーション装置の地図としては二次元地図が普及しており、たとえ三次元地図と呼称していても、せいぜいＣＧで表現した町並みを表示する程度のものである。
また、車両等の自動運転を行う場合には、まず、自己位置を精度良く評定する手法を手に入れなければならない。現在、自己位置評定として知られるものはＧＰＳである。
ここで、ＧＰＳナビゲーションシステムで得られる位置精度としては、従来は、電離層における電波の反射や屈折等の影響があり、誤差が５０〜３００メートルというところであった。
【０００３】
近年は、緯度・経度・高度の既知の点を利用して電波到達時間の誤差を計測し、それを修正信号として送信して受信地点の誤差を修正する方法が付加されるようになり、誤差は十数メートル程度まで縮小されるようになった。
但し、車両の制御にはこの程度の精度では不足であり、概略位置が分かる程度であるといえる現在のＧＰＳ精度では、車両を道路の車線内で誘導することはできない。
従って、地図の精度もＧＰＳ精度より多少良いものでも利用上は問題が生じていなかった。
【０００４】
【特許文献１】特開平１１−３０４５１３号
【特許文献２】特開２００１−２５５１５７号
【特許文献３】特開２００２−３５７４３０号
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、このように位置精度の誤差が数十メートルの範囲にある従来のナビゲーションシステムでは、誤差が大きすぎて自動運転には適用できなかった。
なお、自動運転装置の自己位置評定、及び自己姿勢評定は、ナビゲーションにも共通であり、自動運転装置はそのままナビゲーションや運転アシストに応用できることは言うまでもない。従って、以下はその区別を明確にしないで説明することもあるが、自己位置評定、自己姿勢評定は、自動運転・ナビゲーションの両者に共通であるものとして説明する。
【０００６】
例えば、道路上で車線を特定し、車両の自動運転を実現するためには、道路上の車両位置精度を数ｃｍ程度の誤差にまで高める必要があり、この精度は測量の精度に近く、従来のナビゲーションシステムを利用する限り、いかなる方法であっても、数ｃｍの精度で、しかも、リアルタイムに連続的な位置計測をして、それを出力するようなことは不可能であった。
また、自動運転に限らず、例えば、自動車の車庫入れや、航空機の離着陸時、ロボットの作業やナビゲーションなどに用いる場合にも、数ｃｍ程度の位置精度をリアルタイムに取得することが必要であり、このようなナビゲーションシステムは現在まで実現されていない。
【０００７】
そこで、本願発明者は、本願及び特開２００５−２９５４９５号で提案しているように、鋭意研究の結果、前もって三次元地図を用意し、移動体に搭載したカメラで撮影される動画映像と比較することで、カメラ位置と姿勢角を高精度に求めることができ、そのカメラ位置情報により、移動体の三次元位置座標を高精度に表示し得ることに想到した。
すなわち、本発明は、上述した従来の技術が有する課題を解決するために提案されたものであり、本願及び本願出願人に係る上記国際公開ＷＯ２００５／０３８４０２及び特開２００７−１１４９１６号で提案されたナビゲーションのための三次元地図を、人間がみるのではなく、機械が自分の位置と姿勢を判断するための三次元機械地図とすることで、地図のデータ量を減少させ、さらにコンビュータにとって処理しやすくすることで、演算効率を向上させ、より実用的にしたものを三次元機械地図とすることができる三次元地図の生成装置の提供を目的とする。
なお、その原理は、上記国際公開ＷＯ２００５／０３８４０２及び特開２００７−１１４９１６号のナビゲーション装置に共通である。従って、好ましくは、本発明の三次元機械地図は、本願及び上記国際公開ＷＯ２００５／０３８４０２及び特開２００７−１１４９１６号のナビゲーション装置等に利用されることも前提としている。
【課題を解決するための手段】
【０００８】
本発明に係る第一の発明は、三次元機械地図であり、次の特徴を有している。
三次元機械地図は、人間ではなく機械が見るものであり、従来には存在しない全く新しい概念である。機械が見るための地図であるために、人間が見る画像ではなく、機械が見るために都合良く画像処理しておき、この三次元機械地図を用いることで、位置と姿勢、及び周囲との相対関係、目的地、目的対象までの方向を三次元的に確認することができる。
三次元機械地図は、機械が見るためのものであることから、画像よりもデータ量を極力軽くすることができることが特徴である。データ量を軽くすることにより、容易に狭帯域で、三次元機械地図のデータ配信を可能となる。その結果製造コストを極端に低減することができる。従って、本願及び本願出願人の提案に係る上記国際公開ＷＯ２００５／０３８４０２及び特開２００７−１１４９１６号に係る発明の実用性がより高まったことになる。
また、車両に積載したカメラから得られるリアルタイム映像側と三次元機械地図との関係は、できるだけ共通アルゴリズムとし、比較データを同一フォーマットとすることで、三次元機械地図の変更更新部位を即時更新可能とすることができる。
【０００９】
本発明に係る第二の発明は、三次元機械地図生成装置であり、三次元機械地図の作成は安価に、できるだけ自動化（＋指定対象物を手動で付加）で製造可能とすることができる。また、三次元機械地図は、更新においても安価に、容易に、軽作業で、さらには自動で更新可能とすることができる。
また、三次元機械地図へ、道路標示、道路標識、案内版等の座標付加、属性付加することができる。
【００１０】
上記目的を達成するため、本発明では、まず、第一の発明として新しい概念の地図を提案する。
地図という概念は、そもそも人間が見るものであるが、本発明に言う三次元機械地図とは、紙やディスプレイ上で人間が見るものではなく、機械がデータとして読み取って、位置や方向を判断するものである。
従って、機械が処理しやすい形式でなければならない。機械も進化していけば最終的に人間が見るものを人間と同じように見て判断することができるであろうが、機械は人間の視覚情報とは違い、まだまだ未進化であり、機械が見るのに適した特徴有る部分を主として三次元機械地図を生成する。三次元機械地図においては、対象空間を機械的に認識しやすい幾何学的に単純な図形に分解し、その内から都合のよいもののみを選択して、三次元空間を再構成することで、三次元機械地図を構成する。
【００１１】
例えば、直線、直線の端点、Ｌ字コーナー、クロス、直角、円、平行線、面、点の分布等を三次元的に解析して、三次元空間を再構築したものが三次元機械地図である。
また、それら幾何学的に単純化された図形を属性毎に分類することで、機能と利用範囲を広げることができる。
また、三次元機械地図の特徴は機械系と直接結合できることであり、他の位置評定手段、例えばＧＰＳによる位置データ等と直接やりとりし、複数のデータの座標結合等を可能とするという特徴を有する。
【００１２】
第三の発明として、車載した全周囲カメラからの全周映像から、特徴点を自動抽出し、ＣＶ演算して得られるＣＶ映像を用いて、画像処理し、相対座標を取得しながら、画像中の単純幾何学図形を抽出して、その位置座標に配置していく、又は記録していく。あるいは、単純幾何学図形そのものを、その位置座標に配置していく、又は記録していくことで三次元機械地図を生成することができる。さらに、案内マーカを車両走行路近傍に設置し、案内マーカ図形を三次元機械地図上に記しておくことで、単純幾何学図形を取得できない区間や、夜間運転、降雪時運転等でも利用できる三次元機械地図を生成することができる。
この三次元機械地図を車載し、又は配信を受けて車両側で受信し、車載したカメラで撮影したリアルタイム映像と比較するナビゲーション装置及び自動運転装置が実現できる。
【００１３】
ナビゲーション装置は、三次元機械地図とナビゲーション対象となる移動体に備えられたカメラにより得られる現実の映像を、記録媒体を再生して得られる映像的な特徴ある単純幾何学図形から構成される三次元機械地図の三次元座標と比較し、現実の映像と一致する三次元座標上の地点と方向を求め、移動体に備えられたカメラの三次元座標上の位置、速度、加速度、視点方向、３軸回転姿勢、３軸回転速度、３軸回転加速度を含む所定項目のうち、いずれか又はそれらを組み合わせた複数の項目を出力する地点検索ナビゲーション装置とを備える構成としてある。
また、自動運転装置は、三次元機械地図と自動運転の対象となる移動体に備えられたカメラにより得られる現実の映像を、記録媒体を再生して得られる映像的な特徴ある単純幾何学図形から構成される三次元機械地図の三次元座標と比較し、現実の映像と一致する三次元座標上の地点と方向を求め、移動体に備えられたカメラの三次元座標上の位置、速度、加速度、視点方向、３軸回転姿勢、３軸回転速度、３軸回転加速度を含む所定項目のうち、いずれか又はそれらを組み合わせた複数の項目を出力し、その信号により車両の進行方向、速度、停止、発進等をコントロールし、することで自動運転を実現する自動運転装置を構成するとしてある。
さらに、複数のサスペンション、４個の車輪をそれぞれ独立にコントロールをすることで、重心位置、車両傾斜を含めて、より微妙な車両コントロールを可能とする自動運転を実現することができる。
【００１４】
具体的には、本発明の三次元機械地図は、請求項１に記載するように、目的となる三次元空間の一部又は大部分が複数の幾何学的単純図形で置換され、単純化されて再構成された単純化三次元空間データを持ち、それら単純化三次元空間データがコンピュータによって読み取られることで、幾何学的単純図形が前記三次元空間に対応した座標、姿勢、及び／又は属性等の関連データを共に出力する構成としてある。
【００１５】
ここで、幾何学的単純図形とは、点、線分、線分の端点、直角カド、クロス、四角形、円、楕円、等の比較的単純な形状の図形、及びその組み合わせを言う。
これら図形は単体では二次元であったり、三次元であったりするが、三次元空間に配置されているので、三次元機械地図においては、常に三次元座標の中に三次元的に配置させる。
これらは、一般の複雑な形状よりもコンピュータの画像解析技術により、検出、生成、分析、比較等が容易であるので、現実の三次元空間をそのまま映像やＣＧとして持つよりも、データ量は軽くなるという優れた特徴を持つ。
また、後述するように、コンビュータにより生成、更新、比較、記録、再生、その他画像処理においても有利である。
また、後述するように、コンビュータにより検出されやすい図形を、道路上及びその近傍に設置することで、様々な条件下でも自動運転をより確実にすることができる。
さらに、後述するように、前記幾何学単純図形をＣＧ化して座標と共に登録する方法と、ＣＧ化せずに映像のまま切り取って、それを座標と共に登録して三次元機械地図とするとも可能である。
また、上記のようにＣＧ化せずに映像のまま切り取って三次元機械地図とするだけではなく、データ量が増大することに問題がなければ、映像を切り取らずに、ＣＶ映像そのものを三次元地図として利用できることは言うまでもない。機械だけではなく、人間が見るという目的をも含めて、ＣＶ映像で人間が現場を確認する必要が追加されれば、ＣＶ映像そのものを三次元地図とすることも可能である。
【００１６】
現実の三次元空間を前記複数の幾何学的単純図形で置換して再構築するときに、コンビュータによって読み取り、書き込みをしやすくするために、幾何学的単純図形を用いる。登録された幾何学的単純図形をコンピュータで読み取り、それを出力するようにした段階までを三次元機械地図という。
また、現実の三次元空間を前記幾何学的単純図形と見なされる映像の一部分を切り取って、複数の映像の断片を再配置して三次元機械地図を構成し、その後コンビュータによって読み取り、書き込みをしやすくするために、複数の映像断片を登録し、登録された映像断片をコンピュータで読み取り、それを出力するようにした段階までを三次元機械地図という。
幾何学的単純図形と映像断片とは三次元機械地図を構成する要素であり、一般に相互に置き換えが可能であるが、本明細書では、その置き換えができない場合を除いて、特に区別しないで説明する。
【００１７】
三次元機械地図に登録されている幾何学的単純図形は常に三次元空間に配置されている。これは目的の三次元空間の一部を反映したものであり、現実空間の全てが反映されているわけではない。
これはコンビュータが読み取るための地図であり、第一義的に人間が見るものではない。読み取った幾何学的単純図形（単純幾何学図形）は、図形として再現表示するために図形として読み取っても良いし、一義的に人間が見るものではないことから、図形の形状と種類等を示す属性と共に、その座標と姿勢としてのみ読み取っても良い。ここで座標も姿勢も、三次元であり、計６自由度を持ち、現実三次元空間に対応している。
また、これはコンビュータが見た現実空間と言うこともできる。三次元機械地図には現実空間の全ては反映されず、コンピュータによる認識、登録等にとって都合の良いものだけが取り込まれて三次元機械地図に反映されている。
【００１８】
また、本発明の三次元機械地図は、請求項２に記載するように、現実空間から取り出した幾何学的単純図形のみならず、使用目的に合致した対象物を前記幾何学的単純図形として、再構築した単純化三次元データを持ち、目的となる現実の三次元空間を使用目的に合致させて再構築することで、コンピュータで読み取り、或いは書き込むことができて、前記図形の全ての座標、姿勢、及び／又は属性等の関連データを共に出力する構成とすることができる。
【００１９】
このような構成によれば、例えば、任意に生成した請求項１記載の三次元機械地図に加えて、目的別の対象物を幾何学的単純化図形に置換し、前記単純化三次元データとして登録する。
目的に応じて、選択的に図形化する対象は変わるが、どの場合も第一義的にコンビュータによって読み取り、属性と共に出力することは共通である。
【００２０】
また、本発明の三次元機械地図は、請求項３に記載するように、特に、交通を目的とする場合において、交通標識、道路表示、道路幅員、道路案内板等の交通に必要な対象物を幾何学的単純図形として形状分類し、属性情報として、三次元空間に追加して配置する構成とすることができる。
さらに、本発明の三次元機械地図は、請求項４に記載するように、特に自動運転を目的とする場合において、交通標識、道路表示（地物）、道路案内板等の対象物を幾何学的単純図形として形状分類し、その属性情報と共に対象物が存在する三次元空間の座標に追加して配置し、さらに、現実には直接数値表示されていない走行中心線、道路幅員、車線数、道路勾配、回転半径等の自動運転、又は運転アシストに必要な数値属性情報を、車両走行のための三次元空間に対応させて配置する構成とすることができる。
【００２１】
このような構成によれば、特に、本来運転者が読み取る目的で設置された交通標識、道路標識、道路案内坂等を選択的に図形化し、さらに、現実には直接数値表示されていない走行中心線、道路幅員、車線数、道路勾配、回転半径等の自動運転、又は運転アシストに必要な数値属性情報を、自動運転のための三次元地図として利用する三次元機械地図を提供することができる。
ここで、交通標識、道路標識、道路案内坂等はその三次元位置、又は三次元位置と方向の情報として、形状を画像のまま登録してもよいが、そのまま登録しないで、形状分類した属性として登録することも可能である。その場合は対象物の属性として形状の分類が成されているので、対処物は規格化された形状の情報を持っていることになる。
従って、三元空間内に対象物の形状及びその方向を三次元機械地図の中に、形状そのものではなく、属性とその中心座標（代表座標）のみで表現可能である。交通標識、道路標識、道路案内板等は規格化された形状を持つので、形状分類した属性登録の方が、データ処理上は有利である。
一方、属性には対象物の部分映像をも持たせることができるので、対象物の現実映像も一部付加して、目的となる三次元空間を再構築することで、コンピュータで読み取り、あるいは書き込むことができるようにした三次元機械地図を提供することができる。
【００２２】
また、本発明の三次元機械地図生成装置は、請求項５に記載するように、走行中の車両から全周映像を取得する車載全周映像撮影装置と、全周ＣＶ映像（特開２００５−２９５４９５号公報参照）を取得するＣＶ演算装置と、前記全周ＣＶ映像から、幾何学的単純図形を抽出し、選択し、分離し、その位置座標と姿勢を三次元的に求める幾何学的単純図形検出装置と、検出された前記幾何学的単純図形に三次元座標を与える三次元座標付加装置と、検出された前記幾何学的単純図形に属性を与える属性登録装置と、検出された前記幾何学的単純図形から、三次元空間を再構築し、目的に応じた他の情報を付加することで生成される本発明に係る三次元機械地図を記録する三次元機械地図記録装置と、を有する構成としてある。
【００２３】
このような構成からなる本発明の三次元機械地図生成装置によれば、車載全周映像撮影装置は、車両に全周囲カメラを積載し、走行中の車両から全周映像を取得することができる。全周映像でなくても本発明は成立するが、全周映像であることが全方位全俯角仰角に関して均等に情報を取得できるので有利である。
ＣＶ演算装置は、その詳細が本願出願人に係る特開２００５−２９５４９５号に詳細に記載されている。全周映像の中に特徴点を自動抽出し、それを隣接するフレームにトラッキングし、トラッキングデータを解析することで全周ＣＶ映像を取得することができる。このＣＶ演算及びＣＶ演算装置については後述する（図１３〜図２５参照）。
【００２４】
幾何学的単純図形検出装置は、全周ＣＶ映像から、ＣＶ値を頼りに三次元解析することで、幾何学的単純図形を抽出し、選択し、分離し、その位置座標と姿勢を三次元的に求めることができる。また、幾何学的単純図形を自動認識し、トラッキングすることも可能である。
三次元座標付加装置は、前記幾何学的単純図形検出作業と同時に、検出した図形のフレーム間トラッキングにより、前記幾何学単純図形の三次元座標を与えるものである。
属性登録装置は、検出された前記幾何学的単純図形に属性を与えるものである。前もって前記幾何学的単純図形を形状分類しておけば、形状分類が属性情報となる。色が必要であれば色情報が属性情報となる。走行に関する意味があれば意味が属性となる。前記幾何学的単純図形の代表座標をデータとして、その三次元形状を属性情報とすることも可能である。形状が既知であれば、その形状の中心座標を属性とすることができる。ここで属性とは対象に関連する広範囲の意味を持つ。
三次元機械地図記録装置は、検出された前記幾何学的単純図形から、もととなる映像が属する三次元空間に対応する三次元空間をコンピュータ内に再構築することになる。
三次元機械地図記録装置は、再構築された三次元機械地図を記録し、目的に応じて、他の必要な情報を統合することで目的に応じた三次元機械地図を完成させる。
これらを有することを特徴とするものが三次元機械地図生成装置である。
【００２５】
また、本発明のナビゲーション装置は、請求項６に記載するように、本発明に係る三次元機械地図を備えたナビゲーション装置であって、リアルタイム映像から、及び／又は当該ナビゲーション装置で取得された車両のＣＶ値を用いて解析し、映像内の静止物体の位置と姿勢及び、移動する自車以外の車両の位置、姿勢、回転、速度、加速度等の力学的数値を求め、危険回避行動をとることを可能とした構成としてある。
【００２６】
通常、ＣＶ演算は自車両と静止座標系の対象物との運動の関係を６自由度で求めるが、数学的に、また物理的に、自車両と移動する他車両間との間の関係においてもまったく同様であり、数学的に、物理的に、本質的な差はない。
従って、これまでのＣＶ値の定義を、自車両と移動する他車両間との間の関係に拡張することで、まったく同様に二者間の、及び多者間の相対運動を定義できる。これを利用して前記移動体の位置、回転、速度、加速度等を求めることができる。
【００２７】
また、本発明のナビゲーション装置は、請求項７に記載するように、リアルタイム映像の記録、及び／又は当該ナビゲーション装置から得られたＣＶ値の記録から、事故時の自車を含む関連対象物の力学的解析をすることを可能とした構成とすることができる。
このような構成からなる本発明の三次元機械地図生成装置によれば、請求項６では、リアルタイム処理が必要であるため精度において困難さが有るが、ドライブレコーダーのように記録した映像を用いれば、詳細なデータが取得できるので、事故解析には有益である。
【００２８】
また、本発明のナビゲーション装置は、請求項８に記載するように、現実の空間に、及び又はリアルタイム映像に、図１２に示すような、矢印等の案内用のＣＧを合成し、又は／及び音声により、ナビゲーションする構成とすることができる。
このような構成とすることにより、ＣＧや音声によってナビゲーションを実行することができ、より使いやすいナビゲーション装置を提供することができる。
【００２９】
また、本発明のナビゲーション装置は、請求項９に記載するように、リアルタイム映像を前記三次元地図と同様のアルゴリズムで分析し、解析し、単純幾何学図形を抽出し、前記三次元機械地図を更新する構成とすることができる。
このような構成とすることにより、三次元機械地図の更新を、リアルタイム映像で行うことが可能となる。
三次元機械地図は記録映像から生成されるので、更新が必要である。走行しながら、リアルタイム映像と違いがあるときは、同じアルゴリズムとして置くことで、リアルタイム映像から三次元機械地図に部分更新をかけることができる。
【００３０】
また、本発明のナビゲーション装置は、請求項１０に記載するように、取得された自車両の情報を他車両に配信することにより、互いに情報交換することでより安全なナビゲーションを行う構成とすることができる。
本発明に係るナビゲーション装置は、高度な判断を行うナビゲーション装置であるから、判断結果、前記更新情報や進路変更等コマンドを他車両に伝えることで、コミュニケーション走行が可能となる。
【００３１】
さらに、本発明のナビゲーション装置は、請求項１１に記載するように、道路定点に設置されたカメラからの映像を前記三次元機械地図上に、座標統合して、合成して、矛盾無い位置と姿勢の関係で、表示できるようにした構成とすることができる。
このような構成とすることにより、道路定点に設置されているカメラからのリアルタイム映像を、三次元機械地図上に視点を合致させて重ねて表示することで、定点映像がより具体的に理解できることになる。このときに限って、三次元機械地図は見るための映像でもあることになる。
【００３２】
また、本発明の自動運転装置は、請求項１２に記載するように、本が発明に係る三次元機械地図を備えた自動運転装置であって、車両に固定されて設置され、車両周囲の映像を取得する車載カメラ装置と、当該車載カメラから出力するリアルタイム映像を取得するリアルタイム映像生成装置と、当該車両に車載された三次元機械地図と前記リアルタイム映像を比較する比較装置と、当該車両が走行していると予想される地域の範囲で、前記リアルタイム映像内の複数の領域で、一部分の幾何学的成分が前記三次元機械地図の一部分の幾何学成分との対応位置を求めながら、三次元機械地図の視点位置と視点姿勢と視点方向とが近づくように調整し、三次元機械地図の限定された範囲内を探索する再生探索装置と、前記リアルタイム映像の複数部分が前記三次元機械地図の複数部分に一致したときの三次元機械地図の位置座標と、同様に一致したときの回転座標を出力する一致出力装置と、当該車両の走行時のリアルタイム映像の各フレームについて、その位置座標と回転座標を求めることで、前記リアルタイム映像のＣＶ値を取得するＣＶ値取得装置と、当該車両位置と姿勢、速度、加速度、方向、角速度、角加速度等を演算して、リアルタイムで取得する走行情報取得装置と、前記ＣＶ値から、リアルタイム映像内の自車両以外の車両及び障害物等の位置と姿勢、速度、加速度、方向、角速度、角速度等を演算して、リアルタイムで取得する対象物情報取得装置と、当該車両の走行車線と走行速度と走行方向を決定して走行させる自動走行装置とを備える構成としてある。
【００３３】
また、本発明の自動運転装置は、請求項１３に記載するように、自動運転による車両走行時の座標基準とするために、前記前記三次元機械地図を構成する幾何学的単純図形の中から、選択した図形又は画像を案内マーカ図形又は案内マーカ画像を三次元機械地図の三次元空間に対応させた指定案内マーカ図形と、形状が既知である案内マーカを、前もって道路又は道路近傍に適切な密度で設置し、それを前記三次元機械地図生成装置により、三次元機械地図に対応して反映させた案内マーカ図形を三次元機械地図の三次元空間に対応させた統一形状案内マーカ図形と、前記案内マーカ図形の元となる映像の一部画像を、そのまま案内マーカ画像として、三次元機械地図の三次元空間に対応させた案内マーカ画像と、を備え、前記指定案内マーカ図形と統一形状案内マーカの内で図形によるものを案内マーカ図形として属性登録するとともに、画像によるものを案内マーカ画像として属性登録してこれらを組み合わせる構成としてある。
【００３４】
また、本発明の自動運転装置は、請求項１４に記載するように、前記車載カメラによる道路及び道路近傍のリアルタイム映像内に写っている案内マーカ映像を検出する案内マーカ検出装置と、検出された前記案内マーカ映像と三次元機械地図上の案内マーカ図形とを対応させる案内マーカ地図対応装置と、前記案内マーカ地図対応装置により、対応した複数の案内マーカ図形が持っているそれぞれの座標から、当該車両の座標と姿勢を演算で求める車両ＣＶ値取得装置と、当該車両の進行に応じて、次々と新しく現れる案内マーカの座標を前記三次元機械地図上の新しい案内マーカ図形の座標を読み取るマーカ座標読み取り装置と、前記座標を予想位置として前記座標付近をリアルタイム映像内に検索して、前記案内マーカ地図対応装置で、新しい案内マーカ映像と新しい案内マーカ図形とを対応させ、対応の取れた複数の案内マーカ図形が属性として持つ座標から、前記車両ＣＶ値取得装置により、前位置より先に進行した車両の座標と姿勢を演算で求める作業を連続的に続ける繰り返し演算装置と、繰り返し作業による車両位置と姿勢を連続的に出力することで、常に車両位置を安定的に検出し続ける出力装置と、を備え、車両の座標と姿勢を取得しながら進行させる構成としてある。
【００３５】
また、本発明の自動運転装置は、請求項１５に記載するように、当該車両に積載したリアルタイム映像の記録、及び／又は当該自動運転装置から得られたＣＶ値の記録に基づいて、事故等の特殊な時点において、当該車両を含む関連対象物それぞれの、及びそれらの関係についての力学的解析を行う構成としてある。
さらに、本発明の自動運転装置は、請求項１６に記載するように、リアルタイム映像を前記三次元機械地図と同様のアルゴリズムで分析及び解析して、単純幾何学図形を抽出し、前記三次元機械地図を更新する構成としてある。
【００３６】
以上のような構成からなる本発明の自動運転装置では、先ず車両に設置されたカメラによるリアルタイム映像を解析することで得られるＣＶ値を取得する。これのみでは絶対値に関しては精度が低いが、相対値においては高精度なＣＶ値を取得することができる。
さらに、当該車両に設置された計測機器のデータを追加することで、それらの双方を用いることでさらに精度を向上させ、絶対精度も付加したＣＶ値を取得できる。
このようにして取得されたＣＶ値を解析して、当該車両の三次元的位置、速度、加速度、回転姿勢、回転速度、回転角速度等を取得することができる。
また、ＣＶ値を解析して、当該車両の周囲にあって走行に係わる静止物体の位置と概略形状を取得することができる。
さらに、ＣＶ値を解析して、当該車両以外の移動体の概略形状、三次元的位置、姿勢、回転速度、速度、回転速度、加速度、回転角速度等を取得することができる。
これらリアルタイム映像から取得されたＣＶ値を元として、当該車両を最適化制御し、安全運行を保持することができる自動運転装置を実現することができる。
【００３７】
このようにして、本発明の自動運転装置によれば、車両等に設置されたカメラによるリアルタイム映像を直接解析することで得られたＣＶ値により、さらに当該車両に設置されたＧＰＳ、鉛直計、ＩＭＵ、ジャイロ等の計測機器のデータを追加して精度を上げることができる。また、ＣＶ値と追加された計測機器データを解析して、より高精度のＣＶ値を得ることができる。
そして、高精度のＣＶ値により、高精度の当該車両の三次元的位置、速度、加速度、回転姿勢、回転速度、回転角速度等を取得し、また、ＣＶ値と追加された計測機器データを解析して、当該車両の周囲にあって走行に係わる静止物体の位置と概略形状を取得し、さらに、ＣＶ値と追加された前記計測機器データを解析して、当該車両以外の移動体の概略形状、三次元的位置、姿勢、回転速度、速度、回転速度、加速度、回転角速度等を取得する。
そして、これら取得された各種物理的力学的データを元にして、当該車両を最適化制御し、安全運行を保持することができる。
なお、生成された制御信号により当該車両を実際に制御する方法（自動運転方法）は既知の技術により実現できるので、詳細な説明は省略する。
【００３８】
ここで、ＣＶ値は移動するカメラから出力される映像全てに定義されるものであり、三次元機械地図生成時に取得した全周映像に対して定義されているが、この場合は、自動運転装置に設置されたリアルタイム映像に定義されるＣＶ値であり、リアルタイム演算されたＣＶ値である。
また、ＣＶ値は最初に定義した全周映像による特徴点抽出、特徴点トラッキング、ＣＶ演算という流れによらずに、広義なＣＶ値として、後述するように例えば三次元機械地図とリアルタイム映像とのマッチングから、算出されるような場合であっても、カメラ位置（車両位置）と姿勢を表記する場合全てに対して定義されるものとする。
【００３９】
上述したように、ＣＶ演算は自車両と静止座標系の対象物との運動の関係を６自由度で求めるが、数学的に、また物理的に、自車両と移動する他車両間との間の関係においてもまったく同様であり、数学的に、物理的に、本質的な差はない。
従って、これまでのＣＶ値の定義を、自車両と移動する他車両間との間の関係に拡張することで、まったく同様に二者間の、及び多者間の相対運動を定義できる。これを利用して前記移動体の位置、回転、速度、加速度等を求めることができ、これらの信号を使って車両を安全にコントロールすることができるようになる。
【００４０】
また、本発明の自動運転装置は、リアルタイム映像の記録、及び当該自動運転装置から得られたＣＶ値の記録を残しておくことで、事故時の自車を含む関連対象物の位置関係解析と力学的解析をする構成とすることができる。
リアルタイム処理は、精度において困難さが有るが、ドライブレコーダーのように記録した映像を用いれば、精度の高い詳細なデータが取得できるので、事故解析には有益である。
【００４１】
また、本発明のナビゲーション装置は、現実の空間に、及び又はリアルタイム映像に、矢印等の案内用のＣＧを合成し（図１２参照）、又は／及び音声により、ナビゲーションする構成とすることができる。
このような構成とすることにより、ＣＧや音声によってナビゲーションを実行することができ、より使いやすいナビゲーション装置を提供することができる。
【００４２】
また、本発明の自動運転装置は、リアルタイム映像を前記三次元地図と同様のアルゴリズムで分析し、解析し、単純幾何学図形を抽出し、前記三次元機械地図との違いを検出し、違いが有れば前記三次元地図を更新する構成とすることができる。
このような構成とすることにより、三次元機械地図の更新を、リアルタイム映像で行うことが可能となる。
三次元機械地図は記録映像から生成されるので、更新が必要である。走行しながら、リアルタイム映像と違いがあるときは、同じアルゴリズムとして置くことで、リアルタイム映像から三次元機械地図に部分更新をかけることができる。
三次元機械地図は単純幾何学図形により構成することができるが、その場合には、元となる映像の中に単純幾何学図形の元となる画像断片がなければならない。ところが、画像断片の中に単純幾何学図形の元となる映像が無い場合も存在する。
そこで、本発明では、リアルタイム映像を三次元地図と同様のアルゴリズムで分析し、解析し、単純幾何学図形を抽出するようにしてある。
【００４３】
また、本発明の自動運転装置は、取得された自車両の情報を他車両に配信することにより、互いに情報交換することでより安全な自動運転を行う構成とすることができる。
本発明に係る自動運転装置は、高度な判断と制御を行うナビゲーション装置でもあることから、判断結果、前記更新情報や進路変更等コマンドを他車両に伝えることで、コミュニケーション走行が可能となる。
【００４４】
さらに、本発明の自動運転装置は、道路定点に設置されたカメラからの映像を前記三次元機械地図上に、座標統合して、合成して、矛盾無い位置と姿勢の関係で、取り込むことができる構成とすることができる。
このような構成とすることにより、道路定点に設置されているカメラからのリアルタイム映像を単純幾何学図形に分解して、三次元機械地図上に視点を合致させて重ねて取り込むことで、定点映像がより具体的に理解できることになる。
【００４５】
なお、以上のような本発明は、本願発明者の提案による全周画像によるＣＶ画像技術（特開２００５−２９５４９５号）を利用するものである。
本発明の元となっているＣＶ演算及びＣＶ値（特開２００５−２９５４９５号）は、全周カメラによる動画像の球面画像から生まれた。動画像を球面画像として扱うことで焦点距離及び光軸の概念から解放され、動画像を視覚に適したかたちで二次元面を持ったまま、古典的な三角測量の原理に戻って三次元化し、簡単に取り扱うことができるようになった。さらに動画像における単純化されたＣＶ値基準の概念の導入により、動画像処理が面のまま単純化されて三次元化し、動画像の領域分割及びそのトラッキングが容易となり、しかも高精度となったことで一気に進展した。
【発明の効果】
【００４６】
本発明の三次元機械地図、三次元機械地図生成装置、ナビゲーション装置及び自動運転装置によれば、自動車、重機、航空機等の移動体の三次元位置を評定したり、移動体の進行方向や現在状況等をガイドするための三次元地図と、その三次元地図生成装置において、走行，航行する移動体の現在位置又は将来位置を三次元空間内に探索して、移動体の進行方向や車両姿勢等を、人間がみて判断するのではなく、機械が判断することにより、移動する移動体の現在状況と将来状況を高精度に判断することができる、
【発明を実施するための最良の形態】
【００４７】
以下、本発明に係る三次元機械地図と、三次元機械地図生成装置、及び三次元機械地図を備えたナビゲーション装置及び自動運転装置の好ましい実施形態について、図面を参照しつつ説明する。
ここで、以下に示す本発明の三次元機械地図生成装置やナビゲーション装置、自動運転装置、その他の装置は、いずれもプログラム（ソフトウェア）の命令によりコンピュータで実行される処理，手段，機能によって実現される。プログラムは、コンピュータの各構成要素に指令を送り、以下に示すような所定の処理や機能、例えば、映像中からの基準点や特徴点の自動抽出，抽出した基準点の自動追跡，基準点の三次元座標の算出，ＣＶ（カメラベクトル）値の演算等を行わせる。
このように、本発明における各処理や手段は、プログラムとコンピュータとが協働した具体的手段によって実現される。
なお、プログラムの全部又は一部は、例えば、磁気ディスク，光ディスク，半導体メモリ，その他任意のコンピュータで読取り可能な記録媒体により提供され、記録媒体から読み出されたプログラムがコンピュータにインストールされて実行される。また、プログラムは、記録媒体を介さず、通信回線を通じて直接にコンピュータにロードし実行することもできる。
【００４８】
以下、本発明の一実施形態として、全周映像からＣＶ演算を用いて画像処理し、三次元機械地図を生成し、車載の通常ビデオカメラによる通常の広角映像（全周映像ではない）と前記装置で生成した三次元機械地図を用いて、上記国際公開ＷＯ２００５／０３８４０２及び特開２００７−１１４９１６号に係るナビゲーション装置や自動運転装置を実現する場合を示す。
【００４９】
［三次元機械地図］
まず、全周映像から三次元機械地図を生成する実施形態を示す。
機械地図とリアルタイム映像側の目標は以下の通りである。
○三次元機械地図側の目標
・三次元機械地図は、人間ではなく機械が見るもの。→機械が位置と姿勢及び周囲との相対関係、目的までの方向を三次元的に確認する。
・三次元機械地図のデータ量を極力軽くする。（地図データ配信を可能とする）
・三次元機械地図の作成は、ＣＶ映像データベースから生成することで、安価に、できるだけ自動化する（＋指定対象物を手動で付加）。
・三次元機械地図の更新は安価に、容易に、軽作業で、さらには自動で行う。
・三次元機械地図へ道路標示、道路標識、案内版等の座標付加、属性付加を行う。
・リアルタイム映像側と三次元機械地図とを、できるだけ共通アルゴリズムとし、変更更新部位を即時更新可能とする。（目標）
【００５０】
○取得したリアルタイム映像側の目標
・車両からの実像、又は全周映像ではない、通常の広角カメラによるリアルタイム映像を用いて、その映像内に案内指示ＣＧを合成して案内表示する。
・三次元機械地図及びリアルタイム映像にタグを貼り付け、メモ付加機能とする。
・三次元機械地図とリアルタイム映像解析による危険回避行動機能付加。（目標）
・車両走行記録、及び記録解析。（車両ＣＶ値記録、及び記録解析）
・車両走行記録解析データによる事故解析。
・車両走行記録解析データによる三次元機械地図の更新。
・更新データの自動配信により、他車両とのデータ共有。
・道路定点カメラからの情報取得。
【００５１】
［三次元地図生成装置］
以下、本発明に係る三次元機械地図を生成する三次元地図生成装置の一実施形態について、図１を参照して説明する。
図１は、本発明の一実施形態に係る三次元地図生成装置１１０の構成を示すブロック図である。
三次元機械地図を生成するには、車載全周映像撮影装置１１１により、車両に全周囲カメラを積載し、走行中の車両から全周映像（図５参照）を取得することができる。
取得した全周映像はメルカトール（図１１参照）であるが、その一部を平面に投影して遠近法的に表現したものが図５である。撮影位置説明のための例としての図５は、片側二車線の内の右車線上の車両から撮影したものであることが後に意味を持つ。
【００５２】
なお、全周映像でなくても本発明は成立するが、全周映像であることが全方位全俯角仰角に関して均等に情報を取得できるので有利である。
また、位置情報を取得するためにＧＰＳやＩＭＵ、ジャイロ等を積載することで、概略位置と概略姿勢が既知となるため、後の処理が楽になる。但し、校正する精度の高い地図が存在すれば、原理的にＧＰＳやＩＭＵ、ジャイロ等は無くても良いものである。
また製造の初期工程において、概略位置を知っておくことは演算上も有利であることから、これらＧＰＳやＩＭＵ、ジャイロ等を同時積載してデータを取得することが望ましい。
また、後の処理において鉛直が重要な情報となるので鉛直計を積載して置くことが望ましい。
【００５３】
ＣＶ演算装置１１２は、その詳細が本願出願人に係る上記特開２００５−２９５４９５号に詳細に記載されているが、全周映像の中に特徴点を自動抽出し、それを隣接する複数フレームにトラッキングし、カメラ移動のベースとトラッキング点で校正する三角形を構成し、そのトラッキングデータを解析することで、特徴点の三次元座標と、カメラ位置と姿勢を持つ全周ＣＶ映像を取得することができる。ＣＶ値とは、カメラの位置と姿勢を６自由度で表現したものである。
即ち、全フレームについてｘ，ｙ，ｚ，θx，θy，θz，の６自由度のそれぞれの係数を演算で決定することになる。
なお、ＣＶ演算及びＣＶ演算装置については後で更に詳述する（図１３〜図２５参照）。
【００５４】
幾何学的単純図形検出装置１１３は、全周ＣＶ映像から、ＣＶ値を基として座標を絞り込み、三次元解析することで、幾何学的単純図形を抽出し、選択し、分離し、その位置座標と姿勢を三次元的に求めることができる。
ここで、幾何学的単純図形とは、点、線、端点、面、直角カド、円、円弧等であるが、この実施例では、点、線、端点を検出している。
例えば、昼間の映像からは、道路標示の白線、ビルの縁、窓枠等から、直線と直線の端点を主として抽出するが、夜間の映像からは街灯やビル内のライトから、点を主として抽出することになる。
従って、前記幾何学的単純図形として、点と線と端点を同時に再構成することで、昼夜とも三次元機械地図として利用できることになる。
【００５５】
三次元座標付加装置１１４は、幾何学的単純図形検出作業（図６参照）と同時に検出した図形のトラッキングデータから、上記ＣＶ演算と同じ原理で、その三次元位置と姿勢を検出し、その三次元座標（図７参照）を与えるものである。
図６は、全周映像を平面に投影した画像であり、そこに幾何学的単純図形として、直線と直線の端点を自動検出したものである。自動検出した前記幾何学的単純図形を隣接する複数のフレームにトラッキングすることで、その三次元座標を取得したものが図７である。これは既に三次元機械地図の一部である。
また、ＣＶ演算で得られる座標は相対座標であるので、地図上の既知のデータや高精度のＧＰＳのデータから、後処理で絶対座標を付加することになる。
【００５６】
属性登録装置１１５は、検出された幾何学的単純図形に属性を与えるものである。
本実施形態では、本願出願人に係るＰＲＭ認識（米国特許６６１４９３２，国際公開ＷＯ０２／０１５０５）技術により、前もって用意したパタンとの比較により、認識し、前記幾何学的単純図形を形状分類しておけば、形状分類が属性情報となる。色が必要であれば色情報が属性情報となる。
また、交通標識等、道路交通に必要な対象物も、上記ＰＲＭ技術により、認識して、その属性を登録することができる。
ここでは、線と端点を属性として登録（図７参照）している。幾何学的単純図形の代表座標をデータとして、その三次元形状を属性情報とすることも可能である。ここで属性とは広範囲の意味を持つ。
【００５７】
ＰＲＭとは、Parts Reconstruction Method（３Ｄ対象物認識方法）の略であり、本願発明者により開発された対象物を認識するための技術である（国際公開ＷＯ０２／０１５０５参照）。
具体的には、ＰＲＭ技術は、前もって予想される対象物の形状と属性を部品（オペレータ部品）としてすべて用意しておき、それら部品と現実の実写映像を対比して、一致する部品を選択して対象物を認識する技術である。例えば、走行車輌等に必要となる対象物の「部品」は、道路標示としての車線、白線、黄線、横断道、道路標識としての速度標識、案内標識などであり、これらは定形のものであるので、ＰＲＭ技術によりその認識は容易に行える。また、対象物をＣＶ映像中に検索する場合においても、その対象物の存在する予想三次元空間を狭い範囲に限定することが可能となり、認識の効率化が可能となる。
【００５８】
例えば、信号機であれば、その三次元形状を取得しただけでは「検出」であり、座標と姿勢まで分かれば「特定」であるが、信号機という名称が分かり、３個のライトが赤青黄に変化し、それぞれの交通上の意味を理解しているときに、属性を理解（認識）したということができる。
なお、ＰＲＭ認識によって、あらゆる監視対象物（予測される対象物、障害物、不審物等）が認識されるとは限らない。すなわち、記憶となるデータベースに情報が存在しない対象物は認識できない。しかし、これは特に問題となるものではない。人間であっても記憶にないものは認識できないのと同様である。認識とはそのもの、あるいは、そのものに近いものの記憶との対比によって得られるものであるからである。
【００５９】
三次元機械地図記録装置１１５は、検出された前記幾何学的単純図形から、元となる三次元空間に対応する三次元空間を再構築（図３、図４参照）することになる。
これは既に三次元機械地図であるが、三次元機械地図記録装置１１５では、これから再構築された三次元機械地図を利用するフォーマットに従って記録し、目的に応じて、他の必要な情報を統合することで目的に応じた三次元機械地図を完成させる。
これらを有することを特徴とするものが三次元機械地図生成装置である。
図３は、三次元機械地図を俯瞰的に表現したものであり、図４は、画像取得時の車両目線で表現したものである。三次元機械地図を視覚的に表現すると、一方向からのみ見ることになるが、本来三次元機械地図は機械（コンピュータ）が判断するものであり、全方向、及び全ての視点に変換可能なデータを持っている。
【００６０】
また、以上のような三次元地図を備えることで、後述する本発明に係るナビゲーション装置（図２参照）は、記録媒体に記録される情報が、移動体から観察される範囲における映像的な幾何学的単純特徴図形の種類とその三次元座標と、映像的な幾何学的単純特徴図形を含む小領域の二次元画像の三次元配置とその三次元座標と、映像的な幾何学的単純特徴図形を含む対象物の形状とその三次元座標と、映像的な特徴点以外の移動体の移動に必要な周辺画像，ＣＧ等の形状と三次元座標と、移動体が移動する道路，車両走行路，又は予定航路等の画像，ＣＧとその三次元形状及びその三次元座標とを含み、これら各情報は、いずれか又はそれらの組み合わせ又はそれら全部、又はそれらの属性情報を含んで、三次元機械地図とともに記録される。
【００６１】
以上のような本実施形態に係る三次元地図生成装置１１０によって生成された三次元機械地図とは、例えば図３、図４に示すようなものである。
但し、三次元機械地図は人間が見るためのものではないので、ここに示したものは、敢えて目に見える形式に表現したものであり、実際には、このように目に見える形式にして利用するものではない。
【００６２】
［ナビゲーション装置］
次に、上述した三次元機械地図を利用した本発明のナビゲーション装置の一実施形態について、本願出願人に係る上記国際公開ＷＯ２００５／０３８４０２及び特開２００７−１１４９１６号で提案された方法に従って、図２を参照しつつ説明する。
同図に示すように、本実施形態に係るナビゲーション装置１２０は、上述した三次元機械地図１２１（図３、図４参照）と、移動する車両に積載されたカメラからのリアルタイム映像１２２（図８参照）とを、比較演算装置１２３において比較する。
これによって、機械が自動的に車両の位置と姿勢を判断し（図９参照）、位置方向評定出力装置１２４で現在位置を三次元機械地図上に特定し（図１０参照）、これによって、ナビゲーション装置を実現している。
【００６３】
図８は、移動する車両に積載されたカメラからのリアルタイム映像であり、このリアルタイム映像が三次元機械地図と比較されることになる。
ここで、図８に示す三次元機械地図を作成するための映像は右車線であったが、例として示したリアルタイム映像は左車線であることが重要である。
三次元機械地図取得時の車線とは関係なく、リアルタイム映像の撮影位置が自由に選択されていることが重要である。
【００６４】
機械が自動的に車両の位置と姿勢を判断し、位置と方向を評定する状況を図９に示す。
図９では、始めに三次元機械地図をリアルタイム映像に投影する。
次に三次元機械地図の横ラインと映像のエッジ成分を合わせる。
調整された三次元機械地図とリアルタイム映像上で、次に三次元機械地図の縦ラインと映像のエッジ成分を合わせる。
この作業を繰り返し、三次元機械地図とリアルタイム映像の一致点を求めることで、一致した三次元機械地図の座標から、現在位置と姿勢を取得する。
図１０には、連続するフレームについて、実際に位置と姿勢を評定した結果を、三次元機械地図内に視覚的に示してある。但し、実際はコンビュータ内部のデータ処理としてなされていて目に見えるわけでない。
【００６５】
車両制御装置１２５では、画像処理技術を用いて、移動体の移動経路について予め三次元機械地図に登録しておき、その三次元機械地図と、現実の移動体に積載されたカメラによるリアルタイム映像とを、三次元機械地図と対比することにより、移動体のカメラ位置を示す三次元座標をＧＰＳシステムより高精度に案内することができる。
また、自車両のみならず、映像内に写り込んでいる他車両についても、その中に特徴点を抽出し、トラッキングすることで、その他車両の位置、速度、加速度、姿勢までも計測でき、移動体の回転姿勢をも取得でき、これを用いて、車両の衝突回避、危険回避等の制御が可能となる。
【００６６】
また、車両制御装置１２５は、リアルタイム映像を解析し、三次元機械地図とＣＶ演算とにより、ＣＶ値を求め、ＣＶ値を解析して、自車両の位置、回転姿勢、加速度、速度、及び、映像中の他の車両の位置、回転、加速度、速度を求め、自動危機回避操作をとることができる。
さらに、不幸にも事故が起こってしまったときには、記録された車載カメラの映像から、自車両のみ成らず、映像内の事故に関係する車両の全ての位置、回転、加速度、速度を求めることができることになる。
【００６７】
以上のように、本実施形態のナビゲーション装置１２０は、車載したカメラから撮影したリアルタイム映像と車載した三次元機械地図とをコンピュータによって比較し、現実空間との対応を求め、その対応関係から車載したカメラの三次元位置と姿勢を演算で求め、車両位置と姿勢を決定することで行う三次元機械地図を備えるナビゲーション装置を実現している。
【００６８】
ここで、リアルタイム映像としては、敢えて全周映像ではなく、通常の広角カメラ一個を用いてリアルタイム映像を得るものとした。性能と精度から判断すれば、全周囲カメラによる全周囲ビデオ映像の方が優れていることは明らかである。但し、産業として普及させるには、特殊用途を除き、安価な通常カメラと通常の広角映像を用いるものとして本実施形態で採用している。
また、せっかくリアルタイム映像を用いることから、これを見るための映像としても利用し、このリアルタイム映像上に案内ＣＧを表示し（案内表示１２６）、あるいは、情報タグを貼り付け、情報タグに情報を入力し、又は記録し、呼び出すことがきる。
図１２に、映像上に案内ＣＧを表示した一例を示す。
三次元機械地図は機械が見るためのものであるが、これは明らかに人間が見るためのものである。
以上、本実施形態のナビゲーション装置の一例を示したが、本発明に係るナビゲーション装置は上記実施形態のみに限定されるものではない。
【００６９】
［ＣＶ演算］
次に、以上のような本発明の三次元機械地図生成装置における三次元機械地図の生成処理の前提となるＣＶ演算について図１３〜図２５を参照しつつ説明する。
ＣＶ演算とはＣＶ値を求める方法の一つであり、ＣＶ演算により求められた結果をＣＶ値，ＣＶデータと呼ぶ。ＣＶという表記は、カメラベクトル：CameraVectorの略記であり、カメラベクトル（ＣＶ）とは計測等のために映像を取得するビデオカメラ等のカメラの三次元位置と３軸回転姿勢を示す値である。
ＣＶ演算は、動画像（ビデオ映像）を取得し、その映像内の特徴点を検出し、それを隣接する複数のフレームに追跡し、カメラ位置と特徴点の追跡軌跡とが作る三角形を画像内に数多く生成し、その三角形を解析することで、カメラの三次元位置とカメラの３軸回転姿勢を求めるものである。
【００７０】
ＣＶ演算では、ＣＶ値を求める過程で、同時に映像内の特徴点（基準点）についても三次元座標が同時に求まることが重要な特性である。
また、動画像から演算で求められるＣＶ値は、動画像の各フレームに対応して、三次元のカメラ位置と三次元のカメラ姿勢とが同時に求まる。しかも、原理的には一台のカメラで、映像と対応してＣＶ値が求められる特性は、ＣＶ演算でしか実現し得ない、優れた特徴である。
但し、ＣＶ値は、例えば、他の方法による計測手段（ＧＰＳとジャイロ、又はＩＭＵ等）より求めることもできる。従って、ＣＶ値の取得はＣＶ演算による場合には限られない。
なお、ＧＰＳとジャイロ、又はＩＭＵ等によりＣＶ値を取得する場合には、動画像の各フレームと、その三次元的カメラ位置と三次元的カメラ姿勢とを同時に取得するためには画像フレームと計測サンプリング時刻を高精度で、かつ完全に同期させる必要がある。
【００７１】
動画像から演算で求められるＣＶデータは、加工しない段階では相対値であるが、短区間であれば高精度で三次元位置情報と３軸回転の角度情報を取得できる。
また、ＣＶデータを画像から取得する場合は、取得されたデータは相対値であり、絶対値に変換するには既知の地点でのキャリブレーションが必要であるが、ＣＶ値と同時に取得される特徴点三次元位置座標と姿勢により、又は新たに画像内に指定して取得した特徴点により、画像内の任意の対象物との位置関係を計測することができるという、他の方法では実現困難な優れた特性を備える。
また、画像に対応したＣＶ値が求まるので、画像との相性が良く、画像から取得したＣＶ値である限り、その画像内では矛盾が無いので、画像以外から求めるＣＶ値と比較して、画像から直接にカメラ位置とその３軸回転姿勢を求めることができるＣＶ演算は画像内計測や画像内測量に好適となる。
そして、本発明では、このＣＶ演算により得られたＣＶ値データに基づいて三次元機械地図を生成するものである。
【００７２】
［ＣＶ演算部］
ＣＶ演算は、上述した三次元機械地図生成装置１１０のＣＶ演算装置１１２（図１参照）として機能する、図１３に示すＣＶ演算部２で行われる。
ＣＶ演算部２は、図１３に示すように、全周ビデオ映像部１から入力されるビデオ映像について所定のＣＶ演算処理を行うことでＣＶ値を求めるようになっており、具体的には、特徴点抽出部２-１と、特徴点対応処理部２-２と、カメラベクトル演算部２-３と、誤差最小化部２-４と、三次元情報追跡部２-５と、高精度カメラベクトル演算部２-６とを備えている。
【００７３】
まず、ＣＶ演算に使用する映像としては、原理的にはどのような映像でもよいが、画角の限られた映像では視点方向を移動した場合に映像がとぎれてしまうので、実用的には全周映像（図１４〜図１６参照）か、広角映像を全周映像の一部として扱うことが望ましい。なお、動画映像は連続する静止画と同様であり、複数の静止画として扱うことができる。
また、映像は、一般には予め記録した動画映像を使うことになるが、自動車等の移動体の移動に合わせてリアルタイムに取り込んだ映像を使用することも勿論可能である。
【００７４】
そこで、本実施形態では、ＣＶ演算に使用する映像として、車輌等の移動体の３６０度の全周囲を撮影した全周映像（図１４〜図１６参照）か、又は全周映像に近い広角映像を用いて、その全周映像を視点方向に平面展開することにより、全周映像の一部として扱うことができる。
全周映像の平面展開とは、全周映像を、通常の画像として遠近法的に表現するものである。ここで、「遠近法」と呼称するのは、全周画像のそのものはメルカトール図法や球面投影図法のように、遠近法とは異なる方法で表示されているので（図１６参照）、これを例えば等距離図法のように平面展開表示することで、通常の遠近法映像に変換表示できるからである。
【００７５】
全周ビデオ映像部１において全周映像を生成するには、まず、図１４及び図１５に示すように、全周ビデオカメラ１-１を使用して、ＣＶ値データを取得する目的で、走行車輌等の移動体１-１ａに固定された全周ビデオカメラ１-１で、移動体１-１ａの移動とともに移動体周辺を撮影する。
なお、移動体１-１ａには、その位置座標を取得する目的で、例えば、絶対座標を取得するＧＰＳ機器単独やＩＭＵ機器を付加したもの等により構成した位置計測機器等を備えることができる。
また、移動体１-１ａに搭載される全周ビデオカメラ１-１としては、広範囲映像を撮影，取得するカメラであればどのような構成であってもよく、例えば、広角レンズや魚眼レンズ付きカメラ、移動カメラ、固定カメラ、複数のカメラを固定したカメラ、３６０度周囲に回転可能なカメラ等がある。本実施形態では、図１４及び図１５に示すように、車輌に複数のカメラが一体的に固定され、移動体１-１ａの移動に伴って広範囲映像を撮影する全周ビデオカメラ１-１を使用している。
【００７６】
そして、以上のような全周ビデオカメラ１-１によれば、図１５に示すように、移動体１-１ａの天井部に設置されることで、カメラの３６０度全周囲の映像を複数のカメラで同時に撮影することができ、移動体１-１ａが移動することで、広範囲映像を動画データとして取得できる。
ここで、全周ビデオカメラ１-１は、カメラの全周映像を直接取得できるビデオカメラであるが、カメラの全周囲の半分以上を映像として取得できれば全周映像として使用できる。
また、画角が制限された通常のカメラの場合でも、ＣＶ演算の精度としては低下するが、全周映像の一部分として取り扱うことが可能である。
【００７７】
なお、全周ビデオカメラ１-１で撮影された広範囲映像は、一枚の画像として、撮影時の画角に一致する仮想球面に貼り付けることができる。
仮想球面に貼り付けられた球面画像データは、仮想球面に貼り付けた状態の球面画像（３６０度画像）データとして保存・出力される。仮想球面は、広範囲映像を取得するカメラ部を中心点とした任意の球面状に設定することができる。
図１６（ａ）は球面画像が貼り付けられる仮想球面の外観イメージであり、同図（ｂ）は仮想球面に貼り付けられた球面画像の一例である。また、同図（ｃ）は、（ｂ）の球面画像をメルカトール図法に従って平面展開した画像例を示す。
【００７８】
そして、以上のように生成・取得された全周ビデオ映像が、ＣＶ演算部２に入力されてＣＶ値データが求められる（図１３参照）。
ＣＶ演算部２では、まず、特徴点抽出部２-１が、全周ビデオ映像部１の全周ビデオカメラ１-１で撮影されて一時記録された動画像データの中から、十分な数の特徴点（基準点）を自動抽出する。
特徴点対応処理部２-２は、自動抽出された特徴点を、各フレーム間で各フレーム画像内において自動的に追跡することで、その対応関係を自動的に求める。
カメラベクトル演算部２-３は、対応関係が求められた特徴点の三次元位置座標から各フレーム画像に対応したカメラベクトルを演算で自動的に求める。
誤差最小化部２-４は、複数のカメラ位置の重複演算により、各カメラベクトルの解の分布が最小になるように統計処理し、誤差の最小化処理を施したカメラ位置方向を自動的に決定する。
【００７９】
三次元情報追跡部２-５は、カメラベクトル演算部２-３で得られたカメラベクトルを概略のカメラベクトルと位置づけ、その後のプロセスで順次画像の一部として得られる三次元情報に基づいて、複数のフレーム画像に含まれる部分的三次元情報を隣接するフレームの画像に沿って自動追跡を行う。ここで、三次元情報（三次元形状）とは、主に特徴点の三次元分布情報であり、すなわち、三次元の点の集まりであり、この三次元の点の集まりが三次元形状を構成する。
高精度カメラベクトル演算部２-６は、三次元情報追跡部２-５で得られた追跡データに基づいて、カメラベクトル演算部２-３で得られるカメラベクトルより、さらに高精度なカメラベクトルを生成，出力する。
そして、以上のようにして得られたカメラベクトルが、後述する三次元機械地図生成装置２００に入力され、ＣＶタグの生成や貼り付け処理に利用されることになる。
【００８０】
複数の画像（動画又は連続静止画）の特徴点からカメラベクトルを検出するにはいくつかの方法があるが、図１３に示す本実施形態のＣＶ演算部２では、画像内に十分に多くの数の特徴点を自動抽出し、それを自動追跡することで、三角測量幾何学、及びエピポーラ幾何学により、カメラの三次元ベクトル及び３軸回転ベクトルを求めるようにしてある。
特徴点を充分に多くとることにより、カメラベクトル情報が重複することで、三地点の座標で構成される単位の三角形を、その十倍以上の多くの特徴点から求めることになり、重複する情報から誤差を最小化させて、より精度の高いカメラベクトルを求めることができる。
【００８１】
カメラベクトルとは、移動するカメラの持つ六個の自由度のベクトルである。
一般に、静止した三次元物体は、位置座標（Ｘ，Ｙ，Ｚ）と、それぞれの座標軸の回転角（Φｘ，Φｙ，Φｚ）の六個の自由度を持つ。従って、カメラベクトルは、カメラの位置座標（Ｘ，Ｙ，Ｚ）とそれぞれの座標軸の回転角（Φｘ，Φｙ，Φｚ）の六個の自由度のベクトルをいう。なお、カメラが移動する場合は、自由度に移動方向も入るが、これは上記の六個の自由度から微分して導き出すことができる。
このように、本実施形態のカメラベクトルの検出とは、カメラは各フレーム毎に六個の自由度の値をとり、各フレーム毎に異なる六個の自由度を決定することである。
【００８２】
以下、ＣＶ演算部２における具体的なカメラベクトルの検出方法について、図１７以下を参照しつつ説明する。
まず、上述した全周カメラ映像部１０の全周ビデオカメラ１-１で取得された画像データは、間接に又は直接に、ＣＶ演算部２の特徴点抽出部２-１に入力され、特徴点抽出部２-１で、適切にサンプリングされたフレーム画像中に、特徴点となるべき点又は小領域画像が自動抽出され、特徴点対応処理部２-２で、複数のフレーム画像間で特徴点の対応関係が自動的に求められる。
具体的には、カメラベクトルの検出の基準となる、十分に必要な数以上の特徴点を求める。画像間の特徴点とその対応関係の一例を、図１７〜図１９に示す。図中「＋」が自動抽出された特徴点であり、複数のフレーム画像間で対応関係が自動追跡される（図１９に示す対応点１〜４参照）。
ここで、特徴点の抽出は、図２０に示すように、各画像中に充分に多くの特徴点を指定，抽出することが望ましく（図２０の○印参照）、例えば、１００点程度の特徴点を抽出する。
【００８３】
続いて、カメラベクトル演算部２-３で、抽出された特徴点の三次元座標が演算により求められ、その三次元座標に基づいてカメラベクトルが演算により求められる。具体的には、カメラベクトル演算部２-３は、連続する各フレーム間に存在する、十分な数の特徴の位置と、移動するカメラ間の位置ベクトル、カメラの３軸回転ベクトル、各カメラ位置と特徴点をそれぞれ結んだベクトル等、各種三次元ベクトルの相対値を演算により連続的に算出する。
本実施形態では、例えば、３６０度全周画像のエピポーラ幾何からエピポーラ方程式を解くことによりカメラ運動（カメラ位置とカメラ回転）を計算するようになっている。また、これを三角測量として説明すれば、方位と俯角仰角を測量する機器を車載して、対象となる複数の測量地点を、移動する測量機器により同一対象物を計測して取得したデータから、各対象地点の座標と測量機器の移動の軌跡を求める場合と同じである。
【００８４】
図１９に示す画像１，２は、３６０度全周画像をメルカトール展開した画像であり、緯度φ、軽度θとすると、画像１上の点は（θ１，φ１）、画像２上の点は（θ２，φ２）となる。そして、それぞれのカメラでの空間座標は、ｚ１＝（ｃｏｓφ１ｃｏｓθ１，ｃｏｓφ１ｓｉｎθ１，ｓｉｎφ１）、ｚ２＝（ｃｏｓφ２ｃｏｓθ２，ｃｏｓφ２ｓｉｎθ２，ｓｉｎφ２）である。カメラの移動ベクトルをｔ、カメラの回転行列をＲ、とすると、ｚ１T［ｔ］×Ｒｚ２＝０がエピポーラ方程式である。
十分な数の特徴点を与えることにより、線形代数演算により最小自乗法による解としてｔ及びＲを計算することができる。この演算を対応する複数フレームに適用し演算する。
【００８５】
ここで、カメラベクトルの演算に利用する画像としては、３６０度全周画像を用いることが好ましい。
カメラベクトル演算に用いる画像としては、原理的にはどのような画像でも良いが、全周映像は対象物の方向がそのまま緯度経度で表現されていることから、きわめて有利である。図１９に示す３６０度全周画像のような広角レンズによる画像の方が特徴点を数多く選択し、複数フレームに渡って追跡し易くなる。また、狭角レンズによる映像あっても、同一対象物の周りを移動しながら様々な方向から撮影する場合には特徴点が視界から逃げないので有効である。
そこで、本実施形態では、ＣＶ演算に３６０度全周画像を用いており、これによって、特徴点の追跡距離を長くでき、特徴点を十分に多く選択することができ、遠距離、中距離、短距離それぞれに都合の良い特徴点を選択することができるようになる。また、回転ベクトルを補正する場合には、極回転変換処理を加えることで、演算処理も容易に行えるようになる。これらのことから、より精度の高い演算結果が得られるようになる。
なお、図１９は、ＣＶ演算部２における処理を理解し易くするために、１台又は複数台のカメラで撮影した画像を合成した３６０度全周囲の球面画像を地図図法でいうメルカトール図法で展開したものを示しているが、実際のＣＶ演算では、必ずしもメルカトール図法による展開画像である必要はない。
【００８６】
次に、誤差最小化部２-４では、各フレームに対応する複数のカメラ位置と複数の特徴点の数により、複数通り生じる演算方程式により、各特徴点に基づくベクトルを複数通り演算して求めて、各特徴点の位置及びカメラ位置の分布が最小になるように統計処理をして、最終的なベクトルを求める。例えば、複数フレームのカメラ位置、カメラ回転及び複数の特徴点について、Levenberg-Marquardt法により最小自乗法の最適解を推定し、誤差を収束してカメラ位置、カメラ回転行列、特徴点の座標を求める。
さらに、誤差の分布が大きい特徴点については削除し、他の特徴点に基づいて再演算することで、各特徴点及びカメラ位置での演算の精度を上げるようにする。
このようにして、特徴点の位置とカメラベクトルを精度良く求めることができる。
【００８７】
図２１〜図２３に、ＣＶ演算により得られる特徴点の三次元座標とカメラベクトルの例を示す。図２１〜図２３は、本実施形態のＣＶ演算によるベクトル検出方法を示す説明図であり、移動するカメラによって取得された複数のフレーム画像によって得られるカメラ及び対象物の相対的な位置関係を示す図である。
図２１では、図１９の画像１，２に示した特徴点１〜４の三次元座標と、画像１と画像２の間で移動するカメラベクトル（Ｘ，Ｙ，Ｚ）が示されている。
図２２及び図２３は、充分に多くの特徴点とフレーム画像により得られた特徴点の位置と移動するカメラの位置が示されている。同図中、グラフ中央に直線状に連続する○印がカメラ位置であり、その周囲に位置する○印が特徴点の位置と高さを示している。
【００８８】
ここで、ＣＶ演算部２におけるＣＶ演算は、より高精度な特徴点とカメラ位置の三次元情報を高速に得るために、図２４に示すように、カメラから特徴点の距離に応じて複数の特徴点を設定し、複数の演算を繰り返し行うようにする。
具体的には、ＣＶ演算部２では、画像内には映像的に特徴がある特徴点を自動検出し、各フレーム画像内に特徴点の対応点を求める際に、カメラベクトル演算に用いるｎ番目とｎ＋ｍ番目の二つのフレーム画像FｎとＦｎ＋ｍに着目して単位演算とし、ｎとｍを適切に設定した単位演算を繰り返すことができる。
ｍはフレーム間隔であり、カメラから画像内の特徴点までの距離によって特徴点を複数段に分類し、カメラから特徴点までの距離が遠いほどｍが大きくなるように設定し、カメラから特徴点までの距離が近いほどｍが小さくなるように設定する。このようにするのは、カメラから特徴点までの距離が遠ければ遠いほど、画像間における位置の変化が少ないからである。
【００８９】
そして、特徴点のｍ値による分類を、十分にオーバーラップさせながら、複数段階のｍを設定し、画像の進行とともにｎが連続的に進行するのにともなって、演算を連続的に進行させる。そして、ｎの進行とｍの各段階で、同一特徴点について複数回重複演算を行う。
このようにして、フレーム画像ＦｎとＦｎ＋ｍに着目した単位演算を行うことにより、ｍ枚毎にサンプリングした各フレーム間（フレーム間は駒落ちしている）では、長時間かけて精密カメラベクトルを演算し、フレーム画像ＦｎとＦｎ＋ｍの間のｍ枚のフレーム（最小単位フレーム）では、短時間処理で行える簡易演算とすることができる。
【００９０】
ｍ枚毎の精密カメラベクトル演算に誤差がないとすれば、ｍ枚のフレームのカメラベクトルの両端は、高精度演算をしたＦｎとＦｎ＋ｍのカメラベクトルと重なることになる。従って、ＦｎとＦｎ＋ｍの中間のｍ枚の最小単位のフレームについては簡易演算で求め、簡易演算で求めたｍ枚の最小単位フレームのカメラベクトルの両端を、高精度演算で求めたＦｎとＦｎ＋ｍのカメラベクトルに一致するように、ｍ枚の連続したカメラベクトルのスケール調整をすることができる。
このようにして、画像の進行とともにｎが連続的に進行することにより、同一特徴点について複数回演算されて得られる各カメラベクトルの誤差が最小になるようにスケール調整して統合し、最終のカメラベクトルを決定することができる。これにより、誤差のない高精度のカメラベクトルを求めつつ、簡易演算を組み合わせることにより、演算処理を高速化することができるようになる。
【００９１】
ここで、簡易演算としては、精度に応じて種々の方法があるが、例えば、(1)高精度演算では１００個以上の多くの特徴点を用いる場合に、簡易演算では最低限の１０個程度の特徴点を用いる方法や、(2)同じ特徴点の数としても、特徴点とカメラ位置を同等に考えれば、そこには無数の三角形が成立し、その数だけの方程式が成立するため、その方程式の数を減らすことで、簡易演算とすることができる。
これによって、各特徴点及びカメラ位置の誤差が最小になるようにスケール調整する形で統合し、距離演算を行い、さらに、誤差の分布が大きい特徴点を削除し、必要に応じて他の特徴点について再演算することで、各特徴点及びカメラ位置での演算の精度を上げることができる。
【００９２】
また、このように高速な簡易演算を行うことにより、カメラベクトルのリアルタイム処理が可能となる。カメラベクトルのリアルタイム処理は、目的の精度をとれる最低のフレーム数と、自動抽出した最低の特徴点数で演算を行い、カメラベクトルの概略値をリアルタイムで求め、表示し、次に、画像が蓄積するにつれて、フレーム数を増加させ、特徴点の数を増加させ、より精度の高いカメラベクトル演算を行い、概略値を精度の高いカメラベクトル値に置き換えて表示することができる。
【００９３】
さらに、本実施形態では、より高精度のカメラベクトルを求めるために、三次元情報（三次元形状）の追跡を行うことができる。
具体的には、まず、三次元情報追跡部２-５で、カメラベクトル演算部２-３，誤差最小化部２-４を経て得られたカメラベクトルを概略のカメラベクトルと位置づけ、その後のプロセスで生成される画像の一部として得られる三次元情報（三次元形状）に基づいて、複数のフレーム画像に含まれる部分的三次元情報を隣接するフレーム間で連続的に追跡して三次元形状の自動追跡を行う。
そして、この三次元情報追跡部２-５で得られた三次元情報の追跡結果から、高精度カメラベクトル演算部２-６においてより高精度なカメラベクトルが求められる。
【００９４】
上述した特徴点抽出部２-１及び特徴点対応処理部２-２では、特徴点を複数のフレーム間画像内に自動追跡するが、特徴点が消失するなどして特徴点の追跡フレーム数に制限が出てくることがある。また、画像は二次元であり、追跡途中で形状が変化するために追跡精度にも一定の限界がある。
そこで、特徴点追跡で得られるカメラベクトルを概略値と位置づけ、その後のプロセスで得られる三次元情報（三次元形状）を各フレーム画像上に追跡して、その軌跡から高精度カメラベクトルを求めることができる。
三次元形状の追跡は、マッチング及び相関の精度を得やすく、三次元形状はフレーム画像によって、その三次元形状も大きさも変化しないので、多くのフレームに亘って追跡が可能であり、そのことでカメラベクトル演算の精度を向上させることができる。これはカメラベクトル演算部２-３により概略のカメラベクトルが既知であり、三次元形状が既に分かっているから可能となるものである。
【００９５】
カメラベクトルが概略値の場合、非常に多くのフレームに亘る三次元座標の誤差は、特徴点追跡による各フレームに関係するフレームが少ないので、誤差が累積して長距離では次第に大きな誤差になるが、画像の一部分を切り取ったときの三次元形状の誤差は相対的に少なく、形状の変化と大きさに及ぼす影響はかなり少ないものとなる。このため、三次元形状での比較や追跡は、二次元形状追跡の時よりも極めて有利となる。追跡において、二次元形状での追跡の場合、複数のフレームにおける形状の変化と大きさの変化を避けられないまま追跡することになるので、誤差が大きかったり、対応点が見つからないなどの問題があったが、三次元形状での追跡においては形状の変化が極めて少なく、しかも原理的に大きさの変化もないので、正確な追跡が可能となる。
【００９６】
ここで、追跡の対象となる三次元形状データとしては、例えば、特徴点の三次元分布形状や、特徴点の三次元分布形状から求められるポリゴン面等がある。
また、得られた三次元形状を、カメラ位置から二次元画像に変換して、二次元画像として追跡することも可能である。カメラベクトルの概略値が既知であることから、カメラ視点からの二次元画像に投影変換が可能であり、カメラ視点の移動による対象の形状変化にも追従することが可能となる。
【００９７】
以上のようにして求められたカメラベクトルは、全周ビデオカメラ１-１で撮影されたビデオ映像中に重ねて表示することができる。
例えば、図２５に示すように、車載カメラからの映像を平面展開して、各フレーム画像内の目的平面上の対応点を自動で探索し、対応点を一致させるように結合して目的平面の結合画像を生成し、同一の座標系に統合して表示する。
さらに、その共通座標系の中にカメラ位置とカメラ方向を次々に検出し、その位置や方向、軌跡をプロットしていくことができる。ＣＶデータは、その三次元位置と３軸回転を示しており、ビデオ映像に重ねて表示することで、ビデオ映像の各フレームでＣＶ値を同時に観察できる。ＣＶデータをビデオ映像に重ねて表示した画像例を図２５に示す。
なお、ビデオ映像内にカメラ位置を正しく表示すると、ＣＶ値が示すビデオ映像内の位置は画像の中心となり、カメラ移動が直線に近い場合は、すべてのフレームのＣＶ値が重なって表示されてしまうので、例えば図２５に示すように、敢えてカメラ位置から真下に１メートルの位置を表示することが適切である。あるいは道路面までの距離を基準として、道路面の高さにＣＶ値を表示するのがより適切である。
【００９８】
［自動運転装置］
次に、上述した三次元機械地図及びＣＶ演算を利用した本発明の自動運転装置の一実施形態について、図２６を参照しつつ説明する。
同図に示すように、本実施形態に係る自動運転装置１３０は、上述したナビゲーション装置１２０と同様、三次元機械地図１２１（図３、図４参照）と、移動する車両に積載されたカメラからのリアルタイム映像１２２（図８参照）とを、比較演算する構成となっている。
具体的には、自動運転装置１３０は、車載カメラ装置１３１と、アルタイム映像生成装置１３２と、比較装置１３３と、三次元機械地図１２１と、再生探索装置１３４と、一致出力装置１３５と、ＣＶ値取得装置１３６と、走行情報取得装置１３７と、対象物情報取得装置１３８と、自動走行装置１３９とを備えている。
【００９９】
車載カメラ１３１は、車両に固定されて設置され、車両周囲の映像を取得する。例えば、車載カメラ１３１は、図１４で示したように、全周ビデオカメラ１-１を移動体（車両）１-１ａの屋根の中心に設置して、車両の移動とともに車両周辺の映像を撮影する。また、車載カメラ１３１は、後述する図３１に示すように、複数のカメラを車両の屋根に所定の配置レイアウトで設置することもできる。
リアルタイム映像生成装置１３２は、車載カメラ１３１から出力するリアルタイム映像を取得する。
比較装置１３３は、車両に車載された三次元機械地図１２１と、車載カメラ１３１で撮影されたリアルタイム映像を、例えばＰＣ（パーソナルコンピュータ）等、車両に搭載した情報処理装置で保持・格納し、当該ＰＣのメモリ内で比較する。
【０１００】
再生探索装置１３４は、当該車両が走行していると予想される地域の範囲で、リアルタイム映像内の複数の領域で、一部分の幾何学的成分が三次元機械地図の一部分の幾何学成分との対応位置を求めながら、三次元機械地図の視点位置と視点姿勢と視点方向とが近づくように調整し、三次元機械地図の限定された範囲内を探索する。
一致出力装置１３５は、リアルタイム映像の複数部分が三次元機械地図の複数部分に一致したときの三次元機械地図の位置座標と、同様に一致したときの回転座標を出力する。
ＣＶ値取得装置１３６は、当該車両の走行時のリアルタイム映像の各フレームについて、その位置座標と回転座標を求めることで、リアルタイム映像のＣＶ値を取得する。
なお、ＣＶ値の取得については、上述したＣＶ演算により行う（図１３〜図２５参照）。
【０１０１】
走行情報取得装置１３７は、当該車両位置と姿勢、速度、加速度、方向、角速度、角加速度等を演算して、リアルタイムで取得する。
対象物情報取得装置１３８は、ＣＶ値取得装置１３６で得られたＣＶ値から、リアルタイム映像内の自車両以外の車両及び障害物等の位置と姿勢、速度、加速度、方向、角速度、角速度等を演算して、リアルタイムで取得する。
そして、自動走行装置１３９は、上記各装置で得られたデータに基づき生成された制御信号により、当該車両の走行車線と走行速度と走行方向を決定して走行させる。
この自動走行装置１３９による車両の制御（自動運転）については、既知の技術により実現できる。
以上により、三次元機械地図及びリアルタイム映像に基づく自動運転装置１３０が構成される。
【０１０２】
次に、以上のような本発明に係る自動運転装置において、案内マーカを利用する場合について、図２７〜図２８を参照しつつ説明する。
上述した三次元機械地図を備えた自動運転装置においては、三次元機械地図を構成する単純幾何学図形とリアルタイム映像の対応により、リアルタイム映像を取得したカメラのＣＶ値を取得し、それを車両位置として、車両をコントロールすることになる。
このため、三次元機械地図を構成する単純幾何学図形とリアルタイム映像の対応が常に取れる場合はよいが、映像は予想できないことがあり、また、天候や時間帯、特に夜間、降雪時などの場合には、適切な単純幾何学図形に対応する映像が見えない場合（リアルタイム映像の対応が取れない）も想定される。
そこで、以下に示す案内マーカを利用することにより、三次元機械地図と走行する車両からのリアルタイム映像の対応が常に取れるようにすることが可能となる。
【０１０３】
図２７は、図１で示した本発明の一実施形態に係る三次元機械地図生成装置１１０で利用する案内マーカの構成を示したブロック図である。
同図に示すように、本発明の一実施形態に係る案内マーカ１４０は、指定案内マーカ１４１、統一形状案内マーカ１４２からなり、これら案内マーカ１４０により案内マーカ図形１４３と案内マーカ画像１４４を生成して、三次元機械地図生成装置１１０に入力するようになっている。
具体的には、案内マーカ１４０は、自動運転による車両走行時の座標基準とするために、機械地図生成装置１１０で使用される。
【０１０４】
指定案内マーカ図形１４１は、三次元機械地図を構成する幾何学的単純図形の中から、選択した図形又は画像を案内マーカ図形又は案内マーカ画像として三次元機械地図の三次元空間に対応させたものである。
統一形状案内マーカ図形１４２は、形状が既知である案内マーカを、前もって、例えば道路又は道路近傍に適切な密度で設置し、それを三次元機械地図生成装置１１０により、三次元機械地図に対応して反映させた案内マーカ図形を三次元機械地図の三次元空間に対応させたものである。
案内マーカ画像１４４は、案内マーカ図形１４３の元となる映像の一部画像を、そのまま案内マーカ画像として、三次元機械地図の三次元空間に対応させたものである。
【０１０５】
以上の指定案内マーカ図形１４１・統一形状案内マーカ図形１４２により三次元機械地図の三次元空間に対応させた案内マーカ図形１４３・案内マーカ画像１４４が生成され、三次元機械地図生成装置１１０を介して、案内マーカ付き三次元機械地図１２１ａが生成される。
そして、指定案内マーカ図形１４１と統一形状案内マーカ図形１４２内で、図形によるものを案内マーカ図形として属性登録しておくことができる。
また画像によるものを案内マーカ画像として属性登録しておくことができる。
これら案内マーカ図形１４３・案内マーカ画像１４４の組み合わせによって、三次元機械地図を構成する単純幾何学図形とリアルタイム映像の対応が取れないような場合にも、三次元機械地図と走行する車両からのリアルタイム映像の対応が常に取れるようにすることができるようになる。
【０１０６】
以下、案内マーカ１４０（案内マーカ図形１４３・案内マーカ画像１４４）の好ましい態様について具体的に説明する。
まず、三次元機械地図を構成する単純幾何学図形に特に特徴のある図形に着目し、それを案内マーカ図形として重点的に対応させる（指定案内マーカ図形１４１）。
また、単純幾何学図形に特徴がない地域においては、積極的に案内マーカを実際の道路又はその近傍に設置することにする（統一形状案内マーカ図形１４２）。この場合、赤外線や偏光を利用して、カメラ側には赤外線に感度を持つＣＣＤや赤外線フィルタを用い、人間には視認しにくくすることも可能である。
【０１０７】
また、三次元機械地図に登録されていることから、マーカの形状と図形と位置が予想できているので、案内マーカは確認作業のみとなるので、演算は容易となる。
この場合、演算処理するＰＣ等の情報処理装置で認識されやすい、日照や気候の影響を受けにくい形状と図形を選択することができる。例えば、○と＋を組み合わせ図形などは、スケール及び回転に強い図形として利用が可能である。
また、ＰＣ側で、これらの図形を検出して認識する場合は、いわゆる高度な認識作業ではなく、既に形状も属性も既知である物体の確認作業を行うことになる。
【０１０８】
さらに、案内マーカは、確認作業でよいことと、形状が小さく画像としても小さいことから、簡易的には、幾何学図形に置換することなく、三次元機械地図生成時に用いたＣＶ映像から、マーカ部分の画像をそのまま切り取って案内マーカ画像としてそのまま利用し、三次元機械地図に貼り付けても良いことになる。
また、マーカのみから車両位置を計測するには、遠方のマーカも必要となるので、遠方の案内マーカにおいては反射板として利用し、カメラではなく、案内マーカに直接レーザ光を当ててその位置を計測して確認することでも可能である。
【０１０９】
案内マーカ付きの三次元機械地図は、車載カメラでリアルタイム映像として取得した後、三次元地図生成との比較においてＰＣで認識又は検出しやすい幾何学的単純図形又はその組み合わせから構成されることが望ましい。
また、三次元機械地図生成においても、統一形状案内マーカにおいては、実際に現地に設置することになるので、その後の地図生成処理においても正しく確実に統一形状案内マーカを捉えるように、単純な幾何学図形が適している。
そして、三次元機械地図はこれら案内マーカ図形から構成されることになる。
なお、案内マーカの設置密度、又は指定密度は、車載カメラで取得されるリアルタイム映像の視野内に、同時に複数の案内マーカを同時に検出できるような密度とする必要がある。例えば、リアルタイム映像内には、最低三個の案内マーカが同時に映っている必要がある。
【０１１０】
次に、以上のような案内マーカ１４０を使用して三次元機械地図を構成する単純幾何学図形とリアルタイム映像の対応付けを行う自動運転装置の一実施形態について、図２８を参照しつつ説明する。
図２８は、案内マーカを利用する自動運転装置の一実施形態の構成を示す機能ブロック図である。
同図に示すように、本実施形態に係る自動運転装置１５０は、上述した案内マーカ図形として登録されている三次元機械地図を備えた自動運転装置であり、案内マーカ検出装置１５１と、案内マーカ地図対応装置１５２と、車両ＣＶ値取得装置１５３と、マーカ座標読み取り装置１５４と、繰り返し演算装置１５５と、出力装置１５６とを備えている。
【０１１１】
案内マーカ検出装置１５１は、車載カメラによる道路及び道路近傍のリアルタイム映像内に写っている複数の案内マーカ映像を検出する。
案内マーカ地図対応装置１５２は、検出された案内マーカ映像と三次元機械地図上の案内マーカ図形とを対応させる。
車両ＣＶ値取得装置１５３は、案内マーカ地図対応装置により、対応した複数の案内マーカ図形が持っているそれぞれの座標から、当該車両の座標と姿勢を演算で求める。
マーカ座標読み取り装置１５４は、当該車両の進行に応じて、次々と新しく現れる案内マーカの座標を三次元機械地図上の新しい案内マーカ図形の座標を読み取る。
【０１１２】
繰り返し演算装置１５５は、マーカ座標読み取り装置１５４で読み取られた座標を予想位置として座標付近をリアルタイム映像内に検索して、案内マーカ地図対応装置１５２により、新しい案内マーカ映像と新しい案内マーカ図形とを対応させる。そして、対応の取れた複数の案内マーカ図形が属性として持つ座標から、車両ＣＶ値取得装置により、前位置より先に進行した車両の座標と姿勢を演算で求める作業を連続的に続ける。
出力装置１５６は、上記の繰り返し作業による車両位置と姿勢を連続的に出力することで、常に車両位置を安定的に検出し続ける。
以上により、本実施形態に係る自動運転装置１５０では、車両の座標と姿勢を常に取得しながら進行させることができるようになる。
【０１１３】
なお、以上説明した本発明に係る自動運転装置においても、上述したナビゲーション装置と同様に、車両に積載したリアルタイム映像の記録、及び／又は当該自動運転装置から得られたＣＶ値の記録を元として、事故等の特殊な時点に於いて、当該車両を含む関連対象物それぞれの、及びそれらの関係について力学的解析を行うことができる。
また、リアルタイム映像を前記三次元機械地図と同様のアルゴリズムで分析及び解析して、単純幾何学図形を抽出し、前記三次元機械地図を更新することもできる。
【０１１４】
次に、上述した本発明に係る自動運転装置のより具体的な実施形態について、図２９〜図３２を参照して説明する。
図２９は、本発明に係る三次元機械地図を備えた自動運転装置の好ましい一実施形態の概略構成を示すブロック図である。
同図に示す自動運転装置１６０は、自動運転を行う車両のおかれている場を認識する場認識装置１６１と、人間ではなく、機械（コンピュータ）が判断するための三次元機械地図を格納・記憶する三次元機械地図データベース１６２と、当該車両周辺の障害物認識装置１６３と、自己位置と姿勢を評定する自己位置評定装置１６４と、上記各装置の情報から、車両をコントロールするに必要な信号を生成して、車両をコントロールする自動走行装置１６５を備えている。
【０１１５】
場認識装置１６１は、自動運転を行う「場」である環境そのものの情報を取得する。車両が存在する環境の三次元空間、気候、時間、場所等の情報を取得する。場認識装置１６１により、場の情報の中に、車両自身を位置づけることではじめて自動運転の条件が整う。
三次元機械地図データベース１６２は、車両が利用する全ての空間の三次元機械地図を格納している。
ここには、車両の存在する空間、これから向かうべき空間とその属性を登録してある。
また、三次元機械地図は他の装置との連携もあり、その利用範囲も多い。他の装置との関連での利用では、必ずしも三次元機械地図を必要としない装置（例えば三次元機械地図データベース１６２、自動走行装置１６５等）もあるが、有ることでその装置の機能を高度に発揮できることになる。
【０１１６】
障害物認識装置１６３は、車両の周囲の障害物を認識する機能を発揮する。具体的には、対向車両や並進車両、道路又は横断歩道を横断する歩行者、道路落下物、等車両走行に障害となるもの又は歩行者に危険を及ぼす可能性のある歩行者との関係等を認識する。
自己位置評定装置１６４は、三次元機械地図の中での自分の位置と姿勢を精度良く決定するという、自動運転にとって最も基本的な作業を行う。
具体的には、自己位置評定装置１６４による自己位置評定は、車両に設置したカメラからのリアルタイム映像と三次元機械地図を比較して、三次元機械地図に対しての自車両の位置と姿勢を精読良く求めることになる。位置と姿勢を表す物理的パラメータの数は６であり、６自由度を持つカメラ位置と姿勢を決定することに等しい。さらに、リアルタイム映像のみからも、相対値としてのＣＶ値を取得することが可能であり、双方から精度の高い自己位置評定を行う。
自動走行装置１６５は、上記の場認識装置１６１、三次元機械地図データベース１６２、障害物認識装置１６３、自己位置評定装置１６４からの情報を統合し、自動走行に必要な制御信号を生成する。
【０１１７】
次に、以上のような三次元機械地図を備えた自動運転装置のより具体的な実施形態を説明する。
まず、本発明の一実施形態に係る自動運転装置の基本原理について、図３０を参照して説明する。
同図に示すように、本実施形態に係る自動運転装置１７０は、三次元機械地図装置１７１を備えるとともに、空間解析装置１７２と、概略位置評定装置１７３と、相対自己位置姿勢評定装置１７４と、絶対自己位置姿勢評定装置１７５と、移動体分離装置１７６と、移動体位置姿勢評定装置１７７と、対象物認識装置１７８と、移動体認識装置１７９と、判断装置１８０と、制御装置１８１と、表示装置１８２と、ＣＶ映像更新装置１８３と、ＣＶ映像データベース１８４とを備えた構成となっている。
【０１１８】
三次元機械地図装置１７１は、人間ではなく、機械（コンピュータ）が判断するための三次元地図を任意に読み出す。
空間解析装置１７２は、三次元機械地図と車両に積載したカメラにより取得されるリアルタイム映像の対応により、自動運転を行う車両のおかれている環境に関して三次元的に解析する。
概略位置評定装置１７３は、例えばＧＰＳ等の既知の技術により、車両の概略位置を評定・特定する。
相対自己位置姿勢評定装置１７４は、リアルタイム映像をＣＶ演算して、相対的な座標と姿勢を求める。
【０１１９】
絶対自己位置姿勢評定装置１７５は、概略位置評定装置１７３で得られた概略位置と相対自己位置姿勢評定装置１７４で得られた相対な座標と姿勢から、車両位置を絞り込み、その範囲で三次元機械地図の中にリアルタイム映像との対応により、一致点を探して、精度の高い現在位置座標と姿勢を絶対値で求める。
移動体分離装置１７６は、リアルタイム映像に関する多くの特徴点をトラッキングし、その中から、移動体のトラッキング成分を演算により抽出し、静止座標系から移動体映像成分を分離する。
移動体位置姿勢評定装置１７７は、移動体分離装置１７６で得られた移動体映像成分に係わる移動体トラッキング成分から移動体の位置と姿勢を抽出する。
【０１２０】
対象物認識装置１７８は、車両走行に関係する他車両や、障害物等を登録されている属性と比較して、対象物を認識する。
移動体認識装置１７９は、移動体の属性を知る必要がある場合には、登録されている属性と比較して、移動体の属性種別を決定する。
判断装置１８０は、上記の全ての装置の全部又は一部からの情報、又はその一部を取り入れて、安全を判断し、適切な進路を選択し、車両制御に必要な信号を生成する。
制御装置１８１は、車両制御に必要な信号によって車両を安全で適切に制御する。
表示装置１８２は、上記の全装置からの情報、又はその一部の信号、制御内容等を表示する。
【０１２１】
ＣＶ映像更新装置１８３は、三次元機械地図が存在しない、あるいは、地図と現実が一致しない地域・現場において、新規に映像を取得しながらＣＶ演算をしたＣＶ映像を、空間解析装置１７２から取り込む。
ＣＶ映像データベース１８４は、ＣＶ映像更新装置１８３から取り込まれたＣＶ映像を格納・記憶する記憶手段であり、ＣＶ映像更新装置１８３により更新又は追加されたＣＶ映像により、随時データベースの内容が更新される。
そして、このＣＶ映像データベース１８４により、三次元機械地図装置１７１の内容が更新される。
【０１２２】
以上のような構成からなる本実施形態の自動運転装置１７０は、具体的には以下のように動作する。
空間解析装置１７２では、自動運転を行う「場」である環境そのものの情報を取得する。
具体的には、車両が存在する環境の三次元空間、気候、時間、場所等の情報を取得する。
この空間解析装置１７２により、場の情報の中に、車両自身を位置づけることで初めて自動運転の条件が整う。
【０１２３】
また、空間解析装置１７２は、リアルタイム映像を取得するとともに、リアルタイム映像からＣＶ値を取得し、取得したＣＶ値により、三次元空間の概略と自車位置と姿勢の関係を求める。
このＣＶ値の演算は、上述したＣＶ値取得装置１３６（図２６参照）におけるのと同様に行うことができる（図１３〜図２５参照）。
ここで、リアルタイム映像を取得するには、例えば、上述した図１４に示したような車載カメラにより取得できるが、本実施形態では、図３１に示すように、複数のカメラを車両の屋根等に所定の配置レイアウトで設定することでリアルタイム映像を取得するようにしてある。
【０１２４】
具体的には、図３１に示すように、カメラ１とカメラ２の二個対になった複合カメラを用い、それぞれ水平視野角１３５度を確保し、合成視野角として２７０度以上の水平視野角を確保する。二個のカメラで合成視野角２７０度を確保できないときは、三個のカメラとすることで目的の合成視野角を確保すればよい。
このような対のカメラを車両の４カ所（車両前方２カ所、後方２カ所）に取り付けて、水平方向には３６０度の全周視野を確保し、後述するように、一部重複視野としてその視差も利用する。重複視野については後述する。
これにより、本実施形態では、４カ所計８個のカメラで水平方向全視野を確保していることになる。この計８個のカメラから得られる映像を結合合成して全周映像を生成する。以下これをリアルタイム映像として扱う。
なお、図３１に示すように、車両の屋根中央部分（図３１のＡ）の位置に、水平全方向を撮影できる全周カメラを取り付けるようにしても良い。
【０１２５】
また、リアルタイム映像をＣＶ演算することで、ＣＶ値を取得することができる。このＣＶ値を得るためのＣＶ演算の詳細については上述した通りである（図１３〜図２５参照）。
一方、三次元機械地図は三次元機械地図装置に記録してあり、概略位置評定装置１７３で、概略位置を指定して、その付近の三次元機械地図を取り出すことができる。
三次元機械地図を生成するには、全周映像をＣＶ演算し、鉛直補正し、絶対座標を付加するなどの処理の後に、ＣＶ映像を生成する。
そして、ＣＶ映像から、新たな特徴点を三次元計測しながら、単純幾何学図形に分解することで、三次元機械地図を生成する。
三次元機械地図とリアルタイム映像の対比により、リアルタイム映像のカメラ位置を演算で求める方法は上述した通りである（図２６参照）。
【０１２６】
ここで、三次元機械地図が存在しない地域、あるいは、例えば現場が工事されているなどして地図と現実が一致しない地区を通行するような場合は、当該自動運転車両は新規に映像を取得しながらＣＶ演算をして、空間解析装置１７２からのＣＶ映像をＣＶ映像更新装置１８３に取り込み、ＣＶ映像データベース１８４の内容（現地の内容）を更新するか、新規に追加する。更新又は追加されたＣＶ映像データベース１８４により、三次元機械地図装置１７１の内容が更新される。
このように、本実施形態では、地図と現実が一致しない地区を走行する場合と、地図に存在しない地域を走行する場合には、三次元機械地図の元となるＣＶ映像を追加又は更新しながら進むことができる。
【０１２７】
なお、車両の走行にはリアルタイム処理が求められるので、ＣＶ映像を三次元機械地図に変換する必要はなく、ＣＶ映像をそのまま三次元地図として利用することができる。
ＣＶ映像そのものであっても、三次元機械地図の目的は達成することができるので、ＣＶ映像をそのまま三次元機械地図の代わりにすることが可能である。三次元機械地図装置１７１に格納される三次元機械地図は、データ量を極力少なくすることを最大の目的としているのであり、例えば、データ量が問題とならないような場合には、ＣＶ映像を三次元機械地図の代わりとすることは可能である。
【０１２８】
ただし、ＣＶ映像のままでは更新地域が増大するとデータ量が増大するので、ＣＶ映像と三次元機械地図を適宜併用することが好ましい。
このようにして、本実施形態では、地図のないところは地図を作りながら走行することが可能となる。
ＣＶ映像は記録され、後処理で三次元機械地図に変換される。更新情報は通信で他社に伝達することも可能である。
実際には、地図のない地域では地図生成専用の車両を走行させ、地図データの更新には更新専用車両を走行させることが一般的である。
【０１２９】
次に、概略位置評定装置１７３により、ＧＰＳ等を設置した車両概略位置が求められ、現場の概略位置を出力して、それを三次元機械地図装置５０９に送ることで、概略位置の三次元機械地図が次々出力される。
一方、空間解析装置１７２からのリアルタイム映像をＣＶ演算することにより、相対自己位置姿勢評定装置１７４で相対的な自己位置と姿勢が決定される。
ここで、「相対的」とは、緯度経度高度に関する絶対座標を持たないことを意味する。
なお、本実施形態の自動運転装置１７０では、空間解析装置１７２の８個のカメラの視野が重複しているので（図３１参照）、一部視差のある映像を取得することができ、距離長さに関しては相対的ではなく、長さの単位スケールを持つことができる。
【０１３０】
次に、リアルタイム映像と三次元機械地図装置１７１から出力される概略位置近傍の三次元機械地図との比較により、当該車両の、正確には当該車両に積載したそれぞれのカメラの、絶対位置が求められる。
本実施形態では、この三次元機械地図とリアルタイム映像の比較に、端点、直接による単純幾何学図形と指定マーカ図形、統一形状マーカ図形を用いるものとする（図２７参照）。
これにより、三次元機械地図は、端点、直線以外に、案内マーカが登録されていて、中心座標を示していることで、その絶対三次元座標を取得することが可能となる。
すなわち、単純幾何学図形とマーカ図形を一致する地点と姿勢を探し出す作業を自動的に行うことで、カメラのそれぞれの位置を三次元機械地図上で決定できることになる。このようにして当該車両の絶対自己位置と姿勢が求められる。
【０１３１】
ここで、絶対自己位置姿勢評定装置１７５によって絶対自己位置姿勢を精度良く求めるには演算時間もそれなりにかかることから、システムの効率の点を考慮して、本実施形態では、絶対自己位置姿勢評定演算の頻度は、毎秒３０フレームで出力するリアルタイム映像のフレームを間引いて毎秒５フレームとする。
さらに、リアルタイム映像から毎秒５フレームの間欠フレームで、絶対自己位置姿勢を精度良く求め、その中間は毎秒３０フレームのリアルタイム映像を直接ＣＶ演算したＣＶ値（相対自己位置姿勢評定装置１７４の出力）を内挿して求める。あるいは、内挿のための信号にはこれ以外にも、自車両の車速パルス又は加速度計とジャイロの組み合わせ等でも良い。
【０１３２】
対象物認識装置１７８は、長さの単位スケールを持つこの状態のＣＶ映像で処理することが十分可能であるが、本実施形態では、対象物認識を上述したＰＲＭ方式で行うこともできる。なお、ＰＲＭ方式による場合、対象物のデータベースに登録されたパーツを検索するため、後の過程の三次元機械地図により絶対自己位置姿勢評定装置１７５による処理を行った後に、対象物認識を行うことが望ましい。
絶対自己位置姿勢が演算によって求まることで、ＣＶ映像を利用することができ、これによって、対象物を三次元空間で切り取ることが容易になる。
対象物は複数のＣＶ映像のフレームで重複しているが、三次元座標の絶対値が求められていることで、関連する複数のフレームから対象物を切り出して処理することができることになり、精度、認識確度が向上する。
【０１３３】
移動体分離装置１７６においては、ＣＶ映像に多数の特徴点を設定し、それらの特徴点について、静止座標系に属するものと、移動体座標系に属するものとに分離することができる。
移動体位置姿勢評定装置１７７では、移動体座標系に属する特徴点のトラッキングデータと、重複する視野の視差からスケールを求め、移動体の静止座標系に対する位置、速度、加速度、姿勢、方向、角速度、角加速度等を演算で求めることができる。
これは、並進する車両や対向車の速度のみならず、その姿勢や回転角速度等も全て自車両と同様に演算で求めることを意味する。
従って、自車両の速度姿勢のコントロールのための情報としてのみならず、当該情報を記録しておくことで、走行の解析や、自己解析にも極めて有益である。
【０１３４】
移動体認識装置１７９では、移動体位置姿勢評定装置１７７で、移動体のＣＶ値が既知となることで、さらに、ＰＲＭ方式により移動体の候補をデータベースから検索することで、移動体の認識を可能とする。
ここまでで、リアルタイム映像のＣＶ値、自車両の位置と姿勢の絶対値、速度、加速度、回転、進行方向、回転角速度、三次元機械地図における座標値付近の属性部品、対象物認識結果、対向車両、並進車両等の位置と姿勢の絶対値、速度、加速度、回転、進行方向、回転角速度、移動体認識結果、等の情報が取得される。
そして、これらの情報が判断装置１８０に入力され、人工知能により安全走行条件と適性走行条件を満たす自車両の走行条件を決定し、自車両の制御信号に変換される。
【０１３５】
さらには、対向車両、並進車両に対しても、自車両走行条件を送信して、相手車両の走行条件に追加することも可能である。同様に他車両からの信号を通信手段で取得して、自車両の判断装置５１２に反映させることも可能である。
制御装置１８１では、このようにして取得された自車両の制御信号により、自車両の速度、方向、さらには複数のサスペンション、ホイールをそれぞれ独立にコントロールし、あるいはヘッドライト方向をコントロールすることで、実際の車両走行をコントロールすることができる。
また、車両の自動運転・手動運転は、任意に切り替えことが可能で、運転者が同乗している場合もあるので、コントロール信号を可視化して、表示装置１８２に表示することができるようになっている。
【０１３６】
表示装置１８２には、上述した８個のカメラ（図３１参照）からの映像を結合表示することで、サラウンドビュウや、超広角バックモニターを実現している。
この表示装置１８２における表示例を図３２〜図３４に示す。
図３２はサラウンドビュウの表示例、図３３は超広角バックモニターの表示例、図３４はリアルタイムＣＶ映像にＣＧガイドを付加した表示例である。
【０１３７】
以上、本実施形態に係る自動運転装置１７０について説明したが、本実施形態に係る自動運転装置１７０は、上述した構成・動作に限定されるものではなく、種々の追加・変更が可能である。
例えば、三次元機械地図に目的地や通過地をセットすることで、リアルタイム映像の中に、案内ＣＧを表示することができる。また、表示画面上の案内ＣＧを指先等の手段でクリックすると案内の内容が表示され、案内先との通信が可能となる。
また、三次元機械地図又はＣＶ映像を当該表示装置に表示し、予定の基本走行経路を三次元機械地図上に自動又は手動で記載し、その基本走行経路を自動走行し、障害物や交通状況に応じて、進路変更し、経路変更し、速度変更し、障害物を避け、目的地まで到達することができる。
さらに、道路定点の設置されたカメラからの映像を、通信手段を介して受信し、三次元機械地図やＶ映像に座標統合して合成することができ、表示装置１８２を介して、矛盾の無い位置と姿勢の関係で表示することもできる。
【０１３８】
以上、本発明の三次元機械地図と三次元機械地図生成装置、及び三次元機械地図を用いたナビゲーション装置及び自動運転装置について、好ましい実施形態を示して説明したが、本発明は、上述した実施形態にのみ限定されるものではなく、本発明の範囲で種々の変更実施が可能であることは言うまでもない。
例えば、本発明のナビゲーション装置及び自動運転装置は、三次元地図を持つことから、適用する移動体は、地上を走行する車両に限らず、三次元空間を航行するものであっても良い。飛行機でも利用可能であるから、着陸時の精度の高いナビゲーションや自動運転が可能である。ロボットは究極の自動運転でありそのままの利用が可能である。また、宇宙船から見える星や星座を特徴点として、宇宙規模でのナビゲーションや自動運転も可能である。
【産業上の利用可能性】
【０１３９】
本発明は、例えば、自動車に搭載されるカーナビゲーション装置、飛行機に搭載されるナビゲーション装置、危険な箇所での無人自動運転重機、自動運転用のナビゲーション装置、ロボットのナビゲーション装置などに好適なナビゲーション装置として利用することができる。
【図面の簡単な説明】
【０１４０】
【図１】本発明の一実施形態に係る三次元地図生成装置の構成を示すブロック図である。
【図２】本発明の一実施形態に係るナビゲーション装置の構成を示すブロック図である。
【図３】本発明に係る三次元機械地図生成を俯瞰的に示した図である。
【図４】本発明に係る三次元機械地図生成を、画像取得時の車両の目線で示した図である。
【図５】全周映像の一部を平面に投影して遠近法的に表現した図であり、片側二車線の内の右斜線上の車両から撮影したものである。
【図６】全周映像を平面に投影した画像を示す図である。
【図７】図６に示す全周映像について三次元座標を取得した結果を示す図である。
【図８】移動する車両に積載されたカメラから撮影されたリアルタイム映像を示す図である。
【図９】リアルタイム映像と機械地図とのマッチングプロセスを示す図である。
【図１０】三次元機械地図上に、機械が自動的に判断した車両の位置と姿勢に基づく車両の現在位置を三次元機械地図上に示した図である。
【図１１】全周囲カメラで取得した全周映像をメルカトール方により表した図である。
【図１２】リアルタイム映像に、矢印等の案内用のＣＧを合成した一例を示す図である。
【図１３】本発明の三次元機械地図生成装置のＣＶ画像取得部として機能するＣＶ演算部の一実施形態の基本構成を示すブロック図である。
【図１４】図１３に示すＣＶ演算部で使用する全周ビデオ映像を撮影する手段を示す概略図であり、屋根部に全周カメラを搭載した車輌の斜視図である。
【図１５】図１３に示すＣＶ演算部で使用する全周ビデオ映像を撮影する手段を示す概略図であり、（ａ）は屋根部に全周カメラを搭載した車輌の正面図、（ｂ）は同じく平面図である。
【図１６】全周カメラで撮影される映像から得られる変換画像を示す説明図であり、（ａ）は球面画像が貼り付けられる仮想球面を、（ｂ）は仮想球面に貼り付けられた球面画像の一例を、（ｃ）は（ｂ）に示した球面画像をメルカトール図法に従って平面展開した画像を示している。
【図１７】本発明の一実施形態に係るＣＶ演算部における具体的なカメラベクトルの検出方法を示す説明図である。
【図１８】本発明の一実施形態に係るＣＶ演算部における具体的なカメラベクトルの検出方法を示す説明図である。
【図１９】本発明の一実施形態に係るＣＶ演算部における具体的なカメラベクトルの検出方法を示す説明図である。
【図２０】本発明の一実施形態に係るＣＶ演算部によるカメラベクトルの検出方法における望ましい特徴点の指定態様を示す説明図である。
【図２１】本発明の一実施形態に係るＣＶ演算部により得られる特徴点の三次元座標とカメラベクトルの例を示すグラフである。
【図２２】本発明の一実施形態に係るＣＶ演算部により得られる特徴点の三次元座標とカメラベクトルの例を示すグラフである。
【図２３】本発明の一実施形態に係るＣＶデータ演算部により得られる特徴点の三次元座標とカメラベクトルの例を示すグラフである。
【図２４】本発明の一実施形態に係るＣＶ演算部において、カメラから特徴点の距離に応じて複数の特徴点を設定し、複数の演算を繰り返し行う場合を示す説明図である。
【図２５】本発明の一実施形態に係るＣＶデータ演算部求められたカメラベクトルの軌跡をビデオ映像中に表示した場合の図である。
【図２６】本発明の一実施形態に係る自動運転装置の構成を示すブロック図である。
【図２７】本発明の自動運転装置で使用する案内マーカの構成を示すブロック図である。
【図２８】本発明の案内マーカを利用する自動運転装置の構成を示すブロック図である。
【図２９】本発明の他の実施形態に係る自動運転装置の構成を示すブロック図である。
【図３０】本発明の他の実施形態に係る自動運転装置の構成を示すブロック図である。
【図３１】本発明の自動運転装置におけるリアルタイム映像を取得するためのカメラ構成の一例を示す、車両上面から見た模式図である。
【図３２】図３１で示すカメラで取得される映像を結合表示して表示装置に表示した場合の表示例を示す図であり、サラウンドビュウの表示例である。
【図３３】図３１で示すカメラで取得される映像を結合表示して表示装置に表示した場合の表示例を示す図であり、超広角バックモニターの表示例である。
【図３４】図３１で示すカメラで取得される映像を結合表示して表示装置に表示した場合の表示例を示す図であり、リアルタイムＣＶ映像にＣＧガイドを付加した表示例である。
【符号の説明】
【０１４１】
２ ＣＶ演算部
１１０ 三次元機械地図生成装置
１１１ 全周映像撮影装置
１１２ ＣＶ演算装置
１１３ 幾何学的単純図形検出装置
１１４ 三次元座標付加装置
１１５ 属性登録装置
１１６ 三次元機械地図記録装置
１２０ ナビゲーション装置
１２１ 三次元機械地図
１２２ リアルタイム映像
１２３ 比較演算装置
１２４ 位置方向評定出力装置
１２５ 車両制御装置
１２６ 案内表示
【特許請求の範囲】
【請求項１】
目的となる三次元空間の一部又は大部分が複数の幾何学的単純図形で置換され、
単純化されて再構成された単純化三次元空間データを持ち、
それら単純化三次元空間データがコンピュータによって読み取られることで、幾何学的単純図形が前記三次元空間に対応した座標、姿勢、及び／又は属性等の関連データを共に出力する
ことを特徴とする三次元機械地図。
【請求項２】
現実空間から取り出した幾何学的単純図形とともに、使用目的に合致した対象物を前記幾何学的単純図形として、再構築した単純化三次元データを持ち、
目的となる現実の三次元空間を使用目的に合致させて再構築することで、コンピュータで読み取り、又は書き込み可能であって、
前記図形の全ての座標、姿勢、及び／又は属性等の関連データを共に出力する請求項１記載の三次元機械地図。
【請求項３】
交通を目的とする場合において、
交通標識、道路表示、道路幅員、道路案内板等の交通に必要な対象物を幾何学的単純図形として形状分類し、属性情報として、三次元空間に追加して配置する請求項１又は２記載の三次元機械地図。
【請求項４】
自動運転を目的とする場合において、
本来運転者が読み取る目的で設置された交通標識、道路表示（地物）、道路案内板等の対象物を幾何学的単純図形として形状分類し、その属性情報と共に対象物が存在する三次元空間の座標に追加して配置し、
さらに、現実には直接数値表示されていない走行中心線、道路幅員、車線数、道路勾配、回転半径等の自動運転、又は運転アシストに必要な数値属性情報を、車両走行のための三次元空間に対応させて配置する請求項１又は２記載の三次元機械地図。
【請求項５】
走行中の車両から全周映像を取得する車載全周映像撮影装置と、
全周ＣＶ映像を取得するＣＶ演算装置と、
前記全周ＣＶ映像から、幾何学的単純図形を抽出し、選択し、分離し、その位置座標と姿勢を三次元的に求める幾何学的単純図形検出装置と、
検出された前記幾何学的単純図形に三次元座標を与える三次元座標付加装置と、
検出された前記幾何学的単純図形に属性を与える属性登録装置と、
検出された前記幾何学的単純図形から、三次元空間を再構築し、目的に応じた他の情報を付加することで請求項１乃至３記載の三次元機械地図を生成して記録する三次元機械地図記録装置と、
を有することを特徴とする三次元機械地図生成装置。
【請求項６】
請求項１乃至４記載の三次元機械地図を備えたナビゲーション装置であって、
リアルタイム映像から、及び／又は当該ナビゲーション装置で取得された車両のＣＶ値を用いて解析し、映像内の静止物体の位置と姿勢及び、移動する自車以外の車両の位置、姿勢、回転、速度、加速度等の力学的数値を求め、危険回避行動を行わせることを特徴とするナビゲーション装置。
【請求項７】
請求項１乃至４記載の三次元機械地図を備えたナビゲーション装置であって、
リアルタイム映像の記録、及び／又は当該ナビゲーション装置から得られたＣＶ値の記録から、事故時の自車を含む関連対象物の力学的解析を行うことを特徴とするナビゲーション装置。
【請求項８】
請求項１乃至４記載の三次元機械地図を備えたナビゲーション装置であって、
現実の空間に、及び／又はリアルタイム映像に矢印等の案内用のＣＧを合成し、又は音声によりナビゲーションを実行することを特徴とするナビゲーション装置。
【請求項９】
請求項１乃至３記載の三次元機械地図を備えたナビゲーション装置であって、
リアルタイム映像を前記三次元機械地図と同様のアルゴリズムで分析及び解析して、単純幾何学図形を抽出し、前記三次元機械地図を更新することを特徴とするナビゲーション装置。
【請求項１０】
請求項１乃至４記載の三次元機械地図を備えたナビゲーション装置であって、
取得された自車両の情報を他車両に配信することにより、当該他車両とで情報交換を行うことを特徴とするナビゲーション装置。
【請求項１１】
請求項１乃至４記載の三次元機械地図を備えたナビゲーション装置であって、
道路定点に設置されたカメラからの映像を前記三次元機械地図上に、座標統合して、合成して、矛盾無い位置と姿勢の関係で表示することを特徴とするナビゲーション装置。
【請求項１２】
請求項１乃至３記載の三次元機械地図を備えた自動運転装置であって、
車両に固定されて設置され、車両周囲の映像を取得する車載カメラ装置と、
当該車載カメラから出力するリアルタイム映像を取得するリアルタイム映像生成装置と、
当該車両に車載された三次元機械地図と前記リアルタイム映像を比較する比較装置と、
当該車両が走行していると予想される地域の範囲で、前記リアルタイム映像内の複数の領域で、一部分の幾何学的成分が前記三次元機械地図の一部分の幾何学成分との対応位置を求めながら、三次元機械地図の視点位置と視点姿勢と視点方向とが近づくように調整し、三次元機械地図の限定された範囲内を探索する再生探索装置と、
前記リアルタイム映像の複数部分が前記三次元機械地図の複数部分に一致したときの三次元機械地図の位置座標と、同様に一致したときの回転座標を出力する一致出力装置と、
当該車両の走行時のリアルタイム映像の各フレームについて、その位置座標と回転座標を求めることで、前記リアルタイム映像のＣＶ値を取得するＣＶ値取得装置と、
当該車両位置と姿勢、速度、加速度、方向、角速度、角加速度等を演算して、リアルタイムで取得する走行情報取得装置と、
前記ＣＶ値から、リアルタイム映像内の自車両以外の車両及び障害物等の位置と姿勢、速度、加速度、方向、角速度、角速度等を演算して、リアルタイムで取得する対象物情報取得装置と、
当該車両の走行車線と走行速度と走行方向を決定して走行させる自動走行装置と
を備えることを特徴とする自動運転装置。
【請求項１３】
自動運転による車両走行時の座標基準とするために、前記前記三次元機械地図を構成する幾何学的単純図形の中から、選択した図形又は画像を案内マーカ図形又は案内マーカ画像を三次元機械地図の三次元空間に対応させた指定案内マーカ図形と、
形状が既知である案内マーカを、前もって道路又は道路近傍に適切な密度で設置し、それを前記三次元機械地図生成装置により、三次元機械地図に対応して反映させた案内マーカ図形を三次元機械地図の三次元空間に対応させた統一形状案内マーカ図形と、
前記案内マーカ図形の元となる映像の一部画像を、そのまま案内マーカ画像として、三次元機械地図の三次元空間に対応させた案内マーカ画像と、を備え、
前記指定案内マーカ図形と統一形状案内マーカの内で図形によるものを案内マーカ図形として属性登録するとともに、画像によるものを案内マーカ画像として属性登録してこれらを組み合わせる請求項１２記載の自動運転装置。
【請求項１４】
前記車載カメラによる道路及び道路近傍のリアルタイム映像内に写っている案内マーカ映像を検出する案内マーカ検出装置と、
検出された前記案内マーカ映像と三次元機械地図上の案内マーカ図形とを対応させる案内マーカ地図対応装置と、
前記案内マーカ地図対応装置により、対応した複数の案内マーカ図形が持っているそれぞれの座標から、当該車両の座標と姿勢を演算で求める車両ＣＶ値取得装置と、
当該車両の進行に応じて、次々と新しく現れる案内マーカの座標を前記三次元機械地図上の新しい案内マーカ図形の座標を読み取るマーカ座標読み取り装置と、
前記座標を予想位置として前記座標付近をリアルタイム映像内に検索して、前記案内マーカ地図対応装置で、新しい案内マーカ映像と新しい案内マーカ図形とを対応させ、対応の取れた複数の案内マーカ図形が属性として持つ座標から、前記車両ＣＶ値取得装置により、前位置より先に進行した車両の座標と姿勢を演算で求める作業を連続的に続ける繰り返し演算装置と、
繰り返し作業による車両位置と姿勢を連続的に出力することで、常に車両位置を安定的に検出し続ける出力装置と、を備え、
車両の座標と姿勢を取得しながら進行させる請求項１３記載の自動運転装置。
【請求項１５】
当該車両に積載したリアルタイム映像の記録、及び／又は当該自動運転装置から得られたＣＶ値の記録に基づいて、事故等の特殊な時点において、当該車両を含む関連対象物それぞれの、及びそれらの関係についての力学的解析を行う請求項１２乃至１４のいずれか一項記載の自動運転装置。
【請求項１６】
リアルタイム映像を前記三次元機械地図と同様のアルゴリズムで分析及び解析して、単純幾何学図形を抽出し、前記三次元機械地図を更新する請求項１２乃至１５のいずれか一項記載の自動運転装置。
【請求項１】
目的となる三次元空間の一部又は大部分が複数の幾何学的単純図形で置換され、
単純化されて再構成された単純化三次元空間データを持ち、
それら単純化三次元空間データがコンピュータによって読み取られることで、幾何学的単純図形が前記三次元空間に対応した座標、姿勢、及び／又は属性等の関連データを共に出力する
ことを特徴とする三次元機械地図。
【請求項２】
現実空間から取り出した幾何学的単純図形とともに、使用目的に合致した対象物を前記幾何学的単純図形として、再構築した単純化三次元データを持ち、
目的となる現実の三次元空間を使用目的に合致させて再構築することで、コンピュータで読み取り、又は書き込み可能であって、
前記図形の全ての座標、姿勢、及び／又は属性等の関連データを共に出力する請求項１記載の三次元機械地図。
【請求項３】
交通を目的とする場合において、
交通標識、道路表示、道路幅員、道路案内板等の交通に必要な対象物を幾何学的単純図形として形状分類し、属性情報として、三次元空間に追加して配置する請求項１又は２記載の三次元機械地図。
【請求項４】
自動運転を目的とする場合において、
本来運転者が読み取る目的で設置された交通標識、道路表示（地物）、道路案内板等の対象物を幾何学的単純図形として形状分類し、その属性情報と共に対象物が存在する三次元空間の座標に追加して配置し、
さらに、現実には直接数値表示されていない走行中心線、道路幅員、車線数、道路勾配、回転半径等の自動運転、又は運転アシストに必要な数値属性情報を、車両走行のための三次元空間に対応させて配置する請求項１又は２記載の三次元機械地図。
【請求項５】
走行中の車両から全周映像を取得する車載全周映像撮影装置と、
全周ＣＶ映像を取得するＣＶ演算装置と、
前記全周ＣＶ映像から、幾何学的単純図形を抽出し、選択し、分離し、その位置座標と姿勢を三次元的に求める幾何学的単純図形検出装置と、
検出された前記幾何学的単純図形に三次元座標を与える三次元座標付加装置と、
検出された前記幾何学的単純図形に属性を与える属性登録装置と、
検出された前記幾何学的単純図形から、三次元空間を再構築し、目的に応じた他の情報を付加することで請求項１乃至３記載の三次元機械地図を生成して記録する三次元機械地図記録装置と、
を有することを特徴とする三次元機械地図生成装置。
【請求項６】
請求項１乃至４記載の三次元機械地図を備えたナビゲーション装置であって、
リアルタイム映像から、及び／又は当該ナビゲーション装置で取得された車両のＣＶ値を用いて解析し、映像内の静止物体の位置と姿勢及び、移動する自車以外の車両の位置、姿勢、回転、速度、加速度等の力学的数値を求め、危険回避行動を行わせることを特徴とするナビゲーション装置。
【請求項７】
請求項１乃至４記載の三次元機械地図を備えたナビゲーション装置であって、
リアルタイム映像の記録、及び／又は当該ナビゲーション装置から得られたＣＶ値の記録から、事故時の自車を含む関連対象物の力学的解析を行うことを特徴とするナビゲーション装置。
【請求項８】
請求項１乃至４記載の三次元機械地図を備えたナビゲーション装置であって、
現実の空間に、及び／又はリアルタイム映像に矢印等の案内用のＣＧを合成し、又は音声によりナビゲーションを実行することを特徴とするナビゲーション装置。
【請求項９】
請求項１乃至３記載の三次元機械地図を備えたナビゲーション装置であって、
リアルタイム映像を前記三次元機械地図と同様のアルゴリズムで分析及び解析して、単純幾何学図形を抽出し、前記三次元機械地図を更新することを特徴とするナビゲーション装置。
【請求項１０】
請求項１乃至４記載の三次元機械地図を備えたナビゲーション装置であって、
取得された自車両の情報を他車両に配信することにより、当該他車両とで情報交換を行うことを特徴とするナビゲーション装置。
【請求項１１】
請求項１乃至４記載の三次元機械地図を備えたナビゲーション装置であって、
道路定点に設置されたカメラからの映像を前記三次元機械地図上に、座標統合して、合成して、矛盾無い位置と姿勢の関係で表示することを特徴とするナビゲーション装置。
【請求項１２】
請求項１乃至３記載の三次元機械地図を備えた自動運転装置であって、
車両に固定されて設置され、車両周囲の映像を取得する車載カメラ装置と、
当該車載カメラから出力するリアルタイム映像を取得するリアルタイム映像生成装置と、
当該車両に車載された三次元機械地図と前記リアルタイム映像を比較する比較装置と、
当該車両が走行していると予想される地域の範囲で、前記リアルタイム映像内の複数の領域で、一部分の幾何学的成分が前記三次元機械地図の一部分の幾何学成分との対応位置を求めながら、三次元機械地図の視点位置と視点姿勢と視点方向とが近づくように調整し、三次元機械地図の限定された範囲内を探索する再生探索装置と、
前記リアルタイム映像の複数部分が前記三次元機械地図の複数部分に一致したときの三次元機械地図の位置座標と、同様に一致したときの回転座標を出力する一致出力装置と、
当該車両の走行時のリアルタイム映像の各フレームについて、その位置座標と回転座標を求めることで、前記リアルタイム映像のＣＶ値を取得するＣＶ値取得装置と、
当該車両位置と姿勢、速度、加速度、方向、角速度、角加速度等を演算して、リアルタイムで取得する走行情報取得装置と、
前記ＣＶ値から、リアルタイム映像内の自車両以外の車両及び障害物等の位置と姿勢、速度、加速度、方向、角速度、角速度等を演算して、リアルタイムで取得する対象物情報取得装置と、
当該車両の走行車線と走行速度と走行方向を決定して走行させる自動走行装置と
を備えることを特徴とする自動運転装置。
【請求項１３】
自動運転による車両走行時の座標基準とするために、前記前記三次元機械地図を構成する幾何学的単純図形の中から、選択した図形又は画像を案内マーカ図形又は案内マーカ画像を三次元機械地図の三次元空間に対応させた指定案内マーカ図形と、
形状が既知である案内マーカを、前もって道路又は道路近傍に適切な密度で設置し、それを前記三次元機械地図生成装置により、三次元機械地図に対応して反映させた案内マーカ図形を三次元機械地図の三次元空間に対応させた統一形状案内マーカ図形と、
前記案内マーカ図形の元となる映像の一部画像を、そのまま案内マーカ画像として、三次元機械地図の三次元空間に対応させた案内マーカ画像と、を備え、
前記指定案内マーカ図形と統一形状案内マーカの内で図形によるものを案内マーカ図形として属性登録するとともに、画像によるものを案内マーカ画像として属性登録してこれらを組み合わせる請求項１２記載の自動運転装置。
【請求項１４】
前記車載カメラによる道路及び道路近傍のリアルタイム映像内に写っている案内マーカ映像を検出する案内マーカ検出装置と、
検出された前記案内マーカ映像と三次元機械地図上の案内マーカ図形とを対応させる案内マーカ地図対応装置と、
前記案内マーカ地図対応装置により、対応した複数の案内マーカ図形が持っているそれぞれの座標から、当該車両の座標と姿勢を演算で求める車両ＣＶ値取得装置と、
当該車両の進行に応じて、次々と新しく現れる案内マーカの座標を前記三次元機械地図上の新しい案内マーカ図形の座標を読み取るマーカ座標読み取り装置と、
前記座標を予想位置として前記座標付近をリアルタイム映像内に検索して、前記案内マーカ地図対応装置で、新しい案内マーカ映像と新しい案内マーカ図形とを対応させ、対応の取れた複数の案内マーカ図形が属性として持つ座標から、前記車両ＣＶ値取得装置により、前位置より先に進行した車両の座標と姿勢を演算で求める作業を連続的に続ける繰り返し演算装置と、
繰り返し作業による車両位置と姿勢を連続的に出力することで、常に車両位置を安定的に検出し続ける出力装置と、を備え、
車両の座標と姿勢を取得しながら進行させる請求項１３記載の自動運転装置。
【請求項１５】
当該車両に積載したリアルタイム映像の記録、及び／又は当該自動運転装置から得られたＣＶ値の記録に基づいて、事故等の特殊な時点において、当該車両を含む関連対象物それぞれの、及びそれらの関係についての力学的解析を行う請求項１２乃至１４のいずれか一項記載の自動運転装置。
【請求項１６】
リアルタイム映像を前記三次元機械地図と同様のアルゴリズムで分析及び解析して、単純幾何学図形を抽出し、前記三次元機械地図を更新する請求項１２乃至１５のいずれか一項記載の自動運転装置。
【図１】
【図２】
【図１３】
【図１４】
【図１５】
【図２０】
【図２４】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１６】
【図１７】
【図１８】
【図１９】
【図２１】
【図２２】
【図２３】
【図２５】
【図３１】
【図３２】
【図３３】
【図３４】
【図２】
【図１３】
【図１４】
【図１５】
【図２０】
【図２４】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１６】
【図１７】
【図１８】
【図１９】
【図２１】
【図２２】
【図２３】
【図２５】
【図３１】
【図３２】
【図３３】
【図３４】
【公開番号】特開２００９−１９９５７２（Ｐ２００９−１９９５７２Ａ）
【公開日】平成２１年９月３日（２００９．９．３）
【国際特許分類】
【出願番号】特願２００８−１０５００３（Ｐ２００８−１０５００３）
【出願日】平成２０年４月１４日（２００８．４．１４）
【出願人】（５０３３６１９６１）
【Ｆターム（参考）】
【公開日】平成２１年９月３日（２００９．９．３）
【国際特許分類】
【出願日】平成２０年４月１４日（２００８．４．１４）
【出願人】（５０３３６１９６１）
【Ｆターム（参考）】
[ Back to top ]