移動体位置測定装置
【課題】車載カメラを利用した実時間測位の技術に係わり、安価かつ高精度な測位を実現できる技術を提供する。
【解決手段】本自動車及び車載情報システム１００の実時間測位部１は、車載のカメラ４から参照地点付近で撮影された複数の実画像を入力し、その中から特徴部を抽出して第１の特徴情報（ｃ１）とする第１の特徴抽出部１１と、地図ＤＢ５から対応する第２の特徴情報（ｃ２）を読み出して取得する第２の特徴抽出部１２と、第１、第２の特徴情報を入力して特徴部を比較してマッチングすることにより、各特徴部の位置を推定し、当該位置をもとに、ＳＦＭ手法を用いて、移動に伴う各時点の自車の位置と上記各特徴部の位置との相対的な位置関係を演算することにより、自車現在位置を推定して第２の位置情報（Ｌ２）として出力する特徴マッチング部１３と、を有する。
【解決手段】本自動車及び車載情報システム１００の実時間測位部１は、車載のカメラ４から参照地点付近で撮影された複数の実画像を入力し、その中から特徴部を抽出して第１の特徴情報（ｃ１）とする第１の特徴抽出部１１と、地図ＤＢ５から対応する第２の特徴情報（ｃ２）を読み出して取得する第２の特徴抽出部１２と、第１、第２の特徴情報を入力して特徴部を比較してマッチングすることにより、各特徴部の位置を推定し、当該位置をもとに、ＳＦＭ手法を用いて、移動に伴う各時点の自車の位置と上記各特徴部の位置との相対的な位置関係を演算することにより、自車現在位置を推定して第２の位置情報（Ｌ２）として出力する特徴マッチング部１３と、を有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自動車（移動体）の測位技術に関する。特に、車載情報システム、マイコン、カーナビゲーションシステム等において、車載カメラ（その画像・映像）を用いて自動車（移動体）の現在位置を実時間で測位を行う技術に関する。更に、ＧＰＳ等の手段による位置情報、車載カメラの実画像（実時間での走行時の撮影画像）、及び地図ＤＢ（データベース）などを用いて、現在位置の推定・補正などの処理を行う技術に関する。
【背景技術】
【０００２】
本発明に係わる自動車の測位技術に関し、背景技術及びその問題点などは以下である。
【０００３】
（従来手法１） 主流の手法としてＧＰＳ＋自律航法がある。ＧＰＳ衛星等から自車現在位置情報（誤差有り）を取得し、そのデータに対し、車載のセンサ（ヨーレイトセンサ、ジャイロセンサ、加速度センサ等）や車速計（車速信号）による自律航法によって補正をかけ、カーナビ等のデジタル地図上でマップマッチング（道路などから外れないように自車位置を補正して表示する等）を行う。しかしながらこの手法では、単独の測位精度は１５メートル、出力頻度は１Ｈｚであり、そして周囲道路ネットワーク状況によって１〜２秒の出力遅延などの問題点が存在する。
【０００４】
（従来手法２） 特開２００５−２６５４９４号公報（特許文献１）の路面マーク比較方式がある。この方式では、路面マーク及び道路標識などをランドマークとし、各ランドマークの絶対位置（３次元空間位置座標）をデータベース（地図ＤＢ）に逐一登録しておく。実時間測位の際には、車載カメラの撮影画像から、車線境界線（白線など）とランドマークを抽出し、地図ＤＢの情報と比較（整合性判定）して、車線位置を確定する（車線領域での自車の位置を推定する）。
【０００５】
（従来手法３） 特開平１０−３００４９３号（特許文献２）のレーザースキャン方式がある。この方式では、レーダ装置によって検出された静止物のデータと道路周囲環境記憶装置に記憶された静止物のデータに基づいて、ナビゲーション装置で求めた自車現在位置を修正することにより、自車現在位置の誤差を数１０ｍ程度から１０ｃｍ程度〜数１０ｃｍ程度の誤差にすることができ、精度を向上することができる。
【０００６】
（従来手法４） また、高精度ＲＴＫ（Real Time Kinematic）−ＧＰＳ方式などがある。この方式では、誤差２〜３ｃｍ程度の測位精度が得られるようになった。しかし、従来手法３，４等の方式による測位装置は非常に高価であり、また、例えば高速移動体に関する測位を実時間で実施するには不得意である。
【０００７】
（従来手法５） また、本発明者の提案によるハイブリッド法（特開２００８−１７５７８６号公報（特許文献３））もある。この手法では、既存のカーナビションシステムに加え、３次元慣性ジャイロスコープセンサ、車速センサ、及び白線検出結果を統合して正確な車両位置を実時間に推定する。この手法では、実時間の測位速度を達成しているが、平均測位精度は３〜５メートルにとどまっている。
【０００８】
（従来手法６） また、車載カメラを利用した測位の手法として、本発明者の提案による、特開２０１０−１５１６５８号公報（特許文献４）（「移動体位置測定装置」等）がある。この手法では、移動体（自車）に搭載したカメラ（撮像部）の実画像（走行方向の路面や景観）から抽出した特徴部（特徴情報）と、地図ＤＢ（地図情報）に含まれる特徴部（特徴情報）とをマッチング処理することにより、移動体の位置を測定（推定）する。なお、本発明と特許文献４では、大きな枠組みは共通するが、技術的特徴は異なる。
【０００９】
特許文献４では、具体的には、自車の走行方向の路面の白線（車線境界線）などを撮像・認識し、移動体の白線からのオフセット距離を検出して移動体の位置を補正する（例えば複数の車線から適切な車線を選択する）等の処理により、自車位置の精度を高める。また、所定間隔で設けられた交差点などの参照地点において、複数の位置から走路方向を臨んで撮像した画像を、当該地点に関連付けて記憶しておくことができる（３次元画像の不要による処理短縮化）。また、事前に、３次元画像（実画像データ）ではなくその特徴部データ（特徴情報）のみを記憶しておくことで、抽出処理の省略による高速化、及び必要な記憶容量の削減ができる。また、地図情報をもとに複数の車線がある場合など、自車が存在可能な複数の位置を想定し、各々の存在可能位置（車線）から例えば前方の画像の特徴部の情報と、対応する実時間処理で抽出した実画像の特徴部の情報とを比較して差分を演算する（マッチング処理）。
【００１０】
一方、カメラ画像を利用した測位技術に係わり、ＳＦＭ（Structure from Motion）と呼ばれる手法がある。例えば非特許文献１，２に記載されている。ＳＦＭ手法では、カメラを搭載したロボット（移動体）において、カメラで撮像した画像情報のみから、３次元環境の復元と同時にロボットの移動の前後の相対的な位置・姿勢などを推定する。
【００１１】
また、画像から特徴量（特徴部、特徴情報）を抽出する画像解析処理については、例えば非特許文献３などに記載されている。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】特開２００５−２６５４９４号公報 （路面マーク比較）
【特許文献２】特開平１０−３００４９３号公報 （レーザースキャン）
【特許文献３】特開２００８−１７５７８６号公報 （ハイブリッド）
【特許文献４】特開２０１０−１５１６５８号公報 （カメラ利用）
【非特許文献】
【００１３】
【非特許文献１】C. Tomasi and T. Kanade, “Shape and motion from image streams under orthography-A factorization method,” Int. J. Comput. Vision, 9-2, pp. 137-154, Nov. 1992.
【非特許文献２】金出武雄, コンラッド・ポールマン, 森田俊彦, “因子分解法による物体形状とカメラ運動の復元,” 電子情報通信学会論文誌D-II, J74-D-II-8, pp. 1497-1505, Aug. 1993.
【非特許文献３】David G. Lowe, "Distinctive image features from scale-invariant keypoints", International Journal of Computer Vision,60, 2 (2004), pp. 91-110.
【発明の概要】
【発明が解決しようとする課題】
【００１４】
従来手法６（特許文献４）のように、車載カメラを利用した実時間の測位の技術において、安価（高価な装置を使用しないこと）、かつ高精度（少なくとも一般的なＧＰＳ等の手段よりも高精度）な測位を実現したい。
【００１５】
上記実時間の測位の際、カメラによる実画像（路面や景観などを含む）から特徴部を抽出する処理を行うが、周囲状況などの要因によって実画像の内容が変化するため、適切な抽出及び判定などが難しくなる問題点がある。上記要因は、例えば、走行時の時期・天候や、道路混雑状況（走行車両や路側帯の駐停車両、歩行人物など）、建築環境（道路や建物、樹木など）の変動などが挙げられる。上記問題点に対しても有効な測位を実現したい。
【００１６】
以上のように、本発明の主な目的は、車載カメラを利用した実時間測位の技術に係わり、安価かつ高精度な測位を実現できる技術を提供することである。
【課題を解決するための手段】
【００１７】
上記目的を達成するため、本発明の代表的な形態は、自動車などの移動体及びそれに搭載される情報システム等に係わる移動体位置測定装置などであって、以下に示す構成を有することを特徴とする。
【００１８】
本装置は、移動体の位置を測定ないし推定する移動体位置測定装置であって、（ａ）移動体の走行時に実時間でＧＰＳ等の手段を用いて移動体の現在の概略の位置と方位を第１の位置情報として検出する位置検出部と、（ｂ）前記移動体に搭載され移動体の走行時に実時間で移動体の周囲の少なくとも１つの第１の方向（例えば前方）を撮影して第１の画像（実画像群）を得る１つ以上の撮像部（カメラ）と、（ｃ）前記第１の画像として、地図上の参照地点（ＲＰ）の付近で撮影された複数の実画像の中から、直線や角点（特徴点）を含む特徴部を抽出して第１の特徴情報とする第１の特徴抽出部と、（ｄ）地図上の所定の参照地点の付近の第２の画像（実画像群）の中から、直線や角点を含む特徴部を抽出して第２の特徴情報とし、当該第２の特徴情報を含むデータが事前に登録された地図データベースと、（ｅ）前記移動体の走行時に、前記第１の位置情報をもとに、前記地図データベースから、前記参照地点の付近の該当する第２の特徴情報を読み出して取得する第２の特徴抽出部と、（ｆ）前記第１の特徴情報と前記第２の特徴情報とを入力してそれぞれの特徴部を比較してマッチングすることにより、前記参照地点の付近の複数の特徴部の位置を推定し、当該複数の特徴部の位置をもとに、ＳＦＭ手法を用いて、移動に伴う各時点の前記移動体の位置と上記複数の各特徴部の位置との相対的な位置関係を演算することにより、前記移動体の現在の位置を推定して第２の位置情報として出力する、特徴マッチング部と、（ｇ）前記第１の位置情報に対して前記第２の位置情報を用いて補正することにより、前記移動体の現在の位置を第３の位置情報として出力する位置補正部と、を有する。
【発明の効果】
【００１９】
本発明の代表的な形態によれば、車載カメラを利用した実時間測位の技術に係わり、安価かつ高精度な測位を実現できる。
【図面の簡単な説明】
【００２０】
【図１】本発明の一実施の形態のシステム（移動体位置測定装置）である自動車及び車載情報システムの構成例を示す図である。
【図２】ある時・位置における地図上のＲＰ付近の特徴部などの例を模式的に示す図である。
【図３】ある時・位置で撮像した実画像における特徴点などの例を示す図である。
【図４】移動前後の時・位置の実画像の間における自車位置と特徴点位置との相対関係の例を示す図である。
【図５】事前登録処理の詳しい処理例を示す図である。
【図６】実時間測位処理の詳しい処理例を示す図である。
【図７】ＳＦＭ手法を用いた位置推定等について概略的に示す図である。
【発明を実施するための形態】
【００２１】
以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全図において、同一部には原則として同一符号を付し、その繰り返しの説明は省略する。略称として、ＲＰ：参照地点（Reference Point）、等とする。説明上の記号として、Ｔ：時点、Ｋ：自車位置（≒カメラ撮像位置）、Ｇ：画像・実画像、Ｐ：特徴点（及び特徴点位置）、等とする。
【００２２】
本実施の形態の主な特徴は、移動体（自動車）の実時間測位の際、ＳＦＭ手法を利用した特徴マッチング処理などを行うことである。図１の構成に基づき、図５，図６の各処理により、図２〜図４のような特徴点（Ｐ）の抽出・推定・マッチング、及び自車位置（Ｋ）の推定などを行う。これにより自車現在位置（Ｋ）を安価かつ高精度で推定する。
【００２３】
［システム］
図１において、本発明の一実施の形態のシステム（移動体位置測定装置）である自動車及び車載情報システム１００の構成例を示している。自動車及び車載情報システム１００は、実時間測位部１、制御部２、センサ類３、カメラ（撮像部）４、地図ＤＢ（データベース）５、等を備える。制御部２は、例えばＣＰＵ，ＲＯＭ，ＲＡＭ等を含んで成り、回路やプログラムの処理により、システム全体の制御、及び実時間測位部１を含む処理機能を実現する。
【００２４】
なお本自動車（１００）はユーザが利用するが、後述する計測車両の場合は、実時間測位部１に対応した事前登録処理部などを備え、地図ＤＢ５への事前登録（ａ２）の処理（ｄ２登録処理を含む）を行う。またユーザの自動車（１００）に事前登録処理部を搭載する形態（地図ＤＢ５内容（ｄ２）を随時更新する形態）も可能である。
【００２５】
センサ類３は、ＧＰＳユニット３１、ジャイロセンサ３２、走行センサ３３、等の公知の要素である（他の手段を有してもよい）。ＧＰＳユニット３１により、複数のＧＰＳ衛星からの搬送波（例えば１回／１秒）を受信し、到達時間差などから緯度・経度による位置を検出する。ジャイロセンサ３２は、自車の角速度変化から、自車の方位角（向き）を検出する。走行センサ３３（車速計など）は、自車の走行の距離や速度を検出する。
【００２６】
カメラ４は、１台の自動車（１００）に対して１つ以上が搭載される。カメラ４の搭載の位置や向き、及び詳細な機能などは各種の形態が可能である。例えば図３のように、自動車（１００）の前方の路面や景観を含むフレームを撮像する位置・向きで搭載される。実時間測位の際、カメラ４は、自車の移動に伴い、走行方向（カメラ４の向きに対応）の道路や景観等を撮像し、それによる複数の実画像のフレームを得る。その実画像データは適宜記憶手段に一時記憶してもよい。カメラ４は、例えばリアビューカメラやドライブ・レコーダー用カメラなど、安価な単眼カメラが適用可能である。
【００２７】
１台の自動車に対して２つ以上（複数）のカメラ４を搭載する場合は、それら複数のカメラ４で同時に撮像した複数の実画像を特徴抽出処理（画像解析処理）などで用いる。これにより、コストが増える代わりに測位精度を高めることができる。上記複数の実画像については、例えば、同じ撮像位置（カメラ位置）から複数の方向の景観を撮像する形、あるいは、複数の撮像位置（カメラ位置）から同じ対象を撮像する形、などが可能である。
【００２８】
地図ＤＢ５は、地図情報（ｄ０）、ＲＰ情報（ｄ１）、第２の特徴情報（ｄ２）、等のデータを格納する。地図ＤＢ５は、図示しない記憶手段（例えばＨＤＤ，ＤＶＤ等）や通信ネットワーク上のサービス（地図ＤＢ５内容を自動更新する）等により実現される。地図ＤＢ５への事前登録（ａ２）の処理では、所定のＲＰ付近での実画像から特徴部を抽出し、ＲＰ情報（ｄ１）、第２の特徴情報（ｄ２）、等として関連付けて登録する。所定のＲＰとして少なくとも道路の交差点を含む。
【００２９】
地図情報（ｄ０）は、公知の道路情報・景観情報、等を含み、本例ではカーナビ６のデジタル地図で使用されるデータを想定している。また、本発明に係わる要素として、地図情報（ｄ０）には、特に、所定のＲＰに関する情報（ｄ１）を含み、ＲＰ情報（ｄ１）は、当該ＲＰに関連付けられる第２の特徴情報（ｄ２）を含む。
【００３０】
ＲＰ情報（ｄ１）は、地図上における、実時間測位の際の参照対象とする交差点などのＲＰやランドマーク等に関する情報であり、当該ＲＰ等に関する識別情報や属性情報、３次元空間（地図）内の位置座標（３次元座標｛Ｘ，Ｙ，Ｚ｝または対応する緯度・経度などの所定の形式の情報）などの情報を有する。
【００３１】
第２の特徴情報（ｄ２）は、ＲＰ情報（ｄ１）で識別されるＲＰの付近の景観（実画像）内に含まれる標識や建物などのランドマーク等に関して、事前登録（ａ２）の際の処理で抽出された特徴部（特徴点（Ｐ）など）に関する特徴量や位置座標（画像内の２次元座標{ｘ，ｙ}及び対応する３次元座標｛Ｘ，Ｙ，Ｚ｝）などの情報を含む。
【００３２】
カーナビ６は、実時間測位部１による自車現在位置の情報を利用・出力するカーナビゲーションシステムやディスプレイ等である。カーナビ６は、地図ＤＢ５のデータ、及び第３の位置情報（Ｌ３）等を用いて、ナビゲーション用の地図等のデータを随時に生成し、画面表示処理などを行う。また前述のように、車両制御のためのマイコンやＥＣＵへ車両現在位置と方位角の情報などを転送する形態としてもよい。
【００３３】
［実時間測位部、処理概要］
図１を用いて、本実施の形態（自動車及び車載情報システム１００）における実時間測位部１の構成、及びその実時間測位などの際の処理概要を以下（０）〜（５）等で説明する。実時間測位部１は、制御部２により、センサ類３、カメラ４、地図ＤＢ５、カーナビ６等と連携して、実時間測位に係わる処理を行う。実時間測位部１は、位置検出部１０、第１の特徴抽出部１１、第２の特徴抽出部１２、特徴マッチング部１３、位置補正部１４、等を備える。その他必要に応じて、画像データ記憶部、マップマッチング部、等の公知の要素を備えてもよい。なおユーザが一般車両で本システムを利用する際の各部の処理については基本的に実時間（リアルタイム）での処理であり、地図ＤＢ５のデータ｛ｄ０，ｄ１，ｄ２｝については、事前登録（ａ２）による処理（例えば本システム提供者、計測車両による処理）である。
【００３４】
（０） 位置検出部１０は、随時、実時間でのＧＰＳユニット３１等を含むセンサ類３からの検出情報（ｂ０）を入力し、そのデータを用いて自車の概略の現在位置と方位角など（一般的なＧＰＳによる測位誤差を持つ概略の第１の位置）を検出し、この検出情報を第１の位置情報（Ｌ１）とする。例えば図２に状況を示す。
【００３５】
（１） 第１の特徴抽出部１１は、実時間（ａ１）での入力によるカメラ４で撮像した実画像（カメラ４毎の時間軸上の複数の各々の画像フレーム）のデータ（ｂ１）を入力し、その実画像（例えば図３）の中から、自車周囲環境の道路を含む景観に関する特徴部を抽出する処理を行い、第１の特徴情報（ｃ１）として出力する。特徴部及び第１の特徴情報（ｃ１）は、上記実画像（２次元景観画像）に含まれる角点（特徴点（Ｐ））の座標（｛ｘ，ｙ｝）、及び、その角点の形状・色・明度変化などの特徴を表す特徴量（例えばＳＩＦＴ特徴量；例えば非特許文献３を参照）など、所定の画像解析処理などにより抽出できる各種の情報を含む（後述、図３等）。実時間測位は、少なくとも、交差点などのＲＰの近く（手前など）の位置から開始される。第１の特徴抽出部１１は、第１の位置情報（Ｌ１）に従って、視野範囲内にあるＲＰの近くの位置から、上記特徴抽出処理（時間軸上の複数の実画像フレームの処理）を行う。
【００３６】
（２） 第２の特徴抽出部１２は、上記第１の特徴抽出部１１の動作に並行して、自車の移動に伴う第１の位置情報（Ｌ１）をもとに、事前登録（ａ２）による各データ（ｄ１，ｄ２，ｄ３）が登録済みの地図ＤＢ５から、自車の第１の位置の付近の地図情報（ｄ０）、ＲＰ情報（ｄ１）、及び第２の特徴情報（ｄ２）を逐次に取得する。第２の特徴抽出部１２は、地図ＤＢ５からデータ（ｂ２）を読み出して入力する形で、該当ＲＰ付近の景観（実画像）の中から特徴部を抽出し、第１の特徴情報（ｃ１）に対するマッチングの対象（参照元）とするための第２の特徴情報（ｃ２）として出力する。上記データ（ｂ２）は、該当ＲＰ付近の特徴部の情報にあたる第２の特徴情報（ｄ２）を含む。地図ＤＢ５内に、対応する第２の特徴情報（ｄ２）が事前登録（ａ２）済みの場合は、単にそのデータを読み出して取得すればよい。第２の特徴情報（ｃ２）は、第１の特徴情報（ｃ１）と同様の形式であり、特徴点などについての特徴量や位置座標などの情報を含む。
【００３７】
上記（１），（２）における実時間（ａ１）及び事前登録（ａ２）の際のそれぞれの特徴抽出処理では、地図上のＲＰ（例えば図２の交差点など）付近の道路や景観を対象とした画像の中から、ランドマーク等（路面の白線、標識、建物など）に関する特徴部（特徴点など）を抽出する画像解析処理を行う（後述、図５，図６）。
【００３８】
（３） 特徴マッチング部１３は、第１の特徴情報（ｃ１）と第２の特徴情報（ｃ２）とを入力し、ＳＦＭ手法を用いた特徴マッチング処理を行うことにより、逐次で自車現在位置を推定し、この結果（推定の自車現在位置）を、第２の位置情報（Ｌ２）として出力する。自車の移動に伴う複数の時点（Ｔ）・位置（Ｋ）の複数の実画像（Ｇ）のフレーム中における複数の各々の特徴部（特徴点（Ｐ）など）との相対的な位置関係（相対的な自車の位置・方位）を、ＳＦＭ手法を用いて演算することにより、自車現在位置（Ｋ）を推定する（後述、図４等）。
【００３９】
（４） 位置補正部１４は、第１の位置情報（Ｌ１）と第２の位置情報（Ｌ２）とを入力し、Ｌ１に対してＬ２を用いて自車現在位置を補正し、その結果を第３の位置情報（Ｌ３）として出力する。Ｌ３は、車両現在位置と方位角の情報を含む。
【００４０】
なお、位置補正部１４を設けずに、第２の位置情報（Ｌ２）を最終結果の位置情報として出力する形態としてもよい。少なくともＬ２はＬ１よりも高精度な値が得られる。ＲＰ付近以外の場所では、位置補正部１４による補正を行うことが好適である。
【００４１】
またマップマッチング処理などを行う場合は、例えば、第１の位置情報（Ｌ１）等をもとに、地図内の道路から自車が外れないように補正する。例えばＬ１とその付近の地図情報（ｄ０）から、自車の存在可能位置を選択する。また、Ｌ１をもとに、道路の車線数や車線幅、路面上のマークや標識・信号といった地図情報（ｄ０）を取得して、自車の存在可能位置などを把握してもよい。
【００４２】
（５） 自動車及び車載情報システム１００では、上記第３の位置情報（Ｌ３）を用いて処理を行う。例えばカーナビ６で、Ｌ３等を用いて自車現在位置を表示する。また、車両制御のためのマイコンやＥＣＵへ上記Ｌ３による車両現在位置と方位角の情報を転送して利用する形態などとしてもよい。
【００４３】
［事前登録処理］
地図ＤＢ５への事前登録（ａ２）の際の処理は、例えば、計測車両（カメラ及び事前登録処理部などを備える）で行われる。事前登録処理部は、第１の特徴抽出部１１等と同様の処理部を含む構成である。計測車両により実際に対象の道路を走行して、対象のＲＰ付近の景観を撮像する。その実画像データを一旦記憶し、その実画像データから、第１の特徴抽出部１１での処理と同様に、特徴部を抽出する処理を行い、この結果を第２の特徴情報（ｄ２）とし、地図ＤＢ５内にＲＰ情報（ｄ１）に関連付けて登録する。この処理は、実時間測位の際の第１の特徴抽出部１１での処理内容と概略的には共通である。なおこの処理では、実時間測位の際とは異なり、すべてを実時間で処理する必要は無い。例えば予め収集・蓄積した実画像データを対象としてまとめて特徴抽出処理を実行する形態などとしてもよい。
【００４４】
［ＲＰ、ランドマーク］
図２において、地図、道路、ＲＰ、ランドマーク、特徴点（Ｐ）、等の例を、２次元平面によって模式的に示す（なお説明用であってカーナビ６で表示する地図とは異なる）。自車２００、交差点２０１、道路２０２、道路／車線２０３、白線（車線境界線）２０４、建物２０５、路側２０６、等の例を示す。Ｋは、自車２００の現在位置を示し、３次元座標｛Ｘ，Ｙ，Ｚ｝及び方位角（矢印）などによって表現される。
【００４５】
ＲＰは、測位に役立つ景観特徴を持つ測位参考点であり、２０１のような道路交差点や、分岐・合流部、そしてランドマーク地点などを指している。ＲＰとしては、現実（地図）に存在するうちの主なもの（測位に役立つもの）がＲＰ情報（ｄ１）として事前登録（ａ２）される。ＲＰは、交差点２０１に限らず、例えば所定間隔での複数の地点や、ランドマークとなる建物２０５などを対象としてもよい。またＲＰの３次元位置情報は、地図ＤＢ５を構築する際（ａ２）に計測車両によって計算されてＲＰ情報（ｄ１）に登録される。なおこのＲＰの３次元位置情報の計算過程については別に記述される（図５の事前登録処理にて記述されている）。また本実施の形態では登録しないが、事前に撮像されるＲＰ付近の実画像データを関連付けて登録してもよい。
【００４６】
図２では、交差点２０１（ＲＰ）付近の道路２０２・車線２０３において、自車２００が当該ＲＰに進入しようとしている時の自車２００の現在位置（Ｋ）を示している。ある時点（Ｔ）の位置（Ｋ）の情報として、事前に地図に登録されたＲＰの３次元位置座標（｛Ｘ，Ｙ，Ｚ｝）と方位角、そして当該位置データの誤差範囲（後述の推定精度）、等の情報を有する。なお座標だけでなく方位角も含めて位置情報と略称している。丸印は、実画像よりランドマーク等に関して抽出される特徴部の例として特徴点（Ｐ）を示し、例えば、自車２００の進行方向の路面の白線２０４の角点や、進行方向の両側の建物２０５の角などを示している。破線は、自車２００の現在位置（Ｋ）（≒カメラ４の撮像位置）と、複数の各々の特徴点（Ｐ）との間の距離（相対的な位置関係）を示している。なお特徴点（Ｐ）の位置は、図２では地図上の座標（｛Ｘ，Ｙ，Ｚ｝）で示しているが、対応する実画像内の画素の座標（｛ｘ，ｙ｝）の情報などを有する。
【００４７】
［実画像、特徴抽出処理］
図３は、ある時点（Ｔ）及び位置（Ｋ）におけるカメラ４で撮像した実画像（Ｇ）の例を模式的に示している。交差点（ＲＰ）の手前から前方を撮像した場合である。丸印は特徴点（Ｐ）の例である。わかりやすくするため他車の存在などは省略している。３０１は道路領域（走行車線領域）、３０２は白線（白線領域）を示す。各特徴点（Ｐ）は、実画像内の画素の位置座標情報（｛ｘ，ｙ｝）などを有する。
【００４８】
地図ＤＢ５に第２の特徴情報（ｄ２）を事前登録するための実画像（特徴部を抽出する対象）は、例えば図３のように、ＲＰの手前などから走行方向・ＲＰを臨んで撮像した画像とする。図２の交差点２０１の場合であれば、当該ＲＰに進入する４方向からの各画像を用いる。
【００４９】
特徴点（Ｐ）などを抽出するための特徴抽出処理では、基本的には公知の各種の技術（画像解析処理）を適用可能である。画像解析処理では、例えば、実画像を構成する画素の明度・輝度などの差分値を演算することで、路面の白線（２０４，３０２）や建物（２０５）の輪郭などに対応する線分や角点などの形状・色・明度変化などを表す特徴量を抽出することができる。なお、抽出する特徴部としては、適用する処理手法などに応じて、線分や角点などに限らず、所定の図形（円弧など）とすることも可能である。
【００５０】
［自車と特徴点との関係、特徴マッチング処理］
図４は、自車の移動による自車位置（Ｋ）と特徴点（Ｐ）との相対的な位置関係の例を示す。自車の移動に伴う複数の時点（Ｔ）・位置（Ｋ）の各実画像（Ｇ）における複数の特徴点（Ｐ）などがあるとき、ＳＦＭ手法によって、自車現在位置（Ｋ）を推定する。例えば、自車の移動の前後の２つの時点（Ｔ１，Ｔ２）を考える。対応する各位置（Ｋ１，Ｋ２）及び実画像（Ｇ１，Ｇ２）を有する。それぞれに対応して、複数の特徴点Ｐ（例えばＰ１〜Ｐ４）の位置と自車の位置（Ｋ）との相対的な距離がある。４０１（破線）はＴ１等に対応した距離、４０２（実線）はＴ２等に対応した距離である。
【００５１】
特徴部は、実画像（Ｇ）の撮像時の位置（Ｋ）によって変化する。言い換えると、特徴部の情報は、上記撮像時の位置（Ｋ）の情報が含まれている。よって、ＳＦＭ手法を利用した演算により、自車現在位置（Ｋ）を推定することができる。
【００５２】
特徴マッチング処理では、例えば、実時間測位の際に抽出された複数の特徴点Ｐ（第１の特徴情報（ｃ１））と、対応して地図ＤＢ５から読み出された複数の特徴点Ｐ（第２の特徴情報（ｃ２））とにおいて、複数の特徴点Ｐの位置が比較され、一致・類似の度合いが判定される。例えばよく使う手法としては、ユークリッド距離を計算し、距離が一番小さいものを、一致する特徴点とする。
【００５３】
［ＳＦＭ手法を用いた位置推定］
図７は、ＳＦＭ手法を用いた位置推定（特徴抽出・特徴マッチング処理）等について概略的に示す。本内容は、実時間測位部１及び事前登録処理部における特徴抽出処理や特徴マッチング処理の内容に対応する。
【００５４】
特徴点（Ｐ）は、２次元画像（例えば図３）より抽出され、その２次元座標（｛ｘ，ｙ｝）に基づいて、ＳＦＭ手法によって特徴点（Ｐ）の３次元空間位置（｛Ｘ，Ｙ，Ｚ｝）（例えば図２）が推定される。事前登録（ａ２）のプロセスでは、特徴点（Ｐ）における形状・色・明度変化などの特徴を表す特徴量（例えばＳＩＦＴ特徴量）と、推定されたＰ位置、及びその推定精度（誤差の共分散行列）などの情報が、地図ＤＢ５（ｄ２）へ登録される（後述、図５）。一方、実時間測位のプロセスでは、実時間（ａ１）の処理で抽出した各特徴点（Ｐ）の特徴量（ｃ１）と、地図ＤＢ５（ｄ２）に登録されている各特徴点（Ｐ）の特徴量（ｃ２）とのマッチングが行われる。この対応付けができた場合は、この結果（各Ｐ配置）を用いて、ＳＦＭ手法によって自車現在位置（Ｋ）を推定し（例えば図４）、その推定精度（誤差の共分散行列）も同時に計算できる。
【００５５】
［詳細］
以上に基づき、以下、本実施の形態における詳細な処理例などについて説明する。本システム（実時間測位部１）では、ＳＦＭ手法を活かして、車載カメラ４から撮像した複数枚の実画像（Ｇ）の特徴部（ｃ１，ｃ２）のマッチングにより、高精度な３次元相対位置（Ｋ）を推定の計算により決定する。
【００５６】
本手法の一環である特徴量（第２の特徴情報（ｃ２））の事前登録（ａ２）の処理として、交差点（２０１）等のＲＰの付近で事前に撮像された複数枚の実画像（Ｇ）から、特徴点Ｐなどの特徴部（特徴量及び３次元位置座標など）を抽出し、自車位置（Ｋ）を推定する。ＲＰ付近の特徴量を最適化処理し、自車位置（Ｋ）の測定誤差（推定精度）を所定範囲内に抑えられるまでは逐次に最適な特徴量（特徴部）を選択する。自車位置（Ｋ）の測定誤差（推定精度）を最小とするように最適な特徴量（特徴部）を選択すると同時に、特徴量の３次元空間位置と推定精度を求めることができる。最終的に選択された特徴部の情報を、第２の特徴情報（ｃ２）として地図ＤＢ５に登録する。
【００５７】
一方、実時間測位部１では、カメラ４の実画像（ｂ１）から抽出した特徴部の特徴量などの情報（第１の特徴情報（ｃ１））と、対応する地図ＤＢ５から読み出した情報（第２の特徴情報（ｃ２））とで特徴マッチング処理を行い、ＳＦＭ手法によって自車現在位置（Ｋ）とＲＰ付近の特徴部（複数の特徴点Ｐ）との相対的な位置と方位を計測することにより、自車現在位置（Ｋ）の高精度な測位が実現される。実時間測位部１では、自車の移動に伴い、少なくとも交差点などのＲＰの近くの位置から上記特徴マッチング処理などを実行し、各時点（Ｔ）の実画像（Ｇ）の処理を経ながら、逐次に自車現在位置（Ｋ）の測位誤差を最小化し、所定の許容精度（範囲）内に達した時点で当該測位結果を出力する。
【００５８】
本システムでは、ＳＦＭ手法を用いた処理の際、公知の拡張カルマンフィルタの原理に基づいて、特徴量の最適化（連続で撮影された複数の実画像の中から最適な特徴部を選択するプロセス）と同時に３次元の測位（３次元位置座標の計算）を行う。本処理に関して、事前登録処理（図５）と実時間測位処理（図６）とで分けられる。違いとしては例えば図５では各特徴点位置を推定するが図６では登録済みゆえ推定しない。
【００５９】
［事前登録処理（詳細）］
事前登録（ａ２）の際の処理では、所定のＲＰ付近の実画像内の特徴部の情報（ｄ２）を含む地図ＤＢ５を作成するために、計測車両（事前登録処理部）では、例えば所定のＲＰの手前の位置から計測を開始する。計測車両の例えば前方に搭載された１台以上のカメラからＲＰ・走行方向を撮像し、それら時間軸上の複数の実画像に対する特徴抽出処理（画像解析処理）を行う。
【００６０】
図５を用いて、事前登録処理部での詳しい構成・処理例として、ＳＦＭ手法を用いた処理などについて説明する。５００は、入力である実画像などのデータ情報である。
【００６１】
（１）まず、道路領域検出処理５０１では、入力画像（５００）の中から、道路領域（及び非道路領域）などを検出する。道路領域（走行車線領域など）は、例えば図２の２０３、図３の３０１のような領域であり、図２の２０４、図３の３０２のような白線などで区画される領域などである。
【００６２】
道路領域検出処理５０１では、実画像（道路や景観を含む）の中から、角点及び直線分などの特徴部を抽出することにより、上記道路領域を検出する。上記抽出する特徴部は、路面の白線などや景観内の建物などにおける特徴点（Ｐ）などである（図３）。
【００６３】
また、自車の走行道路に係わり複数の車線がある場合（例えば図３の３０１）は、白線の検出などにより、各車線領域を検出してもよい。その場合、実画像データにおける画素の差分値の演算で、Ｈｏｕｇｈ変換などを用いて、白線領域（３０２）などのエッジ（線分や角点）を検出する。
【００６４】
また、上記道路領域に対して、路側（路側帯領域）（例えば図２の２０６）、及び路側における特徴点（Ｐ）なども検出される。なおここでいう路側は道路外領域にあたる。
【００６５】
また、上記で検出される特徴部は、図２，図３のような測位に有効な特徴点（Ｐ）ばかりではなく、状況に応じて、測位に不要（悪影響）な特徴点なども含まれる。例えば、道路領域や路側における、走行車両（他車）、駐停車両、歩行人物、樹木、看板など（「不要物」とする）に対応した特徴点などである。
【００６６】
（２）不要物除去処理５０２では、上記（１）の結果に対して、以下の処理（５０３〜）で不要（悪影響）なものとして、上記不要物の特徴点などを除去する所定の処理を行う。例えば、上記路側などの領域内のエッジ分布密度の計算をもとに、不要物の特徴点を取り除く。
【００６７】
上記（１），（２）を経て、各時点（Ｔ）・位置（Ｋ）の実画像（Ｇ）に関係付けられた複数の各々の特徴点（Ｐ）などの特徴部（図２〜図４）に関する特徴量及び位置座標情報などを特徴情報として得る。
【００６８】
（３）計測処理５０３（ＳＦＭ処理）では、上記（２）の結果を対象（入力）として、拡張カルマンフィルタ（予測式、及び初期値）を用いて、それぞれの特徴点（Ｐ）の３次元空間位置（｛Ｘ，Ｙ，Ｚ｝）、及び自車現在位置（Ｋ）を推定しながら、それぞれの推定精度（誤差の共分散行列）を計算する。図５のように、（ａ）自車現在位置（Ｋ）、及び（ｂ）各々の特徴点（Ｐ）の位置、及び（ｃ）それら各々の推定精度（誤差の共分散行列）、等を推定する計算処理を行う。ａの自車位置については動き（変動量）を用いる。詳しい計算式については後述する。
【００６９】
（４）初期値設定５０４： 上記（３）の初期値については、本システムで予め設定された値が入力される。初期値は、初期特徴点位置、初期自車位置（動き）、等である。初期値の設定の仕方としては、例えば、経験値によるか、あるいは、地図ＤＢ５の地図情報（ｄ０）から大まかな位置を設定する、等である。また、例えば２台のカメラ４を使用する場合では、ステレオ計算による奥行き情報から求めて設定することができる。
【００７０】
（５）逐次変動入力５０５： 上記（３）の予測式に対しては、次の時点（Ｔ）の実画像（Ｇ）のフレームを取り込むまでに、センサ類３による自車速度・方向変化などの逐次変動情報が入力される。
【００７１】
（６）判定処理５０６では、上記（３）の推定の結果（ａ〜ｃ）をもとに、当該時点（Ｔ）・位置（Ｋ）・実画像（Ｇ）における上記ｃの推定精度（誤差の共分散行列）の値が、例えば所定の範囲内（閾値以下）になったかどうかを判定する。ｃ値が範囲外である場合は、最初に戻り、続けて次の時点（Ｔ）の実画像（Ｇ）のフレームを入力して、上記同様の計算処理等（５０１〜５０３）を繰り返す。ｃ値が範囲内になった場合は、その時点で、当該推定値（ａ〜ｃ）を最適なものとして選択して計測処理を終了する。
【００７２】
上記（６）の処理では、自車位置（Ｋ）の推定精度（ｃ）が所定範囲内に抑えられるまでは、次の実画像（Ｇ）のフレームを入力して新しい特徴量を導入しながら、前後のフレーム間で追跡できなかった特徴量を削除する。自車位置（Ｋ）の推定精度（ｃ）から新しい特徴量を選択して取り入れることができる。例えば、自車進行方向（例えば図２のＹ方向）の位置（Ｋ）の精度（ｃ）が低い場合では、遠い所にある新しい特徴点を選択することとができ、自車進行方向に対する横方向（例えば図２のＸ方向）の位置（Ｋ）の精度（ｃ）が低い場合では、近い所にある新しい特徴点を選択することができる。
【００７３】
（７）出力処理５０７では、上記（６）の選択の結果（ａ〜ｃ）の情報（最適な特徴部のリストを含む）を、当該ＲＰ位置に関する、自車位置（Ｋ）の推定値（対応する地図上の位置）及び特徴情報（ｃ２）として出力する。そして、事前登録（ａ２）の際は、上記出力情報を地図ＤＢ５に登録する。
【００７４】
［実時間測位処理（詳細）］
実時間測位の際の処理では、一般車両（１００）のカメラ４からＲＰ・走行方向を撮像し、第１の位置情報（Ｌ１）に基づいて地図ＤＢ５（ＲＰ情報（ｄ１））からカメラ４の視野範囲内のＲＰを検索し、当該ＲＰの手前の位置から実時間測位処理を開始する。
【００７５】
図６を用いて、実時間測位部１での詳しい構成・処理例として、ＳＦＭ手法を用いた処理などについて説明する。なお図６の処理は、図１では主に第１の特徴抽出部１１と特徴マッチング部１３の処理に対応する。６００は、入力である実画像のデータ（ｂ１）などである。以下、図５と重複する処理内容については簡略に説明する。
【００７６】
（１）まず、道路領域検出処理６０１では、入力画像（６００）の中から、角点及び直線分などの特徴部を抽出することにより、道路領域（及び非道路領域）などを検出する（６０１と同様）。上記検出する特徴部は、前述同様に、路面の白線や景観内の建物等における特徴点（Ｐ）などである。また前述同様に、走行道路に複数の車線がある場合は、白線の検出などにより、各車線領域を検出してもよい。また前述同様に、上記道路領域に対して、路側、及び路側における特徴点（Ｐ）なども検出される。上記で検出される特徴部は、測位に不要な特徴点（Ｐ）なども含まれる。
【００７７】
（２）不要物除去処理６０２では、上記（１）の結果に対して、以下の処理（６０３〜）で不要なものとして、上記不要物の特徴点（Ｐ）などを除去する所定の処理（５０２と同様）を行う。
【００７８】
上記（１），（２）を経て、各時点（Ｔ）・位置（Ｋ）における実画像（Ｇ）に関係付けられた複数の各々の特徴点（Ｐ）などの特徴部（図２〜図４）に関する特徴量及び位置座標情報などを特徴情報として得る。
【００７９】
（３）計測処理６０３（ＳＦＭ処理）では、上記（２）の結果を対象（入力）として、拡張カルマンフィルタ（予測式、及び初期値）を用いて、それぞれの特徴点（Ｐ）の３次元空間位置、及び自車現在位置（Ｋ）を推定しながら、それぞれの推定精度（誤差の共分散行列）を計算する。図６のように、（ａ）自車現在位置（Ｋ）、及び（ｃ）現在位置の推定精度（誤差の共分散行列）、等を推定する計算処理を行う。詳しい計算式については後述する。
【００８０】
（４）初期値設定６０４： 上記（３）の初期値については、第１の位置情報（Ｌ１）と地図ＤＢ５の地図情報（ｄ０）に関連付けて登録された第２の特徴情報（ｃ２）から各特徴点（Ｐ）の目標位置を推定し、上記（３）の初期値を設定する。
【００８１】
（５）逐次変動入力６０５： 上記（３）の予測式に対しては、次の時点（Ｔ）の実画像（Ｇ）のフレームを取り込むまでに、センサ類３による自車速度・方向変化などの逐次変動情報が入力される。
【００８２】
（６）判定処理６０６では、上記（３）の結果（ａ，ｃ）をもとに、当該時点（Ｔ）・位置（Ｋ）・実画像（Ｇ）における上記ｃの推定精度（誤差の共分散行列）の値が、所定の範囲内（閾値以下）になったかどうかを判定する。上記ｃ値が範囲外である場合は、最初に戻り、続けて次の実画像（Ｇ）のフレームを入力して、上記同様の計算処理等（６０１〜６０３）を繰り返す。上記ｃ値が範囲内になった場合は、その時点で、当該推定値（ａ，ｃ）を選択して終了する。
【００８３】
（７）出力処理６０７では、上記（６）の選択の結果（ａ，ｃ）の情報を、自車現在位置（Ｋ）の推定値（Ｌ２に対応）として出力する。
【００８４】
［計算式］
前記（３）の計測処理（ＳＦＭ処理）における計算式などは以下である。
【００８５】
拡張カルマンフィルタの予測式は、下記の式（１）である。
【００８６】
【数１】
【００８７】
ここでは、上記状態ベクトルＸ，計測誤差の共分散行列（予測誤差）Ｑは下記の式（２）で定義される。
【００８８】
【数２】
【００８９】
Ｘは、計測対象である車両（カメラ）の相対位置・姿勢を表す車両状態ベクトルＶと景観画像の特徴点の２次元座標ベクトルＰとの接合ベクトルであり、ＶとＰはそれぞれ６個（回転分量Ｒと並進分量Ｔ）と２Ｎ個（Ｎ：特徴点数）の要素で構成される。
【００９０】
カルマンフィルタの逐次ループでは、下記の式（３）である。
【００９１】
【数３】
【００９２】
ここでは、上記Ｇｖは車両状態（位置と向き）のジャコビアン行列、Ｇｐは特徴点のジャコビアン行列であり、上記Ｇｖ，Ｇｐは下記の式（４），（５）である。
【００９３】
【数４】
【００９４】
【数５】
【００９５】
カルマンフィルタの更新処理では、下記の式（６）である。
【００９６】
【数６】
【００９７】
ここでは、上記のｕ，ｖは、下記の式（７）である。
【００９８】
【数７】
【００９９】
prediction point：予測した特徴点の画像投影位置、matched point：マッチングした特徴点の２次元画像検出位置、Ｍｃ：カメラ内部行列、Ｒα，β，γ：カメラ回転行列、Ｐ：特徴点の３次元絶対位置、Ｖ：車両の現在位置を示す。
【０１００】
［効果等］
以上説明したように、本実施の形態によれば、自動車及び車載情報システム１００において、車載カメラ４を利用した仕組みにより自車現在位置（Ｋ）の測位を安価に実現でき、かつ、ＧＰＳ等の手段よりも高精度な推定（計算）を実現できる。従来の一般的な測位精度（１０〜１５メートル）に比べて、安価なカメラ４（リアビューカメラ等）及び既存の安価なナビゲーション用のハードウェア・ソフトウェア等でも、実時間（出力更新：１０〜６０Ｈｚ）でのサブメートル測位精度（平均測位誤差：１メートル以下）を達成でき、先進的なナビ連動システムを実現して一般車両への普及が可能となる。
【０１０１】
特に、実時間測位部１の高精度な測位の結果（Ｌ３）を利用して、例えばカーナビ６で、運転で必要とされている要素として、どの交差点で曲がるべきか、どの車線に進むべきか、等を効果的にナビゲートすることができる。また、車両へのシフト制御やエンジン噴射制御、さらにＡＣＣにおける車間距離制御などの車両協調システムなどに応用できる。
【０１０２】
本発明では、従来手法２（路面マーク比較）等と同様に、２次元の実画像（Ｇ）を利用するが、個々のマーク等（特徴点（Ｐ）等）の高精度な絶対位置の情報を地図ＤＢ５等へ事前登録する必要は無い（ＳＦＭ手法による推定の位置情報を登録する）。また本発明では、路側に存在する物（建物、看板、標識など）も、ＲＰ景観特徴を多く取り入れるため、前述の不要物除去処理により、先行車両などの遮蔽物による影響（測位精度への悪影響）を最小に抑制できる。
【０１０３】
本発明では、従来手法３（レーザースキャン）のように高価な手段・装置を必要とせずに高精度を実現できる。また実画像内の特徴は２次元情報であり、レーザーによる１次元情報よりも精度が高い、及び曖昧さが低い。また、カメラ４の視野が大きいため、先行車両や他の障害物による影響を受け難い。
【０１０４】
［変形例］
上記実施の形態では、データ量の削減、そして後の特徴マッチング処理のプロセスを高速化するために、地図ＤＢ５内には、特徴情報（各特徴部の特徴量など）のみを登録するが、対応する実画像データについては登録していない。変形例として、地図ＤＢ５には、記憶容量が十分ある場合などには、事前登録（ａ２）の際、あるいは実時間測位の際、カメラ４での撮影による実画像データを、ＲＰ情報（ｄ１）などと関連付けて登録してもよい。この場合、画像データの記憶の分、地図ＤＢ５の容量が必要になるが、記憶した画像データを後の処理で有効活用できる。例えば、事前登録（ａ２）の際に第２の特徴情報（ｄ２）を抽出して地図ＤＢ５へ登録済みではない場合は、実時間（ａ１）の処理の際、地図ＤＢ５内に事前に記憶された実画像データから随時に第２の特徴情報（ｃ２）を抽出する処理を行う形態としてもよい。
【０１０５】
以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることは言うまでもない。
【産業上の利用可能性】
【０１０６】
本発明は、自動車及び車載情報システム、カーナビ、ナビ連動システム、車両先進安全システム、等に利用可能である。
【符号の説明】
【０１０７】
１…実時間測位部、２…制御部、３…センサ類、４…カメラ、５…地図ＤＢ、６…カーナビ、１０…位置検出部、１１…第１の特徴抽出部、１２…第２の特徴走査部、１３…特徴マッチング部、１４…位置補正部、１００…自動車及び車載情報システム。
【技術分野】
【０００１】
本発明は、自動車（移動体）の測位技術に関する。特に、車載情報システム、マイコン、カーナビゲーションシステム等において、車載カメラ（その画像・映像）を用いて自動車（移動体）の現在位置を実時間で測位を行う技術に関する。更に、ＧＰＳ等の手段による位置情報、車載カメラの実画像（実時間での走行時の撮影画像）、及び地図ＤＢ（データベース）などを用いて、現在位置の推定・補正などの処理を行う技術に関する。
【背景技術】
【０００２】
本発明に係わる自動車の測位技術に関し、背景技術及びその問題点などは以下である。
【０００３】
（従来手法１） 主流の手法としてＧＰＳ＋自律航法がある。ＧＰＳ衛星等から自車現在位置情報（誤差有り）を取得し、そのデータに対し、車載のセンサ（ヨーレイトセンサ、ジャイロセンサ、加速度センサ等）や車速計（車速信号）による自律航法によって補正をかけ、カーナビ等のデジタル地図上でマップマッチング（道路などから外れないように自車位置を補正して表示する等）を行う。しかしながらこの手法では、単独の測位精度は１５メートル、出力頻度は１Ｈｚであり、そして周囲道路ネットワーク状況によって１〜２秒の出力遅延などの問題点が存在する。
【０００４】
（従来手法２） 特開２００５−２６５４９４号公報（特許文献１）の路面マーク比較方式がある。この方式では、路面マーク及び道路標識などをランドマークとし、各ランドマークの絶対位置（３次元空間位置座標）をデータベース（地図ＤＢ）に逐一登録しておく。実時間測位の際には、車載カメラの撮影画像から、車線境界線（白線など）とランドマークを抽出し、地図ＤＢの情報と比較（整合性判定）して、車線位置を確定する（車線領域での自車の位置を推定する）。
【０００５】
（従来手法３） 特開平１０−３００４９３号（特許文献２）のレーザースキャン方式がある。この方式では、レーダ装置によって検出された静止物のデータと道路周囲環境記憶装置に記憶された静止物のデータに基づいて、ナビゲーション装置で求めた自車現在位置を修正することにより、自車現在位置の誤差を数１０ｍ程度から１０ｃｍ程度〜数１０ｃｍ程度の誤差にすることができ、精度を向上することができる。
【０００６】
（従来手法４） また、高精度ＲＴＫ（Real Time Kinematic）−ＧＰＳ方式などがある。この方式では、誤差２〜３ｃｍ程度の測位精度が得られるようになった。しかし、従来手法３，４等の方式による測位装置は非常に高価であり、また、例えば高速移動体に関する測位を実時間で実施するには不得意である。
【０００７】
（従来手法５） また、本発明者の提案によるハイブリッド法（特開２００８−１７５７８６号公報（特許文献３））もある。この手法では、既存のカーナビションシステムに加え、３次元慣性ジャイロスコープセンサ、車速センサ、及び白線検出結果を統合して正確な車両位置を実時間に推定する。この手法では、実時間の測位速度を達成しているが、平均測位精度は３〜５メートルにとどまっている。
【０００８】
（従来手法６） また、車載カメラを利用した測位の手法として、本発明者の提案による、特開２０１０−１５１６５８号公報（特許文献４）（「移動体位置測定装置」等）がある。この手法では、移動体（自車）に搭載したカメラ（撮像部）の実画像（走行方向の路面や景観）から抽出した特徴部（特徴情報）と、地図ＤＢ（地図情報）に含まれる特徴部（特徴情報）とをマッチング処理することにより、移動体の位置を測定（推定）する。なお、本発明と特許文献４では、大きな枠組みは共通するが、技術的特徴は異なる。
【０００９】
特許文献４では、具体的には、自車の走行方向の路面の白線（車線境界線）などを撮像・認識し、移動体の白線からのオフセット距離を検出して移動体の位置を補正する（例えば複数の車線から適切な車線を選択する）等の処理により、自車位置の精度を高める。また、所定間隔で設けられた交差点などの参照地点において、複数の位置から走路方向を臨んで撮像した画像を、当該地点に関連付けて記憶しておくことができる（３次元画像の不要による処理短縮化）。また、事前に、３次元画像（実画像データ）ではなくその特徴部データ（特徴情報）のみを記憶しておくことで、抽出処理の省略による高速化、及び必要な記憶容量の削減ができる。また、地図情報をもとに複数の車線がある場合など、自車が存在可能な複数の位置を想定し、各々の存在可能位置（車線）から例えば前方の画像の特徴部の情報と、対応する実時間処理で抽出した実画像の特徴部の情報とを比較して差分を演算する（マッチング処理）。
【００１０】
一方、カメラ画像を利用した測位技術に係わり、ＳＦＭ（Structure from Motion）と呼ばれる手法がある。例えば非特許文献１，２に記載されている。ＳＦＭ手法では、カメラを搭載したロボット（移動体）において、カメラで撮像した画像情報のみから、３次元環境の復元と同時にロボットの移動の前後の相対的な位置・姿勢などを推定する。
【００１１】
また、画像から特徴量（特徴部、特徴情報）を抽出する画像解析処理については、例えば非特許文献３などに記載されている。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】特開２００５−２６５４９４号公報 （路面マーク比較）
【特許文献２】特開平１０−３００４９３号公報 （レーザースキャン）
【特許文献３】特開２００８−１７５７８６号公報 （ハイブリッド）
【特許文献４】特開２０１０−１５１６５８号公報 （カメラ利用）
【非特許文献】
【００１３】
【非特許文献１】C. Tomasi and T. Kanade, “Shape and motion from image streams under orthography-A factorization method,” Int. J. Comput. Vision, 9-2, pp. 137-154, Nov. 1992.
【非特許文献２】金出武雄, コンラッド・ポールマン, 森田俊彦, “因子分解法による物体形状とカメラ運動の復元,” 電子情報通信学会論文誌D-II, J74-D-II-8, pp. 1497-1505, Aug. 1993.
【非特許文献３】David G. Lowe, "Distinctive image features from scale-invariant keypoints", International Journal of Computer Vision,60, 2 (2004), pp. 91-110.
【発明の概要】
【発明が解決しようとする課題】
【００１４】
従来手法６（特許文献４）のように、車載カメラを利用した実時間の測位の技術において、安価（高価な装置を使用しないこと）、かつ高精度（少なくとも一般的なＧＰＳ等の手段よりも高精度）な測位を実現したい。
【００１５】
上記実時間の測位の際、カメラによる実画像（路面や景観などを含む）から特徴部を抽出する処理を行うが、周囲状況などの要因によって実画像の内容が変化するため、適切な抽出及び判定などが難しくなる問題点がある。上記要因は、例えば、走行時の時期・天候や、道路混雑状況（走行車両や路側帯の駐停車両、歩行人物など）、建築環境（道路や建物、樹木など）の変動などが挙げられる。上記問題点に対しても有効な測位を実現したい。
【００１６】
以上のように、本発明の主な目的は、車載カメラを利用した実時間測位の技術に係わり、安価かつ高精度な測位を実現できる技術を提供することである。
【課題を解決するための手段】
【００１７】
上記目的を達成するため、本発明の代表的な形態は、自動車などの移動体及びそれに搭載される情報システム等に係わる移動体位置測定装置などであって、以下に示す構成を有することを特徴とする。
【００１８】
本装置は、移動体の位置を測定ないし推定する移動体位置測定装置であって、（ａ）移動体の走行時に実時間でＧＰＳ等の手段を用いて移動体の現在の概略の位置と方位を第１の位置情報として検出する位置検出部と、（ｂ）前記移動体に搭載され移動体の走行時に実時間で移動体の周囲の少なくとも１つの第１の方向（例えば前方）を撮影して第１の画像（実画像群）を得る１つ以上の撮像部（カメラ）と、（ｃ）前記第１の画像として、地図上の参照地点（ＲＰ）の付近で撮影された複数の実画像の中から、直線や角点（特徴点）を含む特徴部を抽出して第１の特徴情報とする第１の特徴抽出部と、（ｄ）地図上の所定の参照地点の付近の第２の画像（実画像群）の中から、直線や角点を含む特徴部を抽出して第２の特徴情報とし、当該第２の特徴情報を含むデータが事前に登録された地図データベースと、（ｅ）前記移動体の走行時に、前記第１の位置情報をもとに、前記地図データベースから、前記参照地点の付近の該当する第２の特徴情報を読み出して取得する第２の特徴抽出部と、（ｆ）前記第１の特徴情報と前記第２の特徴情報とを入力してそれぞれの特徴部を比較してマッチングすることにより、前記参照地点の付近の複数の特徴部の位置を推定し、当該複数の特徴部の位置をもとに、ＳＦＭ手法を用いて、移動に伴う各時点の前記移動体の位置と上記複数の各特徴部の位置との相対的な位置関係を演算することにより、前記移動体の現在の位置を推定して第２の位置情報として出力する、特徴マッチング部と、（ｇ）前記第１の位置情報に対して前記第２の位置情報を用いて補正することにより、前記移動体の現在の位置を第３の位置情報として出力する位置補正部と、を有する。
【発明の効果】
【００１９】
本発明の代表的な形態によれば、車載カメラを利用した実時間測位の技術に係わり、安価かつ高精度な測位を実現できる。
【図面の簡単な説明】
【００２０】
【図１】本発明の一実施の形態のシステム（移動体位置測定装置）である自動車及び車載情報システムの構成例を示す図である。
【図２】ある時・位置における地図上のＲＰ付近の特徴部などの例を模式的に示す図である。
【図３】ある時・位置で撮像した実画像における特徴点などの例を示す図である。
【図４】移動前後の時・位置の実画像の間における自車位置と特徴点位置との相対関係の例を示す図である。
【図５】事前登録処理の詳しい処理例を示す図である。
【図６】実時間測位処理の詳しい処理例を示す図である。
【図７】ＳＦＭ手法を用いた位置推定等について概略的に示す図である。
【発明を実施するための形態】
【００２１】
以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全図において、同一部には原則として同一符号を付し、その繰り返しの説明は省略する。略称として、ＲＰ：参照地点（Reference Point）、等とする。説明上の記号として、Ｔ：時点、Ｋ：自車位置（≒カメラ撮像位置）、Ｇ：画像・実画像、Ｐ：特徴点（及び特徴点位置）、等とする。
【００２２】
本実施の形態の主な特徴は、移動体（自動車）の実時間測位の際、ＳＦＭ手法を利用した特徴マッチング処理などを行うことである。図１の構成に基づき、図５，図６の各処理により、図２〜図４のような特徴点（Ｐ）の抽出・推定・マッチング、及び自車位置（Ｋ）の推定などを行う。これにより自車現在位置（Ｋ）を安価かつ高精度で推定する。
【００２３】
［システム］
図１において、本発明の一実施の形態のシステム（移動体位置測定装置）である自動車及び車載情報システム１００の構成例を示している。自動車及び車載情報システム１００は、実時間測位部１、制御部２、センサ類３、カメラ（撮像部）４、地図ＤＢ（データベース）５、等を備える。制御部２は、例えばＣＰＵ，ＲＯＭ，ＲＡＭ等を含んで成り、回路やプログラムの処理により、システム全体の制御、及び実時間測位部１を含む処理機能を実現する。
【００２４】
なお本自動車（１００）はユーザが利用するが、後述する計測車両の場合は、実時間測位部１に対応した事前登録処理部などを備え、地図ＤＢ５への事前登録（ａ２）の処理（ｄ２登録処理を含む）を行う。またユーザの自動車（１００）に事前登録処理部を搭載する形態（地図ＤＢ５内容（ｄ２）を随時更新する形態）も可能である。
【００２５】
センサ類３は、ＧＰＳユニット３１、ジャイロセンサ３２、走行センサ３３、等の公知の要素である（他の手段を有してもよい）。ＧＰＳユニット３１により、複数のＧＰＳ衛星からの搬送波（例えば１回／１秒）を受信し、到達時間差などから緯度・経度による位置を検出する。ジャイロセンサ３２は、自車の角速度変化から、自車の方位角（向き）を検出する。走行センサ３３（車速計など）は、自車の走行の距離や速度を検出する。
【００２６】
カメラ４は、１台の自動車（１００）に対して１つ以上が搭載される。カメラ４の搭載の位置や向き、及び詳細な機能などは各種の形態が可能である。例えば図３のように、自動車（１００）の前方の路面や景観を含むフレームを撮像する位置・向きで搭載される。実時間測位の際、カメラ４は、自車の移動に伴い、走行方向（カメラ４の向きに対応）の道路や景観等を撮像し、それによる複数の実画像のフレームを得る。その実画像データは適宜記憶手段に一時記憶してもよい。カメラ４は、例えばリアビューカメラやドライブ・レコーダー用カメラなど、安価な単眼カメラが適用可能である。
【００２７】
１台の自動車に対して２つ以上（複数）のカメラ４を搭載する場合は、それら複数のカメラ４で同時に撮像した複数の実画像を特徴抽出処理（画像解析処理）などで用いる。これにより、コストが増える代わりに測位精度を高めることができる。上記複数の実画像については、例えば、同じ撮像位置（カメラ位置）から複数の方向の景観を撮像する形、あるいは、複数の撮像位置（カメラ位置）から同じ対象を撮像する形、などが可能である。
【００２８】
地図ＤＢ５は、地図情報（ｄ０）、ＲＰ情報（ｄ１）、第２の特徴情報（ｄ２）、等のデータを格納する。地図ＤＢ５は、図示しない記憶手段（例えばＨＤＤ，ＤＶＤ等）や通信ネットワーク上のサービス（地図ＤＢ５内容を自動更新する）等により実現される。地図ＤＢ５への事前登録（ａ２）の処理では、所定のＲＰ付近での実画像から特徴部を抽出し、ＲＰ情報（ｄ１）、第２の特徴情報（ｄ２）、等として関連付けて登録する。所定のＲＰとして少なくとも道路の交差点を含む。
【００２９】
地図情報（ｄ０）は、公知の道路情報・景観情報、等を含み、本例ではカーナビ６のデジタル地図で使用されるデータを想定している。また、本発明に係わる要素として、地図情報（ｄ０）には、特に、所定のＲＰに関する情報（ｄ１）を含み、ＲＰ情報（ｄ１）は、当該ＲＰに関連付けられる第２の特徴情報（ｄ２）を含む。
【００３０】
ＲＰ情報（ｄ１）は、地図上における、実時間測位の際の参照対象とする交差点などのＲＰやランドマーク等に関する情報であり、当該ＲＰ等に関する識別情報や属性情報、３次元空間（地図）内の位置座標（３次元座標｛Ｘ，Ｙ，Ｚ｝または対応する緯度・経度などの所定の形式の情報）などの情報を有する。
【００３１】
第２の特徴情報（ｄ２）は、ＲＰ情報（ｄ１）で識別されるＲＰの付近の景観（実画像）内に含まれる標識や建物などのランドマーク等に関して、事前登録（ａ２）の際の処理で抽出された特徴部（特徴点（Ｐ）など）に関する特徴量や位置座標（画像内の２次元座標{ｘ，ｙ}及び対応する３次元座標｛Ｘ，Ｙ，Ｚ｝）などの情報を含む。
【００３２】
カーナビ６は、実時間測位部１による自車現在位置の情報を利用・出力するカーナビゲーションシステムやディスプレイ等である。カーナビ６は、地図ＤＢ５のデータ、及び第３の位置情報（Ｌ３）等を用いて、ナビゲーション用の地図等のデータを随時に生成し、画面表示処理などを行う。また前述のように、車両制御のためのマイコンやＥＣＵへ車両現在位置と方位角の情報などを転送する形態としてもよい。
【００３３】
［実時間測位部、処理概要］
図１を用いて、本実施の形態（自動車及び車載情報システム１００）における実時間測位部１の構成、及びその実時間測位などの際の処理概要を以下（０）〜（５）等で説明する。実時間測位部１は、制御部２により、センサ類３、カメラ４、地図ＤＢ５、カーナビ６等と連携して、実時間測位に係わる処理を行う。実時間測位部１は、位置検出部１０、第１の特徴抽出部１１、第２の特徴抽出部１２、特徴マッチング部１３、位置補正部１４、等を備える。その他必要に応じて、画像データ記憶部、マップマッチング部、等の公知の要素を備えてもよい。なおユーザが一般車両で本システムを利用する際の各部の処理については基本的に実時間（リアルタイム）での処理であり、地図ＤＢ５のデータ｛ｄ０，ｄ１，ｄ２｝については、事前登録（ａ２）による処理（例えば本システム提供者、計測車両による処理）である。
【００３４】
（０） 位置検出部１０は、随時、実時間でのＧＰＳユニット３１等を含むセンサ類３からの検出情報（ｂ０）を入力し、そのデータを用いて自車の概略の現在位置と方位角など（一般的なＧＰＳによる測位誤差を持つ概略の第１の位置）を検出し、この検出情報を第１の位置情報（Ｌ１）とする。例えば図２に状況を示す。
【００３５】
（１） 第１の特徴抽出部１１は、実時間（ａ１）での入力によるカメラ４で撮像した実画像（カメラ４毎の時間軸上の複数の各々の画像フレーム）のデータ（ｂ１）を入力し、その実画像（例えば図３）の中から、自車周囲環境の道路を含む景観に関する特徴部を抽出する処理を行い、第１の特徴情報（ｃ１）として出力する。特徴部及び第１の特徴情報（ｃ１）は、上記実画像（２次元景観画像）に含まれる角点（特徴点（Ｐ））の座標（｛ｘ，ｙ｝）、及び、その角点の形状・色・明度変化などの特徴を表す特徴量（例えばＳＩＦＴ特徴量；例えば非特許文献３を参照）など、所定の画像解析処理などにより抽出できる各種の情報を含む（後述、図３等）。実時間測位は、少なくとも、交差点などのＲＰの近く（手前など）の位置から開始される。第１の特徴抽出部１１は、第１の位置情報（Ｌ１）に従って、視野範囲内にあるＲＰの近くの位置から、上記特徴抽出処理（時間軸上の複数の実画像フレームの処理）を行う。
【００３６】
（２） 第２の特徴抽出部１２は、上記第１の特徴抽出部１１の動作に並行して、自車の移動に伴う第１の位置情報（Ｌ１）をもとに、事前登録（ａ２）による各データ（ｄ１，ｄ２，ｄ３）が登録済みの地図ＤＢ５から、自車の第１の位置の付近の地図情報（ｄ０）、ＲＰ情報（ｄ１）、及び第２の特徴情報（ｄ２）を逐次に取得する。第２の特徴抽出部１２は、地図ＤＢ５からデータ（ｂ２）を読み出して入力する形で、該当ＲＰ付近の景観（実画像）の中から特徴部を抽出し、第１の特徴情報（ｃ１）に対するマッチングの対象（参照元）とするための第２の特徴情報（ｃ２）として出力する。上記データ（ｂ２）は、該当ＲＰ付近の特徴部の情報にあたる第２の特徴情報（ｄ２）を含む。地図ＤＢ５内に、対応する第２の特徴情報（ｄ２）が事前登録（ａ２）済みの場合は、単にそのデータを読み出して取得すればよい。第２の特徴情報（ｃ２）は、第１の特徴情報（ｃ１）と同様の形式であり、特徴点などについての特徴量や位置座標などの情報を含む。
【００３７】
上記（１），（２）における実時間（ａ１）及び事前登録（ａ２）の際のそれぞれの特徴抽出処理では、地図上のＲＰ（例えば図２の交差点など）付近の道路や景観を対象とした画像の中から、ランドマーク等（路面の白線、標識、建物など）に関する特徴部（特徴点など）を抽出する画像解析処理を行う（後述、図５，図６）。
【００３８】
（３） 特徴マッチング部１３は、第１の特徴情報（ｃ１）と第２の特徴情報（ｃ２）とを入力し、ＳＦＭ手法を用いた特徴マッチング処理を行うことにより、逐次で自車現在位置を推定し、この結果（推定の自車現在位置）を、第２の位置情報（Ｌ２）として出力する。自車の移動に伴う複数の時点（Ｔ）・位置（Ｋ）の複数の実画像（Ｇ）のフレーム中における複数の各々の特徴部（特徴点（Ｐ）など）との相対的な位置関係（相対的な自車の位置・方位）を、ＳＦＭ手法を用いて演算することにより、自車現在位置（Ｋ）を推定する（後述、図４等）。
【００３９】
（４） 位置補正部１４は、第１の位置情報（Ｌ１）と第２の位置情報（Ｌ２）とを入力し、Ｌ１に対してＬ２を用いて自車現在位置を補正し、その結果を第３の位置情報（Ｌ３）として出力する。Ｌ３は、車両現在位置と方位角の情報を含む。
【００４０】
なお、位置補正部１４を設けずに、第２の位置情報（Ｌ２）を最終結果の位置情報として出力する形態としてもよい。少なくともＬ２はＬ１よりも高精度な値が得られる。ＲＰ付近以外の場所では、位置補正部１４による補正を行うことが好適である。
【００４１】
またマップマッチング処理などを行う場合は、例えば、第１の位置情報（Ｌ１）等をもとに、地図内の道路から自車が外れないように補正する。例えばＬ１とその付近の地図情報（ｄ０）から、自車の存在可能位置を選択する。また、Ｌ１をもとに、道路の車線数や車線幅、路面上のマークや標識・信号といった地図情報（ｄ０）を取得して、自車の存在可能位置などを把握してもよい。
【００４２】
（５） 自動車及び車載情報システム１００では、上記第３の位置情報（Ｌ３）を用いて処理を行う。例えばカーナビ６で、Ｌ３等を用いて自車現在位置を表示する。また、車両制御のためのマイコンやＥＣＵへ上記Ｌ３による車両現在位置と方位角の情報を転送して利用する形態などとしてもよい。
【００４３】
［事前登録処理］
地図ＤＢ５への事前登録（ａ２）の際の処理は、例えば、計測車両（カメラ及び事前登録処理部などを備える）で行われる。事前登録処理部は、第１の特徴抽出部１１等と同様の処理部を含む構成である。計測車両により実際に対象の道路を走行して、対象のＲＰ付近の景観を撮像する。その実画像データを一旦記憶し、その実画像データから、第１の特徴抽出部１１での処理と同様に、特徴部を抽出する処理を行い、この結果を第２の特徴情報（ｄ２）とし、地図ＤＢ５内にＲＰ情報（ｄ１）に関連付けて登録する。この処理は、実時間測位の際の第１の特徴抽出部１１での処理内容と概略的には共通である。なおこの処理では、実時間測位の際とは異なり、すべてを実時間で処理する必要は無い。例えば予め収集・蓄積した実画像データを対象としてまとめて特徴抽出処理を実行する形態などとしてもよい。
【００４４】
［ＲＰ、ランドマーク］
図２において、地図、道路、ＲＰ、ランドマーク、特徴点（Ｐ）、等の例を、２次元平面によって模式的に示す（なお説明用であってカーナビ６で表示する地図とは異なる）。自車２００、交差点２０１、道路２０２、道路／車線２０３、白線（車線境界線）２０４、建物２０５、路側２０６、等の例を示す。Ｋは、自車２００の現在位置を示し、３次元座標｛Ｘ，Ｙ，Ｚ｝及び方位角（矢印）などによって表現される。
【００４５】
ＲＰは、測位に役立つ景観特徴を持つ測位参考点であり、２０１のような道路交差点や、分岐・合流部、そしてランドマーク地点などを指している。ＲＰとしては、現実（地図）に存在するうちの主なもの（測位に役立つもの）がＲＰ情報（ｄ１）として事前登録（ａ２）される。ＲＰは、交差点２０１に限らず、例えば所定間隔での複数の地点や、ランドマークとなる建物２０５などを対象としてもよい。またＲＰの３次元位置情報は、地図ＤＢ５を構築する際（ａ２）に計測車両によって計算されてＲＰ情報（ｄ１）に登録される。なおこのＲＰの３次元位置情報の計算過程については別に記述される（図５の事前登録処理にて記述されている）。また本実施の形態では登録しないが、事前に撮像されるＲＰ付近の実画像データを関連付けて登録してもよい。
【００４６】
図２では、交差点２０１（ＲＰ）付近の道路２０２・車線２０３において、自車２００が当該ＲＰに進入しようとしている時の自車２００の現在位置（Ｋ）を示している。ある時点（Ｔ）の位置（Ｋ）の情報として、事前に地図に登録されたＲＰの３次元位置座標（｛Ｘ，Ｙ，Ｚ｝）と方位角、そして当該位置データの誤差範囲（後述の推定精度）、等の情報を有する。なお座標だけでなく方位角も含めて位置情報と略称している。丸印は、実画像よりランドマーク等に関して抽出される特徴部の例として特徴点（Ｐ）を示し、例えば、自車２００の進行方向の路面の白線２０４の角点や、進行方向の両側の建物２０５の角などを示している。破線は、自車２００の現在位置（Ｋ）（≒カメラ４の撮像位置）と、複数の各々の特徴点（Ｐ）との間の距離（相対的な位置関係）を示している。なお特徴点（Ｐ）の位置は、図２では地図上の座標（｛Ｘ，Ｙ，Ｚ｝）で示しているが、対応する実画像内の画素の座標（｛ｘ，ｙ｝）の情報などを有する。
【００４７】
［実画像、特徴抽出処理］
図３は、ある時点（Ｔ）及び位置（Ｋ）におけるカメラ４で撮像した実画像（Ｇ）の例を模式的に示している。交差点（ＲＰ）の手前から前方を撮像した場合である。丸印は特徴点（Ｐ）の例である。わかりやすくするため他車の存在などは省略している。３０１は道路領域（走行車線領域）、３０２は白線（白線領域）を示す。各特徴点（Ｐ）は、実画像内の画素の位置座標情報（｛ｘ，ｙ｝）などを有する。
【００４８】
地図ＤＢ５に第２の特徴情報（ｄ２）を事前登録するための実画像（特徴部を抽出する対象）は、例えば図３のように、ＲＰの手前などから走行方向・ＲＰを臨んで撮像した画像とする。図２の交差点２０１の場合であれば、当該ＲＰに進入する４方向からの各画像を用いる。
【００４９】
特徴点（Ｐ）などを抽出するための特徴抽出処理では、基本的には公知の各種の技術（画像解析処理）を適用可能である。画像解析処理では、例えば、実画像を構成する画素の明度・輝度などの差分値を演算することで、路面の白線（２０４，３０２）や建物（２０５）の輪郭などに対応する線分や角点などの形状・色・明度変化などを表す特徴量を抽出することができる。なお、抽出する特徴部としては、適用する処理手法などに応じて、線分や角点などに限らず、所定の図形（円弧など）とすることも可能である。
【００５０】
［自車と特徴点との関係、特徴マッチング処理］
図４は、自車の移動による自車位置（Ｋ）と特徴点（Ｐ）との相対的な位置関係の例を示す。自車の移動に伴う複数の時点（Ｔ）・位置（Ｋ）の各実画像（Ｇ）における複数の特徴点（Ｐ）などがあるとき、ＳＦＭ手法によって、自車現在位置（Ｋ）を推定する。例えば、自車の移動の前後の２つの時点（Ｔ１，Ｔ２）を考える。対応する各位置（Ｋ１，Ｋ２）及び実画像（Ｇ１，Ｇ２）を有する。それぞれに対応して、複数の特徴点Ｐ（例えばＰ１〜Ｐ４）の位置と自車の位置（Ｋ）との相対的な距離がある。４０１（破線）はＴ１等に対応した距離、４０２（実線）はＴ２等に対応した距離である。
【００５１】
特徴部は、実画像（Ｇ）の撮像時の位置（Ｋ）によって変化する。言い換えると、特徴部の情報は、上記撮像時の位置（Ｋ）の情報が含まれている。よって、ＳＦＭ手法を利用した演算により、自車現在位置（Ｋ）を推定することができる。
【００５２】
特徴マッチング処理では、例えば、実時間測位の際に抽出された複数の特徴点Ｐ（第１の特徴情報（ｃ１））と、対応して地図ＤＢ５から読み出された複数の特徴点Ｐ（第２の特徴情報（ｃ２））とにおいて、複数の特徴点Ｐの位置が比較され、一致・類似の度合いが判定される。例えばよく使う手法としては、ユークリッド距離を計算し、距離が一番小さいものを、一致する特徴点とする。
【００５３】
［ＳＦＭ手法を用いた位置推定］
図７は、ＳＦＭ手法を用いた位置推定（特徴抽出・特徴マッチング処理）等について概略的に示す。本内容は、実時間測位部１及び事前登録処理部における特徴抽出処理や特徴マッチング処理の内容に対応する。
【００５４】
特徴点（Ｐ）は、２次元画像（例えば図３）より抽出され、その２次元座標（｛ｘ，ｙ｝）に基づいて、ＳＦＭ手法によって特徴点（Ｐ）の３次元空間位置（｛Ｘ，Ｙ，Ｚ｝）（例えば図２）が推定される。事前登録（ａ２）のプロセスでは、特徴点（Ｐ）における形状・色・明度変化などの特徴を表す特徴量（例えばＳＩＦＴ特徴量）と、推定されたＰ位置、及びその推定精度（誤差の共分散行列）などの情報が、地図ＤＢ５（ｄ２）へ登録される（後述、図５）。一方、実時間測位のプロセスでは、実時間（ａ１）の処理で抽出した各特徴点（Ｐ）の特徴量（ｃ１）と、地図ＤＢ５（ｄ２）に登録されている各特徴点（Ｐ）の特徴量（ｃ２）とのマッチングが行われる。この対応付けができた場合は、この結果（各Ｐ配置）を用いて、ＳＦＭ手法によって自車現在位置（Ｋ）を推定し（例えば図４）、その推定精度（誤差の共分散行列）も同時に計算できる。
【００５５】
［詳細］
以上に基づき、以下、本実施の形態における詳細な処理例などについて説明する。本システム（実時間測位部１）では、ＳＦＭ手法を活かして、車載カメラ４から撮像した複数枚の実画像（Ｇ）の特徴部（ｃ１，ｃ２）のマッチングにより、高精度な３次元相対位置（Ｋ）を推定の計算により決定する。
【００５６】
本手法の一環である特徴量（第２の特徴情報（ｃ２））の事前登録（ａ２）の処理として、交差点（２０１）等のＲＰの付近で事前に撮像された複数枚の実画像（Ｇ）から、特徴点Ｐなどの特徴部（特徴量及び３次元位置座標など）を抽出し、自車位置（Ｋ）を推定する。ＲＰ付近の特徴量を最適化処理し、自車位置（Ｋ）の測定誤差（推定精度）を所定範囲内に抑えられるまでは逐次に最適な特徴量（特徴部）を選択する。自車位置（Ｋ）の測定誤差（推定精度）を最小とするように最適な特徴量（特徴部）を選択すると同時に、特徴量の３次元空間位置と推定精度を求めることができる。最終的に選択された特徴部の情報を、第２の特徴情報（ｃ２）として地図ＤＢ５に登録する。
【００５７】
一方、実時間測位部１では、カメラ４の実画像（ｂ１）から抽出した特徴部の特徴量などの情報（第１の特徴情報（ｃ１））と、対応する地図ＤＢ５から読み出した情報（第２の特徴情報（ｃ２））とで特徴マッチング処理を行い、ＳＦＭ手法によって自車現在位置（Ｋ）とＲＰ付近の特徴部（複数の特徴点Ｐ）との相対的な位置と方位を計測することにより、自車現在位置（Ｋ）の高精度な測位が実現される。実時間測位部１では、自車の移動に伴い、少なくとも交差点などのＲＰの近くの位置から上記特徴マッチング処理などを実行し、各時点（Ｔ）の実画像（Ｇ）の処理を経ながら、逐次に自車現在位置（Ｋ）の測位誤差を最小化し、所定の許容精度（範囲）内に達した時点で当該測位結果を出力する。
【００５８】
本システムでは、ＳＦＭ手法を用いた処理の際、公知の拡張カルマンフィルタの原理に基づいて、特徴量の最適化（連続で撮影された複数の実画像の中から最適な特徴部を選択するプロセス）と同時に３次元の測位（３次元位置座標の計算）を行う。本処理に関して、事前登録処理（図５）と実時間測位処理（図６）とで分けられる。違いとしては例えば図５では各特徴点位置を推定するが図６では登録済みゆえ推定しない。
【００５９】
［事前登録処理（詳細）］
事前登録（ａ２）の際の処理では、所定のＲＰ付近の実画像内の特徴部の情報（ｄ２）を含む地図ＤＢ５を作成するために、計測車両（事前登録処理部）では、例えば所定のＲＰの手前の位置から計測を開始する。計測車両の例えば前方に搭載された１台以上のカメラからＲＰ・走行方向を撮像し、それら時間軸上の複数の実画像に対する特徴抽出処理（画像解析処理）を行う。
【００６０】
図５を用いて、事前登録処理部での詳しい構成・処理例として、ＳＦＭ手法を用いた処理などについて説明する。５００は、入力である実画像などのデータ情報である。
【００６１】
（１）まず、道路領域検出処理５０１では、入力画像（５００）の中から、道路領域（及び非道路領域）などを検出する。道路領域（走行車線領域など）は、例えば図２の２０３、図３の３０１のような領域であり、図２の２０４、図３の３０２のような白線などで区画される領域などである。
【００６２】
道路領域検出処理５０１では、実画像（道路や景観を含む）の中から、角点及び直線分などの特徴部を抽出することにより、上記道路領域を検出する。上記抽出する特徴部は、路面の白線などや景観内の建物などにおける特徴点（Ｐ）などである（図３）。
【００６３】
また、自車の走行道路に係わり複数の車線がある場合（例えば図３の３０１）は、白線の検出などにより、各車線領域を検出してもよい。その場合、実画像データにおける画素の差分値の演算で、Ｈｏｕｇｈ変換などを用いて、白線領域（３０２）などのエッジ（線分や角点）を検出する。
【００６４】
また、上記道路領域に対して、路側（路側帯領域）（例えば図２の２０６）、及び路側における特徴点（Ｐ）なども検出される。なおここでいう路側は道路外領域にあたる。
【００６５】
また、上記で検出される特徴部は、図２，図３のような測位に有効な特徴点（Ｐ）ばかりではなく、状況に応じて、測位に不要（悪影響）な特徴点なども含まれる。例えば、道路領域や路側における、走行車両（他車）、駐停車両、歩行人物、樹木、看板など（「不要物」とする）に対応した特徴点などである。
【００６６】
（２）不要物除去処理５０２では、上記（１）の結果に対して、以下の処理（５０３〜）で不要（悪影響）なものとして、上記不要物の特徴点などを除去する所定の処理を行う。例えば、上記路側などの領域内のエッジ分布密度の計算をもとに、不要物の特徴点を取り除く。
【００６７】
上記（１），（２）を経て、各時点（Ｔ）・位置（Ｋ）の実画像（Ｇ）に関係付けられた複数の各々の特徴点（Ｐ）などの特徴部（図２〜図４）に関する特徴量及び位置座標情報などを特徴情報として得る。
【００６８】
（３）計測処理５０３（ＳＦＭ処理）では、上記（２）の結果を対象（入力）として、拡張カルマンフィルタ（予測式、及び初期値）を用いて、それぞれの特徴点（Ｐ）の３次元空間位置（｛Ｘ，Ｙ，Ｚ｝）、及び自車現在位置（Ｋ）を推定しながら、それぞれの推定精度（誤差の共分散行列）を計算する。図５のように、（ａ）自車現在位置（Ｋ）、及び（ｂ）各々の特徴点（Ｐ）の位置、及び（ｃ）それら各々の推定精度（誤差の共分散行列）、等を推定する計算処理を行う。ａの自車位置については動き（変動量）を用いる。詳しい計算式については後述する。
【００６９】
（４）初期値設定５０４： 上記（３）の初期値については、本システムで予め設定された値が入力される。初期値は、初期特徴点位置、初期自車位置（動き）、等である。初期値の設定の仕方としては、例えば、経験値によるか、あるいは、地図ＤＢ５の地図情報（ｄ０）から大まかな位置を設定する、等である。また、例えば２台のカメラ４を使用する場合では、ステレオ計算による奥行き情報から求めて設定することができる。
【００７０】
（５）逐次変動入力５０５： 上記（３）の予測式に対しては、次の時点（Ｔ）の実画像（Ｇ）のフレームを取り込むまでに、センサ類３による自車速度・方向変化などの逐次変動情報が入力される。
【００７１】
（６）判定処理５０６では、上記（３）の推定の結果（ａ〜ｃ）をもとに、当該時点（Ｔ）・位置（Ｋ）・実画像（Ｇ）における上記ｃの推定精度（誤差の共分散行列）の値が、例えば所定の範囲内（閾値以下）になったかどうかを判定する。ｃ値が範囲外である場合は、最初に戻り、続けて次の時点（Ｔ）の実画像（Ｇ）のフレームを入力して、上記同様の計算処理等（５０１〜５０３）を繰り返す。ｃ値が範囲内になった場合は、その時点で、当該推定値（ａ〜ｃ）を最適なものとして選択して計測処理を終了する。
【００７２】
上記（６）の処理では、自車位置（Ｋ）の推定精度（ｃ）が所定範囲内に抑えられるまでは、次の実画像（Ｇ）のフレームを入力して新しい特徴量を導入しながら、前後のフレーム間で追跡できなかった特徴量を削除する。自車位置（Ｋ）の推定精度（ｃ）から新しい特徴量を選択して取り入れることができる。例えば、自車進行方向（例えば図２のＹ方向）の位置（Ｋ）の精度（ｃ）が低い場合では、遠い所にある新しい特徴点を選択することとができ、自車進行方向に対する横方向（例えば図２のＸ方向）の位置（Ｋ）の精度（ｃ）が低い場合では、近い所にある新しい特徴点を選択することができる。
【００７３】
（７）出力処理５０７では、上記（６）の選択の結果（ａ〜ｃ）の情報（最適な特徴部のリストを含む）を、当該ＲＰ位置に関する、自車位置（Ｋ）の推定値（対応する地図上の位置）及び特徴情報（ｃ２）として出力する。そして、事前登録（ａ２）の際は、上記出力情報を地図ＤＢ５に登録する。
【００７４】
［実時間測位処理（詳細）］
実時間測位の際の処理では、一般車両（１００）のカメラ４からＲＰ・走行方向を撮像し、第１の位置情報（Ｌ１）に基づいて地図ＤＢ５（ＲＰ情報（ｄ１））からカメラ４の視野範囲内のＲＰを検索し、当該ＲＰの手前の位置から実時間測位処理を開始する。
【００７５】
図６を用いて、実時間測位部１での詳しい構成・処理例として、ＳＦＭ手法を用いた処理などについて説明する。なお図６の処理は、図１では主に第１の特徴抽出部１１と特徴マッチング部１３の処理に対応する。６００は、入力である実画像のデータ（ｂ１）などである。以下、図５と重複する処理内容については簡略に説明する。
【００７６】
（１）まず、道路領域検出処理６０１では、入力画像（６００）の中から、角点及び直線分などの特徴部を抽出することにより、道路領域（及び非道路領域）などを検出する（６０１と同様）。上記検出する特徴部は、前述同様に、路面の白線や景観内の建物等における特徴点（Ｐ）などである。また前述同様に、走行道路に複数の車線がある場合は、白線の検出などにより、各車線領域を検出してもよい。また前述同様に、上記道路領域に対して、路側、及び路側における特徴点（Ｐ）なども検出される。上記で検出される特徴部は、測位に不要な特徴点（Ｐ）なども含まれる。
【００７７】
（２）不要物除去処理６０２では、上記（１）の結果に対して、以下の処理（６０３〜）で不要なものとして、上記不要物の特徴点（Ｐ）などを除去する所定の処理（５０２と同様）を行う。
【００７８】
上記（１），（２）を経て、各時点（Ｔ）・位置（Ｋ）における実画像（Ｇ）に関係付けられた複数の各々の特徴点（Ｐ）などの特徴部（図２〜図４）に関する特徴量及び位置座標情報などを特徴情報として得る。
【００７９】
（３）計測処理６０３（ＳＦＭ処理）では、上記（２）の結果を対象（入力）として、拡張カルマンフィルタ（予測式、及び初期値）を用いて、それぞれの特徴点（Ｐ）の３次元空間位置、及び自車現在位置（Ｋ）を推定しながら、それぞれの推定精度（誤差の共分散行列）を計算する。図６のように、（ａ）自車現在位置（Ｋ）、及び（ｃ）現在位置の推定精度（誤差の共分散行列）、等を推定する計算処理を行う。詳しい計算式については後述する。
【００８０】
（４）初期値設定６０４： 上記（３）の初期値については、第１の位置情報（Ｌ１）と地図ＤＢ５の地図情報（ｄ０）に関連付けて登録された第２の特徴情報（ｃ２）から各特徴点（Ｐ）の目標位置を推定し、上記（３）の初期値を設定する。
【００８１】
（５）逐次変動入力６０５： 上記（３）の予測式に対しては、次の時点（Ｔ）の実画像（Ｇ）のフレームを取り込むまでに、センサ類３による自車速度・方向変化などの逐次変動情報が入力される。
【００８２】
（６）判定処理６０６では、上記（３）の結果（ａ，ｃ）をもとに、当該時点（Ｔ）・位置（Ｋ）・実画像（Ｇ）における上記ｃの推定精度（誤差の共分散行列）の値が、所定の範囲内（閾値以下）になったかどうかを判定する。上記ｃ値が範囲外である場合は、最初に戻り、続けて次の実画像（Ｇ）のフレームを入力して、上記同様の計算処理等（６０１〜６０３）を繰り返す。上記ｃ値が範囲内になった場合は、その時点で、当該推定値（ａ，ｃ）を選択して終了する。
【００８３】
（７）出力処理６０７では、上記（６）の選択の結果（ａ，ｃ）の情報を、自車現在位置（Ｋ）の推定値（Ｌ２に対応）として出力する。
【００８４】
［計算式］
前記（３）の計測処理（ＳＦＭ処理）における計算式などは以下である。
【００８５】
拡張カルマンフィルタの予測式は、下記の式（１）である。
【００８６】
【数１】
【００８７】
ここでは、上記状態ベクトルＸ，計測誤差の共分散行列（予測誤差）Ｑは下記の式（２）で定義される。
【００８８】
【数２】
【００８９】
Ｘは、計測対象である車両（カメラ）の相対位置・姿勢を表す車両状態ベクトルＶと景観画像の特徴点の２次元座標ベクトルＰとの接合ベクトルであり、ＶとＰはそれぞれ６個（回転分量Ｒと並進分量Ｔ）と２Ｎ個（Ｎ：特徴点数）の要素で構成される。
【００９０】
カルマンフィルタの逐次ループでは、下記の式（３）である。
【００９１】
【数３】
【００９２】
ここでは、上記Ｇｖは車両状態（位置と向き）のジャコビアン行列、Ｇｐは特徴点のジャコビアン行列であり、上記Ｇｖ，Ｇｐは下記の式（４），（５）である。
【００９３】
【数４】
【００９４】
【数５】
【００９５】
カルマンフィルタの更新処理では、下記の式（６）である。
【００９６】
【数６】
【００９７】
ここでは、上記のｕ，ｖは、下記の式（７）である。
【００９８】
【数７】
【００９９】
prediction point：予測した特徴点の画像投影位置、matched point：マッチングした特徴点の２次元画像検出位置、Ｍｃ：カメラ内部行列、Ｒα，β，γ：カメラ回転行列、Ｐ：特徴点の３次元絶対位置、Ｖ：車両の現在位置を示す。
【０１００】
［効果等］
以上説明したように、本実施の形態によれば、自動車及び車載情報システム１００において、車載カメラ４を利用した仕組みにより自車現在位置（Ｋ）の測位を安価に実現でき、かつ、ＧＰＳ等の手段よりも高精度な推定（計算）を実現できる。従来の一般的な測位精度（１０〜１５メートル）に比べて、安価なカメラ４（リアビューカメラ等）及び既存の安価なナビゲーション用のハードウェア・ソフトウェア等でも、実時間（出力更新：１０〜６０Ｈｚ）でのサブメートル測位精度（平均測位誤差：１メートル以下）を達成でき、先進的なナビ連動システムを実現して一般車両への普及が可能となる。
【０１０１】
特に、実時間測位部１の高精度な測位の結果（Ｌ３）を利用して、例えばカーナビ６で、運転で必要とされている要素として、どの交差点で曲がるべきか、どの車線に進むべきか、等を効果的にナビゲートすることができる。また、車両へのシフト制御やエンジン噴射制御、さらにＡＣＣにおける車間距離制御などの車両協調システムなどに応用できる。
【０１０２】
本発明では、従来手法２（路面マーク比較）等と同様に、２次元の実画像（Ｇ）を利用するが、個々のマーク等（特徴点（Ｐ）等）の高精度な絶対位置の情報を地図ＤＢ５等へ事前登録する必要は無い（ＳＦＭ手法による推定の位置情報を登録する）。また本発明では、路側に存在する物（建物、看板、標識など）も、ＲＰ景観特徴を多く取り入れるため、前述の不要物除去処理により、先行車両などの遮蔽物による影響（測位精度への悪影響）を最小に抑制できる。
【０１０３】
本発明では、従来手法３（レーザースキャン）のように高価な手段・装置を必要とせずに高精度を実現できる。また実画像内の特徴は２次元情報であり、レーザーによる１次元情報よりも精度が高い、及び曖昧さが低い。また、カメラ４の視野が大きいため、先行車両や他の障害物による影響を受け難い。
【０１０４】
［変形例］
上記実施の形態では、データ量の削減、そして後の特徴マッチング処理のプロセスを高速化するために、地図ＤＢ５内には、特徴情報（各特徴部の特徴量など）のみを登録するが、対応する実画像データについては登録していない。変形例として、地図ＤＢ５には、記憶容量が十分ある場合などには、事前登録（ａ２）の際、あるいは実時間測位の際、カメラ４での撮影による実画像データを、ＲＰ情報（ｄ１）などと関連付けて登録してもよい。この場合、画像データの記憶の分、地図ＤＢ５の容量が必要になるが、記憶した画像データを後の処理で有効活用できる。例えば、事前登録（ａ２）の際に第２の特徴情報（ｄ２）を抽出して地図ＤＢ５へ登録済みではない場合は、実時間（ａ１）の処理の際、地図ＤＢ５内に事前に記憶された実画像データから随時に第２の特徴情報（ｃ２）を抽出する処理を行う形態としてもよい。
【０１０５】
以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることは言うまでもない。
【産業上の利用可能性】
【０１０６】
本発明は、自動車及び車載情報システム、カーナビ、ナビ連動システム、車両先進安全システム、等に利用可能である。
【符号の説明】
【０１０７】
１…実時間測位部、２…制御部、３…センサ類、４…カメラ、５…地図ＤＢ、６…カーナビ、１０…位置検出部、１１…第１の特徴抽出部、１２…第２の特徴走査部、１３…特徴マッチング部、１４…位置補正部、１００…自動車及び車載情報システム。
【特許請求の範囲】
【請求項１】
移動体の位置を測定ないし推定する移動体位置測定装置であって、
実時間で移動体の位置を測定ないし推定する実時間測位部を有し、
前記実時間測位部は、
前記移動体に搭載され移動体の走行時に実時間で移動体の周囲の少なくとも１つの第１の方向を撮影して第１の画像を得る１つ以上の撮像部から前記第１の画像を入力し、
前記第１の画像として、地図上の参照地点の付近で撮影された複数の実画像の中から、直線や角点を含む特徴部を抽出して第１の特徴情報とする第１の特徴抽出部と、
地図上の所定の参照地点の付近の第２の画像の中から、直線や角点を含む特徴部を抽出して第２の特徴情報とし、当該第２の特徴情報を含むデータが事前に登録された地図データベースから、前記移動体の走行時に、前記参照地点の付近の該当する第２の特徴情報を読み出して取得する第２の特徴抽出部と、
前記第１の特徴情報と前記第２の特徴情報とを入力してそれぞれの特徴部を比較してマッチングすることにより、前記参照地点の付近の複数の特徴部の位置を推定し、当該複数の特徴部の位置をもとに、ＳＦＭ手法を用いて、移動に伴う各時点の前記移動体の位置と上記複数の各特徴部の位置との相対的な位置関係を演算することにより、前記移動体の現在の位置を推定して第２の位置情報として出力する、特徴マッチング部と、を有すること、を特徴とする移動体位置測定装置。
【請求項２】
移動体の位置を測定ないし推定する移動体位置測定装置であって、
移動体の走行時に実時間で移動体の現在の概略の位置と方位を第１の位置情報として検出する位置検出部と、
前記移動体に搭載され移動体の走行時に実時間で移動体の周囲の少なくとも１つの第１の方向を撮影して第１の画像を得る１つ以上の撮像部と、
前記第１の画像として、地図上の参照地点の付近で撮影された複数の実画像の中から、直線や角点を含む特徴部を抽出して第１の特徴情報とする第１の特徴抽出部と、
地図上の所定の参照地点の付近の第２の画像の中から、直線や角点を含む特徴部を抽出して第２の特徴情報とし、当該第２の特徴情報を含むデータが事前に登録された地図データベースと、
前記移動体の走行時に、前記第１の位置情報をもとに、前記地図データベースから、前記参照地点の付近の該当する第２の特徴情報を読み出して取得する第２の特徴抽出部と、
前記第１の特徴情報と前記第２の特徴情報とを入力してそれぞれの特徴部を比較してマッチングすることにより、前記参照地点の付近の複数の特徴部の位置を推定し、当該複数の特徴部の位置をもとに、ＳＦＭ手法を用いて、移動に伴う各時点の前記移動体の位置と上記複数の各特徴部の位置との相対的な位置関係を演算することにより、前記移動体の現在の位置を推定して第２の位置情報として出力する、特徴マッチング部と、
前記第１の位置情報に対して前記第２の位置情報を用いて補正することにより、前記移動体の現在の位置を第３の位置情報として出力する位置補正部と、を有すること、を特徴とする移動体位置測定装置。
【請求項３】
請求項１または２に記載の移動体位置測定装置において、
前記第１の特徴抽出部、第２の特徴抽出部、及び前記特徴マッチング部において、
画像解析処理により、実画像のフレームの中から道路領域及び非道路領域を検出する処理と、
路側帯領域を含む領域における不要物の影響を除去する処理と、
ＳＦＭ手法による拡張カルマンフィルタを用いた計測処理により前記移動体の位置及び前記特徴部の位置を推定する処理と、
前記計測処理の結果をもとに、最適な位置を選択するための所定の閾値を用いた判定処理と、
前記判定の結果を出力する処理と、を含むこと、を特徴とする移動体位置測定装置。
【請求項４】
請求項３記載の移動体位置測定装置において、
前記ＳＦＭ手法による計測処理では、前記移動体の位置、前記複数の特徴部の位置、及びその推定精度を計算し、
前記判定処理では、上記推定精度が所定の範囲内に達するまでは、次の時点の実画像を入力して、前記計測処理を繰り返し、所定の範囲内に達した時点で、当該推定結果を最適なものとして選択して終了すること、を特徴とする移動体位置測定装置。
【請求項５】
請求項２記載の移動体位置測定装置において、
前記第１の位置検出部は、ＧＰＳユニットを用いて、前記移動体の現在の概略の位置と方位を第１の位置情報として検出すること、を特徴とする移動体位置測定装置。
【請求項１】
移動体の位置を測定ないし推定する移動体位置測定装置であって、
実時間で移動体の位置を測定ないし推定する実時間測位部を有し、
前記実時間測位部は、
前記移動体に搭載され移動体の走行時に実時間で移動体の周囲の少なくとも１つの第１の方向を撮影して第１の画像を得る１つ以上の撮像部から前記第１の画像を入力し、
前記第１の画像として、地図上の参照地点の付近で撮影された複数の実画像の中から、直線や角点を含む特徴部を抽出して第１の特徴情報とする第１の特徴抽出部と、
地図上の所定の参照地点の付近の第２の画像の中から、直線や角点を含む特徴部を抽出して第２の特徴情報とし、当該第２の特徴情報を含むデータが事前に登録された地図データベースから、前記移動体の走行時に、前記参照地点の付近の該当する第２の特徴情報を読み出して取得する第２の特徴抽出部と、
前記第１の特徴情報と前記第２の特徴情報とを入力してそれぞれの特徴部を比較してマッチングすることにより、前記参照地点の付近の複数の特徴部の位置を推定し、当該複数の特徴部の位置をもとに、ＳＦＭ手法を用いて、移動に伴う各時点の前記移動体の位置と上記複数の各特徴部の位置との相対的な位置関係を演算することにより、前記移動体の現在の位置を推定して第２の位置情報として出力する、特徴マッチング部と、を有すること、を特徴とする移動体位置測定装置。
【請求項２】
移動体の位置を測定ないし推定する移動体位置測定装置であって、
移動体の走行時に実時間で移動体の現在の概略の位置と方位を第１の位置情報として検出する位置検出部と、
前記移動体に搭載され移動体の走行時に実時間で移動体の周囲の少なくとも１つの第１の方向を撮影して第１の画像を得る１つ以上の撮像部と、
前記第１の画像として、地図上の参照地点の付近で撮影された複数の実画像の中から、直線や角点を含む特徴部を抽出して第１の特徴情報とする第１の特徴抽出部と、
地図上の所定の参照地点の付近の第２の画像の中から、直線や角点を含む特徴部を抽出して第２の特徴情報とし、当該第２の特徴情報を含むデータが事前に登録された地図データベースと、
前記移動体の走行時に、前記第１の位置情報をもとに、前記地図データベースから、前記参照地点の付近の該当する第２の特徴情報を読み出して取得する第２の特徴抽出部と、
前記第１の特徴情報と前記第２の特徴情報とを入力してそれぞれの特徴部を比較してマッチングすることにより、前記参照地点の付近の複数の特徴部の位置を推定し、当該複数の特徴部の位置をもとに、ＳＦＭ手法を用いて、移動に伴う各時点の前記移動体の位置と上記複数の各特徴部の位置との相対的な位置関係を演算することにより、前記移動体の現在の位置を推定して第２の位置情報として出力する、特徴マッチング部と、
前記第１の位置情報に対して前記第２の位置情報を用いて補正することにより、前記移動体の現在の位置を第３の位置情報として出力する位置補正部と、を有すること、を特徴とする移動体位置測定装置。
【請求項３】
請求項１または２に記載の移動体位置測定装置において、
前記第１の特徴抽出部、第２の特徴抽出部、及び前記特徴マッチング部において、
画像解析処理により、実画像のフレームの中から道路領域及び非道路領域を検出する処理と、
路側帯領域を含む領域における不要物の影響を除去する処理と、
ＳＦＭ手法による拡張カルマンフィルタを用いた計測処理により前記移動体の位置及び前記特徴部の位置を推定する処理と、
前記計測処理の結果をもとに、最適な位置を選択するための所定の閾値を用いた判定処理と、
前記判定の結果を出力する処理と、を含むこと、を特徴とする移動体位置測定装置。
【請求項４】
請求項３記載の移動体位置測定装置において、
前記ＳＦＭ手法による計測処理では、前記移動体の位置、前記複数の特徴部の位置、及びその推定精度を計算し、
前記判定処理では、上記推定精度が所定の範囲内に達するまでは、次の時点の実画像を入力して、前記計測処理を繰り返し、所定の範囲内に達した時点で、当該推定結果を最適なものとして選択して終了すること、を特徴とする移動体位置測定装置。
【請求項５】
請求項２記載の移動体位置測定装置において、
前記第１の位置検出部は、ＧＰＳユニットを用いて、前記移動体の現在の概略の位置と方位を第１の位置情報として検出すること、を特徴とする移動体位置測定装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１２−１２７８９６（Ｐ２０１２−１２７８９６Ａ）
【公開日】平成２４年７月５日（２０１２．７．５）
【国際特許分類】
【出願番号】特願２０１０−２８１３８１（Ｐ２０１０−２８１３８１）
【出願日】平成２２年１２月１７日（２０１０．１２．１７）
【国等の委託研究の成果に係る記載事項】（出願人による申告）平成２２年度 独立行政法人科学技術振興機構 研究成果最適支援事業「フィージビリティスタディ 可能性発掘タイプ（シーズ顕在化）」における研究開発課題「次世代カーナビ用サブメートル実時間高精度測位技術開発」、産業技術力強化法第１９条の適用を受ける特許出願
【出願人】（５０４１５９２３５）国立大学法人 熊本大学 (314)
【出願人】（３０２０６２９３１）ルネサスエレクトロニクス株式会社 (8,021)
【Ｆターム（参考）】
【公開日】平成２４年７月５日（２０１２．７．５）
【国際特許分類】
【出願日】平成２２年１２月１７日（２０１０．１２．１７）
【国等の委託研究の成果に係る記載事項】（出願人による申告）平成２２年度 独立行政法人科学技術振興機構 研究成果最適支援事業「フィージビリティスタディ 可能性発掘タイプ（シーズ顕在化）」における研究開発課題「次世代カーナビ用サブメートル実時間高精度測位技術開発」、産業技術力強化法第１９条の適用を受ける特許出願
【出願人】（５０４１５９２３５）国立大学法人 熊本大学 (314)
【出願人】（３０２０６２９３１）ルネサスエレクトロニクス株式会社 (8,021)
【Ｆターム（参考）】
[ Back to top ]