移動体位置測定装置及び移動体位置測定方法
【課題】移動体８の位置を簡素な構成により正確に測定することができ、この測定結果に基づいて正確でリアルな２次元地図画像又は３次元景観画像を表示する。
【解決手段】移動体８に搭載された撮像部４により撮像した実画像から特徴部を抽出する実画像特徴抽出部２１と、移動体８の位置と方位角を検出して景観情報または景観情報から特徴部を抽出又は特定する景観特徴特定部２３と、実画像の特徴部と景観特徴特定部２３により特定された特徴部とをマッチング処理する特徴マッチング処理部２４を備え、この特徴マッチング処理により移動体８の位置を高精度で測定する。
【解決手段】移動体８に搭載された撮像部４により撮像した実画像から特徴部を抽出する実画像特徴抽出部２１と、移動体８の位置と方位角を検出して景観情報または景観情報から特徴部を抽出又は特定する景観特徴特定部２３と、実画像の特徴部と景観特徴特定部２３により特定された特徴部とをマッチング処理する特徴マッチング処理部２４を備え、この特徴マッチング処理により移動体８の位置を高精度で測定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、移動体の移動方向を撮像して得られる実画像と、ＧＰＳ（Global Positioning System）衛星等から取得した位置情報と、当該位置情報に関連付けて記憶された景観情報から、移動体の位置を測定する移動体位置測定装置及びその測定方法に関する。
【背景技術】
【０００２】
近年、車両等に搭載されるナビゲーションシステムが普及している。このナビゲーションシステムは、ＧＰＳ衛星等から位置情報を取得し、この位置情報に基づいてＣＤ-ＲＯＭやＤＶＤに記憶された地図データを読み出して、現在の車両位置を表示装置に表示する。これにより、現在の車両の位置を地図上における位置として一目で認識することができる利便性を備えている。
【０００３】
しかし、一般的にＧＰＳ衛星から取得した位置情報には１０ｍ以上の誤差が含まれている。そのために、ＧＰＳ衛星からの位置情報をそのまま地図データに対応付けると、車両が道路上を走行していない画像が表示される。これを補正するためにマップマッチング処理が行われている。マップマッチング処理は、ＧＰＳ衛星から得られた位置情報と、移動体に搭載した走行センサやジャイロセンサから得られる走行距離や角速度変化等から生成された移動情報に基づいて、移動体が位置する可能性の最も高い道路を地図データから選択し、この選択された道路の中央に移動体を強制的に移動させて補正している。これにより、移動体が道路から外れないように表示する。更に移動体の位置を現実の位置に合致させるために、移動体の移動方向の路面を撮像し、撮像した路面に描かれる白線を認識して、この白線情報により移動体の位置精度を向上させる方法も提案されている（例えば特許文献１を参照）。
【０００４】
更に、３次元ＣＧ画像を表示するナビゲーションシステムが開発されている。ＧＰＳ等からの移動体の位置情報に基づいて、ＤＶＤ等に記憶された地図データ上の現在の位置及び方位角を特定し、この地図データに関連付けて記憶された３次元ＣＧ画像を読み出して表示する。この種のナビゲーションシステムによれば、移動体の移動に伴って刻々と変化する景観をＣＧ画像として表示することができる。建物や標識等のランドマークを３次元画像とともに表示すれば、雨の日や夜間など、或いは前方に大型車が走行して視界が遮られるなどの場合でも、走行位置を素早く確認することができる利便性を有している。
【特許文献１】特開２００７−２２００１３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、マップマッチング処理により得られた移動体の現在位置は、走行道路の中央となる。従って、ＣＤ-ＲＯＭやＤＶＤ等の記録媒体から読み出す道路地図や景観画像は、この道路の中央の位置で走行方向が指定された画像となる。図９は、このようなマップマッチング処理により得られた位置から地図情報を表示している例を表している。
【０００６】
図９（ａ）は、マップマッチングにより補正された車両の位置に基づいて、道路地図上に車両を表示したモニタ画像の表示例を表す。実際の車両５３は、道路の左車線５１を走行しているが、表示上では道路の中央分離線５２上を走行しているように表示される。図９（ｂ）は、マップマッチングにより補正された車両の位置と方位角に基づいて、記憶媒体から取得した３次元ＣＧ画像をモニタに表示している例である。実際の車両５３は、左側の３つの車線のいずれかを走行しているが、モニタに表示される３次元ＣＧ画像では、道路の中央分離線５２上を走行している画面が表示される。特に、道路の中央部が対向車の右折車線である場合などは、反対車線を走ることになり、危険性が高くなる。従って、このままの表示では実際のナビゲーションシステムに適用することができない。また、路面に描かれた白線を認識して、白線からの移動体の位置を補正する場合でも、走行可能車線が複数ある道路の場合は、どの車線を走行しているかを判別することは困難である。
【０００７】
そこで、本発明の目的は、移動体の現実の位置を高精度で測定可能とすることにより、現実の走行状態に合致した地図画像や景観画像を表示することができるようにすることである。
【課題を解決するための手段】
【０００８】
本発明においては上記課題を解決するために以下の手段を講じた。
【０００９】
発明においては、移動体に搭載され、前記移動体が走行する方向の路面に描かれた車線とその方向の景観を撮像して実画像を取得する撮像部と、前記実画像から特徴部を抽出する実画像特徴抽出部と、前記移動体の位置と方位角を検出する位置情報検出部と、地図上の道路に関連付けられた景観情報を記憶する地図情報記憶部と、前記検出された位置と方位角を用いて前記地図情報記憶部から前記景観情報を取得し、前記取得された景観情報に含まれる特徴部を特定する景観特徴特定部と、前記実画像の特徴部と、前記景観特徴特定部により特定された特徴部とをマッチング処理する特徴マッチング処理部と、前記マッチング処理の結果により前記実画像を撮像した移動体の位置を推定する移動体位置推定部と、を備える移動体位置測定装置とした。
【００１０】
また、前記景観情報は、道路に沿って所定の間隔で設けられた地点における複数の位置から走路方向を望んで撮像された景観画像又は当該景観画像から抽出された特徴部から構成され、前記景観特徴特定部は、前記移動体が前記道路の特定の地点に近接したときに前記地図情報記憶部から前記景観情報を取得して、前記景観情報に含まれる特徴部を特定するようにした。
【００１１】
また、前記道路に沿って所定の間隔で設けられた地点は、地図上の交差点とした。
【００１２】
また、前記景観情報は、移動体の位置及び方位角に関連して景観を表示可能な３次元景観画像から構成され、前記景観特徴特定部は、前記移動体の位置及び方位角に基づいて前記地図情報記憶部から前記３次元景観画像を取得し、前記３次元景観画像から特徴部を抽出して当該特徴部を特定するようにした。
【００１３】
また、前記地図情報記憶部は、道路の車線数及び車線幅を含む道路情報を更に記憶し、前記景観特徴特定部は、前記地図情報記憶部から前記道路情報を取得して前記移動体が存在可能な車線を特定し、前記車線ごとの移動体の位置及び方位角に基づいて前記景観情報に含まれる特徴部を前記車線ごとに特定し、前記特徴マッチング処理部は、前記実画像の特徴部と、前記景観情報から特定された特徴部とを、前記移動体が存在可能な車線ごとにマッチング処理するようにした。
【００１４】
また、前記撮像された実画像から路面に描かれた白線を認識する白線認識部を更に備え、前記白線認識部は、前記実画像から路面に描かれた白線を認識し、前記移動体と前記白線との間のオフセット距離を検出して前記移動体の位置を補正するようにした。
【００１５】
また、本発明に置いては、移動体前方を撮像して実画像を取得し、前記実画像の特徴部を抽出する実画像特徴抽出ステップと、前記移動体の位置と方位角を検出する位置検出ステップと、前記移動体の位置及び方位角に基づいて地図情報を取得し、移動体の存在可能位置を推定する存在可能位置推定ステップと、前記移動体の位置及び方位角から前記移動体の位置及び方位角に関連付けられた景観情報を取得し、前記景観情報に含まれる特徴部を特定する景観特徴特定ステップと、前記実画像の特徴部と前記景観情報の特徴部とのマッチング処理を行う特徴マッチング処理ステップと、前記特徴マッチング処理結果により、移動体の位置を推定する移動体位置推定ステップと、を備える移動体位置測定方法とした。
【００１６】
また、前記実画像特徴抽出ステップは、前記撮像された実画像から路面に描かれた白線を認識する白線認識ステップと、前記認識された白線から移動体と白線との間のオフセット距離を推定するオフセット距離推定ステップと、前記オフセット距離に基づいて、移動体の位置を補正する移動体位置補正ステップと、を備えるようにした。
【００１７】
また、前記景観特徴特定ステップは、前記移動体が存在可能な車線における移動体の位置及び方位角に基づいて前記景観情報に含まれる特徴部を前記車線ごとに特定し、前記特徴マッチング処理ステップは、前記実画像の特徴部と、前記車線ごとに特定された景観情報に含まれる特徴部とを、前記車線ごとに特徴マッチング処理を行うようにした。
【発明の効果】
【００１８】
本発明においては、移動体に搭載され、移動体が走行する方向の路面に描かれた車線とその方向の景観を撮像して実画像を取得する撮像部と、実画像から特徴部を抽出する実画像特徴抽出部と、移動体の位置と方位角を検出する位置情報検出部と、地図上の道路に関連付けられた景観情報を記憶する地図情報記憶部と、検出された位置と方位角を用いて地図情報記憶部から景観情報を取得し、取得された景観情報に含まれる特徴部を特定する景観特徴特定部と、実画像の特徴部と、景観特徴特定部により特定された特徴部と、をマッチング処理する特徴マッチング処理部と、マッチング処理の結果により実画像を撮像した移動体の位置を推定する移動体位置推定部と、を備えるようにした。これにより、移動体の現在位置の測定精度を向上させることができるので、２次元地図画像や３次元景観画像を表示する場合でも不自然な画像とはならず、更に、車両協調や安全系のアプリケーションにも幅広く応用することができる。
【発明を実施するための最良の形態】
【００１９】
以下、本発明について、図面を用いて詳細に説明する。
【００２０】
（実施形態１に係る移動体位置測定装置）
図１は、本発明の実施形態１に係る移動体位置測定装置１０の構成を表す機能ブロック図である。移動体位置測定装置１０は、装置全体の制御を行う制御部１と、移動体の位置及び方位角を検出する位置情報検出部３と、位置情報検出部３により検出された位置及び方位角に基づいて位置情報を処理し、道路地図画像又は景観画像の表示画像データを生成する位置情報処理部２と、移動体の移動方向を撮像する撮像部４と、撮像された実画像の画像データを記憶する実画像記憶部５と、地図情報及び景観情報を記憶する地図情報記憶部７と、道路地図画像又は景観画像を表示する表示部６から構成されている。
【００２１】
以下、各構成要素について、説明する。制御部１は、ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３から構成されている。ＲＯＭ１２は、移動体位置測定装置１０の基本動作を制御するメインプログラムや、位置情報を処理するための各種アプリケーションプログラムを記憶している。ＣＰＵ１１は、ＲＯＭ１２からＲＡＭ１３に各プログラムを読み出して、ＲＡＭ１３をその作業領域として演算を実行し、移動体位置測定装置１０の動作を制御する。ＣＰＵ１１は、位置情報処理部２の各構成部に対応するアプリケーションプログラムを実行することにより、各構成部を実現する。つまり、位置情報処理部２の各構成部は、基本的にはソフトウエアから構成されている。
【００２２】
位置情報検出部３は、ＧＰＳユニット１５、ジャイロセンサ１６及び走行センサ１７から構成されている。ＧＰＳユニット１５は、複数のＧＰＳ衛星から送られてくる搬送波を受信して、搬送波の到達時間差等から現在緯度及び経度からなる位置を検出する。ジャイロセンサ１６は、移動体の角速度変化から移動体の方位角を検出する。走行センサ１７は移動体の走行距離や走行速度を検出する。ＧＰＳ衛星から送られてくる搬送波は１秒に１回なので、ジャイロセンサ１６や走行センサ１７により移動体の位置を補完する。また、トンネルや都市部のビルによりＧＰＳ衛生からの搬送波が受信し難い場合でも、移動体の位置を推定することができる。なお、ジャイロセンサ１６とともに磁気センサを設置して、地磁気から移動体の方位角を特定することができる。また、基地局から送信される電波を受信して、ＧＰＳユニット１５により検出された移動体の位置を補正することができる。位置情報検出部３により検出された位置及び方位角の位置情報が位置情報処理部２に送信される。
【００２３】
撮像部４は、移動体の移動方向の景観や路面を撮像する。撮像部４は、ＣＣＤ撮像素子やＣＭＯＳ撮像素子により構成することができる。実画像記憶部５は、撮像部４により撮像された実画像の画像データを一時的に記憶する。表示部６は、位置情報処理部２により生成された地図画像や景観画像を表示する。表示部６は液晶表示装置やＥＬディスプレイにより構成することができる。
【００２４】
地図情報記憶部７は、地図情報と、地図情報に関連付けて記憶される景観情報を記憶し、ＣＤ-ＲＯＭやＤＶＤ等の大容量記憶装置から構成される。景観情報とは、３次元景観画像や２次元地図画像の画像データ、或いは移動体の走行路から見た景観の特徴部からなる特徴部データなどである。また、地図情報記憶部７は、地図情報に関連付けられた道路情報を記憶しておくことができる。道路情報とは、国道、県道、一般道などの区別、車線数や車線幅の情報等からなる道路の属性である。
【００２５】
位置情報処理部２は、位置情報検出部３により検出された位置情報と、撮像部４により撮像された実画像と、地図情報記憶部７に記憶された景観情報に基づいて、移動体の位置を高精度で測定する。位置情報処理部２は、少なくとも、撮像部４により撮像された実画像から特徴部を抽出する実画像特徴抽出部２１と、位置情報検出部３により検出された位置情報に基づいて、地図情報記憶部７から景観情報を取得してこの景観情報に含まれる特徴部を特定する景観特徴特定部２３と、実画像の特徴部と景観情報に含まれる特徴部とのマッチング処理を行う特徴マッチング処理部２４と、このマッチング処理結果により移動体の位置を推定する移動体位置推定部２５と、上記推定された移動体の位置に基づいて、道路地図画像又は３次元景観画像を生成する画像処理部２６と、を備えている。
【００２６】
位置情報処理部２は、更に、撮像部４により撮像された実画像から移動体の白線に対するオフセット距離を検出する白線認識部２７と、地図情報記憶部から移動体が位置する道路の道路情報を取得し、車線数や車線幅を特定する地図情報取得部２２と、位置情報検出部３により検出された位置情報に基づいて、移動体の位置を地図上の道路にマッチングさせるマップマッチング処理部２８を備えることができる。
【００２７】
以下、位置情報処理部２の各構成部の機能について具体的に説明する。実画像特徴抽出部２１は、撮像部４により撮像された実画像データから、実画像の特徴部を抽出する。実画像の特徴部とは、例えば、実画像に含まれる線分の長さやその座標、また、線分と線分が交差する交点の座標を構成要素とする。撮像した実画像に建物や樹木が含まれている場合に、実画像を構成する画素の明度差や彩度差から、ビルの輪郭や窓枠により形成される線分やこの線分の交点を抽出することができる。線分の長さや交点と交点の間隔は、実画像を撮像した撮像位置によって変化する。つまり、この実画像から抽出した特徴部には道路上の撮像位置の位置情報が含まれる。なお、特徴部として実画像に含まれる線分や交点に限定されず、例えば、実画像に含まれる特徴的な円弧の長さや円弧の半径、あるいは円弧の中心座標を特徴部とすることができる。実画像には自然の景観が含まれるので、直線よりも円弧を抽出したほうがより的確に特徴部を表現できる場合があるからである。
【００２８】
地図情報取得部２２は、位置情報検出部３により検出された位置情報に基づいて、移動体の現在位置の周辺部の地図情報や道路の属性情報、景観情報を取得する。これらの情報は移動体の方位角や速度に応じて次々に繰り返して取得される。
【００２９】
景観特徴特定部２３は、地図情報記憶部７から読み出した３次元ＣＧ画像等を含む景観情報から、景観画像の特徴部を特定する。例えば、景観情報としての３次元景観画像から、この画像に含まれる特徴的な線分の長さやその座標、また、線分と線分が交差する交点の座標を特徴部とする。また、線分や交点に限らず、３次元景観画像に含まれる特徴的な円弧の長さや円弧の半径、あるいは円弧の中心座標を特徴部とすることができる。後に説明するように、景観画像の特徴部と実画像の特徴部との間の特徴マッチング処理を行うので、景観画像から特徴部を抽出する条件等は、実画像から特徴を抽出する条件と同じに設定しておく。なお、３次元景観画像を構成する画像構成要素の位置や景観画像の視点の位置は正確に定められている。
【００３０】
また、地図情報記憶部７は、３次元景観画像に代えて、または３次元景観画像とともに、道路に沿って所定の間隔で設けられた地点において、複数の位置から走路方向を望んで撮像された景観画像を、当該道路の地点に関連付けて記憶しておくことができる。このようにすれば、３次元景観画像を生成する必要がないので、より短時間で特徴マッチング処理を行うことができる。また、地図情報記憶部７は、景観情報として、上記所定の間隔で設けられた地点の景観画像から予め抽出された特徴部の特徴データのみを記憶しておくことができる。景観の特徴部のデータ量は３次元景観画像のデータ量よりもはるかに少なくすることができるので、地図情報記憶部７の記憶容量を大幅に減少させることができる。また、景観画像から特徴部を抽出する処理工程を省くことができるので、より短時間で特徴マッチング処理を行うことができる。その結果、実画像の撮像時点から測定された位置情報に基づいて地図画像や景観画像を表示するまでの遅延時間を短縮することができる。
【００３１】
特徴マッチング処理部２４は、実画像から抽出された実画像特徴部と、地図情報記憶部７から取得された景観情報に含まれる景観画像の特徴部との特徴マッチング処理を行う。特徴マッチング処理は、実画像の特徴部と景観画像の特徴部とを比較し、その差分を演算する。具体的には、車両が存在することが可能な複数の位置を想定し、夫々の位置から望む景観の景観画像から特徴部を抽出する。更に、景観画像の特徴部と実画像の特徴部とを比較して差分を演算する。なお、移動体存在可能位置は、後に説明するマップマッチング処理により補正された移動体の位置に基づいて、地図情報取得部２２により取得された道路の属性情報の内の、車線数や車線幅から設定することができる。或いは、車線数や車線幅を用いないで、マップマッチング処理により補正された移動体の位置に近接し、互いに離間する位置を移動体存在可能位置として設定することができる。
【００３２】
図４（ａ）を用いて特徴マッチング処理を具体的に説明する。後に説明するマップマッチング処理により、移動体８の位置が道路の中央の位置Ｐｏに補正される。地図情報取得部２２は、地図情報記憶部７から上記位置Ｐｏの車線数や車線幅の道路情報を取得する。図４（ａ）は、このようにして取得された道路地図の移動体８が走行可能な路面を上から見た状態を表している。道路上の白線３１と白線３２の間が車線Ｌ１、白線３２と白線３３の間が車線Ｌ２、白線３３と白線３４の間の車線Ｌ３である。つまり、移動体８の存在可能な車線を車線Ｌ１の位置Ｐ１、車線Ｌ２の位置Ｐ２、車線Ｌ３の位置Ｐ３とする。特徴マッチング処理部２４は、地図情報記憶部７から、位置Ｐ１、位置Ｐ２及び位置Ｐ３から移動体８の移動方向を見た３次元景観画像を取得する。そして、各３次元景観画像から特徴部を抽出し、実画像の特徴部と、各位置において３次元景観画像から抽出された特徴部との特徴マッチング処理を行い、位置Ｐ１における差分ｄ１、位置Ｐ２における差分ｄ２、位置Ｐ３における差分ｄ３を算出する。移動体位置推定部２５は、この特徴マッチング処理結果に基づいて、差分が最も小さくなる位置を移動体の現在の位置として推定する。また、この差分を用いて、移動体の位置を更に高精度に推定することもできる。
【００３３】
なお、地図情報記憶部７が景観情報として特徴部を記憶している場合には、３次元景観画像から特徴部を抽出することに代えて、この記憶された特徴部と実画像の特徴部との間で特徴マッチング処理を行うことができる。この場合は、都度３次元景観画像から特徴部を抽出する必要がない。そのために、処理速度が速く、表示部６に表示させる際の遅延を低減させることができる。
【００３４】
移動体位置推定部２５は、特徴マッチング処理の処理結果を評価して実画像を撮像した時点の移動体の位置を推定する。具体的には、図４（ａ）を用いて説明したように、特徴マッチング処理により得られた差分が最も小さい移動体存在可能位置を現在の移動体の位置として推定する。また、各移動体存在可能位置の差分の傾向から、さらに高精度に移動体の位置を推定することができる。例えば、移動体存在可能位置を３地点以上として特徴マッチング処理を行えば、移動体の位置を２次元的に特定することができる。また、次に説明する白線認識部２７により検出したオフセット距離を用いて移動体の位置をより正確に推定することができる。
【００３５】
白線認識部２７は、撮像部４により撮像された実画像の白線を認識する。図５（ａ）を使用して説明する。図５（ａ）は実画像のエッジ処理により検出された白線を表している。実画像データの差分処理により白線のエッジを検出する。次にＨｏｕｇｈ変換（以下、ハフ変換という）及び逆変換を行うことにより、左白線Ｈ１のエッジ線分ｅ１、ｅ２と右白線Ｈ２のエッジ線分ｅ３、ｅ４を検出する。これにより、撮像部の視点である位置Ｐｘの左白線の中心部からのオフセット距離Ｄｏｆを求めることができる。従って、白線認識部２７によりオフセット距離を求め、このオフセット距離Ｄｏｆを考慮して特徴マップマッチング処理行うことができる。これにより、移動体の位置をより高精度に推定することができる。
【００３６】
マップマッチング処理部２８は、ＧＰＳ衛星からの緯度及び経度をジャイロセンサや走行センサにより補完された位置情報に基づいて地図上の道路の候補を抽出し、走行中の道路の最も確率の高い道路に移動体を強制的に移動させる処理を行う。これにより、地図上で移動体が道路外を走行するような不自然性をなくすことができる。
【００３７】
画像処理部２６は、表示部６に表示する画像を生成するための画像処理を行う。移動体の現在の推定位置に基づいて、地図情報記憶部７から地図情報や３次元景観画像を読み出した地図画像や３次元景観画像を表示部６に表示させる。
【００３８】
（実施形態２の移動体位置測定方法）
図２は、本発明の実施形態２に係る移動体位置測定方法を表すフローチャート図である。図３は、オフセット距離の検出方法を表すフローチャート図である。図４は、マップマッチング処理後の移動体の存在可能位置と３次元景観画像を表す模式図であり、図５は、白線認識処理により検出されたオフセット距離Ｄｏｆを説明するための模式図であり、図６は、移動体の位置を推定後の移動体の位置及び３次元景観画像を表す模式図である。
【００３９】
以下、移動体８を自動車等の車両として説明する。移動体位置測定装置１０が移動体８の位置測定を開始すると、撮像部４は移動体８の移動方向の路面及び景観を撮像する。実画像記憶部５は、撮像部４により撮像された実画像の画像データを取得して記憶する。実画像特徴抽出部２１は、実画像記憶部５に記憶された実画像の画像データを取得して、実画像の特徴部を抽出する（ステップＳ１）。実画像の特徴部を種々の方法により抽出することができるが、例えば、実画像に含まれる線分や、線分と線分が交差する交点の分布などから特徴部を抽出する。
【００４０】
位置情報検出部３は移動体８の位置及び方位角を検出し、位置情報を出力する（ステップＳ２）。ＧＰＳユニット１５は、ＧＰＳ衛星から搬送波を受信してその位相差等から移動体８の緯度及び経度からなる位置情報を生成する。ジャイロセンサ１６は移動体８の角速度の変化を検出して、移動体の方位角からなる方位角情報を生成する。なお、ＧＰＳ衛星から方位角を受信し、ジャイロセンサにより補正するようにしてもよい。また、地磁気センサにより方位角を検出してもよい。
【００４１】
地図情報取得部２２は、地図情報記憶部７から位置情報検出部３により検出された位置情報に基づいて、移動体８の現在位置及び現在方位角に関連付けられた地図情報を取得する。マップマッチング処理部２８は、地図情報取得部２２により取得された地図情報に基づいてマップマッチング処理を行って、移動体の位置を地図上の道路の中央部に補正する。地図情報取得部２２は、マップマッチング処理により補正された道路上の位置及び方位角に基づいて地図情報を取得し、この地図情報から現在位置の道路の車線数、車線幅を取得する。この取得した現在位置における車線数が、移動体存在可能位置として推定する(ステップＳ３)。
【００４２】
図４（ａ）を用いてステップＳ３の状態を説明する。図４（ａ）は、移動体８が存在可能な位置を表している。マップマッチング処理により移動体８は位置Ｐ０に補正される。従って、移動体８の移動方向に直交する方向に横切る車線Ｌ１〜Ｌ３の位置Ｐ１、Ｐ２、Ｐ３が、移動体存在可能位置となる。図４（ｂ）はマップマッチング処理後に３次元景観画像を表示した状態を表す。マップマッチング処理後の移動体８は道路中央の位置Ｐｏに補正されているので、中央分離帯の上である。移動体８の位置Ｐｏと移動方向の方位角に基づいて地図情報記憶部７から３次元景観画像を取得するので、３次元景観画像の視点は中央分離帯となる。既に説明したように、マップマッチング処理から３次元景観画像を表示するのは、適切ではない。
【００４３】
白線認識部２７は、撮像部１４により撮像した実画像の画像データから、車線内における移動体のオフセット距離を検出する。オフセット距離とは、路面上に描かれた左側の白線中央部から移動体位置までの距離である。このオフセット距離を検出することにより、移動体の存在可能位置の推定精度を更に向上させることができる。
【００４４】
図３は、オフセット距離を求める方法の一例を表すフローチャート図である。図５（ａ）は白線認識部２７により検出された白線を表し、図５（ｂ）は検出されたオフセット距離Ｄｏｆにより補正された移動体存在可能位置を表している。白線認識部２７は、実画像の画像データから路面上に描かれた白線のエッジを検出する（ステップＳ１０）。エッジの検出は、実画像を構成する画素の輝度差分処理により行う。次に、検出された白線のエッジから実空間上のエッジ画像を生成する（ステップＳ１１）。次に、ハフ空間におけるハフ変換及び逆変換を行ってエッジ線分を推定する（ステップＳ１２）。次に、推定された２本のエッジ線分Ｈ１、Ｈ２から、夫々のエッジ線分の中央線分Ｃ１及びＣ２を求める（ステップＳ１３）。次に、移動体８の現在位置Ｐｘと中央線分Ｃ１との間のオフセット距離Ｄｏｆを求める（ステップＳ１４）。移動体位置推定部２５は、上記オフセット距離Ｄｏｆを用いて補正した移動体存在可能位置を設定する。即ち、車線Ｌ１の位置Ｐ’１、車線Ｌ２の位置Ｐ’２、及び、車線Ｌ’３の位置Ｐ’３を設定する。
【００４５】
図２に戻って、地図情報取得部２２は、設定された移動体存在可能位置Ｐ’１、Ｐ’２、Ｐ’３ごとに、位置Ｐ’１、Ｐ’２、Ｐ’３と移動体の方位角を用いて、地図情報記憶部７から景観情報としての３次元景観画像を取得する。特徴マッチング処理部２４は、設定された位置Ｐ’１、Ｐ’２、Ｐ’３から見る３次元景観画像の夫々から特徴部を抽出する（ステップＳ４）。これらの特徴部は、景観を見る視点が異なるので互いに異なっている。
【００４６】
次に、実画像の特徴部と、位置Ｐ’１、Ｐ’２、Ｐ’３の夫々の位置に対応する３次元景観画像の特徴部とをマッチング処理する。移動体位置推定部２５は、３地点のマッチング処理結果から、移動体の現在位置Ｐｘを推定する（ステップＳ５）。移動体存在可能位置が３地点であることから、３つのマッチング処理結果を得ることができる。これにより、現在移動体８が走行している車線のほかに、移動体８の移動方向の位置も推定することができる。その結果、移動体８の位置を高精度に推定することができる。
【００４７】
図６は、推定された移動体位置に基づいて、地図画像又は３次元景観画像を表示した例を示している（ステップＳ６）。図６（ａ）は、位置が推定された移動体８を２次元道路上に表示した状態を表し、図６（ｂ）は、推定された移動体の位置から移動方向を見たときの３次元景観画像の例を示している。図６（ａ）に示すように、現在位置している車線上に移動体８を表示することができる。また、白線認識部２７を用いてオフセット距離を推定すれば、移動体８の車線内における位置も高精度に表示することができる。更に、図６（ｂ）に示すように、推定された移動体８の位置と方位角から３次元景観画像を生成すれば、移動体８の走行車線上から見た景観を表示することができる。その結果、違和感のない自然な画像を表示することができ、走行の安全性を高めることができる。
【００４８】
なお、景観情報として、予め特徴部を抽出した特徴部データを地図情報記憶部７に記憶しておき、移動体８の位置及び方位角に基づいてこの特徴部データを取得して、特徴マッチング処理を行うことができる。このようにすれば、３次元景観画像データを記憶する必要がないので、データ量を削減することができる。更に、特徴マッチング処理の際に、移動体存在可能位置ごとに、３次元景観画像から特徴部を抽出する必要がないので、移動体の現在位置を推定する推定処理速度を短縮し、表示部６に表示する地図情報と移動体の現実の位置との間のずれを縮小することができる。
【００４９】
（実施形態３の移動体位置測定装置）
図７は、本発明の実施形態３に係る移動体位置測定装置１０及び測定方法を説明するための地図の模式図である。本実施形態においては、地図情報記憶部７は、道路の交差点ごとに景観情報または景観情報から抽出された特徴部を記憶する。
【００５０】
図７には、交差点Ｋ１とその先の交差点Ｋ２が示されている。地図情報記憶部７は各交差点に関する景観情報としての景観画像を記憶している。景観画像は、交差点Ｋ１に関しては、４つの位置Ｑ１１、Ｑ１２、Ｑ１３、Ｑ１４からＸ１方向とＹ１方向を望む景観である。交差点Ｋ２に関しても同様に、４つの位置Ｑ２１、Ｑ２２、Ｑ２３、Ｑ２４からＸ２方向とＹ２方向を望む景観である。なお、座標（Ｘ１、Ｙ１）及び座標（Ｘ２、Ｙ２）は、移動体８が左側から右側に走行するときの移動方向をＸ１、Ｘ２としている。
【００５１】
具体的には、交差点Ｋ１の位置Ｑ１１から＋Ｘ１方向と−Ｙ１方向を望む景観を撮像した景観画像Ｗｘ１１とＷｙ１１を作成する。位置Ｑ１２から＋Ｘ１方向と＋Ｙ１方向を望む景観を撮像した景観画像Ｗｘ１２とＷｙ１２を作成する。同様に、位置Ｑ１３から−Ｘ１方向と−Ｙ１方向を望む景観から景観画像Ｗｘ１３とＷｙ１３を、位置Ｑ１４から−Ｘ１方向と＋Ｙ１方向を望む景観から景観画像Ｗｘ１４とＷｙ１４を作成する。これら作成された８枚の景観画像Ｗｘ１１、Ｗｙ１１、Ｗｘ１２、Ｗｙ１２、Ｗｘ１３、Ｗｙ１３、Ｗｘ１４、Ｗｙ１４を交差点Ｋ１に関連付けて地図情報記憶部７に記憶しておく。交差点Ｋ２についても同様に、位置Ｑ２１から＋Ｘ２方向と−Ｙ２方向を望む景観と、位置Ｑ２２から＋Ｘ２方向と＋Ｙ２方向を望む景観と、位置Ｑ２３から−Ｘ２方向と−Ｙ２方向を望む景観と、位置Ｑ２４の−Ｘ２方向と＋Ｙ２方向を望む景観とを撮像した景観画像を交差点Ｋ２に関連付けて地図情報記憶部７に記憶しておく。その他の交差点についても同様である。
【００５２】
移動体８の地図情報取得部２２は、位置情報検出部３により検出した位置情報に基づいて、地図情報記憶部７から、移動体８が走行する近傍の地図情報を取得する。移動体８の制御部１が、位置情報検出部３により検出された位置及び方位角に基づいて移動体８が交差点Ｋ２に近づいたことを検出すると、撮像部４は移動体８の移動方向を撮像して実画像を実画像記憶部５に記憶する。実画像特徴抽出部２１は、撮像した実画像から特徴部を抽出する。マップマッチング処理により移動体８の位置を地図の道路中央部に補正する。更に、白線認識部２７が路面に描かれた白線を認識し、オフセット距離Ｄｏｆを推定する。移動体位置推定部２５は、これら補正された位置情報から移動体存在可能位置を設定する。図７において、移動体８は片側２車線の道路を走行している。従って、設定される移動体存在可能位置は、２つの車線のオフセット距離Ｄｏｆにより補正された２つの位置となる。
【００５３】
一方、特徴マッチング処理部２４は、位置情報検出部３により検出された移動体８の位置と方位角から、景観画像Ｗｘ１１とＷｘ１２を選択的に取得する。特徴マッチング処理部２４は、景観画像Ｗｘ１１と景観画像Ｗｘ１２の画像データから夫々の特徴部を抽出する。特徴部は既に説明したように、例えば景観画像に含まれる線分や交点から構成することができる。特徴マッチング処理部２４は、移動体位置推定部２５により推定された移動体８の移動体存在可能位置の夫々について、実画像の特徴部と景観画像から抽出された特徴部とを特徴マッチング処理を行い、特徴マッチング処理結果を出力する。移動体位置推定部２５は特徴マッチング処理結果から、景観画像の特徴部が実画像の特徴部と最も近似した移動体存在可能位置を現在の移動体の位置として推定する。画像処理部２６は、この推定結果に基づいて、地図画像に移動体位置を表示して表示部６に地図情報を表示する。なお、上記処理において、景観画像Ｗｘ１１とＷｘ１２から抽出される特徴部を使用して、位置Ｑ１１と位置Ｑ１２の間の位置座標を変数とする特徴部を算出しておく。移動体８の移動体存在可能位置に対応した特徴部を用いて実画像の特徴部と特徴マッチング処理を行う必要があるからである。
【００５４】
このように、地図情報記憶部７に交差点から見た景観を景観画像として記憶するので、３次元景観画像を記憶する場合と比較して、記憶データ量を大幅に削減することができる。このため、地図情報を作成するコストを大幅に低減することができる。移動体のナビゲーションシステムにおいて運転者が最も必要とする情報の一つが交差点における車線情報や自移動体の位置情報である。本実施形態によれば、簡素な構成でこれらの情報を提示することができる。
【００５５】
なお、上記実施形態３において、地図情報記憶部７は、景観情報として交差点の特定の位置から撮像した景観画像とし、この景観画像から特徴部を抽出するようにしたが、これに代えて、各交差点の特定の位置から撮像した景観画像から特徴部を抽出し、景観情報としてこの特徴部データを記憶しておいてもよい。このように構成すれば、地図情報記憶部７に記憶するデータ量を更に削減することができる。また、移動体存在可能位置ごとに景観画像から特徴部を抽出又は算出する処理を行う必要がないので、移動体の位置を短時間で推定することができる。
【００５６】
また、地図情報記憶部７に記憶する景観情報として、道路に沿って所定の間隔で設定した地点の景観情報を記憶するようにしてもよい。都市では交差点が多数存在するが、都市以外の地域では交差点の数が少ない。そこで、道路の所定間隔ごとに地図情報として景観情報を記憶しておく。このようにすれば、交差点の少ない地域でも、道路上の移動体位置を高精度で推定することができる。
【００５７】
また、上記実施形態３において、景観を撮像する地点を交差点Ｋ１の角部の４つの位置Ｑ１１、Ｑ１２、Ｑ１３、Ｑ１４としたが、これに限定されない。４つの位置Ｑ１１、Ｑ１２、Ｑ１３、Ｑ１４として、道路の車線内であってもよいし、車線に跨った地点であってもよい。また、道路の中央に中央分離帯が立設し、例えば位置Ｑ１２からＸ１方向を撮像した場合に、中央分離帯により移動体８が走行する走行側の景観が隠される場合には、走行車線に２つの地点を設定して、走行側の景観を２つの地点から撮像すればよい。この場合は、撮像する地点は８箇所となる。要は、実画像の特徴部と景観画像から抽出した特徴部の特徴マッチング処理において、実画像を撮像した地点を推定できる程度に離間していればよい。また、交差点において撮像する景観画像は８枚に限定されず、三叉路の場合は６枚の景観画像で足りるし、五叉路の場合は１０枚の景観画像が必要となる。
【００５８】
（実施形態４の移動体位置測定装置）
図８は、本発明の実施形態４に係る移動体位置測定装置１０及びその位置測定方法を説明するための道路の模式図である。移動体８は片側２車線の道路上を走行している。通常、位置情報検出部３のＧＰＳユニット１５は、１秒間隔でＧＰＳ衛星から送られてくる搬送波を受信して移動体の現在位置を検出する。ＧＰＳ衛星からの搬送波に同期させて位置検出を行い、表示部６に３次元景観画像を表示させると、非連続的な３次元景観画像が表示されることになる。そこで、ＧＰＳ衛生から受信するタイミングを補完した連続的な３次元画像を表示できるようにすることが望ましい。しかも、その場合に、移動体８の位置を高精度に推定できれば、走行の安全性を高めることができる。
【００５９】
図８において、ＧＰＳ衛星から搬送波を受信するタイミングを時刻Ｔ１、Ｔ２、Ｔ３とする。時刻ｔ１〜ｔ４は、時刻Ｔ１から時刻Ｔ２の間、及び、次の時刻Ｔ２から時刻Ｔ３の期間を補完して３次元景観画像を生成するタイミングである。まず、位置情報検出部３のＧＰＳユニット１５はＧＰＳ衛星から搬送波を受信して移動体８の位置（Ｔ１）を検出する。位置情報検出部３のジャイロセンサ１６は移動体８の方位角（Ｔ１）を検出する。以降は、図２のフローチャート図に示す手順により、時刻Ｔ１における移動体８の補正された位置を推定し、この推定位置に基づいて、表示部６に３次元景観画像を表示する。
【００６０】
次に、位置情報検出部３は、ジャイロセンサ１６及び走行センサ１７により検出した時刻ｔ１の時点の移動体８の位置（ｔ１）及び方位角（ｔ１)を、期間Ｔ１〜ｔ１の間の方位角の変化及び走行距離から算出する。地図情報取得部２２は、この位置（ｔ１）及び方位角（ｔ１）に基づいて、時刻ｔ１における移動体の位置Ｐ（ｔ１）を推定する。移動体位置推定部２５は、地図情報記憶部７から位置（ｔ１）における車線情報を取得し、移動体存在可能位置を設定する。この場合は、移動体８が走行する左車線と中央ライン側の右車線となる。また、白線認識部２７により、路面上に描かれた白線からオフセット距離Ｄｏｆを検出して、このオフセット距離Ｄｏｆにより補正された移動体存在可能位置を設定する。特徴マッチング処理部２４は、夫々の移動体存在可能位置に応じた地点の３次元景観画像を地図情報記憶部７から取得して、夫々の３次元景観画像の特徴部を抽出する。特徴マッチング処理部２４は、実画像の特徴部と、それぞれの移動体存在可能位置に対応する特徴部とのマッチング処理を行う。移動体位置推定部２５は、マッチング処理結果から、現在の移動体位置（ｔ１）を推定する。画像処理部２６はこの移動体位置（ｔ１）に基づいて地図情報記憶部７から３次元景観画像を取得する。画像処理部２６は、この３次元景観画像を表示部６に表示させる。
【００６１】
次に、時刻ｔ２について、時刻ｔ１を基準として、上記と同様の処理を行う。その結果、時刻ｔ２の時点における実画像の特徴部と、地図情報から取得した３次元景観画像の特徴部との特徴マッチング処理を行い、新たに３次元景観画像を表示する。以降、時刻ｔ４までこれを繰り返す。更に時刻Ｔ２においては、時刻Ｔ１と同様にＧＰＳ衛星からの搬送波を受信して移動体の位置を検出し、同様の処理を実行して３次元景観画像を表示する。
【００６２】
時刻Ｔ１とＴ２の時間分割を適当に増加させることにより、連続的な３次元景観画像を表示することができる。この場合、夫々の時刻ｔｎ（ｎは１以上の整数）において、実画像の特徴部と景観情報から抽出された特徴部との間で特徴マッチング処理を行うので、常に移動体の位置が補正されている。そのために、正確でリアルな３次元景観画像を表示することが可能となる。
【００６３】
なお、３次元景観画像から特徴部を抽出することに代えて、道路に沿って所定の間隔で設けられた地点における複数の位置から走行方向を望んで撮像した景観画像又はこの景観画像から抽出した特徴部を地図情報記憶部７に記憶しておき、この景観画像又はこの景観画像から抽出された特徴部に基づいて、特徴マッチング処理を実行することができることは、既に説明したとおりである。
【図面の簡単な説明】
【００６４】
【図１】本発明の実施形態に係る移動体位置測定装置の構成を表す機能ブロック図である。
【図２】本発明の実施形態に係る移動体位置測定方法を表すフローチャート図である。
【図３】本発明の実施形態に係るオフセット距離の検出方法を表すフローチャート図である。
【図４】本発明の実施形態に係る移動体位置測定装置の特徴マッチング処理を説明するための図である。
【図５】本発明の実施形態に係る移動体位置測定装置のオフセット距離の検出による補正を説明するための図である。
【図６】本発明の実施形態に係る移動体位置測定装置の移動体位置推定後の表示例を示す図である。
【図７】本発明の実施形態に係る移動体位置測定装置及び測定方法を説明するための図である。
【図８】本発明の実施形態に係る移動体位置測定装置及び測定方法を説明するための図である。
【図９】従来公知のナビゲーションシステムによる表示画像例を表す図である。
【符号の説明】
【００６５】
１ 制御部
２ 位置情報処理部
３ 位置情報検出部
４ 撮像部
５ 実画像記憶部
６ 表示部
７ 地図情報記憶部
８ 移動体
１０ 移動体位置測定装置
【技術分野】
【０００１】
本発明は、移動体の移動方向を撮像して得られる実画像と、ＧＰＳ（Global Positioning System）衛星等から取得した位置情報と、当該位置情報に関連付けて記憶された景観情報から、移動体の位置を測定する移動体位置測定装置及びその測定方法に関する。
【背景技術】
【０００２】
近年、車両等に搭載されるナビゲーションシステムが普及している。このナビゲーションシステムは、ＧＰＳ衛星等から位置情報を取得し、この位置情報に基づいてＣＤ-ＲＯＭやＤＶＤに記憶された地図データを読み出して、現在の車両位置を表示装置に表示する。これにより、現在の車両の位置を地図上における位置として一目で認識することができる利便性を備えている。
【０００３】
しかし、一般的にＧＰＳ衛星から取得した位置情報には１０ｍ以上の誤差が含まれている。そのために、ＧＰＳ衛星からの位置情報をそのまま地図データに対応付けると、車両が道路上を走行していない画像が表示される。これを補正するためにマップマッチング処理が行われている。マップマッチング処理は、ＧＰＳ衛星から得られた位置情報と、移動体に搭載した走行センサやジャイロセンサから得られる走行距離や角速度変化等から生成された移動情報に基づいて、移動体が位置する可能性の最も高い道路を地図データから選択し、この選択された道路の中央に移動体を強制的に移動させて補正している。これにより、移動体が道路から外れないように表示する。更に移動体の位置を現実の位置に合致させるために、移動体の移動方向の路面を撮像し、撮像した路面に描かれる白線を認識して、この白線情報により移動体の位置精度を向上させる方法も提案されている（例えば特許文献１を参照）。
【０００４】
更に、３次元ＣＧ画像を表示するナビゲーションシステムが開発されている。ＧＰＳ等からの移動体の位置情報に基づいて、ＤＶＤ等に記憶された地図データ上の現在の位置及び方位角を特定し、この地図データに関連付けて記憶された３次元ＣＧ画像を読み出して表示する。この種のナビゲーションシステムによれば、移動体の移動に伴って刻々と変化する景観をＣＧ画像として表示することができる。建物や標識等のランドマークを３次元画像とともに表示すれば、雨の日や夜間など、或いは前方に大型車が走行して視界が遮られるなどの場合でも、走行位置を素早く確認することができる利便性を有している。
【特許文献１】特開２００７−２２００１３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、マップマッチング処理により得られた移動体の現在位置は、走行道路の中央となる。従って、ＣＤ-ＲＯＭやＤＶＤ等の記録媒体から読み出す道路地図や景観画像は、この道路の中央の位置で走行方向が指定された画像となる。図９は、このようなマップマッチング処理により得られた位置から地図情報を表示している例を表している。
【０００６】
図９（ａ）は、マップマッチングにより補正された車両の位置に基づいて、道路地図上に車両を表示したモニタ画像の表示例を表す。実際の車両５３は、道路の左車線５１を走行しているが、表示上では道路の中央分離線５２上を走行しているように表示される。図９（ｂ）は、マップマッチングにより補正された車両の位置と方位角に基づいて、記憶媒体から取得した３次元ＣＧ画像をモニタに表示している例である。実際の車両５３は、左側の３つの車線のいずれかを走行しているが、モニタに表示される３次元ＣＧ画像では、道路の中央分離線５２上を走行している画面が表示される。特に、道路の中央部が対向車の右折車線である場合などは、反対車線を走ることになり、危険性が高くなる。従って、このままの表示では実際のナビゲーションシステムに適用することができない。また、路面に描かれた白線を認識して、白線からの移動体の位置を補正する場合でも、走行可能車線が複数ある道路の場合は、どの車線を走行しているかを判別することは困難である。
【０００７】
そこで、本発明の目的は、移動体の現実の位置を高精度で測定可能とすることにより、現実の走行状態に合致した地図画像や景観画像を表示することができるようにすることである。
【課題を解決するための手段】
【０００８】
本発明においては上記課題を解決するために以下の手段を講じた。
【０００９】
発明においては、移動体に搭載され、前記移動体が走行する方向の路面に描かれた車線とその方向の景観を撮像して実画像を取得する撮像部と、前記実画像から特徴部を抽出する実画像特徴抽出部と、前記移動体の位置と方位角を検出する位置情報検出部と、地図上の道路に関連付けられた景観情報を記憶する地図情報記憶部と、前記検出された位置と方位角を用いて前記地図情報記憶部から前記景観情報を取得し、前記取得された景観情報に含まれる特徴部を特定する景観特徴特定部と、前記実画像の特徴部と、前記景観特徴特定部により特定された特徴部とをマッチング処理する特徴マッチング処理部と、前記マッチング処理の結果により前記実画像を撮像した移動体の位置を推定する移動体位置推定部と、を備える移動体位置測定装置とした。
【００１０】
また、前記景観情報は、道路に沿って所定の間隔で設けられた地点における複数の位置から走路方向を望んで撮像された景観画像又は当該景観画像から抽出された特徴部から構成され、前記景観特徴特定部は、前記移動体が前記道路の特定の地点に近接したときに前記地図情報記憶部から前記景観情報を取得して、前記景観情報に含まれる特徴部を特定するようにした。
【００１１】
また、前記道路に沿って所定の間隔で設けられた地点は、地図上の交差点とした。
【００１２】
また、前記景観情報は、移動体の位置及び方位角に関連して景観を表示可能な３次元景観画像から構成され、前記景観特徴特定部は、前記移動体の位置及び方位角に基づいて前記地図情報記憶部から前記３次元景観画像を取得し、前記３次元景観画像から特徴部を抽出して当該特徴部を特定するようにした。
【００１３】
また、前記地図情報記憶部は、道路の車線数及び車線幅を含む道路情報を更に記憶し、前記景観特徴特定部は、前記地図情報記憶部から前記道路情報を取得して前記移動体が存在可能な車線を特定し、前記車線ごとの移動体の位置及び方位角に基づいて前記景観情報に含まれる特徴部を前記車線ごとに特定し、前記特徴マッチング処理部は、前記実画像の特徴部と、前記景観情報から特定された特徴部とを、前記移動体が存在可能な車線ごとにマッチング処理するようにした。
【００１４】
また、前記撮像された実画像から路面に描かれた白線を認識する白線認識部を更に備え、前記白線認識部は、前記実画像から路面に描かれた白線を認識し、前記移動体と前記白線との間のオフセット距離を検出して前記移動体の位置を補正するようにした。
【００１５】
また、本発明に置いては、移動体前方を撮像して実画像を取得し、前記実画像の特徴部を抽出する実画像特徴抽出ステップと、前記移動体の位置と方位角を検出する位置検出ステップと、前記移動体の位置及び方位角に基づいて地図情報を取得し、移動体の存在可能位置を推定する存在可能位置推定ステップと、前記移動体の位置及び方位角から前記移動体の位置及び方位角に関連付けられた景観情報を取得し、前記景観情報に含まれる特徴部を特定する景観特徴特定ステップと、前記実画像の特徴部と前記景観情報の特徴部とのマッチング処理を行う特徴マッチング処理ステップと、前記特徴マッチング処理結果により、移動体の位置を推定する移動体位置推定ステップと、を備える移動体位置測定方法とした。
【００１６】
また、前記実画像特徴抽出ステップは、前記撮像された実画像から路面に描かれた白線を認識する白線認識ステップと、前記認識された白線から移動体と白線との間のオフセット距離を推定するオフセット距離推定ステップと、前記オフセット距離に基づいて、移動体の位置を補正する移動体位置補正ステップと、を備えるようにした。
【００１７】
また、前記景観特徴特定ステップは、前記移動体が存在可能な車線における移動体の位置及び方位角に基づいて前記景観情報に含まれる特徴部を前記車線ごとに特定し、前記特徴マッチング処理ステップは、前記実画像の特徴部と、前記車線ごとに特定された景観情報に含まれる特徴部とを、前記車線ごとに特徴マッチング処理を行うようにした。
【発明の効果】
【００１８】
本発明においては、移動体に搭載され、移動体が走行する方向の路面に描かれた車線とその方向の景観を撮像して実画像を取得する撮像部と、実画像から特徴部を抽出する実画像特徴抽出部と、移動体の位置と方位角を検出する位置情報検出部と、地図上の道路に関連付けられた景観情報を記憶する地図情報記憶部と、検出された位置と方位角を用いて地図情報記憶部から景観情報を取得し、取得された景観情報に含まれる特徴部を特定する景観特徴特定部と、実画像の特徴部と、景観特徴特定部により特定された特徴部と、をマッチング処理する特徴マッチング処理部と、マッチング処理の結果により実画像を撮像した移動体の位置を推定する移動体位置推定部と、を備えるようにした。これにより、移動体の現在位置の測定精度を向上させることができるので、２次元地図画像や３次元景観画像を表示する場合でも不自然な画像とはならず、更に、車両協調や安全系のアプリケーションにも幅広く応用することができる。
【発明を実施するための最良の形態】
【００１９】
以下、本発明について、図面を用いて詳細に説明する。
【００２０】
（実施形態１に係る移動体位置測定装置）
図１は、本発明の実施形態１に係る移動体位置測定装置１０の構成を表す機能ブロック図である。移動体位置測定装置１０は、装置全体の制御を行う制御部１と、移動体の位置及び方位角を検出する位置情報検出部３と、位置情報検出部３により検出された位置及び方位角に基づいて位置情報を処理し、道路地図画像又は景観画像の表示画像データを生成する位置情報処理部２と、移動体の移動方向を撮像する撮像部４と、撮像された実画像の画像データを記憶する実画像記憶部５と、地図情報及び景観情報を記憶する地図情報記憶部７と、道路地図画像又は景観画像を表示する表示部６から構成されている。
【００２１】
以下、各構成要素について、説明する。制御部１は、ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３から構成されている。ＲＯＭ１２は、移動体位置測定装置１０の基本動作を制御するメインプログラムや、位置情報を処理するための各種アプリケーションプログラムを記憶している。ＣＰＵ１１は、ＲＯＭ１２からＲＡＭ１３に各プログラムを読み出して、ＲＡＭ１３をその作業領域として演算を実行し、移動体位置測定装置１０の動作を制御する。ＣＰＵ１１は、位置情報処理部２の各構成部に対応するアプリケーションプログラムを実行することにより、各構成部を実現する。つまり、位置情報処理部２の各構成部は、基本的にはソフトウエアから構成されている。
【００２２】
位置情報検出部３は、ＧＰＳユニット１５、ジャイロセンサ１６及び走行センサ１７から構成されている。ＧＰＳユニット１５は、複数のＧＰＳ衛星から送られてくる搬送波を受信して、搬送波の到達時間差等から現在緯度及び経度からなる位置を検出する。ジャイロセンサ１６は、移動体の角速度変化から移動体の方位角を検出する。走行センサ１７は移動体の走行距離や走行速度を検出する。ＧＰＳ衛星から送られてくる搬送波は１秒に１回なので、ジャイロセンサ１６や走行センサ１７により移動体の位置を補完する。また、トンネルや都市部のビルによりＧＰＳ衛生からの搬送波が受信し難い場合でも、移動体の位置を推定することができる。なお、ジャイロセンサ１６とともに磁気センサを設置して、地磁気から移動体の方位角を特定することができる。また、基地局から送信される電波を受信して、ＧＰＳユニット１５により検出された移動体の位置を補正することができる。位置情報検出部３により検出された位置及び方位角の位置情報が位置情報処理部２に送信される。
【００２３】
撮像部４は、移動体の移動方向の景観や路面を撮像する。撮像部４は、ＣＣＤ撮像素子やＣＭＯＳ撮像素子により構成することができる。実画像記憶部５は、撮像部４により撮像された実画像の画像データを一時的に記憶する。表示部６は、位置情報処理部２により生成された地図画像や景観画像を表示する。表示部６は液晶表示装置やＥＬディスプレイにより構成することができる。
【００２４】
地図情報記憶部７は、地図情報と、地図情報に関連付けて記憶される景観情報を記憶し、ＣＤ-ＲＯＭやＤＶＤ等の大容量記憶装置から構成される。景観情報とは、３次元景観画像や２次元地図画像の画像データ、或いは移動体の走行路から見た景観の特徴部からなる特徴部データなどである。また、地図情報記憶部７は、地図情報に関連付けられた道路情報を記憶しておくことができる。道路情報とは、国道、県道、一般道などの区別、車線数や車線幅の情報等からなる道路の属性である。
【００２５】
位置情報処理部２は、位置情報検出部３により検出された位置情報と、撮像部４により撮像された実画像と、地図情報記憶部７に記憶された景観情報に基づいて、移動体の位置を高精度で測定する。位置情報処理部２は、少なくとも、撮像部４により撮像された実画像から特徴部を抽出する実画像特徴抽出部２１と、位置情報検出部３により検出された位置情報に基づいて、地図情報記憶部７から景観情報を取得してこの景観情報に含まれる特徴部を特定する景観特徴特定部２３と、実画像の特徴部と景観情報に含まれる特徴部とのマッチング処理を行う特徴マッチング処理部２４と、このマッチング処理結果により移動体の位置を推定する移動体位置推定部２５と、上記推定された移動体の位置に基づいて、道路地図画像又は３次元景観画像を生成する画像処理部２６と、を備えている。
【００２６】
位置情報処理部２は、更に、撮像部４により撮像された実画像から移動体の白線に対するオフセット距離を検出する白線認識部２７と、地図情報記憶部から移動体が位置する道路の道路情報を取得し、車線数や車線幅を特定する地図情報取得部２２と、位置情報検出部３により検出された位置情報に基づいて、移動体の位置を地図上の道路にマッチングさせるマップマッチング処理部２８を備えることができる。
【００２７】
以下、位置情報処理部２の各構成部の機能について具体的に説明する。実画像特徴抽出部２１は、撮像部４により撮像された実画像データから、実画像の特徴部を抽出する。実画像の特徴部とは、例えば、実画像に含まれる線分の長さやその座標、また、線分と線分が交差する交点の座標を構成要素とする。撮像した実画像に建物や樹木が含まれている場合に、実画像を構成する画素の明度差や彩度差から、ビルの輪郭や窓枠により形成される線分やこの線分の交点を抽出することができる。線分の長さや交点と交点の間隔は、実画像を撮像した撮像位置によって変化する。つまり、この実画像から抽出した特徴部には道路上の撮像位置の位置情報が含まれる。なお、特徴部として実画像に含まれる線分や交点に限定されず、例えば、実画像に含まれる特徴的な円弧の長さや円弧の半径、あるいは円弧の中心座標を特徴部とすることができる。実画像には自然の景観が含まれるので、直線よりも円弧を抽出したほうがより的確に特徴部を表現できる場合があるからである。
【００２８】
地図情報取得部２２は、位置情報検出部３により検出された位置情報に基づいて、移動体の現在位置の周辺部の地図情報や道路の属性情報、景観情報を取得する。これらの情報は移動体の方位角や速度に応じて次々に繰り返して取得される。
【００２９】
景観特徴特定部２３は、地図情報記憶部７から読み出した３次元ＣＧ画像等を含む景観情報から、景観画像の特徴部を特定する。例えば、景観情報としての３次元景観画像から、この画像に含まれる特徴的な線分の長さやその座標、また、線分と線分が交差する交点の座標を特徴部とする。また、線分や交点に限らず、３次元景観画像に含まれる特徴的な円弧の長さや円弧の半径、あるいは円弧の中心座標を特徴部とすることができる。後に説明するように、景観画像の特徴部と実画像の特徴部との間の特徴マッチング処理を行うので、景観画像から特徴部を抽出する条件等は、実画像から特徴を抽出する条件と同じに設定しておく。なお、３次元景観画像を構成する画像構成要素の位置や景観画像の視点の位置は正確に定められている。
【００３０】
また、地図情報記憶部７は、３次元景観画像に代えて、または３次元景観画像とともに、道路に沿って所定の間隔で設けられた地点において、複数の位置から走路方向を望んで撮像された景観画像を、当該道路の地点に関連付けて記憶しておくことができる。このようにすれば、３次元景観画像を生成する必要がないので、より短時間で特徴マッチング処理を行うことができる。また、地図情報記憶部７は、景観情報として、上記所定の間隔で設けられた地点の景観画像から予め抽出された特徴部の特徴データのみを記憶しておくことができる。景観の特徴部のデータ量は３次元景観画像のデータ量よりもはるかに少なくすることができるので、地図情報記憶部７の記憶容量を大幅に減少させることができる。また、景観画像から特徴部を抽出する処理工程を省くことができるので、より短時間で特徴マッチング処理を行うことができる。その結果、実画像の撮像時点から測定された位置情報に基づいて地図画像や景観画像を表示するまでの遅延時間を短縮することができる。
【００３１】
特徴マッチング処理部２４は、実画像から抽出された実画像特徴部と、地図情報記憶部７から取得された景観情報に含まれる景観画像の特徴部との特徴マッチング処理を行う。特徴マッチング処理は、実画像の特徴部と景観画像の特徴部とを比較し、その差分を演算する。具体的には、車両が存在することが可能な複数の位置を想定し、夫々の位置から望む景観の景観画像から特徴部を抽出する。更に、景観画像の特徴部と実画像の特徴部とを比較して差分を演算する。なお、移動体存在可能位置は、後に説明するマップマッチング処理により補正された移動体の位置に基づいて、地図情報取得部２２により取得された道路の属性情報の内の、車線数や車線幅から設定することができる。或いは、車線数や車線幅を用いないで、マップマッチング処理により補正された移動体の位置に近接し、互いに離間する位置を移動体存在可能位置として設定することができる。
【００３２】
図４（ａ）を用いて特徴マッチング処理を具体的に説明する。後に説明するマップマッチング処理により、移動体８の位置が道路の中央の位置Ｐｏに補正される。地図情報取得部２２は、地図情報記憶部７から上記位置Ｐｏの車線数や車線幅の道路情報を取得する。図４（ａ）は、このようにして取得された道路地図の移動体８が走行可能な路面を上から見た状態を表している。道路上の白線３１と白線３２の間が車線Ｌ１、白線３２と白線３３の間が車線Ｌ２、白線３３と白線３４の間の車線Ｌ３である。つまり、移動体８の存在可能な車線を車線Ｌ１の位置Ｐ１、車線Ｌ２の位置Ｐ２、車線Ｌ３の位置Ｐ３とする。特徴マッチング処理部２４は、地図情報記憶部７から、位置Ｐ１、位置Ｐ２及び位置Ｐ３から移動体８の移動方向を見た３次元景観画像を取得する。そして、各３次元景観画像から特徴部を抽出し、実画像の特徴部と、各位置において３次元景観画像から抽出された特徴部との特徴マッチング処理を行い、位置Ｐ１における差分ｄ１、位置Ｐ２における差分ｄ２、位置Ｐ３における差分ｄ３を算出する。移動体位置推定部２５は、この特徴マッチング処理結果に基づいて、差分が最も小さくなる位置を移動体の現在の位置として推定する。また、この差分を用いて、移動体の位置を更に高精度に推定することもできる。
【００３３】
なお、地図情報記憶部７が景観情報として特徴部を記憶している場合には、３次元景観画像から特徴部を抽出することに代えて、この記憶された特徴部と実画像の特徴部との間で特徴マッチング処理を行うことができる。この場合は、都度３次元景観画像から特徴部を抽出する必要がない。そのために、処理速度が速く、表示部６に表示させる際の遅延を低減させることができる。
【００３４】
移動体位置推定部２５は、特徴マッチング処理の処理結果を評価して実画像を撮像した時点の移動体の位置を推定する。具体的には、図４（ａ）を用いて説明したように、特徴マッチング処理により得られた差分が最も小さい移動体存在可能位置を現在の移動体の位置として推定する。また、各移動体存在可能位置の差分の傾向から、さらに高精度に移動体の位置を推定することができる。例えば、移動体存在可能位置を３地点以上として特徴マッチング処理を行えば、移動体の位置を２次元的に特定することができる。また、次に説明する白線認識部２７により検出したオフセット距離を用いて移動体の位置をより正確に推定することができる。
【００３５】
白線認識部２７は、撮像部４により撮像された実画像の白線を認識する。図５（ａ）を使用して説明する。図５（ａ）は実画像のエッジ処理により検出された白線を表している。実画像データの差分処理により白線のエッジを検出する。次にＨｏｕｇｈ変換（以下、ハフ変換という）及び逆変換を行うことにより、左白線Ｈ１のエッジ線分ｅ１、ｅ２と右白線Ｈ２のエッジ線分ｅ３、ｅ４を検出する。これにより、撮像部の視点である位置Ｐｘの左白線の中心部からのオフセット距離Ｄｏｆを求めることができる。従って、白線認識部２７によりオフセット距離を求め、このオフセット距離Ｄｏｆを考慮して特徴マップマッチング処理行うことができる。これにより、移動体の位置をより高精度に推定することができる。
【００３６】
マップマッチング処理部２８は、ＧＰＳ衛星からの緯度及び経度をジャイロセンサや走行センサにより補完された位置情報に基づいて地図上の道路の候補を抽出し、走行中の道路の最も確率の高い道路に移動体を強制的に移動させる処理を行う。これにより、地図上で移動体が道路外を走行するような不自然性をなくすことができる。
【００３７】
画像処理部２６は、表示部６に表示する画像を生成するための画像処理を行う。移動体の現在の推定位置に基づいて、地図情報記憶部７から地図情報や３次元景観画像を読み出した地図画像や３次元景観画像を表示部６に表示させる。
【００３８】
（実施形態２の移動体位置測定方法）
図２は、本発明の実施形態２に係る移動体位置測定方法を表すフローチャート図である。図３は、オフセット距離の検出方法を表すフローチャート図である。図４は、マップマッチング処理後の移動体の存在可能位置と３次元景観画像を表す模式図であり、図５は、白線認識処理により検出されたオフセット距離Ｄｏｆを説明するための模式図であり、図６は、移動体の位置を推定後の移動体の位置及び３次元景観画像を表す模式図である。
【００３９】
以下、移動体８を自動車等の車両として説明する。移動体位置測定装置１０が移動体８の位置測定を開始すると、撮像部４は移動体８の移動方向の路面及び景観を撮像する。実画像記憶部５は、撮像部４により撮像された実画像の画像データを取得して記憶する。実画像特徴抽出部２１は、実画像記憶部５に記憶された実画像の画像データを取得して、実画像の特徴部を抽出する（ステップＳ１）。実画像の特徴部を種々の方法により抽出することができるが、例えば、実画像に含まれる線分や、線分と線分が交差する交点の分布などから特徴部を抽出する。
【００４０】
位置情報検出部３は移動体８の位置及び方位角を検出し、位置情報を出力する（ステップＳ２）。ＧＰＳユニット１５は、ＧＰＳ衛星から搬送波を受信してその位相差等から移動体８の緯度及び経度からなる位置情報を生成する。ジャイロセンサ１６は移動体８の角速度の変化を検出して、移動体の方位角からなる方位角情報を生成する。なお、ＧＰＳ衛星から方位角を受信し、ジャイロセンサにより補正するようにしてもよい。また、地磁気センサにより方位角を検出してもよい。
【００４１】
地図情報取得部２２は、地図情報記憶部７から位置情報検出部３により検出された位置情報に基づいて、移動体８の現在位置及び現在方位角に関連付けられた地図情報を取得する。マップマッチング処理部２８は、地図情報取得部２２により取得された地図情報に基づいてマップマッチング処理を行って、移動体の位置を地図上の道路の中央部に補正する。地図情報取得部２２は、マップマッチング処理により補正された道路上の位置及び方位角に基づいて地図情報を取得し、この地図情報から現在位置の道路の車線数、車線幅を取得する。この取得した現在位置における車線数が、移動体存在可能位置として推定する(ステップＳ３)。
【００４２】
図４（ａ）を用いてステップＳ３の状態を説明する。図４（ａ）は、移動体８が存在可能な位置を表している。マップマッチング処理により移動体８は位置Ｐ０に補正される。従って、移動体８の移動方向に直交する方向に横切る車線Ｌ１〜Ｌ３の位置Ｐ１、Ｐ２、Ｐ３が、移動体存在可能位置となる。図４（ｂ）はマップマッチング処理後に３次元景観画像を表示した状態を表す。マップマッチング処理後の移動体８は道路中央の位置Ｐｏに補正されているので、中央分離帯の上である。移動体８の位置Ｐｏと移動方向の方位角に基づいて地図情報記憶部７から３次元景観画像を取得するので、３次元景観画像の視点は中央分離帯となる。既に説明したように、マップマッチング処理から３次元景観画像を表示するのは、適切ではない。
【００４３】
白線認識部２７は、撮像部１４により撮像した実画像の画像データから、車線内における移動体のオフセット距離を検出する。オフセット距離とは、路面上に描かれた左側の白線中央部から移動体位置までの距離である。このオフセット距離を検出することにより、移動体の存在可能位置の推定精度を更に向上させることができる。
【００４４】
図３は、オフセット距離を求める方法の一例を表すフローチャート図である。図５（ａ）は白線認識部２７により検出された白線を表し、図５（ｂ）は検出されたオフセット距離Ｄｏｆにより補正された移動体存在可能位置を表している。白線認識部２７は、実画像の画像データから路面上に描かれた白線のエッジを検出する（ステップＳ１０）。エッジの検出は、実画像を構成する画素の輝度差分処理により行う。次に、検出された白線のエッジから実空間上のエッジ画像を生成する（ステップＳ１１）。次に、ハフ空間におけるハフ変換及び逆変換を行ってエッジ線分を推定する（ステップＳ１２）。次に、推定された２本のエッジ線分Ｈ１、Ｈ２から、夫々のエッジ線分の中央線分Ｃ１及びＣ２を求める（ステップＳ１３）。次に、移動体８の現在位置Ｐｘと中央線分Ｃ１との間のオフセット距離Ｄｏｆを求める（ステップＳ１４）。移動体位置推定部２５は、上記オフセット距離Ｄｏｆを用いて補正した移動体存在可能位置を設定する。即ち、車線Ｌ１の位置Ｐ’１、車線Ｌ２の位置Ｐ’２、及び、車線Ｌ’３の位置Ｐ’３を設定する。
【００４５】
図２に戻って、地図情報取得部２２は、設定された移動体存在可能位置Ｐ’１、Ｐ’２、Ｐ’３ごとに、位置Ｐ’１、Ｐ’２、Ｐ’３と移動体の方位角を用いて、地図情報記憶部７から景観情報としての３次元景観画像を取得する。特徴マッチング処理部２４は、設定された位置Ｐ’１、Ｐ’２、Ｐ’３から見る３次元景観画像の夫々から特徴部を抽出する（ステップＳ４）。これらの特徴部は、景観を見る視点が異なるので互いに異なっている。
【００４６】
次に、実画像の特徴部と、位置Ｐ’１、Ｐ’２、Ｐ’３の夫々の位置に対応する３次元景観画像の特徴部とをマッチング処理する。移動体位置推定部２５は、３地点のマッチング処理結果から、移動体の現在位置Ｐｘを推定する（ステップＳ５）。移動体存在可能位置が３地点であることから、３つのマッチング処理結果を得ることができる。これにより、現在移動体８が走行している車線のほかに、移動体８の移動方向の位置も推定することができる。その結果、移動体８の位置を高精度に推定することができる。
【００４７】
図６は、推定された移動体位置に基づいて、地図画像又は３次元景観画像を表示した例を示している（ステップＳ６）。図６（ａ）は、位置が推定された移動体８を２次元道路上に表示した状態を表し、図６（ｂ）は、推定された移動体の位置から移動方向を見たときの３次元景観画像の例を示している。図６（ａ）に示すように、現在位置している車線上に移動体８を表示することができる。また、白線認識部２７を用いてオフセット距離を推定すれば、移動体８の車線内における位置も高精度に表示することができる。更に、図６（ｂ）に示すように、推定された移動体８の位置と方位角から３次元景観画像を生成すれば、移動体８の走行車線上から見た景観を表示することができる。その結果、違和感のない自然な画像を表示することができ、走行の安全性を高めることができる。
【００４８】
なお、景観情報として、予め特徴部を抽出した特徴部データを地図情報記憶部７に記憶しておき、移動体８の位置及び方位角に基づいてこの特徴部データを取得して、特徴マッチング処理を行うことができる。このようにすれば、３次元景観画像データを記憶する必要がないので、データ量を削減することができる。更に、特徴マッチング処理の際に、移動体存在可能位置ごとに、３次元景観画像から特徴部を抽出する必要がないので、移動体の現在位置を推定する推定処理速度を短縮し、表示部６に表示する地図情報と移動体の現実の位置との間のずれを縮小することができる。
【００４９】
（実施形態３の移動体位置測定装置）
図７は、本発明の実施形態３に係る移動体位置測定装置１０及び測定方法を説明するための地図の模式図である。本実施形態においては、地図情報記憶部７は、道路の交差点ごとに景観情報または景観情報から抽出された特徴部を記憶する。
【００５０】
図７には、交差点Ｋ１とその先の交差点Ｋ２が示されている。地図情報記憶部７は各交差点に関する景観情報としての景観画像を記憶している。景観画像は、交差点Ｋ１に関しては、４つの位置Ｑ１１、Ｑ１２、Ｑ１３、Ｑ１４からＸ１方向とＹ１方向を望む景観である。交差点Ｋ２に関しても同様に、４つの位置Ｑ２１、Ｑ２２、Ｑ２３、Ｑ２４からＸ２方向とＹ２方向を望む景観である。なお、座標（Ｘ１、Ｙ１）及び座標（Ｘ２、Ｙ２）は、移動体８が左側から右側に走行するときの移動方向をＸ１、Ｘ２としている。
【００５１】
具体的には、交差点Ｋ１の位置Ｑ１１から＋Ｘ１方向と−Ｙ１方向を望む景観を撮像した景観画像Ｗｘ１１とＷｙ１１を作成する。位置Ｑ１２から＋Ｘ１方向と＋Ｙ１方向を望む景観を撮像した景観画像Ｗｘ１２とＷｙ１２を作成する。同様に、位置Ｑ１３から−Ｘ１方向と−Ｙ１方向を望む景観から景観画像Ｗｘ１３とＷｙ１３を、位置Ｑ１４から−Ｘ１方向と＋Ｙ１方向を望む景観から景観画像Ｗｘ１４とＷｙ１４を作成する。これら作成された８枚の景観画像Ｗｘ１１、Ｗｙ１１、Ｗｘ１２、Ｗｙ１２、Ｗｘ１３、Ｗｙ１３、Ｗｘ１４、Ｗｙ１４を交差点Ｋ１に関連付けて地図情報記憶部７に記憶しておく。交差点Ｋ２についても同様に、位置Ｑ２１から＋Ｘ２方向と−Ｙ２方向を望む景観と、位置Ｑ２２から＋Ｘ２方向と＋Ｙ２方向を望む景観と、位置Ｑ２３から−Ｘ２方向と−Ｙ２方向を望む景観と、位置Ｑ２４の−Ｘ２方向と＋Ｙ２方向を望む景観とを撮像した景観画像を交差点Ｋ２に関連付けて地図情報記憶部７に記憶しておく。その他の交差点についても同様である。
【００５２】
移動体８の地図情報取得部２２は、位置情報検出部３により検出した位置情報に基づいて、地図情報記憶部７から、移動体８が走行する近傍の地図情報を取得する。移動体８の制御部１が、位置情報検出部３により検出された位置及び方位角に基づいて移動体８が交差点Ｋ２に近づいたことを検出すると、撮像部４は移動体８の移動方向を撮像して実画像を実画像記憶部５に記憶する。実画像特徴抽出部２１は、撮像した実画像から特徴部を抽出する。マップマッチング処理により移動体８の位置を地図の道路中央部に補正する。更に、白線認識部２７が路面に描かれた白線を認識し、オフセット距離Ｄｏｆを推定する。移動体位置推定部２５は、これら補正された位置情報から移動体存在可能位置を設定する。図７において、移動体８は片側２車線の道路を走行している。従って、設定される移動体存在可能位置は、２つの車線のオフセット距離Ｄｏｆにより補正された２つの位置となる。
【００５３】
一方、特徴マッチング処理部２４は、位置情報検出部３により検出された移動体８の位置と方位角から、景観画像Ｗｘ１１とＷｘ１２を選択的に取得する。特徴マッチング処理部２４は、景観画像Ｗｘ１１と景観画像Ｗｘ１２の画像データから夫々の特徴部を抽出する。特徴部は既に説明したように、例えば景観画像に含まれる線分や交点から構成することができる。特徴マッチング処理部２４は、移動体位置推定部２５により推定された移動体８の移動体存在可能位置の夫々について、実画像の特徴部と景観画像から抽出された特徴部とを特徴マッチング処理を行い、特徴マッチング処理結果を出力する。移動体位置推定部２５は特徴マッチング処理結果から、景観画像の特徴部が実画像の特徴部と最も近似した移動体存在可能位置を現在の移動体の位置として推定する。画像処理部２６は、この推定結果に基づいて、地図画像に移動体位置を表示して表示部６に地図情報を表示する。なお、上記処理において、景観画像Ｗｘ１１とＷｘ１２から抽出される特徴部を使用して、位置Ｑ１１と位置Ｑ１２の間の位置座標を変数とする特徴部を算出しておく。移動体８の移動体存在可能位置に対応した特徴部を用いて実画像の特徴部と特徴マッチング処理を行う必要があるからである。
【００５４】
このように、地図情報記憶部７に交差点から見た景観を景観画像として記憶するので、３次元景観画像を記憶する場合と比較して、記憶データ量を大幅に削減することができる。このため、地図情報を作成するコストを大幅に低減することができる。移動体のナビゲーションシステムにおいて運転者が最も必要とする情報の一つが交差点における車線情報や自移動体の位置情報である。本実施形態によれば、簡素な構成でこれらの情報を提示することができる。
【００５５】
なお、上記実施形態３において、地図情報記憶部７は、景観情報として交差点の特定の位置から撮像した景観画像とし、この景観画像から特徴部を抽出するようにしたが、これに代えて、各交差点の特定の位置から撮像した景観画像から特徴部を抽出し、景観情報としてこの特徴部データを記憶しておいてもよい。このように構成すれば、地図情報記憶部７に記憶するデータ量を更に削減することができる。また、移動体存在可能位置ごとに景観画像から特徴部を抽出又は算出する処理を行う必要がないので、移動体の位置を短時間で推定することができる。
【００５６】
また、地図情報記憶部７に記憶する景観情報として、道路に沿って所定の間隔で設定した地点の景観情報を記憶するようにしてもよい。都市では交差点が多数存在するが、都市以外の地域では交差点の数が少ない。そこで、道路の所定間隔ごとに地図情報として景観情報を記憶しておく。このようにすれば、交差点の少ない地域でも、道路上の移動体位置を高精度で推定することができる。
【００５７】
また、上記実施形態３において、景観を撮像する地点を交差点Ｋ１の角部の４つの位置Ｑ１１、Ｑ１２、Ｑ１３、Ｑ１４としたが、これに限定されない。４つの位置Ｑ１１、Ｑ１２、Ｑ１３、Ｑ１４として、道路の車線内であってもよいし、車線に跨った地点であってもよい。また、道路の中央に中央分離帯が立設し、例えば位置Ｑ１２からＸ１方向を撮像した場合に、中央分離帯により移動体８が走行する走行側の景観が隠される場合には、走行車線に２つの地点を設定して、走行側の景観を２つの地点から撮像すればよい。この場合は、撮像する地点は８箇所となる。要は、実画像の特徴部と景観画像から抽出した特徴部の特徴マッチング処理において、実画像を撮像した地点を推定できる程度に離間していればよい。また、交差点において撮像する景観画像は８枚に限定されず、三叉路の場合は６枚の景観画像で足りるし、五叉路の場合は１０枚の景観画像が必要となる。
【００５８】
（実施形態４の移動体位置測定装置）
図８は、本発明の実施形態４に係る移動体位置測定装置１０及びその位置測定方法を説明するための道路の模式図である。移動体８は片側２車線の道路上を走行している。通常、位置情報検出部３のＧＰＳユニット１５は、１秒間隔でＧＰＳ衛星から送られてくる搬送波を受信して移動体の現在位置を検出する。ＧＰＳ衛星からの搬送波に同期させて位置検出を行い、表示部６に３次元景観画像を表示させると、非連続的な３次元景観画像が表示されることになる。そこで、ＧＰＳ衛生から受信するタイミングを補完した連続的な３次元画像を表示できるようにすることが望ましい。しかも、その場合に、移動体８の位置を高精度に推定できれば、走行の安全性を高めることができる。
【００５９】
図８において、ＧＰＳ衛星から搬送波を受信するタイミングを時刻Ｔ１、Ｔ２、Ｔ３とする。時刻ｔ１〜ｔ４は、時刻Ｔ１から時刻Ｔ２の間、及び、次の時刻Ｔ２から時刻Ｔ３の期間を補完して３次元景観画像を生成するタイミングである。まず、位置情報検出部３のＧＰＳユニット１５はＧＰＳ衛星から搬送波を受信して移動体８の位置（Ｔ１）を検出する。位置情報検出部３のジャイロセンサ１６は移動体８の方位角（Ｔ１）を検出する。以降は、図２のフローチャート図に示す手順により、時刻Ｔ１における移動体８の補正された位置を推定し、この推定位置に基づいて、表示部６に３次元景観画像を表示する。
【００６０】
次に、位置情報検出部３は、ジャイロセンサ１６及び走行センサ１７により検出した時刻ｔ１の時点の移動体８の位置（ｔ１）及び方位角（ｔ１)を、期間Ｔ１〜ｔ１の間の方位角の変化及び走行距離から算出する。地図情報取得部２２は、この位置（ｔ１）及び方位角（ｔ１）に基づいて、時刻ｔ１における移動体の位置Ｐ（ｔ１）を推定する。移動体位置推定部２５は、地図情報記憶部７から位置（ｔ１）における車線情報を取得し、移動体存在可能位置を設定する。この場合は、移動体８が走行する左車線と中央ライン側の右車線となる。また、白線認識部２７により、路面上に描かれた白線からオフセット距離Ｄｏｆを検出して、このオフセット距離Ｄｏｆにより補正された移動体存在可能位置を設定する。特徴マッチング処理部２４は、夫々の移動体存在可能位置に応じた地点の３次元景観画像を地図情報記憶部７から取得して、夫々の３次元景観画像の特徴部を抽出する。特徴マッチング処理部２４は、実画像の特徴部と、それぞれの移動体存在可能位置に対応する特徴部とのマッチング処理を行う。移動体位置推定部２５は、マッチング処理結果から、現在の移動体位置（ｔ１）を推定する。画像処理部２６はこの移動体位置（ｔ１）に基づいて地図情報記憶部７から３次元景観画像を取得する。画像処理部２６は、この３次元景観画像を表示部６に表示させる。
【００６１】
次に、時刻ｔ２について、時刻ｔ１を基準として、上記と同様の処理を行う。その結果、時刻ｔ２の時点における実画像の特徴部と、地図情報から取得した３次元景観画像の特徴部との特徴マッチング処理を行い、新たに３次元景観画像を表示する。以降、時刻ｔ４までこれを繰り返す。更に時刻Ｔ２においては、時刻Ｔ１と同様にＧＰＳ衛星からの搬送波を受信して移動体の位置を検出し、同様の処理を実行して３次元景観画像を表示する。
【００６２】
時刻Ｔ１とＴ２の時間分割を適当に増加させることにより、連続的な３次元景観画像を表示することができる。この場合、夫々の時刻ｔｎ（ｎは１以上の整数）において、実画像の特徴部と景観情報から抽出された特徴部との間で特徴マッチング処理を行うので、常に移動体の位置が補正されている。そのために、正確でリアルな３次元景観画像を表示することが可能となる。
【００６３】
なお、３次元景観画像から特徴部を抽出することに代えて、道路に沿って所定の間隔で設けられた地点における複数の位置から走行方向を望んで撮像した景観画像又はこの景観画像から抽出した特徴部を地図情報記憶部７に記憶しておき、この景観画像又はこの景観画像から抽出された特徴部に基づいて、特徴マッチング処理を実行することができることは、既に説明したとおりである。
【図面の簡単な説明】
【００６４】
【図１】本発明の実施形態に係る移動体位置測定装置の構成を表す機能ブロック図である。
【図２】本発明の実施形態に係る移動体位置測定方法を表すフローチャート図である。
【図３】本発明の実施形態に係るオフセット距離の検出方法を表すフローチャート図である。
【図４】本発明の実施形態に係る移動体位置測定装置の特徴マッチング処理を説明するための図である。
【図５】本発明の実施形態に係る移動体位置測定装置のオフセット距離の検出による補正を説明するための図である。
【図６】本発明の実施形態に係る移動体位置測定装置の移動体位置推定後の表示例を示す図である。
【図７】本発明の実施形態に係る移動体位置測定装置及び測定方法を説明するための図である。
【図８】本発明の実施形態に係る移動体位置測定装置及び測定方法を説明するための図である。
【図９】従来公知のナビゲーションシステムによる表示画像例を表す図である。
【符号の説明】
【００６５】
１ 制御部
２ 位置情報処理部
３ 位置情報検出部
４ 撮像部
５ 実画像記憶部
６ 表示部
７ 地図情報記憶部
８ 移動体
１０ 移動体位置測定装置
【特許請求の範囲】
【請求項１】
移動体に搭載され、前記移動体が走行する方向の路面に描かれた車線とその方向の景観を撮像して実画像を取得する撮像部と、
前記実画像から特徴部を抽出する実画像特徴抽出部と、
前記移動体の位置と方位角を検出する位置情報検出部と、
地図上の道路に関連付けられた景観情報を記憶する地図情報記憶部と、
前記検出された位置と方位角を用いて前記地図情報記憶部から前記景観情報を取得し、前記取得された景観情報に含まれる特徴部を特定する景観特徴特定部と、
前記実画像の特徴部と、前記景観特徴特定部により特定された特徴部とをマッチング処理する特徴マッチング処理部と、
前記マッチング処理の結果により前記実画像を撮像した移動体の位置を推定する移動体位置推定部と、を備える移動体位置測定装置。
【請求項２】
前記景観情報は、道路に沿って所定の間隔で設けられた地点における複数の位置から走路方向を望んで撮像された景観画像又は当該景観画像から抽出された特徴部から構成され、
前記景観特徴特定部は、前記移動体が前記道路の特定の地点に近接したときに前記地図情報記憶部から前記景観情報を取得して、前記景観情報に含まれる特徴部を特定することを特徴とする請求項１に記載の移動体位置測定装置。
【請求項３】
前記道路に沿って所定の間隔で設けられた地点は、地図上の交差点であることを特徴とする請求項２に記載の移動体位置測定装置。
【請求項４】
前記景観情報は、移動体の位置及び方位角に関連して景観を表示可能な３次元景観画像から構成され、
前記景観特徴特定部は、前記移動体の位置及び方位角に基づいて前記地図情報記憶部から前記３次元景観画像を取得し、前記３次元景観画像から特徴部を抽出して当該特徴部を特定することを特徴とする請求項１に記載の移動体位置測定装置。
【請求項５】
前記地図情報記憶部は、道路の車線数及び車線幅を含む道路情報を更に記憶し、
前記景観特徴特定部は、前記地図情報記憶部から前記道路情報を取得して前記移動体が存在可能な車線を特定し、前記車線ごとの移動体の位置及び方位角に基づいて前記景観情報に含まれる特徴部を前記車線ごとに特定し、
前記特徴マッチング処理部は、前記実画像の特徴部と、前記景観情報から特定された特徴部とを、前記移動体が存在可能な車線ごとにマッチング処理することを特徴とする請求項１〜４のいずれか１項に記載の移動体位置測定装置。
【請求項６】
前記撮像された実画像から路面に描かれた白線を認識する白線認識部を更に備え、
前記白線認識部は、前記実画像から路面に描かれた白線を認識し、前記移動体と前記白線との間のオフセット距離を検出して前記移動体の位置を補正することを特徴とする請求項１〜５のいずれか１項に記載の移動体位置測定装置。
【請求項７】
移動体前方を撮像して実画像を取得し、前記実画像の特徴部を抽出する実画像特徴抽出ステップと、
前記移動体の位置と方位角を検出する位置検出ステップと、
前記移動体の位置及び方位角に基づいて地図情報を取得し、移動体の存在可能位置を推定する存在可能位置推定ステップと、
前記移動体の位置及び方位角から前記移動体の位置及び方位角に関連付けられた景観情報を取得し、前記景観情報に含まれる特徴部を特定する景観特徴特定ステップと、
前記実画像の特徴部と前記景観情報の特徴部とのマッチング処理を行う特徴マッチング処理ステップと、
前記特徴マッチング処理結果により、移動体の位置を推定する移動体位置推定ステップと、を備える移動体位置測定方法。
【請求項８】
前記実画像特徴抽出ステップは、
前記撮像された実画像から路面に描かれた白線を認識する白線認識ステップと、
前記認識された白線から移動体と白線との間のオフセット距離を推定するオフセット距離推定ステップと、
前記オフセット距離に基づいて、移動体の位置を補正する移動体位置補正ステップと、を備える請求項７に記載の移動体位置測定方法。
【請求項９】
前記景観特徴特定ステップは、前記移動体が存在可能な車線における移動体の位置及び方位角に基づいて前記景観情報に含まれる特徴部を前記車線ごとに特定し、
前記特徴マッチング処理ステップは、前記実画像の特徴部と、前記車線ごとに特定された景観情報に含まれる特徴部とを、前記車線ごとに特徴マッチング処理を行うことを特徴とする請求項７又は８に記載の移動体位置測定方法。
【請求項１】
移動体に搭載され、前記移動体が走行する方向の路面に描かれた車線とその方向の景観を撮像して実画像を取得する撮像部と、
前記実画像から特徴部を抽出する実画像特徴抽出部と、
前記移動体の位置と方位角を検出する位置情報検出部と、
地図上の道路に関連付けられた景観情報を記憶する地図情報記憶部と、
前記検出された位置と方位角を用いて前記地図情報記憶部から前記景観情報を取得し、前記取得された景観情報に含まれる特徴部を特定する景観特徴特定部と、
前記実画像の特徴部と、前記景観特徴特定部により特定された特徴部とをマッチング処理する特徴マッチング処理部と、
前記マッチング処理の結果により前記実画像を撮像した移動体の位置を推定する移動体位置推定部と、を備える移動体位置測定装置。
【請求項２】
前記景観情報は、道路に沿って所定の間隔で設けられた地点における複数の位置から走路方向を望んで撮像された景観画像又は当該景観画像から抽出された特徴部から構成され、
前記景観特徴特定部は、前記移動体が前記道路の特定の地点に近接したときに前記地図情報記憶部から前記景観情報を取得して、前記景観情報に含まれる特徴部を特定することを特徴とする請求項１に記載の移動体位置測定装置。
【請求項３】
前記道路に沿って所定の間隔で設けられた地点は、地図上の交差点であることを特徴とする請求項２に記載の移動体位置測定装置。
【請求項４】
前記景観情報は、移動体の位置及び方位角に関連して景観を表示可能な３次元景観画像から構成され、
前記景観特徴特定部は、前記移動体の位置及び方位角に基づいて前記地図情報記憶部から前記３次元景観画像を取得し、前記３次元景観画像から特徴部を抽出して当該特徴部を特定することを特徴とする請求項１に記載の移動体位置測定装置。
【請求項５】
前記地図情報記憶部は、道路の車線数及び車線幅を含む道路情報を更に記憶し、
前記景観特徴特定部は、前記地図情報記憶部から前記道路情報を取得して前記移動体が存在可能な車線を特定し、前記車線ごとの移動体の位置及び方位角に基づいて前記景観情報に含まれる特徴部を前記車線ごとに特定し、
前記特徴マッチング処理部は、前記実画像の特徴部と、前記景観情報から特定された特徴部とを、前記移動体が存在可能な車線ごとにマッチング処理することを特徴とする請求項１〜４のいずれか１項に記載の移動体位置測定装置。
【請求項６】
前記撮像された実画像から路面に描かれた白線を認識する白線認識部を更に備え、
前記白線認識部は、前記実画像から路面に描かれた白線を認識し、前記移動体と前記白線との間のオフセット距離を検出して前記移動体の位置を補正することを特徴とする請求項１〜５のいずれか１項に記載の移動体位置測定装置。
【請求項７】
移動体前方を撮像して実画像を取得し、前記実画像の特徴部を抽出する実画像特徴抽出ステップと、
前記移動体の位置と方位角を検出する位置検出ステップと、
前記移動体の位置及び方位角に基づいて地図情報を取得し、移動体の存在可能位置を推定する存在可能位置推定ステップと、
前記移動体の位置及び方位角から前記移動体の位置及び方位角に関連付けられた景観情報を取得し、前記景観情報に含まれる特徴部を特定する景観特徴特定ステップと、
前記実画像の特徴部と前記景観情報の特徴部とのマッチング処理を行う特徴マッチング処理ステップと、
前記特徴マッチング処理結果により、移動体の位置を推定する移動体位置推定ステップと、を備える移動体位置測定方法。
【請求項８】
前記実画像特徴抽出ステップは、
前記撮像された実画像から路面に描かれた白線を認識する白線認識ステップと、
前記認識された白線から移動体と白線との間のオフセット距離を推定するオフセット距離推定ステップと、
前記オフセット距離に基づいて、移動体の位置を補正する移動体位置補正ステップと、を備える請求項７に記載の移動体位置測定方法。
【請求項９】
前記景観特徴特定ステップは、前記移動体が存在可能な車線における移動体の位置及び方位角に基づいて前記景観情報に含まれる特徴部を前記車線ごとに特定し、
前記特徴マッチング処理ステップは、前記実画像の特徴部と、前記車線ごとに特定された景観情報に含まれる特徴部とを、前記車線ごとに特徴マッチング処理を行うことを特徴とする請求項７又は８に記載の移動体位置測定方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１０−１５１６５８（Ｐ２０１０−１５１６５８Ａ）
【公開日】平成２２年７月８日（２０１０．７．８）
【国際特許分類】
【出願番号】特願２００８−３３０９２２（Ｐ２００８−３３０９２２）
【出願日】平成２０年１２月２５日（２００８．１２．２５）
【出願人】（５０７０８０６２８）
【Ｆターム（参考）】
【公開日】平成２２年７月８日（２０１０．７．８）
【国際特許分類】
【出願日】平成２０年１２月２５日（２００８．１２．２５）
【出願人】（５０７０８０６２８）
【Ｆターム（参考）】
[ Back to top ]