地図情報生成方法、地図情報生成プログラム及び地図情報収集装置
【課題】 従来の地図作成装置においては、地図の作成等に必要な地図上に記載される周辺の情報を効率的に取得することができなかった。本発明は、地図作成に必要な地図上に記載される店舗などの情報、すなわち地図情報を効率的に生成できるようにすることを目的とする。
【解決手段】 撮像手段の移動に伴って撮像される映像データと、この映像データに対応して記録され上記撮像手段の撮像位置に対応して測位される測位情報とを入力し、この入力された映像データ中の検出対象を検出し、この検出された検出対象と上記撮像手段との相対位置情報を算出し、この算出された相対位置情報と上記測位情報とに基づき、検出対象の位置情報を生成するようにした。
【解決手段】 撮像手段の移動に伴って撮像される映像データと、この映像データに対応して記録され上記撮像手段の撮像位置に対応して測位される測位情報とを入力し、この入力された映像データ中の検出対象を検出し、この検出された検出対象と上記撮像手段との相対位置情報を算出し、この算出された相対位置情報と上記測位情報とに基づき、検出対象の位置情報を生成するようにした。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は地図情報を生成する技術に関するものである。
【背景技術】
【０００２】
従来、地図情報を生成する技術としては、特開平９−２６９７２６号公報において、ビデオカメラと高精度測位装置によって道路地図を作成するものが開示されている。この従来技術では、車にビデオカメラと高精度測位装置を積載した装置を利用する。まずビデオカメラによって得られた画像から道路車線を示す白線を検出し、その結果から車両が車線の中心からどの程度ずれた位置を走行しているかを検出する。そして、高精度測位装置によって得られる車両の位置情報と、カメラ画像処理結果によって得られた車両の道路中心からのずれの情報とを利用して、車線の中心における位置情報を求める。これを連続的に処理することで、道路中心の位置情報を算出して、既存の地図情報と照合して地図を補正することが可能となっている。
【０００３】
【特許文献１】特開平９−２６９７２６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特開平９−２６９７２６号公報に示されたものは、検出するものは道路の中心線であり、地図の作成等に必要な地図上に記載される周辺の情報を取得することができなかった。
【０００５】
本発明は、このような課題を解決するためになされたもので、地図作成に必要な地図上に記載される店舗などの情報、すなわち地図情報を効率的に生成できるようにすることを目的とする。
【課題を解決するための手段】
【０００６】
本発明では、撮像手段の移動に伴って撮像される映像データと、この映像データに対応して記録され上記撮像手段の撮像位置に対応して測位される測位情報とを入力し、この入力された映像データ中の検出対象を検出し、この検出された検出対象と上記撮像手段との相対位置情報を算出し、この算出された相対位置情報と上記測位情報とに基づき、検出対象の位置情報を生成するようにしたものである。
【発明の効果】
【０００７】
本発明によれば、既存の地図には存在しない地図情報を効率的に生成することができる。
【発明を実施するための最良の形態】
【０００８】
実施の形態１．
以下に本発明の実施形態を示す。
図１は本実施形態における地図情報生成のために必要な情報を収集するデータ収集装置の構成を示す構成図である。図において、１０１はＧＰＳもしくは慣性航法もしくはそれらを複合して構成され自位置を測定する測位手段、１０２は周囲の風景を撮影するビデオカメラ、１０３は方位を測定する方位センサである。
これら測位手段１０１、ビデオカメラ１０２、方位センサ１０３は移動体としての車両１０４に設置されており、これらの機器は正確にその位置関係が計測された上で設置されている。例えば、測位手段１０１、ビデオカメラ１０２、方位センサ１０３は、地平に対して同一垂直線上に中心が配置されるとともに、車両進行方向と水平に設置されている。さらにビデオカメラと方位センサはほとんど接する形で設置されている。方位センサ１０３は上記車両１０４の向きや姿勢を計測する。
【０００９】
１０６は上記車両１０４の車速を検出する車速センサ、１０５はこの車速センサ１０６および上記測位手段１０１、ビデオカメラ１０２、方位センサ１０３からの情報を同期記録する記録装置である。この記録装置１０５と測位手段１０１、ビデオカメラ１０２、方位センサ１０３は信号線により接続されている。
【００１０】
次にこの発明における地図情報生成の動作を説明する。ここでは地図情報として、ある検出対象（例えば白線）の位置情報を正確に生成するものを示す。さらにこの位置情報に基づき、地図への対応を行う。
図２は本実施形態における地図情報生成の動作を示すフローチャートである。
まず、以下のようにして情報（データ）収集対象地域の情報（データ）を一括収集する（ステップＳＴ２０１）。車両１０４によって情報収集対象地域の路上を走行し、データ収集開始すると、測位手段１０１から例えばＮＭＥＡ−０１８３形式の位置情報（緯度、経度、高度などのデータ）、ビデオカメラ１０２からは映像データ、方位センサ１０３からは車両１０４の三軸の角度、角加速度などのデータが出力され、これらの情報（データ）が記録装置１０５に入力されて記録が始まる。各データの信号のタイミングは入力した時点の記録装置の内部時刻によって同期される。情報収集対象地域でないところでは記録装置１０５での記録を停止させる。
その後、記録装置１０５内に記録されたデータをもとに地図情報を生成する。
【００１１】
まず、記録装置１０５内に記録されている映像データを解析して被写体を検出し、その画像座標を取得する（ステップＳＴ２０２：入力ステップ、検出ステップ）。本実施の形態では被写体は例えば道路上の白線とする。映像データからエッジ情報や直線性などの評価を行い被写体を検出する。図３に示すように白線と道路の境界線上の点（以下、対象点と呼ぶ）における座標を検出する。本実施の形態では路上の白線を検出対象とするが、白線以外にも横断歩道や専用レーンを示す矢印などの道路指標や、道路の周囲に存在する店舗の看板、交通標識などでもよいものとする。
【００１２】
白線の検知方法としては既知の方法を利用するものとし、本実施の形態では特に言及しないものとする。また、ここで形状を認識してその領域を抽出し、領域内に含まれる文字列を把握した上で、その輪郭線の座標を算出したり、交通標識やチェーン店の看板などのパターンをあらかじめモデルとして記憶しておき、モデルとのマッチングによって交通標識や店舗の種類を特定したりすることが出来る。ここで得られた結果は図４に示すような画像座標系の座標値列とする。
【００１３】
次に得られた対象点の画像座標（二次元）から撮影時点のカメラと対象点との相対的な位置（三次元）を算出する（ステップＳＴ２０３：算出ステップ）。例えば路面に存在するものに関してカメラを一台だけ利用する場合には、次のような拘束条件によって相対位置を算出することができる。車両上に設置したカメラの高さは計測により既知とする。このときに対象点の存在する路面とカメラとの高さの関係は特殊な場合を除き一定と仮定できるため、高さは既知のパラメータとなり以下に示す方程式の元（Ｙ）が一つ減り、スケールファクターｓを含めて連立三元一次方程式の形にすることが出来る。ｘ，ｙは画像座標系の座標点を示し、Ｘ，Ｙ，Ｚはカメラを中心としたカメラ座標系（図５に示す）の空間座標を示し、fはカメラの焦点距離を示す。
【００１４】
ｘ＝ｓｆＸ／Ｚ ・・・（１）
ｙ＝ｓｆＹ／Ｚ ・・・（２）
１＝ｓ／Ｚ ・・・（３）
【００１５】
この式を既知の画像座標ｍ（ｘ,ｙ）、焦点距離ｆ、カメラからの高さＹを代入して、Ｘ，Ｚについて解くと空間座標（＝相対位置）Ｍ（Ｘ，Ｙ，Ｚ）を求めることが出来る。実際にはカメラの内部行列Ａ、平行移動行列ｔ、回転行列Ｒを利用してｍ＝Ａ［Ｒ，ｔ］Ｍの関係を用いて計算を行う。ここでは説明を簡単にするために簡易式を用いているが、ｍ＝Ａ［Ｒ，ｔ］Ｍの関係式によって計算することももちろん可能である。この場合はＡ（３×３の行列）の各値をカメラの内部パラメータとよび、この測定をあらかじめ行うことで既知の値とすることが出来る。回転行列Ｒも３×３の行列であり、三軸それぞれの回転角を計測して入力することが出来る。これを利用して車両走行によるカメラの角度変化時でも計算結果の誤差の軽減に対応することも出来る。ｔはカメラの原点からの平行移動量を示す３×１の行列である。通常はこの実施形態の場合のように、カメラ座標と原点の位置は一致しているので平行移動量は０とみなすことが出来る。仮にカメラ設置位置がずれている場合、このバラメータを調整してデータ収集環境のキャリブレーションを行うことで、正確にデータ計算をすることが出来る。
【００１６】
なお、ここでは路上の道路指標の検出を例にしているが、道路標識や看板などの路上に存在しない物体に関しては２台のカメラを利用して同時撮影された２枚の画像からカメラからの相対的な三次元位置を算出する方法が知られているため、これを利用することも可能である。
【００１７】
次にステップＳＴ２０３の処理で得られた相対距離情報と、対象フレームを撮影したときの測位情報を利用して対象点の地理位置を計算する（ステップＳＴ２０４：対象位置情報生成ステップ）。図６にカメラ座標系と地理座標系の関係を示す。図６に示すようにカメラ座標系は地理座標系の縦軸（北半球の場合は北の方向）に対して角度を持っている。また、扱う単位としてはカメラ座標系での単位はメートル、地理座標系の単位は緯度、経度である。
【００１８】
カメラ座標系におけるＺ軸の方向が車両の進行方向である。これは方位角として方位センサにより取得することが出来る。撮影時のカメラの測位情報は緯度、経度として得ることができるので、カメラ座標の原点Ｏは地理座標系において図７上部の図に示すような関係になっている。この時点ではカメラ座標と地理座標は平行の関係であると考えている。対象点Ｍの緯度経度も原点Ｏの緯度、経度を基にして換算することが出来る。しかしながら実際はカメラ座標系と地理座標系の間には方位角で示す角度があるため、方位角の情報を利用して原点Ｏを中心にして対象点Ｍを回転させる。回転後のイメージが図７の下図の図である。回転は２×２行列に広く知られている回転行列を掛け合わせて得ることが出来る。この演算によってカメラ座標系の相対距離で示されていた対象点の座標を地理座標系の座標値に変換することが出来る。このようにして計算された地理座標はハードディスクなどの記録領域に記録される。
【００１９】
次に処理しているフレームが最終フレームかどうかを判断する（図２のステップＳＴ２０５）。最終フレームではない場合はステップＳＴ２０２の処理に戻り、最終フレームである場合はステップＳＴ２０６以降の処理、すなわち、上記検出対象を地図上に対応させる処理（地図対応ステップ）を実行する。
ステップＳＴ２０６の処理では記録領域に蓄積された位置情報列を地図上にプロットする。プロット結果は例えば図８に示すようになる。
【００２０】
次にプロットした座標をつなぎ合わせて線分化する処理を行う（ステップＳＴ２０７）。線分化は一般的な一次の線形補間で行うことも出来るし、二次以上の曲線補間を行うことも可能である。道路の切れ目のような情報が存在しない部分がある場合は、データが一定値以上はなれていないかを確認し、離れているようであれば線分をそこで分割するという処理を行う。
【００２１】
これによって道路上の白線情報を始点、終点、曲率などの情報によってベクトル化することが出来る。このときにベクトル化の対象とする点として、すべての算出された位置情報点を同等に利用するのではなく、車速センサによって映像と同時に得られた車速情報によって利用する点の優先度を変更することで車両の移動による誤差を抑えることが出来、追加する情報の精度を高めることが出来る。たとえば、停止している状態では位置と映像の記録ぶれは生じないため、このときの優先度を例えば５段階中の最高位５に設定する。時速10Ｋｍ／ｈまでの取得データは４に設定し、１０Ｋｍ／ｈから３０Ｋｍ／ｈまでは３、３０Ｋｍ／ｈから６０Ｋｍ／ｈまでは２、６０Ｋｍ／ｈ以上は１とする。この優先度を用いることにより、点列情報を精度よくベクトル化することができる。
【００２２】
図９の上部分に示すように単純にプロットした結果を利用して線形補間してベクトル化すると、曲がった線になる場合がある。一方、優先度を利用する場合は、例えば、優先度３のプロット点の信頼線は低いため平均化する際の重み付けの係数を小さい値０．５に設定し、優先度５のところは信頼できるデータとしてそのまま採用するため重み付けの係数を１とし、優先度４のところは０．７５とする。これを利用して線分をベクトル化することで信頼性の低い点の情報を落として、信頼性の高い点の情報を採用できるので、図９の下部分に示すように精度高く点列情報をベクトル化することが出来る。
そして、ステップＳＴ２０７においてベクトル化されたデータをステップＳＴ２０８において一つのレイヤーとして管理する。これは一般的な地図ソフトで行われている方式を利用すればよい。
【００２３】
以上のようにして、既存の地図には存在しない詳細な情報を新たに生成し、地図上に付加することが出来、地図作成において必要な地図上に乗る店舗などの情報を効率的に生成できる。
【００２４】
なお、映像データから認識した物体（例えば交通標識）から文字情報、特徴情報を読み取り、物体の種別を判定して属性を付加し、その属性とともに復元結果を既存の地図上に重ね合わせることで既存の地図にはない情報を付加することも可能であり、より詳細な情報を生成、付加することができる。上記物体は、交通標識の他、看板や建物を示す表示板とし、物体から得られた特徴情報により店舗や建物を識別して、地図に店舗情報を付加することもできる。
【００２５】
以上の実施形態中に記載した構成要素はその趣旨を変えない範囲で別の手段と代替することが出来るものとする。
さらに複数のビデオカメラ１０２を車両１０４に設置して同時に複数の角度からの画像を取得することも可能である。ビデオカメラ１０２はラインセンサなどの画像を取得できるものであれば他のもので代替することも可能である。
【００２６】
なお、以上の実施形態の説明は地図情報を生成する方法を示すものであるが、計算機で動作するソフトウエアで実現することもできる。
【００２７】
実施の形態２．
以下、実施の形態２について説明する。実施の形態１では、一つの車両収集装置にて対象物体を測位する方法について説明した。実施の形態２では、多数の車両や複数のセンサを用いて収集した映像データから対象物を検出し、これらの検出結果を累積した値に閾値処理を施すことで、対象物を高精度に検出・測位する方法について説明する。
【００２８】
ここで、対象物とは、収集の対象となっている地図情報のことを意味し、例えば、道路標識、道路上の白線や、横断歩道、道路の周囲に存在する店舗の看板、信号機、電柱、などのことを指すものとする。
【００２９】
図１０は、実施の形態２に係る地図情報収集装置の構成図である。地図情報収集装置１０００は、映像情報・位置情報データベース１００１と、対象物情報収集部１００２と、地図データベース１００３と、対象物情報累積部１００４とを備えている。
映像情報・位置情報データベース１００１は、映像情報とそれに同期した車両の位置情報を記憶する記憶領域であり、地図情報収集装置１０００の内部または外部に設けられた記憶装置に構築される。
対象情報収集部１００２は、対象物検出部１００５と、対象物測位部１００６と、対象物保存部１００７とを備えている。
さらに、対象物検出部１００５は、画像走査部１０１０と、類似度計算部１０１１と、矩形領域マージ部１０１２と、閾値処理部１０１３とを備えている。
地図データベース１００３は、対象物の緯度・経度・標高の３次元座標と、対象物に関するその他の情報を記憶する記憶領域であり、地図情報収集装置１０００の内部または外部に設けられた記憶装置に構築される。
対象物情報累積部１００４は、対象物マージ部１００８と、閾値処理部１００９とを備えている。
【００３０】
ここで、本実施の形態に係る構成要素と、実施の形態１に係る構成要素の関係について述べる。まず、映像情報・位置情報データベース１００１は、実施の形態１に説明した記録装置１０５に相当する。また、対象物検出部１００５は、実施の形態１に説明した検出ステップ（ステップＳＴ２０２）に相当する処理装置である。また、対象物測位部１００６とは、算出ステップ（ステップＳＴ２０３）と対象位置情報生成ステップ（ステップＳＴ２０４）に相当する処理装置である。
【００３１】
次に、動作について説明する。本実施の形態に係る地図情報収集装置１０００の動作は、映像情報とそれに同期した位置データから対象物を検出・測位して地図データベース１００３に保存する対象物情報収集フェイズと、地図データベース１００３に保存された対象物の情報を累積する対象物情報累積フェイズと、二つのフェイズから構成される。
【００３２】
まず、図１１を参照して、対象物情報収集フェイズについて説明する。図１１は、対象物情報収集フェイズの動作を示すフローチャートである。初めに、実施の形態１で述べた構成により、ＧＰＳとビデオカメラ（あるいはセンサ）を搭載した多数の車両を用いて、道路と周辺情景の映像データと、この映像データに同期した車両の位置情報を収集し、映像情報・位置情報データベース１００１に保存する（ステップＳＴ１１０１）。なお、個々の車両における映像データと、映像データに同期した位置情報の収集方法は実施の形態１と同じであるので説明を省略する。
ここで、同一の車両で日を変えて映像データと位置情報データを収集しても良い。また一つの車両に複数のビデオカメラやセンサを搭載して、異なる位置や角度から同一区間の道路の映像情報と測位情報データを収集しても良い。このようにすることで、広範囲の市街地を満遍なくデータ収集を行なうことが可能となる。
また、ステップＳＴ１１０１で収集する映像データは、ビデオカメラで撮影した可視画像に限らず、例えば、ラインスキャンレーザで得られる奥行き映像データや、赤外線カメラによって得られる熱映像データなど、カメラ以外のセンサから得られる映像データでもよい。
【００３３】
次に、対象物検出部１００５は、映像情報・測位情報データベース１００１に保存された多数の映像情報の中から一つを選択する（ステップＳＴ１１０２）。
【００３４】
次に、対象物検出部１００５は、ステップＳＴ１１０２で選択された映像情報の中から１フレームだけ画像を取得する（ステップＳＴ１１０３）。
【００３５】
次に、対象物検出部１００５は、ステップＳＴ１１０３にて取得した画像を解析して対象物が写る矩形領域を検出し、同時に矩形領域の類似度を求める（ステップＳＴ１１０４）。例えば、映像情報を基に道路設備管理を行なう場合、対象物検出部１００５は、入力画像に写る道路標識や信号機、電柱、等を検出して、それらを取り囲む矩形領域を出力し、またその矩形領域の類似度を算出する。
ここで類似度とは、「ある矩形領域の画像が目的の対象物の画像と類似している度合いを数値的に表現しているもの」と定義する。以下、本実施の形態では、例えば、矩形領域の画像が目的の対象物である可能性が高いほど大きな正の値をとり、また矩形領域の画像が目的の対象物である可能性が低いほど負の値をとるものとする。
類似度の算出方法としては、例えば、テンプレートマッチングを用いて、テンプレート画像と矩形領域の類似度を算出することも可能である。また、対象物の色が特定されている場合には、矩形領域の色と対象物に特定の色との類似度を算出してもよい。また、例えば、参考文献１、２に記載のアルゴリズムを用いることで、高精度かつ高速に対象物の矩形領域を検出して、その類似度を算出することも可能である。
［参考文献１］
Paul A. Viola, Michael J. Jones, “Rapid Object Detection Using a Boosted Cascade of Simple Features”, IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR), ISSN: 1063-6919, Vol. 1, pp. 511-518, December 2001
［参考文献２］
Paul A. Viola, Michael J. Jones, “Fast and Robust Classification using Asymmetric AdaBoost and a Detector Cascade.” Advances in Neural Information Processing Systems 14, p1311-1318, 2001, MIT Press,
【００３６】
ここで、参考文献１および参考文献２に記載の物体検出アルゴリズムを用いた類似度の算出方法について述べる。
【００３７】
参考文献１、２においてViola & Jonesらは、Adaboostと呼ばれる学習アルゴリズムを用いて高精度かつ高速に対象物の検出を行った。これは、エッジなどの特徴量の情報に基づいて入力画像が対象物であるか否かを判別する関数（以下、これを判別関数と呼ぶ）の出力を累積し、累積した値の大小に応じて入力画像が対象物か否かの判定を行うものである。この判別関数の出力を累積する式は、以下に示す数式１で与えられる。
【数１】
数式１において、confは判別関数の出力を累積した値であり、xは入力された矩形領域の画像であり、θは検出率を調整するための閾値であり、tは判別関数のインデックスであり、Tは加算する判別関数の総数である。
また、ht(x)は判別関数であり、画像xが対象物の画像である可能性が高ければ正の値を返し、画像xが対象物である可能性が低ければ負の値を返す。例えば、道路標識を検出したい場合、ある判別関数は道路標識に固有の形を検出することで道路標識である可能性の大小を数値化して返し、また、ある判別関数は道路標識に固有の色を検出して目的の道路標識である可能性の大小を数値化して返す。
数式１において、xが目的の対象物の画像である可能性が高いほどconfは大きな正の値をとり、またxが対象物の画像である可能性が低いほどconfは負の値をとる。このため、対象物検出部１００５において、数式１に示すconfを類似度として使用することが可能である。
なお、上記の判別関数を求める方法や、閾値θを決定する方法については文献００２および文献００３に記載されているのでここでは言及しない。
【００３８】
以下では、対象物検出部１００５が、例えば参考文献１と参考文献２に記載の物体検出アルゴリズムを用いて、対象物の矩形領域とその類似度を算出する方法について説明する。図１２は、対象物検出部１００５の動作を示すフローチャートである。図１２は、図１１に示すステップＳＴ１１０４における対象物検出部１００５の動作を詳細に説明したものである。
【００３９】
まず、画像走査部１０１０は、ステップＳＴ１１０３で取得した画像を入力として受け取る（ステップＳＴ１２０１）。
次に、画像走査部１０１０は、異なる大きさの対象物を検出するために、元画像を異なる率で縮小させた画像を複数生成する（ステップＳＴ１２０２）。図１４は、画像走査部１０１０の動作例を示す説明図である。例えば、図１４の（ａ）に示すように、元画像を縮小して異なる大きさの画像を複数生成する。
次に、画像走査部１０１０は、矩形領域を一ピクセルごとに移動させて、ステップＳＴ１２０２で生成した縮小画像を走査する（ステップＳＴ１２０３）。
【００４０】
次に、類似度計算部１０１１は、ステップＳＴ１２０３で走査した矩形領域の類似度を計算する（ステップＳＴ１２０４）。類似度の計算には、例えば、数式１を用いる。
次に、類似度計算部１０１１は、入力した矩形領域の類似度が０より大きいか否かを判断する（ステップＳＴ１２０５）。
次に、類似度計算部１０１１は、入力した矩形領域の類似度が０より大きければ、この矩形領域は対象物の画像であるとみなし、その矩形領域の座標と類似度を保存しておく（ステップＳＴ１２０６）。図１５は、対象物の矩形領域の例を示す説明図である。ここで矩形領域の座標とは、図１５に示すように、画像座標系ＸＹにおいて矩形領域の位置を指定する四つの座標値x1、x2、y1、y2のことを指す。一方、ステップＳＴ１２０５で、入力した矩形領域の類似度が０より大きくなければ、ステップＳＴ１２０７へ進む。
【００４１】
次に、画像走査部１０１０は、ステップＳＴ１２０２で生成したすべての縮小画像を走査したか否かを判断する（ステップＳＴ１２０７）。まだ走査していない縮小画像があれば、すべての画像を走査するまでステップＳＴ１２０３に戻り、対象物の矩形領域を検出する処理を繰り返す。すべての縮小画像を走査した場合は、ステップＳＴ１２０８に進む。
【００４２】
ステップＳＴ１２０３からステップＳＴ１２０７の処理により、通常、図１４の（ｂ）に示すように、一つの対象物に対して複数の矩形領域が重なって検出される。そこで、矩形領域マージ部１０１２は、保存した矩形領域を一つにまとめるために、矩形領域の面積が一定の割合以上重なっている場合、これらの重なった矩形領域をマージして一つの矩形領域を出力する（以下、マージ処理）（ステップＳＴ１２０８）。この際、新しい矩形領域の座標は、複数の矩形領域の座標の類似度による重み付け平均とする。また、新しい矩形領域の類似度は二つの類似度の和とする。
【００４３】
図１６は、矩形領域マージ部１０１２の動作例を示す説明図である。図１６を用いて、ステップＳＴ１２０８の動作例を説明する。図１６（ａ）に示すように、２次元の画像座標系に矩形領域Ａと矩形領域Ｂと矩形領域Ｃが検出されたものとする。ここで、矩形領域Ａが類似度５を持ち、矩形領域Ｂが類似度１０を持ち、矩形領域Ｃが類似度１０を持つとする。矩形領域Ａと矩形領域Ｂの面積が一定以上重なっているため、これら二つの領域をマージ処理して矩形領域Ｄを新しく生成する（図１６（ｂ））。矩形領域Ｄの座標は、矩形領域Ａと矩形領域Ｂの類似度によるそれぞれの座標の重み付け平均となる。また、矩形領域Ｄの類似度は１０＋５＝１５と計算される。
ステップＳＴ１２０８の具体的な計算例を以下に示す。図１６（ａ）において、矩形領域Ａの座標を（a_x1，a_x2，a_y1，a_y2）とし、矩形領域Ｂの座標を（b_x1，b_x2，b_y1，b_y2）とする。また、矩形領域Ａの類似度をa_confとし、矩形領域Ｂの類似度をb_confとする。このとき、図１６（ｂ）の矩形領域Ｄの座標（d_x1，d_x2，d_y1，d_y2）は数式２で与えられる。
d_x1 = ( a_conf×a_x1 + b_conf×b_x1)/( a_conf + b_conf)
d_x2 = ( a_conf×a_x2 + b_conf×b_x2)/( a_conf + b_conf)
d_y1 = ( a_conf×a_y1 + b_conf×b_y1)/( a_conf + b_conf)
d_y2 = ( a_conf×a_y2 + b_conf×b_y2)/( a_conf + b_conf)
・・・（数式２）
また、矩形領域Ｄの類似度d_confは数式３で与えられる。
d_conf= a_conf + b_conf ・・・（数式３）
【００４４】
最後に、閾値処理部１０１３は、ステップＳＴ１２０８において加算された類似度に対して閾値処理を行い、一定の閾値以下の類似度を持つ矩形領域は棄却する（ステップＳＴ１２０９）。閾値処理部１０１３の動作例を図１６の（ｂ）と（ｃ）に示す。図１６（ｂ）には、類似度１５を持つ矩形領域Ｄと、類似度１０を持つ矩形領域Ｃが存在する。矩形領域Ｃの近傍にはその他の矩形領域が存在しなかったため、マージ処理が行われず、類似度は１０のままである。このとき、類似度が１０以下の矩形領域は棄却する閾値処理を行うとする。この処理で、矩形領域Ｃは棄却される。一方で、矩形領域Ｄは類似度が１５であるため、棄却されずに残る。この矩形領域Ｄを閾値処理部１０１３の出力とする。
通常、対象物の周辺には複数の矩形領域が重なって検出されるため、これらをマージ処理することで類似度を高めることができる。一方、ノイズ等の影響で誤って検出された場合、複数の矩形領域が重なって検出されることは滅多に無く、マージ処理が行われずに、各矩形領域の類似度は低いままである。このため、マージ処理を行って類似度を累積した後に閾値処理を施すことで誤検出を減らすことが可能となる。
【００４５】
以上のように、対象物検出部１００５は、例えば参考文献１と参考文献２に記載の物体検出アルゴリズムを用いて、入力された画像から対象物を検出して、その矩形領域と類似度を算出することができる。
【００４６】
また、対象物検出部１００５において、対象物の類似度を計算する方法は、参考文献１、２に記載のアルゴリズムに限らず、目的となる対象物の画像と矩形領域の画像が類似している度合いを数値的に算出することが可能であれば、いずれのアルゴリズムを用いてもよい。
【００４７】
再び、図１１を用いて、対象物情報収集部１００２の動作について説明する。対象物測位部１００６は、ステップＳＴ１１０４で検出した対象物の矩形領域の座標（２次元）を用いて、撮影時点のカメラを中心とした対象物の相対的な位置（３次元）を算出する（ステップＳＴ１１０５）。なお、対象物の矩形領域の座標から、対象物の相対的な位置を算出する方法は実施の形態１におけるステップＳＴ２０３の処理と同じであるため、実施の形態２では説明を省略する。
【００４８】
次に、対象物測位部１００６は、ステップＳＴ１１０５の処理で得られた相対位置情報と、現在処理している対象フレームを撮影したときの測位情報とを利用して対象物の地理座標を計算する（ステップＳＴ１１０６）。なお、対象物の地理座標の計算については、実施の形態１のステップＳＴ２０４の処理と同じであるため、実施の形態２では説明を省略する。
【００４９】
次に、対象物保存部１００７は、映像情報から検出した対象物の情報を地図データベース１００３に保存する（ステップＳＴ１１０７）。ここで対象物の情報とは、例えば、ステップＳＴ１１０６で求めた対象物の地理座標（緯度、経度、標高）や、対象物の類似度、対象物の種類、対象物の大きさ、切り出した対象物の画像等の対象物に関する情報のことを指す。
【００５０】
次に、対象物情報収集部１００２は、ステップＳＴ１１０３で取得した画像が、ステップＳＴ１１０２で取得した映像情報の最終フレームか否かを判断する（ステップＳＴ１１０８）。もし、ステップＳＴ１１０３で取得した画像が、ステップＳＴ１１０２で取得した映像情報の最終フレームである場合は次のステップＳＴ１１０９に進む。そうでない場合はステップＳＴ１１０３に戻り映像情報から次のフレームを取得して対象物を検出する処理を繰り返す。
【００５１】
次に、対象物情報収集部１００２は、現在処理を行っている映像情報が、映像情報・測位情報データベース１００１に保存されている最後の映像情報か否かを判断する（ステップＳＴ１１０９）。もし、映像情報・測位情報データベース１００１に、まだ対象物検出の処理を行っていない映像情報が残っている場合、ステップＳＴ１１０２に戻り次の映像情報に対して処理を行う。また、現在処理を行っている映像情報が、映像情報・測位情報データベース１００１に保存されている最後の映像情報である場合、対象物情報収集フェイズの処理を終了する。
【００５２】
以上で述べたように、対象物情報収集フェイズでは、対象物情報収集部１００２が、多数の車両やセンサで収集した映像情報から対象物を検出し、その位置情報を地図データベース１００３に保存する。
【００５３】
次に、対象物情報累積フェイズについて説明する。前述した対象物情報収集フェイズでは、例えば二台の車両で同じ対象物の情報を収集した場合、これらは個別に地図データベース１００３に保存されていた。そこで、対象物情報累積フェイズでは、同一の地理座標にある複数の対象物は同じものであるとみなし、対象物の情報を一つにまとめる処理を行なう。以下では、図１３を用いて、対象物情報累積フェイズの動作手順を説明する。図１３は、対象物情報累積フェイズの動作を示すフローチャートである。
【００５４】
はじめに、対象物情報累積部１００４は、地図データベース１００３から一つの対象物を番号順に選択して、該当の対象物の情報を取得する（ステップＳＴ１３０１）。なお、地図データベース１００３に保存されている対象物の情報は、保存された日付や位置などの特徴により番号付けされているものとする。
【００５５】
次に、対象物マージ部１００８は、地図データベース１００３を検索して、ステップＳＴ１３０１で選択した対象物の地理座標の近傍にその他の対象物が存在するか否かを調べる（ステップＳＴ１３０２）。もし、ステップＳＴ１３０１で選択した対象物の地理座標の近傍にその他の対象物が見つかった場合、次のステップＳＴ１３０３に進む。また、もし、ステップＳＴ１３０１で選択した対象物の地理座標の近傍にその他の検出された対象物が見つからなかった場合、ステップＳＴ１３０１に戻り、次の対象物の情報を取得する。
【００５６】
次に、対象物マージ部１００８は、ステップＳＴ１３０１で選択した対象物の情報と、この対象物の地理座標の近傍に存在する対象物の情報を一つにまとめる（ステップＳＴ１３０３）。以下、図１７と図１８を用いて、ステップＳＴ１３０３の動作例を説明する。
【００５７】
まず、図１７を用いて、対象物の表現方法について説明する。図１７は、対象物が直方体の例を示す説明図である。図１７に示すように、対象物を、経度と緯度と標高の３次元空間において、適当な大きさを持つ直方体で表現する。ここで、対象物を表現する直方体の大きさは、実際の対象物の大きさと、対象物情報収集フェイズにおける地理座標の測位精度とによって決定される。例えば、厚さが無視できるほど薄い５０ｃｍ四方の道路標識を標準偏差２ｃｍの精度で測位した場合、図１７に示すように、標準偏差の３倍である６ｃｍを道路標識の大きさに加算して、直方体の大きさを算出する。
【００５８】
次に、図１８を用いて、対象物の情報を一つにまとめる方法について説明する。図１８は、対象物情報累積部１００４の動作例を示す説明図である。図１８の（ａ）に示すように、地図データベース１００３上の緯度、経度、標高の３次元空間に、対象物Ａと対象物Ｂと対象物Ｃの三つの対象物があるとする。また、それぞれの対象物は、対象物情報収集フェイズにて計算した類似度の情報も持つ。この例では、対象物Ａが類似度５を持ち、対象物Ｂが類似度１０を持ち、対象物Ｃが類似度５を持つとする。
ここで、対象物Ａの地理座標の近傍に対象物Ｂが存在するか否かを判断するための基準として、例えば、対象物の直方体の重なった体積を利用することが考えられる。例えば、図１８の（ａ）において、対象物Ａと対象物Ｂの体積が一定以上重なっているとする。このとき、対象物Ａと対象物Ｂを一つにまとめ、新しく対象物Ｄを生成する（以下、マージ処理）。また、地図データベース１００３にある対象物Ａと対象物Ｂの情報は削除して、新しく対象物Ｄの情報を地図データベース１００３に保存する。
【００５９】
以下に、具体的な計算方法を示す。対象物Ａは数式４の６つの平面により囲まれる直方体であるとする。
X=a_x1，X=a_x2，Y=a_y1，Y=a_y2，Z=a_z1，Z=a_z2 ・・・（数式４）
同様に対象物Ｂは、数式５の６つの平面により囲まれる直方体であるとする。
X=b_x1，X=b_x2，Y=b_y1，Y=b_y2，Z=b_z1，Z=b_z2 ・・・（数式５）
また、対象物Ａの類似度をa_confとし、対象物Ｂの類似度をb_confとする。
このとき、対象物Ｄの座標（d_x1，d_x2，d_y1，d_y2，d_z1，d_z2）は、対象物Ａと対象物Ｂの座標の類似度による重み付け平均であり、数式６で与えられる。
d_x1 = ( a_conf×a_x1 + b_conf×b_x1)/( a_conf + b_conf)
d_x2 = ( a_conf×a_x2 + b_conf×b_x2)/( a_conf + b_conf)
d_y1 = ( a_conf×a_y1 + b_conf×b_y1)/( a_conf + b_conf)
d_y2 = ( a_conf×a_y2 + b_conf×b_y2)/( a_conf + b_conf)
d_z1 = ( a_conf×a_z1 + b_conf×b_z1)/( a_conf + b_conf)
d_z2 = ( a_conf×a_z2 + b_conf×b_z2)/( a_conf + b_conf)
・・・（数式６）
また、対象物Ｄの類似度d_confは数式７で与えられる。
d_conf= a_conf + b_conf ・・・（数式７）
図１８の（ｂ）に示す例では、数式７により、新しく生成された対象物Ｄの類似度は１５と計算される。一方で、図１８の（ａ）に示す対象物Ｃは、近傍に対象物が存在しないため、座標の類似度の情報も更新されない。
なお、上記例では、対象物Ａの地理座標の近傍に対象物Ｂが存在するか否かを判断するための基準として、対象物の直方体の重なった体積の割合を利用したが、これに限らずその他の基準を利用しても良い。
【００６０】
次に、対象物マージ部１００８は、ステップＳＴ１３０１で選択した対象物が、地図データベース１００３に保存された最後の対象物か否かを判断する（ステップＳＴ１３０４）。もし、ステップＳＴ１３０１で選択した対象物が地図データベース１００３に保存された最後の対象物である場合、ステップＳＴ１３０５に進む。そうでない場合、すなわち、地図データベース１００３にまだ選択していない対象物がある場合には、次の対象物を選択する。
【００６１】
最後に、閾値処理部１００９は、ステップＳＴ１３０３で加算した対象物の類似度に対して閾値処理を施し、一定の閾値以上の類似度を持つ対象物を出力する（ステップＳＴ１３０５）。例えば、図１８の（ｂ）において、対象物Ａと対象物Ｂをマージして生成した対象物Ｄは類似度１５を持つ。また、対象物Ｃは類似度５である。ここで、閾値処理を行って類似度が１０以上の対象物を出力するものとすると、類似度１５対象物Ｄだけが対象物として出力され、対象物Ｃは出力されない。
【００６２】
なお、類似度が閾値よりも低い対象物Ｃのデータは、地図データベース１００３から削除しないでそのまま保存しておく。これは、別の車両の情報や別の日に収集した情報によって、対象物Ｃの近傍に新しいデータが追加される可能性があるからである。例えば、対象物Ｃの地理座標の近傍に、類似度１０を持つ対象物Ｅが新たに保存されたとする。対象物Ｃと対象物Ｅの立方体の体積がある一定の割合以上重なっている場合、対象物Ｃと対象物Ｅはマージされて、新しい対象物Ｆが生成される。このとき、新しい対象物Ｆは類似度１５を持つ。ここで、閾値処理を行って類似度が１０以下の対象物を棄却した場合、類似度１５を持つ対象物Ｄと対象物Ｆは共に出力される。
【００６３】
一般に、ある車両で検出された対象物は、別の車両でも検出される可能性が高い。このため、多数の車両やセンサで収集した情報から対象物を検出して類似度を累積していくことで、対象物の類似度をいっそう高めることが可能となる。一方で、本来は対象物で無いのに対象物として誤って検出された物は、他の車両によって再び検出される可能性は低く、類似度が累積される機会は限りなく少ない。このため、累積した類似度に対して閾値処理を行うことで、誤検出を減少させ、精度よく対象物を検出することが可能となる。
【００６４】
また、類似度を利用して、検出した対象物の表示を行うインターフェイスを作成し、設備管理に役立てることも可能である。例えば、収集した映像から対象物を検索して、類似度の大きな順に検索結果を表示することも可能である。
更に、対象物の検索結果を類似度の大小に応じて色わけして表示することで、映像から対象物を探す人間の作業を支援することも可能である。
【図面の簡単な説明】
【００６５】
【図１】この発明の実施の形態におけるデータ収集装置の構成を示す構成図
【図２】この発明の実施の形態における地図情報生成の動作を示すフローチャート
【図３】被写体の検出の例を示す説明図
【図４】画像座標系の座標値列を説明する説明図
【図５】カメラを中心としたカメラ座標系の空間座標の説明図
【図６】カメラ座標系と地理座標系の関係を示す説明図
【図７】カメラ座標系と地理座標系の関係を示す説明図
【図８】位置情報列の地図へのプロットした例を示す説明図
【図９】位置情報列の点をベクトル化する例を示す説明図
【図１０】実施の形態２に係る地図情報収集装置の構成図
【図１１】対象物情報収集フェイズの動作を示すフローチャート
【図１２】対象物検出部１００５の動作を示すフローチャート
【図１３】対象物情報累積フェイズの動作を示すフローチャート
【図１４】画像走査部１０１０の動作例を示す説明図
【図１５】対象物の矩形領域の例を示す説明図
【図１６】矩形領域マージ部１０１２の動作例を示す説明図
【図１７】対象物が直方体の例を示す説明図
【図１８】対象物情報累積部１００４の動作例を示す説明図
【符号の説明】
【００６６】
１０１ 測位手段、１０２ ビデオカメラ、１０３ 方位センサ、１０４ 車両、１０５ 記録装置、９１０ 映像情報・位置情報データベース、９２０ 類似度計算部、９３０ 対象物領域測位部、９４０ 類似度・測位情報保存部、９５０ 検出結果累積部、９６０ 対象物検出・測位部、９７０ 地図データベース、１０００ 地図情報収集装置、１００１ 映像情報・位置情報データベース、１００２ 対象物情報収集部、１００３ 地図データベース、１００４ 対象物情報累積部、１００５ 対象物検出部、１００６ 対象物測位部、１００７ 対象物保存部、１００８ 対象物マージ部、１００９ 閾値処理部、１０１０ 画像走査部、１０１１ 類似度計算部、１０１２ 矩形領域マージ部、１０１３ 閾値処理部。
【技術分野】
【０００１】
本発明は地図情報を生成する技術に関するものである。
【背景技術】
【０００２】
従来、地図情報を生成する技術としては、特開平９−２６９７２６号公報において、ビデオカメラと高精度測位装置によって道路地図を作成するものが開示されている。この従来技術では、車にビデオカメラと高精度測位装置を積載した装置を利用する。まずビデオカメラによって得られた画像から道路車線を示す白線を検出し、その結果から車両が車線の中心からどの程度ずれた位置を走行しているかを検出する。そして、高精度測位装置によって得られる車両の位置情報と、カメラ画像処理結果によって得られた車両の道路中心からのずれの情報とを利用して、車線の中心における位置情報を求める。これを連続的に処理することで、道路中心の位置情報を算出して、既存の地図情報と照合して地図を補正することが可能となっている。
【０００３】
【特許文献１】特開平９−２６９７２６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特開平９−２６９７２６号公報に示されたものは、検出するものは道路の中心線であり、地図の作成等に必要な地図上に記載される周辺の情報を取得することができなかった。
【０００５】
本発明は、このような課題を解決するためになされたもので、地図作成に必要な地図上に記載される店舗などの情報、すなわち地図情報を効率的に生成できるようにすることを目的とする。
【課題を解決するための手段】
【０００６】
本発明では、撮像手段の移動に伴って撮像される映像データと、この映像データに対応して記録され上記撮像手段の撮像位置に対応して測位される測位情報とを入力し、この入力された映像データ中の検出対象を検出し、この検出された検出対象と上記撮像手段との相対位置情報を算出し、この算出された相対位置情報と上記測位情報とに基づき、検出対象の位置情報を生成するようにしたものである。
【発明の効果】
【０００７】
本発明によれば、既存の地図には存在しない地図情報を効率的に生成することができる。
【発明を実施するための最良の形態】
【０００８】
実施の形態１．
以下に本発明の実施形態を示す。
図１は本実施形態における地図情報生成のために必要な情報を収集するデータ収集装置の構成を示す構成図である。図において、１０１はＧＰＳもしくは慣性航法もしくはそれらを複合して構成され自位置を測定する測位手段、１０２は周囲の風景を撮影するビデオカメラ、１０３は方位を測定する方位センサである。
これら測位手段１０１、ビデオカメラ１０２、方位センサ１０３は移動体としての車両１０４に設置されており、これらの機器は正確にその位置関係が計測された上で設置されている。例えば、測位手段１０１、ビデオカメラ１０２、方位センサ１０３は、地平に対して同一垂直線上に中心が配置されるとともに、車両進行方向と水平に設置されている。さらにビデオカメラと方位センサはほとんど接する形で設置されている。方位センサ１０３は上記車両１０４の向きや姿勢を計測する。
【０００９】
１０６は上記車両１０４の車速を検出する車速センサ、１０５はこの車速センサ１０６および上記測位手段１０１、ビデオカメラ１０２、方位センサ１０３からの情報を同期記録する記録装置である。この記録装置１０５と測位手段１０１、ビデオカメラ１０２、方位センサ１０３は信号線により接続されている。
【００１０】
次にこの発明における地図情報生成の動作を説明する。ここでは地図情報として、ある検出対象（例えば白線）の位置情報を正確に生成するものを示す。さらにこの位置情報に基づき、地図への対応を行う。
図２は本実施形態における地図情報生成の動作を示すフローチャートである。
まず、以下のようにして情報（データ）収集対象地域の情報（データ）を一括収集する（ステップＳＴ２０１）。車両１０４によって情報収集対象地域の路上を走行し、データ収集開始すると、測位手段１０１から例えばＮＭＥＡ−０１８３形式の位置情報（緯度、経度、高度などのデータ）、ビデオカメラ１０２からは映像データ、方位センサ１０３からは車両１０４の三軸の角度、角加速度などのデータが出力され、これらの情報（データ）が記録装置１０５に入力されて記録が始まる。各データの信号のタイミングは入力した時点の記録装置の内部時刻によって同期される。情報収集対象地域でないところでは記録装置１０５での記録を停止させる。
その後、記録装置１０５内に記録されたデータをもとに地図情報を生成する。
【００１１】
まず、記録装置１０５内に記録されている映像データを解析して被写体を検出し、その画像座標を取得する（ステップＳＴ２０２：入力ステップ、検出ステップ）。本実施の形態では被写体は例えば道路上の白線とする。映像データからエッジ情報や直線性などの評価を行い被写体を検出する。図３に示すように白線と道路の境界線上の点（以下、対象点と呼ぶ）における座標を検出する。本実施の形態では路上の白線を検出対象とするが、白線以外にも横断歩道や専用レーンを示す矢印などの道路指標や、道路の周囲に存在する店舗の看板、交通標識などでもよいものとする。
【００１２】
白線の検知方法としては既知の方法を利用するものとし、本実施の形態では特に言及しないものとする。また、ここで形状を認識してその領域を抽出し、領域内に含まれる文字列を把握した上で、その輪郭線の座標を算出したり、交通標識やチェーン店の看板などのパターンをあらかじめモデルとして記憶しておき、モデルとのマッチングによって交通標識や店舗の種類を特定したりすることが出来る。ここで得られた結果は図４に示すような画像座標系の座標値列とする。
【００１３】
次に得られた対象点の画像座標（二次元）から撮影時点のカメラと対象点との相対的な位置（三次元）を算出する（ステップＳＴ２０３：算出ステップ）。例えば路面に存在するものに関してカメラを一台だけ利用する場合には、次のような拘束条件によって相対位置を算出することができる。車両上に設置したカメラの高さは計測により既知とする。このときに対象点の存在する路面とカメラとの高さの関係は特殊な場合を除き一定と仮定できるため、高さは既知のパラメータとなり以下に示す方程式の元（Ｙ）が一つ減り、スケールファクターｓを含めて連立三元一次方程式の形にすることが出来る。ｘ，ｙは画像座標系の座標点を示し、Ｘ，Ｙ，Ｚはカメラを中心としたカメラ座標系（図５に示す）の空間座標を示し、fはカメラの焦点距離を示す。
【００１４】
ｘ＝ｓｆＸ／Ｚ ・・・（１）
ｙ＝ｓｆＹ／Ｚ ・・・（２）
１＝ｓ／Ｚ ・・・（３）
【００１５】
この式を既知の画像座標ｍ（ｘ,ｙ）、焦点距離ｆ、カメラからの高さＹを代入して、Ｘ，Ｚについて解くと空間座標（＝相対位置）Ｍ（Ｘ，Ｙ，Ｚ）を求めることが出来る。実際にはカメラの内部行列Ａ、平行移動行列ｔ、回転行列Ｒを利用してｍ＝Ａ［Ｒ，ｔ］Ｍの関係を用いて計算を行う。ここでは説明を簡単にするために簡易式を用いているが、ｍ＝Ａ［Ｒ，ｔ］Ｍの関係式によって計算することももちろん可能である。この場合はＡ（３×３の行列）の各値をカメラの内部パラメータとよび、この測定をあらかじめ行うことで既知の値とすることが出来る。回転行列Ｒも３×３の行列であり、三軸それぞれの回転角を計測して入力することが出来る。これを利用して車両走行によるカメラの角度変化時でも計算結果の誤差の軽減に対応することも出来る。ｔはカメラの原点からの平行移動量を示す３×１の行列である。通常はこの実施形態の場合のように、カメラ座標と原点の位置は一致しているので平行移動量は０とみなすことが出来る。仮にカメラ設置位置がずれている場合、このバラメータを調整してデータ収集環境のキャリブレーションを行うことで、正確にデータ計算をすることが出来る。
【００１６】
なお、ここでは路上の道路指標の検出を例にしているが、道路標識や看板などの路上に存在しない物体に関しては２台のカメラを利用して同時撮影された２枚の画像からカメラからの相対的な三次元位置を算出する方法が知られているため、これを利用することも可能である。
【００１７】
次にステップＳＴ２０３の処理で得られた相対距離情報と、対象フレームを撮影したときの測位情報を利用して対象点の地理位置を計算する（ステップＳＴ２０４：対象位置情報生成ステップ）。図６にカメラ座標系と地理座標系の関係を示す。図６に示すようにカメラ座標系は地理座標系の縦軸（北半球の場合は北の方向）に対して角度を持っている。また、扱う単位としてはカメラ座標系での単位はメートル、地理座標系の単位は緯度、経度である。
【００１８】
カメラ座標系におけるＺ軸の方向が車両の進行方向である。これは方位角として方位センサにより取得することが出来る。撮影時のカメラの測位情報は緯度、経度として得ることができるので、カメラ座標の原点Ｏは地理座標系において図７上部の図に示すような関係になっている。この時点ではカメラ座標と地理座標は平行の関係であると考えている。対象点Ｍの緯度経度も原点Ｏの緯度、経度を基にして換算することが出来る。しかしながら実際はカメラ座標系と地理座標系の間には方位角で示す角度があるため、方位角の情報を利用して原点Ｏを中心にして対象点Ｍを回転させる。回転後のイメージが図７の下図の図である。回転は２×２行列に広く知られている回転行列を掛け合わせて得ることが出来る。この演算によってカメラ座標系の相対距離で示されていた対象点の座標を地理座標系の座標値に変換することが出来る。このようにして計算された地理座標はハードディスクなどの記録領域に記録される。
【００１９】
次に処理しているフレームが最終フレームかどうかを判断する（図２のステップＳＴ２０５）。最終フレームではない場合はステップＳＴ２０２の処理に戻り、最終フレームである場合はステップＳＴ２０６以降の処理、すなわち、上記検出対象を地図上に対応させる処理（地図対応ステップ）を実行する。
ステップＳＴ２０６の処理では記録領域に蓄積された位置情報列を地図上にプロットする。プロット結果は例えば図８に示すようになる。
【００２０】
次にプロットした座標をつなぎ合わせて線分化する処理を行う（ステップＳＴ２０７）。線分化は一般的な一次の線形補間で行うことも出来るし、二次以上の曲線補間を行うことも可能である。道路の切れ目のような情報が存在しない部分がある場合は、データが一定値以上はなれていないかを確認し、離れているようであれば線分をそこで分割するという処理を行う。
【００２１】
これによって道路上の白線情報を始点、終点、曲率などの情報によってベクトル化することが出来る。このときにベクトル化の対象とする点として、すべての算出された位置情報点を同等に利用するのではなく、車速センサによって映像と同時に得られた車速情報によって利用する点の優先度を変更することで車両の移動による誤差を抑えることが出来、追加する情報の精度を高めることが出来る。たとえば、停止している状態では位置と映像の記録ぶれは生じないため、このときの優先度を例えば５段階中の最高位５に設定する。時速10Ｋｍ／ｈまでの取得データは４に設定し、１０Ｋｍ／ｈから３０Ｋｍ／ｈまでは３、３０Ｋｍ／ｈから６０Ｋｍ／ｈまでは２、６０Ｋｍ／ｈ以上は１とする。この優先度を用いることにより、点列情報を精度よくベクトル化することができる。
【００２２】
図９の上部分に示すように単純にプロットした結果を利用して線形補間してベクトル化すると、曲がった線になる場合がある。一方、優先度を利用する場合は、例えば、優先度３のプロット点の信頼線は低いため平均化する際の重み付けの係数を小さい値０．５に設定し、優先度５のところは信頼できるデータとしてそのまま採用するため重み付けの係数を１とし、優先度４のところは０．７５とする。これを利用して線分をベクトル化することで信頼性の低い点の情報を落として、信頼性の高い点の情報を採用できるので、図９の下部分に示すように精度高く点列情報をベクトル化することが出来る。
そして、ステップＳＴ２０７においてベクトル化されたデータをステップＳＴ２０８において一つのレイヤーとして管理する。これは一般的な地図ソフトで行われている方式を利用すればよい。
【００２３】
以上のようにして、既存の地図には存在しない詳細な情報を新たに生成し、地図上に付加することが出来、地図作成において必要な地図上に乗る店舗などの情報を効率的に生成できる。
【００２４】
なお、映像データから認識した物体（例えば交通標識）から文字情報、特徴情報を読み取り、物体の種別を判定して属性を付加し、その属性とともに復元結果を既存の地図上に重ね合わせることで既存の地図にはない情報を付加することも可能であり、より詳細な情報を生成、付加することができる。上記物体は、交通標識の他、看板や建物を示す表示板とし、物体から得られた特徴情報により店舗や建物を識別して、地図に店舗情報を付加することもできる。
【００２５】
以上の実施形態中に記載した構成要素はその趣旨を変えない範囲で別の手段と代替することが出来るものとする。
さらに複数のビデオカメラ１０２を車両１０４に設置して同時に複数の角度からの画像を取得することも可能である。ビデオカメラ１０２はラインセンサなどの画像を取得できるものであれば他のもので代替することも可能である。
【００２６】
なお、以上の実施形態の説明は地図情報を生成する方法を示すものであるが、計算機で動作するソフトウエアで実現することもできる。
【００２７】
実施の形態２．
以下、実施の形態２について説明する。実施の形態１では、一つの車両収集装置にて対象物体を測位する方法について説明した。実施の形態２では、多数の車両や複数のセンサを用いて収集した映像データから対象物を検出し、これらの検出結果を累積した値に閾値処理を施すことで、対象物を高精度に検出・測位する方法について説明する。
【００２８】
ここで、対象物とは、収集の対象となっている地図情報のことを意味し、例えば、道路標識、道路上の白線や、横断歩道、道路の周囲に存在する店舗の看板、信号機、電柱、などのことを指すものとする。
【００２９】
図１０は、実施の形態２に係る地図情報収集装置の構成図である。地図情報収集装置１０００は、映像情報・位置情報データベース１００１と、対象物情報収集部１００２と、地図データベース１００３と、対象物情報累積部１００４とを備えている。
映像情報・位置情報データベース１００１は、映像情報とそれに同期した車両の位置情報を記憶する記憶領域であり、地図情報収集装置１０００の内部または外部に設けられた記憶装置に構築される。
対象情報収集部１００２は、対象物検出部１００５と、対象物測位部１００６と、対象物保存部１００７とを備えている。
さらに、対象物検出部１００５は、画像走査部１０１０と、類似度計算部１０１１と、矩形領域マージ部１０１２と、閾値処理部１０１３とを備えている。
地図データベース１００３は、対象物の緯度・経度・標高の３次元座標と、対象物に関するその他の情報を記憶する記憶領域であり、地図情報収集装置１０００の内部または外部に設けられた記憶装置に構築される。
対象物情報累積部１００４は、対象物マージ部１００８と、閾値処理部１００９とを備えている。
【００３０】
ここで、本実施の形態に係る構成要素と、実施の形態１に係る構成要素の関係について述べる。まず、映像情報・位置情報データベース１００１は、実施の形態１に説明した記録装置１０５に相当する。また、対象物検出部１００５は、実施の形態１に説明した検出ステップ（ステップＳＴ２０２）に相当する処理装置である。また、対象物測位部１００６とは、算出ステップ（ステップＳＴ２０３）と対象位置情報生成ステップ（ステップＳＴ２０４）に相当する処理装置である。
【００３１】
次に、動作について説明する。本実施の形態に係る地図情報収集装置１０００の動作は、映像情報とそれに同期した位置データから対象物を検出・測位して地図データベース１００３に保存する対象物情報収集フェイズと、地図データベース１００３に保存された対象物の情報を累積する対象物情報累積フェイズと、二つのフェイズから構成される。
【００３２】
まず、図１１を参照して、対象物情報収集フェイズについて説明する。図１１は、対象物情報収集フェイズの動作を示すフローチャートである。初めに、実施の形態１で述べた構成により、ＧＰＳとビデオカメラ（あるいはセンサ）を搭載した多数の車両を用いて、道路と周辺情景の映像データと、この映像データに同期した車両の位置情報を収集し、映像情報・位置情報データベース１００１に保存する（ステップＳＴ１１０１）。なお、個々の車両における映像データと、映像データに同期した位置情報の収集方法は実施の形態１と同じであるので説明を省略する。
ここで、同一の車両で日を変えて映像データと位置情報データを収集しても良い。また一つの車両に複数のビデオカメラやセンサを搭載して、異なる位置や角度から同一区間の道路の映像情報と測位情報データを収集しても良い。このようにすることで、広範囲の市街地を満遍なくデータ収集を行なうことが可能となる。
また、ステップＳＴ１１０１で収集する映像データは、ビデオカメラで撮影した可視画像に限らず、例えば、ラインスキャンレーザで得られる奥行き映像データや、赤外線カメラによって得られる熱映像データなど、カメラ以外のセンサから得られる映像データでもよい。
【００３３】
次に、対象物検出部１００５は、映像情報・測位情報データベース１００１に保存された多数の映像情報の中から一つを選択する（ステップＳＴ１１０２）。
【００３４】
次に、対象物検出部１００５は、ステップＳＴ１１０２で選択された映像情報の中から１フレームだけ画像を取得する（ステップＳＴ１１０３）。
【００３５】
次に、対象物検出部１００５は、ステップＳＴ１１０３にて取得した画像を解析して対象物が写る矩形領域を検出し、同時に矩形領域の類似度を求める（ステップＳＴ１１０４）。例えば、映像情報を基に道路設備管理を行なう場合、対象物検出部１００５は、入力画像に写る道路標識や信号機、電柱、等を検出して、それらを取り囲む矩形領域を出力し、またその矩形領域の類似度を算出する。
ここで類似度とは、「ある矩形領域の画像が目的の対象物の画像と類似している度合いを数値的に表現しているもの」と定義する。以下、本実施の形態では、例えば、矩形領域の画像が目的の対象物である可能性が高いほど大きな正の値をとり、また矩形領域の画像が目的の対象物である可能性が低いほど負の値をとるものとする。
類似度の算出方法としては、例えば、テンプレートマッチングを用いて、テンプレート画像と矩形領域の類似度を算出することも可能である。また、対象物の色が特定されている場合には、矩形領域の色と対象物に特定の色との類似度を算出してもよい。また、例えば、参考文献１、２に記載のアルゴリズムを用いることで、高精度かつ高速に対象物の矩形領域を検出して、その類似度を算出することも可能である。
［参考文献１］
Paul A. Viola, Michael J. Jones, “Rapid Object Detection Using a Boosted Cascade of Simple Features”, IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR), ISSN: 1063-6919, Vol. 1, pp. 511-518, December 2001
［参考文献２］
Paul A. Viola, Michael J. Jones, “Fast and Robust Classification using Asymmetric AdaBoost and a Detector Cascade.” Advances in Neural Information Processing Systems 14, p1311-1318, 2001, MIT Press,
【００３６】
ここで、参考文献１および参考文献２に記載の物体検出アルゴリズムを用いた類似度の算出方法について述べる。
【００３７】
参考文献１、２においてViola & Jonesらは、Adaboostと呼ばれる学習アルゴリズムを用いて高精度かつ高速に対象物の検出を行った。これは、エッジなどの特徴量の情報に基づいて入力画像が対象物であるか否かを判別する関数（以下、これを判別関数と呼ぶ）の出力を累積し、累積した値の大小に応じて入力画像が対象物か否かの判定を行うものである。この判別関数の出力を累積する式は、以下に示す数式１で与えられる。
【数１】
数式１において、confは判別関数の出力を累積した値であり、xは入力された矩形領域の画像であり、θは検出率を調整するための閾値であり、tは判別関数のインデックスであり、Tは加算する判別関数の総数である。
また、ht(x)は判別関数であり、画像xが対象物の画像である可能性が高ければ正の値を返し、画像xが対象物である可能性が低ければ負の値を返す。例えば、道路標識を検出したい場合、ある判別関数は道路標識に固有の形を検出することで道路標識である可能性の大小を数値化して返し、また、ある判別関数は道路標識に固有の色を検出して目的の道路標識である可能性の大小を数値化して返す。
数式１において、xが目的の対象物の画像である可能性が高いほどconfは大きな正の値をとり、またxが対象物の画像である可能性が低いほどconfは負の値をとる。このため、対象物検出部１００５において、数式１に示すconfを類似度として使用することが可能である。
なお、上記の判別関数を求める方法や、閾値θを決定する方法については文献００２および文献００３に記載されているのでここでは言及しない。
【００３８】
以下では、対象物検出部１００５が、例えば参考文献１と参考文献２に記載の物体検出アルゴリズムを用いて、対象物の矩形領域とその類似度を算出する方法について説明する。図１２は、対象物検出部１００５の動作を示すフローチャートである。図１２は、図１１に示すステップＳＴ１１０４における対象物検出部１００５の動作を詳細に説明したものである。
【００３９】
まず、画像走査部１０１０は、ステップＳＴ１１０３で取得した画像を入力として受け取る（ステップＳＴ１２０１）。
次に、画像走査部１０１０は、異なる大きさの対象物を検出するために、元画像を異なる率で縮小させた画像を複数生成する（ステップＳＴ１２０２）。図１４は、画像走査部１０１０の動作例を示す説明図である。例えば、図１４の（ａ）に示すように、元画像を縮小して異なる大きさの画像を複数生成する。
次に、画像走査部１０１０は、矩形領域を一ピクセルごとに移動させて、ステップＳＴ１２０２で生成した縮小画像を走査する（ステップＳＴ１２０３）。
【００４０】
次に、類似度計算部１０１１は、ステップＳＴ１２０３で走査した矩形領域の類似度を計算する（ステップＳＴ１２０４）。類似度の計算には、例えば、数式１を用いる。
次に、類似度計算部１０１１は、入力した矩形領域の類似度が０より大きいか否かを判断する（ステップＳＴ１２０５）。
次に、類似度計算部１０１１は、入力した矩形領域の類似度が０より大きければ、この矩形領域は対象物の画像であるとみなし、その矩形領域の座標と類似度を保存しておく（ステップＳＴ１２０６）。図１５は、対象物の矩形領域の例を示す説明図である。ここで矩形領域の座標とは、図１５に示すように、画像座標系ＸＹにおいて矩形領域の位置を指定する四つの座標値x1、x2、y1、y2のことを指す。一方、ステップＳＴ１２０５で、入力した矩形領域の類似度が０より大きくなければ、ステップＳＴ１２０７へ進む。
【００４１】
次に、画像走査部１０１０は、ステップＳＴ１２０２で生成したすべての縮小画像を走査したか否かを判断する（ステップＳＴ１２０７）。まだ走査していない縮小画像があれば、すべての画像を走査するまでステップＳＴ１２０３に戻り、対象物の矩形領域を検出する処理を繰り返す。すべての縮小画像を走査した場合は、ステップＳＴ１２０８に進む。
【００４２】
ステップＳＴ１２０３からステップＳＴ１２０７の処理により、通常、図１４の（ｂ）に示すように、一つの対象物に対して複数の矩形領域が重なって検出される。そこで、矩形領域マージ部１０１２は、保存した矩形領域を一つにまとめるために、矩形領域の面積が一定の割合以上重なっている場合、これらの重なった矩形領域をマージして一つの矩形領域を出力する（以下、マージ処理）（ステップＳＴ１２０８）。この際、新しい矩形領域の座標は、複数の矩形領域の座標の類似度による重み付け平均とする。また、新しい矩形領域の類似度は二つの類似度の和とする。
【００４３】
図１６は、矩形領域マージ部１０１２の動作例を示す説明図である。図１６を用いて、ステップＳＴ１２０８の動作例を説明する。図１６（ａ）に示すように、２次元の画像座標系に矩形領域Ａと矩形領域Ｂと矩形領域Ｃが検出されたものとする。ここで、矩形領域Ａが類似度５を持ち、矩形領域Ｂが類似度１０を持ち、矩形領域Ｃが類似度１０を持つとする。矩形領域Ａと矩形領域Ｂの面積が一定以上重なっているため、これら二つの領域をマージ処理して矩形領域Ｄを新しく生成する（図１６（ｂ））。矩形領域Ｄの座標は、矩形領域Ａと矩形領域Ｂの類似度によるそれぞれの座標の重み付け平均となる。また、矩形領域Ｄの類似度は１０＋５＝１５と計算される。
ステップＳＴ１２０８の具体的な計算例を以下に示す。図１６（ａ）において、矩形領域Ａの座標を（a_x1，a_x2，a_y1，a_y2）とし、矩形領域Ｂの座標を（b_x1，b_x2，b_y1，b_y2）とする。また、矩形領域Ａの類似度をa_confとし、矩形領域Ｂの類似度をb_confとする。このとき、図１６（ｂ）の矩形領域Ｄの座標（d_x1，d_x2，d_y1，d_y2）は数式２で与えられる。
d_x1 = ( a_conf×a_x1 + b_conf×b_x1)/( a_conf + b_conf)
d_x2 = ( a_conf×a_x2 + b_conf×b_x2)/( a_conf + b_conf)
d_y1 = ( a_conf×a_y1 + b_conf×b_y1)/( a_conf + b_conf)
d_y2 = ( a_conf×a_y2 + b_conf×b_y2)/( a_conf + b_conf)
・・・（数式２）
また、矩形領域Ｄの類似度d_confは数式３で与えられる。
d_conf= a_conf + b_conf ・・・（数式３）
【００４４】
最後に、閾値処理部１０１３は、ステップＳＴ１２０８において加算された類似度に対して閾値処理を行い、一定の閾値以下の類似度を持つ矩形領域は棄却する（ステップＳＴ１２０９）。閾値処理部１０１３の動作例を図１６の（ｂ）と（ｃ）に示す。図１６（ｂ）には、類似度１５を持つ矩形領域Ｄと、類似度１０を持つ矩形領域Ｃが存在する。矩形領域Ｃの近傍にはその他の矩形領域が存在しなかったため、マージ処理が行われず、類似度は１０のままである。このとき、類似度が１０以下の矩形領域は棄却する閾値処理を行うとする。この処理で、矩形領域Ｃは棄却される。一方で、矩形領域Ｄは類似度が１５であるため、棄却されずに残る。この矩形領域Ｄを閾値処理部１０１３の出力とする。
通常、対象物の周辺には複数の矩形領域が重なって検出されるため、これらをマージ処理することで類似度を高めることができる。一方、ノイズ等の影響で誤って検出された場合、複数の矩形領域が重なって検出されることは滅多に無く、マージ処理が行われずに、各矩形領域の類似度は低いままである。このため、マージ処理を行って類似度を累積した後に閾値処理を施すことで誤検出を減らすことが可能となる。
【００４５】
以上のように、対象物検出部１００５は、例えば参考文献１と参考文献２に記載の物体検出アルゴリズムを用いて、入力された画像から対象物を検出して、その矩形領域と類似度を算出することができる。
【００４６】
また、対象物検出部１００５において、対象物の類似度を計算する方法は、参考文献１、２に記載のアルゴリズムに限らず、目的となる対象物の画像と矩形領域の画像が類似している度合いを数値的に算出することが可能であれば、いずれのアルゴリズムを用いてもよい。
【００４７】
再び、図１１を用いて、対象物情報収集部１００２の動作について説明する。対象物測位部１００６は、ステップＳＴ１１０４で検出した対象物の矩形領域の座標（２次元）を用いて、撮影時点のカメラを中心とした対象物の相対的な位置（３次元）を算出する（ステップＳＴ１１０５）。なお、対象物の矩形領域の座標から、対象物の相対的な位置を算出する方法は実施の形態１におけるステップＳＴ２０３の処理と同じであるため、実施の形態２では説明を省略する。
【００４８】
次に、対象物測位部１００６は、ステップＳＴ１１０５の処理で得られた相対位置情報と、現在処理している対象フレームを撮影したときの測位情報とを利用して対象物の地理座標を計算する（ステップＳＴ１１０６）。なお、対象物の地理座標の計算については、実施の形態１のステップＳＴ２０４の処理と同じであるため、実施の形態２では説明を省略する。
【００４９】
次に、対象物保存部１００７は、映像情報から検出した対象物の情報を地図データベース１００３に保存する（ステップＳＴ１１０７）。ここで対象物の情報とは、例えば、ステップＳＴ１１０６で求めた対象物の地理座標（緯度、経度、標高）や、対象物の類似度、対象物の種類、対象物の大きさ、切り出した対象物の画像等の対象物に関する情報のことを指す。
【００５０】
次に、対象物情報収集部１００２は、ステップＳＴ１１０３で取得した画像が、ステップＳＴ１１０２で取得した映像情報の最終フレームか否かを判断する（ステップＳＴ１１０８）。もし、ステップＳＴ１１０３で取得した画像が、ステップＳＴ１１０２で取得した映像情報の最終フレームである場合は次のステップＳＴ１１０９に進む。そうでない場合はステップＳＴ１１０３に戻り映像情報から次のフレームを取得して対象物を検出する処理を繰り返す。
【００５１】
次に、対象物情報収集部１００２は、現在処理を行っている映像情報が、映像情報・測位情報データベース１００１に保存されている最後の映像情報か否かを判断する（ステップＳＴ１１０９）。もし、映像情報・測位情報データベース１００１に、まだ対象物検出の処理を行っていない映像情報が残っている場合、ステップＳＴ１１０２に戻り次の映像情報に対して処理を行う。また、現在処理を行っている映像情報が、映像情報・測位情報データベース１００１に保存されている最後の映像情報である場合、対象物情報収集フェイズの処理を終了する。
【００５２】
以上で述べたように、対象物情報収集フェイズでは、対象物情報収集部１００２が、多数の車両やセンサで収集した映像情報から対象物を検出し、その位置情報を地図データベース１００３に保存する。
【００５３】
次に、対象物情報累積フェイズについて説明する。前述した対象物情報収集フェイズでは、例えば二台の車両で同じ対象物の情報を収集した場合、これらは個別に地図データベース１００３に保存されていた。そこで、対象物情報累積フェイズでは、同一の地理座標にある複数の対象物は同じものであるとみなし、対象物の情報を一つにまとめる処理を行なう。以下では、図１３を用いて、対象物情報累積フェイズの動作手順を説明する。図１３は、対象物情報累積フェイズの動作を示すフローチャートである。
【００５４】
はじめに、対象物情報累積部１００４は、地図データベース１００３から一つの対象物を番号順に選択して、該当の対象物の情報を取得する（ステップＳＴ１３０１）。なお、地図データベース１００３に保存されている対象物の情報は、保存された日付や位置などの特徴により番号付けされているものとする。
【００５５】
次に、対象物マージ部１００８は、地図データベース１００３を検索して、ステップＳＴ１３０１で選択した対象物の地理座標の近傍にその他の対象物が存在するか否かを調べる（ステップＳＴ１３０２）。もし、ステップＳＴ１３０１で選択した対象物の地理座標の近傍にその他の対象物が見つかった場合、次のステップＳＴ１３０３に進む。また、もし、ステップＳＴ１３０１で選択した対象物の地理座標の近傍にその他の検出された対象物が見つからなかった場合、ステップＳＴ１３０１に戻り、次の対象物の情報を取得する。
【００５６】
次に、対象物マージ部１００８は、ステップＳＴ１３０１で選択した対象物の情報と、この対象物の地理座標の近傍に存在する対象物の情報を一つにまとめる（ステップＳＴ１３０３）。以下、図１７と図１８を用いて、ステップＳＴ１３０３の動作例を説明する。
【００５７】
まず、図１７を用いて、対象物の表現方法について説明する。図１７は、対象物が直方体の例を示す説明図である。図１７に示すように、対象物を、経度と緯度と標高の３次元空間において、適当な大きさを持つ直方体で表現する。ここで、対象物を表現する直方体の大きさは、実際の対象物の大きさと、対象物情報収集フェイズにおける地理座標の測位精度とによって決定される。例えば、厚さが無視できるほど薄い５０ｃｍ四方の道路標識を標準偏差２ｃｍの精度で測位した場合、図１７に示すように、標準偏差の３倍である６ｃｍを道路標識の大きさに加算して、直方体の大きさを算出する。
【００５８】
次に、図１８を用いて、対象物の情報を一つにまとめる方法について説明する。図１８は、対象物情報累積部１００４の動作例を示す説明図である。図１８の（ａ）に示すように、地図データベース１００３上の緯度、経度、標高の３次元空間に、対象物Ａと対象物Ｂと対象物Ｃの三つの対象物があるとする。また、それぞれの対象物は、対象物情報収集フェイズにて計算した類似度の情報も持つ。この例では、対象物Ａが類似度５を持ち、対象物Ｂが類似度１０を持ち、対象物Ｃが類似度５を持つとする。
ここで、対象物Ａの地理座標の近傍に対象物Ｂが存在するか否かを判断するための基準として、例えば、対象物の直方体の重なった体積を利用することが考えられる。例えば、図１８の（ａ）において、対象物Ａと対象物Ｂの体積が一定以上重なっているとする。このとき、対象物Ａと対象物Ｂを一つにまとめ、新しく対象物Ｄを生成する（以下、マージ処理）。また、地図データベース１００３にある対象物Ａと対象物Ｂの情報は削除して、新しく対象物Ｄの情報を地図データベース１００３に保存する。
【００５９】
以下に、具体的な計算方法を示す。対象物Ａは数式４の６つの平面により囲まれる直方体であるとする。
X=a_x1，X=a_x2，Y=a_y1，Y=a_y2，Z=a_z1，Z=a_z2 ・・・（数式４）
同様に対象物Ｂは、数式５の６つの平面により囲まれる直方体であるとする。
X=b_x1，X=b_x2，Y=b_y1，Y=b_y2，Z=b_z1，Z=b_z2 ・・・（数式５）
また、対象物Ａの類似度をa_confとし、対象物Ｂの類似度をb_confとする。
このとき、対象物Ｄの座標（d_x1，d_x2，d_y1，d_y2，d_z1，d_z2）は、対象物Ａと対象物Ｂの座標の類似度による重み付け平均であり、数式６で与えられる。
d_x1 = ( a_conf×a_x1 + b_conf×b_x1)/( a_conf + b_conf)
d_x2 = ( a_conf×a_x2 + b_conf×b_x2)/( a_conf + b_conf)
d_y1 = ( a_conf×a_y1 + b_conf×b_y1)/( a_conf + b_conf)
d_y2 = ( a_conf×a_y2 + b_conf×b_y2)/( a_conf + b_conf)
d_z1 = ( a_conf×a_z1 + b_conf×b_z1)/( a_conf + b_conf)
d_z2 = ( a_conf×a_z2 + b_conf×b_z2)/( a_conf + b_conf)
・・・（数式６）
また、対象物Ｄの類似度d_confは数式７で与えられる。
d_conf= a_conf + b_conf ・・・（数式７）
図１８の（ｂ）に示す例では、数式７により、新しく生成された対象物Ｄの類似度は１５と計算される。一方で、図１８の（ａ）に示す対象物Ｃは、近傍に対象物が存在しないため、座標の類似度の情報も更新されない。
なお、上記例では、対象物Ａの地理座標の近傍に対象物Ｂが存在するか否かを判断するための基準として、対象物の直方体の重なった体積の割合を利用したが、これに限らずその他の基準を利用しても良い。
【００６０】
次に、対象物マージ部１００８は、ステップＳＴ１３０１で選択した対象物が、地図データベース１００３に保存された最後の対象物か否かを判断する（ステップＳＴ１３０４）。もし、ステップＳＴ１３０１で選択した対象物が地図データベース１００３に保存された最後の対象物である場合、ステップＳＴ１３０５に進む。そうでない場合、すなわち、地図データベース１００３にまだ選択していない対象物がある場合には、次の対象物を選択する。
【００６１】
最後に、閾値処理部１００９は、ステップＳＴ１３０３で加算した対象物の類似度に対して閾値処理を施し、一定の閾値以上の類似度を持つ対象物を出力する（ステップＳＴ１３０５）。例えば、図１８の（ｂ）において、対象物Ａと対象物Ｂをマージして生成した対象物Ｄは類似度１５を持つ。また、対象物Ｃは類似度５である。ここで、閾値処理を行って類似度が１０以上の対象物を出力するものとすると、類似度１５対象物Ｄだけが対象物として出力され、対象物Ｃは出力されない。
【００６２】
なお、類似度が閾値よりも低い対象物Ｃのデータは、地図データベース１００３から削除しないでそのまま保存しておく。これは、別の車両の情報や別の日に収集した情報によって、対象物Ｃの近傍に新しいデータが追加される可能性があるからである。例えば、対象物Ｃの地理座標の近傍に、類似度１０を持つ対象物Ｅが新たに保存されたとする。対象物Ｃと対象物Ｅの立方体の体積がある一定の割合以上重なっている場合、対象物Ｃと対象物Ｅはマージされて、新しい対象物Ｆが生成される。このとき、新しい対象物Ｆは類似度１５を持つ。ここで、閾値処理を行って類似度が１０以下の対象物を棄却した場合、類似度１５を持つ対象物Ｄと対象物Ｆは共に出力される。
【００６３】
一般に、ある車両で検出された対象物は、別の車両でも検出される可能性が高い。このため、多数の車両やセンサで収集した情報から対象物を検出して類似度を累積していくことで、対象物の類似度をいっそう高めることが可能となる。一方で、本来は対象物で無いのに対象物として誤って検出された物は、他の車両によって再び検出される可能性は低く、類似度が累積される機会は限りなく少ない。このため、累積した類似度に対して閾値処理を行うことで、誤検出を減少させ、精度よく対象物を検出することが可能となる。
【００６４】
また、類似度を利用して、検出した対象物の表示を行うインターフェイスを作成し、設備管理に役立てることも可能である。例えば、収集した映像から対象物を検索して、類似度の大きな順に検索結果を表示することも可能である。
更に、対象物の検索結果を類似度の大小に応じて色わけして表示することで、映像から対象物を探す人間の作業を支援することも可能である。
【図面の簡単な説明】
【００６５】
【図１】この発明の実施の形態におけるデータ収集装置の構成を示す構成図
【図２】この発明の実施の形態における地図情報生成の動作を示すフローチャート
【図３】被写体の検出の例を示す説明図
【図４】画像座標系の座標値列を説明する説明図
【図５】カメラを中心としたカメラ座標系の空間座標の説明図
【図６】カメラ座標系と地理座標系の関係を示す説明図
【図７】カメラ座標系と地理座標系の関係を示す説明図
【図８】位置情報列の地図へのプロットした例を示す説明図
【図９】位置情報列の点をベクトル化する例を示す説明図
【図１０】実施の形態２に係る地図情報収集装置の構成図
【図１１】対象物情報収集フェイズの動作を示すフローチャート
【図１２】対象物検出部１００５の動作を示すフローチャート
【図１３】対象物情報累積フェイズの動作を示すフローチャート
【図１４】画像走査部１０１０の動作例を示す説明図
【図１５】対象物の矩形領域の例を示す説明図
【図１６】矩形領域マージ部１０１２の動作例を示す説明図
【図１７】対象物が直方体の例を示す説明図
【図１８】対象物情報累積部１００４の動作例を示す説明図
【符号の説明】
【００６６】
１０１ 測位手段、１０２ ビデオカメラ、１０３ 方位センサ、１０４ 車両、１０５ 記録装置、９１０ 映像情報・位置情報データベース、９２０ 類似度計算部、９３０ 対象物領域測位部、９４０ 類似度・測位情報保存部、９５０ 検出結果累積部、９６０ 対象物検出・測位部、９７０ 地図データベース、１０００ 地図情報収集装置、１００１ 映像情報・位置情報データベース、１００２ 対象物情報収集部、１００３ 地図データベース、１００４ 対象物情報累積部、１００５ 対象物検出部、１００６ 対象物測位部、１００７ 対象物保存部、１００８ 対象物マージ部、１００９ 閾値処理部、１０１０ 画像走査部、１０１１ 類似度計算部、１０１２ 矩形領域マージ部、１０１３ 閾値処理部。
【特許請求の範囲】
【請求項１】
撮像手段の移動に伴って撮像される映像データと、この映像データに対応して記録され上記撮像手段の撮像位置に対応して測位される測位情報とを入力する入力ステップと、
この入力ステップで入力された上記映像データ中の検出対象を検出する検出ステップと、
この検出ステップで検出された上記検出対象と上記撮像手段との相対位置情報を算出する算出ステップと、
この算出ステップで算出された上記相対位置情報と上記入力ステップで入力された上記測位情報とに基づき、上記検出対象の位置情報を生成する対象位置情報生成ステップとを備えたことを特徴とする地図情報生成方法。
【請求項２】
上記対象位置情報生成ステップで生成された検出対象の位置情報に基づいて上記検出対象を地図に対応させる地図対応ステップを備えたことを特徴とする請求項１に記載の地図情報生成方法。
【請求項３】
上記映像データに対応して記録され上記撮像手段の移動速度を示す速度情報を入力し、この速度情報に基づいて上記検出対象の位置情報を補正して上記地図対応ステップにおける検出対象の地図への対応化を行うことを特徴とする請求項２に記載の地図情報生成方法。
【請求項４】
上記検出ステップで検出された検出対象に対応して上記映像データから検出した特徴情報を抽出する特徴情報抽出ステップを備えたことを特徴とする請求項１から３のうちいずれか１項記載の地図情報生成方法。
【請求項５】
撮像手段の移動に伴って撮像される映像データと、この映像データに対応して記録され上記撮像手段の撮像位置に対応して測位される測位情報とを入力する入力ステップと、
この入力ステップで入力された上記映像データ中の検出対象を検出する検出ステップと、
この検出ステップで検出された上記検出対象と上記撮像手段との相対位置情報を算出する算出ステップと、
この算出ステップで算出された上記相対位置情報と上記入力ステップで入力された上記測位情報とに基づき、上記検出対象の位置情報を生成する対象位置情報生成ステップとからなる地図情報生成方法を計算機に実行させる地図情報生成プログラム。
【請求項６】
映像情報と前記映像情報に同期した位置情報を記憶する映像情報・位置情報データベースと、
前記映像情報から対象物を検出し、前記対象物の情報を収集する対象物情報収集部と、
前記対象物情報収集部が収集した前記対象物の情報を記憶する地図データベースと、
前記地図データベースに記憶された前記対象物の情報を累積する対象物情報累積部とを備えた地図情報収集装置。
【請求項７】
前記対象物情報収集部は、
前記映像情報から前記対象物を検出する対象物検出部と、
前記対象物検出部が検出した前記対象物の地理座標を算出する対象物測位部と、
前記対象物測位部が算出した前記対象物の地理座標を前記地図データベースに保存する対象物保存部とを備えていることを特徴とする請求項６記載の地図情報収集装置。
【請求項８】
前記対象物検出部は、
前記映像情報から取得した画像を走査して前記対象物の矩形領域を検出する画像走査部と、
前記画像走査部が検出した前記矩形領域と前記対象物との類似度を算出する類似度計算部と、
前記画像走査部が検出した前記矩形領域のうち、近傍に存在する前記矩形領域をマージ処理した矩形領域を出力すると共に、近傍に存在する前記矩形領域の類似度を累積して前記マージ処理した矩形領域の類似度として出力する矩形領域マージ部と、
前記矩形領域マージ部が出力する前記マージ処理した矩形領域のうち、一定の閾値以上の類似度を有する矩形領域だけを出力する閾値処理部とを備えていることを特徴とする請求項７記載の地図情報収集装置。
【請求項９】
前記対象物情報累積部は、
前記地図データベースに保存された前記対象物のうち、近傍に存在する前記対象物の情報をマージ処理すると共に、近傍に存在する前記対象物の類似度を累積して前記マージ処理した前記対象物の類似度として出力する対象物マージ部と、
前記対象物マージ部が出力する前記マージ処理した対象物のうち、一定の閾値以上の類似度を有する対象物だけを出力する閾値処理部とを備えていることを特徴とする請求項６から請求項８のうちのいずれか１項記載の地図情報収集装置。
【請求項１】
撮像手段の移動に伴って撮像される映像データと、この映像データに対応して記録され上記撮像手段の撮像位置に対応して測位される測位情報とを入力する入力ステップと、
この入力ステップで入力された上記映像データ中の検出対象を検出する検出ステップと、
この検出ステップで検出された上記検出対象と上記撮像手段との相対位置情報を算出する算出ステップと、
この算出ステップで算出された上記相対位置情報と上記入力ステップで入力された上記測位情報とに基づき、上記検出対象の位置情報を生成する対象位置情報生成ステップとを備えたことを特徴とする地図情報生成方法。
【請求項２】
上記対象位置情報生成ステップで生成された検出対象の位置情報に基づいて上記検出対象を地図に対応させる地図対応ステップを備えたことを特徴とする請求項１に記載の地図情報生成方法。
【請求項３】
上記映像データに対応して記録され上記撮像手段の移動速度を示す速度情報を入力し、この速度情報に基づいて上記検出対象の位置情報を補正して上記地図対応ステップにおける検出対象の地図への対応化を行うことを特徴とする請求項２に記載の地図情報生成方法。
【請求項４】
上記検出ステップで検出された検出対象に対応して上記映像データから検出した特徴情報を抽出する特徴情報抽出ステップを備えたことを特徴とする請求項１から３のうちいずれか１項記載の地図情報生成方法。
【請求項５】
撮像手段の移動に伴って撮像される映像データと、この映像データに対応して記録され上記撮像手段の撮像位置に対応して測位される測位情報とを入力する入力ステップと、
この入力ステップで入力された上記映像データ中の検出対象を検出する検出ステップと、
この検出ステップで検出された上記検出対象と上記撮像手段との相対位置情報を算出する算出ステップと、
この算出ステップで算出された上記相対位置情報と上記入力ステップで入力された上記測位情報とに基づき、上記検出対象の位置情報を生成する対象位置情報生成ステップとからなる地図情報生成方法を計算機に実行させる地図情報生成プログラム。
【請求項６】
映像情報と前記映像情報に同期した位置情報を記憶する映像情報・位置情報データベースと、
前記映像情報から対象物を検出し、前記対象物の情報を収集する対象物情報収集部と、
前記対象物情報収集部が収集した前記対象物の情報を記憶する地図データベースと、
前記地図データベースに記憶された前記対象物の情報を累積する対象物情報累積部とを備えた地図情報収集装置。
【請求項７】
前記対象物情報収集部は、
前記映像情報から前記対象物を検出する対象物検出部と、
前記対象物検出部が検出した前記対象物の地理座標を算出する対象物測位部と、
前記対象物測位部が算出した前記対象物の地理座標を前記地図データベースに保存する対象物保存部とを備えていることを特徴とする請求項６記載の地図情報収集装置。
【請求項８】
前記対象物検出部は、
前記映像情報から取得した画像を走査して前記対象物の矩形領域を検出する画像走査部と、
前記画像走査部が検出した前記矩形領域と前記対象物との類似度を算出する類似度計算部と、
前記画像走査部が検出した前記矩形領域のうち、近傍に存在する前記矩形領域をマージ処理した矩形領域を出力すると共に、近傍に存在する前記矩形領域の類似度を累積して前記マージ処理した矩形領域の類似度として出力する矩形領域マージ部と、
前記矩形領域マージ部が出力する前記マージ処理した矩形領域のうち、一定の閾値以上の類似度を有する矩形領域だけを出力する閾値処理部とを備えていることを特徴とする請求項７記載の地図情報収集装置。
【請求項９】
前記対象物情報累積部は、
前記地図データベースに保存された前記対象物のうち、近傍に存在する前記対象物の情報をマージ処理すると共に、近傍に存在する前記対象物の類似度を累積して前記マージ処理した前記対象物の類似度として出力する対象物マージ部と、
前記対象物マージ部が出力する前記マージ処理した対象物のうち、一定の閾値以上の類似度を有する対象物だけを出力する閾値処理部とを備えていることを特徴とする請求項６から請求項８のうちのいずれか１項記載の地図情報収集装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【公開番号】特開２００６−１１９５９１（Ｐ２００６−１１９５９１Ａ）
【公開日】平成１８年５月１１日（２００６．５．１１）
【国際特許分類】
【出願番号】特願２００５−１７２６４６（Ｐ２００５−１７２６４６）
【出願日】平成１７年６月１３日（２００５．６．１３）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
【公開日】平成１８年５月１１日（２００６．５．１１）
【国際特許分類】
【出願日】平成１７年６月１３日（２００５．６．１３）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
[ Back to top ]