白線モデル計測システム、計測台車および白線モデル計測装置
【課題】平坦でない道路でもより高精度な白線位置の取得を行うことを目的とする。
【解決手段】計測台車１０２に搭載したジャイロ２１０、ＧＰＳ２２０により計測台車１０２の位置姿勢を測定する。カメラ２３０は撮影した画像データを出力し、レーザレーダ２４０はカメラ２３０から路面方向への方位・距離データを算出する。路面形状モデル生成部１５０はレーザレーダ２４０の位置姿勢と方位・距離データとに基づいて路面形状モデルを生成する。また、カメラＬＯＳ演算部１４０はカメラ２３０の位置姿勢と画像上で認識した白線の認識結果とに基づいてカメラ２３０から見た白線に対する見込み角を算出する。路面モデル対応点探索部１７０は白線見込み角と路面形状モデルとに基づいて白線位置を計測する。路面モデル対応点探索部１７０は路面形状を考慮して白線位置を計測することで計測結果を高精度にすることができる。
【解決手段】計測台車１０２に搭載したジャイロ２１０、ＧＰＳ２２０により計測台車１０２の位置姿勢を測定する。カメラ２３０は撮影した画像データを出力し、レーザレーダ２４０はカメラ２３０から路面方向への方位・距離データを算出する。路面形状モデル生成部１５０はレーザレーダ２４０の位置姿勢と方位・距離データとに基づいて路面形状モデルを生成する。また、カメラＬＯＳ演算部１４０はカメラ２３０の位置姿勢と画像上で認識した白線の認識結果とに基づいてカメラ２３０から見た白線に対する見込み角を算出する。路面モデル対応点探索部１７０は白線見込み角と路面形状モデルとに基づいて白線位置を計測する。路面モデル対応点探索部１７０は路面形状を考慮して白線位置を計測することで計測結果を高精度にすることができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば、道路の白線位置検知を行う白線モデル計測システム、計測台車および白線モデル計測装置に関するものである。
【背景技術】
【０００２】
高精度ＧＩＳ（Ｇｅｏｇｒａｐｈｉｃａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｙｓｔｅｍ）作成においては、路面シンボルや白線について認識した存在情報だけでなく、その高精度な位置情報（絶対座標）をＧＩＳに登録する必要がある。従来、白線の位置情報の取得には複数カメラを用いたステレオ視や、カメラパラメータと車両との関係に基づくカメラの設置位置から白線の位置情報を推定する手法が用いられていた。
【非特許文献１】ＤｏｒｏｔａＡ．Ｇｒｅｊｎｅｒ−Ｂｒｚｅｚｉｎｓｋａ ａｎｄ Ｃｈａｒｌｅｓ Ｔｏｔｈ、「Ｈｉｇｈ Ａｃｃｕｒａｃｙ Ｄｙｎａｍｉｃ Ｈｉｇｈｗａｙ Ｍａｐｐｉｎｇ Ｕｓｉｎｇ ａ ＧＰＳ／ＩＮＳ／ＣＣＤ Ｓｙｓｔｅｍ ｗｉｔｈ Ｏｎ−Ｔｈｅ−Ｆｌｙ ＧＰＳ Ａｍｂｉｇｕｉｔｙ Ｒｅｓｏｌｕｔｉｏｎ」、Ｃｅｎｔｅｒ ｆｏｒ Ｍａｐｐｉｎｇ Ｄｅｐａｒｔｍｅｎｔ ｏｆ Ｃｉｖｉｌ ａｎｄ Ｅｎｖｉｒｏｎｍｅｎｔａｌ Ｅｎｇｉｎｅｅｒｉｎｇ ａｎｄ Ｇｅｏｄｅｔｉｃ Ｓｃｉｅｎｃｅ Ｔｈｅ Ｏｈｉｏ Ｓｔａｔｅ Ｕｎｉｖｅｒｓｉｔｙ、Ｏｈｉｏ Ｄｅｐａｒｔｍｅｎｔ ｏｆ Ｔｒａｎｓｐｏｒｔａｔｉｏｎ，Ｄｉｓｔｒｉｃｔ１、Ｓｅｐｔｅｍｂｅｒ ２００４
【非特許文献２】Ｈ．Ｇｏｎｔｒａｎ，Ｊ，Ｓｋａｌｏｕｄ，Ｐ．−Ｙ．Ｇｉｌｌｉｒｏｎ、「Ａ ＭＯＢＩＬＥ ＭＡＰＰＩＮＧ ＳＹＳＴＥＭ ＦＯＲ ＲＯＡＤ ＤＡＴＡ ＣＡＰＴＵＲＥ ＶＩＡ Ａ ＳＩＮＧＬＥ ＣＡＭＥＲＡ」、［ｏｎｌｉｎｅ］、［平成１８年２月１４日検索］、インターネット＜ＵＲＬ：ｈｔｔｐ：／／ｔｏｐｏ．ｅｐｆｌ．ｃｈ／ｐｅｒｓｏｎｎｅｓ／ｊｓｋ／Ｐａｐｅｒｓ／３ｄｏｐｔ＿ｈｇ．ｐｄｆ
【非特許文献３】Ｇ．Ｍａｎｚｏｎｉ，Ｒ．Ｇ．Ｒｉｚｚｏ，Ｃ．Ｒｏｂｉｇｌｉｏ、「ＭＯＢＬＥ ＭＡＰＰＩＮＧ ＳＹＳＴＥＭＳ ＩＮ ＣＵＬＴＵＲＡＬ ＨＥＲＩＴＡＧＥＳ ＳＵＲＶＥＹ」、ＣＩＰＡ ２００５ ＸＸ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｙｍｐｏｓｉｕｍ、２６ Ｓｅｐｔｅｍｂｅｒ−０１ Ｏｃｔｏｂｅｒ，２００５、Ｔｏｒｉｎｏ，Ｉｔａｌｙ
【発明の開示】
【発明が解決しようとする課題】
【０００３】
これらの手法には以下のような特徴がある。
ａ）ステレオ視による白線位置検知
（１）２台のカメラで白線位置の取得が可能。
（２）切れ目のない白線の場合、対応点探索の自動化が困難なため、手動による対応点探索が必要。
（３）有効視野角が狭い。
（４）絶対精度が低い。
ｂ）カメラパラメータによる白線位置推定
（１）カメラから道路までの設定距離を一定として計算するため精度が悪い。
（２）精度が車両動揺に左右される。
（３）平坦でない道路では著しく精度が悪化する。
（４）１台のカメラで白線位置の取得が可能。
【０００４】
本発明は、例えば、平坦でない道路でもより高精度な白線位置の取得を行うことを目的とする。
【課題を解決するための手段】
【０００５】
本発明の白線モデル計測システムは、路面の画像データを撮影する撮像部と、レーザスキャナにより路面に対する距離方位データを取得する光走査部と、前記撮像部と前記光走査部とを固定する基台と、前記基台の位置を計測する測位部と、前記基台の動揺姿勢角を計測する姿勢検出部とを有した計測台車と、路面の画像データから白線画像を検出する画像処理部と、前記画像処理部で取得された白線画像と前記姿勢検出部で計測された動揺姿勢と前記測位部で得られた基台位置と前記光走査部で取得された路面に対する距離データとに基づいて白線の輪郭を表す白線モデルを演算する計算機とを備え、前記計算機は、前記姿勢検出部で計測された動揺姿勢に基づいて前記撮像部が撮影する視線中心方向を求め、前記撮像部で撮影された白線の輪郭データを抽出し、抽出した輪郭データに基づいて画像上における白線位置を求め、求めた視線中心方向と画像上における白線位置とに基づいて前記撮像部に対する白線方向を求め、前記姿勢検出部で計測された動揺姿勢と前記光走査部で取得された路面に対する距離方位データとに基づいて路面の形状データを生成し、生成された路面の形状データと白線方向と前記測位部で得られた基台位置とに基づいて路面の形状データにおける白線方向の対応点を求め、求めた対応点から白線の輪郭を表す白線モデルを演算し、前記画像処理部は前記計測台車と前記計算機との少なくともいずれかに備えられることを特徴とする。
【発明の効果】
【０００６】
本発明によれば、例えば、道路形状を考慮して白線位置の検知を行うことにより、平坦でない道路でもより高精度な白線位置の取得を行うことができる。
【発明を実施するための最良の形態】
【０００７】
実施の形態１．
図１は、実施の形態１における白線モデル計測システム１０１のシステム構成および白線モデル計測装置１００の機能構成を示す図である。
実施の形態１における白線モデル計測システム１０１はオドメトリ装置２００、３台のジャイロ２１０（測位部、姿勢検出部、ＧＰＳジャイロの一部）、３台のＧＰＳ２２０（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）（測位部、姿勢検出部、ＧＰＳジャイロの一部）、カメラ２３０（撮像部）、レーザレーダ２４０（光走査部、レーザスキャナ）および白線モデル計測装置１００（計算機）を備える。
【０００８】
オドメトリ装置２００、３台のジャイロ２１０、３台のＧＰＳ２２０、カメラ２３０、レーザレーダ２４０は計測台車１０２（以下、車両とする）の天板１０３（基台）（図４、図５参照）に搭載される。
オドメトリ装置２００はオドメトリ手法を実行し車両の走行距離を示す距離データを算出する。
３台のジャイロ２１０は車両の３軸方向の傾き（ピッチ角、ロール角、ヨー角）を示す角速度データを算出する。
３台のＧＰＳ２２０は車両の走行位置（座標）を示す測位データを算出する。
ジャイロ２１０とＧＰＳ２２０とはデッドレコニングにより車両の位置、姿勢を測定する。
カメラ２３０は撮影を行い画像データを出力する。
レーザレーダ２４０はカメラ２３０位置から路面までの距離を各方位について示す方位・距離データを算出する。
【０００９】
白線モデル計測装置１００は距離データ、角速度データ、測位データ、画像データ、方位・距離データに基づいて白線位置（絶対座標）を算出する。
白線モデル演算処理１００は車両位置姿勢（３軸）演算部１１０、白線認識処理部１２０（画像処理部）、カメラ位置姿勢演算部１３０、カメラＬＯＳ演算部１４０、路面形状モデル生成部１５０、レーザレーダ位置姿勢演算部１６０、路面モデル対応点探索部１７０を備える。
車両位置姿勢（３軸）演算部１１０は距離データ、角速度データ、測位データに基づいて車両の位置と姿勢（車両位置姿勢）を算出する。
白線認識処理部１２０は画像データに基づいて白線を認識し認識結果を出力する。
カメラ位置姿勢演算部１３０は車両位置姿勢とカメラ取付オフセットとに基づいてカメラ２３０の位置と姿勢（カメラ位置姿勢）を算出する。カメラ取付オフセットは車両軸（極座標）に対するカメラ２３０の取り付け軸のズレの量を示す。カメラ取付オフセットは図４、図５および図７のカメラ２３０と天板１０３との関係に対応する値である。
カメラＬＯＳ演算部１４０は認識結果とカメラ位置姿勢とに基づいてカメラから白線に向けた視線方向（ＬＯＳ：Ｌｉｎｅ Ｏｆ Ｓｉｇｈｔ）の角度（白線見込み角）を算出する。
レーザレーダ位置姿勢演算部１６０は車両位置姿勢とレーザレーダ取付オフセットとに基づいてレーザレーダ２４０の位置と姿勢（レーザレーダ位置姿勢）を算出する。レーザレーダ取付オフセットは車両軸（極座標）に対するレーザレーダ２４０の取り付け軸のズレの量を示す。レーザレーダ取付オフセットは図４、図５および図６のレーザレーダ２４０と天板１０３との関係に対応する値である。
路面形状モデル生成部１５０は方位・距離データとレーザレーダ位置姿勢とに基づいて車両が走行した平坦でない路面の形状（曲面、傾斜、凹凸など）を示す路面形状モデル（三次元点群モデル）を生成する。
路面モデル対応点探索部１７０は白線見込み角と路面形状モデルとに基づいて白線位置の絶対座標を算出する。路面モデル対応点探索部１７０は路面の曲面、傾斜、凹凸などを考慮して白線位置を計測することにより高い精度で白線位置の絶対座標を算出することができる。
距離データ、角速度データ、測位データ、画像データ、方位・距離データを観測データとする。
【００１０】
図２は、実施の形態１における白線モデル計測装置１００のハードウェア資源の一例を示す図である。
図２において、白線モデル計測装置１００は、プログラムを実行するＣＰＵ９１１（Ｃｅｎｔｒａｌ・Ｐｒｏｃｅｓｓｉｎｇ・Ｕｎｉｔ、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサともいう）を備えている。ＣＰＵ９１１は、バス９１２を介してＲＯＭ９１３、ＲＡＭ９１４、通信ボード９１５、表示装置９０１、キーボード９０２、マウス９０３、ＦＤＤ９０４（Ｆｌｅｘｉｂｌｅ・Ｄｉｓｋ・Ｄｒｉｖｅ）、ＣＤＤ９０５（コンパクトディスク装置）、プリンタ装置９０６、スキャナ装置９０７、マイク９０８、スピーカー９０９、磁気ディスク装置９２０と接続され、これらのハードウェアデバイスを制御する。磁気ディスク装置９２０の代わりに、光ディスク装置、メモリカード読み書き装置などの記憶装置でもよい。
ＲＡＭ９１４は、揮発性メモリの一例である。ＲＯＭ９１３、ＦＤＤ９０４、ＣＤＤ９０５、磁気ディスク装置９２０の記憶媒体は、不揮発性メモリの一例である。これらは、記憶機器、記憶装置あるいは記憶部の一例である。
通信ボード９１５、キーボード９０２、スキャナ装置９０７、ＦＤＤ９０４などは、入力機器、入力装置あるいは入力部の一例である。
また、通信ボード９１５、表示装置９０１、プリンタ装置９０６などは、出力機器、出力装置あるいは出力部の一例である。
【００１１】
通信ボード９１５は、有線または無線で、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネット、ＩＳＤＮ等のＷＡＮ（ワイドエリアネットワーク）、電話回線などの通信網に接続されている。
磁気ディスク装置９２０には、ＯＳ９２１（オペレーティングシステム）、ウィンドウシステム９２２、プログラム群９２３、ファイル群９２４が記憶されている。プログラム群９２３のプログラムは、ＣＰＵ９１１、ＯＳ９２１、ウィンドウシステム９２２により実行される。
【００１２】
上記プログラム群９２３には、実施の形態の説明において「〜部」、「〜手段」として説明する機能を実行するプログラムが記憶されている。プログラムは、ＣＰＵ９１１により読み出され実行される。
ファイル群９２４には、実施の形態の説明において、「〜部」や「〜手段」の機能を実行した際の「〜の判定結果」、「〜の計算結果」、「〜の処理結果」などの結果データ、「〜部」や「〜手段」の機能を実行するプログラム間で受け渡しするデータ、その他の情報やデータや信号値や変数値やパラメータが、「〜ファイル」や「〜データベース」の各項目として記憶されている。「〜ファイル」や「〜データベース」は、ディスクやメモリなどの記録媒体に記憶される。ディスクやメモリなどの記憶媒体に記憶された情報やデータや信号値や変数値やパラメータは、読み書き回路を介してＣＰＵ９１１によりメインメモリやキャッシュメモリに読み出され、抽出・検索・参照・比較・演算・計算・処理・出力・印刷・表示などのＣＰＵの動作に用いられる。抽出・検索・参照・比較・演算・計算・処理・出力・印刷・表示・抽出のＣＰＵの動作の間、情報やデータや信号値や変数値やパラメータは、メインメモリやキャッシュメモリやバッファメモリに一時的に記憶される。
また、実施の形態の説明において説明するフローチャートの矢印の部分は主としてデータや信号の入出力を示し、データや信号値は、ＲＡＭ９１４のメモリ、ＦＤＤ９０４のフレキシブルディスク、ＣＤＤ９０５のコンパクトディスク、磁気ディスク装置９２０の磁気ディスク、その他光ディスク、ミニディスク、ＤＶＤ（Ｄｉｇｉｔａｌ・Ｖｅｒｓａｔｉｌｅ・Ｄｉｓｃ）等の記録媒体に記録される。また、データや信号値は、バス９１２や信号線やケーブルその他の伝送媒体によりオンライン伝送される。
【００１３】
また、実施の形態の説明において「〜部」、「〜手段」として説明するものは、「〜回路」、「〜装置」、「〜機器」、「手段」であってもよく、また、「〜ステップ」、「〜手順」、「〜処理」であってもよい。すなわち、「〜部」、「〜手段」として説明するものは、ＲＯＭ９１３に記憶されたファームウェアで実現されていても構わない。或いは、ソフトウェアのみ、或いは、素子・デバイス・基板・配線などのハードウェアのみ、或いは、ソフトウェアとハードウェアとの組み合わせ、さらには、ファームウェアとの組み合わせで実施されても構わない。ファームウェアとソフトウェアは、プログラムとして、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ等の記録媒体に記憶される。プログラムはＣＰＵ９１１により読み出され、ＣＰＵ９１１により実行される。すなわち、プログラムは、「〜部」、「〜手段」としてコンピュータを機能させるものである。あるいは、「〜部」、「〜手段」の手順や方法をコンピュータに実行させるものである。
【００１４】
図３は、実施の形態１における白線モデル計測装置１００の白線位置検知のアルゴリズムフローを示す。
白線モデル計測装置１００は図３に示す方法により白線位置を測定する。
【００１５】
＜Ｓ１０１：車両位置姿勢（３軸）演算処理＞
まず、車両位置姿勢（３軸）演算部１１０が距離データと角速度データと測位データとを入力して車両位置姿勢を算出する。
＜Ｓ１０２：カメラ位置姿勢演算処理＞
次に、カメラ位置姿勢演算部１３０が車両位置姿勢とカメラ取付オフセットとを入力しカメラ位置姿勢を算出する。
＜Ｓ１０３、Ｓ１０４：白線抽出処理、白線認識処理＞
また、白線認識処理部１２０が画像データを入力し画像データから白線を抽出し（Ｓ１０３）、抽出した白線の画像位置を認識結果として算出する（Ｓ１０４）。
＜Ｓ１０５：カメラＬＯＳ演算処理＞
次に、カメラＬＯＳ演算部１４０がカメラ位置姿勢と認識結果とを入力し白線見込み角を算出する。
＜Ｓ１０６：路面形状モデル生成処理＞
また、路面形状モデル生成部１５０が方位・距離データとレーザレーダ位置姿勢を入力し路面形状モデル（三次元点群モデル）を算出する。
このとき、レーザレーダ位置姿勢演算部１６０は車両位置姿勢とレーザレーダ取付オフセットとに基づいてレーザレーダ２４０の位置と姿勢（レーザレーダ位置姿勢）を算出する。
＜Ｓ１０７、Ｓ１０８、Ｓ１０９：投影変換処理、路面モデル対応点探索処理、路面モデル対応面算出処理＞
次に、路面モデル対応点探索部１７０が路面形状モデルを入力し路面形状モデルをカメラ２３０の画像平面に投影変換し（Ｓ１０７）、路面モデルから白線位置における路面の形状を示す３点を抽出し（Ｓ１０８）、抽出した３点が示す路面の形状を算出する（Ｓ１０９）。
＜Ｓ１１０：白線位置計測処理＞
そして、路面モデル対応点探索部１７０が白線見込み角を入力し路面の形状に対応した高精度な白線位置の絶対座標を算出する。
【００１６】
次に、路面形状モデル生成部１５０が実行する路面形状モデル生成処理（Ｓ１０６）について説明する。
路面形状モデル生成部１５０は以下のように三次元点群モデルを復元する。
白線認識においては、準備段階として、道路形状の三次元点群モデルを復元しておく。ＬＲＦ（レーザーレンジファインダ）から得られるデータ（方位・距離データ）は二次元であり、これらをレーザレーダ２４０の設置位置角度（レーザレーダ取付オフセット）と車両位置姿勢とから三次元に復元する必要がある。
ＬＲＦから得られた二次元データの座標を（ｘ０，ｙ０）とおくと二次元データは以下の式１、式２によって車両位置に対する三次元位置（ｘ２，ｙ２，ｚ２）へ変換される。また、車両位置とＬＲＦ、白線認識用カメラ２３０の位置関係を図４、図５、図６、図７および図８に示す。
【００１７】
【数１】
【００１８】
ｚ０は、レーザレーダ２４０のレーザスキャン面の高さであり、ここでは図７のようにレーザレーダ２４０の基準をスキャン面にとっているために０である。
つぎに車両位置姿勢を考慮し、式３、式４により変換を行い道路形状の三次元モデル化を行う。ここで、三次元モデル上の点を（Ｎｌｒｆ，Ｕｌｒｆ，Ｅｌｒｆ）とする。
【００１９】
【数２】
【００２０】
これらに基づいて作成した道路点群モデルについて図９、図１０および図１１に示す。
例えば、図１０では三次元点群データ（路肩）において左側に位置する歩道（段差の有る路肩）と右側の道路との境目が見て取れる。
また、図１２に示す光学画像を三次元点群データで表わした図１１では道路に沿った斜面の形状（道路断面形状）が見て取れる。
【００２１】
次に、路面モデル対応点探索部１７０が実行する投影変換処理（Ｓ１０７）について説明する。
路面モデル対応点探索部１７０は三次元点群データをカメラの画像平面に対し投影変換する。
カメラ座標系に対する点群データの位置（ｘｃａｍ，ｙｃａｍ，ｚｃａｍ）は以下の式５、式６で表わされる。
【００２２】
【数３】
【００２３】
次に、これらの点とカメラ中心（ｘｃａｍ０，ｙｃａｍ０，ｚｃａｍ０）のなす直線は以下の式７、式８、式９および式１０で表わされる。
【００２４】
【数４】
【００２５】
またこのとき、画像仮想平面はカメラ２３０を理想的なピンホールカメラと仮定すると焦点距離ｆであるから以下の式１１となる。
ｚ＝ｆ ・・・（式１１）
【００２６】
この画像平面と直線の交点が三次元点データをカメラ画像へ投影した点である。
投影変換を行った画像を図１３に示す。図からもわかるように投影変換された点と画像のマッチングがしっかりと取れていることがわかる。つまり、投影変換した点が示す段差と画像が示す路面の段差とが一致していることが分かる。
【００２７】
次に、路面モデル対応点探索部１７０が実行する路面モデル対応点探索処理（Ｓ１０８）、路面モデル対応面算出処理（Ｓ１０９）、白線位置計測処理（Ｓ１１０）について説明する。
路面モデル対応点探索部１７０は、図１４に示すように認識した白線の画像上の位置とカメラの視線中心がなす直線ＬＯＳとその直線を内部に含むような３点（路面モデル対応点）がなす面（路面モデル対応面）との交点を白線の位置とする。
３点（路面モデル対応点）、Ｐ１（ｘｐ１、ｙｐ１、ｚｐ１）、Ｐ１（ｘｐ２、ｙｐ２、ｚｐ２）、Ｐ３（ｘｐ３、ｙｐ３、ｚｐ３）がなす３次元空間の面（路面モデル対応面）の方程式は以下の式１２で表される。
【００２８】
【数５】
【００２９】
従って、式７と式１２とにより、路面モデルの各点データのカメラ画像面上での対応点（ｘｃａｍ，ｙｃａｍ，ｚｃａｍ）が求められる。
ここで、この点（ｘｃａｍ，ｙｃａｍ，ｚｃａｍ）と白線位置（ＵＬ，ＶＬ）を式１３、式１４および式１５を用いてＮＥＵ座標に変換した（ＮＬ，ＵＬ，ＥＬ）との距離を計算し、（ＵＬ，ＶＬ）に最も近い３点を選ぶことでＰ１、Ｐ２、Ｐ３が求められる。
【００３０】
【数６】
【００３１】
ここで、Ｕ＿ＳＩＺＥはカメラの水平ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅｓ）画素サイズで、例えば、ＮＴＳＣ（Ｎａｔｉｏｎａｌ Ｔｅｌｅｖｉｓｉｏｎ Ｓｔａｎｄａｒｄｓ Ｃｏｍｍｉｔｔｅｅ）カメラでは６４０［ｐｉｘｅｌ］、Ｖ＿ＳＩＺＥは垂直ＣＣＤ画素サイズで同様に４８０［ｐｉｘｅｌ］、（ＵＬ，ＶＬ）は画像面上の白線の位置、Ｐｉｘｅｌ＿ＳＩＺＥは画素の大きさで正方形のＣＣＤ素子を例にとると数十［μｍ］である。
以上により、路面モデルの対応点Ｐ１、Ｐ２、Ｐ３が求められたため、この３点のなす面と白線のＬＯＳとの交点を求めればよい。
まず、ＬＯＳを求める。画像上の白線位置（ＵＬ、ＶＬ）はＥＮＵ座標系（ＮＬ、ＵＬ、ＥＬ）では式１３、式１４および式１５で求められる。
従って、この（ＮＬ，ＵＬ，ＥＬ）とカメラ中心を通るＬＯＳは以下の式１６、式１７、式１８および式１９で表される。
【００３２】
【数７】
【００３３】
よって白線の位置（ｘ，ｙ，ｚ）は上記式１６、式１７、式１８と路面モデルの対応点Ｐ１、Ｐ２、Ｐ３からなる式１２の交点を求めればよい。
【００３４】
以下に、上記で説明した白線モデル計測システム１０１および白線モデル計測装置１００を用いた白線位置の計測例を示す。
上記で説明した本手法による計測結果の精度検証のため、トータルステーション（測量機器）を用いて実際の白線の位置を計測し、それを真値とし、本手法による計測結果との比較を行った。
図１５に実験環境を示す。実験では図１５に示す車両走行箇所を上記で説明した計測台車１０２で走行し、車両走行箇所の全域でデータ（距離データ、角速度データ、測位データ、画像データ、方位・距離データ）を取得した。また、白線計測箇所においてトータルステーションを用いて数箇所の白線の位置情報を取得した。図１６にトータルステーションで計測した真値と本手法による計測結果との比較に使用した路面の白線を示す。図１６において白線の４隅を示すａ〜ｄの４点について計測結果を比較した。実験場所は橋になっており道が図１６に示すように山形になっているのが特徴である。このような場所においては、従来の手法は路面を平面として扱っているためカメラパラメータから高精度な白線位置を推定することは非常に困難である。
実験では図１７、図１８および図１９に示すように車両の走行中に連続して（例えば、１秒間に３０回）データを取得した。
【００３５】
図２０にトータルステーションによる白線の計測結果を示す。図２０においてトータルステーションで計測した白線位置と計測台車１０２（車両）の走行位置とを示している。また、図２０中のａ〜ｄはトータルステーションで計測した白線の４隅を示す。
図２１に本手法による白線位置計測結果を示す。図２１においてａ〜ｄは白線４隅の複数の計測結果を示し、ａ（ａｖｅｒａｇｅ）〜ｄ（ａｖｅｒａｇｅ）は白線４隅の計測結果の平均値を示し、ｖｅｈｉｃｌｅ ｐｏｓｉｔｉｏｎは車両の走行位置を示し、ａｂｃｄ（ｔｒａｄｉｔｉｏｎａｌ）は従来手法による白線４隅の計測結果を示す。
また、図２１のａ、ｂの部分を拡大した結果を図２２に示し、図２１のｃ、ｄの部分を拡大した結果を図２３に示す。図２２、図２３においてＴｒｕｅ ｐｏｉｎｔ（ｔｏｔａｌ ｓｔａｔｉｏｎ）はトータルステーションで計測した白線位置の真値を示す。
【００３６】
本試験では、図２１〜図２３に示すように、複数枚の画像から白線位置を計測し（ａ〜ｄ）、その平均値（ａ（ａｖｅｒａｇｅ）〜ｄ（ａｖｅｒａｇｅ））を計測値とした。トータルステーションの計測結果との比較結果としては、車両の進行方向に対しオフセットが現れたが、白線の形状（幅、長さ、傾き）がしっかりと出ていることがわかる。
また、計測された白線の幅および長さを図２４に示す。図２４において「ｉｍａｇｅ１」〜「ｉｍａｇｅ６」は各画像に基づいて測定した値を示し「平均値」は「ｉｍａｇｅ１」〜「ｉｍａｇｅ６」の測定値を平均した値を示す。また、「真値」はトータルステーションで計測した比較対象となる値を示す。図２４に示す表からもわかるように、「平均値」は白線の幅（ａ−ｂ間距離、ｃ−ｄ間距離）、長さ（ａ−ｄ間距離、ｂ−ｃ間距離）ともに「真値」に近い値であり高精度に計測できていることがわかる。
【００３７】
また、本手法による計測結果は図２１、図２２および図２３に示すように白線の検出位置が白線の幅方向よりも車両の進行方向に分散する傾向にあることがわかる。
白線の検出位置が車両の進行方向に分散する傾向にある理由は車両のピッチ角方向の変位に対して補正しきれていない結果であると考えられる。この傾向は、例えば、精度が高いジャイロ２１０を用いることで改善すると考えられる。
【００３８】
また、白線の端点が画像の端にあるときに計算した結果よりも、白線の端点が画像中心に近い画像を用いて白線位置を検出したほうが精度は高い。これらはカメラ２３０のレンズによる収差の影響が補正しきれていない結果であると考えられる。
この傾向に対しては、例えば、カメラ２３０の中心付近で白線を撮影するようにしたり、収差の小さいレンズを用いれば改善すると考えられる。
【００３９】
また、計測台車１０２の走行速度を上げると進行方向の路面モデルの点の間隔が広がり、路面モデル対応点探索処理（Ｓ１０８）でのカメラ画像での白線位置に最も近いカメラ画像上での路面モデル投影点を３点選ぶ方式では精度劣化することもあるが、幾何学や統計学での既知の方式にて容易に対処可能である。もちろん、レーザレーダ２４０のスキャン速度を上げることでも解消できる。
【００４０】
また実験環境によっては道路混雑のため路面形状が取れないことがあるが、この課題は路面形状を取得する時間帯を考慮することで解決できる。
【００４１】
上記の計測結果では、相対精度（白線の形状）では数ｃｍクラス、また絶対精度（絶対座標）においても２０［ｃｍ］以下の精度であった。以上より本手法の有効性を確認した。
【００４２】
実施の形態１では以下の特徴を持つ白線モデル計測システム１０１および白線モデル計測装置１００について説明した。
（１）計測台車１０２で走行した経路のＬＲＦの点群を位置姿勢に基づき復元する。
（２）復元結果をカメラ座標系に投影する。
（３）カメラ２３０の視線上での白線の位置から近い三点（路面モデル対応点）を探索し、その三点から構成される面（路面モデル対応面）と、ＬＯＳの交点を白線の位置として計測する。
（４）白線位置計測に際しては複数枚の画像で位置計測を行いその平均値をとった。
【００４３】
図１に基づいて説明した実施の形態１における白線モデル計測システム１０１と白線モデル計測装置１００が道路形状を考慮せずに白線位置を測定する場合、例えば、図２５や図２６に示す構成になる。
図２５はカメラ２３０を真下向き（路面方向）に向けた場合の構成を示し、図２６はカメラ２３０を前向き（車両の進行方向）に向けた場合の構成を示す。
図２５、図２６において白線位置演算部１８０は路面形状モデルを使用せずに、つまり、道路形状を考慮せずに白線位置を測定する。
【００４４】
図１に示す白線モデル計測システム１０１および白線モデル計測装置１００は図２５または図２６に示す白線モデル計測システム１０１および白線モデル計測装置１００に対して以下のような特徴を持つ。
ハードウェアの差異として図１の構成ではＧＰＳ２２０とジャイロ２１０とレーザレーダ２４０とを備える。図１の構成ではジャイロ２１０を備えることによりロール角、ピッチ角、ヨー角を測定できる。これにより、図２５の構成と比較して車体動揺に対する補正が行え高精度に白線位置を測定できるという長所を持つ。また、図１の構成ではレーザレーダ２４０を備えることにより路面形状を取得することができる。これにより、図２６の構成と比較して路面形状が平坦でなく車両姿勢計測により路面の傾斜を正しく計測できていなくても高精度に白線位置を測定できるという長所を持つ。
【００４５】
上記実施の形態１において、例えば、以下の白線モデル計測システム、計測台車および白線モデル計測装置について説明した。
【００４６】
路面の画像データを撮影する撮像部（カメラ２３０）と、レーザスキャナ（レーザレーダ２４０）により路面に対する距離方位データ（方位・距離データ）を取得する光走査部と、前記撮像部と前記光走査部とを固定する基台（天板１０３）と、前記基台の位置を計測する測位部（ジャイロ２１０、ＧＰＳ２２０）と、前記基台の動揺姿勢角を計測する姿勢検出部（ジャイロ２１０、ＧＰＳ２２０）とを有した計測台車１０２と、路面の画像データから白線画像を検出する画像処理部（白線認識処理部１２０）と、前記画像処理部で取得された白線画像（認識結果）と前記姿勢検出部で計測された動揺姿勢（車両位置姿勢）と前記測位部で得られた基台位置と前記光走査部で取得された路面に対する距離データとに基づいて白線の輪郭（白線の４隅）を表す白線モデル（路面形状モデル）を演算する計算機（白線モデル計測装置１００）とを備え、前記計算機は、前記姿勢検出部で計測された動揺姿勢に基づいて前記撮像部が撮影する視線中心方向（ＬＯＳ）を求め、前記撮像部で撮影された白線の輪郭データを抽出し、抽出した輪郭データに基づいて画像上における白線位置を求め、求めた視線中心方向と画像上における白線位置とに基づいて前記撮像部に対する白線方向を求め、前記姿勢検出部で計測された動揺姿勢と前記光走査部で取得された路面に対する距離方位データとに基づいて路面の形状データ（三次元点群データ）を生成し、生成された路面の形状データと白線方向と前記測位部で得られた基台位置とに基づいて路面の形状データにおける白線方向の対応点（路面モデル対応点）を求め、求めた対応点から白線の輪郭を表す白線モデルを演算し、前記画像処理部は前記計測台車と前記計算機との少なくともいずれかに備えられることを特徴とする白線モデル計測システム１０１。
【００４７】
路面の画像データを撮影する撮像部と、レーザスキャナにより路面に対する距離方位データを取得する光走査部と、前記撮像部と前記光走査部とを固定する基台と、前記基台の位置を計測する測位部と、前記基台の動揺姿勢角を計測する姿勢検出部とを備えたことを特徴とする計測台車１０２。
【００４８】
路面の画像データを撮影する撮像部と、レーザスキャナにより路面に対する距離方位データを取得する光走査部と、前記撮像部と前記光走査部とを固定する基台と、前記基台の位置を計測する測位部と、前記基台の動揺姿勢角を計測する姿勢検出部とを有した計測台車で取得されたデータを用いて白線の輪郭を表す白線モデルを演算する白線モデル計測装置であって、路面の画像データから白線画像を検出する画像処理部と、前記画像処理部で取得された白線画像と前記姿勢検出部で計測された動揺姿勢と前記測位部で得られた基台位置と前記光走査部で取得された路面に対する距離データとに基づいて白線の輪郭を表す白線モデルを演算する計算機とを備え、前記計算機は、前記姿勢検出部で計測された動揺姿勢角と前記光走査部で取得された路面に対する距離方位データとに基づいて前記撮像部が撮影する視線中心方向を求め、前記撮像部で撮影された白線の輪郭データを抽出し、抽出した輪郭データに基づいて画像上における白線位置を求め、求めた視線中心方向と画像上における白線位置とに基づいて前記撮像部に対する白線方向を求め、前記姿勢検出部で計測された動揺姿勢に基づいて路面の形状データを生成し、生成された路面の形状データと白線方向と前記測位部で得られた基台位置とに基づいて路面の形状データにおける白線方向の対応点を求め、求めた対応点から白線の輪郭を表す白線モデルを演算し、前記画像処理部は前記計測台車と前記計算機との少なくともいずれかに備えられることを特徴とする白線モデル測定装置。
【００４９】
前記姿勢検出部で計測された動揺姿勢に基づいて得られる座標変換行列を用いた演算処理により路面の形状データを生成し、前記姿勢検出部で計測された動揺姿勢に基づいて得られる座標変換行列を用いた演算処理により前記撮像部が撮影する視線中心方向を求めることを特徴とする白線モデル計測システム。
【００５０】
前記姿勢検出部は少なくとも２つのＧＰＳアンテナの出力信号を用いて姿勢を検出することを特徴とする白線モデル計測システム。
【００５１】
路面の画像データを撮影する撮像部と、レーザスキャナにより路面に対する距離方位データを取得する光走査部と、前記撮像部と前記光走査部とを固定する基台と、前記基台の位置を計測する測位部と、前記基台の動揺姿勢角を計測する姿勢検出部とを有した計測台車と、路面の画像データから白線画像を検出する画像処理部と、前記画像処理部で取得された白線画像と前記姿勢検出部で計測された動揺姿勢と前記測位部で得られた基台位置と前記光走査部で取得された路面に対する距離データとに基づいて白線の輪郭を表す白線モデルを演算する計算機とを備え、前記計算機は、前記撮像部で撮影された白線の輪郭データを抽出し、抽出した輪郭データに基づいて画像上における白線位置を求め、前記姿勢検出部で計測された動揺姿勢と前記光走査部で取得された路面に対する距離方位データとに基づいて路面の形状データを生成し、画面上における白線位置と路面の形状データとに基づいて白線の輪郭を表す白線モデルを演算し、前記画像処理部は前記計測台車と前記計算機との少なくともいずれかに備えられることを特徴とする白線モデル計測システム。
【００５２】
上記実施の形態１における計測台車１０２の天板１０３は計測台車１０２のボディなどを流用しても構わない。
また、上記実施の形態１における白線モデル計測システム１０１および白線モデル計測装置１００は白線以外を計測対象としても構わない。例えば、路面に記された交通標示でも構わないし黄線でも構わない。
また、白線モデル計測装置１００は計測台車１０２に搭載されてもよいし、搭載されなくてもよい。そして、白線モデル計測装置１００は計測台車１０２の走行中に即時処理により白線位置を計測してもよい。また、後処理にて計測してもよい。即時処理では白線位置を計測後に測位データなどの観測データが不要になるためデータ量を減らすことができる。
【図面の簡単な説明】
【００５３】
【図１】実施の形態１における白線モデル計測システム１０１のシステム構成および白線モデル計測装置１００の機能構成を示す図。
【図２】実施の形態１における白線モデル計測装置１００のハードウェア資源の一例を示す図。
【図３】実施の形態１における白線モデル計測装置１００の白線位置検知のアルゴリズムフロー。
【図４】実施の形態１における車両位置とＬＲＦ、白線認識用カメラ２３０の位置関係図。
【図５】実施の形態１における車両位置とＬＲＦ、白線認識用カメラ２３０の位置関係図。
【図６】実施の形態１における車両位置とＬＲＦ、白線認識用カメラ２３０の位置関係図。
【図７】実施の形態１における車両位置とＬＲＦ、白線認識用カメラ２３０の位置関係図。
【図８】実施の形態１における車両位置とＬＲＦ、白線認識用カメラ２３０の位置関係図。
【図９】実施の形態１における道路点群モデルを示す図。
【図１０】実施の形態１における道路点群モデルを示す図。
【図１１】実施の形態１における道路点群モデルを示す図。
【図１２】図１１に対応する光学画像。
【図１３】実施の形態１における投影変換を行った画像。
【図１４】実施の形態１における白線の画像上の位置とＬＯＳと３点（路面モデル対応点）がなす面（路面モデル対応面）との関係を示す図。
【図１５】実施の形態１における実験環境を示す。
【図１６】実施の形態１における計測結果を比較した白線の４隅を示す図。
【図１７】実施の形態１における走行する車両と路面との位置関係を示す図。
【図１８】実施の形態１における走行する車両と路面との位置関係を示す図。
【図１９】実施の形態１における走行する車両と路面との位置関係を示す図。
【図２０】トータルステーションによる白線の計測結果を示す図。
【図２１】実施の形態１における白線位置計測結果を示す図。
【図２２】図２１のａ、ｂ部分拡大図。
【図２３】図２１のｃ、ｄ部分拡大図。
【図２４】実施の形態１における計測した白線の幅および長さを示す表。
【図２５】白線モデル計測システム１０１および白線モデル計測装置１００の別構成を示す図。
【図２６】白線モデル計測システム１０１および白線モデル計測装置１００の別構成を示す図。
【符号の説明】
【００５４】
１００ 白線モデル計測装置、１０１ 白線モデル計測システム、１０２ 計測台車、１０３ 天板、１１０ 車両位置姿勢（３軸）演算部、１２０ 白線認識処理部、１３０ カメラ位置姿勢演算部、１４０ カメラＬＯＳ演算部、１５０ 路面形状モデル生成部、１６０ レーザレーダ位置姿勢演算部、１７０ 路面モデル対応点探索部、１８０ 白線位置演算部、２００ オドメトリ装置、２１０ ジャイロ、２２０ ＧＰＳ、２３０ カメラ、２４０ レーザレーダ、９０１ 表示装置、９０２ キーボード、９０３ マウス、９０４ ＦＤＤ、９０５ ＣＤＤ、９０６ プリンタ装置、９０７ スキャナ装置、９０８ マイク、９０９ スピーカー、９１１ ＣＰＵ、９１２ バス、９１３ ＲＯＭ、９１４ ＲＡＭ、９１５ 通信ボード、９２０ 磁気ディスク装置、９２１ ＯＳ、９２２ ウィンドウシステム、９２３ プログラム群、９２４ ファイル群。
【技術分野】
【０００１】
本発明は、例えば、道路の白線位置検知を行う白線モデル計測システム、計測台車および白線モデル計測装置に関するものである。
【背景技術】
【０００２】
高精度ＧＩＳ（Ｇｅｏｇｒａｐｈｉｃａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｙｓｔｅｍ）作成においては、路面シンボルや白線について認識した存在情報だけでなく、その高精度な位置情報（絶対座標）をＧＩＳに登録する必要がある。従来、白線の位置情報の取得には複数カメラを用いたステレオ視や、カメラパラメータと車両との関係に基づくカメラの設置位置から白線の位置情報を推定する手法が用いられていた。
【非特許文献１】ＤｏｒｏｔａＡ．Ｇｒｅｊｎｅｒ−Ｂｒｚｅｚｉｎｓｋａ ａｎｄ Ｃｈａｒｌｅｓ Ｔｏｔｈ、「Ｈｉｇｈ Ａｃｃｕｒａｃｙ Ｄｙｎａｍｉｃ Ｈｉｇｈｗａｙ Ｍａｐｐｉｎｇ Ｕｓｉｎｇ ａ ＧＰＳ／ＩＮＳ／ＣＣＤ Ｓｙｓｔｅｍ ｗｉｔｈ Ｏｎ−Ｔｈｅ−Ｆｌｙ ＧＰＳ Ａｍｂｉｇｕｉｔｙ Ｒｅｓｏｌｕｔｉｏｎ」、Ｃｅｎｔｅｒ ｆｏｒ Ｍａｐｐｉｎｇ Ｄｅｐａｒｔｍｅｎｔ ｏｆ Ｃｉｖｉｌ ａｎｄ Ｅｎｖｉｒｏｎｍｅｎｔａｌ Ｅｎｇｉｎｅｅｒｉｎｇ ａｎｄ Ｇｅｏｄｅｔｉｃ Ｓｃｉｅｎｃｅ Ｔｈｅ Ｏｈｉｏ Ｓｔａｔｅ Ｕｎｉｖｅｒｓｉｔｙ、Ｏｈｉｏ Ｄｅｐａｒｔｍｅｎｔ ｏｆ Ｔｒａｎｓｐｏｒｔａｔｉｏｎ，Ｄｉｓｔｒｉｃｔ１、Ｓｅｐｔｅｍｂｅｒ ２００４
【非特許文献２】Ｈ．Ｇｏｎｔｒａｎ，Ｊ，Ｓｋａｌｏｕｄ，Ｐ．−Ｙ．Ｇｉｌｌｉｒｏｎ、「Ａ ＭＯＢＩＬＥ ＭＡＰＰＩＮＧ ＳＹＳＴＥＭ ＦＯＲ ＲＯＡＤ ＤＡＴＡ ＣＡＰＴＵＲＥ ＶＩＡ Ａ ＳＩＮＧＬＥ ＣＡＭＥＲＡ」、［ｏｎｌｉｎｅ］、［平成１８年２月１４日検索］、インターネット＜ＵＲＬ：ｈｔｔｐ：／／ｔｏｐｏ．ｅｐｆｌ．ｃｈ／ｐｅｒｓｏｎｎｅｓ／ｊｓｋ／Ｐａｐｅｒｓ／３ｄｏｐｔ＿ｈｇ．ｐｄｆ
【非特許文献３】Ｇ．Ｍａｎｚｏｎｉ，Ｒ．Ｇ．Ｒｉｚｚｏ，Ｃ．Ｒｏｂｉｇｌｉｏ、「ＭＯＢＬＥ ＭＡＰＰＩＮＧ ＳＹＳＴＥＭＳ ＩＮ ＣＵＬＴＵＲＡＬ ＨＥＲＩＴＡＧＥＳ ＳＵＲＶＥＹ」、ＣＩＰＡ ２００５ ＸＸ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｙｍｐｏｓｉｕｍ、２６ Ｓｅｐｔｅｍｂｅｒ−０１ Ｏｃｔｏｂｅｒ，２００５、Ｔｏｒｉｎｏ，Ｉｔａｌｙ
【発明の開示】
【発明が解決しようとする課題】
【０００３】
これらの手法には以下のような特徴がある。
ａ）ステレオ視による白線位置検知
（１）２台のカメラで白線位置の取得が可能。
（２）切れ目のない白線の場合、対応点探索の自動化が困難なため、手動による対応点探索が必要。
（３）有効視野角が狭い。
（４）絶対精度が低い。
ｂ）カメラパラメータによる白線位置推定
（１）カメラから道路までの設定距離を一定として計算するため精度が悪い。
（２）精度が車両動揺に左右される。
（３）平坦でない道路では著しく精度が悪化する。
（４）１台のカメラで白線位置の取得が可能。
【０００４】
本発明は、例えば、平坦でない道路でもより高精度な白線位置の取得を行うことを目的とする。
【課題を解決するための手段】
【０００５】
本発明の白線モデル計測システムは、路面の画像データを撮影する撮像部と、レーザスキャナにより路面に対する距離方位データを取得する光走査部と、前記撮像部と前記光走査部とを固定する基台と、前記基台の位置を計測する測位部と、前記基台の動揺姿勢角を計測する姿勢検出部とを有した計測台車と、路面の画像データから白線画像を検出する画像処理部と、前記画像処理部で取得された白線画像と前記姿勢検出部で計測された動揺姿勢と前記測位部で得られた基台位置と前記光走査部で取得された路面に対する距離データとに基づいて白線の輪郭を表す白線モデルを演算する計算機とを備え、前記計算機は、前記姿勢検出部で計測された動揺姿勢に基づいて前記撮像部が撮影する視線中心方向を求め、前記撮像部で撮影された白線の輪郭データを抽出し、抽出した輪郭データに基づいて画像上における白線位置を求め、求めた視線中心方向と画像上における白線位置とに基づいて前記撮像部に対する白線方向を求め、前記姿勢検出部で計測された動揺姿勢と前記光走査部で取得された路面に対する距離方位データとに基づいて路面の形状データを生成し、生成された路面の形状データと白線方向と前記測位部で得られた基台位置とに基づいて路面の形状データにおける白線方向の対応点を求め、求めた対応点から白線の輪郭を表す白線モデルを演算し、前記画像処理部は前記計測台車と前記計算機との少なくともいずれかに備えられることを特徴とする。
【発明の効果】
【０００６】
本発明によれば、例えば、道路形状を考慮して白線位置の検知を行うことにより、平坦でない道路でもより高精度な白線位置の取得を行うことができる。
【発明を実施するための最良の形態】
【０００７】
実施の形態１．
図１は、実施の形態１における白線モデル計測システム１０１のシステム構成および白線モデル計測装置１００の機能構成を示す図である。
実施の形態１における白線モデル計測システム１０１はオドメトリ装置２００、３台のジャイロ２１０（測位部、姿勢検出部、ＧＰＳジャイロの一部）、３台のＧＰＳ２２０（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）（測位部、姿勢検出部、ＧＰＳジャイロの一部）、カメラ２３０（撮像部）、レーザレーダ２４０（光走査部、レーザスキャナ）および白線モデル計測装置１００（計算機）を備える。
【０００８】
オドメトリ装置２００、３台のジャイロ２１０、３台のＧＰＳ２２０、カメラ２３０、レーザレーダ２４０は計測台車１０２（以下、車両とする）の天板１０３（基台）（図４、図５参照）に搭載される。
オドメトリ装置２００はオドメトリ手法を実行し車両の走行距離を示す距離データを算出する。
３台のジャイロ２１０は車両の３軸方向の傾き（ピッチ角、ロール角、ヨー角）を示す角速度データを算出する。
３台のＧＰＳ２２０は車両の走行位置（座標）を示す測位データを算出する。
ジャイロ２１０とＧＰＳ２２０とはデッドレコニングにより車両の位置、姿勢を測定する。
カメラ２３０は撮影を行い画像データを出力する。
レーザレーダ２４０はカメラ２３０位置から路面までの距離を各方位について示す方位・距離データを算出する。
【０００９】
白線モデル計測装置１００は距離データ、角速度データ、測位データ、画像データ、方位・距離データに基づいて白線位置（絶対座標）を算出する。
白線モデル演算処理１００は車両位置姿勢（３軸）演算部１１０、白線認識処理部１２０（画像処理部）、カメラ位置姿勢演算部１３０、カメラＬＯＳ演算部１４０、路面形状モデル生成部１５０、レーザレーダ位置姿勢演算部１６０、路面モデル対応点探索部１７０を備える。
車両位置姿勢（３軸）演算部１１０は距離データ、角速度データ、測位データに基づいて車両の位置と姿勢（車両位置姿勢）を算出する。
白線認識処理部１２０は画像データに基づいて白線を認識し認識結果を出力する。
カメラ位置姿勢演算部１３０は車両位置姿勢とカメラ取付オフセットとに基づいてカメラ２３０の位置と姿勢（カメラ位置姿勢）を算出する。カメラ取付オフセットは車両軸（極座標）に対するカメラ２３０の取り付け軸のズレの量を示す。カメラ取付オフセットは図４、図５および図７のカメラ２３０と天板１０３との関係に対応する値である。
カメラＬＯＳ演算部１４０は認識結果とカメラ位置姿勢とに基づいてカメラから白線に向けた視線方向（ＬＯＳ：Ｌｉｎｅ Ｏｆ Ｓｉｇｈｔ）の角度（白線見込み角）を算出する。
レーザレーダ位置姿勢演算部１６０は車両位置姿勢とレーザレーダ取付オフセットとに基づいてレーザレーダ２４０の位置と姿勢（レーザレーダ位置姿勢）を算出する。レーザレーダ取付オフセットは車両軸（極座標）に対するレーザレーダ２４０の取り付け軸のズレの量を示す。レーザレーダ取付オフセットは図４、図５および図６のレーザレーダ２４０と天板１０３との関係に対応する値である。
路面形状モデル生成部１５０は方位・距離データとレーザレーダ位置姿勢とに基づいて車両が走行した平坦でない路面の形状（曲面、傾斜、凹凸など）を示す路面形状モデル（三次元点群モデル）を生成する。
路面モデル対応点探索部１７０は白線見込み角と路面形状モデルとに基づいて白線位置の絶対座標を算出する。路面モデル対応点探索部１７０は路面の曲面、傾斜、凹凸などを考慮して白線位置を計測することにより高い精度で白線位置の絶対座標を算出することができる。
距離データ、角速度データ、測位データ、画像データ、方位・距離データを観測データとする。
【００１０】
図２は、実施の形態１における白線モデル計測装置１００のハードウェア資源の一例を示す図である。
図２において、白線モデル計測装置１００は、プログラムを実行するＣＰＵ９１１（Ｃｅｎｔｒａｌ・Ｐｒｏｃｅｓｓｉｎｇ・Ｕｎｉｔ、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサともいう）を備えている。ＣＰＵ９１１は、バス９１２を介してＲＯＭ９１３、ＲＡＭ９１４、通信ボード９１５、表示装置９０１、キーボード９０２、マウス９０３、ＦＤＤ９０４（Ｆｌｅｘｉｂｌｅ・Ｄｉｓｋ・Ｄｒｉｖｅ）、ＣＤＤ９０５（コンパクトディスク装置）、プリンタ装置９０６、スキャナ装置９０７、マイク９０８、スピーカー９０９、磁気ディスク装置９２０と接続され、これらのハードウェアデバイスを制御する。磁気ディスク装置９２０の代わりに、光ディスク装置、メモリカード読み書き装置などの記憶装置でもよい。
ＲＡＭ９１４は、揮発性メモリの一例である。ＲＯＭ９１３、ＦＤＤ９０４、ＣＤＤ９０５、磁気ディスク装置９２０の記憶媒体は、不揮発性メモリの一例である。これらは、記憶機器、記憶装置あるいは記憶部の一例である。
通信ボード９１５、キーボード９０２、スキャナ装置９０７、ＦＤＤ９０４などは、入力機器、入力装置あるいは入力部の一例である。
また、通信ボード９１５、表示装置９０１、プリンタ装置９０６などは、出力機器、出力装置あるいは出力部の一例である。
【００１１】
通信ボード９１５は、有線または無線で、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネット、ＩＳＤＮ等のＷＡＮ（ワイドエリアネットワーク）、電話回線などの通信網に接続されている。
磁気ディスク装置９２０には、ＯＳ９２１（オペレーティングシステム）、ウィンドウシステム９２２、プログラム群９２３、ファイル群９２４が記憶されている。プログラム群９２３のプログラムは、ＣＰＵ９１１、ＯＳ９２１、ウィンドウシステム９２２により実行される。
【００１２】
上記プログラム群９２３には、実施の形態の説明において「〜部」、「〜手段」として説明する機能を実行するプログラムが記憶されている。プログラムは、ＣＰＵ９１１により読み出され実行される。
ファイル群９２４には、実施の形態の説明において、「〜部」や「〜手段」の機能を実行した際の「〜の判定結果」、「〜の計算結果」、「〜の処理結果」などの結果データ、「〜部」や「〜手段」の機能を実行するプログラム間で受け渡しするデータ、その他の情報やデータや信号値や変数値やパラメータが、「〜ファイル」や「〜データベース」の各項目として記憶されている。「〜ファイル」や「〜データベース」は、ディスクやメモリなどの記録媒体に記憶される。ディスクやメモリなどの記憶媒体に記憶された情報やデータや信号値や変数値やパラメータは、読み書き回路を介してＣＰＵ９１１によりメインメモリやキャッシュメモリに読み出され、抽出・検索・参照・比較・演算・計算・処理・出力・印刷・表示などのＣＰＵの動作に用いられる。抽出・検索・参照・比較・演算・計算・処理・出力・印刷・表示・抽出のＣＰＵの動作の間、情報やデータや信号値や変数値やパラメータは、メインメモリやキャッシュメモリやバッファメモリに一時的に記憶される。
また、実施の形態の説明において説明するフローチャートの矢印の部分は主としてデータや信号の入出力を示し、データや信号値は、ＲＡＭ９１４のメモリ、ＦＤＤ９０４のフレキシブルディスク、ＣＤＤ９０５のコンパクトディスク、磁気ディスク装置９２０の磁気ディスク、その他光ディスク、ミニディスク、ＤＶＤ（Ｄｉｇｉｔａｌ・Ｖｅｒｓａｔｉｌｅ・Ｄｉｓｃ）等の記録媒体に記録される。また、データや信号値は、バス９１２や信号線やケーブルその他の伝送媒体によりオンライン伝送される。
【００１３】
また、実施の形態の説明において「〜部」、「〜手段」として説明するものは、「〜回路」、「〜装置」、「〜機器」、「手段」であってもよく、また、「〜ステップ」、「〜手順」、「〜処理」であってもよい。すなわち、「〜部」、「〜手段」として説明するものは、ＲＯＭ９１３に記憶されたファームウェアで実現されていても構わない。或いは、ソフトウェアのみ、或いは、素子・デバイス・基板・配線などのハードウェアのみ、或いは、ソフトウェアとハードウェアとの組み合わせ、さらには、ファームウェアとの組み合わせで実施されても構わない。ファームウェアとソフトウェアは、プログラムとして、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ等の記録媒体に記憶される。プログラムはＣＰＵ９１１により読み出され、ＣＰＵ９１１により実行される。すなわち、プログラムは、「〜部」、「〜手段」としてコンピュータを機能させるものである。あるいは、「〜部」、「〜手段」の手順や方法をコンピュータに実行させるものである。
【００１４】
図３は、実施の形態１における白線モデル計測装置１００の白線位置検知のアルゴリズムフローを示す。
白線モデル計測装置１００は図３に示す方法により白線位置を測定する。
【００１５】
＜Ｓ１０１：車両位置姿勢（３軸）演算処理＞
まず、車両位置姿勢（３軸）演算部１１０が距離データと角速度データと測位データとを入力して車両位置姿勢を算出する。
＜Ｓ１０２：カメラ位置姿勢演算処理＞
次に、カメラ位置姿勢演算部１３０が車両位置姿勢とカメラ取付オフセットとを入力しカメラ位置姿勢を算出する。
＜Ｓ１０３、Ｓ１０４：白線抽出処理、白線認識処理＞
また、白線認識処理部１２０が画像データを入力し画像データから白線を抽出し（Ｓ１０３）、抽出した白線の画像位置を認識結果として算出する（Ｓ１０４）。
＜Ｓ１０５：カメラＬＯＳ演算処理＞
次に、カメラＬＯＳ演算部１４０がカメラ位置姿勢と認識結果とを入力し白線見込み角を算出する。
＜Ｓ１０６：路面形状モデル生成処理＞
また、路面形状モデル生成部１５０が方位・距離データとレーザレーダ位置姿勢を入力し路面形状モデル（三次元点群モデル）を算出する。
このとき、レーザレーダ位置姿勢演算部１６０は車両位置姿勢とレーザレーダ取付オフセットとに基づいてレーザレーダ２４０の位置と姿勢（レーザレーダ位置姿勢）を算出する。
＜Ｓ１０７、Ｓ１０８、Ｓ１０９：投影変換処理、路面モデル対応点探索処理、路面モデル対応面算出処理＞
次に、路面モデル対応点探索部１７０が路面形状モデルを入力し路面形状モデルをカメラ２３０の画像平面に投影変換し（Ｓ１０７）、路面モデルから白線位置における路面の形状を示す３点を抽出し（Ｓ１０８）、抽出した３点が示す路面の形状を算出する（Ｓ１０９）。
＜Ｓ１１０：白線位置計測処理＞
そして、路面モデル対応点探索部１７０が白線見込み角を入力し路面の形状に対応した高精度な白線位置の絶対座標を算出する。
【００１６】
次に、路面形状モデル生成部１５０が実行する路面形状モデル生成処理（Ｓ１０６）について説明する。
路面形状モデル生成部１５０は以下のように三次元点群モデルを復元する。
白線認識においては、準備段階として、道路形状の三次元点群モデルを復元しておく。ＬＲＦ（レーザーレンジファインダ）から得られるデータ（方位・距離データ）は二次元であり、これらをレーザレーダ２４０の設置位置角度（レーザレーダ取付オフセット）と車両位置姿勢とから三次元に復元する必要がある。
ＬＲＦから得られた二次元データの座標を（ｘ０，ｙ０）とおくと二次元データは以下の式１、式２によって車両位置に対する三次元位置（ｘ２，ｙ２，ｚ２）へ変換される。また、車両位置とＬＲＦ、白線認識用カメラ２３０の位置関係を図４、図５、図６、図７および図８に示す。
【００１７】
【数１】
【００１８】
ｚ０は、レーザレーダ２４０のレーザスキャン面の高さであり、ここでは図７のようにレーザレーダ２４０の基準をスキャン面にとっているために０である。
つぎに車両位置姿勢を考慮し、式３、式４により変換を行い道路形状の三次元モデル化を行う。ここで、三次元モデル上の点を（Ｎｌｒｆ，Ｕｌｒｆ，Ｅｌｒｆ）とする。
【００１９】
【数２】
【００２０】
これらに基づいて作成した道路点群モデルについて図９、図１０および図１１に示す。
例えば、図１０では三次元点群データ（路肩）において左側に位置する歩道（段差の有る路肩）と右側の道路との境目が見て取れる。
また、図１２に示す光学画像を三次元点群データで表わした図１１では道路に沿った斜面の形状（道路断面形状）が見て取れる。
【００２１】
次に、路面モデル対応点探索部１７０が実行する投影変換処理（Ｓ１０７）について説明する。
路面モデル対応点探索部１７０は三次元点群データをカメラの画像平面に対し投影変換する。
カメラ座標系に対する点群データの位置（ｘｃａｍ，ｙｃａｍ，ｚｃａｍ）は以下の式５、式６で表わされる。
【００２２】
【数３】
【００２３】
次に、これらの点とカメラ中心（ｘｃａｍ０，ｙｃａｍ０，ｚｃａｍ０）のなす直線は以下の式７、式８、式９および式１０で表わされる。
【００２４】
【数４】
【００２５】
またこのとき、画像仮想平面はカメラ２３０を理想的なピンホールカメラと仮定すると焦点距離ｆであるから以下の式１１となる。
ｚ＝ｆ ・・・（式１１）
【００２６】
この画像平面と直線の交点が三次元点データをカメラ画像へ投影した点である。
投影変換を行った画像を図１３に示す。図からもわかるように投影変換された点と画像のマッチングがしっかりと取れていることがわかる。つまり、投影変換した点が示す段差と画像が示す路面の段差とが一致していることが分かる。
【００２７】
次に、路面モデル対応点探索部１７０が実行する路面モデル対応点探索処理（Ｓ１０８）、路面モデル対応面算出処理（Ｓ１０９）、白線位置計測処理（Ｓ１１０）について説明する。
路面モデル対応点探索部１７０は、図１４に示すように認識した白線の画像上の位置とカメラの視線中心がなす直線ＬＯＳとその直線を内部に含むような３点（路面モデル対応点）がなす面（路面モデル対応面）との交点を白線の位置とする。
３点（路面モデル対応点）、Ｐ１（ｘｐ１、ｙｐ１、ｚｐ１）、Ｐ１（ｘｐ２、ｙｐ２、ｚｐ２）、Ｐ３（ｘｐ３、ｙｐ３、ｚｐ３）がなす３次元空間の面（路面モデル対応面）の方程式は以下の式１２で表される。
【００２８】
【数５】
【００２９】
従って、式７と式１２とにより、路面モデルの各点データのカメラ画像面上での対応点（ｘｃａｍ，ｙｃａｍ，ｚｃａｍ）が求められる。
ここで、この点（ｘｃａｍ，ｙｃａｍ，ｚｃａｍ）と白線位置（ＵＬ，ＶＬ）を式１３、式１４および式１５を用いてＮＥＵ座標に変換した（ＮＬ，ＵＬ，ＥＬ）との距離を計算し、（ＵＬ，ＶＬ）に最も近い３点を選ぶことでＰ１、Ｐ２、Ｐ３が求められる。
【００３０】
【数６】
【００３１】
ここで、Ｕ＿ＳＩＺＥはカメラの水平ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅｓ）画素サイズで、例えば、ＮＴＳＣ（Ｎａｔｉｏｎａｌ Ｔｅｌｅｖｉｓｉｏｎ Ｓｔａｎｄａｒｄｓ Ｃｏｍｍｉｔｔｅｅ）カメラでは６４０［ｐｉｘｅｌ］、Ｖ＿ＳＩＺＥは垂直ＣＣＤ画素サイズで同様に４８０［ｐｉｘｅｌ］、（ＵＬ，ＶＬ）は画像面上の白線の位置、Ｐｉｘｅｌ＿ＳＩＺＥは画素の大きさで正方形のＣＣＤ素子を例にとると数十［μｍ］である。
以上により、路面モデルの対応点Ｐ１、Ｐ２、Ｐ３が求められたため、この３点のなす面と白線のＬＯＳとの交点を求めればよい。
まず、ＬＯＳを求める。画像上の白線位置（ＵＬ、ＶＬ）はＥＮＵ座標系（ＮＬ、ＵＬ、ＥＬ）では式１３、式１４および式１５で求められる。
従って、この（ＮＬ，ＵＬ，ＥＬ）とカメラ中心を通るＬＯＳは以下の式１６、式１７、式１８および式１９で表される。
【００３２】
【数７】
【００３３】
よって白線の位置（ｘ，ｙ，ｚ）は上記式１６、式１７、式１８と路面モデルの対応点Ｐ１、Ｐ２、Ｐ３からなる式１２の交点を求めればよい。
【００３４】
以下に、上記で説明した白線モデル計測システム１０１および白線モデル計測装置１００を用いた白線位置の計測例を示す。
上記で説明した本手法による計測結果の精度検証のため、トータルステーション（測量機器）を用いて実際の白線の位置を計測し、それを真値とし、本手法による計測結果との比較を行った。
図１５に実験環境を示す。実験では図１５に示す車両走行箇所を上記で説明した計測台車１０２で走行し、車両走行箇所の全域でデータ（距離データ、角速度データ、測位データ、画像データ、方位・距離データ）を取得した。また、白線計測箇所においてトータルステーションを用いて数箇所の白線の位置情報を取得した。図１６にトータルステーションで計測した真値と本手法による計測結果との比較に使用した路面の白線を示す。図１６において白線の４隅を示すａ〜ｄの４点について計測結果を比較した。実験場所は橋になっており道が図１６に示すように山形になっているのが特徴である。このような場所においては、従来の手法は路面を平面として扱っているためカメラパラメータから高精度な白線位置を推定することは非常に困難である。
実験では図１７、図１８および図１９に示すように車両の走行中に連続して（例えば、１秒間に３０回）データを取得した。
【００３５】
図２０にトータルステーションによる白線の計測結果を示す。図２０においてトータルステーションで計測した白線位置と計測台車１０２（車両）の走行位置とを示している。また、図２０中のａ〜ｄはトータルステーションで計測した白線の４隅を示す。
図２１に本手法による白線位置計測結果を示す。図２１においてａ〜ｄは白線４隅の複数の計測結果を示し、ａ（ａｖｅｒａｇｅ）〜ｄ（ａｖｅｒａｇｅ）は白線４隅の計測結果の平均値を示し、ｖｅｈｉｃｌｅ ｐｏｓｉｔｉｏｎは車両の走行位置を示し、ａｂｃｄ（ｔｒａｄｉｔｉｏｎａｌ）は従来手法による白線４隅の計測結果を示す。
また、図２１のａ、ｂの部分を拡大した結果を図２２に示し、図２１のｃ、ｄの部分を拡大した結果を図２３に示す。図２２、図２３においてＴｒｕｅ ｐｏｉｎｔ（ｔｏｔａｌ ｓｔａｔｉｏｎ）はトータルステーションで計測した白線位置の真値を示す。
【００３６】
本試験では、図２１〜図２３に示すように、複数枚の画像から白線位置を計測し（ａ〜ｄ）、その平均値（ａ（ａｖｅｒａｇｅ）〜ｄ（ａｖｅｒａｇｅ））を計測値とした。トータルステーションの計測結果との比較結果としては、車両の進行方向に対しオフセットが現れたが、白線の形状（幅、長さ、傾き）がしっかりと出ていることがわかる。
また、計測された白線の幅および長さを図２４に示す。図２４において「ｉｍａｇｅ１」〜「ｉｍａｇｅ６」は各画像に基づいて測定した値を示し「平均値」は「ｉｍａｇｅ１」〜「ｉｍａｇｅ６」の測定値を平均した値を示す。また、「真値」はトータルステーションで計測した比較対象となる値を示す。図２４に示す表からもわかるように、「平均値」は白線の幅（ａ−ｂ間距離、ｃ−ｄ間距離）、長さ（ａ−ｄ間距離、ｂ−ｃ間距離）ともに「真値」に近い値であり高精度に計測できていることがわかる。
【００３７】
また、本手法による計測結果は図２１、図２２および図２３に示すように白線の検出位置が白線の幅方向よりも車両の進行方向に分散する傾向にあることがわかる。
白線の検出位置が車両の進行方向に分散する傾向にある理由は車両のピッチ角方向の変位に対して補正しきれていない結果であると考えられる。この傾向は、例えば、精度が高いジャイロ２１０を用いることで改善すると考えられる。
【００３８】
また、白線の端点が画像の端にあるときに計算した結果よりも、白線の端点が画像中心に近い画像を用いて白線位置を検出したほうが精度は高い。これらはカメラ２３０のレンズによる収差の影響が補正しきれていない結果であると考えられる。
この傾向に対しては、例えば、カメラ２３０の中心付近で白線を撮影するようにしたり、収差の小さいレンズを用いれば改善すると考えられる。
【００３９】
また、計測台車１０２の走行速度を上げると進行方向の路面モデルの点の間隔が広がり、路面モデル対応点探索処理（Ｓ１０８）でのカメラ画像での白線位置に最も近いカメラ画像上での路面モデル投影点を３点選ぶ方式では精度劣化することもあるが、幾何学や統計学での既知の方式にて容易に対処可能である。もちろん、レーザレーダ２４０のスキャン速度を上げることでも解消できる。
【００４０】
また実験環境によっては道路混雑のため路面形状が取れないことがあるが、この課題は路面形状を取得する時間帯を考慮することで解決できる。
【００４１】
上記の計測結果では、相対精度（白線の形状）では数ｃｍクラス、また絶対精度（絶対座標）においても２０［ｃｍ］以下の精度であった。以上より本手法の有効性を確認した。
【００４２】
実施の形態１では以下の特徴を持つ白線モデル計測システム１０１および白線モデル計測装置１００について説明した。
（１）計測台車１０２で走行した経路のＬＲＦの点群を位置姿勢に基づき復元する。
（２）復元結果をカメラ座標系に投影する。
（３）カメラ２３０の視線上での白線の位置から近い三点（路面モデル対応点）を探索し、その三点から構成される面（路面モデル対応面）と、ＬＯＳの交点を白線の位置として計測する。
（４）白線位置計測に際しては複数枚の画像で位置計測を行いその平均値をとった。
【００４３】
図１に基づいて説明した実施の形態１における白線モデル計測システム１０１と白線モデル計測装置１００が道路形状を考慮せずに白線位置を測定する場合、例えば、図２５や図２６に示す構成になる。
図２５はカメラ２３０を真下向き（路面方向）に向けた場合の構成を示し、図２６はカメラ２３０を前向き（車両の進行方向）に向けた場合の構成を示す。
図２５、図２６において白線位置演算部１８０は路面形状モデルを使用せずに、つまり、道路形状を考慮せずに白線位置を測定する。
【００４４】
図１に示す白線モデル計測システム１０１および白線モデル計測装置１００は図２５または図２６に示す白線モデル計測システム１０１および白線モデル計測装置１００に対して以下のような特徴を持つ。
ハードウェアの差異として図１の構成ではＧＰＳ２２０とジャイロ２１０とレーザレーダ２４０とを備える。図１の構成ではジャイロ２１０を備えることによりロール角、ピッチ角、ヨー角を測定できる。これにより、図２５の構成と比較して車体動揺に対する補正が行え高精度に白線位置を測定できるという長所を持つ。また、図１の構成ではレーザレーダ２４０を備えることにより路面形状を取得することができる。これにより、図２６の構成と比較して路面形状が平坦でなく車両姿勢計測により路面の傾斜を正しく計測できていなくても高精度に白線位置を測定できるという長所を持つ。
【００４５】
上記実施の形態１において、例えば、以下の白線モデル計測システム、計測台車および白線モデル計測装置について説明した。
【００４６】
路面の画像データを撮影する撮像部（カメラ２３０）と、レーザスキャナ（レーザレーダ２４０）により路面に対する距離方位データ（方位・距離データ）を取得する光走査部と、前記撮像部と前記光走査部とを固定する基台（天板１０３）と、前記基台の位置を計測する測位部（ジャイロ２１０、ＧＰＳ２２０）と、前記基台の動揺姿勢角を計測する姿勢検出部（ジャイロ２１０、ＧＰＳ２２０）とを有した計測台車１０２と、路面の画像データから白線画像を検出する画像処理部（白線認識処理部１２０）と、前記画像処理部で取得された白線画像（認識結果）と前記姿勢検出部で計測された動揺姿勢（車両位置姿勢）と前記測位部で得られた基台位置と前記光走査部で取得された路面に対する距離データとに基づいて白線の輪郭（白線の４隅）を表す白線モデル（路面形状モデル）を演算する計算機（白線モデル計測装置１００）とを備え、前記計算機は、前記姿勢検出部で計測された動揺姿勢に基づいて前記撮像部が撮影する視線中心方向（ＬＯＳ）を求め、前記撮像部で撮影された白線の輪郭データを抽出し、抽出した輪郭データに基づいて画像上における白線位置を求め、求めた視線中心方向と画像上における白線位置とに基づいて前記撮像部に対する白線方向を求め、前記姿勢検出部で計測された動揺姿勢と前記光走査部で取得された路面に対する距離方位データとに基づいて路面の形状データ（三次元点群データ）を生成し、生成された路面の形状データと白線方向と前記測位部で得られた基台位置とに基づいて路面の形状データにおける白線方向の対応点（路面モデル対応点）を求め、求めた対応点から白線の輪郭を表す白線モデルを演算し、前記画像処理部は前記計測台車と前記計算機との少なくともいずれかに備えられることを特徴とする白線モデル計測システム１０１。
【００４７】
路面の画像データを撮影する撮像部と、レーザスキャナにより路面に対する距離方位データを取得する光走査部と、前記撮像部と前記光走査部とを固定する基台と、前記基台の位置を計測する測位部と、前記基台の動揺姿勢角を計測する姿勢検出部とを備えたことを特徴とする計測台車１０２。
【００４８】
路面の画像データを撮影する撮像部と、レーザスキャナにより路面に対する距離方位データを取得する光走査部と、前記撮像部と前記光走査部とを固定する基台と、前記基台の位置を計測する測位部と、前記基台の動揺姿勢角を計測する姿勢検出部とを有した計測台車で取得されたデータを用いて白線の輪郭を表す白線モデルを演算する白線モデル計測装置であって、路面の画像データから白線画像を検出する画像処理部と、前記画像処理部で取得された白線画像と前記姿勢検出部で計測された動揺姿勢と前記測位部で得られた基台位置と前記光走査部で取得された路面に対する距離データとに基づいて白線の輪郭を表す白線モデルを演算する計算機とを備え、前記計算機は、前記姿勢検出部で計測された動揺姿勢角と前記光走査部で取得された路面に対する距離方位データとに基づいて前記撮像部が撮影する視線中心方向を求め、前記撮像部で撮影された白線の輪郭データを抽出し、抽出した輪郭データに基づいて画像上における白線位置を求め、求めた視線中心方向と画像上における白線位置とに基づいて前記撮像部に対する白線方向を求め、前記姿勢検出部で計測された動揺姿勢に基づいて路面の形状データを生成し、生成された路面の形状データと白線方向と前記測位部で得られた基台位置とに基づいて路面の形状データにおける白線方向の対応点を求め、求めた対応点から白線の輪郭を表す白線モデルを演算し、前記画像処理部は前記計測台車と前記計算機との少なくともいずれかに備えられることを特徴とする白線モデル測定装置。
【００４９】
前記姿勢検出部で計測された動揺姿勢に基づいて得られる座標変換行列を用いた演算処理により路面の形状データを生成し、前記姿勢検出部で計測された動揺姿勢に基づいて得られる座標変換行列を用いた演算処理により前記撮像部が撮影する視線中心方向を求めることを特徴とする白線モデル計測システム。
【００５０】
前記姿勢検出部は少なくとも２つのＧＰＳアンテナの出力信号を用いて姿勢を検出することを特徴とする白線モデル計測システム。
【００５１】
路面の画像データを撮影する撮像部と、レーザスキャナにより路面に対する距離方位データを取得する光走査部と、前記撮像部と前記光走査部とを固定する基台と、前記基台の位置を計測する測位部と、前記基台の動揺姿勢角を計測する姿勢検出部とを有した計測台車と、路面の画像データから白線画像を検出する画像処理部と、前記画像処理部で取得された白線画像と前記姿勢検出部で計測された動揺姿勢と前記測位部で得られた基台位置と前記光走査部で取得された路面に対する距離データとに基づいて白線の輪郭を表す白線モデルを演算する計算機とを備え、前記計算機は、前記撮像部で撮影された白線の輪郭データを抽出し、抽出した輪郭データに基づいて画像上における白線位置を求め、前記姿勢検出部で計測された動揺姿勢と前記光走査部で取得された路面に対する距離方位データとに基づいて路面の形状データを生成し、画面上における白線位置と路面の形状データとに基づいて白線の輪郭を表す白線モデルを演算し、前記画像処理部は前記計測台車と前記計算機との少なくともいずれかに備えられることを特徴とする白線モデル計測システム。
【００５２】
上記実施の形態１における計測台車１０２の天板１０３は計測台車１０２のボディなどを流用しても構わない。
また、上記実施の形態１における白線モデル計測システム１０１および白線モデル計測装置１００は白線以外を計測対象としても構わない。例えば、路面に記された交通標示でも構わないし黄線でも構わない。
また、白線モデル計測装置１００は計測台車１０２に搭載されてもよいし、搭載されなくてもよい。そして、白線モデル計測装置１００は計測台車１０２の走行中に即時処理により白線位置を計測してもよい。また、後処理にて計測してもよい。即時処理では白線位置を計測後に測位データなどの観測データが不要になるためデータ量を減らすことができる。
【図面の簡単な説明】
【００５３】
【図１】実施の形態１における白線モデル計測システム１０１のシステム構成および白線モデル計測装置１００の機能構成を示す図。
【図２】実施の形態１における白線モデル計測装置１００のハードウェア資源の一例を示す図。
【図３】実施の形態１における白線モデル計測装置１００の白線位置検知のアルゴリズムフロー。
【図４】実施の形態１における車両位置とＬＲＦ、白線認識用カメラ２３０の位置関係図。
【図５】実施の形態１における車両位置とＬＲＦ、白線認識用カメラ２３０の位置関係図。
【図６】実施の形態１における車両位置とＬＲＦ、白線認識用カメラ２３０の位置関係図。
【図７】実施の形態１における車両位置とＬＲＦ、白線認識用カメラ２３０の位置関係図。
【図８】実施の形態１における車両位置とＬＲＦ、白線認識用カメラ２３０の位置関係図。
【図９】実施の形態１における道路点群モデルを示す図。
【図１０】実施の形態１における道路点群モデルを示す図。
【図１１】実施の形態１における道路点群モデルを示す図。
【図１２】図１１に対応する光学画像。
【図１３】実施の形態１における投影変換を行った画像。
【図１４】実施の形態１における白線の画像上の位置とＬＯＳと３点（路面モデル対応点）がなす面（路面モデル対応面）との関係を示す図。
【図１５】実施の形態１における実験環境を示す。
【図１６】実施の形態１における計測結果を比較した白線の４隅を示す図。
【図１７】実施の形態１における走行する車両と路面との位置関係を示す図。
【図１８】実施の形態１における走行する車両と路面との位置関係を示す図。
【図１９】実施の形態１における走行する車両と路面との位置関係を示す図。
【図２０】トータルステーションによる白線の計測結果を示す図。
【図２１】実施の形態１における白線位置計測結果を示す図。
【図２２】図２１のａ、ｂ部分拡大図。
【図２３】図２１のｃ、ｄ部分拡大図。
【図２４】実施の形態１における計測した白線の幅および長さを示す表。
【図２５】白線モデル計測システム１０１および白線モデル計測装置１００の別構成を示す図。
【図２６】白線モデル計測システム１０１および白線モデル計測装置１００の別構成を示す図。
【符号の説明】
【００５４】
１００ 白線モデル計測装置、１０１ 白線モデル計測システム、１０２ 計測台車、１０３ 天板、１１０ 車両位置姿勢（３軸）演算部、１２０ 白線認識処理部、１３０ カメラ位置姿勢演算部、１４０ カメラＬＯＳ演算部、１５０ 路面形状モデル生成部、１６０ レーザレーダ位置姿勢演算部、１７０ 路面モデル対応点探索部、１８０ 白線位置演算部、２００ オドメトリ装置、２１０ ジャイロ、２２０ ＧＰＳ、２３０ カメラ、２４０ レーザレーダ、９０１ 表示装置、９０２ キーボード、９０３ マウス、９０４ ＦＤＤ、９０５ ＣＤＤ、９０６ プリンタ装置、９０７ スキャナ装置、９０８ マイク、９０９ スピーカー、９１１ ＣＰＵ、９１２ バス、９１３ ＲＯＭ、９１４ ＲＡＭ、９１５ 通信ボード、９２０ 磁気ディスク装置、９２１ ＯＳ、９２２ ウィンドウシステム、９２３ プログラム群、９２４ ファイル群。
【特許請求の範囲】
【請求項１】
路面の画像データを撮影する撮像部と、
レーザスキャナにより路面に対する距離方位データを取得する光走査部と、
前記撮像部と前記光走査部とを固定する基台と、
前記基台の位置を計測する測位部と、
前記基台の動揺姿勢角を計測する姿勢検出部と
を有した計測台車と、
路面の画像データから白線画像を検出する画像処理部と、
前記画像処理部で取得された白線画像と前記姿勢検出部で計測された動揺姿勢と前記測位部で得られた基台位置と前記光走査部で取得された路面に対する距離データとに基づいて白線の輪郭を表す白線モデルを演算する計算機と
を備え、
前記計算機は、
前記姿勢検出部で計測された動揺姿勢に基づいて前記撮像部が撮影する視線中心方向を求め、前記撮像部で撮影された白線の輪郭データを抽出し、抽出した輪郭データに基づいて画像上における白線位置を求め、求めた視線中心方向と画像上における白線位置とに基づいて前記撮像部に対する白線方向を求め、前記姿勢検出部で計測された動揺姿勢と前記光走査部で取得された路面に対する距離方位データとに基づいて路面の形状データを生成し、生成された路面の形状データと白線方向と前記測位部で得られた基台位置とに基づいて路面の形状データにおける白線方向の対応点を求め、求めた対応点から白線の輪郭を表す白線モデルを演算し、
前記画像処理部は前記計測台車と前記計算機との少なくともいずれかに備えられる
ことを特徴とする白線モデル計測システム。
【請求項２】
路面の画像データを撮影する撮像部と、
レーザスキャナにより路面に対する距離方位データを取得する光走査部と、
前記撮像部と前記光走査部とを固定する基台と、
前記基台の位置を計測する測位部と、
前記基台の動揺姿勢角を計測する姿勢検出部と
を備えたことを特徴とする計測台車。
【請求項３】
路面の画像データを撮影する撮像部と、
レーザスキャナにより路面に対する距離方位データを取得する光走査部と、
前記撮像部と前記光走査部とを固定する基台と、
前記基台の位置を計測する測位部と、
前記基台の動揺姿勢角を計測する姿勢検出部と
を有した計測台車で取得されたデータを用いて白線の輪郭を表す白線モデルを演算する白線モデル計測装置であって、
路面の画像データから白線画像を検出する画像処理部と、
前記画像処理部で取得された白線画像と前記姿勢検出部で計測された動揺姿勢と前記測位部で得られた基台位置と前記光走査部で取得された路面に対する距離データとに基づいて白線の輪郭を表す白線モデルを演算する計算機と
を備え、
前記計算機は、
前記姿勢検出部で計測された動揺姿勢角に基づいて前記撮像部が撮影する視線中心方向を求め、前記撮像部で撮影された白線の輪郭データを抽出し、抽出した輪郭データに基づいて画像上における白線位置を求め、求めた視線中心方向と画像上における白線位置とに基づいて前記撮像部に対する白線方向を求め、前記姿勢検出部で計測された動揺姿勢と前記光走査部で取得された路面に対する距離方位データとに基づいて路面の形状データを生成し、生成された路面の形状データと白線方向と前記測位部で得られた基台位置とに基づいて路面の形状データにおける白線方向の対応点を求め、求めた対応点から白線の輪郭を表す白線モデルを演算し、
前記画像処理部は前記計測台車と前記計算機との少なくともいずれかに備えられる
ことを特徴とする白線モデル計測装置。
【請求項４】
前記姿勢検出部で計測された動揺姿勢に基づいて得られる座標変換行列を用いた演算処理により路面の形状データを生成し、前記姿勢検出部で計測された動揺姿勢に基づいて得られる座標変換行列を用いた演算処理により前記撮像部が撮影する視線中心方向を求めることを特徴とする請求項１記載の白線モデル計測システム。
【請求項５】
前記姿勢検出部は少なくとも２つのＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）アンテナの出力信号を用いて姿勢を検出する
ことを特徴とする請求項１記載の白線モデル計測システム。
【請求項６】
路面の画像データを撮影する撮像部と、
レーザスキャナにより路面に対する距離方位データを取得する光走査部と、
前記撮像部と前記光走査部とを固定する基台と、
前記基台の位置を計測する測位部と、
前記基台の動揺姿勢角を計測する姿勢検出部と
を有した計測台車と、
路面の画像データから白線画像を検出する画像処理部と、
前記画像処理部で取得された白線画像と前記姿勢検出部で計測された動揺姿勢と前記測位部で得られた基台位置と前記光走査部で取得された路面に対する距離データとに基づいて白線の輪郭を表す白線モデルを演算する計算機と
を備え、
前記計算機は、
前記撮像部で撮影された白線の輪郭データを抽出し、抽出した輪郭データに基づいて画像上における白線位置を求め、前記姿勢検出部で計測された動揺姿勢と前記光走査部で取得された路面に対する距離方位データとに基づいて路面の形状データを生成し、画面上における白線位置と路面の形状データとに基づいて白線の輪郭を表す白線モデルを演算し、
前記画像処理部は前記計測台車と前記計算機との少なくともいずれかに備えられる
ことを特徴とする白線モデル計測システム。
【請求項１】
路面の画像データを撮影する撮像部と、
レーザスキャナにより路面に対する距離方位データを取得する光走査部と、
前記撮像部と前記光走査部とを固定する基台と、
前記基台の位置を計測する測位部と、
前記基台の動揺姿勢角を計測する姿勢検出部と
を有した計測台車と、
路面の画像データから白線画像を検出する画像処理部と、
前記画像処理部で取得された白線画像と前記姿勢検出部で計測された動揺姿勢と前記測位部で得られた基台位置と前記光走査部で取得された路面に対する距離データとに基づいて白線の輪郭を表す白線モデルを演算する計算機と
を備え、
前記計算機は、
前記姿勢検出部で計測された動揺姿勢に基づいて前記撮像部が撮影する視線中心方向を求め、前記撮像部で撮影された白線の輪郭データを抽出し、抽出した輪郭データに基づいて画像上における白線位置を求め、求めた視線中心方向と画像上における白線位置とに基づいて前記撮像部に対する白線方向を求め、前記姿勢検出部で計測された動揺姿勢と前記光走査部で取得された路面に対する距離方位データとに基づいて路面の形状データを生成し、生成された路面の形状データと白線方向と前記測位部で得られた基台位置とに基づいて路面の形状データにおける白線方向の対応点を求め、求めた対応点から白線の輪郭を表す白線モデルを演算し、
前記画像処理部は前記計測台車と前記計算機との少なくともいずれかに備えられる
ことを特徴とする白線モデル計測システム。
【請求項２】
路面の画像データを撮影する撮像部と、
レーザスキャナにより路面に対する距離方位データを取得する光走査部と、
前記撮像部と前記光走査部とを固定する基台と、
前記基台の位置を計測する測位部と、
前記基台の動揺姿勢角を計測する姿勢検出部と
を備えたことを特徴とする計測台車。
【請求項３】
路面の画像データを撮影する撮像部と、
レーザスキャナにより路面に対する距離方位データを取得する光走査部と、
前記撮像部と前記光走査部とを固定する基台と、
前記基台の位置を計測する測位部と、
前記基台の動揺姿勢角を計測する姿勢検出部と
を有した計測台車で取得されたデータを用いて白線の輪郭を表す白線モデルを演算する白線モデル計測装置であって、
路面の画像データから白線画像を検出する画像処理部と、
前記画像処理部で取得された白線画像と前記姿勢検出部で計測された動揺姿勢と前記測位部で得られた基台位置と前記光走査部で取得された路面に対する距離データとに基づいて白線の輪郭を表す白線モデルを演算する計算機と
を備え、
前記計算機は、
前記姿勢検出部で計測された動揺姿勢角に基づいて前記撮像部が撮影する視線中心方向を求め、前記撮像部で撮影された白線の輪郭データを抽出し、抽出した輪郭データに基づいて画像上における白線位置を求め、求めた視線中心方向と画像上における白線位置とに基づいて前記撮像部に対する白線方向を求め、前記姿勢検出部で計測された動揺姿勢と前記光走査部で取得された路面に対する距離方位データとに基づいて路面の形状データを生成し、生成された路面の形状データと白線方向と前記測位部で得られた基台位置とに基づいて路面の形状データにおける白線方向の対応点を求め、求めた対応点から白線の輪郭を表す白線モデルを演算し、
前記画像処理部は前記計測台車と前記計算機との少なくともいずれかに備えられる
ことを特徴とする白線モデル計測装置。
【請求項４】
前記姿勢検出部で計測された動揺姿勢に基づいて得られる座標変換行列を用いた演算処理により路面の形状データを生成し、前記姿勢検出部で計測された動揺姿勢に基づいて得られる座標変換行列を用いた演算処理により前記撮像部が撮影する視線中心方向を求めることを特徴とする請求項１記載の白線モデル計測システム。
【請求項５】
前記姿勢検出部は少なくとも２つのＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）アンテナの出力信号を用いて姿勢を検出する
ことを特徴とする請求項１記載の白線モデル計測システム。
【請求項６】
路面の画像データを撮影する撮像部と、
レーザスキャナにより路面に対する距離方位データを取得する光走査部と、
前記撮像部と前記光走査部とを固定する基台と、
前記基台の位置を計測する測位部と、
前記基台の動揺姿勢角を計測する姿勢検出部と
を有した計測台車と、
路面の画像データから白線画像を検出する画像処理部と、
前記画像処理部で取得された白線画像と前記姿勢検出部で計測された動揺姿勢と前記測位部で得られた基台位置と前記光走査部で取得された路面に対する距離データとに基づいて白線の輪郭を表す白線モデルを演算する計算機と
を備え、
前記計算機は、
前記撮像部で撮影された白線の輪郭データを抽出し、抽出した輪郭データに基づいて画像上における白線位置を求め、前記姿勢検出部で計測された動揺姿勢と前記光走査部で取得された路面に対する距離方位データとに基づいて路面の形状データを生成し、画面上における白線位置と路面の形状データとに基づいて白線の輪郭を表す白線モデルを演算し、
前記画像処理部は前記計測台車と前記計算機との少なくともいずれかに備えられる
ことを特徴とする白線モデル計測システム。
【図１】
【図２】
【図３】
【図１４】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２】
【図３】
【図１４】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【公開番号】特開２００７−２１８７０５（Ｐ２００７−２１８７０５Ａ）
【公開日】平成１９年８月３０日（２００７．８．３０）
【国際特許分類】
【出願番号】特願２００６−３８６８９（Ｐ２００６−３８６８９）
【出願日】平成１８年２月１５日（２００６．２．１５）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
【公開日】平成１９年８月３０日（２００７．８．３０）
【国際特許分類】
【出願日】平成１８年２月１５日（２００６．２．１５）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
[ Back to top ]