屋外地物検知システム、屋外地物検知システム用プログラム、および屋外地物検知システム用プログラムの記録媒体
【課題】レーザ測量結果である点群と、指定された１枚のカメラ画像とに基づいて、対象となる地物に含まれる点群を特定し、特定した点群から地物の位置と大きさを検知する。
【解決手段】対象となる地物周辺の画像を格納するカメラ画像データ格納部（３１）と、対象となる地物周辺のレーザ測量結果を点群として格納する点群データ格納部（３２）と、対象となる地物周辺の画像をモニタ上に表示させる画面描画部（２１）と、対象となる地物周辺の画像の中から地物の領域内に含まれる少なくとも１点を指定する点指定部（１２）と、少なくとも１点に基づいて画像上の地物の領域を決定し、決定した領域に含まれる点群を点群データ格納部から抽出し、点群間の距離が一定距離以下のもの同士をグルーピングすることで地物に対応する点群を分離し、地物領域の位置と大きさを検知する地物検知処理部（２２〜２５）とを備える。
【解決手段】対象となる地物周辺の画像を格納するカメラ画像データ格納部（３１）と、対象となる地物周辺のレーザ測量結果を点群として格納する点群データ格納部（３２）と、対象となる地物周辺の画像をモニタ上に表示させる画面描画部（２１）と、対象となる地物周辺の画像の中から地物の領域内に含まれる少なくとも１点を指定する点指定部（１２）と、少なくとも１点に基づいて画像上の地物の領域を決定し、決定した領域に含まれる点群を点群データ格納部から抽出し、点群間の距離が一定距離以下のもの同士をグルーピングすることで地物に対応する点群を分離し、地物領域の位置と大きさを検知する地物検知処理部（２２〜２５）とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、レーザ点群とカメラ画像を用いて屋外の地物検知を行う屋外地物検知システム、屋外地物検知システム用プログラム、および屋外地物検知システム用プログラムの記録媒体に関するものである。
【背景技術】
【０００２】
近年、ＧＰＳ衛星やジャイロ・レーザ等を搭載した車両を利用したモービルマッピングシステム技術が発展してきている。このモービルマッピングシステムは、車両が走行した周辺の情報を連続的に取得することができるため、高精度地図作成等の技術への適用が主に期待されている。
【０００３】
ここで、高精度地図作成への応用には、モービルマッピングシステムによって取得した情報から、屋外の建物、広告といった地物を検知し、必要な情報を抜き出す必要がある。
【０００４】
レーザ測量は、車両からの距離を主に求めるものであり、そこから位置（点）を求める。このようにして求めた点のみでは、「レーザが何に当ったか」の判別ができないため、他の情報によって点がどの物体にあたっているかを判別する必要がある。
【０００５】
点群（レーザ測量によって得られた点の集合）と物体との関係を特定するためには、カメラ画像が使われることが多い。具体的には、カメラ画像によって検知される物体（地物）の画像上での位置と、カメラ画像撮影位置と点群との関係から、地物に当っている点群候補を見つけ出すことができる。
【０００６】
一方で、このような点群候補だけでは、地物に当る点群を絞り込むには不十分である。図１５は、画像上の地物（看板）の範囲に含まれる点群の緯度・経度をプロットしたグラフである。図１５に示すようなプロットには、目的の看板の前後の地物（例えば、建物の壁、電柱、電線等）も含まれるため、これらの除去処理が必要である。
【０００７】
特定の地物の点群を選び出す手法として、２つのカメラ画像による点群候補から選び出す手法がある（例えば、特許文献１参照）。この特許文献１では、同一の地物に対して２枚の画像を使い、それぞれから点群候補を抽出し、両者に含まれる点群の中で一致度の高いものを、対象の地物の点群とみなすものである。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００９−７６０９６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、従来技術には、以下のような課題がある。
この特許文献１に記載されたような手法のように、２枚の画像における点群の重なりから、対象の地物の点群を求める場合には、画像を取得した位置関係により重なりの範囲が異なる。図１６および図１７は、２枚の画像を取得した位置関係により、重なりの範囲が異なる場合を示す説明図である。
【００１０】
モービルマッピングシステムの走行方向を、図１６、図１７中の矢印で示した向きとする。ここで、図１６のように、２枚の画像を撮影した間隔が短い場合には、２枚の画像における点群の重なりが大きくなり、単純に重なるだけでは目的の地物以外のものに当った点群を拾う可能性がある。その逆に、図１７のように、２枚の画像を撮影した距離が離れた場合には、２枚の画像における点群の重なりは小さくなるが、地物周辺のものに当った点群も含めて選ぶ可能性が高い。
【００１１】
また、特許文献１では、地物の大きさによるグルーピングも行われている。しかしながら、このようなグルーピングを行うためには、あらかじめ地物の大きさを知る必要があり、大きさのわからない地物については、グルーピングできない問題もある。
【００１２】
本発明は、前記のような課題を解決するためになされたものであり、レーザ測量結果である点群と、指定された１枚のカメラ画像とに基づいて、対象となる地物に含まれる点群を特定し、特定した点群から地物の位置と大きさを検知することのできる屋外地物検知システム、屋外地物検知システム用プログラム、および屋外地物検知システム用プログラムの記録媒体を得ることを目的とする。
【課題を解決するための手段】
【００１３】
本発明に係る屋外地物検知システムは、レーザ測量結果である点群とカメラ画像とを用いて屋外地物の検知を行なう屋外地物検知システムにおいて、対象となる地物周辺の画像を格納するカメラ画像データ格納部と、対象となる地物周辺のレーザ測量結果を点群として格納する点群データ格納部と、カメラ画像データ格納部に格納された対象となる地物周辺の画像をモニタ上に表示させる画面描画部と、モニタ上に表示された対象となる地物周辺の画像の中から地物の領域内に含まれる少なくとも１点を指定する点指定部と、点指定部で指定された少なくとも１点に基づいて、画像上の地物の領域を決定し、決定した領域に含まれる点群を点群データ格納部から抽出し、点群間の距離が一定距離以下のもの同士をグルーピングすることで地物に対応する点群を分離し、分離した点群の位置と範囲から点指定部で指定された少なくとも１点を含む地物の領域の位置と大きさを検知する地物検知処理部とを備えるものである。
【００１４】
また、本発明に係る屋外地物検知システム用プログラムは、コンピュータを、カメラ画像データ格納部に格納された対象となる地物周辺の画像をモニタ上に表示させる画面描画手段と、モニタ上に表示された対象となる地物周辺の画像の中から地物の領域内に含まれる少なくとも１点を指定する点指定手段と、点指定手段で指定された少なくとも１点に基づいて、画像上の地物の領域を決定し、決定した領域に含まれる点群を、対象となる地物周辺のレーザ測量結果を点群として格納する点群データ格納部から抽出し、点群間の距離が一定距離以下のもの同士をグルーピングすることで地物に対応する点群を分離し、分離した点群の位置と範囲から点指定手段で指定された少なくとも１点を含む地物の領域の位置と大きさを検知する地物検知処理手段として機能させるためのものである。
【００１５】
さらに、本発明に係る屋外地物検知システム用プログラムの記録媒体は、屋外地物検知システム用プログラムが記録されたコンピュータで読み取り可能な記録媒体であって、コンピュータに、カメラ画像データ格納部に格納された対象となる地物周辺の画像をモニタ上に表示させる画面描画ステップと、モニタ上に表示された対象となる地物周辺の画像の中から地物の領域内に含まれる少なくとも１点を指定する点指定ステップと、点指定ステップで指定された少なくとも１点に基づいて、画像上の地物の領域を決定し、決定した領域に含まれる点群を、対象となる地物周辺のレーザ測量結果を点群として格納する点群データ格納部から抽出し、点群間の距離が一定距離以下のもの同士をグルーピングすることで地物に対応する点群を分離し、分離した点群の位置と範囲から点指定ステップで指定された少なくとも１点を含む地物の領域の位置と大きさを検知する地物検知処理ステップとを含む処理を実行させるためのコンピュータで読み取り可能な屋外地物検知システム用プログラムの記録媒体である。
【発明の効果】
【００１６】
本発明に係る屋外地物検知システム、屋外地物検知システム用プログラム、および屋外地物検知システム用プログラムの記録媒体によれば、指定入力されたポイントに基づいて決定された画像上の地物領域に含まれる点群を抽出し、点群間の距離が一定距離以下のもの同士をグルーピングすることで地物に対応する点群を特定することにより、レーザ測量結果である点群と、指定された１枚のカメラ画像とに基づいて、対象となる地物に含まれる点群を特定し、特定した点群から地物の位置と大きさを検知することのできる屋外地物検知システム、屋外地物検知システム用プログラム、および屋外地物検知システム用プログラムの記録媒体を得ることができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の実施の形態１における屋外地物検知システムの画面例である。
【図２】本発明の実施の形態１における屋外地物検知システムで点群を取得する一例の説明図である。
【図３】本発明の実施の形態１における屋外地物検知システムの構成図である。
【図４】本発明の実施の形態１における点群抽出部の入力、処理、出力の一連動作を示したフローチャートである。
【図５】本発明の実施の形態１における図４のステップＳ４００の具体的な処理を示したフローチャートである。
【図６】本発明の実施の形態１における点群抽出部による点群の画像上の位置の算出方法に関する説明図である。
【図７】本発明の実施の形態１における図４のステップＳ５００の具体的な処理を示したフローチャートである。
【図８】本発明の実施の形態１における図７のステップＳ５１０の具体的な処理を示したフローチャートである。
【図９】本発明の実施の形態１における図７のステップＳ５２０の具体的な処理を示したフローチャートである。
【図１０】本発明の実施の形態１における図９のステップＳ５２２０の具体的な処理を示したフローチャートである。
【図１１】本発明の実施の形態１における図１０のステップＳ５２２１の具体的な処理を示したフローチャートである。
【図１２】本発明の実施の形態１における点群抽出部で算出した点群の外形の一例を示す説明図である。
【図１３】本発明の実施の形態１における点群抽出部の処理により、電線等の影響を除去するための説明図である。
【図１４】本発明の実施の形態１における点群抽出部で抽出した電柱および電線の点群をプロットした説明図である。
【図１５】画像上の地物（看板）の範囲に含まれる点群の緯度・経度をプロットしたグラフである。
【図１６】２枚の画像を取得した位置関係により、重なりの範囲が異なる場合を示す説明図である。
【図１７】２枚の画像を取得した位置関係により、重なりの範囲が異なる場合を示す説明図である。
【発明を実施するための形態】
【００１８】
以下、本発明の屋外地物検知システム、屋外地物検知システム用プログラム、および屋外地物検知システム用プログラムの記録媒体の好適な実施の形態につき図面を用いて説明する。本発明に係る屋外地物検知システムは、カメラ画像内の所望の地物の位置を特定する指定入力に基づいて、所望の地物に対応するレーザ点群を抽出することで、当該所望の地物の領域を求め、地物の位置および大きさを検知することを技術的特徴とする。
【００１９】
また、本発明の屋外地物検知システム用プログラムは、上述した本発明の屋外地物検知システムに必要とされる機能をコンピュータで実行するためのプログラムである。また、屋外地物検知システム用プログラムの記録媒体は、当該プログラムが記録されたコンピュータで読み取り可能な記録媒体である。
【００２０】
実施の形態１．
まず始めに、本願発明における「点群を選び出す手法」の概略を、図１、図２を用いて説明する。図１は、本発明の実施の形態１における屋外地物検知システムの画面例である。本発明では、「システム利用者が画面上にある地物を指定（ここでは、標識を指定）」することで、所望の地物の位置、大きさを指定する、というものである。
【００２１】
この際、指定手段は、「利用者が地物の領域を指定する」方法でも構わないし、「利用者の指定した位置を利用した画像認識によって領域を判定する」方法でも構わない。
【００２２】
そして、本発明では、「システム利用者が画面上にある地物を指定」することに基づいて、「システム利用者から画面上の所望の地物が認識されている」ことに着目する。すなわち、本発明は、多少他の地物に隠れるようなこともあるが、システム利用者からは、地物があること、および大きさの程度が認識し得る、という前提を考慮している。
【００２３】
そこで、このような前提を、点群を選び出す手法に適用することを考える。点群を何らかの形でグルーピングすることで、「地物別の点群」をまとめ、それらの点群とモービルマッピングシステムの位置関係を考えるとする。このとき、前述の「システム利用者が対象の地物を認識」できる状況であるという前提を鑑みると、「地物はモービルマッピングシステムで検出すべき所望の地物に最も近い」ものであると考えられる。
【００２４】
しかしながら、この際に、地物の手前に障害物がある場合の除去が必要である。このような除去処理にあたっては、システム利用者が地物を認識できていることから、「障害物の大きさが（地物領域に比して）小さく、地物認識の障害にならない」ことを利用する。すなわち、点群を画面上にマッピングした時に、地物領域をどの程度覆うかを判別し、閾値以下ならば地物ではない、と判断することができ、その結果、障害物の除去が可能となる。
【００２５】
また、点群のグルーピングに関しては、同じ地物に当った点群ならば近くに存在するということを利用するなどによって可能である。具体的には、例えば、点群間の距離が一定距離以下のもの同士をすべてまとめる、などである。
【００２６】
また、図２は、本発明の実施の形態１における屋外地物検知システムで点群を取得する一例の説明図である。図２に示すように、「あるタイミングでは手前の地物によって点群が取得できない」場合でも、レーザの送出頻度が高いため、別のタイミングで取得できることから、障害物による影響は少ない。すなわち、図２の例では、カメラでは、地物２が邪魔なために地物１の一部の場所が映らない場合にも、別の場所からのレーザ送出により、カメラでは取得できなかった場所の点群を取得できることとなる。
【００２７】
上述した一連の処理により、特定の地物に当った点群を選び出すことができる。さらに、もしも地物の大きさが事前にわかっているならば、得られた点群を利用して大きさを計算し、条件に合うかどうかの検算を行うこともできる。ただし、点群が必ずしも地物の端点を覆うとは限らないため、計算した大きさには誤差が乗ることには注意しなければならない。
【００２８】
次に、上述した「点群を選び出す手法」を実現するための、本願発明の屋外地物検知システムの具体的な構成および動作について、図３〜図１４を用いて、以下に詳細に説明する。
図３は、本発明の実施の形態１における屋外地物検知システムの構成図である。本実施の形態１における屋外地物検知システムは、指定入力手段１０、処理手段２０、およびデータ記憶手段３０で構成されている。
【００２９】
指定入力手段１０は、オペレータにより指定される入力データを受け付ける部分であり、画像指定部１１、および点指定部１２を有している。また、処理手段２０は、受け付けた入力データ、およびデータ記憶手段３０に保持されたデータに基づいて、データ処理を行う部分であり、画面描画部２１、画像領域決定部２２、点群抽出部２３、実平面算出部２４、および領域算出部２５を有している。ここで、画像領域決定部２２、点群抽出部２３、実平面算出部２４、および領域算出部２５は、地物検知処理部に相当する。
【００３０】
さらに、データ記憶手段３０は、入出力データが蓄積された記憶部であり、カメラ画像データ格納部３１、点群データ格納部３２、車両・カメラパラメータ格納部３３、および領域出力結果格納部３４を有している。
【００３１】
次に、各構成要素の機能について、詳細に説明する。
まず始めに、指定入力手段１０内の機能について説明する。画像指定部１１は、カメラ画像データ格納部３１内の各画像の中から、表示する画像を指定する手段である。具体的には、この画像指定部１１としては、例えば、先の図１に示したように、カメラ画像データ格納部３１内の各画像のサムネイルを画面上の一部に表示させ、その中から所望のものを選んで等倍表示させる、等が行われ得る。
【００３２】
点指定部１２は、画像指定部１１で指定された画像上の１点を指定する手段であり、この点が画像上の地物内に含まれているものとする。具体的には、画面上に選択表示された画像上の１点を、マウス等によるポインティング操作により指定することで行われ得る。
【００３３】
次に、データ記憶手段３０内に格納されているデータについて説明する。
カメラ画像データ格納部３１は、車両から撮影したカメラ画像が収められている記憶部である。この際、各画像とともに撮影時の時刻が格納されている。
【００３４】
点群データ格納部３２は、車両から測量したレーザ測量データが収められている記憶部である。測量データは、各点群の座標値とともにレーザ測量を行った時刻が格納されている。なお、この各点群の座標系は、平面直角座標系（ｘ、ｙ、ｚ座標）を用い、ｘ座標が緯度方向、ｙ座標が経度方向の原点からの距離、そしてｚ座標が標高をそれぞれ表す（例えば、非特許文献１：国土地理院、平面直角座標系（平成十四年国土交通省告示第九号）、ｈｔｔｐ：／／ｗｗｗ．ｇｓｉ．ｇｏ．ｊｐ／ＬＡＷ／ｈｅｉｍｅｎｃｈｏ．ｈｔｍｌ参照）。
【００３５】
車両・カメラパラメータ格納部３３は、カメラ画像データ格納部３１内のカメラ画像データおよび点群データ格納部３２内の点群データを取得した際の車両パラメータおよびカメラパラメータが収められている記憶部である。具体的には、カメラ撮影時の車両の位置・向きや、車両上のカメラの配置・カメラ焦点距離等のデータが格納されている。
【００３６】
領域出力結果格納部３４は、後述する領域算出部２５によって算出された地物の位置・大きさが収められている記憶部である。
【００３７】
次に、処理手段２０内の機能について説明する。画面描画部２１は、画像指定部１１による画像指定に伴う一連の表示、点指定部１２による点指定に伴う一連の表示、および領域算出部２５で算出された領域等の表示を行う。
【００３８】
画像領域決定部２２は、点指定部１２で指定された１点から、地物の画像上での領域を決定する手段である。この決定手段としては、例えば、Ａｄａｂｏｏｓｔ等の学習を利用した手法を利用する（例えば、非特許文献２：Ｙｏａｖ Ｆｒｅｕｎｄ ａｎｄ Ｒｏｂｅｒｔ Ｅ．Ｓｃｈａｐｉｒｅ． “Ａ ｄｅｃｉｓｉｏｎ−ｔｈｅｏｒｅｔｉｃ ｇｅｎｅｒａｌｉｚａｔｉｏｎ ｏｆ ｏｎ−ｌｉｎｅ ｌｅａｒｎｉｎｇ ａｎｄ ａｎ ａｐｐｌｉｃａｔｉｏｎ ｔｏ ｂｏｏｓｔｉｎｇ”．Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ ａｎｄ Ｓｙｓｔｅｍ Ｓｃｉｅｎｃｅｓ、 ５５（１）:１１９−１３９、Ａｕｇｕｓｔ １９９７参照）。
【００３９】
点群抽出部２３は、画像指定部１１で指定された画像、画像領域決定部２２で決定した地物領域、点群データ格納部３２に格納されている点群データ、および車両・カメラパラメータ格納部３３に格納されている車両・カメラパラメータを用いて、後段の実平面算出部２４での処理に必要な点群を抽出する（詳細は、後述する）。
【００４０】
実平面算出部２４は、点群抽出部２３によって抽出された点群から、地物を含む実平面を算出する。本算出によって、地物と実在の位置（点群）が結び付けられる。
【００４１】
そして、領域算出部２５は、実平面算出部２４によって算出された実平面上において、対象地物の範囲を求める。範囲計算の結果により、地物の幅、高さが算出できる。
【００４２】
次に、本実施の形態１における屋外地物検知システムの一連の動作について説明する。
画像指定部１１によって、カメラ画像データ格納部３１内の所望の画像を指定することで、画像およびその画像撮影時刻を一意に定める。画面描画部２１は、この情報および領域算出部２５で算出された範囲を、画面上に重ねて表示する。画像の外に領域の範囲がまたがる場合には、画面描画部２１は、画像内に収まる範囲のみ描画する。
【００４３】
なお、領域算出部２５による領域計算が行われていない場合には、領域は表示されない。また、画像指定部１１によって、領域を表示する／しないの指定を行ってもよい。なお、領域を表示しない指定となっている場合には、領域計算が行われた後でも、画面描画部２１は、画像のみを表示する。
【００４４】
画面描画部２１により画面上に画像が表示された後、オペレータは、点指定部１２を介して、画像上の１点を指定する。
【００４５】
次に、画像領域決定部２２は、点指定部１２で指定された画像上の１点に基づいて、画像上の地物の領域（地物を覆う最小の矩形形状の４頂点）を決定する。なお、画像領域決定部２２は、指定された点を含む範囲に地物が存在しないと判断した場合には、以降の処理は行わず、点指定部１２からの入力を待つ。
【００４６】
次に、点群抽出部２３は、画像領域決定部２２により決定された地物の領域に基づいて、地物の点群を抽出する。図４は、本発明の実施の形態１における点群抽出部２３の入力、処理、出力の一連動作を示したフローチャートである。
【００４７】
まず始めに、点群抽出部２３は、目的の点群以外を含む点群（入力１に相当）、領域の範囲Ｒ（入力２に相当）、およびその面積Ｓ（入力３に相当）を入力する。そして、ステップＳ４００において、点群抽出部２３は、範囲Ｒ内の点群を求める。
【００４８】
図５は、本発明の実施の形態１における図４のステップＳ４００の具体的な処理を示したフローチャートである。まず、ステップＳ４１０において、点群抽出部２３は、カメラ画像の撮影時刻ｔｃから、一定時間範囲内に測定された点群データのみを、点群データ格納部３２から抽出する。この際、主に使うデータは、カメラ撮影時刻近傍の点である。
【００４９】
次に、ステップＳ４２０において、点群抽出部２３は、抽出した各点群をカメラ画像上にマッピングした場合の位置計算を行う。具体的には、点群抽出部２３は、点群の画像上の位置を算出するにあたり、まず、車両・カメラパラメータ格納部３３内のデータに基づいて、点群内の各点のカメラ位置からの相対位置（ｘ１、ｙ１、ｚ１）を、カメラ画像撮影時の車両位置・向きと車両上のカメラ位置・向きから算出する。その後、カメラ焦点距離ｆ、カメラの１画素あたりの距離ｐｍ、およびカメラの光軸中心座標（ｘｃ、ｙｃ）を用いて、点群の画像上の位置を算出する。
【００５０】
図６は、本発明の実施の形態１における点群抽出部２３による点群の画像上の位置の算出方法に関する説明図である。図６に示すように、画像上の位置（ｘ、ｙ）は、下式（１）により算出することができる。
（ｘ、ｙ）＝（ｘｃ＋ｄｘ、ｙｃ−ｄｙ）
＝（ｘｃ＋（ｆ・ｚ１）／（ｐｍ・ｘ１）
、ｙｃ−（ｆ・ｙ１）／（ｐｍ・ｘ１）） （１）
【００５１】
次に、ステップＳ４３０において、点群抽出部２３は、先のステップＳ４２０で算出した点群の画像上の位置の中から、画像領域決定部２２によって決定された領域内に含まれるものを抽出する。これにより、目的の地物に当った可能性のある点群が得られることとなり、ここから、絞込みを行うこととなる。
【００５２】
先の図４に戻り、ステップＳ５００において、点群抽出部２３は、さらに点群限定を行い、その結果を出力する。図７は、本発明の実施の形態１における図４のステップＳ５００の具体的な処理を示したフローチャートである。まず、ステップＳ５１０において、点群抽出部２３は、入力点群をグルーピングし、「点群分離」を行う。
【００５３】
図８は、本発明の実施の形態１における図７のステップＳ５１０の具体的な処理を示したフローチャートである。点群抽出部２３は、入力された点群を、点群の位置と、「画像撮影時のモービルマッピングシステムの位置」との距離によってソートし（ステップＳ５１０１）、最も近い点から、それぞれ近傍にある点群同士を１グループとする（ステップＳ５１０２〜ステップＳ５１０８）。
【００５４】
具体的な処理としては、モービルマッピングシステムに最も近い１点に対して、閾値α（例えば、２８ｃｍ）以下の距離にある点群をすべて選び出し（ステップＳ５１０３）、選び出した各点について、α以下の距離にある点群を選び出していく（ステップＳ５１０６）。処理を続け、点が増えなくなった時点で、得られたグループを１グループとする（ステップＳ５１０５）。
【００５５】
次に、グループに入らなかった点について同じ処理を行い、すべての入力点群に対して処理を行うまで続ける（ステップＳ５１０２〜ステップＳ５１０９）。最後に、このようにして得られたグループを、得られたグループ順にナンバリングする（ステップＳ５１１０）。このような一連処理により、先のステップＳ５１０における「点群分離」が完了する。
【００５６】
次に、先の図７に戻り、ステップＳ５２０において、点群抽出部２３は、「点群分離」処理によりグルーピングされた点群から地物を選び出す「各グループから最適なグループ選択」を行う。すなわち、点群抽出部２３は、グルーピングされた点群について、それらが目的の地物かどうかの判定を行う。
【００５７】
図９は、本発明の実施の形態１における図７のステップＳ５２０の具体的な処理を示したフローチャートである。「各グループから最適なグループ選択」を行うために、点群抽出部２３は、モービルマッピングシステムに最も近い点群グループを１つ選び出し（ステップＳ５２１０）、その点群が、画像領域決定部２２によって決定された領域のどの程度を占めるかを計算し（ステップＳ５２２０）、その値が閾値β（例えば０．９）以上であれば（ステップＳ５２３０）、その点群グループが目的の地物と判定する（ステップＳ５２４０）。
【００５８】
ただし、点群は単なる位置情報であるため、先のステップＳ５２２０における点群の占める範囲Ｓ’の計算として、点群抽出部２３は、「点群の構成する外形の輪郭線」によって得られる面積を用いる。図１０は、本発明の実施の形態１における図９のステップＳ５２２０の具体的な処理を示したフローチャートである。
【００５９】
図１０では、まず、アウトライン点群を取得することで、点群によって得られる外形を求める（ステップＳ５２２１）。図１１は、本発明の実施の形態１における図１０のステップＳ５２２１の具体的な処理を示したフローチャートである。
【００６０】
図１１に示したステップＳ１１０１〜ステップＳ１１１４までの一連処理を行うことで、点群の外周をできる限り取る形で点群を選択した上で、点群の外形を得ることができる。
【００６１】
また、図１２は、本発明の実施の形態１における点群抽出部２３で算出した点群の外形の一例を示す説明図である。この図１２において、黒点（◆）が画像上にマッピングした点群であり、白抜き点（□）が、黒点（◆）から計算した点群の外形である。図１１に示した一連処理を行うことで、点群抽出部２３は、図１２に白抜き点（□）として示したような外形を抽出することができる。
【００６２】
先の図１０に戻り、点群抽出部２３は、次に、ステップＳ５２２２において、入力点群から、先のステップＳ５２２１で得られた外形を構成する点群を除去する。さらに、点群抽出部２３は、ステップＳ５２２３において、先のステップＳ５２２１と同様の処理により、残った点群から外形を計算する。
【００６３】
このステップＳ５２２３による外形計算は、電線等の影響を除去するために有効である。図１３は、本発明の実施の形態１における点群抽出部２３の処理により、電線等の影響を除去するための説明図である。図１３の左側に示した画像においては、所望の地物である看板の手前に、電柱と電線が存在している状況を示している。
【００６４】
図１３の右上に示した点群は、電柱および電線に対応するものであり、図１３の右下に示した点群は、看板に対応するものである。この図１３から分かるように、電線等は、所望の地物である看板の領域を広く覆う一方で、中央部に点群が存在しないものとなっている。
【００６５】
図１４は、本発明の実施の形態１における点群抽出部２３で抽出した電柱および電線の点群をプロットした説明図であり、図１３の右上の図に対応するものである。図１４に示すように、「作成した外形で覆う範囲」に比べて、実際に点群の量が少なく見えるが、これは電線のように細いものが領域の上下部を覆う形で検知されているために起こるものである。一方、この電線のような細いものに対応する点群は、高々一列程度になるため、外形を作った後に、その点群を抜くことで、電線の影響を取り除くことができる。
【００６６】
再び先の図１０に戻り、点群抽出部２３は、ステップＳ５２２４において、先のステップＳ５２２１〜ステップＳ５２２３の処理結果として得られた外形の面積を計算する。このような一連の処理により、点群抽出部２３は、点群で覆われた範囲の面積計算を行うことができる。
【００６７】
そして、点群抽出部２３は、上述したように、先の図９におけるステップＳ５２３０、ステップＳ５２４０の処理を行い、画像領域決定部２２によって決定された領域の面積（Ｓ）と、先のステップＳ５２２０で求めた面積（Ｓ’）との比を求めることで、対象となる点群のグループを決定することができる。
【００６８】
点群抽出部２３によって得られた点が３点未満の場合は、エラーとして以降の処理は行わず、画像指定部１１による画像指定に戻る。一方、点群抽出部２３によって点が３点以上得られた場合には、実平面算出部２４により、得られた点を含む平面を算出する（先の図３参照）。
【００６９】
実際には、得られた点には誤差が乗るため、すべての点が乗るような平面を算出できることは少ない。そのため、実平面算出部２４は、最小二乗法等を用いて、最も近い平面を算出する。この得られた平面が、指定した地物を含む平面となる。
【００７０】
実平面算出部２４によって平面を得た後、領域算出部２５は、対象の範囲を決定する（先の図３参照）。そのためには、実平面算出部２４で得られた平面と、画像領域決定部２２で決定した地物領域を規定する矩形の頂点４点を利用して、「得られた平面で、４点がマッピングされる位置」を計算する。
【００７１】
本計算は上式（１）、および算出する点の位置（ｘ、ｙ、ｚ）が、実平面算出部２４で得られる平面の式を満たすことから、一意に定まる。
【００７２】
先の図３に示すように、領域算出部２５による領域計算後は、画面描画部２１に戻り、画像の上に領域を描画し、画像指定部１１からの画像選択を待つ。また、領域算出部２５は、領域出力結果格納部３４に、地物の幅、高さおよび矩形の頂点４点を格納する。
【００７３】
以上のように、実施の形態１によれば、カメラ画像とレーザ点群とに基づいて、地物の位置・大きさを算出することができる。さらに、特定された地物の領域を、画像上に描画することで、人の目による確認も同時に行うことができる。
【００７４】
さらに、画像指定部によって別の画像が指定された場合には、前述の通り、領域が指定された画像の上に再描画される。領域を計算した画像以外の、地物が映っている画像に、計算した領域を重ねることで、計算した領域の正しさが確認できる。
【００７５】
これにより、「複数の画像で映っている地物に関しては、それぞれで計算を行い、別の画像に重ね合わせる」処理を行い、人が「最もよく重ね合っているもの」を判断することで、正確な地物の位置・大きさを選び出すことができる。このようにすることで、計算だけでは拾いきれない誤差を、画面による目視確認を通じて吸収することができる。
【００７６】
実施の形態２．
先の実施の形態１では、画像上の１点を指定入力することで地物の検知を行う場合について説明した。これに対して、本実施の形態２では、指定入力する点を、１点ではなく２点にして地物検知を行う場合について説明する。
【００７７】
本実施の形態２においては、システム利用者は、求める地物を覆う矩形の対角２点を指定入力する。これにより、画像領域決定部２２は、この対角の２点に基づいて決定する範囲を限定することができ、誤検知を減らすことができる。このとき、領域算出部２５で算出する位置のうち、２点は、利用者によって入力された位置であり、残り２点が、画像領域決定部２２で決定した位置となる。
【００７８】
以上のように、実施の形態２によれば、地物を特定するために指定入力する点を２点とすることで、先の実施の形態１の効果に加え、地物の画像上での領域を決定する際の誤検知を減らすことができ、性能をさらに向上させることができる。
【００７９】
なお、上述した実施の形態１、２によって、地物の位置が検知され、画像内の地物の範囲が求められた際に、先の図１に示すように、画像から地物の範囲を切り出して、別途保存しても構わない。このようにして、位置と画像を別途表示することにより、地物検知状況をオペレータが確認しやすくなる利点が加わる。
【符号の説明】
【００８０】
１０ 指定入力手段、１１ 画像指定部、１２ 点指定部、２０ 処理手段、２１ 画面描画部、２２ 画像領域決定部、２３ 点群抽出部、２４ 実平面算出部、２５ 領域算出部、３０ データ記憶手段、３１ カメラ画像データ格納部、３２ 点群データ格納部、３３ 車両・カメラパラメータ格納部、３４ 領域出力結果格納部。
【技術分野】
【０００１】
本発明は、レーザ点群とカメラ画像を用いて屋外の地物検知を行う屋外地物検知システム、屋外地物検知システム用プログラム、および屋外地物検知システム用プログラムの記録媒体に関するものである。
【背景技術】
【０００２】
近年、ＧＰＳ衛星やジャイロ・レーザ等を搭載した車両を利用したモービルマッピングシステム技術が発展してきている。このモービルマッピングシステムは、車両が走行した周辺の情報を連続的に取得することができるため、高精度地図作成等の技術への適用が主に期待されている。
【０００３】
ここで、高精度地図作成への応用には、モービルマッピングシステムによって取得した情報から、屋外の建物、広告といった地物を検知し、必要な情報を抜き出す必要がある。
【０００４】
レーザ測量は、車両からの距離を主に求めるものであり、そこから位置（点）を求める。このようにして求めた点のみでは、「レーザが何に当ったか」の判別ができないため、他の情報によって点がどの物体にあたっているかを判別する必要がある。
【０００５】
点群（レーザ測量によって得られた点の集合）と物体との関係を特定するためには、カメラ画像が使われることが多い。具体的には、カメラ画像によって検知される物体（地物）の画像上での位置と、カメラ画像撮影位置と点群との関係から、地物に当っている点群候補を見つけ出すことができる。
【０００６】
一方で、このような点群候補だけでは、地物に当る点群を絞り込むには不十分である。図１５は、画像上の地物（看板）の範囲に含まれる点群の緯度・経度をプロットしたグラフである。図１５に示すようなプロットには、目的の看板の前後の地物（例えば、建物の壁、電柱、電線等）も含まれるため、これらの除去処理が必要である。
【０００７】
特定の地物の点群を選び出す手法として、２つのカメラ画像による点群候補から選び出す手法がある（例えば、特許文献１参照）。この特許文献１では、同一の地物に対して２枚の画像を使い、それぞれから点群候補を抽出し、両者に含まれる点群の中で一致度の高いものを、対象の地物の点群とみなすものである。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００９−７６０９６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、従来技術には、以下のような課題がある。
この特許文献１に記載されたような手法のように、２枚の画像における点群の重なりから、対象の地物の点群を求める場合には、画像を取得した位置関係により重なりの範囲が異なる。図１６および図１７は、２枚の画像を取得した位置関係により、重なりの範囲が異なる場合を示す説明図である。
【００１０】
モービルマッピングシステムの走行方向を、図１６、図１７中の矢印で示した向きとする。ここで、図１６のように、２枚の画像を撮影した間隔が短い場合には、２枚の画像における点群の重なりが大きくなり、単純に重なるだけでは目的の地物以外のものに当った点群を拾う可能性がある。その逆に、図１７のように、２枚の画像を撮影した距離が離れた場合には、２枚の画像における点群の重なりは小さくなるが、地物周辺のものに当った点群も含めて選ぶ可能性が高い。
【００１１】
また、特許文献１では、地物の大きさによるグルーピングも行われている。しかしながら、このようなグルーピングを行うためには、あらかじめ地物の大きさを知る必要があり、大きさのわからない地物については、グルーピングできない問題もある。
【００１２】
本発明は、前記のような課題を解決するためになされたものであり、レーザ測量結果である点群と、指定された１枚のカメラ画像とに基づいて、対象となる地物に含まれる点群を特定し、特定した点群から地物の位置と大きさを検知することのできる屋外地物検知システム、屋外地物検知システム用プログラム、および屋外地物検知システム用プログラムの記録媒体を得ることを目的とする。
【課題を解決するための手段】
【００１３】
本発明に係る屋外地物検知システムは、レーザ測量結果である点群とカメラ画像とを用いて屋外地物の検知を行なう屋外地物検知システムにおいて、対象となる地物周辺の画像を格納するカメラ画像データ格納部と、対象となる地物周辺のレーザ測量結果を点群として格納する点群データ格納部と、カメラ画像データ格納部に格納された対象となる地物周辺の画像をモニタ上に表示させる画面描画部と、モニタ上に表示された対象となる地物周辺の画像の中から地物の領域内に含まれる少なくとも１点を指定する点指定部と、点指定部で指定された少なくとも１点に基づいて、画像上の地物の領域を決定し、決定した領域に含まれる点群を点群データ格納部から抽出し、点群間の距離が一定距離以下のもの同士をグルーピングすることで地物に対応する点群を分離し、分離した点群の位置と範囲から点指定部で指定された少なくとも１点を含む地物の領域の位置と大きさを検知する地物検知処理部とを備えるものである。
【００１４】
また、本発明に係る屋外地物検知システム用プログラムは、コンピュータを、カメラ画像データ格納部に格納された対象となる地物周辺の画像をモニタ上に表示させる画面描画手段と、モニタ上に表示された対象となる地物周辺の画像の中から地物の領域内に含まれる少なくとも１点を指定する点指定手段と、点指定手段で指定された少なくとも１点に基づいて、画像上の地物の領域を決定し、決定した領域に含まれる点群を、対象となる地物周辺のレーザ測量結果を点群として格納する点群データ格納部から抽出し、点群間の距離が一定距離以下のもの同士をグルーピングすることで地物に対応する点群を分離し、分離した点群の位置と範囲から点指定手段で指定された少なくとも１点を含む地物の領域の位置と大きさを検知する地物検知処理手段として機能させるためのものである。
【００１５】
さらに、本発明に係る屋外地物検知システム用プログラムの記録媒体は、屋外地物検知システム用プログラムが記録されたコンピュータで読み取り可能な記録媒体であって、コンピュータに、カメラ画像データ格納部に格納された対象となる地物周辺の画像をモニタ上に表示させる画面描画ステップと、モニタ上に表示された対象となる地物周辺の画像の中から地物の領域内に含まれる少なくとも１点を指定する点指定ステップと、点指定ステップで指定された少なくとも１点に基づいて、画像上の地物の領域を決定し、決定した領域に含まれる点群を、対象となる地物周辺のレーザ測量結果を点群として格納する点群データ格納部から抽出し、点群間の距離が一定距離以下のもの同士をグルーピングすることで地物に対応する点群を分離し、分離した点群の位置と範囲から点指定ステップで指定された少なくとも１点を含む地物の領域の位置と大きさを検知する地物検知処理ステップとを含む処理を実行させるためのコンピュータで読み取り可能な屋外地物検知システム用プログラムの記録媒体である。
【発明の効果】
【００１６】
本発明に係る屋外地物検知システム、屋外地物検知システム用プログラム、および屋外地物検知システム用プログラムの記録媒体によれば、指定入力されたポイントに基づいて決定された画像上の地物領域に含まれる点群を抽出し、点群間の距離が一定距離以下のもの同士をグルーピングすることで地物に対応する点群を特定することにより、レーザ測量結果である点群と、指定された１枚のカメラ画像とに基づいて、対象となる地物に含まれる点群を特定し、特定した点群から地物の位置と大きさを検知することのできる屋外地物検知システム、屋外地物検知システム用プログラム、および屋外地物検知システム用プログラムの記録媒体を得ることができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の実施の形態１における屋外地物検知システムの画面例である。
【図２】本発明の実施の形態１における屋外地物検知システムで点群を取得する一例の説明図である。
【図３】本発明の実施の形態１における屋外地物検知システムの構成図である。
【図４】本発明の実施の形態１における点群抽出部の入力、処理、出力の一連動作を示したフローチャートである。
【図５】本発明の実施の形態１における図４のステップＳ４００の具体的な処理を示したフローチャートである。
【図６】本発明の実施の形態１における点群抽出部による点群の画像上の位置の算出方法に関する説明図である。
【図７】本発明の実施の形態１における図４のステップＳ５００の具体的な処理を示したフローチャートである。
【図８】本発明の実施の形態１における図７のステップＳ５１０の具体的な処理を示したフローチャートである。
【図９】本発明の実施の形態１における図７のステップＳ５２０の具体的な処理を示したフローチャートである。
【図１０】本発明の実施の形態１における図９のステップＳ５２２０の具体的な処理を示したフローチャートである。
【図１１】本発明の実施の形態１における図１０のステップＳ５２２１の具体的な処理を示したフローチャートである。
【図１２】本発明の実施の形態１における点群抽出部で算出した点群の外形の一例を示す説明図である。
【図１３】本発明の実施の形態１における点群抽出部の処理により、電線等の影響を除去するための説明図である。
【図１４】本発明の実施の形態１における点群抽出部で抽出した電柱および電線の点群をプロットした説明図である。
【図１５】画像上の地物（看板）の範囲に含まれる点群の緯度・経度をプロットしたグラフである。
【図１６】２枚の画像を取得した位置関係により、重なりの範囲が異なる場合を示す説明図である。
【図１７】２枚の画像を取得した位置関係により、重なりの範囲が異なる場合を示す説明図である。
【発明を実施するための形態】
【００１８】
以下、本発明の屋外地物検知システム、屋外地物検知システム用プログラム、および屋外地物検知システム用プログラムの記録媒体の好適な実施の形態につき図面を用いて説明する。本発明に係る屋外地物検知システムは、カメラ画像内の所望の地物の位置を特定する指定入力に基づいて、所望の地物に対応するレーザ点群を抽出することで、当該所望の地物の領域を求め、地物の位置および大きさを検知することを技術的特徴とする。
【００１９】
また、本発明の屋外地物検知システム用プログラムは、上述した本発明の屋外地物検知システムに必要とされる機能をコンピュータで実行するためのプログラムである。また、屋外地物検知システム用プログラムの記録媒体は、当該プログラムが記録されたコンピュータで読み取り可能な記録媒体である。
【００２０】
実施の形態１．
まず始めに、本願発明における「点群を選び出す手法」の概略を、図１、図２を用いて説明する。図１は、本発明の実施の形態１における屋外地物検知システムの画面例である。本発明では、「システム利用者が画面上にある地物を指定（ここでは、標識を指定）」することで、所望の地物の位置、大きさを指定する、というものである。
【００２１】
この際、指定手段は、「利用者が地物の領域を指定する」方法でも構わないし、「利用者の指定した位置を利用した画像認識によって領域を判定する」方法でも構わない。
【００２２】
そして、本発明では、「システム利用者が画面上にある地物を指定」することに基づいて、「システム利用者から画面上の所望の地物が認識されている」ことに着目する。すなわち、本発明は、多少他の地物に隠れるようなこともあるが、システム利用者からは、地物があること、および大きさの程度が認識し得る、という前提を考慮している。
【００２３】
そこで、このような前提を、点群を選び出す手法に適用することを考える。点群を何らかの形でグルーピングすることで、「地物別の点群」をまとめ、それらの点群とモービルマッピングシステムの位置関係を考えるとする。このとき、前述の「システム利用者が対象の地物を認識」できる状況であるという前提を鑑みると、「地物はモービルマッピングシステムで検出すべき所望の地物に最も近い」ものであると考えられる。
【００２４】
しかしながら、この際に、地物の手前に障害物がある場合の除去が必要である。このような除去処理にあたっては、システム利用者が地物を認識できていることから、「障害物の大きさが（地物領域に比して）小さく、地物認識の障害にならない」ことを利用する。すなわち、点群を画面上にマッピングした時に、地物領域をどの程度覆うかを判別し、閾値以下ならば地物ではない、と判断することができ、その結果、障害物の除去が可能となる。
【００２５】
また、点群のグルーピングに関しては、同じ地物に当った点群ならば近くに存在するということを利用するなどによって可能である。具体的には、例えば、点群間の距離が一定距離以下のもの同士をすべてまとめる、などである。
【００２６】
また、図２は、本発明の実施の形態１における屋外地物検知システムで点群を取得する一例の説明図である。図２に示すように、「あるタイミングでは手前の地物によって点群が取得できない」場合でも、レーザの送出頻度が高いため、別のタイミングで取得できることから、障害物による影響は少ない。すなわち、図２の例では、カメラでは、地物２が邪魔なために地物１の一部の場所が映らない場合にも、別の場所からのレーザ送出により、カメラでは取得できなかった場所の点群を取得できることとなる。
【００２７】
上述した一連の処理により、特定の地物に当った点群を選び出すことができる。さらに、もしも地物の大きさが事前にわかっているならば、得られた点群を利用して大きさを計算し、条件に合うかどうかの検算を行うこともできる。ただし、点群が必ずしも地物の端点を覆うとは限らないため、計算した大きさには誤差が乗ることには注意しなければならない。
【００２８】
次に、上述した「点群を選び出す手法」を実現するための、本願発明の屋外地物検知システムの具体的な構成および動作について、図３〜図１４を用いて、以下に詳細に説明する。
図３は、本発明の実施の形態１における屋外地物検知システムの構成図である。本実施の形態１における屋外地物検知システムは、指定入力手段１０、処理手段２０、およびデータ記憶手段３０で構成されている。
【００２９】
指定入力手段１０は、オペレータにより指定される入力データを受け付ける部分であり、画像指定部１１、および点指定部１２を有している。また、処理手段２０は、受け付けた入力データ、およびデータ記憶手段３０に保持されたデータに基づいて、データ処理を行う部分であり、画面描画部２１、画像領域決定部２２、点群抽出部２３、実平面算出部２４、および領域算出部２５を有している。ここで、画像領域決定部２２、点群抽出部２３、実平面算出部２４、および領域算出部２５は、地物検知処理部に相当する。
【００３０】
さらに、データ記憶手段３０は、入出力データが蓄積された記憶部であり、カメラ画像データ格納部３１、点群データ格納部３２、車両・カメラパラメータ格納部３３、および領域出力結果格納部３４を有している。
【００３１】
次に、各構成要素の機能について、詳細に説明する。
まず始めに、指定入力手段１０内の機能について説明する。画像指定部１１は、カメラ画像データ格納部３１内の各画像の中から、表示する画像を指定する手段である。具体的には、この画像指定部１１としては、例えば、先の図１に示したように、カメラ画像データ格納部３１内の各画像のサムネイルを画面上の一部に表示させ、その中から所望のものを選んで等倍表示させる、等が行われ得る。
【００３２】
点指定部１２は、画像指定部１１で指定された画像上の１点を指定する手段であり、この点が画像上の地物内に含まれているものとする。具体的には、画面上に選択表示された画像上の１点を、マウス等によるポインティング操作により指定することで行われ得る。
【００３３】
次に、データ記憶手段３０内に格納されているデータについて説明する。
カメラ画像データ格納部３１は、車両から撮影したカメラ画像が収められている記憶部である。この際、各画像とともに撮影時の時刻が格納されている。
【００３４】
点群データ格納部３２は、車両から測量したレーザ測量データが収められている記憶部である。測量データは、各点群の座標値とともにレーザ測量を行った時刻が格納されている。なお、この各点群の座標系は、平面直角座標系（ｘ、ｙ、ｚ座標）を用い、ｘ座標が緯度方向、ｙ座標が経度方向の原点からの距離、そしてｚ座標が標高をそれぞれ表す（例えば、非特許文献１：国土地理院、平面直角座標系（平成十四年国土交通省告示第九号）、ｈｔｔｐ：／／ｗｗｗ．ｇｓｉ．ｇｏ．ｊｐ／ＬＡＷ／ｈｅｉｍｅｎｃｈｏ．ｈｔｍｌ参照）。
【００３５】
車両・カメラパラメータ格納部３３は、カメラ画像データ格納部３１内のカメラ画像データおよび点群データ格納部３２内の点群データを取得した際の車両パラメータおよびカメラパラメータが収められている記憶部である。具体的には、カメラ撮影時の車両の位置・向きや、車両上のカメラの配置・カメラ焦点距離等のデータが格納されている。
【００３６】
領域出力結果格納部３４は、後述する領域算出部２５によって算出された地物の位置・大きさが収められている記憶部である。
【００３７】
次に、処理手段２０内の機能について説明する。画面描画部２１は、画像指定部１１による画像指定に伴う一連の表示、点指定部１２による点指定に伴う一連の表示、および領域算出部２５で算出された領域等の表示を行う。
【００３８】
画像領域決定部２２は、点指定部１２で指定された１点から、地物の画像上での領域を決定する手段である。この決定手段としては、例えば、Ａｄａｂｏｏｓｔ等の学習を利用した手法を利用する（例えば、非特許文献２：Ｙｏａｖ Ｆｒｅｕｎｄ ａｎｄ Ｒｏｂｅｒｔ Ｅ．Ｓｃｈａｐｉｒｅ． “Ａ ｄｅｃｉｓｉｏｎ−ｔｈｅｏｒｅｔｉｃ ｇｅｎｅｒａｌｉｚａｔｉｏｎ ｏｆ ｏｎ−ｌｉｎｅ ｌｅａｒｎｉｎｇ ａｎｄ ａｎ ａｐｐｌｉｃａｔｉｏｎ ｔｏ ｂｏｏｓｔｉｎｇ”．Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ ａｎｄ Ｓｙｓｔｅｍ Ｓｃｉｅｎｃｅｓ、 ５５（１）:１１９−１３９、Ａｕｇｕｓｔ １９９７参照）。
【００３９】
点群抽出部２３は、画像指定部１１で指定された画像、画像領域決定部２２で決定した地物領域、点群データ格納部３２に格納されている点群データ、および車両・カメラパラメータ格納部３３に格納されている車両・カメラパラメータを用いて、後段の実平面算出部２４での処理に必要な点群を抽出する（詳細は、後述する）。
【００４０】
実平面算出部２４は、点群抽出部２３によって抽出された点群から、地物を含む実平面を算出する。本算出によって、地物と実在の位置（点群）が結び付けられる。
【００４１】
そして、領域算出部２５は、実平面算出部２４によって算出された実平面上において、対象地物の範囲を求める。範囲計算の結果により、地物の幅、高さが算出できる。
【００４２】
次に、本実施の形態１における屋外地物検知システムの一連の動作について説明する。
画像指定部１１によって、カメラ画像データ格納部３１内の所望の画像を指定することで、画像およびその画像撮影時刻を一意に定める。画面描画部２１は、この情報および領域算出部２５で算出された範囲を、画面上に重ねて表示する。画像の外に領域の範囲がまたがる場合には、画面描画部２１は、画像内に収まる範囲のみ描画する。
【００４３】
なお、領域算出部２５による領域計算が行われていない場合には、領域は表示されない。また、画像指定部１１によって、領域を表示する／しないの指定を行ってもよい。なお、領域を表示しない指定となっている場合には、領域計算が行われた後でも、画面描画部２１は、画像のみを表示する。
【００４４】
画面描画部２１により画面上に画像が表示された後、オペレータは、点指定部１２を介して、画像上の１点を指定する。
【００４５】
次に、画像領域決定部２２は、点指定部１２で指定された画像上の１点に基づいて、画像上の地物の領域（地物を覆う最小の矩形形状の４頂点）を決定する。なお、画像領域決定部２２は、指定された点を含む範囲に地物が存在しないと判断した場合には、以降の処理は行わず、点指定部１２からの入力を待つ。
【００４６】
次に、点群抽出部２３は、画像領域決定部２２により決定された地物の領域に基づいて、地物の点群を抽出する。図４は、本発明の実施の形態１における点群抽出部２３の入力、処理、出力の一連動作を示したフローチャートである。
【００４７】
まず始めに、点群抽出部２３は、目的の点群以外を含む点群（入力１に相当）、領域の範囲Ｒ（入力２に相当）、およびその面積Ｓ（入力３に相当）を入力する。そして、ステップＳ４００において、点群抽出部２３は、範囲Ｒ内の点群を求める。
【００４８】
図５は、本発明の実施の形態１における図４のステップＳ４００の具体的な処理を示したフローチャートである。まず、ステップＳ４１０において、点群抽出部２３は、カメラ画像の撮影時刻ｔｃから、一定時間範囲内に測定された点群データのみを、点群データ格納部３２から抽出する。この際、主に使うデータは、カメラ撮影時刻近傍の点である。
【００４９】
次に、ステップＳ４２０において、点群抽出部２３は、抽出した各点群をカメラ画像上にマッピングした場合の位置計算を行う。具体的には、点群抽出部２３は、点群の画像上の位置を算出するにあたり、まず、車両・カメラパラメータ格納部３３内のデータに基づいて、点群内の各点のカメラ位置からの相対位置（ｘ１、ｙ１、ｚ１）を、カメラ画像撮影時の車両位置・向きと車両上のカメラ位置・向きから算出する。その後、カメラ焦点距離ｆ、カメラの１画素あたりの距離ｐｍ、およびカメラの光軸中心座標（ｘｃ、ｙｃ）を用いて、点群の画像上の位置を算出する。
【００５０】
図６は、本発明の実施の形態１における点群抽出部２３による点群の画像上の位置の算出方法に関する説明図である。図６に示すように、画像上の位置（ｘ、ｙ）は、下式（１）により算出することができる。
（ｘ、ｙ）＝（ｘｃ＋ｄｘ、ｙｃ−ｄｙ）
＝（ｘｃ＋（ｆ・ｚ１）／（ｐｍ・ｘ１）
、ｙｃ−（ｆ・ｙ１）／（ｐｍ・ｘ１）） （１）
【００５１】
次に、ステップＳ４３０において、点群抽出部２３は、先のステップＳ４２０で算出した点群の画像上の位置の中から、画像領域決定部２２によって決定された領域内に含まれるものを抽出する。これにより、目的の地物に当った可能性のある点群が得られることとなり、ここから、絞込みを行うこととなる。
【００５２】
先の図４に戻り、ステップＳ５００において、点群抽出部２３は、さらに点群限定を行い、その結果を出力する。図７は、本発明の実施の形態１における図４のステップＳ５００の具体的な処理を示したフローチャートである。まず、ステップＳ５１０において、点群抽出部２３は、入力点群をグルーピングし、「点群分離」を行う。
【００５３】
図８は、本発明の実施の形態１における図７のステップＳ５１０の具体的な処理を示したフローチャートである。点群抽出部２３は、入力された点群を、点群の位置と、「画像撮影時のモービルマッピングシステムの位置」との距離によってソートし（ステップＳ５１０１）、最も近い点から、それぞれ近傍にある点群同士を１グループとする（ステップＳ５１０２〜ステップＳ５１０８）。
【００５４】
具体的な処理としては、モービルマッピングシステムに最も近い１点に対して、閾値α（例えば、２８ｃｍ）以下の距離にある点群をすべて選び出し（ステップＳ５１０３）、選び出した各点について、α以下の距離にある点群を選び出していく（ステップＳ５１０６）。処理を続け、点が増えなくなった時点で、得られたグループを１グループとする（ステップＳ５１０５）。
【００５５】
次に、グループに入らなかった点について同じ処理を行い、すべての入力点群に対して処理を行うまで続ける（ステップＳ５１０２〜ステップＳ５１０９）。最後に、このようにして得られたグループを、得られたグループ順にナンバリングする（ステップＳ５１１０）。このような一連処理により、先のステップＳ５１０における「点群分離」が完了する。
【００５６】
次に、先の図７に戻り、ステップＳ５２０において、点群抽出部２３は、「点群分離」処理によりグルーピングされた点群から地物を選び出す「各グループから最適なグループ選択」を行う。すなわち、点群抽出部２３は、グルーピングされた点群について、それらが目的の地物かどうかの判定を行う。
【００５７】
図９は、本発明の実施の形態１における図７のステップＳ５２０の具体的な処理を示したフローチャートである。「各グループから最適なグループ選択」を行うために、点群抽出部２３は、モービルマッピングシステムに最も近い点群グループを１つ選び出し（ステップＳ５２１０）、その点群が、画像領域決定部２２によって決定された領域のどの程度を占めるかを計算し（ステップＳ５２２０）、その値が閾値β（例えば０．９）以上であれば（ステップＳ５２３０）、その点群グループが目的の地物と判定する（ステップＳ５２４０）。
【００５８】
ただし、点群は単なる位置情報であるため、先のステップＳ５２２０における点群の占める範囲Ｓ’の計算として、点群抽出部２３は、「点群の構成する外形の輪郭線」によって得られる面積を用いる。図１０は、本発明の実施の形態１における図９のステップＳ５２２０の具体的な処理を示したフローチャートである。
【００５９】
図１０では、まず、アウトライン点群を取得することで、点群によって得られる外形を求める（ステップＳ５２２１）。図１１は、本発明の実施の形態１における図１０のステップＳ５２２１の具体的な処理を示したフローチャートである。
【００６０】
図１１に示したステップＳ１１０１〜ステップＳ１１１４までの一連処理を行うことで、点群の外周をできる限り取る形で点群を選択した上で、点群の外形を得ることができる。
【００６１】
また、図１２は、本発明の実施の形態１における点群抽出部２３で算出した点群の外形の一例を示す説明図である。この図１２において、黒点（◆）が画像上にマッピングした点群であり、白抜き点（□）が、黒点（◆）から計算した点群の外形である。図１１に示した一連処理を行うことで、点群抽出部２３は、図１２に白抜き点（□）として示したような外形を抽出することができる。
【００６２】
先の図１０に戻り、点群抽出部２３は、次に、ステップＳ５２２２において、入力点群から、先のステップＳ５２２１で得られた外形を構成する点群を除去する。さらに、点群抽出部２３は、ステップＳ５２２３において、先のステップＳ５２２１と同様の処理により、残った点群から外形を計算する。
【００６３】
このステップＳ５２２３による外形計算は、電線等の影響を除去するために有効である。図１３は、本発明の実施の形態１における点群抽出部２３の処理により、電線等の影響を除去するための説明図である。図１３の左側に示した画像においては、所望の地物である看板の手前に、電柱と電線が存在している状況を示している。
【００６４】
図１３の右上に示した点群は、電柱および電線に対応するものであり、図１３の右下に示した点群は、看板に対応するものである。この図１３から分かるように、電線等は、所望の地物である看板の領域を広く覆う一方で、中央部に点群が存在しないものとなっている。
【００６５】
図１４は、本発明の実施の形態１における点群抽出部２３で抽出した電柱および電線の点群をプロットした説明図であり、図１３の右上の図に対応するものである。図１４に示すように、「作成した外形で覆う範囲」に比べて、実際に点群の量が少なく見えるが、これは電線のように細いものが領域の上下部を覆う形で検知されているために起こるものである。一方、この電線のような細いものに対応する点群は、高々一列程度になるため、外形を作った後に、その点群を抜くことで、電線の影響を取り除くことができる。
【００６６】
再び先の図１０に戻り、点群抽出部２３は、ステップＳ５２２４において、先のステップＳ５２２１〜ステップＳ５２２３の処理結果として得られた外形の面積を計算する。このような一連の処理により、点群抽出部２３は、点群で覆われた範囲の面積計算を行うことができる。
【００６７】
そして、点群抽出部２３は、上述したように、先の図９におけるステップＳ５２３０、ステップＳ５２４０の処理を行い、画像領域決定部２２によって決定された領域の面積（Ｓ）と、先のステップＳ５２２０で求めた面積（Ｓ’）との比を求めることで、対象となる点群のグループを決定することができる。
【００６８】
点群抽出部２３によって得られた点が３点未満の場合は、エラーとして以降の処理は行わず、画像指定部１１による画像指定に戻る。一方、点群抽出部２３によって点が３点以上得られた場合には、実平面算出部２４により、得られた点を含む平面を算出する（先の図３参照）。
【００６９】
実際には、得られた点には誤差が乗るため、すべての点が乗るような平面を算出できることは少ない。そのため、実平面算出部２４は、最小二乗法等を用いて、最も近い平面を算出する。この得られた平面が、指定した地物を含む平面となる。
【００７０】
実平面算出部２４によって平面を得た後、領域算出部２５は、対象の範囲を決定する（先の図３参照）。そのためには、実平面算出部２４で得られた平面と、画像領域決定部２２で決定した地物領域を規定する矩形の頂点４点を利用して、「得られた平面で、４点がマッピングされる位置」を計算する。
【００７１】
本計算は上式（１）、および算出する点の位置（ｘ、ｙ、ｚ）が、実平面算出部２４で得られる平面の式を満たすことから、一意に定まる。
【００７２】
先の図３に示すように、領域算出部２５による領域計算後は、画面描画部２１に戻り、画像の上に領域を描画し、画像指定部１１からの画像選択を待つ。また、領域算出部２５は、領域出力結果格納部３４に、地物の幅、高さおよび矩形の頂点４点を格納する。
【００７３】
以上のように、実施の形態１によれば、カメラ画像とレーザ点群とに基づいて、地物の位置・大きさを算出することができる。さらに、特定された地物の領域を、画像上に描画することで、人の目による確認も同時に行うことができる。
【００７４】
さらに、画像指定部によって別の画像が指定された場合には、前述の通り、領域が指定された画像の上に再描画される。領域を計算した画像以外の、地物が映っている画像に、計算した領域を重ねることで、計算した領域の正しさが確認できる。
【００７５】
これにより、「複数の画像で映っている地物に関しては、それぞれで計算を行い、別の画像に重ね合わせる」処理を行い、人が「最もよく重ね合っているもの」を判断することで、正確な地物の位置・大きさを選び出すことができる。このようにすることで、計算だけでは拾いきれない誤差を、画面による目視確認を通じて吸収することができる。
【００７６】
実施の形態２．
先の実施の形態１では、画像上の１点を指定入力することで地物の検知を行う場合について説明した。これに対して、本実施の形態２では、指定入力する点を、１点ではなく２点にして地物検知を行う場合について説明する。
【００７７】
本実施の形態２においては、システム利用者は、求める地物を覆う矩形の対角２点を指定入力する。これにより、画像領域決定部２２は、この対角の２点に基づいて決定する範囲を限定することができ、誤検知を減らすことができる。このとき、領域算出部２５で算出する位置のうち、２点は、利用者によって入力された位置であり、残り２点が、画像領域決定部２２で決定した位置となる。
【００７８】
以上のように、実施の形態２によれば、地物を特定するために指定入力する点を２点とすることで、先の実施の形態１の効果に加え、地物の画像上での領域を決定する際の誤検知を減らすことができ、性能をさらに向上させることができる。
【００７９】
なお、上述した実施の形態１、２によって、地物の位置が検知され、画像内の地物の範囲が求められた際に、先の図１に示すように、画像から地物の範囲を切り出して、別途保存しても構わない。このようにして、位置と画像を別途表示することにより、地物検知状況をオペレータが確認しやすくなる利点が加わる。
【符号の説明】
【００８０】
１０ 指定入力手段、１１ 画像指定部、１２ 点指定部、２０ 処理手段、２１ 画面描画部、２２ 画像領域決定部、２３ 点群抽出部、２４ 実平面算出部、２５ 領域算出部、３０ データ記憶手段、３１ カメラ画像データ格納部、３２ 点群データ格納部、３３ 車両・カメラパラメータ格納部、３４ 領域出力結果格納部。
【特許請求の範囲】
【請求項１】
レーザ測量結果である点群とカメラ画像とを用いて屋外地物の検知を行なう屋外地物検知システムにおいて、
対象となる地物周辺の画像を格納するカメラ画像データ格納部と、
対象となる地物周辺のレーザ測量結果を点群として格納する点群データ格納部と、
前記カメラ画像データ格納部に格納された前記対象となる地物周辺の画像をモニタ上に表示させる画面描画部と、
前記モニタ上に表示された前記対象となる地物周辺の画像の中から前記地物の領域内に含まれる少なくとも１点を指定する点指定部と、
前記点指定部で指定された前記少なくとも１点に基づいて、画像上の地物の領域を決定し、決定した前記領域に含まれる点群を点群データ格納部から抽出し、点群間の距離が一定距離以下のもの同士をグルーピングすることで前記地物に対応する点群を分離し、分離した前記点群の位置と範囲から前記点指定部で指定された前記少なくとも１点を含む地物の領域の位置と大きさを検知する地物検知処理部と
を備えることを特徴とする屋外地物検知システム。
【請求項２】
請求項１に記載の屋外地物検知システムにおいて、
前記地物検知処理部は、グルーピングした各点群に対して外形を算出し、算出した前記外形から面積を算出し、前記少なくとも１点に基づいて決定した前記画像上の地物の領域に占める前記面積の割合が所定閾値以上である点群を、対象の地物に含まれる点群として特定する
ことを特徴とする屋外地物検知システム。
【請求項３】
請求項１または２に記載の屋外地物検知システムにおいて、
前記地物検知処理部による検知結果を格納する領域出力結果格納部をさらに備え、
前記地物検知処理部は、前記対象となる地物周辺の画像の中から、検知した地物の位置と大きさに対応する画像を切り出し、前記領域出力結果格納部に記憶させる
ことを特徴とする屋外地物検知システム。
【請求項４】
請求項３に記載の屋外地物検知システムにおいて、
前記画面描画部は、前記領域出力結果格納部に格納された前記地物検知処理部による検知結果を、前記カメラ画像データ格納部に格納された別の画像に重ね合わせて前記モニタ上に表示させる
ことを特徴とする屋外地物検知システム。
【請求項５】
屋外地物検知システム用プログラムであって、
コンピュータを、
カメラ画像データ格納部に格納された対象となる地物周辺の画像をモニタ上に表示させる画面描画手段と、
前記モニタ上に表示された前記対象となる地物周辺の画像の中から地物の領域内に含まれる少なくとも１点を指定する点指定手段と、
前記点指定手段で指定された前記少なくとも１点に基づいて、画像上の地物の領域を決定し、決定した前記領域に含まれる点群を、対象となる地物周辺のレーザ測量結果を点群として格納する点群データ格納部から抽出し、点群間の距離が一定距離以下のもの同士をグルーピングすることで前記地物に対応する点群を分離し、分離した前記点群の位置と範囲から前記点指定手段で指定された前記少なくとも１点を含む地物の領域の位置と大きさを検知する地物検知処理手段と
して機能させるための屋外地物検知システム用プログラム。
【請求項６】
屋外地物検知システム用プログラムが記録されたコンピュータで読み取り可能な記録媒体であって、
コンピュータに、
カメラ画像データ格納部に格納された対象となる地物周辺の画像をモニタ上に表示させる画面描画ステップと、
前記モニタ上に表示された前記対象となる地物周辺の画像の中から地物の領域内に含まれる少なくとも１点を指定する点指定ステップと、
前記点指定手段で指定された前記少なくとも１点に基づいて、画像上の地物の領域を決定し、決定した前記領域に含まれる点群を、対象となる地物周辺のレーザ測量結果を点群として格納する点群データ格納部から抽出し、点群間の距離が一定距離以下のもの同士をグルーピングすることで前記地物に対応する点群を分離し、分離した前記点群の位置と範囲から前記点指定手段で指定された前記少なくとも１点を含む地物の領域の位置と大きさを検知する地物検知処理ステップと
を含む処理を実行させるためのコンピュータで読み取り可能な屋外地物検知システム用プログラムの記録媒体。
【請求項１】
レーザ測量結果である点群とカメラ画像とを用いて屋外地物の検知を行なう屋外地物検知システムにおいて、
対象となる地物周辺の画像を格納するカメラ画像データ格納部と、
対象となる地物周辺のレーザ測量結果を点群として格納する点群データ格納部と、
前記カメラ画像データ格納部に格納された前記対象となる地物周辺の画像をモニタ上に表示させる画面描画部と、
前記モニタ上に表示された前記対象となる地物周辺の画像の中から前記地物の領域内に含まれる少なくとも１点を指定する点指定部と、
前記点指定部で指定された前記少なくとも１点に基づいて、画像上の地物の領域を決定し、決定した前記領域に含まれる点群を点群データ格納部から抽出し、点群間の距離が一定距離以下のもの同士をグルーピングすることで前記地物に対応する点群を分離し、分離した前記点群の位置と範囲から前記点指定部で指定された前記少なくとも１点を含む地物の領域の位置と大きさを検知する地物検知処理部と
を備えることを特徴とする屋外地物検知システム。
【請求項２】
請求項１に記載の屋外地物検知システムにおいて、
前記地物検知処理部は、グルーピングした各点群に対して外形を算出し、算出した前記外形から面積を算出し、前記少なくとも１点に基づいて決定した前記画像上の地物の領域に占める前記面積の割合が所定閾値以上である点群を、対象の地物に含まれる点群として特定する
ことを特徴とする屋外地物検知システム。
【請求項３】
請求項１または２に記載の屋外地物検知システムにおいて、
前記地物検知処理部による検知結果を格納する領域出力結果格納部をさらに備え、
前記地物検知処理部は、前記対象となる地物周辺の画像の中から、検知した地物の位置と大きさに対応する画像を切り出し、前記領域出力結果格納部に記憶させる
ことを特徴とする屋外地物検知システム。
【請求項４】
請求項３に記載の屋外地物検知システムにおいて、
前記画面描画部は、前記領域出力結果格納部に格納された前記地物検知処理部による検知結果を、前記カメラ画像データ格納部に格納された別の画像に重ね合わせて前記モニタ上に表示させる
ことを特徴とする屋外地物検知システム。
【請求項５】
屋外地物検知システム用プログラムであって、
コンピュータを、
カメラ画像データ格納部に格納された対象となる地物周辺の画像をモニタ上に表示させる画面描画手段と、
前記モニタ上に表示された前記対象となる地物周辺の画像の中から地物の領域内に含まれる少なくとも１点を指定する点指定手段と、
前記点指定手段で指定された前記少なくとも１点に基づいて、画像上の地物の領域を決定し、決定した前記領域に含まれる点群を、対象となる地物周辺のレーザ測量結果を点群として格納する点群データ格納部から抽出し、点群間の距離が一定距離以下のもの同士をグルーピングすることで前記地物に対応する点群を分離し、分離した前記点群の位置と範囲から前記点指定手段で指定された前記少なくとも１点を含む地物の領域の位置と大きさを検知する地物検知処理手段と
して機能させるための屋外地物検知システム用プログラム。
【請求項６】
屋外地物検知システム用プログラムが記録されたコンピュータで読み取り可能な記録媒体であって、
コンピュータに、
カメラ画像データ格納部に格納された対象となる地物周辺の画像をモニタ上に表示させる画面描画ステップと、
前記モニタ上に表示された前記対象となる地物周辺の画像の中から地物の領域内に含まれる少なくとも１点を指定する点指定ステップと、
前記点指定手段で指定された前記少なくとも１点に基づいて、画像上の地物の領域を決定し、決定した前記領域に含まれる点群を、対象となる地物周辺のレーザ測量結果を点群として格納する点群データ格納部から抽出し、点群間の距離が一定距離以下のもの同士をグルーピングすることで前記地物に対応する点群を分離し、分離した前記点群の位置と範囲から前記点指定手段で指定された前記少なくとも１点を含む地物の領域の位置と大きさを検知する地物検知処理ステップと
を含む処理を実行させるためのコンピュータで読み取り可能な屋外地物検知システム用プログラムの記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２０１２−８３１５７（Ｐ２０１２−８３１５７Ａ）
【公開日】平成２４年４月２６日（２０１２．４．２６）
【国際特許分類】
【出願番号】特願２０１０−２２８４１８（Ｐ２０１０−２２８４１８）
【出願日】平成２２年１０月８日（２０１０．１０．８）
【国等の委託研究の成果に係る記載事項】（出願人による申告）平成２２年度、総務省、「ユビキタス・プラットフォーム技術の研究開発（ユビキタス空間情報基盤技術）」委託研究、産業技術力強化法第１９条の適用を受ける特許出願
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
【公開日】平成２４年４月２６日（２０１２．４．２６）
【国際特許分類】
【出願日】平成２２年１０月８日（２０１０．１０．８）
【国等の委託研究の成果に係る記載事項】（出願人による申告）平成２２年度、総務省、「ユビキタス・プラットフォーム技術の研究開発（ユビキタス空間情報基盤技術）」委託研究、産業技術力強化法第１９条の適用を受ける特許出願
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
[ Back to top ]