画像上地物計測方法および表示法並びに計測装置
【課題】画像上での地物の高い精度での計測を簡単に行うことを可能とする画像上地物計測方法を提供する。
【解決手段】カメラ６で撮影して得られる道路沿い画像４上で当該画像に取り込まれている地物を計測することについて、画像に取り込まれている地物の輪郭、例えば道路２の側線を用いて消失点を求めるとともに、消失点に基づいて計測対象の地物の所望計測部位における１画素あたりの体現長さを求め、それによる１画素あたりの体現長さに基づいて地物の高さ、幅、奥行きなどの計測をなすようにしている。
【解決手段】カメラ６で撮影して得られる道路沿い画像４上で当該画像に取り込まれている地物を計測することについて、画像に取り込まれている地物の輪郭、例えば道路２の側線を用いて消失点を求めるとともに、消失点に基づいて計測対象の地物の所望計測部位における１画素あたりの体現長さを求め、それによる１画素あたりの体現長さに基づいて地物の高さ、幅、奥行きなどの計測をなすようにしている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタル方式のカメラによる撮影で得られる画像を利用する技術に係り、特に画像に取り込まれている建造物や道路などの地物の幅、高さ、奥行きについて画像上で計測して地物データを得る技術に関する。
【背景技術】
【０００２】
近年におけるデータ処理技術の発展は、カメラによる画像の様々な分野への利用を活発化させている。例えば特許文献１〜特許文献７に開示されるのがそのような例である。
【０００３】
特許文献１の「地図作成支援システム」は、地図の作成支援に画像を利用する場合で、車両道路を遊歩道などから区別して道路データや三次元地図を作成することを課題としている。そのために、カメラとＧＰＳシステムなどの位置情報取得手段を搭載した計測車両で道路を走行しながら画像を一定の移動距離ごとに取得し、それらの画像を位置情報取得手段による位置情報と関連付けて得られるデータを地図データの作成に利用するようにしている。
【０００４】
特許文献２の「三次元地図データベースの作成方法」は、地物の高さ情報を有する三次元地図データベースの作成に画像を利用する。そのために特許文献２の「三次元地図データベースの作成方法」では、特許文献１の計測車両と同様な移動計測車を用いる。すなわち二次元地図上の特定の地域内に存在する各地物の高さ情報取得対象の隅角部の集合を目標端点群として予め決めておき、そして移動計測車で２箇所以上の測定点から各目標端点を撮像するとともに、撮像画像中に表れる目標端点を撮像時の各測定点の三次元位置座標などに基づいて算出し、得られた三次元位置座標をその目標端点の二次元地図データベース上における二次元位置座標と対応付ける関係で二次元地図データベースに追加することで三次元地図データベースを作成するようにしている。
【０００５】
特許文献３の「写真測量による３次元計測方法」は、画像を測量に利用する場合で、写真測量における計測点の対応付けをより高精度に行うことができるようにする。そのために特許文献３の「写真測量による３次元計測方法」では、広角画像と望遠画像を用い、望遠画像の被写体像を同じ撮影位置から撮影された広角画像中の被写体像に一致するように両画像を合成して表示した合成写真画像を撮影位置ごとに作成するとともに、合成写真画像の望遠画像の撮影領域内に共通して写っている基準点を指定し、さらに基準点の複数の合成写真画像中の座標値に基づいて撮影位置関係を演算し、当該撮影位置関係に基づいて写真画像中の任意の計測点の座標値からその計測点の被写体空間中の３次元位置情報を計測するようにしている。
【０００６】
特許文献４の「消失点決定方法」は、画像上で建造物の高さを推定して３次元の地図モデルを作成したり、画像によりロボットの通行可能な通路を特定したりするのに必要な画像上の消失点の決定方法を提案している。その消失点決定方法では、歩道を撮影した画像データから線分を抽出し、さらにその線分の中から消失点に有用なものを選択し、消失点と線分の両端で作られる三角形の面積に基づいて定まる評価値を用いて消失点の位置を特定する。
【０００７】
特許文献５の「カメラ画像−実空間座標対応付けマップ生成方法」は、画像を監視に利用する場合で、監視画像中の人などの位置をリアルタイムで求めるのに用いるカメラ画像−実空間座標対応付けマップの生成方法を提案している。そのカメラ画像−実空間座標対応付けマップ生成方法では、対応付けを行う実空間の床面に正方形パターンを配置し、正方形パターンの存在する位置の実空間座標を決定する。そして正方形パターンを含む実空間を撮影して得られる画像中の正方形パターンの各頂点の画像座標を検出するとともに、その頂点画像座標を通る２直線の消失点の位置を計算し、それで計算された消失点の数に基づいて撮影画像の全画素について実空間座標が記述された対応マップ画像を生成する。
【特許文献１】特開２００７−２０６０９９号公報
【特許文献２】特開２０００−７４６６９号公報
【特許文献３】特開２００６−１１３００１号公報
【特許文献４】特開２００７−５７３８６号公報
【特許文献５】特開２００５−２７５５００号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
カメラによる画像は、上述の例の他にもまだ多くの利用形態が可能である。例えば、道路とそれに沿った地物を撮影した画像を道路沿いの不動産の課税評価用の資料として利用するのもそのひとつである。すなわち不動産の課税評価では、評価対象不動産の周囲の地物状況が大きく影響することから、そうした地物状況について説得力の高い資料を得られるようにすることが大切になるが、そのような資料として撮影画像、特にカメラの光軸方向に道路が延びている状態で撮影することで得られる道路沿い画像を利用するということである。
【０００９】
ただ、道路沿い画像を不動産の課税評価用の資料として用いるについては、道路に沿って一定間隔で撮影した一連の道路沿い画像を整えることが求められ、また道路沿い画像に含まれている建造物や道路などの地物の幅、高さ、奥行き等を含む地物データを道路沿い画像に重ねて表示できるようにすることも重要な要素として求められる。
【００１０】
こうした要求のうち、一連の道路沿い画像についての要求には、上記の特許文献１や特許文献２に記載されるようなカメラと位置情報取得手段を搭載した計測車両を走行させながら一定間隔で道路沿い画像を取得することで応えることができる。しかし、地物データについての要求には、上述の従来の技術では十分に応えることができない。
【００１１】
地物データを画像に表示するには、画像上で地物を計測する必要がある。画像上での地物の計測は、例えば上記の特許文献２や特許文献３に開示の例のように、視差を有した複数の画像を用いる手法で行うことが可能である。しかし、複数の画像を用いる手法では、ひとつの被写体空間についての地物を計測するのに複数の画像を処理する必要があることから、データ処理の負担が大きくなり、また同じ被写体空間について２箇所以上から撮像する必要があることから、撮影についての負担も大きくなり、コストパフォーマンスの問題を招く。また特許文献４は、画像上での地物の計測に画像上の消失点が有効であることについては触れているものの、その具体的手段の開示がなく、地物データについての要求に応えることができない。
【００１２】
以上のようなことは、例えば道路沿い画像を利用して道路沿いや道路横断の電線を含むケーブル（配電ケーブルや通信ケーブルであり、これも地物の一種である）の地上高を計測してケーブル地上高データを収集するといった画像の利用形態の場合についてもいえる。すなわち車両を走行させながら得る道路沿い画像を利用してケーブル地上高データを収集する方法は、現場においてケーブル地上高を実測する方法に比べ大幅に作業負担を軽減させることが期待でき、有力な方法といえるが、それを実用的なものとするには、画像上でのケーブル地上高の高い精度での計測を簡単に行えるようにすることが望まれる。
【００１３】
本発明は、以上のような事情を背景になされたものであり、その課題は、画像上での地物の高い精度での計測を簡単に行うことを可能とする画像上地物計測方法及び表示法並びに計測装置の提供にある。
【課題を解決するための手段】
【００１４】
本発明では、上記課題を解決するために、地物を含む画像上で計測対象とする地物における計測部位の画素数からその計測部位の長さを求めることで計測をなし、これにより単画像計測（ひとつの被写体空間についての地物計測を１枚の画像で行う計測）を可能とし、これにより画像上での地物計測を簡単に行えるようにすることを基本としている。ただこの場合、１つの画素が体現している長さは、計測部位の被写体空間におけるカメラに対する奥行き位置、つまり計測部位の被写体空間でのカメラからの距離で異なる。このため１画素あたりの体現長さを計測部位ごとに求める必要があることになる。これについて、本発明では、画像上の消失点と計測部位の位置関係が１画素あたりの体現長さに相関するということを利用して計測部位における１画素あたりの体現長さを求めるようにしている。この場合、画像上の消失点は、画像に取り込まれている地物の輪郭、より具体的には被写体空間にあって画像面に対し直交している地物の輪郭を用いて求めることで十分な精度が得られ、例えば表示装置に表示した画像上で描画機能により地物の輪郭をなぞるなどの簡単な操作を行うことで求めることができる。また消失点と計測部位の位置関係から１画素あたりの体現長さを求める処理も比較的簡単なもので済む。このため画像上での地物の高い精度での地物データの計測を簡単に行うことが可能となる。
【００１５】
以上のような考え方に基づく本発明では、カメラによる画像上で当該画像に取り込まれている地物について計測する画像上地物計測方法において、前記画像に取り込まれている地物の輪郭を用いて消失点を求めるとともに、前記消失点に基づいて計測対象の地物の所望計測部位における１画素あたりの体現長さを求め、それによる１画素あたりの体現長さに基づいて地物データの計測をなすようにしたことを特徴としている。
【００１６】
また本発明では、上記のような画像上地物計測方法について、画像が道路沿い画像、つまりカメラの光軸方向に延びている状態で道路を取り込んで撮影される画像である場合、消失点は、道路の側線を用いて求めるようにする。このようにすることで、道路沿い画像での高い精度の地物計測を可能とする消失点をより簡単に求めることができる。
【００１７】
こうしたことから本発明では、上記のような画像上地物計測方法において、前記画像は、前記カメラの光軸方向に延びている状態で道路を取り込んで撮影される道路沿い画像であり、前記消失点は、前記道路の側線を用いて求めるようにされていることを特徴としている。
【００１８】
上記のような画像上地物計測方法については、１画素あたりの体現長さの絶対値を求める必要がある。１画素あたりの体現長さの絶対値は、画像の光学的な解析などで求めることも可能である。しかし画像解析法は、精度に問題を残す。また画像に取り込まれている地物について予め判っている長さを利用して１画素あたりの体現長さの絶対値を求めることも可能である。しかし長さが既知の地物を画像に取り込むことは必ずしも容易でない。そこで、長さが既知の線状体を画像に取り込ませ、その線状体の像を利用して１画素あたりの体現長さの絶対値を求めるようにするのが適切となる。
【００１９】
こうしたことから本発明では、上記のような画像上地物計測方法において、長さが既知の線状体を前記道路沿い画像に取り込ませることで、前記線状体の像として、前記道路沿い画像上での絶対長さが既知となる教師線を前記道路沿い画像中に生成させるようにし、そして計測対象の地物の所望計測部位に対して前記道路沿い画像上で計測線を指定し、前記消失点に対する前記計測線と前記教師線の相対的位置関係の下で前記計測線を前記教師線とそれぞれの画素数について比較することにより地物データの計測をなすようにしたことを特徴としている。
【００２０】
このように教師線を用いるについては、地物の幅、高さ、奥行きそれぞれを必要に応じて計測できるようにするために、教師線を被写体空間における３次元座標の各座標軸について得るようにするのが好ましい。
【００２１】
こうしたことから本発明では、上記のような画像上地物計測方法において、前記教師線は、前記道路沿い画像の被写体空間における３次元座標の各座標軸について生成させるようにしたことを特徴としている。
【００２２】
地物データとして、地物の幅、高さ、奥行きそれぞれを計測しようとする場合、それぞれの計測では、消失点と計測部位の位置関係の１画素あたりの体現長さに対する相関が異なる。
【００２３】
こうしたことから本発明では、上記のような画像上地物計測方法において、前記被写体空間の３次元座標について横方向をＸ軸、奥行き方向をＹ軸、縦方向をＺ軸とし、また前記道路沿い画像に設定する画像上２次元座標について横方向をｘ軸、縦方向をｙ軸とするとして、前記計測線のＸ軸成分については、前記計測線の端点の前記ｙ軸上での位置における１画素あたりの体現長さを前記Ｘ軸方向の教師線に基づいて求めて計測をなし、前記計測線のＺ軸成分については、前記計測線の端点の前記ｙ軸上での位置における１画素あたりの体現長さを前記Ｚ軸方向の教師線に基づいて求めて計測をなし、前記計測線のＹ軸成分については、任意に仮想される投影中心からの前記道路沿い画像上での投影により、前記Ｙ軸方向の教師線のｙ軸成分と前記計測線のｙ軸成分それぞれを前記画像上２次元座標におけるｘ軸に平行な線分上に投影して得られる教師線投影像と計測線投影像をそれぞれの画素数について比較することで地物データの計測をなすようにされていることを特徴としている。
【００２４】
消失点と計測部位の位置関係が１画素あたりの体現長さに相関することを利用した計測では、１画素あたりの体現長さの精度がカメラからの距離に応じて異なり、カメラに近過ぎたり、カメラから遠過ぎたりすると精度が不十分になる可能性がある。
【００２５】
こうしたことから本発明では、上記のような画像上地物計測方法において、前記道路沿い画像に計測領域を設定し、その計測領域内についてだけ計測を行えるようにしたことを特徴としている。
【００２６】
上記のような画像上地物計測方法で得られる地物データの利用分野としては、上述のように不動産の課税評価用の資料とする道路沿い画像に表示して用いるのが有力なひとつとしてある。この場合、上述のように道路に沿って一定間隔で撮影した一連の道路沿い画像を整える必要がある。
【００２７】
こうしたことから本発明では、上記のような画像上地物計測方法において、前記道路沿い画像は、カメラが搭載された車両を走行させながら撮影して得られる画像であることを特徴とし、また上記のような画像上地物計測方法で得られた地物データを前記道路沿い画像上に表示して画像データを形成するものとしている。
【００２８】
本発明は、前記地物データは、地物の長さ、高さ、奥行き、傾き、距離、面積の少なくともいずれか１つを含むものとした請求項１〜８のいずれかに記載の画像上地物計測方法を開示する。
【００２９】
更に本発明は、カメラにて撮像された地物を含む表示画面に表示する表示手段と、
この表示画像上で指定された地物の輪郭線をデータとして取り込み、この輪郭線データからその消失点を求める第１の処理手段と、
この消失点データに基づいて上記表示画像上の計測対象の地物の所望計測部位における１画素当りの体現長さを求める第２の処理手段と、
この体現長さに基づいて計測部位の長さ、高さ、奥行き、傾き、距離、面積の少なくともいずれか１つを含む地物データを求める第３の処理手段と、
を備える画像上地物計測装置を開示する。
【発明の効果】
【００３０】
以上のような本発明によれば、画像上での地物の高い精度での計測を簡単に行えるようになり、例えば不動産の課税評価用の資料として用いることのできる道路沿い画像を低コストで得ることが可能となり、また画像を利用したケーブル地上高データの収集が可能となる。
【発明を実施するための最良の形態】
【００３１】
以下、本発明を実施するための形態について説明する。図１に、一実施形態による画像上地物計測方法の実施に用いる地物データ取得システム１の構成を示す。本実施形態における地物データ取得システム１は、道路２で撮影車両３を走行させながら画像として道路沿い画像４を取得し、その道路沿い画像４における地物について計測を行って地物データを得る場合であり、撮影車両３と画像上地物計測システム５からなる。
【００３２】
撮影車両３は、例えば幅員が４ｍ以下であるような狭い道路が錯綜する市街地でも走行可能な車両にデジタル方式のカメラ６と撮影管理システム７を搭載して構成されている。
【００３３】
カメラ６は、スチールカメラまたはビデオカメラであり、通常はスチールカメラが用いられ、前方撮影用カメラ６ｆと後方撮影用カメラ６ｒとして２台が搭載される。前方撮影用カメラ６ｆは、撮影車両３の走行方向前方を走行方向に光軸が沿った状態で撮影を行い、後方撮影用カメラ６ｒは、撮影車両３の走行方向後方を走行方向に光軸が沿った状態で撮影を行う。これら前方撮影用カメラ６ｆや後方撮影用カメラ６ｒによる撮影で得られる道路沿い画像４は、光軸方向に延びている状態で道路を取り込んだ画像となる。このように走行方向前方と後方のそれぞれについて撮影できるようにするのは、撮影車両３の走行方向によっては前方撮影用カメラ６ｆが逆光になる場合があることから、そのような場合に対応できるようにするためである。
【００３４】
撮影管理システム７は、測位システム８、撮影制御システム９、および画像データ管理システム１０の各サブシステムを含んでいる。測位システム８は、撮影車両３の現在位置と走行方向、より具体的にはカメラ６の光軸方向についての情報である位置方位情報を例えば走行距離１ｍごとにといった間隔で取得するのに機能する。そのために測位システム８は、ＧＰＳ（全地球測位システム）と距離／慣性計測システムを組み合わせて構成される。ＧＰＳは、撮影車両３の前後に設けた２つのＧＰＳアンテナ１１により衛星からの信号を受信することで位置方位情報を取得する。一方、距離／慣性計測システムは、撮影車両３の走行方向や車両の水平面に対する傾きをジャイロにより検出する慣性計測器と撮影車両３の走行距離を検出する距離計測器からなり、これらにより位置方位情報を取得する。このようにＧＰＳと距離／慣性計測システムを組み合わせて測位システム８を構成することにより、ＧＰＳ衛星からの信号を受信できない環境においても位置方位情報を安定的に取得することができる。
【００３５】
撮影制御システム９は、一定距離間隔で道路沿い画像４を取得できるような制御としてカメラ６による撮影を制御する。具体的には、撮影車両３の走行距離をカウントし、例えば５ｍといった一定の走行距離ごとに撮影指令を出力してカメラ６に撮影を行わせる。こうした撮影により、撮影車両３が走行する道路に沿った一定距離間隔による一連の道路沿い画像を取得することができる。
【００３６】
画像データ管理システム１０は、ワークステーションレベルのデータ処理装置を用いて構成され、カメラ６による撮影で取得された道路沿い画像４のデータを管理する。その管理は、道路沿い画像４をその撮影時の位置方位情報と関連させるようにしてなされる。
【００３７】
ここで、道路沿い画像４には、後述のような画像上地物計測処理に必要な教師線ＬＴを生成させるようにする。教師線ＬＴは、道路沿い画像４中の道路２の側線（これは後述のように消失点を求めるための地物の輪郭として用いられる）に沿う方向を１つの座標軸とした道路沿い画像４の被写体空間における３次元座標（Ｘ、Ｙ、Ｚ座標）の各座標軸について生成させる。つまりＸ軸方向の教師線ＬＴｘ、Ｙ軸方向の教師線ＬＴｙ、Ｚ軸方向の教師線ＬＴｚとして生成させる。これらの教師線ＬＴｘ、ＬＴｙ、ＬＴｚは、長さが既知の線状体（例えば測量用のポールなど）を取り込ませることで、その線状体の像として生成させる。このような教師線ＬＴは、原理的にいえば、道路沿い画像を同一の撮影条件で撮影する範囲については、その撮影条件で最初に撮影する道路沿い画像にだけ生成させることで足りる。ただ実際的には、例えば１日の撮影作業の最初に撮影する道路沿い画像ごとに教師線用の線状体を写し込ませて教師線を生成させるようにするのが好ましい。これは、撮影車両３へのカメラ６のセット状態が撮影条件に影響し、そのセット状態が１日の撮影作業ごとに微妙に異なる可能性があるからである。なお、道路が傾斜していると、それにより水平面に対しカメラも傾くことになるが、そのカメラの傾きは位置方位情報を用いて検出され、画像上地物計測処理に際して傾きに応じた補正がなされることになる。
【００３８】
画像上地物計測システム５は、データ処理装置１２にコンピュータプログラムとして構成される画像上地物計測手段１３を搭載して構成される。画像上地物計測手段１３は、画像データ管理システム１０から取り込んだ道路沿い画像４のデータや道路沿い画像４に地物データを記録した後述のような地物データ付き道路沿い画像を管理する画像データ管理部１４、道路沿い画像４に取り込まれている地物について計測して地物データを取得する計測部１５、および計測部１５が取得した地物データを道路沿い画像４に記録して地物データ付き道路沿い画像を生成させる地物データ記録部１６を含んでいる。
【００３９】
以下では画像上地物計測システム５でなされる画像上地物計測処理の例について説明する。本例における画像上地物計測処理は、道路沿い画像４における道路２の側線を地物の輪郭として用いて消失点を求める場合であり、図２にその流れを示すように、ステップＳ１〜ステップＳ８の各処理過程を含む。
【００４０】
まずステップＳ１で処理対象画像の表示処理がなされる。処理対象画像の表示処理は、計測対象の道路沿い画像をデータ処理装置１２の表示画面に表示する処理で、ユーザによる指定を受けて行うか、あるいは一連の道路沿い画像を順次的に表示するようにして行われる。
【００４１】
ステップＳ２では、道路側線の指定を行う。具体的には、ステップＳ１で表示した道路沿い画像について道路の側線をユーザが指定する。その指定は、例えば図３に示すようにして行う。具体的には、表示画面に表示されている道路沿い画像４における道路２の側線を左右で対応する直線部分のそれぞれについて描画機能によりなぞるようにして２本の指定線ＬＩ、ＬＩを描線することで行う。
【００４２】
ステップＳ３では、消失点の決定処理がなされる。道路２の側線を用いて消失点を求める場合、消失点は２本の指定線ＬＩ、ＬＩの交点Ｖとなる。したがって消失点の特定は、交点Ｖの道路沿い画像４上での位置を求めることで行う。具体的には、道路沿い画像４の横方向（道路沿い画像４の被写体空間における横方向に対応）をｘ軸とし、縦方向をｙ軸とする画像上２次元座標を道路沿い画像４に設定し、その画像上２次元座標における座標値（ｘｖ，ｙｖ）として交点Ｖの道路沿い画像４上での位置を求め、それを消失点とする。なお、図３では、ｘ軸がＸ軸方向の教師線ＬＴｘと平行になるように画像上２次元座標を設定する場合としてある。
【００４３】
ステップＳ４では、計測部位に対する計測線の指定処理がなされる。この処理は、図３に示す例のように、描画機能により計測部位に計測線Ｓを描線することで行うか、または計測部位の両端に端点Ａ、Ｂを指定することで行う。
【００４４】
ステップＳ５では、ステップＳ４で指定の計測線の計測処理がなされる。この計測処理は、図４に示す例のような道路沿い画像の被写体空間における３次元座標を前提にして行う。ここでは３次元座標について横方向をＸ軸、奥行き方向をＹ軸、縦方向をＺ軸とする。このような３次元座標を前提にする場合、計測線は、それが道路沿い画像上でとる姿勢に応じて、Ｘ、Ｙ、Ｚの各軸方向の成分の１つだけの場合と２つまたは３つの組合せでなる場合がある。組合せでなる場合は、それぞれの成分から三平方の定理で計測線の長さを求める。
【００４５】
図５に示すのは、Ｘ軸成分とＹ軸成分を含む計測線ＳのＸ軸成分ＣＸの算出原理である。Ｘ軸方向の教師線ＬＴｘの各端点の画像上２次元座標での座標値を（ｘｔａ，ｙｔａ）、（ｘｔｂ，ｙｔｂ）とし、計測線Ｓの端点Ａ、Ｂそれぞれの画像上２次元座標での座標値を（ｘａ，ｙａ）（ｘｂ，ｙｂ）とする。なお、図５の計測線Ｓは必ずしも図３の計測線Ｓと対応していない。
【００４６】
計測線Ｓの端点Ａ、Ｂそれぞれの消失点垂線からの距離をＳａとＳｂとすると、これらＳａ、Ｓｂは、教師線ＬＴｘの実際の長さＴＬに基づいて求めることができ、計測線ＳのＸ軸成分ＣＸは、ＣＸ＝Ｓａ−Ｓｂとして求めることができる。ここで、消失点垂線とは、消失点Ｖからの垂線であり、図５の場合、ｘ軸が教師線ＬＴｘと平行であることから、ｘ軸に直交する線分となっている。
【００４７】
Ｓａを教師線ＬＴｘの実際の長さＴＬから求めるには、座標値ｙａの位置に仮想される教師線ＬＴｘ‐ａを用いる。具体的には、教師線ＬＴｘの画素数がＮ、教師線ＬＴｘ‐ａの画素数がＮａ、そしてＳａの画素数がｎａであるとすると、Ｓａは、Ｓａ＝〔（ＴＬ／Ｎ）・（ＴＬ／Ｎａ）〕・ｎａとして求めることができる。同様にしてＳｂも求めることができる。以上がＣＸの算出原理で、実際には下記の式でＣＸを求めるようにしている。
ＣＸ＝｜ＴＬ・｛（ｘａ−ｘｖ）・（ｙｂ−ｙａ）／（ｙａ−ｙｖ）＋ｘａ−ｘｂ｝・（２・ｙｖ−ｙｔａ−ｙｔｂ）／｛２・（ｘｔａ−ｘｔｂ）・（ｙｖ−ｙｂ）｝｜
【００４８】
図６に示すのは、計測線ＳのＹ軸成分ＣＹの算出原理である。ＣＹは、投影図法により求める。すなわち、任意に仮想される投影中心Ｐからの道路沿い画像上での投影により、Ｙ軸方向の教師線ＬＴｙのｙ軸成分ＬＴｙ-ｖと計測線Ｓのｙ軸成分ｓｖそれぞれをｘ軸に平行な線分上に投影して教師線投影像ＬＴｙ-ｈと計測線投影像ｖｓ-ｈを得る。この場合、教師線投影像ＬＴｙ-ｈと計測線投影像ｖｓ-ｈは、それぞれにおける１画素あたりの体現長さが同じになっている。したがって教師線投影像ＬＴｙ-ｈと計測線投影像ｖｓ-ｈをそれぞれの画素数について単純に比較することでＣＹの長さを求めることができる。具体的には、教師線ＬＴｙの実際の長さをＴＬとして、ＣＹ＝ＴＬ・ｖｓ-ｈ／ＬＴｙ-ｈとしてＣＹの長さを求めることができる。以上がＣＹの算出原理で、実際には下記の式でＣＹを求めるようにしている。
ＣＹ＝ＴＬ・｜｛（ｙｔａ−ｙｖ）・（ｙｔｂ−ｙｖ）・（ｙｂ−ｙａ）｝／｛（ｙａ−ｙｖ）・（ｙｂ−ｙｖ）・（ｙｔｂ−ｙｔａ）｝｜
以上のようにしてＣＸとＣＹが求まれば、計測線Ｓの実際の長さＳＬは、ＳＬ＝（ＣＸ２＋ＣＹ２）１／２として求めることができる。
【００４９】
図７に示すのは、計測線ＳのＺ軸成分ＣＺの算出原理である。図７では計測線ＳがＺ軸方向の教師線ＬＴｚと平行な場合としてある。したがって計測線ＳはＸ軸成分だけからなり、ＣＺ＝Ｓとなる。ＣＺは、上述のＣＸの算出と同様な原理で教師線ＬＴｚに基づいて長さを求めることができる。具体的には、計測線Ｓの下側の端点の座標値ｙｂの位置に仮想される教師線ＬＴｚ‐ｓを用い、教師線ＬＴｚの画素数がＮ、教師線ＬＴｚ‐ｓの画素数がＮａ、そしてＣＺ（＝Ｓ）の画素数がｎａであるとすると、ＣＺは、ＣＺ＝〔（ＴＬ／Ｎ）・（ＴＬ／Ｎａ）〕・ｎａとして求めることができる。
【００５０】
以上がＣＺの算出原理で、実際には下記の式でＣＺを求めるようにしている。ただし式中の「ＣｈｉＨｅｉ＿Ｙ」は、計測線Ｓの端点Ｂを含む地平面の画像上２次元座標におけるｙ軸の座標値である。この「ＣｈｉＨｅｉ＿Ｙ」は、計測線Ｓが地平面にある場合は端点Ｂのｙ軸座標値と同じになる。ただし、計測線Ｓの端点Ｂは必ずしも地平面になくともよい。
ＣＺ＝｜ＴＬ・｛（ｙｂ−ｙａ）・（ｙｖ−ｙｔａ） ／ ｛ （ｙｔａ−ｙｔｂ）・（ｙｖ−ＣｈｉＨｅｉ＿Ｙ）｝｜
【００５１】
以上のような消失点と計測部位の位置関係が１画素あたりの体現長さに相関することを利用した計測では、１画素あたりの体現長さの精度がカメラからの距離に応じて異なり、カメラに近過ぎたり、カメラから遠過ぎたりすると精度が不十分になる可能性がある。そこで、図８に示すように、道路沿い画像４に計測領域１７を適切に設定し、その計測領域１７内についてだけ計測を行えるようにするのが好ましい。この場合、教師線ＬＴｘと教師線ＬＴｚが計測領域１７の外縁となるのが適切である。したがって教師線ＬＴを生成させる画像は、教師線ＬＴｘと教師線ＬＴｚが計測領域１７の外縁となるような条件で撮影された画像を計測対象とするのが好ましい。
【００５２】
図２に戻って、ステップＳ６では、必要な計測部位の全てについて計測が終了したかを判定する。この判定が否定的な場合にはステップＳ４に戻って処理を繰り返し、肯定的になった場合にはステップＳ７に進む。
【００５３】
ステップＳ７では、計測を終えた道路沿い画像に地物データを記録して地物データ付き画像データを生成する。図９に、地物データ付き画像データの例を示す。図９の（ａ）の例の地物データ付き画像データ１８は、道路２の幅員データと道路沿いの建造物１９の高さデータが記録されている場合で、図９の（ｂ）の例の地物データ付き画像データ２０は、電線などの道路横断ケーブル２１の地上高データが記録されている場合である。
【００５４】
ステップＳ８では、必要な画像の全てについて計測が終了したかを判定する。この判定が否定的な場合にはステップＳ１に戻って処理を繰り返し、肯定的になった場合には処理終了となる。
【００５５】
また以上の実施形態は、道路の側線を用いて消失点を求める場合である。これは、例えば不動産の課税評価用の資料あるいはケーブル地上高データ収集用などに地物データ付き画像を利用する場合、画像は、カメラの光軸方向に延びている状態で道路を取り込んで撮影される道路沿い画像となることが通常であること、そしてそのような道路沿い画像では道路の側線が画像面に対して直交する状態になるのが通常であることから、道路の側線を用いて消失点を求めるのが合理的であること、という理由による。つまり消失点を道路の側線で求める方法は、道路沿い画像について特に有効であるということであって、必要に応じて道路以外の地物の輪郭（例えば道路沿いの構造物と道路の境界線など）であっても被写体空間にあって画像面に対し直交する地物の輪郭であればそれを用いて消失点を求めることは可能である。
【００５６】
また計測地物データ例として幅や高さの例を示したが、それ以外に、地物に関しての、ある基準点からの距離、傾き、面積等を含ませることもできる。これらは、広義には画像の地物の、いわゆる幾何学的抽出データとして位置づけることができ、本発明の適用例として加えることができる。
【００５７】
以上、本発明を実施するための形態について説明したが、これは代表的な例に過ぎず、本発明はその趣旨を逸脱することのない範囲で様々な形態で実施することができる。例えば以上の実施形態は、撮影車両を走行させながら取得される道路沿い画像についての場合であったが、本発明はこれに限られず、カメラによる画像一般に適用することが可能である。
【図面の簡単な説明】
【００５８】
【図１】一実施形態による画像上地物計測方法の実施に用いる地物データ取得システムの構成を示す図である。
【図２】画像上地物計測処理の流れを示す図である。
【図３】道路側線や計測線の指定について説明する図である。
【図４】被写体空間における３次元座標の例を示す図である。
【図５】計測線のＸ軸成分の算出についての原理を説明する図である。
【図６】計測線のＹ軸成分の算出についての原理を説明する図である。
【図７】計測線のＺ軸成分の算出についての原理を説明する図である。
【図８】計測領域の例を示す図である。
【図９】地物データ付き画像データの例を示す図である。
【符号の説明】
【００５９】
１ 地物データ取得システム
２ 道路
３ 撮影車両
４ 道路沿い画像
５ 画像上地物計測システム
６ カメラ
７ 撮影管理システム
８ 測位システム
９ 撮影制御システム
１０ 画像データ管理システム
１１ ＧＰＳアンテナ
１２ データ処理装置
１３ 画像上地物計測手段
１４ 画像データ管理部
１５ 計測部
１６ 地物データ記録部
１７ 計測領域
１８ 地物データ付画像データ
１９ 建造物
２０ 地物データ付画像データ
２１ 道路横断ケーブル
ＬＴ 教師線
Ｓ 計測線
Ｖ 消失点
【技術分野】
【０００１】
本発明は、デジタル方式のカメラによる撮影で得られる画像を利用する技術に係り、特に画像に取り込まれている建造物や道路などの地物の幅、高さ、奥行きについて画像上で計測して地物データを得る技術に関する。
【背景技術】
【０００２】
近年におけるデータ処理技術の発展は、カメラによる画像の様々な分野への利用を活発化させている。例えば特許文献１〜特許文献７に開示されるのがそのような例である。
【０００３】
特許文献１の「地図作成支援システム」は、地図の作成支援に画像を利用する場合で、車両道路を遊歩道などから区別して道路データや三次元地図を作成することを課題としている。そのために、カメラとＧＰＳシステムなどの位置情報取得手段を搭載した計測車両で道路を走行しながら画像を一定の移動距離ごとに取得し、それらの画像を位置情報取得手段による位置情報と関連付けて得られるデータを地図データの作成に利用するようにしている。
【０００４】
特許文献２の「三次元地図データベースの作成方法」は、地物の高さ情報を有する三次元地図データベースの作成に画像を利用する。そのために特許文献２の「三次元地図データベースの作成方法」では、特許文献１の計測車両と同様な移動計測車を用いる。すなわち二次元地図上の特定の地域内に存在する各地物の高さ情報取得対象の隅角部の集合を目標端点群として予め決めておき、そして移動計測車で２箇所以上の測定点から各目標端点を撮像するとともに、撮像画像中に表れる目標端点を撮像時の各測定点の三次元位置座標などに基づいて算出し、得られた三次元位置座標をその目標端点の二次元地図データベース上における二次元位置座標と対応付ける関係で二次元地図データベースに追加することで三次元地図データベースを作成するようにしている。
【０００５】
特許文献３の「写真測量による３次元計測方法」は、画像を測量に利用する場合で、写真測量における計測点の対応付けをより高精度に行うことができるようにする。そのために特許文献３の「写真測量による３次元計測方法」では、広角画像と望遠画像を用い、望遠画像の被写体像を同じ撮影位置から撮影された広角画像中の被写体像に一致するように両画像を合成して表示した合成写真画像を撮影位置ごとに作成するとともに、合成写真画像の望遠画像の撮影領域内に共通して写っている基準点を指定し、さらに基準点の複数の合成写真画像中の座標値に基づいて撮影位置関係を演算し、当該撮影位置関係に基づいて写真画像中の任意の計測点の座標値からその計測点の被写体空間中の３次元位置情報を計測するようにしている。
【０００６】
特許文献４の「消失点決定方法」は、画像上で建造物の高さを推定して３次元の地図モデルを作成したり、画像によりロボットの通行可能な通路を特定したりするのに必要な画像上の消失点の決定方法を提案している。その消失点決定方法では、歩道を撮影した画像データから線分を抽出し、さらにその線分の中から消失点に有用なものを選択し、消失点と線分の両端で作られる三角形の面積に基づいて定まる評価値を用いて消失点の位置を特定する。
【０００７】
特許文献５の「カメラ画像−実空間座標対応付けマップ生成方法」は、画像を監視に利用する場合で、監視画像中の人などの位置をリアルタイムで求めるのに用いるカメラ画像−実空間座標対応付けマップの生成方法を提案している。そのカメラ画像−実空間座標対応付けマップ生成方法では、対応付けを行う実空間の床面に正方形パターンを配置し、正方形パターンの存在する位置の実空間座標を決定する。そして正方形パターンを含む実空間を撮影して得られる画像中の正方形パターンの各頂点の画像座標を検出するとともに、その頂点画像座標を通る２直線の消失点の位置を計算し、それで計算された消失点の数に基づいて撮影画像の全画素について実空間座標が記述された対応マップ画像を生成する。
【特許文献１】特開２００７−２０６０９９号公報
【特許文献２】特開２０００−７４６６９号公報
【特許文献３】特開２００６−１１３００１号公報
【特許文献４】特開２００７−５７３８６号公報
【特許文献５】特開２００５−２７５５００号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
カメラによる画像は、上述の例の他にもまだ多くの利用形態が可能である。例えば、道路とそれに沿った地物を撮影した画像を道路沿いの不動産の課税評価用の資料として利用するのもそのひとつである。すなわち不動産の課税評価では、評価対象不動産の周囲の地物状況が大きく影響することから、そうした地物状況について説得力の高い資料を得られるようにすることが大切になるが、そのような資料として撮影画像、特にカメラの光軸方向に道路が延びている状態で撮影することで得られる道路沿い画像を利用するということである。
【０００９】
ただ、道路沿い画像を不動産の課税評価用の資料として用いるについては、道路に沿って一定間隔で撮影した一連の道路沿い画像を整えることが求められ、また道路沿い画像に含まれている建造物や道路などの地物の幅、高さ、奥行き等を含む地物データを道路沿い画像に重ねて表示できるようにすることも重要な要素として求められる。
【００１０】
こうした要求のうち、一連の道路沿い画像についての要求には、上記の特許文献１や特許文献２に記載されるようなカメラと位置情報取得手段を搭載した計測車両を走行させながら一定間隔で道路沿い画像を取得することで応えることができる。しかし、地物データについての要求には、上述の従来の技術では十分に応えることができない。
【００１１】
地物データを画像に表示するには、画像上で地物を計測する必要がある。画像上での地物の計測は、例えば上記の特許文献２や特許文献３に開示の例のように、視差を有した複数の画像を用いる手法で行うことが可能である。しかし、複数の画像を用いる手法では、ひとつの被写体空間についての地物を計測するのに複数の画像を処理する必要があることから、データ処理の負担が大きくなり、また同じ被写体空間について２箇所以上から撮像する必要があることから、撮影についての負担も大きくなり、コストパフォーマンスの問題を招く。また特許文献４は、画像上での地物の計測に画像上の消失点が有効であることについては触れているものの、その具体的手段の開示がなく、地物データについての要求に応えることができない。
【００１２】
以上のようなことは、例えば道路沿い画像を利用して道路沿いや道路横断の電線を含むケーブル（配電ケーブルや通信ケーブルであり、これも地物の一種である）の地上高を計測してケーブル地上高データを収集するといった画像の利用形態の場合についてもいえる。すなわち車両を走行させながら得る道路沿い画像を利用してケーブル地上高データを収集する方法は、現場においてケーブル地上高を実測する方法に比べ大幅に作業負担を軽減させることが期待でき、有力な方法といえるが、それを実用的なものとするには、画像上でのケーブル地上高の高い精度での計測を簡単に行えるようにすることが望まれる。
【００１３】
本発明は、以上のような事情を背景になされたものであり、その課題は、画像上での地物の高い精度での計測を簡単に行うことを可能とする画像上地物計測方法及び表示法並びに計測装置の提供にある。
【課題を解決するための手段】
【００１４】
本発明では、上記課題を解決するために、地物を含む画像上で計測対象とする地物における計測部位の画素数からその計測部位の長さを求めることで計測をなし、これにより単画像計測（ひとつの被写体空間についての地物計測を１枚の画像で行う計測）を可能とし、これにより画像上での地物計測を簡単に行えるようにすることを基本としている。ただこの場合、１つの画素が体現している長さは、計測部位の被写体空間におけるカメラに対する奥行き位置、つまり計測部位の被写体空間でのカメラからの距離で異なる。このため１画素あたりの体現長さを計測部位ごとに求める必要があることになる。これについて、本発明では、画像上の消失点と計測部位の位置関係が１画素あたりの体現長さに相関するということを利用して計測部位における１画素あたりの体現長さを求めるようにしている。この場合、画像上の消失点は、画像に取り込まれている地物の輪郭、より具体的には被写体空間にあって画像面に対し直交している地物の輪郭を用いて求めることで十分な精度が得られ、例えば表示装置に表示した画像上で描画機能により地物の輪郭をなぞるなどの簡単な操作を行うことで求めることができる。また消失点と計測部位の位置関係から１画素あたりの体現長さを求める処理も比較的簡単なもので済む。このため画像上での地物の高い精度での地物データの計測を簡単に行うことが可能となる。
【００１５】
以上のような考え方に基づく本発明では、カメラによる画像上で当該画像に取り込まれている地物について計測する画像上地物計測方法において、前記画像に取り込まれている地物の輪郭を用いて消失点を求めるとともに、前記消失点に基づいて計測対象の地物の所望計測部位における１画素あたりの体現長さを求め、それによる１画素あたりの体現長さに基づいて地物データの計測をなすようにしたことを特徴としている。
【００１６】
また本発明では、上記のような画像上地物計測方法について、画像が道路沿い画像、つまりカメラの光軸方向に延びている状態で道路を取り込んで撮影される画像である場合、消失点は、道路の側線を用いて求めるようにする。このようにすることで、道路沿い画像での高い精度の地物計測を可能とする消失点をより簡単に求めることができる。
【００１７】
こうしたことから本発明では、上記のような画像上地物計測方法において、前記画像は、前記カメラの光軸方向に延びている状態で道路を取り込んで撮影される道路沿い画像であり、前記消失点は、前記道路の側線を用いて求めるようにされていることを特徴としている。
【００１８】
上記のような画像上地物計測方法については、１画素あたりの体現長さの絶対値を求める必要がある。１画素あたりの体現長さの絶対値は、画像の光学的な解析などで求めることも可能である。しかし画像解析法は、精度に問題を残す。また画像に取り込まれている地物について予め判っている長さを利用して１画素あたりの体現長さの絶対値を求めることも可能である。しかし長さが既知の地物を画像に取り込むことは必ずしも容易でない。そこで、長さが既知の線状体を画像に取り込ませ、その線状体の像を利用して１画素あたりの体現長さの絶対値を求めるようにするのが適切となる。
【００１９】
こうしたことから本発明では、上記のような画像上地物計測方法において、長さが既知の線状体を前記道路沿い画像に取り込ませることで、前記線状体の像として、前記道路沿い画像上での絶対長さが既知となる教師線を前記道路沿い画像中に生成させるようにし、そして計測対象の地物の所望計測部位に対して前記道路沿い画像上で計測線を指定し、前記消失点に対する前記計測線と前記教師線の相対的位置関係の下で前記計測線を前記教師線とそれぞれの画素数について比較することにより地物データの計測をなすようにしたことを特徴としている。
【００２０】
このように教師線を用いるについては、地物の幅、高さ、奥行きそれぞれを必要に応じて計測できるようにするために、教師線を被写体空間における３次元座標の各座標軸について得るようにするのが好ましい。
【００２１】
こうしたことから本発明では、上記のような画像上地物計測方法において、前記教師線は、前記道路沿い画像の被写体空間における３次元座標の各座標軸について生成させるようにしたことを特徴としている。
【００２２】
地物データとして、地物の幅、高さ、奥行きそれぞれを計測しようとする場合、それぞれの計測では、消失点と計測部位の位置関係の１画素あたりの体現長さに対する相関が異なる。
【００２３】
こうしたことから本発明では、上記のような画像上地物計測方法において、前記被写体空間の３次元座標について横方向をＸ軸、奥行き方向をＹ軸、縦方向をＺ軸とし、また前記道路沿い画像に設定する画像上２次元座標について横方向をｘ軸、縦方向をｙ軸とするとして、前記計測線のＸ軸成分については、前記計測線の端点の前記ｙ軸上での位置における１画素あたりの体現長さを前記Ｘ軸方向の教師線に基づいて求めて計測をなし、前記計測線のＺ軸成分については、前記計測線の端点の前記ｙ軸上での位置における１画素あたりの体現長さを前記Ｚ軸方向の教師線に基づいて求めて計測をなし、前記計測線のＹ軸成分については、任意に仮想される投影中心からの前記道路沿い画像上での投影により、前記Ｙ軸方向の教師線のｙ軸成分と前記計測線のｙ軸成分それぞれを前記画像上２次元座標におけるｘ軸に平行な線分上に投影して得られる教師線投影像と計測線投影像をそれぞれの画素数について比較することで地物データの計測をなすようにされていることを特徴としている。
【００２４】
消失点と計測部位の位置関係が１画素あたりの体現長さに相関することを利用した計測では、１画素あたりの体現長さの精度がカメラからの距離に応じて異なり、カメラに近過ぎたり、カメラから遠過ぎたりすると精度が不十分になる可能性がある。
【００２５】
こうしたことから本発明では、上記のような画像上地物計測方法において、前記道路沿い画像に計測領域を設定し、その計測領域内についてだけ計測を行えるようにしたことを特徴としている。
【００２６】
上記のような画像上地物計測方法で得られる地物データの利用分野としては、上述のように不動産の課税評価用の資料とする道路沿い画像に表示して用いるのが有力なひとつとしてある。この場合、上述のように道路に沿って一定間隔で撮影した一連の道路沿い画像を整える必要がある。
【００２７】
こうしたことから本発明では、上記のような画像上地物計測方法において、前記道路沿い画像は、カメラが搭載された車両を走行させながら撮影して得られる画像であることを特徴とし、また上記のような画像上地物計測方法で得られた地物データを前記道路沿い画像上に表示して画像データを形成するものとしている。
【００２８】
本発明は、前記地物データは、地物の長さ、高さ、奥行き、傾き、距離、面積の少なくともいずれか１つを含むものとした請求項１〜８のいずれかに記載の画像上地物計測方法を開示する。
【００２９】
更に本発明は、カメラにて撮像された地物を含む表示画面に表示する表示手段と、
この表示画像上で指定された地物の輪郭線をデータとして取り込み、この輪郭線データからその消失点を求める第１の処理手段と、
この消失点データに基づいて上記表示画像上の計測対象の地物の所望計測部位における１画素当りの体現長さを求める第２の処理手段と、
この体現長さに基づいて計測部位の長さ、高さ、奥行き、傾き、距離、面積の少なくともいずれか１つを含む地物データを求める第３の処理手段と、
を備える画像上地物計測装置を開示する。
【発明の効果】
【００３０】
以上のような本発明によれば、画像上での地物の高い精度での計測を簡単に行えるようになり、例えば不動産の課税評価用の資料として用いることのできる道路沿い画像を低コストで得ることが可能となり、また画像を利用したケーブル地上高データの収集が可能となる。
【発明を実施するための最良の形態】
【００３１】
以下、本発明を実施するための形態について説明する。図１に、一実施形態による画像上地物計測方法の実施に用いる地物データ取得システム１の構成を示す。本実施形態における地物データ取得システム１は、道路２で撮影車両３を走行させながら画像として道路沿い画像４を取得し、その道路沿い画像４における地物について計測を行って地物データを得る場合であり、撮影車両３と画像上地物計測システム５からなる。
【００３２】
撮影車両３は、例えば幅員が４ｍ以下であるような狭い道路が錯綜する市街地でも走行可能な車両にデジタル方式のカメラ６と撮影管理システム７を搭載して構成されている。
【００３３】
カメラ６は、スチールカメラまたはビデオカメラであり、通常はスチールカメラが用いられ、前方撮影用カメラ６ｆと後方撮影用カメラ６ｒとして２台が搭載される。前方撮影用カメラ６ｆは、撮影車両３の走行方向前方を走行方向に光軸が沿った状態で撮影を行い、後方撮影用カメラ６ｒは、撮影車両３の走行方向後方を走行方向に光軸が沿った状態で撮影を行う。これら前方撮影用カメラ６ｆや後方撮影用カメラ６ｒによる撮影で得られる道路沿い画像４は、光軸方向に延びている状態で道路を取り込んだ画像となる。このように走行方向前方と後方のそれぞれについて撮影できるようにするのは、撮影車両３の走行方向によっては前方撮影用カメラ６ｆが逆光になる場合があることから、そのような場合に対応できるようにするためである。
【００３４】
撮影管理システム７は、測位システム８、撮影制御システム９、および画像データ管理システム１０の各サブシステムを含んでいる。測位システム８は、撮影車両３の現在位置と走行方向、より具体的にはカメラ６の光軸方向についての情報である位置方位情報を例えば走行距離１ｍごとにといった間隔で取得するのに機能する。そのために測位システム８は、ＧＰＳ（全地球測位システム）と距離／慣性計測システムを組み合わせて構成される。ＧＰＳは、撮影車両３の前後に設けた２つのＧＰＳアンテナ１１により衛星からの信号を受信することで位置方位情報を取得する。一方、距離／慣性計測システムは、撮影車両３の走行方向や車両の水平面に対する傾きをジャイロにより検出する慣性計測器と撮影車両３の走行距離を検出する距離計測器からなり、これらにより位置方位情報を取得する。このようにＧＰＳと距離／慣性計測システムを組み合わせて測位システム８を構成することにより、ＧＰＳ衛星からの信号を受信できない環境においても位置方位情報を安定的に取得することができる。
【００３５】
撮影制御システム９は、一定距離間隔で道路沿い画像４を取得できるような制御としてカメラ６による撮影を制御する。具体的には、撮影車両３の走行距離をカウントし、例えば５ｍといった一定の走行距離ごとに撮影指令を出力してカメラ６に撮影を行わせる。こうした撮影により、撮影車両３が走行する道路に沿った一定距離間隔による一連の道路沿い画像を取得することができる。
【００３６】
画像データ管理システム１０は、ワークステーションレベルのデータ処理装置を用いて構成され、カメラ６による撮影で取得された道路沿い画像４のデータを管理する。その管理は、道路沿い画像４をその撮影時の位置方位情報と関連させるようにしてなされる。
【００３７】
ここで、道路沿い画像４には、後述のような画像上地物計測処理に必要な教師線ＬＴを生成させるようにする。教師線ＬＴは、道路沿い画像４中の道路２の側線（これは後述のように消失点を求めるための地物の輪郭として用いられる）に沿う方向を１つの座標軸とした道路沿い画像４の被写体空間における３次元座標（Ｘ、Ｙ、Ｚ座標）の各座標軸について生成させる。つまりＸ軸方向の教師線ＬＴｘ、Ｙ軸方向の教師線ＬＴｙ、Ｚ軸方向の教師線ＬＴｚとして生成させる。これらの教師線ＬＴｘ、ＬＴｙ、ＬＴｚは、長さが既知の線状体（例えば測量用のポールなど）を取り込ませることで、その線状体の像として生成させる。このような教師線ＬＴは、原理的にいえば、道路沿い画像を同一の撮影条件で撮影する範囲については、その撮影条件で最初に撮影する道路沿い画像にだけ生成させることで足りる。ただ実際的には、例えば１日の撮影作業の最初に撮影する道路沿い画像ごとに教師線用の線状体を写し込ませて教師線を生成させるようにするのが好ましい。これは、撮影車両３へのカメラ６のセット状態が撮影条件に影響し、そのセット状態が１日の撮影作業ごとに微妙に異なる可能性があるからである。なお、道路が傾斜していると、それにより水平面に対しカメラも傾くことになるが、そのカメラの傾きは位置方位情報を用いて検出され、画像上地物計測処理に際して傾きに応じた補正がなされることになる。
【００３８】
画像上地物計測システム５は、データ処理装置１２にコンピュータプログラムとして構成される画像上地物計測手段１３を搭載して構成される。画像上地物計測手段１３は、画像データ管理システム１０から取り込んだ道路沿い画像４のデータや道路沿い画像４に地物データを記録した後述のような地物データ付き道路沿い画像を管理する画像データ管理部１４、道路沿い画像４に取り込まれている地物について計測して地物データを取得する計測部１５、および計測部１５が取得した地物データを道路沿い画像４に記録して地物データ付き道路沿い画像を生成させる地物データ記録部１６を含んでいる。
【００３９】
以下では画像上地物計測システム５でなされる画像上地物計測処理の例について説明する。本例における画像上地物計測処理は、道路沿い画像４における道路２の側線を地物の輪郭として用いて消失点を求める場合であり、図２にその流れを示すように、ステップＳ１〜ステップＳ８の各処理過程を含む。
【００４０】
まずステップＳ１で処理対象画像の表示処理がなされる。処理対象画像の表示処理は、計測対象の道路沿い画像をデータ処理装置１２の表示画面に表示する処理で、ユーザによる指定を受けて行うか、あるいは一連の道路沿い画像を順次的に表示するようにして行われる。
【００４１】
ステップＳ２では、道路側線の指定を行う。具体的には、ステップＳ１で表示した道路沿い画像について道路の側線をユーザが指定する。その指定は、例えば図３に示すようにして行う。具体的には、表示画面に表示されている道路沿い画像４における道路２の側線を左右で対応する直線部分のそれぞれについて描画機能によりなぞるようにして２本の指定線ＬＩ、ＬＩを描線することで行う。
【００４２】
ステップＳ３では、消失点の決定処理がなされる。道路２の側線を用いて消失点を求める場合、消失点は２本の指定線ＬＩ、ＬＩの交点Ｖとなる。したがって消失点の特定は、交点Ｖの道路沿い画像４上での位置を求めることで行う。具体的には、道路沿い画像４の横方向（道路沿い画像４の被写体空間における横方向に対応）をｘ軸とし、縦方向をｙ軸とする画像上２次元座標を道路沿い画像４に設定し、その画像上２次元座標における座標値（ｘｖ，ｙｖ）として交点Ｖの道路沿い画像４上での位置を求め、それを消失点とする。なお、図３では、ｘ軸がＸ軸方向の教師線ＬＴｘと平行になるように画像上２次元座標を設定する場合としてある。
【００４３】
ステップＳ４では、計測部位に対する計測線の指定処理がなされる。この処理は、図３に示す例のように、描画機能により計測部位に計測線Ｓを描線することで行うか、または計測部位の両端に端点Ａ、Ｂを指定することで行う。
【００４４】
ステップＳ５では、ステップＳ４で指定の計測線の計測処理がなされる。この計測処理は、図４に示す例のような道路沿い画像の被写体空間における３次元座標を前提にして行う。ここでは３次元座標について横方向をＸ軸、奥行き方向をＹ軸、縦方向をＺ軸とする。このような３次元座標を前提にする場合、計測線は、それが道路沿い画像上でとる姿勢に応じて、Ｘ、Ｙ、Ｚの各軸方向の成分の１つだけの場合と２つまたは３つの組合せでなる場合がある。組合せでなる場合は、それぞれの成分から三平方の定理で計測線の長さを求める。
【００４５】
図５に示すのは、Ｘ軸成分とＹ軸成分を含む計測線ＳのＸ軸成分ＣＸの算出原理である。Ｘ軸方向の教師線ＬＴｘの各端点の画像上２次元座標での座標値を（ｘｔａ，ｙｔａ）、（ｘｔｂ，ｙｔｂ）とし、計測線Ｓの端点Ａ、Ｂそれぞれの画像上２次元座標での座標値を（ｘａ，ｙａ）（ｘｂ，ｙｂ）とする。なお、図５の計測線Ｓは必ずしも図３の計測線Ｓと対応していない。
【００４６】
計測線Ｓの端点Ａ、Ｂそれぞれの消失点垂線からの距離をＳａとＳｂとすると、これらＳａ、Ｓｂは、教師線ＬＴｘの実際の長さＴＬに基づいて求めることができ、計測線ＳのＸ軸成分ＣＸは、ＣＸ＝Ｓａ−Ｓｂとして求めることができる。ここで、消失点垂線とは、消失点Ｖからの垂線であり、図５の場合、ｘ軸が教師線ＬＴｘと平行であることから、ｘ軸に直交する線分となっている。
【００４７】
Ｓａを教師線ＬＴｘの実際の長さＴＬから求めるには、座標値ｙａの位置に仮想される教師線ＬＴｘ‐ａを用いる。具体的には、教師線ＬＴｘの画素数がＮ、教師線ＬＴｘ‐ａの画素数がＮａ、そしてＳａの画素数がｎａであるとすると、Ｓａは、Ｓａ＝〔（ＴＬ／Ｎ）・（ＴＬ／Ｎａ）〕・ｎａとして求めることができる。同様にしてＳｂも求めることができる。以上がＣＸの算出原理で、実際には下記の式でＣＸを求めるようにしている。
ＣＸ＝｜ＴＬ・｛（ｘａ−ｘｖ）・（ｙｂ−ｙａ）／（ｙａ−ｙｖ）＋ｘａ−ｘｂ｝・（２・ｙｖ−ｙｔａ−ｙｔｂ）／｛２・（ｘｔａ−ｘｔｂ）・（ｙｖ−ｙｂ）｝｜
【００４８】
図６に示すのは、計測線ＳのＹ軸成分ＣＹの算出原理である。ＣＹは、投影図法により求める。すなわち、任意に仮想される投影中心Ｐからの道路沿い画像上での投影により、Ｙ軸方向の教師線ＬＴｙのｙ軸成分ＬＴｙ-ｖと計測線Ｓのｙ軸成分ｓｖそれぞれをｘ軸に平行な線分上に投影して教師線投影像ＬＴｙ-ｈと計測線投影像ｖｓ-ｈを得る。この場合、教師線投影像ＬＴｙ-ｈと計測線投影像ｖｓ-ｈは、それぞれにおける１画素あたりの体現長さが同じになっている。したがって教師線投影像ＬＴｙ-ｈと計測線投影像ｖｓ-ｈをそれぞれの画素数について単純に比較することでＣＹの長さを求めることができる。具体的には、教師線ＬＴｙの実際の長さをＴＬとして、ＣＹ＝ＴＬ・ｖｓ-ｈ／ＬＴｙ-ｈとしてＣＹの長さを求めることができる。以上がＣＹの算出原理で、実際には下記の式でＣＹを求めるようにしている。
ＣＹ＝ＴＬ・｜｛（ｙｔａ−ｙｖ）・（ｙｔｂ−ｙｖ）・（ｙｂ−ｙａ）｝／｛（ｙａ−ｙｖ）・（ｙｂ−ｙｖ）・（ｙｔｂ−ｙｔａ）｝｜
以上のようにしてＣＸとＣＹが求まれば、計測線Ｓの実際の長さＳＬは、ＳＬ＝（ＣＸ２＋ＣＹ２）１／２として求めることができる。
【００４９】
図７に示すのは、計測線ＳのＺ軸成分ＣＺの算出原理である。図７では計測線ＳがＺ軸方向の教師線ＬＴｚと平行な場合としてある。したがって計測線ＳはＸ軸成分だけからなり、ＣＺ＝Ｓとなる。ＣＺは、上述のＣＸの算出と同様な原理で教師線ＬＴｚに基づいて長さを求めることができる。具体的には、計測線Ｓの下側の端点の座標値ｙｂの位置に仮想される教師線ＬＴｚ‐ｓを用い、教師線ＬＴｚの画素数がＮ、教師線ＬＴｚ‐ｓの画素数がＮａ、そしてＣＺ（＝Ｓ）の画素数がｎａであるとすると、ＣＺは、ＣＺ＝〔（ＴＬ／Ｎ）・（ＴＬ／Ｎａ）〕・ｎａとして求めることができる。
【００５０】
以上がＣＺの算出原理で、実際には下記の式でＣＺを求めるようにしている。ただし式中の「ＣｈｉＨｅｉ＿Ｙ」は、計測線Ｓの端点Ｂを含む地平面の画像上２次元座標におけるｙ軸の座標値である。この「ＣｈｉＨｅｉ＿Ｙ」は、計測線Ｓが地平面にある場合は端点Ｂのｙ軸座標値と同じになる。ただし、計測線Ｓの端点Ｂは必ずしも地平面になくともよい。
ＣＺ＝｜ＴＬ・｛（ｙｂ−ｙａ）・（ｙｖ−ｙｔａ） ／ ｛ （ｙｔａ−ｙｔｂ）・（ｙｖ−ＣｈｉＨｅｉ＿Ｙ）｝｜
【００５１】
以上のような消失点と計測部位の位置関係が１画素あたりの体現長さに相関することを利用した計測では、１画素あたりの体現長さの精度がカメラからの距離に応じて異なり、カメラに近過ぎたり、カメラから遠過ぎたりすると精度が不十分になる可能性がある。そこで、図８に示すように、道路沿い画像４に計測領域１７を適切に設定し、その計測領域１７内についてだけ計測を行えるようにするのが好ましい。この場合、教師線ＬＴｘと教師線ＬＴｚが計測領域１７の外縁となるのが適切である。したがって教師線ＬＴを生成させる画像は、教師線ＬＴｘと教師線ＬＴｚが計測領域１７の外縁となるような条件で撮影された画像を計測対象とするのが好ましい。
【００５２】
図２に戻って、ステップＳ６では、必要な計測部位の全てについて計測が終了したかを判定する。この判定が否定的な場合にはステップＳ４に戻って処理を繰り返し、肯定的になった場合にはステップＳ７に進む。
【００５３】
ステップＳ７では、計測を終えた道路沿い画像に地物データを記録して地物データ付き画像データを生成する。図９に、地物データ付き画像データの例を示す。図９の（ａ）の例の地物データ付き画像データ１８は、道路２の幅員データと道路沿いの建造物１９の高さデータが記録されている場合で、図９の（ｂ）の例の地物データ付き画像データ２０は、電線などの道路横断ケーブル２１の地上高データが記録されている場合である。
【００５４】
ステップＳ８では、必要な画像の全てについて計測が終了したかを判定する。この判定が否定的な場合にはステップＳ１に戻って処理を繰り返し、肯定的になった場合には処理終了となる。
【００５５】
また以上の実施形態は、道路の側線を用いて消失点を求める場合である。これは、例えば不動産の課税評価用の資料あるいはケーブル地上高データ収集用などに地物データ付き画像を利用する場合、画像は、カメラの光軸方向に延びている状態で道路を取り込んで撮影される道路沿い画像となることが通常であること、そしてそのような道路沿い画像では道路の側線が画像面に対して直交する状態になるのが通常であることから、道路の側線を用いて消失点を求めるのが合理的であること、という理由による。つまり消失点を道路の側線で求める方法は、道路沿い画像について特に有効であるということであって、必要に応じて道路以外の地物の輪郭（例えば道路沿いの構造物と道路の境界線など）であっても被写体空間にあって画像面に対し直交する地物の輪郭であればそれを用いて消失点を求めることは可能である。
【００５６】
また計測地物データ例として幅や高さの例を示したが、それ以外に、地物に関しての、ある基準点からの距離、傾き、面積等を含ませることもできる。これらは、広義には画像の地物の、いわゆる幾何学的抽出データとして位置づけることができ、本発明の適用例として加えることができる。
【００５７】
以上、本発明を実施するための形態について説明したが、これは代表的な例に過ぎず、本発明はその趣旨を逸脱することのない範囲で様々な形態で実施することができる。例えば以上の実施形態は、撮影車両を走行させながら取得される道路沿い画像についての場合であったが、本発明はこれに限られず、カメラによる画像一般に適用することが可能である。
【図面の簡単な説明】
【００５８】
【図１】一実施形態による画像上地物計測方法の実施に用いる地物データ取得システムの構成を示す図である。
【図２】画像上地物計測処理の流れを示す図である。
【図３】道路側線や計測線の指定について説明する図である。
【図４】被写体空間における３次元座標の例を示す図である。
【図５】計測線のＸ軸成分の算出についての原理を説明する図である。
【図６】計測線のＹ軸成分の算出についての原理を説明する図である。
【図７】計測線のＺ軸成分の算出についての原理を説明する図である。
【図８】計測領域の例を示す図である。
【図９】地物データ付き画像データの例を示す図である。
【符号の説明】
【００５９】
１ 地物データ取得システム
２ 道路
３ 撮影車両
４ 道路沿い画像
５ 画像上地物計測システム
６ カメラ
７ 撮影管理システム
８ 測位システム
９ 撮影制御システム
１０ 画像データ管理システム
１１ ＧＰＳアンテナ
１２ データ処理装置
１３ 画像上地物計測手段
１４ 画像データ管理部
１５ 計測部
１６ 地物データ記録部
１７ 計測領域
１８ 地物データ付画像データ
１９ 建造物
２０ 地物データ付画像データ
２１ 道路横断ケーブル
ＬＴ 教師線
Ｓ 計測線
Ｖ 消失点
【特許請求の範囲】
【請求項１】
カメラによる地物を含む画像上で当該画像に含まれている地物について計測する画像上地物計測方法において、
前記画像に含まれている地物の輪郭を用いて消失点を求めるとともに、前記消失点に基づいて計測対象の地物の所望計測部位における１画素あたりの体現長さを求め、それによる１画素あたりの体現長さに基づいて地物データの計測をなすようにしたことを特徴とする画像上地物計測方法。
【請求項２】
前記画像は、前記カメラの光軸方向に延びている状態で道路を取り込んで撮影される道路沿い画像であり、前記消失点は、前記道路の側線を用いて求めるようにされていることを特徴とする請求項１に記載の画像上地物計測方法。
【請求項３】
長さが既知の線状体を前記道路沿い画像に取り込ませることで、前記線状体の像として、前記道路沿い画像上での絶対長さが既知となる教師線を前記道路沿い画像中に生成させるようにし、そして計測対象の地物の所望計測部位に対して前記道路沿い画像上で計測線を指定し、前記消失点に対する前記計測線と前記教師線の相対的位置関係の下で前記計測線を前記教師線とそれぞれの画素数について比較することにより地物データの計測をなすようにしたことを特徴とする請求項２に記載の画像上地物計測方法。
【請求項４】
前記教師線は、前記道路沿い画像の被写体空間における３次元座標の各座標軸について生成させるようにしたことを特徴とする請求項２または請求項３に記載の画像上地物計測方法。
【請求項５】
前記被写体空間の３次元座標について横方向をＸ軸、奥行き方向をＹ軸、縦方向をＺ軸とし、また前記道路沿い画像に設定する画像上２次元座標について横方向をｘ軸、縦方向をｙ軸とするとして、
前記計測線のＸ軸成分については、前記計測線の端点の前記ｙ軸上での位置における１画素あたりの体現長さを前記Ｘ軸方向の教師線に基づいて求めて計測をなし、
前記計測線のＺ軸成分については、前記計測線の端点の前記ｙ軸上での位置における１画素あたりの体現長さを前記Ｚ軸方向の教師線に基づいて求めて計測をなし、
前記計測線のＹ軸成分については、任意に仮想される投影中心からの前記道路沿い画像上での投影により、前記Ｙ軸方向の教師線のｙ軸成分と前記計測線のｙ軸成分それぞれを前記画像上２次元座標におけるｘ軸に平行な線分上に投影して得られる教師線投影像と計測線投影像をそれぞれの画素数について比較することで地物データの計測をなすようにされていることを特徴とする請求項４に記載の画像上地物計測方法。
【請求項６】
前記道路沿い画像に計測領域を設定し、その計測領域内についてだけ地物データの計測を行えるようにしたことを特徴とする請求項１〜請求項５のいずれか１項に記載の画像上地物計測方法。
【請求項７】
前記道路沿い画像は、カメラが搭載された車両を走行させながら撮影して得られる画像であることを特徴とする請求項２〜請求項６のいずれか１項に記載の画像上地物計測方法。
【請求項８】
請求項２〜請求項７のいずれか１項に記載の画像上地物計測方法で得られた地物データを前記地物を含む画像上に表示してなる表示方法。
【請求項９】
上記地物データは、地物の長さ、高さ、奥行き、傾き、距離、面積の少なくともいずれか１つを含むものとした請求項１〜８のいずれかに記載の画像上地物計測方法。
【請求項１０】
カメラにて撮像された地物を含む表示画面に表示する表示手段と、
この表示画像上で指定された地物の輪郭線をデータとして取り込み、この輪郭線データからその消失点を求める第１の処理手段と、
この消失点データに基づいて上記表示画像上の計測対象の地物の所望計測部位における１画素当りの体現長さを求める第２の処理手段と、
この体現長さに基づいて計測部位の長さ、高さ、奥行き、傾き、距離、面積の少なくともいずれか１つを含む地物データを求める第３の処理手段と、
を備える画像上地物計測装置。
【請求項１】
カメラによる地物を含む画像上で当該画像に含まれている地物について計測する画像上地物計測方法において、
前記画像に含まれている地物の輪郭を用いて消失点を求めるとともに、前記消失点に基づいて計測対象の地物の所望計測部位における１画素あたりの体現長さを求め、それによる１画素あたりの体現長さに基づいて地物データの計測をなすようにしたことを特徴とする画像上地物計測方法。
【請求項２】
前記画像は、前記カメラの光軸方向に延びている状態で道路を取り込んで撮影される道路沿い画像であり、前記消失点は、前記道路の側線を用いて求めるようにされていることを特徴とする請求項１に記載の画像上地物計測方法。
【請求項３】
長さが既知の線状体を前記道路沿い画像に取り込ませることで、前記線状体の像として、前記道路沿い画像上での絶対長さが既知となる教師線を前記道路沿い画像中に生成させるようにし、そして計測対象の地物の所望計測部位に対して前記道路沿い画像上で計測線を指定し、前記消失点に対する前記計測線と前記教師線の相対的位置関係の下で前記計測線を前記教師線とそれぞれの画素数について比較することにより地物データの計測をなすようにしたことを特徴とする請求項２に記載の画像上地物計測方法。
【請求項４】
前記教師線は、前記道路沿い画像の被写体空間における３次元座標の各座標軸について生成させるようにしたことを特徴とする請求項２または請求項３に記載の画像上地物計測方法。
【請求項５】
前記被写体空間の３次元座標について横方向をＸ軸、奥行き方向をＹ軸、縦方向をＺ軸とし、また前記道路沿い画像に設定する画像上２次元座標について横方向をｘ軸、縦方向をｙ軸とするとして、
前記計測線のＸ軸成分については、前記計測線の端点の前記ｙ軸上での位置における１画素あたりの体現長さを前記Ｘ軸方向の教師線に基づいて求めて計測をなし、
前記計測線のＺ軸成分については、前記計測線の端点の前記ｙ軸上での位置における１画素あたりの体現長さを前記Ｚ軸方向の教師線に基づいて求めて計測をなし、
前記計測線のＹ軸成分については、任意に仮想される投影中心からの前記道路沿い画像上での投影により、前記Ｙ軸方向の教師線のｙ軸成分と前記計測線のｙ軸成分それぞれを前記画像上２次元座標におけるｘ軸に平行な線分上に投影して得られる教師線投影像と計測線投影像をそれぞれの画素数について比較することで地物データの計測をなすようにされていることを特徴とする請求項４に記載の画像上地物計測方法。
【請求項６】
前記道路沿い画像に計測領域を設定し、その計測領域内についてだけ地物データの計測を行えるようにしたことを特徴とする請求項１〜請求項５のいずれか１項に記載の画像上地物計測方法。
【請求項７】
前記道路沿い画像は、カメラが搭載された車両を走行させながら撮影して得られる画像であることを特徴とする請求項２〜請求項６のいずれか１項に記載の画像上地物計測方法。
【請求項８】
請求項２〜請求項７のいずれか１項に記載の画像上地物計測方法で得られた地物データを前記地物を含む画像上に表示してなる表示方法。
【請求項９】
上記地物データは、地物の長さ、高さ、奥行き、傾き、距離、面積の少なくともいずれか１つを含むものとした請求項１〜８のいずれかに記載の画像上地物計測方法。
【請求項１０】
カメラにて撮像された地物を含む表示画面に表示する表示手段と、
この表示画像上で指定された地物の輪郭線をデータとして取り込み、この輪郭線データからその消失点を求める第１の処理手段と、
この消失点データに基づいて上記表示画像上の計測対象の地物の所望計測部位における１画素当りの体現長さを求める第２の処理手段と、
この体現長さに基づいて計測部位の長さ、高さ、奥行き、傾き、距離、面積の少なくともいずれか１つを含む地物データを求める第３の処理手段と、
を備える画像上地物計測装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２００９−２２９１８２（Ｐ２００９−２２９１８２Ａ）
【公開日】平成２１年１０月８日（２００９．１０．８）
【国際特許分類】
【出願番号】特願２００８−７３４８１（Ｐ２００８−７３４８１）
【出願日】平成２０年３月２１日（２００８．３．２１）
【出願人】（３９８０２６６７９）アクリーグ株式会社 (3)
【Ｆターム（参考）】
【公開日】平成２１年１０月８日（２００９．１０．８）
【国際特許分類】
【出願日】平成２０年３月２１日（２００８．３．２１）
【出願人】（３９８０２６６７９）アクリーグ株式会社 (3)
【Ｆターム（参考）】
[ Back to top ]