座標計測装置と座標計測方法
【課題】 安価な市販の道具で、周囲を３次元計測する技術を提供する。
【解決手段】 所定のＸＹＺ直交座標系を用いて、移動体の周囲に存在する計測点の３次元座標を計測する方法であって、移動体を移動しながら、移動体に搭載したラインカメラで撮影を繰返す工程と、ラインカメラで計測点を撮影した時の「移動体の位置と、ラインカメラ視野面のＸＹＺ直交座標系に対する角度と、ラインカメラ映像内での計測点位置」のデータの組を特定する工程と、少なくとも２組の前記データの組から、計測点の座標を演算する工程とを備えている
【解決手段】 所定のＸＹＺ直交座標系を用いて、移動体の周囲に存在する計測点の３次元座標を計測する方法であって、移動体を移動しながら、移動体に搭載したラインカメラで撮影を繰返す工程と、ラインカメラで計測点を撮影した時の「移動体の位置と、ラインカメラ視野面のＸＹＺ直交座標系に対する角度と、ラインカメラ映像内での計測点位置」のデータの組を特定する工程と、少なくとも２組の前記データの組から、計測点の座標を演算する工程とを備えている
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、移動体の周囲に存在する計測点の座標を計測する装置と方法に関する。または、移動する計測点の座標を計測する装置と方法に関する。
【背景技術】
【０００２】
移動体から周囲を見ると、その周囲には多様な物体が存在しており、様々な景色が広がっている。例えば、移動体が車両の場合、法面を切り開いた道路を走行する際には法面を観測することができる。あるいは、交通標識が観測されることもある。また車両がトンネル内を走行するときは上方にトンネルの天井が観測される。車両の下方には路面が観測される。
移動体から周囲に存在する地点の位置を計測したいという要望が存在する。例えば道路を走行する車両から道路側方に植栽されている樹木の形状を測定できれば、剪定作業が必要となったのか否かを判別することができる。あるいは、法面の形状を時間間隔をおいて測定できれば、法面が変形していることを認識することができ、地すべり等の災害が生じる前に必要な対策を講じることができる。また、比較的大型のもの、例えば、材木などを回転させながらその形状を計測する場合、画像と形状を同時に測定することができると非常に有用であることが多い。
【０００３】
景色内に存在する計測点を３次元計測する技術が従来から提案されている。
最も古典的には、航空機を用いて上空から撮影することによって計測点の高さを計測する。上空からエリアカメラによってステレオ撮影した映像を取得し、そのステレオ映像から３次元情報を再現することによって計測点の高さを計測する技術が知られている。
上空から撮影する技術では、上空からは死角となる計測点の高さを計測することができない。例えば、トンネル内壁の形状を計測することはできない。
地上で測量すれば、上空からは死角となるような計測点についても、その位置を計測することができる。しかしながらこの方法では、広域をカバーすることが難しい。
そこで、道路を走行する車両を利用する技術が提案されている。特許文献１には、車両にラインカメラを搭載し、車両を走行させながら車両側方に広がる景色を撮影し、撮影された映像を繋ぎ合わせることで、道路側方に広がる景色のパノラマ映像を生成する技術が開示されている。特許文献２には、車両にレーザスキャナを搭載し、車両を走行させながら車両側方に広がる景色内に存在する計測点の位置を３次元計測する技術が開示されている。特許文献２には、３次元計測して得られた立体形状データに、ラインカメラで撮影した映像を貼り付けることによって、景色を再現する立体映像を再現する技術も説明されている。
【特許文献１】特開２０００−１５６８１８号公報
【特許文献２】特開２００２−３４０５５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
特許文献１の技術では、道路側方に広がる景色のパノラマ映像を取得することに留まっており、景色内に存在する計測点の位置を計測することができない。計測点の位置を数量化することができない。
特許文献２の技術によると、車両の周囲に存在する計測点の位置を計測することができるが、そのために、照射したレーザが計測点で反射して戻ってくるレーザを検出して計測点の位置を３次元計測する手法を用いており、高価なレーザスキャナを必要とする。安価な市販の道具を利用して、周囲の景色を計測することができる技術が望まれている。
またレーザスキャナによる計測では、レーザによる走査に要する時間が長く、移動しながらの計測に不向きであるという問題もある。
【０００５】
本発明では上記課題を解決する。本発明では、安価な市販の道具で、移動体の周囲に存在する計測点の座標を正確に計測する技術を提供する。同様に、この技術は、対象物が移動する場合においても適用できる。
また、上記の技術の計測原理を応用して、安価な市販の道具で、被写体の表面形状を正確に計測することが可能な技術を提供する。
【課題を解決するための手段】
【０００６】
本発明の方法は、所定のＸＹＺ直交座標系を用いて、移動体の周囲に存在する計測点の３次元座標を計測する方法である。その計測方法は、移動体を移動しながら、少なくとも２回異なる方向または位置から計測点を撮影するように移動体に搭載したラインカメラで撮影する工程と、ラインカメラで計測点を撮影した時点におけるラインカメラの位置および方向を特定する工程と、ラインカメラの映像内における計測点の像の位置を特定する工程と、映像内の計測点の像の映像内における位置と計測点とラインカメラの光軸中心を結ぶ視線上の点の前記ＸＹＺ直交座標系における位置との関係を特定する工程と、少なくとも２組の映像内の計測点の像の位置と計測点を撮影した時点におけるラインカメラの位置および方向から前記ＸＹＺ座標系における計測点の位置を演算する工程を備えている。
【０００７】
ここで言う「ラインカメラ」とは、狭義には、直線状に配列された撮像素子の撮像面における像を取得するものであり、通常のエリアカメラの視野が焦点から立体的に四角錐状に広がるのに対し、ラインカメラの視野は焦点から略平面状に三角形に広がる。撮像素子が直線状に配列された一般的なラインセンサカメラに加えて、広義には、得られた映像から直線的に伸びる領域の映像を切り出して使用することが可能な、撮像素子が面的に配列されたエリアカメラを用いても本発明の原理を適用できると解される。ここで得られる1ラインの画像をライン画像と称する。
ここで言う「視線」とは、ラインカメラの直線状の撮像面上の１点から伸び、ラインカメラの焦点を通る、半直線のことをいう。ラインカメラの映像内に像を形成する計測点は、この視線上のどこかに存在する。
ここで言う「視野面」とは、撮像面を直線とみなしたときに視線が集まってできる平面のことをいう。ラインカメラで撮影される複数のライン画像を並べると、１つの映像を得ることができる。この映像は、並べるラインの本数に制約はなく、不定長の映像となるが、ここではこれを「パノラマ映像」と称している。ライン画像における撮像素子の端を特定したとき、パノラマ映像は、ラインごとにこの同じ端に相当する部分を結ぶ線が交差しない、つまり、ライン画像が裏返らないことと、撮像した時刻にしたがって同じ方向にラインを接して並べるものとするが、その他の並べ方に制約はない。多くは、長方形になるように並べる。ラインの撮像は、周期性をもたなくてもよい。ラインが撮像時刻にしたがって番号付けされ得るものであればどのようなものでもよく、この番号付けされたライン画像をここでは、「ラインの時系列」と称している。
【０００８】
図１は、上記した計測方法の原理を模式的に示している。以下では、移動体として道路を走行する車両Ａを用いる場合について説明する。図１では、時刻ｔ１における車両をＡ１で示し、時刻ｔ２における車両をＡ２で示している。図示しない走行距離測定手段によって、時刻ｔ１から時刻ｔ２までに車両Ａが走行した距離Ｌを測定することができる。走行距離測定手段は、車両Ａに搭載されていてもよいし、車外から走行距離を測定する手段であってもよい。ＧＰＳ等を利用することによって、走行距離を測定することもできる。
車両Ａは、第１ラインカメラＢ１と第２ラインカメラＢ２を搭載している。第１ラインカメラＢ１は、視野面Ｃ１と交差する物体表面を撮影する。第２ラインカメラＢ２は、視野面Ｃ２が交差する物体表面を撮影する。
座標系ＸＹＺは、路面を平面とみなし、ＸＹ面が路面と平行となるように設定されている。それぞれのラインカメラは、視野面がＸＹ面に垂直となるように車両Ａに取り付けられている。
図示のＰが計測点を例示している。図１では、時刻ｔ１に第１ラインカメラＢ１が計測点Ｐを撮影し、時刻ｔ２に第２ラインカメラＢ２が計測点Ｐを撮影した様子を示している。
【０００９】
上記の場合において、計測点Ｐは、視野面Ｃ１と視野面Ｃ２の交差する線上に存在する。第１ラインカメラＢ１が計測点Ｐを撮影した時点での、車両Ａの位置と視野面Ｃ１が座標系ＸＹＺに対してなす角度が特定されると、座標系ＸＹＺにおける視野面Ｃ１を特定することができる。第２ラインカメラＢ２が計測点Ｐを撮影した時点での、車両Ａの位置と視野面Ｃ２が座標系ＸＹＺに対してなす角度が特定されると、座標系ＸＹＺにおける視野面Ｃ２を特定することができる。視野面Ｃ１と視野面Ｃ２が特定されると、それらの交差する線が特定される。計測点Ｐは、特定された交線上に存在する。これにより、車体側方から計測点Ｐまでの奥行きが計測できる。計測点Ｐまでの奥行きの計測は、1ライン映像内における計測点の像の位置（すなわち対応する視線）を特定することなく、実施することができる。
上記に加えて、ラインカメラによって撮影される映像内での計測点Ｐの位置およびその計測点における視線の向きが特定されると、計測点Ｐの３次元座標を特定することができる。例えば第１ラインカメラＢ１で撮影される映像内での計測点Ｐの位置が特定されると、第１ラインカメラＢ１の視野内における計測点Ｐの迎角を特定することができる。計測点Ｐは、前記の特定された交線上にあって、かつ第１ラインカメラＢ１から前記の特定された迎角で観測される位置に存在する。従って、上記の特定された交線と、上記の特定された迎角から、計測点Ｐの３次元座標を特定することができる。
【００１０】
上記の計測方法を用いることによって、位置を計測したい計測点が多数存在する場合に、計測点を地上から測量する際に従来実施されている一般的な測量方法にくらべ、作業に係る労力を劇的に低減することができる。またレーザスキャナにくらべ安価なラインカメラを利用して周囲の景色を計測することが可能であり、計測に係る費用を低減することができる。
【００１１】
上記した計測方法は、下記の計測装置を用いることで、好適に実施することができる。本発明の装置は、所定のＸＹＺ直交座標系を用いて、移動体の周囲に存在する計測点の３次元座標を計測する装置である。その計測装置は、移動体と、移動体に搭載したラインカメラと、ラインカメラで撮影を繰返す手段と、ラインカメラで計測点を撮影したときの「移動体の位置と、ラインカメラ視野面のＸＹＺ直交座標系に対する角度と、ラインカメラ映像内での計測点の位置およびその計測点の視線の方向」を備えるデータの組を特定する手段と、特定されたデータの組を記憶する手段と、少なくとも２組の記憶されたデータの組から、計測点の３次元座標を演算する手段とを備えている。
【００１２】
上記の計測方法では、前記移動体に第１ラインカメラと第２ラインカメラを搭載し、前記撮影する工程は、移動体を移動させながら、移動体に搭載した第１ラインカメラと第２ラインカメラのそれぞれで撮影を繰返し、前記特定する工程は、第１ラインカメラで計測点を撮影した時の「移動体の位置と、第１ラインカメラ視野面のＸＹＺ直交座標系に対する角度と、第１ラインカメラ映像内での計測点の位置およびその計測点の視線の方向」を備える第１のデータの組を特定する工程と、第２ラインカメラで計測点を撮影した時の「移動体の位置と、第２ラインカメラ視野面のＸＹＺ直交座標系に対する角度と、第２ラインカメラ映像内での計測点の位置およびその計測点の視線の方向」を備える第２のデータの組を特定する工程と、を備え、前記演算する工程は、前記第１のデータの組と前記第２のデータの組から、計測点の３次元座標を演算することが好ましい。
上記のように、２台のラインカメラを移動体に搭載して、撮影を実施することによって、計測点の座標を演算するために必要なデータの組を一度の撮影工程から取得することが可能となる。
【００１３】
上記の計測方法では、前記撮影する工程は、移動体が、ＸＹ面に平行な面に沿って移動しながら、ラインカメラは、ＸＹ面に垂直な面に沿う視野内を撮影することを繰り返す。
このように移動体の移動する範囲をＸＹ面に平行な面に沿う範囲しながらその位置と向きを計測することによって、広範囲な計測点を位置を計測でき、かつ、XY面に投影した計測点の位置特定に係る処理時間を短縮することができる。
【００１４】
上記の方法によって計測点の位置を特定する場合について説明する。上記の方法の場合、図１の第１ラインカメラＢ１は、平面視したときに、車両の進行方向からθ１の撮影方向を撮影する。ここで、図１において時刻ｔ１におけるカメラの位置を原点とし、車の進行方向をＸ軸正の向きとする。上方がＺ軸である。角度の向きは、Ｘ軸正の方向から時計と反対周りが正である。カメラの視野面は、図１において第１ラインカメラがＣ１、第２ラインカメラがＣ２である。図１をXY面に投影したものが図２であって、視野面Ｃ１、Ｃ２の共通部分である直線が1点Pで表現される。このXY座標軸は、移動の間すなわち、ｔ１からｔ２までにおいて同じであるとする。図１の第１ラインカメラＢ１の視野面をXY面に投影すると直線となるが、この直線は車両の進行方向（図１では時刻ｔ１の進行方向がＸ軸と一致している）からθ１の方向である。つまり、第１ラインカメラＢ１はθ１の方向の計測点を撮像している。同様に第２ラインカメラB２は、θ２の方向を撮像している。
図２において、２つのカメラが同じ計測点を撮像したとして、その位置は、Pであるので、この位置（Xo,Yo）をｔ１の車両の位置を基準に示すと以下である。
Ｘｏ＝Ｌ・tanθ２／（tanθ２−tanθ１）
Ｙｏ＝Ｌ・tanθ１・tanθ２／（tanθ２−tanθ１）
【００１５】
時刻ｔ１において車両Ａが位置していた道路上の座標原点から計測点Ｐまでの平面内距離Ｈｏは、次の式から計算することができる。
Ｈｏ＝（Ｘｏ２＋Ｙｏ２）１／２
＝Ｌ・（１＋tan２θ１）１／２・｜tanθ２／（tanθ２−tanθ１）｜
ここで、いうXY面は、この車両を例にとると道路面であるが、カメラを下方に向けた場合（図１のカメラ１とカメラ２をX軸回りに９０度回転下向き）、XY面を路面と垂直面にとればよく、この場合、車両が、路面に平行に進行しているとみなすと、ライン画像に映る路面の凹凸を検出できる。
【００１６】
図１と図２に示したように、Ｘ軸に対して異なる角度に設定されているＸ−Ｙ面に垂直な面に沿った視野内を撮影する２台のラインカメラＢ１，Ｂ２を利用することによって、計測点ＰのＸ座標とＹ座標を計算することができ、さらには水平面内距離Ｈｏを計算することができる。そこに、仰角の情報を加味すると、高さを計算することができる。ここでは、カメラ１とカメラ２の光軸が同じ平面上であるとする。
図１と図５は、第１ラインカメラＢ１の仰角φ１から、時刻ｔ１において車両Ａが位置していた道路上の座標系（Ｘ、Ｙ、Ｚ座標系）によって、計測点Ｐの高さ座標Ｚｏを計算する様子を示している。図５は、ＹＺ平面ではなく、第１ラインカメラＢ１が撮影する垂直面Ｃ１の面内であることに留意されたい。
計測点Ｐが第１ラインカメラＢ１で撮影されたときの仰角をφ１とすれば、計測点Ｐの高さ座標Ｚｏは、下記の式で計算できる。
Ｚｏ＝Ｈｏ・tanφ１
＝Ｌ・tanφ１・（１＋tan２θ１）１／２・｜tanθ２／（tanθ２−tanθ１）｜
同様の計算は、第２ラインカメラＢ２で撮影されたときの仰角φ２から実行することもできる。仰角は、第１ラインカメラＢ１と第２ラインカメラＢ２の少なくとも一方から入手できればよい。
迎角φ１は、例えば図５に示すように、ラインカメラのレンズから像面までの距離Ｆと、計測点を像面に投影した点の像面上での高さＺＣから、下記の式で計算できる。
tanφ１＝ＺＣ／Ｆ
本技術によると、移動体の周囲の大半の点（大半の点が両方のパノラマ映像に撮影されている）のＸ座標、Ｙ座標、Ｚ座標を計測することができる。これらの位置関係は、時刻ｔ１における移動体の位置と姿勢で決まる座標軸および座標原点によって求められているものであることに注意されたい。移動体の位置が、固定された座標軸と座標原点で表現できれば、この計測点の位置は、これらの座標系によって表現できる。
【００１７】
上記式では、平面視したときに、２台のラインカメラＢ１、Ｂ２が車両Ａの同一位置に搭載されているものとしている。２台のラインカメラＢ１、Ｂ２の車両Ａにおける搭載位置が相違する場合には、車両の進行方向に沿って測定した搭載位置間距離によって走行距離から補正した値を、前記Ｌの値とする。
計測点Ｐが第１ラインカメラＢ１で撮影された第１撮影時点ｔ１と、計測点Ｐが第２ラインカメラＢ２で撮影された第２撮影時点ｔ２は、撮影しながらリアルタイムで特定してもよい。あるいは、撮影データを記録しておき、それを再現した結果から特定することもできる。
【００１８】
上記の例では、車両は直線的な軌道を走行しているため、移動体進行方向は常にＸ軸の方向に等しい。車両が曲線を描く軌道を走行して移動体進行方向のＸ軸からの角度が変化する場合には、それを考慮すればよい。図２において計測点Ｐを通る２本の直線ａ、ｂを決定するのに足りる情報が得られれば、計測点ＰのＹ座標が決定できる。それぞれの直線ａ、ｂの通る位置と角度が２組決定できればよい。ラインカメラの視野面がＸＹ面に垂直であることから、ラインカメラで計測点を撮影した時点を図２に再現することができる。ここで、移動体に対するカメラの設置位置および姿勢が変わらないのであれば、計測点を撮影したときの移動体の位置と姿勢を求めることによりこれらが決定できる。したがって、移動体の位置を固定された座標軸と座標原点で表現できれば、この計測点の位置が、これらの座標系によって表現できる。これは、移動体の位置を画像を撮像する時刻と同時に計測し記録することによって実現される。
【００１９】
上記の計測方法では、移動体に２台のラインカメラを搭載して、一度の撮影で２つのデータの組を取得する代わりに、移動体に１台のラインカメラを搭載して、２度の撮影で２つのデータの組を取得してもよい。このような場合には、上記の計測方法では、前記撮影する工程は、移動体を第１の所定軌道に沿って移動しながら、ラインカメラで撮影を繰り返す第１撮影工程と、移動体を第２の所定軌道に沿って移動しながら、ラインカメラで撮影を繰り返す第２撮影工程とを備え、前記特定する工程は、第１撮影工程で計測点を撮影した時の「移動体の位置と、ラインカメラ視野面のＸＹＺ直交座標系に対する角度と、ラインカメラ映像内での計測点の位置およびその計測点の視線の方向」を備える第１のデータの組を特定する工程と、第２撮影工程で計測点を撮影した時の「移動体の位置と、ラインカメラ視野面のＸＹＺ直交座標系に対する角度と、ラインカメラ映像内での計測点の位置およびその計測点の視線の方向」を備える第２のデータの組を特定する工程とを備え、前記演算する工程は、前記第１のデータの組と前記第２のデータの組から、計測点の３次元座標を演算する、ことが好ましい。
上記の第１の所定軌道と第２の所定軌道は、同一でもよいし、異なっていてもよい。このような場合、計測作業に必要なラインカメラは１台であり、複数のラインカメラを用いる必要はない。計測作業に要する機材に係る費用を低減することができる。上述したように、移動体の経路において画像を撮像する時刻と同時に計測し記録することが望ましい。
【００２０】
図３に、１台のラインカメラ１０６を車両１０８に所定角度で固定し、車両１０８を２回走行させて周囲を撮影する場合の模式図を示す。まず１回目の撮影では、車両１０８は軌道１０４上を走行し、所定の距離を走行する度に、周囲の被写体１０２をラインカメラ１０６で撮影していく。次に２回目の撮影では、車両１０８は軌道１１０上を走行し、所定の距離を走行する度に、周囲の被写体１０２をラインカメラ１０８で撮影していく。軌道１０４と軌道１１０は進行方位が互いに異なる直線状の軌道であり、軌道１０４を走行する際のラインカメラ１０６の視野の角度と、軌道１１０を走行する際のラインカメラ１０６の視野の角度は、互いに異なる。１回目の走行軌道１０４を車両１０８が走行するときの進行方向をＸ軸として、Ｘ軸に垂直な水平方向をＹ軸とする。走行軌道１０４上で計測点Ｐを撮影した車両１０８の位置と、そのときのラインカメラ１０６の設置角度から直線ａの位置と方向が決まり、走行軌道１１０上で計測点Ｐを撮影した車両１０８の位置と、そのときの車両１０８の進行方位角度と、そのときのラインカメラ１０６の設置角度から、直線ｂの位置と方向が決まる。その結果、三角測量の原理で計測点ＰのＹ座標を算出することができる。走行軌道１０４、１１０は、車両１０８の走行中に磁気コンパス等を用いて車両１０８の進行方位を随時計測して、車両１０８の走行距離と進行方位の関係から決定してもよいし、ＧＰＳ受信機を車両１０８に搭載して、車両１０８の走行中に車両１０８の位置と進行方位を随時計測して決定してもよい。また車両を走行させる前に、予め走行軌道１０４、１１０を所定の形状に規定しておき、規定された軌道の上で車両を走行させてもよい。この計測方法でも、図２の２本の直線ａ、ｂを決定するのに必要な情報を得ることができる。
【００２１】
また、車両の走行する軌道によっては、１台のラインカメラを車両に搭載して、１回の走行で同一の計測点を２回計測することが可能な場合がある。このような場合には、作業に必要となる機材の費用を低減し、かつ作業に係る労力を低減することができる。
【００２２】
図４に示すように、車両１０８が直線的な軌道ではなく、曲線を描く軌道１２０上を走行する場合、１度の走行で計測点Ｐが２回撮影される。計測点Ｐを撮影した時点での車両１０８の位置と進行方向を特定することで、計測点Ｐを通る２本の直線ａ、ｂの位置と方向を決定することができ、三角測量の原理に基づいて計測点Ｐの位置を算出することができる。
走行軌道１２０は車両１０８の走行中に磁気コンパス等を用いて車両１０８の進行方位を随時計測して、車両１０８の走行距離と進行方位の関係から決定してもよいし、ＧＰＳ受信機を車両１０８に搭載して、車両１０８の走行中に車両１０８の位置と進行方位を随時計測して決定してもよい。また車両１０８を走行させる前に、予め走行軌道１２０を所定の形状に規定しておき、規定された軌道の上で車両１０８を走行させてもよい。
また、計測点Ｐを撮影した時点における車両１０８の走行距離は、ロータリーエンコーダ等を用いて計測することができる。車両１０８の走行軌道１２０と、計測点Ｐを撮影した時点での車両１０８の走行距離とが特定されると、車両１０８の位置と、そのときのラインカメラ１０６の角度が特定される。特定された位置と角度に基づいて、計測点Ｐを通る２本の直線ａ、ｂの位置と方向を決定することができ、計測点Ｐの位置を算出することができる。
【００２３】
上記したように、計測点Ｐが第１ラインカメラＢ１で撮影された第１撮影時点ｔ１と、計測点Ｐが第２ラインカメラＢ２で撮影された第２撮影時点ｔ２は、撮影しながらリアルタイムで特定してもよい。あるいは、撮影データを記録しておき、それを再現した結果から特定してもよい。後者の場合には、第１ラインカメラＢ１で撮影された垂直面Ｃ１に沿った映像を車両進行方向に並列配置することによって第１ラインカメラＢ１によって撮影されたパノラマ映像を得ることができる。また、第２ラインカメラＢ２で撮影された垂直面Ｃ２に沿った映像を車両進行方向に並列配置することによって第２ラインカメラＢ２によって撮影されたパノラマ映像を得ることができる。得られる２つのパノラマ映像を用いて、ステレオ視の原理を用いて計測点の位置を計測することもできる。
【００２４】
本発明で具現化される他の一つの計測方法は、所定のＸＹＺ直交座標系を用いて、移動体の周囲に存在する計測点の３次元座標を計測する方法である。その計測方法は、移動体を移動しながら、移動体に搭載されているラインカメラで撮影を繰返す工程と、得られた画像を進行方向に繋ぎ合わせたパノラマ映像を作成する工程と、「計測点のパノラマ映像内の座標と、ラインカメラのカメラパラメータ」を備えるデータの組を特定する工程と、ラインカメラのカメラパラメータを撮像ラインの時系列に関連付ける手段と、少なくとも２組の前記特定されたデータの組とから、計測点の３次元座標を演算する工程とを備えている。この方法は、上述のようにカメラの視野面の角度や視線の方向などを陽に求めなくても撮像された画像における計測点の位置と所定の座標系に記述された計測点の位置の関係を表現できる点において非常に有用である。とくに、焦点距離などを正確に求めることは困難であり、以下で述べる方法によることが望ましい。
【００２５】
ラインカメラを移動させながら連続的に撮影し、得られた線状の映像を繋ぎ合わせていくことで、連続的でサイズ制約のないパノラマ映像を作成することができる。通常のエリアカメラによる撮影では、撮影対象までの奥行きに応じて、一回の撮影で得られる映像内での位置に応じて像の映り方が異なる。すなわち、一回の撮影で得られる映像において、映像の中央部と映像の端部とでは、同一の像であっても、その映り方が異なる。従って、カメラを移動させながら連続的に撮影して、得られた映像を繋ぎ合わせてパノラマ映像を作成すると、各映像の繋ぎ目で像の映り方に不整合が生じてしまい、連続的なパノラマ映像を作成することができない。ラインカメラを使用する場合、映像内での像の映り方は幅方向に関してほとんど変化がないため、上記したような不整合を生じることなく、連続的なパノラマ映像を容易に作成することができる。
ラインカメラとしては、好適にはラインセンサカメラを用いる。ラインセンサカメラとは、光を受光する感光部が一列に配列されたセンサのことを言う。
ラインセンサカメラはベルトコンベアに流れる製品の検査などの用途によく利用される。通常のエリアカメラに比べて、解像度が高く、スキャンレートが非常に早いからである。一般にスキャンレートが早い場合、露光時間が短くなるため照明の照度を上げなければならないが、ラインセンサカメラの撮像範囲は線状であるため、集光した高輝度の光源により、容易に鮮明な画像を得ることができる。上述のように、ラインセンサカメラにはエリアカメラには無い様々な利点がある。
【００２６】
撮像した対象物の画像中の位置とそれが存在する空間位置との関係は、カメラパラメータとして表現される。カメラパラメータは、任意に設定した計測点および画像の座標系によって記述されるカメラ画像の位置とその計測点の関係を同次座標で表現するものである。ラインカメラの場合、得られる画像を撮像ラインを並べたものであると考えるが、透視変換を表現するカメラパラメータは、１ラインについての記述である。カメラの画像位置を原点を適当にとってＸｃと表現し、計測点を直交座標系で表現した座標値として、Ｘ０、Ｙ０、Ｚ０とする。これらの関係は、以下である。
【数１】
また画像のY座標は０であるので、以下の関係がある。
【数２】
ここに、C11〜C34がカメラパラメータである。ここで、C34は、１として差し支えない。エリアカメラの場合、カメラパラメータを求めるのは、容易である。すなわち、座標系を固定した上で、形状が既知であるものを撮像し、上記パラメータを最小自乗近似して求めればよい。しかし、ラインカメラの場合、画像が１ラインしかないため、形状が既知のものを撮像しても判読不明である。そこで、ラインカメラを移動させるか、もしくは、対象物を移動させるかして画像を得た上で、上記パラメータを算出する方法をとる。今、カメラが、既知の座標系に対して、速度ベクトル(nx,ny,nz)で並進移動すると、カメラともに移動する座標系においては、物体の座標位置は、以下のように変換される。カメラは、等速運動するものとし、単位時間に進む距離は、１である。
【数３】
ここに、Xo’、Yo’、Zo’は、固定した座標系による座標値、Xo、Yo、Zoは、並進移動した座標系による座標値である。上式を先のカメラパラメータによる関係式に代入すると、C11〜C33に関する１次式ができる。これより、C11〜C33を算出する。ここに、カメラが移動した場合の固定座標による計測点の位置とそれに対応した画像位置の関係が以下のように求められる。
【数４】
ここで、
【数５】
は、ラインの番号ごとに変化するみかけのカメラパラメータとみることができる。視野が異なる２つのラインカメラが一つの移動体に固定され、同一のタイミングでラインを撮像するとき、計測点の位置を共通の座標系で記述するようなカメラパラメータを算出することは、さきに述べた方法で容易であるので、（４）（５）式から、計測点の位置Xo、Yo、Zoを算出可能である。また、上記は、カメラが並進運動するとして、その座標変換を求めたが、この座標変換は、アフィン変換でよく、すなわち、ライン画像のライン番号とそのときの移動体の向きと位置が対応付けられていれば、同様に計測点の位置を算出可能である。この場合、一つのカメラで数回の撮像を行って求めることも可能である。
【００２７】
一つの移動体に複数のラインカメラが搭載されている場合、一方のカメラ画像に映った計測点は、他方のカメラの画像のどの位置に存在し得るかを計算することが可能である。例えば２つのカメラがあったとして、それぞれ（４）（５）式のカメラパラメータが同じ座標系（物体側）のもとに算出されているとする。すると、２つのカメラに対する（４）（５）式から、Xo、Yo、Zoを同じ値として消去するとそれぞれのカメラの画像位置Xcとライン番号ｎの関係式ができる。
【数６】
（７）（８）（９）式は、（１）（２）式をXo、Yoについて解いたもので、Zoをパラメータとしている。これは、ラインカメラにおける撮像点Xｃの視線を表現したものであるが、例えば、カメラAにおける０番目のラインにおける画素Xｃの視線である。カメラBは、カメラAと相対位置関係が固定され、両方とも同じ座標系によってカメラパラメータが記述されているとする。さきの画素Xcに現れている計測点は，カメラBでは、（４）（５）式に（７）（８）式のXo、Yoを代入して得られる（Xc、ｎ）の位置である。（５）式にXo、Yoを代入するとｓがｎの１次式で表現され、（４）式にXo,Yoを代入することで、Xcとｎの1次式ができる。これが、カメラBにおけるカメラAのXcの視線を表現したものである。
【００２８】
上述した方法は、カメラが固定され対象物がベルトコンベアなどで並進運動している場合であっても同様であって、この場合、例えば、ベルトコンベアが１ｍｍ進むごとに複数のラインカメラが撮像することを繰り返せばよい。この場合、（４）（５）における速度ベクトルの向きが逆になることは、あきらかである。
【００２９】
移動体が回転する場合も上記と同様である。このとき、回転軸をz軸、それに直交するｘ軸、ｙ軸として、カメラが回転軸に直交する平面上の円周を移動する場合、カメラパラメータを表現すると以下である。回転角度が０度の基準を設け、これによりカメラパラメータが算出されていたとする。カメラがθ回転したとき、計測点Xo、Yo、Zoと画像位置Xcとの関係は、
【数７】
このようにカメラが回転軸に直交する平面上の円周を移動する場合、計測点の回転軸からの距離は、容易に求めることができる。（１）（２）式において、中心軸をＺ軸、これに垂直な面をＸＹ軸として座標系を設定し、カメラパラメータを求めておく。（１）（２）式からZoをパラメータとしてXo、Yoを求めると以下である。
【数８】
いま、２つのカメラパラメータを記述する座標軸は、z軸が共通であるが、Ｘ，Ｙ軸が異なっているものとする。すると、同一の計測点であっても、（１２）（１３）式で算出されるXo、Yoが異なるが、Z軸からの距離は、同じである。また、中心からの距離が同じであるので、
【数９】
によって、中心軸から計測点までの距離を求めることができる。この方法の利点は、カメラパラメータ算出についてのZ軸は、共通とするが、X、Y軸は、Z軸に直交するのみで異なっていてもよい点にある。
【００３０】
回転体を固定された方向の異なる２台のラインカメラで撮像する場合、カメラパラメータ算出に関わる座標系は、Z軸を回転軸、これに直交するX、Y軸を共通にとる。回転体が、例えば、１度回転するごとに２台のラインカメラは、同時にラインを撮像する。こうすると、ラインの時系列は、回転角度に関連付けられる。同一の計測点が、１方のカメラ（カメラ１）では、θ１の角度で算出され、他方のカメラ（カメラ２）では、θ２の角度で算出されたとする。このとき、一方のカメラで観察された計測点が、他方のカメラでθ２−θ１回転して観察されたと解釈できる。よって、（１）（２）式において、カメラの物体座標Xo,Yo,Zoは、カメラ２においては、θ２−θ１回転変換した位置とする。こうして、カメラ１とカメラ２からそれぞれの画像中の計測点の位置を代入した（１）（２）式を得て、Xo,Yo,Zoを算出する。例えば、カメラパラメータの座標は、Z軸が回転体の中心軸、これに直交してX軸、Y軸とする。回転体の計測点が、このX軸からθのところでラインカメラの画像として現われたとする。回転体の形状を０度の角度のときで表現するものとする。さきに（１）（２）式によって、ライン上の画像位置Xｃと計測点Xo、Yo、Zoとの関係は、
【数１０】
である。２つのカメラから得られる上式からXcとθを既知としてXo、Yo、Zoを求める。（１４）（１５）式と（１０）（１１）式は、θの符号が逆であって、ちょうど、カメラが並進移動する場合と物体が並進移動する場合の関係と同じである。
【００３１】
移動体にラインカメラを搭載して撮像した画像は、パノラマ画像になることが知られている。これは、１ラインごとに撮像された画像を時系列に並べたものである。パノラマ映像を利用する方法によると、両方のパノラマ映像に撮影されている任意の点を事後的に計測点Ｐとすることができ、撮影されている任意の点の３次元座標を計測することができる。本技術によると、景色内の大半の点（大半の点が両方のパノラマ映像に撮影されている）の３次元座標を計測することができる。
【００３２】
上記の計測方法は、下記の装置を用いることで好適に実施することができる。本発明の装置は、所定のＸＹＺ直交座標系を用いて、移動体の周囲に存在する計測点の３次元座標を計測する装置である。その計測装置は、移動体と、移動体に搭載したラインカメラと、ラインカメラで撮影を繰返す手段と、撮影された映像を移動体の位置に関連付けて記憶する手段と、記憶された映像を進行方向に繋ぎ合わせたパノラマ映像を作成する手段と、「計測点のパノラマ映像内の座標と、ラインカメラのカメラパラメータ」を備えるデータの組を特定する手段と、特定されたデータの組を記憶する手段と、それぞれのラインカメラのカメラパラメータの関係（座標系の関係）を特定する手段と、少なくとも２組の記憶されたデータの組から、計測点の３次元座標を演算する手段とを備えている。
【００３３】
上記の計測方法では、前記移動体に第１ラインカメラと第２ラインカメラを搭載し、前記撮影する工程は、移動体を移動しながら、移動体に搭載した第１ラインカメラと第２ラインカメラのそれぞれで撮影を繰返し、前記作成する工程は、第１ラインカメラから得られた映像を進行方向に繋ぎ合わせた第１パノラマ映像を作成する工程と、第２ラインカメラから得られら映像を進行方向に繋ぎ合わせた第２パノラマ映像を作成する工程と、を備え、前記特定する工程は、「計測点の第１パノラマ映像内の座標と、第１ラインカメラのカメラパラメータ」を備える第１のデータの組を特定する工程と、「計測点の第２パノラマ映像内の座標と、第２ラインカメラのカメラパラメータ」を備える第２のデータの組を特定する工程と、を備え、前記演算する工程は、特定された第１のデータの組と、特定された第２のデータの組と、それぞれのラインカメラのカメラパラメータの関係（座標系の関係）を特定する手段をとから、計測点の３次元座標を演算することが好ましい。
上記のように、２台のラインカメラを移動体に搭載して撮影を実施することによって、一度の撮影工程から２つのパノラマ映像を取得して、計測点の座標を演算するために必要な２のデータの組を取得することが可能となる。この場合、第１ラインカメラが撮像した計測点が、第２ラインカメラで撮像されるまでの間、移動体が並進移動しているものと仮定すると既に詳述した計算によって、第１ラインカメラで撮像した位置と向きを基準にした3次元位置を計測することが可能である。
移動体の移動方向は、並進に限定しなくても計測可能である。移動体の位置と向きをラインカメラの撮像とともに記録すればよい。移動が移動した位置と向きから、カメラパラメータを算出した座標軸に対して計測点の位置を記述可能である。よって、カメラ撮像した時刻とカメラとともに移動した計測点の座標で表現されている（１）（２）式のXo,Yo,Zoを固定した座標系によって記述したXo’,Yo’,Zo’によって表現し、代入すればよい。この表現は、移動体の位置と向きを計測することで可能である。
【００３４】
複数のパノラマ映像における同一の計測点を探索する演算は、カメラパラメータを使って、既に詳述した方法を用いればよい。
【００３５】
ここでいう複数のパノラマ映像は、一つの移動体に向きの異なる複数のラインカメラを搭載して得られるもの、もしくは、異なった軌道によって複数回の撮像を行ったものいずれも、計測点の位置を計算するのに用いることができる。パノラマ映像のライン番号に関連付けられた移動体の位置、およびカメラパラメータが記録もしくは演算できれば十分である。請求項２および３で述べる方法であっても、同様にパノラマ映像のライン番号に関連付けられた移動体の位置がわかれば十分である。
また、一つのパノラマ映像であっても、異なる向きから同じ計測点を撮像したことが特定できれば、上記の条件で同様に計測点の位置が計算できる。
【００３６】
移動体が回転する場合、同様にパノラマ映像が得られる。これは、対象物の全周を連続的に撮像したものである。対象物は、円周の内にあっても外にあってもよい。この場合、パノラマ映像のライン番号に回転角度が関連付けられていると同様に計測点の位置が計算できる。
【００３７】
パノラマ映像において移動体の位置とライン番号を関連付ける手段、装置は、さまざまなものがある。最も単純な場合は、移動体が等速直線運動し、ラインカメラは一定の時刻ごとに撮像を繰り返すものとすればよい。移動体が例えば、車のようなものである場合、ロータリーエンコーダによって、一定距離進むごとにパルスを発生させ、このタイミングでラインカメラがラインを撮像する技術はよく知られている。このような手法は、移動体が直線移動している場合、もしくは軌道が予め分かっている場合に有効である。さらに、GPSなど位置を計測するセンサによって、ラインの撮像、記録と同時に移動体の位置を記録してもよい。ラインカメラが１ラインを撮像する時間は、非常に短くすることが可能であり、例えば、１秒間に２０００ライン程度を撮像することは十分可能である。上述したように、位置の記録はすべてのラインごとに行う必要はなく、例えば１秒間隔で位置を計測し、最も時刻が近接したラインをその位置における撮像と置き換え、その他は等速近似によって取得してもよい場合がある。また、軌道そのものも区分ごとに直線近似してもよい場合がある。回転する場合は、回転角を計測するが、これロータリーエンコーダやポテンシオメーターで十分である。
【００３８】
ラインカメラが静止している場合であっても、対象物が移動もしくは回転する場合、同様にパノラマ映像が得られる。例えば、対象物がベルトコンベアに載置されて移動する場合は、ベルトコンベアに付随するロータリーエンコーダの発生するパルスをトリガとしてライン画像を撮像すればよい。対象物が回転する場合は、回転角度をロータリーエンコーダで計測すればよい。このときもロータリーエンコーダが一定角度回転するごとに発生するパルスによってライン撮像を繰り返すと、容易に角度とライン画像とを関連付けることができる。
【００３９】
本発明における移動体としては、さまざまな種類のものを考えることができる。例えば、車にラインカメラを搭載して景観の計測を行ってもよいし、ラインカメラがレール上を移動することで、エリアカメラでは得られない広範囲かつ高精度の位置計測を行ってもよいし、船や飛行機にラインカメラを搭載してもよい。
【００４０】
２つの基準位置にある回転軸の周りで、１台のラインカメラをそれぞれ回転させることによっても、計測点の３次元座標を計測することができる。
上記の計測方法では、前記撮影する工程は、第１基準位置に置かれたラインカメラをＺ方向に伸びる回転軸の周りに回転させながら撮影を繰返す第１撮影工程と、第２基準位置に置かれたラインカメラをＺ方向に伸びる回転軸の周りに回転させながら撮影を繰返す第２撮影工程と、を備え、前記作成する工程は、第１撮影工程で得られた映像を繋ぎ合わせて第１パノラマ映像を作成する第１作成工程と、第２撮影工程で得られた映像を繋ぎ合わせて第２パノラマ映像を作成する第２作成工程と、を備え、前記特定する工程は、「計測点の第１パノラマ映像内での位置と、第１撮影工程におけるラインカメラのカメラパラメータ」を備える第１のデータの組と、「計測点の第２パノラマ映像内での位置と、第２撮影工程におけるラインカメラのカメラパラメータ」を備える第２のデータの組を特定し、前記演算する工程は、第１のデータの組と第２のデータの組から、計測点の３次元座標を演算することが好ましい。
【００４１】
図８は、本計測方法を用いて被写体１３０の計測点Ｐの座標を算出する原理を説明する図である。回転体１３２、１３４は、地上の異なる地点に間隔Ｌ２だけ離れて配置され、それぞれラインカメラ１３６、１３８を搭載している。回転体１３２、１３４は、鉛直方向を回転軸として、一定の速度で回転する。ラインカメラ１３６は、回転体１３２の回転軸の方向（図８の紙面垂直方向）に直線状に伸びる視野内を撮影する。ラインカメラ１３８は、回転体１３４の回転軸の方向（図８の紙面垂直方向）に直線状に伸びる視野内を撮影する。
回転体１３２が回転し、ラインカメラ１３６は逐次周囲を撮影する。撮影された画像から、第１パノラマ映像が作成される。第１パノラマ映像内には、被写体１３０の計測点Ｐが観測される。被写体１３０の計測点Ｐは、回転体１３２のラインカメラ１３６の視野が、所定の方位（図８の上方向）から時計回りに角度θ１´の方向を向いた時点で撮影されている。第１パノラマ映像は、ラインカメラ１３６が撮影した画像を、回転角が増加（または減少）する方向に繋ぎ合せて作成されており、第１パノラマ映像内の計測点Ｐの位置と、ラインカメラ１３６のカメラパラメータから、計測点Ｐが撮影された時点でのラインカメラ１３６の角度θ１´が特定される。
また、回転体１３４が回転し、ラインカメラ１３８は逐次周囲を撮影する。撮影された画像から、第２パノラマ映像が作成される。第２パノラマ映像内には、被写体１３０の計測点Ｐが観測される。被写体１３０の計測点Ｐは、回転体１３４のラインカメラ１３８の視野が、所定の方位（図８の上方向）から時計回りに角度θ２´の方向を向いた時点で撮影されている。第２パノラマ映像は、ラインカメラ１３８が撮影した画像を、回転角が増加（または減少）する方向に繋ぎ合せて作成されており、第２パノラマ映像内の計測点Ｐの位置と、ラインカメラ１３８のカメラパラメータから、計測点Ｐが撮影された時点でのラインカメラ１３８の角度θ２´が特定される。
特定された角度θ１´、θ２´と、回転体１３２と回転体１３４の設置間隔Ｌ２から、計測点のＸ−Ｙ面内での位置を算出することができる。また、第１パノラマ映像または第２パノラマ映像における計測点Ｐの位置と、カメラパラメータから、計測点ＰのＺ座標についても算出することができる。
【００４２】
上記した方法は、カメラパラメータを算出することによっても同様に行える。この場合、基準点が２つあるが、一方のカメラパラメータを他方の座標系に変換する必要がある。ここでは、計測点を表現する座標を回転して平行移動したものにしなければならない。こうした変換を施したのち、２つのカメラにおける計測点の画像位置からその空間座標値を算出する。
【００４３】
上記のように、ラインカメラが定位置で回転する場合にも、安価な道具を利用して景色内に存在する計測点の位置を計測することができる。
【発明の効果】
【００４４】
本発明の計測装置あるいは計測方法によれば、ラインカメラという市販されている安価な道具を利用して、移動体の周囲に存在する計測点の位置を計測することが可能となる。
上記の装置あるいは方法は、次のような用途への応用が可能である。
（１）道路側方に連続的に存在する構造物の位置、奥行きあるいは高さの計測
（２）トンネル内壁の概形形状といった、広範囲に広がる構造物の位置の計測
（３）路面の凹凸、特にわだちなどの局所的なくぼみの計測
（４）レール上を移動するカメラによるパノラマ撮影と位置計測
（５）木材加工における材木などの回転物体の形状測定
（６）回転ポールに搭載したラインカメラによる広範囲ステレオ画像計測
【発明を実施するための最良の形態】
【００４５】
以下、本発明を具現化した実施例について図面を参照して説明する。最初に実施例の主要な特徴を列記する。
（形態１）：移動体は、道路を走行する車両である。
（形態２）：車両のＸＹ面内位置は、車両の走行軌道と、車両の走行距離から算出する。
（形態３）：車両の走行距離は、車両に搭載され道路面に接触して回転するロータリーエンコーダを用いて特定する。
（形態４）：車両が所定距離を走行するたびに、ラインカメラは垂直方向に伸びる視野内を撮影する。
（形態５）：所定距離ごとに撮影された垂直方向に長い映像を、進行方向に並列配置してパノラマ映像を生成する手段が用意されている。
（形態６）：車両が走行する間、ラインカメラが撮影する方向は車両に対して固定されており、車両の進行方向を計測することによって、ラインカメラの視野の方向を特定することができる。
【実施例】
【００４６】
（第１実施例）
図９から図１１を参照しながら、本発明を具現化した計測装置６について説明する。図９は本発明の計測装置６を模式的に示した図であり、図１０は計測装置６を図９の視点ＶＡから見た図であり、図１１は計測装置６を図９の視点ＶＢから見た図である。
【００４７】
図９に明示されているように、計測装置６は、測定車１８、撮影部２０、ロータリーエンコーダ１６、制御装置１０、記憶装置１２を備えている。
測定車１８は、マイクロバスを測定用に改造したものである。
撮影部２０は、測定車１８の上部に配置され、測定車１８の側方に向けて張り出した架台２を備え、架台２の上に２台のラインカメラ４および８を備えている。
ラインカメラ４および８は、光入力を電気信号に変換する多数の撮像素子が縦一列に配列されており、その前面に光信号を集めるレンズを設けている。ラインカメラ４および８は、制御装置１０からの指示によって、レンズを透過して入力された映像をＣＭＯＳ、ＣＣＤ等の撮像素子で撮影する。このラインカメラ４および８は、それぞれ４０９６個の撮像素子を持つ。各撮像素子は、レンズから５ｍ離れた被写体について「１ｍｍ×１ｍｍ」の区画を撮影可能である。
ラインカメラ８は、撮像素子が路面の垂直方向（Ｚ方向）に一列となるように設置されている。図９から図１１に示すように、ラインカメラ８は光軸が水平で、かつ測定車１８の進行方向（Ｘ方向）に対して垂直となるように設置角度を調整されている。すなわち、ラインカメラ８の視野は、Ｙ方向を向いている。
図９および図１０に示すように、ラインカメラ４は、ラインカメラ８と同一の高さで、ラインカメラ８より測定車１８の前方側の位置に設置されている。ラインカメラ４は、撮像素子が路面の垂直方向（Ｚ方向）に一列となるように設置されている。ラインカメラ４は、その光軸がラインカメラ８のレンズから５ｍ離れた点でラインカメラ８の光軸と交差するように、設置角度を調整されている。
ロータリーエンコーダ１６は道路面に接触して回転する。ロータリーエンコーダ１６は、計測装置６が１ｍｍ走行する毎にパルスを出力する。
制御装置１０には、ラインカメラ４および８、ロータリーエンコーダ１６、記憶装置１２が接続されている。制御装置１０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、入出力装置等を備えるコンピュータである。制御装置１０は、ロータリーエンコーダ１６から入力されるパルス信号を用いて、ＲＯＭに格納されている制御プログラムを実行して、計測装置６が１ｍｍ走行する毎にラインカメラ４および８に撮影を行わせる。車両側方５ｍの点に垂直壁があれば、ラインカメラ８によって１ｍｍ×１ｍｍの画素を垂直方向に４０９６個配列したスリット画像データが得られる。車両側方５ｍの点に垂直壁があれば、ラインカメラ４によって同じ範囲のスリット画像データが得られる。
制御装置１０は、ロータリーエンコーダ１６から入力されるパルス信号に基づいて、撮影を開始してからの計測装置６の走行距離を把握している。そして、制御装置１０は、撮影したスリット映像データ（ラインスキャン画像）と、撮影を開始してからの計測装置６の走行距離とを対応付けて、記憶装置１２に記憶させる。制御装置１０は、撮影されたスリット映像データを繋ぎ合わせてパノラマ映像を生成する。また制御装置１０は、生成された２枚のパノラマ映像から、景色内に存在する計測点の３次元位置を算出する。
記憶装置１２は、制御装置１０に接続して用いられるハードディスクであって、制御装置１０から入力されるデータを記憶する。
【００４８】
計測装置６の動作を、図１２を参照しながら説明する。
計測装置６は、準備工程Ｓ４２、撮影工程Ｓ４４、パノラマ作成工程Ｓ４６、対応点探索工程Ｓ４８、位置算出工程Ｓ５０を順に実施する。
準備工程Ｓ４２では、計測の準備として、形状および位置が既知である被写体を用いて、ラインカメラ４および８のカメラパラメータを決定する。図１３は直方体の枠から構成される基準物体２２を用いてカメラパラメータを決定する様子を示している。基準物体２２の幾つかの点（例えば直方体の頂点２４）は、その空間位置が既知である。この基準物体２２にカメラパラメータの座標軸を設ける。この基準物体２２に対して平行に車を並進移動させて、基準物体２２を撮像した画像を作成する。静止状態から１ｍｍ進むごとにラインカメラで撮像し画像を得る。この場合の並進ベクトルは（１、０、０）である。これに対して、静止状態からの撮像ラインの番号ｎとして、画像中に出現する基準物体２２の基準点２４の位置とその座標値を代入して式を作成する。例えば基準点２４が１００個あれば関係式は１００個である。これらの関係式から、最小自乗近似を行い基準物体２２の座標系に基づくカメラパラメータＣ１１〜Ｃ３３を決定する。カメラパラメータは、ラインカメラ４と８の双方について算出する。
【００４９】
撮影工程Ｓ４４では、図１４に示すように、測定車１８を走行させながら、測定車１８が所定距離を走行するたびに、ラインカメラ４と８のそれぞれによって、スリット映像を撮影する。
測定車１８は直線的に走行する。測定車１８が１ｍｍ走行するごとに、ロータリーエンコーダ１６は制御装置１０にパルスを送信する。制御装置１０はパルスを受信すると、ラインカメラ４および８に撮影を指示する信号を送信する。ラインカメラ４および８は、１ｍｍごとにスリット映像を撮影する。
ラインカメラ４および８によって撮影されたスリット映像は、制御装置１０へ送られる。制御装置１０は、ラインカメラ４および８によって撮影されたスリット映像データに、撮影した時点での測定車１８の走行距離を関連付けて、記憶装置１２に記憶させる。
測定車１８の走行距離が測定範囲を超えると、制御装置１０はラインカメラ４および８による撮影を中止する。測定車１８が走行を停止し、計測装置６は被写体の撮影を終了する。撮影工程Ｓ４４が終了すると、パノラマ作成工程Ｓ４６を実施する。
【００５０】
パノラマ作成工程Ｓ４６では、ラインカメラ４で撮影したスリット映像データ系列と、ラインカメラ８で撮影したスリット映像データ系列に基づいて、ラインカメラ４に関するパノラマ映像データと、ラインカメラ８に関するパノラマ映像データを作成する。
記憶装置１２に記憶された、ラインカメラ４およびラインカメラ８で撮影されたスリット映像データには、撮影した時点での測定車１８の走行距離が関連付けられている。図１５に示すように、横方向に測定車１８の走行距離をとり、縦方向にスリット映像が伸びるようにスリット映像データ系列を配置することで、ラインカメラ４に関するパノラマ映像データ６２と、ラインカメラ８に関するパノラマ映像データ６８が生成される。
以下ではラインカメラ４に関するパノラマ映像データ６２をパノラマＡ、ラインカメラ８に関するパノラマ映像データ６８をパノラマＢと記述する。パノラマ作成工程Ｓ４４が終了すると、対応点探索工程Ｓ４８を実施する。
【００５１】
対応点探索工程Ｓ４８では、２つのパノラマ映像に撮影された同一の計測点について、その画像中の位置を探索する。既に詳述したように、一方のパノラマ映像における画像中の計測点に対して、他方のパノラマ画像においてその点が出現しうる範囲は、容易に特定することができる。
図１５のパノラマＡ中の基準点６４に付随する領域６６に対して、これを撮像したときのラインカメラ４のライン番号を０として、ラインカメラ８においてこの０番のラインに対応するラインを確認する。ラインカメラ４と８は、まったく同じタイミングで画像を撮像しているため、例えば、ラインカメラ４の１２００ライン目を０番とするとラインカメラ８においても１２００ライン目が０番である。こうすると、ラインカメラ４における０番目のラインのＸｃの位置に現われる計測点は、ラインカメラ８ではｎ番目のラインのＸｎｃの位置に存在する。この探索範囲は直線となるので、適当な端点の座標を計算すれば、探索領域の各点の位置を計算しなくてもよい。
【００５２】
パノラマＢの探索線７２上で設定した候補点７０が、パノラマＡの基準点６４に対応するか否かを、基準点６４周辺の領域（基準領域）６６と、候補点７０周辺の領域（候補領域）７４の類似度を算出することで、判断する。これらの処理は、一般のステレオ画像処理とおなじで、正規化相関をはじめとする幾つかの方法が有効である。また、ラインカメラによる画像の透視効果は、１次元のみであるので、矩形画像をマッチングするとき、ラインに垂直な方向の伸縮を行うと有効である。候補領域７４の大きさは、パノラマＡの基準領域６６（本実施例では正方形）を、パノラマＢ上ではＸＣ方向（図１５に示す左右方向）に伸縮させて候補領域７４として、探索線７２上での対応点探索を実行する。本実施例の測定装置２では、パノラマＢの候補領域７４の形状を、パノラマＡの基準領域６６の形状からＸＣ方向に０．８〜１．３倍程度に縮尺を変更して、対応点の探索を実行する。
【００５３】
ラインカメラ４とラインカメラ８は、光軸が平行でないため、同一の被写体を撮影した場合でも、パノラマＡ上の像と、パノラマＢ上の像とでは、縮尺が異なる。このため、実際には対応している点であっても、基準領域６６と候補領域７４の相関を算出する際に、縮尺の相違が原因となって上記の相関値がしきい値を下回り、基準点６４と候補点７０が対応していない、と判断される場合がある。従って、候補領域７４の大きさを一定として探索線７２上の全ての点を評価しても対応点が見つからない場合には、候補領域７４の大きさを変更して、探索線７２上の点について繰り返し評価を実施すると有効である。
【００５４】
パノラマＢ内の全ての候補点について、全ての候補領域を用いて評価を実施しても、対応点が見つからない場合、制御装置１０はその基準点６４には対応点が存在しないと判断する。このような状況は、例えばラインカメラ４からは撮影可能であり、ラインカメラ８からは死角となる点が被写体に存在する場合に起こりうる。このような場合には、その基準点６４については対応点なしと判断する。対応点のない基準点については、位置を算出することができない。
制御装置１０は、パノラマＡの基準点６４の位置と、パノラマＢの候補点７０の位置を、関連付けて記憶装置１２に記憶させる。対応点が存在しない基準点については、その基準点の位置と、対応点がないことを意味するデータを関連付けて、記憶装置１２に記憶させる。
上記の対応点探索をパノラマＡ上の全ての点を基準点として繰り返し実施する。
対応点探索工程Ｓ４８が終了すると、位置算出工程Ｓ５０を実施する。
【００５５】
位置算出工程Ｓ５０では、対応点７０が検出されたパノラマＡ上の基準点６４について、まず、対応する計測点のカメラパラメータで用いられた座標系における３次元座標（Ｘ、Ｙ、Ｚ）を計算する。これは、着目する計測点の行番号を０としたとき、図１３における車両がスタートしたときと同じであって、基準物体２２が座標系を表現する。カメラ４のライン１５００番目の２０００番目の画素が計測点であるとする。すると（１）（２）式においてXcは、２０００である。これに対応したカメラ８の画素は、ライン１６５０番目の１２３０番目の画素であったとする。するとカメラ８のカメラパラメータは、（４）（５）式において、ｎ＝３５０、Xcは、１２３０である。こうして、カメラ４とカメラ８において式が４つ出来上がるので、これより、Xo,Yo,Zoを算出する。これが計測点の（X,Y,Z）座標値である。ここで、車がｘ方向に直線走行したとみなし得ると、車のスタート地点を原点にした座標値Xは、X＝２０００＋Xoとなる。
【００５６】
制御装置１０は、上記算出された３次元座標（Ｘ、Ｙ、Ｚ）を、パノラマＡ上の２次元座標（ＺＡ、ＸＡ）と関連付けて、記憶装置１２に記憶する。パノラマＢ上に対応点がなく、位置の算出ができない基準点については、位置の算出ができないことを意味するデータを、パノラマＡ上の２次元座標（ＺＡ、ＸＡ）と関連付けて、記憶装置１２に記憶する。上記の位置算出をパノラマＡの全ての点について繰り返し実施する。
【００５７】
記憶装置１２に記憶されたパノラマ映像データと３次元位置データは、例えば制御装置１０の入出力装置を用いて表示してもよいし、別のコンピュータ等にデータを転送して別途表示してもよい。
上記の計測装置６を用いることによって、測定車１８が走行する周囲の環境について、パノラマ映像データと３次元形状データを取得することができる。
【００５８】
上記の実施例では、移動体として自動車を用いた例を説明したが、移動体としてはこれに限らない。人が搭乗する乗り物に限らず、例えばラジコンカー等の人が搭乗しない車両を用いてもよい。
【００５９】
上記の実施例では、ラインカメラ４および８の光軸が交差する例を説明したが、ラインカメラの光軸は交差していなくてもよい。ラインカメラ４とラインカメラ８の光軸が平行でなく、互いに異なる方向を撮影することができれば、どのような角度で設置されていてもよい。
【００６０】
上記の実施例ではラインカメラ４とラインカメラ８のそれぞれのカメラパラメータを、位置が既知である被写体のパノラマ映像上での座標値から決定しているが、カメラパラメータを決定する方法はこれに限らない。例えばラインカメラ４およびラインカメラ８の取付け位置と取付け角度を正確に計測し、測定車１８とラインカメラ４，８の幾何学的関係から、カメラパラメータを決定することもできる。
【００６１】
上記の実施例では、全ての工程を計測装置６を用いて実施する例を説明したが、準備工程と撮影工程のみを計測装置６で実施し、パノラマ作成工程、対応点探索工程、位置算出工程は、記憶装置１２に記憶された撮影データを、別のコンピュータ等に転送し、別途実施してもよい。
【００６２】
上記の実施例では、制御装置１０および記憶装置１２が測定車１８に搭載されている例を説明したが、制御装置１０および／または記憶装置１２は測定車１８に搭載されずに、車外に設置されていてもよい。制御装置１０は、ラインカメラ４、８、ロータリーエンコーダ１６と、有線または無線で通信可能な状態であれば、測定車１８の車外に設置されていてもよい。また記憶装置１２は、制御装置１０と有線または無線で通信可能な状態であれば、測定車１８の車外に設置されていてもよい。
【００６３】
上記の実施例では、測定車１８の走行距離を計測するためにロータリーエンコーダ１６を用いる例を説明したが、測定車１８の走行距離を計測する手段としてはこれに限らない。例えばＧＰＳ受信機を用いて測定車１８の位置を逐次取得し、取得した位置情報から測定車１８の走行距離を算出してもよい。
【００６４】
上記の実施例では、パノラマＡ上の全ての点について、自動的に位置の算出を実施する例を説明したが、例えばパノラマ作成工程の後に、利用者がパノラマＡ上の点を指定し、その点についてのみ対応点を探索して位置を算出してもよい。このような構成とすると、対応点探索工程および位置算出工程での制御装置１０の処理時間が大幅に短縮される。被写体の限られた範囲についてのみ、迅速に奥行きや高さを算出したい場合に、極めて有効である。
【００６５】
上記の実施例では、対応点探索工程のパノラマＡの基準点６４周辺の基準領域６６を正方形としたが、基準領域６６の形状としてはこれに限らない。例えば基準領域６６の形状は台形やひし形としてもよいし、円や楕円としてもよいし、三角形や五角形、六角形等の他の多角形でもよい。
また、基準点６４と基準領域６６の位置関係は、基準点６４が基準領域６６内に含まれていれば、どのような位置関係であってもよい。候補点７０と候補領域７４の位置関係についても同様である。
【００６６】
上記の実施例では、対応点探索工程で、基準領域６６と候補領域７４の相関を算出する手法として、領域内の明度に基づいて相関を評価する手法を説明したが、相関を算出する手法はこれに限らない。例えば特定の色の強度に基づいて相関を評価してもよい。
【００６７】
（第２実施例）
本発明で具現化される他の計測装置について説明する。第１実施例と同一の内容については、説明を省略する。
本実施例の計測装置６の構成は、第１実施例と同一である。以下では図１６を参照しながら、計測装置６の動作を説明する。
計測装置６は、準備工程Ｓ６２、撮影工程Ｓ６４、パノラマ作成工程Ｓ６６、位置算出工程Ｓ６８を順に実施する。
準備工程Ｓ６２では、計測の準備としてラインカメラ４および８のパラメータ特性を決定する。
前記したように、計測点の３次元位置（Ｘ、Ｙ、Ｚ）と、走行距離Ｌ、角θ１、θ２、は、次の関係がある。
Ｘ０＝Ｌ・tanθ２／（tanθ２−tanθ１）
Ｙ０＝Ｌ・tanθ１・tanθ２／（tanθ２−tanθ１）
Ｚ０＝Ｌ・tanφ１・（１＋tan２θ１）１／２・｜tanθ２／（tanθ２−tanθ１）｜
tanφ１＝ＺＣ／Ｆ
ラインカメラ４およびラインカメラ８について、上記係数のうちθ１、θ２、Ｆを決定する。θ１、θ２、Ｆは、セットアップ済みの測定車１８から直接計測してもよいし、位置が既知である被写体を用意し、その被写体を撮影して、走行距離Ｌと位置（Ｘ、Ｙ、Ｚ）を代入して、上記の連立方程式を数値計算で解くことによって、算出してもよい。上記によって得られたθ１、θ２、Ｆを、記憶装置１２に記憶しておく。
またラインカメラ４とラインカメラ８の搭載位置間距離δを計測し、記憶装置１２に記憶しておく。
【００６８】
撮影工程Ｓ６４、パノラマ作成工程Ｓ６６は、第１実施例の撮影工程Ｓ４４、パノラマ作成工程Ｓ４６と同様である。
【００６９】
位置算出工程Ｓ６８では、ラインカメラ４およびラインカメラ８によって撮影された任意の計測点の位置を、その計測点が撮影された時点での測定車１８の走行距離から算出する。
以下では、ラインカメラ４で撮影されたスリット映像から作成されるパノラマ映像をパノラマＡ、ラインカメラ８で撮影されたスリット映像から作成されるパノラマ映像をパノラマＢとする。
計測装置６のオペレータが、パノラマＡおよびパノラマＢを見ながら、計測点のパノラマＡ上の像を基準点６４、計測点のパノラマＢ上の像を対応点７０として指定する。
制御装置１０は、指定された基準点６４を含むスリット映像が撮影された時点での測定車１８の走行距離をＸ１、指定された対応点７０を含むスリット映像が撮影された時点での測定車１８の走行距離をＸ２、車両の進行方向に沿って測定したラインカメラ４とラインカメラ８の搭載位置間距離をδとしたときに、基準点６４を撮影した時点でのラインカメラ４の位置から対応点７０を撮影した時点でのラインカメラ８の位置までの距離Ｌを、Ｘ２−Ｘ１−δの式から算出する。また制御装置１０は、パノラマＡ上の基準点６４について、パノラマＡ上での座標ＺＣを計測する。座標ＺＣは、パノラマＡの基準点６４を投影したスリット映像において、ラインカメラ４の光軸を投影した点を原点として、スリット映像の伸びる方向にとった座標である。
距離Ｌと基準点６４の座標ＺＣに基づいて、基準点６４が示す計測点Ｐの実際の３次元座標（Ｘ、Ｙ、Ｚ）は、次式によって算出される。
Ｘ＝Ｌ・tanθ２／（tanθ２−tanθ１）
Ｙ＝Ｌ・tanθ１・tanθ２／（tanθ２−tanθ１）
Ｚ＝Ｌ・tanφ１・（１＋tan２θ１）１／２・｜tanθ２／（tanθ２−tanθ１）｜
tanφ１＝ＺＣ／Ｆ
制御装置１０は上記の計算を実施し、パノラマＡ上の指定した基準点６４について、実際の３次元座標（Ｘ、Ｙ、Ｚ）を算出する。算出された３次元座標は、制御装置１０の入出力装置に表示される。
【００７０】
（実施例３）
図１７を参照しながら、本発明を具現化した他の計測装置２０２について説明する。図１７は本発明の計測装置２０２を模式的に示しており、被写体２２０と計測装置２０２を上方向から見た図である。
図１７に示すように、計測装置２０２は、回転撮影部２１０、２１６、制御装置２０６、記憶装置２０４を備えている。
回転撮影部２１０は第１基準位置に設置され、回転撮影部２１６は第２基準位置に設置されている。回転撮影部２１０が設置される第１基準位置と、回転撮影部２１６が設置される第２基準位置とを結ぶ方向をＸ軸とし、Ｘ方向に垂直な水平方向をＹ軸として、ＸＹＺ直交座標系が定義される。
回転撮影部２１０は、制御装置２０６によって制御されるモータ（図示されない）の回転を駆動力として、Ｚ方向に伸びる回転軸の周りを図１７の時計回りに回転する。回転撮影部２１０は、ラインカメラ２１２およびロータリーエンコーダ２０８を備えている。
同様に回転撮影部２１６は、制御装置２０６によって制御されるモータ（図示されない）の回転を駆動力として、Ｚ方向に伸びる回転軸の周りを図１７の時計回りに回転する。回転撮影部２１６は、ラインカメラ２１４およびロータリーエンコーダ２１８を備えている。
ラインカメラ２１２、２１４は、それぞれ回転撮影部２１０、２１６に対して視野の方向を固定されており、回転撮影部２１０、２１６が回転するに従って、ラインカメラ２１２、２１４の視野の方向も回転する。ラインカメラ２１２、２１４は、制御部２０６からのトリガパルスに応じて１ライン撮像動作（露光）を行う。
ロータリーエンコーダ２０８、２１８は、それぞれ回転撮影部２１０、２１６の回転角を検出する。ロータリーエンコーダ２０８は、回転撮影部２１０が０．１°回転するごとにパルスを出力し、ロータリーエンコーダ２１８は、回転撮影部２１６が０．１°回転するごとにパルスを出力する。
制御装置２０６には、回転撮影部２１０、２１６、記憶装置２０４が接続されている。
制御装置２０６は、回転撮影部２１０のロータリーエンコーダ２０８から入力されるパルス信号を用いて、回転撮影部２１０が０．１°回転する毎にラインカメラ２１２に撮影を行わせる。制御装置２０６は、ロータリーエンコーダ２０８から入力されるパルス信号をカウントし、回転撮影部２１０の角度を把握している。回転撮影部２１０の角度は、Ｘ方向とラインカメラ２１２の視野の方向とが成す角度によって記述される。制御装置２０６は、ラインカメラ２１２によって撮影された画像データを、回転撮影部２１０の角度に関連付けて、記憶装置２０４に記憶させる。
同様に、制御装置２０６は、回転撮影部２１６のロータリーエンコーダ２１８から入力されるパルス信号を用いて、回転撮影部２１６が０．１°回転する毎にラインカメラ２１４に撮影を行わせる。制御装置２０６は、ロータリーエンコーダ２１８から入力されるパルス信号をカウントし、回転撮影部２１６の角度を把握している。回転撮影部２１６の角度は、Ｘ方向とラインカメラ２１４の視野の方向とが成す角度によって記述される。制御装置２０６は、ラインカメラ２１４によって撮影された画像データを、回転撮影部２１６の角度に関連付けて、記憶装置２０４に記憶させる。
【００７１】
回転撮影部２１０、２１６のそれぞれが一回転し、回転撮影部２１０、２１６の全方位についてのラインカメラ２１２、２１４による撮影が完了すると、制御装置２０６はパノラマ映像を作成する。
先ず制御装置２０６は、ラインカメラ２１２によって撮影された画像データを、関連付けられた回転撮影部２１０の角度が増加していく順序に各画像データを配列して、それらの画像を繋ぎ合わせて、第１のパノラマ映像を作成する。
次に制御装置２０６は、ラインカメラ２１４によって撮影された画像データを、関連付けられた回転撮影部２１６の角度が増加していく順序に各画像データを配列して、それらの画像を繋ぎ合わせて、第２のパノラマ映像を作成する。
【００７２】
ラインカメラ２１２、２１４のカメラパラメータは、図１７に示すＸ軸、Ｙ軸と、回転中心軸であるＺ軸に関して算出しておく。カメラパラメータを算出する手順は、以下である。基準物体をラインカメラ２１２、２１４の中間におき、その基準物体が備える基準点をそれぞれの座標系に応じて予め計測しておく。その後、カメラを回転させながら、基準点を撮像し、基準点を撮像した時点の回転角θ（パルス数）と、Xcと、基準点の位置とを用いて、最小自乗近似により、ラインカメラ２１２、２１４のそれぞれのカメラパラメータを特定する。ラインカメラ２１２、２１４のカメラパラメータが算出された後、ラインカメラ２１２、２１４のパノラマ画像から同一の計測点を見出し、これから座標値を計算する。ラインカメラ２１４の座標系によって、計測点の位置を表現すると、ラインカメラ２１２の座標系によって記述される計測点Xo’、Yo’、Zo’は、ラインカメラ２１２と２１４との中心軸の間隔をDとして、
Ｘ０’＝Ｄ−Ｘ０、 Ｙ０’＝Ｙ０、 Ｚ０’＝Ｚ０
である。これらXo’、Yo’、Zo’を（１０）（１１）式のXo,Yo,Zoに代入する。ラインカメラ２１４と同一の計測点が現われている画素の位置とそのときの角度をこの式に代入したものが、ラインカメラ２１２での画素の位置と計測点との関係である。これとラインカメラ２１４における（１０）（１１）式を連立させると、ラインカメラ２１４における座標系によって、計測点の空間位置が算出される。
ラインカメラ２１２と２１４において対応点の探索範囲を調べることも可能である。ラインカメラ２１４の（１０）（１１）式においてＺ０をパラメータとして、Ｘ０、Ｙ０を算出し、これをラインカメラ２１２の（１０）（１１）式に代入すれば、回転角度ごとに対応点の存在位置が計算できる。しかし、１次式の形ではない。
【００７３】
（実施例４）
図１８と図１９を参照しながら、本発明の第４実施例に係る方法を説明する。
図１８は本発明の計測装置３００を模式的に示した側面図である。図１９は、計測装置３００を断面VIII―VIIIから見た横断面図である。計測装置３００は、制御装置３０２、アーム３０４、エンコーダ３０６、筐体３０８、ラインカメラ３１０および３１２から構成されている。被写体３１４は、計測を実施している間静止しているように、固定されている。筐体３０８は回転軸ＺＡから延びるアーム３０４によって保持されており、アーム３０４の回転に伴って被写体３１４の周囲を図１９の円３１６に沿って移動する。本実施例では、アーム３０４が０．１°回転することによって、筐体３０８は円３１６に沿って１ｍｍ移動する。筐体３０８には２のラインカメラ３１０および３１２が搭載されている。図１９に示すように、ラインカメラ３１０は回転軸ＺＡの方向を撮影するように、筐体３０８に対する姿勢を維持されている。ラインカメラ３１２はラインカメラ３１０の視野面からθ０度傾いた面に沿う視野内を撮影するように、筐体３０８に対する姿勢を維持されている。
アーム３０４は図示されない回転駆動装置を備えており、制御装置３０２からの指示に従って回転する。アーム３０４にはエンコーダ３０６が設けられており、アーム３０４が所定の角度だけ回転するごとに制御装置３０２へパルスを送信する。本実施例では、アーム３０４が０．１°回転するごとに、エンコーダ３０６はパルスを送信する。
制御装置３０２は、他の実施例と同様のコンピュータである。制御装置３０２は、アーム３０４を駆動して回転させる。制御装置３０２は、アーム３０４の回転に伴いエンコーダ３０６からパルスを受信し、受信されたパルス数を積算することによってアーム３０４の回転角度を算出する。さらに制御装置３０２は、エンコーダ３０６からパルスを受信するごとに、ラインカメラ３１０および３１２に指示を送信して撮影させる。ラインカメラ３１０および３１２は、撮影した映像データを制御装置３０２へ送信する。制御装置３０２は、受信した映像データを、その時のアーム３０４の回転角度と関連付けて記憶する。制御装置３０２は、アーム３０４が３６０°回転して、筐体３０８が被写体３１４の周囲を１周回転するまで、上記の撮影を繰り返し実施する。
筐体３０８が被写体３１４の周囲を１周回転すると、計測装置３００は被写体３１４の撮影を終了する。
【００７４】
上記した撮影が終了すると、制御装置３０２は、ラインカメラ３１０と３１２のそれぞれが撮影した映像データから、パノラマ映像を作成する。
制御装置３０２は、ラインカメラ３１０によって撮影された映像データを、筐体３０８の回転方向に繋ぎ合わせて、第１パノラマ映像を作成する。
制御装置３０２は、ラインカメラ３１２によって撮影された映像データを、筐体３０８の回転方向に繋ぎ合わせて、第２パノラマ映像を作成する。
本実施例の計測装置３００は、第１パノラマ映像と第２パノラマ映像の双方に映されている計測点の位置を算出することができる。以下では、第１パノラマ映像と第２パノラマ映像の双方に映されている計測点Ｐの位置算出について説明する。
【００７５】
カメラパラメータとしては、回転中心をＺ軸、これに垂直にＸ軸、Ｙ軸とする。回転中心付近に基準物体を設置し、基準物体が備える基準点について前記座標系における位置を予め計測しておく。そして、ラインカメラを回転させながら、上記した基準点を撮像していく。回転角θと基準点のＸｃを代入することによって、各ラインカメラのカメラパラメータが決定される。ラインカメラ３１０と３１２のカメラパラメータが決定されると、得られたパノラマから同一の計測点とみなし得る画素の位置（Ｘｃ）とその時の回転角を用いて、計測点のＸ０、Ｙ０、Ｚ０を求めることができる。対応点の探索については、他の実施例において詳述しているため、ここでは説明を省略する。
上述した関係式に基づいて、計測点Ｐの３次元座標を演算する。上記の方法を用いることによって、被写体３１４の表面の形状を計測することができる。
【００７６】
上記では、ラインカメラ３１０とラインカメラ３１２によって得られる映像から、それぞれパノラマ映像を作成して、それぞれのカメラに関してパノラマ映像内での計測点の位置とカメラパラメータのデータの組を特定し、特定された２のデータの組から計測点の座標を特定する場合について説明した。
上記とは異なり、ラインカメラ３１０とラインカメラ３１２のそれぞれが計測点を計測した時点での、ラインカメラの位置と、ラインカメラ視野面のＸＹＺ直交座標系に対する角度と、ラインカメラ映像内での計測点の位置のデータの組を特定し、特定された２のデータの組から計測点の位置を算出することもできる。このような計測方法は、上記の実施例の計測装置３００と同様な構成の装置を用いることで、実施することができる。
このような場合、ラインカメラ視野面のＸＹＺ直交座標系に対する角度は、例えばアーム３０４の回転角に基づいて算出することができる。また、ラインカメラ位置についても、アーム３０４の回転角に基づいて算出することができる。
【００７７】
（実施例５）
図２０と図２１を参照しながら、本発明の第５実施例に係る方法を説明する。本実施例の方法では、所定の直交座標系ＸＹＺにおいて、Ｚ軸を回転軸として回転する被写体について、その表面に存在する計測点の回転半径とＺ座標を計測し、被写体の表面形状を計測する。
図２０は本発明の計測装置４００を模式的に示した側面図である。図２１は、計測装置４００を断面X―Xから見た横断面図である。計測装置４００は、制御装置４０２、回転治具４１６、エンコーダ４０６、ラインカメラ４１０および４１２から構成されている。被写体４１４は、円柱形状をしており、両端を回転治具４１６によって拘束されている。回転治具４１６は、図示しない回転駆動装置を備えている。回転治具４１６は、制御装置４０２からの指示に応じて、回転軸ＺＡの周りを被写体４１４と一体となって回転する。ラインカメラ４１０および４１２は、被写体４１４の表面を撮影するように、位置を固定されている。図２０に示すように、ラインカメラ４１０は被写体４１４および回転治具４１６の回転軸ＺＡの方向を撮影するように、回転軸ＺＡに対して姿勢を維持されている。ラインカメラ４１２はラインカメラ４１０の視野面からθ０度傾いた面に沿う視野内を撮影するように、回転軸ＺＡに対して姿勢を維持されている。
回転治具４１６は、ロータリーエンコーダ４０６を備えている。ロータリーエンコーダ４０６は、回転治具４１６が所定の角度回転するごとに制御装置４０２へパルスを送信する。本実施例では、回転治具４１６が０．１°回転するごとに、ロータリーエンコーダ４０６はパルスを送信する。
制御装置４０２は、他の実施例と同様のコンピュータである。制御装置４０２は、回転治具４１６を駆動して回転させる。制御装置４０２は、回転治具４１６の回転に伴いロータリーエンコーダ４０６からパルスを受信し、受信されたパルス数を積算することによって回転治具４１６の回転角度を算出する。さらに制御装置４０２は、ロータリーエンコーダ４０６からパルスを受信するごとに、ラインカメラ４１０および４１２に指示を送信して撮影させる。ラインカメラ４１０および４１２は、撮影した映像データを制御装置４０２へ送信する。制御装置４０２は、受信した映像データを、その時の回転治具４１６の回転角度と関連付けて記憶する。制御装置４０２は、回転治具４１６が３６０°回転するまで、上記の撮影を繰り返し実施する。
ラインカメラ４１０および４１２による撮影を開始してから、回転治具４１６が３６０°回転すると、計測装置４００は被写体４１４の撮影を終了する。
【００７８】
上記した撮影が終了すると、制御装置４０２は、ラインカメラ４１０と４１２のそれぞれが撮影した映像データから、パノラマ映像を作成する。
制御装置４０２は、ラインカメラ４１０によって撮影された映像データを、回転治具４１６の回転方向に繋ぎ合わせて、第１パノラマ映像を作成する。
計測装置４０２は、ラインカメラ４１２によって撮影された映像データを、回転治具４１６の回転方向に繋ぎ合わせて、第２パノラマ映像を作成する。
本実施例の計測装置４００は、第１パノラマ映像と第２パノラマ映像の双方に映されている、被写体４１４の表面上の計測点の位置を算出することができる。以下では、第１パノラマ映像と第２パノラマ映像の双方に映されている計測点Ｐの位置算出について説明する。
【００７９】
パノラマ映像を作成すると、計測装置４０２は、計測点Ｐのパノラマ映像内での位置と、カメラパラメータを特定する。
計測点Ｐのパノラマ映像内での位置の特定は、例えば第１パノラマ映像内で計測点Ｐを指定した後に、第２パノラマ映像内で対応点を探索することによって、行うことができる。対応点の探索については、他の実施例において詳述しているため、ここでは説明を省略する。
【００８０】
以下では、ラインカメラ４１０と４１２のカメラパラメータの特定について説明する。ラインカメラのパラメータは、回転軸をＺ軸、これに直交するＸ軸、Ｙ軸とする。カメラパラメータを算出する基準物体として、例えば幾つかの突起を備える回転体を用いて、この突起の先端の座標値を前記の座標系であらかじめ計測しておく。基準点を表現するＸｃとその時の回転角を用いて、カメラパラメータが特定される。ラインカメラ４１０、４１２のカメラパラメータが算出されると、これらから得られたパノラマ画像を参照しながら、それぞれのパノラマ画像において対応する計測点を探す。対応する計測点が検出されると、対応する計測点の角度と画像位置Ｘｃとを用いて、計測点の座標値Ｘ０、Ｙ０、Ｚ０が算出される。
ここで用いるカメラパラメータは、回転軸をＺ軸としているため中心軸からの距離を用意に求めることができる。例えば、回転体の表面形状よりも最大半径と最小半径が知りたい場合は、すでに詳述した方法で算出可能である。
上記の方法を用いることによって被写体４１４の表面の形状を計測することができる。
【００８１】
上記では、ラインカメラ４１０とラインカメラ４１２によって得られる映像から、それぞれパノラマ映像を作成して、それぞれのカメラに関してパノラマ映像内での計測点の位置とカメラパラメータのデータの組を特定し、特定された２のデータの組から計測点の回転半径とＺ座標を特定する場合について説明した。
上記とは異なり、ラインカメラ４１０とラインカメラ４１２のそれぞれが計測点を計測した時点での、ラインカメラの位置と、回転軸と計測点を含む面のＸＹＺ直交座標系に対する角度と、ラインカメラ映像内での計測点の位置のデータの組を特定し、特定された２のデータの組から計測点の位置を算出することもできる。このような計測方法は、上記の実施例の計測装置４００と同様な構成の装置を用いることで、実施することができる。
このような場合、回転軸と計測点を含む面のＸＹＺ直交座標系に対する角度は、例えば回転治具４１６の回転角に基づいて算出することができる。
【００８２】
以上、本発明の実施形態について詳細に説明したが、これらは例示に過ぎず、特許請求の範囲を限定するものではない。特許請求の範囲に記載の技術には、以上に例示した具体例を様々に変形、変更したものが含まれる。
また、本明細書または図面に説明した技術要素は、単独であるいは各種の組み合せによって技術的有用性を発揮するものであり、出願時請求項記載の組み合せに限定されるものではない。また、本明細書または図面に例示した技術は複数の目的を同時に達成するものであり、そのうちの一つの目的を達成すること自体で技術的有用性を持つものである。
【図面の簡単な説明】
【００８３】
【図１】本発明の計測装置による計測の原理を示す斜視図である。
【図２】本発明の計測装置による計測の原理を示す平面図である。
【図３】本発明の異なる軌道を移動する移動体を用いる計測方法を示す図である。
【図４】本発明の曲線を描く軌道を移動する移動体を用いる計測方法を示す図である。
【図５】本発明の計測装置による３次元計測の原理を示す側面図である。
【図６】パノラマ映像上のＺＣ座標と計測点の位置との関係を示す図である。
【図７】パノラマ映像上のＸＣ座標と計測点の位置との関係を示す図である。
【図８】本発明による回転体を用いる計測方法を説明する図である。
【図９】計測装置６の構成を模式的に示す図である。（実施例１）
【図１０】計測装置６を上方から見た図である。（実施例１）
【図１１】計測装置６を後方から見た図である。（実施例１）
【図１２】計測装置６の動作を説明するフローチャートである。（実施例１）
【図１３】計測装置６の準備工程を示す図である。（実施例１）
【図１４】計測装置６の撮影工程を示す図である。（実施例１）
【図１５】計測装置６で作成されるパノラマ映像を示す図である。（実施例１）
【図１６】計測装置６の動作を説明するフローチャートである。（実施例２）
【図１７】計測装置２０２の構成と動作を示す図である。（実施例３）
【図１８】計測装置３００の構成を模式的に示す図である。（実施例４）
【図１９】計測装置３００の横断面図である。（実施例４）
【図２０】計測装置４００の構成を模式的に示す図である。（実施例５）
【図２１】計測装置４００の横断面図である。（実施例５）
【符号の説明】
【００８４】
２・・・架台
４・・・ラインカメラ
６・・・計測装置
８・・・ラインカメラ
１０・・・制御装置
１２・・・記憶装置
１４・・・後輪
１６・・・ロータリーエンコーダ
１８・・・測定車
２０・・・撮影部
２２・・・基準物体
２４・・・基準点
６２・・・パノラマ映像
６４・・・基準点
６６・・・基準領域
６８・・・パノラマ映像
７０・・・候補点
７２・・・探索線
７４・・・候補領域
１０２・・・被写体
１０４・・・軌道
１０６・・・ラインカメラ
１０８・・・車両
１１０・・・軌道
１２０・・・軌道
１３０・・・被写体
１３２、１３４・・・回転体
１３６、１３８・・・ラインカメラ
２０２・・・計測装置
２０４・・・記憶装置
２０６・・・制御装置
２０８、２１８・・・ロータリーエンコーダ
２１０、２１６・・・回転撮影部
２１２、２１４・・・ラインカメラ
２２０・・・被写体
３００・・・計測装置
３０２・・・制御装置
３０４・・・アーム
３０６・・・ロータリーエンコーダ
３０８・・・筐体
３１０、３１２・・・ラインカメラ
３１４・・・被写体
３１６・・・円
４００・・・計測装置
４０２・・・制御装置
４０６・・・ロータリーエンコーダ
４１０、４１２・・・ラインカメラ
４１４・・・被写体
４１６・・・回転治具
【技術分野】
【０００１】
本発明は、移動体の周囲に存在する計測点の座標を計測する装置と方法に関する。または、移動する計測点の座標を計測する装置と方法に関する。
【背景技術】
【０００２】
移動体から周囲を見ると、その周囲には多様な物体が存在しており、様々な景色が広がっている。例えば、移動体が車両の場合、法面を切り開いた道路を走行する際には法面を観測することができる。あるいは、交通標識が観測されることもある。また車両がトンネル内を走行するときは上方にトンネルの天井が観測される。車両の下方には路面が観測される。
移動体から周囲に存在する地点の位置を計測したいという要望が存在する。例えば道路を走行する車両から道路側方に植栽されている樹木の形状を測定できれば、剪定作業が必要となったのか否かを判別することができる。あるいは、法面の形状を時間間隔をおいて測定できれば、法面が変形していることを認識することができ、地すべり等の災害が生じる前に必要な対策を講じることができる。また、比較的大型のもの、例えば、材木などを回転させながらその形状を計測する場合、画像と形状を同時に測定することができると非常に有用であることが多い。
【０００３】
景色内に存在する計測点を３次元計測する技術が従来から提案されている。
最も古典的には、航空機を用いて上空から撮影することによって計測点の高さを計測する。上空からエリアカメラによってステレオ撮影した映像を取得し、そのステレオ映像から３次元情報を再現することによって計測点の高さを計測する技術が知られている。
上空から撮影する技術では、上空からは死角となる計測点の高さを計測することができない。例えば、トンネル内壁の形状を計測することはできない。
地上で測量すれば、上空からは死角となるような計測点についても、その位置を計測することができる。しかしながらこの方法では、広域をカバーすることが難しい。
そこで、道路を走行する車両を利用する技術が提案されている。特許文献１には、車両にラインカメラを搭載し、車両を走行させながら車両側方に広がる景色を撮影し、撮影された映像を繋ぎ合わせることで、道路側方に広がる景色のパノラマ映像を生成する技術が開示されている。特許文献２には、車両にレーザスキャナを搭載し、車両を走行させながら車両側方に広がる景色内に存在する計測点の位置を３次元計測する技術が開示されている。特許文献２には、３次元計測して得られた立体形状データに、ラインカメラで撮影した映像を貼り付けることによって、景色を再現する立体映像を再現する技術も説明されている。
【特許文献１】特開２０００−１５６８１８号公報
【特許文献２】特開２００２−３４０５５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
特許文献１の技術では、道路側方に広がる景色のパノラマ映像を取得することに留まっており、景色内に存在する計測点の位置を計測することができない。計測点の位置を数量化することができない。
特許文献２の技術によると、車両の周囲に存在する計測点の位置を計測することができるが、そのために、照射したレーザが計測点で反射して戻ってくるレーザを検出して計測点の位置を３次元計測する手法を用いており、高価なレーザスキャナを必要とする。安価な市販の道具を利用して、周囲の景色を計測することができる技術が望まれている。
またレーザスキャナによる計測では、レーザによる走査に要する時間が長く、移動しながらの計測に不向きであるという問題もある。
【０００５】
本発明では上記課題を解決する。本発明では、安価な市販の道具で、移動体の周囲に存在する計測点の座標を正確に計測する技術を提供する。同様に、この技術は、対象物が移動する場合においても適用できる。
また、上記の技術の計測原理を応用して、安価な市販の道具で、被写体の表面形状を正確に計測することが可能な技術を提供する。
【課題を解決するための手段】
【０００６】
本発明の方法は、所定のＸＹＺ直交座標系を用いて、移動体の周囲に存在する計測点の３次元座標を計測する方法である。その計測方法は、移動体を移動しながら、少なくとも２回異なる方向または位置から計測点を撮影するように移動体に搭載したラインカメラで撮影する工程と、ラインカメラで計測点を撮影した時点におけるラインカメラの位置および方向を特定する工程と、ラインカメラの映像内における計測点の像の位置を特定する工程と、映像内の計測点の像の映像内における位置と計測点とラインカメラの光軸中心を結ぶ視線上の点の前記ＸＹＺ直交座標系における位置との関係を特定する工程と、少なくとも２組の映像内の計測点の像の位置と計測点を撮影した時点におけるラインカメラの位置および方向から前記ＸＹＺ座標系における計測点の位置を演算する工程を備えている。
【０００７】
ここで言う「ラインカメラ」とは、狭義には、直線状に配列された撮像素子の撮像面における像を取得するものであり、通常のエリアカメラの視野が焦点から立体的に四角錐状に広がるのに対し、ラインカメラの視野は焦点から略平面状に三角形に広がる。撮像素子が直線状に配列された一般的なラインセンサカメラに加えて、広義には、得られた映像から直線的に伸びる領域の映像を切り出して使用することが可能な、撮像素子が面的に配列されたエリアカメラを用いても本発明の原理を適用できると解される。ここで得られる1ラインの画像をライン画像と称する。
ここで言う「視線」とは、ラインカメラの直線状の撮像面上の１点から伸び、ラインカメラの焦点を通る、半直線のことをいう。ラインカメラの映像内に像を形成する計測点は、この視線上のどこかに存在する。
ここで言う「視野面」とは、撮像面を直線とみなしたときに視線が集まってできる平面のことをいう。ラインカメラで撮影される複数のライン画像を並べると、１つの映像を得ることができる。この映像は、並べるラインの本数に制約はなく、不定長の映像となるが、ここではこれを「パノラマ映像」と称している。ライン画像における撮像素子の端を特定したとき、パノラマ映像は、ラインごとにこの同じ端に相当する部分を結ぶ線が交差しない、つまり、ライン画像が裏返らないことと、撮像した時刻にしたがって同じ方向にラインを接して並べるものとするが、その他の並べ方に制約はない。多くは、長方形になるように並べる。ラインの撮像は、周期性をもたなくてもよい。ラインが撮像時刻にしたがって番号付けされ得るものであればどのようなものでもよく、この番号付けされたライン画像をここでは、「ラインの時系列」と称している。
【０００８】
図１は、上記した計測方法の原理を模式的に示している。以下では、移動体として道路を走行する車両Ａを用いる場合について説明する。図１では、時刻ｔ１における車両をＡ１で示し、時刻ｔ２における車両をＡ２で示している。図示しない走行距離測定手段によって、時刻ｔ１から時刻ｔ２までに車両Ａが走行した距離Ｌを測定することができる。走行距離測定手段は、車両Ａに搭載されていてもよいし、車外から走行距離を測定する手段であってもよい。ＧＰＳ等を利用することによって、走行距離を測定することもできる。
車両Ａは、第１ラインカメラＢ１と第２ラインカメラＢ２を搭載している。第１ラインカメラＢ１は、視野面Ｃ１と交差する物体表面を撮影する。第２ラインカメラＢ２は、視野面Ｃ２が交差する物体表面を撮影する。
座標系ＸＹＺは、路面を平面とみなし、ＸＹ面が路面と平行となるように設定されている。それぞれのラインカメラは、視野面がＸＹ面に垂直となるように車両Ａに取り付けられている。
図示のＰが計測点を例示している。図１では、時刻ｔ１に第１ラインカメラＢ１が計測点Ｐを撮影し、時刻ｔ２に第２ラインカメラＢ２が計測点Ｐを撮影した様子を示している。
【０００９】
上記の場合において、計測点Ｐは、視野面Ｃ１と視野面Ｃ２の交差する線上に存在する。第１ラインカメラＢ１が計測点Ｐを撮影した時点での、車両Ａの位置と視野面Ｃ１が座標系ＸＹＺに対してなす角度が特定されると、座標系ＸＹＺにおける視野面Ｃ１を特定することができる。第２ラインカメラＢ２が計測点Ｐを撮影した時点での、車両Ａの位置と視野面Ｃ２が座標系ＸＹＺに対してなす角度が特定されると、座標系ＸＹＺにおける視野面Ｃ２を特定することができる。視野面Ｃ１と視野面Ｃ２が特定されると、それらの交差する線が特定される。計測点Ｐは、特定された交線上に存在する。これにより、車体側方から計測点Ｐまでの奥行きが計測できる。計測点Ｐまでの奥行きの計測は、1ライン映像内における計測点の像の位置（すなわち対応する視線）を特定することなく、実施することができる。
上記に加えて、ラインカメラによって撮影される映像内での計測点Ｐの位置およびその計測点における視線の向きが特定されると、計測点Ｐの３次元座標を特定することができる。例えば第１ラインカメラＢ１で撮影される映像内での計測点Ｐの位置が特定されると、第１ラインカメラＢ１の視野内における計測点Ｐの迎角を特定することができる。計測点Ｐは、前記の特定された交線上にあって、かつ第１ラインカメラＢ１から前記の特定された迎角で観測される位置に存在する。従って、上記の特定された交線と、上記の特定された迎角から、計測点Ｐの３次元座標を特定することができる。
【００１０】
上記の計測方法を用いることによって、位置を計測したい計測点が多数存在する場合に、計測点を地上から測量する際に従来実施されている一般的な測量方法にくらべ、作業に係る労力を劇的に低減することができる。またレーザスキャナにくらべ安価なラインカメラを利用して周囲の景色を計測することが可能であり、計測に係る費用を低減することができる。
【００１１】
上記した計測方法は、下記の計測装置を用いることで、好適に実施することができる。本発明の装置は、所定のＸＹＺ直交座標系を用いて、移動体の周囲に存在する計測点の３次元座標を計測する装置である。その計測装置は、移動体と、移動体に搭載したラインカメラと、ラインカメラで撮影を繰返す手段と、ラインカメラで計測点を撮影したときの「移動体の位置と、ラインカメラ視野面のＸＹＺ直交座標系に対する角度と、ラインカメラ映像内での計測点の位置およびその計測点の視線の方向」を備えるデータの組を特定する手段と、特定されたデータの組を記憶する手段と、少なくとも２組の記憶されたデータの組から、計測点の３次元座標を演算する手段とを備えている。
【００１２】
上記の計測方法では、前記移動体に第１ラインカメラと第２ラインカメラを搭載し、前記撮影する工程は、移動体を移動させながら、移動体に搭載した第１ラインカメラと第２ラインカメラのそれぞれで撮影を繰返し、前記特定する工程は、第１ラインカメラで計測点を撮影した時の「移動体の位置と、第１ラインカメラ視野面のＸＹＺ直交座標系に対する角度と、第１ラインカメラ映像内での計測点の位置およびその計測点の視線の方向」を備える第１のデータの組を特定する工程と、第２ラインカメラで計測点を撮影した時の「移動体の位置と、第２ラインカメラ視野面のＸＹＺ直交座標系に対する角度と、第２ラインカメラ映像内での計測点の位置およびその計測点の視線の方向」を備える第２のデータの組を特定する工程と、を備え、前記演算する工程は、前記第１のデータの組と前記第２のデータの組から、計測点の３次元座標を演算することが好ましい。
上記のように、２台のラインカメラを移動体に搭載して、撮影を実施することによって、計測点の座標を演算するために必要なデータの組を一度の撮影工程から取得することが可能となる。
【００１３】
上記の計測方法では、前記撮影する工程は、移動体が、ＸＹ面に平行な面に沿って移動しながら、ラインカメラは、ＸＹ面に垂直な面に沿う視野内を撮影することを繰り返す。
このように移動体の移動する範囲をＸＹ面に平行な面に沿う範囲しながらその位置と向きを計測することによって、広範囲な計測点を位置を計測でき、かつ、XY面に投影した計測点の位置特定に係る処理時間を短縮することができる。
【００１４】
上記の方法によって計測点の位置を特定する場合について説明する。上記の方法の場合、図１の第１ラインカメラＢ１は、平面視したときに、車両の進行方向からθ１の撮影方向を撮影する。ここで、図１において時刻ｔ１におけるカメラの位置を原点とし、車の進行方向をＸ軸正の向きとする。上方がＺ軸である。角度の向きは、Ｘ軸正の方向から時計と反対周りが正である。カメラの視野面は、図１において第１ラインカメラがＣ１、第２ラインカメラがＣ２である。図１をXY面に投影したものが図２であって、視野面Ｃ１、Ｃ２の共通部分である直線が1点Pで表現される。このXY座標軸は、移動の間すなわち、ｔ１からｔ２までにおいて同じであるとする。図１の第１ラインカメラＢ１の視野面をXY面に投影すると直線となるが、この直線は車両の進行方向（図１では時刻ｔ１の進行方向がＸ軸と一致している）からθ１の方向である。つまり、第１ラインカメラＢ１はθ１の方向の計測点を撮像している。同様に第２ラインカメラB２は、θ２の方向を撮像している。
図２において、２つのカメラが同じ計測点を撮像したとして、その位置は、Pであるので、この位置（Xo,Yo）をｔ１の車両の位置を基準に示すと以下である。
Ｘｏ＝Ｌ・tanθ２／（tanθ２−tanθ１）
Ｙｏ＝Ｌ・tanθ１・tanθ２／（tanθ２−tanθ１）
【００１５】
時刻ｔ１において車両Ａが位置していた道路上の座標原点から計測点Ｐまでの平面内距離Ｈｏは、次の式から計算することができる。
Ｈｏ＝（Ｘｏ２＋Ｙｏ２）１／２
＝Ｌ・（１＋tan２θ１）１／２・｜tanθ２／（tanθ２−tanθ１）｜
ここで、いうXY面は、この車両を例にとると道路面であるが、カメラを下方に向けた場合（図１のカメラ１とカメラ２をX軸回りに９０度回転下向き）、XY面を路面と垂直面にとればよく、この場合、車両が、路面に平行に進行しているとみなすと、ライン画像に映る路面の凹凸を検出できる。
【００１６】
図１と図２に示したように、Ｘ軸に対して異なる角度に設定されているＸ−Ｙ面に垂直な面に沿った視野内を撮影する２台のラインカメラＢ１，Ｂ２を利用することによって、計測点ＰのＸ座標とＹ座標を計算することができ、さらには水平面内距離Ｈｏを計算することができる。そこに、仰角の情報を加味すると、高さを計算することができる。ここでは、カメラ１とカメラ２の光軸が同じ平面上であるとする。
図１と図５は、第１ラインカメラＢ１の仰角φ１から、時刻ｔ１において車両Ａが位置していた道路上の座標系（Ｘ、Ｙ、Ｚ座標系）によって、計測点Ｐの高さ座標Ｚｏを計算する様子を示している。図５は、ＹＺ平面ではなく、第１ラインカメラＢ１が撮影する垂直面Ｃ１の面内であることに留意されたい。
計測点Ｐが第１ラインカメラＢ１で撮影されたときの仰角をφ１とすれば、計測点Ｐの高さ座標Ｚｏは、下記の式で計算できる。
Ｚｏ＝Ｈｏ・tanφ１
＝Ｌ・tanφ１・（１＋tan２θ１）１／２・｜tanθ２／（tanθ２−tanθ１）｜
同様の計算は、第２ラインカメラＢ２で撮影されたときの仰角φ２から実行することもできる。仰角は、第１ラインカメラＢ１と第２ラインカメラＢ２の少なくとも一方から入手できればよい。
迎角φ１は、例えば図５に示すように、ラインカメラのレンズから像面までの距離Ｆと、計測点を像面に投影した点の像面上での高さＺＣから、下記の式で計算できる。
tanφ１＝ＺＣ／Ｆ
本技術によると、移動体の周囲の大半の点（大半の点が両方のパノラマ映像に撮影されている）のＸ座標、Ｙ座標、Ｚ座標を計測することができる。これらの位置関係は、時刻ｔ１における移動体の位置と姿勢で決まる座標軸および座標原点によって求められているものであることに注意されたい。移動体の位置が、固定された座標軸と座標原点で表現できれば、この計測点の位置は、これらの座標系によって表現できる。
【００１７】
上記式では、平面視したときに、２台のラインカメラＢ１、Ｂ２が車両Ａの同一位置に搭載されているものとしている。２台のラインカメラＢ１、Ｂ２の車両Ａにおける搭載位置が相違する場合には、車両の進行方向に沿って測定した搭載位置間距離によって走行距離から補正した値を、前記Ｌの値とする。
計測点Ｐが第１ラインカメラＢ１で撮影された第１撮影時点ｔ１と、計測点Ｐが第２ラインカメラＢ２で撮影された第２撮影時点ｔ２は、撮影しながらリアルタイムで特定してもよい。あるいは、撮影データを記録しておき、それを再現した結果から特定することもできる。
【００１８】
上記の例では、車両は直線的な軌道を走行しているため、移動体進行方向は常にＸ軸の方向に等しい。車両が曲線を描く軌道を走行して移動体進行方向のＸ軸からの角度が変化する場合には、それを考慮すればよい。図２において計測点Ｐを通る２本の直線ａ、ｂを決定するのに足りる情報が得られれば、計測点ＰのＹ座標が決定できる。それぞれの直線ａ、ｂの通る位置と角度が２組決定できればよい。ラインカメラの視野面がＸＹ面に垂直であることから、ラインカメラで計測点を撮影した時点を図２に再現することができる。ここで、移動体に対するカメラの設置位置および姿勢が変わらないのであれば、計測点を撮影したときの移動体の位置と姿勢を求めることによりこれらが決定できる。したがって、移動体の位置を固定された座標軸と座標原点で表現できれば、この計測点の位置が、これらの座標系によって表現できる。これは、移動体の位置を画像を撮像する時刻と同時に計測し記録することによって実現される。
【００１９】
上記の計測方法では、移動体に２台のラインカメラを搭載して、一度の撮影で２つのデータの組を取得する代わりに、移動体に１台のラインカメラを搭載して、２度の撮影で２つのデータの組を取得してもよい。このような場合には、上記の計測方法では、前記撮影する工程は、移動体を第１の所定軌道に沿って移動しながら、ラインカメラで撮影を繰り返す第１撮影工程と、移動体を第２の所定軌道に沿って移動しながら、ラインカメラで撮影を繰り返す第２撮影工程とを備え、前記特定する工程は、第１撮影工程で計測点を撮影した時の「移動体の位置と、ラインカメラ視野面のＸＹＺ直交座標系に対する角度と、ラインカメラ映像内での計測点の位置およびその計測点の視線の方向」を備える第１のデータの組を特定する工程と、第２撮影工程で計測点を撮影した時の「移動体の位置と、ラインカメラ視野面のＸＹＺ直交座標系に対する角度と、ラインカメラ映像内での計測点の位置およびその計測点の視線の方向」を備える第２のデータの組を特定する工程とを備え、前記演算する工程は、前記第１のデータの組と前記第２のデータの組から、計測点の３次元座標を演算する、ことが好ましい。
上記の第１の所定軌道と第２の所定軌道は、同一でもよいし、異なっていてもよい。このような場合、計測作業に必要なラインカメラは１台であり、複数のラインカメラを用いる必要はない。計測作業に要する機材に係る費用を低減することができる。上述したように、移動体の経路において画像を撮像する時刻と同時に計測し記録することが望ましい。
【００２０】
図３に、１台のラインカメラ１０６を車両１０８に所定角度で固定し、車両１０８を２回走行させて周囲を撮影する場合の模式図を示す。まず１回目の撮影では、車両１０８は軌道１０４上を走行し、所定の距離を走行する度に、周囲の被写体１０２をラインカメラ１０６で撮影していく。次に２回目の撮影では、車両１０８は軌道１１０上を走行し、所定の距離を走行する度に、周囲の被写体１０２をラインカメラ１０８で撮影していく。軌道１０４と軌道１１０は進行方位が互いに異なる直線状の軌道であり、軌道１０４を走行する際のラインカメラ１０６の視野の角度と、軌道１１０を走行する際のラインカメラ１０６の視野の角度は、互いに異なる。１回目の走行軌道１０４を車両１０８が走行するときの進行方向をＸ軸として、Ｘ軸に垂直な水平方向をＹ軸とする。走行軌道１０４上で計測点Ｐを撮影した車両１０８の位置と、そのときのラインカメラ１０６の設置角度から直線ａの位置と方向が決まり、走行軌道１１０上で計測点Ｐを撮影した車両１０８の位置と、そのときの車両１０８の進行方位角度と、そのときのラインカメラ１０６の設置角度から、直線ｂの位置と方向が決まる。その結果、三角測量の原理で計測点ＰのＹ座標を算出することができる。走行軌道１０４、１１０は、車両１０８の走行中に磁気コンパス等を用いて車両１０８の進行方位を随時計測して、車両１０８の走行距離と進行方位の関係から決定してもよいし、ＧＰＳ受信機を車両１０８に搭載して、車両１０８の走行中に車両１０８の位置と進行方位を随時計測して決定してもよい。また車両を走行させる前に、予め走行軌道１０４、１１０を所定の形状に規定しておき、規定された軌道の上で車両を走行させてもよい。この計測方法でも、図２の２本の直線ａ、ｂを決定するのに必要な情報を得ることができる。
【００２１】
また、車両の走行する軌道によっては、１台のラインカメラを車両に搭載して、１回の走行で同一の計測点を２回計測することが可能な場合がある。このような場合には、作業に必要となる機材の費用を低減し、かつ作業に係る労力を低減することができる。
【００２２】
図４に示すように、車両１０８が直線的な軌道ではなく、曲線を描く軌道１２０上を走行する場合、１度の走行で計測点Ｐが２回撮影される。計測点Ｐを撮影した時点での車両１０８の位置と進行方向を特定することで、計測点Ｐを通る２本の直線ａ、ｂの位置と方向を決定することができ、三角測量の原理に基づいて計測点Ｐの位置を算出することができる。
走行軌道１２０は車両１０８の走行中に磁気コンパス等を用いて車両１０８の進行方位を随時計測して、車両１０８の走行距離と進行方位の関係から決定してもよいし、ＧＰＳ受信機を車両１０８に搭載して、車両１０８の走行中に車両１０８の位置と進行方位を随時計測して決定してもよい。また車両１０８を走行させる前に、予め走行軌道１２０を所定の形状に規定しておき、規定された軌道の上で車両１０８を走行させてもよい。
また、計測点Ｐを撮影した時点における車両１０８の走行距離は、ロータリーエンコーダ等を用いて計測することができる。車両１０８の走行軌道１２０と、計測点Ｐを撮影した時点での車両１０８の走行距離とが特定されると、車両１０８の位置と、そのときのラインカメラ１０６の角度が特定される。特定された位置と角度に基づいて、計測点Ｐを通る２本の直線ａ、ｂの位置と方向を決定することができ、計測点Ｐの位置を算出することができる。
【００２３】
上記したように、計測点Ｐが第１ラインカメラＢ１で撮影された第１撮影時点ｔ１と、計測点Ｐが第２ラインカメラＢ２で撮影された第２撮影時点ｔ２は、撮影しながらリアルタイムで特定してもよい。あるいは、撮影データを記録しておき、それを再現した結果から特定してもよい。後者の場合には、第１ラインカメラＢ１で撮影された垂直面Ｃ１に沿った映像を車両進行方向に並列配置することによって第１ラインカメラＢ１によって撮影されたパノラマ映像を得ることができる。また、第２ラインカメラＢ２で撮影された垂直面Ｃ２に沿った映像を車両進行方向に並列配置することによって第２ラインカメラＢ２によって撮影されたパノラマ映像を得ることができる。得られる２つのパノラマ映像を用いて、ステレオ視の原理を用いて計測点の位置を計測することもできる。
【００２４】
本発明で具現化される他の一つの計測方法は、所定のＸＹＺ直交座標系を用いて、移動体の周囲に存在する計測点の３次元座標を計測する方法である。その計測方法は、移動体を移動しながら、移動体に搭載されているラインカメラで撮影を繰返す工程と、得られた画像を進行方向に繋ぎ合わせたパノラマ映像を作成する工程と、「計測点のパノラマ映像内の座標と、ラインカメラのカメラパラメータ」を備えるデータの組を特定する工程と、ラインカメラのカメラパラメータを撮像ラインの時系列に関連付ける手段と、少なくとも２組の前記特定されたデータの組とから、計測点の３次元座標を演算する工程とを備えている。この方法は、上述のようにカメラの視野面の角度や視線の方向などを陽に求めなくても撮像された画像における計測点の位置と所定の座標系に記述された計測点の位置の関係を表現できる点において非常に有用である。とくに、焦点距離などを正確に求めることは困難であり、以下で述べる方法によることが望ましい。
【００２５】
ラインカメラを移動させながら連続的に撮影し、得られた線状の映像を繋ぎ合わせていくことで、連続的でサイズ制約のないパノラマ映像を作成することができる。通常のエリアカメラによる撮影では、撮影対象までの奥行きに応じて、一回の撮影で得られる映像内での位置に応じて像の映り方が異なる。すなわち、一回の撮影で得られる映像において、映像の中央部と映像の端部とでは、同一の像であっても、その映り方が異なる。従って、カメラを移動させながら連続的に撮影して、得られた映像を繋ぎ合わせてパノラマ映像を作成すると、各映像の繋ぎ目で像の映り方に不整合が生じてしまい、連続的なパノラマ映像を作成することができない。ラインカメラを使用する場合、映像内での像の映り方は幅方向に関してほとんど変化がないため、上記したような不整合を生じることなく、連続的なパノラマ映像を容易に作成することができる。
ラインカメラとしては、好適にはラインセンサカメラを用いる。ラインセンサカメラとは、光を受光する感光部が一列に配列されたセンサのことを言う。
ラインセンサカメラはベルトコンベアに流れる製品の検査などの用途によく利用される。通常のエリアカメラに比べて、解像度が高く、スキャンレートが非常に早いからである。一般にスキャンレートが早い場合、露光時間が短くなるため照明の照度を上げなければならないが、ラインセンサカメラの撮像範囲は線状であるため、集光した高輝度の光源により、容易に鮮明な画像を得ることができる。上述のように、ラインセンサカメラにはエリアカメラには無い様々な利点がある。
【００２６】
撮像した対象物の画像中の位置とそれが存在する空間位置との関係は、カメラパラメータとして表現される。カメラパラメータは、任意に設定した計測点および画像の座標系によって記述されるカメラ画像の位置とその計測点の関係を同次座標で表現するものである。ラインカメラの場合、得られる画像を撮像ラインを並べたものであると考えるが、透視変換を表現するカメラパラメータは、１ラインについての記述である。カメラの画像位置を原点を適当にとってＸｃと表現し、計測点を直交座標系で表現した座標値として、Ｘ０、Ｙ０、Ｚ０とする。これらの関係は、以下である。
【数１】
また画像のY座標は０であるので、以下の関係がある。
【数２】
ここに、C11〜C34がカメラパラメータである。ここで、C34は、１として差し支えない。エリアカメラの場合、カメラパラメータを求めるのは、容易である。すなわち、座標系を固定した上で、形状が既知であるものを撮像し、上記パラメータを最小自乗近似して求めればよい。しかし、ラインカメラの場合、画像が１ラインしかないため、形状が既知のものを撮像しても判読不明である。そこで、ラインカメラを移動させるか、もしくは、対象物を移動させるかして画像を得た上で、上記パラメータを算出する方法をとる。今、カメラが、既知の座標系に対して、速度ベクトル(nx,ny,nz)で並進移動すると、カメラともに移動する座標系においては、物体の座標位置は、以下のように変換される。カメラは、等速運動するものとし、単位時間に進む距離は、１である。
【数３】
ここに、Xo’、Yo’、Zo’は、固定した座標系による座標値、Xo、Yo、Zoは、並進移動した座標系による座標値である。上式を先のカメラパラメータによる関係式に代入すると、C11〜C33に関する１次式ができる。これより、C11〜C33を算出する。ここに、カメラが移動した場合の固定座標による計測点の位置とそれに対応した画像位置の関係が以下のように求められる。
【数４】
ここで、
【数５】
は、ラインの番号ごとに変化するみかけのカメラパラメータとみることができる。視野が異なる２つのラインカメラが一つの移動体に固定され、同一のタイミングでラインを撮像するとき、計測点の位置を共通の座標系で記述するようなカメラパラメータを算出することは、さきに述べた方法で容易であるので、（４）（５）式から、計測点の位置Xo、Yo、Zoを算出可能である。また、上記は、カメラが並進運動するとして、その座標変換を求めたが、この座標変換は、アフィン変換でよく、すなわち、ライン画像のライン番号とそのときの移動体の向きと位置が対応付けられていれば、同様に計測点の位置を算出可能である。この場合、一つのカメラで数回の撮像を行って求めることも可能である。
【００２７】
一つの移動体に複数のラインカメラが搭載されている場合、一方のカメラ画像に映った計測点は、他方のカメラの画像のどの位置に存在し得るかを計算することが可能である。例えば２つのカメラがあったとして、それぞれ（４）（５）式のカメラパラメータが同じ座標系（物体側）のもとに算出されているとする。すると、２つのカメラに対する（４）（５）式から、Xo、Yo、Zoを同じ値として消去するとそれぞれのカメラの画像位置Xcとライン番号ｎの関係式ができる。
【数６】
（７）（８）（９）式は、（１）（２）式をXo、Yoについて解いたもので、Zoをパラメータとしている。これは、ラインカメラにおける撮像点Xｃの視線を表現したものであるが、例えば、カメラAにおける０番目のラインにおける画素Xｃの視線である。カメラBは、カメラAと相対位置関係が固定され、両方とも同じ座標系によってカメラパラメータが記述されているとする。さきの画素Xcに現れている計測点は，カメラBでは、（４）（５）式に（７）（８）式のXo、Yoを代入して得られる（Xc、ｎ）の位置である。（５）式にXo、Yoを代入するとｓがｎの１次式で表現され、（４）式にXo,Yoを代入することで、Xcとｎの1次式ができる。これが、カメラBにおけるカメラAのXcの視線を表現したものである。
【００２８】
上述した方法は、カメラが固定され対象物がベルトコンベアなどで並進運動している場合であっても同様であって、この場合、例えば、ベルトコンベアが１ｍｍ進むごとに複数のラインカメラが撮像することを繰り返せばよい。この場合、（４）（５）における速度ベクトルの向きが逆になることは、あきらかである。
【００２９】
移動体が回転する場合も上記と同様である。このとき、回転軸をz軸、それに直交するｘ軸、ｙ軸として、カメラが回転軸に直交する平面上の円周を移動する場合、カメラパラメータを表現すると以下である。回転角度が０度の基準を設け、これによりカメラパラメータが算出されていたとする。カメラがθ回転したとき、計測点Xo、Yo、Zoと画像位置Xcとの関係は、
【数７】
このようにカメラが回転軸に直交する平面上の円周を移動する場合、計測点の回転軸からの距離は、容易に求めることができる。（１）（２）式において、中心軸をＺ軸、これに垂直な面をＸＹ軸として座標系を設定し、カメラパラメータを求めておく。（１）（２）式からZoをパラメータとしてXo、Yoを求めると以下である。
【数８】
いま、２つのカメラパラメータを記述する座標軸は、z軸が共通であるが、Ｘ，Ｙ軸が異なっているものとする。すると、同一の計測点であっても、（１２）（１３）式で算出されるXo、Yoが異なるが、Z軸からの距離は、同じである。また、中心からの距離が同じであるので、
【数９】
によって、中心軸から計測点までの距離を求めることができる。この方法の利点は、カメラパラメータ算出についてのZ軸は、共通とするが、X、Y軸は、Z軸に直交するのみで異なっていてもよい点にある。
【００３０】
回転体を固定された方向の異なる２台のラインカメラで撮像する場合、カメラパラメータ算出に関わる座標系は、Z軸を回転軸、これに直交するX、Y軸を共通にとる。回転体が、例えば、１度回転するごとに２台のラインカメラは、同時にラインを撮像する。こうすると、ラインの時系列は、回転角度に関連付けられる。同一の計測点が、１方のカメラ（カメラ１）では、θ１の角度で算出され、他方のカメラ（カメラ２）では、θ２の角度で算出されたとする。このとき、一方のカメラで観察された計測点が、他方のカメラでθ２−θ１回転して観察されたと解釈できる。よって、（１）（２）式において、カメラの物体座標Xo,Yo,Zoは、カメラ２においては、θ２−θ１回転変換した位置とする。こうして、カメラ１とカメラ２からそれぞれの画像中の計測点の位置を代入した（１）（２）式を得て、Xo,Yo,Zoを算出する。例えば、カメラパラメータの座標は、Z軸が回転体の中心軸、これに直交してX軸、Y軸とする。回転体の計測点が、このX軸からθのところでラインカメラの画像として現われたとする。回転体の形状を０度の角度のときで表現するものとする。さきに（１）（２）式によって、ライン上の画像位置Xｃと計測点Xo、Yo、Zoとの関係は、
【数１０】
である。２つのカメラから得られる上式からXcとθを既知としてXo、Yo、Zoを求める。（１４）（１５）式と（１０）（１１）式は、θの符号が逆であって、ちょうど、カメラが並進移動する場合と物体が並進移動する場合の関係と同じである。
【００３１】
移動体にラインカメラを搭載して撮像した画像は、パノラマ画像になることが知られている。これは、１ラインごとに撮像された画像を時系列に並べたものである。パノラマ映像を利用する方法によると、両方のパノラマ映像に撮影されている任意の点を事後的に計測点Ｐとすることができ、撮影されている任意の点の３次元座標を計測することができる。本技術によると、景色内の大半の点（大半の点が両方のパノラマ映像に撮影されている）の３次元座標を計測することができる。
【００３２】
上記の計測方法は、下記の装置を用いることで好適に実施することができる。本発明の装置は、所定のＸＹＺ直交座標系を用いて、移動体の周囲に存在する計測点の３次元座標を計測する装置である。その計測装置は、移動体と、移動体に搭載したラインカメラと、ラインカメラで撮影を繰返す手段と、撮影された映像を移動体の位置に関連付けて記憶する手段と、記憶された映像を進行方向に繋ぎ合わせたパノラマ映像を作成する手段と、「計測点のパノラマ映像内の座標と、ラインカメラのカメラパラメータ」を備えるデータの組を特定する手段と、特定されたデータの組を記憶する手段と、それぞれのラインカメラのカメラパラメータの関係（座標系の関係）を特定する手段と、少なくとも２組の記憶されたデータの組から、計測点の３次元座標を演算する手段とを備えている。
【００３３】
上記の計測方法では、前記移動体に第１ラインカメラと第２ラインカメラを搭載し、前記撮影する工程は、移動体を移動しながら、移動体に搭載した第１ラインカメラと第２ラインカメラのそれぞれで撮影を繰返し、前記作成する工程は、第１ラインカメラから得られた映像を進行方向に繋ぎ合わせた第１パノラマ映像を作成する工程と、第２ラインカメラから得られら映像を進行方向に繋ぎ合わせた第２パノラマ映像を作成する工程と、を備え、前記特定する工程は、「計測点の第１パノラマ映像内の座標と、第１ラインカメラのカメラパラメータ」を備える第１のデータの組を特定する工程と、「計測点の第２パノラマ映像内の座標と、第２ラインカメラのカメラパラメータ」を備える第２のデータの組を特定する工程と、を備え、前記演算する工程は、特定された第１のデータの組と、特定された第２のデータの組と、それぞれのラインカメラのカメラパラメータの関係（座標系の関係）を特定する手段をとから、計測点の３次元座標を演算することが好ましい。
上記のように、２台のラインカメラを移動体に搭載して撮影を実施することによって、一度の撮影工程から２つのパノラマ映像を取得して、計測点の座標を演算するために必要な２のデータの組を取得することが可能となる。この場合、第１ラインカメラが撮像した計測点が、第２ラインカメラで撮像されるまでの間、移動体が並進移動しているものと仮定すると既に詳述した計算によって、第１ラインカメラで撮像した位置と向きを基準にした3次元位置を計測することが可能である。
移動体の移動方向は、並進に限定しなくても計測可能である。移動体の位置と向きをラインカメラの撮像とともに記録すればよい。移動が移動した位置と向きから、カメラパラメータを算出した座標軸に対して計測点の位置を記述可能である。よって、カメラ撮像した時刻とカメラとともに移動した計測点の座標で表現されている（１）（２）式のXo,Yo,Zoを固定した座標系によって記述したXo’,Yo’,Zo’によって表現し、代入すればよい。この表現は、移動体の位置と向きを計測することで可能である。
【００３４】
複数のパノラマ映像における同一の計測点を探索する演算は、カメラパラメータを使って、既に詳述した方法を用いればよい。
【００３５】
ここでいう複数のパノラマ映像は、一つの移動体に向きの異なる複数のラインカメラを搭載して得られるもの、もしくは、異なった軌道によって複数回の撮像を行ったものいずれも、計測点の位置を計算するのに用いることができる。パノラマ映像のライン番号に関連付けられた移動体の位置、およびカメラパラメータが記録もしくは演算できれば十分である。請求項２および３で述べる方法であっても、同様にパノラマ映像のライン番号に関連付けられた移動体の位置がわかれば十分である。
また、一つのパノラマ映像であっても、異なる向きから同じ計測点を撮像したことが特定できれば、上記の条件で同様に計測点の位置が計算できる。
【００３６】
移動体が回転する場合、同様にパノラマ映像が得られる。これは、対象物の全周を連続的に撮像したものである。対象物は、円周の内にあっても外にあってもよい。この場合、パノラマ映像のライン番号に回転角度が関連付けられていると同様に計測点の位置が計算できる。
【００３７】
パノラマ映像において移動体の位置とライン番号を関連付ける手段、装置は、さまざまなものがある。最も単純な場合は、移動体が等速直線運動し、ラインカメラは一定の時刻ごとに撮像を繰り返すものとすればよい。移動体が例えば、車のようなものである場合、ロータリーエンコーダによって、一定距離進むごとにパルスを発生させ、このタイミングでラインカメラがラインを撮像する技術はよく知られている。このような手法は、移動体が直線移動している場合、もしくは軌道が予め分かっている場合に有効である。さらに、GPSなど位置を計測するセンサによって、ラインの撮像、記録と同時に移動体の位置を記録してもよい。ラインカメラが１ラインを撮像する時間は、非常に短くすることが可能であり、例えば、１秒間に２０００ライン程度を撮像することは十分可能である。上述したように、位置の記録はすべてのラインごとに行う必要はなく、例えば１秒間隔で位置を計測し、最も時刻が近接したラインをその位置における撮像と置き換え、その他は等速近似によって取得してもよい場合がある。また、軌道そのものも区分ごとに直線近似してもよい場合がある。回転する場合は、回転角を計測するが、これロータリーエンコーダやポテンシオメーターで十分である。
【００３８】
ラインカメラが静止している場合であっても、対象物が移動もしくは回転する場合、同様にパノラマ映像が得られる。例えば、対象物がベルトコンベアに載置されて移動する場合は、ベルトコンベアに付随するロータリーエンコーダの発生するパルスをトリガとしてライン画像を撮像すればよい。対象物が回転する場合は、回転角度をロータリーエンコーダで計測すればよい。このときもロータリーエンコーダが一定角度回転するごとに発生するパルスによってライン撮像を繰り返すと、容易に角度とライン画像とを関連付けることができる。
【００３９】
本発明における移動体としては、さまざまな種類のものを考えることができる。例えば、車にラインカメラを搭載して景観の計測を行ってもよいし、ラインカメラがレール上を移動することで、エリアカメラでは得られない広範囲かつ高精度の位置計測を行ってもよいし、船や飛行機にラインカメラを搭載してもよい。
【００４０】
２つの基準位置にある回転軸の周りで、１台のラインカメラをそれぞれ回転させることによっても、計測点の３次元座標を計測することができる。
上記の計測方法では、前記撮影する工程は、第１基準位置に置かれたラインカメラをＺ方向に伸びる回転軸の周りに回転させながら撮影を繰返す第１撮影工程と、第２基準位置に置かれたラインカメラをＺ方向に伸びる回転軸の周りに回転させながら撮影を繰返す第２撮影工程と、を備え、前記作成する工程は、第１撮影工程で得られた映像を繋ぎ合わせて第１パノラマ映像を作成する第１作成工程と、第２撮影工程で得られた映像を繋ぎ合わせて第２パノラマ映像を作成する第２作成工程と、を備え、前記特定する工程は、「計測点の第１パノラマ映像内での位置と、第１撮影工程におけるラインカメラのカメラパラメータ」を備える第１のデータの組と、「計測点の第２パノラマ映像内での位置と、第２撮影工程におけるラインカメラのカメラパラメータ」を備える第２のデータの組を特定し、前記演算する工程は、第１のデータの組と第２のデータの組から、計測点の３次元座標を演算することが好ましい。
【００４１】
図８は、本計測方法を用いて被写体１３０の計測点Ｐの座標を算出する原理を説明する図である。回転体１３２、１３４は、地上の異なる地点に間隔Ｌ２だけ離れて配置され、それぞれラインカメラ１３６、１３８を搭載している。回転体１３２、１３４は、鉛直方向を回転軸として、一定の速度で回転する。ラインカメラ１３６は、回転体１３２の回転軸の方向（図８の紙面垂直方向）に直線状に伸びる視野内を撮影する。ラインカメラ１３８は、回転体１３４の回転軸の方向（図８の紙面垂直方向）に直線状に伸びる視野内を撮影する。
回転体１３２が回転し、ラインカメラ１３６は逐次周囲を撮影する。撮影された画像から、第１パノラマ映像が作成される。第１パノラマ映像内には、被写体１３０の計測点Ｐが観測される。被写体１３０の計測点Ｐは、回転体１３２のラインカメラ１３６の視野が、所定の方位（図８の上方向）から時計回りに角度θ１´の方向を向いた時点で撮影されている。第１パノラマ映像は、ラインカメラ１３６が撮影した画像を、回転角が増加（または減少）する方向に繋ぎ合せて作成されており、第１パノラマ映像内の計測点Ｐの位置と、ラインカメラ１３６のカメラパラメータから、計測点Ｐが撮影された時点でのラインカメラ１３６の角度θ１´が特定される。
また、回転体１３４が回転し、ラインカメラ１３８は逐次周囲を撮影する。撮影された画像から、第２パノラマ映像が作成される。第２パノラマ映像内には、被写体１３０の計測点Ｐが観測される。被写体１３０の計測点Ｐは、回転体１３４のラインカメラ１３８の視野が、所定の方位（図８の上方向）から時計回りに角度θ２´の方向を向いた時点で撮影されている。第２パノラマ映像は、ラインカメラ１３８が撮影した画像を、回転角が増加（または減少）する方向に繋ぎ合せて作成されており、第２パノラマ映像内の計測点Ｐの位置と、ラインカメラ１３８のカメラパラメータから、計測点Ｐが撮影された時点でのラインカメラ１３８の角度θ２´が特定される。
特定された角度θ１´、θ２´と、回転体１３２と回転体１３４の設置間隔Ｌ２から、計測点のＸ−Ｙ面内での位置を算出することができる。また、第１パノラマ映像または第２パノラマ映像における計測点Ｐの位置と、カメラパラメータから、計測点ＰのＺ座標についても算出することができる。
【００４２】
上記した方法は、カメラパラメータを算出することによっても同様に行える。この場合、基準点が２つあるが、一方のカメラパラメータを他方の座標系に変換する必要がある。ここでは、計測点を表現する座標を回転して平行移動したものにしなければならない。こうした変換を施したのち、２つのカメラにおける計測点の画像位置からその空間座標値を算出する。
【００４３】
上記のように、ラインカメラが定位置で回転する場合にも、安価な道具を利用して景色内に存在する計測点の位置を計測することができる。
【発明の効果】
【００４４】
本発明の計測装置あるいは計測方法によれば、ラインカメラという市販されている安価な道具を利用して、移動体の周囲に存在する計測点の位置を計測することが可能となる。
上記の装置あるいは方法は、次のような用途への応用が可能である。
（１）道路側方に連続的に存在する構造物の位置、奥行きあるいは高さの計測
（２）トンネル内壁の概形形状といった、広範囲に広がる構造物の位置の計測
（３）路面の凹凸、特にわだちなどの局所的なくぼみの計測
（４）レール上を移動するカメラによるパノラマ撮影と位置計測
（５）木材加工における材木などの回転物体の形状測定
（６）回転ポールに搭載したラインカメラによる広範囲ステレオ画像計測
【発明を実施するための最良の形態】
【００４５】
以下、本発明を具現化した実施例について図面を参照して説明する。最初に実施例の主要な特徴を列記する。
（形態１）：移動体は、道路を走行する車両である。
（形態２）：車両のＸＹ面内位置は、車両の走行軌道と、車両の走行距離から算出する。
（形態３）：車両の走行距離は、車両に搭載され道路面に接触して回転するロータリーエンコーダを用いて特定する。
（形態４）：車両が所定距離を走行するたびに、ラインカメラは垂直方向に伸びる視野内を撮影する。
（形態５）：所定距離ごとに撮影された垂直方向に長い映像を、進行方向に並列配置してパノラマ映像を生成する手段が用意されている。
（形態６）：車両が走行する間、ラインカメラが撮影する方向は車両に対して固定されており、車両の進行方向を計測することによって、ラインカメラの視野の方向を特定することができる。
【実施例】
【００４６】
（第１実施例）
図９から図１１を参照しながら、本発明を具現化した計測装置６について説明する。図９は本発明の計測装置６を模式的に示した図であり、図１０は計測装置６を図９の視点ＶＡから見た図であり、図１１は計測装置６を図９の視点ＶＢから見た図である。
【００４７】
図９に明示されているように、計測装置６は、測定車１８、撮影部２０、ロータリーエンコーダ１６、制御装置１０、記憶装置１２を備えている。
測定車１８は、マイクロバスを測定用に改造したものである。
撮影部２０は、測定車１８の上部に配置され、測定車１８の側方に向けて張り出した架台２を備え、架台２の上に２台のラインカメラ４および８を備えている。
ラインカメラ４および８は、光入力を電気信号に変換する多数の撮像素子が縦一列に配列されており、その前面に光信号を集めるレンズを設けている。ラインカメラ４および８は、制御装置１０からの指示によって、レンズを透過して入力された映像をＣＭＯＳ、ＣＣＤ等の撮像素子で撮影する。このラインカメラ４および８は、それぞれ４０９６個の撮像素子を持つ。各撮像素子は、レンズから５ｍ離れた被写体について「１ｍｍ×１ｍｍ」の区画を撮影可能である。
ラインカメラ８は、撮像素子が路面の垂直方向（Ｚ方向）に一列となるように設置されている。図９から図１１に示すように、ラインカメラ８は光軸が水平で、かつ測定車１８の進行方向（Ｘ方向）に対して垂直となるように設置角度を調整されている。すなわち、ラインカメラ８の視野は、Ｙ方向を向いている。
図９および図１０に示すように、ラインカメラ４は、ラインカメラ８と同一の高さで、ラインカメラ８より測定車１８の前方側の位置に設置されている。ラインカメラ４は、撮像素子が路面の垂直方向（Ｚ方向）に一列となるように設置されている。ラインカメラ４は、その光軸がラインカメラ８のレンズから５ｍ離れた点でラインカメラ８の光軸と交差するように、設置角度を調整されている。
ロータリーエンコーダ１６は道路面に接触して回転する。ロータリーエンコーダ１６は、計測装置６が１ｍｍ走行する毎にパルスを出力する。
制御装置１０には、ラインカメラ４および８、ロータリーエンコーダ１６、記憶装置１２が接続されている。制御装置１０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、入出力装置等を備えるコンピュータである。制御装置１０は、ロータリーエンコーダ１６から入力されるパルス信号を用いて、ＲＯＭに格納されている制御プログラムを実行して、計測装置６が１ｍｍ走行する毎にラインカメラ４および８に撮影を行わせる。車両側方５ｍの点に垂直壁があれば、ラインカメラ８によって１ｍｍ×１ｍｍの画素を垂直方向に４０９６個配列したスリット画像データが得られる。車両側方５ｍの点に垂直壁があれば、ラインカメラ４によって同じ範囲のスリット画像データが得られる。
制御装置１０は、ロータリーエンコーダ１６から入力されるパルス信号に基づいて、撮影を開始してからの計測装置６の走行距離を把握している。そして、制御装置１０は、撮影したスリット映像データ（ラインスキャン画像）と、撮影を開始してからの計測装置６の走行距離とを対応付けて、記憶装置１２に記憶させる。制御装置１０は、撮影されたスリット映像データを繋ぎ合わせてパノラマ映像を生成する。また制御装置１０は、生成された２枚のパノラマ映像から、景色内に存在する計測点の３次元位置を算出する。
記憶装置１２は、制御装置１０に接続して用いられるハードディスクであって、制御装置１０から入力されるデータを記憶する。
【００４８】
計測装置６の動作を、図１２を参照しながら説明する。
計測装置６は、準備工程Ｓ４２、撮影工程Ｓ４４、パノラマ作成工程Ｓ４６、対応点探索工程Ｓ４８、位置算出工程Ｓ５０を順に実施する。
準備工程Ｓ４２では、計測の準備として、形状および位置が既知である被写体を用いて、ラインカメラ４および８のカメラパラメータを決定する。図１３は直方体の枠から構成される基準物体２２を用いてカメラパラメータを決定する様子を示している。基準物体２２の幾つかの点（例えば直方体の頂点２４）は、その空間位置が既知である。この基準物体２２にカメラパラメータの座標軸を設ける。この基準物体２２に対して平行に車を並進移動させて、基準物体２２を撮像した画像を作成する。静止状態から１ｍｍ進むごとにラインカメラで撮像し画像を得る。この場合の並進ベクトルは（１、０、０）である。これに対して、静止状態からの撮像ラインの番号ｎとして、画像中に出現する基準物体２２の基準点２４の位置とその座標値を代入して式を作成する。例えば基準点２４が１００個あれば関係式は１００個である。これらの関係式から、最小自乗近似を行い基準物体２２の座標系に基づくカメラパラメータＣ１１〜Ｃ３３を決定する。カメラパラメータは、ラインカメラ４と８の双方について算出する。
【００４９】
撮影工程Ｓ４４では、図１４に示すように、測定車１８を走行させながら、測定車１８が所定距離を走行するたびに、ラインカメラ４と８のそれぞれによって、スリット映像を撮影する。
測定車１８は直線的に走行する。測定車１８が１ｍｍ走行するごとに、ロータリーエンコーダ１６は制御装置１０にパルスを送信する。制御装置１０はパルスを受信すると、ラインカメラ４および８に撮影を指示する信号を送信する。ラインカメラ４および８は、１ｍｍごとにスリット映像を撮影する。
ラインカメラ４および８によって撮影されたスリット映像は、制御装置１０へ送られる。制御装置１０は、ラインカメラ４および８によって撮影されたスリット映像データに、撮影した時点での測定車１８の走行距離を関連付けて、記憶装置１２に記憶させる。
測定車１８の走行距離が測定範囲を超えると、制御装置１０はラインカメラ４および８による撮影を中止する。測定車１８が走行を停止し、計測装置６は被写体の撮影を終了する。撮影工程Ｓ４４が終了すると、パノラマ作成工程Ｓ４６を実施する。
【００５０】
パノラマ作成工程Ｓ４６では、ラインカメラ４で撮影したスリット映像データ系列と、ラインカメラ８で撮影したスリット映像データ系列に基づいて、ラインカメラ４に関するパノラマ映像データと、ラインカメラ８に関するパノラマ映像データを作成する。
記憶装置１２に記憶された、ラインカメラ４およびラインカメラ８で撮影されたスリット映像データには、撮影した時点での測定車１８の走行距離が関連付けられている。図１５に示すように、横方向に測定車１８の走行距離をとり、縦方向にスリット映像が伸びるようにスリット映像データ系列を配置することで、ラインカメラ４に関するパノラマ映像データ６２と、ラインカメラ８に関するパノラマ映像データ６８が生成される。
以下ではラインカメラ４に関するパノラマ映像データ６２をパノラマＡ、ラインカメラ８に関するパノラマ映像データ６８をパノラマＢと記述する。パノラマ作成工程Ｓ４４が終了すると、対応点探索工程Ｓ４８を実施する。
【００５１】
対応点探索工程Ｓ４８では、２つのパノラマ映像に撮影された同一の計測点について、その画像中の位置を探索する。既に詳述したように、一方のパノラマ映像における画像中の計測点に対して、他方のパノラマ画像においてその点が出現しうる範囲は、容易に特定することができる。
図１５のパノラマＡ中の基準点６４に付随する領域６６に対して、これを撮像したときのラインカメラ４のライン番号を０として、ラインカメラ８においてこの０番のラインに対応するラインを確認する。ラインカメラ４と８は、まったく同じタイミングで画像を撮像しているため、例えば、ラインカメラ４の１２００ライン目を０番とするとラインカメラ８においても１２００ライン目が０番である。こうすると、ラインカメラ４における０番目のラインのＸｃの位置に現われる計測点は、ラインカメラ８ではｎ番目のラインのＸｎｃの位置に存在する。この探索範囲は直線となるので、適当な端点の座標を計算すれば、探索領域の各点の位置を計算しなくてもよい。
【００５２】
パノラマＢの探索線７２上で設定した候補点７０が、パノラマＡの基準点６４に対応するか否かを、基準点６４周辺の領域（基準領域）６６と、候補点７０周辺の領域（候補領域）７４の類似度を算出することで、判断する。これらの処理は、一般のステレオ画像処理とおなじで、正規化相関をはじめとする幾つかの方法が有効である。また、ラインカメラによる画像の透視効果は、１次元のみであるので、矩形画像をマッチングするとき、ラインに垂直な方向の伸縮を行うと有効である。候補領域７４の大きさは、パノラマＡの基準領域６６（本実施例では正方形）を、パノラマＢ上ではＸＣ方向（図１５に示す左右方向）に伸縮させて候補領域７４として、探索線７２上での対応点探索を実行する。本実施例の測定装置２では、パノラマＢの候補領域７４の形状を、パノラマＡの基準領域６６の形状からＸＣ方向に０．８〜１．３倍程度に縮尺を変更して、対応点の探索を実行する。
【００５３】
ラインカメラ４とラインカメラ８は、光軸が平行でないため、同一の被写体を撮影した場合でも、パノラマＡ上の像と、パノラマＢ上の像とでは、縮尺が異なる。このため、実際には対応している点であっても、基準領域６６と候補領域７４の相関を算出する際に、縮尺の相違が原因となって上記の相関値がしきい値を下回り、基準点６４と候補点７０が対応していない、と判断される場合がある。従って、候補領域７４の大きさを一定として探索線７２上の全ての点を評価しても対応点が見つからない場合には、候補領域７４の大きさを変更して、探索線７２上の点について繰り返し評価を実施すると有効である。
【００５４】
パノラマＢ内の全ての候補点について、全ての候補領域を用いて評価を実施しても、対応点が見つからない場合、制御装置１０はその基準点６４には対応点が存在しないと判断する。このような状況は、例えばラインカメラ４からは撮影可能であり、ラインカメラ８からは死角となる点が被写体に存在する場合に起こりうる。このような場合には、その基準点６４については対応点なしと判断する。対応点のない基準点については、位置を算出することができない。
制御装置１０は、パノラマＡの基準点６４の位置と、パノラマＢの候補点７０の位置を、関連付けて記憶装置１２に記憶させる。対応点が存在しない基準点については、その基準点の位置と、対応点がないことを意味するデータを関連付けて、記憶装置１２に記憶させる。
上記の対応点探索をパノラマＡ上の全ての点を基準点として繰り返し実施する。
対応点探索工程Ｓ４８が終了すると、位置算出工程Ｓ５０を実施する。
【００５５】
位置算出工程Ｓ５０では、対応点７０が検出されたパノラマＡ上の基準点６４について、まず、対応する計測点のカメラパラメータで用いられた座標系における３次元座標（Ｘ、Ｙ、Ｚ）を計算する。これは、着目する計測点の行番号を０としたとき、図１３における車両がスタートしたときと同じであって、基準物体２２が座標系を表現する。カメラ４のライン１５００番目の２０００番目の画素が計測点であるとする。すると（１）（２）式においてXcは、２０００である。これに対応したカメラ８の画素は、ライン１６５０番目の１２３０番目の画素であったとする。するとカメラ８のカメラパラメータは、（４）（５）式において、ｎ＝３５０、Xcは、１２３０である。こうして、カメラ４とカメラ８において式が４つ出来上がるので、これより、Xo,Yo,Zoを算出する。これが計測点の（X,Y,Z）座標値である。ここで、車がｘ方向に直線走行したとみなし得ると、車のスタート地点を原点にした座標値Xは、X＝２０００＋Xoとなる。
【００５６】
制御装置１０は、上記算出された３次元座標（Ｘ、Ｙ、Ｚ）を、パノラマＡ上の２次元座標（ＺＡ、ＸＡ）と関連付けて、記憶装置１２に記憶する。パノラマＢ上に対応点がなく、位置の算出ができない基準点については、位置の算出ができないことを意味するデータを、パノラマＡ上の２次元座標（ＺＡ、ＸＡ）と関連付けて、記憶装置１２に記憶する。上記の位置算出をパノラマＡの全ての点について繰り返し実施する。
【００５７】
記憶装置１２に記憶されたパノラマ映像データと３次元位置データは、例えば制御装置１０の入出力装置を用いて表示してもよいし、別のコンピュータ等にデータを転送して別途表示してもよい。
上記の計測装置６を用いることによって、測定車１８が走行する周囲の環境について、パノラマ映像データと３次元形状データを取得することができる。
【００５８】
上記の実施例では、移動体として自動車を用いた例を説明したが、移動体としてはこれに限らない。人が搭乗する乗り物に限らず、例えばラジコンカー等の人が搭乗しない車両を用いてもよい。
【００５９】
上記の実施例では、ラインカメラ４および８の光軸が交差する例を説明したが、ラインカメラの光軸は交差していなくてもよい。ラインカメラ４とラインカメラ８の光軸が平行でなく、互いに異なる方向を撮影することができれば、どのような角度で設置されていてもよい。
【００６０】
上記の実施例ではラインカメラ４とラインカメラ８のそれぞれのカメラパラメータを、位置が既知である被写体のパノラマ映像上での座標値から決定しているが、カメラパラメータを決定する方法はこれに限らない。例えばラインカメラ４およびラインカメラ８の取付け位置と取付け角度を正確に計測し、測定車１８とラインカメラ４，８の幾何学的関係から、カメラパラメータを決定することもできる。
【００６１】
上記の実施例では、全ての工程を計測装置６を用いて実施する例を説明したが、準備工程と撮影工程のみを計測装置６で実施し、パノラマ作成工程、対応点探索工程、位置算出工程は、記憶装置１２に記憶された撮影データを、別のコンピュータ等に転送し、別途実施してもよい。
【００６２】
上記の実施例では、制御装置１０および記憶装置１２が測定車１８に搭載されている例を説明したが、制御装置１０および／または記憶装置１２は測定車１８に搭載されずに、車外に設置されていてもよい。制御装置１０は、ラインカメラ４、８、ロータリーエンコーダ１６と、有線または無線で通信可能な状態であれば、測定車１８の車外に設置されていてもよい。また記憶装置１２は、制御装置１０と有線または無線で通信可能な状態であれば、測定車１８の車外に設置されていてもよい。
【００６３】
上記の実施例では、測定車１８の走行距離を計測するためにロータリーエンコーダ１６を用いる例を説明したが、測定車１８の走行距離を計測する手段としてはこれに限らない。例えばＧＰＳ受信機を用いて測定車１８の位置を逐次取得し、取得した位置情報から測定車１８の走行距離を算出してもよい。
【００６４】
上記の実施例では、パノラマＡ上の全ての点について、自動的に位置の算出を実施する例を説明したが、例えばパノラマ作成工程の後に、利用者がパノラマＡ上の点を指定し、その点についてのみ対応点を探索して位置を算出してもよい。このような構成とすると、対応点探索工程および位置算出工程での制御装置１０の処理時間が大幅に短縮される。被写体の限られた範囲についてのみ、迅速に奥行きや高さを算出したい場合に、極めて有効である。
【００６５】
上記の実施例では、対応点探索工程のパノラマＡの基準点６４周辺の基準領域６６を正方形としたが、基準領域６６の形状としてはこれに限らない。例えば基準領域６６の形状は台形やひし形としてもよいし、円や楕円としてもよいし、三角形や五角形、六角形等の他の多角形でもよい。
また、基準点６４と基準領域６６の位置関係は、基準点６４が基準領域６６内に含まれていれば、どのような位置関係であってもよい。候補点７０と候補領域７４の位置関係についても同様である。
【００６６】
上記の実施例では、対応点探索工程で、基準領域６６と候補領域７４の相関を算出する手法として、領域内の明度に基づいて相関を評価する手法を説明したが、相関を算出する手法はこれに限らない。例えば特定の色の強度に基づいて相関を評価してもよい。
【００６７】
（第２実施例）
本発明で具現化される他の計測装置について説明する。第１実施例と同一の内容については、説明を省略する。
本実施例の計測装置６の構成は、第１実施例と同一である。以下では図１６を参照しながら、計測装置６の動作を説明する。
計測装置６は、準備工程Ｓ６２、撮影工程Ｓ６４、パノラマ作成工程Ｓ６６、位置算出工程Ｓ６８を順に実施する。
準備工程Ｓ６２では、計測の準備としてラインカメラ４および８のパラメータ特性を決定する。
前記したように、計測点の３次元位置（Ｘ、Ｙ、Ｚ）と、走行距離Ｌ、角θ１、θ２、は、次の関係がある。
Ｘ０＝Ｌ・tanθ２／（tanθ２−tanθ１）
Ｙ０＝Ｌ・tanθ１・tanθ２／（tanθ２−tanθ１）
Ｚ０＝Ｌ・tanφ１・（１＋tan２θ１）１／２・｜tanθ２／（tanθ２−tanθ１）｜
tanφ１＝ＺＣ／Ｆ
ラインカメラ４およびラインカメラ８について、上記係数のうちθ１、θ２、Ｆを決定する。θ１、θ２、Ｆは、セットアップ済みの測定車１８から直接計測してもよいし、位置が既知である被写体を用意し、その被写体を撮影して、走行距離Ｌと位置（Ｘ、Ｙ、Ｚ）を代入して、上記の連立方程式を数値計算で解くことによって、算出してもよい。上記によって得られたθ１、θ２、Ｆを、記憶装置１２に記憶しておく。
またラインカメラ４とラインカメラ８の搭載位置間距離δを計測し、記憶装置１２に記憶しておく。
【００６８】
撮影工程Ｓ６４、パノラマ作成工程Ｓ６６は、第１実施例の撮影工程Ｓ４４、パノラマ作成工程Ｓ４６と同様である。
【００６９】
位置算出工程Ｓ６８では、ラインカメラ４およびラインカメラ８によって撮影された任意の計測点の位置を、その計測点が撮影された時点での測定車１８の走行距離から算出する。
以下では、ラインカメラ４で撮影されたスリット映像から作成されるパノラマ映像をパノラマＡ、ラインカメラ８で撮影されたスリット映像から作成されるパノラマ映像をパノラマＢとする。
計測装置６のオペレータが、パノラマＡおよびパノラマＢを見ながら、計測点のパノラマＡ上の像を基準点６４、計測点のパノラマＢ上の像を対応点７０として指定する。
制御装置１０は、指定された基準点６４を含むスリット映像が撮影された時点での測定車１８の走行距離をＸ１、指定された対応点７０を含むスリット映像が撮影された時点での測定車１８の走行距離をＸ２、車両の進行方向に沿って測定したラインカメラ４とラインカメラ８の搭載位置間距離をδとしたときに、基準点６４を撮影した時点でのラインカメラ４の位置から対応点７０を撮影した時点でのラインカメラ８の位置までの距離Ｌを、Ｘ２−Ｘ１−δの式から算出する。また制御装置１０は、パノラマＡ上の基準点６４について、パノラマＡ上での座標ＺＣを計測する。座標ＺＣは、パノラマＡの基準点６４を投影したスリット映像において、ラインカメラ４の光軸を投影した点を原点として、スリット映像の伸びる方向にとった座標である。
距離Ｌと基準点６４の座標ＺＣに基づいて、基準点６４が示す計測点Ｐの実際の３次元座標（Ｘ、Ｙ、Ｚ）は、次式によって算出される。
Ｘ＝Ｌ・tanθ２／（tanθ２−tanθ１）
Ｙ＝Ｌ・tanθ１・tanθ２／（tanθ２−tanθ１）
Ｚ＝Ｌ・tanφ１・（１＋tan２θ１）１／２・｜tanθ２／（tanθ２−tanθ１）｜
tanφ１＝ＺＣ／Ｆ
制御装置１０は上記の計算を実施し、パノラマＡ上の指定した基準点６４について、実際の３次元座標（Ｘ、Ｙ、Ｚ）を算出する。算出された３次元座標は、制御装置１０の入出力装置に表示される。
【００７０】
（実施例３）
図１７を参照しながら、本発明を具現化した他の計測装置２０２について説明する。図１７は本発明の計測装置２０２を模式的に示しており、被写体２２０と計測装置２０２を上方向から見た図である。
図１７に示すように、計測装置２０２は、回転撮影部２１０、２１６、制御装置２０６、記憶装置２０４を備えている。
回転撮影部２１０は第１基準位置に設置され、回転撮影部２１６は第２基準位置に設置されている。回転撮影部２１０が設置される第１基準位置と、回転撮影部２１６が設置される第２基準位置とを結ぶ方向をＸ軸とし、Ｘ方向に垂直な水平方向をＹ軸として、ＸＹＺ直交座標系が定義される。
回転撮影部２１０は、制御装置２０６によって制御されるモータ（図示されない）の回転を駆動力として、Ｚ方向に伸びる回転軸の周りを図１７の時計回りに回転する。回転撮影部２１０は、ラインカメラ２１２およびロータリーエンコーダ２０８を備えている。
同様に回転撮影部２１６は、制御装置２０６によって制御されるモータ（図示されない）の回転を駆動力として、Ｚ方向に伸びる回転軸の周りを図１７の時計回りに回転する。回転撮影部２１６は、ラインカメラ２１４およびロータリーエンコーダ２１８を備えている。
ラインカメラ２１２、２１４は、それぞれ回転撮影部２１０、２１６に対して視野の方向を固定されており、回転撮影部２１０、２１６が回転するに従って、ラインカメラ２１２、２１４の視野の方向も回転する。ラインカメラ２１２、２１４は、制御部２０６からのトリガパルスに応じて１ライン撮像動作（露光）を行う。
ロータリーエンコーダ２０８、２１８は、それぞれ回転撮影部２１０、２１６の回転角を検出する。ロータリーエンコーダ２０８は、回転撮影部２１０が０．１°回転するごとにパルスを出力し、ロータリーエンコーダ２１８は、回転撮影部２１６が０．１°回転するごとにパルスを出力する。
制御装置２０６には、回転撮影部２１０、２１６、記憶装置２０４が接続されている。
制御装置２０６は、回転撮影部２１０のロータリーエンコーダ２０８から入力されるパルス信号を用いて、回転撮影部２１０が０．１°回転する毎にラインカメラ２１２に撮影を行わせる。制御装置２０６は、ロータリーエンコーダ２０８から入力されるパルス信号をカウントし、回転撮影部２１０の角度を把握している。回転撮影部２１０の角度は、Ｘ方向とラインカメラ２１２の視野の方向とが成す角度によって記述される。制御装置２０６は、ラインカメラ２１２によって撮影された画像データを、回転撮影部２１０の角度に関連付けて、記憶装置２０４に記憶させる。
同様に、制御装置２０６は、回転撮影部２１６のロータリーエンコーダ２１８から入力されるパルス信号を用いて、回転撮影部２１６が０．１°回転する毎にラインカメラ２１４に撮影を行わせる。制御装置２０６は、ロータリーエンコーダ２１８から入力されるパルス信号をカウントし、回転撮影部２１６の角度を把握している。回転撮影部２１６の角度は、Ｘ方向とラインカメラ２１４の視野の方向とが成す角度によって記述される。制御装置２０６は、ラインカメラ２１４によって撮影された画像データを、回転撮影部２１６の角度に関連付けて、記憶装置２０４に記憶させる。
【００７１】
回転撮影部２１０、２１６のそれぞれが一回転し、回転撮影部２１０、２１６の全方位についてのラインカメラ２１２、２１４による撮影が完了すると、制御装置２０６はパノラマ映像を作成する。
先ず制御装置２０６は、ラインカメラ２１２によって撮影された画像データを、関連付けられた回転撮影部２１０の角度が増加していく順序に各画像データを配列して、それらの画像を繋ぎ合わせて、第１のパノラマ映像を作成する。
次に制御装置２０６は、ラインカメラ２１４によって撮影された画像データを、関連付けられた回転撮影部２１６の角度が増加していく順序に各画像データを配列して、それらの画像を繋ぎ合わせて、第２のパノラマ映像を作成する。
【００７２】
ラインカメラ２１２、２１４のカメラパラメータは、図１７に示すＸ軸、Ｙ軸と、回転中心軸であるＺ軸に関して算出しておく。カメラパラメータを算出する手順は、以下である。基準物体をラインカメラ２１２、２１４の中間におき、その基準物体が備える基準点をそれぞれの座標系に応じて予め計測しておく。その後、カメラを回転させながら、基準点を撮像し、基準点を撮像した時点の回転角θ（パルス数）と、Xcと、基準点の位置とを用いて、最小自乗近似により、ラインカメラ２１２、２１４のそれぞれのカメラパラメータを特定する。ラインカメラ２１２、２１４のカメラパラメータが算出された後、ラインカメラ２１２、２１４のパノラマ画像から同一の計測点を見出し、これから座標値を計算する。ラインカメラ２１４の座標系によって、計測点の位置を表現すると、ラインカメラ２１２の座標系によって記述される計測点Xo’、Yo’、Zo’は、ラインカメラ２１２と２１４との中心軸の間隔をDとして、
Ｘ０’＝Ｄ−Ｘ０、 Ｙ０’＝Ｙ０、 Ｚ０’＝Ｚ０
である。これらXo’、Yo’、Zo’を（１０）（１１）式のXo,Yo,Zoに代入する。ラインカメラ２１４と同一の計測点が現われている画素の位置とそのときの角度をこの式に代入したものが、ラインカメラ２１２での画素の位置と計測点との関係である。これとラインカメラ２１４における（１０）（１１）式を連立させると、ラインカメラ２１４における座標系によって、計測点の空間位置が算出される。
ラインカメラ２１２と２１４において対応点の探索範囲を調べることも可能である。ラインカメラ２１４の（１０）（１１）式においてＺ０をパラメータとして、Ｘ０、Ｙ０を算出し、これをラインカメラ２１２の（１０）（１１）式に代入すれば、回転角度ごとに対応点の存在位置が計算できる。しかし、１次式の形ではない。
【００７３】
（実施例４）
図１８と図１９を参照しながら、本発明の第４実施例に係る方法を説明する。
図１８は本発明の計測装置３００を模式的に示した側面図である。図１９は、計測装置３００を断面VIII―VIIIから見た横断面図である。計測装置３００は、制御装置３０２、アーム３０４、エンコーダ３０６、筐体３０８、ラインカメラ３１０および３１２から構成されている。被写体３１４は、計測を実施している間静止しているように、固定されている。筐体３０８は回転軸ＺＡから延びるアーム３０４によって保持されており、アーム３０４の回転に伴って被写体３１４の周囲を図１９の円３１６に沿って移動する。本実施例では、アーム３０４が０．１°回転することによって、筐体３０８は円３１６に沿って１ｍｍ移動する。筐体３０８には２のラインカメラ３１０および３１２が搭載されている。図１９に示すように、ラインカメラ３１０は回転軸ＺＡの方向を撮影するように、筐体３０８に対する姿勢を維持されている。ラインカメラ３１２はラインカメラ３１０の視野面からθ０度傾いた面に沿う視野内を撮影するように、筐体３０８に対する姿勢を維持されている。
アーム３０４は図示されない回転駆動装置を備えており、制御装置３０２からの指示に従って回転する。アーム３０４にはエンコーダ３０６が設けられており、アーム３０４が所定の角度だけ回転するごとに制御装置３０２へパルスを送信する。本実施例では、アーム３０４が０．１°回転するごとに、エンコーダ３０６はパルスを送信する。
制御装置３０２は、他の実施例と同様のコンピュータである。制御装置３０２は、アーム３０４を駆動して回転させる。制御装置３０２は、アーム３０４の回転に伴いエンコーダ３０６からパルスを受信し、受信されたパルス数を積算することによってアーム３０４の回転角度を算出する。さらに制御装置３０２は、エンコーダ３０６からパルスを受信するごとに、ラインカメラ３１０および３１２に指示を送信して撮影させる。ラインカメラ３１０および３１２は、撮影した映像データを制御装置３０２へ送信する。制御装置３０２は、受信した映像データを、その時のアーム３０４の回転角度と関連付けて記憶する。制御装置３０２は、アーム３０４が３６０°回転して、筐体３０８が被写体３１４の周囲を１周回転するまで、上記の撮影を繰り返し実施する。
筐体３０８が被写体３１４の周囲を１周回転すると、計測装置３００は被写体３１４の撮影を終了する。
【００７４】
上記した撮影が終了すると、制御装置３０２は、ラインカメラ３１０と３１２のそれぞれが撮影した映像データから、パノラマ映像を作成する。
制御装置３０２は、ラインカメラ３１０によって撮影された映像データを、筐体３０８の回転方向に繋ぎ合わせて、第１パノラマ映像を作成する。
制御装置３０２は、ラインカメラ３１２によって撮影された映像データを、筐体３０８の回転方向に繋ぎ合わせて、第２パノラマ映像を作成する。
本実施例の計測装置３００は、第１パノラマ映像と第２パノラマ映像の双方に映されている計測点の位置を算出することができる。以下では、第１パノラマ映像と第２パノラマ映像の双方に映されている計測点Ｐの位置算出について説明する。
【００７５】
カメラパラメータとしては、回転中心をＺ軸、これに垂直にＸ軸、Ｙ軸とする。回転中心付近に基準物体を設置し、基準物体が備える基準点について前記座標系における位置を予め計測しておく。そして、ラインカメラを回転させながら、上記した基準点を撮像していく。回転角θと基準点のＸｃを代入することによって、各ラインカメラのカメラパラメータが決定される。ラインカメラ３１０と３１２のカメラパラメータが決定されると、得られたパノラマから同一の計測点とみなし得る画素の位置（Ｘｃ）とその時の回転角を用いて、計測点のＸ０、Ｙ０、Ｚ０を求めることができる。対応点の探索については、他の実施例において詳述しているため、ここでは説明を省略する。
上述した関係式に基づいて、計測点Ｐの３次元座標を演算する。上記の方法を用いることによって、被写体３１４の表面の形状を計測することができる。
【００７６】
上記では、ラインカメラ３１０とラインカメラ３１２によって得られる映像から、それぞれパノラマ映像を作成して、それぞれのカメラに関してパノラマ映像内での計測点の位置とカメラパラメータのデータの組を特定し、特定された２のデータの組から計測点の座標を特定する場合について説明した。
上記とは異なり、ラインカメラ３１０とラインカメラ３１２のそれぞれが計測点を計測した時点での、ラインカメラの位置と、ラインカメラ視野面のＸＹＺ直交座標系に対する角度と、ラインカメラ映像内での計測点の位置のデータの組を特定し、特定された２のデータの組から計測点の位置を算出することもできる。このような計測方法は、上記の実施例の計測装置３００と同様な構成の装置を用いることで、実施することができる。
このような場合、ラインカメラ視野面のＸＹＺ直交座標系に対する角度は、例えばアーム３０４の回転角に基づいて算出することができる。また、ラインカメラ位置についても、アーム３０４の回転角に基づいて算出することができる。
【００７７】
（実施例５）
図２０と図２１を参照しながら、本発明の第５実施例に係る方法を説明する。本実施例の方法では、所定の直交座標系ＸＹＺにおいて、Ｚ軸を回転軸として回転する被写体について、その表面に存在する計測点の回転半径とＺ座標を計測し、被写体の表面形状を計測する。
図２０は本発明の計測装置４００を模式的に示した側面図である。図２１は、計測装置４００を断面X―Xから見た横断面図である。計測装置４００は、制御装置４０２、回転治具４１６、エンコーダ４０６、ラインカメラ４１０および４１２から構成されている。被写体４１４は、円柱形状をしており、両端を回転治具４１６によって拘束されている。回転治具４１６は、図示しない回転駆動装置を備えている。回転治具４１６は、制御装置４０２からの指示に応じて、回転軸ＺＡの周りを被写体４１４と一体となって回転する。ラインカメラ４１０および４１２は、被写体４１４の表面を撮影するように、位置を固定されている。図２０に示すように、ラインカメラ４１０は被写体４１４および回転治具４１６の回転軸ＺＡの方向を撮影するように、回転軸ＺＡに対して姿勢を維持されている。ラインカメラ４１２はラインカメラ４１０の視野面からθ０度傾いた面に沿う視野内を撮影するように、回転軸ＺＡに対して姿勢を維持されている。
回転治具４１６は、ロータリーエンコーダ４０６を備えている。ロータリーエンコーダ４０６は、回転治具４１６が所定の角度回転するごとに制御装置４０２へパルスを送信する。本実施例では、回転治具４１６が０．１°回転するごとに、ロータリーエンコーダ４０６はパルスを送信する。
制御装置４０２は、他の実施例と同様のコンピュータである。制御装置４０２は、回転治具４１６を駆動して回転させる。制御装置４０２は、回転治具４１６の回転に伴いロータリーエンコーダ４０６からパルスを受信し、受信されたパルス数を積算することによって回転治具４１６の回転角度を算出する。さらに制御装置４０２は、ロータリーエンコーダ４０６からパルスを受信するごとに、ラインカメラ４１０および４１２に指示を送信して撮影させる。ラインカメラ４１０および４１２は、撮影した映像データを制御装置４０２へ送信する。制御装置４０２は、受信した映像データを、その時の回転治具４１６の回転角度と関連付けて記憶する。制御装置４０２は、回転治具４１６が３６０°回転するまで、上記の撮影を繰り返し実施する。
ラインカメラ４１０および４１２による撮影を開始してから、回転治具４１６が３６０°回転すると、計測装置４００は被写体４１４の撮影を終了する。
【００７８】
上記した撮影が終了すると、制御装置４０２は、ラインカメラ４１０と４１２のそれぞれが撮影した映像データから、パノラマ映像を作成する。
制御装置４０２は、ラインカメラ４１０によって撮影された映像データを、回転治具４１６の回転方向に繋ぎ合わせて、第１パノラマ映像を作成する。
計測装置４０２は、ラインカメラ４１２によって撮影された映像データを、回転治具４１６の回転方向に繋ぎ合わせて、第２パノラマ映像を作成する。
本実施例の計測装置４００は、第１パノラマ映像と第２パノラマ映像の双方に映されている、被写体４１４の表面上の計測点の位置を算出することができる。以下では、第１パノラマ映像と第２パノラマ映像の双方に映されている計測点Ｐの位置算出について説明する。
【００７９】
パノラマ映像を作成すると、計測装置４０２は、計測点Ｐのパノラマ映像内での位置と、カメラパラメータを特定する。
計測点Ｐのパノラマ映像内での位置の特定は、例えば第１パノラマ映像内で計測点Ｐを指定した後に、第２パノラマ映像内で対応点を探索することによって、行うことができる。対応点の探索については、他の実施例において詳述しているため、ここでは説明を省略する。
【００８０】
以下では、ラインカメラ４１０と４１２のカメラパラメータの特定について説明する。ラインカメラのパラメータは、回転軸をＺ軸、これに直交するＸ軸、Ｙ軸とする。カメラパラメータを算出する基準物体として、例えば幾つかの突起を備える回転体を用いて、この突起の先端の座標値を前記の座標系であらかじめ計測しておく。基準点を表現するＸｃとその時の回転角を用いて、カメラパラメータが特定される。ラインカメラ４１０、４１２のカメラパラメータが算出されると、これらから得られたパノラマ画像を参照しながら、それぞれのパノラマ画像において対応する計測点を探す。対応する計測点が検出されると、対応する計測点の角度と画像位置Ｘｃとを用いて、計測点の座標値Ｘ０、Ｙ０、Ｚ０が算出される。
ここで用いるカメラパラメータは、回転軸をＺ軸としているため中心軸からの距離を用意に求めることができる。例えば、回転体の表面形状よりも最大半径と最小半径が知りたい場合は、すでに詳述した方法で算出可能である。
上記の方法を用いることによって被写体４１４の表面の形状を計測することができる。
【００８１】
上記では、ラインカメラ４１０とラインカメラ４１２によって得られる映像から、それぞれパノラマ映像を作成して、それぞれのカメラに関してパノラマ映像内での計測点の位置とカメラパラメータのデータの組を特定し、特定された２のデータの組から計測点の回転半径とＺ座標を特定する場合について説明した。
上記とは異なり、ラインカメラ４１０とラインカメラ４１２のそれぞれが計測点を計測した時点での、ラインカメラの位置と、回転軸と計測点を含む面のＸＹＺ直交座標系に対する角度と、ラインカメラ映像内での計測点の位置のデータの組を特定し、特定された２のデータの組から計測点の位置を算出することもできる。このような計測方法は、上記の実施例の計測装置４００と同様な構成の装置を用いることで、実施することができる。
このような場合、回転軸と計測点を含む面のＸＹＺ直交座標系に対する角度は、例えば回転治具４１６の回転角に基づいて算出することができる。
【００８２】
以上、本発明の実施形態について詳細に説明したが、これらは例示に過ぎず、特許請求の範囲を限定するものではない。特許請求の範囲に記載の技術には、以上に例示した具体例を様々に変形、変更したものが含まれる。
また、本明細書または図面に説明した技術要素は、単独であるいは各種の組み合せによって技術的有用性を発揮するものであり、出願時請求項記載の組み合せに限定されるものではない。また、本明細書または図面に例示した技術は複数の目的を同時に達成するものであり、そのうちの一つの目的を達成すること自体で技術的有用性を持つものである。
【図面の簡単な説明】
【００８３】
【図１】本発明の計測装置による計測の原理を示す斜視図である。
【図２】本発明の計測装置による計測の原理を示す平面図である。
【図３】本発明の異なる軌道を移動する移動体を用いる計測方法を示す図である。
【図４】本発明の曲線を描く軌道を移動する移動体を用いる計測方法を示す図である。
【図５】本発明の計測装置による３次元計測の原理を示す側面図である。
【図６】パノラマ映像上のＺＣ座標と計測点の位置との関係を示す図である。
【図７】パノラマ映像上のＸＣ座標と計測点の位置との関係を示す図である。
【図８】本発明による回転体を用いる計測方法を説明する図である。
【図９】計測装置６の構成を模式的に示す図である。（実施例１）
【図１０】計測装置６を上方から見た図である。（実施例１）
【図１１】計測装置６を後方から見た図である。（実施例１）
【図１２】計測装置６の動作を説明するフローチャートである。（実施例１）
【図１３】計測装置６の準備工程を示す図である。（実施例１）
【図１４】計測装置６の撮影工程を示す図である。（実施例１）
【図１５】計測装置６で作成されるパノラマ映像を示す図である。（実施例１）
【図１６】計測装置６の動作を説明するフローチャートである。（実施例２）
【図１７】計測装置２０２の構成と動作を示す図である。（実施例３）
【図１８】計測装置３００の構成を模式的に示す図である。（実施例４）
【図１９】計測装置３００の横断面図である。（実施例４）
【図２０】計測装置４００の構成を模式的に示す図である。（実施例５）
【図２１】計測装置４００の横断面図である。（実施例５）
【符号の説明】
【００８４】
２・・・架台
４・・・ラインカメラ
６・・・計測装置
８・・・ラインカメラ
１０・・・制御装置
１２・・・記憶装置
１４・・・後輪
１６・・・ロータリーエンコーダ
１８・・・測定車
２０・・・撮影部
２２・・・基準物体
２４・・・基準点
６２・・・パノラマ映像
６４・・・基準点
６６・・・基準領域
６８・・・パノラマ映像
７０・・・候補点
７２・・・探索線
７４・・・候補領域
１０２・・・被写体
１０４・・・軌道
１０６・・・ラインカメラ
１０８・・・車両
１１０・・・軌道
１２０・・・軌道
１３０・・・被写体
１３２、１３４・・・回転体
１３６、１３８・・・ラインカメラ
２０２・・・計測装置
２０４・・・記憶装置
２０６・・・制御装置
２０８、２１８・・・ロータリーエンコーダ
２１０、２１６・・・回転撮影部
２１２、２１４・・・ラインカメラ
２２０・・・被写体
３００・・・計測装置
３０２・・・制御装置
３０４・・・アーム
３０６・・・ロータリーエンコーダ
３０８・・・筐体
３１０、３１２・・・ラインカメラ
３１４・・・被写体
３１６・・・円
４００・・・計測装置
４０２・・・制御装置
４０６・・・ロータリーエンコーダ
４１０、４１２・・・ラインカメラ
４１４・・・被写体
４１６・・・回転治具
【特許請求の範囲】
【請求項１】
所定のＸＹＺ直交座標系を用いて、移動体の周囲に存在する計測点の３次元座標を計測する方法であって、
移動体を移動しながら、少なくとも２回異なる方向または位置から計測点を撮影するように、移動体に搭載したラインカメラで撮影する工程と、
ラインカメラで計測点を撮影した時点におけるラインカメラの位置および方向を特定する工程と、
ラインカメラの映像内における計測点の像の位置を特定する工程と、
映像内の計測点の像の映像内における位置と、計測点とラインカメラの光軸中心を結ぶ視線上の点の前記ＸＹＺ直交座標系における位置との関係を特定する工程と、
少なくとも２組の映像内の計測点の像の位置と、計測点を撮影した時点におけるラインカメラの位置および方向から、前記ＸＹＺ座標系における計測点の位置を演算する工程
を備えている計測方法。
【請求項２】
所定のＸＹＺ直交座標系を用いて、移動体の周囲に存在する計測点の３次元座標を計測する方法であって、
移動体の２つの位置に共通でかつそれぞれの進行方向を含む平面に対して、ラインカメラの視野面が移動体の上記平面に対して垂直であるようにカメラを移動体に搭載し計測点を含む対象物を撮像する工程と、
上記ラインカメラの撮像時刻における移動体の位置を計測もしくは演算する工程と、
上記ラインカメラが上記計測点を撮像したときのカメラの相対位置関係を特定する工程と、
上記複数のラインカメラの映像において同一の計測点を特定する工程と、
上記ラインカメラの視野面の共通部分がなす直線上に存在する計測点は上記進行方向に平行な平面に投影したとき同一の点となる性質、およびラインカメラ視野面上の計測点は、ラインカメラの映像において同一のラインに存在する性質を用いて、上記平面に投影した上記計測点の位置を演算する工程
を備えている計測方法。
【請求項３】
請求項２の計測方法であって、
計測点の映像内位置とその計測点を撮像する視線の向きを関連付ける工程と、
カメラの光軸のおよび光軸中心の相対位置関係を関連付ける工程と、
上記平面をＸＹ平面としたときの計測点の位置を演算する工程
を備えている計測方法。
【請求項４】
請求項１，２または３の計測方法であって、
２つ以上の向きの異なるラインカメラを同一の移動体に搭載し、それぞれのカメラのライン撮像時刻における移動体の位置を計測もしくは演算によって求める工程を備えている計測方法。
【請求項５】
請求項１，２または３の計測方法であって、
同一の計測点を異なる軌道で移動する移動体もしくは異なるカメラの向きを持った移動体によって撮像する工程と、
軌道上の移動体の位置と向きを特定する工程
を備えている計測方法。
【請求項６】
請求項１，２または３の計測方法であって、
移動体の位置および向きと撮像したラインの時系列番号を関連付ける工程と、
ラインカメラの映像を記録する工程と、
視野の異なる複数のパノラマ映像から同一の計測点を特定する工程
を備えている計測方法。
【請求項７】
請求項１の計測方法であって、
映像内の計測点の位置とその視線方向を関連付けるカメラパラメータをあらかじめ計測しておく工程と、
移動体の移動が並進移動するものとみなし得る時刻内においてその速度ベクトルを特定する工程と、
ラインカメラのカメラパラメータをラインの時系列番号に関連付けて同一の座標原点と座標軸における異なるカメラパラメータを特定する工程と
上記カメラパラメータによって異なる視野面におけるラインカメラの映像から上記座標原点におけるＸＹＺ座標値を計算する工程
を備えている計測方法。
【請求項８】
請求項１の計測方法であって、
映像内の計測点の位置とその視線方向を関連付けるカメラパラメータをあらかじめ計測しておく工程と、
移動体に搭載されたラインカメラのラインの時系列番号と特定された座標原点と座標軸におけるカメラの位置と向きを関連付ける工程と、
ラインカメラのカメラパラメータをラインの時系列番号に関連付けて同一の座標原点と座標軸における異なるカメラパラメータを特定する工程と
上記カメラパラメータによって異なる視野面におけるラインカメラの映像から上記座標系における計測点のＸＹＺ座標値を計算する工程
を備えている計測方法。
【請求項９】
請求項１の計測方法であって、
移動体は、中心軸からの距離が一定であるように同一平面上を回転運動するものであり、
回転中心軸をＺ軸とした映像内の計測点の位置とその視線方向を関連付けるカメラパラメータをあらかじめ計測しておく工程と、
ラインの時系列番号とカメラの回転角とを関連付ける工程と、
ラインカメラのカメラパラメータをラインの時系列番号に関連付けて同一の座標原点と座標軸における回転角度ごとに異なるカメラパラメータを特定する工程と、
２つのラインカメラで撮像された画像から同一の計測を特定する工程と、
２つのラインカメラの映像に基づいて、共通の座標系によって計測点の位置を算出する工程
を備えている計測方法。
【請求項１０】
請求項２の計測方法であって、
移動体は、中心軸に対して垂直な平面上の円周上で移動するものであり、
カメラの視野面が上記円周をなす面と垂直なように移動体に搭載して撮像する工程と、
移動体に搭載されたラインカメラのラインの時系列番号と移動体の円周上の位置もしくは角度とを関連付ける工程と、
異なる視野面におけるラインカメラの映像から同一の計測点を特定する工程と、
計測点と映像内での位置とカメラの回転角度から計測点の中心軸からの距離を算出する工程
を備えている計測方法。
【請求項１１】
請求項１０の計測方法であって、
２つのラインカメラを、互いに平行な異なる中心軸の回りで回転させながら、それぞれのラインカメラの視野面がそれぞれの中心軸と平行であるような配置で撮像する工程と、
２つの中心軸に共通の平面に対してカメラの回転角を計測もしくは演算する工程と、
ラインの時系列番号とカメラの回転角とを関連付ける工程と、
２つのカメラで撮像された画像から同一の計測点を特定する工程と、
２つのラインカメラの映像から共通の座標系によって計測点の位置を算出する工程を
備えている計測方法。
【請求項１２】
請求項３の計測方法であって、
映像内の計測点の位置とその視線方向を関連付けるカメラパラメータをあらかじめ計測しておく工程と、
上記平面をＸＹ平面としたときの計測点の位置を演算する工程
を備えている計測方法。
【請求項１３】
所定のＸＹＺ直交座標系を用いて、移動体の周囲に存在する計測点の３次元座標を計測する方法であって、
異なる方向の視野をもつ複数のラインカメラに対して、対象物が並進移動するとき、映像内の計測点の位置とその視線方向を関連付けるカメラパラメータをあらかじめ計測しておく工程と、
移動体の位置とラインカメラのライン時系列を関連付ける工程と、
ラインカメラのカメラパラメータをラインの時系列番号に関連付けられた同一の座標原点における異なるカメラパラメータを特定する工程と
カメラパラメータを用いて異なる視野面におけるラインカメラの映像から上記座標原点における計測点のＸＹＺ座標値を計算する工程
を備えている計測方法。
【請求項１４】
所定のＸＹＺ直交座標系を用いて、移動体の周囲に存在する計測点の３次元座標を計測する方法であって、
異なる方向の視野をもつ複数のラインカメラに対して、対象物を中心軸の回りに回転運動させながら撮像する工程と、
映像のライン時系列とそのときの対象物の回転角度を関連付ける工程と、
映像内の計測点の位置とその視線方向を関連付けるカメラパラメータをあらかじめ計測しておく工程と、
回転角度ごとに異なるカメラパラメータを特定する工程と、
２つのラインカメラ映像において同一の計測点を特定する工程と、
カメラパラメータを用いて異なる視野面におけるラインカメラの映像から上記座標原点における計測点の中心軸からの距離を計算する工程
を備えている計測方法。
【請求項１５】
請求項７，８，９，１３または１４の計測方法であって、
移動体の位置および向きと撮像したラインの時系列番号を関連付ける工程と、
ラインカメラの映像を記録してパノラマ画像を生成する工程と、
パノラマ映像内において、同一の計測点が撮像され得る画像内の位置をそれぞれのラインごとに計算する工程と、
一つのパノラマ映像内の計測点を他方のパノラマ映像内において上記位置により探索する工程
を備えている計測方法。
【請求項１６】
２つ以上のラインカメラの視野面が同一平面に直交するように配置し、これと垂直な面上で並進移動する対象物を撮像する工程と、
撮像されるラインの時系列と対象物の位置を関連付ける工程と、
上記ラインカメラの映像において同一の計測点を特定する工程と、
ラインカメラの光軸がなす角度と映像における同一計測点の位置から、上記対象物が移動する面から距離を計算する工程
を備えている計測方法。
【請求項１７】
２つ以上のラインカメラの視野面が同一平面に直交するように配置し、その平面と垂直な軸の回りを、その軸からの距離を一定として前記平面に平行な面を回転移動する対象物を撮像する工程と、
撮像されるラインの時系列と対象物の回転を関連付ける工程と、
上記ラインカメラの映像において同一の計測点を特定する工程と、
ラインカメラの光軸がなす角度と映像における同一計測点の位置から、上記計測点の中心軸からの距離を計算する工程
を備えている計測方法。
【請求項１８】
２つ以上のラインカメラを用いて並進移動する対象物を撮像する工程と、
あらかじめラインカメラのカメラパラメータを算出しておく工程と、
ラインカメラのラインの時系列番号と対象物の並進移動距離を関連付ける工程と、
上記ラインカメラの映像において同一の計測点を特定する工程と、
ラインカメラの光軸がなす角度と映像における同一計測点の位置から、上記対象物が移動する面から距離を計算する工程
を備えている計測方法。
【請求項１９】
ラインカメラで繰返し撮像する手段と、
ラインカメラで撮像したときの移動体の位置、向きを特定する手段と、
上記位置、向きからラインカメラの位置と向きを特定する手段と、
特定された向きと位置を記憶する手段と
異なる映像部分から同一の計測点である画像位置を特定する手段と、
記憶された同一の計測点を撮像した２組の向きと位置から計測点の２次元位置を演算する手段と
を備えている計測装置。
【請求項２０】
ラインカメラで繰返し撮像する手段と、
ラインカメラで撮像したときの移動体の位置、向きを特定する手段と、
特定された向きと位置をラインの時系列に関連付けて記憶する手段と
ラインカメラのカメラパラメータを計測する手段と、
ラインカメラのカメラパラメータをラインの時系列番号に関連付けて同一の座標原点と座標軸における異なるカメラパラメータを特定する手段と、
異なる映像部分から同一の計測点である画像位置を特定する手段と、
特定された座標軸と座標原点における計測点の位置を計算する手段と
を備えている計測装置。
【請求項１】
所定のＸＹＺ直交座標系を用いて、移動体の周囲に存在する計測点の３次元座標を計測する方法であって、
移動体を移動しながら、少なくとも２回異なる方向または位置から計測点を撮影するように、移動体に搭載したラインカメラで撮影する工程と、
ラインカメラで計測点を撮影した時点におけるラインカメラの位置および方向を特定する工程と、
ラインカメラの映像内における計測点の像の位置を特定する工程と、
映像内の計測点の像の映像内における位置と、計測点とラインカメラの光軸中心を結ぶ視線上の点の前記ＸＹＺ直交座標系における位置との関係を特定する工程と、
少なくとも２組の映像内の計測点の像の位置と、計測点を撮影した時点におけるラインカメラの位置および方向から、前記ＸＹＺ座標系における計測点の位置を演算する工程
を備えている計測方法。
【請求項２】
所定のＸＹＺ直交座標系を用いて、移動体の周囲に存在する計測点の３次元座標を計測する方法であって、
移動体の２つの位置に共通でかつそれぞれの進行方向を含む平面に対して、ラインカメラの視野面が移動体の上記平面に対して垂直であるようにカメラを移動体に搭載し計測点を含む対象物を撮像する工程と、
上記ラインカメラの撮像時刻における移動体の位置を計測もしくは演算する工程と、
上記ラインカメラが上記計測点を撮像したときのカメラの相対位置関係を特定する工程と、
上記複数のラインカメラの映像において同一の計測点を特定する工程と、
上記ラインカメラの視野面の共通部分がなす直線上に存在する計測点は上記進行方向に平行な平面に投影したとき同一の点となる性質、およびラインカメラ視野面上の計測点は、ラインカメラの映像において同一のラインに存在する性質を用いて、上記平面に投影した上記計測点の位置を演算する工程
を備えている計測方法。
【請求項３】
請求項２の計測方法であって、
計測点の映像内位置とその計測点を撮像する視線の向きを関連付ける工程と、
カメラの光軸のおよび光軸中心の相対位置関係を関連付ける工程と、
上記平面をＸＹ平面としたときの計測点の位置を演算する工程
を備えている計測方法。
【請求項４】
請求項１，２または３の計測方法であって、
２つ以上の向きの異なるラインカメラを同一の移動体に搭載し、それぞれのカメラのライン撮像時刻における移動体の位置を計測もしくは演算によって求める工程を備えている計測方法。
【請求項５】
請求項１，２または３の計測方法であって、
同一の計測点を異なる軌道で移動する移動体もしくは異なるカメラの向きを持った移動体によって撮像する工程と、
軌道上の移動体の位置と向きを特定する工程
を備えている計測方法。
【請求項６】
請求項１，２または３の計測方法であって、
移動体の位置および向きと撮像したラインの時系列番号を関連付ける工程と、
ラインカメラの映像を記録する工程と、
視野の異なる複数のパノラマ映像から同一の計測点を特定する工程
を備えている計測方法。
【請求項７】
請求項１の計測方法であって、
映像内の計測点の位置とその視線方向を関連付けるカメラパラメータをあらかじめ計測しておく工程と、
移動体の移動が並進移動するものとみなし得る時刻内においてその速度ベクトルを特定する工程と、
ラインカメラのカメラパラメータをラインの時系列番号に関連付けて同一の座標原点と座標軸における異なるカメラパラメータを特定する工程と
上記カメラパラメータによって異なる視野面におけるラインカメラの映像から上記座標原点におけるＸＹＺ座標値を計算する工程
を備えている計測方法。
【請求項８】
請求項１の計測方法であって、
映像内の計測点の位置とその視線方向を関連付けるカメラパラメータをあらかじめ計測しておく工程と、
移動体に搭載されたラインカメラのラインの時系列番号と特定された座標原点と座標軸におけるカメラの位置と向きを関連付ける工程と、
ラインカメラのカメラパラメータをラインの時系列番号に関連付けて同一の座標原点と座標軸における異なるカメラパラメータを特定する工程と
上記カメラパラメータによって異なる視野面におけるラインカメラの映像から上記座標系における計測点のＸＹＺ座標値を計算する工程
を備えている計測方法。
【請求項９】
請求項１の計測方法であって、
移動体は、中心軸からの距離が一定であるように同一平面上を回転運動するものであり、
回転中心軸をＺ軸とした映像内の計測点の位置とその視線方向を関連付けるカメラパラメータをあらかじめ計測しておく工程と、
ラインの時系列番号とカメラの回転角とを関連付ける工程と、
ラインカメラのカメラパラメータをラインの時系列番号に関連付けて同一の座標原点と座標軸における回転角度ごとに異なるカメラパラメータを特定する工程と、
２つのラインカメラで撮像された画像から同一の計測を特定する工程と、
２つのラインカメラの映像に基づいて、共通の座標系によって計測点の位置を算出する工程
を備えている計測方法。
【請求項１０】
請求項２の計測方法であって、
移動体は、中心軸に対して垂直な平面上の円周上で移動するものであり、
カメラの視野面が上記円周をなす面と垂直なように移動体に搭載して撮像する工程と、
移動体に搭載されたラインカメラのラインの時系列番号と移動体の円周上の位置もしくは角度とを関連付ける工程と、
異なる視野面におけるラインカメラの映像から同一の計測点を特定する工程と、
計測点と映像内での位置とカメラの回転角度から計測点の中心軸からの距離を算出する工程
を備えている計測方法。
【請求項１１】
請求項１０の計測方法であって、
２つのラインカメラを、互いに平行な異なる中心軸の回りで回転させながら、それぞれのラインカメラの視野面がそれぞれの中心軸と平行であるような配置で撮像する工程と、
２つの中心軸に共通の平面に対してカメラの回転角を計測もしくは演算する工程と、
ラインの時系列番号とカメラの回転角とを関連付ける工程と、
２つのカメラで撮像された画像から同一の計測点を特定する工程と、
２つのラインカメラの映像から共通の座標系によって計測点の位置を算出する工程を
備えている計測方法。
【請求項１２】
請求項３の計測方法であって、
映像内の計測点の位置とその視線方向を関連付けるカメラパラメータをあらかじめ計測しておく工程と、
上記平面をＸＹ平面としたときの計測点の位置を演算する工程
を備えている計測方法。
【請求項１３】
所定のＸＹＺ直交座標系を用いて、移動体の周囲に存在する計測点の３次元座標を計測する方法であって、
異なる方向の視野をもつ複数のラインカメラに対して、対象物が並進移動するとき、映像内の計測点の位置とその視線方向を関連付けるカメラパラメータをあらかじめ計測しておく工程と、
移動体の位置とラインカメラのライン時系列を関連付ける工程と、
ラインカメラのカメラパラメータをラインの時系列番号に関連付けられた同一の座標原点における異なるカメラパラメータを特定する工程と
カメラパラメータを用いて異なる視野面におけるラインカメラの映像から上記座標原点における計測点のＸＹＺ座標値を計算する工程
を備えている計測方法。
【請求項１４】
所定のＸＹＺ直交座標系を用いて、移動体の周囲に存在する計測点の３次元座標を計測する方法であって、
異なる方向の視野をもつ複数のラインカメラに対して、対象物を中心軸の回りに回転運動させながら撮像する工程と、
映像のライン時系列とそのときの対象物の回転角度を関連付ける工程と、
映像内の計測点の位置とその視線方向を関連付けるカメラパラメータをあらかじめ計測しておく工程と、
回転角度ごとに異なるカメラパラメータを特定する工程と、
２つのラインカメラ映像において同一の計測点を特定する工程と、
カメラパラメータを用いて異なる視野面におけるラインカメラの映像から上記座標原点における計測点の中心軸からの距離を計算する工程
を備えている計測方法。
【請求項１５】
請求項７，８，９，１３または１４の計測方法であって、
移動体の位置および向きと撮像したラインの時系列番号を関連付ける工程と、
ラインカメラの映像を記録してパノラマ画像を生成する工程と、
パノラマ映像内において、同一の計測点が撮像され得る画像内の位置をそれぞれのラインごとに計算する工程と、
一つのパノラマ映像内の計測点を他方のパノラマ映像内において上記位置により探索する工程
を備えている計測方法。
【請求項１６】
２つ以上のラインカメラの視野面が同一平面に直交するように配置し、これと垂直な面上で並進移動する対象物を撮像する工程と、
撮像されるラインの時系列と対象物の位置を関連付ける工程と、
上記ラインカメラの映像において同一の計測点を特定する工程と、
ラインカメラの光軸がなす角度と映像における同一計測点の位置から、上記対象物が移動する面から距離を計算する工程
を備えている計測方法。
【請求項１７】
２つ以上のラインカメラの視野面が同一平面に直交するように配置し、その平面と垂直な軸の回りを、その軸からの距離を一定として前記平面に平行な面を回転移動する対象物を撮像する工程と、
撮像されるラインの時系列と対象物の回転を関連付ける工程と、
上記ラインカメラの映像において同一の計測点を特定する工程と、
ラインカメラの光軸がなす角度と映像における同一計測点の位置から、上記計測点の中心軸からの距離を計算する工程
を備えている計測方法。
【請求項１８】
２つ以上のラインカメラを用いて並進移動する対象物を撮像する工程と、
あらかじめラインカメラのカメラパラメータを算出しておく工程と、
ラインカメラのラインの時系列番号と対象物の並進移動距離を関連付ける工程と、
上記ラインカメラの映像において同一の計測点を特定する工程と、
ラインカメラの光軸がなす角度と映像における同一計測点の位置から、上記対象物が移動する面から距離を計算する工程
を備えている計測方法。
【請求項１９】
ラインカメラで繰返し撮像する手段と、
ラインカメラで撮像したときの移動体の位置、向きを特定する手段と、
上記位置、向きからラインカメラの位置と向きを特定する手段と、
特定された向きと位置を記憶する手段と
異なる映像部分から同一の計測点である画像位置を特定する手段と、
記憶された同一の計測点を撮像した２組の向きと位置から計測点の２次元位置を演算する手段と
を備えている計測装置。
【請求項２０】
ラインカメラで繰返し撮像する手段と、
ラインカメラで撮像したときの移動体の位置、向きを特定する手段と、
特定された向きと位置をラインの時系列に関連付けて記憶する手段と
ラインカメラのカメラパラメータを計測する手段と、
ラインカメラのカメラパラメータをラインの時系列番号に関連付けて同一の座標原点と座標軸における異なるカメラパラメータを特定する手段と、
異なる映像部分から同一の計測点である画像位置を特定する手段と、
特定された座標軸と座標原点における計測点の位置を計算する手段と
を備えている計測装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【公開番号】特開２００６−２５８４８６（Ｐ２００６−２５８４８６Ａ）
【公開日】平成１８年９月２８日（２００６．９．２８）
【国際特許分類】
【出願番号】特願２００５−７３４２０（Ｐ２００５−７３４２０）
【出願日】平成１７年３月１５日（２００５．３．１５）
【出願人】（５９１２７０５５６）名古屋市 (77)
【出願人】（５９９１３７８２８）株式会社 サンウェイブレックス (15)
【Ｆターム（参考）】
【公開日】平成１８年９月２８日（２００６．９．２８）
【国際特許分類】
【出願日】平成１７年３月１５日（２００５．３．１５）
【出願人】（５９１２７０５５６）名古屋市 (77)
【出願人】（５９９１３７８２８）株式会社 サンウェイブレックス (15)
【Ｆターム（参考）】
[ Back to top ]