連続的に撮像したカラー画像及び距離画像の記録方法と結合方法ならびにその装置
【課題】本発明は、自動車（高速移動体）に搭載した３次元画像センサによって撮像した路面、橋梁、壁面などのカラー画像と距離画像と自動車（高速移動体）の走行（移動）データから、路面、橋梁、壁面などの３次元形状を把握する方法に関する。
【解決手段】走行する自動車（高速移動体）に搭載した３次元画像センサによって撮像した路面、橋梁、壁面などの距離画像と自動車（高速移動体）の走行（移動）速度、加速度、各速度の補助データから、各フレームごとにかかったカメラ座標系の並進と回転を検出する方法と、検出したカメラ座標系の並進と回転を補正して隣接フレーム間のカラー画像と距離画像を結合する方法と、複数フレームにわたる路面、橋梁、壁面などの３次元形状を把握する方法を提供する。
【解決手段】走行する自動車（高速移動体）に搭載した３次元画像センサによって撮像した路面、橋梁、壁面などの距離画像と自動車（高速移動体）の走行（移動）速度、加速度、各速度の補助データから、各フレームごとにかかったカメラ座標系の並進と回転を検出する方法と、検出したカメラ座標系の並進と回転を補正して隣接フレーム間のカラー画像と距離画像を結合する方法と、複数フレームにわたる路面、橋梁、壁面などの３次元形状を把握する方法を提供する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、高速移動しながら連続撮像された被写体のカラー画像及び距離画像から成る３次元形状情報を記録する方法と結合する方法ならびにその装置に関するものである。
【背景技術】
【０００２】
道路・橋梁等の路面やトンネル・建造物等の壁面の損傷検査や障害物の検出など、長距離にわたって３次元形状を連続して計測する装置の開発が期待されている。そして、このように長距離にわたって連続的に計測された膨大な３次元形状情報から、任意の位置の３次元形状を前後の３次元形状と結合して表示する方法も期待されている。
このような路面やトンネル壁面の損傷検査を目的とする３次元形状検出方法としては、レーザビームを照射し２次元的に走査することによって路面や壁面の３次元形状を計測する手法が従来の代表的な方法である。このレーザビーム走査による方法は３次元形状の計測に時間がかかり、長距離にわたって連続的に３次元形状を計測するためには多大な時間を要する。また、このように膨大な３次元形状情報を連続的に計測した例は殆ど無いため、記録方法や表示方法も考慮されていない。
【０００３】
近年、発光ダイオード強度変調光照射と高速利得変調テレビカメラを組み合わせた高速３次元画像センサが開発された（特許文献１）。この高速３次元画像センサによれば、同時に撮影されるカラー映像と距離映像を、ズームレンズのデータを基に補正して高速かつ高精度に３次元情報を求めることが可能となり、動く人物等の被写体の３次元形状情報の取得が可能となった（特許文献２）。さらに、発光ダイオード強度変調光照射を超短レーザパルス光照射に置き換えることにより、これまで不可能であった高速移動する物体の３次元形状を連続的に計測することが可能となり、部品検査、大型測定物の高速測定等の幅広い産業分野に活用することができる。
【０００４】
この高速３次元画像センサを自動車に搭載し、走行しながら長距離にわたってテレビフレームレートで連続的に路面、橋梁、壁面などの３次元形状を計測することが可能となり、数１０Ｋｍ以上にわたる路面や壁面のカラー画像と距離画像を得られるようになった。
【０００５】
しかし、このようにして撮像されたカラー画像と距離画像は、自動車の走行と揺れのために各フレームごとに並進と回転がかかっており、複数フレームにわたる３次元形状の状況を正確に把握することが困難である。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８-２４９４３１号公報
【特許文献２】特開２００８-２４９４３０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明は、走行する自動車（高速移動体）に搭載した３次元画像センサによって連続的に撮像したカラー画像と距離画像と、補助データとして自動車（高速移動体）の走行（移動）速度、加速度、各速度から、各フレームごとにかかった並進と回転を検出する方法と、検出した並進と回転を補正して隣接フレーム間のカラー画像と距離画像を結合する方法と、複数フレームにわたる、路面、橋梁、壁面などの３次元形状を把握する方法、ならびに、その装置を提供することを課題とする。
【課題を解決するための手段】
【０００８】
本発明は、走行する自動車（高速移動体）に搭載した３次元画像センサによって、高速フレームレートで長時間にわたり連続的に撮像したカラー画像と距離画像を結合するため、自動車（高速移動体）の走行（移動）速度、加速度、各速度を補助データとしてフレーム信号に同期して記録することを特徴とするカラー画像と距離画像データの記録方法と、前記路面、橋梁、壁面などのカラー画像と距離画像を次々に結合できることを特徴とする、隣接フレーム間のカメラ座標系の移動量データとカラー画像と距離画像を組み合わせたデータ形式と、前記カラー画像と距離画像を結合するため、連続するフレーム間の距離画像のみを用いることを特徴とする、カラー画像と距離画像を結合するためのデータを作成する方法と、前記カラー画像と距離画像を結合するため、連続するフレーム間のカラー画像と距離画像と前記補助データを用いることを特徴とする、カラー画像と距離画像を結合するためのデータを作成する方法と、前記カラー画像と距離画像を結合するため、前記組み合わせたデータを用いてカラー画像と距離画像を結合する方法、から構成され、それらの方法を組み込んだ装置も包含されるものである。
【０００９】
具体的には、隣接フレーム間の前記距離画像間の距離を評価し最小化することによって、隣接フレーム間のカメラ座標系の並進と回転を推定する画像処理の手段を用いる。前記補助データを併用することにより、前記距離画像間の距離を最小化する画像処理を効率的に行うことも可能である。推定した並進と回転を用いて隣接フレーム間のカメラ座標系を変換し、カラー画像と距離画像を結合する手段を用いるものである。
【発明の効果】
【００１０】
本発明により、短距離から長距離にわたる道路・橋梁などの路面あるいは地面、トンネルあるいは建造物の壁面などの3次元形状の把握が可能となる。
【図面の簡単な説明】
【００１１】
【図１】図１は路面、橋梁、壁面などのカラー画像と距離画像記録システム構成を示す図である。（実施例１）
【図２】図２は撮像・記録されるカラー画像及び距離画像のイメージ図である。（実施例１）
【図３】図３は各フレームの座標系と距離画像（回転と並進）の図である。（実施例２）
【図４】図４は各フレームの座標系と隣接プレームの重なり領域Ｓの距離画像（隣接フレーム距離画像間の重なり部分）の図である。（実施例２）
【発明を実施するための形態】
【実施例１】
【００１２】
図１を用いて、本発明による路面・壁面の距離画像データの記録システムの概要を説明する。３次元画像センサ１０、センサ１１、カラー画像・距離画像・補助データ記録装置１２を自動車（移動体）に搭載し、走行しながら、路面、橋梁、壁面などのカラー画像と距離画像と補助データ（自動車（移動体）の速度、加速度、角速度）をフレームレートで連続的にカラー画像・距離画像・補助データ記録装置１２に記録する。
【００１３】
距離画像・補助データ記録装置１２に記録されるデータは次のデータの組み合わせである。
各フレームごとのカラー画像 C0, C1, C2,…Ci-1,Ci,Ci+1,…
各フレームごとの距離画像 D0, D1, D2,…Di-1,Di,Di+1,…
各フレームごとの速度 …(vx)i-1,(vx)i,(vx) i+1,…
各フレームごとの３軸加速度…(ax, ay, az)i-1, (ax, ay, az)i, (ax, ay,az)i+1,…
各フレームごとの３軸角速度…(wx,wy,wz)i-1, (wx,wy,wz)i, (wx,wy,wz)i+1,…
【００１４】
自動車（移動体）の走行と揺れで撮像される距離画像はフレームごとに並進と回転がかかり、撮像・記録されるカラー画像１３−２と距離画像１４−２のイメージは図２のようになる。
【実施例２】
【００１５】
図３のように、３次元画像センサのレンズパラメータを固定して撮像した、隣接フレーム間の距離画像をそれぞれ、前(i-1)フレームのDi-1(Xi-1,Yi-1)、現(i)フレームのDi(Xi,Yi)および次(i+1)フレームのDi+1(Xi+1,Yi+1)と表す。(Oi-1Xi-1Yi-1Zi-1)座標系、(OiXiYiZi)座標系および(Oi+1Xi+1Yi+1Zi+1)座標系における距離画像の３次元形状を表す位置ベクトルui-1、uiおよびui+1はそれぞれ次のように表せる。
なお、隣接フレーム間のカラー画像も同様にそれぞれ、前(i-1)フレームのCi-1(Xi-1,Yi-1)、現(i)フレームのCi(Xi,Yi) 、次(i+1)フレームのCi+1(Xi+1,Yi+1)と表す。
隣接するフレーム間のカメラ座標系（例えば前(i-1)フレームと現(i)フレームの(Oi-1Xi-1Yi-1Zi-1)座標系と(OiXiYiZi)座標系の関係は、回転行列Riと並進ベクトルTi を用いると(1)式で表すことができる。
（１）
ただし、
,
【００１６】
回転行列Riと並進ベクトルTiを求めることにより、(Oi-1Xi-1Yi-1Zi-1)座標系を(OiXiYiZi)座標系に、あるいは逆に変換することができる。従って、隣接フレーム間のカラー画像と距離画像をどちらか一方の座標系に合わせて変換することにより、同一の座標系で扱うことが可能となる。すなわち、各フレームごとにかかった並進と回転を補正して隣接フレーム間の距離画像を結合することが可能となる。同様に、隣接フレーム間のカラー画像も結合することが可能となる。
【００１７】
従って、隣接フレーム間のカラー画像Ci-1とCi及び距離画像Di-1とDiを結合できるようにするためのデータ形式は、(2)式で示すようにカラー画像と距離画像と隣接フレーム間のカメラ座標系の移動量（回転行列Riと並進ベクトルTi ）を組み合わせたデータのセットをフレーム順に並べたものとする。
…,(Ci-1, Di-1, Ri-1,T i-1),(Ci, Di, Ri,T i),(Ci+1, Di+1, Ri+1, T i+1), … （２）
具体例として、前(i-1)フレームの距離画像Di-1 (Xi-1,Yi-1)と現(i)フレームの距離画像Di(Xi,Yi)を結合するには、まず、(1)式により座標変換して、現(i)フレームの距離画像Di(Xi,Yi)の３次元形状を表す位置ベクトルuiを前(i-1)フレームの(Oi-1Xi-1Yi-1Zi-1)座標系で次式のように表す。
ui-1とui =Ri ui-1+Tiは共通の(Oi-1Xi-1Yi-1Zi-1)座標系で表されるため、この２つの位置ベクトルを重ね合わせることによりDi-1 (Xi-1,Yi-1)とDi(Xi,Yi)を結合することができる。また逆に、ui-1を次式のように(OiXiYiZi)座標系の距離画像に変換して、uiと重ね合わせることによってもDi-1 (Xi-1,Yi-1)とDi(Xi,Yi)を結合することができる。
【００１８】
隣接フレーム間の座標系の回転行列Riと並進ベクトルTiを求めるためには、前(i-1)フレームと現((i))フレームの重なり領域Sの距離画像D’i-1とD’iの３次元形状ui-1と uiの距離dを同一座標系で評価して、この距離dが最小となるようなRiとTiを求めればよい。
すなわち、(Oi-1Xi-1Yi-1Zi-1)座標系で
（３）
あるいは、(OiXiYiZi)座標系で
（４）
で表される距離dが最小となるような(1)式の回転行列Riと並進ベクトルTiを求める。
例えば一つの計算法として、走行速度(vx)i,から推定される隣接フレームの距離画像間のXi-1Yi-1平面あるいは XiYi平面の重なり領域Sの距離画像D’i-1(Xi-1,Yi-1)とD’i (Xi,Yi)に対して(3)あるいは(4)式で表される距離dが最小となるような(1)式の回転行列Riと並進ベクトルTiを、反復最近傍点法(ICP : Iterated Closest Point)アルゴリズム（P. J. Best, et al., IEEE Trans., Pattern analysis and machine intelligence, vol.14, No.2, pp.239-256）を適用して求めることができる。
【００１９】
ICPアルゴリズムの反復計算によって求められる回転行列Riと並進ベクトルTiが大域的な最適解であることが必ずしも保証されていないため、局所的な解に収束して誤った回転行列Riと並進ベクトルTiが求められる可能性がある。そのため、補助データの速度(vx)i,３軸加速度(ax, ay,az)i, ３軸角速度(wx,wy,wz)iを併用して回転と並進の方向と大きさを知り、求められる回転行列Riと並進ベクトルTiの精度の向上を図る。
【００２０】
計算量を圧縮するため、３軸加速度(ax,ay, az)iと３軸角速度(wx,wy,wz)iが小さな安定走行時には、Xと Y座標の値を僅かずつ変化させて隣接フレームの重なり部分Sの距離画像間の距離dを最小にするXと Yの変化量を求めるような、簡単なx, y方向のパターンマッチングの手法を適用して並行移動量(DX, DY)を計算し、Ri =I、Ti =(DX, DY, 0)を適用する。
【００２１】
(２)式の形式のデータと(１)式の座標変換を用いて、隣接フレーム間の距離画像を同一座標系に展開して重ね合わせることにより、隣接フレーム間の距離画像を結合することできる。距離画像をフレーム順に順次結合することにより、複数フレームにわたる路面、橋梁、壁面などの３次元形状を把握することが可能となる。
【００２２】
同様に、カラー画像に対しても、(２)式の形式のデータと(１)式の座標変換を用いて、隣接フレーム間のカラー画像を同一座標系に展開して重ね合わせることにより、隣接フレーム間のカラー画像を結合することできる。そして、結合したカラー画像を前記の方法で結合した距離画像に重ねることにより、結合した距離画像にテクスチャを付けることが可能となる。
【産業上の利用可能性】
【００２３】
本発明により、長距離にわたる道路・橋梁の路面、トンネル壁面などの３次元形状の把握が可能となる。
【符号の説明】
【００２４】
１０ ３次元画像センサ
１１ センサ
１２ カラー画像・距離画像・補助データ記録装置
１３ カラー画像データC(x, y)
１４ 距離画像データD(x, y)
１５ 補助（加速度・速度・角速度）データ（(ax,ay, az)，(vx)，(wx, wy, wz)
【技術分野】
【０００１】
本発明は、高速移動しながら連続撮像された被写体のカラー画像及び距離画像から成る３次元形状情報を記録する方法と結合する方法ならびにその装置に関するものである。
【背景技術】
【０００２】
道路・橋梁等の路面やトンネル・建造物等の壁面の損傷検査や障害物の検出など、長距離にわたって３次元形状を連続して計測する装置の開発が期待されている。そして、このように長距離にわたって連続的に計測された膨大な３次元形状情報から、任意の位置の３次元形状を前後の３次元形状と結合して表示する方法も期待されている。
このような路面やトンネル壁面の損傷検査を目的とする３次元形状検出方法としては、レーザビームを照射し２次元的に走査することによって路面や壁面の３次元形状を計測する手法が従来の代表的な方法である。このレーザビーム走査による方法は３次元形状の計測に時間がかかり、長距離にわたって連続的に３次元形状を計測するためには多大な時間を要する。また、このように膨大な３次元形状情報を連続的に計測した例は殆ど無いため、記録方法や表示方法も考慮されていない。
【０００３】
近年、発光ダイオード強度変調光照射と高速利得変調テレビカメラを組み合わせた高速３次元画像センサが開発された（特許文献１）。この高速３次元画像センサによれば、同時に撮影されるカラー映像と距離映像を、ズームレンズのデータを基に補正して高速かつ高精度に３次元情報を求めることが可能となり、動く人物等の被写体の３次元形状情報の取得が可能となった（特許文献２）。さらに、発光ダイオード強度変調光照射を超短レーザパルス光照射に置き換えることにより、これまで不可能であった高速移動する物体の３次元形状を連続的に計測することが可能となり、部品検査、大型測定物の高速測定等の幅広い産業分野に活用することができる。
【０００４】
この高速３次元画像センサを自動車に搭載し、走行しながら長距離にわたってテレビフレームレートで連続的に路面、橋梁、壁面などの３次元形状を計測することが可能となり、数１０Ｋｍ以上にわたる路面や壁面のカラー画像と距離画像を得られるようになった。
【０００５】
しかし、このようにして撮像されたカラー画像と距離画像は、自動車の走行と揺れのために各フレームごとに並進と回転がかかっており、複数フレームにわたる３次元形状の状況を正確に把握することが困難である。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８-２４９４３１号公報
【特許文献２】特開２００８-２４９４３０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明は、走行する自動車（高速移動体）に搭載した３次元画像センサによって連続的に撮像したカラー画像と距離画像と、補助データとして自動車（高速移動体）の走行（移動）速度、加速度、各速度から、各フレームごとにかかった並進と回転を検出する方法と、検出した並進と回転を補正して隣接フレーム間のカラー画像と距離画像を結合する方法と、複数フレームにわたる、路面、橋梁、壁面などの３次元形状を把握する方法、ならびに、その装置を提供することを課題とする。
【課題を解決するための手段】
【０００８】
本発明は、走行する自動車（高速移動体）に搭載した３次元画像センサによって、高速フレームレートで長時間にわたり連続的に撮像したカラー画像と距離画像を結合するため、自動車（高速移動体）の走行（移動）速度、加速度、各速度を補助データとしてフレーム信号に同期して記録することを特徴とするカラー画像と距離画像データの記録方法と、前記路面、橋梁、壁面などのカラー画像と距離画像を次々に結合できることを特徴とする、隣接フレーム間のカメラ座標系の移動量データとカラー画像と距離画像を組み合わせたデータ形式と、前記カラー画像と距離画像を結合するため、連続するフレーム間の距離画像のみを用いることを特徴とする、カラー画像と距離画像を結合するためのデータを作成する方法と、前記カラー画像と距離画像を結合するため、連続するフレーム間のカラー画像と距離画像と前記補助データを用いることを特徴とする、カラー画像と距離画像を結合するためのデータを作成する方法と、前記カラー画像と距離画像を結合するため、前記組み合わせたデータを用いてカラー画像と距離画像を結合する方法、から構成され、それらの方法を組み込んだ装置も包含されるものである。
【０００９】
具体的には、隣接フレーム間の前記距離画像間の距離を評価し最小化することによって、隣接フレーム間のカメラ座標系の並進と回転を推定する画像処理の手段を用いる。前記補助データを併用することにより、前記距離画像間の距離を最小化する画像処理を効率的に行うことも可能である。推定した並進と回転を用いて隣接フレーム間のカメラ座標系を変換し、カラー画像と距離画像を結合する手段を用いるものである。
【発明の効果】
【００１０】
本発明により、短距離から長距離にわたる道路・橋梁などの路面あるいは地面、トンネルあるいは建造物の壁面などの3次元形状の把握が可能となる。
【図面の簡単な説明】
【００１１】
【図１】図１は路面、橋梁、壁面などのカラー画像と距離画像記録システム構成を示す図である。（実施例１）
【図２】図２は撮像・記録されるカラー画像及び距離画像のイメージ図である。（実施例１）
【図３】図３は各フレームの座標系と距離画像（回転と並進）の図である。（実施例２）
【図４】図４は各フレームの座標系と隣接プレームの重なり領域Ｓの距離画像（隣接フレーム距離画像間の重なり部分）の図である。（実施例２）
【発明を実施するための形態】
【実施例１】
【００１２】
図１を用いて、本発明による路面・壁面の距離画像データの記録システムの概要を説明する。３次元画像センサ１０、センサ１１、カラー画像・距離画像・補助データ記録装置１２を自動車（移動体）に搭載し、走行しながら、路面、橋梁、壁面などのカラー画像と距離画像と補助データ（自動車（移動体）の速度、加速度、角速度）をフレームレートで連続的にカラー画像・距離画像・補助データ記録装置１２に記録する。
【００１３】
距離画像・補助データ記録装置１２に記録されるデータは次のデータの組み合わせである。
各フレームごとのカラー画像 C0, C1, C2,…Ci-1,Ci,Ci+1,…
各フレームごとの距離画像 D0, D1, D2,…Di-1,Di,Di+1,…
各フレームごとの速度 …(vx)i-1,(vx)i,(vx) i+1,…
各フレームごとの３軸加速度…(ax, ay, az)i-1, (ax, ay, az)i, (ax, ay,az)i+1,…
各フレームごとの３軸角速度…(wx,wy,wz)i-1, (wx,wy,wz)i, (wx,wy,wz)i+1,…
【００１４】
自動車（移動体）の走行と揺れで撮像される距離画像はフレームごとに並進と回転がかかり、撮像・記録されるカラー画像１３−２と距離画像１４−２のイメージは図２のようになる。
【実施例２】
【００１５】
図３のように、３次元画像センサのレンズパラメータを固定して撮像した、隣接フレーム間の距離画像をそれぞれ、前(i-1)フレームのDi-1(Xi-1,Yi-1)、現(i)フレームのDi(Xi,Yi)および次(i+1)フレームのDi+1(Xi+1,Yi+1)と表す。(Oi-1Xi-1Yi-1Zi-1)座標系、(OiXiYiZi)座標系および(Oi+1Xi+1Yi+1Zi+1)座標系における距離画像の３次元形状を表す位置ベクトルui-1、uiおよびui+1はそれぞれ次のように表せる。
なお、隣接フレーム間のカラー画像も同様にそれぞれ、前(i-1)フレームのCi-1(Xi-1,Yi-1)、現(i)フレームのCi(Xi,Yi) 、次(i+1)フレームのCi+1(Xi+1,Yi+1)と表す。
隣接するフレーム間のカメラ座標系（例えば前(i-1)フレームと現(i)フレームの(Oi-1Xi-1Yi-1Zi-1)座標系と(OiXiYiZi)座標系の関係は、回転行列Riと並進ベクトルTi を用いると(1)式で表すことができる。
（１）
ただし、
,
【００１６】
回転行列Riと並進ベクトルTiを求めることにより、(Oi-1Xi-1Yi-1Zi-1)座標系を(OiXiYiZi)座標系に、あるいは逆に変換することができる。従って、隣接フレーム間のカラー画像と距離画像をどちらか一方の座標系に合わせて変換することにより、同一の座標系で扱うことが可能となる。すなわち、各フレームごとにかかった並進と回転を補正して隣接フレーム間の距離画像を結合することが可能となる。同様に、隣接フレーム間のカラー画像も結合することが可能となる。
【００１７】
従って、隣接フレーム間のカラー画像Ci-1とCi及び距離画像Di-1とDiを結合できるようにするためのデータ形式は、(2)式で示すようにカラー画像と距離画像と隣接フレーム間のカメラ座標系の移動量（回転行列Riと並進ベクトルTi ）を組み合わせたデータのセットをフレーム順に並べたものとする。
…,(Ci-1, Di-1, Ri-1,T i-1),(Ci, Di, Ri,T i),(Ci+1, Di+1, Ri+1, T i+1), … （２）
具体例として、前(i-1)フレームの距離画像Di-1 (Xi-1,Yi-1)と現(i)フレームの距離画像Di(Xi,Yi)を結合するには、まず、(1)式により座標変換して、現(i)フレームの距離画像Di(Xi,Yi)の３次元形状を表す位置ベクトルuiを前(i-1)フレームの(Oi-1Xi-1Yi-1Zi-1)座標系で次式のように表す。
ui-1とui =Ri ui-1+Tiは共通の(Oi-1Xi-1Yi-1Zi-1)座標系で表されるため、この２つの位置ベクトルを重ね合わせることによりDi-1 (Xi-1,Yi-1)とDi(Xi,Yi)を結合することができる。また逆に、ui-1を次式のように(OiXiYiZi)座標系の距離画像に変換して、uiと重ね合わせることによってもDi-1 (Xi-1,Yi-1)とDi(Xi,Yi)を結合することができる。
【００１８】
隣接フレーム間の座標系の回転行列Riと並進ベクトルTiを求めるためには、前(i-1)フレームと現((i))フレームの重なり領域Sの距離画像D’i-1とD’iの３次元形状ui-1と uiの距離dを同一座標系で評価して、この距離dが最小となるようなRiとTiを求めればよい。
すなわち、(Oi-1Xi-1Yi-1Zi-1)座標系で
（３）
あるいは、(OiXiYiZi)座標系で
（４）
で表される距離dが最小となるような(1)式の回転行列Riと並進ベクトルTiを求める。
例えば一つの計算法として、走行速度(vx)i,から推定される隣接フレームの距離画像間のXi-1Yi-1平面あるいは XiYi平面の重なり領域Sの距離画像D’i-1(Xi-1,Yi-1)とD’i (Xi,Yi)に対して(3)あるいは(4)式で表される距離dが最小となるような(1)式の回転行列Riと並進ベクトルTiを、反復最近傍点法(ICP : Iterated Closest Point)アルゴリズム（P. J. Best, et al., IEEE Trans., Pattern analysis and machine intelligence, vol.14, No.2, pp.239-256）を適用して求めることができる。
【００１９】
ICPアルゴリズムの反復計算によって求められる回転行列Riと並進ベクトルTiが大域的な最適解であることが必ずしも保証されていないため、局所的な解に収束して誤った回転行列Riと並進ベクトルTiが求められる可能性がある。そのため、補助データの速度(vx)i,３軸加速度(ax, ay,az)i, ３軸角速度(wx,wy,wz)iを併用して回転と並進の方向と大きさを知り、求められる回転行列Riと並進ベクトルTiの精度の向上を図る。
【００２０】
計算量を圧縮するため、３軸加速度(ax,ay, az)iと３軸角速度(wx,wy,wz)iが小さな安定走行時には、Xと Y座標の値を僅かずつ変化させて隣接フレームの重なり部分Sの距離画像間の距離dを最小にするXと Yの変化量を求めるような、簡単なx, y方向のパターンマッチングの手法を適用して並行移動量(DX, DY)を計算し、Ri =I、Ti =(DX, DY, 0)を適用する。
【００２１】
(２)式の形式のデータと(１)式の座標変換を用いて、隣接フレーム間の距離画像を同一座標系に展開して重ね合わせることにより、隣接フレーム間の距離画像を結合することできる。距離画像をフレーム順に順次結合することにより、複数フレームにわたる路面、橋梁、壁面などの３次元形状を把握することが可能となる。
【００２２】
同様に、カラー画像に対しても、(２)式の形式のデータと(１)式の座標変換を用いて、隣接フレーム間のカラー画像を同一座標系に展開して重ね合わせることにより、隣接フレーム間のカラー画像を結合することできる。そして、結合したカラー画像を前記の方法で結合した距離画像に重ねることにより、結合した距離画像にテクスチャを付けることが可能となる。
【産業上の利用可能性】
【００２３】
本発明により、長距離にわたる道路・橋梁の路面、トンネル壁面などの３次元形状の把握が可能となる。
【符号の説明】
【００２４】
１０ ３次元画像センサ
１１ センサ
１２ カラー画像・距離画像・補助データ記録装置
１３ カラー画像データC(x, y)
１４ 距離画像データD(x, y)
１５ 補助（加速度・速度・角速度）データ（(ax,ay, az)，(vx)，(wx, wy, wz)
【特許請求の範囲】
【請求項１】
走行する自動車（高速移動体）に搭載した３次元画像センサによって、高速フレームレートで長時間にわたり連続的に撮像した路面、橋梁、壁面などのカラー画像と距離画像を結合するため、自動車（高速移動体）の走行（移動）速度、加速度、角速度を補助データとしてフレーム信号に同期して記録することを特徴とする路面、橋梁、壁面などの３次元情報の記録方法と、前記路面、橋梁、壁面などのカラー画像と距離画像を次々に結合できることを特徴とする、隣接フレーム間のカメラ座標系の移動量データとカラー画像と距離画像の組み合わせたデータ形式と、前記路面、橋梁、壁面などのカラー画像と距離画像を結合するため、連続するフレーム間の距離画像のみを用いることを特徴とする、路面、橋梁、壁面などのカラー画像と距離画像を結合するためのデータを作成する方法と、前記路面、橋梁、壁面などのカラー画像と距離画像を結合するため、連続するフレーム間のカラー画像と距離画像と前記補助データを用いることを特徴とする、路面、橋梁、壁面などのカラー画像と距離画像を結合するためのデータを作成する方法と、前記路面、橋梁、壁面などのカラー画像と距離画像を結合するため、前記組み合わせたデータを用いて路面、橋梁、壁面などのカラー画像と距離画像を結合する方法。
【請求項２】
走行する自動車（高速移動体）に搭載した３次元画像センサによって、高速フレームレートで長時間にわたり連続的に撮像した路面、橋梁、壁面などのカラー画像と距離画像を結合するため、自動車（高速移動体）の走行（移動）速度、加速度、各速度を補助データとして、フレーム信号に同期して記録することを特徴とする路面、橋梁、壁面などの３次元情報の記録方法。
【請求項３】
請求項目２に記載された高速フレームレートで長時間にわたり連続して取得された路面、橋梁、壁面などのカラー画像と距離画像を次々に結合できることを特徴とする、隣接フレーム間のカメラ座標系の移動量データと路面、橋梁、壁面などのカラー画像と距離画像の組み合わせたデータ形式。
【請求項４】
請求項目３において、連続するフレーム間の路面、橋梁、壁面などの距離画像のみを用いることを特徴とする、路面、橋梁、壁面などのカラー画像と距離画像を結合するためのデータを作成する方法。
【請求項５】
請求項目３において、連続するフレーム間の路面、橋梁、壁面などのカラー画像と距離画像と補助データを用いることを特徴とする、路面、橋梁、壁面などのカラー画像と距離画像を結合するためのデータを作成する方法。
【請求項６】
請求項目３に記載された組み合わせのデータを用いて路面、橋梁、壁面などのカラー画像と距離画像を結合する方法。
【請求項７】
請求項目１に記載された路面、橋梁、壁面などのカラー画像と距離画像を結合する方法を用いる装置。
【請求項１】
走行する自動車（高速移動体）に搭載した３次元画像センサによって、高速フレームレートで長時間にわたり連続的に撮像した路面、橋梁、壁面などのカラー画像と距離画像を結合するため、自動車（高速移動体）の走行（移動）速度、加速度、角速度を補助データとしてフレーム信号に同期して記録することを特徴とする路面、橋梁、壁面などの３次元情報の記録方法と、前記路面、橋梁、壁面などのカラー画像と距離画像を次々に結合できることを特徴とする、隣接フレーム間のカメラ座標系の移動量データとカラー画像と距離画像の組み合わせたデータ形式と、前記路面、橋梁、壁面などのカラー画像と距離画像を結合するため、連続するフレーム間の距離画像のみを用いることを特徴とする、路面、橋梁、壁面などのカラー画像と距離画像を結合するためのデータを作成する方法と、前記路面、橋梁、壁面などのカラー画像と距離画像を結合するため、連続するフレーム間のカラー画像と距離画像と前記補助データを用いることを特徴とする、路面、橋梁、壁面などのカラー画像と距離画像を結合するためのデータを作成する方法と、前記路面、橋梁、壁面などのカラー画像と距離画像を結合するため、前記組み合わせたデータを用いて路面、橋梁、壁面などのカラー画像と距離画像を結合する方法。
【請求項２】
走行する自動車（高速移動体）に搭載した３次元画像センサによって、高速フレームレートで長時間にわたり連続的に撮像した路面、橋梁、壁面などのカラー画像と距離画像を結合するため、自動車（高速移動体）の走行（移動）速度、加速度、各速度を補助データとして、フレーム信号に同期して記録することを特徴とする路面、橋梁、壁面などの３次元情報の記録方法。
【請求項３】
請求項目２に記載された高速フレームレートで長時間にわたり連続して取得された路面、橋梁、壁面などのカラー画像と距離画像を次々に結合できることを特徴とする、隣接フレーム間のカメラ座標系の移動量データと路面、橋梁、壁面などのカラー画像と距離画像の組み合わせたデータ形式。
【請求項４】
請求項目３において、連続するフレーム間の路面、橋梁、壁面などの距離画像のみを用いることを特徴とする、路面、橋梁、壁面などのカラー画像と距離画像を結合するためのデータを作成する方法。
【請求項５】
請求項目３において、連続するフレーム間の路面、橋梁、壁面などのカラー画像と距離画像と補助データを用いることを特徴とする、路面、橋梁、壁面などのカラー画像と距離画像を結合するためのデータを作成する方法。
【請求項６】
請求項目３に記載された組み合わせのデータを用いて路面、橋梁、壁面などのカラー画像と距離画像を結合する方法。
【請求項７】
請求項目１に記載された路面、橋梁、壁面などのカラー画像と距離画像を結合する方法を用いる装置。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２０１０−２３６９７１（Ｐ２０１０−２３６９７１Ａ）
【公開日】平成２２年１０月２１日（２０１０．１０．２１）
【国際特許分類】
【出願番号】特願２００９−８４０２８（Ｐ２００９−８４０２８）
【出願日】平成２１年３月３１日（２００９．３．３１）
【国等の委託研究の成果に係る記載事項】（出願人による申告）平成２０年度、経済産業省、地域イノベーション創出研究開発事業「高速な形状計測が可能な３次元画像センサの開発」委託研究、産業技術力強化法第１９条の適用を受ける特許出願
【出願人】（５０６１２２３２７）公立大学法人大阪市立大学 (122)
【出願人】（０００００４３５２）日本放送協会 (2,206)
【出願人】（５９１０５３９２６）財団法人エヌエイチケイエンジニアリングサービス (169)
【Ｆターム（参考）】
【公開日】平成２２年１０月２１日（２０１０．１０．２１）
【国際特許分類】
【出願日】平成２１年３月３１日（２００９．３．３１）
【国等の委託研究の成果に係る記載事項】（出願人による申告）平成２０年度、経済産業省、地域イノベーション創出研究開発事業「高速な形状計測が可能な３次元画像センサの開発」委託研究、産業技術力強化法第１９条の適用を受ける特許出願
【出願人】（５０６１２２３２７）公立大学法人大阪市立大学 (122)
【出願人】（０００００４３５２）日本放送協会 (2,206)
【出願人】（５９１０５３９２６）財団法人エヌエイチケイエンジニアリングサービス (169)
【Ｆターム（参考）】
[ Back to top ]