画像処理装置及び三次元計測装置並びに画像処理装置用プログラム
【課題】 屋外に存在する物体の三次元形状を精度良く自動的に特定可能にすること。
【解決手段】 第１地点から第２地点に移動して前記各地点で画像をそれぞれ取得するカメラ装置１１と、カメラ装置１１の位置情報及び姿勢情報を検出するセンシング手段１２と、センシング手段１２で検出された位置情報及び姿勢情報から、前記各画像の中で相互に同一となる部分を特定する画像マッチング手段１５とを備えて三次元計測装置１０が構成されている。センシング手段１２は、前記各画像を用いずに前記位置情報及び姿勢情報を検出可能なセンサによって構成される。画像マッチング手段１５は、センシング手段１２の検出値に基づいて、前記第２地点での画像におけるエピポーラ拘束線を求め、当該エピポーラ拘束線上の画像部分と前記第１地点の対象部分とを対比することで、各画像内の同一部分を特定する。
【解決手段】 第１地点から第２地点に移動して前記各地点で画像をそれぞれ取得するカメラ装置１１と、カメラ装置１１の位置情報及び姿勢情報を検出するセンシング手段１２と、センシング手段１２で検出された位置情報及び姿勢情報から、前記各画像の中で相互に同一となる部分を特定する画像マッチング手段１５とを備えて三次元計測装置１０が構成されている。センシング手段１２は、前記各画像を用いずに前記位置情報及び姿勢情報を検出可能なセンサによって構成される。画像マッチング手段１５は、センシング手段１２の検出値に基づいて、前記第２地点での画像におけるエピポーラ拘束線を求め、当該エピポーラ拘束線上の画像部分と前記第１地点の対象部分とを対比することで、各画像内の同一部分を特定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び三次元計測装置並びに画像処理装置用プログラムに係り、更に詳しくは、屋外に存在する対象物をカメラ等で撮像することにより、前記対象物の三次元形状を精度良く自動的に特定することのできる画像処理装置及び三次元計測装置並びに画像処理装置用プログラムに関する。
【背景技術】
【０００２】
近年、カーナビゲーション等に用いられる地図情報システムのうち、デジタル化された三次元地図データに、統計データや地図上の属性情報を付帯させた三次元ＧＩＳ（Ｇｅｏｇｒａｐｈｉｃ Ｉｎｆｏｍａｔｉｏｎ Ｓｙｓｔｅｍ）と呼ばれるシステムが普及しつつある。この三次元ＧＩＳは、カメラを搭載した計測車両を走行させ、当該カメラで建物等の物体を撮像し、その画像と航空機測量を行った地図等とをベースに人手を介して建物等の物体を三次元的に復元することで作成される。ところが、この方法では、人手によって物体の三次元形状を特定するため、地図等の更新を行う際に膨大な時間がかかり、カーナビゲーション地図の更新サイクルの短縮化の要請に応えられないという問題がある。
【０００３】
ところで、ビデオカメラに撮像された物体の三次元形状を特定する三次元計測装置が知られている（例えば、特許文献１等参照）。この三次元計測装置は、ビデオカメラを移動させて撮影位置を変化させながら対象物を連続的に撮像し、各画像内における対象物の位置変化によって物体の三次元座標を求める運動立体視法が採用されている。
【０００４】
この三次元計測装置では、先ず、画像上で、周囲よりも特徴となる部分（特徴点）を数箇所決め、カメラ移動後に、当該特徴点が画像上をどう変化したかによって、移動前後におけるビデオカメラの位置情報及び姿勢情報を求め、当該位置情報及び姿勢情報に基づき、幾何学的にエピポーラ拘束線を求める。つまり、ビデオカメラで撮像された画像の特徴点を使ってエピポーラ拘束線が求められる。
【０００５】
ここで、エピポーラ拘束線とは、ビデオカメラが第１地点から第２地点に移動するとした場合、第１地点で撮像された第１画像内の対象点が、第２地点で撮像された第２画像内において位置する可能性のある点の集合である。従って、第１画像と第２画像とをマッチングする際に、その対象範囲を第２画像のエピポーラ拘束線の近傍に限定することで、各画像における同一部分の特定を比較的簡単に行うことができる。
【０００６】
その後、第１及び第２画像にそれぞれ写った前記同一部分の視差を利用して、その部分と所定の基準点との距離が求められ、幾何学上、当該部分の三次元座標が求められる。
【特許文献１】特開平５−１４１９３０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、このような三次元計測装置にあっては、屋内に存在する物体の三次元形状を特定するのに適しているが、屋外に存在する物体の三次元形状を特定することが難しく、屋外でのカメラ撮像が必要となる三次元地図情報の作成には利用できないという不都合がある。
【０００８】
すなわち、前記三次元計測装置では、移動するビデオカメラで撮像された複数の画像を使って、これら画像内の特徴点の位置変化を捉えることで、ビデオカメラの並進量及び回転量を求めるようになっている。ところが、屋外環境では、屋内環境に比べ、多様な物体や背景が存在し、計測環境が複雑となる他、明るさなどの撮影条件が撮影ポイントで細かく変わるため、画像内の特徴点の明確な区別が困難である場合が多い。このため、前記三次元計測装置を屋内で使用すると、三次元形状の特定精度が著しく低下してしまい、三次元地図情報の作成には実質的に利用することができない。
【０００９】
本発明は、このような不都合に着目して案出されたものであり、その目的は、屋外に存在する物体の三次元形状を精度良く自動的に特定することができる画像処理装置及び三次元計測装置並びに画像処理装置用プログラムを提供することにある。
【課題を解決するための手段】
【００１０】
前記目的を達成するため、本発明は、第１地点から第２地点に移動可能に設けられ、前記各地点で画像をそれぞれ取得する撮像手段と、前記各画像を用いずに前記撮像手段の位置情報及び姿勢情報を検出するセンシング手段と、当該センシング手段で検出された位置情報及び姿勢情報から、前記各画像の中で相互に同一となる部分を特定する画像マッチング手段とを備え、
前記画像マッチング手段は、前記センシング手段の検出値に基づいて、前記第２地点での画像におけるエピポーラ拘束線を求め、当該エピポーラ拘束線上の画像部分と前記第１地点の対象部分とを対比することで、各画像内の同一部分を特定する、という構成を採っている。
【発明の効果】
【００１１】
本発明によれば、移動する撮像手段の位置情報及び姿勢情報をＧＰＳ／ＩＮＳ方式等のセンシング手段を使って検出することで、エピポーラ拘束線を求めているため、前記位置情報及び姿勢情報抽出の際に、撮像手段で撮像された画像の特徴点の抽出やマッチングが不要となる。これによって、撮像された物体の特徴点が明確でない場合や、移動前後での撮影ポイントの明るさ等の撮影条件の差が生じている場合でも、各画像内での同一部分の誤認識を回避して、当該同一部分の特定が可能となり、屋外に存在する物体の三次元形状を精度良く自動的に特定することができる。
【００１２】
また、撮像手段として全周撮像装置を用いた場合には、視差の大きい横方向の有効視野を広く確保することができ、物体の三次元形状の特定をより確実に行うことができる。
【発明を実施するための最良の形態】
【００１３】
以下、本発明の実施例について図面を参照しながら説明する。
［第１実施例］
【００１４】
図１には、本発明に係る画像処理装置を適用した三次元計測装置の概略構成図が示されている。この図において、三次元計測装置１０は、撮像手段としてのカメラ装置１１と、カメラ装置１１の位置情報及び姿勢情報を検出するセンシング手段１２と、カメラ装置１１で撮像された画像及びセンシング手段１２で検出された位置情報及び姿勢情報から、撮像された物体の三次元形状を特定する三次元環境認識部１３とを備えて構成されている。
【００１５】
本実施例において、三次元計測装置１０は、無線等による遠隔操縦によって自律移動可能な移動体として機能するが、特に限定されるものではなく、運転者の運転によって任意の場所を移動する自動車に搭載されていてもよい。また、三次元環境認識部１３は、カメラ装置１１やセンシング手段１２と別の場所に離れて設けられていてもよく、これらカメラ装置１１やセンシング手段１２に対して、インターネット等の各種通信網を使ってデータの送受信を行う構成としてもよい。
【００１６】
前記カメラ装置１１は、単眼レンズカメラが用いられ、三次元計測装置１０の進行方向の何れか一側方の画像を撮像可能に撮像部１１Ａが配置されている。このカメラ装置１１で撮像された画像データは、逐次、三次元環境認識部１３に送られる。
【００１７】
前記センシング手段１２は、ＧＰＳ（Ｇｒｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）と、ＩＮＳ（Ｉｎｅｒｔｉａｌ Ｎａｖｉｇａｔｉｏｎ Ｓｙｓｔｅｍ：慣性航法システム）とを組み合わせた公知のＧＰＳ／ＩＮＳ方式（日本機械学会 ロボティクス・メカトロニクス講演会論文集 ‘０４，１Ａ１−Ｌ１−６７，２００４）が採用されたセンサにより構成されている。このＧＰＳ／ＩＮＳ方式は、ＧＰＳの位置データを利用することで、三次元計測装置１０の現在位置を把握するようになっており、特に、検出遅れのあるＧＰＳ位置データに対し、ＩＮＳによって求められた位置データ（ＩＮＳデータ）で補間することで、現在時刻の三次元計測装置１０の位置を正確に求めるようになっている。また、ＩＮＳ方式により、現在時刻の三次元計測装置１０の姿勢を求めるようにもなっている。
【００１８】
前記センシング手段１２は、ＧＰＳ／ＩＮＳ方式に必要な機器類（ＧＰＳ受信機、ジャイロ、加速度計等）によって構成されているが、本発明の要旨ではないため、ここでは各機器類の説明を省略する。また、センシング手段１２で検出された三次元計測装置１０内の位置情報や姿勢情報は、逐次、三次元環境認識部１３に送られる。
【００１９】
前記三次元環境認識部１３は、ソフトウェア及び／又はハードウェアによって構成され、プロセッサ等、複数のプログラムモジュール及び／又は処理回路より成り立っており、以下の動作を実行可能に機能する。
【００２０】
この三次元環境認識部１３は、三次元計測装置１０が所定の第１地点から第２地点に移動したときにそれぞれ撮像された第１画像及び第２画像の中で相互に同一となる部分を特定する画像マッチング手段１５と、同一と特定された部分の三次元座標を求める三次元復元手段１６とを備えている。
【００２１】
前記画像マッチング手段１５は、センシング手段１２で検出された第１及び第２地点の位置情報及び姿勢情報の検出値に基づいて、第２地点での第２画像におけるエピポーラ拘束線を求め、当該エピポーラ拘束線上の画像を第１地点での第１画像と対比することで、双方の画像で同一となる部分を特定するようになっている。
【００２２】
ここで、エピポーラ拘束線は、先に第１地点で撮像された第１画像の対象点が、第２地点で撮像された第２画像内において位置する可能性のある点の集合であり、後で例示する種々の演算式によって幾何学的に求められる。
【００２３】
前記三次元復元手段１６は、第１及び第２地点でそれぞれ撮像された第１及び第２画像に対し、画像マッチング手段１５で特定された同一部分の各画像の視差を利用して、所定の基準点から前記部分までの距離を求め、当該距離情報に基づいて、カメラ装置１１によって撮像された各種物体の形状を三次元的に復元するようになっている。
【００２４】
次に、前記三次元環境認識部１３での処理手順につき、図２のフローチャートを用いながら説明する。
【００２５】
先ず、カメラ装置１１によって、第１及び第２地点でそれぞれ撮像された画像データと、センシング手段１２によって検出された第１及び第２地点における三次元計測装置１０（カメラ装置１１）の位置情報及び姿勢情報とがそれぞれ同期して取得され（Ｓ１０１）、それらデータが三次元環境認識部１３に送られる。
【００２６】
次に、画像マッチング手段１５によって、以下の処理が実行される。
【００２７】
先ず、最初に、エピポーラ拘束線を求める（Ｓ１０２）。この説明のために、図３に示された状態を想定する。すなわち、ここでは、カメラ装置１１が第１地点から第２地点に移動し、各地点において対象点Ｍが撮像される。このとき、第１地点で撮像された第１画像１８は、第１デジタル画像面Ｄ１に写し出され、第２地点で撮像された第２画像１９は、第２デジタル画像面Ｄ２に写し出されるとする。
【００２８】
なお、以下において、第１及び第２地点におけるカメラ装置１１内のカメラ中心Ｃ，Ｃ´を原点とした直交三軸方向の座標系をカメラ座標系と称し、所定の空間を原点とした直交三軸方向の座標系をワールド座標系と称し、デジタル画像面Ｄ１，Ｄ２内で直交する二軸方向の座標系をデジタル座標系と称する。
【００２９】
カメラ装置１１では、撮像された対象点Ｍが平面状のデジタル画像面Ｄ１，Ｄ２に投影される。ここで、第１及び第２地点でのデジタル画像面Ｄ１，Ｄ２における対象点Ｍの投影点ｍ、ｍ´は、各地点におけるカメラ装置１１のカメラ中心Ｃ、Ｃ´と対象点Ｍとを結ぶそれぞれ直線がデジタル画像面Ｄ１，Ｄ２に交わる点である。
【００３０】
ここで、第１地点でのデジタル画像面Ｄ１上の投影点ｍの座標を、ｍ＝（ｕ１，ｖ１）、とし、単眼カメラの焦点距離をｆとしたときに、投影点ｍを第１地点でのカメラ座標系で表すと、次のようになる。
【数１】
【００３１】
そして、第２地点で撮像された対象点Ｍの投影点ｍ´を、第２地点でのカメラ座標系で、
【数２】
と表すと、
カメラ装置１１が第１地点から第２地点に移動する際に、センシング手段１２（図１参照）で検出された各地点でのカメラ装置１１の位置情報及び姿勢情報を使って、次式により、投影点ｍ´が求められる。
【数３】
ここにおいて、Ｔは、カメラ装置が第１地点から第２地点に移動する際の相対並進移動行列、すなわち、ＧＰＳ／ＩＮＳから求まる演算周期毎の並進量（ｄｘ，ｄｙ，ｄｚ）である。
また、Ｒは、カメラ装置が第１地点から第２地点に移動する際の相対回転行列、すなわち、ＧＰＳ／ＩＮＳから求まる演算周期毎のオイラー角（ロール、ピッチ、ヨー）である。
【００３２】
そして、第１地点及び第２地点におけるカメラ中心Ｃ、Ｃ´と、投影点ｍ´の三点を含むエピポーラ平面Ｅにおいて、当該平面Ｅ上の点ＰをＰ＝（ｘ，ｙ，ｚ）とすると、次式の関係が成り立つ。
【数４】
ここで、ａ、ｂは、任意の実数である。
【００３３】
次に、この式（４）を各行列の要素に展開した３つの式からａ，ｂを代入、消去することにより、式（４）は、次式（５）に置き換えられる。
【数５】
ここで、α、β、γは所定の係数である。
【００３４】
従って、この式（５）を満たすエピポーラ平面Ｅ上の座標（ｘ，ｙ，ｚ）が、前述したエピポーラ拘束線上の点となる。このため、第２地点のカメラ装置１１におけるデジタル画像面Ｄ２上では、エピポーラ平面Ｅと交わる直線部分が第２画像でのエピポーラ拘束線Ｌとなる。
【００３５】
以上では、一つの対象点Ｍについてのエピポーラ拘束線Ｌの算出について説明したが、実際は、カメラ装置１１で撮像される多数の対象点Ｍそれぞれに対して、エピポーラ拘束線Ｌが前述のようにそれぞれ算出され、各対象点Ｍに対し、相互に異なるエピポーラ拘束線Ｌが一本ずつ求められることになる。
【００３６】
エピポーラ拘束線Ｌが算出された後は、第１画像１８の各対象点Ｍに対応する第２画像１９の対応点を探索する対応点探索が行われる（Ｓ１０３）。この対応点探索は、以下のように、カラー情報によるウインドウマッチングによって行われる。
【００３７】
具体的に、先ず、図４に示されるように、第１画像１８の対象点ｍの周囲に、複数画素分の大きさとなる枠状の基準セル２１を設定する。そして、当該基準セル２１と同一形状の比較対象セル２２を第２画像１９内に設定し、当該比較対象セル２２をエピポーラ拘束線Ｌに沿って順次所定ピッチで移動させる。このとき、基準セル２１内の対象点ｍに対応する比較対象セル２２の中心点Ｇがエピポーラ拘束線Ｌ上に位置するように、比較対象セル２２を移動させる。
【００３８】
そして、ＲＧＢ（Ｒｅｄ−Ｇｒｅｅｎ−Ｂｌｕｅ）色情報をベースに、各移動位置での比較対象セル２２の中から、基準セル２１の色情報に最も近似する比較対象セル２２を選択する。この選択は、次のようにして行われる。
【００３９】
先ず、カメラ装置１１の画像データから、基準セル２１及び比較対象セル２２の画素毎に、それぞれＲＧＢ色情報を検出する。次いで、各セル２１，２２で相互に対応する画素部分毎に、Ｒ、Ｇ、Ｂ毎に色差をそれぞれ取ってそれぞれの色差の最大値を選択する。そして、セル内の全ての画素の色差最大値を二乗和し、その値を比較対象セル２２の誤差値とする。そして、その誤差値が最小となる位置の比較対象セル２２が、基準セル２１に対応する部分として特定される。
【００４０】
そして、前述と対象を逆にして、同一と特定された比較対象セル２２を基準セルとし、当該第２画像１９の基準セルが、第１画像１８内に新たに求めたエピポーラ拘束線Ｌのどの部分が対応するかを同様に求め、先の処理で同一と判断された第１画像１８及び第２画像１９の各セル２１，２２が、後の処理でも一致するか否かを確認する双方向マッチングを行うとよい。もし、同一でなければ、セルの大きさを小さくする等して、前述の処理を同様に行えば、より精度の高い画像マッチングが可能となる。
【００４１】
このようにして、第１画像１８の対象点ｍに対応する第２画像１９の対象点ｍ´が特定される。次に、前記三次元復元手段１６によって、以下の処理が実行される。
【００４２】
先ず、第１画像１８と第２画像１９との間で相互に同一と特定された各対象点ｍ，ｍ´の各画像１８，１９における視差により、所定の基準点から対象点Ｍまでの距離を求め、当該距離の大きさに応じて色分け表示された距離画像を作成する（Ｓ１０４）。
【００４３】
ところで、画像マッチングを行った際、第１画像１８の対象点ｍに対し、第２画像１９上で実際に異なる部分と同一と判断した等の場合には、先に求めた距離が実際と異なってしまう。このような場合には、作成された距離画像に、周囲の画素部分と明らかに違う色部分が作成されたり、色が部分的に抜けたりすることになる。ここでは、このような誤差の生じた画素部分を所定の閾値を使って抽出し、当該抽出された画素部分を注目画素として、データ削除や線形化等によって、周囲の画素部分の色に近づける補正処理が行われる。なお、この補正処理は、公知技術であり詳細な説明を省略する。
【００４４】
そして、距離画像の作成後は、当該距離画像と、カメラ装置１１によって撮像された実際の画像とを対応させること（レンダリング処理）で、画像内の各種物体の画像テクスチャ付き三次元座標を求め、各物体を三次元的に復元する（Ｓ１０５）。なお、この三次元復元処理には、種々の手法が存在するが、本発明の要旨ではないため、詳細な説明を省略する。
【００４５】
従って、このような第１実施例によれば、エピポーラ拘束線Ｌを求める際、その演算上必要となるカメラ装置１１の位置情報や姿勢情報が、カメラ装置１１で撮像された第１及び第２画像１８，１９を使わずに、ＧＰＳ／ＩＮＳ方式を利用したセンシング手段１２の検出値を使って求められる。このため、屋外における物体の三次元形状を確実に特定することができ、三次元計測装置１０を走行させながらカメラ装置１１で周囲を撮像することにより、走行領域の三次元地図をより正確に自動作成できる。
【００４６】
なお、前記実施例におけるエピポーラ拘束線の算出方法の代わりに、次のように、Ｆ行列を使ったエピポーラ拘束線の算出方法を採用することも可能である。このＦ行列とは、ｆｕｎｄａｍｅｎｔａｌ行列、或いは”基礎行列”の略で、異なる視点から得られた２つの画像において、対応する点同士が持つ拘束条件を示す行列である。
【００４７】
ここで、カメラ装置のＣＣＤ素子が正方形素子で、デジタル画像のｕ−ｖ軸が直交しているとする。図５に示されるように、所定の仮想画像平面２４に、対象点Ｍとレンズ中心Ｃを結ぶ直線に交わる点をｍｓ＝［ｘ，ｙ］Ｔ（カメラ座標系）とすると、デジタル画像座標ｍ＝［ｕ，ｖ］Ｔとの関係は、
【数６】
となる。ここで、Ｈは、
【数７】
但し、ｋは、ＣＣＤ素子の単位長（ｍ）であり、ｆはレンズの焦点距離である。
【００４８】
また、ワールド座標系におけるカメラ運動を表すＥ行列は、
相対並進移動行列を［ｔ］ｘとし、相対回転行列をＲとすると、
【数８】
となる。
ここで、相対並進移動行列［ｔ］ｘ、相対回転行列Ｒには、前記実施例と同様、ＧＰＳ／ＩＮＳ方式によるセンシング手段１２で検出された位置情報及び姿勢情報が用いられ、次のとおりとなる。
【数９】
上式において、ｔ１は、ｘ方向ベクトルで、ｔ２は、ｙ方向ベクトルで、ｔ３は、ｚ方向ベクトルである。また、オイラー角をロール：φ、ピッチ：θ、ヨー：ψとする。
【数１０】
【００４９】
以上より、Ｆ行列は、
【数１１】
となる。
【００５０】
画像中心を原点とするデジタル座標において、第１地点で撮像された第１画像における座標ｍ＝［ｕ，ｖ，１］Ｔと、第２地点で撮像された第２画像上で対応する座標ｍ＝［ｕ´，ｖ´，１］Ｔが与えられた場合、
【数１２】
の関係が成り立つ。
上式（１１）及び（１２）によって、ｕ´，ｖ´を変数とする一次関数が導出され、この関係を満たす線分が求めるエピポーラ拘束線となる。
【００５１】
次に、本発明の他の実施例について説明する。なお、以下の説明において、前記第１実施例と同一若しくは同等の構成部分については同一符号を用いるものとし、説明を省略若しくは簡略にする。
［第２実施例］
【００５２】
第２実施例は、カメラ装置１１として、撮像部１１Ａの周囲略３６０度の全周画像を同時に取得可能な全周撮像装置（以下、ＯＤＶ（Ｏｍｎｉ−Ｄｉｒｅｃｔｉｏｎａｌ Ｖｉｓｉｏｎ）と称する。）を用いたところに特徴を有する。その他の構成は、前記第１実施例と実質的に同一である。このＯＤＶでは、撮像部１１Ａの周囲３６０度の取得画像がドーナツ状の画面Ｄ（図７（Ａ）参照）に写し出されるようになっている。
【００５３】
本実施例では、次のようにして、エピポーラ拘束線が求められる。なお、本実施例においても、第１地点から第２地点にカメラ装置１１が移動する際、それぞれの位置情報及び姿勢情報をＧＰＳ／ＩＮＳ方式を利用したセンシング手段１２によって検出し、その検出値に基づいてエピポーラ拘束線が求められる。なお、その他については、第１実施例と同様な処理が行われる。
【００５４】
図６に示されるように、ＯＤＶによる画像面を仮想的に円筒状とし、以下では、この仮想画像面のうち、第１地点での画像面を第１仮想画像面２６と呼び、第２地点での画像面を第２仮想画像面２７と呼ぶ。そして、第１地点のカメラ原点Ｏと、空間上の対象点Ｍとを結ぶ直線と、第１地点及び第２地点でのカメラ原点Ｏ、Ｏ２を結ぶ直線と、カメラ原点Ｏ２と対象点Ｍとを結ぶ直線とを含む平面をエピポーラ平面Ｅとし、当該エピポーラ平面Ｅと第２仮想画像面２７とが交わる線がエピポーラ拘束線Ｌとなる。具体的には、以下のように算出される。
【００５５】
図７に等距離写像方式の場合のＯＤＶのデジタル座標系とカメラ座標系の対応関係を示す。なお、ＯＤＶには、円錐面や球面、双曲面などの曲面鏡を１枚用いたものや、２枚の曲面鏡を用いたものが存在するが、等距離写像方式であれば、どのタイプにも適用可能である。
図７に示されるように、第１地点でドーナツ状の画面Ｄに写し出された対象点Ｍの座標（ｕ，ｖ）を第１仮想画像面２６上の座標に置き換えるために、極座標（φ、θ）に変換する。
なお、図７（Ａ）中、φｔｏｐは、略水平の垂直画角基準（図７（Ａ）の点線部）より上方空間の撮像限界点の画角である上方垂直画角［ｄｅｇ］であり、φｂｏｔｔｏｍは、前記垂直画角基準より下方空間の撮像限界点の画角である下方垂直画角［ｄｅｇ］である。
また、Ｒｉｎは、ＯＤＶ画像中心からＯＤＶ画像の内円までの距離［ｐｉｘｅｌ］、
Ｒｏｕｔは、ＯＤＶ画像中心からＯＤＶ画像の外円までの距離［ｐｉｘｅｌ］、Ｒｂａｓｅは、ＯＤＶ画像中心から、前記垂直画角基準となる基準円（図中点線部分）までの距離［ｐｉｘｅｌ］である。
【００５６】
これらによって、対象点Ｍの極座標（φ、θ）は、次式によって求められる。
【数１３】
【数１４】
ここで、各Ｒは、
【数１５】
で求められる。
【００５７】
そして、第１地点のカメラ座標系において、対象点Ｍの極座標（φ、θ）を三次元座標Ｍ＝［Ｘ，Ｙ，Ｚ］に変換する。具体的には、次式のとおりとなる。
【数１６】
ここで、Ｓは任意の実数であり、Ｓ＝１のとき、第１仮想画像面２６上の点であるとする。
【００５８】
そして、第２地点のカメラ座標系において、対象点Ｍの三次元座標Ｍ´は、第１地点のカメラ座標系の三次元座標Ｍを使って、次式のように表される。
【数１７】
ここで、Ｔは、第１実施例と同様、カメラ装置１１が第１地点から第２地点に移動する際の相対並進移動行列であり、Ｒは、カメラ装置１１が第１地点から第２地点に移動する際の相対回転行列である。
【００５９】
すなわち、相対並進移動行列Ｔは、
【数１８】
で表される。ここで、ｄｘ、ｄｙ、ｄｚは、カメラ装置のＸ軸、Ｙ軸、Ｚ軸方向の移動量である。
【００６０】
また、相対回転行列Ｒは、
【数１９】
で表される。ここで、φ、θ、ψは、オイラー角（ロール、ピッチ、ヨー）である。
【００６１】
そして、第１地点における原点Ｏを第２地点の座標系に変換したＯ´と、第１地点から見た対象点Ｍを第２地点から見たＭ´を含むエピポーラ平面Ｅの方程式は次のとおりである。すなわち、当該平面Ｅ上の点ＰをＰ＝（ｘ，ｙ，ｚ）とすると、次の関係が成り立つ。
【数２０】
ここで、ａ、ｂは、任意の実数である。
【００６２】
次に、この式（２０）を各行列の要素に展開した各式からａ，ｂを代入、消去することにより、式（２０）は、次式（２１）に置き換えられる。
【数２１】
ここで、α、β、γは所定の係数である。
【００６３】
この式（２１）を満たす座標（ｘ，ｙ，ｚ）が、前述したエピポーラ拘束線Ｌ上の点となり、上式（２１）を満たすエピポーラ拘束線Ｌは、第２地点で撮像されたドーナツ画像Ｄで表すと円弧状の線分となる。
【００６４】
従って、このような第２実施例によれば、カメラ装置１１として、進行方向に直交する左右方向の画像が同時に取得可能なＯＤＶを用いているため、超広角の単眼カメラを用いた場合と比較しても、視差の大きい横方向の有効視野を広く確保することができ、より少ないカメラ装置１１の移動距離で、より多くの物体の三次元形状を確実に復元することができる。
【００６５】
なお、本実施例についても、エピポーラ拘束線の算出に際し、第１実施例で説明したＦ行列による算出方法を用いてもよい。
【００６６】
また、前記各実施例では、センシング手段１２として、ＧＰＳ／ＩＮＳ方式を採用したが、本発明はこれに限らず、カメラ装置１１で撮像された画像を使わずに、カメラ装置１１の移動による位置変化や姿勢変化を検出できる他のセンサを採用してもよい。例えば、ＩＮＳ方式の代わりにジャイロとオドメトソを用いたデッドレコニング方式を採用することも可能である。
【００６７】
また、本発明は、カメラ装置１１が移動しながら撮像された複数画像内で同一物体の特定が必要となる他の画像処理装置（例えば、動画像を用いた画像追尾装置）に適用することも可能である。
【００６８】
その他、本発明における装置各部の構成は図示構成例に限定されるものではなく、実質的に同様の作用を奏する限りにおいて、種々の変更が可能である。
【図面の簡単な説明】
【００６９】
【図１】第１実施例に係る三次元計測装置の概略構成図。
【図２】三次元環境認識部１３での処理手順を示すフローチャート。
【図３】エピポーラ拘束線の算出方法を説明するための図。
【図４】画像マッチングを説明するための図。
【図５】Ｆ行列を使ったエピポーラ拘束線の算出方法を説明するための図。
【図６】第２実施例でのエピポーラ拘束線の算出方法を説明するための図。
【図７】（Ａ）は、ＯＤＶのドーナツ画像を示す図であり、（Ｂ）は、極座標から仮想画像面への変換方法を説明するための図。
【符号の説明】
【００７０】
１０ 三次元計測装置（画像処理装置）
１１ カメラ装置（撮像手段）
１２ センシング手段
１５ 画像マッチング手段
１６ 三次元復元手段
２１ 基準セル
２２ 比較対象セル
Ｌ エピポーラ拘束線
【技術分野】
【０００１】
本発明は、画像処理装置及び三次元計測装置並びに画像処理装置用プログラムに係り、更に詳しくは、屋外に存在する対象物をカメラ等で撮像することにより、前記対象物の三次元形状を精度良く自動的に特定することのできる画像処理装置及び三次元計測装置並びに画像処理装置用プログラムに関する。
【背景技術】
【０００２】
近年、カーナビゲーション等に用いられる地図情報システムのうち、デジタル化された三次元地図データに、統計データや地図上の属性情報を付帯させた三次元ＧＩＳ（Ｇｅｏｇｒａｐｈｉｃ Ｉｎｆｏｍａｔｉｏｎ Ｓｙｓｔｅｍ）と呼ばれるシステムが普及しつつある。この三次元ＧＩＳは、カメラを搭載した計測車両を走行させ、当該カメラで建物等の物体を撮像し、その画像と航空機測量を行った地図等とをベースに人手を介して建物等の物体を三次元的に復元することで作成される。ところが、この方法では、人手によって物体の三次元形状を特定するため、地図等の更新を行う際に膨大な時間がかかり、カーナビゲーション地図の更新サイクルの短縮化の要請に応えられないという問題がある。
【０００３】
ところで、ビデオカメラに撮像された物体の三次元形状を特定する三次元計測装置が知られている（例えば、特許文献１等参照）。この三次元計測装置は、ビデオカメラを移動させて撮影位置を変化させながら対象物を連続的に撮像し、各画像内における対象物の位置変化によって物体の三次元座標を求める運動立体視法が採用されている。
【０００４】
この三次元計測装置では、先ず、画像上で、周囲よりも特徴となる部分（特徴点）を数箇所決め、カメラ移動後に、当該特徴点が画像上をどう変化したかによって、移動前後におけるビデオカメラの位置情報及び姿勢情報を求め、当該位置情報及び姿勢情報に基づき、幾何学的にエピポーラ拘束線を求める。つまり、ビデオカメラで撮像された画像の特徴点を使ってエピポーラ拘束線が求められる。
【０００５】
ここで、エピポーラ拘束線とは、ビデオカメラが第１地点から第２地点に移動するとした場合、第１地点で撮像された第１画像内の対象点が、第２地点で撮像された第２画像内において位置する可能性のある点の集合である。従って、第１画像と第２画像とをマッチングする際に、その対象範囲を第２画像のエピポーラ拘束線の近傍に限定することで、各画像における同一部分の特定を比較的簡単に行うことができる。
【０００６】
その後、第１及び第２画像にそれぞれ写った前記同一部分の視差を利用して、その部分と所定の基準点との距離が求められ、幾何学上、当該部分の三次元座標が求められる。
【特許文献１】特開平５−１４１９３０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、このような三次元計測装置にあっては、屋内に存在する物体の三次元形状を特定するのに適しているが、屋外に存在する物体の三次元形状を特定することが難しく、屋外でのカメラ撮像が必要となる三次元地図情報の作成には利用できないという不都合がある。
【０００８】
すなわち、前記三次元計測装置では、移動するビデオカメラで撮像された複数の画像を使って、これら画像内の特徴点の位置変化を捉えることで、ビデオカメラの並進量及び回転量を求めるようになっている。ところが、屋外環境では、屋内環境に比べ、多様な物体や背景が存在し、計測環境が複雑となる他、明るさなどの撮影条件が撮影ポイントで細かく変わるため、画像内の特徴点の明確な区別が困難である場合が多い。このため、前記三次元計測装置を屋内で使用すると、三次元形状の特定精度が著しく低下してしまい、三次元地図情報の作成には実質的に利用することができない。
【０００９】
本発明は、このような不都合に着目して案出されたものであり、その目的は、屋外に存在する物体の三次元形状を精度良く自動的に特定することができる画像処理装置及び三次元計測装置並びに画像処理装置用プログラムを提供することにある。
【課題を解決するための手段】
【００１０】
前記目的を達成するため、本発明は、第１地点から第２地点に移動可能に設けられ、前記各地点で画像をそれぞれ取得する撮像手段と、前記各画像を用いずに前記撮像手段の位置情報及び姿勢情報を検出するセンシング手段と、当該センシング手段で検出された位置情報及び姿勢情報から、前記各画像の中で相互に同一となる部分を特定する画像マッチング手段とを備え、
前記画像マッチング手段は、前記センシング手段の検出値に基づいて、前記第２地点での画像におけるエピポーラ拘束線を求め、当該エピポーラ拘束線上の画像部分と前記第１地点の対象部分とを対比することで、各画像内の同一部分を特定する、という構成を採っている。
【発明の効果】
【００１１】
本発明によれば、移動する撮像手段の位置情報及び姿勢情報をＧＰＳ／ＩＮＳ方式等のセンシング手段を使って検出することで、エピポーラ拘束線を求めているため、前記位置情報及び姿勢情報抽出の際に、撮像手段で撮像された画像の特徴点の抽出やマッチングが不要となる。これによって、撮像された物体の特徴点が明確でない場合や、移動前後での撮影ポイントの明るさ等の撮影条件の差が生じている場合でも、各画像内での同一部分の誤認識を回避して、当該同一部分の特定が可能となり、屋外に存在する物体の三次元形状を精度良く自動的に特定することができる。
【００１２】
また、撮像手段として全周撮像装置を用いた場合には、視差の大きい横方向の有効視野を広く確保することができ、物体の三次元形状の特定をより確実に行うことができる。
【発明を実施するための最良の形態】
【００１３】
以下、本発明の実施例について図面を参照しながら説明する。
［第１実施例］
【００１４】
図１には、本発明に係る画像処理装置を適用した三次元計測装置の概略構成図が示されている。この図において、三次元計測装置１０は、撮像手段としてのカメラ装置１１と、カメラ装置１１の位置情報及び姿勢情報を検出するセンシング手段１２と、カメラ装置１１で撮像された画像及びセンシング手段１２で検出された位置情報及び姿勢情報から、撮像された物体の三次元形状を特定する三次元環境認識部１３とを備えて構成されている。
【００１５】
本実施例において、三次元計測装置１０は、無線等による遠隔操縦によって自律移動可能な移動体として機能するが、特に限定されるものではなく、運転者の運転によって任意の場所を移動する自動車に搭載されていてもよい。また、三次元環境認識部１３は、カメラ装置１１やセンシング手段１２と別の場所に離れて設けられていてもよく、これらカメラ装置１１やセンシング手段１２に対して、インターネット等の各種通信網を使ってデータの送受信を行う構成としてもよい。
【００１６】
前記カメラ装置１１は、単眼レンズカメラが用いられ、三次元計測装置１０の進行方向の何れか一側方の画像を撮像可能に撮像部１１Ａが配置されている。このカメラ装置１１で撮像された画像データは、逐次、三次元環境認識部１３に送られる。
【００１７】
前記センシング手段１２は、ＧＰＳ（Ｇｒｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）と、ＩＮＳ（Ｉｎｅｒｔｉａｌ Ｎａｖｉｇａｔｉｏｎ Ｓｙｓｔｅｍ：慣性航法システム）とを組み合わせた公知のＧＰＳ／ＩＮＳ方式（日本機械学会 ロボティクス・メカトロニクス講演会論文集 ‘０４，１Ａ１−Ｌ１−６７，２００４）が採用されたセンサにより構成されている。このＧＰＳ／ＩＮＳ方式は、ＧＰＳの位置データを利用することで、三次元計測装置１０の現在位置を把握するようになっており、特に、検出遅れのあるＧＰＳ位置データに対し、ＩＮＳによって求められた位置データ（ＩＮＳデータ）で補間することで、現在時刻の三次元計測装置１０の位置を正確に求めるようになっている。また、ＩＮＳ方式により、現在時刻の三次元計測装置１０の姿勢を求めるようにもなっている。
【００１８】
前記センシング手段１２は、ＧＰＳ／ＩＮＳ方式に必要な機器類（ＧＰＳ受信機、ジャイロ、加速度計等）によって構成されているが、本発明の要旨ではないため、ここでは各機器類の説明を省略する。また、センシング手段１２で検出された三次元計測装置１０内の位置情報や姿勢情報は、逐次、三次元環境認識部１３に送られる。
【００１９】
前記三次元環境認識部１３は、ソフトウェア及び／又はハードウェアによって構成され、プロセッサ等、複数のプログラムモジュール及び／又は処理回路より成り立っており、以下の動作を実行可能に機能する。
【００２０】
この三次元環境認識部１３は、三次元計測装置１０が所定の第１地点から第２地点に移動したときにそれぞれ撮像された第１画像及び第２画像の中で相互に同一となる部分を特定する画像マッチング手段１５と、同一と特定された部分の三次元座標を求める三次元復元手段１６とを備えている。
【００２１】
前記画像マッチング手段１５は、センシング手段１２で検出された第１及び第２地点の位置情報及び姿勢情報の検出値に基づいて、第２地点での第２画像におけるエピポーラ拘束線を求め、当該エピポーラ拘束線上の画像を第１地点での第１画像と対比することで、双方の画像で同一となる部分を特定するようになっている。
【００２２】
ここで、エピポーラ拘束線は、先に第１地点で撮像された第１画像の対象点が、第２地点で撮像された第２画像内において位置する可能性のある点の集合であり、後で例示する種々の演算式によって幾何学的に求められる。
【００２３】
前記三次元復元手段１６は、第１及び第２地点でそれぞれ撮像された第１及び第２画像に対し、画像マッチング手段１５で特定された同一部分の各画像の視差を利用して、所定の基準点から前記部分までの距離を求め、当該距離情報に基づいて、カメラ装置１１によって撮像された各種物体の形状を三次元的に復元するようになっている。
【００２４】
次に、前記三次元環境認識部１３での処理手順につき、図２のフローチャートを用いながら説明する。
【００２５】
先ず、カメラ装置１１によって、第１及び第２地点でそれぞれ撮像された画像データと、センシング手段１２によって検出された第１及び第２地点における三次元計測装置１０（カメラ装置１１）の位置情報及び姿勢情報とがそれぞれ同期して取得され（Ｓ１０１）、それらデータが三次元環境認識部１３に送られる。
【００２６】
次に、画像マッチング手段１５によって、以下の処理が実行される。
【００２７】
先ず、最初に、エピポーラ拘束線を求める（Ｓ１０２）。この説明のために、図３に示された状態を想定する。すなわち、ここでは、カメラ装置１１が第１地点から第２地点に移動し、各地点において対象点Ｍが撮像される。このとき、第１地点で撮像された第１画像１８は、第１デジタル画像面Ｄ１に写し出され、第２地点で撮像された第２画像１９は、第２デジタル画像面Ｄ２に写し出されるとする。
【００２８】
なお、以下において、第１及び第２地点におけるカメラ装置１１内のカメラ中心Ｃ，Ｃ´を原点とした直交三軸方向の座標系をカメラ座標系と称し、所定の空間を原点とした直交三軸方向の座標系をワールド座標系と称し、デジタル画像面Ｄ１，Ｄ２内で直交する二軸方向の座標系をデジタル座標系と称する。
【００２９】
カメラ装置１１では、撮像された対象点Ｍが平面状のデジタル画像面Ｄ１，Ｄ２に投影される。ここで、第１及び第２地点でのデジタル画像面Ｄ１，Ｄ２における対象点Ｍの投影点ｍ、ｍ´は、各地点におけるカメラ装置１１のカメラ中心Ｃ、Ｃ´と対象点Ｍとを結ぶそれぞれ直線がデジタル画像面Ｄ１，Ｄ２に交わる点である。
【００３０】
ここで、第１地点でのデジタル画像面Ｄ１上の投影点ｍの座標を、ｍ＝（ｕ１，ｖ１）、とし、単眼カメラの焦点距離をｆとしたときに、投影点ｍを第１地点でのカメラ座標系で表すと、次のようになる。
【数１】
【００３１】
そして、第２地点で撮像された対象点Ｍの投影点ｍ´を、第２地点でのカメラ座標系で、
【数２】
と表すと、
カメラ装置１１が第１地点から第２地点に移動する際に、センシング手段１２（図１参照）で検出された各地点でのカメラ装置１１の位置情報及び姿勢情報を使って、次式により、投影点ｍ´が求められる。
【数３】
ここにおいて、Ｔは、カメラ装置が第１地点から第２地点に移動する際の相対並進移動行列、すなわち、ＧＰＳ／ＩＮＳから求まる演算周期毎の並進量（ｄｘ，ｄｙ，ｄｚ）である。
また、Ｒは、カメラ装置が第１地点から第２地点に移動する際の相対回転行列、すなわち、ＧＰＳ／ＩＮＳから求まる演算周期毎のオイラー角（ロール、ピッチ、ヨー）である。
【００３２】
そして、第１地点及び第２地点におけるカメラ中心Ｃ、Ｃ´と、投影点ｍ´の三点を含むエピポーラ平面Ｅにおいて、当該平面Ｅ上の点ＰをＰ＝（ｘ，ｙ，ｚ）とすると、次式の関係が成り立つ。
【数４】
ここで、ａ、ｂは、任意の実数である。
【００３３】
次に、この式（４）を各行列の要素に展開した３つの式からａ，ｂを代入、消去することにより、式（４）は、次式（５）に置き換えられる。
【数５】
ここで、α、β、γは所定の係数である。
【００３４】
従って、この式（５）を満たすエピポーラ平面Ｅ上の座標（ｘ，ｙ，ｚ）が、前述したエピポーラ拘束線上の点となる。このため、第２地点のカメラ装置１１におけるデジタル画像面Ｄ２上では、エピポーラ平面Ｅと交わる直線部分が第２画像でのエピポーラ拘束線Ｌとなる。
【００３５】
以上では、一つの対象点Ｍについてのエピポーラ拘束線Ｌの算出について説明したが、実際は、カメラ装置１１で撮像される多数の対象点Ｍそれぞれに対して、エピポーラ拘束線Ｌが前述のようにそれぞれ算出され、各対象点Ｍに対し、相互に異なるエピポーラ拘束線Ｌが一本ずつ求められることになる。
【００３６】
エピポーラ拘束線Ｌが算出された後は、第１画像１８の各対象点Ｍに対応する第２画像１９の対応点を探索する対応点探索が行われる（Ｓ１０３）。この対応点探索は、以下のように、カラー情報によるウインドウマッチングによって行われる。
【００３７】
具体的に、先ず、図４に示されるように、第１画像１８の対象点ｍの周囲に、複数画素分の大きさとなる枠状の基準セル２１を設定する。そして、当該基準セル２１と同一形状の比較対象セル２２を第２画像１９内に設定し、当該比較対象セル２２をエピポーラ拘束線Ｌに沿って順次所定ピッチで移動させる。このとき、基準セル２１内の対象点ｍに対応する比較対象セル２２の中心点Ｇがエピポーラ拘束線Ｌ上に位置するように、比較対象セル２２を移動させる。
【００３８】
そして、ＲＧＢ（Ｒｅｄ−Ｇｒｅｅｎ−Ｂｌｕｅ）色情報をベースに、各移動位置での比較対象セル２２の中から、基準セル２１の色情報に最も近似する比較対象セル２２を選択する。この選択は、次のようにして行われる。
【００３９】
先ず、カメラ装置１１の画像データから、基準セル２１及び比較対象セル２２の画素毎に、それぞれＲＧＢ色情報を検出する。次いで、各セル２１，２２で相互に対応する画素部分毎に、Ｒ、Ｇ、Ｂ毎に色差をそれぞれ取ってそれぞれの色差の最大値を選択する。そして、セル内の全ての画素の色差最大値を二乗和し、その値を比較対象セル２２の誤差値とする。そして、その誤差値が最小となる位置の比較対象セル２２が、基準セル２１に対応する部分として特定される。
【００４０】
そして、前述と対象を逆にして、同一と特定された比較対象セル２２を基準セルとし、当該第２画像１９の基準セルが、第１画像１８内に新たに求めたエピポーラ拘束線Ｌのどの部分が対応するかを同様に求め、先の処理で同一と判断された第１画像１８及び第２画像１９の各セル２１，２２が、後の処理でも一致するか否かを確認する双方向マッチングを行うとよい。もし、同一でなければ、セルの大きさを小さくする等して、前述の処理を同様に行えば、より精度の高い画像マッチングが可能となる。
【００４１】
このようにして、第１画像１８の対象点ｍに対応する第２画像１９の対象点ｍ´が特定される。次に、前記三次元復元手段１６によって、以下の処理が実行される。
【００４２】
先ず、第１画像１８と第２画像１９との間で相互に同一と特定された各対象点ｍ，ｍ´の各画像１８，１９における視差により、所定の基準点から対象点Ｍまでの距離を求め、当該距離の大きさに応じて色分け表示された距離画像を作成する（Ｓ１０４）。
【００４３】
ところで、画像マッチングを行った際、第１画像１８の対象点ｍに対し、第２画像１９上で実際に異なる部分と同一と判断した等の場合には、先に求めた距離が実際と異なってしまう。このような場合には、作成された距離画像に、周囲の画素部分と明らかに違う色部分が作成されたり、色が部分的に抜けたりすることになる。ここでは、このような誤差の生じた画素部分を所定の閾値を使って抽出し、当該抽出された画素部分を注目画素として、データ削除や線形化等によって、周囲の画素部分の色に近づける補正処理が行われる。なお、この補正処理は、公知技術であり詳細な説明を省略する。
【００４４】
そして、距離画像の作成後は、当該距離画像と、カメラ装置１１によって撮像された実際の画像とを対応させること（レンダリング処理）で、画像内の各種物体の画像テクスチャ付き三次元座標を求め、各物体を三次元的に復元する（Ｓ１０５）。なお、この三次元復元処理には、種々の手法が存在するが、本発明の要旨ではないため、詳細な説明を省略する。
【００４５】
従って、このような第１実施例によれば、エピポーラ拘束線Ｌを求める際、その演算上必要となるカメラ装置１１の位置情報や姿勢情報が、カメラ装置１１で撮像された第１及び第２画像１８，１９を使わずに、ＧＰＳ／ＩＮＳ方式を利用したセンシング手段１２の検出値を使って求められる。このため、屋外における物体の三次元形状を確実に特定することができ、三次元計測装置１０を走行させながらカメラ装置１１で周囲を撮像することにより、走行領域の三次元地図をより正確に自動作成できる。
【００４６】
なお、前記実施例におけるエピポーラ拘束線の算出方法の代わりに、次のように、Ｆ行列を使ったエピポーラ拘束線の算出方法を採用することも可能である。このＦ行列とは、ｆｕｎｄａｍｅｎｔａｌ行列、或いは”基礎行列”の略で、異なる視点から得られた２つの画像において、対応する点同士が持つ拘束条件を示す行列である。
【００４７】
ここで、カメラ装置のＣＣＤ素子が正方形素子で、デジタル画像のｕ−ｖ軸が直交しているとする。図５に示されるように、所定の仮想画像平面２４に、対象点Ｍとレンズ中心Ｃを結ぶ直線に交わる点をｍｓ＝［ｘ，ｙ］Ｔ（カメラ座標系）とすると、デジタル画像座標ｍ＝［ｕ，ｖ］Ｔとの関係は、
【数６】
となる。ここで、Ｈは、
【数７】
但し、ｋは、ＣＣＤ素子の単位長（ｍ）であり、ｆはレンズの焦点距離である。
【００４８】
また、ワールド座標系におけるカメラ運動を表すＥ行列は、
相対並進移動行列を［ｔ］ｘとし、相対回転行列をＲとすると、
【数８】
となる。
ここで、相対並進移動行列［ｔ］ｘ、相対回転行列Ｒには、前記実施例と同様、ＧＰＳ／ＩＮＳ方式によるセンシング手段１２で検出された位置情報及び姿勢情報が用いられ、次のとおりとなる。
【数９】
上式において、ｔ１は、ｘ方向ベクトルで、ｔ２は、ｙ方向ベクトルで、ｔ３は、ｚ方向ベクトルである。また、オイラー角をロール：φ、ピッチ：θ、ヨー：ψとする。
【数１０】
【００４９】
以上より、Ｆ行列は、
【数１１】
となる。
【００５０】
画像中心を原点とするデジタル座標において、第１地点で撮像された第１画像における座標ｍ＝［ｕ，ｖ，１］Ｔと、第２地点で撮像された第２画像上で対応する座標ｍ＝［ｕ´，ｖ´，１］Ｔが与えられた場合、
【数１２】
の関係が成り立つ。
上式（１１）及び（１２）によって、ｕ´，ｖ´を変数とする一次関数が導出され、この関係を満たす線分が求めるエピポーラ拘束線となる。
【００５１】
次に、本発明の他の実施例について説明する。なお、以下の説明において、前記第１実施例と同一若しくは同等の構成部分については同一符号を用いるものとし、説明を省略若しくは簡略にする。
［第２実施例］
【００５２】
第２実施例は、カメラ装置１１として、撮像部１１Ａの周囲略３６０度の全周画像を同時に取得可能な全周撮像装置（以下、ＯＤＶ（Ｏｍｎｉ−Ｄｉｒｅｃｔｉｏｎａｌ Ｖｉｓｉｏｎ）と称する。）を用いたところに特徴を有する。その他の構成は、前記第１実施例と実質的に同一である。このＯＤＶでは、撮像部１１Ａの周囲３６０度の取得画像がドーナツ状の画面Ｄ（図７（Ａ）参照）に写し出されるようになっている。
【００５３】
本実施例では、次のようにして、エピポーラ拘束線が求められる。なお、本実施例においても、第１地点から第２地点にカメラ装置１１が移動する際、それぞれの位置情報及び姿勢情報をＧＰＳ／ＩＮＳ方式を利用したセンシング手段１２によって検出し、その検出値に基づいてエピポーラ拘束線が求められる。なお、その他については、第１実施例と同様な処理が行われる。
【００５４】
図６に示されるように、ＯＤＶによる画像面を仮想的に円筒状とし、以下では、この仮想画像面のうち、第１地点での画像面を第１仮想画像面２６と呼び、第２地点での画像面を第２仮想画像面２７と呼ぶ。そして、第１地点のカメラ原点Ｏと、空間上の対象点Ｍとを結ぶ直線と、第１地点及び第２地点でのカメラ原点Ｏ、Ｏ２を結ぶ直線と、カメラ原点Ｏ２と対象点Ｍとを結ぶ直線とを含む平面をエピポーラ平面Ｅとし、当該エピポーラ平面Ｅと第２仮想画像面２７とが交わる線がエピポーラ拘束線Ｌとなる。具体的には、以下のように算出される。
【００５５】
図７に等距離写像方式の場合のＯＤＶのデジタル座標系とカメラ座標系の対応関係を示す。なお、ＯＤＶには、円錐面や球面、双曲面などの曲面鏡を１枚用いたものや、２枚の曲面鏡を用いたものが存在するが、等距離写像方式であれば、どのタイプにも適用可能である。
図７に示されるように、第１地点でドーナツ状の画面Ｄに写し出された対象点Ｍの座標（ｕ，ｖ）を第１仮想画像面２６上の座標に置き換えるために、極座標（φ、θ）に変換する。
なお、図７（Ａ）中、φｔｏｐは、略水平の垂直画角基準（図７（Ａ）の点線部）より上方空間の撮像限界点の画角である上方垂直画角［ｄｅｇ］であり、φｂｏｔｔｏｍは、前記垂直画角基準より下方空間の撮像限界点の画角である下方垂直画角［ｄｅｇ］である。
また、Ｒｉｎは、ＯＤＶ画像中心からＯＤＶ画像の内円までの距離［ｐｉｘｅｌ］、
Ｒｏｕｔは、ＯＤＶ画像中心からＯＤＶ画像の外円までの距離［ｐｉｘｅｌ］、Ｒｂａｓｅは、ＯＤＶ画像中心から、前記垂直画角基準となる基準円（図中点線部分）までの距離［ｐｉｘｅｌ］である。
【００５６】
これらによって、対象点Ｍの極座標（φ、θ）は、次式によって求められる。
【数１３】
【数１４】
ここで、各Ｒは、
【数１５】
で求められる。
【００５７】
そして、第１地点のカメラ座標系において、対象点Ｍの極座標（φ、θ）を三次元座標Ｍ＝［Ｘ，Ｙ，Ｚ］に変換する。具体的には、次式のとおりとなる。
【数１６】
ここで、Ｓは任意の実数であり、Ｓ＝１のとき、第１仮想画像面２６上の点であるとする。
【００５８】
そして、第２地点のカメラ座標系において、対象点Ｍの三次元座標Ｍ´は、第１地点のカメラ座標系の三次元座標Ｍを使って、次式のように表される。
【数１７】
ここで、Ｔは、第１実施例と同様、カメラ装置１１が第１地点から第２地点に移動する際の相対並進移動行列であり、Ｒは、カメラ装置１１が第１地点から第２地点に移動する際の相対回転行列である。
【００５９】
すなわち、相対並進移動行列Ｔは、
【数１８】
で表される。ここで、ｄｘ、ｄｙ、ｄｚは、カメラ装置のＸ軸、Ｙ軸、Ｚ軸方向の移動量である。
【００６０】
また、相対回転行列Ｒは、
【数１９】
で表される。ここで、φ、θ、ψは、オイラー角（ロール、ピッチ、ヨー）である。
【００６１】
そして、第１地点における原点Ｏを第２地点の座標系に変換したＯ´と、第１地点から見た対象点Ｍを第２地点から見たＭ´を含むエピポーラ平面Ｅの方程式は次のとおりである。すなわち、当該平面Ｅ上の点ＰをＰ＝（ｘ，ｙ，ｚ）とすると、次の関係が成り立つ。
【数２０】
ここで、ａ、ｂは、任意の実数である。
【００６２】
次に、この式（２０）を各行列の要素に展開した各式からａ，ｂを代入、消去することにより、式（２０）は、次式（２１）に置き換えられる。
【数２１】
ここで、α、β、γは所定の係数である。
【００６３】
この式（２１）を満たす座標（ｘ，ｙ，ｚ）が、前述したエピポーラ拘束線Ｌ上の点となり、上式（２１）を満たすエピポーラ拘束線Ｌは、第２地点で撮像されたドーナツ画像Ｄで表すと円弧状の線分となる。
【００６４】
従って、このような第２実施例によれば、カメラ装置１１として、進行方向に直交する左右方向の画像が同時に取得可能なＯＤＶを用いているため、超広角の単眼カメラを用いた場合と比較しても、視差の大きい横方向の有効視野を広く確保することができ、より少ないカメラ装置１１の移動距離で、より多くの物体の三次元形状を確実に復元することができる。
【００６５】
なお、本実施例についても、エピポーラ拘束線の算出に際し、第１実施例で説明したＦ行列による算出方法を用いてもよい。
【００６６】
また、前記各実施例では、センシング手段１２として、ＧＰＳ／ＩＮＳ方式を採用したが、本発明はこれに限らず、カメラ装置１１で撮像された画像を使わずに、カメラ装置１１の移動による位置変化や姿勢変化を検出できる他のセンサを採用してもよい。例えば、ＩＮＳ方式の代わりにジャイロとオドメトソを用いたデッドレコニング方式を採用することも可能である。
【００６７】
また、本発明は、カメラ装置１１が移動しながら撮像された複数画像内で同一物体の特定が必要となる他の画像処理装置（例えば、動画像を用いた画像追尾装置）に適用することも可能である。
【００６８】
その他、本発明における装置各部の構成は図示構成例に限定されるものではなく、実質的に同様の作用を奏する限りにおいて、種々の変更が可能である。
【図面の簡単な説明】
【００６９】
【図１】第１実施例に係る三次元計測装置の概略構成図。
【図２】三次元環境認識部１３での処理手順を示すフローチャート。
【図３】エピポーラ拘束線の算出方法を説明するための図。
【図４】画像マッチングを説明するための図。
【図５】Ｆ行列を使ったエピポーラ拘束線の算出方法を説明するための図。
【図６】第２実施例でのエピポーラ拘束線の算出方法を説明するための図。
【図７】（Ａ）は、ＯＤＶのドーナツ画像を示す図であり、（Ｂ）は、極座標から仮想画像面への変換方法を説明するための図。
【符号の説明】
【００７０】
１０ 三次元計測装置（画像処理装置）
１１ カメラ装置（撮像手段）
１２ センシング手段
１５ 画像マッチング手段
１６ 三次元復元手段
２１ 基準セル
２２ 比較対象セル
Ｌ エピポーラ拘束線
【特許請求の範囲】
【請求項１】
第１地点から第２地点に移動可能に設けられ、前記各地点で画像をそれぞれ取得する撮像手段と、前記各画像を用いずに前記撮像手段の位置情報及び姿勢情報を検出するセンシング手段と、当該センシング手段で検出された位置情報及び姿勢情報から、前記各画像の中で相互に同一となる部分を特定する画像マッチング手段とを備え、
前記画像マッチング手段は、前記センシング手段の検出値に基づいて、前記第２地点での画像におけるエピポーラ拘束線を求め、当該エピポーラ拘束線上の画像部分と前記第１地点の対象部分とを対比することで、各画像内の同一部分を特定することを特徴とする画像処理装置。
【請求項２】
前記センシング手段は、ＧＰＳ／ＩＮＳ方式を利用したセンサであることを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記撮像手段は、略全周の画像を同時に取得可能な全周撮像装置であることを特徴とする請求項１又は２記載の画像処理装置。
【請求項４】
前記画像マッチング手段は、前記第１地点での対象点の周りに基準セルを設け、前記エピポーラ拘束線上を動く比較対象セルと前記基準セルとの間でカラー情報によるウインドウマッチングを行うことを特徴とする請求項１、２又は３記載の画像処理装置。
【請求項５】
前記基準セル及び比較対象セルは、それらで相互に対応する複数の画素部分を含み、
前記画像マッチング手段では、対応する画素部分におけるＲＧＢ色差のうち最大値をそれぞれ選択した上で、前記各最大値の二乗和によって前記比較対象セルの誤差値を求め、当該誤差値の最も小さな比較対象セルの部分を前記基準セルと同一の部分とすることを特徴とする請求項４記載の画像処理装置。
【請求項６】
第１地点から第２地点に移動可能に設けられ、前記各地点で画像をそれぞれ取得する撮像手段と、前記各画像を用いずに前記撮像手段の位置情報及び姿勢情報を検出するセンシング手段と、当該センシング手段で検出された位置情報及び姿勢情報から、前記各画像の中で相互に同一となる部分を特定する画像マッチング手段と、前記各画像の視差を利用して、所定位置から前記同一部分までの距離を求めて三次元座標を算出する三次元復元手段とを備え、
前記画像マッチング手段は、前記センシング手段の検出値に基づいて、前記第２地点での画像におけるエピポーラ拘束線を求め、当該エピポーラ拘束線上の画像部分を前記第１地点での対象部分と対比することで、各画像内の同一部分を特定することを特徴とする三次元計測装置。
【請求項７】
第１地点から第２地点に移動して前記各地点で画像を取得する撮像手段と、前記各画像を用いずに前記撮像手段の位置情報及び姿勢情報を検出するセンシング手段とから、前記各画像の中で相互に同一となる部分を特定する画像処理装置内のプロセッサを、
前記センシング手段の検出値に基づいて、前記第２地点での画像におけるエピポーラ拘束線を求め、前記第１地点での対象点の周りに基準セルを設け、前記エピポーラ拘束線上を動く比較対象セルと前記基準セルとの間でカラー情報によるウインドウマッチングを行うことにより、各画像での同一部分を特定するように機能させることを特徴とする画像処理装置用プログラム。
【請求項１】
第１地点から第２地点に移動可能に設けられ、前記各地点で画像をそれぞれ取得する撮像手段と、前記各画像を用いずに前記撮像手段の位置情報及び姿勢情報を検出するセンシング手段と、当該センシング手段で検出された位置情報及び姿勢情報から、前記各画像の中で相互に同一となる部分を特定する画像マッチング手段とを備え、
前記画像マッチング手段は、前記センシング手段の検出値に基づいて、前記第２地点での画像におけるエピポーラ拘束線を求め、当該エピポーラ拘束線上の画像部分と前記第１地点の対象部分とを対比することで、各画像内の同一部分を特定することを特徴とする画像処理装置。
【請求項２】
前記センシング手段は、ＧＰＳ／ＩＮＳ方式を利用したセンサであることを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記撮像手段は、略全周の画像を同時に取得可能な全周撮像装置であることを特徴とする請求項１又は２記載の画像処理装置。
【請求項４】
前記画像マッチング手段は、前記第１地点での対象点の周りに基準セルを設け、前記エピポーラ拘束線上を動く比較対象セルと前記基準セルとの間でカラー情報によるウインドウマッチングを行うことを特徴とする請求項１、２又は３記載の画像処理装置。
【請求項５】
前記基準セル及び比較対象セルは、それらで相互に対応する複数の画素部分を含み、
前記画像マッチング手段では、対応する画素部分におけるＲＧＢ色差のうち最大値をそれぞれ選択した上で、前記各最大値の二乗和によって前記比較対象セルの誤差値を求め、当該誤差値の最も小さな比較対象セルの部分を前記基準セルと同一の部分とすることを特徴とする請求項４記載の画像処理装置。
【請求項６】
第１地点から第２地点に移動可能に設けられ、前記各地点で画像をそれぞれ取得する撮像手段と、前記各画像を用いずに前記撮像手段の位置情報及び姿勢情報を検出するセンシング手段と、当該センシング手段で検出された位置情報及び姿勢情報から、前記各画像の中で相互に同一となる部分を特定する画像マッチング手段と、前記各画像の視差を利用して、所定位置から前記同一部分までの距離を求めて三次元座標を算出する三次元復元手段とを備え、
前記画像マッチング手段は、前記センシング手段の検出値に基づいて、前記第２地点での画像におけるエピポーラ拘束線を求め、当該エピポーラ拘束線上の画像部分を前記第１地点での対象部分と対比することで、各画像内の同一部分を特定することを特徴とする三次元計測装置。
【請求項７】
第１地点から第２地点に移動して前記各地点で画像を取得する撮像手段と、前記各画像を用いずに前記撮像手段の位置情報及び姿勢情報を検出するセンシング手段とから、前記各画像の中で相互に同一となる部分を特定する画像処理装置内のプロセッサを、
前記センシング手段の検出値に基づいて、前記第２地点での画像におけるエピポーラ拘束線を求め、前記第１地点での対象点の周りに基準セルを設け、前記エピポーラ拘束線上を動く比較対象セルと前記基準セルとの間でカラー情報によるウインドウマッチングを行うことにより、各画像での同一部分を特定するように機能させることを特徴とする画像処理装置用プログラム。
【図１】
【図２】
【図３】
【図５】
【図６】
【図７】
【図４】
【図２】
【図３】
【図５】
【図６】
【図７】
【図４】
【公開番号】特開２００６−２３４７０３（Ｐ２００６−２３４７０３Ａ）
【公開日】平成１８年９月７日（２００６．９．７）
【国際特許分類】
【出願番号】特願２００５−５２２９９（Ｐ２００５−５２２９９）
【出願日】平成１７年２月２８日（２００５．２．２８）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り 平成１６年１１月２５日 株式会社新技術コミュニケーションズ発行の「Ｏ ｐｌｕｓ Ｅ 第２６巻 第１２号」に発表
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り ２００４年１２月１７日 社団法人計測自動制御学会発行の「第５回 社団法人計測自動制御学会 システムインテグレーション部門 講演会 ＳＩ２００４ 講演概要集」に発表
【出願人】（８９９００００６８）学校法人早稲田大学 (602)
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
【公開日】平成１８年９月７日（２００６．９．７）
【国際特許分類】
【出願日】平成１７年２月２８日（２００５．２．２８）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り 平成１６年１１月２５日 株式会社新技術コミュニケーションズ発行の「Ｏ ｐｌｕｓ Ｅ 第２６巻 第１２号」に発表
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り ２００４年１２月１７日 社団法人計測自動制御学会発行の「第５回 社団法人計測自動制御学会 システムインテグレーション部門 講演会 ＳＩ２００４ 講演概要集」に発表
【出願人】（８９９００００６８）学校法人早稲田大学 (602)
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
[ Back to top ]