３次元計測装置およびその方法
【課題】カメラの位置や特性の違いによる影響を受けずに、かつ、精度良く鏡面物体の３次元形状を測定する。
【解決手段】鏡面物体である計測対象物の３次元形状を計測する３次元計測装置であって、複数のカメラと、撮影された画像のそれぞれから計測対象物の表面の物理特徴である法線の向きを取得する特徴取得手段と、この物理特徴を用いて画像間で対応する画素を探索する対応画素探索手段と、対応する画素間の視差に基づいて３次元測量を行う測量手段と、を備える。なお、各画像における法線の向きを共通の座標系に変換する座標変換手段を有することが好適である。この座標変換のパラメータはカメラキャリブレーションの際に得られるパラメータから算出することができる。
【解決手段】鏡面物体である計測対象物の３次元形状を計測する３次元計測装置であって、複数のカメラと、撮影された画像のそれぞれから計測対象物の表面の物理特徴である法線の向きを取得する特徴取得手段と、この物理特徴を用いて画像間で対応する画素を探索する対応画素探索手段と、対応する画素間の視差に基づいて３次元測量を行う測量手段と、を備える。なお、各画像における法線の向きを共通の座標系に変換する座標変換手段を有することが好適である。この座標変換のパラメータはカメラキャリブレーションの際に得られるパラメータから算出することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、計測対象物、特に鏡面の計測対象物の３次元形状を計測する技術に関する。
【背景技術】
【０００２】
３次元計測（３角測量）は、図１２に示すように、異なる撮像角度の複数のカメラで撮影した画像から、画素の対応関係を調べ、視差を算出することで距離を計測する技術である。通常は、対応する画素を調べる際に輝度値を特徴量として用いている。
【０００３】
ここで、計測対象物が鏡面物体である場合、画像に撮影される輝度値は、物体表面そのものの特徴量を表すものではなく、周囲の物体の映り込みによって決定される。したがって、図１３に示すように、鏡面物体を２つのカメラ１０１，１０２で撮影したとき、光源Ｌ１からの発光が反射する物体表面の位置は異なる場所となる。これらの点を対応する画素として３次元測量すると、実際には図中の点Ｌ２の箇所を計測していることになり、誤差が生じてしまう。この誤差は、カメラの撮像角度の差が大きくなるほど大きくなる。また、カメラの特性の違いによる誤差も発生する。
【０００４】
カメラの位置や特性の違いによる誤差の影響を排除するために、照度差ステレオによって法線マップを求め、この法線マップから領域分割を行い、領域ごとに平均法線を用いて対応付けを行うことで３次元測量を行う技術が知られている（特許文献１）。
【特許文献１】特開昭６１−１９８０１５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記のような従来技術の場合には、下記のような問題が生じていた。
【０００６】
輝度値を特徴量として従来の３次元測量法を鏡面物体に適用した場合は、複数カメラの特性の違いやカメラ配置によって撮像画像の輝度値に影響を及ぼすため、画素対応付けに誤差をもたらしてしまう。測定対象の表面が鏡面の場合には、この影響が大きくなる。
【０００７】
特許文献１に記載の方法では、法線という測定対象に固有な情報に着目しているため、カメラの配置や特性の違いによる誤差を少なくすることができるが、領域分割を行うことによる誤差が生じる。特に、球などの滑らかな連続面を有する測定対象に対しては、領域分割によって面分解能が粗く、角張った３次元形状としてしか計測することができない。また、対応付けをとる際に、カメラの輻輳角を小さくし、複数カメラ間で同一の座標系を有するものとみなしているので、輻輳角を大きくすると法線座標系の相違により対応付けの精度が低下してしまう。
【０００８】
本発明は上記実情に鑑みてなされたものであって、その目的とするところは、カメラの位置や特性の違いによる影響を受けず、かつ、精度良く鏡面物体の３次元形状を測定可能な技術を提供することにある。
【課題を解決するための手段】
【０００９】
上記目的を達成するために本発明に係る３次元計測装置は、鏡面物体である計測対象物の３次元形状を計測する３次元計測装置であって、複数のカメラと、前記複数のカメラによって撮影された画像のそれぞれから、前記計測対象物の表面の物理特徴を取得する特徴取得手段と、前記物理特徴を用いて、前記複数のカメラによって撮影された画像間で対応する画素を探索する対応画素探索手段と、対応する画素間の視差に基づいて、３次元測量
を行う測量手段と、を備えることを特徴とする。
【００１０】
鏡面物体の表面に映り込む輝度情報を利用して画素対応をとるときに誤差が生じるのは、輝度情報が鏡面物体の表面そのものの特徴ではなく、周囲の照明などの条件によって変化する情報だからである。そこで、本発明では、鏡面物体の表面の物理特徴を取得し、この特徴を利用して画素対応をとることで、カメラの位置や姿勢による影響を受けずに、高精度なマッチングを可能とし、したがって、計測対象物の３次元形状を精度良く測定することが可能となる。
【００１１】
上記のような、計測対象物の表面の物理特徴として、表面の法線の向きを利用することが好ましい。また、法線以外にも、計測対象物表面の分光特性や反射特性を利用しても良い。これらの物理特徴は、いずれも計測対象物に固有の情報であるため、カメラの位置や姿勢による影響を受けない。
【００１２】
本発明において、複数のカメラによって撮影される画像の座標系を、変換パラメータを用いて共通の座標系に変換する座標変換手段をさらに有することが好適である。この場合、前記対応画素探索手段は、座標変換手段によって共通の座標系に変換された法線の向きを利用して、画像間で対応する画素を探索する。
【００１３】
複数の撮影画像間で座標系を統一する座標変換処理を施してからマッチングを行うことで、カメラ間の輻輳角を大きくしてもマッチングの精度が低下しない。したがって、カメラの配置をより柔軟に決定することが可能となる。
【００１４】
なお、上記の座標変換手段における変換パラメータは、あらかじめ行われたカメラキャリブレーション（較正）によって得られたパラメータから抽出することが好適である。
【００１５】
また、本発明における対応画素探索手段は、着目する画素を含む所定の広さの領域における物理特徴を比較して、画像間で対応する画素を探索することが好ましい。周囲の物理特徴まで含めて比較を行うことで、より精度の良いマッチングを行うことが可能となる。
【００１６】
なお、本発明は、上記手段の少なくとも一部を有する３次元計測装置として捉えることができる。また、本発明は、上記処理の少なくとも一部を含む３次元計測方法、または、かかる方法を実現するためのプログラムとして捉えることもできる。上記手段および処理の各々は可能な限り互いに組み合わせて本発明を構成することができる。
【発明の効果】
【００１７】
本発明によれば、カメラの位置や特性の違いによる影響を受けず、かつ、精度良く鏡面物体の３次元形状を測定することが可能となる。
【発明を実施するための最良の形態】
【００１８】
以下に図面を参照して、この発明の好適な実施の形態を例示的に詳しく説明する。
【００１９】
（第１の実施形態）
〈全体概要〉
図１は本実施形態に係る３次元計測装置の概要を示す図である。図２は、本実施形態に係る３次元計測装置の機能ブロックを示す図である。図１に示すように、ステージ５に配置された計測対象物４を、２つのカメラ１，２によって撮影する。計測対象物４には、異なる方向から３つの照明装置３ａ〜ｃによって白色光が照射されており、これらの照明装置３ａ〜ｃを順次照射して、カメラ１，２はそれぞれ３枚の画像を撮影する。撮影された画像はコンピュータ６に取り込まれ、画像処理されて３次元計測が行われる。
【００２０】
コンピュータ６は、ＣＰＵがプログラムを実行することで、図２に示すように、表面形状算出部７、座標変換部８、対応点算出部９および三角測量部１０として機能する。なお、これらの各機能部の一部または全部は、専用のハードウェアによって実現されても構わない。
【００２１】
〈構成〉
［カメラ配置］
図３は、カメラの配置を説明する図である。図３に示すように、カメラ１は鉛直方向から計測対象物４を撮影し、カメラ２は鉛直方向から４０度ずれた方向から計測対象物４を撮影する。
【００２２】
［照明配置］
図４は、照明装置３ａ〜３ｃの配置を説明する図である。図４（Ａ）は、鉛直方向から見た図であり、照明装置３ａ〜３ｃの方位角配置を示す図である。図４（Ｂ）は横方向から見た図であり、照明装置３ａ〜３ｃの天頂角配置を示す図である。図に示すように、３つの照明装置３ａ〜３ｃは、方位角が互いに１２０度ずつ異なる方向から、また、天頂角が４０度の方向から、計測対象物に光を照射する。
【００２３】
なお、ここで説明したカメラ１，２および照明装置３ａ〜３ｃの配置は、一具体例にすぎず、必ずしもこのような配置にする必要はない。例えば、照明装置の方位角を均等にしなくても良い。また、カメラと照明装置の天頂角を同じにしているが、異ならせても構わない。
【００２４】
［表面形状（法線）算出］
表面形状算出部７は、カメラ１，２によって撮影されたそれぞれ３枚の画像から、計測対象物の各位置における法線の向きを算出する機能部である。表面形状算出部７の、より詳細な機能ブロック図を図５に示す。図に示すように、表面形状算出部７は、画像入力部７１，法線−輝度テーブル７２および法線算出部７３を有する。
【００２５】
画像入力部７１は、カメラ１，２が撮影した画像の入力を受け付ける機能部である。画像入力部７１は、カメラ１，２からアナログデータを受信する場合にはキャプチャボードなどによってデジタルデータに変換する。また、画像入力部７１は、ＵＳＢ端子やＩＥＥＥ１３９４端子などによってデジタルデータの画像を受信しても良い。この他にも、ＬＡＮケーブルを介したり、ポータブルな記憶媒体から画像を読み込むような構成を採用しても構わない。
【００２６】
法線−輝度テーブル７２は、法線の向きと、３つの照明装置３ａ〜３ｃを順次点灯し撮影した画像における輝度値との対応関係を記憶している記憶部である。なお、この法線−輝度テーブル７２は、カメラごとに用意されるものであり、本実施形態ではカメラ１，２に対応して２つの法線−輝度テーブルが用いられる。
【００２７】
この法線−輝度テーブル７２の作成方法を、図６を参照して説明する。まず、表面形状が既知の物体を対象として、照明装置３ａ〜３ｃを順次点灯して３枚の画像１０ａ〜１０ｃを撮影する。このとき、球体はあらゆる方向の法線を有していることと、各位置における法線の向きを計算によって容易に算出することができるので、球体を対象とすることが好適である。また、法線−輝度テーブルを作成するために使用する対象と実際に法線を算出する計測対象の反射特性が、同一かつ一定であることが必要である。
【００２８】
そして、テーブル作成用画像１０ａ〜１０ｃの各位置について、法線の向き（天頂角θ
と方位角φ）と、各画像での輝度値（Ｌａ，Ｌｂ，Ｌｃ）とを取得し、これらを対応付けて記憶する。撮影画像中の全ての点で法線の向きと輝度値の組み合わせを対応付けることで、全ての法線の向きについて法線の向きと輝度値の組み合わせを記憶した法線−輝度テーブル７２が作成できる。
【００２９】
法線算出部７３は、図７に示すように、照明装置３ａ〜３ｃを順次点灯して撮影された３枚の画像１１ａ〜１１ｃから、計測対象物４の各位置における法線の向きを算出する。より具体的には、法線算出部７３は、入力された３枚の画像１１ａ〜１１ｃから各位置における輝度値の組み合わせを取得し、画像を撮影したカメラに対応する法線−輝度テーブル７２を参照して、その位置における法線の向きを決定する。
【００３０】
［座標変換処理］
座標変換部８は、座標変換処理によってカメラ１，２によって撮影された画像から算出された法線の向きを、統一された座標系で表す。カメラ１，２によって撮影された画像から取得された法線の向きは、それぞれのカメラ座標系で表されているので、そのままで比較すると誤差が生じる。特に、カメラの撮像方向の違いが大きいとこの誤差が大きくなる。
【００３１】
本実施形態では、斜め上方から撮影するカメラ２の画像から取得された法線の向きを、カメラ１の座標系に変換することで、座標系の統一を行う。ただし、カメラ１の画像から取得された法線の向きをカメラ２の座標系に変換して座標系を統一しても良いし、カメラ１，２の画像から取得された法線の向きを別の座標系に変換することで座標系を統一しても良い。
【００３２】
本実施形態でのカメラモデルを正射影としたとき、図８に示すように、ワールド座標系（Ｘ，Ｙ，Ｚ）をカメラ１の座標系（ｘａ，ｙａ，ｚａ）に変換する回転行列をＲ１、ワールド座標系（Ｘ，Ｙ，Ｚ）をカメラの２の座標系（ｘｂ，ｙｂ，ｚｂ）に変換する回転行列をＲ２とすると、カメラ２の座標系をカメラ１の座標系に変換する回転行列Ｒ２１はＲ２１＝Ｒ２−１・Ｒ１となる。
【００３３】
また、あらかじめ行われるカメラキャリブレーションにおいて、次のようなキャリブレーションパラメータが得られる。
【００３４】
【数１】
なお、ｘ１，ｙ１はカメラ１の撮影画像内における座標、ｘ２，ｙ２はカメラ２の撮影画像内における座標を表す。
【００３５】
一般に、回転行列Ｒは、次のように表される。
【００３６】
【数２】
【００３７】
数式１における、ｐａ１１，ｐａ１２，ｐａ１３，ｐａ２１，ｐａ２２，ｐａ２３は、回転行列Ｒ１における、Ｒ１＿１１，Ｒ１＿１２，Ｒ１＿１３，Ｒ１＿２１，Ｒ１＿２２，Ｒ１＿２３にそれぞれ等しいので、連立方程式を解くことでカメラの回転角度α、β、γを求めることができ、したがって回転行列Ｒ１を得ることができる。カメラ２についても同様に、回転行列Ｒ２を得ることができる。そして、カメラ２の座標系をカメラ１の座標系に変換する回転行列Ｒ２１をＲ２−１・Ｒ１によって求めることができる。
【００３８】
［対応点探索処理］
対応点算出部９は、座標系が統一された２つの法線画像から、対応する画素を算出する。この処理は、カメラ１の法線画像内の着目画素における法線と同じ向きの法線を、カメラ２の法線画像中から求めることで行われる。対応点算出部９が行う処理を、図９のフローチャートを参照しながら説明する。
【００３９】
まず、対応点算出部９は、座標系が統一された２つの法線画像Ａ，Ｂを取得する（Ｓ１）。ここで、カメラ１の画像から取得された法線画像Ａは、表面形状算出部７から得られたものをそのまま利用し、カメラ２の画像から得られた法線画像Ｂについては、座標変換部８でカメラ１の座標系に変換されたものを利用する。
【００４０】
次に、一方の法線画像（ここでは法線画像Ａとする）内の任意の画素を注目点（注目画素）として選択する（Ｓ２）。そして、他方の法線画像（ここでは法線画像Ｂ）のエピポーラライン上から、対比点を選択する（Ｓ３）。
【００４１】
そして、類似度評価関数によって、法線画像Ａの注目点と、法線画像Ｂの対比点との間の類似度を算出する（Ｓ４）。ここで、１点における法線の向きを比較すると誤判定が生じるおそれがあるので、注目点および対比点の周囲の画素における法線の向きも利用して類似度を算出する。図１０（Ａ）に、類似度の算出に利用される探索ウィンドウの例を示す。ここでは、注目点を中心に５画素×５画素の領域を探索ウィンドウとしている。
【００４２】
注目点と対比点との類似度は、この探索ウィンドウ内全体での法線の向きの一致率に基づいて算出する。より具体的には、以下の式により、探索ウィンドウ内の各点において法線画像Ａ，Ｂ間で法線ベクトルの内積を算出し、その和に基づいて類似度を算出する（図１０（Ｂ）参照）。
【００４３】
【数３】
【００４４】
対応点はエピポーラライン上にあるので、この類似度の算出は、エピポーラライン上の画素について実行される。したがって、１つの点について類似度を算出した後、エピポーラライン上の全ての点について類似度算出処理を実行したか判定し、まだ類似度を算出していない点があれば、ステップＳ３に戻って類似度算出を行う（Ｓ５）。
【００４５】
エピポーラライン上の全ての点について類似度を算出したら、その中から最も類似度が高い点を求め、その点を法線画像Ａの注目点に対応する法線画像Ｂにおける対応点と判断する（Ｓ６）。
【００４６】
上記の処理は、３角測量をおこなう法線画像Ａの点全てについて行うので、全ての点について処理済みであるか判定し、まだ処理をしていない点があれば、ステップＳ２に戻ってその点に対応する対応点を探索する（Ｓ７）。
【００４７】
［三角測量］
以上のようにして、２つの画像における対応点が求められたら、三角測量部１０によって計測対象物４の各位置について、奥行き情報（距離）を算出する。この処理は公知の技術であるので詳しい説明は省略する。
【００４８】
〈実施形態の作用・効果〉
本実施形態に係る３次元計測装置では、計測対象物の物理特徴である法線の向きを利用して、２つの画像間での対応点を探索しているので、カメラの特性や配置の違いによる影響を受けずに３次元計測が可能となる。従来のような物理表面の色（輝度値）に基づく対応点探索処理では対象表面が鏡面である場合には誤差が大きくなり、精度の良い３次元計測が困難であるが、本実施形態による方法を使えば鏡面物体であっても精度良く３次元計測を行うことが可能となる。
【００４９】
また、複数のカメラ間で異なる座標系を、カメラキャリブレーションで得られたキャリブレーションパラメータから抽出された変換パラメータを利用して共通座標系に変換してから対応点を探索するため、カメラの輻輳角を大きくしても対応付けの精度が低下せず、精度の良い３次元測定が可能となる。
【００５０】
（変形例１）
上記の実施形態では、カメラ２の撮影画像から法線−輝度テーブルを参照して法線の向きを算出した後、座標変換によって法線画像の座標系をカメラ１の座標系に合わせる処理を実行している。しかしながら、最終的に座標系の統一が取れればその他の方法によっても構わない。例えば、カメラ２に対応する法線−輝度テーブルに格納される法線のデータに対して、カメラ２の座標系をカメラ１の座標系に合わせる変換処理を施しても良い。このようにすれば、カメラ２の画像に対する表面形状算出部７による法線の向きの算出結果が、カメラ１の座標系で表されたものとなる。
【００５１】
（変形例２）
上記の実施形態では、白色光を照射する３つの照明装置３ａ〜３ｃを利用し、これらを順次点灯して画像を撮影し、３枚の画像から法線の向きを算出している。しかしながら、画像を撮影して法線の向きを取得する方法であれば、任意の方法を採用することができる
。例えば、３つの照明装置の発光色をそれぞれＲ，Ｇ，Ｂの３色とし、これらを同時に照射して、各成分光の強度を取得することで、１回の撮影のみで上記と同様の効果を得ることができる。
【００５２】
（第２の実施形態）
第１の実施形態では、計測対象表面の物理特徴として法線の向きを利用したが、本実施形態では対象の分光特性を利用して、ステレオ画像間の対応点を探索する。
【００５３】
計測対象表面の分光特性を計測するためには、分光特性の異なる光源を同じ位置から計測対象に逐次照射する。これは例えば、図１１に示すように、白色光源の前に場所（角度）によって分光特性が異なるカラーフィルタを設け、このフィルタを回転することで実現できる。このような照明装置を利用してカラーカメラで対象を観測し、最も値が高くなる輝度値を計測することで画素ごとの簡易的な分光特性を算出することができる。
【００５４】
そして、複数のカメラで得られた画素ごとの分光特性マップを用いて対応付けを行う。以降の処理は第１の実施形態と同様である。
【００５５】
（第３の実施形態）
本実施形態では、計測対象表面の物理特徴として反射特性を利用して、ステレオ画像間の対応点を探索する。
【００５６】
計測対象表面の反射特性を計測するためには、異なる方向から光を照射する複数の光源を配置し、これらの光源を順次点灯しながらカメラで撮影を行う。また、第１の実施形態と同様に、球体など形状が既知であり、かつ、反射特性も既知であるサンプルを用意する。ここでは、反射特性が異なる複数のサンプルを利用し、それぞれのサンプルに対して各光源下での輝度値を事例データとして保有する。
【００５７】
計測対象に対しても同様に、複数の光源を順次点灯し、各光源下における輝度値の組み合わせを取得する。この輝度値の組み合わせて、事例データとし比較して画素ごとに該当する反射特性を算出する。
【００５８】
複数のカメラで得られた画素ごとの反射特性マップを用いて、これら複数のカメラで撮影された画像間における画素の対応付けを行う。以降の処理は、第１の実施形態と同様である。
【図面の簡単な説明】
【００５９】
【図１】図１は、３次元計測装置の概要を示す図である。
【図２】図２は、３次元計測装置の機能ブロックを示す図である。
【図３】図３は、カメラの配置を説明する図である。
【図４】図４は、照明装置の配置（（Ａ）は方位角配置、（Ｂ）は天頂角配置）を説明する図である。
【図５】図５は、表面形状算出部の機能ブロック図を示す図である。
【図６】図６は、法線−輝度テーブルを作成する方法を説明する図である。
【図７】図７は、撮影された画像から法線の向きを取得する方法を説明する図である。
【図８】図８は、ワールド座標系と各カメラの座標系の間を変換する変換行列について説明する図である。
【図９】図９は、対応点算出部による対応点探索処理の流れを示すフローチャートである。
【図１０】図１０は、対応点探索のための探索ウィンドウおよび類似度算出について説明する図である。
【図１１】図１１は、第２の実施形態における照明装置を説明する図である。
【図１２】図１２は、３次元測量の原理を示す図である。
【図１３】図１３は、鏡面物体に対して３次元測量を行う場合を説明する図である。
【符号の説明】
【００６０】
１，２ カメラ
３ａ，３ｂ，３ｃ 照明装置
４ 計測対象物
６ コンピュータ
７ 表面形状算出部
７１ 画像入力部
７２ 法線−輝度テーブル
７３ 法線算出部
８ 座標変換部
９ 対応点算出部
１０ 三角測量部
【技術分野】
【０００１】
本発明は、計測対象物、特に鏡面の計測対象物の３次元形状を計測する技術に関する。
【背景技術】
【０００２】
３次元計測（３角測量）は、図１２に示すように、異なる撮像角度の複数のカメラで撮影した画像から、画素の対応関係を調べ、視差を算出することで距離を計測する技術である。通常は、対応する画素を調べる際に輝度値を特徴量として用いている。
【０００３】
ここで、計測対象物が鏡面物体である場合、画像に撮影される輝度値は、物体表面そのものの特徴量を表すものではなく、周囲の物体の映り込みによって決定される。したがって、図１３に示すように、鏡面物体を２つのカメラ１０１，１０２で撮影したとき、光源Ｌ１からの発光が反射する物体表面の位置は異なる場所となる。これらの点を対応する画素として３次元測量すると、実際には図中の点Ｌ２の箇所を計測していることになり、誤差が生じてしまう。この誤差は、カメラの撮像角度の差が大きくなるほど大きくなる。また、カメラの特性の違いによる誤差も発生する。
【０００４】
カメラの位置や特性の違いによる誤差の影響を排除するために、照度差ステレオによって法線マップを求め、この法線マップから領域分割を行い、領域ごとに平均法線を用いて対応付けを行うことで３次元測量を行う技術が知られている（特許文献１）。
【特許文献１】特開昭６１−１９８０１５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記のような従来技術の場合には、下記のような問題が生じていた。
【０００６】
輝度値を特徴量として従来の３次元測量法を鏡面物体に適用した場合は、複数カメラの特性の違いやカメラ配置によって撮像画像の輝度値に影響を及ぼすため、画素対応付けに誤差をもたらしてしまう。測定対象の表面が鏡面の場合には、この影響が大きくなる。
【０００７】
特許文献１に記載の方法では、法線という測定対象に固有な情報に着目しているため、カメラの配置や特性の違いによる誤差を少なくすることができるが、領域分割を行うことによる誤差が生じる。特に、球などの滑らかな連続面を有する測定対象に対しては、領域分割によって面分解能が粗く、角張った３次元形状としてしか計測することができない。また、対応付けをとる際に、カメラの輻輳角を小さくし、複数カメラ間で同一の座標系を有するものとみなしているので、輻輳角を大きくすると法線座標系の相違により対応付けの精度が低下してしまう。
【０００８】
本発明は上記実情に鑑みてなされたものであって、その目的とするところは、カメラの位置や特性の違いによる影響を受けず、かつ、精度良く鏡面物体の３次元形状を測定可能な技術を提供することにある。
【課題を解決するための手段】
【０００９】
上記目的を達成するために本発明に係る３次元計測装置は、鏡面物体である計測対象物の３次元形状を計測する３次元計測装置であって、複数のカメラと、前記複数のカメラによって撮影された画像のそれぞれから、前記計測対象物の表面の物理特徴を取得する特徴取得手段と、前記物理特徴を用いて、前記複数のカメラによって撮影された画像間で対応する画素を探索する対応画素探索手段と、対応する画素間の視差に基づいて、３次元測量
を行う測量手段と、を備えることを特徴とする。
【００１０】
鏡面物体の表面に映り込む輝度情報を利用して画素対応をとるときに誤差が生じるのは、輝度情報が鏡面物体の表面そのものの特徴ではなく、周囲の照明などの条件によって変化する情報だからである。そこで、本発明では、鏡面物体の表面の物理特徴を取得し、この特徴を利用して画素対応をとることで、カメラの位置や姿勢による影響を受けずに、高精度なマッチングを可能とし、したがって、計測対象物の３次元形状を精度良く測定することが可能となる。
【００１１】
上記のような、計測対象物の表面の物理特徴として、表面の法線の向きを利用することが好ましい。また、法線以外にも、計測対象物表面の分光特性や反射特性を利用しても良い。これらの物理特徴は、いずれも計測対象物に固有の情報であるため、カメラの位置や姿勢による影響を受けない。
【００１２】
本発明において、複数のカメラによって撮影される画像の座標系を、変換パラメータを用いて共通の座標系に変換する座標変換手段をさらに有することが好適である。この場合、前記対応画素探索手段は、座標変換手段によって共通の座標系に変換された法線の向きを利用して、画像間で対応する画素を探索する。
【００１３】
複数の撮影画像間で座標系を統一する座標変換処理を施してからマッチングを行うことで、カメラ間の輻輳角を大きくしてもマッチングの精度が低下しない。したがって、カメラの配置をより柔軟に決定することが可能となる。
【００１４】
なお、上記の座標変換手段における変換パラメータは、あらかじめ行われたカメラキャリブレーション（較正）によって得られたパラメータから抽出することが好適である。
【００１５】
また、本発明における対応画素探索手段は、着目する画素を含む所定の広さの領域における物理特徴を比較して、画像間で対応する画素を探索することが好ましい。周囲の物理特徴まで含めて比較を行うことで、より精度の良いマッチングを行うことが可能となる。
【００１６】
なお、本発明は、上記手段の少なくとも一部を有する３次元計測装置として捉えることができる。また、本発明は、上記処理の少なくとも一部を含む３次元計測方法、または、かかる方法を実現するためのプログラムとして捉えることもできる。上記手段および処理の各々は可能な限り互いに組み合わせて本発明を構成することができる。
【発明の効果】
【００１７】
本発明によれば、カメラの位置や特性の違いによる影響を受けず、かつ、精度良く鏡面物体の３次元形状を測定することが可能となる。
【発明を実施するための最良の形態】
【００１８】
以下に図面を参照して、この発明の好適な実施の形態を例示的に詳しく説明する。
【００１９】
（第１の実施形態）
〈全体概要〉
図１は本実施形態に係る３次元計測装置の概要を示す図である。図２は、本実施形態に係る３次元計測装置の機能ブロックを示す図である。図１に示すように、ステージ５に配置された計測対象物４を、２つのカメラ１，２によって撮影する。計測対象物４には、異なる方向から３つの照明装置３ａ〜ｃによって白色光が照射されており、これらの照明装置３ａ〜ｃを順次照射して、カメラ１，２はそれぞれ３枚の画像を撮影する。撮影された画像はコンピュータ６に取り込まれ、画像処理されて３次元計測が行われる。
【００２０】
コンピュータ６は、ＣＰＵがプログラムを実行することで、図２に示すように、表面形状算出部７、座標変換部８、対応点算出部９および三角測量部１０として機能する。なお、これらの各機能部の一部または全部は、専用のハードウェアによって実現されても構わない。
【００２１】
〈構成〉
［カメラ配置］
図３は、カメラの配置を説明する図である。図３に示すように、カメラ１は鉛直方向から計測対象物４を撮影し、カメラ２は鉛直方向から４０度ずれた方向から計測対象物４を撮影する。
【００２２】
［照明配置］
図４は、照明装置３ａ〜３ｃの配置を説明する図である。図４（Ａ）は、鉛直方向から見た図であり、照明装置３ａ〜３ｃの方位角配置を示す図である。図４（Ｂ）は横方向から見た図であり、照明装置３ａ〜３ｃの天頂角配置を示す図である。図に示すように、３つの照明装置３ａ〜３ｃは、方位角が互いに１２０度ずつ異なる方向から、また、天頂角が４０度の方向から、計測対象物に光を照射する。
【００２３】
なお、ここで説明したカメラ１，２および照明装置３ａ〜３ｃの配置は、一具体例にすぎず、必ずしもこのような配置にする必要はない。例えば、照明装置の方位角を均等にしなくても良い。また、カメラと照明装置の天頂角を同じにしているが、異ならせても構わない。
【００２４】
［表面形状（法線）算出］
表面形状算出部７は、カメラ１，２によって撮影されたそれぞれ３枚の画像から、計測対象物の各位置における法線の向きを算出する機能部である。表面形状算出部７の、より詳細な機能ブロック図を図５に示す。図に示すように、表面形状算出部７は、画像入力部７１，法線−輝度テーブル７２および法線算出部７３を有する。
【００２５】
画像入力部７１は、カメラ１，２が撮影した画像の入力を受け付ける機能部である。画像入力部７１は、カメラ１，２からアナログデータを受信する場合にはキャプチャボードなどによってデジタルデータに変換する。また、画像入力部７１は、ＵＳＢ端子やＩＥＥＥ１３９４端子などによってデジタルデータの画像を受信しても良い。この他にも、ＬＡＮケーブルを介したり、ポータブルな記憶媒体から画像を読み込むような構成を採用しても構わない。
【００２６】
法線−輝度テーブル７２は、法線の向きと、３つの照明装置３ａ〜３ｃを順次点灯し撮影した画像における輝度値との対応関係を記憶している記憶部である。なお、この法線−輝度テーブル７２は、カメラごとに用意されるものであり、本実施形態ではカメラ１，２に対応して２つの法線−輝度テーブルが用いられる。
【００２７】
この法線−輝度テーブル７２の作成方法を、図６を参照して説明する。まず、表面形状が既知の物体を対象として、照明装置３ａ〜３ｃを順次点灯して３枚の画像１０ａ〜１０ｃを撮影する。このとき、球体はあらゆる方向の法線を有していることと、各位置における法線の向きを計算によって容易に算出することができるので、球体を対象とすることが好適である。また、法線−輝度テーブルを作成するために使用する対象と実際に法線を算出する計測対象の反射特性が、同一かつ一定であることが必要である。
【００２８】
そして、テーブル作成用画像１０ａ〜１０ｃの各位置について、法線の向き（天頂角θ
と方位角φ）と、各画像での輝度値（Ｌａ，Ｌｂ，Ｌｃ）とを取得し、これらを対応付けて記憶する。撮影画像中の全ての点で法線の向きと輝度値の組み合わせを対応付けることで、全ての法線の向きについて法線の向きと輝度値の組み合わせを記憶した法線−輝度テーブル７２が作成できる。
【００２９】
法線算出部７３は、図７に示すように、照明装置３ａ〜３ｃを順次点灯して撮影された３枚の画像１１ａ〜１１ｃから、計測対象物４の各位置における法線の向きを算出する。より具体的には、法線算出部７３は、入力された３枚の画像１１ａ〜１１ｃから各位置における輝度値の組み合わせを取得し、画像を撮影したカメラに対応する法線−輝度テーブル７２を参照して、その位置における法線の向きを決定する。
【００３０】
［座標変換処理］
座標変換部８は、座標変換処理によってカメラ１，２によって撮影された画像から算出された法線の向きを、統一された座標系で表す。カメラ１，２によって撮影された画像から取得された法線の向きは、それぞれのカメラ座標系で表されているので、そのままで比較すると誤差が生じる。特に、カメラの撮像方向の違いが大きいとこの誤差が大きくなる。
【００３１】
本実施形態では、斜め上方から撮影するカメラ２の画像から取得された法線の向きを、カメラ１の座標系に変換することで、座標系の統一を行う。ただし、カメラ１の画像から取得された法線の向きをカメラ２の座標系に変換して座標系を統一しても良いし、カメラ１，２の画像から取得された法線の向きを別の座標系に変換することで座標系を統一しても良い。
【００３２】
本実施形態でのカメラモデルを正射影としたとき、図８に示すように、ワールド座標系（Ｘ，Ｙ，Ｚ）をカメラ１の座標系（ｘａ，ｙａ，ｚａ）に変換する回転行列をＲ１、ワールド座標系（Ｘ，Ｙ，Ｚ）をカメラの２の座標系（ｘｂ，ｙｂ，ｚｂ）に変換する回転行列をＲ２とすると、カメラ２の座標系をカメラ１の座標系に変換する回転行列Ｒ２１はＲ２１＝Ｒ２−１・Ｒ１となる。
【００３３】
また、あらかじめ行われるカメラキャリブレーションにおいて、次のようなキャリブレーションパラメータが得られる。
【００３４】
【数１】
なお、ｘ１，ｙ１はカメラ１の撮影画像内における座標、ｘ２，ｙ２はカメラ２の撮影画像内における座標を表す。
【００３５】
一般に、回転行列Ｒは、次のように表される。
【００３６】
【数２】
【００３７】
数式１における、ｐａ１１，ｐａ１２，ｐａ１３，ｐａ２１，ｐａ２２，ｐａ２３は、回転行列Ｒ１における、Ｒ１＿１１，Ｒ１＿１２，Ｒ１＿１３，Ｒ１＿２１，Ｒ１＿２２，Ｒ１＿２３にそれぞれ等しいので、連立方程式を解くことでカメラの回転角度α、β、γを求めることができ、したがって回転行列Ｒ１を得ることができる。カメラ２についても同様に、回転行列Ｒ２を得ることができる。そして、カメラ２の座標系をカメラ１の座標系に変換する回転行列Ｒ２１をＲ２−１・Ｒ１によって求めることができる。
【００３８】
［対応点探索処理］
対応点算出部９は、座標系が統一された２つの法線画像から、対応する画素を算出する。この処理は、カメラ１の法線画像内の着目画素における法線と同じ向きの法線を、カメラ２の法線画像中から求めることで行われる。対応点算出部９が行う処理を、図９のフローチャートを参照しながら説明する。
【００３９】
まず、対応点算出部９は、座標系が統一された２つの法線画像Ａ，Ｂを取得する（Ｓ１）。ここで、カメラ１の画像から取得された法線画像Ａは、表面形状算出部７から得られたものをそのまま利用し、カメラ２の画像から得られた法線画像Ｂについては、座標変換部８でカメラ１の座標系に変換されたものを利用する。
【００４０】
次に、一方の法線画像（ここでは法線画像Ａとする）内の任意の画素を注目点（注目画素）として選択する（Ｓ２）。そして、他方の法線画像（ここでは法線画像Ｂ）のエピポーラライン上から、対比点を選択する（Ｓ３）。
【００４１】
そして、類似度評価関数によって、法線画像Ａの注目点と、法線画像Ｂの対比点との間の類似度を算出する（Ｓ４）。ここで、１点における法線の向きを比較すると誤判定が生じるおそれがあるので、注目点および対比点の周囲の画素における法線の向きも利用して類似度を算出する。図１０（Ａ）に、類似度の算出に利用される探索ウィンドウの例を示す。ここでは、注目点を中心に５画素×５画素の領域を探索ウィンドウとしている。
【００４２】
注目点と対比点との類似度は、この探索ウィンドウ内全体での法線の向きの一致率に基づいて算出する。より具体的には、以下の式により、探索ウィンドウ内の各点において法線画像Ａ，Ｂ間で法線ベクトルの内積を算出し、その和に基づいて類似度を算出する（図１０（Ｂ）参照）。
【００４３】
【数３】
【００４４】
対応点はエピポーラライン上にあるので、この類似度の算出は、エピポーラライン上の画素について実行される。したがって、１つの点について類似度を算出した後、エピポーラライン上の全ての点について類似度算出処理を実行したか判定し、まだ類似度を算出していない点があれば、ステップＳ３に戻って類似度算出を行う（Ｓ５）。
【００４５】
エピポーラライン上の全ての点について類似度を算出したら、その中から最も類似度が高い点を求め、その点を法線画像Ａの注目点に対応する法線画像Ｂにおける対応点と判断する（Ｓ６）。
【００４６】
上記の処理は、３角測量をおこなう法線画像Ａの点全てについて行うので、全ての点について処理済みであるか判定し、まだ処理をしていない点があれば、ステップＳ２に戻ってその点に対応する対応点を探索する（Ｓ７）。
【００４７】
［三角測量］
以上のようにして、２つの画像における対応点が求められたら、三角測量部１０によって計測対象物４の各位置について、奥行き情報（距離）を算出する。この処理は公知の技術であるので詳しい説明は省略する。
【００４８】
〈実施形態の作用・効果〉
本実施形態に係る３次元計測装置では、計測対象物の物理特徴である法線の向きを利用して、２つの画像間での対応点を探索しているので、カメラの特性や配置の違いによる影響を受けずに３次元計測が可能となる。従来のような物理表面の色（輝度値）に基づく対応点探索処理では対象表面が鏡面である場合には誤差が大きくなり、精度の良い３次元計測が困難であるが、本実施形態による方法を使えば鏡面物体であっても精度良く３次元計測を行うことが可能となる。
【００４９】
また、複数のカメラ間で異なる座標系を、カメラキャリブレーションで得られたキャリブレーションパラメータから抽出された変換パラメータを利用して共通座標系に変換してから対応点を探索するため、カメラの輻輳角を大きくしても対応付けの精度が低下せず、精度の良い３次元測定が可能となる。
【００５０】
（変形例１）
上記の実施形態では、カメラ２の撮影画像から法線−輝度テーブルを参照して法線の向きを算出した後、座標変換によって法線画像の座標系をカメラ１の座標系に合わせる処理を実行している。しかしながら、最終的に座標系の統一が取れればその他の方法によっても構わない。例えば、カメラ２に対応する法線−輝度テーブルに格納される法線のデータに対して、カメラ２の座標系をカメラ１の座標系に合わせる変換処理を施しても良い。このようにすれば、カメラ２の画像に対する表面形状算出部７による法線の向きの算出結果が、カメラ１の座標系で表されたものとなる。
【００５１】
（変形例２）
上記の実施形態では、白色光を照射する３つの照明装置３ａ〜３ｃを利用し、これらを順次点灯して画像を撮影し、３枚の画像から法線の向きを算出している。しかしながら、画像を撮影して法線の向きを取得する方法であれば、任意の方法を採用することができる
。例えば、３つの照明装置の発光色をそれぞれＲ，Ｇ，Ｂの３色とし、これらを同時に照射して、各成分光の強度を取得することで、１回の撮影のみで上記と同様の効果を得ることができる。
【００５２】
（第２の実施形態）
第１の実施形態では、計測対象表面の物理特徴として法線の向きを利用したが、本実施形態では対象の分光特性を利用して、ステレオ画像間の対応点を探索する。
【００５３】
計測対象表面の分光特性を計測するためには、分光特性の異なる光源を同じ位置から計測対象に逐次照射する。これは例えば、図１１に示すように、白色光源の前に場所（角度）によって分光特性が異なるカラーフィルタを設け、このフィルタを回転することで実現できる。このような照明装置を利用してカラーカメラで対象を観測し、最も値が高くなる輝度値を計測することで画素ごとの簡易的な分光特性を算出することができる。
【００５４】
そして、複数のカメラで得られた画素ごとの分光特性マップを用いて対応付けを行う。以降の処理は第１の実施形態と同様である。
【００５５】
（第３の実施形態）
本実施形態では、計測対象表面の物理特徴として反射特性を利用して、ステレオ画像間の対応点を探索する。
【００５６】
計測対象表面の反射特性を計測するためには、異なる方向から光を照射する複数の光源を配置し、これらの光源を順次点灯しながらカメラで撮影を行う。また、第１の実施形態と同様に、球体など形状が既知であり、かつ、反射特性も既知であるサンプルを用意する。ここでは、反射特性が異なる複数のサンプルを利用し、それぞれのサンプルに対して各光源下での輝度値を事例データとして保有する。
【００５７】
計測対象に対しても同様に、複数の光源を順次点灯し、各光源下における輝度値の組み合わせを取得する。この輝度値の組み合わせて、事例データとし比較して画素ごとに該当する反射特性を算出する。
【００５８】
複数のカメラで得られた画素ごとの反射特性マップを用いて、これら複数のカメラで撮影された画像間における画素の対応付けを行う。以降の処理は、第１の実施形態と同様である。
【図面の簡単な説明】
【００５９】
【図１】図１は、３次元計測装置の概要を示す図である。
【図２】図２は、３次元計測装置の機能ブロックを示す図である。
【図３】図３は、カメラの配置を説明する図である。
【図４】図４は、照明装置の配置（（Ａ）は方位角配置、（Ｂ）は天頂角配置）を説明する図である。
【図５】図５は、表面形状算出部の機能ブロック図を示す図である。
【図６】図６は、法線−輝度テーブルを作成する方法を説明する図である。
【図７】図７は、撮影された画像から法線の向きを取得する方法を説明する図である。
【図８】図８は、ワールド座標系と各カメラの座標系の間を変換する変換行列について説明する図である。
【図９】図９は、対応点算出部による対応点探索処理の流れを示すフローチャートである。
【図１０】図１０は、対応点探索のための探索ウィンドウおよび類似度算出について説明する図である。
【図１１】図１１は、第２の実施形態における照明装置を説明する図である。
【図１２】図１２は、３次元測量の原理を示す図である。
【図１３】図１３は、鏡面物体に対して３次元測量を行う場合を説明する図である。
【符号の説明】
【００６０】
１，２ カメラ
３ａ，３ｂ，３ｃ 照明装置
４ 計測対象物
６ コンピュータ
７ 表面形状算出部
７１ 画像入力部
７２ 法線−輝度テーブル
７３ 法線算出部
８ 座標変換部
９ 対応点算出部
１０ 三角測量部
【特許請求の範囲】
【請求項１】
鏡面物体である計測対象物の３次元形状を計測する３次元計測装置であって、
複数のカメラと、
前記複数のカメラによって撮影された画像のそれぞれから、前記計測対象物の表面の物理特徴を取得する特徴取得手段と、
前記物理特徴を用いて、前記複数のカメラによって撮影された画像間で対応する画素を探索する対応画素探索手段と、
対応する画素間の視差に基づいて、３次元測量を行う測量手段と、
を備えることを特徴とする３次元計測装置。
【請求項２】
前記特徴取得手段が取得する前記計測対象物の表面の物理特徴は、表面の法線の向きである
ことを特徴とする請求項１に記載の３次元計測装置。
【請求項３】
複数のカメラによって撮影される画像の座標系を、変換パラメータを用いて共通の座標系に変換する座標変換手段をさらに有し、
前記対応画素探索手段は、座標変換手段によって共通の座標系に変換された法線の向きを利用して、画像間で対応する画素を探索する
ことを特徴とする請求項２に記載の３次元計測装置。
【請求項４】
前記座標変換手段における変換パラメータは、あらかじめ行われたカメラキャリブレーションによって得られたパラメータから抽出されたものである
ことを特徴とする請求項３に記載の３次元計測装置。
【請求項５】
前記対応画素探索手段は、着目する画素を含む所定の広さの領域における物理特徴を比較して、画像間で対応する画素を探索する
ことを特徴とする請求項１〜４のいずれかに記載の３次元計測装置。
【請求項６】
鏡面物体である計測対象物の３次元形状を計測する３次元計測方法であって、
複数のカメラによって撮影された画像のそれぞれから、前記計測対象物の表面の物理特徴を取得する特徴取得工程と、
前記物理特徴を用いて、前記複数のカメラによって撮影された画像間で対応する画素を探索する対応画素探索工程と、
対応する画素間の視差に基づいて、３次元測量を行う測量工程と、
を含むことを特徴とする３次元計測方法。
【請求項７】
前記特徴取得工程において取得される前記計測対象物の表面の物理特徴は、表面の法線の向きである
ことを特徴とする請求項６に記載の３次元計測方法。
【請求項８】
複数のカメラによって撮影される画像の座標系を、変換パラメータを用いて共通の座標系に変換する座標変換工程をさらに含み、
前記対応画素探索工程では、座標変換工程において共通の座標系に変換された法線の向きを利用して、画像間で対応する画素を探索する
ことを特徴とする請求項７に記載の３次元計測方法。
【請求項９】
前記座標変換工程で利用される変換パラメータは、あらかじめ行われたカメラキャリブレーションによって得られたパラメータから抽出されたものである
ことを特徴とする請求項８に記載の３次元計測方法。
【請求項１０】
前記対応画素探索工程では、着目する画素を含む所定の広さの領域における物理特徴を比較して、画像間で対応する画素を探索する
ことを特徴とする請求項６〜９のいずれかに記載の３次元計測方法。
【請求項１】
鏡面物体である計測対象物の３次元形状を計測する３次元計測装置であって、
複数のカメラと、
前記複数のカメラによって撮影された画像のそれぞれから、前記計測対象物の表面の物理特徴を取得する特徴取得手段と、
前記物理特徴を用いて、前記複数のカメラによって撮影された画像間で対応する画素を探索する対応画素探索手段と、
対応する画素間の視差に基づいて、３次元測量を行う測量手段と、
を備えることを特徴とする３次元計測装置。
【請求項２】
前記特徴取得手段が取得する前記計測対象物の表面の物理特徴は、表面の法線の向きである
ことを特徴とする請求項１に記載の３次元計測装置。
【請求項３】
複数のカメラによって撮影される画像の座標系を、変換パラメータを用いて共通の座標系に変換する座標変換手段をさらに有し、
前記対応画素探索手段は、座標変換手段によって共通の座標系に変換された法線の向きを利用して、画像間で対応する画素を探索する
ことを特徴とする請求項２に記載の３次元計測装置。
【請求項４】
前記座標変換手段における変換パラメータは、あらかじめ行われたカメラキャリブレーションによって得られたパラメータから抽出されたものである
ことを特徴とする請求項３に記載の３次元計測装置。
【請求項５】
前記対応画素探索手段は、着目する画素を含む所定の広さの領域における物理特徴を比較して、画像間で対応する画素を探索する
ことを特徴とする請求項１〜４のいずれかに記載の３次元計測装置。
【請求項６】
鏡面物体である計測対象物の３次元形状を計測する３次元計測方法であって、
複数のカメラによって撮影された画像のそれぞれから、前記計測対象物の表面の物理特徴を取得する特徴取得工程と、
前記物理特徴を用いて、前記複数のカメラによって撮影された画像間で対応する画素を探索する対応画素探索工程と、
対応する画素間の視差に基づいて、３次元測量を行う測量工程と、
を含むことを特徴とする３次元計測方法。
【請求項７】
前記特徴取得工程において取得される前記計測対象物の表面の物理特徴は、表面の法線の向きである
ことを特徴とする請求項６に記載の３次元計測方法。
【請求項８】
複数のカメラによって撮影される画像の座標系を、変換パラメータを用いて共通の座標系に変換する座標変換工程をさらに含み、
前記対応画素探索工程では、座標変換工程において共通の座標系に変換された法線の向きを利用して、画像間で対応する画素を探索する
ことを特徴とする請求項７に記載の３次元計測方法。
【請求項９】
前記座標変換工程で利用される変換パラメータは、あらかじめ行われたカメラキャリブレーションによって得られたパラメータから抽出されたものである
ことを特徴とする請求項８に記載の３次元計測方法。
【請求項１０】
前記対応画素探索工程では、着目する画素を含む所定の広さの領域における物理特徴を比較して、画像間で対応する画素を探索する
ことを特徴とする請求項６〜９のいずれかに記載の３次元計測方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１０−７１７８２（Ｐ２０１０−７１７８２Ａ）
【公開日】平成２２年４月２日（２０１０．４．２）
【国際特許分類】
【出願番号】特願２００８−２３９１１４（Ｐ２００８−２３９１１４）
【出願日】平成２０年９月１８日（２００８．９．１８）
【出願人】（０００００２９４５）オムロン株式会社 (3,542)
【Ｆターム（参考）】
【公開日】平成２２年４月２日（２０１０．４．２）
【国際特許分類】
【出願日】平成２０年９月１８日（２００８．９．１８）
【出願人】（０００００２９４５）オムロン株式会社 (3,542)
【Ｆターム（参考）】
[ Back to top ]