３次元計測装置及び３次元計測方法
【課題】１回の撮影で視野全体の３次元形状について、その特徴を漏れなく計測することができる３次元計測装置及び３次元計測方法を提供する。
【解決手段】 複数方向の複数の直線及び／又は曲線状のレーザラインにより構成されるレーザパタンをレーザ投影手段から計測対象物に投影し、該レーザパタンが投影された計測対象物を異なる方向から撮影して第１の画像及び第２の画像を取得し、この第１の画像及び前記第２の画像からレーザラインを抽出し、第１の画像のレーザライン点に対応する第２の画像のレーザライン点の対応点候補の３次元座標を夫々求め、該３次元座標を前記レーザ投影手段に設定される投影手段座標系に変換して前記レーザパタンが構成されているレーザパタン平面に射影した夫々の射影点が前記レーザパタン上にあるか否かを判定することにより、対応点を求める。
【解決手段】 複数方向の複数の直線及び／又は曲線状のレーザラインにより構成されるレーザパタンをレーザ投影手段から計測対象物に投影し、該レーザパタンが投影された計測対象物を異なる方向から撮影して第１の画像及び第２の画像を取得し、この第１の画像及び前記第２の画像からレーザラインを抽出し、第１の画像のレーザライン点に対応する第２の画像のレーザライン点の対応点候補の３次元座標を夫々求め、該３次元座標を前記レーザ投影手段に設定される投影手段座標系に変換して前記レーザパタンが構成されているレーザパタン平面に射影した夫々の射影点が前記レーザパタン上にあるか否かを判定することにより、対応点を求める。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、計測対象物にレーザパタンを照射して３次元計測を行うための３次元計測装置及び３次元計測方法に関する。
【背景技術】
【０００２】
従来から、物体の３次元形状を求める方法としては、例えば、一本のラインのレーザを計測対象物に投光して、その反射光を計測することにより各点までの距離を計測する方法や計測対象物にパターン光を投光して、計測対象物に投影されたパターンの形状を測定することにより計測対象物の３次元形状を計測する光切断法（例えば、特許文献１参照）等の能動的手法がある。また、計測対象物の形状を計測するために、対象物に縞パターンを投影するとともに、該縞パターンを位相シフトさせながら複数回撮影し、撮影した各縞パターン画像に基づいて、対象物の形状を計測する位相シフト法と呼ばれるものや異なる位置に設けられた基準カメラと参照カメラとの２台以上のカメラで計測対象物を撮影して得られた複数の画像の間で対応する画素を特定し、対応付けられた基準画像上の画素と、参照画像上の画素との位置の差（視差）に三角測量の原理を適用することにより、基準カメラから当該画素に対応する計測対象物上の点までの距離を計測するステレオ法と呼ばれるもの等がある。
【０００３】
しかしながら、光切断法では、移動機構が必要となり、計測対象物を計測するのに時間を要するため、動物体の計測を行うのは困難である。また、これの拡張として直交する２本のラインレーザを用いた３次元計測システムもあるが、１本のラインレーザを用いた場合と同様に、計測対象物全体の３次元形状を計測するのに移動機構が必要となる。また、位相シフト法では、縞パターンを位相シフトさせながら計測対象物を複数回撮影する必要があるため、動物体の計測を行うのは困難であるとともに、縞パターンの切り替えが必要となる。また、従来のステレオ法では、計測対象物が白い壁等の特徴がほとんどない対象である場合には、画像間での対応付けを行うことは困難である。
【０００４】
そこで、特徴点が少ない計測対象物の画像情報からでも特徴点が抽出できるように、平行な複数のスリット光からなるパターン光を計測対象物に照射して、撮像手段から複数の画像情報を取得するとともに、該画像情報から複数の輝点を特徴点として抽出して、画像情報の特徴点を互いに関連付け、この関連付けられた特徴点に基づいて計測対象物の３次元形状を検出する３次元形状検出装置が開示されている（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−２９２４３４号公報
【特許文献２】特開２００９−０６９８６６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献２では、平行な複数のスリット光からなるパターン光を用いているため、１方向の平行スリット光では、３次元形状の特徴を必ずしも十分に現せないという問題がある。
【０００７】
本発明は、上記のような課題に鑑みてなされたものであって、１回の撮影で視野全体の３次元形状について、その特徴を漏れなく計測することができる３次元計測装置及び３次元計測方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、請求項１記載の３次元計測装置は、複数方向の複数の直線及び／又は曲線状のレーザラインにより構成されるレーザパタンを計測対象物に投影するレーザ投影手段と、前記レーザパタンが投影された計測対象物を撮影して第１の画像を取得する第１撮像手段及び該第１撮像手段と異なる方向から前記レーザパタンが投影された計測対象物を撮影して第２の画像を取得する第２撮像手段を有するステレオカメラと、前記第１の画像及び前記第２の画像から前記レーザラインを抽出するレーザライン抽出手段と、前記第１の画像のレーザライン点に対応する前記第２の画像のレーザラインの対応点を求める対応点探索手段と、を備えることを特徴としている。
【０００９】
請求項２記載の３次元計測装置は、予め前記レーザ投影手段により前記レーザパタンが投影された、平面を有する平面校正ボードを用いて、前記ステレオカメラに設定されるステレオカメラ座標系と前記レーザ投影手段に設定される投影手段座標系との間の回転及び並進を校正する第１校正手段を備え、前記対応点探索手段は、前記第１の画像のレーザライン点に対応する前記第２の画像のレーザラインの対応点候補の３次元座標を夫々求め、該３次元座標を前記第１校正手段により得られた結果に基づいて前記投影手段座標系に変換して前記レーザパタンが構成されているレーザパタン平面に射影した夫々の射影点が前記レーザパタン上にあるか否かを判定することにより、対応点を求めることを特徴としている。
【００１０】
請求項３記載の３次元計測装置は、予め前記レーザ投影手段により前記レーザパタンが投影された、非平面形状を有する非平面校正物体を用いて、前記ステレオカメラに設定されるステレオカメラ座標系と前記レーザ投影手段に設定される投影手段座標系との間の回転及び並進を校正する第２校正手段を備え、前記対応点探索手段は、前記第１の画像のレーザライン点に対応する前記第２の画像のレーザラインの対応点候補の３次元座標を夫々求め、該３次元座標を前記第２校正手段により得られた結果に基づいて前記投影手段座標系に変換して前記レーザパタンが構成されているレーザパタン平面に射影した夫々の射影点が前記レーザパタン上にあるか否かを判定することにより、対応点を求めることを特徴としている。
【００１１】
請求項４記載の３次元計測方法は、複数方向の複数の直線及び／又は曲線状のレーザラインにより構成されるレーザパタンをレーザ投影手段により計測対象物に投影するレーザ投影ステップと、前記レーザパタンが投影された計測対象物をステレオカメラの第１撮像手段及び第２撮像手段により撮影して第１の画像及び第２の画像を取得するステレオ画像取得ステップと、前記第１の画像及び前記第２の画像から前記レーザラインを抽出するレーザライン抽出ステップと、前記第１の画像のレーザライン点に対応する前記第２の画像のレーザラインの対応点を求める対応点探索ステップと、を含むことを特徴としている。
【００１２】
請求項５記載の３次元計測方法は、予め前記レーザ投影手段により前記レーザパタンが投影された、平面を有する平面校正ボードを用いて、前記ステレオカメラに設定されるステレオカメラ座標系と前記レーザ投影手段に設定される投影手段座標系との間の回転及び並進を校正する第１校正ステップを備え、前記対応点探索ステップでは、前記第１の画像のレーザライン点に対応する前記第２の画像のレーザラインの対応点候補の３次元座標を夫々求め、該３次元座標を前記第１校正ステップで得られた結果に基づいて前記投影手段座標系に変換して前記レーザパタンが構成されているレーザパタン平面に射影した夫々の射影点が前記レーザパタン上にあるか否かを判定することにより、対応点を求めることを特徴としている。
【００１３】
請求項６記載の３次元計測方法は、予め前記レーザ投影手段により前記レーザパタンが投影された、非平面形状を有する非平面校正物体を用いて、前記ステレオカメラに設定されるステレオカメラ座標系と前記レーザ投影手段に設定される投影手段座標系との間の回転及び並進を校正する第２校正ステップを備え、前記対応点探索ステップでは、前記第１の画像のレーザライン点に対応する前記第２の画像のレーザラインの対応点候補の３次元座標を夫々求め、該３次元座標を前記第２校正ステップで得られた結果に基づいて前記投影手段座標系に変換して前記レーザパタンが構成されているレーザパタン平面に射影した夫々の射影点が前記レーザパタン上にあるか否かを判定することにより、対応点を求めることを特徴としている。
【発明の効果】
【００１４】
請求項１及び４記載の発明によれば、複数方向の複数の直線及び／又は曲線状のレーザラインにより構成されるレーザパタンを投影した計測対象物を撮影して取得した画像を用いるので、ステレオカメラによる１回の撮影で計測を行うことができ、特徴がほとんどない計測対象物が移動物体の場合であっても精度良く対応付けを行うことができる。
【００１５】
請求項２及び５記載の発明によれば、計測対象物の３次元計測の処理を行う前に、予め平面を有する平面校正ボードを用いて、ステレオカメラに設定されるステレオカメラ座標系とレーザ投影手段に設定される投影手段座標系との間の回転及び並進を校正しておくので、対応付けの精度を向上させることができる。また、対応点候補のレーザライン点をレーザパタンが構成されているレーザパタン平面に射影してレーザパタン上にあるか否かを判定することにより、対応点を探索するので、対応点として虚像を確実に排除することができ、より確実に対応付けを行うことができる。
【００１６】
請求項３及び６記載の発明によれば、計測対象物の３次元計測の処理を行う前に、平面形状を有していないような非平面校正物体であっても、それを用いて、予めステレオカメラに設定されるステレオカメラ座標系とレーザ投影手段に設定される投影手段座標系との間の回転及び並進を校正しておくことができる。これにより、対応付けの精度を向上させることができる。また、対応点候補のレーザライン点をレーザパタンが構成されているレーザパタン平面に射影してレーザパタン上にあるか否かを判定することにより、対応点を探索するので、対応点として虚像を確実に排除することができ、より確実に対応付けを行うことができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の第１の実施形態に係る３次元計測装置の構成の一例を示す概略模式図である。
【図２】レーザパタンの一例を示す概略模式図である。
【図３】平面校正ボードを用いた校正処理の流れを示すフローチャートである。
【図４】平面校正ボードを用いた校正の仕方について説明するための概略説明図である。
【図５】本発明の第１の実施形態に係る３次元計測装置による処理の流れを示すフローチャートである。
【図６】対応点の求め方について説明するための概略説明図である。
【図７】本発明の第２の実施形態に係る３次元計測装置の構成の一例を示す概略模式図である。
【図８】非平面校正物体を用いた校正処理の流れを示すフローチャートである。
【図９】非平面校正物体を用いた校正の仕方について説明するための概略説明図である。
【発明を実施するための形態】
【００１８】
以下に本発明の第１の実施形態に係る３次元計測装置１について、図面を参照しつつ説明する。３次元計測装置１は、レーザパタン（格子レーザパタン）Ｐを投影した計測対象物２を撮影して３次元計測を行うものであって、図１に示すように、計測対象物２にレーザパタンＰを投影するためのレーザ投影手段３と、レーザパタンＰが投影された計測対象物２を夫々異なる方向から撮影して第１の画像及び第２の画像（ステレオ画像）を取得するための第１撮像手段４ａ及び第２撮像手段４ｂを有するステレオカメラ４と、該ステレオカメラ４から入力されるステレオ画像を用いて計測対象物２の３次元計測のための演算処理等を行うコンピュータ５とを備えている。
【００１９】
レーザ投影手段３は、図２に示すように複数方向の複数のレーザラインＬが交わって格子状に構成されるレーザパタンＰを計測対象物２に投影するためのものである。また、このレーザパタンＰの中央部には、対応付けを行い易くするために、円形状の模様Ｔが形成されている。尚、この模様Ｔは、図２のように円形状に限定されるものではなく、隣り合うレーザラインＬを区別し易くするためのものであり、その他の形状であっても良い。
【００２０】
レーザ投影手段３は、例えば専用のＤＯＥを用いてレーザパタンＰを投影するものであり、レーザパタンＰは、予めスライド等にパタンが形成されており、レーザをスライドを介して照射することにより、計測対象物２の表面に図１に示すようにレーザパタンＰ１が投影される。尚、図２に示すレーザパタンＰでは、直線状に形成された複数のレーザラインＬを用いて格子状にレーザパタンＰを構成しているが、レーザラインＬは必ずしも直線である必要はなく、曲線状に形成される複数のレーザラインを用いてレーザパタンＰを構成しても良い。また、レーザパタンＰは必ずしも格子状である必要はなく、複数方向の複数のレーザラインが交わって構成されるレーザパタンであり、その形状が予め規定されていれば良い。
【００２１】
ステレオカメラ４の第１撮像手段４ａ及び第２撮像手段４ｂは、それぞれ撮影手段として撮像素子とこの撮像素子の結像面に計測対象物２の像を結像させるレンズとを備えている。撮像素子としては、例えばＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等のイメージセンサが用いられる。この撮像手段４ａ，４ｂのレンズには同じものが使用され、視野角及び解像度も略一致するように設定されている。また、第１撮像手段４ａ及び第２撮像手段４ｂは、感度が略一致するものが使用される。また、計測対象物２の３次元計測処理を行うにあたっては、事前にステレオカメラ４のキャリブレーションを行うことにより、カメラパラメータを調整しておく。
【００２２】
ステレオカメラ４により取得されたステレオ画像データは、コンピュータ５へと入力される。コンピュータ５は、ステレオカメラ４ｂにより取得されたステレオ画像データを用いて計測対象物２の三次元情報を得るための演算等を行うものであり、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｅｓｓｉｎｇ Ｕｎｉｔ）６と、ハードディス７と、画像処理部８と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９と、表示部１０と、操作部１１等を備えている。また、これら各部は、図１に示すように、互いにシステムバス１２に接続され、このシステムバス１２を介して種々のデータ等が入出力されて、ＣＰＵ６の制御の下、種々の処理が実行される。
【００２３】
ハードディス７では、ステレオカメラ４から入力されるステレオ画像データ等を用いて計測対象物２の３次元計測を行うための処理プログラム等を格納している。尚、本実施形態では、３次元計測を行うための処理プログラムをハードディスク７に格納している例を示しているが、これに代えて、コンピュータ読み取り可能な記憶媒体（不図示）に格納しておき、この記録媒体から処理プログラムを読み出すように構成することも可能である。
【００２４】
画像処理部８は、ハードディスク７に格納される処理プログラムに基づいて、ＣＰＵ６の制御の下、計測対象物２の３次元計測を行うための演算処理等を行うものである。ＲＡＭ９は、ハードディスク７から読み出された処理プログラムを一時的に記憶したり、ＣＰＵ５の作業領域等として用いられるものである。
【００２５】
表示部１０は、液晶ディスプレイ等から構成されるものであって、第１撮像手段４ａ及び第２撮像手段４ｂにより取得した画像等を表示するものである。操作部１１は、マウスやキーボード等で構成されており、操作者が種々のデータ及び操作指令等の入力を行うために使用されるものである。
【００２６】
以下、この３次元計測装置１による計測対象物２の３次元計測を行う処理の流れについて図３及び図５のフローチャートを用いながら説明する。尚、図３及び図５に示す処理は、ハードディスク７に格納された処理プログラムに従ってＣＰＵ６の制御の下、画像処理部８等により実行されるものである。
【００２７】
まず、計測対象物２の３次元計測処理を行うにあたって、レーザ投影手段３がどの位置でどのような姿勢であるかを求めるために、図４に示すような平面校正ボード１３を用いて、第１校正手段８１によりステレオカメラ４に設定されるステレオカメラ座標系とレーザ投影手段３に設定される投影手段座標系との間の回転及び並進を校正しておく。このステレオカメラ座標系と投影手段座標系との間の回転及び並進を校正するために用いる平面校正ボード１３は、図４に示すように、平面形状を有していれば良く、材質等は特に限定されるものではない。
【００２８】
図３のフローチャートに示すように、校正処理を行うにあたって、まずはレーザ投影手段３によりレーザパタンＰを平面校正ボード１３に投影する（Ｓ１０１）。そして、表面にレーザパタンＰ１が投影されている平面校正ボード１３をステレオカメラ４により撮影することにより、ステレオ画像を取得する（Ｓ１０２）。このようにして取得されたステレオ画像はコンピュータ５へと入力される。尚、このレーザ投影手段３によるレーザパタンＰの投影タイミング、及びステレオカメラ４による撮影タイミングは、コンピュータ５のタイミング同期手段（不図示）により同期するように制御されている。
【００２９】
次に、画像処理部８内の第１校正手段８１では、取得したステレオ画像に基づいて、３次元計測を行って格子交点Ｍの３次元座標に対して平面フィッティングを行う。平面フィッティングを行うことにより、平面校正ボード１３に垂直な軸を含む、平面校正ボード１３の３次元座標系が得られる。また、格子交点Ｍをフィッティング平面に射影することにより、平面校正ボード１３の平面における格子交点Ｍの２次元座標が得られる。そして、下記の数式（１）からステレオカメラ座標系と上記の平面フィッティングによって得られた平面校正ボード１３の３次元座標系との間の回転行列ＲＣＳ及び並進ベクトルｔＣＳを求める（Ｓ１０３）。尚、ここでは３次元計測を行って格子交点Ｍの３次元座標に対して平面フィッティングを行っているが、格子交点Ｍ以外の少なくとも３点以上の平面上に現れる特徴点の３次元座標に対して平面フィッティングを行うようにしても良い。
【数１】
【００３０】
次に、平面校正ボード１３に投影されているレーザパタンＰ１とレーザ投影手段３のレーザパタン平面上のレーザパタンＰとの対応関係を求める（Ｓ１０４）。具体的には、例えば、まず取得したステレオ画像から平面校正ボード１３に投影されている模様Ｔ１を抽出し、この点とレーザパタン平面のレーザパタンＰ上の模様Ｔとの対応付けを行う。そして、この模様Ｔ１を通る２本のレーザラインＬ１とレーザパタン平面上のレーザラインＬとの対応付けを行うことにより、夫々の平面間の対応付けを行うことができる。尚、ここでレーザパタン平面とは、レーザ投影手段３のレーザパタンＰが構成されている平面のことであり、この平面はレーザパタンＰが形成される際に予め規定されている。
【００３１】
そして、下記の数式（２）に表されるように、このステレオカメラ４により取得したステレオ画像に基づいて求めた平面校正ボード１３上のレーザパタンＰ１の格子交点Ｍの２次元座標と、レーザパタン平面における対応点の２次元座標との間で成り立つホモグラフィ変換行列Ｈを求め、そのホモグラフィ変換行列から校正ボード座標系と投影手段座標系との間の回転行列Ｒlpc及び並進ベクトルtlpcを計算する（Ｓ１０５）。尚、ホモグラフィ行列Ｈは、ｎが４以上あれば求めることができる。また、数式（２）に示すように、レーザ投影手段３の焦点距離ｆもホモグラフィ行列Ｈから同時に求めることができる。
【数２】
【００３２】
そして、平面校正ボード１３を介して、ステレオカメラ座標系と投影手段座標系との間の回転と並進を校正する（Ｓ１０６）。具体的には、数式（１）を数式（２）に代入することにより、下記の数式（３）が求められる。この数式（３）にステレオカメラ座標系ＸＳにおける３次元座標を代入することにより、対応するレーザパタン平面の２次元座標Ｘｌｐｃ、ｙｌｐｃを計算することができるようになる。従って、この数式（３）を用いることにより対応点を求めることができる。
【数３】
【００３３】
このように計測対象物２の３次元計測処理を行う前に、予め平面校正ボード１３を用いて、ステレオカメラ座標系と投影手段座標系との間の回転と並進を校正しておく。そして、その後、図５のフローチャートに示すように計測対象物２の３次元計測を行う。
【００３４】
図５に示すように、まず３次元計測装置１は、計測対象物２にレーザ投影手段３によりレーザパタンＰを投影する（Ｓ２０１）。そして、この表面にレーザパタンＰ１が投影された計測対象物２を第１撮像手段４ａ及び第２撮像手段４ｂ（ステレオカメラ４）により撮影することにより、第１の画像及び第２の画像（ステレオ画像）を取得する（Ｓ２０２）。このようにして取得されたステレオ画像はコンピュータ５へと入力される。
【００３５】
次に、画像処理部８内のレーザライン抽出手段８２により取得したステレオ画像からレーザラインＬを抽出する（Ｓ２０３）。そして、対応点探索手段８３では、このように抽出した第１の画像のレーザラインＬの１点につき、第２の画像のエピポーラ線に沿って、所定の視差範囲内にある全てのレーザライン点を対応点候補とし、３次元座標算出手段８３ａにより、この夫々の対応点候補のレーザライン点に対して３次元座標を求める（Ｓ２０４）。図６では、第１の画像のレーザラインＬの１点Ａにつき、第２の画像のエピポーラ線に沿うレーザライン点Ａ’、Ｂ’を対応点候補とし、同様に第１の画像のレーザラインＬの１点Ｂにつき、第２の画像のエピポーラ線に沿うレーザライン点Ａ’、Ｂ’を対応点候補としている例を示している。
【００３６】
座標変換手段８３ｂでは、この求められたレーザライン点の３次元座標を夫々投影手段座標系に座標系を変換する（Ｓ２０５）。そして、射影手段８３ｃでは、投影手段座標系に変換したレーザライン点を図６に示すように、レーザパタン平面に射影する（Ｓ２０６）。具体的には、第１校正手段８１により求められた数式（３）に対応点候補の３次元座標ＸＳを代入することにより、対応するレーザパタン平面への射影点の座標が求められる。
【００３７】
対応点判定手段８３ｄでは、このようにして求められた射影点がレーザパタン平面のレーザパタンＰ上にあるか否かを判定する（Ｓ２０７）。対応点判定手段８３ｄにより射影点がレーザパタンＰ上にあると判定された場合（Ｓ２０７：ＹＥＳ）には、その対応点候補を受け入れ、その結果を出力する（Ｓ２０８）。
【００３８】
一方、対応点判定手段８３ｄにより射影点がレーザパタン上にないと判定された場合（Ｓ２０７：ＮＯ）には、他の対応点候補が残っているか否かを判断し（Ｓ２０９）、他の対応点候補が残っていると判断した場合（Ｓ２０９：ＹＥＳ）には、その対応点候補について数式（３）を用いて、レーザパタン平面へ射影した点の座標を求め（Ｓ２０６、Ｓ２０７）、その射影点がレーザパタン平面のレーザパタンＰ上にあるか否かを再度判定する（Ｓ２０７）。この処理を対応点が見つかるまで繰り返し行うことにより、対応点を探索する。図６に示す例では、第１の画像におけるレーザラインＬ上の点Ａについては、ＡＡ’をレーザパタン平面に射影した場合に、レーザパタンＰと合致しているので、第２の画像におけるＡ’が対応点として受け入れられ、Ｂ’は拒否される。また、第１の画像におけるレーザラインＬ上の点Ｂについては、ＢＢ’をレーザパタン平面に射影した場合に、レーザパタンＰと合致しているので、第２の画像におけるＢ’が対応点として受け入れられ、Ａ’は拒否される。このような処理を行うことにより、対応点として虚像等の誤った対応点が選ばれることを防止することができ、精度良く対応付けを行うことができる。
【００３９】
本実施形態では、第１の画像のレーザライン点に対応する第２の画像のレーザラインの対応点候補の３次元座標を夫々求め、この３次元座標を第１校正手段８１により得られた数式（３）に基づいて投影手段座標系に変換してレーザパタン平面に射影した夫々の射影点がレーザパタンＰ上にあるか否かを判定することにより、対応点を求めているが、その他の従来公知の対応付け処理を行うように構成しても良い。
【００４０】
次に第２の実施形態に係る３次元計測装置１ａについて図７〜９を用いて意説明する。図７に示すように、３次元計測装置１ａは第１実施形態に係る３次元計測装置１と略同様の構成を備えるものであり、第１校正手段８１の代わりに第２校正手段８１ａを備えるものである。従って、第１実施形態に係る３次元計測装置１と同様の構成等については、同一の符号を付し、その詳細な説明は省略する。
【００４１】
３次元計測装置１ａでは、図９に示すように、平面校正ボード１３の代わりに非平面形状を有する非平面校正物体１４を用いて、第２校正手段８１ａによりステレオカメラ座標系と投影手段座標系との間の回転及び並進を校正する。この非平面校正物体１４は、図９に示すように曲面形状を有した物体に限られるものではなく、平面形状を折り曲げたようなものを用いることも可能である。
【００４２】
以下、この非平面校正物体１４を用いた第２校正手段８１ａによる校正処理の流れについて図８のフローチャートを用いながら説明する。校正処理を行うにあたって、まずはレーザ投影手段３によりレーザパタンＰを非平面校正物体１４に投影する（Ｓ３０１）。そして、表面にレーザパタンＰ１が投影されている非平面校正物体１４をステレオカメラ４により撮影することにより、ステレオ画像を取得する（Ｓ３０２）。
【００４３】
次に、画像処理部８内の第２校正手段８１ａでは、取得したステレオ画像に基づいて、非平面校正物体１８に投影されたレーザパタンＰ１の格子交点Ｍの３次元計測を行う（Ｓ３０３）。そして、非平面校正物体１４に投影されているレーザパタンＰ１とレーザ投影手段３のレーザパタン平面上のレーザパタンＰとの対応関係を求める（Ｓ３０４）。
【００４４】
そして、Ｓ３０３の処理により計測されたレーザパタンＰ１の格子交点Ｍの３次元座標と、レーザパタン平面における対応点の２次元座標との間で成り立つ射影行列Ｐを下記の数式（４）を用いて計算する（Ｓ３０５）。
【数４】
【００４５】
この射影行列Ｐから数式（５）に示すように、ステレオカメラ座標系と投影手段座標系との間の回転行列Ｒｌｐｓと並進ベクトルｔｌｐｓを求める（Ｓ３０６）。尚、射影行列Ｐは、数式（４）のｎが６以上あれば求めることができる。
【数５】
【００４６】
そして、数式（４）に数式（５）を代入することにより、下記の数式（６）が求められる。この数式（６）にステレオカメラ座標系ＸＳにおける３次元座標を代入することにより、対応するレーザパタン平面の２次元座標Ｘｌｐｃ、ｙｌｐｃを計算することができるようになる。従って、この数式（６）を用いることにより対応点を求めることができる。
【数６】
【００４７】
このように、第２校正手段８１ａによる処理により、平面校正ボード１３の代わりに非平面形状を有する非平面校正物体１４を用いて、ステレオカメラ座標系と投影手段座標系との間の回転及び並進を校正することも可能である。
【００４８】
尚、本発明の実施の形態は上述の形態に限るものではなく、本発明の思想の範囲を逸脱しない範囲で適宜変更することができることは云うまでもない。
【産業上の利用可能性】
【００４９】
本発明に係る３次元計測装置及び３次元計測方法は静的又は動的計測対象物の３次元計測を高精度に行うための技術として有効に利用することができる。
【符号の説明】
【００５０】
１、１ａ ３次計測装置
２ 計測対象物
３ レーザ投影手段
４ ステレオカメラ
４ａ 第１撮像手段
４ｂ 第２撮像手段
８１ 第１校正手段
８１ａ 第２校正手段
８２ レーザライン抽出手段
８３ 対応点探索手段
１３ 平面校正ボード
１４ 非平面校正物体
Ｐ レーザパタン（格子レーザパタン）
Ｌ レーザライン
【技術分野】
【０００１】
本発明は、計測対象物にレーザパタンを照射して３次元計測を行うための３次元計測装置及び３次元計測方法に関する。
【背景技術】
【０００２】
従来から、物体の３次元形状を求める方法としては、例えば、一本のラインのレーザを計測対象物に投光して、その反射光を計測することにより各点までの距離を計測する方法や計測対象物にパターン光を投光して、計測対象物に投影されたパターンの形状を測定することにより計測対象物の３次元形状を計測する光切断法（例えば、特許文献１参照）等の能動的手法がある。また、計測対象物の形状を計測するために、対象物に縞パターンを投影するとともに、該縞パターンを位相シフトさせながら複数回撮影し、撮影した各縞パターン画像に基づいて、対象物の形状を計測する位相シフト法と呼ばれるものや異なる位置に設けられた基準カメラと参照カメラとの２台以上のカメラで計測対象物を撮影して得られた複数の画像の間で対応する画素を特定し、対応付けられた基準画像上の画素と、参照画像上の画素との位置の差（視差）に三角測量の原理を適用することにより、基準カメラから当該画素に対応する計測対象物上の点までの距離を計測するステレオ法と呼ばれるもの等がある。
【０００３】
しかしながら、光切断法では、移動機構が必要となり、計測対象物を計測するのに時間を要するため、動物体の計測を行うのは困難である。また、これの拡張として直交する２本のラインレーザを用いた３次元計測システムもあるが、１本のラインレーザを用いた場合と同様に、計測対象物全体の３次元形状を計測するのに移動機構が必要となる。また、位相シフト法では、縞パターンを位相シフトさせながら計測対象物を複数回撮影する必要があるため、動物体の計測を行うのは困難であるとともに、縞パターンの切り替えが必要となる。また、従来のステレオ法では、計測対象物が白い壁等の特徴がほとんどない対象である場合には、画像間での対応付けを行うことは困難である。
【０００４】
そこで、特徴点が少ない計測対象物の画像情報からでも特徴点が抽出できるように、平行な複数のスリット光からなるパターン光を計測対象物に照射して、撮像手段から複数の画像情報を取得するとともに、該画像情報から複数の輝点を特徴点として抽出して、画像情報の特徴点を互いに関連付け、この関連付けられた特徴点に基づいて計測対象物の３次元形状を検出する３次元形状検出装置が開示されている（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−２９２４３４号公報
【特許文献２】特開２００９−０６９８６６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献２では、平行な複数のスリット光からなるパターン光を用いているため、１方向の平行スリット光では、３次元形状の特徴を必ずしも十分に現せないという問題がある。
【０００７】
本発明は、上記のような課題に鑑みてなされたものであって、１回の撮影で視野全体の３次元形状について、その特徴を漏れなく計測することができる３次元計測装置及び３次元計測方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、請求項１記載の３次元計測装置は、複数方向の複数の直線及び／又は曲線状のレーザラインにより構成されるレーザパタンを計測対象物に投影するレーザ投影手段と、前記レーザパタンが投影された計測対象物を撮影して第１の画像を取得する第１撮像手段及び該第１撮像手段と異なる方向から前記レーザパタンが投影された計測対象物を撮影して第２の画像を取得する第２撮像手段を有するステレオカメラと、前記第１の画像及び前記第２の画像から前記レーザラインを抽出するレーザライン抽出手段と、前記第１の画像のレーザライン点に対応する前記第２の画像のレーザラインの対応点を求める対応点探索手段と、を備えることを特徴としている。
【０００９】
請求項２記載の３次元計測装置は、予め前記レーザ投影手段により前記レーザパタンが投影された、平面を有する平面校正ボードを用いて、前記ステレオカメラに設定されるステレオカメラ座標系と前記レーザ投影手段に設定される投影手段座標系との間の回転及び並進を校正する第１校正手段を備え、前記対応点探索手段は、前記第１の画像のレーザライン点に対応する前記第２の画像のレーザラインの対応点候補の３次元座標を夫々求め、該３次元座標を前記第１校正手段により得られた結果に基づいて前記投影手段座標系に変換して前記レーザパタンが構成されているレーザパタン平面に射影した夫々の射影点が前記レーザパタン上にあるか否かを判定することにより、対応点を求めることを特徴としている。
【００１０】
請求項３記載の３次元計測装置は、予め前記レーザ投影手段により前記レーザパタンが投影された、非平面形状を有する非平面校正物体を用いて、前記ステレオカメラに設定されるステレオカメラ座標系と前記レーザ投影手段に設定される投影手段座標系との間の回転及び並進を校正する第２校正手段を備え、前記対応点探索手段は、前記第１の画像のレーザライン点に対応する前記第２の画像のレーザラインの対応点候補の３次元座標を夫々求め、該３次元座標を前記第２校正手段により得られた結果に基づいて前記投影手段座標系に変換して前記レーザパタンが構成されているレーザパタン平面に射影した夫々の射影点が前記レーザパタン上にあるか否かを判定することにより、対応点を求めることを特徴としている。
【００１１】
請求項４記載の３次元計測方法は、複数方向の複数の直線及び／又は曲線状のレーザラインにより構成されるレーザパタンをレーザ投影手段により計測対象物に投影するレーザ投影ステップと、前記レーザパタンが投影された計測対象物をステレオカメラの第１撮像手段及び第２撮像手段により撮影して第１の画像及び第２の画像を取得するステレオ画像取得ステップと、前記第１の画像及び前記第２の画像から前記レーザラインを抽出するレーザライン抽出ステップと、前記第１の画像のレーザライン点に対応する前記第２の画像のレーザラインの対応点を求める対応点探索ステップと、を含むことを特徴としている。
【００１２】
請求項５記載の３次元計測方法は、予め前記レーザ投影手段により前記レーザパタンが投影された、平面を有する平面校正ボードを用いて、前記ステレオカメラに設定されるステレオカメラ座標系と前記レーザ投影手段に設定される投影手段座標系との間の回転及び並進を校正する第１校正ステップを備え、前記対応点探索ステップでは、前記第１の画像のレーザライン点に対応する前記第２の画像のレーザラインの対応点候補の３次元座標を夫々求め、該３次元座標を前記第１校正ステップで得られた結果に基づいて前記投影手段座標系に変換して前記レーザパタンが構成されているレーザパタン平面に射影した夫々の射影点が前記レーザパタン上にあるか否かを判定することにより、対応点を求めることを特徴としている。
【００１３】
請求項６記載の３次元計測方法は、予め前記レーザ投影手段により前記レーザパタンが投影された、非平面形状を有する非平面校正物体を用いて、前記ステレオカメラに設定されるステレオカメラ座標系と前記レーザ投影手段に設定される投影手段座標系との間の回転及び並進を校正する第２校正ステップを備え、前記対応点探索ステップでは、前記第１の画像のレーザライン点に対応する前記第２の画像のレーザラインの対応点候補の３次元座標を夫々求め、該３次元座標を前記第２校正ステップで得られた結果に基づいて前記投影手段座標系に変換して前記レーザパタンが構成されているレーザパタン平面に射影した夫々の射影点が前記レーザパタン上にあるか否かを判定することにより、対応点を求めることを特徴としている。
【発明の効果】
【００１４】
請求項１及び４記載の発明によれば、複数方向の複数の直線及び／又は曲線状のレーザラインにより構成されるレーザパタンを投影した計測対象物を撮影して取得した画像を用いるので、ステレオカメラによる１回の撮影で計測を行うことができ、特徴がほとんどない計測対象物が移動物体の場合であっても精度良く対応付けを行うことができる。
【００１５】
請求項２及び５記載の発明によれば、計測対象物の３次元計測の処理を行う前に、予め平面を有する平面校正ボードを用いて、ステレオカメラに設定されるステレオカメラ座標系とレーザ投影手段に設定される投影手段座標系との間の回転及び並進を校正しておくので、対応付けの精度を向上させることができる。また、対応点候補のレーザライン点をレーザパタンが構成されているレーザパタン平面に射影してレーザパタン上にあるか否かを判定することにより、対応点を探索するので、対応点として虚像を確実に排除することができ、より確実に対応付けを行うことができる。
【００１６】
請求項３及び６記載の発明によれば、計測対象物の３次元計測の処理を行う前に、平面形状を有していないような非平面校正物体であっても、それを用いて、予めステレオカメラに設定されるステレオカメラ座標系とレーザ投影手段に設定される投影手段座標系との間の回転及び並進を校正しておくことができる。これにより、対応付けの精度を向上させることができる。また、対応点候補のレーザライン点をレーザパタンが構成されているレーザパタン平面に射影してレーザパタン上にあるか否かを判定することにより、対応点を探索するので、対応点として虚像を確実に排除することができ、より確実に対応付けを行うことができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の第１の実施形態に係る３次元計測装置の構成の一例を示す概略模式図である。
【図２】レーザパタンの一例を示す概略模式図である。
【図３】平面校正ボードを用いた校正処理の流れを示すフローチャートである。
【図４】平面校正ボードを用いた校正の仕方について説明するための概略説明図である。
【図５】本発明の第１の実施形態に係る３次元計測装置による処理の流れを示すフローチャートである。
【図６】対応点の求め方について説明するための概略説明図である。
【図７】本発明の第２の実施形態に係る３次元計測装置の構成の一例を示す概略模式図である。
【図８】非平面校正物体を用いた校正処理の流れを示すフローチャートである。
【図９】非平面校正物体を用いた校正の仕方について説明するための概略説明図である。
【発明を実施するための形態】
【００１８】
以下に本発明の第１の実施形態に係る３次元計測装置１について、図面を参照しつつ説明する。３次元計測装置１は、レーザパタン（格子レーザパタン）Ｐを投影した計測対象物２を撮影して３次元計測を行うものであって、図１に示すように、計測対象物２にレーザパタンＰを投影するためのレーザ投影手段３と、レーザパタンＰが投影された計測対象物２を夫々異なる方向から撮影して第１の画像及び第２の画像（ステレオ画像）を取得するための第１撮像手段４ａ及び第２撮像手段４ｂを有するステレオカメラ４と、該ステレオカメラ４から入力されるステレオ画像を用いて計測対象物２の３次元計測のための演算処理等を行うコンピュータ５とを備えている。
【００１９】
レーザ投影手段３は、図２に示すように複数方向の複数のレーザラインＬが交わって格子状に構成されるレーザパタンＰを計測対象物２に投影するためのものである。また、このレーザパタンＰの中央部には、対応付けを行い易くするために、円形状の模様Ｔが形成されている。尚、この模様Ｔは、図２のように円形状に限定されるものではなく、隣り合うレーザラインＬを区別し易くするためのものであり、その他の形状であっても良い。
【００２０】
レーザ投影手段３は、例えば専用のＤＯＥを用いてレーザパタンＰを投影するものであり、レーザパタンＰは、予めスライド等にパタンが形成されており、レーザをスライドを介して照射することにより、計測対象物２の表面に図１に示すようにレーザパタンＰ１が投影される。尚、図２に示すレーザパタンＰでは、直線状に形成された複数のレーザラインＬを用いて格子状にレーザパタンＰを構成しているが、レーザラインＬは必ずしも直線である必要はなく、曲線状に形成される複数のレーザラインを用いてレーザパタンＰを構成しても良い。また、レーザパタンＰは必ずしも格子状である必要はなく、複数方向の複数のレーザラインが交わって構成されるレーザパタンであり、その形状が予め規定されていれば良い。
【００２１】
ステレオカメラ４の第１撮像手段４ａ及び第２撮像手段４ｂは、それぞれ撮影手段として撮像素子とこの撮像素子の結像面に計測対象物２の像を結像させるレンズとを備えている。撮像素子としては、例えばＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等のイメージセンサが用いられる。この撮像手段４ａ，４ｂのレンズには同じものが使用され、視野角及び解像度も略一致するように設定されている。また、第１撮像手段４ａ及び第２撮像手段４ｂは、感度が略一致するものが使用される。また、計測対象物２の３次元計測処理を行うにあたっては、事前にステレオカメラ４のキャリブレーションを行うことにより、カメラパラメータを調整しておく。
【００２２】
ステレオカメラ４により取得されたステレオ画像データは、コンピュータ５へと入力される。コンピュータ５は、ステレオカメラ４ｂにより取得されたステレオ画像データを用いて計測対象物２の三次元情報を得るための演算等を行うものであり、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｅｓｓｉｎｇ Ｕｎｉｔ）６と、ハードディス７と、画像処理部８と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９と、表示部１０と、操作部１１等を備えている。また、これら各部は、図１に示すように、互いにシステムバス１２に接続され、このシステムバス１２を介して種々のデータ等が入出力されて、ＣＰＵ６の制御の下、種々の処理が実行される。
【００２３】
ハードディス７では、ステレオカメラ４から入力されるステレオ画像データ等を用いて計測対象物２の３次元計測を行うための処理プログラム等を格納している。尚、本実施形態では、３次元計測を行うための処理プログラムをハードディスク７に格納している例を示しているが、これに代えて、コンピュータ読み取り可能な記憶媒体（不図示）に格納しておき、この記録媒体から処理プログラムを読み出すように構成することも可能である。
【００２４】
画像処理部８は、ハードディスク７に格納される処理プログラムに基づいて、ＣＰＵ６の制御の下、計測対象物２の３次元計測を行うための演算処理等を行うものである。ＲＡＭ９は、ハードディスク７から読み出された処理プログラムを一時的に記憶したり、ＣＰＵ５の作業領域等として用いられるものである。
【００２５】
表示部１０は、液晶ディスプレイ等から構成されるものであって、第１撮像手段４ａ及び第２撮像手段４ｂにより取得した画像等を表示するものである。操作部１１は、マウスやキーボード等で構成されており、操作者が種々のデータ及び操作指令等の入力を行うために使用されるものである。
【００２６】
以下、この３次元計測装置１による計測対象物２の３次元計測を行う処理の流れについて図３及び図５のフローチャートを用いながら説明する。尚、図３及び図５に示す処理は、ハードディスク７に格納された処理プログラムに従ってＣＰＵ６の制御の下、画像処理部８等により実行されるものである。
【００２７】
まず、計測対象物２の３次元計測処理を行うにあたって、レーザ投影手段３がどの位置でどのような姿勢であるかを求めるために、図４に示すような平面校正ボード１３を用いて、第１校正手段８１によりステレオカメラ４に設定されるステレオカメラ座標系とレーザ投影手段３に設定される投影手段座標系との間の回転及び並進を校正しておく。このステレオカメラ座標系と投影手段座標系との間の回転及び並進を校正するために用いる平面校正ボード１３は、図４に示すように、平面形状を有していれば良く、材質等は特に限定されるものではない。
【００２８】
図３のフローチャートに示すように、校正処理を行うにあたって、まずはレーザ投影手段３によりレーザパタンＰを平面校正ボード１３に投影する（Ｓ１０１）。そして、表面にレーザパタンＰ１が投影されている平面校正ボード１３をステレオカメラ４により撮影することにより、ステレオ画像を取得する（Ｓ１０２）。このようにして取得されたステレオ画像はコンピュータ５へと入力される。尚、このレーザ投影手段３によるレーザパタンＰの投影タイミング、及びステレオカメラ４による撮影タイミングは、コンピュータ５のタイミング同期手段（不図示）により同期するように制御されている。
【００２９】
次に、画像処理部８内の第１校正手段８１では、取得したステレオ画像に基づいて、３次元計測を行って格子交点Ｍの３次元座標に対して平面フィッティングを行う。平面フィッティングを行うことにより、平面校正ボード１３に垂直な軸を含む、平面校正ボード１３の３次元座標系が得られる。また、格子交点Ｍをフィッティング平面に射影することにより、平面校正ボード１３の平面における格子交点Ｍの２次元座標が得られる。そして、下記の数式（１）からステレオカメラ座標系と上記の平面フィッティングによって得られた平面校正ボード１３の３次元座標系との間の回転行列ＲＣＳ及び並進ベクトルｔＣＳを求める（Ｓ１０３）。尚、ここでは３次元計測を行って格子交点Ｍの３次元座標に対して平面フィッティングを行っているが、格子交点Ｍ以外の少なくとも３点以上の平面上に現れる特徴点の３次元座標に対して平面フィッティングを行うようにしても良い。
【数１】
【００３０】
次に、平面校正ボード１３に投影されているレーザパタンＰ１とレーザ投影手段３のレーザパタン平面上のレーザパタンＰとの対応関係を求める（Ｓ１０４）。具体的には、例えば、まず取得したステレオ画像から平面校正ボード１３に投影されている模様Ｔ１を抽出し、この点とレーザパタン平面のレーザパタンＰ上の模様Ｔとの対応付けを行う。そして、この模様Ｔ１を通る２本のレーザラインＬ１とレーザパタン平面上のレーザラインＬとの対応付けを行うことにより、夫々の平面間の対応付けを行うことができる。尚、ここでレーザパタン平面とは、レーザ投影手段３のレーザパタンＰが構成されている平面のことであり、この平面はレーザパタンＰが形成される際に予め規定されている。
【００３１】
そして、下記の数式（２）に表されるように、このステレオカメラ４により取得したステレオ画像に基づいて求めた平面校正ボード１３上のレーザパタンＰ１の格子交点Ｍの２次元座標と、レーザパタン平面における対応点の２次元座標との間で成り立つホモグラフィ変換行列Ｈを求め、そのホモグラフィ変換行列から校正ボード座標系と投影手段座標系との間の回転行列Ｒlpc及び並進ベクトルtlpcを計算する（Ｓ１０５）。尚、ホモグラフィ行列Ｈは、ｎが４以上あれば求めることができる。また、数式（２）に示すように、レーザ投影手段３の焦点距離ｆもホモグラフィ行列Ｈから同時に求めることができる。
【数２】
【００３２】
そして、平面校正ボード１３を介して、ステレオカメラ座標系と投影手段座標系との間の回転と並進を校正する（Ｓ１０６）。具体的には、数式（１）を数式（２）に代入することにより、下記の数式（３）が求められる。この数式（３）にステレオカメラ座標系ＸＳにおける３次元座標を代入することにより、対応するレーザパタン平面の２次元座標Ｘｌｐｃ、ｙｌｐｃを計算することができるようになる。従って、この数式（３）を用いることにより対応点を求めることができる。
【数３】
【００３３】
このように計測対象物２の３次元計測処理を行う前に、予め平面校正ボード１３を用いて、ステレオカメラ座標系と投影手段座標系との間の回転と並進を校正しておく。そして、その後、図５のフローチャートに示すように計測対象物２の３次元計測を行う。
【００３４】
図５に示すように、まず３次元計測装置１は、計測対象物２にレーザ投影手段３によりレーザパタンＰを投影する（Ｓ２０１）。そして、この表面にレーザパタンＰ１が投影された計測対象物２を第１撮像手段４ａ及び第２撮像手段４ｂ（ステレオカメラ４）により撮影することにより、第１の画像及び第２の画像（ステレオ画像）を取得する（Ｓ２０２）。このようにして取得されたステレオ画像はコンピュータ５へと入力される。
【００３５】
次に、画像処理部８内のレーザライン抽出手段８２により取得したステレオ画像からレーザラインＬを抽出する（Ｓ２０３）。そして、対応点探索手段８３では、このように抽出した第１の画像のレーザラインＬの１点につき、第２の画像のエピポーラ線に沿って、所定の視差範囲内にある全てのレーザライン点を対応点候補とし、３次元座標算出手段８３ａにより、この夫々の対応点候補のレーザライン点に対して３次元座標を求める（Ｓ２０４）。図６では、第１の画像のレーザラインＬの１点Ａにつき、第２の画像のエピポーラ線に沿うレーザライン点Ａ’、Ｂ’を対応点候補とし、同様に第１の画像のレーザラインＬの１点Ｂにつき、第２の画像のエピポーラ線に沿うレーザライン点Ａ’、Ｂ’を対応点候補としている例を示している。
【００３６】
座標変換手段８３ｂでは、この求められたレーザライン点の３次元座標を夫々投影手段座標系に座標系を変換する（Ｓ２０５）。そして、射影手段８３ｃでは、投影手段座標系に変換したレーザライン点を図６に示すように、レーザパタン平面に射影する（Ｓ２０６）。具体的には、第１校正手段８１により求められた数式（３）に対応点候補の３次元座標ＸＳを代入することにより、対応するレーザパタン平面への射影点の座標が求められる。
【００３７】
対応点判定手段８３ｄでは、このようにして求められた射影点がレーザパタン平面のレーザパタンＰ上にあるか否かを判定する（Ｓ２０７）。対応点判定手段８３ｄにより射影点がレーザパタンＰ上にあると判定された場合（Ｓ２０７：ＹＥＳ）には、その対応点候補を受け入れ、その結果を出力する（Ｓ２０８）。
【００３８】
一方、対応点判定手段８３ｄにより射影点がレーザパタン上にないと判定された場合（Ｓ２０７：ＮＯ）には、他の対応点候補が残っているか否かを判断し（Ｓ２０９）、他の対応点候補が残っていると判断した場合（Ｓ２０９：ＹＥＳ）には、その対応点候補について数式（３）を用いて、レーザパタン平面へ射影した点の座標を求め（Ｓ２０６、Ｓ２０７）、その射影点がレーザパタン平面のレーザパタンＰ上にあるか否かを再度判定する（Ｓ２０７）。この処理を対応点が見つかるまで繰り返し行うことにより、対応点を探索する。図６に示す例では、第１の画像におけるレーザラインＬ上の点Ａについては、ＡＡ’をレーザパタン平面に射影した場合に、レーザパタンＰと合致しているので、第２の画像におけるＡ’が対応点として受け入れられ、Ｂ’は拒否される。また、第１の画像におけるレーザラインＬ上の点Ｂについては、ＢＢ’をレーザパタン平面に射影した場合に、レーザパタンＰと合致しているので、第２の画像におけるＢ’が対応点として受け入れられ、Ａ’は拒否される。このような処理を行うことにより、対応点として虚像等の誤った対応点が選ばれることを防止することができ、精度良く対応付けを行うことができる。
【００３９】
本実施形態では、第１の画像のレーザライン点に対応する第２の画像のレーザラインの対応点候補の３次元座標を夫々求め、この３次元座標を第１校正手段８１により得られた数式（３）に基づいて投影手段座標系に変換してレーザパタン平面に射影した夫々の射影点がレーザパタンＰ上にあるか否かを判定することにより、対応点を求めているが、その他の従来公知の対応付け処理を行うように構成しても良い。
【００４０】
次に第２の実施形態に係る３次元計測装置１ａについて図７〜９を用いて意説明する。図７に示すように、３次元計測装置１ａは第１実施形態に係る３次元計測装置１と略同様の構成を備えるものであり、第１校正手段８１の代わりに第２校正手段８１ａを備えるものである。従って、第１実施形態に係る３次元計測装置１と同様の構成等については、同一の符号を付し、その詳細な説明は省略する。
【００４１】
３次元計測装置１ａでは、図９に示すように、平面校正ボード１３の代わりに非平面形状を有する非平面校正物体１４を用いて、第２校正手段８１ａによりステレオカメラ座標系と投影手段座標系との間の回転及び並進を校正する。この非平面校正物体１４は、図９に示すように曲面形状を有した物体に限られるものではなく、平面形状を折り曲げたようなものを用いることも可能である。
【００４２】
以下、この非平面校正物体１４を用いた第２校正手段８１ａによる校正処理の流れについて図８のフローチャートを用いながら説明する。校正処理を行うにあたって、まずはレーザ投影手段３によりレーザパタンＰを非平面校正物体１４に投影する（Ｓ３０１）。そして、表面にレーザパタンＰ１が投影されている非平面校正物体１４をステレオカメラ４により撮影することにより、ステレオ画像を取得する（Ｓ３０２）。
【００４３】
次に、画像処理部８内の第２校正手段８１ａでは、取得したステレオ画像に基づいて、非平面校正物体１８に投影されたレーザパタンＰ１の格子交点Ｍの３次元計測を行う（Ｓ３０３）。そして、非平面校正物体１４に投影されているレーザパタンＰ１とレーザ投影手段３のレーザパタン平面上のレーザパタンＰとの対応関係を求める（Ｓ３０４）。
【００４４】
そして、Ｓ３０３の処理により計測されたレーザパタンＰ１の格子交点Ｍの３次元座標と、レーザパタン平面における対応点の２次元座標との間で成り立つ射影行列Ｐを下記の数式（４）を用いて計算する（Ｓ３０５）。
【数４】
【００４５】
この射影行列Ｐから数式（５）に示すように、ステレオカメラ座標系と投影手段座標系との間の回転行列Ｒｌｐｓと並進ベクトルｔｌｐｓを求める（Ｓ３０６）。尚、射影行列Ｐは、数式（４）のｎが６以上あれば求めることができる。
【数５】
【００４６】
そして、数式（４）に数式（５）を代入することにより、下記の数式（６）が求められる。この数式（６）にステレオカメラ座標系ＸＳにおける３次元座標を代入することにより、対応するレーザパタン平面の２次元座標Ｘｌｐｃ、ｙｌｐｃを計算することができるようになる。従って、この数式（６）を用いることにより対応点を求めることができる。
【数６】
【００４７】
このように、第２校正手段８１ａによる処理により、平面校正ボード１３の代わりに非平面形状を有する非平面校正物体１４を用いて、ステレオカメラ座標系と投影手段座標系との間の回転及び並進を校正することも可能である。
【００４８】
尚、本発明の実施の形態は上述の形態に限るものではなく、本発明の思想の範囲を逸脱しない範囲で適宜変更することができることは云うまでもない。
【産業上の利用可能性】
【００４９】
本発明に係る３次元計測装置及び３次元計測方法は静的又は動的計測対象物の３次元計測を高精度に行うための技術として有効に利用することができる。
【符号の説明】
【００５０】
１、１ａ ３次計測装置
２ 計測対象物
３ レーザ投影手段
４ ステレオカメラ
４ａ 第１撮像手段
４ｂ 第２撮像手段
８１ 第１校正手段
８１ａ 第２校正手段
８２ レーザライン抽出手段
８３ 対応点探索手段
１３ 平面校正ボード
１４ 非平面校正物体
Ｐ レーザパタン（格子レーザパタン）
Ｌ レーザライン
【特許請求の範囲】
【請求項１】
複数方向の複数の直線及び／又は曲線状のレーザラインにより構成されるレーザパタンを計測対象物に投影するレーザ投影手段と、
前記レーザパタンが投影された計測対象物を撮影して第１の画像を取得する第１撮像手段及び該第１撮像手段と異なる方向から前記レーザパタンが投影された計測対象物を撮影して第２の画像を取得する第２撮像手段を有するステレオカメラと、
前記第１の画像及び前記第２の画像から前記レーザラインを抽出するレーザライン抽出手段と、
前記第１の画像のレーザライン点に対応する前記第２の画像のレーザラインの対応点を求める対応点探索手段と、を備えることを特徴とする３次元計測装置。
【請求項２】
予め前記レーザ投影手段により前記レーザパタンが投影された、平面を有する平面校正ボードを用いて、前記ステレオカメラに設定されるステレオカメラ座標系と前記レーザ投影手段に設定される投影手段座標系との間の回転及び並進を校正する第１校正手段を備え、
前記対応点探索手段は、前記第１の画像のレーザライン点に対応する前記第２の画像のレーザラインの対応点候補の３次元座標を夫々求め、該３次元座標を前記第１校正手段により得られた結果に基づいて前記投影手段座標系に変換して前記レーザパタンが構成されているレーザパタン平面に射影した夫々の射影点が前記レーザパタン上にあるか否かを判定することにより、対応点を求めることを特徴とする請求項１記載の３次元計測装置。
【請求項３】
予め前記レーザ投影手段により前記レーザパタンが投影された、非平面形状を有する非平面校正物体を用いて、前記ステレオカメラに設定されるステレオカメラ座標系と前記レーザ投影手段に設定される投影手段座標系との間の回転及び並進を校正する第２校正手段を備え、
前記対応点探索手段は、前記第１の画像のレーザライン点に対応する前記第２の画像のレーザラインの対応点候補の３次元座標を夫々求め、該３次元座標を前記第２校正手段により得られた結果に基づいて前記投影手段座標系に変換して前記レーザパタンが構成されているレーザパタン平面に射影した夫々の射影点が前記レーザパタン上にあるか否かを判定することにより、対応点を求めることを特徴とする請求項１記載の３次元計測装置。
【請求項４】
複数方向の複数の直線及び／又は曲線状のレーザラインにより構成されるレーザパタンをレーザ投影手段により計測対象物に投影するレーザ投影ステップと、
前記レーザパタンが投影された計測対象物をステレオカメラの第１撮像手段及び第２撮像手段により撮影して第１の画像及び第２の画像を取得するステレオ画像取得ステップと、
前記第１の画像及び前記第２の画像から前記レーザラインを抽出するレーザライン抽出ステップと、
前記第１の画像のレーザライン点に対応する前記第２の画像のレーザラインの対応点を求める対応点探索ステップと、を含むことを特徴とする３次元計測方法。
【請求項５】
予め前記レーザ投影手段により前記レーザパタンが投影された、平面を有する平面校正ボードを用いて、前記ステレオカメラに設定されるステレオカメラ座標系と前記レーザ投影手段に設定される投影手段座標系との間の回転及び並進を校正する第１校正ステップを備え、
前記対応点探索ステップでは、前記第１の画像のレーザライン点に対応する前記第２の画像のレーザラインの対応点候補の３次元座標を夫々求め、該３次元座標を前記第１校正ステップで得られた結果に基づいて前記投影手段座標系に変換して前記レーザパタンが構成されているレーザパタン平面に射影した夫々の射影点が前記レーザパタン上にあるか否かを判定することにより、対応点を求めることを特徴とする請求項４記載の３次元計測方法。
【請求項６】
予め前記レーザ投影手段により前記レーザパタンが投影された、非平面形状を有する非平面校正物体を用いて、前記ステレオカメラに設定されるステレオカメラ座標系と前記レーザ投影手段に設定される投影手段座標系との間の回転及び並進を校正する第２校正ステップを備え、
前記対応点探索ステップでは、前記第１の画像のレーザライン点に対応する前記第２の画像のレーザラインの対応点候補の３次元座標を夫々求め、該３次元座標を前記第２校正ステップで得られた結果に基づいて前記投影手段座標系に変換して前記レーザパタンが構成されているレーザパタン平面に射影した夫々の射影点が前記レーザパタン上にあるか否かを判定することにより、対応点を求めることを特徴とする請求項４記載の３次元計測方法。
【請求項１】
複数方向の複数の直線及び／又は曲線状のレーザラインにより構成されるレーザパタンを計測対象物に投影するレーザ投影手段と、
前記レーザパタンが投影された計測対象物を撮影して第１の画像を取得する第１撮像手段及び該第１撮像手段と異なる方向から前記レーザパタンが投影された計測対象物を撮影して第２の画像を取得する第２撮像手段を有するステレオカメラと、
前記第１の画像及び前記第２の画像から前記レーザラインを抽出するレーザライン抽出手段と、
前記第１の画像のレーザライン点に対応する前記第２の画像のレーザラインの対応点を求める対応点探索手段と、を備えることを特徴とする３次元計測装置。
【請求項２】
予め前記レーザ投影手段により前記レーザパタンが投影された、平面を有する平面校正ボードを用いて、前記ステレオカメラに設定されるステレオカメラ座標系と前記レーザ投影手段に設定される投影手段座標系との間の回転及び並進を校正する第１校正手段を備え、
前記対応点探索手段は、前記第１の画像のレーザライン点に対応する前記第２の画像のレーザラインの対応点候補の３次元座標を夫々求め、該３次元座標を前記第１校正手段により得られた結果に基づいて前記投影手段座標系に変換して前記レーザパタンが構成されているレーザパタン平面に射影した夫々の射影点が前記レーザパタン上にあるか否かを判定することにより、対応点を求めることを特徴とする請求項１記載の３次元計測装置。
【請求項３】
予め前記レーザ投影手段により前記レーザパタンが投影された、非平面形状を有する非平面校正物体を用いて、前記ステレオカメラに設定されるステレオカメラ座標系と前記レーザ投影手段に設定される投影手段座標系との間の回転及び並進を校正する第２校正手段を備え、
前記対応点探索手段は、前記第１の画像のレーザライン点に対応する前記第２の画像のレーザラインの対応点候補の３次元座標を夫々求め、該３次元座標を前記第２校正手段により得られた結果に基づいて前記投影手段座標系に変換して前記レーザパタンが構成されているレーザパタン平面に射影した夫々の射影点が前記レーザパタン上にあるか否かを判定することにより、対応点を求めることを特徴とする請求項１記載の３次元計測装置。
【請求項４】
複数方向の複数の直線及び／又は曲線状のレーザラインにより構成されるレーザパタンをレーザ投影手段により計測対象物に投影するレーザ投影ステップと、
前記レーザパタンが投影された計測対象物をステレオカメラの第１撮像手段及び第２撮像手段により撮影して第１の画像及び第２の画像を取得するステレオ画像取得ステップと、
前記第１の画像及び前記第２の画像から前記レーザラインを抽出するレーザライン抽出ステップと、
前記第１の画像のレーザライン点に対応する前記第２の画像のレーザラインの対応点を求める対応点探索ステップと、を含むことを特徴とする３次元計測方法。
【請求項５】
予め前記レーザ投影手段により前記レーザパタンが投影された、平面を有する平面校正ボードを用いて、前記ステレオカメラに設定されるステレオカメラ座標系と前記レーザ投影手段に設定される投影手段座標系との間の回転及び並進を校正する第１校正ステップを備え、
前記対応点探索ステップでは、前記第１の画像のレーザライン点に対応する前記第２の画像のレーザラインの対応点候補の３次元座標を夫々求め、該３次元座標を前記第１校正ステップで得られた結果に基づいて前記投影手段座標系に変換して前記レーザパタンが構成されているレーザパタン平面に射影した夫々の射影点が前記レーザパタン上にあるか否かを判定することにより、対応点を求めることを特徴とする請求項４記載の３次元計測方法。
【請求項６】
予め前記レーザ投影手段により前記レーザパタンが投影された、非平面形状を有する非平面校正物体を用いて、前記ステレオカメラに設定されるステレオカメラ座標系と前記レーザ投影手段に設定される投影手段座標系との間の回転及び並進を校正する第２校正ステップを備え、
前記対応点探索ステップでは、前記第１の画像のレーザライン点に対応する前記第２の画像のレーザラインの対応点候補の３次元座標を夫々求め、該３次元座標を前記第２校正ステップで得られた結果に基づいて前記投影手段座標系に変換して前記レーザパタンが構成されているレーザパタン平面に射影した夫々の射影点が前記レーザパタン上にあるか否かを判定することにより、対応点を求めることを特徴とする請求項４記載の３次元計測方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１２−５８０７６（Ｐ２０１２−５８０７６Ａ）
【公開日】平成２４年３月２２日（２０１２．３．２２）
【国際特許分類】
【出願番号】特願２０１０−２０１６０５（Ｐ２０１０−２０１６０５）
【出願日】平成２２年９月９日（２０１０．９．９）
【出願人】（３０１０２１６５８）株式会社三次元メディア (15)
【Ｆターム（参考）】
【公開日】平成２４年３月２２日（２０１２．３．２２）
【国際特許分類】
【出願日】平成２２年９月９日（２０１０．９．９）
【出願人】（３０１０２１６５８）株式会社三次元メディア (15)
【Ｆターム（参考）】
[ Back to top ]