測定装置及び測定方法
【課題】 パターン投影法により、測定対象物の画像特徴と距離画像とを同時に取得することを目的とする。
【解決手段】 測定装置に、測定対象に投影するパターン光特性の照明光を設定するパターン光特性設定部１１２と、前記照明光を前記測定対象に照射したときの反射光を測定する反射光測定部１２０と、測定された前記反射光から測定対象の物理特性に応じた画像特徴を抽出する画像特徴抽出部１３０と、前記画像特徴の局所領域ごとの分布特性を算出する特徴分布算出部１８０と、算出された前記局所領域ごとの分布特性に応じて、距離計測用のパターン光特性と、画像特徴抽出用のパターン光特性とを含む前記照明光のパターン光特性を制御するパターン光制御部１７０とを備える。
【解決手段】 測定装置に、測定対象に投影するパターン光特性の照明光を設定するパターン光特性設定部１１２と、前記照明光を前記測定対象に照射したときの反射光を測定する反射光測定部１２０と、測定された前記反射光から測定対象の物理特性に応じた画像特徴を抽出する画像特徴抽出部１３０と、前記画像特徴の局所領域ごとの分布特性を算出する特徴分布算出部１８０と、算出された前記局所領域ごとの分布特性に応じて、距離計測用のパターン光特性と、画像特徴抽出用のパターン光特性とを含む前記照明光のパターン光特性を制御するパターン光制御部１７０とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、測定装置及び測定方法に関するものである。
【背景技術】
【０００２】
従来より、測定対象物にパターン光を照射して表面形状を測定するパターン投影法が知られており、表面形状の算出方法やパターン光の制御方法等に関して、これまで種々の提案がなされている。
【０００３】
例えば、特許文献１には、測定対象物にパターン光を照射して、撮影した画像の特徴量や特徴量の変化に応じて、光空間変調素子が照射するパターン光の組み合わせ及び数を適応制御する構成が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−２９２３８５号公報
【非特許文献】
【０００５】
【非特許文献１】Ｄ． Ｇ． Ｌｏｗｅ， ”Ｆｉｔｔｉｎｇ ｐａｒａｍｅｔｅｒｉｚｅｄ ｔｈｒｅｅ−ｄｉｍｅｎｓｉｏｎａｌ ｍｏｄｅｌｓ ｔｏ ｉｍａｇｅｓ”， ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ， ｖｏｌ．１３， ｎｏ．５， ｐｐ．４４１−４５０， １９９１．
【非特許文献２】Ｌ． Ｖａｃｃｈｅｔｔｉ， Ｖ． Ｌｅｐｅｔｉｔ， ａｎｄ Ｐ． Ｆｕａ， ”Ｃｏｍｂｉｎｉｎｇ ｅｄｇｅ ａｎｄ ｔｅｘｔｕｒｅ ｉｎｆｏｒｍａｔｉｏｎ ｆｏｒ ｒｅａｌ−ｔｉｍｅ ａｃｃｕｒａｔｅ ３Ｄ ｃａｍｅｒａ ｔｒａｃｋｉｎｇ”， Ｐｒｏｃ． ＩＳＭＡＲ０４， ｐｐ．４８−５７， ２００４．
【非特許文献３】Ｒ． Ｈａｒｔｌｅｙ ａｎｄ Ａ． Ｚｉｓｓｅｒｍａｎ， ”Ｍｕｌｔｉｐｌｅ ｖｉｅｗ ｇｅｏｍｅｔｒｙ ｉｎ ｃｏｍｐｕｔｅｒ ｖｉｓｉｏｎ Ｓｅｃｏｎｄ Ｅｄｉｔｉｏｎ”， Ｃａｍｂｒｉｄｇｅ Ｕｎｉｖｅｒｓｉｔｙ Ｐｒｅｓｓ， ２００３．
【非特許文献４】Ｖ． Ｌｅｐｅｔｉｔ ａｎｄ Ｐ． Ｆｕａ， ”Ｋｅｙｐｏｉｎｔ ｒｅｃｏｇｎｉｔｉｏｎ ｕｓｉｎｇ ｒａｎｄｏｍｉｚｅｄ ｔｒｅｅｓ，” ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ， ｖｏｌ．２８， ｎｏ．９， ２００６．
【非特許文献５】田村秀行編著：”コンピュータ画像処理”，ｐｐ．１５８−１６２，オーム社，２００２年１２月
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上記特許文献１に記載の技術では、複数のスリット光を用いる必要がある。
【０００７】
また、測定対象物の位置姿勢計測を実行するには、少ない撮像回数で、かつ照明環境等に関してより実環境に即した情報を取得することが望ましい。そのため、測定対象物の画像特徴と距離画像とを同時に取得することが望ましい。
【０００８】
本発明は上記課題に鑑みてなされたものであり、測定対象物の画像特徴の分布特性に応じて、測定対象物に投影するパターンの特性を変更し、画像特徴と距離画像を同時に取得することを目的とする。
【課題を解決するための手段】
【０００９】
上記の目的を達成するために本発明に係る測定装置は、測定対象に投影するパターン光特性の照明光を設定する設定手段と、前記照明光を前記測定対象に照射したときの反射光を測定する測定手段と、測定された前記反射光から測定対象の物理特性に応じた画像特徴を抽出する抽出手段と、前記画像特徴の局所領域ごとの分布特性を算出する算出手段と、算出された前記局所領域ごとの分布特性に応じて、距離計測用のパターン光特性と、画像特徴抽出用のパターン光特性とを含む前記照明光のパターン光特性を制御する制御手段とを備える。
【発明の効果】
【００１０】
本発明によれば、測定対象物の画像特徴と距離画像を同時に取得することが可能となる。これにより、２次元的な画像特徴と３次元的な距離画像を相補的に利用した位置姿勢計測を実行できる。また、その際に、少ない撮像回数で、かつ照明環境等に関してより実環境に即した情報を取得することが可能となる。
【図面の簡単な説明】
【００１１】
【図１】測定装置の構成を示す図である。
【図２】測定処理の流れを示すフローチャートである。
【図３】測定対象物に均一な白色光が照射された場合の例を示す図である。
【図４】照射により生成される画像を示す図である。
【図５】位置姿勢情報算出部の構成を示す図である。
【図６】位置姿勢情報の算出手順を示すフローチャートである。
【図７】エッジ検出を説明する図である。
【図８】位置姿勢情報の算出手順を示すフローチャートである。
【図９】測定処理の流れを示すフローチャートである。
【図１０】スリット光の照射を説明する図である。
【図１１】スリット光を照射して得られた画像を示す図である。
【図１２】スリット光を照射して得られた画像を示す図である。
【発明を実施するための形態】
【００１２】
以下、図面を参照しながら、本発明の各実施形態について説明する。
【００１３】
［第１の実施形態］
図１は、距離計測用のパターン光特性と、画像特徴抽出用のパターン光特性が混在したパターン光を投影することにより、測定対象物の３次元情報を測定する測定装置の構成を示す図である。
【００１４】
照明部１１０は、測定対象物１００を照明する。照明部１１０において、パターン光照射部１１１は、照明部１１０に搭載され、測定対象物１００を照射する。パターン光特性設定部１１２は、パターン光照明部１１１から照射される照明光のパターン光特性を設定する。パターン光特性は、測定対象物１００を画像として撮像した際の、画像特徴の局所領域ごとの分布特性に基づき設定される。画像特徴の局所領域ごとの分布特性に基づくパターン光特性の設定方法は、後述する。
【００１５】
反射光測定部１２０は、測定対象物１００からの反射光を検出する光センサを備えており、測定対象物１００を画像として撮像して、反射光を測定する。
【００１６】
画像特徴抽出部１３０は、反射光測定部１２０により撮像された画像から、測定対象物１００の物理特性に応じて定まる画像特徴として、画像中のエッジ特徴を抽出する。エッジ特徴の抽出方法は、後述する。
【００１７】
特徴分布算出部１８０は、画像特徴抽出部１３０により抽出された画像特徴の、画像中での局所領域ごとの分布特性を算出する。分布特性の算出方法は、後述する。
【００１８】
出力部１４０は、後述する位置姿勢情報算出部１９０による算出結果を出力する。出力部１４０は、算出結果を表示するためのモニタ、プリンタなどを有する。
【００１９】
記録部１５０は、後述する位置姿勢情報算出部１９０による算出結果を記録するための手段である。記録部１５０は、算出結果のデータを記録するためのハードディスク、フラッシュメモリなどを備える。
【００２０】
制御部１６０は、反射光測定部１２０、画像特徴抽出部１３０、特徴分布算出部１８０、出力部１４０、記録部１５０の動作を制御する。制御部１６０は、ＣＰＵ、ＲＡＭ、各種制御プログラムが格納されたＲＯＭなどを備える。
【００２１】
ＲＯＭに格納された各種プログラムは、反射光測定部１２０、画像特徴抽出部１３０、特徴分布算出部１８０をそれぞれ制御するための制御プログラムなどが含まれる。更に、出力部１４０や記録部１５０をそれぞれ制御するための制御プログラムなどが含まれても良い。なお図１では、図の煩雑化を避けるため、制御部１６０から出力部１４０および記録部１５０に向かう線を省略している。
【００２２】
パターン光制御部１７０は、特徴分布算出部１８０で算出した測定対象物１００の、画像中での画像特徴の局所領域ごとの分布特性に関する情報に基づいて照明部１１０が照射するパターン光特性を制御する。パターン光特性の制御方法は後述する。パターン光制御部１７０は、制御部１６０の一機能として含まれても良い。
【００２３】
位置姿勢情報算出部１９０は、測定対象物に対して、距離計測用のパターン光特性と、画像特徴抽出用のパターン光特性が混在したパターン光が投影された状態で撮像された画像を元にして、位置姿勢を算出する。その際、画像から抽出される画像特徴の情報と距離データの両方を相補的に用いることにより、測定対象物の３次元情報として位置姿勢を算出する。位置姿勢の算出方法は、後述する。
【００２４】
図２は、本実施形態における測定装置の処理の流れを示した図である。図２を用いて、本実施形態における処理の流れを説明する。なお、以下の説明においては、照明部１１０として液晶プロジェクタを使用することとする。
【００２５】
ステップＳ２０１では、制御部１６０が、照明部１１０に基本パターン光設定信号を送り、照明部１１０が測定対象物１００に照射する照明光特性を基本パターン光に設定する。本実施形態では、画像特徴抽出用の基本パターン光として、空間的に一様に光を照射するために、均一な白色光が設定される。そして、照明部１１０が、設定された均一な白色光を測定対象物１００に照射する。
【００２６】
図３に、測定対象物に対して照明部から均一な白色光が照射された場合の一例を図示する。図３は、パターン光投影に液晶プロジェクタを使用した時の構成の一例を示す模式図である。測定対象物にパターン光を投影し、反射光をカメラで撮像する構成を示している。パターン光の設定は、ＰＣで行うものとするが、カメラ内や液晶プロジェクタ内で行ってもよい。液晶プロジェクタで投影可能なパターンの分解能は、液晶プロジェクタの解像度で決定される。
【００２７】
ステップＳ２０２では、反射光測定部１２０が、測定対象物１００の反射光を測定する。ここで、反射光測定部１２０による反射光の測定は、図３に示すように、照明部１１０からパターン光が照射された状態での、測定対象物１００の画像をカメラで撮像することに相当する。
【００２８】
ステップＳ２０３では、画像特徴抽出部１３０が、撮像された画像中の画像特徴に関する情報を抽出する。なお前述したように、本実施形態における画像特徴は、画像中のエッジ特徴である。画像からエッジ特徴を抽出する手法は多数提案されているが、ここでは、ラプラシアンフィルタによるエッジ抽出手法を用いることとする。なお、エッジ抽出手法としては、Ｓｏｂｅｌフィルタ、Ｐｒｅｗｉｔｔフィルタ、もしくはＣａｎｎｙ法などその他のフィルタおよびアルゴリズムを用いることが可能である。
【００２９】
図４の（ａ）に、前述した画像に対してラプラシアンフィルタによりエッジ特徴を抽出した結果の一例を示す。エッジ特徴の抽出結果においては、エッジの有無に関する情報が各画素ごとに８ｂｉｔの値として表されているものとする。この時、測定対象物のエッジが存在する部位付近ではエッジ特徴が密に抽出され、その他の面形状を有し、かつ模様の少ない部分ではエッジ特徴が疎に抽出される。図４の（ａ）では、測定対象物のエッジが存在する部位ではエッジ特徴が密に抽出され、その他の部位ではエッジ特徴がほとんど抽出されていないことが分かる。
【００３０】
ステップＳ２０４では、特徴分布算出部１８０が、ステップＳ２０３において抽出されたエッジ特徴より、画像中の局所領域ごとのエッジ特徴の分布特性を算出する。ここで、本実施形態におけるエッジ特徴の分布特性は、画像中でのエッジ特徴の疎密分布を意味する。本実施形態では、図４の（ａ）に示したエッジ特徴の抽出結果に対して、画像領域を小領域に分割する。
【００３１】
例えば本実施形態における画像の画素サイズを６４０×４８０とすると、一例として小領域の画素サイズを１６×１２とし、画像全体を４０×４０の領域に分割する。そして、各小領域に含まれる画素位置での、エッジ特徴の抽出結果の値を加算することで、各小領域におけるエッジ特徴の分布特性を算出する。そして、所定のしきい値に対する大小比較により、各小領域におけるエッジ特徴の分布特性を密、または疎のどちらか一方に決定する。
【００３２】
図４の（ｂ）に、エッジ特徴の分布特性が密と判定された小領域を黒く塗りつぶした図を示す。この時、図４の（ａ）と（ｂ）を比較すると分かるように、測定対象物のエッジが存在する部位付近の小領域では、エッジ特徴が密に算出され、一方エッジを含まない面形状を有し、かつ模様の少ない部分ではエッジ特徴が疎に算出されていることが分かる。
【００３３】
なお、測定対象物のエッジが含まれる小領域を漏れなく選択するために、図４の（ｃ）に示すように、エッジが密に算出された小領域に隣接する小領域を、同様にエッジが密に算出されたものと見なしても良い。図４の（ｃ）では、（ｂ）で黒く塗りつぶした小領域に隣接する小領域も黒く塗りつぶして表示している。
【００３４】
ステップＳ２０５では、パターン光制御部１７０が、ステップＳ２０４で算出された画像中でのエッジ特徴の疎密分布に基づいて、照射するパターン光の特性を設定する。具体的には、エッジ特徴の密な部分に、画像特徴抽出用のパターン光として均一な白色光が投影され、かつエッジ特徴の疎な部分に距離計測用のパターン光が投影されるような、両者が混在したパターン光を設定する。ここで、距離計測用のパターン光は、一例としてスリット光であるものとする。
【００３５】
パターン光制御部１７０は、前記のように画像特徴抽出用の均一な白色光と距離計測用のパターン光が混在したパターン光設定信号を照明部１１０に送る。このパターン光設定信号に基づいて、パターン光特性設定部１１２が、照明光特性を再設定する。
【００３６】
ここで、反射光測定部１２０と照明部１１０の配置には一般的にオフセットが存在するため、両者の幾何学的関係を利用して、反射光測定部１２０により撮像される画像上の位置を照明部１１０の照射パターンの画素位置に変換する。具体的には、幾何学的関係をもとに、平面状の点の一対一変換を表す平面ホモグラフィーを事前に算出し、これを用いて変換を行う。
【００３７】
なお本実施形態においては、画像特徴抽出用のパターン光を照射する領域と、距離計測用のパターン光を照射する領域を前述した方法により設定したが、その他の手法を用いてもよい。例えば、前述した小領域のサイズは任意に設定可能である。
【００３８】
また、前述した手法とは異なり、隣接する小領域が一部重なるように設定しても良い。また、前述したような小領域を設定する手法ではなく、連続するエッジを探索することにより、エッジ特徴の分布特性を算出する手法でも良い。また、画像より測定対象物のエッジが密に存在する領域を探索する手法は、その他の手法でも良い。
【００３９】
ステップＳ４６０６では、照明部１１０が、再設定されたパターンを測定対象物１００に照射する。
【００４０】
ステップＳ２０７では、ステップＳ２０２と同様に、反射光測定部１２０が、測定対象物１００の反射光を測定する。図４の（ｄ）に、撮像された画像の一例を示す。図４の（ｄ）から分かるように、測定対象物１００のエッジ付近には画像特徴抽出用の均一な白色光が投影され、またエッジ以外の面に対しては距離計測用のパターン光としてスリット光が投影されている。
【００４１】
ステップＳ２０８では、位置姿勢情報算出部１９０が、ステップＳ２０７で撮像された画像から、位置姿勢情報を算出する。具体的には、画像中で画像特徴抽出用の均一な白色光が投影された部位に対しては、画像特徴としてエッジ情報の抽出を行い、また画像中で距離計測用のパターン光が投影された部位に対しては、画像中のパターン光の撮像状況より、距離データを算出する。そしてさらに、抽出されたエッジ情報、および算出された距離データを相補的に用いて、測定対象物の位置姿勢情報を算出する。なお、前記位置姿勢情報の算出手法に関しては、後述する。
【００４２】
ステップＳ２０９では、制御部１６０の制御により、出力部１４０および記録部１５０が、測定対象物１００の位置姿勢情報の算出結果の出力と記録を行う。出力部１４０は、測定対象物１００の位置姿勢情報の算出結果をモニタなどに表示する。記録部１５０は、測定対象物１００の位置姿勢情報の算出結果をデジタルデータとして、ハードディスク、フラッシュメモリなどに格納する。
【００４３】
以下では、位置姿勢情報の算出方法の一例を詳細に説明する。位置姿勢情報算出部１９０は、図５に示すように、概略位置姿勢入力部５００と、３次元幾何モデル保持部５１０と、画像特徴抽出部５２０と、距離算出部５３０と、位置姿勢算出部５４０より構成される。３次元幾何モデル保持部５１０は、事前に測定対象物の３次元幾何モデルを保持しているものとする。
【００４４】
図６は本実施形態における位置姿勢情報算出部１９０における、測定対象物の位置姿勢計測の処理手順を示すフローチャートである。
【００４５】
ステップＳ６０１では、本実施形態における測定装置に対する測定対象物１００の位置及び姿勢の概略値を概略位置姿勢入力部５００により位置姿勢算出部５４０に入力する。物体の位置及び姿勢の概略値としては、前の時刻において計測された位置及び姿勢、速度や角速度などの運動の推定結果を加味した位置及び姿勢の予測値、他のセンサによる計測値などを用いることができる。本実施形態では、前の時刻において計測された位置及び姿勢を用いる。
【００４６】
ステップＳ６０２では、ステップＳ２０７において撮像された画像上において、画像特徴の検出を行う。本実施形態では、画像特徴としてエッジを検出する。エッジは濃度勾配の極値となる点である。位置姿勢情報算出部１９０においては、前述したステップＳ２０３における、パターン光特性を決定するためのエッジ抽出に用いたラプラシアンフィルタとは異なり、非特許文献１の方法によりエッジ検出を行う。
【００４７】
すなわち、前述したステップＳ２０３におけるパターン光特性を決定するために用いるエッジ特徴の分布は、必ずしも画像に対して位置精度が高いものである必要は無く、画像中でエッジ特徴が密に分布する領域を判別できるものであれば良い。一方、以下で説明する位置姿勢情報の算出処理においては、測定対象物の位置姿勢を精度良く算出するために、より精度良くエッジの存在位置を検出可能な手法を用いるものである。
【００４８】
ただしエッジ抽出手法に関しては、飽くまで所望のエッジ特徴の抽出精度に対応して決定されるべきもので、本実施形態におけるエッジ特徴の抽出手法の選択に限定されるものでは無い。必要とするエッジ特徴の抽出精度に対応して、エッジ特徴の抽出手法は自由に選択可能なものであり、本発明はそれを限定しない。
【００４９】
図７は、本実施形態におけるエッジ検出を説明する図である。まず、ステップＳ６０１において入力された計測対象物体１００の概略位置及び姿勢を用いて、計測対象物体１００の３次元幾何モデルの画像上への投影計算を行い、３次元モデルを構成するエッジの、画像上の投影像（線分）を求める。
【００５０】
なお、各線分の画像上への投影は、前述したステップＳ２０６において画像特徴抽出用の均一な白色光を投影した小領域に対してのみ行う。すなわち、仮に３次元モデルにおいてエッジが存在するとしても、実環境においては環境光等の影響により、対応するエッジ特徴を画像から抽出できるとは限らない。本実施形態のように、事前にエッジ特徴が密に分布することが判明している領域に対してのみ、３次元モデルのエッジを投影し、かつ後述する位置姿勢情報の算出時に、実際に抽出可能なエッジ情報のみを演算に用いることで計算量を削減することが可能となる。
【００５１】
次に、投影された各線分上において、等間隔に制御点を設定し、各制御点において、投影された線分の法線方向に探索ラインを設定し１次元のエッジ検出を行う（図７（ａ））。図７（ｂ）に示すように、エッジは画素値の濃度勾配の極値となる。そのため、近傍にエッジが存在する場合には探索ライン上で複数のエッジが検出されることがある。本実施形態では、非特許文献２で開示される方法と同様に、複数検出されるエッジを仮説として保持する。このようにして各制御点に対応する画像上のエッジを探索し、ステップＳ６０４における位置姿勢算出において３次元の線分をエッジにあてはめる。
【００５２】
ステップＳ６０３では、ステップＳ２０７において撮像された画像上の、距離演算用のパターン光が投影された領域について、距離を算出する。距離は、照明部１１０が照射する画像における画素の位置と、それに対応する反射光計測部１２０が撮像する画像上の点の位置と、照明部１１０と反射光計測部１２０の内部パラメータと相対的な位置及び姿勢に基づいて算出される。例えば、非特許文献３で開示される方法によって算出すればよい。距離が算出されたら、反射光計測部１２０の座標系における３次元座標を持つ点群データに変換する。３次元座標の算出は、反射光計測部１２０が撮像する画像上の点の位置に対応する視線ベクトルに距離データを乗算することにより行う。
【００５３】
ステップＳ６０４では、ステップＳ６０２において検出されたエッジ群及びステップＳ６０３において算出された点群データを用いて、計測対象物体１００の位置及び姿勢を算出する。
【００５４】
図８は、位置姿勢算出の処理手順を説明するフローチャートである。本処理では、Ｇａｕｓｓ−Ｎｅｗｔｏｎ法により計測対象物体の位置及び姿勢（以下、ｓで表す）の概略値を反復演算により繰り返し補正することにより位置及び姿勢を算出する。なお、計測対象物体の位置及び姿勢の算出方法はＧａｕｓｓ−Ｎｅｗｔｏｎ法に限るものではない。例えば、より計算がロバストであるＬｅｖｅｎｂｅｒｇ−Ｍａｒｑｕａｒｄｔ法によって行ってもよいし、よりシンプルな方法である最急降下法によって行ってもよい。また、共役勾配法やＩＣＣＧ法など、他の非線形最適化計算手法を用いてもよい。
【００５５】
ここでは、画像上で検出されたエッジと推定される位置及び姿勢に基づいて画像上に投影される線分との距離、点群データを構成する各点と位置及び姿勢に基づいて反射光計測部１２０の座標系に変換される面との距離を求める。そして距離の総和が最小化されるように位置姿勢を最適化する。より具体的には、２次元画像上での点と直線の符号付距離、３次元空間中での点と平面との符号付距離を、１次のテイラー展開によってそれぞれ物体の位置及び姿勢の微小変化の１次関数として表現する。そして、符号付距離が０になるような位置及び姿勢の微小変化に関する線形の連立方程式を立式して解くことにより、物体の位置及び姿勢の微小変化を求めて位置及び姿勢を補正することを繰り返す。
【００５６】
ステップＳ８０１では初期化を行う。ここでは、ステップＳ６０１で得られた計測対象物体１００の位置及び姿勢の概略値を入力する。
【００５７】
ステップＳ８０２では対応付けを行う。まず、位置及び姿勢の概略値に基づいて、３次元幾何モデルの各線分の画像への投影及び各面の反射光計測部１２０の座標系への座標変換を行う。次に、エッジ及び点群データの対応付けを行う。ステップＳ６０２において、各制御点に関して複数のエッジが検出される場合がある。そこで、検出されたエッジのうち、位置及び姿勢の概略値に基づいて投影された線分に対し、画像上で最も近いエッジを制御点に対応付ける。さらに点群データに関しては、各点の反射光計測部１２０の座標系における３次元座標に基づいて３次元幾何モデル中の最も近傍の面を探索し対応付ける。
【００５８】
ステップＳ８０３では、線形連立方程式を解くための係数行列と誤差ベクトルの算出を行う。ここで係数行列の各要素は、位置及び姿勢の概略値の微小変化に対する一次の偏微分係数である。エッジについては、画像座標の偏微分係数を算出し、点群については３次元座標の偏微分係数を算出する。誤差ベクトルは、エッジについては投影された線分と検出されたエッジの画像上での距離、点群データについてはモデルの面と点の３次元空間中での距離である。
【００５９】
図７の（ｃ）は、線分の投影像と検出されたエッジとの関係を示している。図７の（ｃ）では、画像の水平方向、垂直方向をそれぞれｕ軸、ｖ軸としている。ある制御点（投影された各線分を画像上で等間隔に分割した点）の画像上での位置を（ｕ０、ｖ０）、該制御点が所属する線分の画像上での傾きをｕ軸に対する傾きθと表す。傾きθは、線分の両端の３次元座標をｓに基づいて画像上に投影し、画像上での両端の座標を結んだ直線の傾きとして算出する。該線分の画像上での法線ベクトルは（ｓｉｎθ、−ｃｏｓθ）となる。また、該制御点の対応点の画像座標を（ｕ’、ｖ’）とする。ここで、点（ｕ’、ｖ’）を通り、傾きがθである直線上の点（ｕ、ｖ）は、
ｕｓｉｎθ−ｖｃｏｓθ＝ｄ （１）
と表せる（θは定数）。ここで、ｄ＝ｕ’ｓｉｎθ−ｖ’ｃｏｓθ（定数）とした。制御点の画像上での位置は計測対象物体の位置及び姿勢により変化する。また、計測対象物体の位置及び姿勢の自由度は６自由度である。すなわちｓは６次元ベクトルであり、計測対象物体の位置を表す３つの要素と、姿勢を表す３つの要素からなる。姿勢を表す３つの要素は、例えばオイラー角による表現や、方向が回転軸を表して大きさが回転角を表す３次元ベクトルなどによって表現される。位置及び姿勢により変化する制御点の画像座標（ｕ、ｖ）は（ｕ０、ｖ０）の近傍で１次のテイラー展開によって数２のように近似できる。但しΔｓｉ（ｉ＝１、２、・・・、６）はｓの各成分の微小変化を表す。
【００６０】
【数１】
【００６１】
正しいｓによって得られる制御点の画像上での位置は数１が表す直線上にあると仮定できる。数２によって近似されるｕ、ｖを数１に代入することにより、式（３）が得られる。
【００６２】
【数２】
【００６３】
ただし、ｒ＝ｕ０ｓｉｎθ−ｖ０ｃｏｓθ（定数）とした。
【００６４】
反射光計測部１２０の座標系における３次元座標は、計測対象物体の位置及び姿勢ｓによって計測対象物体の座標系における３次元座標（ｘ、ｙ、ｚ）に変換することができる。概略の位置及び姿勢により、ある点が計測対象物体座標系の点（ｘ０、ｙ０、ｚ０）に変換されるとする。（ｘ、ｙ、ｚ）は計測対象物体の位置及び姿勢により変化するものであり、（ｘ０、ｙ０、ｚ０）の近傍で１次のテイラー展開によって式（４）のように近似できる。
【００６５】
【数３】
【００６６】
ステップＳ８０２において、点群データ中のある点に対応付けられた３次元幾何モデルの面の、計測対象物体座標系における方程式をａｘ＋ｂｙ＋ｃｚ＝ｅ（ａ２＋ｂ２＋ｃ２＝１、ａ、ｂ、ｃ、ｅは定数）とする。正しいｓによって変換される（ｘ、ｙ、ｚ）は、平面の方程式ａｘ＋ｂｙ＋ｃｚ＝ｅ（ａ２＋ｂ２＋ｃ２＝１）を満たすと仮定する。数４を平面の方程式に代入すると式（５）が得られる。
【００６７】
【数４】
【００６８】
ただし、ｑ＝ａｘ０＋ｂｙ０＋ｃ０（定数）とした。
【００６９】
式（３）は、ステップＳ８０２で対応付けが行われたすべてのエッジについて成り立つ。また式（５）は、ステップＳ８０２で対応付けが行われたすべての点群データについて成り立つため、式（６）のようなΔｓｉに関する線形連立方程式が成り立つ。
【００７０】
【数５】
【００７１】
ここで式（６）を式（７）のように表す。
ＪΔｓ＝Ｅ （７）
【００７２】
式（６）の線形連立方程式の係数行列Ｊを算出するための偏微分係数は、例えば非特許文献４に開示されている方法によって算出される。
【００７３】
ステップＳ８０４では、式（７）をもとに、行列Ｊの一般化逆行列（ＪＴ・Ｊ）−１・ＪＴを用いてΔｓを求める。しかしながら、エッジや点群データには誤検出などによる外れ値が多いため、次に述べるようなロバスト推定手法を用いる。一般に、外れ値であるエッジ（点群データ）では誤差ｄ−ｒ（ｅ−ｑ）が大きくなる。そのため式（６）、式（７）の連立方程式に対する寄与度が大きくなり、その結果得られるΔｓの精度が低下してしまう。そこで、誤差ｄ−ｒ（ｅ−ｑ）が大きいデータには小さな重みを与え、誤差ｄ−ｒ（ｅ−ｑ）が小さいデータには大きな重みを与える。重みは例えば式（８）に示すようなＴｕｋｅｙの関数により与える。
【００７４】
【数６】
【００７５】
ｃ１、ｃ２は定数である。なお、重みを与える関数はＴｕｋｅｙの関数である必要はなく、例えばＨｕｂｅｒの関数など、誤差が大きいデータには小さな重みを与え、誤差が小さいデータには大きな重みを与える関数であればなんでもよい。各データ（エッジまたは点群データ）に対応する重みをｗｉとする。ここで式（９）のように重み行列Ｗを定義する。
【００７６】
【数７】
【００７７】
重み行列Ｗは、対角成分以外はすべて０の正方行列であり、対角成分には重みｗｉが入る。この重み行列Ｗを用いて、式（７）を式（１０）のように変形する。
ＷＪΔｓ＝ＷＥ （１０）
式（１１）のように式（１０）を解くことにより補正値Δｓを求める。
Δｓ＝（ＪＴＷＪ）−１ＪＴ ＷＥ （１１）
ステップＳ８０５では、ステップＳ８０４において算出された位置及び姿勢の補正値Δｓにより、位置及び姿勢の概略値を補正する。
【００７８】
ステップＳ８０６では、収束判定を行い、収束していれば終了し、そうでなければステップＳ８０２に戻る。収束判定では、補正値Δｓがほぼ０である場合や、誤差ベクトルの二乗和の補正前と補正後の差がほぼ０である場合に収束したと判定する。
【００７９】
以上説明した処理手順を実行することにより、２次元的な画像特徴と３次元的な距離画像を相補的に用いて、測定対象物の位置姿勢を算出することが可能となる。
【００８０】
なお、位置姿勢情報の算出方法は上述した手法に限ったものではなく、２次元的な画像特徴と３次元的な距離画像を相補的に利用した手法であれば、その他の如何なる手法であっても構わない。すなわち、測定対象物の画像特徴および分布特性に応じて、測定対象物に投影するパターンの特性を変更し、距離計測用のパターン光特性と、画像特徴抽出用のパターン光特性が混在したパターン光を投影する点が特徴である。かかる手法は、２次元的な画像特徴と３次元的な距離画像を相補的に利用する如何なる位置姿勢算出方法においても有効である。
【００８１】
例えば、２次元特徴であるエッジ情報を用いた、測定対象物の２次元投影モデルとの単純なパターンマッチングと、３次元的な距離データと測定対象物の３次元モデルとの３次元的なパターンマッチングに適用する。そして、両者の評価関数を所定の重み付けのもとに加算してマッチング評価を実行する手法等であっても構わない。
【００８２】
以上述べたように、実施形態１０では、測定対象物の画像特徴および分布特性に応じて、距離計測用のパターン光特性と、画像特徴抽出用のパターン光特性が混在したパターン光を投影する。これにより、画像特徴と距離画像を同時に取得できるため、２次元的な画像特徴と３次元的な距離画像を相補的に利用した位置姿勢計測を実行できる。その際に、少ない撮像回数で、かつ照明環境等に関してより実環境に即した情報を取得することが可能となる。
【００８３】
［実施形態２］
本実施形態は、基本パターン光として距離計測用のパターン光を照射し、さらに撮像した画像中でのパターン光の連続性に基づいて画像特徴抽出用のパターン光と距離計測用のパターン光が混在したパターン光特性を設定する点が、実施形態１と異なる。従って本実施形態では、実施形態１との相違点についてのみ説明を行い、その他の部分に関しては説明を省略する。
【００８４】
本実施形態における測定装置は、実施形態１における測定装置と同様の構成を有する。ただし画像特徴抽出部１３０は、反射光測定部１２０により撮像された画像に対して２値化処理を実行し、２値化画像を算出する。本実施形態では、後述するように基本パターン光としてスリット光を投影するため、２値化処理を実行することにより、画像特徴としてスリット光の形状を抽出することが可能となる。
【００８５】
また、特徴分布算出部１８０は、実施形態１と同様に、画像特徴抽出部１３０により抽出された画像特徴の、画像中での局所領域ごとの分布特性を算出する。ただし、本実施形態においては、前記分布特性は、スリット光の連続性を算出することを意味する。
【００８６】
またパターン光制御部１７０は、実施形態１と同様に、特徴分布算出部１８０で算出した画像特徴の局所領域ごとの分布特性に関する情報に基づいてパターン光特性を制御する。本実施形態においては、画像特徴の局所領域ごとの分布特性は、前述したようにスリット光の連続性を意味する。
【００８７】
図９は、本実施形態における測定処理の流れを示すフローチャートである。図１０に、測定対象物１００に対して照明部１１０からスリット光が照射された場合の一例を図示する。図１０では、照明部１１０として液晶プロジェクタを使用する。図１１及び１２に、スリット光を照射して得られた画像を示す。
【００８８】
ステップＳ９０１では、制御部１６０が、照明部１１０に基本パターン光設定信号を送り、パターン光特性設定部１１２が、照明光特性を基本パターン光に設定する。本実施形態における基本パターン光は、距離計測用のスリット光が設定されている。そして、照明部１１０が、設定された基本パターンを測定対象物１００に照射する。
【００８９】
ここで、図１１の（ａ）では、スリット光投影位置と測定対象物１００との位置関係を分かりやすくするため、測定対象物１００に対してスリット光が投影される位置を黒い縞模様で示している。図１１の（ｂ）は、スリット光を照射した状態を示している。なお本実施形態において、測定対象物１００は台の上に置かれているものとする。
【００９０】
ステップＳ９０２では、反射光測定部１２０が、測定対象物１００の反射光を測定する。実施形態１と同様に、反射光の測定は、パターン光が照射された状態で測定対象物を撮像することに相当する。この時、反射光測定部１２０により撮像される画像として、図１０の（ａ）に示すような画像が得られる。
【００９１】
ステップＳ９０３では、画像特徴抽出部１３０が、撮像された画像中の画像特徴に関する情報を抽出する。本実施形態においては、撮像された画像を２値化処理することにより、画像特徴としてスリット光の形状を抽出する。抽出された２値化画像の例を図１１の（ｂ）に示す。図１１の（ｂ）を見ると分かるとおり、スリット光が照射された画像より２値化画像を生成することにより、画像特徴としてスリット光の形状を抽出することが可能となる。
【００９２】
この時、図１１の（ｃ）において点線で囲んで示したように、測定対象物１００の不連続な面にスリット光が投影されている場合、不連続な面の境界においてスリット光が断裂することが分かる。これを一般的にジャンプエッジと呼ぶ。
【００９３】
ジャンプエッジ部においては、スリット光が断裂しているため、本来連続しているスリット光の対応をとる事が困難となり、距離計測用のパターン光投影による距離データの算出が困難となる。また、ジャンプエッジ部は測定対象物のエッジが存在する部位であり、画像特徴としてエッジ特徴を抽出しやすいと考えられる。
【００９４】
さらに図１１の（ｄ）において点線で一部を囲んで示したように、ジャンプエッジ以外の、測定対象物１００の連続した面の境界に存在するエッジ部においては、スリット光が鋭角に屈曲していることが分かる。従って、画像中でスリット光が鋭角に屈曲している部位は、画像特徴としてエッジ特徴を抽出しやすいと考えられる。
【００９５】
ステップＳ９０４では、特徴分布算出部１８０が、ステップＳ９０３において抽出されたスリット光の、画像中の局所領域ごとの分布特性を算出する。ここで、本実施形態におけるスリット光の分布特性は、画像中のスリット光の局所領域ごとの連続性、及び屈曲した部位の分布を意味する。本実施形態では以下の手法により、スリット光の連続性を算出する。
【００９６】
まず、画像特徴抽出部１３０より得られた２値化画像に対して細線化処理を行い、スリット光の画像上での軌跡の線幅が１画素となるように変換を行う。細線化処理方法としては、Ｈｉｌｄｉｔｃｈ、田村の方法、Ｚｈａｎｇ Ｓｕｅｎ等の多数の手法が有るが、本実施形態では非特許文献５に開示されている田村の方法を用いる。細線化処理後の２値化画像の一例を図１２の（ａ）に示す。
【００９７】
続いて、図１２の（ａ）において画素値として１（Ｈｉｇｈ）を有する全ての画素に関して、隣接する画素の画素値を参照する。図１２の（ｂ）に、（ａ）の一部を拡大して表示した画像を示す。なお（ｂ）においては、１つのマス目が一つの画素を示している。すなわち（ｂ）に示すように、隣接する画素中の１画素のみが画素値として１（Ｈｉｇｈ）を有している場合、参照元の画素周辺において、スリット光は断裂していることが分かる。
【００９８】
ステップＳ９０５では、パターン光制御部１７０が、ステップＳ９０４で算出された画像中でのスリット光の連続性に基づいて、パターン光を設定するパターン光設定信号を照明部１１０に送る。このパターン光設定信号に基づいて、パターン光特性設定部１１２が、照明光特性を再設定する。その際、スリット光が連続している部分に距離計測用のパターン光が投影され、またスリット光が断裂している部分に画像特徴抽出用のパターン光として均一な白色光が投影されるような、両者が混在したパターン光を設定する。
【００９９】
より詳細には、スリット光が断裂していると推測される画素を中心とする小領域を、画像特徴抽出用のパターン光（すなわち均一な白色光）を投影する領域に設定する。この場合、小領域のサイズは例えば投影したスリット光の線幅および線間隔に応じて適当に設定することができる。
【０１００】
例えばスリット光の線幅が３画素、線間隔が２画素で有った場合、図１２の（ｂ）に示すように、前記小領域サイズを一例として１１×１１画素に設定する。結果として、図１２の（ｄ）に示すようにスリット光の断裂部、すなわちジャンプエッジに相当する部位を画像特徴抽出用のパターン光（すなわち均一な白色光）を投影する領域に設定する事が可能となる。
【０１０１】
なお、スリット光の連続性を算出する手法は上述したものに限定されることは無く、適切にスリット光の連続性を算出できる手法であればその他の手法であっても構わない。
【０１０２】
また本実施形態では以下の手法により、画像中でスリット光が鋭角に屈曲している部位を算出する。まず、前述したのと同様に画像特徴抽出部より得られた２値化画像に対して細線化処理を行い、スリット光の画像上での軌跡の線幅が１画素となるように変換を行う。
【０１０３】
続いて図１２の（ｃ）に示すように、前述した手法で算出したスリット光の断裂部に相当すると推測される画素を起点として設定する。図１２の（ｃ）では、起点に対応する画素部を白点線で囲んでいる。
【０１０４】
続いて起点に設定した画素から、隣接する画素中で画素値として１（Ｈｉｇｈ）を有する画素を順に辿っていき、所定の画素数分離れた画素を終点に設定する。図１２の（ｃ）では、終点に対応する画素部を白点線で囲んでいる。所定の画素数は適当な値を選択することが可能だが、本実施形態では７画素とする。
【０１０５】
ここで、起点に設定した画素と終点に設定した画素の画像上での位置座標を元にして、両者を線分で結んだ場合の線分の傾きを算出する。さらに以上の処理を、起点に設定する画素を１画素ずつずらしながら繰り返し、終点がスリット光の断裂部に相当すると推測される画素に到達するまで繰り返す。
【０１０６】
この場合図１２の（ｄ）に示すように、起点と終点に設定された画素が、スリット光が鋭角に屈曲する部位にまたがる場合に、線分の傾きが変化する。なお図１２の（ｄ）は、（ｃ）の一部を拡大して表示した画像を示しており、１つのマス目が一つの画素を示している。従って、算出された線分の傾きが変化する範囲内の画素領域において、中央に相当する画素位置に測定対象物のエッジが存在すると推測することができる。
【０１０７】
なお、エッジが存在すると推測される領域を決定する際に、線分の傾きの変化量を所定のしきい値と比較して、しきい値以上の変化量を有する画素領域内にエッジが存在するものとしても良い。
【０１０８】
そしてさらにステップＳ９０５において、エッジが存在すると推測される画素を中心とする小領域を画像特徴抽出用のパターン光（すなわち均一な白色光）を投影する領域に設定する。この場合、小領域のサイズは例えば投影したスリット光の線幅および線間隔に応じて適当に設定することができる。
【０１０９】
例えばスリット光の線幅が３画素、線間隔が２画素で有った場合、前記小領域サイズを一例として１１×１１画素に設定する。これにより、スリット光の屈曲部、すなわちエッジに相当する部位を画像特徴抽出用のパターン光（すなわち均一な白色光）を投影する領域に設定する事が可能となる。
【０１１０】
なお、スリット光が鋭角に屈曲する位置を算出する手法は上述したものに限定されることは無く、適切にスリット光が鋭角に屈曲する位置を算出できる手法であればその他の手法であっても構わない。
【０１１１】
ステップＳ９０５では、前述したようにスリット光が画像上で断裂している部位の周辺領域（ジャンプエッジに対応）と、スリット光が鋭角に屈曲する部位の周辺領域（エッジに対応）に対して、画像特徴抽出用のパターン光特性として均一な白色光を設定する。またそれ以外の領域に対しては、距離計測用のパターン光を設定する。
【０１１２】
ここで、反射光測定部１２０と照明部１１０の配置には一般的にオフセットが存在する。このため、両者の幾何学的関係を利用して、反射光測定部１２０により撮像される画像上の位置を照明部１１０の照射パターンの画素位置に変換するのは実施形態１０と同様である。また、以降のステップＳ９０６〜ステップＳ９０９の処理に関しても、実施形態１０におけるステップＳ２０６〜ステップＳ２０９と同様であるため、詳細な説明は省略する。
【０１１３】
なお、本実施形態では距離計測用のパターン光としてスリット光を用いたが、これに限定されるものではない。測定対象物のジャンプエッジおよびエッジ部を抽出するために、画像中の局所的な連続性を算出可能なパターン光であれば、スリット光以外の形状を有するパターン光であっても構わない。
【０１１４】
以上述べたように、実施形態２では、測定対象物の画像特徴および分布特性に応じて、距離計測用のパターン光特性と、画像特徴抽出用のパターン光特性が混在したパターン光を投影する。これにより、画像特徴と距離画像を同時に取得できる。このため、２次元的な画像特徴と３次元的な距離画像とを相補的に利用した位置姿勢計測を実行する際に、少ない撮像回数で、かつ照明環境等に関してより実環境に即した情報を取得することが可能となる。
【０１１５】
［変形例１］
以上説明した実施形態１及び２においては、画像特徴抽出部および位置姿勢情報算出部においては、画像特徴としてエッジ特徴を抽出した。しかしながら画像特徴はエッジに限るものではない。非特許文献４に開示されるように、例えばＨａｒｒｉｓの検出器を用いて画像から特徴点を検出し、特徴点に３次元モデルを画像上に投影した点を当てはめることにより、位置姿勢情報を算出するものであっても良い。
【０１１６】
またステップＳ２０４において距離計測用の照明を照射する領域を設定する際に、特徴点の情報を使用した以下に述べる方法を用いるものでもあっても良い。すなわち実施形態１０で説明したステップＳ２０４と同様に、画像を小領域に分割し、小領域内の特徴点の値を加算して、所定の値以上を有する小領域付近を距離計測用の照明を照射する領域に設定することができる。また画像特徴抽出部および位置姿勢情報算出部においては、Ｈａｒｒｉｓの検出器以外にもＳＩＦＴ特徴量またはＨｏＧ特徴量等の適当な画像特徴量を用いて同様な演算を実行することが可能である。
【０１１７】
［変形例２］
以上説明した実施形態１及び２においては、距離計測用のパターン光として、スリット光を用いた。しかしながら、距離計測用のパターン光は、これに限るものではなく、例えば単一もしくは複数のスポット光であっても良い。または、ランダムドットパターンもしくは空間コード化パターンであっても良い。位置姿勢情報算出部においては、これらのパターン光を用いて距離データを算出する事が可能であり、その詳細に関しては非特許文献１に記載されている。
【０１１８】
［変形例３］
以上説明した実施形態１及び２においては、パターン光投影手段として液晶プロジェクタを使用した場合を一例として示したが、本発明はこれに限定されるものではない。例えば液晶プロジェクタの代わりに、ＤＭＤ（Ｄｉｇｉｔａｌ Ｍｉｒｒｏｒ ｄｅｖｉｃｅ）と光源を組み合わせた構成を用いても良い。もしくは、２次元マルチアレイ光源とＭＥＭＳ（Ｍｉｃｒｏ Ｅｌｅｃｔｒｏ Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍ）ミラーを組み合わせた構成を用いても良い。任意のパターン光を投影可能なものであれば、如何なるパターン光投影手段を使用しても構わない。
【０１１９】
［他の実施形態］
なお、本発明は、複数の機器（例えばホストコンピュータ、インタフェース機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。
【０１２０】
また、本発明は、以下の処理を実施することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ）がプログラムを読み出して実行する処理である。
【技術分野】
【０００１】
本発明は、測定装置及び測定方法に関するものである。
【背景技術】
【０００２】
従来より、測定対象物にパターン光を照射して表面形状を測定するパターン投影法が知られており、表面形状の算出方法やパターン光の制御方法等に関して、これまで種々の提案がなされている。
【０００３】
例えば、特許文献１には、測定対象物にパターン光を照射して、撮影した画像の特徴量や特徴量の変化に応じて、光空間変調素子が照射するパターン光の組み合わせ及び数を適応制御する構成が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−２９２３８５号公報
【非特許文献】
【０００５】
【非特許文献１】Ｄ． Ｇ． Ｌｏｗｅ， ”Ｆｉｔｔｉｎｇ ｐａｒａｍｅｔｅｒｉｚｅｄ ｔｈｒｅｅ−ｄｉｍｅｎｓｉｏｎａｌ ｍｏｄｅｌｓ ｔｏ ｉｍａｇｅｓ”， ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ， ｖｏｌ．１３， ｎｏ．５， ｐｐ．４４１−４５０， １９９１．
【非特許文献２】Ｌ． Ｖａｃｃｈｅｔｔｉ， Ｖ． Ｌｅｐｅｔｉｔ， ａｎｄ Ｐ． Ｆｕａ， ”Ｃｏｍｂｉｎｉｎｇ ｅｄｇｅ ａｎｄ ｔｅｘｔｕｒｅ ｉｎｆｏｒｍａｔｉｏｎ ｆｏｒ ｒｅａｌ−ｔｉｍｅ ａｃｃｕｒａｔｅ ３Ｄ ｃａｍｅｒａ ｔｒａｃｋｉｎｇ”， Ｐｒｏｃ． ＩＳＭＡＲ０４， ｐｐ．４８−５７， ２００４．
【非特許文献３】Ｒ． Ｈａｒｔｌｅｙ ａｎｄ Ａ． Ｚｉｓｓｅｒｍａｎ， ”Ｍｕｌｔｉｐｌｅ ｖｉｅｗ ｇｅｏｍｅｔｒｙ ｉｎ ｃｏｍｐｕｔｅｒ ｖｉｓｉｏｎ Ｓｅｃｏｎｄ Ｅｄｉｔｉｏｎ”， Ｃａｍｂｒｉｄｇｅ Ｕｎｉｖｅｒｓｉｔｙ Ｐｒｅｓｓ， ２００３．
【非特許文献４】Ｖ． Ｌｅｐｅｔｉｔ ａｎｄ Ｐ． Ｆｕａ， ”Ｋｅｙｐｏｉｎｔ ｒｅｃｏｇｎｉｔｉｏｎ ｕｓｉｎｇ ｒａｎｄｏｍｉｚｅｄ ｔｒｅｅｓ，” ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ， ｖｏｌ．２８， ｎｏ．９， ２００６．
【非特許文献５】田村秀行編著：”コンピュータ画像処理”，ｐｐ．１５８−１６２，オーム社，２００２年１２月
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上記特許文献１に記載の技術では、複数のスリット光を用いる必要がある。
【０００７】
また、測定対象物の位置姿勢計測を実行するには、少ない撮像回数で、かつ照明環境等に関してより実環境に即した情報を取得することが望ましい。そのため、測定対象物の画像特徴と距離画像とを同時に取得することが望ましい。
【０００８】
本発明は上記課題に鑑みてなされたものであり、測定対象物の画像特徴の分布特性に応じて、測定対象物に投影するパターンの特性を変更し、画像特徴と距離画像を同時に取得することを目的とする。
【課題を解決するための手段】
【０００９】
上記の目的を達成するために本発明に係る測定装置は、測定対象に投影するパターン光特性の照明光を設定する設定手段と、前記照明光を前記測定対象に照射したときの反射光を測定する測定手段と、測定された前記反射光から測定対象の物理特性に応じた画像特徴を抽出する抽出手段と、前記画像特徴の局所領域ごとの分布特性を算出する算出手段と、算出された前記局所領域ごとの分布特性に応じて、距離計測用のパターン光特性と、画像特徴抽出用のパターン光特性とを含む前記照明光のパターン光特性を制御する制御手段とを備える。
【発明の効果】
【００１０】
本発明によれば、測定対象物の画像特徴と距離画像を同時に取得することが可能となる。これにより、２次元的な画像特徴と３次元的な距離画像を相補的に利用した位置姿勢計測を実行できる。また、その際に、少ない撮像回数で、かつ照明環境等に関してより実環境に即した情報を取得することが可能となる。
【図面の簡単な説明】
【００１１】
【図１】測定装置の構成を示す図である。
【図２】測定処理の流れを示すフローチャートである。
【図３】測定対象物に均一な白色光が照射された場合の例を示す図である。
【図４】照射により生成される画像を示す図である。
【図５】位置姿勢情報算出部の構成を示す図である。
【図６】位置姿勢情報の算出手順を示すフローチャートである。
【図７】エッジ検出を説明する図である。
【図８】位置姿勢情報の算出手順を示すフローチャートである。
【図９】測定処理の流れを示すフローチャートである。
【図１０】スリット光の照射を説明する図である。
【図１１】スリット光を照射して得られた画像を示す図である。
【図１２】スリット光を照射して得られた画像を示す図である。
【発明を実施するための形態】
【００１２】
以下、図面を参照しながら、本発明の各実施形態について説明する。
【００１３】
［第１の実施形態］
図１は、距離計測用のパターン光特性と、画像特徴抽出用のパターン光特性が混在したパターン光を投影することにより、測定対象物の３次元情報を測定する測定装置の構成を示す図である。
【００１４】
照明部１１０は、測定対象物１００を照明する。照明部１１０において、パターン光照射部１１１は、照明部１１０に搭載され、測定対象物１００を照射する。パターン光特性設定部１１２は、パターン光照明部１１１から照射される照明光のパターン光特性を設定する。パターン光特性は、測定対象物１００を画像として撮像した際の、画像特徴の局所領域ごとの分布特性に基づき設定される。画像特徴の局所領域ごとの分布特性に基づくパターン光特性の設定方法は、後述する。
【００１５】
反射光測定部１２０は、測定対象物１００からの反射光を検出する光センサを備えており、測定対象物１００を画像として撮像して、反射光を測定する。
【００１６】
画像特徴抽出部１３０は、反射光測定部１２０により撮像された画像から、測定対象物１００の物理特性に応じて定まる画像特徴として、画像中のエッジ特徴を抽出する。エッジ特徴の抽出方法は、後述する。
【００１７】
特徴分布算出部１８０は、画像特徴抽出部１３０により抽出された画像特徴の、画像中での局所領域ごとの分布特性を算出する。分布特性の算出方法は、後述する。
【００１８】
出力部１４０は、後述する位置姿勢情報算出部１９０による算出結果を出力する。出力部１４０は、算出結果を表示するためのモニタ、プリンタなどを有する。
【００１９】
記録部１５０は、後述する位置姿勢情報算出部１９０による算出結果を記録するための手段である。記録部１５０は、算出結果のデータを記録するためのハードディスク、フラッシュメモリなどを備える。
【００２０】
制御部１６０は、反射光測定部１２０、画像特徴抽出部１３０、特徴分布算出部１８０、出力部１４０、記録部１５０の動作を制御する。制御部１６０は、ＣＰＵ、ＲＡＭ、各種制御プログラムが格納されたＲＯＭなどを備える。
【００２１】
ＲＯＭに格納された各種プログラムは、反射光測定部１２０、画像特徴抽出部１３０、特徴分布算出部１８０をそれぞれ制御するための制御プログラムなどが含まれる。更に、出力部１４０や記録部１５０をそれぞれ制御するための制御プログラムなどが含まれても良い。なお図１では、図の煩雑化を避けるため、制御部１６０から出力部１４０および記録部１５０に向かう線を省略している。
【００２２】
パターン光制御部１７０は、特徴分布算出部１８０で算出した測定対象物１００の、画像中での画像特徴の局所領域ごとの分布特性に関する情報に基づいて照明部１１０が照射するパターン光特性を制御する。パターン光特性の制御方法は後述する。パターン光制御部１７０は、制御部１６０の一機能として含まれても良い。
【００２３】
位置姿勢情報算出部１９０は、測定対象物に対して、距離計測用のパターン光特性と、画像特徴抽出用のパターン光特性が混在したパターン光が投影された状態で撮像された画像を元にして、位置姿勢を算出する。その際、画像から抽出される画像特徴の情報と距離データの両方を相補的に用いることにより、測定対象物の３次元情報として位置姿勢を算出する。位置姿勢の算出方法は、後述する。
【００２４】
図２は、本実施形態における測定装置の処理の流れを示した図である。図２を用いて、本実施形態における処理の流れを説明する。なお、以下の説明においては、照明部１１０として液晶プロジェクタを使用することとする。
【００２５】
ステップＳ２０１では、制御部１６０が、照明部１１０に基本パターン光設定信号を送り、照明部１１０が測定対象物１００に照射する照明光特性を基本パターン光に設定する。本実施形態では、画像特徴抽出用の基本パターン光として、空間的に一様に光を照射するために、均一な白色光が設定される。そして、照明部１１０が、設定された均一な白色光を測定対象物１００に照射する。
【００２６】
図３に、測定対象物に対して照明部から均一な白色光が照射された場合の一例を図示する。図３は、パターン光投影に液晶プロジェクタを使用した時の構成の一例を示す模式図である。測定対象物にパターン光を投影し、反射光をカメラで撮像する構成を示している。パターン光の設定は、ＰＣで行うものとするが、カメラ内や液晶プロジェクタ内で行ってもよい。液晶プロジェクタで投影可能なパターンの分解能は、液晶プロジェクタの解像度で決定される。
【００２７】
ステップＳ２０２では、反射光測定部１２０が、測定対象物１００の反射光を測定する。ここで、反射光測定部１２０による反射光の測定は、図３に示すように、照明部１１０からパターン光が照射された状態での、測定対象物１００の画像をカメラで撮像することに相当する。
【００２８】
ステップＳ２０３では、画像特徴抽出部１３０が、撮像された画像中の画像特徴に関する情報を抽出する。なお前述したように、本実施形態における画像特徴は、画像中のエッジ特徴である。画像からエッジ特徴を抽出する手法は多数提案されているが、ここでは、ラプラシアンフィルタによるエッジ抽出手法を用いることとする。なお、エッジ抽出手法としては、Ｓｏｂｅｌフィルタ、Ｐｒｅｗｉｔｔフィルタ、もしくはＣａｎｎｙ法などその他のフィルタおよびアルゴリズムを用いることが可能である。
【００２９】
図４の（ａ）に、前述した画像に対してラプラシアンフィルタによりエッジ特徴を抽出した結果の一例を示す。エッジ特徴の抽出結果においては、エッジの有無に関する情報が各画素ごとに８ｂｉｔの値として表されているものとする。この時、測定対象物のエッジが存在する部位付近ではエッジ特徴が密に抽出され、その他の面形状を有し、かつ模様の少ない部分ではエッジ特徴が疎に抽出される。図４の（ａ）では、測定対象物のエッジが存在する部位ではエッジ特徴が密に抽出され、その他の部位ではエッジ特徴がほとんど抽出されていないことが分かる。
【００３０】
ステップＳ２０４では、特徴分布算出部１８０が、ステップＳ２０３において抽出されたエッジ特徴より、画像中の局所領域ごとのエッジ特徴の分布特性を算出する。ここで、本実施形態におけるエッジ特徴の分布特性は、画像中でのエッジ特徴の疎密分布を意味する。本実施形態では、図４の（ａ）に示したエッジ特徴の抽出結果に対して、画像領域を小領域に分割する。
【００３１】
例えば本実施形態における画像の画素サイズを６４０×４８０とすると、一例として小領域の画素サイズを１６×１２とし、画像全体を４０×４０の領域に分割する。そして、各小領域に含まれる画素位置での、エッジ特徴の抽出結果の値を加算することで、各小領域におけるエッジ特徴の分布特性を算出する。そして、所定のしきい値に対する大小比較により、各小領域におけるエッジ特徴の分布特性を密、または疎のどちらか一方に決定する。
【００３２】
図４の（ｂ）に、エッジ特徴の分布特性が密と判定された小領域を黒く塗りつぶした図を示す。この時、図４の（ａ）と（ｂ）を比較すると分かるように、測定対象物のエッジが存在する部位付近の小領域では、エッジ特徴が密に算出され、一方エッジを含まない面形状を有し、かつ模様の少ない部分ではエッジ特徴が疎に算出されていることが分かる。
【００３３】
なお、測定対象物のエッジが含まれる小領域を漏れなく選択するために、図４の（ｃ）に示すように、エッジが密に算出された小領域に隣接する小領域を、同様にエッジが密に算出されたものと見なしても良い。図４の（ｃ）では、（ｂ）で黒く塗りつぶした小領域に隣接する小領域も黒く塗りつぶして表示している。
【００３４】
ステップＳ２０５では、パターン光制御部１７０が、ステップＳ２０４で算出された画像中でのエッジ特徴の疎密分布に基づいて、照射するパターン光の特性を設定する。具体的には、エッジ特徴の密な部分に、画像特徴抽出用のパターン光として均一な白色光が投影され、かつエッジ特徴の疎な部分に距離計測用のパターン光が投影されるような、両者が混在したパターン光を設定する。ここで、距離計測用のパターン光は、一例としてスリット光であるものとする。
【００３５】
パターン光制御部１７０は、前記のように画像特徴抽出用の均一な白色光と距離計測用のパターン光が混在したパターン光設定信号を照明部１１０に送る。このパターン光設定信号に基づいて、パターン光特性設定部１１２が、照明光特性を再設定する。
【００３６】
ここで、反射光測定部１２０と照明部１１０の配置には一般的にオフセットが存在するため、両者の幾何学的関係を利用して、反射光測定部１２０により撮像される画像上の位置を照明部１１０の照射パターンの画素位置に変換する。具体的には、幾何学的関係をもとに、平面状の点の一対一変換を表す平面ホモグラフィーを事前に算出し、これを用いて変換を行う。
【００３７】
なお本実施形態においては、画像特徴抽出用のパターン光を照射する領域と、距離計測用のパターン光を照射する領域を前述した方法により設定したが、その他の手法を用いてもよい。例えば、前述した小領域のサイズは任意に設定可能である。
【００３８】
また、前述した手法とは異なり、隣接する小領域が一部重なるように設定しても良い。また、前述したような小領域を設定する手法ではなく、連続するエッジを探索することにより、エッジ特徴の分布特性を算出する手法でも良い。また、画像より測定対象物のエッジが密に存在する領域を探索する手法は、その他の手法でも良い。
【００３９】
ステップＳ４６０６では、照明部１１０が、再設定されたパターンを測定対象物１００に照射する。
【００４０】
ステップＳ２０７では、ステップＳ２０２と同様に、反射光測定部１２０が、測定対象物１００の反射光を測定する。図４の（ｄ）に、撮像された画像の一例を示す。図４の（ｄ）から分かるように、測定対象物１００のエッジ付近には画像特徴抽出用の均一な白色光が投影され、またエッジ以外の面に対しては距離計測用のパターン光としてスリット光が投影されている。
【００４１】
ステップＳ２０８では、位置姿勢情報算出部１９０が、ステップＳ２０７で撮像された画像から、位置姿勢情報を算出する。具体的には、画像中で画像特徴抽出用の均一な白色光が投影された部位に対しては、画像特徴としてエッジ情報の抽出を行い、また画像中で距離計測用のパターン光が投影された部位に対しては、画像中のパターン光の撮像状況より、距離データを算出する。そしてさらに、抽出されたエッジ情報、および算出された距離データを相補的に用いて、測定対象物の位置姿勢情報を算出する。なお、前記位置姿勢情報の算出手法に関しては、後述する。
【００４２】
ステップＳ２０９では、制御部１６０の制御により、出力部１４０および記録部１５０が、測定対象物１００の位置姿勢情報の算出結果の出力と記録を行う。出力部１４０は、測定対象物１００の位置姿勢情報の算出結果をモニタなどに表示する。記録部１５０は、測定対象物１００の位置姿勢情報の算出結果をデジタルデータとして、ハードディスク、フラッシュメモリなどに格納する。
【００４３】
以下では、位置姿勢情報の算出方法の一例を詳細に説明する。位置姿勢情報算出部１９０は、図５に示すように、概略位置姿勢入力部５００と、３次元幾何モデル保持部５１０と、画像特徴抽出部５２０と、距離算出部５３０と、位置姿勢算出部５４０より構成される。３次元幾何モデル保持部５１０は、事前に測定対象物の３次元幾何モデルを保持しているものとする。
【００４４】
図６は本実施形態における位置姿勢情報算出部１９０における、測定対象物の位置姿勢計測の処理手順を示すフローチャートである。
【００４５】
ステップＳ６０１では、本実施形態における測定装置に対する測定対象物１００の位置及び姿勢の概略値を概略位置姿勢入力部５００により位置姿勢算出部５４０に入力する。物体の位置及び姿勢の概略値としては、前の時刻において計測された位置及び姿勢、速度や角速度などの運動の推定結果を加味した位置及び姿勢の予測値、他のセンサによる計測値などを用いることができる。本実施形態では、前の時刻において計測された位置及び姿勢を用いる。
【００４６】
ステップＳ６０２では、ステップＳ２０７において撮像された画像上において、画像特徴の検出を行う。本実施形態では、画像特徴としてエッジを検出する。エッジは濃度勾配の極値となる点である。位置姿勢情報算出部１９０においては、前述したステップＳ２０３における、パターン光特性を決定するためのエッジ抽出に用いたラプラシアンフィルタとは異なり、非特許文献１の方法によりエッジ検出を行う。
【００４７】
すなわち、前述したステップＳ２０３におけるパターン光特性を決定するために用いるエッジ特徴の分布は、必ずしも画像に対して位置精度が高いものである必要は無く、画像中でエッジ特徴が密に分布する領域を判別できるものであれば良い。一方、以下で説明する位置姿勢情報の算出処理においては、測定対象物の位置姿勢を精度良く算出するために、より精度良くエッジの存在位置を検出可能な手法を用いるものである。
【００４８】
ただしエッジ抽出手法に関しては、飽くまで所望のエッジ特徴の抽出精度に対応して決定されるべきもので、本実施形態におけるエッジ特徴の抽出手法の選択に限定されるものでは無い。必要とするエッジ特徴の抽出精度に対応して、エッジ特徴の抽出手法は自由に選択可能なものであり、本発明はそれを限定しない。
【００４９】
図７は、本実施形態におけるエッジ検出を説明する図である。まず、ステップＳ６０１において入力された計測対象物体１００の概略位置及び姿勢を用いて、計測対象物体１００の３次元幾何モデルの画像上への投影計算を行い、３次元モデルを構成するエッジの、画像上の投影像（線分）を求める。
【００５０】
なお、各線分の画像上への投影は、前述したステップＳ２０６において画像特徴抽出用の均一な白色光を投影した小領域に対してのみ行う。すなわち、仮に３次元モデルにおいてエッジが存在するとしても、実環境においては環境光等の影響により、対応するエッジ特徴を画像から抽出できるとは限らない。本実施形態のように、事前にエッジ特徴が密に分布することが判明している領域に対してのみ、３次元モデルのエッジを投影し、かつ後述する位置姿勢情報の算出時に、実際に抽出可能なエッジ情報のみを演算に用いることで計算量を削減することが可能となる。
【００５１】
次に、投影された各線分上において、等間隔に制御点を設定し、各制御点において、投影された線分の法線方向に探索ラインを設定し１次元のエッジ検出を行う（図７（ａ））。図７（ｂ）に示すように、エッジは画素値の濃度勾配の極値となる。そのため、近傍にエッジが存在する場合には探索ライン上で複数のエッジが検出されることがある。本実施形態では、非特許文献２で開示される方法と同様に、複数検出されるエッジを仮説として保持する。このようにして各制御点に対応する画像上のエッジを探索し、ステップＳ６０４における位置姿勢算出において３次元の線分をエッジにあてはめる。
【００５２】
ステップＳ６０３では、ステップＳ２０７において撮像された画像上の、距離演算用のパターン光が投影された領域について、距離を算出する。距離は、照明部１１０が照射する画像における画素の位置と、それに対応する反射光計測部１２０が撮像する画像上の点の位置と、照明部１１０と反射光計測部１２０の内部パラメータと相対的な位置及び姿勢に基づいて算出される。例えば、非特許文献３で開示される方法によって算出すればよい。距離が算出されたら、反射光計測部１２０の座標系における３次元座標を持つ点群データに変換する。３次元座標の算出は、反射光計測部１２０が撮像する画像上の点の位置に対応する視線ベクトルに距離データを乗算することにより行う。
【００５３】
ステップＳ６０４では、ステップＳ６０２において検出されたエッジ群及びステップＳ６０３において算出された点群データを用いて、計測対象物体１００の位置及び姿勢を算出する。
【００５４】
図８は、位置姿勢算出の処理手順を説明するフローチャートである。本処理では、Ｇａｕｓｓ−Ｎｅｗｔｏｎ法により計測対象物体の位置及び姿勢（以下、ｓで表す）の概略値を反復演算により繰り返し補正することにより位置及び姿勢を算出する。なお、計測対象物体の位置及び姿勢の算出方法はＧａｕｓｓ−Ｎｅｗｔｏｎ法に限るものではない。例えば、より計算がロバストであるＬｅｖｅｎｂｅｒｇ−Ｍａｒｑｕａｒｄｔ法によって行ってもよいし、よりシンプルな方法である最急降下法によって行ってもよい。また、共役勾配法やＩＣＣＧ法など、他の非線形最適化計算手法を用いてもよい。
【００５５】
ここでは、画像上で検出されたエッジと推定される位置及び姿勢に基づいて画像上に投影される線分との距離、点群データを構成する各点と位置及び姿勢に基づいて反射光計測部１２０の座標系に変換される面との距離を求める。そして距離の総和が最小化されるように位置姿勢を最適化する。より具体的には、２次元画像上での点と直線の符号付距離、３次元空間中での点と平面との符号付距離を、１次のテイラー展開によってそれぞれ物体の位置及び姿勢の微小変化の１次関数として表現する。そして、符号付距離が０になるような位置及び姿勢の微小変化に関する線形の連立方程式を立式して解くことにより、物体の位置及び姿勢の微小変化を求めて位置及び姿勢を補正することを繰り返す。
【００５６】
ステップＳ８０１では初期化を行う。ここでは、ステップＳ６０１で得られた計測対象物体１００の位置及び姿勢の概略値を入力する。
【００５７】
ステップＳ８０２では対応付けを行う。まず、位置及び姿勢の概略値に基づいて、３次元幾何モデルの各線分の画像への投影及び各面の反射光計測部１２０の座標系への座標変換を行う。次に、エッジ及び点群データの対応付けを行う。ステップＳ６０２において、各制御点に関して複数のエッジが検出される場合がある。そこで、検出されたエッジのうち、位置及び姿勢の概略値に基づいて投影された線分に対し、画像上で最も近いエッジを制御点に対応付ける。さらに点群データに関しては、各点の反射光計測部１２０の座標系における３次元座標に基づいて３次元幾何モデル中の最も近傍の面を探索し対応付ける。
【００５８】
ステップＳ８０３では、線形連立方程式を解くための係数行列と誤差ベクトルの算出を行う。ここで係数行列の各要素は、位置及び姿勢の概略値の微小変化に対する一次の偏微分係数である。エッジについては、画像座標の偏微分係数を算出し、点群については３次元座標の偏微分係数を算出する。誤差ベクトルは、エッジについては投影された線分と検出されたエッジの画像上での距離、点群データについてはモデルの面と点の３次元空間中での距離である。
【００５９】
図７の（ｃ）は、線分の投影像と検出されたエッジとの関係を示している。図７の（ｃ）では、画像の水平方向、垂直方向をそれぞれｕ軸、ｖ軸としている。ある制御点（投影された各線分を画像上で等間隔に分割した点）の画像上での位置を（ｕ０、ｖ０）、該制御点が所属する線分の画像上での傾きをｕ軸に対する傾きθと表す。傾きθは、線分の両端の３次元座標をｓに基づいて画像上に投影し、画像上での両端の座標を結んだ直線の傾きとして算出する。該線分の画像上での法線ベクトルは（ｓｉｎθ、−ｃｏｓθ）となる。また、該制御点の対応点の画像座標を（ｕ’、ｖ’）とする。ここで、点（ｕ’、ｖ’）を通り、傾きがθである直線上の点（ｕ、ｖ）は、
ｕｓｉｎθ−ｖｃｏｓθ＝ｄ （１）
と表せる（θは定数）。ここで、ｄ＝ｕ’ｓｉｎθ−ｖ’ｃｏｓθ（定数）とした。制御点の画像上での位置は計測対象物体の位置及び姿勢により変化する。また、計測対象物体の位置及び姿勢の自由度は６自由度である。すなわちｓは６次元ベクトルであり、計測対象物体の位置を表す３つの要素と、姿勢を表す３つの要素からなる。姿勢を表す３つの要素は、例えばオイラー角による表現や、方向が回転軸を表して大きさが回転角を表す３次元ベクトルなどによって表現される。位置及び姿勢により変化する制御点の画像座標（ｕ、ｖ）は（ｕ０、ｖ０）の近傍で１次のテイラー展開によって数２のように近似できる。但しΔｓｉ（ｉ＝１、２、・・・、６）はｓの各成分の微小変化を表す。
【００６０】
【数１】
【００６１】
正しいｓによって得られる制御点の画像上での位置は数１が表す直線上にあると仮定できる。数２によって近似されるｕ、ｖを数１に代入することにより、式（３）が得られる。
【００６２】
【数２】
【００６３】
ただし、ｒ＝ｕ０ｓｉｎθ−ｖ０ｃｏｓθ（定数）とした。
【００６４】
反射光計測部１２０の座標系における３次元座標は、計測対象物体の位置及び姿勢ｓによって計測対象物体の座標系における３次元座標（ｘ、ｙ、ｚ）に変換することができる。概略の位置及び姿勢により、ある点が計測対象物体座標系の点（ｘ０、ｙ０、ｚ０）に変換されるとする。（ｘ、ｙ、ｚ）は計測対象物体の位置及び姿勢により変化するものであり、（ｘ０、ｙ０、ｚ０）の近傍で１次のテイラー展開によって式（４）のように近似できる。
【００６５】
【数３】
【００６６】
ステップＳ８０２において、点群データ中のある点に対応付けられた３次元幾何モデルの面の、計測対象物体座標系における方程式をａｘ＋ｂｙ＋ｃｚ＝ｅ（ａ２＋ｂ２＋ｃ２＝１、ａ、ｂ、ｃ、ｅは定数）とする。正しいｓによって変換される（ｘ、ｙ、ｚ）は、平面の方程式ａｘ＋ｂｙ＋ｃｚ＝ｅ（ａ２＋ｂ２＋ｃ２＝１）を満たすと仮定する。数４を平面の方程式に代入すると式（５）が得られる。
【００６７】
【数４】
【００６８】
ただし、ｑ＝ａｘ０＋ｂｙ０＋ｃ０（定数）とした。
【００６９】
式（３）は、ステップＳ８０２で対応付けが行われたすべてのエッジについて成り立つ。また式（５）は、ステップＳ８０２で対応付けが行われたすべての点群データについて成り立つため、式（６）のようなΔｓｉに関する線形連立方程式が成り立つ。
【００７０】
【数５】
【００７１】
ここで式（６）を式（７）のように表す。
ＪΔｓ＝Ｅ （７）
【００７２】
式（６）の線形連立方程式の係数行列Ｊを算出するための偏微分係数は、例えば非特許文献４に開示されている方法によって算出される。
【００７３】
ステップＳ８０４では、式（７）をもとに、行列Ｊの一般化逆行列（ＪＴ・Ｊ）−１・ＪＴを用いてΔｓを求める。しかしながら、エッジや点群データには誤検出などによる外れ値が多いため、次に述べるようなロバスト推定手法を用いる。一般に、外れ値であるエッジ（点群データ）では誤差ｄ−ｒ（ｅ−ｑ）が大きくなる。そのため式（６）、式（７）の連立方程式に対する寄与度が大きくなり、その結果得られるΔｓの精度が低下してしまう。そこで、誤差ｄ−ｒ（ｅ−ｑ）が大きいデータには小さな重みを与え、誤差ｄ−ｒ（ｅ−ｑ）が小さいデータには大きな重みを与える。重みは例えば式（８）に示すようなＴｕｋｅｙの関数により与える。
【００７４】
【数６】
【００７５】
ｃ１、ｃ２は定数である。なお、重みを与える関数はＴｕｋｅｙの関数である必要はなく、例えばＨｕｂｅｒの関数など、誤差が大きいデータには小さな重みを与え、誤差が小さいデータには大きな重みを与える関数であればなんでもよい。各データ（エッジまたは点群データ）に対応する重みをｗｉとする。ここで式（９）のように重み行列Ｗを定義する。
【００７６】
【数７】
【００７７】
重み行列Ｗは、対角成分以外はすべて０の正方行列であり、対角成分には重みｗｉが入る。この重み行列Ｗを用いて、式（７）を式（１０）のように変形する。
ＷＪΔｓ＝ＷＥ （１０）
式（１１）のように式（１０）を解くことにより補正値Δｓを求める。
Δｓ＝（ＪＴＷＪ）−１ＪＴ ＷＥ （１１）
ステップＳ８０５では、ステップＳ８０４において算出された位置及び姿勢の補正値Δｓにより、位置及び姿勢の概略値を補正する。
【００７８】
ステップＳ８０６では、収束判定を行い、収束していれば終了し、そうでなければステップＳ８０２に戻る。収束判定では、補正値Δｓがほぼ０である場合や、誤差ベクトルの二乗和の補正前と補正後の差がほぼ０である場合に収束したと判定する。
【００７９】
以上説明した処理手順を実行することにより、２次元的な画像特徴と３次元的な距離画像を相補的に用いて、測定対象物の位置姿勢を算出することが可能となる。
【００８０】
なお、位置姿勢情報の算出方法は上述した手法に限ったものではなく、２次元的な画像特徴と３次元的な距離画像を相補的に利用した手法であれば、その他の如何なる手法であっても構わない。すなわち、測定対象物の画像特徴および分布特性に応じて、測定対象物に投影するパターンの特性を変更し、距離計測用のパターン光特性と、画像特徴抽出用のパターン光特性が混在したパターン光を投影する点が特徴である。かかる手法は、２次元的な画像特徴と３次元的な距離画像を相補的に利用する如何なる位置姿勢算出方法においても有効である。
【００８１】
例えば、２次元特徴であるエッジ情報を用いた、測定対象物の２次元投影モデルとの単純なパターンマッチングと、３次元的な距離データと測定対象物の３次元モデルとの３次元的なパターンマッチングに適用する。そして、両者の評価関数を所定の重み付けのもとに加算してマッチング評価を実行する手法等であっても構わない。
【００８２】
以上述べたように、実施形態１０では、測定対象物の画像特徴および分布特性に応じて、距離計測用のパターン光特性と、画像特徴抽出用のパターン光特性が混在したパターン光を投影する。これにより、画像特徴と距離画像を同時に取得できるため、２次元的な画像特徴と３次元的な距離画像を相補的に利用した位置姿勢計測を実行できる。その際に、少ない撮像回数で、かつ照明環境等に関してより実環境に即した情報を取得することが可能となる。
【００８３】
［実施形態２］
本実施形態は、基本パターン光として距離計測用のパターン光を照射し、さらに撮像した画像中でのパターン光の連続性に基づいて画像特徴抽出用のパターン光と距離計測用のパターン光が混在したパターン光特性を設定する点が、実施形態１と異なる。従って本実施形態では、実施形態１との相違点についてのみ説明を行い、その他の部分に関しては説明を省略する。
【００８４】
本実施形態における測定装置は、実施形態１における測定装置と同様の構成を有する。ただし画像特徴抽出部１３０は、反射光測定部１２０により撮像された画像に対して２値化処理を実行し、２値化画像を算出する。本実施形態では、後述するように基本パターン光としてスリット光を投影するため、２値化処理を実行することにより、画像特徴としてスリット光の形状を抽出することが可能となる。
【００８５】
また、特徴分布算出部１８０は、実施形態１と同様に、画像特徴抽出部１３０により抽出された画像特徴の、画像中での局所領域ごとの分布特性を算出する。ただし、本実施形態においては、前記分布特性は、スリット光の連続性を算出することを意味する。
【００８６】
またパターン光制御部１７０は、実施形態１と同様に、特徴分布算出部１８０で算出した画像特徴の局所領域ごとの分布特性に関する情報に基づいてパターン光特性を制御する。本実施形態においては、画像特徴の局所領域ごとの分布特性は、前述したようにスリット光の連続性を意味する。
【００８７】
図９は、本実施形態における測定処理の流れを示すフローチャートである。図１０に、測定対象物１００に対して照明部１１０からスリット光が照射された場合の一例を図示する。図１０では、照明部１１０として液晶プロジェクタを使用する。図１１及び１２に、スリット光を照射して得られた画像を示す。
【００８８】
ステップＳ９０１では、制御部１６０が、照明部１１０に基本パターン光設定信号を送り、パターン光特性設定部１１２が、照明光特性を基本パターン光に設定する。本実施形態における基本パターン光は、距離計測用のスリット光が設定されている。そして、照明部１１０が、設定された基本パターンを測定対象物１００に照射する。
【００８９】
ここで、図１１の（ａ）では、スリット光投影位置と測定対象物１００との位置関係を分かりやすくするため、測定対象物１００に対してスリット光が投影される位置を黒い縞模様で示している。図１１の（ｂ）は、スリット光を照射した状態を示している。なお本実施形態において、測定対象物１００は台の上に置かれているものとする。
【００９０】
ステップＳ９０２では、反射光測定部１２０が、測定対象物１００の反射光を測定する。実施形態１と同様に、反射光の測定は、パターン光が照射された状態で測定対象物を撮像することに相当する。この時、反射光測定部１２０により撮像される画像として、図１０の（ａ）に示すような画像が得られる。
【００９１】
ステップＳ９０３では、画像特徴抽出部１３０が、撮像された画像中の画像特徴に関する情報を抽出する。本実施形態においては、撮像された画像を２値化処理することにより、画像特徴としてスリット光の形状を抽出する。抽出された２値化画像の例を図１１の（ｂ）に示す。図１１の（ｂ）を見ると分かるとおり、スリット光が照射された画像より２値化画像を生成することにより、画像特徴としてスリット光の形状を抽出することが可能となる。
【００９２】
この時、図１１の（ｃ）において点線で囲んで示したように、測定対象物１００の不連続な面にスリット光が投影されている場合、不連続な面の境界においてスリット光が断裂することが分かる。これを一般的にジャンプエッジと呼ぶ。
【００９３】
ジャンプエッジ部においては、スリット光が断裂しているため、本来連続しているスリット光の対応をとる事が困難となり、距離計測用のパターン光投影による距離データの算出が困難となる。また、ジャンプエッジ部は測定対象物のエッジが存在する部位であり、画像特徴としてエッジ特徴を抽出しやすいと考えられる。
【００９４】
さらに図１１の（ｄ）において点線で一部を囲んで示したように、ジャンプエッジ以外の、測定対象物１００の連続した面の境界に存在するエッジ部においては、スリット光が鋭角に屈曲していることが分かる。従って、画像中でスリット光が鋭角に屈曲している部位は、画像特徴としてエッジ特徴を抽出しやすいと考えられる。
【００９５】
ステップＳ９０４では、特徴分布算出部１８０が、ステップＳ９０３において抽出されたスリット光の、画像中の局所領域ごとの分布特性を算出する。ここで、本実施形態におけるスリット光の分布特性は、画像中のスリット光の局所領域ごとの連続性、及び屈曲した部位の分布を意味する。本実施形態では以下の手法により、スリット光の連続性を算出する。
【００９６】
まず、画像特徴抽出部１３０より得られた２値化画像に対して細線化処理を行い、スリット光の画像上での軌跡の線幅が１画素となるように変換を行う。細線化処理方法としては、Ｈｉｌｄｉｔｃｈ、田村の方法、Ｚｈａｎｇ Ｓｕｅｎ等の多数の手法が有るが、本実施形態では非特許文献５に開示されている田村の方法を用いる。細線化処理後の２値化画像の一例を図１２の（ａ）に示す。
【００９７】
続いて、図１２の（ａ）において画素値として１（Ｈｉｇｈ）を有する全ての画素に関して、隣接する画素の画素値を参照する。図１２の（ｂ）に、（ａ）の一部を拡大して表示した画像を示す。なお（ｂ）においては、１つのマス目が一つの画素を示している。すなわち（ｂ）に示すように、隣接する画素中の１画素のみが画素値として１（Ｈｉｇｈ）を有している場合、参照元の画素周辺において、スリット光は断裂していることが分かる。
【００９８】
ステップＳ９０５では、パターン光制御部１７０が、ステップＳ９０４で算出された画像中でのスリット光の連続性に基づいて、パターン光を設定するパターン光設定信号を照明部１１０に送る。このパターン光設定信号に基づいて、パターン光特性設定部１１２が、照明光特性を再設定する。その際、スリット光が連続している部分に距離計測用のパターン光が投影され、またスリット光が断裂している部分に画像特徴抽出用のパターン光として均一な白色光が投影されるような、両者が混在したパターン光を設定する。
【００９９】
より詳細には、スリット光が断裂していると推測される画素を中心とする小領域を、画像特徴抽出用のパターン光（すなわち均一な白色光）を投影する領域に設定する。この場合、小領域のサイズは例えば投影したスリット光の線幅および線間隔に応じて適当に設定することができる。
【０１００】
例えばスリット光の線幅が３画素、線間隔が２画素で有った場合、図１２の（ｂ）に示すように、前記小領域サイズを一例として１１×１１画素に設定する。結果として、図１２の（ｄ）に示すようにスリット光の断裂部、すなわちジャンプエッジに相当する部位を画像特徴抽出用のパターン光（すなわち均一な白色光）を投影する領域に設定する事が可能となる。
【０１０１】
なお、スリット光の連続性を算出する手法は上述したものに限定されることは無く、適切にスリット光の連続性を算出できる手法であればその他の手法であっても構わない。
【０１０２】
また本実施形態では以下の手法により、画像中でスリット光が鋭角に屈曲している部位を算出する。まず、前述したのと同様に画像特徴抽出部より得られた２値化画像に対して細線化処理を行い、スリット光の画像上での軌跡の線幅が１画素となるように変換を行う。
【０１０３】
続いて図１２の（ｃ）に示すように、前述した手法で算出したスリット光の断裂部に相当すると推測される画素を起点として設定する。図１２の（ｃ）では、起点に対応する画素部を白点線で囲んでいる。
【０１０４】
続いて起点に設定した画素から、隣接する画素中で画素値として１（Ｈｉｇｈ）を有する画素を順に辿っていき、所定の画素数分離れた画素を終点に設定する。図１２の（ｃ）では、終点に対応する画素部を白点線で囲んでいる。所定の画素数は適当な値を選択することが可能だが、本実施形態では７画素とする。
【０１０５】
ここで、起点に設定した画素と終点に設定した画素の画像上での位置座標を元にして、両者を線分で結んだ場合の線分の傾きを算出する。さらに以上の処理を、起点に設定する画素を１画素ずつずらしながら繰り返し、終点がスリット光の断裂部に相当すると推測される画素に到達するまで繰り返す。
【０１０６】
この場合図１２の（ｄ）に示すように、起点と終点に設定された画素が、スリット光が鋭角に屈曲する部位にまたがる場合に、線分の傾きが変化する。なお図１２の（ｄ）は、（ｃ）の一部を拡大して表示した画像を示しており、１つのマス目が一つの画素を示している。従って、算出された線分の傾きが変化する範囲内の画素領域において、中央に相当する画素位置に測定対象物のエッジが存在すると推測することができる。
【０１０７】
なお、エッジが存在すると推測される領域を決定する際に、線分の傾きの変化量を所定のしきい値と比較して、しきい値以上の変化量を有する画素領域内にエッジが存在するものとしても良い。
【０１０８】
そしてさらにステップＳ９０５において、エッジが存在すると推測される画素を中心とする小領域を画像特徴抽出用のパターン光（すなわち均一な白色光）を投影する領域に設定する。この場合、小領域のサイズは例えば投影したスリット光の線幅および線間隔に応じて適当に設定することができる。
【０１０９】
例えばスリット光の線幅が３画素、線間隔が２画素で有った場合、前記小領域サイズを一例として１１×１１画素に設定する。これにより、スリット光の屈曲部、すなわちエッジに相当する部位を画像特徴抽出用のパターン光（すなわち均一な白色光）を投影する領域に設定する事が可能となる。
【０１１０】
なお、スリット光が鋭角に屈曲する位置を算出する手法は上述したものに限定されることは無く、適切にスリット光が鋭角に屈曲する位置を算出できる手法であればその他の手法であっても構わない。
【０１１１】
ステップＳ９０５では、前述したようにスリット光が画像上で断裂している部位の周辺領域（ジャンプエッジに対応）と、スリット光が鋭角に屈曲する部位の周辺領域（エッジに対応）に対して、画像特徴抽出用のパターン光特性として均一な白色光を設定する。またそれ以外の領域に対しては、距離計測用のパターン光を設定する。
【０１１２】
ここで、反射光測定部１２０と照明部１１０の配置には一般的にオフセットが存在する。このため、両者の幾何学的関係を利用して、反射光測定部１２０により撮像される画像上の位置を照明部１１０の照射パターンの画素位置に変換するのは実施形態１０と同様である。また、以降のステップＳ９０６〜ステップＳ９０９の処理に関しても、実施形態１０におけるステップＳ２０６〜ステップＳ２０９と同様であるため、詳細な説明は省略する。
【０１１３】
なお、本実施形態では距離計測用のパターン光としてスリット光を用いたが、これに限定されるものではない。測定対象物のジャンプエッジおよびエッジ部を抽出するために、画像中の局所的な連続性を算出可能なパターン光であれば、スリット光以外の形状を有するパターン光であっても構わない。
【０１１４】
以上述べたように、実施形態２では、測定対象物の画像特徴および分布特性に応じて、距離計測用のパターン光特性と、画像特徴抽出用のパターン光特性が混在したパターン光を投影する。これにより、画像特徴と距離画像を同時に取得できる。このため、２次元的な画像特徴と３次元的な距離画像とを相補的に利用した位置姿勢計測を実行する際に、少ない撮像回数で、かつ照明環境等に関してより実環境に即した情報を取得することが可能となる。
【０１１５】
［変形例１］
以上説明した実施形態１及び２においては、画像特徴抽出部および位置姿勢情報算出部においては、画像特徴としてエッジ特徴を抽出した。しかしながら画像特徴はエッジに限るものではない。非特許文献４に開示されるように、例えばＨａｒｒｉｓの検出器を用いて画像から特徴点を検出し、特徴点に３次元モデルを画像上に投影した点を当てはめることにより、位置姿勢情報を算出するものであっても良い。
【０１１６】
またステップＳ２０４において距離計測用の照明を照射する領域を設定する際に、特徴点の情報を使用した以下に述べる方法を用いるものでもあっても良い。すなわち実施形態１０で説明したステップＳ２０４と同様に、画像を小領域に分割し、小領域内の特徴点の値を加算して、所定の値以上を有する小領域付近を距離計測用の照明を照射する領域に設定することができる。また画像特徴抽出部および位置姿勢情報算出部においては、Ｈａｒｒｉｓの検出器以外にもＳＩＦＴ特徴量またはＨｏＧ特徴量等の適当な画像特徴量を用いて同様な演算を実行することが可能である。
【０１１７】
［変形例２］
以上説明した実施形態１及び２においては、距離計測用のパターン光として、スリット光を用いた。しかしながら、距離計測用のパターン光は、これに限るものではなく、例えば単一もしくは複数のスポット光であっても良い。または、ランダムドットパターンもしくは空間コード化パターンであっても良い。位置姿勢情報算出部においては、これらのパターン光を用いて距離データを算出する事が可能であり、その詳細に関しては非特許文献１に記載されている。
【０１１８】
［変形例３］
以上説明した実施形態１及び２においては、パターン光投影手段として液晶プロジェクタを使用した場合を一例として示したが、本発明はこれに限定されるものではない。例えば液晶プロジェクタの代わりに、ＤＭＤ（Ｄｉｇｉｔａｌ Ｍｉｒｒｏｒ ｄｅｖｉｃｅ）と光源を組み合わせた構成を用いても良い。もしくは、２次元マルチアレイ光源とＭＥＭＳ（Ｍｉｃｒｏ Ｅｌｅｃｔｒｏ Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍ）ミラーを組み合わせた構成を用いても良い。任意のパターン光を投影可能なものであれば、如何なるパターン光投影手段を使用しても構わない。
【０１１９】
［他の実施形態］
なお、本発明は、複数の機器（例えばホストコンピュータ、インタフェース機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。
【０１２０】
また、本発明は、以下の処理を実施することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ）がプログラムを読み出して実行する処理である。
【特許請求の範囲】
【請求項１】
測定対象に投影するパターン光特性の照明光を設定する設定手段と、
前記照明光を前記測定対象に照射したときの反射光を測定する測定手段と、
測定された前記反射光から測定対象の物理特性に応じた画像特徴を抽出する抽出手段と、
前記画像特徴の局所領域ごとの分布特性を算出する算出手段と、
算出された前記局所領域ごとの分布特性に応じて、距離計測用のパターン光特性と、画像特徴抽出用のパターン光特性とを含む前記照明光のパターン光特性を制御する制御手段と
を備えることを特徴とする測定装置。
【請求項２】
前記算出手段は、画像特徴の局所領域ごとの分布特性として、画像特徴の疎密分布を算出することを特徴とする請求項１に記載の測定装置。
【請求項３】
前記算出手段は、画像特徴の局所領域ごとの分布特性として、画像特徴の連続性を算出することを特徴とする請求項１に記載の測定装置。
【請求項４】
前記距離計測用のパターン光特性は、幾何学的なパターンにより空間をコード化した空間コード化パターンであることを特徴とする請求項１に記載の測定装置。
【請求項５】
前記画像特徴抽出用のパターン光特性は、空間的に一様に光を照射する均一なパターンであることを特徴とする請求項１に記載の測定装置。
【請求項６】
前記測定対象の３次元幾何モデルを保持する保持手段と、
測定対象の概略位置及び姿勢を入力する入力手段と、
前記測定対象における画像特徴に対して前記概略位置及び姿勢に基づいて前記３次元幾何モデルをあてはめることにより、前記測定対象の位置及び姿勢を計測する計測手段とを更に有することを特徴とする請求項１に記載の測定装置。
【請求項７】
測定対象に投影するパターン光特性の照明光を設定する設定工程と、
前記照明光を前記測定対象に照射したときの反射光を測定する測定工程と、
測定された前記反射光から測定対象の物理特性に応じた画像特徴を抽出する抽出工程と、
前記画像特徴の局所領域ごとの分布特性を算出する算出工程と、
算出された前記局所領域ごとの分布特性に応じて、距離計測用のパターン光特性と、画像特徴抽出用のパターン光特性とを含む前記照明光のパターン光特性を制御する制御工程と
を備えることを特徴とする測定方法。
【請求項８】
請求項７に記載の測定方法の各工程をコンピュータに実行させるための制御プログラム。
【請求項１】
測定対象に投影するパターン光特性の照明光を設定する設定手段と、
前記照明光を前記測定対象に照射したときの反射光を測定する測定手段と、
測定された前記反射光から測定対象の物理特性に応じた画像特徴を抽出する抽出手段と、
前記画像特徴の局所領域ごとの分布特性を算出する算出手段と、
算出された前記局所領域ごとの分布特性に応じて、距離計測用のパターン光特性と、画像特徴抽出用のパターン光特性とを含む前記照明光のパターン光特性を制御する制御手段と
を備えることを特徴とする測定装置。
【請求項２】
前記算出手段は、画像特徴の局所領域ごとの分布特性として、画像特徴の疎密分布を算出することを特徴とする請求項１に記載の測定装置。
【請求項３】
前記算出手段は、画像特徴の局所領域ごとの分布特性として、画像特徴の連続性を算出することを特徴とする請求項１に記載の測定装置。
【請求項４】
前記距離計測用のパターン光特性は、幾何学的なパターンにより空間をコード化した空間コード化パターンであることを特徴とする請求項１に記載の測定装置。
【請求項５】
前記画像特徴抽出用のパターン光特性は、空間的に一様に光を照射する均一なパターンであることを特徴とする請求項１に記載の測定装置。
【請求項６】
前記測定対象の３次元幾何モデルを保持する保持手段と、
測定対象の概略位置及び姿勢を入力する入力手段と、
前記測定対象における画像特徴に対して前記概略位置及び姿勢に基づいて前記３次元幾何モデルをあてはめることにより、前記測定対象の位置及び姿勢を計測する計測手段とを更に有することを特徴とする請求項１に記載の測定装置。
【請求項７】
測定対象に投影するパターン光特性の照明光を設定する設定工程と、
前記照明光を前記測定対象に照射したときの反射光を測定する測定工程と、
測定された前記反射光から測定対象の物理特性に応じた画像特徴を抽出する抽出工程と、
前記画像特徴の局所領域ごとの分布特性を算出する算出工程と、
算出された前記局所領域ごとの分布特性に応じて、距離計測用のパターン光特性と、画像特徴抽出用のパターン光特性とを含む前記照明光のパターン光特性を制御する制御工程と
を備えることを特徴とする測定方法。
【請求項８】
請求項７に記載の測定方法の各工程をコンピュータに実行させるための制御プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１２−９８０８７（Ｐ２０１２−９８０８７Ａ）
【公開日】平成２４年５月２４日（２０１２．５．２４）
【国際特許分類】
【出願番号】特願２０１０−２４４３６９（Ｐ２０１０−２４４３６９）
【出願日】平成２２年１０月２９日（２０１０．１０．２９）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年５月２４日（２０１２．５．２４）
【国際特許分類】
【出願日】平成２２年１０月２９日（２０１０．１０．２９）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]