３次元における形状の一致を判定する方法および装置
【課題】３次元における形状の一致を判定する方法および装置において、立体的形状に関する情報を有効に利用できるものを提供する。
【解決手段】判定装置１０のカメラ制御手段３３は、距離画像カメラ２０によって判定対象の物体の距離画像を撮影する。特徴点抽出手段３４は、この距離画像に基づいて特徴点を抽出する。特徴量決定手段３５は、特徴点近傍の立体的形状を表面点の深さとして算出し、表面点の深さに基づいて特徴点の特徴量を決定する。一致判定手段３６は、２つの形状の特徴量に基づき、これらの形状の一致を判定する。
【解決手段】判定装置１０のカメラ制御手段３３は、距離画像カメラ２０によって判定対象の物体の距離画像を撮影する。特徴点抽出手段３４は、この距離画像に基づいて特徴点を抽出する。特徴量決定手段３５は、特徴点近傍の立体的形状を表面点の深さとして算出し、表面点の深さに基づいて特徴点の特徴量を決定する。一致判定手段３６は、２つの形状の特徴量に基づき、これらの形状の一致を判定する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、３次元における形状の一致を判定する方法および装置に関し、とくに形状についての特徴量を用いるものに関する。
【背景技術】
【０００２】
３次元における形状の一致を判定する方法として、判定対象の３次元形状を撮影して２次元の輝度画像を作成し、この輝度画像を用いて判定を行う方が知られている。
たとえば、特許文献１に記載される方法では、３次元形状を撮影した輝度画像から輝度分布を求め、この輝度分布に基づいて特徴量を決定し、決定された特徴量を基準として一致を判定する。
【０００３】
また、２次元の輝度画像によって表された物体の一致を判定する方法として、画像の特徴量を用いる方法が知られている。たとえば非特許文献１および２に「ＳＩＦＴ(Scale Invariant Feature Transform)」として記載される方法では、輝度画像における輝度勾配に基づいて特徴点を抽出し、特徴点について特徴量を表すベクトルを求め、このベクトルを基準として一致を判定する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２−５１１１７５号公報
【非特許文献】
【０００５】
【非特許文献１】藤吉弘亘、「Gradientベースの特徴抽出 - SIFTとHOG -」、情報処理学会研究報告ＣＶＩＭ１６０、２００７年、ｐ．２１１−２２４
【非特許文献２】David G. Lowe、「Object Recognition from Local Scale-Invariant Features」、Proc. of the International Conference on Computer Vision、Corfu、１９９９年９月
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来の技術では、立体的形状に関する情報を有効に利用できないという問題があった。たとえば、特許文献１に記載された方法や、非特許文献１および２に記載された方法では、撮影された２次元の輝度画像のみを用いるため、立体的形状に関する情報の少なくとも一部が失われてしまう。
【０００７】
このような問題が判定精度に影響を及ぼす具体例の一つとして、判定対象の物体表面に特徴的なテクスチャがなく、かつ表面が滑らかに変化して陰影が生じない場合が挙げられる。このような場合、輝度画像からは判定の基準となる情報を適切に得ることができない。
他の具体例として、撮影のアングルが異なる場合が挙げられる。２次元画像は、判定対象の物体とカメラとの相対的な位置および姿勢によって大きく変化する。このため、同一の物体であっても異なる角度から撮影すれば異なる画像となり、精度の高い一致判定を行うことができない。なお、３次元の位置関係の変化による画像の変化は、単なる２次元画像の回転またはスケール変化の範囲を超えるものであるため、２次元画像の回転およびスケール変化に対して頑健な方法を用いるだけでは、この問題を解消することができない。
【０００８】
この発明はこのような問題点を解消するためになされたものであり、３次元における形状の一致を判定する際に、立体的形状に関する情報を有効に利用できる方法および装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
この発明に係る、３次元における形状の一致を判定する方法は、少なくとも１つの形状について、少なくとも１つの特徴点を抽出するステップと、抽出された特徴点について、特徴量を決定するステップと、決定された特徴量と、他の形状について記憶された特徴量とに基づいて、形状のそれぞれの間の一致を判定するステップとを含む方法において、特徴量は立体的形状を表すことを特徴とする。
【００１０】
この方法は、形状から抽出された特徴点について、立体的形状を表す特徴量を決定する。このため、特徴量は、立体的形状に関する情報を含むことになる。そして、この特徴量を用いて一致を判定する。一致の判定は、形状が互いに一致するか否かの判定であってもよいし、形状の一致の度合を表す一致度を算出する判定であってもよい。
【００１１】
特徴量を決定するステップは、特徴点のそれぞれについて、その特徴点を含む平面に対する法線の方向を算出するステップを含んでもよい。このようにすると、形状を表す視点によらずその特徴点に関連する方向を特定することができる。
他の形状について、少なくとも１つの特徴点を抽出するステップと、他の形状の特徴点について、特徴量を決定するステップと、他の形状の特徴量を記憶するステップとをさらに含んでもよい。このようにすると、２つの形状について同じ方法で決定された特徴量を用いて判定を行うことができる。
特徴量を決定するステップは、形状の表面を構成する表面点を抽出するステップと、表面点を法線の方向に沿って平面に投影した投影点を特定するステップと、表面点と投影点との距離を、表面点の深さとして算出するステップと、表面点の深さに基づいて、特徴量を算出するステップとを含んでもよい。
特徴量を決定するステップは、複数の表面点の深さに基づいて、特徴点のスケールを決定するステップと、複数の表面点の深さに基づいて、平面における特徴点の方向を決定するステップと、特徴点の位置と、特徴点のスケールと、特徴点の方向とに基づいて、特徴記述領域を決定するステップとを含み、表面点の深さに基づいて特徴量を算出するステップでは、特徴記述領域内の表面点の深さに基づいて特徴量を算出するものであってもよい。
特徴量はベクトルの形式によって表されてもよい。
形状のそれぞれの間の一致を判定するステップは、形状のそれぞれの特徴量を表すベクトルの間のユークリッド距離を算出するステップを含んでもよい。
形状の少なくとも１つは距離画像によって表されてもよい。
【００１２】
また、この発明に係る、３次元における形状の一致を判定する装置は、形状の距離画像を作成する、距離画像作成手段と、距離画像および特徴量を記憶する記憶手段と、距離画像によって表される形状について、上述の方法を用いて一致を判定する演算手段とを備える。
【発明の効果】
【００１３】
この発明に係る、３次元における形状の一致を判定する方法および装置によれば、立体的形状を表す情報を特徴量として用い、これに基づいて一致を判定するので、立体的形状に関する情報を有効に利用することができる。
【図面の簡単な説明】
【００１４】
【図１】この発明に係る判定装置の構成を示す図である。
【図２】ある物体についての外観を表す写真である。
【図３】図２の物体についての距離画像である。
【図４】図１の判定装置の動作を説明するフローチャートである。
【図５】図４のステップＳ３およびステップＳ７に含まれる処理の詳細を示すフローチャートである。
【図６】図１の特徴点の近傍を拡大して示す図である。
【発明を実施するための形態】
【００１５】
以下、この発明の実施の形態を添付図面に基づいて説明する。
実施の形態１．
図１は、この発明に係る判定装置１０の構成を示す。判定装置１０は、３次元における形状の一致を判定する装置であり、３次元における形状の一致を判定する方法を実行するものである。物体４０は３次元における形状を有し、この形状が本実施形態において一致判定の対象となる。ここでは、物体４０を判定対象としての第一の物体とする。
【００１６】
判定装置１０は、距離画像カメラ２０を含む。距離画像カメラ２０は、物体４０を撮影して、物体４０の形状を表す距離画像を作成する、距離画像作成手段である。ここで、距離画像とは、距離画像カメラ２０の撮影範囲の物体またはその表面に含まれる各点について、距離画像カメラ２０からその点までの距離を表す情報を、画像形式で表したものである。
【００１７】
図２および図３は、同一の物体についての外観および距離画像を対比する図である。図２は「円筒」と書かれた円筒状の物体の外観を表す写真であり、輝度画像である。図３はこの物体を距離画像カメラ２０で撮影した画像であり、距離画像である。なお、図３では距離画像カメラ２０からの距離が小さい部分は明るく、距離が大きい部分は暗く示されている。図３からわかるように、距離画像ではテクスチャ（たとえば物体表面の「円筒」という文字）によらず、物体表面の形状を構成する各点までの距離が表される。
【００１８】
図１に示すように、距離画像カメラ２０にはコンピュータ３０が接続される。コンピュータ３０は、周知の構成を有するコンピュータであり、たとえばマイクロチップまたはパーソナルコンピュータ等によって構成される。
コンピュータ３０は、演算を行う演算手段３１と、情報を記憶する記憶手段３２とを備える。演算手段３１はたとえば周知のプロセッサであり、記憶手段３２はたとえば周知の半導体メモリ装置または磁気ディスク装置である。
【００１９】
演算手段３１は、演算手段３１に組み込まれたプログラムまたは記憶手段３２に記憶されたプログラムを実行することによって、距離画像カメラ２０の動作を制御するカメラ制御手段３３、距離画像から特徴点を抽出する特徴点抽出手段３４、特徴点について特徴量を決定する特徴量決定手段３５、および形状の一致を判定する一致判定手段３６として機能するが、これらの機能の詳細については後述する。
【００２０】
次に、図４のフローチャートを用いて、図１に示す判定装置１０の動作について説明する。
まず、判定装置１０は、第一の形状を有する第一の物体として、物体４０について処理を行う（ステップＳ１〜Ｓ４）。
ここで、まず判定装置１０は、物体４０について、その形状を表す距離画像を作成する（ステップＳ１）。このステップＳ１において、カメラ制御手段３３が距離画像カメラ２０を制御して距離画像を撮影させ、距離画像のデータを距離画像カメラ２０から受信して記憶手段３２に記憶する。すなわち、記憶手段３２は図３に示すような距離画像のデータを記憶することになる。
【００２１】
次に、判定装置１０は、物体４０の距離画像に基づき、物体４０の形状について、少なくとも１つの特徴点を抽出する（ステップＳ２）。このステップＳ２は特徴点抽出手段３４によって実行される。
この特徴点はどのような方法で抽出されてもよいが、以下に例を示す。距離画像は２次元の画像であるので、距離を輝度として解釈すれば、形式的には２次元の輝度画像と同一の構成を有するデータとみることができる。すなわち、図３の例では、距離が近い点を輝度の高い点とし、距離が遠い点を輝度の低い点として表しているが、この輝度による表示をそのまま輝度画像として用いることができる。このため、物体４０の形状について特徴点を抽出する方法として、２次元の輝度画像から特徴点を抽出する周知の方法をそのまま応用することができる。
【００２２】
２次元の輝度画像から特徴点を抽出する方法としては、多数のものが周知であり、そのいずれを用いてもよい。たとえば、非特許文献１および２に記載されるＳＩＦＴによる方法を用いて特徴点を抽出することができる。すなわち、この場合、特徴点抽出手段３４は、ＳＩＦＴによる方法を用いて、物体４０の距離画像から特徴点を抽出する。ＳＩＦＴによる方法では、ガウス関数のスケールを変化させつつ、ガウス関数と輝度画像（本実施形態では距離画像）との畳み込み演算を行い、畳み込みの結果においてスケールの変化による各画素の輝度（距離）の差分を求め、この差分が極値となる画素に対応して特徴点を抽出する。
ここでは、図１に示す特徴点４１が抽出されたものとし、以下のステップＳ３およびＳ４では特徴点４１を例にとって説明する。なお、複数の特徴点が抽出された場合、ステップＳ３およびＳ４の処理は特徴点のそれぞれについて実行される。
【００２３】
判定装置１０は、特徴点４１について、特徴量を決定する（ステップＳ３）。この特徴量は、物体４０の立体的形状を表すものである。このステップＳ３の処理を、図５および図６を用いて詳細に説明する。
図５は、ステップＳ３に含まれる処理の詳細を示すフローチャートであり、図６は、図１の特徴点４１の近傍を拡大して示す図である。
【００２４】
ステップＳ３において、まず特徴量決定手段３５は、特徴点４１を含む平面を決定する（ステップＳ３１）。この平面は、たとえば特徴点４１において物体４０の表面に接する接平面４２とすることができる。
次に、このステップＳ３において、特徴量決定手段３５は、接平面４２の法線の方向を算出する（ステップＳ３２）。
なお、距離画像は特徴点４１およびその周辺の形状を表す情報を含んでいるので、ステップＳ３１およびＳ３２において接平面４２およびその法線の方向を算出する処理は、当業者であれば適宜設計することができる。このようにすると、距離画像カメラ２０の位置やアングルによらず、特徴点４１における形状に関連する方向を特定することができる。
【００２５】
次に、特徴量決定手段３５は、物体４０の表面の形状について、その表面を構成する点を、表面点として抽出する（ステップＳ３３）。表面点は、たとえば所定の領域内において等間隔の格子点を選択することによって抽出することができるが、少なくとも１つの表面点を抽出する方法であればどのような方法で抽出されてもよい。図６の例では、表面点４３〜４５が抽出されたものとする。
【００２６】
次に、特徴量決定手段３５は、各表面点に対応する投影点を特定する（ステップＳ３４）。投影点は、表面点を、接平面４２の法線方向に沿って接平面４２に投影した点として特定される。図６において、表面点４３〜４５に対応する投影点をそれぞれ投影点４３’〜４５’とする。
次に、特徴量決定手段３５は、各表面点の深さ（デプス）を算出する（ステップＳ３５）。深さは、表面点と、これに対応する投影点との間の距離として算出される。たとえば表面点４３の深さは深さｄである。
【００２７】
次に、特徴量決定手段３５は、各表面点の深さに基づいて、特徴点４１のスケールを決定する（ステップＳ３６）。スケールは、特徴点４１近傍の形状の特徴的な領域の大きさを表す値である。
このステップＳ３６において、特徴点４１のスケールはどのような方法で決定されてもよいが、以下に例を示す。各投影点は接平面４２上において２次元の座標によって表すことができ、また、各投影点に対応する表面点の深さはスカラー値である。このため、深さを輝度として解釈すれば、形式的には２次元の輝度画像と同一の構成を有するデータとみることができる。すなわち、各投影点について深さを表すデータを、そのまま輝度画像として用いることができる。このため、特徴点４１のスケールを決定する方法として、２次元の輝度画像における特徴点のスケールを決定する周知の方法をそのまま応用することができる。
【００２８】
２次元の輝度画像における特徴点のスケールを決定する方法としては、たとえば、非特許文献１および２に記載されるＳＩＦＴによる方法を用いることができる。すなわち、この場合、特徴量決定手段３５は、ＳＩＦＴによる方法を用いて、各表面点の深さに基づき、特徴点４１のスケールを決定する。
【００２９】
ＳＩＦＴによる方法を用いれば、特徴的な領域の大きさをスケールとして考慮することができ、本実施形態に係る方法はサイズ変動に対して頑健なものとなる。すなわち、物体４０の見かけ上のサイズ（すなわち物体４０と距離画像カメラ２０との距離）が変動した場合であっても、これに応じてスケールが変動するので、見かけ上のサイズを考慮して的確に形状の一致を判定することができる。
【００３０】
次に、特徴量決定手段３５は、各表面点の深さに基づいて、接平面４２における特徴点４１の方向（または向きもしくはオリエンテーション）を決定する（ステップＳ３７）。この方向は接平面４２の法線の向きと直交する方向である。図６の例では方向Ａが特徴点４１の方向であるとする。
このステップＳ３７において、特徴点４１の方向はどのような方法で決定されてもよいが、ステップＳ３６と同様にして、非特許文献１および２に記載されるＳＩＦＴによる方法を用いることができる。すなわち、特徴量決定手段３５は、ＳＩＦＴによる方法を用いて、各表面点の深さに基づき、接平面４２における特徴点４１の方向を決定する。ＳＩＦＴによる方法では、各画素の輝度勾配（本実施形態では、各表面点における深さ勾配）を求め、この勾配と、特徴点４１を中心としスケールに応じたガウス関数との畳み込み演算を行い、畳み込みの結果を離散化した方向ごとのヒストグラムに表し、ヒストグラムにおいて最も勾配が大きい方向を特徴点４１の方向として決定する。
なお、図６の例では特徴点４１の方向は方向Ａのみであるが、１つの特徴点が複数の方向を有してもよい。ＳＩＦＴによれば、深さ勾配が所定値を超える極値を持つ複数の方向が得られる場合があるが、このような場合であっても以下の処理を同様に行うことができる。
【００３１】
ＳＩＦＴによる方法を用いれば、接平面４２内で方向Ａを特定し、これに座標軸を合わせて特徴量を記述することができ、本実施形態に係る方法は回転に対して頑健なものとなる。すなわち、物体４０が距離画像カメラ２０の視野内で回転した場合であっても、これに応じて特徴点の方向が回転するので、物体の向きに対して実質的に不変となる特徴量を得ることができ、的確に形状の一致を判定することができる。
【００３２】
次に、特徴量決定手段３５は、ステップＳ２で抽出された特徴点４１の位置と、ステップＳ３６で決定された特徴点４１のスケールと、ステップＳ３７で決定された特徴点４１の方向とに基づいて、特徴点４１に関する特徴記述領域５０を決定する（ステップＳ３８）。この特徴記述領域５０は、特徴点４１の特徴量を決定する際に考慮される表面点の範囲を規定する領域である。
【００３３】
この特徴記述領域５０は、特徴点４１の位置、特徴点４１のスケール、および特徴点４１の方向に応じて一意に定まるものであればどのように決定されてもよい。一例として正方形の領域を用いる場合では、接平面４２において、正方形の中心を特徴点４１とし、一辺の長さをスケールに応じた値とし、さらにその向きを特徴点４１の方向に応じて決定すればよい。また、円形の領域を用いる場合では、接平面４２において、円の中心を特徴点４１とし、半径をスケールに応じた値とし、さらにその向きを特徴点４１の方向に応じて決定すればよい。
【００３４】
なお、この特徴記述領域５０は、図６に示すように接平面４２において決定してもよく、または物体４０の表面において決定してもよい。いずれにしても、接平面４２と物体４０との間で特徴記述領域５０を接線方向に投影することにより、特徴記述領域５０に含まれる表面点および投影点を等価的に確定することができる。
【００３５】
次に、特徴量決定手段３５は、特徴記述領域５０に含まれる各表面点の深さに基づいて、特徴点４１の特徴量を算出する（ステップＳ３９）。このステップＳ３９において、特徴点４１の特徴量はどのような方法で算出されてもよいが、ステップＳ３６およびＳ３７と同様にして、非特許文献１および２に記載されるＳＩＦＴによる方法を用いることができる。すなわち、この場合、特徴量決定手段３５は、ＳＩＦＴによる方法を用いて、各表面点の深さに基づき、特徴点４１の特徴量を算出する。
【００３６】
ここで、特徴量はベクトルの形式によって表すことができる。たとえば、ＳＩＦＴによる方法では、特徴記述領域５０を複数のブロックに分割し、ブロックごとに所定数の方向に離散化した深さ勾配のヒストグラムを特徴量とすることができる。たとえば４×４（合計１６）ブロックに分割し、勾配を８方向に離散化する場合、特徴量は４×４×８＝１２８次元のベクトルとなる。算出されたベクトルに対して正規化を行ってもよい。この正規化は、全特徴点のベクトルの長さの総和が一定の値となるように行ってもよい。
【００３７】
以上のようにしてステップＳ３が実行され、特徴量が決定される。ここで、各表面点の深さは物体４０の立体的形状を表すものであるので、特徴量は特徴記述領域５０における立体的形状に基づいて算出されるものということができる。
【００３８】
次に、判定装置１０は、特徴量を記憶手段３２に記憶する（図４、ステップＳ４）。この処理は特徴量決定手段３５によって行われる。ここで物体４０に対する処理が終了する。
続いて、判定装置１０は、第二の形状を有する第二の物体について、上記ステップＳ１〜Ｓ４と同様の処理を行う（ステップＳ５〜Ｓ８）。ステップＳ５〜Ｓ８の処理はそれぞれステップＳ１〜Ｓ４と同様であるので説明を省略する。
【００３９】
次に、判定装置１０は、第一の形状について決定された特徴量と、第二の形状について決定された特徴量とに基づいて、第一の形状と第二の形状との一致を判定する（ステップＳ９）。このステップＳ９では、一致判定手段３６が一致の判定を行う。一致の判定はどのような方法で行われてもよいが、一例を下記に示す。
【００４０】
例として説明する判定方法では、まずｋＤ木を用いて特徴点間の対応付けを行う。たとえば、全特徴点をｎ階層（ただしｎは整数）のｋＤ木にソートする。そして、このｋＤ木を用いた近似最近傍探索（Best Bin First）手法により、一方の形状（たとえば第一の形状）の特徴点のそれぞれについて、他方の形状（たとえば第二の形状）の特徴点のうち最もよく類似するものを探索し、対応付ける。このようにして、一方の形状の特徴点すべてについて、他方の形状の特徴点のいずれか１つが対応付けられ、組が生成される。
【００４１】
この時点では、組のうちには、実際には対応しない特徴点の組（すなわち誤対応の組）が含まれているおそれがある。このような誤対応の組をアウトライアとして除去するために、ＲＡＮＳＡＣ（RANdom SAmple Consensus）と呼ばれる手法を用いる。ＲＡＮＳＡＣは、M. FischerおよびR. Bollesによる「Random Sample Consensus: A paradigm for model fitting with applications to image analysis and automated cartography」と題する論文に記載されている（Communications of the ACM、第２４巻第６号、ｐ．３８１〜３８５、１９８１年）。
【００４２】
ＲＡＮＳＡＣでは、まず特徴点の組のうちからランダムに所定数Ｎ１だけ選択してグループを作成し、選択された組のすべてに基づいて、一方の形状の各特徴点のベクトルから他方の形状の各特徴点のベクトルへのホモグラフィ（homography)変換を求める。そして、グループに含まれる組のそれぞれについて、一方の形状の特徴点を表すベクトルに対してこのホモグラフィ変換を行った結果のベクトルと、他方の形状の特徴点のベクトルとのユークリッド距離を求め、この距離が所定の閾値Ｄ以下である組はインライアすなわち正しい対応付けであると判定し、所定の閾値Ｄを超える組はアウトライアすなわち誤った対応付けであると判定する。
【００４３】
その後、再びランダムに所定数Ｎ１個の組を選択して異なるグループを作成し、このグループについても同様に、各組がインライアであるかアウトライアであるかを判定する。このようにして、グループの作成および判定を所定の回数（Ｘ回）だけ繰り返し、インライアと判定された組が最も多くなるグループを特定する。特定されたグループにおけるインライアの数Ｎ２が所定の閾値Ｎ３以上であれば、２つの形状は一致すると判定し、Ｎ２がＮ３未満であれば、一致しないと判定する。または、Ｎ２の値に応じて、２つの形状の一致の度合を表す一致度を決定してもよい。
なお、上記の手法において、各種パラメータすなわちＮ１，Ｎ２，Ｎ３，ＤおよびＸは、当業者であれば実験的に適切な値を決定することができる。
【００４４】
以上のように、本発明の実施の形態１に係る判定装置１０によれば、立体的形状すなわち表面の起伏を、表面点の深さを用いて表し、これに基づいて特徴点および特徴量を決定する。そして、この特徴点および特徴量に基づいて立体的形状の一致を判定する。このため、判定において、立体的形状に関する情報を有効に利用することができる。
【００４５】
たとえば、判定対象の物体表面に特徴的なテクスチャがなく、かつ表面が滑らかに変化して陰影が生じない場合であっても、表面の変化に応じて深さを算出し、適切に一致を判定することができる。
また、撮影のアングルが異なる場合であっても、適切に一致を判定することができる。同一の物体であれば、撮影のアングルが異なっても形状は変化しないので、同じ特徴点であれば法線方向および深さ勾配は不変であり、特徴量も不変となる。このため、それぞれの距離画像に共通の特徴点が含まれている限り、特徴量の一致により特徴点の対応を適切に検出することができる。
【００４６】
また、物体に対する視点変化に対応できるので、物体の姿勢および位置に制約がなく、広い用途に応用可能である。さらに、一つの視点からの距離画像を基準として判定を行えるので、あらかじめ多数の視点からの距離画像を記憶しておく必要がなく、メモリ使用量を低減することができる。
【００４７】
上述の実施の形態１では、特徴量の決定には立体的形状（表面点の深さ）のみを用いているが、これに加えてテクスチャに関する情報を用いてもよい。すなわち、入力とする画像は、距離を表す情報だけでなく輝度（白黒またはカラー）を表す情報を含むものであってもよい。この場合、ＳＩＦＴによる方法を用いて、輝度に関する特徴量を算出することができる。実施の形態１において得られる立体的形状に関する特徴量と、このような輝度に関する特徴量とを合わせて一致を判定することにより、判定の精度を向上させることができる。
【００４８】
実施の形態１では、特徴点の抽出および特徴量の決定はすべて距離画像に基づいて行われる。変形例として、距離画像以外の情報に基づいてこれらの処理を行ってもよい。たとえばソリッドモデル等、特徴点の抽出および深さの算出を行うことができる情報であればどのようなものであってもよく、実際に物体として存在しないものであっても同様の処理を行うことができる。
【００４９】
実施の形態２．
上述の実施の形態１では、判定装置は、２つの形状をそれぞれ撮影して特徴量を決定する。実施の形態２では、第一の形状についてはあらかじめ特徴量を記憶しておき、第二の形状についてのみ撮影および特徴量の決定を行うものである。
実施の形態２における判定装置の動作は、図４の処理のうちステップＳ１〜Ｓ３を省略したものである。すなわち、第一の形状については特徴量の決定を行わず、外部（たとえば他の判定装置）で決定された特徴量を入力として受け取り、これを記憶する。これはたとえばモデルデータの入力に相当する。ステップＳ４以降の処理は実施の形態１と同様であり、第二の形状について撮影、特徴点の抽出、特徴量の決定を行った後、第一の形状と第二の形状との一致を判定する。
【００５０】
実施の形態２は、すべての判定装置に共通のモデルデータを準備しておき、これと一致する物体（形状）のみを選別するような用途に適している。モデルデータが変更になる場合には、すべての判定装置で新たなモデルを撮影しなおす必要はなく、いずれかの判定装置でモデルの特徴量を決定した後、その特徴量のデータを他の判定装置にコピーすればよく、作業を効率化することができる。
【符号の説明】
【００５１】
１０ 判定装置、２０ 距離画像カメラ（距離画像作成手段）、３０ コンピュータ、３１ 演算手段、３２ 記憶手段、３３ カメラ制御手段、３４ 特徴点抽出手段、３５ 特徴量決定手段、３６ 一致判定手段、４０ 物体、４１ 特徴点、４２ 接平面（平面）、４３ 投影点、４３ 表面点、５０ 特徴記述領域、Ａ 方向（特徴点の方向）。
【技術分野】
【０００１】
この発明は、３次元における形状の一致を判定する方法および装置に関し、とくに形状についての特徴量を用いるものに関する。
【背景技術】
【０００２】
３次元における形状の一致を判定する方法として、判定対象の３次元形状を撮影して２次元の輝度画像を作成し、この輝度画像を用いて判定を行う方が知られている。
たとえば、特許文献１に記載される方法では、３次元形状を撮影した輝度画像から輝度分布を求め、この輝度分布に基づいて特徴量を決定し、決定された特徴量を基準として一致を判定する。
【０００３】
また、２次元の輝度画像によって表された物体の一致を判定する方法として、画像の特徴量を用いる方法が知られている。たとえば非特許文献１および２に「ＳＩＦＴ(Scale Invariant Feature Transform)」として記載される方法では、輝度画像における輝度勾配に基づいて特徴点を抽出し、特徴点について特徴量を表すベクトルを求め、このベクトルを基準として一致を判定する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２−５１１１７５号公報
【非特許文献】
【０００５】
【非特許文献１】藤吉弘亘、「Gradientベースの特徴抽出 - SIFTとHOG -」、情報処理学会研究報告ＣＶＩＭ１６０、２００７年、ｐ．２１１−２２４
【非特許文献２】David G. Lowe、「Object Recognition from Local Scale-Invariant Features」、Proc. of the International Conference on Computer Vision、Corfu、１９９９年９月
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来の技術では、立体的形状に関する情報を有効に利用できないという問題があった。たとえば、特許文献１に記載された方法や、非特許文献１および２に記載された方法では、撮影された２次元の輝度画像のみを用いるため、立体的形状に関する情報の少なくとも一部が失われてしまう。
【０００７】
このような問題が判定精度に影響を及ぼす具体例の一つとして、判定対象の物体表面に特徴的なテクスチャがなく、かつ表面が滑らかに変化して陰影が生じない場合が挙げられる。このような場合、輝度画像からは判定の基準となる情報を適切に得ることができない。
他の具体例として、撮影のアングルが異なる場合が挙げられる。２次元画像は、判定対象の物体とカメラとの相対的な位置および姿勢によって大きく変化する。このため、同一の物体であっても異なる角度から撮影すれば異なる画像となり、精度の高い一致判定を行うことができない。なお、３次元の位置関係の変化による画像の変化は、単なる２次元画像の回転またはスケール変化の範囲を超えるものであるため、２次元画像の回転およびスケール変化に対して頑健な方法を用いるだけでは、この問題を解消することができない。
【０００８】
この発明はこのような問題点を解消するためになされたものであり、３次元における形状の一致を判定する際に、立体的形状に関する情報を有効に利用できる方法および装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
この発明に係る、３次元における形状の一致を判定する方法は、少なくとも１つの形状について、少なくとも１つの特徴点を抽出するステップと、抽出された特徴点について、特徴量を決定するステップと、決定された特徴量と、他の形状について記憶された特徴量とに基づいて、形状のそれぞれの間の一致を判定するステップとを含む方法において、特徴量は立体的形状を表すことを特徴とする。
【００１０】
この方法は、形状から抽出された特徴点について、立体的形状を表す特徴量を決定する。このため、特徴量は、立体的形状に関する情報を含むことになる。そして、この特徴量を用いて一致を判定する。一致の判定は、形状が互いに一致するか否かの判定であってもよいし、形状の一致の度合を表す一致度を算出する判定であってもよい。
【００１１】
特徴量を決定するステップは、特徴点のそれぞれについて、その特徴点を含む平面に対する法線の方向を算出するステップを含んでもよい。このようにすると、形状を表す視点によらずその特徴点に関連する方向を特定することができる。
他の形状について、少なくとも１つの特徴点を抽出するステップと、他の形状の特徴点について、特徴量を決定するステップと、他の形状の特徴量を記憶するステップとをさらに含んでもよい。このようにすると、２つの形状について同じ方法で決定された特徴量を用いて判定を行うことができる。
特徴量を決定するステップは、形状の表面を構成する表面点を抽出するステップと、表面点を法線の方向に沿って平面に投影した投影点を特定するステップと、表面点と投影点との距離を、表面点の深さとして算出するステップと、表面点の深さに基づいて、特徴量を算出するステップとを含んでもよい。
特徴量を決定するステップは、複数の表面点の深さに基づいて、特徴点のスケールを決定するステップと、複数の表面点の深さに基づいて、平面における特徴点の方向を決定するステップと、特徴点の位置と、特徴点のスケールと、特徴点の方向とに基づいて、特徴記述領域を決定するステップとを含み、表面点の深さに基づいて特徴量を算出するステップでは、特徴記述領域内の表面点の深さに基づいて特徴量を算出するものであってもよい。
特徴量はベクトルの形式によって表されてもよい。
形状のそれぞれの間の一致を判定するステップは、形状のそれぞれの特徴量を表すベクトルの間のユークリッド距離を算出するステップを含んでもよい。
形状の少なくとも１つは距離画像によって表されてもよい。
【００１２】
また、この発明に係る、３次元における形状の一致を判定する装置は、形状の距離画像を作成する、距離画像作成手段と、距離画像および特徴量を記憶する記憶手段と、距離画像によって表される形状について、上述の方法を用いて一致を判定する演算手段とを備える。
【発明の効果】
【００１３】
この発明に係る、３次元における形状の一致を判定する方法および装置によれば、立体的形状を表す情報を特徴量として用い、これに基づいて一致を判定するので、立体的形状に関する情報を有効に利用することができる。
【図面の簡単な説明】
【００１４】
【図１】この発明に係る判定装置の構成を示す図である。
【図２】ある物体についての外観を表す写真である。
【図３】図２の物体についての距離画像である。
【図４】図１の判定装置の動作を説明するフローチャートである。
【図５】図４のステップＳ３およびステップＳ７に含まれる処理の詳細を示すフローチャートである。
【図６】図１の特徴点の近傍を拡大して示す図である。
【発明を実施するための形態】
【００１５】
以下、この発明の実施の形態を添付図面に基づいて説明する。
実施の形態１．
図１は、この発明に係る判定装置１０の構成を示す。判定装置１０は、３次元における形状の一致を判定する装置であり、３次元における形状の一致を判定する方法を実行するものである。物体４０は３次元における形状を有し、この形状が本実施形態において一致判定の対象となる。ここでは、物体４０を判定対象としての第一の物体とする。
【００１６】
判定装置１０は、距離画像カメラ２０を含む。距離画像カメラ２０は、物体４０を撮影して、物体４０の形状を表す距離画像を作成する、距離画像作成手段である。ここで、距離画像とは、距離画像カメラ２０の撮影範囲の物体またはその表面に含まれる各点について、距離画像カメラ２０からその点までの距離を表す情報を、画像形式で表したものである。
【００１７】
図２および図３は、同一の物体についての外観および距離画像を対比する図である。図２は「円筒」と書かれた円筒状の物体の外観を表す写真であり、輝度画像である。図３はこの物体を距離画像カメラ２０で撮影した画像であり、距離画像である。なお、図３では距離画像カメラ２０からの距離が小さい部分は明るく、距離が大きい部分は暗く示されている。図３からわかるように、距離画像ではテクスチャ（たとえば物体表面の「円筒」という文字）によらず、物体表面の形状を構成する各点までの距離が表される。
【００１８】
図１に示すように、距離画像カメラ２０にはコンピュータ３０が接続される。コンピュータ３０は、周知の構成を有するコンピュータであり、たとえばマイクロチップまたはパーソナルコンピュータ等によって構成される。
コンピュータ３０は、演算を行う演算手段３１と、情報を記憶する記憶手段３２とを備える。演算手段３１はたとえば周知のプロセッサであり、記憶手段３２はたとえば周知の半導体メモリ装置または磁気ディスク装置である。
【００１９】
演算手段３１は、演算手段３１に組み込まれたプログラムまたは記憶手段３２に記憶されたプログラムを実行することによって、距離画像カメラ２０の動作を制御するカメラ制御手段３３、距離画像から特徴点を抽出する特徴点抽出手段３４、特徴点について特徴量を決定する特徴量決定手段３５、および形状の一致を判定する一致判定手段３６として機能するが、これらの機能の詳細については後述する。
【００２０】
次に、図４のフローチャートを用いて、図１に示す判定装置１０の動作について説明する。
まず、判定装置１０は、第一の形状を有する第一の物体として、物体４０について処理を行う（ステップＳ１〜Ｓ４）。
ここで、まず判定装置１０は、物体４０について、その形状を表す距離画像を作成する（ステップＳ１）。このステップＳ１において、カメラ制御手段３３が距離画像カメラ２０を制御して距離画像を撮影させ、距離画像のデータを距離画像カメラ２０から受信して記憶手段３２に記憶する。すなわち、記憶手段３２は図３に示すような距離画像のデータを記憶することになる。
【００２１】
次に、判定装置１０は、物体４０の距離画像に基づき、物体４０の形状について、少なくとも１つの特徴点を抽出する（ステップＳ２）。このステップＳ２は特徴点抽出手段３４によって実行される。
この特徴点はどのような方法で抽出されてもよいが、以下に例を示す。距離画像は２次元の画像であるので、距離を輝度として解釈すれば、形式的には２次元の輝度画像と同一の構成を有するデータとみることができる。すなわち、図３の例では、距離が近い点を輝度の高い点とし、距離が遠い点を輝度の低い点として表しているが、この輝度による表示をそのまま輝度画像として用いることができる。このため、物体４０の形状について特徴点を抽出する方法として、２次元の輝度画像から特徴点を抽出する周知の方法をそのまま応用することができる。
【００２２】
２次元の輝度画像から特徴点を抽出する方法としては、多数のものが周知であり、そのいずれを用いてもよい。たとえば、非特許文献１および２に記載されるＳＩＦＴによる方法を用いて特徴点を抽出することができる。すなわち、この場合、特徴点抽出手段３４は、ＳＩＦＴによる方法を用いて、物体４０の距離画像から特徴点を抽出する。ＳＩＦＴによる方法では、ガウス関数のスケールを変化させつつ、ガウス関数と輝度画像（本実施形態では距離画像）との畳み込み演算を行い、畳み込みの結果においてスケールの変化による各画素の輝度（距離）の差分を求め、この差分が極値となる画素に対応して特徴点を抽出する。
ここでは、図１に示す特徴点４１が抽出されたものとし、以下のステップＳ３およびＳ４では特徴点４１を例にとって説明する。なお、複数の特徴点が抽出された場合、ステップＳ３およびＳ４の処理は特徴点のそれぞれについて実行される。
【００２３】
判定装置１０は、特徴点４１について、特徴量を決定する（ステップＳ３）。この特徴量は、物体４０の立体的形状を表すものである。このステップＳ３の処理を、図５および図６を用いて詳細に説明する。
図５は、ステップＳ３に含まれる処理の詳細を示すフローチャートであり、図６は、図１の特徴点４１の近傍を拡大して示す図である。
【００２４】
ステップＳ３において、まず特徴量決定手段３５は、特徴点４１を含む平面を決定する（ステップＳ３１）。この平面は、たとえば特徴点４１において物体４０の表面に接する接平面４２とすることができる。
次に、このステップＳ３において、特徴量決定手段３５は、接平面４２の法線の方向を算出する（ステップＳ３２）。
なお、距離画像は特徴点４１およびその周辺の形状を表す情報を含んでいるので、ステップＳ３１およびＳ３２において接平面４２およびその法線の方向を算出する処理は、当業者であれば適宜設計することができる。このようにすると、距離画像カメラ２０の位置やアングルによらず、特徴点４１における形状に関連する方向を特定することができる。
【００２５】
次に、特徴量決定手段３５は、物体４０の表面の形状について、その表面を構成する点を、表面点として抽出する（ステップＳ３３）。表面点は、たとえば所定の領域内において等間隔の格子点を選択することによって抽出することができるが、少なくとも１つの表面点を抽出する方法であればどのような方法で抽出されてもよい。図６の例では、表面点４３〜４５が抽出されたものとする。
【００２６】
次に、特徴量決定手段３５は、各表面点に対応する投影点を特定する（ステップＳ３４）。投影点は、表面点を、接平面４２の法線方向に沿って接平面４２に投影した点として特定される。図６において、表面点４３〜４５に対応する投影点をそれぞれ投影点４３’〜４５’とする。
次に、特徴量決定手段３５は、各表面点の深さ（デプス）を算出する（ステップＳ３５）。深さは、表面点と、これに対応する投影点との間の距離として算出される。たとえば表面点４３の深さは深さｄである。
【００２７】
次に、特徴量決定手段３５は、各表面点の深さに基づいて、特徴点４１のスケールを決定する（ステップＳ３６）。スケールは、特徴点４１近傍の形状の特徴的な領域の大きさを表す値である。
このステップＳ３６において、特徴点４１のスケールはどのような方法で決定されてもよいが、以下に例を示す。各投影点は接平面４２上において２次元の座標によって表すことができ、また、各投影点に対応する表面点の深さはスカラー値である。このため、深さを輝度として解釈すれば、形式的には２次元の輝度画像と同一の構成を有するデータとみることができる。すなわち、各投影点について深さを表すデータを、そのまま輝度画像として用いることができる。このため、特徴点４１のスケールを決定する方法として、２次元の輝度画像における特徴点のスケールを決定する周知の方法をそのまま応用することができる。
【００２８】
２次元の輝度画像における特徴点のスケールを決定する方法としては、たとえば、非特許文献１および２に記載されるＳＩＦＴによる方法を用いることができる。すなわち、この場合、特徴量決定手段３５は、ＳＩＦＴによる方法を用いて、各表面点の深さに基づき、特徴点４１のスケールを決定する。
【００２９】
ＳＩＦＴによる方法を用いれば、特徴的な領域の大きさをスケールとして考慮することができ、本実施形態に係る方法はサイズ変動に対して頑健なものとなる。すなわち、物体４０の見かけ上のサイズ（すなわち物体４０と距離画像カメラ２０との距離）が変動した場合であっても、これに応じてスケールが変動するので、見かけ上のサイズを考慮して的確に形状の一致を判定することができる。
【００３０】
次に、特徴量決定手段３５は、各表面点の深さに基づいて、接平面４２における特徴点４１の方向（または向きもしくはオリエンテーション）を決定する（ステップＳ３７）。この方向は接平面４２の法線の向きと直交する方向である。図６の例では方向Ａが特徴点４１の方向であるとする。
このステップＳ３７において、特徴点４１の方向はどのような方法で決定されてもよいが、ステップＳ３６と同様にして、非特許文献１および２に記載されるＳＩＦＴによる方法を用いることができる。すなわち、特徴量決定手段３５は、ＳＩＦＴによる方法を用いて、各表面点の深さに基づき、接平面４２における特徴点４１の方向を決定する。ＳＩＦＴによる方法では、各画素の輝度勾配（本実施形態では、各表面点における深さ勾配）を求め、この勾配と、特徴点４１を中心としスケールに応じたガウス関数との畳み込み演算を行い、畳み込みの結果を離散化した方向ごとのヒストグラムに表し、ヒストグラムにおいて最も勾配が大きい方向を特徴点４１の方向として決定する。
なお、図６の例では特徴点４１の方向は方向Ａのみであるが、１つの特徴点が複数の方向を有してもよい。ＳＩＦＴによれば、深さ勾配が所定値を超える極値を持つ複数の方向が得られる場合があるが、このような場合であっても以下の処理を同様に行うことができる。
【００３１】
ＳＩＦＴによる方法を用いれば、接平面４２内で方向Ａを特定し、これに座標軸を合わせて特徴量を記述することができ、本実施形態に係る方法は回転に対して頑健なものとなる。すなわち、物体４０が距離画像カメラ２０の視野内で回転した場合であっても、これに応じて特徴点の方向が回転するので、物体の向きに対して実質的に不変となる特徴量を得ることができ、的確に形状の一致を判定することができる。
【００３２】
次に、特徴量決定手段３５は、ステップＳ２で抽出された特徴点４１の位置と、ステップＳ３６で決定された特徴点４１のスケールと、ステップＳ３７で決定された特徴点４１の方向とに基づいて、特徴点４１に関する特徴記述領域５０を決定する（ステップＳ３８）。この特徴記述領域５０は、特徴点４１の特徴量を決定する際に考慮される表面点の範囲を規定する領域である。
【００３３】
この特徴記述領域５０は、特徴点４１の位置、特徴点４１のスケール、および特徴点４１の方向に応じて一意に定まるものであればどのように決定されてもよい。一例として正方形の領域を用いる場合では、接平面４２において、正方形の中心を特徴点４１とし、一辺の長さをスケールに応じた値とし、さらにその向きを特徴点４１の方向に応じて決定すればよい。また、円形の領域を用いる場合では、接平面４２において、円の中心を特徴点４１とし、半径をスケールに応じた値とし、さらにその向きを特徴点４１の方向に応じて決定すればよい。
【００３４】
なお、この特徴記述領域５０は、図６に示すように接平面４２において決定してもよく、または物体４０の表面において決定してもよい。いずれにしても、接平面４２と物体４０との間で特徴記述領域５０を接線方向に投影することにより、特徴記述領域５０に含まれる表面点および投影点を等価的に確定することができる。
【００３５】
次に、特徴量決定手段３５は、特徴記述領域５０に含まれる各表面点の深さに基づいて、特徴点４１の特徴量を算出する（ステップＳ３９）。このステップＳ３９において、特徴点４１の特徴量はどのような方法で算出されてもよいが、ステップＳ３６およびＳ３７と同様にして、非特許文献１および２に記載されるＳＩＦＴによる方法を用いることができる。すなわち、この場合、特徴量決定手段３５は、ＳＩＦＴによる方法を用いて、各表面点の深さに基づき、特徴点４１の特徴量を算出する。
【００３６】
ここで、特徴量はベクトルの形式によって表すことができる。たとえば、ＳＩＦＴによる方法では、特徴記述領域５０を複数のブロックに分割し、ブロックごとに所定数の方向に離散化した深さ勾配のヒストグラムを特徴量とすることができる。たとえば４×４（合計１６）ブロックに分割し、勾配を８方向に離散化する場合、特徴量は４×４×８＝１２８次元のベクトルとなる。算出されたベクトルに対して正規化を行ってもよい。この正規化は、全特徴点のベクトルの長さの総和が一定の値となるように行ってもよい。
【００３７】
以上のようにしてステップＳ３が実行され、特徴量が決定される。ここで、各表面点の深さは物体４０の立体的形状を表すものであるので、特徴量は特徴記述領域５０における立体的形状に基づいて算出されるものということができる。
【００３８】
次に、判定装置１０は、特徴量を記憶手段３２に記憶する（図４、ステップＳ４）。この処理は特徴量決定手段３５によって行われる。ここで物体４０に対する処理が終了する。
続いて、判定装置１０は、第二の形状を有する第二の物体について、上記ステップＳ１〜Ｓ４と同様の処理を行う（ステップＳ５〜Ｓ８）。ステップＳ５〜Ｓ８の処理はそれぞれステップＳ１〜Ｓ４と同様であるので説明を省略する。
【００３９】
次に、判定装置１０は、第一の形状について決定された特徴量と、第二の形状について決定された特徴量とに基づいて、第一の形状と第二の形状との一致を判定する（ステップＳ９）。このステップＳ９では、一致判定手段３６が一致の判定を行う。一致の判定はどのような方法で行われてもよいが、一例を下記に示す。
【００４０】
例として説明する判定方法では、まずｋＤ木を用いて特徴点間の対応付けを行う。たとえば、全特徴点をｎ階層（ただしｎは整数）のｋＤ木にソートする。そして、このｋＤ木を用いた近似最近傍探索（Best Bin First）手法により、一方の形状（たとえば第一の形状）の特徴点のそれぞれについて、他方の形状（たとえば第二の形状）の特徴点のうち最もよく類似するものを探索し、対応付ける。このようにして、一方の形状の特徴点すべてについて、他方の形状の特徴点のいずれか１つが対応付けられ、組が生成される。
【００４１】
この時点では、組のうちには、実際には対応しない特徴点の組（すなわち誤対応の組）が含まれているおそれがある。このような誤対応の組をアウトライアとして除去するために、ＲＡＮＳＡＣ（RANdom SAmple Consensus）と呼ばれる手法を用いる。ＲＡＮＳＡＣは、M. FischerおよびR. Bollesによる「Random Sample Consensus: A paradigm for model fitting with applications to image analysis and automated cartography」と題する論文に記載されている（Communications of the ACM、第２４巻第６号、ｐ．３８１〜３８５、１９８１年）。
【００４２】
ＲＡＮＳＡＣでは、まず特徴点の組のうちからランダムに所定数Ｎ１だけ選択してグループを作成し、選択された組のすべてに基づいて、一方の形状の各特徴点のベクトルから他方の形状の各特徴点のベクトルへのホモグラフィ（homography)変換を求める。そして、グループに含まれる組のそれぞれについて、一方の形状の特徴点を表すベクトルに対してこのホモグラフィ変換を行った結果のベクトルと、他方の形状の特徴点のベクトルとのユークリッド距離を求め、この距離が所定の閾値Ｄ以下である組はインライアすなわち正しい対応付けであると判定し、所定の閾値Ｄを超える組はアウトライアすなわち誤った対応付けであると判定する。
【００４３】
その後、再びランダムに所定数Ｎ１個の組を選択して異なるグループを作成し、このグループについても同様に、各組がインライアであるかアウトライアであるかを判定する。このようにして、グループの作成および判定を所定の回数（Ｘ回）だけ繰り返し、インライアと判定された組が最も多くなるグループを特定する。特定されたグループにおけるインライアの数Ｎ２が所定の閾値Ｎ３以上であれば、２つの形状は一致すると判定し、Ｎ２がＮ３未満であれば、一致しないと判定する。または、Ｎ２の値に応じて、２つの形状の一致の度合を表す一致度を決定してもよい。
なお、上記の手法において、各種パラメータすなわちＮ１，Ｎ２，Ｎ３，ＤおよびＸは、当業者であれば実験的に適切な値を決定することができる。
【００４４】
以上のように、本発明の実施の形態１に係る判定装置１０によれば、立体的形状すなわち表面の起伏を、表面点の深さを用いて表し、これに基づいて特徴点および特徴量を決定する。そして、この特徴点および特徴量に基づいて立体的形状の一致を判定する。このため、判定において、立体的形状に関する情報を有効に利用することができる。
【００４５】
たとえば、判定対象の物体表面に特徴的なテクスチャがなく、かつ表面が滑らかに変化して陰影が生じない場合であっても、表面の変化に応じて深さを算出し、適切に一致を判定することができる。
また、撮影のアングルが異なる場合であっても、適切に一致を判定することができる。同一の物体であれば、撮影のアングルが異なっても形状は変化しないので、同じ特徴点であれば法線方向および深さ勾配は不変であり、特徴量も不変となる。このため、それぞれの距離画像に共通の特徴点が含まれている限り、特徴量の一致により特徴点の対応を適切に検出することができる。
【００４６】
また、物体に対する視点変化に対応できるので、物体の姿勢および位置に制約がなく、広い用途に応用可能である。さらに、一つの視点からの距離画像を基準として判定を行えるので、あらかじめ多数の視点からの距離画像を記憶しておく必要がなく、メモリ使用量を低減することができる。
【００４７】
上述の実施の形態１では、特徴量の決定には立体的形状（表面点の深さ）のみを用いているが、これに加えてテクスチャに関する情報を用いてもよい。すなわち、入力とする画像は、距離を表す情報だけでなく輝度（白黒またはカラー）を表す情報を含むものであってもよい。この場合、ＳＩＦＴによる方法を用いて、輝度に関する特徴量を算出することができる。実施の形態１において得られる立体的形状に関する特徴量と、このような輝度に関する特徴量とを合わせて一致を判定することにより、判定の精度を向上させることができる。
【００４８】
実施の形態１では、特徴点の抽出および特徴量の決定はすべて距離画像に基づいて行われる。変形例として、距離画像以外の情報に基づいてこれらの処理を行ってもよい。たとえばソリッドモデル等、特徴点の抽出および深さの算出を行うことができる情報であればどのようなものであってもよく、実際に物体として存在しないものであっても同様の処理を行うことができる。
【００４９】
実施の形態２．
上述の実施の形態１では、判定装置は、２つの形状をそれぞれ撮影して特徴量を決定する。実施の形態２では、第一の形状についてはあらかじめ特徴量を記憶しておき、第二の形状についてのみ撮影および特徴量の決定を行うものである。
実施の形態２における判定装置の動作は、図４の処理のうちステップＳ１〜Ｓ３を省略したものである。すなわち、第一の形状については特徴量の決定を行わず、外部（たとえば他の判定装置）で決定された特徴量を入力として受け取り、これを記憶する。これはたとえばモデルデータの入力に相当する。ステップＳ４以降の処理は実施の形態１と同様であり、第二の形状について撮影、特徴点の抽出、特徴量の決定を行った後、第一の形状と第二の形状との一致を判定する。
【００５０】
実施の形態２は、すべての判定装置に共通のモデルデータを準備しておき、これと一致する物体（形状）のみを選別するような用途に適している。モデルデータが変更になる場合には、すべての判定装置で新たなモデルを撮影しなおす必要はなく、いずれかの判定装置でモデルの特徴量を決定した後、その特徴量のデータを他の判定装置にコピーすればよく、作業を効率化することができる。
【符号の説明】
【００５１】
１０ 判定装置、２０ 距離画像カメラ（距離画像作成手段）、３０ コンピュータ、３１ 演算手段、３２ 記憶手段、３３ カメラ制御手段、３４ 特徴点抽出手段、３５ 特徴量決定手段、３６ 一致判定手段、４０ 物体、４１ 特徴点、４２ 接平面（平面）、４３ 投影点、４３ 表面点、５０ 特徴記述領域、Ａ 方向（特徴点の方向）。
【特許請求の範囲】
【請求項１】
３次元における形状の一致を判定する方法であって、
少なくとも１つの形状について、少なくとも１つの特徴点を抽出するステップと、
抽出された前記特徴点について、特徴量を決定するステップと、
決定された前記特徴量と、他の形状について記憶された前記特徴量とに基づいて、前記形状のそれぞれの間の一致を判定するステップと、
を含む方法において、
前記特徴量は立体的形状を表すことを特徴とする、方法。
【請求項２】
前記特徴量を決定する前記ステップは、前記特徴点のそれぞれについて、その特徴点を含む平面に対する法線の方向を算出するステップを含む、請求項１に記載の方法。
【請求項３】
前記他の形状について、少なくとも１つの特徴点を抽出するステップと、
前記他の形状の前記特徴点について、特徴量を決定するステップと、
前記他の形状の特徴量を記憶するステップと
をさらに含む、請求項１または２に記載の方法。
【請求項４】
前記特徴量を決定する前記ステップは、
前記形状の表面を構成する表面点を抽出するステップと、
前記表面点を前記法線の方向に沿って前記平面に投影した投影点を特定するステップと、
前記表面点と前記投影点との距離を、前記表面点の深さとして算出するステップと、
前記表面点の前記深さに基づいて、前記特徴量を算出するステップと
を含む、請求項２に記載の方法。
【請求項５】
前記特徴量を決定する前記ステップは、
複数の前記表面点の前記深さに基づいて、前記特徴点のスケールを決定するステップと、
複数の前記表面点の前記深さに基づいて、前記平面における前記特徴点の方向を決定するステップと、
前記特徴点の位置と、前記特徴点のスケールと、前記特徴点の方向とに基づいて、特徴記述領域を決定するステップと
を含み、
前記表面点の前記深さに基づいて前記特徴量を算出する前記ステップでは、前記特徴記述領域内の前記表面点の前記深さに基づいて前記特徴量を算出する
請求項４に記載の方法。
【請求項６】
前記特徴量はベクトルの形式によって表される、請求項１〜５のいずれか一項に記載の方法。
【請求項７】
前記形状のそれぞれの間の一致を判定する前記ステップは、前記形状のそれぞれの前記特徴量を表す前記ベクトルの間のユークリッド距離を算出するステップを含む、請求項６に記載の方法。
【請求項８】
前記形状の少なくとも１つは距離画像によって表される、請求項１〜７のいずれか一項に記載の方法。
【請求項９】
３次元における形状の一致を判定する装置であって、
前記形状の距離画像を作成する、距離画像作成手段と、
前記距離画像および前記特徴量を記憶する記憶手段と、
前記距離画像によって表される前記形状について、請求項１〜８のいずれか一項に記載の方法を用いて一致を判定する演算手段と
を備える装置。
【請求項１】
３次元における形状の一致を判定する方法であって、
少なくとも１つの形状について、少なくとも１つの特徴点を抽出するステップと、
抽出された前記特徴点について、特徴量を決定するステップと、
決定された前記特徴量と、他の形状について記憶された前記特徴量とに基づいて、前記形状のそれぞれの間の一致を判定するステップと、
を含む方法において、
前記特徴量は立体的形状を表すことを特徴とする、方法。
【請求項２】
前記特徴量を決定する前記ステップは、前記特徴点のそれぞれについて、その特徴点を含む平面に対する法線の方向を算出するステップを含む、請求項１に記載の方法。
【請求項３】
前記他の形状について、少なくとも１つの特徴点を抽出するステップと、
前記他の形状の前記特徴点について、特徴量を決定するステップと、
前記他の形状の特徴量を記憶するステップと
をさらに含む、請求項１または２に記載の方法。
【請求項４】
前記特徴量を決定する前記ステップは、
前記形状の表面を構成する表面点を抽出するステップと、
前記表面点を前記法線の方向に沿って前記平面に投影した投影点を特定するステップと、
前記表面点と前記投影点との距離を、前記表面点の深さとして算出するステップと、
前記表面点の前記深さに基づいて、前記特徴量を算出するステップと
を含む、請求項２に記載の方法。
【請求項５】
前記特徴量を決定する前記ステップは、
複数の前記表面点の前記深さに基づいて、前記特徴点のスケールを決定するステップと、
複数の前記表面点の前記深さに基づいて、前記平面における前記特徴点の方向を決定するステップと、
前記特徴点の位置と、前記特徴点のスケールと、前記特徴点の方向とに基づいて、特徴記述領域を決定するステップと
を含み、
前記表面点の前記深さに基づいて前記特徴量を算出する前記ステップでは、前記特徴記述領域内の前記表面点の前記深さに基づいて前記特徴量を算出する
請求項４に記載の方法。
【請求項６】
前記特徴量はベクトルの形式によって表される、請求項１〜５のいずれか一項に記載の方法。
【請求項７】
前記形状のそれぞれの間の一致を判定する前記ステップは、前記形状のそれぞれの前記特徴量を表す前記ベクトルの間のユークリッド距離を算出するステップを含む、請求項６に記載の方法。
【請求項８】
前記形状の少なくとも１つは距離画像によって表される、請求項１〜７のいずれか一項に記載の方法。
【請求項９】
３次元における形状の一致を判定する装置であって、
前記形状の距離画像を作成する、距離画像作成手段と、
前記距離画像および前記特徴量を記憶する記憶手段と、
前記距離画像によって表される前記形状について、請求項１〜８のいずれか一項に記載の方法を用いて一致を判定する演算手段と
を備える装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１１−３１２７（Ｐ２０１１−３１２７Ａ）
【公開日】平成２３年１月６日（２０１１．１．６）
【国際特許分類】
【出願番号】特願２００９−１４７５６１（Ｐ２００９−１４７５６１）
【出願日】平成２１年６月２２日（２００９．６．２２）
【出願人】（０００００３２１８）株式会社豊田自動織機 (4,162)
【出願人】（５００４３３２２５）学校法人中部大学 (105)
【Ｆターム（参考）】
【公開日】平成２３年１月６日（２０１１．１．６）
【国際特許分類】
【出願日】平成２１年６月２２日（２００９．６．２２）
【出願人】（０００００３２１８）株式会社豊田自動織機 (4,162)
【出願人】（５００４３３２２５）学校法人中部大学 (105)
【Ｆターム（参考）】
[ Back to top ]