形状認識装置
【課題】２次元構造の断面データが表す形状曲線を近似するための処理を簡単に行うことが可能な形状認識装置を提供する。
【解決手段】形状認識装置Ｃは、３次元データが表わす外面形状の曲率が第１所定値を超える領域を抽出する曲率除外領域抽出手段１４と、曲率の変化量が第２所定値を超える領域を抽出する変化量除外領域抽出手段１５と、曲率除外領域抽出手段１４により抽出された領域と変化量除外領域抽出手段１５により抽出された領域とを除外領域として設定する除外領域設定手段１６と、３次元データにおける設定領域の形状を詳細に反映した詳細形状データと粗く反映したベース形状データとを取得すると共に、夫々の形状データから除外領域に含まれるデータを除外して夫々の修正形状データを生成し、夫々の修正形状データの曲率に基づいて外面形状の歪値を抽出する形状評価手段２０と、を備える。
【解決手段】形状認識装置Ｃは、３次元データが表わす外面形状の曲率が第１所定値を超える領域を抽出する曲率除外領域抽出手段１４と、曲率の変化量が第２所定値を超える領域を抽出する変化量除外領域抽出手段１５と、曲率除外領域抽出手段１４により抽出された領域と変化量除外領域抽出手段１５により抽出された領域とを除外領域として設定する除外領域設定手段１６と、３次元データにおける設定領域の形状を詳細に反映した詳細形状データと粗く反映したベース形状データとを取得すると共に、夫々の形状データから除外領域に含まれるデータを除外して夫々の修正形状データを生成し、夫々の修正形状データの曲率に基づいて外面形状の歪値を抽出する形状評価手段２０と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物体の外面形状を表す３次元データから、その物体の外面形状の認識を行う形状認識装置に関する。
【背景技術】
【０００２】
上記のように構成された形状認識装置として特許文献１に記載のものがある。この形状認識装置は、車両のボディやドアパネル等のプレス加工品の表面の撮影画像を縞解析することによりプレス加工品の表面形状の全体の三次元計測データを生成する三次元計測コントロールユニットを備え、歪評価装置も備えている。
【０００３】
形状認識装置は、近似曲線適用手段、曲率導出手段、一様範囲決定手段、近似曲線導出手段を備えている。近似曲線適用手段は、三次元計測データから断面の長さ方向に生成した二次元データのうち、断面の長さ方向に沿った複数の第１データ群について、その曲線に対応するサークルの一部の区間を対応させることにより、曲線に複数のサークルを対応させる。曲率導出手段は各サークルの曲率を求めて第１近似曲線を生成する。次に、一様範囲決定手段が、第１近似曲線から一様な範囲を決定し、近似曲線導出手段が、一定の曲率を有する第２近似曲線を導出する。尚、この曲率はサークルの半径の逆数である。
【０００４】
次に、歪評価装置が、第２近似曲線からの逸脱量が設定許容範囲以上であるデータを歪みデータとして、歪データ抽出手段が抽出する。つまり、この特許文献１では曲線の各部の形状を所定半径のサークルの円弧の集合として捉え、このサークルの円弧の集合に基づいて第２近似曲線を生成し、この第２近似曲線を基準として曲率が逸脱する領域に歪みが存在すると判定している。
【０００５】
車両のボディやドアパネル等のプレス加工品の表面の歪検出処理を考えると、例えば、加工品の理想的な表面形状を示すＣＡＤデータ（例えば、金型のＣＡＤデータ）等の３次元データと比較することが考えられる。しかしながら、プレス加工品では、加工直後にスプリングバックにより少し形状が膨らむ方向に変形するのが普通であり、ＣＡＤデータと比較することで表面の歪みを検出することは、ＣＡＤデータとの相対的な位置決めの精度の面も含めて実用面で困難な場合がある。
【０００６】
そこで、特許文献１に記載されるように、計測対象の表面を撮影して作り出した三次元データを所定方向に切断した際の二次元断面データから計測対象の表面の各部の曲率を求め、一様となる曲率と、各部の曲率との比較により、その曲率が逸脱する領域に歪みがあると判定するものが有効となる。
【０００７】
つまり、自動車のボディやドアパネルでは、設計された曲線と比較して全体的に湾曲するように歪んでいても、視覚的には歪みと感ずることは殆どなく、一部に窪みや突出部がある場合には、その窪み量や突出量が小さくても視覚的に歪みと感ずることが多い。このような課題に対し、特許文献１に記載される装置では、一様となる曲率が計測対象のベースとなる形状に対応するものであり、このベースになる形状を基準として各部の曲率を比較するものであるため、局部的な歪みの検出を可能にすると云う良好な面を現出するものであった。
【０００８】
しかしながら、特許文献１に記載されるように、二次元断面データの長さ方向に短い間隔でサンプル点を設定し、夫々のサンプル点についてサークルを近似させるものでは、多数のサンプル点が直線状に並ぶ形状である場合には、サークルの半径が極めて大きい値となり処理の負担が大きくなりやすい。
【０００９】
また、サンプル点が描く形状曲線が上に凸と成る場合と下に凸となる場合では、サークルの中心座標が大きく異なることから、例えば、形状曲線の変曲点の近傍では、形状曲線をサークルで近似する場合に、変曲点を基準にして形状曲線の一方の部位を近似するサークルの中心座標が設定された後に、変曲点を基準に曲線の他方の部位を近似するサークルの中心座標の位置が大きく切り換わるものとなり、必然的に大きい数値を扱わねばならず、処理の負担となり易く改善の余地があった。
【００１０】
計測対象物の表面において、比較的狭い領域において大きい曲率で形状が変化する部位が存在する場合には、サンプル点の位置関係によって正確な曲率を求めることが出来ないことも多い。これはサンプル点の間隔が長いほど誤差を招きやすいことから説明が可能であり、この不都合を解消するためにサンプル点の間隔を短くすることも考えられる。しかしながら、サンプル点の間隔を短くした場合にはデータ量の増大を招き、外形曲線の近似を行う際の処理時間も長くなり現実的でない。
【００１１】
そこで、３次元データが表わす外面形状において、所定値を超える曲率を含む領域を除外した後に大きい曲率の影響を排除した２次元データを生成し、３次元データの曲率を取得することが考えられる。
【００１２】
例えば、ドアパネルに設けられた座面のように、計測対象物の表面に比較的狭い領域において、大きい曲率で形状が変化する部位が存在する場合には、サンプル点の位置関係によって正確な曲率を求めることができないことも多い。そのため、上記従来技術のように、予め、所定値を超える曲率を有する領域については、データを除外してしまうことで、本来の形状に対応した曲率を取得することが行われている。
【００１３】
しかしながら、所定値以上の曲率を単に除外する設定では、実際に除外したい領域のみを適切に除外処理することはできない。これは、大きい曲率で形状が変化する部位の周囲は、比較的なだらかな曲率として計算される傾向にある。そのため、所定値（閾値）を低めに設定することが考えられるが、閾値を低めに設定すると、本来除外すべきでない部分も除外される恐れがある。ゆえに、閾値は高めに設定せざるを得ず、除外したい領域すべてを適切に除外することができなかった。
【先行技術文献】
【特許文献】
【００１４】
【特許文献１】特開２００７‐１２７６１０号公報
【発明の概要】
【発明が解決しようとする課題】
【００１５】
本発明の目的は、上記問題に鑑み、２次元構造の断面データが表す形状曲線を近似するための処理を簡単に行うことが可能な形状認識装置を提供することにある。
【課題を解決するための手段】
【００１６】
上記目的を達成するための本発明に係る形状認識装置の特徴構成は、物体の外面形状を表す３次元データから、その物体の外面形状の認識を行うため、前記３次元データが表わす外面形状の曲率が予め設定された第１所定値を超える領域を抽出する曲率除外領域抽出手段と、前記領域の抽出に用いた前記外面形状の曲率の変化量を演算し、当該変化量が予め設定された第２所定値を超える領域を抽出する変化量除外領域抽出手段と、前記曲率除外領域抽出手段により抽出された領域と前記変化量除外領域抽出手段により抽出された領域との双方を除外領域として設定する除外領域設定手段と、前記３次元データにおける所定の設定領域の形状を詳細に反映した詳細形状データと、前記所定の設定領域の形状を前記詳細形状データよりも粗く反映したベース形状データとを取得すると共に、夫々の形状データから前記除外領域に含まれるデータを除外して夫々の修正形状データを生成し、前記夫々の修正形状データの曲率に基づいて前記外面形状の歪値を抽出する形状評価手段と、を備える点にある。
【００１７】
このような特徴構成とすれば、曲率除外領域抽出手段が第１所定値を超える曲率を有する領域を曲率除外領域として設定し、当該曲率除外領域に隣接する隣接領域において、変化量除外領域抽出手段が第２所定値を超える曲率の変化量を含む領域を変化量除外領域として抽出することができる。これにより、曲率が大きく変化する領域と曲率が大きく変化しない領域とを曲率除外領域抽出手段により容易に区分けすることが可能となり、曲率除外領域に隣接する隣接領域においては、曲率の変化量が急変する急変部を変化量除外領域抽出手段により正確に区分けすることが可能となる。除外領域設定手段は、このように区分けされた２つの領域の論理和を除外領域として設定するので、曲率が大きく変化する領域に隣接する、曲率が大きく変化しない領域において曲率の変化量が急変する急変部を的確に考慮して除外領域を設定することが可能となる。このため、曲率が急変するような形状からなるデザインを有する物体の外面形状であっても、当該デザインを除外した上で物体の外面形状の歪認識処理を適切に行うことができる。したがって、歪認識性能の向上を図ることが可能となる。
【図面の簡単な説明】
【００１８】
【図１】３次元計測システムの全体を示す斜視図である。
【図２】３次元計測システムのブロック回路図である。
【図３】形状認識装置のブロック回路図である
【図４】評価処理ルーチンのフローチャートである。
【図５】計測対象と座標系とを示す斜視図である。
【図６】計測対象の側面図である。
【図７】データ変換処理部における変換形態を示す斜視図である。
【図８】除外領域の設定について模式的に示す図である。
【図９】切り出された３次元データの点群の高さ値を反映させる際の２種の領域のサイズを示す図である。
【図１０】切り出しにより取得された３次元データの表面形状を示す図である。
【図１１】除外領域を設定する際の処理を模式的に示す図である。
【図１２】曲率の差から歪値を取得する際の処理を示す図である。
【発明を実施するための形態】
【００１９】
以下、本発明の実施の形態を図面に基づいて説明する。
〔システム構成〕
図１及び図２に示すように、先端にデジタルカメラを有する撮影ユニットＶを備えた多関節型のロボットハンドＨと、このロボットハンドＨを制御するロボットハンドコントローラＡと、撮影ユニットＶで撮影した計測対象物Ｔの画像データを取得する画像取得ユニットＢと、この画像取得ユニットＢから画像データを取得し物体の外面形状の歪を抽出して出力する形状認識装置Ｃを備えて３次元計測システムが構成されている。このような構成からなる形状認識装置Ｃは、物体の外面形状を表す３次元データから、その物体の外面形状の認識を行う機能を備えている。
【００２０】
撮影ユニットＶは、計測対象物Ｔの表面に対し投影レンズ１Ｌを介して格子パターンを投影するパターン投影装置１と、撮影レンズ２Ｌを介して計測対象物Ｔの表面の撮影を行うデジタル型のカメラ２とを備えている。ロボットハンドＨは、複数のアーム部３と、夫々のアーム部３を独立して駆動する電動モータ４とを備え、ロボットハンドコントローラＡが予めセットされたプログラムを実行することにより、撮影ユニットＶで計測対象物Ｔを異なる方向から撮影する作動が行われ、計測対象物Ｔの表面全体の撮影を実現する。画像取得ユニットＢは、撮影ユニットＶで撮影された画像データの格子パターンから計測対象物Ｔの形状を判定し３次元画像を生成する。
【００２１】
ロボットハンドコントローラＡは、コントロールプログラム５に従ってアーム部３を制御するアームコントロール手段６を備えている。画像取得ユニットＢはカメラ２から画像データ取得手段７が画像データを取得し、この画像データから３次元画像生成手段８が３次元画像を生成する。画像データから３次元画像を生成する技術は特開２００２−２５７５２８号公報や特開２００４−３１７４９５号公報等に示されるように公知のものを用いており、このような処理を行うことにより、計測対象物Ｔの表面形状が３次元座標系で表される点群となる３次元画像が生成される。
【００２２】
形状認識装置Ｃは、ディスプレイｄ、キーボードｋ、マウスｍ等が接続する汎用コンピュータによって構成され、画像取得ユニットＢから取得した３次元画像から計測対象物Ｔの表面の歪量を抽出して評価を行い、評価結果をディスプレイｄに出力する。
【００２３】
〔制御構成〕
図２及び図３に示すように、形状認識装置Ｃは、データ取得手段１１と、データ変換手段１２と、ノイズ除去手段１３と、曲率除外領域抽出手段１４と、変化量除外領域抽出手段１５と、除外領域設定手段１６と、ベース形状データ生成手段１７と、詳細形状データ生成手段１８と、曲率取得手段１９と、形状評価手段２０と、評価画像生成手段２１と、測定対象形状取得手段２２とを備えている。
【００２４】
これら、データ取得手段１１、データ変換手段１２、ノイズ除去手段１３、曲率除外領域抽出手段１４、変化量除外領域抽出手段１５、除外領域設定手段１６、ベース形状データ生成手段１７、詳細形状データ生成手段１８、曲率取得手段１９、形状評価手段２０、評価画像生成手段２１、測定対象形状取得手段２２は形状認識装置Ｃとして機能する汎用コンピュータのストレージ上に展開されるソフトウエアで構成されるものであるが、これらをソフトウエアとロジック等のハードウエアとの組み合わせによって構成しても良く、ロジック等のハードウエアのみによって構成しても良い。
【００２５】
〔制御形態〕
図４には、このような制御構成による制御のフローチャートが示され、制御構成の機能を当該フローチャートに示した制御の流れと併せて説明する。
【００２６】
データ取得手段１１は、通信ケーブルを介して画像取得ユニットＢの３次元画像生成手段８で生成された３次元画像を取得する（＃０１ステップ）。形状認識装置Ｃでは、撮影ユニットＶで撮影された画像から生成された３次元画像だけを処理対象とするのではなく、例えば、ＳＴＬファイル等のデータ構造を有した３次元データを処理対象にすることも可能である。すなわち、計測対象となる外面表面に対応する点群から直接、ベース形状データ生成手段及び詳細形状データによってベース形状及び詳細形状データを算出することも可能である。
【００２７】
図５及び図６には、計測対象物Ｔ（物体の一例）としてドアパネルを示しており、このドアパネルを車体に備えた姿勢での前後方向をＸ軸方向とし、上下方向をＹ軸方向とし、幅方向をＺとして示している。このドアパネルのパネル部分にはドアハンドル（図示せず）が装着される座面Ｔａと開口Ｔｂとが形成されている。
【００２８】
データ変換手段１２は取得した３次元画像から計測対象物Ｔの表面形状を示す点群（Ｚ座標値・高さ値を示す点の集まり）を設定ピッチのＸ−Ｙ平面上の格子点上の点群に変換することで３次元データを生成する（＃０２ステップ）。つまり、データ取得手段１１で取得した３次元画像の３次元座標系は、ドアパネルの前後方向・上下方向がＸ−Ｙ軸方向と必ずしも一致するものではなく、外面形状を示す高さ値（Ｚ方向での値）を示す点群のピッチも、この形状認識装置Ｃで処理するために適正な値とは云えない。
【００２９】
このような理由からデータ変換手段１２は、図７に示すように、計測対象物Ｔとしてのドアパネルの前後方向をＸ軸方向に設定し、上下方向をＹ軸方向に設定し、幅方向（ドアの厚さ方向）をＺ軸方向に設定し、３次元画像データ値から３次元データ値を生成する。尚、データ変換手段１２で生成された３次元データにおける点群とは、計測対象物Ｔの表面に存在する仮想点であり、３次元座標で位置が特定されるものを指す。
【００３０】
このように生成される３次元データは、数ｍｍ未満の設定ピッチのＸ−Ｙ平面を基準にして高さ値がＺ座標として表されるデータ構造を有する。この変換を行う際には、データ取得手段１１で取得した点群（同図では３次元画像値として示す）が存在しない領域における高さ値を求める処理が必要となるが、この処理として、例えば、バイリニア法や、ニアレストネイバー法のように隣接する点群の高さ値を反映させた高さ値を補間処理により新たに作り出すことになる。これらの処理が行われることにより、Ｘ−Ｙ平面を基準にしてＺ方向で高さ値が示される単純なデータ構造の３次元データが生成され、結果として、データ量を低減する。また、このデータ変換手段１２ではＳＴＬファイルのようにポリゴンを生成するデータを含むものでは、このデータを取り除く処理を行うことになる。
【００３１】
ノイズ除去手段１３は、３次元データに含まれるノイズを除去する（＃０３ステップ）。この除去では表面形状を示す複数の座標（高さ値）を、所定の領域毎について移動平均をとる処理が行われる。この処理により注目座標における高さ値が周辺の高さ値と比較してかけ離れた値である場合には、周辺の高さ値を反映した値に変換され、結果としてノイズが除去される。尚、このノイズ除去手段１３によるノイズ除去の処理形態は、特許文献１に示されるように、表面形状を示す多数の点群の１つを特定点とし、その特定点の座標値（高さ値）と、これに隣接する点の座標値（高さ値）とを比較し、高さ値の差に基づいてスムージングの処理を行う等、移動平均を取る処理以外の処理形態であっても良い。
【００３２】
曲率除外領域抽出手段１４は、曲率取得モジュールと、領域設定モジュールとを有し、曲率除外領域設定処理を行う（＃０４ステップ）。曲率取得モジュールは、ノイズが除去された３次元データを取得して曲率取得手段１９に与えることで、この曲率取得手段１９が３次元データから生成した２次元データの点群から算出した計測対象物Ｔの形状を示す曲率を取得する。このように取得された曲率の一例が図８（ａ）に示される。領域設定モジュールは、３次元データが表わす外面形状の曲率が予め設定された第１所定値を超える（曲線の半径が小さい）領域を抽出し、この領域や、この領域で取り囲まれる部位をＸ−Ｙ座標系で位置が表される曲率除外領域に設定する（曲率取得手段１８の処理形態は後述する）。このように設定された曲率除外領域が、図８（ｂ）に示される。
【００３３】
この処理では、曲率取得手段１９によって計測対象物Ｔの外面形状の曲率を算出する処理が必須となり、できるだけ狭い領域毎の曲率を算出することが望ましい。
【００３４】
この実施形態では曲率に基づいて曲率除外領域を設定しているが、曲率だけではなく、平均的な表面より設定量を超えて突出する部位や、設定量を超えて窪む領域があれば、これらを含む部位、あるいは、これらで取り囲まれる部位を曲率除外領域とするように領域設定モジュールの処理形態を設定しても良い。
【００３５】
変化量除外領域抽出手段１５は、曲率取得モジュールと、特徴抽出モジュールと、領域設定モジュールとを有し、変化量除外領域設定処理を行う（＃０５ステップ）。曲率取得モジュールは、上述したものと同じであるので説明は省略する（図８（ａ）参照）。特徴抽出モジュールは、曲率取得モジュールにより取得された曲率から特徴を抽出する。曲率取得モジュールにより取得された曲率とは、上述の第１所定値を超える領域の抽出に用いた曲率である。曲率の特徴とは、曲率の変化量が相当する。このため、特徴抽出モジュールは、ハイパスフィルタを用いて構成される。ハイパスフィルタによりフィルタリングして取得された曲率の変化量が図８（ｃ）に示される。これにより、曲率の変化量が大きい領域（急変部）と曲率の変化量が小さい領域とを正確に区分けすることが可能となる。領域設定モジュールは、外面形状の曲率の変化量が予め設定された第２所定値を超える領域を抽出し、この領域や、この領域で取り囲まれる部位をＸ−Ｙ座標系で位置が表される変化量除外領域に設定する（曲率取得手段１８の処理形態は後述する）。曲率の変化量を２値化したものが、図８（ｄ）に示される。
【００３６】
また、この実施形態でも曲率の変化量に基づいて変化量除外領域を設定しているが、曲率の変化量だけではなく、平均的な表面より設定量を超えて突出する部位や、設定量を超えて窪む領域があれば、これらを含む部位、あるいは、これらで取り囲まれる部位の変化量を変化量除外領域とするように領域設定モジュールの処理形態を設定しても良い。
【００３７】
除外領域設定手段１６は、領域設定モジュールを有し、除外領域設定処理を行う（＃０６ステップ）。除外領域設定手段１６は、曲率除外領域抽出手段１４により抽出された領域と変化量除外領域抽出手段１５により抽出された領域との双方を除外領域として設定する。したがって、曲率除外領域と変化量除外領域との双方が、除外領域設定手段１６により除外領域として設定される。このように設定された除外領域が、図８（ｅ）に示される。
【００３８】
本発明の形状認識装置Ｃでは、後述するようにベース形状データ生成手段１７と詳細形状データ生成手段１８とにおいてノイズが除去された３次元データから３次元データを切り出し、この３次元データの点群から切り出した領域の表面形状が反映される２次元データ構造の表面形状データを生成し、この表面形状データを曲率取得手段１９に与える処理を行う。曲率取得手段１９では与えられた表面形状データの点群から複数の曲率を算出し、ベース形状データ生成手段１７と詳細形状データ生成手段１８の夫々にフィードバックすることでベース形状データと詳細形状データとが生成される。
【００３９】
しかしながら、計測対象物Ｔの座面Ｔａのように比較的狭い領域において大きい曲率で形状が変化する部位が存在する場合には、点群の位置と、計測対象物Ｔにおける現実の曲面との位置関係によっては正確な曲率を求めることが出来ないことも多い。このような領域を評価対象の領域に含めた場合には評価の精度低下を招くことから、計測対象物Ｔの外面形状の評価を行う際に精度低下を招く領域を除外するために、除外領域設定手段１６が除外領域を設定する。
【００４０】
ベース形状データ生成手段１７と詳細形状データ生成手段１８とは、３次元データ切り出しモジュールと、除外処理モジュールと、２次元データ化モジュールと、曲率取得モジュールとを有している。
【００４１】
詳細形状データ生成手段１８は、ノイズが除去された３次元データから設定幅の３次元データを切り出し、切り出した３次元データの表面形状が反映される２次元データ構造となる単一の表面形状データを生成し、この表面形状データから取得した複数の曲率で表される詳細形状データを生成する（＃０７ステップ）。
【００４２】
具体的な処理としては、３次元データ切り出しモジュールが、Ｙ軸方向で設定幅となる領域の３次元データを切り出し、図９に示すようにＸ軸方向で第１設定間隔Ｄ１（３０ｍｍ程度・第１設定範囲の一例）の範囲に含まれる点群をＺ座標（高さ値）に反映させる処理を行う。この処理では、複数の点群のＺ座標を反映させる領域のサイズとして第１設定間隔Ｄ１が設定され、このサイズの領域を点群のピッチでＸ軸方向に移動させ乍ら、その領域の移動平均を取る等の処理によりＸ軸方向での点群ピッチと等しいピッチでＺ座標（高さ値）が生成される（＃０７ステップの〈ａ〉）。次に、除外処理モジュールが３次元データのうち除外領域に含まれる点Ｐ（高さ値）が存在する場合には、その点Ｐを除外する（＃０７ステップの〈ｂ〉）。
【００４３】
この後、２次元データ化モジュールが座標変換を行うことにより、３次元データを２次元データ化して表面形状データを得る（＃０７ステップの〈ｃ〉）。そして、曲率取得モジュールが、表面形状データを曲率取得手段１９に与えることで、この曲率取得手段１９から表面形状データの形状に対応した複数の曲率を取得し、複数の曲率で成る詳細形状データを生成する（＃０７ステップの〈ｄ〉）。
【００４４】
ベース形状データ生成手段１７は、詳細形状データ生成手段１８と同様にノイズが除去された３次元データから設定幅の３次元データを切り出し、切り出した３次元データの表面形状が反映される２次元データ構造となる単一の表面形状データを生成し、この表面形状データから取得した複数の曲率で表されるベース形状データを生成する（＃０８ステップ）。
【００４５】
具体的な処理としては、３次元データ切り出しモジュールが、Ｙ軸方向で設定幅となる領域の３次元データを切り出し、図９に示すようにＸ軸方向で第２設定間隔Ｄ２（第１設定間隔Ｄ１の２倍〜１０倍程度・第２設定範囲の一例）の範囲に含まれる点群をＺ座標（高さ値）に反映する処理を行う。この処理では、複数の点群のＺ座標を反映させる領域のサイズとして第２設定間隔Ｄ２が設定され、このサイズの領域を点群のピッチでＸ軸方向に移動させ乍ら、その領域の移動平均を取る等の処理によりＸ軸方向での点群ピッチと等しいピッチでＺ座標（高さ値）が生成される（＃０８ステップの〈ａ〉）。次に、除外処理モジュールが３次元データのうち除外領域に含まれる点Ｐ（高さ値）が存在する場合には、その点Ｐを除外する（＃０８ステップの〈ｂ〉）。
【００４６】
この後、２次元データ化モジュールが座標変換を行うことにより、３次元データを２次元データ化して表面形状データを得る（＃０８ステップの〈ｃ〉）。そして、曲率取得モジュールが、表面形状データを曲率取得手段１９に与えることで、この曲率取得手段１９から複数の曲率を取得し、複数の曲率で成るベース形状データが生成される（＃０８ステップの〈ｄ〉）。
【００４７】
このように＃０７ステップ、＃０８ステップにおいて、除外領域に含まれる点Ｐを除去する処理では、高さ値を「０」にする処理を行うのではなく、高さ値（点Ｐ・点群）が存在しない状態にする。
【００４８】
図５、図６に示すように、計測対象物Ｔの表面形状が湾曲しているものでは、切り出した３次元データの点群が示す高さ値も円弧状を示す。従って、切り出された３次元データについてＹ軸方向の座標値としてＹ１、Ｙ２‥‥Ｙｎを与えた場合には、図１０に示す如く、Ｙ１、Ｙ２‥‥Ｙｎに対応する高さ値はＺ軸方向で高さが互いに異なる値となる。
【００４９】
このような理由から、＃０７ステップの（ｃ）と＃０８ステップの（ｃ）との処理の座標変換として、Ｙ軸方向での複数の点Ｐ毎の法線と、Ｚ軸と平行する基準軸との間の角度θだけ、対応する湾曲中心で回転させて同一の平面上に投影する座標変換により２次元データ構造の表面形状データが生成される。尚、湾曲中心は３次元データにおいて表面形状を示すＹ軸方向での点群（高さ値）の分布が示す形状から点Ｐ毎に算出される。
【００５０】
曲率取得手段１９は、２次曲線適用モジュールと曲率演算モジュールとを有している。＃０７ステップの（ｄ）と＃０８ステップの（ｄ）との処理において、表面形状データが与えられ、この表面形状データの点群が表す形状曲線に対応する複数の曲率を生成する。この曲率取得手段１９は、２次曲線適用モジュールが点群で表される形状曲線に対応して２次曲線を適用し、この２次曲線から曲率演算モジュールが曲率を演算し、この演算結果を詳細形状データ生成手段１８と、ベース形状データ生成手段１７にフィードバックすることになる。
【００５１】
曲率取得手段１９の２次曲線適用モジュールは、図１１（ａ）、図１１（ｂ）に示す如く、表面形状データの形状曲線に対応した点群をサンプルポイントＰとし、この複数のサンプルポイントＰのうち、３点以上のサンプルポイントＰを設定する。そして、中央付近を頂点とした点群付近を通過する２次曲線を近似曲線Ｆとして適用し、適用された近似曲線のサンプルポイントＰの中央部での曲率に基づいて曲率を算出する。この近似曲線Ｆは２次曲線であることから、係数の値の増減により複数のサンプルポイントＰと一致する位置又は近似する位置を通過する形状が設定される。また、この２次曲線とは２次微分可能な関数として捉えることが可能である。
【００５２】
尚、２次曲線で成る近似曲線Ｆを設定する場合に、サンプルポイントＰが表す形状曲線が下に凸であると、近似曲線Ｆの係数は正「＋」になり、上に凸であると、係数は負「−」になる。また、サンプルポイントが表す形状曲線が直線に近いものであるほど近似曲線Ｆの係数は「０」に近い値となる。従って、サンプルポイントＰが表す形状曲線が上に凸から下に凸に変化する変曲点においても係数の値が正から負に切り換わるだけで済み、形状曲線が直線に近いものでも無理なく近似曲線Ｆを設定できる。この曲率取得手段１９では、近似曲線Ｆとして２次曲線を用いているが、例えば、３次関数以上の高次関数曲線や、サインカーブや、双曲線等を用いるものであっても良い。
【００５３】
曲率演算モジュールで曲率を求めるには、近似曲線のサンプルポイント中央部（頂点付近）での湾曲の程度から直接的に取得することも可能である。具体例の１つとして近似曲線の湾曲の程度を数値化してテーブルとして保存しておき、湾曲の程度に基づいてテーブルから曲率値を取得する処理が考えられる。また、曲率を求める具体的な処理形態としては、曲率演算モジュールが、センターラインＱを設定し、このセンターラインＱの方向で中央のサンプルポイントＰからの距離と、このセンターラインＱから直交する方向での近似曲線Ｆまでの距離とが一致する位置と、中央のサンプルポイントＰまでの距離の１／２を中心点Ｓに想定し、この中心点Ｓを中心とし、頂点に内接するものの半径を曲率の半径ｒとし、この半径ｒの逆数を曲率とする演算を行っても良い。このように曲率を求める処理においてセンターラインＱの設定や中心点Ｓの設定は、図１１に示すものに限るものではなく、例えば、センターラインＱを２つのサンプルポイントＰの中間に設定することや、処理に適した任意のものに設定することも可能である。
【００５４】
このような処理からベース形状データは複数の曲率で構成され、詳細形状データも同様に複数の曲率で構成される。
【００５５】
この実施の形態では、曲率除外領域抽出手段１４と、変化量除外領域抽出手段１５と、除外領域設定手段１６と、ベース形状データ生成手段１７と、詳細形状データ生成手段１８とからの指示によって曲率取得手段１９が曲率の演算を行っているが、これに代えて曲率除外領域抽出手段１４と、変化量除外領域抽出手段１５と、除外領域設定手段１６と、ベース形状データ生成手段１７と、詳細形状データ生成手段１８とにおいて、曲率取得手段１９と同様の処理を行うモジュールを備え、そのモジュールで曲率を算出する処理を行っても良い。
【００５６】
詳細形状データとベース形状データとを生成する際には、計測対象物Ｔの全面の形状評価を行うために、３次元データ切り出しモジュールが切り出し領域をＹ軸方向にシフトしながら＃０７、＃０８ステップの処理が反復して行われる（＃０９ステップ）。特に、切り出す対象をＹ軸方向にシフトする際には、先に切り出される３次元データと、この後に切り出される３次元データとがＹ軸方向で重複しないように処理形態が採用されているが、Ｙ軸方向で一部重複するように処理形態を設定しても良い。
【００５７】
形状評価手段２０は、ベース形状データと詳細形状データとの複数の曲率のうちＸ軸方向で同一の領域における曲率同士を比較して歪値を取得する（＃１０ステップ）。この歪値は曲率の値の差を算出する単純な処理であるが、図１２に示すように、ベース形状データの曲率を基準にし、詳細形状データの曲率との差を歪値として抽出する。
【００５８】
〔形状評価手段の異なる処理形態〕
特に、本発明では、歪値を取得する際に、ベース形状データと詳細形状データとの複数の曲率から想定される２種の外形曲線（図示せず）を演算によって生成し、ベース形状データに対応する外形曲線と、詳細形状データに対応する外形曲線との差（オフセット量）から歪値を取得するように形状評価手段２０の処理形態を設定しても良い。この処理形態を採用することにより、ベース形状データを基準にした詳細形状データの凹凸量を実寸に近い値で取得することになる。
【００５９】
評価画像生成手段２１は、測定対象形状取得手段２２から計測対象物Ｔの外縁を示すアウトラインを示す形状イメージデータを取得し、この形状イメージデータの内部領域に対して同じ歪値を含むエリアを設定し、夫々のエリアに対し、そのエリアに対して歪値に対応した色相・濃度のペイントを行い、このイメージをディスプレイｄに表示する（＃１１ステップ）。
【００６０】
この評価画像生成手段２１の処理が行われることにより、ディスプレイｄには計測対象物Ｔの形状のイメージが表示されると共に、この形状のイメージの内部領域に対して、突出方向の歪みと、窪み方向の歪みとを異なる色相で表示する共に、歪みの量に対応して濃度や色相を異ならせることで、歪みが存在する領域と歪みの方向と歪みの程度とが視覚的に把握できるものにする。
【００６１】
〔実施の形態の概要〕
このように、本発明によると、撮影ユニットＶで取得した３次元データ構造の撮影データから３次元データを生成し、ノイズの除去の後に、この３次元データにおける所定の設定領域の形状を詳細に反映した曲率群で成る詳細形状データを生成すると共に、３次元データの所定の設定領域の形状を詳細形状データよりも粗く反映した曲率群で成るベース形状データを生成する。この後に、夫々の形状データ（すなわち、詳細形状データ及びベース形状データ）から除外領域に含まれるデータを除外して夫々の修正形状データ（すなわち、修正詳細形状データ及び修正ベース形状データ）を生成する。生成された夫々の修正形状データ（修正詳細形状データ及び修正ベース形状データ）の曲率に基づいて外面形状の歪値を抽出する。すなわち、修正詳細形状データと修正ベース形状データとにおける同一の領域の曲率を比較して歪値を取得する。これにより、例えば、全体的に緩やかな凸状となる外面形状の一部の狭い領域に凹状の歪みが存在する場合でも、この凹状の歪みを的確に検出できるものとなる。
【００６２】
また、計測対象物Ｔに歪みが存在する場合には、ディスプレイｄに計測対象物Ｔと同じ形状のイメージを表示し、そのイメージの内部に歪みの分布の領域を表示し、その領域毎に歪みに対応した色相・濃度のペイントを行うので、視覚的に歪みが存在する位置を把握できると同時に、歪みの方向（凸あるいは凹）と、歪みの程度とを視覚的に把握できるものとなる。
【００６３】
〔別実施形態〕
本発明では、撮影によって取得した３次元データでも、ＳＴＬファイル構造の３次元データであっても、取得した３次元データから直接的に詳細形状データとベース形状データとを生成するように処理形態を設定しても良い。具体例を挙げると、詳細形状データ生成手段１８が、計測対象物Ｔの外面形状を示す３次元データの点群の座標のうち、所定方向で設定幅の点群の座標を取得し、この点群から第１設定間隔Ｄ１毎の点群を取得し、この点群の周辺点群から最小自乗法等により近似平面を定義し、この近似平面の原点０を設定する。
【００６４】
次に、この近似平面の法線方向をＺ’軸として、このＺ’軸を含む平面（例えば、Ｚ’−Ｘ’平面）に対して周辺点群の座標が反映する写像（２次元データ）を生成する。この写像に対して近似曲線を適用し、その近似曲線の曲率計算することで原点０を検査点とする詳細形状データの曲率を得る。これと同様に、ベース形状データ生成手段１６が、第２設定間隔Ｄ２毎の点群から原点０を検査点とするベース形状データの曲率を得る。この原理により複数の原点０に基づく詳細形状データとベース形状データの曲率を得ることが可能となり、前述同様の処理により詳細形状データとベース形状データの曲率から歪値を取得し、表示することで歪みを把握し得るものとなる。
【００６５】
この別実施形態では、除外領域を除外する処理を説明していないが、ベース形状データ生成手段１７又は詳細形状データ生成手段１８が取得した３次元データにおいて除外領域を設定し、処理対象から除外しても良く、取得した３次元データにノイズが含まれる可能性があるものでは、ベース形状データ生成手段１７又は詳細形状データ生成手段１８が取得した後にノイズの除去を行うように処理形態を設定しても良い。
【産業上の利用可能性】
【００６６】
本発明は、金型を製造する３次元データや、工作機械で削り出し加工を行うための３次元データの評価に利用することができる。
【符号の説明】
【００６７】
Ｃ：形状認識装置
１４：曲率除外領域抽出手段
１５：変化量除外領域抽出手段
１６：除外領域設定手段
２０：形状評価手段
【技術分野】
【０００１】
本発明は、物体の外面形状を表す３次元データから、その物体の外面形状の認識を行う形状認識装置に関する。
【背景技術】
【０００２】
上記のように構成された形状認識装置として特許文献１に記載のものがある。この形状認識装置は、車両のボディやドアパネル等のプレス加工品の表面の撮影画像を縞解析することによりプレス加工品の表面形状の全体の三次元計測データを生成する三次元計測コントロールユニットを備え、歪評価装置も備えている。
【０００３】
形状認識装置は、近似曲線適用手段、曲率導出手段、一様範囲決定手段、近似曲線導出手段を備えている。近似曲線適用手段は、三次元計測データから断面の長さ方向に生成した二次元データのうち、断面の長さ方向に沿った複数の第１データ群について、その曲線に対応するサークルの一部の区間を対応させることにより、曲線に複数のサークルを対応させる。曲率導出手段は各サークルの曲率を求めて第１近似曲線を生成する。次に、一様範囲決定手段が、第１近似曲線から一様な範囲を決定し、近似曲線導出手段が、一定の曲率を有する第２近似曲線を導出する。尚、この曲率はサークルの半径の逆数である。
【０００４】
次に、歪評価装置が、第２近似曲線からの逸脱量が設定許容範囲以上であるデータを歪みデータとして、歪データ抽出手段が抽出する。つまり、この特許文献１では曲線の各部の形状を所定半径のサークルの円弧の集合として捉え、このサークルの円弧の集合に基づいて第２近似曲線を生成し、この第２近似曲線を基準として曲率が逸脱する領域に歪みが存在すると判定している。
【０００５】
車両のボディやドアパネル等のプレス加工品の表面の歪検出処理を考えると、例えば、加工品の理想的な表面形状を示すＣＡＤデータ（例えば、金型のＣＡＤデータ）等の３次元データと比較することが考えられる。しかしながら、プレス加工品では、加工直後にスプリングバックにより少し形状が膨らむ方向に変形するのが普通であり、ＣＡＤデータと比較することで表面の歪みを検出することは、ＣＡＤデータとの相対的な位置決めの精度の面も含めて実用面で困難な場合がある。
【０００６】
そこで、特許文献１に記載されるように、計測対象の表面を撮影して作り出した三次元データを所定方向に切断した際の二次元断面データから計測対象の表面の各部の曲率を求め、一様となる曲率と、各部の曲率との比較により、その曲率が逸脱する領域に歪みがあると判定するものが有効となる。
【０００７】
つまり、自動車のボディやドアパネルでは、設計された曲線と比較して全体的に湾曲するように歪んでいても、視覚的には歪みと感ずることは殆どなく、一部に窪みや突出部がある場合には、その窪み量や突出量が小さくても視覚的に歪みと感ずることが多い。このような課題に対し、特許文献１に記載される装置では、一様となる曲率が計測対象のベースとなる形状に対応するものであり、このベースになる形状を基準として各部の曲率を比較するものであるため、局部的な歪みの検出を可能にすると云う良好な面を現出するものであった。
【０００８】
しかしながら、特許文献１に記載されるように、二次元断面データの長さ方向に短い間隔でサンプル点を設定し、夫々のサンプル点についてサークルを近似させるものでは、多数のサンプル点が直線状に並ぶ形状である場合には、サークルの半径が極めて大きい値となり処理の負担が大きくなりやすい。
【０００９】
また、サンプル点が描く形状曲線が上に凸と成る場合と下に凸となる場合では、サークルの中心座標が大きく異なることから、例えば、形状曲線の変曲点の近傍では、形状曲線をサークルで近似する場合に、変曲点を基準にして形状曲線の一方の部位を近似するサークルの中心座標が設定された後に、変曲点を基準に曲線の他方の部位を近似するサークルの中心座標の位置が大きく切り換わるものとなり、必然的に大きい数値を扱わねばならず、処理の負担となり易く改善の余地があった。
【００１０】
計測対象物の表面において、比較的狭い領域において大きい曲率で形状が変化する部位が存在する場合には、サンプル点の位置関係によって正確な曲率を求めることが出来ないことも多い。これはサンプル点の間隔が長いほど誤差を招きやすいことから説明が可能であり、この不都合を解消するためにサンプル点の間隔を短くすることも考えられる。しかしながら、サンプル点の間隔を短くした場合にはデータ量の増大を招き、外形曲線の近似を行う際の処理時間も長くなり現実的でない。
【００１１】
そこで、３次元データが表わす外面形状において、所定値を超える曲率を含む領域を除外した後に大きい曲率の影響を排除した２次元データを生成し、３次元データの曲率を取得することが考えられる。
【００１２】
例えば、ドアパネルに設けられた座面のように、計測対象物の表面に比較的狭い領域において、大きい曲率で形状が変化する部位が存在する場合には、サンプル点の位置関係によって正確な曲率を求めることができないことも多い。そのため、上記従来技術のように、予め、所定値を超える曲率を有する領域については、データを除外してしまうことで、本来の形状に対応した曲率を取得することが行われている。
【００１３】
しかしながら、所定値以上の曲率を単に除外する設定では、実際に除外したい領域のみを適切に除外処理することはできない。これは、大きい曲率で形状が変化する部位の周囲は、比較的なだらかな曲率として計算される傾向にある。そのため、所定値（閾値）を低めに設定することが考えられるが、閾値を低めに設定すると、本来除外すべきでない部分も除外される恐れがある。ゆえに、閾値は高めに設定せざるを得ず、除外したい領域すべてを適切に除外することができなかった。
【先行技術文献】
【特許文献】
【００１４】
【特許文献１】特開２００７‐１２７６１０号公報
【発明の概要】
【発明が解決しようとする課題】
【００１５】
本発明の目的は、上記問題に鑑み、２次元構造の断面データが表す形状曲線を近似するための処理を簡単に行うことが可能な形状認識装置を提供することにある。
【課題を解決するための手段】
【００１６】
上記目的を達成するための本発明に係る形状認識装置の特徴構成は、物体の外面形状を表す３次元データから、その物体の外面形状の認識を行うため、前記３次元データが表わす外面形状の曲率が予め設定された第１所定値を超える領域を抽出する曲率除外領域抽出手段と、前記領域の抽出に用いた前記外面形状の曲率の変化量を演算し、当該変化量が予め設定された第２所定値を超える領域を抽出する変化量除外領域抽出手段と、前記曲率除外領域抽出手段により抽出された領域と前記変化量除外領域抽出手段により抽出された領域との双方を除外領域として設定する除外領域設定手段と、前記３次元データにおける所定の設定領域の形状を詳細に反映した詳細形状データと、前記所定の設定領域の形状を前記詳細形状データよりも粗く反映したベース形状データとを取得すると共に、夫々の形状データから前記除外領域に含まれるデータを除外して夫々の修正形状データを生成し、前記夫々の修正形状データの曲率に基づいて前記外面形状の歪値を抽出する形状評価手段と、を備える点にある。
【００１７】
このような特徴構成とすれば、曲率除外領域抽出手段が第１所定値を超える曲率を有する領域を曲率除外領域として設定し、当該曲率除外領域に隣接する隣接領域において、変化量除外領域抽出手段が第２所定値を超える曲率の変化量を含む領域を変化量除外領域として抽出することができる。これにより、曲率が大きく変化する領域と曲率が大きく変化しない領域とを曲率除外領域抽出手段により容易に区分けすることが可能となり、曲率除外領域に隣接する隣接領域においては、曲率の変化量が急変する急変部を変化量除外領域抽出手段により正確に区分けすることが可能となる。除外領域設定手段は、このように区分けされた２つの領域の論理和を除外領域として設定するので、曲率が大きく変化する領域に隣接する、曲率が大きく変化しない領域において曲率の変化量が急変する急変部を的確に考慮して除外領域を設定することが可能となる。このため、曲率が急変するような形状からなるデザインを有する物体の外面形状であっても、当該デザインを除外した上で物体の外面形状の歪認識処理を適切に行うことができる。したがって、歪認識性能の向上を図ることが可能となる。
【図面の簡単な説明】
【００１８】
【図１】３次元計測システムの全体を示す斜視図である。
【図２】３次元計測システムのブロック回路図である。
【図３】形状認識装置のブロック回路図である
【図４】評価処理ルーチンのフローチャートである。
【図５】計測対象と座標系とを示す斜視図である。
【図６】計測対象の側面図である。
【図７】データ変換処理部における変換形態を示す斜視図である。
【図８】除外領域の設定について模式的に示す図である。
【図９】切り出された３次元データの点群の高さ値を反映させる際の２種の領域のサイズを示す図である。
【図１０】切り出しにより取得された３次元データの表面形状を示す図である。
【図１１】除外領域を設定する際の処理を模式的に示す図である。
【図１２】曲率の差から歪値を取得する際の処理を示す図である。
【発明を実施するための形態】
【００１９】
以下、本発明の実施の形態を図面に基づいて説明する。
〔システム構成〕
図１及び図２に示すように、先端にデジタルカメラを有する撮影ユニットＶを備えた多関節型のロボットハンドＨと、このロボットハンドＨを制御するロボットハンドコントローラＡと、撮影ユニットＶで撮影した計測対象物Ｔの画像データを取得する画像取得ユニットＢと、この画像取得ユニットＢから画像データを取得し物体の外面形状の歪を抽出して出力する形状認識装置Ｃを備えて３次元計測システムが構成されている。このような構成からなる形状認識装置Ｃは、物体の外面形状を表す３次元データから、その物体の外面形状の認識を行う機能を備えている。
【００２０】
撮影ユニットＶは、計測対象物Ｔの表面に対し投影レンズ１Ｌを介して格子パターンを投影するパターン投影装置１と、撮影レンズ２Ｌを介して計測対象物Ｔの表面の撮影を行うデジタル型のカメラ２とを備えている。ロボットハンドＨは、複数のアーム部３と、夫々のアーム部３を独立して駆動する電動モータ４とを備え、ロボットハンドコントローラＡが予めセットされたプログラムを実行することにより、撮影ユニットＶで計測対象物Ｔを異なる方向から撮影する作動が行われ、計測対象物Ｔの表面全体の撮影を実現する。画像取得ユニットＢは、撮影ユニットＶで撮影された画像データの格子パターンから計測対象物Ｔの形状を判定し３次元画像を生成する。
【００２１】
ロボットハンドコントローラＡは、コントロールプログラム５に従ってアーム部３を制御するアームコントロール手段６を備えている。画像取得ユニットＢはカメラ２から画像データ取得手段７が画像データを取得し、この画像データから３次元画像生成手段８が３次元画像を生成する。画像データから３次元画像を生成する技術は特開２００２−２５７５２８号公報や特開２００４−３１７４９５号公報等に示されるように公知のものを用いており、このような処理を行うことにより、計測対象物Ｔの表面形状が３次元座標系で表される点群となる３次元画像が生成される。
【００２２】
形状認識装置Ｃは、ディスプレイｄ、キーボードｋ、マウスｍ等が接続する汎用コンピュータによって構成され、画像取得ユニットＢから取得した３次元画像から計測対象物Ｔの表面の歪量を抽出して評価を行い、評価結果をディスプレイｄに出力する。
【００２３】
〔制御構成〕
図２及び図３に示すように、形状認識装置Ｃは、データ取得手段１１と、データ変換手段１２と、ノイズ除去手段１３と、曲率除外領域抽出手段１４と、変化量除外領域抽出手段１５と、除外領域設定手段１６と、ベース形状データ生成手段１７と、詳細形状データ生成手段１８と、曲率取得手段１９と、形状評価手段２０と、評価画像生成手段２１と、測定対象形状取得手段２２とを備えている。
【００２４】
これら、データ取得手段１１、データ変換手段１２、ノイズ除去手段１３、曲率除外領域抽出手段１４、変化量除外領域抽出手段１５、除外領域設定手段１６、ベース形状データ生成手段１７、詳細形状データ生成手段１８、曲率取得手段１９、形状評価手段２０、評価画像生成手段２１、測定対象形状取得手段２２は形状認識装置Ｃとして機能する汎用コンピュータのストレージ上に展開されるソフトウエアで構成されるものであるが、これらをソフトウエアとロジック等のハードウエアとの組み合わせによって構成しても良く、ロジック等のハードウエアのみによって構成しても良い。
【００２５】
〔制御形態〕
図４には、このような制御構成による制御のフローチャートが示され、制御構成の機能を当該フローチャートに示した制御の流れと併せて説明する。
【００２６】
データ取得手段１１は、通信ケーブルを介して画像取得ユニットＢの３次元画像生成手段８で生成された３次元画像を取得する（＃０１ステップ）。形状認識装置Ｃでは、撮影ユニットＶで撮影された画像から生成された３次元画像だけを処理対象とするのではなく、例えば、ＳＴＬファイル等のデータ構造を有した３次元データを処理対象にすることも可能である。すなわち、計測対象となる外面表面に対応する点群から直接、ベース形状データ生成手段及び詳細形状データによってベース形状及び詳細形状データを算出することも可能である。
【００２７】
図５及び図６には、計測対象物Ｔ（物体の一例）としてドアパネルを示しており、このドアパネルを車体に備えた姿勢での前後方向をＸ軸方向とし、上下方向をＹ軸方向とし、幅方向をＺとして示している。このドアパネルのパネル部分にはドアハンドル（図示せず）が装着される座面Ｔａと開口Ｔｂとが形成されている。
【００２８】
データ変換手段１２は取得した３次元画像から計測対象物Ｔの表面形状を示す点群（Ｚ座標値・高さ値を示す点の集まり）を設定ピッチのＸ−Ｙ平面上の格子点上の点群に変換することで３次元データを生成する（＃０２ステップ）。つまり、データ取得手段１１で取得した３次元画像の３次元座標系は、ドアパネルの前後方向・上下方向がＸ−Ｙ軸方向と必ずしも一致するものではなく、外面形状を示す高さ値（Ｚ方向での値）を示す点群のピッチも、この形状認識装置Ｃで処理するために適正な値とは云えない。
【００２９】
このような理由からデータ変換手段１２は、図７に示すように、計測対象物Ｔとしてのドアパネルの前後方向をＸ軸方向に設定し、上下方向をＹ軸方向に設定し、幅方向（ドアの厚さ方向）をＺ軸方向に設定し、３次元画像データ値から３次元データ値を生成する。尚、データ変換手段１２で生成された３次元データにおける点群とは、計測対象物Ｔの表面に存在する仮想点であり、３次元座標で位置が特定されるものを指す。
【００３０】
このように生成される３次元データは、数ｍｍ未満の設定ピッチのＸ−Ｙ平面を基準にして高さ値がＺ座標として表されるデータ構造を有する。この変換を行う際には、データ取得手段１１で取得した点群（同図では３次元画像値として示す）が存在しない領域における高さ値を求める処理が必要となるが、この処理として、例えば、バイリニア法や、ニアレストネイバー法のように隣接する点群の高さ値を反映させた高さ値を補間処理により新たに作り出すことになる。これらの処理が行われることにより、Ｘ−Ｙ平面を基準にしてＺ方向で高さ値が示される単純なデータ構造の３次元データが生成され、結果として、データ量を低減する。また、このデータ変換手段１２ではＳＴＬファイルのようにポリゴンを生成するデータを含むものでは、このデータを取り除く処理を行うことになる。
【００３１】
ノイズ除去手段１３は、３次元データに含まれるノイズを除去する（＃０３ステップ）。この除去では表面形状を示す複数の座標（高さ値）を、所定の領域毎について移動平均をとる処理が行われる。この処理により注目座標における高さ値が周辺の高さ値と比較してかけ離れた値である場合には、周辺の高さ値を反映した値に変換され、結果としてノイズが除去される。尚、このノイズ除去手段１３によるノイズ除去の処理形態は、特許文献１に示されるように、表面形状を示す多数の点群の１つを特定点とし、その特定点の座標値（高さ値）と、これに隣接する点の座標値（高さ値）とを比較し、高さ値の差に基づいてスムージングの処理を行う等、移動平均を取る処理以外の処理形態であっても良い。
【００３２】
曲率除外領域抽出手段１４は、曲率取得モジュールと、領域設定モジュールとを有し、曲率除外領域設定処理を行う（＃０４ステップ）。曲率取得モジュールは、ノイズが除去された３次元データを取得して曲率取得手段１９に与えることで、この曲率取得手段１９が３次元データから生成した２次元データの点群から算出した計測対象物Ｔの形状を示す曲率を取得する。このように取得された曲率の一例が図８（ａ）に示される。領域設定モジュールは、３次元データが表わす外面形状の曲率が予め設定された第１所定値を超える（曲線の半径が小さい）領域を抽出し、この領域や、この領域で取り囲まれる部位をＸ−Ｙ座標系で位置が表される曲率除外領域に設定する（曲率取得手段１８の処理形態は後述する）。このように設定された曲率除外領域が、図８（ｂ）に示される。
【００３３】
この処理では、曲率取得手段１９によって計測対象物Ｔの外面形状の曲率を算出する処理が必須となり、できるだけ狭い領域毎の曲率を算出することが望ましい。
【００３４】
この実施形態では曲率に基づいて曲率除外領域を設定しているが、曲率だけではなく、平均的な表面より設定量を超えて突出する部位や、設定量を超えて窪む領域があれば、これらを含む部位、あるいは、これらで取り囲まれる部位を曲率除外領域とするように領域設定モジュールの処理形態を設定しても良い。
【００３５】
変化量除外領域抽出手段１５は、曲率取得モジュールと、特徴抽出モジュールと、領域設定モジュールとを有し、変化量除外領域設定処理を行う（＃０５ステップ）。曲率取得モジュールは、上述したものと同じであるので説明は省略する（図８（ａ）参照）。特徴抽出モジュールは、曲率取得モジュールにより取得された曲率から特徴を抽出する。曲率取得モジュールにより取得された曲率とは、上述の第１所定値を超える領域の抽出に用いた曲率である。曲率の特徴とは、曲率の変化量が相当する。このため、特徴抽出モジュールは、ハイパスフィルタを用いて構成される。ハイパスフィルタによりフィルタリングして取得された曲率の変化量が図８（ｃ）に示される。これにより、曲率の変化量が大きい領域（急変部）と曲率の変化量が小さい領域とを正確に区分けすることが可能となる。領域設定モジュールは、外面形状の曲率の変化量が予め設定された第２所定値を超える領域を抽出し、この領域や、この領域で取り囲まれる部位をＸ−Ｙ座標系で位置が表される変化量除外領域に設定する（曲率取得手段１８の処理形態は後述する）。曲率の変化量を２値化したものが、図８（ｄ）に示される。
【００３６】
また、この実施形態でも曲率の変化量に基づいて変化量除外領域を設定しているが、曲率の変化量だけではなく、平均的な表面より設定量を超えて突出する部位や、設定量を超えて窪む領域があれば、これらを含む部位、あるいは、これらで取り囲まれる部位の変化量を変化量除外領域とするように領域設定モジュールの処理形態を設定しても良い。
【００３７】
除外領域設定手段１６は、領域設定モジュールを有し、除外領域設定処理を行う（＃０６ステップ）。除外領域設定手段１６は、曲率除外領域抽出手段１４により抽出された領域と変化量除外領域抽出手段１５により抽出された領域との双方を除外領域として設定する。したがって、曲率除外領域と変化量除外領域との双方が、除外領域設定手段１６により除外領域として設定される。このように設定された除外領域が、図８（ｅ）に示される。
【００３８】
本発明の形状認識装置Ｃでは、後述するようにベース形状データ生成手段１７と詳細形状データ生成手段１８とにおいてノイズが除去された３次元データから３次元データを切り出し、この３次元データの点群から切り出した領域の表面形状が反映される２次元データ構造の表面形状データを生成し、この表面形状データを曲率取得手段１９に与える処理を行う。曲率取得手段１９では与えられた表面形状データの点群から複数の曲率を算出し、ベース形状データ生成手段１７と詳細形状データ生成手段１８の夫々にフィードバックすることでベース形状データと詳細形状データとが生成される。
【００３９】
しかしながら、計測対象物Ｔの座面Ｔａのように比較的狭い領域において大きい曲率で形状が変化する部位が存在する場合には、点群の位置と、計測対象物Ｔにおける現実の曲面との位置関係によっては正確な曲率を求めることが出来ないことも多い。このような領域を評価対象の領域に含めた場合には評価の精度低下を招くことから、計測対象物Ｔの外面形状の評価を行う際に精度低下を招く領域を除外するために、除外領域設定手段１６が除外領域を設定する。
【００４０】
ベース形状データ生成手段１７と詳細形状データ生成手段１８とは、３次元データ切り出しモジュールと、除外処理モジュールと、２次元データ化モジュールと、曲率取得モジュールとを有している。
【００４１】
詳細形状データ生成手段１８は、ノイズが除去された３次元データから設定幅の３次元データを切り出し、切り出した３次元データの表面形状が反映される２次元データ構造となる単一の表面形状データを生成し、この表面形状データから取得した複数の曲率で表される詳細形状データを生成する（＃０７ステップ）。
【００４２】
具体的な処理としては、３次元データ切り出しモジュールが、Ｙ軸方向で設定幅となる領域の３次元データを切り出し、図９に示すようにＸ軸方向で第１設定間隔Ｄ１（３０ｍｍ程度・第１設定範囲の一例）の範囲に含まれる点群をＺ座標（高さ値）に反映させる処理を行う。この処理では、複数の点群のＺ座標を反映させる領域のサイズとして第１設定間隔Ｄ１が設定され、このサイズの領域を点群のピッチでＸ軸方向に移動させ乍ら、その領域の移動平均を取る等の処理によりＸ軸方向での点群ピッチと等しいピッチでＺ座標（高さ値）が生成される（＃０７ステップの〈ａ〉）。次に、除外処理モジュールが３次元データのうち除外領域に含まれる点Ｐ（高さ値）が存在する場合には、その点Ｐを除外する（＃０７ステップの〈ｂ〉）。
【００４３】
この後、２次元データ化モジュールが座標変換を行うことにより、３次元データを２次元データ化して表面形状データを得る（＃０７ステップの〈ｃ〉）。そして、曲率取得モジュールが、表面形状データを曲率取得手段１９に与えることで、この曲率取得手段１９から表面形状データの形状に対応した複数の曲率を取得し、複数の曲率で成る詳細形状データを生成する（＃０７ステップの〈ｄ〉）。
【００４４】
ベース形状データ生成手段１７は、詳細形状データ生成手段１８と同様にノイズが除去された３次元データから設定幅の３次元データを切り出し、切り出した３次元データの表面形状が反映される２次元データ構造となる単一の表面形状データを生成し、この表面形状データから取得した複数の曲率で表されるベース形状データを生成する（＃０８ステップ）。
【００４５】
具体的な処理としては、３次元データ切り出しモジュールが、Ｙ軸方向で設定幅となる領域の３次元データを切り出し、図９に示すようにＸ軸方向で第２設定間隔Ｄ２（第１設定間隔Ｄ１の２倍〜１０倍程度・第２設定範囲の一例）の範囲に含まれる点群をＺ座標（高さ値）に反映する処理を行う。この処理では、複数の点群のＺ座標を反映させる領域のサイズとして第２設定間隔Ｄ２が設定され、このサイズの領域を点群のピッチでＸ軸方向に移動させ乍ら、その領域の移動平均を取る等の処理によりＸ軸方向での点群ピッチと等しいピッチでＺ座標（高さ値）が生成される（＃０８ステップの〈ａ〉）。次に、除外処理モジュールが３次元データのうち除外領域に含まれる点Ｐ（高さ値）が存在する場合には、その点Ｐを除外する（＃０８ステップの〈ｂ〉）。
【００４６】
この後、２次元データ化モジュールが座標変換を行うことにより、３次元データを２次元データ化して表面形状データを得る（＃０８ステップの〈ｃ〉）。そして、曲率取得モジュールが、表面形状データを曲率取得手段１９に与えることで、この曲率取得手段１９から複数の曲率を取得し、複数の曲率で成るベース形状データが生成される（＃０８ステップの〈ｄ〉）。
【００４７】
このように＃０７ステップ、＃０８ステップにおいて、除外領域に含まれる点Ｐを除去する処理では、高さ値を「０」にする処理を行うのではなく、高さ値（点Ｐ・点群）が存在しない状態にする。
【００４８】
図５、図６に示すように、計測対象物Ｔの表面形状が湾曲しているものでは、切り出した３次元データの点群が示す高さ値も円弧状を示す。従って、切り出された３次元データについてＹ軸方向の座標値としてＹ１、Ｙ２‥‥Ｙｎを与えた場合には、図１０に示す如く、Ｙ１、Ｙ２‥‥Ｙｎに対応する高さ値はＺ軸方向で高さが互いに異なる値となる。
【００４９】
このような理由から、＃０７ステップの（ｃ）と＃０８ステップの（ｃ）との処理の座標変換として、Ｙ軸方向での複数の点Ｐ毎の法線と、Ｚ軸と平行する基準軸との間の角度θだけ、対応する湾曲中心で回転させて同一の平面上に投影する座標変換により２次元データ構造の表面形状データが生成される。尚、湾曲中心は３次元データにおいて表面形状を示すＹ軸方向での点群（高さ値）の分布が示す形状から点Ｐ毎に算出される。
【００５０】
曲率取得手段１９は、２次曲線適用モジュールと曲率演算モジュールとを有している。＃０７ステップの（ｄ）と＃０８ステップの（ｄ）との処理において、表面形状データが与えられ、この表面形状データの点群が表す形状曲線に対応する複数の曲率を生成する。この曲率取得手段１９は、２次曲線適用モジュールが点群で表される形状曲線に対応して２次曲線を適用し、この２次曲線から曲率演算モジュールが曲率を演算し、この演算結果を詳細形状データ生成手段１８と、ベース形状データ生成手段１７にフィードバックすることになる。
【００５１】
曲率取得手段１９の２次曲線適用モジュールは、図１１（ａ）、図１１（ｂ）に示す如く、表面形状データの形状曲線に対応した点群をサンプルポイントＰとし、この複数のサンプルポイントＰのうち、３点以上のサンプルポイントＰを設定する。そして、中央付近を頂点とした点群付近を通過する２次曲線を近似曲線Ｆとして適用し、適用された近似曲線のサンプルポイントＰの中央部での曲率に基づいて曲率を算出する。この近似曲線Ｆは２次曲線であることから、係数の値の増減により複数のサンプルポイントＰと一致する位置又は近似する位置を通過する形状が設定される。また、この２次曲線とは２次微分可能な関数として捉えることが可能である。
【００５２】
尚、２次曲線で成る近似曲線Ｆを設定する場合に、サンプルポイントＰが表す形状曲線が下に凸であると、近似曲線Ｆの係数は正「＋」になり、上に凸であると、係数は負「−」になる。また、サンプルポイントが表す形状曲線が直線に近いものであるほど近似曲線Ｆの係数は「０」に近い値となる。従って、サンプルポイントＰが表す形状曲線が上に凸から下に凸に変化する変曲点においても係数の値が正から負に切り換わるだけで済み、形状曲線が直線に近いものでも無理なく近似曲線Ｆを設定できる。この曲率取得手段１９では、近似曲線Ｆとして２次曲線を用いているが、例えば、３次関数以上の高次関数曲線や、サインカーブや、双曲線等を用いるものであっても良い。
【００５３】
曲率演算モジュールで曲率を求めるには、近似曲線のサンプルポイント中央部（頂点付近）での湾曲の程度から直接的に取得することも可能である。具体例の１つとして近似曲線の湾曲の程度を数値化してテーブルとして保存しておき、湾曲の程度に基づいてテーブルから曲率値を取得する処理が考えられる。また、曲率を求める具体的な処理形態としては、曲率演算モジュールが、センターラインＱを設定し、このセンターラインＱの方向で中央のサンプルポイントＰからの距離と、このセンターラインＱから直交する方向での近似曲線Ｆまでの距離とが一致する位置と、中央のサンプルポイントＰまでの距離の１／２を中心点Ｓに想定し、この中心点Ｓを中心とし、頂点に内接するものの半径を曲率の半径ｒとし、この半径ｒの逆数を曲率とする演算を行っても良い。このように曲率を求める処理においてセンターラインＱの設定や中心点Ｓの設定は、図１１に示すものに限るものではなく、例えば、センターラインＱを２つのサンプルポイントＰの中間に設定することや、処理に適した任意のものに設定することも可能である。
【００５４】
このような処理からベース形状データは複数の曲率で構成され、詳細形状データも同様に複数の曲率で構成される。
【００５５】
この実施の形態では、曲率除外領域抽出手段１４と、変化量除外領域抽出手段１５と、除外領域設定手段１６と、ベース形状データ生成手段１７と、詳細形状データ生成手段１８とからの指示によって曲率取得手段１９が曲率の演算を行っているが、これに代えて曲率除外領域抽出手段１４と、変化量除外領域抽出手段１５と、除外領域設定手段１６と、ベース形状データ生成手段１７と、詳細形状データ生成手段１８とにおいて、曲率取得手段１９と同様の処理を行うモジュールを備え、そのモジュールで曲率を算出する処理を行っても良い。
【００５６】
詳細形状データとベース形状データとを生成する際には、計測対象物Ｔの全面の形状評価を行うために、３次元データ切り出しモジュールが切り出し領域をＹ軸方向にシフトしながら＃０７、＃０８ステップの処理が反復して行われる（＃０９ステップ）。特に、切り出す対象をＹ軸方向にシフトする際には、先に切り出される３次元データと、この後に切り出される３次元データとがＹ軸方向で重複しないように処理形態が採用されているが、Ｙ軸方向で一部重複するように処理形態を設定しても良い。
【００５７】
形状評価手段２０は、ベース形状データと詳細形状データとの複数の曲率のうちＸ軸方向で同一の領域における曲率同士を比較して歪値を取得する（＃１０ステップ）。この歪値は曲率の値の差を算出する単純な処理であるが、図１２に示すように、ベース形状データの曲率を基準にし、詳細形状データの曲率との差を歪値として抽出する。
【００５８】
〔形状評価手段の異なる処理形態〕
特に、本発明では、歪値を取得する際に、ベース形状データと詳細形状データとの複数の曲率から想定される２種の外形曲線（図示せず）を演算によって生成し、ベース形状データに対応する外形曲線と、詳細形状データに対応する外形曲線との差（オフセット量）から歪値を取得するように形状評価手段２０の処理形態を設定しても良い。この処理形態を採用することにより、ベース形状データを基準にした詳細形状データの凹凸量を実寸に近い値で取得することになる。
【００５９】
評価画像生成手段２１は、測定対象形状取得手段２２から計測対象物Ｔの外縁を示すアウトラインを示す形状イメージデータを取得し、この形状イメージデータの内部領域に対して同じ歪値を含むエリアを設定し、夫々のエリアに対し、そのエリアに対して歪値に対応した色相・濃度のペイントを行い、このイメージをディスプレイｄに表示する（＃１１ステップ）。
【００６０】
この評価画像生成手段２１の処理が行われることにより、ディスプレイｄには計測対象物Ｔの形状のイメージが表示されると共に、この形状のイメージの内部領域に対して、突出方向の歪みと、窪み方向の歪みとを異なる色相で表示する共に、歪みの量に対応して濃度や色相を異ならせることで、歪みが存在する領域と歪みの方向と歪みの程度とが視覚的に把握できるものにする。
【００６１】
〔実施の形態の概要〕
このように、本発明によると、撮影ユニットＶで取得した３次元データ構造の撮影データから３次元データを生成し、ノイズの除去の後に、この３次元データにおける所定の設定領域の形状を詳細に反映した曲率群で成る詳細形状データを生成すると共に、３次元データの所定の設定領域の形状を詳細形状データよりも粗く反映した曲率群で成るベース形状データを生成する。この後に、夫々の形状データ（すなわち、詳細形状データ及びベース形状データ）から除外領域に含まれるデータを除外して夫々の修正形状データ（すなわち、修正詳細形状データ及び修正ベース形状データ）を生成する。生成された夫々の修正形状データ（修正詳細形状データ及び修正ベース形状データ）の曲率に基づいて外面形状の歪値を抽出する。すなわち、修正詳細形状データと修正ベース形状データとにおける同一の領域の曲率を比較して歪値を取得する。これにより、例えば、全体的に緩やかな凸状となる外面形状の一部の狭い領域に凹状の歪みが存在する場合でも、この凹状の歪みを的確に検出できるものとなる。
【００６２】
また、計測対象物Ｔに歪みが存在する場合には、ディスプレイｄに計測対象物Ｔと同じ形状のイメージを表示し、そのイメージの内部に歪みの分布の領域を表示し、その領域毎に歪みに対応した色相・濃度のペイントを行うので、視覚的に歪みが存在する位置を把握できると同時に、歪みの方向（凸あるいは凹）と、歪みの程度とを視覚的に把握できるものとなる。
【００６３】
〔別実施形態〕
本発明では、撮影によって取得した３次元データでも、ＳＴＬファイル構造の３次元データであっても、取得した３次元データから直接的に詳細形状データとベース形状データとを生成するように処理形態を設定しても良い。具体例を挙げると、詳細形状データ生成手段１８が、計測対象物Ｔの外面形状を示す３次元データの点群の座標のうち、所定方向で設定幅の点群の座標を取得し、この点群から第１設定間隔Ｄ１毎の点群を取得し、この点群の周辺点群から最小自乗法等により近似平面を定義し、この近似平面の原点０を設定する。
【００６４】
次に、この近似平面の法線方向をＺ’軸として、このＺ’軸を含む平面（例えば、Ｚ’−Ｘ’平面）に対して周辺点群の座標が反映する写像（２次元データ）を生成する。この写像に対して近似曲線を適用し、その近似曲線の曲率計算することで原点０を検査点とする詳細形状データの曲率を得る。これと同様に、ベース形状データ生成手段１６が、第２設定間隔Ｄ２毎の点群から原点０を検査点とするベース形状データの曲率を得る。この原理により複数の原点０に基づく詳細形状データとベース形状データの曲率を得ることが可能となり、前述同様の処理により詳細形状データとベース形状データの曲率から歪値を取得し、表示することで歪みを把握し得るものとなる。
【００６５】
この別実施形態では、除外領域を除外する処理を説明していないが、ベース形状データ生成手段１７又は詳細形状データ生成手段１８が取得した３次元データにおいて除外領域を設定し、処理対象から除外しても良く、取得した３次元データにノイズが含まれる可能性があるものでは、ベース形状データ生成手段１７又は詳細形状データ生成手段１８が取得した後にノイズの除去を行うように処理形態を設定しても良い。
【産業上の利用可能性】
【００６６】
本発明は、金型を製造する３次元データや、工作機械で削り出し加工を行うための３次元データの評価に利用することができる。
【符号の説明】
【００６７】
Ｃ：形状認識装置
１４：曲率除外領域抽出手段
１５：変化量除外領域抽出手段
１６：除外領域設定手段
２０：形状評価手段
【特許請求の範囲】
【請求項１】
物体の外面形状を表す３次元データから、その物体の外面形状の認識を行う形状認識装置であって、
前記３次元データが表わす外面形状の曲率が予め設定された第１所定値を超える領域を抽出する曲率除外領域抽出手段と、
前記領域の抽出に用いた前記外面形状の曲率の変化量を演算し、当該変化量が予め設定された第２所定値を超える領域を抽出する変化量除外領域抽出手段と、
前記曲率除外領域抽出手段により抽出された領域と前記変化量除外領域抽出手段により抽出された領域との双方を除外領域として設定する除外領域設定手段と、
前記３次元データにおける所定の設定領域の形状を詳細に反映した詳細形状データと、前記所定の設定領域の形状を前記詳細形状データよりも粗く反映したベース形状データとを取得すると共に、夫々の形状データから前記除外領域に含まれるデータを除外して夫々の修正形状データを生成し、前記夫々の修正形状データの曲率に基づいて前記外面形状の歪値を抽出する形状評価手段と、
を備える形状認識装置。
【請求項１】
物体の外面形状を表す３次元データから、その物体の外面形状の認識を行う形状認識装置であって、
前記３次元データが表わす外面形状の曲率が予め設定された第１所定値を超える領域を抽出する曲率除外領域抽出手段と、
前記領域の抽出に用いた前記外面形状の曲率の変化量を演算し、当該変化量が予め設定された第２所定値を超える領域を抽出する変化量除外領域抽出手段と、
前記曲率除外領域抽出手段により抽出された領域と前記変化量除外領域抽出手段により抽出された領域との双方を除外領域として設定する除外領域設定手段と、
前記３次元データにおける所定の設定領域の形状を詳細に反映した詳細形状データと、前記所定の設定領域の形状を前記詳細形状データよりも粗く反映したベース形状データとを取得すると共に、夫々の形状データから前記除外領域に含まれるデータを除外して夫々の修正形状データを生成し、前記夫々の修正形状データの曲率に基づいて前記外面形状の歪値を抽出する形状評価手段と、
を備える形状認識装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１２−３２１７７（Ｐ２０１２−３２１７７Ａ）
【公開日】平成２４年２月１６日（２０１２．２．１６）
【国際特許分類】
【出願番号】特願２０１０−１６９５８８（Ｐ２０１０−１６９５８８）
【出願日】平成２２年７月２８日（２０１０．７．２８）
【出願人】（０００００２９６７）ダイハツ工業株式会社 (2,560)
【Ｆターム（参考）】
【公開日】平成２４年２月１６日（２０１２．２．１６）
【国際特許分類】
【出願日】平成２２年７月２８日（２０１０．７．２８）
【出願人】（０００００２９６７）ダイハツ工業株式会社 (2,560)
【Ｆターム（参考）】
[ Back to top ]