３次元計測方法および３次元計測装置
【課題】計測対象部位が限定される場合でも、計測結果を計測対象物の全体像に対応づけてわかりやすく示した画像を表示する。
【解決手段】特定の点や領域に計測対象が限定されたワークを対象に、このワークを正面視する方向から撮像するカメラと、斜め上方から撮像するカメラとにより撮像し、各計測対象部位の高さを計測する。そして、計測処理に使用した正面視画像の各画素を、当該画像の座標系を構成するｘ，ｙ軸と高さを表すｚ軸とによる３次元座標系に仮想配置して、透視変換を行うことにより、計測結果を表す処理結果画像を生成する。各画素のうち、高さ計測の対象とされた画素には、ｚ座標として計測値が設定され、その他の画素のｚ座標はゼロ値に設定される。また、画像中の計測対象点Ｐ１´〜Ｐ４´や計測対象領域Ｒ´には、位置の識別のための＋マークや高さを表す補助線が設定される。
【解決手段】特定の点や領域に計測対象が限定されたワークを対象に、このワークを正面視する方向から撮像するカメラと、斜め上方から撮像するカメラとにより撮像し、各計測対象部位の高さを計測する。そして、計測処理に使用した正面視画像の各画素を、当該画像の座標系を構成するｘ，ｙ軸と高さを表すｚ軸とによる３次元座標系に仮想配置して、透視変換を行うことにより、計測結果を表す処理結果画像を生成する。各画素のうち、高さ計測の対象とされた画素には、ｚ座標として計測値が設定され、その他の画素のｚ座標はゼロ値に設定される。また、画像中の計測対象点Ｐ１´〜Ｐ４´や計測対象領域Ｒ´には、位置の識別のための＋マークや高さを表す補助線が設定される。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、光学的３次元計測手段を用いて、所定形状の計測対象物に対する３次元計測を実行する方法、およびこの方法が適用された３次元計測装置に関する。
【背景技術】
【０００２】
従来の３次元計測装置には、計測対象物について多数の３次元座標を算出し、算出された各座標に基づく３次元イメージを表示する機能を具備するものがある。たとえば、下記の特許文献１には、顕微鏡鏡筒や撮像装置を具備する顕微鏡拡大観察システムにおいて、複数の合焦点領域を合成することにより撮像対象領域に含まれる各画素の高さ情報を求め、これらの高さ情報が付与された画素群による三次元画像データを、種々の方向から観察した状態を示す画像を表示することが記載されている。
【０００３】
【特許文献１】特開２０００−３９５６６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載されている発明は、撮像手段の視野に含まれる部位全体を計測対象とするが、工場の製造ラインや検査ラインでは、計測が必要とされる部位が限られることが多い。また、インライン計測で処理を高速化する必要があるため、計測が必要な部位のみに限定して３次元計測を行いたい、という要望が強い。その一方で、計測結果の出力については、単に数値情報を出力するだけではなく、ユーザの視覚により計測結果を容易に確認できるような表示がほしい、という要望もある。
【０００５】
この発明は、計測対象物における３次元計測の対象部位が限定される場合でも、計測結果を計測対象物の全体像に対応づけてわかりやすく示した画像を表示することにより、上記の要望に応えることを、目的とする。
【課題を解決するための手段】
【０００６】
この発明による３次元計測方法は、あらかじめ１または複数の計測対象部位が定められた計測対象物を、光学的３次元計測手段を用いて観測することにより、各計測対象部位について、少なくとも当該部位に対向する基準平面に対する相対位置を表す座標を算出するものである。
【０００７】
上記の方法では、『光学的３次元計測手段』として、複数のカメラを用いたステレオ法による３次元計測装置、光切断法が適用された３次元計測装置、変位センサ等を用いることができる。『計測対象部位に対向する所定の基準平面』は、たとえば計測対象物を支持する平面であるが、現実に存在する平面に限らず、計測対象部位より後方または前方に設定された仮想平面を基準平面としてもよい。
【０００８】
たとえば、計測対象部位の支持面を基準平面として、光学的３次元計測手段により計測対象物を上方から観測する場合には、この基準平面に対する相対位置を表す座標は、計測対象部位の高さを表すことになる。
一方、凹部や段差のように周囲より後退した部位を計測する場合には、計測対象部位の周囲の高さに合わせて仮想平面を設定し、これを基準平面としてもよい。
【０００９】
この発明による３次元計測方法では、計測対象物を撮像して２次元画像を生成し、この２次元画像中の計測対象部位に対応する画素に基準平面に対する相対位置を表す座標として算出された座標を設定し、その他の画素に基準平面に対する相対位置を表す座標として一定の値を設定する。そして、この２次元画像の座標系を構成する２軸（以下、ｘ軸およびｙ軸とする。）と前記基準平面に対する相対位置を表す軸（以下ｚ軸とする。）とによる３次元空間に前記設定のなされた各画素を仮想配置して、各画素を所定の方向から透視変換し、この透視変換により生成された２次元画像を、計測対象部位とその他の部位とを識別できるように加工して表示する。
【００１０】
上記の方法によれば、２次元画像を構成する各画素のうち計測対象部位に対応する画素には、３次元計測により算出されたｚ座標が設定され、計測対象部位以外の画素には、ｚ座標として一定の値ｚ０（たとえばｚ０＝０）が設定される。このように各画素にｚ座標を設定し、これらの画素が、ｘ，ｙ，ｚの各軸による仮想の３次元空間に配置されたものとして透視変換を実行するので、計測対象部位を、そのｚ座標の大きさを反映した場所に投影できるとともに、計測対象でない部位についても奥行き感のある画像を生成することができる。
さらに、透視変換により生成された画像を、計測対象部位とその他の部位とを識別できるように加工して表示するので、ユーザは、計測対象部位と周囲との関係を把握しながら、３次元計測結果を視覚により容易に確認することができる。
【００１１】
なお、透視変換処理の対象となる画像は、必ずしも計測対象物の全体像を含む必要はないが、３次元計測の対象とされた部位をすべて含み、かつ計測対象でない部位を十分に広い範囲で含むように設定されるのが望ましい。
【００１２】
上記方法の好ましい一態様では、計測対象部位を正面視する方向から撮像することにより生成された正面視画像を透視変換の対象画像に設定するとともに、この正面視画像を表示しながら、この正面視の方向を基準として透視変換の方向を設定する操作を受け付け、この操作により設定された方向から３次元空間に仮想配置された画素群を透視変換する。
【００１３】
上記の態様によれば、ユーザ自身が設定した任意の方向からの透視変換画像が生成されるので、計測結果を確認する上での自由度が高められる。また、計測対象物を正面視した状態を基準として設定した方向に基づいて透視変換が行われるので、ユーザが意図したイメージに近い画像を表示することができる。
【００１４】
より好ましい態様による３次元計測方法では、光学的３次元計測手段として、複数台のカメラにより生成された複数の２次元画像を用いて３次元計測を行う装置を使用し、複数の２次元画像において、それぞれ計測対象部位に対応する座標を特定した後に、特定された座標を用いて基準平面に対する相対位置を表す座標を算出する。また、透視変換処理では、３次元計測に使用されたいずれかの２次元画像を対象に、この画像中の各構成画素のうち、計測対象部位に対応するものとして座標が特定された画素に、基準平面に対する相対位置を表す座標として算出された座標を設定し、その他の画素に、基準平面に対する相対位置を表す座標として一定の座標を設定して、透視変換処理を実行する。
【００１５】
上記の方法では、複数台のカメラを用いた３次元計測処理を行うとともに、この３次元計測に使用されたいずれかの２次元画像を透視変換の対象として、実際に３次元計測に使用した画素に計測されたｚ座標を設定して、透視変換処理を行うので、ユーザは、３次元計測の対象とされた部位に誤りがないかどうかや計測値の適否を容易に判別することができる。
【００１６】
つぎに、この発明に係る３次元計測装置は、それぞれの視野が所定の範囲で重なるように位置関係および光軸方向を定めて配置された複数台のカメラと、各カメラの視野が重なる範囲に入った計測対象物が各カメラにより撮像して生成された複数の２次元画像を、個別に入力する画像入力手段と、計測対象物のあらかじめ定めた１または複数の計測対象部位につき、それぞれ各入力画像中の対応箇所の座標を抽出し、抽出された各座標を用いて、少なくとも当該計測対象部位に対向する基準平面に対する相対位置を表す座標を算出する計測手段と、計測手段による計測結果を表す２次元の処理結果画像を生成する処理結果画像生成手段と、処理結果画像を表示するための表示手段とを備える。
【００１７】
さらに、この装置の処理結果画像生成手段は、計測手段の計測に用いられた複数の２次元画像のうちの特定の画像を対象に、この画像中の各構成画素のうち、計測手段により計測対象部位に対応するとして座標が抽出された画素に、基準平面に対する相対位置を表す座標として算出された座標を設定し、その他の画素に基準平面に対する相対位置を表す座標として一定の値を設定する。そして特定の画像の座標系を構成する２軸（ｘ軸およびｙ軸）と基準平面に対する相対位置を表す軸（ｚ軸）とによる３次元空間に前記設定のなされた各画素を仮想配置して、各画素を所定の方向から透視変換し、この透視変換画像を計測対象部位とその他の部位とを識別できるように加工したものを処理結果画像として生成する。
【００１８】
上記構成の３次元計測装置によれば、複数台のカメラにより生成された画像を用いて各計測対象部位に対する３次元計測を精度良く行うとともに、この計測に使用された特定の画像を用いた透視変換処理により、実際の３次元計測に用いられた画素のｚ座標の大きさを、その周囲の奥行き感とともに表示することができる。
【００１９】
好ましい態様による３次元計測装置では、複数台のカメラのうちの特定の１台が、計測対象物を正面視する方向から撮像を行うように配置されるとともに、この正面視の方向を基準にして透視変換の方向を設定する操作を行うための操作部がさらに設けられる。また、処理結果画像生成手段は、特定のカメラにより生成された計測対象物の正面視画像を表示手段に表示し、この状態下で操作部による設定操作を受け付けて、この操作により設定された方向から３次元空間に仮想配置された画素群を透視変換する。
【００２０】
上記の態様によれば、ユーザ自身が設定した任意の方向からの透視変換画像を表示することができ、計測結果を確認する上での自由度が高められる。また、計測対象物を正面視した状態を基準に設定した方向に基づく透視変換により、ユーザが意図したイメージに近い画像を表示することができる。
【発明の効果】
【００２１】
上記の３次元計測方法および３次元計測装置によれば、計測対象部位が限定され、計測対象物の全体の立体形状を表す結果がえられない場合でも、３次元計測により得た座標の大きさを確認すると同時に、計測対象部位とその周囲との関係や正しい部位が計測されたかどうかを確認できるような画像を表示することができ、利便性を高めることができる。
【発明を実施するための最良の形態】
【００２２】
図１は、この発明が適用された３次元計測装置の撮像部の構成を、その設置例とともに示す。
この実施例の３次元計測装置は、工場の生産ライン又は検査ラインを搬送される同形状の計測対象物（以下、「ワークＷ」という。）を撮像部１により順に撮像し、各ワークＷのあらかじめ定められた計測対象部位の高さを計測するものである。計測された高さ情報は、ロボットハンド等の駆動系の位置決め制御や、検査における判別処理などに使用される。
【００２３】
撮像部１は、筐体１５内に２台のカメラＣ０，Ｃ１を組み込んだ構成のもので、ワーク搬送路Ｌの上方に設置される。一方のカメラＣ０は、ワークＷの上面を正面から撮像するように、光軸を鉛直方向に向けて設置される。他方のカメラＣ１は、カメラＣ０と視野が重なるようにして、斜め上方からワークＷを撮像するように設置される。
【００２４】
図２は、３次元計測装置の全体構成を示すブロック図である。図中の１０は、コンピュータが組み込まれた制御処理部であって、撮像部１のほか、操作部１１、表示部１２などが接続される。
【００２５】
制御処理部１０内には、各カメラＣ０，Ｃ１に対応する画像入力部１００，１０１、画像メモリ１０２、設定処理部１０３、画像処理部１０４、パラメータ算出部１０５、パラメータ記憶部１０６、３次元計測部１０７、座標変換部１０８、変換後画像生成部１０９、出力部１１０などが設けられる。これらのうち、画像入力部１００，１０１、画像メモリ１０２およびパラメータ記憶部１０６を除く各部は、専用のプログラムによりコンピュータに設定された機能である。専用のプログラムは、ハードディスク、フラッシュディスクなどの大容量メモリ装置（図示せず。）に格納される。画像メモリ１０２やパラメータ記憶部１０６も、このメモリ装置内に設定される。
【００２６】
画像処理部１０４は、正面視を行うカメラＣ０からの画像を、３次元計測の対象部位を抽出する基準画像として、この基準画像に対し、２値化、エッジ抽出、パターンマッチング等の手法により、ワークＷのあらかじめ定められた計測対象部位（この実施例では、エッジ構成点などの特徴点またはある特徴パターンを含む領域を計測対象部位とする。）を抽出し、３次元計測のための座標を特定する。また、他方のカメラＣ１から入力された画像（以下、「比較画像」という。）を対象に、基準画像中の計測対象部位に対応する点または領域を検索し、同様に３次元計測のための座標を特定する。
【００２７】
設定処理部１０３は、操作部１１から、画像処理部１０４が実行すべき処理の具体的内容（たとえば計測対象部位の抽出方法、抽出処理の対象範囲）や、後記する透視変換処理に使用される角度情報などを設定する操作を受け付け、その設定操作の内容を、画像処理部１０４や座標変換部１０８に設定する。
【００２８】
３次元計測部１０７は、画像処理部１０４により抽出された基準画像中の代表点の座標と、これに対応する比較画像側の代表点の座標とを用いて３次元座標を算出する。算出結果は出力部１１０に渡され、表示部１２や図示しない外部装置に出力される。
【００２９】
パラメータ記憶部１０６には、３次元計測処理に用いられる複数のパラメータが保存される。これらのパラメータは、各カメラＣ０，Ｃ１により構成されるステレオ座標系の変化や、実際の空間における位置を表す空間座標系とステレオ座標系との関係（各座標の原点間の距離、空間座標系に対するステレオ座標系の回転ずれ量など）の変化に応じて変動するもので、本処理に先立ち、複数の特徴点を有するキャリブレーションワークを用いたキャリブレーションにより求められる。このキャリブレーションの際の特徴点の抽出処理は、画像処理部１０４により実行され、パラメータ算出部１０５により、各パラメータを導出するための演算が実行される。
【００３０】
この実施例では、ワークＷのあらかじめ定められた数カ所を計測対象部位として、それぞれの部位の高さを計測し、計測結果を表す数値情報を図示しない外部装置に出力する。同時に、ユーザに、正しい計測対象部位を処理できたかどうかや計測対象部位の高さを認識させる目的で、計測結果を表す画像（以下、「処理結果画像」という。）を作成し、この画像を表示部１２に表示するようにしている。この画像は、３次元計測に使用された正面視画像（カメラＣ０により生成された基準画像）を透視変換した結果をベースに生成される。
座標変換部１０８は、この透視変換のための演算（後記する（１）（２）式によるもの）を実行する。変換後画像生成部１０９は、この演算結果に基づき、画像メモリ１０２内の基準画像を用いて処理対象画像を生成する。生成された画像は、出力部１１０から表示部１２に出力され、表示される。
【００３１】
以下、この実施例における計測対象部位や処理結果画像について、具体例を示しながら、詳細に説明する。
【００３２】
図３は、カメラＣ０により生成された基準画像の一例を示す。この基準画像は、ワークＷ（この例ではＩＣ）の一部を撮像して生成されたもので、複数の電極ピン、パッケージに印字された文字列（型番を表す。）、パッケージに形成された段差部分などが表されている。なお、この実施例では、基準画像の左右方向をｘ軸方向とし、上下方向をｙ軸方向とする。
【００３３】
図中、＋印で示される各点Ｐ１〜Ｐ４および点線枠で示す領域Ｒが、計測対象部位である。以下では、これらを「計測対象点」および「計測対象領域」という。
【００３４】
計測対象点Ｐ１，Ｐ２は、画像中の６本の電極ピンのうちの左端および右端のピンの一構成点である。これらの計測対象点Ｐ１，Ｐ２は、図示しない照明光により電極ピンの長さ方向に生じたエッジや部品本体からの距離に基づき抽出される。なお、計測対象部位の電極ピンを２本に限定したのは、図示の便宜上のものであり、実際には、いずれの電極ピンでも、少なくとも１点の計測対象点が抽出される。
残りの計測対象点Ｐ３，Ｐ４は、パッケージの段差部分の境界線の構成点である。これらの点も、エッジ抽出等の処理により抽出される。
【００３５】
計測対象領域Ｒには、文字列「５Ｂ」が含まれる。この計測対象領域Ｒは、上記の文字列のモデルを用いたパターンマッチングにより抽出されたものである。
【００３６】
３次元計測部１０７は、上記の計測対象点Ｐ１〜Ｐ４や計測対象領域Ｒについて、カメラＣ０により生成された基準画像とカメラＣ１により生成された比較画像との間で対応関係にある座標の組毎に、三角測量の原理に基づき、高さを表す座標（ｚ座標）を算出する。なお、計測対象領域Ｒについては、この領域Ｒの中心点の座標を各画像から抽出して、ｚ座標を算出するが、算出されたｚ座標は、計測対象領域Ｒ内のすべての画素に適用される。
【００３７】
上記のｚ座標は、ワークＷの支持面（具体的にはワーク搬送ラインの上面である。）またはこの支持面から所定距離離れた仮想の水平面の高さをゼロとおいて算出される。処理結果画像は、基準画像のｘ軸およびｙ軸に、高さを表すｚ軸を組み合わせた３次元座標系を設定し、基準画像の各構成画素を、この３次元座標系に仮想配置して透視変換処理を実行することにより、生成される。
【００３８】
各画素を３次元座標系に配置する処理では、ｘ，ｙ座標については、元の基準画像の座標（ピクセル単位の座標）がそのまま適用される。ｚ座標については、計測対象点や計測対象領域に相当する画素には、高さ計測により算出されたｚ座標（単位はｍｍ）が設定される。一方、計測対象外の画素はｘｙ平面に位置するものとして、ｚ座標がゼロに設定される。
【００３９】
図４は、処理結果画像の表示例を示す。この処理結果画像は、図３に示した基準画像中の各画素を上記した要領で３次元座標系に仮想配置し、これらの画素群を斜め上方から観測した３次元イメージを表すものである。この画像中の計測対象点Ｐ１〜Ｐ４に対応する各点Ｐ１´〜Ｐ４´には、識別のための＋印が表示されている。また、これらの点Ｐ１´〜Ｐ４´には、計測対象点の高さが０であった場合の対応点から、所定の色彩による補助線（図中、点線で表現する。）が立ち上げられている。よって、これらの補助線の長さにより、各計測対象点Ｐ１〜Ｐ４の高さを確認することができる。
【００４０】
計測対象領域Ｒに対応する領域Ｒ´は、計測された高さに基づき導出された位置に表示されている。さらに、この例では、この計測対象領域Ｒの高さを０と仮定したときの対応領域Ｒ１を特定して、この領域Ｒ１を所定の色彩（図４では、網点パターンにより表す。）でマーキングしている。さらにこの領域Ｒ１と領域Ｒ´との頂点間には、計測対象点Ｐ１´〜Ｐ４´と同様に、補助線が設定されている。
【００４１】
さらに、この処理結果画像の奥行き側の２辺には、ｘ，ｙ，ｚの各軸の方向および座標を表すためのグリッド線ｇが表示されている。ただし、このグリッド線ｇを表示するか否かは、操作部１１により適宜選択することができる。
【００４２】
上記の画像表示によれば、カメラＣ０による正面視画像全体が、奥行き感のある斜視画像に変換されて表示されるとともに、実際に高さ計測の対象となった部位が、その計測値を反映した位置に、補助線とともに表示される。よってユーザは、計測すべき部位が正しく計測されたかどうかや、計測値の適否を、容易に認識することができる。
【００４３】
さらに、この実施例では、上記の透視変換の方向をユーザに設定させることにより、所望の方向からワークＷを観測した状態を示す斜視画像を得られるようにしている。
【００４４】
透視変換の方向は、画素群が配置される３次元座標系に対する方位角θおよび仰角φにより設定される。方位角θは、高さを表すｚ軸回りの方位であって、たとえばｘ軸の正方向を基準にした角度により表される。仰角φは、ｘｙ平面を基準にした角度として表される。
なお、ユーザの設定操作は、角度θやφの具体的な数値を入力するものに限らない。たとえば、表示部１２にｘ，ｙ，ｚの各軸を表示して、これらの軸をマウスのドラッグ操作により回転させ、その回転角度からθやφを特定してもよい。
【００４５】
ここで、基準画像中の各画素の３次元空間における配置位置を（ｘ，ｙ，ｚ）として、この配置による画素群を、上記の角度θ，φにより表される方向から透視変換すると、変換後の各画素の座標（ｘ´，ｙ´）は、下記の（１）式により算出される。
【００４６】
【数１】
【００４７】
係数ａ，ｂ，ｃ，ｄ，ｅは、（１）式の下に示したとおりである。
また（１）式中の（ｘ０，ｙ０）は、基準画像中の３次元座標系の原点に対応する座標である。また（ｘｔ，ｙｔ）は、変換後の画像の表示位置をｘ，ｙの各軸方向において移動させた場合の移動量を示す。ｍｘｙは、変換後画像のｘ，ｙの各軸方向における倍率であり、ｍｚは、変換後画像のｚ方向における倍率である。
【００４８】
上記の（１）式によれば、３次元座標系に仮想配置された各画素を、それぞれ変換後画像を表す２次元座標系の特定の１点に変換することができる。
さらに、（１）式を変形することにより、ｚ座標が既知であることを前提にして、変換後の画像中の１つの座標（ｘ´，ｙ´）について、基準画像側の対応画素の座標（ｘ，ｙ）を求める式を導出することができる。具体的な演算式は（２）式のようになる。
【００４９】
【数２】
【００５０】
図５は、図３に示した基準画像を用いて、図４に示した処理変換画像を生成するための処理の手順を示す。
この処理では、まず、基準画像全体を対象にした透視変換処理を実行する。具体的には、変換後画像の各座標（ｘ´，ｙ´）について、それぞれｚ＝０として（２）式を実行することにより、基準画像側で（ｘ´，ｙ´）に対応する座標（ｘ，ｙ）を算出する（ステップＡ）。つぎに、変換後画像の各座標に、上記の演算により特定された基準画像側の対応座標の画像データを設定する（ステップＢ）。これらステップＡ，Ｂの処理により、正面視状態を表す基準画像を、斜視状態を表す画像に変換することができる。
【００５１】
つぎに、ステップＣでは、計測対象領域Ｒについて計測されたｚ座標を、（２）式中のｚにあてはめて、ステップＡと同様に、変換後画像の画素毎に、その座標（ｘ´，ｙ´）を用いて（２）式を実行する。また、この演算により算出された座標（ｘ，ｙ）が基準画像側の計測対象領域内の座標に一致したとき、演算にあてはめた座標（ｘ´，ｙ´）を計測対象領域Ｒに対応するものとして特定する。さらに、ステップＤでは、ステップＣで特定された各座標の画像データを、それぞれ基準画像側の対応画素（ステップＣの演算で算出された座標（ｘ，ｙ）の画素）の画像データに変更する。
【００５２】
上記のステップＣ，Ｄの処理により、変換後画像における計測対象領域の画像を、計測された高さに応じた位置に移動させることができる。
さらにステップＥでは、再びステップＡの演算結果を用いて、変換後画像の中から、ｚ＝０とした場合に計測対象領域に対応する座標を特定し、特定された各座標の画像データをマーキング用の色彩を表すデータに置き換える。
【００５３】
つぎに、ステップＦでは、計測対象点および計測対象領域の各頂点について、基準画像側の座標（ｘ，ｙ）を用いた（１）式を実行して、変換後画像における対応点の座標（ｘ´，ｙ´）を求める。なお、ここでは、各点毎に、計測されたｚ座標をあてはめた演算と、ｚ＝０とした演算の２通りの演算を実行する。
【００５４】
ステップＧでは、ステップＦの演算結果に基づき、変換後画像に対し、計測されたｚ座標に基づく対応点を表す＋マークや、この対応点とｚ＝０の場合の対応点とを結ぶ補助線の画像データを設定する。
【００５５】
上記の処理では、変換後画像の各画素につき、それぞれ（２）式を用いて変換前の基準画像における対応画素を特定し、その対応画素の画像データをあてはめるようにしたので、倍率ｍｘｙ，ｍｚにより拡大された画像を生成する場合でも、大半の画素に画像データを設定することが可能になり、画像の精度を安定させることができる。
【００５６】
上記の変換に用いられる方位角θや仰角φを設定する操作は、本処理に先立つティーチングにおいて、ワークＷのモデルの正面視画像を表示した状態で行われる。また本処理において処理対象画像が表示された後も、θやφの変更操作を受け付け、これに応じて処理対象画像の表示を変更することができる。
【００５７】
正面視画像に対応する平面は、仮想の３次元座標系のｘｙ平面に相当するので、ユーザにとって、角度θやφは、正面視していた視線の方向を斜めに変更した場合の変更後の方向に相当すると解釈できる。またユーザの想定した観察方向から撮像を行った場合のイメージに近い斜視画像を表示することができるので、計測結果の確認に適した方向を容易に判別して、設定操作を行うことができる。
【００５８】
図６は、１つのワークＷに対して実行される処理の流れを示す。
この処理は、カメラＣ０，Ｃ１による撮像対象範囲に計測対象のワークＷが搬入されたことにより開始される。まず最初のステップ１では、各カメラＣ０，Ｃ１を同時に駆動することにより、基準画像および比較画像の生成を行う。
【００５９】
ステップ２では、基準画像を対象に、前記した各種の画像処理により計測対象点や計測対象領域を抽出し、それぞれについて高さ計測に用いる座標を特定する。また比較画像に対しても、上記の計測対象点や計測対象領域に対応する点や領域を抽出し、高さ計測に用いる座標を特定する。
【００６０】
ステップ３では、各画像間で対応する座標毎に前出のパラメータを用いた演算を実行することにより、高さを表すｚ座標を算出する。
【００６１】
この後、ステップ４では、前出の図５に示した画像変換処理により、処理結果画像を作成する。さらに、作成された処理結果画像の表示（ステップ５）、および高さの計測値の出力（ステップ６）を行い、しかる後に処理を終了する。
【００６２】
つぎに、上記の実施例では、計測対象領域については、領域の中心点の座標を用いて算出されたｚ座標を、領域全体の高さとして示したが、これに限らず、所定広さの領域に含まれる複数の代表点について個別に高さを計測し、その計測結果を反映した処理結果画像を表示することもできる。
【００６３】
図７は、一例として、三角形状の領域の各頂点ａ，ｂ，ｃについて高さ計測を実行し、これらの点を、基準画像中のｘ，ｙ座標および計測されたｚ座標に基づき透視変換した例を示す。この画像では、各頂点ａ，ｂ，ｃを、それぞれ（１）式により特定された対応点ａ´，ｂ´，ｃ´の位置に変換するとともに、図４の例と同様の補助線を設定することにより、各点の計測された高さを表現している。一方、領域全体の画像は、ｚ＝０として（２）式を実行することにより、所定の範囲に投影されている。
【００６４】
図７の例によれば、点ｃ´における補助線が他の補助線より短くなっており、これにより、点ｃが点ａ，ｂより低くなっていることを認識することができる。このような表示により、特定の面の傾きや凹凸の有無などの確認に適した処理結果画像を示すことが可能になる。
【００６５】
また、この種の計測では、基準とする平面より高いものを計測対象とする場合に限らず、周囲より落ち込んでいる部分を計測する場合もある。このような計測を行う場合にも、同様の透視変換処理による処理結果画像を作成し、表示を行うことができる。
【００６６】
図８は、正方形状のケース体に形成された半球状の凹部を計測対象とする例を示す。
この実施例では、凹部の外周縁を表すエッジの中から径方向に対向する一対のエッジ点ｐ，ｑを抽出し、これらの点ｐ，ｑと、凹部の中心点に相当する点ｏ（線分ｐｑの中点）の３点を計測対象点として、各点のｚ座標を算出する。そして、これら計測対象点に算出されたｚ座標をあてはめ、（１）式を用いて変換後画像における対応点ｏ´，ｐ´，ｑ´を求める。一方、全ての画素に、ｚ座標として０より大きい一定の値をあてはめ、（２）式に基づく透視変換処理により、基準画像全体を変換する。
【００６７】
なお、各画素には、一定のｚ座標として、たとえば、ケース体本体の標準的な高さをあてはめるとよい。または凹部の外側にも計測対象点を１点設けてｚ座標を計測し、その計測値を各画素に共通に設定してもよい。
【００６８】
図８の例では、上記の変換処理により、ケース体全体の斜視画像が表示されるとともに、各計測対象点ｏ，ｐ，ｑについて、計測されたｚ座標に応じた位置に対応点ｏ´，ｐ´，ｑ´が表示され、さらに高さを表す補助線が設定される。
この表示によれば、凹部の中心点ｏが外周縁に対してどの程度落ち込んでいるかや、目的とする部位を正しく計測しているかなどを、容易に確認することができる。
【００６９】
なお、上記の各実施例では、ステレオカメラを用いた３次元計測処理に使用された画像を用いることによって、実際にｚ座標の算出に用いられた部位の計測結果を表す処理結果画像を表示したが、ステレオ法以外の方法による３次元計測でも、計測対象部位に対応する画素を特定することができれば、同様の処理結果画像を作成し、表示することができる。
【００７０】
図９は、上記各例と同様の処理結果画像の表示を行うことが可能な３次元計測装置の構成例を示す。
この装置は、光切断法による高さ計測を行うもので、レーザスリット光２２を照射する投光部２０および２次元カメラ２１と、図示しない制御処理部とにより構成される。ワークＷはＩＣであり、計測対象は電極ピン３０である。
【００７１】
カメラ２１は、先の実施例のカメラＣ０と同様に、ワークＷの正面視画像を生成するように、光軸を鉛直方向に向けて配備される。投光部２０は、ワークＷの斜め上方に配置され、各電極ピン３０の並び方向に沿ってスリット光２２を照射する。
【００７２】
この実施例の制御処理部は、カメラ２１により生成された画像から、スリット光２２の反射光による光線像を抽出し、この光線像に含まれる複数の点を計測対象点として、それぞれの座標を所定の演算式にあてはめることにより、各計測対象点に対応する高さを算出する。
【００７３】
上記の実施例でも、ワークＷの正面視画像中の所定の画素を対象に高さ計測を実行するので、この計測に使用された正面視画像において、計測に使用された画素を、計測された高さに応じた位置に変換することができる。したがって、３次元計測の手法は異なるものの、先のステレオ法による３次元計測装置と同様の方法で処理結果画像を生成し、表示することができる。
【図面の簡単な説明】
【００７４】
【図１】撮像装置の構成および設置例を示す斜視図である。
【図２】３次元計測装置の構成を示す機能ブロック図である
【図３】カメラＣ０により生成された正面視画像の例を示す説明図である。
【図４】処理結果画像の表示例を示す説明図である。
【図５】画像変換処理の手順を示すフローチャートである。
【図６】計測処理の手順を示すフローチャートである。
【図７】画像変換の他の例を示す説明図である。
【図８】画像変換の他の例を示す説明図である。
【図９】３次元計測装置の他の構成例および計測例を示す説明図である。
【符号の説明】
【００７５】
Ｃ０，Ｃ１ カメラ
１０ 制御処理部
１１ 操作部
１２ 表示部
１０４ 画像処理部
１０７ ３次元計測部
１０８ 座標変換部
【技術分野】
【０００１】
この発明は、光学的３次元計測手段を用いて、所定形状の計測対象物に対する３次元計測を実行する方法、およびこの方法が適用された３次元計測装置に関する。
【背景技術】
【０００２】
従来の３次元計測装置には、計測対象物について多数の３次元座標を算出し、算出された各座標に基づく３次元イメージを表示する機能を具備するものがある。たとえば、下記の特許文献１には、顕微鏡鏡筒や撮像装置を具備する顕微鏡拡大観察システムにおいて、複数の合焦点領域を合成することにより撮像対象領域に含まれる各画素の高さ情報を求め、これらの高さ情報が付与された画素群による三次元画像データを、種々の方向から観察した状態を示す画像を表示することが記載されている。
【０００３】
【特許文献１】特開２０００−３９５６６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載されている発明は、撮像手段の視野に含まれる部位全体を計測対象とするが、工場の製造ラインや検査ラインでは、計測が必要とされる部位が限られることが多い。また、インライン計測で処理を高速化する必要があるため、計測が必要な部位のみに限定して３次元計測を行いたい、という要望が強い。その一方で、計測結果の出力については、単に数値情報を出力するだけではなく、ユーザの視覚により計測結果を容易に確認できるような表示がほしい、という要望もある。
【０００５】
この発明は、計測対象物における３次元計測の対象部位が限定される場合でも、計測結果を計測対象物の全体像に対応づけてわかりやすく示した画像を表示することにより、上記の要望に応えることを、目的とする。
【課題を解決するための手段】
【０００６】
この発明による３次元計測方法は、あらかじめ１または複数の計測対象部位が定められた計測対象物を、光学的３次元計測手段を用いて観測することにより、各計測対象部位について、少なくとも当該部位に対向する基準平面に対する相対位置を表す座標を算出するものである。
【０００７】
上記の方法では、『光学的３次元計測手段』として、複数のカメラを用いたステレオ法による３次元計測装置、光切断法が適用された３次元計測装置、変位センサ等を用いることができる。『計測対象部位に対向する所定の基準平面』は、たとえば計測対象物を支持する平面であるが、現実に存在する平面に限らず、計測対象部位より後方または前方に設定された仮想平面を基準平面としてもよい。
【０００８】
たとえば、計測対象部位の支持面を基準平面として、光学的３次元計測手段により計測対象物を上方から観測する場合には、この基準平面に対する相対位置を表す座標は、計測対象部位の高さを表すことになる。
一方、凹部や段差のように周囲より後退した部位を計測する場合には、計測対象部位の周囲の高さに合わせて仮想平面を設定し、これを基準平面としてもよい。
【０００９】
この発明による３次元計測方法では、計測対象物を撮像して２次元画像を生成し、この２次元画像中の計測対象部位に対応する画素に基準平面に対する相対位置を表す座標として算出された座標を設定し、その他の画素に基準平面に対する相対位置を表す座標として一定の値を設定する。そして、この２次元画像の座標系を構成する２軸（以下、ｘ軸およびｙ軸とする。）と前記基準平面に対する相対位置を表す軸（以下ｚ軸とする。）とによる３次元空間に前記設定のなされた各画素を仮想配置して、各画素を所定の方向から透視変換し、この透視変換により生成された２次元画像を、計測対象部位とその他の部位とを識別できるように加工して表示する。
【００１０】
上記の方法によれば、２次元画像を構成する各画素のうち計測対象部位に対応する画素には、３次元計測により算出されたｚ座標が設定され、計測対象部位以外の画素には、ｚ座標として一定の値ｚ０（たとえばｚ０＝０）が設定される。このように各画素にｚ座標を設定し、これらの画素が、ｘ，ｙ，ｚの各軸による仮想の３次元空間に配置されたものとして透視変換を実行するので、計測対象部位を、そのｚ座標の大きさを反映した場所に投影できるとともに、計測対象でない部位についても奥行き感のある画像を生成することができる。
さらに、透視変換により生成された画像を、計測対象部位とその他の部位とを識別できるように加工して表示するので、ユーザは、計測対象部位と周囲との関係を把握しながら、３次元計測結果を視覚により容易に確認することができる。
【００１１】
なお、透視変換処理の対象となる画像は、必ずしも計測対象物の全体像を含む必要はないが、３次元計測の対象とされた部位をすべて含み、かつ計測対象でない部位を十分に広い範囲で含むように設定されるのが望ましい。
【００１２】
上記方法の好ましい一態様では、計測対象部位を正面視する方向から撮像することにより生成された正面視画像を透視変換の対象画像に設定するとともに、この正面視画像を表示しながら、この正面視の方向を基準として透視変換の方向を設定する操作を受け付け、この操作により設定された方向から３次元空間に仮想配置された画素群を透視変換する。
【００１３】
上記の態様によれば、ユーザ自身が設定した任意の方向からの透視変換画像が生成されるので、計測結果を確認する上での自由度が高められる。また、計測対象物を正面視した状態を基準として設定した方向に基づいて透視変換が行われるので、ユーザが意図したイメージに近い画像を表示することができる。
【００１４】
より好ましい態様による３次元計測方法では、光学的３次元計測手段として、複数台のカメラにより生成された複数の２次元画像を用いて３次元計測を行う装置を使用し、複数の２次元画像において、それぞれ計測対象部位に対応する座標を特定した後に、特定された座標を用いて基準平面に対する相対位置を表す座標を算出する。また、透視変換処理では、３次元計測に使用されたいずれかの２次元画像を対象に、この画像中の各構成画素のうち、計測対象部位に対応するものとして座標が特定された画素に、基準平面に対する相対位置を表す座標として算出された座標を設定し、その他の画素に、基準平面に対する相対位置を表す座標として一定の座標を設定して、透視変換処理を実行する。
【００１５】
上記の方法では、複数台のカメラを用いた３次元計測処理を行うとともに、この３次元計測に使用されたいずれかの２次元画像を透視変換の対象として、実際に３次元計測に使用した画素に計測されたｚ座標を設定して、透視変換処理を行うので、ユーザは、３次元計測の対象とされた部位に誤りがないかどうかや計測値の適否を容易に判別することができる。
【００１６】
つぎに、この発明に係る３次元計測装置は、それぞれの視野が所定の範囲で重なるように位置関係および光軸方向を定めて配置された複数台のカメラと、各カメラの視野が重なる範囲に入った計測対象物が各カメラにより撮像して生成された複数の２次元画像を、個別に入力する画像入力手段と、計測対象物のあらかじめ定めた１または複数の計測対象部位につき、それぞれ各入力画像中の対応箇所の座標を抽出し、抽出された各座標を用いて、少なくとも当該計測対象部位に対向する基準平面に対する相対位置を表す座標を算出する計測手段と、計測手段による計測結果を表す２次元の処理結果画像を生成する処理結果画像生成手段と、処理結果画像を表示するための表示手段とを備える。
【００１７】
さらに、この装置の処理結果画像生成手段は、計測手段の計測に用いられた複数の２次元画像のうちの特定の画像を対象に、この画像中の各構成画素のうち、計測手段により計測対象部位に対応するとして座標が抽出された画素に、基準平面に対する相対位置を表す座標として算出された座標を設定し、その他の画素に基準平面に対する相対位置を表す座標として一定の値を設定する。そして特定の画像の座標系を構成する２軸（ｘ軸およびｙ軸）と基準平面に対する相対位置を表す軸（ｚ軸）とによる３次元空間に前記設定のなされた各画素を仮想配置して、各画素を所定の方向から透視変換し、この透視変換画像を計測対象部位とその他の部位とを識別できるように加工したものを処理結果画像として生成する。
【００１８】
上記構成の３次元計測装置によれば、複数台のカメラにより生成された画像を用いて各計測対象部位に対する３次元計測を精度良く行うとともに、この計測に使用された特定の画像を用いた透視変換処理により、実際の３次元計測に用いられた画素のｚ座標の大きさを、その周囲の奥行き感とともに表示することができる。
【００１９】
好ましい態様による３次元計測装置では、複数台のカメラのうちの特定の１台が、計測対象物を正面視する方向から撮像を行うように配置されるとともに、この正面視の方向を基準にして透視変換の方向を設定する操作を行うための操作部がさらに設けられる。また、処理結果画像生成手段は、特定のカメラにより生成された計測対象物の正面視画像を表示手段に表示し、この状態下で操作部による設定操作を受け付けて、この操作により設定された方向から３次元空間に仮想配置された画素群を透視変換する。
【００２０】
上記の態様によれば、ユーザ自身が設定した任意の方向からの透視変換画像を表示することができ、計測結果を確認する上での自由度が高められる。また、計測対象物を正面視した状態を基準に設定した方向に基づく透視変換により、ユーザが意図したイメージに近い画像を表示することができる。
【発明の効果】
【００２１】
上記の３次元計測方法および３次元計測装置によれば、計測対象部位が限定され、計測対象物の全体の立体形状を表す結果がえられない場合でも、３次元計測により得た座標の大きさを確認すると同時に、計測対象部位とその周囲との関係や正しい部位が計測されたかどうかを確認できるような画像を表示することができ、利便性を高めることができる。
【発明を実施するための最良の形態】
【００２２】
図１は、この発明が適用された３次元計測装置の撮像部の構成を、その設置例とともに示す。
この実施例の３次元計測装置は、工場の生産ライン又は検査ラインを搬送される同形状の計測対象物（以下、「ワークＷ」という。）を撮像部１により順に撮像し、各ワークＷのあらかじめ定められた計測対象部位の高さを計測するものである。計測された高さ情報は、ロボットハンド等の駆動系の位置決め制御や、検査における判別処理などに使用される。
【００２３】
撮像部１は、筐体１５内に２台のカメラＣ０，Ｃ１を組み込んだ構成のもので、ワーク搬送路Ｌの上方に設置される。一方のカメラＣ０は、ワークＷの上面を正面から撮像するように、光軸を鉛直方向に向けて設置される。他方のカメラＣ１は、カメラＣ０と視野が重なるようにして、斜め上方からワークＷを撮像するように設置される。
【００２４】
図２は、３次元計測装置の全体構成を示すブロック図である。図中の１０は、コンピュータが組み込まれた制御処理部であって、撮像部１のほか、操作部１１、表示部１２などが接続される。
【００２５】
制御処理部１０内には、各カメラＣ０，Ｃ１に対応する画像入力部１００，１０１、画像メモリ１０２、設定処理部１０３、画像処理部１０４、パラメータ算出部１０５、パラメータ記憶部１０６、３次元計測部１０７、座標変換部１０８、変換後画像生成部１０９、出力部１１０などが設けられる。これらのうち、画像入力部１００，１０１、画像メモリ１０２およびパラメータ記憶部１０６を除く各部は、専用のプログラムによりコンピュータに設定された機能である。専用のプログラムは、ハードディスク、フラッシュディスクなどの大容量メモリ装置（図示せず。）に格納される。画像メモリ１０２やパラメータ記憶部１０６も、このメモリ装置内に設定される。
【００２６】
画像処理部１０４は、正面視を行うカメラＣ０からの画像を、３次元計測の対象部位を抽出する基準画像として、この基準画像に対し、２値化、エッジ抽出、パターンマッチング等の手法により、ワークＷのあらかじめ定められた計測対象部位（この実施例では、エッジ構成点などの特徴点またはある特徴パターンを含む領域を計測対象部位とする。）を抽出し、３次元計測のための座標を特定する。また、他方のカメラＣ１から入力された画像（以下、「比較画像」という。）を対象に、基準画像中の計測対象部位に対応する点または領域を検索し、同様に３次元計測のための座標を特定する。
【００２７】
設定処理部１０３は、操作部１１から、画像処理部１０４が実行すべき処理の具体的内容（たとえば計測対象部位の抽出方法、抽出処理の対象範囲）や、後記する透視変換処理に使用される角度情報などを設定する操作を受け付け、その設定操作の内容を、画像処理部１０４や座標変換部１０８に設定する。
【００２８】
３次元計測部１０７は、画像処理部１０４により抽出された基準画像中の代表点の座標と、これに対応する比較画像側の代表点の座標とを用いて３次元座標を算出する。算出結果は出力部１１０に渡され、表示部１２や図示しない外部装置に出力される。
【００２９】
パラメータ記憶部１０６には、３次元計測処理に用いられる複数のパラメータが保存される。これらのパラメータは、各カメラＣ０，Ｃ１により構成されるステレオ座標系の変化や、実際の空間における位置を表す空間座標系とステレオ座標系との関係（各座標の原点間の距離、空間座標系に対するステレオ座標系の回転ずれ量など）の変化に応じて変動するもので、本処理に先立ち、複数の特徴点を有するキャリブレーションワークを用いたキャリブレーションにより求められる。このキャリブレーションの際の特徴点の抽出処理は、画像処理部１０４により実行され、パラメータ算出部１０５により、各パラメータを導出するための演算が実行される。
【００３０】
この実施例では、ワークＷのあらかじめ定められた数カ所を計測対象部位として、それぞれの部位の高さを計測し、計測結果を表す数値情報を図示しない外部装置に出力する。同時に、ユーザに、正しい計測対象部位を処理できたかどうかや計測対象部位の高さを認識させる目的で、計測結果を表す画像（以下、「処理結果画像」という。）を作成し、この画像を表示部１２に表示するようにしている。この画像は、３次元計測に使用された正面視画像（カメラＣ０により生成された基準画像）を透視変換した結果をベースに生成される。
座標変換部１０８は、この透視変換のための演算（後記する（１）（２）式によるもの）を実行する。変換後画像生成部１０９は、この演算結果に基づき、画像メモリ１０２内の基準画像を用いて処理対象画像を生成する。生成された画像は、出力部１１０から表示部１２に出力され、表示される。
【００３１】
以下、この実施例における計測対象部位や処理結果画像について、具体例を示しながら、詳細に説明する。
【００３２】
図３は、カメラＣ０により生成された基準画像の一例を示す。この基準画像は、ワークＷ（この例ではＩＣ）の一部を撮像して生成されたもので、複数の電極ピン、パッケージに印字された文字列（型番を表す。）、パッケージに形成された段差部分などが表されている。なお、この実施例では、基準画像の左右方向をｘ軸方向とし、上下方向をｙ軸方向とする。
【００３３】
図中、＋印で示される各点Ｐ１〜Ｐ４および点線枠で示す領域Ｒが、計測対象部位である。以下では、これらを「計測対象点」および「計測対象領域」という。
【００３４】
計測対象点Ｐ１，Ｐ２は、画像中の６本の電極ピンのうちの左端および右端のピンの一構成点である。これらの計測対象点Ｐ１，Ｐ２は、図示しない照明光により電極ピンの長さ方向に生じたエッジや部品本体からの距離に基づき抽出される。なお、計測対象部位の電極ピンを２本に限定したのは、図示の便宜上のものであり、実際には、いずれの電極ピンでも、少なくとも１点の計測対象点が抽出される。
残りの計測対象点Ｐ３，Ｐ４は、パッケージの段差部分の境界線の構成点である。これらの点も、エッジ抽出等の処理により抽出される。
【００３５】
計測対象領域Ｒには、文字列「５Ｂ」が含まれる。この計測対象領域Ｒは、上記の文字列のモデルを用いたパターンマッチングにより抽出されたものである。
【００３６】
３次元計測部１０７は、上記の計測対象点Ｐ１〜Ｐ４や計測対象領域Ｒについて、カメラＣ０により生成された基準画像とカメラＣ１により生成された比較画像との間で対応関係にある座標の組毎に、三角測量の原理に基づき、高さを表す座標（ｚ座標）を算出する。なお、計測対象領域Ｒについては、この領域Ｒの中心点の座標を各画像から抽出して、ｚ座標を算出するが、算出されたｚ座標は、計測対象領域Ｒ内のすべての画素に適用される。
【００３７】
上記のｚ座標は、ワークＷの支持面（具体的にはワーク搬送ラインの上面である。）またはこの支持面から所定距離離れた仮想の水平面の高さをゼロとおいて算出される。処理結果画像は、基準画像のｘ軸およびｙ軸に、高さを表すｚ軸を組み合わせた３次元座標系を設定し、基準画像の各構成画素を、この３次元座標系に仮想配置して透視変換処理を実行することにより、生成される。
【００３８】
各画素を３次元座標系に配置する処理では、ｘ，ｙ座標については、元の基準画像の座標（ピクセル単位の座標）がそのまま適用される。ｚ座標については、計測対象点や計測対象領域に相当する画素には、高さ計測により算出されたｚ座標（単位はｍｍ）が設定される。一方、計測対象外の画素はｘｙ平面に位置するものとして、ｚ座標がゼロに設定される。
【００３９】
図４は、処理結果画像の表示例を示す。この処理結果画像は、図３に示した基準画像中の各画素を上記した要領で３次元座標系に仮想配置し、これらの画素群を斜め上方から観測した３次元イメージを表すものである。この画像中の計測対象点Ｐ１〜Ｐ４に対応する各点Ｐ１´〜Ｐ４´には、識別のための＋印が表示されている。また、これらの点Ｐ１´〜Ｐ４´には、計測対象点の高さが０であった場合の対応点から、所定の色彩による補助線（図中、点線で表現する。）が立ち上げられている。よって、これらの補助線の長さにより、各計測対象点Ｐ１〜Ｐ４の高さを確認することができる。
【００４０】
計測対象領域Ｒに対応する領域Ｒ´は、計測された高さに基づき導出された位置に表示されている。さらに、この例では、この計測対象領域Ｒの高さを０と仮定したときの対応領域Ｒ１を特定して、この領域Ｒ１を所定の色彩（図４では、網点パターンにより表す。）でマーキングしている。さらにこの領域Ｒ１と領域Ｒ´との頂点間には、計測対象点Ｐ１´〜Ｐ４´と同様に、補助線が設定されている。
【００４１】
さらに、この処理結果画像の奥行き側の２辺には、ｘ，ｙ，ｚの各軸の方向および座標を表すためのグリッド線ｇが表示されている。ただし、このグリッド線ｇを表示するか否かは、操作部１１により適宜選択することができる。
【００４２】
上記の画像表示によれば、カメラＣ０による正面視画像全体が、奥行き感のある斜視画像に変換されて表示されるとともに、実際に高さ計測の対象となった部位が、その計測値を反映した位置に、補助線とともに表示される。よってユーザは、計測すべき部位が正しく計測されたかどうかや、計測値の適否を、容易に認識することができる。
【００４３】
さらに、この実施例では、上記の透視変換の方向をユーザに設定させることにより、所望の方向からワークＷを観測した状態を示す斜視画像を得られるようにしている。
【００４４】
透視変換の方向は、画素群が配置される３次元座標系に対する方位角θおよび仰角φにより設定される。方位角θは、高さを表すｚ軸回りの方位であって、たとえばｘ軸の正方向を基準にした角度により表される。仰角φは、ｘｙ平面を基準にした角度として表される。
なお、ユーザの設定操作は、角度θやφの具体的な数値を入力するものに限らない。たとえば、表示部１２にｘ，ｙ，ｚの各軸を表示して、これらの軸をマウスのドラッグ操作により回転させ、その回転角度からθやφを特定してもよい。
【００４５】
ここで、基準画像中の各画素の３次元空間における配置位置を（ｘ，ｙ，ｚ）として、この配置による画素群を、上記の角度θ，φにより表される方向から透視変換すると、変換後の各画素の座標（ｘ´，ｙ´）は、下記の（１）式により算出される。
【００４６】
【数１】
【００４７】
係数ａ，ｂ，ｃ，ｄ，ｅは、（１）式の下に示したとおりである。
また（１）式中の（ｘ０，ｙ０）は、基準画像中の３次元座標系の原点に対応する座標である。また（ｘｔ，ｙｔ）は、変換後の画像の表示位置をｘ，ｙの各軸方向において移動させた場合の移動量を示す。ｍｘｙは、変換後画像のｘ，ｙの各軸方向における倍率であり、ｍｚは、変換後画像のｚ方向における倍率である。
【００４８】
上記の（１）式によれば、３次元座標系に仮想配置された各画素を、それぞれ変換後画像を表す２次元座標系の特定の１点に変換することができる。
さらに、（１）式を変形することにより、ｚ座標が既知であることを前提にして、変換後の画像中の１つの座標（ｘ´，ｙ´）について、基準画像側の対応画素の座標（ｘ，ｙ）を求める式を導出することができる。具体的な演算式は（２）式のようになる。
【００４９】
【数２】
【００５０】
図５は、図３に示した基準画像を用いて、図４に示した処理変換画像を生成するための処理の手順を示す。
この処理では、まず、基準画像全体を対象にした透視変換処理を実行する。具体的には、変換後画像の各座標（ｘ´，ｙ´）について、それぞれｚ＝０として（２）式を実行することにより、基準画像側で（ｘ´，ｙ´）に対応する座標（ｘ，ｙ）を算出する（ステップＡ）。つぎに、変換後画像の各座標に、上記の演算により特定された基準画像側の対応座標の画像データを設定する（ステップＢ）。これらステップＡ，Ｂの処理により、正面視状態を表す基準画像を、斜視状態を表す画像に変換することができる。
【００５１】
つぎに、ステップＣでは、計測対象領域Ｒについて計測されたｚ座標を、（２）式中のｚにあてはめて、ステップＡと同様に、変換後画像の画素毎に、その座標（ｘ´，ｙ´）を用いて（２）式を実行する。また、この演算により算出された座標（ｘ，ｙ）が基準画像側の計測対象領域内の座標に一致したとき、演算にあてはめた座標（ｘ´，ｙ´）を計測対象領域Ｒに対応するものとして特定する。さらに、ステップＤでは、ステップＣで特定された各座標の画像データを、それぞれ基準画像側の対応画素（ステップＣの演算で算出された座標（ｘ，ｙ）の画素）の画像データに変更する。
【００５２】
上記のステップＣ，Ｄの処理により、変換後画像における計測対象領域の画像を、計測された高さに応じた位置に移動させることができる。
さらにステップＥでは、再びステップＡの演算結果を用いて、変換後画像の中から、ｚ＝０とした場合に計測対象領域に対応する座標を特定し、特定された各座標の画像データをマーキング用の色彩を表すデータに置き換える。
【００５３】
つぎに、ステップＦでは、計測対象点および計測対象領域の各頂点について、基準画像側の座標（ｘ，ｙ）を用いた（１）式を実行して、変換後画像における対応点の座標（ｘ´，ｙ´）を求める。なお、ここでは、各点毎に、計測されたｚ座標をあてはめた演算と、ｚ＝０とした演算の２通りの演算を実行する。
【００５４】
ステップＧでは、ステップＦの演算結果に基づき、変換後画像に対し、計測されたｚ座標に基づく対応点を表す＋マークや、この対応点とｚ＝０の場合の対応点とを結ぶ補助線の画像データを設定する。
【００５５】
上記の処理では、変換後画像の各画素につき、それぞれ（２）式を用いて変換前の基準画像における対応画素を特定し、その対応画素の画像データをあてはめるようにしたので、倍率ｍｘｙ，ｍｚにより拡大された画像を生成する場合でも、大半の画素に画像データを設定することが可能になり、画像の精度を安定させることができる。
【００５６】
上記の変換に用いられる方位角θや仰角φを設定する操作は、本処理に先立つティーチングにおいて、ワークＷのモデルの正面視画像を表示した状態で行われる。また本処理において処理対象画像が表示された後も、θやφの変更操作を受け付け、これに応じて処理対象画像の表示を変更することができる。
【００５７】
正面視画像に対応する平面は、仮想の３次元座標系のｘｙ平面に相当するので、ユーザにとって、角度θやφは、正面視していた視線の方向を斜めに変更した場合の変更後の方向に相当すると解釈できる。またユーザの想定した観察方向から撮像を行った場合のイメージに近い斜視画像を表示することができるので、計測結果の確認に適した方向を容易に判別して、設定操作を行うことができる。
【００５８】
図６は、１つのワークＷに対して実行される処理の流れを示す。
この処理は、カメラＣ０，Ｃ１による撮像対象範囲に計測対象のワークＷが搬入されたことにより開始される。まず最初のステップ１では、各カメラＣ０，Ｃ１を同時に駆動することにより、基準画像および比較画像の生成を行う。
【００５９】
ステップ２では、基準画像を対象に、前記した各種の画像処理により計測対象点や計測対象領域を抽出し、それぞれについて高さ計測に用いる座標を特定する。また比較画像に対しても、上記の計測対象点や計測対象領域に対応する点や領域を抽出し、高さ計測に用いる座標を特定する。
【００６０】
ステップ３では、各画像間で対応する座標毎に前出のパラメータを用いた演算を実行することにより、高さを表すｚ座標を算出する。
【００６１】
この後、ステップ４では、前出の図５に示した画像変換処理により、処理結果画像を作成する。さらに、作成された処理結果画像の表示（ステップ５）、および高さの計測値の出力（ステップ６）を行い、しかる後に処理を終了する。
【００６２】
つぎに、上記の実施例では、計測対象領域については、領域の中心点の座標を用いて算出されたｚ座標を、領域全体の高さとして示したが、これに限らず、所定広さの領域に含まれる複数の代表点について個別に高さを計測し、その計測結果を反映した処理結果画像を表示することもできる。
【００６３】
図７は、一例として、三角形状の領域の各頂点ａ，ｂ，ｃについて高さ計測を実行し、これらの点を、基準画像中のｘ，ｙ座標および計測されたｚ座標に基づき透視変換した例を示す。この画像では、各頂点ａ，ｂ，ｃを、それぞれ（１）式により特定された対応点ａ´，ｂ´，ｃ´の位置に変換するとともに、図４の例と同様の補助線を設定することにより、各点の計測された高さを表現している。一方、領域全体の画像は、ｚ＝０として（２）式を実行することにより、所定の範囲に投影されている。
【００６４】
図７の例によれば、点ｃ´における補助線が他の補助線より短くなっており、これにより、点ｃが点ａ，ｂより低くなっていることを認識することができる。このような表示により、特定の面の傾きや凹凸の有無などの確認に適した処理結果画像を示すことが可能になる。
【００６５】
また、この種の計測では、基準とする平面より高いものを計測対象とする場合に限らず、周囲より落ち込んでいる部分を計測する場合もある。このような計測を行う場合にも、同様の透視変換処理による処理結果画像を作成し、表示を行うことができる。
【００６６】
図８は、正方形状のケース体に形成された半球状の凹部を計測対象とする例を示す。
この実施例では、凹部の外周縁を表すエッジの中から径方向に対向する一対のエッジ点ｐ，ｑを抽出し、これらの点ｐ，ｑと、凹部の中心点に相当する点ｏ（線分ｐｑの中点）の３点を計測対象点として、各点のｚ座標を算出する。そして、これら計測対象点に算出されたｚ座標をあてはめ、（１）式を用いて変換後画像における対応点ｏ´，ｐ´，ｑ´を求める。一方、全ての画素に、ｚ座標として０より大きい一定の値をあてはめ、（２）式に基づく透視変換処理により、基準画像全体を変換する。
【００６７】
なお、各画素には、一定のｚ座標として、たとえば、ケース体本体の標準的な高さをあてはめるとよい。または凹部の外側にも計測対象点を１点設けてｚ座標を計測し、その計測値を各画素に共通に設定してもよい。
【００６８】
図８の例では、上記の変換処理により、ケース体全体の斜視画像が表示されるとともに、各計測対象点ｏ，ｐ，ｑについて、計測されたｚ座標に応じた位置に対応点ｏ´，ｐ´，ｑ´が表示され、さらに高さを表す補助線が設定される。
この表示によれば、凹部の中心点ｏが外周縁に対してどの程度落ち込んでいるかや、目的とする部位を正しく計測しているかなどを、容易に確認することができる。
【００６９】
なお、上記の各実施例では、ステレオカメラを用いた３次元計測処理に使用された画像を用いることによって、実際にｚ座標の算出に用いられた部位の計測結果を表す処理結果画像を表示したが、ステレオ法以外の方法による３次元計測でも、計測対象部位に対応する画素を特定することができれば、同様の処理結果画像を作成し、表示することができる。
【００７０】
図９は、上記各例と同様の処理結果画像の表示を行うことが可能な３次元計測装置の構成例を示す。
この装置は、光切断法による高さ計測を行うもので、レーザスリット光２２を照射する投光部２０および２次元カメラ２１と、図示しない制御処理部とにより構成される。ワークＷはＩＣであり、計測対象は電極ピン３０である。
【００７１】
カメラ２１は、先の実施例のカメラＣ０と同様に、ワークＷの正面視画像を生成するように、光軸を鉛直方向に向けて配備される。投光部２０は、ワークＷの斜め上方に配置され、各電極ピン３０の並び方向に沿ってスリット光２２を照射する。
【００７２】
この実施例の制御処理部は、カメラ２１により生成された画像から、スリット光２２の反射光による光線像を抽出し、この光線像に含まれる複数の点を計測対象点として、それぞれの座標を所定の演算式にあてはめることにより、各計測対象点に対応する高さを算出する。
【００７３】
上記の実施例でも、ワークＷの正面視画像中の所定の画素を対象に高さ計測を実行するので、この計測に使用された正面視画像において、計測に使用された画素を、計測された高さに応じた位置に変換することができる。したがって、３次元計測の手法は異なるものの、先のステレオ法による３次元計測装置と同様の方法で処理結果画像を生成し、表示することができる。
【図面の簡単な説明】
【００７４】
【図１】撮像装置の構成および設置例を示す斜視図である。
【図２】３次元計測装置の構成を示す機能ブロック図である
【図３】カメラＣ０により生成された正面視画像の例を示す説明図である。
【図４】処理結果画像の表示例を示す説明図である。
【図５】画像変換処理の手順を示すフローチャートである。
【図６】計測処理の手順を示すフローチャートである。
【図７】画像変換の他の例を示す説明図である。
【図８】画像変換の他の例を示す説明図である。
【図９】３次元計測装置の他の構成例および計測例を示す説明図である。
【符号の説明】
【００７５】
Ｃ０，Ｃ１ カメラ
１０ 制御処理部
１１ 操作部
１２ 表示部
１０４ 画像処理部
１０７ ３次元計測部
１０８ 座標変換部
【特許請求の範囲】
【請求項１】
あらかじめ１または複数の計測対象部位が定められた計測対象物を、光学的３次元計測手段を用いて観測することにより、各計測対象部位について、少なくとも当該部位に対向する所定の基準平面に対する相対位置を表す座標を算出する３次元計測方法であって、
前記計測対象物を撮像して２次元画像を生成し、この２次元画像中の前記計測対象部位に対応する画素に前記基準平面に対する相対位置を表す座標として算出された座標を設定し、その他の画素に前記基準平面に対する相対位置を表す座標として一定の値を設定し、
前記２次元画像の座標系を構成する２軸と前記基準面に対する相対位置を表す軸とによる３次元空間に前記設定のなされた各画素を仮想配置して、各画素を所定の方向から透視変換し、この透視変換により生成された２次元画像を、前記計測対象部位とその他の部位とを識別できるように加工して表示する、３次元計測方法。
【請求項２】
請求項１に記載された方法において、
前記計測対象物を正面視する方向から撮像することにより生成された正面視画像を透視変換の対象画像に設定するとともに、この正面視画像を表示しながら、この正面視の方向を基準にして透視変換の方向を設定する操作を受け付け、この操作により設定された角度が表す方向から前記３次元空間に仮想配置された画素群を透視変換する、３次元計測方法。
【請求項３】
請求項１または２に記載された方法において、
前記光学的３次元計測手段として、複数台のカメラにより生成された複数の２次元画像を用いて３次元計測を行う装置を使用して、前記複数の２次元画像において、それぞれ計測対象部位に対応する座標を特定した後に、特定された座標を用いて前記基準平面に対する相対位置を表す座標を算出し、
前記３次元計測に使用されたいずれかの２次元画像を対象に、この画像中の各構成画素のうち、計測対象部位に対応するものとして座標が特定された画素に、前記基準平面に対する相対位置を表す座標として算出された座標を設定し、その他の画素に、前記基準平面に対する相対位置を表す座標として前記一定の座標を設定して、前記透視変換処理を実行する、３次元計測方法。
【請求項４】
それぞれの視野が所定の範囲で重なるように位置関係および光軸方向を定めて配置された複数台のカメラと、
前記各カメラの視野が重なる範囲に入った計測対象物を各カメラにより撮像して生成された複数の２次元画像を、個別に入力する画像入力手段と、
前記計測対象物のあらかじめ定めた１または複数の計測対象部位につき、それぞれ各入力画像中の対応箇所の座標を抽出し、抽出された各座標を用いて、少なくとも当該計測対象部位に対向する基準平面に対する相対位置を表す座標を算出する計測手段と、
前記計測手段による計測結果を表す２次元の処理結果画像を生成する処理結果画像生成手段と、
前記処理結果画像を表示するための表示手段とを備え、
前記処理結果画像生成手段は、前記計測手段の計測に用いられた複数の２次元画像のうちの特定の画像を対象に、この画像中の各構成画素のうち、前記計測手段により前記計測対象部位に対応するとして座標が抽出された画素に、前記基準平面に対する相対位置を表す座標として算出された座標を設定し、その他の画素に前記基準平面に対する相対位置を表す座標として一定の値を設定し、前記特定の画像の座標系を構成する２軸と前記基準平面に対する相対位置を表す軸とによる３次元空間に前記設定のなされた各画素を仮想配置して、各画素を所定の方向から透視変換し、この透視変換画像を前記計測対象部位とその他の部位とを識別できるように加工したものを処理結果画像として生成する、３次元計測装置。
【請求項５】
前記複数台のカメラのうちの特定の１台が、前記計測対象物を正面視する方向から撮像を行うように配置されるとともに、この正面視の方向を基準にして透視変換の方向を表す角度を設定する操作を行うための操作部をさらに備え、
前記処理結果画像生成手段は、前記特定のカメラにより生成された計測対象物の正面視画像を表示手段に表示し、この状態下で前記操作部による設定操作を受け付けて、この操作により設定された角度が表す方向から前記３次元空間に仮想配置された画素群を透視変換する、請求項４に記載された３次元計測装置。
【請求項１】
あらかじめ１または複数の計測対象部位が定められた計測対象物を、光学的３次元計測手段を用いて観測することにより、各計測対象部位について、少なくとも当該部位に対向する所定の基準平面に対する相対位置を表す座標を算出する３次元計測方法であって、
前記計測対象物を撮像して２次元画像を生成し、この２次元画像中の前記計測対象部位に対応する画素に前記基準平面に対する相対位置を表す座標として算出された座標を設定し、その他の画素に前記基準平面に対する相対位置を表す座標として一定の値を設定し、
前記２次元画像の座標系を構成する２軸と前記基準面に対する相対位置を表す軸とによる３次元空間に前記設定のなされた各画素を仮想配置して、各画素を所定の方向から透視変換し、この透視変換により生成された２次元画像を、前記計測対象部位とその他の部位とを識別できるように加工して表示する、３次元計測方法。
【請求項２】
請求項１に記載された方法において、
前記計測対象物を正面視する方向から撮像することにより生成された正面視画像を透視変換の対象画像に設定するとともに、この正面視画像を表示しながら、この正面視の方向を基準にして透視変換の方向を設定する操作を受け付け、この操作により設定された角度が表す方向から前記３次元空間に仮想配置された画素群を透視変換する、３次元計測方法。
【請求項３】
請求項１または２に記載された方法において、
前記光学的３次元計測手段として、複数台のカメラにより生成された複数の２次元画像を用いて３次元計測を行う装置を使用して、前記複数の２次元画像において、それぞれ計測対象部位に対応する座標を特定した後に、特定された座標を用いて前記基準平面に対する相対位置を表す座標を算出し、
前記３次元計測に使用されたいずれかの２次元画像を対象に、この画像中の各構成画素のうち、計測対象部位に対応するものとして座標が特定された画素に、前記基準平面に対する相対位置を表す座標として算出された座標を設定し、その他の画素に、前記基準平面に対する相対位置を表す座標として前記一定の座標を設定して、前記透視変換処理を実行する、３次元計測方法。
【請求項４】
それぞれの視野が所定の範囲で重なるように位置関係および光軸方向を定めて配置された複数台のカメラと、
前記各カメラの視野が重なる範囲に入った計測対象物を各カメラにより撮像して生成された複数の２次元画像を、個別に入力する画像入力手段と、
前記計測対象物のあらかじめ定めた１または複数の計測対象部位につき、それぞれ各入力画像中の対応箇所の座標を抽出し、抽出された各座標を用いて、少なくとも当該計測対象部位に対向する基準平面に対する相対位置を表す座標を算出する計測手段と、
前記計測手段による計測結果を表す２次元の処理結果画像を生成する処理結果画像生成手段と、
前記処理結果画像を表示するための表示手段とを備え、
前記処理結果画像生成手段は、前記計測手段の計測に用いられた複数の２次元画像のうちの特定の画像を対象に、この画像中の各構成画素のうち、前記計測手段により前記計測対象部位に対応するとして座標が抽出された画素に、前記基準平面に対する相対位置を表す座標として算出された座標を設定し、その他の画素に前記基準平面に対する相対位置を表す座標として一定の値を設定し、前記特定の画像の座標系を構成する２軸と前記基準平面に対する相対位置を表す軸とによる３次元空間に前記設定のなされた各画素を仮想配置して、各画素を所定の方向から透視変換し、この透視変換画像を前記計測対象部位とその他の部位とを識別できるように加工したものを処理結果画像として生成する、３次元計測装置。
【請求項５】
前記複数台のカメラのうちの特定の１台が、前記計測対象物を正面視する方向から撮像を行うように配置されるとともに、この正面視の方向を基準にして透視変換の方向を表す角度を設定する操作を行うための操作部をさらに備え、
前記処理結果画像生成手段は、前記特定のカメラにより生成された計測対象物の正面視画像を表示手段に表示し、この状態下で前記操作部による設定操作を受け付けて、この操作により設定された角度が表す方向から前記３次元空間に仮想配置された画素群を透視変換する、請求項４に記載された３次元計測装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２００９−５３１４７（Ｐ２００９−５３１４７Ａ）
【公開日】平成２１年３月１２日（２００９．３．１２）
【国際特許分類】
【出願番号】特願２００７−２２２３５６（Ｐ２００７−２２２３５６）
【出願日】平成１９年８月２９日（２００７．８．２９）
【出願人】（０００００２９４５）オムロン株式会社 (3,542)
【Ｆターム（参考）】
【公開日】平成２１年３月１２日（２００９．３．１２）
【国際特許分類】
【出願日】平成１９年８月２９日（２００７．８．２９）
【出願人】（０００００２９４５）オムロン株式会社 (3,542)
【Ｆターム（参考）】
[ Back to top ]