形状計測装置およびキャリブレーション方法
【課題】計測点の位置の違いによる法線算出の誤差を可及的に小さくし、計測対象物の３次元形状を精度良く算出するための技術を提供する。
【解決手段】形状計測装置は、カメラ１で撮像を行うことにより得られた画像から、計測対象物４の表面上の複数の注目点について特徴量を算出し、記憶装置６２に予め記憶されているデータを参照して特徴量の値から法線の向きを算出し、その算出結果から計測対象物４の表面の３次元形状を復元する。ここで、記憶装置６２は、カメラ１の視野内に設定された複数の基準位置のそれぞれについて作成された複数のデータを記憶しており、注目点の位置に応じて参照するデータが切り替えられる。
【解決手段】形状計測装置は、カメラ１で撮像を行うことにより得られた画像から、計測対象物４の表面上の複数の注目点について特徴量を算出し、記憶装置６２に予め記憶されているデータを参照して特徴量の値から法線の向きを算出し、その算出結果から計測対象物４の表面の３次元形状を復元する。ここで、記憶装置６２は、カメラ１の視野内に設定された複数の基準位置のそれぞれについて作成された複数のデータを記憶しており、注目点の位置に応じて参照するデータが切り替えられる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、計測対象物の表面の３次元形状を計測する技術に関する。
【背景技術】
【０００２】
カメラで撮影した画像を解析することにより計測対象物表面の法線（もしくは勾配）を求め、その３次元形状を復元する技術が知られている。例えば、特許文献１には、多段に配置したリング照明から同心円状のパタン光を照射してはんだ表面の勾配を計測する手法が開示されている。また特許文献２には、医療用の内視鏡において、パタン光を生体組織に照射し、その正反射方向から法線を計算して生体組織表面の形状を復元する手法が開示されている。また特許文献３には、平行光照明とラインセンサとを用いてリフロー後のはんだ表面の勾配を計測する手法が開示されている。これらの他にも、複数の光源を順次点灯させて物体の陰影の変化を観測することで、物体表面の法線を求める手法（いわゆる照度差ステレオ法）や、赤、青、緑の３色の光を異なる角度で照射して物体表面の色を観測することで、その法線の向きを求める手法（Structured-light法）などが知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平８−１４８４９号公報
【特許文献２】特開２００９−２７３６５５号公報
【特許文献３】特開２００９−１６８５８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述のように法線算出による形状計測手法には様々な方式が存在するが、その基本原理は、画像の特徴量（色や明るさ）と法線（もしくは光源の角度）との対応付けを行うという点で共通している。鏡面物体の計測装置の例で説明すると、図１７（ａ）のように、ある計測点Ｐにおいて光源Ｌからの入射光の特徴（色や明るさ）が観測された場合に、点Ｐにおける法線の角度θを光源Ｌの角度の１／２として求めるのである。
【０００５】
この種の装置では、通常、カメラの視野の中心を基準位置として光源Ｌの角度θが設定されている。それゆえ、厳密には、計測点（画素の位置）が視野の中心から離れると法線算出の誤差が発生する。例えば図１７（ｂ）に示すように、計測点Ｐ’の実際の法線の角度θ’は中心点Ｐの法線の角度θより大きいにもかかわらず、ともに同じ角度として算出されてしまうのである。ここで発生する誤差（｜θ’−θ｜）は、視野の中心点Ｐから計測点Ｐ’までの距離ｄと視野の中心点Ｐから光源Ｌまでの距離ｌによって決まり、ｄが大きくなると誤差が大きくなり、ｌが大きくなると誤差が小さくなる。従来は、ｄに対してｌが非常に大きくなるように装置を設計することで、実用上誤差を無視していた。
【０００６】
しかしながら、基板外観検査（ＡＯＩシステム）などの分野では、検査装置の小型化や検査タクト向上のための広視野化の必要から、ｄとｌの差を十分にとることができず、法線算出の誤差の大きさが無視できなくなってきた。
【０００７】
本発明は上記実情に鑑みてなされたものであって、その目的とするところは、計測点の位置の違いによる法線算出の誤差を可及的に小さくし、計測対象物の３次元形状を精度良く算出するための技術を提供することにある。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明では、計測点（注目点）の位置に応じて法線算出に用いるデータ（テーブル又は変換式など）を適応的に切り替えることで、算出誤差を実用上無視できる程度まで小さくする。
【０００９】
具体的には、本発明に係る形状計測装置は、ステージ上に配置された計測対象物に光を照射する照明手段と、前記計測対象物を撮像する撮像手段と、前記照明手段から光を照射した状態で前記撮像手段による撮像を行うことにより得られた画像から、前記計測対象物の表面上の複数の注目点について色または明るさに関する特徴量を算出する特徴量算出手段と、特徴量の値と、特徴量の値から表面の法線の向きを特定するための情報と、を対応付けるデータを予め記憶している記憶手段と、前記記憶手段に記憶されているデータを参照することにより、前記特徴量算出手段で算出された特徴量の値から前記複数の注目点における法線の向きを算出し、その算出結果から前記計測対象物の表面の３次元形状を算出する形状算出手段と、を有する形状計測装置において、前記記憶手段は、前記撮像手段の視野内に設定された複数の基準位置のそれぞれについて作成された、複数のデータを記憶しており、前記形状算出手段は、注目点の位置に応じて、参照するデータを切り替えることを特徴とする。
【００１０】
この構成によれば、注目点の位置に応じてデータが切り替えられるため、注目点の位置によらず法線算出の誤差を十分小さくすることができる。したがって、従来装置に比べて計測対象物表面の３次元形状を精度良く求めることが可能となる。逆にいえば、従来装置と同等の精度を保ったまま、装置の小型化や広視野化を図ることも可能となる。ここで、「特徴量の値から表面の法線の向きを特定するための情報」としては、たとえば、法線の向き、勾配（傾き）、入射光（光源）の角度などが該当する。
【００１１】
各々が前記基準位置を含むように前記撮像手段の視野が複数のサブ領域に分割され、かつ、サブ領域ごとにデータが対応付けられており、前記形状算出手段は、注目点が属するサブ領域に対応するデータを、参照するデータとして選択することが好ましい。この構成によれば、参照すべきデータを簡単に決定できるため、処理の簡易化および高速化を図ることができる。もちろんデータの選択方法はこれに限られない。多少処理は複雑になるが、注目点に最も近い基準位置を検出し、その基準位置に対応するデータを参照するようにしてもよいし、あるいは、注目点に近い複数の基準位置を選び、それらの複数のデータの内容を用いて（たとえば補間して）法線を算出することもできる。
【００１２】
ここで、前記複数のデータのそれぞれは、表面形状が既知の教示用物体を前記基準位置に配置して、前記照明手段から光を照射した状態で前記撮像手段による撮像を行うことにより得られた前記教示用物体の画像を用いて作成されるものであることが好ましい。このように装置自身の構成を用いてデータを作成することで、照明手段や撮像手段の個体差や組み付け誤差などをデータに織り込むことができるため、精度の向上を期待できる。
【００１３】
前記照明手段は、所定の広さの発光領域を有する面光源であり、前記発光領域内の各位置から照射される光のスペクトル分布が互いに異なっていることが好ましい。このような照明手段を用いることにより、１回の計測（照明および撮像）だけで計測対象物の３次元形状を求めることができ、計測時間の短縮を図ることができる。
【００１４】
前記照明手段は、互いに異なる発光強度分布をもつ複数の照明パタンを重ね合わせた光を照射し、または、前記複数の照明パタンを順次照射する面光源であり、各照明パタンの発光強度分布は、前記計測対象物が配置される点を通る前記ステージに平行な所定の直線を中心軸として、前記中心軸周りの角度に対し発光強度が線形に変化するように設定されていることが好ましい。このような照明手段を用いることにより、反射特性が均一でない物体や表面が粗い物体であっても精度良く計測することが可能となる。なお構造上もしく
は設計上の理由などから厳密な線形性を実現することが困難な場合もある。そのような場合には実質的に線形性が実現されていればよい。すなわち、本発明において「発光強度が線形に変化」とは「発光強度が実質的に線形に変化」を含む概念である。
【００１５】
なお、本発明は、上記手段の少なくとも一部を有する形状計測装置として捉えることができる。また、本発明は、そのような形状計測装置のキャリブレーション方法、または、上記処理の少なくとも一部を含む形状計測方法若しくはかかる方法を実現するためのプログラムとして捉えることもできる。上記手段および処理の各々は可能な限り互いに組み合わせて本発明を構成することができる。
【００１６】
例えば、本発明に係るキャリブレーション方法は、計測対象物に照明装置で光を照射し、光を照射した状態で前記計測対象物を撮像装置で撮像し、撮像した画像の前記計測対象物の表面上の複数の注目点について取得された色または明るさに関する特徴量から、前記計測対象物表面の３次元形状を算出する形状計測装置のキャリブレーション方法であって、表面の傾きが既知の物体を配置させ、光を照射して撮像した画像から特徴量を抽出し、前記表面の傾きが既知の物体が配置された画像上の位置と、前記抽出された特徴量とを対応付けたデータを、複数の位置について記憶する方法である。ここで、「表面の傾きが既知の物体」は、半球体であることが好ましい。１回の撮像で全方向（３６０度）の法線情報が得られるとともに、球体の方程式から法線ベクトルを簡単に算出できるからである。
【発明の効果】
【００１７】
本発明によれば、計測点の位置の違いによる法線算出の誤差を可及的に小さくし、計測対象物の３次元形状を精度良く算出することができる。
【図面の簡単な説明】
【００１８】
【図１】形状計測装置のハードウェア構成を模式的に示す図である。
【図２】照明装置の発光領域におけるカラーパタンをＲＧＢごとに示す図である。
【図３】照明装置の発光領域におけるＲＧＢ各色の変化を説明する図であり、（ａ）は斜視図、（ｂ）は側面図である。
【図４】測定対象物表面の法線の向きと発光領域の対応を説明する図である。
【図５】テーブル作成処理の流れを示すフローチャートである。
【図６】（ａ）はテーブル作成用画像の撮影時の状態を示す斜視図であり、（ｂ）はテーブル作成用画像の一例を示す図である。
【図７】形状計測処理の流れを示すフローチャートである。
【図８】（ａ）は法線マップの一例を示す図であり、（ｂ）は復元された形状の一例を示す図である。
【図９】照明装置のカラーパタンによる効果を説明する図である。
【図１０】反射特性を説明する図である。
【図１１】入射光と反射光を説明するための図である。
【図１２】鏡面ローブの相殺効果を説明するための図である。
【図１３】照明パタンの変形例を示す図である。
【図１４】照明パタンの変形例を示す図である。
【図１５】平板形状の照明装置を備える形状計測装置の構成を示す図である。
【図１６】平板形状の照明装置における照明パタンを説明するための図である。
【図１７】計測位置の違いによる算出誤差について説明するための図である。
【発明を実施するための形態】
【００１９】
以下、図面を参照して本発明の好適な実施形態について説明する。本実施形態の形状計測装置は、画像解析により鏡面物体の３次元計測を行うものである。この装置は、各種の自動計測装置、自動検査装置、ロボットビジョンなどにおける物体認識に適用可能であり
、例えば基板外観検査装置（ＡＯＩシステム）におけるはんだ付けの良否検査や、金属加工物表面の凹凸検査などに好ましく適用することができる。
【００２０】
＜計測装置の全体構成＞
図１を参照して、形状計測装置の全体構成について説明する。図１は形状計測装置のハードウェア構成を模式的に示す図である。
【００２１】
形状計測装置は、概略、計測ステージ５、検査ヘッドＨ、および、情報処理装置６を備えて構成される。検査ヘッドＨには、計測ステージ５上に配置された計測対象物４に測定光を照射するための照明装置３と、鉛直上方から計測対象物４を撮影するカメラ（イメージセンサ）１とが取り付けられている。情報処理装置６は、ＣＰＵ（中央演算処理装置）６０、メモリ６１、記憶装置６２、検査ヘッド制御部６３、画像入力部６４、照明装置制御部６６、ステージ制御部６７、ユーザＩ／Ｆ６８、表示部６９などを備えている。検査ヘッド制御部６３は検査ヘッドＨのＺ方向（計測ステージ５に垂直な方向）の移動を制御する機能であり、ステージ制御部６７は計測ステージ５のＸＹ方向の移動を制御する機能である。照明装置制御部６６は照明装置３の点灯および消灯（必要に応じて照明パタンの切り替え）を制御する機能である。画像入力部６４はカメラ１からデジタル画像を取り込む機能である。ユーザＩ／Ｆ６８はユーザにより操作される入力装置であり、例えばポインティングデバイス、タッチパネル、キーボードなどが該当する。表示部６９は計測結果などが画面表示される部分であり、例えば液晶ディスプレイなどで構成される。
【００２２】
計測時には、検査ヘッドＨと計測ステージ５が相対的に移動し、計測対象物４が所定の計測位置（図１の例では、照明装置３の中央（カメラ１の光軸と計測ステージ５の交点））に位置決めされる。そして、照明装置３から測定光を照射した状態で画像が撮影される。カメラ１で撮影された画像は画像入力部６４を介して情報処理装置６に取り込まれ、後述する画像解析に供される。以下、形状計測装置の構成および処理について詳しく説明する。
【００２３】
（照明装置）
照明装置３は、図１に示すようにドーム形状をした面光源であり、このドーム形状の全てが発光領域である。なお、照明装置３の天頂部分にはカメラ１のための開口が設けられている。このような照明装置３は、例えば、ドーム形状のカラーフィルタと、その外部から白色光を照射する光源とから構成することができる。また、例えば、複数のＬＥＤチップをドームの内側に配列させて拡散板を通して光を照射する構成にしても良い。また、液晶ディスプレイや有機ＥＬディスプレイなどをドーム形状にして、照明装置３を構成することもできる。
【００２４】
照明装置３の発光領域の形状は、計測対象物４の全方位から光を照射できるように半球状のドーム形状であることが好ましい。こうすることにより、あらゆる方向の法線を計測可能となる。しかしながら、計測の対象とする法線方向に対応した位置から光が照射されるような形状であれば、発光領域の形状はどのようなものであっても良い。例えば、表面の法線の向きがほぼ鉛直方向に限られるのであれば、水平方向（角度の浅い方向から）は光を照射する必要がない。
【００２５】
照明装置３の発光領域の各位置における発光は、全ての位置で異なるスペクトル分布の光を発するように設定される。例えば、発光が赤色光（Ｒ）、緑色光（Ｇ）、青色光（Ｂ）の３色の光成分の合成で実現される場合に、図２に示すようにＲＧＢの各成分の発光強度をドーム上で異なる方向に対して変化させる。ここでは、変化方向が互いに１２０度となるようにしている。このようなＲＧＢ成分の組み合わせにより、発光領域の各位置での発光はＲＧＢ各成分の組み合わせが全て異なることとなる。したがって、全ての位置で異
なるスペクトル分布の光を発し、計測対象物４への入射方向が異なれば入射する光のスペクトル分布（ＲＧＢの強度比）が異なるように設定できる。なお、発光色は前述の３色だけでなく３色以上の色成分（カラーチャンネル）を用いてもよい。
【００２６】
なお、図３（ａ）（ｂ）に、図２における一つの成分光の強度変化（照明パタン）を示した。図３（ａ）は一つの成分光の等色（等発光強度）線を示す斜視図である。図３（ｂ）は図３（ａ）に対応する側面図である。このように、ドーム（半球）の直径を通る平面とドームとの交線が等色線となる。なお、図２，３ではＲＧＢ各成分の発光強度が段階的に変化（図では８段階で変化）するように示しているが、これは図面の見やすさのためであり、実際には各成分光の発光強度（輝度）は連続的に変化している。そして、この発光強度の変化は角度に対して線形に変化するように設定する。より具体的には、発光強度の最小値をＬｍｉｎ、発光強度の最大値をＬｍａｘ、等色線を含む平面と水平面（計測ステージ５）とのなす角度をθとしたとき、この等色線上での発光強度Ｌ（θ）はＬ（θ）＝Ｌｍｉｎ＋（Ｌｍａｘ−Ｌｍｉｎ）×（θ／π）の関係を満たすように発光強度を設定する。図３（ａ）に示すように「極」を定義すると、このθは経度であり、本実施形態における光源分布（照明パタン）は経度に対して線形に変化すると表現することができる。あるいは、この照明パタンは、計測対象物が配置される点Ｏを通る計測ステージ５に平行な直線を中心軸として、この中心軸周りの角度θに対し発光強度が線形に変化するように設定されている、と表現することもできる。
【００２７】
このような光源分布（照明パタン）をもつ照明装置を利用することで、１枚の画像のみから計測対象物の表面形状（法線の向き）を計測することができる。このことを図４を参照して説明する。計測対象物４の表面上のある点における法線の向きが矢印Ｎの向きであり、天頂角がθ、方位角がφであるとする。このとき、カメラ１によって撮影されるその点の色は、照明装置３の領域Ｒで発光し計測対象物４へ入射する光の反射光となる。このように、表面の法線の向き（θ、φ）と、光源の方向（照明装置３の発光領域における位置）は１対１に対応する。そして、異なる方向から入射される光は異なるスペクトル分布をもつ（発光領域の全ての位置で異なるスペクトル分布の光を発している）ことから、撮影画像の色（スペクトル分布）を調べることで、その点における法線の向きを天頂角および方位角の両方について、算出することができる。
【００２８】
（テーブル）
このように画素の色や明るさは、その点における法線の向きや光源の角度と１対１に対応する。したがって、この形状計測装置では、画素の色や明るさに関する特徴量の値と光源の角度とを対応付けたテーブルを予め作成し、記憶装置６２に登録しておく。本実施形態では、照明装置３が、赤色光（Ｒ）、緑色光（Ｇ）および青色光（Ｂ）の３つの成分光を組み合わせた光を投光しているため、特徴量としては、ＲＧＢ各成分の比を利用する。例えば、ＲＧＢの各成分について、最大輝度を１で正規化した上で、（Ｒ，Ｇ，Ｂ）の組み合わせを特徴量とすることができる。また、ある色（ここではＧ）に対する他の色の比、例えば、Ｒ／（Ｒ＋Ｇ），Ｂ／（Ｂ＋Ｇ）などを特徴量としても良い。
【００２９】
ところで、このようなテーブルを用いて法線の向きを計算する場合には、図１７（ｂ）で説明したように、計測点の位置の違いによる誤差が問題となり得る。そこで本実施形態の形状計測装置では、カメラ１の視野内に複数の基準位置を設定し、その基準位置ごとに異なるテーブルを用意する。そして、位置に応じて適切なテーブルを選択して法線を算出することで、誤差を可及的に小さくする。
【００３０】
以下、図５と図６を参照して、テーブル作成処理について詳しく説明する。図５はテーブル作成処理の流れを示すフローチャートである。また図６（ａ）はテーブル作成用画像の撮影時の状態を示す斜視図であり（照明装置３の一部を切り欠いて図示している）、図
６（ｂ）はテーブル作成用画像の一例を示す図である。なお図５に示す処理は、情報処理装置６のＣＰＵ６０が記憶装置６２からプログラムを読み込み実行することにより実現されるものである。ただしこれらの機能ブロックの一部または全部をＡＳＩＣ（エーシック）やＰＬＤ（プログラマブルロジックデバイス）などで構成してもよい。
【００３１】
図６（ａ）に示すように、カメラ１の視野１０を仮想的に４×４の１６個のサブ領域に分割し、各サブ領域の中心に基準位置１１を設定する。そして、表面形状が既知の教示用物体１２（ここでは半球体を用いる）を１つの基準位置１１に合わせて配置し、照明装置３から光を照射し、カメラ１による撮影を行う（ステップＳ１０）。撮影された画像は画像入力部６４を介して情報処理装置６に取り込まれる。この処理を、教示用物体１２の位置を変えながら繰り返すことで、各基準位置（各サブ領域）に対応した１６枚の画像が得られる。図６（ｂ）は１６枚の画像をマージしたものである。なお、次のステップにおいて教示用物体１２の正確な位置と大きさを画像から求めるため、撮影時には教示用物体１２を厳密に位置決めする必要はない。
【００３２】
次にＣＰＵ６０は、この画像を解析し、各サブ領域に写った教示用物体１２の中心座標と直径を求めたのち、その中心座標と直径を用いて球面の方程式から各画素の法線の角度を算出する（ステップＳ１１）。続いて、ＣＰＵ６０は、各画素の法線の角度を光源の角度に変換する（ステップＳ１２）。このとき、法線の天頂角を単純に２倍することで光源角度を求めてもよいが、好ましくは、基準位置１１から見た時の光源角度となるように幾何学的・光学的な補正計算を施すとよい。
【００３３】
次にＣＰＵ６０は、サブ領域ごとに、各画素の特徴量の値を求め、特徴量の値と光源角度とを対応付けたテーブルを作成する（ステップＳ１３）。このようにして作成された１６個のテーブルは、記憶装置６２に格納される（ステップＳ１４）。
【００３４】
なお、他の形状計測装置により作成したテーブル（汎用テーブル）を利用することも可能ではあるが、好ましくは、この装置自身を用いてテーブルを作成するとよい。そうすることで、照明装置３およびカメラ１の個体差や組み付け誤差などをテーブルに織り込むことができるため、汎用テーブルを利用するより精度の向上を期待できるからである。このようなテーブル作成処理は装置の出荷時に行うことが好ましい。さらに、照明装置３やカメラ１の経年劣化がある場合には定期的にテーブルの更新（キャリブレーション）を行ってもよい。
【００３５】
教示用物体１２としてはいかなる形状のものを用いることもできる。例えば、多面体を用いてもよいし、形状が既知の板を様々な角度に傾けたり回転させたりすることもできる。ただし、撮影回数を少なくしテーブル作成の手間を軽減するために、できるだけ多くの法線（勾配）成分を含む表面形状の物体を用いることが好ましい。球体（撮像方向が一方向の場合は本実施形態のように半球でもよい）は、１回の撮像で全方向の法線情報が得られるとともに、球体の方程式から法線ベクトルを簡単に算出できるため、教示用物体１２に最適である。
【００３６】
なお本実施形態では４×４の１６個のサブ領域を設けたが、領域の分割数や基準位置の配列はこれに限られず、カメラ１の視野の広さや要求精度などに応じて適宜設計すればよい。また全てのサブ領域の画像を撮影した後で一括してテーブルの作成を行うのではなく、サブ領域毎に撮影とテーブル作成を行ってもかまわない。
【００３７】
（形状計測）
次に図７を参照して、形状計測に関わる機能および処理の流れを説明する。図７は形状計測処理の流れを示すフローチャートである。これらの処理も、情報処理装置６のＣＰＵ
６０が記憶装置６２からプログラムを読み込み実行することにより実現されるものであるが、その一部または全部をＡＳＩＣ（エーシック）やＰＬＤ（プログラマブルロジックデバイス）などで構成してもよい。
【００３８】
計測対象物が所定の計測位置に位置決めされると、ＣＰＵ６０は照明装置３から計測対象物に光を照射し、カメラ１による撮影を行う（ステップＳ２０）。撮影された画像は画像入力部６４を介して取り込まれる。次にＣＰＵ６０は、画像を１６個のサブ領域に分割するとともに（ステップＳ２１）、計測対象物部分の画素（注目点）のそれぞれについて上述した特徴量の値を算出する（ステップＳ２２）。
【００３９】
ＣＰＵ６０は、１番目のサブ領域に対応するテーブルを記憶装置６２から読み込むと、そのテーブルを参照して、１番目のサブ領域に属する各注目点の特徴量の値を光源角度へと変換する。１番目のサブ領域の計算が終わると、ＣＰＵ６０は、２番目のサブ領域に対応するテーブルを読み込み、２番目のサブ領域に属する注目点の光源角度を求める。このようにして、サブ領域ごとに（つまり注目点の位置に応じて）参照するテーブルを適宜切り替え、全ての注目点についての光源角度を計算する（ステップＳ２３）。
【００４０】
続いてＣＰＵ６０は、各注目点の光源角度から法線の向きを算出する（ステップＳ２４）。半球状の計測対象物４の画像から算出された法線マップの例を図８の（ａ）に示す。なお法線マップとは、計測対象物表面の各点における法線を単位ベクトルで図示したものである。
【００４１】
最後にＣＰＵ６０は、ステップＳ２４で得られた各注目点の法線を勾配に変換し、それらをつなぎ合わせることで３次元形状を復元する（ステップＳ２５）。この処理をここでは「積分」と表現する。図８の（ａ）の法線マップから復元された形状を（ｂ）に示す。この方法によれば、計測対象物の表面の３次元形状を精度良く復元することができる。なお、本実施形態ではテーブルを利用して法線を算出したが、テーブルではなく、例えば、特徴量の値から法線の向きを算出する変換式（近似式）を用いて法線算出を行うこともできる。この場合は、変換式のパラメータの値をサブ領域ごとに設定しておき、カメラで撮影した注目点の位置に応じて変換式のパラメータの値を切り替えるようにすればよい。
【００４２】
＜実施形態の利点＞
本実施形態の形状計測装置によれば、注目点の位置に応じてテーブルが切り替えられるため、注目点の位置によらず法線算出の誤差を十分小さくすることができる。したがって、従来装置に比べて、計測対象物表面の３次元形状を精度良く求めることが可能となる。逆にいえば、従来と同等の精度を保ったまま、装置の小型化や広視野化を図ることが可能となる。またサブ領域ごとにテーブルを対応付けておき、注目点がどのサブ領域に属するかで参照するテーブルを切り替えるようにしたので、参照すべきテーブルの決定が簡単になり、処理の簡易化および高速化を図ることができる。
【００４３】
また、形状計測の照明として、全ての入射角方向について異なるスペクトル分布の光が入射するような照明装置３を利用していることから、１枚の画像だけから計測対象物４の法線の向きを、天頂角成分および方位角成分の両方について求めることができる。画像の撮影が１回だけであること、および、法線の向きの算出が法線と特徴量の対応関係を格納したテーブルを調べるだけで分かることから簡単に（高速に）計測対象物４の表面形状を計測することが可能である。
【００４４】
拡散物体（反射特性がLambertian特性をもつ物体）を撮影する場合、その画像は様々な方向からの入射光が混じり合ったものとなる。本実施形態では、照明装置３の発光領域を、ＲＧＢの３つの成分の光を図２に示すように均等な方向（互いに１２０度の向き）に変
化させ、かつ、その変化の度合いを同じにしている。したがって、図９に示すように、任意の天頂角についてその天頂角における全方位角方向からの１色あたりの光強度の総和は各色で同一となる。全天頂角について積分しても各色の光強度の総和は同一である。そのため、拡散物体から鉛直方向に位置するカメラに入射する光のＲＧＢの成分光は全て同じ強度となり、その撮影画像は拡散物体に関しては白色の反射光が撮影されることになる。つまり、撮影対象が、鏡面物体（計測対象物体）と拡散物体の両方から構成される場合に、鏡面物体の表面形状を計測可能であるとともに、拡散物体についてはあたかも白色光が照射されたかのような撮影が可能である。したがって、例えば、はんだ検査を行う際に、はんだ以外の対象（基板、ＩＣなど）については対象色に基づいた検査が実施可能となる。
【００４５】
また、上述した照明装置３を利用することで、反射特性が不均一な対象物に対しても精度の良い計測が行える。以下、このことについて説明する。図１０に示すように、完全鏡面ではない物体に入射した光の反射光は、正反射の方向に鋭く狭い光（鏡面スパイク）と、正反射方向からずれた方向へのぼんやりと広がった光（鏡面ローブ）の２つからなる。鏡面ローブとは、計測対象表面上の微小凹凸面（マイクロファセット）によって引き起こされる鏡面反射光の広がりのことを指す。マイクロファセットの向きがばらつくほど、すなわち表面が粗くなるほど鏡面ローブは広がり、逆にマイクロファセットの向きのばらつきが小さくなるほど完全鏡面の状態に近づく。ここで、正反射方向からのずれ（角度）とスパイクに対するローブの光強度の比が、反射特性を表す。反射特性が均一ではない物体では、各表面位置における表面粗さに応じて鏡面ローブの形状が異なる。表面が非常に粗い場合、反射光は鏡面ローブのみで構成されることになる。鏡面ローブと鏡面スパイクの比は１に近くなり、両者の区別がつきにくくなる。
【００４６】
このような鏡面ローブの広がりがあることで、撮影画像における輝度値は、物体の表面位置に対応する発光領域（図４における領域Ｒ）からの光だけでなく、その周囲からの光の影響も受ける。つまり、表面が粗い物体では、正反射方向に対応する発光領域からの光とその周囲の領域からの光とが混じり合ってしまい、完全鏡面の場合と異なるスペクトル特徴が観測されることとなる。
【００４７】
このとき、周囲の領域からの光がちょうどキャンセルして完全鏡面の場合と同様のスペクトル特徴が保たれるような照明を行うことができれば、反射特性が均一でない物体や表面が粗い物体でも、あたかも完全鏡面の物体と同じように計測することができる。これを実現するためには、理論的には、照明装置３の光源分布（照明パタン）を次のように設定すればよい。
【００４８】
すなわち、図１１に示すように、入射角（θｉ，φｉ）の方向から計測点ｐに入射する光源の放射輝度をＬｉ（ｐ，θｉ，φｉ）としたときに、点ｐにおける任意の法線ベクトルおよび発光領域上の任意の点対称領域Ωについて、以下の式が成り立てばよい。
【数１】
ここで、ｐは物体表面上の計測点、（θｉ，φｉ）は光源の入射方向（θは天頂角成分、φは方位角成分。以下同じ。）、（θｒ，φｒ）は光源光の反射方向（カメラの視線方向）、ｆは点ｐの反射特性、Ωは反射特性ｆにおける鏡面ローブの見込む立体角、ｋｆは放射輝度の減衰比率（物体表面の反射特性に依存する）である。
【００４９】
本実施形態による照明装置３では、ＲＧＢ各成分光の発光強度を、角度（経度）に対し
て線形に変化するように設定している（図２，３参照）。角度（経度）に対して輝度が線形に変化する照明パタンは上記式の近似解の一つである。また、ＲＧＢの各成分光のパタンを重ね合わせて得られる照明装置３の照明パタンも上記式の近似解となる。
【００５０】
このような照明パタンを利用することで鏡面ローブの影響を相殺できることを、図１２を参照して別の観点から説明する。図１２は、本実施形態における照明パタンの効果を説明するために、理想に近い光が得られる輝度変化方向の１次元方向を示した図である。ここでは、図１２に示すように、角度ａ（正反射方向）、角度ａ＋α、角度ａ−αの３点からの光についてのみ考える。角度ａ＋α、ａ−αの位置からの光のローブ係数は、互いに等しくσであるとする。また、照明装置３の発光強度は、角度に比例するものとして、角度ａ−α、ａ、ａ＋αのそれぞれの位置において、（ａ−α）Ｌ、ａＬ、（ａ＋α）Ｌであるとする。すると、この３点からの反射光の合成は、σ（ａ−α）Ｌ＋ａＬ＋σ（ａ＋α）Ｌ＝（１＋２σ）ａＬとなり、周囲からの光の拡散光による影響が相殺されることが分かる。なお、ここではａ±αの２点のみを考えているが、周囲からの光の拡散光の影響は全て相殺されることは容易に分かる。このことは、ＲＧＢそれぞれの光について成立し、したがって、ＲＧＢの各色の発光強度の比によって表される特徴量は、完全鏡面反射の場合と同一の値となる。よって、反射特性が均一でない物体の場合であっても、完全鏡面反射の場合と同様、１枚の撮影画像から計測対象物の表面形状を精度良く取得することができる。
【００５１】
なお、上記の説明は最も理想的な効果が得られる方向についての説明である。その他の方向については、上記のような線形性が崩れてしまい厳密には拡散反射の影響を相殺することはできないが、実用上問題ない範囲で拡散反射の影響を除去することが可能である。上記の実施例は鏡面物体の計測についてのものだが、本発明は拡散物体の計測に対しても適用可能である。拡散物体の法線計測としては照度差ステレオに代表されるShape from Shadingの手法が知られている。Shape from Shading とは拡散物体の面の傾き（法線）が
光源方向から離れるにつれて明るさが暗くなる性質を利用して、物体の面の明るさから形状を求める手法である。これらは、上記鏡面物体での実施例同様、事前に形状既知の教示用物体(多くは球)に計測用照明を投影して撮像した画像から、物体の法線と面の明るさの対応関係を求めておく。鏡面物体と同様に、教示用物体の位置と検査位置が異なることで光源との位置関係が変化すると、明るさと法線の関係は崩れて誤差が発生する。教示用物体の位置と計測位置の距離が離れれば離れるほど誤差が大きくなる点も同じである。従って、拡散面に対しても本発明により複数の視野内の基準位置をもとに位置ごとに対応関係を切り替えて計測することで、画像全体で法線の算出精度の悪化を可及的に小さくすることが可能である。
【００５２】
＜照明装置の変形例＞
上記実施形態の説明では、ＲＧＢの３色の発光強度が１２０度ずつ異なる方向に対して角度とともに変化するパタンを重ね合わせた照明装置を利用しているが、照明パタンはこれに限られるものではない。例えば、図１３（ａ）に示すように３色がそれぞれ下方向、右方向、左方向に変化するパタンのように、それぞれが異なる方向に対して変化するパタンを組み合わせたものを利用しても良い。また、３色全てを角度ともに変化させる必要はなく、図１３（ｂ）に示すように１色については全面で均一の輝度で発光し、その他の２色については異なる方向に角度とともに変化するようなパタンを採用しても良い。
【００５３】
また上記実施形態では、異なるカラーチャンネルの照明パタンを重ね合わせた照明装置を用いることにより、１回の計測（照明および撮影）だけで対象物の３次元形状を復元することを可能にしている。ただし、これに比べて計測時間は長くはなるものの、２種類以上の照明パタンを順次点灯してそれぞれ撮影を行い、得られた複数枚の画像を用いて３次元形状を復元してもよい。この方法でも同じ復元結果を得ることができる。なお、照明パ
タンを切り替えながら撮影する場合は、図１３（ｃ）に示すように、発光強度分布が互いに異なる複数のモノクロ照明パタンを用いることもできる（この場合はカメラもモノクロでよい）。
【００５４】
上記実施形態では、経度方向の角度に対して発光強度が線形に変化する照明パタンを採用したが、照明パタンはこれに限られない。例えば図１４に示すように緯度方向に対して発光強度が線形に変化するパタンを用いることも好適である。このような照明パタンも上記式の近似解の１つであり、鏡面ローブの影響をほぼ相殺して正反射光を検出することが可能となる。
【００５５】
また照明装置３の形状はドーム状（半球状）に限られず、図１５に示すような平板形状でもよい。また平板を弧状に湾曲させた形状でもよい。形状を復元するのであれば、光源の位置が観測した画像から一意に求められる照明であればよい。
【００５６】
また、図１６（ａ）の例のように、右方向に行くほど発光強度が大きくなる赤色光（Ｒ）パタンと、左方向に行くほど発光強度が大きくなる緑色光（Ｇ）パタンと、上方向に行くほど発光強度が大きくなる青色光（Ｂ）パタンを重ね合わせてもよい。この場合も、図１６（ｂ）に示すように、各パタンにおいて、発光強度を角度θに対して線形に変化させることで、鏡面ローブの影響をほぼ相殺することができる。ここで、θは、点Ｐ（計測対象物が配置される点）を通り計測ステージ５に平行な直線周りの角度である。あるいは、θは、照明装置３の発光領域上の等発光強度線（等色線）と点Ｐを通る平面と、計測ステージ５に平行な平面とのなす角と表現することもできる。
【００５７】
＜その他の変形例＞
本発明は、上記実施形態の形状計測装置に限られず、画像の特徴量（色や明るさ）と法線（もしくは光源の角度）とを対応付けたテーブルを利用するものであれば、いかなる方式の形状計測装置にも好ましく適用可能である。
【符号の説明】
【００５８】
１：カメラ、３：照明装置、４：計測対象物、５：計測ステージ、６：情報処理装置、Ｈ：検査ヘッド
【技術分野】
【０００１】
本発明は、計測対象物の表面の３次元形状を計測する技術に関する。
【背景技術】
【０００２】
カメラで撮影した画像を解析することにより計測対象物表面の法線（もしくは勾配）を求め、その３次元形状を復元する技術が知られている。例えば、特許文献１には、多段に配置したリング照明から同心円状のパタン光を照射してはんだ表面の勾配を計測する手法が開示されている。また特許文献２には、医療用の内視鏡において、パタン光を生体組織に照射し、その正反射方向から法線を計算して生体組織表面の形状を復元する手法が開示されている。また特許文献３には、平行光照明とラインセンサとを用いてリフロー後のはんだ表面の勾配を計測する手法が開示されている。これらの他にも、複数の光源を順次点灯させて物体の陰影の変化を観測することで、物体表面の法線を求める手法（いわゆる照度差ステレオ法）や、赤、青、緑の３色の光を異なる角度で照射して物体表面の色を観測することで、その法線の向きを求める手法（Structured-light法）などが知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平８−１４８４９号公報
【特許文献２】特開２００９−２７３６５５号公報
【特許文献３】特開２００９−１６８５８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述のように法線算出による形状計測手法には様々な方式が存在するが、その基本原理は、画像の特徴量（色や明るさ）と法線（もしくは光源の角度）との対応付けを行うという点で共通している。鏡面物体の計測装置の例で説明すると、図１７（ａ）のように、ある計測点Ｐにおいて光源Ｌからの入射光の特徴（色や明るさ）が観測された場合に、点Ｐにおける法線の角度θを光源Ｌの角度の１／２として求めるのである。
【０００５】
この種の装置では、通常、カメラの視野の中心を基準位置として光源Ｌの角度θが設定されている。それゆえ、厳密には、計測点（画素の位置）が視野の中心から離れると法線算出の誤差が発生する。例えば図１７（ｂ）に示すように、計測点Ｐ’の実際の法線の角度θ’は中心点Ｐの法線の角度θより大きいにもかかわらず、ともに同じ角度として算出されてしまうのである。ここで発生する誤差（｜θ’−θ｜）は、視野の中心点Ｐから計測点Ｐ’までの距離ｄと視野の中心点Ｐから光源Ｌまでの距離ｌによって決まり、ｄが大きくなると誤差が大きくなり、ｌが大きくなると誤差が小さくなる。従来は、ｄに対してｌが非常に大きくなるように装置を設計することで、実用上誤差を無視していた。
【０００６】
しかしながら、基板外観検査（ＡＯＩシステム）などの分野では、検査装置の小型化や検査タクト向上のための広視野化の必要から、ｄとｌの差を十分にとることができず、法線算出の誤差の大きさが無視できなくなってきた。
【０００７】
本発明は上記実情に鑑みてなされたものであって、その目的とするところは、計測点の位置の違いによる法線算出の誤差を可及的に小さくし、計測対象物の３次元形状を精度良く算出するための技術を提供することにある。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明では、計測点（注目点）の位置に応じて法線算出に用いるデータ（テーブル又は変換式など）を適応的に切り替えることで、算出誤差を実用上無視できる程度まで小さくする。
【０００９】
具体的には、本発明に係る形状計測装置は、ステージ上に配置された計測対象物に光を照射する照明手段と、前記計測対象物を撮像する撮像手段と、前記照明手段から光を照射した状態で前記撮像手段による撮像を行うことにより得られた画像から、前記計測対象物の表面上の複数の注目点について色または明るさに関する特徴量を算出する特徴量算出手段と、特徴量の値と、特徴量の値から表面の法線の向きを特定するための情報と、を対応付けるデータを予め記憶している記憶手段と、前記記憶手段に記憶されているデータを参照することにより、前記特徴量算出手段で算出された特徴量の値から前記複数の注目点における法線の向きを算出し、その算出結果から前記計測対象物の表面の３次元形状を算出する形状算出手段と、を有する形状計測装置において、前記記憶手段は、前記撮像手段の視野内に設定された複数の基準位置のそれぞれについて作成された、複数のデータを記憶しており、前記形状算出手段は、注目点の位置に応じて、参照するデータを切り替えることを特徴とする。
【００１０】
この構成によれば、注目点の位置に応じてデータが切り替えられるため、注目点の位置によらず法線算出の誤差を十分小さくすることができる。したがって、従来装置に比べて計測対象物表面の３次元形状を精度良く求めることが可能となる。逆にいえば、従来装置と同等の精度を保ったまま、装置の小型化や広視野化を図ることも可能となる。ここで、「特徴量の値から表面の法線の向きを特定するための情報」としては、たとえば、法線の向き、勾配（傾き）、入射光（光源）の角度などが該当する。
【００１１】
各々が前記基準位置を含むように前記撮像手段の視野が複数のサブ領域に分割され、かつ、サブ領域ごとにデータが対応付けられており、前記形状算出手段は、注目点が属するサブ領域に対応するデータを、参照するデータとして選択することが好ましい。この構成によれば、参照すべきデータを簡単に決定できるため、処理の簡易化および高速化を図ることができる。もちろんデータの選択方法はこれに限られない。多少処理は複雑になるが、注目点に最も近い基準位置を検出し、その基準位置に対応するデータを参照するようにしてもよいし、あるいは、注目点に近い複数の基準位置を選び、それらの複数のデータの内容を用いて（たとえば補間して）法線を算出することもできる。
【００１２】
ここで、前記複数のデータのそれぞれは、表面形状が既知の教示用物体を前記基準位置に配置して、前記照明手段から光を照射した状態で前記撮像手段による撮像を行うことにより得られた前記教示用物体の画像を用いて作成されるものであることが好ましい。このように装置自身の構成を用いてデータを作成することで、照明手段や撮像手段の個体差や組み付け誤差などをデータに織り込むことができるため、精度の向上を期待できる。
【００１３】
前記照明手段は、所定の広さの発光領域を有する面光源であり、前記発光領域内の各位置から照射される光のスペクトル分布が互いに異なっていることが好ましい。このような照明手段を用いることにより、１回の計測（照明および撮像）だけで計測対象物の３次元形状を求めることができ、計測時間の短縮を図ることができる。
【００１４】
前記照明手段は、互いに異なる発光強度分布をもつ複数の照明パタンを重ね合わせた光を照射し、または、前記複数の照明パタンを順次照射する面光源であり、各照明パタンの発光強度分布は、前記計測対象物が配置される点を通る前記ステージに平行な所定の直線を中心軸として、前記中心軸周りの角度に対し発光強度が線形に変化するように設定されていることが好ましい。このような照明手段を用いることにより、反射特性が均一でない物体や表面が粗い物体であっても精度良く計測することが可能となる。なお構造上もしく
は設計上の理由などから厳密な線形性を実現することが困難な場合もある。そのような場合には実質的に線形性が実現されていればよい。すなわち、本発明において「発光強度が線形に変化」とは「発光強度が実質的に線形に変化」を含む概念である。
【００１５】
なお、本発明は、上記手段の少なくとも一部を有する形状計測装置として捉えることができる。また、本発明は、そのような形状計測装置のキャリブレーション方法、または、上記処理の少なくとも一部を含む形状計測方法若しくはかかる方法を実現するためのプログラムとして捉えることもできる。上記手段および処理の各々は可能な限り互いに組み合わせて本発明を構成することができる。
【００１６】
例えば、本発明に係るキャリブレーション方法は、計測対象物に照明装置で光を照射し、光を照射した状態で前記計測対象物を撮像装置で撮像し、撮像した画像の前記計測対象物の表面上の複数の注目点について取得された色または明るさに関する特徴量から、前記計測対象物表面の３次元形状を算出する形状計測装置のキャリブレーション方法であって、表面の傾きが既知の物体を配置させ、光を照射して撮像した画像から特徴量を抽出し、前記表面の傾きが既知の物体が配置された画像上の位置と、前記抽出された特徴量とを対応付けたデータを、複数の位置について記憶する方法である。ここで、「表面の傾きが既知の物体」は、半球体であることが好ましい。１回の撮像で全方向（３６０度）の法線情報が得られるとともに、球体の方程式から法線ベクトルを簡単に算出できるからである。
【発明の効果】
【００１７】
本発明によれば、計測点の位置の違いによる法線算出の誤差を可及的に小さくし、計測対象物の３次元形状を精度良く算出することができる。
【図面の簡単な説明】
【００１８】
【図１】形状計測装置のハードウェア構成を模式的に示す図である。
【図２】照明装置の発光領域におけるカラーパタンをＲＧＢごとに示す図である。
【図３】照明装置の発光領域におけるＲＧＢ各色の変化を説明する図であり、（ａ）は斜視図、（ｂ）は側面図である。
【図４】測定対象物表面の法線の向きと発光領域の対応を説明する図である。
【図５】テーブル作成処理の流れを示すフローチャートである。
【図６】（ａ）はテーブル作成用画像の撮影時の状態を示す斜視図であり、（ｂ）はテーブル作成用画像の一例を示す図である。
【図７】形状計測処理の流れを示すフローチャートである。
【図８】（ａ）は法線マップの一例を示す図であり、（ｂ）は復元された形状の一例を示す図である。
【図９】照明装置のカラーパタンによる効果を説明する図である。
【図１０】反射特性を説明する図である。
【図１１】入射光と反射光を説明するための図である。
【図１２】鏡面ローブの相殺効果を説明するための図である。
【図１３】照明パタンの変形例を示す図である。
【図１４】照明パタンの変形例を示す図である。
【図１５】平板形状の照明装置を備える形状計測装置の構成を示す図である。
【図１６】平板形状の照明装置における照明パタンを説明するための図である。
【図１７】計測位置の違いによる算出誤差について説明するための図である。
【発明を実施するための形態】
【００１９】
以下、図面を参照して本発明の好適な実施形態について説明する。本実施形態の形状計測装置は、画像解析により鏡面物体の３次元計測を行うものである。この装置は、各種の自動計測装置、自動検査装置、ロボットビジョンなどにおける物体認識に適用可能であり
、例えば基板外観検査装置（ＡＯＩシステム）におけるはんだ付けの良否検査や、金属加工物表面の凹凸検査などに好ましく適用することができる。
【００２０】
＜計測装置の全体構成＞
図１を参照して、形状計測装置の全体構成について説明する。図１は形状計測装置のハードウェア構成を模式的に示す図である。
【００２１】
形状計測装置は、概略、計測ステージ５、検査ヘッドＨ、および、情報処理装置６を備えて構成される。検査ヘッドＨには、計測ステージ５上に配置された計測対象物４に測定光を照射するための照明装置３と、鉛直上方から計測対象物４を撮影するカメラ（イメージセンサ）１とが取り付けられている。情報処理装置６は、ＣＰＵ（中央演算処理装置）６０、メモリ６１、記憶装置６２、検査ヘッド制御部６３、画像入力部６４、照明装置制御部６６、ステージ制御部６７、ユーザＩ／Ｆ６８、表示部６９などを備えている。検査ヘッド制御部６３は検査ヘッドＨのＺ方向（計測ステージ５に垂直な方向）の移動を制御する機能であり、ステージ制御部６７は計測ステージ５のＸＹ方向の移動を制御する機能である。照明装置制御部６６は照明装置３の点灯および消灯（必要に応じて照明パタンの切り替え）を制御する機能である。画像入力部６４はカメラ１からデジタル画像を取り込む機能である。ユーザＩ／Ｆ６８はユーザにより操作される入力装置であり、例えばポインティングデバイス、タッチパネル、キーボードなどが該当する。表示部６９は計測結果などが画面表示される部分であり、例えば液晶ディスプレイなどで構成される。
【００２２】
計測時には、検査ヘッドＨと計測ステージ５が相対的に移動し、計測対象物４が所定の計測位置（図１の例では、照明装置３の中央（カメラ１の光軸と計測ステージ５の交点））に位置決めされる。そして、照明装置３から測定光を照射した状態で画像が撮影される。カメラ１で撮影された画像は画像入力部６４を介して情報処理装置６に取り込まれ、後述する画像解析に供される。以下、形状計測装置の構成および処理について詳しく説明する。
【００２３】
（照明装置）
照明装置３は、図１に示すようにドーム形状をした面光源であり、このドーム形状の全てが発光領域である。なお、照明装置３の天頂部分にはカメラ１のための開口が設けられている。このような照明装置３は、例えば、ドーム形状のカラーフィルタと、その外部から白色光を照射する光源とから構成することができる。また、例えば、複数のＬＥＤチップをドームの内側に配列させて拡散板を通して光を照射する構成にしても良い。また、液晶ディスプレイや有機ＥＬディスプレイなどをドーム形状にして、照明装置３を構成することもできる。
【００２４】
照明装置３の発光領域の形状は、計測対象物４の全方位から光を照射できるように半球状のドーム形状であることが好ましい。こうすることにより、あらゆる方向の法線を計測可能となる。しかしながら、計測の対象とする法線方向に対応した位置から光が照射されるような形状であれば、発光領域の形状はどのようなものであっても良い。例えば、表面の法線の向きがほぼ鉛直方向に限られるのであれば、水平方向（角度の浅い方向から）は光を照射する必要がない。
【００２５】
照明装置３の発光領域の各位置における発光は、全ての位置で異なるスペクトル分布の光を発するように設定される。例えば、発光が赤色光（Ｒ）、緑色光（Ｇ）、青色光（Ｂ）の３色の光成分の合成で実現される場合に、図２に示すようにＲＧＢの各成分の発光強度をドーム上で異なる方向に対して変化させる。ここでは、変化方向が互いに１２０度となるようにしている。このようなＲＧＢ成分の組み合わせにより、発光領域の各位置での発光はＲＧＢ各成分の組み合わせが全て異なることとなる。したがって、全ての位置で異
なるスペクトル分布の光を発し、計測対象物４への入射方向が異なれば入射する光のスペクトル分布（ＲＧＢの強度比）が異なるように設定できる。なお、発光色は前述の３色だけでなく３色以上の色成分（カラーチャンネル）を用いてもよい。
【００２６】
なお、図３（ａ）（ｂ）に、図２における一つの成分光の強度変化（照明パタン）を示した。図３（ａ）は一つの成分光の等色（等発光強度）線を示す斜視図である。図３（ｂ）は図３（ａ）に対応する側面図である。このように、ドーム（半球）の直径を通る平面とドームとの交線が等色線となる。なお、図２，３ではＲＧＢ各成分の発光強度が段階的に変化（図では８段階で変化）するように示しているが、これは図面の見やすさのためであり、実際には各成分光の発光強度（輝度）は連続的に変化している。そして、この発光強度の変化は角度に対して線形に変化するように設定する。より具体的には、発光強度の最小値をＬｍｉｎ、発光強度の最大値をＬｍａｘ、等色線を含む平面と水平面（計測ステージ５）とのなす角度をθとしたとき、この等色線上での発光強度Ｌ（θ）はＬ（θ）＝Ｌｍｉｎ＋（Ｌｍａｘ−Ｌｍｉｎ）×（θ／π）の関係を満たすように発光強度を設定する。図３（ａ）に示すように「極」を定義すると、このθは経度であり、本実施形態における光源分布（照明パタン）は経度に対して線形に変化すると表現することができる。あるいは、この照明パタンは、計測対象物が配置される点Ｏを通る計測ステージ５に平行な直線を中心軸として、この中心軸周りの角度θに対し発光強度が線形に変化するように設定されている、と表現することもできる。
【００２７】
このような光源分布（照明パタン）をもつ照明装置を利用することで、１枚の画像のみから計測対象物の表面形状（法線の向き）を計測することができる。このことを図４を参照して説明する。計測対象物４の表面上のある点における法線の向きが矢印Ｎの向きであり、天頂角がθ、方位角がφであるとする。このとき、カメラ１によって撮影されるその点の色は、照明装置３の領域Ｒで発光し計測対象物４へ入射する光の反射光となる。このように、表面の法線の向き（θ、φ）と、光源の方向（照明装置３の発光領域における位置）は１対１に対応する。そして、異なる方向から入射される光は異なるスペクトル分布をもつ（発光領域の全ての位置で異なるスペクトル分布の光を発している）ことから、撮影画像の色（スペクトル分布）を調べることで、その点における法線の向きを天頂角および方位角の両方について、算出することができる。
【００２８】
（テーブル）
このように画素の色や明るさは、その点における法線の向きや光源の角度と１対１に対応する。したがって、この形状計測装置では、画素の色や明るさに関する特徴量の値と光源の角度とを対応付けたテーブルを予め作成し、記憶装置６２に登録しておく。本実施形態では、照明装置３が、赤色光（Ｒ）、緑色光（Ｇ）および青色光（Ｂ）の３つの成分光を組み合わせた光を投光しているため、特徴量としては、ＲＧＢ各成分の比を利用する。例えば、ＲＧＢの各成分について、最大輝度を１で正規化した上で、（Ｒ，Ｇ，Ｂ）の組み合わせを特徴量とすることができる。また、ある色（ここではＧ）に対する他の色の比、例えば、Ｒ／（Ｒ＋Ｇ），Ｂ／（Ｂ＋Ｇ）などを特徴量としても良い。
【００２９】
ところで、このようなテーブルを用いて法線の向きを計算する場合には、図１７（ｂ）で説明したように、計測点の位置の違いによる誤差が問題となり得る。そこで本実施形態の形状計測装置では、カメラ１の視野内に複数の基準位置を設定し、その基準位置ごとに異なるテーブルを用意する。そして、位置に応じて適切なテーブルを選択して法線を算出することで、誤差を可及的に小さくする。
【００３０】
以下、図５と図６を参照して、テーブル作成処理について詳しく説明する。図５はテーブル作成処理の流れを示すフローチャートである。また図６（ａ）はテーブル作成用画像の撮影時の状態を示す斜視図であり（照明装置３の一部を切り欠いて図示している）、図
６（ｂ）はテーブル作成用画像の一例を示す図である。なお図５に示す処理は、情報処理装置６のＣＰＵ６０が記憶装置６２からプログラムを読み込み実行することにより実現されるものである。ただしこれらの機能ブロックの一部または全部をＡＳＩＣ（エーシック）やＰＬＤ（プログラマブルロジックデバイス）などで構成してもよい。
【００３１】
図６（ａ）に示すように、カメラ１の視野１０を仮想的に４×４の１６個のサブ領域に分割し、各サブ領域の中心に基準位置１１を設定する。そして、表面形状が既知の教示用物体１２（ここでは半球体を用いる）を１つの基準位置１１に合わせて配置し、照明装置３から光を照射し、カメラ１による撮影を行う（ステップＳ１０）。撮影された画像は画像入力部６４を介して情報処理装置６に取り込まれる。この処理を、教示用物体１２の位置を変えながら繰り返すことで、各基準位置（各サブ領域）に対応した１６枚の画像が得られる。図６（ｂ）は１６枚の画像をマージしたものである。なお、次のステップにおいて教示用物体１２の正確な位置と大きさを画像から求めるため、撮影時には教示用物体１２を厳密に位置決めする必要はない。
【００３２】
次にＣＰＵ６０は、この画像を解析し、各サブ領域に写った教示用物体１２の中心座標と直径を求めたのち、その中心座標と直径を用いて球面の方程式から各画素の法線の角度を算出する（ステップＳ１１）。続いて、ＣＰＵ６０は、各画素の法線の角度を光源の角度に変換する（ステップＳ１２）。このとき、法線の天頂角を単純に２倍することで光源角度を求めてもよいが、好ましくは、基準位置１１から見た時の光源角度となるように幾何学的・光学的な補正計算を施すとよい。
【００３３】
次にＣＰＵ６０は、サブ領域ごとに、各画素の特徴量の値を求め、特徴量の値と光源角度とを対応付けたテーブルを作成する（ステップＳ１３）。このようにして作成された１６個のテーブルは、記憶装置６２に格納される（ステップＳ１４）。
【００３４】
なお、他の形状計測装置により作成したテーブル（汎用テーブル）を利用することも可能ではあるが、好ましくは、この装置自身を用いてテーブルを作成するとよい。そうすることで、照明装置３およびカメラ１の個体差や組み付け誤差などをテーブルに織り込むことができるため、汎用テーブルを利用するより精度の向上を期待できるからである。このようなテーブル作成処理は装置の出荷時に行うことが好ましい。さらに、照明装置３やカメラ１の経年劣化がある場合には定期的にテーブルの更新（キャリブレーション）を行ってもよい。
【００３５】
教示用物体１２としてはいかなる形状のものを用いることもできる。例えば、多面体を用いてもよいし、形状が既知の板を様々な角度に傾けたり回転させたりすることもできる。ただし、撮影回数を少なくしテーブル作成の手間を軽減するために、できるだけ多くの法線（勾配）成分を含む表面形状の物体を用いることが好ましい。球体（撮像方向が一方向の場合は本実施形態のように半球でもよい）は、１回の撮像で全方向の法線情報が得られるとともに、球体の方程式から法線ベクトルを簡単に算出できるため、教示用物体１２に最適である。
【００３６】
なお本実施形態では４×４の１６個のサブ領域を設けたが、領域の分割数や基準位置の配列はこれに限られず、カメラ１の視野の広さや要求精度などに応じて適宜設計すればよい。また全てのサブ領域の画像を撮影した後で一括してテーブルの作成を行うのではなく、サブ領域毎に撮影とテーブル作成を行ってもかまわない。
【００３７】
（形状計測）
次に図７を参照して、形状計測に関わる機能および処理の流れを説明する。図７は形状計測処理の流れを示すフローチャートである。これらの処理も、情報処理装置６のＣＰＵ
６０が記憶装置６２からプログラムを読み込み実行することにより実現されるものであるが、その一部または全部をＡＳＩＣ（エーシック）やＰＬＤ（プログラマブルロジックデバイス）などで構成してもよい。
【００３８】
計測対象物が所定の計測位置に位置決めされると、ＣＰＵ６０は照明装置３から計測対象物に光を照射し、カメラ１による撮影を行う（ステップＳ２０）。撮影された画像は画像入力部６４を介して取り込まれる。次にＣＰＵ６０は、画像を１６個のサブ領域に分割するとともに（ステップＳ２１）、計測対象物部分の画素（注目点）のそれぞれについて上述した特徴量の値を算出する（ステップＳ２２）。
【００３９】
ＣＰＵ６０は、１番目のサブ領域に対応するテーブルを記憶装置６２から読み込むと、そのテーブルを参照して、１番目のサブ領域に属する各注目点の特徴量の値を光源角度へと変換する。１番目のサブ領域の計算が終わると、ＣＰＵ６０は、２番目のサブ領域に対応するテーブルを読み込み、２番目のサブ領域に属する注目点の光源角度を求める。このようにして、サブ領域ごとに（つまり注目点の位置に応じて）参照するテーブルを適宜切り替え、全ての注目点についての光源角度を計算する（ステップＳ２３）。
【００４０】
続いてＣＰＵ６０は、各注目点の光源角度から法線の向きを算出する（ステップＳ２４）。半球状の計測対象物４の画像から算出された法線マップの例を図８の（ａ）に示す。なお法線マップとは、計測対象物表面の各点における法線を単位ベクトルで図示したものである。
【００４１】
最後にＣＰＵ６０は、ステップＳ２４で得られた各注目点の法線を勾配に変換し、それらをつなぎ合わせることで３次元形状を復元する（ステップＳ２５）。この処理をここでは「積分」と表現する。図８の（ａ）の法線マップから復元された形状を（ｂ）に示す。この方法によれば、計測対象物の表面の３次元形状を精度良く復元することができる。なお、本実施形態ではテーブルを利用して法線を算出したが、テーブルではなく、例えば、特徴量の値から法線の向きを算出する変換式（近似式）を用いて法線算出を行うこともできる。この場合は、変換式のパラメータの値をサブ領域ごとに設定しておき、カメラで撮影した注目点の位置に応じて変換式のパラメータの値を切り替えるようにすればよい。
【００４２】
＜実施形態の利点＞
本実施形態の形状計測装置によれば、注目点の位置に応じてテーブルが切り替えられるため、注目点の位置によらず法線算出の誤差を十分小さくすることができる。したがって、従来装置に比べて、計測対象物表面の３次元形状を精度良く求めることが可能となる。逆にいえば、従来と同等の精度を保ったまま、装置の小型化や広視野化を図ることが可能となる。またサブ領域ごとにテーブルを対応付けておき、注目点がどのサブ領域に属するかで参照するテーブルを切り替えるようにしたので、参照すべきテーブルの決定が簡単になり、処理の簡易化および高速化を図ることができる。
【００４３】
また、形状計測の照明として、全ての入射角方向について異なるスペクトル分布の光が入射するような照明装置３を利用していることから、１枚の画像だけから計測対象物４の法線の向きを、天頂角成分および方位角成分の両方について求めることができる。画像の撮影が１回だけであること、および、法線の向きの算出が法線と特徴量の対応関係を格納したテーブルを調べるだけで分かることから簡単に（高速に）計測対象物４の表面形状を計測することが可能である。
【００４４】
拡散物体（反射特性がLambertian特性をもつ物体）を撮影する場合、その画像は様々な方向からの入射光が混じり合ったものとなる。本実施形態では、照明装置３の発光領域を、ＲＧＢの３つの成分の光を図２に示すように均等な方向（互いに１２０度の向き）に変
化させ、かつ、その変化の度合いを同じにしている。したがって、図９に示すように、任意の天頂角についてその天頂角における全方位角方向からの１色あたりの光強度の総和は各色で同一となる。全天頂角について積分しても各色の光強度の総和は同一である。そのため、拡散物体から鉛直方向に位置するカメラに入射する光のＲＧＢの成分光は全て同じ強度となり、その撮影画像は拡散物体に関しては白色の反射光が撮影されることになる。つまり、撮影対象が、鏡面物体（計測対象物体）と拡散物体の両方から構成される場合に、鏡面物体の表面形状を計測可能であるとともに、拡散物体についてはあたかも白色光が照射されたかのような撮影が可能である。したがって、例えば、はんだ検査を行う際に、はんだ以外の対象（基板、ＩＣなど）については対象色に基づいた検査が実施可能となる。
【００４５】
また、上述した照明装置３を利用することで、反射特性が不均一な対象物に対しても精度の良い計測が行える。以下、このことについて説明する。図１０に示すように、完全鏡面ではない物体に入射した光の反射光は、正反射の方向に鋭く狭い光（鏡面スパイク）と、正反射方向からずれた方向へのぼんやりと広がった光（鏡面ローブ）の２つからなる。鏡面ローブとは、計測対象表面上の微小凹凸面（マイクロファセット）によって引き起こされる鏡面反射光の広がりのことを指す。マイクロファセットの向きがばらつくほど、すなわち表面が粗くなるほど鏡面ローブは広がり、逆にマイクロファセットの向きのばらつきが小さくなるほど完全鏡面の状態に近づく。ここで、正反射方向からのずれ（角度）とスパイクに対するローブの光強度の比が、反射特性を表す。反射特性が均一ではない物体では、各表面位置における表面粗さに応じて鏡面ローブの形状が異なる。表面が非常に粗い場合、反射光は鏡面ローブのみで構成されることになる。鏡面ローブと鏡面スパイクの比は１に近くなり、両者の区別がつきにくくなる。
【００４６】
このような鏡面ローブの広がりがあることで、撮影画像における輝度値は、物体の表面位置に対応する発光領域（図４における領域Ｒ）からの光だけでなく、その周囲からの光の影響も受ける。つまり、表面が粗い物体では、正反射方向に対応する発光領域からの光とその周囲の領域からの光とが混じり合ってしまい、完全鏡面の場合と異なるスペクトル特徴が観測されることとなる。
【００４７】
このとき、周囲の領域からの光がちょうどキャンセルして完全鏡面の場合と同様のスペクトル特徴が保たれるような照明を行うことができれば、反射特性が均一でない物体や表面が粗い物体でも、あたかも完全鏡面の物体と同じように計測することができる。これを実現するためには、理論的には、照明装置３の光源分布（照明パタン）を次のように設定すればよい。
【００４８】
すなわち、図１１に示すように、入射角（θｉ，φｉ）の方向から計測点ｐに入射する光源の放射輝度をＬｉ（ｐ，θｉ，φｉ）としたときに、点ｐにおける任意の法線ベクトルおよび発光領域上の任意の点対称領域Ωについて、以下の式が成り立てばよい。
【数１】
ここで、ｐは物体表面上の計測点、（θｉ，φｉ）は光源の入射方向（θは天頂角成分、φは方位角成分。以下同じ。）、（θｒ，φｒ）は光源光の反射方向（カメラの視線方向）、ｆは点ｐの反射特性、Ωは反射特性ｆにおける鏡面ローブの見込む立体角、ｋｆは放射輝度の減衰比率（物体表面の反射特性に依存する）である。
【００４９】
本実施形態による照明装置３では、ＲＧＢ各成分光の発光強度を、角度（経度）に対し
て線形に変化するように設定している（図２，３参照）。角度（経度）に対して輝度が線形に変化する照明パタンは上記式の近似解の一つである。また、ＲＧＢの各成分光のパタンを重ね合わせて得られる照明装置３の照明パタンも上記式の近似解となる。
【００５０】
このような照明パタンを利用することで鏡面ローブの影響を相殺できることを、図１２を参照して別の観点から説明する。図１２は、本実施形態における照明パタンの効果を説明するために、理想に近い光が得られる輝度変化方向の１次元方向を示した図である。ここでは、図１２に示すように、角度ａ（正反射方向）、角度ａ＋α、角度ａ−αの３点からの光についてのみ考える。角度ａ＋α、ａ−αの位置からの光のローブ係数は、互いに等しくσであるとする。また、照明装置３の発光強度は、角度に比例するものとして、角度ａ−α、ａ、ａ＋αのそれぞれの位置において、（ａ−α）Ｌ、ａＬ、（ａ＋α）Ｌであるとする。すると、この３点からの反射光の合成は、σ（ａ−α）Ｌ＋ａＬ＋σ（ａ＋α）Ｌ＝（１＋２σ）ａＬとなり、周囲からの光の拡散光による影響が相殺されることが分かる。なお、ここではａ±αの２点のみを考えているが、周囲からの光の拡散光の影響は全て相殺されることは容易に分かる。このことは、ＲＧＢそれぞれの光について成立し、したがって、ＲＧＢの各色の発光強度の比によって表される特徴量は、完全鏡面反射の場合と同一の値となる。よって、反射特性が均一でない物体の場合であっても、完全鏡面反射の場合と同様、１枚の撮影画像から計測対象物の表面形状を精度良く取得することができる。
【００５１】
なお、上記の説明は最も理想的な効果が得られる方向についての説明である。その他の方向については、上記のような線形性が崩れてしまい厳密には拡散反射の影響を相殺することはできないが、実用上問題ない範囲で拡散反射の影響を除去することが可能である。上記の実施例は鏡面物体の計測についてのものだが、本発明は拡散物体の計測に対しても適用可能である。拡散物体の法線計測としては照度差ステレオに代表されるShape from Shadingの手法が知られている。Shape from Shading とは拡散物体の面の傾き（法線）が
光源方向から離れるにつれて明るさが暗くなる性質を利用して、物体の面の明るさから形状を求める手法である。これらは、上記鏡面物体での実施例同様、事前に形状既知の教示用物体(多くは球)に計測用照明を投影して撮像した画像から、物体の法線と面の明るさの対応関係を求めておく。鏡面物体と同様に、教示用物体の位置と検査位置が異なることで光源との位置関係が変化すると、明るさと法線の関係は崩れて誤差が発生する。教示用物体の位置と計測位置の距離が離れれば離れるほど誤差が大きくなる点も同じである。従って、拡散面に対しても本発明により複数の視野内の基準位置をもとに位置ごとに対応関係を切り替えて計測することで、画像全体で法線の算出精度の悪化を可及的に小さくすることが可能である。
【００５２】
＜照明装置の変形例＞
上記実施形態の説明では、ＲＧＢの３色の発光強度が１２０度ずつ異なる方向に対して角度とともに変化するパタンを重ね合わせた照明装置を利用しているが、照明パタンはこれに限られるものではない。例えば、図１３（ａ）に示すように３色がそれぞれ下方向、右方向、左方向に変化するパタンのように、それぞれが異なる方向に対して変化するパタンを組み合わせたものを利用しても良い。また、３色全てを角度ともに変化させる必要はなく、図１３（ｂ）に示すように１色については全面で均一の輝度で発光し、その他の２色については異なる方向に角度とともに変化するようなパタンを採用しても良い。
【００５３】
また上記実施形態では、異なるカラーチャンネルの照明パタンを重ね合わせた照明装置を用いることにより、１回の計測（照明および撮影）だけで対象物の３次元形状を復元することを可能にしている。ただし、これに比べて計測時間は長くはなるものの、２種類以上の照明パタンを順次点灯してそれぞれ撮影を行い、得られた複数枚の画像を用いて３次元形状を復元してもよい。この方法でも同じ復元結果を得ることができる。なお、照明パ
タンを切り替えながら撮影する場合は、図１３（ｃ）に示すように、発光強度分布が互いに異なる複数のモノクロ照明パタンを用いることもできる（この場合はカメラもモノクロでよい）。
【００５４】
上記実施形態では、経度方向の角度に対して発光強度が線形に変化する照明パタンを採用したが、照明パタンはこれに限られない。例えば図１４に示すように緯度方向に対して発光強度が線形に変化するパタンを用いることも好適である。このような照明パタンも上記式の近似解の１つであり、鏡面ローブの影響をほぼ相殺して正反射光を検出することが可能となる。
【００５５】
また照明装置３の形状はドーム状（半球状）に限られず、図１５に示すような平板形状でもよい。また平板を弧状に湾曲させた形状でもよい。形状を復元するのであれば、光源の位置が観測した画像から一意に求められる照明であればよい。
【００５６】
また、図１６（ａ）の例のように、右方向に行くほど発光強度が大きくなる赤色光（Ｒ）パタンと、左方向に行くほど発光強度が大きくなる緑色光（Ｇ）パタンと、上方向に行くほど発光強度が大きくなる青色光（Ｂ）パタンを重ね合わせてもよい。この場合も、図１６（ｂ）に示すように、各パタンにおいて、発光強度を角度θに対して線形に変化させることで、鏡面ローブの影響をほぼ相殺することができる。ここで、θは、点Ｐ（計測対象物が配置される点）を通り計測ステージ５に平行な直線周りの角度である。あるいは、θは、照明装置３の発光領域上の等発光強度線（等色線）と点Ｐを通る平面と、計測ステージ５に平行な平面とのなす角と表現することもできる。
【００５７】
＜その他の変形例＞
本発明は、上記実施形態の形状計測装置に限られず、画像の特徴量（色や明るさ）と法線（もしくは光源の角度）とを対応付けたテーブルを利用するものであれば、いかなる方式の形状計測装置にも好ましく適用可能である。
【符号の説明】
【００５８】
１：カメラ、３：照明装置、４：計測対象物、５：計測ステージ、６：情報処理装置、Ｈ：検査ヘッド
【特許請求の範囲】
【請求項１】
ステージ上に配置された計測対象物に光を照射する照明手段と、
前記計測対象物を撮像する撮像手段と、
前記照明手段から光を照射した状態で前記撮像手段による撮像を行うことにより得られた画像から、前記計測対象物の表面上の複数の注目点について色または明るさに関する特徴量を算出する特徴量算出手段と、
特徴量の値と、特徴量の値から表面の法線の向きを特定するための情報と、を対応付けるデータを予め記憶している記憶手段と、
前記記憶手段に記憶されているデータを参照することにより、前記特徴量算出手段で算出された特徴量の値から前記複数の注目点における法線の向きを算出し、その算出結果から前記計測対象物の表面の３次元形状を算出する形状算出手段と、
を有する形状計測装置において、
前記記憶手段は、前記撮像手段の視野内に設定された複数の基準位置のそれぞれについて作成された、複数のデータを記憶しており、
前記形状算出手段は、注目点の位置に応じて、参照するデータを切り替える
ことを特徴とする形状計測装置。
【請求項２】
各々が前記基準位置を含むように前記撮像手段の視野が複数のサブ領域に分割され、かつ、サブ領域ごとにデータが対応付けられており、
前記形状算出手段は、注目点が属するサブ領域に対応するデータを、参照するデータとして選択する
ことを特徴とする請求項１に記載の形状計測装置。
【請求項３】
前記複数のデータのそれぞれは、
表面形状が既知の教示用物体を前記基準位置に配置して、前記照明手段から光を照射した状態で前記撮像手段による撮像を行うことにより得られた前記教示用物体の画像を用いて作成されるものである
ことを特徴とする請求項１または２に記載の形状計測装置。
【請求項４】
前記照明手段は、所定の広さの発光領域を有する面光源であり、前記発光領域内の各位置から照射される光のスペクトル分布が互いに異なっている
ことを特徴とする請求項１〜３のうちいずれか１項に記載の形状計測装置。
【請求項５】
前記照明手段は、互いに異なる発光強度分布をもつ複数の照明パタンを重ね合わせた光を照射し、または、前記複数の照明パタンを順次照射する面光源であり、
各照明パタンの発光強度分布は、前記計測対象物が配置される点を通る前記ステージに平行な所定の直線を中心軸として、前記中心軸周りの角度に対し発光強度が線形に変化するように設定されている
ことを特徴とする請求項１〜４のうちいずれか１項に記載の形状計測装置。
【請求項６】
計測対象物に照明装置で光を照射し、光を照射した状態で前記計測対象物を撮像装置で撮像し、撮像した画像の前記計測対象物の表面上の複数の注目点について取得された色または明るさに関する特徴量から、前記計測対象物表面の３次元形状を算出する形状計測装置のキャリブレーション方法であって、
表面の傾きが既知の物体を配置させ、光を照射して撮像した画像から特徴量を抽出し、前記表面の傾きが既知の物体が配置された画像上の位置と、前記抽出された特徴量とを対応付けたデータを、複数の位置について記憶する
ことを特徴とするキャリブレーション方法。
【請求項７】
前記表面の傾きが既知の物体は、半球であることを特徴とする請求項６に記載のキャリブレーション方法。
【請求項１】
ステージ上に配置された計測対象物に光を照射する照明手段と、
前記計測対象物を撮像する撮像手段と、
前記照明手段から光を照射した状態で前記撮像手段による撮像を行うことにより得られた画像から、前記計測対象物の表面上の複数の注目点について色または明るさに関する特徴量を算出する特徴量算出手段と、
特徴量の値と、特徴量の値から表面の法線の向きを特定するための情報と、を対応付けるデータを予め記憶している記憶手段と、
前記記憶手段に記憶されているデータを参照することにより、前記特徴量算出手段で算出された特徴量の値から前記複数の注目点における法線の向きを算出し、その算出結果から前記計測対象物の表面の３次元形状を算出する形状算出手段と、
を有する形状計測装置において、
前記記憶手段は、前記撮像手段の視野内に設定された複数の基準位置のそれぞれについて作成された、複数のデータを記憶しており、
前記形状算出手段は、注目点の位置に応じて、参照するデータを切り替える
ことを特徴とする形状計測装置。
【請求項２】
各々が前記基準位置を含むように前記撮像手段の視野が複数のサブ領域に分割され、かつ、サブ領域ごとにデータが対応付けられており、
前記形状算出手段は、注目点が属するサブ領域に対応するデータを、参照するデータとして選択する
ことを特徴とする請求項１に記載の形状計測装置。
【請求項３】
前記複数のデータのそれぞれは、
表面形状が既知の教示用物体を前記基準位置に配置して、前記照明手段から光を照射した状態で前記撮像手段による撮像を行うことにより得られた前記教示用物体の画像を用いて作成されるものである
ことを特徴とする請求項１または２に記載の形状計測装置。
【請求項４】
前記照明手段は、所定の広さの発光領域を有する面光源であり、前記発光領域内の各位置から照射される光のスペクトル分布が互いに異なっている
ことを特徴とする請求項１〜３のうちいずれか１項に記載の形状計測装置。
【請求項５】
前記照明手段は、互いに異なる発光強度分布をもつ複数の照明パタンを重ね合わせた光を照射し、または、前記複数の照明パタンを順次照射する面光源であり、
各照明パタンの発光強度分布は、前記計測対象物が配置される点を通る前記ステージに平行な所定の直線を中心軸として、前記中心軸周りの角度に対し発光強度が線形に変化するように設定されている
ことを特徴とする請求項１〜４のうちいずれか１項に記載の形状計測装置。
【請求項６】
計測対象物に照明装置で光を照射し、光を照射した状態で前記計測対象物を撮像装置で撮像し、撮像した画像の前記計測対象物の表面上の複数の注目点について取得された色または明るさに関する特徴量から、前記計測対象物表面の３次元形状を算出する形状計測装置のキャリブレーション方法であって、
表面の傾きが既知の物体を配置させ、光を照射して撮像した画像から特徴量を抽出し、前記表面の傾きが既知の物体が配置された画像上の位置と、前記抽出された特徴量とを対応付けたデータを、複数の位置について記憶する
ことを特徴とするキャリブレーション方法。
【請求項７】
前記表面の傾きが既知の物体は、半球であることを特徴とする請求項６に記載のキャリブレーション方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２０１１−２３２０８７（Ｐ２０１１−２３２０８７Ａ）
【公開日】平成２３年１１月１７日（２０１１．１１．１７）
【国際特許分類】
【出願番号】特願２０１０−１００９９４（Ｐ２０１０−１００９９４）
【出願日】平成２２年４月２６日（２０１０．４．２６）
【出願人】（０００００２９４５）オムロン株式会社 (3,542)
【Ｆターム（参考）】
【公開日】平成２３年１１月１７日（２０１１．１１．１７）
【国際特許分類】
【出願日】平成２２年４月２６日（２０１０．４．２６）
【出願人】（０００００２９４５）オムロン株式会社 (3,542)
【Ｆターム（参考）】
[ Back to top ]