立体形状認識装置
【課題】認識精度を高く維持しつつ処理を軽くする。
【解決手段】複数方向から照明光を照射する照明手段２と、対象物を撮像する撮像手段１と、これらの制御部１２０とを備え、照度差ステレオ法を用いて、複数の撮像画像データとそれぞれの照射方向とから撮像画像を構成する画素ごとに法線ベクトルを算出する立体形状認識装置１０において、撮像画像を構成するそれぞれの画素について、複数の撮像画像データの同じ位置の画素における複数の輝度値を、予め定めた絞り込み条件に従って絞り込む選出部２１と、撮像画像を構成するそれぞれの画素について、選出部により絞り込まれた同じ位置の画素における複数の輝度値に基づいて法線ベクトルを算出する算出部２２とを備ている。
【解決手段】複数方向から照明光を照射する照明手段２と、対象物を撮像する撮像手段１と、これらの制御部１２０とを備え、照度差ステレオ法を用いて、複数の撮像画像データとそれぞれの照射方向とから撮像画像を構成する画素ごとに法線ベクトルを算出する立体形状認識装置１０において、撮像画像を構成するそれぞれの画素について、複数の撮像画像データの同じ位置の画素における複数の輝度値を、予め定めた絞り込み条件に従って絞り込む選出部２１と、撮像画像を構成するそれぞれの画素について、選出部により絞り込まれた同じ位置の画素における複数の輝度値に基づいて法線ベクトルを算出する算出部２２とを備ている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像手段により得られる撮像画像から各画素における法線ベクトルを算出する立体形状認識装置に関するものである。
【背景技術】
【０００２】
従来技術の形状計測方法を図１５に示す。この従来技術は、いわゆる照度差ステレオ法を利用したもので、照明の方向を選択して（ステップＳ１０１）、対象物の撮像を行い（ステップＳ１０２）、毎回照明の方向を変えながら規定枚数の撮像を繰り返し行うことで（ステップＳ１０３）、複数の異なる方向から順番に照明を照射した時の対象物体の画像を取得し、画像内の画素を順番に従って選択し（ステップＳ１０４）、当該画素において、照明光の方向ベクトルとその輝度値と法線ベクトルとの関係を示す方程式を生成し（ステップＳ１０５）、方程式に含まれる行列を変換し（ステップＳ１０６）、方程式を解くことで法線ベクトルと平行なベクトルを算出し（ステップＳ１０７）、正規化により単位ベクトル化して法線ベクトルを算出する（ステップＳ１０８）。そして、画面内に位置する全ての画素についてステップＳ１０５〜Ｓ１０９の処理を繰り返すことにより、物体表面の勾配を求めるものであった（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第２９６０６８４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記従来の形状計測方法では、計算結果の精度を高めるためには、照明の方向が異なる撮像画像の枚数を増やすことが効果的であるが、撮像画像の枚数を増やすと計算時間が指数的に増えてしまうという問題があった。
また、複数枚の画像を扱った場合、影や鏡面反射などにより、明らかに演算に不適切なデータも存在し、実行する必要のない演算も行ってしまうという問題もあった。
【０００５】
本発明は、計算処理数を低減しつつ、計算結果の精度を高めることをその目的とする。
【課題を解決するための手段】
【０００６】
請求項１記載の発明は、対象物に対して異なる少なくとも四以上の方向から個別に照明光を照射する照明手段と、前記対象物を撮像する撮像手段と、前記照明手段及び前記撮像手段を制御して、前記照明光の照射方向が異なる複数の撮像画像データを取得する制御部とを備え、照度差ステレオ法を用いて、前記照明光の照射方向が異なる複数の撮像画像データとそれぞれの照射方向とから撮像画像を構成する画素ごとにその位置の法線ベクトルを算出する立体形状認識装置において、撮像画像を構成するそれぞれの画素について、前記複数の撮像画像データの同じ位置の画素における複数の輝度値を、予め定めた絞り込み条件に従って絞り込む選出部と、撮像画像を構成するそれぞれの画素について、前記選出部により絞り込まれた同じ位置の画素における複数の輝度値に基づいて前記法線ベクトルを算出する算出部とを備えることを特徴とする。
【０００７】
請求項２記載の発明は、請求項１記載の発明と同様の構成を備えると共に、前記選出部は、予め定められた前記輝度値に対する閾値との比較により前記同じ位置の画素における複数の輝度値の絞り込みを行うことを特徴とする。
【０００８】
請求項３記載の発明は、請求項２記載の発明と同様の構成を備えると共に、ティーチング操作により選択された対象物の撮像画像の一部の領域に含まれる画素の輝度値に基づいて前記閾値に設定する閾値設定部を備えることを特徴とする。
【０００９】
請求項４記載の発明は、請求項２又は３記載の発明と同様の構成を備えると共に、前記選出部は、前記閾値により前記同じ位置の画素における複数の輝度値の絞り込みを行った後に、前記同じ位置の画素における複数の輝度値について値が上位の所定数のもの、下位の所定数のもの又は中間順位の所定数のものに絞り込みを行うことを特徴とする。
【００１０】
請求項５記載の発明は、請求項２又は３記載の発明と同様の構成を備えると共に、前記選出部は、前記閾値により前記同じ画素における複数の輝度値の絞り込みを行った後に、前記同じ画素における複数の輝度値についてその値の大きさがよりバラつくように絞り込みを行うことを特徴とする。
【００１１】
請求項６記載の発明は、請求項２又は３記載の発明と同様の構成を備えると共に、前記選出部は、前記閾値により前記同じ位置の画素における複数の輝度値の絞り込みを行った後に、前記同じ位置の画素における複数の輝度値についてその撮像画像の照射光の照射方向のバラツキがより大きくなるように絞り込みを行うことを特徴とする。
【００１２】
請求項７記載の発明は、請求項２又は３記載の発明と同様の構成を備えると共に、前記選出部は、前記閾値により前記同じ位置の画素における複数の輝度値の絞り込みを行った後に、前記同じ位置の画素における複数の輝度値についてその撮像画像の照射光の照射方向のバラツキがより小さくなるように絞り込みを行うことを特徴とする。
【００１３】
請求項８記載の発明は、請求項１から７のいずれか一項に記載の発明と同様の構成を備えると共に、撮像画像を構成するそれぞれの画素について、
前記選出部は複数の異なる絞り込み条件の内の二つの絞り込み条件により同じ位置の画素における複数の輝度値の絞り込みを行い、
前記算出部が、前記異なる二つの絞り込み条件で絞り込まれたそれぞれの輝度値について法線ベクトルを算出し、
前記異なる二つの絞り込み条件で絞り込まれた複数の輝度値により算出されたそれぞれの法線ベクトルを比較して許容値以上の差が生じた場合には、前記絞り込み条件を替えて再度算出又はその画素については法線ベクトル算出不能とする比較処理部を備えることを特徴とする。
【００１４】
請求項９記載の発明は、請求項１から６のいずれか一項に記載の発明と同様の構成を備えると共に、前記照明手段による照射条件を設定する照射条件入力部を備え、前記制御部は、前記照射条件に従って各々の撮像画像データを取得することを特徴とする。
【００１５】
請求項１０記載の発明は、請求項１から９のいずれか一項に記載の発明と同様の構成を備えると共に、前記法線ベクトルの方向について特定の範囲を設定入力する範囲設定部と、前記算出部により算出された法線ベクトルが前記範囲設定部により設定された範囲内の方向に属する画素を特定し抽出する抽出部とを備えることを特徴とする。
【発明の効果】
【００１６】
本発明は、照明光の照射方向が異なるより多くの撮像画像データを使用して照度差ステレオ法により撮像対象物の撮像画像の各画素の位置について法線ベクトルを算出する場合でも、選出部により、各画素における法線ベクトルの算出よりも先に演算に必要な数の撮像画像データへの輝度値の絞り込みを行うので、多大な数になる法線ベクトルを求めるための撮像画像データの組み合わせに基づいて法線ベクトルの算出を行う必要がなく、各画
素について高速で法線ベクトルを求めることができると共にその算出処理負担を軽減することが可能である。
【図面の簡単な説明】
【００１７】
【図１】本実施形態たる電子部品実装装置の斜視図である。
【図２】カメラ及び照明装置の構成を示す斜視図である。
【図３】照明装置の平面図である。
【図４】電子部品実装装置の制御ブロック図である。
【図５】閾値設定部による閾値設定処理を示すフローチャートである。
【図６】閾値設定部による閾値設定時に表示装置に表示される表示例である。
【図７】下限閾値設定のために入力された領域内の輝度値とその画素数との関係を示すダイヤグラムである。
【図８】上限閾値設定のために入力された領域内の輝度値とその画素数との関係を示すダイヤグラムである。
【図９】画像処理装置による撮像画像の各画素における法線ベクトルの取得するための処理を示すフローチャートである。
【図１０】法線ベクトルの算出処理の説明図である。
【図１１】選出部による絞り込みの処理のフローチャートである。
【図１２】選出部による絞り込みの処理の説明図である。
【図１３】図１３（Ａ）〜（Ｃ）は選出部による絞り込みの他の例を示す説明図である。
【図１４】図１４（Ａ）、（Ｂ）は選出部による照明の照射方向による絞り込みの例を示す説明図である。
【図１５】従来技術による法線ベクトルの算出処理を示すフローチャートである。
【発明を実施するための形態】
【００１８】
（発明の実施形態）
発明の実施形態について、図１乃至図１２に基づいて説明する。図１は、本実施形態たる電子部品実装装置１００の斜視図である。以下、図示のように、水平面において互いに直交する二方向をそれぞれＸ軸方向とＹ軸方向とし、これらに直交する鉛直方向をＺ軸方向というものとする。
電子部品実装装置１００は、基板Ｓに各種の電子部品Ｃの搭載を行うものであって、図１に示すように、搭載される電子部品Ｃを供給する複数の部品供給装置としての電子部品フィーダ１０８を複数（図１では一つのみ図示）並べて保持する設置部としてのフィーダバンク１０２からなる部品供給部と、Ｘ軸方向に基板を搬送する基板搬送手段１０３と、当該基板搬送手段１０３による基板搬送経路の途中に設けられた基板Ｓに対する電子部品搭載作業を行うための基板保持部としての基板クランプ機構１０４と、部品配置部としての複数の吸着ノズル１０５を昇降可能に保持して電子部品Ｃの保持を行うヘッド１０６と、実装動作に要する各種の情報を得るために基板Ｓの半田パターンの撮像を行う撮像手段としてのカメラ１と、カメラ１による撮像持に照明光を照射する照明手段としての照明装置２と、ヘッド１０６を部品供給部と基板クランプ機構１０４とを含んだ作業エリア内の任意の位置に駆動搬送する移動機構としてのＸ−Ｙガントリ１０７と、上記各構成を搭載支持するベースフレーム１１４と、上記各構成の動作制御を行うホストコントローラ１２０と、撮像装置１の撮像により得られる撮像画像データを処理して形状認識を行う画像処理装置１０を備えている。
【００１９】
かかる電子部品実装装置１００は、ホストコントローラ１２０が、電子部品Ｃの実装に関する各種の設定内容が記録された実装データを保有し、実装データから実装すべき電子部品Ｃと、電子部品Ｃの電子部品フィーダ１０８等の設置位置に基づく部品受け取り位置１０８ａと、基板上の実装位置を示すデータとを読み出すと共に、Ｘ−Ｙガントリ１０７
を制御してヘッド１０６を電子部品Ｃの受け取り位置１０８ａと実装位置とに移送し、各位置においてヘッド１０６を制御して吸着ノズル１０５の昇降動作及び吸着又は解放動作を行い、電子部品Ｃの実装の動作制御を実行する。
【００２０】
（基板搬送手段及び基板保持部）
基板搬送手段１０３は、図示しない搬送ベルトを備えており、その搬送ベルトにより基板をＸ軸方向に沿って搬送する。
また、前述したように、基板搬送手段１０３による基板搬送経路の途中には、電子部品Ｃを基板へ搭載する際の作業位置で基板Ｓを固定保持するための基板クランプ機構１０４が設けられている。かかる基板クランプ機構１０４が装備されており、基板搬送方向に直交する方向における両端部で基板Ｓをクランプするようになっている。また、基板クランプ機構１０４の下方には、クランプ時に基板Ｓの下面側に当接して電子部品搭載時に基板Ｓが下方に撓まぬように支承する複数の支持棒が設けられている。基板Ｓはこれらにより保持された状態で安定した電子部品Ｃの搭載作業が行われる。
【００２１】
（Ｘ−Ｙガントリ）
Ｘ−Ｙガントリ１０７は、Ｘ軸方向にヘッド１０６の移動を案内するＸ軸ガイドレール１０７ａと、このＸ軸ガイドレール１０７ａと共にヘッド１０６をＹ軸方向に案内する二本のＹ軸ガイドレール１０７ｂと、Ｘ軸方向に沿ってヘッド１０６を移動させる駆動源であるＸ軸モータ１０９と、Ｘ軸ガイドレール１０７ａを介してヘッド１０６をＹ軸方向に移動させる駆動源であるＹ軸モータ１１０とを備えている。そして、各モータ１０９、１１０の駆動により、ヘッド１０６を二本のＹ軸ガイドレール１０７ｂの間となる領域のほぼ全体に搬送することを可能としている。
なお、各モータ１０９、１１０は、それぞれの回転量がホストコントローラ１２０に認識され、所望の回転量となるように制御されることにより、ヘッド１０６を介して吸着ノズル１０５の位置決めを行っている。
また、電子部品実装作業の必要上、前記した二つのフィーダバンク１０２，基板クランプ機構１０４とはいずれもＸ−Ｙガントリ１０７によるヘッド１０６の搬送可能領域内に配置されている。
【００２２】
（ヘッド）
ヘッド１０６は、その先端部で空気吸引により電子部品Ｃを保持する吸着ノズル１０５（図１参照）と、吸着ノズル１０５をＺ軸方向に沿って昇降させる昇降機構としてのＺ軸モータ１１１と、吸着ノズル１０５を回転させて保持された電子部品ＣをＺ軸方向回りに角度調節するためのθ軸モータ１１２とが設けられている。
また、上記吸着ノズル１０５は、Ｚ軸方向に沿った状態で昇降可能且つ回転可能にヘッド１０６に支持されており、昇降による電子部品Ｃの受け取り又は実装及び回転による電子部品Ｃの角度調節が可能となっている。
【００２３】
（フィーダバンク及び電子部品フィーダ）
フィーダバンク１０２は、ベースフレーム１１４のＹ軸方向一端部（図１手前側）にＸ軸方向に沿った状態で設けられている。フィーダバンク１０２は、Ｘ−Ｙ平面に沿った長尺の平坦部を備え、当該平坦部の上面に複数の電子部品フィーダ１０８等がＸ軸方向に沿って羅列して載置装備される（図１では電子部品フィーダ１０８を一つのみ図示しているが実際には複数の電子部品フィーダ１０８等が並んで装備される）。
また、フィーダバンク１０２は、各電子部品フィーダ１０８等を保持するための図示しないラッチ機構を備えており、必要に応じて、各電子部品フィーダ１０８等をフィーダバンク１０２に対して装着又は分離することを可能としている。
【００２４】
上述した電子部品フィーダ１０８は、後端部には電子部品Ｃが均一間隔で並んで封止さ
れたテープを巻回したテープリールを保持し、先端上部にはヘッド１０６に対する電子部品Ｃの供給位置である受け渡し部を有している。そして、電子部品フィーダ１０８がフィーダバンク１０２に取り付けられた状態における電子部品Ｃの受け渡し部の位置を示すＸ、Ｙ座標値は前述した実装データに記録されている。
【００２５】
（カメラ）
図２はカメラ１の周辺の構成を示す斜視図である。カメラ１及び照明装置２を下方の基板に向けてヘッド１０６に装備し、基板Ｓの例えば半田パターンなどを撮像対象とする。
上記カメラ１は、例えば、ＣＣＤ撮像素子やＣＭＯＳ撮像素子を備えたデジタル撮像画像データを取得可能なカメラであり、当該撮像素子の眼前に設けられた光学系が配設されている。なお、このカメラ１の撮像時に得られる画像信号は、画像処理装置１０に出力される。
【００２６】
（照明装置）
図３は照明装置２の平面図である。図２及び図３に示すように、撮像手段１のすぐ下側には、照明装置２が設けられている。この照明装置２は、Ｚ軸方向に沿ったカメラ１の視線（光軸）を中心とする円周上に均一の角度間隔で複数の光源が設けられており、それぞれの光源は下方であってカメラ１の光軸上の一点に向けて照明光を照射するように配置されている。なお、ここでは、光軸の周囲で20°の角度間隔で１８個の光源が設けられている照明装置２を例示するが光源の数は少なくと４以上であれば増減させても良い。
そして、この照明装置２の各光源は、ホストコントローラ１２０により個々に点灯を行うよう制御される。これにより、カメラ１の光軸上であって照明装置２の下方に配置された撮像対象に対して、20°の角度間隔で全方位から照明光の照射を行うことを可能としている。
【００２７】
（電子部品実装装置の制御系）
図３は電子部品実装装置１００の制御系を示すブロック図である。図示のように、Ｘ−Ｙガントリ１０７のＸ軸モータ１０９、Ｙ軸モータ１１０、ヘッド１０６において吸着ノズル１０５の昇降を行うＺ軸モータ１１１、吸着ノズル１０５の回転を行うθ軸モータ１１２は、それぞれ図示しない駆動回路を介してホストコントローラ１２０に接続されている。
また、撮像装置１の撮像の実行と照明装置２の光照射の実行とは、ホストコントローラ１２０により制御される。そして、撮像装置１の撮像による画像信号は、前述したように、画像処理装置１０に入力されるようになっている。
【００２８】
ホストコントローラ１２０は、実装対象となる電子部品Ｃのリスト及びその搭載の順番、各電子部品Ｃの基板Ｓ上における搭載位置、各電子部品Ｃがいずれの電子部品フィーダ１０８から受け取るかを示す受け取り位置等が定められた実装スケジュールデータを記憶する図示しないメモリと、実装動作制御プログラムを実行するＣＰＵ１２１とを主に備えている。
そして、電子部品の実装時には、実装スケジュールデータを読み込んで、Ｘ軸及びＹ軸モータ１０９，１１０を制御して所定の電子部品フィーダ１０８の受け取り位置にヘッド１０６を搬送し、Ｚ軸モータ１１１を制御して吸着ノズル１０５にて電子部品Ｃを吸着し、実装スケジュールデータに定められた基板実装位置に電子部品Ｃを搬送して実装を行う。
そして、実装スケジュールデータに定められた全ての電子部品Ｃについて実装を行い、動作制御を終了するようになっている。
【００２９】
また、ホストコントローラ１２０は、基板Ｓに対してその半田パターン等の形状検査を行うために、撮像制御を実行する。即ち、ホストコントローラ１２０は、後述する操作入
力装置１３から設定入力された撮像枚数を読み出すと共に、撮像対象物（例えば、半田パターン）の中心をカメラ１の光軸上となるようにした状態で、撮像対象物の上方から、設定された撮像枚数分の撮像を行う。そして、このとき、毎回の撮像持における照明光の照射方向が全て異なるように照明装置２を制御する。例えば、設定された撮像枚数が９枚の場合には、照明装置２の0°，40°，80°，120°，…に位置する光源を順番に発光させつつ（図３の白色部）、カメラ１による撮像を実行する。即ち、照明光の照射方向を40°間隔（一つ飛び）で切り換えながら順番に撮影を行う。このように、点灯を行う光源は、撮像枚数に応じてなるべく均一角度間隔となるように照射方向を切り替える制御が行われる。
そして、毎回の撮像によりカメラ１が出力する画像信号は、画像処理装置１０に送信され、そのＡ／Ｄ変換部１１によりデジタル化され、撮像画像データに変換されて画像記憶部１２に記憶される。
このように、ホストコントローラ１２０は、カメラ１及び照明装置２を制御して、照明光の照射方向が異なる複数の撮像画像データを取得する制御部として機能する。
【００３０】
また、ホストコントローラ１２０は、画像処理装置１０と通信可能に接続されており、半田パターンの撮像の解析の結果に基づいて得られる半田パターンの形状の情報を画像処理装置１０から受信し、半田パターンの異常判定を行って基板Ｓへの実装の適否を判断するようになっている。
【００３１】
（画像処理装置）
画像処理装置１０は、照明光の照射方向が異なる複数の撮像画像データをカメラ１により取得し、それら複数の撮像画像データに基づいて、画像を構成する全ての画素について、撮像対象である電子部品Ｃの表面における法線ベクトルを算出する処理を行うものである。
【００３２】
このため、図４に示すように、画像処理装置１０は、上記撮像装置１の複数回の撮像による画像信号をＡ／Ｄ変換して各撮像ごとの撮像撮像画像データを生成するＡ／Ｄコンバータ１１と、これらの撮像画像データを格納する画像記憶部１２と、各撮像画像データの同じ画素について得られた輝度値の絞り込みを行うと共に絞り込まれた輝度値から当該画素における法線ベクトルを算出する処理部２０と、撮像画面内の全画素又は任意の画素における法線ベクトルを形状データとして記憶する処理結果記憶部３０と、形状データをホストコントローラ１２０に送信する図示しない通信部と、各部の処理の実行及びデータの格納について制御するＣＰＵ１４と、各種設定データ等を記憶するデータメモリ１６とを備えている。
また、画像処理装置１０には、撮像画像等の表示を行う表示装置１５と各種の設定や指令の入力を行うための操作入力装置１３とが併設されており、画像処理装置１０には、これらを接続するためのインターフェイス１５ａ，１３ａが設けられている。
【００３３】
また、上記処理部２０は、同一の撮像対象物について少なくとも照明光の照射方向が異なる四以上の撮像画像データが得られた場合に、画像内の個々の画素について、三つの撮像画像データにおける輝度値に絞り込みを行う選出部２１と、画像内の個々の画素について、絞り込まれた三つの輝度値から当該画素の位置における撮像対象物の表面の法線ベクトルを算出する算出部２２と、選出部２１での絞り込みを行うための輝度値の閾値を設定する閾値設定部２３とを備えている。
【００３４】
上記算出部２２は、撮像画像内の各画素についてその撮像対象物の表面の法線ベクトルを算出するために照度差ステレオ法を利用する。
照度差ステレオ法では、照明光の照射方向が異なる三つの撮像画像データの同一の位置の画素における三つの輝度値から、当該画素における撮像対象物表面の法線ベクトルを算
出することが可能である。
即ち、照度差ステレオ法では、物体表面における拡散反射光の光強度が、物体表面に対する光源からの照明光の照射方向と当該光源の光強度との間で一定の関係にあることを利用して、異なる三方向からの各光源からの照射時におけるそれぞれの物体表面の輝度値から法線を逆算して求めるものである。
【００３５】
拡散反射光Ｉは次式(1)により求められる。但し、ρは拡散反射率、Ｉ0は光源強度、Ｌは光源ベクトル、ｎは法線ベクトルである。
Ｉ＝ρ・Ｉ0・Ｌ・ｎ …(1)
で求められる。
この時、ベクトルＮを次式(2)に示すように法線ベクトルｎの定数倍と定義すると、
Ｎ＝ρ・Ｉ0・ｎ …(2)
式(1)、(2)により
Ｉ＝Ｌ・Ｎ …(3)
さらに、式(3)により次式(4)が導き出される。
Ｎ＝Ｌ−１・Ｉ …(4)
【００３６】
即ち、ベクトルＮ＝（ｘＮ，ｙＮ，ｚＮ）とした場合、当該ベクトルＮと、光線ベクトルＬ１，Ｌ２，Ｌ３からなる光源行列Ｌと、各光線ベクトルＬ１，Ｌ２，Ｌ３を照射方向とした時の輝度値Ｉ１，Ｉ２，Ｉ３からなる拡散反射光Ｉとの間には次式(5)，(6)が成立し、次式(6)を解くことによりｘＮ，ｙＮ，ｚＮを算出することが可能である。
【数１】
【００３７】
上式(6)より求まるベクトルＮは、法線ベクトルｎの定数倍なので、ベクトルＮの各XYZ成分をベクトル長さで割ることで、単位ベクトルである法線ベクトルｎを求めることができる。
なお、各光線ベクトルＬ１，Ｌ２，Ｌ３のｘ，ｙ，ｚ成分の値は、撮像対象物である電子部品Ｃをカメラ１に対して規定の高さで撮像することを前提とした場合に、照明装置２の１８個の光源のいずれから照射したかによって確定する値であり、これらは初期設定データとしてデータメモリ１６内に登録されている。
従って、算出部２２は、撮像画像の画素ごとに選択された三つの撮像画像データから、同一画素での輝度値Ｉ１，Ｉ２，Ｉ３を取得し、当該三つの撮像画像データの撮像時の光源から各光線ベクトルＬ１，Ｌ２，Ｌ３をデータメモリから読み出して、上記手法により法線ベクトルｎの算出を行う。
【００３８】
選出部２１及び閾値設定部２３は、算出部２２が各画素について法線ベクトルｎを算出する際に用いる三つの撮像画像データを四以上ある複数の撮像画像データの中から絞り込
むための処理及び制御を行うものである。なお、選出される三つの撮像画像データの組み合わせは各画素ごとに個別に選出される。
上述した照度差ステレオ法では、撮像対象物である電子部品Ｃの表面に生じる反射は拡散反射光のみとは限らない。撮像画像中には、鏡面反射光や陰影、外乱などにより照度差ステレオ法を適用できない部分が存在することがある。そこで、４枚以上の複数の撮像画像データから、注目座標（同じ位置の画素）ごとに適した三つの輝度値に絞り込みを行ってから照度差ステレオ法による法線ベクトルの算出を行う。
【００３９】
例えば、前述した例示によれば、９つの光源からの照明光の照射による９つの撮像座像データを取得しているため、同じ位置の画素については９つの輝度値が取得されている。これに対して、選出部２１は、これらの中から３つの輝度値に絞り込みを行う。なお、この絞り込みは、画像を構成する複数の画素について個別に行うため、個々の画素についてそれぞれ異なる三つの撮像画像データの組み合わせで絞り込まれることとなる。
選出部２１における絞り込みは、同じ位置の画素の九つの輝度値に対して、(i)輝度値について定められた上限閾値から下限閾値までの範囲外となるものを除外する、(ii)(i)による除外を行った上で残った輝度値を小さい順にソートして輝度値が最下位のもの（暗いもの）から順番に三つ選出する、という二段階で行う。
【００４０】
また、上記(i)の絞り込みにおける輝度値の上限閾値と下限閾値とは、閾値設定部２３の処理により決定される。
図５は閾値設定部２３よる下限閾値を設定する処理を示すフローチャートである。かかる閾値設定処理は、電子部品実装装置１００による電子部品の実装作業の中で行っても良いし、実装作業を行う前に実装作業と切り離して実行しても良い。
この閾値設定処理は、撮像対象物の撮像画像データを用いて作業者が所定の領域を特定し、当該領域に含まれる画素の輝度値に基づいて閾値が設定されるものである。その際、使用される撮像画像データは、前述した九つの撮像画像データを利用しても良いし、別に撮像を行って得られた撮像画像データを使用しても良いが、照明装置２によりいずれかの光源からの照明光の照射が行われており、法線ベクトルを算出する場合と同じ条件で同じ対象物を撮像した撮像画像データであることを必須とする。
【００４１】
まず、表示装置１５のモニタに撮像画像を表示する（ステップＳ１１）。図６は撮像対象物である半田パターンの撮像画像のモニタ表示画面を示している。かかる撮像画像において、符号Ｄは輝度値が低いために照度差ステレオ法に不適切である陰影部であり、符号Ｒは輝度値が高いために照度差ステレオ法に不適切である鏡面反射部（飽和部）であり、符号Ｈは照度差ステレオ法に適切な通常の拡散反射部である。
【００４２】
そして、作業者の操作入力装置１３の操作による、照度差ステレオ法に好ましくない陰影部Ｄを含む領域の指定入力を受け付ける（ステップＳ１３）。
操作入力装置１３は、例えばマウスのような入力インターフェイスを備えており、その操作により図６に示すような、四角いフレーム状のウィンドウ領域Ｗ１の位置及び大きさを指定する。このとき、作業者は、図示のように、陰影部Ｄが指定領域内により多く含まれるように指定しつつ、陰影部Ｄ以外の周辺領域も含まれるように領域指定を行うことが望ましい。なお、このステップＳ１３では、下限閾値設定のためのウィンドウ領域Ｗ１の指定を促すようなナビゲーション表示を行っても良い。
【００４３】
かかる領域指定が行われると、閾値設定部２３は、ウィンドウ領域Ｗ１に含まれる各画素の輝度値によるヒストグラムを作成する（ステップＳ１５）。
図７は、閾値設定部２３により作成されたウィンドウ領域Ｗ１の輝度値のヒストグラムを示す線図である。かかるヒストグラムでは、画素の分布の集中するピークが複数現れることとなるが、陰影部Ｄを含むようにウィンドウ領域Ｗ１が指定されているため、複数あ
るピークの内で最も輝度値が低いピークが陰影部Ｄの輝度値と推定される。そこで、閾値設定部２３では、最も輝度値が低いピークＰ１と二番目に輝度値が低いピークＰ２とを求め、その間に存在する谷の部分Ｖ１の輝度値を下限閾値Ｉminに設定する（ステップＳ１７）。
【００４４】
次に、上記処理にて設定された下限閾値Ｉminが陰影部の判定に適するか否かの確認処理を行う。即ち、作業者の操作入力装置１３の操作による、陰影部Ｄのみからなる小ウィンドウ領域Ｗ１１の指定入力を受け付ける（ステップＳ１９）。なお、ウィンドウではなく、撮像画像の一点を指定する入力方法としても良い。
そして、閾値設定部２３では、指定された小ウィンドウ領域Ｗ１１内の画素の輝度値がステップＳ１７で求めた下限閾値Ｉminより小さい値となるか判定を行う（ステップＳ２１）。なお、この判定において、小ウィンドウ領域Ｗ１１内の画素の輝度値が下限閾値Ｉmin以上となった場合には、ステップＳ１３に処理を戻し、下限閾値設定のやり直しとなる。
【００４５】
また、上記判定にて、小ウィンドウ領域Ｗ１１内の画素の輝度値が下限閾値Ｉminより小さい値となることが確認された場合には、作業者の操作入力装置１３の操作による、陰影部を含まない範囲の小ウィンドウ領域Ｗ１２の指定入力を受け付ける（ステップＳ２３）。この場合も、ウィンドウではなく、撮像画像の一点を指定する入力方法としても良い。
そして、閾値設定部２３では、指定された小ウィンドウ領域内の画素の輝度値がステップＳ１７で求めた下限閾値Ｉmin以上の値となるか判定を行う（ステップＳ２５）。なお、この判定において、小ウィンドウ領域Ｗ１２内の画素の輝度値が下限閾値Ｉminより小さくなった場合には、ステップＳ１３に処理を戻し、下限閾値設定のやり直しとなる。
また、上記判定にて、小ウィンドウ領域Ｗ１２内の画素の輝度値が下限閾値Ｉmin以上となることが確認された場合には、下限閾値Ｉminが確定され、データメモリ１６内に登録される。
【００４６】
また、上記下限閾値の設定と共に、上限閾値の設定も行われる。かかる上限閾値の設定時にも、下限閾値の場合を同様にして、表示装置１５のモニタに撮像画像が表示され、これに対して、作業者による鏡面反射部Ｒを含むウィンドウ領域Ｗ２（図６）の指定入力を受け付ける。
そして、ウィンドウ領域Ｗ２に含まれる各画素の輝度値によるヒストグラムが作成され（図８参照）、ウィンドウ領域Ｗ１の場合と同様にピークが複数現れることとなるが、上限閾地の設定の場合には、閾値設定部２３は、最も輝度値が高いピークＰ３と二番目に輝度値が高いピークＰ４とを求め、その間に存在する谷の部分Ｖ２の輝度値を上限閾値Ｉmaxに設定する。
また、確認処理も下限閾値の場合と同様に、鏡面反射部Ｒのみからなる小ウィンドウ領域Ｗ２１の指定入力を受け付けて、その輝度値が上限閾値Ｉmaxより大きい値となるか判定し、さらに、鏡面反射部Ｒを含まない範囲の小ウィンドウ領域Ｗ２２の指定入力を受け付けて、その輝度値が上限閾値Ｉmax以下の値となるか判定を行う。そして、上限閾値Ｉmaxが確認処理で不適切な場合にはウィンドウ領域Ｗ２の入力からやり直しとなり、適切な場合には上限閾値Ｉmaxが確定され、データメモリ１６内に登録される。
なお、上限閾値と下限閾値とはいずれを先に設定しても良い。
【００４７】
（画像処理装置による法線ベクトルを取得するための処理）
図９は画像処理装置１０による撮像画像の各画素における法線ベクトルの取得するための処理を示すフローチャートである。
図９に示すように、まず、ホストコントローラ１２０により照明装置２とカメラ１とが制御され、基板Ｓの半田パターンを４以上の複数方向から照明光を照射しつつ撮像が行わ
れる（ステップＳ５１）。
そして、各照射方向の撮像により得られた撮像画像データはそれぞれ照明装置２のいずれの光源による照明光が照射されたかを示す情報と共に画像記憶部１２に記憶される。
【００４８】
次いで、前述した閾値設定部２３による上限閾値Ｉmaxと下限閾値Ｉminとを設定する処理が行われる（ステップＳ５３）。設定された上限閾値Ｉmaxと下限閾値Ｉminはデータメモリ１６に記憶される。
【００４９】
次いで、撮像画像を構成する全画素について順番に一つずつ法線ベクトルｎの算出処理がステップＳ５５〜Ｓ６１において行われる。
ステップＳ５５〜Ｓ６１の法線ベクトルｎの算出処理は、図１０に示すように、撮像画像における全画素について画面の端に位置する画素から一つずつ順番に繰り返し実行される。なお、以下の説明では、法線ベクトルを算出する対象となっている画素を注目画素というものとする。
【００５０】
まず、全撮像画像データにおける当該注目画素の位置での輝度値が画像記憶部１２から読み込まれる。なお、図１０及び後述する図１２では説明を簡明にするために撮像画像データが５つある場合を例示する。つまり、この例では各撮像画像データの注目画素から５つの輝度値が読み込まれる。
そして、選出部２１により、五つの撮像画像データの注目画素の輝度値から三つに絞り込みが行われる（ステップＳ５５）。
【００５１】
図１１は選出部２１により絞り込みの処理を詳細に示すフローチャートであり、図１２は絞り込みの処理を概念的に示した説明図である。これらにより詳細に説明すると、まず、一つめの撮像画像データから順番の注目画素の輝度値について、下限閾値Ｉmin以上であって上限閾値Ｉmax以下の範囲内か否かを判定する（ステップＳ５５１）。
そして、上記閾値の範囲外となる場合には、当該輝度値の撮像画像データを計算不可能画像と判定し記録する（ステップＳ５５３）。
一方、上記閾値の範囲内となる場合には、当該輝度値の撮像画像データを使用画像と判定し記録する（ステップＳ５５５）
そして、上記ステップＳ５５１〜Ｓ５５５の処理を５つの撮像画像データの全てについて繰り返し実行する。
例えば、図１２では二番目の撮像画像データ（×印）が計算不可能画素と判定された場合を示している。
【００５２】
次に、使用画像と判定された撮像画像データの注目画素のそれぞれの輝度値を値の低い順番にソートする（ステップＳ５５７）。図１２では四つの画素が輝度値の低い順にソートされた状態を示している。
そして、各注目画素の輝度値について、値が低いものから順番に三つまでを選出し（図１２○印）、それらの輝度値となった三つの撮像画像データを最終的な使用画像に決定する（ステップＳ５５９）。
【００５３】
そして、選出部２１による絞り込みの処理が終わると、処理部２０では、三つの撮像画像データが使用画像として選出されたか否かを判定する（図９のステップＳ５７）。
そして、例えば、５つの撮像画像データについて前述した絞り込みの処理のステップＳ５５１の判定が行われた結果、使用画像が三つに満たなくなった場合には、現在の注目画素は法線ベクトルｎを求めることができない無効画素として処理結果記憶部３０に記憶する（ステップＳ５９）。
【００５４】
また、選出部２１による絞り込みの結果、三つの撮像画像データが使用画像として選出
された場合には、それぞれの撮像画像データの注目画素における三つの輝度値Ｉ１，Ｉ２，Ｉ３と、三つの撮像画像データの撮像持の光源に応じた光源ベクトルＬ１，Ｌ２，Ｌ３とに基づいて算出部２２が前述した式(6)を解いてベクトルＮのｘＮ，ｙＮ，ｚＮを算出する。さらに、ベクトルＮのｘＮ，ｙＮ，ｚＮをそのベクトル長さで除算して法線ベクトルｎを算出する（ステップＳ６１）。このとき、算出された法線ベクトルｎは、その注目画素における法線ベクトルｎとして処理結果記憶部３０に記憶される。
そして、上記ステップＳ５５〜Ｓ６１までの処理が撮像画像の全ての画素について完了すると、当該撮像画像の全ての画素の法線ベクトルｎが取得され、例えば、これらが撮像対象物である半田パターンの形状データとしてホストコントローラ１２０に送信される。
【００５５】
ホストコントローラ１２０では、例えば、半田パターンについて撮像が行われ、上記形状データが画像処理装置１０から送信されると、当該形状データをサンプルデータと比較して半田パターンの外部形状の異常判定を行ったり、形状データから特徴部分を抽出して実装時の電子部品Ｃの位置決めなど動作制御に反映させたりすることができる。
【００５６】
（実施形態の効果）
以上のように、電子部品実装装置１００の画像処理装置１０では、照明光の照射方向が異なるより多くの撮像画像データを使用する場合でも、選出部２１により、各画素における法線ベクトルの算出よりも先に三つの撮像画像データへの輝度値の絞り込みを行うので、多大な数になる三つの撮像画像データの組み合わせの全てについて法線ベクトルを求める必要がなく、各画素について高速で法線ベクトルを求めることができると共にその算出処理負担を軽減することが可能である。
【００５７】
また、選出部２１は、注目画素の各撮像画像データの輝度値について上限閾値と下限閾値とを用いて絞り込みを行っているので、単純な比較処理で絞り込みを実現することができ、処理の高速化及び処理負担の軽減を図ることが可能となる。
さらに、閾値設定部２３では、実際の撮像画像内での陰影領域や鏡面反射領域を選択し、実際の陰影や鏡面反射の輝度値に基づいて閾値設定を行うので、照度差ステレオ法による法線ベクトルの算出において、不適切な輝度値を示す画素を処理からより効果的に除去することができ、精度の高い法線ベクトルの算出が可能となる。
【００５８】
また、選出部２１は、注目画素の各撮像画像データの輝度値について上限閾値と下限閾値とを用いて絞り込みを行った後に、輝度値を低い順にソートして最低値から順に必要数に絞り込みを行うので、高速且つ負担軽減を図りつつ撮像画像データの輝度値を法線ベクトルの算出に必要な数まで絞り込むことを可能としている。
【００５９】
（選出部による輝度値の絞り込みの他の例[1]）
上記選出部２１では、上下の閾値により同じ位置の画素における複数の輝度値に対して絞り込みを行った後に、ソートして値の低いものから順番に輝度値の選出を行っているが、これに限られるものではない。例えば、図１３（Ａ）の○印に示すように、閾値により絞り込みを行った後に、ソートを行い、輝度値の高いものから順番に選出しても良い。
また、或いは、図１３（Ｂ）の○印に示すように、輝度値の順番が丁度中間順位となるもの及び中間順位に近いものから順番に選出しても良い。
或いは、輝度値の高低がなるべくバラつくように選出しても良い。例えば、図１３（Ｃ）の○印に示すように、輝度値が最も高いものと最も低いものと丁度中間のものとなるように選出しても良い。
輝度値の選出においてその順位の分布をいかなるものにすると、精度良く法線ベクトルが求まるかは、撮像対象物の表面状態や照明光の照射条件によっても変動する場合もあるので、これらに応じて適切な選出条件を選択することが望ましい。
【００６０】
（選出部による輝度値の絞り込みの他の例[2]）
上記選出部２１では、上下の閾値により同じ位置の画素における複数の輝度値に対して絞り込みを行った後に、輝度値の順番に従って輝度値の選出を行っているが、これに限らず、例えば、それぞれの撮像画像データの撮像持の照明光の照射方向に着目しても良い。
例えば、図１４（Ａ）の○印に示すように、それぞれの撮像画像データの撮像持の照明光の照射方向が最もバラつく組み合わせとなる撮像画像データの輝度値を選出しても良い。
或いは、図１４（Ｂ）の○印に示すように、それぞれの撮像画像データの撮像持の照明光の照射方向が互いに最も近づく組み合わせとなる撮像画像データの輝度値を選出しても良い。
【００６１】
（選出部による輝度値の絞り込みの他の例[3]）
上記選出部２１では、通常の絞り込み方法の他に、上述した絞り込みの他の例[1]や絞り込みの他の例[2]で示した他の絞り込み方向のいずれかを用いて、これら二つの方法で輝度値を選出し、算出部２２が注目画素について二つの方法で選出された輝度値に基づいてそれぞれ法線ベクトルを算出しても良い。
そして、処理部２０には、二つの方法で算出した同じ注目画素の法線ベクトルについて比較を行い、その方向の差が予め定めた許容値の範囲内か否かを判定する比較処理部を設けても良い。また、比較処理部は、比較の結果、許容値に範囲内であればどちらかの法線ベクトルを採用して処理結果記憶部３０に記録し、許容値の範囲外であれば、組み合わせが異なる二つの絞り込みの方法で輝度値の選出及び法線ベクトルの算出を行うか、或いはその注目画素については法線ベクトルの算出不可能であることを処理結果記憶部３０に記録する処理を行うことが望ましい。
【００６２】
（各種条件の設定手段の付加）
上記電子部品実装装置１００に、撮像対象物の撮像時における撮像枚数等の撮像条件や撮像時の照明光の照射方向や明るさ等の照明条件をパラメータとして設定する条件設定手段を付加しても良い。
例えば、撮像枚数を任意に設定可能とした場合、撮像枚数を多く設定する程、法線ベクトルの計算結果の精度は向上するが、複数の撮像対象について形状認識を行う場合には、全ての撮像対象物に対して最大の撮像枚数を設定しなくとも、撮像対象の材質の認識しやすさや、必要とされている精度によって枚数を調節することで、無駄な撮像や計算を省くことができる。
また、照明条件を任意に設定可能とした場合、撮像対象に合わせて最適な照明設定を切り替えることでより精度の高い計算が可能となる。
【００６３】
（各種条件の設定手段の付加）
上記画像処理装置１０には、算出された各画素における法線ベクトルの方向について特定の範囲を設定入力する範囲設定部と、各法線ベクトルが範囲設定部により設定された範囲内の方向に属する画素を特定し抽出する抽出部とを付加しても良い。
さらに抽出された画素については、処理結果記憶部３０に記憶しても良いし、表示装置１５のモニタに表示する表示制御を行っても良い。これにより、撮像対象物の表面において、一定の方向となる部分を抽出し、所定の形状条件を満たす部位を抽出したり、当該部位に囲まれる領域を特定したりすることができ、特定形状に対する新たな制御、検査、画像処理などに応用することが可能である。
【００６４】
（その他）
上記実施形態では、選出部２１において輝度値を三つに絞り込んでいるが、これに限定されるものではなく、四以上に絞り込んでも良い。だたし、その場合には、絞り込まれた四以上の輝度値の中から三つの輝度値の組み合わせを複数作ることができるので、各組み
合わせから求まる複数の法線ベクトルについて平均化等により最終的に一つの法線ベクトルに確定する必要がある。
【００６５】
また、上記実施形態では、基板Ｓの半田パターンを撮像対象物として例示したが、例えば基板Ｓの全体像を撮像して法線ベクトルを算出しても良いし、半田パターン以外の一部分のみを撮像対象物としてもよいことは言うまでもない。
また、カメラ１及び照明装置２を上方に向けてベースフレーム１１４に装備し、ヘッド１０５を位置決めして吸着ノズル１０５の吸着された電子部品Ｃやそのバンプなどを撮像対象としても良い。
【００６６】
また、上記実施形態では、撮像画像の全画素について法線ベクトルの算出を行う場合例示したが、撮像画像の一部の領域内の画素について法線ベクトルを算出する構成としても良い。
【００６７】
また、上記実施形態では、立体形状認識装置としての画像処理装置１０を電子部品実装装置１００に搭載した場合を例示したが、これに限定されず、例えば、電子部品の形状異常の検査装置に適用しても良い。
【００６８】
また、上記処理部２０では、選出部２１が、絞り込みによって使用画像として選出された撮像画像データが三つに満たない場合に、注目画素を無効画素として処理しているが、これに限らず、補間処理により法線データを新たに算出する補間処理部を付加しても良い。具体的には、隣接する周囲の２〜８の画素における法線ベクトルを合成する等により補間を行う。
【００６９】
なお、画像処理装置１０の処理部２０における各種の構成２１〜２３は、実際には、ソフトウェアにより実現しているが、これらの構成をFPGA(Field-Programmable Gate Array)のような集積回路（ハードウェア）で実現しても良い。
【符号の説明】
【００７０】
１ カメラ（撮像手段）
２ 照明装置（照明手段）
１０ 画像処理装置（立体形状認識装置）
１３ 操作入力装置
１５ 表示装置
２０ 処理部
２１ 選出部
２２ 算出部
２３ 閾値設定部
１００ 電子部品実装装置
１２０ ホストコントローラ（制御部）
Ｃ 電子部品
Ｓ 基板（撮像対象物）
【技術分野】
【０００１】
本発明は、撮像手段により得られる撮像画像から各画素における法線ベクトルを算出する立体形状認識装置に関するものである。
【背景技術】
【０００２】
従来技術の形状計測方法を図１５に示す。この従来技術は、いわゆる照度差ステレオ法を利用したもので、照明の方向を選択して（ステップＳ１０１）、対象物の撮像を行い（ステップＳ１０２）、毎回照明の方向を変えながら規定枚数の撮像を繰り返し行うことで（ステップＳ１０３）、複数の異なる方向から順番に照明を照射した時の対象物体の画像を取得し、画像内の画素を順番に従って選択し（ステップＳ１０４）、当該画素において、照明光の方向ベクトルとその輝度値と法線ベクトルとの関係を示す方程式を生成し（ステップＳ１０５）、方程式に含まれる行列を変換し（ステップＳ１０６）、方程式を解くことで法線ベクトルと平行なベクトルを算出し（ステップＳ１０７）、正規化により単位ベクトル化して法線ベクトルを算出する（ステップＳ１０８）。そして、画面内に位置する全ての画素についてステップＳ１０５〜Ｓ１０９の処理を繰り返すことにより、物体表面の勾配を求めるものであった（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第２９６０６８４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記従来の形状計測方法では、計算結果の精度を高めるためには、照明の方向が異なる撮像画像の枚数を増やすことが効果的であるが、撮像画像の枚数を増やすと計算時間が指数的に増えてしまうという問題があった。
また、複数枚の画像を扱った場合、影や鏡面反射などにより、明らかに演算に不適切なデータも存在し、実行する必要のない演算も行ってしまうという問題もあった。
【０００５】
本発明は、計算処理数を低減しつつ、計算結果の精度を高めることをその目的とする。
【課題を解決するための手段】
【０００６】
請求項１記載の発明は、対象物に対して異なる少なくとも四以上の方向から個別に照明光を照射する照明手段と、前記対象物を撮像する撮像手段と、前記照明手段及び前記撮像手段を制御して、前記照明光の照射方向が異なる複数の撮像画像データを取得する制御部とを備え、照度差ステレオ法を用いて、前記照明光の照射方向が異なる複数の撮像画像データとそれぞれの照射方向とから撮像画像を構成する画素ごとにその位置の法線ベクトルを算出する立体形状認識装置において、撮像画像を構成するそれぞれの画素について、前記複数の撮像画像データの同じ位置の画素における複数の輝度値を、予め定めた絞り込み条件に従って絞り込む選出部と、撮像画像を構成するそれぞれの画素について、前記選出部により絞り込まれた同じ位置の画素における複数の輝度値に基づいて前記法線ベクトルを算出する算出部とを備えることを特徴とする。
【０００７】
請求項２記載の発明は、請求項１記載の発明と同様の構成を備えると共に、前記選出部は、予め定められた前記輝度値に対する閾値との比較により前記同じ位置の画素における複数の輝度値の絞り込みを行うことを特徴とする。
【０００８】
請求項３記載の発明は、請求項２記載の発明と同様の構成を備えると共に、ティーチング操作により選択された対象物の撮像画像の一部の領域に含まれる画素の輝度値に基づいて前記閾値に設定する閾値設定部を備えることを特徴とする。
【０００９】
請求項４記載の発明は、請求項２又は３記載の発明と同様の構成を備えると共に、前記選出部は、前記閾値により前記同じ位置の画素における複数の輝度値の絞り込みを行った後に、前記同じ位置の画素における複数の輝度値について値が上位の所定数のもの、下位の所定数のもの又は中間順位の所定数のものに絞り込みを行うことを特徴とする。
【００１０】
請求項５記載の発明は、請求項２又は３記載の発明と同様の構成を備えると共に、前記選出部は、前記閾値により前記同じ画素における複数の輝度値の絞り込みを行った後に、前記同じ画素における複数の輝度値についてその値の大きさがよりバラつくように絞り込みを行うことを特徴とする。
【００１１】
請求項６記載の発明は、請求項２又は３記載の発明と同様の構成を備えると共に、前記選出部は、前記閾値により前記同じ位置の画素における複数の輝度値の絞り込みを行った後に、前記同じ位置の画素における複数の輝度値についてその撮像画像の照射光の照射方向のバラツキがより大きくなるように絞り込みを行うことを特徴とする。
【００１２】
請求項７記載の発明は、請求項２又は３記載の発明と同様の構成を備えると共に、前記選出部は、前記閾値により前記同じ位置の画素における複数の輝度値の絞り込みを行った後に、前記同じ位置の画素における複数の輝度値についてその撮像画像の照射光の照射方向のバラツキがより小さくなるように絞り込みを行うことを特徴とする。
【００１３】
請求項８記載の発明は、請求項１から７のいずれか一項に記載の発明と同様の構成を備えると共に、撮像画像を構成するそれぞれの画素について、
前記選出部は複数の異なる絞り込み条件の内の二つの絞り込み条件により同じ位置の画素における複数の輝度値の絞り込みを行い、
前記算出部が、前記異なる二つの絞り込み条件で絞り込まれたそれぞれの輝度値について法線ベクトルを算出し、
前記異なる二つの絞り込み条件で絞り込まれた複数の輝度値により算出されたそれぞれの法線ベクトルを比較して許容値以上の差が生じた場合には、前記絞り込み条件を替えて再度算出又はその画素については法線ベクトル算出不能とする比較処理部を備えることを特徴とする。
【００１４】
請求項９記載の発明は、請求項１から６のいずれか一項に記載の発明と同様の構成を備えると共に、前記照明手段による照射条件を設定する照射条件入力部を備え、前記制御部は、前記照射条件に従って各々の撮像画像データを取得することを特徴とする。
【００１５】
請求項１０記載の発明は、請求項１から９のいずれか一項に記載の発明と同様の構成を備えると共に、前記法線ベクトルの方向について特定の範囲を設定入力する範囲設定部と、前記算出部により算出された法線ベクトルが前記範囲設定部により設定された範囲内の方向に属する画素を特定し抽出する抽出部とを備えることを特徴とする。
【発明の効果】
【００１６】
本発明は、照明光の照射方向が異なるより多くの撮像画像データを使用して照度差ステレオ法により撮像対象物の撮像画像の各画素の位置について法線ベクトルを算出する場合でも、選出部により、各画素における法線ベクトルの算出よりも先に演算に必要な数の撮像画像データへの輝度値の絞り込みを行うので、多大な数になる法線ベクトルを求めるための撮像画像データの組み合わせに基づいて法線ベクトルの算出を行う必要がなく、各画
素について高速で法線ベクトルを求めることができると共にその算出処理負担を軽減することが可能である。
【図面の簡単な説明】
【００１７】
【図１】本実施形態たる電子部品実装装置の斜視図である。
【図２】カメラ及び照明装置の構成を示す斜視図である。
【図３】照明装置の平面図である。
【図４】電子部品実装装置の制御ブロック図である。
【図５】閾値設定部による閾値設定処理を示すフローチャートである。
【図６】閾値設定部による閾値設定時に表示装置に表示される表示例である。
【図７】下限閾値設定のために入力された領域内の輝度値とその画素数との関係を示すダイヤグラムである。
【図８】上限閾値設定のために入力された領域内の輝度値とその画素数との関係を示すダイヤグラムである。
【図９】画像処理装置による撮像画像の各画素における法線ベクトルの取得するための処理を示すフローチャートである。
【図１０】法線ベクトルの算出処理の説明図である。
【図１１】選出部による絞り込みの処理のフローチャートである。
【図１２】選出部による絞り込みの処理の説明図である。
【図１３】図１３（Ａ）〜（Ｃ）は選出部による絞り込みの他の例を示す説明図である。
【図１４】図１４（Ａ）、（Ｂ）は選出部による照明の照射方向による絞り込みの例を示す説明図である。
【図１５】従来技術による法線ベクトルの算出処理を示すフローチャートである。
【発明を実施するための形態】
【００１８】
（発明の実施形態）
発明の実施形態について、図１乃至図１２に基づいて説明する。図１は、本実施形態たる電子部品実装装置１００の斜視図である。以下、図示のように、水平面において互いに直交する二方向をそれぞれＸ軸方向とＹ軸方向とし、これらに直交する鉛直方向をＺ軸方向というものとする。
電子部品実装装置１００は、基板Ｓに各種の電子部品Ｃの搭載を行うものであって、図１に示すように、搭載される電子部品Ｃを供給する複数の部品供給装置としての電子部品フィーダ１０８を複数（図１では一つのみ図示）並べて保持する設置部としてのフィーダバンク１０２からなる部品供給部と、Ｘ軸方向に基板を搬送する基板搬送手段１０３と、当該基板搬送手段１０３による基板搬送経路の途中に設けられた基板Ｓに対する電子部品搭載作業を行うための基板保持部としての基板クランプ機構１０４と、部品配置部としての複数の吸着ノズル１０５を昇降可能に保持して電子部品Ｃの保持を行うヘッド１０６と、実装動作に要する各種の情報を得るために基板Ｓの半田パターンの撮像を行う撮像手段としてのカメラ１と、カメラ１による撮像持に照明光を照射する照明手段としての照明装置２と、ヘッド１０６を部品供給部と基板クランプ機構１０４とを含んだ作業エリア内の任意の位置に駆動搬送する移動機構としてのＸ−Ｙガントリ１０７と、上記各構成を搭載支持するベースフレーム１１４と、上記各構成の動作制御を行うホストコントローラ１２０と、撮像装置１の撮像により得られる撮像画像データを処理して形状認識を行う画像処理装置１０を備えている。
【００１９】
かかる電子部品実装装置１００は、ホストコントローラ１２０が、電子部品Ｃの実装に関する各種の設定内容が記録された実装データを保有し、実装データから実装すべき電子部品Ｃと、電子部品Ｃの電子部品フィーダ１０８等の設置位置に基づく部品受け取り位置１０８ａと、基板上の実装位置を示すデータとを読み出すと共に、Ｘ−Ｙガントリ１０７
を制御してヘッド１０６を電子部品Ｃの受け取り位置１０８ａと実装位置とに移送し、各位置においてヘッド１０６を制御して吸着ノズル１０５の昇降動作及び吸着又は解放動作を行い、電子部品Ｃの実装の動作制御を実行する。
【００２０】
（基板搬送手段及び基板保持部）
基板搬送手段１０３は、図示しない搬送ベルトを備えており、その搬送ベルトにより基板をＸ軸方向に沿って搬送する。
また、前述したように、基板搬送手段１０３による基板搬送経路の途中には、電子部品Ｃを基板へ搭載する際の作業位置で基板Ｓを固定保持するための基板クランプ機構１０４が設けられている。かかる基板クランプ機構１０４が装備されており、基板搬送方向に直交する方向における両端部で基板Ｓをクランプするようになっている。また、基板クランプ機構１０４の下方には、クランプ時に基板Ｓの下面側に当接して電子部品搭載時に基板Ｓが下方に撓まぬように支承する複数の支持棒が設けられている。基板Ｓはこれらにより保持された状態で安定した電子部品Ｃの搭載作業が行われる。
【００２１】
（Ｘ−Ｙガントリ）
Ｘ−Ｙガントリ１０７は、Ｘ軸方向にヘッド１０６の移動を案内するＸ軸ガイドレール１０７ａと、このＸ軸ガイドレール１０７ａと共にヘッド１０６をＹ軸方向に案内する二本のＹ軸ガイドレール１０７ｂと、Ｘ軸方向に沿ってヘッド１０６を移動させる駆動源であるＸ軸モータ１０９と、Ｘ軸ガイドレール１０７ａを介してヘッド１０６をＹ軸方向に移動させる駆動源であるＹ軸モータ１１０とを備えている。そして、各モータ１０９、１１０の駆動により、ヘッド１０６を二本のＹ軸ガイドレール１０７ｂの間となる領域のほぼ全体に搬送することを可能としている。
なお、各モータ１０９、１１０は、それぞれの回転量がホストコントローラ１２０に認識され、所望の回転量となるように制御されることにより、ヘッド１０６を介して吸着ノズル１０５の位置決めを行っている。
また、電子部品実装作業の必要上、前記した二つのフィーダバンク１０２，基板クランプ機構１０４とはいずれもＸ−Ｙガントリ１０７によるヘッド１０６の搬送可能領域内に配置されている。
【００２２】
（ヘッド）
ヘッド１０６は、その先端部で空気吸引により電子部品Ｃを保持する吸着ノズル１０５（図１参照）と、吸着ノズル１０５をＺ軸方向に沿って昇降させる昇降機構としてのＺ軸モータ１１１と、吸着ノズル１０５を回転させて保持された電子部品ＣをＺ軸方向回りに角度調節するためのθ軸モータ１１２とが設けられている。
また、上記吸着ノズル１０５は、Ｚ軸方向に沿った状態で昇降可能且つ回転可能にヘッド１０６に支持されており、昇降による電子部品Ｃの受け取り又は実装及び回転による電子部品Ｃの角度調節が可能となっている。
【００２３】
（フィーダバンク及び電子部品フィーダ）
フィーダバンク１０２は、ベースフレーム１１４のＹ軸方向一端部（図１手前側）にＸ軸方向に沿った状態で設けられている。フィーダバンク１０２は、Ｘ−Ｙ平面に沿った長尺の平坦部を備え、当該平坦部の上面に複数の電子部品フィーダ１０８等がＸ軸方向に沿って羅列して載置装備される（図１では電子部品フィーダ１０８を一つのみ図示しているが実際には複数の電子部品フィーダ１０８等が並んで装備される）。
また、フィーダバンク１０２は、各電子部品フィーダ１０８等を保持するための図示しないラッチ機構を備えており、必要に応じて、各電子部品フィーダ１０８等をフィーダバンク１０２に対して装着又は分離することを可能としている。
【００２４】
上述した電子部品フィーダ１０８は、後端部には電子部品Ｃが均一間隔で並んで封止さ
れたテープを巻回したテープリールを保持し、先端上部にはヘッド１０６に対する電子部品Ｃの供給位置である受け渡し部を有している。そして、電子部品フィーダ１０８がフィーダバンク１０２に取り付けられた状態における電子部品Ｃの受け渡し部の位置を示すＸ、Ｙ座標値は前述した実装データに記録されている。
【００２５】
（カメラ）
図２はカメラ１の周辺の構成を示す斜視図である。カメラ１及び照明装置２を下方の基板に向けてヘッド１０６に装備し、基板Ｓの例えば半田パターンなどを撮像対象とする。
上記カメラ１は、例えば、ＣＣＤ撮像素子やＣＭＯＳ撮像素子を備えたデジタル撮像画像データを取得可能なカメラであり、当該撮像素子の眼前に設けられた光学系が配設されている。なお、このカメラ１の撮像時に得られる画像信号は、画像処理装置１０に出力される。
【００２６】
（照明装置）
図３は照明装置２の平面図である。図２及び図３に示すように、撮像手段１のすぐ下側には、照明装置２が設けられている。この照明装置２は、Ｚ軸方向に沿ったカメラ１の視線（光軸）を中心とする円周上に均一の角度間隔で複数の光源が設けられており、それぞれの光源は下方であってカメラ１の光軸上の一点に向けて照明光を照射するように配置されている。なお、ここでは、光軸の周囲で20°の角度間隔で１８個の光源が設けられている照明装置２を例示するが光源の数は少なくと４以上であれば増減させても良い。
そして、この照明装置２の各光源は、ホストコントローラ１２０により個々に点灯を行うよう制御される。これにより、カメラ１の光軸上であって照明装置２の下方に配置された撮像対象に対して、20°の角度間隔で全方位から照明光の照射を行うことを可能としている。
【００２７】
（電子部品実装装置の制御系）
図３は電子部品実装装置１００の制御系を示すブロック図である。図示のように、Ｘ−Ｙガントリ１０７のＸ軸モータ１０９、Ｙ軸モータ１１０、ヘッド１０６において吸着ノズル１０５の昇降を行うＺ軸モータ１１１、吸着ノズル１０５の回転を行うθ軸モータ１１２は、それぞれ図示しない駆動回路を介してホストコントローラ１２０に接続されている。
また、撮像装置１の撮像の実行と照明装置２の光照射の実行とは、ホストコントローラ１２０により制御される。そして、撮像装置１の撮像による画像信号は、前述したように、画像処理装置１０に入力されるようになっている。
【００２８】
ホストコントローラ１２０は、実装対象となる電子部品Ｃのリスト及びその搭載の順番、各電子部品Ｃの基板Ｓ上における搭載位置、各電子部品Ｃがいずれの電子部品フィーダ１０８から受け取るかを示す受け取り位置等が定められた実装スケジュールデータを記憶する図示しないメモリと、実装動作制御プログラムを実行するＣＰＵ１２１とを主に備えている。
そして、電子部品の実装時には、実装スケジュールデータを読み込んで、Ｘ軸及びＹ軸モータ１０９，１１０を制御して所定の電子部品フィーダ１０８の受け取り位置にヘッド１０６を搬送し、Ｚ軸モータ１１１を制御して吸着ノズル１０５にて電子部品Ｃを吸着し、実装スケジュールデータに定められた基板実装位置に電子部品Ｃを搬送して実装を行う。
そして、実装スケジュールデータに定められた全ての電子部品Ｃについて実装を行い、動作制御を終了するようになっている。
【００２９】
また、ホストコントローラ１２０は、基板Ｓに対してその半田パターン等の形状検査を行うために、撮像制御を実行する。即ち、ホストコントローラ１２０は、後述する操作入
力装置１３から設定入力された撮像枚数を読み出すと共に、撮像対象物（例えば、半田パターン）の中心をカメラ１の光軸上となるようにした状態で、撮像対象物の上方から、設定された撮像枚数分の撮像を行う。そして、このとき、毎回の撮像持における照明光の照射方向が全て異なるように照明装置２を制御する。例えば、設定された撮像枚数が９枚の場合には、照明装置２の0°，40°，80°，120°，…に位置する光源を順番に発光させつつ（図３の白色部）、カメラ１による撮像を実行する。即ち、照明光の照射方向を40°間隔（一つ飛び）で切り換えながら順番に撮影を行う。このように、点灯を行う光源は、撮像枚数に応じてなるべく均一角度間隔となるように照射方向を切り替える制御が行われる。
そして、毎回の撮像によりカメラ１が出力する画像信号は、画像処理装置１０に送信され、そのＡ／Ｄ変換部１１によりデジタル化され、撮像画像データに変換されて画像記憶部１２に記憶される。
このように、ホストコントローラ１２０は、カメラ１及び照明装置２を制御して、照明光の照射方向が異なる複数の撮像画像データを取得する制御部として機能する。
【００３０】
また、ホストコントローラ１２０は、画像処理装置１０と通信可能に接続されており、半田パターンの撮像の解析の結果に基づいて得られる半田パターンの形状の情報を画像処理装置１０から受信し、半田パターンの異常判定を行って基板Ｓへの実装の適否を判断するようになっている。
【００３１】
（画像処理装置）
画像処理装置１０は、照明光の照射方向が異なる複数の撮像画像データをカメラ１により取得し、それら複数の撮像画像データに基づいて、画像を構成する全ての画素について、撮像対象である電子部品Ｃの表面における法線ベクトルを算出する処理を行うものである。
【００３２】
このため、図４に示すように、画像処理装置１０は、上記撮像装置１の複数回の撮像による画像信号をＡ／Ｄ変換して各撮像ごとの撮像撮像画像データを生成するＡ／Ｄコンバータ１１と、これらの撮像画像データを格納する画像記憶部１２と、各撮像画像データの同じ画素について得られた輝度値の絞り込みを行うと共に絞り込まれた輝度値から当該画素における法線ベクトルを算出する処理部２０と、撮像画面内の全画素又は任意の画素における法線ベクトルを形状データとして記憶する処理結果記憶部３０と、形状データをホストコントローラ１２０に送信する図示しない通信部と、各部の処理の実行及びデータの格納について制御するＣＰＵ１４と、各種設定データ等を記憶するデータメモリ１６とを備えている。
また、画像処理装置１０には、撮像画像等の表示を行う表示装置１５と各種の設定や指令の入力を行うための操作入力装置１３とが併設されており、画像処理装置１０には、これらを接続するためのインターフェイス１５ａ，１３ａが設けられている。
【００３３】
また、上記処理部２０は、同一の撮像対象物について少なくとも照明光の照射方向が異なる四以上の撮像画像データが得られた場合に、画像内の個々の画素について、三つの撮像画像データにおける輝度値に絞り込みを行う選出部２１と、画像内の個々の画素について、絞り込まれた三つの輝度値から当該画素の位置における撮像対象物の表面の法線ベクトルを算出する算出部２２と、選出部２１での絞り込みを行うための輝度値の閾値を設定する閾値設定部２３とを備えている。
【００３４】
上記算出部２２は、撮像画像内の各画素についてその撮像対象物の表面の法線ベクトルを算出するために照度差ステレオ法を利用する。
照度差ステレオ法では、照明光の照射方向が異なる三つの撮像画像データの同一の位置の画素における三つの輝度値から、当該画素における撮像対象物表面の法線ベクトルを算
出することが可能である。
即ち、照度差ステレオ法では、物体表面における拡散反射光の光強度が、物体表面に対する光源からの照明光の照射方向と当該光源の光強度との間で一定の関係にあることを利用して、異なる三方向からの各光源からの照射時におけるそれぞれの物体表面の輝度値から法線を逆算して求めるものである。
【００３５】
拡散反射光Ｉは次式(1)により求められる。但し、ρは拡散反射率、Ｉ0は光源強度、Ｌは光源ベクトル、ｎは法線ベクトルである。
Ｉ＝ρ・Ｉ0・Ｌ・ｎ …(1)
で求められる。
この時、ベクトルＮを次式(2)に示すように法線ベクトルｎの定数倍と定義すると、
Ｎ＝ρ・Ｉ0・ｎ …(2)
式(1)、(2)により
Ｉ＝Ｌ・Ｎ …(3)
さらに、式(3)により次式(4)が導き出される。
Ｎ＝Ｌ−１・Ｉ …(4)
【００３６】
即ち、ベクトルＮ＝（ｘＮ，ｙＮ，ｚＮ）とした場合、当該ベクトルＮと、光線ベクトルＬ１，Ｌ２，Ｌ３からなる光源行列Ｌと、各光線ベクトルＬ１，Ｌ２，Ｌ３を照射方向とした時の輝度値Ｉ１，Ｉ２，Ｉ３からなる拡散反射光Ｉとの間には次式(5)，(6)が成立し、次式(6)を解くことによりｘＮ，ｙＮ，ｚＮを算出することが可能である。
【数１】
【００３７】
上式(6)より求まるベクトルＮは、法線ベクトルｎの定数倍なので、ベクトルＮの各XYZ成分をベクトル長さで割ることで、単位ベクトルである法線ベクトルｎを求めることができる。
なお、各光線ベクトルＬ１，Ｌ２，Ｌ３のｘ，ｙ，ｚ成分の値は、撮像対象物である電子部品Ｃをカメラ１に対して規定の高さで撮像することを前提とした場合に、照明装置２の１８個の光源のいずれから照射したかによって確定する値であり、これらは初期設定データとしてデータメモリ１６内に登録されている。
従って、算出部２２は、撮像画像の画素ごとに選択された三つの撮像画像データから、同一画素での輝度値Ｉ１，Ｉ２，Ｉ３を取得し、当該三つの撮像画像データの撮像時の光源から各光線ベクトルＬ１，Ｌ２，Ｌ３をデータメモリから読み出して、上記手法により法線ベクトルｎの算出を行う。
【００３８】
選出部２１及び閾値設定部２３は、算出部２２が各画素について法線ベクトルｎを算出する際に用いる三つの撮像画像データを四以上ある複数の撮像画像データの中から絞り込
むための処理及び制御を行うものである。なお、選出される三つの撮像画像データの組み合わせは各画素ごとに個別に選出される。
上述した照度差ステレオ法では、撮像対象物である電子部品Ｃの表面に生じる反射は拡散反射光のみとは限らない。撮像画像中には、鏡面反射光や陰影、外乱などにより照度差ステレオ法を適用できない部分が存在することがある。そこで、４枚以上の複数の撮像画像データから、注目座標（同じ位置の画素）ごとに適した三つの輝度値に絞り込みを行ってから照度差ステレオ法による法線ベクトルの算出を行う。
【００３９】
例えば、前述した例示によれば、９つの光源からの照明光の照射による９つの撮像座像データを取得しているため、同じ位置の画素については９つの輝度値が取得されている。これに対して、選出部２１は、これらの中から３つの輝度値に絞り込みを行う。なお、この絞り込みは、画像を構成する複数の画素について個別に行うため、個々の画素についてそれぞれ異なる三つの撮像画像データの組み合わせで絞り込まれることとなる。
選出部２１における絞り込みは、同じ位置の画素の九つの輝度値に対して、(i)輝度値について定められた上限閾値から下限閾値までの範囲外となるものを除外する、(ii)(i)による除外を行った上で残った輝度値を小さい順にソートして輝度値が最下位のもの（暗いもの）から順番に三つ選出する、という二段階で行う。
【００４０】
また、上記(i)の絞り込みにおける輝度値の上限閾値と下限閾値とは、閾値設定部２３の処理により決定される。
図５は閾値設定部２３よる下限閾値を設定する処理を示すフローチャートである。かかる閾値設定処理は、電子部品実装装置１００による電子部品の実装作業の中で行っても良いし、実装作業を行う前に実装作業と切り離して実行しても良い。
この閾値設定処理は、撮像対象物の撮像画像データを用いて作業者が所定の領域を特定し、当該領域に含まれる画素の輝度値に基づいて閾値が設定されるものである。その際、使用される撮像画像データは、前述した九つの撮像画像データを利用しても良いし、別に撮像を行って得られた撮像画像データを使用しても良いが、照明装置２によりいずれかの光源からの照明光の照射が行われており、法線ベクトルを算出する場合と同じ条件で同じ対象物を撮像した撮像画像データであることを必須とする。
【００４１】
まず、表示装置１５のモニタに撮像画像を表示する（ステップＳ１１）。図６は撮像対象物である半田パターンの撮像画像のモニタ表示画面を示している。かかる撮像画像において、符号Ｄは輝度値が低いために照度差ステレオ法に不適切である陰影部であり、符号Ｒは輝度値が高いために照度差ステレオ法に不適切である鏡面反射部（飽和部）であり、符号Ｈは照度差ステレオ法に適切な通常の拡散反射部である。
【００４２】
そして、作業者の操作入力装置１３の操作による、照度差ステレオ法に好ましくない陰影部Ｄを含む領域の指定入力を受け付ける（ステップＳ１３）。
操作入力装置１３は、例えばマウスのような入力インターフェイスを備えており、その操作により図６に示すような、四角いフレーム状のウィンドウ領域Ｗ１の位置及び大きさを指定する。このとき、作業者は、図示のように、陰影部Ｄが指定領域内により多く含まれるように指定しつつ、陰影部Ｄ以外の周辺領域も含まれるように領域指定を行うことが望ましい。なお、このステップＳ１３では、下限閾値設定のためのウィンドウ領域Ｗ１の指定を促すようなナビゲーション表示を行っても良い。
【００４３】
かかる領域指定が行われると、閾値設定部２３は、ウィンドウ領域Ｗ１に含まれる各画素の輝度値によるヒストグラムを作成する（ステップＳ１５）。
図７は、閾値設定部２３により作成されたウィンドウ領域Ｗ１の輝度値のヒストグラムを示す線図である。かかるヒストグラムでは、画素の分布の集中するピークが複数現れることとなるが、陰影部Ｄを含むようにウィンドウ領域Ｗ１が指定されているため、複数あ
るピークの内で最も輝度値が低いピークが陰影部Ｄの輝度値と推定される。そこで、閾値設定部２３では、最も輝度値が低いピークＰ１と二番目に輝度値が低いピークＰ２とを求め、その間に存在する谷の部分Ｖ１の輝度値を下限閾値Ｉminに設定する（ステップＳ１７）。
【００４４】
次に、上記処理にて設定された下限閾値Ｉminが陰影部の判定に適するか否かの確認処理を行う。即ち、作業者の操作入力装置１３の操作による、陰影部Ｄのみからなる小ウィンドウ領域Ｗ１１の指定入力を受け付ける（ステップＳ１９）。なお、ウィンドウではなく、撮像画像の一点を指定する入力方法としても良い。
そして、閾値設定部２３では、指定された小ウィンドウ領域Ｗ１１内の画素の輝度値がステップＳ１７で求めた下限閾値Ｉminより小さい値となるか判定を行う（ステップＳ２１）。なお、この判定において、小ウィンドウ領域Ｗ１１内の画素の輝度値が下限閾値Ｉmin以上となった場合には、ステップＳ１３に処理を戻し、下限閾値設定のやり直しとなる。
【００４５】
また、上記判定にて、小ウィンドウ領域Ｗ１１内の画素の輝度値が下限閾値Ｉminより小さい値となることが確認された場合には、作業者の操作入力装置１３の操作による、陰影部を含まない範囲の小ウィンドウ領域Ｗ１２の指定入力を受け付ける（ステップＳ２３）。この場合も、ウィンドウではなく、撮像画像の一点を指定する入力方法としても良い。
そして、閾値設定部２３では、指定された小ウィンドウ領域内の画素の輝度値がステップＳ１７で求めた下限閾値Ｉmin以上の値となるか判定を行う（ステップＳ２５）。なお、この判定において、小ウィンドウ領域Ｗ１２内の画素の輝度値が下限閾値Ｉminより小さくなった場合には、ステップＳ１３に処理を戻し、下限閾値設定のやり直しとなる。
また、上記判定にて、小ウィンドウ領域Ｗ１２内の画素の輝度値が下限閾値Ｉmin以上となることが確認された場合には、下限閾値Ｉminが確定され、データメモリ１６内に登録される。
【００４６】
また、上記下限閾値の設定と共に、上限閾値の設定も行われる。かかる上限閾値の設定時にも、下限閾値の場合を同様にして、表示装置１５のモニタに撮像画像が表示され、これに対して、作業者による鏡面反射部Ｒを含むウィンドウ領域Ｗ２（図６）の指定入力を受け付ける。
そして、ウィンドウ領域Ｗ２に含まれる各画素の輝度値によるヒストグラムが作成され（図８参照）、ウィンドウ領域Ｗ１の場合と同様にピークが複数現れることとなるが、上限閾地の設定の場合には、閾値設定部２３は、最も輝度値が高いピークＰ３と二番目に輝度値が高いピークＰ４とを求め、その間に存在する谷の部分Ｖ２の輝度値を上限閾値Ｉmaxに設定する。
また、確認処理も下限閾値の場合と同様に、鏡面反射部Ｒのみからなる小ウィンドウ領域Ｗ２１の指定入力を受け付けて、その輝度値が上限閾値Ｉmaxより大きい値となるか判定し、さらに、鏡面反射部Ｒを含まない範囲の小ウィンドウ領域Ｗ２２の指定入力を受け付けて、その輝度値が上限閾値Ｉmax以下の値となるか判定を行う。そして、上限閾値Ｉmaxが確認処理で不適切な場合にはウィンドウ領域Ｗ２の入力からやり直しとなり、適切な場合には上限閾値Ｉmaxが確定され、データメモリ１６内に登録される。
なお、上限閾値と下限閾値とはいずれを先に設定しても良い。
【００４７】
（画像処理装置による法線ベクトルを取得するための処理）
図９は画像処理装置１０による撮像画像の各画素における法線ベクトルの取得するための処理を示すフローチャートである。
図９に示すように、まず、ホストコントローラ１２０により照明装置２とカメラ１とが制御され、基板Ｓの半田パターンを４以上の複数方向から照明光を照射しつつ撮像が行わ
れる（ステップＳ５１）。
そして、各照射方向の撮像により得られた撮像画像データはそれぞれ照明装置２のいずれの光源による照明光が照射されたかを示す情報と共に画像記憶部１２に記憶される。
【００４８】
次いで、前述した閾値設定部２３による上限閾値Ｉmaxと下限閾値Ｉminとを設定する処理が行われる（ステップＳ５３）。設定された上限閾値Ｉmaxと下限閾値Ｉminはデータメモリ１６に記憶される。
【００４９】
次いで、撮像画像を構成する全画素について順番に一つずつ法線ベクトルｎの算出処理がステップＳ５５〜Ｓ６１において行われる。
ステップＳ５５〜Ｓ６１の法線ベクトルｎの算出処理は、図１０に示すように、撮像画像における全画素について画面の端に位置する画素から一つずつ順番に繰り返し実行される。なお、以下の説明では、法線ベクトルを算出する対象となっている画素を注目画素というものとする。
【００５０】
まず、全撮像画像データにおける当該注目画素の位置での輝度値が画像記憶部１２から読み込まれる。なお、図１０及び後述する図１２では説明を簡明にするために撮像画像データが５つある場合を例示する。つまり、この例では各撮像画像データの注目画素から５つの輝度値が読み込まれる。
そして、選出部２１により、五つの撮像画像データの注目画素の輝度値から三つに絞り込みが行われる（ステップＳ５５）。
【００５１】
図１１は選出部２１により絞り込みの処理を詳細に示すフローチャートであり、図１２は絞り込みの処理を概念的に示した説明図である。これらにより詳細に説明すると、まず、一つめの撮像画像データから順番の注目画素の輝度値について、下限閾値Ｉmin以上であって上限閾値Ｉmax以下の範囲内か否かを判定する（ステップＳ５５１）。
そして、上記閾値の範囲外となる場合には、当該輝度値の撮像画像データを計算不可能画像と判定し記録する（ステップＳ５５３）。
一方、上記閾値の範囲内となる場合には、当該輝度値の撮像画像データを使用画像と判定し記録する（ステップＳ５５５）
そして、上記ステップＳ５５１〜Ｓ５５５の処理を５つの撮像画像データの全てについて繰り返し実行する。
例えば、図１２では二番目の撮像画像データ（×印）が計算不可能画素と判定された場合を示している。
【００５２】
次に、使用画像と判定された撮像画像データの注目画素のそれぞれの輝度値を値の低い順番にソートする（ステップＳ５５７）。図１２では四つの画素が輝度値の低い順にソートされた状態を示している。
そして、各注目画素の輝度値について、値が低いものから順番に三つまでを選出し（図１２○印）、それらの輝度値となった三つの撮像画像データを最終的な使用画像に決定する（ステップＳ５５９）。
【００５３】
そして、選出部２１による絞り込みの処理が終わると、処理部２０では、三つの撮像画像データが使用画像として選出されたか否かを判定する（図９のステップＳ５７）。
そして、例えば、５つの撮像画像データについて前述した絞り込みの処理のステップＳ５５１の判定が行われた結果、使用画像が三つに満たなくなった場合には、現在の注目画素は法線ベクトルｎを求めることができない無効画素として処理結果記憶部３０に記憶する（ステップＳ５９）。
【００５４】
また、選出部２１による絞り込みの結果、三つの撮像画像データが使用画像として選出
された場合には、それぞれの撮像画像データの注目画素における三つの輝度値Ｉ１，Ｉ２，Ｉ３と、三つの撮像画像データの撮像持の光源に応じた光源ベクトルＬ１，Ｌ２，Ｌ３とに基づいて算出部２２が前述した式(6)を解いてベクトルＮのｘＮ，ｙＮ，ｚＮを算出する。さらに、ベクトルＮのｘＮ，ｙＮ，ｚＮをそのベクトル長さで除算して法線ベクトルｎを算出する（ステップＳ６１）。このとき、算出された法線ベクトルｎは、その注目画素における法線ベクトルｎとして処理結果記憶部３０に記憶される。
そして、上記ステップＳ５５〜Ｓ６１までの処理が撮像画像の全ての画素について完了すると、当該撮像画像の全ての画素の法線ベクトルｎが取得され、例えば、これらが撮像対象物である半田パターンの形状データとしてホストコントローラ１２０に送信される。
【００５５】
ホストコントローラ１２０では、例えば、半田パターンについて撮像が行われ、上記形状データが画像処理装置１０から送信されると、当該形状データをサンプルデータと比較して半田パターンの外部形状の異常判定を行ったり、形状データから特徴部分を抽出して実装時の電子部品Ｃの位置決めなど動作制御に反映させたりすることができる。
【００５６】
（実施形態の効果）
以上のように、電子部品実装装置１００の画像処理装置１０では、照明光の照射方向が異なるより多くの撮像画像データを使用する場合でも、選出部２１により、各画素における法線ベクトルの算出よりも先に三つの撮像画像データへの輝度値の絞り込みを行うので、多大な数になる三つの撮像画像データの組み合わせの全てについて法線ベクトルを求める必要がなく、各画素について高速で法線ベクトルを求めることができると共にその算出処理負担を軽減することが可能である。
【００５７】
また、選出部２１は、注目画素の各撮像画像データの輝度値について上限閾値と下限閾値とを用いて絞り込みを行っているので、単純な比較処理で絞り込みを実現することができ、処理の高速化及び処理負担の軽減を図ることが可能となる。
さらに、閾値設定部２３では、実際の撮像画像内での陰影領域や鏡面反射領域を選択し、実際の陰影や鏡面反射の輝度値に基づいて閾値設定を行うので、照度差ステレオ法による法線ベクトルの算出において、不適切な輝度値を示す画素を処理からより効果的に除去することができ、精度の高い法線ベクトルの算出が可能となる。
【００５８】
また、選出部２１は、注目画素の各撮像画像データの輝度値について上限閾値と下限閾値とを用いて絞り込みを行った後に、輝度値を低い順にソートして最低値から順に必要数に絞り込みを行うので、高速且つ負担軽減を図りつつ撮像画像データの輝度値を法線ベクトルの算出に必要な数まで絞り込むことを可能としている。
【００５９】
（選出部による輝度値の絞り込みの他の例[1]）
上記選出部２１では、上下の閾値により同じ位置の画素における複数の輝度値に対して絞り込みを行った後に、ソートして値の低いものから順番に輝度値の選出を行っているが、これに限られるものではない。例えば、図１３（Ａ）の○印に示すように、閾値により絞り込みを行った後に、ソートを行い、輝度値の高いものから順番に選出しても良い。
また、或いは、図１３（Ｂ）の○印に示すように、輝度値の順番が丁度中間順位となるもの及び中間順位に近いものから順番に選出しても良い。
或いは、輝度値の高低がなるべくバラつくように選出しても良い。例えば、図１３（Ｃ）の○印に示すように、輝度値が最も高いものと最も低いものと丁度中間のものとなるように選出しても良い。
輝度値の選出においてその順位の分布をいかなるものにすると、精度良く法線ベクトルが求まるかは、撮像対象物の表面状態や照明光の照射条件によっても変動する場合もあるので、これらに応じて適切な選出条件を選択することが望ましい。
【００６０】
（選出部による輝度値の絞り込みの他の例[2]）
上記選出部２１では、上下の閾値により同じ位置の画素における複数の輝度値に対して絞り込みを行った後に、輝度値の順番に従って輝度値の選出を行っているが、これに限らず、例えば、それぞれの撮像画像データの撮像持の照明光の照射方向に着目しても良い。
例えば、図１４（Ａ）の○印に示すように、それぞれの撮像画像データの撮像持の照明光の照射方向が最もバラつく組み合わせとなる撮像画像データの輝度値を選出しても良い。
或いは、図１４（Ｂ）の○印に示すように、それぞれの撮像画像データの撮像持の照明光の照射方向が互いに最も近づく組み合わせとなる撮像画像データの輝度値を選出しても良い。
【００６１】
（選出部による輝度値の絞り込みの他の例[3]）
上記選出部２１では、通常の絞り込み方法の他に、上述した絞り込みの他の例[1]や絞り込みの他の例[2]で示した他の絞り込み方向のいずれかを用いて、これら二つの方法で輝度値を選出し、算出部２２が注目画素について二つの方法で選出された輝度値に基づいてそれぞれ法線ベクトルを算出しても良い。
そして、処理部２０には、二つの方法で算出した同じ注目画素の法線ベクトルについて比較を行い、その方向の差が予め定めた許容値の範囲内か否かを判定する比較処理部を設けても良い。また、比較処理部は、比較の結果、許容値に範囲内であればどちらかの法線ベクトルを採用して処理結果記憶部３０に記録し、許容値の範囲外であれば、組み合わせが異なる二つの絞り込みの方法で輝度値の選出及び法線ベクトルの算出を行うか、或いはその注目画素については法線ベクトルの算出不可能であることを処理結果記憶部３０に記録する処理を行うことが望ましい。
【００６２】
（各種条件の設定手段の付加）
上記電子部品実装装置１００に、撮像対象物の撮像時における撮像枚数等の撮像条件や撮像時の照明光の照射方向や明るさ等の照明条件をパラメータとして設定する条件設定手段を付加しても良い。
例えば、撮像枚数を任意に設定可能とした場合、撮像枚数を多く設定する程、法線ベクトルの計算結果の精度は向上するが、複数の撮像対象について形状認識を行う場合には、全ての撮像対象物に対して最大の撮像枚数を設定しなくとも、撮像対象の材質の認識しやすさや、必要とされている精度によって枚数を調節することで、無駄な撮像や計算を省くことができる。
また、照明条件を任意に設定可能とした場合、撮像対象に合わせて最適な照明設定を切り替えることでより精度の高い計算が可能となる。
【００６３】
（各種条件の設定手段の付加）
上記画像処理装置１０には、算出された各画素における法線ベクトルの方向について特定の範囲を設定入力する範囲設定部と、各法線ベクトルが範囲設定部により設定された範囲内の方向に属する画素を特定し抽出する抽出部とを付加しても良い。
さらに抽出された画素については、処理結果記憶部３０に記憶しても良いし、表示装置１５のモニタに表示する表示制御を行っても良い。これにより、撮像対象物の表面において、一定の方向となる部分を抽出し、所定の形状条件を満たす部位を抽出したり、当該部位に囲まれる領域を特定したりすることができ、特定形状に対する新たな制御、検査、画像処理などに応用することが可能である。
【００６４】
（その他）
上記実施形態では、選出部２１において輝度値を三つに絞り込んでいるが、これに限定されるものではなく、四以上に絞り込んでも良い。だたし、その場合には、絞り込まれた四以上の輝度値の中から三つの輝度値の組み合わせを複数作ることができるので、各組み
合わせから求まる複数の法線ベクトルについて平均化等により最終的に一つの法線ベクトルに確定する必要がある。
【００６５】
また、上記実施形態では、基板Ｓの半田パターンを撮像対象物として例示したが、例えば基板Ｓの全体像を撮像して法線ベクトルを算出しても良いし、半田パターン以外の一部分のみを撮像対象物としてもよいことは言うまでもない。
また、カメラ１及び照明装置２を上方に向けてベースフレーム１１４に装備し、ヘッド１０５を位置決めして吸着ノズル１０５の吸着された電子部品Ｃやそのバンプなどを撮像対象としても良い。
【００６６】
また、上記実施形態では、撮像画像の全画素について法線ベクトルの算出を行う場合例示したが、撮像画像の一部の領域内の画素について法線ベクトルを算出する構成としても良い。
【００６７】
また、上記実施形態では、立体形状認識装置としての画像処理装置１０を電子部品実装装置１００に搭載した場合を例示したが、これに限定されず、例えば、電子部品の形状異常の検査装置に適用しても良い。
【００６８】
また、上記処理部２０では、選出部２１が、絞り込みによって使用画像として選出された撮像画像データが三つに満たない場合に、注目画素を無効画素として処理しているが、これに限らず、補間処理により法線データを新たに算出する補間処理部を付加しても良い。具体的には、隣接する周囲の２〜８の画素における法線ベクトルを合成する等により補間を行う。
【００６９】
なお、画像処理装置１０の処理部２０における各種の構成２１〜２３は、実際には、ソフトウェアにより実現しているが、これらの構成をFPGA(Field-Programmable Gate Array)のような集積回路（ハードウェア）で実現しても良い。
【符号の説明】
【００７０】
１ カメラ（撮像手段）
２ 照明装置（照明手段）
１０ 画像処理装置（立体形状認識装置）
１３ 操作入力装置
１５ 表示装置
２０ 処理部
２１ 選出部
２２ 算出部
２３ 閾値設定部
１００ 電子部品実装装置
１２０ ホストコントローラ（制御部）
Ｃ 電子部品
Ｓ 基板（撮像対象物）
【特許請求の範囲】
【請求項１】
対象物に対して異なる少なくとも四以上の方向から個別に照明光を照射する照明手段と、前記対象物を撮像する撮像手段と、前記照明手段及び前記撮像手段を制御して、前記照明光の照射方向が異なる複数の撮像画像データを取得する制御部とを備え、
照度差ステレオ法を用いて、前記照明光の照射方向が異なる複数の撮像画像データとそれぞれの照射方向とから撮像画像を構成する画素ごとにその位置の法線ベクトルを算出する立体形状認識装置において、
撮像画像を構成するそれぞれの画素について、前記複数の撮像画像データの同じ位置の画素における複数の輝度値を、予め定めた絞り込み条件に従って絞り込む選出部と、
撮像画像を構成するそれぞれの画素について、前記選出部により絞り込まれた同じ位置の画素における複数の輝度値に基づいて前記法線ベクトルを算出する算出部とを備えることを特徴とする立体形状認識装置。
【請求項２】
前記選出部は、予め定められた前記輝度値に対する閾値との比較により前記同じ位置の画素における複数の輝度値の絞り込みを行うことを特徴とする請求項１記載の立体形状認識装置。
【請求項３】
ティーチング操作により選択された対象物の撮像画像の一部の領域に含まれる画素の輝度値に基づいて前記閾値に設定する閾値設定部を備えることを特徴とする請求項２記載の立体形状認識装置。
【請求項４】
前記選出部は、前記閾値により前記同じ位置の画素における複数の輝度値の絞り込みを行った後に、前記同じ位置の画素における複数の輝度値について値が上位の所定数のもの、下位の所定数のもの又は中間順位の所定数のものに絞り込みを行うことを特徴とする請求項２又は３記載の立体形状認識装置。
【請求項５】
前記選出部は、前記閾値により前記同じ画素における複数の輝度値の絞り込みを行った後に、前記同じ画素における複数の輝度値についてその値の大きさがよりバラつくように絞り込みを行うことを特徴とする請求項２又は３記載の立体形状認識装置。
【請求項６】
前記選出部は、前記閾値により前記同じ位置の画素における複数の輝度値の絞り込みを行った後に、前記同じ位置の画素における複数の輝度値についてその撮像画像の照射光の照射方向のバラツキがより大きくなるように絞り込みを行うことを特徴とする請求項２又は３記載の立体形状認識装置。
【請求項７】
前記選出部は、前記閾値により前記同じ位置の画素における複数の輝度値の絞り込みを行った後に、前記同じ位置の画素における複数の輝度値についてその撮像画像の照射光の照射方向のバラツキがより小さくなるように絞り込みを行うことを特徴とする請求項２又は３記載の立体形状認識装置。
【請求項８】
撮像画像を構成するそれぞれの画素について、
前記選出部は複数の異なる絞り込み条件の内の二つの絞り込み条件により同じ位置の画素における複数の輝度値の絞り込みを行い、
前記算出部が、前記異なる二つの絞り込み条件で絞り込まれたそれぞれの輝度値について法線ベクトルを算出し、
前記異なる二つの絞り込み条件で絞り込まれた複数の輝度値により算出されたそれぞれの法線ベクトルを比較して許容値以上の差が生じた場合には、前記絞り込み条件を替えて再度算出又はその画素については法線ベクトル算出不能とする比較処理部を備えることを特徴とする請求項１から７のいずれか一項に記載の立体形状認識装置。
【請求項９】
前記照明手段による照射条件を設定する照射条件入力部を備え、
前記制御部は、前記照射条件に従って各々の撮像画像データを取得することを特徴とする請求項１から８のいずれか一項に記載の立体形状認識装置。
【請求項１０】
前記法線ベクトルの方向について特定の範囲を設定入力する範囲設定部と、
前記算出部により算出された法線ベクトルが前記範囲設定部により設定された範囲内の方向に属する画素を特定し抽出する抽出部とを備えることを特徴とする請求項１から９のいずれか一項に記載の立体形状認識装置。
【請求項１】
対象物に対して異なる少なくとも四以上の方向から個別に照明光を照射する照明手段と、前記対象物を撮像する撮像手段と、前記照明手段及び前記撮像手段を制御して、前記照明光の照射方向が異なる複数の撮像画像データを取得する制御部とを備え、
照度差ステレオ法を用いて、前記照明光の照射方向が異なる複数の撮像画像データとそれぞれの照射方向とから撮像画像を構成する画素ごとにその位置の法線ベクトルを算出する立体形状認識装置において、
撮像画像を構成するそれぞれの画素について、前記複数の撮像画像データの同じ位置の画素における複数の輝度値を、予め定めた絞り込み条件に従って絞り込む選出部と、
撮像画像を構成するそれぞれの画素について、前記選出部により絞り込まれた同じ位置の画素における複数の輝度値に基づいて前記法線ベクトルを算出する算出部とを備えることを特徴とする立体形状認識装置。
【請求項２】
前記選出部は、予め定められた前記輝度値に対する閾値との比較により前記同じ位置の画素における複数の輝度値の絞り込みを行うことを特徴とする請求項１記載の立体形状認識装置。
【請求項３】
ティーチング操作により選択された対象物の撮像画像の一部の領域に含まれる画素の輝度値に基づいて前記閾値に設定する閾値設定部を備えることを特徴とする請求項２記載の立体形状認識装置。
【請求項４】
前記選出部は、前記閾値により前記同じ位置の画素における複数の輝度値の絞り込みを行った後に、前記同じ位置の画素における複数の輝度値について値が上位の所定数のもの、下位の所定数のもの又は中間順位の所定数のものに絞り込みを行うことを特徴とする請求項２又は３記載の立体形状認識装置。
【請求項５】
前記選出部は、前記閾値により前記同じ画素における複数の輝度値の絞り込みを行った後に、前記同じ画素における複数の輝度値についてその値の大きさがよりバラつくように絞り込みを行うことを特徴とする請求項２又は３記載の立体形状認識装置。
【請求項６】
前記選出部は、前記閾値により前記同じ位置の画素における複数の輝度値の絞り込みを行った後に、前記同じ位置の画素における複数の輝度値についてその撮像画像の照射光の照射方向のバラツキがより大きくなるように絞り込みを行うことを特徴とする請求項２又は３記載の立体形状認識装置。
【請求項７】
前記選出部は、前記閾値により前記同じ位置の画素における複数の輝度値の絞り込みを行った後に、前記同じ位置の画素における複数の輝度値についてその撮像画像の照射光の照射方向のバラツキがより小さくなるように絞り込みを行うことを特徴とする請求項２又は３記載の立体形状認識装置。
【請求項８】
撮像画像を構成するそれぞれの画素について、
前記選出部は複数の異なる絞り込み条件の内の二つの絞り込み条件により同じ位置の画素における複数の輝度値の絞り込みを行い、
前記算出部が、前記異なる二つの絞り込み条件で絞り込まれたそれぞれの輝度値について法線ベクトルを算出し、
前記異なる二つの絞り込み条件で絞り込まれた複数の輝度値により算出されたそれぞれの法線ベクトルを比較して許容値以上の差が生じた場合には、前記絞り込み条件を替えて再度算出又はその画素については法線ベクトル算出不能とする比較処理部を備えることを特徴とする請求項１から７のいずれか一項に記載の立体形状認識装置。
【請求項９】
前記照明手段による照射条件を設定する照射条件入力部を備え、
前記制御部は、前記照射条件に従って各々の撮像画像データを取得することを特徴とする請求項１から８のいずれか一項に記載の立体形状認識装置。
【請求項１０】
前記法線ベクトルの方向について特定の範囲を設定入力する範囲設定部と、
前記算出部により算出された法線ベクトルが前記範囲設定部により設定された範囲内の方向に属する画素を特定し抽出する抽出部とを備えることを特徴とする請求項１から９のいずれか一項に記載の立体形状認識装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１２−１２２８７０（Ｐ２０１２−１２２８７０Ａ）
【公開日】平成２４年６月２８日（２０１２．６．２８）
【国際特許分類】
【出願番号】特願２０１０−２７４３５１（Ｐ２０１０−２７４３５１）
【出願日】平成２２年１２月９日（２０１０．１２．９）
【出願人】（０００００３３９９）ＪＵＫＩ株式会社 (1,557)
【Ｆターム（参考）】
【公開日】平成２４年６月２８日（２０１２．６．２８）
【国際特許分類】
【出願日】平成２２年１２月９日（２０１０．１２．９）
【出願人】（０００００３３９９）ＪＵＫＩ株式会社 (1,557)
【Ｆターム（参考）】
[ Back to top ]