表面外観検査装置
【課題】検査対象物の表面において濃淡ばらつきと欠陥とが混在する場合であっても、欠陥のみを確実に検出することができる表面外観検査装置を提供する。
【解決手段】表面外観検査装置１００に、ＬＥＤマトリクス照明１と、ＣＣＤカメラ５と、画像処理ユニット６と、を備え、画像処理ユニット６が、基準調光設定値Ｄ１を、（１）式を用いて決定し、輝度閾値Ｌｔｈを（２）式を用いて決定し、（７）式を満たさない場合には、半導体モールドパッケージ２００に濃淡ばらつきがあると判断し、画像をｍ×ｎ個に分割して分割領域を生成し、分割領域毎の平均輝度階調値Ｌ１（ｍ，ｎ）ｍｅａｎに基づいて、分割領域毎に調光設定値Ｄ２（ｍ，ｎ）を決定し、ＬＥＤマトリクス照明１が分割領域毎の調光設定値Ｄ２（ｍ，ｎ）で照明光を出射し、ＣＣＤカメラ５によって生成された画像データに対して、輝度閾値Ｌｔｈを用いて２値化処理を行うように構成した。
【解決手段】表面外観検査装置１００に、ＬＥＤマトリクス照明１と、ＣＣＤカメラ５と、画像処理ユニット６と、を備え、画像処理ユニット６が、基準調光設定値Ｄ１を、（１）式を用いて決定し、輝度閾値Ｌｔｈを（２）式を用いて決定し、（７）式を満たさない場合には、半導体モールドパッケージ２００に濃淡ばらつきがあると判断し、画像をｍ×ｎ個に分割して分割領域を生成し、分割領域毎の平均輝度階調値Ｌ１（ｍ，ｎ）ｍｅａｎに基づいて、分割領域毎に調光設定値Ｄ２（ｍ，ｎ）を決定し、ＬＥＤマトリクス照明１が分割領域毎の調光設定値Ｄ２（ｍ，ｎ）で照明光を出射し、ＣＣＤカメラ５によって生成された画像データに対して、輝度閾値Ｌｔｈを用いて２値化処理を行うように構成した。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表面外観検査装置に関し、特に、画像処理を用いた表面外観検査装置に関する。
【背景技術】
【０００２】
半導体装置は汎用の電子部品であるため、半導体装置をできるだけ廉価で提供することが望まれている。そのため、１個あたりの生産コストを低減するために様々な工夫がなされている。例えば、製造工程を自動化することにより、省力化が図られている。また、部材コストの低減や加工時間の短縮が図られている。また、消耗治具類の保守費用の低減が行われている。
【０００３】
さらに、これまで人手で行われてきた外観検査等の官能検査工程も自動化することにより、生産コストを低減することが望まれている。
一般的な表面外観検査装置として、画像処理を用いて、半導体モールドパッケージの表面外観検査を行うものが知られている。このような表面外観検査装置では、パッケージの上面や裏面あるいは側面を検査対象とする。
具体的には、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）から検査対象面に光を照射し、検査対象面の画像をＣＣＤカメラで撮影する。なお、ＣＣＤカメラで撮影することにより得られた画像データは、画素単位毎に輝度階調値を持つ画像データである。次いで、当該画像データに各種演算フィルタを用いて画像処理を行う。そして、予め設定されている輝度閾値によって、当該画像データに２値化処理を行う。
このようにして、半導体モールドパッケージの表面外観検査を行う。より具体的には、例えば、ボイド等の半導体モールドパッケージの表面の形状上の欠陥（以下、単に、「欠陥」と称する。）を、画像データの輝度階調値の低い部分として検出できるように閾値を設定する。
【０００４】
また、このような表面外観検査装置では、ＣＣＤカメラで撮影した画像データに基づいて半導体装置の表面の欠陥を検出する。そのため、良品の検査対象面の照明光反射率が面内で均一であり且つばらつきが小さいこと、照明光量が検査対象面の面内で均一で時系列的に変動がないことが、表面外観検査を自動化する上で必要な前提条件となる。
【０００５】
しかし、半導体モールドパッケージは、トランスファ成形機のポットへ投入した熱硬化性樹脂タブレットを溶融させながらプランジャで押し込んで樹脂封止金型のランナへ送り出し、キャビティ内へ溶融樹脂を流入させ硬化封止することにより形成される。そのため、半導体モールドパッケージの形状は、樹脂封止金型のキャビティの表面形状によって決定される。これにより、様々な要因により、個々の半導体モールドパッケージの表面の反射率には差が生じやすい。ここで、様々な要因としては、個々の樹脂封止金型の樹脂封止条件、キャビティ表面に焼き付いた樹脂、離型材の状況や金型のメンテナンス履歴による時系列的な変化等が挙げられる。
そのため、予め設定した輝度閾値を用いる場合、半導体モールドパッケージの表面の欠陥を検出しようとする際に、形状上問題がない部分も検出してしまうことがある。
これは、半導体モールドパッケージの表面形状が平坦であっても、半導体モールドパッケージの表面に反射率の異なる領域が存在すると、ＣＣＤカメラによって撮影された画像に濃淡ばらつきが発生してしまうためである。濃淡ばらつきが発生すると、ＣＣＤカメラによって取得された画像データの輝度階調値から、濃淡ばらつきの暗部と、欠陥との区別がしにくくなるためである。
【０００６】
画素単位毎に、ＣＣＤカメラによって撮影された画像の輝度階調値の度数をプロットして得られるヒストグラムの形状は、表面が平坦で均一な良品、表面が平坦であるが反射率にばらつきがある（濃淡ばらつきがある）良品、及び表面に欠陥がある不良品で異なっている。
表面が平坦で均一な（濃淡ばらつきのない）良品では、ヒストグラムは、正規分布の釣鐘型のような形状となる。換言すれば、ＣＣＤカメラによって撮影された画像において、画素単位毎の輝度階調値に偏りが少ない。
表面が平坦であるが反射率にばらつきがある（濃淡ばらつきがある）良品では、ヒストグラムは、複数の山が連なった形状となる。
表面に欠陥がある不良品では、ヒストグラムは、欠陥がある部分に相当する部分に輝度階調値のかなり低い平たい形状を含む釣鐘型のような形状となる。
【０００７】
そのため、予め設定した輝度閾値を用いても、表面が平坦であるが反射率にばらつきがある（濃淡ばらつきがある）良品と、表面に欠陥がある不良品とを容易に識別できる半導体装置の表面外観検査装置の開発が望まれている。
【０００８】
特許文献１には、はんだ付部の外観検査を行う外観検査装置が記載されている。特許文献１に記載の外観検査装置は、半球状のドーム形状の照明装置を有している。また、当該照明装置は、当該ドームの内面に複数のＬＥＤが設けられている。そして、当該照明装置により、複数の異なる照射角度で順次はんだ付部に光を照射し、はんだ付部の画像を撮影する。また、各照射角度毎に異なる閾値によって、画像データに２値化処理を行う。これにより、はんだ付部の外観検査を行っている。
【０００９】
また、特許文献２には、シェーディング補正を行う画像処理装置が記載されている。具体的には、画像データの複数ビットごとに平均濃度と目標濃度との関係を表す濃度変換テーブルを参照して、入力濃度に応じた出力濃度を生成することにより、シェーディング補正を行っている。
また、画像データの平均濃度を所定時間毎に算出し、前回平均濃度と今回平均濃度との差分に基づく補正量によって、照明装置の光量を補正している。
また、画像データの画素毎に輝度値を時間加算して得られる積算値の平均輝度を算出し、平均輝度と基準平均輝度との差分に基づく補正量によって、画像データの輝度を補正している。
【００１０】
また、特許文献３には、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）の表面を撮影し、画像処理を行った後、ヒストグラムを作成して、欠陥の検出を行う外観検査装置が記載されている。そして、特許文献３に記載の外観検査装置では、何らかの欠陥があると検出された部分のみについて再度ヒストグラムを作成し、ボイド欠陥か擬似欠陥かを区別する。
【００１１】
また、特許文献４には、累積濃度分布ヒストグラムと、判定すべき欠陥の面積に相当する画素数とに基づいて閾値を決定し、当該閾値で画像データに２値化処理を行う外観検査方法が記載されている。当該閾値を用いることにより、樹脂表面に濃淡ばらつきがあったとしても、欠陥を安定的に検出するようにしている。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】特開平１０−２６０１４０号公報
【特許文献２】特開平０８−１３９９８６号公報
【特許文献３】特開平１１−２１４４６４号公報
【特許文献４】特開平０６−３４１９６２号公報
【発明の概要】
【発明が解決しようとする課題】
【００１３】
しかしながら、特許文献１に記載の技術では、撮像デバイスの視野範囲内に検査対象部位が複数あっても、照明装置のドームの内面に設けられた全てのＬＥＤの光軸が交わる基点以外は検査対象部位になりえないという問題がある。換言すれば、当該基点を必ず検査対象部位の位置に合わせる必要がある。そのため、全ての検査対象部位を検査するまでに時間がかかる上、位置合わせの精度が検査能力を左右するという問題がある。
また、撮像デバイスのレンズを交換して光学倍率や焦点距離を変更する場合、照明装置と撮像デバイスの高さ位置を調整し直す必要がある。これは、撮像デバイスの焦点の位置と当該基点の位置とを正確に合わせる必要があるためである。
【００１４】
また、特許文献２に記載の技術では、画素毎に輝度値を時間加算して得られる積算値の平均輝度を算出し、平均輝度と基準平均輝度との差分に基づく補正量によって、画像データの輝度を補正している。そのため、基準平均輝度に近づくように、明るい画素は暗く、暗い画素は明るくなるように強制的に補正される。従って、濃淡ばらつきの暗部と表面形状欠陥の暗部は、基準平均輝度に向かって補正される。そのため、輝度閾値で２値化処理を行う際に、濃淡ばらつきと欠陥とを分離することが困難となる。従って、特許文献２に記載の技術では、欠陥を有する不良品と、比較的広範囲にわたる濃淡ばらつきを有する良品とを識別することが困難である。
【００１５】
また、特許文献３に記載の技術では、欠陥の周囲に輝度が低い部分がなく、欠陥の縁部形状が画像上に鮮明に現れていることを前提としている。そのため、ＩＣ表面に濃淡ばらつきがあり、欠陥の周囲に輝度が低い部分がある場合には、当該欠陥を検出することが困難であるという問題がある。
【００１６】
また、特許文献４に記載の技術では、累積濃度分布ヒストグラムに基づいて２値化処理で用いる閾値を自動的に決定する。しかし、欠陥と濃淡ばらつきの暗部とを、濃度で区別することは難しいので、濃淡ばらつきの暗部は、累積濃度分布を作成する時点で欠陥と同等に検出されてしまう。そのため、濃淡ばらつきの暗部と欠陥とを区別することは困難であるという問題がある。
【課題を解決するための手段】
【００１７】
本発明の第１の態様に係る表面外観検査装置は、検査対象物の表面の外観形状を検査する表面外観検査装置である。また、前記表面外観検査装置は、照明部、照明光学系、撮影部、撮影光学系、画像処理制御部を備える。前記照明部は、前記検査対象物の表面に照射する照明光を出射する。前記照明光学系は、前記照明部から出射された照明光を前記検査対象物の表面に導光する。前記撮影部は、前記検査対象物から反射される反射光を検出することにより、前記検査対象物の表面の画像データを生成する。前記撮影光学系は、前記検査対象物から反射された反射光を前記撮影部に導光する。前記画像処理制御部は、前記撮影部により生成された画像データに対して、少なくとも２値化処理を含む所定の画像処理を行う。
また、前記照明光学系の光軸と前記撮影光学系の光軸とは同軸となっている。
また、前記画像処理制御部は、最大調光設定値Ｄ０によって特定される最大の照明強度で前記照明部が照明光を出射して、前記撮影部によって生成された良品基準サンプルの表面の画像データから、前記良品基準サンプルの表面の計測領域内の画素の平均の輝度値である平均輝度階調値Ｌ０ｍｅａｎと、前記良品基準サンプルの表面の計測領域内の画素の最低の輝度値である最低輝度階調値Ｌ０ｍｉｎとを算出する。また、前記画像処理制御部は、輝度階調値の中央値をＬｃとした場合に、前記照明部から出射される照明光の基準の照明強度を特定する基準調光設定値Ｄ１を、下記の（１）式を用いて決定する。
Ｄ１＝（Ｌｃ÷Ｌ０ｍｅａｎ）×Ｄ０ ・・・・・（１）
また、前記画像処理制御部は、前記２値化処理において使用する輝度閾値Ｌｔｈを、下記の（２）式を用いて決定する。
Ｌｔｈ＝０．５×（Ｌ０ｍｉｎ２÷Ｌ０ｍｅａｎ） ・・・・・（２）
また、前記画像処理制御部は、前記照明部が基準調光設定値Ｄ１で照明光を出射して、前記撮影部によって生成された前記検査対象物の表面の画像データから、前記検査対象物の表面の計測領域内の画素の平均の輝度値である平均輝度階調値Ｌ１ｍｅａｎと、標準偏差σとを算出する。
また、前記画像処理制御部は、下記の（７）式を満たさない場合には、前記検査対象物に濃淡ばらつきがあると判断し、前記撮影部により撮影された画像をｍ×ｎ個に分割して分割領域を生成する。
Ｌ１ｍｅａｎ−３σ＞０ ・・・・・（７）
また、前記画像処理制御部は、前記分割領域毎に平均輝度階調値Ｌ１（ｍ，ｎ）ｍｅａｎを算出し、当該分割領域毎の平均輝度階調値Ｌ１（ｍ，ｎ）ｍｅａｎに基づいて、前記分割領域毎に前記照明部から出射される照明光の照射強度である調光設定値Ｄ２（ｍ，ｎ）を決定する。
そして、前記画像処理制御部は、前記照明部が前記分割領域毎の調光設定値Ｄ２（ｍ，ｎ）で照明光を出射して、前記撮影部によって生成された前記検査対象物の表面の画像データに対して、前記輝度閾値Ｌｔｈを用いて２値化処理を行うことにより、前記検査対象物の表面に欠陥があるか否かを判断する。
【００１８】
本発明の第１の態様においては、良品基準サンプルの平均輝度階調値Ｌ０ｍｅａｎが中央値Ｌｃとなるように、照明部から出射される照明光の照明強度が補正された上で、欠陥検出処理が開始される。また、２値化処理で用いられる輝度閾値Ｌｔｈが（２）式により決定される。換言すれば、輝度閾値Ｌｔｈは、良品基準サンプルの最低輝度表面部位の２次反射光の輝度であると仮定して決定される。さらに、欠陥検出処理において、検査対象物の表面に濃淡ばらつきがあるか否かが（７）式を用いて判断される。そして、検査対象物の表面に濃淡ばらつきがある場合には、分割領域毎に調光設定値Ｄ２（ｍ，ｎ）が決定される。換言すれば、検査対象物の表面に濃淡ばらつきがある場合には、照明部から出射される照明光の照明強度が分割領域毎に補正される。
これにより、分割領域毎に照明光の照明強度が補正されるとともに、輝度閾値Ｌｔｈが、良品基準サンプルの最低輝度表面部位の２次反射光の輝度であると仮定して決定されるため、濃淡ばらつきの暗部と欠陥とが輝度閾値Ｌｔｈを用いて識別することが可能となる。そのため、検査対象物の表面において濃淡ばらつきと欠陥とが混在する場合であっても、欠陥のみを確実に検出することができる。
【００１９】
本発明の第２の態様に係る表面外観検査装置は、検査対象物の表面の外観形状を検査する表面外観検査装置である。また、前記表面外観検査装置は、照明部、照明光学系、撮影部、撮影光学系、画像処理制御部、液晶シャッタパネルを備える。前記照明部は、前記検査対象物の表面に照射する照明光を出射する。前記照明光学系は、前記照明部から出射された照明光を前記検査対象物の表面に導光する。前記撮影部は、前記検査対象物から反射される反射光を検出することにより、前記検査対象物の表面の画像データを生成する。前記撮影光学系は、前記検査対象物から反射された反射光を前記撮影部に導光する。前記画像処理制御部は、前記撮影部により生成された画像データに対して、少なくとも２値化処理を含む所定の画像処理を行う。前記液晶シャッタパネルは、前記照明部の発光面を覆うように配置される。
また、前記照明光学系の光軸と前記撮影光学系の光軸とは同軸となっている。
また、前記画像処理制御部は、最大調光設定値Ｄ０によって特定される最大の照明強度で前記照明部が照明光を出射し、且つ前記液晶シャッタパネルが最大の開口率である最大開口率Ｓｈ０で開口し、前記撮影部によって生成された良品基準サンプルの表面の画像データから、前記良品基準サンプルの表面の計測領域内の画素の平均の輝度値である平均輝度階調値Ｌ０ｍｅａｎと、前記良品基準サンプルの表面の計測領域内の画素の最低の輝度値である最低輝度階調値Ｌ０ｍｉｎとを算出する。
また、前記画像処理制御部は、輝度階調値の中央値をＬｃとした場合に、前記液晶シャッタパネルの基準の開口率である基準開口率Ｓｈ１を、下記の（１０）式を用いて決定する。
Ｓｈ１＝（Ｌｃ÷Ｌ０ｍｅａｎ）×Ｓｈ０ ・・・・・（１０）
また、前記画像処理制御部は、前記２値化処理において使用する輝度閾値Ｌｔｈを、下記の（２）式を用いて決定する。
Ｌｔｈ＝０．５×（Ｌ０ｍｉｎ２÷Ｌ０ｍｅａｎ） ・・・・・（２）
また、前記画像処理制御部は、最大調光設定値Ｄ０によって特定される最大の照明強度で前記照明部が照明光を出射し、且つ前記液晶シャッタパネルが前記基準開口率Ｓｈ１で開口して、前記撮影部によって生成された前記検査対象物の表面の画像データから、前記検査対象物の表面の計測領域内の画素の平均の輝度値である平均輝度階調値Ｌ１ｍｅａｎと、標準偏差σとを算出する。
また、前記画像処理制御部は、下記の（７）式を満たさない場合には、前記検査対象物に濃淡ばらつきがあると判断し、前記撮影部により撮影された画像をｍ×ｎ個に分割して分割領域を生成する。
Ｌ１ｍｅａｎ−３σ＞０ ・・・・・（７）
また、前記画像処理制御部は、前記分割領域毎に平均輝度階調値Ｌ１（ｍ，ｎ）ｍｅａｎを算出し、前記分割領域内に前記計測領域が含まれる場合には、前記分割領域毎に前記液晶シャッタパネルの開口率Ｓｈ２（ｍ，ｎ）を、下記の（１２）式を用いて決定する。
Ｓｈ２（ｍ，ｎ）＝Ｓｈ１×Ｌｃ÷Ｌ１（ｍ，ｎ）ｍｅａｎ ・・・・・（１２）
また、前記画像処理制御部は、最大調光設定値Ｄ０によって特定される最大の照明強度で前記照明部が照明光を出射し、且つ前記液晶シャッタパネルが前記分割領域毎に開口率Ｓｈ２（ｍ，ｎ）で開口して、前記撮影部によって生成された前記検査対象物の表面の画像データに対して、前記輝度閾値Ｌｔｈを用いて２値化処理を行うことにより、前記検査対象物の表面に欠陥があるか否かを判断する。
【００２０】
本発明の第２の態様においては、良品基準サンプルの平均輝度階調値Ｌ０ｍｅａｎが中央値Ｌｃとなるように、液晶シャッタパネルの基準開口率Ｓｈ１が決定された上で、欠陥検出処理が開始される。また、２値化処理で用いられる輝度閾値Ｌｔｈが（２）式により決定される。換言すれば、輝度閾値Ｌｔｈは、良品基準サンプルの最低輝度表面部位の２次反射光の輝度であると仮定して決定される。さらに、欠陥検出処理において、検査対象物の表面に濃淡ばらつきがあるか否かが（７）式を用いて判断される。そして、検査対象物の表面に濃淡ばらつきがある場合には、分割領域毎に液晶シャッタパネルの開口率Ｓｈ２（ｍ，ｎ）が決定される。換言すれば、検査対象物に照射される照明光の照明強度が分割領域毎に補正される。
これにより、分割領域毎に検査対象物に照射される照明光の照明強度が補正されるとともに、輝度閾値Ｌｔｈが、良品基準サンプルの最低輝度表面部位の２次反射光の輝度であると仮定して決定されるため、濃淡ばらつきの暗部と欠陥とが輝度閾値Ｌｔｈを用いて識別することが可能となる。そのため、検査対象物の表面において濃淡ばらつきと欠陥とが混在する場合であっても、欠陥のみを確実に検出することができる。
【発明の効果】
【００２１】
本発明により、検査対象物の表面において濃淡ばらつきと欠陥とが混在する場合であっても、欠陥のみを確実に検出することができる。
【図面の簡単な説明】
【００２２】
【図１】本発明の実施の形態１に係る表面外観検査装置の一例を示すブロック図（図１（ａ））、本発明の実施の形態１に係るＬＥＤマトリクスの一例を示す平面図（図１（ｂ））である。
【図２】本発明の実施の形態１に係る表面外観検査装置における外観検査方法の準備段階を説明するフローチャートである。
【図３】本発明の実施の形態１に係る表面外観検査装置における外観検査方法の準備段階を説明する図である。
【図４】本発明の実施の形態１に係る表面外観検査装置における外観検査方法の準備段階を説明する図である。
【図５】本発明の実施の形態１に係る表面外観検査装置における外観検査方法の準備段階を説明する図である。
【図６】本発明の実施の形態１に係る表面外観検査装置における外観検査方法の準備段階を説明する図である。
【図７】本発明の実施の形態１に係る表面外観検査装置における外観検査方法の運用段階を説明するフローチャートである。
【図８】本発明の実施の形態１に係る表面外観検査装置における外観検査方法の運用段階を説明する図である。
【図９】本発明の実施の形態１に係る表面外観検査装置における外観検査方法の運用段階を説明する図である。
【図１０】本発明の実施の形態１に係る表面外観検査装置における外観検査方法の運用段階を説明する図である。
【図１１】本発明の実施の形態２に係る表面外観検査装置の一例を示すブロック図（図１１（ａ））、本発明の実施の形態２に係るＬＥＤマトリクスの一例を示す平面図（図１１（ｂ））である。
【図１２】本発明の実施の形態３に係る表面外観検査装置における外観検査方法の運用段階を説明するフローチャートである。
【発明を実施するための形態】
【００２３】
以下に、本発明を適用可能な実施の形態を説明する。なお、本発明は、以下の実施の形態に限定されるものではない。
実施の形態１．
図１（ａ）に、本発明の実施の形態１に係る表面外観検査装置１００の構成の一例を示すブロック図を示す。また、図１（ｂ）に、本発明の実施の形態１に係るＬＥＤマトリクスの平面図を示す。
表面外観検査装置１００は、図１に示すように、ＬＥＤマトリクス照明１（照明部）、照明レンズ群２（照明光学系）、ハーフミラー３、カメラレンズ群４（撮影光学系）、ＣＣＤカメラ５（撮影部）、画像処理ユニット６（画像処理制御部）、照明制御ユニット７、入力手段８、表示手段９等を備えている。
また、表面外観検査装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等を備えている。なお、図１において、ＣＰＵ、ＲＡＭ、ＲＯＭの図示は省略されている。ＲＯＭは、表面外観検査装置１００の各部を制御するための各種プログラム及び各種データを格納している。そして、ＣＰＵは、ＲＯＭに格納された各種プログラムを実行し、ＲＡＭに展開することにより、表面外観検査装置１００の各部を制御する。
【００２４】
図１（ｂ）に示すように、ＬＥＤマトリクス照明１は、複数のＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）が平面上にマトリクス状に配置された照明装置である。ＬＥＤマトリクス照明１において、複数のＬＥＤがマトリクス状に配置されることにより、照明光の発光面が平坦となる。ＬＥＤマトリクス照明１は、照明制御ユニット６から入力される制御信号に従って、各ＬＥＤの発光輝度を個別に調節する。
【００２５】
照明レンズ群２は、クリティカル照明光学系を構成している。これにより、ＬＥＤマトリクス照明１の発光面が検査対象物である半導体モールドパッケージ２００（検査対象物）の表面において結像する。従って、ＬＥＤマトリクス照明１から出射された照明光の発光面の光量分布を反映して、照明レンズ群２は、半導体モールドパッケージ２００に照明光を照射することができる。
例えば、照明レンズ群２は、ＬＥＤマトリクス照明１側から順に、第１の照射レンズ２１、第２の照射レンズ２２、第１の絞り２３、第２の絞り２４、第３の照射レンズ２５等を備えている。また、照明レンズ群２の光軸は、ＬＥＤマトリクス照明１の中心と一致している。
そして、照明レンズ群２は、ＬＥＤマトリクス１から出射された照明光の発散度合いを調節する。
【００２６】
ハーフミラー３は、ハーフミラー３の半導体モールドパッケージ２００側の面が、照明レンズ群２の光軸に対して４５°となるように、且つ、カメラレンズ群４の光軸に対して４５°となるように配置されている。また、ハーフミラー３は、ハーフミラー３の中心が、照明レンズ群２の光軸及びカメラレンズ群４の光軸上となるように配置されている。換言すれば、照明レンズ群２の光軸は、ハーフミラー３を介して、カメラレンズ群４の光軸と直交している。すなわち、照明レンズ群２の光軸と、カメラレンズ群４の光軸とは同軸となっている。
そして、ハーフミラー３は、照明レンズ群２とともに、同軸落射照明系を構成する。
【００２７】
カメラレンズ群４は、例えば、半導体モールドパッケージ２００側から順に、第１のカメラレンズ４１、第２のカメラレンズ４２、第３のカメラレンズ４３等を備えている。
また、カメラレンズ群４は、無限遠補正光学系を構成している。具体的には、第１のカメラレンズ４１は、対物レンズであり、第２のカメラレンズ４２は結像レンズである。そのため、半導体モールドパッケージ２００をカメラレンズ群４の焦点位置に設置すると、第１のカメラレンズ４１と第２のカメラレンズ４２との間において、半導体モールドパッケージ２００から反射された光は平行光となる。従って、第１のカメラレンズ４１と第２のカメラレンズ４２との距離は任意に設定することができる。そのため、ハーフミラー３を第１のカメラレンズ４１と第２のカメラレンズ４２との間の任意の位置に配置することができる。
【００２８】
ＣＣＤカメラ５は、カメラレンズ群４の光軸と撮像素子５１の撮像面の中心とが一致するように配置される。そして、ＣＣＤカメラ５は、画像処理ユニット６からの制御信号に従って、画像を撮影する。具体的には、例えば、ＣＣＤカメラ５は、画像処理ユニット６から撮影指令トリガが入力されると、画像の撮影を行い、取得した画像データを画像処理ユニット６に入力する。ここで、当該画像データは、画素単位毎に輝度階調値を持つ画像データである。
【００２９】
画像処理ユニット６は、ＣＣＤカメラ５から入力された画像データに対して、集計演算処理や各種画像フィルタ処理を行う。
また、画像処理ユニット６は、画像処理結果に基づいて、調光設定データ（後述）等の制御信号を生成し、当該制御信号を照明制御ユニット７に入力する。
また、画像処理ユニット６は、入力手段８及び表示手段９と接続されている。そして、画像処理ユニット６は、入力手段８から入力された画像処理の判定基準値や画像フィルタの選択指定に基づいて、画像処理を行う。また、画像処理ユニット６は、画像データに基づく画像を表示手段９に表示させる。また、画像処理ユニット６は、画像処理結果を表示手段９に表示させる。
【００３０】
照明制御ユニット７は、画像処理ユニット６から入力される調光設定データ等の制御信号に従って、ＬＥＤマトリクス照明１の各ＬＥＤの発光輝度を個別に調節するための制御信号を生成し、当該制御信号をＬＥＤマトリクス照明１に入力する。
【００３１】
次に、本発明の実施の形態１に係る表面外観検査装置１００における外観検査方法について説明する。本発明の実施の形態１に係る表面外観検査装置１００における外観検査方法は、準備段階と運用段階とに分けられる。
まず、本発明の実施の形態１に係る表面外観検査装置１００における表面外観検査方法の準備段階である閾値決定方法について、図２に示すフローチャートを参照しながら説明する。当該閾値決定方法では、半導体モールドパッケージ２００の良品基準サンプルを撮影して得られる画像データから、運用段階で使用される基準調光設定値Ｄ１と、運用段階の２値化処理で使用される輝度閾値Ｌｔｈを決定する。
【００３２】
まず、照明制御ユニット７は、最大調光設定値Ｄ０でＬＥＤマトリクス照明１の全てのＬＥＤを均一に点灯させる。これにより、ＬＥＤマトリクス照明１は最大の照明強度で照明光を出射する。また、画像処理ユニット６は、ＣＣＤカメラ５に良品基準サンプルを撮影させることにより、画像データを取得する（ステップＳ１）。ここで、当該画像データは、画素単位毎に輝度階調値を持つ画像データである。また、本発明において、照明強度とは、照明光の強度を意味し、光度、輝度、照度など、一般的に光の強度を表す量によって表されるものである。また、最大調光設定値Ｄ０は、最大の照明強度を特定するための値である。
【００３３】
次に、画像処理ユニット６は、ステップＳ１で取得した画像データにおいて、検査対象となるモールドパッケージの計測領域に相当するデータを指定する（ステップＳ２）。
図３（ａ）に、ステップＳ１で取得した画像を示す。例えば、図３（ａ）に示すように、ステップＳ２において、半導体モールドパッケージ２００の検査面２０１の縁部よりも内側の領域を計測領域２０２とする。
【００３４】
次に、画像処理ユニット６は、ステップＳ２において指定した計測領域２０２に相当するデータに基づいて、計測領域２０２の横軸をｘ軸、縦軸をｙ軸とした場合に、座標（ｉ，ｊ）における画素の輝度階調値Ｌ０（ｉ，ｊ）を計測領域２０２全体にわたって集計する。そして、画像処理ユニット６は、平均輝度階調値Ｌ０ｍｅａｎと、最低輝度階調値Ｌ０ｍｉｎを求める（ステップＳ３）。
図３（ｂ）に、計測領域２０２内の画素の輝度階調値Ｌ０（ｉ，ｊ）の分布を表すヒストグラムを示す。図３（ｂ）において、横軸は、輝度階調値を示し、縦軸は、度数を示す。ここで、度数とは、当該輝度階調値を有する画素の画素数である。また、図３（ｂ）において、輝度階調値は正の値であり、例えば、８ビット（０〜２５５）階調で表される。そして、輝度階調値の下限０は黒色、輝度階調値の上限Ｌｕは白色である。また、下限０と上限Ｌｕ（最大輝度階調値Ｌｕ）との中央値をＬｃとする。
図３（ｂ）に示すように、良品基準サンプルを撮像して得られる画像データの場合、計測領域２０２の輝度階調値Ｌ０（ｉ，ｊ）の分布は、略釣鐘型のような形状となる。そして、当該釣鐘形状の頂点付近に相当する輝度階調値が平均輝度階調値Ｌ０ｍｅａｎとなる。また、当該分布の最小値が最低輝度階調値Ｌ０ｍｉｎとなる。
【００３５】
次に、画像処理ユニット６は、ステップＳ３において求めた平均輝度階調値Ｌ０ｍｅａｎが、中央値Ｌｃとなるように、基準調光設定値Ｄ１を決定する（ステップＳ４）。ここで、基準調光設定値Ｄ１は、ＬＥＤマトリクス照明１から出射される照明光の基準の照明強度を特定するための値である。
具体的には、下記の（１）式を用いて基準調光設定値Ｄ１を決定する。
Ｄ１＝（Ｌｃ÷Ｌ０ｍｅａｎ）×Ｄ０ ・・・・・（１）
これにより、最大調光設定値Ｄ０で全てのＬＥＤを均一に点灯させて、ＬＥＤマトリクス照明１から良品基準サンプルに照明光を照射させた際の、平均輝度階調値Ｌ０ｍｅａｎが、輝度階調範囲の中央値Ｌｃとなるように、運用段階で使用される基準調光設定値Ｄ１が決定される。換言すれば、運用段階においては、最大調光設定値Ｄ０で全てのＬＥＤを均一に点灯させて、ＬＥＤマトリクス照明１から良品基準サンプルに照明光を照射させた際の、平均輝度階調値Ｌ０ｍｅａｎが、輝度階調範囲の中央値Ｌｃとなるように、ＬＥＤマトリクス照明１の照明が調整される。
【００３６】
次に、画像処理ユニット６が、運用段階の２値化処理で使用される輝度閾値Ｌｔｈを決定する（ステップＳ５）。当該輝度閾値Ｌｔｈは、良品基準サンプルの最低輝度部位と、表面の形状上の欠陥（以下、単に、「欠陥」と称する。）と、を識別するために使用される。
具体的には、欠陥の最も単純なモデルは、断面視略Ｖ字状の溝であり、当該欠陥の表面は、半導体モールドパッケージ２００の表面に対して４５°傾斜している。照明レンズ群２の光軸とカメラレンズ群４の光軸とが同軸となっている場合、当該略Ｖ字状の欠陥の撮像画像の輝度は、２次反射光の輝度となる。そのため、略Ｖ字状の欠陥の輝度が半導体モールドパッケージ２００上の欠陥の中で、最大の輝度となる。そのため、略Ｖ字状の欠陥の輝度を、良品基準サンプルの最低輝度部位と欠陥とを識別するための輝度閾値Ｌｔｈとすることができる。
そこで、基準調光設定値Ｄ１でＬＥＤマトリクス照明１から半導体モールドパッケージ２００に照明光を照射し、半導体モールドパッケージ２００の表面から反射される反射光をＣＣＤカメラ５により撮像することにより得られた画像データにおいて輝度が最低となる画素に相当する部位（以下、「最低輝度表面部位」と称する。）の付近に欠陥があると仮定する。そして、当該欠陥において反射する反射光のうち、最も反射回数が少ない反射光（２次反射光）の輝度を輝度閾値Ｌｔｈとする。２次反射光の輝度は、１次反射光の輝度から１／２の輝度に減衰することから、輝度閾値Ｌｔｈは、下記の（２）式で表される。
Ｌｔｈ＝０．５×（Ｌ０ｍｉｎ２÷Ｌ０ｍｅａｎ） ・・・・・（２）
よって、ステップＳ５においては、画像処理ユニット６が、（２）式を用いて、ステップＳ３において求めた平均輝度階調値Ｌ０ｍｅａｎと最低輝度階調値Ｌ０ｍｉｎとから、輝度閾値Ｌｔｈを算出する。
【００３７】
以下、（２）式の導出について、詳述する。
まず、ＣＣＤカメラ５によって取得される画像データの輝度階調値は、半導体モールドパッケージ２００の表面から反射され、ＣＣＤカメラ５の撮像素子５１に到達した反射光の輝度を反映した値である。そのため、画像データの輝度階調値から半導体モールドパッケージ２００の表面の反射率を推定することができる。
そこで、半導体モールドパッケージ２００の表面の反射率を、最大調光設定値Ｄ０でＬＥＤマトリクス照明１から照明光を照射した場合における、計測領域２０２内の座標（ｉ，ｊ）における画素の輝度階調値Ｌ０（ｉ，ｊ）と、最大輝度階調値Ｌｕとの比で定義することができる。すなわち、半導体モールドパッケージ２００の表面において、計測領域２０２内の座標（ｉ，ｊ）における画素に相当する部分の反射率β（ｉ，ｊ）は、下記の（３）式で表される。
β（ｉ，ｊ）＝Ｌ０（ｉ，ｊ）／Ｌｕ ・・・・・（３）
【００３８】
図４に、最大調光設定値Ｄ０でＬＥＤマトリックス照明１から光を照射した場合に、半導体モールドパッケージ２００の最低輝度表面部位１０１における入射光１０２と反射光１０３との関係を模式的に示す。
図４に示すように、入射光１０２は、最低輝度表面部位１０１において１回反射して、反射光１０３が最低輝度表面部位１０１から出射する。また、最低輝度表面部位１０１から１回反射される反射光１０３の輝度は、最低輝度階調Ｌ０ｍｉｎと推定することができるので、最低輝度表面部位１０１の反射率βｍｉｎは、下記の（４）式で表される。
βｍｉｎ＝Ｌ０ｍｉｎ／Ｌｕ ・・・・・（４）
【００３９】
半導体モールドパッケージ２００の表面において、欠陥が生じている部位においては入射光がｎ回反射されるため、欠陥が生じている部位の輝度は、形状がない部位の輝度の１／ｎに減衰している。
輝度閾値Ｌｔｈは、欠陥が生じている部位と欠陥が生じていない部位とを識別するための閾値である。本実施の形態に係る輝度閾値Ｌｔｈを用いることにより、欠陥が生じていないが輝度が比較的低い部位と、欠陥が生じているが輝度が比較的高い部位とを識別することができる。
そこで、輝度閾値Ｌｔｈを決定するにあたって、良品基準サンプルの最低輝度表面部位と同等の反射率を有する部位に欠陥がある場合を想定する。また、当該部位に入射した入射光が当該欠陥のため２回反射し、当該部位から反射された反射光をＣＣＤカメラ５によって撮像されると仮定する。そして、ＣＣＤカメラ５によって撮像された画像データの輝度階調値を輝度閾値Ｌｔｈとする。
【００４０】
図５に、基準調光設定値Ｄ１でＬＥＤマトリックス照明１から光を照射した場合に、半導体モールドパッケージ２００の最低輝度表面部位１０１における入射光と反射光との関係を模式的に示す。
図５に示すように、入射光１０４が最低輝度表面部位１０１の欠陥のない部位に入射した場合、当該入射光１０４は、１回反射して、反射光１０５が最低輝度表面部位１０１から出射する。
また、入射光１０４が最低輝度表面部位１０１の欠陥がある部位１０８に入射した場合、当該入射光１０４は、何回か反射して、反射光が最低輝度表面部位１０１から出射する。例えば、図５に示すように、入射光１０４が欠陥がある部位１０８の右端に入射した場合、１次反射光１０５となり、当該１次反射光１０５は、欠陥がある部位１０８の左端に入射して、２次反射光１０６となり、２次反射光１０６が最低輝度表面部位１０１から出射する。同様に、入射光１０４が欠陥がある部位の中央付近に入射した場合、欠陥がある部位１０８において何回か反射して、反射光１０７が最低輝度表面部位１０１から出射する。従って、欠陥がある部位１０８から反射される反射光のうち、２次反射光は、反射回数が最も少ない反射光である。
【００４１】
ここで、基準調光設定値Ｄ１でＬＥＤマトリクス照明１から光を良品基準サンプルに照射した場合に得られる画像データの最低輝度階調Ｌｍｉｎは、良品基準サンプルの最低輝度表面部位から反射される１次反射光の輝度である。また、基準調光設定値Ｄ１でＬＥＤマトリクス照明１から光を照射した場合の入射光の輝度は、Ｄ１÷Ｄ０×Ｌｕである。そのため、最低輝度階調Ｌｍｉｎは、下記の（５）式で表される。
Ｌｍｉｎ＝βｍｉｎ×（Ｄ１÷Ｄ０×Ｌｕ）
＝（Ｌ０ｍｉｎ÷Ｌｕ）×（Ｄ１÷Ｄ０×Ｌｕ）
＝Ｌ０ｍｉｎ×（Ｄ１÷Ｄ０） ・・・・・（５）
【００４２】
最低輝度表面部位と同等の反射率を有し、且つ、欠陥がある部位で反射された２次反射光の輝度階調値が輝度閾値Ｌｔｈであるから、輝度閾値Ｌｔｈは、下記の（６）式で表すことができる。
Ｌｔｈ＝βｍｉｎ×Ｌｍｉｎ
＝βｍｉｎ×Ｌ０ｍｉｎ×（Ｄ１÷Ｄ０）
＝（Ｌ０ｍｉｎ÷Ｌｕ）×Ｌ０ｍｉｎ×（Ｄ１÷Ｄ０）
＝（Ｌ０ｍｉｎ２÷Ｌｕ）×（Ｄ１÷Ｄ０）
＝（Ｌ０ｍｉｎ２÷Ｌｕ）×（（Ｌｃ÷Ｌ０ｍｅａｎ）×Ｄ０÷Ｄ０）
＝（Ｌｃ÷Ｌｕ）×（Ｌ０ｍｉｎ２÷Ｌ０ｍｅａｎ）
＝０．５×（Ｌ０ｍｉｎ２÷Ｌ０ｍｅａｎ） ・・・・・（６）
したがって、輝度閾値Ｌｔｈは、準備段階において、最大調光設定値Ｄ０でＬＥＤマトリクス照明１から光を照射してＣＣＤカメラ５により取得される画像データから算出することができる。
【００４３】
なお、準備段階では、基準調光設定値Ｄ１及び輝度閾値Ｌｔｈの他、運用段階の２値化処理後に必要となる不良判定基準値を設定する。不良判定基準値は、欠陥の大きさを判定するための値である。また、不良判定基準値は、入力手段８から入力される値である。
【００４４】
図６（ａ）に、ステップＳ５において、基準調光設定値Ｄ１でＬＥＤマトリクス照明１から半導体モールドパッケージ２００に照明光を照射してＣＣＤカメラ５により取得された画像を示す。
また、図６（ｂ）に、基準調光設定値Ｄ１でＬＥＤマトリクス照明１から半導体モールドパッケージ２００に照明光を照射した場合の、計測領域２０２内の画素の輝度階調値Ｌ１（ｉ，ｊ）の分布を表すヒストグラムを示す。図６（ｂ）において、横軸は、輝度階調値を示し、縦軸は、度数を示す。ここで、度数とは、当該輝度階調値を有する画素の画素数である。また、図６（ｂ）において、輝度階調値は正の値であり、例えば、８ビット（０〜２５５）階調で表される。そして、輝度階調値の下限０は黒色、輝度階調値の上限Ｌｕは白色である。また、下限０と上限Ｌｕ（最大輝度階調値Ｌｕ）との中央値をＬｃとする。
図６（ｂ）に示すように、基準調光設定値Ｄ１でＬＥＤマトリクス照明１から半導体モールドパッケージ２００に照明光を照射した場合、平均輝度階調値Ｌ１ｍｅａｎが中央値Ｌｃと同じとなっており、最低輝度階調値Ｌ１ｍｉｎよりも輝度閾値Ｌｔｈは、低い値となっている。
【００４５】
次に、本発明の実施の形態１に係る表面外観検査装置１００における表面外観検査方法の運用段階である欠陥検出方法について、図７に示すフローチャートを参照しながら説明する。当該欠陥検出方法では、基準調光設定値Ｄ１でＬＥＤマトリクス照明１の全てのＬＥＤを均一に点灯して、ＣＣＤカメラ５により半導体モールドパッケージ２００の表面を撮影する。また、ＣＣＤカメラにより取得された画像データの計測領域２０２の輝度階調値に統計処理を行う。また、当該統計処理によって半導体モールドパッケージ２００の表面の濃淡ばらづきがあるか否かを判定する。そして、当該濃淡ばらつきに応じて、ＬＥＤマトリクス照明１の照明強度を部分的に補正する。
【００４６】
まず、照明制御ユニット７は、基準調光設定値Ｄ１でＬＥＤマトリクス照明１の全てのＬＥＤを均一に点灯させる（ステップＳ１０１）。
【００４７】
次に、画像処理ユニット６は、ＣＣＤカメラ５に半導体モールドパッケージ２００を撮影させることにより、画像データを取得する（ステップＳ１０２）。ここで、当該画像データは、画素単位毎に輝度階調値を持つ画像データである。
【００４８】
次に、画像処理ユニット６は、ステップＳ１０２で取得した画像データの計測領域２０２内の全ての画素の輝度階調値を統計処理することにより、平均輝度階調値Ｌ１ｍｅａｎと、標準偏差σを求める（ステップＳ１０３）。
【００４９】
次に、画像処理ユニット６は、ステップＳ１０２で取得した画像データの計測領域２０２内の画素の輝度分布の形状から、半導体モールドパッケージ２００の表面の濃淡ばらつきがあるか否かを判定する（ステップＳ１０４）。具体的には、画像処理ユニット６は、平均輝度階調値Ｌ１ｍｅａｎと標準偏差σとが、下記の（７）式を満たすか否かに基づいて、半導体モールドパッケージ２００の表面の濃淡ばらつきがあるか否かを判定する。
Ｌ１ｍｅａｎ−３σ＞０ ・・・・・（７）
【００５０】
半導体モールドパッケージ２００の表面に濃淡ばらつきがほとんどない場合、画像データの計測領域２０２内に相当する画素の輝度階調値には偏りが少ない。そのため、画像データの計測領域２０２内に相当する画素の輝度分布をヒストグラムで表すと、当該ヒストグラムは、正規分布の釣鐘型のような形状となる。また、半導体モールドパッケージ２００の表面に濃淡ばらつきがほとんどない場合、当該半導体モールドパッケージ２００の表面に欠陥があったとしても、ヒストグラムの大部分は、正規分布の釣鐘型のような形状となる。
そして、輝度階調値は、黒色を表す下限値「０」から、白色を表す上限値「Ｌｕ」までの正の整数で表される。そのため、計測領域内２０２内に相当する画素の輝度分布が１つの釣鐘型のような形状となっている場合、「Ｌ１ｍｅａｎ−３σ」の値は正の数となる。
【００５１】
一方、半導体モールドパッケージ２００の表面の濃淡ばらつきが大きい場合、又は、濃淡ばらつきが発生している部分が半導体モールドパッケージ２００の大部分を占める場合、計測領域内２０２内に相当する画素の輝度分布は、２つ以上の複数の山を連なった形状となる。そのため、「Ｌ１ｍｅａｎ−３σ」の値は負の数となる。
【００５２】
ステップＳ１０４において、（７）式を満たす場合（ステップＳ１０４；Ｙｅｓ）、すなわち、半導体モールドパッケージ２００の表面に濃淡ばらつきがほとんどない場合、ステップＳ１０９に進む。
ステップＳ１０４において、（７）式を満たさない場合（ステップＳ１０４；Ｎｏ）、すなわち、半導体モールドパッケージ２００の表面の濃淡ばらつきが大きい場合、又は、濃淡ばらつきが発生している部分が半導体モールドパッケージ２００の大部分を占める場合、画像処理ユニット６は、ＣＣＤカメラ５によって撮影された撮影画像を分割し、各分割領域の平均輝度階調値Ｌ１（ｍ，ｎ）ｍｅａｎを求める（ステップＳ１０５）。
ここで、ｍ，ｎは正の整数であり、分割領域の位置を表す。例えば、本実施の形態では、画像処理ユニット６は、ＣＣＤカメラ５によって撮影された撮影画像を縦方向に８個且つ横方向に８個に分割する。換言すれば、ＣＣＤカメラ５によって撮影された撮像画像を６４分割する。そして、例えば、撮影画像の左上の頂点から横方向（ｘ軸方向）ｍ個目且つ縦方向（ｙ軸方向）ｎ個目の分割領域の位置を（ｍ，ｎ）とする。従って、平均輝度階調値Ｌ１（ｍ，ｎ）ｍｅａｎは、撮影画像の左上の頂点から横方向（ｘ軸方向）ｍ個目且つ縦方向（ｙ軸方向）ｎ個目の分割領域の平均輝度階調値である。
【００５３】
次に、画像処理ユニット６は、ステップＳ１０５における分割領域毎の調光設定値Ｄ２（ｍ，ｎ）を決定する（ステップＳ１０６）。ここでも、上記と同様に、（ｍ，ｎ）は、各分割領域の位置を表す。従って、調光設定値Ｄ２（ｍ，ｎ）は、撮影画像の左上の頂点から横方向（ｘ軸方向）ｍ個目且つ縦方向（ｙ軸方向）ｎ個目の分割領域の調光設定値である。なお、分割領域毎の調光設定値Ｄ２（ｍ，ｎ）は、ＬＥＤマトリクス照明１から出射される照明光の照明強度を分割領域毎に特定するための値である。
具体的には、分割領域に計測領域２０２が含まれていない場合、画像処理ユニット６は、下記の（８）式に基づいて、当該分割領域の調光設定値Ｄ２（ｍ，ｎ）を決定する。
Ｄ２（ｍ，ｎ）＝Ｄ１ ・・・・・（８）
また、分割領域に計測領域２０２が含まれる場合、画像処理ユニット６は、下記の（９）式に基づいて、当該分割領域の調光設定値Ｄ２（ｍ，ｎ）を決定する。
Ｄ２（ｍ，ｎ）＝Ｄ１×Ｌｃ÷Ｌ１（ｍ，ｎ）ｍｅａｎ ・・・・・（９）
【００５４】
換言すれば、分割領域に計測領域２０２が含まれていない場合、画像処理ユニット６は、各分割領域の調光設定値Ｄ２（ｍ，ｎ）を基準調光設定値Ｄ１から補正しない。
また、分割領域に計測領域２０２が含まれる場合、画像処理ユニット６は、輝度階調中央値Ｌｃと当該分割領域の平均輝度階調値Ｌ１（ｍ，ｎ）ｍｅａｎとの比率を基準調光設定値Ｄ１に乗算して、各分割領域の調光設定値Ｄ２（ｍ，ｎ）を補正する。
これにより、半導体モールドパッケージ２００の表面の濃淡ばらつきに応じてＬＥＤマトリクス照明１の照明強度を補正することができる。
【００５５】
次に、照明制御ユニット７は、分割領域別の調光設定値Ｄ２（ｍ，ｎ）でＬＥＤマトリクス照明１のＬＥＤを個別に点灯させる（ステップＳ１０７）。
【００５６】
次に、画像処理ユニット６は、ＣＣＤカメラ５に半導体モールドパッケージ２００を撮影させることにより、画像データを取得する（ステップＳ１０８）。
【００５７】
次に、画像処理ユニット６は、ステップＳ１０８において取得された画像データのうち、計測領域２０２に相当する画像データに対して２値化処理を行う（ステップＳ１０９）。具体的には、画像処理ユニット６は、ステップＳ１０８において取得された画像データのうち、計測領域２０２に相当する画素の輝度階調値Ｌ２（ｉ，ｊ）が輝度閾値Ｌｔｈより小さい場合には、当該画素の値を「１」とし、計測領域２０２に相当する画素の輝度階調値Ｌ２（ｉ，ｊ）が輝度閾値Ｌｔｈ以上である場合には、当該画素の値を「０」とする。
【００５８】
次に、画像処理ユニット６は、「１」の値を有する画素が連続して存在する部分の大きさが、準備段階において決定された不良判定基準値より大きいか否かに基づいて、半導体モールドパッケージ２００の表面の欠陥であるか否かを判断する（ステップＳ１１０）。例えば、「１」の値を有する画素が連続して存在する部分の大きさを、当該画素の数で表す。そして、画像処理ユニット６は、「１」の値を有する画素が連続して存在する部分の大きさが不良判定基準値と同じか不良判定基準値より大きい場合には、当該部分は、半導体モールドパッケージ２００の表面の欠陥であると判断する。また、画像処理ユニット６は、「１」の値を有するが疎が連続して存在する部分の大きさが不良判定基準値より小さい場合には、当該部分は、半導体モールドパッケージ２００の表面の欠陥ではないと判断する。
【００５９】
次に、画像処理ユニット６は、ロットＮｏ．が同じ半導体モールドパッケージ２００のうち、当該半導体モールドパッケージ２００が最後であるか否かを判断する（ステップＳ１１１）。
ステップＳ１１１において、ロットＮｏ．が同じ半導体モールドパッケージ２００のうち、当該半導体モールドパッケージ２００が最後でない場合には（ステップＳ１１１；Ｎｏ）、ステップＳ１０１に戻る。
ステップＳ１１１において、ロットＮｏ．が同じ半導体モールドパッケージ２００のうち、当該半導体モールドパッケージ２００が最後である場合には（ステップＳ１１１；Ｙｅｓ）、本処理を終了する。
【００６０】
図８（ａ）は、良品基準サンプルに対して図７のステップＳ１０１〜ステップＳ１０３を実施して得られた画像である。また、図８（ｂ）は、当該画像の計測領域２０２内の画素の輝度階調値のヒストグラムである。良品基準サンプルでは、半導体モールドパッケージ２００の表面に濃淡ばらつき及び欠陥がない。そのため、図８（ｂ）に示すように、ヒストグラムは、半導体モールドパッケージ２００の表面の濃淡輝度の平均値付近を頂点する釣鐘のような分布形状となる。また、濃淡ばらつきが少ないため、「Ｌ１ｍｅａｎ−３σ」の値は正となる。そのため、図７に示すステップＳ１０４において「Ｙｅｓ」となり、ステップＳ１０９における２値化処理が行われる。図８（ｃ）に、２値化処理後の画像を示す。また、図８（ｄ）に、２値化処理前の画像の計測領域２０２内の画素の輝度階調値のヒストグラムを示す。
【００６１】
図８（ｄ）に示すように、計測領域２０２内の全ての画素の輝度階調値が、輝度閾値Ｌｔｈより大きい。そのため、図８（ｃ）に示すように、２値化処理後の画像の計測領域２０２内の全ての画素は値「０」を有することとなる。従って、表面外観検査装置１００において、当該良品基準サンプルである半導体モールドパッケージ２００は、欠陥がない良品と判断される。
【００６２】
図９（ａ）は、濃淡ばらつきがある半導体モールドパッケージ２００に対して図７のステップＳ１０１〜ステップＳ１０３の処理を実施して得られた画像である。また、図９（ｂ）は、当該画像の計測領域２０２内の画素の輝度階調値のヒストグラムである。濃淡ばらつきがある半導体モールドパッケージ２００を撮影した画像では、様々な濃淡輝度値を持つ。そのため、図９（ｂ）に示すように、ヒストグラムは、暗いところから明るいところまでの広い範囲においてノコギリの歯のような分布形状となる。また、濃淡ばらつきがあるため、「Ｌ１ｍｅａｎ−３σ」の値は負となる。そのため、図７に示すステップＳ１０４において「Ｎｏ」となり、ステップＳ１０５の処理が行われることとなる。
【００６３】
図９（ｃ）は、図７のステップＳ１０５の処理が行われた画像である。また、図９（ｄ）は、当該画像の計測領域２０２内の画素の輝度階調値のヒストグラムである。図９（ｃ）に示すように、ステップＳ１０５においては、画像処理ユニット６が、ステップＳ１０１〜ステップＳ１０３の処理により取得された画像を縦方向に８個且つ横方向に８個に分割する。そして、画像処理ユニット６が、各分割領域の平均輝度階調値Ｌ１（ｍ，ｎ）ｍｅａｎを求める。図９（ｄ）に、横方向（ｘ軸方向）６個目且つ縦方向（ｙ軸方向）４個目の分割領域のＬ１（６，４）ｍｅａｎと、横方向（ｘ軸方向）４個目且つ縦方向（ｙ軸方向）５個目の分割領域のＬ１（４，５）ｍｅａｎとを示す。
【００６４】
そして、図７のステップＳ１０６において、画像処理ユニット６が、各分割領域毎に、調光設定値Ｄ２（ｍ，ｎ）を決定する。次いで、ステップＳ１０７において、照明制御ユニット７が、分割領域別の調光設定値Ｄ２（ｍ，ｎ）でＬＥＤマトリクス照明１のＬＥＤを個別に点灯させる。そして、ステップＳ１０８において、画像処理ユニット６が、ＣＣＤカメラ５に半導体モールドパッケージ２００を撮影させることにより、画像データを取得する。
【００６５】
図９（ｅ）は、図７のステップＳ１０６〜ステップＳ１０８の処理を実施して得られた画像である。また、図９（ｆ）は、当該画像の計測領域２０２内の画素の輝度階調値のヒストグラムである。
そして、図７のステップＳ１０９において、図９（ｅ）に示す画像データに対して２値化処理が行われる。
【００６６】
図９（ｇ）に、２値化処理後の画像を示す。また、図９（ｈ）に、２値化処理前の画像の計測領域２０２内の画素の輝度階調値のヒストグラムを示す。
図９（ｈ）に示すように、計測領域２０２内の全ての画素の輝度階調値が、輝度閾値Ｌｔｈより大きい。そのため、図９（ｇ）に示すように、２値化処理後の画像の計測領域２０２内の全ての画素は値「０」を有することとなる。従って、表面外観検査装置１００において、当該濃淡ばらつきがある半導体モールドパッケージ２００は、欠陥がない良品と判断される。
【００６７】
図１０（ａ）は、欠陥がある半導体モールドパッケージ２００に対して図７のステップＳ１０１〜ステップＳ１０３の処理を実施して得られた画像である。また、図１０（ｂ）は、当該画像の計測領域２０２内の画素の輝度階調値のヒストグラムである。欠陥ある半導体モールドパッケージ２００では、当該欠陥がある部分における反射光が減衰するため、当該欠陥部分に相当する画素の輝度階調値のみが低くなり、他の部分に相当する画素の輝度階調値は比較的高くほぼ同じ値となる。そのため、図１０（ｂ）に示すように、ヒストグラムは、半導体モールドパッケージ２００の表面の濃淡輝度の平均値付近を頂点する釣鐘のような分布形状となり、輝度階調値の低い部分が裾を引くような形状となる。また、濃淡ばらつきが少ないため、「Ｌ１ｍｅａｎ−３σ」の値は正となる。そのため、図７に示すステップＳ１０４において「Ｙｅｓ」となり、ステップＳ１０９における２値化処理が行われる。図１０（ｃ）に、２値化処理後の画像を示す。また、図１０（ｄ）に、２値化処理前の画像の計測領域２０２内の画素の輝度階調値のヒストグラムを示す。
【００６８】
図１０（ｄ）に示すように、計測領域２０２内の大部分の画素の輝度階調値が、輝度閾値Ｌｔｈより大きい。そのため、図１０（ｃ）に示すように、２値化処理後の画像の計測領域２０２内の大部分の画素は、値「０」を有することとなる。また、計測領域２０２内の一部の画素の輝度階調値は、輝度閾値Ｌｔｈより小さい。そのため、図１０（ｃ）に示すように、２値化処理後の画像の計測領域２０２内の一部の画素は、値「１」を有することとなる。従って、欠陥の部分に対応する画素のみが「１」を有することとなり、表面外観検査装置１００は、欠陥を検出することができる。
【００６９】
以上に説明した本発明の実施の形態１に係る表面外観検査装置１００によれば、良品基準サンプルの平均輝度階調値Ｌ０ｍｅａｎが中央値Ｌｃとなるように、ＬＥＤマトリクス照明１から出射される照明光の照明強度が補正された上で、欠陥検出処理が開始される。また、２値化処理で用いられる輝度閾値Ｌｔｈが（２）式により決定される。換言すれば、輝度閾値Ｌｔｈは、良品基準サンプルの最低輝度表面部位の２次反射光の輝度であると仮定して決定される。さらに、欠陥検出処理において、半導体モールドパッケージ２００の表面に濃淡ばらつきがあるか否かが（７）式を用いて判断される。そして、半導体モールドパッケージ２００の表面に濃淡ばらつきがある場合には、分割領域毎に調光設定値Ｄ２（ｍ，ｎ）が決定される。換言すれば、半導体モールドパッケージ２００の表面に濃淡ばらつきがある場合には、ＬＥＤマトリクス照明１から出射される照明光の照明強度が分割領域毎に補正される。
これにより、分割領域毎に照明光の照明強度が補正されるとともに、輝度閾値Ｌｔｈが、良品基準サンプルの最低輝度表面部位の２次反射光の輝度であると仮定して決定されるため、濃淡ばらつきの暗部と欠陥とが輝度閾値Ｌｔｈを用いて識別することが可能となる。そのため、半導体モールドパッケージ２００の表面において濃淡ばらつきと欠陥とが混在する場合であっても、欠陥のみを確実に検出することができる。
【００７０】
また、画像処理ユニット６は、分割領域内に計測領域２０２が含まれる場合には、分割領域毎にＬＥＤマトリクス照明１から出射される照明光の照射強度である調光設定値Ｄ２（ｍ，ｎ）を、上記の（９）式を用いて決定する。
そのため、半導体モールドパッケージ２００の表面において、分割領域の平均輝度階調値Ｌ１（ｍ，ｎ）ｍｅａｎが中央値Ｌｃとなるように、当該分割領域に照射される照明光の照明強度が補正される。これにより、半導体モールドパッケージ２００の表面に濃淡ばらつきがあっても、濃淡ばらつきを反映して、分割領域に照射される照明光の照明強度が補正することができる。そのため、濃淡ばらつきの暗部と欠陥とをより確実に識別することができる。
【００７１】
また、ＬＥＤマトリクス照明１は、平面上にマトリクス状に配置された複数のＬＥＤを備えている。そして、照明レンズ群２は、ＬＥＤマトリクス照明１から出射された照明光を半導体モールドパッケージ２００の表面に結像する。
これにより、照明レンズ群２は、ＬＥＤマトリクス照明１から出射された照射光の発光面の光量分布を反映して、半導体モールドパッケージ２００に照明光を照射することができる。
【００７２】
また、カメラレンズ群４は、半導体モールドパッケージ２００から反射される反射光を集光する第１のカメラレンズ４１と、第１のカメラレンズ４１によって集光された反射光をＣＣＤカメラ５の撮像素子５１上に結像する第２のカメラレンズ４２と、を備えている。そのため、半導体モールドパッケージ２００をカメラレンズ群４の焦点位置に設置すると、第１のカメラレンズ４１と第２のカメラレンズ４２との間において、半導体モールドパッケージ２００から反射された光は平行光となる。従って、第１のカメラレンズ４１と第２のカメラレンズ４２との距離は任意に設定することができる。そのため、ハーフミラー３を第１のカメラレンズ４１と第２のカメラレンズ４２との間の任意の位置に配置することができる。
【００７３】
また、照明レンズ群２の光軸とカメラレンズ群４の光軸とは、ハーフミラー３を介して直交している。これにより、ＬＥＤマトリクス照明１の全てのＬＥＤから出射された照明光をカメラレンズ群４の第１のカメラレンズ４１によって、半導体モールドパッケージ２００の表面に集光することができる。そのため、一度、半導体モールドパッケージ２００をカメラレンズ群４の焦点位置に設置すれば、カメラレンズ群４の倍率を変更しても、ＬＥＤマトリクス照明１及び照明レンズ群２の位置を変更する必要がない。
【００７４】
実施の形態２．
図１１に示すように、実施の形態２に係る表面外観検査装置３００の構成は、液晶シャッタパネル１０を備える点が、実施の形態１に係る表面外観検査装置１００と異なる。実施の形態２に係る表面外観検査装置３００のその他の構成は、実施の形態１に係る表面外観検査装置１００とほぼ同じであるため、同一の符号を使用するとともに、その説明を省略する。
【００７５】
液晶シャッタパネル１０は、ＬＥＤマトリクス照明１の発光面を覆うように配置されている。また、液晶シャッタパネル１０は、照明制御ユニット７と接続されている。そして、液晶シャッタパネル１０は、照明制御ユニット７から入力される制御信号に従って動作する。
【００７６】
照明制御ユニット７は、ＬＥＤマトリクス照明１の全てのＬＥＤを均一に点灯させる。また、照明制御ユニット７は、画像処理ユニット６から入力される調光設定データ等の制御信号に従って、液晶シャッタパネル１０の開口率を調整するための制御信号を生成し、当該制御信号を液晶シャッタパネル１０に入力する。
【００７７】
次に、実施の形態２に係る表面外観検査装置３００における表面外観検査方法の準備段階である閾値決定方法について、実施の形態１に係る表面外観検査装置１００と異なる部分のみについて、説明する。
まず、図２のステップＳ１において、照明制御ユニット７は、最大調光設定値Ｄ０でＬＥＤマトリクス照明１の全てのＬＥＤを均一に点灯させる。また、照明制御ユニット７は、液晶シャッタパネル１０を最大開口率Ｓｈ０で開口させる。また、画像処理ユニット６は、ＣＣＤカメラ５に良品基準サンプルを撮影させることにより、画像データを取得する。
【００７８】
また、図２のステップＳ４において、画像処理ユニット６は、ステップＳ３において求めた平均輝度階調値Ｌ０ｍｅａｎが、中央値Ｌｃとなるように、液晶シャッタパネル１０の基準開口率Ｓｈ１を決定する。具体的には、下記の（１０）式を用いて基準開口率Ｓｈ１を決定する。
Ｓｈ１＝（Ｌｃ÷Ｌ０ｍｅａｎ）×Ｓｈ０ ・・・・・（１０）
これにより、最大調光設定値Ｄ０で全てのＬＥＤを均一に点灯させるとともに、最大開口率Ｓｈ０で液晶シャッタパネル１０を開口させて、ＬＥＤマトリクス照明１から良品基準サンプルに照明光を照射させた際の、平均輝度階調値Ｌ０ｍｅａｎが、輝度階調範囲の中央値Ｌｃとなるように、運用段階で使用される基準開口率Ｓｈ１が決定される。換言すれば、運用段階においては、最大調光設定値Ｄ０で全てのＬＥＤを均一に点灯させるとともに、最大開口率Ｓｈ０で液晶シャッタパネル１０を開口させて、ＬＥＤマトリクス照明１から良品基準サンプルに照明光を照射させた際の、平均輝度階調値Ｌ０ｍｅａｎが、輝度階調範囲の中央値Ｌｃとなるように、液晶シャッタパネル１０の開口率が調整される。
【００７９】
次に、実施の形態２に係る表面外観検査装置３００における表面外観検査方法の運用段階である欠陥検出方法について、実施の形態１に係る表面外観検査装置１００と異なる部分のみについて、説明する。
図７のステップＳ１０６において、画像処理ユニット６は、ステップＳ１０５における分割領域毎に液晶シャッタパネル１０の開口率Ｓｈ２（ｍ，ｎ）を決定する。ここで、実施の形態１と同様に、（ｍ，ｎ）は、各分割領域の位置を表す。従って、開口率Ｓｈ２（ｍ，ｎ）は、撮影画像の左上の頂点から横方向（ｘ軸方向）ｍ個目且つ縦方向（ｙ軸方向）ｎ個目の分割領域における液晶シャッタパネル１０の開口率である。
【００８０】
具体的には、分割領域に計測領域２０２が含まれていない場合、画像処理ユニット６は、下記の（１１）式に基づいて、当該分割領域の開口率Ｓｈ２（ｍ，ｎ）を決定する。
Ｓｈ２（ｍ，ｎ）＝Ｓｈ１ ・・・・・（１１）
また、分割領域に計測領域２０２が含まれる場合、画像処理ユニット６は、下記の（１２）式に基づいて、当該分割領域の開口率Ｓｈ２（ｍ，ｎ）を決定する。
Ｓｈ２（ｍ，ｎ）＝Ｓｈ１×Ｌｃ÷Ｌ１（ｍ，ｎ）ｍｅａｎ ・・・・・（１２）
【００８１】
換言すれば、分割領域に計測領域２０２が含まれていない場合、画像処理ユニット６は、各分割領域の開口率Ｓｈ２を基準開口率Ｓｈ１から補正しない。
また、分割領域に計測領域２０２が含まれる場合、画像処理ユニット６は、輝度階調中央値Ｌｃと当該分割領域の平均輝度階調値Ｌ１（ｍ，ｎ）ｍｅａｎとの比率を基準開口率Ｓｈ１に乗算して、各分割領域の開口率Ｓｈ２（ｍ，ｎ）を補正する。
【００８２】
また、図７のステップＳ１０７において、照明制御ユニット７は、最大調光設定値Ｄ０でＬＥＤマトリクス照明１のＬＥＤを均一に点灯させるとともに、分割領域別の開口率Ｓｈ２（ｍ，ｎ）で液晶シャッタパネル１０を開口させる。
【００８３】
以上に説明した本発明の実施の形態２に係る表面外観検査装置３００によれば、実施の形態１に係る表面外観検査装置１００と同様の効果が得られるのは勿論のこと、特に、液晶シャッタパネル１０の開口率を制御することにより、半導体モールドパッケージ２００に照射される照明光の光量が制御される。そのため、ＬＥＤよりも小さい点光源の発光を個別に制御することができるため、ＬＥＤマトリクス照明１のＬＥＤの発光を個別に制御する場合に比べて、より細やかに、半導体モールドパッケージ２００に照射される照明光の光量を制御することができる。
【００８４】
実施の形態３．
図１１に示すように、実施の形態３に係る表面外観検査装置の構成は、実施の形態１に係る表面外観検査装置１００とほぼ同じであるため、同一の符号を使用するとともに、その説明を省略する。
【００８５】
実施の形態３に係る表面外観検査装置における表面外観検査方法の準備段階である閾値決定方法は、実施の形態１に係る表面外観検査装置１００と同様であるため、その説明を省略する。
次に、実施の形態３に係る表面外観検査装置における表面外観検査方法の運用段階である欠陥検出方法について、図１２に示すフローチャートを参照しながら、説明する。なお、図１２のステップＳ２０１〜ステップＳ２０５及びステップＳ２０７〜ステップＳ２１１の処理は、それぞれ、図７のステップＳ１０１〜ステップＳ１０５及びステップＳ１０７〜ステップＳ１１１の処理と同様であるため、その説明を省略する。
【００８６】
次に、画像処理ユニット６は、ステップＳ２０５における分割領域毎の調光設定値Ｄ２（ｍ，ｎ）を決定する（ステップＳ２０６）。ここで、実施の形態１と同様に、（ｍ，ｎ）は、各分割領域の位置を表す。従って、調光設定値Ｄ２（ｍ，ｎ）は、撮影画像の左上の頂点から横方向（ｘ軸方向）ｍ個目且つ縦方向（ｙ軸方向）ｎ個目の分割領域の調光設定値である。
具体的には、分割領域に計測領域２０２が含まれていない場合、画像処理ユニット６は、下記の（１３）式に基づいて、当該分割領域の調光設定値Ｄ２（ｍ，ｎ）を決定する。
Ｄ２（ｍ，ｎ）＝Ｄ１ ・・・・・（１３）
また、分割領域に計測領域２０２が含まれ、当該分割領域の平均輝度階調値Ｌ（ｍ，ｎ）ｍｅａｎが輝度閾値Ｌｔｈより小さい場合、画像処理ユニット６は、下記の（１４）式に基づいて、当該分割領域の調光設定値Ｄ２（ｍ，ｎ）を決定する。
Ｄ２（ｍ，ｎ）＝Ｄ１ ・・・・・（１４）
また、分割領域に計測領域２０２が含まれ、当該分割領域の平均輝度階調値Ｌ（ｍ，ｎ）ｍｅａｎが輝度閾値Ｌｔｈ以上である場合、画像処理ユニット６は、下記の（１５）式に基づいて、当該分割領域の調光設定値Ｄ２（ｍ，ｎ）を決定する。
Ｄ２（ｍ，ｎ）＝Ｄ１×Ｌｃ÷Ｌ１（ｍ，ｎ）ｍｅａｎ ・・・・・（１５）
【００８７】
換言すれば、分割領域に計測領域２０２が含まれていない場合、画像処理ユニット６は、各分割領域の調光設定値Ｄ２（ｍ，ｎ）を基準調光設定値Ｄ１から補正しない。
また、分割領域に計測領域２０２が含まれているが、当該分割領域の平均輝度階調値Ｌ１（ｍ，ｎ）ｍｅａｎが輝度閾値Ｌｔｈより小さい場合、画像処理ユニット６は、各分割領域の調光設定値Ｄ２（ｍ，ｎ）を基準調光設定値Ｄ１から補正しない。
また、分割領域に計測領域２０２が含まれており、且つ、当該分割領域の平均輝度階調値Ｌ１（ｍ，ｎ）ｍｅａｎが輝度閾値Ｌｔｈ以上である場合、画像処理ユニット６は、輝度階調中央値Ｌｃと当該分割領域の平均輝度階調値Ｌ１（ｍ，ｎ）ｍｅａｎとの比率を基準調光設定値Ｄ１に乗算して、各分割領域の調光設定値Ｄ２（ｍ，ｎ）を補正する。
【００８８】
従って、実施の形態３に係る表面外観検査装置では、平均輝度階調値Ｌ１（ｍ，ｎ）ｍｅａｎが輝度閾値Ｌｔｈより小さい分割領域に対する照明を補正しない。そのため、図１２のステップＳ２０９の２値化処理において、欠陥に相当する画素の輝度階調値Ｌ２（ｉ，ｊ）は、より確実に、輝度閾値Ｌｔｈより小さくなる。そのため、ステップＳ２０９の２値化処理によって、欠陥に相当する画素を容易に識別することができる。換言すれば、半導体モールドパッケージ２００の表面に濃淡ばらつきと欠陥との両方がある場合に、濃淡ばらつきの反射率が低い部位（画像データの輝度階調値が低い部位）を検出せずに、欠陥のみを検出することができる。
換言すれば、濃淡ばらつきの暗部は、良品基準サンプルの最低輝度部位よりも暗くなる可能性が考えられるが、略Ｖ字状の欠陥よりは明るくなると考えられる。そして、欠陥の大部分の輝度は輝度閾値Ｌｔｈよりも低い。そのため、欠陥が含まれる部分については照明強度の補正を行わず、欠陥が含まれない部分であって濃淡ばらつきがある部分については照明強度の補正を行うことにより、欠陥と濃淡ばらつきの暗部とを容易に識別することができる。
【００８９】
なお、本発明は、以上の実施の形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲内で適宜設計変更されるものとする。
例えば、実施の形態２においても、実施の形態３と同様に、分割領域に計測領域２０２が含まれ、且つ当該分割領域の平均輝度階調値Ｌ（ｍ，ｎ）ｍｅａｎが輝度閾値Ｌｔｈ以上である場合にのみ、画像処理ユニット６が、（１２）式を用いて液晶パネルシャッタ１０の分割領域毎の開口率Ｓｈ２を補正することとしてもよい。
また、画像処理ユニット６と照明制御ユニット７は一体として構成されてもよい。
【符号の説明】
【００９０】
１ ＬＥＤマトリクス照明（照明部）
２ 照明レンズ群（照明光学系）
３ ハーフミラー
４ カメラレンズ群（撮影光学系）
４１ 第１のカメラレンズ（対物レンズ）
４２ 第２のカメラレンズ（結像レンズ）
５ ＣＣＤカメラ（撮影部）
５１ 撮像素子
６ 画像処理ユニット（画像処理制御部）
１０ 液晶シャッタパネル
１００、３００ 表面外観検査装置
２００ 半導体モールドパッケージ（検査対象物）
【技術分野】
【０００１】
本発明は、表面外観検査装置に関し、特に、画像処理を用いた表面外観検査装置に関する。
【背景技術】
【０００２】
半導体装置は汎用の電子部品であるため、半導体装置をできるだけ廉価で提供することが望まれている。そのため、１個あたりの生産コストを低減するために様々な工夫がなされている。例えば、製造工程を自動化することにより、省力化が図られている。また、部材コストの低減や加工時間の短縮が図られている。また、消耗治具類の保守費用の低減が行われている。
【０００３】
さらに、これまで人手で行われてきた外観検査等の官能検査工程も自動化することにより、生産コストを低減することが望まれている。
一般的な表面外観検査装置として、画像処理を用いて、半導体モールドパッケージの表面外観検査を行うものが知られている。このような表面外観検査装置では、パッケージの上面や裏面あるいは側面を検査対象とする。
具体的には、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）から検査対象面に光を照射し、検査対象面の画像をＣＣＤカメラで撮影する。なお、ＣＣＤカメラで撮影することにより得られた画像データは、画素単位毎に輝度階調値を持つ画像データである。次いで、当該画像データに各種演算フィルタを用いて画像処理を行う。そして、予め設定されている輝度閾値によって、当該画像データに２値化処理を行う。
このようにして、半導体モールドパッケージの表面外観検査を行う。より具体的には、例えば、ボイド等の半導体モールドパッケージの表面の形状上の欠陥（以下、単に、「欠陥」と称する。）を、画像データの輝度階調値の低い部分として検出できるように閾値を設定する。
【０００４】
また、このような表面外観検査装置では、ＣＣＤカメラで撮影した画像データに基づいて半導体装置の表面の欠陥を検出する。そのため、良品の検査対象面の照明光反射率が面内で均一であり且つばらつきが小さいこと、照明光量が検査対象面の面内で均一で時系列的に変動がないことが、表面外観検査を自動化する上で必要な前提条件となる。
【０００５】
しかし、半導体モールドパッケージは、トランスファ成形機のポットへ投入した熱硬化性樹脂タブレットを溶融させながらプランジャで押し込んで樹脂封止金型のランナへ送り出し、キャビティ内へ溶融樹脂を流入させ硬化封止することにより形成される。そのため、半導体モールドパッケージの形状は、樹脂封止金型のキャビティの表面形状によって決定される。これにより、様々な要因により、個々の半導体モールドパッケージの表面の反射率には差が生じやすい。ここで、様々な要因としては、個々の樹脂封止金型の樹脂封止条件、キャビティ表面に焼き付いた樹脂、離型材の状況や金型のメンテナンス履歴による時系列的な変化等が挙げられる。
そのため、予め設定した輝度閾値を用いる場合、半導体モールドパッケージの表面の欠陥を検出しようとする際に、形状上問題がない部分も検出してしまうことがある。
これは、半導体モールドパッケージの表面形状が平坦であっても、半導体モールドパッケージの表面に反射率の異なる領域が存在すると、ＣＣＤカメラによって撮影された画像に濃淡ばらつきが発生してしまうためである。濃淡ばらつきが発生すると、ＣＣＤカメラによって取得された画像データの輝度階調値から、濃淡ばらつきの暗部と、欠陥との区別がしにくくなるためである。
【０００６】
画素単位毎に、ＣＣＤカメラによって撮影された画像の輝度階調値の度数をプロットして得られるヒストグラムの形状は、表面が平坦で均一な良品、表面が平坦であるが反射率にばらつきがある（濃淡ばらつきがある）良品、及び表面に欠陥がある不良品で異なっている。
表面が平坦で均一な（濃淡ばらつきのない）良品では、ヒストグラムは、正規分布の釣鐘型のような形状となる。換言すれば、ＣＣＤカメラによって撮影された画像において、画素単位毎の輝度階調値に偏りが少ない。
表面が平坦であるが反射率にばらつきがある（濃淡ばらつきがある）良品では、ヒストグラムは、複数の山が連なった形状となる。
表面に欠陥がある不良品では、ヒストグラムは、欠陥がある部分に相当する部分に輝度階調値のかなり低い平たい形状を含む釣鐘型のような形状となる。
【０００７】
そのため、予め設定した輝度閾値を用いても、表面が平坦であるが反射率にばらつきがある（濃淡ばらつきがある）良品と、表面に欠陥がある不良品とを容易に識別できる半導体装置の表面外観検査装置の開発が望まれている。
【０００８】
特許文献１には、はんだ付部の外観検査を行う外観検査装置が記載されている。特許文献１に記載の外観検査装置は、半球状のドーム形状の照明装置を有している。また、当該照明装置は、当該ドームの内面に複数のＬＥＤが設けられている。そして、当該照明装置により、複数の異なる照射角度で順次はんだ付部に光を照射し、はんだ付部の画像を撮影する。また、各照射角度毎に異なる閾値によって、画像データに２値化処理を行う。これにより、はんだ付部の外観検査を行っている。
【０００９】
また、特許文献２には、シェーディング補正を行う画像処理装置が記載されている。具体的には、画像データの複数ビットごとに平均濃度と目標濃度との関係を表す濃度変換テーブルを参照して、入力濃度に応じた出力濃度を生成することにより、シェーディング補正を行っている。
また、画像データの平均濃度を所定時間毎に算出し、前回平均濃度と今回平均濃度との差分に基づく補正量によって、照明装置の光量を補正している。
また、画像データの画素毎に輝度値を時間加算して得られる積算値の平均輝度を算出し、平均輝度と基準平均輝度との差分に基づく補正量によって、画像データの輝度を補正している。
【００１０】
また、特許文献３には、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）の表面を撮影し、画像処理を行った後、ヒストグラムを作成して、欠陥の検出を行う外観検査装置が記載されている。そして、特許文献３に記載の外観検査装置では、何らかの欠陥があると検出された部分のみについて再度ヒストグラムを作成し、ボイド欠陥か擬似欠陥かを区別する。
【００１１】
また、特許文献４には、累積濃度分布ヒストグラムと、判定すべき欠陥の面積に相当する画素数とに基づいて閾値を決定し、当該閾値で画像データに２値化処理を行う外観検査方法が記載されている。当該閾値を用いることにより、樹脂表面に濃淡ばらつきがあったとしても、欠陥を安定的に検出するようにしている。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】特開平１０−２６０１４０号公報
【特許文献２】特開平０８−１３９９８６号公報
【特許文献３】特開平１１−２１４４６４号公報
【特許文献４】特開平０６−３４１９６２号公報
【発明の概要】
【発明が解決しようとする課題】
【００１３】
しかしながら、特許文献１に記載の技術では、撮像デバイスの視野範囲内に検査対象部位が複数あっても、照明装置のドームの内面に設けられた全てのＬＥＤの光軸が交わる基点以外は検査対象部位になりえないという問題がある。換言すれば、当該基点を必ず検査対象部位の位置に合わせる必要がある。そのため、全ての検査対象部位を検査するまでに時間がかかる上、位置合わせの精度が検査能力を左右するという問題がある。
また、撮像デバイスのレンズを交換して光学倍率や焦点距離を変更する場合、照明装置と撮像デバイスの高さ位置を調整し直す必要がある。これは、撮像デバイスの焦点の位置と当該基点の位置とを正確に合わせる必要があるためである。
【００１４】
また、特許文献２に記載の技術では、画素毎に輝度値を時間加算して得られる積算値の平均輝度を算出し、平均輝度と基準平均輝度との差分に基づく補正量によって、画像データの輝度を補正している。そのため、基準平均輝度に近づくように、明るい画素は暗く、暗い画素は明るくなるように強制的に補正される。従って、濃淡ばらつきの暗部と表面形状欠陥の暗部は、基準平均輝度に向かって補正される。そのため、輝度閾値で２値化処理を行う際に、濃淡ばらつきと欠陥とを分離することが困難となる。従って、特許文献２に記載の技術では、欠陥を有する不良品と、比較的広範囲にわたる濃淡ばらつきを有する良品とを識別することが困難である。
【００１５】
また、特許文献３に記載の技術では、欠陥の周囲に輝度が低い部分がなく、欠陥の縁部形状が画像上に鮮明に現れていることを前提としている。そのため、ＩＣ表面に濃淡ばらつきがあり、欠陥の周囲に輝度が低い部分がある場合には、当該欠陥を検出することが困難であるという問題がある。
【００１６】
また、特許文献４に記載の技術では、累積濃度分布ヒストグラムに基づいて２値化処理で用いる閾値を自動的に決定する。しかし、欠陥と濃淡ばらつきの暗部とを、濃度で区別することは難しいので、濃淡ばらつきの暗部は、累積濃度分布を作成する時点で欠陥と同等に検出されてしまう。そのため、濃淡ばらつきの暗部と欠陥とを区別することは困難であるという問題がある。
【課題を解決するための手段】
【００１７】
本発明の第１の態様に係る表面外観検査装置は、検査対象物の表面の外観形状を検査する表面外観検査装置である。また、前記表面外観検査装置は、照明部、照明光学系、撮影部、撮影光学系、画像処理制御部を備える。前記照明部は、前記検査対象物の表面に照射する照明光を出射する。前記照明光学系は、前記照明部から出射された照明光を前記検査対象物の表面に導光する。前記撮影部は、前記検査対象物から反射される反射光を検出することにより、前記検査対象物の表面の画像データを生成する。前記撮影光学系は、前記検査対象物から反射された反射光を前記撮影部に導光する。前記画像処理制御部は、前記撮影部により生成された画像データに対して、少なくとも２値化処理を含む所定の画像処理を行う。
また、前記照明光学系の光軸と前記撮影光学系の光軸とは同軸となっている。
また、前記画像処理制御部は、最大調光設定値Ｄ０によって特定される最大の照明強度で前記照明部が照明光を出射して、前記撮影部によって生成された良品基準サンプルの表面の画像データから、前記良品基準サンプルの表面の計測領域内の画素の平均の輝度値である平均輝度階調値Ｌ０ｍｅａｎと、前記良品基準サンプルの表面の計測領域内の画素の最低の輝度値である最低輝度階調値Ｌ０ｍｉｎとを算出する。また、前記画像処理制御部は、輝度階調値の中央値をＬｃとした場合に、前記照明部から出射される照明光の基準の照明強度を特定する基準調光設定値Ｄ１を、下記の（１）式を用いて決定する。
Ｄ１＝（Ｌｃ÷Ｌ０ｍｅａｎ）×Ｄ０ ・・・・・（１）
また、前記画像処理制御部は、前記２値化処理において使用する輝度閾値Ｌｔｈを、下記の（２）式を用いて決定する。
Ｌｔｈ＝０．５×（Ｌ０ｍｉｎ２÷Ｌ０ｍｅａｎ） ・・・・・（２）
また、前記画像処理制御部は、前記照明部が基準調光設定値Ｄ１で照明光を出射して、前記撮影部によって生成された前記検査対象物の表面の画像データから、前記検査対象物の表面の計測領域内の画素の平均の輝度値である平均輝度階調値Ｌ１ｍｅａｎと、標準偏差σとを算出する。
また、前記画像処理制御部は、下記の（７）式を満たさない場合には、前記検査対象物に濃淡ばらつきがあると判断し、前記撮影部により撮影された画像をｍ×ｎ個に分割して分割領域を生成する。
Ｌ１ｍｅａｎ−３σ＞０ ・・・・・（７）
また、前記画像処理制御部は、前記分割領域毎に平均輝度階調値Ｌ１（ｍ，ｎ）ｍｅａｎを算出し、当該分割領域毎の平均輝度階調値Ｌ１（ｍ，ｎ）ｍｅａｎに基づいて、前記分割領域毎に前記照明部から出射される照明光の照射強度である調光設定値Ｄ２（ｍ，ｎ）を決定する。
そして、前記画像処理制御部は、前記照明部が前記分割領域毎の調光設定値Ｄ２（ｍ，ｎ）で照明光を出射して、前記撮影部によって生成された前記検査対象物の表面の画像データに対して、前記輝度閾値Ｌｔｈを用いて２値化処理を行うことにより、前記検査対象物の表面に欠陥があるか否かを判断する。
【００１８】
本発明の第１の態様においては、良品基準サンプルの平均輝度階調値Ｌ０ｍｅａｎが中央値Ｌｃとなるように、照明部から出射される照明光の照明強度が補正された上で、欠陥検出処理が開始される。また、２値化処理で用いられる輝度閾値Ｌｔｈが（２）式により決定される。換言すれば、輝度閾値Ｌｔｈは、良品基準サンプルの最低輝度表面部位の２次反射光の輝度であると仮定して決定される。さらに、欠陥検出処理において、検査対象物の表面に濃淡ばらつきがあるか否かが（７）式を用いて判断される。そして、検査対象物の表面に濃淡ばらつきがある場合には、分割領域毎に調光設定値Ｄ２（ｍ，ｎ）が決定される。換言すれば、検査対象物の表面に濃淡ばらつきがある場合には、照明部から出射される照明光の照明強度が分割領域毎に補正される。
これにより、分割領域毎に照明光の照明強度が補正されるとともに、輝度閾値Ｌｔｈが、良品基準サンプルの最低輝度表面部位の２次反射光の輝度であると仮定して決定されるため、濃淡ばらつきの暗部と欠陥とが輝度閾値Ｌｔｈを用いて識別することが可能となる。そのため、検査対象物の表面において濃淡ばらつきと欠陥とが混在する場合であっても、欠陥のみを確実に検出することができる。
【００１９】
本発明の第２の態様に係る表面外観検査装置は、検査対象物の表面の外観形状を検査する表面外観検査装置である。また、前記表面外観検査装置は、照明部、照明光学系、撮影部、撮影光学系、画像処理制御部、液晶シャッタパネルを備える。前記照明部は、前記検査対象物の表面に照射する照明光を出射する。前記照明光学系は、前記照明部から出射された照明光を前記検査対象物の表面に導光する。前記撮影部は、前記検査対象物から反射される反射光を検出することにより、前記検査対象物の表面の画像データを生成する。前記撮影光学系は、前記検査対象物から反射された反射光を前記撮影部に導光する。前記画像処理制御部は、前記撮影部により生成された画像データに対して、少なくとも２値化処理を含む所定の画像処理を行う。前記液晶シャッタパネルは、前記照明部の発光面を覆うように配置される。
また、前記照明光学系の光軸と前記撮影光学系の光軸とは同軸となっている。
また、前記画像処理制御部は、最大調光設定値Ｄ０によって特定される最大の照明強度で前記照明部が照明光を出射し、且つ前記液晶シャッタパネルが最大の開口率である最大開口率Ｓｈ０で開口し、前記撮影部によって生成された良品基準サンプルの表面の画像データから、前記良品基準サンプルの表面の計測領域内の画素の平均の輝度値である平均輝度階調値Ｌ０ｍｅａｎと、前記良品基準サンプルの表面の計測領域内の画素の最低の輝度値である最低輝度階調値Ｌ０ｍｉｎとを算出する。
また、前記画像処理制御部は、輝度階調値の中央値をＬｃとした場合に、前記液晶シャッタパネルの基準の開口率である基準開口率Ｓｈ１を、下記の（１０）式を用いて決定する。
Ｓｈ１＝（Ｌｃ÷Ｌ０ｍｅａｎ）×Ｓｈ０ ・・・・・（１０）
また、前記画像処理制御部は、前記２値化処理において使用する輝度閾値Ｌｔｈを、下記の（２）式を用いて決定する。
Ｌｔｈ＝０．５×（Ｌ０ｍｉｎ２÷Ｌ０ｍｅａｎ） ・・・・・（２）
また、前記画像処理制御部は、最大調光設定値Ｄ０によって特定される最大の照明強度で前記照明部が照明光を出射し、且つ前記液晶シャッタパネルが前記基準開口率Ｓｈ１で開口して、前記撮影部によって生成された前記検査対象物の表面の画像データから、前記検査対象物の表面の計測領域内の画素の平均の輝度値である平均輝度階調値Ｌ１ｍｅａｎと、標準偏差σとを算出する。
また、前記画像処理制御部は、下記の（７）式を満たさない場合には、前記検査対象物に濃淡ばらつきがあると判断し、前記撮影部により撮影された画像をｍ×ｎ個に分割して分割領域を生成する。
Ｌ１ｍｅａｎ−３σ＞０ ・・・・・（７）
また、前記画像処理制御部は、前記分割領域毎に平均輝度階調値Ｌ１（ｍ，ｎ）ｍｅａｎを算出し、前記分割領域内に前記計測領域が含まれる場合には、前記分割領域毎に前記液晶シャッタパネルの開口率Ｓｈ２（ｍ，ｎ）を、下記の（１２）式を用いて決定する。
Ｓｈ２（ｍ，ｎ）＝Ｓｈ１×Ｌｃ÷Ｌ１（ｍ，ｎ）ｍｅａｎ ・・・・・（１２）
また、前記画像処理制御部は、最大調光設定値Ｄ０によって特定される最大の照明強度で前記照明部が照明光を出射し、且つ前記液晶シャッタパネルが前記分割領域毎に開口率Ｓｈ２（ｍ，ｎ）で開口して、前記撮影部によって生成された前記検査対象物の表面の画像データに対して、前記輝度閾値Ｌｔｈを用いて２値化処理を行うことにより、前記検査対象物の表面に欠陥があるか否かを判断する。
【００２０】
本発明の第２の態様においては、良品基準サンプルの平均輝度階調値Ｌ０ｍｅａｎが中央値Ｌｃとなるように、液晶シャッタパネルの基準開口率Ｓｈ１が決定された上で、欠陥検出処理が開始される。また、２値化処理で用いられる輝度閾値Ｌｔｈが（２）式により決定される。換言すれば、輝度閾値Ｌｔｈは、良品基準サンプルの最低輝度表面部位の２次反射光の輝度であると仮定して決定される。さらに、欠陥検出処理において、検査対象物の表面に濃淡ばらつきがあるか否かが（７）式を用いて判断される。そして、検査対象物の表面に濃淡ばらつきがある場合には、分割領域毎に液晶シャッタパネルの開口率Ｓｈ２（ｍ，ｎ）が決定される。換言すれば、検査対象物に照射される照明光の照明強度が分割領域毎に補正される。
これにより、分割領域毎に検査対象物に照射される照明光の照明強度が補正されるとともに、輝度閾値Ｌｔｈが、良品基準サンプルの最低輝度表面部位の２次反射光の輝度であると仮定して決定されるため、濃淡ばらつきの暗部と欠陥とが輝度閾値Ｌｔｈを用いて識別することが可能となる。そのため、検査対象物の表面において濃淡ばらつきと欠陥とが混在する場合であっても、欠陥のみを確実に検出することができる。
【発明の効果】
【００２１】
本発明により、検査対象物の表面において濃淡ばらつきと欠陥とが混在する場合であっても、欠陥のみを確実に検出することができる。
【図面の簡単な説明】
【００２２】
【図１】本発明の実施の形態１に係る表面外観検査装置の一例を示すブロック図（図１（ａ））、本発明の実施の形態１に係るＬＥＤマトリクスの一例を示す平面図（図１（ｂ））である。
【図２】本発明の実施の形態１に係る表面外観検査装置における外観検査方法の準備段階を説明するフローチャートである。
【図３】本発明の実施の形態１に係る表面外観検査装置における外観検査方法の準備段階を説明する図である。
【図４】本発明の実施の形態１に係る表面外観検査装置における外観検査方法の準備段階を説明する図である。
【図５】本発明の実施の形態１に係る表面外観検査装置における外観検査方法の準備段階を説明する図である。
【図６】本発明の実施の形態１に係る表面外観検査装置における外観検査方法の準備段階を説明する図である。
【図７】本発明の実施の形態１に係る表面外観検査装置における外観検査方法の運用段階を説明するフローチャートである。
【図８】本発明の実施の形態１に係る表面外観検査装置における外観検査方法の運用段階を説明する図である。
【図９】本発明の実施の形態１に係る表面外観検査装置における外観検査方法の運用段階を説明する図である。
【図１０】本発明の実施の形態１に係る表面外観検査装置における外観検査方法の運用段階を説明する図である。
【図１１】本発明の実施の形態２に係る表面外観検査装置の一例を示すブロック図（図１１（ａ））、本発明の実施の形態２に係るＬＥＤマトリクスの一例を示す平面図（図１１（ｂ））である。
【図１２】本発明の実施の形態３に係る表面外観検査装置における外観検査方法の運用段階を説明するフローチャートである。
【発明を実施するための形態】
【００２３】
以下に、本発明を適用可能な実施の形態を説明する。なお、本発明は、以下の実施の形態に限定されるものではない。
実施の形態１．
図１（ａ）に、本発明の実施の形態１に係る表面外観検査装置１００の構成の一例を示すブロック図を示す。また、図１（ｂ）に、本発明の実施の形態１に係るＬＥＤマトリクスの平面図を示す。
表面外観検査装置１００は、図１に示すように、ＬＥＤマトリクス照明１（照明部）、照明レンズ群２（照明光学系）、ハーフミラー３、カメラレンズ群４（撮影光学系）、ＣＣＤカメラ５（撮影部）、画像処理ユニット６（画像処理制御部）、照明制御ユニット７、入力手段８、表示手段９等を備えている。
また、表面外観検査装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等を備えている。なお、図１において、ＣＰＵ、ＲＡＭ、ＲＯＭの図示は省略されている。ＲＯＭは、表面外観検査装置１００の各部を制御するための各種プログラム及び各種データを格納している。そして、ＣＰＵは、ＲＯＭに格納された各種プログラムを実行し、ＲＡＭに展開することにより、表面外観検査装置１００の各部を制御する。
【００２４】
図１（ｂ）に示すように、ＬＥＤマトリクス照明１は、複数のＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）が平面上にマトリクス状に配置された照明装置である。ＬＥＤマトリクス照明１において、複数のＬＥＤがマトリクス状に配置されることにより、照明光の発光面が平坦となる。ＬＥＤマトリクス照明１は、照明制御ユニット６から入力される制御信号に従って、各ＬＥＤの発光輝度を個別に調節する。
【００２５】
照明レンズ群２は、クリティカル照明光学系を構成している。これにより、ＬＥＤマトリクス照明１の発光面が検査対象物である半導体モールドパッケージ２００（検査対象物）の表面において結像する。従って、ＬＥＤマトリクス照明１から出射された照明光の発光面の光量分布を反映して、照明レンズ群２は、半導体モールドパッケージ２００に照明光を照射することができる。
例えば、照明レンズ群２は、ＬＥＤマトリクス照明１側から順に、第１の照射レンズ２１、第２の照射レンズ２２、第１の絞り２３、第２の絞り２４、第３の照射レンズ２５等を備えている。また、照明レンズ群２の光軸は、ＬＥＤマトリクス照明１の中心と一致している。
そして、照明レンズ群２は、ＬＥＤマトリクス１から出射された照明光の発散度合いを調節する。
【００２６】
ハーフミラー３は、ハーフミラー３の半導体モールドパッケージ２００側の面が、照明レンズ群２の光軸に対して４５°となるように、且つ、カメラレンズ群４の光軸に対して４５°となるように配置されている。また、ハーフミラー３は、ハーフミラー３の中心が、照明レンズ群２の光軸及びカメラレンズ群４の光軸上となるように配置されている。換言すれば、照明レンズ群２の光軸は、ハーフミラー３を介して、カメラレンズ群４の光軸と直交している。すなわち、照明レンズ群２の光軸と、カメラレンズ群４の光軸とは同軸となっている。
そして、ハーフミラー３は、照明レンズ群２とともに、同軸落射照明系を構成する。
【００２７】
カメラレンズ群４は、例えば、半導体モールドパッケージ２００側から順に、第１のカメラレンズ４１、第２のカメラレンズ４２、第３のカメラレンズ４３等を備えている。
また、カメラレンズ群４は、無限遠補正光学系を構成している。具体的には、第１のカメラレンズ４１は、対物レンズであり、第２のカメラレンズ４２は結像レンズである。そのため、半導体モールドパッケージ２００をカメラレンズ群４の焦点位置に設置すると、第１のカメラレンズ４１と第２のカメラレンズ４２との間において、半導体モールドパッケージ２００から反射された光は平行光となる。従って、第１のカメラレンズ４１と第２のカメラレンズ４２との距離は任意に設定することができる。そのため、ハーフミラー３を第１のカメラレンズ４１と第２のカメラレンズ４２との間の任意の位置に配置することができる。
【００２８】
ＣＣＤカメラ５は、カメラレンズ群４の光軸と撮像素子５１の撮像面の中心とが一致するように配置される。そして、ＣＣＤカメラ５は、画像処理ユニット６からの制御信号に従って、画像を撮影する。具体的には、例えば、ＣＣＤカメラ５は、画像処理ユニット６から撮影指令トリガが入力されると、画像の撮影を行い、取得した画像データを画像処理ユニット６に入力する。ここで、当該画像データは、画素単位毎に輝度階調値を持つ画像データである。
【００２９】
画像処理ユニット６は、ＣＣＤカメラ５から入力された画像データに対して、集計演算処理や各種画像フィルタ処理を行う。
また、画像処理ユニット６は、画像処理結果に基づいて、調光設定データ（後述）等の制御信号を生成し、当該制御信号を照明制御ユニット７に入力する。
また、画像処理ユニット６は、入力手段８及び表示手段９と接続されている。そして、画像処理ユニット６は、入力手段８から入力された画像処理の判定基準値や画像フィルタの選択指定に基づいて、画像処理を行う。また、画像処理ユニット６は、画像データに基づく画像を表示手段９に表示させる。また、画像処理ユニット６は、画像処理結果を表示手段９に表示させる。
【００３０】
照明制御ユニット７は、画像処理ユニット６から入力される調光設定データ等の制御信号に従って、ＬＥＤマトリクス照明１の各ＬＥＤの発光輝度を個別に調節するための制御信号を生成し、当該制御信号をＬＥＤマトリクス照明１に入力する。
【００３１】
次に、本発明の実施の形態１に係る表面外観検査装置１００における外観検査方法について説明する。本発明の実施の形態１に係る表面外観検査装置１００における外観検査方法は、準備段階と運用段階とに分けられる。
まず、本発明の実施の形態１に係る表面外観検査装置１００における表面外観検査方法の準備段階である閾値決定方法について、図２に示すフローチャートを参照しながら説明する。当該閾値決定方法では、半導体モールドパッケージ２００の良品基準サンプルを撮影して得られる画像データから、運用段階で使用される基準調光設定値Ｄ１と、運用段階の２値化処理で使用される輝度閾値Ｌｔｈを決定する。
【００３２】
まず、照明制御ユニット７は、最大調光設定値Ｄ０でＬＥＤマトリクス照明１の全てのＬＥＤを均一に点灯させる。これにより、ＬＥＤマトリクス照明１は最大の照明強度で照明光を出射する。また、画像処理ユニット６は、ＣＣＤカメラ５に良品基準サンプルを撮影させることにより、画像データを取得する（ステップＳ１）。ここで、当該画像データは、画素単位毎に輝度階調値を持つ画像データである。また、本発明において、照明強度とは、照明光の強度を意味し、光度、輝度、照度など、一般的に光の強度を表す量によって表されるものである。また、最大調光設定値Ｄ０は、最大の照明強度を特定するための値である。
【００３３】
次に、画像処理ユニット６は、ステップＳ１で取得した画像データにおいて、検査対象となるモールドパッケージの計測領域に相当するデータを指定する（ステップＳ２）。
図３（ａ）に、ステップＳ１で取得した画像を示す。例えば、図３（ａ）に示すように、ステップＳ２において、半導体モールドパッケージ２００の検査面２０１の縁部よりも内側の領域を計測領域２０２とする。
【００３４】
次に、画像処理ユニット６は、ステップＳ２において指定した計測領域２０２に相当するデータに基づいて、計測領域２０２の横軸をｘ軸、縦軸をｙ軸とした場合に、座標（ｉ，ｊ）における画素の輝度階調値Ｌ０（ｉ，ｊ）を計測領域２０２全体にわたって集計する。そして、画像処理ユニット６は、平均輝度階調値Ｌ０ｍｅａｎと、最低輝度階調値Ｌ０ｍｉｎを求める（ステップＳ３）。
図３（ｂ）に、計測領域２０２内の画素の輝度階調値Ｌ０（ｉ，ｊ）の分布を表すヒストグラムを示す。図３（ｂ）において、横軸は、輝度階調値を示し、縦軸は、度数を示す。ここで、度数とは、当該輝度階調値を有する画素の画素数である。また、図３（ｂ）において、輝度階調値は正の値であり、例えば、８ビット（０〜２５５）階調で表される。そして、輝度階調値の下限０は黒色、輝度階調値の上限Ｌｕは白色である。また、下限０と上限Ｌｕ（最大輝度階調値Ｌｕ）との中央値をＬｃとする。
図３（ｂ）に示すように、良品基準サンプルを撮像して得られる画像データの場合、計測領域２０２の輝度階調値Ｌ０（ｉ，ｊ）の分布は、略釣鐘型のような形状となる。そして、当該釣鐘形状の頂点付近に相当する輝度階調値が平均輝度階調値Ｌ０ｍｅａｎとなる。また、当該分布の最小値が最低輝度階調値Ｌ０ｍｉｎとなる。
【００３５】
次に、画像処理ユニット６は、ステップＳ３において求めた平均輝度階調値Ｌ０ｍｅａｎが、中央値Ｌｃとなるように、基準調光設定値Ｄ１を決定する（ステップＳ４）。ここで、基準調光設定値Ｄ１は、ＬＥＤマトリクス照明１から出射される照明光の基準の照明強度を特定するための値である。
具体的には、下記の（１）式を用いて基準調光設定値Ｄ１を決定する。
Ｄ１＝（Ｌｃ÷Ｌ０ｍｅａｎ）×Ｄ０ ・・・・・（１）
これにより、最大調光設定値Ｄ０で全てのＬＥＤを均一に点灯させて、ＬＥＤマトリクス照明１から良品基準サンプルに照明光を照射させた際の、平均輝度階調値Ｌ０ｍｅａｎが、輝度階調範囲の中央値Ｌｃとなるように、運用段階で使用される基準調光設定値Ｄ１が決定される。換言すれば、運用段階においては、最大調光設定値Ｄ０で全てのＬＥＤを均一に点灯させて、ＬＥＤマトリクス照明１から良品基準サンプルに照明光を照射させた際の、平均輝度階調値Ｌ０ｍｅａｎが、輝度階調範囲の中央値Ｌｃとなるように、ＬＥＤマトリクス照明１の照明が調整される。
【００３６】
次に、画像処理ユニット６が、運用段階の２値化処理で使用される輝度閾値Ｌｔｈを決定する（ステップＳ５）。当該輝度閾値Ｌｔｈは、良品基準サンプルの最低輝度部位と、表面の形状上の欠陥（以下、単に、「欠陥」と称する。）と、を識別するために使用される。
具体的には、欠陥の最も単純なモデルは、断面視略Ｖ字状の溝であり、当該欠陥の表面は、半導体モールドパッケージ２００の表面に対して４５°傾斜している。照明レンズ群２の光軸とカメラレンズ群４の光軸とが同軸となっている場合、当該略Ｖ字状の欠陥の撮像画像の輝度は、２次反射光の輝度となる。そのため、略Ｖ字状の欠陥の輝度が半導体モールドパッケージ２００上の欠陥の中で、最大の輝度となる。そのため、略Ｖ字状の欠陥の輝度を、良品基準サンプルの最低輝度部位と欠陥とを識別するための輝度閾値Ｌｔｈとすることができる。
そこで、基準調光設定値Ｄ１でＬＥＤマトリクス照明１から半導体モールドパッケージ２００に照明光を照射し、半導体モールドパッケージ２００の表面から反射される反射光をＣＣＤカメラ５により撮像することにより得られた画像データにおいて輝度が最低となる画素に相当する部位（以下、「最低輝度表面部位」と称する。）の付近に欠陥があると仮定する。そして、当該欠陥において反射する反射光のうち、最も反射回数が少ない反射光（２次反射光）の輝度を輝度閾値Ｌｔｈとする。２次反射光の輝度は、１次反射光の輝度から１／２の輝度に減衰することから、輝度閾値Ｌｔｈは、下記の（２）式で表される。
Ｌｔｈ＝０．５×（Ｌ０ｍｉｎ２÷Ｌ０ｍｅａｎ） ・・・・・（２）
よって、ステップＳ５においては、画像処理ユニット６が、（２）式を用いて、ステップＳ３において求めた平均輝度階調値Ｌ０ｍｅａｎと最低輝度階調値Ｌ０ｍｉｎとから、輝度閾値Ｌｔｈを算出する。
【００３７】
以下、（２）式の導出について、詳述する。
まず、ＣＣＤカメラ５によって取得される画像データの輝度階調値は、半導体モールドパッケージ２００の表面から反射され、ＣＣＤカメラ５の撮像素子５１に到達した反射光の輝度を反映した値である。そのため、画像データの輝度階調値から半導体モールドパッケージ２００の表面の反射率を推定することができる。
そこで、半導体モールドパッケージ２００の表面の反射率を、最大調光設定値Ｄ０でＬＥＤマトリクス照明１から照明光を照射した場合における、計測領域２０２内の座標（ｉ，ｊ）における画素の輝度階調値Ｌ０（ｉ，ｊ）と、最大輝度階調値Ｌｕとの比で定義することができる。すなわち、半導体モールドパッケージ２００の表面において、計測領域２０２内の座標（ｉ，ｊ）における画素に相当する部分の反射率β（ｉ，ｊ）は、下記の（３）式で表される。
β（ｉ，ｊ）＝Ｌ０（ｉ，ｊ）／Ｌｕ ・・・・・（３）
【００３８】
図４に、最大調光設定値Ｄ０でＬＥＤマトリックス照明１から光を照射した場合に、半導体モールドパッケージ２００の最低輝度表面部位１０１における入射光１０２と反射光１０３との関係を模式的に示す。
図４に示すように、入射光１０２は、最低輝度表面部位１０１において１回反射して、反射光１０３が最低輝度表面部位１０１から出射する。また、最低輝度表面部位１０１から１回反射される反射光１０３の輝度は、最低輝度階調Ｌ０ｍｉｎと推定することができるので、最低輝度表面部位１０１の反射率βｍｉｎは、下記の（４）式で表される。
βｍｉｎ＝Ｌ０ｍｉｎ／Ｌｕ ・・・・・（４）
【００３９】
半導体モールドパッケージ２００の表面において、欠陥が生じている部位においては入射光がｎ回反射されるため、欠陥が生じている部位の輝度は、形状がない部位の輝度の１／ｎに減衰している。
輝度閾値Ｌｔｈは、欠陥が生じている部位と欠陥が生じていない部位とを識別するための閾値である。本実施の形態に係る輝度閾値Ｌｔｈを用いることにより、欠陥が生じていないが輝度が比較的低い部位と、欠陥が生じているが輝度が比較的高い部位とを識別することができる。
そこで、輝度閾値Ｌｔｈを決定するにあたって、良品基準サンプルの最低輝度表面部位と同等の反射率を有する部位に欠陥がある場合を想定する。また、当該部位に入射した入射光が当該欠陥のため２回反射し、当該部位から反射された反射光をＣＣＤカメラ５によって撮像されると仮定する。そして、ＣＣＤカメラ５によって撮像された画像データの輝度階調値を輝度閾値Ｌｔｈとする。
【００４０】
図５に、基準調光設定値Ｄ１でＬＥＤマトリックス照明１から光を照射した場合に、半導体モールドパッケージ２００の最低輝度表面部位１０１における入射光と反射光との関係を模式的に示す。
図５に示すように、入射光１０４が最低輝度表面部位１０１の欠陥のない部位に入射した場合、当該入射光１０４は、１回反射して、反射光１０５が最低輝度表面部位１０１から出射する。
また、入射光１０４が最低輝度表面部位１０１の欠陥がある部位１０８に入射した場合、当該入射光１０４は、何回か反射して、反射光が最低輝度表面部位１０１から出射する。例えば、図５に示すように、入射光１０４が欠陥がある部位１０８の右端に入射した場合、１次反射光１０５となり、当該１次反射光１０５は、欠陥がある部位１０８の左端に入射して、２次反射光１０６となり、２次反射光１０６が最低輝度表面部位１０１から出射する。同様に、入射光１０４が欠陥がある部位の中央付近に入射した場合、欠陥がある部位１０８において何回か反射して、反射光１０７が最低輝度表面部位１０１から出射する。従って、欠陥がある部位１０８から反射される反射光のうち、２次反射光は、反射回数が最も少ない反射光である。
【００４１】
ここで、基準調光設定値Ｄ１でＬＥＤマトリクス照明１から光を良品基準サンプルに照射した場合に得られる画像データの最低輝度階調Ｌｍｉｎは、良品基準サンプルの最低輝度表面部位から反射される１次反射光の輝度である。また、基準調光設定値Ｄ１でＬＥＤマトリクス照明１から光を照射した場合の入射光の輝度は、Ｄ１÷Ｄ０×Ｌｕである。そのため、最低輝度階調Ｌｍｉｎは、下記の（５）式で表される。
Ｌｍｉｎ＝βｍｉｎ×（Ｄ１÷Ｄ０×Ｌｕ）
＝（Ｌ０ｍｉｎ÷Ｌｕ）×（Ｄ１÷Ｄ０×Ｌｕ）
＝Ｌ０ｍｉｎ×（Ｄ１÷Ｄ０） ・・・・・（５）
【００４２】
最低輝度表面部位と同等の反射率を有し、且つ、欠陥がある部位で反射された２次反射光の輝度階調値が輝度閾値Ｌｔｈであるから、輝度閾値Ｌｔｈは、下記の（６）式で表すことができる。
Ｌｔｈ＝βｍｉｎ×Ｌｍｉｎ
＝βｍｉｎ×Ｌ０ｍｉｎ×（Ｄ１÷Ｄ０）
＝（Ｌ０ｍｉｎ÷Ｌｕ）×Ｌ０ｍｉｎ×（Ｄ１÷Ｄ０）
＝（Ｌ０ｍｉｎ２÷Ｌｕ）×（Ｄ１÷Ｄ０）
＝（Ｌ０ｍｉｎ２÷Ｌｕ）×（（Ｌｃ÷Ｌ０ｍｅａｎ）×Ｄ０÷Ｄ０）
＝（Ｌｃ÷Ｌｕ）×（Ｌ０ｍｉｎ２÷Ｌ０ｍｅａｎ）
＝０．５×（Ｌ０ｍｉｎ２÷Ｌ０ｍｅａｎ） ・・・・・（６）
したがって、輝度閾値Ｌｔｈは、準備段階において、最大調光設定値Ｄ０でＬＥＤマトリクス照明１から光を照射してＣＣＤカメラ５により取得される画像データから算出することができる。
【００４３】
なお、準備段階では、基準調光設定値Ｄ１及び輝度閾値Ｌｔｈの他、運用段階の２値化処理後に必要となる不良判定基準値を設定する。不良判定基準値は、欠陥の大きさを判定するための値である。また、不良判定基準値は、入力手段８から入力される値である。
【００４４】
図６（ａ）に、ステップＳ５において、基準調光設定値Ｄ１でＬＥＤマトリクス照明１から半導体モールドパッケージ２００に照明光を照射してＣＣＤカメラ５により取得された画像を示す。
また、図６（ｂ）に、基準調光設定値Ｄ１でＬＥＤマトリクス照明１から半導体モールドパッケージ２００に照明光を照射した場合の、計測領域２０２内の画素の輝度階調値Ｌ１（ｉ，ｊ）の分布を表すヒストグラムを示す。図６（ｂ）において、横軸は、輝度階調値を示し、縦軸は、度数を示す。ここで、度数とは、当該輝度階調値を有する画素の画素数である。また、図６（ｂ）において、輝度階調値は正の値であり、例えば、８ビット（０〜２５５）階調で表される。そして、輝度階調値の下限０は黒色、輝度階調値の上限Ｌｕは白色である。また、下限０と上限Ｌｕ（最大輝度階調値Ｌｕ）との中央値をＬｃとする。
図６（ｂ）に示すように、基準調光設定値Ｄ１でＬＥＤマトリクス照明１から半導体モールドパッケージ２００に照明光を照射した場合、平均輝度階調値Ｌ１ｍｅａｎが中央値Ｌｃと同じとなっており、最低輝度階調値Ｌ１ｍｉｎよりも輝度閾値Ｌｔｈは、低い値となっている。
【００４５】
次に、本発明の実施の形態１に係る表面外観検査装置１００における表面外観検査方法の運用段階である欠陥検出方法について、図７に示すフローチャートを参照しながら説明する。当該欠陥検出方法では、基準調光設定値Ｄ１でＬＥＤマトリクス照明１の全てのＬＥＤを均一に点灯して、ＣＣＤカメラ５により半導体モールドパッケージ２００の表面を撮影する。また、ＣＣＤカメラにより取得された画像データの計測領域２０２の輝度階調値に統計処理を行う。また、当該統計処理によって半導体モールドパッケージ２００の表面の濃淡ばらづきがあるか否かを判定する。そして、当該濃淡ばらつきに応じて、ＬＥＤマトリクス照明１の照明強度を部分的に補正する。
【００４６】
まず、照明制御ユニット７は、基準調光設定値Ｄ１でＬＥＤマトリクス照明１の全てのＬＥＤを均一に点灯させる（ステップＳ１０１）。
【００４７】
次に、画像処理ユニット６は、ＣＣＤカメラ５に半導体モールドパッケージ２００を撮影させることにより、画像データを取得する（ステップＳ１０２）。ここで、当該画像データは、画素単位毎に輝度階調値を持つ画像データである。
【００４８】
次に、画像処理ユニット６は、ステップＳ１０２で取得した画像データの計測領域２０２内の全ての画素の輝度階調値を統計処理することにより、平均輝度階調値Ｌ１ｍｅａｎと、標準偏差σを求める（ステップＳ１０３）。
【００４９】
次に、画像処理ユニット６は、ステップＳ１０２で取得した画像データの計測領域２０２内の画素の輝度分布の形状から、半導体モールドパッケージ２００の表面の濃淡ばらつきがあるか否かを判定する（ステップＳ１０４）。具体的には、画像処理ユニット６は、平均輝度階調値Ｌ１ｍｅａｎと標準偏差σとが、下記の（７）式を満たすか否かに基づいて、半導体モールドパッケージ２００の表面の濃淡ばらつきがあるか否かを判定する。
Ｌ１ｍｅａｎ−３σ＞０ ・・・・・（７）
【００５０】
半導体モールドパッケージ２００の表面に濃淡ばらつきがほとんどない場合、画像データの計測領域２０２内に相当する画素の輝度階調値には偏りが少ない。そのため、画像データの計測領域２０２内に相当する画素の輝度分布をヒストグラムで表すと、当該ヒストグラムは、正規分布の釣鐘型のような形状となる。また、半導体モールドパッケージ２００の表面に濃淡ばらつきがほとんどない場合、当該半導体モールドパッケージ２００の表面に欠陥があったとしても、ヒストグラムの大部分は、正規分布の釣鐘型のような形状となる。
そして、輝度階調値は、黒色を表す下限値「０」から、白色を表す上限値「Ｌｕ」までの正の整数で表される。そのため、計測領域内２０２内に相当する画素の輝度分布が１つの釣鐘型のような形状となっている場合、「Ｌ１ｍｅａｎ−３σ」の値は正の数となる。
【００５１】
一方、半導体モールドパッケージ２００の表面の濃淡ばらつきが大きい場合、又は、濃淡ばらつきが発生している部分が半導体モールドパッケージ２００の大部分を占める場合、計測領域内２０２内に相当する画素の輝度分布は、２つ以上の複数の山を連なった形状となる。そのため、「Ｌ１ｍｅａｎ−３σ」の値は負の数となる。
【００５２】
ステップＳ１０４において、（７）式を満たす場合（ステップＳ１０４；Ｙｅｓ）、すなわち、半導体モールドパッケージ２００の表面に濃淡ばらつきがほとんどない場合、ステップＳ１０９に進む。
ステップＳ１０４において、（７）式を満たさない場合（ステップＳ１０４；Ｎｏ）、すなわち、半導体モールドパッケージ２００の表面の濃淡ばらつきが大きい場合、又は、濃淡ばらつきが発生している部分が半導体モールドパッケージ２００の大部分を占める場合、画像処理ユニット６は、ＣＣＤカメラ５によって撮影された撮影画像を分割し、各分割領域の平均輝度階調値Ｌ１（ｍ，ｎ）ｍｅａｎを求める（ステップＳ１０５）。
ここで、ｍ，ｎは正の整数であり、分割領域の位置を表す。例えば、本実施の形態では、画像処理ユニット６は、ＣＣＤカメラ５によって撮影された撮影画像を縦方向に８個且つ横方向に８個に分割する。換言すれば、ＣＣＤカメラ５によって撮影された撮像画像を６４分割する。そして、例えば、撮影画像の左上の頂点から横方向（ｘ軸方向）ｍ個目且つ縦方向（ｙ軸方向）ｎ個目の分割領域の位置を（ｍ，ｎ）とする。従って、平均輝度階調値Ｌ１（ｍ，ｎ）ｍｅａｎは、撮影画像の左上の頂点から横方向（ｘ軸方向）ｍ個目且つ縦方向（ｙ軸方向）ｎ個目の分割領域の平均輝度階調値である。
【００５３】
次に、画像処理ユニット６は、ステップＳ１０５における分割領域毎の調光設定値Ｄ２（ｍ，ｎ）を決定する（ステップＳ１０６）。ここでも、上記と同様に、（ｍ，ｎ）は、各分割領域の位置を表す。従って、調光設定値Ｄ２（ｍ，ｎ）は、撮影画像の左上の頂点から横方向（ｘ軸方向）ｍ個目且つ縦方向（ｙ軸方向）ｎ個目の分割領域の調光設定値である。なお、分割領域毎の調光設定値Ｄ２（ｍ，ｎ）は、ＬＥＤマトリクス照明１から出射される照明光の照明強度を分割領域毎に特定するための値である。
具体的には、分割領域に計測領域２０２が含まれていない場合、画像処理ユニット６は、下記の（８）式に基づいて、当該分割領域の調光設定値Ｄ２（ｍ，ｎ）を決定する。
Ｄ２（ｍ，ｎ）＝Ｄ１ ・・・・・（８）
また、分割領域に計測領域２０２が含まれる場合、画像処理ユニット６は、下記の（９）式に基づいて、当該分割領域の調光設定値Ｄ２（ｍ，ｎ）を決定する。
Ｄ２（ｍ，ｎ）＝Ｄ１×Ｌｃ÷Ｌ１（ｍ，ｎ）ｍｅａｎ ・・・・・（９）
【００５４】
換言すれば、分割領域に計測領域２０２が含まれていない場合、画像処理ユニット６は、各分割領域の調光設定値Ｄ２（ｍ，ｎ）を基準調光設定値Ｄ１から補正しない。
また、分割領域に計測領域２０２が含まれる場合、画像処理ユニット６は、輝度階調中央値Ｌｃと当該分割領域の平均輝度階調値Ｌ１（ｍ，ｎ）ｍｅａｎとの比率を基準調光設定値Ｄ１に乗算して、各分割領域の調光設定値Ｄ２（ｍ，ｎ）を補正する。
これにより、半導体モールドパッケージ２００の表面の濃淡ばらつきに応じてＬＥＤマトリクス照明１の照明強度を補正することができる。
【００５５】
次に、照明制御ユニット７は、分割領域別の調光設定値Ｄ２（ｍ，ｎ）でＬＥＤマトリクス照明１のＬＥＤを個別に点灯させる（ステップＳ１０７）。
【００５６】
次に、画像処理ユニット６は、ＣＣＤカメラ５に半導体モールドパッケージ２００を撮影させることにより、画像データを取得する（ステップＳ１０８）。
【００５７】
次に、画像処理ユニット６は、ステップＳ１０８において取得された画像データのうち、計測領域２０２に相当する画像データに対して２値化処理を行う（ステップＳ１０９）。具体的には、画像処理ユニット６は、ステップＳ１０８において取得された画像データのうち、計測領域２０２に相当する画素の輝度階調値Ｌ２（ｉ，ｊ）が輝度閾値Ｌｔｈより小さい場合には、当該画素の値を「１」とし、計測領域２０２に相当する画素の輝度階調値Ｌ２（ｉ，ｊ）が輝度閾値Ｌｔｈ以上である場合には、当該画素の値を「０」とする。
【００５８】
次に、画像処理ユニット６は、「１」の値を有する画素が連続して存在する部分の大きさが、準備段階において決定された不良判定基準値より大きいか否かに基づいて、半導体モールドパッケージ２００の表面の欠陥であるか否かを判断する（ステップＳ１１０）。例えば、「１」の値を有する画素が連続して存在する部分の大きさを、当該画素の数で表す。そして、画像処理ユニット６は、「１」の値を有する画素が連続して存在する部分の大きさが不良判定基準値と同じか不良判定基準値より大きい場合には、当該部分は、半導体モールドパッケージ２００の表面の欠陥であると判断する。また、画像処理ユニット６は、「１」の値を有するが疎が連続して存在する部分の大きさが不良判定基準値より小さい場合には、当該部分は、半導体モールドパッケージ２００の表面の欠陥ではないと判断する。
【００５９】
次に、画像処理ユニット６は、ロットＮｏ．が同じ半導体モールドパッケージ２００のうち、当該半導体モールドパッケージ２００が最後であるか否かを判断する（ステップＳ１１１）。
ステップＳ１１１において、ロットＮｏ．が同じ半導体モールドパッケージ２００のうち、当該半導体モールドパッケージ２００が最後でない場合には（ステップＳ１１１；Ｎｏ）、ステップＳ１０１に戻る。
ステップＳ１１１において、ロットＮｏ．が同じ半導体モールドパッケージ２００のうち、当該半導体モールドパッケージ２００が最後である場合には（ステップＳ１１１；Ｙｅｓ）、本処理を終了する。
【００６０】
図８（ａ）は、良品基準サンプルに対して図７のステップＳ１０１〜ステップＳ１０３を実施して得られた画像である。また、図８（ｂ）は、当該画像の計測領域２０２内の画素の輝度階調値のヒストグラムである。良品基準サンプルでは、半導体モールドパッケージ２００の表面に濃淡ばらつき及び欠陥がない。そのため、図８（ｂ）に示すように、ヒストグラムは、半導体モールドパッケージ２００の表面の濃淡輝度の平均値付近を頂点する釣鐘のような分布形状となる。また、濃淡ばらつきが少ないため、「Ｌ１ｍｅａｎ−３σ」の値は正となる。そのため、図７に示すステップＳ１０４において「Ｙｅｓ」となり、ステップＳ１０９における２値化処理が行われる。図８（ｃ）に、２値化処理後の画像を示す。また、図８（ｄ）に、２値化処理前の画像の計測領域２０２内の画素の輝度階調値のヒストグラムを示す。
【００６１】
図８（ｄ）に示すように、計測領域２０２内の全ての画素の輝度階調値が、輝度閾値Ｌｔｈより大きい。そのため、図８（ｃ）に示すように、２値化処理後の画像の計測領域２０２内の全ての画素は値「０」を有することとなる。従って、表面外観検査装置１００において、当該良品基準サンプルである半導体モールドパッケージ２００は、欠陥がない良品と判断される。
【００６２】
図９（ａ）は、濃淡ばらつきがある半導体モールドパッケージ２００に対して図７のステップＳ１０１〜ステップＳ１０３の処理を実施して得られた画像である。また、図９（ｂ）は、当該画像の計測領域２０２内の画素の輝度階調値のヒストグラムである。濃淡ばらつきがある半導体モールドパッケージ２００を撮影した画像では、様々な濃淡輝度値を持つ。そのため、図９（ｂ）に示すように、ヒストグラムは、暗いところから明るいところまでの広い範囲においてノコギリの歯のような分布形状となる。また、濃淡ばらつきがあるため、「Ｌ１ｍｅａｎ−３σ」の値は負となる。そのため、図７に示すステップＳ１０４において「Ｎｏ」となり、ステップＳ１０５の処理が行われることとなる。
【００６３】
図９（ｃ）は、図７のステップＳ１０５の処理が行われた画像である。また、図９（ｄ）は、当該画像の計測領域２０２内の画素の輝度階調値のヒストグラムである。図９（ｃ）に示すように、ステップＳ１０５においては、画像処理ユニット６が、ステップＳ１０１〜ステップＳ１０３の処理により取得された画像を縦方向に８個且つ横方向に８個に分割する。そして、画像処理ユニット６が、各分割領域の平均輝度階調値Ｌ１（ｍ，ｎ）ｍｅａｎを求める。図９（ｄ）に、横方向（ｘ軸方向）６個目且つ縦方向（ｙ軸方向）４個目の分割領域のＬ１（６，４）ｍｅａｎと、横方向（ｘ軸方向）４個目且つ縦方向（ｙ軸方向）５個目の分割領域のＬ１（４，５）ｍｅａｎとを示す。
【００６４】
そして、図７のステップＳ１０６において、画像処理ユニット６が、各分割領域毎に、調光設定値Ｄ２（ｍ，ｎ）を決定する。次いで、ステップＳ１０７において、照明制御ユニット７が、分割領域別の調光設定値Ｄ２（ｍ，ｎ）でＬＥＤマトリクス照明１のＬＥＤを個別に点灯させる。そして、ステップＳ１０８において、画像処理ユニット６が、ＣＣＤカメラ５に半導体モールドパッケージ２００を撮影させることにより、画像データを取得する。
【００６５】
図９（ｅ）は、図７のステップＳ１０６〜ステップＳ１０８の処理を実施して得られた画像である。また、図９（ｆ）は、当該画像の計測領域２０２内の画素の輝度階調値のヒストグラムである。
そして、図７のステップＳ１０９において、図９（ｅ）に示す画像データに対して２値化処理が行われる。
【００６６】
図９（ｇ）に、２値化処理後の画像を示す。また、図９（ｈ）に、２値化処理前の画像の計測領域２０２内の画素の輝度階調値のヒストグラムを示す。
図９（ｈ）に示すように、計測領域２０２内の全ての画素の輝度階調値が、輝度閾値Ｌｔｈより大きい。そのため、図９（ｇ）に示すように、２値化処理後の画像の計測領域２０２内の全ての画素は値「０」を有することとなる。従って、表面外観検査装置１００において、当該濃淡ばらつきがある半導体モールドパッケージ２００は、欠陥がない良品と判断される。
【００６７】
図１０（ａ）は、欠陥がある半導体モールドパッケージ２００に対して図７のステップＳ１０１〜ステップＳ１０３の処理を実施して得られた画像である。また、図１０（ｂ）は、当該画像の計測領域２０２内の画素の輝度階調値のヒストグラムである。欠陥ある半導体モールドパッケージ２００では、当該欠陥がある部分における反射光が減衰するため、当該欠陥部分に相当する画素の輝度階調値のみが低くなり、他の部分に相当する画素の輝度階調値は比較的高くほぼ同じ値となる。そのため、図１０（ｂ）に示すように、ヒストグラムは、半導体モールドパッケージ２００の表面の濃淡輝度の平均値付近を頂点する釣鐘のような分布形状となり、輝度階調値の低い部分が裾を引くような形状となる。また、濃淡ばらつきが少ないため、「Ｌ１ｍｅａｎ−３σ」の値は正となる。そのため、図７に示すステップＳ１０４において「Ｙｅｓ」となり、ステップＳ１０９における２値化処理が行われる。図１０（ｃ）に、２値化処理後の画像を示す。また、図１０（ｄ）に、２値化処理前の画像の計測領域２０２内の画素の輝度階調値のヒストグラムを示す。
【００６８】
図１０（ｄ）に示すように、計測領域２０２内の大部分の画素の輝度階調値が、輝度閾値Ｌｔｈより大きい。そのため、図１０（ｃ）に示すように、２値化処理後の画像の計測領域２０２内の大部分の画素は、値「０」を有することとなる。また、計測領域２０２内の一部の画素の輝度階調値は、輝度閾値Ｌｔｈより小さい。そのため、図１０（ｃ）に示すように、２値化処理後の画像の計測領域２０２内の一部の画素は、値「１」を有することとなる。従って、欠陥の部分に対応する画素のみが「１」を有することとなり、表面外観検査装置１００は、欠陥を検出することができる。
【００６９】
以上に説明した本発明の実施の形態１に係る表面外観検査装置１００によれば、良品基準サンプルの平均輝度階調値Ｌ０ｍｅａｎが中央値Ｌｃとなるように、ＬＥＤマトリクス照明１から出射される照明光の照明強度が補正された上で、欠陥検出処理が開始される。また、２値化処理で用いられる輝度閾値Ｌｔｈが（２）式により決定される。換言すれば、輝度閾値Ｌｔｈは、良品基準サンプルの最低輝度表面部位の２次反射光の輝度であると仮定して決定される。さらに、欠陥検出処理において、半導体モールドパッケージ２００の表面に濃淡ばらつきがあるか否かが（７）式を用いて判断される。そして、半導体モールドパッケージ２００の表面に濃淡ばらつきがある場合には、分割領域毎に調光設定値Ｄ２（ｍ，ｎ）が決定される。換言すれば、半導体モールドパッケージ２００の表面に濃淡ばらつきがある場合には、ＬＥＤマトリクス照明１から出射される照明光の照明強度が分割領域毎に補正される。
これにより、分割領域毎に照明光の照明強度が補正されるとともに、輝度閾値Ｌｔｈが、良品基準サンプルの最低輝度表面部位の２次反射光の輝度であると仮定して決定されるため、濃淡ばらつきの暗部と欠陥とが輝度閾値Ｌｔｈを用いて識別することが可能となる。そのため、半導体モールドパッケージ２００の表面において濃淡ばらつきと欠陥とが混在する場合であっても、欠陥のみを確実に検出することができる。
【００７０】
また、画像処理ユニット６は、分割領域内に計測領域２０２が含まれる場合には、分割領域毎にＬＥＤマトリクス照明１から出射される照明光の照射強度である調光設定値Ｄ２（ｍ，ｎ）を、上記の（９）式を用いて決定する。
そのため、半導体モールドパッケージ２００の表面において、分割領域の平均輝度階調値Ｌ１（ｍ，ｎ）ｍｅａｎが中央値Ｌｃとなるように、当該分割領域に照射される照明光の照明強度が補正される。これにより、半導体モールドパッケージ２００の表面に濃淡ばらつきがあっても、濃淡ばらつきを反映して、分割領域に照射される照明光の照明強度が補正することができる。そのため、濃淡ばらつきの暗部と欠陥とをより確実に識別することができる。
【００７１】
また、ＬＥＤマトリクス照明１は、平面上にマトリクス状に配置された複数のＬＥＤを備えている。そして、照明レンズ群２は、ＬＥＤマトリクス照明１から出射された照明光を半導体モールドパッケージ２００の表面に結像する。
これにより、照明レンズ群２は、ＬＥＤマトリクス照明１から出射された照射光の発光面の光量分布を反映して、半導体モールドパッケージ２００に照明光を照射することができる。
【００７２】
また、カメラレンズ群４は、半導体モールドパッケージ２００から反射される反射光を集光する第１のカメラレンズ４１と、第１のカメラレンズ４１によって集光された反射光をＣＣＤカメラ５の撮像素子５１上に結像する第２のカメラレンズ４２と、を備えている。そのため、半導体モールドパッケージ２００をカメラレンズ群４の焦点位置に設置すると、第１のカメラレンズ４１と第２のカメラレンズ４２との間において、半導体モールドパッケージ２００から反射された光は平行光となる。従って、第１のカメラレンズ４１と第２のカメラレンズ４２との距離は任意に設定することができる。そのため、ハーフミラー３を第１のカメラレンズ４１と第２のカメラレンズ４２との間の任意の位置に配置することができる。
【００７３】
また、照明レンズ群２の光軸とカメラレンズ群４の光軸とは、ハーフミラー３を介して直交している。これにより、ＬＥＤマトリクス照明１の全てのＬＥＤから出射された照明光をカメラレンズ群４の第１のカメラレンズ４１によって、半導体モールドパッケージ２００の表面に集光することができる。そのため、一度、半導体モールドパッケージ２００をカメラレンズ群４の焦点位置に設置すれば、カメラレンズ群４の倍率を変更しても、ＬＥＤマトリクス照明１及び照明レンズ群２の位置を変更する必要がない。
【００７４】
実施の形態２．
図１１に示すように、実施の形態２に係る表面外観検査装置３００の構成は、液晶シャッタパネル１０を備える点が、実施の形態１に係る表面外観検査装置１００と異なる。実施の形態２に係る表面外観検査装置３００のその他の構成は、実施の形態１に係る表面外観検査装置１００とほぼ同じであるため、同一の符号を使用するとともに、その説明を省略する。
【００７５】
液晶シャッタパネル１０は、ＬＥＤマトリクス照明１の発光面を覆うように配置されている。また、液晶シャッタパネル１０は、照明制御ユニット７と接続されている。そして、液晶シャッタパネル１０は、照明制御ユニット７から入力される制御信号に従って動作する。
【００７６】
照明制御ユニット７は、ＬＥＤマトリクス照明１の全てのＬＥＤを均一に点灯させる。また、照明制御ユニット７は、画像処理ユニット６から入力される調光設定データ等の制御信号に従って、液晶シャッタパネル１０の開口率を調整するための制御信号を生成し、当該制御信号を液晶シャッタパネル１０に入力する。
【００７７】
次に、実施の形態２に係る表面外観検査装置３００における表面外観検査方法の準備段階である閾値決定方法について、実施の形態１に係る表面外観検査装置１００と異なる部分のみについて、説明する。
まず、図２のステップＳ１において、照明制御ユニット７は、最大調光設定値Ｄ０でＬＥＤマトリクス照明１の全てのＬＥＤを均一に点灯させる。また、照明制御ユニット７は、液晶シャッタパネル１０を最大開口率Ｓｈ０で開口させる。また、画像処理ユニット６は、ＣＣＤカメラ５に良品基準サンプルを撮影させることにより、画像データを取得する。
【００７８】
また、図２のステップＳ４において、画像処理ユニット６は、ステップＳ３において求めた平均輝度階調値Ｌ０ｍｅａｎが、中央値Ｌｃとなるように、液晶シャッタパネル１０の基準開口率Ｓｈ１を決定する。具体的には、下記の（１０）式を用いて基準開口率Ｓｈ１を決定する。
Ｓｈ１＝（Ｌｃ÷Ｌ０ｍｅａｎ）×Ｓｈ０ ・・・・・（１０）
これにより、最大調光設定値Ｄ０で全てのＬＥＤを均一に点灯させるとともに、最大開口率Ｓｈ０で液晶シャッタパネル１０を開口させて、ＬＥＤマトリクス照明１から良品基準サンプルに照明光を照射させた際の、平均輝度階調値Ｌ０ｍｅａｎが、輝度階調範囲の中央値Ｌｃとなるように、運用段階で使用される基準開口率Ｓｈ１が決定される。換言すれば、運用段階においては、最大調光設定値Ｄ０で全てのＬＥＤを均一に点灯させるとともに、最大開口率Ｓｈ０で液晶シャッタパネル１０を開口させて、ＬＥＤマトリクス照明１から良品基準サンプルに照明光を照射させた際の、平均輝度階調値Ｌ０ｍｅａｎが、輝度階調範囲の中央値Ｌｃとなるように、液晶シャッタパネル１０の開口率が調整される。
【００７９】
次に、実施の形態２に係る表面外観検査装置３００における表面外観検査方法の運用段階である欠陥検出方法について、実施の形態１に係る表面外観検査装置１００と異なる部分のみについて、説明する。
図７のステップＳ１０６において、画像処理ユニット６は、ステップＳ１０５における分割領域毎に液晶シャッタパネル１０の開口率Ｓｈ２（ｍ，ｎ）を決定する。ここで、実施の形態１と同様に、（ｍ，ｎ）は、各分割領域の位置を表す。従って、開口率Ｓｈ２（ｍ，ｎ）は、撮影画像の左上の頂点から横方向（ｘ軸方向）ｍ個目且つ縦方向（ｙ軸方向）ｎ個目の分割領域における液晶シャッタパネル１０の開口率である。
【００８０】
具体的には、分割領域に計測領域２０２が含まれていない場合、画像処理ユニット６は、下記の（１１）式に基づいて、当該分割領域の開口率Ｓｈ２（ｍ，ｎ）を決定する。
Ｓｈ２（ｍ，ｎ）＝Ｓｈ１ ・・・・・（１１）
また、分割領域に計測領域２０２が含まれる場合、画像処理ユニット６は、下記の（１２）式に基づいて、当該分割領域の開口率Ｓｈ２（ｍ，ｎ）を決定する。
Ｓｈ２（ｍ，ｎ）＝Ｓｈ１×Ｌｃ÷Ｌ１（ｍ，ｎ）ｍｅａｎ ・・・・・（１２）
【００８１】
換言すれば、分割領域に計測領域２０２が含まれていない場合、画像処理ユニット６は、各分割領域の開口率Ｓｈ２を基準開口率Ｓｈ１から補正しない。
また、分割領域に計測領域２０２が含まれる場合、画像処理ユニット６は、輝度階調中央値Ｌｃと当該分割領域の平均輝度階調値Ｌ１（ｍ，ｎ）ｍｅａｎとの比率を基準開口率Ｓｈ１に乗算して、各分割領域の開口率Ｓｈ２（ｍ，ｎ）を補正する。
【００８２】
また、図７のステップＳ１０７において、照明制御ユニット７は、最大調光設定値Ｄ０でＬＥＤマトリクス照明１のＬＥＤを均一に点灯させるとともに、分割領域別の開口率Ｓｈ２（ｍ，ｎ）で液晶シャッタパネル１０を開口させる。
【００８３】
以上に説明した本発明の実施の形態２に係る表面外観検査装置３００によれば、実施の形態１に係る表面外観検査装置１００と同様の効果が得られるのは勿論のこと、特に、液晶シャッタパネル１０の開口率を制御することにより、半導体モールドパッケージ２００に照射される照明光の光量が制御される。そのため、ＬＥＤよりも小さい点光源の発光を個別に制御することができるため、ＬＥＤマトリクス照明１のＬＥＤの発光を個別に制御する場合に比べて、より細やかに、半導体モールドパッケージ２００に照射される照明光の光量を制御することができる。
【００８４】
実施の形態３．
図１１に示すように、実施の形態３に係る表面外観検査装置の構成は、実施の形態１に係る表面外観検査装置１００とほぼ同じであるため、同一の符号を使用するとともに、その説明を省略する。
【００８５】
実施の形態３に係る表面外観検査装置における表面外観検査方法の準備段階である閾値決定方法は、実施の形態１に係る表面外観検査装置１００と同様であるため、その説明を省略する。
次に、実施の形態３に係る表面外観検査装置における表面外観検査方法の運用段階である欠陥検出方法について、図１２に示すフローチャートを参照しながら、説明する。なお、図１２のステップＳ２０１〜ステップＳ２０５及びステップＳ２０７〜ステップＳ２１１の処理は、それぞれ、図７のステップＳ１０１〜ステップＳ１０５及びステップＳ１０７〜ステップＳ１１１の処理と同様であるため、その説明を省略する。
【００８６】
次に、画像処理ユニット６は、ステップＳ２０５における分割領域毎の調光設定値Ｄ２（ｍ，ｎ）を決定する（ステップＳ２０６）。ここで、実施の形態１と同様に、（ｍ，ｎ）は、各分割領域の位置を表す。従って、調光設定値Ｄ２（ｍ，ｎ）は、撮影画像の左上の頂点から横方向（ｘ軸方向）ｍ個目且つ縦方向（ｙ軸方向）ｎ個目の分割領域の調光設定値である。
具体的には、分割領域に計測領域２０２が含まれていない場合、画像処理ユニット６は、下記の（１３）式に基づいて、当該分割領域の調光設定値Ｄ２（ｍ，ｎ）を決定する。
Ｄ２（ｍ，ｎ）＝Ｄ１ ・・・・・（１３）
また、分割領域に計測領域２０２が含まれ、当該分割領域の平均輝度階調値Ｌ（ｍ，ｎ）ｍｅａｎが輝度閾値Ｌｔｈより小さい場合、画像処理ユニット６は、下記の（１４）式に基づいて、当該分割領域の調光設定値Ｄ２（ｍ，ｎ）を決定する。
Ｄ２（ｍ，ｎ）＝Ｄ１ ・・・・・（１４）
また、分割領域に計測領域２０２が含まれ、当該分割領域の平均輝度階調値Ｌ（ｍ，ｎ）ｍｅａｎが輝度閾値Ｌｔｈ以上である場合、画像処理ユニット６は、下記の（１５）式に基づいて、当該分割領域の調光設定値Ｄ２（ｍ，ｎ）を決定する。
Ｄ２（ｍ，ｎ）＝Ｄ１×Ｌｃ÷Ｌ１（ｍ，ｎ）ｍｅａｎ ・・・・・（１５）
【００８７】
換言すれば、分割領域に計測領域２０２が含まれていない場合、画像処理ユニット６は、各分割領域の調光設定値Ｄ２（ｍ，ｎ）を基準調光設定値Ｄ１から補正しない。
また、分割領域に計測領域２０２が含まれているが、当該分割領域の平均輝度階調値Ｌ１（ｍ，ｎ）ｍｅａｎが輝度閾値Ｌｔｈより小さい場合、画像処理ユニット６は、各分割領域の調光設定値Ｄ２（ｍ，ｎ）を基準調光設定値Ｄ１から補正しない。
また、分割領域に計測領域２０２が含まれており、且つ、当該分割領域の平均輝度階調値Ｌ１（ｍ，ｎ）ｍｅａｎが輝度閾値Ｌｔｈ以上である場合、画像処理ユニット６は、輝度階調中央値Ｌｃと当該分割領域の平均輝度階調値Ｌ１（ｍ，ｎ）ｍｅａｎとの比率を基準調光設定値Ｄ１に乗算して、各分割領域の調光設定値Ｄ２（ｍ，ｎ）を補正する。
【００８８】
従って、実施の形態３に係る表面外観検査装置では、平均輝度階調値Ｌ１（ｍ，ｎ）ｍｅａｎが輝度閾値Ｌｔｈより小さい分割領域に対する照明を補正しない。そのため、図１２のステップＳ２０９の２値化処理において、欠陥に相当する画素の輝度階調値Ｌ２（ｉ，ｊ）は、より確実に、輝度閾値Ｌｔｈより小さくなる。そのため、ステップＳ２０９の２値化処理によって、欠陥に相当する画素を容易に識別することができる。換言すれば、半導体モールドパッケージ２００の表面に濃淡ばらつきと欠陥との両方がある場合に、濃淡ばらつきの反射率が低い部位（画像データの輝度階調値が低い部位）を検出せずに、欠陥のみを検出することができる。
換言すれば、濃淡ばらつきの暗部は、良品基準サンプルの最低輝度部位よりも暗くなる可能性が考えられるが、略Ｖ字状の欠陥よりは明るくなると考えられる。そして、欠陥の大部分の輝度は輝度閾値Ｌｔｈよりも低い。そのため、欠陥が含まれる部分については照明強度の補正を行わず、欠陥が含まれない部分であって濃淡ばらつきがある部分については照明強度の補正を行うことにより、欠陥と濃淡ばらつきの暗部とを容易に識別することができる。
【００８９】
なお、本発明は、以上の実施の形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲内で適宜設計変更されるものとする。
例えば、実施の形態２においても、実施の形態３と同様に、分割領域に計測領域２０２が含まれ、且つ当該分割領域の平均輝度階調値Ｌ（ｍ，ｎ）ｍｅａｎが輝度閾値Ｌｔｈ以上である場合にのみ、画像処理ユニット６が、（１２）式を用いて液晶パネルシャッタ１０の分割領域毎の開口率Ｓｈ２を補正することとしてもよい。
また、画像処理ユニット６と照明制御ユニット７は一体として構成されてもよい。
【符号の説明】
【００９０】
１ ＬＥＤマトリクス照明（照明部）
２ 照明レンズ群（照明光学系）
３ ハーフミラー
４ カメラレンズ群（撮影光学系）
４１ 第１のカメラレンズ（対物レンズ）
４２ 第２のカメラレンズ（結像レンズ）
５ ＣＣＤカメラ（撮影部）
５１ 撮像素子
６ 画像処理ユニット（画像処理制御部）
１０ 液晶シャッタパネル
１００、３００ 表面外観検査装置
２００ 半導体モールドパッケージ（検査対象物）
【特許請求の範囲】
【請求項１】
検査対象物の表面の外観形状を検査する表面外観検査装置であって、
前記検査対象物の表面に照射する照明光を出射する照明部と、
前記照明部から出射された照明光を前記検査対象物の表面に導光する照明光学系と、
前記検査対象物から反射される反射光を検出することにより、前記検査対象物の表面の画像データを生成する撮影部と、
前記検査対象物から反射された反射光を前記撮影部に導光する撮影光学系と、
前記撮影部により生成された画像データに対して、少なくとも２値化処理を含む所定の画像処理を行う画像処理制御部と、
を備え、
前記照明光学系の光軸と前記撮影光学系の光軸とは同軸となっており、
前記画像処理制御部は、
最大調光設定値Ｄ０によって特定される最大の照明強度で前記照明部が照明光を出射して、前記撮影部によって生成された良品基準サンプルの表面の画像データから、前記良品基準サンプルの表面の計測領域内の画素の平均の輝度値である平均輝度階調値Ｌ０ｍｅａｎと、前記良品基準サンプルの表面の計測領域内の画素の最低の輝度値である最低輝度階調値Ｌ０ｍｉｎとを算出し、
輝度階調値の中央値をＬｃとした場合に、前記照明部から出射される照明光の基準の照明強度を特定する基準調光設定値Ｄ１を、下記の（１）式を用いて決定し、
前記２値化処理において使用する輝度閾値Ｌｔｈを、下記の（２）式を用いて決定し、
前記照明部が基準調光設定値Ｄ１で照明光を出射して、前記撮影部によって生成された前記検査対象物の表面の画像データから、前記検査対象物の表面の計測領域内の画素の平均の輝度値である平均輝度階調値Ｌ１ｍｅａｎと、標準偏差σとを算出し、
下記の（７）式を満たさない場合には、前記検査対象物に濃淡ばらつきがあると判断し、前記撮影部により撮影された画像をｍ×ｎ個に分割して分割領域を生成し、
前記分割領域毎に平均輝度階調値Ｌ１（ｍ，ｎ）ｍｅａｎを算出し、当該分割領域毎の平均輝度階調値Ｌ１（ｍ，ｎ）ｍｅａｎに基づいて、前記分割領域毎に前記照明部から出射される照明光の照射強度である調光設定値Ｄ２（ｍ，ｎ）を決定し、
前記照明部が前記分割領域毎の調光設定値Ｄ２（ｍ，ｎ）で照明光を出射して、前記撮影部によって生成された前記検査対象物の表面の画像データに対して、前記輝度閾値Ｌｔｈを用いて２値化処理を行うことにより、前記検査対象物の表面に欠陥があるか否かを判断する表面外観検査装置。
Ｄ１＝（Ｌｃ÷Ｌ０ｍｅａｎ）×Ｄ０ ・・・・・（１）
Ｌｔｈ＝０．５×（Ｌ０ｍｉｎ２÷Ｌ０ｍｅａｎ） ・・・・・（２）
Ｌ１ｍｅａｎ−３σ＞０ ・・・・・（７）
【請求項２】
前記画像処理制御部は、
前記分割領域内に前記計測領域が含まれる場合には、前記分割領域毎に前記照明部から出射される照明光の照射強度である調光設定値Ｄ２（ｍ，ｎ）を、下記の（９）式を用いて決定する請求項１に記載の表面外観検査装置。
Ｄ２（ｍ，ｎ）＝Ｄ１×Ｌｃ÷Ｌ１（ｍ，ｎ）ｍｅａｎ ・・・・・（９）
【請求項３】
前記画像処理制御部は、
前記分割領域内に前記計測領域が含まれ、前記平均輝度階調値Ｌ１（ｍ，ｎ）ｍｅａｎが前記輝度閾値Ｌｔｈ以上である場合には、前記分割領域毎に前記照明部から出射される照明光の照射強度である調光設定値Ｄ２（ｍ，ｎ）を、下記の（１５）式を用いて決定する請求項１に記載の表面外観検査装置。
Ｄ２（ｍ，ｎ）＝Ｄ１×Ｌｃ÷Ｌ１（ｍ，ｎ）ｍｅａｎ ・・・・・（１５）
【請求項４】
検査対象物の表面の外観形状を検査する表面外観検査装置であって、
前記検査対象物の表面に照射する照明光を出射する照明部と、
前記照明部から出射された照明光を前記検査対象物の表面に導光する照明光学系と、
前記検査対象物から反射される反射光を検出することにより、前記検査対象物の表面の画像データを生成する撮影部と、
前記検査対象物から反射された反射光を前記撮影部に導光する撮影光学系と、
前記撮影部により生成された画像データに対して、少なくとも２値化処理を含む所定の画像処理を行う画像処理制御部と、
前記照明部の発光面を覆うように配置される液晶シャッタパネルと、
を備え、
前記照明光学系の光軸と前記撮影光学系の光軸とは同軸となっており、
前記画像処理制御部は、
最大調光設定値Ｄ０によって特定される最大の照明強度で前記照明部が照明光を出射し、且つ前記液晶シャッタパネルが最大の開口率である最大開口率Ｓｈ０で開口し、前記撮影部によって生成された良品基準サンプルの表面の画像データから、前記良品基準サンプルの表面の計測領域内の画素の平均の輝度値である平均輝度階調値Ｌ０ｍｅａｎと、前記良品基準サンプルの表面の計測領域内の画素の最低の輝度値である最低輝度階調値Ｌ０ｍｉｎとを算出し、
輝度階調値の中央値をＬｃとした場合に、前記液晶シャッタパネルの基準の開口率である基準開口率Ｓｈ１を、下記の（１０）式を用いて決定し、
前記２値化処理において使用する輝度閾値Ｌｔｈを、下記の（２）式を用いて決定し、
最大調光設定値Ｄ０によって特定される最大の照明強度で前記照明部が照明光を出射し、且つ前記液晶シャッタパネルが前記基準開口率Ｓｈ１で開口して、前記撮影部によって生成された前記検査対象物の表面の画像データから、前記検査対象物の表面の計測領域内の画素の平均の輝度値である平均輝度階調値Ｌ１ｍｅａｎと、標準偏差σとを算出し、
下記の（７）式を満たさない場合には、前記検査対象物に濃淡ばらつきがあると判断し、前記撮影部により撮影された画像をｍ×ｎ個に分割して分割領域を生成し、
前記分割領域毎に平均輝度階調値Ｌ１（ｍ，ｎ）ｍｅａｎを算出し、前記分割領域内に前記計測領域が含まれる場合には、前記分割領域毎に前記液晶シャッタパネルの開口率Ｓｈ２（ｍ，ｎ）を、下記の（１２）式を用いて決定し、
最大調光設定値Ｄ０によって特定される最大の照明強度で前記照明部が照明光を出射し、且つ前記液晶シャッタパネルが前記分割領域毎に開口率Ｓｈ２（ｍ，ｎ）で開口して、前記撮影部によって生成された前記検査対象物の表面の画像データに対して、前記輝度閾値Ｌｔｈを用いて２値化処理を行うことにより、前記検査対象物の表面に欠陥があるか否かを判断する表面外観検査装置。
Ｓｈ１＝（Ｌｃ÷Ｌ０ｍｅａｎ）×Ｓｈ０ ・・・・・（１０）
Ｌｔｈ＝０．５×（Ｌ０ｍｉｎ２÷Ｌ０ｍｅａｎ） ・・・・・（２）
Ｌ１ｍｅａｎ−３σ＞０ ・・・・・（７）
Ｓｈ２（ｍ，ｎ）＝Ｓｈ１×Ｌｃ÷Ｌ１（ｍ，ｎ）ｍｅａｎ ・・・・・（１２）
【請求項５】
前記照明部は、平面上にマトリクス状に配置された複数のＬＥＤを備え、
前記照明光学系は、前記照明部から出射された照明光を前記検査対象物の表面に結像する請求項１乃至４の何れか一項に記載の表面外観検査装置。
【請求項６】
前記撮影光学系は、前記検査対象物から反射される反射光を集光する対物レンズと、前記対物レンズによって集光された反射光を前記撮影部の撮像素子上に結像する結像レンズと、を備える請求項１乃至５の何れか一項に記載の表面外観検査装置。
【請求項７】
前記対物レンズと前記結像レンズとの間に配置されるハーフミラーを備え、
前記照明光学系の光軸と前記撮影光学系の光軸とは、前記ハーフミラーを介して、直交している請求項６に記載の表面外観検査装置。
【請求項１】
検査対象物の表面の外観形状を検査する表面外観検査装置であって、
前記検査対象物の表面に照射する照明光を出射する照明部と、
前記照明部から出射された照明光を前記検査対象物の表面に導光する照明光学系と、
前記検査対象物から反射される反射光を検出することにより、前記検査対象物の表面の画像データを生成する撮影部と、
前記検査対象物から反射された反射光を前記撮影部に導光する撮影光学系と、
前記撮影部により生成された画像データに対して、少なくとも２値化処理を含む所定の画像処理を行う画像処理制御部と、
を備え、
前記照明光学系の光軸と前記撮影光学系の光軸とは同軸となっており、
前記画像処理制御部は、
最大調光設定値Ｄ０によって特定される最大の照明強度で前記照明部が照明光を出射して、前記撮影部によって生成された良品基準サンプルの表面の画像データから、前記良品基準サンプルの表面の計測領域内の画素の平均の輝度値である平均輝度階調値Ｌ０ｍｅａｎと、前記良品基準サンプルの表面の計測領域内の画素の最低の輝度値である最低輝度階調値Ｌ０ｍｉｎとを算出し、
輝度階調値の中央値をＬｃとした場合に、前記照明部から出射される照明光の基準の照明強度を特定する基準調光設定値Ｄ１を、下記の（１）式を用いて決定し、
前記２値化処理において使用する輝度閾値Ｌｔｈを、下記の（２）式を用いて決定し、
前記照明部が基準調光設定値Ｄ１で照明光を出射して、前記撮影部によって生成された前記検査対象物の表面の画像データから、前記検査対象物の表面の計測領域内の画素の平均の輝度値である平均輝度階調値Ｌ１ｍｅａｎと、標準偏差σとを算出し、
下記の（７）式を満たさない場合には、前記検査対象物に濃淡ばらつきがあると判断し、前記撮影部により撮影された画像をｍ×ｎ個に分割して分割領域を生成し、
前記分割領域毎に平均輝度階調値Ｌ１（ｍ，ｎ）ｍｅａｎを算出し、当該分割領域毎の平均輝度階調値Ｌ１（ｍ，ｎ）ｍｅａｎに基づいて、前記分割領域毎に前記照明部から出射される照明光の照射強度である調光設定値Ｄ２（ｍ，ｎ）を決定し、
前記照明部が前記分割領域毎の調光設定値Ｄ２（ｍ，ｎ）で照明光を出射して、前記撮影部によって生成された前記検査対象物の表面の画像データに対して、前記輝度閾値Ｌｔｈを用いて２値化処理を行うことにより、前記検査対象物の表面に欠陥があるか否かを判断する表面外観検査装置。
Ｄ１＝（Ｌｃ÷Ｌ０ｍｅａｎ）×Ｄ０ ・・・・・（１）
Ｌｔｈ＝０．５×（Ｌ０ｍｉｎ２÷Ｌ０ｍｅａｎ） ・・・・・（２）
Ｌ１ｍｅａｎ−３σ＞０ ・・・・・（７）
【請求項２】
前記画像処理制御部は、
前記分割領域内に前記計測領域が含まれる場合には、前記分割領域毎に前記照明部から出射される照明光の照射強度である調光設定値Ｄ２（ｍ，ｎ）を、下記の（９）式を用いて決定する請求項１に記載の表面外観検査装置。
Ｄ２（ｍ，ｎ）＝Ｄ１×Ｌｃ÷Ｌ１（ｍ，ｎ）ｍｅａｎ ・・・・・（９）
【請求項３】
前記画像処理制御部は、
前記分割領域内に前記計測領域が含まれ、前記平均輝度階調値Ｌ１（ｍ，ｎ）ｍｅａｎが前記輝度閾値Ｌｔｈ以上である場合には、前記分割領域毎に前記照明部から出射される照明光の照射強度である調光設定値Ｄ２（ｍ，ｎ）を、下記の（１５）式を用いて決定する請求項１に記載の表面外観検査装置。
Ｄ２（ｍ，ｎ）＝Ｄ１×Ｌｃ÷Ｌ１（ｍ，ｎ）ｍｅａｎ ・・・・・（１５）
【請求項４】
検査対象物の表面の外観形状を検査する表面外観検査装置であって、
前記検査対象物の表面に照射する照明光を出射する照明部と、
前記照明部から出射された照明光を前記検査対象物の表面に導光する照明光学系と、
前記検査対象物から反射される反射光を検出することにより、前記検査対象物の表面の画像データを生成する撮影部と、
前記検査対象物から反射された反射光を前記撮影部に導光する撮影光学系と、
前記撮影部により生成された画像データに対して、少なくとも２値化処理を含む所定の画像処理を行う画像処理制御部と、
前記照明部の発光面を覆うように配置される液晶シャッタパネルと、
を備え、
前記照明光学系の光軸と前記撮影光学系の光軸とは同軸となっており、
前記画像処理制御部は、
最大調光設定値Ｄ０によって特定される最大の照明強度で前記照明部が照明光を出射し、且つ前記液晶シャッタパネルが最大の開口率である最大開口率Ｓｈ０で開口し、前記撮影部によって生成された良品基準サンプルの表面の画像データから、前記良品基準サンプルの表面の計測領域内の画素の平均の輝度値である平均輝度階調値Ｌ０ｍｅａｎと、前記良品基準サンプルの表面の計測領域内の画素の最低の輝度値である最低輝度階調値Ｌ０ｍｉｎとを算出し、
輝度階調値の中央値をＬｃとした場合に、前記液晶シャッタパネルの基準の開口率である基準開口率Ｓｈ１を、下記の（１０）式を用いて決定し、
前記２値化処理において使用する輝度閾値Ｌｔｈを、下記の（２）式を用いて決定し、
最大調光設定値Ｄ０によって特定される最大の照明強度で前記照明部が照明光を出射し、且つ前記液晶シャッタパネルが前記基準開口率Ｓｈ１で開口して、前記撮影部によって生成された前記検査対象物の表面の画像データから、前記検査対象物の表面の計測領域内の画素の平均の輝度値である平均輝度階調値Ｌ１ｍｅａｎと、標準偏差σとを算出し、
下記の（７）式を満たさない場合には、前記検査対象物に濃淡ばらつきがあると判断し、前記撮影部により撮影された画像をｍ×ｎ個に分割して分割領域を生成し、
前記分割領域毎に平均輝度階調値Ｌ１（ｍ，ｎ）ｍｅａｎを算出し、前記分割領域内に前記計測領域が含まれる場合には、前記分割領域毎に前記液晶シャッタパネルの開口率Ｓｈ２（ｍ，ｎ）を、下記の（１２）式を用いて決定し、
最大調光設定値Ｄ０によって特定される最大の照明強度で前記照明部が照明光を出射し、且つ前記液晶シャッタパネルが前記分割領域毎に開口率Ｓｈ２（ｍ，ｎ）で開口して、前記撮影部によって生成された前記検査対象物の表面の画像データに対して、前記輝度閾値Ｌｔｈを用いて２値化処理を行うことにより、前記検査対象物の表面に欠陥があるか否かを判断する表面外観検査装置。
Ｓｈ１＝（Ｌｃ÷Ｌ０ｍｅａｎ）×Ｓｈ０ ・・・・・（１０）
Ｌｔｈ＝０．５×（Ｌ０ｍｉｎ２÷Ｌ０ｍｅａｎ） ・・・・・（２）
Ｌ１ｍｅａｎ−３σ＞０ ・・・・・（７）
Ｓｈ２（ｍ，ｎ）＝Ｓｈ１×Ｌｃ÷Ｌ１（ｍ，ｎ）ｍｅａｎ ・・・・・（１２）
【請求項５】
前記照明部は、平面上にマトリクス状に配置された複数のＬＥＤを備え、
前記照明光学系は、前記照明部から出射された照明光を前記検査対象物の表面に結像する請求項１乃至４の何れか一項に記載の表面外観検査装置。
【請求項６】
前記撮影光学系は、前記検査対象物から反射される反射光を集光する対物レンズと、前記対物レンズによって集光された反射光を前記撮影部の撮像素子上に結像する結像レンズと、を備える請求項１乃至５の何れか一項に記載の表面外観検査装置。
【請求項７】
前記対物レンズと前記結像レンズとの間に配置されるハーフミラーを備え、
前記照明光学系の光軸と前記撮影光学系の光軸とは、前記ハーフミラーを介して、直交している請求項６に記載の表面外観検査装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１１−２２０７５５（Ｐ２０１１−２２０７５５Ａ）
【公開日】平成２３年１１月４日（２０１１．１１．４）
【国際特許分類】
【出願番号】特願２０１０−８８４１２（Ｐ２０１０−８８４１２）
【出願日】平成２２年４月７日（２０１０．４．７）
【出願人】（３０２０６２９３１）ルネサスエレクトロニクス株式会社 (8,021)
【Ｆターム（参考）】
【公開日】平成２３年１１月４日（２０１１．１１．４）
【国際特許分類】
【出願日】平成２２年４月７日（２０１０．４．７）
【出願人】（３０２０６２９３１）ルネサスエレクトロニクス株式会社 (8,021)
【Ｆターム（参考）】
[ Back to top ]