画像処理方法及び画像処理装置
【課題】着目する特性を精度良く抽出し、一定の評価基準によって製品の品質評価を行うことが可能な画像処理方法等を提供する。
【解決手段】画像処理装置１は、分布算出部３１、閾値決定部３２、特性分離部３３、及び計測部３４の機能を備える。分布算出部３１は、入力画像２１を入力とし、画素値分布２２及び画素値変化率分布２３を出力する。閾値決定部３２は、画素値分布２２に基づく値を入力とする人工知能的アルゴリズムによって、閾値２４を出力する。特性分離部３３は、画素値分布２２、画素値変化率分布２３、及び閾値２４を入力とし、これらを用いて入力画像２１の領域を特性ごとの領域に分離し、特性領域２５を出力する。計測部３４は、特性領域２５を入力し、特性領域２５に基づいて計測処理を行い、計測結果２６を出力する。
【解決手段】画像処理装置１は、分布算出部３１、閾値決定部３２、特性分離部３３、及び計測部３４の機能を備える。分布算出部３１は、入力画像２１を入力とし、画素値分布２２及び画素値変化率分布２３を出力する。閾値決定部３２は、画素値分布２２に基づく値を入力とする人工知能的アルゴリズムによって、閾値２４を出力する。特性分離部３３は、画素値分布２２、画素値変化率分布２３、及び閾値２４を入力とし、これらを用いて入力画像２１の領域を特性ごとの領域に分離し、特性領域２５を出力する。計測部３４は、特性領域２５を入力し、特性領域２５に基づいて計測処理を行い、計測結果２６を出力する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顕微鏡等によって得られる物体の画像に対する画像処理方法等に関し、詳細には、物体の計測処理を行うための前処理に関するものである。
【背景技術】
【０００２】
従来から、製品の品質評価等を目的として、顕微鏡等によって得られる製品の画像を解析することが行われている。このような画像解析では、画像に２種類以上の特性（物体の材質、物体の面の状態、物体の結晶状態等によって変わる画像の見え方を意味する。）が含まれる場合、特性の分離が必要になる。このような場合、画素毎の輝度値を閾値処理によって２値化することが一般的に行われている。そして、例えば、着目する特性に属する画素を黒、それ以外の特性に属する画素を白とし、黒の割合を計算することによって評価の指標とする。また、単純に２値化するのではなく、特性ごとの輪郭を抽出しておき、輪郭によって区切られた閉曲線の内と外とによって、黒と白に塗り分けることも行われている。
【０００３】
例えば、特許文献１には、プラスチック等の被観察物の欠陥（例えば、ゴム、プラスチック絶縁ケーブルの絶縁層の欠陥）を自動的に検出し、検出された欠陥の種類を自動的に判別する欠陥自動判別方法が開示されている。特許文献１に記載の技術では、被観察物１に、光０を透過させて同被観察物１中の欠陥Ｐを検出し、被観察物１と光電変換器３とを相対的に移動させて欠陥Ｐに対する焦点方向の観察深度を変え、同観察深度が欠陥Ｐに合った場合、同欠陥Ｐより浅い場合、同欠陥Ｐより深い場合の夫々における透過光輝度を、光学レンズ２により拡大結像された位置に設置されている光電変換器３により電気信号に変換し、同電気信号のうち予め設定されている電気信号強度の範囲Ｙの外にある部分ａ、ｂを欠陥信号ｃ、ｄとして取り出し（二値化処理し）、取り出された欠陥信号ｃ、ｄのパターン（黒色か白色か）を予め検出されている各種欠陥の二値化処理されている欠陥パターンと比較して、欠陥の種類を判別するというものである。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第２７３７７９７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、２種類以上の特性が含まれる画像に対して、一定の閾値を境にして黒と白に塗り分けると、着目している特性に該当しない部分も同じ輝度レベルと判定してしまうことがあり、特性の誤検出や検出不能（分離できない。）となる場合がある。輪郭を抽出する場合も同様である。つまり、輝度が変化する部分を画像認識して閉領域を取り出す際、一定の閾値を基準として輪郭の認識を行うと、輪郭の誤検出や検出不能（閉領域を取り出せない。）になる場合がある。いずれの場合も、検出の基準となる閾値が、対象となる画像に対して適切な値ではないことに起因している。
【０００６】
そこで、手作業によって特性分離や輪郭抽出を行うことも考えられる。しかしながら、手作業では熟練度に応じて精度が変わってしまう為、一定の評価基準によって製品の品質評価を行うことができない。
【０００７】
本発明は、前述した問題点に鑑みてなされたもので、その目的とすることは、着目する特性を精度良く抽出し、一定の評価基準によって製品の品質評価を行うことが可能な画像処理方法等を提供することである。
【課題を解決するための手段】
【０００８】
前述した目的を達成するために第１の発明は、２種類以上の特性を含む入力画像に対する計測処理を行う画像処理方法であって、前記入力画像の画素値分布及び画素値変化率分布を算出し、前記画素値分布に基づく値を入力とする人工知能的アルゴリズムによって、前記特性を分離するための閾値を出力し、前記画素値分布、前記画素値変化率分布及び前記閾値を用いて、前記入力画像の領域を前記特性ごとの特性領域に分離し、前記特性領域に基づいて前記計測処理を行うことを特徴とする画像処理方法である。第１の発明によって、着目する特性を精度良く抽出し、一定の評価基準によって製品の品質評価を行うことができる。
【０００９】
第１の発明では、前記画素値分布に対して前記閾値を用いた輪郭抽出処理を行うことによって、輪郭領域を抽出し、前記輪郭領域内の画素に対して前記画素値変化率分布に基づく絞り込み処理を行うことによって、着目する特性に係る前記特性領域を抽出することが望ましい。これによって、特性領域分離処理の精度が向上する。
【００１０】
第１の発明は、例えば、前記画素値分布に基づく値として、前記画素値分布から算出される画素値ヒストグラムの中央値及び最頻値、並びに、前記画素値分布のダイナミックレンジを入力層とするニューラルネットワークによって、前記閾値を出力するものである。これによって、判定基準が標準化されると共に、観察対象の表面の凹凸や観察条件による影響を受けにくくなる。ひいては、実用レベルにおいても有効な評価手法を構築することができる。
【００１１】
また、第１の発明では、２次元の画像空間に対して、第１の軸と平行な直線上の前記輪郭領域に属する画素を１つずつ走査していき、各画素の画素値変化率が予め定められた正の値以上の画素については急上昇フラグ、及び各画素の画素値変化率が予め定められた負の値以下の画素については急降下フラグを対応付けておき、更に、前記第１の軸と直交する第２の軸の方向に１画素ずつずらした直線に対しても同様の処理を行い、同一の輪郭領域に属する画素群の中で、前記急上昇フラグが付された画素と前記急降下フラグが付された画素に挟まれる画素群を、前記特性領域として絞り込む。これによって、輪郭領域から精度良く特性領域を抽出することができる。
【００１２】
また、第１の発明における前記特性領域は、例えば、銅めっきが施された領域であり、前記計測処理は、前記特性領域の面積の割合を計測する。これによって、例えば、アルミニウムからなる物体の接合部の品質を評価することができる。
【００１３】
第２の発明は、２種類以上の特性を含む入力画像に対する計測処理を行う画像処理装置であって、前記画像の画素値分布及び画素値変化率分布を算出する手段と、前記画素値分布に基づく値を入力とする人工知能的アルゴリズムによって、前記特性を分離するための閾値を出力する手段と、前記画素値分布、前記画素値変化率分布及び前記閾値を用いて、前記入力画像の領域を前記特性ごとの特性領域に分離する手段と、前記特性領域に基づいて前記計測処理を行う手段と、を具備することを特徴とする画像処理装置である。第２の発明によって、着目する特性を精度良く抽出し、一定の評価基準によって製品の品質評価を行うことができる。
【発明の効果】
【００１４】
本発明により、着目する特性を精度良く抽出し、一定の評価基準によって製品の品質評価を行うことが可能な画像処理方法等を提供することができる。
【図面の簡単な説明】
【００１５】
【図１】入力画像を説明する図
【図２】画像処理装置のハードウエア構成図
【図３】画像処理装置の機能構成図
【図４】輝度値ヒストグラムの１例を示す図
【図５】輝度値ヒストグラムの１例を示す図
【図６】特性分離処理の詳細を示すフローチャート
【図７】特性分離処理を説明する図
【図８】実施例１の入力画像を示す図
【図９】実施例１による分離結果を示す図
【図１０】比較例１による分離結果を示す図
【図１１】実施例２の入力画像を示す図
【図１２】実施例２による分離結果を示す図
【図１３】比較例２による分離結果を示す図
【図１４】実施例３の入力画像を示す図
【図１５】実施例３による分離結果を示す図
【図１６】比較例３による分離結果を示す図
【発明を実施するための形態】
【００１６】
以下図面に基づいて、本発明の実施形態を詳細に説明する。最初に、図１を参照しながら、本実施形態における画像処理装置が入力し、処理の対象とする画像（以下、「入力画像」という。）について説明する。
【００１７】
図１は、入力画像を説明する図である。入力画像は、２種類以上の特性を含む画像である。入力画像は、例えば、走査型電子顕微鏡によって画像化される。走査型電子顕微鏡は、電子線を絞って電子ビームとして対象に照射し、対象物から放出される二次電子、反射電子、透過電子、Ｘ線、カソードルミネッセンス（蛍光）、内部器電力等を検出することで対象を観察するものである。
【００１８】
本実施形態における入力画像は、例えば、反射電子像を検出することによって画像化されるものである。反射電子像の場合、同じ深度であれば、重い元素は反射能が高いので高信号値（輝度値としては明るい。）となり、軽い元素は反射能が低いので低信号値（輝度値としては暗い。）となる。但し、これらの信号値の違いは、肉眼では判別が難しい。
【００１９】
図１（ａ）は、一部の領域５ａ、５ｂに銅めっきが施された、凹凸形状の表面を有するアルミニウムの物体３（図１（ａ）では、斜線部）を模式的に示した表面の拡大断面図である。領域７は、物体３の内部に不純物として混入している銅を示している。
【００２０】
図１（ｂ）は、図１（ａ）に対応する輝度値分布を示している。図１（ｂ）では、輝度値は０〜２５５の範囲を取り得る。全体的には、深度が浅いところは高輝度値となり、深度が深いところは低輝度値となっている。また、組成物が銅の領域５ａ、５ｂ、７では、周辺の領域よりも高輝度値となっている。
【００２１】
より詳細に観察すると、銅の領域５ａは物体３の凹部に位置する為、凹部よりも深度が浅く、銅めっきが施されていない領域の輝度値よりも、銅の領域５ａの輝度値の方が低い値となっている。
【００２２】
また、領域５ｂと領域７を比較すると、深度は同程度であるにも関わらず、輝度値分布の形状が異なる。つまり、領域５ｂの輝度値分布は、左から右に見ていくと、境界付近の輝度値が急激に上昇し、暫くした後に、急激に下降しているのに対して、領域７の輝度値分布は、境界付近の輝度値がなだらかに上昇し、暫くした後に、なだらかに下降している。これは、領域７では、銅元素が物体３の内部に存在するので、銅元素に起因する反射電子像の散乱がなく、画像のシャープネスが減るためである。
【００２３】
本実施形態における画像処理装置は、このような性質を有する入力画像において、図１の例であれば、着目する特性領域を、銅めっきが施された領域５ａ及び５ｂとし、それ以外の領域と分離して、着目する特性領域の面積の割合を計測するものである。
【００２４】
従来技術のように、画素毎の輝度値を閾値処理によって２値化するだけであれば、銅めっきが施された領域５ａ及び５ｂと、それ以外の領域を正確に分離することができない。
【００２５】
例えば、図１（ｂ）に示すように、閾値Ｔ１によって閾値処理を行うと、閾値Ｔ１以上の領域として領域５ｂ及び領域７が抽出され、閾値Ｔ１未満の領域として領域５ａが抽出されてしまう。つまり、銅めっきが施された領域５ａ及び５ｂと、それ以外の領域とを分離できていない。
【００２６】
また、例えば、図１（ｂ）に示すように、閾値Ｔ２によって閾値処理を行うと、閾値Ｔ１以上の領域として領域５ａ、５ｂ及び領域７に加えて、銅元素を全く含まない領域も抽出されてしまう。つまり、銅めっきが施された領域５ａ及び５ｂと、それ以外の領域とを分離できていない。
【００２７】
以下に説明するように、本実施形態における画像処理装置では、図１のような場合であっても、銅めっきが施された領域５ａ及び５ｂと、それ以外の領域を正確に分離することが可能となる。
【００２８】
以下の説明では、入力画像における画素ごとの値として、輝度値と色相値の２種類を考える。但し、両者を区別する必要が無い場合には、輝度値と色相値を総称して、「画素値」と記載する。
【００２９】
図２は、画像処理装置のハードウエア構成図である。尚、図２のハードウエア構成は一例であり、用途、目的に応じて様々な構成を採ることが可能である。
【００３０】
画像処理装置１を実現するコンピュータは、制御部１１、記憶部１２、メディア入出力部１３、通信制御部１４、入力部１５、表示部１６、周辺機器Ｉ／Ｆ部１７等が、バス１８を介して接続される。
【００３１】
制御部１１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等で構成される。ＣＰＵは、記憶部１２、ＲＯＭ、記録媒体等に格納されるプログラムをＲＡＭ上のワークメモリ領域に呼び出して実行し、バス１８を介して接続された各装置を駆動制御し、画像処理装置１が行う後述する処理を実現する。ＲＯＭは、不揮発性メモリであり、コンピュータのブートプログラムやＢＩＯＳ等のプログラム、データ等を恒久的に保持している。ＲＡＭは、揮発性メモリであり、記憶部１２、ＲＯＭ、記録媒体等からロードしたプログラム、データ等を一時的に保持するとともに、制御部１１が各種処理を行う為に使用するワークエリアを備える。
【００３２】
記憶部１２は、例えば、ＨＤＤ（Hard Disk Drive）であり、制御部１１が実行するプログラム、プログラム実行に必要なデータ、ＯＳ（Operating System）等が格納される。プログラムに関しては、ＯＳに相当する制御プログラムや、後述する処理をコンピュータに実行させるためのアプリケーションプログラムが格納されている。これらの各プログラムコードは、制御部１１により必要に応じて読み出されてＲＡＭに移され、ＣＰＵに読み出されて各種の手段として実行される。
【００３３】
メディア入出力部１３（ドライブ装置）は、データの入出力を行い、例えば、ＣＤドライブ（−ＲＯＭ、−Ｒ、−ＲＷ等）、ＤＶＤドライブ（−ＲＯＭ、−Ｒ、−ＲＷ等）等のメディア入出力装置を有する。通信制御部１４は、通信制御装置、通信ポート等を有し、コンピュータとネットワーク間の通信を媒介する通信インタフェースであり、ネットワークを介して、他のコンピュータ間との通信制御を行う。ネットワークは、有線、無線を問わない。
【００３４】
入力部１５は、データの入力を行い、例えば、キーボード、マウス等のポインティングデバイス、テンキー等の入力装置を有する。入力部１５を介して、コンピュータに対して、操作指示、動作指示、データ入力等を行うことができる。表示部１６は、液晶パネル等のディスプレイ装置、ディスプレイ装置と連携してコンピュータのビデオ機能を実現するための論理回路等（ビデオアダプタ等）を有する。尚、入力部１５及び表示部１６は、タッチパネルディスプレイのように、一体となっていても良い。
【００３５】
周辺機器Ｉ／Ｆ（インタフェース）部１７は、コンピュータに周辺機器を接続させるためのポートであり、周辺機器Ｉ／Ｆ部１７を介してコンピュータは周辺機器（走査型電子顕微鏡等）とのデータの送受信を行う。周辺機器Ｉ／Ｆ部１７は、ＵＳＢやＩＥＥＥ１３９４やＲＳ−２３２Ｃ等で構成されており、通常複数の周辺機器Ｉ／Ｆを有する。周辺機器との接続形態は有線、無線を問わない。バス１８は、各装置間の制御信号、データ信号等の授受を媒介する経路である。
【００３６】
図３は、画像処理装置の機能構成図である。図３に示すように、画像処理装置１は、入力画像２１を入力データとし、画素値分布２２、画素値変化率分布２３、閾値２４、及び特性領域２５を中間データとし、計測結果２６を出力データとして扱う。また、画像処理装置１は、分布算出部３１、閾値決定部３２、特性分離部３３、及び計測部３４の機能を備える。尚、分布算出部３１、閾値決定部３２、特性分離部３３、及び計測部３４に含まれる各処理は、画像処理装置１に本発明に係るプログラムがインストールされることによって、画像処理装置１の制御部１１が実行するものである。
【００３７】
入力画像２１は、図１に例示して説明した通り、２種類以上の特性を含む画像である。特に、入力画像２１は、走査型電子顕微鏡によって反射電子像が検出され、画像化されたものである。
【００３８】
画素値分布２２は、入力画像２１に含まれる画素群の画素値の分布を示すデータである。分布算出部３１は、入力画像２１を入力とし、画素値分布２２を出力する。画素値分布２２の１例としては、入力画像２１に含まれる画素群の輝度値ヒストグラムが挙げられる。
【００３９】
図４及び図５は、それぞれ輝度値ヒストグラムの１例を示す図である。図４及び図５を比較すれば分かるように、本実施形態における画像処理装置１は、輝度値ヒストグラムの分布形状が異なる様々な入力画像２１に対して、統一的な手法によって、着目する特性領域２５を精度良く抽出する。
【００４０】
図３の説明に戻る。画素値変化率分布２３は、入力画像２１に含まれる画素群の画素値の変化率の分布を示すデータである。分布算出部３１は、入力画像２１を入力とし、画素値変化率分布２３を出力する。画素値変化率分布２３の１例としては、画素毎の微分値（１次微分であっても良いし、２次微分等の高次の微分であっても良い。）の分布である。例えば、ユーザが画像の特徴を判断し、画像の特徴に応じて、入力部１５を介して、１次微分と２次微分のいずれを用いるかを指示するようにしても良い。また、画像処理装置１が画像の特徴を自動的に判断し、画像の特徴に応じて、１次微分と２次微分のいずれを用いるかを判定するようにしても良い。
【００４１】
画像処理技術では、画素毎の微分値を算出するために、公知のフィルタが存在する。そこで、分布算出部３１は、微分値を算出するためのフィルタとして、例えば、注目画素とその右隣の画素との差を出力するフィルタ、注目画素とその左隣の画素との差を出力するフィルタ、及び、これら２つのフィルタによって出力される微分値の平均を取るフィルタ等の１次微分フィルタを用いる。また、分布算出部３１は、画素毎の微分値として、横方向の差分と縦方向の差分によって定義される画素値の勾配を求めても良い。画素値の勾配の大きさは、（横方向の差分の２乗＋縦方向の差分の２乗）の平方根、として定義される。また、分布算出部３１は、横方向の１次微分フィルタに限らず、縦方向の１次微分フィルタを用いても良い。また、分布算出部３１は、１次微分フィルタに限らず、２次微分フィルタ等の高次微分フィルタを用いても良い。
【００４２】
閾値２４は、特性分離部３３によって特性を分離する際に用いられるデータである。閾値決定部３２は、画素値分布２２に基づく値を入力とする人工知能的アルゴリズムによって、閾値２４を出力する。
【００４３】
ここで、人工知能的アルゴリズムとは、いくつかの指標値を入力し、その指標値に重みを付与し、所定の演算を施して出力値を出力する、という手順をコンピュータに実行させるための処理手順である。人工知能的アルゴリズムの例としては、ニューラルネットワーク、遺伝的アルゴリズム、ファジー理論、セルオートマトン等が挙げられる。
【００４４】
より詳しい例について説明する。画像処理装置１は、例えば、画素値分布２２に基づく値として、画素値分布２２から算出される画素値ヒストグラムの中央値及び最頻値、並びに、画素値分布２２のダイナミックレンジを入力層とするニューラルネットワークによって、特性を分離するための閾値を出力する。
【００４５】
ダイナミックレンジとは、走査型電子顕微鏡から出力される信号のうち、画素値（本実施形態では０〜２５５の範囲を取り得る。）の違いとして識別可能な信号の最小値と最大値の比率である。
【００４６】
また、ニューラルネットワークとは、人間の脳の学習と識別のメカニズムを模倣したコンピュータアルゴリズムである。例えば、入力層と出力層の２層のネットワークとして構成される「パーセプトロン」、入力層、中間層（中間層は１層でも良いし、複数の層でも良い。）及び出力層のネットワークと教師信号によって構成される「多層ニューラルネットワーク」等が挙げられる。ニューラルネットワーク自体は公知であるため、詳細な説明を省略する。
【００４７】
特性領域２５は、図１に例示して説明した通り、入力画像２１の領域の中で、着目する特性に係る領域を示すデータである。特性分離部３３は、画素値分布２２、画素値変化率分布２３、及び閾値２４を入力とし、これらを用いて入力画像２１の領域を特性ごとの領域に分離し、特性領域２５を出力する。特性分離部３３の処理の詳細は、図６及び図７を参照しながら後述する。特性分離部３３が精度良く特性を分離した場合、図１の例であれば、特性領域２５は、銅めっきが施された領域５ａ及び５ｂとなる。
【００４８】
計測結果２６は、所望する計測処理の結果を示すデータである。計測部３４は、特性領域２５を入力し、特性領域２５に基づいて計測処理を行い、計測結果２６を出力する。図１の例であれば、計測部３４は、着目する特性領域２５を銅めっきが施された領域５ａ及び５ｂとし、着目する特性領域の面積の割合を計測するものである。これによって、例えば、アルミニウムからなる物体３の接合部の品質を評価することができる。具体的に説明すると、まず、評価対象の接合部を剥がし、接合部に銅めっきを施す。そして、接合部を撮影し、入力画像２１とする。そして、本実施の形態における特性分離処理及び計測処理を行うことによって、銅の特性領域の面積の割合を計測する。上手く接合していない箇所は空気に接している為、銅めっきを施しても銅が付着しない。従って、銅の特性領域の面積の割合が高ければ、接合部の品質が高いと判断することができる。但し、計測部３４による計測処理は、特に限定されるものではなく、特性領域２５に基づいて行われるものであれば、どのような処理であっても良い。
【００４９】
図６は、特性分離処理の詳細を示すフローチャートである。図７は、特性分離処理を説明する図である。以下では、図６に沿って処理の流れを説明し、必要に応じて図７を参照する。
【００５０】
図６に示すように、画像処理装置１の制御部１１は、閾値２４（閾値決定部３２によって事前に決定された値）を用いた輪郭抽出処理を行い、輪郭領域を抽出する（ステップＳ１）。
【００５１】
図７（ａ）は、図１（ａ）と同様である。図７（ｂ）は、図１（ａ）の下部を省略するとともに、本実施形態における閾値２４に置き換えたものである。図７（ｂ）では、本実施形態における閾値２４として、閾値Ｔ３が一点鎖線によって図示されている。
【００５２】
図７（ｃ）は、図１（ａ）に対応する輝度値変化率分布２３、輪郭領域、及び特性領域２５を示している。ステップＳ１の処理によって、閾値Ｔ３以上の領域が輪郭領域として抽出される。
【００５３】
図７（ｃ）では、輪郭領域ａ、ｂ、ｃが図示されている。輪郭領域ａは、銅元素を含まず、アルミニウム元素（物体３の主要組成元素）のみを含む。輪郭領域ｂは、領域５ａを含む領域。輪郭領域ｃは、領域５ｂ及び領域７を含む。尚、図７では、特定の１走査直線分の画素群の画素値分布しか図示していない。特定の１走査直線分の画素群とは、例えば、画像空間を２次元のＸＹ座標平面としたとき、ｙ座標を固定したｘ軸と平行な直線上の画素群などである。実際には、画像処理装置１は、他の走査直線に対しても同様の処理を行う。例えば、図７（ｃ）に示す画素値分布が、ｙ座標を固定したｘ軸と平行な直線上の画素群の画素値分布とすると、この走査直線と直交する方向（＝ｘ軸方向）に１画素ずつずらした走査直線に対しても同様の処理を行う。このように、画像処理装置１が、入力画像２１に含まれる全走査直線に対して図７（ｃ）に示す処理を行うことによって、入力画像２１に対する特性分離処理が完了する。
【００５４】
図６の説明に戻る。画像処理装置１の制御部１１は、輪郭領域内の画素に対して、画素値変化率分布２３に基づく絞り込み処理を行うことによって、着目する特性に係る特性領域２５を抽出する（ステップＳ２）。そして、制御部１１は、着目する特性に係る特性領域２５を記憶部１２に記憶し（ステップＳ３）、処理を終了する。
【００５５】
前述の絞り込み処理について、図７（ｃ）を参照しながら説明する。図７（ｃ）では、各輪郭領域の代表的な画素における輝度値変化率を、黒丸（●）によって模式的に図示している。また、絞り込み処理に用いる閾値Ｔ４及びＴ５（Ｔ４＞Ｔ５）を、それぞれ一点鎖線によって図示している。
【００５６】
図７（ｃ）に図示されている輝度値変化率は、注目画素とその左隣の画素との差を出力するフィルタによって算出されたものである。つまり、図７（ｃ）に図示されている輝度値変化率は、注目画素の画素値から、注目画素の左隣の画素の画素値を引いた値である。但し、絞り込み処理において用いられる輝度値変化率は、この例に限定されず、図３を参照しながら説明した通り、様々な例が考えられる。
【００５７】
画像処理装置１の制御部１１は、各輪郭領域に属する画素を１つずつ走査していき、各画素の画素値変化率が、閾値Ｔ４（Ｔ４は正の値）以上、又は、閾値Ｔ５（Ｔ５は負の値）以下であるかを判定する。例えば、制御部１１は、画素値変化率がＴ４以上の画素については、急上昇フラグ、画素値変化率がＴ５以下の画素については、急降下フラグを対応付けておく。そして、制御部１１は、同一の輪郭領域に属する画素群の中で、急上昇フラグが付された画素と急降下フラグが付された画素に挟まれる画素群を、特性領域２５として絞り込む。閾値Ｔ４及びＴ５については、例えば、同じ種類の画像（本実施形態であれば、一部の領域５ａ、５ｂに銅めっきが施された、凹凸形状の表面を有するアルミニウムの物体３を撮影した画像）に基づき、予め定めておくようにする。閾値Ｔ４及びＴ５を定めた後は、制御部１１が自動的に判定処理を行い、特性領域２５を絞り込む。
【００５８】
図７（ｃ）には、輪郭領域ｂの全体が、特性領域Ａとして抽出されていることが示されている。特性領域Ａは、図７（ａ）における、銅めっきが施された領域５ａである。
【００５９】
同様に、図７（ｃ）には、輪郭領域ｃの一部が、特性領域Ｂとして抽出されていることが示されている。特性領域Ｂは、図７（ａ）における、銅めっきが施された領域５ｂである。
【００６０】
そして、図７（ｃ）には、特性領域Ａ及びＢ以外に、特性領域２５として抽出された領域がないことが示されている。つまり、図７（ａ）における、物体３の内部に不純物として混入している銅元素を含む領域７は、特性領域２５として抽出されていない。
【００６１】
このように、本実施形態における画像処理装置１は、図１のような場合であっても、銅めっきが施された領域５ａ及び５ｂと、それ以外の領域を正確に分離することが可能となる。更に言えば、物体３の内部に不純物として混入している銅元素を含む領域７についても、銅めっきが施された領域５ａ及び５ｂと分離することが可能となる。
【００６２】
尚、前述の説明では、画像処理装置１は、第１段階として、閾値決定部３２によって事前に決定された閾値を用いた輪郭抽出処理を行い、輪郭領域を抽出し、第２段階として、画素値変化率に基づく絞り込み処理を行い、特性領域２５を抽出するものとしたが、この例に限定されない。画像処理装置１は、更に、第２段階の処理によって抽出された特性領域２５と思われる領域の形状に基づく絞り込み処理を行っても良い。領域の形状に基づく絞り込み処理としては、例えば、領域の面積が閾値以下であること、又は、領域の輪郭上の任意の２点間の最大距離が閾値以下であること、等の条件によって絞り込みを行うことが挙げられる。領域の形状に基づく絞り込み処理によって、物体３の表面に偶然付与された別の物体や傷などを除外することができる。
【００６３】
また、前述の説明では、図７（ｃ）に示す閾値Ｔ４及びＴ５（絞り込み処理のための閾値）の決定法について言及していないが、例えば、図７（ｃ）に示す閾値Ｔ３（輪郭抽出処理のための閾値）と同様、閾値決定部３２が、画素値変化率分布２３に基づく値を入力とする人工知能的アルゴリズムによって決定しても良い。
【実施例１】
【００６４】
図８〜図１０を参照しながら、実施例１について説明する。図８は実施例１の入力画像を示す図、図９は実施例１による分離結果を示す図、図１０は比較例１による分離結果を示す図である。
【００６５】
実施例１では、走査型電子顕微鏡によって反射電子像を検出することによって得られる画像に対して、特性分離処理を行った。反射電子によるコントラストによって、物体表面の構成元素を分離したいのであるが、従来は、表面の凹凸や観察条件の違いが結果に影響し、正しい評価が得られないといった問題があった。
【００６６】
そこで、輝度値分布に基づく値を入力層とするニューラルネットワークによって輪郭抽出処理のための閾値を決定した後、図３に示す特性分離処理を行った。本実施形態における画像処理方法によって、判定基準が標準化されると共に、観察対象の表面の凹凸や観察条件による影響を受けにくくなった。ひいては、実用レベルにおいても有効な評価手法を構築することができた。
【００６７】
図８は、倍率が５００倍の反射電子像である。図８（ａ）は加速電圧が５ｋＶ、図８（ｂ）は加速電圧が１０ｋＶとし、走査型電子顕微鏡によって反射電子像を検出した。観察対象は同じものであるが、観察条件のうち、加速電圧を変えたことになる。
【００６８】
一般に、加速電圧を高くすると、Ｓ／Ｎ比は向上する。しかしながら、表面からの信号に加えて、材料内部からの信号量が増加し、結果としてノイズの増大を招く恐れがある。
【００６９】
図９（ａ）に示す分離結果では、入力画像の全体領域に対する、黒の画素（特性領域に属する画素。以下同様。）の割合が、「２.３％」であった。また、図９（ｂ）に示す分離結果では、入力画像の全体領域に対する、黒の画素の割合が、「２.４％」であった。実施例１では、観察条件を変えた２つの計測結果（着目する特性領域の面積の割合。以下同様。）の比が、許容誤差範囲内となった。
【００７０】
比較例１では、実施例１と同じ入力画像に対して、従来手法、すなわち単純に予め定義された輝度値に関する閾値のみを用いる手法によって、特性分離処理を行った。図１０（ａ）に示す分離結果では、入力画像の全体領域に対する、黒の画素の割合が、「１.０％」であった。また、図１０（ｂ）に示す分離結果では、入力画像の全体領域に対する、黒の画素の割合が、「３.５％」であった。比較例１では、観察条件を変えた２つの計測結果の誤差が大きく、観察条件等の影響を受けやすいので、実用レベルにおいて使用に耐えないことが分かる。
【実施例２】
【００７１】
図１１〜図１３を参照しながら、実施例２について説明する。図１１は実施例２の入力画像を示す図、図１２は実施例２による分離結果を示す図、図１３は比較例２による分離結果を示す図である。
【００７２】
実施例２では、走査型電子顕微鏡によって反射電子像を検出することによって得られる画像に対して、特性分離処理を行った。反射電子によるコントラストによって、物体表面の構成元素を分離したいのであるが、前述した通り、従来は、表面の凹凸や観察条件の違いが結果に影響し、正しい評価が得られないといった問題があった。
【００７３】
そこで、輝度値分布に基づく値を入力し、遺伝アルゴリズムに適宜最小自乗法を組み合わせることによって輪郭抽出処理のための閾値を決定した後、図３に示す特性分離処理を行った。本実施形態において最小自乗法は必須ではないが、人工知能的アルゴリズムの手法に委ねているデータ処理において簡易的なスクリーニングを達成できる効果がある。すなわち一次のフィルタ効果を有し、無作為状態のデータから遺伝子の組み換えや突然変異等「進化」プロセスを開始するよりも時間効率が格段に向上する。本実施形態における画像処理方法によって、判定基準が標準化されると共に、観察対象の表面の凹凸や観察条件による影響を受けにくくなった。ひいては、実用レベルにおいても有効な評価手法を構築することができた。
【００７４】
図１１は、倍率が５００倍の反射電子像である。図１１（ａ）は加速電圧が５ｋＶ、図１１（ｂ）は加速電圧が１０ｋＶとし、走査型電子顕微鏡によって反射電子像を検出した。観察対象は同じものであるが、観察条件のうち、加速電圧を変えたことになる。
【００７５】
前述した通り、一般に、加速電圧を高くすると、Ｓ／Ｎ比は向上する。しかしながら、表面からの信号に加えて、材料内部からの信号量が増加し、結果としてノイズの増大を招く恐れがある。
【００７６】
図１２（ａ）に示す分離結果では、入力画像の全体領域に対する、黒の画素の割合が、「３.７％」であった。また、図１２（ｂ）に示す分離結果では、入力画像の全体領域に対する、黒の画素の割合が、「３.４％」であった。実施例２では、観察条件を変えた２つの計測結果の比が、許容誤差範囲内となった。
【００７７】
比較例２では、実施例２と同じ入力画像に対して、従来手法、すなわち単純に予め定義された輝度値に関する閾値のみを用いる手法によって、特性分離処理を行った。図１３（ａ）に示す分離結果では、入力画像の全体領域に対する、黒の画素の割合が、「２.２％」であった。また、図１３（ｂ）に示す分離結果では、入力画像の全体領域に対する、黒の画素の割合が、「１０.０％」であった。比較例２では、観察条件を変えた２つの計測結果の誤差が大きく、観察条件等の影響を受けやすいので、実用レベルにおいて使用に耐えないことが分かる。
【実施例３】
【００７８】
図１４〜図１６を参照しながら、実施例３について説明する。図１４は実施例３の入力画像を示す図、図１５は実施例３による分離結果を示す図、図１６は比較例３による分離結果を示す図である。尚、図１４（ａ）、図１５（ａ）、及び図１６（ａ）は、元々はカラー画像であったが、特許図面の制約の為、グレースケール画像に変換している。
【００７９】
実施例３では、光学顕微鏡によって得られる画像に対して、特性分離処理を行った。光の反射・屈折によるコントラストによって、物体表面の構成要素を分離したいのであるが、前述した通り、従来は、表面の凹凸や観察条件の違いが結果に影響し、正しい評価が得られないといった問題があった。
【００８０】
そこで、カラー撮影による画像に対しては色相値分布、モノクロ撮影による画像に対しては画素値分布を入力層とするニューラルネットワークによって輪郭抽出処理のための閾値を決定した後、図３に示す特性分離処理を行った。本実施形態における画像処理方法によって、判定基準が標準化されると共に、観察対象の表面の凹凸や観察条件による影響を受けにくくなった。ひいては、実用レベルにおいても有効な評価手法を構築することができた。
【００８１】
図１４は、倍率が５００倍の反射電子像である。図１４（ａ）はカラー撮影を行い、図１４（ｂ）はモノクロ撮影を行った。観察対象は同じものであるが、観察条件のうち、カラー／モノクロの条件を変えたことになる。
【００８２】
図１５（ａ）に示す分離結果では、入力画像の全体領域に対する、黒の画素（実施例１及び２と同じく、特性領域に属する画素を黒とした。以下同様。）の割合が、「５.１％」であった。また、図１５（ｂ）に示す分離結果では、入力画像の全体領域に対する、黒の画素の割合が、「５.２％」であった。実施例３では、観察条件を変えた２つの計測結果の比が、許容誤差範囲内となった。
【００８３】
比較例３では、実施例３と同じ入力画像に対して、従来手法、すなわち単純に予め定義された輝度値に関する閾値のみを用いる手法によって、特性分離処理を行った。図１６（ａ）に示す分離結果では、入力画像の全体領域に対する、黒の画素の割合が、「１.９％」であった。また、図１６（ｂ）に示す分離結果では、入力画像の全体領域に対する、黒の画素の割合が、「８.８％」であった。比較例３では、観察条件を変えた２つの計測結果の誤差が大きく、観察条件等の影響を受けやすいので、実用レベルにおいて使用に耐えないことが分かる。
【００８４】
以上、添付図面を参照しながら、本発明に係る画像処理方法等の好適な実施形態について説明したが、本発明はかかる例に限定されない。当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【００８５】
１………画像処理装置
２１………入力画像
２２………画素値分布
２３………画素値変化率分布
２４………閾値
２５………特性領域
２６………計測結果
３１………分布算出部
３２………閾値決定部
３３………特性分離部
３４………計測部
【技術分野】
【０００１】
本発明は、顕微鏡等によって得られる物体の画像に対する画像処理方法等に関し、詳細には、物体の計測処理を行うための前処理に関するものである。
【背景技術】
【０００２】
従来から、製品の品質評価等を目的として、顕微鏡等によって得られる製品の画像を解析することが行われている。このような画像解析では、画像に２種類以上の特性（物体の材質、物体の面の状態、物体の結晶状態等によって変わる画像の見え方を意味する。）が含まれる場合、特性の分離が必要になる。このような場合、画素毎の輝度値を閾値処理によって２値化することが一般的に行われている。そして、例えば、着目する特性に属する画素を黒、それ以外の特性に属する画素を白とし、黒の割合を計算することによって評価の指標とする。また、単純に２値化するのではなく、特性ごとの輪郭を抽出しておき、輪郭によって区切られた閉曲線の内と外とによって、黒と白に塗り分けることも行われている。
【０００３】
例えば、特許文献１には、プラスチック等の被観察物の欠陥（例えば、ゴム、プラスチック絶縁ケーブルの絶縁層の欠陥）を自動的に検出し、検出された欠陥の種類を自動的に判別する欠陥自動判別方法が開示されている。特許文献１に記載の技術では、被観察物１に、光０を透過させて同被観察物１中の欠陥Ｐを検出し、被観察物１と光電変換器３とを相対的に移動させて欠陥Ｐに対する焦点方向の観察深度を変え、同観察深度が欠陥Ｐに合った場合、同欠陥Ｐより浅い場合、同欠陥Ｐより深い場合の夫々における透過光輝度を、光学レンズ２により拡大結像された位置に設置されている光電変換器３により電気信号に変換し、同電気信号のうち予め設定されている電気信号強度の範囲Ｙの外にある部分ａ、ｂを欠陥信号ｃ、ｄとして取り出し（二値化処理し）、取り出された欠陥信号ｃ、ｄのパターン（黒色か白色か）を予め検出されている各種欠陥の二値化処理されている欠陥パターンと比較して、欠陥の種類を判別するというものである。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第２７３７７９７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、２種類以上の特性が含まれる画像に対して、一定の閾値を境にして黒と白に塗り分けると、着目している特性に該当しない部分も同じ輝度レベルと判定してしまうことがあり、特性の誤検出や検出不能（分離できない。）となる場合がある。輪郭を抽出する場合も同様である。つまり、輝度が変化する部分を画像認識して閉領域を取り出す際、一定の閾値を基準として輪郭の認識を行うと、輪郭の誤検出や検出不能（閉領域を取り出せない。）になる場合がある。いずれの場合も、検出の基準となる閾値が、対象となる画像に対して適切な値ではないことに起因している。
【０００６】
そこで、手作業によって特性分離や輪郭抽出を行うことも考えられる。しかしながら、手作業では熟練度に応じて精度が変わってしまう為、一定の評価基準によって製品の品質評価を行うことができない。
【０００７】
本発明は、前述した問題点に鑑みてなされたもので、その目的とすることは、着目する特性を精度良く抽出し、一定の評価基準によって製品の品質評価を行うことが可能な画像処理方法等を提供することである。
【課題を解決するための手段】
【０００８】
前述した目的を達成するために第１の発明は、２種類以上の特性を含む入力画像に対する計測処理を行う画像処理方法であって、前記入力画像の画素値分布及び画素値変化率分布を算出し、前記画素値分布に基づく値を入力とする人工知能的アルゴリズムによって、前記特性を分離するための閾値を出力し、前記画素値分布、前記画素値変化率分布及び前記閾値を用いて、前記入力画像の領域を前記特性ごとの特性領域に分離し、前記特性領域に基づいて前記計測処理を行うことを特徴とする画像処理方法である。第１の発明によって、着目する特性を精度良く抽出し、一定の評価基準によって製品の品質評価を行うことができる。
【０００９】
第１の発明では、前記画素値分布に対して前記閾値を用いた輪郭抽出処理を行うことによって、輪郭領域を抽出し、前記輪郭領域内の画素に対して前記画素値変化率分布に基づく絞り込み処理を行うことによって、着目する特性に係る前記特性領域を抽出することが望ましい。これによって、特性領域分離処理の精度が向上する。
【００１０】
第１の発明は、例えば、前記画素値分布に基づく値として、前記画素値分布から算出される画素値ヒストグラムの中央値及び最頻値、並びに、前記画素値分布のダイナミックレンジを入力層とするニューラルネットワークによって、前記閾値を出力するものである。これによって、判定基準が標準化されると共に、観察対象の表面の凹凸や観察条件による影響を受けにくくなる。ひいては、実用レベルにおいても有効な評価手法を構築することができる。
【００１１】
また、第１の発明では、２次元の画像空間に対して、第１の軸と平行な直線上の前記輪郭領域に属する画素を１つずつ走査していき、各画素の画素値変化率が予め定められた正の値以上の画素については急上昇フラグ、及び各画素の画素値変化率が予め定められた負の値以下の画素については急降下フラグを対応付けておき、更に、前記第１の軸と直交する第２の軸の方向に１画素ずつずらした直線に対しても同様の処理を行い、同一の輪郭領域に属する画素群の中で、前記急上昇フラグが付された画素と前記急降下フラグが付された画素に挟まれる画素群を、前記特性領域として絞り込む。これによって、輪郭領域から精度良く特性領域を抽出することができる。
【００１２】
また、第１の発明における前記特性領域は、例えば、銅めっきが施された領域であり、前記計測処理は、前記特性領域の面積の割合を計測する。これによって、例えば、アルミニウムからなる物体の接合部の品質を評価することができる。
【００１３】
第２の発明は、２種類以上の特性を含む入力画像に対する計測処理を行う画像処理装置であって、前記画像の画素値分布及び画素値変化率分布を算出する手段と、前記画素値分布に基づく値を入力とする人工知能的アルゴリズムによって、前記特性を分離するための閾値を出力する手段と、前記画素値分布、前記画素値変化率分布及び前記閾値を用いて、前記入力画像の領域を前記特性ごとの特性領域に分離する手段と、前記特性領域に基づいて前記計測処理を行う手段と、を具備することを特徴とする画像処理装置である。第２の発明によって、着目する特性を精度良く抽出し、一定の評価基準によって製品の品質評価を行うことができる。
【発明の効果】
【００１４】
本発明により、着目する特性を精度良く抽出し、一定の評価基準によって製品の品質評価を行うことが可能な画像処理方法等を提供することができる。
【図面の簡単な説明】
【００１５】
【図１】入力画像を説明する図
【図２】画像処理装置のハードウエア構成図
【図３】画像処理装置の機能構成図
【図４】輝度値ヒストグラムの１例を示す図
【図５】輝度値ヒストグラムの１例を示す図
【図６】特性分離処理の詳細を示すフローチャート
【図７】特性分離処理を説明する図
【図８】実施例１の入力画像を示す図
【図９】実施例１による分離結果を示す図
【図１０】比較例１による分離結果を示す図
【図１１】実施例２の入力画像を示す図
【図１２】実施例２による分離結果を示す図
【図１３】比較例２による分離結果を示す図
【図１４】実施例３の入力画像を示す図
【図１５】実施例３による分離結果を示す図
【図１６】比較例３による分離結果を示す図
【発明を実施するための形態】
【００１６】
以下図面に基づいて、本発明の実施形態を詳細に説明する。最初に、図１を参照しながら、本実施形態における画像処理装置が入力し、処理の対象とする画像（以下、「入力画像」という。）について説明する。
【００１７】
図１は、入力画像を説明する図である。入力画像は、２種類以上の特性を含む画像である。入力画像は、例えば、走査型電子顕微鏡によって画像化される。走査型電子顕微鏡は、電子線を絞って電子ビームとして対象に照射し、対象物から放出される二次電子、反射電子、透過電子、Ｘ線、カソードルミネッセンス（蛍光）、内部器電力等を検出することで対象を観察するものである。
【００１８】
本実施形態における入力画像は、例えば、反射電子像を検出することによって画像化されるものである。反射電子像の場合、同じ深度であれば、重い元素は反射能が高いので高信号値（輝度値としては明るい。）となり、軽い元素は反射能が低いので低信号値（輝度値としては暗い。）となる。但し、これらの信号値の違いは、肉眼では判別が難しい。
【００１９】
図１（ａ）は、一部の領域５ａ、５ｂに銅めっきが施された、凹凸形状の表面を有するアルミニウムの物体３（図１（ａ）では、斜線部）を模式的に示した表面の拡大断面図である。領域７は、物体３の内部に不純物として混入している銅を示している。
【００２０】
図１（ｂ）は、図１（ａ）に対応する輝度値分布を示している。図１（ｂ）では、輝度値は０〜２５５の範囲を取り得る。全体的には、深度が浅いところは高輝度値となり、深度が深いところは低輝度値となっている。また、組成物が銅の領域５ａ、５ｂ、７では、周辺の領域よりも高輝度値となっている。
【００２１】
より詳細に観察すると、銅の領域５ａは物体３の凹部に位置する為、凹部よりも深度が浅く、銅めっきが施されていない領域の輝度値よりも、銅の領域５ａの輝度値の方が低い値となっている。
【００２２】
また、領域５ｂと領域７を比較すると、深度は同程度であるにも関わらず、輝度値分布の形状が異なる。つまり、領域５ｂの輝度値分布は、左から右に見ていくと、境界付近の輝度値が急激に上昇し、暫くした後に、急激に下降しているのに対して、領域７の輝度値分布は、境界付近の輝度値がなだらかに上昇し、暫くした後に、なだらかに下降している。これは、領域７では、銅元素が物体３の内部に存在するので、銅元素に起因する反射電子像の散乱がなく、画像のシャープネスが減るためである。
【００２３】
本実施形態における画像処理装置は、このような性質を有する入力画像において、図１の例であれば、着目する特性領域を、銅めっきが施された領域５ａ及び５ｂとし、それ以外の領域と分離して、着目する特性領域の面積の割合を計測するものである。
【００２４】
従来技術のように、画素毎の輝度値を閾値処理によって２値化するだけであれば、銅めっきが施された領域５ａ及び５ｂと、それ以外の領域を正確に分離することができない。
【００２５】
例えば、図１（ｂ）に示すように、閾値Ｔ１によって閾値処理を行うと、閾値Ｔ１以上の領域として領域５ｂ及び領域７が抽出され、閾値Ｔ１未満の領域として領域５ａが抽出されてしまう。つまり、銅めっきが施された領域５ａ及び５ｂと、それ以外の領域とを分離できていない。
【００２６】
また、例えば、図１（ｂ）に示すように、閾値Ｔ２によって閾値処理を行うと、閾値Ｔ１以上の領域として領域５ａ、５ｂ及び領域７に加えて、銅元素を全く含まない領域も抽出されてしまう。つまり、銅めっきが施された領域５ａ及び５ｂと、それ以外の領域とを分離できていない。
【００２７】
以下に説明するように、本実施形態における画像処理装置では、図１のような場合であっても、銅めっきが施された領域５ａ及び５ｂと、それ以外の領域を正確に分離することが可能となる。
【００２８】
以下の説明では、入力画像における画素ごとの値として、輝度値と色相値の２種類を考える。但し、両者を区別する必要が無い場合には、輝度値と色相値を総称して、「画素値」と記載する。
【００２９】
図２は、画像処理装置のハードウエア構成図である。尚、図２のハードウエア構成は一例であり、用途、目的に応じて様々な構成を採ることが可能である。
【００３０】
画像処理装置１を実現するコンピュータは、制御部１１、記憶部１２、メディア入出力部１３、通信制御部１４、入力部１５、表示部１６、周辺機器Ｉ／Ｆ部１７等が、バス１８を介して接続される。
【００３１】
制御部１１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等で構成される。ＣＰＵは、記憶部１２、ＲＯＭ、記録媒体等に格納されるプログラムをＲＡＭ上のワークメモリ領域に呼び出して実行し、バス１８を介して接続された各装置を駆動制御し、画像処理装置１が行う後述する処理を実現する。ＲＯＭは、不揮発性メモリであり、コンピュータのブートプログラムやＢＩＯＳ等のプログラム、データ等を恒久的に保持している。ＲＡＭは、揮発性メモリであり、記憶部１２、ＲＯＭ、記録媒体等からロードしたプログラム、データ等を一時的に保持するとともに、制御部１１が各種処理を行う為に使用するワークエリアを備える。
【００３２】
記憶部１２は、例えば、ＨＤＤ（Hard Disk Drive）であり、制御部１１が実行するプログラム、プログラム実行に必要なデータ、ＯＳ（Operating System）等が格納される。プログラムに関しては、ＯＳに相当する制御プログラムや、後述する処理をコンピュータに実行させるためのアプリケーションプログラムが格納されている。これらの各プログラムコードは、制御部１１により必要に応じて読み出されてＲＡＭに移され、ＣＰＵに読み出されて各種の手段として実行される。
【００３３】
メディア入出力部１３（ドライブ装置）は、データの入出力を行い、例えば、ＣＤドライブ（−ＲＯＭ、−Ｒ、−ＲＷ等）、ＤＶＤドライブ（−ＲＯＭ、−Ｒ、−ＲＷ等）等のメディア入出力装置を有する。通信制御部１４は、通信制御装置、通信ポート等を有し、コンピュータとネットワーク間の通信を媒介する通信インタフェースであり、ネットワークを介して、他のコンピュータ間との通信制御を行う。ネットワークは、有線、無線を問わない。
【００３４】
入力部１５は、データの入力を行い、例えば、キーボード、マウス等のポインティングデバイス、テンキー等の入力装置を有する。入力部１５を介して、コンピュータに対して、操作指示、動作指示、データ入力等を行うことができる。表示部１６は、液晶パネル等のディスプレイ装置、ディスプレイ装置と連携してコンピュータのビデオ機能を実現するための論理回路等（ビデオアダプタ等）を有する。尚、入力部１５及び表示部１６は、タッチパネルディスプレイのように、一体となっていても良い。
【００３５】
周辺機器Ｉ／Ｆ（インタフェース）部１７は、コンピュータに周辺機器を接続させるためのポートであり、周辺機器Ｉ／Ｆ部１７を介してコンピュータは周辺機器（走査型電子顕微鏡等）とのデータの送受信を行う。周辺機器Ｉ／Ｆ部１７は、ＵＳＢやＩＥＥＥ１３９４やＲＳ−２３２Ｃ等で構成されており、通常複数の周辺機器Ｉ／Ｆを有する。周辺機器との接続形態は有線、無線を問わない。バス１８は、各装置間の制御信号、データ信号等の授受を媒介する経路である。
【００３６】
図３は、画像処理装置の機能構成図である。図３に示すように、画像処理装置１は、入力画像２１を入力データとし、画素値分布２２、画素値変化率分布２３、閾値２４、及び特性領域２５を中間データとし、計測結果２６を出力データとして扱う。また、画像処理装置１は、分布算出部３１、閾値決定部３２、特性分離部３３、及び計測部３４の機能を備える。尚、分布算出部３１、閾値決定部３２、特性分離部３３、及び計測部３４に含まれる各処理は、画像処理装置１に本発明に係るプログラムがインストールされることによって、画像処理装置１の制御部１１が実行するものである。
【００３７】
入力画像２１は、図１に例示して説明した通り、２種類以上の特性を含む画像である。特に、入力画像２１は、走査型電子顕微鏡によって反射電子像が検出され、画像化されたものである。
【００３８】
画素値分布２２は、入力画像２１に含まれる画素群の画素値の分布を示すデータである。分布算出部３１は、入力画像２１を入力とし、画素値分布２２を出力する。画素値分布２２の１例としては、入力画像２１に含まれる画素群の輝度値ヒストグラムが挙げられる。
【００３９】
図４及び図５は、それぞれ輝度値ヒストグラムの１例を示す図である。図４及び図５を比較すれば分かるように、本実施形態における画像処理装置１は、輝度値ヒストグラムの分布形状が異なる様々な入力画像２１に対して、統一的な手法によって、着目する特性領域２５を精度良く抽出する。
【００４０】
図３の説明に戻る。画素値変化率分布２３は、入力画像２１に含まれる画素群の画素値の変化率の分布を示すデータである。分布算出部３１は、入力画像２１を入力とし、画素値変化率分布２３を出力する。画素値変化率分布２３の１例としては、画素毎の微分値（１次微分であっても良いし、２次微分等の高次の微分であっても良い。）の分布である。例えば、ユーザが画像の特徴を判断し、画像の特徴に応じて、入力部１５を介して、１次微分と２次微分のいずれを用いるかを指示するようにしても良い。また、画像処理装置１が画像の特徴を自動的に判断し、画像の特徴に応じて、１次微分と２次微分のいずれを用いるかを判定するようにしても良い。
【００４１】
画像処理技術では、画素毎の微分値を算出するために、公知のフィルタが存在する。そこで、分布算出部３１は、微分値を算出するためのフィルタとして、例えば、注目画素とその右隣の画素との差を出力するフィルタ、注目画素とその左隣の画素との差を出力するフィルタ、及び、これら２つのフィルタによって出力される微分値の平均を取るフィルタ等の１次微分フィルタを用いる。また、分布算出部３１は、画素毎の微分値として、横方向の差分と縦方向の差分によって定義される画素値の勾配を求めても良い。画素値の勾配の大きさは、（横方向の差分の２乗＋縦方向の差分の２乗）の平方根、として定義される。また、分布算出部３１は、横方向の１次微分フィルタに限らず、縦方向の１次微分フィルタを用いても良い。また、分布算出部３１は、１次微分フィルタに限らず、２次微分フィルタ等の高次微分フィルタを用いても良い。
【００４２】
閾値２４は、特性分離部３３によって特性を分離する際に用いられるデータである。閾値決定部３２は、画素値分布２２に基づく値を入力とする人工知能的アルゴリズムによって、閾値２４を出力する。
【００４３】
ここで、人工知能的アルゴリズムとは、いくつかの指標値を入力し、その指標値に重みを付与し、所定の演算を施して出力値を出力する、という手順をコンピュータに実行させるための処理手順である。人工知能的アルゴリズムの例としては、ニューラルネットワーク、遺伝的アルゴリズム、ファジー理論、セルオートマトン等が挙げられる。
【００４４】
より詳しい例について説明する。画像処理装置１は、例えば、画素値分布２２に基づく値として、画素値分布２２から算出される画素値ヒストグラムの中央値及び最頻値、並びに、画素値分布２２のダイナミックレンジを入力層とするニューラルネットワークによって、特性を分離するための閾値を出力する。
【００４５】
ダイナミックレンジとは、走査型電子顕微鏡から出力される信号のうち、画素値（本実施形態では０〜２５５の範囲を取り得る。）の違いとして識別可能な信号の最小値と最大値の比率である。
【００４６】
また、ニューラルネットワークとは、人間の脳の学習と識別のメカニズムを模倣したコンピュータアルゴリズムである。例えば、入力層と出力層の２層のネットワークとして構成される「パーセプトロン」、入力層、中間層（中間層は１層でも良いし、複数の層でも良い。）及び出力層のネットワークと教師信号によって構成される「多層ニューラルネットワーク」等が挙げられる。ニューラルネットワーク自体は公知であるため、詳細な説明を省略する。
【００４７】
特性領域２５は、図１に例示して説明した通り、入力画像２１の領域の中で、着目する特性に係る領域を示すデータである。特性分離部３３は、画素値分布２２、画素値変化率分布２３、及び閾値２４を入力とし、これらを用いて入力画像２１の領域を特性ごとの領域に分離し、特性領域２５を出力する。特性分離部３３の処理の詳細は、図６及び図７を参照しながら後述する。特性分離部３３が精度良く特性を分離した場合、図１の例であれば、特性領域２５は、銅めっきが施された領域５ａ及び５ｂとなる。
【００４８】
計測結果２６は、所望する計測処理の結果を示すデータである。計測部３４は、特性領域２５を入力し、特性領域２５に基づいて計測処理を行い、計測結果２６を出力する。図１の例であれば、計測部３４は、着目する特性領域２５を銅めっきが施された領域５ａ及び５ｂとし、着目する特性領域の面積の割合を計測するものである。これによって、例えば、アルミニウムからなる物体３の接合部の品質を評価することができる。具体的に説明すると、まず、評価対象の接合部を剥がし、接合部に銅めっきを施す。そして、接合部を撮影し、入力画像２１とする。そして、本実施の形態における特性分離処理及び計測処理を行うことによって、銅の特性領域の面積の割合を計測する。上手く接合していない箇所は空気に接している為、銅めっきを施しても銅が付着しない。従って、銅の特性領域の面積の割合が高ければ、接合部の品質が高いと判断することができる。但し、計測部３４による計測処理は、特に限定されるものではなく、特性領域２５に基づいて行われるものであれば、どのような処理であっても良い。
【００４９】
図６は、特性分離処理の詳細を示すフローチャートである。図７は、特性分離処理を説明する図である。以下では、図６に沿って処理の流れを説明し、必要に応じて図７を参照する。
【００５０】
図６に示すように、画像処理装置１の制御部１１は、閾値２４（閾値決定部３２によって事前に決定された値）を用いた輪郭抽出処理を行い、輪郭領域を抽出する（ステップＳ１）。
【００５１】
図７（ａ）は、図１（ａ）と同様である。図７（ｂ）は、図１（ａ）の下部を省略するとともに、本実施形態における閾値２４に置き換えたものである。図７（ｂ）では、本実施形態における閾値２４として、閾値Ｔ３が一点鎖線によって図示されている。
【００５２】
図７（ｃ）は、図１（ａ）に対応する輝度値変化率分布２３、輪郭領域、及び特性領域２５を示している。ステップＳ１の処理によって、閾値Ｔ３以上の領域が輪郭領域として抽出される。
【００５３】
図７（ｃ）では、輪郭領域ａ、ｂ、ｃが図示されている。輪郭領域ａは、銅元素を含まず、アルミニウム元素（物体３の主要組成元素）のみを含む。輪郭領域ｂは、領域５ａを含む領域。輪郭領域ｃは、領域５ｂ及び領域７を含む。尚、図７では、特定の１走査直線分の画素群の画素値分布しか図示していない。特定の１走査直線分の画素群とは、例えば、画像空間を２次元のＸＹ座標平面としたとき、ｙ座標を固定したｘ軸と平行な直線上の画素群などである。実際には、画像処理装置１は、他の走査直線に対しても同様の処理を行う。例えば、図７（ｃ）に示す画素値分布が、ｙ座標を固定したｘ軸と平行な直線上の画素群の画素値分布とすると、この走査直線と直交する方向（＝ｘ軸方向）に１画素ずつずらした走査直線に対しても同様の処理を行う。このように、画像処理装置１が、入力画像２１に含まれる全走査直線に対して図７（ｃ）に示す処理を行うことによって、入力画像２１に対する特性分離処理が完了する。
【００５４】
図６の説明に戻る。画像処理装置１の制御部１１は、輪郭領域内の画素に対して、画素値変化率分布２３に基づく絞り込み処理を行うことによって、着目する特性に係る特性領域２５を抽出する（ステップＳ２）。そして、制御部１１は、着目する特性に係る特性領域２５を記憶部１２に記憶し（ステップＳ３）、処理を終了する。
【００５５】
前述の絞り込み処理について、図７（ｃ）を参照しながら説明する。図７（ｃ）では、各輪郭領域の代表的な画素における輝度値変化率を、黒丸（●）によって模式的に図示している。また、絞り込み処理に用いる閾値Ｔ４及びＴ５（Ｔ４＞Ｔ５）を、それぞれ一点鎖線によって図示している。
【００５６】
図７（ｃ）に図示されている輝度値変化率は、注目画素とその左隣の画素との差を出力するフィルタによって算出されたものである。つまり、図７（ｃ）に図示されている輝度値変化率は、注目画素の画素値から、注目画素の左隣の画素の画素値を引いた値である。但し、絞り込み処理において用いられる輝度値変化率は、この例に限定されず、図３を参照しながら説明した通り、様々な例が考えられる。
【００５７】
画像処理装置１の制御部１１は、各輪郭領域に属する画素を１つずつ走査していき、各画素の画素値変化率が、閾値Ｔ４（Ｔ４は正の値）以上、又は、閾値Ｔ５（Ｔ５は負の値）以下であるかを判定する。例えば、制御部１１は、画素値変化率がＴ４以上の画素については、急上昇フラグ、画素値変化率がＴ５以下の画素については、急降下フラグを対応付けておく。そして、制御部１１は、同一の輪郭領域に属する画素群の中で、急上昇フラグが付された画素と急降下フラグが付された画素に挟まれる画素群を、特性領域２５として絞り込む。閾値Ｔ４及びＴ５については、例えば、同じ種類の画像（本実施形態であれば、一部の領域５ａ、５ｂに銅めっきが施された、凹凸形状の表面を有するアルミニウムの物体３を撮影した画像）に基づき、予め定めておくようにする。閾値Ｔ４及びＴ５を定めた後は、制御部１１が自動的に判定処理を行い、特性領域２５を絞り込む。
【００５８】
図７（ｃ）には、輪郭領域ｂの全体が、特性領域Ａとして抽出されていることが示されている。特性領域Ａは、図７（ａ）における、銅めっきが施された領域５ａである。
【００５９】
同様に、図７（ｃ）には、輪郭領域ｃの一部が、特性領域Ｂとして抽出されていることが示されている。特性領域Ｂは、図７（ａ）における、銅めっきが施された領域５ｂである。
【００６０】
そして、図７（ｃ）には、特性領域Ａ及びＢ以外に、特性領域２５として抽出された領域がないことが示されている。つまり、図７（ａ）における、物体３の内部に不純物として混入している銅元素を含む領域７は、特性領域２５として抽出されていない。
【００６１】
このように、本実施形態における画像処理装置１は、図１のような場合であっても、銅めっきが施された領域５ａ及び５ｂと、それ以外の領域を正確に分離することが可能となる。更に言えば、物体３の内部に不純物として混入している銅元素を含む領域７についても、銅めっきが施された領域５ａ及び５ｂと分離することが可能となる。
【００６２】
尚、前述の説明では、画像処理装置１は、第１段階として、閾値決定部３２によって事前に決定された閾値を用いた輪郭抽出処理を行い、輪郭領域を抽出し、第２段階として、画素値変化率に基づく絞り込み処理を行い、特性領域２５を抽出するものとしたが、この例に限定されない。画像処理装置１は、更に、第２段階の処理によって抽出された特性領域２５と思われる領域の形状に基づく絞り込み処理を行っても良い。領域の形状に基づく絞り込み処理としては、例えば、領域の面積が閾値以下であること、又は、領域の輪郭上の任意の２点間の最大距離が閾値以下であること、等の条件によって絞り込みを行うことが挙げられる。領域の形状に基づく絞り込み処理によって、物体３の表面に偶然付与された別の物体や傷などを除外することができる。
【００６３】
また、前述の説明では、図７（ｃ）に示す閾値Ｔ４及びＴ５（絞り込み処理のための閾値）の決定法について言及していないが、例えば、図７（ｃ）に示す閾値Ｔ３（輪郭抽出処理のための閾値）と同様、閾値決定部３２が、画素値変化率分布２３に基づく値を入力とする人工知能的アルゴリズムによって決定しても良い。
【実施例１】
【００６４】
図８〜図１０を参照しながら、実施例１について説明する。図８は実施例１の入力画像を示す図、図９は実施例１による分離結果を示す図、図１０は比較例１による分離結果を示す図である。
【００６５】
実施例１では、走査型電子顕微鏡によって反射電子像を検出することによって得られる画像に対して、特性分離処理を行った。反射電子によるコントラストによって、物体表面の構成元素を分離したいのであるが、従来は、表面の凹凸や観察条件の違いが結果に影響し、正しい評価が得られないといった問題があった。
【００６６】
そこで、輝度値分布に基づく値を入力層とするニューラルネットワークによって輪郭抽出処理のための閾値を決定した後、図３に示す特性分離処理を行った。本実施形態における画像処理方法によって、判定基準が標準化されると共に、観察対象の表面の凹凸や観察条件による影響を受けにくくなった。ひいては、実用レベルにおいても有効な評価手法を構築することができた。
【００６７】
図８は、倍率が５００倍の反射電子像である。図８（ａ）は加速電圧が５ｋＶ、図８（ｂ）は加速電圧が１０ｋＶとし、走査型電子顕微鏡によって反射電子像を検出した。観察対象は同じものであるが、観察条件のうち、加速電圧を変えたことになる。
【００６８】
一般に、加速電圧を高くすると、Ｓ／Ｎ比は向上する。しかしながら、表面からの信号に加えて、材料内部からの信号量が増加し、結果としてノイズの増大を招く恐れがある。
【００６９】
図９（ａ）に示す分離結果では、入力画像の全体領域に対する、黒の画素（特性領域に属する画素。以下同様。）の割合が、「２.３％」であった。また、図９（ｂ）に示す分離結果では、入力画像の全体領域に対する、黒の画素の割合が、「２.４％」であった。実施例１では、観察条件を変えた２つの計測結果（着目する特性領域の面積の割合。以下同様。）の比が、許容誤差範囲内となった。
【００７０】
比較例１では、実施例１と同じ入力画像に対して、従来手法、すなわち単純に予め定義された輝度値に関する閾値のみを用いる手法によって、特性分離処理を行った。図１０（ａ）に示す分離結果では、入力画像の全体領域に対する、黒の画素の割合が、「１.０％」であった。また、図１０（ｂ）に示す分離結果では、入力画像の全体領域に対する、黒の画素の割合が、「３.５％」であった。比較例１では、観察条件を変えた２つの計測結果の誤差が大きく、観察条件等の影響を受けやすいので、実用レベルにおいて使用に耐えないことが分かる。
【実施例２】
【００７１】
図１１〜図１３を参照しながら、実施例２について説明する。図１１は実施例２の入力画像を示す図、図１２は実施例２による分離結果を示す図、図１３は比較例２による分離結果を示す図である。
【００７２】
実施例２では、走査型電子顕微鏡によって反射電子像を検出することによって得られる画像に対して、特性分離処理を行った。反射電子によるコントラストによって、物体表面の構成元素を分離したいのであるが、前述した通り、従来は、表面の凹凸や観察条件の違いが結果に影響し、正しい評価が得られないといった問題があった。
【００７３】
そこで、輝度値分布に基づく値を入力し、遺伝アルゴリズムに適宜最小自乗法を組み合わせることによって輪郭抽出処理のための閾値を決定した後、図３に示す特性分離処理を行った。本実施形態において最小自乗法は必須ではないが、人工知能的アルゴリズムの手法に委ねているデータ処理において簡易的なスクリーニングを達成できる効果がある。すなわち一次のフィルタ効果を有し、無作為状態のデータから遺伝子の組み換えや突然変異等「進化」プロセスを開始するよりも時間効率が格段に向上する。本実施形態における画像処理方法によって、判定基準が標準化されると共に、観察対象の表面の凹凸や観察条件による影響を受けにくくなった。ひいては、実用レベルにおいても有効な評価手法を構築することができた。
【００７４】
図１１は、倍率が５００倍の反射電子像である。図１１（ａ）は加速電圧が５ｋＶ、図１１（ｂ）は加速電圧が１０ｋＶとし、走査型電子顕微鏡によって反射電子像を検出した。観察対象は同じものであるが、観察条件のうち、加速電圧を変えたことになる。
【００７５】
前述した通り、一般に、加速電圧を高くすると、Ｓ／Ｎ比は向上する。しかしながら、表面からの信号に加えて、材料内部からの信号量が増加し、結果としてノイズの増大を招く恐れがある。
【００７６】
図１２（ａ）に示す分離結果では、入力画像の全体領域に対する、黒の画素の割合が、「３.７％」であった。また、図１２（ｂ）に示す分離結果では、入力画像の全体領域に対する、黒の画素の割合が、「３.４％」であった。実施例２では、観察条件を変えた２つの計測結果の比が、許容誤差範囲内となった。
【００７７】
比較例２では、実施例２と同じ入力画像に対して、従来手法、すなわち単純に予め定義された輝度値に関する閾値のみを用いる手法によって、特性分離処理を行った。図１３（ａ）に示す分離結果では、入力画像の全体領域に対する、黒の画素の割合が、「２.２％」であった。また、図１３（ｂ）に示す分離結果では、入力画像の全体領域に対する、黒の画素の割合が、「１０.０％」であった。比較例２では、観察条件を変えた２つの計測結果の誤差が大きく、観察条件等の影響を受けやすいので、実用レベルにおいて使用に耐えないことが分かる。
【実施例３】
【００７８】
図１４〜図１６を参照しながら、実施例３について説明する。図１４は実施例３の入力画像を示す図、図１５は実施例３による分離結果を示す図、図１６は比較例３による分離結果を示す図である。尚、図１４（ａ）、図１５（ａ）、及び図１６（ａ）は、元々はカラー画像であったが、特許図面の制約の為、グレースケール画像に変換している。
【００７９】
実施例３では、光学顕微鏡によって得られる画像に対して、特性分離処理を行った。光の反射・屈折によるコントラストによって、物体表面の構成要素を分離したいのであるが、前述した通り、従来は、表面の凹凸や観察条件の違いが結果に影響し、正しい評価が得られないといった問題があった。
【００８０】
そこで、カラー撮影による画像に対しては色相値分布、モノクロ撮影による画像に対しては画素値分布を入力層とするニューラルネットワークによって輪郭抽出処理のための閾値を決定した後、図３に示す特性分離処理を行った。本実施形態における画像処理方法によって、判定基準が標準化されると共に、観察対象の表面の凹凸や観察条件による影響を受けにくくなった。ひいては、実用レベルにおいても有効な評価手法を構築することができた。
【００８１】
図１４は、倍率が５００倍の反射電子像である。図１４（ａ）はカラー撮影を行い、図１４（ｂ）はモノクロ撮影を行った。観察対象は同じものであるが、観察条件のうち、カラー／モノクロの条件を変えたことになる。
【００８２】
図１５（ａ）に示す分離結果では、入力画像の全体領域に対する、黒の画素（実施例１及び２と同じく、特性領域に属する画素を黒とした。以下同様。）の割合が、「５.１％」であった。また、図１５（ｂ）に示す分離結果では、入力画像の全体領域に対する、黒の画素の割合が、「５.２％」であった。実施例３では、観察条件を変えた２つの計測結果の比が、許容誤差範囲内となった。
【００８３】
比較例３では、実施例３と同じ入力画像に対して、従来手法、すなわち単純に予め定義された輝度値に関する閾値のみを用いる手法によって、特性分離処理を行った。図１６（ａ）に示す分離結果では、入力画像の全体領域に対する、黒の画素の割合が、「１.９％」であった。また、図１６（ｂ）に示す分離結果では、入力画像の全体領域に対する、黒の画素の割合が、「８.８％」であった。比較例３では、観察条件を変えた２つの計測結果の誤差が大きく、観察条件等の影響を受けやすいので、実用レベルにおいて使用に耐えないことが分かる。
【００８４】
以上、添付図面を参照しながら、本発明に係る画像処理方法等の好適な実施形態について説明したが、本発明はかかる例に限定されない。当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【００８５】
１………画像処理装置
２１………入力画像
２２………画素値分布
２３………画素値変化率分布
２４………閾値
２５………特性領域
２６………計測結果
３１………分布算出部
３２………閾値決定部
３３………特性分離部
３４………計測部
【特許請求の範囲】
【請求項１】
２種類以上の特性を含む入力画像に対する計測処理を行う画像処理方法であって、
前記入力画像の画素値分布及び画素値変化率分布を算出し、
前記画素値分布に基づく値を入力とする人工知能的アルゴリズムによって、前記特性を分離するための閾値を出力し、
前記画素値分布、前記画素値変化率分布及び前記閾値を用いて、前記入力画像の領域を前記特性ごとの特性領域に分離し、
前記特性領域に基づいて前記計測処理を行う
ことを特徴とする画像処理方法。
【請求項２】
前記画素値分布に対して前記閾値を用いた輪郭抽出処理を行うことによって、輪郭領域を抽出し、
前記輪郭領域内の画素に対して前記画素値変化率分布に基づく絞り込み処理を行うことによって、着目する特性に係る前記特性領域を抽出する
ことを特徴とする請求項１に記載の画像処理方法。
【請求項３】
前記画素値分布に基づく値として、前記画素値分布から算出される画素値ヒストグラムの中央値及び最頻値、並びに、前記画素値分布のダイナミックレンジを入力層とするニューラルネットワークによって、前記閾値を出力する
ことを特徴とする請求項１又は請求項２に記載の画像処理方法。
【請求項４】
２次元の画像空間に対して、第１の軸と平行な直線上の前記輪郭領域に属する画素を１つずつ走査していき、各画素の画素値変化率が予め定められた正の値以上の画素については急上昇フラグ、及び各画素の画素値変化率が予め定められた負の値以下の画素については急降下フラグを対応付けておき、更に、前記第１の軸と直交する第２の軸の方向に１画素ずつずらした直線に対しても同様の処理を行い、同一の輪郭領域に属する画素群の中で、前記急上昇フラグが付された画素と前記急降下フラグが付された画素に挟まれる画素群を、前記特性領域として絞り込む
ことを特徴とする請求項２に記載の画像処理方法。
【請求項５】
前記特性領域は、銅めっきが施された領域であり、
前記計測処理は、前記特性領域の面積の割合を計測する
ことを特徴とする請求項１から請求項４のいずれかに記載の画像処理方法。
【請求項６】
２種類以上の特性を含む入力画像に対する計測処理を行う画像処理装置であって、
前記画像の画素値分布及び画素値変化率分布を算出する手段と、
前記画素値分布に基づく値を入力とする人工知能的アルゴリズムによって、前記特性を分離するための閾値を出力する手段と、
前記画素値分布、前記画素値変化率分布及び前記閾値を用いて、前記入力画像の領域を前記特性ごとの特性領域に分離する手段と、
前記特性領域に基づいて前記計測処理を行う手段と、
を具備することを特徴とする画像処理装置。
【請求項１】
２種類以上の特性を含む入力画像に対する計測処理を行う画像処理方法であって、
前記入力画像の画素値分布及び画素値変化率分布を算出し、
前記画素値分布に基づく値を入力とする人工知能的アルゴリズムによって、前記特性を分離するための閾値を出力し、
前記画素値分布、前記画素値変化率分布及び前記閾値を用いて、前記入力画像の領域を前記特性ごとの特性領域に分離し、
前記特性領域に基づいて前記計測処理を行う
ことを特徴とする画像処理方法。
【請求項２】
前記画素値分布に対して前記閾値を用いた輪郭抽出処理を行うことによって、輪郭領域を抽出し、
前記輪郭領域内の画素に対して前記画素値変化率分布に基づく絞り込み処理を行うことによって、着目する特性に係る前記特性領域を抽出する
ことを特徴とする請求項１に記載の画像処理方法。
【請求項３】
前記画素値分布に基づく値として、前記画素値分布から算出される画素値ヒストグラムの中央値及び最頻値、並びに、前記画素値分布のダイナミックレンジを入力層とするニューラルネットワークによって、前記閾値を出力する
ことを特徴とする請求項１又は請求項２に記載の画像処理方法。
【請求項４】
２次元の画像空間に対して、第１の軸と平行な直線上の前記輪郭領域に属する画素を１つずつ走査していき、各画素の画素値変化率が予め定められた正の値以上の画素については急上昇フラグ、及び各画素の画素値変化率が予め定められた負の値以下の画素については急降下フラグを対応付けておき、更に、前記第１の軸と直交する第２の軸の方向に１画素ずつずらした直線に対しても同様の処理を行い、同一の輪郭領域に属する画素群の中で、前記急上昇フラグが付された画素と前記急降下フラグが付された画素に挟まれる画素群を、前記特性領域として絞り込む
ことを特徴とする請求項２に記載の画像処理方法。
【請求項５】
前記特性領域は、銅めっきが施された領域であり、
前記計測処理は、前記特性領域の面積の割合を計測する
ことを特徴とする請求項１から請求項４のいずれかに記載の画像処理方法。
【請求項６】
２種類以上の特性を含む入力画像に対する計測処理を行う画像処理装置であって、
前記画像の画素値分布及び画素値変化率分布を算出する手段と、
前記画素値分布に基づく値を入力とする人工知能的アルゴリズムによって、前記特性を分離するための閾値を出力する手段と、
前記画素値分布、前記画素値変化率分布及び前記閾値を用いて、前記入力画像の領域を前記特性ごとの特性領域に分離する手段と、
前記特性領域に基づいて前記計測処理を行う手段と、
を具備することを特徴とする画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１３−７７１３９（Ｐ２０１３−７７１３９Ａ）
【公開日】平成２５年４月２５日（２０１３．４．２５）
【国際特許分類】
【出願番号】特願２０１１−２１６２６５（Ｐ２０１１−２１６２６５）
【出願日】平成２３年９月３０日（２０１１．９．３０）
【出願人】（０００００５２９０）古河電気工業株式会社 (4,457)
【出願人】（３９１０４５８９７）古河ＡＳ株式会社 (571)
【Ｆターム（参考）】
【公開日】平成２５年４月２５日（２０１３．４．２５）
【国際特許分類】
【出願日】平成２３年９月３０日（２０１１．９．３０）
【出願人】（０００００５２９０）古河電気工業株式会社 (4,457)
【出願人】（３９１０４５８９７）古河ＡＳ株式会社 (571)
【Ｆターム（参考）】
[ Back to top ]