異物検出装置及び異物検出方法
【課題】検査対象の液体中に気泡が含まれている場合であっても、異物と気泡を区別して、良好な精度で異物を検出することが可能な異物検出装置及び異物検出方法を提供する。
【解決手段】異物検出装置（１）は、検査対象の液体が流れる測定管（２）に設けられた外部から視認可能な透過部（２４）を照明する光源部（３）の発光と同期して、透過部（２４）を流れる液体を撮影した検査画像を取得する撮像部（４）と、所定の閾値で２値化することによって検査画像を高輝度領域と低輝度領域に区分し、その低輝度領域を、異物候補領域として検出する異物候補領域検出手段（５４）と、異物候補領域の円形度を表す特徴量を少なくとも一つ抽出する特徴量抽出手段（５５）と、特徴量抽出手段（５５）で抽出された少なくとも一つの特徴量が所定の条件を満たす場合、異物候補領域は、異物の像であると判定する判定手段（５６）とを有する。
【解決手段】異物検出装置（１）は、検査対象の液体が流れる測定管（２）に設けられた外部から視認可能な透過部（２４）を照明する光源部（３）の発光と同期して、透過部（２４）を流れる液体を撮影した検査画像を取得する撮像部（４）と、所定の閾値で２値化することによって検査画像を高輝度領域と低輝度領域に区分し、その低輝度領域を、異物候補領域として検出する異物候補領域検出手段（５４）と、異物候補領域の円形度を表す特徴量を少なくとも一つ抽出する特徴量抽出手段（５５）と、特徴量抽出手段（５５）で抽出された少なくとも一つの特徴量が所定の条件を満たす場合、異物候補領域は、異物の像であると判定する判定手段（５６）とを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、異物検出装置及び異物検出方法に関するものであり、より詳しくは、被検査物である液体を撮影し、その撮影画像を解析して液体中の異物の有無を判定する異物検出装置及び異物検出方法に関する。
【背景技術】
【０００２】
従来より、液体中の異物混入度合いを調べるために、液体中に含まれる異物などの微粒子を測定する様々な装置及び方法が開発されている。そのような液体中の異物検出装置として使用されるものに、例えば、パーティクルカウンタがある。パーティクルカウンタでは、検査対象の液体を細い透明な管に流し、その管を外側からレーザ光などの照明光源で照射する。そして、管を挟んで照明光源と対峙するように配置された受光素子で照明光を受光する。もし、液体中に異物が混入していれば、その異物で照明光が遮られ、あるいは散乱して受光素子に到達する光量が減少するので、照明光の光量及びパルス数を測定することにより、液体中の微粒子の粒径及び粒子数を測定することができる。
しかし、パーティクルカウンタを用いて測定を行う場合、液体を通す管の直径を受光素子のサイズと同程度に細くする必要があるため、例えば６０秒間に約２０ｍｌ程度の液体しか流すことができない。そのため、測定対象の液体の量が多いと、測定時間が非常に長くなるという問題があった。また、液体中に気泡が含まれる場合、気泡でも照明光の散乱が発生するため、気泡を誤って異物と判定してしまうおそれがあった。
【０００３】
別の方法として、検査対象の液体をペーパーフィルタを通して一定期間流し、その後ペーパーフィルタを取り外して撮影することにより、ペーパーフィルタに付着した異物を検出する装置が使用されている。この装置では、フィルタの径を大きくすることにより、検査対象の液体を一度に大量に流せるため、パーティクルカウンタと比較して短時間で測定を行うことができるという利点がある。しかし、この装置では、測定を行う度にペーパーフィルタを取り換えなければならず、非常に煩雑な手間が必要であった。特に、複数の検査対象物を連続して検査するような製造プロセスの検査工程において、この装置を用いる場合、頻繁にペーパーフィルタを取り換えなければならず、非常に不便であった。
【０００４】
一方、検査対象の液体を流す管の測定部に検査用窓を設け、その検査用窓に対して照明光を照射し、液体を透過した光又は液体で反射された光を受光して液体を撮像する撮像手段を備え、撮像手段により撮像された映像信号のレベルが急激に変化する部分を、検査対象物の基準レベルと比較することにより、異物をリアルタイムに検出する異物検査システムが開発されている（特許文献１参照）。この異物検査システムは、撮像手段にラインセンサ又はエリアセンサを用いるので、検査用窓の幅もパーティクルカウンタの測定部と比較して広くすることができる。そのため、測定時間も短くて済むという利点がある。さらに、ペーパーフィルタを用いる装置のように、測定の度に部品を交換する必要がなく、煩雑な手間を要しない。
【０００５】
しかし、検査システムに液体を投入するときなどにしばしば気泡が発生する。そして、気泡に照射された光は、異物と同様に散乱するため、気泡を含む液体を照明して撮像すると、気泡部分で映像信号が急激に低下する。そのため、特許文献１に記載された異物検査システムでは、パーティクルカウンタと同様に、測定対象の液体中に含まれる気泡を、異物と誤って検出してしまうおそれがあった。
【０００６】
そこで、測定の際に要する工数が少なく、短時間で測定することが可能で、且つ検査対象の液体中に気泡が含まれている場合であっても、異物と気泡を区別して、良好な精度で異物を検出することが可能な異物検出装置及び異物検出方法の開発が望まれている。
【０００７】
【特許文献１】特許第３０４８０４９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
上記の問題点に鑑み、本発明は、検査対象の液体中に気泡が含まれている場合であっても、異物と気泡を区別して、良好な精度で異物を検出することが可能な異物検出装置及び異物検出方法を提供することを目的とする。
また、本発明は、検査中に部品交換などの手間を要さず、短時間で検査可能な異物検出装置及び異物検出方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の請求項１に記載の形態によれば、本発明に係る異物検出装置は、検査対象の液体が流れる測定管（２）に設けられた外部から視認可能な透過部（２４）を照明する光源部（３）の発光と同期して、透過部（２４）を流れる液体を撮影した検査画像を取得する撮像部（４）と、所定の閾値で２値化することによって検査画像を高輝度領域と低輝度領域に区分し、低輝度領域を、異物候補領域として検出する異物候補領域検出手段（５４）と、異物候補領域の円形度を表す特徴量を少なくとも一つ抽出する特徴量抽出手段（５５）と、特徴量抽出手段（５５）で抽出された少なくとも一つの特徴量が所定の条件を満たす場合、異物候補領域は、異物の像であると判定する判定手段（５６）とを有することを特徴とする。
係る構成により、検査中に部品の交換などの手間を要さず、また測定管（２）をパーティクルカウンタのように細くする必要がないので、短時間で検査を行うことができる。また、気泡と異物を区別して認識することができるので、正確に異物を検出することができる。なお、高輝度領域とは、検査画像を取得する際、撮像部（４）で受光した光量が相対的に多い領域を表し、低輝度領域とは、撮像部（４）で受光した光量が相対的に少ない領域を表す。
【００１０】
また請求項２に記載のように、特徴量は、異物候補領域の対称性を表す対称度であり、特徴量抽出手段（５５）は、異物候補領域の垂直中心線及び水平中心線の位置を決定し、その垂直中心線を軸として異物候補領域を折り返して重ねたとしたときに異物候補領域同士が重ならない画素数と、水平中心線を軸として異物候補領域を折り返して重ねたとしたときに異物候補領域同士が重ならない画素数の合計を求めて、対称度とすることが好ましい。
あるいは、請求項３に記載のように、特徴量は、異物候補領域の辺縁近傍の輝度差を表す円周輝度差であり、特徴量抽出手段（５５）は、異物候補領域の重心位置を求め、重心位置から異物候補領域の幅又は高さの１／２以下の所定距離に存在する複数の画素について、画素値の最大値と最小値の差を算出して円周輝度差とすることが好ましい。
対称度又は円周輝度差を特徴量として用いることにより、異物又は気泡の像がほぼ真円の形状をしていても、検査画像上においてその大きさが数十画素程度しかないために、対応する異物候補領域がその像の形状を精密に再現できない場合であっても、円形と円形以外の形状とを識別可能な情報を与えることができる。そのため、検査画像の取得に用いる２次元検出器の画素数の増加及びデータ量の増加を抑制することができる。
【００１１】
さらに、請求項４に記載のように、異物候補領域検出手段（５４）は、検査画像の注目画素について、注目画素を含む小領域を設定し、小領域の代表信号値を求めて注目画素に対応する画素の値とすることにより、背景画像を作成し、背景画像と検査画像の差分画像を作成し、差分画像の平均画素値を算出し、平均画素値に基づいて所定の２値化閾値を算出することが好ましい。係る構成により、照明ムラによって検査画像の明るさが局所的に変化する場合でも、異物又は気泡の像以外の部分が誤って異物候補領域として検出されることを防止することができる。
【００１２】
さらに、請求項５に記載のように、特徴量抽出手段（５５）は、少なくとも２種類の特徴量を抽出し、判定手段（５６）は、抽出された特徴量の何れかが、各特徴量について予め定められた条件を満たす場合に、異物と判定することが好ましい。
【００１３】
さらに、請求項６に記載のように、光源部（３）の１回当たりの発光時間が、１回当たりの発光中に液体が移動する移動量が、検査画像において、検査画像の画素の大きさの１／２以下となる時間であることが好ましい。係る構成により、異物又は気泡の像を静止した状態で撮影することができるので、異物候補領域の形状を正確に反映した特徴量を抽出することができる。
【００１４】
また、請求項７に記載の形態によれば、本発明に係る異物検出方法が提供される。その異物検出方法は、検査対象物である液体を照明光源の発光と同期しつつ撮影して検査画像を取得するステップと、検査画像を所定の閾値で２値化した２値化画像を作成し、２値化画像の低輝度領域を、異物候補領域として検出するステップと、異物候補領域の円形度を表す特徴量を少なくとも一つ抽出するステップと、特徴量抽出手段で抽出された少なくとも一つの特徴量が所定の条件を満たす場合、異物候補領域は、異物の像であると判定するステップとを有することを特徴とする。
【００１５】
なお、上記各手段に付した括弧内の符号は、後述する実施形態に記載の具体的手段との対応関係を示す一例である。
【発明を実施するための最良の形態】
【００１６】
以下、図面を参照しつつ本発明を適用した異物検出装置について詳細に説明する。
本発明を適用した異物検出装置は、一例として、ディーゼルポンプなど、エンジンに燃料を供給する部品の洗浄に用いた軽油などの洗浄液に含まれる、部品に付着した、あるいは部品から剥がれた金属（例えば、鉄、アルミニウム）の破片などの異物（長さ約５０μｍ〜１５０μｍ）を検出するために用いられる。本発明を適用した異物検出装置は、その洗浄液を検査用の管に流し、その管を流れる洗浄液を撮影した検査画像を解析して、異物又は気泡の像である可能性のある異物候補領域を検出する。そして、検出された異物候補領域から気泡と異物とで異なる性質を有する傾向のある１以上の特徴量を求め、その特徴量が所定の条件を満たす場合に、異物候補領域に写っている像は異物のものであると判定する。
【００１７】
図１に、本発明を適用した異物検出装置１の概略構成図を示す。
本発明を適用した異物検査装置１は、上記の判定を行うために、測定管２、光源部３、撮像部４、及び処理部５を有する。
以下、異物検出装置１の各部について詳細に説明する。
【００１８】
測定管２は、洗浄液を一時的に貯留する貯留部２１と、貯留部２１の最下部に設けられた流出口に取り付けられ、その流出口を開閉する開閉弁２２と、開閉弁２２に接続され、貯留部２１に貯留された洗浄液を流下させる管２３とを有する。
貯留部２１は、漏斗状に形成され、上方の開口部において、ワーク（ディーゼルポンプ）６を洗浄するために用いられた洗浄液を回収する。また、貯留部２１の最下部に設けられた流出口は、開閉弁２２により開閉可能となっている。そのため、貯留部２１は、開閉弁２２を閉じることにより、測定開始前に洗浄液を一時的に貯留して、回収時に発生した洗浄液中の気泡を減少させることができる。
【００１９】
開閉弁２２は、処理部５によって開閉制御される。そして、洗浄液の回収時においては、処理部５から弁を閉じる制御信号を受け取って弁を閉じ、洗浄液を貯留部２１に貯留させる。一方、測定開始時には処理部５から弁を開ける制御信号を受け取って弁を開け、貯留部２１に貯留された洗浄液を管２３に流下させる。なお、開閉弁２２は、周知の開閉弁を用いて構成できるため、詳細な構成の説明は省略する。
【００２０】
管２３は、ガラス管、光学プラスチックなどで形成される。また管２３の途中に、光源３から照明された照明光を管２３を流下する洗浄液に照射し、洗浄液を透過した照明光を撮像部４で受光するための平面透過部２４が設けられる。
【００２１】
図２（ａ）は、平面透過部２４の概略正面図であり、図２（ｂ）は、図２（ａ）の矢視ＡＡ’による平面透過部２４の概略断面図である。図２（ａ）及び（ｂ）に示すように、平面透過部２４において、管２３は、光源部３と撮像部４を結ぶ直線と略直交する方向に広く、その直線と略平行な方向には薄く形成される。このような平面透過部２４を設けることで、洗浄液を透過する照明光の光量低下を抑制することができるとともに、洗浄液中の異物や気泡が重なって撮影される可能性を低下させることができる。本実施形態では、平面透過部２４において、管２３の内径を、光源部３と撮像部４とを結ぶ直線に略直交する方向に対して１４ｍｍ、その直線と略平行な方向に対して２ｍｍとした。また、平面透過部２４の略中心部には、撮像部４で撮影される検査対象領域２５が設定される。本実施形態では、検査対象領域２５を、幅８ｍｍ×高さ６ｍｍの領域とした。
【００２２】
光源部３は、管２３を流下する洗浄液を連続的に撮影することが可能なように、一定の時間間隔で管２３に設けられた平面透過部２４に照明光を照射する。また、被写体となる洗浄液の流下によって、検査画像上で異物又は気泡の像がブレることがないように、光源部３は、１回当たりの発光は非常に短時間で、且つ強い光を照射することが好ましい。例えば、１回当たりの発光時間は、その発光時間中における洗浄液の移動量が、撮像部４によって撮影された検査画像において１／２画素以下となる期間に設定することが好ましい。そこで本実施形態では、光源部３をストロボライトで構成し、１回当たりの発光時間を３．５μ秒に設定した。
【００２３】
撮像部４は、処理部５から受信した制御信号に基づき、光源部３の発光と同期して、管２３に設けられた平面透過部２４上に設定された検査対象領域２５を撮影し、検査画像を取得する。そのために、撮像部４は、ＣＣＤ、Ｃ−ＭＯＳセンサなどの光電変換器で構成された２次元検出器と、その２次元検出器上に検査対象領域２５の像を結像する結像光学系を有する。本実施形態では、２次元検出器として、１０２４×７６８画素のＣＣＤセンサを用いた。撮影光学系は、検査対象領域２５をＣＣＤ上に結像させ、ＣＣＤの１画素が検査対象領域２５上の約８μｍ×約８μｍを表すように構成した。また、撮像部４は、約８０ｍ秒に１回の割合で撮影を行うものとした。なお、検出器の画素数及び結像光学系の構成は上記に限られず、検出対象となる異物の像が、検査画像上で特徴量を適切に抽出できる大きさとなるように（例えば、検査画像上で平均的な異物の像の面積が数１０画素程度となるように）、実施する形態に応じて最適化される。同様に、撮影間隔、撮影対象領域の大きさなども、実施する形態に応じて最適化される。
【００２４】
取得された検査画像は、１画素あたり２５６階調（画素値０〜２５５）を有し、受光した光量が強いほど大きな画素値を有するものとした。なお、取得された検査画像は、逐次処理部５に送信される。
【００２５】
処理部５は、撮像部４から取得した各検査画像に基づいて、異物の像の可能性のある異物候補領域を検出し、異物候補領域から複数の特徴量を抽出し、それら特徴量に基づいて所定の判定処理を行うことにより、異物の有無を判定する。
【００２６】
図３に、処理部５の機能ブロック図を示す。処理部５は、記憶手段５１、制御手段５２、通信手段５３、異物候補領域検出手段５４、特徴量抽出手段５５及び判定手段５６を有し、例えば、パーソナルコンピュータ（ＰＣ）及びその周辺機器で構成される。
以下、処理部５の各部について詳細に説明する。
【００２７】
記憶手段５１は、ランダムアクセスメモリ（ＲＡＭ）、又は磁気ディスク、光ディスク若しくはフラッシュメモリなどの不揮発性メモリで構成され、撮像部４から受信した検査画像を一時的に記憶する。また、記憶手段５１は、処理部５の制御を行うプログラムなどを記憶する。
【００２８】
制御手段５２は、ＰＣの中央演算装置（ＣＰＵ）と、リードオンリーメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）などの半導体メモリなどで構成され、ＣＰＵに読み込まれたプログラムにしたがって動作し、測定管２、光源部３、撮像部４及び処理部５の各手段を制御する。さらに、通信手段５３は、処理部５と、測定管２、光源部３及び撮像部４との間で制御信号及び画像データを送受信する入出力インタフェースであり、ＵＳＢ、ＳＣＳＩ、ＲＳ２３２Ｃ、イーサネット（登録商標）などの各種のＩ／Ｏポート及びそれらのドライバで構成される。そして、処理部５は、通信手段５３を通じて撮像部４から各検査画像を受信する。一方、制御手段５２で生成された制御信号は、通信手段５３を通じて測定管２、光源部３及び撮像部４へ送信される。さらに、処理部５は、判定手段５６で判定された異物の検出結果を通信手段５３を通じて、判定結果などの表示を行う操作表示部（図示せず）や、外部の機器へ出力する。あるいは、検査画像上で異物の像と判定された異物候補領域の色を変えた画像を作成し、操作表示部に表示させるようにしてもよい。
【００２９】
異物候補領域検出手段５４、特徴量抽出手段５５及び判定手段５６は、例えばＣＰＵ上で実行されるプログラムモジュールとして実装される。あるいは、異物候補領域検出手段５４、特徴量抽出手段５５及び判定手段５６を、ＣＰＵと別個に設けられた画像処理用プロセッサなどを備えた専用処理ボードとして実装してもよい。
【００３０】
異物候補領域検出手段５４は、異物又は気泡の像を洗浄液のみが撮影されている領域から区別し、異物候補領域として検出する。
図４に、検査画像の概略図を示す。図４において、検査画像４００中に含まれる微小な暗領域４０１及び４０２は、それぞれ異物の像及び気泡の像である。洗浄液中に異物又は気泡が存在すると、それらは、照明光を散乱又は吸収する。そのため、図４に示すように、検査画像４００上では、異物の像４０１又は気泡の像４０２は、画素値が周囲と比較して低下する。そこで、異物候補領域検出手段５４は、検査画像を２値化し、２値化によって大多数の画素と異なる値を有する画素値を有する画素の集合領域をラベリングすることにより、異物候補領域を検出する。
【００３１】
具体的に、異物候補領域検出手段５４は、撮像部４から取得した各検査画像に対し、局所最大値フィルタ処理を行って、背景画像を求める。局所最大値フィルタ処理は、所定のサイズのマスクを、処理対象の画像に対して位置を順次移動させつつ、マスク内の最大値を、マスク中心に位置する画素の画素値として求めるものである。本実施形態では、異物の像４０１及び気泡の像４０２よりも大きい領域内で最大値を求め、確実に背景（洗浄液のみの部分）と像４０１及び４０２を区別するために、マスクのサイズを３１×３１画素とした。しかし、検出対象となる異物などの大きさに応じて、より大きなサイズあるいはより小さなサイズのマスクを用いてもよい。
【００３２】
異物候補領域検出手段５４は、背景画像を作成すると、背景画像の各画素から検査画像の対応する各画素の値を引くことにより、差分画像を求める。この差分画像では、照明光の輝度ムラによる画像の全体的な輝度差は相殺され、異物の像４０１又は気泡の像４０２など、検査画像上で局所的に低輝度となる画素値を有する領域のみが、差分画像上で大きな画素値を有することとなる。そこで、異物候補領域検出手段５４は、差分画像の平均画素値を算出する。そして異物候補領域検出手段５４は、算出した平均画素値を２値化閾値として、差分画像の２値化を行って２値化画像を作成する。２値化画像では、異物の像４０１又は気泡の像４０２に相当する領域のみ、画素値‘１’を有し、それ以外の画素は、画素値‘０’を有する。
【００３３】
異物候補領域検出手段５４は、２値化画像を求めると、画素値‘１’の画素に対してラベリング処理を行う。そして、画素値‘１’を有する画素が所定数（例えば、１０画素）以上連結した領域を、異物候補領域として検出する。なお、この所定数は、検出対象とする異物の大きさに応じて最適化される。異物候補領域検出手段５４は、各異物候補領域を識別するために、異物候補領域ごとに異なるラベル番号Ｌｎ（＝１，２，．．．，ｎ）を付す。そして、２値化画像と同サイズのラベル画像を作成する。例えば、ラベル画像において、ラベル番号Ｌｎが付された異物候補領域と対応する画素は、画素値Ｌｎを有する。なお、ラベリング処理は周知の技術であるため、ここでは詳細な説明は省略する。
【００３４】
なお、異物候補領域検出手段５４は、差分画像の平均値以外の値を２値化閾値として用いてもよい。例えば、差分画像の画素値の累積ヒストグラムを計算し、所定の累積度数（例えば、５０％）になった画素値を２値化閾値として用いてもよい。また、局所最大値フィルタ処理を行う代わりに、局所平均値又は局所中央値フィルタ処理を行って背景画像を求めてもよい。あるいは、照明光の輝度ムラが問題にならない程度であれば、直接検査画像から画素値の累積ヒストグラムを求め、所定の累積度数（例えば、５％）になった画素値を２値化閾値として用いてもよい。
またさらに、２値化画像をラベリングする前に、画素値‘１’を有する画素を対象としてモルフォロジーのクロージング演算を行って、不連続点の接続や穴埋め処理を行ってもよい。逆に、オープニング演算を行って、孤立点を除去してもよい。
【００３５】
作成された２値化画像、ラベル画像及び異物候補領域の個数（あるいは、ラベル番号Ｌｎの最大値ｎ）は、処理部５の他の手段で使用することができるように、制御手段５２を構成するＲＡＭなどのメモリ又は記憶手段５１に一時的に記憶される。
【００３６】
特徴量抽出手段５５は、異物候補領域検出手段５４で検出された異物候補領域に基づいて、異物と気泡とで異なる値を有する傾向のある特徴量を算出する。
図５（ａ）〜（ｆ）に、検査画像における気泡の像と異物の像の例を示す。図５（ａ）及び（ｂ）において、暗領域５０１及び５０２は、それぞれ気泡の像である。また、図５（ｃ）〜（ｆ）における各暗領域５０３〜５０６は、それぞれ異物の像である。図５（ａ）及び（ｂ）に示されるように、気泡は、比較的整った球形をしているため、検査画像上での気泡の像は、相対的に円形に近い形状をしている。一方、異物は、ディーゼルポンプの内壁などから剥がれ落ちた金属片などが主なものと考えられる。そのため、図５（ｃ）〜（ｆ）に示されるように、異物の像は、比較的いびつな形状をしている。
そこで、本実施形態では、特徴量抽出手段５５は、異物と気泡とで異なる値を有する傾向のあるものとして、異物候補領域の円形度を表す４種類の指標（フィレ径差、占有率、対称度、円周輝度差）を、特徴量として算出する。なお、それらの特徴量は、各異物候補領域ごとに算出されるが、特徴量抽出手段５５は、各異物候補領域について同じ処理を行うため、以下の説明では、一つの異物候補領域からの特徴量抽出について説明する。
【００３７】
図６に示すテーブル６００を用いて、特徴量抽出手段５５が抽出する各特徴量について説明する。
図６において、テーブル６００の各列ごとに、一つの特徴について説明されている。また、テーブル６００の各行については、上から順に、行６０１には、抽出する各特徴量の名称が示されている。そして、その下の行６０２に、各特徴量の説明が記載されている。その下の行６０３は、気泡の像について、各特徴量の値として想定される値の傾向を示し、最下段の行６０４は、異物の像について、各特徴量の値として想定される値の傾向を示す。ここで、各特徴量のうち、円周輝度差を除いては、異物候補領域検出手段５４で求めた２値化画像あるいはラベル画像から抽出する。円周輝度差は、検査画像から抽出する。
【００３８】
まず、フィレ径差Ｆｄは、異物候補領域に外接する長方形の幅と高さの差として求められる。気泡の像は、ほぼ円形となるため、フィレ径差Ｆｄはほぼ０となる。一方、異物の像は、いびつな形状となる可能性が高いため、フィレ径差Ｆｄは０以外の値を取る可能性が高い。特徴量抽出手段５５は、フィレ径差Ｆｄを求めるために、２値化画像あるいはラベル画像において、対象となる異物候補領域について、左右上下の各端に位置する画素の座標を求める。そして、異物候補領域の外接長方形の幅を、その領域の右端画素の水平座標値と左端画素の水平座標値の差に基づいて算出する。同様に、異物候補領域の外接長方形の高さを、その領域の下端画素の垂直座標値と上端画素の垂直座標値の差に基づいて算出する。そして、算出した幅と高さの差を求め、フィレ径差Ｆｄとする。
【００３９】
次に、占有率Ｐｒは、異物候補領域の外接長方形の面積に占める、異物候補領域の面積として表される。気泡の像は、ほぼ円形となるため、占有率Ｐｒは０．７８５程度となる。一方、異物の像は、いびつな形状となる可能性が高いため、占有率Ｐｒは０．７８５よりも小さな値を取る可能性が高い。特徴量抽出手段５５は、占有率Ｐｒを求めるために、上記のフィレ径差Ｆｄの算出に使用した外接長方形の幅と高さを乗じて、外接長方形の面積を算出する。また、特徴量抽出手段５５は、２値化画像又はラベル画像の画素値を参照して、外接長方形中の異物候補領域に相当する画素数をカウントし、その合計を異物候補領域の面積とする。そして、特徴量抽出手段５５は、異物候補領域の面積を、外接長方形の面積で除して、占有率Ｐｒを算出する。
【００４０】
また、対称度Ｓｄは、異物候補領域をその垂直中心線又は水平中心線を軸として折り返したときに、一致しない画素数の総計として表される。気泡の像は、ほぼ円形となるため、垂直方向及び水平方向のどちらにも中心線対称となり、対象度Ｓｄはほぼ０となる。一方、異物の像は、いびつな形状となる可能性が高いため、垂直方向又は水平方向の何れか又は両方について中心線対称とならず、対称度Ｓｄは大きな値を取る可能性が高い。
【００４１】
特徴量抽出手段５５は、対称度Ｓｄを求めるために、垂直中心線及び水平中心線の位置を求める。そこで、特徴量抽出手段５５は、上記のフィレ径差Ｆｄの算出の際に求めた異物候補領域の左右端画素のそれぞれの水平座標値の平均値を、垂直中心線の位置とする。同様に、異物候補領域の上下端画素のそれぞれの垂直座標値の平均値を、水平中心線の位置とする。あるいは、特徴量抽出手段５５は、異物候補領域の左端あるいは右端から順に、異物候補領域に含まれる画素の数をカウントし、その合計が異物候補領域の面積の５０％に到達したときの水平座標値を、垂直中心線の位置としてもよい。同様に、異物候補領域の上端あるいは下端から順に、異物候補領域に含まれる画素の数をカウントし、その合計が異物候補領域の面積の５０％に到達したときの垂直座標値を、水平中心線の位置としてもよい。
垂直中心線が求まると、特徴量抽出手段５５は、その垂直中心線を軸として、異物候補領域の右側半分を折り返して、異物候補領域の左側半分と重ねる。そして、重ね合わされた画素のうち、何れか一方のみが異物候補領域に含まれる画素の数をカウントする。同様に、特徴量抽出手段５５は、水平中心線を軸として、異物候補領域の下側半分を折り返して、異物候補領域の上側半分と重ねる。そして、重ね合わされた画素のうち、何れか一方のみが異物候補領域に含まれる画素の数をさらにカウントし、その画素の合計を算出する。そして、その合計を対象度Ｓｄとする。
【００４２】
最後に、円周輝度差Ｃｂは、異物候補領域の中心から等距離、等間隔の８点において、対応する検査画像の画素値の最大値と最小値の差として表される。気泡は、ほぼ球形となるため、その像において中心からの距離が等しい位置の画素値はほぼ等しいと考えられるため、円周輝度差Ｃｂはほぼ０となる。一方、異物の像は、いびつな形状となる可能性が高いため、円周輝度差Ｃｂは比較的大きな値を取る可能性が高い。特徴量抽出手段５５は、円周輝度差Ｃｂを求めるために、まず、２値化画像あるいはラベル画像に基づいて、異物候補領域の重心位置を求める。そして、求められた重心位置を、異物候補領域の中心とする。そして、特徴量抽出手段５５は、異物候補領域の中心と対応する検査画像の画素から、上下左右の４方向、及び左上から右下、右上から左下へのそれぞれ斜め４５°の４方向に、フィレ径差Ｆｄの算出の際に求めた外接長方形の幅の半分だけ離れた計８画素の位置を特定する。そして、特徴量抽出手段５５は、特定した８画素の画素値のうち、最大値と最小値を求め、その差を円周輝度差Ｃｂとする。
【００４３】
なお、上記の例では、円周輝度差Ｃｂを求めるために８点の画素値を調べたが、調べる画素の数は８点に限定されない。例えば、異物候補領域の面積が比較的小さい場合（例えば、３０画素以下）には、異物候補領域の中心から上下左右方向に等距離だけ離れた４点の画素値に基づいて、円周輝度差Ｃｂを求めるようにしてもよい。逆に、異物候補領域の面積が比較的大きい場合（例えば、１００画素以上）には、調べる画素数を８点よりも多くしてもよい。また、異物候補領域の中心からの距離も、外接長方形の幅の半分に限定されず、外接長方形の高さの半分の値を用いてもよく、あるいは、外接長方形の幅又は高さの何れか小さい方の半分の値を用いてもよい。さらに、外接長方形の幅又は高さの半分よりも、小さな値としてもよい。
【００４４】
これらの特徴量は、異物又は気泡の像がほぼ真円の形状をしていても、検査画像上においてその大きさが数十画素程度しかないために、対応する異物候補領域がその像の形状を精密に再現できない場合であっても、円形と円形以外の形状とを識別可能な情報を与えることができる。そのため、検査画像の取得に用いる２次元検出器の画素数の増加及びデータ量の増加を抑制することができる。
【００４５】
特徴量抽出手段５５は、各異物候補領域について求めた４種類の特徴量を、対応する異物候補領域に関連付けて、制御手段５２を構成するＲＡＭなどのメモリ又は記憶手段５１に一時的に記憶する。この関連付けは、例えば、各特徴量Ｆｄ、Ｐｒ、Ｓｄ、Ｃｂと、各異物候補領域に付けられたラベル番号Ｌｎ（＝１，２，．．．，ｎ）を要素とする５次元の特徴量ベクトルｖｆ＝（Ｌｎ，Ｆｄ，Ｐｒ，Ｓｄ，Ｃｂ）を生成し、特徴量ベクトル単位で記憶することにより行われる。
【００４６】
判定手段５６は、特徴量抽出手段５５で求めた各特徴量に基づいて、それぞれの異物候補領域ごとに、異物の像か気泡の像かを判定する。以下、フローチャートを用いて、具体的な手順を説明する。
【００４７】
図７は、各異物候補領域が、異物の像か気泡の像かを識別するための判定手順を示すフローチャートである。まず、判定手段５６は、識別対象となる異物候補領域について、その異物候補領域のラベル番号Ｌｎ（＝１，２，．．．，ｎ）を有する特徴量ベクトルｖｆを検索し、読み出す（ステップＳ１０１）。
【００４８】
次に、判定手段５６は、占有率Ｐｒが、所定の範囲内に含まれるか否かを判定する（ステップＳ１０２）。本実施形態では、所定の範囲を、０．６７＜Ｐｒ＜０．９１とした。そして、所定の範囲から外れる場合、判定手段５６は、その異物候補領域は異物の像であると判定する。そして、判定手段５６は、その異物候補領域を表すラベル番号Ｌｎと関連付けて、異物の像であることを表す判定結果Ｒ（＝１）をＲＡＭなどの制御手段５２を構成するメモリ又は記憶手段５１に一時的に記憶する（ステップＳ１０６）。一方、所定の範囲内であれば、判定手段５６は、フィレ径差Ｆｄを第１の閾値Ｔｈ１と比較する（ステップＳ１０３）。本実施形態では、第１の閾値Ｔｈ１を１とした。そして、フィレ径差Ｆｄが第１の閾値Ｔｈ１よりも大きい場合、判定手段５６は、その異物候補領域は異物の像であると判定する（ステップＳ１０６）。
【００４９】
ステップＳ１０３において、フィレ径差Ｆｄが第１の閾値Ｔｈ１以下の場合、判定手段５６は、（対称度Ｓｄ−異物候補領域の面積Ｓの５％）を、第２の閾値Ｔｈ２と比較する（ステップＳ１０４）。本実施形態では、第２の閾値Ｔｈ２を１０．６とした。そして、（対称度Ｓｄ−異物候補領域の面積Ｓの５％）が第２の閾値Ｔｈ２よりも大きい場合、判定手段５６は、その異物候補領域は異物の像であると判定する（ステップＳ１０６）。一方、ステップＳ１０４において、（対称度Ｓｄ−異物候補領域の面積Ｓの５％）が第２の閾値Ｔｈ２以下の場合、円周輝度差Ｃｂを第３の閾値Ｔｈ３と比較する（ステップＳ１０５）。本実施形態では、第３の閾値Ｔｈ３を２０とした。そして、円周輝度差Ｃｂが第３の閾値Ｔｈ３よりも大きい場合、判定手段５６は、その異物候補領域は異物の像であると判定する（ステップＳ１０６）。一方、ステップＳ１０５において、円周輝度差Ｃｂが第３の閾値Ｔｈ３以下の場合、判定手段５６は、その異物候補領域は、気泡の像であると判定する。そして、判定手段５６は、その異物候補領域と関連付けて、気泡の像であることを表す判定結果Ｒ（＝０）をＲＡＭなどの制御手段５２を構成するメモリ又は記憶手段５１に一時的に記憶する（ステップＳ１０７）。
【００５０】
なお、各特徴量に対する判定を行う順番は、上記の順番に限られず、任意に入れ替えてもよい。また、各閾値及び所定の範囲は、上記の値に限られず、検出しようとする異物の性質、想定される大きさに応じて最適化される。
【００５１】
判定手段５６は、全ての異物候補領域について、異物の像か気泡の像かを判定すると、その検査画像に含まれる異物の総数を算出して、通信手段５３を通じて図示しない操作表示部へ送信し、ユーザにその検出結果を報知する。
【００５２】
図８を参照しつつ、本発明を適用した異物検出装置１の動作について説明する。なお、異物検出装置１の動作は、処理部５の制御手段５２によって制御される。
【００５３】
図８に示すように、検査が開始されると、処理部５の制御手段５２は、測定管２の開閉弁２２に対して弁を開くよう制御信号を送信する。そして、貯留部２１に貯留された洗浄液の流下を開始させる（ステップＳ２０１）。また、測定開始からの経過時間の計時を開始する。洗浄液の流下が開始されると、光源部３の発光と同期して撮像部４は撮影を行い、検査画像を取得する（ステップＳ２０２）。そして、検査画像を処理部５へ送信する。
【００５４】
処理部５は、通信手段５３を通じて検査画像を受信すると、異物候補領域検出手段５４において、異物候補領域を検出する（ステップＳ２０３）。そして、異物候補領域を表す２値化画像及びラベル画像を作成する。なお、異物候補領域の検出については、上述したとおりである。
【００５５】
次に、処理部５の特徴量抽出手段５５は、異物の像か気泡の像かの判定対象となる異物候補領域として、ラベル番号Ｌｎ（＝１，２，．．．，ｎ）が付された異物候補領域を選択する（ステップＳ２０４）。なお、１回目の選択では、Ｌｎ＝１とする。そして、対象となる異物候補領域から、上記のフィレ径差Ｆｄ、占有率Ｐｒ、対称度Ｓｄ、円周輝度差Ｃｂの４種類の特徴量を抽出する（ステップＳ２０５）。なお、各特徴量の抽出方法については、上述した通りである。各特徴量を抽出すると、処理部５の判定手段５６は、図７に示したフローに従って、その異物候補領域が、異物の像か気泡の像かを判定し、その判定結果を対象となった異物候補領域と関連付けて記憶する（ステップＳ２０６）。
【００５６】
その後、処理部５の特徴量抽出手段５５は、Ｌｎ＝ｎ（ただしｎは、異物候補領域の個数）となったか否か、すなわち、全ての異物候補領域について異物か気泡かの判定処理が終わったか否かを判定する（ステップＳ２０７）。そして、特徴量の抽出を終えていない異物候補領域が残っている場合は、Ｌｎを１インクリメントして（ステップＳ２０８）、制御をステップＳ２０４の前に戻す。そして、ステップＳ２０４〜Ｓ２０８の処理を繰り返す。
【００５７】
一方、ステップＳ２０７において、全ての異物候補領域について、特徴量の抽出が終了している場合、処理部５の制御手段５２は、測定開始から所定時間を経過したか否かを判定する（ステップＳ２０９）。そして、所定時間を経過していなければ、制御をステップＳ２０２の前に戻し、ステップＳ２０２〜Ｓ２０９の処理を繰り返す。一方、ステップＳ２０９において、制御手段５２は、所定時間経過したと判定した場合、異物の総検出数など、検出結果を図示しない操作表示部などに出力する（ステップＳ２１０）。そして、処理を終了する。
【００５８】
以上説明してきたように、本発明を適用した異物検出装置１は、測定対象の洗浄液中に気泡が含まれている場合であっても、異物と気泡を区別して、良好な精度で異物を検出することができる。また、パーティクルカウンタと異なり、ある程度口径の大きな管に洗浄液を流しつつ測定を行うので、短時間で測定を行うことができる。
【００５９】
なお、上述してきた実施形態は、本発明を説明するためのものであり、本発明は、これらの実施形態に限定されるものではない。
例えば、上記の実施形態では、特徴量として、フィレ径差、占有率、対称度、円周輝度差の４種類のものを用いたが、要求される検出精度に応じて、このうちの１乃至３種類の特徴量のみを用いてもよい。あるいは、上記の特徴量の全てまたは何れかとともに、別の特徴量を組み合わせて用いてもよい。ただし、良好な検出精度を得るためには、異なる観点から異物候補領域の形状の評価を行えるようにするために、上記の特徴量のうちの少なくとも２種類を用いることが好ましい。
【００６０】
また、上記の実施形態では、判定手段５６は、各特徴量について、それぞれ異物に該当する条件を満たすか否かを調べ、何れか一つでも異物に該当する場合には、異物と判定し、それ以外の場合には、気泡と判定するようにした。しかし、判定手段５６は、別の方法、例えば、判別分析、ニューラルネットワーク、サポートベクトルマシンなどの分類手法を用いて判定を行うこともできる。例えば判別分析を用いる場合には、予め異物又は気泡の像と分かっている異物候補領域をそれぞれ複数準備し、各異物候補領域について求めた特徴量の値に基づいて、所定の統計量（各特徴量の平均値、分散など）を算出して判別関数を作成する。求められた判別関数は、予め記憶手段５１に記憶される。そして、判定手段５６は、判別対象となる異物候補領域が与えられた場合に、判別関数を記憶手段５１から読み込み、判別対象となる異物候補領域から抽出された特徴量をその判別関数に入力し、気泡あるいは異物との判別結果を得る。ニューラルネットワークあるいはサポートベクトルマシンなどの学習システムを用いる場合には、同様に予め異物又は気泡の像と分かっている異物候補領域をそれぞれ複数準備し、各異物候補領域について求めた特徴量の値に基づいて、バックプロパゲーションなど、既知の学習方法を用いてシステムの学習を行う。学習済みのシステムは予め記憶手段５１に記憶される。そして、判定手段５６は、判別対象となる異物候補領域が与えられた場合に、その学習済みのシステムを記憶手段５１から読み込み、判別対象となる異物候補領域から抽出された特徴量をその学習済みのシステムに入力し、気泡あるいは異物との判別結果を得る。
【００６１】
さらに、本発明は、洗浄液中に含まれる異物の検出以外にも適用することができる。検出対象となる異物が、気泡と異なり球形状でないものが殆どであるような場合には、本発明を好適に適用することができる。
【００６２】
以上のように、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。
【図面の簡単な説明】
【００６３】
【図１】本発明を適用した異物検出装置の概略構成図である。
【図２】（ａ）は、平面透過部の概略正面図であり、（ｂ）は、（ａ）の矢視ＡＡ’による平面透過部の概略断面図である。
【図３】処理部の機能ブロック図である。
【図４】検査画像の概略図である。
【図５】（ａ）及び（ｂ）は、検査画像上における気泡の像の例示図であり、（ｃ）〜（ｆ）は、異物の像の例示図である。
【図６】抽出される各特徴量の概略説明図である。
【図７】判定手段における、異物候補領域の判定手順を示すフローチャートである。
【図８】本発明を適用した異物検出装置の動作を示すフローチャートである。
【符号の説明】
【００６４】
１ 異物検出装置
２ 測定管
２１ 貯留部
２２ 開閉弁
２３ 管
２４ 平面透過部
３ 光源部
４ 撮像部
５ 処理部
５１ 記憶手段
５２ 制御手段
５３ 通信手段
５４ 異物候補領域検出手段
５５ 特徴量抽出手段
５６ 判定手段
【技術分野】
【０００１】
本発明は、異物検出装置及び異物検出方法に関するものであり、より詳しくは、被検査物である液体を撮影し、その撮影画像を解析して液体中の異物の有無を判定する異物検出装置及び異物検出方法に関する。
【背景技術】
【０００２】
従来より、液体中の異物混入度合いを調べるために、液体中に含まれる異物などの微粒子を測定する様々な装置及び方法が開発されている。そのような液体中の異物検出装置として使用されるものに、例えば、パーティクルカウンタがある。パーティクルカウンタでは、検査対象の液体を細い透明な管に流し、その管を外側からレーザ光などの照明光源で照射する。そして、管を挟んで照明光源と対峙するように配置された受光素子で照明光を受光する。もし、液体中に異物が混入していれば、その異物で照明光が遮られ、あるいは散乱して受光素子に到達する光量が減少するので、照明光の光量及びパルス数を測定することにより、液体中の微粒子の粒径及び粒子数を測定することができる。
しかし、パーティクルカウンタを用いて測定を行う場合、液体を通す管の直径を受光素子のサイズと同程度に細くする必要があるため、例えば６０秒間に約２０ｍｌ程度の液体しか流すことができない。そのため、測定対象の液体の量が多いと、測定時間が非常に長くなるという問題があった。また、液体中に気泡が含まれる場合、気泡でも照明光の散乱が発生するため、気泡を誤って異物と判定してしまうおそれがあった。
【０００３】
別の方法として、検査対象の液体をペーパーフィルタを通して一定期間流し、その後ペーパーフィルタを取り外して撮影することにより、ペーパーフィルタに付着した異物を検出する装置が使用されている。この装置では、フィルタの径を大きくすることにより、検査対象の液体を一度に大量に流せるため、パーティクルカウンタと比較して短時間で測定を行うことができるという利点がある。しかし、この装置では、測定を行う度にペーパーフィルタを取り換えなければならず、非常に煩雑な手間が必要であった。特に、複数の検査対象物を連続して検査するような製造プロセスの検査工程において、この装置を用いる場合、頻繁にペーパーフィルタを取り換えなければならず、非常に不便であった。
【０００４】
一方、検査対象の液体を流す管の測定部に検査用窓を設け、その検査用窓に対して照明光を照射し、液体を透過した光又は液体で反射された光を受光して液体を撮像する撮像手段を備え、撮像手段により撮像された映像信号のレベルが急激に変化する部分を、検査対象物の基準レベルと比較することにより、異物をリアルタイムに検出する異物検査システムが開発されている（特許文献１参照）。この異物検査システムは、撮像手段にラインセンサ又はエリアセンサを用いるので、検査用窓の幅もパーティクルカウンタの測定部と比較して広くすることができる。そのため、測定時間も短くて済むという利点がある。さらに、ペーパーフィルタを用いる装置のように、測定の度に部品を交換する必要がなく、煩雑な手間を要しない。
【０００５】
しかし、検査システムに液体を投入するときなどにしばしば気泡が発生する。そして、気泡に照射された光は、異物と同様に散乱するため、気泡を含む液体を照明して撮像すると、気泡部分で映像信号が急激に低下する。そのため、特許文献１に記載された異物検査システムでは、パーティクルカウンタと同様に、測定対象の液体中に含まれる気泡を、異物と誤って検出してしまうおそれがあった。
【０００６】
そこで、測定の際に要する工数が少なく、短時間で測定することが可能で、且つ検査対象の液体中に気泡が含まれている場合であっても、異物と気泡を区別して、良好な精度で異物を検出することが可能な異物検出装置及び異物検出方法の開発が望まれている。
【０００７】
【特許文献１】特許第３０４８０４９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
上記の問題点に鑑み、本発明は、検査対象の液体中に気泡が含まれている場合であっても、異物と気泡を区別して、良好な精度で異物を検出することが可能な異物検出装置及び異物検出方法を提供することを目的とする。
また、本発明は、検査中に部品交換などの手間を要さず、短時間で検査可能な異物検出装置及び異物検出方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の請求項１に記載の形態によれば、本発明に係る異物検出装置は、検査対象の液体が流れる測定管（２）に設けられた外部から視認可能な透過部（２４）を照明する光源部（３）の発光と同期して、透過部（２４）を流れる液体を撮影した検査画像を取得する撮像部（４）と、所定の閾値で２値化することによって検査画像を高輝度領域と低輝度領域に区分し、低輝度領域を、異物候補領域として検出する異物候補領域検出手段（５４）と、異物候補領域の円形度を表す特徴量を少なくとも一つ抽出する特徴量抽出手段（５５）と、特徴量抽出手段（５５）で抽出された少なくとも一つの特徴量が所定の条件を満たす場合、異物候補領域は、異物の像であると判定する判定手段（５６）とを有することを特徴とする。
係る構成により、検査中に部品の交換などの手間を要さず、また測定管（２）をパーティクルカウンタのように細くする必要がないので、短時間で検査を行うことができる。また、気泡と異物を区別して認識することができるので、正確に異物を検出することができる。なお、高輝度領域とは、検査画像を取得する際、撮像部（４）で受光した光量が相対的に多い領域を表し、低輝度領域とは、撮像部（４）で受光した光量が相対的に少ない領域を表す。
【００１０】
また請求項２に記載のように、特徴量は、異物候補領域の対称性を表す対称度であり、特徴量抽出手段（５５）は、異物候補領域の垂直中心線及び水平中心線の位置を決定し、その垂直中心線を軸として異物候補領域を折り返して重ねたとしたときに異物候補領域同士が重ならない画素数と、水平中心線を軸として異物候補領域を折り返して重ねたとしたときに異物候補領域同士が重ならない画素数の合計を求めて、対称度とすることが好ましい。
あるいは、請求項３に記載のように、特徴量は、異物候補領域の辺縁近傍の輝度差を表す円周輝度差であり、特徴量抽出手段（５５）は、異物候補領域の重心位置を求め、重心位置から異物候補領域の幅又は高さの１／２以下の所定距離に存在する複数の画素について、画素値の最大値と最小値の差を算出して円周輝度差とすることが好ましい。
対称度又は円周輝度差を特徴量として用いることにより、異物又は気泡の像がほぼ真円の形状をしていても、検査画像上においてその大きさが数十画素程度しかないために、対応する異物候補領域がその像の形状を精密に再現できない場合であっても、円形と円形以外の形状とを識別可能な情報を与えることができる。そのため、検査画像の取得に用いる２次元検出器の画素数の増加及びデータ量の増加を抑制することができる。
【００１１】
さらに、請求項４に記載のように、異物候補領域検出手段（５４）は、検査画像の注目画素について、注目画素を含む小領域を設定し、小領域の代表信号値を求めて注目画素に対応する画素の値とすることにより、背景画像を作成し、背景画像と検査画像の差分画像を作成し、差分画像の平均画素値を算出し、平均画素値に基づいて所定の２値化閾値を算出することが好ましい。係る構成により、照明ムラによって検査画像の明るさが局所的に変化する場合でも、異物又は気泡の像以外の部分が誤って異物候補領域として検出されることを防止することができる。
【００１２】
さらに、請求項５に記載のように、特徴量抽出手段（５５）は、少なくとも２種類の特徴量を抽出し、判定手段（５６）は、抽出された特徴量の何れかが、各特徴量について予め定められた条件を満たす場合に、異物と判定することが好ましい。
【００１３】
さらに、請求項６に記載のように、光源部（３）の１回当たりの発光時間が、１回当たりの発光中に液体が移動する移動量が、検査画像において、検査画像の画素の大きさの１／２以下となる時間であることが好ましい。係る構成により、異物又は気泡の像を静止した状態で撮影することができるので、異物候補領域の形状を正確に反映した特徴量を抽出することができる。
【００１４】
また、請求項７に記載の形態によれば、本発明に係る異物検出方法が提供される。その異物検出方法は、検査対象物である液体を照明光源の発光と同期しつつ撮影して検査画像を取得するステップと、検査画像を所定の閾値で２値化した２値化画像を作成し、２値化画像の低輝度領域を、異物候補領域として検出するステップと、異物候補領域の円形度を表す特徴量を少なくとも一つ抽出するステップと、特徴量抽出手段で抽出された少なくとも一つの特徴量が所定の条件を満たす場合、異物候補領域は、異物の像であると判定するステップとを有することを特徴とする。
【００１５】
なお、上記各手段に付した括弧内の符号は、後述する実施形態に記載の具体的手段との対応関係を示す一例である。
【発明を実施するための最良の形態】
【００１６】
以下、図面を参照しつつ本発明を適用した異物検出装置について詳細に説明する。
本発明を適用した異物検出装置は、一例として、ディーゼルポンプなど、エンジンに燃料を供給する部品の洗浄に用いた軽油などの洗浄液に含まれる、部品に付着した、あるいは部品から剥がれた金属（例えば、鉄、アルミニウム）の破片などの異物（長さ約５０μｍ〜１５０μｍ）を検出するために用いられる。本発明を適用した異物検出装置は、その洗浄液を検査用の管に流し、その管を流れる洗浄液を撮影した検査画像を解析して、異物又は気泡の像である可能性のある異物候補領域を検出する。そして、検出された異物候補領域から気泡と異物とで異なる性質を有する傾向のある１以上の特徴量を求め、その特徴量が所定の条件を満たす場合に、異物候補領域に写っている像は異物のものであると判定する。
【００１７】
図１に、本発明を適用した異物検出装置１の概略構成図を示す。
本発明を適用した異物検査装置１は、上記の判定を行うために、測定管２、光源部３、撮像部４、及び処理部５を有する。
以下、異物検出装置１の各部について詳細に説明する。
【００１８】
測定管２は、洗浄液を一時的に貯留する貯留部２１と、貯留部２１の最下部に設けられた流出口に取り付けられ、その流出口を開閉する開閉弁２２と、開閉弁２２に接続され、貯留部２１に貯留された洗浄液を流下させる管２３とを有する。
貯留部２１は、漏斗状に形成され、上方の開口部において、ワーク（ディーゼルポンプ）６を洗浄するために用いられた洗浄液を回収する。また、貯留部２１の最下部に設けられた流出口は、開閉弁２２により開閉可能となっている。そのため、貯留部２１は、開閉弁２２を閉じることにより、測定開始前に洗浄液を一時的に貯留して、回収時に発生した洗浄液中の気泡を減少させることができる。
【００１９】
開閉弁２２は、処理部５によって開閉制御される。そして、洗浄液の回収時においては、処理部５から弁を閉じる制御信号を受け取って弁を閉じ、洗浄液を貯留部２１に貯留させる。一方、測定開始時には処理部５から弁を開ける制御信号を受け取って弁を開け、貯留部２１に貯留された洗浄液を管２３に流下させる。なお、開閉弁２２は、周知の開閉弁を用いて構成できるため、詳細な構成の説明は省略する。
【００２０】
管２３は、ガラス管、光学プラスチックなどで形成される。また管２３の途中に、光源３から照明された照明光を管２３を流下する洗浄液に照射し、洗浄液を透過した照明光を撮像部４で受光するための平面透過部２４が設けられる。
【００２１】
図２（ａ）は、平面透過部２４の概略正面図であり、図２（ｂ）は、図２（ａ）の矢視ＡＡ’による平面透過部２４の概略断面図である。図２（ａ）及び（ｂ）に示すように、平面透過部２４において、管２３は、光源部３と撮像部４を結ぶ直線と略直交する方向に広く、その直線と略平行な方向には薄く形成される。このような平面透過部２４を設けることで、洗浄液を透過する照明光の光量低下を抑制することができるとともに、洗浄液中の異物や気泡が重なって撮影される可能性を低下させることができる。本実施形態では、平面透過部２４において、管２３の内径を、光源部３と撮像部４とを結ぶ直線に略直交する方向に対して１４ｍｍ、その直線と略平行な方向に対して２ｍｍとした。また、平面透過部２４の略中心部には、撮像部４で撮影される検査対象領域２５が設定される。本実施形態では、検査対象領域２５を、幅８ｍｍ×高さ６ｍｍの領域とした。
【００２２】
光源部３は、管２３を流下する洗浄液を連続的に撮影することが可能なように、一定の時間間隔で管２３に設けられた平面透過部２４に照明光を照射する。また、被写体となる洗浄液の流下によって、検査画像上で異物又は気泡の像がブレることがないように、光源部３は、１回当たりの発光は非常に短時間で、且つ強い光を照射することが好ましい。例えば、１回当たりの発光時間は、その発光時間中における洗浄液の移動量が、撮像部４によって撮影された検査画像において１／２画素以下となる期間に設定することが好ましい。そこで本実施形態では、光源部３をストロボライトで構成し、１回当たりの発光時間を３．５μ秒に設定した。
【００２３】
撮像部４は、処理部５から受信した制御信号に基づき、光源部３の発光と同期して、管２３に設けられた平面透過部２４上に設定された検査対象領域２５を撮影し、検査画像を取得する。そのために、撮像部４は、ＣＣＤ、Ｃ−ＭＯＳセンサなどの光電変換器で構成された２次元検出器と、その２次元検出器上に検査対象領域２５の像を結像する結像光学系を有する。本実施形態では、２次元検出器として、１０２４×７６８画素のＣＣＤセンサを用いた。撮影光学系は、検査対象領域２５をＣＣＤ上に結像させ、ＣＣＤの１画素が検査対象領域２５上の約８μｍ×約８μｍを表すように構成した。また、撮像部４は、約８０ｍ秒に１回の割合で撮影を行うものとした。なお、検出器の画素数及び結像光学系の構成は上記に限られず、検出対象となる異物の像が、検査画像上で特徴量を適切に抽出できる大きさとなるように（例えば、検査画像上で平均的な異物の像の面積が数１０画素程度となるように）、実施する形態に応じて最適化される。同様に、撮影間隔、撮影対象領域の大きさなども、実施する形態に応じて最適化される。
【００２４】
取得された検査画像は、１画素あたり２５６階調（画素値０〜２５５）を有し、受光した光量が強いほど大きな画素値を有するものとした。なお、取得された検査画像は、逐次処理部５に送信される。
【００２５】
処理部５は、撮像部４から取得した各検査画像に基づいて、異物の像の可能性のある異物候補領域を検出し、異物候補領域から複数の特徴量を抽出し、それら特徴量に基づいて所定の判定処理を行うことにより、異物の有無を判定する。
【００２６】
図３に、処理部５の機能ブロック図を示す。処理部５は、記憶手段５１、制御手段５２、通信手段５３、異物候補領域検出手段５４、特徴量抽出手段５５及び判定手段５６を有し、例えば、パーソナルコンピュータ（ＰＣ）及びその周辺機器で構成される。
以下、処理部５の各部について詳細に説明する。
【００２７】
記憶手段５１は、ランダムアクセスメモリ（ＲＡＭ）、又は磁気ディスク、光ディスク若しくはフラッシュメモリなどの不揮発性メモリで構成され、撮像部４から受信した検査画像を一時的に記憶する。また、記憶手段５１は、処理部５の制御を行うプログラムなどを記憶する。
【００２８】
制御手段５２は、ＰＣの中央演算装置（ＣＰＵ）と、リードオンリーメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）などの半導体メモリなどで構成され、ＣＰＵに読み込まれたプログラムにしたがって動作し、測定管２、光源部３、撮像部４及び処理部５の各手段を制御する。さらに、通信手段５３は、処理部５と、測定管２、光源部３及び撮像部４との間で制御信号及び画像データを送受信する入出力インタフェースであり、ＵＳＢ、ＳＣＳＩ、ＲＳ２３２Ｃ、イーサネット（登録商標）などの各種のＩ／Ｏポート及びそれらのドライバで構成される。そして、処理部５は、通信手段５３を通じて撮像部４から各検査画像を受信する。一方、制御手段５２で生成された制御信号は、通信手段５３を通じて測定管２、光源部３及び撮像部４へ送信される。さらに、処理部５は、判定手段５６で判定された異物の検出結果を通信手段５３を通じて、判定結果などの表示を行う操作表示部（図示せず）や、外部の機器へ出力する。あるいは、検査画像上で異物の像と判定された異物候補領域の色を変えた画像を作成し、操作表示部に表示させるようにしてもよい。
【００２９】
異物候補領域検出手段５４、特徴量抽出手段５５及び判定手段５６は、例えばＣＰＵ上で実行されるプログラムモジュールとして実装される。あるいは、異物候補領域検出手段５４、特徴量抽出手段５５及び判定手段５６を、ＣＰＵと別個に設けられた画像処理用プロセッサなどを備えた専用処理ボードとして実装してもよい。
【００３０】
異物候補領域検出手段５４は、異物又は気泡の像を洗浄液のみが撮影されている領域から区別し、異物候補領域として検出する。
図４に、検査画像の概略図を示す。図４において、検査画像４００中に含まれる微小な暗領域４０１及び４０２は、それぞれ異物の像及び気泡の像である。洗浄液中に異物又は気泡が存在すると、それらは、照明光を散乱又は吸収する。そのため、図４に示すように、検査画像４００上では、異物の像４０１又は気泡の像４０２は、画素値が周囲と比較して低下する。そこで、異物候補領域検出手段５４は、検査画像を２値化し、２値化によって大多数の画素と異なる値を有する画素値を有する画素の集合領域をラベリングすることにより、異物候補領域を検出する。
【００３１】
具体的に、異物候補領域検出手段５４は、撮像部４から取得した各検査画像に対し、局所最大値フィルタ処理を行って、背景画像を求める。局所最大値フィルタ処理は、所定のサイズのマスクを、処理対象の画像に対して位置を順次移動させつつ、マスク内の最大値を、マスク中心に位置する画素の画素値として求めるものである。本実施形態では、異物の像４０１及び気泡の像４０２よりも大きい領域内で最大値を求め、確実に背景（洗浄液のみの部分）と像４０１及び４０２を区別するために、マスクのサイズを３１×３１画素とした。しかし、検出対象となる異物などの大きさに応じて、より大きなサイズあるいはより小さなサイズのマスクを用いてもよい。
【００３２】
異物候補領域検出手段５４は、背景画像を作成すると、背景画像の各画素から検査画像の対応する各画素の値を引くことにより、差分画像を求める。この差分画像では、照明光の輝度ムラによる画像の全体的な輝度差は相殺され、異物の像４０１又は気泡の像４０２など、検査画像上で局所的に低輝度となる画素値を有する領域のみが、差分画像上で大きな画素値を有することとなる。そこで、異物候補領域検出手段５４は、差分画像の平均画素値を算出する。そして異物候補領域検出手段５４は、算出した平均画素値を２値化閾値として、差分画像の２値化を行って２値化画像を作成する。２値化画像では、異物の像４０１又は気泡の像４０２に相当する領域のみ、画素値‘１’を有し、それ以外の画素は、画素値‘０’を有する。
【００３３】
異物候補領域検出手段５４は、２値化画像を求めると、画素値‘１’の画素に対してラベリング処理を行う。そして、画素値‘１’を有する画素が所定数（例えば、１０画素）以上連結した領域を、異物候補領域として検出する。なお、この所定数は、検出対象とする異物の大きさに応じて最適化される。異物候補領域検出手段５４は、各異物候補領域を識別するために、異物候補領域ごとに異なるラベル番号Ｌｎ（＝１，２，．．．，ｎ）を付す。そして、２値化画像と同サイズのラベル画像を作成する。例えば、ラベル画像において、ラベル番号Ｌｎが付された異物候補領域と対応する画素は、画素値Ｌｎを有する。なお、ラベリング処理は周知の技術であるため、ここでは詳細な説明は省略する。
【００３４】
なお、異物候補領域検出手段５４は、差分画像の平均値以外の値を２値化閾値として用いてもよい。例えば、差分画像の画素値の累積ヒストグラムを計算し、所定の累積度数（例えば、５０％）になった画素値を２値化閾値として用いてもよい。また、局所最大値フィルタ処理を行う代わりに、局所平均値又は局所中央値フィルタ処理を行って背景画像を求めてもよい。あるいは、照明光の輝度ムラが問題にならない程度であれば、直接検査画像から画素値の累積ヒストグラムを求め、所定の累積度数（例えば、５％）になった画素値を２値化閾値として用いてもよい。
またさらに、２値化画像をラベリングする前に、画素値‘１’を有する画素を対象としてモルフォロジーのクロージング演算を行って、不連続点の接続や穴埋め処理を行ってもよい。逆に、オープニング演算を行って、孤立点を除去してもよい。
【００３５】
作成された２値化画像、ラベル画像及び異物候補領域の個数（あるいは、ラベル番号Ｌｎの最大値ｎ）は、処理部５の他の手段で使用することができるように、制御手段５２を構成するＲＡＭなどのメモリ又は記憶手段５１に一時的に記憶される。
【００３６】
特徴量抽出手段５５は、異物候補領域検出手段５４で検出された異物候補領域に基づいて、異物と気泡とで異なる値を有する傾向のある特徴量を算出する。
図５（ａ）〜（ｆ）に、検査画像における気泡の像と異物の像の例を示す。図５（ａ）及び（ｂ）において、暗領域５０１及び５０２は、それぞれ気泡の像である。また、図５（ｃ）〜（ｆ）における各暗領域５０３〜５０６は、それぞれ異物の像である。図５（ａ）及び（ｂ）に示されるように、気泡は、比較的整った球形をしているため、検査画像上での気泡の像は、相対的に円形に近い形状をしている。一方、異物は、ディーゼルポンプの内壁などから剥がれ落ちた金属片などが主なものと考えられる。そのため、図５（ｃ）〜（ｆ）に示されるように、異物の像は、比較的いびつな形状をしている。
そこで、本実施形態では、特徴量抽出手段５５は、異物と気泡とで異なる値を有する傾向のあるものとして、異物候補領域の円形度を表す４種類の指標（フィレ径差、占有率、対称度、円周輝度差）を、特徴量として算出する。なお、それらの特徴量は、各異物候補領域ごとに算出されるが、特徴量抽出手段５５は、各異物候補領域について同じ処理を行うため、以下の説明では、一つの異物候補領域からの特徴量抽出について説明する。
【００３７】
図６に示すテーブル６００を用いて、特徴量抽出手段５５が抽出する各特徴量について説明する。
図６において、テーブル６００の各列ごとに、一つの特徴について説明されている。また、テーブル６００の各行については、上から順に、行６０１には、抽出する各特徴量の名称が示されている。そして、その下の行６０２に、各特徴量の説明が記載されている。その下の行６０３は、気泡の像について、各特徴量の値として想定される値の傾向を示し、最下段の行６０４は、異物の像について、各特徴量の値として想定される値の傾向を示す。ここで、各特徴量のうち、円周輝度差を除いては、異物候補領域検出手段５４で求めた２値化画像あるいはラベル画像から抽出する。円周輝度差は、検査画像から抽出する。
【００３８】
まず、フィレ径差Ｆｄは、異物候補領域に外接する長方形の幅と高さの差として求められる。気泡の像は、ほぼ円形となるため、フィレ径差Ｆｄはほぼ０となる。一方、異物の像は、いびつな形状となる可能性が高いため、フィレ径差Ｆｄは０以外の値を取る可能性が高い。特徴量抽出手段５５は、フィレ径差Ｆｄを求めるために、２値化画像あるいはラベル画像において、対象となる異物候補領域について、左右上下の各端に位置する画素の座標を求める。そして、異物候補領域の外接長方形の幅を、その領域の右端画素の水平座標値と左端画素の水平座標値の差に基づいて算出する。同様に、異物候補領域の外接長方形の高さを、その領域の下端画素の垂直座標値と上端画素の垂直座標値の差に基づいて算出する。そして、算出した幅と高さの差を求め、フィレ径差Ｆｄとする。
【００３９】
次に、占有率Ｐｒは、異物候補領域の外接長方形の面積に占める、異物候補領域の面積として表される。気泡の像は、ほぼ円形となるため、占有率Ｐｒは０．７８５程度となる。一方、異物の像は、いびつな形状となる可能性が高いため、占有率Ｐｒは０．７８５よりも小さな値を取る可能性が高い。特徴量抽出手段５５は、占有率Ｐｒを求めるために、上記のフィレ径差Ｆｄの算出に使用した外接長方形の幅と高さを乗じて、外接長方形の面積を算出する。また、特徴量抽出手段５５は、２値化画像又はラベル画像の画素値を参照して、外接長方形中の異物候補領域に相当する画素数をカウントし、その合計を異物候補領域の面積とする。そして、特徴量抽出手段５５は、異物候補領域の面積を、外接長方形の面積で除して、占有率Ｐｒを算出する。
【００４０】
また、対称度Ｓｄは、異物候補領域をその垂直中心線又は水平中心線を軸として折り返したときに、一致しない画素数の総計として表される。気泡の像は、ほぼ円形となるため、垂直方向及び水平方向のどちらにも中心線対称となり、対象度Ｓｄはほぼ０となる。一方、異物の像は、いびつな形状となる可能性が高いため、垂直方向又は水平方向の何れか又は両方について中心線対称とならず、対称度Ｓｄは大きな値を取る可能性が高い。
【００４１】
特徴量抽出手段５５は、対称度Ｓｄを求めるために、垂直中心線及び水平中心線の位置を求める。そこで、特徴量抽出手段５５は、上記のフィレ径差Ｆｄの算出の際に求めた異物候補領域の左右端画素のそれぞれの水平座標値の平均値を、垂直中心線の位置とする。同様に、異物候補領域の上下端画素のそれぞれの垂直座標値の平均値を、水平中心線の位置とする。あるいは、特徴量抽出手段５５は、異物候補領域の左端あるいは右端から順に、異物候補領域に含まれる画素の数をカウントし、その合計が異物候補領域の面積の５０％に到達したときの水平座標値を、垂直中心線の位置としてもよい。同様に、異物候補領域の上端あるいは下端から順に、異物候補領域に含まれる画素の数をカウントし、その合計が異物候補領域の面積の５０％に到達したときの垂直座標値を、水平中心線の位置としてもよい。
垂直中心線が求まると、特徴量抽出手段５５は、その垂直中心線を軸として、異物候補領域の右側半分を折り返して、異物候補領域の左側半分と重ねる。そして、重ね合わされた画素のうち、何れか一方のみが異物候補領域に含まれる画素の数をカウントする。同様に、特徴量抽出手段５５は、水平中心線を軸として、異物候補領域の下側半分を折り返して、異物候補領域の上側半分と重ねる。そして、重ね合わされた画素のうち、何れか一方のみが異物候補領域に含まれる画素の数をさらにカウントし、その画素の合計を算出する。そして、その合計を対象度Ｓｄとする。
【００４２】
最後に、円周輝度差Ｃｂは、異物候補領域の中心から等距離、等間隔の８点において、対応する検査画像の画素値の最大値と最小値の差として表される。気泡は、ほぼ球形となるため、その像において中心からの距離が等しい位置の画素値はほぼ等しいと考えられるため、円周輝度差Ｃｂはほぼ０となる。一方、異物の像は、いびつな形状となる可能性が高いため、円周輝度差Ｃｂは比較的大きな値を取る可能性が高い。特徴量抽出手段５５は、円周輝度差Ｃｂを求めるために、まず、２値化画像あるいはラベル画像に基づいて、異物候補領域の重心位置を求める。そして、求められた重心位置を、異物候補領域の中心とする。そして、特徴量抽出手段５５は、異物候補領域の中心と対応する検査画像の画素から、上下左右の４方向、及び左上から右下、右上から左下へのそれぞれ斜め４５°の４方向に、フィレ径差Ｆｄの算出の際に求めた外接長方形の幅の半分だけ離れた計８画素の位置を特定する。そして、特徴量抽出手段５５は、特定した８画素の画素値のうち、最大値と最小値を求め、その差を円周輝度差Ｃｂとする。
【００４３】
なお、上記の例では、円周輝度差Ｃｂを求めるために８点の画素値を調べたが、調べる画素の数は８点に限定されない。例えば、異物候補領域の面積が比較的小さい場合（例えば、３０画素以下）には、異物候補領域の中心から上下左右方向に等距離だけ離れた４点の画素値に基づいて、円周輝度差Ｃｂを求めるようにしてもよい。逆に、異物候補領域の面積が比較的大きい場合（例えば、１００画素以上）には、調べる画素数を８点よりも多くしてもよい。また、異物候補領域の中心からの距離も、外接長方形の幅の半分に限定されず、外接長方形の高さの半分の値を用いてもよく、あるいは、外接長方形の幅又は高さの何れか小さい方の半分の値を用いてもよい。さらに、外接長方形の幅又は高さの半分よりも、小さな値としてもよい。
【００４４】
これらの特徴量は、異物又は気泡の像がほぼ真円の形状をしていても、検査画像上においてその大きさが数十画素程度しかないために、対応する異物候補領域がその像の形状を精密に再現できない場合であっても、円形と円形以外の形状とを識別可能な情報を与えることができる。そのため、検査画像の取得に用いる２次元検出器の画素数の増加及びデータ量の増加を抑制することができる。
【００４５】
特徴量抽出手段５５は、各異物候補領域について求めた４種類の特徴量を、対応する異物候補領域に関連付けて、制御手段５２を構成するＲＡＭなどのメモリ又は記憶手段５１に一時的に記憶する。この関連付けは、例えば、各特徴量Ｆｄ、Ｐｒ、Ｓｄ、Ｃｂと、各異物候補領域に付けられたラベル番号Ｌｎ（＝１，２，．．．，ｎ）を要素とする５次元の特徴量ベクトルｖｆ＝（Ｌｎ，Ｆｄ，Ｐｒ，Ｓｄ，Ｃｂ）を生成し、特徴量ベクトル単位で記憶することにより行われる。
【００４６】
判定手段５６は、特徴量抽出手段５５で求めた各特徴量に基づいて、それぞれの異物候補領域ごとに、異物の像か気泡の像かを判定する。以下、フローチャートを用いて、具体的な手順を説明する。
【００４７】
図７は、各異物候補領域が、異物の像か気泡の像かを識別するための判定手順を示すフローチャートである。まず、判定手段５６は、識別対象となる異物候補領域について、その異物候補領域のラベル番号Ｌｎ（＝１，２，．．．，ｎ）を有する特徴量ベクトルｖｆを検索し、読み出す（ステップＳ１０１）。
【００４８】
次に、判定手段５６は、占有率Ｐｒが、所定の範囲内に含まれるか否かを判定する（ステップＳ１０２）。本実施形態では、所定の範囲を、０．６７＜Ｐｒ＜０．９１とした。そして、所定の範囲から外れる場合、判定手段５６は、その異物候補領域は異物の像であると判定する。そして、判定手段５６は、その異物候補領域を表すラベル番号Ｌｎと関連付けて、異物の像であることを表す判定結果Ｒ（＝１）をＲＡＭなどの制御手段５２を構成するメモリ又は記憶手段５１に一時的に記憶する（ステップＳ１０６）。一方、所定の範囲内であれば、判定手段５６は、フィレ径差Ｆｄを第１の閾値Ｔｈ１と比較する（ステップＳ１０３）。本実施形態では、第１の閾値Ｔｈ１を１とした。そして、フィレ径差Ｆｄが第１の閾値Ｔｈ１よりも大きい場合、判定手段５６は、その異物候補領域は異物の像であると判定する（ステップＳ１０６）。
【００４９】
ステップＳ１０３において、フィレ径差Ｆｄが第１の閾値Ｔｈ１以下の場合、判定手段５６は、（対称度Ｓｄ−異物候補領域の面積Ｓの５％）を、第２の閾値Ｔｈ２と比較する（ステップＳ１０４）。本実施形態では、第２の閾値Ｔｈ２を１０．６とした。そして、（対称度Ｓｄ−異物候補領域の面積Ｓの５％）が第２の閾値Ｔｈ２よりも大きい場合、判定手段５６は、その異物候補領域は異物の像であると判定する（ステップＳ１０６）。一方、ステップＳ１０４において、（対称度Ｓｄ−異物候補領域の面積Ｓの５％）が第２の閾値Ｔｈ２以下の場合、円周輝度差Ｃｂを第３の閾値Ｔｈ３と比較する（ステップＳ１０５）。本実施形態では、第３の閾値Ｔｈ３を２０とした。そして、円周輝度差Ｃｂが第３の閾値Ｔｈ３よりも大きい場合、判定手段５６は、その異物候補領域は異物の像であると判定する（ステップＳ１０６）。一方、ステップＳ１０５において、円周輝度差Ｃｂが第３の閾値Ｔｈ３以下の場合、判定手段５６は、その異物候補領域は、気泡の像であると判定する。そして、判定手段５６は、その異物候補領域と関連付けて、気泡の像であることを表す判定結果Ｒ（＝０）をＲＡＭなどの制御手段５２を構成するメモリ又は記憶手段５１に一時的に記憶する（ステップＳ１０７）。
【００５０】
なお、各特徴量に対する判定を行う順番は、上記の順番に限られず、任意に入れ替えてもよい。また、各閾値及び所定の範囲は、上記の値に限られず、検出しようとする異物の性質、想定される大きさに応じて最適化される。
【００５１】
判定手段５６は、全ての異物候補領域について、異物の像か気泡の像かを判定すると、その検査画像に含まれる異物の総数を算出して、通信手段５３を通じて図示しない操作表示部へ送信し、ユーザにその検出結果を報知する。
【００５２】
図８を参照しつつ、本発明を適用した異物検出装置１の動作について説明する。なお、異物検出装置１の動作は、処理部５の制御手段５２によって制御される。
【００５３】
図８に示すように、検査が開始されると、処理部５の制御手段５２は、測定管２の開閉弁２２に対して弁を開くよう制御信号を送信する。そして、貯留部２１に貯留された洗浄液の流下を開始させる（ステップＳ２０１）。また、測定開始からの経過時間の計時を開始する。洗浄液の流下が開始されると、光源部３の発光と同期して撮像部４は撮影を行い、検査画像を取得する（ステップＳ２０２）。そして、検査画像を処理部５へ送信する。
【００５４】
処理部５は、通信手段５３を通じて検査画像を受信すると、異物候補領域検出手段５４において、異物候補領域を検出する（ステップＳ２０３）。そして、異物候補領域を表す２値化画像及びラベル画像を作成する。なお、異物候補領域の検出については、上述したとおりである。
【００５５】
次に、処理部５の特徴量抽出手段５５は、異物の像か気泡の像かの判定対象となる異物候補領域として、ラベル番号Ｌｎ（＝１，２，．．．，ｎ）が付された異物候補領域を選択する（ステップＳ２０４）。なお、１回目の選択では、Ｌｎ＝１とする。そして、対象となる異物候補領域から、上記のフィレ径差Ｆｄ、占有率Ｐｒ、対称度Ｓｄ、円周輝度差Ｃｂの４種類の特徴量を抽出する（ステップＳ２０５）。なお、各特徴量の抽出方法については、上述した通りである。各特徴量を抽出すると、処理部５の判定手段５６は、図７に示したフローに従って、その異物候補領域が、異物の像か気泡の像かを判定し、その判定結果を対象となった異物候補領域と関連付けて記憶する（ステップＳ２０６）。
【００５６】
その後、処理部５の特徴量抽出手段５５は、Ｌｎ＝ｎ（ただしｎは、異物候補領域の個数）となったか否か、すなわち、全ての異物候補領域について異物か気泡かの判定処理が終わったか否かを判定する（ステップＳ２０７）。そして、特徴量の抽出を終えていない異物候補領域が残っている場合は、Ｌｎを１インクリメントして（ステップＳ２０８）、制御をステップＳ２０４の前に戻す。そして、ステップＳ２０４〜Ｓ２０８の処理を繰り返す。
【００５７】
一方、ステップＳ２０７において、全ての異物候補領域について、特徴量の抽出が終了している場合、処理部５の制御手段５２は、測定開始から所定時間を経過したか否かを判定する（ステップＳ２０９）。そして、所定時間を経過していなければ、制御をステップＳ２０２の前に戻し、ステップＳ２０２〜Ｓ２０９の処理を繰り返す。一方、ステップＳ２０９において、制御手段５２は、所定時間経過したと判定した場合、異物の総検出数など、検出結果を図示しない操作表示部などに出力する（ステップＳ２１０）。そして、処理を終了する。
【００５８】
以上説明してきたように、本発明を適用した異物検出装置１は、測定対象の洗浄液中に気泡が含まれている場合であっても、異物と気泡を区別して、良好な精度で異物を検出することができる。また、パーティクルカウンタと異なり、ある程度口径の大きな管に洗浄液を流しつつ測定を行うので、短時間で測定を行うことができる。
【００５９】
なお、上述してきた実施形態は、本発明を説明するためのものであり、本発明は、これらの実施形態に限定されるものではない。
例えば、上記の実施形態では、特徴量として、フィレ径差、占有率、対称度、円周輝度差の４種類のものを用いたが、要求される検出精度に応じて、このうちの１乃至３種類の特徴量のみを用いてもよい。あるいは、上記の特徴量の全てまたは何れかとともに、別の特徴量を組み合わせて用いてもよい。ただし、良好な検出精度を得るためには、異なる観点から異物候補領域の形状の評価を行えるようにするために、上記の特徴量のうちの少なくとも２種類を用いることが好ましい。
【００６０】
また、上記の実施形態では、判定手段５６は、各特徴量について、それぞれ異物に該当する条件を満たすか否かを調べ、何れか一つでも異物に該当する場合には、異物と判定し、それ以外の場合には、気泡と判定するようにした。しかし、判定手段５６は、別の方法、例えば、判別分析、ニューラルネットワーク、サポートベクトルマシンなどの分類手法を用いて判定を行うこともできる。例えば判別分析を用いる場合には、予め異物又は気泡の像と分かっている異物候補領域をそれぞれ複数準備し、各異物候補領域について求めた特徴量の値に基づいて、所定の統計量（各特徴量の平均値、分散など）を算出して判別関数を作成する。求められた判別関数は、予め記憶手段５１に記憶される。そして、判定手段５６は、判別対象となる異物候補領域が与えられた場合に、判別関数を記憶手段５１から読み込み、判別対象となる異物候補領域から抽出された特徴量をその判別関数に入力し、気泡あるいは異物との判別結果を得る。ニューラルネットワークあるいはサポートベクトルマシンなどの学習システムを用いる場合には、同様に予め異物又は気泡の像と分かっている異物候補領域をそれぞれ複数準備し、各異物候補領域について求めた特徴量の値に基づいて、バックプロパゲーションなど、既知の学習方法を用いてシステムの学習を行う。学習済みのシステムは予め記憶手段５１に記憶される。そして、判定手段５６は、判別対象となる異物候補領域が与えられた場合に、その学習済みのシステムを記憶手段５１から読み込み、判別対象となる異物候補領域から抽出された特徴量をその学習済みのシステムに入力し、気泡あるいは異物との判別結果を得る。
【００６１】
さらに、本発明は、洗浄液中に含まれる異物の検出以外にも適用することができる。検出対象となる異物が、気泡と異なり球形状でないものが殆どであるような場合には、本発明を好適に適用することができる。
【００６２】
以上のように、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。
【図面の簡単な説明】
【００６３】
【図１】本発明を適用した異物検出装置の概略構成図である。
【図２】（ａ）は、平面透過部の概略正面図であり、（ｂ）は、（ａ）の矢視ＡＡ’による平面透過部の概略断面図である。
【図３】処理部の機能ブロック図である。
【図４】検査画像の概略図である。
【図５】（ａ）及び（ｂ）は、検査画像上における気泡の像の例示図であり、（ｃ）〜（ｆ）は、異物の像の例示図である。
【図６】抽出される各特徴量の概略説明図である。
【図７】判定手段における、異物候補領域の判定手順を示すフローチャートである。
【図８】本発明を適用した異物検出装置の動作を示すフローチャートである。
【符号の説明】
【００６４】
１ 異物検出装置
２ 測定管
２１ 貯留部
２２ 開閉弁
２３ 管
２４ 平面透過部
３ 光源部
４ 撮像部
５ 処理部
５１ 記憶手段
５２ 制御手段
５３ 通信手段
５４ 異物候補領域検出手段
５５ 特徴量抽出手段
５６ 判定手段
【特許請求の範囲】
【請求項１】
検査対象物である液体の流路を形成し、該流路の少なくとも一部が外部から視認可能な透過部（２４）を有する測定管（２）と、
前記透過部（２４）を照明する光源部（３）と、
前記光源部（３）の発光と同期して、前記光源部（３）により照明された前記透過部（２４）を流れる液体を撮影した検査画像を取得する撮像部（４）と、
所定の閾値で２値化することによって前記検査画像を高輝度領域と低輝度領域に区分し、該低輝度領域を、異物候補領域として検出する異物候補領域検出手段（５４）と、
前記異物候補領域の円形度を表す特徴量を少なくとも一つ抽出する特徴量抽出手段（５５）と、
前記特徴量抽出手段（５５）で抽出された少なくとも一つの前記特徴量が所定の条件を満たす場合、前記異物候補領域は、異物の像であると判定する判定手段（５６）と、
を有することを特徴とする異物検出装置。
【請求項２】
前記特徴量は、前記異物候補領域の対称性を表す対称度であり、
前記特徴量抽出手段（５５）は、前記異物候補領域の垂直中心線及び水平中心線の位置を決定し、該垂直中心線を軸として前記異物候補領域を折り返して重ねたとしたときに前記異物候補領域同士が重ならない画素数と、該水平中心線を軸として前記異物候補領域を折り返して重ねたとしたときに前記異物候補領域同士が重ならない画素数の合計を求めて、該対称度とする、請求項１に記載の異物検出装置。
【請求項３】
前記特徴量は、前記異物候補領域の辺縁近傍の輝度差を表す円周輝度差であり、
前記特徴量抽出手段（５５）は、前記異物候補領域の重心位置を求め、該重心位置から前記異物候補領域の幅又は高さの１／２以下の所定距離に存在する複数の画素について、画素値の最大値と最小値の差を算出して該円周輝度差とする、請求項１に記載の異物検出装置。
【請求項４】
前記異物候補領域検出手段（５４）は、前記検査画像の注目画素について、該注目画素を含む小領域を設定し、該小領域の代表信号値を求めて該注目画素に対応する画素の値とすることにより、背景画像を作成し、該背景画像と前記検査画像の差分画像を作成し、該差分画像の平均画素値を算出し、該平均画素値に基づいて前記所定の２値化閾値を算出する、請求項１に記載の異物検出装置。
【請求項５】
前記特徴量抽出手段（５５）は、少なくとも２種類の前記特徴量を抽出し、
前記判定手段（５６）は、抽出された前記特徴量の何れかが、各特徴量について予め定められた条件を満たす場合に、異物と判定する、請求項１〜４の何れか一項に記載の異物検出装置。
【請求項６】
前記光源部（３）の１回当たりの発光時間が、該１回当たりの発光中に前記液体が移動する移動量が、前記検査画像において、前記検査画像の画素の大きさの１／２以下となる時間である、請求項１〜５の何れか一項に記載の異物検出装置。
【請求項７】
検査対象物である液体を照明光源の発光と同期しつつ撮影して検査画像を取得するステップと、
所定の閾値で２値化することによって前記検査画像を高輝度領域と低輝度領域に区分し、該低輝度領域を、異物候補領域として検出するステップと、
前記異物候補領域の円形度を表す特徴量を少なくとも一つ抽出するステップと、
前記少なくとも一つの特徴量が所定の条件を満たす場合、前記異物候補領域は、異物の像であると判定するステップと、
を有することを特徴とする異物検出方法。
【請求項１】
検査対象物である液体の流路を形成し、該流路の少なくとも一部が外部から視認可能な透過部（２４）を有する測定管（２）と、
前記透過部（２４）を照明する光源部（３）と、
前記光源部（３）の発光と同期して、前記光源部（３）により照明された前記透過部（２４）を流れる液体を撮影した検査画像を取得する撮像部（４）と、
所定の閾値で２値化することによって前記検査画像を高輝度領域と低輝度領域に区分し、該低輝度領域を、異物候補領域として検出する異物候補領域検出手段（５４）と、
前記異物候補領域の円形度を表す特徴量を少なくとも一つ抽出する特徴量抽出手段（５５）と、
前記特徴量抽出手段（５５）で抽出された少なくとも一つの前記特徴量が所定の条件を満たす場合、前記異物候補領域は、異物の像であると判定する判定手段（５６）と、
を有することを特徴とする異物検出装置。
【請求項２】
前記特徴量は、前記異物候補領域の対称性を表す対称度であり、
前記特徴量抽出手段（５５）は、前記異物候補領域の垂直中心線及び水平中心線の位置を決定し、該垂直中心線を軸として前記異物候補領域を折り返して重ねたとしたときに前記異物候補領域同士が重ならない画素数と、該水平中心線を軸として前記異物候補領域を折り返して重ねたとしたときに前記異物候補領域同士が重ならない画素数の合計を求めて、該対称度とする、請求項１に記載の異物検出装置。
【請求項３】
前記特徴量は、前記異物候補領域の辺縁近傍の輝度差を表す円周輝度差であり、
前記特徴量抽出手段（５５）は、前記異物候補領域の重心位置を求め、該重心位置から前記異物候補領域の幅又は高さの１／２以下の所定距離に存在する複数の画素について、画素値の最大値と最小値の差を算出して該円周輝度差とする、請求項１に記載の異物検出装置。
【請求項４】
前記異物候補領域検出手段（５４）は、前記検査画像の注目画素について、該注目画素を含む小領域を設定し、該小領域の代表信号値を求めて該注目画素に対応する画素の値とすることにより、背景画像を作成し、該背景画像と前記検査画像の差分画像を作成し、該差分画像の平均画素値を算出し、該平均画素値に基づいて前記所定の２値化閾値を算出する、請求項１に記載の異物検出装置。
【請求項５】
前記特徴量抽出手段（５５）は、少なくとも２種類の前記特徴量を抽出し、
前記判定手段（５６）は、抽出された前記特徴量の何れかが、各特徴量について予め定められた条件を満たす場合に、異物と判定する、請求項１〜４の何れか一項に記載の異物検出装置。
【請求項６】
前記光源部（３）の１回当たりの発光時間が、該１回当たりの発光中に前記液体が移動する移動量が、前記検査画像において、前記検査画像の画素の大きさの１／２以下となる時間である、請求項１〜５の何れか一項に記載の異物検出装置。
【請求項７】
検査対象物である液体を照明光源の発光と同期しつつ撮影して検査画像を取得するステップと、
所定の閾値で２値化することによって前記検査画像を高輝度領域と低輝度領域に区分し、該低輝度領域を、異物候補領域として検出するステップと、
前記異物候補領域の円形度を表す特徴量を少なくとも一つ抽出するステップと、
前記少なくとも一つの特徴量が所定の条件を満たす場合、前記異物候補領域は、異物の像であると判定するステップと、
を有することを特徴とする異物検出方法。
【図１】
【図２】
【図３】
【図６】
【図７】
【図８】
【図４】
【図５】
【図２】
【図３】
【図６】
【図７】
【図８】
【図４】
【図５】
【公開番号】特開２００８−１０２０２７（Ｐ２００８−１０２０２７Ａ）
【公開日】平成２０年５月１日（２００８．５．１）
【国際特許分類】
【出願番号】特願２００６−２８５１２８（Ｐ２００６−２８５１２８）
【出願日】平成１８年１０月１９日（２００６．１０．１９）
【出願人】（０００００４２６０）株式会社デンソー (27,639)
【Ｆターム（参考）】
【公開日】平成２０年５月１日（２００８．５．１）
【国際特許分類】
【出願日】平成１８年１０月１９日（２００６．１０．１９）
【出願人】（０００００４２６０）株式会社デンソー (27,639)
【Ｆターム（参考）】
[ Back to top ]