判定装置、判定装置の制御プログラム、および判定装置の制御プログラムを記録した記録媒体
【課題】ユーザに対して検査対象物が正常であるか否かを確度よく判定できる閾値を設定するための情報を提供することができる検査装置を実現する。
【解決手段】本発明に係る検査装置は、エンジンから特徴量を取得し、この特徴量に応じてこのエンジンが良品であるか否かを検査する装置である。良品であるエンジンと不良品であるエンジンとから取得した特徴量の度数分布から、良品であるエンジンを不良品であると判定する割合である過検出率と、不良品であるエンジンを良品であると判定する割合である見逃し率との実測値を算出する誤判別率実測値計算部２５と、過検出率と見逃し率との期待値を算出する誤判別率期待値計算部２６と、閾値の変化に応じた、算出された過検出率および見逃し率の実測値の変化を示すグラフと、算出された過検出率および見逃し率の予測値の変化を示すグラフとを表示する表示制御部２９とを備える。
【解決手段】本発明に係る検査装置は、エンジンから特徴量を取得し、この特徴量に応じてこのエンジンが良品であるか否かを検査する装置である。良品であるエンジンと不良品であるエンジンとから取得した特徴量の度数分布から、良品であるエンジンを不良品であると判定する割合である過検出率と、不良品であるエンジンを良品であると判定する割合である見逃し率との実測値を算出する誤判別率実測値計算部２５と、過検出率と見逃し率との期待値を算出する誤判別率期待値計算部２６と、閾値の変化に応じた、算出された過検出率および見逃し率の実測値の変化を示すグラフと、算出された過検出率および見逃し率の予測値の変化を示すグラフとを表示する表示制御部２９とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、検査対象物から該検査対象物が正常であるか否か区別するための要素となる情報である特性値を取得し、この特性値に応じて検査対象物が正常であるか否かを判定するための判定装置、判定装置の制御プログラム、および判定装置の制御プログラムを記録した記録媒体に関するものである。
【背景技術】
【０００２】
従来から、生産されたエンジン等の製品の品質を検査する方法として、例えば、該エンジンを駆動させて生じる音を検査員が聞き分けるなど、いわゆる官能検査が行われている。しかしながら、この官能検査は、検査員の五感に依存する方法であるため、検査員はこの検査方法に対して熟練した技術と多くの経験的知識とを有しておく必要があった。また、熟練した技術を有する検査員であっても、検査結果には個人差によるばらつきが生じるといった問題があった。このため、上記した個人差によるばらつきを防ぐために、このような検査を、定量的かつ明確な基準により行えることが好ましい。
【０００３】
例えば、特許文献１では、製造されたエンジンの駆動により生じる音または振動を、センサにより測定し、この測定結果から特徴量を抽出し、この抽出した特徴量を解析して品質を調べる装置が開示されている。
【０００４】
ところで、このようにエンジン等の製品から生じる音または振動の特徴量を抽出し、該製品の品質を調べる場合、例えば、この特徴量が所定の閾値以上であれば異常（不良品）であり、閾値未満である場合は正常(良品)であると判断することができる。しかながら、この閾値を利用した判断では、良品を不良品であると誤って判別したり、あるいは、不良品を良品であると誤って判別したりする場合が生じる。なお、本明細書中では、前者の場合を「過検出」、後者の場合を「見逃し」と称することとする。
【０００５】
そして、例えば図２５に示すように良品の製品から得られた特徴量のヒストグラムと不良品の製品から得られた特徴量のヒストグラムとを重ね合わせた際に、同じ特徴量であっても良品と不良品とが混在する区間がある。ここで、この混在する区間が閾値によって良品と区別される領域に存在する場合、該区間に含まれる不良品数の割合を見逃し率と定義する。逆に、この区間が閾値により不良品であると区別される領域に存在する場合、該区間に含まれる良品数の割合を過検出率と定義する。また、この過検出率と見逃し率とを合わせて誤判別率と称する。
【０００６】
なお、この過検出率は、下記に示す式（１）により求めることができ、一方、見逃し率は、下記に示す式（２）により求めることができる。
【０００７】
過検出率＝ｎＯＫ→ＮＧ／ｎＯＫ ・・・（１）
見逃し率＝ｎＮＧ→ＯＫ／ｎＮＧ ・・・（２）
（ｎＯＫ→ＮＧ：不良品と誤判定された良品の数 ｎＯＫ：全良品の数）
（ｎＮＧ→ＯＫ：良品と誤判定された不良品の数 ｎＮＧ：全不良品の数）
このように、良品であるにもかかわらず、不良品であると判定された製品（過検出された製品）は、検査不合格品として出荷されず廃棄されるか、あるいは、より精度の高い品質検査によって良品であると判定されれば出荷される。このように良品を廃棄する場合、あるいは再検査を行う場合いずれの場合であっても、製品の製造コストを大きくしてしまう要因となる。
【０００８】
また、不良品であるにもかかわらず、良品であると判定された製品（見逃された製品）は、検査合格品として出荷されこの不良品が市場に出回ることとなる。このように不良品が出回るとこの製品に対するクレーム、返品等が生じて製品の製造業者の社会的信用性を低下させてしまう一因となる。
【０００９】
このため、良品と判断される領域と不良品と判断される領域とを区別する閾値を、過検出率および見逃し率が生じる割合が許容値範囲内となるように適切に設定することが重要となる。
【００１０】
例えば、図２５に示す測定結果では、図２６に示すように閾値ｔの値が大きくなればなるほど見逃し率が大きくなり、逆に閾値ｔの値が小さくなればなるほど過検出率が大きくなる。つまり、閾値ｔの値が大きくなればなるほど良品と判断する区間が大きくなり該区間に含まれる不良品の数、すなわち良品とみなされる不良品の数が大きくなる。このため、閾値ｔの値が大きくなればなるほど見逃し率が大きくなる。
【００１１】
逆に、閾値ｔの値が小さくなればなるほど不良品と判断される区間が大きくなり該区間に含まれる良品の数、すなわち、不良品とみなされる良品の数が大きくなる。このため閾値ｔの値が小さくなればなるほど過検出率が大きくなる。
【００１２】
そこで、従来では、上記した閾値を、見逃し率と過検出率とのそれぞれが許容値に収まる範囲で決定している。
【００１３】
なお、上記したようなサンプルの統計処理に用いることが可能な理論として、非特許文献１では、マハラノビス・タグチ・システムに具現化された非対称的判別における実際の誤判別率とその推定について記載されており、非特許文献２では、特徴数に対する訓練サンプル数の比が小さいといった現実の状況下で真に有効となる識別器を評価する研究について記載されている。また、非特許文献３では、既知のサンプルを用いて、多変量管理図の管理限界を決定するための統計的手法について記載されている。
【００１４】
なお、上記サンプルとは、製造された全製品を母集団としたとき、この全製品から検査を実施するために抜き取りを行った製品（製品群）のことである。
【特許文献１】特開２００５−１２１６３９号公報（２００５年５月１２日公開）
【非特許文献１】宮川雅巳、田中研太郎，岩澤智之，中西寛子，「マハラノビス距離による非対称的判別での実際の誤判別率」，応用統計学会第２６回シンポジウム講演予稿集，ｐｐ．１〜６（２００４年）
【非特許文献２】浜本義彦，内村俊二，金岡泰保，富田真吾，「標本数が少ない状況下における識別器の評価」、情報処理学会研究報告「グラフィックスとＣＡＤ」，Ｖｏｌ．１９９２．ＮＯ１０１，１９９２年
【非特許文献３】ＮＯＬＡ Ｄ.ＴＲＡＣＹ，JＯＨＮ Ｃ. ＹＯＵＮＧ，ＲＯＢＥＲＴ Ｌ. ＭＡＳＯＮ，“Ｍｕｌｔｉｖａｒｉａｔｅ Ｃｏｎｔｒｏｌ Ｃｈａｒｔｓ ｆｏｒ Ｉｎｄｉｖｉｄｕａｌ Ｏｂｓｅｒｖａｔｉｏｎｓ”，Ｊｏｕｒｎａｌ ｏｆ Ｄｕａｌｉｔｙ Ｔｅｃｈｎｏｌｏｇｙ，Ｖｏｌ．２４，Ｎｏ．２，Ａｐｒｉｌ ８８／９５，（１９９２）
【発明の開示】
【発明が解決しようとする課題】
【００１５】
しかしながら、上記従来の構成では、所定個数の限られた特徴量の測定結果に基づき、良品と不良品とを区別するための閾値を設定する構成であるため、この設定された閾値は正確なものではないといった問題が生じる。
【００１６】
すなわち、すでに測定され収集されたサンプルの数は有限であり、このサンプルから推定した特徴量分布は真の特徴量分布とは大きく異なることとなる。すなわち、すでに収集されたサンプルから得られる特徴量分布から算出された誤判別率は、実際の収集結果の特徴量分布から得られる誤判別率と比較して小さく見積もられる傾向が大きく正確ではない。
【００１７】
そこで、実際に測定された、限られた個数のサンプルの特徴量に基づき良品と不良品とを判別するための閾値を設定するのではなく、将来的な誤判別率の予想も考慮にいれて閾値を設定できることが好ましい。
【００１８】
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、ユーザに対して検査対象物が正常であるか否かを確度よく判定できる閾値を設定するための情報を提供することができる判定装置、判定装置の制御プログラム、および判定装置の制御プログラムを記録した記録媒体を実現することにある。
【課題を解決するための手段】
【００１９】
本発明に係る判定装置は、上記した課題を解決するために、検査対象物から該検査対象物が正常であるか否か区別するための要素となる情報である特性値を取得し、この特性値に応じて検査対象物が正常であるか否かを判定するための判定装置であって、複数の正常な検査対象物それぞれから取得した特性値の分布情報から、該検査対象物が正常であるか否かを判定するための閾値を任意に設定した場合における、正常な検査対象物を異常であると判定する割合である過検出率を算出する算出手段と、統計的手法により、上記特性値に基づいて上記過検出率の予測値を算出する予測値算出手段と、上記閾値の変化に応じた、上記算出手段によって算出された過検出率の変化を示すグラフと、閾値の変化に応じた、上記予測値算出手段によって算出された過検出率の予測値の変化を示すグラフとを出力する出力手段とを備えることを特徴とする。
【００２０】
上記構成によると、出力手段を備えているため、閾値の変化に応じた、上記算出手段によって算出された過検出率の実測値の変化を示すグラフと、上記予測値算出手段によって算出された過検出率の予測値の変化を示すグラフとを出力することができる。
【００２１】
ここで予測値とは、限られた個数の検査対象物から抽出した特性値を利用して検査対象物の母集団の過検出率を予想した値である。したがって、ユーザはこの過検出率の予測値の変化を示すグラフを参照することで、過検出率の変化を示すグラフを参照して閾値を設定する場合と比べて、検査対象物が正常であるか否かを確度よく判定可能な閾値を設定することができる。
【００２２】
また、閾値の変化に応じた、過検出率の変化を示すグラフと過検出率の予測値の変化を示すグラフとを出力することができるため、ユーザは、この両者のグラフを比較して得られた過検出率および予測値の信頼性を確かめることができる。すなわち、過検出率を算出するために利用する検査対象物の個数が極端に少なく、この検査対象物それぞれの特性値から算出した過検出率および過検出率の予測値の信頼性が低い場合、該過検出率および過検出率の予測値の信頼性が高い場合と比べて両者の間の差異が大きくなる。
【００２３】
そこで、過検出率とこの過検出率の予測値との変化を示すグラフをともに出力することにより、ユーザはこの出力結果から過検出率および該過検出率の予測値の信頼性を判断することができる。
【００２４】
このように、本発明に係る判定装置は、ユーザに対して検査対象物が正常であるか否かを確度よく判定できる閾値を設定するための情報を提供することができるという効果を奏する。
【００２５】
本発明に係る判定装置は、上記した構成において、検査対象物から上記特性値を取得する取得手段と、ユーザによる、新たな検査対象物からの特性値の取得指示を受付ける取得指示受付け部とを備え、取得指示受付け部が上記新たな検査対象物からの特性値の取得指示を受付けた場合、上記取得手段が、新たな検査対象物から特性値を取得することが好ましい。
【００２６】
上記構成によると、取得指示受付け部を備えているため、ユーザによる、新たな検査対象物からの特性値の取得指示を受付けることができる。また、取得手段を備えているため、取得指示受付け部によって受付けた上記取得指示に応じて、新たな検査対象物から特性値を取得し追加させることができる。
【００２７】
ここで、ユーザにより、新たな検査対象物からの特性値の取得、すなわちサンプルの追加が指示される場合とは、特性値を取得した検査対象物の個数が少ないため、該特性値から算出した過検出率の値および予測値に対する信頼性が低くなる場合である。
【００２８】
ここで、本実施の形態に係る判定装置は、過検出率および該過検出率の予測値に対する信頼性が低くなる場合、新たな検査対象物から特性値を取得することができるため、信頼性のある過検出率および該過検出率の予測値が得られるまで、特性値を取得する検査対象物の個数を追加させることができる。
【００２９】
本発明に係る判定装置は、上記した構成において、検査対象物から上記特性値を取得する取得手段と、上記算出手段によって算出された過検出率と、上記予測値算出手段によって算出された過検出率の予測値とに基づき、算出された過検出率と該過検出率の予測値との差を求め、この差が所定値以上であるか否かを判定する差分判定手段とを備え、上記差分判定手段が、上記差が所定値以上であると判定した場合、上記取得手段に対して新たな検査対象物からの特性値の取得を指示するように構成されていることが好ましい。
【００３０】
上記構成によると、差分判定手段を備えているため、過検出率と該過検出率の予測値との差が所定値以上であるか否かを判定することができる。
【００３１】
なお、この所定値は、信頼性を有する過検出率と該過検出率の予測値とを得ることができるだけの個数分だけ検査対象物が存在するものと判断できる範囲で設定される値である。
【００３２】
ここで過検出率と該過検出率の予測値との差が所定値以上であるとは、過検出率と該過検出率の予測値とが十分な信頼性を有していないということである。すなわち、過検出率と該過検出率の予測値とを算出するための検査対象物の個数が少ないということである。
【００３３】
上記判定装置は、上記差が所定値以上であると判定した場合、取得手段に対して、新たな検査対象物から特性値を取得するように指示することができる。このため、信頼性のある過検出率と予測値とを得ることができるだけの個数分の検査対象物から特性値を取得するこができる。
【００３４】
したがって、信頼性のある過検出率と予測値とを得ることができるため、ユーザに対して検査対象物が正常であるか否かを確度よく判定できる閾値を設定するための情報を提供することができる。
【００３５】
また、本発明に係る判定装置は、上記した課題を解決するために、検査対象物から該検査対象物が正常であるか否か区別するための要素となる情報である特性値を取得し、この特性値に応じて検査対象物が正常であるか否かを判定するための判定装置であって、複数の正常な検査対象物それぞれから取得した特性値の分布情報から、該検査対象物が正常であるか否かを判定するための閾値を任意に設定した場合における、正常な検査対象物を異常であると判定する割合である過検出率を算出する算出手段と、統計的手法により、上記特性値に基づいて上記過検出率の予測値を算出する予測値算出手段と、閾値の変化に応じた、上記予測値算出手段によって算出された過検出率の予測値の変化を示すグラフとを出力する出力手段と、検査対象物から上記特性値を取得する取得手段と、上記算出手段によって算出された過検出率と、上記予測値算出手段によって算出された過検出率の予測値とに基づき、算出された過検出率と該過検出率の予測値との差を求め、この差が所定値以上であるか否かを判定する差分判定手段とを備え、上記差分判定手段が、上記差が所定値以上であると判定した場合、上記取得手段に対して、新たな検査対象物からの特性値の取得を指示することを特徴とする。
【００３６】
上記構成によると、差分判定手段を備えているため、過検出率と該過検出率の予測値との差が所定値以上であるか否かを判定することができる。なお、この所定値は、信頼性を有する過検出率と該過検出率の予測値とを得ることができるだけの個数分だけ検査対象物が存在するものと判断できる範囲で設定される値である。
【００３７】
ここで過検出率と該過検出率の予測値との差が所定値以上であるとは、過検出率と該過検出率の予測値とが十分な信頼性を有していないということである。すなわち、過検出率と該過検出率の予測値とを算出するための検査対象物の個数が少ないということである。
【００３８】
上記判定装置は、上記差が所定値以上であると判定した場合、取得手段に新たな検査対象物からの特性値の取得を指示することができる。このため、信頼性のある過検出率の予測値を算出できる個数分の検査対象物から特性値を取得するこができる。このように、信頼性のある過検出率の予測値を得ることができるため、ユーザに対して検査対象物が正常であるか否かを確度よく判定できる閾値を設定するための情報を提供することができるという効果を奏する。
【００３９】
本発明に係る判定装置は、上記した構成において、上記特性値の分布情報には、複数の異常が生じている検査対象物それぞれから取得した特性値の分布情報がさらに含まれており、上記算出手段は、上記特性値の分布情報から、検査対象物が正常であるか否かを判定するための閾値を任意に設定した場合における、異常が生じている検査対象物を正常であると判定する割合である見逃し率をさらに算出しており、上記予測値算出手段は、統計的手法により、上記特性値に基づいて上記見逃し率の予測値をさらに算出しており、上記出力手段が、閾値の変化に応じた、上記算出手段によって算出された過検出率および見逃し率の変化を示すグラフと、閾値の変化に応じた、上記予測値算出手段によって算出された過検出率および見逃し率の予測値の変化を示すグラフとを出力するように構成されていることが好ましい。
【００４０】
上記構成によると、出力手段により、閾値の変化に応じた、上記算出手段によって算出された過検出率および見逃し率の変化を示すグラフと、上記予測値算出手段によって算出された過検出率および見逃し率の予測値の変化を示すグラフとを出力することができる。
【００４１】
ここで予測値とは、限られた個数の検査対象物の特性値を利用して母集団の過検出率および見逃し率を予想した値である。したがって、ユーザは出力されたこの過検出率および見逃し率の予測値の変化を示すグラフを参照することで、過検出率および見逃し率の変化を示すグラフを参照して閾値を設定する場合と比べて、検査対象物が正常であるか否かを確度よく判定可能な閾値を設定することができる。
【００４２】
また、上記したように閾値の変化に応じた、過検出率および見逃し率の変化を示すグラフと過検出率および見逃し率の予測値の変化を示すグラフとを出力することができるため、ユーザは、この両者のグラフを比較して得られた過検出率および見逃し率と、過検出率および見逃し率の予測値との信頼性を確かめることができる。
【００４３】
すなわち、過検出率および見逃し率を算出するために利用する検査対象物の個数が極端に少なく、該検査対象物の特性値から算出した過検出率および見逃し率と、過検出率および見逃し率の予測値との信頼性が低い場合、過検出率および見逃し率と該過検出率および見逃し率の予測値との信頼性が高い場合と比べて両者の間の差異が大きくなる。
【００４４】
そこで、過検出率および見逃し率と該過検出率および見逃し率の予測値との変化を示すグラフをともに出力することにより、ユーザはこの出力結果から過検出率および見逃し率と過検出率および見逃し率の予測値との信頼性を判断することができる。
【００４５】
このように、本発明に係る判定装置は、ユーザに対して検査対象物が正常であるか否かを確度よく判定できる閾値を設定するための情報を提供することができる。
【００４６】
本発明に係る判定装置は、上記した構成において、上記過検出率および上記見逃し率と上記過検出率および上記見逃し率の予測値とを算出するための特性値の種類を変更する変更手段と、ユーザからの、上記特性値の種類の変更を指示する情報を受付ける変更指示受付け部とを備え、変更指示受付け部が特性値の種類の変更を指示する情報を受付けた場合、上記変更手段が、指定する特性値の種類を変更するように構成されていることが好ましい。
【００４７】
上記構成によると、変更手段を備えているため、ユーザによる、特性値の種類の変更を指示する情報を受付けた場合、上記過検出率および上記見逃し率と上記過検出率および上記見逃し率の予測値とを算出するための特性値の種類を変更させることができる。
【００４８】
このため、例えば、正常な検査対象物から取得した特性値の分布と異常が生じている検査対象物から取得した特性値の分布とを上記閾値によって判別不可能であるような場合、特性値の種類の変更を指示することができる。すなわち、検査対象物が正常であるか否かを判別するための特性値として、該特性値の種類が不適当である場合、別の種類の特性値に変更することができる。このため、判定装置は、検査対象物が正常であるか否かを判定するために利用する特性値を適切なものとすることができる。
【００４９】
本発明に係る判定装置は、上記した構成において、検査対象物から上記特性値を取得する取得手段と、ユーザによる、新たな検査対象物からの特性値の取得指示を受付ける取得指示受付け部とを備え、取得指示受付け部が新たな検査対象物からの特性値の取得指示を受付けた場合、上記取得手段が、新たな検査対象物から特性値を取得することが好ましい。
【００５０】
上記構成によると、取得指示受付け部を備えているため、ユーザからの新たな検査対象物からの特性値の取得指示を受付けることができる。また、取得手段を備えているため、取得指示受付部によって受付けた取得指示に応じて、新たな検査対象物から特性値を取得することができる。
【００５１】
ここで、ユーザにより新たな検査対象物から特性値を取得するように指示される場合とは、特性値を取得する検査対象物の個数が少ないため、該特性値から算出した過検出率および予測値に対する信頼性が低い場合である。このため、本実施の形態に係る判定装置は、過検出率および該過検出率の予測値に対する信頼性が低い場合、さらに新たな検査対象物から特性値を取得し追加することができるため、信頼性のある過検出率および該過検出率の予測値が得られるまで特性値を取得する検査対象物の個数を増やすことができる。
【００５２】
このように、信頼性のある過検出率および該過検出率の予測値を得ることができるため、ユーザに対して検査対象物が正常であるか否かを確度よく判定できる閾値を設定するための情報を提供することができる。
【００５３】
本発明に係る判定装置は、上記した構成において、上記過検出率および上記見逃し率と、上記過検出率および上記見逃し率の予測値とを算出するための特性値の種類を変更する変更手段と、許容される過検出率の値および許容される見逃し率の値を示す許容情報を保持する記憶装置と、上記許容情報と、上記予測値算出手段によって算出された過検出率および見逃し率の予測値とに基づき、上記過検出率の予測値が許容値以下となり、かつ上記見逃し率の予測値が許容値以下となる、閾値の設定可能な範囲である閾値範囲情報を求め、この求めた閾値範囲情報に応じて、正常な検査対象物それぞれから取得した特性値の分布と、異常が生じている検査対象物それぞれから取得した特性値の分布とを判別するための閾値を設定することができるか否かを判定する閾値設定判定手段と、上記閾値設定判定手段が、上記閾値によって、正常な検査対象物それぞれから取得した特性値の分布と異常が生じている検査対象物それぞれから取得した特性値の分布とを判別不可能であると判定した場合、上記出力手段は、閾値の変化に応じた、上記算出手段によって算出された過検出率および見逃し率の変化を示すグラフと、閾値の変化に応じた、上記予測値算出手段によって算出された過検出率および見逃し率の予測値の変化を示すグラフとを出力し、上記閾値設定判定手段が、上記閾値によって、正常な検査対象物それぞれから取得した特性値の分布と異常が生じている検査対象物それぞれから取得した特性値の分布とを判別不可能であると判定した場合、取得する特性値の種類を変更するように上記変更手段に指示するように構成されていてもよい。
【００５４】
上記構成によると、閾値設定判定手段を備えているため、上記閾値によって、正常な検査対象物それぞれから取得した特性値の分布と異常が生じている検査対象物それぞれから取得した特性値の分布とを、過検出率および見逃し率それぞれが生じる割合が許容される範囲におさまるように判別できるか否かを判定することができる。
【００５５】
なお、ここで、閾値によって、正常な検査対象物それぞれから取得した特性値の分布と異常が生じている検査対象物それぞれから取得した特性値の分布とを判別できるとは、特性値から検査対象物が正常であるか否かを判定できる閾値を設定できるということである。
【００５６】
また、上記判定装置では、閾値設定判定手段が、上記閾値によって、正常な検査対象物それぞれから取得した特性値の分布と異常が生じている検査対象物それぞれから取得した特性値の分布とを判別不可能であると判定した場合、取得する特性値の種類を変更するように上記変更手段に指示することができる。
【００５７】
このため、判定装置は、検査対象物が正常であるか否かを判定するために利用する特性値の種類を適切なものとすることができる。
【００５８】
また、適切な特性値から算出した過検出率の変化を示すグラフと、該過検出率の予測値の変化を示すグラフとを出力することができるため、本発明に係る判定装置は、ユーザに対して検査対象物が正常であるか否かを確度よく判定できる閾値を設定するための情報を提供することができる。
【００５９】
また、本発明に係る判定装置は、上記した構成において、上記過検出率および上記見逃し率と、上記過検出率および上記見逃し率の予測値とを算出するための特性値の種類を変更する変更手段と、複数の正常な検査対象物それぞれから取得した特性値の集合の分布の平均に対する、複数の異常が生じている検査対象物それぞれから取得した各特性値のマハラノビス距離の平方を求め得られた値を望大特性とし、該望大特性のＳＮ比を求め得られた値に応じて、正常な検査対象物それぞれから取得した特性値の分布と、異常が生じている検査対象物それぞれから取得した特性値の分布とを判別するための閾値を設定することができるか否かを判定する閾値設定判定手段と、上記閾値設定判定手段が、上記閾値によって、正常な検査対象物それぞれから取得した特性値の分布と異常が生じている検査対象物それぞれから取得した特性値の分布とを判別可能であると判定した場合、上記出力手段は、閾値の変化に応じた、上記算出手段によって算出された過検出率および見逃し率の変化を示すグラフと、閾値の変化に応じた、上記予測値算出手段によって算出された過検出率および見逃し率の予測値の変化を示すグラフとを出力し、上記閾値設定判定手段が、上記閾値によって、正常な検査対象物それぞれから取得した特性値の分布と異常が生じている検査対象物それぞれから取得した特性値の分布とを判別不可能であると判定した場合、取得する特性値の種類を変更するように上記変更手段に指示するように構成されていてもよい。
【００６０】
上記構成によると、閾値設定判定手段を備えているため、上記閾値によって、正常な検査対象物それぞれから取得した特性値の分布と異常が生じている検査対象物それぞれから取得した特性値の分布とを、過検出率および／または見逃し率それぞれが生じる割合が許容される範囲におさまるように判別できるか否かを判定することができる。
【００６１】
なお、ここで、閾値によって、正常な検査対象物それぞれから取得した特性値の分布と異常が生じている検査対象物それぞれから取得した特性値の分布とを判別できるとは、特性値から検査対象物が正常であるか否かを判定できる閾値を設定できるということである。
【００６２】
また、上記判定装置では、閾値設定判定手段が、上記閾値によって、正常な検査対象物それぞれから取得した特性値の分布と異常が生じている検査対象物それぞれから取得した特性値の分布とを判別不可能であると判定した場合、取得する特性値の種類を変更するように上記変更手段に指示することができる。
【００６３】
このため、判定装置は、検査対象物が正常であるか否かを判定するために利用する特性値の種類を適切なものとすることができる。
【００６４】
また、適切な特性値から算出した過検出率の変化を示すグラフと、該過検出率の予測値の変化を示すグラフとを出力することができるため、本発明に係る判定装置は、ユーザに対して検査対象物が正常であるか否かを確度よく判定できる閾値を設定するための情報を提供することができる。
【００６５】
また、本発明に係る判定装置は、上記した構成において、検査対象物から上記特性値を取得する取得手段と、上記算出手段によって算出された過検出率および見逃し率と、上記予測値算出手段によって算出された過検出率および見逃し率の予測値とに基づき、過検出率と過検出率の予測値との差、および見逃し率と見逃し率の予測値との差を求め、これらの差の組み合わせが所定値以上であるか否かを判定する差分判定手段とを備え、上記差分判定手段が、上記差が所定値以上であると判定した場合、取得手段に対して、さらなる検査対象物からの特性値の取得を指示するように構成されていてもよい。
【００６６】
上記構成によると、差分判定手段を備えているため、過検出率と該過検出率の予測値との差、および見逃し率と該見逃し率の予測値との差が所定値以上であるか否かを判定することができる。なお、この所定値は、信頼性を有する過検出率および見逃し率と該過検出率および見逃し率の予測値とを得ることができるだけの個数分だけ、検査対象物が存在するものと判断できる範囲で設定される値である。
【００６７】
ここで過検出率と該過検出率の予測値との差、および見逃し率と該見逃し率の予測値との差が所定値以上であるとは、過検出率および見逃し率と該過検出率および見逃し率の予測値とが十分な信頼性を有していないということである。すなわち、過検出率と該過検出率の予測値、および見逃し率と該見逃し率の予測値とを算出するために利用する特性値を抽出する検査対象物の個数が少ないということである。
【００６８】
上記判定装置は、上記差が所定値以上であると判定した場合、取得手段にさらなる特性値の取得を指示することができる。このため、信頼性のある過検出率とが該検出率の予測値、および見逃し率と該見逃し率の予測値とを算出できるだけの個数分の検査対象物から特性値を取得するこができる。
【００６９】
したがって、信頼性のある過検出率と該過検出率の予測値、および見逃し率と見逃し率の予測値を得ることができるため、ユーザに対して検査対象物が正常であるか否かを確度よく判定できる閾値を設定するための情報を提供することができる。
【００７０】
また、本発明に係る判定装置は、上記した構成において、ユーザからの、上記閾値を指定する情報を受付ける閾値指定受付け部をさらに備え、上記出力手段が、上記閾値指定受付け部によって受付けた閾値に応じて、算出手段によって算出された過検出率および見逃し率と予測値算出手段によって算出された過検出率および見逃し率の予測値とを出力するように構成されていることが好ましい。
【００７１】
上記構成によると、算出手段によって算出された過検出率および見逃し率と、予測値算出手段によって算出された過検出率および見逃し率の予測値とを出力することができるため、ユーザによって設定された閾値の適否を確認することができる。
【００７２】
また、本発明に係る判定装置では、上記した構成において、上記予測値算出手段は、複数の正常な検査対象物それぞれから取得した特性値の集合に関して、該特性値の分布の平均に対する各特性値のマハラノビス距離の平方を求め得られた値の集合に対して、Ｆ分布の上側確率を求めることにより予測値を算出する構成であってもよい。
【００７３】
上記予測値算出手段は、複数の検査対象物それぞれから取得した特性値を組み合わせて生成した、複数の集合を訓練サンプルとし、該訓練サンプルにおける各集合において上記過検出率および見逃し率を、過検出率および見逃し率の予測値として算出する構成であってもよい。
【００７４】
なお、上記調整装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記各手段として動作させることにより上記調整装置をコンピュータにて実現させる調整装置の制御プログラムを記録したコンピュータ読取り可能な記録媒体も本発明の範疇に入る。
【発明の効果】
【００７５】
本発明に係る判定装置は、以上のように、検査対象物から該検査対象物が正常であるか否か区別するための要素となる情報である特性値を取得し、この特性値に応じて検査対象物が正常であるか否かを判定するための判定装置であって、複数の正常な検査対象物それぞれから取得した特性値の分布情報から、該検査対象物が正常であるか否かを判定するための閾値を任意に設定した場合における、正常な検査対象物を異常であると判定する割合である過検出率を算出する算出手段と、統計的手法により、上記特性値に基づいて上記過検出率の予測値を算出する予測値算出手段と、上記閾値の変化に応じた、上記算出手段によって算出された過検出率の変化を示すグラフと、閾値の変化に応じた、上記予測値算出手段によって算出された過検出率の予測値の変化を示すグラフとを出力する出力手段とを備えることを特徴とする。
【００７６】
したがって、本発明に係る判定装置は、ユーザに対して検査対象物が正常であるか否かを確度よく判定できる閾値を設定するための情報を提供することができるという効果を奏する。
【００７７】
また、本発明に係る判定装置は、以上のように、検査対象物から該検査対象物が正常であるか否か区別するための要素となる情報である特性値を取得し、この特性値に応じて検査対象物が正常であるか否かを判定するための判定装置であって、複数の正常な検査対象物それぞれから取得した特性値の分布情報から、該検査対象物が正常であるか否かを判定するための閾値を任意に設定した場合における、正常な検査対象物を異常であると判定する割合である過検出率を算出する算出手段と、統計的手法により、上記特性値に基づいて上記過検出率の予測値を算出する予測値算出手段と、閾値の変化に応じた、上記予測値算出手段によって算出された過検出率の予測値の変化を示すグラフとを出力する出力手段と、検査対象物から上記特性値を取得する取得手段と、上記算出手段によって算出された過検出率と、上記予測値算出手段によって算出された過検出率の予測値とに基づき、算出された過検出率と該過検出率の予測値との差を求め、この差が所定値以上であるか否かを判定する差分判定手段とを備え、上記差分判定手段が、上記差が所定値以上であると判定した場合、上記取得手段に対して、新たな検査対象物からの特性値の取得を指示することを特徴とする。
【００７８】
したがって、信頼性のある過検出率の予測値を得ることができるため、ユーザに対して検査対象物が正常であるか否かを確度よく判定できる閾値を設定するための情報を提供することができるという効果を奏する。
【発明を実施するための最良の形態】
【００７９】
本発明の一実施形態について図１ないし図２４に基づいて説明すると以下の通りである。すなわち、本発明に係る検査システム１００は、製造されたエンジン１が良品であるのか否かを調べるものであり、図２に示すように、マイク２、加速度ピックアップ３、アンプ４、ＡＤ変換器５、および検査装置１０を備えてなる構成である。この図２は、本発明の実施形態を示すものであり、検査システム１００の要部構成を示すブロック図である。
【００８０】
すなわち、本実施の形態に係る検査システム１００では、検査対象物（サンプル）が、製造されたエンジン１である。また、良品とは、正常に駆動するエンジン１であり、正常にエンジン１が駆動した際に生じる音および振動と、該エンジン１が不良品である場合に生じる音および振動とは異なることとなる。このため、この生じる音および／または振動に基づいてエンジン１が良品であるか否かを判定することができる。
【００８１】
上記マイク２は、エンジン１に接触または近接するように配されており、駆動させたエンジン１から生じる音のデータ（音データ）を収集するものである。マイク２は、収集した音データをアンプ４に送信する。
【００８２】
上記加速度ピックアップ３は、エンジン１に接触または近接するように配されており、駆動させたエンジン１から生じる振動のデータ（振動データ）を収集するものである。加速度ピックアップ３は、収集した振動データをアンプ４に送信する。
【００８３】
アンプ４は、上記マイク２から受信した音データと、上記加速度ピックアップ３から受信した振動データとをそれぞれ増幅するものである。アンプ４は、増幅させた音データおよび振動データをＡＤ変換器５に送信する。
【００８４】
ＡＤ変換器５は、アンプ４にて増幅された音データおよび振動データをそれぞれデジタルデータに変換するものであり、変換した音データおよび振動データそれぞれのデジタルデータを検査装置１０に送信する。
【００８５】
検査装置１０は、受信した音データおよび／または振動データそれぞれから波形データを取得し、これら波形データから特徴量（特性値）をそれぞれ抽出するとともに、抽出した特徴量を利用して検査対象であるエンジン１が良品であるか否かを判定するものである。また、上記検査装置１０は、上記抽出した特徴量に基づき上記エンジン１が良品であるか否かを判定するための閾値ｔを設定するものでもある。
【００８６】
なお、上記特徴量とは、エンジンを駆動させた際に生じる音または振動から得られる値であり、該エンジンが良品である場合と不良品である場合とを区別可能とする要素（計測項目）の値である。すなわち、上記特徴量とは、エンジン１が良品であるか否かを判定するために用いる物理的特性であり、製品の品質をよく表す特性（品質特性）としてみなすことができるものである。
【００８７】
より具体的には、上記特徴量とは、例えば図３に示すように、音データまたは振動データから得られる波形において所定時間範囲（例えばＴＬ１．０〜ＴＨ４．０）における閾値（例えばＰＴ＝２・０）以上となる波形のピーク数であってもよい。あるいは、所定時間範囲における波形のピークのうち、所定順位の大きさとなるピーク値であってもよい。
【００８８】
なお、この図３は本実施の形態に係る検査装置１０において利用される特徴量の一例を示す図である。例えば、図３に示すように、所定時間範囲ＴＬ１．０〜ＴＨ４．０において、所定順位として例えばＲＰ＝１などのように指定された最も値が大きくなる順位のピーク値、Ｓ（ｔ）＝４．０であってもよい。
【００８９】
なお、上記所定時間範囲を規定する上限値（時間）ＴＨ、下限値(時間)ＴＬ、閾値ＰＴ、所定順位ＲＰそれぞれの値は、パラメータとして検査装置１０に入力され設定される。
【００９０】
また、特徴量は上記したように、所定時間範囲内における波形データのピーク数、所定時間範囲内における、特定順位となる波形データのピーク値に限定されるものではなく、エンジンが良品である場合と不良品である場合とを区別可能とする要素の値であればよい。また、特徴量は、音データまたは振動データそれぞれから少なくも１種類以上抽出されればよい。
【００９１】
以上のように本実施の形態に係る検査システム１００は、マイク２によって検出した音データおよび加速度ピックアップ３によって検出した振動データそれぞれを検査装置１０に入力することができる。また、検査装置１０は、入力された音データおよび振動データそれぞれの波形データを利用して特徴量を抽出し、該特徴量に基づき検査対象であるエンジン１が良品であるか否かを判定することができる。
【００９２】
次に本実施の形態に係る検査装置１０の構成について図４を参照して説明する。なお、図４は本発明の実施形態を示すものであり、検査装置１０の要部構成を示すブロック図である。
【００９３】
まず図４に示すように、本実施の形態に係る検査装置１０は、検査装置制御部１１、データ格納部３０、表示部４０、および入力部５０を備えてなる構成である。
【００９４】
データ格納部３０は、読み書き可能な記録媒体であり、例えばハードディスクなどにより実現される。このデータ格納部３０には、図５に示すように、後述する閾値設定制御部２０によって音データおよび／または振動データから抽出された特徴量の抽出順番ごとに割り当てられているＩＤ番号と、該ＩＤ番号に対応する特徴量を有するエンジン１が良品であるか否かを示す情報（ＯＫ／ＮＧ）と、抽出された特徴量の種類（検査項目）ごとの値、すなわち特徴量Ｘ、特徴量Ｙ、および特徴量Ｚそれぞれの値との対応関係を示す特徴量テーブル情報３１が記録される。この図５は、本実施の形態に係る特徴量テーブル情報３１の一例を示す図である。
【００９５】
なお、本実施の形態に係る検査装置１０では、図５に示すように、良品サンプルと不良品サンプルとの特徴量それぞれを共に記録した特徴量テーブル情報３１をデータ格納部３０に記憶する構成であった。しかしながら、検査装置１０は、図１９（ａ）および図１９（ｂ）に示すように良品のエンジン１の音データまたは振動データから抽出した特徴量と、不良品のエンジン１の音データまたは振動データから抽出した特徴量とをそれぞれ別々のテーブルとしてデータ格納部に記録する構成であってもよい。
【００９６】
なお、音データおよび／または振動データから抽出される特徴量は特徴量Ｘ、特徴量Ｙ、および特徴量Ｚの３種類に限定されるものではなく、１種類であってもよいし３種類以上であってもよい。
【００９７】
また、このデータ格納部３０には、上記特徴量テーブル情報３１以外にも、閾値設定データ３２、許容誤判別率データ３３、および内部管理データ３４がさらに記憶されている。この閾値設定データ３２は、図６に示すように複数の閾値候補（ｔ＝１．０、２．０、…１００．０）を記憶したテーブルであって、閾値設定制御部２０によって見逃し率および過検出率を算出するために用いられる情報である。なお、この図６は、本実施の形態に係る閾値設定データ３２の一例を示す図である。
【００９８】
また、上記許容誤判別率データ３３は、閾値設定制御部２０によって過検出率の期待値（予測値）と見逃し率の期待値とが十分に分離可能な状態であるか否かを判定するために用いられる情報である。ここで、過検出率および見逃し率の期待値とは、限られた個数の検査対象物であるエンジン１から抽出した特徴量を利用してエンジン１の母集団の過検出率および見逃し率を予測した値である。
【００９９】
この許容誤判別率データ３３は、図７に示すように、過検出率の期待値および見逃し率の期待値それぞれについての許容値（許容過検出率および許容見逃し率）が記録されている。なお、この許容過検出率とは、過検出が生じても許容される割合を示す情報であり、許容見逃し率とは、見逃しが生じても許容される割合を示す情報である。また、この図７は、本実施の形態に係る許容誤判別率データ３３の一例を示す図である。
【０１００】
上記内部管理データ３４は、図１２に示すように後述する閾値設定制御部２０によって算出された、閾値候補ごとに応じた見逃し率の実測値と、見逃し率の期待値と、過検出率の実測値と、過検出率の期待値との対応関係を示すテーブルである。なお、この図１２は、本実施の形態に係る内部管理データ３４の一例を示す図である。また、上記検出率および見逃し率の実測値とは、実際に良否が判定された複数のエンジン１から取得した特徴量を用いて求めた過検出率および見逃し率である。
【０１０１】
表示部４０は、検査装置制御部１１からの指示に応じて、各種データ、または該データに基づくグラフ等を表示するものである。なお、この表示部４０は例えば、ＬＣＤ（Liquid Crystal Display）などによって実現することができる。
【０１０２】
入力部５０は、ユーザが本実施の形態に係る検査装置１０に対して操作指示等を入力するための外部入力手段である。この操作指示には、例えば閾値ｔの入力指示または決定指示などが含まれる。この入力部５０は、外部入力手段として例えば、キーボード、マウス、タッチパネル等によって実現できる。
【０１０３】
上記検査装置制御部１１は、本実施の形態に係る検査装置が備える各部を制御するものである。検査装置制御部１１は、図４に示すように、機能ブロックとして、データ収集制御部１２、良否判定部１３、および閾値設定制御部２０を備える。なお、この機能ブロックは、検査装置制御部１１がＣＰＵなどによって実現される場合、該ＣＰＵが不図示のＲＯＭなどからプログラムを読み出し、不図示のＲＡＭなどで実行することにより実現できる。
【０１０４】
上記データ収集制御部１２は、マイク２によって検出された音データおよび加速度ピックアップ３によって検出された振動データそれぞれから特徴量を抽出し収集するものである。また、抽出し収集した特徴量を良否判定部１３に通知し該特徴量を有するエンジン１が良品であるか否かを判定するように指示するものでもある。
【０１０５】
すなわち、データ収集制御部１２は、入力部５０または閾値設定制御部２０から特徴量の収集指示を受信した場合、抽出した特徴量を、該特徴量を有するエンジン１が良品であるか否かを示す情報（ＯＫ／ＮＧ）と、データＩＤとに対応付けて、特徴量テーブル情報３１としてデータ格納部３０に記憶させる。
【０１０６】
なお、上記良品（ＯＫ）または不良品（ＮＧ）を示す情報は、下記のようにして抽出された特徴量と対応付けられる。すなわち、特徴量テーブル情報３１には、予め良品または不良品であると判別されているエンジン１の音データおよび／または振動データから抽出した特徴量が記録されるようになっている。そして、データ収集制御部１２がエンジン１の音データおよび／または振動データから特徴量を抽出する際に、入力部５０によって、現在、抽出された特徴量を有するエンジン１が良品であるか否かを示す情報がデータ収集制御部１２に通知される。そこで、データ収集制御部１２は、入力部５０から通知された良品であるか否かを示す情報と、抽出した特徴量とを対応付けて特徴量テーブル情報３１としてデータ格納部３０に記録する。
【０１０７】
なお、上記良品（ＯＫ）または不良品（ＮＧ）を示す情報を、抽出された特徴量と対応付ける方法はこれに限定されるものではなく、例えば、入力部５０が、特徴量の抽出順番を示すＩＤ番号とともにエンジン１が良品であるのか否かを示す情報（ＯＫ／ＮＧ）を、特徴量が全て抽出された後にデータ収集制御部１２に送信する。データ収集制御部１２は、上記ＩＤ番号に応じて取得した特徴量に良品（ＯＫ）または不良品（ＮＧ）を示す情報を対応付ける。
【０１０８】
一方、入力部５０から特徴量を抽出するエンジン１が良品であるか否かを判定する旨の指示を受付けたら、データ収集制御部１２は、抽出した特徴量を良否判定部１３に送信し、この特徴量を有するエンジン１が良品であるか否かを判定するように指示する。
【０１０９】
良否判定部１３は、データ収集制御部１２から受信した特徴量に対して、後述する閾値設定制御部２０から受信した閾値ｔを利用して、該特徴量を有するエンジン１が良否であるか否かを判定するものである。良否判定部１３は判定した結果を表示部４０に出力し表示させる。
【０１１０】
閾値設定制御部２０は、データ格納部３０に記憶された特徴量テーブル情報３１を参照して、良品または不良品を判別するための閾値ｔを設定するものである。設定した閾値ｔを良否判定部１３に送信する。
【０１１１】
ここで、閾値設定制御部２０の詳細な構成について図１を参照して説明する。図１は本発明の実施形態を示すものであり、検査装置１０の閾値設定制御部２０に係る要部構成の一例を示すブロック図である。
【０１１２】
図１に示すように、上記閾値設定制御部２０は、機能ブロックとして、対象特徴量指定部２３、特徴量データ読み出し部２４、誤判別率実測計算部２５、誤判別率期待値計算部２６、余裕度評価部２７、乖離度評価部２８、表示制御部２９、および実測値・期待値出力部２１を備えてなる構成である。
【０１１３】
対象特徴量指定部２３は、入力部５０からの指示に応じて、データ格納部３０に記憶された特徴量テーブル情報３１に含まれる特徴量Ｘ、特徴量Ｙ、および特徴量Ｚのうち、どの特徴量を利用するか特徴量の種類（検査項目）を指定するものである。この対象特徴量指定部２３は、指定した特徴量の種類を示す情報を特徴量データ読み出し部２４に通知し、この指定した種類の特徴量についてデータを収集するように指示する。
【０１１４】
すなわち、対象特徴量指定部２３は、上記特徴量の指定に関する情報とともに閾値ｔの設定開始指示を入力部５０から受付けると、この指示に応じて、指定された種類の特徴量の収集を特徴量データ読み出し部２４に対して指示する。
【０１１５】
また、この対象特徴量指定部２３は、後述する余裕度評価部からの指示に応じて利用する特徴量の種類の指定を変更させるものでもある。
【０１１６】
特徴量データ読み出し部２４は、対象特徴量指定部２３からの指示に応じて、データ格納部３０に記憶されている特徴量テーブル情報３１を参照して、所定個数のエンジン１（検査対象物）それぞれから抽出した特徴量と、該特徴量を示すエンジン１それぞれが良品であるか否かを示す情報との対応関係を示す情報を読み出すものである。特徴量データ読み出し部２４は、読み出した情報を、誤判別率実測値計算部２５および誤判別率期待値計算部２６に送信し、該情報に基づく演算を行うように指示する。
【０１１７】
誤判別率実測値計算部２５は、特徴量データ読み出し部２４からの指示に応じて、受信した情報に基づき、誤判別率を算出するものである。上記誤判別率実測値計算部２５は、特徴量データ読み出し部２４から受信した、上記情報に基づき、例えば図２５に示すように、特徴量を抽出したエンジン１（サンプル）中において良品となるエンジン１（良品サンプル）が有する特徴量のヒストグラムと、不良品となるエンジン１（不良品サンプル）が有する特徴量のヒストグラムとを求め、これらヒストグラムを参照して誤判別率（過検出率および見逃し率）を算出する。
【０１１８】
より詳細には、誤判別率実測計算部２５は、図２５に示すような特徴量の取りえる範囲を、所定範囲ごとに複数に分割して示されるヒストグラムの値を近似して例えば、図８に示すような確率密度関数を求める。そして、この求めた確立密度関数において、閾値ｔに設定した場合に得られる値から誤判別率（過検出率と見逃し率）の近似値を求め図９に示すような、累積密度関数を得る。
【０１１９】
なお、この図８は、良品サンプルおよび不良品サンプルそれぞれの分布を示す確率密度関数の一例を示すグラフであり、縦軸を良品または不良品となるサンプルの出現頻度数とし、横軸を特徴量としている。また、この図９は、閾値の変化に応じた、過検出率の近似値と見逃し率の近似値との変化の一例を示すグラフであり、縦軸を過検出率となる割合または見逃し率となる割合である誤判別率とし、横軸を特徴量としている。
【０１２０】
ここで、上記閾値ｔの値としては、上記したように予めデータ格納部３０に、閾値設定データ３２として複数の閾値候補（ｔ＝１．０、２．０、…１００．０）が記憶されている。したがって、誤判別率実測値計算部２５は、図８に示す確率密度関数において、閾値設定データ３２として記録されている閾値候補それぞれの値について見逃し率および過検出率の実測値の近似値を算出しプロットすると、図９に示す累積密度関数を得ることができる。
【０１２１】
すなわち、図９に示すように過検出率の近似値は、良品である複数のエンジン１から得られた特徴量の確率密度関数のパーセント点ｔでの上側確率であり、見逃し率の近似値は、不良品である複数のエンジン１の音データから得られた特徴量の確率密度関数のパーセント点ｔでの下側確率である。このようにして、誤判別率実測計算部２５は例えば図９に示すような累積密度関数を誤判別率として求める。
【０１２２】
なお、誤判別率実測計算部２５により得られる誤判別率は上記した累積密度関数として示される値に限定されるものではなく、例えば、図２５に示すヒストグラムから直接算出された、例えば図２６のような関係で示される値であってもよい。
【０１２３】
しかしながら、本実施の形態に係る検査装置１０のように、誤判別率として図９に示すような累積密度関数の値を求める構成の方が、例えば図２６のように、閾値ｔを変化させたときの誤判別率がステップ状に変化する関係を用いるよりも所望の過検出率、見逃し率を満たす閾値ｔを決定し易いという点で有利である。
【０１２４】
つまり、上記図２６に示すような関係によって示される値を誤判別率として用いる場合、閾値ｔを変化させたときの誤判別率がステップ状に変化してしまう。このようにステップ状に変化する場合、同じ誤判別率別率をとる閾値が複数存在してしまい、一意に定まらないため、所望の過検出率、見逃し率を満たす閾値tを決定することが困難となる。
【０１２５】
これに対して本実施の形態に係る検査装置１０のように誤判別率として図９に示すような累積密度関数によって示される値を求める構成の方が、閾値ｔを変化させた際、誤判別率の近似値が連続的に変化するため、所望の過検出率、見逃し率を満たすｔを決定しやすいという利点がある。なお、誤判別率実測計算部２５によって算出された誤判別率を誤判別率の実測値と称する。
【０１２６】
誤判別率実測値計算部２５は、閾値設定データ３２の複数の閾値候補それぞれに対応した誤判別率の実測値を内部管理データ３４としてデータ格納部３０に記録する。
【０１２７】
誤判別率期待値計算部２６は、特徴量データ読み出し部２４から受信した情報に基づき、誤判別率の予測値を算出するものである。なお、誤判別率期待値計算部２６は、特徴量テーブル情報３１から読み出すサンプルを訓練サンプルとして、例えば、Ｌｅａｖｅ−ｏｎｅ−ｏｕｔ法、あるいはブートストラップ法によって誤判別率の予測値を算出する。なお、この訓練サンプルとは、例えば、Ｌｅａｖｅ−ｏｎｅ−ｏｕｔ法などによって誤判別率の予測値を算出するための学習に用いられるサンプルである。
【０１２８】
例えば、本実施の形態に係る検査装置１０では、誤判別率期待値計算部２６が誤判別率の期待値を、ブートストラップ法を用いて下記のようにして求めることができる。
【０１２９】
すなわち、まず、特徴量テーブル情報３１から読み出したｍ個のサンプルから復元抽出したＢセットのブートストラップサンプル（ｍ個）を用意する。そして、各セットにつき、閾値設定データ３２における閾値候補（閾値ｔ＝１．０、２．０、…１００．０）で誤判別率を算出する。この演算操作をＢ回行って得られた誤判別率の平均を、各閾値ｔでの誤判別率の期待値として求める。
【０１３０】
あるいは、利用する特徴量が、特徴量の値がサンプルの選び方によって異なるような特徴量の場合（たとえばマハラノビス距離、線形判別関数、ＳＶＭの識別長平面からの距離等）、誤判別率期待値計算部２６が誤判別率の期待値を、Ｌｅａｖｅ−ｏｎｅ−ｏｕｔ法を用いて下記のようにして求めてもよい。
【０１３１】
すなわち、まず、特徴量テーブル情報３１から読み出したｍ個のサンプルを、評価用サンプル（１個）と訓練用サンプル（ｍ−１個）とに分割した組をＬセット準備する。そして、各セットごとに訓練用サンプルに基づいて全サンプルの特徴量を計算し、各セットにつき上記評価用サンプルに対する閾値設定データ３２における閾値候補（閾値ｔ＝１．０、２．０、…１００．０）での誤判別率を算出する。この演算操作をＬ回行って得られる誤判別率の割合を期待値とする。
【０１３２】
誤判別率期待値計算部２６は、閾値設定データ３２の複数の閾値候補それぞれに対応した誤判別率の期待値を内部管理データ３４としてデータ格納部３０に記録する。すなわち、誤判別率実測値計算部２５によって算出された誤判別率の実測値と誤判別率期待値計算部２６によって算出された誤判別率の期待値とは、それぞれが各閾値候補ごとに対応が取れるように記録される。
【０１３３】
誤判別率期待値計算部２６は、各閾値候補ごとに誤判別率の期待値を算出すると、余裕度評価部２８に誤判別率の期待値における過検出率と見逃し率との余裕度を評価するように指示する。
【０１３４】
余裕度評価部２７は、誤判別率実測値計算部２５からの指示に応じて、データ格納部３０に記憶されている内部管理データ３４と、許容誤判別率データ３３とを参照して、過検出率の期待値と見逃し率の期待値とが十分に分離可能な状態であるか否かを評価するものである。
【０１３５】
すなわち、上記したように、本実施の形態に係る検査装置１０では、許容誤判別率データ３３として、予め許容される過検出率（許容過検出率）と見逃し率（許容見逃し率）とが設定されている。
【０１３６】
ところで、過検出率の期待値と見逃し率の期待値とが十分に分離可能な状態であるとは、例えば、図１０（ａ）に示すように、許容過検出率以上となる特徴量値と、許容見逃し率以上となる特徴量値との間に十分な間隔がある状態である。そこで、過検出率の期待値と許容過検出率とが一致する際の特徴量の値と、見逃し率の期待値と許容見逃し率とが一致する際の特徴量の値との差を余裕度とする。
【０１３７】
図１０(ａ)のように、余裕度が大きい場合、許容過検出率以上となる特徴量値と、許容見逃し率以上となる特徴量値との間において閾値ｔを設けることができるため、過検出率の期待値と見逃し率の期待値とを十分に判別することができる。したがって、本実施の形態に係る検査装置１０では、許容過検出率および許容見逃し率を満たすように閾値ｔを設定することができ、良品あるいは不良品となるエンジン１の判別を確度よく行うことができることとなる。
【０１３８】
一方、図１０（ｂ）に示すように、許容過検出率以上となる特徴量の値と、許容見逃し率以上となる特徴量の値との間に十分な間隔が存在しない状態、すなわち余裕度が小さい状態では、過検出率の期待値と見逃し率の期待値とを十分に判別することができないため、許容過検出率および許容見逃し率を満たように閾値ｔを設定することが困難となる。
【０１３９】
なお、この図１０は、閾値の変化に応じた過検出率の期待値の変化と見逃し率の期待値の変化との一例を示すグラフであり、同図（ａ）は、許容過検出率以下となる範囲でありかつ、許容見逃し率以下となる範囲が大きくなり余裕度が大きい場合を示しており、同図（ｂ）は、許容過検出率以下となる範囲でありかつ、許容見逃し率以下となる範囲が小さくなり余裕度が小さい場合を示す。
【０１４０】
なお、本実施の形態に係る検査装置１０では、上記した余裕度が所定値以上ある場合に余裕度が大きいと判定し、所定値未満である場合は余裕度が小さいと判断するように構成している。そして、余裕度評価部２７は、上記余裕度が大きく、十分な余裕度が確保されていると評価した場合、乖離度評価部２８に、誤判別率の実測値と誤判別率の期待値との差分である乖離度を評価するように指示する。一方、余裕度評価部２７は、上記余裕度が小さく、十分な余裕度が確保されていないと評価した場合、対象特徴量指定部２３に、利用する特徴量の種類を変更させるように指示する。
【０１４１】
乖離度評価部２８は、余裕度評価部２７からの指示に応じて、誤判別率実測値計算部２５によって算出された誤判別率の実測値と、誤判別率期待値計算部２６によって算出された誤判別率の期待値との差分である乖離度を算出するものである。
【０１４２】
通常、誤判別率の期待値を算出するために用いる既知サンプル数が極端に少ない場合、誤判別率期待値計算部２６により算出された誤判別率の期待値の推定精度が低下する。このため、精度の悪い誤判別率の期待値から閾値ｔを決定し、製造されたエンジン１が良品であるか否かを判定した場合、正確なエンジン１の良否判定を行うことができなくなる。なお、上記既知サンプルとは、サンプルの中で既に検査が実施され特徴量とこのサンプルの良否との判定結果が分かっているものである。これに対して、サンプルの中で、これから良否の判定検査を行おうとする製品であり、まだ良否の判定結果がわかっていないものを未知サンプルと称する。この未知サンプルには、まだ製造されていないサンプルも仮想的に含めてもよい。
【０１４３】
ところで、上記既知サンプル数が少ない場合、該既知サンプルから求めた誤判別率の実測値は、既知サンプル数が無限にあると仮定した場合に得られる、真の誤判別率と比較して小さく見積もられる傾向が顕著となる。同様に、誤判別率の期待値は誤判別率の実測値よりも真の誤判別率に近い値となるため、誤判別率の実測値は、誤判別率の期待値よりも小さく見積もられる。例えば、図１１（ａ）に示すように、既知サンプルが少ない場合、実線で示す過検出率の期待値と破線で示す過検出率の実測値との間に大きな差異が生じる。また、実線で示す見逃し率の期待値と破線で示す見逃し率の実測値との間に大きな差異が生じる。
【０１４４】
逆に既知サンプルの数が十分である場合、図１１（ｂ）に示すように、実線で示す過検出率の期待値と破線で示す過検出率の実測値との間には、図１１（ａ）の場合と比較して大きな差異が生じない。また、実線で示す見逃し率の期待値と破線で示す見逃し率の実測値との間においても、図１１（ａ）の場合と比較して大きな差異が生じない。
【０１４５】
なお、図１１は、閾値の変化に応じた過検出率の実測値と期待値との変化、および見逃し率の実測値と期待値との変化の一例を示すグラフであり、同図（ａ）は、過検出率の実測値と期待値との差、および見逃し率の実測値と期待値との差が大きくなる場合を示しており、同図（ｂ）は、過検出率の実測値と期待値との差、および見逃し率の実測値と期待値との差が小さい場合を示す。
【０１４６】
つまり、既知サンプル数が少なすぎるため、真の誤判別率と誤判別率の実測値との間において大きな差異が生じる場合、この少ない既知サンプル数から得られた誤判別率の実測値および該既知サンプルから求めた期待値の信頼性は低いものと言える。また、このことから、既知サンプル数が少ないため、得られた誤判別率の実測値の信頼性が低くなる場合、誤判別率の実測値と誤判別率の期待値との間においても差異が大きくなる。
【０１４７】
そこで、本実施の形態に係る閾値設定制御部２０において閾値ｔを決定する場合、誤判別率の期待値だけではなく、誤判別率の実測値と誤判別率の期待値との間における乖離度も合わせて示すことにより、該期待値の信頼性を示すこととなる。
【０１４８】
上記乖離度評価部２８は、誤判別率実測値計算部２５により算出された誤判別率の実測値と誤判別率期待値計算部２６により算出された誤判別率の期待値とに基づき、下記の演算を求めることに乖離度を求めることができる。
【０１４９】
すなわち、上記乖離度を示す定量的な指標をｄとし、過検出率の実測値をＯＯＫ→ＮＧ（ｘ）、過検出率の期待値をＥＯＫ→ＮＧ（ｘ）、見逃し率の実測値をＯＮＧ→ＯＫ（ｘ）、見逃し率の期待値をＥＮＧ→ＯＫ（ｘ）とすると、下記式（３）によって示す関係が成り立つ。
【０１５０】
【数１】
【０１５１】
つまり、乖離度評価部２８は、乖離度を示す定量的な指標ｄとして、過検出率の実測値ＯＯＫ→ＮＧ（ｘ）と過検出率の期待値ＥＯＫ→ＮＧ（ｘ）との差分の最大値と、見逃し率の実測値ＯＮＧ→ＯＫ（ｘ）と見逃し率の期待値ＥＮＧ→ＯＫ（ｘ）との差分の最大値との組み合わせを用いる。
【０１５２】
上記乖離度評価部２８は乖離度ｄを求めると、該乖離度ｄが所定値以上であるか否かを判断し、所定値以上であり、乖離度が大きいと判定した場合は、データ収集制御部１２に指示して特徴量テーブル情報として記録するための特徴量を追加して収集させる。
【０１５３】
一方、乖離度評価部２８は、乖離度ｄが所定値よりも小さいと判断した場合は、表示制御部２９に、特徴量テーブル情報３１から算出した誤判別率の期待値のグラフをそれぞれ出力するように指示する。
【０１５４】
表示制御部２９は、乖離度評価部２８からの指示に応じて、データ格納部３０から内部管理データ３４を取得し、誤判別率の実測値の特性値に応じた変化を示すグラフと、誤判別率の期待値の特性値に応じたすグラフとをそれぞれ表示するように表示部４０を制御するものである。
【０１５５】
このように表示部４０において、特徴量テーブル情報３１に基づき算出された誤判別率の期待値を表示させることができるため、ユーザは閾値ｔをいくらに設定すべきか把握することができる。そこで、ユーザは、この表示部４０における上記誤判別率の期待値を示すグラフの表示を参照して適切な閾値ｔを設定すると、設定した閾値ｔを示す情報を入力部５０が受付ける。そして、入力部５０は、この受付けた閾値ｔを示す情報を実測値・期待値出力部２１に送信し、該閾値ｔに応じた誤判別率別の実測値および期待値を出力するように指示する。
【０１５６】
実測値・期待値出力部２１は、入力部５０から閾値ｔを受付けると、内部管理データ３４を参照して該閾値ｔに応じた誤判別率の実測値と期待値とを算出する。そして、算出した結果を出力するように表示制御部２９に指示する。この実測値・期待値出力部２１からの指示に応じて、表示制御部２９は、上記算出結果を表示部４０に表示するように制御する。なお、このとき表示部４０において表示される情報は、例えば図１３に示すように、決定された閾値ｔ、該閾値ｔに応じた見逃し率の実測値および期待値、ならびに過検出率の実測値および期待値それぞれを示す情報である。この図１３は、本実施の形態に係る検査装置１０において閾値設定後に表示するデータの一例を示す図である。
【０１５７】
次に上記した構成を有する本実施の形態に係る検査装置１０における、エンジン１が良品であるか否かを判定するための閾値設定に係る処理（閾値設定処理）について図１４を参照して説明する。この図１４は、本実施の形態に係る検査装置１０における閾値設定処理を説明するフローチャートである。
【０１５８】
まず、ユーザが入力部５０によって閾値ｔの設定処理が指示されると、この指示に応じて閾値設定制御部２０における対象特徴量指定部２３が閾値ｔを設定する対象となる特徴量の種類を設定する（ステップＳ１１、これ以降ではＳ１１のように称する）。そして、対象特徴量指定部２３は、この設定した種類の特徴量を収集するように特徴量読み出し部２４に指示する。
【０１５９】
特徴量読み出し部２４は、対象特徴量指定部２３からの指示に応じて、設定された種類の特徴量、すなわち閾値ｔを設定する対象となる特徴量を、特徴量テーブル情報３１から読み出す（Ｓ１２）。
【０１６０】
上記特徴量読み出し部２４が、上記特徴量を読み出すと、この読み出した特徴量を用いて誤判別率実測値計算部２５が、閾値設定データ３２に記憶されている閾値候補に応じた誤判別率の実測値を算出する（Ｓ１３）とともに、誤判別率期待値計算部２６が、閾値設定データ３２に記憶されている閾値候補に応じた誤判別率の期待値を算出する（Ｓ１４）。そして、算出された誤判別率の実測値と期待値とは内部管理データ３４としてデータ格納部３０に記憶される。
【０１６１】
上記ステップＳ１３およびステップＳ１４によって誤判別率の実測値と期待値とが算出されると、余裕度評価部２７は、この算出された誤判別率の実測値と期待値とを内部管理データ３０から読み出し、許容誤判別率データ３３を参照して余裕度を計算する（Ｓ１５）。そして、余裕度評価部２７は、この計算した余裕度を評価し（Ｓ１６）、この評価において十分な余裕度があると判定した場合（Ｓ１６において「ＹＥＳ」）、乖離度を計算するように乖離度評価部２８に指示する。一方、余裕度評価部２７は、この計算した余裕度の評価において十分な余裕度がないと判定した場合（Ｓ１６において「ＮＯ」）、別の種類の特徴量を指定するように、対象特徴量指定部２３に指示する（Ｓ２１）。
【０１６２】
乖離度評価部２８は、余裕度評価部２７から乖離度の算出を指示されると、内部管理データ３４を参照して、算出された過検出率の実測値と期待値とから乖離度を計算する（Ｓ１７）。乖離度評価部２８は、乖離度を算出すると、この算出結果から乖離度が所定値よりも小さいか否かを判定する（Ｓ１８）。ここで乖離度が小さいと判定した場合（Ｓ１８において「ＹＥＳ」）、表示制御部２９に算出した誤判別率の期待値および実測値を表示部４０に表示させるように指示する。この指示に応じて表示制御部２９は、表示部４０に誤判別率の期待値および実測値を示すグラフを表示させる。
【０１６３】
一方、乖離度が所定値以上であると判定された場合、乖離度評価部２８は、データ収集制御部１２に対して追加のサンプルを収集するように指示する（Ｓ２２）。この指示を受けて、データ収集制御部１２は、さらなる別のエンジン１から得た音データおよび／または振動データから特徴量を抽出する。なお、すでに製造済みエンジン１がすべてサンプルとして利用されている場合は、新たなエンジン１の製造を行い、測定と検査を行って既知サンプルを追加するようにする。
【０１６４】
上記のように表示部４０に誤判別率の期待値および実測値を示すグラフが表示されると、これらの表示を参照してユーザが閾値を決定し、決定した閾値ｔを入力部５０により入力する。そして、入力部４０はこのようにユーザによって入力された閾値ｔを受付ける（Ｓ１９）。入力部１９が閾値ｔを受付けると、実測値・期待値出力部２１が該閾値ｔに応じた誤判別率の実測値および期待値を算出し、この算出結果を表示制御部２９に出力する。そして表示制御部２９は受信したこの算出結果を表示部４０に表示するように制御する（Ｓ２０）。
【０１６５】
なお、上記ステップＳ１３およびステップＳ１４の処理の順番は、この順番に限定されるものではなく、同時に行われてもよいし、ステップＳ１４の後にステップＳ１３が行われてもよい。
【０１６６】
上述のように、本実施の形態に係る検査装置１０は、余裕度評価部２７を備えているため、上記余裕度を評価することができる構成である。この余裕度を評価できるとは、すなわち、閾値ｔによって、良品のエンジン１から取得した特徴量の分布と異常が生じているエンジン１から取得した特徴量の分布とを、許容過検出率および許容見逃し率内で判別できるか否かを判定することができるということである。
【０１６７】
また、上記検査装置１０では、余裕度評価部２７が、余裕度が小さいと評価した場合、すなわち、上記閾値ｔによって、良品のエンジン１から取得した特徴量の分布と、不良品のエンジン１から取得した特徴量の分布とを判別不可能であると判定した場合、取得する特徴量の種類を変更するように上記対象特徴量指定部に指示することができる。
【０１６８】
このため、検査装置１０は、エンジン１が良品であるか否かを判定するために利用する特徴量として適切な情報を選択することができる。
【０１６９】
また、検査装置１０は、乖離度評価部２８を備えているため、過検出率の実測値と過検出率の期待値との差、および見逃し率の実測ちと見逃し率の期待ちとの差が所定値よりも小さいか否か、言い換えると所定値以上であるか否かを判定することができる。
【０１７０】
なお、この所定値は、信頼性を有する過検出率および見逃し率の実測値と期待値とを得ることができるだけの個数分だけ特性値が存在するものと判断できる範囲で設定される値である。
【０１７１】
ここで過検出率の実測値と過検出率の期待値との差異、および見逃し率の実測値と見逃し率の期待値との差異が所定値以上であるとは、過検出率および見逃し率の実測値と期待値とが十分な信頼性を有していないということである。すなわち、過検出率の実測値と過検出率の期待値、および見逃し率の実測値と見逃し率の期待値を算出するためのサンプルの個数が少ないということである。
【０１７２】
また、上記検査装置１０では、乖離度評価部２９が、上記差異が所定値以上であると判定した場合、データ収集制御部１２にさらなるサンプルの取得を指示することができる。このため、信頼性のある過検出率の実測値と過検出率の期待値、および見逃し率の実測値と見逃し率の期待値を算出できるだけの個数分のサンプルを収集することができる。
【０１７３】
また、実測値・期待値出力部２１を備えているため、適切な個数のサンプルから抽出した特徴量から算出した誤判別率の実測値の変化を示すグラフと誤判別率の期待値の変化を示すグラフとを出力することができる。
【０１７４】
したがって、上記検査装置１０は、信頼性のある過検出率の実測値と過検出率の期待値、および見逃し率の値と見逃し率の期待値を得ることができるため、ユーザに対してエンジン１が良品であるか否かを確度よく判定できる閾値ｔを設定するための情報を提供することができる。
【０１７５】
上記したように、本実施の形態に係る検査装置１０では、表示制御部２９が、誤判別率の期待値および実測値を表示部４０において表示させ、ユーザに該表示を参照して閾値ｔを設定させる構成であった。そこで、このユーザが閾値を設定する際の表示部４０における表示様式について説明する。
【０１７６】
まず、上記表示部４０では、図１５（ａ）に示すように、閾値設定用画面として別ウインドウが立ち上がるようになっている。そして、この閾値設定用画面では、誤判別率の期待値および実測値を示すグラフを表示させる領域αと、閾値ｔ、過検出率の実測値、過検出率の期待値、見逃し率の実測値、見逃し率の期待値、余裕度、および乖離度を数値で表示および入力可能とする領域βとが設けられている。また、さらに表示画面上における情報に対する指示を示すボタン、より具体的には閾値決定用ボタンおよび入力された情報のキャンセルを指示するボタンも設けられている。
【０１７７】
ユーザが閾値を設定する際には、上記領域αにおいて誤判別率の期待値を示すグラフ（図１５（ａ）における実線）、および実測値を示すグラフ（図１５（ａ）における破線）が表示される。また、領域βにおいては、閾値が数値で入力可能な状態となっている。また、このとき領域βにおいて余裕度および乖離度を示す値が表示されていてもよい。
【０１７８】
なお、閾値ｔの設定時における表示は上記した図１５（ａ）に限定されるものではなく、例えば図１５（ｂ）に示すようにさらに工夫された表示であってもよい。すなわち、上記領域αには、誤判別率の期待値および実測値のグラフの表示に重ねて、閾値を示すバーが表示され、このバーがドラッグしてα領域内の横軸方向に移動可能となっている。
【０１７９】
また、この閾値を示すバーの移動位置と連動して領域βにおける閾値の値が数値で表現されるようになっている。すなわち、閾値を示すバーを所望する位置に移動させることによって、この位置に応じた閾値ｔを設定することができるようになっている。このため、ユーザは閾値ｔの設定を容易に行うことができる。
【０１８０】
また、さらには、領域βにおいて乖離度が示されるようになっており、該乖離度が所定値以上となると、所定値に満たない場合とは異なる表示色で表示する、あるいは警告文が表示されるようになっていてもよい。
【０１８１】
または、領域βにおいて余裕度が示されるようになっており、該余裕度が所定値に満たない場合、所定値以上である場合とは異なる表示色で表示する、あるいは警告文が表示されるようになっていてもよい。
【０１８２】
さらには、表示制御部２９が予め許容過検出率および許容見逃し率の情報を保持しており、ユーザによって設定された閾値ｔに応じた過検出率および見逃し率それぞれが、上記許容過検出率および許容見逃し率を越えてしまう場合、上記容過検出率および許容見逃し率以下となる場合とは異なる表示色によって過検出率および見逃し率それぞれを表示する、あるは、警告文を表示するようになっていてもよい。
【０１８３】
また、さらには、表示制御部２９が予め許容過検出率および許容見逃し率の情報を保持しており、領域αにおいて表示されている誤判別率の期待値を示すグラフにおいて、上記許容過検出率および許容見逃し率を越えてしまう区間を、それ以外の区間とは異なる表示色で表示するように設定されていてもよい。
【０１８４】
なお、この図１５（ａ）および図１５（ｂ）は、ユーザに閾値の設定および入力を促す場合における表示部４０での表示例を示す図である。同図（ａ）は、閾値ｔの変換に応じた誤判別率の実測値の変化を示すグラフと期待値の変化を示すグラフとを表示する一例を示し、同図（ｂ）は、閾値ｔの変換に応じた誤判別率の実測値の変化を示すグラフと、期待値の変化を示すグラフと、所望する閾値の位置を示す閾値のバーとを表示する一例を示す。
【０１８５】
なお、上記した誤判別率実測値計算部２５は、データ格納部３０に予め格納されている閾値設定データ３２を用いて誤判別率の実測値を求める構成であり、また誤判別率期待値計算部２６は、データ格納部３０に予め格納されている閾値設定データ３２を用いて誤判別率の期待値を求める構成であった。しかしながら、このように予め設けられた閾値候補を利用するのではなく、特徴量データ読み出し部２４によって読み出されたサンプルの特徴量の最大値と最小値とをそれぞれ上限、下限とし、この上限と下限とによって挟まれる区間を１００分割することで自動的に閾値設定データ３２を得る構成であってもよい。
【０１８６】
また、本実施の形態に係る検査装置１０では、余裕度評価部２７が、過検出率の期待値と、許容過検出率とが一致する際の特徴量の値と、見逃し率の期待値と許容見逃し率とが一致する際の特徴量の値との差を余裕度として、該余裕度の大きさを判断する構成であった。しかしながら、余裕度の大きさの判断はこれに限定されるものではなく、下記数式（４）に示す相関比η２を利用して判断することもできる。この相関比η２は各良品サンプルから抽出した特徴量の平均の二乗と各不良品サンプルから抽出した特徴量それぞれの平均の二乗との和を、全既知サンプルの特徴量の分散で除することにより求めることができる。
【０１８７】
【数２】
【０１８８】
また、上記のように、余裕度評価部２７によって余裕度を計算する構成ではなく、図１６（ａ）および図１６（ｂ）に示すように、誤判別率期待値計算部２６によって算出された過検出率の期待値を示すグラフ、および見逃し率の期待値を示すグラフを表示部４０に表示させる構成であってもよい。この図１６は、閾値ｔの変化に応じた、誤判別率の期待値の変化を示すグラフの表示例を示すものである。同図（ａ）は、余裕度が大きい場合における誤判別率の期待値の変化の一例を示すグラフであり、同図（ｂ）は、余裕度が小さい場合における誤判別率の期待値の変化の一例を示すグラフである。
【０１８９】
このように、上記過検出率の期待値および上記見逃し率の期待値のグラフを表示部４０に表示させることにより、良品のエンジン１と不良品のエンジン１とを確度よく判別できる閾値ｔの設定が可能であるか否かをユーザに直感的に判断させることができる。
【０１９０】
なお、上記したように余裕度を算出せずに、誤判別率期待値計算部２６によって算出された過検出率および見逃し率の期待値を示すグラフを表示部４０に表示させる構成の場合、誤判別率期待値計算部２６は算出した上記期待値を表示制御部２９に送信し、表示部４０に表示させるように指示する。表示制御部２９は、誤判別率期待値計算部２６からの指示に応じて受信した上記期待値を表示部４０に表示させることにより実現できる。なお、この構成の場合、余裕度を算出する必要がないため余裕度評価部２７を備える必要がない。したがって、検査装置１０の装置構成をより簡単とすることができる。
【０１９１】
また、本実施の形態に係る閾値設定制御部２０では、乖離度評価部２８が、誤判別率実測値計算部２５によって算出された誤判別率の実測値と、誤判別率期待値計算部２６によって算出された誤判別率の期待値とに基づき、乖離度ｄを求める構成であった。しかしながら、このように乖離度ｄを算出せずに、図１１（ａ）または図１１（ｂ）に示すように、誤判別率実測値計算部２５によって算出された誤判別率の実測値を示すグラフと、誤判別率期待値計算部２６によって算出された誤判別率の期待値を示すグラフとを合わせて表示部４０に表示させる構成であってもよい。このように構成されている場合、検査装置１０を下記のような構成とすることができる。
【０１９２】
すなわち、誤判別率実測値計算部２５は誤判別率の実測値を算出すると、該実測値を表示制御部２９に送信し、また誤判別率期待値計算部２６は、誤判別率の期待値を算出すると該期待値を表示制御部２９に送信する。表示制御部２９は、誤判別率の実測値と誤判別率の期待値とを受信すると、誤判別率の実測値と特徴量との関係を示す図８に示すような確率密度関数のグラフと、誤判別率の期待値と特徴量との関係を示す図９に示すような累積密度関数のグラフとを合わせて表示部４０に表示させる。
【０１９３】
このように、上記誤判別率の実測値のグラフおよび上記誤判別率の期待値のグラフを共に表示部４０に表示させることにより、誤判別率の期待値の信用性の有無をユーザに直感的に判断させることができる。
【０１９４】
また、本実施の形態に係る検査装置１０では、対象特徴量指定部２３から指示された種類の特徴量について、誤判別率を算出する構成であった。そして、対象特徴量指定部２３が指示する特徴量の種類は複数存在する構成であってもよい。
【０１９５】
また、複数種類の特徴量から誤判別率を求める構成の場合、図１７に示すように特徴量の種類ごとに閾値ｔを設け、該特徴量を有するエンジン１が良品であるか否かを判定する。そして、すべての閾値ｔにより良品であると判定された領域に存在する特徴量が抽出されたエンジン１を良品であると判定する。
【０１９６】
なお、この図１７は、読み出す特徴量の種類が２種類である場合における良品のエンジン１から抽出した特徴量の分布と不良品のエンジン１から抽出した特徴量の分布と、各特徴量ごとに設定された閾値ｔ１・ｔ２との一例を示す図であり、縦軸は特徴量ｘ２の値であり、横軸は特徴量ｘ１の値となる。
【０１９７】
しかしながら、このような判定方法では、特徴量の種類ごとに設定される閾値ｔすべてを確定しなければ誤判別率を算出することができない。このため、特徴量の種類ごとに閾値ｔをどのように設定すべきか判定しにくいといった問題がある。
【０１９８】
そこで、このように複数種類の特徴量から誤判別率を求める構成の場合、図１８に示すように、任意のエンジン１から抽出された複数種類の特徴量をそれぞれ合成し、新たな特徴量を設ける。そして、この新たに設けられた特徴量に対して閾値ｔを設定して誤判別率を算出するように構成されていることが好ましい。この図１８は、読み出す特徴量の種類が２種類である場合における良品のエンジン１から抽出した特徴量の分布と不良品のエンジン１から抽出した特徴量の分布と、２種類の特徴量を合成したベクトルｆ（ｘ１，ｘ２）と、該ベクトルに対して設定された閾値ｔとの一例を示す図である。
【０１９９】
なお、本実施の形態に係る検査装置１０における、新しい種類の特徴量の取得は、対象特徴量指定部２３に指定させた複数の特徴量を読み出させて合成演算を行うことで実現する構成であっても良いし、事前に演算結果を図５に示す特徴量テーブル情報に登録しておき、対象特徴量指定部２３に指定させて読み出させる構成であってもよい。
【０２００】
上記のように合成した特徴量を用いて誤判別率を算出する方法としては、例えば、判別分析における「Ｆｉｓｈｅｒの線判別関数」、「サポート・ベクター・マシーン（Support Vector Machine,ＳＶＭ）」における識別超平面からの距離等を利用することができる。
【０２０１】
また、本実施の形態に係る検査装置１０は、図５に示すように、良品サンプルと不良品サンプルとの特徴量それぞれを共に記録した特徴量テーブル情報３１を参照して誤判別率実測計算部２５が誤判別率の実測値を算出し、誤判別率期待値計算部２６が誤判別率の期待値を算出する構成であった。すなわち、良品と判定されるエンジン１と不良品と判定されるエンジン１との両者を既知サンプルとして利用する構成であった。
【０２０２】
しかしながら、検査装置１０は、図１９（ａ）に示すように良品のエンジン１から取得した音データまたは振動データから抽出した特徴量のみを利用して誤判別率の実測値および期待値を算出し、閾値ｔを決定する構成であってもよい。
【０２０３】
このような構成の場合、例えば、図２０（ａ）または図２０（ｂ）に示すように閾値ｔを設定することができる。すなわち、例えば図２０（ａ）に示すように、２種類の特徴量によって規定される良品の分布から閾値ｔ１と閾値ｔ２との２つを設定する。なお、この図２０（ａ）では、特徴量ｘ１が閾値ｔ１以下となり、かつ特徴量ｘ２が閾値ｔ１以下となる場合を良品であるとしている。
【０２０４】
あるいは、例えば図２０（ｂ）に示すように、マハラノビス・タグチ・システムで用いられる良品サンプルの分布の平均からのマハラノビス距離の平方Ｄ２によって、良品と判定されるサンプルと不良品と判定されるサンプルとを判別することができる。すなわち、図２０（ｂ）に示す様に２種類の特徴量ｘ１と、特徴量ｘ２とによって示される良品サンプルの分布から、該良品サンプルを包含した判別境界を構成するように上記マハラノビス距離の平方Ｄ２に閾値ｔを設定し、２種類の特徴量ｘ１と、特徴量ｘ２とのマハラノビス距離の平方Ｄ２（ｘ１、ｘ２）が閾値ｔ以下となる場合を良品と判定する。
【０２０５】
より具体的には以下のようにして誤判別実測値計算部２５が良品サンプルのみの分布から誤判別率の実測値、つまり過検出率の実測値を算出する。
【０２０６】
特徴量の種類数をｐ、良品であると判定されるエンジン１のサンプル数をｍ、各良品サンプルのもとのｐ次元特徴ベクトルをＸｉとしたときの標本平均を下記数式（５）、分散共分散行列を下記数式（６）と表すことができる。
【０２０７】
【数３】
【０２０８】
【数４】
【０２０９】
この場合、各サンプルのマハラノビス距離の平方は下記の数式（７）で定義される。
【０２１０】
【数５】
【０２１１】
ところで、良品であると判定されているエンジン１の特徴量を既知サンプルとした場合、各既知サンプルに対するＤｉは、自由度ｐのカイ二乗（χ２）分布に従う。そこで、例えば図２１に示すように、マハラノビス距離の平方Ｄ２ｉが閾値ｔ（＝χ２（ｐ；ｔ））を越えるものを不良品であると判定するように構成する場合、過検出の実測値は、自由度ｐのカイ二乗分布のｔでの上側確率を求めることで得ることができる。なお、過検出率の実測値をαにするためには、閾値ｔ＝χ２（ｐ；α）に設定すればよい。
【０２１２】
また、上記して求めた誤判別率（過検出率）の実測値に対する誤判別率の期待値は、誤判別率期待値計算部２６が下記の演算を行って求めることができる。より具体的には、例えば、未知サンプルｊ（ｊ＝１，…，ｍ）のｐ次元特徴ベクトルＸｉが与えられている場合、マハラノビス距離Ｄ２ｊの分布は、カイ二乗分布ではなく、数式（８）に示すように自由度ｐ、ｍ−ｐのＦ分布を定数倍した分布に従う。
【０２１３】
【数６】
【０２１４】
ここで、マハラノビス距離Ｄ２ｊが閾値ｔより大きくなるサンプルを不良品であると判定するように構成する場合、過検出率の期待値は、自由度ｐ、ｍ−ｐのＦ分布における閾値ｔでの上側確率をｐ（ｍ−１）（ｍ＋１）／ｍ（ｍ−ｐ）倍することで求めることができる。
【０２１５】
例えば、この過検出率の期待値と実測値との関係は、図２２に示すような２次元空間でのマッピングにおいて、前者が後者を包含するような関係となる。また、良品サンプルのマハラノビス距離の平方の分布において、既知サンプルの分布と、未知サンプルの分布とは図２３に示すような関係となる。すなわち、既知サンプルの分布はカイ二乗分布に従い、一方、未知サンプルの分布はＦ分布に従うこととなる。両者の関係から図２４に示すように閾値ｔにおける過検出率の実測値と期待値とを比較すると、上記実測値が期待値よりも小さく見積もられていることが分かる。
【０２１６】
なお、カイ二乗分布とＦ分布との間では、下記数式（９）に示す関係が成り立つため、訓練サンプル数ｍが少ないほど過検出率の実測値と期待値との乖離が大きくなり、逆に訓練サンプル数ｍが十分大きい場合は、両者は近似する。
【０２１７】
【数７】
【０２１８】
したがって、予め特徴量を取得する良品のエンジン１のサンプル数量が大きくならばなるほど過検出率の実測値と期待値とは近似することとなる。
【０２１９】
また、以上のように良品と判定されるエンジン１の分布のみに基づき誤判別率を求める構成において、過検出率の期待値を例えば許容値範囲内にあるαとなるように閾値ｔを設定する場合、下記数式（１０）に示すように設定することができる。
【０２２０】
【数８】
【０２２１】
また、この構成の場合、不良品サンプルを用意する必要がないため、サンプルの収集を容易とすることができるという利点を有する。特に、良品としての基準を満たすようなエンジン１を製造するといった前提の下、エンジン１の製造が行われているため不良品と判定されたエンジン１それぞれから特徴量を収集することは通常困難である。このため、良品のみのサンプルから閾値ｔを設定できる構成は有効である。
【０２２２】
このように、良品サンプルの分布のみに基づき誤判別率を求める構成の場合、この誤判別率は、過検出率のみとなり、余裕度は定義されないこととなる。ただし、もし僅かでも不良品サンプルが得られる場合は、例えば、良品サンプルの特徴量の分布の平均からのマハラノビス距離の望大特性のＳＮ比γを余裕度とすることにより、該余裕度の大きさを判断することができる。この方法を用いれば、不良品サンプルが僅少で、見逃し率の予測値の信頼性を確保ができるだけのサンプル数がなくても、余裕度の大きさを判断することができる。
【０２２３】
ここで、余裕度として上記マハラノビス距離の望大特性のＳＮ比γを用いる構成の場合、下記のようにして上記望大特性のＳＮ比γを求めることができる。まず余裕度評価部２７は、良品と判定されるエンジン１それぞれから収集した特徴量の期待値の分布から基準空間を求める。つまり、良品サンプルの平均からのマハラノビス距離を、以下のようにして求める。すなわち、特徴量の種類（計測項目）をｐ、良品のエンジン１から得られるサンプル数をｍ、各良品から得られる特徴量の期待値の、もとのｐ次元特徴ベクトルをＸｉとしたときの標本平均は、下記数式（１１）で表すことができる。また、分散共分散行列は、下記数式（１２）によって表すことができる。
【０２２４】
【数９】
【０２２５】
【数１０】
【０２２６】
このとき各サンプルのマハラノビス距離の平方は数式（１３）に示す関係となる。
【０２２７】
【数１１】
【０２２８】
ここで、不良品サンプル数をｎ、各不良品サンプルのマハラノビス距離の平方をＤ２１，・・・Ｄ２ｎとすると、望大特性のＳＮ比の値γは、下記数式（１４）となる。
【０２２９】
【数１２】
【０２３０】
このとき望大特性のＳＮ比の値γが大きくなればなるほど不良品のエンジン１から収集した特徴量の期待値群（不良品サンプルの母集団）は、良品のエンジン１から収集した特徴量の期待値群（良品サンプルの母集団）から離れていることを示している。したがって、得られたγの値により、過検出率の期待値と見逃し率の期待値とが十分に分離可能な状態であるか否かを判定することができる。
【０２３１】
このように、良品サンプルの分布の平均からの、不良品サンプルのマハラノビス距離の平方を望大特性とし、この望大特性のＳＮ比γを余裕度として求める構成の場合、上記したように許容過検出率および許容見逃し率を予め設定しておくことがない点で利点を有する。
【０２３２】
上述したように、本実施の形態に係る検査装置１０では、十分な余裕度があり、かつ乖離度が所定値未満である場合、表示部４０において算出された誤判別率の実測値および期待値を示すグラフをそれぞれ合わせて表示し、ユーザに閾値の設定を促す構成であった。しかし、本実施の形態に係る検査装置１０のように、誤判別率の実測値と期待値との関係から予め両者の間における余裕度および乖離度を評価する構成の場合、表示部４０に表示させる情報は、誤判別率の期待値を示すグラフだけであってもよい。
【０２３３】
また、本実施の形態に係る検査装置１０では、上記したように、ユーザに閾値を設定させる際、誤判別率の実測値と期待値とのグラフを表示部４０に表示させる構成であった。また、ユーザによって設定された閾値に基づき算出された誤判別率の実測値と期待値とのデータを表示部４０に表示させる構成でもあった。しかしながら、上記した誤判別率の実測値と期待値との情報は上記したように表示部４０に表示させる構成に限定されるものではなく、例えばデータ格納部３０あるいは検査装置１０と通信可能に接続されている他の記憶装置に出力する構成であってもよい。あるいは検査装置１０が印刷装置と通信可能に接続されている場合は、該印刷装置に誤判別率の実測値と期待値とを送信し、印刷して出力する構成であってもよい。
【０２３４】
最後に、検査装置１０の検査装置制御部１１が備える各ブロック（データ収集制御部１２、良否判定部１３、および閾値設定制御部２０）、特には、閾値設定制御部２０が備える各ブロック（対象特徴量指定部２３、特徴量データ読み出し部２４、誤判別率実測値計算部２５、誤判別率期待値計算部２６、余裕度評価部２７、乖離度評価部２８、表示制御部２９、および実測値・期待値出力部２１）は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。
【０２３５】
すなわち、検査装置１０は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである検査装置１０の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記検査装置１０に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【０２３６】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
【０２３７】
また、検査装置１０を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【０２３８】
本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【０２３９】
例えば、本実施の形態に係る検査装置１０において利用する特徴量は、エンジン１から生じた音データおよび振動データから抽出したが、これらのデータに限定されるものではなく、特徴量に変換し閾値を設けることができるようなデータであればよい。例えば、このデータの例として、エンジン１の回転数、トルク、または温度などが上げられる。
【０２４０】
また、本実施の形態に係る検査システム１００では、検査対象がエンジン１であったがこれに限定されるものではなく、製品の良否を判断する必要があり、かつ該良否が例えば音データまたは振動データなどのように物理量として抽出可能なものであればよい。例えば、下記のようなはんだ付けによる接合の良否を検査するシステムであってもよい。すなわち、画像データとしてはんだが付着している領域を抽出し、該画像データからはんだが付着している領域の面積を求める。そして、この求めた面積を特徴量としてはんだ付けによる接合の良否を判断するシステムである。
【産業上の利用可能性】
【０２４１】
本実施の形態に係る検査装置１０は、良品である検査対象物と不良品である検査対象物から抽出した特徴量の分布情報に基づき算出した誤判別率の実測値および予測値の変化を示すグラフを表示することができるため、確度のよい品質検査を可能とする閾値を設定するための情報を提供することができる。したがって、検査対象物の品質検査に幅広く適用できる。
【図面の簡単な説明】
【０２４２】
【図１】本発明の実施形態を示すものであり、検査装置の閾値設定制御部に係る要部構成の一例を示すブロック図である。
【図２】本発明の実施形態を示すものであり、検査システムの要部構成を示すブロック図である。
【図３】本実施の形態に係る検査装置において利用される特徴量の一例を示す図である。
【図４】本発明の実施形態を示すものであり、検査装置の要部構成を示すブロック図である。
【図５】本実施の形態に係る特徴量テーブル情報の一例を示す図である。
【図６】本実施の形態に係る閾値設定データの一例を示す図である。
【図７】本実施の形態に係る許容誤判別率データの一例を示す図である
【図８】良品および不良品となるサンプルの分布を示す確率密度関数の一例を示すグラフである。
【図９】閾値の変化に応じた、過検出率の近似値と見逃し率の近似値との変化の一例を示すグラフである。
【図１０】閾値の変化に応じた過検出率の期待値の変化と見逃し率の期待値の変化との一例を示すグラフであり、同図（ａ）は、許容過検出率以下となる範囲でありかつ、許容見逃し率以下となる範囲が大きくなり余裕度が大きい場合を示しており、同図（ｂ）は、許容過検出率以下となる範囲でありかつ、許容見逃し率以下となる範囲が小さくなり余裕度が小さい場合を示す。
【図１１】閾値の変化に応じた過検出率の実測値と期待値との変化、および見逃し率の実測値と期待値との変化の一例を示すグラフであり、同図（ａ）は、過検出率の実測値と期待値との差、および見逃し率の実測値と期待値との差が大きくなる場合を示しており、同図（ｂ）は、過検出率の実測値と期待値との差、および見逃し率の実測値と期待値との差が小さい場合を示す。
【図１２】本実施の形態に係る内部管理データの一例を示す図である。
【図１３】本実施の形態に係る検査装置において閾値設定後に表示するデータの一例を示す図である。
【図１４】本実施の形態に係る検査装置１０における閾値設定処理を説明するフローチャートである。
【図１５】ユーザに閾値の設定および入力を促す場合における表示部での表示例を示す図であり、同図（ａ）は、閾値ｔの変換に応じた誤判別率の実測値の変化を示すグラフと期待値の変化を示すグラフとを表示する一例を示し、同図（ｂ）は、閾値ｔの変換に応じた誤判別率の実測値の変化を示すグラフと、期待値の変化を示すグラフと、所望する閾値の位置を示す閾値のバーとを表示する一例を示す。
【図１６】閾値の変化に応じた、誤判別率の期待値の変化を示すグラフの表示例を示すものである。同図（ａ）は、余裕度が大きい場合における誤判別率の期待値の変化の一例を示すグラフであり、同図（ｂ）は、余裕度が小さい場合における誤判別率の期待値の変化の一例を示すグラフである。
【図１７】読み出す特徴量の種類が２種類である場合における良品のエンジンから抽出した特徴量の分布と不良品のエンジンから抽出した特徴量の分布と、各特徴量ごとに設定された閾値との一例を示す図である。
【図１８】読み出す特徴量の種類が２種類である場合における良品のエンジンから抽出した特徴量の分布と不良品のエンジンから抽出した特徴量の分布と、２種類の特徴量を合成したベクトルと、該ベクトルに対して設定された閾値との一例を示す図である。
【図１９】エンジンから取得した特徴量を記録したテーブルの一例を示す図であり、同図（ａ）は、良品のエンジンから取得した特徴量を記録するテーブルの一例を示し、同図（ｂ）は、不良品のエンジンから取得した特徴量を記録するテーブルの一例を示す。
【図２０】読み出す特徴量の種類が２種類である場合における良品のエンジンから抽出した特徴量の分布と、この分布に対して設定された閾値との一例を示す図であり、同図（ａ）は、特徴量ごとに閾値を設けた場合の一例を示し、同図（ｂ）は、ハラノビス距離の平方に対して閾値を設定した場合の一例を示す。
【図２１】良品のエンジンから抽出した特徴量のマハラノビス距離での分布を示すグラフである。
【図２２】良品のエンジンから抽出した特徴量の分布と、該特徴量から算出した過検出率の実測値と期待値との関係を示す図である。
【図２３】良品のエンジンから抽出した特徴量のマハラノビス距離での分布を示すグラフである。
【図２４】閾値の変化に応じた過検出率の実測値と期待値との変化の一例を示すグラフである。
【図２５】良品および不良品のエンジンから抽出した特徴量の分布を示すヒストグラムである。
【図２６】図２５に示すヒストグラムに対して閾値を変化させた場合における過検出率と見逃し率の変化の一例を示すグラフである。
【符号の説明】
【０２４３】
１ エンジン（検査対象物）
１０ 検査装置（判定装置）
１２ データ収集制御部（取得手段）
２１ 実測値・期待値出力部（出力手段）
２３ 対象特徴量指定部（変更手段）
２５ 誤判別率実測値計算部（算出手段）
２６ 誤判別率期待値計算部（予測値算出手段）
２７ 余裕度評価部（閾値設定判定手段）
２８ 乖離度評価部（差分判定手段）
２９ 表示制御部（出力手段）
３０ データ格納部（記憶装置）
４０ 表示部
５０ 入力部（取得指示受付け部・変更指示受付け部・閾値指定受付け部）
【技術分野】
【０００１】
本発明は、検査対象物から該検査対象物が正常であるか否か区別するための要素となる情報である特性値を取得し、この特性値に応じて検査対象物が正常であるか否かを判定するための判定装置、判定装置の制御プログラム、および判定装置の制御プログラムを記録した記録媒体に関するものである。
【背景技術】
【０００２】
従来から、生産されたエンジン等の製品の品質を検査する方法として、例えば、該エンジンを駆動させて生じる音を検査員が聞き分けるなど、いわゆる官能検査が行われている。しかしながら、この官能検査は、検査員の五感に依存する方法であるため、検査員はこの検査方法に対して熟練した技術と多くの経験的知識とを有しておく必要があった。また、熟練した技術を有する検査員であっても、検査結果には個人差によるばらつきが生じるといった問題があった。このため、上記した個人差によるばらつきを防ぐために、このような検査を、定量的かつ明確な基準により行えることが好ましい。
【０００３】
例えば、特許文献１では、製造されたエンジンの駆動により生じる音または振動を、センサにより測定し、この測定結果から特徴量を抽出し、この抽出した特徴量を解析して品質を調べる装置が開示されている。
【０００４】
ところで、このようにエンジン等の製品から生じる音または振動の特徴量を抽出し、該製品の品質を調べる場合、例えば、この特徴量が所定の閾値以上であれば異常（不良品）であり、閾値未満である場合は正常(良品)であると判断することができる。しかながら、この閾値を利用した判断では、良品を不良品であると誤って判別したり、あるいは、不良品を良品であると誤って判別したりする場合が生じる。なお、本明細書中では、前者の場合を「過検出」、後者の場合を「見逃し」と称することとする。
【０００５】
そして、例えば図２５に示すように良品の製品から得られた特徴量のヒストグラムと不良品の製品から得られた特徴量のヒストグラムとを重ね合わせた際に、同じ特徴量であっても良品と不良品とが混在する区間がある。ここで、この混在する区間が閾値によって良品と区別される領域に存在する場合、該区間に含まれる不良品数の割合を見逃し率と定義する。逆に、この区間が閾値により不良品であると区別される領域に存在する場合、該区間に含まれる良品数の割合を過検出率と定義する。また、この過検出率と見逃し率とを合わせて誤判別率と称する。
【０００６】
なお、この過検出率は、下記に示す式（１）により求めることができ、一方、見逃し率は、下記に示す式（２）により求めることができる。
【０００７】
過検出率＝ｎＯＫ→ＮＧ／ｎＯＫ ・・・（１）
見逃し率＝ｎＮＧ→ＯＫ／ｎＮＧ ・・・（２）
（ｎＯＫ→ＮＧ：不良品と誤判定された良品の数 ｎＯＫ：全良品の数）
（ｎＮＧ→ＯＫ：良品と誤判定された不良品の数 ｎＮＧ：全不良品の数）
このように、良品であるにもかかわらず、不良品であると判定された製品（過検出された製品）は、検査不合格品として出荷されず廃棄されるか、あるいは、より精度の高い品質検査によって良品であると判定されれば出荷される。このように良品を廃棄する場合、あるいは再検査を行う場合いずれの場合であっても、製品の製造コストを大きくしてしまう要因となる。
【０００８】
また、不良品であるにもかかわらず、良品であると判定された製品（見逃された製品）は、検査合格品として出荷されこの不良品が市場に出回ることとなる。このように不良品が出回るとこの製品に対するクレーム、返品等が生じて製品の製造業者の社会的信用性を低下させてしまう一因となる。
【０００９】
このため、良品と判断される領域と不良品と判断される領域とを区別する閾値を、過検出率および見逃し率が生じる割合が許容値範囲内となるように適切に設定することが重要となる。
【００１０】
例えば、図２５に示す測定結果では、図２６に示すように閾値ｔの値が大きくなればなるほど見逃し率が大きくなり、逆に閾値ｔの値が小さくなればなるほど過検出率が大きくなる。つまり、閾値ｔの値が大きくなればなるほど良品と判断する区間が大きくなり該区間に含まれる不良品の数、すなわち良品とみなされる不良品の数が大きくなる。このため、閾値ｔの値が大きくなればなるほど見逃し率が大きくなる。
【００１１】
逆に、閾値ｔの値が小さくなればなるほど不良品と判断される区間が大きくなり該区間に含まれる良品の数、すなわち、不良品とみなされる良品の数が大きくなる。このため閾値ｔの値が小さくなればなるほど過検出率が大きくなる。
【００１２】
そこで、従来では、上記した閾値を、見逃し率と過検出率とのそれぞれが許容値に収まる範囲で決定している。
【００１３】
なお、上記したようなサンプルの統計処理に用いることが可能な理論として、非特許文献１では、マハラノビス・タグチ・システムに具現化された非対称的判別における実際の誤判別率とその推定について記載されており、非特許文献２では、特徴数に対する訓練サンプル数の比が小さいといった現実の状況下で真に有効となる識別器を評価する研究について記載されている。また、非特許文献３では、既知のサンプルを用いて、多変量管理図の管理限界を決定するための統計的手法について記載されている。
【００１４】
なお、上記サンプルとは、製造された全製品を母集団としたとき、この全製品から検査を実施するために抜き取りを行った製品（製品群）のことである。
【特許文献１】特開２００５−１２１６３９号公報（２００５年５月１２日公開）
【非特許文献１】宮川雅巳、田中研太郎，岩澤智之，中西寛子，「マハラノビス距離による非対称的判別での実際の誤判別率」，応用統計学会第２６回シンポジウム講演予稿集，ｐｐ．１〜６（２００４年）
【非特許文献２】浜本義彦，内村俊二，金岡泰保，富田真吾，「標本数が少ない状況下における識別器の評価」、情報処理学会研究報告「グラフィックスとＣＡＤ」，Ｖｏｌ．１９９２．ＮＯ１０１，１９９２年
【非特許文献３】ＮＯＬＡ Ｄ.ＴＲＡＣＹ，JＯＨＮ Ｃ. ＹＯＵＮＧ，ＲＯＢＥＲＴ Ｌ. ＭＡＳＯＮ，“Ｍｕｌｔｉｖａｒｉａｔｅ Ｃｏｎｔｒｏｌ Ｃｈａｒｔｓ ｆｏｒ Ｉｎｄｉｖｉｄｕａｌ Ｏｂｓｅｒｖａｔｉｏｎｓ”，Ｊｏｕｒｎａｌ ｏｆ Ｄｕａｌｉｔｙ Ｔｅｃｈｎｏｌｏｇｙ，Ｖｏｌ．２４，Ｎｏ．２，Ａｐｒｉｌ ８８／９５，（１９９２）
【発明の開示】
【発明が解決しようとする課題】
【００１５】
しかしながら、上記従来の構成では、所定個数の限られた特徴量の測定結果に基づき、良品と不良品とを区別するための閾値を設定する構成であるため、この設定された閾値は正確なものではないといった問題が生じる。
【００１６】
すなわち、すでに測定され収集されたサンプルの数は有限であり、このサンプルから推定した特徴量分布は真の特徴量分布とは大きく異なることとなる。すなわち、すでに収集されたサンプルから得られる特徴量分布から算出された誤判別率は、実際の収集結果の特徴量分布から得られる誤判別率と比較して小さく見積もられる傾向が大きく正確ではない。
【００１７】
そこで、実際に測定された、限られた個数のサンプルの特徴量に基づき良品と不良品とを判別するための閾値を設定するのではなく、将来的な誤判別率の予想も考慮にいれて閾値を設定できることが好ましい。
【００１８】
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、ユーザに対して検査対象物が正常であるか否かを確度よく判定できる閾値を設定するための情報を提供することができる判定装置、判定装置の制御プログラム、および判定装置の制御プログラムを記録した記録媒体を実現することにある。
【課題を解決するための手段】
【００１９】
本発明に係る判定装置は、上記した課題を解決するために、検査対象物から該検査対象物が正常であるか否か区別するための要素となる情報である特性値を取得し、この特性値に応じて検査対象物が正常であるか否かを判定するための判定装置であって、複数の正常な検査対象物それぞれから取得した特性値の分布情報から、該検査対象物が正常であるか否かを判定するための閾値を任意に設定した場合における、正常な検査対象物を異常であると判定する割合である過検出率を算出する算出手段と、統計的手法により、上記特性値に基づいて上記過検出率の予測値を算出する予測値算出手段と、上記閾値の変化に応じた、上記算出手段によって算出された過検出率の変化を示すグラフと、閾値の変化に応じた、上記予測値算出手段によって算出された過検出率の予測値の変化を示すグラフとを出力する出力手段とを備えることを特徴とする。
【００２０】
上記構成によると、出力手段を備えているため、閾値の変化に応じた、上記算出手段によって算出された過検出率の実測値の変化を示すグラフと、上記予測値算出手段によって算出された過検出率の予測値の変化を示すグラフとを出力することができる。
【００２１】
ここで予測値とは、限られた個数の検査対象物から抽出した特性値を利用して検査対象物の母集団の過検出率を予想した値である。したがって、ユーザはこの過検出率の予測値の変化を示すグラフを参照することで、過検出率の変化を示すグラフを参照して閾値を設定する場合と比べて、検査対象物が正常であるか否かを確度よく判定可能な閾値を設定することができる。
【００２２】
また、閾値の変化に応じた、過検出率の変化を示すグラフと過検出率の予測値の変化を示すグラフとを出力することができるため、ユーザは、この両者のグラフを比較して得られた過検出率および予測値の信頼性を確かめることができる。すなわち、過検出率を算出するために利用する検査対象物の個数が極端に少なく、この検査対象物それぞれの特性値から算出した過検出率および過検出率の予測値の信頼性が低い場合、該過検出率および過検出率の予測値の信頼性が高い場合と比べて両者の間の差異が大きくなる。
【００２３】
そこで、過検出率とこの過検出率の予測値との変化を示すグラフをともに出力することにより、ユーザはこの出力結果から過検出率および該過検出率の予測値の信頼性を判断することができる。
【００２４】
このように、本発明に係る判定装置は、ユーザに対して検査対象物が正常であるか否かを確度よく判定できる閾値を設定するための情報を提供することができるという効果を奏する。
【００２５】
本発明に係る判定装置は、上記した構成において、検査対象物から上記特性値を取得する取得手段と、ユーザによる、新たな検査対象物からの特性値の取得指示を受付ける取得指示受付け部とを備え、取得指示受付け部が上記新たな検査対象物からの特性値の取得指示を受付けた場合、上記取得手段が、新たな検査対象物から特性値を取得することが好ましい。
【００２６】
上記構成によると、取得指示受付け部を備えているため、ユーザによる、新たな検査対象物からの特性値の取得指示を受付けることができる。また、取得手段を備えているため、取得指示受付け部によって受付けた上記取得指示に応じて、新たな検査対象物から特性値を取得し追加させることができる。
【００２７】
ここで、ユーザにより、新たな検査対象物からの特性値の取得、すなわちサンプルの追加が指示される場合とは、特性値を取得した検査対象物の個数が少ないため、該特性値から算出した過検出率の値および予測値に対する信頼性が低くなる場合である。
【００２８】
ここで、本実施の形態に係る判定装置は、過検出率および該過検出率の予測値に対する信頼性が低くなる場合、新たな検査対象物から特性値を取得することができるため、信頼性のある過検出率および該過検出率の予測値が得られるまで、特性値を取得する検査対象物の個数を追加させることができる。
【００２９】
本発明に係る判定装置は、上記した構成において、検査対象物から上記特性値を取得する取得手段と、上記算出手段によって算出された過検出率と、上記予測値算出手段によって算出された過検出率の予測値とに基づき、算出された過検出率と該過検出率の予測値との差を求め、この差が所定値以上であるか否かを判定する差分判定手段とを備え、上記差分判定手段が、上記差が所定値以上であると判定した場合、上記取得手段に対して新たな検査対象物からの特性値の取得を指示するように構成されていることが好ましい。
【００３０】
上記構成によると、差分判定手段を備えているため、過検出率と該過検出率の予測値との差が所定値以上であるか否かを判定することができる。
【００３１】
なお、この所定値は、信頼性を有する過検出率と該過検出率の予測値とを得ることができるだけの個数分だけ検査対象物が存在するものと判断できる範囲で設定される値である。
【００３２】
ここで過検出率と該過検出率の予測値との差が所定値以上であるとは、過検出率と該過検出率の予測値とが十分な信頼性を有していないということである。すなわち、過検出率と該過検出率の予測値とを算出するための検査対象物の個数が少ないということである。
【００３３】
上記判定装置は、上記差が所定値以上であると判定した場合、取得手段に対して、新たな検査対象物から特性値を取得するように指示することができる。このため、信頼性のある過検出率と予測値とを得ることができるだけの個数分の検査対象物から特性値を取得するこができる。
【００３４】
したがって、信頼性のある過検出率と予測値とを得ることができるため、ユーザに対して検査対象物が正常であるか否かを確度よく判定できる閾値を設定するための情報を提供することができる。
【００３５】
また、本発明に係る判定装置は、上記した課題を解決するために、検査対象物から該検査対象物が正常であるか否か区別するための要素となる情報である特性値を取得し、この特性値に応じて検査対象物が正常であるか否かを判定するための判定装置であって、複数の正常な検査対象物それぞれから取得した特性値の分布情報から、該検査対象物が正常であるか否かを判定するための閾値を任意に設定した場合における、正常な検査対象物を異常であると判定する割合である過検出率を算出する算出手段と、統計的手法により、上記特性値に基づいて上記過検出率の予測値を算出する予測値算出手段と、閾値の変化に応じた、上記予測値算出手段によって算出された過検出率の予測値の変化を示すグラフとを出力する出力手段と、検査対象物から上記特性値を取得する取得手段と、上記算出手段によって算出された過検出率と、上記予測値算出手段によって算出された過検出率の予測値とに基づき、算出された過検出率と該過検出率の予測値との差を求め、この差が所定値以上であるか否かを判定する差分判定手段とを備え、上記差分判定手段が、上記差が所定値以上であると判定した場合、上記取得手段に対して、新たな検査対象物からの特性値の取得を指示することを特徴とする。
【００３６】
上記構成によると、差分判定手段を備えているため、過検出率と該過検出率の予測値との差が所定値以上であるか否かを判定することができる。なお、この所定値は、信頼性を有する過検出率と該過検出率の予測値とを得ることができるだけの個数分だけ検査対象物が存在するものと判断できる範囲で設定される値である。
【００３７】
ここで過検出率と該過検出率の予測値との差が所定値以上であるとは、過検出率と該過検出率の予測値とが十分な信頼性を有していないということである。すなわち、過検出率と該過検出率の予測値とを算出するための検査対象物の個数が少ないということである。
【００３８】
上記判定装置は、上記差が所定値以上であると判定した場合、取得手段に新たな検査対象物からの特性値の取得を指示することができる。このため、信頼性のある過検出率の予測値を算出できる個数分の検査対象物から特性値を取得するこができる。このように、信頼性のある過検出率の予測値を得ることができるため、ユーザに対して検査対象物が正常であるか否かを確度よく判定できる閾値を設定するための情報を提供することができるという効果を奏する。
【００３９】
本発明に係る判定装置は、上記した構成において、上記特性値の分布情報には、複数の異常が生じている検査対象物それぞれから取得した特性値の分布情報がさらに含まれており、上記算出手段は、上記特性値の分布情報から、検査対象物が正常であるか否かを判定するための閾値を任意に設定した場合における、異常が生じている検査対象物を正常であると判定する割合である見逃し率をさらに算出しており、上記予測値算出手段は、統計的手法により、上記特性値に基づいて上記見逃し率の予測値をさらに算出しており、上記出力手段が、閾値の変化に応じた、上記算出手段によって算出された過検出率および見逃し率の変化を示すグラフと、閾値の変化に応じた、上記予測値算出手段によって算出された過検出率および見逃し率の予測値の変化を示すグラフとを出力するように構成されていることが好ましい。
【００４０】
上記構成によると、出力手段により、閾値の変化に応じた、上記算出手段によって算出された過検出率および見逃し率の変化を示すグラフと、上記予測値算出手段によって算出された過検出率および見逃し率の予測値の変化を示すグラフとを出力することができる。
【００４１】
ここで予測値とは、限られた個数の検査対象物の特性値を利用して母集団の過検出率および見逃し率を予想した値である。したがって、ユーザは出力されたこの過検出率および見逃し率の予測値の変化を示すグラフを参照することで、過検出率および見逃し率の変化を示すグラフを参照して閾値を設定する場合と比べて、検査対象物が正常であるか否かを確度よく判定可能な閾値を設定することができる。
【００４２】
また、上記したように閾値の変化に応じた、過検出率および見逃し率の変化を示すグラフと過検出率および見逃し率の予測値の変化を示すグラフとを出力することができるため、ユーザは、この両者のグラフを比較して得られた過検出率および見逃し率と、過検出率および見逃し率の予測値との信頼性を確かめることができる。
【００４３】
すなわち、過検出率および見逃し率を算出するために利用する検査対象物の個数が極端に少なく、該検査対象物の特性値から算出した過検出率および見逃し率と、過検出率および見逃し率の予測値との信頼性が低い場合、過検出率および見逃し率と該過検出率および見逃し率の予測値との信頼性が高い場合と比べて両者の間の差異が大きくなる。
【００４４】
そこで、過検出率および見逃し率と該過検出率および見逃し率の予測値との変化を示すグラフをともに出力することにより、ユーザはこの出力結果から過検出率および見逃し率と過検出率および見逃し率の予測値との信頼性を判断することができる。
【００４５】
このように、本発明に係る判定装置は、ユーザに対して検査対象物が正常であるか否かを確度よく判定できる閾値を設定するための情報を提供することができる。
【００４６】
本発明に係る判定装置は、上記した構成において、上記過検出率および上記見逃し率と上記過検出率および上記見逃し率の予測値とを算出するための特性値の種類を変更する変更手段と、ユーザからの、上記特性値の種類の変更を指示する情報を受付ける変更指示受付け部とを備え、変更指示受付け部が特性値の種類の変更を指示する情報を受付けた場合、上記変更手段が、指定する特性値の種類を変更するように構成されていることが好ましい。
【００４７】
上記構成によると、変更手段を備えているため、ユーザによる、特性値の種類の変更を指示する情報を受付けた場合、上記過検出率および上記見逃し率と上記過検出率および上記見逃し率の予測値とを算出するための特性値の種類を変更させることができる。
【００４８】
このため、例えば、正常な検査対象物から取得した特性値の分布と異常が生じている検査対象物から取得した特性値の分布とを上記閾値によって判別不可能であるような場合、特性値の種類の変更を指示することができる。すなわち、検査対象物が正常であるか否かを判別するための特性値として、該特性値の種類が不適当である場合、別の種類の特性値に変更することができる。このため、判定装置は、検査対象物が正常であるか否かを判定するために利用する特性値を適切なものとすることができる。
【００４９】
本発明に係る判定装置は、上記した構成において、検査対象物から上記特性値を取得する取得手段と、ユーザによる、新たな検査対象物からの特性値の取得指示を受付ける取得指示受付け部とを備え、取得指示受付け部が新たな検査対象物からの特性値の取得指示を受付けた場合、上記取得手段が、新たな検査対象物から特性値を取得することが好ましい。
【００５０】
上記構成によると、取得指示受付け部を備えているため、ユーザからの新たな検査対象物からの特性値の取得指示を受付けることができる。また、取得手段を備えているため、取得指示受付部によって受付けた取得指示に応じて、新たな検査対象物から特性値を取得することができる。
【００５１】
ここで、ユーザにより新たな検査対象物から特性値を取得するように指示される場合とは、特性値を取得する検査対象物の個数が少ないため、該特性値から算出した過検出率および予測値に対する信頼性が低い場合である。このため、本実施の形態に係る判定装置は、過検出率および該過検出率の予測値に対する信頼性が低い場合、さらに新たな検査対象物から特性値を取得し追加することができるため、信頼性のある過検出率および該過検出率の予測値が得られるまで特性値を取得する検査対象物の個数を増やすことができる。
【００５２】
このように、信頼性のある過検出率および該過検出率の予測値を得ることができるため、ユーザに対して検査対象物が正常であるか否かを確度よく判定できる閾値を設定するための情報を提供することができる。
【００５３】
本発明に係る判定装置は、上記した構成において、上記過検出率および上記見逃し率と、上記過検出率および上記見逃し率の予測値とを算出するための特性値の種類を変更する変更手段と、許容される過検出率の値および許容される見逃し率の値を示す許容情報を保持する記憶装置と、上記許容情報と、上記予測値算出手段によって算出された過検出率および見逃し率の予測値とに基づき、上記過検出率の予測値が許容値以下となり、かつ上記見逃し率の予測値が許容値以下となる、閾値の設定可能な範囲である閾値範囲情報を求め、この求めた閾値範囲情報に応じて、正常な検査対象物それぞれから取得した特性値の分布と、異常が生じている検査対象物それぞれから取得した特性値の分布とを判別するための閾値を設定することができるか否かを判定する閾値設定判定手段と、上記閾値設定判定手段が、上記閾値によって、正常な検査対象物それぞれから取得した特性値の分布と異常が生じている検査対象物それぞれから取得した特性値の分布とを判別不可能であると判定した場合、上記出力手段は、閾値の変化に応じた、上記算出手段によって算出された過検出率および見逃し率の変化を示すグラフと、閾値の変化に応じた、上記予測値算出手段によって算出された過検出率および見逃し率の予測値の変化を示すグラフとを出力し、上記閾値設定判定手段が、上記閾値によって、正常な検査対象物それぞれから取得した特性値の分布と異常が生じている検査対象物それぞれから取得した特性値の分布とを判別不可能であると判定した場合、取得する特性値の種類を変更するように上記変更手段に指示するように構成されていてもよい。
【００５４】
上記構成によると、閾値設定判定手段を備えているため、上記閾値によって、正常な検査対象物それぞれから取得した特性値の分布と異常が生じている検査対象物それぞれから取得した特性値の分布とを、過検出率および見逃し率それぞれが生じる割合が許容される範囲におさまるように判別できるか否かを判定することができる。
【００５５】
なお、ここで、閾値によって、正常な検査対象物それぞれから取得した特性値の分布と異常が生じている検査対象物それぞれから取得した特性値の分布とを判別できるとは、特性値から検査対象物が正常であるか否かを判定できる閾値を設定できるということである。
【００５６】
また、上記判定装置では、閾値設定判定手段が、上記閾値によって、正常な検査対象物それぞれから取得した特性値の分布と異常が生じている検査対象物それぞれから取得した特性値の分布とを判別不可能であると判定した場合、取得する特性値の種類を変更するように上記変更手段に指示することができる。
【００５７】
このため、判定装置は、検査対象物が正常であるか否かを判定するために利用する特性値の種類を適切なものとすることができる。
【００５８】
また、適切な特性値から算出した過検出率の変化を示すグラフと、該過検出率の予測値の変化を示すグラフとを出力することができるため、本発明に係る判定装置は、ユーザに対して検査対象物が正常であるか否かを確度よく判定できる閾値を設定するための情報を提供することができる。
【００５９】
また、本発明に係る判定装置は、上記した構成において、上記過検出率および上記見逃し率と、上記過検出率および上記見逃し率の予測値とを算出するための特性値の種類を変更する変更手段と、複数の正常な検査対象物それぞれから取得した特性値の集合の分布の平均に対する、複数の異常が生じている検査対象物それぞれから取得した各特性値のマハラノビス距離の平方を求め得られた値を望大特性とし、該望大特性のＳＮ比を求め得られた値に応じて、正常な検査対象物それぞれから取得した特性値の分布と、異常が生じている検査対象物それぞれから取得した特性値の分布とを判別するための閾値を設定することができるか否かを判定する閾値設定判定手段と、上記閾値設定判定手段が、上記閾値によって、正常な検査対象物それぞれから取得した特性値の分布と異常が生じている検査対象物それぞれから取得した特性値の分布とを判別可能であると判定した場合、上記出力手段は、閾値の変化に応じた、上記算出手段によって算出された過検出率および見逃し率の変化を示すグラフと、閾値の変化に応じた、上記予測値算出手段によって算出された過検出率および見逃し率の予測値の変化を示すグラフとを出力し、上記閾値設定判定手段が、上記閾値によって、正常な検査対象物それぞれから取得した特性値の分布と異常が生じている検査対象物それぞれから取得した特性値の分布とを判別不可能であると判定した場合、取得する特性値の種類を変更するように上記変更手段に指示するように構成されていてもよい。
【００６０】
上記構成によると、閾値設定判定手段を備えているため、上記閾値によって、正常な検査対象物それぞれから取得した特性値の分布と異常が生じている検査対象物それぞれから取得した特性値の分布とを、過検出率および／または見逃し率それぞれが生じる割合が許容される範囲におさまるように判別できるか否かを判定することができる。
【００６１】
なお、ここで、閾値によって、正常な検査対象物それぞれから取得した特性値の分布と異常が生じている検査対象物それぞれから取得した特性値の分布とを判別できるとは、特性値から検査対象物が正常であるか否かを判定できる閾値を設定できるということである。
【００６２】
また、上記判定装置では、閾値設定判定手段が、上記閾値によって、正常な検査対象物それぞれから取得した特性値の分布と異常が生じている検査対象物それぞれから取得した特性値の分布とを判別不可能であると判定した場合、取得する特性値の種類を変更するように上記変更手段に指示することができる。
【００６３】
このため、判定装置は、検査対象物が正常であるか否かを判定するために利用する特性値の種類を適切なものとすることができる。
【００６４】
また、適切な特性値から算出した過検出率の変化を示すグラフと、該過検出率の予測値の変化を示すグラフとを出力することができるため、本発明に係る判定装置は、ユーザに対して検査対象物が正常であるか否かを確度よく判定できる閾値を設定するための情報を提供することができる。
【００６５】
また、本発明に係る判定装置は、上記した構成において、検査対象物から上記特性値を取得する取得手段と、上記算出手段によって算出された過検出率および見逃し率と、上記予測値算出手段によって算出された過検出率および見逃し率の予測値とに基づき、過検出率と過検出率の予測値との差、および見逃し率と見逃し率の予測値との差を求め、これらの差の組み合わせが所定値以上であるか否かを判定する差分判定手段とを備え、上記差分判定手段が、上記差が所定値以上であると判定した場合、取得手段に対して、さらなる検査対象物からの特性値の取得を指示するように構成されていてもよい。
【００６６】
上記構成によると、差分判定手段を備えているため、過検出率と該過検出率の予測値との差、および見逃し率と該見逃し率の予測値との差が所定値以上であるか否かを判定することができる。なお、この所定値は、信頼性を有する過検出率および見逃し率と該過検出率および見逃し率の予測値とを得ることができるだけの個数分だけ、検査対象物が存在するものと判断できる範囲で設定される値である。
【００６７】
ここで過検出率と該過検出率の予測値との差、および見逃し率と該見逃し率の予測値との差が所定値以上であるとは、過検出率および見逃し率と該過検出率および見逃し率の予測値とが十分な信頼性を有していないということである。すなわち、過検出率と該過検出率の予測値、および見逃し率と該見逃し率の予測値とを算出するために利用する特性値を抽出する検査対象物の個数が少ないということである。
【００６８】
上記判定装置は、上記差が所定値以上であると判定した場合、取得手段にさらなる特性値の取得を指示することができる。このため、信頼性のある過検出率とが該検出率の予測値、および見逃し率と該見逃し率の予測値とを算出できるだけの個数分の検査対象物から特性値を取得するこができる。
【００６９】
したがって、信頼性のある過検出率と該過検出率の予測値、および見逃し率と見逃し率の予測値を得ることができるため、ユーザに対して検査対象物が正常であるか否かを確度よく判定できる閾値を設定するための情報を提供することができる。
【００７０】
また、本発明に係る判定装置は、上記した構成において、ユーザからの、上記閾値を指定する情報を受付ける閾値指定受付け部をさらに備え、上記出力手段が、上記閾値指定受付け部によって受付けた閾値に応じて、算出手段によって算出された過検出率および見逃し率と予測値算出手段によって算出された過検出率および見逃し率の予測値とを出力するように構成されていることが好ましい。
【００７１】
上記構成によると、算出手段によって算出された過検出率および見逃し率と、予測値算出手段によって算出された過検出率および見逃し率の予測値とを出力することができるため、ユーザによって設定された閾値の適否を確認することができる。
【００７２】
また、本発明に係る判定装置では、上記した構成において、上記予測値算出手段は、複数の正常な検査対象物それぞれから取得した特性値の集合に関して、該特性値の分布の平均に対する各特性値のマハラノビス距離の平方を求め得られた値の集合に対して、Ｆ分布の上側確率を求めることにより予測値を算出する構成であってもよい。
【００７３】
上記予測値算出手段は、複数の検査対象物それぞれから取得した特性値を組み合わせて生成した、複数の集合を訓練サンプルとし、該訓練サンプルにおける各集合において上記過検出率および見逃し率を、過検出率および見逃し率の予測値として算出する構成であってもよい。
【００７４】
なお、上記調整装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記各手段として動作させることにより上記調整装置をコンピュータにて実現させる調整装置の制御プログラムを記録したコンピュータ読取り可能な記録媒体も本発明の範疇に入る。
【発明の効果】
【００７５】
本発明に係る判定装置は、以上のように、検査対象物から該検査対象物が正常であるか否か区別するための要素となる情報である特性値を取得し、この特性値に応じて検査対象物が正常であるか否かを判定するための判定装置であって、複数の正常な検査対象物それぞれから取得した特性値の分布情報から、該検査対象物が正常であるか否かを判定するための閾値を任意に設定した場合における、正常な検査対象物を異常であると判定する割合である過検出率を算出する算出手段と、統計的手法により、上記特性値に基づいて上記過検出率の予測値を算出する予測値算出手段と、上記閾値の変化に応じた、上記算出手段によって算出された過検出率の変化を示すグラフと、閾値の変化に応じた、上記予測値算出手段によって算出された過検出率の予測値の変化を示すグラフとを出力する出力手段とを備えることを特徴とする。
【００７６】
したがって、本発明に係る判定装置は、ユーザに対して検査対象物が正常であるか否かを確度よく判定できる閾値を設定するための情報を提供することができるという効果を奏する。
【００７７】
また、本発明に係る判定装置は、以上のように、検査対象物から該検査対象物が正常であるか否か区別するための要素となる情報である特性値を取得し、この特性値に応じて検査対象物が正常であるか否かを判定するための判定装置であって、複数の正常な検査対象物それぞれから取得した特性値の分布情報から、該検査対象物が正常であるか否かを判定するための閾値を任意に設定した場合における、正常な検査対象物を異常であると判定する割合である過検出率を算出する算出手段と、統計的手法により、上記特性値に基づいて上記過検出率の予測値を算出する予測値算出手段と、閾値の変化に応じた、上記予測値算出手段によって算出された過検出率の予測値の変化を示すグラフとを出力する出力手段と、検査対象物から上記特性値を取得する取得手段と、上記算出手段によって算出された過検出率と、上記予測値算出手段によって算出された過検出率の予測値とに基づき、算出された過検出率と該過検出率の予測値との差を求め、この差が所定値以上であるか否かを判定する差分判定手段とを備え、上記差分判定手段が、上記差が所定値以上であると判定した場合、上記取得手段に対して、新たな検査対象物からの特性値の取得を指示することを特徴とする。
【００７８】
したがって、信頼性のある過検出率の予測値を得ることができるため、ユーザに対して検査対象物が正常であるか否かを確度よく判定できる閾値を設定するための情報を提供することができるという効果を奏する。
【発明を実施するための最良の形態】
【００７９】
本発明の一実施形態について図１ないし図２４に基づいて説明すると以下の通りである。すなわち、本発明に係る検査システム１００は、製造されたエンジン１が良品であるのか否かを調べるものであり、図２に示すように、マイク２、加速度ピックアップ３、アンプ４、ＡＤ変換器５、および検査装置１０を備えてなる構成である。この図２は、本発明の実施形態を示すものであり、検査システム１００の要部構成を示すブロック図である。
【００８０】
すなわち、本実施の形態に係る検査システム１００では、検査対象物（サンプル）が、製造されたエンジン１である。また、良品とは、正常に駆動するエンジン１であり、正常にエンジン１が駆動した際に生じる音および振動と、該エンジン１が不良品である場合に生じる音および振動とは異なることとなる。このため、この生じる音および／または振動に基づいてエンジン１が良品であるか否かを判定することができる。
【００８１】
上記マイク２は、エンジン１に接触または近接するように配されており、駆動させたエンジン１から生じる音のデータ（音データ）を収集するものである。マイク２は、収集した音データをアンプ４に送信する。
【００８２】
上記加速度ピックアップ３は、エンジン１に接触または近接するように配されており、駆動させたエンジン１から生じる振動のデータ（振動データ）を収集するものである。加速度ピックアップ３は、収集した振動データをアンプ４に送信する。
【００８３】
アンプ４は、上記マイク２から受信した音データと、上記加速度ピックアップ３から受信した振動データとをそれぞれ増幅するものである。アンプ４は、増幅させた音データおよび振動データをＡＤ変換器５に送信する。
【００８４】
ＡＤ変換器５は、アンプ４にて増幅された音データおよび振動データをそれぞれデジタルデータに変換するものであり、変換した音データおよび振動データそれぞれのデジタルデータを検査装置１０に送信する。
【００８５】
検査装置１０は、受信した音データおよび／または振動データそれぞれから波形データを取得し、これら波形データから特徴量（特性値）をそれぞれ抽出するとともに、抽出した特徴量を利用して検査対象であるエンジン１が良品であるか否かを判定するものである。また、上記検査装置１０は、上記抽出した特徴量に基づき上記エンジン１が良品であるか否かを判定するための閾値ｔを設定するものでもある。
【００８６】
なお、上記特徴量とは、エンジンを駆動させた際に生じる音または振動から得られる値であり、該エンジンが良品である場合と不良品である場合とを区別可能とする要素（計測項目）の値である。すなわち、上記特徴量とは、エンジン１が良品であるか否かを判定するために用いる物理的特性であり、製品の品質をよく表す特性（品質特性）としてみなすことができるものである。
【００８７】
より具体的には、上記特徴量とは、例えば図３に示すように、音データまたは振動データから得られる波形において所定時間範囲（例えばＴＬ１．０〜ＴＨ４．０）における閾値（例えばＰＴ＝２・０）以上となる波形のピーク数であってもよい。あるいは、所定時間範囲における波形のピークのうち、所定順位の大きさとなるピーク値であってもよい。
【００８８】
なお、この図３は本実施の形態に係る検査装置１０において利用される特徴量の一例を示す図である。例えば、図３に示すように、所定時間範囲ＴＬ１．０〜ＴＨ４．０において、所定順位として例えばＲＰ＝１などのように指定された最も値が大きくなる順位のピーク値、Ｓ（ｔ）＝４．０であってもよい。
【００８９】
なお、上記所定時間範囲を規定する上限値（時間）ＴＨ、下限値(時間)ＴＬ、閾値ＰＴ、所定順位ＲＰそれぞれの値は、パラメータとして検査装置１０に入力され設定される。
【００９０】
また、特徴量は上記したように、所定時間範囲内における波形データのピーク数、所定時間範囲内における、特定順位となる波形データのピーク値に限定されるものではなく、エンジンが良品である場合と不良品である場合とを区別可能とする要素の値であればよい。また、特徴量は、音データまたは振動データそれぞれから少なくも１種類以上抽出されればよい。
【００９１】
以上のように本実施の形態に係る検査システム１００は、マイク２によって検出した音データおよび加速度ピックアップ３によって検出した振動データそれぞれを検査装置１０に入力することができる。また、検査装置１０は、入力された音データおよび振動データそれぞれの波形データを利用して特徴量を抽出し、該特徴量に基づき検査対象であるエンジン１が良品であるか否かを判定することができる。
【００９２】
次に本実施の形態に係る検査装置１０の構成について図４を参照して説明する。なお、図４は本発明の実施形態を示すものであり、検査装置１０の要部構成を示すブロック図である。
【００９３】
まず図４に示すように、本実施の形態に係る検査装置１０は、検査装置制御部１１、データ格納部３０、表示部４０、および入力部５０を備えてなる構成である。
【００９４】
データ格納部３０は、読み書き可能な記録媒体であり、例えばハードディスクなどにより実現される。このデータ格納部３０には、図５に示すように、後述する閾値設定制御部２０によって音データおよび／または振動データから抽出された特徴量の抽出順番ごとに割り当てられているＩＤ番号と、該ＩＤ番号に対応する特徴量を有するエンジン１が良品であるか否かを示す情報（ＯＫ／ＮＧ）と、抽出された特徴量の種類（検査項目）ごとの値、すなわち特徴量Ｘ、特徴量Ｙ、および特徴量Ｚそれぞれの値との対応関係を示す特徴量テーブル情報３１が記録される。この図５は、本実施の形態に係る特徴量テーブル情報３１の一例を示す図である。
【００９５】
なお、本実施の形態に係る検査装置１０では、図５に示すように、良品サンプルと不良品サンプルとの特徴量それぞれを共に記録した特徴量テーブル情報３１をデータ格納部３０に記憶する構成であった。しかしながら、検査装置１０は、図１９（ａ）および図１９（ｂ）に示すように良品のエンジン１の音データまたは振動データから抽出した特徴量と、不良品のエンジン１の音データまたは振動データから抽出した特徴量とをそれぞれ別々のテーブルとしてデータ格納部に記録する構成であってもよい。
【００９６】
なお、音データおよび／または振動データから抽出される特徴量は特徴量Ｘ、特徴量Ｙ、および特徴量Ｚの３種類に限定されるものではなく、１種類であってもよいし３種類以上であってもよい。
【００９７】
また、このデータ格納部３０には、上記特徴量テーブル情報３１以外にも、閾値設定データ３２、許容誤判別率データ３３、および内部管理データ３４がさらに記憶されている。この閾値設定データ３２は、図６に示すように複数の閾値候補（ｔ＝１．０、２．０、…１００．０）を記憶したテーブルであって、閾値設定制御部２０によって見逃し率および過検出率を算出するために用いられる情報である。なお、この図６は、本実施の形態に係る閾値設定データ３２の一例を示す図である。
【００９８】
また、上記許容誤判別率データ３３は、閾値設定制御部２０によって過検出率の期待値（予測値）と見逃し率の期待値とが十分に分離可能な状態であるか否かを判定するために用いられる情報である。ここで、過検出率および見逃し率の期待値とは、限られた個数の検査対象物であるエンジン１から抽出した特徴量を利用してエンジン１の母集団の過検出率および見逃し率を予測した値である。
【００９９】
この許容誤判別率データ３３は、図７に示すように、過検出率の期待値および見逃し率の期待値それぞれについての許容値（許容過検出率および許容見逃し率）が記録されている。なお、この許容過検出率とは、過検出が生じても許容される割合を示す情報であり、許容見逃し率とは、見逃しが生じても許容される割合を示す情報である。また、この図７は、本実施の形態に係る許容誤判別率データ３３の一例を示す図である。
【０１００】
上記内部管理データ３４は、図１２に示すように後述する閾値設定制御部２０によって算出された、閾値候補ごとに応じた見逃し率の実測値と、見逃し率の期待値と、過検出率の実測値と、過検出率の期待値との対応関係を示すテーブルである。なお、この図１２は、本実施の形態に係る内部管理データ３４の一例を示す図である。また、上記検出率および見逃し率の実測値とは、実際に良否が判定された複数のエンジン１から取得した特徴量を用いて求めた過検出率および見逃し率である。
【０１０１】
表示部４０は、検査装置制御部１１からの指示に応じて、各種データ、または該データに基づくグラフ等を表示するものである。なお、この表示部４０は例えば、ＬＣＤ（Liquid Crystal Display）などによって実現することができる。
【０１０２】
入力部５０は、ユーザが本実施の形態に係る検査装置１０に対して操作指示等を入力するための外部入力手段である。この操作指示には、例えば閾値ｔの入力指示または決定指示などが含まれる。この入力部５０は、外部入力手段として例えば、キーボード、マウス、タッチパネル等によって実現できる。
【０１０３】
上記検査装置制御部１１は、本実施の形態に係る検査装置が備える各部を制御するものである。検査装置制御部１１は、図４に示すように、機能ブロックとして、データ収集制御部１２、良否判定部１３、および閾値設定制御部２０を備える。なお、この機能ブロックは、検査装置制御部１１がＣＰＵなどによって実現される場合、該ＣＰＵが不図示のＲＯＭなどからプログラムを読み出し、不図示のＲＡＭなどで実行することにより実現できる。
【０１０４】
上記データ収集制御部１２は、マイク２によって検出された音データおよび加速度ピックアップ３によって検出された振動データそれぞれから特徴量を抽出し収集するものである。また、抽出し収集した特徴量を良否判定部１３に通知し該特徴量を有するエンジン１が良品であるか否かを判定するように指示するものでもある。
【０１０５】
すなわち、データ収集制御部１２は、入力部５０または閾値設定制御部２０から特徴量の収集指示を受信した場合、抽出した特徴量を、該特徴量を有するエンジン１が良品であるか否かを示す情報（ＯＫ／ＮＧ）と、データＩＤとに対応付けて、特徴量テーブル情報３１としてデータ格納部３０に記憶させる。
【０１０６】
なお、上記良品（ＯＫ）または不良品（ＮＧ）を示す情報は、下記のようにして抽出された特徴量と対応付けられる。すなわち、特徴量テーブル情報３１には、予め良品または不良品であると判別されているエンジン１の音データおよび／または振動データから抽出した特徴量が記録されるようになっている。そして、データ収集制御部１２がエンジン１の音データおよび／または振動データから特徴量を抽出する際に、入力部５０によって、現在、抽出された特徴量を有するエンジン１が良品であるか否かを示す情報がデータ収集制御部１２に通知される。そこで、データ収集制御部１２は、入力部５０から通知された良品であるか否かを示す情報と、抽出した特徴量とを対応付けて特徴量テーブル情報３１としてデータ格納部３０に記録する。
【０１０７】
なお、上記良品（ＯＫ）または不良品（ＮＧ）を示す情報を、抽出された特徴量と対応付ける方法はこれに限定されるものではなく、例えば、入力部５０が、特徴量の抽出順番を示すＩＤ番号とともにエンジン１が良品であるのか否かを示す情報（ＯＫ／ＮＧ）を、特徴量が全て抽出された後にデータ収集制御部１２に送信する。データ収集制御部１２は、上記ＩＤ番号に応じて取得した特徴量に良品（ＯＫ）または不良品（ＮＧ）を示す情報を対応付ける。
【０１０８】
一方、入力部５０から特徴量を抽出するエンジン１が良品であるか否かを判定する旨の指示を受付けたら、データ収集制御部１２は、抽出した特徴量を良否判定部１３に送信し、この特徴量を有するエンジン１が良品であるか否かを判定するように指示する。
【０１０９】
良否判定部１３は、データ収集制御部１２から受信した特徴量に対して、後述する閾値設定制御部２０から受信した閾値ｔを利用して、該特徴量を有するエンジン１が良否であるか否かを判定するものである。良否判定部１３は判定した結果を表示部４０に出力し表示させる。
【０１１０】
閾値設定制御部２０は、データ格納部３０に記憶された特徴量テーブル情報３１を参照して、良品または不良品を判別するための閾値ｔを設定するものである。設定した閾値ｔを良否判定部１３に送信する。
【０１１１】
ここで、閾値設定制御部２０の詳細な構成について図１を参照して説明する。図１は本発明の実施形態を示すものであり、検査装置１０の閾値設定制御部２０に係る要部構成の一例を示すブロック図である。
【０１１２】
図１に示すように、上記閾値設定制御部２０は、機能ブロックとして、対象特徴量指定部２３、特徴量データ読み出し部２４、誤判別率実測計算部２５、誤判別率期待値計算部２６、余裕度評価部２７、乖離度評価部２８、表示制御部２９、および実測値・期待値出力部２１を備えてなる構成である。
【０１１３】
対象特徴量指定部２３は、入力部５０からの指示に応じて、データ格納部３０に記憶された特徴量テーブル情報３１に含まれる特徴量Ｘ、特徴量Ｙ、および特徴量Ｚのうち、どの特徴量を利用するか特徴量の種類（検査項目）を指定するものである。この対象特徴量指定部２３は、指定した特徴量の種類を示す情報を特徴量データ読み出し部２４に通知し、この指定した種類の特徴量についてデータを収集するように指示する。
【０１１４】
すなわち、対象特徴量指定部２３は、上記特徴量の指定に関する情報とともに閾値ｔの設定開始指示を入力部５０から受付けると、この指示に応じて、指定された種類の特徴量の収集を特徴量データ読み出し部２４に対して指示する。
【０１１５】
また、この対象特徴量指定部２３は、後述する余裕度評価部からの指示に応じて利用する特徴量の種類の指定を変更させるものでもある。
【０１１６】
特徴量データ読み出し部２４は、対象特徴量指定部２３からの指示に応じて、データ格納部３０に記憶されている特徴量テーブル情報３１を参照して、所定個数のエンジン１（検査対象物）それぞれから抽出した特徴量と、該特徴量を示すエンジン１それぞれが良品であるか否かを示す情報との対応関係を示す情報を読み出すものである。特徴量データ読み出し部２４は、読み出した情報を、誤判別率実測値計算部２５および誤判別率期待値計算部２６に送信し、該情報に基づく演算を行うように指示する。
【０１１７】
誤判別率実測値計算部２５は、特徴量データ読み出し部２４からの指示に応じて、受信した情報に基づき、誤判別率を算出するものである。上記誤判別率実測値計算部２５は、特徴量データ読み出し部２４から受信した、上記情報に基づき、例えば図２５に示すように、特徴量を抽出したエンジン１（サンプル）中において良品となるエンジン１（良品サンプル）が有する特徴量のヒストグラムと、不良品となるエンジン１（不良品サンプル）が有する特徴量のヒストグラムとを求め、これらヒストグラムを参照して誤判別率（過検出率および見逃し率）を算出する。
【０１１８】
より詳細には、誤判別率実測計算部２５は、図２５に示すような特徴量の取りえる範囲を、所定範囲ごとに複数に分割して示されるヒストグラムの値を近似して例えば、図８に示すような確率密度関数を求める。そして、この求めた確立密度関数において、閾値ｔに設定した場合に得られる値から誤判別率（過検出率と見逃し率）の近似値を求め図９に示すような、累積密度関数を得る。
【０１１９】
なお、この図８は、良品サンプルおよび不良品サンプルそれぞれの分布を示す確率密度関数の一例を示すグラフであり、縦軸を良品または不良品となるサンプルの出現頻度数とし、横軸を特徴量としている。また、この図９は、閾値の変化に応じた、過検出率の近似値と見逃し率の近似値との変化の一例を示すグラフであり、縦軸を過検出率となる割合または見逃し率となる割合である誤判別率とし、横軸を特徴量としている。
【０１２０】
ここで、上記閾値ｔの値としては、上記したように予めデータ格納部３０に、閾値設定データ３２として複数の閾値候補（ｔ＝１．０、２．０、…１００．０）が記憶されている。したがって、誤判別率実測値計算部２５は、図８に示す確率密度関数において、閾値設定データ３２として記録されている閾値候補それぞれの値について見逃し率および過検出率の実測値の近似値を算出しプロットすると、図９に示す累積密度関数を得ることができる。
【０１２１】
すなわち、図９に示すように過検出率の近似値は、良品である複数のエンジン１から得られた特徴量の確率密度関数のパーセント点ｔでの上側確率であり、見逃し率の近似値は、不良品である複数のエンジン１の音データから得られた特徴量の確率密度関数のパーセント点ｔでの下側確率である。このようにして、誤判別率実測計算部２５は例えば図９に示すような累積密度関数を誤判別率として求める。
【０１２２】
なお、誤判別率実測計算部２５により得られる誤判別率は上記した累積密度関数として示される値に限定されるものではなく、例えば、図２５に示すヒストグラムから直接算出された、例えば図２６のような関係で示される値であってもよい。
【０１２３】
しかしながら、本実施の形態に係る検査装置１０のように、誤判別率として図９に示すような累積密度関数の値を求める構成の方が、例えば図２６のように、閾値ｔを変化させたときの誤判別率がステップ状に変化する関係を用いるよりも所望の過検出率、見逃し率を満たす閾値ｔを決定し易いという点で有利である。
【０１２４】
つまり、上記図２６に示すような関係によって示される値を誤判別率として用いる場合、閾値ｔを変化させたときの誤判別率がステップ状に変化してしまう。このようにステップ状に変化する場合、同じ誤判別率別率をとる閾値が複数存在してしまい、一意に定まらないため、所望の過検出率、見逃し率を満たす閾値tを決定することが困難となる。
【０１２５】
これに対して本実施の形態に係る検査装置１０のように誤判別率として図９に示すような累積密度関数によって示される値を求める構成の方が、閾値ｔを変化させた際、誤判別率の近似値が連続的に変化するため、所望の過検出率、見逃し率を満たすｔを決定しやすいという利点がある。なお、誤判別率実測計算部２５によって算出された誤判別率を誤判別率の実測値と称する。
【０１２６】
誤判別率実測値計算部２５は、閾値設定データ３２の複数の閾値候補それぞれに対応した誤判別率の実測値を内部管理データ３４としてデータ格納部３０に記録する。
【０１２７】
誤判別率期待値計算部２６は、特徴量データ読み出し部２４から受信した情報に基づき、誤判別率の予測値を算出するものである。なお、誤判別率期待値計算部２６は、特徴量テーブル情報３１から読み出すサンプルを訓練サンプルとして、例えば、Ｌｅａｖｅ−ｏｎｅ−ｏｕｔ法、あるいはブートストラップ法によって誤判別率の予測値を算出する。なお、この訓練サンプルとは、例えば、Ｌｅａｖｅ−ｏｎｅ−ｏｕｔ法などによって誤判別率の予測値を算出するための学習に用いられるサンプルである。
【０１２８】
例えば、本実施の形態に係る検査装置１０では、誤判別率期待値計算部２６が誤判別率の期待値を、ブートストラップ法を用いて下記のようにして求めることができる。
【０１２９】
すなわち、まず、特徴量テーブル情報３１から読み出したｍ個のサンプルから復元抽出したＢセットのブートストラップサンプル（ｍ個）を用意する。そして、各セットにつき、閾値設定データ３２における閾値候補（閾値ｔ＝１．０、２．０、…１００．０）で誤判別率を算出する。この演算操作をＢ回行って得られた誤判別率の平均を、各閾値ｔでの誤判別率の期待値として求める。
【０１３０】
あるいは、利用する特徴量が、特徴量の値がサンプルの選び方によって異なるような特徴量の場合（たとえばマハラノビス距離、線形判別関数、ＳＶＭの識別長平面からの距離等）、誤判別率期待値計算部２６が誤判別率の期待値を、Ｌｅａｖｅ−ｏｎｅ−ｏｕｔ法を用いて下記のようにして求めてもよい。
【０１３１】
すなわち、まず、特徴量テーブル情報３１から読み出したｍ個のサンプルを、評価用サンプル（１個）と訓練用サンプル（ｍ−１個）とに分割した組をＬセット準備する。そして、各セットごとに訓練用サンプルに基づいて全サンプルの特徴量を計算し、各セットにつき上記評価用サンプルに対する閾値設定データ３２における閾値候補（閾値ｔ＝１．０、２．０、…１００．０）での誤判別率を算出する。この演算操作をＬ回行って得られる誤判別率の割合を期待値とする。
【０１３２】
誤判別率期待値計算部２６は、閾値設定データ３２の複数の閾値候補それぞれに対応した誤判別率の期待値を内部管理データ３４としてデータ格納部３０に記録する。すなわち、誤判別率実測値計算部２５によって算出された誤判別率の実測値と誤判別率期待値計算部２６によって算出された誤判別率の期待値とは、それぞれが各閾値候補ごとに対応が取れるように記録される。
【０１３３】
誤判別率期待値計算部２６は、各閾値候補ごとに誤判別率の期待値を算出すると、余裕度評価部２８に誤判別率の期待値における過検出率と見逃し率との余裕度を評価するように指示する。
【０１３４】
余裕度評価部２７は、誤判別率実測値計算部２５からの指示に応じて、データ格納部３０に記憶されている内部管理データ３４と、許容誤判別率データ３３とを参照して、過検出率の期待値と見逃し率の期待値とが十分に分離可能な状態であるか否かを評価するものである。
【０１３５】
すなわち、上記したように、本実施の形態に係る検査装置１０では、許容誤判別率データ３３として、予め許容される過検出率（許容過検出率）と見逃し率（許容見逃し率）とが設定されている。
【０１３６】
ところで、過検出率の期待値と見逃し率の期待値とが十分に分離可能な状態であるとは、例えば、図１０（ａ）に示すように、許容過検出率以上となる特徴量値と、許容見逃し率以上となる特徴量値との間に十分な間隔がある状態である。そこで、過検出率の期待値と許容過検出率とが一致する際の特徴量の値と、見逃し率の期待値と許容見逃し率とが一致する際の特徴量の値との差を余裕度とする。
【０１３７】
図１０(ａ)のように、余裕度が大きい場合、許容過検出率以上となる特徴量値と、許容見逃し率以上となる特徴量値との間において閾値ｔを設けることができるため、過検出率の期待値と見逃し率の期待値とを十分に判別することができる。したがって、本実施の形態に係る検査装置１０では、許容過検出率および許容見逃し率を満たすように閾値ｔを設定することができ、良品あるいは不良品となるエンジン１の判別を確度よく行うことができることとなる。
【０１３８】
一方、図１０（ｂ）に示すように、許容過検出率以上となる特徴量の値と、許容見逃し率以上となる特徴量の値との間に十分な間隔が存在しない状態、すなわち余裕度が小さい状態では、過検出率の期待値と見逃し率の期待値とを十分に判別することができないため、許容過検出率および許容見逃し率を満たように閾値ｔを設定することが困難となる。
【０１３９】
なお、この図１０は、閾値の変化に応じた過検出率の期待値の変化と見逃し率の期待値の変化との一例を示すグラフであり、同図（ａ）は、許容過検出率以下となる範囲でありかつ、許容見逃し率以下となる範囲が大きくなり余裕度が大きい場合を示しており、同図（ｂ）は、許容過検出率以下となる範囲でありかつ、許容見逃し率以下となる範囲が小さくなり余裕度が小さい場合を示す。
【０１４０】
なお、本実施の形態に係る検査装置１０では、上記した余裕度が所定値以上ある場合に余裕度が大きいと判定し、所定値未満である場合は余裕度が小さいと判断するように構成している。そして、余裕度評価部２７は、上記余裕度が大きく、十分な余裕度が確保されていると評価した場合、乖離度評価部２８に、誤判別率の実測値と誤判別率の期待値との差分である乖離度を評価するように指示する。一方、余裕度評価部２７は、上記余裕度が小さく、十分な余裕度が確保されていないと評価した場合、対象特徴量指定部２３に、利用する特徴量の種類を変更させるように指示する。
【０１４１】
乖離度評価部２８は、余裕度評価部２７からの指示に応じて、誤判別率実測値計算部２５によって算出された誤判別率の実測値と、誤判別率期待値計算部２６によって算出された誤判別率の期待値との差分である乖離度を算出するものである。
【０１４２】
通常、誤判別率の期待値を算出するために用いる既知サンプル数が極端に少ない場合、誤判別率期待値計算部２６により算出された誤判別率の期待値の推定精度が低下する。このため、精度の悪い誤判別率の期待値から閾値ｔを決定し、製造されたエンジン１が良品であるか否かを判定した場合、正確なエンジン１の良否判定を行うことができなくなる。なお、上記既知サンプルとは、サンプルの中で既に検査が実施され特徴量とこのサンプルの良否との判定結果が分かっているものである。これに対して、サンプルの中で、これから良否の判定検査を行おうとする製品であり、まだ良否の判定結果がわかっていないものを未知サンプルと称する。この未知サンプルには、まだ製造されていないサンプルも仮想的に含めてもよい。
【０１４３】
ところで、上記既知サンプル数が少ない場合、該既知サンプルから求めた誤判別率の実測値は、既知サンプル数が無限にあると仮定した場合に得られる、真の誤判別率と比較して小さく見積もられる傾向が顕著となる。同様に、誤判別率の期待値は誤判別率の実測値よりも真の誤判別率に近い値となるため、誤判別率の実測値は、誤判別率の期待値よりも小さく見積もられる。例えば、図１１（ａ）に示すように、既知サンプルが少ない場合、実線で示す過検出率の期待値と破線で示す過検出率の実測値との間に大きな差異が生じる。また、実線で示す見逃し率の期待値と破線で示す見逃し率の実測値との間に大きな差異が生じる。
【０１４４】
逆に既知サンプルの数が十分である場合、図１１（ｂ）に示すように、実線で示す過検出率の期待値と破線で示す過検出率の実測値との間には、図１１（ａ）の場合と比較して大きな差異が生じない。また、実線で示す見逃し率の期待値と破線で示す見逃し率の実測値との間においても、図１１（ａ）の場合と比較して大きな差異が生じない。
【０１４５】
なお、図１１は、閾値の変化に応じた過検出率の実測値と期待値との変化、および見逃し率の実測値と期待値との変化の一例を示すグラフであり、同図（ａ）は、過検出率の実測値と期待値との差、および見逃し率の実測値と期待値との差が大きくなる場合を示しており、同図（ｂ）は、過検出率の実測値と期待値との差、および見逃し率の実測値と期待値との差が小さい場合を示す。
【０１４６】
つまり、既知サンプル数が少なすぎるため、真の誤判別率と誤判別率の実測値との間において大きな差異が生じる場合、この少ない既知サンプル数から得られた誤判別率の実測値および該既知サンプルから求めた期待値の信頼性は低いものと言える。また、このことから、既知サンプル数が少ないため、得られた誤判別率の実測値の信頼性が低くなる場合、誤判別率の実測値と誤判別率の期待値との間においても差異が大きくなる。
【０１４７】
そこで、本実施の形態に係る閾値設定制御部２０において閾値ｔを決定する場合、誤判別率の期待値だけではなく、誤判別率の実測値と誤判別率の期待値との間における乖離度も合わせて示すことにより、該期待値の信頼性を示すこととなる。
【０１４８】
上記乖離度評価部２８は、誤判別率実測値計算部２５により算出された誤判別率の実測値と誤判別率期待値計算部２６により算出された誤判別率の期待値とに基づき、下記の演算を求めることに乖離度を求めることができる。
【０１４９】
すなわち、上記乖離度を示す定量的な指標をｄとし、過検出率の実測値をＯＯＫ→ＮＧ（ｘ）、過検出率の期待値をＥＯＫ→ＮＧ（ｘ）、見逃し率の実測値をＯＮＧ→ＯＫ（ｘ）、見逃し率の期待値をＥＮＧ→ＯＫ（ｘ）とすると、下記式（３）によって示す関係が成り立つ。
【０１５０】
【数１】
【０１５１】
つまり、乖離度評価部２８は、乖離度を示す定量的な指標ｄとして、過検出率の実測値ＯＯＫ→ＮＧ（ｘ）と過検出率の期待値ＥＯＫ→ＮＧ（ｘ）との差分の最大値と、見逃し率の実測値ＯＮＧ→ＯＫ（ｘ）と見逃し率の期待値ＥＮＧ→ＯＫ（ｘ）との差分の最大値との組み合わせを用いる。
【０１５２】
上記乖離度評価部２８は乖離度ｄを求めると、該乖離度ｄが所定値以上であるか否かを判断し、所定値以上であり、乖離度が大きいと判定した場合は、データ収集制御部１２に指示して特徴量テーブル情報として記録するための特徴量を追加して収集させる。
【０１５３】
一方、乖離度評価部２８は、乖離度ｄが所定値よりも小さいと判断した場合は、表示制御部２９に、特徴量テーブル情報３１から算出した誤判別率の期待値のグラフをそれぞれ出力するように指示する。
【０１５４】
表示制御部２９は、乖離度評価部２８からの指示に応じて、データ格納部３０から内部管理データ３４を取得し、誤判別率の実測値の特性値に応じた変化を示すグラフと、誤判別率の期待値の特性値に応じたすグラフとをそれぞれ表示するように表示部４０を制御するものである。
【０１５５】
このように表示部４０において、特徴量テーブル情報３１に基づき算出された誤判別率の期待値を表示させることができるため、ユーザは閾値ｔをいくらに設定すべきか把握することができる。そこで、ユーザは、この表示部４０における上記誤判別率の期待値を示すグラフの表示を参照して適切な閾値ｔを設定すると、設定した閾値ｔを示す情報を入力部５０が受付ける。そして、入力部５０は、この受付けた閾値ｔを示す情報を実測値・期待値出力部２１に送信し、該閾値ｔに応じた誤判別率別の実測値および期待値を出力するように指示する。
【０１５６】
実測値・期待値出力部２１は、入力部５０から閾値ｔを受付けると、内部管理データ３４を参照して該閾値ｔに応じた誤判別率の実測値と期待値とを算出する。そして、算出した結果を出力するように表示制御部２９に指示する。この実測値・期待値出力部２１からの指示に応じて、表示制御部２９は、上記算出結果を表示部４０に表示するように制御する。なお、このとき表示部４０において表示される情報は、例えば図１３に示すように、決定された閾値ｔ、該閾値ｔに応じた見逃し率の実測値および期待値、ならびに過検出率の実測値および期待値それぞれを示す情報である。この図１３は、本実施の形態に係る検査装置１０において閾値設定後に表示するデータの一例を示す図である。
【０１５７】
次に上記した構成を有する本実施の形態に係る検査装置１０における、エンジン１が良品であるか否かを判定するための閾値設定に係る処理（閾値設定処理）について図１４を参照して説明する。この図１４は、本実施の形態に係る検査装置１０における閾値設定処理を説明するフローチャートである。
【０１５８】
まず、ユーザが入力部５０によって閾値ｔの設定処理が指示されると、この指示に応じて閾値設定制御部２０における対象特徴量指定部２３が閾値ｔを設定する対象となる特徴量の種類を設定する（ステップＳ１１、これ以降ではＳ１１のように称する）。そして、対象特徴量指定部２３は、この設定した種類の特徴量を収集するように特徴量読み出し部２４に指示する。
【０１５９】
特徴量読み出し部２４は、対象特徴量指定部２３からの指示に応じて、設定された種類の特徴量、すなわち閾値ｔを設定する対象となる特徴量を、特徴量テーブル情報３１から読み出す（Ｓ１２）。
【０１６０】
上記特徴量読み出し部２４が、上記特徴量を読み出すと、この読み出した特徴量を用いて誤判別率実測値計算部２５が、閾値設定データ３２に記憶されている閾値候補に応じた誤判別率の実測値を算出する（Ｓ１３）とともに、誤判別率期待値計算部２６が、閾値設定データ３２に記憶されている閾値候補に応じた誤判別率の期待値を算出する（Ｓ１４）。そして、算出された誤判別率の実測値と期待値とは内部管理データ３４としてデータ格納部３０に記憶される。
【０１６１】
上記ステップＳ１３およびステップＳ１４によって誤判別率の実測値と期待値とが算出されると、余裕度評価部２７は、この算出された誤判別率の実測値と期待値とを内部管理データ３０から読み出し、許容誤判別率データ３３を参照して余裕度を計算する（Ｓ１５）。そして、余裕度評価部２７は、この計算した余裕度を評価し（Ｓ１６）、この評価において十分な余裕度があると判定した場合（Ｓ１６において「ＹＥＳ」）、乖離度を計算するように乖離度評価部２８に指示する。一方、余裕度評価部２７は、この計算した余裕度の評価において十分な余裕度がないと判定した場合（Ｓ１６において「ＮＯ」）、別の種類の特徴量を指定するように、対象特徴量指定部２３に指示する（Ｓ２１）。
【０１６２】
乖離度評価部２８は、余裕度評価部２７から乖離度の算出を指示されると、内部管理データ３４を参照して、算出された過検出率の実測値と期待値とから乖離度を計算する（Ｓ１７）。乖離度評価部２８は、乖離度を算出すると、この算出結果から乖離度が所定値よりも小さいか否かを判定する（Ｓ１８）。ここで乖離度が小さいと判定した場合（Ｓ１８において「ＹＥＳ」）、表示制御部２９に算出した誤判別率の期待値および実測値を表示部４０に表示させるように指示する。この指示に応じて表示制御部２９は、表示部４０に誤判別率の期待値および実測値を示すグラフを表示させる。
【０１６３】
一方、乖離度が所定値以上であると判定された場合、乖離度評価部２８は、データ収集制御部１２に対して追加のサンプルを収集するように指示する（Ｓ２２）。この指示を受けて、データ収集制御部１２は、さらなる別のエンジン１から得た音データおよび／または振動データから特徴量を抽出する。なお、すでに製造済みエンジン１がすべてサンプルとして利用されている場合は、新たなエンジン１の製造を行い、測定と検査を行って既知サンプルを追加するようにする。
【０１６４】
上記のように表示部４０に誤判別率の期待値および実測値を示すグラフが表示されると、これらの表示を参照してユーザが閾値を決定し、決定した閾値ｔを入力部５０により入力する。そして、入力部４０はこのようにユーザによって入力された閾値ｔを受付ける（Ｓ１９）。入力部１９が閾値ｔを受付けると、実測値・期待値出力部２１が該閾値ｔに応じた誤判別率の実測値および期待値を算出し、この算出結果を表示制御部２９に出力する。そして表示制御部２９は受信したこの算出結果を表示部４０に表示するように制御する（Ｓ２０）。
【０１６５】
なお、上記ステップＳ１３およびステップＳ１４の処理の順番は、この順番に限定されるものではなく、同時に行われてもよいし、ステップＳ１４の後にステップＳ１３が行われてもよい。
【０１６６】
上述のように、本実施の形態に係る検査装置１０は、余裕度評価部２７を備えているため、上記余裕度を評価することができる構成である。この余裕度を評価できるとは、すなわち、閾値ｔによって、良品のエンジン１から取得した特徴量の分布と異常が生じているエンジン１から取得した特徴量の分布とを、許容過検出率および許容見逃し率内で判別できるか否かを判定することができるということである。
【０１６７】
また、上記検査装置１０では、余裕度評価部２７が、余裕度が小さいと評価した場合、すなわち、上記閾値ｔによって、良品のエンジン１から取得した特徴量の分布と、不良品のエンジン１から取得した特徴量の分布とを判別不可能であると判定した場合、取得する特徴量の種類を変更するように上記対象特徴量指定部に指示することができる。
【０１６８】
このため、検査装置１０は、エンジン１が良品であるか否かを判定するために利用する特徴量として適切な情報を選択することができる。
【０１６９】
また、検査装置１０は、乖離度評価部２８を備えているため、過検出率の実測値と過検出率の期待値との差、および見逃し率の実測ちと見逃し率の期待ちとの差が所定値よりも小さいか否か、言い換えると所定値以上であるか否かを判定することができる。
【０１７０】
なお、この所定値は、信頼性を有する過検出率および見逃し率の実測値と期待値とを得ることができるだけの個数分だけ特性値が存在するものと判断できる範囲で設定される値である。
【０１７１】
ここで過検出率の実測値と過検出率の期待値との差異、および見逃し率の実測値と見逃し率の期待値との差異が所定値以上であるとは、過検出率および見逃し率の実測値と期待値とが十分な信頼性を有していないということである。すなわち、過検出率の実測値と過検出率の期待値、および見逃し率の実測値と見逃し率の期待値を算出するためのサンプルの個数が少ないということである。
【０１７２】
また、上記検査装置１０では、乖離度評価部２９が、上記差異が所定値以上であると判定した場合、データ収集制御部１２にさらなるサンプルの取得を指示することができる。このため、信頼性のある過検出率の実測値と過検出率の期待値、および見逃し率の実測値と見逃し率の期待値を算出できるだけの個数分のサンプルを収集することができる。
【０１７３】
また、実測値・期待値出力部２１を備えているため、適切な個数のサンプルから抽出した特徴量から算出した誤判別率の実測値の変化を示すグラフと誤判別率の期待値の変化を示すグラフとを出力することができる。
【０１７４】
したがって、上記検査装置１０は、信頼性のある過検出率の実測値と過検出率の期待値、および見逃し率の値と見逃し率の期待値を得ることができるため、ユーザに対してエンジン１が良品であるか否かを確度よく判定できる閾値ｔを設定するための情報を提供することができる。
【０１７５】
上記したように、本実施の形態に係る検査装置１０では、表示制御部２９が、誤判別率の期待値および実測値を表示部４０において表示させ、ユーザに該表示を参照して閾値ｔを設定させる構成であった。そこで、このユーザが閾値を設定する際の表示部４０における表示様式について説明する。
【０１７６】
まず、上記表示部４０では、図１５（ａ）に示すように、閾値設定用画面として別ウインドウが立ち上がるようになっている。そして、この閾値設定用画面では、誤判別率の期待値および実測値を示すグラフを表示させる領域αと、閾値ｔ、過検出率の実測値、過検出率の期待値、見逃し率の実測値、見逃し率の期待値、余裕度、および乖離度を数値で表示および入力可能とする領域βとが設けられている。また、さらに表示画面上における情報に対する指示を示すボタン、より具体的には閾値決定用ボタンおよび入力された情報のキャンセルを指示するボタンも設けられている。
【０１７７】
ユーザが閾値を設定する際には、上記領域αにおいて誤判別率の期待値を示すグラフ（図１５（ａ）における実線）、および実測値を示すグラフ（図１５（ａ）における破線）が表示される。また、領域βにおいては、閾値が数値で入力可能な状態となっている。また、このとき領域βにおいて余裕度および乖離度を示す値が表示されていてもよい。
【０１７８】
なお、閾値ｔの設定時における表示は上記した図１５（ａ）に限定されるものではなく、例えば図１５（ｂ）に示すようにさらに工夫された表示であってもよい。すなわち、上記領域αには、誤判別率の期待値および実測値のグラフの表示に重ねて、閾値を示すバーが表示され、このバーがドラッグしてα領域内の横軸方向に移動可能となっている。
【０１７９】
また、この閾値を示すバーの移動位置と連動して領域βにおける閾値の値が数値で表現されるようになっている。すなわち、閾値を示すバーを所望する位置に移動させることによって、この位置に応じた閾値ｔを設定することができるようになっている。このため、ユーザは閾値ｔの設定を容易に行うことができる。
【０１８０】
また、さらには、領域βにおいて乖離度が示されるようになっており、該乖離度が所定値以上となると、所定値に満たない場合とは異なる表示色で表示する、あるいは警告文が表示されるようになっていてもよい。
【０１８１】
または、領域βにおいて余裕度が示されるようになっており、該余裕度が所定値に満たない場合、所定値以上である場合とは異なる表示色で表示する、あるいは警告文が表示されるようになっていてもよい。
【０１８２】
さらには、表示制御部２９が予め許容過検出率および許容見逃し率の情報を保持しており、ユーザによって設定された閾値ｔに応じた過検出率および見逃し率それぞれが、上記許容過検出率および許容見逃し率を越えてしまう場合、上記容過検出率および許容見逃し率以下となる場合とは異なる表示色によって過検出率および見逃し率それぞれを表示する、あるは、警告文を表示するようになっていてもよい。
【０１８３】
また、さらには、表示制御部２９が予め許容過検出率および許容見逃し率の情報を保持しており、領域αにおいて表示されている誤判別率の期待値を示すグラフにおいて、上記許容過検出率および許容見逃し率を越えてしまう区間を、それ以外の区間とは異なる表示色で表示するように設定されていてもよい。
【０１８４】
なお、この図１５（ａ）および図１５（ｂ）は、ユーザに閾値の設定および入力を促す場合における表示部４０での表示例を示す図である。同図（ａ）は、閾値ｔの変換に応じた誤判別率の実測値の変化を示すグラフと期待値の変化を示すグラフとを表示する一例を示し、同図（ｂ）は、閾値ｔの変換に応じた誤判別率の実測値の変化を示すグラフと、期待値の変化を示すグラフと、所望する閾値の位置を示す閾値のバーとを表示する一例を示す。
【０１８５】
なお、上記した誤判別率実測値計算部２５は、データ格納部３０に予め格納されている閾値設定データ３２を用いて誤判別率の実測値を求める構成であり、また誤判別率期待値計算部２６は、データ格納部３０に予め格納されている閾値設定データ３２を用いて誤判別率の期待値を求める構成であった。しかしながら、このように予め設けられた閾値候補を利用するのではなく、特徴量データ読み出し部２４によって読み出されたサンプルの特徴量の最大値と最小値とをそれぞれ上限、下限とし、この上限と下限とによって挟まれる区間を１００分割することで自動的に閾値設定データ３２を得る構成であってもよい。
【０１８６】
また、本実施の形態に係る検査装置１０では、余裕度評価部２７が、過検出率の期待値と、許容過検出率とが一致する際の特徴量の値と、見逃し率の期待値と許容見逃し率とが一致する際の特徴量の値との差を余裕度として、該余裕度の大きさを判断する構成であった。しかしながら、余裕度の大きさの判断はこれに限定されるものではなく、下記数式（４）に示す相関比η２を利用して判断することもできる。この相関比η２は各良品サンプルから抽出した特徴量の平均の二乗と各不良品サンプルから抽出した特徴量それぞれの平均の二乗との和を、全既知サンプルの特徴量の分散で除することにより求めることができる。
【０１８７】
【数２】
【０１８８】
また、上記のように、余裕度評価部２７によって余裕度を計算する構成ではなく、図１６（ａ）および図１６（ｂ）に示すように、誤判別率期待値計算部２６によって算出された過検出率の期待値を示すグラフ、および見逃し率の期待値を示すグラフを表示部４０に表示させる構成であってもよい。この図１６は、閾値ｔの変化に応じた、誤判別率の期待値の変化を示すグラフの表示例を示すものである。同図（ａ）は、余裕度が大きい場合における誤判別率の期待値の変化の一例を示すグラフであり、同図（ｂ）は、余裕度が小さい場合における誤判別率の期待値の変化の一例を示すグラフである。
【０１８９】
このように、上記過検出率の期待値および上記見逃し率の期待値のグラフを表示部４０に表示させることにより、良品のエンジン１と不良品のエンジン１とを確度よく判別できる閾値ｔの設定が可能であるか否かをユーザに直感的に判断させることができる。
【０１９０】
なお、上記したように余裕度を算出せずに、誤判別率期待値計算部２６によって算出された過検出率および見逃し率の期待値を示すグラフを表示部４０に表示させる構成の場合、誤判別率期待値計算部２６は算出した上記期待値を表示制御部２９に送信し、表示部４０に表示させるように指示する。表示制御部２９は、誤判別率期待値計算部２６からの指示に応じて受信した上記期待値を表示部４０に表示させることにより実現できる。なお、この構成の場合、余裕度を算出する必要がないため余裕度評価部２７を備える必要がない。したがって、検査装置１０の装置構成をより簡単とすることができる。
【０１９１】
また、本実施の形態に係る閾値設定制御部２０では、乖離度評価部２８が、誤判別率実測値計算部２５によって算出された誤判別率の実測値と、誤判別率期待値計算部２６によって算出された誤判別率の期待値とに基づき、乖離度ｄを求める構成であった。しかしながら、このように乖離度ｄを算出せずに、図１１（ａ）または図１１（ｂ）に示すように、誤判別率実測値計算部２５によって算出された誤判別率の実測値を示すグラフと、誤判別率期待値計算部２６によって算出された誤判別率の期待値を示すグラフとを合わせて表示部４０に表示させる構成であってもよい。このように構成されている場合、検査装置１０を下記のような構成とすることができる。
【０１９２】
すなわち、誤判別率実測値計算部２５は誤判別率の実測値を算出すると、該実測値を表示制御部２９に送信し、また誤判別率期待値計算部２６は、誤判別率の期待値を算出すると該期待値を表示制御部２９に送信する。表示制御部２９は、誤判別率の実測値と誤判別率の期待値とを受信すると、誤判別率の実測値と特徴量との関係を示す図８に示すような確率密度関数のグラフと、誤判別率の期待値と特徴量との関係を示す図９に示すような累積密度関数のグラフとを合わせて表示部４０に表示させる。
【０１９３】
このように、上記誤判別率の実測値のグラフおよび上記誤判別率の期待値のグラフを共に表示部４０に表示させることにより、誤判別率の期待値の信用性の有無をユーザに直感的に判断させることができる。
【０１９４】
また、本実施の形態に係る検査装置１０では、対象特徴量指定部２３から指示された種類の特徴量について、誤判別率を算出する構成であった。そして、対象特徴量指定部２３が指示する特徴量の種類は複数存在する構成であってもよい。
【０１９５】
また、複数種類の特徴量から誤判別率を求める構成の場合、図１７に示すように特徴量の種類ごとに閾値ｔを設け、該特徴量を有するエンジン１が良品であるか否かを判定する。そして、すべての閾値ｔにより良品であると判定された領域に存在する特徴量が抽出されたエンジン１を良品であると判定する。
【０１９６】
なお、この図１７は、読み出す特徴量の種類が２種類である場合における良品のエンジン１から抽出した特徴量の分布と不良品のエンジン１から抽出した特徴量の分布と、各特徴量ごとに設定された閾値ｔ１・ｔ２との一例を示す図であり、縦軸は特徴量ｘ２の値であり、横軸は特徴量ｘ１の値となる。
【０１９７】
しかしながら、このような判定方法では、特徴量の種類ごとに設定される閾値ｔすべてを確定しなければ誤判別率を算出することができない。このため、特徴量の種類ごとに閾値ｔをどのように設定すべきか判定しにくいといった問題がある。
【０１９８】
そこで、このように複数種類の特徴量から誤判別率を求める構成の場合、図１８に示すように、任意のエンジン１から抽出された複数種類の特徴量をそれぞれ合成し、新たな特徴量を設ける。そして、この新たに設けられた特徴量に対して閾値ｔを設定して誤判別率を算出するように構成されていることが好ましい。この図１８は、読み出す特徴量の種類が２種類である場合における良品のエンジン１から抽出した特徴量の分布と不良品のエンジン１から抽出した特徴量の分布と、２種類の特徴量を合成したベクトルｆ（ｘ１，ｘ２）と、該ベクトルに対して設定された閾値ｔとの一例を示す図である。
【０１９９】
なお、本実施の形態に係る検査装置１０における、新しい種類の特徴量の取得は、対象特徴量指定部２３に指定させた複数の特徴量を読み出させて合成演算を行うことで実現する構成であっても良いし、事前に演算結果を図５に示す特徴量テーブル情報に登録しておき、対象特徴量指定部２３に指定させて読み出させる構成であってもよい。
【０２００】
上記のように合成した特徴量を用いて誤判別率を算出する方法としては、例えば、判別分析における「Ｆｉｓｈｅｒの線判別関数」、「サポート・ベクター・マシーン（Support Vector Machine,ＳＶＭ）」における識別超平面からの距離等を利用することができる。
【０２０１】
また、本実施の形態に係る検査装置１０は、図５に示すように、良品サンプルと不良品サンプルとの特徴量それぞれを共に記録した特徴量テーブル情報３１を参照して誤判別率実測計算部２５が誤判別率の実測値を算出し、誤判別率期待値計算部２６が誤判別率の期待値を算出する構成であった。すなわち、良品と判定されるエンジン１と不良品と判定されるエンジン１との両者を既知サンプルとして利用する構成であった。
【０２０２】
しかしながら、検査装置１０は、図１９（ａ）に示すように良品のエンジン１から取得した音データまたは振動データから抽出した特徴量のみを利用して誤判別率の実測値および期待値を算出し、閾値ｔを決定する構成であってもよい。
【０２０３】
このような構成の場合、例えば、図２０（ａ）または図２０（ｂ）に示すように閾値ｔを設定することができる。すなわち、例えば図２０（ａ）に示すように、２種類の特徴量によって規定される良品の分布から閾値ｔ１と閾値ｔ２との２つを設定する。なお、この図２０（ａ）では、特徴量ｘ１が閾値ｔ１以下となり、かつ特徴量ｘ２が閾値ｔ１以下となる場合を良品であるとしている。
【０２０４】
あるいは、例えば図２０（ｂ）に示すように、マハラノビス・タグチ・システムで用いられる良品サンプルの分布の平均からのマハラノビス距離の平方Ｄ２によって、良品と判定されるサンプルと不良品と判定されるサンプルとを判別することができる。すなわち、図２０（ｂ）に示す様に２種類の特徴量ｘ１と、特徴量ｘ２とによって示される良品サンプルの分布から、該良品サンプルを包含した判別境界を構成するように上記マハラノビス距離の平方Ｄ２に閾値ｔを設定し、２種類の特徴量ｘ１と、特徴量ｘ２とのマハラノビス距離の平方Ｄ２（ｘ１、ｘ２）が閾値ｔ以下となる場合を良品と判定する。
【０２０５】
より具体的には以下のようにして誤判別実測値計算部２５が良品サンプルのみの分布から誤判別率の実測値、つまり過検出率の実測値を算出する。
【０２０６】
特徴量の種類数をｐ、良品であると判定されるエンジン１のサンプル数をｍ、各良品サンプルのもとのｐ次元特徴ベクトルをＸｉとしたときの標本平均を下記数式（５）、分散共分散行列を下記数式（６）と表すことができる。
【０２０７】
【数３】
【０２０８】
【数４】
【０２０９】
この場合、各サンプルのマハラノビス距離の平方は下記の数式（７）で定義される。
【０２１０】
【数５】
【０２１１】
ところで、良品であると判定されているエンジン１の特徴量を既知サンプルとした場合、各既知サンプルに対するＤｉは、自由度ｐのカイ二乗（χ２）分布に従う。そこで、例えば図２１に示すように、マハラノビス距離の平方Ｄ２ｉが閾値ｔ（＝χ２（ｐ；ｔ））を越えるものを不良品であると判定するように構成する場合、過検出の実測値は、自由度ｐのカイ二乗分布のｔでの上側確率を求めることで得ることができる。なお、過検出率の実測値をαにするためには、閾値ｔ＝χ２（ｐ；α）に設定すればよい。
【０２１２】
また、上記して求めた誤判別率（過検出率）の実測値に対する誤判別率の期待値は、誤判別率期待値計算部２６が下記の演算を行って求めることができる。より具体的には、例えば、未知サンプルｊ（ｊ＝１，…，ｍ）のｐ次元特徴ベクトルＸｉが与えられている場合、マハラノビス距離Ｄ２ｊの分布は、カイ二乗分布ではなく、数式（８）に示すように自由度ｐ、ｍ−ｐのＦ分布を定数倍した分布に従う。
【０２１３】
【数６】
【０２１４】
ここで、マハラノビス距離Ｄ２ｊが閾値ｔより大きくなるサンプルを不良品であると判定するように構成する場合、過検出率の期待値は、自由度ｐ、ｍ−ｐのＦ分布における閾値ｔでの上側確率をｐ（ｍ−１）（ｍ＋１）／ｍ（ｍ−ｐ）倍することで求めることができる。
【０２１５】
例えば、この過検出率の期待値と実測値との関係は、図２２に示すような２次元空間でのマッピングにおいて、前者が後者を包含するような関係となる。また、良品サンプルのマハラノビス距離の平方の分布において、既知サンプルの分布と、未知サンプルの分布とは図２３に示すような関係となる。すなわち、既知サンプルの分布はカイ二乗分布に従い、一方、未知サンプルの分布はＦ分布に従うこととなる。両者の関係から図２４に示すように閾値ｔにおける過検出率の実測値と期待値とを比較すると、上記実測値が期待値よりも小さく見積もられていることが分かる。
【０２１６】
なお、カイ二乗分布とＦ分布との間では、下記数式（９）に示す関係が成り立つため、訓練サンプル数ｍが少ないほど過検出率の実測値と期待値との乖離が大きくなり、逆に訓練サンプル数ｍが十分大きい場合は、両者は近似する。
【０２１７】
【数７】
【０２１８】
したがって、予め特徴量を取得する良品のエンジン１のサンプル数量が大きくならばなるほど過検出率の実測値と期待値とは近似することとなる。
【０２１９】
また、以上のように良品と判定されるエンジン１の分布のみに基づき誤判別率を求める構成において、過検出率の期待値を例えば許容値範囲内にあるαとなるように閾値ｔを設定する場合、下記数式（１０）に示すように設定することができる。
【０２２０】
【数８】
【０２２１】
また、この構成の場合、不良品サンプルを用意する必要がないため、サンプルの収集を容易とすることができるという利点を有する。特に、良品としての基準を満たすようなエンジン１を製造するといった前提の下、エンジン１の製造が行われているため不良品と判定されたエンジン１それぞれから特徴量を収集することは通常困難である。このため、良品のみのサンプルから閾値ｔを設定できる構成は有効である。
【０２２２】
このように、良品サンプルの分布のみに基づき誤判別率を求める構成の場合、この誤判別率は、過検出率のみとなり、余裕度は定義されないこととなる。ただし、もし僅かでも不良品サンプルが得られる場合は、例えば、良品サンプルの特徴量の分布の平均からのマハラノビス距離の望大特性のＳＮ比γを余裕度とすることにより、該余裕度の大きさを判断することができる。この方法を用いれば、不良品サンプルが僅少で、見逃し率の予測値の信頼性を確保ができるだけのサンプル数がなくても、余裕度の大きさを判断することができる。
【０２２３】
ここで、余裕度として上記マハラノビス距離の望大特性のＳＮ比γを用いる構成の場合、下記のようにして上記望大特性のＳＮ比γを求めることができる。まず余裕度評価部２７は、良品と判定されるエンジン１それぞれから収集した特徴量の期待値の分布から基準空間を求める。つまり、良品サンプルの平均からのマハラノビス距離を、以下のようにして求める。すなわち、特徴量の種類（計測項目）をｐ、良品のエンジン１から得られるサンプル数をｍ、各良品から得られる特徴量の期待値の、もとのｐ次元特徴ベクトルをＸｉとしたときの標本平均は、下記数式（１１）で表すことができる。また、分散共分散行列は、下記数式（１２）によって表すことができる。
【０２２４】
【数９】
【０２２５】
【数１０】
【０２２６】
このとき各サンプルのマハラノビス距離の平方は数式（１３）に示す関係となる。
【０２２７】
【数１１】
【０２２８】
ここで、不良品サンプル数をｎ、各不良品サンプルのマハラノビス距離の平方をＤ２１，・・・Ｄ２ｎとすると、望大特性のＳＮ比の値γは、下記数式（１４）となる。
【０２２９】
【数１２】
【０２３０】
このとき望大特性のＳＮ比の値γが大きくなればなるほど不良品のエンジン１から収集した特徴量の期待値群（不良品サンプルの母集団）は、良品のエンジン１から収集した特徴量の期待値群（良品サンプルの母集団）から離れていることを示している。したがって、得られたγの値により、過検出率の期待値と見逃し率の期待値とが十分に分離可能な状態であるか否かを判定することができる。
【０２３１】
このように、良品サンプルの分布の平均からの、不良品サンプルのマハラノビス距離の平方を望大特性とし、この望大特性のＳＮ比γを余裕度として求める構成の場合、上記したように許容過検出率および許容見逃し率を予め設定しておくことがない点で利点を有する。
【０２３２】
上述したように、本実施の形態に係る検査装置１０では、十分な余裕度があり、かつ乖離度が所定値未満である場合、表示部４０において算出された誤判別率の実測値および期待値を示すグラフをそれぞれ合わせて表示し、ユーザに閾値の設定を促す構成であった。しかし、本実施の形態に係る検査装置１０のように、誤判別率の実測値と期待値との関係から予め両者の間における余裕度および乖離度を評価する構成の場合、表示部４０に表示させる情報は、誤判別率の期待値を示すグラフだけであってもよい。
【０２３３】
また、本実施の形態に係る検査装置１０では、上記したように、ユーザに閾値を設定させる際、誤判別率の実測値と期待値とのグラフを表示部４０に表示させる構成であった。また、ユーザによって設定された閾値に基づき算出された誤判別率の実測値と期待値とのデータを表示部４０に表示させる構成でもあった。しかしながら、上記した誤判別率の実測値と期待値との情報は上記したように表示部４０に表示させる構成に限定されるものではなく、例えばデータ格納部３０あるいは検査装置１０と通信可能に接続されている他の記憶装置に出力する構成であってもよい。あるいは検査装置１０が印刷装置と通信可能に接続されている場合は、該印刷装置に誤判別率の実測値と期待値とを送信し、印刷して出力する構成であってもよい。
【０２３４】
最後に、検査装置１０の検査装置制御部１１が備える各ブロック（データ収集制御部１２、良否判定部１３、および閾値設定制御部２０）、特には、閾値設定制御部２０が備える各ブロック（対象特徴量指定部２３、特徴量データ読み出し部２４、誤判別率実測値計算部２５、誤判別率期待値計算部２６、余裕度評価部２７、乖離度評価部２８、表示制御部２９、および実測値・期待値出力部２１）は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。
【０２３５】
すなわち、検査装置１０は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである検査装置１０の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記検査装置１０に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【０２３６】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
【０２３７】
また、検査装置１０を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【０２３８】
本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【０２３９】
例えば、本実施の形態に係る検査装置１０において利用する特徴量は、エンジン１から生じた音データおよび振動データから抽出したが、これらのデータに限定されるものではなく、特徴量に変換し閾値を設けることができるようなデータであればよい。例えば、このデータの例として、エンジン１の回転数、トルク、または温度などが上げられる。
【０２４０】
また、本実施の形態に係る検査システム１００では、検査対象がエンジン１であったがこれに限定されるものではなく、製品の良否を判断する必要があり、かつ該良否が例えば音データまたは振動データなどのように物理量として抽出可能なものであればよい。例えば、下記のようなはんだ付けによる接合の良否を検査するシステムであってもよい。すなわち、画像データとしてはんだが付着している領域を抽出し、該画像データからはんだが付着している領域の面積を求める。そして、この求めた面積を特徴量としてはんだ付けによる接合の良否を判断するシステムである。
【産業上の利用可能性】
【０２４１】
本実施の形態に係る検査装置１０は、良品である検査対象物と不良品である検査対象物から抽出した特徴量の分布情報に基づき算出した誤判別率の実測値および予測値の変化を示すグラフを表示することができるため、確度のよい品質検査を可能とする閾値を設定するための情報を提供することができる。したがって、検査対象物の品質検査に幅広く適用できる。
【図面の簡単な説明】
【０２４２】
【図１】本発明の実施形態を示すものであり、検査装置の閾値設定制御部に係る要部構成の一例を示すブロック図である。
【図２】本発明の実施形態を示すものであり、検査システムの要部構成を示すブロック図である。
【図３】本実施の形態に係る検査装置において利用される特徴量の一例を示す図である。
【図４】本発明の実施形態を示すものであり、検査装置の要部構成を示すブロック図である。
【図５】本実施の形態に係る特徴量テーブル情報の一例を示す図である。
【図６】本実施の形態に係る閾値設定データの一例を示す図である。
【図７】本実施の形態に係る許容誤判別率データの一例を示す図である
【図８】良品および不良品となるサンプルの分布を示す確率密度関数の一例を示すグラフである。
【図９】閾値の変化に応じた、過検出率の近似値と見逃し率の近似値との変化の一例を示すグラフである。
【図１０】閾値の変化に応じた過検出率の期待値の変化と見逃し率の期待値の変化との一例を示すグラフであり、同図（ａ）は、許容過検出率以下となる範囲でありかつ、許容見逃し率以下となる範囲が大きくなり余裕度が大きい場合を示しており、同図（ｂ）は、許容過検出率以下となる範囲でありかつ、許容見逃し率以下となる範囲が小さくなり余裕度が小さい場合を示す。
【図１１】閾値の変化に応じた過検出率の実測値と期待値との変化、および見逃し率の実測値と期待値との変化の一例を示すグラフであり、同図（ａ）は、過検出率の実測値と期待値との差、および見逃し率の実測値と期待値との差が大きくなる場合を示しており、同図（ｂ）は、過検出率の実測値と期待値との差、および見逃し率の実測値と期待値との差が小さい場合を示す。
【図１２】本実施の形態に係る内部管理データの一例を示す図である。
【図１３】本実施の形態に係る検査装置において閾値設定後に表示するデータの一例を示す図である。
【図１４】本実施の形態に係る検査装置１０における閾値設定処理を説明するフローチャートである。
【図１５】ユーザに閾値の設定および入力を促す場合における表示部での表示例を示す図であり、同図（ａ）は、閾値ｔの変換に応じた誤判別率の実測値の変化を示すグラフと期待値の変化を示すグラフとを表示する一例を示し、同図（ｂ）は、閾値ｔの変換に応じた誤判別率の実測値の変化を示すグラフと、期待値の変化を示すグラフと、所望する閾値の位置を示す閾値のバーとを表示する一例を示す。
【図１６】閾値の変化に応じた、誤判別率の期待値の変化を示すグラフの表示例を示すものである。同図（ａ）は、余裕度が大きい場合における誤判別率の期待値の変化の一例を示すグラフであり、同図（ｂ）は、余裕度が小さい場合における誤判別率の期待値の変化の一例を示すグラフである。
【図１７】読み出す特徴量の種類が２種類である場合における良品のエンジンから抽出した特徴量の分布と不良品のエンジンから抽出した特徴量の分布と、各特徴量ごとに設定された閾値との一例を示す図である。
【図１８】読み出す特徴量の種類が２種類である場合における良品のエンジンから抽出した特徴量の分布と不良品のエンジンから抽出した特徴量の分布と、２種類の特徴量を合成したベクトルと、該ベクトルに対して設定された閾値との一例を示す図である。
【図１９】エンジンから取得した特徴量を記録したテーブルの一例を示す図であり、同図（ａ）は、良品のエンジンから取得した特徴量を記録するテーブルの一例を示し、同図（ｂ）は、不良品のエンジンから取得した特徴量を記録するテーブルの一例を示す。
【図２０】読み出す特徴量の種類が２種類である場合における良品のエンジンから抽出した特徴量の分布と、この分布に対して設定された閾値との一例を示す図であり、同図（ａ）は、特徴量ごとに閾値を設けた場合の一例を示し、同図（ｂ）は、ハラノビス距離の平方に対して閾値を設定した場合の一例を示す。
【図２１】良品のエンジンから抽出した特徴量のマハラノビス距離での分布を示すグラフである。
【図２２】良品のエンジンから抽出した特徴量の分布と、該特徴量から算出した過検出率の実測値と期待値との関係を示す図である。
【図２３】良品のエンジンから抽出した特徴量のマハラノビス距離での分布を示すグラフである。
【図２４】閾値の変化に応じた過検出率の実測値と期待値との変化の一例を示すグラフである。
【図２５】良品および不良品のエンジンから抽出した特徴量の分布を示すヒストグラムである。
【図２６】図２５に示すヒストグラムに対して閾値を変化させた場合における過検出率と見逃し率の変化の一例を示すグラフである。
【符号の説明】
【０２４３】
１ エンジン（検査対象物）
１０ 検査装置（判定装置）
１２ データ収集制御部（取得手段）
２１ 実測値・期待値出力部（出力手段）
２３ 対象特徴量指定部（変更手段）
２５ 誤判別率実測値計算部（算出手段）
２６ 誤判別率期待値計算部（予測値算出手段）
２７ 余裕度評価部（閾値設定判定手段）
２８ 乖離度評価部（差分判定手段）
２９ 表示制御部（出力手段）
３０ データ格納部（記憶装置）
４０ 表示部
５０ 入力部（取得指示受付け部・変更指示受付け部・閾値指定受付け部）
【特許請求の範囲】
【請求項１】
検査対象物から該検査対象物が正常であるか否か区別するための要素となる情報である特性値を取得し、この特性値に応じて検査対象物が正常であるか否かを判定するための判定装置であって、
複数の正常な検査対象物それぞれから取得した特性値の分布情報から、該検査対象物が正常であるか否かを判定するための閾値を任意に設定した場合における、正常な検査対象物を異常であると判定する割合である過検出率を算出する算出手段と、
統計的手法により、上記特性値に基づいて上記過検出率の予測値を算出する予測値算出手段と、
上記閾値の変化に応じた、上記算出手段によって算出された過検出率の変化を示すグラフと、閾値の変化に応じた、上記予測値算出手段によって算出された過検出率の予測値の変化を示すグラフとを出力する出力手段とを備えることを特徴とする判定装置。
【請求項２】
検査対象物から上記特性値を取得する取得手段と、
ユーザによる、新たな検査対象物からの特性値の取得指示を受付ける取得指示受付け部とを備え、
取得指示受付け部が上記新たな検査対象物からの特性値の取得指示を受付けた場合、上記取得手段が、新たな検査対象物から特性値を取得することを特徴とする請求項１に記載の判定装置。
【請求項３】
検査対象物から上記特性値を取得する取得手段と、
上記算出手段によって算出された過検出率と、上記予測値算出手段によって算出された過検出率の予測値とに基づき、算出された過検出率と該過検出率の予測値との差を求め、この差が所定値以上であるか否かを判定する差分判定手段とを備え、
上記差分判定手段が、上記差が所定値以上であると判定した場合、上記取得手段に対して新たな検査対象物からの特性値の取得を指示することを特徴とする請求項１に記載の判定装置。
【請求項４】
検査対象物から該検査対象物が正常であるか否か区別するための要素となる情報である特性値を取得し、この特性値に応じて検査対象物が正常であるか否かを判定するための判定装置であって、
複数の正常な検査対象物それぞれから取得した特性値の分布情報から、該検査対象物が正常であるか否かを判定するための閾値を任意に設定した場合における、正常な検査対象物を異常であると判定する割合である過検出率を算出する算出手段と、
統計的手法により、上記特性値に基づいて上記過検出率の予測値を算出する予測値算出手段と、
閾値の変化に応じた、上記予測値算出手段によって算出された過検出率の予測値の変化を示すグラフとを出力する出力手段と、
検査対象物から上記特性値を取得する取得手段と、
上記算出手段によって算出された過検出率と、上記予測値算出手段によって算出された過検出率の予測値とに基づき、算出された過検出率と該過検出率の予測値との差を求め、この差が所定値以上であるか否かを判定する差分判定手段とを備え、
上記差分判定手段が、上記差が所定値以上であると判定した場合、上記取得手段に対して、新たな検査対象物からの特性値の取得を指示することを特徴とする判定装置。
【請求項５】
上記特性値の分布情報には、複数の異常が生じている検査対象物それぞれから取得した特性値の分布情報がさらに含まれており、
上記算出手段は、上記特性値の分布情報から、検査対象物が正常であるか否かを判定するための閾値を任意に設定した場合における、異常が生じている検査対象物を正常であると判定する割合である見逃し率をさらに算出しており、
上記予測値算出手段は、統計的手法により、上記特性値に基づいて上記見逃し率の予測値をさらに算出しており、
上記出力手段が、閾値の変化に応じた、上記算出手段によって算出された過検出率および見逃し率の変化を示すグラフと、閾値の変化に応じた、上記予測値算出手段によって算出された過検出率および見逃し率の予測値の変化を示すグラフとを出力することを特徴とする請求項１に記載の判定装置。
【請求項６】
上記過検出率および上記見逃し率と上記過検出率および上記見逃し率の予測値とを算出するための特性値の種類を変更する変更手段と、
ユーザからの、上記特性値の種類の変更を指示する情報を受付ける変更指示受付け部とを備え、
変更指示受付け部が特性値の種類の変更を指示する情報を受付けた場合、上記変更手段が、指定する特性値の種類を変更することを特徴とする請求項５に記載の判定装置。
【請求項７】
検査対象物から上記特性値を取得する取得手段と、
ユーザによる、新たな検査対象物からの特性値の取得指示を受付ける取得指示受付け部とを備え、
取得指示受付け部が新たな検査対象物からの特性値の取得指示を受付けた場合、上記取得手段が、新たな検査対象物から特性値を取得することを特徴とする請求項５または６に記載の判定装置。
【請求項８】
上記過検出率および上記見逃し率と、上記過検出率および上記見逃し率の予測値とを算出するための特性値の種類を変更する変更手段と、
許容される過検出率の値および許容される見逃し率の値を示す許容情報を保持する記憶装置と、
上記許容情報と、上記予測値算出手段によって算出された過検出率および見逃し率の予測値とに基づき、上記過検出率の予測値が許容値以下となり、かつ上記見逃し率の予測値が許容値以下となる、閾値の設定可能な範囲である閾値範囲情報を求め、この求めた閾値範囲情報に応じて、正常な検査対象物それぞれから取得した特性値の分布と、異常が生じている検査対象物それぞれから取得した特性値の分布とを判別するための閾値を設定することができるか否かを判定する閾値設定判定手段と、
上記閾値設定判定手段が、上記閾値によって、正常な検査対象物それぞれから取得した特性値の分布と異常が生じている検査対象物それぞれから取得した特性値の分布とを判別可能であると判定した場合、上記出力手段は、閾値の変化に応じた、上記算出手段によって算出された過検出率および見逃し率の変化を示すグラフと、閾値の変化に応じた、上記予測値算出手段によって算出された過検出率および見逃し率の予測値の変化を示すグラフとを出力し、
上記閾値設定判定手段が、上記閾値によって、正常な検査対象物それぞれから取得した特性値の分布と異常が生じている検査対象物それぞれから取得した特性値の分布とを判別不可能であると判定した場合、取得する特性値の種類を変更するように上記変更手段に指示することを特徴とする請求項５に記載の判定装置。
【請求項９】
上記過検出率および上記見逃し率と、上記過検出率および上記見逃し率の予測値とを算出するための特性値の種類を変更する変更手段と、
複数の正常な検査対象物それぞれから取得した特性値の集合の分布の平均に対する、複数の異常が生じている検査対象物それぞれから取得した各特性値のマハラノビス距離の平方を求め得られた値を望大特性とし、該望大特性のＳＮ比を求め得られた値に応じて、正常な検査対象物それぞれから取得した特性値の分布と、異常が生じている検査対象物それぞれから取得した特性値の分布とを判別するための閾値を設定することができるか否かを判定する閾値設定判定手段と、
上記閾値設定判定手段が、上記閾値によって、正常な検査対象物それぞれから取得した特性値の分布と異常が生じている検査対象物それぞれから取得した特性値の分布とを判別可能であると判定した場合、上記出力手段は、閾値の変化に応じた、上記算出手段によって算出された過検出率および見逃し率の変化を示すグラフと、閾値の変化に応じた、上記予測値算出手段によって算出された過検出率および見逃し率の予測値の変化を示すグラフとを出力し、
上記閾値設定判定手段が、上記閾値によって、正常な検査対象物それぞれから取得した特性値の分布と異常が生じている検査対象物それぞれから取得した特性値の分布とを判別不可能であると判定した場合、取得する特性値の種類を変更するように上記変更手段に指示することを特徴とする請求項５に記載の判定装置。
【請求項１０】
検査対象物から上記特性値を取得する取得手段と、
上記算出手段によって算出された過検出率および見逃し率と、上記予測値算出手段によって算出された過検出率および見逃し率の予測値とに基づき、過検出率と過検出率の予測値との差、および見逃し率と見逃し率の予測値との差を求め、これらの差の組み合わせが所定値以上であるか否かを判定する差分判定手段とを備え、
上記差分判定手段が、上記差が所定値以上であると判定した場合、取得手段に対して、さらなる検査対象物からの特性値の取得を指示することを特徴とする請求項５、８、または９のいずれか１項に記載の判定装置。
【請求項１１】
ユーザからの、上記閾値を指定する情報を受付ける閾値指定受付け部をさらに備え、
上記出力手段が、上記閾値指定受付け部によって受付けた閾値に応じて、算出手段によって算出された過検出率および見逃し率と予測値算出手段によって算出された過検出率および見逃し率の予測値とを出力することを特徴とする請求項１〜１０のいずれか１項に記載の判定装置。
【請求項１２】
上記予測値算出手段は、複数の正常な検査対象物それぞれから取得した特性値の集合に関して、該特性値の分布の平均に対する各特性値のマハラノビス距離の平方を求め得られた値の集合に対して、Ｆ分布の上側確率を求めることにより予測値を算出することを特徴とする請求項１〜４のいずれか１項に記載の判定装置。
【請求項１３】
上記予測値算出手段は、複数の検査対象物それぞれから取得した特性値を組み合わせて生成した、複数の集合を訓練サンプルとし、該訓練サンプルにおける各集合において上記過検出率および見逃し率を、過検出率および見逃し率の予測値として算出することを特徴とする請求項１〜１１のいずれか１項に記載の判定装置。
【請求項１４】
請求項１〜１３のいずれか１項に記載の判定装置を動作させるための制御プログラムであって、コンピュータを上記各手段として機能させるための判定装置の制御プログラム。
【請求項１５】
請求項１４に記載の判定装置の制御プログラムが記録されたコンピュータの読取り可能な記録媒体。
【請求項１】
検査対象物から該検査対象物が正常であるか否か区別するための要素となる情報である特性値を取得し、この特性値に応じて検査対象物が正常であるか否かを判定するための判定装置であって、
複数の正常な検査対象物それぞれから取得した特性値の分布情報から、該検査対象物が正常であるか否かを判定するための閾値を任意に設定した場合における、正常な検査対象物を異常であると判定する割合である過検出率を算出する算出手段と、
統計的手法により、上記特性値に基づいて上記過検出率の予測値を算出する予測値算出手段と、
上記閾値の変化に応じた、上記算出手段によって算出された過検出率の変化を示すグラフと、閾値の変化に応じた、上記予測値算出手段によって算出された過検出率の予測値の変化を示すグラフとを出力する出力手段とを備えることを特徴とする判定装置。
【請求項２】
検査対象物から上記特性値を取得する取得手段と、
ユーザによる、新たな検査対象物からの特性値の取得指示を受付ける取得指示受付け部とを備え、
取得指示受付け部が上記新たな検査対象物からの特性値の取得指示を受付けた場合、上記取得手段が、新たな検査対象物から特性値を取得することを特徴とする請求項１に記載の判定装置。
【請求項３】
検査対象物から上記特性値を取得する取得手段と、
上記算出手段によって算出された過検出率と、上記予測値算出手段によって算出された過検出率の予測値とに基づき、算出された過検出率と該過検出率の予測値との差を求め、この差が所定値以上であるか否かを判定する差分判定手段とを備え、
上記差分判定手段が、上記差が所定値以上であると判定した場合、上記取得手段に対して新たな検査対象物からの特性値の取得を指示することを特徴とする請求項１に記載の判定装置。
【請求項４】
検査対象物から該検査対象物が正常であるか否か区別するための要素となる情報である特性値を取得し、この特性値に応じて検査対象物が正常であるか否かを判定するための判定装置であって、
複数の正常な検査対象物それぞれから取得した特性値の分布情報から、該検査対象物が正常であるか否かを判定するための閾値を任意に設定した場合における、正常な検査対象物を異常であると判定する割合である過検出率を算出する算出手段と、
統計的手法により、上記特性値に基づいて上記過検出率の予測値を算出する予測値算出手段と、
閾値の変化に応じた、上記予測値算出手段によって算出された過検出率の予測値の変化を示すグラフとを出力する出力手段と、
検査対象物から上記特性値を取得する取得手段と、
上記算出手段によって算出された過検出率と、上記予測値算出手段によって算出された過検出率の予測値とに基づき、算出された過検出率と該過検出率の予測値との差を求め、この差が所定値以上であるか否かを判定する差分判定手段とを備え、
上記差分判定手段が、上記差が所定値以上であると判定した場合、上記取得手段に対して、新たな検査対象物からの特性値の取得を指示することを特徴とする判定装置。
【請求項５】
上記特性値の分布情報には、複数の異常が生じている検査対象物それぞれから取得した特性値の分布情報がさらに含まれており、
上記算出手段は、上記特性値の分布情報から、検査対象物が正常であるか否かを判定するための閾値を任意に設定した場合における、異常が生じている検査対象物を正常であると判定する割合である見逃し率をさらに算出しており、
上記予測値算出手段は、統計的手法により、上記特性値に基づいて上記見逃し率の予測値をさらに算出しており、
上記出力手段が、閾値の変化に応じた、上記算出手段によって算出された過検出率および見逃し率の変化を示すグラフと、閾値の変化に応じた、上記予測値算出手段によって算出された過検出率および見逃し率の予測値の変化を示すグラフとを出力することを特徴とする請求項１に記載の判定装置。
【請求項６】
上記過検出率および上記見逃し率と上記過検出率および上記見逃し率の予測値とを算出するための特性値の種類を変更する変更手段と、
ユーザからの、上記特性値の種類の変更を指示する情報を受付ける変更指示受付け部とを備え、
変更指示受付け部が特性値の種類の変更を指示する情報を受付けた場合、上記変更手段が、指定する特性値の種類を変更することを特徴とする請求項５に記載の判定装置。
【請求項７】
検査対象物から上記特性値を取得する取得手段と、
ユーザによる、新たな検査対象物からの特性値の取得指示を受付ける取得指示受付け部とを備え、
取得指示受付け部が新たな検査対象物からの特性値の取得指示を受付けた場合、上記取得手段が、新たな検査対象物から特性値を取得することを特徴とする請求項５または６に記載の判定装置。
【請求項８】
上記過検出率および上記見逃し率と、上記過検出率および上記見逃し率の予測値とを算出するための特性値の種類を変更する変更手段と、
許容される過検出率の値および許容される見逃し率の値を示す許容情報を保持する記憶装置と、
上記許容情報と、上記予測値算出手段によって算出された過検出率および見逃し率の予測値とに基づき、上記過検出率の予測値が許容値以下となり、かつ上記見逃し率の予測値が許容値以下となる、閾値の設定可能な範囲である閾値範囲情報を求め、この求めた閾値範囲情報に応じて、正常な検査対象物それぞれから取得した特性値の分布と、異常が生じている検査対象物それぞれから取得した特性値の分布とを判別するための閾値を設定することができるか否かを判定する閾値設定判定手段と、
上記閾値設定判定手段が、上記閾値によって、正常な検査対象物それぞれから取得した特性値の分布と異常が生じている検査対象物それぞれから取得した特性値の分布とを判別可能であると判定した場合、上記出力手段は、閾値の変化に応じた、上記算出手段によって算出された過検出率および見逃し率の変化を示すグラフと、閾値の変化に応じた、上記予測値算出手段によって算出された過検出率および見逃し率の予測値の変化を示すグラフとを出力し、
上記閾値設定判定手段が、上記閾値によって、正常な検査対象物それぞれから取得した特性値の分布と異常が生じている検査対象物それぞれから取得した特性値の分布とを判別不可能であると判定した場合、取得する特性値の種類を変更するように上記変更手段に指示することを特徴とする請求項５に記載の判定装置。
【請求項９】
上記過検出率および上記見逃し率と、上記過検出率および上記見逃し率の予測値とを算出するための特性値の種類を変更する変更手段と、
複数の正常な検査対象物それぞれから取得した特性値の集合の分布の平均に対する、複数の異常が生じている検査対象物それぞれから取得した各特性値のマハラノビス距離の平方を求め得られた値を望大特性とし、該望大特性のＳＮ比を求め得られた値に応じて、正常な検査対象物それぞれから取得した特性値の分布と、異常が生じている検査対象物それぞれから取得した特性値の分布とを判別するための閾値を設定することができるか否かを判定する閾値設定判定手段と、
上記閾値設定判定手段が、上記閾値によって、正常な検査対象物それぞれから取得した特性値の分布と異常が生じている検査対象物それぞれから取得した特性値の分布とを判別可能であると判定した場合、上記出力手段は、閾値の変化に応じた、上記算出手段によって算出された過検出率および見逃し率の変化を示すグラフと、閾値の変化に応じた、上記予測値算出手段によって算出された過検出率および見逃し率の予測値の変化を示すグラフとを出力し、
上記閾値設定判定手段が、上記閾値によって、正常な検査対象物それぞれから取得した特性値の分布と異常が生じている検査対象物それぞれから取得した特性値の分布とを判別不可能であると判定した場合、取得する特性値の種類を変更するように上記変更手段に指示することを特徴とする請求項５に記載の判定装置。
【請求項１０】
検査対象物から上記特性値を取得する取得手段と、
上記算出手段によって算出された過検出率および見逃し率と、上記予測値算出手段によって算出された過検出率および見逃し率の予測値とに基づき、過検出率と過検出率の予測値との差、および見逃し率と見逃し率の予測値との差を求め、これらの差の組み合わせが所定値以上であるか否かを判定する差分判定手段とを備え、
上記差分判定手段が、上記差が所定値以上であると判定した場合、取得手段に対して、さらなる検査対象物からの特性値の取得を指示することを特徴とする請求項５、８、または９のいずれか１項に記載の判定装置。
【請求項１１】
ユーザからの、上記閾値を指定する情報を受付ける閾値指定受付け部をさらに備え、
上記出力手段が、上記閾値指定受付け部によって受付けた閾値に応じて、算出手段によって算出された過検出率および見逃し率と予測値算出手段によって算出された過検出率および見逃し率の予測値とを出力することを特徴とする請求項１〜１０のいずれか１項に記載の判定装置。
【請求項１２】
上記予測値算出手段は、複数の正常な検査対象物それぞれから取得した特性値の集合に関して、該特性値の分布の平均に対する各特性値のマハラノビス距離の平方を求め得られた値の集合に対して、Ｆ分布の上側確率を求めることにより予測値を算出することを特徴とする請求項１〜４のいずれか１項に記載の判定装置。
【請求項１３】
上記予測値算出手段は、複数の検査対象物それぞれから取得した特性値を組み合わせて生成した、複数の集合を訓練サンプルとし、該訓練サンプルにおける各集合において上記過検出率および見逃し率を、過検出率および見逃し率の予測値として算出することを特徴とする請求項１〜１１のいずれか１項に記載の判定装置。
【請求項１４】
請求項１〜１３のいずれか１項に記載の判定装置を動作させるための制御プログラムであって、コンピュータを上記各手段として機能させるための判定装置の制御プログラム。
【請求項１５】
請求項１４に記載の判定装置の制御プログラムが記録されたコンピュータの読取り可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【公開番号】特開２００７−１３９６２１（Ｐ２００７−１３９６２１Ａ）
【公開日】平成１９年６月７日（２００７．６．７）
【国際特許分類】
【出願番号】特願２００５−３３５０３５（Ｐ２００５−３３５０３５）
【出願日】平成１７年１１月１８日（２００５．１１．１８）
【出願人】（０００００２９４５）オムロン株式会社 (3,542)
【Ｆターム（参考）】
【公開日】平成１９年６月７日（２００７．６．７）
【国際特許分類】
【出願日】平成１７年１１月１８日（２００５．１１．１８）
【出願人】（０００００２９４５）オムロン株式会社 (3,542)
【Ｆターム（参考）】
[ Back to top ]