官能検査装置及び官能検査方法
【課題】少ない学習用のサンプルで最適な良否判定基準を定めることを可能とした官能検査装置及び方法を提供することを目的とする。
【解決手段】特徴量空間の原点からマハラノビス距離に分布する初期サンプルを用いて、良否判定基準となる良否判定の境界線を学習することにより、境界付近の初期サンプルのみを用いて学習することができるため、少ない学習用のサンプルで最適な良否判定基準を定めることができる。また、擬似サンプルを用いて学習する際に、誤判定をした擬似サンプルに重み付けを付加することにより、新たに擬似サンプルを追加することなく、機械的な判定工程において、誤判定をした擬似サンプルの判定を再度行うことができるため、少ない学習用のサンプルで最適な良否判定基準を定めることができる。
【解決手段】特徴量空間の原点からマハラノビス距離に分布する初期サンプルを用いて、良否判定基準となる良否判定の境界線を学習することにより、境界付近の初期サンプルのみを用いて学習することができるため、少ない学習用のサンプルで最適な良否判定基準を定めることができる。また、擬似サンプルを用いて学習する際に、誤判定をした擬似サンプルに重み付けを付加することにより、新たに擬似サンプルを追加することなく、機械的な判定工程において、誤判定をした擬似サンプルの判定を再度行うことができるため、少ない学習用のサンプルで最適な良否判定基準を定めることができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ディスプレイの目視検査や各種機械の異音検査などを自動で検査する官能検査装置及び官能検査方法に関するものである。
【背景技術】
【０００２】
近年、様々な工業製品の製造工程で自動化が進んでおり、検査工程も例外ではない。しかし、一方でディスプレイのムラや機構部品の異音など、官能的な判断が必要とされる検査については、依然として作業者による目視や聴覚等の主観による検査に頼っている。しかし、作業者の主観による検査では、長時間の官能検査は作業者に負担がかかる、個人差や体調・時間帯などによるばらつきが大きい、正確な検査には熟練が必要で、熟練検査員を育てるには時間がかかる、処理能力が低い、などにより検査結果の一様性を維持することが困難である。そのため、官能検査においても作業者の主観によらない自動化が求められている。
【０００３】
このような官能検査を自動化する手法としてパターン認識を用いたものがある。
ここで、図１３を用いてパターン認識による検査について説明する。
図１３は従来のパターン認識を用いた検査における特徴量空間を示す図である。
【０００４】
パターン認識を用いた検査では、まず、検査対象を検出器で検出した情報からいくつかの特徴量を抽出し、図１３に示すように、各特徴量を座標軸とした特徴量空間にプロットする。そして、プロットしたときにどの領域に属するかにより検査対象の良品、不良品、あるいは、グレー品（良品、不良品の判断がつかない品）に分類するものである。図１３では簡単のため、特徴量を２つにしているが、１つもしくは、３つ以上でも構わない。このとき、どの領域が良品、不良品、あるいは、グレー品かの決定は、あらかじめ良否が分かっているサンプルを事前に用意し、それらを特徴量空間にプロットしたときの分布から学習し、領域分けを行う。
【０００５】
この学習、分類する手法としては、ニューラルネットワークやＳＶＭ（ｓｕｐｐｏｒｔ−ｖｅｃｔｏｒ−ｍａｃｈｉｎｅ、以下、ＳＶＭと略す）、自己組織化マップ、ＭＴ（Ｍａｈａｌａｎｏｂｉｓ Ｔａｇｕｃｈｉ、以下、ＭＴと略す）法などを用いたものがある。また、ニューラルネットワークを用いた手法で、良品、不良品のサンプルを基に擬似不良を発生させ、それらを学習用のサンプルとして利用することで、少ない学習用のサンプルで判定の精度を高める方法があった（例えば、特許文献１参照）。
【０００６】
以下、図１４，図１５を用いて、従来の官能検査装置における特徴量空間の良否領域学習について説明する。
図１４は従来の官能検査装置における特徴量空間の良否領域の学習装置の構成を示す図であり、特許文献１に記載された従来のブロック図を示すものである。図１５は従来の官能検査装置における特徴量空間において良品から不良品を合成する様子を示す図である。
【０００７】
図１４において、ニューラルネットワーク１０１を用いて製品の良否を検査することが可能である。良品の学習は、良品画像入力部１０２にて、あらかじめ保存してある良品画像を読み込み、フィルタ処理や特徴量の抽出を行う前処理部１０７を経由してニューラルネットワーク１０１に入力し、良品データとして学習を行わせる。
【０００８】
不良品の学習は、不良品の画像の数が必要とする学習数以上の時に、予め保存してある不良品画像を読み込み、前処理部１０７を経由してニューラルネットワーク１０１に入力することで、不良品データとして学習を行わせる。
【０００９】
しかしながら、通常はオリジナルの不良データを必要とする学習数だけ入手することは困難であるため、不良画像から良品との差分データ１０８を抽出する不良画像抽出部１０４と、良品画像入力部１０２から良品画像を読み込み、差分データ１０８を合成して擬似不良画像を生成する擬似不良画像作成部１０６と、差分データ１０８を合成位置等とどのように合成するかの条件を、乱数発生部１０９の乱数値を組み合わせて擬似不良画像作成部１０６に指示する擬似データ条件設定部１０５を備えている。
【００１０】
これにより、従来の構成では、図１５に示すように、実際の不良画像を基に、その付近に擬似不良画像を多数作成し、学習用のサンプルを増加させることで図１６のようにして、良否判定の精度を上げようとするものであった。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開２００５−１５６３３４号公報
【発明の概要】
【発明が解決しようとする課題】
【００１２】
しかしながら、前記従来の構成においても、パターン認識を用いた検査の自動化における課題を十分解決できていない。
パターン認識を用いた検査の自動化における課題は、良品と不良品の境界を決めるために有効なサンプルが少ないため、人と同じ判定を行うための境界を学習することが難しいということである。
【００１３】
図１６の従来の特徴量空間における良品と不良品の分布を示す図を用いて詳しく説明する。一般に、良品のばらつきは正規分布をしているため、サンプルは平均値付近に多く存在することになり、境界付近の良品は少ない。また、不良品が発生する頻度は一般的に少なく、不良が発生しても境界から大きく外れたサンプルになりやすい。これを特徴量空間にプロットすると、図１６のようになる。図１６においては、良品と不良品との間隔が大きいため、良品と不良品を判別する境界線は数多く形成可能で一義的に定めることが困難となり、人間の感覚に近い境界線を学習することはできない。
【００１４】
また、特許文献１に示す擬似不良画像自動作成装置及び画像検査装置に関する発明は、少ない不良品の数を補うものであり、特徴量空間で説明すると、図１５に示すように、発生した不良品データを基に、その付近の不良品データを合成により増やす方法であるが、増やせるサンプルは基の不良品データの周辺に限定される。このため、検査精度が大きく向上することは見込めない。
【００１５】
本発明は、前記従来の課題を解決するもので、少ない学習用のサンプルで人の判断に近い良否判定基準を定めることを可能とした官能検査を実現することを目的とする。
【課題を解決するための手段】
【００１６】
上記目的を達成するために、本発明の官能検査装置は、擬似サンプルを作成する擬似サンプル作成部と、前記擬似サンプルに対して人が判定した良否結果を入力する判定入力部と、前記判定入力部で入力された良否結果から良品と不良品との境界付近の特徴量を生成して前記擬似サンプルの特徴量とする擬似サンプル特徴量生成部と、前記擬似サンプル作成部で作成した擬似サンプルの特徴量から良品と不良品の境界線を作成してＳＶＭ解析による良否判定を行うＳＶＭ判定部と、前記判定入力部での良否結果と前記ＳＶＭ判定部での良否結果とを比較する判定比較部と、前記判定比較部で良否結果が異なる擬似サンプルに対して人が再判定した良否結果を入力する再判定入力部と、前記再判定入力部で入力された良否結果に対して、前記ＳＶＭ判定部で作成した境界線からの距離に応じた重み付けを付加してサンプルを追加する重み付け処理部と、前記重み付け処理部で追加されたサンプルを加えて良否判定を行う官能検査部とを有することを特徴とする。
【００１７】
また、上記目的を達成するために、本発明の官能検査方法は、擬似サンプルを作成する擬似サンプル作成工程と、前記擬似サンプルに対して人が判定したときの良否結果を入力する判定入力工程と、前記判定入力工程で入力された良否結果から良品と不良品との境界付近の特徴量を生成して前記擬似サンプルの特徴量とする擬似サンプル特徴量生成工程と、前記擬似サンプルの特徴量から良品と不良品の境界線を作成するＳＶＭ解析により良否判定をするＳＶＭ判定工程と、前記判定入力工程と前記ＳＶＭ判定工程の結果を比較する判定比較工程と、前記判定比較工程で良否判定が異なる擬似サンプルに対して人が再判定した良否結果を入力する再判定入力工程と、前記再判定入力工程で入力された結果に対して、前記ＳＶＭ判定工程で作成した境界線からの距離に応じた重み付けを付加して擬似サンプルを追加する重み付け処理工程と、前記重み付け処理部で追加されたサンプルを加えて良否判定を行う官能検査工程とを有することを特徴とする。
【発明の効果】
【００１８】
以上のように、本発明によれば、少ない学習用のサンプルで人の判断に近い良否判定基準を定めることができる。
【図面の簡単な説明】
【００１９】
【図１】（ａ）本発明の実施の形態１における官能検査装置の擬似サンプル発生システムを示すブロック図、（ｂ）本実施の形態１における官能検査装置のパターン認識学習装置を示すブロック図
【図２】本実施の形態１における擬似サンプル作成処理の流れを示すフローチャート
【図３】（ａ）本実施の形態１におけるＬＣＤをカメラで撮像した画像のうち良品画像の例を示した図、（ｂ）本実施の形態１におけるＬＣＤをカメラで撮像した画像のうち不良品画像の例を示した図
【図４】本実施の形態１における特徴量抽出の流れを示すフローチャート
【図５】（ａ）本実施の形態１における特徴量空間における初期サンプルの特徴量を説明する図、（ｂ）本実施の形態１における特徴量空間における初期サンプルの良否結果を説明する図、（ｃ）本実施の形態１における擬似サンプルの増加方法を示す図、（ｄ）本実施の形態１における特徴量空間における擬似サンプル増加後の良否結果を示す図
【図６】本実施の形態１における擬似サンプル作成部の構成を示すブロック図
【図７】本実施の形態１におけるパターン認識学習方法の流れを示すフローチャート
【図８】本実施の形態１における特徴量空間マッピングを例示する図
【図９】本実施の形態１における特徴量空間上の擬似サンプルを人が判定した結果を例示する図
【図１０】本実施の形態１における特徴量空間上のＳＶＭの判定結果を例示する図
【図１１】本実施の形態１における特徴量空間上の重み付け処理方法を説明する図
【図１２】（ａ）本発明の実施の形態２における特徴量空間における初期サンプルの特徴量を説明する図、（ｂ）本実施の形態２における特徴量空間における初期サンプルの良否結果を説明する図、（ｃ）本実施の形態２における擬似サンプルの増加方法を示す図、（ｄ）本実施の形態２における特徴量空間における擬似サンプル増加後の良否結果を示す図
【図１３】パターン認識を用いた検査における特徴量空間を示す図
【図１４】従来の官能検査装置における特徴量空間の良否領域学習装置の構成を示す図
【図１５】従来の官能検査装置における特徴量空間において良品から不良品を合成する様子を示す図
【図１６】従来の特徴量空間における良品と不良品の分布を示す図
【発明を実施するための形態】
【００２０】
以下、本発明の実施の形態について、図面を参照しながら説明する。なお、以下の説明では、同じ構成には同じ符号を付けて、適宜、説明を省略している。
（実施の形態１）
まず、図１〜図１１を用いて、実施の形態１における官能検査装置及び官能検査方法について説明する。
【００２１】
図１（ａ）は、本発明の実施の形態１における官能検査装置の擬似サンプル発生システムを示すブロック図である。図１（ｂ）は、本発明の実施の形態１における官能検査装置のパターン認識学習装置を示すブロック図である。本実施の形態１では、擬似サンプル発生システムは、擬似サンプル発生装置である。
【００２２】
図１（ａ）において、良品データ入力部１にて、あらかじめ保存された良品の画像や音声等のデータを読み込み、フィルタ処理や特徴量の抽出を行う特徴量抽出部２を経由し、抽出した特徴量を特徴量空間作成部３に入力する。特徴量空間作成部３は特徴量の分布を基に正規化や座標変換を行い、特徴量空間を作成し、特徴量空間記憶部４でその座標系を記憶する。また、サンプル特徴量生成部５では特徴量空間作成部３で作成された特徴量空間を基に初期サンプルの特徴量を生成し、特徴量空間記憶部４と擬似サンプル作成部６へ出力する。
【００２３】
擬似サンプル作成部６では、良品データ入力部１から入力された良品データにサンプル特徴量生成部５で生成された初期サンプルの特徴量を合成して擬似サンプルを作成する。このとき、特徴量に自由度がある場合は、乱数発生部７によりその自由度の範囲内の特徴量を決定して擬似サンプル作成に用いても良い。そして、擬似サンプル表示部８では、擬似サンプル作成部６で作成された擬似サンプルを表示する。判定入力部９では、表示された擬似サンプルの良否を検査員が入力することができ、その結果は特徴量空間記憶部４へ送られる。特徴量空間記憶部４では、サンプル特徴量生成部５から入力された擬似サンプルの特徴量と、それに対応する判定入力部９から入力された判定結果とをセットで記憶する。
【００２４】
擬似サンプル特徴量生成部１０は、特徴量空間記憶部４に記憶された特徴量空間と擬似サンプルの判定結果が入力され、パターン認識で境界線（良品と不良品の境界を表す線）をひくのに有効なサンプルの特徴量を新たに生成し、擬似サンプル作成部６と特徴量空間記憶部４へ入力する。この特徴量は擬似サンプルの特徴量と同様に判定結果とセットで特徴量空間記憶部４に記憶される。
【００２５】
図２は、本発明の実施の形態１における擬似サンプル作成処理の流れを示すフローチャートである。
図２に示すように、擬似サンプルを作成する場合には、はじめに、良品データ入力部１において、あらかじめ保存してある検出部で検出した良品のデータを複数個読み出す（ステップＳ００１）。次に、特徴量抽出部２において各良品データから特徴量を抽出する（ステップＳ００２）。そして、特徴量空間作成部３において各良品データの平均値とばらつきを基にマハラノビス距離を算出し、それにより各特徴量の正規化を行い、正規化された各特徴量の分布を示す特徴量空間を作成し、特徴量空間記憶部４で特徴量空間を記憶する（ステップＳ００３）。次に、サンプル特徴量生成部５において、原点からのマハラノビス距離が一定値であるサンプルを初期サンプルとして複数作成する（ステップＳ００４）。この時、マハラノビス距離がある程度の範囲内にある初期サンプルを作成しても良く、ある程度の範囲としては、一定値から±１０％以内を範囲とすることが好ましい。具体的には、原点からのマハラノビス距離が２〜５であることが好ましい。また、初期サンプルが複数ある場合は、特徴量空間の原点を中心とする超球面上で均等に配置されることが好ましい。続いて、擬似サンプル作成部において、ステップＳ００１で読み出した良品データの平均値から標準良品データを作成し、作成した初期サンプルの特徴量を標準良品データの特徴量と合成して、擬似サンプルを作成する（ステップＳ００５）。次に、作成された擬似サンプルを擬似サンプル表示部８で表示し、熟練した検査員や品質保証の責任者が表示された擬似サンプルの良否判定を行い、判定入力部９にその結果を入力する（ステップＳ００６）。次に、入力された判定結果とそれに対応する擬似サンプルの特徴量を特徴量空間上に追加する（ステップＳ００７）。
【００２６】
ここで、特徴量空間上のサンプル数が一定値Ｎ未満の場合は、記憶されているサンプルの特徴量から、新たに追加サンプルの特徴量を生成する。サンプル数の一定値Ｎとしては、検査員の経験に基づく数字や、設計上要求される数字を、適宜設定する（ステップＳ００８）。ステップＳ００８の後はステップＳ００５に戻り、新たに生成された追加サンプルの特徴量に基づいて、再び擬似サンプルが作成される。サンプル数が一定値Ｎ以上の場合は、擬似サンプルの作成は完了する。以上で、擬似サンプル作成が終了し、パターン認識の学習を行える状態になる（ステップＳ００９）。
【００２７】
次に、図３，図４を用いて本実施の形態の学習動作を具体的に説明する。
図３は、ＬＣＤ（液晶ディスプレイ）をカメラで撮像した画像の例であり、その一部をＸ方向とＹ方向の両方でみたライン輝度ファイルを示した図である。図３（ａ）は良品画像、図３（ｂ）はムラがある場合の不良品画像である。図３（ａ）の良品画像の場合は、大きく滑らかなシェーディングはあるが、局所的な変動は小さい。一方で、図３（ｂ）の不良品画像は、良品画像と同様なシェーディングに加え、局所的な変動があり、これがムラとして不良になる。ここでいうシェーディングとは、画像の中心付近が端部に比べて明るく、画像全体のライン輝度ファイルをみると山のようになっている現状である。また、その全体的に発生したシェーディングに対して、局所的に発生した部分的に隣接する輝度の流れに合わない輝度分布の箇所をムラとする。
【００２８】
はじめに、標準的な良品の平均値とばらつきを求めるため、ｎ個の良品から取得した画像を読み込む。平均値とばらつきを求めるためには良品の個数は多いほど良いが、立ち上げ当初はサンプルを準備するのが難しく、また、時間もかかるため、ここでの良品は２０個程度あればよい（図２のステップＳ００１参照）。
【００２９】
次に、良品のムラの特徴量を抽出する。この工程について図４を用いて説明する。図４は、本発明の実施の形態１における特徴量抽出の流れを示すフローチャートである。良品のムラの特徴量を抽出する際に、まず良品データ入力部１において、良品の画像を入力する（ステップＳ０２１）。次に、ローパスフィルタを通すことによって良品画像から局所的な変動を除いた画像を得る（ステップＳ０２２）。これを元の良品画像から差し引くことで、シェーディングの影響を取り除き、局所的な変動のみの画像を得ることができる（ステップＳ０２３）。そして、この画像を一定の閾値で２値化処理する（ステップＳ０２４）。２値化処理を行った後に、複数のムラがある部分をラベリングする（ステップＳ０２５）。次にラベリングした各部分で面積と体積を算出する（ステップＳ０２６）。このうち最も輝度が高い最大輝度を最大のムラとして検索する（ステップＳ０２７）。最後に、最大のムラの面積Ｓｉ（ｉ＝１，２，…，ｎ）と体積Ｖｉ（ｉ＝１，２，…，ｎ）を特徴量として出力する（ステップＳ０２８）。ここで、最大のムラだけにしたのは、それが良品レベルであれば、他の小さいムラでも良品であるし、それが不良品レベルであれば少なくともそれより大きいムラは不良と判定できるからである（図２のステップＳ００２参照）。
【００３０】
このように、良品のムラの特徴量を抽出すると、次に、特徴長空間作成部３にてマハラノビス距離を元に特徴量空間を作成する。ステップＳ００２で求めた面積Ｓｉと体積Ｖｉの平均値をそれぞれｍｓ、ｍｖとし、標準偏差をそれぞれσｓ、σｖとし、面積Ｓｉと体積Ｖｉを正規化した特徴量をそれぞれｓｉ、ｖｉとすると、ｓｉ、ｖｉは次式（式１）で求める。
【００３１】
【数１】
次に、正規化した特徴量の相関行列Ｒを次式（式２）で求める。
【００３２】
【数２】
ここで、ｒ１２、ｒ２１は次式（式３）で表される。
【００３３】
【数３】
そして、相関行列Ｒの逆行列Ａを求める。
【００３４】
【数４】
このとき、相関行列Ｒは対称行列のため、逆行列Ａも対称行列である。そのため、行列Ａを固有値分解すると、次式（式５）で表すことができる。
【００３５】
【数５】
ここで、Λは固有値を対角上に並べた対角行列であり、Ｘ’はＸの転置行列である。次に、Λ１／２をΛの各要素を１／２乗したものとして、特徴量ｓｉ、ｖｉを次式（式６）で変換する。
【００３６】
【数６】
そして、この変換した特徴量ｓｉ’、ｖｉ’を特徴量空間とする。このとき、特徴量空間の原点からの距離｜｜ｘ’｜｜がマハラノビス距離となっている（図２のステップＳ００３参照）。
【００３７】
次に、特徴量空間を基に初期サンプルの特徴量を生成する。このとき、図５（ａ）に示すように特徴量空間の原点からの距離が定数ａとなるようなサンプルを複数生成する。ここで、工程の不良率が既知である場合は、ａはその不良率となる特徴量の標準偏差の倍数とする。例えば、不良率が０．３％であれば、ａ＝３、不良率が４．６％であれば、ａ＝２である。工程の不良率が未知である場合は、推定される不良率を用いるか、標準的な工程能力として経験的に求められる値を用い、例えばａ＝３とする。これにより、特徴量空間の原点からの距離がマハラノビス距離となっており、不良率に対応した距離に初期サンプルを生成するため、初期サンプルは良品と不良品の境界付近のサンプルに近いものとなる。そのため、必要なサンプルを確保すると共に、学習に必要なサンプル数を低減することができる（図２のステップＳ００４参照）。
【００３８】
次に、生成した初期サンプルの特徴量を基に擬似サンプルを作成する。図６に本発明の実施の形態１における擬似サンプル作成部の構成を示すブロック図を示す。図６において、良品画像入力部２１は、ｎ枚の良品画像を入力し、平均画像作成部２２でｎ枚の良品画像の特徴量を平均化し、良品の平均画像を作成する。特徴量入力部２３は初期サンプル特徴量生成部５や擬似サンプル特徴量生成部１０で生成された特徴量ｓｉ’、ｖｉ’を入力する。特徴量ｓｉ’、ｖｉ’は特徴量変換部２４において、次式（式７）、（式８）で面積Ｓｉ、体積Ｖｉに変換される。
【００３９】
【数７】
【００４０】
【数８】
特徴量は面積Ｓｉと体積Ｖｉのみしか決まっていないため、ムラの位置や形状には自由度がある。そこで、乱数発生部７で発生した乱数が乱数入力部２５に入力され、パラメータ決定部２６でムラの位置、形状を決定する。最後に、画像合成部２７で、良品の平均画像にムラを合成して擬似サンプルを作成する（図２のステップＳ００５参照）。
【００４１】
次に、作成した擬似サンプルを擬似サンプル表示部８で表示し、それを検査員が良品、境界付近の良品、境界付近の不良品、不良品の４段階に分けて評価を行い、判定入力部９へその結果を出力する（図２のステップＳ００６参照）。
【００４２】
続いて、生成した特徴量ｓｉ’、ｖｉ’とステップＳ００６で判定した判定結果をセットにして特徴量空間記憶部４に保存する。このときの結果は、図５（ｂ）の特徴量空間における初期サンプルの良否結果を説明する図のように、特徴量空間の原点からの距離が一定であるサンプルに対して、良品、境界付近の良品、境界付近の不良品、不良品の４段階の評価結果を示す結果となる（図２のステップＳ００７参照）。
【００４３】
そして、良否判定の境界を精度良く決定するためには最低Ｎ個のサンプルが必要であるため、生成した擬似サンプルの数がＮ個未満の場合は、新たな擬似サンプルを生成する。新たな擬似サンプルは、まず擬似サンプル特徴量生成部１０でその特徴量を生成するが、特徴量の生成方法は３つある。この方法を図５（ｃ）の擬似サンプルの増加方法を示す図を用いて説明する。１つ目は良品と判定されたサンプルの特徴量から所定量だけ原点方向へ変化させた（マハラノビス距離を小さくした）特徴量、２つ目は不良品と判定されたサンプルの特徴量から所定量だけ原点と逆方向へ変化させた（マハラノビス距離を大きくした）特徴量、３つ目は境界付近の良品、境界付近の不良品と判定されたサンプルの特徴量のうち２つを選択し、そのベクトルの大きさと方向をそれぞれ平均して特徴量を算出する方法である。平均化する方法として、特徴量の原点からの距離と方向を同じ比率で合成することが挙げられ、例えば、１／２の比率で合成する。このような特徴量を有する擬似サンプルを生成することにより、良品と不良品の境界付近の擬似サンプルを重点的に増やすことができる（図２のステップＳ００８参照）。
【００４４】
以上のサイクルを擬似サンプルの数がＮ個以上になるまで繰返す。その結果、図５（ｄ）の特徴量空間における擬似サンプル増加後の良否結果を示す図に示すように、良品と不良品の境界付近のサンプルが多くなる。そして、擬似サンプルの生成に用いた良品、不良品の判定結果は人が判定した結果であるため、生成後の擬似サンプルの良品、不良品の判定結果も人が判定した結果に近くなり、人の判断に近い境界線として破線で示すような良品、不良品の境界線を精度よく決めることができる。
【００４５】
最後に、発生した擬似サンプルを全て再度表示し、パターン認識学習システムでそれを検出する（図２のステップＳ００９参照）。
パターン認識学習システムでは、このように作成した擬似サンプルを用いて学習を行う。
【００４６】
なお、本実施の形態において、特徴量を面積と体積の２次元で説明したが、特に２次元に限定するものではなく、ｍ次元としてもよい。このとき、ｍ個の正規化した特徴量をｙｊｉ（ｊ＝１，２，…，ｍ、ｉ＝１，２，…，ｎ）として数２、数３は次式（式９）、（式１０）で表される。
【００４７】
【数９】
【００４８】
【数１０】
なお、本実施の形態において、初期サンプルの特徴量を生成時の原点からの距離を一定値ａとして生成したが、定める距離にある程度の範囲のばらつきを持たせても良い。そうすることで、擬似サンプル生成時に異なるマハラノビス距離のサンプルを発生させやすくなる。
【００４９】
以下、図１（ｂ），図７を用いて学習装置及び学習方法について説明する。
図１（ｂ）において、検出部１１は実サンプルや擬似サンプル発生装置または擬似サンプル発生方法で生成した画像や音声を取得するもので、ＣＣＤカメラやマイクロフォンなどが用いられる。特徴量抽出部１２は検出部１１で取得した画像や音声から特徴量を抽出して、特徴量空間作成部１３に出力する。特徴量空間作成部１３は特徴量の分布を基に正規化や座標変換を行い、特徴量空間を作成し、特徴量空間記憶部１５で特徴量空間の座標系を記憶する。また、特徴量空間作成部１３で抽出した擬似サンプルの特徴量をＳＶＭ（ｓｕｐｐｏｒｔ−ｖｅｃｔｏｒ−ｍａｃｈｉｎｅ）判定部１６に出力する。また、判定入力部１４は、作成した擬似サンプルを人が良否判定した結果を入力する。特徴量空間記憶部１５は、特徴量空間作成部１３から入力された特徴量の値と、それに対応する判定入力部１４から入力された判定結果をセットで記憶する。ＳＶＭ判定部１６に入力された擬似サンプルの特徴量空間からＳＶＭ解析を実施し、作成された擬似サンプルを機械的に良否判定する。判定比較部１７は、判定入力部１４での人が行った判定結果とＳＶＭ判定部１６の機械的な判定結果を判定比較部１７で比較し、良否判定が異なる擬似サンプルのみを再判定入力部１８に読み出し、再度、人が良否判定を行う。
【００５０】
ここで、再度、人が良否判定を行った結果が良品だった場合について考える。重み付け処理部１９において、再判定した良品の擬似サンプルの特徴量空間上の点Ｐと、不良品（再判定した良否と反対の良否結果）の判定空間群の重心点Ｏとを直線で結び、その直線とＳＶＭ解析の良否判定空間の境界線との交点をＱとして、線分ＯＱの長さをＬ１とし、線分ＱＰの長さをＬ２とした場合、その２つの線分の長さに応じてＭ×Ｌ２／Ｌ１（Ｍは重み係数）の点数だけ、再判定した良品の擬似サンプルの特徴量に重み付けをする。そして、再度ＳＶＭ判定部１６に良否判定結果が入力され、ＳＶＭ解析が実施され、判定比較部１７でＳＶＭ判定部１６の判定結果と再判定入力部１８の判定結果が相違無いかを確認する。もし不一致があれば、一致するまで繰り返し同様の処理をする。学習した擬似サンプルの判定結果が、ＳＶＭ判定部１６と再判定入力部１８で同じになれば、良否空間出力部２０に学習された良否空間が出力される。実際の検査は、この作成された良否空間を用いて行われ、実サンプルの特徴量からその良否を判定し、検査結果を教示する。
【００５１】
図７は、本発明の実施の形態１におけるパターン認識学習方法の流れを示すフローチャートである。
図７に示すように、はじめに、検出部１１に擬似サンプル作成部６で作成された擬似サンプルを読み出す（ステップＳ０１１）。次に、特徴量抽出部１２において各サンプルから特徴量を抽出する（ステップＳ０１２）。そして、特徴量空間作成部１３において各サンプルの特徴量を特徴量空間上にマッピングして、特徴量空間記憶部１５でそれを記憶する（ステップＳ０１３）。次に、読み込んだ擬似サンプルを熟練した検査員や品質保証の責任者等が良否判定を行い、判定入力部１４にその結果を入力する（ステップＳ０１４）。続いて、擬似サンプルから抽出した特徴量をＳＶＭ判定部１６に入力してＳＶＭ解析する（ステップＳ０１５）。判定比較部１７で擬似サンプル毎にステップＳ０１４で行った人の判定結果とＳＶＭの判定結果とを比較する（ステップＳ０１６）。その判定結果が異なる場合（誤判定が含まれた場合）、誤判定された擬似サンプルを再度判定し見直す。ここで、誤判定の場合とは、人が良品と判断したものが、ＳＶＭ解析の結果、不良品と判断される「過検出」の場合と、人が不良品と判断したものが、ＳＶＭ解析の結果、良品と判断される「見逃し」の場合との２通りの場合である。その際、判定結果に対して重み付け処理部において特徴量空間に再判定結果の重み付けを持たせる（ステップＳ０１７）。さらに同様の処理を繰り返し、誤判定が無くなれば、人の判断と同じ良否空間ができ上がることによって検査に用いる境界線が明確となり、実サンプルの検査に移行することが可能となる（ステップＳ０１８）。
【００５２】
以上の説明では、ＳＶＭ判定を行う場合を例に説明したが、判定方法は特定されるものではなく、機械的な良否判定を行うその他の判定手段を用いることができる。
次に、図３に示したＬＣＤの例を用いて本実施の形態の動作を説明する。
【００５３】
はじめに、ＬＣＤ画面の擬似サンプルを作成し、その画像を読み込む（図７のステップＳ０１１参照）。
次に、図４を用いて説明した画像処理を施し、特徴量を抽出する。この場合は、ＬＣＤ画面上のシミを検出する。シミの最大輝度値と面積を特徴として抽出する（図７のステップＳ０１２参照）。次に、図８に示すように、特徴量空間上に作成した擬似サンプルをマッピングする（図７のステップＳ０１３参照）。図８は本発明の実施の形態１における特徴量空間マッピングを例示する図である。
【００５４】
次に、熟練した検査員や品質保証の責任者等がマッピングされた擬似サンプルの良否判定を行う（図７のステップＳ０１４参照）。図９は本発明の実施の形態１における特徴量空間上の擬似サンプルを人が判定した結果を例示する図であり、人が良否判定した結果を示す。次に、同じくマッピングされた擬似サンプルに対してＳＶＭ解析により判定をする（図７のステップＳ０１５参照）。図１０の本発明の実施の形態１における特徴量空間上のＳＶＭの判定結果を例示する図に示すように、ＳＶＭ解析結果より、良否判定の境界線を設定できる。次に、人の良否判定結果とＳＶＭの良否判定結果とを比較し、誤判定サンプルを出力する（図７のステップＳ０１６参照）。次に、図１１に示すように、再判定した見逃しの擬似サンプルの点Ｐと、不良品（再判定した点Ｐと反対の良否内容）の判定空間群の重心点Ｏとを直線で結び、その直線とＳＶＭ解析の良否判定空間の境界線との交点をＱとして、線分ＯＱの長さをＬ１とし、線分ＱＰの長さをＬ２とした場合の誤判定点Ｐが良否境界からどれだけ離れているかを定量化すると、定量化した距離変数Ｘは、次式（式１１）となる。
【００５５】
【数１１】
ここで、重み付けする点数Ｙは、次式（式１２）となる。
【００５６】
【数１２】
ここで、Ｍは重み係数で、任意の定数とする。つまり、誤判定された擬似サンプルの特徴量に重み付けＹを付加することにより、再判定した結果の内容を同じ特徴量空間上にＹ点の数分追加して、擬似サンプルを特徴量空間上で増加させる。すなわち、再判定された擬似サンプルが１つ存在し、この擬似サンプルに重み付けする点数Ｙが３となった場合、合計で４つの擬似サンプルが生成されることになる。そのため、重み付けを行うことにより、特徴量空間上での擬似サンプルが３つ増加することになる。
【００５７】
このように、機械的に擬似サンプルを追加してもＳＶＭの判定が正しく行え、人の手で故意に学習するための擬似サンプルを新たに追加することなく、良否の境界線を算出することができる（図７のステップＳ０１７参照）。図１１の場合（見逃しの誤判定が存在する場合）は、再度、ＳＶＭ解析を行い、人とＳＶＭの判定が完全に一致するまで繰り返し、誤判定が無くなれば、そこで人の判断が反映された境界線を有する良否空間が完成する。そして、その特徴量空間を用いて、実サンプルのパターン認識を行って良否判定検査を実施する。
【００５８】
このように、特徴量空間の原点からマハラノビス距離に分布する初期サンプルを用いて、良否判定基準となる良否判定の境界線を学習することにより、境界付近の初期サンプルのみを用いて学習することができるため、少ない学習用のサンプルで最適な良否判定基準を定めることができる。
【００５９】
また、擬似サンプルを用いて学習する際に、誤判定をした擬似サンプルに重み付けを付加することにより、新たに人の手で擬似サンプルを追加することなく、機械的な判定工程において、誤判定をした擬似サンプルの判定を再度行うことができるため、少ない学習用のサンプルで最適な良否判定基準を定めることができる。
【００６０】
また、以上の説明では、以上の処理を両方行う場合を例に説明したが、いずれか一方のみを行うだけでも、少ない学習用のサンプルで最適な良否判定基準を定めることができる。
（実施の形態２）
次に、図１２を用いて実施の形態２における官能検査装置及び官能検査方法の実施の形態１に対して異なる特徴を説明する。
【００６１】
図１２は、本発明の実施の形態２の特徴量空間を示す図である。図１２において、図５と同じ構成要素については同じ符号を用い、説明を省略する。
図１２（ａ）は初期サンプルの特徴量である。初期サンプルを選択する際に、実施の形態１においては、原点からの距離がａとなる初期サンプルを選択し、方向はランダムとしたが、本発明の実施の形態２では、原点からの距離がａで、互いの間隔が等間隔となる初期サンプルを選択する。
【００６２】
図１２（ｂ）において、初期サンプルの判定結果を示す。
図１２（ｃ）は、擬似サンプル特徴量生成部１０で特徴量を生成する方法を示す図である。ここで、実施の形態２では原点からの直線に沿って新たな擬似サンプルを生成するが、判定結果が良品であれば原点に遠い位置に、不良品であれば原点に近い位置に新たな擬似サンプルを生成する。
【００６３】
そして、完了条件として、実施の形態１では擬似サンプルの個数を超えるまで繰り返したが、実施の形態２では、境界付近の良品、境界付近の不良品を検出するまで繰返すことを特徴とする。この時の擬似サンプルの分布を図１２（ｄ）の特徴量空間における擬似サンプル増加後の良否結果を示す図に例示する。
【００６４】
ここで説明した以外の処理は、実施の形態１と同様であるので説明を省略する。
本発明の実施の形態２における官能検査装置及び方法では、乱数を使用せず、個数ではなく実際に境界付近の良否結果を検出するまで擬似サンプルを生成するため、無駄なサンプルを減らしながら、より正確に少ない学習用のサンプルで最適な良否判定基準を定めることができる。
【産業上の利用可能性】
【００６５】
本発明は、正確に少ない学習用のサンプルで最適な良否判定基準を定めることができ、ディスプレイの目視検査や各種機械の異音検査などを自動で検査する官能検査装置及び官能検査方法等に有用である。
【符号の説明】
【００６６】
１ 良品データ入力部
２ 特徴量抽出部
３ 特徴量空間作成部
４ 特徴量空間記憶部
５ 初期サンプル特徴量生成部
６ 擬似サンプル作成部
７ 乱数発生部
８ 擬似サンプル表示部
９ 判定入力部
１０ 擬似サンプル特徴量生成部
１１ 検出部
１２ 特徴量抽出部
１３ 特徴量空間作成部
１４ 判定入力部
１５ 特徴量空間記憶部
１６ ＳＶＭ判定部
１７ 判定比較部
１８ 再判定入力部
１９ 重み付け処理部
２０ 良否空間出力部
２１ 良品画像入力部
２２ 平均画像作成部
２３ 特徴量入力部
２４ 特徴量変換部
２５ 乱数入力部
２６ パラメータ決定部
２７ 画像合成部
１０１ ニューラルネットワーク
１０２ 良品画像入力部
１０４ 不良画像抽出部
１０５ 擬似データ条件設定部
１０６ 擬似不良画像作成部
１０７ 前処理部
１０８ 差分データ
１０９ 乱数発生部
【技術分野】
【０００１】
本発明は、ディスプレイの目視検査や各種機械の異音検査などを自動で検査する官能検査装置及び官能検査方法に関するものである。
【背景技術】
【０００２】
近年、様々な工業製品の製造工程で自動化が進んでおり、検査工程も例外ではない。しかし、一方でディスプレイのムラや機構部品の異音など、官能的な判断が必要とされる検査については、依然として作業者による目視や聴覚等の主観による検査に頼っている。しかし、作業者の主観による検査では、長時間の官能検査は作業者に負担がかかる、個人差や体調・時間帯などによるばらつきが大きい、正確な検査には熟練が必要で、熟練検査員を育てるには時間がかかる、処理能力が低い、などにより検査結果の一様性を維持することが困難である。そのため、官能検査においても作業者の主観によらない自動化が求められている。
【０００３】
このような官能検査を自動化する手法としてパターン認識を用いたものがある。
ここで、図１３を用いてパターン認識による検査について説明する。
図１３は従来のパターン認識を用いた検査における特徴量空間を示す図である。
【０００４】
パターン認識を用いた検査では、まず、検査対象を検出器で検出した情報からいくつかの特徴量を抽出し、図１３に示すように、各特徴量を座標軸とした特徴量空間にプロットする。そして、プロットしたときにどの領域に属するかにより検査対象の良品、不良品、あるいは、グレー品（良品、不良品の判断がつかない品）に分類するものである。図１３では簡単のため、特徴量を２つにしているが、１つもしくは、３つ以上でも構わない。このとき、どの領域が良品、不良品、あるいは、グレー品かの決定は、あらかじめ良否が分かっているサンプルを事前に用意し、それらを特徴量空間にプロットしたときの分布から学習し、領域分けを行う。
【０００５】
この学習、分類する手法としては、ニューラルネットワークやＳＶＭ（ｓｕｐｐｏｒｔ−ｖｅｃｔｏｒ−ｍａｃｈｉｎｅ、以下、ＳＶＭと略す）、自己組織化マップ、ＭＴ（Ｍａｈａｌａｎｏｂｉｓ Ｔａｇｕｃｈｉ、以下、ＭＴと略す）法などを用いたものがある。また、ニューラルネットワークを用いた手法で、良品、不良品のサンプルを基に擬似不良を発生させ、それらを学習用のサンプルとして利用することで、少ない学習用のサンプルで判定の精度を高める方法があった（例えば、特許文献１参照）。
【０００６】
以下、図１４，図１５を用いて、従来の官能検査装置における特徴量空間の良否領域学習について説明する。
図１４は従来の官能検査装置における特徴量空間の良否領域の学習装置の構成を示す図であり、特許文献１に記載された従来のブロック図を示すものである。図１５は従来の官能検査装置における特徴量空間において良品から不良品を合成する様子を示す図である。
【０００７】
図１４において、ニューラルネットワーク１０１を用いて製品の良否を検査することが可能である。良品の学習は、良品画像入力部１０２にて、あらかじめ保存してある良品画像を読み込み、フィルタ処理や特徴量の抽出を行う前処理部１０７を経由してニューラルネットワーク１０１に入力し、良品データとして学習を行わせる。
【０００８】
不良品の学習は、不良品の画像の数が必要とする学習数以上の時に、予め保存してある不良品画像を読み込み、前処理部１０７を経由してニューラルネットワーク１０１に入力することで、不良品データとして学習を行わせる。
【０００９】
しかしながら、通常はオリジナルの不良データを必要とする学習数だけ入手することは困難であるため、不良画像から良品との差分データ１０８を抽出する不良画像抽出部１０４と、良品画像入力部１０２から良品画像を読み込み、差分データ１０８を合成して擬似不良画像を生成する擬似不良画像作成部１０６と、差分データ１０８を合成位置等とどのように合成するかの条件を、乱数発生部１０９の乱数値を組み合わせて擬似不良画像作成部１０６に指示する擬似データ条件設定部１０５を備えている。
【００１０】
これにより、従来の構成では、図１５に示すように、実際の不良画像を基に、その付近に擬似不良画像を多数作成し、学習用のサンプルを増加させることで図１６のようにして、良否判定の精度を上げようとするものであった。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開２００５−１５６３３４号公報
【発明の概要】
【発明が解決しようとする課題】
【００１２】
しかしながら、前記従来の構成においても、パターン認識を用いた検査の自動化における課題を十分解決できていない。
パターン認識を用いた検査の自動化における課題は、良品と不良品の境界を決めるために有効なサンプルが少ないため、人と同じ判定を行うための境界を学習することが難しいということである。
【００１３】
図１６の従来の特徴量空間における良品と不良品の分布を示す図を用いて詳しく説明する。一般に、良品のばらつきは正規分布をしているため、サンプルは平均値付近に多く存在することになり、境界付近の良品は少ない。また、不良品が発生する頻度は一般的に少なく、不良が発生しても境界から大きく外れたサンプルになりやすい。これを特徴量空間にプロットすると、図１６のようになる。図１６においては、良品と不良品との間隔が大きいため、良品と不良品を判別する境界線は数多く形成可能で一義的に定めることが困難となり、人間の感覚に近い境界線を学習することはできない。
【００１４】
また、特許文献１に示す擬似不良画像自動作成装置及び画像検査装置に関する発明は、少ない不良品の数を補うものであり、特徴量空間で説明すると、図１５に示すように、発生した不良品データを基に、その付近の不良品データを合成により増やす方法であるが、増やせるサンプルは基の不良品データの周辺に限定される。このため、検査精度が大きく向上することは見込めない。
【００１５】
本発明は、前記従来の課題を解決するもので、少ない学習用のサンプルで人の判断に近い良否判定基準を定めることを可能とした官能検査を実現することを目的とする。
【課題を解決するための手段】
【００１６】
上記目的を達成するために、本発明の官能検査装置は、擬似サンプルを作成する擬似サンプル作成部と、前記擬似サンプルに対して人が判定した良否結果を入力する判定入力部と、前記判定入力部で入力された良否結果から良品と不良品との境界付近の特徴量を生成して前記擬似サンプルの特徴量とする擬似サンプル特徴量生成部と、前記擬似サンプル作成部で作成した擬似サンプルの特徴量から良品と不良品の境界線を作成してＳＶＭ解析による良否判定を行うＳＶＭ判定部と、前記判定入力部での良否結果と前記ＳＶＭ判定部での良否結果とを比較する判定比較部と、前記判定比較部で良否結果が異なる擬似サンプルに対して人が再判定した良否結果を入力する再判定入力部と、前記再判定入力部で入力された良否結果に対して、前記ＳＶＭ判定部で作成した境界線からの距離に応じた重み付けを付加してサンプルを追加する重み付け処理部と、前記重み付け処理部で追加されたサンプルを加えて良否判定を行う官能検査部とを有することを特徴とする。
【００１７】
また、上記目的を達成するために、本発明の官能検査方法は、擬似サンプルを作成する擬似サンプル作成工程と、前記擬似サンプルに対して人が判定したときの良否結果を入力する判定入力工程と、前記判定入力工程で入力された良否結果から良品と不良品との境界付近の特徴量を生成して前記擬似サンプルの特徴量とする擬似サンプル特徴量生成工程と、前記擬似サンプルの特徴量から良品と不良品の境界線を作成するＳＶＭ解析により良否判定をするＳＶＭ判定工程と、前記判定入力工程と前記ＳＶＭ判定工程の結果を比較する判定比較工程と、前記判定比較工程で良否判定が異なる擬似サンプルに対して人が再判定した良否結果を入力する再判定入力工程と、前記再判定入力工程で入力された結果に対して、前記ＳＶＭ判定工程で作成した境界線からの距離に応じた重み付けを付加して擬似サンプルを追加する重み付け処理工程と、前記重み付け処理部で追加されたサンプルを加えて良否判定を行う官能検査工程とを有することを特徴とする。
【発明の効果】
【００１８】
以上のように、本発明によれば、少ない学習用のサンプルで人の判断に近い良否判定基準を定めることができる。
【図面の簡単な説明】
【００１９】
【図１】（ａ）本発明の実施の形態１における官能検査装置の擬似サンプル発生システムを示すブロック図、（ｂ）本実施の形態１における官能検査装置のパターン認識学習装置を示すブロック図
【図２】本実施の形態１における擬似サンプル作成処理の流れを示すフローチャート
【図３】（ａ）本実施の形態１におけるＬＣＤをカメラで撮像した画像のうち良品画像の例を示した図、（ｂ）本実施の形態１におけるＬＣＤをカメラで撮像した画像のうち不良品画像の例を示した図
【図４】本実施の形態１における特徴量抽出の流れを示すフローチャート
【図５】（ａ）本実施の形態１における特徴量空間における初期サンプルの特徴量を説明する図、（ｂ）本実施の形態１における特徴量空間における初期サンプルの良否結果を説明する図、（ｃ）本実施の形態１における擬似サンプルの増加方法を示す図、（ｄ）本実施の形態１における特徴量空間における擬似サンプル増加後の良否結果を示す図
【図６】本実施の形態１における擬似サンプル作成部の構成を示すブロック図
【図７】本実施の形態１におけるパターン認識学習方法の流れを示すフローチャート
【図８】本実施の形態１における特徴量空間マッピングを例示する図
【図９】本実施の形態１における特徴量空間上の擬似サンプルを人が判定した結果を例示する図
【図１０】本実施の形態１における特徴量空間上のＳＶＭの判定結果を例示する図
【図１１】本実施の形態１における特徴量空間上の重み付け処理方法を説明する図
【図１２】（ａ）本発明の実施の形態２における特徴量空間における初期サンプルの特徴量を説明する図、（ｂ）本実施の形態２における特徴量空間における初期サンプルの良否結果を説明する図、（ｃ）本実施の形態２における擬似サンプルの増加方法を示す図、（ｄ）本実施の形態２における特徴量空間における擬似サンプル増加後の良否結果を示す図
【図１３】パターン認識を用いた検査における特徴量空間を示す図
【図１４】従来の官能検査装置における特徴量空間の良否領域学習装置の構成を示す図
【図１５】従来の官能検査装置における特徴量空間において良品から不良品を合成する様子を示す図
【図１６】従来の特徴量空間における良品と不良品の分布を示す図
【発明を実施するための形態】
【００２０】
以下、本発明の実施の形態について、図面を参照しながら説明する。なお、以下の説明では、同じ構成には同じ符号を付けて、適宜、説明を省略している。
（実施の形態１）
まず、図１〜図１１を用いて、実施の形態１における官能検査装置及び官能検査方法について説明する。
【００２１】
図１（ａ）は、本発明の実施の形態１における官能検査装置の擬似サンプル発生システムを示すブロック図である。図１（ｂ）は、本発明の実施の形態１における官能検査装置のパターン認識学習装置を示すブロック図である。本実施の形態１では、擬似サンプル発生システムは、擬似サンプル発生装置である。
【００２２】
図１（ａ）において、良品データ入力部１にて、あらかじめ保存された良品の画像や音声等のデータを読み込み、フィルタ処理や特徴量の抽出を行う特徴量抽出部２を経由し、抽出した特徴量を特徴量空間作成部３に入力する。特徴量空間作成部３は特徴量の分布を基に正規化や座標変換を行い、特徴量空間を作成し、特徴量空間記憶部４でその座標系を記憶する。また、サンプル特徴量生成部５では特徴量空間作成部３で作成された特徴量空間を基に初期サンプルの特徴量を生成し、特徴量空間記憶部４と擬似サンプル作成部６へ出力する。
【００２３】
擬似サンプル作成部６では、良品データ入力部１から入力された良品データにサンプル特徴量生成部５で生成された初期サンプルの特徴量を合成して擬似サンプルを作成する。このとき、特徴量に自由度がある場合は、乱数発生部７によりその自由度の範囲内の特徴量を決定して擬似サンプル作成に用いても良い。そして、擬似サンプル表示部８では、擬似サンプル作成部６で作成された擬似サンプルを表示する。判定入力部９では、表示された擬似サンプルの良否を検査員が入力することができ、その結果は特徴量空間記憶部４へ送られる。特徴量空間記憶部４では、サンプル特徴量生成部５から入力された擬似サンプルの特徴量と、それに対応する判定入力部９から入力された判定結果とをセットで記憶する。
【００２４】
擬似サンプル特徴量生成部１０は、特徴量空間記憶部４に記憶された特徴量空間と擬似サンプルの判定結果が入力され、パターン認識で境界線（良品と不良品の境界を表す線）をひくのに有効なサンプルの特徴量を新たに生成し、擬似サンプル作成部６と特徴量空間記憶部４へ入力する。この特徴量は擬似サンプルの特徴量と同様に判定結果とセットで特徴量空間記憶部４に記憶される。
【００２５】
図２は、本発明の実施の形態１における擬似サンプル作成処理の流れを示すフローチャートである。
図２に示すように、擬似サンプルを作成する場合には、はじめに、良品データ入力部１において、あらかじめ保存してある検出部で検出した良品のデータを複数個読み出す（ステップＳ００１）。次に、特徴量抽出部２において各良品データから特徴量を抽出する（ステップＳ００２）。そして、特徴量空間作成部３において各良品データの平均値とばらつきを基にマハラノビス距離を算出し、それにより各特徴量の正規化を行い、正規化された各特徴量の分布を示す特徴量空間を作成し、特徴量空間記憶部４で特徴量空間を記憶する（ステップＳ００３）。次に、サンプル特徴量生成部５において、原点からのマハラノビス距離が一定値であるサンプルを初期サンプルとして複数作成する（ステップＳ００４）。この時、マハラノビス距離がある程度の範囲内にある初期サンプルを作成しても良く、ある程度の範囲としては、一定値から±１０％以内を範囲とすることが好ましい。具体的には、原点からのマハラノビス距離が２〜５であることが好ましい。また、初期サンプルが複数ある場合は、特徴量空間の原点を中心とする超球面上で均等に配置されることが好ましい。続いて、擬似サンプル作成部において、ステップＳ００１で読み出した良品データの平均値から標準良品データを作成し、作成した初期サンプルの特徴量を標準良品データの特徴量と合成して、擬似サンプルを作成する（ステップＳ００５）。次に、作成された擬似サンプルを擬似サンプル表示部８で表示し、熟練した検査員や品質保証の責任者が表示された擬似サンプルの良否判定を行い、判定入力部９にその結果を入力する（ステップＳ００６）。次に、入力された判定結果とそれに対応する擬似サンプルの特徴量を特徴量空間上に追加する（ステップＳ００７）。
【００２６】
ここで、特徴量空間上のサンプル数が一定値Ｎ未満の場合は、記憶されているサンプルの特徴量から、新たに追加サンプルの特徴量を生成する。サンプル数の一定値Ｎとしては、検査員の経験に基づく数字や、設計上要求される数字を、適宜設定する（ステップＳ００８）。ステップＳ００８の後はステップＳ００５に戻り、新たに生成された追加サンプルの特徴量に基づいて、再び擬似サンプルが作成される。サンプル数が一定値Ｎ以上の場合は、擬似サンプルの作成は完了する。以上で、擬似サンプル作成が終了し、パターン認識の学習を行える状態になる（ステップＳ００９）。
【００２７】
次に、図３，図４を用いて本実施の形態の学習動作を具体的に説明する。
図３は、ＬＣＤ（液晶ディスプレイ）をカメラで撮像した画像の例であり、その一部をＸ方向とＹ方向の両方でみたライン輝度ファイルを示した図である。図３（ａ）は良品画像、図３（ｂ）はムラがある場合の不良品画像である。図３（ａ）の良品画像の場合は、大きく滑らかなシェーディングはあるが、局所的な変動は小さい。一方で、図３（ｂ）の不良品画像は、良品画像と同様なシェーディングに加え、局所的な変動があり、これがムラとして不良になる。ここでいうシェーディングとは、画像の中心付近が端部に比べて明るく、画像全体のライン輝度ファイルをみると山のようになっている現状である。また、その全体的に発生したシェーディングに対して、局所的に発生した部分的に隣接する輝度の流れに合わない輝度分布の箇所をムラとする。
【００２８】
はじめに、標準的な良品の平均値とばらつきを求めるため、ｎ個の良品から取得した画像を読み込む。平均値とばらつきを求めるためには良品の個数は多いほど良いが、立ち上げ当初はサンプルを準備するのが難しく、また、時間もかかるため、ここでの良品は２０個程度あればよい（図２のステップＳ００１参照）。
【００２９】
次に、良品のムラの特徴量を抽出する。この工程について図４を用いて説明する。図４は、本発明の実施の形態１における特徴量抽出の流れを示すフローチャートである。良品のムラの特徴量を抽出する際に、まず良品データ入力部１において、良品の画像を入力する（ステップＳ０２１）。次に、ローパスフィルタを通すことによって良品画像から局所的な変動を除いた画像を得る（ステップＳ０２２）。これを元の良品画像から差し引くことで、シェーディングの影響を取り除き、局所的な変動のみの画像を得ることができる（ステップＳ０２３）。そして、この画像を一定の閾値で２値化処理する（ステップＳ０２４）。２値化処理を行った後に、複数のムラがある部分をラベリングする（ステップＳ０２５）。次にラベリングした各部分で面積と体積を算出する（ステップＳ０２６）。このうち最も輝度が高い最大輝度を最大のムラとして検索する（ステップＳ０２７）。最後に、最大のムラの面積Ｓｉ（ｉ＝１，２，…，ｎ）と体積Ｖｉ（ｉ＝１，２，…，ｎ）を特徴量として出力する（ステップＳ０２８）。ここで、最大のムラだけにしたのは、それが良品レベルであれば、他の小さいムラでも良品であるし、それが不良品レベルであれば少なくともそれより大きいムラは不良と判定できるからである（図２のステップＳ００２参照）。
【００３０】
このように、良品のムラの特徴量を抽出すると、次に、特徴長空間作成部３にてマハラノビス距離を元に特徴量空間を作成する。ステップＳ００２で求めた面積Ｓｉと体積Ｖｉの平均値をそれぞれｍｓ、ｍｖとし、標準偏差をそれぞれσｓ、σｖとし、面積Ｓｉと体積Ｖｉを正規化した特徴量をそれぞれｓｉ、ｖｉとすると、ｓｉ、ｖｉは次式（式１）で求める。
【００３１】
【数１】
次に、正規化した特徴量の相関行列Ｒを次式（式２）で求める。
【００３２】
【数２】
ここで、ｒ１２、ｒ２１は次式（式３）で表される。
【００３３】
【数３】
そして、相関行列Ｒの逆行列Ａを求める。
【００３４】
【数４】
このとき、相関行列Ｒは対称行列のため、逆行列Ａも対称行列である。そのため、行列Ａを固有値分解すると、次式（式５）で表すことができる。
【００３５】
【数５】
ここで、Λは固有値を対角上に並べた対角行列であり、Ｘ’はＸの転置行列である。次に、Λ１／２をΛの各要素を１／２乗したものとして、特徴量ｓｉ、ｖｉを次式（式６）で変換する。
【００３６】
【数６】
そして、この変換した特徴量ｓｉ’、ｖｉ’を特徴量空間とする。このとき、特徴量空間の原点からの距離｜｜ｘ’｜｜がマハラノビス距離となっている（図２のステップＳ００３参照）。
【００３７】
次に、特徴量空間を基に初期サンプルの特徴量を生成する。このとき、図５（ａ）に示すように特徴量空間の原点からの距離が定数ａとなるようなサンプルを複数生成する。ここで、工程の不良率が既知である場合は、ａはその不良率となる特徴量の標準偏差の倍数とする。例えば、不良率が０．３％であれば、ａ＝３、不良率が４．６％であれば、ａ＝２である。工程の不良率が未知である場合は、推定される不良率を用いるか、標準的な工程能力として経験的に求められる値を用い、例えばａ＝３とする。これにより、特徴量空間の原点からの距離がマハラノビス距離となっており、不良率に対応した距離に初期サンプルを生成するため、初期サンプルは良品と不良品の境界付近のサンプルに近いものとなる。そのため、必要なサンプルを確保すると共に、学習に必要なサンプル数を低減することができる（図２のステップＳ００４参照）。
【００３８】
次に、生成した初期サンプルの特徴量を基に擬似サンプルを作成する。図６に本発明の実施の形態１における擬似サンプル作成部の構成を示すブロック図を示す。図６において、良品画像入力部２１は、ｎ枚の良品画像を入力し、平均画像作成部２２でｎ枚の良品画像の特徴量を平均化し、良品の平均画像を作成する。特徴量入力部２３は初期サンプル特徴量生成部５や擬似サンプル特徴量生成部１０で生成された特徴量ｓｉ’、ｖｉ’を入力する。特徴量ｓｉ’、ｖｉ’は特徴量変換部２４において、次式（式７）、（式８）で面積Ｓｉ、体積Ｖｉに変換される。
【００３９】
【数７】
【００４０】
【数８】
特徴量は面積Ｓｉと体積Ｖｉのみしか決まっていないため、ムラの位置や形状には自由度がある。そこで、乱数発生部７で発生した乱数が乱数入力部２５に入力され、パラメータ決定部２６でムラの位置、形状を決定する。最後に、画像合成部２７で、良品の平均画像にムラを合成して擬似サンプルを作成する（図２のステップＳ００５参照）。
【００４１】
次に、作成した擬似サンプルを擬似サンプル表示部８で表示し、それを検査員が良品、境界付近の良品、境界付近の不良品、不良品の４段階に分けて評価を行い、判定入力部９へその結果を出力する（図２のステップＳ００６参照）。
【００４２】
続いて、生成した特徴量ｓｉ’、ｖｉ’とステップＳ００６で判定した判定結果をセットにして特徴量空間記憶部４に保存する。このときの結果は、図５（ｂ）の特徴量空間における初期サンプルの良否結果を説明する図のように、特徴量空間の原点からの距離が一定であるサンプルに対して、良品、境界付近の良品、境界付近の不良品、不良品の４段階の評価結果を示す結果となる（図２のステップＳ００７参照）。
【００４３】
そして、良否判定の境界を精度良く決定するためには最低Ｎ個のサンプルが必要であるため、生成した擬似サンプルの数がＮ個未満の場合は、新たな擬似サンプルを生成する。新たな擬似サンプルは、まず擬似サンプル特徴量生成部１０でその特徴量を生成するが、特徴量の生成方法は３つある。この方法を図５（ｃ）の擬似サンプルの増加方法を示す図を用いて説明する。１つ目は良品と判定されたサンプルの特徴量から所定量だけ原点方向へ変化させた（マハラノビス距離を小さくした）特徴量、２つ目は不良品と判定されたサンプルの特徴量から所定量だけ原点と逆方向へ変化させた（マハラノビス距離を大きくした）特徴量、３つ目は境界付近の良品、境界付近の不良品と判定されたサンプルの特徴量のうち２つを選択し、そのベクトルの大きさと方向をそれぞれ平均して特徴量を算出する方法である。平均化する方法として、特徴量の原点からの距離と方向を同じ比率で合成することが挙げられ、例えば、１／２の比率で合成する。このような特徴量を有する擬似サンプルを生成することにより、良品と不良品の境界付近の擬似サンプルを重点的に増やすことができる（図２のステップＳ００８参照）。
【００４４】
以上のサイクルを擬似サンプルの数がＮ個以上になるまで繰返す。その結果、図５（ｄ）の特徴量空間における擬似サンプル増加後の良否結果を示す図に示すように、良品と不良品の境界付近のサンプルが多くなる。そして、擬似サンプルの生成に用いた良品、不良品の判定結果は人が判定した結果であるため、生成後の擬似サンプルの良品、不良品の判定結果も人が判定した結果に近くなり、人の判断に近い境界線として破線で示すような良品、不良品の境界線を精度よく決めることができる。
【００４５】
最後に、発生した擬似サンプルを全て再度表示し、パターン認識学習システムでそれを検出する（図２のステップＳ００９参照）。
パターン認識学習システムでは、このように作成した擬似サンプルを用いて学習を行う。
【００４６】
なお、本実施の形態において、特徴量を面積と体積の２次元で説明したが、特に２次元に限定するものではなく、ｍ次元としてもよい。このとき、ｍ個の正規化した特徴量をｙｊｉ（ｊ＝１，２，…，ｍ、ｉ＝１，２，…，ｎ）として数２、数３は次式（式９）、（式１０）で表される。
【００４７】
【数９】
【００４８】
【数１０】
なお、本実施の形態において、初期サンプルの特徴量を生成時の原点からの距離を一定値ａとして生成したが、定める距離にある程度の範囲のばらつきを持たせても良い。そうすることで、擬似サンプル生成時に異なるマハラノビス距離のサンプルを発生させやすくなる。
【００４９】
以下、図１（ｂ），図７を用いて学習装置及び学習方法について説明する。
図１（ｂ）において、検出部１１は実サンプルや擬似サンプル発生装置または擬似サンプル発生方法で生成した画像や音声を取得するもので、ＣＣＤカメラやマイクロフォンなどが用いられる。特徴量抽出部１２は検出部１１で取得した画像や音声から特徴量を抽出して、特徴量空間作成部１３に出力する。特徴量空間作成部１３は特徴量の分布を基に正規化や座標変換を行い、特徴量空間を作成し、特徴量空間記憶部１５で特徴量空間の座標系を記憶する。また、特徴量空間作成部１３で抽出した擬似サンプルの特徴量をＳＶＭ（ｓｕｐｐｏｒｔ−ｖｅｃｔｏｒ−ｍａｃｈｉｎｅ）判定部１６に出力する。また、判定入力部１４は、作成した擬似サンプルを人が良否判定した結果を入力する。特徴量空間記憶部１５は、特徴量空間作成部１３から入力された特徴量の値と、それに対応する判定入力部１４から入力された判定結果をセットで記憶する。ＳＶＭ判定部１６に入力された擬似サンプルの特徴量空間からＳＶＭ解析を実施し、作成された擬似サンプルを機械的に良否判定する。判定比較部１７は、判定入力部１４での人が行った判定結果とＳＶＭ判定部１６の機械的な判定結果を判定比較部１７で比較し、良否判定が異なる擬似サンプルのみを再判定入力部１８に読み出し、再度、人が良否判定を行う。
【００５０】
ここで、再度、人が良否判定を行った結果が良品だった場合について考える。重み付け処理部１９において、再判定した良品の擬似サンプルの特徴量空間上の点Ｐと、不良品（再判定した良否と反対の良否結果）の判定空間群の重心点Ｏとを直線で結び、その直線とＳＶＭ解析の良否判定空間の境界線との交点をＱとして、線分ＯＱの長さをＬ１とし、線分ＱＰの長さをＬ２とした場合、その２つの線分の長さに応じてＭ×Ｌ２／Ｌ１（Ｍは重み係数）の点数だけ、再判定した良品の擬似サンプルの特徴量に重み付けをする。そして、再度ＳＶＭ判定部１６に良否判定結果が入力され、ＳＶＭ解析が実施され、判定比較部１７でＳＶＭ判定部１６の判定結果と再判定入力部１８の判定結果が相違無いかを確認する。もし不一致があれば、一致するまで繰り返し同様の処理をする。学習した擬似サンプルの判定結果が、ＳＶＭ判定部１６と再判定入力部１８で同じになれば、良否空間出力部２０に学習された良否空間が出力される。実際の検査は、この作成された良否空間を用いて行われ、実サンプルの特徴量からその良否を判定し、検査結果を教示する。
【００５１】
図７は、本発明の実施の形態１におけるパターン認識学習方法の流れを示すフローチャートである。
図７に示すように、はじめに、検出部１１に擬似サンプル作成部６で作成された擬似サンプルを読み出す（ステップＳ０１１）。次に、特徴量抽出部１２において各サンプルから特徴量を抽出する（ステップＳ０１２）。そして、特徴量空間作成部１３において各サンプルの特徴量を特徴量空間上にマッピングして、特徴量空間記憶部１５でそれを記憶する（ステップＳ０１３）。次に、読み込んだ擬似サンプルを熟練した検査員や品質保証の責任者等が良否判定を行い、判定入力部１４にその結果を入力する（ステップＳ０１４）。続いて、擬似サンプルから抽出した特徴量をＳＶＭ判定部１６に入力してＳＶＭ解析する（ステップＳ０１５）。判定比較部１７で擬似サンプル毎にステップＳ０１４で行った人の判定結果とＳＶＭの判定結果とを比較する（ステップＳ０１６）。その判定結果が異なる場合（誤判定が含まれた場合）、誤判定された擬似サンプルを再度判定し見直す。ここで、誤判定の場合とは、人が良品と判断したものが、ＳＶＭ解析の結果、不良品と判断される「過検出」の場合と、人が不良品と判断したものが、ＳＶＭ解析の結果、良品と判断される「見逃し」の場合との２通りの場合である。その際、判定結果に対して重み付け処理部において特徴量空間に再判定結果の重み付けを持たせる（ステップＳ０１７）。さらに同様の処理を繰り返し、誤判定が無くなれば、人の判断と同じ良否空間ができ上がることによって検査に用いる境界線が明確となり、実サンプルの検査に移行することが可能となる（ステップＳ０１８）。
【００５２】
以上の説明では、ＳＶＭ判定を行う場合を例に説明したが、判定方法は特定されるものではなく、機械的な良否判定を行うその他の判定手段を用いることができる。
次に、図３に示したＬＣＤの例を用いて本実施の形態の動作を説明する。
【００５３】
はじめに、ＬＣＤ画面の擬似サンプルを作成し、その画像を読み込む（図７のステップＳ０１１参照）。
次に、図４を用いて説明した画像処理を施し、特徴量を抽出する。この場合は、ＬＣＤ画面上のシミを検出する。シミの最大輝度値と面積を特徴として抽出する（図７のステップＳ０１２参照）。次に、図８に示すように、特徴量空間上に作成した擬似サンプルをマッピングする（図７のステップＳ０１３参照）。図８は本発明の実施の形態１における特徴量空間マッピングを例示する図である。
【００５４】
次に、熟練した検査員や品質保証の責任者等がマッピングされた擬似サンプルの良否判定を行う（図７のステップＳ０１４参照）。図９は本発明の実施の形態１における特徴量空間上の擬似サンプルを人が判定した結果を例示する図であり、人が良否判定した結果を示す。次に、同じくマッピングされた擬似サンプルに対してＳＶＭ解析により判定をする（図７のステップＳ０１５参照）。図１０の本発明の実施の形態１における特徴量空間上のＳＶＭの判定結果を例示する図に示すように、ＳＶＭ解析結果より、良否判定の境界線を設定できる。次に、人の良否判定結果とＳＶＭの良否判定結果とを比較し、誤判定サンプルを出力する（図７のステップＳ０１６参照）。次に、図１１に示すように、再判定した見逃しの擬似サンプルの点Ｐと、不良品（再判定した点Ｐと反対の良否内容）の判定空間群の重心点Ｏとを直線で結び、その直線とＳＶＭ解析の良否判定空間の境界線との交点をＱとして、線分ＯＱの長さをＬ１とし、線分ＱＰの長さをＬ２とした場合の誤判定点Ｐが良否境界からどれだけ離れているかを定量化すると、定量化した距離変数Ｘは、次式（式１１）となる。
【００５５】
【数１１】
ここで、重み付けする点数Ｙは、次式（式１２）となる。
【００５６】
【数１２】
ここで、Ｍは重み係数で、任意の定数とする。つまり、誤判定された擬似サンプルの特徴量に重み付けＹを付加することにより、再判定した結果の内容を同じ特徴量空間上にＹ点の数分追加して、擬似サンプルを特徴量空間上で増加させる。すなわち、再判定された擬似サンプルが１つ存在し、この擬似サンプルに重み付けする点数Ｙが３となった場合、合計で４つの擬似サンプルが生成されることになる。そのため、重み付けを行うことにより、特徴量空間上での擬似サンプルが３つ増加することになる。
【００５７】
このように、機械的に擬似サンプルを追加してもＳＶＭの判定が正しく行え、人の手で故意に学習するための擬似サンプルを新たに追加することなく、良否の境界線を算出することができる（図７のステップＳ０１７参照）。図１１の場合（見逃しの誤判定が存在する場合）は、再度、ＳＶＭ解析を行い、人とＳＶＭの判定が完全に一致するまで繰り返し、誤判定が無くなれば、そこで人の判断が反映された境界線を有する良否空間が完成する。そして、その特徴量空間を用いて、実サンプルのパターン認識を行って良否判定検査を実施する。
【００５８】
このように、特徴量空間の原点からマハラノビス距離に分布する初期サンプルを用いて、良否判定基準となる良否判定の境界線を学習することにより、境界付近の初期サンプルのみを用いて学習することができるため、少ない学習用のサンプルで最適な良否判定基準を定めることができる。
【００５９】
また、擬似サンプルを用いて学習する際に、誤判定をした擬似サンプルに重み付けを付加することにより、新たに人の手で擬似サンプルを追加することなく、機械的な判定工程において、誤判定をした擬似サンプルの判定を再度行うことができるため、少ない学習用のサンプルで最適な良否判定基準を定めることができる。
【００６０】
また、以上の説明では、以上の処理を両方行う場合を例に説明したが、いずれか一方のみを行うだけでも、少ない学習用のサンプルで最適な良否判定基準を定めることができる。
（実施の形態２）
次に、図１２を用いて実施の形態２における官能検査装置及び官能検査方法の実施の形態１に対して異なる特徴を説明する。
【００６１】
図１２は、本発明の実施の形態２の特徴量空間を示す図である。図１２において、図５と同じ構成要素については同じ符号を用い、説明を省略する。
図１２（ａ）は初期サンプルの特徴量である。初期サンプルを選択する際に、実施の形態１においては、原点からの距離がａとなる初期サンプルを選択し、方向はランダムとしたが、本発明の実施の形態２では、原点からの距離がａで、互いの間隔が等間隔となる初期サンプルを選択する。
【００６２】
図１２（ｂ）において、初期サンプルの判定結果を示す。
図１２（ｃ）は、擬似サンプル特徴量生成部１０で特徴量を生成する方法を示す図である。ここで、実施の形態２では原点からの直線に沿って新たな擬似サンプルを生成するが、判定結果が良品であれば原点に遠い位置に、不良品であれば原点に近い位置に新たな擬似サンプルを生成する。
【００６３】
そして、完了条件として、実施の形態１では擬似サンプルの個数を超えるまで繰り返したが、実施の形態２では、境界付近の良品、境界付近の不良品を検出するまで繰返すことを特徴とする。この時の擬似サンプルの分布を図１２（ｄ）の特徴量空間における擬似サンプル増加後の良否結果を示す図に例示する。
【００６４】
ここで説明した以外の処理は、実施の形態１と同様であるので説明を省略する。
本発明の実施の形態２における官能検査装置及び方法では、乱数を使用せず、個数ではなく実際に境界付近の良否結果を検出するまで擬似サンプルを生成するため、無駄なサンプルを減らしながら、より正確に少ない学習用のサンプルで最適な良否判定基準を定めることができる。
【産業上の利用可能性】
【００６５】
本発明は、正確に少ない学習用のサンプルで最適な良否判定基準を定めることができ、ディスプレイの目視検査や各種機械の異音検査などを自動で検査する官能検査装置及び官能検査方法等に有用である。
【符号の説明】
【００６６】
１ 良品データ入力部
２ 特徴量抽出部
３ 特徴量空間作成部
４ 特徴量空間記憶部
５ 初期サンプル特徴量生成部
６ 擬似サンプル作成部
７ 乱数発生部
８ 擬似サンプル表示部
９ 判定入力部
１０ 擬似サンプル特徴量生成部
１１ 検出部
１２ 特徴量抽出部
１３ 特徴量空間作成部
１４ 判定入力部
１５ 特徴量空間記憶部
１６ ＳＶＭ判定部
１７ 判定比較部
１８ 再判定入力部
１９ 重み付け処理部
２０ 良否空間出力部
２１ 良品画像入力部
２２ 平均画像作成部
２３ 特徴量入力部
２４ 特徴量変換部
２５ 乱数入力部
２６ パラメータ決定部
２７ 画像合成部
１０１ ニューラルネットワーク
１０２ 良品画像入力部
１０４ 不良画像抽出部
１０５ 擬似データ条件設定部
１０６ 擬似不良画像作成部
１０７ 前処理部
１０８ 差分データ
１０９ 乱数発生部
【特許請求の範囲】
【請求項１】
擬似サンプルを作成する擬似サンプル作成部と、
前記擬似サンプルに対して人が判定した良否結果を入力する判定入力部と、
前記判定入力部で入力された良否結果から良品と不良品との境界付近の特徴量を生成して前記擬似サンプルの特徴量とする擬似サンプル特徴量生成部と、
前記擬似サンプル作成部で作成した擬似サンプルの特徴量から良品と不良品の境界線を作成してＳＶＭ解析による良否判定を行うＳＶＭ判定部と、
前記判定入力部での良否結果と前記ＳＶＭ判定部での良否結果とを比較する判定比較部と、
前記判定比較部で良否結果が異なる擬似サンプルに対して人が再判定した良否結果を入力する再判定入力部と、
前記再判定入力部で入力された良否結果に対して、前記ＳＶＭ判定部で作成した境界線からの距離に応じた重み付けを付加してサンプルを追加する重み付け処理部と、
前記重み付け処理部で追加されたサンプルを加えて良否判定を行う官能検査部と
を有することを特徴とする官能検査装置。
【請求項２】
良品サンプルの良品データを入力する良品データ入力部と、
前記良品データから抽出された特徴量を、特徴量空間の原点からの距離がマハラノビス距離となるように変換した特徴量に変換する特徴量空間作成部と、
特徴量空間の原点からの距離が一定値となるような初期サンプルを生成し、前記初期サンプルから擬似サンプルを作成する初期サンプル生成部と
を有することを特徴とする請求項１記載の官能検査装置。
【請求項３】
前記初期サンプルは、特徴量空間の原点からの距離が一定値±１０％以内であること
を特徴とする請求項２記載の官能検査装置。
【請求項４】
前記初期サンプルは、特徴量空間の原点からの距離が２〜５の間であること
を特徴とする請求項３記載の官能検査装置。
【請求項５】
前記判定入力部で入力される良否結果が、良品、境界線付近の良品、境界線付近の不良品、不良品の４段階に分かれていること
を特徴とする請求項１〜請求項４のいずれかに記載の官能検査装置。
【請求項６】
前記擬似サンプルは、前記判定入力部で良否判定したサンプルの結果に基づいて、良品サンプルの特徴量のマハラノビス距離を小さくする方法、不良品サンプルの特徴量のマハラノビス距離を大きくする方法、境界線付近の良品サンプルまたは境界線付近の不良品サンプルのうち２つのサンプルの特徴量の原点からの距離と方向を同じ比率で合成する方法、のいずれかで作成されること
を特徴とする請求項５記載の官能検査装置。
【請求項７】
境界線付近の良品サンプルまたは境界線付近の不良品サンプルのうち２つのサンプルの特徴量の特徴量空間の原点からの距離と方向を合成する比率が１／２ずつであること
を特徴とする請求項６記載の官能検査装置。
【請求項８】
前記初期サンプルは、特徴量空間の原点を中心とした超球面上に均等に配置され、
前記擬似サンプルは、前記判定入力部で判定したサンプルの結果から、良品サンプルの特徴量のマハラノビス距離を小さくする方法、不良品サンプルの特徴量のマハラノビス距離を大きくする方法、のいずれかで作成されること
を特徴とする請求項５記載の官能検査装置。
【請求項９】
前記判定入力部と前記ＳＶＭ判定部の良否判定結果が異なる擬似サンプルを人が再判定した結果に対して、再度ＳＶＭ解析を実施し、
前記判定入力部と前記ＳＶＭ判定部の良否結果が一致するまで再判定を続けること
を特徴とする請求項８記載の官能検査装置。
【請求項１０】
再判定した擬似サンプルに対し、重み付けを付加して複製して擬似サンプルを増加させるに際し、
前記再判定入力部において、再判定した擬似サンプルの点Ｐと、再判定した擬似サンプルと良否が反対の判定空間群の重心点Ｏとを直線で結び、
その直線とＳＶＭ解析の良否判定空間の境界線との交点Ｑに対し、線分ＯＱをＬ１とし、線分ＱＰをＬ２とし、重み付けの係数をＭとした場合、Ｍ×Ｌ２／Ｌ１の数だけ重み付けをすること
を特徴とする請求項９記載の官能検査装置。
【請求項１１】
擬似サンプルを作成する擬似サンプル作成工程と、
前記擬似サンプルに対して人が判定したときの良否結果を入力する判定入力工程と、
前記判定入力工程で入力された良否結果から良品と不良品との境界付近の特徴量を生成して前記擬似サンプルの特徴量とする擬似サンプル特徴量生成工程と、
前記擬似サンプルの特徴量から良品と不良品の境界線を作成するＳＶＭ解析により良否判定をするＳＶＭ判定工程と、
前記判定入力工程と前記ＳＶＭ判定工程の結果を比較する判定比較工程と、
前記判定比較工程で良否判定が異なる擬似サンプルに対して人が再判定した良否結果を入力する再判定入力工程と、
前記再判定入力工程で入力された結果に対して、前記ＳＶＭ判定工程で作成した境界線からの距離に応じた重み付けを付加して擬似サンプルを追加する重み付け処理工程と、
前記重み付け処理部で追加されたサンプルを加えて良否判定を行う官能検査工程と
を有することを特徴とする官能検査方法。
【請求項１２】
良品サンプルの良品データを入力する良品データ入力工程と、
前記良品データから抽出された特徴量を、特徴量空間の原点からの距離がマハラノビス距離となるように変換した特徴量に変換する特徴量空間作成工程と、
特徴量空間の原点からの距離が一定値となるような初期サンプルを生成し、前記初期サンプルから擬似サンプルを作成する初期サンプル生成工程と
を有することを特徴とする請求項１１記載の官能検査方法。
【請求項１３】
前記初期サンプルは、特徴量空間の原点からの距離が一定値±１０％以内であること
を特徴とする請求項１２記載の官能検査方法。
【請求項１４】
前記初期サンプルは、特徴量空間の原点からの距離が２〜５の間であること
を特徴とする請求項１３記載の官能検査方法。
【請求項１５】
前記判定入力工程で入力される良否結果がが、良品、境界線付近の良品、境界線付近の不良品、不良品の４段階に分かれていること
を特徴とする請求項１１〜請求項１４のいずれかに記載の官能検査方法。
【請求項１６】
前記擬似サンプルは、前記判定入力工程で判定したサンプルの結果に基づいて、良品サンプルの特徴量のマハラノビス距離を小さくする方法、不良品サンプルの特徴量のマハラノビス距離を大きくする方法、境界線付近の良品または境界線付近の不良品サンプルのうち２つのサンプルの特徴量の原点からの距離と方向を同じ比率で合成する方法、のいずれかで作成されること
を特徴とする請求項１５記載の官能検査方法。
【請求項１７】
境界線付近の良品または境界線付近の不良品サンプルのうち２つのサンプルの特徴量の原点からの距離と方向を合成する比率が１／２ずつであること
を特徴とする請求項１６記載の官能検査方法。
【請求項１８】
前記初期サンプルは、特徴量空間の原点を中心とした超球面上に均等に配置され、
前記擬似サンプルは、前記判定入力工程で判定したサンプルの結果から、良品サンプルの特徴量のマハラノビス距離を小さくする方法、不良品サンプルの特徴量のマハラノビス距離を大きくする方法、のいずれかで作成されること
を特徴とする請求項１６記載の官能検査方法。
【請求項１９】
前記判定入力工程と前記ＳＶＭ判定工程の良否判定結果が異なる擬似サンプルを人が再判定した結果に対して再度ＳＶＭ解析を実施し、
前記判定入力部と前記ＳＶＭ判定部の良否結果が一致するまで再判定を続けること
を特徴とする請求項１８記載の官能検査方法。
【請求項２０】
再判定した擬似サンプルに対し、重み付けを付加して複製して擬似サンプルを増加させるに際し、
前記再判定入力工程において、再判定した擬似サンプルの点Ｐと、再判定した擬似サンプルと良否が反対の判定空間群の重心点Ｏとを直線で結び、
その直線とＳＶＭ解析の良否判定空間の境界線との交点Ｑに対し、線分ＯＱをＬ１とし、線分ＱＰをＬ２とし、重み付けの係数をＭとした場合、Ｍ×Ｌ２／Ｌ１の数だけ重み付けをすること
を特徴とする請求項１９記載の官能検査方法。
【請求項１】
擬似サンプルを作成する擬似サンプル作成部と、
前記擬似サンプルに対して人が判定した良否結果を入力する判定入力部と、
前記判定入力部で入力された良否結果から良品と不良品との境界付近の特徴量を生成して前記擬似サンプルの特徴量とする擬似サンプル特徴量生成部と、
前記擬似サンプル作成部で作成した擬似サンプルの特徴量から良品と不良品の境界線を作成してＳＶＭ解析による良否判定を行うＳＶＭ判定部と、
前記判定入力部での良否結果と前記ＳＶＭ判定部での良否結果とを比較する判定比較部と、
前記判定比較部で良否結果が異なる擬似サンプルに対して人が再判定した良否結果を入力する再判定入力部と、
前記再判定入力部で入力された良否結果に対して、前記ＳＶＭ判定部で作成した境界線からの距離に応じた重み付けを付加してサンプルを追加する重み付け処理部と、
前記重み付け処理部で追加されたサンプルを加えて良否判定を行う官能検査部と
を有することを特徴とする官能検査装置。
【請求項２】
良品サンプルの良品データを入力する良品データ入力部と、
前記良品データから抽出された特徴量を、特徴量空間の原点からの距離がマハラノビス距離となるように変換した特徴量に変換する特徴量空間作成部と、
特徴量空間の原点からの距離が一定値となるような初期サンプルを生成し、前記初期サンプルから擬似サンプルを作成する初期サンプル生成部と
を有することを特徴とする請求項１記載の官能検査装置。
【請求項３】
前記初期サンプルは、特徴量空間の原点からの距離が一定値±１０％以内であること
を特徴とする請求項２記載の官能検査装置。
【請求項４】
前記初期サンプルは、特徴量空間の原点からの距離が２〜５の間であること
を特徴とする請求項３記載の官能検査装置。
【請求項５】
前記判定入力部で入力される良否結果が、良品、境界線付近の良品、境界線付近の不良品、不良品の４段階に分かれていること
を特徴とする請求項１〜請求項４のいずれかに記載の官能検査装置。
【請求項６】
前記擬似サンプルは、前記判定入力部で良否判定したサンプルの結果に基づいて、良品サンプルの特徴量のマハラノビス距離を小さくする方法、不良品サンプルの特徴量のマハラノビス距離を大きくする方法、境界線付近の良品サンプルまたは境界線付近の不良品サンプルのうち２つのサンプルの特徴量の原点からの距離と方向を同じ比率で合成する方法、のいずれかで作成されること
を特徴とする請求項５記載の官能検査装置。
【請求項７】
境界線付近の良品サンプルまたは境界線付近の不良品サンプルのうち２つのサンプルの特徴量の特徴量空間の原点からの距離と方向を合成する比率が１／２ずつであること
を特徴とする請求項６記載の官能検査装置。
【請求項８】
前記初期サンプルは、特徴量空間の原点を中心とした超球面上に均等に配置され、
前記擬似サンプルは、前記判定入力部で判定したサンプルの結果から、良品サンプルの特徴量のマハラノビス距離を小さくする方法、不良品サンプルの特徴量のマハラノビス距離を大きくする方法、のいずれかで作成されること
を特徴とする請求項５記載の官能検査装置。
【請求項９】
前記判定入力部と前記ＳＶＭ判定部の良否判定結果が異なる擬似サンプルを人が再判定した結果に対して、再度ＳＶＭ解析を実施し、
前記判定入力部と前記ＳＶＭ判定部の良否結果が一致するまで再判定を続けること
を特徴とする請求項８記載の官能検査装置。
【請求項１０】
再判定した擬似サンプルに対し、重み付けを付加して複製して擬似サンプルを増加させるに際し、
前記再判定入力部において、再判定した擬似サンプルの点Ｐと、再判定した擬似サンプルと良否が反対の判定空間群の重心点Ｏとを直線で結び、
その直線とＳＶＭ解析の良否判定空間の境界線との交点Ｑに対し、線分ＯＱをＬ１とし、線分ＱＰをＬ２とし、重み付けの係数をＭとした場合、Ｍ×Ｌ２／Ｌ１の数だけ重み付けをすること
を特徴とする請求項９記載の官能検査装置。
【請求項１１】
擬似サンプルを作成する擬似サンプル作成工程と、
前記擬似サンプルに対して人が判定したときの良否結果を入力する判定入力工程と、
前記判定入力工程で入力された良否結果から良品と不良品との境界付近の特徴量を生成して前記擬似サンプルの特徴量とする擬似サンプル特徴量生成工程と、
前記擬似サンプルの特徴量から良品と不良品の境界線を作成するＳＶＭ解析により良否判定をするＳＶＭ判定工程と、
前記判定入力工程と前記ＳＶＭ判定工程の結果を比較する判定比較工程と、
前記判定比較工程で良否判定が異なる擬似サンプルに対して人が再判定した良否結果を入力する再判定入力工程と、
前記再判定入力工程で入力された結果に対して、前記ＳＶＭ判定工程で作成した境界線からの距離に応じた重み付けを付加して擬似サンプルを追加する重み付け処理工程と、
前記重み付け処理部で追加されたサンプルを加えて良否判定を行う官能検査工程と
を有することを特徴とする官能検査方法。
【請求項１２】
良品サンプルの良品データを入力する良品データ入力工程と、
前記良品データから抽出された特徴量を、特徴量空間の原点からの距離がマハラノビス距離となるように変換した特徴量に変換する特徴量空間作成工程と、
特徴量空間の原点からの距離が一定値となるような初期サンプルを生成し、前記初期サンプルから擬似サンプルを作成する初期サンプル生成工程と
を有することを特徴とする請求項１１記載の官能検査方法。
【請求項１３】
前記初期サンプルは、特徴量空間の原点からの距離が一定値±１０％以内であること
を特徴とする請求項１２記載の官能検査方法。
【請求項１４】
前記初期サンプルは、特徴量空間の原点からの距離が２〜５の間であること
を特徴とする請求項１３記載の官能検査方法。
【請求項１５】
前記判定入力工程で入力される良否結果がが、良品、境界線付近の良品、境界線付近の不良品、不良品の４段階に分かれていること
を特徴とする請求項１１〜請求項１４のいずれかに記載の官能検査方法。
【請求項１６】
前記擬似サンプルは、前記判定入力工程で判定したサンプルの結果に基づいて、良品サンプルの特徴量のマハラノビス距離を小さくする方法、不良品サンプルの特徴量のマハラノビス距離を大きくする方法、境界線付近の良品または境界線付近の不良品サンプルのうち２つのサンプルの特徴量の原点からの距離と方向を同じ比率で合成する方法、のいずれかで作成されること
を特徴とする請求項１５記載の官能検査方法。
【請求項１７】
境界線付近の良品または境界線付近の不良品サンプルのうち２つのサンプルの特徴量の原点からの距離と方向を合成する比率が１／２ずつであること
を特徴とする請求項１６記載の官能検査方法。
【請求項１８】
前記初期サンプルは、特徴量空間の原点を中心とした超球面上に均等に配置され、
前記擬似サンプルは、前記判定入力工程で判定したサンプルの結果から、良品サンプルの特徴量のマハラノビス距離を小さくする方法、不良品サンプルの特徴量のマハラノビス距離を大きくする方法、のいずれかで作成されること
を特徴とする請求項１６記載の官能検査方法。
【請求項１９】
前記判定入力工程と前記ＳＶＭ判定工程の良否判定結果が異なる擬似サンプルを人が再判定した結果に対して再度ＳＶＭ解析を実施し、
前記判定入力部と前記ＳＶＭ判定部の良否結果が一致するまで再判定を続けること
を特徴とする請求項１８記載の官能検査方法。
【請求項２０】
再判定した擬似サンプルに対し、重み付けを付加して複製して擬似サンプルを増加させるに際し、
前記再判定入力工程において、再判定した擬似サンプルの点Ｐと、再判定した擬似サンプルと良否が反対の判定空間群の重心点Ｏとを直線で結び、
その直線とＳＶＭ解析の良否判定空間の境界線との交点Ｑに対し、線分ＯＱをＬ１とし、線分ＱＰをＬ２とし、重み付けの係数をＭとした場合、Ｍ×Ｌ２／Ｌ１の数だけ重み付けをすること
を特徴とする請求項１９記載の官能検査方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１１−１４５１７９（Ｐ２０１１−１４５１７９Ａ）
【公開日】平成２３年７月２８日（２０１１．７．２８）
【国際特許分類】
【出願番号】特願２０１０−６３４０（Ｐ２０１０−６３４０）
【出願日】平成２２年１月１５日（２０１０．１．１５）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２３年７月２８日（２０１１．７．２８）
【国際特許分類】
【出願日】平成２２年１月１５日（２０１０．１．１５）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]