情報処理装置及び方法
【課題】 入力データから抽出される複数の特徴量から、当該入力データの分類に用いる特徴量を選択するための情報処理装置において、特徴量間の組合せの相性を考慮し、入力データの分類に適した特徴量を選択すること。
【解決手段】 入力データから抽出される複数の特徴量から、当該入力データの分類に用いる特徴量を選択するための情報処理装置であって、
前記複数の特徴量を組合せることにより複数の組合せを生成する生成手段と、前記複数の組合せそれぞれに対して前記入力データの分類への適合を評価する第一の評価値を算出する第一の算出手段と、前記第一の評価値に基づき、前記複数の特徴量それぞれに対して前記入力データの分類への適合を評価する第二の評価値を得る第二の算出手段とを有することを特徴とする。
【解決手段】 入力データから抽出される複数の特徴量から、当該入力データの分類に用いる特徴量を選択するための情報処理装置であって、
前記複数の特徴量を組合せることにより複数の組合せを生成する生成手段と、前記複数の組合せそれぞれに対して前記入力データの分類への適合を評価する第一の評価値を算出する第一の算出手段と、前記第一の評価値に基づき、前記複数の特徴量それぞれに対して前記入力データの分類への適合を評価する第二の評価値を得る第二の算出手段とを有することを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力データから抽出される複数の特徴量から、当該入力データの分類に用いる特徴量を選択する情報処理装置および、情報処理方法などに関する。
【背景技術】
【０００２】
外観検査などの情報処理装置において、検査対象物を撮影した画像から画素値の平均や分散といった多数の特徴量群を抽出し、良否判定（良品と不良品の２クラス判別）するといった手法がある。しかし、多数の特徴量を全て使うと、特徴の次元が高次になってしまい、特有の次元において発生する問題（次元の呪い等）や、冗長な特徴量を抽出することによる処理時間の増大が発生してしまう。
【０００３】
よって、適切な特徴量を選択することにより、特有の次元において発生する問題を起りにくくし、演算処理を高速化させることができる手法が重要視されつつある。
【０００４】
以下に、非特許文献１に開示されている手法について説明する。非特許文献１では、特徴量それぞれに対して分離度を評価するための評価値を求め、その評価値の良い順に特徴量を選ぶ手法が開示されている。具体的には、ベイズ誤り確率推定値やクラス内分散・クラス間分散比を用いて、選択基準を決定する特徴選択手法がある。
【０００５】
ベイズ誤り確率推定値について詳細に述べる。例えば２クラス問題の場合、２つのクラスをｗ１、ｗ２とし、観測される特徴をｘ０＝［ｘ１，ｘ２，・・・，ｘＫ，・・・，ｘＮ］とするときｘＫがｗ１、ｗ２に属する確率をそれぞれＰ（ｗ１｜ｘＫ）、Ｐ（ｗ２｜ｘＫ）と表す。このときベイズ誤り確率推定値は
【０００６】
【数１】
【０００７】
で表され、これを全ての特徴量に関して求める。ベイズ誤り確率推定値は小さいほど、２クラスをより分離できる。よって、ベイズ誤り確率推定値が小さい順に特徴量を選択する。
【０００８】
次に、クラス内分散・クラス間分散比について詳細に述べる。例えば２クラス問題の場合、２つのクラスをｗ１、ｗ２とし、観測される特徴をｘ０＝［ｘ１，ｘ２，・・・，ｘＫ，・・・，ｘＮ］とするとき、特徴量ｘｋに関するクラス内分散・クラス間分散比を求める。またクラスｗｉに属するパターンの集合をＡｉとし、Ａｉに含まれるパターン数をｎｉ、クラスｗｉに属するパターンのｘｋの平均をｍｉとする。さらに、全パターン数をｎ、全パターンのｘｋの平均をｍとする。このとき
【０００９】
【数２】
【００１０】
は、
【００１１】
【数３】
【００１２】
【数４】
【００１３】
のように表せるので、クラス内分散・クラス間分散比は
【００１４】
【数５】
【００１５】
で表すことができる。このようにしてクラス内分散・クラス間分散比を求め、値が大きい順に特徴量を選択する。
【００１６】
また非特許文献２に示されている手法は、遺伝子選択の分野において、特徴量を２個ずつ組合せて、２次元の特徴空間で評価して、特徴量を２個ずつ選択する手法である。２個ずつ特徴量を組合せる手法は、１個ずつ特徴量を選択するより精度の良い特徴選択が可能であると述べられている。
【先行技術文献】
【非特許文献】
【００１７】
【非特許文献１】石井健一郎，上田修功，前田英作，村瀬洋，“わかりやすいパターン認識”，オーム社，東京，１９９８．
【非特許文献２】Ｔｒｏｎｄ Ｈｅｌｌｅｍ Ｂｏ ａｎｄ Ｉｎｇｅ Ｊｏｎａｓｓｅｎ，”Ｎｅｗ ｆｅａｔｕｒｅ ｓｕｂｓｅｔ ｓｅｌｅｃｔｉｏｎ ｐｒｏｃｅｄｕｒｅｓ ｆｏｒ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｏｆ ｅｘｐｒｅｓｓｉｏｎ ｐｒｏｆｉｌｅｓ，”Ｇｅｎｏｍｅ Ｂｉｏｌｏｇｙ ２００２年，第３巻（ｖｏｌ．３），ｎｏ．４：ｒｅｓｅａｒｃｈ．
【発明の概要】
【発明が解決しようとする課題】
【００１８】
しかしながら、前記のベイズ誤り確率推定値や一次元のクラス内分散・クラス間分散比により１個ずつ特徴選択を行う非特許文献１の手法は、特徴量間の組合せの相性を考慮して特徴量を評価しているわけではない。よって、結果として特有の次元において発生する問題を引き起こしやすくし、冗長な特徴量を抽出することによって演算処理速度を落とすことになるという課題があった。同様に、非特許文献２の手法は、あらかじめ組合せる数を設定し、特徴量の組合せを選択するものであり、特徴量間の組合せの相性を考慮して特徴量を評価しているわけではない。
【００１９】
そこで本発明は、前述した課題を鑑みてなされたものであり、入力データから抽出される複数の特徴量から、当該入力データの分類に用いる特徴量を選択するための情報処理装置において、特徴量間の組合せの相性を考慮し、入力データの分類に適した特徴量を選択することを目的とする。
【課題を解決するための手段】
【００２０】
上述の目的の課題を解決するために、本発明の情報処理装置は、入力データから抽出される複数の特徴量から、当該入力データの分類に用いる特徴量を選択するための情報処理装置であって、前記複数の特徴量を組合せることにより複数の組合せを生成する生成手段と、前記複数の組合せそれぞれに対して前記入力データの分類への適合を評価する第一の評価値を算出する第一の算出手段と、前記第一の評価値に基づき、前記複数の特徴量それぞれに対して前記入力データの分類への適合を評価する第二の評価値を得る第二の算出手段とを有することを特徴とする。
【発明の効果】
【００２１】
本発明によれば、特徴量間の組合せの相性を考慮し、入力データの分類に適した特徴量を選択することが出来る。
【図面の簡単な説明】
【００２２】
【図１】第一の実施形態における情報処理装置の構成を示した図である。
【図２】第一の実施形態における情報処理装置１０１の情報処理を示すフローチャートである。
【図３】表面粗し加工を施したゴム板の表面を撮影し切り出した１２８×１２８画素のグレースケール画像の例を示す図である。
【図４】第二の実施形態における複数の特徴量を抽出する具体的な処理を示した図である。
【図５】ｎ＝２の場合における第二の評価値算出のアルゴリズムの概念を示した図である。
【図６】ｎ＝３の場合における第二の評価値算出のアルゴリズムの概念を示した図である。
【図７】第一の実施形態におけるスコア算出の処理フローチャートを示した図である。
【図８】第二の実施形態における情報処理装置１０１の情報処理を示すフローチャートである。
【図９】第二の実施形態におけるスコア算出の処理フローチャートを示した図である。
【図１０】第三の実施形態における情報処理装置１０１の情報処理を示すフローチャートである。
【図１１】第三の実施形態における第二の評価値を算出する処理の概要を示す図である。
【図１２】第四の実施形態における処理フローを示す図である。
【図１３】第四の実施形態におけるステップ１２０３の処理の詳細を示す図である。
【図１４】１クラスｗ１のパターンがプロットされた特徴空間を示す図である。
【発明を実施するための形態】
【００２３】
（第一の実施形態）
以下、図面を用いて第一の実施形態を詳細に説明する。
【００２４】
図１は、第一の実施形態における情報処理装置の構成を示した図である。
【００２５】
１０１は、本実施形態における外観検査のための情報処理を行う情報処理装置１０１である。情報処理装置１０１は、ＣＰＵ（セントラルプロセッシングユニット）、ＲＡＭ（ランダムアクセスメモリ）、ＨＤＤ（ハードディスクドライブ）などから構成される。ＣＰＵは、外観検査のためのコンピュータプログラムを実行し、ＨＤＤ、ＲＡＭには、外観検査のためのコンピュータプログラムおよびデータが格納される。
【００２６】
１０２は、本実施形態において外観検査の対象となる検査対象物１０２である。検査対象物１０２は、例えば、工業製品に利用されるゴム板などである。ゴム板の表面には、凹凸やキズがあることがあり、外観検査によってこれらが検出され、良品と不良品とに分別される。
【００２７】
１０３は、本実施形態において検査対象物１０２を撮像するための撮像装置１０３である。撮像装置１０３は、検査対象物１０２の表面のビデオ映像（画像パターン）を取得可能なビデオカメラなどから構成され、取得したビデオ映像を情報処理装置１０１に送信する。情報処理装置１０１は、送信されたビデオ映像を用いて外観検査のための情報処理を行う。
【００２８】
１０４は、外観検査の検査結果を表示するための表示装置１０４である。表示装置１０４はモニタなどから構成され、情報処理装置１０１から送信される外観検査の結果を表示する。
【００２９】
図２は、本実施形態における情報処理装置１０１の情報処理を示すフローチャートである。本実施形態では検査対象物１０２を撮影した画像を用いてパーツの良否判定（良品と不良品との２クラス判別）を行う外観検査において説明する。
【００３０】
本実施形態における外観検査では、良品と不良品とを分別する２クラスが存在し、入力画像パターンから複数の階層画像を生成し、生成された複数の階層画像から複数の特徴量を抽出し、抽出された複数の特徴量から外観検査に適した特徴量を選択する。
【００３１】
以下に図２のフローの概要を示す。なお、図２のフローで示す各処理は、情報処理装置１０１によりなされるものである。また、各処理の詳細については後述する。
（ステップ２０１）ステップ２０１では、撮像装置１０３から取得された入力画像パターンから、外観検査に用いる複数の特徴量の抽出を行う。
（ステップ２０２）ステップ２０２では、情報処理装置１０１が複数の組合せを生成する生成手段として機能し、ステップ２０１で抽出された複数の特徴量を用いて、ｎ個（ｎ≧２）ずつの特徴量の組合せを生成する。
（ステップ２０３）ステップ２０３では、情報処理装置１０１が入力画像データの分類への適合を評価する第一の評価値を算出する第一の算出手段として機能し、ステップ２０２において設定されたｎ個ずつの特徴量による複数の組合せそれぞれに対して第一の評価値を算出する。本実施形態における第一の評価値は、外観検査に適していることを示すものである。このとき、それぞれの特徴量に対して、その特徴量において第一の評価値が最も良い特徴量の組合せ（ｎ個の特徴量からなる組合せ）を決定する。
（ステップ２０４）ステップ２０４では、情報処理装置１０１が第二の算出手段として機能し、複数の第一の評価値同士を比較することにより、入力画像データの分類への適合を評価する第二の評価値を計算する。
（ステップ２０５）ステップ２０５では、第二の評価値に基づくスコアを算出し、特徴選択基準を決定する。
（ステップ２０６）ステップ２０６では、さらにスコアが最も良い特徴量とステップ２０４で組合せた特徴量の組合せ（ｎ個の特徴量の組合せ）を選択し、選択した以外の特徴量に対しては特徴選択基準で特徴選択を繰り返す。
【００３２】
以下に図２の各処理の詳細について述べる。
【００３３】
（ステップ２０１の処理の詳細（複数の特徴量の抽出））
ステップ２０１の処理の詳細について述べる。
【００３４】
図３は、検査対象物１０２の一例である表面粗し加工を施したゴム板の表面を撮影し切り出した１２８×１２８画素のグレースケール画像の例を示す図である。
【００３５】
図３（ａ）から（ｅ）に正常なゴム板の表面を示し、（ｆ）から（ｊ）に異常なゴム板の表面を示す。（ａ）から（ｅ）のような画像パターンを正常パターンとし、（ｆ）から（ｊ）のような画像パターンを異常パターンとする。（ｆ）と（ｇ）は、黒いスポット状のムラがあるパターンであり、（ｈ）は、全体的にグラデーションがあるパターンであり、（ｉ）は、白いスポット状のムラがあるパターンであり、（ｊ）は、コントラストが一部低くなっているパターンである。本ステップでは、このようなパターンの特徴を表した複数の特徴量を算出する。
【００３６】
図４は、本実施形態における複数の特徴量を抽出する具体的な処理を示した図である。
【００３７】
本実施形態では、入力画像パターンとしてｐｎ個の画像パターンを用いるが、これらの画像パターンに対し欠陥を強調するために、周波数ドメインへの変換手法であるウェーブレット変換を用いる。
【００３８】
特に、図４は、ウェーブレット変換ひとつであるハール・ウェーブレット変換を示したものである。まず変換前の入力パターンに対して四種類のフィルターを用いて内積演算を行う。その結果、四種類のパターン、縦方向高周波成分抽出パターン（ＨＬ）、対角方向高周波成分抽出パターン（ＨＨ）、横方向高周波成分抽出パターン（ＬＨ）、低周波成分抽出パターン（ＬＬ）が生成される。縦方向高周波成分抽出パターンの生成方法を具体的に示す。図４のように入力パターンの４つの画素
【００３９】
【数６】
【００４０】
を縦方向高周波成分抽出パターンの画素の値とする。このような計算を４画素ずつすべての画像領域においてこれをオーバーラップすることなく行い、縦方向高周波成分抽出パターンを作る。対角方向高周波成分抽出パターンでは、
【００４１】
【数７】
【００４２】
を、横方向高周波成分パターンでは
【００４３】
【数８】
【００４４】
を、低周波成分抽出パターンでは
【００４５】
【数９】
【００４６】
をフィルターとして用いる。
【００４７】
結果的に四種類のパターンを解像度二分の一で作り出す。さらに低周波成分抽出パターンから次のレベルのハール・ウェーブレット変換を行い、さらに解像度二分の一にした四種類のパターンを作り出すというように階層的に低い周波数へと変換していく。変換前のパターンは１２８×１２８画素なので、１回の変換で６４×６４画素、２回目の変換で、３２×３２画素、以降、１６×１６画素、８×８画素、４×４画素、２×２画素となり、最後の７回目の変換で１×１画素のパターンが生成される。つまり、最後に１×１画素の、縦方向高周波成分抽出パターン、対角方向高周波成分抽出パターン、横方向高周波成分抽出パターン、低周波成分抽出パターンが得られる。よって変換前のパターンを含めて１＋４×７＝２９種類のパターンが得られる。
【００４８】
このようにして得られた各階層のパターンそれぞれから、全画素値の最大値、平均、分散、尖度、歪度、相乗平均、といった６種類のマクロな特徴量を抽出する。マクロな特徴量として、画素値の平均を式５に、分散を式６に、尖度を式７に、歪度を式８、相乗平均を式９に示す。ただし、画像のサイズは縦ａ画素、横ｂ画素の画像の縦ｉ番目。横ｊ番目の画素値をｐ（ｉ，ｊ）とし、ｐをヒストグラムで表したときのそれぞれのビンにおける番号をｋ、値をＸｋ、度数をＭｋで表す。
【００４９】
【数１０】
【００５０】
【数１１】
【００５１】
【数１２】
【００５２】
【数１３】
【００５３】
【数１４】
【００５４】
ハール・ウェーブレット変換を行っていない変換前の入力パターン、ハール・ウェーブレット変換をかけた各階層画像の２９種類の画像から、最大値、及び式５から式９で示した６つの特徴量を抽出する。つまり計２９種類の画像からマクロな特徴量を６種類ずつ抽出する。結果的に入力パターンごとに２９×６＝１７４個（以下Ｎ個とする）の特徴量を抽出する。なお入力パターンとして用いるｐｎ個の全パターンからＮ個ずつの特徴量を抽出する。
【００５５】
今回はハール・ウェーブレット変換を用いる手法について述べたが、その他のウェーブレット変換、エッジ抽出、フーリエ変換、ガボール変換といったその他の変換手法を用いても良い。またマクロな特徴量としてコントラスト、最大から最小を引いた値、標準偏差といったその他の統計量を用いても良い。以上の処理により、入力画像パターンから複数の特徴量を抽出することが出来る。
【００５６】
（ステップ２０２：ｎ個ずつ特徴量を組合せる）
ステップ２０２では、特徴量を１個ずつではなく、ｎ個ずつ特徴量を組合せて選ぶ。組合せる個数ｎは、ユーザーの指示などに基づき決定してもよいし、また、検査対象物１０２ごとにあらかじめ設定しておいてもよい。入力画像パターンから抽出した特徴量の数がＮ個である場合、ｎ個ずつ特徴量を組合せるので、ＮＣｎ通りの組合せを生成する。
【００５７】
（ステップ２０３：ｎ個の特徴量の組合せそれぞれに対して第一の評価値を算出）
ステップ２０３の詳細について説明する。ステップ２０３では、ステップ２０２で生成されたＮＣｎ通りの組合せそれぞれに対して、第一の評価値を算出する。
【００５８】
本実施形態における第一の評価値とは、当該ｎ個の特徴量の組合せが、入力データの分類の判定に適しているか否かを評価するための評価値である。例えば、第一の評価値は、検査対象物１０２が良品か不良品かを判定する際に用いる特徴量の組合せとして適しているか否かを示している。
【００５９】
本実施形態における良品と不良品の２クラス問題の場合、第一の評価値の一つとしてｎ次元のベイズ誤り確率推定値がある。ここで２つのクラスそれぞれをｗ１、ｗ２とし、ｎ個の特徴をもつベクトルをＸ＝［ｘ１，・・・，ｘｎ］ｔとするときｘがｗ１、ｗ２に属する確率の分布、つまりｗ１とｗ２におけるｎ次元のヒストグラムを生成し、このヒストグラムをそれぞれＰ（ｗ１｜ｘ）、Ｐ（ｗ２｜ｘ）と表す。よってベイズ誤り確率推定値は、
【００６０】
【数１５】
【００６１】
で表される。この確率推定値の計算をｎ個の特徴量の組合せそれぞれに対して行う。ここで算出されるベイズ誤り確率推定値は、一次元の場合と同様に、値が低いほど良品と不良品との分類に適している組合せとみなすことが出来る。
【００６２】
なお、以上の説明では、２クラス問題の場合について述べたが、ベイズ誤り確率推定値は多クラスについても適用可能である。
【００６３】
次に、第一の評価値の別の例として、ベイズ誤り確率推定値の代わりにクラス内分散・クラス間分散比を用いる場合についても説明する。例えば２クラス問題の場合、２つのクラスをｗ１、ｗ２とし、観測される特徴をＸ＝［ｘ１，・・・，ｘｎ］ｔとするとき、特徴ベクトルｘに関するクラス内分散・クラス間分散比を求める。ここでクラスｗ１に属するパターンの集合をＡｉとし、Ａｉに含まれるパターン数をｐｎｉ、クラスｗ１に属するパターンのｘの平均をｍｉとする。また、全パターン数をｐｎ、全パターンのｘの平均ベクトルをｍとする。よって、
【００６４】
【数１６】
【００６５】
は、
【００６６】
【数１７】
【００６７】
【数１８】
【００６８】
のように表すことができる。よって、クラス内分散・クラス間分散比は
【００６９】
【数１９】
【００７０】
で表すことができる。このようにしてクラス内分散・クラス間分散比を求め、第一の評価値とする。
【００７１】
なお、以上の説明では、２クラス問題の場合について述べたが、クラス内分散・クラス間分散比は多クラスについても適用可能である。本実施形態では、分類間の分離度を評価できるベイズ誤り確率推定値、クラス内分散・クラス間分散比を第一の評価値として用いたが、分類への適合を評価することができる評価値であれば、どのような評価値を用いてもよい。
【００７２】
（ステップ２０４：第一の評価値同士の比較結果（判定結果）から第二の評価値を算出）
ステップ２０４では、複数の特徴量の組合せにおける第一の評価値同士を比較することにより、複数の特徴量それぞれに対して、入力データの分類に適しているか否かを評価するための第二の評価値を算出する。
【００７３】
以下に、第二の評価値の算出について詳細に説明する。
【００７４】
まず、１つの特徴量に注目し、その特徴量を含む組合せの中で第一の評価値が最も良い組合せを求める。第一の評価値としてベイズ誤り確率推定値を用いている場合、ベイズ誤り確率推定値が最も低い特徴量の組合せを求める。
【００７５】
そして、第一の評価値が最も良い組合せの特徴量の第二の評価値に対して、所定の値を加算する。そして他の特徴量に対しても順に注目し、第一の評価値が最も良い組合せの特徴量の第二の評価値に対して、所定の値を加算する。このように、全ての特徴量に対して注目し、注目した特徴量に対して最も良い組合せの特徴量の第二の評価値に、所定の値を加算する。
図５は、ｎ＝２の場合における第二の評価値算出の概念を示した図である。
図６は、ｎ＝３の場合における第二の評価値算出の概念を示した図である。
【００７６】
まず、図５を用いてｎ＝２における第二の評価値算出のアルゴリズムの概念について説明する。図５では、例として、特徴量がＡ、Ｂ、Ｃ、Ｄの４種類である場合について説明する。
【００７７】
最初に、特徴量Ａに注目した場合、特徴量Ａとの組合せでＢ、Ｃ、Ｄの中、最も第一の評価値が低くなる（Ｂａｙｅｓ＝０．０８）（良品と不良品との分類に適している）特徴量は、Ｂである。よって、特徴量Ｂは他の特徴量よりも特徴量Ａとの組合せにおいて良品と不良品との分類に適しているとみなせるため、特徴量Ｂの第二の評価値に対して値１を加算する。
【００７８】
同様に、特徴量Ｂに注目した場合、特徴量Ｃは他の特徴量よりも特徴量Ｂとの組合せにおいて、良品と不良品との分類に適しているとみなせる（Ｂａｙｅｓ＝０．００３）ため、特徴量Ｃの第二の評価値に対して値１を加算する。
【００７９】
同様の処理を、特徴量Ｃについて行うと、特徴量Ｂの第二の評価値に対して値１が加算される。最後に、特徴量Ｄに注目すると、特徴量Ｂと、特徴量Ｃとに組合せた場合の第一の評価値が最も低い（Ｂａｙｅｓ＝０．０５）。つまり、特徴量Ｄに関しては、良品と不良品との分類に最も適している組合せが、特徴量Ｂと特徴量Ｃとの二種類あるため、特徴量Ｂと特徴量Ｃとの第二の評価値それぞれに対して値０．５が加算される。また、特徴量Ｄに対し特徴量ＢとＣを組合せて、３個の特徴量の組合せとしてもよい。以上の処理により、第二の評価値については、特徴量Ａは０、特徴量Ｂは２．５、特徴量Ｃは１．５、特徴量Ｄは０、となる。つまり、分類に最も適している組合せと判定された回数が多いほど第二の評価値が高くなる。
【００８０】
次に、図６を用いてｎ＝３における第二の評価値算出のアルゴリズムの概念を説明する。基本的には、ｎ＝２のときの場合と同様の処理がなされる。特徴量Ａに注目した場合、図６に示すように、特徴量Ａとの組合せにおいて最も良品と不良品との分類に適している特徴量は、特徴量Ｄ、特徴量Ｆである（Ｂａｙｅｓ＝０．００１）。従って、特徴量Ｄの第二の評価値に対して、値１を加算し、特徴量Ｆの第二の評価値に対して値１を加算する。同様の処理をすべての特徴量の組合せに対して行うことにより、すべて特徴量の対して第二の評価値が算出される。
【００８１】
（ステップ２０５：第二の評価値に基づく関数でスコアを算出し、選択基準を決定）
ステップ２０５では、第二の評価値（Ｌｎとする）に基づく関数で、特徴量を選択する基準となるスコアを求める。このとき本実施形態では、
ｓｃｏｒｅ＝Ｌｎ （式１３）
のような関数でスコアを算出するが、第二の評価値が大きくなればなるほどスコアが大きくなるような関数であれば良い。なおこのスコアの算出はＮ個（選択対象となっている特徴量の種類）の特徴量ごとに求める。
【００８２】
（ステップ２０６：ｎ個ずつ特徴量を選択）
ステップ２０６では、ステップ２０５で求めたスコアが最も良い、つまりスコアが最も大きい特徴量とステップ２０４で組合せとした特徴量の組合せでｎ個の特徴量を選択し、選択した以外の特徴量に対して先に述べた特徴選択基準で選択を繰り返す。
例えば、図５で示した例の場合、第二の評価値はそれぞれ特徴量Ａでは０、Ｂでは２．５、Ｃでは１．５、Ｄでは０であるので最も第二の評価値の高い特徴量Ｂを最初に選ぶ。
また、特徴量Ｂとの組合せに対応する特徴量Ｃも同時に選ぶ。
【００８３】
次に、第二の評価値が２番目に高い特徴量Ｃを選ぶが、既に選ばれているため、次の特徴量を選ぶ。特徴量Ｃと組合せとした特徴量はＢを選ぶが、既に選ばれているため、次の特徴量を選ぶ。次の第二の評価値は０となるため、第一の評価値、つまりベイズ誤り確率推定値が低い順に特徴量を選ぶ。特徴量Ａに注目すると、第一の評価値が最も低いのは特徴量Ｂの０．０８である。また特徴量Ｄに注目すると、第一の評価値が最も低いのは特徴量ＢとＣとの０．０５である。特徴量Ａに注目したときのほうが、第一の評価値が低いので、特徴量Ａを先に選び、その次に特徴量Ｄを選ぶ。
【００８４】
このようにして最終的に組合せの良い予め定めた所定のｍ個の特徴量を選択する。
【００８５】
入力パターンからのＮ個の特徴抽出はトレーニングパターンを用いるのでオフラインで行うことが可能で、オンラインの処理では、テストパターンに対してｍ個の特徴量抽出のみ行えば良いので、演算処理を高速化させることができる。また、特徴量の組合せを考慮したｍ個の特徴量を選択しているので、従来の第一の評価値のみを考慮した特徴選択手法と比べて、最終的に選択するｍ個の特徴量の数を減らして同等の性能を維持することができる。
【００８６】
上述のようなスコア算出方法により、多様な特徴量群から特徴量の組合せ間を考慮した特徴量の選択をオフラインで選択できる。この結果、特有の次元において発生する問題を起りにくくし、演算処理を高速化させることができる。
【００８７】
最後に、これまで述べた本実施形態におけるスコア算出の処理について説明する。図７は、本実施形態におけるスコア算出の処理フローチャートを示した図である。図７の処理は、Ｎ個（選択対象となる特徴量の種類）の特徴量から２個ずつ特徴量を選択するときについて述べたものである。
【００８８】
（ステップ７０１：Ｂａｙｅｓｉｊを算出，Ｌｎｉ＝０（ｉ＝１，・・・，Ｎ，Ｊ＝ｉ＋１，・・・，Ｎ））
最初に、ステップ７０１では、全ての組合せの第一の評価値、つまりベイズ誤り確率推定値Ｂａｙｅｓを求める。Ｎ個の特徴量から２個ずつ特徴量を選択する。ベイズ誤り確率推定値Ｂａｙｅｓｉｊのｉは一つ目の特徴量を示し、ｊは二つ目の特徴量を示す。ｉは１からＮに変え、ｊはｉと同じ特徴量を選ばないようにｉ＋１からＮの間に変える。よってＮＣ２通りの組合せが生成される。またこのとき全ての第二の評価値の初期値をＬｎｉ＝０（ｉ＝１，・・・，Ｎ）に設定する。
【００８９】
（ステップ７０２：初期値ｉの設定）
ステップ７０２では、一つ目の特徴量ｉ＝１に設定し、徐々に値を変えて特徴量をかえる。
【００９０】
（ステップ７０３：
【００９１】
【数２０】
【００９２】
とｋを算出）
【００９３】
ステップ７０３では、特徴量ｉを固定し特徴量ｊを可変として、第一の評価値、つまりベイズ誤り確率推定値の最小値とベイズ誤り確率推定値が最小となるときのｊを求める。このときのｊをｋとする。ここで特徴量ｉと特徴量ｋを２つの特徴量のセットとする。
【００９４】
（ステップ７０４：Ｌｎｋ＝Ｌｎｋ＋１）
ステップ７０４では、特徴量ｋの第二の評価値Ｌｎｋに対して１加える。
【００９５】
（ステップ７０５：ｉ＝Ｎ、ステップＳ１６：ｉ＝ｉ＋１）
ｉの値がＮとなれば、ステップ７０７に進み、ｉの値がＮより小さければ、ステップＳ７０６に進む。
【００９６】
（ステップ７０６：ｉ＝ｉ＋１）
ステップ７０６では、ｉに１加え、ステップ７０３に戻る。
【００９７】
（ステップ７０７：ｓｃｏｒｅｉ＝Ｌｎｉ（ｉ＝１，・・・，Ｎ））
ステップ７０７では、それぞれの特徴の第二の評価値Ｌｎをスコアとし、これを基にステップＳ１３で決めたセットごとに特徴量を選択する。
【００９８】
（第２の実施形態）
本実施形態の処理の流れを図８のフローチャートで説明する。本実施形態が第一の実施形態と異なる点は、第一の実施形態における図２のステップ２０５が、図８のステップ８０５に変更されていることである。よって、第一の実施形態と異なる点であるステップ８０５の処理のみ説明する。なお、第一の実施形態と同様、本実施形態の処理は、図１の情報処理装置１０１が行うものである。
【００９９】
（ステップ８０５：第一の評価値と第二の評価値に基づくスコアを算出し特徴選択基準を決定）
ステップ８０５では、第一の実施形態と異なり、第二の評価値だけでなく、第一の評価値と第二の評価値との両方に基づいて特徴選択基準を決定する。第一の評価値と第二の評価値に基づく関数でスコアを求め、特徴選択基準を決定する。このとき、以下に示す式１４のような関数でスコアを算出するが、ベイズ誤り確率推定値が小さくなればなるほどスコアが大きくなり、第二の評価値が大きくなればなるほどスコアが大きくなるような関数であれば他の関数を用いてもよい。
【０１００】
【数２１】
【０１０１】
式１４では第一の評価値であるベイズ誤り確率推定値Ｂａｙｅｓと第二の評価値Ｌｎが０になることがあるので、非零値ａ、ｂを加えている。例えば特徴量の数が１０００個存在するとすると、特徴量ごとの第一の評価値Ｂａｙｅｓは最小で０、最大で１であり、また第二の評価値Ｌｎは最小で０、最大で１０００であり、この場合、ａ＝１程度、ｂ＝０．００１程度が適当である。
【０１０２】
本実施形態におけるスコア算出関数により、特徴量の評価と特徴量間の組合せの評価を考慮した特徴選択が可能になる。よって、必要な特徴量のみの選択が可能になり、特有の次元において発生する問題を起りにくくし、演算処理を高速化させることができる。
【０１０３】
最後にこれまで述べた本実施形態のスコア算出アルゴリズムを図９に示す。図７と同様に図９はＮ個の特徴量から２個ずつ特徴量を選択するときについて述べたものである。ここでも、図７とフローチャートと異なるステップ９０８のみを説明する。
【０１０４】
（ステップ９０８：
【０１０５】
【数２２】
【０１０６】
）
【０１０７】
ステップ９０８では、ステップ９０３で求めた第一の評価値Ｂａｙｅｓと第二の評価値Ｌｎを用いた関数をスコアとし第一の実施形態と同様にステップ９０３で求めた特徴量のセットごとに特徴量を選択する。
【０１０８】
（第３の実施形態）
本実施形態における処理を図１０のフローチャートで説明する。本実施形態が第二の実施形態と異なる点は、第２の実施形態を示す図８のステップ８０４がステップ１００４に変更されていることである。よって、第二の実施形態と異なる点であるステップ１０００４のみを説明する。また第一の実施形態にも第３の実施形態の手法を適用できるが、ここでは説明を省略する。なお、第二の実施形態と同様、本実施形態の処理は、図１の情報処理装置１０１が行うものである。
【０１０９】
（ステップ１００４）
本実施形態では、複数の第一の評価値それぞれに対してあらかじめ設定された評価基準との適合度合いを判定する。そして、当該適合度合いがより大きい第一の評価値の前記組合せ特徴を構成する特徴量の第二の評価値に対してより多く所定の値の加算を行い、第二の評価値を算出する。
【０１１０】
図１１は、本実施形態における第二の評価値算出のアルゴリズムの概要を示した図である。
【０１１１】
本実施形態では、第一の実施形態および第二の実施形態と同様に、全ての特徴量の組合せに対して第一の評価値（ここではベイズ誤り確率推定値）を求める。
【０１１２】
例えば、第一の実施形態の図５と同様に、特徴量Ａ、Ｂ、Ｃ、Ｄがある場合、特徴量を少なくとも２個以上同時に組合せるが、特徴量ＡからＤに対して第一の評価値が最も良い特徴量に第二の評価値に値１加算する。特徴量Ａに注目した場合、特徴量Ａを含む組合せに対して第一の評価値が最も良い、つまりベイズ誤り確率推定値最も低い（Ｂａｙｅｓ＝０．０８）のは特徴量Ｂである。よって特徴量Ｂに対して第二の評価値に値１加算する。第１の実施形態、第２の実施形態と同様に、以上の処理を全ての特徴量に対して行う。
【０１１３】
本実施形態では、第一の実施形態および、第二の実施形態と異なり、特徴量ＡからＤに対して第一の評価値が二番目に良い特徴量に対して第二の評価値に値ｗ（０＜ｗ＜１）加算する。特徴量Ａに注目した場合、特徴量Ａを含む組合せに対して特徴量Ａの第一の評価値が二番目に優れた、つまりベイズ誤り確率推定値が二番目に低い（Ｂａｙｅｓ＝０．１）特徴量は特徴量Ｃである。よって特徴量Ｃに対して第二の評価値に値ｗ加算する。第一の評価値が悪くなるにつれて第二の評価値に対して加算する値を小さくしても良い。図１１では二番目に優れた特徴量に対して第二の評価値に加算していく。次に特徴量Ｂに注目した場合、特徴量Ｂを含む組合せに対して特徴量Ｂの第一の評価値が二番目に優れた、つまりベイズ誤り確率推定値が二番目に低い（Ｂａｙｅｓ＝０．０５）特徴量は特徴量Ｄである。よって特徴量Ｄに対して第二の評価値に値ｗ加算する。また特徴量Ｃに注目した場合、特徴量Ｃを含む組合せに対して特徴量Ｃの第一の評価値が二番目に優れた、つまりベイズ誤り確率推定値が二番目に低い（Ｂａｙｅｓ＝０．０５）特徴量は特徴量Ｄである。よって特徴量Ｄに対して第二の評価値に値ｗ加算する。なお特徴量Ｄに注目した場合、特徴量Ｄを含む組合せに対して第一の評価値が最も良い、つまりベイズ誤り確率推定値最も低い（Ｂａｙｅｓ＝０．０５）特徴量は特徴量ＢとＣの二つである。よって第一の評価値が二番目に良い特徴量に関して第二の評価値に所定の値を加算しない。結果的に加算した値の第二の評価値合計値は、特徴量Ａでは０、Ｂでは２．５、Ｃでは１．５＋ｗ、Ｄでは２ｗとなる。これにより、精度の高い第二の評価値の算出が可能となる。
【０１１４】
以上説明したように、本実施形態における第二の評価値算出方法により、精度の良い第二の評価値が算出可能になり、より組合せ相性の良い特徴選択が可能になる。必要な特徴量のみを選択することが可能になり、その結果、特有の次元において発生する問題を起りにくくし、演算処理を高速化させることができる。
【０１１５】
（第四の実施形態）
上記実施形態では、クラスｗ１とｗ２のパターンの値が既知な２クラス問題において、クラスｗ１、ｗ２とをより分離できる評価値を選択した。
【０１１６】
しかし、実際には、クラスｗ１のパターンの値のみが既知で、クラスｗ２のパターンの値が未知である場合が考えられる。例えば、良品検査において、不良品のパターンの値は未知であり、良品のパターン値のみが既知である場合である。そこで、本実施形態では、クラスｗ１のパターンのみで算出可能な分離度合いを示す評価値を用いた処理を行う。
【０１１７】
以下では、クラスｗ１のパターンのみで算出可能な評価値について説明する。
クラスｗ２に対するクラスｗ１の分離度合い示す評価値として、クラスｗ１の分布密度が考えられる。仮に、クラスｗ１の分布が密である場合、特徴空間内でクラスｗ１の分布が発散する範囲が狭くなり、クラスｗ１とクラスｗ２の分布が重なる可能性は低くなる。逆に、特徴空間内でクラスｗ１の分布が発散する範囲が広くなり、クラスｗ１とクラスｗ２の分布が重なる可能性が高くなる。
【０１１８】
以上説明したように、ｗ１の分布密度に応じて重なるパターン数は変化するが、クラスｗ１の分布が密である場合でも、重なりがある場合には、クラスｗ１が密であるため分布内の多くのパターンが重なる。また、クラスｗ１の分布が疎である場合でも、もし重なりがある場合には、クラスｗ１の分布が疎であるため重なるパターンは少ない。
【０１１９】
しかしながら、一般的には、ｗ１の分布が密であるほうが、クラスｗ１とクラスｗ２とで重なるパターン数は少なくなる。よって、クラスｗ１のパターンの分布がより密になる特徴量の方が、クラスｗ１とクラスｗ２とを分離する特徴量として優れていることになる。
【０１２０】
本実施形態では、クラスｗ１のパターンの分布を表す評価値として、クラスｗ１のパターンの重心から最も離れているパターンのユークリッド距離を用いる。また、重心からのすべてのパターンへのユークリッド距離の標準偏差を評価値として用いることも可能である。また、マンハッタン距離等の他の距離概念を用いても良い。
【０１２１】
以下で、本実施形態における処理フローを説明する。
【０１２２】
図１２は、本実施形態における処理フローを示す図である。本実施形態が第二の実施形態と異なる点は、第二の実施形態を示す図８のステップ８０３がステップ１２０３に変更されていることである。よって、第二の実施形態と異なる点であるステップ１２０３のみを説明する。なお、第二の実施形態と同様、本実施形態の処理は、図１の情報処理装置１０１が行うものである。
【０１２３】
図１３は、本実施形態におけるステップ１２０３の処理の詳細を示す図である。以下で、図１３に沿って、ステップ１２０３における処理の詳細を説明する。尚、ステップ１３０１はステップ１２０２に対応するので説明を省く。
【０１２４】
（ステップ１３０２：特徴量ごとに所定のクラスｗ１のみの全パターンを正規化）
ステップ１３０２では、各特徴量の標準偏差でクラスｗ１のパターンすべてを特徴量ごとに正規化する。本実施形態では、ｎ次元の特徴空間におけるユークリッド距離で特徴量を評価する必要があるためである。
【０１２５】
（ステップ１３０３：ｎ個の特徴量の組合せそれぞれに対してｎ次元の特徴空間に所定の１クラスｗ１のパターンのみをプロット）
次に、ステップ１３０３では、生成されたｎ個の特徴量の組合せそれぞれに対して、ｎ次元の特徴空間に１クラスｗ１のパターンをプロットする。
【０１２６】
図１４は、ｎ＝２である場合に、１クラスｗ１のパターンがプロットされた特徴空間を示す図である。
【０１２７】
（ステップ１３０４：所定の１クラスｗ１のパターンの重心を算出）
ステップ１３０４では、特徴空間にプロットされたパターンの重心Ｇを求める。
【０１２８】
（ステップ１３０５：発散度を第一評価値とし、ｎ個の特徴量の組合せそれぞれに対しても第一評価値を算出）
ステップ１３０５では、ｎ次元の特徴空間において、ステップ１３０４で求めた重心Ｇから最も離れているパターンとのユークリッド距離ｄｍａｘを求め、このユークリッド距離を発散度とする。もしくは重心Ｇからの各パターンへのユークリッド距離ｄｉのすべてのパターンへのｄｉの標準偏差を発散度とする。以上の処理で算出された発散度を、上記実施形態と同様に第一の評価値とする。
【０１２９】
尚、発散度はベイズ誤り確率推定値と同様に小さいほどクラスを分離する特徴量として優れている。よって、ｎ次元の特徴空間におけるユークリッド距離を発散度として、ベイズ誤り確率推定値と同様に、第一の評価値として扱うことが可能である。本実施形態によれば、１クラスのみのデータから、特徴量選択が可能となる。
【０１３０】
尚、以上の説明では、１クラス問題について述べたが、本実施形態は多クラス問題にも適用可能である。あるクラスが他のクラスとの分離している度合いを示すのにｎ次元の特徴空間において重心から最も離れているパターンのユークリッド距離、を発散度として利用することが可能である。
【０１３１】
（他の実施形態）
上記実施形態では外観検査においての利用を述べたが、本発明は、顔認識や動画像を含むマルチモーダル多次元データ等のパターン識別問題において用いる特徴量を、多様な特徴量の中から選択する場合にも用いることができる。なお、その他のパターン認識やデータマイニングの分野で用いることも可能である。
【０１３２】
また、上記実施形態では，ベイズ誤り確率推定値などを用いて各特徴量を評価し、特徴量を選択した。このようにあらかじめ識別器を通す前に特徴量を評価するという手法はフィルター法と呼ばれる。これに対し，実際に良品不良品などを識別する識別器を通してその性能を評価して特徴量を用いるか用いないかを決める手法はワッパー法と呼ばれる。ワッパー法は識別結果を見ているためにフィルター法と比べて性能は良いが、計算時間が膨大にかかるという欠点がある。そこで、膨大な特徴量数に対してワッパー法を効率的に行うために，計算が高速なフィルター法で特徴量を絞り込んでおく手法が提案されている。特徴量を絞り込んでおくことにより、ワッパー法のみを用いる場合よりも計算時間を短縮することが出来る。上記実施形態の手法は、ワッパー法を第二の選択手段として、ワッパー法と組合せて行うことも可能である。
【０１３３】
また、上記実施形態における処理は、ＣＤＲＯＭ等の記録媒体に記録されたコンピュータプログラムをコンピュータによって処理することにより、実現することが可能である。
【技術分野】
【０００１】
本発明は、入力データから抽出される複数の特徴量から、当該入力データの分類に用いる特徴量を選択する情報処理装置および、情報処理方法などに関する。
【背景技術】
【０００２】
外観検査などの情報処理装置において、検査対象物を撮影した画像から画素値の平均や分散といった多数の特徴量群を抽出し、良否判定（良品と不良品の２クラス判別）するといった手法がある。しかし、多数の特徴量を全て使うと、特徴の次元が高次になってしまい、特有の次元において発生する問題（次元の呪い等）や、冗長な特徴量を抽出することによる処理時間の増大が発生してしまう。
【０００３】
よって、適切な特徴量を選択することにより、特有の次元において発生する問題を起りにくくし、演算処理を高速化させることができる手法が重要視されつつある。
【０００４】
以下に、非特許文献１に開示されている手法について説明する。非特許文献１では、特徴量それぞれに対して分離度を評価するための評価値を求め、その評価値の良い順に特徴量を選ぶ手法が開示されている。具体的には、ベイズ誤り確率推定値やクラス内分散・クラス間分散比を用いて、選択基準を決定する特徴選択手法がある。
【０００５】
ベイズ誤り確率推定値について詳細に述べる。例えば２クラス問題の場合、２つのクラスをｗ１、ｗ２とし、観測される特徴をｘ０＝［ｘ１，ｘ２，・・・，ｘＫ，・・・，ｘＮ］とするときｘＫがｗ１、ｗ２に属する確率をそれぞれＰ（ｗ１｜ｘＫ）、Ｐ（ｗ２｜ｘＫ）と表す。このときベイズ誤り確率推定値は
【０００６】
【数１】
【０００７】
で表され、これを全ての特徴量に関して求める。ベイズ誤り確率推定値は小さいほど、２クラスをより分離できる。よって、ベイズ誤り確率推定値が小さい順に特徴量を選択する。
【０００８】
次に、クラス内分散・クラス間分散比について詳細に述べる。例えば２クラス問題の場合、２つのクラスをｗ１、ｗ２とし、観測される特徴をｘ０＝［ｘ１，ｘ２，・・・，ｘＫ，・・・，ｘＮ］とするとき、特徴量ｘｋに関するクラス内分散・クラス間分散比を求める。またクラスｗｉに属するパターンの集合をＡｉとし、Ａｉに含まれるパターン数をｎｉ、クラスｗｉに属するパターンのｘｋの平均をｍｉとする。さらに、全パターン数をｎ、全パターンのｘｋの平均をｍとする。このとき
【０００９】
【数２】
【００１０】
は、
【００１１】
【数３】
【００１２】
【数４】
【００１３】
のように表せるので、クラス内分散・クラス間分散比は
【００１４】
【数５】
【００１５】
で表すことができる。このようにしてクラス内分散・クラス間分散比を求め、値が大きい順に特徴量を選択する。
【００１６】
また非特許文献２に示されている手法は、遺伝子選択の分野において、特徴量を２個ずつ組合せて、２次元の特徴空間で評価して、特徴量を２個ずつ選択する手法である。２個ずつ特徴量を組合せる手法は、１個ずつ特徴量を選択するより精度の良い特徴選択が可能であると述べられている。
【先行技術文献】
【非特許文献】
【００１７】
【非特許文献１】石井健一郎，上田修功，前田英作，村瀬洋，“わかりやすいパターン認識”，オーム社，東京，１９９８．
【非特許文献２】Ｔｒｏｎｄ Ｈｅｌｌｅｍ Ｂｏ ａｎｄ Ｉｎｇｅ Ｊｏｎａｓｓｅｎ，”Ｎｅｗ ｆｅａｔｕｒｅ ｓｕｂｓｅｔ ｓｅｌｅｃｔｉｏｎ ｐｒｏｃｅｄｕｒｅｓ ｆｏｒ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｏｆ ｅｘｐｒｅｓｓｉｏｎ ｐｒｏｆｉｌｅｓ，”Ｇｅｎｏｍｅ Ｂｉｏｌｏｇｙ ２００２年，第３巻（ｖｏｌ．３），ｎｏ．４：ｒｅｓｅａｒｃｈ．
【発明の概要】
【発明が解決しようとする課題】
【００１８】
しかしながら、前記のベイズ誤り確率推定値や一次元のクラス内分散・クラス間分散比により１個ずつ特徴選択を行う非特許文献１の手法は、特徴量間の組合せの相性を考慮して特徴量を評価しているわけではない。よって、結果として特有の次元において発生する問題を引き起こしやすくし、冗長な特徴量を抽出することによって演算処理速度を落とすことになるという課題があった。同様に、非特許文献２の手法は、あらかじめ組合せる数を設定し、特徴量の組合せを選択するものであり、特徴量間の組合せの相性を考慮して特徴量を評価しているわけではない。
【００１９】
そこで本発明は、前述した課題を鑑みてなされたものであり、入力データから抽出される複数の特徴量から、当該入力データの分類に用いる特徴量を選択するための情報処理装置において、特徴量間の組合せの相性を考慮し、入力データの分類に適した特徴量を選択することを目的とする。
【課題を解決するための手段】
【００２０】
上述の目的の課題を解決するために、本発明の情報処理装置は、入力データから抽出される複数の特徴量から、当該入力データの分類に用いる特徴量を選択するための情報処理装置であって、前記複数の特徴量を組合せることにより複数の組合せを生成する生成手段と、前記複数の組合せそれぞれに対して前記入力データの分類への適合を評価する第一の評価値を算出する第一の算出手段と、前記第一の評価値に基づき、前記複数の特徴量それぞれに対して前記入力データの分類への適合を評価する第二の評価値を得る第二の算出手段とを有することを特徴とする。
【発明の効果】
【００２１】
本発明によれば、特徴量間の組合せの相性を考慮し、入力データの分類に適した特徴量を選択することが出来る。
【図面の簡単な説明】
【００２２】
【図１】第一の実施形態における情報処理装置の構成を示した図である。
【図２】第一の実施形態における情報処理装置１０１の情報処理を示すフローチャートである。
【図３】表面粗し加工を施したゴム板の表面を撮影し切り出した１２８×１２８画素のグレースケール画像の例を示す図である。
【図４】第二の実施形態における複数の特徴量を抽出する具体的な処理を示した図である。
【図５】ｎ＝２の場合における第二の評価値算出のアルゴリズムの概念を示した図である。
【図６】ｎ＝３の場合における第二の評価値算出のアルゴリズムの概念を示した図である。
【図７】第一の実施形態におけるスコア算出の処理フローチャートを示した図である。
【図８】第二の実施形態における情報処理装置１０１の情報処理を示すフローチャートである。
【図９】第二の実施形態におけるスコア算出の処理フローチャートを示した図である。
【図１０】第三の実施形態における情報処理装置１０１の情報処理を示すフローチャートである。
【図１１】第三の実施形態における第二の評価値を算出する処理の概要を示す図である。
【図１２】第四の実施形態における処理フローを示す図である。
【図１３】第四の実施形態におけるステップ１２０３の処理の詳細を示す図である。
【図１４】１クラスｗ１のパターンがプロットされた特徴空間を示す図である。
【発明を実施するための形態】
【００２３】
（第一の実施形態）
以下、図面を用いて第一の実施形態を詳細に説明する。
【００２４】
図１は、第一の実施形態における情報処理装置の構成を示した図である。
【００２５】
１０１は、本実施形態における外観検査のための情報処理を行う情報処理装置１０１である。情報処理装置１０１は、ＣＰＵ（セントラルプロセッシングユニット）、ＲＡＭ（ランダムアクセスメモリ）、ＨＤＤ（ハードディスクドライブ）などから構成される。ＣＰＵは、外観検査のためのコンピュータプログラムを実行し、ＨＤＤ、ＲＡＭには、外観検査のためのコンピュータプログラムおよびデータが格納される。
【００２６】
１０２は、本実施形態において外観検査の対象となる検査対象物１０２である。検査対象物１０２は、例えば、工業製品に利用されるゴム板などである。ゴム板の表面には、凹凸やキズがあることがあり、外観検査によってこれらが検出され、良品と不良品とに分別される。
【００２７】
１０３は、本実施形態において検査対象物１０２を撮像するための撮像装置１０３である。撮像装置１０３は、検査対象物１０２の表面のビデオ映像（画像パターン）を取得可能なビデオカメラなどから構成され、取得したビデオ映像を情報処理装置１０１に送信する。情報処理装置１０１は、送信されたビデオ映像を用いて外観検査のための情報処理を行う。
【００２８】
１０４は、外観検査の検査結果を表示するための表示装置１０４である。表示装置１０４はモニタなどから構成され、情報処理装置１０１から送信される外観検査の結果を表示する。
【００２９】
図２は、本実施形態における情報処理装置１０１の情報処理を示すフローチャートである。本実施形態では検査対象物１０２を撮影した画像を用いてパーツの良否判定（良品と不良品との２クラス判別）を行う外観検査において説明する。
【００３０】
本実施形態における外観検査では、良品と不良品とを分別する２クラスが存在し、入力画像パターンから複数の階層画像を生成し、生成された複数の階層画像から複数の特徴量を抽出し、抽出された複数の特徴量から外観検査に適した特徴量を選択する。
【００３１】
以下に図２のフローの概要を示す。なお、図２のフローで示す各処理は、情報処理装置１０１によりなされるものである。また、各処理の詳細については後述する。
（ステップ２０１）ステップ２０１では、撮像装置１０３から取得された入力画像パターンから、外観検査に用いる複数の特徴量の抽出を行う。
（ステップ２０２）ステップ２０２では、情報処理装置１０１が複数の組合せを生成する生成手段として機能し、ステップ２０１で抽出された複数の特徴量を用いて、ｎ個（ｎ≧２）ずつの特徴量の組合せを生成する。
（ステップ２０３）ステップ２０３では、情報処理装置１０１が入力画像データの分類への適合を評価する第一の評価値を算出する第一の算出手段として機能し、ステップ２０２において設定されたｎ個ずつの特徴量による複数の組合せそれぞれに対して第一の評価値を算出する。本実施形態における第一の評価値は、外観検査に適していることを示すものである。このとき、それぞれの特徴量に対して、その特徴量において第一の評価値が最も良い特徴量の組合せ（ｎ個の特徴量からなる組合せ）を決定する。
（ステップ２０４）ステップ２０４では、情報処理装置１０１が第二の算出手段として機能し、複数の第一の評価値同士を比較することにより、入力画像データの分類への適合を評価する第二の評価値を計算する。
（ステップ２０５）ステップ２０５では、第二の評価値に基づくスコアを算出し、特徴選択基準を決定する。
（ステップ２０６）ステップ２０６では、さらにスコアが最も良い特徴量とステップ２０４で組合せた特徴量の組合せ（ｎ個の特徴量の組合せ）を選択し、選択した以外の特徴量に対しては特徴選択基準で特徴選択を繰り返す。
【００３２】
以下に図２の各処理の詳細について述べる。
【００３３】
（ステップ２０１の処理の詳細（複数の特徴量の抽出））
ステップ２０１の処理の詳細について述べる。
【００３４】
図３は、検査対象物１０２の一例である表面粗し加工を施したゴム板の表面を撮影し切り出した１２８×１２８画素のグレースケール画像の例を示す図である。
【００３５】
図３（ａ）から（ｅ）に正常なゴム板の表面を示し、（ｆ）から（ｊ）に異常なゴム板の表面を示す。（ａ）から（ｅ）のような画像パターンを正常パターンとし、（ｆ）から（ｊ）のような画像パターンを異常パターンとする。（ｆ）と（ｇ）は、黒いスポット状のムラがあるパターンであり、（ｈ）は、全体的にグラデーションがあるパターンであり、（ｉ）は、白いスポット状のムラがあるパターンであり、（ｊ）は、コントラストが一部低くなっているパターンである。本ステップでは、このようなパターンの特徴を表した複数の特徴量を算出する。
【００３６】
図４は、本実施形態における複数の特徴量を抽出する具体的な処理を示した図である。
【００３７】
本実施形態では、入力画像パターンとしてｐｎ個の画像パターンを用いるが、これらの画像パターンに対し欠陥を強調するために、周波数ドメインへの変換手法であるウェーブレット変換を用いる。
【００３８】
特に、図４は、ウェーブレット変換ひとつであるハール・ウェーブレット変換を示したものである。まず変換前の入力パターンに対して四種類のフィルターを用いて内積演算を行う。その結果、四種類のパターン、縦方向高周波成分抽出パターン（ＨＬ）、対角方向高周波成分抽出パターン（ＨＨ）、横方向高周波成分抽出パターン（ＬＨ）、低周波成分抽出パターン（ＬＬ）が生成される。縦方向高周波成分抽出パターンの生成方法を具体的に示す。図４のように入力パターンの４つの画素
【００３９】
【数６】
【００４０】
を縦方向高周波成分抽出パターンの画素の値とする。このような計算を４画素ずつすべての画像領域においてこれをオーバーラップすることなく行い、縦方向高周波成分抽出パターンを作る。対角方向高周波成分抽出パターンでは、
【００４１】
【数７】
【００４２】
を、横方向高周波成分パターンでは
【００４３】
【数８】
【００４４】
を、低周波成分抽出パターンでは
【００４５】
【数９】
【００４６】
をフィルターとして用いる。
【００４７】
結果的に四種類のパターンを解像度二分の一で作り出す。さらに低周波成分抽出パターンから次のレベルのハール・ウェーブレット変換を行い、さらに解像度二分の一にした四種類のパターンを作り出すというように階層的に低い周波数へと変換していく。変換前のパターンは１２８×１２８画素なので、１回の変換で６４×６４画素、２回目の変換で、３２×３２画素、以降、１６×１６画素、８×８画素、４×４画素、２×２画素となり、最後の７回目の変換で１×１画素のパターンが生成される。つまり、最後に１×１画素の、縦方向高周波成分抽出パターン、対角方向高周波成分抽出パターン、横方向高周波成分抽出パターン、低周波成分抽出パターンが得られる。よって変換前のパターンを含めて１＋４×７＝２９種類のパターンが得られる。
【００４８】
このようにして得られた各階層のパターンそれぞれから、全画素値の最大値、平均、分散、尖度、歪度、相乗平均、といった６種類のマクロな特徴量を抽出する。マクロな特徴量として、画素値の平均を式５に、分散を式６に、尖度を式７に、歪度を式８、相乗平均を式９に示す。ただし、画像のサイズは縦ａ画素、横ｂ画素の画像の縦ｉ番目。横ｊ番目の画素値をｐ（ｉ，ｊ）とし、ｐをヒストグラムで表したときのそれぞれのビンにおける番号をｋ、値をＸｋ、度数をＭｋで表す。
【００４９】
【数１０】
【００５０】
【数１１】
【００５１】
【数１２】
【００５２】
【数１３】
【００５３】
【数１４】
【００５４】
ハール・ウェーブレット変換を行っていない変換前の入力パターン、ハール・ウェーブレット変換をかけた各階層画像の２９種類の画像から、最大値、及び式５から式９で示した６つの特徴量を抽出する。つまり計２９種類の画像からマクロな特徴量を６種類ずつ抽出する。結果的に入力パターンごとに２９×６＝１７４個（以下Ｎ個とする）の特徴量を抽出する。なお入力パターンとして用いるｐｎ個の全パターンからＮ個ずつの特徴量を抽出する。
【００５５】
今回はハール・ウェーブレット変換を用いる手法について述べたが、その他のウェーブレット変換、エッジ抽出、フーリエ変換、ガボール変換といったその他の変換手法を用いても良い。またマクロな特徴量としてコントラスト、最大から最小を引いた値、標準偏差といったその他の統計量を用いても良い。以上の処理により、入力画像パターンから複数の特徴量を抽出することが出来る。
【００５６】
（ステップ２０２：ｎ個ずつ特徴量を組合せる）
ステップ２０２では、特徴量を１個ずつではなく、ｎ個ずつ特徴量を組合せて選ぶ。組合せる個数ｎは、ユーザーの指示などに基づき決定してもよいし、また、検査対象物１０２ごとにあらかじめ設定しておいてもよい。入力画像パターンから抽出した特徴量の数がＮ個である場合、ｎ個ずつ特徴量を組合せるので、ＮＣｎ通りの組合せを生成する。
【００５７】
（ステップ２０３：ｎ個の特徴量の組合せそれぞれに対して第一の評価値を算出）
ステップ２０３の詳細について説明する。ステップ２０３では、ステップ２０２で生成されたＮＣｎ通りの組合せそれぞれに対して、第一の評価値を算出する。
【００５８】
本実施形態における第一の評価値とは、当該ｎ個の特徴量の組合せが、入力データの分類の判定に適しているか否かを評価するための評価値である。例えば、第一の評価値は、検査対象物１０２が良品か不良品かを判定する際に用いる特徴量の組合せとして適しているか否かを示している。
【００５９】
本実施形態における良品と不良品の２クラス問題の場合、第一の評価値の一つとしてｎ次元のベイズ誤り確率推定値がある。ここで２つのクラスそれぞれをｗ１、ｗ２とし、ｎ個の特徴をもつベクトルをＸ＝［ｘ１，・・・，ｘｎ］ｔとするときｘがｗ１、ｗ２に属する確率の分布、つまりｗ１とｗ２におけるｎ次元のヒストグラムを生成し、このヒストグラムをそれぞれＰ（ｗ１｜ｘ）、Ｐ（ｗ２｜ｘ）と表す。よってベイズ誤り確率推定値は、
【００６０】
【数１５】
【００６１】
で表される。この確率推定値の計算をｎ個の特徴量の組合せそれぞれに対して行う。ここで算出されるベイズ誤り確率推定値は、一次元の場合と同様に、値が低いほど良品と不良品との分類に適している組合せとみなすことが出来る。
【００６２】
なお、以上の説明では、２クラス問題の場合について述べたが、ベイズ誤り確率推定値は多クラスについても適用可能である。
【００６３】
次に、第一の評価値の別の例として、ベイズ誤り確率推定値の代わりにクラス内分散・クラス間分散比を用いる場合についても説明する。例えば２クラス問題の場合、２つのクラスをｗ１、ｗ２とし、観測される特徴をＸ＝［ｘ１，・・・，ｘｎ］ｔとするとき、特徴ベクトルｘに関するクラス内分散・クラス間分散比を求める。ここでクラスｗ１に属するパターンの集合をＡｉとし、Ａｉに含まれるパターン数をｐｎｉ、クラスｗ１に属するパターンのｘの平均をｍｉとする。また、全パターン数をｐｎ、全パターンのｘの平均ベクトルをｍとする。よって、
【００６４】
【数１６】
【００６５】
は、
【００６６】
【数１７】
【００６７】
【数１８】
【００６８】
のように表すことができる。よって、クラス内分散・クラス間分散比は
【００６９】
【数１９】
【００７０】
で表すことができる。このようにしてクラス内分散・クラス間分散比を求め、第一の評価値とする。
【００７１】
なお、以上の説明では、２クラス問題の場合について述べたが、クラス内分散・クラス間分散比は多クラスについても適用可能である。本実施形態では、分類間の分離度を評価できるベイズ誤り確率推定値、クラス内分散・クラス間分散比を第一の評価値として用いたが、分類への適合を評価することができる評価値であれば、どのような評価値を用いてもよい。
【００７２】
（ステップ２０４：第一の評価値同士の比較結果（判定結果）から第二の評価値を算出）
ステップ２０４では、複数の特徴量の組合せにおける第一の評価値同士を比較することにより、複数の特徴量それぞれに対して、入力データの分類に適しているか否かを評価するための第二の評価値を算出する。
【００７３】
以下に、第二の評価値の算出について詳細に説明する。
【００７４】
まず、１つの特徴量に注目し、その特徴量を含む組合せの中で第一の評価値が最も良い組合せを求める。第一の評価値としてベイズ誤り確率推定値を用いている場合、ベイズ誤り確率推定値が最も低い特徴量の組合せを求める。
【００７５】
そして、第一の評価値が最も良い組合せの特徴量の第二の評価値に対して、所定の値を加算する。そして他の特徴量に対しても順に注目し、第一の評価値が最も良い組合せの特徴量の第二の評価値に対して、所定の値を加算する。このように、全ての特徴量に対して注目し、注目した特徴量に対して最も良い組合せの特徴量の第二の評価値に、所定の値を加算する。
図５は、ｎ＝２の場合における第二の評価値算出の概念を示した図である。
図６は、ｎ＝３の場合における第二の評価値算出の概念を示した図である。
【００７６】
まず、図５を用いてｎ＝２における第二の評価値算出のアルゴリズムの概念について説明する。図５では、例として、特徴量がＡ、Ｂ、Ｃ、Ｄの４種類である場合について説明する。
【００７７】
最初に、特徴量Ａに注目した場合、特徴量Ａとの組合せでＢ、Ｃ、Ｄの中、最も第一の評価値が低くなる（Ｂａｙｅｓ＝０．０８）（良品と不良品との分類に適している）特徴量は、Ｂである。よって、特徴量Ｂは他の特徴量よりも特徴量Ａとの組合せにおいて良品と不良品との分類に適しているとみなせるため、特徴量Ｂの第二の評価値に対して値１を加算する。
【００７８】
同様に、特徴量Ｂに注目した場合、特徴量Ｃは他の特徴量よりも特徴量Ｂとの組合せにおいて、良品と不良品との分類に適しているとみなせる（Ｂａｙｅｓ＝０．００３）ため、特徴量Ｃの第二の評価値に対して値１を加算する。
【００７９】
同様の処理を、特徴量Ｃについて行うと、特徴量Ｂの第二の評価値に対して値１が加算される。最後に、特徴量Ｄに注目すると、特徴量Ｂと、特徴量Ｃとに組合せた場合の第一の評価値が最も低い（Ｂａｙｅｓ＝０．０５）。つまり、特徴量Ｄに関しては、良品と不良品との分類に最も適している組合せが、特徴量Ｂと特徴量Ｃとの二種類あるため、特徴量Ｂと特徴量Ｃとの第二の評価値それぞれに対して値０．５が加算される。また、特徴量Ｄに対し特徴量ＢとＣを組合せて、３個の特徴量の組合せとしてもよい。以上の処理により、第二の評価値については、特徴量Ａは０、特徴量Ｂは２．５、特徴量Ｃは１．５、特徴量Ｄは０、となる。つまり、分類に最も適している組合せと判定された回数が多いほど第二の評価値が高くなる。
【００８０】
次に、図６を用いてｎ＝３における第二の評価値算出のアルゴリズムの概念を説明する。基本的には、ｎ＝２のときの場合と同様の処理がなされる。特徴量Ａに注目した場合、図６に示すように、特徴量Ａとの組合せにおいて最も良品と不良品との分類に適している特徴量は、特徴量Ｄ、特徴量Ｆである（Ｂａｙｅｓ＝０．００１）。従って、特徴量Ｄの第二の評価値に対して、値１を加算し、特徴量Ｆの第二の評価値に対して値１を加算する。同様の処理をすべての特徴量の組合せに対して行うことにより、すべて特徴量の対して第二の評価値が算出される。
【００８１】
（ステップ２０５：第二の評価値に基づく関数でスコアを算出し、選択基準を決定）
ステップ２０５では、第二の評価値（Ｌｎとする）に基づく関数で、特徴量を選択する基準となるスコアを求める。このとき本実施形態では、
ｓｃｏｒｅ＝Ｌｎ （式１３）
のような関数でスコアを算出するが、第二の評価値が大きくなればなるほどスコアが大きくなるような関数であれば良い。なおこのスコアの算出はＮ個（選択対象となっている特徴量の種類）の特徴量ごとに求める。
【００８２】
（ステップ２０６：ｎ個ずつ特徴量を選択）
ステップ２０６では、ステップ２０５で求めたスコアが最も良い、つまりスコアが最も大きい特徴量とステップ２０４で組合せとした特徴量の組合せでｎ個の特徴量を選択し、選択した以外の特徴量に対して先に述べた特徴選択基準で選択を繰り返す。
例えば、図５で示した例の場合、第二の評価値はそれぞれ特徴量Ａでは０、Ｂでは２．５、Ｃでは１．５、Ｄでは０であるので最も第二の評価値の高い特徴量Ｂを最初に選ぶ。
また、特徴量Ｂとの組合せに対応する特徴量Ｃも同時に選ぶ。
【００８３】
次に、第二の評価値が２番目に高い特徴量Ｃを選ぶが、既に選ばれているため、次の特徴量を選ぶ。特徴量Ｃと組合せとした特徴量はＢを選ぶが、既に選ばれているため、次の特徴量を選ぶ。次の第二の評価値は０となるため、第一の評価値、つまりベイズ誤り確率推定値が低い順に特徴量を選ぶ。特徴量Ａに注目すると、第一の評価値が最も低いのは特徴量Ｂの０．０８である。また特徴量Ｄに注目すると、第一の評価値が最も低いのは特徴量ＢとＣとの０．０５である。特徴量Ａに注目したときのほうが、第一の評価値が低いので、特徴量Ａを先に選び、その次に特徴量Ｄを選ぶ。
【００８４】
このようにして最終的に組合せの良い予め定めた所定のｍ個の特徴量を選択する。
【００８５】
入力パターンからのＮ個の特徴抽出はトレーニングパターンを用いるのでオフラインで行うことが可能で、オンラインの処理では、テストパターンに対してｍ個の特徴量抽出のみ行えば良いので、演算処理を高速化させることができる。また、特徴量の組合せを考慮したｍ個の特徴量を選択しているので、従来の第一の評価値のみを考慮した特徴選択手法と比べて、最終的に選択するｍ個の特徴量の数を減らして同等の性能を維持することができる。
【００８６】
上述のようなスコア算出方法により、多様な特徴量群から特徴量の組合せ間を考慮した特徴量の選択をオフラインで選択できる。この結果、特有の次元において発生する問題を起りにくくし、演算処理を高速化させることができる。
【００８７】
最後に、これまで述べた本実施形態におけるスコア算出の処理について説明する。図７は、本実施形態におけるスコア算出の処理フローチャートを示した図である。図７の処理は、Ｎ個（選択対象となる特徴量の種類）の特徴量から２個ずつ特徴量を選択するときについて述べたものである。
【００８８】
（ステップ７０１：Ｂａｙｅｓｉｊを算出，Ｌｎｉ＝０（ｉ＝１，・・・，Ｎ，Ｊ＝ｉ＋１，・・・，Ｎ））
最初に、ステップ７０１では、全ての組合せの第一の評価値、つまりベイズ誤り確率推定値Ｂａｙｅｓを求める。Ｎ個の特徴量から２個ずつ特徴量を選択する。ベイズ誤り確率推定値Ｂａｙｅｓｉｊのｉは一つ目の特徴量を示し、ｊは二つ目の特徴量を示す。ｉは１からＮに変え、ｊはｉと同じ特徴量を選ばないようにｉ＋１からＮの間に変える。よってＮＣ２通りの組合せが生成される。またこのとき全ての第二の評価値の初期値をＬｎｉ＝０（ｉ＝１，・・・，Ｎ）に設定する。
【００８９】
（ステップ７０２：初期値ｉの設定）
ステップ７０２では、一つ目の特徴量ｉ＝１に設定し、徐々に値を変えて特徴量をかえる。
【００９０】
（ステップ７０３：
【００９１】
【数２０】
【００９２】
とｋを算出）
【００９３】
ステップ７０３では、特徴量ｉを固定し特徴量ｊを可変として、第一の評価値、つまりベイズ誤り確率推定値の最小値とベイズ誤り確率推定値が最小となるときのｊを求める。このときのｊをｋとする。ここで特徴量ｉと特徴量ｋを２つの特徴量のセットとする。
【００９４】
（ステップ７０４：Ｌｎｋ＝Ｌｎｋ＋１）
ステップ７０４では、特徴量ｋの第二の評価値Ｌｎｋに対して１加える。
【００９５】
（ステップ７０５：ｉ＝Ｎ、ステップＳ１６：ｉ＝ｉ＋１）
ｉの値がＮとなれば、ステップ７０７に進み、ｉの値がＮより小さければ、ステップＳ７０６に進む。
【００９６】
（ステップ７０６：ｉ＝ｉ＋１）
ステップ７０６では、ｉに１加え、ステップ７０３に戻る。
【００９７】
（ステップ７０７：ｓｃｏｒｅｉ＝Ｌｎｉ（ｉ＝１，・・・，Ｎ））
ステップ７０７では、それぞれの特徴の第二の評価値Ｌｎをスコアとし、これを基にステップＳ１３で決めたセットごとに特徴量を選択する。
【００９８】
（第２の実施形態）
本実施形態の処理の流れを図８のフローチャートで説明する。本実施形態が第一の実施形態と異なる点は、第一の実施形態における図２のステップ２０５が、図８のステップ８０５に変更されていることである。よって、第一の実施形態と異なる点であるステップ８０５の処理のみ説明する。なお、第一の実施形態と同様、本実施形態の処理は、図１の情報処理装置１０１が行うものである。
【００９９】
（ステップ８０５：第一の評価値と第二の評価値に基づくスコアを算出し特徴選択基準を決定）
ステップ８０５では、第一の実施形態と異なり、第二の評価値だけでなく、第一の評価値と第二の評価値との両方に基づいて特徴選択基準を決定する。第一の評価値と第二の評価値に基づく関数でスコアを求め、特徴選択基準を決定する。このとき、以下に示す式１４のような関数でスコアを算出するが、ベイズ誤り確率推定値が小さくなればなるほどスコアが大きくなり、第二の評価値が大きくなればなるほどスコアが大きくなるような関数であれば他の関数を用いてもよい。
【０１００】
【数２１】
【０１０１】
式１４では第一の評価値であるベイズ誤り確率推定値Ｂａｙｅｓと第二の評価値Ｌｎが０になることがあるので、非零値ａ、ｂを加えている。例えば特徴量の数が１０００個存在するとすると、特徴量ごとの第一の評価値Ｂａｙｅｓは最小で０、最大で１であり、また第二の評価値Ｌｎは最小で０、最大で１０００であり、この場合、ａ＝１程度、ｂ＝０．００１程度が適当である。
【０１０２】
本実施形態におけるスコア算出関数により、特徴量の評価と特徴量間の組合せの評価を考慮した特徴選択が可能になる。よって、必要な特徴量のみの選択が可能になり、特有の次元において発生する問題を起りにくくし、演算処理を高速化させることができる。
【０１０３】
最後にこれまで述べた本実施形態のスコア算出アルゴリズムを図９に示す。図７と同様に図９はＮ個の特徴量から２個ずつ特徴量を選択するときについて述べたものである。ここでも、図７とフローチャートと異なるステップ９０８のみを説明する。
【０１０４】
（ステップ９０８：
【０１０５】
【数２２】
【０１０６】
）
【０１０７】
ステップ９０８では、ステップ９０３で求めた第一の評価値Ｂａｙｅｓと第二の評価値Ｌｎを用いた関数をスコアとし第一の実施形態と同様にステップ９０３で求めた特徴量のセットごとに特徴量を選択する。
【０１０８】
（第３の実施形態）
本実施形態における処理を図１０のフローチャートで説明する。本実施形態が第二の実施形態と異なる点は、第２の実施形態を示す図８のステップ８０４がステップ１００４に変更されていることである。よって、第二の実施形態と異なる点であるステップ１０００４のみを説明する。また第一の実施形態にも第３の実施形態の手法を適用できるが、ここでは説明を省略する。なお、第二の実施形態と同様、本実施形態の処理は、図１の情報処理装置１０１が行うものである。
【０１０９】
（ステップ１００４）
本実施形態では、複数の第一の評価値それぞれに対してあらかじめ設定された評価基準との適合度合いを判定する。そして、当該適合度合いがより大きい第一の評価値の前記組合せ特徴を構成する特徴量の第二の評価値に対してより多く所定の値の加算を行い、第二の評価値を算出する。
【０１１０】
図１１は、本実施形態における第二の評価値算出のアルゴリズムの概要を示した図である。
【０１１１】
本実施形態では、第一の実施形態および第二の実施形態と同様に、全ての特徴量の組合せに対して第一の評価値（ここではベイズ誤り確率推定値）を求める。
【０１１２】
例えば、第一の実施形態の図５と同様に、特徴量Ａ、Ｂ、Ｃ、Ｄがある場合、特徴量を少なくとも２個以上同時に組合せるが、特徴量ＡからＤに対して第一の評価値が最も良い特徴量に第二の評価値に値１加算する。特徴量Ａに注目した場合、特徴量Ａを含む組合せに対して第一の評価値が最も良い、つまりベイズ誤り確率推定値最も低い（Ｂａｙｅｓ＝０．０８）のは特徴量Ｂである。よって特徴量Ｂに対して第二の評価値に値１加算する。第１の実施形態、第２の実施形態と同様に、以上の処理を全ての特徴量に対して行う。
【０１１３】
本実施形態では、第一の実施形態および、第二の実施形態と異なり、特徴量ＡからＤに対して第一の評価値が二番目に良い特徴量に対して第二の評価値に値ｗ（０＜ｗ＜１）加算する。特徴量Ａに注目した場合、特徴量Ａを含む組合せに対して特徴量Ａの第一の評価値が二番目に優れた、つまりベイズ誤り確率推定値が二番目に低い（Ｂａｙｅｓ＝０．１）特徴量は特徴量Ｃである。よって特徴量Ｃに対して第二の評価値に値ｗ加算する。第一の評価値が悪くなるにつれて第二の評価値に対して加算する値を小さくしても良い。図１１では二番目に優れた特徴量に対して第二の評価値に加算していく。次に特徴量Ｂに注目した場合、特徴量Ｂを含む組合せに対して特徴量Ｂの第一の評価値が二番目に優れた、つまりベイズ誤り確率推定値が二番目に低い（Ｂａｙｅｓ＝０．０５）特徴量は特徴量Ｄである。よって特徴量Ｄに対して第二の評価値に値ｗ加算する。また特徴量Ｃに注目した場合、特徴量Ｃを含む組合せに対して特徴量Ｃの第一の評価値が二番目に優れた、つまりベイズ誤り確率推定値が二番目に低い（Ｂａｙｅｓ＝０．０５）特徴量は特徴量Ｄである。よって特徴量Ｄに対して第二の評価値に値ｗ加算する。なお特徴量Ｄに注目した場合、特徴量Ｄを含む組合せに対して第一の評価値が最も良い、つまりベイズ誤り確率推定値最も低い（Ｂａｙｅｓ＝０．０５）特徴量は特徴量ＢとＣの二つである。よって第一の評価値が二番目に良い特徴量に関して第二の評価値に所定の値を加算しない。結果的に加算した値の第二の評価値合計値は、特徴量Ａでは０、Ｂでは２．５、Ｃでは１．５＋ｗ、Ｄでは２ｗとなる。これにより、精度の高い第二の評価値の算出が可能となる。
【０１１４】
以上説明したように、本実施形態における第二の評価値算出方法により、精度の良い第二の評価値が算出可能になり、より組合せ相性の良い特徴選択が可能になる。必要な特徴量のみを選択することが可能になり、その結果、特有の次元において発生する問題を起りにくくし、演算処理を高速化させることができる。
【０１１５】
（第四の実施形態）
上記実施形態では、クラスｗ１とｗ２のパターンの値が既知な２クラス問題において、クラスｗ１、ｗ２とをより分離できる評価値を選択した。
【０１１６】
しかし、実際には、クラスｗ１のパターンの値のみが既知で、クラスｗ２のパターンの値が未知である場合が考えられる。例えば、良品検査において、不良品のパターンの値は未知であり、良品のパターン値のみが既知である場合である。そこで、本実施形態では、クラスｗ１のパターンのみで算出可能な分離度合いを示す評価値を用いた処理を行う。
【０１１７】
以下では、クラスｗ１のパターンのみで算出可能な評価値について説明する。
クラスｗ２に対するクラスｗ１の分離度合い示す評価値として、クラスｗ１の分布密度が考えられる。仮に、クラスｗ１の分布が密である場合、特徴空間内でクラスｗ１の分布が発散する範囲が狭くなり、クラスｗ１とクラスｗ２の分布が重なる可能性は低くなる。逆に、特徴空間内でクラスｗ１の分布が発散する範囲が広くなり、クラスｗ１とクラスｗ２の分布が重なる可能性が高くなる。
【０１１８】
以上説明したように、ｗ１の分布密度に応じて重なるパターン数は変化するが、クラスｗ１の分布が密である場合でも、重なりがある場合には、クラスｗ１が密であるため分布内の多くのパターンが重なる。また、クラスｗ１の分布が疎である場合でも、もし重なりがある場合には、クラスｗ１の分布が疎であるため重なるパターンは少ない。
【０１１９】
しかしながら、一般的には、ｗ１の分布が密であるほうが、クラスｗ１とクラスｗ２とで重なるパターン数は少なくなる。よって、クラスｗ１のパターンの分布がより密になる特徴量の方が、クラスｗ１とクラスｗ２とを分離する特徴量として優れていることになる。
【０１２０】
本実施形態では、クラスｗ１のパターンの分布を表す評価値として、クラスｗ１のパターンの重心から最も離れているパターンのユークリッド距離を用いる。また、重心からのすべてのパターンへのユークリッド距離の標準偏差を評価値として用いることも可能である。また、マンハッタン距離等の他の距離概念を用いても良い。
【０１２１】
以下で、本実施形態における処理フローを説明する。
【０１２２】
図１２は、本実施形態における処理フローを示す図である。本実施形態が第二の実施形態と異なる点は、第二の実施形態を示す図８のステップ８０３がステップ１２０３に変更されていることである。よって、第二の実施形態と異なる点であるステップ１２０３のみを説明する。なお、第二の実施形態と同様、本実施形態の処理は、図１の情報処理装置１０１が行うものである。
【０１２３】
図１３は、本実施形態におけるステップ１２０３の処理の詳細を示す図である。以下で、図１３に沿って、ステップ１２０３における処理の詳細を説明する。尚、ステップ１３０１はステップ１２０２に対応するので説明を省く。
【０１２４】
（ステップ１３０２：特徴量ごとに所定のクラスｗ１のみの全パターンを正規化）
ステップ１３０２では、各特徴量の標準偏差でクラスｗ１のパターンすべてを特徴量ごとに正規化する。本実施形態では、ｎ次元の特徴空間におけるユークリッド距離で特徴量を評価する必要があるためである。
【０１２５】
（ステップ１３０３：ｎ個の特徴量の組合せそれぞれに対してｎ次元の特徴空間に所定の１クラスｗ１のパターンのみをプロット）
次に、ステップ１３０３では、生成されたｎ個の特徴量の組合せそれぞれに対して、ｎ次元の特徴空間に１クラスｗ１のパターンをプロットする。
【０１２６】
図１４は、ｎ＝２である場合に、１クラスｗ１のパターンがプロットされた特徴空間を示す図である。
【０１２７】
（ステップ１３０４：所定の１クラスｗ１のパターンの重心を算出）
ステップ１３０４では、特徴空間にプロットされたパターンの重心Ｇを求める。
【０１２８】
（ステップ１３０５：発散度を第一評価値とし、ｎ個の特徴量の組合せそれぞれに対しても第一評価値を算出）
ステップ１３０５では、ｎ次元の特徴空間において、ステップ１３０４で求めた重心Ｇから最も離れているパターンとのユークリッド距離ｄｍａｘを求め、このユークリッド距離を発散度とする。もしくは重心Ｇからの各パターンへのユークリッド距離ｄｉのすべてのパターンへのｄｉの標準偏差を発散度とする。以上の処理で算出された発散度を、上記実施形態と同様に第一の評価値とする。
【０１２９】
尚、発散度はベイズ誤り確率推定値と同様に小さいほどクラスを分離する特徴量として優れている。よって、ｎ次元の特徴空間におけるユークリッド距離を発散度として、ベイズ誤り確率推定値と同様に、第一の評価値として扱うことが可能である。本実施形態によれば、１クラスのみのデータから、特徴量選択が可能となる。
【０１３０】
尚、以上の説明では、１クラス問題について述べたが、本実施形態は多クラス問題にも適用可能である。あるクラスが他のクラスとの分離している度合いを示すのにｎ次元の特徴空間において重心から最も離れているパターンのユークリッド距離、を発散度として利用することが可能である。
【０１３１】
（他の実施形態）
上記実施形態では外観検査においての利用を述べたが、本発明は、顔認識や動画像を含むマルチモーダル多次元データ等のパターン識別問題において用いる特徴量を、多様な特徴量の中から選択する場合にも用いることができる。なお、その他のパターン認識やデータマイニングの分野で用いることも可能である。
【０１３２】
また、上記実施形態では，ベイズ誤り確率推定値などを用いて各特徴量を評価し、特徴量を選択した。このようにあらかじめ識別器を通す前に特徴量を評価するという手法はフィルター法と呼ばれる。これに対し，実際に良品不良品などを識別する識別器を通してその性能を評価して特徴量を用いるか用いないかを決める手法はワッパー法と呼ばれる。ワッパー法は識別結果を見ているためにフィルター法と比べて性能は良いが、計算時間が膨大にかかるという欠点がある。そこで、膨大な特徴量数に対してワッパー法を効率的に行うために，計算が高速なフィルター法で特徴量を絞り込んでおく手法が提案されている。特徴量を絞り込んでおくことにより、ワッパー法のみを用いる場合よりも計算時間を短縮することが出来る。上記実施形態の手法は、ワッパー法を第二の選択手段として、ワッパー法と組合せて行うことも可能である。
【０１３３】
また、上記実施形態における処理は、ＣＤＲＯＭ等の記録媒体に記録されたコンピュータプログラムをコンピュータによって処理することにより、実現することが可能である。
【特許請求の範囲】
【請求項１】
入力データから抽出される複数の特徴量から、当該入力データの分類に用いる特徴量を選択するための情報処理装置であって、
前記複数の特徴量を組合せることにより複数の組合せを生成する生成手段と、
前記複数の組合せそれぞれに対して前記入力データの分類への適合を評価する第一の評価値を算出する第一の算出手段と、
前記第一の評価値に基づき、前記複数の特徴量それぞれに対して前記入力データの分類への適合を評価する第二の評価値を得る第二の算出手段とを有することを特徴とする情報処理装置。
【請求項２】
更に、前記第二の評価値に基づき、前記複数の特徴量から前記入力データの分類に用いる特徴量を選択する選択手段を有することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
更に、前記第二の評価値に基づき、前記複数の特徴量から前記入力データの分類に用いる特徴量を選択するための選択基準を設定する設定手段を有することを特徴とする請求項１に記載の情報処理装置。
【請求項４】
前記入力データは、外観検査の対象である検査対象物を撮像した入力画像データであり、
前記第一の評価値と前記第二の評価値とは、前記検査対象物が良品であるか否かを評価するための評価値であることを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
【請求項５】
前記第一の評価値は、前記入力データの分類の分離度を評価する評価値であることを特徴とする請求項２に記載の情報処理装置。
【請求項６】
前記第一の評価値は、前記入力データの分類のベイズ誤り確率推定値であることを特徴とする請求項５に記載の情報処理装置。
【請求項７】
前記第二の算出手段は、前記複数の組合せそれぞれに対する前記第一の評価値同士を比較することにより、
前記複数の特徴量それぞれに対して前記入力データの分類への適合を評価する第二の評価値を算出することを特徴とする請求項１乃至６のいずれか１項に記載の情報処理装置。
【請求項８】
前記第一の評価値は、前記入力データの分類のクラス内分散・クラス間分散比であることを特徴とする請求項５に記載の情報処理装置。
【請求項９】
前記第二の算出手段は、
前記第一の評価値に基づき、前記組合せごとに前記入力データの分類に適している特徴量を抽出し、
前記抽出された回数に基づき、前記複数の特徴量それぞれに対して前記第二の評価値を算出することを特徴とする請求項１に記載の情報処理装置。
【請求項１０】
前記設定手段は、前記第一の評価値と前記第二の評価値とに基づいて、前記選択基準を設定することを特徴とする請求項３に記載の情報処理装置。
【請求項１１】
前記第二の算出手段は、
前記第一の評価値それぞれに対してあらかじめ設定された評価基準との適合度を判定し、当該判定結果に基づき、前記第二の評価値を算出することを特徴とする請求項１に記載の情報処理装置。
【請求項１２】
前記第一の評価値は、前記複数の特徴量の特徴空間における前記入力データの発散度であることを特徴とする請求項１に記載の情報処理装置。
【請求項１３】
更に、前記選択手段により選択された特徴量から、前記入力データの識別器を用いて特徴量を選択する第二の選択手段を有することを特徴とする請求項２に記載の情報処理装置。
【請求項１４】
入力データの分類に用いる特徴量を選択するための情報処理装置であって、
前記複数の特徴量を組合せることにより複数の組合せを生成する生成手段と、
前記複数の組合せそれぞれの前記入力データの分類への適合を評価する第一の評価値から、各特徴量の分類への適合を示す第二の評価値を得る取得手段と、
前記第二の評価値に基づいて、前記入力データの分類に用いる特徴量を選択する選択手段とを有することを特徴とする情報処理装置。
【請求項１５】
入力データから抽出される複数の特徴量から、当該入力データの分類に用いる特徴量を選択するための情報処理方法であって、
生成手段が、前記複数の特徴量を組合せることにより複数の組合せを生成する生成工程と、
第一の算出手段が、前記複数の組合せそれぞれに対して前記入力データの分類への適合を評価する第一の評価値を算出する第一の算出工程と、
第二の算出手段が、前記第一の評価値に基づき、前記複数の特徴量それぞれに対して前記入力データの分類への適合を評価する第二の評価値を算出する第二の算出工程とを有することを特徴とする情報処理方法。
【請求項１６】
コンピュータを、
入力データから抽出される複数の特徴量から、当該入力データの分類に用いる特徴量を選択するための情報処理装置であって、
前記複数の特徴量を組合せることにより複数の組合せを生成する生成手段と、
前記複数の組合せそれぞれに対して前記入力データの分類への適合を評価する第一の評価値を算出する第一の算出手段と、
前記第一の評価値に基づき、前記複数の特徴量それぞれに対して前記入力データの分類への適合を評価する第二の評価値を算出する第二の算出手段とを有する情報処理装置として機能させるためのコンピュータプログラム。
【請求項１】
入力データから抽出される複数の特徴量から、当該入力データの分類に用いる特徴量を選択するための情報処理装置であって、
前記複数の特徴量を組合せることにより複数の組合せを生成する生成手段と、
前記複数の組合せそれぞれに対して前記入力データの分類への適合を評価する第一の評価値を算出する第一の算出手段と、
前記第一の評価値に基づき、前記複数の特徴量それぞれに対して前記入力データの分類への適合を評価する第二の評価値を得る第二の算出手段とを有することを特徴とする情報処理装置。
【請求項２】
更に、前記第二の評価値に基づき、前記複数の特徴量から前記入力データの分類に用いる特徴量を選択する選択手段を有することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
更に、前記第二の評価値に基づき、前記複数の特徴量から前記入力データの分類に用いる特徴量を選択するための選択基準を設定する設定手段を有することを特徴とする請求項１に記載の情報処理装置。
【請求項４】
前記入力データは、外観検査の対象である検査対象物を撮像した入力画像データであり、
前記第一の評価値と前記第二の評価値とは、前記検査対象物が良品であるか否かを評価するための評価値であることを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
【請求項５】
前記第一の評価値は、前記入力データの分類の分離度を評価する評価値であることを特徴とする請求項２に記載の情報処理装置。
【請求項６】
前記第一の評価値は、前記入力データの分類のベイズ誤り確率推定値であることを特徴とする請求項５に記載の情報処理装置。
【請求項７】
前記第二の算出手段は、前記複数の組合せそれぞれに対する前記第一の評価値同士を比較することにより、
前記複数の特徴量それぞれに対して前記入力データの分類への適合を評価する第二の評価値を算出することを特徴とする請求項１乃至６のいずれか１項に記載の情報処理装置。
【請求項８】
前記第一の評価値は、前記入力データの分類のクラス内分散・クラス間分散比であることを特徴とする請求項５に記載の情報処理装置。
【請求項９】
前記第二の算出手段は、
前記第一の評価値に基づき、前記組合せごとに前記入力データの分類に適している特徴量を抽出し、
前記抽出された回数に基づき、前記複数の特徴量それぞれに対して前記第二の評価値を算出することを特徴とする請求項１に記載の情報処理装置。
【請求項１０】
前記設定手段は、前記第一の評価値と前記第二の評価値とに基づいて、前記選択基準を設定することを特徴とする請求項３に記載の情報処理装置。
【請求項１１】
前記第二の算出手段は、
前記第一の評価値それぞれに対してあらかじめ設定された評価基準との適合度を判定し、当該判定結果に基づき、前記第二の評価値を算出することを特徴とする請求項１に記載の情報処理装置。
【請求項１２】
前記第一の評価値は、前記複数の特徴量の特徴空間における前記入力データの発散度であることを特徴とする請求項１に記載の情報処理装置。
【請求項１３】
更に、前記選択手段により選択された特徴量から、前記入力データの識別器を用いて特徴量を選択する第二の選択手段を有することを特徴とする請求項２に記載の情報処理装置。
【請求項１４】
入力データの分類に用いる特徴量を選択するための情報処理装置であって、
前記複数の特徴量を組合せることにより複数の組合せを生成する生成手段と、
前記複数の組合せそれぞれの前記入力データの分類への適合を評価する第一の評価値から、各特徴量の分類への適合を示す第二の評価値を得る取得手段と、
前記第二の評価値に基づいて、前記入力データの分類に用いる特徴量を選択する選択手段とを有することを特徴とする情報処理装置。
【請求項１５】
入力データから抽出される複数の特徴量から、当該入力データの分類に用いる特徴量を選択するための情報処理方法であって、
生成手段が、前記複数の特徴量を組合せることにより複数の組合せを生成する生成工程と、
第一の算出手段が、前記複数の組合せそれぞれに対して前記入力データの分類への適合を評価する第一の評価値を算出する第一の算出工程と、
第二の算出手段が、前記第一の評価値に基づき、前記複数の特徴量それぞれに対して前記入力データの分類への適合を評価する第二の評価値を算出する第二の算出工程とを有することを特徴とする情報処理方法。
【請求項１６】
コンピュータを、
入力データから抽出される複数の特徴量から、当該入力データの分類に用いる特徴量を選択するための情報処理装置であって、
前記複数の特徴量を組合せることにより複数の組合せを生成する生成手段と、
前記複数の組合せそれぞれに対して前記入力データの分類への適合を評価する第一の評価値を算出する第一の算出手段と、
前記第一の評価値に基づき、前記複数の特徴量それぞれに対して前記入力データの分類への適合を評価する第二の評価値を算出する第二の算出手段とを有する情報処理装置として機能させるためのコンピュータプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１０−１０２６９０（Ｐ２０１０−１０２６９０Ａ）
【公開日】平成２２年５月６日（２０１０．５．６）
【国際特許分類】
【出願番号】特願２００９−１８３７１７（Ｐ２００９−１８３７１７）
【出願日】平成２１年８月６日（２００９．８．６）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２２年５月６日（２０１０．５．６）
【国際特許分類】
【出願日】平成２１年８月６日（２００９．８．６）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]