説明

画像データ分析装置及び画像データ分析方法

【課題】多成分の波長の強度データを画素毎に有する画像データの分析を高精度且つ高速に行う。
【解決手段】分析ユニット30の線形識別部42において、画像データの強度データを特徴量として、計算量が少なく識別に係る処理を高速に行うことができる線形SVMを用いて画素毎に予め識別が行われ、次に、線形SVMによる識別の結果強度データがオブジェクトデータであると識別された画素のみに対して、非線形識別部43において、識別時の計算量が多く高精度な識別能力を有する非線形SVMによる識別が行われる。したがって、全ての画素について線形SVMのみにより識別を行う場合と比較して高精度の識別を行うことができ、また、全ての画素について非線形SVMにより識別を行う場合と比較して高速に識別を行うことができる。したがって、画像データの分析を高精度且つ高速に行うことが可能となる。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像データ分析装置及び画像データ分析方法に関し、特に、5つ以上の多成分の波長に対する強度データを画素毎に保有する画像データの分析装置及び分析方法に関する。
【背景技術】
【0002】
従来から、食品加工ライン上の食品に付着した異物の検知や、生体組織の疾患部位の観察等を行う場合には、食品や疾患部位等の検査対象物を撮像した後、その画像データを分析して異物の有無を判断することが行われている。この画像データを分析する際の方法の一つとしてサポートベクターマシン(Support Vector Machine:SVM)を用いたものが知られている。このサポートベクターマシンは2つのクラスを識別する手法であって、検査対象物において区別したい2つの対象物(対象物Aと対象物B)に係るデータを教師データとして学習させておくことで、対象物Aと対象物Bとの識別境界を生成させ、この識別境界を用いて検査対象物の画像データに含まれる情報の識別を行うものである。
【0003】
また、異物の検知や疾患部位の観察のための画像データとしては、ハイパースペクトル(HS)画像を採用するケースが増加している。このハイパースペクトル画像は、分光器を搭載するハイパースペクトルセンサを用いて検査対象物を撮像することによって得られる画像であり、5つ以上の波長帯域における強度データを画素毎に保有するという特徴を有する。このハイパースペクトル画像は、通常のRGB画像やグレースケール画像と比較して画素毎の情報が多く、例えば可視光領域とは異なる波長帯域の強度データを用いて検査対象物の組成分析等を行うことも可能であることから、検査対象物のより詳細な分析のために用いられる。そして、近年では、サポートベクターマシンを用いて検査対象物のハイパースペクトル画像の分析を行う方法が検討されている。例えば、特許文献1では、廃棄物の流れの中の目標物を分類することを目的として、廃棄物の流れをハイパースペクトルセンサにより撮像し、サポートベクターマシンを用いてこの撮像された画像データを分析する方法が示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特表2007−505733号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献1記載の発明のようにサポートベクターマシンを用いてハイパースペクトル画像の分析を行う場合には、以下の問題が発生する。すなわち、ハイパースペクトル画像では画素毎に保有する強度データが多量であることから、複雑な識別境界を正確に判断するためには、分析に長時間を必要とする。したがって、この技術を食品加工ラインのように高精度の分析を高速で行うことが求められる環境で適用することは困難であった。
【0006】
本発明は上記を鑑みてなされたものであり、多成分の波長の強度データを画素毎に有する画像データの分析を高精度且つ高速に行うことができる画像データ分析装置及び画像データ分析方法を提供することを目的とする。
【課題を解決するための手段】
【0007】
上記目的を達成するために、発明者らは、線形サポートベクターマシン及び非線形サポートベクターマシンの2種類のサポートベクターマシンを組み合わせることにより、画像データの分析を高精度且つ高速に行うことができることを見出した。
【0008】
すなわち、本発明に係る画像データ分析装置は、少なくとも5つの波長帯域における強度データを画素毎に保持した画像データを分析し、当該画像データ中に検出対象を示すオブジェクトデータが含まれているか否かを画素単位で識別する画像データ分析装置であって、画像データを取得する画像データ取得手段と、画像データに含まれる画素の強度データを特徴量として、線形サポートベクターマシンを用いて、当該画素の強度データがオブジェクトデータであるか否かを画素毎に識別する線形識別手段と、画像データに含まれる画素のうち、線形識別手段によって強度データがオブジェクトデータであると識別された画素について、強度データを特徴量として、非線形サポートベクターマシンを用いて当該画素の強度データがオブジェクトデータであるか否かを当該画素毎に識別する非線形識別手段と、を備えることを特徴とする。
【0009】
また、本発明に係る画像データ分析方法は、少なくとも5つの波長帯域における強度データを画素毎に保持された画像データを分析し、当該画像データ中に検出対象を示すオブジェクトデータが含まれているか否かを画素単位で識別する画像データ分析方法であって、画像データを取得する画像データ取得ステップと、画像データに含まれる画素の強度データを特徴量として、線形サポートベクターマシンを用いて、当該画素の強度データがオブジェクトデータであるか否かを画素毎に識別する線形識別ステップと、画像データに含まれる画素のうち、線形識別ステップにおいて強度データがオブジェクトデータであると識別された画素について、強度データを特徴量として、非線形サポートベクターマシンを用いて当該画素の強度データがオブジェクトデータであるか否かを当該画素毎に識別する非線形識別ステップと、を備えることを特徴とする。
【0010】
上記の画像データ分析装置及び画像データ分析方法によれば、計算量が少なく識別に係る処理を高速に行うことができる線形サポートベクターマシンを用いて予め識別を行い、線形サポートベクターマシンによる識別の結果強度データがオブジェクトデータであると識別された画素のみに対して、識別時の計算量が多く高精度な識別能力を有する非線形サポートベクターマシンによる識別を行うことで、全ての画素について線形サポートベクターマシンのみにより識別を行う場合と比較して高精度の識別を行うことができ、また、全ての画素について非線形サポートベクターマシンにより識別を行う場合と比較して高速に識別を行うことができる。したがって、画像データの分析を高精度且つ高速に行うことが可能となる。
【0011】
ここで、画像データには、所定のデータ加工が施されている態様とすることもできる。
【0012】
このように、画像データに所定のデータ加工を予め施しておくことで、上記の画像データ分析装置及び画像データ分析方法を用いた分析をより効率よく行うことも可能である。
【0013】
また、非線形識別手段による識別の結果を画素毎に識別結果として格納する格納手段と、格納手段に格納される識別結果を参照し、画像データにおいて特定の画素を含む複数の画素のうち、強度データがオブジェクトデータであると非線形識別手段により識別された画素が所定数以上である場合に、当該特定の画素を含む複数の画素により構成される領域に検出対象があると判定する判定手段と、をさらに備える態様とすることもできる。
【0014】
このように、強度データがオブジェクトデータであると非線形識別手段により識別された画素が所定数である場合に、当該画素を含む複数の画素により構成される領域に検出対象があると判定する判定手段を備えることで、例えば画像データにおいて偶発的に発生したノイズに由来した強度データがオブジェクトデータであると識別される可能性が低減され、より高精度で画像データの分析を行うことができる。
【発明の効果】
【0015】
本発明によれば、多成分の波長の強度データを画素毎に有する画像データの分析を高精度且つ高速に行うことができる画像データ分析装置及び画像データ分析方法が提供される。
【図面の簡単な説明】
【0016】
【図1】本実施形態に係る画像データ分析装置を含んで構成される異状検査システムの構成を示す図である。
【図2】ハイパースペクトル画像についてその概略を説明する図である。
【図3】分析ユニットの概略構成図である。
【図4】分析ユニットにおいてSVMを用いた識別を行う前に行われる学習方法を示すフローチャートである。
【図5】分析ユニットにおける画像データの分析方法を示すフローチャートである。
【図6】実施例1の分析を説明する図であり、図6(a)は線形SVMにより識別した途中結果を示す図であり、図6(b)は非線形SVMにより識別した最終結果を示す図である。
【図7】実施例1の分析結果を示す図である。
【発明を実施するための形態】
【0017】
以下、添付図面を参照して、本発明を実施するための形態を詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。
【0018】
本発明に係る画像データ分析装置を含んで構成される異状検査システム1について図1を用いて説明する。本実施形態に係る異状検査システム1は、ベルトコンベア2上に分散載置された検査対象物3(図1では検査対象物の載置位置を示す)に混入した異物や検査対象物3の変質等の異状の有無を検査する装置である。本実施形態に係る異状検査システム1の検査対象物3としては、食品や医薬品等の原材料や製品等が挙げられる。そしてこれらの検査対象物3に付着する異物としては、毛髪等の生体由来物や、製造装置等に由来する金属や、夾雑物等が挙げられる。また、検査対象物3の変質等の異状は、検査対象物3に含まれる水分や糖分の量などを測定することにより検出することができる。異状検査システム1は、測定光を検査対象物3に対して照射することにより得られる拡散反射光のスペクトルを測定し、そのスペクトルに基づいて検査対象物3に付着した異物や変質等の異状を検出する。このため、異状検査システム1は、光源ユニット10、検出ユニット20、及び分析ユニット30(画像データ分析装置)を備える。
【0019】
光源ユニット10は、一定の波長帯域を有する測定光を、ベルトコンベア2上における所定の照射領域A1へ向けて照射する。光源ユニット10が照射する測定光の波長範囲は、検査対象物3や、検出対象となる検査対象物3に付着した異物や変質等の異状に応じて適宜選択される。測定光として近赤外光を用いる場合、具体的には、波長範囲が800nm〜2500nmの光が好適に用いられるが、近赤外光に代えて可視光を測定光として用いることも可能である。なお、本実施形態では、スーパーコンティニューム(SC)光を発生する光源11(SC光源)を含む光源ユニット10について説明する
【0020】
照射領域A1とは、検査対象物3を載置するベルトコンベア2の表面(載置面2b)の一部の領域である。この照射領域A1は、載置面2bの進行方向2a(図1のy軸方向)と垂直な幅方向(x軸方向)に広がり、載置面2bの一方の端から他方の端までを覆うライン状に延びる領域である。そして、照射領域A1の延在方向に垂直な方向(y軸方向)における照射領域A1の幅は10mm以下とされる。
【0021】
光源ユニット10は、SC光を出射する光源11と、照射部12と、光源11と照射部12とを接続する光ファイバ13と、を備える。光源11は、近赤外光としてSC光を発生させる。さらに具体的には、SC光源である光源11は、種光源及び非線形媒質を備え、種光源から出射される光を非線形媒質に入力し、非線形媒質中における非線形光学効果によりスペクトルを広帯域に広げてSC光を出力する。
【0022】
光源11により発生された近赤外光(SC光)は、光ファイバ13の一方の端面へ入射される。この近赤外光は、光ファイバ13のコア領域を導波し、もう一方の端面から照射部12に対して出射される。
【0023】
照射部12は、光ファイバ13の端面から出射される近赤外光(SC光)を検査対象物3が載置される照射領域A1に対して照射する。照射部12は、光ファイバ13から出射される近赤外光を入射して、照射領域A1に対応した1次元のライン状に出射するため、照射部12としてシリンドリカルレンズが好適に用いられる。このように照射部12においてライン状に整形された近赤外光L1が、照射部12から照射領域A1に対して照射される。
【0024】
光源ユニット10から出力された近赤外光L1は、照射領域A1上に載置された検査対象物3により拡散反射される。そして、その一部が、拡散反射光L2として検出ユニット20に入射する。
【0025】
検出ユニット20は、ハイパースペクトル画像を取得するハイパースペクトルセンサとしての機能を有する。ここで、本実施形態におけるハイパースペクトル画像について図2を用いて説明する。図2は、ハイパースペクトル画像についてその概略を説明する図である。図2に示すように、ハイパースペクトル画像Hとは、N個の画素P〜Pにより構成されている画像であるが、このうちの1個の画素Pには、複数の強度データからなるスペクトル情報Sが含まれている。この強度データとは、特定の波長(又は波長帯域)におけるスペクトル強度を示すデータであり、図2では、15個の強度データがスペクトル情報Sとして保持されていることを示す。このように、ハイパースペクトル画像Hは、画像を構成する画素毎に、それぞれ複数の強度データを持つという特徴から、画像としての二次元的要素と、スペクトルデータとしての要素をあわせ持った三次元的構成のデータである。なお、本実施形態では、ハイパースペクトル画像Hとは、1画素あたり少なくとも5つの波長帯域における強度データを保有している画素によって構成された画像のことをいう。
【0026】
図1に戻り、本実施形態に係る検出ユニット20は、スリット21と、分光器22と、受光部23と、を備える。この検出ユニット20は、その視野領域20sがベルトコンベア2の進行方向2aと垂直な方向(x軸方向)に延びている。検出ユニット20の視野領域20sは、載置面2bの照射領域A1に含まれるライン状の領域であって、スリット21を通過した拡散反射光L2が受光部23上に像を結ぶ領域である。
【0027】
スリット21は、照射領域A1の延在方向(x軸方向)と平行な方向に開口が設けられる。検出ユニット20のスリット21に入射した拡散反射光L2は、分光器22へ入射する。
【0028】
分光器22は、スリット21の長手方向、すなわち照射領域A1の延在方向に垂直な方向(y軸方向)に拡散反射光L2を分光する。分光器22により分光された光は、受光部23によって受光される。
【0029】
受光部23は、複数の受光素子が2次元に配列された受光面を備え、各受光素子が光を受光する。これにより、受光部23がベルトコンベア2上の幅方向(x軸方向)に沿った各位置で反射した拡散反射光L2の各波長の光をそれぞれ受光することとなる。各受光素子は、受光した光の強度に応じた信号を位置と波長とからなる二次元平面状の一点に関する情報として出力する。この受光部23の受光素子から出力される信号が、ハイパースペクトル画像に係る画像データとして、検出ユニット20から分析ユニット30に送られる。
【0030】
分析ユニット30(画像データ分析装置)は、入力された信号により拡散反射光L2のスペクトルを得て、この得られたスペクトルに基づいて検査を行う。検査対象物3に含まれる異物を検出する場合は、次のような原理で検査を行う。異物は、光源11から出力される測定光(本実施形態では近赤外光)の波長範囲において吸収帯域を有する。そこで、検査対象物3により拡散反射した拡散反射光L2によるハイパースペクトル画像Hにおいて画素毎に含まれて複数の強度データにより構成されるスペクトル情報を参照し、異物に由来する特定の吸収ピークを検出することにより、異物を検出する。また、検査対象物3に含まれる水分や糖分の量を測定する場合は、次のような原理で検査を行う。例えば、糖分は波長1500nm付近と波長2100nm付近に吸収ピークを有するので、検査対象物3中に糖分が含まれる場合は、これらの波長の前後少なくとも100nmの範囲の近赤外光を照射し、拡散反射光L2のスペクトルを分析することで、食品中の糖分に由来するピークを検出することができる。糖分に由来するピークの位置や強度から、糖分の種類やその含有量を求めることができ、検査対象物3の異状を検出したり、品質を評価したりすることができる。そして、この分析ユニット30による分析の結果は、例えば分析ユニット30に接続されるモニタや、プリンタ等に出力することによって、この異状検査システム1のオペレータに通知される。
【0031】
次に、分析ユニット30について説明する。まず、この分析ユニット30において異物・異状等の検出対象を検出するための分析処理の概要について説明する。分析ユニット30では、検出ユニット20から送られ検査対象物3を含むハイパースペクトル画像の画像データを取得すると、この画像データに対してサポートベクターマシン(Support Vector Machines:SVM)を用いた分析を行う。このSVMとは、特定の検出対象の有無の判定を行う手法であり、区別したい2つの対象のサンプルの画像データを学習用データとして学習することによって、それらに対する識別境界を生成する公知の識別アルゴリズムである。そして、SVMには、識別境界が特徴量に関する線形関数で表現される線形SVM(LinearSupport Vector Machines:LSVM)と、非線形関数で表現される非線形SVM(Kernel Support Vector Machines:KSVM)の2種類がある。線形SVMによる識別は、非線形SVMと比べて精度は劣るものの計算量が小さいため、リアルタイム処理に適用しやすい。一方、非線形SVMによる識別は、線形SVMと比べて高精度だが計算量が大きく、その計算量はパラメータ調整による識別精度の向上とともに増大する傾向がある。詳細は後述するが、本実施形態の分析ユニット30では、線形SVMと非線形SVMの両方を用いることにより、高精度且つ高速な識別を実現している。
【0032】
この分析ユニット30は、CPU(Central Processing Unit)、主記憶装置であるRAM(Random Access Memory)及びROM(ReadOnly Memory)、検出ユニット等の他の機器との間の通信を行う通信モジュール、並びにハードディスク等の補助記憶装置等のハードウェアを備えるコンピュータとして構成される。そして、これらの構成要素が動作することにより、分析ユニット30としての機能が発揮される。
【0033】
次に、分析ユニット30を構成する各部について図3を用いて説明する。図3は、分析ユニット30の概略構成図である。図3に示すように、分析ユニット30は、学習用画像データ格納部31と、SVM学習部32と、線形SVM識別用パラメータ格納部33と、非線形SVM識別用パラメータ格納部34と、画像データ取得部41と、線形識別部42(線形識別手段)と、非線形識別部43(非線形識別手段)と、識別結果格納部44(格納手段)と、最終判定部45(判定手段)と、判定結果出力部46と、を含んで構成される。これらのうち、学習用画像データ格納部31、SVM学習部32、線形SVM識別用パラメータ格納部33、及び非線形SVM識別用パラメータ格納部34は、検査対象物3に含まれる検出対象の識別に用いるパラメータを生成・格納する機能を有する。そして、画像データ取得部41、線形識別部42、非線形識別部43、識別結果格納部44、最終判定部45、及び判定結果出力部46は、検査対象物3を撮像した画像データを用いた分析を行う機能を有する。
【0034】
まず、学習用画像データ格納部31は、検査対象物3や検出対象となる物質等の画像データを格納する。例えば、検査対象物3が豆であり、異状検査システム1を用いて、検査対象物3である豆に付着した毛髪を異物として検出するためには、分析ユニット30では検査対象物3である豆の画像データと、異物として識別したい毛髪(検出対象)の画像データとを用いて学習し、予め識別境界を定めておく必要がある。学習用画像データ格納部31は、この分析ユニット30のSVMが学習を行うために用いる画像データを格納する。なお、本実施形態のように分析ユニット30による分析対象となる画像データがハイパースペクトル画像である場合には、学習用データとしても同様のハイパースペクトル画像が用いられる。
【0035】
SVM学習部32は、検出対象となる2つの対象の画像データを用いて識別境界を算出する機能を有する。この処理は、例えば分析ユニット30のオペレータが2つの対象(本実施形態では豆と毛髪)の画像データを指定し、これらの画像データを用いた識別境界の算出を指示することにより行われる。このSVM学習部32は、2つの対象の画像データを用いて、画素毎のスペクトル情報を構成する強度データを特徴量として、線形SVMによる識別に用いられる線形SVM識別用パラメータと、非線形SVMによる識別に用いられる非線形SVM識別用パラメータと、の2種類のパラメータを生成する。このとき、SVM学習部32では、検出対象である毛髪を撮像した画素に含まれる強度データを「オブジェクトデータ」として認識し、このオブジェクトデータに該当するか否かを判断するためのパラメータを生成する方法によって線形SVM識別用パラメータと非線形SVM識別用パラメータとが生成される。
【0036】
なお、SVM学習部32によって生成される線形SVM識別用パラメータ及び非線形SVM識別用パラメータは、オペレータの指示に基づいて識別精度を変更して生成することができる。この識別精度は、SVMを用いて行う分析の回数や、分析結果として取得したい情報の種類によって適宜変更される。上述のように、線形SVMは非線形SVMに比べて識別精度は劣るが識別処理に要する計算量が小さいことから、本実施形態では、線形SVMにおいて予めフィルタリングを行うことで、検出対象(毛髪)である可能性が著しく低い画素に対しては非線形SVMによる識別を行わないことを目的としているため、線形SVMによる識別の際に用いられるパラメータとして、検出対象を撮像した画素が非線形SVMによる識別の対象から外れないようにより粗い精度のパラメータが生成される。SVM学習部32によって生成された線形SVM識別用パラメータは、線形SVM識別用パラメータ格納部33に格納される。また、非線形SVM識別用パラメータは、非線形SVM識別用パラメータ格納部34に格納される。
【0037】
線形SVM識別用パラメータ格納部33及び非線形SVM識別用パラメータ34は、線形SVM識別用パラメータ及び非線形SVM識別用パラメータをそれぞれ格納する機能を有する。線形SVM識別用パラメータ格納部33及び非線形SVM識別用パラメータ34に格納される各パラメータは、線形SVMや非線形SVMを用いた識別を行う際にそれぞれ用いられる。
【0038】
画像データ取得部41は、図1に示す検出ユニット20からの画像データを取得する機能を有する。ここで画像データ取得部41が取得する画像データとは、上述の検査対象物3を撮像したハイパースペクトル画像に係る画像データである。画像データ取得部41により取得された画像データは、線形識別部42に送られる。
【0039】
線形識別部42は、画像データに含まれる画素の強度データを特徴量として、線形SVMを用いて、当該画素の強度データがオブジェクトデータ(検出対象であることを示すデータ)であるか否かを画素毎に識別する機能を有する。線形識別部42では、全画素を対象として、線形SVM識別用パラメータ格納部33に格納された線形SVM識別用パラメータを用いて、強度データがオブジェクトデータであるか否かの識別を画素毎に行う。この結果、線形識別部42により強度データがオブジェクトデータであると判断された画素については、その画素を特定する情報及びその画素の強度データが非線形識別部43へ送られる。なお、線形識別部42により強度データがオブジェクトデータではないと判断された画素については、その画素を特定する情報とその識別結果が最終判定部45へ送られる。
【0040】
非線形識別部43は、線形識別部42から送られた画素の強度データを用いて、非線形SVMを用いて、当該画素の強度データがオブジェクトデータであるか否かを画素毎に識別する機能を有する。非線形識別部43では、線形識別部42において「強度データがオブジェクトデータであると識別された画素」のみを対象として、非線形SVM識別用パラメータ格納部34に格納された非線形SVM識別用パラメータを用いて、強度データがオブジェクトデータであるか否かの識別を画素毎に行う。非線形SVMによる識別が行われる。そして、非線形識別部43による識別の結果は、画素を特定する情報と対応付けて識別結果格納部44へ送られる。また、画素を特定する情報と非線形識別部43による識別の結果は、最終判定部45へも送られる。
【0041】
識別結果格納部44は、非線形識別部43による識別の結果を画素を特定する情報と対応付けて格納する機能を有する。識別結果格納部44に格納された情報は、最終判定部45による判定の際に用いられる。
【0042】
最終判定部45は、線形識別部42及び非線形識別部43から送られた画素を特定する情報及びその識別結果と、識別結果格納部44に格納される識別結果とを参照し、画像データにおいて特定の画素を含む複数の画素のうち、強度データがオブジェクトデータであると非線形識別部43により識別された画素が所定数以上である場合に、当該特定の画素を含む複数の画素により構成される領域に検出対象があると判定する機能を有する。
【0043】
ここで、毛髪のように検出対象の大きさが画像データを構成する画素よりも大きい場合には、近接する複数の画素において同様の識別結果が得られる、すなわち、非線形識別部43において強度データがオブジェクトデータであると識別されると考えられる。一方、例えば画像データの撮像時に偶発的に発生したノイズに由来した強度データがオブジェクトデータであると識別される可能性もあるが、この場合には、近接する画素において同様の結果が得られる可能性は低いと考えられる。したがって、最終判定部45では、例えば、5画素×5画素の25画素のうち、強度データがオブジェクトデータであり、検出対象を撮像した識別される画素が3個以上まとまって存在する場合に、当該領域が検出対象を撮像した領域であるとの判定を下す。なお、最終判定部45による上記の判定方法は、あくまで単純化した一例であり、さらに複雑で識別能力の高い判定アルゴリズムが組み込まれていてもよい。最終判定部45による判定の結果は、判定結果出力部46へ送られる。
【0044】
判定結果出力部46は、最終判定部45による判定結果を出力する機能を有する。出力方法としては、例えば分析ユニット30に接続されるモニタに出力する方法や、プリンタに出力する方法等が挙げられる。なお、判定結果の出力の際には、検出ユニット20により得られた画像データを用いて2次元画像として出力する方法やその他の種々の方法を用いることができる。
【0045】
次に、本実施形態の異状検査システム1を構成する分析ユニット30によって、ハイパースペクトル画像の画像データを分析する方法について、図4及び図5を用いて説明する。図4は、分析ユニット30においてSVMを用いた識別を行う前に行われる学習方法を示すフローチャートであり、図5は、分析ユニット30における画像データの分析方法を示すフローチャートである。上述のように、図4に示す分析ユニット30による学習は、検査対象物3を撮像した画像データの識別を行う前に行われる。
【0046】
まず、図4に示すように、分析ユニット30の学習用画像データ格納部31に格納された学習用画像データを用いて、SVM学習部32において学習が行われる(S01)。この学習用画像データを用いた学習の結果、線形SVM識別用パラメータと、非線形SVM識別用パラメータとが生成される。次に、SVM学習部32において生成された線形SVM識別用パラメータ及び非線形SVM識別用パラメータは、それぞれ線形SVM識別用パラメータ格納部33及び非線形SVM識別用パラメータ格納部34に格納される(S02)。以上により、検査対象物3を撮像した画像データを分析するための前処理が完了する。なお、分析ユニット30における学習用画像データを用いた学習は、画像データの分析の前のどの時点で行われていてもよい。すなわち、予め多種類のパラメータを一度に生成しておいてもよいし、画像データの分析の直前に学習を行う態様としてもよい。
【0047】
次に、図5に示すように、分析ユニット30の画像データ取得部41により、検査対象物3を撮像した画像データが取得される(S11、画像データ取得ステップ)。次に、この画像データを用いて、線形識別部42により線形SVMによる識別が画素毎に行われる(S12、線形識別ステップ)。この線形SVMによる識別は画像データに含まれる全画素を対象として行われ、その結果、強度データがオブジェクトデータである(TRUE)か、オブジェクトデータではない(FALSE)かが画素毎に判断される(S13、線形識別ステップ)。ここで、強度データがオブジェクトデータではない(FALSE)と判断された画素の識別結果は、最終判定部45に送られる。また、強度データがオブジェクトデータである(TRUE)と判断された画素については、その画素の強度データが非線形識別部43へ送られる。
【0048】
このうち、非線形識別部43へ送られた強度データについては、非線形識別部43により非線形SVMによる識別が画素毎に行われる(S13、非線形識別ステップ)。ここでも、線形識別部42による識別と同様に、強度データがオブジェクトデータである(TRUE)か、オブジェクトデータではない(FALSE)かが画素毎に判断される。そして、その結果は、識別結果格納部44に格納されると共に、最終判定部45へ送られ、最終判定部45による最終判定が行われる(S15、判定ステップ)。この最終判定部45による最終判定は、具体的には、画像データにおいて特定の画素を含む複数の画素のうち、強度データがオブジェクトデータであると非線形識別部43により識別された画素が所定数以上である場合に、当該特定の画素を含む複数の画素により構成される領域に検出対象があると判定する。そして、この最終判定部45による判定結果は、判定結果出力部46に送られて、結果の出力が行われる(S16、出力ステップ)。以上により、分析ユニット30による画像データの分析に係る一連の処理が終了する。
【0049】
以上のように、本実施形態に係る異状検査システム1を構成する分析ユニット30(画像データ分析装置)及びこの分析ユニット30による画像データ分析方法によれば、線形識別部42において、計算量が少なく識別に係る処理を高速に行うことができる線形SVMを用いて予め識別が行われ、次に、線形SVMによる識別の結果強度データがオブジェクトデータであると識別された画素のみに対して、非線形識別部43において、識別時の計算量が多く高精度な識別能力を有する非線形SVMによる識別が行われる。したがって、全ての画素について線形SVMのみにより識別を行う場合と比較して高精度の識別を行うことができ、また、全ての画素について非線形SVMにより識別を行う場合と比較して高速に識別を行うことができる。したがって、画像データの分析を高精度且つ高速に行うことが可能となる。
【0050】
また、本実施形態に係る分析ユニット30では、画像データにおいて特定の画素を含む複数の画素のうち、強度データがオブジェクトデータであると非線形識別部43により識別された画素が所定数である場合に、当該画素を含む複数の画素により構成される領域に検出対象があると判定する最終判定部45を備える。したがって、例えば画像データにおいて偶発的に発生したノイズに由来した強度データがオブジェクトデータであると識別される可能性が低減され、より高い精度で画像データの分析を行うことができる。
【0051】
以上、本発明の実施形態について説明したが、本発明は上記の実施形態に限定されず、種々の変更を行うことができる。
【0052】
例えば、上記実施形態では、異状分析システム1に分析ユニット30(画像データ分析装置)が組み込まれた構成について説明したが、本発明に係る画像データ分析装置は、例えば、他の工業製品の異状分析や、生体組織の疾患部位の観察等を行うシステムに組み込んで利用することもできる。また、分析ユニット30は、上記実施形態のように画像データの撮像を行う検出ユニット20と接続されている必要はなく、単体で使用することができる。
【0053】
また、上記実施形態では、分析ユニット30の画像データ取得部41において取得される画像データには加工が施されていないが、予めデータ加工が施された画像データを画像データ取得部41で取得する態様とすることもできる。画像データに施されるデータ加工とは、例えば、画像データが保持する画素毎の強度データを規格化しておく加工や、隣接するデータとの間で差分を取る等の数値的な処理のことをいう。このように、画像データに所定のデータ加工を予め施しておくことで、分析ユニット30による分析をより効率よく行うことが可能となる。
【0054】
また、上記実施形態では、線形識別部42における線形SVMによる識別と、非線形識別部43における非線形SVMによる識別と、はそれぞれ1種類のパラメータを用いて識別が行われる態様について説明したが、線形識別部42及び非線形識別部43のそれぞれにおいて、複数の互いに異なるパラメータを用いて識別を行う態様としてもよい。また、その場合には、複数のパラメータを用いた識別結果をあわせることで強度データがオブジェクトデータであるか否か(TRUE/FALSEのいずれか)を判断する態様としてもよい。具体的には、例えば、線形識別部42では3種類の互いに異なるパラメータを用いて線形SVMによる識別を行い、非線形識別部43では2種類の互いに異なるパラメータを用いて線形SVMによる識別を行う構成とすることができる。この場合、線形識別部42では3種類の線形SVMによる識別の全てにおいてTRUEと判定された場合に、線形識別部42による識別の結果がオブジェクトデータであるとし、非線形識別部43では2種類の非線形SVMのどちらか一方でTRUEと判定された場合に、非線形識別部43による識別の結果がオブジェクトデータであるとする、という方法が挙げられる。
【0055】
また、上記実施形態では、最終判定部45は、近接する複数の画素の識別の結果を考慮した最終判定を行う態様について説明したが、最終判定部45では、非線形識別部43による画素毎の識別の結果のみに基づいて判定を行う態様でもよい。
【実施例】
【0056】
以下、実施例及び比較例に基づき本発明をさらに具体的に説明するが、本発明は以下の実施例に何ら限定されるものではない。
【0057】
(実施例1)
実施例1として、上記実施形態の分析ユニット30を用いて画像データの分析を行った場合の識別精度と処理時間を調べた。具体的には、検出対象を「豆製品の加工ラインに混入している人間の毛髪」とし、検査対象物である豆製品の画像データと、検出対象である毛髪の画像データと、を用いて学習を行った後、毛髪が付着した豆製品のハイパースペクトル画像の画像データを分析ユニット30により分析した。なお、分析ユニット30の最終判定部45では、非線形SVMを用いた識別の結果、強度データがオブジェクトデータであるか否かを判断した。すなわち、上記実施形態で説明したように、近接する複数の画素の識別結果に基づいた判定は行っていない。また、実施例1の線形SVMによる識別で用いられた線形SVM識別用パラメータは、画像データのうちの毛髪を撮像した画素の強度データがオブジェクトデータとして正しく認識されるように、オブジェクトデータと識別する基準を低く設定した。また、非線形SVM識別用パラメータは、毛髪を撮像した画素を正しく識別することができる値を選択した。
【0058】
(比較例1)
比較例1として、実施例1で用いた画像データを線形SVMのみを用いて分析を行った。分析対象は画像データを構成する全ての画素とした。なお、比較例1の線形SVMによる識別で用いられた線形SVM識別用パラメータは、実施例1の線形SVMによる識別で用いられた線形SVM識別用パラメータとは異なるものであって、誤検出を低減させるようにオブジェクトデータと識別する基準を高くしたものである。
【0059】
(比較例2)
比較例2として、実施例1で用いた画像データを非線形SVMのみを用いて分析を行った(KSVM)。分析対象は画像データを構成する全ての画素とし、毛髪を撮像した画素を正しく識別することができる非線形SVM識別用パラメータを用いて、分析を行った。
【0060】
(評価1)
実施例1及び比較例1の分析結果を示す。図6は、実施例1の分析を説明する図である。すなわち、毛髪が付着した豆製品の画像データの線形SVM及び非線形SVMを用いた分析を説明する図であり、図6(a)は、線形SVMを用いて識別した途中結果を示す図であり、図6(b)は、図6(a)において強度データがオブジェクトデータであると識別された画素について、非線形SVMを用いて識別した最終結果を示す図である。また、図7は、比較例1の分析結果を示す図である。いずれの図においても、強度データがオブジェクトデータであると識別された画素は白色で表示されていて、オブジェクトデータではない(すなわち、毛髪ではない)と識別された画素は黒色又は灰色で表示されている。
【0061】
本実施形態の分析ユニット30のように、線形SVMと非線形SVMとを組み合わせた分析を行った場合、図6(a)に示すように、線形SVMにより識別した途中結果では誤検出が多くなるものの、その後非線形SVMによる識別を行うため、図6(b)に示すように、誤検出を著しく減らすことができ、高精度の識別を行うことができる。一方、線形SVMのみを用いて分析を行った場合、線形SVM識別用パラメータとして誤検出を減らすような値を選択した場合には、図7に示すように、毛髪を撮像した画素を正しく識別することができない。一方、線形SVM識別用パラメータとして、毛髪を撮像した画素の強度データがオブジェクトデータとして正しく認識されるような値を選択した場合には、図6(a)に示すように、誤検出が非常に多くなる。このように、線形SVMのみを用いて画像データの分析を行った場合には、高精度の分析が困難であることが示された。
【0062】
(評価2)
実施例1及び比較例1,2の分析による検出精度及び処理時間を評価した。具体的には、実施例1及び比較例1,2の分析による検出対象(毛髪)の検出率と、誤検出率と、分析開始から終了までの処理時間とを表1に示す。
【0063】
【表1】

【0064】
上記の表1において、「検出率」とは、豆製品の加工ラインに混入した毛髪の本数に対して、実際に検出できた本数の割合のことである。検出率が高いほど、より多くの毛髪を検出できることを示す。また、「誤検出率」とは、同加工ラインを撮影した毛髪が存在しない100万画素のハイパースペクトル画像の識別を行った際にTrueと判定された画素、すなわち、検出対象の毛髪があると識別された画素数の割合のことである。この誤検出率が小さいほど、加工ラインの歩留まりの低下量が小さいことを示す。また、「処理時間」とは、ハイパースペクトル画像全体の識別に要した平均時間のことである。
【0065】
表1の結果によれば、線形SVMのみによる分析(比較例1)は高速だが、十分な精度が得られていないことが分かる。一方、非線形SVMのみによる分析(比較例2)は非常に高精度だが、線形SVMのみによる分析と比較して170倍以上の処理時間を要している。これらの識別方式に対して、実施例1の線形SVMと非線形SVMとを組み合わせた分析の場合、非線形SVMのみによる分析(比較例2)と同程度の精度を保ちながら、処理時間は線形SVMのみによる分析(比較例1)の2倍以下に収まっていることが確認された。このように、実施例1の線形SVMと非線形SVMとを組み合わせた分析では、高精度の分析を高速に行うことが確認された。
【符号の説明】
【0066】
1…異状検査システム、2…ベルトコンベア、3…検査対象物、10…光源ユニット、11…光源、12…照射部、13…光ファイバ、20…検出ユニット、21…スリット、22…分光器、23…受光部、30…分析ユニット、31…学習用画像データ格納部、32…SVM学習部、33…線形SVM識別用パラメータ格納部、34…非線形SVM識別用パラメータ格納部、41…画像データ取得部、42…線形識別部、43…非線形識別部、44…識別結果格納部、45…最終判定部、46…判定結果出力部、A1…照射領域、L1…近赤外光、L2…拡散反射光、H…ハイパースペクトル画像、P〜P…画素。

【特許請求の範囲】
【請求項1】
少なくとも5つの波長帯域における強度データを画素毎に保持した画像データを分析し、当該画像データ中に検出対象を示すオブジェクトデータが含まれているか否かを画素単位で識別する画像データ分析装置であって、
前記画像データを取得する画像データ取得手段と、
前記画像データに含まれる画素の前記強度データを特徴量として、線形サポートベクターマシンを用いて、当該画素の前記強度データが前記オブジェクトデータであるか否かを画素毎に識別する線形識別手段と、
前記画像データに含まれる画素のうち、前記線形識別手段によって前記強度データが前記オブジェクトデータであると識別された画素について、前記強度データを特徴量として、非線形サポートベクターマシンを用いて当該画素の前記強度データが前記オブジェクトデータであるか否かを当該画素毎に識別する非線形識別手段と、
を備えることを特徴とする画像データ分析装置。
【請求項2】
前記画像データには、所定のデータ加工が施されていることを特徴とする請求項1記載の画像データ分析装置。
【請求項3】
前記非線形識別手段による識別の結果を画素毎に識別結果として格納する格納手段と、
前記格納手段に格納される前記識別結果を参照し、前記画像データにおいて特定の画素を含む複数の画素のうち、前記強度データが前記オブジェクトデータであると前記非線形識別手段により識別された画素が所定数以上である場合に、当該特定の画素を含む複数の画素により構成される領域に前記検出対象があると判定する判定手段と、
をさらに備えることを特徴とする請求項1又は2記載の画像データ分析装置。
【請求項4】
少なくとも5つの波長帯域における強度データを画素毎に保持された画像データを分析し、当該画像データ中に検出対象を示すオブジェクトデータが含まれているか否かを画素単位で識別する画像データ分析方法であって、
前記画像データを取得する画像データ取得ステップと、
前記画像データに含まれる画素の前記強度データを特徴量として、線形サポートベクターマシンを用いて、当該画素の前記強度データが前記オブジェクトデータであるか否かを画素毎に識別する線形識別ステップと、
前記画像データに含まれる画素のうち、前記線形識別ステップにおいて前記強度データが前記オブジェクトデータであると識別された画素について、前記強度データを特徴量として、非線形サポートベクターマシンを用いて当該画素の前記強度データが前記オブジェクトデータであるか否かを当該画素毎に識別する非線形識別ステップと、
を備えることを特徴とする画像データ分析方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate


【公開番号】特開2011−141809(P2011−141809A)
【公開日】平成23年7月21日(2011.7.21)
【国際特許分類】
【出願番号】特願2010−2906(P2010−2906)
【出願日】平成22年1月8日(2010.1.8)
【出願人】(000002130)住友電気工業株式会社 (12,747)
【Fターム(参考)】