対角線グラフを用いたマハラノビス距離による画像認識用プログラム
【課題】画像上の物体を、登録したデータとの形状のわずかな違いや、物体の向きの影響に対してロバストに認識することができる画像認識システムを提供する。
【解決手段】グラフ作成処理では、グラフ画像データ作成処理（Ｓ２０１）、グラフ行列データ作成処理（Ｓ２０２）、特徴ベクトルデータ作成処理（Ｓ２０３）を順に実行する。まず、グラフ画像作成処理（Ｓ２０１）を実行する。グラフ行列データ作成処理を実行する（Ｓ２０２）。グラフ行列データ作成処理では、グラフ画像の各辺の長さと対角線の長さを、行列（グラフ行列）として表す。グラフ行列の行と列とは、グラフ画像の特徴点ＩＤ１〜ｎまでに対応する。各成分は、行と列との特徴点ＩＤに対応する特徴点の距離（画素の数で表すことができる。）を表す。但し、対角線が引かれていない特徴点同士の距離と、グラフ行列の対角成分の距離と、は“０”とする。マハラノビス距離計算処理で使用する特徴ベクトルを作成する特徴ベクトルデータ作成処理を実行する（Ｓ２０３）。
【解決手段】グラフ作成処理では、グラフ画像データ作成処理（Ｓ２０１）、グラフ行列データ作成処理（Ｓ２０２）、特徴ベクトルデータ作成処理（Ｓ２０３）を順に実行する。まず、グラフ画像作成処理（Ｓ２０１）を実行する。グラフ行列データ作成処理を実行する（Ｓ２０２）。グラフ行列データ作成処理では、グラフ画像の各辺の長さと対角線の長さを、行列（グラフ行列）として表す。グラフ行列の行と列とは、グラフ画像の特徴点ＩＤ１〜ｎまでに対応する。各成分は、行と列との特徴点ＩＤに対応する特徴点の距離（画素の数で表すことができる。）を表す。但し、対角線が引かれていない特徴点同士の距離と、グラフ行列の対角成分の距離と、は“０”とする。マハラノビス距離計算処理で使用する特徴ベクトルを作成する特徴ベクトルデータ作成処理を実行する（Ｓ２０３）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コンピュータにより実行可能な画像認識用プログラムに関し、特に、画像上の図形の認識及び分類技術に用いられるプログラムに関する。
【背景技術】
【０００２】
従来、画像認識技術における認識対象としては、文字認識や文書認識が主なものであった。最近、デジタルカメラ等のデジタル機器の普及などにより、自然画像を容易にコンピュータに取り込むことができるようになってきた。それにつれて、自然界の物体を対象とした認識技術の重要性が増しつつある。
【０００３】
認識技術の中で、図形の輪郭形状の認識を行う方法として、特徴抽出処理による方法や、テンプレートマッチングによる方法などが従来行われてきた。特徴抽出処理による方法は、図形の面積や周囲長などの形状に関する特徴量を求める処理である（例えば、下記の非特許文献、特許文献等を参照。）。特徴量には、面積（対象図形成分に属する画素数）、周囲長（対象図形の輪郭線上にある画素の辺の個数）、円形度（４π×面積／（周囲長）＾２）、複雑度（（周囲長）＾２／面積）などがある。特徴抽出処理による方法は、微生物の認識や、工業製品の検査などの用途で使用されている。
【０００４】
しかしながら、特徴量抽出処理は、基本的な形状特徴量だけで物体を識別しているため、比較的単純な構造を持つ物体の認識には適用可能であるが、複雑な構造を持つ物体の認識には適用が困難である。
【０００５】
テンプレートマッチングによる方法は、入力画像に含まれる対象画像を、その対象画像の特徴を示すテンプレートデータに基づき特定する技術である。これは、図３に示すように、入力画像上でテンプレートデータＴと等しい大きさの処理領域を画素単位で走査して、それぞれの処理領域Ｗについて入力画像とテンプレートデータとの一致性を示すマッチング値を求め、その最大値が得られた処理領域に基づき所望の対象画像領域を特定するものである。
【０００６】
マッチング値については、例えば正規化相関係数などが用いられる。正規化相関係数Ｒ（ｘ，ｙ）は、処理領域画像Ｗ内の画素ｕ（ｉ，ｊ）の画素値ｗ（ｘ＋ｉ，ｙ＋ｊ）とテンプレートデータＴ内の画素ｕ’（ｉ，ｊ）の画素値Ｔ（ｉ，ｊ）とを用いて、下記式（１）に基づいて求めることができる。尚、Ｗａｖｇは処理領域での平均画素値、Ｔａｖｇはテンプレートの平均画素値である。この正規化相関係数は両画像の相関が高ければ１に近づき、低ければ−１に近づくものとなる。
【０００７】
【数１】
【０００８】
【非特許文献１】酒井幸市，「デジタル画像処理入門」，ＣＱ出版株式会社，２００２年１０月１日，ｐ．７５−１００。
【非特許文献２】八木伸行、外５名，「Ｃ言語で学ぶ実践画像処理」，株式会社オーム社，１９９９年１２月８日，ｐ．５４−６３，ｐ．８４−９７。
【非特許文献３】C.-H. Teh and R.T. Chin :”On the detection of dominant points on digital curves ”,IEEE Trans. Pattern Anal. & Machine Intell .,vol.11,no.8,pp.859-872,1989.
【非特許文献４】A.Rosenfeld and E. Johnston : “Angle detection on digital curves”,IEEE trans. Comput., vol. C-22,pp.875-878,Sept.1973.
【非特許文献５】金子，瀧山: “曲線からの特徴点の抽出と図形認識”,信学技法,PRU95-131,pp.61-66,1995.
【特許文献１】特開平９−１６１０６２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
テンプレートマッチングは、形状や大きさが決まった物体を抽出する用途に適しており、工場での製品検査によく用いられる。しかしながら、上記のテンプレートマッチングは、形状が一定でなかったり、向きや大きさが変化する物体の認識には適さない。
【００１０】
例えば、昆虫は脚や翅が動き、撮影するタイミングによって形状が変わるためテンプレートマッチングによる認識が困難である。また、テンプレートマッチングは、多大な処理時間を要するという欠点もある。自然界の物体は複雑な構造を持ち、また個体差が大きい。そのため、既存の方式では認識が困難である。このような対象を効率的かつ高精度で認識・分類する技術はいまだに開発途上といえる。
【００１１】
本発明は、形状や向きや大きさにばらつきがある物体であっても、少ない処理時間で認識が可能な技術を提供することを目的としている。
【課題を解決するための手段】
【００１２】
本発明の一観点によれば、画像内の認識対象とする領域を抽出したパターン認識対象領域を、該パターン認識対象領域を特徴付ける特徴点により画定される多角形と該多角形の対角線からなるグラフで表し、各グラフの辺の長さと対角線の長さとを特徴ベクトルとして表すグラフ作成ステップと、パターン認識対象候補の前記特徴ベクトルを複数保持する学習データと、前記グラフ作成ステップにおいて作成した前記パターン認識対象領域の特徴ベクトルとの、該特徴ベクトルの分散を考慮した距離を計算する距離計算ステップと、をコンピュータに実行させるためのパターン認識用プログラムが提供される。
【００１３】
前記距離計算ステップに基づいて得られた、パターン認識対象物体と学習データとの類似度に基づいて、類似度の高い学習データを認識結果とすることができる。これにより、不均一なグループの存在分布を有する場合でも、パターン認識をより正確に行うことができる。
【００１４】
前記グラフ作成ステップは、前記グラフに基づいて前記特徴点を識別する特徴点ＩＤを順番にずらしたパターンを元のグラフを含めて前記特徴点の数だけ作成し、これらのパターンから、それぞれのグラフに関する行列であるグラフ行列データを作成し、それぞれの前記グラフ行列データから特徴ベクトルを求めるステップを含むことが好ましい。
【００１５】
前記グラフ作成ステップは、前記画像中の前記パターン認識対象領域を複数の多角形で表し、該多角形内の内側領域の対角線を結合してできるグラフを作成するステップを含むのが好ましい。また、前記グラフ作成ステップは、前記画像中のすべての前記パターン認識対象領域を同一頂点数の多角形で表し、該多角形内の内側領域の対角線をすべて結合してできるグラフを作成するステップを含むことが好ましい。
【発明の効果】
【００１６】
本発明によれば、認識対象の画像の特徴を詳細に認識することができ、なおかつ認識対象の画像と学習データとの微妙な形状のずれや回転の影響を抑え的確な認識を行うことができるという利点がある。
【発明を実施するための最良の形態】
【００１７】
以下、本発明の一実施の形態による画像認識技術について、図面を参照しながら詳細に説明を行なう。
【００１８】
図１は、本発明の一実施の形態による画像認識装置の一構成例を示す機能ブロック図である。図１に示すように、本実施の形態による画像認識装置は、例えば、パーソナルコンピュータ又はワークステーションなどにより実現される処理装置１０と、メインメモリとして使用されるＲＡＭ（ランダムアクセスメモリ）及び磁気ディスク記憶装置のような補助記憶装置とを含む記憶装置２０と、入出力装置３０と、を備えている。
【００１９】
入出力装置３０は、キーボード、マウス等のポインティングデバイスを含む入力装置３１と、ＣＲＴディスプレイ装置等の表示装置３２と、プリンタ３３等の出力装置と、を備える。入力装置３１は、後述する各種パラメータ入力などに使われる。表示装置３２、プリンタ３３は、入力画像や処理後の画像の表示、印刷に使われる。記憶装置２０内において、ＲＡＭ又は補助記憶装置のいずれにデータを記憶されるかは、予めデータ毎に決めておけば良い。
【００２０】
処理装置１０には、認識対象画像データ２１を認識可能な形状認識プログラム４０が組み込まれている。形状認識プログラム４０は、輪郭画像作成部１００と、グラフ作成部２００と、マハラノビス距離計算部３００と、のモジュールを含む。記憶装置２０には、予め、学習データ２２が記憶されており、取得した認識対象データ２１と、上記学習データ２２と、を、例えば、形状認識プログラム４０により後述するような処理をして、輪郭画像データ２３と、グラフ画像データ２４と、グラフ行列データ２５と、特徴ベクトルデータ２６と、認識結果データ２７と、を生成し、それぞれ、記憶装置２０内に格納する。
【００２１】
認識対象画像データ２１は、例えばデジタルカメラなどで自然物などを撮影した写真画像であり、簡単化すると、一様な背景と認識対象物体とで構成されている。図６（ａ）は、認識対象画像データ２１の例であり白い背景の上に種々の木の葉が９枚配置されている。本実施の形態では、当該画像の木の葉を認識する場合を例に説明するが、本発明は、木の葉だけでなくあらゆる物体の形状の認識に適用可能である。例えば、捕虫紙に捕獲された昆虫、或いは航空写真及び衛星写真などの高度飛翔体から撮影された画像における放牧された動物や農園における樹木、或いは植物の種子、或いは顕微鏡写真における微生物などの認識に適用可能である。尚、本発明は、認識対象物体が略一様な背景の画像上に存在する場合に特に有効である。
【００２２】
形状認識プログラム４０は、認識対象画像データ２１に基づいて、当該画像内の認識対象画素を含む領域（以下、「認識対象領域」と称する。）を検出して輪郭画像データ２３を生成し、当該画像内の認識対象領域を、すべて同一の頂点数の多角形で表し、各領域の対角線を結合させたグラフ画像データ２４を生成し、当該画像内の各多角形の各頂点間の辺及び対角線の結合条件と距離を行列で表したグラフ行列データ２５を生成し、当該データから、前記認識対象領域の特徴を表す特徴ベクトルデータ２６を生成し、当該データと学習データ２２に基づいてマハラノビス距離を計算し認識結果データ２７を生成する。 尚、上記の記載のうち、「すべて同一の頂点数」とは、例えば、図６で言えば、（１）から（９）の領域をそれぞれ２０角形で近似して表すという意味である。図６（ｄ）は、図６（ｃ）の（５）の領域を２０角形で近似して表した例である。
【００２３】
以下に、本実施の形態による画像認識処理の流れについて各処理ごとに詳細に説明する。図２は、本実施の形態による画像認識処理の流れを示すフローチャート図である。適宜、図１も参照しながら説明を行なう。処理を開始すると、まず、認識対象物体の輪郭画像作成処理を実行する（Ｓ１０１）。輪郭画像作成処理（Ｓ１０１）は、認識対象画像データ２１中の認識対象物体の領域を認識し、認識対象物体の領域と背景領域とを区別し、さらに各認識対象物体の領域をラベリング（例えば非特許文献１を参照。）で区別する処理である。
【００２４】
輪郭画像作成処理（Ｓ１０１）では、まず認識対象画像データ２１中の認識対象物体の領域を抽出する。物体の抽出をする方法には、種々の周知技術が適用可能である。例えば、輝度の２値化と小領域除去による手法（例えば上記非特許文献２を参照。）がある。本実施の形態ではこの手法を適用した例について説明するが、他の技術を適用してもよい。輝度の２値化と小領域除去による手法は、まず輝度の２値化により、背景から認識対象物体を抽出する。２値化処理には、モード法、判別分析法、Ｐタイル法、微分ヒストグラム法などの種々の周知技術が適用可能である。どの方法で２値化を行うのが適切であるかは対象画像により異なるので、画像に合わせて適切な方法を選択すればよい。
【００２５】
尚、Ｐタイル法は、抽出すべき対象図形の面積、あるいは面積の全体に対する割合があらかじめ予測できる場合に使用する。モード法は、絵柄領域と背景領域とからなる画像の場合、明度のヒストグラムが２つの山をもつことが多いことを利用し、明度のヒストグラムの谷の値を輪郭に相当する閾値として決定する手法である。微分ヒストグラム法は、明度のヒストグラムの形が急変する部分を利用して閾値を決定する手法である。判別分析法は、ある値ｆｔにて画像全体の明度のヒストグラムを２つのクラス（級）に分けた場合、級間分散÷（クラス１の級内分散＋クラス２の級内分散）の算出結果が最大となるときのｆｔをしきい値として決定する手法である。
【００２６】
また、一般的には判別分析法を用いると。陰影部と非陰影部とを区分しやすい。本実施の形態においても、法を使用した例について説明する。単に閾値を利用して２値化する２値化処理により認識対象物体を抽出しようとすると、非常に小さな領域までも抽出してしまい、この領域がノイズとなることがある。そのためノイズ除去を行う。ノイズ除去には、膨張収縮処理やラベリングによる小領域除去処理などがある（例えば上記非特許文献２を参照。）。
【００２７】
次に、ノイズを除去後の画像に対してラベリング処理を行い各認識対象物体を区別する。図６（ｂ）は、図６（ａ）の認識対象画像データ２１に対して輪郭抽出処理及びノイズ除去処理を行って作成された画像を示す図であり、図６（ｃ）は、図６（ｂ）の画像に対して対象図形毎に（１）〜（９）までのラベリング処理を実行して作成された輪郭画像データ２３である。（１）〜（９）までの９つの木の葉それぞれにラベルが付されている。
次に、輪郭画像作成処理（Ｓ１０１）で作成された輪郭画像データ２３をもとに、グラフ作成処理を実行する（Ｓ１０２）。このグラフ作成処理（Ｓ１０２）では、それぞれのラベル単位で処理を行い、輪郭画像データ２３上の各領域を認識・分類するために、まず当該画像データを多角形とその対角線で表した図形（以後「グラフ」と呼ぶことがある。）で表す。そして、各グラフの特徴量を計算し、後述するマハラノビス距離計算処理（Ｓ１０３）において、各グラフが対応する領域の認識・分類を行う。
【００２８】
図４は、グラフ作成処理（Ｓ１０２）の処理の詳細を示すフローチャート図である。グラフ作成処理（Ｓ１０２）では、グラフ画像データ作成処理（Ｓ２０１）、グラフ行列データ作成処理（Ｓ２０２）、特徴ベクトルデータ作成処理（Ｓ２０３）を順に実行する。まず、グラフ画像作成処理（Ｓ２０１）を実行する。
【００２９】
図５はグラフ画像データ作成処理（Ｓ２０１）の詳細を示すフローチャート図である。以下、図５のフローチャートを用いてグラフ画像データ作成処理（Ｓ２０１）を説明する。まず、入力装置３１から輪郭画像データ２３を入力する（Ｓ３０１）。次いで、輪郭画像データ２３上の各領域に特徴点をプロットする（Ｓ３０２）。図６（ｅ）は、図６（ｃ）の５番のラベル（５）の画像データに対してグラフ作成処理（Ｓ１０２）を実行して作成されたグラフ画像データ２４の例を示す図である。また、図６（ｄ）は、図６（ｅ）のグラフ画像データ２４を作成する過程で作成された画像である。図６（ｄ）に示すそれぞれの特徴点は、例えば図形の頂点や変曲点など、図形を特徴付ける点であり、この特徴点を辿っていくことにより図形をほぼ正確に再現できる点である。ここでは、予め決められた個数の特徴点を各領域の境界線上にプロットする。境界線のどの点に特徴点をプロットするかは任意であるが、図形の特徴をよく表す点にプロットすることが望ましい。図形の特徴を表す点としては、上記のように、例えば、境界線上の曲率の高い点や曲率ゼロ交点などがある。曲率の高い点は局所的な曲がりが最も大きい点（極値点）に対応し、曲率ゼロ交点は局所的な曲がりの無い変曲点に対応する。尚、曲線上の特徴点を抽出する技術に関しては、従来から様々な方法が提案されている（例えば上記非特許文献３〜６までを参照。）。
【００３０】
各特徴点を区別するため、これらの特徴点には境界線に沿って特徴点ＩＤを定義する。図６（ｄ）では、反時計回りに特徴点ＩＤ１〜特徴点ＩＤ２０までを定義している。但し、境界線に沿っていくのであれば、時計回りに定義しても良い。
【００３１】
次に、特徴点同士を特徴点ＩＤの順に直線で結合する（Ｓ３０３）。最小の特徴点ＩＤと最大の特徴点ＩＤの特徴点については、お互いを結合する。次に、各特徴点の対角線を描線する（Ｓ３０４）。但し、図形の内側領域だけを通る対角線だけを描線し、外側領域を通る対角線は描線しない。また、対角線は、内側領域のみを通るものは全て描線する。このようにして作成された画像を、グラフ画像データ２４と称する（図６（ｅ）参照）。
【００３２】
図４のフローチャートに戻り、グラフ行列データ作成処理を実行する（Ｓ２０２）。グラフ行列データ作成処理では、グラフ画像の各辺の長さと対角線の長さを、図７（ｃ）に示すような行列（グラフ行列）として表す。図７（ｃ）に示すように、グラフ行列の行と列とは、グラフ画像の特徴点ＩＤ１〜ｎまでに対応する。各成分は、行と列との特徴点ＩＤに対応する特徴点の距離（画素の数で表すことができる。）を表す。但し、対角線が引かれていない特徴点同士の距離と、グラフ行列の対角成分の距離と、は“０”とする。
具体的には、以下の式２が成り立つ。
【００３３】
【数２】
【００３４】
例えば、図７（ｃ）に示す一般的なグラフ行列の各成分Ｍ（ｉ，ｊ）を図７（ａ）に示すグラフ画像に適用した場合には、図７（ｂ）に示すようになる。グラフ画像は、特徴点の位置と順番とが決まれば一意に決まる画像である。また、グラフ行列からグラフ画像を再現することが可能である。つまり、グラフ画像とグラフ行列とは、一対一に対応している。但し、回転及び対象的な図形は同一図形とみなしている。このように、グラフ画像及びグラフ行列は、輪郭画像データ２３の各領域の形状を近似的に表す。
【００３５】
尚、本実施の形態では、グラフ行列を上記式２で定義して説明したが、グラフ行列は下記の式３のように対角成分に各特徴点の色情報を格納してもよい。
【００３６】
【数３】
【００３７】
より具体的には、認識対象画像データ２１上の各特徴点に対応する色情報を格納する。色情報は、輝度、彩度、色相のいずれかを含む。対角成分に色情報を格納してグラフ行列を定義することにより、認識対象物体の形状と色特徴との双方を考慮した精度の高い認識が可能となる。
【００３８】
次に、後述するマハラノビス距離計算処理（図２：Ｓ１０３）で使用する特徴ベクトルを作成する特徴ベクトルデータ作成処理を実行する（図４：Ｓ２０３）。輪郭画像データ２３（図１）の各領域の形状は、グラフ行列で表されるので、特徴ベクトルを特定するためには、図７（ｂ），（ｃ）に示すようなグラフ行列を用いる。ただし、グラフ行列において、対角成分はすべて０であり、また、対角成分を軸として各成分は対称である。具体的には、下記の式４が成り立つ。
【００３９】
【数４】
【００４０】
そのためグラフ行列の上三角成分又は下三角成分のみを特徴ベクトルとして用いれば良い。本実施の形態では、グラフ行列の上三角成分を特徴ベクトルとして使用した例について説明する。
【００４１】
図８（ａ）は、図７（ｃ）に示すグラフ行列に基づいた特徴ベクトルの例を示す図であり、あるサンプルの一行の特徴ベクトルの概略図である。輪郭画像データ２３をｎ角形で表した場合に、特徴ベクトルＦ（Ｎ）はｎ（ｎ−１）／２次元となる。この特徴ベクトルＦ（Ｎ）を各輪郭画像データ２３の領域で求め、特徴ベクトルデータ２６として図１に示す記憶装置２０に格納する。
【００４２】
図８（ｂ）は、特徴ベクトルＦ（Ｎ）の一行データの構成例をサンプル１〜ｋまでについて示す図である。このように、各サンプル１〜ｋまでについて、作成した特徴ベクトルデータ２６を記憶装置２０内に記憶しておくことができる。図２のフローチャートに戻り、次に、特徴ベクトルデータ２６と学習データ２２とを使用してマハラノビス距離計算処理を行う（Ｓ１０３）。ここで、マハラノビス距離とは、特徴ベクトルの存在分布、つまり、その特徴ベクトルの分散を考慮した距離である（例えば上記特許文献１を参照。）。
【００４３】
例えば、図９に示すように、グループ（Ａ）〜グループ（Ｃ）までが存在しているとき、２次元平面上に点として表される認識対象と、ある分散σを有するグループ（Ａ）、グループ（Ｃ）までのマハラノビス距離は相対的に長く、グループ（Ｂ）までのマハラノビス距離は相対的に短いことがわかる。このことから、マハラノビス距離を用いることにより、ユークリッド距離では認識できない図９に示すような不均一なグループの存在分布を有する場合でも、パターン認識をより正確に行うことができる。
【００４４】
学習データ２２は、認識結果となる各グループの画像の特徴ベクトルを多数登録しているデータである。学習データ２２は、図４を参照しながら説明したように、認識対象画像データ２１から特徴ベクトルデータ２６を作成する場合と同様の方法で作成することができる。
【００４５】
また、学習データ２２はグループ毎に保存する。図１０にその具体例を示す。図１０（ａ）のグラフ画像から特徴点ＩＤを反時計回りにずらしたパターン（例えば図１０（ｂ）、（ｃ）、（ｄ）。）を元のグラフ画像を含めて特徴点の数だけ作成し、これらのパターンから、それぞれのグラフ行列データ２５を作成し、それぞれのグラフ行列データ２５から特徴ベクトルを求める。学習データの場合には、上記図１０のように、ＩＤをずらしてデータを作成する必要がある。形状は同じでも番号に付与に仕方によりグラフ行列が異なってしまうからである。例えば、２０角形では２０通りのパターンが必要となる。
【００４６】
図１１は、グループＡの学習用画像からグループＡの学習データを求める例を示す図である。グループＡの学習用原画像（図１１（ａ），（ｂ），（ｃ））から、それぞれの輪郭画像を作成し、各輪郭画像からグラフ画像を作成し、各グラフ画像から特徴点ＩＤを変更したパターンのグラフ画像を特徴点の数だけの個数を作成し（図１１では特徴点の数が２０個）、各グラフ画像から特徴点ベクトルを作成し、グループＡの学習データ２２（図１１（ｄ））として記憶装置２内に格納する。図に示すように、画像１の特徴点が２０であり、それぞれの特徴点に関して特徴ベクトルを図８（ｂ）と同様にして求めることができる。尚、後述するマハラノビス距離ＭＤを算出する際には、各特徴ベクトルの平均と分散とが必要であるため、図１１（ｄ）では平均と分散との算出例を示している。ＦＡ１ａｖｇは、サンプルＮ＝１の特徴ベクトルの平均値であり、以下、サンプルＮ＝１〜ｍまでのそれぞれについて画像の特徴ベクトル毎の平均値をそれぞれ求めることができる。特徴ベクトル毎の分散もそれぞれ求めることができる。このようにして得られた平均と分散とが図９に例示されている。
【００４７】
下記の式５に、ｍ次元で表されるデータに対するマハラノビス距離ＭＤの算出式を示す。
【００４８】
【数５】
【００４９】
但し、Ｆ１〜Ｆｍは認識対象画像の特徴ベクトルであり、Ｆ１ａｖｇ〜Ｆｍａｖｇは、各グループの学習データにおける各特徴ベクトルの平均値である。Ｆはｍ個の特徴ベクトルと、上記特徴ベクトルの平均値との差を示す。また、Ｓは各グループの学習データの特徴ベクトルにおける分散共分散行列であり、対角成分は分散、その他の成分は共分散を表す。
【００５０】
図１２は、グループＡの学習データの分散共分散行列ＳＡの例を示す図である。ＳＡｉは、グループＡの学習データにおける特徴ベクトルＦ（ｉ）Ａの分散であり、ＳＡｉ，ｊは、グループＡの学習データにおける特徴ベクトルＦ（ｉ）ＡとＦ（ｊ）Ａとの共分散である。以下、マハラノビス距離ＭＤの計算例を示す。ある認識対象画像の特徴ベクトルＦｘを式６で表す。
【００５１】
【数６】
【００５２】
また、ＦＸとグループＡの特徴ベクトルの平均値ＦＡとの差ＦＸＡは、式７で表される。
【数７】
【００５３】
このＦｘに対するグループＡのマハラノビス距離ＭＤＡは、前述したＳＡを用いると、式８により算出される。
【００５４】
【数８】
【００５５】
同様にして、各グループＢ、Ｃ、…のマハラノビス距離ＭＤＢ、ＭＤＣ、…を算出する。このようにして、すべてのグループに対するマハラノビス距離を求め、マハラノビス距離が最小となった場合のグループをパターンの類似度が高いグループとし、認識対象画像の認識結果とする。この認識結果データ２７を図１に示す記憶装置２０内に格納する。
【００５６】
但し、最小のマハラノビス距離が、あらかじめ決めた閾値よりも大きければ、該当するグループは無しと判定する。
【００５７】
図２のフローチャート図に戻り、認識結果出力処理を行い（Ｓ１０４）、認識対象画像データ２１に対応する特徴ベクトルデータ２６の、各グループとのマハラノビス距離の計算結果と認識結果とを出力する。サンプルと各グループとのマハラノビス距離を計算し、そのうちの最小のマハラノビス距離をそのサンプルの認識結果とすることができる。但し、前記最小のマハラノビス距離があらかじめ決めた閾値よりも大きければ、該当するグループはないとして該当無と出力する。
【００５８】
以上に説明したように、本実施の形態による画像認識技術によれば、マハラノビス距離を用いることにより、ユークリッド距離では認識できない不均一なグループの存在分布を有する場合でも、パターン認識をより正確に行うことができるため、認識対象の画像と学習データとの微妙な形状のずれや回転の影響を考慮し認識対象の画像の特徴を詳細に認識することができる。また、認識対象の画像と学習データとの微妙な形状のずれや回転等の影響を受けづらいため、的確な画像認識を行うことができるという利点がある。
【００５９】
尚、本実施の形態によるパターン認識技術に適した対象としては、限定的なものではないが、捕虫紙に捕獲された昆虫、或いは、上空から撮影した写真における動物、或いは、植物の種子、或いは、顕微鏡で撮影した微生物、或いは、上空から撮影した写真における樹木、などが挙げられる。
【図面の簡単な説明】
【００６０】
【図１】本発明の一実施の形態による画像認識システムの一構成例を示す機能ブロック図である。
【図２】本実施の形態による画像認識処理全体の概略的なフローチャート図である。
【図３】一般的なテンプレートマッチングの概略を示す図である。
【図４】輪郭画像作成処理の流れを示すフローチャート図である。
【図５】グラフ画像データ作成処理の流れを示すフローチャート図である。
【図６】認識・分類に用いる画像データの例を示す図である。図６（ａ）は認識対象画像データの例であり、図６（ｂ）は輪郭画像データの例であり、図６（ｃ）は輪郭画像データの各領域をラベリングしたデータの例であり、図６（ｄ）、（ｅ）はグラフ画像データの図である。
【図７】グラフ行列の説明をするための図であり、図７（ａ）はグラフ行列の元となる図であり、図７（ｂ）は図７（ａ）のグラフ行列であり、図７（ｃ）はグラフ行列の一般式である。
【図８】特徴ベクトルに関する明図であり、図８（ａ）はあるサンプルの特徴ベクトルの一般式であり、図８（ｂ）はサンプル１〜サンプルｋまでの特徴ベクトルの一般式である。
【図９】マハラノビス距離の説明をするための概略図である。
【図１０】図１０（ａ）のグラフ画像と、これから特徴点ＩＤを反時計回りにずらしたパターン（図１０（ｂ）、（ｃ）、（ｄ）。）を示す図である。
【図１１】学習データを示す図であり、図１１（ａ）、図１１（ｂ）、図１１（ｃ）は、それぞれグループＡの画像１、２、３の画像である。図１１（ｄ）はグループＡの学習データを示す表である。
【図１２】グループＡの分散共分散行列の例を示す図である。
【符号の説明】
【００６１】
Ｍ（ｉ，ｊ）…グラフ行列のｉ行ｊ列成分、Ｆ（ｉ）…特徴ベクトルのｉ番目の成分
ＦＡｉａｖｇ…Ａグループの特徴ベクトルのｉ番目の成分の平均
ＳＡｉ …グループＡの学習データにおける特徴ベクトルＦ（ｉ）Ａの分散
ＳＡｉ，ｊ …グループＡの学習データにおける特徴ベクトルＦ（ｉ）ＡとＦ（ｊ）Ａとの共分散
【技術分野】
【０００１】
本発明は、コンピュータにより実行可能な画像認識用プログラムに関し、特に、画像上の図形の認識及び分類技術に用いられるプログラムに関する。
【背景技術】
【０００２】
従来、画像認識技術における認識対象としては、文字認識や文書認識が主なものであった。最近、デジタルカメラ等のデジタル機器の普及などにより、自然画像を容易にコンピュータに取り込むことができるようになってきた。それにつれて、自然界の物体を対象とした認識技術の重要性が増しつつある。
【０００３】
認識技術の中で、図形の輪郭形状の認識を行う方法として、特徴抽出処理による方法や、テンプレートマッチングによる方法などが従来行われてきた。特徴抽出処理による方法は、図形の面積や周囲長などの形状に関する特徴量を求める処理である（例えば、下記の非特許文献、特許文献等を参照。）。特徴量には、面積（対象図形成分に属する画素数）、周囲長（対象図形の輪郭線上にある画素の辺の個数）、円形度（４π×面積／（周囲長）＾２）、複雑度（（周囲長）＾２／面積）などがある。特徴抽出処理による方法は、微生物の認識や、工業製品の検査などの用途で使用されている。
【０００４】
しかしながら、特徴量抽出処理は、基本的な形状特徴量だけで物体を識別しているため、比較的単純な構造を持つ物体の認識には適用可能であるが、複雑な構造を持つ物体の認識には適用が困難である。
【０００５】
テンプレートマッチングによる方法は、入力画像に含まれる対象画像を、その対象画像の特徴を示すテンプレートデータに基づき特定する技術である。これは、図３に示すように、入力画像上でテンプレートデータＴと等しい大きさの処理領域を画素単位で走査して、それぞれの処理領域Ｗについて入力画像とテンプレートデータとの一致性を示すマッチング値を求め、その最大値が得られた処理領域に基づき所望の対象画像領域を特定するものである。
【０００６】
マッチング値については、例えば正規化相関係数などが用いられる。正規化相関係数Ｒ（ｘ，ｙ）は、処理領域画像Ｗ内の画素ｕ（ｉ，ｊ）の画素値ｗ（ｘ＋ｉ，ｙ＋ｊ）とテンプレートデータＴ内の画素ｕ’（ｉ，ｊ）の画素値Ｔ（ｉ，ｊ）とを用いて、下記式（１）に基づいて求めることができる。尚、Ｗａｖｇは処理領域での平均画素値、Ｔａｖｇはテンプレートの平均画素値である。この正規化相関係数は両画像の相関が高ければ１に近づき、低ければ−１に近づくものとなる。
【０００７】
【数１】
【０００８】
【非特許文献１】酒井幸市，「デジタル画像処理入門」，ＣＱ出版株式会社，２００２年１０月１日，ｐ．７５−１００。
【非特許文献２】八木伸行、外５名，「Ｃ言語で学ぶ実践画像処理」，株式会社オーム社，１９９９年１２月８日，ｐ．５４−６３，ｐ．８４−９７。
【非特許文献３】C.-H. Teh and R.T. Chin :”On the detection of dominant points on digital curves ”,IEEE Trans. Pattern Anal. & Machine Intell .,vol.11,no.8,pp.859-872,1989.
【非特許文献４】A.Rosenfeld and E. Johnston : “Angle detection on digital curves”,IEEE trans. Comput., vol. C-22,pp.875-878,Sept.1973.
【非特許文献５】金子，瀧山: “曲線からの特徴点の抽出と図形認識”,信学技法,PRU95-131,pp.61-66,1995.
【特許文献１】特開平９−１６１０６２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
テンプレートマッチングは、形状や大きさが決まった物体を抽出する用途に適しており、工場での製品検査によく用いられる。しかしながら、上記のテンプレートマッチングは、形状が一定でなかったり、向きや大きさが変化する物体の認識には適さない。
【００１０】
例えば、昆虫は脚や翅が動き、撮影するタイミングによって形状が変わるためテンプレートマッチングによる認識が困難である。また、テンプレートマッチングは、多大な処理時間を要するという欠点もある。自然界の物体は複雑な構造を持ち、また個体差が大きい。そのため、既存の方式では認識が困難である。このような対象を効率的かつ高精度で認識・分類する技術はいまだに開発途上といえる。
【００１１】
本発明は、形状や向きや大きさにばらつきがある物体であっても、少ない処理時間で認識が可能な技術を提供することを目的としている。
【課題を解決するための手段】
【００１２】
本発明の一観点によれば、画像内の認識対象とする領域を抽出したパターン認識対象領域を、該パターン認識対象領域を特徴付ける特徴点により画定される多角形と該多角形の対角線からなるグラフで表し、各グラフの辺の長さと対角線の長さとを特徴ベクトルとして表すグラフ作成ステップと、パターン認識対象候補の前記特徴ベクトルを複数保持する学習データと、前記グラフ作成ステップにおいて作成した前記パターン認識対象領域の特徴ベクトルとの、該特徴ベクトルの分散を考慮した距離を計算する距離計算ステップと、をコンピュータに実行させるためのパターン認識用プログラムが提供される。
【００１３】
前記距離計算ステップに基づいて得られた、パターン認識対象物体と学習データとの類似度に基づいて、類似度の高い学習データを認識結果とすることができる。これにより、不均一なグループの存在分布を有する場合でも、パターン認識をより正確に行うことができる。
【００１４】
前記グラフ作成ステップは、前記グラフに基づいて前記特徴点を識別する特徴点ＩＤを順番にずらしたパターンを元のグラフを含めて前記特徴点の数だけ作成し、これらのパターンから、それぞれのグラフに関する行列であるグラフ行列データを作成し、それぞれの前記グラフ行列データから特徴ベクトルを求めるステップを含むことが好ましい。
【００１５】
前記グラフ作成ステップは、前記画像中の前記パターン認識対象領域を複数の多角形で表し、該多角形内の内側領域の対角線を結合してできるグラフを作成するステップを含むのが好ましい。また、前記グラフ作成ステップは、前記画像中のすべての前記パターン認識対象領域を同一頂点数の多角形で表し、該多角形内の内側領域の対角線をすべて結合してできるグラフを作成するステップを含むことが好ましい。
【発明の効果】
【００１６】
本発明によれば、認識対象の画像の特徴を詳細に認識することができ、なおかつ認識対象の画像と学習データとの微妙な形状のずれや回転の影響を抑え的確な認識を行うことができるという利点がある。
【発明を実施するための最良の形態】
【００１７】
以下、本発明の一実施の形態による画像認識技術について、図面を参照しながら詳細に説明を行なう。
【００１８】
図１は、本発明の一実施の形態による画像認識装置の一構成例を示す機能ブロック図である。図１に示すように、本実施の形態による画像認識装置は、例えば、パーソナルコンピュータ又はワークステーションなどにより実現される処理装置１０と、メインメモリとして使用されるＲＡＭ（ランダムアクセスメモリ）及び磁気ディスク記憶装置のような補助記憶装置とを含む記憶装置２０と、入出力装置３０と、を備えている。
【００１９】
入出力装置３０は、キーボード、マウス等のポインティングデバイスを含む入力装置３１と、ＣＲＴディスプレイ装置等の表示装置３２と、プリンタ３３等の出力装置と、を備える。入力装置３１は、後述する各種パラメータ入力などに使われる。表示装置３２、プリンタ３３は、入力画像や処理後の画像の表示、印刷に使われる。記憶装置２０内において、ＲＡＭ又は補助記憶装置のいずれにデータを記憶されるかは、予めデータ毎に決めておけば良い。
【００２０】
処理装置１０には、認識対象画像データ２１を認識可能な形状認識プログラム４０が組み込まれている。形状認識プログラム４０は、輪郭画像作成部１００と、グラフ作成部２００と、マハラノビス距離計算部３００と、のモジュールを含む。記憶装置２０には、予め、学習データ２２が記憶されており、取得した認識対象データ２１と、上記学習データ２２と、を、例えば、形状認識プログラム４０により後述するような処理をして、輪郭画像データ２３と、グラフ画像データ２４と、グラフ行列データ２５と、特徴ベクトルデータ２６と、認識結果データ２７と、を生成し、それぞれ、記憶装置２０内に格納する。
【００２１】
認識対象画像データ２１は、例えばデジタルカメラなどで自然物などを撮影した写真画像であり、簡単化すると、一様な背景と認識対象物体とで構成されている。図６（ａ）は、認識対象画像データ２１の例であり白い背景の上に種々の木の葉が９枚配置されている。本実施の形態では、当該画像の木の葉を認識する場合を例に説明するが、本発明は、木の葉だけでなくあらゆる物体の形状の認識に適用可能である。例えば、捕虫紙に捕獲された昆虫、或いは航空写真及び衛星写真などの高度飛翔体から撮影された画像における放牧された動物や農園における樹木、或いは植物の種子、或いは顕微鏡写真における微生物などの認識に適用可能である。尚、本発明は、認識対象物体が略一様な背景の画像上に存在する場合に特に有効である。
【００２２】
形状認識プログラム４０は、認識対象画像データ２１に基づいて、当該画像内の認識対象画素を含む領域（以下、「認識対象領域」と称する。）を検出して輪郭画像データ２３を生成し、当該画像内の認識対象領域を、すべて同一の頂点数の多角形で表し、各領域の対角線を結合させたグラフ画像データ２４を生成し、当該画像内の各多角形の各頂点間の辺及び対角線の結合条件と距離を行列で表したグラフ行列データ２５を生成し、当該データから、前記認識対象領域の特徴を表す特徴ベクトルデータ２６を生成し、当該データと学習データ２２に基づいてマハラノビス距離を計算し認識結果データ２７を生成する。 尚、上記の記載のうち、「すべて同一の頂点数」とは、例えば、図６で言えば、（１）から（９）の領域をそれぞれ２０角形で近似して表すという意味である。図６（ｄ）は、図６（ｃ）の（５）の領域を２０角形で近似して表した例である。
【００２３】
以下に、本実施の形態による画像認識処理の流れについて各処理ごとに詳細に説明する。図２は、本実施の形態による画像認識処理の流れを示すフローチャート図である。適宜、図１も参照しながら説明を行なう。処理を開始すると、まず、認識対象物体の輪郭画像作成処理を実行する（Ｓ１０１）。輪郭画像作成処理（Ｓ１０１）は、認識対象画像データ２１中の認識対象物体の領域を認識し、認識対象物体の領域と背景領域とを区別し、さらに各認識対象物体の領域をラベリング（例えば非特許文献１を参照。）で区別する処理である。
【００２４】
輪郭画像作成処理（Ｓ１０１）では、まず認識対象画像データ２１中の認識対象物体の領域を抽出する。物体の抽出をする方法には、種々の周知技術が適用可能である。例えば、輝度の２値化と小領域除去による手法（例えば上記非特許文献２を参照。）がある。本実施の形態ではこの手法を適用した例について説明するが、他の技術を適用してもよい。輝度の２値化と小領域除去による手法は、まず輝度の２値化により、背景から認識対象物体を抽出する。２値化処理には、モード法、判別分析法、Ｐタイル法、微分ヒストグラム法などの種々の周知技術が適用可能である。どの方法で２値化を行うのが適切であるかは対象画像により異なるので、画像に合わせて適切な方法を選択すればよい。
【００２５】
尚、Ｐタイル法は、抽出すべき対象図形の面積、あるいは面積の全体に対する割合があらかじめ予測できる場合に使用する。モード法は、絵柄領域と背景領域とからなる画像の場合、明度のヒストグラムが２つの山をもつことが多いことを利用し、明度のヒストグラムの谷の値を輪郭に相当する閾値として決定する手法である。微分ヒストグラム法は、明度のヒストグラムの形が急変する部分を利用して閾値を決定する手法である。判別分析法は、ある値ｆｔにて画像全体の明度のヒストグラムを２つのクラス（級）に分けた場合、級間分散÷（クラス１の級内分散＋クラス２の級内分散）の算出結果が最大となるときのｆｔをしきい値として決定する手法である。
【００２６】
また、一般的には判別分析法を用いると。陰影部と非陰影部とを区分しやすい。本実施の形態においても、法を使用した例について説明する。単に閾値を利用して２値化する２値化処理により認識対象物体を抽出しようとすると、非常に小さな領域までも抽出してしまい、この領域がノイズとなることがある。そのためノイズ除去を行う。ノイズ除去には、膨張収縮処理やラベリングによる小領域除去処理などがある（例えば上記非特許文献２を参照。）。
【００２７】
次に、ノイズを除去後の画像に対してラベリング処理を行い各認識対象物体を区別する。図６（ｂ）は、図６（ａ）の認識対象画像データ２１に対して輪郭抽出処理及びノイズ除去処理を行って作成された画像を示す図であり、図６（ｃ）は、図６（ｂ）の画像に対して対象図形毎に（１）〜（９）までのラベリング処理を実行して作成された輪郭画像データ２３である。（１）〜（９）までの９つの木の葉それぞれにラベルが付されている。
次に、輪郭画像作成処理（Ｓ１０１）で作成された輪郭画像データ２３をもとに、グラフ作成処理を実行する（Ｓ１０２）。このグラフ作成処理（Ｓ１０２）では、それぞれのラベル単位で処理を行い、輪郭画像データ２３上の各領域を認識・分類するために、まず当該画像データを多角形とその対角線で表した図形（以後「グラフ」と呼ぶことがある。）で表す。そして、各グラフの特徴量を計算し、後述するマハラノビス距離計算処理（Ｓ１０３）において、各グラフが対応する領域の認識・分類を行う。
【００２８】
図４は、グラフ作成処理（Ｓ１０２）の処理の詳細を示すフローチャート図である。グラフ作成処理（Ｓ１０２）では、グラフ画像データ作成処理（Ｓ２０１）、グラフ行列データ作成処理（Ｓ２０２）、特徴ベクトルデータ作成処理（Ｓ２０３）を順に実行する。まず、グラフ画像作成処理（Ｓ２０１）を実行する。
【００２９】
図５はグラフ画像データ作成処理（Ｓ２０１）の詳細を示すフローチャート図である。以下、図５のフローチャートを用いてグラフ画像データ作成処理（Ｓ２０１）を説明する。まず、入力装置３１から輪郭画像データ２３を入力する（Ｓ３０１）。次いで、輪郭画像データ２３上の各領域に特徴点をプロットする（Ｓ３０２）。図６（ｅ）は、図６（ｃ）の５番のラベル（５）の画像データに対してグラフ作成処理（Ｓ１０２）を実行して作成されたグラフ画像データ２４の例を示す図である。また、図６（ｄ）は、図６（ｅ）のグラフ画像データ２４を作成する過程で作成された画像である。図６（ｄ）に示すそれぞれの特徴点は、例えば図形の頂点や変曲点など、図形を特徴付ける点であり、この特徴点を辿っていくことにより図形をほぼ正確に再現できる点である。ここでは、予め決められた個数の特徴点を各領域の境界線上にプロットする。境界線のどの点に特徴点をプロットするかは任意であるが、図形の特徴をよく表す点にプロットすることが望ましい。図形の特徴を表す点としては、上記のように、例えば、境界線上の曲率の高い点や曲率ゼロ交点などがある。曲率の高い点は局所的な曲がりが最も大きい点（極値点）に対応し、曲率ゼロ交点は局所的な曲がりの無い変曲点に対応する。尚、曲線上の特徴点を抽出する技術に関しては、従来から様々な方法が提案されている（例えば上記非特許文献３〜６までを参照。）。
【００３０】
各特徴点を区別するため、これらの特徴点には境界線に沿って特徴点ＩＤを定義する。図６（ｄ）では、反時計回りに特徴点ＩＤ１〜特徴点ＩＤ２０までを定義している。但し、境界線に沿っていくのであれば、時計回りに定義しても良い。
【００３１】
次に、特徴点同士を特徴点ＩＤの順に直線で結合する（Ｓ３０３）。最小の特徴点ＩＤと最大の特徴点ＩＤの特徴点については、お互いを結合する。次に、各特徴点の対角線を描線する（Ｓ３０４）。但し、図形の内側領域だけを通る対角線だけを描線し、外側領域を通る対角線は描線しない。また、対角線は、内側領域のみを通るものは全て描線する。このようにして作成された画像を、グラフ画像データ２４と称する（図６（ｅ）参照）。
【００３２】
図４のフローチャートに戻り、グラフ行列データ作成処理を実行する（Ｓ２０２）。グラフ行列データ作成処理では、グラフ画像の各辺の長さと対角線の長さを、図７（ｃ）に示すような行列（グラフ行列）として表す。図７（ｃ）に示すように、グラフ行列の行と列とは、グラフ画像の特徴点ＩＤ１〜ｎまでに対応する。各成分は、行と列との特徴点ＩＤに対応する特徴点の距離（画素の数で表すことができる。）を表す。但し、対角線が引かれていない特徴点同士の距離と、グラフ行列の対角成分の距離と、は“０”とする。
具体的には、以下の式２が成り立つ。
【００３３】
【数２】
【００３４】
例えば、図７（ｃ）に示す一般的なグラフ行列の各成分Ｍ（ｉ，ｊ）を図７（ａ）に示すグラフ画像に適用した場合には、図７（ｂ）に示すようになる。グラフ画像は、特徴点の位置と順番とが決まれば一意に決まる画像である。また、グラフ行列からグラフ画像を再現することが可能である。つまり、グラフ画像とグラフ行列とは、一対一に対応している。但し、回転及び対象的な図形は同一図形とみなしている。このように、グラフ画像及びグラフ行列は、輪郭画像データ２３の各領域の形状を近似的に表す。
【００３５】
尚、本実施の形態では、グラフ行列を上記式２で定義して説明したが、グラフ行列は下記の式３のように対角成分に各特徴点の色情報を格納してもよい。
【００３６】
【数３】
【００３７】
より具体的には、認識対象画像データ２１上の各特徴点に対応する色情報を格納する。色情報は、輝度、彩度、色相のいずれかを含む。対角成分に色情報を格納してグラフ行列を定義することにより、認識対象物体の形状と色特徴との双方を考慮した精度の高い認識が可能となる。
【００３８】
次に、後述するマハラノビス距離計算処理（図２：Ｓ１０３）で使用する特徴ベクトルを作成する特徴ベクトルデータ作成処理を実行する（図４：Ｓ２０３）。輪郭画像データ２３（図１）の各領域の形状は、グラフ行列で表されるので、特徴ベクトルを特定するためには、図７（ｂ），（ｃ）に示すようなグラフ行列を用いる。ただし、グラフ行列において、対角成分はすべて０であり、また、対角成分を軸として各成分は対称である。具体的には、下記の式４が成り立つ。
【００３９】
【数４】
【００４０】
そのためグラフ行列の上三角成分又は下三角成分のみを特徴ベクトルとして用いれば良い。本実施の形態では、グラフ行列の上三角成分を特徴ベクトルとして使用した例について説明する。
【００４１】
図８（ａ）は、図７（ｃ）に示すグラフ行列に基づいた特徴ベクトルの例を示す図であり、あるサンプルの一行の特徴ベクトルの概略図である。輪郭画像データ２３をｎ角形で表した場合に、特徴ベクトルＦ（Ｎ）はｎ（ｎ−１）／２次元となる。この特徴ベクトルＦ（Ｎ）を各輪郭画像データ２３の領域で求め、特徴ベクトルデータ２６として図１に示す記憶装置２０に格納する。
【００４２】
図８（ｂ）は、特徴ベクトルＦ（Ｎ）の一行データの構成例をサンプル１〜ｋまでについて示す図である。このように、各サンプル１〜ｋまでについて、作成した特徴ベクトルデータ２６を記憶装置２０内に記憶しておくことができる。図２のフローチャートに戻り、次に、特徴ベクトルデータ２６と学習データ２２とを使用してマハラノビス距離計算処理を行う（Ｓ１０３）。ここで、マハラノビス距離とは、特徴ベクトルの存在分布、つまり、その特徴ベクトルの分散を考慮した距離である（例えば上記特許文献１を参照。）。
【００４３】
例えば、図９に示すように、グループ（Ａ）〜グループ（Ｃ）までが存在しているとき、２次元平面上に点として表される認識対象と、ある分散σを有するグループ（Ａ）、グループ（Ｃ）までのマハラノビス距離は相対的に長く、グループ（Ｂ）までのマハラノビス距離は相対的に短いことがわかる。このことから、マハラノビス距離を用いることにより、ユークリッド距離では認識できない図９に示すような不均一なグループの存在分布を有する場合でも、パターン認識をより正確に行うことができる。
【００４４】
学習データ２２は、認識結果となる各グループの画像の特徴ベクトルを多数登録しているデータである。学習データ２２は、図４を参照しながら説明したように、認識対象画像データ２１から特徴ベクトルデータ２６を作成する場合と同様の方法で作成することができる。
【００４５】
また、学習データ２２はグループ毎に保存する。図１０にその具体例を示す。図１０（ａ）のグラフ画像から特徴点ＩＤを反時計回りにずらしたパターン（例えば図１０（ｂ）、（ｃ）、（ｄ）。）を元のグラフ画像を含めて特徴点の数だけ作成し、これらのパターンから、それぞれのグラフ行列データ２５を作成し、それぞれのグラフ行列データ２５から特徴ベクトルを求める。学習データの場合には、上記図１０のように、ＩＤをずらしてデータを作成する必要がある。形状は同じでも番号に付与に仕方によりグラフ行列が異なってしまうからである。例えば、２０角形では２０通りのパターンが必要となる。
【００４６】
図１１は、グループＡの学習用画像からグループＡの学習データを求める例を示す図である。グループＡの学習用原画像（図１１（ａ），（ｂ），（ｃ））から、それぞれの輪郭画像を作成し、各輪郭画像からグラフ画像を作成し、各グラフ画像から特徴点ＩＤを変更したパターンのグラフ画像を特徴点の数だけの個数を作成し（図１１では特徴点の数が２０個）、各グラフ画像から特徴点ベクトルを作成し、グループＡの学習データ２２（図１１（ｄ））として記憶装置２内に格納する。図に示すように、画像１の特徴点が２０であり、それぞれの特徴点に関して特徴ベクトルを図８（ｂ）と同様にして求めることができる。尚、後述するマハラノビス距離ＭＤを算出する際には、各特徴ベクトルの平均と分散とが必要であるため、図１１（ｄ）では平均と分散との算出例を示している。ＦＡ１ａｖｇは、サンプルＮ＝１の特徴ベクトルの平均値であり、以下、サンプルＮ＝１〜ｍまでのそれぞれについて画像の特徴ベクトル毎の平均値をそれぞれ求めることができる。特徴ベクトル毎の分散もそれぞれ求めることができる。このようにして得られた平均と分散とが図９に例示されている。
【００４７】
下記の式５に、ｍ次元で表されるデータに対するマハラノビス距離ＭＤの算出式を示す。
【００４８】
【数５】
【００４９】
但し、Ｆ１〜Ｆｍは認識対象画像の特徴ベクトルであり、Ｆ１ａｖｇ〜Ｆｍａｖｇは、各グループの学習データにおける各特徴ベクトルの平均値である。Ｆはｍ個の特徴ベクトルと、上記特徴ベクトルの平均値との差を示す。また、Ｓは各グループの学習データの特徴ベクトルにおける分散共分散行列であり、対角成分は分散、その他の成分は共分散を表す。
【００５０】
図１２は、グループＡの学習データの分散共分散行列ＳＡの例を示す図である。ＳＡｉは、グループＡの学習データにおける特徴ベクトルＦ（ｉ）Ａの分散であり、ＳＡｉ，ｊは、グループＡの学習データにおける特徴ベクトルＦ（ｉ）ＡとＦ（ｊ）Ａとの共分散である。以下、マハラノビス距離ＭＤの計算例を示す。ある認識対象画像の特徴ベクトルＦｘを式６で表す。
【００５１】
【数６】
【００５２】
また、ＦＸとグループＡの特徴ベクトルの平均値ＦＡとの差ＦＸＡは、式７で表される。
【数７】
【００５３】
このＦｘに対するグループＡのマハラノビス距離ＭＤＡは、前述したＳＡを用いると、式８により算出される。
【００５４】
【数８】
【００５５】
同様にして、各グループＢ、Ｃ、…のマハラノビス距離ＭＤＢ、ＭＤＣ、…を算出する。このようにして、すべてのグループに対するマハラノビス距離を求め、マハラノビス距離が最小となった場合のグループをパターンの類似度が高いグループとし、認識対象画像の認識結果とする。この認識結果データ２７を図１に示す記憶装置２０内に格納する。
【００５６】
但し、最小のマハラノビス距離が、あらかじめ決めた閾値よりも大きければ、該当するグループは無しと判定する。
【００５７】
図２のフローチャート図に戻り、認識結果出力処理を行い（Ｓ１０４）、認識対象画像データ２１に対応する特徴ベクトルデータ２６の、各グループとのマハラノビス距離の計算結果と認識結果とを出力する。サンプルと各グループとのマハラノビス距離を計算し、そのうちの最小のマハラノビス距離をそのサンプルの認識結果とすることができる。但し、前記最小のマハラノビス距離があらかじめ決めた閾値よりも大きければ、該当するグループはないとして該当無と出力する。
【００５８】
以上に説明したように、本実施の形態による画像認識技術によれば、マハラノビス距離を用いることにより、ユークリッド距離では認識できない不均一なグループの存在分布を有する場合でも、パターン認識をより正確に行うことができるため、認識対象の画像と学習データとの微妙な形状のずれや回転の影響を考慮し認識対象の画像の特徴を詳細に認識することができる。また、認識対象の画像と学習データとの微妙な形状のずれや回転等の影響を受けづらいため、的確な画像認識を行うことができるという利点がある。
【００５９】
尚、本実施の形態によるパターン認識技術に適した対象としては、限定的なものではないが、捕虫紙に捕獲された昆虫、或いは、上空から撮影した写真における動物、或いは、植物の種子、或いは、顕微鏡で撮影した微生物、或いは、上空から撮影した写真における樹木、などが挙げられる。
【図面の簡単な説明】
【００６０】
【図１】本発明の一実施の形態による画像認識システムの一構成例を示す機能ブロック図である。
【図２】本実施の形態による画像認識処理全体の概略的なフローチャート図である。
【図３】一般的なテンプレートマッチングの概略を示す図である。
【図４】輪郭画像作成処理の流れを示すフローチャート図である。
【図５】グラフ画像データ作成処理の流れを示すフローチャート図である。
【図６】認識・分類に用いる画像データの例を示す図である。図６（ａ）は認識対象画像データの例であり、図６（ｂ）は輪郭画像データの例であり、図６（ｃ）は輪郭画像データの各領域をラベリングしたデータの例であり、図６（ｄ）、（ｅ）はグラフ画像データの図である。
【図７】グラフ行列の説明をするための図であり、図７（ａ）はグラフ行列の元となる図であり、図７（ｂ）は図７（ａ）のグラフ行列であり、図７（ｃ）はグラフ行列の一般式である。
【図８】特徴ベクトルに関する明図であり、図８（ａ）はあるサンプルの特徴ベクトルの一般式であり、図８（ｂ）はサンプル１〜サンプルｋまでの特徴ベクトルの一般式である。
【図９】マハラノビス距離の説明をするための概略図である。
【図１０】図１０（ａ）のグラフ画像と、これから特徴点ＩＤを反時計回りにずらしたパターン（図１０（ｂ）、（ｃ）、（ｄ）。）を示す図である。
【図１１】学習データを示す図であり、図１１（ａ）、図１１（ｂ）、図１１（ｃ）は、それぞれグループＡの画像１、２、３の画像である。図１１（ｄ）はグループＡの学習データを示す表である。
【図１２】グループＡの分散共分散行列の例を示す図である。
【符号の説明】
【００６１】
Ｍ（ｉ，ｊ）…グラフ行列のｉ行ｊ列成分、Ｆ（ｉ）…特徴ベクトルのｉ番目の成分
ＦＡｉａｖｇ…Ａグループの特徴ベクトルのｉ番目の成分の平均
ＳＡｉ …グループＡの学習データにおける特徴ベクトルＦ（ｉ）Ａの分散
ＳＡｉ，ｊ …グループＡの学習データにおける特徴ベクトルＦ（ｉ）ＡとＦ（ｊ）Ａとの共分散
【特許請求の範囲】
【請求項１】
画像内の認識対象とする領域を抽出したパターン認識対象領域を、該パターン認識対象領域を特徴付ける特徴点により画定される多角形と該多角形の対角線からなるグラフで表し、各グラフの辺の長さと対角線の長さとを特徴ベクトルとして表すグラフ作成ステップと、
パターン認識対象候補の前記特徴ベクトルを複数保持する学習データと、前記グラフ作成ステップにおいて作成した前記パターン認識対象領域の特徴ベクトルとの、該特徴ベクトルの分散を考慮した距離を計算する距離計算ステップと
をコンピュータに実行させるためのパターン認識用プログラム。
【請求項２】
前記グラフ作成ステップは、
前記グラフに基づいて前記特徴点を識別する特徴点ＩＤを順番にずらしたパターンを元のグラフを含めて前記特徴点の数だけ作成し、これらのパターンから、それぞれのグラフに関する行列であるグラフ行列データを作成し、それぞれの前記グラフ行列データから特徴ベクトルを求めるステップを含むことを特徴とする請求項１に記載のパターン認識用プログラム。
【請求項３】
前記グラフ作成ステップは、
前記画像中の前記パターン認識対象領域を複数の多角形で表し、該多角形内の内側領域の対角線を結合してできるグラフを作成するステップを含むことを特徴とする請求項１又は２に記載のパターン認識用プログラム。
【請求項４】
前記グラフ作成ステップは、
前記画像中のすべての前記パターン認識対象領域を同一頂点数の多角形で表し、該多角形内の内側領域の対角線をすべて結合してできるグラフを作成するステップを含むことを特徴とする請求項１又は２に記載のパターン認識用プログラム。
【請求項１】
画像内の認識対象とする領域を抽出したパターン認識対象領域を、該パターン認識対象領域を特徴付ける特徴点により画定される多角形と該多角形の対角線からなるグラフで表し、各グラフの辺の長さと対角線の長さとを特徴ベクトルとして表すグラフ作成ステップと、
パターン認識対象候補の前記特徴ベクトルを複数保持する学習データと、前記グラフ作成ステップにおいて作成した前記パターン認識対象領域の特徴ベクトルとの、該特徴ベクトルの分散を考慮した距離を計算する距離計算ステップと
をコンピュータに実行させるためのパターン認識用プログラム。
【請求項２】
前記グラフ作成ステップは、
前記グラフに基づいて前記特徴点を識別する特徴点ＩＤを順番にずらしたパターンを元のグラフを含めて前記特徴点の数だけ作成し、これらのパターンから、それぞれのグラフに関する行列であるグラフ行列データを作成し、それぞれの前記グラフ行列データから特徴ベクトルを求めるステップを含むことを特徴とする請求項１に記載のパターン認識用プログラム。
【請求項３】
前記グラフ作成ステップは、
前記画像中の前記パターン認識対象領域を複数の多角形で表し、該多角形内の内側領域の対角線を結合してできるグラフを作成するステップを含むことを特徴とする請求項１又は２に記載のパターン認識用プログラム。
【請求項４】
前記グラフ作成ステップは、
前記画像中のすべての前記パターン認識対象領域を同一頂点数の多角形で表し、該多角形内の内側領域の対角線をすべて結合してできるグラフを作成するステップを含むことを特徴とする請求項１又は２に記載のパターン認識用プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２００７−１８３７１１（Ｐ２００７−１８３７１１Ａ）
【公開日】平成１９年７月１９日（２００７．７．１９）
【国際特許分類】
【出願番号】特願２００６−１７６（Ｐ２００６−１７６）
【出願日】平成１８年１月４日（２００６．１．４）
【出願人】（０００２３３０５５）日立ソフトウエアエンジニアリング株式会社 (1,610)
【Ｆターム（参考）】
【公開日】平成１９年７月１９日（２００７．７．１９）
【国際特許分類】
【出願日】平成１８年１月４日（２００６．１．４）
【出願人】（０００２３３０５５）日立ソフトウエアエンジニアリング株式会社 (1,610)
【Ｆターム（参考）】
[ Back to top ]