画像分類学習処理システム及び画像識別処理システム
【課題】 画像のクラス分類学習処理システム及びその学習結果を用いた画像識別処理システムであって、画像の解像度の違い、対象物体の変化、オクルージョンや環境の突然な変化などに対してロバストなクラス分類学習及び画像識別を行うことができるシステムを提供する。
【解決手段】 画像の大きさに比べて十分に小さく予め定められた形状の領域（窓）を、この窓が画像全体を覆うように設定し、各窓から画像の小領域を切り出した部分画像の集合を作成し、切り出されたすべての部分画像同士の間にそれらの間の非類似度に相当するような順序関係を定義し、この順序関係のみに基づいて各部分画像を任意の距離空間における点へと写像し、写像された距離空間における点の位置座標ベクトルの直積又はテンソル積を画像についての特徴量として用いて、画像のクラス分類学習およびクラス識別を行う。
【解決手段】 画像の大きさに比べて十分に小さく予め定められた形状の領域（窓）を、この窓が画像全体を覆うように設定し、各窓から画像の小領域を切り出した部分画像の集合を作成し、切り出されたすべての部分画像同士の間にそれらの間の非類似度に相当するような順序関係を定義し、この順序関係のみに基づいて各部分画像を任意の距離空間における点へと写像し、写像された距離空間における点の位置座標ベクトルの直積又はテンソル積を画像についての特徴量として用いて、画像のクラス分類学習およびクラス識別を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の特徴量に注目した画像分類学習処理システム及びその学習結果を利用した画像識別処理システムに関するものである。
【背景技術】
【０００２】
画像のクラス分類を学習し、その学習結果に基づいて画像中の対象物体を識別するための方法として、画像を特徴付ける情報（特徴量）に基づくものがある。このような方法では、特徴量を入力としクラスを出力とするパラメタ表示された写像（クラス識別写像）を用いるが、そのクラス識別写像のパラメタは、既にクラス分類されている学習用画像を教師データ（モデル）として与え、この学習用画像に対する経験リスクが最小化されるようにして定義され（ニューラルネットワーク）、あるいは構造リスクを最大化するようにして定義される（サポートベクターマシン）。いずれの場合にも、画像からヒューリスティックな方法で抽出された特徴量を用いている。ところが、このようにして抽出される特徴量が画像を分類及び識別するにあたって最適な基準となるかどうかは自明ではないので、客観的な評価に基づいて真に最適な特徴量を求めることが重要である。
【０００３】
特徴量に基づいて画像のクラス分類を学習し、対象物体を識別するプロセスにおいては、統計的手法によって有用な特徴量を抽出するアプローチが知られている。特に、画像から線形変換によって得られるような特徴量を抽出するものとして、（１）主成分分析（Principal Component Analysis；PCA）や重判別分析（Multiple Discriminant Analysis；MDA）を用いるものなどが一般的である。例えば、特許文献１や特許文献２には、適応学習型汎用画像計測方法及び適応学習型汎用画像計測装置が記載されている。ところが、対象物体や背景（環境）の条件などによっては、線形性の仮定が成り立たないこともあり、画像からの線形変換によって常に画像の分類及び識別に有用な特徴量が得られるとは限らない。このような場合に対処する方法としては、（２）ニューラルネットワークや非線形変換を行った後に主成分分析を行う方法がある。但し、これらの手法では、非線形変換の形を予め仮定する必要があるが、抽出すべき特徴量が予め仮定した非線形変換と異なる場合には、適切な特徴量を得ることができない。そこで、どのような非線形変換を行うかを予め仮定しない手法として、（３）自己組織化写像（Self-Organizing Maps；SOM）を用いる手法や、計量的多次元尺度構成法（Multi Dimensional Scaling；MDS）などのクラスタリングを行う手法がある。例えば、特許文献３には、特徴空間の階層的クラスタリングを行う類似画像表示方法が記載されている。
【特許文献１】特許第２９８２８１４号公報。
【特許文献２】特許第２８３４１５３号公報。
【特許文献３】特開２０００−３１１２４６号公報。
【非特許文献１】田口善弘他，2001年，「非計量多次元尺度構成法への期待と新しい視点」，統計数理第49巻第1号，p133-153。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来技術（１）で説明した手法では、特徴量が画像情報に関する線形変換として与えられることを仮定しているが、そのような仮定が一般的に成り立つとは限らないので、適用できる対象が限られてしまうという問題がある。
【０００５】
また、従来技術（２）で説明した手法では、非線形変換によって得られる特徴量を扱うことができるが、抽出すべき特徴量が予め仮定した特徴量と異なる場合には、適切な結果を得ることができないという問題がある。
【０００６】
また、従来技術（３）で説明した手法では、非線形変換を予め仮定する必要はないが、特徴量の成す空間に計量を与えなければならず、解析結果はこの計量に大きく影響される。しかしながら、求めるべき特徴空間に計量をどのように与えれば良いかは自明ではないので、設定した計量が不適切であった場合には、精度が悪くなるという問題がある。さらに、SOMの場合には、特徴空間が離散的な格子によって表されるため、離散化に伴う誤差が大きく影響する可能性がある。
【０００７】
また、画像処理において、画像計測装置による解像度などの違い、対象物体の変化、オクルージョンや環境（背景）の突然の変化などによるノイズが発生するが、これらは統計的に扱うことは困難である。上記した従来技術はずれもデータを計量的に扱っているため、このようなノイズの発生に対するロバスト性が低いという問題がある。また、このような大きなノイズの影響を画像に対する前処理において十分に補正することも困難である場合が多い。
【０００８】
さらに、MRI画像のような３次元画像に対して、従来の手法を適用する際には、特徴量を抽出するために、一度、２次元の断面画像を取ってから解析を行い、再度３次元の情報に組み直す必要性があるが、このような場合には、断面間のグローバルな特徴を抽出するのが困難である。また、近年のMRI画像計測技術の発展によって、テンソル値の３次元画像を取得することも出来るようになっているが、テンソル値（行列値）のデータは色相や輝度のようなデータとは異なり、各成分自体の値よりも、行列式、固有値およびトレースなどの量の方に本質的な意味があり、従来手法のような平均輝度やエッジ強度のような特徴量は有効な特徴量とはならない場合が多い。
【０００９】
本発明は、このような従来技術における問題点に鑑みてなされたものであり、画像のクラス分類学習処理システム及びその学習結果を用いた画像識別処理システムであって、適切な特徴量をより客観的な規準によって抽出することにより、画像の解像度の違い、対象物体の変化、オクルージョンや環境の突然な変化などに対してロバストなクラス分類学習及び画像識別を行うことができるシステムを提供しようとするものである。
【課題を解決するための手段】
【００１０】
本発明者は、上記の課題を解決するために、まず画像の大きさに比べて十分に小さく予め定められた形状の領域（窓）を、この窓が画像全体を覆うように設定し（窓はお互いに重なりあっても良いし、重なりがないようにしても良い）、それぞれの窓から画像の小領域を切り出した部分画像の集合を作成し、切り出されたすべての部分画像同士の間にそれらの間の非類似度（あるいは類似度）に相当するような順序関係を定義し、この順序関係のみに基づいて各部分画像を任意の距離空間における点へと写像し、このようにして写像された距離空間における点の位置座標ベクトルの直積又はテンソル積を画像についての特徴量とすることにより、統計的に客観的であり、かつ、ノイズ、環境変動、画像中の識別対象のオクルージョンなどに対してロバストである画像のクラス分類学習およびクラス識別を行うことができることに想到した。
【００１１】
従来技術で説明した手法に比べ、本発明では、特に、従来技術（１）で説明した手法に比べ、写像元における非類似度あるいは類似度といった量の間の順序関係のみを使用すること、順序関係のみが大切なので、ノイズや環境の明るさの変動などに対してロバスト性が高いこと、先の非類似度あるいは類似度のスケールの選び方にも依存しないため、写像先の空間における距離スケールすなわち計量の定義に影響されずに、精度高く写像を構成することができること、かつ写像が非線形であっても適用することができること、さらに、従来技術（２）で説明した手法に比べ、予め非線形写像の形を決めておく必要がないため、任意の形の非線形写像を構成することができること、また、従来技術（３）で説明した手法に比べ、写像先の空間は連続空間として扱うことができ、自己組織化写像のように空間を離散化することによる写像の精度の悪化はないこと、かつ、距離スケールすなわち計量の定義に依存しないため、自己組織化写像及び計量的多次元尺度構成法のように精度良く写像を構成するためには、距離スケールを非常に正確に調整しなければならないというような問題に影響されなくなることに特徴を有している。
【００１２】
さらに、ノイズ削除、輝度補正、背景変動補正などの画像に対する前処理を実行しなくとも、これらの影響を受けずに処理を行うことが出来るため、計算コストを大きく削減することが可能であることにおいても特徴を有している。
【００１３】
さらに、MRI画像のような３次元画像に対しても、本発明では、３次元画像を２次元の断面に分割する必要性はなく、３次元画像のまま、解析を行うことが可能であり、また、近年のMRI画像計測技術の発展によって、テンソル値の３次元画像を取得することも出来るようになっているが、このようなテンソル値のデータであっても客観的に本質な特徴量を抽出することができるようになることにおいても特徴を有している。
【００１４】
以上のような特徴を実現するための手段として、本発明は、画像のクラス分類を学習するシステムであって、学習用画像の対象領域に対して、該対象領域全体を覆うようにして１以上の所定形状の窓領域を設定する窓領域設定手段と、前記各窓領域に含まれる部分画像の集合から、互いに異なる２つの部分画像の組を生成し、各組の部分画像間における類似度又は非類似度を、各部分画像から抽出される特徴量に基づいて計算する部分画像間類似度計算手段と、前記部分画像間の類似度又は非類似度に基づいて前記各部分画像の組の間での順序関係を決定する第１の順序関係決定手段と、前記各部分画像の組の間で決定された順序関係が保存されるようにして、前記各部分画像を第１の距離空間上に写像する第１の写像手段と、前記第１の距離空間に写像された各点の位置座標の直積又はテンソル積を各学習用画像の第１種特徴量とし、各学習用画像の第１種特徴量に基づいて、画像間の非類似度又は類似度を計算する画像間類似度計算手段と、前記学習用画像間の非類似度又は類似度に基づいて前記各学習用画像の組の間での順序関係を決定する第２の順序関係決定手段と、前記各学習用画像の組の間で決定された順序関係が保存されるようにして、前記各学習用画像を第２の距離空間上に写像する第２の写像手段と、前記第２の距離空間に写像された各点の位置座標ベクトルを各学習用画像の第２種特徴量とし、前記第２の距離空間上に写像された点から、前記第２の距離空間における距離又は分布密度に基づいてクラスタを構成するクラスタリング手段と、各クラスタをクラス分類するとともに、各クラスタに属する点に対応する学習用画像を前記第２の写像手段による写像の逆写像によって求めることにより、各学習用画像がどのクラスに属するかを判定するクラス分類判定手段と、を含むことを特徴とするシステムを提供するものである。
【００１５】
本発明のシステムにおいて、前記クラスタリング手段は、全クラスタ数を予め指定せず、あるいは、全クラスタ数を予め指定してクラスタリングを行うことを特徴とする。
【００１６】
本発明は、また、上記の画像クラス分類学習システムにおいて、学習用画像について計算された第１特徴量及び第２特徴量と、クラス分類の判定結果とを予め記憶しておき、前記画像間類似度計算手段により、前記入力画像の第１種特徴量を計算し、該第１種特徴量と学習用画像の第１種特徴量とを用いて、前記入力画像と前記学習用画像との間の非類似度又は類似度を計算し、前記第２の順序関係決定手段により、該非類似度又は類似度に基づいて前記入力画像と前記学習用画像との間の順序関係を決定し、前記第２の写像手段により、前記入力画像と前記学習用画像との間で決定された順序関係が保存されるようして、前記入力画像を第２の距離空間上に写像し、前記画像間類似度計算手段により、前記入力画像が前記第２の距離空間に写像された各点の位置座標ベクトルを前記入力画像の第２種特徴量とし、前記入力画像の第２種特徴量と前記記憶してある学習用画像の第２特徴量との間の非類似度又は類似度を計算し、該非類似度又は類似度に基づいて、入力画像が学習用画像のいずれのクラスに該当するかを識別することを特徴とするシステムを提供するものである。
【００１７】
本発明は、また、上記の画像クラス分類学習システムにおいて、学習用画像について計算された第１特徴量及び第２特徴量と、クラス分類の判定結果とを予め記憶しておき、前記画像間類似度計算手段により、前記入力画像の第１種特徴量を計算し、該第１種特徴量と学習用画像の第１種特徴量とを用いて、前記入力画像と前記学習用画像との間の非類似度又は類似度を計算し、前記第２の順序関係決定手段により、該非類似度又は類似度に基づいて前記入力画像と前記学習用画像との間の順序関係を決定し、前記第２の写像手段により、前記入力画像と前記学習用画像との間で決定された順序関係が保存されるようして、前記入力画像を第２の距離空間上に写像し、前記第２の距離空間において前記入力画像が写像された点と距離が近い順に所定数の学習用画像を選択し、選択された学習用画像のうち最も多くの学習用画像が属するクラスを入力画像のクラスとして識別することを特徴とするシステムを提供するものである。
【００１８】
本発明は、また、上記の画像クラス分類学習システムにおいて、クラス分類済みの学習用画像の第１種特徴量を計算し、該第１種特徴量を入力して得られるクラス分類判定結果と、クラス分類済み学習用画像のクラスとの差に関する関数を全てのクラス分類済み学習用画像について足し上げた誤差関数を算出し、該誤差関数が最小化されるように前記第２の写像手段による写像のパラメタを定めることを特徴とする。
【００１９】
本発明のシステムにおいて、前記第２の写像手段による写像は、ニューラルネットワークを用いて構成されることを特徴とする。
【００２０】
本発明は、また、上記のシステムにおいて、さらに、入力画像の第１種特徴量を計算し、該第１種特徴量を入力して得られるクラス分類判定結果に従って前記入力画像のクラスを識別することを特徴とするシステムを提供するものである。
【００２１】
本発明は、また、上記のシステムにおいて、クラス分類済みの学習用画像の第１種特徴量を計算し、該第１種特徴量を入力して得られるクラス分類判定結果における各クラスについて、クラス分類済み学習用画像をそのクラスに属する群と他のクラスに属する群とに分け、それぞれの群について、各学習用画像の第１特徴量を第３の距離空間に写像し、その写像された像を第３種特徴量とし、該第３種特徴量に関する線形な判別関数であって、一方の群に属する学習用画像の第３特徴量に関しては、前記判別関数の値がある定められた正の定数以上の値となり、他方の群に属する学習用画像の第３特徴量に関しては、前記判別関数の値が前記正の定数と絶対値が等しい負の定数以下の値となり、かつ、前記判別関数の値を０と置いた方程式により表される第３の距離空間上の超平面と各学習用画像の第３特徴量との間の距離を最小化するようパラメタをとった判別関数を定めることを特徴とするシステムを提供するものである。
【００２２】
本発明は、また、上記のシステムにおいて、入力画像の第１種特徴量を計算し、該第１種特徴量から得られる第３種特徴量についての前記判別関数の値が最大値となることを基準として、前記入力画像のクラスを識別することを特徴とするシステムを提供するものである。
【００２３】
本発明のシステムにおいて、前記第３の距離空間への写像は、サポートベクターマシン、非線形サポートベクターマシン又はカーネルサポートベクターマシンを用いて構成されることを特徴とする。
【００２４】
本発明のシステムにおいて、前記クラスタリング手段は、混合確率分布を用いた尤度あるいは対数尤度最大化する処理、事後確率を最大化する処理、あるいは予め与えられた事前分布に基づく期待値を計算する処理のいずれかの処理を実行することを特徴とする。
【００２５】
本発明のシステムにおいて、前記クラスタリング手段は、混合ガウス分布に関する最尤推定法、事後確率最大化法あるいはベイズ推定法を適用することによって定まる各ガウス成分が１つのクラスを表すとし、各部分画像が属するクラスタをその部分画像に対応する距離空間における点の各ガウス成分に関するマハラノビス距離が最小となるガウス成分として定めることを特徴とする。
【００２６】
本発明のシステムにおいて、前記クラスタリング手段は、初期状態として全データを含む１つのクラスタから開始し、同じクラスタに属する２点間の距離が最大となる２点組を選択し、その距離が予め定められた閾値以上である場合に、そのクラスタを２分し、選択された２点をそれぞれのクラスタの種とし、同じクラスタに属していた全ての点に関して、これらのクラスタの種との間の距離を計算し、距離が小さい方のクラスタに属するように分類する処理を各クラスタにおけるクラスタ分割条件が満たされなくなるまで実行する分割クラスタリングを適用することを特徴とする。
【００２７】
本発明のシステムにおいて、前記クラスタリング手段は、K-最近接法又はK-平均法を実行するクラスタリングを行うことを特徴とする。
【００２８】
本発明のシステムにおいて、前記第１の写像手段及び第２の写像手段のうち少なくとも一方は、前記部分画像／学習用画像の組の間で決定された順序関係のみに基づいて写像を行うことを特徴とする。
【００２９】
本発明のシステムにおいて、前記第１の写像手段及び第２の写像手段のうち少なくとも一方は、前記部分画像／学習用画像の組の間で決定された順序関係に基づいて各部分画像／学習用画像の組に自然数による番号付けを行い、それらの番号の差の大きさのみに基づいて写像を行うことを特徴とする。
【００３０】
本発明のシステムにおいて、前記第１の写像手段及び第２の写像手段のうち少なくとも一方は、前記部分画像／学習用画像の組が前記第１の距離空間／第２の距離空間に写像された点の組の２点間距離を計算するとともに、前記写像された点の組について補助距離の大小関係によって定められる順序関係が、前記部分画像／学習用画像の組の間で決定された順序関係と一致するようにして、前記２点間距離の補助距離を計算し、前記写像される点の組における２点間距離と補助距離との差の自乗を全ての前記写像される点の組について足し合わせた値が最小化されるようにして写像を行うことを特徴とする。
【００３１】
本発明のシステムにおいて、各組の部分画像間における類似度又は非類似度は、各部分画像上の各画素の位置情報と、画素上の色相又は濃淡値とを与える関数の汎関数として定義されていることを特徴とする。
【００３２】
本発明のシステムにおいて、各組の部分画像間における類似度又は非類似度は、画像が画像間の差分又はマッチングによって生成された差分画像、オプティカルフロー画像、ステレオ画像のいずれかである場合には、各部分画像上の各画素の位置情報と、画素上の差分値、ベクトル値又は距離値とを与える関数の汎関数として定義されていることを特徴とする。
【００３３】
本発明のシステムにおいて、各組の部分画像間における類似度又は非類似度は、各部分画像上の各画素の位置情報と、画素上の色相又は濃淡値とについてのヒストグラム関数の汎関数として定義されていることを特徴とする。
【００３４】
本発明のシステムにおいて、各組の部分画像間における類似度又は非類似度は、各部分画像上の各画素の位置情報と、画素上の色相又は濃淡値とを与える関数に画像上の空間座標に関する微分演算子を作用させることで得られるベクトル値関数に関する汎関数として定義されていることを特徴とする。
【００３５】
本発明のシステムにおいて、各組の部分画像間における類似度又は非類似度は、各部分画像上の各画素の位置情報と、画素上の色相又は濃淡値とを与える関数に画像上の空間座標に関する積分演算子を作用させることで得られる関数に関する汎関数として定義されていることを特徴とする。
【００３６】
本発明のシステムにおいて、各組の部分画像間における類似度又は非類似度は、各部分画像上の各画素の位置情報と、画素上の色相又は濃淡値とを与える関数に画像上の空間座標に関する微分演算子をさせることで得られるベクトル値関数を引数とする２階テンソル値関数に関して、その各成分に画像上の空間座標に関する積分演算子を作用させることで得られる２階テンソル値関数に関する汎関数として定義されていることを特徴とする。
【００３７】
本発明のシステムにおいて、各組の部分画像間における類似度又は非類似度は、各部分画像上の各画素の位置情報と、画素上の色相又は白黒の濃淡値とを与える関数の自己相関関数に関する汎関数として定義されていることを特徴とする。
【００３８】
本発明のシステムにおいて、各組の部分画像間における類似度又は非類似度は、各部分画像上の各画素の位置情報と、画素上の色相又は濃淡値とを与える関数に画像上の空間座標に関する微分演算子を作用させることで得られるベクトル値関数に関する自己相関関数に関する汎関数として定義されていることを特徴とする。
【発明の効果】
【００３９】
以上、説明したように、本発明の画像分類学習処理システム及び画像識別処理システムによれば、客観性の高い規準に従って画像が持つ統計的な特徴量が抽出されるので、この特徴量を用いて対象画像のクラス分類の教師あり学習又は教師なし学習処理やクラス識別処理を行うと、画像に含まれる対象物体の違い、変化、オクルージョン及び環境の変動に対してロバスト性が高い画像処理を行うことができる。また、そのロバスト性の高さから、画像の解像度の違いや、各種の統計的又は非統計的なノイズ、環境の状態の大きな変化があっても、特別な前処理を行う必要はないため、広範囲の対象画像について適用することができる。
【００４０】
また、３次元以上の画像中における空間的な構造を特徴づける特徴量を抽出することができるようになる。さらには、テンソル値（行列値）の画像（２次元及び３次元以上）であっても、画像を特徴づける特徴量を抽出することができるようになる。
【発明を実施するための最良の形態】
【００４１】
以下、添付図面を参照しながら、本発明の画像分類学習処理システム及び画像識別処理システムを実施するための最良の形態を詳細に説明する。図１〜図１３は、本発明の実施の形態を例示する図であり、これらの図において、同一の符号を付した部分は同一物を表わし、基本的な構成及び動作は同様であるものとする。
【００４２】
図１は、本発明の一実施形態として構築される画像クラス分類学習及び画像認識を行う画像処理システムの内部構成を概略的に示す機能ブロック図である。この画像処理システムは、画像データを保存する記録装置１００、ユーザに対するインタフェース画面や画像データを分類又は認識した結果などを表示するための表示装置１０１、ユーザからの操作入力を受け付けるためのキーボード１０２とマウスなどのポインティングデバイス１０３、画像クラス分類学習及び画像認識に必要な演算処理、制御処理等を行う中央処理装置１０４、画像クラス分類学習及び画像認識の処理に必要なプログラムを格納するプログラムメモリ１０５、処理の対象となる画像データ１１０を格納するデータメモリ１０６を備えている。
【００４３】
プログラムメモリ１０５は、データ入出力ユニット１１１、画像特徴量抽出ユニット１１２、教師なし画像クラス分類・識別ユニット１１３、教師あり画像クラス分類・識別ユニット１１４、データ記憶ユニット１１５を含んでいる。これらのプログラムユニットの機能ブロック図を図２に示す。
【００４４】
図２において、プログラムメモリ１０５のデータ入出力ユニットは、画像入力処理部Ｂ１、クラス識別結果出力部Ｂ１３、クラス分類結果出力処理部Ｂ１５を含んでおり、画像特徴量抽出ユニット、データ記憶ユニットは、画像処理部Ｂ２、部分画像構成処理部Ｂ４、部分画像間非類似度計算処理部Ｂ５、順序関係保存写像構成処理部Ｂ６、画像間非類似度計算処理部Ｂ８を含んでおり、教師なし画像クラス分類・識別ユニットは、クラスタリング処理部Ｂ１０、クラス識別処理部Ｂ１２、クラス識別写像構成処理部Ｂ１４を含んでおり、教師あり画像クラス分類・識別ユニットは、学習処理部Ｂ１６、識別処理部Ｂ１９を含んでおり、データ記憶ユニットは、入力画像記憶部Ｂ３、第１種特徴量記憶部Ｂ７、第２種特徴量記憶部Ｂ９、クラスタデータ記憶部Ｂ１１、学習器パラメタ記憶部Ｂ１７、学習器状態記憶部Ｂ１８、を含んでいる。
【００４５】
以下において、これらの処理部における処理を詳細に説明する。まず、教師なしで画像クラス分類学習及び画像認識を行う処理について説明し、続いて、教師ありで画像クラス分類学習及び画像認識を行う処理について説明する。
【００４６】
画像入力処理部Ｂ１は、記録装置１００などから処理対象となる画像データをデータメモリ１０６に取得する。以下においては、２次元画像を処理対象とする場合について説明するが、本発明の画像処理システムでは３次元画像であってもこれと同様に処理を実行することができる。
【００４７】
画像処理部Ｂ２は、取得した対象画像がカラー画像である場合には、グレースケール画像への変換、輝度正規化、ヒストグラム平滑化、サイズ変更、ノイズ低減などの各種フィルタリング処理を行うものとする。但し、これらの画像処理は必ずしも行う必要があるものではなく、画像入力処理部Ｂ１により取得した画像データをそのまま用いて以下の処理を行ってもよい。従来技術では、ここで輝度の正規化処理などを行わないと以下の処理に重大な影響を与えることとなるが、本発明の画像処理システムは、ここで輝度の正規化処理を行わなくとも以下の処理に問題が生じないという点でロバスト性が高いシステムである。ここでは、取得した画像データはRGB値で表されるカラー画像データであり、画像処理部Ｂ２では特に上記したような画像処理を行わないものとする。画像処理部Ｂ２による処理後の画像は、入力画像記憶部Ｂ３により記憶される。
【００４８】
部分画像構成処理部Ｂ４は、画像データ全体を覆うように窓を設定して、複数の部分画像を構成する。ここで、画像データに対する窓の設定方法を図９に示す。図９に示す窓の設定方法は、注目領域が画像全体であり窓が矩形である場合の例であり、図９（ａ）に示すように窓はお互いに交差しないように設定されていても良く、あるいは図９（ｂ）に示すようにお互いに交差するものがあるように設定されていても良い。また、窓の形も図９のような矩形ではなくても、注目領域全体を覆うことができるようになっていれば、形は任意で構わない。以下の処理では、図９（ａ）に示すような窓の設定方法を採用するが、部分画像の大きさは原理的にはかならずしも全て同じではなくても良い。
【００４９】
部分画像間非類似度計算処理部Ｂ５は、構成された各部分画像からヒストグラムやエッジ強度などの特徴量を抽出する。但し、特に特徴抽出せずに、与えられた部分画像そのものを特別な場合における特徴量として使用してもよい（その場合、ここでは一切処理は行うことはない）。非類似度の計算用に良く利用される特徴量としては、平均輝度と分散又はエッジ強度やテクスチャー構造を特徴づける共起(co-occurrence)行列、ランレングス・コード(run-length code)、フラクタル次元、窓フーリエ変換係数、ウェーブレット変換係数、輝度や色相のヒストグラムなどがある。
【００５０】
部分画像間非類似度計算処理部Ｂ５は、さらに、お互いに異なるように選ばれた２つの部分画像からなる組全体について、各組に属する２つの部分画像間の非類似度を計算する。非類似度としては、部分画像組全体から順序集合上への任意の写像を使用することができる。対象画像に応じて、適切な非類似度が与えられれば良い。以下の説明では、順序集合として、特に、実数を使用するものとする。今、各部分画像をCi (i=1,2,...,N) と表す。Nは部分画像構成処理部Ｂ４において、切り出された部分画像の数（すなわち設定された窓の数）を表す。部分画像Ciに属する画素をkと表し、部分画像Cj に属する画素をlと表し、画素kにおけるRGBの値をそれぞれRk 、Gk、Bk と表すことにする。非類似度としては、２つの部分画像それぞれに属する画素値すべてから実数への任意の関数が使用できる。例えば、画像の領域の平行移動や回転に対して不変性が高い非類似度の与え方としては、（１）式に示すような関数dが使用できる。
【００５１】
【数１】
あるいは、部分画像内の画素値に関する直積ベクトルを作成して、（１２）式に示すような正規化ベクトル距離、カラーヒストグラムに関するハミング距離又はユークリッド距離、カラーヒストグラムインターセクションのような量を非類似度として用いてもよい。このようにして与えられた非類似度に基づいて、部分画像組全体からなる集合の上に順序関係が、非類似度が写像する順序集合上において定義されている順序関係によって自然に定義される。このように、部分画像間非類似度計算処理部Ｂ５では、各部分画像の組の間に順序関係が定義される。この順序関係を与える順序関数δを（２）式のように表す。
【００５２】
【数２】
順序関数は（３）式のような関係を満たすものである。
【００５３】
【数３】
【００５４】
このように任意の２つのお互いに異なる部分画像の組の間に順序関係が定義された部分画像の集合は、順序関係保存特徴写像構成処理部Ｂ６において写像処理されることとなる。
【００５５】
順序関係保存特徴写像構成処理部Ｂ６は、部分画像の集合をある距離空間の点の集合に１対１で写像する。ここで写像に関しては、写像によって写される距離空間上の点全体からなる集合から選ばれるお互いに異なる２点の組合せ全体がなす集合上に、２点間の距離に基づいて与えられる、お互いに異なる２点の組の全体からなる集合上に定義される順序関係が、写像元の部分画像のお互いに異なる２つの部分画像の組全体からなる集合対して、部分画像間非類似度計算処理部Ｂ５において計算される順序関係と一致するように選ばれていれば、任意の写像を使用することができる。以下では、このような写像を「特徴写像」と呼ぶ。例えば、非計量多次元尺度構成法を用いて、このような写像の一つを構成することができる。特に、以下の処理では、非計量的多次元尺度構成法を部分画像の全体からなる集合上から選ばれたお互いに異なる２つの部分画像の組合せ全体からなる集合上に定義される順序関係のみを用いて特徴写像を構成する方法（非特許文献１参照）に従う。
【００５６】
特徴写像を構成するために、まず、部分画像Ci が写される距離空間上の点の位置座標をランダムに初期状態として選び、ベクトル
【００５７】
【数４】
で表す。お互いに異なる２つの部分画像の組から成る集合上における順序関係を順序が小さいものから順に1,2,...,Nと番号をつけるものとする。つまり、ある部分画像組(Ci, Cj)の写像元での順番がmであったとき、順序関数δ(Ci, Cj)の値はmで与えられ、（４）式のように表すことができる。
【００５８】
【数５】
同様に、位置ベクトル
【００５９】
【数６】
から選ばれるお互いに異なる２つの位置ベクトルの組合せ全体から成る集合上に、位置ベクトル
【００６０】
【数７】
間の距離
【００６１】
【数８】
の大小関係に基づいて順序関係を定義し、順序が小さいものから順に1,2,...,N番号が付けるものとする。この順序関係を与える順序関数をηとおく。つまり、位置ベクトルの組
【００６２】
【数９】
の順序がnであったとき、順序関数
【００６３】
【数１０】
の値はnで与えられ、（５）式のように表すことができる。
【００６４】
【数１１】
部分画像組(Ci, Cj)の写像元での順位がmで与えられるとき、写像先での位置座標の組
【００６５】
【数１２】
の順位をTm と置く。つまり、（６）式のように表すことができる。
【００６６】
【数１３】
目的の特徴写像を構成するためには、以下の手順（ア）〜（オ）に従う。
（ア）以下の（７）式に定義する行列の成分を対角成分以外のすべてについて計算する。（対角成分はすべて０と置いても良い。）ここで、mは部分画像の組(Ci, Cj)の順位を表し、Tm は（６）式で定義される位置ベクトルの組
【００６７】
【数１４】
の順位を表す。
【００６８】
【数１５】
【００６９】
（イ）位置ベクトル
【数１６】
それぞれについて以下の（８）式で与えられる差分ベクトル
【００７０】
【数１７】
を計算する。
【００７１】
【数１８】
（８）式におけるμは更新率で小さい正の数である。
【００７２】
（ウ）手順（イ）で求めた差分ベクトルによって、位置ベクトルを以下の（９）式のように更新する。
【数１９】
【００７３】
（エ）更新された位置ベクトル
【数２０】
を
【００７４】
【数２１】
と置きなおし、以下の（１０）式が満たされるように、位置ベクトル
【００７５】
【数２２】
のスケールを変換する。
【００７６】
【数２３】
【００７７】
（オ）手順（ア）〜（エ）を終了条件が満たされるまで繰返し行う。例えば、（７）式で与えられる行列Di,j の全ての非対角成分がすべて０となるか、予め決めた最大繰返し数に達するまで繰り返す。
【００７８】
以上のようにして、順序関係保存特徴写像構成処理部Ｂ６により特徴写像が構成される。この処理の様子を図１０に示す。図１０（ｂ）は、２次元のユークリッド空間に写像する特徴写像の例である。本画像処理システムでは、このようにして対象画像の各部分画像から写像された距離空間上の点の位置座標ベクトルの直積又はテンソル積を取ったものを、その対象画像についての第１種特徴量と定義する。順序関係保存特徴写像構成処理部Ｂ６は、写像結果から対象画像の第１種特徴量を計算し、第１種特徴量記憶部Ｂ７に出力する。第１種特徴量記憶部Ｂ７はこの第１種特徴量を記憶する。
【００７９】
画像間非類似度計算処理部Ｂ８は、第１種特徴量記憶部Ｂ７により記憶されている画像の第１種特徴量から、それらの画像間の非類似度を計算する。画像間の非類似度としては、部分画像組全体から順序集合上への任意の写像を使用することができる。対象画像に応じて、適切な非類似度が与えられれば良い。以下の説明では、順序集合として、特に、実数を使用するものとする。今、A番目の画像に対する第１種特徴量を（１１）式に示すような直積であるとすると、
【００８０】
【数２４】
画像IA とIB の間の非類似度として、例えば、（１２）式に示すような各画像に対する第１種特徴量間の差分ベクトルの大きさ（但し、ここでは大きさを規格化してベクトル間の角度に相当する量に置き換えている）を表す関数eを使用することができる。
【００８１】
【数２５】
ここで、（１０）式の規格化処理によって、（１２）式ではゼロによる割算の問題は生じないことに注意する。（１１）式の直積の各成分を一様に回転することで得られるものは同等であるという同値関係を使用する場合には、（１２）を（１３）式のように修正しても良い。
【００８２】
【数２６】
（１３）式において、Tは（１１）式の直積の各成分に関する回転を行う行列を表し、
【００８３】
【数２７】
は（１４）式で示すように、直積ベクトル
【００８４】
【数２８】
の各成分に回転Tを作用させることで得られる直積ベクトルを表す。
【００８５】
【数２９】
【００８６】
再び順序関係保存写像構成処理部Ｂ６は、上記のようにして（１２）式又は（１３）式により定義される画像間の非類似度に基いて、上記で第１種特徴量を計算したのと同じ手順により、各画像を距離空間における点へと写像（特徴写像）する。これにより距離空間において得られる点の集合の例を図１１に示す。本画像処理システムでは、このようにして写像された点の位置座標ベクトルを、画像についての第２種特徴量と定義する。この第２種特徴量は、第２種特徴量記憶部Ｂ９により記憶されるとともに、クラスタリング処理部Ｂ１０に出力される。
【００８７】
クラスタリング処理部Ｂ１０は、入力された画像についての第２種特徴量を表すベクトル
【００８８】
【数３０】
の配置に関するクラスタリングを行う。クラスタリング手法としてはクラスタ数を予め与える必要のない混合ガウス分布などの混合確率分布を用いた最尤推定法のようなクラスタリング手法が良いが、位置ベクトル間の距離を用いたdivisive clusteringなどを用いても良い。
【００８９】
混合ガウス分布を使用する場合には、第２種特徴量の配置
【数３１】
は、（１５）式で表されるような混合ガウス分布からランダムに選ばれたI個の点であると見なす。
【００９０】
【数３２】
（１５）式において、Jは特徴写像の写像先の距離空間の次元を表し、Lはガウス分布の成分数を表し、
【００９１】
【数３３】
は各ガウス分布成分のそれぞれ平均値ベクトル、共分散行列を表し、Θl-1 は共分散行列Θl の逆行列を表し、|Θl|は共分散行列Θlの行列式を表し、λl は各ガウス分布成分の重みを表し、以下の（１６）式を満たす。
【００９２】
【数３４】
【００９３】
各ガウス分布成分が１つのクラスタを表す。このとき、位置ベクトルの配置
【数３５】
に関する対数尤度関数
【００９４】
【数３６】
は（１７）式で表される。
【００９５】
【数３７】
【００９６】
この対数尤度関数
【数３８】
をパラメタ
【００９７】
【数３９】
について最適化することで、目的のクラスタ数およびクラスタ位置とサイズとが計算される。最適化手法としては、例えば、Greedy-EMアルゴリズム（J. Verbeek, N. Vlassis, and B. Krose, Neural Computation Vol.15, No.2, pages 469-485, 2003.）が使用できる。
【００９８】
この混合ガウス分布によるクラスタリング結果の例を図１２に示す。図１２において、楕円は同一のクラスタに属する点を囲んでいる。以上のようにして、クラスタリング処理部Ｂ１０は、順序関係保存写像構成処理部Ｂ６により計算された各画像についての第２種特徴量
【００９９】
【数４０】
の配置に関するクラスタリングを行う。クラスタリングを行った結果は、クラスタデータ記憶部Ｂ１１により記憶され、各画像についての第２種特徴量
【０１００】
【数４１】
及びクラスタリング結果はクラス識別処理部Ｂ１２に出力される。
【０１０１】
クラス識別処理部Ｂ１２は、入力された画像についての第２種特徴量及びクラスタリング結果及びに基づいて、各画像がどのクラスタに属するかを計算する。各画像が属するクラスタは、その第２種特徴量
【０１０２】
【数４２】
の各ガウス分布成分に関するマハラノビス距離を計算し、もっともマハラノビス距離が小さくなるガウス成分として決めることができる。第lガウス分布成分で表されるクラスタから位置ベクトル
【０１０３】
【数４３】
までのマハラノビス距離は（１８）式で計算される。
【数４４】
【０１０４】
クラス識別処理部Ｂ１２は、全画像について、それらがどのクラスタに属するかを表すリストを構成し、そのリストをクラス識別結果出力部Ｂ１３に出力し、クラス分類結果出力処理部Ｂ１５にクラスタデータを出力する。以上のようにして、本画像処理システムは、教師なしで入力画像のクラスを分類・識別し、その結果を出力することができる。入力画像のクラス分類・識別結果の出力例を図１３に示す。
【０１０５】
尚、以上の処理は、図３に示すフローチャートの手順に従って実行することができる。図３において、Iは入力画像の数を表す。また、図３のステップＳ３−３における第１種特徴量計算処理は、図４に示すフローチャートの手順に従って実行され、ステップＳ３−６における第２種特徴量計算処理は、図５に示すフローチャートの手順に従って実行されるものとする。
【０１０６】
以下に、本画像処理システムにおいて、教師なしで入力画像のクラスを分類・識別する他の処理方法について、図６を参照しながら説明する。本方法では、まず、対象画像を読み込み（ステップＳ６−１）、その画像の第１種特徴量を計算する（ステップＳ６−２）。これらの処理は、上記と同様にして実行されるものとする。本画像処理システムの順序関係保存写像構成処理部Ｂ６において計算された対象画像の第１種特徴量はクラス識別写像構成処理部Ｂ１４に出力される。クラス識別写像構成処理部Ｂ１４は、入力された第１種特徴量に基づいて画像のクラス識別特徴量を計算する（ステップＳ６−３）。この計算処理は、図５のステップＳ５−１からＳ５−３の処理に順ずるものであるが、本方法では、既に学習している画像についての第２種特徴量は学習時に得られた値に固定しておき、対象画像についての第２種特徴量のみを、上記した順序関係保存写像構成処理部Ｂ６による（ア）〜（オ）の処理に従って計算することを特徴としている。このように計算された識別画像についての第２種特徴量は、クラス識別処理部Ｂ１２に出力される。クラス識別処理部Ｂ１２は、上記と同様に、入力された第２種特徴量に基づいて、対象画像がどのクラスタに属するかを判定する（ステップＳ６−４）。対象画像のクラス識別処理については、学習用画像に対して与えられたクラス分類結果に基づいて、第２種特徴量の空間におけるＫ最近傍法により対象画像のクラスを判定することもできる。この判定結果は、クラス識別結果出力部Ｂ１３に出力される（ステップＳ６−５）。
【０１０７】
以下に、本画像処理システムにおいて、（準）教師ありで入力画像のクラスを分類・識別する処理方法について、図７及び図８を参照しながら説明する。図７において、Iは入力画像の数を表す。本方法では、学習器のタイプは、学習用画像に対する第１種特徴量から予め与えられた学習用画像に対するクラスを与える写像を学習することができる教師あり学習アルゴリズムが適用されてさえいれば、ニューラルネットワークやサポートベクターマシン、あるいはＫ最近傍法やＫ平均法に基づく学習器などから任意のものを選択できる。また、オンライン学習とバッチ学習のどちらにも使用することができる。
【０１０８】
まず、学習用画像を読み込み（ステップＳ７−３）、その画像の第１種特徴量を計算する（ステップＳ７−４）。これらの処理は、上記と同様にして実行されるものとする。本画像処理システムは、順序関係保存写像構成処理部Ｂ６により学習用画像の第１種特徴量を計算した後、適用されている学習アルゴリズムがオンライン学習であるかどうかを判断し（ステップＳ７−５）、オンライン学習である場合には、計算した学習用画像の第１種特徴量を学習処理部Ｂ１６に出力する。学習処理部Ｂ１６は、学習用画像の第１種特徴量が入力されるごとに、オンライン学習処理を行い、その時点で学習されている学習器のパラメタ値を学習器パラメタ記憶部Ｂ１７に出力する。また、学習処理部Ｂ１６は、学習器が内部状態を持つ場合には、学習器の内部状態の値を学習器状態記憶部Ｂ１８に出力する（ステップＳ７−７）。適用されている学習アルゴリズムがバッチ学習である場合には、学習用画像の第１種特徴量は第１種特徴量記憶部Ｂ７に出力されるとともに、画像数Iがカウントアップされる（ステップＳ７−８）。
【０１０９】
すべての学習用画像が読み込まれて、ステップＳ７−３からステップＳ７−８までの処理が行われた後、バッチ学習アルゴリズムを適用している場合には、すべての学習用画像に対して一括してバッチ学習処理を行い（ステップＳ７−１０）、その結果を学習器パラメタ記憶部Ｂ１７及び学習器状態記憶部Ｂ１８に出力する。最後に、学習結果の保存処理が行われて（ステップＳ７−１１）処理が終了する。
【０１１０】
次に、クラス分類学習処理を行う方法について説明する。図８において、まず、識別の対象とする画像を読み込み（ステップＳ８−１）、その画像の第１種特徴量を計算する（ステップＳ８−２）。これらの処理は、上記と同様にして実行されるものとする。順序関係保存写像構成処理部Ｂ６により計算された対象画像の第１種特徴量は、識別処理部Ｂ１９に出力される。識別処理部Ｂ１９は、学習器パラメタ記憶部Ｂ１７及び学習器状態記憶部Ｂ１８から教師あり学習で得られたパラメタを取得し、これを用いて入力された対象画像の第１種特徴量を特徴写像することにより、画像クラスを識別することができる（ステップＳ８−３）。
【０１１１】
このとき、オンライン学習アルゴリズムを適用している場合には、この時点で学習器のパラメタ学習処理を行い、その結果を学習器パラメタ記憶部Ｂ１７に出力する。また、学習器が内部状態を持っている場合には、現在の学習器の状態を学習器状態記憶部Ｂ１８に出力する。識別処理部Ｂ１９によるクラス識別結果は、クラス識別結果出力部へ送られ、処理が終了する。
【０１１２】
以上、本発明の画像分類学習処理システム及び画像識別処理システムについて、具体的な実施の形態を示して説明したが、本発明はこれらに限定されるものではない。当業者であれば、本発明の要旨を逸脱しない範囲内において、上記各実施形態又は他の実施形態にかかる発明の構成及び機能に様々な変更・改良を加えることが可能である。
【産業上の利用可能性】
【０１１３】
本発明の画像分類学習処理システム及び画像識別処理システムは、医療システム、監視システム、検査システムおよび高度道路交通システム（Intelligent Transportation Systems；ITS）などにおいて、計測された画像の分類を学習することにより画像中の物体の検出及び認識を可能にするシステムとして利用可能である。
【図面の簡単な説明】
【０１１４】
【図１】本発明の一実施形態として構築される画像処理システムの内部構成を概略的に示す機能ブロック図である。
【図２】図１に示す画像処理システムのプログラムメモリに含まれる各種のプログラムユニットを概略的に示す機能ブロック図である。
【図３】図１に示す画像処理システムにより教師なしで入力画像のクラスを分類・識別し、その結果を出力するする処理の流れを示すフローチャートである。図中のIは入力画像の数を表す。
【図４】図３のステップＳ３−３における第１種特徴量計算処理の流れを示すフローチャートである。
【図５】図３のステップＳ３−６における第２種特徴量計算処理の流れを示すフローチャートである。
【図６】図１に示す画像処理システムにおいて、教師なしで入力画像のクラスを分類・識別する他の処理方法を示すフローチャートである。
【図７】図１に示す画像処理システムにおいて、（準）教師ありで入力画像のクラスを分類・識別する処理方法を示すフローチャートである。図中のIは入力画像の数を表す。
【図８】図１に示す画像処理システムにおいて、（準）教師ありで入力画像のクラスを分類・識別する処理方法を示すフローチャートである。
【図９】図１に示す画像処理システムの部分画像構成処理部により画像データに対する窓を設定する方法を示す図である。
【図１０】図１に示す画像処理システムの順序関係保存特徴写像構成処理部により特徴写像が構成される様子を示す図である。
【図１１】図１に示す画像処理システムの順序関係保存特徴写像構成処理部により各画像を距離空間における点へと写像した結果の例を示す図である。
【図１２】図１に示す画像処理システムのクラスタリング処理部により混合ガウス分布によるクラスタリングを行った結果の例を示す図である。
【図１３】図１に示す画像処理システムのクラス識別処理部による入力画像のクラス分類・識別結果の出力例を示す図である。
【符号の説明】
【０１１５】
１００ 記録装置
１０１ 表示装置
１０２ キーボード
１０３ ポインティングデバイス
１０４ 中央処理装置
１０５ プログラムメモリ
１０６ データメモリ
１１０ 画像データ
１１１ データ入出力ユニット
１１２ 画像特徴量抽出ユニット
１１３ 教師なし画像クラス分類・識別ユニット
１１４ 教師あり画像クラス分類・識別ユニット
１１５ データ記憶ユニット
【技術分野】
【０００１】
本発明は、画像の特徴量に注目した画像分類学習処理システム及びその学習結果を利用した画像識別処理システムに関するものである。
【背景技術】
【０００２】
画像のクラス分類を学習し、その学習結果に基づいて画像中の対象物体を識別するための方法として、画像を特徴付ける情報（特徴量）に基づくものがある。このような方法では、特徴量を入力としクラスを出力とするパラメタ表示された写像（クラス識別写像）を用いるが、そのクラス識別写像のパラメタは、既にクラス分類されている学習用画像を教師データ（モデル）として与え、この学習用画像に対する経験リスクが最小化されるようにして定義され（ニューラルネットワーク）、あるいは構造リスクを最大化するようにして定義される（サポートベクターマシン）。いずれの場合にも、画像からヒューリスティックな方法で抽出された特徴量を用いている。ところが、このようにして抽出される特徴量が画像を分類及び識別するにあたって最適な基準となるかどうかは自明ではないので、客観的な評価に基づいて真に最適な特徴量を求めることが重要である。
【０００３】
特徴量に基づいて画像のクラス分類を学習し、対象物体を識別するプロセスにおいては、統計的手法によって有用な特徴量を抽出するアプローチが知られている。特に、画像から線形変換によって得られるような特徴量を抽出するものとして、（１）主成分分析（Principal Component Analysis；PCA）や重判別分析（Multiple Discriminant Analysis；MDA）を用いるものなどが一般的である。例えば、特許文献１や特許文献２には、適応学習型汎用画像計測方法及び適応学習型汎用画像計測装置が記載されている。ところが、対象物体や背景（環境）の条件などによっては、線形性の仮定が成り立たないこともあり、画像からの線形変換によって常に画像の分類及び識別に有用な特徴量が得られるとは限らない。このような場合に対処する方法としては、（２）ニューラルネットワークや非線形変換を行った後に主成分分析を行う方法がある。但し、これらの手法では、非線形変換の形を予め仮定する必要があるが、抽出すべき特徴量が予め仮定した非線形変換と異なる場合には、適切な特徴量を得ることができない。そこで、どのような非線形変換を行うかを予め仮定しない手法として、（３）自己組織化写像（Self-Organizing Maps；SOM）を用いる手法や、計量的多次元尺度構成法（Multi Dimensional Scaling；MDS）などのクラスタリングを行う手法がある。例えば、特許文献３には、特徴空間の階層的クラスタリングを行う類似画像表示方法が記載されている。
【特許文献１】特許第２９８２８１４号公報。
【特許文献２】特許第２８３４１５３号公報。
【特許文献３】特開２０００−３１１２４６号公報。
【非特許文献１】田口善弘他，2001年，「非計量多次元尺度構成法への期待と新しい視点」，統計数理第49巻第1号，p133-153。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来技術（１）で説明した手法では、特徴量が画像情報に関する線形変換として与えられることを仮定しているが、そのような仮定が一般的に成り立つとは限らないので、適用できる対象が限られてしまうという問題がある。
【０００５】
また、従来技術（２）で説明した手法では、非線形変換によって得られる特徴量を扱うことができるが、抽出すべき特徴量が予め仮定した特徴量と異なる場合には、適切な結果を得ることができないという問題がある。
【０００６】
また、従来技術（３）で説明した手法では、非線形変換を予め仮定する必要はないが、特徴量の成す空間に計量を与えなければならず、解析結果はこの計量に大きく影響される。しかしながら、求めるべき特徴空間に計量をどのように与えれば良いかは自明ではないので、設定した計量が不適切であった場合には、精度が悪くなるという問題がある。さらに、SOMの場合には、特徴空間が離散的な格子によって表されるため、離散化に伴う誤差が大きく影響する可能性がある。
【０００７】
また、画像処理において、画像計測装置による解像度などの違い、対象物体の変化、オクルージョンや環境（背景）の突然の変化などによるノイズが発生するが、これらは統計的に扱うことは困難である。上記した従来技術はずれもデータを計量的に扱っているため、このようなノイズの発生に対するロバスト性が低いという問題がある。また、このような大きなノイズの影響を画像に対する前処理において十分に補正することも困難である場合が多い。
【０００８】
さらに、MRI画像のような３次元画像に対して、従来の手法を適用する際には、特徴量を抽出するために、一度、２次元の断面画像を取ってから解析を行い、再度３次元の情報に組み直す必要性があるが、このような場合には、断面間のグローバルな特徴を抽出するのが困難である。また、近年のMRI画像計測技術の発展によって、テンソル値の３次元画像を取得することも出来るようになっているが、テンソル値（行列値）のデータは色相や輝度のようなデータとは異なり、各成分自体の値よりも、行列式、固有値およびトレースなどの量の方に本質的な意味があり、従来手法のような平均輝度やエッジ強度のような特徴量は有効な特徴量とはならない場合が多い。
【０００９】
本発明は、このような従来技術における問題点に鑑みてなされたものであり、画像のクラス分類学習処理システム及びその学習結果を用いた画像識別処理システムであって、適切な特徴量をより客観的な規準によって抽出することにより、画像の解像度の違い、対象物体の変化、オクルージョンや環境の突然な変化などに対してロバストなクラス分類学習及び画像識別を行うことができるシステムを提供しようとするものである。
【課題を解決するための手段】
【００１０】
本発明者は、上記の課題を解決するために、まず画像の大きさに比べて十分に小さく予め定められた形状の領域（窓）を、この窓が画像全体を覆うように設定し（窓はお互いに重なりあっても良いし、重なりがないようにしても良い）、それぞれの窓から画像の小領域を切り出した部分画像の集合を作成し、切り出されたすべての部分画像同士の間にそれらの間の非類似度（あるいは類似度）に相当するような順序関係を定義し、この順序関係のみに基づいて各部分画像を任意の距離空間における点へと写像し、このようにして写像された距離空間における点の位置座標ベクトルの直積又はテンソル積を画像についての特徴量とすることにより、統計的に客観的であり、かつ、ノイズ、環境変動、画像中の識別対象のオクルージョンなどに対してロバストである画像のクラス分類学習およびクラス識別を行うことができることに想到した。
【００１１】
従来技術で説明した手法に比べ、本発明では、特に、従来技術（１）で説明した手法に比べ、写像元における非類似度あるいは類似度といった量の間の順序関係のみを使用すること、順序関係のみが大切なので、ノイズや環境の明るさの変動などに対してロバスト性が高いこと、先の非類似度あるいは類似度のスケールの選び方にも依存しないため、写像先の空間における距離スケールすなわち計量の定義に影響されずに、精度高く写像を構成することができること、かつ写像が非線形であっても適用することができること、さらに、従来技術（２）で説明した手法に比べ、予め非線形写像の形を決めておく必要がないため、任意の形の非線形写像を構成することができること、また、従来技術（３）で説明した手法に比べ、写像先の空間は連続空間として扱うことができ、自己組織化写像のように空間を離散化することによる写像の精度の悪化はないこと、かつ、距離スケールすなわち計量の定義に依存しないため、自己組織化写像及び計量的多次元尺度構成法のように精度良く写像を構成するためには、距離スケールを非常に正確に調整しなければならないというような問題に影響されなくなることに特徴を有している。
【００１２】
さらに、ノイズ削除、輝度補正、背景変動補正などの画像に対する前処理を実行しなくとも、これらの影響を受けずに処理を行うことが出来るため、計算コストを大きく削減することが可能であることにおいても特徴を有している。
【００１３】
さらに、MRI画像のような３次元画像に対しても、本発明では、３次元画像を２次元の断面に分割する必要性はなく、３次元画像のまま、解析を行うことが可能であり、また、近年のMRI画像計測技術の発展によって、テンソル値の３次元画像を取得することも出来るようになっているが、このようなテンソル値のデータであっても客観的に本質な特徴量を抽出することができるようになることにおいても特徴を有している。
【００１４】
以上のような特徴を実現するための手段として、本発明は、画像のクラス分類を学習するシステムであって、学習用画像の対象領域に対して、該対象領域全体を覆うようにして１以上の所定形状の窓領域を設定する窓領域設定手段と、前記各窓領域に含まれる部分画像の集合から、互いに異なる２つの部分画像の組を生成し、各組の部分画像間における類似度又は非類似度を、各部分画像から抽出される特徴量に基づいて計算する部分画像間類似度計算手段と、前記部分画像間の類似度又は非類似度に基づいて前記各部分画像の組の間での順序関係を決定する第１の順序関係決定手段と、前記各部分画像の組の間で決定された順序関係が保存されるようにして、前記各部分画像を第１の距離空間上に写像する第１の写像手段と、前記第１の距離空間に写像された各点の位置座標の直積又はテンソル積を各学習用画像の第１種特徴量とし、各学習用画像の第１種特徴量に基づいて、画像間の非類似度又は類似度を計算する画像間類似度計算手段と、前記学習用画像間の非類似度又は類似度に基づいて前記各学習用画像の組の間での順序関係を決定する第２の順序関係決定手段と、前記各学習用画像の組の間で決定された順序関係が保存されるようにして、前記各学習用画像を第２の距離空間上に写像する第２の写像手段と、前記第２の距離空間に写像された各点の位置座標ベクトルを各学習用画像の第２種特徴量とし、前記第２の距離空間上に写像された点から、前記第２の距離空間における距離又は分布密度に基づいてクラスタを構成するクラスタリング手段と、各クラスタをクラス分類するとともに、各クラスタに属する点に対応する学習用画像を前記第２の写像手段による写像の逆写像によって求めることにより、各学習用画像がどのクラスに属するかを判定するクラス分類判定手段と、を含むことを特徴とするシステムを提供するものである。
【００１５】
本発明のシステムにおいて、前記クラスタリング手段は、全クラスタ数を予め指定せず、あるいは、全クラスタ数を予め指定してクラスタリングを行うことを特徴とする。
【００１６】
本発明は、また、上記の画像クラス分類学習システムにおいて、学習用画像について計算された第１特徴量及び第２特徴量と、クラス分類の判定結果とを予め記憶しておき、前記画像間類似度計算手段により、前記入力画像の第１種特徴量を計算し、該第１種特徴量と学習用画像の第１種特徴量とを用いて、前記入力画像と前記学習用画像との間の非類似度又は類似度を計算し、前記第２の順序関係決定手段により、該非類似度又は類似度に基づいて前記入力画像と前記学習用画像との間の順序関係を決定し、前記第２の写像手段により、前記入力画像と前記学習用画像との間で決定された順序関係が保存されるようして、前記入力画像を第２の距離空間上に写像し、前記画像間類似度計算手段により、前記入力画像が前記第２の距離空間に写像された各点の位置座標ベクトルを前記入力画像の第２種特徴量とし、前記入力画像の第２種特徴量と前記記憶してある学習用画像の第２特徴量との間の非類似度又は類似度を計算し、該非類似度又は類似度に基づいて、入力画像が学習用画像のいずれのクラスに該当するかを識別することを特徴とするシステムを提供するものである。
【００１７】
本発明は、また、上記の画像クラス分類学習システムにおいて、学習用画像について計算された第１特徴量及び第２特徴量と、クラス分類の判定結果とを予め記憶しておき、前記画像間類似度計算手段により、前記入力画像の第１種特徴量を計算し、該第１種特徴量と学習用画像の第１種特徴量とを用いて、前記入力画像と前記学習用画像との間の非類似度又は類似度を計算し、前記第２の順序関係決定手段により、該非類似度又は類似度に基づいて前記入力画像と前記学習用画像との間の順序関係を決定し、前記第２の写像手段により、前記入力画像と前記学習用画像との間で決定された順序関係が保存されるようして、前記入力画像を第２の距離空間上に写像し、前記第２の距離空間において前記入力画像が写像された点と距離が近い順に所定数の学習用画像を選択し、選択された学習用画像のうち最も多くの学習用画像が属するクラスを入力画像のクラスとして識別することを特徴とするシステムを提供するものである。
【００１８】
本発明は、また、上記の画像クラス分類学習システムにおいて、クラス分類済みの学習用画像の第１種特徴量を計算し、該第１種特徴量を入力して得られるクラス分類判定結果と、クラス分類済み学習用画像のクラスとの差に関する関数を全てのクラス分類済み学習用画像について足し上げた誤差関数を算出し、該誤差関数が最小化されるように前記第２の写像手段による写像のパラメタを定めることを特徴とする。
【００１９】
本発明のシステムにおいて、前記第２の写像手段による写像は、ニューラルネットワークを用いて構成されることを特徴とする。
【００２０】
本発明は、また、上記のシステムにおいて、さらに、入力画像の第１種特徴量を計算し、該第１種特徴量を入力して得られるクラス分類判定結果に従って前記入力画像のクラスを識別することを特徴とするシステムを提供するものである。
【００２１】
本発明は、また、上記のシステムにおいて、クラス分類済みの学習用画像の第１種特徴量を計算し、該第１種特徴量を入力して得られるクラス分類判定結果における各クラスについて、クラス分類済み学習用画像をそのクラスに属する群と他のクラスに属する群とに分け、それぞれの群について、各学習用画像の第１特徴量を第３の距離空間に写像し、その写像された像を第３種特徴量とし、該第３種特徴量に関する線形な判別関数であって、一方の群に属する学習用画像の第３特徴量に関しては、前記判別関数の値がある定められた正の定数以上の値となり、他方の群に属する学習用画像の第３特徴量に関しては、前記判別関数の値が前記正の定数と絶対値が等しい負の定数以下の値となり、かつ、前記判別関数の値を０と置いた方程式により表される第３の距離空間上の超平面と各学習用画像の第３特徴量との間の距離を最小化するようパラメタをとった判別関数を定めることを特徴とするシステムを提供するものである。
【００２２】
本発明は、また、上記のシステムにおいて、入力画像の第１種特徴量を計算し、該第１種特徴量から得られる第３種特徴量についての前記判別関数の値が最大値となることを基準として、前記入力画像のクラスを識別することを特徴とするシステムを提供するものである。
【００２３】
本発明のシステムにおいて、前記第３の距離空間への写像は、サポートベクターマシン、非線形サポートベクターマシン又はカーネルサポートベクターマシンを用いて構成されることを特徴とする。
【００２４】
本発明のシステムにおいて、前記クラスタリング手段は、混合確率分布を用いた尤度あるいは対数尤度最大化する処理、事後確率を最大化する処理、あるいは予め与えられた事前分布に基づく期待値を計算する処理のいずれかの処理を実行することを特徴とする。
【００２５】
本発明のシステムにおいて、前記クラスタリング手段は、混合ガウス分布に関する最尤推定法、事後確率最大化法あるいはベイズ推定法を適用することによって定まる各ガウス成分が１つのクラスを表すとし、各部分画像が属するクラスタをその部分画像に対応する距離空間における点の各ガウス成分に関するマハラノビス距離が最小となるガウス成分として定めることを特徴とする。
【００２６】
本発明のシステムにおいて、前記クラスタリング手段は、初期状態として全データを含む１つのクラスタから開始し、同じクラスタに属する２点間の距離が最大となる２点組を選択し、その距離が予め定められた閾値以上である場合に、そのクラスタを２分し、選択された２点をそれぞれのクラスタの種とし、同じクラスタに属していた全ての点に関して、これらのクラスタの種との間の距離を計算し、距離が小さい方のクラスタに属するように分類する処理を各クラスタにおけるクラスタ分割条件が満たされなくなるまで実行する分割クラスタリングを適用することを特徴とする。
【００２７】
本発明のシステムにおいて、前記クラスタリング手段は、K-最近接法又はK-平均法を実行するクラスタリングを行うことを特徴とする。
【００２８】
本発明のシステムにおいて、前記第１の写像手段及び第２の写像手段のうち少なくとも一方は、前記部分画像／学習用画像の組の間で決定された順序関係のみに基づいて写像を行うことを特徴とする。
【００２９】
本発明のシステムにおいて、前記第１の写像手段及び第２の写像手段のうち少なくとも一方は、前記部分画像／学習用画像の組の間で決定された順序関係に基づいて各部分画像／学習用画像の組に自然数による番号付けを行い、それらの番号の差の大きさのみに基づいて写像を行うことを特徴とする。
【００３０】
本発明のシステムにおいて、前記第１の写像手段及び第２の写像手段のうち少なくとも一方は、前記部分画像／学習用画像の組が前記第１の距離空間／第２の距離空間に写像された点の組の２点間距離を計算するとともに、前記写像された点の組について補助距離の大小関係によって定められる順序関係が、前記部分画像／学習用画像の組の間で決定された順序関係と一致するようにして、前記２点間距離の補助距離を計算し、前記写像される点の組における２点間距離と補助距離との差の自乗を全ての前記写像される点の組について足し合わせた値が最小化されるようにして写像を行うことを特徴とする。
【００３１】
本発明のシステムにおいて、各組の部分画像間における類似度又は非類似度は、各部分画像上の各画素の位置情報と、画素上の色相又は濃淡値とを与える関数の汎関数として定義されていることを特徴とする。
【００３２】
本発明のシステムにおいて、各組の部分画像間における類似度又は非類似度は、画像が画像間の差分又はマッチングによって生成された差分画像、オプティカルフロー画像、ステレオ画像のいずれかである場合には、各部分画像上の各画素の位置情報と、画素上の差分値、ベクトル値又は距離値とを与える関数の汎関数として定義されていることを特徴とする。
【００３３】
本発明のシステムにおいて、各組の部分画像間における類似度又は非類似度は、各部分画像上の各画素の位置情報と、画素上の色相又は濃淡値とについてのヒストグラム関数の汎関数として定義されていることを特徴とする。
【００３４】
本発明のシステムにおいて、各組の部分画像間における類似度又は非類似度は、各部分画像上の各画素の位置情報と、画素上の色相又は濃淡値とを与える関数に画像上の空間座標に関する微分演算子を作用させることで得られるベクトル値関数に関する汎関数として定義されていることを特徴とする。
【００３５】
本発明のシステムにおいて、各組の部分画像間における類似度又は非類似度は、各部分画像上の各画素の位置情報と、画素上の色相又は濃淡値とを与える関数に画像上の空間座標に関する積分演算子を作用させることで得られる関数に関する汎関数として定義されていることを特徴とする。
【００３６】
本発明のシステムにおいて、各組の部分画像間における類似度又は非類似度は、各部分画像上の各画素の位置情報と、画素上の色相又は濃淡値とを与える関数に画像上の空間座標に関する微分演算子をさせることで得られるベクトル値関数を引数とする２階テンソル値関数に関して、その各成分に画像上の空間座標に関する積分演算子を作用させることで得られる２階テンソル値関数に関する汎関数として定義されていることを特徴とする。
【００３７】
本発明のシステムにおいて、各組の部分画像間における類似度又は非類似度は、各部分画像上の各画素の位置情報と、画素上の色相又は白黒の濃淡値とを与える関数の自己相関関数に関する汎関数として定義されていることを特徴とする。
【００３８】
本発明のシステムにおいて、各組の部分画像間における類似度又は非類似度は、各部分画像上の各画素の位置情報と、画素上の色相又は濃淡値とを与える関数に画像上の空間座標に関する微分演算子を作用させることで得られるベクトル値関数に関する自己相関関数に関する汎関数として定義されていることを特徴とする。
【発明の効果】
【００３９】
以上、説明したように、本発明の画像分類学習処理システム及び画像識別処理システムによれば、客観性の高い規準に従って画像が持つ統計的な特徴量が抽出されるので、この特徴量を用いて対象画像のクラス分類の教師あり学習又は教師なし学習処理やクラス識別処理を行うと、画像に含まれる対象物体の違い、変化、オクルージョン及び環境の変動に対してロバスト性が高い画像処理を行うことができる。また、そのロバスト性の高さから、画像の解像度の違いや、各種の統計的又は非統計的なノイズ、環境の状態の大きな変化があっても、特別な前処理を行う必要はないため、広範囲の対象画像について適用することができる。
【００４０】
また、３次元以上の画像中における空間的な構造を特徴づける特徴量を抽出することができるようになる。さらには、テンソル値（行列値）の画像（２次元及び３次元以上）であっても、画像を特徴づける特徴量を抽出することができるようになる。
【発明を実施するための最良の形態】
【００４１】
以下、添付図面を参照しながら、本発明の画像分類学習処理システム及び画像識別処理システムを実施するための最良の形態を詳細に説明する。図１〜図１３は、本発明の実施の形態を例示する図であり、これらの図において、同一の符号を付した部分は同一物を表わし、基本的な構成及び動作は同様であるものとする。
【００４２】
図１は、本発明の一実施形態として構築される画像クラス分類学習及び画像認識を行う画像処理システムの内部構成を概略的に示す機能ブロック図である。この画像処理システムは、画像データを保存する記録装置１００、ユーザに対するインタフェース画面や画像データを分類又は認識した結果などを表示するための表示装置１０１、ユーザからの操作入力を受け付けるためのキーボード１０２とマウスなどのポインティングデバイス１０３、画像クラス分類学習及び画像認識に必要な演算処理、制御処理等を行う中央処理装置１０４、画像クラス分類学習及び画像認識の処理に必要なプログラムを格納するプログラムメモリ１０５、処理の対象となる画像データ１１０を格納するデータメモリ１０６を備えている。
【００４３】
プログラムメモリ１０５は、データ入出力ユニット１１１、画像特徴量抽出ユニット１１２、教師なし画像クラス分類・識別ユニット１１３、教師あり画像クラス分類・識別ユニット１１４、データ記憶ユニット１１５を含んでいる。これらのプログラムユニットの機能ブロック図を図２に示す。
【００４４】
図２において、プログラムメモリ１０５のデータ入出力ユニットは、画像入力処理部Ｂ１、クラス識別結果出力部Ｂ１３、クラス分類結果出力処理部Ｂ１５を含んでおり、画像特徴量抽出ユニット、データ記憶ユニットは、画像処理部Ｂ２、部分画像構成処理部Ｂ４、部分画像間非類似度計算処理部Ｂ５、順序関係保存写像構成処理部Ｂ６、画像間非類似度計算処理部Ｂ８を含んでおり、教師なし画像クラス分類・識別ユニットは、クラスタリング処理部Ｂ１０、クラス識別処理部Ｂ１２、クラス識別写像構成処理部Ｂ１４を含んでおり、教師あり画像クラス分類・識別ユニットは、学習処理部Ｂ１６、識別処理部Ｂ１９を含んでおり、データ記憶ユニットは、入力画像記憶部Ｂ３、第１種特徴量記憶部Ｂ７、第２種特徴量記憶部Ｂ９、クラスタデータ記憶部Ｂ１１、学習器パラメタ記憶部Ｂ１７、学習器状態記憶部Ｂ１８、を含んでいる。
【００４５】
以下において、これらの処理部における処理を詳細に説明する。まず、教師なしで画像クラス分類学習及び画像認識を行う処理について説明し、続いて、教師ありで画像クラス分類学習及び画像認識を行う処理について説明する。
【００４６】
画像入力処理部Ｂ１は、記録装置１００などから処理対象となる画像データをデータメモリ１０６に取得する。以下においては、２次元画像を処理対象とする場合について説明するが、本発明の画像処理システムでは３次元画像であってもこれと同様に処理を実行することができる。
【００４７】
画像処理部Ｂ２は、取得した対象画像がカラー画像である場合には、グレースケール画像への変換、輝度正規化、ヒストグラム平滑化、サイズ変更、ノイズ低減などの各種フィルタリング処理を行うものとする。但し、これらの画像処理は必ずしも行う必要があるものではなく、画像入力処理部Ｂ１により取得した画像データをそのまま用いて以下の処理を行ってもよい。従来技術では、ここで輝度の正規化処理などを行わないと以下の処理に重大な影響を与えることとなるが、本発明の画像処理システムは、ここで輝度の正規化処理を行わなくとも以下の処理に問題が生じないという点でロバスト性が高いシステムである。ここでは、取得した画像データはRGB値で表されるカラー画像データであり、画像処理部Ｂ２では特に上記したような画像処理を行わないものとする。画像処理部Ｂ２による処理後の画像は、入力画像記憶部Ｂ３により記憶される。
【００４８】
部分画像構成処理部Ｂ４は、画像データ全体を覆うように窓を設定して、複数の部分画像を構成する。ここで、画像データに対する窓の設定方法を図９に示す。図９に示す窓の設定方法は、注目領域が画像全体であり窓が矩形である場合の例であり、図９（ａ）に示すように窓はお互いに交差しないように設定されていても良く、あるいは図９（ｂ）に示すようにお互いに交差するものがあるように設定されていても良い。また、窓の形も図９のような矩形ではなくても、注目領域全体を覆うことができるようになっていれば、形は任意で構わない。以下の処理では、図９（ａ）に示すような窓の設定方法を採用するが、部分画像の大きさは原理的にはかならずしも全て同じではなくても良い。
【００４９】
部分画像間非類似度計算処理部Ｂ５は、構成された各部分画像からヒストグラムやエッジ強度などの特徴量を抽出する。但し、特に特徴抽出せずに、与えられた部分画像そのものを特別な場合における特徴量として使用してもよい（その場合、ここでは一切処理は行うことはない）。非類似度の計算用に良く利用される特徴量としては、平均輝度と分散又はエッジ強度やテクスチャー構造を特徴づける共起(co-occurrence)行列、ランレングス・コード(run-length code)、フラクタル次元、窓フーリエ変換係数、ウェーブレット変換係数、輝度や色相のヒストグラムなどがある。
【００５０】
部分画像間非類似度計算処理部Ｂ５は、さらに、お互いに異なるように選ばれた２つの部分画像からなる組全体について、各組に属する２つの部分画像間の非類似度を計算する。非類似度としては、部分画像組全体から順序集合上への任意の写像を使用することができる。対象画像に応じて、適切な非類似度が与えられれば良い。以下の説明では、順序集合として、特に、実数を使用するものとする。今、各部分画像をCi (i=1,2,...,N) と表す。Nは部分画像構成処理部Ｂ４において、切り出された部分画像の数（すなわち設定された窓の数）を表す。部分画像Ciに属する画素をkと表し、部分画像Cj に属する画素をlと表し、画素kにおけるRGBの値をそれぞれRk 、Gk、Bk と表すことにする。非類似度としては、２つの部分画像それぞれに属する画素値すべてから実数への任意の関数が使用できる。例えば、画像の領域の平行移動や回転に対して不変性が高い非類似度の与え方としては、（１）式に示すような関数dが使用できる。
【００５１】
【数１】
あるいは、部分画像内の画素値に関する直積ベクトルを作成して、（１２）式に示すような正規化ベクトル距離、カラーヒストグラムに関するハミング距離又はユークリッド距離、カラーヒストグラムインターセクションのような量を非類似度として用いてもよい。このようにして与えられた非類似度に基づいて、部分画像組全体からなる集合の上に順序関係が、非類似度が写像する順序集合上において定義されている順序関係によって自然に定義される。このように、部分画像間非類似度計算処理部Ｂ５では、各部分画像の組の間に順序関係が定義される。この順序関係を与える順序関数δを（２）式のように表す。
【００５２】
【数２】
順序関数は（３）式のような関係を満たすものである。
【００５３】
【数３】
【００５４】
このように任意の２つのお互いに異なる部分画像の組の間に順序関係が定義された部分画像の集合は、順序関係保存特徴写像構成処理部Ｂ６において写像処理されることとなる。
【００５５】
順序関係保存特徴写像構成処理部Ｂ６は、部分画像の集合をある距離空間の点の集合に１対１で写像する。ここで写像に関しては、写像によって写される距離空間上の点全体からなる集合から選ばれるお互いに異なる２点の組合せ全体がなす集合上に、２点間の距離に基づいて与えられる、お互いに異なる２点の組の全体からなる集合上に定義される順序関係が、写像元の部分画像のお互いに異なる２つの部分画像の組全体からなる集合対して、部分画像間非類似度計算処理部Ｂ５において計算される順序関係と一致するように選ばれていれば、任意の写像を使用することができる。以下では、このような写像を「特徴写像」と呼ぶ。例えば、非計量多次元尺度構成法を用いて、このような写像の一つを構成することができる。特に、以下の処理では、非計量的多次元尺度構成法を部分画像の全体からなる集合上から選ばれたお互いに異なる２つの部分画像の組合せ全体からなる集合上に定義される順序関係のみを用いて特徴写像を構成する方法（非特許文献１参照）に従う。
【００５６】
特徴写像を構成するために、まず、部分画像Ci が写される距離空間上の点の位置座標をランダムに初期状態として選び、ベクトル
【００５７】
【数４】
で表す。お互いに異なる２つの部分画像の組から成る集合上における順序関係を順序が小さいものから順に1,2,...,Nと番号をつけるものとする。つまり、ある部分画像組(Ci, Cj)の写像元での順番がmであったとき、順序関数δ(Ci, Cj)の値はmで与えられ、（４）式のように表すことができる。
【００５８】
【数５】
同様に、位置ベクトル
【００５９】
【数６】
から選ばれるお互いに異なる２つの位置ベクトルの組合せ全体から成る集合上に、位置ベクトル
【００６０】
【数７】
間の距離
【００６１】
【数８】
の大小関係に基づいて順序関係を定義し、順序が小さいものから順に1,2,...,N番号が付けるものとする。この順序関係を与える順序関数をηとおく。つまり、位置ベクトルの組
【００６２】
【数９】
の順序がnであったとき、順序関数
【００６３】
【数１０】
の値はnで与えられ、（５）式のように表すことができる。
【００６４】
【数１１】
部分画像組(Ci, Cj)の写像元での順位がmで与えられるとき、写像先での位置座標の組
【００６５】
【数１２】
の順位をTm と置く。つまり、（６）式のように表すことができる。
【００６６】
【数１３】
目的の特徴写像を構成するためには、以下の手順（ア）〜（オ）に従う。
（ア）以下の（７）式に定義する行列の成分を対角成分以外のすべてについて計算する。（対角成分はすべて０と置いても良い。）ここで、mは部分画像の組(Ci, Cj)の順位を表し、Tm は（６）式で定義される位置ベクトルの組
【００６７】
【数１４】
の順位を表す。
【００６８】
【数１５】
【００６９】
（イ）位置ベクトル
【数１６】
それぞれについて以下の（８）式で与えられる差分ベクトル
【００７０】
【数１７】
を計算する。
【００７１】
【数１８】
（８）式におけるμは更新率で小さい正の数である。
【００７２】
（ウ）手順（イ）で求めた差分ベクトルによって、位置ベクトルを以下の（９）式のように更新する。
【数１９】
【００７３】
（エ）更新された位置ベクトル
【数２０】
を
【００７４】
【数２１】
と置きなおし、以下の（１０）式が満たされるように、位置ベクトル
【００７５】
【数２２】
のスケールを変換する。
【００７６】
【数２３】
【００７７】
（オ）手順（ア）〜（エ）を終了条件が満たされるまで繰返し行う。例えば、（７）式で与えられる行列Di,j の全ての非対角成分がすべて０となるか、予め決めた最大繰返し数に達するまで繰り返す。
【００７８】
以上のようにして、順序関係保存特徴写像構成処理部Ｂ６により特徴写像が構成される。この処理の様子を図１０に示す。図１０（ｂ）は、２次元のユークリッド空間に写像する特徴写像の例である。本画像処理システムでは、このようにして対象画像の各部分画像から写像された距離空間上の点の位置座標ベクトルの直積又はテンソル積を取ったものを、その対象画像についての第１種特徴量と定義する。順序関係保存特徴写像構成処理部Ｂ６は、写像結果から対象画像の第１種特徴量を計算し、第１種特徴量記憶部Ｂ７に出力する。第１種特徴量記憶部Ｂ７はこの第１種特徴量を記憶する。
【００７９】
画像間非類似度計算処理部Ｂ８は、第１種特徴量記憶部Ｂ７により記憶されている画像の第１種特徴量から、それらの画像間の非類似度を計算する。画像間の非類似度としては、部分画像組全体から順序集合上への任意の写像を使用することができる。対象画像に応じて、適切な非類似度が与えられれば良い。以下の説明では、順序集合として、特に、実数を使用するものとする。今、A番目の画像に対する第１種特徴量を（１１）式に示すような直積であるとすると、
【００８０】
【数２４】
画像IA とIB の間の非類似度として、例えば、（１２）式に示すような各画像に対する第１種特徴量間の差分ベクトルの大きさ（但し、ここでは大きさを規格化してベクトル間の角度に相当する量に置き換えている）を表す関数eを使用することができる。
【００８１】
【数２５】
ここで、（１０）式の規格化処理によって、（１２）式ではゼロによる割算の問題は生じないことに注意する。（１１）式の直積の各成分を一様に回転することで得られるものは同等であるという同値関係を使用する場合には、（１２）を（１３）式のように修正しても良い。
【００８２】
【数２６】
（１３）式において、Tは（１１）式の直積の各成分に関する回転を行う行列を表し、
【００８３】
【数２７】
は（１４）式で示すように、直積ベクトル
【００８４】
【数２８】
の各成分に回転Tを作用させることで得られる直積ベクトルを表す。
【００８５】
【数２９】
【００８６】
再び順序関係保存写像構成処理部Ｂ６は、上記のようにして（１２）式又は（１３）式により定義される画像間の非類似度に基いて、上記で第１種特徴量を計算したのと同じ手順により、各画像を距離空間における点へと写像（特徴写像）する。これにより距離空間において得られる点の集合の例を図１１に示す。本画像処理システムでは、このようにして写像された点の位置座標ベクトルを、画像についての第２種特徴量と定義する。この第２種特徴量は、第２種特徴量記憶部Ｂ９により記憶されるとともに、クラスタリング処理部Ｂ１０に出力される。
【００８７】
クラスタリング処理部Ｂ１０は、入力された画像についての第２種特徴量を表すベクトル
【００８８】
【数３０】
の配置に関するクラスタリングを行う。クラスタリング手法としてはクラスタ数を予め与える必要のない混合ガウス分布などの混合確率分布を用いた最尤推定法のようなクラスタリング手法が良いが、位置ベクトル間の距離を用いたdivisive clusteringなどを用いても良い。
【００８９】
混合ガウス分布を使用する場合には、第２種特徴量の配置
【数３１】
は、（１５）式で表されるような混合ガウス分布からランダムに選ばれたI個の点であると見なす。
【００９０】
【数３２】
（１５）式において、Jは特徴写像の写像先の距離空間の次元を表し、Lはガウス分布の成分数を表し、
【００９１】
【数３３】
は各ガウス分布成分のそれぞれ平均値ベクトル、共分散行列を表し、Θl-1 は共分散行列Θl の逆行列を表し、|Θl|は共分散行列Θlの行列式を表し、λl は各ガウス分布成分の重みを表し、以下の（１６）式を満たす。
【００９２】
【数３４】
【００９３】
各ガウス分布成分が１つのクラスタを表す。このとき、位置ベクトルの配置
【数３５】
に関する対数尤度関数
【００９４】
【数３６】
は（１７）式で表される。
【００９５】
【数３７】
【００９６】
この対数尤度関数
【数３８】
をパラメタ
【００９７】
【数３９】
について最適化することで、目的のクラスタ数およびクラスタ位置とサイズとが計算される。最適化手法としては、例えば、Greedy-EMアルゴリズム（J. Verbeek, N. Vlassis, and B. Krose, Neural Computation Vol.15, No.2, pages 469-485, 2003.）が使用できる。
【００９８】
この混合ガウス分布によるクラスタリング結果の例を図１２に示す。図１２において、楕円は同一のクラスタに属する点を囲んでいる。以上のようにして、クラスタリング処理部Ｂ１０は、順序関係保存写像構成処理部Ｂ６により計算された各画像についての第２種特徴量
【００９９】
【数４０】
の配置に関するクラスタリングを行う。クラスタリングを行った結果は、クラスタデータ記憶部Ｂ１１により記憶され、各画像についての第２種特徴量
【０１００】
【数４１】
及びクラスタリング結果はクラス識別処理部Ｂ１２に出力される。
【０１０１】
クラス識別処理部Ｂ１２は、入力された画像についての第２種特徴量及びクラスタリング結果及びに基づいて、各画像がどのクラスタに属するかを計算する。各画像が属するクラスタは、その第２種特徴量
【０１０２】
【数４２】
の各ガウス分布成分に関するマハラノビス距離を計算し、もっともマハラノビス距離が小さくなるガウス成分として決めることができる。第lガウス分布成分で表されるクラスタから位置ベクトル
【０１０３】
【数４３】
までのマハラノビス距離は（１８）式で計算される。
【数４４】
【０１０４】
クラス識別処理部Ｂ１２は、全画像について、それらがどのクラスタに属するかを表すリストを構成し、そのリストをクラス識別結果出力部Ｂ１３に出力し、クラス分類結果出力処理部Ｂ１５にクラスタデータを出力する。以上のようにして、本画像処理システムは、教師なしで入力画像のクラスを分類・識別し、その結果を出力することができる。入力画像のクラス分類・識別結果の出力例を図１３に示す。
【０１０５】
尚、以上の処理は、図３に示すフローチャートの手順に従って実行することができる。図３において、Iは入力画像の数を表す。また、図３のステップＳ３−３における第１種特徴量計算処理は、図４に示すフローチャートの手順に従って実行され、ステップＳ３−６における第２種特徴量計算処理は、図５に示すフローチャートの手順に従って実行されるものとする。
【０１０６】
以下に、本画像処理システムにおいて、教師なしで入力画像のクラスを分類・識別する他の処理方法について、図６を参照しながら説明する。本方法では、まず、対象画像を読み込み（ステップＳ６−１）、その画像の第１種特徴量を計算する（ステップＳ６−２）。これらの処理は、上記と同様にして実行されるものとする。本画像処理システムの順序関係保存写像構成処理部Ｂ６において計算された対象画像の第１種特徴量はクラス識別写像構成処理部Ｂ１４に出力される。クラス識別写像構成処理部Ｂ１４は、入力された第１種特徴量に基づいて画像のクラス識別特徴量を計算する（ステップＳ６−３）。この計算処理は、図５のステップＳ５−１からＳ５−３の処理に順ずるものであるが、本方法では、既に学習している画像についての第２種特徴量は学習時に得られた値に固定しておき、対象画像についての第２種特徴量のみを、上記した順序関係保存写像構成処理部Ｂ６による（ア）〜（オ）の処理に従って計算することを特徴としている。このように計算された識別画像についての第２種特徴量は、クラス識別処理部Ｂ１２に出力される。クラス識別処理部Ｂ１２は、上記と同様に、入力された第２種特徴量に基づいて、対象画像がどのクラスタに属するかを判定する（ステップＳ６−４）。対象画像のクラス識別処理については、学習用画像に対して与えられたクラス分類結果に基づいて、第２種特徴量の空間におけるＫ最近傍法により対象画像のクラスを判定することもできる。この判定結果は、クラス識別結果出力部Ｂ１３に出力される（ステップＳ６−５）。
【０１０７】
以下に、本画像処理システムにおいて、（準）教師ありで入力画像のクラスを分類・識別する処理方法について、図７及び図８を参照しながら説明する。図７において、Iは入力画像の数を表す。本方法では、学習器のタイプは、学習用画像に対する第１種特徴量から予め与えられた学習用画像に対するクラスを与える写像を学習することができる教師あり学習アルゴリズムが適用されてさえいれば、ニューラルネットワークやサポートベクターマシン、あるいはＫ最近傍法やＫ平均法に基づく学習器などから任意のものを選択できる。また、オンライン学習とバッチ学習のどちらにも使用することができる。
【０１０８】
まず、学習用画像を読み込み（ステップＳ７−３）、その画像の第１種特徴量を計算する（ステップＳ７−４）。これらの処理は、上記と同様にして実行されるものとする。本画像処理システムは、順序関係保存写像構成処理部Ｂ６により学習用画像の第１種特徴量を計算した後、適用されている学習アルゴリズムがオンライン学習であるかどうかを判断し（ステップＳ７−５）、オンライン学習である場合には、計算した学習用画像の第１種特徴量を学習処理部Ｂ１６に出力する。学習処理部Ｂ１６は、学習用画像の第１種特徴量が入力されるごとに、オンライン学習処理を行い、その時点で学習されている学習器のパラメタ値を学習器パラメタ記憶部Ｂ１７に出力する。また、学習処理部Ｂ１６は、学習器が内部状態を持つ場合には、学習器の内部状態の値を学習器状態記憶部Ｂ１８に出力する（ステップＳ７−７）。適用されている学習アルゴリズムがバッチ学習である場合には、学習用画像の第１種特徴量は第１種特徴量記憶部Ｂ７に出力されるとともに、画像数Iがカウントアップされる（ステップＳ７−８）。
【０１０９】
すべての学習用画像が読み込まれて、ステップＳ７−３からステップＳ７−８までの処理が行われた後、バッチ学習アルゴリズムを適用している場合には、すべての学習用画像に対して一括してバッチ学習処理を行い（ステップＳ７−１０）、その結果を学習器パラメタ記憶部Ｂ１７及び学習器状態記憶部Ｂ１８に出力する。最後に、学習結果の保存処理が行われて（ステップＳ７−１１）処理が終了する。
【０１１０】
次に、クラス分類学習処理を行う方法について説明する。図８において、まず、識別の対象とする画像を読み込み（ステップＳ８−１）、その画像の第１種特徴量を計算する（ステップＳ８−２）。これらの処理は、上記と同様にして実行されるものとする。順序関係保存写像構成処理部Ｂ６により計算された対象画像の第１種特徴量は、識別処理部Ｂ１９に出力される。識別処理部Ｂ１９は、学習器パラメタ記憶部Ｂ１７及び学習器状態記憶部Ｂ１８から教師あり学習で得られたパラメタを取得し、これを用いて入力された対象画像の第１種特徴量を特徴写像することにより、画像クラスを識別することができる（ステップＳ８−３）。
【０１１１】
このとき、オンライン学習アルゴリズムを適用している場合には、この時点で学習器のパラメタ学習処理を行い、その結果を学習器パラメタ記憶部Ｂ１７に出力する。また、学習器が内部状態を持っている場合には、現在の学習器の状態を学習器状態記憶部Ｂ１８に出力する。識別処理部Ｂ１９によるクラス識別結果は、クラス識別結果出力部へ送られ、処理が終了する。
【０１１２】
以上、本発明の画像分類学習処理システム及び画像識別処理システムについて、具体的な実施の形態を示して説明したが、本発明はこれらに限定されるものではない。当業者であれば、本発明の要旨を逸脱しない範囲内において、上記各実施形態又は他の実施形態にかかる発明の構成及び機能に様々な変更・改良を加えることが可能である。
【産業上の利用可能性】
【０１１３】
本発明の画像分類学習処理システム及び画像識別処理システムは、医療システム、監視システム、検査システムおよび高度道路交通システム（Intelligent Transportation Systems；ITS）などにおいて、計測された画像の分類を学習することにより画像中の物体の検出及び認識を可能にするシステムとして利用可能である。
【図面の簡単な説明】
【０１１４】
【図１】本発明の一実施形態として構築される画像処理システムの内部構成を概略的に示す機能ブロック図である。
【図２】図１に示す画像処理システムのプログラムメモリに含まれる各種のプログラムユニットを概略的に示す機能ブロック図である。
【図３】図１に示す画像処理システムにより教師なしで入力画像のクラスを分類・識別し、その結果を出力するする処理の流れを示すフローチャートである。図中のIは入力画像の数を表す。
【図４】図３のステップＳ３−３における第１種特徴量計算処理の流れを示すフローチャートである。
【図５】図３のステップＳ３−６における第２種特徴量計算処理の流れを示すフローチャートである。
【図６】図１に示す画像処理システムにおいて、教師なしで入力画像のクラスを分類・識別する他の処理方法を示すフローチャートである。
【図７】図１に示す画像処理システムにおいて、（準）教師ありで入力画像のクラスを分類・識別する処理方法を示すフローチャートである。図中のIは入力画像の数を表す。
【図８】図１に示す画像処理システムにおいて、（準）教師ありで入力画像のクラスを分類・識別する処理方法を示すフローチャートである。
【図９】図１に示す画像処理システムの部分画像構成処理部により画像データに対する窓を設定する方法を示す図である。
【図１０】図１に示す画像処理システムの順序関係保存特徴写像構成処理部により特徴写像が構成される様子を示す図である。
【図１１】図１に示す画像処理システムの順序関係保存特徴写像構成処理部により各画像を距離空間における点へと写像した結果の例を示す図である。
【図１２】図１に示す画像処理システムのクラスタリング処理部により混合ガウス分布によるクラスタリングを行った結果の例を示す図である。
【図１３】図１に示す画像処理システムのクラス識別処理部による入力画像のクラス分類・識別結果の出力例を示す図である。
【符号の説明】
【０１１５】
１００ 記録装置
１０１ 表示装置
１０２ キーボード
１０３ ポインティングデバイス
１０４ 中央処理装置
１０５ プログラムメモリ
１０６ データメモリ
１１０ 画像データ
１１１ データ入出力ユニット
１１２ 画像特徴量抽出ユニット
１１３ 教師なし画像クラス分類・識別ユニット
１１４ 教師あり画像クラス分類・識別ユニット
１１５ データ記憶ユニット
【特許請求の範囲】
【請求項１】
画像のクラス分類を学習するシステムであって、
学習用画像の対象領域に対して、該対象領域全体を覆うようにして１以上の所定形状の窓領域を設定する窓領域設定手段と、
前記各窓領域に含まれる部分画像の集合から、互いに異なる２つの部分画像の組を生成し、各組の部分画像間における類似度又は非類似度を、各部分画像から抽出される特徴量に基づいて計算する部分画像間類似度計算手段と、
前記部分画像間の類似度又は非類似度に基づいて前記各部分画像の組の間での順序関係を決定する第１の順序関係決定手段と、
前記各部分画像の組の間で決定された順序関係が保存されるようにして、前記各部分画像を第１の距離空間上に写像する第１の写像手段と、
前記第１の距離空間に写像された各点の位置座標の直積又はテンソル積を各学習用画像の第１種特徴量とし、各学習用画像の第１種特徴量に基づいて、画像間の非類似度又は類似度を計算する画像間類似度計算手段と、
前記学習用画像間の非類似度又は類似度に基づいて前記各学習用画像の組の間での順序関係を決定する第２の順序関係決定手段と、
前記各学習用画像の組の間で決定された順序関係が保存されるようにして、前記各学習用画像を第２の距離空間上に写像する第２の写像手段と、
前記第２の距離空間に写像された各点の位置座標ベクトルを各学習用画像の第２種特徴量とし、前記第２の距離空間上に写像された点から、前記第２の距離空間における距離又は分布密度に基づいてクラスタを構成するクラスタリング手段と、
各クラスタをクラス分類するとともに、各クラスタに属する点に対応する学習用画像を前記第２の写像手段による写像の逆写像によって求めることにより、各学習用画像がどのクラスに属するかを判定するクラス分類判定手段と、を含むことを特徴とするシステム。
【請求項２】
前記クラスタリング手段は、全クラスタ数を予め指定せずにクラスタリングを行うことを特徴とする請求項１に記載のシステム。
【請求項３】
前記クラスタリング手段は、全クラスタ数を予め指定してクラスタリングを行うことを特徴とする請求項１に記載のシステム。
【請求項４】
請求項１に記載のシステムを利用して入力画像のクラスを識別するシステムであって、
学習用画像について計算された第１特徴量及び第２特徴量と、クラス分類の判定結果とを予め記憶しておき、
前記画像間類似度計算手段により、前記入力画像の第１種特徴量を計算し、該第１種特徴量と学習用画像の第１種特徴量とを用いて、前記入力画像と前記学習用画像との間の非類似度又は類似度を計算し、
前記第２の順序関係決定手段により、該非類似度又は類似度に基づいて前記入力画像と前記学習用画像との間の順序関係を決定し、
前記第２の写像手段により、前記入力画像と前記学習用画像との間で決定された順序関係が保存されるようして、前記入力画像を第２の距離空間上に写像し、
前記画像間類似度計算手段により、前記入力画像が前記第２の距離空間に写像された各点の位置座標ベクトルを前記入力画像の第２種特徴量とし、前記入力画像の第２種特徴量と前記記憶してある学習用画像の第２特徴量との間の非類似度又は類似度を計算し、
該非類似度又は類似度に基づいて、入力画像が学習用画像のいずれのクラスに該当するかを識別することを特徴とするシステム。
【請求項５】
請求項１に記載のシステムを利用して入力画像のクラスを識別するシステムであって、
学習用画像について計算された第１特徴量及び第２特徴量と、クラス分類の判定結果とを予め記憶しておき、
前記画像間類似度計算手段により、前記入力画像の第１種特徴量を計算し、該第１種特徴量と学習用画像の第１種特徴量とを用いて、前記入力画像と前記学習用画像との間の非類似度又は類似度を計算し、
前記第２の順序関係決定手段により、該非類似度又は類似度に基づいて前記入力画像と前記学習用画像との間の順序関係を決定し、
前記第２の写像手段により、前記入力画像と前記学習用画像との間で決定された順序関係が保存されるようして、前記入力画像を第２の距離空間上に写像し、
前記第２の距離空間において前記入力画像が写像された点と距離が近い順に所定数の学習用画像を選択し、選択された学習用画像のうち最も多くの学習用画像が属するクラスを入力画像のクラスとして識別することを特徴とするシステム。
【請求項６】
請求項１に記載のシステムにおいて、
クラス分類済みの学習用画像の第１種特徴量を計算し、
該第１種特徴量を入力して得られるクラス分類判定結果と、クラス分類済み学習用画像のクラスとの差に関する関数を全てのクラス分類済み学習用画像について足し上げた誤差関数を算出し、
該誤差関数が最小化されるように前記第２の写像手段による写像のパラメタを定めることを特徴とするシステム。
【請求項７】
請求項６に記載のシステムにおいて、前記第２の写像手段による写像は、ニューラルネットワークを用いて構成されることを特徴とするシステム。
【請求項８】
請求項６又は７に記載のシステムを利用して入力画像のクラスを識別するシステムであって、
入力画像の第１種特徴量を計算し、該第１種特徴量を入力して得られるクラス分類判定結果に従って前記入力画像のクラスを識別することを特徴とするシステム。
【請求項９】
請求項１に記載のシステムにおいて、
クラス分類済みの学習用画像の第１種特徴量を計算し、
該第１種特徴量を入力して得られるクラス分類判定結果における各クラスについて、クラス分類済み学習用画像をそのクラスに属する群と他のクラスに属する群とに分け、それぞれの群について、各学習用画像の第１特徴量を第３の距離空間に写像し、その写像された像を第３種特徴量とし、
該第３種特徴量に関する線形な判別関数であって、
一方の群に属する学習用画像の第３特徴量に関しては、前記判別関数の値がある定められた正の定数以上の値となり、
他方の群に属する学習用画像の第３特徴量に関しては、前記判別関数の値が前記正の定数と絶対値が等しい負の定数以下の値となり、かつ、
前記判別関数の値を０と置いた方程式により表される第３の距離空間上の超平面と各学習用画像の第３特徴量との間の距離を最小化するようパラメタをとった判別関数を定めることを特徴とするシステム。
【請求項１０】
請求項９に記載のシステムを利用して入力画像のクラスを識別するシステムであって、
入力画像の第１種特徴量を計算し、
該第１種特徴量から得られる第３種特徴量についての前記判別関数の値が最大値となることを基準として、前記入力画像のクラスを識別することを特徴とするシステム。
【請求項１１】
請求項９又は１０に記載のシステムにおいて、前記第３の距離空間への写像は、サポートベクターマシン、非線形サポートベクターマシン又はカーネルサポートベクターマシンを用いて構成されることを特徴とするシステム。
【請求項１２】
前記クラスタリング手段は、混合確率分布を用いた尤度あるいは対数尤度最大化する処理、事後確率を最大化する処理、あるいは予め与えられた事前分布に基づく期待値を計算する処理のいずれかの処理を実行することを特徴とする請求項２又は４に記載のシステム。
【請求項１３】
前記クラスタリング手段は、混合ガウス分布に関する最尤推定法、事後確率最大化法あるいはベイズ推定法を適用することによって定まる各ガウス成分が１つのクラスを表すとし、各部分画像が属するクラスタをその部分画像に対応する距離空間における点の各ガウス成分に関するマハラノビス距離が最小となるガウス成分として定めることを特徴とする請求項１２に記載のシステム。
【請求項１４】
前記クラスタリング手段は、初期状態として全データを含む１つのクラスタから開始し、同じクラスタに属する２点間の距離が最大となる２点組を選択し、その距離が予め定められた閾値以上である場合に、そのクラスタを２分し、選択された２点をそれぞれのクラスタの種とし、同じクラスタに属していた全ての点に関して、これらのクラスタの種との間の距離を計算し、距離が小さい方のクラスタに属するように分類する処理を各クラスタにおけるクラスタ分割条件が満たされなくなるまで実行する分割クラスタリングを適用することを特徴とする請求項１２に記載のシステム。
【請求項１５】
前記クラスタリング手段は、K-最近接法を実行するクラスタリングを行うことを特徴とする請求項３又は４に記載のシステム。
【請求項１６】
前記クラスタリング手段は、K-平均法を実行するクラスタリングを行うことを特徴とする請求項３又は４に記載のシステム。
【請求項１７】
前記第１の写像手段及び第２の写像手段のうち少なくとも一方は、前記部分画像／学習用画像の組の間で決定された順序関係のみに基づいて写像を行うことを特徴とする請求項１から１６のいずれか１項に記載のシステム。
【請求項１８】
前記第１の写像手段及び第２の写像手段のうち少なくとも一方は、前記部分画像／学習用画像の組の間で決定された順序関係に基づいて各部分画像／学習用画像の組に自然数による番号付けを行い、それらの番号の差の大きさのみに基づいて写像を行うことを特徴とする請求項１から１６のいずれか１項に記載のシステム。
【請求項１９】
前記第１の写像手段及び第２の写像手段のうち少なくとも一方は、前記部分画像／学習用画像の組が前記第１の距離空間／第２の距離空間に写像された点の組の２点間距離を計算するとともに、前記写像された点の組について補助距離の大小関係によって定められる順序関係が、前記部分画像／学習用画像の組の間で決定された順序関係と一致するようにして、前記２点間距離の補助距離を計算し、前記写像される点の組における２点間距離と補助距離との差の自乗を全ての前記写像される点の組について足し合わせた値が最小化されるようにして写像を行うことを特徴とする請求項１から１６のいずれか１項に記載のシステム。
【請求項２０】
各組の部分画像間における類似度又は非類似度は、各部分画像上の各画素の位置情報と、画素上の色相又は濃淡値とを与える関数の汎関数として定義されていることを特徴とする請求項１から１９のいずれか１項に記載のシステム。
【請求項２１】
各組の部分画像間における類似度又は非類似度は、画像が画像間の差分又はマッチングによって生成された差分画像、オプティカルフロー画像、ステレオ画像のいずれかである場合には、各部分画像上の各画素の位置情報と、画素上の差分値、ベクトル値又は距離値とを与える関数の汎関数として定義されていることを特徴とする請求項１〜１９のいずれか１項に記載のシステム。
【請求項２２】
各組の部分画像間における類似度又は非類似度は、各部分画像上の各画素の位置情報と、画素上の色相又は濃淡値とについてのヒストグラム関数の汎関数として定義されていることを特徴とする請求項１〜１９のいずれか１項に記載のシステム。
【請求項２３】
各組の部分画像間における類似度又は非類似度は、各部分画像上の各画素の位置情報と、画素上の色相又は濃淡値とを与える関数に画像上の空間座標に関する微分演算子を作用させることで得られるベクトル値関数に関する汎関数として定義されていることを特徴とする請求項２０に記載のシステム。
【請求項２４】
各組の部分画像間における類似度又は非類似度は、各部分画像上の各画素の位置情報と、画素上の色相又は濃淡値とを与える関数に画像上の空間座標に関する積分演算子を作用させることで得られる関数に関する汎関数として定義されていることを特徴とする請求項２０に記載のシステム。
【請求項２５】
各組の部分画像間における類似度又は非類似度は、各部分画像上の各画素の位置情報と、画素上の色相又は濃淡値とを与える関数に画像上の空間座標に関する微分演算子をさせることで得られるベクトル値関数を引数とする２階テンソル値関数に関して、その各成分に画像上の空間座標に関する積分演算子を作用させることで得られる２階テンソル値関数に関する汎関数として定義されていることを特徴とする請求項２０に記載のシステム。
【請求項２６】
各組の部分画像間における類似度又は非類似度は、各部分画像上の各画素の位置情報と、画素上の色相又は白黒の濃淡値とを与える関数の自己相関関数に関する汎関数として定義されていることを特徴とする請求項２０に記載のシステム。
【請求項２７】
各組の部分画像間における類似度又は非類似度は、各部分画像上の各画素の位置情報と、画素上の色相又は濃淡値とを与える関数に画像上の空間座標に関する微分演算子を作用させることで得られるベクトル値関数に関する自己相関関数に関する汎関数として定義されていることを特徴とする請求項２０に記載のシステム。
【請求項１】
画像のクラス分類を学習するシステムであって、
学習用画像の対象領域に対して、該対象領域全体を覆うようにして１以上の所定形状の窓領域を設定する窓領域設定手段と、
前記各窓領域に含まれる部分画像の集合から、互いに異なる２つの部分画像の組を生成し、各組の部分画像間における類似度又は非類似度を、各部分画像から抽出される特徴量に基づいて計算する部分画像間類似度計算手段と、
前記部分画像間の類似度又は非類似度に基づいて前記各部分画像の組の間での順序関係を決定する第１の順序関係決定手段と、
前記各部分画像の組の間で決定された順序関係が保存されるようにして、前記各部分画像を第１の距離空間上に写像する第１の写像手段と、
前記第１の距離空間に写像された各点の位置座標の直積又はテンソル積を各学習用画像の第１種特徴量とし、各学習用画像の第１種特徴量に基づいて、画像間の非類似度又は類似度を計算する画像間類似度計算手段と、
前記学習用画像間の非類似度又は類似度に基づいて前記各学習用画像の組の間での順序関係を決定する第２の順序関係決定手段と、
前記各学習用画像の組の間で決定された順序関係が保存されるようにして、前記各学習用画像を第２の距離空間上に写像する第２の写像手段と、
前記第２の距離空間に写像された各点の位置座標ベクトルを各学習用画像の第２種特徴量とし、前記第２の距離空間上に写像された点から、前記第２の距離空間における距離又は分布密度に基づいてクラスタを構成するクラスタリング手段と、
各クラスタをクラス分類するとともに、各クラスタに属する点に対応する学習用画像を前記第２の写像手段による写像の逆写像によって求めることにより、各学習用画像がどのクラスに属するかを判定するクラス分類判定手段と、を含むことを特徴とするシステム。
【請求項２】
前記クラスタリング手段は、全クラスタ数を予め指定せずにクラスタリングを行うことを特徴とする請求項１に記載のシステム。
【請求項３】
前記クラスタリング手段は、全クラスタ数を予め指定してクラスタリングを行うことを特徴とする請求項１に記載のシステム。
【請求項４】
請求項１に記載のシステムを利用して入力画像のクラスを識別するシステムであって、
学習用画像について計算された第１特徴量及び第２特徴量と、クラス分類の判定結果とを予め記憶しておき、
前記画像間類似度計算手段により、前記入力画像の第１種特徴量を計算し、該第１種特徴量と学習用画像の第１種特徴量とを用いて、前記入力画像と前記学習用画像との間の非類似度又は類似度を計算し、
前記第２の順序関係決定手段により、該非類似度又は類似度に基づいて前記入力画像と前記学習用画像との間の順序関係を決定し、
前記第２の写像手段により、前記入力画像と前記学習用画像との間で決定された順序関係が保存されるようして、前記入力画像を第２の距離空間上に写像し、
前記画像間類似度計算手段により、前記入力画像が前記第２の距離空間に写像された各点の位置座標ベクトルを前記入力画像の第２種特徴量とし、前記入力画像の第２種特徴量と前記記憶してある学習用画像の第２特徴量との間の非類似度又は類似度を計算し、
該非類似度又は類似度に基づいて、入力画像が学習用画像のいずれのクラスに該当するかを識別することを特徴とするシステム。
【請求項５】
請求項１に記載のシステムを利用して入力画像のクラスを識別するシステムであって、
学習用画像について計算された第１特徴量及び第２特徴量と、クラス分類の判定結果とを予め記憶しておき、
前記画像間類似度計算手段により、前記入力画像の第１種特徴量を計算し、該第１種特徴量と学習用画像の第１種特徴量とを用いて、前記入力画像と前記学習用画像との間の非類似度又は類似度を計算し、
前記第２の順序関係決定手段により、該非類似度又は類似度に基づいて前記入力画像と前記学習用画像との間の順序関係を決定し、
前記第２の写像手段により、前記入力画像と前記学習用画像との間で決定された順序関係が保存されるようして、前記入力画像を第２の距離空間上に写像し、
前記第２の距離空間において前記入力画像が写像された点と距離が近い順に所定数の学習用画像を選択し、選択された学習用画像のうち最も多くの学習用画像が属するクラスを入力画像のクラスとして識別することを特徴とするシステム。
【請求項６】
請求項１に記載のシステムにおいて、
クラス分類済みの学習用画像の第１種特徴量を計算し、
該第１種特徴量を入力して得られるクラス分類判定結果と、クラス分類済み学習用画像のクラスとの差に関する関数を全てのクラス分類済み学習用画像について足し上げた誤差関数を算出し、
該誤差関数が最小化されるように前記第２の写像手段による写像のパラメタを定めることを特徴とするシステム。
【請求項７】
請求項６に記載のシステムにおいて、前記第２の写像手段による写像は、ニューラルネットワークを用いて構成されることを特徴とするシステム。
【請求項８】
請求項６又は７に記載のシステムを利用して入力画像のクラスを識別するシステムであって、
入力画像の第１種特徴量を計算し、該第１種特徴量を入力して得られるクラス分類判定結果に従って前記入力画像のクラスを識別することを特徴とするシステム。
【請求項９】
請求項１に記載のシステムにおいて、
クラス分類済みの学習用画像の第１種特徴量を計算し、
該第１種特徴量を入力して得られるクラス分類判定結果における各クラスについて、クラス分類済み学習用画像をそのクラスに属する群と他のクラスに属する群とに分け、それぞれの群について、各学習用画像の第１特徴量を第３の距離空間に写像し、その写像された像を第３種特徴量とし、
該第３種特徴量に関する線形な判別関数であって、
一方の群に属する学習用画像の第３特徴量に関しては、前記判別関数の値がある定められた正の定数以上の値となり、
他方の群に属する学習用画像の第３特徴量に関しては、前記判別関数の値が前記正の定数と絶対値が等しい負の定数以下の値となり、かつ、
前記判別関数の値を０と置いた方程式により表される第３の距離空間上の超平面と各学習用画像の第３特徴量との間の距離を最小化するようパラメタをとった判別関数を定めることを特徴とするシステム。
【請求項１０】
請求項９に記載のシステムを利用して入力画像のクラスを識別するシステムであって、
入力画像の第１種特徴量を計算し、
該第１種特徴量から得られる第３種特徴量についての前記判別関数の値が最大値となることを基準として、前記入力画像のクラスを識別することを特徴とするシステム。
【請求項１１】
請求項９又は１０に記載のシステムにおいて、前記第３の距離空間への写像は、サポートベクターマシン、非線形サポートベクターマシン又はカーネルサポートベクターマシンを用いて構成されることを特徴とするシステム。
【請求項１２】
前記クラスタリング手段は、混合確率分布を用いた尤度あるいは対数尤度最大化する処理、事後確率を最大化する処理、あるいは予め与えられた事前分布に基づく期待値を計算する処理のいずれかの処理を実行することを特徴とする請求項２又は４に記載のシステム。
【請求項１３】
前記クラスタリング手段は、混合ガウス分布に関する最尤推定法、事後確率最大化法あるいはベイズ推定法を適用することによって定まる各ガウス成分が１つのクラスを表すとし、各部分画像が属するクラスタをその部分画像に対応する距離空間における点の各ガウス成分に関するマハラノビス距離が最小となるガウス成分として定めることを特徴とする請求項１２に記載のシステム。
【請求項１４】
前記クラスタリング手段は、初期状態として全データを含む１つのクラスタから開始し、同じクラスタに属する２点間の距離が最大となる２点組を選択し、その距離が予め定められた閾値以上である場合に、そのクラスタを２分し、選択された２点をそれぞれのクラスタの種とし、同じクラスタに属していた全ての点に関して、これらのクラスタの種との間の距離を計算し、距離が小さい方のクラスタに属するように分類する処理を各クラスタにおけるクラスタ分割条件が満たされなくなるまで実行する分割クラスタリングを適用することを特徴とする請求項１２に記載のシステム。
【請求項１５】
前記クラスタリング手段は、K-最近接法を実行するクラスタリングを行うことを特徴とする請求項３又は４に記載のシステム。
【請求項１６】
前記クラスタリング手段は、K-平均法を実行するクラスタリングを行うことを特徴とする請求項３又は４に記載のシステム。
【請求項１７】
前記第１の写像手段及び第２の写像手段のうち少なくとも一方は、前記部分画像／学習用画像の組の間で決定された順序関係のみに基づいて写像を行うことを特徴とする請求項１から１６のいずれか１項に記載のシステム。
【請求項１８】
前記第１の写像手段及び第２の写像手段のうち少なくとも一方は、前記部分画像／学習用画像の組の間で決定された順序関係に基づいて各部分画像／学習用画像の組に自然数による番号付けを行い、それらの番号の差の大きさのみに基づいて写像を行うことを特徴とする請求項１から１６のいずれか１項に記載のシステム。
【請求項１９】
前記第１の写像手段及び第２の写像手段のうち少なくとも一方は、前記部分画像／学習用画像の組が前記第１の距離空間／第２の距離空間に写像された点の組の２点間距離を計算するとともに、前記写像された点の組について補助距離の大小関係によって定められる順序関係が、前記部分画像／学習用画像の組の間で決定された順序関係と一致するようにして、前記２点間距離の補助距離を計算し、前記写像される点の組における２点間距離と補助距離との差の自乗を全ての前記写像される点の組について足し合わせた値が最小化されるようにして写像を行うことを特徴とする請求項１から１６のいずれか１項に記載のシステム。
【請求項２０】
各組の部分画像間における類似度又は非類似度は、各部分画像上の各画素の位置情報と、画素上の色相又は濃淡値とを与える関数の汎関数として定義されていることを特徴とする請求項１から１９のいずれか１項に記載のシステム。
【請求項２１】
各組の部分画像間における類似度又は非類似度は、画像が画像間の差分又はマッチングによって生成された差分画像、オプティカルフロー画像、ステレオ画像のいずれかである場合には、各部分画像上の各画素の位置情報と、画素上の差分値、ベクトル値又は距離値とを与える関数の汎関数として定義されていることを特徴とする請求項１〜１９のいずれか１項に記載のシステム。
【請求項２２】
各組の部分画像間における類似度又は非類似度は、各部分画像上の各画素の位置情報と、画素上の色相又は濃淡値とについてのヒストグラム関数の汎関数として定義されていることを特徴とする請求項１〜１９のいずれか１項に記載のシステム。
【請求項２３】
各組の部分画像間における類似度又は非類似度は、各部分画像上の各画素の位置情報と、画素上の色相又は濃淡値とを与える関数に画像上の空間座標に関する微分演算子を作用させることで得られるベクトル値関数に関する汎関数として定義されていることを特徴とする請求項２０に記載のシステム。
【請求項２４】
各組の部分画像間における類似度又は非類似度は、各部分画像上の各画素の位置情報と、画素上の色相又は濃淡値とを与える関数に画像上の空間座標に関する積分演算子を作用させることで得られる関数に関する汎関数として定義されていることを特徴とする請求項２０に記載のシステム。
【請求項２５】
各組の部分画像間における類似度又は非類似度は、各部分画像上の各画素の位置情報と、画素上の色相又は濃淡値とを与える関数に画像上の空間座標に関する微分演算子をさせることで得られるベクトル値関数を引数とする２階テンソル値関数に関して、その各成分に画像上の空間座標に関する積分演算子を作用させることで得られる２階テンソル値関数に関する汎関数として定義されていることを特徴とする請求項２０に記載のシステム。
【請求項２６】
各組の部分画像間における類似度又は非類似度は、各部分画像上の各画素の位置情報と、画素上の色相又は白黒の濃淡値とを与える関数の自己相関関数に関する汎関数として定義されていることを特徴とする請求項２０に記載のシステム。
【請求項２７】
各組の部分画像間における類似度又は非類似度は、各部分画像上の各画素の位置情報と、画素上の色相又は濃淡値とを与える関数に画像上の空間座標に関する微分演算子を作用させることで得られるベクトル値関数に関する自己相関関数に関する汎関数として定義されていることを特徴とする請求項２０に記載のシステム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２００６−３９６５８（Ｐ２００６−３９６５８Ａ）
【公開日】平成１８年２月９日（２００６．２．９）
【国際特許分類】
【出願番号】特願２００４−２１４５３８（Ｐ２００４−２１４５３８）
【出願日】平成１６年７月２２日（２００４．７．２２）
【出願人】（０００２３３０５５）日立ソフトウエアエンジニアリング株式会社 (1,610)
【出願人】（５０２３２４０６６）株式会社デンソーアイティーラボラトリ (332)
【Ｆターム（参考）】
【公開日】平成１８年２月９日（２００６．２．９）
【国際特許分類】
【出願日】平成１６年７月２２日（２００４．７．２２）
【出願人】（０００２３３０５５）日立ソフトウエアエンジニアリング株式会社 (1,610)
【出願人】（５０２３２４０６６）株式会社デンソーアイティーラボラトリ (332)
【Ｆターム（参考）】
[ Back to top ]