画像解析装置、画像登録装置および画像検索装置
【課題】効率的に画像検索の精度を向上すること。
【解決手段】解析装置１０は、複数の画像を取得して、画像ごとに特徴量を抽出する。また、取得した画像ごとに、その画像の種類が示された教師信号を取得する。ここで、解析装置１０は、抽出された特徴量と、取得した教師信号と用いて、画像の種類を判別するための重み行列を算出する。また、解析装置１０は、所定のカーネル非線形関数を用いて、それぞれの画像の特徴量が分布している空間をより次元の高い高次元空間に射影するためのカーネル行列を導出する。さらに、解析装置１０は、カーネル行列と重み行列とを用いて、高次元空間から、画像の種類を識別するための部分空間を抽出して、カーネル射影ベクトルを生成する。
【解決手段】解析装置１０は、複数の画像を取得して、画像ごとに特徴量を抽出する。また、取得した画像ごとに、その画像の種類が示された教師信号を取得する。ここで、解析装置１０は、抽出された特徴量と、取得した教師信号と用いて、画像の種類を判別するための重み行列を算出する。また、解析装置１０は、所定のカーネル非線形関数を用いて、それぞれの画像の特徴量が分布している空間をより次元の高い高次元空間に射影するためのカーネル行列を導出する。さらに、解析装置１０は、カーネル行列と重み行列とを用いて、高次元空間から、画像の種類を識別するための部分空間を抽出して、カーネル射影ベクトルを生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、パターン解析技術に関し、特に、複数種類の画像から、複数のトレーニング画像の特徴を解析する画像解析装置、画像解析装置による解析結果を利用して検索用の画像を登録する画像登録装置、および、登録された被検索画像の中から、入力された画像に類似した画像を検索する画像検索装置に関する。
【背景技術】
【０００２】
近年、通信のブロードバンド化により、画像データを容易に入手することが可能となっている。膨大な画像データベースから必要な画像をすばやく検索するために、画像の色や形状などの特徴を抽出することによって、同じ特徴を有する類似画像を検索する手法が提案されている。しかしながら、画像特徴量の次元数は非常に大きくなる傾向にあるため、特徴抽出および検索に膨大な時間がかかることがあり、特徴量を圧縮する必要があった。
【０００３】
このような課題に対し、従来、主成分分析法（以下、ＰＣＡ（Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ）という。）や独立成分分析法（以下、ＩＣＡ（Ｉｎｄｅｐｅｎｄｅｎｔ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ）という。）、あるいは、局所的な幾何学構造に関する成分を保持できるＬＰＰ（Ｌｏｃａｌｉｔｙ Ｐｒｅｓｅｒｖｉｎｇ Ｐｒｏｊｅｃｔｉｏｎｓ）などのパターン解析手法により、画像の特徴を解析することによって、画像の特徴量の次元数を低減していた（たとえば、非特許文献１、２参照。）。
【０００４】
【非特許文献１】Ｘｉａｎｇ−Ｙａｎ Ｚｅｎｇ、ｅｔ ａｌ、「Ｉｍａｇｅ Ｒｅｔｒｉｅｖａｌ Ｂａｓｅｄ ｏｎ Ｉｎｄｅｐｅｎｄｅｎｔ Ｃｏｍｐｏｎｅｎｔｓ ｏｆ Ｃｏｌｏｒ Ｈｉｓｔｏｇｒａｍｓ」、Ｌｅｃｔｕｒｅ Ｎｏｔｅｓ ｉｎ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ、Ｖｏｌ．２７７３／２００３、ｐ．１４３５−１４４２
【非特許文献２】Ｘｉａｏｆｅｉ Ｈｅ ａｎｄ Ｐａｒｔｈａ Ｎｉｙｏｇｉ、「Ｌｏｃａｌｉｔｙ Ｐｒｅｓｅｒｖｉｎｇ Ｐｒｏｊｅｃｔｉｏｎｓ」、Ａｄｖａｎｃｅｓ ｉｎ Ｎｅｕｒａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｓｔｅｍｓ １６、Ｖａｎｃｏｕｖｅｒ、Ｃａｎａｄａ、２００３
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上述したようなパターン解析手法は、線形的な手法であるので、複雑な画像を表現しきれない。また上述した手法は、処理精度の面で効率的ではなかった。したがって、高精度な画像検索を効率的に実現する解析技術が望まれていた。
【０００６】
本発明はこうした状況に鑑みてなされたものであり、その目的は、効率的に高精度な画像検索を可能とする画像解析技術を提供し、また解析結果を利用した画像登録技術および画像検索技術を提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明のある態様の画像解析装置は、複数の画像を取得する画像取得部と、画像取得部によって取得した画像ごとに、画像特徴量を抽出する抽出部と、抽出部によって画像特徴量が抽出された画像のクラスを特定する教師信号を取得する教師信号取得部と、抽出部によって抽出された画像特徴量と、教師信号取得部によって取得した教師信号と用いて、画像間の相関を表現するための重み行列を生成する重み行列生成部と、所定のカーネル非線形関数を用いて、抽出部にて抽出されたそれぞれの画像の画像特徴量が分布している空間をより次元の高い高次元空間に射影するためのカーネル行列を導出するカーネル行列導出部と、カーネル行列導出部によって導出されたカーネル行列と、重み行列生成部によって生成された重み行列とを用いて、画像取得部にて取得された画像のそれぞれのクラスが識別可能な部分空間を高次元空間から抽出するためのカーネル射影ベクトルを導出するカーネル射影ベクトル導出部と、を備える。
【０００８】
この態様によると、非線形関数により射影された高次の空間から、画像のそれぞれの種類が識別可能な部分空間を抽出することによって、識別のための重要な情報を適切に抽出でき、解析精度を向上でき、もって、検索精度を向上できる。
【０００９】
本発明の別の態様は、画像登録装置である。この装置は、登録用の画像を取得する登録用画像取得部と、画像解析装置により導出されたカーネル射影ベクトルを保持する保持部と、登録用画像取得部で取得された登録用画像の画像特徴量を抽出する抽出部と、抽出した画像特徴量を、カーネル射影ベクトルで特定される部分空間に射影する射影部と、射影部により導出された特徴ベクトルを取得する特徴ベクトル取得部と、登録用画像を、取得した特徴ベクトルに対応付けて記憶装置に登録する登録部と、を備える。
【００１０】
本発明のさらに別の態様は、画像検索装置である。この装置は、検索を要求する検索要求画像を取得する検索要求画像取得部と、画像登録装置により登録された複数の画像および特徴ベクトルを記憶する記憶装置と、検索要求画像取得部で取得された検索要求画像の画像特徴量を抽出する抽出部と、抽出した画像特徴量を、カーネル射影ベクトルで特定される部分空間に射影する射影部と、射影部により導出された特徴ベクトルを取得する特徴ベクトル取得部と、検索要求画像の特徴ベクトルと、記憶装置に記憶された複数の特徴ベクトルとを比較することによって、記憶装置に記憶された複数の画像から、検索要求画像とユークリッド距離の近い画像を出力する検索処理部と、を備える。
【００１１】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１２】
本発明によれば、効率的に高精度な画像検索を可能とする画像解析技術を提供し、また解析結果を利用した画像登録技術および画像検索技術を提供できる。
【発明を実施するための最良の形態】
【００１３】
（１）画像検索システムとは
まず、本発明の実施形態を詳細に説明する前に、概要を述べる。本実施形態は、画像検索システムに関する。画像検索システムとは、入力される検索要求画像に類似する画像を、複数の被検索画像を予め登録してあるデータベースから検索するシステムである。図１は、画像検索システム１の構成例を示す図である。画像検索システム１は、解析装置１０と、登録装置６０と、検索装置８０と、記憶装置２０とを含む。
【００１４】
（１−１）解析処理
検索処理の前段階として、まず解析装置１０が、複数種類のトレーニング画像Ｉｉを取得して、それらの画像に関する特徴量を抽出し、抽出した特徴量からそれらの画像の特徴量を最もよく表現している部分空間のカーネル射影ベクトルを導出する。解析装置１０には、ｍ枚のトレーニング（学習用）画像Ｉｉが入力される。トレーニング画像Ｉｉには、さまざまな種類（以下、「クラス」という。）の画像、たとえば、ビル、バス、花、馬、山などの画像が含まれる。効率的な学習効果を得るために、トレーニング画像Ｉｉとして、クラスごとに、たとえば１００枚の画像が解析装置１０に入力される。解析装置１０は、入力された複数のトレーニング画像Ｉｉを解析して、複数種類の特徴量から、それぞれのクラスを判別できるようなカーネル射影ベクトルを導出する。
【００１５】
（１−２）登録処理
登録装置６０は、解析装置１０により導出されたカーネル射影ベクトルを用いて、複数の登録用画像を、検索される対象となる被検索画像として記憶装置２０に登録する。具体的に登録装置６０は、登録用画像から画像特徴量を抽出し、その画像特徴量が複数のカーネル射影ベクトルにより形成される部分空間において位置する座標（射影）を特定する。登録装置６０においては、次元数の高い元の特徴量（カラーヒストグラム等）の代わりに、次元数の低い部分空間での座標（射影）が、新しい特徴量（以下、特徴ベクトルともよぶ）として検索に用いるために登録される。登録装置６０は、登録用画像を、特定した特徴ベクトルに対応付けて、被検索画像として記憶装置２０に登録する。これにより記憶装置２０は、被検索画像のデータベースを構築する。以上の解析処理および登録処理により、検索の前処理が完了する。
【００１６】
（１−３）検索処理
検索装置８０は、入力された検索要求画像に類似する被検索画像を記憶装置２０から検索して出力する。具体的に検索装置８０は、検索要求画像から画像特徴量を抽出し、複数のカーネル射影ベクトルにより形成される部分空間内の座標（特徴ベクトル）を特定する。検索装置８０は、検索要求画像の特徴ベクトルと、記憶装置２０に保持されている被検索画像の特徴ベクトルとを比べて、互いのユークリッド距離が近いと判定される被検索画像を抽出する。互いの特徴ベクトルのユークリッド距離が近くなっている画像は、基本的（理想的）には、同一クラスの画像となる。同一クラスの画像とは、たとえば、検索要求画像が「馬」の画像であった場合、データベースに記憶されたビル、バス、花、馬、山の画像のうちの「馬」の画像である。なお、互いの特徴ベクトルのユークリッド距離が近くても、検索処理によりデータベースから抽出される画像のクラスが、検索要求画像と異なる場合がある。これは、解析装置１０により導出されたカーネル射影ベクトルの精度に起因し、したがって解析装置１０は、異なるクラスの画像間においては、互いの特徴ベクトルのユークリッド距離が遠くなるように、部分空間を構成するカーネル射影ベクトルを効果的に決定する必要がある。
【００１７】
（２）従来の画像検索システムについて
従来の画像検索システムにおいては、まず、複数の画像を用いて画像データベースを作成する際に、画像とともに、その画像を説明するためのキーワードを関連づけて記憶させていた。そのため、データベースに登録する画像数の増加にともなって、データベースの作成、管理が煩雑となっていた。
【００１８】
人間の目に映る像には、当然のごとくキーワードが付されていることはない。それにもかかわらず、人間の目は、その像のクラスを識別することができる。人間は、目に映る像のみによって、たとえばキリンとライオンを見分けることができる。
【００１９】
人間の目は、経験的に、目に映る像に含まれる特徴ベクトルを抽出して、それぞれの像のクラスを判別していると考えられる。初めて見る像である場合、いままで目にした多くの像から、初めて見る像との差異を無意識に抽出して、像のクラスを特定しうる。これを応用し、近年の画像検索システムにおいては、画像の特徴を数値化して、データベースを作成するようになってきた。画像の特徴として、たとえば、画像の色や模様、あるいは、画像の形状などが用いられる。
【００２０】
ところが、このような画像の特徴を数値で表現すると、非常に次元の大きなベクトルとなってしまう。たとえば、画像の色を特徴とする場合、色の三原色を構成する赤（Ｒ）、青（Ｂ）、緑（Ｇ）のそれぞれの比率で、特徴量が表現される。この場合、ＲとＧとＢとがそれぞれ８ビットで表現されるとすると、特徴量を表現するための空間として、２の２４乗の次元が必要となる。このような多次元量は、データベースの容量や、学習の効率性、あるいは、検索の速度に影響を与える。一方、次元数を小さくすると、有用な情報が消失する可能性があり、解析精度、ひいては、検索精度（以下、まとめて「精度」という。）が劣化することがある。したがって、本実施形態においては、特徴空間の次元数を下げつつ、検索精度を向上することを目的としている。
【００２１】
（３）本発明の実施形態における画像検索システムについて
画像検索は様々な特徴量を用いて行うことができる。たとえば、特徴量としてカラーヒストグラムなどがある。様々な画像の特徴量を解析し、それぞれのクラスが最もよく判別できるような線形基底関数βｉを導出することができる。画像の特徴量（たとえば、カラーヒストグラム）は基底関数βｉの線形和で表される。βiは線形射影ベクトルとも言う。一方、本実施形態において複雑な現象や非線形現象などにも対応するために、低次元の入力特徴量を非線形関数で高次元特徴空間に射影し、非線形基底を求めるが、「カーネルトリック」と呼ばれる方法（カーネル関数）を導入することにより、解析装置１０は非線形基底関数の代わりに、複数種類のトレーニング画像Ｉｉのクラスを効果的に判別できるカーネル射影ベクトルαｉを導出することもできる。以下、線形関数を利用して導出する基底ベクトルβｉを説明する。
【００２２】
基底ベクトルβｉを導出すれば、画像の特徴量（たとえばカラーヒストグラム）は、以下の式で示されるように、基底ベクトルの線形和として表現される。
【数１】
【００２３】
式（１）において、βｉは、ｉ番目の基底ベクトルであり、（Ｎ＋１）個の基底ベクトルβにより、（Ｎ＋１）次元の部分空間Ｆが構築される。係数ｓｉは、基底ベクトルβｉ上のスカラ値を示し、基底ベクトルβｉにおける特徴量の大きさを示す。つまりｓｉは、特徴量ｆを、部分空間Ｆの軸βｉ上に射影した位置を示す。したがって、
Ｓ＝［ｓ０，ｓ１，・・・ｓＮ］
は、部分空間Ｆにおける座標を示し、画像の特徴量ｆと同義に扱うことができる。一方、Ｓの次元数（部分空間の次元数）は、ｆの次元数より低いので、ｆの代わりにＳを特徴量（特徴ベクトル）として用いると、高い次元を低い次元に圧縮することができる。したがって、このＳにより、画像を表現することができ、線形射影による基底ベクトルβｉが導出できれば、検索処理時にユークリッド距離を算出する際に座標（特徴ベクトル）Ｓを利用することができる。
【００２４】
このように解析装置１０が、基底ベクトルβｉを求めることができれば、画像が部分空間Ｆ上の座標Ｓにより表現できるようになる。この基底ベクトルβｉと、被検索画像としてデータベースに予め用意しておく画像ごとの係数ｓｉとを記憶しておくことによって、検索装置８０が、入力画像に類似する画像を検索できる。
【００２５】
しかしながら、線形関数により導出される基底ベクトルβｉによると、複数種類のトレーニング画像をクラス別に分離することが困難な状況が発生しうる。そこで本実施形態の解析装置１０は、教師信号付非線形関数を用いて、それぞれのクラスを効率的に判別するカーネル射影ベクトルαｉを導出することとしている。非線形関数を用いることによって、画像の特徴量の次元を効率的に上げて高次元空間を捉えつつ、その中から、画像をクラスごとに分けるための有用な情報が含まれる部分空間Ｆを抽出することが可能となる。また、教師信号を用いることによって、学習時に各画像の特徴量をクラス間で解析することができ、カーネル射影ベクトルαｉの導出精度を高めることが可能となる。このような態様により、効率的に、高精度な画像検索システム１を実現できる。以下、教師信号と非線形関数について順に説明する。
【００２６】
（３−１）教師信号について
教師信号Ｃｉは、トレーニング画像Ｉｉのクラスを示す識別情報である。この教師信号Ｃｉは、それぞれのトレーニング画像Ｉｉに対応付けられて、解析装置１０に入力される。たとえば教師信号Ｃｉは、トレーニング画像Ｉｉの属性情報として、画像フォーマットの一部に組み込まれていてもよい。また教師信号Ｃｉは、トレーニング画像Ｉｉを解析装置１０に入力する際に、オペレータなどにより指定されてもよい。たとえば、１００枚の馬の画像を解析装置１０に連続して入力するときには、オペレータが、馬の画像を１００枚入力することを解析装置１０に通知し、解析装置１０は、この通知情報を、それから連続して入力される１００枚の画像が馬の画像であることを知らせる教師信号Ｃｉとして処理してもよい。さらに、トレーニング画像Ｉｉをクラスごとに異なるフォルダに入れておき、解析装置１０が、読み出している画像ファイルのフォルダを、教師信号Ｃｉとして取り扱ってもよい。本実施形態では、学習段階で教師信号Ｃｉを導入することにより、解析装置１０が、トレーニング画像をクラスごとにまとめることができ、結果として解析精度を高めることが可能となる。
【００２７】
（３−２）非線形化について
前述したように、被検索画像の登録時におけるメモリ容量や、検索処理時における処理負荷を考慮すると、抽出するクラス分類に必要な特徴量の次元数、すなわち特徴ベクトルｆを表現する部分空間の次元数は、できるだけ下げることが望ましい。しかしながら、次元数を下げすぎると、有用な情報が消失してしまい、精度が下がる場合がある。
【００２８】
ところで、学習対象物から抽出される膨大な種類の特徴量は、すべてが必ずしも有用な情報というわけではない。たとえば、人間を身長別で順位付けする場合においては、性別や体重、あるいは、出身地などは不要な特徴量であることは明らかである。したがって有用な情報が含まれた特徴量のみを与える射影関数を定め、部分空間Ｆを構築することが望まれる。理想的な部分空間Ｆは、それぞれのクラスを明確に分類できる空間である。なお、トレーニング画像Ｉｉから部分空間を形成することは、トレーニング画像Ｉｉを入力として、カーネル射影ベクトルαｉを決定することと同義である。
【００２９】
（３−２−１）線形な射影について
このような部分空間の構築は、射影演算により実現される。ここでは、まず、線形な射影について説明する。なお、理解を容易にするために、２次元の空間を１次元の空間である「軸」に射影する場合について説明する。図２は、第１空間５００の例を示す図である。第１空間５００は、Ｘ軸とＹ軸とで表現される２次元空間である。第１空間５００には、丸で表現された第１クラス３１０の特徴ベクトルと、三角で表現された第２クラス３２０の特徴ベクトルとが、図示するような状態で分布している。
【００３０】
第１クラス３１０と第２クラス３２０のそれぞれの特徴ベクトルをＸ軸方向に射影すると、第１クラス３１０は第１領域２１０に射影され、第２クラス３２０は第２領域２２０に射影される。そのため、第１クラス３１０と第２クラス３２０とは、第１境界線４００により、明確に分類可能となる。一方、Ｙ軸方向に射影すると、第１クラス３１０と第２クラス３２０とは、共に、第３領域２３０に射影されるため、両者を分類することができない。したがって、複数のクラスを互いに分類できるようなＸ軸に射影する必要がある。ここで、Ｘ軸は、線形射影における式（１）の基底ベクトルβｉに相当する。
【００３１】
「軸」は、クラス間の分散６００が最大となるように、かつ、クラス内の各特徴ベクトルの分散を示す第１クラス内分散値６１０、第２クラス内分散値６２０が最小となるように、決定されればよい。これにより、異なるクラスを分類できる精度を高めることができる。なお「分散」は、「相関度」といった差異の程度を表現するための語句に置換えて表現されてもよい。
【００３２】
（３−２−２）非線形な射影について
しかしながら、線形空間だけで考えても、有用な情報が含まれる部分空間が見つからないことがある。このような場合、非線形関数により、高次元空間に射影して、次元数を上げて、その後、重要な成分が含まれた部分空間を抽出すればよい。
【００３３】
例を用いて説明する。図３は、Ｘ軸とＹ軸とで表現される２次元の第２空間５１０の例を示す図である。第２空間５１０には、丸で表現された第３クラス３３０の特徴ベクトルと、三角で表現された第４クラス３４０の特徴ベクトルとが、図示するような状態で分布している。第２空間５１０に示されるように特徴ベクトルが分布している場合、Ｘ軸、Ｙ軸のいずれの方向に射影しても、第３クラス３３０と第４クラス３４０とを図２のように明確に分類することができない。しかしながら、図３に示すように、それぞれのクラスは、第２境界線４１０で示される境界により分けることができる。
【００３４】
図２においては、第１境界線４００がＹ軸に平行であったため、第１境界線４００が交差するＸ軸に射影することにより、複数のクラスを分類できたものの、第２境界線４１０のように、境界線が軸に平行とはならないような場合、線形射影によると複数のクラスを明確に分類できないこととなる。したがって、第２境界線４１０がいずれかの軸に平行となるように、第２空間５１０を他の空間に射影すればよい。
【００３５】
図４は、図３の第２空間５１０を第３空間５２０に非線形変換したときの図である。第２空間５１０を第３空間５２０に非線形変換することによって、第２境界線４１０は、第３境界線４２０のように軸に平行な境界線となる。したがって、第３クラス３３０と第４クラス３４０とは、空間の非線形変換処理を実行することにより、Ｙ'軸の第４領域２４０、第５領域２５０にそれぞれ射影されることで、明確に分類されることが可能となる。ここでＹ'軸は、非線形射影により導出されるカーネル射影ベクトルαｉに相当する。
【００３６】
非線形関数を用いた射影演算により、空間の次元を上げて、その中から有用な部分空間を探索することができる。これにより、解析精度を向上でき、後の検索精度も向上できる。しかしながら、このような非線形演算は、演算量等が膨大になることがある。したがって、本実施形態においては、非線形演算を簡易に実現する方法として、カーネルトリックを適用する。
【００３７】
（３−２−３）非線形化手法「カーネルトリック」について
ここでは、非線形演算を簡易に実現するために、「カーネルトリック」と呼ばれる方法を導入する。この「カーネルトリック」と呼ばれる方法は、１９６４年にＡｉｚｅｒｍａｎ氏によって提案されたものである。この方法に用いられるカーネル関数は、低次元ベクトルを簡易に非線形変換して、高次元部分空間に射影するための関数である。
【００３８】
ここで、ベクトルｘが任意の非線形関数Φによって高次元空間Ｆに射影される場合、以下の式で表現される。
【数２】
【００３９】
一般に、このような非線形関数の射影によって得られる空間の次元は非常に大きくなり、非線形変換したベクトルの次元数が大きくなると、計算コストが非常に大きくなってしまう。そこで、非線形部分空間Ｆにおける内積計算を式（３）に示すようなカーネル関数Ｋで表すことで、φ（ｘ１）とφ（ｘ２）との内積を低次元の入力ベクトルｘ１とｘ２のみを用いて計算することができる。
【数３】
【００４０】
式（３）は、非線形関数Φが分からなくても、カーネル関数Ｋと、入力ベクトルｘだけを用いれば、非線形部分空間Ｆでの様々な計算ができることを示している。このような考えを用いると、高次元に射影しながら、実際には射影された空間でのベクトルの演算を避けて、カーネルの計算のみで計算が行えるようになる。
【００４１】
カーネル関数としては、以下のような関数が用いられる。式（４）〜式（６）は、いずれも計算が容易な関数である。そのため、非線形処理による射影演算が簡易な計算のみによって実現されることとなる。
【数４】
【数５】
【数６】
【００４２】
以上により、カーネル関数Ｋと入力ベクトルｘだけを用いれば、非線形部分空間Ｆでの様々な計算ができる。このように、高次元に射影しながら、実際には射影された空間でのベクトルの演算を避けることができ、カーネル射影ベクトルの解析が容易となる。
【００４３】
（３−３）教師信号付非線形関数を用いた部分空間の抽出方法について
以下、（３−１）で述べた教師信号と（３−２）で述べた非線形化の双方を用いて、部分空間を抽出するための射影関数を導出する際の処理について、理論的に説明する。
【００４４】
まず、入力されたトレーニング画像Ｉｉごとに、カラーヒストグラムｘｉ（ｉ＝１〜ｍ）を作成して、出力する。ｘｉは、ｎ次元のベクトルである。ｍは、トレーニング画像の枚数である。
【数７】
【００４５】
ここで、以下の非線形関数Φ（Ｘ）を用いて、カラーヒストグラムＸを高次元空間に射影する。
【数８】
【００４６】
高次元空間における最適部分空間を与える射影関数（射影行列）ＰΦは、以下の最小化問題を解くことによって求めることができる。
【数９】
【数１０】
【００４７】
ベクトルｙｉは、カラーヒストグラムｘｉの高次元空間における部分空間への射影（特徴ベクトル）である。また、重み行列Ｗｉｊは、式（１１）により定義される重み行列である。式（１１）におけるｉとｊとが同一クラスであるか否かは、教師信号にもとづいて、判別される。この定義により、クラスが異なるｙｉとｙｊにおいては、式（９）のΣの内部の項が０となる。一方、クラスが同一の場合は、Σの内部の項が０以上となる。そのため、異なるクラス間の距離をより大きくすることができる。これにより、式（９）におけるΣの内部の項は、同一クラス内の相関を示す値となる。つまり、式（９）は、同一クラス内の相関の和を最小化することを目的とする関数となる。そのため、クラス内における距離を最小とすることができる。
【数１１】
【００４８】
まとめると、式（９）で示される最小化問題を解くことによって、得られた部分空間において、異なるクラス間の相関がなくなり、また、同一クラス内の相関が大きくなるようなＰΦが導出できる。ｙは、射影関数ＰΦと、カラーヒストグラムｘにより決定される。ここで、式（９）で示される最小化すべき目的関数は、以下のようにＰΦを用いて表現される。なお、式（１３）のＤｉｊは、対角行列である。
【数１２】
【数１３】
【００４９】
ここで、Ｐφは、以下のように表現される。
【数１４】
ここで式（１４）中のαは、係数ベクトルである。
【数１５】
【００５０】
ここで、式（１２）と式（１４）を組み合わせると、次式が得られる。
【数１６】
【００５１】
なお、Ｋは、カーネル行列であり、各要素Ｋ（ｉ、ｊ）は、以下で定義される。なお、式（１８）の代わりに、前述の式（４）、式（５）、式（６）のいずれかを用いてもよい。
【数１７】
【数１８】
【００５２】
ここで、式（１９）の条件下において、式（９）の最小化問題は、式（２０）で示される一般化固有値問題へと変換される。ここで、αは、式（２０）の固有値分解で求めることができる。
【数１９】
【数２０】
【００５３】
式（２０）の一般化固有値問題を解くことで得られたαを用いて、射影（特徴ベクトル）Ｙを以下のように求めることができる。
【数２１】
【数２２】
以上まとめると、式（２０）の一般化固有値問題を解くことによって、ベクトルαを求め、αを用いて、高次元非線形空間における部分空間への射影（特徴ベクトル）ｙを直接求めることができる。さらに、これらは、式（９）や式（１１）が考慮されて得られたものであるため、クラス内分散が小さくなり、かつ、クラス間分散が大きくなるような部分空間への射影を導出できていることになる。以上の態様により、解析装置１０による解析精度を効率的に向上できることとなる。
【００５４】
（３−４）本実施形態の具体的な構成について
図５は、本発明の実施形態にかかる教師信号付非線形画像解析手法を用いた画像検索システム１における解析装置１０の構成例を示す図である。解析装置１０は、トレーニング画像取得部４０と、教師信号取得部４２と、画像特徴量抽出部４４と、カーネル射影ベクトル解析部４６とを備える。カーネル射影ベクトル解析部４６は、複数の画像をクラスごとに検索するためのカーネル射影ベクトルαを生成する機能をもち、パラメータ導出部４８と、カーネル射影ベクトル導出部５０と、関数保持部５２と、カーネル射影ベクトル保持部５４とを備える。
【００５５】
トレーニング画像取得部４０は、入力される複数のトレーニング画像を取得して、順に、画像特徴量抽出部４４に出力する。教師信号取得部４２は、トレーニング画像取得部４０で取得されたトレーニング画像ごとに、教師信号を取得する。既述したように、この教師信号は、トレーニング画像のクラスを特定する情報である。画像特徴量抽出部４４は、トレーニング画像取得部４０より出力されたトレーニング画像から、画像特徴量を抽出する。本実施形態では、画像特徴量抽出部４４が、画像特徴量として、カラーヒストグラムを抽出する。
【００５６】
パラメータ導出部４８は、画像特徴量抽出部４４からカラーヒストグラムを受け取り、また教師信号取得部４２からトレーニング画像ごとの教師信号を受け取る。関数保持部５２は、上記した数式で特定されるカーネル射影ベクトルαの演算導出処理に必要な関数を保持し、パラメータ導出部４８は、関数保持部５２から関数を読み出して、演算処理を実行する。パラメータ導出部４８は、画像特徴量抽出部４４から取得した全てのトレーニング画像についてのカラーヒストグラムｘｉ（ｉ＝１〜ｍ）から、パラメータとなる行列Ｗ、Ｄ、および、Ｋを導出する。重み行列Ｗは、カラーヒストグラムｘｉと、教師信号Ｃｉとを用いて、前述の式（１１）により導出される。また、対角行列Ｄは、導出された重み行列Ｗを用いて、式（１３）から導出される。また、カーネル行列Ｋは、前述の式（１８）により導出される。パラメータ導出部４８は、導出したＷ、Ｄ、Ｋをカーネル射影ベクトル導出部５０に出力する。
【００５７】
カーネル射影ベクトル導出部５０は、パラメータ導出部４８から出力された行列Ｗ、Ｄ、Ｋを用いて、式（２０）で示される固有値問題を解いて、カーネル射影ベクトルαを取得する。ここで、カーネル射影ベクトル導出部５０は、取得したカーネル射影ベクトルαをカーネル射影ベクトル保持部５４に出力し、カーネル射影ベクトル保持部５４は、カーネル射影ベクトルαを保持する。
【００５８】
図６は、本発明の実施形態にかかる教師信号付非線形画像解析手法を用いた画像検索システム１における登録装置６０の構成例を示す図である。登録装置６０は、登録用画像取得部６２と、画像特徴量抽出部６４と、射影部６６と、特徴ベクトル取得部６８と、登録部７０と、カーネル射影ベクトル保持部７２と、関数保持部７４とを備える。カーネル射影ベクトル保持部７２は、解析装置１０により導出されたカーネル射影ベクトルαを保持し、解析装置１０および登録装置６０が一つの装置として構成される場合には、解析装置１０におけるカーネル射影ベクトル保持部５４が、登録装置６０においてカーネル射影ベクトル保持部７２として利用されてもよい。関数保持部７４は、特徴ベクトルの演算導出処理に必要な関数を保持し、射影部６６は、関数保持部７４から関数を読み出して、演算処理を実行する。
【００５９】
登録用画像取得部６２は、登録用の画像を取得して、順に、画像特徴量抽出部６４に出力する。画像特徴量抽出部６４は、登録用画像取得部６２より出力された登録用画像から、画像特徴量を抽出する。射影部６６は、式（２２）により、登録用画像にかかるカーネル行列Ｋｔを導出する。さらに射影部６６は、式（２３）にしたがい、カーネル射影ベクトル保持部７２に保持されたカーネル射影ベクトルαで構築される部分空間に、算出したＫｔで変換し、登録用画像の非線形部分空間上の特徴ベクトルＹｔを計算する。計算した特徴ベクトルＹｔは、特徴ベクトル取得部６８に供給される。
【数２３】
【００６０】
特徴ベクトル取得部６８は、射影部６６により導出された特徴ベクトルを取得し、登録部７０に供給する。登録部７０は、登録用画像を、特徴ベクトル取得部６８から供給された特徴ベクトルに対応付けて記憶装置２０に登録する。この登録処理は、複数の登録用画像のそれぞれに対して実行され、記憶装置２０は、検索対象となる被検索画像が、それぞれの特徴ベクトルと対応付けられてデータベース化される。なお、それぞれの特徴ベクトルは、後述する検索処理時に使用されるものである。被検索画像は、記憶装置２０において特徴ベクトルと紐付けされていればよく、被検索画像を格納する記憶装置と、特徴ベクトルを格納する記憶装置とは、物理的に異なっていてもよい。
【００６１】
なお、以上は、登録装置６０が、解析装置１０により導出されたカーネル射影ベクトルαを利用して、登録用画像を登録する例について説明した。解析装置１０が非線形射影によりカーネル射影ベクトルαを予め導出しておくことで、登録装置６０が、登録用画像を自動的に登録することが可能となる。これにより、登録処理に手間がかからず、また多数の登録用画像の登録が可能となる。なお、解析装置１０と登録装置６０とが一体に構成されてもよく、このときには、解析装置１０でカーネル射影ベクトルαを導出するとともに、トレーニング画像の特徴ベクトルを求めて、記憶装置２０に登録することができる。これにより、解析処理と登録処理とを同時に実行することができ、作業の効率化を図ることが可能となる。
【００６２】
図７は、本発明の実施形態にかかる教師信号付非線形画像解析手法を用いた画像検索システム１における検索装置８０の構成例を示す図である。検索装置８０は、検索要求画像取得部８２と、画像特徴量抽出部８４と、射影部８６と、特徴ベクトル取得部８８と、検索処理部９０と、カーネル射影ベクトル保持部９２と、関数保持部９４と、出力部１００とを備える。カーネル射影ベクトル保持部９２は、解析装置１０により導出されたカーネル射影ベクトルαを保持し、解析装置１０および検索装置８０が一つの装置として構成される場合には、解析装置１０におけるカーネル射影ベクトル保持部５４が、検索装置８０においてカーネル射影ベクトル保持部９２として利用されてもよい。関数保持部９４は、特徴ベクトルの演算導出処理に必要な関数を保持し、射影部８６は、関数保持部９４から関数を読み出して、演算処理を実行する。記憶装置２０は、登録装置６０で登録された複数の画像および特徴ベクトルを対応付けて記憶する。
【００６３】
図７に示す検索装置８０は、図６に示す登録装置６０と近似した構成を有する。これは、検索装置８０および登録装置６０ともに、解析装置１０で生成されたカーネル射影ベクトルαをもとに、画像の特徴ベクトルを抽出するためである。したがって、検索装置８０は、登録装置６０とともに、１つの装置として構成されてもよい。なお、登録装置６０が登録処理を実行して画像と特徴ベクトルとを対応付けて記憶装置２０に登録し、検索装置８０が、登録装置６０による登録結果を用いて、インターネットなどで検索エンジンとしてサービスを提供する場合には、登録装置６０と検索装置８０とが別装置として構成されてもよい。
【００６４】
検索要求画像取得部８２は、入力された検索を要求する画像を取得して、画像特徴量抽出部８４に出力する。画像特徴量抽出部８４は、検索要求画像から、画像特徴量を抽出する。射影部８６は、式（２２）により、検索要求画像にかかるカーネル行列Ｋｔを導出する。さらに射影部８６は、式（２３）にしたがい、カーネル射影ベクトル保持部９２に保持されたカーネル射影ベクトルαで構築される部分空間に、算出したＫｔを射影して、検索要求画像の部分空間上の特徴ベクトルＹｔを計算する。計算した特徴ベクトルＹｔは、特徴ベクトル取得部８８に供給される。
【００６５】
特徴ベクトル取得部８８は、射影部８６により導出された特徴ベクトルを取得し、検索処理部９０に供給する。検索処理部９０は、記憶装置２０にアクセスして、被検索画像の特徴ベクトルＹｔを読み出す。検索処理部９０は、読み出した被検索画像の特徴ベクトルＹｔと、特徴ベクトル取得部８８で取得された検索要求画像の部分空間における特徴ベクトルＹｔとを比較して、複数の被検索画像のＹｔから、検索要求画像の特徴ベクトルＹｔに最も近い値を有するものを検索する。この検索においては、互いのユークリッド距離が最短であるものが選択される。なお、複数枚（たとえばＬ枚）の類似画像を検索する処理であれば、検索処理部９０は、記憶装置２０に格納された被検索画像のなかから、ユークリッド距離が近い上位Ｌ枚の画像を選択して、出力部１００に出力する。出力部１００は、検索処理部９０から出力された検索結果にかかる画像を表示する。
【００６６】
上述したこれらの構成は、ハードウエア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウエア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。
【００６７】
（３−５）本実施形態の動作について
以上の態様における動作例について説明する。まず、図５の解析装置１０の動作について説明する。なお、以下の例では、トレーニング画像を解析装置１０により解析するとともに、トレーニング画像を記憶装置２０に登録する処理を同時に行っている。
【００６８】
図８は、図５の解析装置１０の動作例を示すフローチャートである。まず、トレーニング画像取得部４０は、トレーニング画像を取得して、画像特徴量抽出部４４に出力する（Ｓ１０）。教師信号取得部４２は、トレーニング画像取得部４０で取得されたカラーヒストグラムにかかるトレーニング画像のクラスを示す教師信号を取得して、パラメータ導出部４８に出力する（Ｓ１２）。他に入力すべきトレーニング画像が存在する場合（Ｓ１４のＹ）、Ｓ１０に戻る。入力すべきトレーニング画像が存在しない場合（Ｓ１４のＮ）、Ｓ１６に移る。
【００６９】
画像特徴量抽出部４４は、トレーニング画像取得部４０より出力されたトレーニング画像から、カラーヒストグラムを抽出して、パラメータ導出部４８に出力する（Ｓ１６）。パラメータ導出部４８は、画像特徴量抽出部４４から取得した全てのトレーニング画像についてのカラーヒストグラムｘｉ（ｉ＝１〜ｍ）と、それぞれの教師信号Ｃｉとを用いて、式（１１）、式（１３）、式（１８）にしたがって、パラメータとなる行列Ｗ、Ｄ、および、Ｋを導出する（Ｓ１８）。
【００７０】
カーネル射影ベクトル導出部５０は、パラメータ導出部４８により導出された行列Ｗ、Ｄ、Ｋを用いて、式（２０）で示される固有値問題を解いて、カーネル射影ベクトルαを取得する（Ｓ２０）。さらに、カーネル射影ベクトル導出部５０は、式（２１）により、カーネル射影ベクトルαと、カーネル行列Ｋとを用いて、射影演算を実行する（Ｓ２２）。なお、この射影処理は、図６の射影部６６による処理と同じであり、このフローでは、カーネル射影ベクトル導出部５０が、射影部６６の機能も担っている。カーネル射影ベクトル導出部５０は、射影演算の結果である各トレーニング画像の特徴ベクトルＹを記憶装置２０に登録して（Ｓ２４）、処理を終了する。
【００７１】
つぎに、図７の検索装置８０の動作について説明する。図９は、図７の検索装置８０の動作例を示すフローチャートである。このフローチャートは、図８のフローチャートに示される処理によって記憶装置２０に被検索画像が登録された後に開始される。
【００７２】
まず、検索要求画像取得部８２が、検索要求画像を取得する（Ｓ３０）。画像特徴量抽出部８４は、検索要求画像取得部８２によって取得された検索要求画像から、カラーヒストグラムｘｔを抽出して、射影部８６に出力する（Ｓ３２）。また、射影部８６には、トレーニング画像にかかるカラーヒストグラムｘｉ（ｉ＝１〜ｍ）が供給される。なおトレーニング画像のカラーヒストグラムｘｉは、記憶装置２０ないしは他の記憶装置に格納されており、射影部８６は、カラーヒストグラムｘｉを読み出してもよい。
【００７３】
ここで、射影部８６は、ｘｔとｘｉとを用いて、式（２２）により、検索要求画像にかかる系列Ｋｔを導出する（Ｓ３４）。さらに、射影部８６は、式（２３）にしたがい、導出したＫｔと、カーネル射影ベクトル保持部９２に保持されたカーネル射影ベクトルαとを用いて、部分空間における検索要求画像の特徴ベクトルＹｔを算出する（Ｓ３６）。
【００７４】
ここで、検索処理部９０は、記憶装置２０に記憶された被検索画像の特徴ベクトルと、検索要求画像の特徴量Ｙｔとを比較して、検索要求画像の特徴ベクトルＹｔに近い値を有する特徴ベクトルを検索し（Ｓ３８）、近い順に、ユーザから指定された枚数だけ、特徴ベクトルに紐付けられたトレーニング画像を出力する。ここで、再検索を実行しないことをユーザが選択した場合、処理を終了する（Ｓ４０のＮ）。再検索を実行することが選択された場合（Ｓ４０のＹ）、Ｓ３２に戻る。なお、再検索においては、Ｓ３８において過去に検索されたトレーニング画像以外の画像を対象として、検索されるようにしてもよい。
【００７５】
（４）本実施形態の効果について
ここでは、２つのシミュレーションを用いて、本実施形態の効果について説明する。第１のシミュレーションは、次元数Ｎを変数とした場合における検索の正答率についてのシミュレーションである。第１のシミュレーションにおける条件は、以下のとおりである。
【００７６】
＜シミュレーション条件１＞
クラス総数：１０クラス
トレーニング画像の枚数：９６０枚（９６枚×１０クラス）
検索要求画像総数：４０枚（４枚×１０クラス）
検索要求画像：同一クラスに属する４枚のいずれか
連続検索回数：３０
次元数Ｎ：１〜２０
比較対象：ＰＣＡ、ＩＣＡ、ＬＰＰ、ＳＬＰＰ、ＫＬＰＰ、ＫＰＣＡ
その他：一度検索されたトレーニング画像は削除され、その後、再検索が実行される
【００７７】
なお、本実施形態のアルゴリズムの比較対象として、６つのアルゴリズムを挙げた。具体的には、ＰＣＡと、ＩＣＡと、ＬＰＰと、ＳＬＰＰ（Ｓｕｐｅｒｖｉｓｅｄ ＬＰＰ、教師付ＬＰＰ）と、ＫＬＰＰ（Ｋｅｒｎｅｌ ＬＰＰ、カーネルＬＰＰ）と、ＫＰＣＡ（Ｋｅｒｎｅｌ ＰＣＡ、カーネルＰＣＡ）である。これらはいずれも公知のアルゴリズムであるため、説明を省略する。
【００７８】
シミュレーション条件１におけるシミュレーション結果について説明する。図１０は、本発明の実施形態にかかるシミュレーション条件１における第１シミュレーション結果７００を示す図である。第１シミュレーション結果７００は、ＰＣＡ７１０とＩＣＡ７２０とＬＰＰ７３０とＳＬＰＰ７４０とＫＬＰＰ７５０とＫＰＣＡ７７０とのそれぞれの結果と、本実施形態の画像検索システム１による結果が示されたＯｕｒＭｅｔｈｏｄ７６０とを含む。横軸は、次元数Ｎを示す。縦軸は、検索の正答率を示す。
【００７９】
検索の正答率とは、連続して３０回検索した場合において、検索要求画像のクラスと検索された画像のクラスとが一致した枚数を３０で割った値をいう。シミュレーション条件１のその他の欄に示したように、再検索においては、検索画像が検索の母集団から除かれる。したがって、検索がランダムに実施される場合、最初の検索においては１０％（９６／９６０）の確率で正答するものの、２回目に正答する確率は、約９．９％（９５／９５９）となる。そうすると、３０回目に正答する確率は、約７．２％（６７／９３１）となる。これは、検索回数が増えるにつれて、正答することが困難となることを示している。
【００８０】
第１シミュレーション結果７００において、ＫＬＰＰ７５０の場合は、次元数Ｎを増加しても、１５％前後の正答率としかならない。また、ＰＣＡ７１０、ＩＣＡ７２０、ＬＰＰ７３０、ＳＬＰＰ７４０、ＫＰＣＡ７７０の場合、次元数が１から５になるにつれて、正答率が２５％前後から３５％ないし４５％前後まで上昇する。しかし、次元数が５以上となっても、正答率は上昇せず、３５％ないし４５％前後で飽和した状態となる。
【００８１】
一方、ＯｕｒＭｅｔｈｏｄ７６０においては、次元数Ｎが１の場合でも約３５％の正答率を有し、次元数が上昇するにつれて正答率も上昇し、次元数が９となる前後で、８０％を超える正答率となる。ランダムな場合の正答率が約７．２％であることと比べると、本実施形態の手法では、驚異的な正答率を達成できていることが分かる。また、ＰＣＡ７１０等の他の手法と比べても、次元数＝１０において、４０％以上も高い正答率を有している。したがって、本手法は、極めて有効な検索手法であるといえる。
【００８２】
なお、次元数が１１以上となると正答率が下降しているが、これは、過学習によるものであると考えられる。過学習とは、たとえば、性別を判断するための特徴量として、生年月日が追加された場合に相当する。また、次元数を増やしたことで、カーネル射影ベクトルαにおいて、無理に不要な情報が含まれ、結果として余計なカーネル射影ベクトルが追加されて、クラスの判別能力に影響がでたと考えられる。
【００８３】
第２のシミュレーションは、検索回数を変数とした場合における検索の正答率についてのシミュレーションである。第２のシミュレーションにおける条件は、以下のとおりである。
【００８４】
＜シミュレーション条件２＞
クラス総数：１０クラス
トレーニング画像の枚数：９６０枚（９６枚×１０クラス）
検索要求画像総数：４０枚（４枚×１０クラス）
検索要求画像：同一クラスに属する４枚のいずれか
カーネル射影ベクトルαの最大次元数Ｎ：１０
検索回数：１〜９６
比較対象：ＰＣＡ、ＩＣＡ、ＬＰＰ、ＳＬＰＰ、ＫＬＰＰ、ＫＰＣＡ
その他：一度検索されたトレーニング画像は削除され、その後、再検索が実行される
【００８５】
シミュレーション条件２におけるシミュレーション結果について説明する。図１１は、本発明の実施形態にかかるシミュレーション条件２における第２シミュレーション結果８００を示す図である。第２シミュレーション結果８００は、ＰＣＡ８１０とＩＣＡ８２０とＬＰＰ８３０とＳＬＰＰ８４０とＫＬＰＰ８５０とＫＰＣＡ８７０とのそれぞれの結果と、本実施形態の画像検索システム１による結果が示されたＯｕｒＭｅｔｈｏｄ８６０とを含む。横軸は、検索回数を示す。縦軸は、検索の正答率を示す。
【００８６】
第２シミュレーション結果８００についてのＯｕｒＭｅｔｈｏｄ８６０以外の手法においては、１回目を最高とし、その後連続検索回数が上昇するにつれて、正答率が下がっている。これは、前述したように、検索回数が増えるにつれて、正答することが困難となるためである。
【００８７】
一方、ＯｕｒＭｅｔｈｏｄ８６０においては、１回目から３０回目前後までは、正答率として驚異的な８０％弱の値を達成できている。また、９６回目においても、約６５％といった高い正答率を誇っている。したがって、本検索手法は、極めて検索率の高い手法であるといえる。
【００８８】
以上説明したように本実施の形態によれば、非線形関数により射影された高次の空間から、画像のそれぞれのクラスが識別可能な部分空間を抽出することによって、識別のための重要な情報を適切に抽出でき、精度を向上できる。また、同じクラスの画像同士の特徴量の相関が高く、かつ、異なるクラスの画像同士の特徴量の相関がなくなるように、重み行列Ｗを算出することによって、クラス間の識別が容易となり、精度をより向上できる。また、カーネル行列Ｋと重み行列Ｗとの積により射影行列を生成し、生成された射影行列のカーネル射影ベクトルを導出することによって、効率的に特徴ベクトルを導出できるため、システム全体の処理負担を軽減できる。また、特徴量を部分空間に射影することによって、検索処理が容易となり、また、精度を向上できる。
【００８９】
以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【００９０】
（５）その他
前述した実施形態においては、画像の特徴量として、カラーヒストグラムを用いるとして説明した。しかしながらこれにかぎらず、たとえば、画像の形状や、画像の模様、あるいは、これらの組合せた情報を数値化して、特徴量として規定してもよい。このような特徴量を用いたとしても、前述の実施形態に適用することが可能であり、また、前述と同等の効果が得られることは言うまでもない。
【図面の簡単な説明】
【００９１】
【図１】画像検索システムの構成例を示す図である。
【図２】第１空間の例を示す図である。
【図３】第２空間の例を示す図である。
【図４】第２空間を第３空間に非線形変換したときの図である。
【図５】解析装置の構成例を示す図である。
【図６】登録装置の構成例を示す図である。
【図７】検索装置の構成例を示す図である。
【図８】解析装置の動作例を示すフローチャートである。
【図９】検索装置の動作例を示すフローチャートである。
【図１０】第１シミュレーション結果を示す図である。
【図１１】第２シミュレーション結果を示す図である。
【符号の説明】
【００９２】
１・・・画像検索システム、１０・・・解析装置、２０・・・記憶装置、４０・・・トレーニング画像取得部、４２・・・教師信号取得部、４４・・・画像特徴量抽出部、４６・・・カーネル射影ベクトル解析部、４８・・・パラメータ導出部、５０・・・カーネル射影ベクトル導出部、５２・・・関数保持部、５４・・・カーネル射影ベクトル保持部、６０・・・登録装置、６２・・・登録用画像取得部、６４・・・画像特徴量抽出部、６６・・・射影部、６８・・・特徴ベクトル取得部、７０・・・登録部、７２・・・カーネル射影ベクトル保持部、７４・・・関数保持部、８０・・・検索装置、８２・・・検索要求画像取得部、８４・・・画像特徴量抽出部、８６・・・射影部、８８・・・特徴ベクトル取得部、９０・・・検索処理部、９２・・・カーネル射影ベクトル保持部、９４・・・関数保持部、１００・・・出力部。
【技術分野】
【０００１】
本発明は、パターン解析技術に関し、特に、複数種類の画像から、複数のトレーニング画像の特徴を解析する画像解析装置、画像解析装置による解析結果を利用して検索用の画像を登録する画像登録装置、および、登録された被検索画像の中から、入力された画像に類似した画像を検索する画像検索装置に関する。
【背景技術】
【０００２】
近年、通信のブロードバンド化により、画像データを容易に入手することが可能となっている。膨大な画像データベースから必要な画像をすばやく検索するために、画像の色や形状などの特徴を抽出することによって、同じ特徴を有する類似画像を検索する手法が提案されている。しかしながら、画像特徴量の次元数は非常に大きくなる傾向にあるため、特徴抽出および検索に膨大な時間がかかることがあり、特徴量を圧縮する必要があった。
【０００３】
このような課題に対し、従来、主成分分析法（以下、ＰＣＡ（Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ）という。）や独立成分分析法（以下、ＩＣＡ（Ｉｎｄｅｐｅｎｄｅｎｔ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ）という。）、あるいは、局所的な幾何学構造に関する成分を保持できるＬＰＰ（Ｌｏｃａｌｉｔｙ Ｐｒｅｓｅｒｖｉｎｇ Ｐｒｏｊｅｃｔｉｏｎｓ）などのパターン解析手法により、画像の特徴を解析することによって、画像の特徴量の次元数を低減していた（たとえば、非特許文献１、２参照。）。
【０００４】
【非特許文献１】Ｘｉａｎｇ−Ｙａｎ Ｚｅｎｇ、ｅｔ ａｌ、「Ｉｍａｇｅ Ｒｅｔｒｉｅｖａｌ Ｂａｓｅｄ ｏｎ Ｉｎｄｅｐｅｎｄｅｎｔ Ｃｏｍｐｏｎｅｎｔｓ ｏｆ Ｃｏｌｏｒ Ｈｉｓｔｏｇｒａｍｓ」、Ｌｅｃｔｕｒｅ Ｎｏｔｅｓ ｉｎ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ、Ｖｏｌ．２７７３／２００３、ｐ．１４３５−１４４２
【非特許文献２】Ｘｉａｏｆｅｉ Ｈｅ ａｎｄ Ｐａｒｔｈａ Ｎｉｙｏｇｉ、「Ｌｏｃａｌｉｔｙ Ｐｒｅｓｅｒｖｉｎｇ Ｐｒｏｊｅｃｔｉｏｎｓ」、Ａｄｖａｎｃｅｓ ｉｎ Ｎｅｕｒａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｓｔｅｍｓ １６、Ｖａｎｃｏｕｖｅｒ、Ｃａｎａｄａ、２００３
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上述したようなパターン解析手法は、線形的な手法であるので、複雑な画像を表現しきれない。また上述した手法は、処理精度の面で効率的ではなかった。したがって、高精度な画像検索を効率的に実現する解析技術が望まれていた。
【０００６】
本発明はこうした状況に鑑みてなされたものであり、その目的は、効率的に高精度な画像検索を可能とする画像解析技術を提供し、また解析結果を利用した画像登録技術および画像検索技術を提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明のある態様の画像解析装置は、複数の画像を取得する画像取得部と、画像取得部によって取得した画像ごとに、画像特徴量を抽出する抽出部と、抽出部によって画像特徴量が抽出された画像のクラスを特定する教師信号を取得する教師信号取得部と、抽出部によって抽出された画像特徴量と、教師信号取得部によって取得した教師信号と用いて、画像間の相関を表現するための重み行列を生成する重み行列生成部と、所定のカーネル非線形関数を用いて、抽出部にて抽出されたそれぞれの画像の画像特徴量が分布している空間をより次元の高い高次元空間に射影するためのカーネル行列を導出するカーネル行列導出部と、カーネル行列導出部によって導出されたカーネル行列と、重み行列生成部によって生成された重み行列とを用いて、画像取得部にて取得された画像のそれぞれのクラスが識別可能な部分空間を高次元空間から抽出するためのカーネル射影ベクトルを導出するカーネル射影ベクトル導出部と、を備える。
【０００８】
この態様によると、非線形関数により射影された高次の空間から、画像のそれぞれの種類が識別可能な部分空間を抽出することによって、識別のための重要な情報を適切に抽出でき、解析精度を向上でき、もって、検索精度を向上できる。
【０００９】
本発明の別の態様は、画像登録装置である。この装置は、登録用の画像を取得する登録用画像取得部と、画像解析装置により導出されたカーネル射影ベクトルを保持する保持部と、登録用画像取得部で取得された登録用画像の画像特徴量を抽出する抽出部と、抽出した画像特徴量を、カーネル射影ベクトルで特定される部分空間に射影する射影部と、射影部により導出された特徴ベクトルを取得する特徴ベクトル取得部と、登録用画像を、取得した特徴ベクトルに対応付けて記憶装置に登録する登録部と、を備える。
【００１０】
本発明のさらに別の態様は、画像検索装置である。この装置は、検索を要求する検索要求画像を取得する検索要求画像取得部と、画像登録装置により登録された複数の画像および特徴ベクトルを記憶する記憶装置と、検索要求画像取得部で取得された検索要求画像の画像特徴量を抽出する抽出部と、抽出した画像特徴量を、カーネル射影ベクトルで特定される部分空間に射影する射影部と、射影部により導出された特徴ベクトルを取得する特徴ベクトル取得部と、検索要求画像の特徴ベクトルと、記憶装置に記憶された複数の特徴ベクトルとを比較することによって、記憶装置に記憶された複数の画像から、検索要求画像とユークリッド距離の近い画像を出力する検索処理部と、を備える。
【００１１】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１２】
本発明によれば、効率的に高精度な画像検索を可能とする画像解析技術を提供し、また解析結果を利用した画像登録技術および画像検索技術を提供できる。
【発明を実施するための最良の形態】
【００１３】
（１）画像検索システムとは
まず、本発明の実施形態を詳細に説明する前に、概要を述べる。本実施形態は、画像検索システムに関する。画像検索システムとは、入力される検索要求画像に類似する画像を、複数の被検索画像を予め登録してあるデータベースから検索するシステムである。図１は、画像検索システム１の構成例を示す図である。画像検索システム１は、解析装置１０と、登録装置６０と、検索装置８０と、記憶装置２０とを含む。
【００１４】
（１−１）解析処理
検索処理の前段階として、まず解析装置１０が、複数種類のトレーニング画像Ｉｉを取得して、それらの画像に関する特徴量を抽出し、抽出した特徴量からそれらの画像の特徴量を最もよく表現している部分空間のカーネル射影ベクトルを導出する。解析装置１０には、ｍ枚のトレーニング（学習用）画像Ｉｉが入力される。トレーニング画像Ｉｉには、さまざまな種類（以下、「クラス」という。）の画像、たとえば、ビル、バス、花、馬、山などの画像が含まれる。効率的な学習効果を得るために、トレーニング画像Ｉｉとして、クラスごとに、たとえば１００枚の画像が解析装置１０に入力される。解析装置１０は、入力された複数のトレーニング画像Ｉｉを解析して、複数種類の特徴量から、それぞれのクラスを判別できるようなカーネル射影ベクトルを導出する。
【００１５】
（１−２）登録処理
登録装置６０は、解析装置１０により導出されたカーネル射影ベクトルを用いて、複数の登録用画像を、検索される対象となる被検索画像として記憶装置２０に登録する。具体的に登録装置６０は、登録用画像から画像特徴量を抽出し、その画像特徴量が複数のカーネル射影ベクトルにより形成される部分空間において位置する座標（射影）を特定する。登録装置６０においては、次元数の高い元の特徴量（カラーヒストグラム等）の代わりに、次元数の低い部分空間での座標（射影）が、新しい特徴量（以下、特徴ベクトルともよぶ）として検索に用いるために登録される。登録装置６０は、登録用画像を、特定した特徴ベクトルに対応付けて、被検索画像として記憶装置２０に登録する。これにより記憶装置２０は、被検索画像のデータベースを構築する。以上の解析処理および登録処理により、検索の前処理が完了する。
【００１６】
（１−３）検索処理
検索装置８０は、入力された検索要求画像に類似する被検索画像を記憶装置２０から検索して出力する。具体的に検索装置８０は、検索要求画像から画像特徴量を抽出し、複数のカーネル射影ベクトルにより形成される部分空間内の座標（特徴ベクトル）を特定する。検索装置８０は、検索要求画像の特徴ベクトルと、記憶装置２０に保持されている被検索画像の特徴ベクトルとを比べて、互いのユークリッド距離が近いと判定される被検索画像を抽出する。互いの特徴ベクトルのユークリッド距離が近くなっている画像は、基本的（理想的）には、同一クラスの画像となる。同一クラスの画像とは、たとえば、検索要求画像が「馬」の画像であった場合、データベースに記憶されたビル、バス、花、馬、山の画像のうちの「馬」の画像である。なお、互いの特徴ベクトルのユークリッド距離が近くても、検索処理によりデータベースから抽出される画像のクラスが、検索要求画像と異なる場合がある。これは、解析装置１０により導出されたカーネル射影ベクトルの精度に起因し、したがって解析装置１０は、異なるクラスの画像間においては、互いの特徴ベクトルのユークリッド距離が遠くなるように、部分空間を構成するカーネル射影ベクトルを効果的に決定する必要がある。
【００１７】
（２）従来の画像検索システムについて
従来の画像検索システムにおいては、まず、複数の画像を用いて画像データベースを作成する際に、画像とともに、その画像を説明するためのキーワードを関連づけて記憶させていた。そのため、データベースに登録する画像数の増加にともなって、データベースの作成、管理が煩雑となっていた。
【００１８】
人間の目に映る像には、当然のごとくキーワードが付されていることはない。それにもかかわらず、人間の目は、その像のクラスを識別することができる。人間は、目に映る像のみによって、たとえばキリンとライオンを見分けることができる。
【００１９】
人間の目は、経験的に、目に映る像に含まれる特徴ベクトルを抽出して、それぞれの像のクラスを判別していると考えられる。初めて見る像である場合、いままで目にした多くの像から、初めて見る像との差異を無意識に抽出して、像のクラスを特定しうる。これを応用し、近年の画像検索システムにおいては、画像の特徴を数値化して、データベースを作成するようになってきた。画像の特徴として、たとえば、画像の色や模様、あるいは、画像の形状などが用いられる。
【００２０】
ところが、このような画像の特徴を数値で表現すると、非常に次元の大きなベクトルとなってしまう。たとえば、画像の色を特徴とする場合、色の三原色を構成する赤（Ｒ）、青（Ｂ）、緑（Ｇ）のそれぞれの比率で、特徴量が表現される。この場合、ＲとＧとＢとがそれぞれ８ビットで表現されるとすると、特徴量を表現するための空間として、２の２４乗の次元が必要となる。このような多次元量は、データベースの容量や、学習の効率性、あるいは、検索の速度に影響を与える。一方、次元数を小さくすると、有用な情報が消失する可能性があり、解析精度、ひいては、検索精度（以下、まとめて「精度」という。）が劣化することがある。したがって、本実施形態においては、特徴空間の次元数を下げつつ、検索精度を向上することを目的としている。
【００２１】
（３）本発明の実施形態における画像検索システムについて
画像検索は様々な特徴量を用いて行うことができる。たとえば、特徴量としてカラーヒストグラムなどがある。様々な画像の特徴量を解析し、それぞれのクラスが最もよく判別できるような線形基底関数βｉを導出することができる。画像の特徴量（たとえば、カラーヒストグラム）は基底関数βｉの線形和で表される。βiは線形射影ベクトルとも言う。一方、本実施形態において複雑な現象や非線形現象などにも対応するために、低次元の入力特徴量を非線形関数で高次元特徴空間に射影し、非線形基底を求めるが、「カーネルトリック」と呼ばれる方法（カーネル関数）を導入することにより、解析装置１０は非線形基底関数の代わりに、複数種類のトレーニング画像Ｉｉのクラスを効果的に判別できるカーネル射影ベクトルαｉを導出することもできる。以下、線形関数を利用して導出する基底ベクトルβｉを説明する。
【００２２】
基底ベクトルβｉを導出すれば、画像の特徴量（たとえばカラーヒストグラム）は、以下の式で示されるように、基底ベクトルの線形和として表現される。
【数１】
【００２３】
式（１）において、βｉは、ｉ番目の基底ベクトルであり、（Ｎ＋１）個の基底ベクトルβにより、（Ｎ＋１）次元の部分空間Ｆが構築される。係数ｓｉは、基底ベクトルβｉ上のスカラ値を示し、基底ベクトルβｉにおける特徴量の大きさを示す。つまりｓｉは、特徴量ｆを、部分空間Ｆの軸βｉ上に射影した位置を示す。したがって、
Ｓ＝［ｓ０，ｓ１，・・・ｓＮ］
は、部分空間Ｆにおける座標を示し、画像の特徴量ｆと同義に扱うことができる。一方、Ｓの次元数（部分空間の次元数）は、ｆの次元数より低いので、ｆの代わりにＳを特徴量（特徴ベクトル）として用いると、高い次元を低い次元に圧縮することができる。したがって、このＳにより、画像を表現することができ、線形射影による基底ベクトルβｉが導出できれば、検索処理時にユークリッド距離を算出する際に座標（特徴ベクトル）Ｓを利用することができる。
【００２４】
このように解析装置１０が、基底ベクトルβｉを求めることができれば、画像が部分空間Ｆ上の座標Ｓにより表現できるようになる。この基底ベクトルβｉと、被検索画像としてデータベースに予め用意しておく画像ごとの係数ｓｉとを記憶しておくことによって、検索装置８０が、入力画像に類似する画像を検索できる。
【００２５】
しかしながら、線形関数により導出される基底ベクトルβｉによると、複数種類のトレーニング画像をクラス別に分離することが困難な状況が発生しうる。そこで本実施形態の解析装置１０は、教師信号付非線形関数を用いて、それぞれのクラスを効率的に判別するカーネル射影ベクトルαｉを導出することとしている。非線形関数を用いることによって、画像の特徴量の次元を効率的に上げて高次元空間を捉えつつ、その中から、画像をクラスごとに分けるための有用な情報が含まれる部分空間Ｆを抽出することが可能となる。また、教師信号を用いることによって、学習時に各画像の特徴量をクラス間で解析することができ、カーネル射影ベクトルαｉの導出精度を高めることが可能となる。このような態様により、効率的に、高精度な画像検索システム１を実現できる。以下、教師信号と非線形関数について順に説明する。
【００２６】
（３−１）教師信号について
教師信号Ｃｉは、トレーニング画像Ｉｉのクラスを示す識別情報である。この教師信号Ｃｉは、それぞれのトレーニング画像Ｉｉに対応付けられて、解析装置１０に入力される。たとえば教師信号Ｃｉは、トレーニング画像Ｉｉの属性情報として、画像フォーマットの一部に組み込まれていてもよい。また教師信号Ｃｉは、トレーニング画像Ｉｉを解析装置１０に入力する際に、オペレータなどにより指定されてもよい。たとえば、１００枚の馬の画像を解析装置１０に連続して入力するときには、オペレータが、馬の画像を１００枚入力することを解析装置１０に通知し、解析装置１０は、この通知情報を、それから連続して入力される１００枚の画像が馬の画像であることを知らせる教師信号Ｃｉとして処理してもよい。さらに、トレーニング画像Ｉｉをクラスごとに異なるフォルダに入れておき、解析装置１０が、読み出している画像ファイルのフォルダを、教師信号Ｃｉとして取り扱ってもよい。本実施形態では、学習段階で教師信号Ｃｉを導入することにより、解析装置１０が、トレーニング画像をクラスごとにまとめることができ、結果として解析精度を高めることが可能となる。
【００２７】
（３−２）非線形化について
前述したように、被検索画像の登録時におけるメモリ容量や、検索処理時における処理負荷を考慮すると、抽出するクラス分類に必要な特徴量の次元数、すなわち特徴ベクトルｆを表現する部分空間の次元数は、できるだけ下げることが望ましい。しかしながら、次元数を下げすぎると、有用な情報が消失してしまい、精度が下がる場合がある。
【００２８】
ところで、学習対象物から抽出される膨大な種類の特徴量は、すべてが必ずしも有用な情報というわけではない。たとえば、人間を身長別で順位付けする場合においては、性別や体重、あるいは、出身地などは不要な特徴量であることは明らかである。したがって有用な情報が含まれた特徴量のみを与える射影関数を定め、部分空間Ｆを構築することが望まれる。理想的な部分空間Ｆは、それぞれのクラスを明確に分類できる空間である。なお、トレーニング画像Ｉｉから部分空間を形成することは、トレーニング画像Ｉｉを入力として、カーネル射影ベクトルαｉを決定することと同義である。
【００２９】
（３−２−１）線形な射影について
このような部分空間の構築は、射影演算により実現される。ここでは、まず、線形な射影について説明する。なお、理解を容易にするために、２次元の空間を１次元の空間である「軸」に射影する場合について説明する。図２は、第１空間５００の例を示す図である。第１空間５００は、Ｘ軸とＹ軸とで表現される２次元空間である。第１空間５００には、丸で表現された第１クラス３１０の特徴ベクトルと、三角で表現された第２クラス３２０の特徴ベクトルとが、図示するような状態で分布している。
【００３０】
第１クラス３１０と第２クラス３２０のそれぞれの特徴ベクトルをＸ軸方向に射影すると、第１クラス３１０は第１領域２１０に射影され、第２クラス３２０は第２領域２２０に射影される。そのため、第１クラス３１０と第２クラス３２０とは、第１境界線４００により、明確に分類可能となる。一方、Ｙ軸方向に射影すると、第１クラス３１０と第２クラス３２０とは、共に、第３領域２３０に射影されるため、両者を分類することができない。したがって、複数のクラスを互いに分類できるようなＸ軸に射影する必要がある。ここで、Ｘ軸は、線形射影における式（１）の基底ベクトルβｉに相当する。
【００３１】
「軸」は、クラス間の分散６００が最大となるように、かつ、クラス内の各特徴ベクトルの分散を示す第１クラス内分散値６１０、第２クラス内分散値６２０が最小となるように、決定されればよい。これにより、異なるクラスを分類できる精度を高めることができる。なお「分散」は、「相関度」といった差異の程度を表現するための語句に置換えて表現されてもよい。
【００３２】
（３−２−２）非線形な射影について
しかしながら、線形空間だけで考えても、有用な情報が含まれる部分空間が見つからないことがある。このような場合、非線形関数により、高次元空間に射影して、次元数を上げて、その後、重要な成分が含まれた部分空間を抽出すればよい。
【００３３】
例を用いて説明する。図３は、Ｘ軸とＹ軸とで表現される２次元の第２空間５１０の例を示す図である。第２空間５１０には、丸で表現された第３クラス３３０の特徴ベクトルと、三角で表現された第４クラス３４０の特徴ベクトルとが、図示するような状態で分布している。第２空間５１０に示されるように特徴ベクトルが分布している場合、Ｘ軸、Ｙ軸のいずれの方向に射影しても、第３クラス３３０と第４クラス３４０とを図２のように明確に分類することができない。しかしながら、図３に示すように、それぞれのクラスは、第２境界線４１０で示される境界により分けることができる。
【００３４】
図２においては、第１境界線４００がＹ軸に平行であったため、第１境界線４００が交差するＸ軸に射影することにより、複数のクラスを分類できたものの、第２境界線４１０のように、境界線が軸に平行とはならないような場合、線形射影によると複数のクラスを明確に分類できないこととなる。したがって、第２境界線４１０がいずれかの軸に平行となるように、第２空間５１０を他の空間に射影すればよい。
【００３５】
図４は、図３の第２空間５１０を第３空間５２０に非線形変換したときの図である。第２空間５１０を第３空間５２０に非線形変換することによって、第２境界線４１０は、第３境界線４２０のように軸に平行な境界線となる。したがって、第３クラス３３０と第４クラス３４０とは、空間の非線形変換処理を実行することにより、Ｙ'軸の第４領域２４０、第５領域２５０にそれぞれ射影されることで、明確に分類されることが可能となる。ここでＹ'軸は、非線形射影により導出されるカーネル射影ベクトルαｉに相当する。
【００３６】
非線形関数を用いた射影演算により、空間の次元を上げて、その中から有用な部分空間を探索することができる。これにより、解析精度を向上でき、後の検索精度も向上できる。しかしながら、このような非線形演算は、演算量等が膨大になることがある。したがって、本実施形態においては、非線形演算を簡易に実現する方法として、カーネルトリックを適用する。
【００３７】
（３−２−３）非線形化手法「カーネルトリック」について
ここでは、非線形演算を簡易に実現するために、「カーネルトリック」と呼ばれる方法を導入する。この「カーネルトリック」と呼ばれる方法は、１９６４年にＡｉｚｅｒｍａｎ氏によって提案されたものである。この方法に用いられるカーネル関数は、低次元ベクトルを簡易に非線形変換して、高次元部分空間に射影するための関数である。
【００３８】
ここで、ベクトルｘが任意の非線形関数Φによって高次元空間Ｆに射影される場合、以下の式で表現される。
【数２】
【００３９】
一般に、このような非線形関数の射影によって得られる空間の次元は非常に大きくなり、非線形変換したベクトルの次元数が大きくなると、計算コストが非常に大きくなってしまう。そこで、非線形部分空間Ｆにおける内積計算を式（３）に示すようなカーネル関数Ｋで表すことで、φ（ｘ１）とφ（ｘ２）との内積を低次元の入力ベクトルｘ１とｘ２のみを用いて計算することができる。
【数３】
【００４０】
式（３）は、非線形関数Φが分からなくても、カーネル関数Ｋと、入力ベクトルｘだけを用いれば、非線形部分空間Ｆでの様々な計算ができることを示している。このような考えを用いると、高次元に射影しながら、実際には射影された空間でのベクトルの演算を避けて、カーネルの計算のみで計算が行えるようになる。
【００４１】
カーネル関数としては、以下のような関数が用いられる。式（４）〜式（６）は、いずれも計算が容易な関数である。そのため、非線形処理による射影演算が簡易な計算のみによって実現されることとなる。
【数４】
【数５】
【数６】
【００４２】
以上により、カーネル関数Ｋと入力ベクトルｘだけを用いれば、非線形部分空間Ｆでの様々な計算ができる。このように、高次元に射影しながら、実際には射影された空間でのベクトルの演算を避けることができ、カーネル射影ベクトルの解析が容易となる。
【００４３】
（３−３）教師信号付非線形関数を用いた部分空間の抽出方法について
以下、（３−１）で述べた教師信号と（３−２）で述べた非線形化の双方を用いて、部分空間を抽出するための射影関数を導出する際の処理について、理論的に説明する。
【００４４】
まず、入力されたトレーニング画像Ｉｉごとに、カラーヒストグラムｘｉ（ｉ＝１〜ｍ）を作成して、出力する。ｘｉは、ｎ次元のベクトルである。ｍは、トレーニング画像の枚数である。
【数７】
【００４５】
ここで、以下の非線形関数Φ（Ｘ）を用いて、カラーヒストグラムＸを高次元空間に射影する。
【数８】
【００４６】
高次元空間における最適部分空間を与える射影関数（射影行列）ＰΦは、以下の最小化問題を解くことによって求めることができる。
【数９】
【数１０】
【００４７】
ベクトルｙｉは、カラーヒストグラムｘｉの高次元空間における部分空間への射影（特徴ベクトル）である。また、重み行列Ｗｉｊは、式（１１）により定義される重み行列である。式（１１）におけるｉとｊとが同一クラスであるか否かは、教師信号にもとづいて、判別される。この定義により、クラスが異なるｙｉとｙｊにおいては、式（９）のΣの内部の項が０となる。一方、クラスが同一の場合は、Σの内部の項が０以上となる。そのため、異なるクラス間の距離をより大きくすることができる。これにより、式（９）におけるΣの内部の項は、同一クラス内の相関を示す値となる。つまり、式（９）は、同一クラス内の相関の和を最小化することを目的とする関数となる。そのため、クラス内における距離を最小とすることができる。
【数１１】
【００４８】
まとめると、式（９）で示される最小化問題を解くことによって、得られた部分空間において、異なるクラス間の相関がなくなり、また、同一クラス内の相関が大きくなるようなＰΦが導出できる。ｙは、射影関数ＰΦと、カラーヒストグラムｘにより決定される。ここで、式（９）で示される最小化すべき目的関数は、以下のようにＰΦを用いて表現される。なお、式（１３）のＤｉｊは、対角行列である。
【数１２】
【数１３】
【００４９】
ここで、Ｐφは、以下のように表現される。
【数１４】
ここで式（１４）中のαは、係数ベクトルである。
【数１５】
【００５０】
ここで、式（１２）と式（１４）を組み合わせると、次式が得られる。
【数１６】
【００５１】
なお、Ｋは、カーネル行列であり、各要素Ｋ（ｉ、ｊ）は、以下で定義される。なお、式（１８）の代わりに、前述の式（４）、式（５）、式（６）のいずれかを用いてもよい。
【数１７】
【数１８】
【００５２】
ここで、式（１９）の条件下において、式（９）の最小化問題は、式（２０）で示される一般化固有値問題へと変換される。ここで、αは、式（２０）の固有値分解で求めることができる。
【数１９】
【数２０】
【００５３】
式（２０）の一般化固有値問題を解くことで得られたαを用いて、射影（特徴ベクトル）Ｙを以下のように求めることができる。
【数２１】
【数２２】
以上まとめると、式（２０）の一般化固有値問題を解くことによって、ベクトルαを求め、αを用いて、高次元非線形空間における部分空間への射影（特徴ベクトル）ｙを直接求めることができる。さらに、これらは、式（９）や式（１１）が考慮されて得られたものであるため、クラス内分散が小さくなり、かつ、クラス間分散が大きくなるような部分空間への射影を導出できていることになる。以上の態様により、解析装置１０による解析精度を効率的に向上できることとなる。
【００５４】
（３−４）本実施形態の具体的な構成について
図５は、本発明の実施形態にかかる教師信号付非線形画像解析手法を用いた画像検索システム１における解析装置１０の構成例を示す図である。解析装置１０は、トレーニング画像取得部４０と、教師信号取得部４２と、画像特徴量抽出部４４と、カーネル射影ベクトル解析部４６とを備える。カーネル射影ベクトル解析部４６は、複数の画像をクラスごとに検索するためのカーネル射影ベクトルαを生成する機能をもち、パラメータ導出部４８と、カーネル射影ベクトル導出部５０と、関数保持部５２と、カーネル射影ベクトル保持部５４とを備える。
【００５５】
トレーニング画像取得部４０は、入力される複数のトレーニング画像を取得して、順に、画像特徴量抽出部４４に出力する。教師信号取得部４２は、トレーニング画像取得部４０で取得されたトレーニング画像ごとに、教師信号を取得する。既述したように、この教師信号は、トレーニング画像のクラスを特定する情報である。画像特徴量抽出部４４は、トレーニング画像取得部４０より出力されたトレーニング画像から、画像特徴量を抽出する。本実施形態では、画像特徴量抽出部４４が、画像特徴量として、カラーヒストグラムを抽出する。
【００５６】
パラメータ導出部４８は、画像特徴量抽出部４４からカラーヒストグラムを受け取り、また教師信号取得部４２からトレーニング画像ごとの教師信号を受け取る。関数保持部５２は、上記した数式で特定されるカーネル射影ベクトルαの演算導出処理に必要な関数を保持し、パラメータ導出部４８は、関数保持部５２から関数を読み出して、演算処理を実行する。パラメータ導出部４８は、画像特徴量抽出部４４から取得した全てのトレーニング画像についてのカラーヒストグラムｘｉ（ｉ＝１〜ｍ）から、パラメータとなる行列Ｗ、Ｄ、および、Ｋを導出する。重み行列Ｗは、カラーヒストグラムｘｉと、教師信号Ｃｉとを用いて、前述の式（１１）により導出される。また、対角行列Ｄは、導出された重み行列Ｗを用いて、式（１３）から導出される。また、カーネル行列Ｋは、前述の式（１８）により導出される。パラメータ導出部４８は、導出したＷ、Ｄ、Ｋをカーネル射影ベクトル導出部５０に出力する。
【００５７】
カーネル射影ベクトル導出部５０は、パラメータ導出部４８から出力された行列Ｗ、Ｄ、Ｋを用いて、式（２０）で示される固有値問題を解いて、カーネル射影ベクトルαを取得する。ここで、カーネル射影ベクトル導出部５０は、取得したカーネル射影ベクトルαをカーネル射影ベクトル保持部５４に出力し、カーネル射影ベクトル保持部５４は、カーネル射影ベクトルαを保持する。
【００５８】
図６は、本発明の実施形態にかかる教師信号付非線形画像解析手法を用いた画像検索システム１における登録装置６０の構成例を示す図である。登録装置６０は、登録用画像取得部６２と、画像特徴量抽出部６４と、射影部６６と、特徴ベクトル取得部６８と、登録部７０と、カーネル射影ベクトル保持部７２と、関数保持部７４とを備える。カーネル射影ベクトル保持部７２は、解析装置１０により導出されたカーネル射影ベクトルαを保持し、解析装置１０および登録装置６０が一つの装置として構成される場合には、解析装置１０におけるカーネル射影ベクトル保持部５４が、登録装置６０においてカーネル射影ベクトル保持部７２として利用されてもよい。関数保持部７４は、特徴ベクトルの演算導出処理に必要な関数を保持し、射影部６６は、関数保持部７４から関数を読み出して、演算処理を実行する。
【００５９】
登録用画像取得部６２は、登録用の画像を取得して、順に、画像特徴量抽出部６４に出力する。画像特徴量抽出部６４は、登録用画像取得部６２より出力された登録用画像から、画像特徴量を抽出する。射影部６６は、式（２２）により、登録用画像にかかるカーネル行列Ｋｔを導出する。さらに射影部６６は、式（２３）にしたがい、カーネル射影ベクトル保持部７２に保持されたカーネル射影ベクトルαで構築される部分空間に、算出したＫｔで変換し、登録用画像の非線形部分空間上の特徴ベクトルＹｔを計算する。計算した特徴ベクトルＹｔは、特徴ベクトル取得部６８に供給される。
【数２３】
【００６０】
特徴ベクトル取得部６８は、射影部６６により導出された特徴ベクトルを取得し、登録部７０に供給する。登録部７０は、登録用画像を、特徴ベクトル取得部６８から供給された特徴ベクトルに対応付けて記憶装置２０に登録する。この登録処理は、複数の登録用画像のそれぞれに対して実行され、記憶装置２０は、検索対象となる被検索画像が、それぞれの特徴ベクトルと対応付けられてデータベース化される。なお、それぞれの特徴ベクトルは、後述する検索処理時に使用されるものである。被検索画像は、記憶装置２０において特徴ベクトルと紐付けされていればよく、被検索画像を格納する記憶装置と、特徴ベクトルを格納する記憶装置とは、物理的に異なっていてもよい。
【００６１】
なお、以上は、登録装置６０が、解析装置１０により導出されたカーネル射影ベクトルαを利用して、登録用画像を登録する例について説明した。解析装置１０が非線形射影によりカーネル射影ベクトルαを予め導出しておくことで、登録装置６０が、登録用画像を自動的に登録することが可能となる。これにより、登録処理に手間がかからず、また多数の登録用画像の登録が可能となる。なお、解析装置１０と登録装置６０とが一体に構成されてもよく、このときには、解析装置１０でカーネル射影ベクトルαを導出するとともに、トレーニング画像の特徴ベクトルを求めて、記憶装置２０に登録することができる。これにより、解析処理と登録処理とを同時に実行することができ、作業の効率化を図ることが可能となる。
【００６２】
図７は、本発明の実施形態にかかる教師信号付非線形画像解析手法を用いた画像検索システム１における検索装置８０の構成例を示す図である。検索装置８０は、検索要求画像取得部８２と、画像特徴量抽出部８４と、射影部８６と、特徴ベクトル取得部８８と、検索処理部９０と、カーネル射影ベクトル保持部９２と、関数保持部９４と、出力部１００とを備える。カーネル射影ベクトル保持部９２は、解析装置１０により導出されたカーネル射影ベクトルαを保持し、解析装置１０および検索装置８０が一つの装置として構成される場合には、解析装置１０におけるカーネル射影ベクトル保持部５４が、検索装置８０においてカーネル射影ベクトル保持部９２として利用されてもよい。関数保持部９４は、特徴ベクトルの演算導出処理に必要な関数を保持し、射影部８６は、関数保持部９４から関数を読み出して、演算処理を実行する。記憶装置２０は、登録装置６０で登録された複数の画像および特徴ベクトルを対応付けて記憶する。
【００６３】
図７に示す検索装置８０は、図６に示す登録装置６０と近似した構成を有する。これは、検索装置８０および登録装置６０ともに、解析装置１０で生成されたカーネル射影ベクトルαをもとに、画像の特徴ベクトルを抽出するためである。したがって、検索装置８０は、登録装置６０とともに、１つの装置として構成されてもよい。なお、登録装置６０が登録処理を実行して画像と特徴ベクトルとを対応付けて記憶装置２０に登録し、検索装置８０が、登録装置６０による登録結果を用いて、インターネットなどで検索エンジンとしてサービスを提供する場合には、登録装置６０と検索装置８０とが別装置として構成されてもよい。
【００６４】
検索要求画像取得部８２は、入力された検索を要求する画像を取得して、画像特徴量抽出部８４に出力する。画像特徴量抽出部８４は、検索要求画像から、画像特徴量を抽出する。射影部８６は、式（２２）により、検索要求画像にかかるカーネル行列Ｋｔを導出する。さらに射影部８６は、式（２３）にしたがい、カーネル射影ベクトル保持部９２に保持されたカーネル射影ベクトルαで構築される部分空間に、算出したＫｔを射影して、検索要求画像の部分空間上の特徴ベクトルＹｔを計算する。計算した特徴ベクトルＹｔは、特徴ベクトル取得部８８に供給される。
【００６５】
特徴ベクトル取得部８８は、射影部８６により導出された特徴ベクトルを取得し、検索処理部９０に供給する。検索処理部９０は、記憶装置２０にアクセスして、被検索画像の特徴ベクトルＹｔを読み出す。検索処理部９０は、読み出した被検索画像の特徴ベクトルＹｔと、特徴ベクトル取得部８８で取得された検索要求画像の部分空間における特徴ベクトルＹｔとを比較して、複数の被検索画像のＹｔから、検索要求画像の特徴ベクトルＹｔに最も近い値を有するものを検索する。この検索においては、互いのユークリッド距離が最短であるものが選択される。なお、複数枚（たとえばＬ枚）の類似画像を検索する処理であれば、検索処理部９０は、記憶装置２０に格納された被検索画像のなかから、ユークリッド距離が近い上位Ｌ枚の画像を選択して、出力部１００に出力する。出力部１００は、検索処理部９０から出力された検索結果にかかる画像を表示する。
【００６６】
上述したこれらの構成は、ハードウエア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウエア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。
【００６７】
（３−５）本実施形態の動作について
以上の態様における動作例について説明する。まず、図５の解析装置１０の動作について説明する。なお、以下の例では、トレーニング画像を解析装置１０により解析するとともに、トレーニング画像を記憶装置２０に登録する処理を同時に行っている。
【００６８】
図８は、図５の解析装置１０の動作例を示すフローチャートである。まず、トレーニング画像取得部４０は、トレーニング画像を取得して、画像特徴量抽出部４４に出力する（Ｓ１０）。教師信号取得部４２は、トレーニング画像取得部４０で取得されたカラーヒストグラムにかかるトレーニング画像のクラスを示す教師信号を取得して、パラメータ導出部４８に出力する（Ｓ１２）。他に入力すべきトレーニング画像が存在する場合（Ｓ１４のＹ）、Ｓ１０に戻る。入力すべきトレーニング画像が存在しない場合（Ｓ１４のＮ）、Ｓ１６に移る。
【００６９】
画像特徴量抽出部４４は、トレーニング画像取得部４０より出力されたトレーニング画像から、カラーヒストグラムを抽出して、パラメータ導出部４８に出力する（Ｓ１６）。パラメータ導出部４８は、画像特徴量抽出部４４から取得した全てのトレーニング画像についてのカラーヒストグラムｘｉ（ｉ＝１〜ｍ）と、それぞれの教師信号Ｃｉとを用いて、式（１１）、式（１３）、式（１８）にしたがって、パラメータとなる行列Ｗ、Ｄ、および、Ｋを導出する（Ｓ１８）。
【００７０】
カーネル射影ベクトル導出部５０は、パラメータ導出部４８により導出された行列Ｗ、Ｄ、Ｋを用いて、式（２０）で示される固有値問題を解いて、カーネル射影ベクトルαを取得する（Ｓ２０）。さらに、カーネル射影ベクトル導出部５０は、式（２１）により、カーネル射影ベクトルαと、カーネル行列Ｋとを用いて、射影演算を実行する（Ｓ２２）。なお、この射影処理は、図６の射影部６６による処理と同じであり、このフローでは、カーネル射影ベクトル導出部５０が、射影部６６の機能も担っている。カーネル射影ベクトル導出部５０は、射影演算の結果である各トレーニング画像の特徴ベクトルＹを記憶装置２０に登録して（Ｓ２４）、処理を終了する。
【００７１】
つぎに、図７の検索装置８０の動作について説明する。図９は、図７の検索装置８０の動作例を示すフローチャートである。このフローチャートは、図８のフローチャートに示される処理によって記憶装置２０に被検索画像が登録された後に開始される。
【００７２】
まず、検索要求画像取得部８２が、検索要求画像を取得する（Ｓ３０）。画像特徴量抽出部８４は、検索要求画像取得部８２によって取得された検索要求画像から、カラーヒストグラムｘｔを抽出して、射影部８６に出力する（Ｓ３２）。また、射影部８６には、トレーニング画像にかかるカラーヒストグラムｘｉ（ｉ＝１〜ｍ）が供給される。なおトレーニング画像のカラーヒストグラムｘｉは、記憶装置２０ないしは他の記憶装置に格納されており、射影部８６は、カラーヒストグラムｘｉを読み出してもよい。
【００７３】
ここで、射影部８６は、ｘｔとｘｉとを用いて、式（２２）により、検索要求画像にかかる系列Ｋｔを導出する（Ｓ３４）。さらに、射影部８６は、式（２３）にしたがい、導出したＫｔと、カーネル射影ベクトル保持部９２に保持されたカーネル射影ベクトルαとを用いて、部分空間における検索要求画像の特徴ベクトルＹｔを算出する（Ｓ３６）。
【００７４】
ここで、検索処理部９０は、記憶装置２０に記憶された被検索画像の特徴ベクトルと、検索要求画像の特徴量Ｙｔとを比較して、検索要求画像の特徴ベクトルＹｔに近い値を有する特徴ベクトルを検索し（Ｓ３８）、近い順に、ユーザから指定された枚数だけ、特徴ベクトルに紐付けられたトレーニング画像を出力する。ここで、再検索を実行しないことをユーザが選択した場合、処理を終了する（Ｓ４０のＮ）。再検索を実行することが選択された場合（Ｓ４０のＹ）、Ｓ３２に戻る。なお、再検索においては、Ｓ３８において過去に検索されたトレーニング画像以外の画像を対象として、検索されるようにしてもよい。
【００７５】
（４）本実施形態の効果について
ここでは、２つのシミュレーションを用いて、本実施形態の効果について説明する。第１のシミュレーションは、次元数Ｎを変数とした場合における検索の正答率についてのシミュレーションである。第１のシミュレーションにおける条件は、以下のとおりである。
【００７６】
＜シミュレーション条件１＞
クラス総数：１０クラス
トレーニング画像の枚数：９６０枚（９６枚×１０クラス）
検索要求画像総数：４０枚（４枚×１０クラス）
検索要求画像：同一クラスに属する４枚のいずれか
連続検索回数：３０
次元数Ｎ：１〜２０
比較対象：ＰＣＡ、ＩＣＡ、ＬＰＰ、ＳＬＰＰ、ＫＬＰＰ、ＫＰＣＡ
その他：一度検索されたトレーニング画像は削除され、その後、再検索が実行される
【００７７】
なお、本実施形態のアルゴリズムの比較対象として、６つのアルゴリズムを挙げた。具体的には、ＰＣＡと、ＩＣＡと、ＬＰＰと、ＳＬＰＰ（Ｓｕｐｅｒｖｉｓｅｄ ＬＰＰ、教師付ＬＰＰ）と、ＫＬＰＰ（Ｋｅｒｎｅｌ ＬＰＰ、カーネルＬＰＰ）と、ＫＰＣＡ（Ｋｅｒｎｅｌ ＰＣＡ、カーネルＰＣＡ）である。これらはいずれも公知のアルゴリズムであるため、説明を省略する。
【００７８】
シミュレーション条件１におけるシミュレーション結果について説明する。図１０は、本発明の実施形態にかかるシミュレーション条件１における第１シミュレーション結果７００を示す図である。第１シミュレーション結果７００は、ＰＣＡ７１０とＩＣＡ７２０とＬＰＰ７３０とＳＬＰＰ７４０とＫＬＰＰ７５０とＫＰＣＡ７７０とのそれぞれの結果と、本実施形態の画像検索システム１による結果が示されたＯｕｒＭｅｔｈｏｄ７６０とを含む。横軸は、次元数Ｎを示す。縦軸は、検索の正答率を示す。
【００７９】
検索の正答率とは、連続して３０回検索した場合において、検索要求画像のクラスと検索された画像のクラスとが一致した枚数を３０で割った値をいう。シミュレーション条件１のその他の欄に示したように、再検索においては、検索画像が検索の母集団から除かれる。したがって、検索がランダムに実施される場合、最初の検索においては１０％（９６／９６０）の確率で正答するものの、２回目に正答する確率は、約９．９％（９５／９５９）となる。そうすると、３０回目に正答する確率は、約７．２％（６７／９３１）となる。これは、検索回数が増えるにつれて、正答することが困難となることを示している。
【００８０】
第１シミュレーション結果７００において、ＫＬＰＰ７５０の場合は、次元数Ｎを増加しても、１５％前後の正答率としかならない。また、ＰＣＡ７１０、ＩＣＡ７２０、ＬＰＰ７３０、ＳＬＰＰ７４０、ＫＰＣＡ７７０の場合、次元数が１から５になるにつれて、正答率が２５％前後から３５％ないし４５％前後まで上昇する。しかし、次元数が５以上となっても、正答率は上昇せず、３５％ないし４５％前後で飽和した状態となる。
【００８１】
一方、ＯｕｒＭｅｔｈｏｄ７６０においては、次元数Ｎが１の場合でも約３５％の正答率を有し、次元数が上昇するにつれて正答率も上昇し、次元数が９となる前後で、８０％を超える正答率となる。ランダムな場合の正答率が約７．２％であることと比べると、本実施形態の手法では、驚異的な正答率を達成できていることが分かる。また、ＰＣＡ７１０等の他の手法と比べても、次元数＝１０において、４０％以上も高い正答率を有している。したがって、本手法は、極めて有効な検索手法であるといえる。
【００８２】
なお、次元数が１１以上となると正答率が下降しているが、これは、過学習によるものであると考えられる。過学習とは、たとえば、性別を判断するための特徴量として、生年月日が追加された場合に相当する。また、次元数を増やしたことで、カーネル射影ベクトルαにおいて、無理に不要な情報が含まれ、結果として余計なカーネル射影ベクトルが追加されて、クラスの判別能力に影響がでたと考えられる。
【００８３】
第２のシミュレーションは、検索回数を変数とした場合における検索の正答率についてのシミュレーションである。第２のシミュレーションにおける条件は、以下のとおりである。
【００８４】
＜シミュレーション条件２＞
クラス総数：１０クラス
トレーニング画像の枚数：９６０枚（９６枚×１０クラス）
検索要求画像総数：４０枚（４枚×１０クラス）
検索要求画像：同一クラスに属する４枚のいずれか
カーネル射影ベクトルαの最大次元数Ｎ：１０
検索回数：１〜９６
比較対象：ＰＣＡ、ＩＣＡ、ＬＰＰ、ＳＬＰＰ、ＫＬＰＰ、ＫＰＣＡ
その他：一度検索されたトレーニング画像は削除され、その後、再検索が実行される
【００８５】
シミュレーション条件２におけるシミュレーション結果について説明する。図１１は、本発明の実施形態にかかるシミュレーション条件２における第２シミュレーション結果８００を示す図である。第２シミュレーション結果８００は、ＰＣＡ８１０とＩＣＡ８２０とＬＰＰ８３０とＳＬＰＰ８４０とＫＬＰＰ８５０とＫＰＣＡ８７０とのそれぞれの結果と、本実施形態の画像検索システム１による結果が示されたＯｕｒＭｅｔｈｏｄ８６０とを含む。横軸は、検索回数を示す。縦軸は、検索の正答率を示す。
【００８６】
第２シミュレーション結果８００についてのＯｕｒＭｅｔｈｏｄ８６０以外の手法においては、１回目を最高とし、その後連続検索回数が上昇するにつれて、正答率が下がっている。これは、前述したように、検索回数が増えるにつれて、正答することが困難となるためである。
【００８７】
一方、ＯｕｒＭｅｔｈｏｄ８６０においては、１回目から３０回目前後までは、正答率として驚異的な８０％弱の値を達成できている。また、９６回目においても、約６５％といった高い正答率を誇っている。したがって、本検索手法は、極めて検索率の高い手法であるといえる。
【００８８】
以上説明したように本実施の形態によれば、非線形関数により射影された高次の空間から、画像のそれぞれのクラスが識別可能な部分空間を抽出することによって、識別のための重要な情報を適切に抽出でき、精度を向上できる。また、同じクラスの画像同士の特徴量の相関が高く、かつ、異なるクラスの画像同士の特徴量の相関がなくなるように、重み行列Ｗを算出することによって、クラス間の識別が容易となり、精度をより向上できる。また、カーネル行列Ｋと重み行列Ｗとの積により射影行列を生成し、生成された射影行列のカーネル射影ベクトルを導出することによって、効率的に特徴ベクトルを導出できるため、システム全体の処理負担を軽減できる。また、特徴量を部分空間に射影することによって、検索処理が容易となり、また、精度を向上できる。
【００８９】
以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【００９０】
（５）その他
前述した実施形態においては、画像の特徴量として、カラーヒストグラムを用いるとして説明した。しかしながらこれにかぎらず、たとえば、画像の形状や、画像の模様、あるいは、これらの組合せた情報を数値化して、特徴量として規定してもよい。このような特徴量を用いたとしても、前述の実施形態に適用することが可能であり、また、前述と同等の効果が得られることは言うまでもない。
【図面の簡単な説明】
【００９１】
【図１】画像検索システムの構成例を示す図である。
【図２】第１空間の例を示す図である。
【図３】第２空間の例を示す図である。
【図４】第２空間を第３空間に非線形変換したときの図である。
【図５】解析装置の構成例を示す図である。
【図６】登録装置の構成例を示す図である。
【図７】検索装置の構成例を示す図である。
【図８】解析装置の動作例を示すフローチャートである。
【図９】検索装置の動作例を示すフローチャートである。
【図１０】第１シミュレーション結果を示す図である。
【図１１】第２シミュレーション結果を示す図である。
【符号の説明】
【００９２】
１・・・画像検索システム、１０・・・解析装置、２０・・・記憶装置、４０・・・トレーニング画像取得部、４２・・・教師信号取得部、４４・・・画像特徴量抽出部、４６・・・カーネル射影ベクトル解析部、４８・・・パラメータ導出部、５０・・・カーネル射影ベクトル導出部、５２・・・関数保持部、５４・・・カーネル射影ベクトル保持部、６０・・・登録装置、６２・・・登録用画像取得部、６４・・・画像特徴量抽出部、６６・・・射影部、６８・・・特徴ベクトル取得部、７０・・・登録部、７２・・・カーネル射影ベクトル保持部、７４・・・関数保持部、８０・・・検索装置、８２・・・検索要求画像取得部、８４・・・画像特徴量抽出部、８６・・・射影部、８８・・・特徴ベクトル取得部、９０・・・検索処理部、９２・・・カーネル射影ベクトル保持部、９４・・・関数保持部、１００・・・出力部。
【特許請求の範囲】
【請求項１】
複数の画像を取得する画像取得部と、
前記画像取得部によって取得した画像ごとに、画像特徴量を抽出する抽出部と、
前記抽出部によって画像特徴量が抽出された画像のクラスを特定する教師信号を取得する教師信号取得部と、
前記抽出部によって抽出された画像特徴量と、前記教師信号取得部によって取得した教師信号と用いて、画像間の相関を表現するための重み行列を生成する重み行列生成部と、
所定のカーネル非線形関数を用いて、前記抽出部にて抽出されたそれぞれの画像の画像特徴量が分布している空間をより次元の高い高次元空間に射影するためのカーネル行列を導出するカーネル行列導出部と、
前記カーネル行列導出部によって導出されたカーネル行列と、前記重み行列生成部によって生成された重み行列とを用いて、前記画像取得部にて取得された画像のそれぞれのクラスが識別可能な部分空間を前記高次元空間から抽出するためのカーネル射影ベクトルを導出するカーネル射影ベクトル導出部と、
を備えることを特徴とする画像解析装置。
【請求項２】
前記抽出部は、前記画像取得部によって取得した画像のカラーヒストグラムを抽出することを特徴とする請求項１に記載の画像解析装置。
【請求項３】
前記重み行列生成部は、異なるクラスの画像同士の特徴量の相関がなくなるように、重み行列を生成することを特徴とする請求項１または２に記載の画像解析装置。
【請求項４】
前記カーネル射影ベクトル導出部は、前記カーネル行列と前記重み行列との積により射影行列を生成し、生成された射影行列のカーネル射影ベクトルを導出することを特徴とする請求項１から３のいずれかに記載の画像解析装置。
【請求項５】
登録用の画像を取得する登録用画像取得部と、
請求項１から４のいずれかに記載の画像解析装置により導出されたカーネル射影ベクトルを保持する保持部と、
前記登録用画像取得部で取得された登録用画像の画像特徴量を抽出する抽出部と、
抽出した前記画像特徴量を、前記カーネル射影ベクトルで特定される部分空間に射影する射影部と、
前記射影部により導出された特徴ベクトルを取得する特徴ベクトル取得部と、
登録用画像を、取得した特徴ベクトルに対応付けて記憶装置に登録する登録部と、
を備えることを特徴とする画像登録装置。
【請求項６】
検索を要求する検索要求画像を取得する検索要求画像取得部と、
請求項１から４のいずれかに記載の画像解析装置により導出されたカーネル射影ベクトルを保持する保持部と、
請求項５に記載の画像登録装置により登録された複数の画像および特徴ベクトルを記憶する記憶装置と、
前記検索要求画像取得部で取得された検索要求画像の画像特徴量を抽出する抽出部と、
抽出した前記画像特徴量を、前記カーネル射影ベクトルで特定される部分空間に射影する射影部と、
前記射影部により導出された特徴ベクトルを取得する特徴ベクトル取得部と、
検索要求画像の特徴ベクトルと、前記記憶装置に記憶された複数の特徴ベクトルとを比較することによって、前記記憶装置に記憶された複数の画像から、検索要求画像とユークリッド距離の近い画像を出力する検索処理部と、
を備えることを特徴とする画像検索装置。
【請求項１】
複数の画像を取得する画像取得部と、
前記画像取得部によって取得した画像ごとに、画像特徴量を抽出する抽出部と、
前記抽出部によって画像特徴量が抽出された画像のクラスを特定する教師信号を取得する教師信号取得部と、
前記抽出部によって抽出された画像特徴量と、前記教師信号取得部によって取得した教師信号と用いて、画像間の相関を表現するための重み行列を生成する重み行列生成部と、
所定のカーネル非線形関数を用いて、前記抽出部にて抽出されたそれぞれの画像の画像特徴量が分布している空間をより次元の高い高次元空間に射影するためのカーネル行列を導出するカーネル行列導出部と、
前記カーネル行列導出部によって導出されたカーネル行列と、前記重み行列生成部によって生成された重み行列とを用いて、前記画像取得部にて取得された画像のそれぞれのクラスが識別可能な部分空間を前記高次元空間から抽出するためのカーネル射影ベクトルを導出するカーネル射影ベクトル導出部と、
を備えることを特徴とする画像解析装置。
【請求項２】
前記抽出部は、前記画像取得部によって取得した画像のカラーヒストグラムを抽出することを特徴とする請求項１に記載の画像解析装置。
【請求項３】
前記重み行列生成部は、異なるクラスの画像同士の特徴量の相関がなくなるように、重み行列を生成することを特徴とする請求項１または２に記載の画像解析装置。
【請求項４】
前記カーネル射影ベクトル導出部は、前記カーネル行列と前記重み行列との積により射影行列を生成し、生成された射影行列のカーネル射影ベクトルを導出することを特徴とする請求項１から３のいずれかに記載の画像解析装置。
【請求項５】
登録用の画像を取得する登録用画像取得部と、
請求項１から４のいずれかに記載の画像解析装置により導出されたカーネル射影ベクトルを保持する保持部と、
前記登録用画像取得部で取得された登録用画像の画像特徴量を抽出する抽出部と、
抽出した前記画像特徴量を、前記カーネル射影ベクトルで特定される部分空間に射影する射影部と、
前記射影部により導出された特徴ベクトルを取得する特徴ベクトル取得部と、
登録用画像を、取得した特徴ベクトルに対応付けて記憶装置に登録する登録部と、
を備えることを特徴とする画像登録装置。
【請求項６】
検索を要求する検索要求画像を取得する検索要求画像取得部と、
請求項１から４のいずれかに記載の画像解析装置により導出されたカーネル射影ベクトルを保持する保持部と、
請求項５に記載の画像登録装置により登録された複数の画像および特徴ベクトルを記憶する記憶装置と、
前記検索要求画像取得部で取得された検索要求画像の画像特徴量を抽出する抽出部と、
抽出した前記画像特徴量を、前記カーネル射影ベクトルで特定される部分空間に射影する射影部と、
前記射影部により導出された特徴ベクトルを取得する特徴ベクトル取得部と、
検索要求画像の特徴ベクトルと、前記記憶装置に記憶された複数の特徴ベクトルとを比較することによって、前記記憶装置に記憶された複数の画像から、検索要求画像とユークリッド距離の近い画像を出力する検索処理部と、
を備えることを特徴とする画像検索装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２００９−２９５１３０（Ｐ２００９−２９５１３０Ａ）
【公開日】平成２１年１２月１７日（２００９．１２．１７）
【国際特許分類】
【出願番号】特願２００８−１５１０９０（Ｐ２００８−１５１０９０）
【出願日】平成２０年６月９日（２００８．６．９）
【特許番号】特許第４２２８０３１号（Ｐ４２２８０３１）
【特許公報発行日】平成２１年２月２５日（２００９．２．２５）
【出願人】（５０７１７３８７２）株式会社リミックスポイント (4)
【出願人】（５９３００６６３０）学校法人立命館 (359)
【Ｆターム（参考）】
【公開日】平成２１年１２月１７日（２００９．１２．１７）
【国際特許分類】
【出願日】平成２０年６月９日（２００８．６．９）
【特許番号】特許第４２２８０３１号（Ｐ４２２８０３１）
【特許公報発行日】平成２１年２月２５日（２００９．２．２５）
【出願人】（５０７１７３８７２）株式会社リミックスポイント (4)
【出願人】（５９３００６６３０）学校法人立命館 (359)
【Ｆターム（参考）】
[ Back to top ]