マルチメディア検索システム
【課題】良く似ているデータ同士であっても、カテゴリが異なる場合には、区別して検索できる精度を向上したマルチメディア検索システムを提供する。
【解決手段】画像の局所領域の画像特徴量から画像特徴量ベクトルを生成することに加え、画像以外のメディアデータからもメディア特徴量ベクトルを生成する。そして、これらの画像特徴量ベクトル及びメディア特徴量ベクトルを結合した結合特徴量ベクトルを、部分空間に写像することで、標本データセットを複数のクラスタに分類する。これにより、例えば、画像が良く似ていても、分類されるクラスタが差別化されやすくなるので、画像特徴量ベクトルのみでは区別することが難しい検索対象であっても、区別して検索できる精度を向上することができる。
【解決手段】画像の局所領域の画像特徴量から画像特徴量ベクトルを生成することに加え、画像以外のメディアデータからもメディア特徴量ベクトルを生成する。そして、これらの画像特徴量ベクトル及びメディア特徴量ベクトルを結合した結合特徴量ベクトルを、部分空間に写像することで、標本データセットを複数のクラスタに分類する。これにより、例えば、画像が良く似ていても、分類されるクラスタが差別化されやすくなるので、画像特徴量ベクトルのみでは区別することが難しい検索対象であっても、区別して検索できる精度を向上することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像と画像以外のメディアデータからなる標本データを複数まとめた標本データセットに基づき、未知の画像あるいは画像以外のメディアデータが入力された場合に、標本データのいずれに類似するかを検索するマルチメディア検索システムに関する。
【背景技術】
【０００２】
例えば、画像を対象とした一般物体認識は、認識対象のカテゴリが多く、また同一カテゴリの物体であっても、形態が様々であるため、困難性が高い技術であることが知られている。
【０００３】
近年では、このような一般物体認識に、例えば非特許文献１に記載されているように、画像の局所特徴量（局所パターン）の分布に基づいて認識対象の認識を行なう手法を適用することで、認識精度の向上が図られている。
【０００４】
この非特許文献１では、複数のカテゴリの標本画像の各々について、エッジ等の特徴点を多数抽出し、それらの特徴点周辺パターンをＳＩＦＴ（Scale-Invariant Feature Transform）特徴ベクトルにより表現する。そして、予め求めておいた代表的な局所パターンであるvisual wordsに基づいて、各画像の特徴点周辺パターンをヒストグラム化する。これにより、各画像は、visual wordsの集合として表現され、そのヒストグラムから、画像の特徴ベクトルが定められる。このように定められた画像特徴ベクトルは、ＳＶＭ（サポートベクターマシン）などにより各カテゴリに分類される。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】”Visual Categorization with Bags of Keypoints” Gabriella Csurka, Christopher R. Dance, Lixin Fan, Jutta Willamowski, Cedric Bray, In ECCV International Workshop on Statistical Learning in Computer Vision (2004)
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、画像の局所パターンのみに基づいて認識を行なう場合、カテゴリが異なるにも係らず、良く似ている画像に関しては、必ずしも高い認識精度を期待することはできないという問題がある。
【０００７】
本願発明は、上述した点に鑑みてなされたもので、良く似ているデータ同士であっても、カテゴリが異なる場合には、区別して検索できる精度を向上したマルチメディア検索システムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、請求項１に記載のマルチメディア検索システムは、
画像と、その画像に関連する情報を示す画像以外のメディアデータからなる標本データを複数まとめた標本データセットに基づき、未知の画像あるいは画像以外のメディアデータが入力された場合に、標本データのいずれに該当するかを検索するものであって、
標本データの画像の局所領域の画像特徴量から、当該画像の画像特徴量ベクトルを生成する画像特徴量ベクトル生成手段と、
標本データのメディアデータから特徴量を抽出し、メディア特徴量ベクトルを生成するメディア特徴量ベクトル生成手段と、
複数の標本データに関して、画像特徴量ベクトルとメディア特徴量ベクトルとを結合した結合特徴量ベクトルを生成するとともに、これらの結合特徴量ベクトルを、結合特徴量ベクトルの次元数よりも少ない次元数の部分空間に写像することにより、標本データセットを複数のクラスタに分類するクラスタリング手段と、を備えたことを特徴とする。
【０００９】
上述したように、請求項１に記載の発明では、画像の局所領域の画像特徴量から画像特徴量ベクトルを生成するのみでなく、画像以外のメディアデータからもメディア特徴量ベクトルを生成する。そして、これらの画像特徴量ベクトル及びメディア特徴量ベクトルを結合した結合特徴量ベクトルを、部分空間に写像することで、標本データセットを複数のクラスタに分類している。このように、画像特徴量ベクトルとメディア特徴量ベクトルとを結合することで、画像が良く似ていても、分類されるクラスタが差別化されやすくなるので、画像特徴量ベクトルのみでは区別することが難しい検索対象であっても、区別して検索できる精度を向上することができる。
【００１０】
請求項２に記載したように、未知の画像が入力された場合に、この画像の画像特徴量ベクトルを生成し、当該画像特徴量ベクトルを部分空間に写像することにより、画像特徴量ベクトルが分類されるべきクラスタを算出するクラスタ算出手段と、クラスタ算出手段により算出されたクラスタに分類されるメディアデータの中で、そのクラスタを代表するメディアデータを抽出して、検索結果として出力する検索結果出力手段と、を備えることが好ましい。これにより、画像に付随するメディアデータを利用して、その画像の内容に最も相応しいと考えられるメディアデータを検索結果として出力することが可能になる。
【００１１】
より具体的には、請求項３に記載したように、クラスタリング手段は、複数の標本データに関する結合特徴量ベクトルをデータ行列として、このデータ行列を、部分空間を定める基底ベクトルからなる基底行列と、基底ベクトルにより定められる部分空間に写像するための各基底ベクトルと結合される重みデータをまとめた重み行列とに分解するものであり、クラスタ算出手段は、未知の画像の画像特徴量ベクトルを、クラスタリング手段によって分解された基底行列における画像特徴量ベクトルの基底ベクトルのみからなる部分基底行列を用いて、当該部分基底行列による部分空間に写像するための重み行列を算出し、当該重み行列に最も近い行列要素を、クラスタリング手段により分解された重み行列の中から抽出するものであり、検索結果出力手段は、クラスタ算出手段により抽出された重み行列の行列要素に対応する、メディア特徴量ベクトルの基底ベクトルの値が最大のメディアデータを、そのクラスタを代表するメディアデータとして抽出することが好ましい。これにより、未知の画像の画像特徴量ベクトルが分類されるべきクラスタを算出し、そのクラスタに分類されるメディアデータの中で、クラスタを代表するメディアデータを抽出することができる。
【００１２】
請求項４に記載したように、未知のメディアデータが入力された場合に、このメディアデータのメディア特徴量ベクトルを生成し、当該メディア特徴量ベクトルを部分空間に写像することにより、メディア特徴量ベクトルが分類されるべきクラスタを算出するクラスタ算出手段と、クラスタ算出手段により算出されたクラスタに分類される画像の中で、そのクラスタを代表する画像を抽出して、検索結果として出力する検索結果出力手段と、を備えることが好ましい。これにより、メディアデータを検索キーとして、そのメディアデータに相応しいと考えられる画像を検索結果として出力することが可能になる。
【００１３】
より具体的には、請求項５に記載したように、クラスタリング手段は、複数の標本データに関する結合特徴量ベクトルをデータ行列として、このデータ行列を、部分空間を定める基底ベクトルからなる基底行列と、基底ベクトルにより定められる部分空間に写像するための各基底ベクトルと結合される重みデータをまとめた重み行列とに分解するものであり、クラスタ算出手段は、未知のメディアデータのメディア特徴量ベクトルを、クラスタリング手段によって分解された基底行列におけるメディア特徴量ベクトルの基底ベクトルのみからなる部分基底行列を用いて、当該部分基底行列による部分空間に写像するための重み行列を算出し、当該重み行列に最も近い行列要素を、クラスタリング手段により分解された重み行列の中から抽出するものであり、検索結果出力手段は、クラスタ算出手段により抽出された重み行列の行列要素に対応する画像特徴量ベクトルの基底ベクトルに対して、最も類似した画像特徴量ベクトルを有する画像を、そのクラスタを代表する画像として抽出することが好ましい。これにより、未知のメディアデータのメディア特徴量ベクトルが分類されるべきクラスタを算出し、そのクラスタに分類される画像データの中で、クラスタを代表する画像データを抽出することができる。
【００１４】
請求項６に記載したように、メディアデータは、１つ以上の単語から構成される文章、位置情報、時刻情報の中から一つ以上を用いて構成されたデータであることが好ましい。画像の解説を行なった文章や、画像を取得した位置や時刻などを示す位置情報、時刻情報は、画像の特徴を表現するメディアデータとして好適であるためである。
【００１５】
請求項７に記載したように、標本データは、インターネットを介して収集することが好ましい。多くの物体を認識するには、多種の物体を含んだ標本データを用意する必要がある。このため、多数の画像に対して、名称などのメディアデータを人手をかけて付与していくには、非常に時間と手間がかかる作業となる。それに対して、近年では、多くのホームページがインターネット上に公開され、その中には、画像と、その画像を解説した文章などがセットとなっていることも多い。従って、インターネットを介して標本データを収集することにより、人手をかけずに標本データを用意することが可能である。
【図面の簡単な説明】
【００１６】
【図１】標本データに基づいて学習を行なう学習部の構成を示す構成図である。
【図２】未知の画像又は文章が入力された場合に、標本データのいずれに類似するかを検索する検索部の構成を示す構成図である。
【発明を実施するための形態】
【００１７】
以下、本発明の実施形態によるマルチメディア検索システムについて、図面に基づいて説明する。図１は、マルチメディア検索システムにおける学習部１の構成を示す構成図である。なお、本実施形態においては、画像に関連する情報を示すメディアデータとして、文章を適用した例について説明する。
【００１８】
図１において、標本データ１０は、画像と、その画像に関連する情報を示す文章からなる。この標本データ１０として、多種の物体に関する多数の画像と、それらの画像に付随する文章が用意される。本実施形態では、未知の画像や文章が入力されたときに、標本データの中から類似性の高い画像や単語などを検索するので、認識可能な物体のカテゴリは、標本データにおける物体のカテゴリの種類に依存する。そのため、認識物体のカテゴリを拡大しようとした場合、多くの標本データを用意する必要がある。
【００１９】
ただし、多数の画像に対して、物体名称などのデータを人手をかけて付与した場合、非常に時間と手間がかかることになる。そのため、本実施形態では、多種の物体に関する標本データを効率的に収集するために、インターネットを利用する。近年では、多くのホームページがインターネット上に公開され、その中には、画像と、その画像を解説した文章などがセットとなっているものも多い。従って、インターネットを介して標本データを収集することにより、人手をかけず効率的に標本データを用意することができる。
【００２０】
標本データ１０における画像は、画像用特徴変換部２０に与えられ、標本データ１０における文章は、メディア用特徴変換部３０に与えられる。
【００２１】
画像用特徴変換部２０は、入力された画像をＮ１次元（例えば１０００次元）の画像特徴量ベクトルに変換するものである。画像をＮ１次元の画像特徴量ベクトルに変換する手法として種々の方法が知られているが、本実施形態において採用した方法について、以下に簡単に説明する。
【００２２】
まず、画像から沢山の小領域を切り出して、各小領域の特徴量である輝度分布の勾配方向のパターンを、ＳＩＦＴ（Scale-Invariant Feature Transform）特徴ベクトル（１２８次元のベクトル）により表す。このＳＩＦＴ特徴ベクトルは、小領域を４×４＝１６グリッドに分割し、各グリッドの勾配方向を８方向のベクトルにて表現したものである。
【００２３】
なお、小領域の切り出し方法としては、例えば、画像においてエッジなどの特徴点を求め、その特徴点の周りの一定の領域を小領域とすれば良い。あるいは、ある大きさの窓を用意し、画像上で少しずつずらしながら、窓内の領域を小領域として切り出しても良い。さらに、１枚の画像に対して、窓の大きさを変えつつ複数回小領域を切り出すようにしても良い。
【００２４】
また、画像の局所領域の特徴量は、ＳＩＦＴ特徴ベクトルに限らず、例えばＳＵＲＦ特徴ベクトルによって表しても良い。ＳＵＲＦによる特徴量算出方法は、”SURF：Speed Up Robust Features” Herbert Bay, Tinne Tuytelaars, Luc Van Gool, Proceedings of the ninth European Conference on Computer Vision, Vol. 1, pp.404-417, May 2006に詳しく説明されている。
【００２５】
全ての標本データの画像に関して、全局所特徴量に対応するＳＩＦＴ特徴ベクトルが算出されると、ＳＩＦＴ特徴ベクトルの１２８次元空間において、Ｋ−平均法（K‐means）を用いて、算出したＳＩＦＴ特徴ベクトルをＮ１個にクラスタリングする。そして、各クラスタの中心に当たるＳＩＦＴ特徴ベクトルを、画像の特徴を表すための代表的なパターンであるvisual wordsとして定める。
【００２６】
上述したようにして定められたＮ１個のvisual wordsと、各画像ごとに算出されたＳＩＦＴ特徴ベクトルとを用いて、各画像にそれぞれのvisual wordsがいくつ含まれているかを算出する。これにより、各画像がＮ１個のvisual wordsの集合として表現され、各画像はＮ１次元の画像特徴量ベクトルに変換される。
【００２７】
一方、メディア用特徴変換部３０は、入力された文章をＮ２次元のメディア特徴量ベクトルに変換するものである。このため、メディア用特徴変換部３０は、入力された文章を形態素解析して、名詞、形容詞等の単語に分割する。全ての標本データの文章が単語に分割された後、分割されたすべての単語をベースとして、それぞれの文章に、分割された単語が何回現れたかを計算する。これにより、それぞれの文章が、分割されたすべての単語数を次元数（Ｎ２次元）とするメディア特徴量ベクトルに変換される。
【００２８】
なお、文章をＮ２次元のメディア特徴量ベクトルに変換する際、公知のＴＦ−ＩＤＦを用いても良い。ＴＦ−ＩＤＦは、単語の出現頻度（ＴＦ）のみでなく、その単語が多くの文章に現れる度合を示す逆文章頻度（ＩＤＦ）の二つの指標で計算される。そのため、多くの文章に現れる単語の重要度を下げ、特定の文章にしか現れない単語の重要度を上げることができる。
【００２９】
結合部４０は、画像用特徴変換部２０によって算出されたＮ１次元の画像特徴量ベクトルと、メディア用特徴変換部３０によって算出されたＮ２次元のメディア特徴量ベクトルとを統合して、標本データに対応する結合特徴量ベクトルを生成するものである。なお、結合部４０によりＮ１次元の画像特徴量ベクトルとＮ２次元のメディア特徴量ベクトルが統合された結果、結合特徴量ベクトルの次元数は、Ｎ１＋Ｎ２＝Ｎ（次元）となる。
【００３０】
結合部４０は、標本データセットに含まれる全ての標本データに関して、上述した手法により結合特徴量ベクトルを作成し、さらに、それらをまとめてデータ行列Ｍを作成する。すなわち、データ行列Ｍは、Ｎ次元の結合特徴ベクトルにて表されたＤ個の標本データをまとめることにより、Ｎ行Ｄ列の行列となる。このデータ行列Ｍは、基底分解部５０に与えられる。
【００３１】
基底分解部５０は、データ行列Ｍを、結合特徴量ベクトルの次元数Ｎよりも少ない次元数Ｒの部分空間に写像することにより、標本データを複数のクラスタに分類する。この複数のクラスタへの分類には、特異値分解、主成分分析、非負行列因子分解などの手法を適用できるが、以下は、非負行列因子分解を用いて複数のクラスタに分類する例について説明する。
【００３２】
基底分解部５０は、以下の数式１に示すように、Ｎ行Ｄ列のデータ行列Ｍを、基底ベクトルをまとめたＮ行Ｒ列の基底行列Ｗと、標本データのＮ次元特徴量ベクトルを基底ベクトルによるＲ次元の部分空間に写像するための重みデータをまとめたＲ行Ｄ列の重み行列Ｈとに近似により分解する。
【００３３】
【数１】
【００３４】
具体的には、基底分解部５０は、以下の数式２に示す演算式に従って、基底行列Ｗと重み行列Ｈの更新を繰り返して、基底行列Ｗと重み行列Ｈを算出する。更新を繰り返すことにより、基底行列Ｗと重み行列Ｈとによる近似の精度を向上することができる。
【００３５】
【数２】
【００３６】
なお、数式２の第２式は、更新した基底行列Ｗを正規化するためのものである。そして、上述した数式２による、基底行列Ｗと重み行列Ｈの更新は、例えば予め定めた回数（例えば千回）、あるいは更新前後の変化量（差や比率）が所定値以下となるまで繰り返される。
【００３７】
非負行列因子分解は、大規模な標本データから、少数の本質的な成分である基底ベクトルを基底行列Ｗとして抽出するものである。この基底行列Ｗ及び重み行列Ｈを算出することにより、Ｎ次元の特徴量ベクトルにて表わされた標本データを、Ｎ次元よりも少ない、基底ベクトルによるＲ次元の部分空間に写像することができる。このような写像による変換を行なうことで、部分空間において標本データを複数のクラスタに適切に分類することができる。
【００３８】
ここで、重み行列Ｈにおける重みベクトルは、標本データを基底ベクトルによる部分空間に写像する際の座標位置を示すものとなる。従って、重み行列Ｈにおける各重みベクトルが、分類された複数のクラスタを示すものとなる。
【００３９】
上述したように、本実施形態では、画像の局所特徴量から画像特徴量ベクトルを生成するのみでなく、画像に関連する情報を示す文章に基づいてメディア特徴量ベクトルを生成する。そして、これらの画像特徴量ベクトル及びメディア特徴量ベクトルを結合した結合特徴量ベクトルを、基底ベクトルによる部分空間に写像することで、標本データを複数のクラスタに分類する。このように、画像特徴量ベクトルとメディア特徴量ベクトルとを結合することで、画像が良く似ていても、分類されるクラスタが差別化されやすくなるので、画像特徴量ベクトルのみでは区別することが難しい検索対象であっても、区別して検索できる精度を向上することができる。
【００４０】
次に、図２に基づいて、未知の画像又は文章が入力された場合に、標本データのいずれに該当するかを検索する検索部２について説明する。
【００４１】
検索部２は、未知の画像又は文章からなる入力データ６０が入力されたときに、学習部１における学習結果である基底行列Ｗ及び重み行列Ｈを利用して、入力された画像又は文章に相応しい標本データの検索を行なう。
【００４２】
入力されたデータが画像である場合、その画像は、画像用特徴変換部７０において、標本データの画像に対するのと同様の手法により、Ｎ１次元の画像特徴量ベクトルに変換される。画像用特徴変換部７０により変換されたＮ１次元の画像特徴量ベクトルは、基底分解部９０に入力される。
【００４３】
基底分解部９０は、入力された画像のＮ１次元ベクトルをＮ１行１列の入力行列ｍ１と置いた場合に、その入力行列ｍ１と、学習部１により算出された基底行列Ｗとを用いて、重み行列ｈ１を算出する。ただし、このとき、基底行列Ｗにおける画像特徴量ベクトルに対応する基底ベクトルのみからなる部分基底行列Ｗ１を用いて、以下の数式３に示すように、入力行列ｍ１を部分基底行列Ｗ１と重み行列ｈ１とに分解する。これにより、入力された画像の画像特徴量ベクトルを、部分基底行列Ｗ１による部分空間に写像するための重み行列ｈ１を算出することができる。
【００４４】
【数３】
【００４５】
なお、入力行列ｍ１を部分基底行列Ｗ１と重み行列ｈ１とに分解するための演算手法は、上述した数式２と同様であるが、部分基底行列Ｗ１は更新する必要がないので、重み行列ｈ１の更新のみ繰り返し行なうことで、重み行列ｈ１を算出する。
【００４６】
重み行列ｈ１が算出されると、その重み行列ｈ１は検出部１００に与えられる。検出部１００は、学習部１により算出された重み行列Ｈの中から、重み行列ｈ１の要素である重みベクトルと最も類似する重みベクトルを抽出することにより、入力画像が分類されるべきクラスタを検索する。そして、抽出した重みベクトルに対応する基底ベクトルを、基底行列Ｗから抜き出す。この抜き出した基底ベクトルにおいて、メディア特徴量ベクトルに対応する基底ベクトルを対象として、最も要素値が大きい要素を選択する。
【００４７】
メディア特徴量ベクトルは、上述したように、単語の出現頻度に応じてベクトルの要素値が定められている。従って、メディア特徴量ベクトルに対応する基底ベクトルにおいて最も要素値が大きい要素は、最も出現回数の多い単語を示しており、入力した画像が分類されるべきクラスタの特徴を最も適切に示すものとみなすことができる。そのため、検出部１００では、標本データの文章の各単語を保存した辞書から、最大の要素値を持つ要素に対応する単語を読み出し、検索結果として出力する。出力された検索結果は、図示しない情報表示部により、画像又は音声などにより提示される。
【００４８】
なお、各クラスタの特徴を示す単語は、学習部１において標本データを複数のクラスタに分類したときに予め定めておいても良い。
【００４９】
また、入力されたデータが文章である場合、その文章は、メディア用特徴変換部８０において、標本データの文章に対するのと同様の手法により、Ｎ２次元の文章特徴量ベクトルに変換される。メディア用特徴変換部８０により変換されたＮ２次元の文章特徴量ベクトルは、基底分解部９０に入力される。
【００５０】
基底分解部９０は、入力された文章のＮ２次元ベクトルをＮ２行１列の入力行列ｍ２と置いた場合に、その入力行列ｍ２と、学習部１により算出された基底行列Ｗとを用いて、重み行列ｈ２を算出する。ただし、このとき、基底行列Ｗにおけるメディア特徴量ベクトルに対応する基底ベクトルのみからなる部分基底行列Ｗ２を用いて、以下の数式４に示すように、入力行列ｍ２を部分基底行列Ｗ２と重み行列ｈ２とに分解する。これにより、入力された文章のメディア特徴量ベクトルを、部分基底行列Ｗ２による部分空間に写像するための重み行列ｈ２を算出することができる。
【００５１】
【数４】
【００５２】
なお、この場合も、重み行列ｈ２の更新のみを繰り返し行なうことにより、入力行列ｍ２を部分基底行列Ｗ２と重み行列ｈ２とに分解する。
【００５３】
重み行列ｈ２が算出されると、その重み行列ｈ２は検出部１００に与えられる。検出部１００は、学習部１により算出された重み行列Ｈの中から、重み行列ｈ２の要素である重みベクトルと最も類似する重みベクトルを抽出する。このようにして、入力された文章が分類されるべきクラスタを検索する。そして、抽出した重みベクトルに対応する基底ベクトルを、基底行列Ｗから抜き出す。
【００５４】
さらに、検出部１００は、この抜き出した基底ベクトルにおいて、画像特徴量ベクトルに対応する基底ベクトルと、最も類似した画像特徴量ベクトルを有する画像を、標本データの各画像を保存した辞書から、そのクラスタを代表する画像として抽出して、検索結果として出力する。出力された検索結果は、図示しない情報表示部により、画像として表示される。
【００５５】
このように、未知の文章が入力された場合には、その文章のメディア特徴量ベクトルが分類されるべきクラスタを算出し、そのクラスタに分類される画像データの中で、クラスタを代表する画像データを抽出して表示することができる。
【００５６】
以上、本発明の好ましい実施形態について説明したが、本発明は上述した実施形態になんら制限されることなく、本発明の主旨を逸脱しない範囲において、種々変形して実施することが可能である。
【００５７】
例えば、上述した実施形態では、画像に関連する情報を示すメディアデータとして文章を利用する例について説明したが、例えば画像を取得した位置情報や、時刻情報も、画像の特徴を示すデータとなりえるため、位置情報や時刻情報もメディアデータとして用いることができる。
【符号の説明】
【００５８】
１…学習部
２…検索部
２０，７０…画像用特徴変換部
３０，８０…メディア用特徴変換部
４０…結合部
５０，９０…基底分解部
１００…検出部
【技術分野】
【０００１】
本発明は、画像と画像以外のメディアデータからなる標本データを複数まとめた標本データセットに基づき、未知の画像あるいは画像以外のメディアデータが入力された場合に、標本データのいずれに類似するかを検索するマルチメディア検索システムに関する。
【背景技術】
【０００２】
例えば、画像を対象とした一般物体認識は、認識対象のカテゴリが多く、また同一カテゴリの物体であっても、形態が様々であるため、困難性が高い技術であることが知られている。
【０００３】
近年では、このような一般物体認識に、例えば非特許文献１に記載されているように、画像の局所特徴量（局所パターン）の分布に基づいて認識対象の認識を行なう手法を適用することで、認識精度の向上が図られている。
【０００４】
この非特許文献１では、複数のカテゴリの標本画像の各々について、エッジ等の特徴点を多数抽出し、それらの特徴点周辺パターンをＳＩＦＴ（Scale-Invariant Feature Transform）特徴ベクトルにより表現する。そして、予め求めておいた代表的な局所パターンであるvisual wordsに基づいて、各画像の特徴点周辺パターンをヒストグラム化する。これにより、各画像は、visual wordsの集合として表現され、そのヒストグラムから、画像の特徴ベクトルが定められる。このように定められた画像特徴ベクトルは、ＳＶＭ（サポートベクターマシン）などにより各カテゴリに分類される。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】”Visual Categorization with Bags of Keypoints” Gabriella Csurka, Christopher R. Dance, Lixin Fan, Jutta Willamowski, Cedric Bray, In ECCV International Workshop on Statistical Learning in Computer Vision (2004)
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、画像の局所パターンのみに基づいて認識を行なう場合、カテゴリが異なるにも係らず、良く似ている画像に関しては、必ずしも高い認識精度を期待することはできないという問題がある。
【０００７】
本願発明は、上述した点に鑑みてなされたもので、良く似ているデータ同士であっても、カテゴリが異なる場合には、区別して検索できる精度を向上したマルチメディア検索システムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、請求項１に記載のマルチメディア検索システムは、
画像と、その画像に関連する情報を示す画像以外のメディアデータからなる標本データを複数まとめた標本データセットに基づき、未知の画像あるいは画像以外のメディアデータが入力された場合に、標本データのいずれに該当するかを検索するものであって、
標本データの画像の局所領域の画像特徴量から、当該画像の画像特徴量ベクトルを生成する画像特徴量ベクトル生成手段と、
標本データのメディアデータから特徴量を抽出し、メディア特徴量ベクトルを生成するメディア特徴量ベクトル生成手段と、
複数の標本データに関して、画像特徴量ベクトルとメディア特徴量ベクトルとを結合した結合特徴量ベクトルを生成するとともに、これらの結合特徴量ベクトルを、結合特徴量ベクトルの次元数よりも少ない次元数の部分空間に写像することにより、標本データセットを複数のクラスタに分類するクラスタリング手段と、を備えたことを特徴とする。
【０００９】
上述したように、請求項１に記載の発明では、画像の局所領域の画像特徴量から画像特徴量ベクトルを生成するのみでなく、画像以外のメディアデータからもメディア特徴量ベクトルを生成する。そして、これらの画像特徴量ベクトル及びメディア特徴量ベクトルを結合した結合特徴量ベクトルを、部分空間に写像することで、標本データセットを複数のクラスタに分類している。このように、画像特徴量ベクトルとメディア特徴量ベクトルとを結合することで、画像が良く似ていても、分類されるクラスタが差別化されやすくなるので、画像特徴量ベクトルのみでは区別することが難しい検索対象であっても、区別して検索できる精度を向上することができる。
【００１０】
請求項２に記載したように、未知の画像が入力された場合に、この画像の画像特徴量ベクトルを生成し、当該画像特徴量ベクトルを部分空間に写像することにより、画像特徴量ベクトルが分類されるべきクラスタを算出するクラスタ算出手段と、クラスタ算出手段により算出されたクラスタに分類されるメディアデータの中で、そのクラスタを代表するメディアデータを抽出して、検索結果として出力する検索結果出力手段と、を備えることが好ましい。これにより、画像に付随するメディアデータを利用して、その画像の内容に最も相応しいと考えられるメディアデータを検索結果として出力することが可能になる。
【００１１】
より具体的には、請求項３に記載したように、クラスタリング手段は、複数の標本データに関する結合特徴量ベクトルをデータ行列として、このデータ行列を、部分空間を定める基底ベクトルからなる基底行列と、基底ベクトルにより定められる部分空間に写像するための各基底ベクトルと結合される重みデータをまとめた重み行列とに分解するものであり、クラスタ算出手段は、未知の画像の画像特徴量ベクトルを、クラスタリング手段によって分解された基底行列における画像特徴量ベクトルの基底ベクトルのみからなる部分基底行列を用いて、当該部分基底行列による部分空間に写像するための重み行列を算出し、当該重み行列に最も近い行列要素を、クラスタリング手段により分解された重み行列の中から抽出するものであり、検索結果出力手段は、クラスタ算出手段により抽出された重み行列の行列要素に対応する、メディア特徴量ベクトルの基底ベクトルの値が最大のメディアデータを、そのクラスタを代表するメディアデータとして抽出することが好ましい。これにより、未知の画像の画像特徴量ベクトルが分類されるべきクラスタを算出し、そのクラスタに分類されるメディアデータの中で、クラスタを代表するメディアデータを抽出することができる。
【００１２】
請求項４に記載したように、未知のメディアデータが入力された場合に、このメディアデータのメディア特徴量ベクトルを生成し、当該メディア特徴量ベクトルを部分空間に写像することにより、メディア特徴量ベクトルが分類されるべきクラスタを算出するクラスタ算出手段と、クラスタ算出手段により算出されたクラスタに分類される画像の中で、そのクラスタを代表する画像を抽出して、検索結果として出力する検索結果出力手段と、を備えることが好ましい。これにより、メディアデータを検索キーとして、そのメディアデータに相応しいと考えられる画像を検索結果として出力することが可能になる。
【００１３】
より具体的には、請求項５に記載したように、クラスタリング手段は、複数の標本データに関する結合特徴量ベクトルをデータ行列として、このデータ行列を、部分空間を定める基底ベクトルからなる基底行列と、基底ベクトルにより定められる部分空間に写像するための各基底ベクトルと結合される重みデータをまとめた重み行列とに分解するものであり、クラスタ算出手段は、未知のメディアデータのメディア特徴量ベクトルを、クラスタリング手段によって分解された基底行列におけるメディア特徴量ベクトルの基底ベクトルのみからなる部分基底行列を用いて、当該部分基底行列による部分空間に写像するための重み行列を算出し、当該重み行列に最も近い行列要素を、クラスタリング手段により分解された重み行列の中から抽出するものであり、検索結果出力手段は、クラスタ算出手段により抽出された重み行列の行列要素に対応する画像特徴量ベクトルの基底ベクトルに対して、最も類似した画像特徴量ベクトルを有する画像を、そのクラスタを代表する画像として抽出することが好ましい。これにより、未知のメディアデータのメディア特徴量ベクトルが分類されるべきクラスタを算出し、そのクラスタに分類される画像データの中で、クラスタを代表する画像データを抽出することができる。
【００１４】
請求項６に記載したように、メディアデータは、１つ以上の単語から構成される文章、位置情報、時刻情報の中から一つ以上を用いて構成されたデータであることが好ましい。画像の解説を行なった文章や、画像を取得した位置や時刻などを示す位置情報、時刻情報は、画像の特徴を表現するメディアデータとして好適であるためである。
【００１５】
請求項７に記載したように、標本データは、インターネットを介して収集することが好ましい。多くの物体を認識するには、多種の物体を含んだ標本データを用意する必要がある。このため、多数の画像に対して、名称などのメディアデータを人手をかけて付与していくには、非常に時間と手間がかかる作業となる。それに対して、近年では、多くのホームページがインターネット上に公開され、その中には、画像と、その画像を解説した文章などがセットとなっていることも多い。従って、インターネットを介して標本データを収集することにより、人手をかけずに標本データを用意することが可能である。
【図面の簡単な説明】
【００１６】
【図１】標本データに基づいて学習を行なう学習部の構成を示す構成図である。
【図２】未知の画像又は文章が入力された場合に、標本データのいずれに類似するかを検索する検索部の構成を示す構成図である。
【発明を実施するための形態】
【００１７】
以下、本発明の実施形態によるマルチメディア検索システムについて、図面に基づいて説明する。図１は、マルチメディア検索システムにおける学習部１の構成を示す構成図である。なお、本実施形態においては、画像に関連する情報を示すメディアデータとして、文章を適用した例について説明する。
【００１８】
図１において、標本データ１０は、画像と、その画像に関連する情報を示す文章からなる。この標本データ１０として、多種の物体に関する多数の画像と、それらの画像に付随する文章が用意される。本実施形態では、未知の画像や文章が入力されたときに、標本データの中から類似性の高い画像や単語などを検索するので、認識可能な物体のカテゴリは、標本データにおける物体のカテゴリの種類に依存する。そのため、認識物体のカテゴリを拡大しようとした場合、多くの標本データを用意する必要がある。
【００１９】
ただし、多数の画像に対して、物体名称などのデータを人手をかけて付与した場合、非常に時間と手間がかかることになる。そのため、本実施形態では、多種の物体に関する標本データを効率的に収集するために、インターネットを利用する。近年では、多くのホームページがインターネット上に公開され、その中には、画像と、その画像を解説した文章などがセットとなっているものも多い。従って、インターネットを介して標本データを収集することにより、人手をかけず効率的に標本データを用意することができる。
【００２０】
標本データ１０における画像は、画像用特徴変換部２０に与えられ、標本データ１０における文章は、メディア用特徴変換部３０に与えられる。
【００２１】
画像用特徴変換部２０は、入力された画像をＮ１次元（例えば１０００次元）の画像特徴量ベクトルに変換するものである。画像をＮ１次元の画像特徴量ベクトルに変換する手法として種々の方法が知られているが、本実施形態において採用した方法について、以下に簡単に説明する。
【００２２】
まず、画像から沢山の小領域を切り出して、各小領域の特徴量である輝度分布の勾配方向のパターンを、ＳＩＦＴ（Scale-Invariant Feature Transform）特徴ベクトル（１２８次元のベクトル）により表す。このＳＩＦＴ特徴ベクトルは、小領域を４×４＝１６グリッドに分割し、各グリッドの勾配方向を８方向のベクトルにて表現したものである。
【００２３】
なお、小領域の切り出し方法としては、例えば、画像においてエッジなどの特徴点を求め、その特徴点の周りの一定の領域を小領域とすれば良い。あるいは、ある大きさの窓を用意し、画像上で少しずつずらしながら、窓内の領域を小領域として切り出しても良い。さらに、１枚の画像に対して、窓の大きさを変えつつ複数回小領域を切り出すようにしても良い。
【００２４】
また、画像の局所領域の特徴量は、ＳＩＦＴ特徴ベクトルに限らず、例えばＳＵＲＦ特徴ベクトルによって表しても良い。ＳＵＲＦによる特徴量算出方法は、”SURF：Speed Up Robust Features” Herbert Bay, Tinne Tuytelaars, Luc Van Gool, Proceedings of the ninth European Conference on Computer Vision, Vol. 1, pp.404-417, May 2006に詳しく説明されている。
【００２５】
全ての標本データの画像に関して、全局所特徴量に対応するＳＩＦＴ特徴ベクトルが算出されると、ＳＩＦＴ特徴ベクトルの１２８次元空間において、Ｋ−平均法（K‐means）を用いて、算出したＳＩＦＴ特徴ベクトルをＮ１個にクラスタリングする。そして、各クラスタの中心に当たるＳＩＦＴ特徴ベクトルを、画像の特徴を表すための代表的なパターンであるvisual wordsとして定める。
【００２６】
上述したようにして定められたＮ１個のvisual wordsと、各画像ごとに算出されたＳＩＦＴ特徴ベクトルとを用いて、各画像にそれぞれのvisual wordsがいくつ含まれているかを算出する。これにより、各画像がＮ１個のvisual wordsの集合として表現され、各画像はＮ１次元の画像特徴量ベクトルに変換される。
【００２７】
一方、メディア用特徴変換部３０は、入力された文章をＮ２次元のメディア特徴量ベクトルに変換するものである。このため、メディア用特徴変換部３０は、入力された文章を形態素解析して、名詞、形容詞等の単語に分割する。全ての標本データの文章が単語に分割された後、分割されたすべての単語をベースとして、それぞれの文章に、分割された単語が何回現れたかを計算する。これにより、それぞれの文章が、分割されたすべての単語数を次元数（Ｎ２次元）とするメディア特徴量ベクトルに変換される。
【００２８】
なお、文章をＮ２次元のメディア特徴量ベクトルに変換する際、公知のＴＦ−ＩＤＦを用いても良い。ＴＦ−ＩＤＦは、単語の出現頻度（ＴＦ）のみでなく、その単語が多くの文章に現れる度合を示す逆文章頻度（ＩＤＦ）の二つの指標で計算される。そのため、多くの文章に現れる単語の重要度を下げ、特定の文章にしか現れない単語の重要度を上げることができる。
【００２９】
結合部４０は、画像用特徴変換部２０によって算出されたＮ１次元の画像特徴量ベクトルと、メディア用特徴変換部３０によって算出されたＮ２次元のメディア特徴量ベクトルとを統合して、標本データに対応する結合特徴量ベクトルを生成するものである。なお、結合部４０によりＮ１次元の画像特徴量ベクトルとＮ２次元のメディア特徴量ベクトルが統合された結果、結合特徴量ベクトルの次元数は、Ｎ１＋Ｎ２＝Ｎ（次元）となる。
【００３０】
結合部４０は、標本データセットに含まれる全ての標本データに関して、上述した手法により結合特徴量ベクトルを作成し、さらに、それらをまとめてデータ行列Ｍを作成する。すなわち、データ行列Ｍは、Ｎ次元の結合特徴ベクトルにて表されたＤ個の標本データをまとめることにより、Ｎ行Ｄ列の行列となる。このデータ行列Ｍは、基底分解部５０に与えられる。
【００３１】
基底分解部５０は、データ行列Ｍを、結合特徴量ベクトルの次元数Ｎよりも少ない次元数Ｒの部分空間に写像することにより、標本データを複数のクラスタに分類する。この複数のクラスタへの分類には、特異値分解、主成分分析、非負行列因子分解などの手法を適用できるが、以下は、非負行列因子分解を用いて複数のクラスタに分類する例について説明する。
【００３２】
基底分解部５０は、以下の数式１に示すように、Ｎ行Ｄ列のデータ行列Ｍを、基底ベクトルをまとめたＮ行Ｒ列の基底行列Ｗと、標本データのＮ次元特徴量ベクトルを基底ベクトルによるＲ次元の部分空間に写像するための重みデータをまとめたＲ行Ｄ列の重み行列Ｈとに近似により分解する。
【００３３】
【数１】
【００３４】
具体的には、基底分解部５０は、以下の数式２に示す演算式に従って、基底行列Ｗと重み行列Ｈの更新を繰り返して、基底行列Ｗと重み行列Ｈを算出する。更新を繰り返すことにより、基底行列Ｗと重み行列Ｈとによる近似の精度を向上することができる。
【００３５】
【数２】
【００３６】
なお、数式２の第２式は、更新した基底行列Ｗを正規化するためのものである。そして、上述した数式２による、基底行列Ｗと重み行列Ｈの更新は、例えば予め定めた回数（例えば千回）、あるいは更新前後の変化量（差や比率）が所定値以下となるまで繰り返される。
【００３７】
非負行列因子分解は、大規模な標本データから、少数の本質的な成分である基底ベクトルを基底行列Ｗとして抽出するものである。この基底行列Ｗ及び重み行列Ｈを算出することにより、Ｎ次元の特徴量ベクトルにて表わされた標本データを、Ｎ次元よりも少ない、基底ベクトルによるＲ次元の部分空間に写像することができる。このような写像による変換を行なうことで、部分空間において標本データを複数のクラスタに適切に分類することができる。
【００３８】
ここで、重み行列Ｈにおける重みベクトルは、標本データを基底ベクトルによる部分空間に写像する際の座標位置を示すものとなる。従って、重み行列Ｈにおける各重みベクトルが、分類された複数のクラスタを示すものとなる。
【００３９】
上述したように、本実施形態では、画像の局所特徴量から画像特徴量ベクトルを生成するのみでなく、画像に関連する情報を示す文章に基づいてメディア特徴量ベクトルを生成する。そして、これらの画像特徴量ベクトル及びメディア特徴量ベクトルを結合した結合特徴量ベクトルを、基底ベクトルによる部分空間に写像することで、標本データを複数のクラスタに分類する。このように、画像特徴量ベクトルとメディア特徴量ベクトルとを結合することで、画像が良く似ていても、分類されるクラスタが差別化されやすくなるので、画像特徴量ベクトルのみでは区別することが難しい検索対象であっても、区別して検索できる精度を向上することができる。
【００４０】
次に、図２に基づいて、未知の画像又は文章が入力された場合に、標本データのいずれに該当するかを検索する検索部２について説明する。
【００４１】
検索部２は、未知の画像又は文章からなる入力データ６０が入力されたときに、学習部１における学習結果である基底行列Ｗ及び重み行列Ｈを利用して、入力された画像又は文章に相応しい標本データの検索を行なう。
【００４２】
入力されたデータが画像である場合、その画像は、画像用特徴変換部７０において、標本データの画像に対するのと同様の手法により、Ｎ１次元の画像特徴量ベクトルに変換される。画像用特徴変換部７０により変換されたＮ１次元の画像特徴量ベクトルは、基底分解部９０に入力される。
【００４３】
基底分解部９０は、入力された画像のＮ１次元ベクトルをＮ１行１列の入力行列ｍ１と置いた場合に、その入力行列ｍ１と、学習部１により算出された基底行列Ｗとを用いて、重み行列ｈ１を算出する。ただし、このとき、基底行列Ｗにおける画像特徴量ベクトルに対応する基底ベクトルのみからなる部分基底行列Ｗ１を用いて、以下の数式３に示すように、入力行列ｍ１を部分基底行列Ｗ１と重み行列ｈ１とに分解する。これにより、入力された画像の画像特徴量ベクトルを、部分基底行列Ｗ１による部分空間に写像するための重み行列ｈ１を算出することができる。
【００４４】
【数３】
【００４５】
なお、入力行列ｍ１を部分基底行列Ｗ１と重み行列ｈ１とに分解するための演算手法は、上述した数式２と同様であるが、部分基底行列Ｗ１は更新する必要がないので、重み行列ｈ１の更新のみ繰り返し行なうことで、重み行列ｈ１を算出する。
【００４６】
重み行列ｈ１が算出されると、その重み行列ｈ１は検出部１００に与えられる。検出部１００は、学習部１により算出された重み行列Ｈの中から、重み行列ｈ１の要素である重みベクトルと最も類似する重みベクトルを抽出することにより、入力画像が分類されるべきクラスタを検索する。そして、抽出した重みベクトルに対応する基底ベクトルを、基底行列Ｗから抜き出す。この抜き出した基底ベクトルにおいて、メディア特徴量ベクトルに対応する基底ベクトルを対象として、最も要素値が大きい要素を選択する。
【００４７】
メディア特徴量ベクトルは、上述したように、単語の出現頻度に応じてベクトルの要素値が定められている。従って、メディア特徴量ベクトルに対応する基底ベクトルにおいて最も要素値が大きい要素は、最も出現回数の多い単語を示しており、入力した画像が分類されるべきクラスタの特徴を最も適切に示すものとみなすことができる。そのため、検出部１００では、標本データの文章の各単語を保存した辞書から、最大の要素値を持つ要素に対応する単語を読み出し、検索結果として出力する。出力された検索結果は、図示しない情報表示部により、画像又は音声などにより提示される。
【００４８】
なお、各クラスタの特徴を示す単語は、学習部１において標本データを複数のクラスタに分類したときに予め定めておいても良い。
【００４９】
また、入力されたデータが文章である場合、その文章は、メディア用特徴変換部８０において、標本データの文章に対するのと同様の手法により、Ｎ２次元の文章特徴量ベクトルに変換される。メディア用特徴変換部８０により変換されたＮ２次元の文章特徴量ベクトルは、基底分解部９０に入力される。
【００５０】
基底分解部９０は、入力された文章のＮ２次元ベクトルをＮ２行１列の入力行列ｍ２と置いた場合に、その入力行列ｍ２と、学習部１により算出された基底行列Ｗとを用いて、重み行列ｈ２を算出する。ただし、このとき、基底行列Ｗにおけるメディア特徴量ベクトルに対応する基底ベクトルのみからなる部分基底行列Ｗ２を用いて、以下の数式４に示すように、入力行列ｍ２を部分基底行列Ｗ２と重み行列ｈ２とに分解する。これにより、入力された文章のメディア特徴量ベクトルを、部分基底行列Ｗ２による部分空間に写像するための重み行列ｈ２を算出することができる。
【００５１】
【数４】
【００５２】
なお、この場合も、重み行列ｈ２の更新のみを繰り返し行なうことにより、入力行列ｍ２を部分基底行列Ｗ２と重み行列ｈ２とに分解する。
【００５３】
重み行列ｈ２が算出されると、その重み行列ｈ２は検出部１００に与えられる。検出部１００は、学習部１により算出された重み行列Ｈの中から、重み行列ｈ２の要素である重みベクトルと最も類似する重みベクトルを抽出する。このようにして、入力された文章が分類されるべきクラスタを検索する。そして、抽出した重みベクトルに対応する基底ベクトルを、基底行列Ｗから抜き出す。
【００５４】
さらに、検出部１００は、この抜き出した基底ベクトルにおいて、画像特徴量ベクトルに対応する基底ベクトルと、最も類似した画像特徴量ベクトルを有する画像を、標本データの各画像を保存した辞書から、そのクラスタを代表する画像として抽出して、検索結果として出力する。出力された検索結果は、図示しない情報表示部により、画像として表示される。
【００５５】
このように、未知の文章が入力された場合には、その文章のメディア特徴量ベクトルが分類されるべきクラスタを算出し、そのクラスタに分類される画像データの中で、クラスタを代表する画像データを抽出して表示することができる。
【００５６】
以上、本発明の好ましい実施形態について説明したが、本発明は上述した実施形態になんら制限されることなく、本発明の主旨を逸脱しない範囲において、種々変形して実施することが可能である。
【００５７】
例えば、上述した実施形態では、画像に関連する情報を示すメディアデータとして文章を利用する例について説明したが、例えば画像を取得した位置情報や、時刻情報も、画像の特徴を示すデータとなりえるため、位置情報や時刻情報もメディアデータとして用いることができる。
【符号の説明】
【００５８】
１…学習部
２…検索部
２０，７０…画像用特徴変換部
３０，８０…メディア用特徴変換部
４０…結合部
５０，９０…基底分解部
１００…検出部
【特許請求の範囲】
【請求項１】
画像と、その画像に関連する情報を示す画像以外のメディアデータからなる標本データを複数まとめた標本データセットに基づき、未知の画像あるいは画像以外のメディアデータが入力された場合に、前記標本データのいずれに類似するかを検索するマルチメディア検索システムであって、
前記標本データの画像の局所領域の画像特徴量から、当該画像の画像特徴量ベクトルを生成する画像特徴量ベクトル生成手段と、
前記標本データのメディアデータから特徴量を抽出し、メディア特徴量ベクトルを生成するメディア特徴量ベクトル生成手段と、
複数の標本データに関して、画像特徴量ベクトルとメディア特徴量ベクトルとを結合した結合特徴量ベクトルを生成するとともに、これらの結合特徴量ベクトルを、結合特徴量ベクトルの次元数よりも少ない次元数の部分空間に写像することにより、前記標本データセットを複数のクラスタに分類するクラスタリング手段と、を備えたことを特徴とするマルチメディア検索システム。
【請求項２】
未知の画像が入力された場合に、この画像の画像特徴量ベクトルを生成し、当該画像特徴量ベクトルを前記部分空間に写像することにより、前記画像特徴量ベクトルが分類されるべきクラスタを算出するクラスタ算出手段と、
前記クラスタに分類されるメディアデータの中で、そのクラスタを代表するメディアデータを抽出して、検索結果として出力する検索結果出力手段と、を備えることを特徴とする請求項１に記載のマルチメディア検索システム。
【請求項３】
前記クラスタリング手段は、複数の標本データに関する結合特徴量ベクトルをデータ行列として、このデータ行列を、部分空間を定める基底ベクトルからなる基底行列と、前記基底ベクトルにより定められる部分空間に写像するための各基底ベクトルと結合される重みデータをまとめた重み行列とに分解するものであり、
前記クラスタ算出手段は、前記未知の画像の画像特徴量ベクトルを、前記クラスタリング手段によって分解された基底行列における画像特徴量ベクトルの基底ベクトルのみからなる部分基底行列を用いて、当該部分基底行列による部分空間に写像するための重み行列を算出し、当該重み行列に最も近い行列要素を、前記クラスタリング手段により分解された重み行列の中から抽出するものであり、
前記検索結果出力手段は、前記クラスタ算出手段により抽出された重み行列の行列要素に対応する、メディア特徴量ベクトルの基底ベクトルの値が最大のメディアデータを、そのクラスタを代表するメディアデータとして抽出することを特徴とする請求項２に記載のマルチメディア検索システム。
【請求項４】
未知のメディアデータが入力された場合に、このメディアデータのメディア特徴量ベクトルを生成し、当該メディア特徴量ベクトルを前記部分空間に写像することにより、前記メディア特徴量ベクトルが分類されるべきクラスタを算出するクラスタ算出手段と、
前記クラスタに分類される画像の中で、そのクラスタを代表する画像を抽出して、検索結果として出力する検索結果出力手段と、を備えることを特徴とする請求項１に記載のマルチメディア検索システム。
【請求項５】
前記クラスタリング手段は、複数の標本データに関する結合特徴量ベクトルをデータ行列として、このデータ行列を、部分空間を定める基底ベクトルからなる基底行列と、前記基底ベクトルにより定められる部分空間に写像するための各基底ベクトルと結合される重みデータをまとめた重み行列とに分解するものであり、
前記クラスタ算出手段は、前記未知のメディアデータのメディア特徴量ベクトルを、前記クラスタリング手段によって分解された基底行列におけるメディア特徴量ベクトルの基底ベクトルのみからなる部分基底行列を用いて、当該部分基底行列による部分空間に写像するための重み行列を算出し、当該重み行列に最も近い行列要素を、前記クラスタリング手段により分解された重み行列の中から抽出するものであり、
前記検索結果出力手段は、前記クラスタ算出手段により抽出された重み行列の行列要素に対応する画像特徴量ベクトルの基底ベクトルに対して、最も類似した画像特徴量ベクトルを有する画像を、そのクラスタを代表する画像として抽出することを特徴とする請求項４に記載のマルチメディア検索システム。
【請求項６】
前記メディアデータは、１つ以上の単語から構成される文章、位置情報、時刻情報の中から一つ以上を用いて構成されたデータであることを特徴とする請求項１乃至６のいずれかに記載のマルチメディア検索システム。
【請求項７】
前記標本データは、インターネットを介して収集することを特徴とする請求項１乃至７のいずれかに記載のマルチメディア検索システム。
【請求項１】
画像と、その画像に関連する情報を示す画像以外のメディアデータからなる標本データを複数まとめた標本データセットに基づき、未知の画像あるいは画像以外のメディアデータが入力された場合に、前記標本データのいずれに類似するかを検索するマルチメディア検索システムであって、
前記標本データの画像の局所領域の画像特徴量から、当該画像の画像特徴量ベクトルを生成する画像特徴量ベクトル生成手段と、
前記標本データのメディアデータから特徴量を抽出し、メディア特徴量ベクトルを生成するメディア特徴量ベクトル生成手段と、
複数の標本データに関して、画像特徴量ベクトルとメディア特徴量ベクトルとを結合した結合特徴量ベクトルを生成するとともに、これらの結合特徴量ベクトルを、結合特徴量ベクトルの次元数よりも少ない次元数の部分空間に写像することにより、前記標本データセットを複数のクラスタに分類するクラスタリング手段と、を備えたことを特徴とするマルチメディア検索システム。
【請求項２】
未知の画像が入力された場合に、この画像の画像特徴量ベクトルを生成し、当該画像特徴量ベクトルを前記部分空間に写像することにより、前記画像特徴量ベクトルが分類されるべきクラスタを算出するクラスタ算出手段と、
前記クラスタに分類されるメディアデータの中で、そのクラスタを代表するメディアデータを抽出して、検索結果として出力する検索結果出力手段と、を備えることを特徴とする請求項１に記載のマルチメディア検索システム。
【請求項３】
前記クラスタリング手段は、複数の標本データに関する結合特徴量ベクトルをデータ行列として、このデータ行列を、部分空間を定める基底ベクトルからなる基底行列と、前記基底ベクトルにより定められる部分空間に写像するための各基底ベクトルと結合される重みデータをまとめた重み行列とに分解するものであり、
前記クラスタ算出手段は、前記未知の画像の画像特徴量ベクトルを、前記クラスタリング手段によって分解された基底行列における画像特徴量ベクトルの基底ベクトルのみからなる部分基底行列を用いて、当該部分基底行列による部分空間に写像するための重み行列を算出し、当該重み行列に最も近い行列要素を、前記クラスタリング手段により分解された重み行列の中から抽出するものであり、
前記検索結果出力手段は、前記クラスタ算出手段により抽出された重み行列の行列要素に対応する、メディア特徴量ベクトルの基底ベクトルの値が最大のメディアデータを、そのクラスタを代表するメディアデータとして抽出することを特徴とする請求項２に記載のマルチメディア検索システム。
【請求項４】
未知のメディアデータが入力された場合に、このメディアデータのメディア特徴量ベクトルを生成し、当該メディア特徴量ベクトルを前記部分空間に写像することにより、前記メディア特徴量ベクトルが分類されるべきクラスタを算出するクラスタ算出手段と、
前記クラスタに分類される画像の中で、そのクラスタを代表する画像を抽出して、検索結果として出力する検索結果出力手段と、を備えることを特徴とする請求項１に記載のマルチメディア検索システム。
【請求項５】
前記クラスタリング手段は、複数の標本データに関する結合特徴量ベクトルをデータ行列として、このデータ行列を、部分空間を定める基底ベクトルからなる基底行列と、前記基底ベクトルにより定められる部分空間に写像するための各基底ベクトルと結合される重みデータをまとめた重み行列とに分解するものであり、
前記クラスタ算出手段は、前記未知のメディアデータのメディア特徴量ベクトルを、前記クラスタリング手段によって分解された基底行列におけるメディア特徴量ベクトルの基底ベクトルのみからなる部分基底行列を用いて、当該部分基底行列による部分空間に写像するための重み行列を算出し、当該重み行列に最も近い行列要素を、前記クラスタリング手段により分解された重み行列の中から抽出するものであり、
前記検索結果出力手段は、前記クラスタ算出手段により抽出された重み行列の行列要素に対応する画像特徴量ベクトルの基底ベクトルに対して、最も類似した画像特徴量ベクトルを有する画像を、そのクラスタを代表する画像として抽出することを特徴とする請求項４に記載のマルチメディア検索システム。
【請求項６】
前記メディアデータは、１つ以上の単語から構成される文章、位置情報、時刻情報の中から一つ以上を用いて構成されたデータであることを特徴とする請求項１乃至６のいずれかに記載のマルチメディア検索システム。
【請求項７】
前記標本データは、インターネットを介して収集することを特徴とする請求項１乃至７のいずれかに記載のマルチメディア検索システム。
【図１】
【図２】
【図２】
【公開番号】特開２０１１−１０３０８２（Ｐ２０１１−１０３０８２Ａ）
【公開日】平成２３年５月２６日（２０１１．５．２６）
【国際特許分類】
【出願番号】特願２００９−２５８１６６（Ｐ２００９−２５８１６６）
【出願日】平成２１年１１月１１日（２００９．１１．１１）
【出願人】（５０２３２４０６６）株式会社デンソーアイティーラボラトリ (332)
【Ｆターム（参考）】
【公開日】平成２３年５月２６日（２０１１．５．２６）
【国際特許分類】
【出願日】平成２１年１１月１１日（２００９．１１．１１）
【出願人】（５０２３２４０６６）株式会社デンソーアイティーラボラトリ (332)
【Ｆターム（参考）】
[ Back to top ]