アノテーション付けを行う方法およびそのためのコンピュータプログラム
【課題】計算機を効率的に利用した、大規模なメディアファイルを利用するアノテーション付与のための高効率かつスケーラブルな手法を提供する。
【解決手段】アノテーション付与方法は、アノテーションを含む複数の第１のデジタルファイルの第１の複数の特徴から複数の分類器を生成し、複数の第２のデジタルファイルから抽出された複数の第２の特徴を複数の分類器を用いてソートし、第２の特徴とそれぞれの分類器に対応する第１の特徴との間の距離ベクトルを決定し、この距離に応じてランク付けを行う。ランキングに基づいて、マッチファイルのサブセットが選択される。サブセットにはそれぞれ一以上のアノテーションが関連付けられ、新たに受信したデジタルファイルに対し、このサブセットのアノテーションが分類器に応じて関連付けられる。
【解決手段】アノテーション付与方法は、アノテーションを含む複数の第１のデジタルファイルの第１の複数の特徴から複数の分類器を生成し、複数の第２のデジタルファイルから抽出された複数の第２の特徴を複数の分類器を用いてソートし、第２の特徴とそれぞれの分類器に対応する第１の特徴との間の距離ベクトルを決定し、この距離に応じてランク付けを行う。ランキングに基づいて、マッチファイルのサブセットが選択される。サブセットにはそれぞれ一以上のアノテーションが関連付けられ、新たに受信したデジタルファイルに対し、このサブセットのアノテーションが分類器に応じて関連付けられる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はマルチメディアファイルの分類に関し、特に自動的にデジタルメディアの分類とアノテーション付けを行う方法、およびコンピュータプログラムに関する。
【背景技術】
【０００２】
インターネットとデジタル写真の普及に伴い、コンピュータによる視認技術と画像処理はスケーラビリティへの挑戦となってきている。数十億の画像ファイルを含むような大規模の画像メディアコレクションは整理、操作、そして正確かつ効率的な検索が難しい。近年のマルチメディア分析研究はデジタルコンテンツの情報検索に焦点が当てられている。こうしたインデキシングや検索はタグやアノテーションを付加することで容易になる。ユーチューブ（登録商標）やフリッカー（登録商標）のようなウェブサイトでは手作業で提供されたアノテーションが急増しているが、個人や頒布されているメディアコレクションには自動あるいは半自動のアノテーションツールが必要である。
【０００３】
このため、スケーラブルなメディア分類手法の必要性が高まっている。様々なウェブサイトからの人手で付与された大量のデータは、スケーラブルなメディア分類システムを構成するための無限のサンプルデータ源となる。スケーラブルな分類システムを築く一つのアプローチは、一般に入手可能な大規模なトレーニングデータから、改善された標準的な特徴を抽出し、トレーニングデータの低レベルの表現を生成するために最近傍法（NN）ベースの指標を計算し、例えばデータファイルのアノテーション付けを自動化するために、利用する。最近傍法の欠点は、標準的な実現方法が計算機上で複雑であって、この結果大規模のファイルのコレクションの場合に、処理が非効率になる点にある。このため、自由に入手できるアノテーション付きファイルの大規模ライブラリの利用は、そのコレクションの効率的な処理の困難さとトレードオフとなっている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開2008-123486号公報
【非特許文献】
【０００５】
【非特許文献１】ミンリンチャンら(Min-Ling Zhang et al) 、「Ml kＮＮ：複数ラベル学習の緩やかなアプローチ（Ml-knn: A lazy approach to multi-label learning）」、パターン認識学会誌（The Journal of the Pattern Recognition Society）、オランダ、２００７年、第４０巻、第７号、第２０３８〜２０４８頁
【発明の概要】
【発明が解決しようとする課題】
【０００６】
このため、計算機を効率的に利用した、大規模のメディアファイルへの高効率でスケーラブルなアノテーション付与のための分類手法が必要となってきている。一方で、大量のメディアファイルで訓練されたシステムを、より限定されたトレーニングコレクションと特定のアノテーション語彙を使ってカスタマイズして、コレクションにアノテーション付けをしたいとの要求もある。
【課題を解決するための手段】
【０００７】
上記課題の少なくとも一部を解決するために、本発明は以下の解決手段を用いる。
【０００８】
本発明の一つの形態の方法においては、分類器生成手段が、それぞれ１以上の関連付けられたアノテーションを含む複数の第１のデジタルファイルの複数の第１の特徴から分類器のセットを生成し、ソート手段が、前記複数の分類器に応じて、複数の第２のデジタルファイルの少なくとも１つから抽出された複数の第２の特徴をソートし、距離順位付け手段が、前記複数の第２の特徴と各前記第１の特徴との間の距離ベクトルを、対応する分類器のそれぞれに対して決定し、決定された前記距離ベクトルに基づく距離を順位付けし、選択手段が、前記順位付けに基づいて、それぞれ１以上の関連付けされたアノテーションに対応する、所定条件にマッチしたファイルのサブセットを選択し、アノテーション関連付け手段が、前記マッチしたファイルのサブセットと関連付けられたアノテーションから１以上のアノテーションを、前記複数の第２のデジタルファイルの少なくとも一つに、対応する前記分類器を用いて関連付ける、コンピュータを用いてデジタルファイルにアノテーション付けを行うことを特徴とする。
【０００９】
本発明の一つの形態として、更に、重み決定手段が、前記複数の第２のデジタルファイルの前記少なくとも一つを前記複数の分類器に適用して各前記複数の分類器に応じた重みを決定し、重み結合手段が、１以上の前記分類器に応じて前記重み値を結合し、前記アノテーション関連付け手段が、マッチしたファイルの各サブセットの１以上のアノテーションを、結合した前記重み値に基づいて、前記複数の第２のデジタルファイルの少なくとも１つに関連付けることができる。
【００１０】
本発明の一つの形態として、前記アノテーション関連付け手段が、前記複数の第２のデジタルファイルを、前記対応する分類器に応じて１以上のユーザにより供給されるアノテーションに関連付けし、１以上のアノテーションが対応する分類器のそれぞれを用いて前記複数の第２のデジタルファイルのそれぞれに１以上のアノテーションを関連付け、受信手段が、第３の複数のデジタルファイルを受信し、特徴抽出手段が、前記第３の複数のデジタルファイルから複数の第３の特徴を抽出し、分割手段が、前記複数の第３の特徴を前記第３の特徴の複数のサブセットに分割し、再計算手段が、対応する前記分類器のそれぞれを用いて前記第３の特徴の複数のサブセットをソートし、前記第３の特徴のサブセットのそれぞれと対応する前記分類器の前記第２の特徴の間の距離を再計算し、重み決定手段が、前記再計算された距離に基づいて前記複数の分類器のそれぞれに対しての重み値を決定し、前記アノテーション関連付け手段が、前記複数の第３のデジタルファイルの前記少なくとも一つに１以上のアノテーションを、１以上の前記重み値に基づいて、マッチした第１および第２のデジタルファイルの各サブセットのアノテーションを用いて、関連付けることができる。
【００１１】
本発明の一つの形態として、更に、重み値更新手段が、１以上のユーザが設定したアノテーションを有するデジタルファイルの受信に応じて、一以上の前記重み値を更新することができる。
【００１２】
本発明の一つの形態として、前記選択手段は、前記マッチしたファイルの選択において、所定の基準に基づいてマッチしたファイルのサブセットを選択することができる。
【００１３】
本発明の一つの形態として、前記所定の基準は前記第１および第２の特徴間の最近傍計算を比較する重み付け距離値に基づくことができる。
【００１４】
本発明の一つの形態として、前記分類器生成手段は、前記複数の分類器の生成において、複数のｋ次元ツリーを生成することを含み、前記マッチしたファイルのサブセットの選択においては、少なくとも１０個の最近傍を各前記複数のｋ次元ツリーにマッチするファイルのサブセットに基づいて選択することを含むことができる。
【００１５】
本発明の一つの形態として、前記アノテーション関連付け手段が、前記マッチしたファイルのサブセットとそれぞれ関連付けられたアノテーションから１以上のアノテーションを、前記複数の第２のデジタルファイルの少なくとも一つに、対応する前記分類器のそれぞれを用いて関連付けることは、各最近傍に前記各分類器に対応する重み値に基づいて投票を行うことで決定し、１以上のアノテーションを、各最近傍への投票あるいは投票の合計に基づいて前記受信したデジタルファイルに関連付けることを含むことができる。
【００１６】
本発明の一つの形態としての方法においては、第１の分類器生成手段が、１以上の関連付けられたアノテーションを含む複数の第１のデジタルファイルのそれぞれから複数の第１の特徴を抽出し、前記第１のデジタルファイルを複数の前記第１の特徴のサブセットに分割し、前記第１の特徴の各サブセットの複数の分類器を形成し、第２の特徴サブセット生成手段が、複数のデジタルファイルのそれぞれから複数の第２の特徴を抽出し、前記複数の第２のファイルを前記第２の特徴の複数のサブセットに分割し、ソート手段が、前記第２の特徴の複数のサブセットを対応する前記複数の分類器に応じてソートし、距離決定手段が、前記第２の特徴のサブセットのそれぞれと前記対応する複数の分類器の前記第１の特徴との間の距離を決定し、選択手段が、特定の一つの前記第２のデジタルファイルの全てのサブセットの距離に基づいて、特定の１以上の前記分類器にマッチしたファイルのサブセットから前記第１のデジタルファイルを決定し、アノテーション関連付け手段が、前記第２のデジタルファイルの前記特定の一つを、第１のデジタルファイルにマッチするグループのデジタルファイルから得られる１以上のアノテーションに関連付けることを特徴とする。
【００１７】
本発明の一つの形態として、前記複数の第２のデジタルファイルは１以上のユーザにより提供されたアノテーションと関連付けられ、前記アノテーション関連付け手段が、前記対応する分類器を用いて、１以上のアノテーションを各前記複数の第２デジタルファイルに関連付け、受信手段が、第３の複数のデジタルファイルを受信し、特徴抽出手段が、少なくとも一つの前記第３の複数のデジタルファイルから複数の第３の特徴を前記対応する一つの分類器を用いて抽出し、分割手段が、前記複数の第３の特徴を複数の前記第３の特徴のサブセットに分割し、前記ソート手段が、前記複数の第３の特徴のサブセットを対応する前記分類器の一つを用いてソートし、再計算手段が、各前記第３の特徴のサブセットと前記対応する分類器の前記第２の特徴との間の距離を再計算し、前記選択手段が、１以上の特徴のサブセットの距離に基づいて、前記特定の１以上の前記分類器にマッチするファイルのサブセットから、マッチする前記第１および第２のデジタルファイルを決定し、重み決定手段が、前記再計算した距離に基づいて各１以上の前記分類器に応じた重み値を決定し、前記アノテーション関連付け手段が、少なくとも一つの前記複数の第３のデジタルファイルと、前記各マッチした第１および第２のデジタルファイルのアノテーションからの１以上のアノテーションを、１以上の前記重み値に基づいて、関連付けることができる。
【００１８】
本発明の一つの形態として、前記重み決定手段は、１以上の前記重み値を１以上のユーザが提供するアノテーションを含む受信デジタルファイルに応じて更新し、現在の前記重み値を調整するために一以上の重み値を１以上の前記分類器に応じて選択することができる。
【００１９】
本発明の一つの形態として、前記選択手段は、特定の１以上の前記分類器にマッチしたサブセットからマッチする前記第２のデジタルファイルを選択するときに、所定の距離条件に合致する距離に対応する前記第２のデジタルファイルにマッチする１以上の分類器を選択することができる。
【００２０】
本発明の一つの形態のコンピュータプログラムにおいては、コンピュータに、分類器生成手段が、それぞれ１以上の関連付けられたアノテーションを含む複数の第１のデジタルファイルの複数の第１の特徴から分類器のセットを生成し、ソート手段が、前記複数の分類器に応じて、複数の第２のデジタルファイルの少なくとも１つから抽出された複数の第２の特徴をソートし、距離順位付け手段が、前記複数の第２の特徴と各前記第１の特徴との間の距離ベクトルを、対応する分類器のそれぞれに対して決定し、決定された前記距離ベクトルに基づく距離を順位付けし、選択手段が、前記順位付けに基づいて、それぞれ１以上の関連付けされたアノテーションに対応する、所定条件にマッチしたファイルのサブセットを選択し、アノテーション関連付け手段が、前記マッチしたファイルのサブセットと関連付けられたアノテーションから１以上のアノテーションを、前記複数の第２のデジタルファイルの少なくとも一つに、対応する前記分類器を用いて関連付ける、手順を実行させ、デジタルファイルにアノテーション付けを行うことを特徴とする。
【００２１】
本発明の一つの形態として、重み決定手段が、前記少なくとも一つの複数の第２のデジタルファイルを前記複数の分類器に適用して各前記複数の分類器に応じた重みを決定し、重み結合手段が、前記１以上の分類器に応じて前記重み値を結合し、前記アノテーション関連付け手段が、合致ファイルの各サブセットの１以上のアノテーションを、前記結合した重み値に基づいて、前記複数の第２のデジタルファイルの少なくとも一つに関連付けることができる。
【００２２】
本発明の一つの形態として、前記アノテーション関連付け手段が、前記複数の第２のデジタルファイルを、前記対応する分類器に応じて１以上のユーザにより供給されるアノテーションに関連付けし、１以上のアノテーションが対応する分類器のそれぞれを用いて前記複数の第２のデジタルファイルのそれぞれに１以上のアノテーションを関連付け、受信手段が、第３の複数のデジタルファイルを受信し、特徴抽出手段が、前記第３の複数のデジタルファイルから複数の第３の特徴を抽出し、分割手段が、前記複数の第３の特徴を前記第３の特徴の複数のサブセットに分割し、再計算手段が、対応する前記分類器のそれぞれを用いて前記第３の特徴の複数のサブセットをソートし、前記第３の特徴のサブセットのそれぞれと対応する前記分類器の前記第２の特徴の間の距離を再計算し、重み決定手段が、前記再計算された距離に基づいて前記複数の分類器のそれぞれに対しての重み値を決定し、前記アノテーション関連付け手段が、前記少なくとも一つの複数の第３のデジタルファイルに１以上のアノテーションを、１以上の前記重み値に基づいて、合致した第１および第２のデジタルファイルの各サブセットのアノテーションを用いて、関連付けることができる。
【００２３】
本発明の一つの形態のコンピュータプログラムにおいては、コンピュータに、第１の分類器生成手段が、１以上の関連付けられたアノテーションを含む複数の第１のデジタルファイルのそれぞれから複数の第１の特徴を抽出し、前記第１のデジタルファイルを複数の前記第１の特徴のサブセットに分割し、前記第１の特徴の各サブセットの複数の分類器を形成し、第２の特徴サブセット生成手段が、複数のデジタルファイルのそれぞれから複数の第２の特徴を抽出し、前記複数の第２のファイルを前記第２の特徴の複数のサブセットに分割し、ソート手段が、前記第２の特徴の複数のサブセットを対応する前記複数の分類器に応じてソートし、距離決定手段が、前記第２の特徴のサブセットのそれぞれと前記対応する複数の分類器の前記第１の特徴との間の距離を決定し、選択手段が、特定の一つの前記第２のデジタルファイルの全てのサブセットの距離に基づいて、特定の１以上の前記分類器にマッチしたファイルのサブセットから前記第１のデジタルファイルを決定し、アノテーション関連付け手段が、前記第２のデジタルファイルの前記特定の一つを、第１のデジタルファイルに合致するグループのデジタルファイルから得られる１以上のアノテーションに関連付ける手順を実行させ、アノテーション付けを行う。
【００２４】
本発明の一つの形態として、前記複数の第２のデジタルファイルは１以上のユーザにより提供されたアノテーションと関連付けられ、前記アノテーション関連付け手段が、前記対応する分類器を用いて、１以上のアノテーションを各前記複数の第２デジタルファイルに関連付け、受信手段が、第３の複数のデジタルファイルを受信し、特徴抽出手段が、少なくとも一つの前記第３の複数のデジタルファイルから複数の第３の特徴を前記対応する一つの分類器を用いて抽出し、分割手段が、前記複数の第３の特徴を複数の前記第３の特徴のサブセットに分割し、前記ソート手段が、前記複数の第３の特徴のサブセットを対応する前記分類器の一つを用いてソートし、再計算手段が、各前記第３の特徴のサブセットと前記対応する分類器の前記第２の特徴との間の距離を再計算し、前記選択手段が、１以上の特徴のサブセットの距離に基づいて、前記特定の１以上の前記分類器にマッチするファイルのサブセットから、マッチする前記第１および第２のデジタルファイルを決定し、重み決定手段が、前記再計算した距離に基づいて各１以上の前記分類器に応じた重み値を決定し、前記アノテーション関連付け手段が、少なくとも一つの前記複数の第３のデジタルファイルと、前記各マッチした第１および第２のデジタルファイルのアノテーションからの１以上のアノテーションを、１以上の前記重み値に基づいて、関連付けることができる。
【００２５】
本発明の一つの形態として、前記重み決定手段は、１以上の前記重み値を１以上のユーザが提供するアノテーションを含む受信デジタルファイルに応じて更新し、現在の前記重み値を調整するために一以上の重み値を１以上の前記分類器に応じて選択することができる。
【００２６】
本発明の一つの形態として、前記選択手段は、特定の１以上の前記分類器にマッチしたサブセットからマッチする前記第２のデジタルファイルを選択するときに、所定の距離条件に合致する距離に対応する前記第２のデジタルファイルにマッチする１以上の分類器を選択することができる。
【発明の効果】
【００２７】
本発明によれば、大規模のメディアファイルへ高効率でスケーラブルにアノテーションを付与することができる。
【図面の簡単な説明】
【００２８】
【図１Ａ】本発明の実施形態に関わるメディア分類機能を備えたコンピュータシステムのブロック図に関する。
【図１Ｂ】本発明の実施形態に関わるメディア分類機能を備えたコンピュータシステムのブロック図に関する。
【図１Ｃ】本発明の実施形態に関わるメディア分類機能を備えたコンピュータシステムのブロック図に関する。
【図２Ａ】本発明の実施形態に関わるクライアントシステムを示すブロック図である。
【図２Ｂ】本発明の実施形態に関わるサーバシステムを示すブロック図である。
【図３】本発明の実施形態に関わるメディアファイル分類システムを示すブロック図である。
【図４】本発明の実施形態に関わるメディアファイル分類システムの一構成のブロック図である。
【図５】本発明の実施形態に関わるメディアファイル分類システムのトレーニング工程を表すものである。
【図６Ａ】本発明の実施形態に関わるメディアファイル分類システムの幾つかの工程を示す。
【図６Ｂ】本発明の実施形態に関わるメディアファイル分類システムの幾つかの工程を示す。
【図６Ｃ】本発明の実施形態に関わるメディアファイル分類システムの幾つかの工程を示す。
【図６Ｄ】本発明の実施形態に関わるメディアファイル分類システムの幾つかの工程を示す。
【図７】本発明の実施形態に関わる学習済み分類モジュールを含むメディアファイル分類システムを示すブロック図である。
【図８】本発明の実施形態に関わるブースト分類モジュールを含むメディアファイル分類システムを示すブロック図である。
【図９】本発明の実施形態に関わるメディアファイル分類方法を表すフローチャートである。
【図１０Ａ】本発明の他の実施形態に関わるメディアファイル分類方法のフローチャートを示す。
【図１０Ｂ】本発明の他の実施形態に関わるメディアファイル分類方法のフローチャートを示す。
【図１１】本発明のさらに他の実施形態に関わるメディアファイル分類方法のフローチャートを示す。
【発明を実施するための形態】
【００２９】
以下で述べる詳細な説明は、本発明の実施形態を十分に理解できるように提供するものである。しかし、本技術分野における当業者であれば、それらの様々な実施形態を特に詳細な記載がなくとも実施できることは明らかである。さらに、ここに記述する本発明の特定の実施形態は例示のために提供されるものであって、本発明の範囲をそれらの実施形態に限定するためのものではない。言い換えれば、周知のシステムの機能、デバイスとソフトウェアの操作についての記載は、不要に発明が不明確にならないように、記述していない場合もある。本発明の主題に関しては詳細に以下で説明する。
【００３０】
図１Ａは、本発明の一実施形態に関わる、メディア分類モジュール（分類コンポーネント１１４、ローカル分類コンポーネント１１６）を含むシステム１００のブロック図である。ネットワーク環境１００は、１以上の通信ネットワーク１０８を介して互いに接続された１以上のクライアント１０２とサーバ１０４を含む。
【００３１】
クライアント１０２（以下、クライアントデバイス、クライアントコンピュータと呼ぶことがある。）は、いかなるコンピュータあるいは同様のデバイスでもよく、クライアント１０２のユーザ１０３がリクエストを送信し、サーバ１０４から結果あるいはサービスを得る。例えば、デスクトップコンピュータ、ノートブックコンピュータ、タブレットコンピュータ、携帯電話等のモバイルデバイス、PDA、セットトップボックス、あるいはそれらの組み合わせを用いることもできる。各クライアント１０２はサーバ１０４にアプリケーションの実行のリクエストを送信するクライアントアプリケーション１０６およびクライアントアシスタント１０５を少なくとも一つ備えることができる。例えば、クライアントアプリケーション１０６はユーザ１０３が通信ネットワーク１０８を介してサーバ１０４からアクセスされたリソース（例えば、ウェブページやウェブサービス）の検索、閲覧、または使用をするための、ウェブブラウザや他のアプリケーションである。
【００３２】
クライアントアシスタント１０５は、クライアントアプリケーション１０６あるいは他のアプリケーションに関するユーザ１０３の作業を監視あるいは支援するための１以上のタスクを実行するソフトウェアアプリケーションとすることができる。例えば、クライアントアシスタント１０５は、ユーザ１０３がクライアント１０２でクライアント１０２のブラウザでウェブサイトにより提供されるリソース（例えば検索結果）を閲覧するときに支援をしたり、サーバ１０４から受信した情報（例えば検索結果）を処理したり、クライアント１０２でのユーザの活動をモニタしたりする。一つの実施形態としては、クライアントアシスタント１０５は、１以上のウェブページ（例えば検索結果を表示するウェブページ）あるいは、１以上のサーバ（例えばサーバ１０４）からダウンロードされる他のドキュメントに埋め込まれていてもよい。他の実施形態としては、クライアントアシスタント１０５は、クライアントアプリケーション１０６の一部であってもよい。
【００３３】
一つの実施形態では、クライアント１０２上にはローカル分類コンポーネント１１６が含まれ、サーバ１０４上の分類コンポーネント１１４と接続して、本実施形態におけるメディアファイル分類システムのコンポーネントを構成する。さらに、後で詳細に説明するように、分類コンポーネント１１４，１１６は、クライアント１０２あるいはサーバ１０４に保持された大量のメディアコレクション中のデジタルメディアファイルを、インデキシング、アノテーション付けあるいは検索などのソフトウェアアプリケーションとすることができる。加えて、ローカル分類コンポーネント１１６はクライアント１０２の一部であってもよく、サーバ１０４上で分類コンポーネント１１４の一部として実現されてもよい。あるいは、ローカル分類コンポーネント１１６と分類コンポーネント１１４は分離したサーバ上あるいは複数台のサーバ上で実現されてもよい。
【００３４】
通信ネットワーク１０８は、有線あるいは無線のローカルエリアネットワーク、イントラネット、エクストラネット、インターネットあるいはそれらの組み合わせのようなワイドエリアネットワークとすることができる。通信ネットワーク１０８はTCP/IPを用いて情報転送を行うHTTPを用いることができる。HTTPは通信ネットワーク１０８を通じて様々な情報源にクライアントがアクセスできるようにする。ただし、特定のプロトコルの使用に限られない。本発明におけるリソース（あるいは情報源）は、コンテンツロケーションファインダ（例えば、URL)を通じてアクセスできるいかなる情報あるいはサービスの一部であってもよく、例えばウェブページ、ドキュメント、データベース、画像、コンピュータオブジェクト、検索エンジン、あるいは他のオンライン情報サービスなどが挙げられる。
【００３５】
一実施形態では、サーバ１０４はコンテンツ（例えば、ウェブページ、画像、デジタル写真、ドキュメント、ファイル、広告、他の形態の情報）を配信する。サーバ１０４は、多くのファイルあるいはさまざまな種類の他のデータ構造を保持することができ、そうしたデータ構造としては、テキスト、グラフィック、ビデオ、オーディオ、デジタル写真、および他のデジタルメディアファイルを含んでよい。サーバ１０４はサーバインターフェース１１０、分類コンポーネント１１４およびデータストレージ１２０を含んでよい。サーバインターフェース１１０は通信ネットワーク１０８を介したクライアント１０２からの接続要求を処理するように構成される。分類コンポーネント１１４は機械学習アプリケーションであり、例えばフリッカー、ユーチューブといったデジタル画像レポジトリに保持されているデジタル写真画像のような、既存のデジタルファイルの大規模なコレクションを、スケーラビリティを向上させたデジタル画像の自動的なアノテーション付け、整理、あるいは分類のためのユーザツールを生成するために利用する。
【００３６】
データストレージ１２０は、ローカル分類コンポーネント１１６あるいは分類コンポーネント１１４を動作させるときにアクセスされる大量のデジタルメディアファイルのコレクションを記憶する。データストレージ１２０は、トレーニングデータ１２２、テストデータ１２４あるいはユーザが保存したデータ１２６といったデータファイルを保存してもよい。トレーニングデータ１２２は、インターネットを介して公開されてアクセス可能な関連付けされたアノテーションの大規模なライブラリを持ったデジタル画像ファイルの大規模データセットである。トレーニングデータ１２２は、本実施形態にしたがって、ユーザのデジタル画像イメージにアノテーションを付与するために分類コンポーネント１１４をトレーニングするために用いられる。テストデータ１２４は、トレーニングに用いられる大規模なコレクションの一部か、別のコレクションのデジタル画像ファイルの第２のコレクションである。テストデータ１２４は、分類コンポーネント１１４および、あるいはローカル分類コンポーネント１１６によって、トレーニングされた後にシステムをテストするために用いられる。一旦トレーニングとテストがされたら、分類コンポーネント１１４とローカル分類コンポーネント１１６はサーバ１０４に保持されるユーザデータファイル１２６にアノテーションを付与するために用いられる。あるいは、ユーザデータ１２６はクライアント１０２か、ローカル分類コンポーネント１１６の一部としてローカルに保存される。
【００３７】
図１Ｂは、一実施形態に関わる他の配信システム１０１のブロック図である。ユーザ１０３はアノテーション付けされた特徴を用いて予め構成されているローカル分類コンポーネント１３６にアクセスする。ローカル分類コンポーネント１３６はユーザデータ１２６を受信するように構成されている。ユーザデータ１２６はローカル分類コンポーネント１３６をカスタマイズするために、ユーザ指定アノテーションを任意に含んでもよい。ローカル分類コンポーネント１３６および/またはユーザデータ１２６はクライアントコンピュータの一部であってもよく、あるいはネットワーク上のサーバ、外部データベース、ホストコンピュータ等の外部情報源からアクセスして得たものであってもよい。
【００３８】
図１Ｃは、実施形態に関わる、他の配布システム１１１のブロック図である。システム１１１はブラウザ１４５のようなプログラムを実行するために、アプリケーションコンポーネント１４２を含むアプリケーションマネージャ１３８を備えている。ブラウザ１４５は、フリッカー、ピカサ（登録商標）、フェースブック（登録商標）あるいは他のデジタルコンテンツ管理サイトのようなウェブホストにあるコンテンツを閲覧するために用いられる。システム１１１は、アプリケーションマネージャ１３８によりローカルにアクセスすることができる、あるいは、ネットワーク上のホストにブラウザによりアクセスできるパッケージ１４０を含む。一実施形態では、パッケージ１４０はデジタル写真のようなユーザ１０３のデジタルメディアファイルにアノテーション付けするための分類コンポーネント１１４を含んでいる。また、パッケージ１４０はユーザデータ１２６とアノテーション１４６を含んでもよい。アノテーション１４６はデジタル画像ファイルのトレーニングセットに関連付けられたラベルあるいはタグを含んでいてよく、ユーザ１０３の個人画像コレクションからユーザが指定したアノテーションを含んでいてもよい。
【００３９】
図２Ａは、一実施例に関わる図１Ａのサーバシステム１０４のブロック図である。１以上のサーバシステム１０４は１あるいは複数のコンピュータ装置からアクセスあるいは実行がされてよい。他の一般的なコンポーネントはここでは記載を省略する。サーバシステム１０４は、１以上の処理回路（CPU)２０２、１以上のネットワークあるいは他の通信インターフェース２２０、メモリ２０４とそれらのコンポーネント間の通信バス２１８を通常有している。通信バス２１８はシステムコンポーネント間の相互接続や通信制御を行う回路（チップセットと呼ばれる）を含んでもよい。
【００４０】
サーバシステム１０４は、例えば、ディスプレイ２２４、入力装置２２６、出力装置２２８のような、ユーザインターフェース２２２を含んでもよい。入力装置２２６は例えば、キーボード、マウス、タッチパネルディスプレイ、あるいはサーバシステム１０４に情報を入力するための他の適当なデバイスを含んでもよい。出力装置２２８は、例えば、ビデオディスプレイユニット、プリンタ、他の情報出力のための適当な装置を含むことができる。入力装置２２６と出力装置２２８は、一体の入出力装置として構成してもよい。
【００４１】
メモリ２０４は高速ランダムアクセスメモリ、あるいは１以上の磁気ディスクストレージデバイスのような不揮発性メモリを含むことができる。メモリ２０４は、中央処理装置２０２から遠隔に配置されたマスストレージであってもよい。メモリ２０４あるいはメモリ２０４内の不揮発性メモリ装置がコンピュータ可読記憶媒体を構成する。メモリ２０４には、後で述べる要素あるいはそのサブセット、あるいはさらに付加要素が含まれている。様々な基本的なサーバシステムサービスの実行手順とハードウェア依存タスクの実行手順を含んだオペレーティングシステム２０７、サーバシステム１０４を他のサーバやコンピュータに、インターネットや広域、ローカル、都市間ネットワークといった１以上の有線、無線の通信ネットワークを介して接続するための通信モジュール、デジタル画像ファイルに自動的にアノテーションを付与するための大量のデジタル画像ファイルのコレクションを用いるメディアファイル分類システムをトレーニングするコンポーネント（例えば分類器２３８）を含んだ分類モジュール２１５、分類モジュール２１５を実行するための分類データ２３２を記憶するデータコンポーネント２１７を含んでいる。このデータコンポーネント２１７には、分類モジュール２１５をトレーニングするための大量のデジタル画像データコレクションを含むトレーニングデータ２３４、分類モジュール２１５をテストするためのデジタル画像データの第２のコレクションあるいは大量のコレクションの一部のデータを含むテストデータ２３６、与えられたデータファイルに対する最近傍候補を決定するために、分類器２３８のような分類変数により決定される特徴多次元空間でなされるベクトル計算の結果である距離ベクトル２４６、最近傍に合致した候補を識別するためのメディアファイル分類システムの分類変数により生成される値である重み付け投票データ２４４、メディアファイル分類システムの様々なコンポーネントによって使用されるトレーニングデータ２３４、テストデータ２３６および他のデジタルファイルから抽出された多次元的特徴である抽出特徴データ２４８、そして、トレーニングデータ２３４、テストデータ２３６および他のデジタルファイルに関連付けられたアノテーションを含む参照アノテーションデータ２３０、を含むことができる。
【００４２】
図２Ｂは、一実施形態に関わる図１Ａのクライアントシステム１０２のブロック図である。１以上のクライアントシステム１０２のコンポーネントは、一台のコンピュータあるいは複数台のコンピュータデバイスによりアクセスあるいは実行がされてもよい。他の一般的な構成の説明は省略する。図２Ｂは、図２Ａで示した幾つかのコンポーネントを含み、それらの同様のコンポーネントには図２Ａと同じ符号を与えており、これらの説明は省略する場合がある。
【００４３】
クライアントシステム１０２もまたメモリ２０５を含んでおり、高速ランダムアクセスメモリ、あるいは１以上の磁気ディスクストレージデバイスのような不揮発性メモリを含むことができる。メモリ２０５は、中央処理装置２０２から遠隔に配置されたマスストレージであってもよい。メモリ２０５あるいはメモリ２０５内の不揮発性メモリ装置がコンピュータ可読記憶媒体を構成する。メモリ２０５には、以下に述べる要素あるいはそのサブセット、あるいはさらに付加要素が含まれている。様々な基本システムサービスの実行手順とハードウェア依存タスクの実行手順を含んだオペレーティングシステム２０６、クライアントシステム１０２を他のサーバやコンピュータに、インターネットや広域、ローカル、都市間ネットワークといった１以上の有線、無線の通信ネットワークを介して接続するための通信モジュール、ディスプレイ２２４のようなユーザインターフェースデバイスを介してユーザにウェブページのようなコンテンツを表示するためのクライアントアプリケーションモジュール２１０、クライアント１０２に付加機能を付与するアドオン、プラグイン、他のモジュールといったクライアント支援モジュール２１２、一旦メディアファイル分類システムが訓練された後にユーザのデジタル画像ファイルのコレクションに自動あるいは半自動でアノテーションを付与する制御を含んだローカル分類モジュール２１４、そして、ローカル分類モジュール２１４が実行されるときに用いるローカル分類データ２５２を保持するデータコンポーネント２１６を備える。このデータコンポーネント２１６には、ユーザのデジタルカメラやユーザの友人や家族からもらったデジタル写真のような、デジタル画像ファイルのユーザの個人コレクションを含むユーザ画像ファイル２５４、ユーザ画像ファイル２５４に応じた距離ベクトルに対応するベクトル計算結果である距離ベクトル２６６、ユーザ画像ファイル２５４から抽出された次元的特徴である、抽出特徴データ２６８、ユーザ画像ファイル２５４に付与されたアノテーションを含む選択アノテーションデータ２５０、ユーザ画像ファイル２５４に関連付けられた分類変数により生成された値である重み付け投票データ２６４、を含めることができる。
【００４４】
それぞれの上述の要素は、前述の１以上のメモリ装置に保持させ、各実施形態で記述した機能を実行するための命令セットにより構成することができる。上記モジュールあるいはプログラム（つまり、命令セット）は、分離したソフトウェアプログラム、手順あるいはモジュールにして実現する必要はなく、実施形態にあわせてこれらのモジュールの様々なサブセットを組み合わせたり、再構成するようにしてもよい。例えば、図１Ａ、図２Ａ、図２Ｂ中のモジュールおよび／あるいはデータベースの幾つかを他の遠隔地や複数の場所にわたって構成することもできる。一実施形態としては、メモリ２０４と２０５はモジュールのサブセットと上記データ構造を保持してもよい。さらに、メモリ２０４と２０５は記述しない追加のモジュールとデータ構造を保持してもよい。
【００４５】
図１Ａ、図２Ａおよび図２Ｂは実施形態の構造を図示するのではなく、多様な特徴を機能的に記述するためのものである。これらの機能を実現する上では、当業者に自明なように、分離して示されたアイテムを組み合わせることもできるしいくつかのアイテムを分離することもできる。例えば、図２Ａは一つのサーバで構成することができ、一つのアイテムは一つ以上のサーバによって実現することでもできる。例えば、分類モジュール２１５はサーバシステム１０４の他の要素でなく異なる複数のサーバにより実現することもできる。システム１０４を実現するのに用いられるサーバの実際の数、そしてそれらにどのようにして機能を配置するかは、実現手法によって異なり、システムが最大で使用するデータハンドリングや所定期間での平均のデータトラフィックに応じて異なる。
【００４６】
図３は、一実施形態に関わるメディアファイル分類システム３００のブロック図を表す。一実施形態においては、システム３００は、記憶された参照アノテーション３３０からのタグとラベルを用いてデジタル画像ファイルにアノテーション付けをするための分類モジュール３１４を含む。他の実施形態では、分類モジュール３１４は、メディアファイルを属性や特徴に応じて分離するためのコンポーネントを含む。メディアファイルは、たとえば、デジタル写真、ウェブページからのリソース（ブログエントリー中のテキストデータやインスタントメッセージング等も含む）、そして音声ファイルやビデオファイルといったタグやラベルで分類される他のデータファイルを含む。特徴としては、例えば、視覚特徴（色、テクスチャ、エッジ検出、モーション分析等）や、音声特徴（音声デジタルデータ）が含まれる。一実施形態としては、分類モジュール３１４は、メディアファイルおよび／または特徴の類似したものをグルーピングするクラスタリング、インデキシング、並列処理、そしてメディアファイルおよび特徴を生成、検索および更新するための他の分類パラメータを含むことができる。
【００４７】
一実施形態で、分類モジュール２１５は、画像ファイルのようなオブジェクトをコレクション中の他のオブジェクトと比較して分類する機械学習アルゴリズムの分類器２３８を含む分類モジュール２１５を含む。分類器２３８の例としては分類アルゴリズムを用いて最近傍オブジェクトの距離ベクトルを計算するためのｋ次元ツリー（ｋｄツリー）を含むものが挙げられる。参照アノテーション３３０は、フリッカー（Ｆｌｉｃｋｅｒ 登録商標）のようなホストにより、蓄積されオンラインで格納された大規模なデジタル画像ファイルのようなメディアファイルのコレクション中のデジタル画像と、手動により関係付けすることもできる。トレーニングデータ３２２を含むメディアファイルの大規模コレクションは公開されており、オンラインにより取得することができる。一実施形態では、公開されてアクセス可能なデジタル画像ファイルのコレクションの部分は、タグやラベル（アノテーション）をユーザのデジタル画像ファイルに設定するため分類モジュール３１４のトレーニング用のトレーニングデータ３２２として用いられる。あるいは、トレーニングデータ３２２は、ユーザにより提供されたデジタル画像ファイルのユーザのコレクションであってもよい。一実施形態では分類モジュール１１４は、本発明にしたがって、効率を犠牲にすることなく画像ファイルの大規模なトレーニングセットに対応しやすい近似最近傍検索を用いる。また他の実施形態では、任意の数のカテゴリに分類するための分類器がトレーニングデータ３２２を用いる分類モジュール３１４中に形成される。そしてモジュール１１４は、テストデータアノテーション３５０を生成するため、分類コンポーネントを参照アノテーション３３０に相関させるための、テストデータ３１２を受信する。分類モジュール３１４のトレーニングと実行は後で記述する。
【００４８】
図４は、本発明の一実施形態に関わる、図３のメディアファイル分類システム３００のトレーニングフェーズ４２０を表すブロック図である。トレーニングフェーズ４２０の間に、デジタル画像ファイルの分類のためのコンポーネントがトレーニングデータ３２２を用いて構築される。トレーニングフェーズ４２０は、特徴抽出ブロック４２４と、分類コンポーネント（分類器）４３２〜４３８を構築するためのパーテション（分割）ブロック４２６を含む。
【００４９】
特徴抽出ブロック４２４は、公知の特徴分析手法を用いて各デジタルファイルから低レベルの特徴データを抽出するように設定することができる。特徴データには、例えば、カラーヒストグラム、テクスチャやエッジ特徴、動作分析、顔検出などの視覚特徴を含めることができる。一実施形態としては、エッジ配向（ｅｄｇｅ ｏｒｉｅｎｔａｔｉｏｎ）ヒストグラムは、Ｃａｎｎｙフィルタのようなフィルタを適用した後に、画像の方向にかかわらず一様な空間グリッドから抽出される。エッジは、ヒストグラムを求めるために、所定数に等分された配向ビンに入れて量子化してもよい。各画素のエッジの強度は、対応する配向範囲内のビンに対する重みとして計数される。予備（ｅｘｔｒａ）ビンは、スムーズな点（特に検出可能なエッジがないブロックにおける）を収集するための、閾値や他の同等指標の値以下のエッジ強度のために用いられる。こうして、各ブロックは、それぞれのヒストグラムと空間グリッドのサイズを形成するために、区別された複数の配向ビンの数に応じて結果的に多次元的な表現を持つようになる。特徴は次元ごとの最大・最小スタイルにより正規化され、これを数式で表すと、数式（１）となる。
【数１】
ここで、ｉは特徴ｆに関する次元、f i m は次元ｉでの特徴の最小値、f iM は特徴の最大値であり、それぞれの次元の特徴値f i は
【数２】
に正規化される。
【００５０】
各デジタル画像の高次元特徴空間が与えられると、局所的に最大のトレーニングセットを特徴付けるために、それらの特徴は分割ブロック４２６を介して特徴のサブブロックに分割される。特徴抽出ブロック４２４により低レベルの特徴が抽出され、最近傍法を用いて分割ブロック４２６により、一連の単純な検索ツリー要素（分類器４３２〜４３８）を形成することができる。各検索ツリーは各特徴のサブセットに対して計算される。一実施形態としては、最も単純な分類技術は、分類器４３２〜４３８としてＫ次最近傍成分（ｋｄツリー）を利用するものである。ｋｄツリーは次元数が高いときにうまくスケーリングできないので、分解工程では特徴をサブスペースに分割し次元数を減少させる工程が加えられる。一実施形態としては、ｋｄツリーの特徴は３０次元以下のサブスペースに分割される。形成された分類器４３２〜４３８（ｋｄツリー）は、トレーニングデータ３２２の関連付けられたアノテーションから、近似最近傍検索を加速するために用いられる。
【００５１】
図５は、本発明の一実施形態に関わる図３のメディアファイル分類システム３００のテストフェーズ５２０を示したブロック図である。一旦分類器５３２〜５３８がトレーニングデータ３２２を用いて構築されると、テストデータ３１２の各テストデジタルファイル３１３にマッチする最近傍候補を、トレーニングデータ３２２から計算するために、テストデータ３１２は分類器５３２〜５３８に適用される。テストデータ３１２はその一部がトレーニングデータ３２２として用いられるデジタル画像ファイルの公開されたコレクションであってもよく、あるいは、テストデータ３１２はユーザからの個別あるいは個人的なコレクションのデジタル画像ファイルであってもよい。テストデータ３１２のコレクションの各画像ファイル３１３は、先に述べたように、トレーニングフェーズ４２０の間に構築された分類器５３２〜５３８に基づいて特徴サブセットとして調整される特徴を抽出するために分類モジュール３１４によって受け取られる。近似最近傍はトレーニングデータ３２２の抽出された特徴を用いて、分類器５３２〜５３８を用いてテストデジタルファイル３１３の抽出された特徴に対して検索される。各ツリー５３２〜５３８は各ファイル３１３から抽出された特徴の割り当てられた各次元サブスペースに応じて、（トレーニングデータ３２２の中から候補に類似した）最近傍候補を検索する。一実施形態では、各ツリー５３２〜５３８はより高速処理を実現するために３０次元以下のサブスペースで候補を検索する。各画像ファイル３１３に対して、ｋｄツリー５３２〜５３８による部分距離計算によって、複数の最近傍候補がトレーニングデータ３２２から素早く認識される。最近傍候補の部分距離計算は、完全な距離を計算し画像ファイル３１３への最もマッチした候補を決定するために、距離／ソートブロック５５２により結合される。より具体的に、各ツリー５３２〜５３８からの１０個の最近傍候補が、部分距離計算法を用いて、与えられたテストデジタルファイル３１３に対して識別される場合を考える。このステップでは数百という単位のトレーニングサンプルを作成し、この中から距離／ソートブロック５５２によって完全な距離を再計算することで決定された画像ファイル３１３に近い１０個の候補が決定される。１０個の最良の候補はテストデジタルファイル３１３にアノテーションを付与するために利用される。
【００５２】
一実施形態では、所定数の最もマッチする最近傍が選択される。あるいは、各検索における最近傍候補は、トレーニングデータ３２２から最もマッチしたサンプルあるいはマッチしたサンプルのサブセットを識別するための、既存の優先キュー手法により短縮することができる。あるいは、最もマッチしたサンプルを、部分距離計算により決定された候補群から、および／あるいは完全距離計算により決定された候補群から決定するために、閾値基準を使うことができる。一実施形態では、一旦最もマッチした候補が識別されると、距離／ソートブロック５５２は、後で詳細を説明するように、テストデータアノテーション３５０を識別するためにもっともマッチした候補のそれぞれあるいはマッチした候補のサブセットに対して計算した距離−重み付けスコアを用いて、画像ファイル３１３に対して引き続いて投票を行うための設定がされる。
【００５３】
図６Ａ〜図６Ｄは、本発明の一実施形態に関わる図３のメディアファイル分類システム３００のトレーニングおよびテストフェーズ４２０と５２０におけるデータ構造を示す。一実施形態では、先に述べたように、各画像ファイル３１３の特徴を抽出するために、各デジタル画像の特徴空間は所定の空間グリッドにより定義される。各グリッドのブロックは、ビンの方向を決定しヒストグラムを形成するために、公知のエッジ検出手法を用いてフィルタ処理される。例えば、図６Ｂは、一実施形態によれば、空間グリッド６５２は７×７次元で定義され、エッジは１６個に等しく分割された配向ビン６５４により量子化される。一つの追加ビン６５６は、各ブロックが１７次元の表現を有するような場合に所定の閾値以下となるエッジ強度に対して用いられる。このようにして、各画像ファイル３１３に対応する特徴の結果的な次元数は、４９×１７＝８３３となる。オンラインで入手される大量のデジタル画像ファイルが与えられるなら、大規模なトレーニングサンプルのセットを利用することができる。大きな次元のトレーニングセットを利用する公知の他の分類手法は計算が複雑であったり、処理時間が長く非効率な方法に依存したりしている。このため、トレーニングセットの高次元は解消されなければならず、計算の複雑さは抑えられ、サイズが原因となる処理時間は分類処理が実用的となる程度まで短くなければならない。
【００５４】
図６Ｂは、本発明の一実施形態である上述の例で述べたように、どのように画像の特徴（例えば８３３全特徴）が、クラスタ６６２（１からｎ）のサブセットに、分割することができるか、を示している。特徴のサブセットは低次元の分類器５３２〜５３８を簡単に構築し、実行するために分割されてもよい。一実施形態では、特徴のサブセットは配向ビン６５４、６５６に応じて分割することができる。あるいは、特徴のサブセットは、特徴のカテゴリ、例えば各配向ビン６５４、６５６に関連付けられた特徴、に応じて配置することもできる。クラスタ６６２は、トレーニングフェーズ４２０の間に対応する分類ツリー６６４を構築するようにそれぞれ用いられる。テストフェーズ５２０で、特徴を比較し最近傍候補を識別するために距離ベクトルを計算するための分類ツリー６６４の構築と同様の手法で、特徴が各テストデジタルファイル３１３から抽出されて分割される。このようにして、各ツリー６６４に対応する特徴のセット６７２は、部分距離を計算し、潜在的な最近傍候補を判断するために用いられる特徴６７２−１〜６７２−ｐを含む。例えば、各特徴６７２−１から６７２−ｐについて、部分距離はベクトルｎ−１〜ｎ−ｐとして計算され、トレーニングデータ３２２の候補から抽出されたそれぞれの特徴に対して比較される。このようにして、本実施例においては、ｎ番目のツリー６６４について、特徴６７４は自身の特徴のセット６７２に対応するものとして判別される。一実施形態においては、部分距離ベクトルｎ−１〜ｎ−ｐが計算され、特徴は部分距離計算により順位付けされてもよい。引き続いて、それぞれの候補隣接ファイルの全ての特徴は距離／ソートブロック５５２で結合され、各隣接候補間の全体の距離が計算される。隣接候補は、もっともマッチした候補あるいはマッチした候補のサブセットを識別するために、後述するように順位付けすることもできる。
【００５５】
このようにして、分類ツリー６６４を用いる最近傍検索では各ツリー６６４の特徴の初期ランキングのための部分距離計算が行われる。潜在的に最もよい候補や候補のサブセットは、既述のように多くの異なる手法で、初期の特徴の集合から選択することができる。各候補の部分距離計算は、最終候補を決定するうえで、完全な距離を決定（距離／ソートブロック５５２において）するために、分類ツリー６６４全体にわたる部分計算を結合することによって更に改良される。候補は最終の完全距離ベクトルの結果に応じてランキングすることができ、所定数のトップ候補はテストデジタルファイル３１３にアノテーション付けをするために選択される。分類ツリー６６４はタグ、トピックス、テーマなどといったカテゴリに応じてなど多くの異なる方法で構築することができる。例えば、他の一例として、各ツリー６６４は特定のタグや共通のテーマを共有するタグのグループに応じて構築することができる。
【００５６】
一実施形態としては、距離−重み付けスコアは各ラベル（タグ）に対して最もマッチした候補のクラスに応じて計算される。より具体的には、テストサンプルにもっともマッチする所定の数が１０だとする。１０のトレーニングサンプルをｘi（ここでｉ ＝ ｛１, …, １０｝）として記述し、テストサンプル（クエリ画像）はｑとする。単純化のために、１０個のサンプルはｑからの距離に応じてソートされ、ｘiがｑに最も近いトレーニングサンプルであり、１０個のサンプル中でｉ番目に遠い距離をｄ（ｘi，ｑ）とする。そうすると、各ラベル（タグ）ｌ のスコアは次の式によって決定される。
【数３】
ここで、δ(・)は、引数がゼロのときに１で、それ以外は０のデルタ関数である。Yi（l）＝１は、ラベルｌ がトレーニングサンプルｘiに適用されたことを、そしてYi（l）＝−１はそれ以外であることを示す。最もマッチした重み付け投票スコアが、最もマッチしたテストデータアノテーション３５０を示す。
【００５７】
図６Ｃは、最終距離−重み付けスコアが計算された後のランク付けされた候補６７３のデータ構造を示す。一実施形態は、セット中の各候補６７３−１〜６３７−ｎについて、対応する距離−重み付けスコアがツリー全体にわたる部分距離計算を足し合わせることで計算される。こうして、候補６７３は各距離―重み付けスコアにそれぞれ応じてランキングされ、所定数の候補６７３が最もマッチしたあるいはマッチした候補のサブセットとして識別される。一実施形態では、各候補６７３−１〜６７３−ｎは、トレーニングデータ３２２からのそれぞれのファイルに対応する。あるいは、候補のクラス６７３は一つのタグあるいはタグのカテゴリを表すようにすることもできる。
【００５８】
図６Ｄは、他の実施形態に関わる、最もマッチした候補６８３−１〜６８３−ｎを識別するデータ構造６８０を示す。一旦最もマッチした候補６８３が決定すると、候補６８３はテストデータ３１２をアノテーション付けするために多くの手法を用いることができる。一実施形態としては、タグあるいはタグのセットは予め決定しておき、特定のタグがテストデータ３１２のテストデジタルファイル３１３にどの程度マッチするかを決定することにユーザが関心を持つかもしれない。あるいは、ユーザは、タグのクラスあるいはタグのクラスからのタグに、最もマッチしたファイルあるいはマッチしたファイルのサブセットに関心があるかもしれない。一実施形態において、タグ（あるいはタグのセット）とテストデジタルファイル３１３が与えられたとき、各最もマッチした候補６８３−１〜６８３−ｎは、距離−重み付けスコアを使ってタグやタグのクラスに対して投票をするために使われる。一実施形態では、各候補６８３−１〜６８３−ｎは、それぞれの距離−重み付けスコアが閾値に達しているかどうかで投票を行い、１か０の二値の投票６８２−１〜６８２−ｎを行う。投票結果はどの特定のタグあるいはタグのクラスをテストデジタルファイル３１３に関連付けることができるかの程度を決定するために結合されてもよい。例えば、テストデジタルファイル３１３と第一のタグが供給されているとして、もし１０個の最もマッチした候補の中から６個に「１」の投票がなされたら、第一のタグの強さは０．６とする。第２のタグについて１０中９個のタグに最もマッチした候補６８３が「１」であった場合には、第２のタグの強度は０．９である。この結果、第２のタグは与えられたテストデジタルファイル３１３によりマッチする。
【００５９】
図７は、一実施形態に関わる強化分類モジュール７７４を含む強化分類システム７００のブロック図である。一実施形態において、強化分類システム７００は図３の分類システム３００に含まれる強化分類モジュール７７４を含み、アノテーション付けをデータファイルに行う処理をより改良するために用いられる。一実施形態では、関連付けられた特徴が選択され、関連付けられた特徴の候補結果は、強化分類手法（弱分類器（特徴が乏しい、あるいは単純な分類器）の組み合わせのセットから、より強化した分類器を反復して構築する適応型機械学習法）を用いて結合される。分類モジュール７１４は、第２のトレーニングデータ７２２と示されているトレーニングデータがさらに分類器５３２〜５３８を訓練するために用いられる点以外は、図３の分類モジュール３１４と同様に実行される。図３〜図６に既述されるのと同様のプロセスで、分類器５３２〜５３８は最近傍候補６７３、６８３を計算するために用いられる。弱分類器は、距離ベクトルと距離−重み付けスコアを第２のトレーニングデータ７２２と関連付けられた第２のアノテーションデータ７３０に対して再計算することでさらに教育される。最近傍候補６７３、６８３を決定するための新しい距離―重み付け値は付加的に重み付けられ、学習強化分類モジュール７７４中により強化された強化分類器を形成するために結合される。強化分類器は、今後受信するテストデータファイルをより正確にアノテーション付けする改善された分類器である。一実施形態では、第２のトレーニングデータ７２２は公開され入手可能な、例えばインターネット上のフリッカーやユーチューブのような情報源から得られる、第２のデータセットでもよい。一実施形態では、第２のトレーニングデータ７２２はユーザから提供される１以上のコンテントのセットである。ユーザにより提供されるコンテントは、各ファイルに予め関連付けられたユーザが提供するアノテーションを含んでも良い。一実施形態では、第２のトレーニングデータ７２２の多重反復が、再計算と学習される重み付けを改善するために用いられる。各反復で、組み合わせた弱分類器５３２〜５３８は、よりユーザの嗜好に近く、訓練されそして/またはカスタマイズされた強化分類器を生成する。一実施形態では、強化システム７００のカスタマイゼーションを許すため、例えばユーザ自身のファイルのコレクションに対してユーザが作成したタグアノテーションのような、ユーザが提供する設定により各反復トレーニングが構成される。この結果、強化システム７００は、データファイルと他の情報源にアノテーション付けするための、信頼性を構築し、カスタマイズ可能な高次元の分類システムを実現する、低コストの手段となる。
【００６０】
一実施形態においては、学習強化分類モジュール７７４は強化分類器を形成するために、弱分類器５３２〜５３８を次の数式に基づいて結合する。
【数４】
ここで、Ｔは上記強化アルゴリズムの繰り返し回数、弱分類器ｈt（ｘ，ｌ）はサンプルファイルｘ（例えば、写真画像ファイル）とラベルｌに対し、各ラベルｌに応じてトレーニングサンプルαtを重み付けする分布で定義される。分布は次のように更新される。
【数５】
ここで、Ｙx（ｌ）は、ユーザにより提供されたあるいは手動でタグ付けされたタグｌとサンプルファイルｘに関する入力を表す。各回ｔにおいて、弱分類器ｈtは、Ｄtで重み付けられたトレーニングサンプルに対し、小さな誤りで選択される。そして、Ｄtはモジュール７７４の強化分類器を訓練するために用いるサンプルを重み付ける分布である。アルゴリズムが進行すると、段々誤って分類されたサンプルを重み付けし、数式（３）におけるαtに関するエラーが減少するようにする。数式（３）、（４）に示した強化分類器の訓練メカニズムは、繰り返しによって最終的な強化分類器のハミング（Ｈａｍｍｉｎｇ）損失（ラベルあたりの総損失）の上限を減少させ、エラーを減少させる。
【００６１】
一実施形態では、強化分類器は、弱学習器（Ｗｅａｋ Ｌｅａｒｎｅｒ）の候補セットＨp＝｛ｈ1（・）， ｈ2（・），…ｈK（・）｝から学習可能であり、次に示す集合コスト関数（ｃｏｌｌｅｃｔｉｖｅ ｃｏｓｔ ｆｕｎｃｔｉｏｎ 複数ファイルの複数タグの平均エラー）を各繰り返しｔ＝１，…，Ｔで最適化する。
【数６】
【００６２】
ロジスティックコスト関数（ｌｏｇｉｓｔｉｃ ｃｏｓｔ ｆｕｎｃｔｉｏｎ）は、全ラベルＹ（ｌ）、ｌ＝１，…，Ｌとトレーニングデータ中のサンプルｘi＝１，…，Ｎにわたる全体のエラー含む。そして、一連の繰り返しにおいて、強化分類器ｈt∈Ｈpは交換なしに選択され、強化分類器は最適化された重み付けを各ラベルαt（l）に関して学習する。
【００６３】
一実施形態では、弱分類器は最適化された重み付けを持つように選択され、選択された分類器は数式（５）の結合ロジスティック損失（ｊｏｉｎｔ ｌｏｇｉｓｔｉｃ ｌｏｓｓ）を最適化するために、すべての分類器にわたって用いられる。一方、ラベルあたりの損失を最小化するより集合損失を最適化する目的で弱分類器を選択することは、次に最適な方法である。言い換えると、もし同じアプローチが利用されればパフォーマンスは改善するが、各ラベルごとの損失は独立して最小化される。一実施形態では、より多くの弱分類器を集合ラベリング（Ｃｏｌｌｅｃｔｉｖｅ Ｌａｂｅｌｌｉｎｇ）作業のために使用してもよい。しかし、このアプローチは、もし追加された弱分類器の追加の計算が不要で、単に記憶装置を追加すればよいのであれば扱いやすい。さらに、一実施形態としては、強化分類器の訓練はオフラインで行うこともできる。重みと分類は、テスト時間が著しく増加しないように予め計算される。Ｈpの計算はラベル数には決定的には依存しない。むしろ、トレーニングセットのサイズと特徴表現の次元が計算上の複雑性を決定する。
【００６４】
まとめると、ラベル（タグ）は、効率を犠牲にすることなくエラーを減少させるために、学習された強化分類モジュール７７４と第２のトレーニングデータ７２２を用いて、他のラベルと大規模なデータセットを用いるアノテーション付けをすることができる。さらに、最近傍アプローチは、システム３００、７００が大規模な量の高次元のメディアファイルを管理し計算上の複雑性を伴わないようにするために、全ての候補に対して共有されるツリーの一つのセットを訓練することが必要である。
【００６５】
図８は、本発明の一実施形態に関わる図７に関して説明した処理手順に基づいて訓練された強化分類モジュール８１４を含むメディアファイル分類システム８００のブロック図である。前述のように強化分類モジュール８１４は、分類モジュール３１４により実現される弱分類器（分類器５３２〜５３８）に繰り返し重みを与える追加的な手段を提供する。一実施形態において、一旦システム８００が訓練、試験そして改良されると、ユーザはユーザ自身のデジタル画像ファイルのアノテーション付けされたコレクションであるユーザトレーニングデータ８２２を、強化分類モジュール８１４に適用することが可能であり、分類器５３２〜５３８をユーザの個人コレクションに関する重みを学習させて強化分類器がユーザのアノテーションデータ８３０を予測するように更新することができる。強化分類システム８００はその後にユーザにより提供された受信データファイル８１２に関するアノテーション８５０を生成してアノテーション付けするために使用することができる。一実施形態では、データファイル８１２が例えばデジタルカメラ、携帯電話、パーソナルコンピュータ、ラップトップコンピュータ、ＰＤＡあるいは他の携帯デバイスなどからのファイルであってもよい。テストデータ３１２と同様に、データファイル８１２もまたユーザ自身の所持するデータコレクション、および／あるいは公開されたウェブサイトやインターネットを介して他のユーザから得たデータであってもよい。
【００６６】
一実施形態における例示として、写真共有サイトであるフリッカー（Flicker）から収集した大規模なデータセットを用いて訓練されたメディア分類システム３００、８００と他の公知の自動アノテーション方法とを比較する。５６，３１５枚のデジタル画像写真が、人気のあるタグのセットの中の少なくとも１つを保持するように選択される。写真はランダムに略同数の２８，１５７枚の訓練セットと２８，１５８枚のテストセットに分割する。ダウンロードした写真の少なくとも４５０枚について、３４個の人気のあるラベル（タグ）がテスト用に選択される（写真セットは５，０００以上のタグを含んでいる）。これらのラベルに対して、最近傍の決定がシステム３００とシステム８００を用いて為され、各システム３００、８００からのそれぞれの結果が、一般的であって競合する基本的なアプローチである標準的なサポートベクトルマシン（ＳＶＭｓ）を用いた結果と比較される。強化重みを訓練するうえで、実験におけるテストセットとの乖離が小さくなるように（テストセット全体のサイズは２８，１５８枚）、テストセットから３，１２８枚の写真が使用される。
【００６７】
この実験結果を表１に示す。それぞれシステム３００と８００を用いた最近傍法と強化アプローチは、ＳＶＭ法における平均精度の平均（ｍｅａｎ ａｖｅｒａｇｅ ｐｒｅｃｉｓｉｏｎ （ＭＡＰ））とほぼ同等か改善される。
【表１】
特に、強化によって全体的なパフォーマンスが改善する。例えば、表１でＳＶＭ法ではＭＡＰが（ｅｈ１７ ７ｘ７において）０．１１４〜０．１２４との結果であり、最近傍法ＮＮ（システム３００）では、ＭＡＰが０．１２６と若干の改善を示している。比較して、最近傍法と強化法を用いる（システム８００）ＭＡＰの結果（ＮＮ＋ＭＳＢＯＯＳＴ）は０．１４２とずっと高い精度のパフォーマンスを示している。表１は、他のタグと大規模データセットを利用することが可能で、与えられたラベル（あるいはタグ）でアノテーション付けすることが効果的であることを示している。
【００６８】
図９は、一実施形態における、メディアファイル分類システム３００、８００を実現するための方法９００のフローチャートを示す。方法９００は、デジタル画像ファイルの画像ファイル分類／アノテーションの自動化のための方法を表す。一実施形態では、この方法は、各デジタルファイルに１以上の関連付けられたアノテーションを含む、第一の複数のデジタルファイルの複数の第１の特徴から１セットの分類器を生成することを含んでいる（９１０）。ステップ９２０で、第２の複数のデジタルファイルの少なくとも１つから抽出された複数の第２の特徴がステップ９１０の分類器のセットに応じてソートされる。第２の特徴と、対応する一つの分類器の各複数の第一の特徴間の距離ベクトルが決定され、特徴は決定された距離に応じて順位付けられる（９３０）。ステップ９４０で、それぞれ１以上の関連付けられたアノテーションに対応する、最もマッチしたファイルあるいはマッチしたファイルのサブセットがランキングに応じて選択される。そしてステップ９５０で、最もマッチしたファイルあるいはマッチしたファイルのサブセットから１以上のアノテーションが、対応する分類器を用いて第２の複数のデジタルファイルの少なくとも一つに関連付けられる。
【００６９】
図１０Ａと図１０Ｂは、他の実施形態に関わるメディアファイル分類／アノテーションシステム３００、８００を実現する方法１０００を示すフローチャートである。一実施形態では、方法１０００は、各画像ファイルに１以上の関連付けられたアノテーションを含む、第１の複数の画像ファイルのそれぞれから複数の第１の特徴を抽出することを含んでいる（１０１０）。各第一の画像ファイルについて、第一の特徴は複数の第一の特徴のサブセットに分割される（１０２０）。ステップ１０３０では、複数の分類器が第１の特徴のサブセットのそれぞれに対して形成される。複数の第２の特徴が複数の第２の画像ファイルのそれぞれから抽出される（１０４０）。第２の画像ファイルに対して、ステップ１０５０では、第２の特徴は複数の第２の特徴のサブセットに分割され、その複数の第２の特徴のサブセットは対応する一つの分類器を用いて保存され、各第２の特徴のサブセットと対応する一つの分類器の第１の特徴との間の距離が決定される（１０６０）。特定の第２の画像ファイルの全てのサブセットに関する距離に基づいて、特定の１以上の分類器にマッチしたファイルのサブセットから第１の画像ファイルが決定される（１０７０）。ステップ１０８０で、特定の第２の画像ファイルが、マッチした第１画像ファイルの選択されたグループに対して関連付けられたアノテーションから得られた、１以上のアノテーションに関連付けられる。
【００７０】
図１１は、他の実施形態に関わるメディアファイル分類システム３００、８００を実現する方法１１００を示すフローチャートである。この方法は、各画像ファイルに１以上の関連付けられたアノテーションを含む、第一の複数の画像ファイルのそれぞれから複数の第１の特徴を抽出することを含んでいる（１１１０）。またこの方法は、各第１の画像ファイルの第１の特徴を第１の特徴の複数のサブセットに分割することを含む（１１２０）。分類器は第１の特徴の複数のサブセットに対して形成され（１１３０）、各分類器は複数の第１の画像ファイルのそれぞれからのそれぞれの特徴のサブセットに対応する。ステップ１１４０では、各複数の第２の画像ファイルから複数の第２の特徴が抽出され、ステップ１１５０では、第２の特徴が各第２の画像ファイルに対して第２の複数の特徴のサブセットに分割される。ステップ１１６０では、各サブセットには、第２の特徴の各サブセットと第１特徴の間の距離が対応する一つの分類器を用いて決定される。ステップ１１７０では、特定の第２の画像のサブセットの距離に基づいて、特定の１以上の分類器に対してマッチしたファイルのサブセットからマッチした画像ファイルが決定される。
【００７１】
なお、これまでの説明を目的とした既述は特定の実施形態を参照して説明している。しかし、こうした説明は開示したとおりに本発明が限定されることを意図するものではない。多くの変更や変更が、この教示に基づいて可能である。実施形態はもっとも本発明の原理や具体的用途を説明しやすいために選択され既述されたものであり、それゆえに本技術分野の当業者であれば発明や多様な変更を特定用途において適当となるよう変更を加えて利用することが可能である。
【符号の説明】
【００７２】
８００ メディアファイル分類システム
３１４ 分類モジュール
８１２ データファイル
８１４ 強化分類モジュール
８２２ ユーザトレーニングデータ
８３０ ユーザアノテーション
８５０ データファイルアノテーション
【技術分野】
【０００１】
本発明はマルチメディアファイルの分類に関し、特に自動的にデジタルメディアの分類とアノテーション付けを行う方法、およびコンピュータプログラムに関する。
【背景技術】
【０００２】
インターネットとデジタル写真の普及に伴い、コンピュータによる視認技術と画像処理はスケーラビリティへの挑戦となってきている。数十億の画像ファイルを含むような大規模の画像メディアコレクションは整理、操作、そして正確かつ効率的な検索が難しい。近年のマルチメディア分析研究はデジタルコンテンツの情報検索に焦点が当てられている。こうしたインデキシングや検索はタグやアノテーションを付加することで容易になる。ユーチューブ（登録商標）やフリッカー（登録商標）のようなウェブサイトでは手作業で提供されたアノテーションが急増しているが、個人や頒布されているメディアコレクションには自動あるいは半自動のアノテーションツールが必要である。
【０００３】
このため、スケーラブルなメディア分類手法の必要性が高まっている。様々なウェブサイトからの人手で付与された大量のデータは、スケーラブルなメディア分類システムを構成するための無限のサンプルデータ源となる。スケーラブルな分類システムを築く一つのアプローチは、一般に入手可能な大規模なトレーニングデータから、改善された標準的な特徴を抽出し、トレーニングデータの低レベルの表現を生成するために最近傍法（NN）ベースの指標を計算し、例えばデータファイルのアノテーション付けを自動化するために、利用する。最近傍法の欠点は、標準的な実現方法が計算機上で複雑であって、この結果大規模のファイルのコレクションの場合に、処理が非効率になる点にある。このため、自由に入手できるアノテーション付きファイルの大規模ライブラリの利用は、そのコレクションの効率的な処理の困難さとトレードオフとなっている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開2008-123486号公報
【非特許文献】
【０００５】
【非特許文献１】ミンリンチャンら(Min-Ling Zhang et al) 、「Ml kＮＮ：複数ラベル学習の緩やかなアプローチ（Ml-knn: A lazy approach to multi-label learning）」、パターン認識学会誌（The Journal of the Pattern Recognition Society）、オランダ、２００７年、第４０巻、第７号、第２０３８〜２０４８頁
【発明の概要】
【発明が解決しようとする課題】
【０００６】
このため、計算機を効率的に利用した、大規模のメディアファイルへの高効率でスケーラブルなアノテーション付与のための分類手法が必要となってきている。一方で、大量のメディアファイルで訓練されたシステムを、より限定されたトレーニングコレクションと特定のアノテーション語彙を使ってカスタマイズして、コレクションにアノテーション付けをしたいとの要求もある。
【課題を解決するための手段】
【０００７】
上記課題の少なくとも一部を解決するために、本発明は以下の解決手段を用いる。
【０００８】
本発明の一つの形態の方法においては、分類器生成手段が、それぞれ１以上の関連付けられたアノテーションを含む複数の第１のデジタルファイルの複数の第１の特徴から分類器のセットを生成し、ソート手段が、前記複数の分類器に応じて、複数の第２のデジタルファイルの少なくとも１つから抽出された複数の第２の特徴をソートし、距離順位付け手段が、前記複数の第２の特徴と各前記第１の特徴との間の距離ベクトルを、対応する分類器のそれぞれに対して決定し、決定された前記距離ベクトルに基づく距離を順位付けし、選択手段が、前記順位付けに基づいて、それぞれ１以上の関連付けされたアノテーションに対応する、所定条件にマッチしたファイルのサブセットを選択し、アノテーション関連付け手段が、前記マッチしたファイルのサブセットと関連付けられたアノテーションから１以上のアノテーションを、前記複数の第２のデジタルファイルの少なくとも一つに、対応する前記分類器を用いて関連付ける、コンピュータを用いてデジタルファイルにアノテーション付けを行うことを特徴とする。
【０００９】
本発明の一つの形態として、更に、重み決定手段が、前記複数の第２のデジタルファイルの前記少なくとも一つを前記複数の分類器に適用して各前記複数の分類器に応じた重みを決定し、重み結合手段が、１以上の前記分類器に応じて前記重み値を結合し、前記アノテーション関連付け手段が、マッチしたファイルの各サブセットの１以上のアノテーションを、結合した前記重み値に基づいて、前記複数の第２のデジタルファイルの少なくとも１つに関連付けることができる。
【００１０】
本発明の一つの形態として、前記アノテーション関連付け手段が、前記複数の第２のデジタルファイルを、前記対応する分類器に応じて１以上のユーザにより供給されるアノテーションに関連付けし、１以上のアノテーションが対応する分類器のそれぞれを用いて前記複数の第２のデジタルファイルのそれぞれに１以上のアノテーションを関連付け、受信手段が、第３の複数のデジタルファイルを受信し、特徴抽出手段が、前記第３の複数のデジタルファイルから複数の第３の特徴を抽出し、分割手段が、前記複数の第３の特徴を前記第３の特徴の複数のサブセットに分割し、再計算手段が、対応する前記分類器のそれぞれを用いて前記第３の特徴の複数のサブセットをソートし、前記第３の特徴のサブセットのそれぞれと対応する前記分類器の前記第２の特徴の間の距離を再計算し、重み決定手段が、前記再計算された距離に基づいて前記複数の分類器のそれぞれに対しての重み値を決定し、前記アノテーション関連付け手段が、前記複数の第３のデジタルファイルの前記少なくとも一つに１以上のアノテーションを、１以上の前記重み値に基づいて、マッチした第１および第２のデジタルファイルの各サブセットのアノテーションを用いて、関連付けることができる。
【００１１】
本発明の一つの形態として、更に、重み値更新手段が、１以上のユーザが設定したアノテーションを有するデジタルファイルの受信に応じて、一以上の前記重み値を更新することができる。
【００１２】
本発明の一つの形態として、前記選択手段は、前記マッチしたファイルの選択において、所定の基準に基づいてマッチしたファイルのサブセットを選択することができる。
【００１３】
本発明の一つの形態として、前記所定の基準は前記第１および第２の特徴間の最近傍計算を比較する重み付け距離値に基づくことができる。
【００１４】
本発明の一つの形態として、前記分類器生成手段は、前記複数の分類器の生成において、複数のｋ次元ツリーを生成することを含み、前記マッチしたファイルのサブセットの選択においては、少なくとも１０個の最近傍を各前記複数のｋ次元ツリーにマッチするファイルのサブセットに基づいて選択することを含むことができる。
【００１５】
本発明の一つの形態として、前記アノテーション関連付け手段が、前記マッチしたファイルのサブセットとそれぞれ関連付けられたアノテーションから１以上のアノテーションを、前記複数の第２のデジタルファイルの少なくとも一つに、対応する前記分類器のそれぞれを用いて関連付けることは、各最近傍に前記各分類器に対応する重み値に基づいて投票を行うことで決定し、１以上のアノテーションを、各最近傍への投票あるいは投票の合計に基づいて前記受信したデジタルファイルに関連付けることを含むことができる。
【００１６】
本発明の一つの形態としての方法においては、第１の分類器生成手段が、１以上の関連付けられたアノテーションを含む複数の第１のデジタルファイルのそれぞれから複数の第１の特徴を抽出し、前記第１のデジタルファイルを複数の前記第１の特徴のサブセットに分割し、前記第１の特徴の各サブセットの複数の分類器を形成し、第２の特徴サブセット生成手段が、複数のデジタルファイルのそれぞれから複数の第２の特徴を抽出し、前記複数の第２のファイルを前記第２の特徴の複数のサブセットに分割し、ソート手段が、前記第２の特徴の複数のサブセットを対応する前記複数の分類器に応じてソートし、距離決定手段が、前記第２の特徴のサブセットのそれぞれと前記対応する複数の分類器の前記第１の特徴との間の距離を決定し、選択手段が、特定の一つの前記第２のデジタルファイルの全てのサブセットの距離に基づいて、特定の１以上の前記分類器にマッチしたファイルのサブセットから前記第１のデジタルファイルを決定し、アノテーション関連付け手段が、前記第２のデジタルファイルの前記特定の一つを、第１のデジタルファイルにマッチするグループのデジタルファイルから得られる１以上のアノテーションに関連付けることを特徴とする。
【００１７】
本発明の一つの形態として、前記複数の第２のデジタルファイルは１以上のユーザにより提供されたアノテーションと関連付けられ、前記アノテーション関連付け手段が、前記対応する分類器を用いて、１以上のアノテーションを各前記複数の第２デジタルファイルに関連付け、受信手段が、第３の複数のデジタルファイルを受信し、特徴抽出手段が、少なくとも一つの前記第３の複数のデジタルファイルから複数の第３の特徴を前記対応する一つの分類器を用いて抽出し、分割手段が、前記複数の第３の特徴を複数の前記第３の特徴のサブセットに分割し、前記ソート手段が、前記複数の第３の特徴のサブセットを対応する前記分類器の一つを用いてソートし、再計算手段が、各前記第３の特徴のサブセットと前記対応する分類器の前記第２の特徴との間の距離を再計算し、前記選択手段が、１以上の特徴のサブセットの距離に基づいて、前記特定の１以上の前記分類器にマッチするファイルのサブセットから、マッチする前記第１および第２のデジタルファイルを決定し、重み決定手段が、前記再計算した距離に基づいて各１以上の前記分類器に応じた重み値を決定し、前記アノテーション関連付け手段が、少なくとも一つの前記複数の第３のデジタルファイルと、前記各マッチした第１および第２のデジタルファイルのアノテーションからの１以上のアノテーションを、１以上の前記重み値に基づいて、関連付けることができる。
【００１８】
本発明の一つの形態として、前記重み決定手段は、１以上の前記重み値を１以上のユーザが提供するアノテーションを含む受信デジタルファイルに応じて更新し、現在の前記重み値を調整するために一以上の重み値を１以上の前記分類器に応じて選択することができる。
【００１９】
本発明の一つの形態として、前記選択手段は、特定の１以上の前記分類器にマッチしたサブセットからマッチする前記第２のデジタルファイルを選択するときに、所定の距離条件に合致する距離に対応する前記第２のデジタルファイルにマッチする１以上の分類器を選択することができる。
【００２０】
本発明の一つの形態のコンピュータプログラムにおいては、コンピュータに、分類器生成手段が、それぞれ１以上の関連付けられたアノテーションを含む複数の第１のデジタルファイルの複数の第１の特徴から分類器のセットを生成し、ソート手段が、前記複数の分類器に応じて、複数の第２のデジタルファイルの少なくとも１つから抽出された複数の第２の特徴をソートし、距離順位付け手段が、前記複数の第２の特徴と各前記第１の特徴との間の距離ベクトルを、対応する分類器のそれぞれに対して決定し、決定された前記距離ベクトルに基づく距離を順位付けし、選択手段が、前記順位付けに基づいて、それぞれ１以上の関連付けされたアノテーションに対応する、所定条件にマッチしたファイルのサブセットを選択し、アノテーション関連付け手段が、前記マッチしたファイルのサブセットと関連付けられたアノテーションから１以上のアノテーションを、前記複数の第２のデジタルファイルの少なくとも一つに、対応する前記分類器を用いて関連付ける、手順を実行させ、デジタルファイルにアノテーション付けを行うことを特徴とする。
【００２１】
本発明の一つの形態として、重み決定手段が、前記少なくとも一つの複数の第２のデジタルファイルを前記複数の分類器に適用して各前記複数の分類器に応じた重みを決定し、重み結合手段が、前記１以上の分類器に応じて前記重み値を結合し、前記アノテーション関連付け手段が、合致ファイルの各サブセットの１以上のアノテーションを、前記結合した重み値に基づいて、前記複数の第２のデジタルファイルの少なくとも一つに関連付けることができる。
【００２２】
本発明の一つの形態として、前記アノテーション関連付け手段が、前記複数の第２のデジタルファイルを、前記対応する分類器に応じて１以上のユーザにより供給されるアノテーションに関連付けし、１以上のアノテーションが対応する分類器のそれぞれを用いて前記複数の第２のデジタルファイルのそれぞれに１以上のアノテーションを関連付け、受信手段が、第３の複数のデジタルファイルを受信し、特徴抽出手段が、前記第３の複数のデジタルファイルから複数の第３の特徴を抽出し、分割手段が、前記複数の第３の特徴を前記第３の特徴の複数のサブセットに分割し、再計算手段が、対応する前記分類器のそれぞれを用いて前記第３の特徴の複数のサブセットをソートし、前記第３の特徴のサブセットのそれぞれと対応する前記分類器の前記第２の特徴の間の距離を再計算し、重み決定手段が、前記再計算された距離に基づいて前記複数の分類器のそれぞれに対しての重み値を決定し、前記アノテーション関連付け手段が、前記少なくとも一つの複数の第３のデジタルファイルに１以上のアノテーションを、１以上の前記重み値に基づいて、合致した第１および第２のデジタルファイルの各サブセットのアノテーションを用いて、関連付けることができる。
【００２３】
本発明の一つの形態のコンピュータプログラムにおいては、コンピュータに、第１の分類器生成手段が、１以上の関連付けられたアノテーションを含む複数の第１のデジタルファイルのそれぞれから複数の第１の特徴を抽出し、前記第１のデジタルファイルを複数の前記第１の特徴のサブセットに分割し、前記第１の特徴の各サブセットの複数の分類器を形成し、第２の特徴サブセット生成手段が、複数のデジタルファイルのそれぞれから複数の第２の特徴を抽出し、前記複数の第２のファイルを前記第２の特徴の複数のサブセットに分割し、ソート手段が、前記第２の特徴の複数のサブセットを対応する前記複数の分類器に応じてソートし、距離決定手段が、前記第２の特徴のサブセットのそれぞれと前記対応する複数の分類器の前記第１の特徴との間の距離を決定し、選択手段が、特定の一つの前記第２のデジタルファイルの全てのサブセットの距離に基づいて、特定の１以上の前記分類器にマッチしたファイルのサブセットから前記第１のデジタルファイルを決定し、アノテーション関連付け手段が、前記第２のデジタルファイルの前記特定の一つを、第１のデジタルファイルに合致するグループのデジタルファイルから得られる１以上のアノテーションに関連付ける手順を実行させ、アノテーション付けを行う。
【００２４】
本発明の一つの形態として、前記複数の第２のデジタルファイルは１以上のユーザにより提供されたアノテーションと関連付けられ、前記アノテーション関連付け手段が、前記対応する分類器を用いて、１以上のアノテーションを各前記複数の第２デジタルファイルに関連付け、受信手段が、第３の複数のデジタルファイルを受信し、特徴抽出手段が、少なくとも一つの前記第３の複数のデジタルファイルから複数の第３の特徴を前記対応する一つの分類器を用いて抽出し、分割手段が、前記複数の第３の特徴を複数の前記第３の特徴のサブセットに分割し、前記ソート手段が、前記複数の第３の特徴のサブセットを対応する前記分類器の一つを用いてソートし、再計算手段が、各前記第３の特徴のサブセットと前記対応する分類器の前記第２の特徴との間の距離を再計算し、前記選択手段が、１以上の特徴のサブセットの距離に基づいて、前記特定の１以上の前記分類器にマッチするファイルのサブセットから、マッチする前記第１および第２のデジタルファイルを決定し、重み決定手段が、前記再計算した距離に基づいて各１以上の前記分類器に応じた重み値を決定し、前記アノテーション関連付け手段が、少なくとも一つの前記複数の第３のデジタルファイルと、前記各マッチした第１および第２のデジタルファイルのアノテーションからの１以上のアノテーションを、１以上の前記重み値に基づいて、関連付けることができる。
【００２５】
本発明の一つの形態として、前記重み決定手段は、１以上の前記重み値を１以上のユーザが提供するアノテーションを含む受信デジタルファイルに応じて更新し、現在の前記重み値を調整するために一以上の重み値を１以上の前記分類器に応じて選択することができる。
【００２６】
本発明の一つの形態として、前記選択手段は、特定の１以上の前記分類器にマッチしたサブセットからマッチする前記第２のデジタルファイルを選択するときに、所定の距離条件に合致する距離に対応する前記第２のデジタルファイルにマッチする１以上の分類器を選択することができる。
【発明の効果】
【００２７】
本発明によれば、大規模のメディアファイルへ高効率でスケーラブルにアノテーションを付与することができる。
【図面の簡単な説明】
【００２８】
【図１Ａ】本発明の実施形態に関わるメディア分類機能を備えたコンピュータシステムのブロック図に関する。
【図１Ｂ】本発明の実施形態に関わるメディア分類機能を備えたコンピュータシステムのブロック図に関する。
【図１Ｃ】本発明の実施形態に関わるメディア分類機能を備えたコンピュータシステムのブロック図に関する。
【図２Ａ】本発明の実施形態に関わるクライアントシステムを示すブロック図である。
【図２Ｂ】本発明の実施形態に関わるサーバシステムを示すブロック図である。
【図３】本発明の実施形態に関わるメディアファイル分類システムを示すブロック図である。
【図４】本発明の実施形態に関わるメディアファイル分類システムの一構成のブロック図である。
【図５】本発明の実施形態に関わるメディアファイル分類システムのトレーニング工程を表すものである。
【図６Ａ】本発明の実施形態に関わるメディアファイル分類システムの幾つかの工程を示す。
【図６Ｂ】本発明の実施形態に関わるメディアファイル分類システムの幾つかの工程を示す。
【図６Ｃ】本発明の実施形態に関わるメディアファイル分類システムの幾つかの工程を示す。
【図６Ｄ】本発明の実施形態に関わるメディアファイル分類システムの幾つかの工程を示す。
【図７】本発明の実施形態に関わる学習済み分類モジュールを含むメディアファイル分類システムを示すブロック図である。
【図８】本発明の実施形態に関わるブースト分類モジュールを含むメディアファイル分類システムを示すブロック図である。
【図９】本発明の実施形態に関わるメディアファイル分類方法を表すフローチャートである。
【図１０Ａ】本発明の他の実施形態に関わるメディアファイル分類方法のフローチャートを示す。
【図１０Ｂ】本発明の他の実施形態に関わるメディアファイル分類方法のフローチャートを示す。
【図１１】本発明のさらに他の実施形態に関わるメディアファイル分類方法のフローチャートを示す。
【発明を実施するための形態】
【００２９】
以下で述べる詳細な説明は、本発明の実施形態を十分に理解できるように提供するものである。しかし、本技術分野における当業者であれば、それらの様々な実施形態を特に詳細な記載がなくとも実施できることは明らかである。さらに、ここに記述する本発明の特定の実施形態は例示のために提供されるものであって、本発明の範囲をそれらの実施形態に限定するためのものではない。言い換えれば、周知のシステムの機能、デバイスとソフトウェアの操作についての記載は、不要に発明が不明確にならないように、記述していない場合もある。本発明の主題に関しては詳細に以下で説明する。
【００３０】
図１Ａは、本発明の一実施形態に関わる、メディア分類モジュール（分類コンポーネント１１４、ローカル分類コンポーネント１１６）を含むシステム１００のブロック図である。ネットワーク環境１００は、１以上の通信ネットワーク１０８を介して互いに接続された１以上のクライアント１０２とサーバ１０４を含む。
【００３１】
クライアント１０２（以下、クライアントデバイス、クライアントコンピュータと呼ぶことがある。）は、いかなるコンピュータあるいは同様のデバイスでもよく、クライアント１０２のユーザ１０３がリクエストを送信し、サーバ１０４から結果あるいはサービスを得る。例えば、デスクトップコンピュータ、ノートブックコンピュータ、タブレットコンピュータ、携帯電話等のモバイルデバイス、PDA、セットトップボックス、あるいはそれらの組み合わせを用いることもできる。各クライアント１０２はサーバ１０４にアプリケーションの実行のリクエストを送信するクライアントアプリケーション１０６およびクライアントアシスタント１０５を少なくとも一つ備えることができる。例えば、クライアントアプリケーション１０６はユーザ１０３が通信ネットワーク１０８を介してサーバ１０４からアクセスされたリソース（例えば、ウェブページやウェブサービス）の検索、閲覧、または使用をするための、ウェブブラウザや他のアプリケーションである。
【００３２】
クライアントアシスタント１０５は、クライアントアプリケーション１０６あるいは他のアプリケーションに関するユーザ１０３の作業を監視あるいは支援するための１以上のタスクを実行するソフトウェアアプリケーションとすることができる。例えば、クライアントアシスタント１０５は、ユーザ１０３がクライアント１０２でクライアント１０２のブラウザでウェブサイトにより提供されるリソース（例えば検索結果）を閲覧するときに支援をしたり、サーバ１０４から受信した情報（例えば検索結果）を処理したり、クライアント１０２でのユーザの活動をモニタしたりする。一つの実施形態としては、クライアントアシスタント１０５は、１以上のウェブページ（例えば検索結果を表示するウェブページ）あるいは、１以上のサーバ（例えばサーバ１０４）からダウンロードされる他のドキュメントに埋め込まれていてもよい。他の実施形態としては、クライアントアシスタント１０５は、クライアントアプリケーション１０６の一部であってもよい。
【００３３】
一つの実施形態では、クライアント１０２上にはローカル分類コンポーネント１１６が含まれ、サーバ１０４上の分類コンポーネント１１４と接続して、本実施形態におけるメディアファイル分類システムのコンポーネントを構成する。さらに、後で詳細に説明するように、分類コンポーネント１１４，１１６は、クライアント１０２あるいはサーバ１０４に保持された大量のメディアコレクション中のデジタルメディアファイルを、インデキシング、アノテーション付けあるいは検索などのソフトウェアアプリケーションとすることができる。加えて、ローカル分類コンポーネント１１６はクライアント１０２の一部であってもよく、サーバ１０４上で分類コンポーネント１１４の一部として実現されてもよい。あるいは、ローカル分類コンポーネント１１６と分類コンポーネント１１４は分離したサーバ上あるいは複数台のサーバ上で実現されてもよい。
【００３４】
通信ネットワーク１０８は、有線あるいは無線のローカルエリアネットワーク、イントラネット、エクストラネット、インターネットあるいはそれらの組み合わせのようなワイドエリアネットワークとすることができる。通信ネットワーク１０８はTCP/IPを用いて情報転送を行うHTTPを用いることができる。HTTPは通信ネットワーク１０８を通じて様々な情報源にクライアントがアクセスできるようにする。ただし、特定のプロトコルの使用に限られない。本発明におけるリソース（あるいは情報源）は、コンテンツロケーションファインダ（例えば、URL)を通じてアクセスできるいかなる情報あるいはサービスの一部であってもよく、例えばウェブページ、ドキュメント、データベース、画像、コンピュータオブジェクト、検索エンジン、あるいは他のオンライン情報サービスなどが挙げられる。
【００３５】
一実施形態では、サーバ１０４はコンテンツ（例えば、ウェブページ、画像、デジタル写真、ドキュメント、ファイル、広告、他の形態の情報）を配信する。サーバ１０４は、多くのファイルあるいはさまざまな種類の他のデータ構造を保持することができ、そうしたデータ構造としては、テキスト、グラフィック、ビデオ、オーディオ、デジタル写真、および他のデジタルメディアファイルを含んでよい。サーバ１０４はサーバインターフェース１１０、分類コンポーネント１１４およびデータストレージ１２０を含んでよい。サーバインターフェース１１０は通信ネットワーク１０８を介したクライアント１０２からの接続要求を処理するように構成される。分類コンポーネント１１４は機械学習アプリケーションであり、例えばフリッカー、ユーチューブといったデジタル画像レポジトリに保持されているデジタル写真画像のような、既存のデジタルファイルの大規模なコレクションを、スケーラビリティを向上させたデジタル画像の自動的なアノテーション付け、整理、あるいは分類のためのユーザツールを生成するために利用する。
【００３６】
データストレージ１２０は、ローカル分類コンポーネント１１６あるいは分類コンポーネント１１４を動作させるときにアクセスされる大量のデジタルメディアファイルのコレクションを記憶する。データストレージ１２０は、トレーニングデータ１２２、テストデータ１２４あるいはユーザが保存したデータ１２６といったデータファイルを保存してもよい。トレーニングデータ１２２は、インターネットを介して公開されてアクセス可能な関連付けされたアノテーションの大規模なライブラリを持ったデジタル画像ファイルの大規模データセットである。トレーニングデータ１２２は、本実施形態にしたがって、ユーザのデジタル画像イメージにアノテーションを付与するために分類コンポーネント１１４をトレーニングするために用いられる。テストデータ１２４は、トレーニングに用いられる大規模なコレクションの一部か、別のコレクションのデジタル画像ファイルの第２のコレクションである。テストデータ１２４は、分類コンポーネント１１４および、あるいはローカル分類コンポーネント１１６によって、トレーニングされた後にシステムをテストするために用いられる。一旦トレーニングとテストがされたら、分類コンポーネント１１４とローカル分類コンポーネント１１６はサーバ１０４に保持されるユーザデータファイル１２６にアノテーションを付与するために用いられる。あるいは、ユーザデータ１２６はクライアント１０２か、ローカル分類コンポーネント１１６の一部としてローカルに保存される。
【００３７】
図１Ｂは、一実施形態に関わる他の配信システム１０１のブロック図である。ユーザ１０３はアノテーション付けされた特徴を用いて予め構成されているローカル分類コンポーネント１３６にアクセスする。ローカル分類コンポーネント１３６はユーザデータ１２６を受信するように構成されている。ユーザデータ１２６はローカル分類コンポーネント１３６をカスタマイズするために、ユーザ指定アノテーションを任意に含んでもよい。ローカル分類コンポーネント１３６および/またはユーザデータ１２６はクライアントコンピュータの一部であってもよく、あるいはネットワーク上のサーバ、外部データベース、ホストコンピュータ等の外部情報源からアクセスして得たものであってもよい。
【００３８】
図１Ｃは、実施形態に関わる、他の配布システム１１１のブロック図である。システム１１１はブラウザ１４５のようなプログラムを実行するために、アプリケーションコンポーネント１４２を含むアプリケーションマネージャ１３８を備えている。ブラウザ１４５は、フリッカー、ピカサ（登録商標）、フェースブック（登録商標）あるいは他のデジタルコンテンツ管理サイトのようなウェブホストにあるコンテンツを閲覧するために用いられる。システム１１１は、アプリケーションマネージャ１３８によりローカルにアクセスすることができる、あるいは、ネットワーク上のホストにブラウザによりアクセスできるパッケージ１４０を含む。一実施形態では、パッケージ１４０はデジタル写真のようなユーザ１０３のデジタルメディアファイルにアノテーション付けするための分類コンポーネント１１４を含んでいる。また、パッケージ１４０はユーザデータ１２６とアノテーション１４６を含んでもよい。アノテーション１４６はデジタル画像ファイルのトレーニングセットに関連付けられたラベルあるいはタグを含んでいてよく、ユーザ１０３の個人画像コレクションからユーザが指定したアノテーションを含んでいてもよい。
【００３９】
図２Ａは、一実施例に関わる図１Ａのサーバシステム１０４のブロック図である。１以上のサーバシステム１０４は１あるいは複数のコンピュータ装置からアクセスあるいは実行がされてよい。他の一般的なコンポーネントはここでは記載を省略する。サーバシステム１０４は、１以上の処理回路（CPU)２０２、１以上のネットワークあるいは他の通信インターフェース２２０、メモリ２０４とそれらのコンポーネント間の通信バス２１８を通常有している。通信バス２１８はシステムコンポーネント間の相互接続や通信制御を行う回路（チップセットと呼ばれる）を含んでもよい。
【００４０】
サーバシステム１０４は、例えば、ディスプレイ２２４、入力装置２２６、出力装置２２８のような、ユーザインターフェース２２２を含んでもよい。入力装置２２６は例えば、キーボード、マウス、タッチパネルディスプレイ、あるいはサーバシステム１０４に情報を入力するための他の適当なデバイスを含んでもよい。出力装置２２８は、例えば、ビデオディスプレイユニット、プリンタ、他の情報出力のための適当な装置を含むことができる。入力装置２２６と出力装置２２８は、一体の入出力装置として構成してもよい。
【００４１】
メモリ２０４は高速ランダムアクセスメモリ、あるいは１以上の磁気ディスクストレージデバイスのような不揮発性メモリを含むことができる。メモリ２０４は、中央処理装置２０２から遠隔に配置されたマスストレージであってもよい。メモリ２０４あるいはメモリ２０４内の不揮発性メモリ装置がコンピュータ可読記憶媒体を構成する。メモリ２０４には、後で述べる要素あるいはそのサブセット、あるいはさらに付加要素が含まれている。様々な基本的なサーバシステムサービスの実行手順とハードウェア依存タスクの実行手順を含んだオペレーティングシステム２０７、サーバシステム１０４を他のサーバやコンピュータに、インターネットや広域、ローカル、都市間ネットワークといった１以上の有線、無線の通信ネットワークを介して接続するための通信モジュール、デジタル画像ファイルに自動的にアノテーションを付与するための大量のデジタル画像ファイルのコレクションを用いるメディアファイル分類システムをトレーニングするコンポーネント（例えば分類器２３８）を含んだ分類モジュール２１５、分類モジュール２１５を実行するための分類データ２３２を記憶するデータコンポーネント２１７を含んでいる。このデータコンポーネント２１７には、分類モジュール２１５をトレーニングするための大量のデジタル画像データコレクションを含むトレーニングデータ２３４、分類モジュール２１５をテストするためのデジタル画像データの第２のコレクションあるいは大量のコレクションの一部のデータを含むテストデータ２３６、与えられたデータファイルに対する最近傍候補を決定するために、分類器２３８のような分類変数により決定される特徴多次元空間でなされるベクトル計算の結果である距離ベクトル２４６、最近傍に合致した候補を識別するためのメディアファイル分類システムの分類変数により生成される値である重み付け投票データ２４４、メディアファイル分類システムの様々なコンポーネントによって使用されるトレーニングデータ２３４、テストデータ２３６および他のデジタルファイルから抽出された多次元的特徴である抽出特徴データ２４８、そして、トレーニングデータ２３４、テストデータ２３６および他のデジタルファイルに関連付けられたアノテーションを含む参照アノテーションデータ２３０、を含むことができる。
【００４２】
図２Ｂは、一実施形態に関わる図１Ａのクライアントシステム１０２のブロック図である。１以上のクライアントシステム１０２のコンポーネントは、一台のコンピュータあるいは複数台のコンピュータデバイスによりアクセスあるいは実行がされてもよい。他の一般的な構成の説明は省略する。図２Ｂは、図２Ａで示した幾つかのコンポーネントを含み、それらの同様のコンポーネントには図２Ａと同じ符号を与えており、これらの説明は省略する場合がある。
【００４３】
クライアントシステム１０２もまたメモリ２０５を含んでおり、高速ランダムアクセスメモリ、あるいは１以上の磁気ディスクストレージデバイスのような不揮発性メモリを含むことができる。メモリ２０５は、中央処理装置２０２から遠隔に配置されたマスストレージであってもよい。メモリ２０５あるいはメモリ２０５内の不揮発性メモリ装置がコンピュータ可読記憶媒体を構成する。メモリ２０５には、以下に述べる要素あるいはそのサブセット、あるいはさらに付加要素が含まれている。様々な基本システムサービスの実行手順とハードウェア依存タスクの実行手順を含んだオペレーティングシステム２０６、クライアントシステム１０２を他のサーバやコンピュータに、インターネットや広域、ローカル、都市間ネットワークといった１以上の有線、無線の通信ネットワークを介して接続するための通信モジュール、ディスプレイ２２４のようなユーザインターフェースデバイスを介してユーザにウェブページのようなコンテンツを表示するためのクライアントアプリケーションモジュール２１０、クライアント１０２に付加機能を付与するアドオン、プラグイン、他のモジュールといったクライアント支援モジュール２１２、一旦メディアファイル分類システムが訓練された後にユーザのデジタル画像ファイルのコレクションに自動あるいは半自動でアノテーションを付与する制御を含んだローカル分類モジュール２１４、そして、ローカル分類モジュール２１４が実行されるときに用いるローカル分類データ２５２を保持するデータコンポーネント２１６を備える。このデータコンポーネント２１６には、ユーザのデジタルカメラやユーザの友人や家族からもらったデジタル写真のような、デジタル画像ファイルのユーザの個人コレクションを含むユーザ画像ファイル２５４、ユーザ画像ファイル２５４に応じた距離ベクトルに対応するベクトル計算結果である距離ベクトル２６６、ユーザ画像ファイル２５４から抽出された次元的特徴である、抽出特徴データ２６８、ユーザ画像ファイル２５４に付与されたアノテーションを含む選択アノテーションデータ２５０、ユーザ画像ファイル２５４に関連付けられた分類変数により生成された値である重み付け投票データ２６４、を含めることができる。
【００４４】
それぞれの上述の要素は、前述の１以上のメモリ装置に保持させ、各実施形態で記述した機能を実行するための命令セットにより構成することができる。上記モジュールあるいはプログラム（つまり、命令セット）は、分離したソフトウェアプログラム、手順あるいはモジュールにして実現する必要はなく、実施形態にあわせてこれらのモジュールの様々なサブセットを組み合わせたり、再構成するようにしてもよい。例えば、図１Ａ、図２Ａ、図２Ｂ中のモジュールおよび／あるいはデータベースの幾つかを他の遠隔地や複数の場所にわたって構成することもできる。一実施形態としては、メモリ２０４と２０５はモジュールのサブセットと上記データ構造を保持してもよい。さらに、メモリ２０４と２０５は記述しない追加のモジュールとデータ構造を保持してもよい。
【００４５】
図１Ａ、図２Ａおよび図２Ｂは実施形態の構造を図示するのではなく、多様な特徴を機能的に記述するためのものである。これらの機能を実現する上では、当業者に自明なように、分離して示されたアイテムを組み合わせることもできるしいくつかのアイテムを分離することもできる。例えば、図２Ａは一つのサーバで構成することができ、一つのアイテムは一つ以上のサーバによって実現することでもできる。例えば、分類モジュール２１５はサーバシステム１０４の他の要素でなく異なる複数のサーバにより実現することもできる。システム１０４を実現するのに用いられるサーバの実際の数、そしてそれらにどのようにして機能を配置するかは、実現手法によって異なり、システムが最大で使用するデータハンドリングや所定期間での平均のデータトラフィックに応じて異なる。
【００４６】
図３は、一実施形態に関わるメディアファイル分類システム３００のブロック図を表す。一実施形態においては、システム３００は、記憶された参照アノテーション３３０からのタグとラベルを用いてデジタル画像ファイルにアノテーション付けをするための分類モジュール３１４を含む。他の実施形態では、分類モジュール３１４は、メディアファイルを属性や特徴に応じて分離するためのコンポーネントを含む。メディアファイルは、たとえば、デジタル写真、ウェブページからのリソース（ブログエントリー中のテキストデータやインスタントメッセージング等も含む）、そして音声ファイルやビデオファイルといったタグやラベルで分類される他のデータファイルを含む。特徴としては、例えば、視覚特徴（色、テクスチャ、エッジ検出、モーション分析等）や、音声特徴（音声デジタルデータ）が含まれる。一実施形態としては、分類モジュール３１４は、メディアファイルおよび／または特徴の類似したものをグルーピングするクラスタリング、インデキシング、並列処理、そしてメディアファイルおよび特徴を生成、検索および更新するための他の分類パラメータを含むことができる。
【００４７】
一実施形態で、分類モジュール２１５は、画像ファイルのようなオブジェクトをコレクション中の他のオブジェクトと比較して分類する機械学習アルゴリズムの分類器２３８を含む分類モジュール２１５を含む。分類器２３８の例としては分類アルゴリズムを用いて最近傍オブジェクトの距離ベクトルを計算するためのｋ次元ツリー（ｋｄツリー）を含むものが挙げられる。参照アノテーション３３０は、フリッカー（Ｆｌｉｃｋｅｒ 登録商標）のようなホストにより、蓄積されオンラインで格納された大規模なデジタル画像ファイルのようなメディアファイルのコレクション中のデジタル画像と、手動により関係付けすることもできる。トレーニングデータ３２２を含むメディアファイルの大規模コレクションは公開されており、オンラインにより取得することができる。一実施形態では、公開されてアクセス可能なデジタル画像ファイルのコレクションの部分は、タグやラベル（アノテーション）をユーザのデジタル画像ファイルに設定するため分類モジュール３１４のトレーニング用のトレーニングデータ３２２として用いられる。あるいは、トレーニングデータ３２２は、ユーザにより提供されたデジタル画像ファイルのユーザのコレクションであってもよい。一実施形態では分類モジュール１１４は、本発明にしたがって、効率を犠牲にすることなく画像ファイルの大規模なトレーニングセットに対応しやすい近似最近傍検索を用いる。また他の実施形態では、任意の数のカテゴリに分類するための分類器がトレーニングデータ３２２を用いる分類モジュール３１４中に形成される。そしてモジュール１１４は、テストデータアノテーション３５０を生成するため、分類コンポーネントを参照アノテーション３３０に相関させるための、テストデータ３１２を受信する。分類モジュール３１４のトレーニングと実行は後で記述する。
【００４８】
図４は、本発明の一実施形態に関わる、図３のメディアファイル分類システム３００のトレーニングフェーズ４２０を表すブロック図である。トレーニングフェーズ４２０の間に、デジタル画像ファイルの分類のためのコンポーネントがトレーニングデータ３２２を用いて構築される。トレーニングフェーズ４２０は、特徴抽出ブロック４２４と、分類コンポーネント（分類器）４３２〜４３８を構築するためのパーテション（分割）ブロック４２６を含む。
【００４９】
特徴抽出ブロック４２４は、公知の特徴分析手法を用いて各デジタルファイルから低レベルの特徴データを抽出するように設定することができる。特徴データには、例えば、カラーヒストグラム、テクスチャやエッジ特徴、動作分析、顔検出などの視覚特徴を含めることができる。一実施形態としては、エッジ配向（ｅｄｇｅ ｏｒｉｅｎｔａｔｉｏｎ）ヒストグラムは、Ｃａｎｎｙフィルタのようなフィルタを適用した後に、画像の方向にかかわらず一様な空間グリッドから抽出される。エッジは、ヒストグラムを求めるために、所定数に等分された配向ビンに入れて量子化してもよい。各画素のエッジの強度は、対応する配向範囲内のビンに対する重みとして計数される。予備（ｅｘｔｒａ）ビンは、スムーズな点（特に検出可能なエッジがないブロックにおける）を収集するための、閾値や他の同等指標の値以下のエッジ強度のために用いられる。こうして、各ブロックは、それぞれのヒストグラムと空間グリッドのサイズを形成するために、区別された複数の配向ビンの数に応じて結果的に多次元的な表現を持つようになる。特徴は次元ごとの最大・最小スタイルにより正規化され、これを数式で表すと、数式（１）となる。
【数１】
ここで、ｉは特徴ｆに関する次元、f i m は次元ｉでの特徴の最小値、f iM は特徴の最大値であり、それぞれの次元の特徴値f i は
【数２】
に正規化される。
【００５０】
各デジタル画像の高次元特徴空間が与えられると、局所的に最大のトレーニングセットを特徴付けるために、それらの特徴は分割ブロック４２６を介して特徴のサブブロックに分割される。特徴抽出ブロック４２４により低レベルの特徴が抽出され、最近傍法を用いて分割ブロック４２６により、一連の単純な検索ツリー要素（分類器４３２〜４３８）を形成することができる。各検索ツリーは各特徴のサブセットに対して計算される。一実施形態としては、最も単純な分類技術は、分類器４３２〜４３８としてＫ次最近傍成分（ｋｄツリー）を利用するものである。ｋｄツリーは次元数が高いときにうまくスケーリングできないので、分解工程では特徴をサブスペースに分割し次元数を減少させる工程が加えられる。一実施形態としては、ｋｄツリーの特徴は３０次元以下のサブスペースに分割される。形成された分類器４３２〜４３８（ｋｄツリー）は、トレーニングデータ３２２の関連付けられたアノテーションから、近似最近傍検索を加速するために用いられる。
【００５１】
図５は、本発明の一実施形態に関わる図３のメディアファイル分類システム３００のテストフェーズ５２０を示したブロック図である。一旦分類器５３２〜５３８がトレーニングデータ３２２を用いて構築されると、テストデータ３１２の各テストデジタルファイル３１３にマッチする最近傍候補を、トレーニングデータ３２２から計算するために、テストデータ３１２は分類器５３２〜５３８に適用される。テストデータ３１２はその一部がトレーニングデータ３２２として用いられるデジタル画像ファイルの公開されたコレクションであってもよく、あるいは、テストデータ３１２はユーザからの個別あるいは個人的なコレクションのデジタル画像ファイルであってもよい。テストデータ３１２のコレクションの各画像ファイル３１３は、先に述べたように、トレーニングフェーズ４２０の間に構築された分類器５３２〜５３８に基づいて特徴サブセットとして調整される特徴を抽出するために分類モジュール３１４によって受け取られる。近似最近傍はトレーニングデータ３２２の抽出された特徴を用いて、分類器５３２〜５３８を用いてテストデジタルファイル３１３の抽出された特徴に対して検索される。各ツリー５３２〜５３８は各ファイル３１３から抽出された特徴の割り当てられた各次元サブスペースに応じて、（トレーニングデータ３２２の中から候補に類似した）最近傍候補を検索する。一実施形態では、各ツリー５３２〜５３８はより高速処理を実現するために３０次元以下のサブスペースで候補を検索する。各画像ファイル３１３に対して、ｋｄツリー５３２〜５３８による部分距離計算によって、複数の最近傍候補がトレーニングデータ３２２から素早く認識される。最近傍候補の部分距離計算は、完全な距離を計算し画像ファイル３１３への最もマッチした候補を決定するために、距離／ソートブロック５５２により結合される。より具体的に、各ツリー５３２〜５３８からの１０個の最近傍候補が、部分距離計算法を用いて、与えられたテストデジタルファイル３１３に対して識別される場合を考える。このステップでは数百という単位のトレーニングサンプルを作成し、この中から距離／ソートブロック５５２によって完全な距離を再計算することで決定された画像ファイル３１３に近い１０個の候補が決定される。１０個の最良の候補はテストデジタルファイル３１３にアノテーションを付与するために利用される。
【００５２】
一実施形態では、所定数の最もマッチする最近傍が選択される。あるいは、各検索における最近傍候補は、トレーニングデータ３２２から最もマッチしたサンプルあるいはマッチしたサンプルのサブセットを識別するための、既存の優先キュー手法により短縮することができる。あるいは、最もマッチしたサンプルを、部分距離計算により決定された候補群から、および／あるいは完全距離計算により決定された候補群から決定するために、閾値基準を使うことができる。一実施形態では、一旦最もマッチした候補が識別されると、距離／ソートブロック５５２は、後で詳細を説明するように、テストデータアノテーション３５０を識別するためにもっともマッチした候補のそれぞれあるいはマッチした候補のサブセットに対して計算した距離−重み付けスコアを用いて、画像ファイル３１３に対して引き続いて投票を行うための設定がされる。
【００５３】
図６Ａ〜図６Ｄは、本発明の一実施形態に関わる図３のメディアファイル分類システム３００のトレーニングおよびテストフェーズ４２０と５２０におけるデータ構造を示す。一実施形態では、先に述べたように、各画像ファイル３１３の特徴を抽出するために、各デジタル画像の特徴空間は所定の空間グリッドにより定義される。各グリッドのブロックは、ビンの方向を決定しヒストグラムを形成するために、公知のエッジ検出手法を用いてフィルタ処理される。例えば、図６Ｂは、一実施形態によれば、空間グリッド６５２は７×７次元で定義され、エッジは１６個に等しく分割された配向ビン６５４により量子化される。一つの追加ビン６５６は、各ブロックが１７次元の表現を有するような場合に所定の閾値以下となるエッジ強度に対して用いられる。このようにして、各画像ファイル３１３に対応する特徴の結果的な次元数は、４９×１７＝８３３となる。オンラインで入手される大量のデジタル画像ファイルが与えられるなら、大規模なトレーニングサンプルのセットを利用することができる。大きな次元のトレーニングセットを利用する公知の他の分類手法は計算が複雑であったり、処理時間が長く非効率な方法に依存したりしている。このため、トレーニングセットの高次元は解消されなければならず、計算の複雑さは抑えられ、サイズが原因となる処理時間は分類処理が実用的となる程度まで短くなければならない。
【００５４】
図６Ｂは、本発明の一実施形態である上述の例で述べたように、どのように画像の特徴（例えば８３３全特徴）が、クラスタ６６２（１からｎ）のサブセットに、分割することができるか、を示している。特徴のサブセットは低次元の分類器５３２〜５３８を簡単に構築し、実行するために分割されてもよい。一実施形態では、特徴のサブセットは配向ビン６５４、６５６に応じて分割することができる。あるいは、特徴のサブセットは、特徴のカテゴリ、例えば各配向ビン６５４、６５６に関連付けられた特徴、に応じて配置することもできる。クラスタ６６２は、トレーニングフェーズ４２０の間に対応する分類ツリー６６４を構築するようにそれぞれ用いられる。テストフェーズ５２０で、特徴を比較し最近傍候補を識別するために距離ベクトルを計算するための分類ツリー６６４の構築と同様の手法で、特徴が各テストデジタルファイル３１３から抽出されて分割される。このようにして、各ツリー６６４に対応する特徴のセット６７２は、部分距離を計算し、潜在的な最近傍候補を判断するために用いられる特徴６７２−１〜６７２−ｐを含む。例えば、各特徴６７２−１から６７２−ｐについて、部分距離はベクトルｎ−１〜ｎ−ｐとして計算され、トレーニングデータ３２２の候補から抽出されたそれぞれの特徴に対して比較される。このようにして、本実施例においては、ｎ番目のツリー６６４について、特徴６７４は自身の特徴のセット６７２に対応するものとして判別される。一実施形態においては、部分距離ベクトルｎ−１〜ｎ−ｐが計算され、特徴は部分距離計算により順位付けされてもよい。引き続いて、それぞれの候補隣接ファイルの全ての特徴は距離／ソートブロック５５２で結合され、各隣接候補間の全体の距離が計算される。隣接候補は、もっともマッチした候補あるいはマッチした候補のサブセットを識別するために、後述するように順位付けすることもできる。
【００５５】
このようにして、分類ツリー６６４を用いる最近傍検索では各ツリー６６４の特徴の初期ランキングのための部分距離計算が行われる。潜在的に最もよい候補や候補のサブセットは、既述のように多くの異なる手法で、初期の特徴の集合から選択することができる。各候補の部分距離計算は、最終候補を決定するうえで、完全な距離を決定（距離／ソートブロック５５２において）するために、分類ツリー６６４全体にわたる部分計算を結合することによって更に改良される。候補は最終の完全距離ベクトルの結果に応じてランキングすることができ、所定数のトップ候補はテストデジタルファイル３１３にアノテーション付けをするために選択される。分類ツリー６６４はタグ、トピックス、テーマなどといったカテゴリに応じてなど多くの異なる方法で構築することができる。例えば、他の一例として、各ツリー６６４は特定のタグや共通のテーマを共有するタグのグループに応じて構築することができる。
【００５６】
一実施形態としては、距離−重み付けスコアは各ラベル（タグ）に対して最もマッチした候補のクラスに応じて計算される。より具体的には、テストサンプルにもっともマッチする所定の数が１０だとする。１０のトレーニングサンプルをｘi（ここでｉ ＝ ｛１, …, １０｝）として記述し、テストサンプル（クエリ画像）はｑとする。単純化のために、１０個のサンプルはｑからの距離に応じてソートされ、ｘiがｑに最も近いトレーニングサンプルであり、１０個のサンプル中でｉ番目に遠い距離をｄ（ｘi，ｑ）とする。そうすると、各ラベル（タグ）ｌ のスコアは次の式によって決定される。
【数３】
ここで、δ(・)は、引数がゼロのときに１で、それ以外は０のデルタ関数である。Yi（l）＝１は、ラベルｌ がトレーニングサンプルｘiに適用されたことを、そしてYi（l）＝−１はそれ以外であることを示す。最もマッチした重み付け投票スコアが、最もマッチしたテストデータアノテーション３５０を示す。
【００５７】
図６Ｃは、最終距離−重み付けスコアが計算された後のランク付けされた候補６７３のデータ構造を示す。一実施形態は、セット中の各候補６７３−１〜６３７−ｎについて、対応する距離−重み付けスコアがツリー全体にわたる部分距離計算を足し合わせることで計算される。こうして、候補６７３は各距離―重み付けスコアにそれぞれ応じてランキングされ、所定数の候補６７３が最もマッチしたあるいはマッチした候補のサブセットとして識別される。一実施形態では、各候補６７３−１〜６７３−ｎは、トレーニングデータ３２２からのそれぞれのファイルに対応する。あるいは、候補のクラス６７３は一つのタグあるいはタグのカテゴリを表すようにすることもできる。
【００５８】
図６Ｄは、他の実施形態に関わる、最もマッチした候補６８３−１〜６８３−ｎを識別するデータ構造６８０を示す。一旦最もマッチした候補６８３が決定すると、候補６８３はテストデータ３１２をアノテーション付けするために多くの手法を用いることができる。一実施形態としては、タグあるいはタグのセットは予め決定しておき、特定のタグがテストデータ３１２のテストデジタルファイル３１３にどの程度マッチするかを決定することにユーザが関心を持つかもしれない。あるいは、ユーザは、タグのクラスあるいはタグのクラスからのタグに、最もマッチしたファイルあるいはマッチしたファイルのサブセットに関心があるかもしれない。一実施形態において、タグ（あるいはタグのセット）とテストデジタルファイル３１３が与えられたとき、各最もマッチした候補６８３−１〜６８３−ｎは、距離−重み付けスコアを使ってタグやタグのクラスに対して投票をするために使われる。一実施形態では、各候補６８３−１〜６８３−ｎは、それぞれの距離−重み付けスコアが閾値に達しているかどうかで投票を行い、１か０の二値の投票６８２−１〜６８２−ｎを行う。投票結果はどの特定のタグあるいはタグのクラスをテストデジタルファイル３１３に関連付けることができるかの程度を決定するために結合されてもよい。例えば、テストデジタルファイル３１３と第一のタグが供給されているとして、もし１０個の最もマッチした候補の中から６個に「１」の投票がなされたら、第一のタグの強さは０．６とする。第２のタグについて１０中９個のタグに最もマッチした候補６８３が「１」であった場合には、第２のタグの強度は０．９である。この結果、第２のタグは与えられたテストデジタルファイル３１３によりマッチする。
【００５９】
図７は、一実施形態に関わる強化分類モジュール７７４を含む強化分類システム７００のブロック図である。一実施形態において、強化分類システム７００は図３の分類システム３００に含まれる強化分類モジュール７７４を含み、アノテーション付けをデータファイルに行う処理をより改良するために用いられる。一実施形態では、関連付けられた特徴が選択され、関連付けられた特徴の候補結果は、強化分類手法（弱分類器（特徴が乏しい、あるいは単純な分類器）の組み合わせのセットから、より強化した分類器を反復して構築する適応型機械学習法）を用いて結合される。分類モジュール７１４は、第２のトレーニングデータ７２２と示されているトレーニングデータがさらに分類器５３２〜５３８を訓練するために用いられる点以外は、図３の分類モジュール３１４と同様に実行される。図３〜図６に既述されるのと同様のプロセスで、分類器５３２〜５３８は最近傍候補６７３、６８３を計算するために用いられる。弱分類器は、距離ベクトルと距離−重み付けスコアを第２のトレーニングデータ７２２と関連付けられた第２のアノテーションデータ７３０に対して再計算することでさらに教育される。最近傍候補６７３、６８３を決定するための新しい距離―重み付け値は付加的に重み付けられ、学習強化分類モジュール７７４中により強化された強化分類器を形成するために結合される。強化分類器は、今後受信するテストデータファイルをより正確にアノテーション付けする改善された分類器である。一実施形態では、第２のトレーニングデータ７２２は公開され入手可能な、例えばインターネット上のフリッカーやユーチューブのような情報源から得られる、第２のデータセットでもよい。一実施形態では、第２のトレーニングデータ７２２はユーザから提供される１以上のコンテントのセットである。ユーザにより提供されるコンテントは、各ファイルに予め関連付けられたユーザが提供するアノテーションを含んでも良い。一実施形態では、第２のトレーニングデータ７２２の多重反復が、再計算と学習される重み付けを改善するために用いられる。各反復で、組み合わせた弱分類器５３２〜５３８は、よりユーザの嗜好に近く、訓練されそして/またはカスタマイズされた強化分類器を生成する。一実施形態では、強化システム７００のカスタマイゼーションを許すため、例えばユーザ自身のファイルのコレクションに対してユーザが作成したタグアノテーションのような、ユーザが提供する設定により各反復トレーニングが構成される。この結果、強化システム７００は、データファイルと他の情報源にアノテーション付けするための、信頼性を構築し、カスタマイズ可能な高次元の分類システムを実現する、低コストの手段となる。
【００６０】
一実施形態においては、学習強化分類モジュール７７４は強化分類器を形成するために、弱分類器５３２〜５３８を次の数式に基づいて結合する。
【数４】
ここで、Ｔは上記強化アルゴリズムの繰り返し回数、弱分類器ｈt（ｘ，ｌ）はサンプルファイルｘ（例えば、写真画像ファイル）とラベルｌに対し、各ラベルｌに応じてトレーニングサンプルαtを重み付けする分布で定義される。分布は次のように更新される。
【数５】
ここで、Ｙx（ｌ）は、ユーザにより提供されたあるいは手動でタグ付けされたタグｌとサンプルファイルｘに関する入力を表す。各回ｔにおいて、弱分類器ｈtは、Ｄtで重み付けられたトレーニングサンプルに対し、小さな誤りで選択される。そして、Ｄtはモジュール７７４の強化分類器を訓練するために用いるサンプルを重み付ける分布である。アルゴリズムが進行すると、段々誤って分類されたサンプルを重み付けし、数式（３）におけるαtに関するエラーが減少するようにする。数式（３）、（４）に示した強化分類器の訓練メカニズムは、繰り返しによって最終的な強化分類器のハミング（Ｈａｍｍｉｎｇ）損失（ラベルあたりの総損失）の上限を減少させ、エラーを減少させる。
【００６１】
一実施形態では、強化分類器は、弱学習器（Ｗｅａｋ Ｌｅａｒｎｅｒ）の候補セットＨp＝｛ｈ1（・）， ｈ2（・），…ｈK（・）｝から学習可能であり、次に示す集合コスト関数（ｃｏｌｌｅｃｔｉｖｅ ｃｏｓｔ ｆｕｎｃｔｉｏｎ 複数ファイルの複数タグの平均エラー）を各繰り返しｔ＝１，…，Ｔで最適化する。
【数６】
【００６２】
ロジスティックコスト関数（ｌｏｇｉｓｔｉｃ ｃｏｓｔ ｆｕｎｃｔｉｏｎ）は、全ラベルＹ（ｌ）、ｌ＝１，…，Ｌとトレーニングデータ中のサンプルｘi＝１，…，Ｎにわたる全体のエラー含む。そして、一連の繰り返しにおいて、強化分類器ｈt∈Ｈpは交換なしに選択され、強化分類器は最適化された重み付けを各ラベルαt（l）に関して学習する。
【００６３】
一実施形態では、弱分類器は最適化された重み付けを持つように選択され、選択された分類器は数式（５）の結合ロジスティック損失（ｊｏｉｎｔ ｌｏｇｉｓｔｉｃ ｌｏｓｓ）を最適化するために、すべての分類器にわたって用いられる。一方、ラベルあたりの損失を最小化するより集合損失を最適化する目的で弱分類器を選択することは、次に最適な方法である。言い換えると、もし同じアプローチが利用されればパフォーマンスは改善するが、各ラベルごとの損失は独立して最小化される。一実施形態では、より多くの弱分類器を集合ラベリング（Ｃｏｌｌｅｃｔｉｖｅ Ｌａｂｅｌｌｉｎｇ）作業のために使用してもよい。しかし、このアプローチは、もし追加された弱分類器の追加の計算が不要で、単に記憶装置を追加すればよいのであれば扱いやすい。さらに、一実施形態としては、強化分類器の訓練はオフラインで行うこともできる。重みと分類は、テスト時間が著しく増加しないように予め計算される。Ｈpの計算はラベル数には決定的には依存しない。むしろ、トレーニングセットのサイズと特徴表現の次元が計算上の複雑性を決定する。
【００６４】
まとめると、ラベル（タグ）は、効率を犠牲にすることなくエラーを減少させるために、学習された強化分類モジュール７７４と第２のトレーニングデータ７２２を用いて、他のラベルと大規模なデータセットを用いるアノテーション付けをすることができる。さらに、最近傍アプローチは、システム３００、７００が大規模な量の高次元のメディアファイルを管理し計算上の複雑性を伴わないようにするために、全ての候補に対して共有されるツリーの一つのセットを訓練することが必要である。
【００６５】
図８は、本発明の一実施形態に関わる図７に関して説明した処理手順に基づいて訓練された強化分類モジュール８１４を含むメディアファイル分類システム８００のブロック図である。前述のように強化分類モジュール８１４は、分類モジュール３１４により実現される弱分類器（分類器５３２〜５３８）に繰り返し重みを与える追加的な手段を提供する。一実施形態において、一旦システム８００が訓練、試験そして改良されると、ユーザはユーザ自身のデジタル画像ファイルのアノテーション付けされたコレクションであるユーザトレーニングデータ８２２を、強化分類モジュール８１４に適用することが可能であり、分類器５３２〜５３８をユーザの個人コレクションに関する重みを学習させて強化分類器がユーザのアノテーションデータ８３０を予測するように更新することができる。強化分類システム８００はその後にユーザにより提供された受信データファイル８１２に関するアノテーション８５０を生成してアノテーション付けするために使用することができる。一実施形態では、データファイル８１２が例えばデジタルカメラ、携帯電話、パーソナルコンピュータ、ラップトップコンピュータ、ＰＤＡあるいは他の携帯デバイスなどからのファイルであってもよい。テストデータ３１２と同様に、データファイル８１２もまたユーザ自身の所持するデータコレクション、および／あるいは公開されたウェブサイトやインターネットを介して他のユーザから得たデータであってもよい。
【００６６】
一実施形態における例示として、写真共有サイトであるフリッカー（Flicker）から収集した大規模なデータセットを用いて訓練されたメディア分類システム３００、８００と他の公知の自動アノテーション方法とを比較する。５６，３１５枚のデジタル画像写真が、人気のあるタグのセットの中の少なくとも１つを保持するように選択される。写真はランダムに略同数の２８，１５７枚の訓練セットと２８，１５８枚のテストセットに分割する。ダウンロードした写真の少なくとも４５０枚について、３４個の人気のあるラベル（タグ）がテスト用に選択される（写真セットは５，０００以上のタグを含んでいる）。これらのラベルに対して、最近傍の決定がシステム３００とシステム８００を用いて為され、各システム３００、８００からのそれぞれの結果が、一般的であって競合する基本的なアプローチである標準的なサポートベクトルマシン（ＳＶＭｓ）を用いた結果と比較される。強化重みを訓練するうえで、実験におけるテストセットとの乖離が小さくなるように（テストセット全体のサイズは２８，１５８枚）、テストセットから３，１２８枚の写真が使用される。
【００６７】
この実験結果を表１に示す。それぞれシステム３００と８００を用いた最近傍法と強化アプローチは、ＳＶＭ法における平均精度の平均（ｍｅａｎ ａｖｅｒａｇｅ ｐｒｅｃｉｓｉｏｎ （ＭＡＰ））とほぼ同等か改善される。
【表１】
特に、強化によって全体的なパフォーマンスが改善する。例えば、表１でＳＶＭ法ではＭＡＰが（ｅｈ１７ ７ｘ７において）０．１１４〜０．１２４との結果であり、最近傍法ＮＮ（システム３００）では、ＭＡＰが０．１２６と若干の改善を示している。比較して、最近傍法と強化法を用いる（システム８００）ＭＡＰの結果（ＮＮ＋ＭＳＢＯＯＳＴ）は０．１４２とずっと高い精度のパフォーマンスを示している。表１は、他のタグと大規模データセットを利用することが可能で、与えられたラベル（あるいはタグ）でアノテーション付けすることが効果的であることを示している。
【００６８】
図９は、一実施形態における、メディアファイル分類システム３００、８００を実現するための方法９００のフローチャートを示す。方法９００は、デジタル画像ファイルの画像ファイル分類／アノテーションの自動化のための方法を表す。一実施形態では、この方法は、各デジタルファイルに１以上の関連付けられたアノテーションを含む、第一の複数のデジタルファイルの複数の第１の特徴から１セットの分類器を生成することを含んでいる（９１０）。ステップ９２０で、第２の複数のデジタルファイルの少なくとも１つから抽出された複数の第２の特徴がステップ９１０の分類器のセットに応じてソートされる。第２の特徴と、対応する一つの分類器の各複数の第一の特徴間の距離ベクトルが決定され、特徴は決定された距離に応じて順位付けられる（９３０）。ステップ９４０で、それぞれ１以上の関連付けられたアノテーションに対応する、最もマッチしたファイルあるいはマッチしたファイルのサブセットがランキングに応じて選択される。そしてステップ９５０で、最もマッチしたファイルあるいはマッチしたファイルのサブセットから１以上のアノテーションが、対応する分類器を用いて第２の複数のデジタルファイルの少なくとも一つに関連付けられる。
【００６９】
図１０Ａと図１０Ｂは、他の実施形態に関わるメディアファイル分類／アノテーションシステム３００、８００を実現する方法１０００を示すフローチャートである。一実施形態では、方法１０００は、各画像ファイルに１以上の関連付けられたアノテーションを含む、第１の複数の画像ファイルのそれぞれから複数の第１の特徴を抽出することを含んでいる（１０１０）。各第一の画像ファイルについて、第一の特徴は複数の第一の特徴のサブセットに分割される（１０２０）。ステップ１０３０では、複数の分類器が第１の特徴のサブセットのそれぞれに対して形成される。複数の第２の特徴が複数の第２の画像ファイルのそれぞれから抽出される（１０４０）。第２の画像ファイルに対して、ステップ１０５０では、第２の特徴は複数の第２の特徴のサブセットに分割され、その複数の第２の特徴のサブセットは対応する一つの分類器を用いて保存され、各第２の特徴のサブセットと対応する一つの分類器の第１の特徴との間の距離が決定される（１０６０）。特定の第２の画像ファイルの全てのサブセットに関する距離に基づいて、特定の１以上の分類器にマッチしたファイルのサブセットから第１の画像ファイルが決定される（１０７０）。ステップ１０８０で、特定の第２の画像ファイルが、マッチした第１画像ファイルの選択されたグループに対して関連付けられたアノテーションから得られた、１以上のアノテーションに関連付けられる。
【００７０】
図１１は、他の実施形態に関わるメディアファイル分類システム３００、８００を実現する方法１１００を示すフローチャートである。この方法は、各画像ファイルに１以上の関連付けられたアノテーションを含む、第一の複数の画像ファイルのそれぞれから複数の第１の特徴を抽出することを含んでいる（１１１０）。またこの方法は、各第１の画像ファイルの第１の特徴を第１の特徴の複数のサブセットに分割することを含む（１１２０）。分類器は第１の特徴の複数のサブセットに対して形成され（１１３０）、各分類器は複数の第１の画像ファイルのそれぞれからのそれぞれの特徴のサブセットに対応する。ステップ１１４０では、各複数の第２の画像ファイルから複数の第２の特徴が抽出され、ステップ１１５０では、第２の特徴が各第２の画像ファイルに対して第２の複数の特徴のサブセットに分割される。ステップ１１６０では、各サブセットには、第２の特徴の各サブセットと第１特徴の間の距離が対応する一つの分類器を用いて決定される。ステップ１１７０では、特定の第２の画像のサブセットの距離に基づいて、特定の１以上の分類器に対してマッチしたファイルのサブセットからマッチした画像ファイルが決定される。
【００７１】
なお、これまでの説明を目的とした既述は特定の実施形態を参照して説明している。しかし、こうした説明は開示したとおりに本発明が限定されることを意図するものではない。多くの変更や変更が、この教示に基づいて可能である。実施形態はもっとも本発明の原理や具体的用途を説明しやすいために選択され既述されたものであり、それゆえに本技術分野の当業者であれば発明や多様な変更を特定用途において適当となるよう変更を加えて利用することが可能である。
【符号の説明】
【００７２】
８００ メディアファイル分類システム
３１４ 分類モジュール
８１２ データファイル
８１４ 強化分類モジュール
８２２ ユーザトレーニングデータ
８３０ ユーザアノテーション
８５０ データファイルアノテーション
【特許請求の範囲】
【請求項１】
分類器生成手段が、それぞれ１以上の関連付けられたアノテーションを含む複数の第１のデジタルファイルの複数の第１の特徴から分類器のセットを生成し、
ソート手段が、前記複数の分類器に基づいて、複数の第２のデジタルファイルの少なくとも１つから抽出された複数の第２の特徴をソートし、
距離順位付け手段が、前記複数の第２の特徴と各前記第１の特徴との間の距離ベクトルを、対応する分類器のそれぞれに対して決定し、決定された前記距離ベクトルに基づく距離を順位付けし、
選択手段が、前記順位付けに基づいて、それぞれ１以上の関連付けされたアノテーションに対応する、所定条件にマッチしたファイルのサブセットを選択し、
アノテーション関連付け手段が、前記マッチしたファイルのサブセットと関連付けられたアノテーションから１以上のアノテーションを、前記複数の第２のデジタルファイルの少なくとも一つに、対応する前記分類器を用いて関連付ける、
コンピュータを用いてデジタルファイルにアノテーション付けを行う方法。
【請求項２】
更に、
重み決定手段が、前記複数の第２のデジタルファイルの前記少なくとも１つを前記複数の分類器に適用して各前記複数の分類器に応じた重みを決定し、
重み結合手段が、１以上の前記分類器に応じて前記重み値を結合し、
前記アノテーション関連付け手段が、マッチしたファイルの各サブセットの１以上のアノテーションを、結合した前記重み値に基づいて、前記複数の第２のデジタルファイルの少なくとも１つに関連付けることを特徴とする請求項１記載のアノテーション付けを行う方法。
【請求項３】
前記アノテーション関連付け手段が、前記複数の第２のデジタルファイルを、前記対応する分類器に応じて１以上のユーザにより供給されるアノテーションに関連付けし、
１以上のアノテーションが対応する分類器のそれぞれを用いて前記複数の第２のデジタルファイルのそれぞれに１以上のアノテーションを関連付け、
受信手段が、第３の複数のデジタルファイルを受信し、
特徴抽出手段が、前記第３の複数のデジタルファイルから複数の第３の特徴を抽出し、
分割手段が、前記複数の第３の特徴を前記第３の特徴の複数のサブセットに分割し、
再計算手段が、対応する前記分類器のそれぞれを用いて前記第３の特徴の複数のサブセットをソートし、前記第３の特徴のサブセットのそれぞれと対応する前記分類器の前記第２の特徴の間の距離を再計算し、
重み決定手段が、前記再計算された距離に基づいて前記複数の分類器のそれぞれに対しての重み値を決定し、
前記アノテーション関連付け手段が、前記複数の第３のデジタルファイルの少なくとも一つに１以上のアノテーションを、１以上の前記重み値に基づいて、マッチした第１および第２のデジタルファイルの各サブセットのアノテーションを用いて、関連付けることを特徴とする請求項１記載のアノテーション付けを行う方法。
【請求項４】
更に、
重み値更新手段が、１以上のユーザが設定したアノテーションを有するデジタルファイルを受信するのに応じて、一以上の前記重み値を更新することを特徴とする請求項３記載のアノテーション付けを行う方法。
【請求項５】
前記選択手段は、前記マッチしたファイルの選択において、所定の基準に基づいてマッチしたファイルのサブセットを選択することを含む、請求項１記載のアノテーション付けを行う方法。
【請求項６】
前記所定の基準は前記第１および第２の特徴間の最近傍計算を比較する重み付け距離値に基づくことを特徴とする請求項５記載のアノテーション付けを行う方法。
【請求項７】
前記分類器生成手段は、
前記複数の分類器の生成において、複数のｋ次元ツリーを生成することを含み、
前記マッチしたファイルのサブセットの選択においては、少なくとも１０個の最近傍を各前記複数のｋ次元ツリーにマッチするファイルのサブセットに基づいて選択することを含むことを特徴とする請求項１記載のアノテーション付けを行う方法。
【請求項８】
前記アノテーション関連付け手段が、前記マッチしたファイルのサブセットとそれぞれ関連付けられたアノテーションから１以上のアノテーションを、前記複数の第２のデジタルファイルの少なくとも一つに、対応する前記分類器のそれぞれを用いて関連付けることは、各最近傍に前記各分類器に対応する重み値に基づいて投票を行うことで決定し、１以上のアノテーションを、各最近傍への投票あるいは投票の合計に基づいて前記受信したデジタルファイルに関連付けることを含むことを特徴とする請求項７記載のアノテーション付けを行う方法。
【請求項９】
第１の分類器生成手段が、
１以上の関連付けられたアノテーションを含む複数の第１のデジタルファイルのそれぞれから複数の第１の特徴を抽出し、
前記第１のデジタルファイルを複数の前記第１の特徴のサブセットに分割し、
前記第１の特徴の各サブセットの複数の分類器を形成し、
第２の特徴サブセット生成手段が、
複数のデジタルファイルのそれぞれから複数の第２の特徴を抽出し、
前記複数の第２のファイルを前記第２の特徴の複数のサブセットに分割し、
ソート手段が、前記第２の特徴の複数のサブセットを対応する前記複数の分類器に応じてソートし、
距離決定手段が、前記第２の特徴のサブセットのそれぞれと前記対応する複数の分類器の前記第１の特徴との間の距離を決定し、
選択手段が、特定の一つの前記第２のデジタルファイルの全てのサブセットの距離に基づいて、特定の１以上の前記分類器にマッチしたファイルのサブセットから前記第１のデジタルファイルを決定し、
アノテーション関連付け手段が、前記第２のデジタルファイルの前記特定の一つを、第１のデジタルファイルにマッチするグループのデジタルファイルから得られる１以上のアノテーションに関連付けることを特徴とするコンピュータを用いてアノテーション付けをする方法。
【請求項１０】
前記複数の第２のデジタルファイルは１以上のユーザにより提供されたアノテーションと関連付けられ、
前記アノテーション関連付け手段が、前記対応する分類器を用いて、１以上のアノテーションを各前記複数の第２デジタルファイルに関連付け、
受信手段が、第３の複数のデジタルファイルを受信し、
特徴抽出手段が、少なくとも一つの前記第３の複数のデジタルファイルから複数の第３の特徴を前記対応する一つの分類器を用いて抽出し、
分割手段が、前記複数の第３の特徴を複数の前記第３の特徴のサブセットに分割し、
前記ソート手段が、前記複数の第３の特徴のサブセットを対応する前記分類器の一つをもちいてソートし、
再計算手段が、各前記第３の特徴のサブセットと前記対応する分類器の前記第２の特徴との間の距離を再計算し、
前記選択手段が、１以上の特徴のサブセットの距離に基づいて、前記特定の１以上の前記分類器にマッチするファイルのサブセットから、マッチする前記第１および第２のデジタルファイルを決定し、
重み決定手段が、前記再計算した距離に基づいて各１以上の前記分類器に応じた重み値を決定し、
前記アノテーション関連付け手段が、少なくとも一つの前記複数の第３のデジタルファイルと、前記各マッチした第１および第２のデジタルファイルのアノテーションからの１以上のアノテーションを、１以上の前記重み値に基づいて、関連付けることを特徴とする請求項９記載のアノテーション付けをする方法。
【請求項１１】
前記重み決定手段は、１以上の前記重み値を１以上のユーザが提供するアノテーションを含む受信デジタルファイルに応じて更新し、現在の前記重み値を調整するために一以上の重み値を１以上の前記分類器に応じて選択することを特徴とする請求項１０記載のアノテーション付けをする方法。
【請求項１２】
前記選択手段は、特定の１以上の前記分類器にマッチしたサブセットからマッチする前記第２のデジタルファイルを選択するときに、所定の距離条件に合致する距離に対応する前記第２のデジタルファイルにマッチする１以上の分類器を選択することを特徴とする請求項９記載のアノテーション付けをする方法。
【請求項１３】
コンピュータに、
分類器生成手段が、それぞれ１以上の関連付けられたアノテーションを含む複数の第１のデジタルファイルの複数の第１の特徴から分類器のセットを生成し、
ソート手段が、前記複数の分類器に応じて基づいて、複数の第２のデジタルファイルの少なくとも１つから抽出された複数の第２の特徴をソートし、
距離順位付け手段が、前記複数の第２の特徴と各前記第１の特徴との間の距離ベクトルを、対応する分類器のそれぞれに対して決定し、決定された前記距離ベクトルに基づく距離を順位付けし、
選択手段が、前記順位付けに基づいて、それぞれ１以上の関連付けされたアノテーションに対応する、所定条件にマッチしたファイルのサブセットを選択し、
アノテーション関連付け手段が、前記マッチしたファイルのサブセットと関連付けられたアノテーションから１以上のアノテーションを、前記複数の第２のデジタルファイルの少なくとも一つに、対応する前記分類器を用いて関連付ける、
手順を実行させ、デジタルファイルにアノテーション付けを行うためのコンピュータプログラム。
【請求項１４】
更に、
重み決定手段が、前記少なくとも一つの複数の第２のデジタルファイルを前記複数の分類器に適用して各前記複数の分類器に応じた重みを決定し、
重み結合手段が、前記１以上の分類器に応じて前記重み値を結合し、
前記アノテーション関連付け手段が、合致ファイルの各サブセットの１以上のアノテーションを、前記結合した重み値に基づいて、前記複数の第２のデジタルファイルの少なくとも一つに関連付けることを特徴とする請求項１３記載のアノテーション付けを行うためのコンピュータプログラム。
【請求項１５】
前記アノテーション関連付け手段が、前記複数の第２のデジタルファイルを、前記対応する分類器に応じて１以上のユーザにより供給されるアノテーションに関連付けし、
１以上のアノテーションが対応する分類器のそれぞれを用いて前記複数の第２のデジタルファイルのそれぞれに１以上のアノテーションを関連付け、
受信手段が、第３の複数のデジタルファイルを受信し、
特徴抽出手段が、前記第３の複数のデジタルファイルから複数の第３の特徴を抽出し、
分割手段が、前記複数の第３の特徴を前記第３の特徴の複数のサブセットに分割し、
再計算手段が、対応する前記分類器のそれぞれを用いて前記第３の特徴の複数のサブセットをソートし、前記第３の特徴のサブセットのそれぞれと対応する前記分類器の前記第２の特徴の間の距離を再計算し、
重み決定手段が、前記再計算された距離に基づいて前記複数の分類器のそれぞれに対しての重み値を決定し、
前記アノテーション関連付け手段が、前記少なくとも一つの複数の第３のデジタルファイルに１以上のアノテーションを、１以上の前記重み値に基づいて、合致した第１および第２のデジタルファイルの各サブセットのアノテーションを用いて、関連付けることを特徴とする請求項１３記載のアノテーション付けを行うためのコンピュータプログラム。
【請求項１６】
コンピュータに、
第１の分類器生成手段が、
１以上の関連付けられたアノテーションを含む複数の第１のデジタルファイルのそれぞれから複数の第１の特徴を抽出し、
前記第１のデジタルファイルを複数の前記第１の特徴のサブセットに分割し、
前記第１の特徴の各サブセットの複数の分類器を形成し、
第２の特徴サブセット生成手段が、
複数のデジタルファイルのそれぞれから複数の第２の特徴を抽出し、
前記複数の第２のファイルを前記第２の特徴の複数のサブセットに分割し、
ソート手段が、前記第２の特徴の複数のサブセットを対応する前記複数の分類器に応じてソートし、
距離決定手段が、前記第２の特徴のサブセットのそれぞれと前記対応する複数の分類器の前記第１の特徴との間の距離を決定し、
選択手段が、特定の一つの前記第２のデジタルファイルの全てのサブセットの距離に基づいて、特定の１以上の前記分類器にマッチしたファイルのサブセットから前記第１のデジタルファイルを決定し、
アノテーション関連付け手段が、前記第２のデジタルファイルの前記特定の一つを、第１のデジタルファイルに合致するグループのデジタルファイルから得られる１以上のアノテーションに関連付ける手順を実行させ、
アノテーション付けを行うためのコンピュータプログラム。
【請求項１７】
前記複数の第２のデジタルファイルは１以上のユーザにより提供されたアノテーションと関連付けられ、
前記アノテーション関連付け手段が、前記対応する分類器を用いて、１以上のアノテーションを各前記複数の第２デジタルファイルに関連付け、
受信手段が、第３の複数のデジタルファイルを受信し、
特徴抽出手段が、少なくとも一つの前記第３の複数のデジタルファイルから複数の第３の特徴を前記対応する一つの分類器を用いて抽出し、
分割手段が、前記複数の第３の特徴を複数の前記第３の特徴のサブセットに分割し、
前記ソート手段が、前記複数の第３の特徴のサブセットを対応する前記分類器の一つを用いてソートし、
再計算手段が、各前記第３の特徴のサブセットと前記対応する分類器の前記第２の特徴との間の距離を再計算し、
前記選択手段が、１以上の特徴のサブセットの距離に基づいて、前記特定の１以上の前記分類器にマッチするファイルのサブセットから、マッチする前記第１および第２のデジタルファイルを決定し、
重み決定手段が、前記再計算した距離に基づいて各１以上の前記分類器に応じた重み値を決定し、
前記アノテーション関連付け手段が、少なくとも一つの前記複数の第３のデジタルファイルと、前記各マッチした第１および第２のデジタルファイルのアノテーションからの１以上のアノテーションを、１以上の前記重み値に基づいて、関連付けることを特徴とする請求項１６記載のアノテーション付けを行うためのコンピュータプログラム。
【請求項１８】
前記重み決定手段は、１以上の前記重み値を１以上のユーザが提供するアノテーションを含む受信デジタルファイルに応じて更新し、現在の前記重み値を調整するために一以上の重み値を１以上の前記分類器に応じて選択することを特徴とする請求項１７記載のアノテーション付けを行うためのコンピュータプログラム。
【請求項１９】
前記選択手段は、特定の１以上の前記分類器にマッチしたサブセットからマッチする前記第２のデジタルファイルを選択するときに、所定の距離条件に合致する距離に対応する前記第２のデジタルファイルにマッチする１以上の分類器を選択することを請求項１６記載のアノテーション付けを行うためのコンピュータプログラム。
【請求項１】
分類器生成手段が、それぞれ１以上の関連付けられたアノテーションを含む複数の第１のデジタルファイルの複数の第１の特徴から分類器のセットを生成し、
ソート手段が、前記複数の分類器に基づいて、複数の第２のデジタルファイルの少なくとも１つから抽出された複数の第２の特徴をソートし、
距離順位付け手段が、前記複数の第２の特徴と各前記第１の特徴との間の距離ベクトルを、対応する分類器のそれぞれに対して決定し、決定された前記距離ベクトルに基づく距離を順位付けし、
選択手段が、前記順位付けに基づいて、それぞれ１以上の関連付けされたアノテーションに対応する、所定条件にマッチしたファイルのサブセットを選択し、
アノテーション関連付け手段が、前記マッチしたファイルのサブセットと関連付けられたアノテーションから１以上のアノテーションを、前記複数の第２のデジタルファイルの少なくとも一つに、対応する前記分類器を用いて関連付ける、
コンピュータを用いてデジタルファイルにアノテーション付けを行う方法。
【請求項２】
更に、
重み決定手段が、前記複数の第２のデジタルファイルの前記少なくとも１つを前記複数の分類器に適用して各前記複数の分類器に応じた重みを決定し、
重み結合手段が、１以上の前記分類器に応じて前記重み値を結合し、
前記アノテーション関連付け手段が、マッチしたファイルの各サブセットの１以上のアノテーションを、結合した前記重み値に基づいて、前記複数の第２のデジタルファイルの少なくとも１つに関連付けることを特徴とする請求項１記載のアノテーション付けを行う方法。
【請求項３】
前記アノテーション関連付け手段が、前記複数の第２のデジタルファイルを、前記対応する分類器に応じて１以上のユーザにより供給されるアノテーションに関連付けし、
１以上のアノテーションが対応する分類器のそれぞれを用いて前記複数の第２のデジタルファイルのそれぞれに１以上のアノテーションを関連付け、
受信手段が、第３の複数のデジタルファイルを受信し、
特徴抽出手段が、前記第３の複数のデジタルファイルから複数の第３の特徴を抽出し、
分割手段が、前記複数の第３の特徴を前記第３の特徴の複数のサブセットに分割し、
再計算手段が、対応する前記分類器のそれぞれを用いて前記第３の特徴の複数のサブセットをソートし、前記第３の特徴のサブセットのそれぞれと対応する前記分類器の前記第２の特徴の間の距離を再計算し、
重み決定手段が、前記再計算された距離に基づいて前記複数の分類器のそれぞれに対しての重み値を決定し、
前記アノテーション関連付け手段が、前記複数の第３のデジタルファイルの少なくとも一つに１以上のアノテーションを、１以上の前記重み値に基づいて、マッチした第１および第２のデジタルファイルの各サブセットのアノテーションを用いて、関連付けることを特徴とする請求項１記載のアノテーション付けを行う方法。
【請求項４】
更に、
重み値更新手段が、１以上のユーザが設定したアノテーションを有するデジタルファイルを受信するのに応じて、一以上の前記重み値を更新することを特徴とする請求項３記載のアノテーション付けを行う方法。
【請求項５】
前記選択手段は、前記マッチしたファイルの選択において、所定の基準に基づいてマッチしたファイルのサブセットを選択することを含む、請求項１記載のアノテーション付けを行う方法。
【請求項６】
前記所定の基準は前記第１および第２の特徴間の最近傍計算を比較する重み付け距離値に基づくことを特徴とする請求項５記載のアノテーション付けを行う方法。
【請求項７】
前記分類器生成手段は、
前記複数の分類器の生成において、複数のｋ次元ツリーを生成することを含み、
前記マッチしたファイルのサブセットの選択においては、少なくとも１０個の最近傍を各前記複数のｋ次元ツリーにマッチするファイルのサブセットに基づいて選択することを含むことを特徴とする請求項１記載のアノテーション付けを行う方法。
【請求項８】
前記アノテーション関連付け手段が、前記マッチしたファイルのサブセットとそれぞれ関連付けられたアノテーションから１以上のアノテーションを、前記複数の第２のデジタルファイルの少なくとも一つに、対応する前記分類器のそれぞれを用いて関連付けることは、各最近傍に前記各分類器に対応する重み値に基づいて投票を行うことで決定し、１以上のアノテーションを、各最近傍への投票あるいは投票の合計に基づいて前記受信したデジタルファイルに関連付けることを含むことを特徴とする請求項７記載のアノテーション付けを行う方法。
【請求項９】
第１の分類器生成手段が、
１以上の関連付けられたアノテーションを含む複数の第１のデジタルファイルのそれぞれから複数の第１の特徴を抽出し、
前記第１のデジタルファイルを複数の前記第１の特徴のサブセットに分割し、
前記第１の特徴の各サブセットの複数の分類器を形成し、
第２の特徴サブセット生成手段が、
複数のデジタルファイルのそれぞれから複数の第２の特徴を抽出し、
前記複数の第２のファイルを前記第２の特徴の複数のサブセットに分割し、
ソート手段が、前記第２の特徴の複数のサブセットを対応する前記複数の分類器に応じてソートし、
距離決定手段が、前記第２の特徴のサブセットのそれぞれと前記対応する複数の分類器の前記第１の特徴との間の距離を決定し、
選択手段が、特定の一つの前記第２のデジタルファイルの全てのサブセットの距離に基づいて、特定の１以上の前記分類器にマッチしたファイルのサブセットから前記第１のデジタルファイルを決定し、
アノテーション関連付け手段が、前記第２のデジタルファイルの前記特定の一つを、第１のデジタルファイルにマッチするグループのデジタルファイルから得られる１以上のアノテーションに関連付けることを特徴とするコンピュータを用いてアノテーション付けをする方法。
【請求項１０】
前記複数の第２のデジタルファイルは１以上のユーザにより提供されたアノテーションと関連付けられ、
前記アノテーション関連付け手段が、前記対応する分類器を用いて、１以上のアノテーションを各前記複数の第２デジタルファイルに関連付け、
受信手段が、第３の複数のデジタルファイルを受信し、
特徴抽出手段が、少なくとも一つの前記第３の複数のデジタルファイルから複数の第３の特徴を前記対応する一つの分類器を用いて抽出し、
分割手段が、前記複数の第３の特徴を複数の前記第３の特徴のサブセットに分割し、
前記ソート手段が、前記複数の第３の特徴のサブセットを対応する前記分類器の一つをもちいてソートし、
再計算手段が、各前記第３の特徴のサブセットと前記対応する分類器の前記第２の特徴との間の距離を再計算し、
前記選択手段が、１以上の特徴のサブセットの距離に基づいて、前記特定の１以上の前記分類器にマッチするファイルのサブセットから、マッチする前記第１および第２のデジタルファイルを決定し、
重み決定手段が、前記再計算した距離に基づいて各１以上の前記分類器に応じた重み値を決定し、
前記アノテーション関連付け手段が、少なくとも一つの前記複数の第３のデジタルファイルと、前記各マッチした第１および第２のデジタルファイルのアノテーションからの１以上のアノテーションを、１以上の前記重み値に基づいて、関連付けることを特徴とする請求項９記載のアノテーション付けをする方法。
【請求項１１】
前記重み決定手段は、１以上の前記重み値を１以上のユーザが提供するアノテーションを含む受信デジタルファイルに応じて更新し、現在の前記重み値を調整するために一以上の重み値を１以上の前記分類器に応じて選択することを特徴とする請求項１０記載のアノテーション付けをする方法。
【請求項１２】
前記選択手段は、特定の１以上の前記分類器にマッチしたサブセットからマッチする前記第２のデジタルファイルを選択するときに、所定の距離条件に合致する距離に対応する前記第２のデジタルファイルにマッチする１以上の分類器を選択することを特徴とする請求項９記載のアノテーション付けをする方法。
【請求項１３】
コンピュータに、
分類器生成手段が、それぞれ１以上の関連付けられたアノテーションを含む複数の第１のデジタルファイルの複数の第１の特徴から分類器のセットを生成し、
ソート手段が、前記複数の分類器に応じて基づいて、複数の第２のデジタルファイルの少なくとも１つから抽出された複数の第２の特徴をソートし、
距離順位付け手段が、前記複数の第２の特徴と各前記第１の特徴との間の距離ベクトルを、対応する分類器のそれぞれに対して決定し、決定された前記距離ベクトルに基づく距離を順位付けし、
選択手段が、前記順位付けに基づいて、それぞれ１以上の関連付けされたアノテーションに対応する、所定条件にマッチしたファイルのサブセットを選択し、
アノテーション関連付け手段が、前記マッチしたファイルのサブセットと関連付けられたアノテーションから１以上のアノテーションを、前記複数の第２のデジタルファイルの少なくとも一つに、対応する前記分類器を用いて関連付ける、
手順を実行させ、デジタルファイルにアノテーション付けを行うためのコンピュータプログラム。
【請求項１４】
更に、
重み決定手段が、前記少なくとも一つの複数の第２のデジタルファイルを前記複数の分類器に適用して各前記複数の分類器に応じた重みを決定し、
重み結合手段が、前記１以上の分類器に応じて前記重み値を結合し、
前記アノテーション関連付け手段が、合致ファイルの各サブセットの１以上のアノテーションを、前記結合した重み値に基づいて、前記複数の第２のデジタルファイルの少なくとも一つに関連付けることを特徴とする請求項１３記載のアノテーション付けを行うためのコンピュータプログラム。
【請求項１５】
前記アノテーション関連付け手段が、前記複数の第２のデジタルファイルを、前記対応する分類器に応じて１以上のユーザにより供給されるアノテーションに関連付けし、
１以上のアノテーションが対応する分類器のそれぞれを用いて前記複数の第２のデジタルファイルのそれぞれに１以上のアノテーションを関連付け、
受信手段が、第３の複数のデジタルファイルを受信し、
特徴抽出手段が、前記第３の複数のデジタルファイルから複数の第３の特徴を抽出し、
分割手段が、前記複数の第３の特徴を前記第３の特徴の複数のサブセットに分割し、
再計算手段が、対応する前記分類器のそれぞれを用いて前記第３の特徴の複数のサブセットをソートし、前記第３の特徴のサブセットのそれぞれと対応する前記分類器の前記第２の特徴の間の距離を再計算し、
重み決定手段が、前記再計算された距離に基づいて前記複数の分類器のそれぞれに対しての重み値を決定し、
前記アノテーション関連付け手段が、前記少なくとも一つの複数の第３のデジタルファイルに１以上のアノテーションを、１以上の前記重み値に基づいて、合致した第１および第２のデジタルファイルの各サブセットのアノテーションを用いて、関連付けることを特徴とする請求項１３記載のアノテーション付けを行うためのコンピュータプログラム。
【請求項１６】
コンピュータに、
第１の分類器生成手段が、
１以上の関連付けられたアノテーションを含む複数の第１のデジタルファイルのそれぞれから複数の第１の特徴を抽出し、
前記第１のデジタルファイルを複数の前記第１の特徴のサブセットに分割し、
前記第１の特徴の各サブセットの複数の分類器を形成し、
第２の特徴サブセット生成手段が、
複数のデジタルファイルのそれぞれから複数の第２の特徴を抽出し、
前記複数の第２のファイルを前記第２の特徴の複数のサブセットに分割し、
ソート手段が、前記第２の特徴の複数のサブセットを対応する前記複数の分類器に応じてソートし、
距離決定手段が、前記第２の特徴のサブセットのそれぞれと前記対応する複数の分類器の前記第１の特徴との間の距離を決定し、
選択手段が、特定の一つの前記第２のデジタルファイルの全てのサブセットの距離に基づいて、特定の１以上の前記分類器にマッチしたファイルのサブセットから前記第１のデジタルファイルを決定し、
アノテーション関連付け手段が、前記第２のデジタルファイルの前記特定の一つを、第１のデジタルファイルに合致するグループのデジタルファイルから得られる１以上のアノテーションに関連付ける手順を実行させ、
アノテーション付けを行うためのコンピュータプログラム。
【請求項１７】
前記複数の第２のデジタルファイルは１以上のユーザにより提供されたアノテーションと関連付けられ、
前記アノテーション関連付け手段が、前記対応する分類器を用いて、１以上のアノテーションを各前記複数の第２デジタルファイルに関連付け、
受信手段が、第３の複数のデジタルファイルを受信し、
特徴抽出手段が、少なくとも一つの前記第３の複数のデジタルファイルから複数の第３の特徴を前記対応する一つの分類器を用いて抽出し、
分割手段が、前記複数の第３の特徴を複数の前記第３の特徴のサブセットに分割し、
前記ソート手段が、前記複数の第３の特徴のサブセットを対応する前記分類器の一つを用いてソートし、
再計算手段が、各前記第３の特徴のサブセットと前記対応する分類器の前記第２の特徴との間の距離を再計算し、
前記選択手段が、１以上の特徴のサブセットの距離に基づいて、前記特定の１以上の前記分類器にマッチするファイルのサブセットから、マッチする前記第１および第２のデジタルファイルを決定し、
重み決定手段が、前記再計算した距離に基づいて各１以上の前記分類器に応じた重み値を決定し、
前記アノテーション関連付け手段が、少なくとも一つの前記複数の第３のデジタルファイルと、前記各マッチした第１および第２のデジタルファイルのアノテーションからの１以上のアノテーションを、１以上の前記重み値に基づいて、関連付けることを特徴とする請求項１６記載のアノテーション付けを行うためのコンピュータプログラム。
【請求項１８】
前記重み決定手段は、１以上の前記重み値を１以上のユーザが提供するアノテーションを含む受信デジタルファイルに応じて更新し、現在の前記重み値を調整するために一以上の重み値を１以上の前記分類器に応じて選択することを特徴とする請求項１７記載のアノテーション付けを行うためのコンピュータプログラム。
【請求項１９】
前記選択手段は、特定の１以上の前記分類器にマッチしたサブセットからマッチする前記第２のデジタルファイルを選択するときに、所定の距離条件に合致する距離に対応する前記第２のデジタルファイルにマッチする１以上の分類器を選択することを請求項１６記載のアノテーション付けを行うためのコンピュータプログラム。
【図１Ａ】
【図１Ｂ】
【図１Ｃ】
【図２Ａ】
【図２Ｂ】
【図３】
【図４】
【図５】
【図６Ａ】
【図６Ｂ】
【図６Ｃ】
【図６Ｄ】
【図７】
【図８】
【図９】
【図１０Ａ】
【図１０Ｂ】
【図１１】
【図１Ｂ】
【図１Ｃ】
【図２Ａ】
【図２Ｂ】
【図３】
【図４】
【図５】
【図６Ａ】
【図６Ｂ】
【図６Ｃ】
【図６Ｄ】
【図７】
【図８】
【図９】
【図１０Ａ】
【図１０Ｂ】
【図１１】
【公開番号】特開２０１０−１６５３４８（Ｐ２０１０−１６５３４８Ａ）
【公開日】平成２２年７月２９日（２０１０．７．２９）
【国際特許分類】
【出願番号】特願２００９−２９０５４８（Ｐ２００９−２９０５４８）
【出願日】平成２１年１２月２２日（２００９．１２．２２）
【出願人】（０００００５４９６）富士ゼロックス株式会社 (21,908)
【Ｆターム（参考）】
【公開日】平成２２年７月２９日（２０１０．７．２９）
【国際特許分類】
【出願日】平成２１年１２月２２日（２００９．１２．２２）
【出願人】（０００００５４９６）富士ゼロックス株式会社 (21,908)
【Ｆターム（参考）】
[ Back to top ]