プログラム及び情報処理システム
【課題】画像の分類精度を従来よりも高くする。
【解決手段】判別基準値算出部３０が、複数の分類それぞれについて、受付画像の特徴量と、複数の学習画像の特徴量と、に基づいて、受付画像が当該分類に属するか否かを判別する判別基準値を特定する。属否可能性算出部３４が、複数の分類それぞれについて、複数の学習画像に基づいて特定される、その分類に属する画像が他の分類にも属する可能性、あるいは、その分類に属さない画像が他の分類にも属さない可能性、の少なくとも一方を表す相関情報と、その分類と他の分類についての判別基準値と、に基づいて、受付画像がその分類に属する可能性の高低を表す値を特定する。出力部３８が、属否可能性算出部３４により特定される値に基づいて特定される、受付画像が属する分類を示す情報を出力する。
【解決手段】判別基準値算出部３０が、複数の分類それぞれについて、受付画像の特徴量と、複数の学習画像の特徴量と、に基づいて、受付画像が当該分類に属するか否かを判別する判別基準値を特定する。属否可能性算出部３４が、複数の分類それぞれについて、複数の学習画像に基づいて特定される、その分類に属する画像が他の分類にも属する可能性、あるいは、その分類に属さない画像が他の分類にも属さない可能性、の少なくとも一方を表す相関情報と、その分類と他の分類についての判別基準値と、に基づいて、受付画像がその分類に属する可能性の高低を表す値を特定する。出力部３８が、属否可能性算出部３４により特定される値に基づいて特定される、受付画像が属する分類を示す情報を出力する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、プログラム及び情報処理システムに関する。
【背景技術】
【０００２】
近年、画像に検索のためのキーワード（標識、ラベル）を自動的に付与する画像自動アノテーション技術が、画像検索のための１つの重要な技術となっている。この技術により、人がキーワードを画像に付与する作業を不要とすることができる。
【０００３】
非特許文献１には、画像から局所的な特徴量を抽出して、その画像全体の分布を計算して画像特徴とし、各ラベルに対して設けられた確率化したバイナリサポートベクタマシンにより、ラベルの事後確率を計算し、一番高い事後確率に対応するラベルを未知画像に付与する技術が開示されている。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】K.S.Goh, "Using One-Classand Two-Class SVMs for Multiclass Image Annotation", IEEE Trans. OnKnowledge and Data Engineering, Vol.17, No.10, Oct.2005
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、画像の分類精度を従来よりも高くすることを目的とする。
【課題を解決するための手段】
【０００６】
請求項１に記載の発明は、プログラムであって、複数の分類のうちの少なくとも１つの分類を特定する対象となる画像を受け付ける画像受付手段、前記複数の分類それぞれについて、前記画像受付手段が受け付ける画像の特徴量と、それぞれ前記複数の分類のうちの少なくとも１つの分類に属する複数の画像の特徴量と、に基づいて、前記画像受付手段が受け付ける画像が当該分類に属するか否かを判別する基準となる判別基準値を特定する判別基準値特定手段、前記複数の分類それぞれについて、それぞれ前記複数の分類のうちの少なくとも１つの分類に属する複数の画像に基づいて特定される、当該分類に属する画像が他の分類にも属する可能性、あるいは、当該分類に属さない画像が前記他の分類にも属さない可能性、の少なくとも一方を表す相関情報と、当該分類と前記他の分類についての前記判別基準値と、に基づいて、前記画像受付手段が受け付ける画像が当該分類に属する可能性の高低を表す値を特定する分類属否可能性特定手段、前記分類属否可能性特定手段により特定される前記値に基づいて特定される、前記画像受付手段が受け付ける画像が属する少なくとも１つの分類を示す情報を出力する出力手段、としてコンピュータを機能させることとしたものである。
【０００７】
請求項２に記載の発明は、請求項１に記載のプログラムであって、前記分類属否可能性特定手段が、前記各分類について、当該分類とは異なるすべての分類それぞれについての前記相関情報及び前記判別基準値の組合せに基づいて、前記画像受付手段が受け付ける画像が当該分類に属する可能性の高低を表す値を特定することとしたものである。
【０００８】
請求項３に記載の発明は、情報処理システムであって、複数の分類のうちの少なくとも１つの分類を特定する対象となる画像を受け付ける画像受付手段と、前記複数の分類それぞれについて、前記画像受付手段が受け付ける画像の特徴量と、それぞれ前記複数の分類のうちの少なくとも１つの分類に属する複数の画像の特徴量と、に基づいて、前記画像受付手段が受け付ける画像が当該分類に属するか否かを判別する基準となる判別基準値を特定する判別基準値特定手段と、前記複数の分類それぞれについて、それぞれ前記複数の分類のうちの少なくとも１つの分類に属する複数の画像に基づいて特定される、当該分類に属する画像が他の分類にも属する可能性、あるいは、当該分類に属さない画像が前記他の分類にも属さない可能性、の少なくとも一方を表す相関情報と、当該分類と前記他の分類についての前記判別基準値と、に基づいて、前記画像受付手段が受け付ける画像が当該分類に属する可能性の高低を表す値を特定する分類属否可能性特定手段と、前記分類属否可能性特定手段により特定される前記値に基づいて特定される、前記画像受付手段が受け付ける画像が属する少なくとも１つの分類を示す情報を出力する出力手段と、を含むこととしたものである。
【発明の効果】
【０００９】
請求項１，３に記載の発明によれば、本発明の構成を有しない場合と比較して、画像の分類精度が高くなる。
【００１０】
請求項２に記載の発明によれば、画像がある分類に属する可能性の高低が、その分類とは異なるすべての分類との間の相関に基づいて特定される。
【図面の簡単な説明】
【００１１】
【図１】本発明の一実施形態に係る情報処理装置のハードウェア構成の一例を示す図である。
【図２】本発明の一実施形態に係る情報処理装置により実現される機能の一例を示す機能ブロック図である。
【図３】学習モデル情報の一例を示す図である。
【図４】第１の相関マトリックス情報の一例を示す図である。
【図５】第２の相関マトリックス情報の一例を示す図である。
【図６】確率モデル情報の一例を示す図である。
【図７】本実施形態に係る情報処理装置で行われる処理の流れの一例を示すフロー図である。
【図８】比較例における確率モデル情報の一例を示す図である。
【図９】第１の相関マトリックス情報の一例を示す図である。
【図１０】第２の相関マトリックス情報の一例を示す図である。
【図１１】標識の認識率の比較結果の一例を示す図である。
【図１２】標識ｍｏｔｏｒｂｉｋｅに対する判別基準値によって、最適化された標識ｓｈｅｅｐのｓｉｇｍｏｉｄ関数の一例を示す図である。
【図１３】標識ｍｏｔｏｒｂｉｋｅに対する判別基準値によって、最適化された標識ｓｈｅｅｐのｓｉｇｍｏｉｄ関数の一例を示す図である。
【図１４】標識の認識率の比較結果の一例を示す図である。
【図１５】標識ｐｅｒｓｏｎに対する判別基準値によって、最適化された標識ｃａｔのｓｉｇｍｏｉｄ関数の一例を示す図である。
【図１６】標識ｐｅｒｓｏｎに対する判別基準値によって、最適化された標識ｃａｔのｓｉｇｍｏｉｄ関数の一例を示す図である。
【図１７】確率モデル情報に含まれるパラメータチルダＡの一具体例を示す図である。
【発明を実施するための形態】
【００１２】
以下、本発明の一実施形態について図面に基づき詳細に説明する。
【００１３】
図１は、本実施形態に係る情報処理システムとして機能する情報処理装置１０のハードウェア構成の一例を示す図である。図１に例示するように、本実施形態に係る情報処理装置１０は、例えば、制御部１２、記憶部１４、ユーザインタフェース（ＵＩ）部１６、を含んでいる。これらの要素は、バスなどを介して接続される。制御部１２は、ＣＰＵ等のプログラム制御デバイスであり、情報処理装置１０にインストールされるプログラムに従って動作する。記憶部１４は、ＲＯＭやＲＡＭ等の記憶素子やハードディスクドライブなどである。記憶部１４には、制御部１２によって実行されるプログラムなどが記憶される。また、記憶部１４は、制御部１２のワークメモリとしても動作する。ＵＩ部１６は、ディスプレイ、マイク、マウス、キーボードなどであり、利用者が行った操作の内容や、利用者が入力した音声を制御部１２に出力する。また、このＵＩ部１６は、制御部１２から入力される指示に従って情報を表示出力したり音声出力したりする。
【００１４】
図２は、本実施形態に係る情報処理装置１０により実現される機能の一例を示す機能ブロック図である。図２に例示するように、情報処理装置１０は、本実施形態では、例えば、画像受付部２０、学習モデル情報記憶部２２、相関マトリックス情報記憶部２４、確率モデル情報記憶部２６、特徴量抽出部２８、判別基準値算出部３０、判別基準値重み付け部３２、属否可能性算出部３４、分類決定部３６、出力部３８、学習部４０、を含むものとして機能する。学習モデル情報記憶部２２、相関マトリックス情報記憶部２４、確率モデル情報記憶部２６は、記憶部１４を主として実現される。その他の要素は制御部１２を主として実現される。また、学習部４０は、例えば、サポートベクタマシン等の識別器を含んでいる。
【００１５】
これらの要素は、コンピュータである情報処理装置１０にインストールされたプログラムを、情報処理装置１０の制御部１２で実行することにより実現されている。このプログラムは、例えば、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭなどのコンピュータ読み取り可能な情報記録媒体を介して、あるいは、インターネットなどの通信手段を介して情報処理装置１０に供給される。
【００１６】
本実施形態では、例えば、画像受付部２０が受け付ける画像に、予め定められたＬ種類の標識（ラベル）のうちの少なくとも１つが関連付けられることとなる。本実施形態では、Ｌ種類の標識それぞれに、標識番号ｊ（ｊ＝１，・・・，Ｌ）が割り当てられている。また、本実施形態では、標識と画像の分類とが１対１で対応している。すなわち、ある分類に属する画像には、その分類に対応する標識が関連付けられることとなる。なお、画像は複数の分類に属することもあり得る。その場合には、画像に複数の標識が関連付けられることとなる。
【００１７】
本実施形態では、学習モデル情報記憶部２２に、予め、図３に例示する学習モデル情報５０が記憶されている。本実施形態では、学習モデル情報５０は、情報処理装置１０が学習の対象となる複数の画像（学習画像）を学習することにより生成される。学習モデル情報５０は、上述の標識番号、サポートベクタ情報、パラメータ情報、を含んでいる。学習モデル情報５０は、例えば、標識に対応する特徴量と他の標識に対応する特徴量とを識別するバイナリサポートベクタマシンの学習モデルを表す情報である。サポートベクタ情報及びパラメータ情報は、後述する判別基準値を算出する基礎となる情報である。また、図３に示すように、標識番号ｉに対応付けられるサポートベクタ情報の値は（ｘｉ１，ｘｉ２，・・・，ｘｉＮｉ）、パラメータ情報の値は（ａｉ１，ａｉ２，・・・，ａｉＮｉ）及びｂｉである。学習画像に基づく、学習モデル情報５０の生成処理については後述する。
【００１８】
また、本実施形態では、相関マトリックス情報記憶部２４に、予め、図４に例示する第１の相関マトリックス情報５２−１、及び、図５に例示する第２の相関マトリックス情報５２−２が記憶されている。第１の相関マトリックス情報５２−１、及び、第２の相関マトリックス情報５２−２は、情報処理装置１０が複数の学習画像を学習することにより生成される。これらの学習画像は、学習モデル情報５０の生成の際に用いられる学習画像と同じであっても異なっていても構わない。第１の相関マトリックス情報５２−１のｉ行ｊ列の値Ｒｉｊには、例えば、標識番号ｊの標識が関連付けられている学習画像に標識番号ｉの標識も関連付けられている条件付確率Ｐ（Ｃｉ｜Ｃｊ）と、学習画像に標識番号ｉの標識が関連付けられている確率Ｐ（Ｃｉ）との差の絶対値Ｒｉｊ＝｜Ｐ（Ｃｉ）−Ｐ（Ｃｉ｜Ｃｊ）｜が設定される。学習画像に標識番号ｊの標識が関連付けられているときに、その学習画像に標識番号ｉの標識も関連付けられている場合には、そうでない場合よりもＰ（Ｃｉ｜Ｃｊ）の値が大きくなる。一方、学習画像に標識番号ｊの標識が関連付けられていないときに、その学習画像に標識番号ｉの標識も関連付けられていない場合には、そうでない場合よりもＰ（Ｃｉ｜Ｃｊ）の値が小さくなる。いずれにしても、標識番号ｉの標識と標識番号ｊの標識とに学習画像に関連付けられているか否かについての相関がある場合には、｜Ｐ（Ｃｉ）−Ｐ（Ｃｉ｜Ｃｊ）｜の値は大きくなる。一方、その相関がない場合は、｜Ｐ（Ｃｉ）−Ｐ（Ｃｉ｜Ｃｊ）｜の値は小さくなる。独立である場合は、｜Ｐ（Ｃｉ）−Ｐ（Ｃｉ｜Ｃｊ）｜の値はゼロとなる。
【００１９】
一方、第２の相関マトリックス情報５２−２のｉ行ｊ列の値Ｒ’ｉｊには、例えば、標識番号ｊの標識が関連付けられていない学習画像に標識番号ｉの標識も関連付けられていない条件付確率Ｐ（Ｃ’ｉ｜Ｃ’ｊ）と、学習画像に標識番号ｉの標識が関連付けられていない確率Ｐ（Ｃ’ｉ）との差の絶対値Ｒ’ｉｊ＝｜Ｐ（Ｃ’ｉ）−Ｐ（Ｃ’ｉ｜Ｃ’ｊ）｜が設定される。
【００２０】
また、本実施形態では、確率モデル情報記憶部２６に、予め、図６に例示する確率モデル情報５４が記憶されている。本実施形態では、確率モデル情報５４は、情報処理装置１０が複数の学習画像を学習することにより生成される。これらの学習画像は、確率モデル情報５４の生成の際に用いられる学習画像と同じであっても異なっていても構わない。確率モデル情報５４は、Ｌ行Ｌ列の行列（ｉ行ｊ列の値はチルダＡｉｊ（上方に〜が配置されたＡｉｊ））であるパラメータチルダＡ及び各行に割り当てられる要素（ｉ行に対応付けられるこの要素の値はチルダＢｉ（上方に〜が配置されたＢｉ））であるパラメータチルダＢが含まれている。本実施形態では、図６に示すように、確率モデル情報５４における、ｉ行目のパラメータが、標識番号ｉの標識に対応するパラメータとなっている。確率モデル情報５４は、本実施形態では、例えば、ｓｉｇｍｏｉｄ関数のパラメータベクトルである。学習画像に基づく、確率モデル情報５４の生成処理については後述する。
【００２１】
ここで、本実施形態に係る情報処理装置１０で行われる処理の流れの一例を、図７に例示するフロー図を参照しながら説明する。
【００２２】
まず、画像受付部２０が、分類の対象となる画像（すなわち、上述のＬ種類の標識のうちの少なくとも１つが関連付けられることとなる画像）を受け付けて、この画像の画素行列を出力する（Ｓ１０１）。以下、Ｓ１０１に示す処理で受け付ける画像を、受付画像と呼ぶこととする。なお、Ｓ１０１に示す処理で、一般的な前処理（例えば、移動、色の修正、変形、フォーマットの変換、ノイズ削除等）を行ってもよい。
【００２３】
そして、特徴量抽出部２８が、例えば、受付画像の特徴量を特定する（Ｓ１０２）。本処理例では、特徴量抽出部２８は、例えば、受付画像に含まれる各画素のＲＧＢ値、ｎｏｒｍａｌｉｚｅｄ−ＲＧＢ値、ＨＳＶ値、ＬＡＢ値、ｒｏｂｕｓｔＨｕｅ特徴量（van de Weijer, C. Schmid, "Coloring Local Feature Extraction", ECCV 2006を参照）Ｇａｂｏｒ特徴量、ＤＣＴ特徴量、ＳＩＦＴ特徴量、ＧＩＳＴ特徴量等を特定する。そして、特徴量抽出部２８は、予め、学習コーパスからＫ−Ｍｅａｎｓクラスタリングによって生成されたコードブックに基づいて、抽出された特徴量を量子化する。そして、特徴量抽出部２８は、量子化された特徴量の受付画像全体におけるヒストグラムを、Ｓ１０２に示す処理における特徴量ベクトルｘとして特定する。
【００２４】
そして、判別基準値算出部３０が、Ｓ１０２に示す処理で特定された受付画像の特徴量と、学習モデル情報記憶部２２に予め記憶されている学習モデル情報５０とに基づいて、受付画像が各分類に属するか否か（受付画像に標識を関連付けるか否か）を判別する基準となる値である判別基準値を算出する（Ｓ１０３）。本実施形態では、判別基準値算出部３０は、例えば、各分類について（各標識について）、判別基準値を算出する。例えば、判別基準値算出部３０は、次式を計算することにより、標識番号ｉの標識に対応付けられる判別基準値Ｆｉ（ｉ＝１，・・・，Ｌ）を算出する。なお、次式において、Ｋはカーネル関数（例えば、ガウシアンカーネル）、太文字のｘはＳ１０２に示す処理で特定される受付画像の特徴量ベクトルである。ｘｉｎは、学習モデル情報５０に含まれるサポートベクタ情報の値である。ａｉｎ及びｂｉの値は、学習モデル情報５０に含まれるパラメータ情報の値である。判別基準値Ｆｉは、標識に対応する分類に属する画像については、大きな値をとり、その他の画像については小さな値をとる。判別基準値は、例えば、対応する分類と他の分類とを識別するバイナリサポートベクタマシンの決定関数の出力である。
【００２５】
【数１】
【００２６】
そして、判別基準値重み付け部３２が、Ｓ１０３に示す処理で算出された、標識番号ｉの標識に対応付けられる判別基準値Ｆｉ（ｉ＝１，・・・，Ｌ）に対する、相関マトリックス情報５２に基づく重み付けを行う（Ｓ１０４）。判別基準値重み付け部３２は、具体的には、例えば、各標識について、その標識に対応付けられるＬ個の重み付け済判別基準値を算出する。以下、標識番号ｉの標識に対応付けられるＬ個の重み付け済判別基準値をＦ’ｉｊ（ｊ＝１，・・・，Ｌ）で表すこととする。
【００２７】
判別基準値重み付け部３２は、例えば、標識番号ｊ（ｊ＝１，・・・，Ｌ）の標識に対応付けられる判別基準値Ｆｊの値がゼロより大きい際に、第１の相関マトリックス情報５２−１に含まれる値Ｒｊｉが予め定められた閾値よりも大きいか否かを確認する。そして、判別基準値重み付け部３２は、値Ｒｊｉが閾値よりも大きい場合に、重みｗｉｊの値を１に設定し、そうでない場合に、重みｗｉｊの値を０に設定する。標識番号ｊ（ｊ＝１，・・・，Ｌ）の標識に対応付けられる判別基準値Ｆｊの値がゼロより小さい際に、第２の相関マトリックス情報５２−２に含まれる値Ｒ’ｊｉが予め定められた閾値よりも大きいか否かを確認する。そして、判別基準値重み付け部３２は、値Ｒ’ｊｉが閾値よりも大きい場合に、重みｗｉｊの値を１に設定し、そうでない場合に、重みｗｉｊの値を０に設定する。そして、判別基準値重み付け部３２は、Ｆ’ｉｊ＝Ｆｊ×ｗｉｊという数式に従って、Ｆ’ｉｊ（ｊ＝１，・・・，Ｌ）の値を算出する。以上の処理を各ｉ（ｉ＝１，・・・，Ｌ）について繰り返し実行することで、Ｆ’ｉｊ（ｉ＝１，・・・，Ｌ，ｊ＝１，・・・，Ｌ）の値が算出される。
【００２８】
そして、属否可能性算出部３４が、Ｆ’ｉｊの値、及び、確率モデル情報５４に基づいて、次式を計算することにより、各ｉ（ｉ＝１，・・・，Ｌ）についての、属否可能性の値チルダｐｉ（上方に〜が配置されたｐｉ）の値を算出する（Ｓ１０５）。次式において、Ｔは特徴量を表している。チルダＡｉｊ及びチルダＢｉの値は、上述の確率モデル情報５４に含まれる値を指す。チルダｐｉは標識番号ｉの標識に対応する事後確率である。
【００２９】
【数２】
【００３０】
そして、分類決定部３６は、チルダｐｉ（ｉ＝１，・・・，Ｌ）の値に基づいて、受付画像が属する分類（すなわち、受付画像に関連付けられる標識）を決定する（Ｓ１０６）。本実施形態では、分類決定部３６は、例えば、チルダｐｉ（ｉ＝１，・・・，Ｌ）の値が予め定められた閾値以上である標識番号を特定する。そして、分類決定部３６は、特定された標識番号のうち、チルダｐｉ（ｉ＝１，・・・，Ｌ）の値が大きいものから順に、予め定められた個数以下の標識番号を特定する。分類決定部３６は、このようにして特定された標識番号に対応する分類を、受付画像が属する分類として特定する。
【００３１】
そして、出力部３８が、Ｓ１０６に示す処理で決定された分類に対応する少なくとも１つの標識を受付画像に関連付けて、記憶部１４に出力するとともに、標識番号をディスプレイ等のＵＩ部１６に表示出力する（Ｓ１０７）。このようにして、本処理例によれば、受付画像が属する分類が決定され、対応する標識が受付画像に関連付けられるとともに、標識番号がディスプレイ等に表示出力されることとなる。
【００３２】
ここで、情報処理装置１０による学習モデル情報５０の生成処理の一例について説明する。
【００３３】
まず、画像受付部２０が、学習の対象となる画像（学習画像）を複数（例えば、Ｎ個）受け付ける。各学習画像には、その学習画像が属する分類に対応する標識が少なくとも１つ関連付けられている。そして、特徴量抽出部２８は、各学習画像の特徴量を抽出する。特徴量抽出部２８は、具体的には、例えば、学習画像に含まれる各画素のＲＧＢ値、ｎｏｒｍａｌｉｚｅｄ−ＲＧＢ値、ＨＳＶ値、ＬＡＢ値、ｒｏｂｕｓｔＨｕｅ特徴量（van de Weijer, C. Schmid, "Coloring Local Feature Extraction", ECCV 2006を参照）、Ｇａｂｏｒ特徴量、ＤＣＴ特徴量、ＳＩＦＴ特徴量、ＧＩＳＴ特徴量等を特定する。そして、特徴量抽出部２８は、予め、学習コーパスからＫ−Ｍｅａｎｓクラスタリングによって生成されたコードブックに基づいて、抽出された特徴量を量子化する。そして、特徴量抽出部２８は、量子化された特徴量の受付画像全体におけるヒストグラムを、学習画像の特徴量ベクトルとして特定する。以下、第ｎの学習画像（ｎ＝１，・・・，Ｎ）から特定される特徴量ベクトルをｘｎで表す。
【００３４】
そして、学習部４０は、各識別番号ｊ（ｊ＝１，・・・，Ｌ）についての、サポートベクタ情報及びパラメータ情報の特定処理を実行する。ここで、識別番号ｊのサポートベクタ情報及びパラメータ情報の特定処理は、例えば、第ｎの学習画像（ｎ＝１，・・・，Ｎ）の特徴量ベクトルｘｎと、第ｎの学習画像が識別番号ｊに対応する標識に関連付けられているか否かを示す値ｔｎ（識別番号ｊに対応する標識に関連付けられている場合は、ｔｎ＝＋１。そうでない場合は、ｔｎ＝０。）とを対応付ける処理（この処理により、Ｎ組のベクトルと値の組合せ（ｘ１,ｔ１），・・・，（ｘＮ,ｔＮ）が生成される。）、これらＮ組のベクトルと値の組合せをサポートベクタマシン（ＳＶＭ）により学習する処理（例えば、N.Cristianini and J.Shawe-Taylor, "An Introduction to Support Vector Machines and Other Kernel-based Learning Methods", Chapter6. Cambridge University Press 2000の最適化基準のもとで、1-v-OthersのバイナリＳＶＭのパラメータを学習する処理）、識別番号ｊに対応するサポートベクタ情報及びパラメータ情報を特定する処理、を順に実行することにより実現される。本実施形態では、学習部４０は、ｔｎ＝＋１に対応付けられている特徴量ベクトルｘｎを正例として、ｔｎ＝０に対応付けられている特徴量ベクトルｘｎを負例として学習する。そして、学習部４０は、上述のようにして特定されたサポートベクタ情報及びパラメータ情報に、対応する識別番号が関連付けられた学習モデル情報５０を学習モデル情報記憶部２２に出力する。
【００３５】
このようにして、学習モデル情報記憶部２２に学習モデル情報５０が記憶されることとなる。
【００３６】
次に、情報処理装置１０による確率モデル情報５４の生成処理の一例について説明する。
【００３７】
まず、画像受付部２０が、学習の対象となる画像（学習画像）を複数受け付ける。これらの学習画像は、学習モデル情報５０の生成処理に用いた学習画像と同じものであっても異なっていても構わない。ここでは、標識番号ｉの標識の学習に用いられる学習画像の数は、Ｍｉであることとする。各学習画像には、その学習画像が属する分類に対応する標識が少なくとも１つ関連付けられている。そして、情報処理装置１０は、各学習画像について、上述のＳ１０２〜Ｓ１０４に示す処理と同様の処理により、重み付け済判別基準値（Ｆｉｊｎ）’を特定する。そして、学習部４０が、学習の対象となる標識（例えば、標識番号ｉの標識）が関連付けられている学習画像の重み付け済判別基準値を正例として取り扱い（ｔｉｎ＝＋１）、学習の対象となる標識（例えば、標識番号ｉの標識）が関連付けられていない学習画像の重み付け済判別基準値を負例として取り扱う（ｔｉｎ＝０）設定を行った上で、次式で表される尤度が最大となるパラメータチルダＡｉｊ及びチルダＢｉを、バックトラッキング線形探索法（backtracking linear search）を用いたニュートン法によって（Nocedal,J.and S.J.Wright: “Numerical Optimization” Algorithm 6.2. New York, NY: Springer- Verlag, 1999.参照）計算する。次式において、（Ｆｉｊｎ）’の値は、標識番号ｉの標識の学習に用いられるｎ番目の学習画像（ｎ＝１，・・・，Ｍｉ）についての重み付け済判別基準値を表している。また、Ｔは特徴量を表している。
【００３８】
【数３】
【００３９】
そして、学習部４０は、上述のようにして特定されたチルダＡｉｊ及びチルダＢｉの値が含まれる確率モデル情報５４を確率モデル情報記憶部２６に出力する。
【００４０】
このようにして、確率モデル情報記憶部２６に確率モデル情報５４が記憶されることとなる。
【００４１】
ここで、本実施形態の一比較例について説明する。
【００４２】
本比較例に係る情報処理装置１０は、図２に例示する構成と比較して、判別基準値重み付け部３２を含まないという点が異なる。
【００４３】
また、本比較例では、確率モデル情報記憶部２６に、図８に例示する確率モデル情報５４が記憶される。この確率モデル情報５４では、例えば、各識別番号について２つのパラメータ（例えば、識別番号ｉに対しては、パラメータＡｉ及びパラメータＢｉ）が関連付けられている。
【００４４】
そして、本比較例では、学習部４０は、学習対象となる複数の画像それぞれについて、ｋ番目の学習画像が学習の対象となる標識（例えば、標識番号ｉの標識）が関連付けられている場合に判別基準値Ｆｋを正例として取り扱い（ｔｋ＝＋１）、学習の対象となる標識（例えば、標識番号ｉの標識）が関連付けられていない場合に判別基準値Ｆｋを負例として取り扱う（ｔｋ＝０）設定を行った上で、次式で表される尤度が最大となるパラメータＡｉ及びＢｉを、バックトラッキング線形探索法（backtracking linear search）を用いたニュートン法によって（Nocedal,J.and S.J.Wright: “Numerical Optimization” Algorithm 6.2. New York, NY: Springer- Verlag, 1999.参照）計算する。次式において、Ｆｋの値は、標識番号ｉの標識の学習に用いられるｋ番目の学習画像についての判別基準値Ｆｋの値を表している。また、Ａ、Ｂの値は、それぞれ、標識番号ｉに対応するパラメータＡ、Ｂの値を示している。
【００４５】
【数４】
【００４６】
そして、本比較例では、属否可能性算出部３４が、受付画像のついての判別基準値Ｆｉ（ｉ＝１，・・・，Ｌ）の値、及び、確率モデル情報５４に基づいて、次式を計算することにより、各ｉ（ｉ＝１，・・・，Ｌ）についての、属否可能性の値ｐｉの値を算出する（Ｓ１０５）。次式において、ｐｉが標識番号ｉの標識に対応する事後確率である。また、Ａ、Ｂの値は、それぞれ、標識番号ｉに対応するパラメータＡ、Ｂの値を示している。
【００４７】
【数５】
【００４８】
本実施形態に係る情報処理装置１０は、相関マトリックス情報５２を用いて属否可能性の値を算出するという点が少なくとも比較例に係る情報処理装置１０と異なっている。
【００４９】
ここで、本実施形態に係る情報処理装置１０により相関マトリックス情報５２に基づく重み付け済判別基準値の算出を行う場合と、行わない場合との比較結果の一例について説明する。なお、ここでは、図９に例示する第１相関マトリックス情報５２−１及び図１０に例示する第２相関マトリックス情報５２−２を用いることとする。
【００５０】
以下の説明では、例えば、標識ｓｈｅｅｐに対応付けられる重み付け済判別基準値の値をＦｓｈｅｅｐと、標識ｓｈｅｅｐに対応する事後確率をＰｓｈｅｅｐ、標識ｓｈｅｅｐに対応する上述したｔの値をｔｓｈｅｅｐで表す。なお、標識ｓｈｅｅｐ以外の標識についても同様の表現とする。
【００５１】
まず、第１の相関マトリックス情報５２−１に基づく重み付け済判別基準値の算出を行う場合と行わない場合との比較結果の一例について説明する。図１１に、第１の相関マトリックス情報５２−１を用いて重み付け済判別基準値の算出を行う場合と行わない場合との、標識の認識率の比較結果を示す。図１１で実施した比較では、判別基準値の値が０より大きい画像を用いた。また、図１１において、丸印は、重み１が設定されるデータを示しており、バツ印は、重み０が設定されるデータを示している。
【００５２】
図１１のＦｍｏｔｏｒｂｉｋｅに着目し、重み付け済判別基準値の算出を行う場合と行わない場合との違いを可視化する。図１２に、標識ｍｏｔｏｒｂｉｋｅに対する判別基準値によって、最適化された標識ｓｈｅｅｐのｓｉｇｍｏｉｄ関数を示す。ここでは、Ｆｍｏｔｏｒｂｉｋｅ＞０の判別基準値も選択の対象となる。図１３に、同一の判別基準値に対して、図９に例示する第１の相関マトリックス情報５２−１に基づき、Ｆｍｏｔｏｒｂｉｋｅ＞０の判別基準値を事後確率の算出の基礎としないようにした、標識ｓｈｅｅｐのｓｉｇｍｏｉｄ関数の、標識ｍｏｔｏｒｂｉｋｅの判別基準値に依存する部分を示す。図１２でも図１３でも、Ｆｍｏｔｏｒｂｉｋｅ＜０の判別基準値については選択されている。
【００５３】
図１２及び図１３において、丸印の点は、標識ｓｈｅｅｐが関連付けられている画像から抽出した特徴量（ｔｓｈｅｅｐ＝１）であり、バツ印の点は、標識ｓｈｅｅｐが関連付けられていない画像から抽出した特徴量（ｔｓｈｅｅｐ＝０）である。横軸は、標識ｍｏｔｏｒｂｉｋｅの学習モデルに対応する判別基準値Ｆｍｏｔｏｒｂｉｋｅを示している。図１３の例では、Ｆｍｏｔｏｒｂｉｋｅ＜０のデータについては、判別基準値の重みが1となる。Ｆｍｏｔｏｒｂｉｋｅ＞０のデータについては、判別基準値の重みが０となる。
【００５４】
図１２ではＦｍｏｔｏｒｂｉｋｅ＞０に該当するデータ（図１２の右半分のデータ）の影響で、ｓｉｇｍｏｉｄ関数の特性が、図１３のｓｉｇｍｏｉｄ関数よりも緩やかなカーブとなり、Ｆｍｏｔｏｒｂｉｋｅの値がＰｓｈｅｅｐの値に与える影響が小さくなっていることがわかる。一方、図１３ではＦｍｏｔｏｒｂｉｋｅの値がＰｓｈｅｅｐの値に与える影響が図１２のｓｉｇｍｏｉｄ関数よりも大きくなっていることがわかる。また、図１１に示すように、本比較結果では、第１の相関マトリックス情報５２−１を用いて重み付け済判別基準値の算出を行う場合の方が、行わない場合よりも、標識ｓｈｅｅｐの認識率が高くなっている。
【００５５】
次に、第２の相関マトリックス情報５２−２を用いて重み付け済判別基準値の算出を行う場合と行わない場合との比較結果の一例について説明する。図１４に、第２の相関マトリックス情報５２−２を用いて重み付け済判別基準値の算出を行う場合と行わない場合との、標識の認識率の比較結果を示す。図１４で実施した比較では、判別基準値の値が０より小さい画像を用いた。また、図１４において、丸印は、重みとして１が設定されるデータを示しており、バツ印は、重みとして０が設定されるデータを示している。
【００５６】
図１４のＦｐｅｒｓｏｎに着目し、重み付け済判別基準値の算出を行う場合と行わない場合との違いを可視化する。図１５に、標識ｐｅｒｓｏｎに対する判別基準値によって、最適化された標識ｃａｔのｓｉｇｍｏｉｄ関数を示す。ここでは、Ｆｐｅｒｓｏｎ＜０の判別基準値も選択の対象となる。図１６に、同一の判別基準値に対して、図１５に例示する第２の相関マトリックス情報５２−２に基づき、Ｆｐｅｒｓｏｎ＜０の判別基準値を事後確率の算出の基礎としないようにした、標識ｃａｔのｓｉｇｍｏｉｄ関数の、標識ｐｅｒｓｏｎの判別基準値に依存する部分を示す。図１５でも図１６でも、Ｆｐｅｒｓｏｎ＞０の判別基準値については選択されている。
【００５７】
図１５及び図１６において、丸印の点は、標識ｃａｔが関連付けられている画像から抽出した特徴量（ｔｃａｔ＝１）であり、バツ印の点は、標識ｃａｔが関連付けられていない画像から抽出した特徴量（ｔｃａｔ＝０）である。横軸は、標識ｐｅｒｓｏｎの学習モデルに対応する判別基準値Ｆｐｅｒｓｏｎを示している。
【００５８】
図１６の例では、Ｆｐｅｒｓｏｎ＞０のデータについては、判別基準値の重みが1となる。Ｆｐｅｒｓｏｎ＜０のデータについては、判別基準値の重みが０となる。
【００５９】
図１５ではＦｐｅｒｓｏｎ＜０に該当するデータ（図１５の左半分のデータ）の影響で、ｓｉｇｍｏｉｄ関数の特性が、図１６のｓｉｇｍｏｉｄ関数よりもより緩やかなカーブとなり、Ｆｐｅｒｓｏｎの値がＰｃａｔの値に与える影響が小さくなっていることがわかる。一方、図１６ではＦｐｅｒｓｏｎの値がＰｃａｔの値に与える影響が図１５のｓｉｇｍｏｉｄ関数よりも大きくなっていることがわかる。また、図１４に示すように、本比較結果では、第２の相関マトリックス情報５２−２を用いて重み付け済判別基準値の算出を行う場合の方が、行わない場合よりも、標識ｃａｔの認識率が高くなっている。
【００６０】
図１７に、本比較での確率モデル情報５４に含まれるパラメータチルダＡの一具体例を示す。図１７からも、本比較において標識の相関性が活用されていることがわかる。例えば、行ｂｕｓと列ｃａｒのパラメータチルダＡの値が負であり、その絶対値が大きいために、標識ｂｕｓと標識ｃａｒの正の相関性を表せていることがわかる。同様に、行ｂｕｓと列ｍｏｔｏｒｂｉｋｅのパラメータチルダＡの値が正であり、その絶対値も大きいために、標識ｂｕｓと標識ｍｏｔｏｒｂｉｋｅの負の相関性を表せていることがわかる。それにより、標識ｂｕｓに関連付けられている画像の判別性能が高くなっている。一方、行ｂｕｓと列ｃａｒのパラメータチルダＡの値がゼロに近く、標識ｄｏｇと標識ｃａｒに相関性がないということも表している。
【００６１】
なお、本発明は上述の実施形態に限定されるものではない。また、上記の具体的な数値や文字列は例示であり、これらの数値や文字列には限定されない。
【符号の説明】
【００６２】
１０ 情報処理装置、１２ 制御部、１４ 記憶部、１６ ユーザインタフェース（ＵＩ）部、２０ 画像受付部、２２ 学習モデル情報記憶部、２４ 相関マトリックス情報記憶部、２６ 確率モデル情報記憶部、２８ 特徴量抽出部、３０ 判別基準値算出部、３２ 判別基準値重み付け部、３４ 属否可能性算出部、３６ 分類決定部、３８ 出力部、４０ 学習部、５０ 学習モデル情報、５２ 相関マトリックス情報、５４ 確率モデル情報。
【技術分野】
【０００１】
本発明は、プログラム及び情報処理システムに関する。
【背景技術】
【０００２】
近年、画像に検索のためのキーワード（標識、ラベル）を自動的に付与する画像自動アノテーション技術が、画像検索のための１つの重要な技術となっている。この技術により、人がキーワードを画像に付与する作業を不要とすることができる。
【０００３】
非特許文献１には、画像から局所的な特徴量を抽出して、その画像全体の分布を計算して画像特徴とし、各ラベルに対して設けられた確率化したバイナリサポートベクタマシンにより、ラベルの事後確率を計算し、一番高い事後確率に対応するラベルを未知画像に付与する技術が開示されている。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】K.S.Goh, "Using One-Classand Two-Class SVMs for Multiclass Image Annotation", IEEE Trans. OnKnowledge and Data Engineering, Vol.17, No.10, Oct.2005
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、画像の分類精度を従来よりも高くすることを目的とする。
【課題を解決するための手段】
【０００６】
請求項１に記載の発明は、プログラムであって、複数の分類のうちの少なくとも１つの分類を特定する対象となる画像を受け付ける画像受付手段、前記複数の分類それぞれについて、前記画像受付手段が受け付ける画像の特徴量と、それぞれ前記複数の分類のうちの少なくとも１つの分類に属する複数の画像の特徴量と、に基づいて、前記画像受付手段が受け付ける画像が当該分類に属するか否かを判別する基準となる判別基準値を特定する判別基準値特定手段、前記複数の分類それぞれについて、それぞれ前記複数の分類のうちの少なくとも１つの分類に属する複数の画像に基づいて特定される、当該分類に属する画像が他の分類にも属する可能性、あるいは、当該分類に属さない画像が前記他の分類にも属さない可能性、の少なくとも一方を表す相関情報と、当該分類と前記他の分類についての前記判別基準値と、に基づいて、前記画像受付手段が受け付ける画像が当該分類に属する可能性の高低を表す値を特定する分類属否可能性特定手段、前記分類属否可能性特定手段により特定される前記値に基づいて特定される、前記画像受付手段が受け付ける画像が属する少なくとも１つの分類を示す情報を出力する出力手段、としてコンピュータを機能させることとしたものである。
【０００７】
請求項２に記載の発明は、請求項１に記載のプログラムであって、前記分類属否可能性特定手段が、前記各分類について、当該分類とは異なるすべての分類それぞれについての前記相関情報及び前記判別基準値の組合せに基づいて、前記画像受付手段が受け付ける画像が当該分類に属する可能性の高低を表す値を特定することとしたものである。
【０００８】
請求項３に記載の発明は、情報処理システムであって、複数の分類のうちの少なくとも１つの分類を特定する対象となる画像を受け付ける画像受付手段と、前記複数の分類それぞれについて、前記画像受付手段が受け付ける画像の特徴量と、それぞれ前記複数の分類のうちの少なくとも１つの分類に属する複数の画像の特徴量と、に基づいて、前記画像受付手段が受け付ける画像が当該分類に属するか否かを判別する基準となる判別基準値を特定する判別基準値特定手段と、前記複数の分類それぞれについて、それぞれ前記複数の分類のうちの少なくとも１つの分類に属する複数の画像に基づいて特定される、当該分類に属する画像が他の分類にも属する可能性、あるいは、当該分類に属さない画像が前記他の分類にも属さない可能性、の少なくとも一方を表す相関情報と、当該分類と前記他の分類についての前記判別基準値と、に基づいて、前記画像受付手段が受け付ける画像が当該分類に属する可能性の高低を表す値を特定する分類属否可能性特定手段と、前記分類属否可能性特定手段により特定される前記値に基づいて特定される、前記画像受付手段が受け付ける画像が属する少なくとも１つの分類を示す情報を出力する出力手段と、を含むこととしたものである。
【発明の効果】
【０００９】
請求項１，３に記載の発明によれば、本発明の構成を有しない場合と比較して、画像の分類精度が高くなる。
【００１０】
請求項２に記載の発明によれば、画像がある分類に属する可能性の高低が、その分類とは異なるすべての分類との間の相関に基づいて特定される。
【図面の簡単な説明】
【００１１】
【図１】本発明の一実施形態に係る情報処理装置のハードウェア構成の一例を示す図である。
【図２】本発明の一実施形態に係る情報処理装置により実現される機能の一例を示す機能ブロック図である。
【図３】学習モデル情報の一例を示す図である。
【図４】第１の相関マトリックス情報の一例を示す図である。
【図５】第２の相関マトリックス情報の一例を示す図である。
【図６】確率モデル情報の一例を示す図である。
【図７】本実施形態に係る情報処理装置で行われる処理の流れの一例を示すフロー図である。
【図８】比較例における確率モデル情報の一例を示す図である。
【図９】第１の相関マトリックス情報の一例を示す図である。
【図１０】第２の相関マトリックス情報の一例を示す図である。
【図１１】標識の認識率の比較結果の一例を示す図である。
【図１２】標識ｍｏｔｏｒｂｉｋｅに対する判別基準値によって、最適化された標識ｓｈｅｅｐのｓｉｇｍｏｉｄ関数の一例を示す図である。
【図１３】標識ｍｏｔｏｒｂｉｋｅに対する判別基準値によって、最適化された標識ｓｈｅｅｐのｓｉｇｍｏｉｄ関数の一例を示す図である。
【図１４】標識の認識率の比較結果の一例を示す図である。
【図１５】標識ｐｅｒｓｏｎに対する判別基準値によって、最適化された標識ｃａｔのｓｉｇｍｏｉｄ関数の一例を示す図である。
【図１６】標識ｐｅｒｓｏｎに対する判別基準値によって、最適化された標識ｃａｔのｓｉｇｍｏｉｄ関数の一例を示す図である。
【図１７】確率モデル情報に含まれるパラメータチルダＡの一具体例を示す図である。
【発明を実施するための形態】
【００１２】
以下、本発明の一実施形態について図面に基づき詳細に説明する。
【００１３】
図１は、本実施形態に係る情報処理システムとして機能する情報処理装置１０のハードウェア構成の一例を示す図である。図１に例示するように、本実施形態に係る情報処理装置１０は、例えば、制御部１２、記憶部１４、ユーザインタフェース（ＵＩ）部１６、を含んでいる。これらの要素は、バスなどを介して接続される。制御部１２は、ＣＰＵ等のプログラム制御デバイスであり、情報処理装置１０にインストールされるプログラムに従って動作する。記憶部１４は、ＲＯＭやＲＡＭ等の記憶素子やハードディスクドライブなどである。記憶部１４には、制御部１２によって実行されるプログラムなどが記憶される。また、記憶部１４は、制御部１２のワークメモリとしても動作する。ＵＩ部１６は、ディスプレイ、マイク、マウス、キーボードなどであり、利用者が行った操作の内容や、利用者が入力した音声を制御部１２に出力する。また、このＵＩ部１６は、制御部１２から入力される指示に従って情報を表示出力したり音声出力したりする。
【００１４】
図２は、本実施形態に係る情報処理装置１０により実現される機能の一例を示す機能ブロック図である。図２に例示するように、情報処理装置１０は、本実施形態では、例えば、画像受付部２０、学習モデル情報記憶部２２、相関マトリックス情報記憶部２４、確率モデル情報記憶部２６、特徴量抽出部２８、判別基準値算出部３０、判別基準値重み付け部３２、属否可能性算出部３４、分類決定部３６、出力部３８、学習部４０、を含むものとして機能する。学習モデル情報記憶部２２、相関マトリックス情報記憶部２４、確率モデル情報記憶部２６は、記憶部１４を主として実現される。その他の要素は制御部１２を主として実現される。また、学習部４０は、例えば、サポートベクタマシン等の識別器を含んでいる。
【００１５】
これらの要素は、コンピュータである情報処理装置１０にインストールされたプログラムを、情報処理装置１０の制御部１２で実行することにより実現されている。このプログラムは、例えば、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭなどのコンピュータ読み取り可能な情報記録媒体を介して、あるいは、インターネットなどの通信手段を介して情報処理装置１０に供給される。
【００１６】
本実施形態では、例えば、画像受付部２０が受け付ける画像に、予め定められたＬ種類の標識（ラベル）のうちの少なくとも１つが関連付けられることとなる。本実施形態では、Ｌ種類の標識それぞれに、標識番号ｊ（ｊ＝１，・・・，Ｌ）が割り当てられている。また、本実施形態では、標識と画像の分類とが１対１で対応している。すなわち、ある分類に属する画像には、その分類に対応する標識が関連付けられることとなる。なお、画像は複数の分類に属することもあり得る。その場合には、画像に複数の標識が関連付けられることとなる。
【００１７】
本実施形態では、学習モデル情報記憶部２２に、予め、図３に例示する学習モデル情報５０が記憶されている。本実施形態では、学習モデル情報５０は、情報処理装置１０が学習の対象となる複数の画像（学習画像）を学習することにより生成される。学習モデル情報５０は、上述の標識番号、サポートベクタ情報、パラメータ情報、を含んでいる。学習モデル情報５０は、例えば、標識に対応する特徴量と他の標識に対応する特徴量とを識別するバイナリサポートベクタマシンの学習モデルを表す情報である。サポートベクタ情報及びパラメータ情報は、後述する判別基準値を算出する基礎となる情報である。また、図３に示すように、標識番号ｉに対応付けられるサポートベクタ情報の値は（ｘｉ１，ｘｉ２，・・・，ｘｉＮｉ）、パラメータ情報の値は（ａｉ１，ａｉ２，・・・，ａｉＮｉ）及びｂｉである。学習画像に基づく、学習モデル情報５０の生成処理については後述する。
【００１８】
また、本実施形態では、相関マトリックス情報記憶部２４に、予め、図４に例示する第１の相関マトリックス情報５２−１、及び、図５に例示する第２の相関マトリックス情報５２−２が記憶されている。第１の相関マトリックス情報５２−１、及び、第２の相関マトリックス情報５２−２は、情報処理装置１０が複数の学習画像を学習することにより生成される。これらの学習画像は、学習モデル情報５０の生成の際に用いられる学習画像と同じであっても異なっていても構わない。第１の相関マトリックス情報５２−１のｉ行ｊ列の値Ｒｉｊには、例えば、標識番号ｊの標識が関連付けられている学習画像に標識番号ｉの標識も関連付けられている条件付確率Ｐ（Ｃｉ｜Ｃｊ）と、学習画像に標識番号ｉの標識が関連付けられている確率Ｐ（Ｃｉ）との差の絶対値Ｒｉｊ＝｜Ｐ（Ｃｉ）−Ｐ（Ｃｉ｜Ｃｊ）｜が設定される。学習画像に標識番号ｊの標識が関連付けられているときに、その学習画像に標識番号ｉの標識も関連付けられている場合には、そうでない場合よりもＰ（Ｃｉ｜Ｃｊ）の値が大きくなる。一方、学習画像に標識番号ｊの標識が関連付けられていないときに、その学習画像に標識番号ｉの標識も関連付けられていない場合には、そうでない場合よりもＰ（Ｃｉ｜Ｃｊ）の値が小さくなる。いずれにしても、標識番号ｉの標識と標識番号ｊの標識とに学習画像に関連付けられているか否かについての相関がある場合には、｜Ｐ（Ｃｉ）−Ｐ（Ｃｉ｜Ｃｊ）｜の値は大きくなる。一方、その相関がない場合は、｜Ｐ（Ｃｉ）−Ｐ（Ｃｉ｜Ｃｊ）｜の値は小さくなる。独立である場合は、｜Ｐ（Ｃｉ）−Ｐ（Ｃｉ｜Ｃｊ）｜の値はゼロとなる。
【００１９】
一方、第２の相関マトリックス情報５２−２のｉ行ｊ列の値Ｒ’ｉｊには、例えば、標識番号ｊの標識が関連付けられていない学習画像に標識番号ｉの標識も関連付けられていない条件付確率Ｐ（Ｃ’ｉ｜Ｃ’ｊ）と、学習画像に標識番号ｉの標識が関連付けられていない確率Ｐ（Ｃ’ｉ）との差の絶対値Ｒ’ｉｊ＝｜Ｐ（Ｃ’ｉ）−Ｐ（Ｃ’ｉ｜Ｃ’ｊ）｜が設定される。
【００２０】
また、本実施形態では、確率モデル情報記憶部２６に、予め、図６に例示する確率モデル情報５４が記憶されている。本実施形態では、確率モデル情報５４は、情報処理装置１０が複数の学習画像を学習することにより生成される。これらの学習画像は、確率モデル情報５４の生成の際に用いられる学習画像と同じであっても異なっていても構わない。確率モデル情報５４は、Ｌ行Ｌ列の行列（ｉ行ｊ列の値はチルダＡｉｊ（上方に〜が配置されたＡｉｊ））であるパラメータチルダＡ及び各行に割り当てられる要素（ｉ行に対応付けられるこの要素の値はチルダＢｉ（上方に〜が配置されたＢｉ））であるパラメータチルダＢが含まれている。本実施形態では、図６に示すように、確率モデル情報５４における、ｉ行目のパラメータが、標識番号ｉの標識に対応するパラメータとなっている。確率モデル情報５４は、本実施形態では、例えば、ｓｉｇｍｏｉｄ関数のパラメータベクトルである。学習画像に基づく、確率モデル情報５４の生成処理については後述する。
【００２１】
ここで、本実施形態に係る情報処理装置１０で行われる処理の流れの一例を、図７に例示するフロー図を参照しながら説明する。
【００２２】
まず、画像受付部２０が、分類の対象となる画像（すなわち、上述のＬ種類の標識のうちの少なくとも１つが関連付けられることとなる画像）を受け付けて、この画像の画素行列を出力する（Ｓ１０１）。以下、Ｓ１０１に示す処理で受け付ける画像を、受付画像と呼ぶこととする。なお、Ｓ１０１に示す処理で、一般的な前処理（例えば、移動、色の修正、変形、フォーマットの変換、ノイズ削除等）を行ってもよい。
【００２３】
そして、特徴量抽出部２８が、例えば、受付画像の特徴量を特定する（Ｓ１０２）。本処理例では、特徴量抽出部２８は、例えば、受付画像に含まれる各画素のＲＧＢ値、ｎｏｒｍａｌｉｚｅｄ−ＲＧＢ値、ＨＳＶ値、ＬＡＢ値、ｒｏｂｕｓｔＨｕｅ特徴量（van de Weijer, C. Schmid, "Coloring Local Feature Extraction", ECCV 2006を参照）Ｇａｂｏｒ特徴量、ＤＣＴ特徴量、ＳＩＦＴ特徴量、ＧＩＳＴ特徴量等を特定する。そして、特徴量抽出部２８は、予め、学習コーパスからＫ−Ｍｅａｎｓクラスタリングによって生成されたコードブックに基づいて、抽出された特徴量を量子化する。そして、特徴量抽出部２８は、量子化された特徴量の受付画像全体におけるヒストグラムを、Ｓ１０２に示す処理における特徴量ベクトルｘとして特定する。
【００２４】
そして、判別基準値算出部３０が、Ｓ１０２に示す処理で特定された受付画像の特徴量と、学習モデル情報記憶部２２に予め記憶されている学習モデル情報５０とに基づいて、受付画像が各分類に属するか否か（受付画像に標識を関連付けるか否か）を判別する基準となる値である判別基準値を算出する（Ｓ１０３）。本実施形態では、判別基準値算出部３０は、例えば、各分類について（各標識について）、判別基準値を算出する。例えば、判別基準値算出部３０は、次式を計算することにより、標識番号ｉの標識に対応付けられる判別基準値Ｆｉ（ｉ＝１，・・・，Ｌ）を算出する。なお、次式において、Ｋはカーネル関数（例えば、ガウシアンカーネル）、太文字のｘはＳ１０２に示す処理で特定される受付画像の特徴量ベクトルである。ｘｉｎは、学習モデル情報５０に含まれるサポートベクタ情報の値である。ａｉｎ及びｂｉの値は、学習モデル情報５０に含まれるパラメータ情報の値である。判別基準値Ｆｉは、標識に対応する分類に属する画像については、大きな値をとり、その他の画像については小さな値をとる。判別基準値は、例えば、対応する分類と他の分類とを識別するバイナリサポートベクタマシンの決定関数の出力である。
【００２５】
【数１】
【００２６】
そして、判別基準値重み付け部３２が、Ｓ１０３に示す処理で算出された、標識番号ｉの標識に対応付けられる判別基準値Ｆｉ（ｉ＝１，・・・，Ｌ）に対する、相関マトリックス情報５２に基づく重み付けを行う（Ｓ１０４）。判別基準値重み付け部３２は、具体的には、例えば、各標識について、その標識に対応付けられるＬ個の重み付け済判別基準値を算出する。以下、標識番号ｉの標識に対応付けられるＬ個の重み付け済判別基準値をＦ’ｉｊ（ｊ＝１，・・・，Ｌ）で表すこととする。
【００２７】
判別基準値重み付け部３２は、例えば、標識番号ｊ（ｊ＝１，・・・，Ｌ）の標識に対応付けられる判別基準値Ｆｊの値がゼロより大きい際に、第１の相関マトリックス情報５２−１に含まれる値Ｒｊｉが予め定められた閾値よりも大きいか否かを確認する。そして、判別基準値重み付け部３２は、値Ｒｊｉが閾値よりも大きい場合に、重みｗｉｊの値を１に設定し、そうでない場合に、重みｗｉｊの値を０に設定する。標識番号ｊ（ｊ＝１，・・・，Ｌ）の標識に対応付けられる判別基準値Ｆｊの値がゼロより小さい際に、第２の相関マトリックス情報５２−２に含まれる値Ｒ’ｊｉが予め定められた閾値よりも大きいか否かを確認する。そして、判別基準値重み付け部３２は、値Ｒ’ｊｉが閾値よりも大きい場合に、重みｗｉｊの値を１に設定し、そうでない場合に、重みｗｉｊの値を０に設定する。そして、判別基準値重み付け部３２は、Ｆ’ｉｊ＝Ｆｊ×ｗｉｊという数式に従って、Ｆ’ｉｊ（ｊ＝１，・・・，Ｌ）の値を算出する。以上の処理を各ｉ（ｉ＝１，・・・，Ｌ）について繰り返し実行することで、Ｆ’ｉｊ（ｉ＝１，・・・，Ｌ，ｊ＝１，・・・，Ｌ）の値が算出される。
【００２８】
そして、属否可能性算出部３４が、Ｆ’ｉｊの値、及び、確率モデル情報５４に基づいて、次式を計算することにより、各ｉ（ｉ＝１，・・・，Ｌ）についての、属否可能性の値チルダｐｉ（上方に〜が配置されたｐｉ）の値を算出する（Ｓ１０５）。次式において、Ｔは特徴量を表している。チルダＡｉｊ及びチルダＢｉの値は、上述の確率モデル情報５４に含まれる値を指す。チルダｐｉは標識番号ｉの標識に対応する事後確率である。
【００２９】
【数２】
【００３０】
そして、分類決定部３６は、チルダｐｉ（ｉ＝１，・・・，Ｌ）の値に基づいて、受付画像が属する分類（すなわち、受付画像に関連付けられる標識）を決定する（Ｓ１０６）。本実施形態では、分類決定部３６は、例えば、チルダｐｉ（ｉ＝１，・・・，Ｌ）の値が予め定められた閾値以上である標識番号を特定する。そして、分類決定部３６は、特定された標識番号のうち、チルダｐｉ（ｉ＝１，・・・，Ｌ）の値が大きいものから順に、予め定められた個数以下の標識番号を特定する。分類決定部３６は、このようにして特定された標識番号に対応する分類を、受付画像が属する分類として特定する。
【００３１】
そして、出力部３８が、Ｓ１０６に示す処理で決定された分類に対応する少なくとも１つの標識を受付画像に関連付けて、記憶部１４に出力するとともに、標識番号をディスプレイ等のＵＩ部１６に表示出力する（Ｓ１０７）。このようにして、本処理例によれば、受付画像が属する分類が決定され、対応する標識が受付画像に関連付けられるとともに、標識番号がディスプレイ等に表示出力されることとなる。
【００３２】
ここで、情報処理装置１０による学習モデル情報５０の生成処理の一例について説明する。
【００３３】
まず、画像受付部２０が、学習の対象となる画像（学習画像）を複数（例えば、Ｎ個）受け付ける。各学習画像には、その学習画像が属する分類に対応する標識が少なくとも１つ関連付けられている。そして、特徴量抽出部２８は、各学習画像の特徴量を抽出する。特徴量抽出部２８は、具体的には、例えば、学習画像に含まれる各画素のＲＧＢ値、ｎｏｒｍａｌｉｚｅｄ−ＲＧＢ値、ＨＳＶ値、ＬＡＢ値、ｒｏｂｕｓｔＨｕｅ特徴量（van de Weijer, C. Schmid, "Coloring Local Feature Extraction", ECCV 2006を参照）、Ｇａｂｏｒ特徴量、ＤＣＴ特徴量、ＳＩＦＴ特徴量、ＧＩＳＴ特徴量等を特定する。そして、特徴量抽出部２８は、予め、学習コーパスからＫ−Ｍｅａｎｓクラスタリングによって生成されたコードブックに基づいて、抽出された特徴量を量子化する。そして、特徴量抽出部２８は、量子化された特徴量の受付画像全体におけるヒストグラムを、学習画像の特徴量ベクトルとして特定する。以下、第ｎの学習画像（ｎ＝１，・・・，Ｎ）から特定される特徴量ベクトルをｘｎで表す。
【００３４】
そして、学習部４０は、各識別番号ｊ（ｊ＝１，・・・，Ｌ）についての、サポートベクタ情報及びパラメータ情報の特定処理を実行する。ここで、識別番号ｊのサポートベクタ情報及びパラメータ情報の特定処理は、例えば、第ｎの学習画像（ｎ＝１，・・・，Ｎ）の特徴量ベクトルｘｎと、第ｎの学習画像が識別番号ｊに対応する標識に関連付けられているか否かを示す値ｔｎ（識別番号ｊに対応する標識に関連付けられている場合は、ｔｎ＝＋１。そうでない場合は、ｔｎ＝０。）とを対応付ける処理（この処理により、Ｎ組のベクトルと値の組合せ（ｘ１,ｔ１），・・・，（ｘＮ,ｔＮ）が生成される。）、これらＮ組のベクトルと値の組合せをサポートベクタマシン（ＳＶＭ）により学習する処理（例えば、N.Cristianini and J.Shawe-Taylor, "An Introduction to Support Vector Machines and Other Kernel-based Learning Methods", Chapter6. Cambridge University Press 2000の最適化基準のもとで、1-v-OthersのバイナリＳＶＭのパラメータを学習する処理）、識別番号ｊに対応するサポートベクタ情報及びパラメータ情報を特定する処理、を順に実行することにより実現される。本実施形態では、学習部４０は、ｔｎ＝＋１に対応付けられている特徴量ベクトルｘｎを正例として、ｔｎ＝０に対応付けられている特徴量ベクトルｘｎを負例として学習する。そして、学習部４０は、上述のようにして特定されたサポートベクタ情報及びパラメータ情報に、対応する識別番号が関連付けられた学習モデル情報５０を学習モデル情報記憶部２２に出力する。
【００３５】
このようにして、学習モデル情報記憶部２２に学習モデル情報５０が記憶されることとなる。
【００３６】
次に、情報処理装置１０による確率モデル情報５４の生成処理の一例について説明する。
【００３７】
まず、画像受付部２０が、学習の対象となる画像（学習画像）を複数受け付ける。これらの学習画像は、学習モデル情報５０の生成処理に用いた学習画像と同じものであっても異なっていても構わない。ここでは、標識番号ｉの標識の学習に用いられる学習画像の数は、Ｍｉであることとする。各学習画像には、その学習画像が属する分類に対応する標識が少なくとも１つ関連付けられている。そして、情報処理装置１０は、各学習画像について、上述のＳ１０２〜Ｓ１０４に示す処理と同様の処理により、重み付け済判別基準値（Ｆｉｊｎ）’を特定する。そして、学習部４０が、学習の対象となる標識（例えば、標識番号ｉの標識）が関連付けられている学習画像の重み付け済判別基準値を正例として取り扱い（ｔｉｎ＝＋１）、学習の対象となる標識（例えば、標識番号ｉの標識）が関連付けられていない学習画像の重み付け済判別基準値を負例として取り扱う（ｔｉｎ＝０）設定を行った上で、次式で表される尤度が最大となるパラメータチルダＡｉｊ及びチルダＢｉを、バックトラッキング線形探索法（backtracking linear search）を用いたニュートン法によって（Nocedal,J.and S.J.Wright: “Numerical Optimization” Algorithm 6.2. New York, NY: Springer- Verlag, 1999.参照）計算する。次式において、（Ｆｉｊｎ）’の値は、標識番号ｉの標識の学習に用いられるｎ番目の学習画像（ｎ＝１，・・・，Ｍｉ）についての重み付け済判別基準値を表している。また、Ｔは特徴量を表している。
【００３８】
【数３】
【００３９】
そして、学習部４０は、上述のようにして特定されたチルダＡｉｊ及びチルダＢｉの値が含まれる確率モデル情報５４を確率モデル情報記憶部２６に出力する。
【００４０】
このようにして、確率モデル情報記憶部２６に確率モデル情報５４が記憶されることとなる。
【００４１】
ここで、本実施形態の一比較例について説明する。
【００４２】
本比較例に係る情報処理装置１０は、図２に例示する構成と比較して、判別基準値重み付け部３２を含まないという点が異なる。
【００４３】
また、本比較例では、確率モデル情報記憶部２６に、図８に例示する確率モデル情報５４が記憶される。この確率モデル情報５４では、例えば、各識別番号について２つのパラメータ（例えば、識別番号ｉに対しては、パラメータＡｉ及びパラメータＢｉ）が関連付けられている。
【００４４】
そして、本比較例では、学習部４０は、学習対象となる複数の画像それぞれについて、ｋ番目の学習画像が学習の対象となる標識（例えば、標識番号ｉの標識）が関連付けられている場合に判別基準値Ｆｋを正例として取り扱い（ｔｋ＝＋１）、学習の対象となる標識（例えば、標識番号ｉの標識）が関連付けられていない場合に判別基準値Ｆｋを負例として取り扱う（ｔｋ＝０）設定を行った上で、次式で表される尤度が最大となるパラメータＡｉ及びＢｉを、バックトラッキング線形探索法（backtracking linear search）を用いたニュートン法によって（Nocedal,J.and S.J.Wright: “Numerical Optimization” Algorithm 6.2. New York, NY: Springer- Verlag, 1999.参照）計算する。次式において、Ｆｋの値は、標識番号ｉの標識の学習に用いられるｋ番目の学習画像についての判別基準値Ｆｋの値を表している。また、Ａ、Ｂの値は、それぞれ、標識番号ｉに対応するパラメータＡ、Ｂの値を示している。
【００４５】
【数４】
【００４６】
そして、本比較例では、属否可能性算出部３４が、受付画像のついての判別基準値Ｆｉ（ｉ＝１，・・・，Ｌ）の値、及び、確率モデル情報５４に基づいて、次式を計算することにより、各ｉ（ｉ＝１，・・・，Ｌ）についての、属否可能性の値ｐｉの値を算出する（Ｓ１０５）。次式において、ｐｉが標識番号ｉの標識に対応する事後確率である。また、Ａ、Ｂの値は、それぞれ、標識番号ｉに対応するパラメータＡ、Ｂの値を示している。
【００４７】
【数５】
【００４８】
本実施形態に係る情報処理装置１０は、相関マトリックス情報５２を用いて属否可能性の値を算出するという点が少なくとも比較例に係る情報処理装置１０と異なっている。
【００４９】
ここで、本実施形態に係る情報処理装置１０により相関マトリックス情報５２に基づく重み付け済判別基準値の算出を行う場合と、行わない場合との比較結果の一例について説明する。なお、ここでは、図９に例示する第１相関マトリックス情報５２−１及び図１０に例示する第２相関マトリックス情報５２−２を用いることとする。
【００５０】
以下の説明では、例えば、標識ｓｈｅｅｐに対応付けられる重み付け済判別基準値の値をＦｓｈｅｅｐと、標識ｓｈｅｅｐに対応する事後確率をＰｓｈｅｅｐ、標識ｓｈｅｅｐに対応する上述したｔの値をｔｓｈｅｅｐで表す。なお、標識ｓｈｅｅｐ以外の標識についても同様の表現とする。
【００５１】
まず、第１の相関マトリックス情報５２−１に基づく重み付け済判別基準値の算出を行う場合と行わない場合との比較結果の一例について説明する。図１１に、第１の相関マトリックス情報５２−１を用いて重み付け済判別基準値の算出を行う場合と行わない場合との、標識の認識率の比較結果を示す。図１１で実施した比較では、判別基準値の値が０より大きい画像を用いた。また、図１１において、丸印は、重み１が設定されるデータを示しており、バツ印は、重み０が設定されるデータを示している。
【００５２】
図１１のＦｍｏｔｏｒｂｉｋｅに着目し、重み付け済判別基準値の算出を行う場合と行わない場合との違いを可視化する。図１２に、標識ｍｏｔｏｒｂｉｋｅに対する判別基準値によって、最適化された標識ｓｈｅｅｐのｓｉｇｍｏｉｄ関数を示す。ここでは、Ｆｍｏｔｏｒｂｉｋｅ＞０の判別基準値も選択の対象となる。図１３に、同一の判別基準値に対して、図９に例示する第１の相関マトリックス情報５２−１に基づき、Ｆｍｏｔｏｒｂｉｋｅ＞０の判別基準値を事後確率の算出の基礎としないようにした、標識ｓｈｅｅｐのｓｉｇｍｏｉｄ関数の、標識ｍｏｔｏｒｂｉｋｅの判別基準値に依存する部分を示す。図１２でも図１３でも、Ｆｍｏｔｏｒｂｉｋｅ＜０の判別基準値については選択されている。
【００５３】
図１２及び図１３において、丸印の点は、標識ｓｈｅｅｐが関連付けられている画像から抽出した特徴量（ｔｓｈｅｅｐ＝１）であり、バツ印の点は、標識ｓｈｅｅｐが関連付けられていない画像から抽出した特徴量（ｔｓｈｅｅｐ＝０）である。横軸は、標識ｍｏｔｏｒｂｉｋｅの学習モデルに対応する判別基準値Ｆｍｏｔｏｒｂｉｋｅを示している。図１３の例では、Ｆｍｏｔｏｒｂｉｋｅ＜０のデータについては、判別基準値の重みが1となる。Ｆｍｏｔｏｒｂｉｋｅ＞０のデータについては、判別基準値の重みが０となる。
【００５４】
図１２ではＦｍｏｔｏｒｂｉｋｅ＞０に該当するデータ（図１２の右半分のデータ）の影響で、ｓｉｇｍｏｉｄ関数の特性が、図１３のｓｉｇｍｏｉｄ関数よりも緩やかなカーブとなり、Ｆｍｏｔｏｒｂｉｋｅの値がＰｓｈｅｅｐの値に与える影響が小さくなっていることがわかる。一方、図１３ではＦｍｏｔｏｒｂｉｋｅの値がＰｓｈｅｅｐの値に与える影響が図１２のｓｉｇｍｏｉｄ関数よりも大きくなっていることがわかる。また、図１１に示すように、本比較結果では、第１の相関マトリックス情報５２−１を用いて重み付け済判別基準値の算出を行う場合の方が、行わない場合よりも、標識ｓｈｅｅｐの認識率が高くなっている。
【００５５】
次に、第２の相関マトリックス情報５２−２を用いて重み付け済判別基準値の算出を行う場合と行わない場合との比較結果の一例について説明する。図１４に、第２の相関マトリックス情報５２−２を用いて重み付け済判別基準値の算出を行う場合と行わない場合との、標識の認識率の比較結果を示す。図１４で実施した比較では、判別基準値の値が０より小さい画像を用いた。また、図１４において、丸印は、重みとして１が設定されるデータを示しており、バツ印は、重みとして０が設定されるデータを示している。
【００５６】
図１４のＦｐｅｒｓｏｎに着目し、重み付け済判別基準値の算出を行う場合と行わない場合との違いを可視化する。図１５に、標識ｐｅｒｓｏｎに対する判別基準値によって、最適化された標識ｃａｔのｓｉｇｍｏｉｄ関数を示す。ここでは、Ｆｐｅｒｓｏｎ＜０の判別基準値も選択の対象となる。図１６に、同一の判別基準値に対して、図１５に例示する第２の相関マトリックス情報５２−２に基づき、Ｆｐｅｒｓｏｎ＜０の判別基準値を事後確率の算出の基礎としないようにした、標識ｃａｔのｓｉｇｍｏｉｄ関数の、標識ｐｅｒｓｏｎの判別基準値に依存する部分を示す。図１５でも図１６でも、Ｆｐｅｒｓｏｎ＞０の判別基準値については選択されている。
【００５７】
図１５及び図１６において、丸印の点は、標識ｃａｔが関連付けられている画像から抽出した特徴量（ｔｃａｔ＝１）であり、バツ印の点は、標識ｃａｔが関連付けられていない画像から抽出した特徴量（ｔｃａｔ＝０）である。横軸は、標識ｐｅｒｓｏｎの学習モデルに対応する判別基準値Ｆｐｅｒｓｏｎを示している。
【００５８】
図１６の例では、Ｆｐｅｒｓｏｎ＞０のデータについては、判別基準値の重みが1となる。Ｆｐｅｒｓｏｎ＜０のデータについては、判別基準値の重みが０となる。
【００５９】
図１５ではＦｐｅｒｓｏｎ＜０に該当するデータ（図１５の左半分のデータ）の影響で、ｓｉｇｍｏｉｄ関数の特性が、図１６のｓｉｇｍｏｉｄ関数よりもより緩やかなカーブとなり、Ｆｐｅｒｓｏｎの値がＰｃａｔの値に与える影響が小さくなっていることがわかる。一方、図１６ではＦｐｅｒｓｏｎの値がＰｃａｔの値に与える影響が図１５のｓｉｇｍｏｉｄ関数よりも大きくなっていることがわかる。また、図１４に示すように、本比較結果では、第２の相関マトリックス情報５２−２を用いて重み付け済判別基準値の算出を行う場合の方が、行わない場合よりも、標識ｃａｔの認識率が高くなっている。
【００６０】
図１７に、本比較での確率モデル情報５４に含まれるパラメータチルダＡの一具体例を示す。図１７からも、本比較において標識の相関性が活用されていることがわかる。例えば、行ｂｕｓと列ｃａｒのパラメータチルダＡの値が負であり、その絶対値が大きいために、標識ｂｕｓと標識ｃａｒの正の相関性を表せていることがわかる。同様に、行ｂｕｓと列ｍｏｔｏｒｂｉｋｅのパラメータチルダＡの値が正であり、その絶対値も大きいために、標識ｂｕｓと標識ｍｏｔｏｒｂｉｋｅの負の相関性を表せていることがわかる。それにより、標識ｂｕｓに関連付けられている画像の判別性能が高くなっている。一方、行ｂｕｓと列ｃａｒのパラメータチルダＡの値がゼロに近く、標識ｄｏｇと標識ｃａｒに相関性がないということも表している。
【００６１】
なお、本発明は上述の実施形態に限定されるものではない。また、上記の具体的な数値や文字列は例示であり、これらの数値や文字列には限定されない。
【符号の説明】
【００６２】
１０ 情報処理装置、１２ 制御部、１４ 記憶部、１６ ユーザインタフェース（ＵＩ）部、２０ 画像受付部、２２ 学習モデル情報記憶部、２４ 相関マトリックス情報記憶部、２６ 確率モデル情報記憶部、２８ 特徴量抽出部、３０ 判別基準値算出部、３２ 判別基準値重み付け部、３４ 属否可能性算出部、３６ 分類決定部、３８ 出力部、４０ 学習部、５０ 学習モデル情報、５２ 相関マトリックス情報、５４ 確率モデル情報。
【特許請求の範囲】
【請求項１】
複数の分類のうちの少なくとも１つの分類を特定する対象となる画像を受け付ける画像受付手段、
前記複数の分類それぞれについて、前記画像受付手段が受け付ける画像の特徴量と、それぞれ前記複数の分類のうちの少なくとも１つの分類に属する複数の画像の特徴量と、に基づいて、前記画像受付手段が受け付ける画像が当該分類に属するか否かを判別する基準となる判別基準値を特定する判別基準値特定手段、
前記複数の分類それぞれについて、それぞれ前記複数の分類のうちの少なくとも１つの分類に属する複数の画像に基づいて特定される、当該分類に属する画像が他の分類にも属する可能性、あるいは、当該分類に属さない画像が前記他の分類にも属さない可能性、の少なくとも一方を表す相関情報と、当該分類と前記他の分類についての前記判別基準値と、に基づいて、前記画像受付手段が受け付ける画像が当該分類に属する可能性の高低を表す値を特定する分類属否可能性特定手段、
前記分類属否可能性特定手段により特定される前記値に基づいて特定される、前記画像受付手段が受け付ける画像が属する少なくとも１つの分類を示す情報を出力する出力手段、
としてコンピュータを機能させることを特徴とするプログラム。
【請求項２】
前記分類属否可能性特定手段が、前記各分類について、当該分類とは異なるすべての分類それぞれについての前記相関情報及び前記判別基準値の組合せに基づいて、前記画像受付手段が受け付ける画像が当該分類に属する可能性の高低を表す値を特定する、
ことを特徴とする請求項１に記載のプログラム。
【請求項３】
複数の分類のうちの少なくとも１つの分類を特定する対象となる画像を受け付ける画像受付手段と、
前記複数の分類それぞれについて、前記画像受付手段が受け付ける画像の特徴量と、それぞれ前記複数の分類のうちの少なくとも１つの分類に属する複数の画像の特徴量と、に基づいて、前記画像受付手段が受け付ける画像が当該分類に属するか否かを判別する基準となる判別基準値を特定する判別基準値特定手段と、
前記複数の分類それぞれについて、それぞれ前記複数の分類のうちの少なくとも１つの分類に属する複数の画像に基づいて特定される、当該分類に属する画像が他の分類にも属する可能性、あるいは、当該分類に属さない画像が前記他の分類にも属さない可能性、の少なくとも一方を表す相関情報と、当該分類と前記他の分類についての前記判別基準値と、に基づいて、前記画像受付手段が受け付ける画像が当該分類に属する可能性の高低を表す値を特定する分類属否可能性特定手段と、
前記分類属否可能性特定手段により特定される前記値に基づいて特定される、前記画像受付手段が受け付ける画像が属する少なくとも１つの分類を示す情報を出力する出力手段と、
を含むことを特徴とする情報処理システム。
【請求項１】
複数の分類のうちの少なくとも１つの分類を特定する対象となる画像を受け付ける画像受付手段、
前記複数の分類それぞれについて、前記画像受付手段が受け付ける画像の特徴量と、それぞれ前記複数の分類のうちの少なくとも１つの分類に属する複数の画像の特徴量と、に基づいて、前記画像受付手段が受け付ける画像が当該分類に属するか否かを判別する基準となる判別基準値を特定する判別基準値特定手段、
前記複数の分類それぞれについて、それぞれ前記複数の分類のうちの少なくとも１つの分類に属する複数の画像に基づいて特定される、当該分類に属する画像が他の分類にも属する可能性、あるいは、当該分類に属さない画像が前記他の分類にも属さない可能性、の少なくとも一方を表す相関情報と、当該分類と前記他の分類についての前記判別基準値と、に基づいて、前記画像受付手段が受け付ける画像が当該分類に属する可能性の高低を表す値を特定する分類属否可能性特定手段、
前記分類属否可能性特定手段により特定される前記値に基づいて特定される、前記画像受付手段が受け付ける画像が属する少なくとも１つの分類を示す情報を出力する出力手段、
としてコンピュータを機能させることを特徴とするプログラム。
【請求項２】
前記分類属否可能性特定手段が、前記各分類について、当該分類とは異なるすべての分類それぞれについての前記相関情報及び前記判別基準値の組合せに基づいて、前記画像受付手段が受け付ける画像が当該分類に属する可能性の高低を表す値を特定する、
ことを特徴とする請求項１に記載のプログラム。
【請求項３】
複数の分類のうちの少なくとも１つの分類を特定する対象となる画像を受け付ける画像受付手段と、
前記複数の分類それぞれについて、前記画像受付手段が受け付ける画像の特徴量と、それぞれ前記複数の分類のうちの少なくとも１つの分類に属する複数の画像の特徴量と、に基づいて、前記画像受付手段が受け付ける画像が当該分類に属するか否かを判別する基準となる判別基準値を特定する判別基準値特定手段と、
前記複数の分類それぞれについて、それぞれ前記複数の分類のうちの少なくとも１つの分類に属する複数の画像に基づいて特定される、当該分類に属する画像が他の分類にも属する可能性、あるいは、当該分類に属さない画像が前記他の分類にも属さない可能性、の少なくとも一方を表す相関情報と、当該分類と前記他の分類についての前記判別基準値と、に基づいて、前記画像受付手段が受け付ける画像が当該分類に属する可能性の高低を表す値を特定する分類属否可能性特定手段と、
前記分類属否可能性特定手段により特定される前記値に基づいて特定される、前記画像受付手段が受け付ける画像が属する少なくとも１つの分類を示す情報を出力する出力手段と、
を含むことを特徴とする情報処理システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２０１２−１７４０８３（Ｐ２０１２−１７４０８３Ａ）
【公開日】平成２４年９月１０日（２０１２．９．１０）
【国際特許分類】
【出願番号】特願２０１１−３６６７５（Ｐ２０１１−３６６７５）
【出願日】平成２３年２月２３日（２０１１．２．２３）
【出願人】（０００００５４９６）富士ゼロックス株式会社 (21,908)
【Ｆターム（参考）】
【公開日】平成２４年９月１０日（２０１２．９．１０）
【国際特許分類】
【出願日】平成２３年２月２３日（２０１１．２．２３）
【出願人】（０００００５４９６）富士ゼロックス株式会社 (21,908)
【Ｆターム（参考）】
[ Back to top ]