画像識別情報付与プログラム及び画像識別情報付与装置
【課題】画像に関する相関情報を用いて画像に対して複数の識別情報を付与する画像識別情報付与プログラム及び画像識別情報付与装置を提供する。
【解決手段】画像識別情報付与装置１は、複数のクエリ画像１２０からそれぞれ特徴量を抽出する特徴抽出部３と、特徴抽出部３によって抽出された特徴量から学習モデル１３０を用いてクエリ画像１２０に付与すべき複数のラベルに対してそれぞれ量子化値を計算するアノテーションスコア量子化部５と、ラベルの数に対応した数の確率場モデルを有し、ラベル毎の量子化値を複数の確率場モデルに入力し、クエリ画像１２０毎に複数のラベルに対するスコアを出力するラベル推定部７とを備える。
【解決手段】画像識別情報付与装置１は、複数のクエリ画像１２０からそれぞれ特徴量を抽出する特徴抽出部３と、特徴抽出部３によって抽出された特徴量から学習モデル１３０を用いてクエリ画像１２０に付与すべき複数のラベルに対してそれぞれ量子化値を計算するアノテーションスコア量子化部５と、ラベルの数に対応した数の確率場モデルを有し、ラベル毎の量子化値を複数の確率場モデルに入力し、クエリ画像１２０毎に複数のラベルに対するスコアを出力するラベル推定部７とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像識別情報付与プログラム及び画像識別情報付与装置に関する。
【背景技術】
【０００２】
近年、画像アノテーション技術は、画像データベース管理における画像検索システム、画像認識システムなどのための一つの重要な技術となっている。この画像アノテーション技術により、ユーザは、例えば、必要とする画像と意味的に近い画像を検索できる。
【０００３】
画像アノテーション技術として、例えば特許文献１〜４に開示されているものがある。これらは、未知画像に対する意味的なラベルを付与するが、手段としては画像の特徴量を抽出してから最近傍アルゴリズム（ＮＮ：Nearest Neighbor）を用いて、類似画像を検索し、検索された類似画像に付与されたラベルを用いてターゲット画像にレベルを付与する。しかしながら、最近傍アルゴリズムで抽出された画像のみからラベルを付与するという方法では、アノテーションの精度が高くないという問題があった。
【０００４】
上記の問題を改善するため、特許文献５、６で提案されているものがある。これらは、画像特徴に対するラベルの出現頻度に基づいて、学習された識別器を用いて各ラベルの確率を推定する。
【０００５】
また、既存の分類方法を改良するために、ラベルと特徴量の相関情報を正準相関分析（ＣＣＡ：Canonical Correlation Analysis）でモデリングして、画像特徴量と意味的なラベルのギャップを埋めるモデルが提案されている（例えば非特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００５−３５２７８２号公報
【特許文献２】特開２００７−１０９０６７号公報
【特許文献３】特開２００９−１８８９５１号公報
【特許文献４】特開２０１０−２７１７６９号公報
【特許文献５】特開２０００−３５３１７３号公報
【特許文献６】特開２００９−４８３３４号公報
【非特許文献】
【０００７】
【非特許文献１】T.BAilloeul, C.Zhu and Y.Xu, “Automatic image tagging as a random walk with priors on the canonical correlation subspace”, MIR 2008
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかし、特許文献５、６に開示された方法では、識別器がオブジェクトのクラス毎に構築され、独立に各ラベルの事後確率を計算しているので、クラス間の相関を利用できないという問題がある。また、非特許文献１に開示された方法では、ＣＣＡにより構築したグラフモデルからランダムウォークでターゲット画像の特徴量からラベルを推定するものであり、局所的な最小値に陥る可能性があり、また計算時間もかかるという問題がある。
【０００９】
本発明の課題は、画像に関する相関情報を用いて画像に対して複数の識別情報を付与する画像識別情報付与プログラム及び画像識別情報付与装置を提供することである。
【課題を解決するための手段】
【００１０】
［１］コンピュータを、複数の画像からそれぞれ特徴量を抽出する抽出手段と、前記抽出手段によって抽出された前記特徴量から学習モデルを用いて前記画像に付与すべき複数の識別情報に対してそれぞれ第１の評価値を計算する計算手段と、前記識別情報の数に対応した数の確率場モデルを有し、前記複数の画像について前記計算手段によって計算された前記識別情報毎の前記第１の評価値を前記複数の確率場モデルに入力し、前記画像毎に前記複数の識別情報に対する第２の評価値を出力する出力手段として機能されるための画像識別情報付与プログラム。
【００１１】
［２］前記出力手段の前記確率場モデルを前記複数の画像間の相関情報に基づいて最適化する最適化手段を、さらに備えた前記［１］に記載の画像識別情報付与プログラム。
【００１２】
［３］前記出力手段の前記確率場モデルを前記複数の識別情報間の相関情報に基づいて最適化する最適化手段を、さらに備えた前記［１］に記載の画像識別情報付与プログラム。
【００１３】
［４］複数の画像からそれぞれ特徴量を抽出する抽出手段と、前記抽出手段によって抽出された前記特徴量から学習モデルを用いて前記画像に付与すべき複数の識別情報に対してそれぞれ第１の評価値を計算する計算手段と、前記識別情報の数に対応した数のＭＲＦモデルを有し、前記複数の画像について前記計算手段によって計算された前記識別情報毎の前記第１の評価値を前記複数の確率場モデルに入力し、前記画像毎に前記複数の識別情報に対する第２の評価値を出力する出力手段とを備えた画像識別情報付与装置。
【発明の効果】
【００１４】
請求項１又は４に記載された発明によれば、画像に関する相関情報を用いて画像に対して複数の識別情報を付与することができる。
【００１５】
請求項２に記載された発明によれば、複数の画像間の相関情報に基づいて画像に対して最適化された複数の識別情報を付与することができる。
【００１６】
請求項３に記載された発明によれば、複数の識別情報間の相関情報に基づいて画像に対して最適化された複数の識別情報を付与することができる。
【図面の簡単な説明】
【００１７】
【図１】図１は、本発明の第１の実施の形態に係る画像識別情報付与装置の構成例を示すブロック図である。
【図２】図２は、ラベル推定部の概略の構成例を示し、（ａ）は平面図、（ｂ）は側面図である。
【図３】図３は、第１の実施の形態の動作例を示すフローチャートである。
【図４】図４は、本発明の第２の実施の形態に係る画像識別情報付与装置の構成例を示すブロック図である。
【発明を実施するための形態】
【００１８】
以下、本発明の実施の形態について図面を参照して説明する。なお、各図中、実質的に同一の機能を有する構成要素については、同一の符号を付してその重複した説明を省略する。
【００１９】
［第１の実施の形態］
図１は、本発明の第１の実施の形態に係る画像識別情報付与装置の構成例を示すブロック図である。この画像識別情報付与装置１は、画像受付部２、特徴抽出部３、ラベル事後確率計算部４、量子化部５、ノード接合部６、ラベル推定部７、ラベル付与部８、アノテーション情報出力部９及び記憶部１０を有して概略構成されている。
【００２０】
従来のアノテーション手段は、学習コーパス（学習用画像と学習用画像に付与されたラベルとが対になったもの）中の学習用画像から周知の特徴抽出手法により特徴量を抽出し、特徴量とラベルとの関連を識別モデルとして学習する。学習された識別モデル、すなわち学習モデル１３０は、データベースに保存する。そして、クエリ画像（入力画像、未知画像ともいう。）１２０にラベルを付与するため、学習モデル１３０を用いてクエリ画像１２０に対して、ラベルの事後確率を計算し、最も高い値を持つラベルを推定結果とする。
【００２１】
本明細書において、「アノテーション」とは、画像全体に対してラベルを付与することをいう。「ラベル」は、識別情報の一例であり、画像の全体又は部分領域の内容を表す識別情報、例えば単語である。
【００２２】
本実施の形態は、ラベル事後確率計算部４によりラベルの事後確率を計算してから、画クエリ像１２０間の相関情報に基づいてＭＲＦモデルもしくはＣＲＦモデルでラベルの順位を調整してクエリ画像１２０にラベルを付与する。ここで、「ＭＲＦモデル」とは、マルコフ確率場（ＭＲＦ：Markov Random Field）モデルのことであり、「ＣＲＦモデル」とは、条件付き確率場（ＣＲＦ：Conditional Random Field）モデルのことである。これらのマルコフ確率場モデル及び条件付き確立場モデルは、確率場モデルの一例である。
【００２３】
以下、本実施の形態の特徴的な部分、すなわち量子化部５、ノード接合部６及びラベル推定部７を中心に説明する。
【００２４】
画像受付部２は、ラベルを付与する対象画像のクエリ画像１２０を受け付ける。
【００２５】
特徴抽出部３は、抽出手段の一例であり、クエリ画像から特徴量を抽出する。特徴量は、例えばＲ，Ｇ，Ｂ等の色やテクスチャなどの画像特徴を並べたものである。
【００２６】
ラベル事後確率計算部４は、特徴量ｆから各ラベルｃの事後確率（Ｐ（ｃ｜ｆ））を算出し、ラベル毎にアノテーションスコア（アナログ値）として出力する。
【００２７】
記憶部１０には、画像識別情報付与プログラム１１０等の各種のプログラム、クエリ画像１２０、学習モデル１３０、ラベル辞書１４０、リンク情報１５０等の各種のデータが格納されている。記憶部１０は、例えばＲＯＭ、ＲＡＭ、ＨＤＤ等により構成されている。
【００２８】
アンテーション出力部９は、ラベル付与部８によって付与されたアノテーション情報（ラベルとスコア）を外部に出力するものであり、例えば液晶ディスプレイ等の表示部や、プリンタ等の印刷部を用いることができる。
【００２９】
（量子化部）
従来のＭＲＦやＣＲＦを用いた画像アノテーション技術では、例えば非特許文献“Word co-occurrence and Markov Random Field for Improving Automatic Image Annotation ”H.J.Escalante, M.Montes and L.E.Sucar, BMVC,2007に開示されているように、ラベルの共起を用いてＭＲＦモデルを構築し、ラベルの確率を観測値として入力し、入力画像に対してラベルを推定する。この従来技術では、画像のラベルを推定する隠れノードは複数のラベルから一つのラベルを選択するノードであり、したがって、１つの画像全体又は画像領域に対して１つのラベルしか付与できず、画像全体に複数のラベルを付与するアノテーションには適用できない。
【００３０】
これを解決するために、本実施の形態は、各ラベルに対して１つのＭＲＦもしくはＣＲＦモデルを持ち、各モデルの隠れノードは量子化されたラベルの確率を持つ。そしてＭＲＦもしくはＣＲＦモデルで推定した量子化値によって、ラベルの順位を決め、１つの画像に対してスコアの高い複数のラベルを付与するものである。
【００３１】
本実施の形態の量子化部５は、ラベル事後確率計算部４がラベル毎に算出したアナログ値であるアノテーションスコアを量子化する。量子化した値（量子化値）は、離散化した値（離散化値）である。アノテーションスコアのレベルを均等に量子化するため、ヒストグラム平坦化(Histogram Equalization)方法で決定する。量子化値は、後述するＭＲＦモデル７０１〜７０Ｎの各事後確率計算ノード７２の隠れ変数の初期状態とされる。アノテーションスコア（アナログ値）とこれに対応する量子化値の一例を表１に示す。表１中、Ｍは画像の数であり、Ｎはラベルの数である。ここで、ラベル事後確率計算部４及び量子化部５は、計算手段の一例であり、ラベル事後確率計算部４が算出するアナログ値であるアノテーションスコア、及び量子化部５が出力する量子化値は、第１の評価値の一例である。
【００３２】
【表１】
【００３３】
（ノード接合部）
本実施の形態のノード接合部６は、画像間の相関情報に基づいて事後確率計算ノード７２及び推定事後確率計算ノード７３間を接合する接合リンク７６の位置情報（リンク情報）１５０を生成し、生成したリンク情報１５０を記憶部１０に格納する。入力側リンク７５及び出力側リンク７７は、予め付けられている。画像間の相関情報として、例えば画像の撮影時間、画像特徴量の類似度等を用いることができる。相関情報としてアノテーション（ラベル）間の相関を用いる例は、後述する。
【００３４】
ノード接合部６は、一連の複数のクエリ画像（クエリ画像集合）１２０を入力して、画像間の相関情報を計算してから、ＭＲＦモデル０１〜７０Ｎの事後確率計算ノード７２及び推定事後確率計算ノード７３間の接合方法を決める。接合方法の一例として、画像間の特徴量の類似度がある閾値以上の場合、当該画像に対応する事後確率計算ノード７２及び推定事後確率計算ノード７３間に接合リンク７６を付与し、画像間の類似度が閾値より小さい場合、対応するノード７２、７３間に接合リンク７６を付与しない。また、撮影時刻がお互いに近い画像に対して接合リンク７６を付与してもよい。リンク情報１５０の一例を表２に示す。画像の数は、事後確率計算ノード７２の数、及び推定事後確率計算ノード７３の数と同じである。表２において、「１」はノード７２、７３間に接合リンク７６がある場合を示し、「０」はノード７２、７３間に接合リンク７６がない場合を示す。
【００３５】
【表２】
【００３６】
また、リンク情報１５０は事前に画像の相関情報から生成することができるが、動的にリンク情報１５０を生成してもよい。すなわち、事後確立計算ノード７２の隠れ変数の状態により、隠れ変数間の距離又は量子化値の差がある閾値以下の場合、ノード７２、７３間の接合リンク７６を自動的に追加し、隠れ変数間の距離又は量子化値の差がある閾値より大きい場合、ノード７２、７３間の接合リンク７６を自動的に除外してもよい。
【００３７】
（ラベル推定部）
図２は、ラベル推定部７の概略の構成例を示す図である。ラベル推定部７は、ラベル毎に設けられたＭＲＦモデル７０１〜７０Ｎを有し、対応するＭＲＦモデル７０１〜７０Ｎのノード隠れ変数の初期状態の設定及びノードを繋げるリンク情報１５０を入力して、グラフカットメッセージ・パッシング方法（Yuri Boykov, O.Veksler, R.Zabih, “Fast Approximate Energy Minimization via Graph Cuts”,PAMI2001）により、ラベルの量子化状態を最適化する。
【００３８】
各ＭＲＦモデル７０１〜７０Ｎは、同一の構造を有しているので、代表としてＭＲＦモデル７０１について説明する。ＭＲＦモデル７０１は、図２（ａ）に示すように、量子化値Ｑが入力される入力ノード７１１〜７１Ｍと、アノテーションスコア量子化部５から出力された事後確率を保持する事後確率計算ノード７２１〜７２Ｍと、推定の事後確率を計算する推定事後確率計算ノード７３１〜７３Ｍと、ラベルのスコアを出力する出力ノード７４１〜７４Ｍと、入力ノード７１１〜７１Ｍと事後確率計算ノード７２１〜７２Ｍを接合する入力側リンク７５１〜７５Ｍと、事後確率計算ノード７２１〜７２Ｍと推定事後確率計算ノード７３１〜７３Ｍを接合する接合リンク７６と、推定事後確率計算ノード７３１〜７３Ｍと出力ノード７４１〜７４Ｍを接合する出力側リンク７７１〜７７Ｍとを有して概略構成されている。また、画像と入力ノード７１１〜７１Ｍ及び出力ノード７４１〜７４Ｍは一対一に対応しているので、各ＭＲＦモデル７０１〜７０Ｎの入力ノード７１１〜７１Ｍ及び出力ノード７４１〜７４Ｍの数は、画像の数Ｍと同じである。
【００３９】
例えば、最初の画像（Image1）の量子化値Ｑ１１〜Ｑ１Ｎは、ＭＲＦモデル７０１〜７０Ｎの各入力ノード７１１に入力し、次の画像（Image2）の量子化値Ｑ２１〜Ｑ２Ｎは、ＭＲＦモデル７０１〜７０Ｎの各入力ノード７１２に入力し、同様にＭ番目の画像（ImageM）の量子化値ＱM１〜ＱMＮは、ＭＲＦモデル７０１〜７０Ｎの各入力ノード７１Mに入力し、その後ＭＲＦモデル７０１〜７０Ｎの各出力ノード７４１〜７４Mから画像１〜Ｍに対する各ラベルＬ１〜ＬＮのスコアが出力される。
【００４０】
入力側リンク７５１〜７５Ｍ及び出力側リンク７７１〜７７Ｍは、予め与えられている。接合リンク７６は、リンク情報１５０に基づいてノード接合部６により与えられる。接合リンク７６は、１つのＭＲＦモデル７０の事後確率計算ノード７２１〜７２Ｍと推定事後確率計算ノード７３１〜７３Ｍを接合するだけでなく、ＭＲＦモデル７０１〜７０Ｎ間でも接合する。
【００４１】
以上の構成により、すべてＭＲＦモデル７０の各対応するノードの状態を比較して、画像に対するすべてラベルを付与する。すなわち、画像Ｍに対してはＭＲＦモデル７０１〜７０Ｎの出力ノード７４Mの値を比較し、上位のラベルをその画像に対して付与する。ここで、ラベル推定部７は、出力手段の一例であり、出力ノード７４１から出力するラベルＬ１〜ＬＮのスコアは、第２の評価値の一例である。
【００４２】
（第１の実施の形態の動作）
図３は、第１の実施の形態の動作例を示すフローチャートである。本実施の形態は、画像の相関情報に基づき、ＭＲＦモデル７０１〜７０Ｎに接合リンク７６を付けるのが特徴である。
【００４３】
画像受付部２がクエリ画像１２０を受け付けると、特徴抽出部３は、クエリ画像１２０から特徴量を抽出する。
【００４４】
ラベル事後確率計算部４は、周知の識別器により保存された学習モデル１３０を用いて、クエリ画像１２０に対する各ラベルの事後確率を計算し（Ｓ１）、その事後確率をアノテーションスコアとして出力する。
【００４５】
量子化部５は、ラベル事後確率計算部４が出力したアノテーションスコアをあらかじめ定められた閾値に応じて量子化する（Ｓ４）。量子化された値は、隠れノードの初期値に設定され、その後グラフカットメッセージ・パッシング方法により、推定事後確率計算ノード７３に隠れ変数の最終状態の推定結果が保持される。
【００４６】
次に、すべての推定事後確率計算ノード７３が処理した後に、ノード７２、７３間を繋げるリンク情報１５０を取得する。ノード接合部６は、画像の相関情報に基づいて接合リンク７６を付ける（Ｓ５）。画像の相関情報が時間の場合、画像ペアの撮影時間の差が予め定められた時間（例えば５時間）以下の場合、該当するペアのノード７２、７３間に接合リンク７６を付ける。また、異なる画像の撮影時間の差が予め定められた時間（例えば５時間）よりも大きい場合、該当するペアのノード７２、７３間に接合リンク７６を付けない。
【００４７】
画像の相関情報が画像の類似度である場合、画像から様々な特徴量を抽出する。例えば、ＲＧＢ、ｎｏｒｍａｌｉｚｅｄ−ＲＧ、ＨＳＶ（色空間）、ＬＡＢ、ｒｏｂｕｓｔＨｕｅ特徴量（van de Weijer, C. Schmid, “Coloring Local Feature Extraction”, ECCV 2006を参照）、Ｇａｂｏｒ特徴量、ＤＣＴ（Direction Curve Tangent）特徴量、ＳＩＦＴ（Scale Invariant Feature Transform）特徴量及びＧＩＳＴ（Generalized Search Tree）特徴量であり、いかなる特徴を用いてもよい。画像同士の類似度は、特徴量の距離とする。正規化した距離が０．５以下場合には画像ペアに対応するノード７２、７３のペアの間に接合リンク７６を付ける。０．５より大きい場合には画像ペアに対応するノード７２、７３のペアの間に接合リンク７６を付けない。
【００４８】
以上のようにして１つのラベルに対応するＭＲＦモデル７０を構築する。次のステップでは、ＭＲＦモデル７０を最適化する（Ｓ６）。すなわちラベルに対応するＭＲＦモデル７０１〜７０Ｎの事後確率計算ノード７２に上記ステップＳ４で計算された隠れ変数状態を入力し、ノード７２、７３間を接合するリンク情報１５０を入力して、ノード７２，７３間に接合リンク７６を付ける。上記ステップＳ４、Ｓ５、Ｓ６は、すべてのラベル及びノードについて行われる（Ｓ２、Ｓ３）。
【００４９】
最後に、各ラベルに対応するＭＲＦモデル７０１〜７０Ｎを全部最適化し、１つの画像に対応するすべてのＭＲＦモデル７０１〜７０Ｎの推定事後確率計算ノード７３１〜７３Ｍの隠れ変数の最終状態を統合し、その結果、画像に対するすべてアノテーションスコア調整できた。そして調整したアノテーションスコアの順位を付けて、高い順にクエリ画像にラベルを付与する（Ｓ７）。例えば、１つの画像（Image1）の量子化値Ｑ１１〜Ｑ１Ｎを、ＭＲＦモデル７０１〜７０Ｎの各入力ノード７１１に入力すると、すべてのＭＲＦモデル７０１〜７０Ｎの各推定事後確率計算ノード７３１の隠れ変数が出力ノード７４１から各ラベルＬ１〜ＬＮのスコアとして出力される。
【００５０】
（第１の実施の形態の効果）
第１の実施の形態によれば、複数の画像間の相関情報に基づいてＭＲＦモデルを最適化しているので、本構成を採用しない場合と比べて画像に対して高い精度で複数のラベルを付与することができる。
【００５１】
［第２の実施の形態］
図４は、本発明の第２の実施の形態に係る画像識別情報付与装置の構成例を示すブロック図である。本実施の形態の画像識別情報付与装置１は、第１の実施の形態と同様に、画像受付部２、特徴抽出部３、ラベル事後確率計算部４、量子化部５、ノード接合部６、ラベル推定部７、ラベル付与部８、アノテーション情報出力部９及び記憶部１０を有して概略構成されている。本実施の形態は、第１の実施の形態とは、ノード接合部６が異なり、他は第１の実施の形態と同様に構成され、同様の作用を奏するので、その説明を省略する。
【００５２】
本実施の形態のノード接合部６は、ラベルの相関情報に基づいてＭＲＦモデル７０の事後確率計算ノード７２及び推定事後確率計算ノード７３間に接合リンク７６を生成し、生成した接合リンク７６の位置情報であるリンク情報を記憶部１０に保存する。ラベルの相関情報として、例えば、ある画像ペアに対して、量子化されたアノテーションスコアにより上位５つを列挙し、順位を問わず、画像ペアの同じラベルの数を数える。同じラベルの数は１つ以上の場合、対応するノード７２、７３間に接合リンク７６を付与し、同じラベルの数がゼロの場合、対応するノード７２、７３間に接合リンク７６を付与しない。
【００５３】
（第２の実施の形態の効果）
第２の実施の形態によれば、複数のラベル間の相関情報に基づいてＭＲＦモデルを最適化しているので、本構成を採用しない場合と比べて画像に対して高い精度で複数のラベルを付与することができる。
【実施例１】
【００５４】
次に、本発明の実施例について、画像の数Ｍを１００、量子化値の範囲を１から２０００とした場合を例に挙げて説明する。ラベル事後確率計算部４が算出したアナログ値のアノテーションスコアは、量子化部５によって離散化値に変換される。表３は、アノテーションスコア（アナログ値）と量子化値（離散化値）の具体的な一例を示す。
【００５５】
【表３】
【００５６】
表３中、画像ＩＤの下の括弧は、画像に付与すべき正解ラベルを示す。表３から、量子化部５が出力したアノテーションスコア（ラベル事後確率）のみで第１位のラベルを付けると、Image1、ImageMについて不正解となっていることから、精度が高くないことが分かる。
【００５７】
ノード接合部６が作成したノード情報（ノード接合マトリクス）１５０の一例を表４に示す。表４中、「１」は画像間に時間的な相関があるため、ノード７２、７３間に接合リンク７６がある場合を示し、「０」は画像間に時間的な相関が無いため、ノード７２，７３間に接合リンク７６がない場合を示す。
【００５８】
【表４】
【００５９】
表５は、調整する前（ＭＲＦモデルの入力値）の量子化されたアノテーションスコア（量子化値）と、調整した後（ＭＲＦモデルの出力値）のアノテーションスコア（量子化値）である。
【００６０】
【表５】
【００６１】
ここでは、画像の数を１００とし、量子化値の範囲を１から２０００とする。表５中の量子化値は、アナログ値の量子化値がヒストグラム平坦化方法により離散化値に変換されたものである。表５中の画像ＩＤの下の括弧は、画像に付けるべき正解ラベルを示す。表５の２列目と３列目はＭＲＦモデル７０を最適化する前のものである。最適化前のラベルは量子化値が高い順に並んでいる。最適化前の量子化値は表３と同じである。また、表５の４列目と５列目はＭＲＦモデル７０を最適化した後のものである。最適化後のラベルは、量子化値（調整アノテーションスコア）が高い順に並んでいる。以上の結果より、画像ＩＤImage1については、最適化前はラベル「hug」が第１位であったが、最適化後はラベル「hand」が第１位となり、正解が得られている。また、画像ＩＤImage100については、最適化前と最適化後で第１位のラベル「hand」は変わらない。しかし、第２位は最適化前のラベル「face」から最適化後はラベル「foot」に変わり、さらに量子化値も「１１７」から「１４８」に高くなり、正解に近くなるので、精度が高くなることが分かる。
【００６２】
本実施例によれば、クエリ画像集合に対する、周知の情報検索の評価値であるＦ値（F-measure）は、０．５３６から０．５４９に向上した。本実施例は、画像の相関を用いたが、ラベルの相関を用いた場合も、本実施例と同様の効果が期待できる。
【００６３】
［他の実施の形態］
なお、本発明は、上記実施の形態に限定されず、本発明の要旨を変更しない範囲で種々に変形が可能である。例えば、画像受付部２、特徴抽出部３、ラベル事後確率計算部４、量子化部５、ノード接合部６、ラベル推定部７、ラベル付与部８及びアノテーション情報出力部９の各機能は、コンピュータ読み取り可能な画像識別情報付与プログラム１１０に従ってＣＰＵが動作することにより実現してもよい。また、上記実施の形態の画像受付部２、特徴抽出部３、ラベル事後確率計算部４、量子化部５、ノード接合部６、ラベル推定部７、ラベル付与部８及びアノテーション情報出力部９の全て又は一部をＡＳＩＣ等のハードウエアによって実現してもよい。
【００６４】
また、上記実施の形態で用いたプログラムをＣＤ−ＲＯＭ等の記録媒体に記憶して提供することもできる。また、上記実施の形態で説明した上記ステップの入替え、削除、追加等は、本発明の要旨を変更しない範囲内で可能である。
【符号の説明】
【００６５】
１…画像識別情報付与装置、２…画像受付部、３…特徴抽出部、４…ラベル事後確率計算部、５…量子化部、６…ノード接合部、７…ラベル推定部、８…ラベル付与部、９…アノテーション情報出力部、１０…記憶部、７０１〜７０Ｎ…ＭＲＦモデル、７１１〜７１Ｍ…入力ノード、７２１〜７２Ｍ…事後確率計算ノード、７３１〜７３Ｍ…推定事後確率計算ノード、７４１〜７４Ｍ…出力ノード、７５１〜７５Ｍ…入力側リンク、７６…接合リンク、７７１〜７７Ｍ…出力側リンク、１１０…画像識別情報付与プログラム、１２０…クエリ画像、１３０…学習モデル、１４０…ラベル辞書、１５０…リンク情報
【技術分野】
【０００１】
本発明は、画像識別情報付与プログラム及び画像識別情報付与装置に関する。
【背景技術】
【０００２】
近年、画像アノテーション技術は、画像データベース管理における画像検索システム、画像認識システムなどのための一つの重要な技術となっている。この画像アノテーション技術により、ユーザは、例えば、必要とする画像と意味的に近い画像を検索できる。
【０００３】
画像アノテーション技術として、例えば特許文献１〜４に開示されているものがある。これらは、未知画像に対する意味的なラベルを付与するが、手段としては画像の特徴量を抽出してから最近傍アルゴリズム（ＮＮ：Nearest Neighbor）を用いて、類似画像を検索し、検索された類似画像に付与されたラベルを用いてターゲット画像にレベルを付与する。しかしながら、最近傍アルゴリズムで抽出された画像のみからラベルを付与するという方法では、アノテーションの精度が高くないという問題があった。
【０００４】
上記の問題を改善するため、特許文献５、６で提案されているものがある。これらは、画像特徴に対するラベルの出現頻度に基づいて、学習された識別器を用いて各ラベルの確率を推定する。
【０００５】
また、既存の分類方法を改良するために、ラベルと特徴量の相関情報を正準相関分析（ＣＣＡ：Canonical Correlation Analysis）でモデリングして、画像特徴量と意味的なラベルのギャップを埋めるモデルが提案されている（例えば非特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００５−３５２７８２号公報
【特許文献２】特開２００７−１０９０６７号公報
【特許文献３】特開２００９−１８８９５１号公報
【特許文献４】特開２０１０−２７１７６９号公報
【特許文献５】特開２０００−３５３１７３号公報
【特許文献６】特開２００９−４８３３４号公報
【非特許文献】
【０００７】
【非特許文献１】T.BAilloeul, C.Zhu and Y.Xu, “Automatic image tagging as a random walk with priors on the canonical correlation subspace”, MIR 2008
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかし、特許文献５、６に開示された方法では、識別器がオブジェクトのクラス毎に構築され、独立に各ラベルの事後確率を計算しているので、クラス間の相関を利用できないという問題がある。また、非特許文献１に開示された方法では、ＣＣＡにより構築したグラフモデルからランダムウォークでターゲット画像の特徴量からラベルを推定するものであり、局所的な最小値に陥る可能性があり、また計算時間もかかるという問題がある。
【０００９】
本発明の課題は、画像に関する相関情報を用いて画像に対して複数の識別情報を付与する画像識別情報付与プログラム及び画像識別情報付与装置を提供することである。
【課題を解決するための手段】
【００１０】
［１］コンピュータを、複数の画像からそれぞれ特徴量を抽出する抽出手段と、前記抽出手段によって抽出された前記特徴量から学習モデルを用いて前記画像に付与すべき複数の識別情報に対してそれぞれ第１の評価値を計算する計算手段と、前記識別情報の数に対応した数の確率場モデルを有し、前記複数の画像について前記計算手段によって計算された前記識別情報毎の前記第１の評価値を前記複数の確率場モデルに入力し、前記画像毎に前記複数の識別情報に対する第２の評価値を出力する出力手段として機能されるための画像識別情報付与プログラム。
【００１１】
［２］前記出力手段の前記確率場モデルを前記複数の画像間の相関情報に基づいて最適化する最適化手段を、さらに備えた前記［１］に記載の画像識別情報付与プログラム。
【００１２】
［３］前記出力手段の前記確率場モデルを前記複数の識別情報間の相関情報に基づいて最適化する最適化手段を、さらに備えた前記［１］に記載の画像識別情報付与プログラム。
【００１３】
［４］複数の画像からそれぞれ特徴量を抽出する抽出手段と、前記抽出手段によって抽出された前記特徴量から学習モデルを用いて前記画像に付与すべき複数の識別情報に対してそれぞれ第１の評価値を計算する計算手段と、前記識別情報の数に対応した数のＭＲＦモデルを有し、前記複数の画像について前記計算手段によって計算された前記識別情報毎の前記第１の評価値を前記複数の確率場モデルに入力し、前記画像毎に前記複数の識別情報に対する第２の評価値を出力する出力手段とを備えた画像識別情報付与装置。
【発明の効果】
【００１４】
請求項１又は４に記載された発明によれば、画像に関する相関情報を用いて画像に対して複数の識別情報を付与することができる。
【００１５】
請求項２に記載された発明によれば、複数の画像間の相関情報に基づいて画像に対して最適化された複数の識別情報を付与することができる。
【００１６】
請求項３に記載された発明によれば、複数の識別情報間の相関情報に基づいて画像に対して最適化された複数の識別情報を付与することができる。
【図面の簡単な説明】
【００１７】
【図１】図１は、本発明の第１の実施の形態に係る画像識別情報付与装置の構成例を示すブロック図である。
【図２】図２は、ラベル推定部の概略の構成例を示し、（ａ）は平面図、（ｂ）は側面図である。
【図３】図３は、第１の実施の形態の動作例を示すフローチャートである。
【図４】図４は、本発明の第２の実施の形態に係る画像識別情報付与装置の構成例を示すブロック図である。
【発明を実施するための形態】
【００１８】
以下、本発明の実施の形態について図面を参照して説明する。なお、各図中、実質的に同一の機能を有する構成要素については、同一の符号を付してその重複した説明を省略する。
【００１９】
［第１の実施の形態］
図１は、本発明の第１の実施の形態に係る画像識別情報付与装置の構成例を示すブロック図である。この画像識別情報付与装置１は、画像受付部２、特徴抽出部３、ラベル事後確率計算部４、量子化部５、ノード接合部６、ラベル推定部７、ラベル付与部８、アノテーション情報出力部９及び記憶部１０を有して概略構成されている。
【００２０】
従来のアノテーション手段は、学習コーパス（学習用画像と学習用画像に付与されたラベルとが対になったもの）中の学習用画像から周知の特徴抽出手法により特徴量を抽出し、特徴量とラベルとの関連を識別モデルとして学習する。学習された識別モデル、すなわち学習モデル１３０は、データベースに保存する。そして、クエリ画像（入力画像、未知画像ともいう。）１２０にラベルを付与するため、学習モデル１３０を用いてクエリ画像１２０に対して、ラベルの事後確率を計算し、最も高い値を持つラベルを推定結果とする。
【００２１】
本明細書において、「アノテーション」とは、画像全体に対してラベルを付与することをいう。「ラベル」は、識別情報の一例であり、画像の全体又は部分領域の内容を表す識別情報、例えば単語である。
【００２２】
本実施の形態は、ラベル事後確率計算部４によりラベルの事後確率を計算してから、画クエリ像１２０間の相関情報に基づいてＭＲＦモデルもしくはＣＲＦモデルでラベルの順位を調整してクエリ画像１２０にラベルを付与する。ここで、「ＭＲＦモデル」とは、マルコフ確率場（ＭＲＦ：Markov Random Field）モデルのことであり、「ＣＲＦモデル」とは、条件付き確率場（ＣＲＦ：Conditional Random Field）モデルのことである。これらのマルコフ確率場モデル及び条件付き確立場モデルは、確率場モデルの一例である。
【００２３】
以下、本実施の形態の特徴的な部分、すなわち量子化部５、ノード接合部６及びラベル推定部７を中心に説明する。
【００２４】
画像受付部２は、ラベルを付与する対象画像のクエリ画像１２０を受け付ける。
【００２５】
特徴抽出部３は、抽出手段の一例であり、クエリ画像から特徴量を抽出する。特徴量は、例えばＲ，Ｇ，Ｂ等の色やテクスチャなどの画像特徴を並べたものである。
【００２６】
ラベル事後確率計算部４は、特徴量ｆから各ラベルｃの事後確率（Ｐ（ｃ｜ｆ））を算出し、ラベル毎にアノテーションスコア（アナログ値）として出力する。
【００２７】
記憶部１０には、画像識別情報付与プログラム１１０等の各種のプログラム、クエリ画像１２０、学習モデル１３０、ラベル辞書１４０、リンク情報１５０等の各種のデータが格納されている。記憶部１０は、例えばＲＯＭ、ＲＡＭ、ＨＤＤ等により構成されている。
【００２８】
アンテーション出力部９は、ラベル付与部８によって付与されたアノテーション情報（ラベルとスコア）を外部に出力するものであり、例えば液晶ディスプレイ等の表示部や、プリンタ等の印刷部を用いることができる。
【００２９】
（量子化部）
従来のＭＲＦやＣＲＦを用いた画像アノテーション技術では、例えば非特許文献“Word co-occurrence and Markov Random Field for Improving Automatic Image Annotation ”H.J.Escalante, M.Montes and L.E.Sucar, BMVC,2007に開示されているように、ラベルの共起を用いてＭＲＦモデルを構築し、ラベルの確率を観測値として入力し、入力画像に対してラベルを推定する。この従来技術では、画像のラベルを推定する隠れノードは複数のラベルから一つのラベルを選択するノードであり、したがって、１つの画像全体又は画像領域に対して１つのラベルしか付与できず、画像全体に複数のラベルを付与するアノテーションには適用できない。
【００３０】
これを解決するために、本実施の形態は、各ラベルに対して１つのＭＲＦもしくはＣＲＦモデルを持ち、各モデルの隠れノードは量子化されたラベルの確率を持つ。そしてＭＲＦもしくはＣＲＦモデルで推定した量子化値によって、ラベルの順位を決め、１つの画像に対してスコアの高い複数のラベルを付与するものである。
【００３１】
本実施の形態の量子化部５は、ラベル事後確率計算部４がラベル毎に算出したアナログ値であるアノテーションスコアを量子化する。量子化した値（量子化値）は、離散化した値（離散化値）である。アノテーションスコアのレベルを均等に量子化するため、ヒストグラム平坦化(Histogram Equalization)方法で決定する。量子化値は、後述するＭＲＦモデル７０１〜７０Ｎの各事後確率計算ノード７２の隠れ変数の初期状態とされる。アノテーションスコア（アナログ値）とこれに対応する量子化値の一例を表１に示す。表１中、Ｍは画像の数であり、Ｎはラベルの数である。ここで、ラベル事後確率計算部４及び量子化部５は、計算手段の一例であり、ラベル事後確率計算部４が算出するアナログ値であるアノテーションスコア、及び量子化部５が出力する量子化値は、第１の評価値の一例である。
【００３２】
【表１】
【００３３】
（ノード接合部）
本実施の形態のノード接合部６は、画像間の相関情報に基づいて事後確率計算ノード７２及び推定事後確率計算ノード７３間を接合する接合リンク７６の位置情報（リンク情報）１５０を生成し、生成したリンク情報１５０を記憶部１０に格納する。入力側リンク７５及び出力側リンク７７は、予め付けられている。画像間の相関情報として、例えば画像の撮影時間、画像特徴量の類似度等を用いることができる。相関情報としてアノテーション（ラベル）間の相関を用いる例は、後述する。
【００３４】
ノード接合部６は、一連の複数のクエリ画像（クエリ画像集合）１２０を入力して、画像間の相関情報を計算してから、ＭＲＦモデル０１〜７０Ｎの事後確率計算ノード７２及び推定事後確率計算ノード７３間の接合方法を決める。接合方法の一例として、画像間の特徴量の類似度がある閾値以上の場合、当該画像に対応する事後確率計算ノード７２及び推定事後確率計算ノード７３間に接合リンク７６を付与し、画像間の類似度が閾値より小さい場合、対応するノード７２、７３間に接合リンク７６を付与しない。また、撮影時刻がお互いに近い画像に対して接合リンク７６を付与してもよい。リンク情報１５０の一例を表２に示す。画像の数は、事後確率計算ノード７２の数、及び推定事後確率計算ノード７３の数と同じである。表２において、「１」はノード７２、７３間に接合リンク７６がある場合を示し、「０」はノード７２、７３間に接合リンク７６がない場合を示す。
【００３５】
【表２】
【００３６】
また、リンク情報１５０は事前に画像の相関情報から生成することができるが、動的にリンク情報１５０を生成してもよい。すなわち、事後確立計算ノード７２の隠れ変数の状態により、隠れ変数間の距離又は量子化値の差がある閾値以下の場合、ノード７２、７３間の接合リンク７６を自動的に追加し、隠れ変数間の距離又は量子化値の差がある閾値より大きい場合、ノード７２、７３間の接合リンク７６を自動的に除外してもよい。
【００３７】
（ラベル推定部）
図２は、ラベル推定部７の概略の構成例を示す図である。ラベル推定部７は、ラベル毎に設けられたＭＲＦモデル７０１〜７０Ｎを有し、対応するＭＲＦモデル７０１〜７０Ｎのノード隠れ変数の初期状態の設定及びノードを繋げるリンク情報１５０を入力して、グラフカットメッセージ・パッシング方法（Yuri Boykov, O.Veksler, R.Zabih, “Fast Approximate Energy Minimization via Graph Cuts”,PAMI2001）により、ラベルの量子化状態を最適化する。
【００３８】
各ＭＲＦモデル７０１〜７０Ｎは、同一の構造を有しているので、代表としてＭＲＦモデル７０１について説明する。ＭＲＦモデル７０１は、図２（ａ）に示すように、量子化値Ｑが入力される入力ノード７１１〜７１Ｍと、アノテーションスコア量子化部５から出力された事後確率を保持する事後確率計算ノード７２１〜７２Ｍと、推定の事後確率を計算する推定事後確率計算ノード７３１〜７３Ｍと、ラベルのスコアを出力する出力ノード７４１〜７４Ｍと、入力ノード７１１〜７１Ｍと事後確率計算ノード７２１〜７２Ｍを接合する入力側リンク７５１〜７５Ｍと、事後確率計算ノード７２１〜７２Ｍと推定事後確率計算ノード７３１〜７３Ｍを接合する接合リンク７６と、推定事後確率計算ノード７３１〜７３Ｍと出力ノード７４１〜７４Ｍを接合する出力側リンク７７１〜７７Ｍとを有して概略構成されている。また、画像と入力ノード７１１〜７１Ｍ及び出力ノード７４１〜７４Ｍは一対一に対応しているので、各ＭＲＦモデル７０１〜７０Ｎの入力ノード７１１〜７１Ｍ及び出力ノード７４１〜７４Ｍの数は、画像の数Ｍと同じである。
【００３９】
例えば、最初の画像（Image1）の量子化値Ｑ１１〜Ｑ１Ｎは、ＭＲＦモデル７０１〜７０Ｎの各入力ノード７１１に入力し、次の画像（Image2）の量子化値Ｑ２１〜Ｑ２Ｎは、ＭＲＦモデル７０１〜７０Ｎの各入力ノード７１２に入力し、同様にＭ番目の画像（ImageM）の量子化値ＱM１〜ＱMＮは、ＭＲＦモデル７０１〜７０Ｎの各入力ノード７１Mに入力し、その後ＭＲＦモデル７０１〜７０Ｎの各出力ノード７４１〜７４Mから画像１〜Ｍに対する各ラベルＬ１〜ＬＮのスコアが出力される。
【００４０】
入力側リンク７５１〜７５Ｍ及び出力側リンク７７１〜７７Ｍは、予め与えられている。接合リンク７６は、リンク情報１５０に基づいてノード接合部６により与えられる。接合リンク７６は、１つのＭＲＦモデル７０の事後確率計算ノード７２１〜７２Ｍと推定事後確率計算ノード７３１〜７３Ｍを接合するだけでなく、ＭＲＦモデル７０１〜７０Ｎ間でも接合する。
【００４１】
以上の構成により、すべてＭＲＦモデル７０の各対応するノードの状態を比較して、画像に対するすべてラベルを付与する。すなわち、画像Ｍに対してはＭＲＦモデル７０１〜７０Ｎの出力ノード７４Mの値を比較し、上位のラベルをその画像に対して付与する。ここで、ラベル推定部７は、出力手段の一例であり、出力ノード７４１から出力するラベルＬ１〜ＬＮのスコアは、第２の評価値の一例である。
【００４２】
（第１の実施の形態の動作）
図３は、第１の実施の形態の動作例を示すフローチャートである。本実施の形態は、画像の相関情報に基づき、ＭＲＦモデル７０１〜７０Ｎに接合リンク７６を付けるのが特徴である。
【００４３】
画像受付部２がクエリ画像１２０を受け付けると、特徴抽出部３は、クエリ画像１２０から特徴量を抽出する。
【００４４】
ラベル事後確率計算部４は、周知の識別器により保存された学習モデル１３０を用いて、クエリ画像１２０に対する各ラベルの事後確率を計算し（Ｓ１）、その事後確率をアノテーションスコアとして出力する。
【００４５】
量子化部５は、ラベル事後確率計算部４が出力したアノテーションスコアをあらかじめ定められた閾値に応じて量子化する（Ｓ４）。量子化された値は、隠れノードの初期値に設定され、その後グラフカットメッセージ・パッシング方法により、推定事後確率計算ノード７３に隠れ変数の最終状態の推定結果が保持される。
【００４６】
次に、すべての推定事後確率計算ノード７３が処理した後に、ノード７２、７３間を繋げるリンク情報１５０を取得する。ノード接合部６は、画像の相関情報に基づいて接合リンク７６を付ける（Ｓ５）。画像の相関情報が時間の場合、画像ペアの撮影時間の差が予め定められた時間（例えば５時間）以下の場合、該当するペアのノード７２、７３間に接合リンク７６を付ける。また、異なる画像の撮影時間の差が予め定められた時間（例えば５時間）よりも大きい場合、該当するペアのノード７２、７３間に接合リンク７６を付けない。
【００４７】
画像の相関情報が画像の類似度である場合、画像から様々な特徴量を抽出する。例えば、ＲＧＢ、ｎｏｒｍａｌｉｚｅｄ−ＲＧ、ＨＳＶ（色空間）、ＬＡＢ、ｒｏｂｕｓｔＨｕｅ特徴量（van de Weijer, C. Schmid, “Coloring Local Feature Extraction”, ECCV 2006を参照）、Ｇａｂｏｒ特徴量、ＤＣＴ（Direction Curve Tangent）特徴量、ＳＩＦＴ（Scale Invariant Feature Transform）特徴量及びＧＩＳＴ（Generalized Search Tree）特徴量であり、いかなる特徴を用いてもよい。画像同士の類似度は、特徴量の距離とする。正規化した距離が０．５以下場合には画像ペアに対応するノード７２、７３のペアの間に接合リンク７６を付ける。０．５より大きい場合には画像ペアに対応するノード７２、７３のペアの間に接合リンク７６を付けない。
【００４８】
以上のようにして１つのラベルに対応するＭＲＦモデル７０を構築する。次のステップでは、ＭＲＦモデル７０を最適化する（Ｓ６）。すなわちラベルに対応するＭＲＦモデル７０１〜７０Ｎの事後確率計算ノード７２に上記ステップＳ４で計算された隠れ変数状態を入力し、ノード７２、７３間を接合するリンク情報１５０を入力して、ノード７２，７３間に接合リンク７６を付ける。上記ステップＳ４、Ｓ５、Ｓ６は、すべてのラベル及びノードについて行われる（Ｓ２、Ｓ３）。
【００４９】
最後に、各ラベルに対応するＭＲＦモデル７０１〜７０Ｎを全部最適化し、１つの画像に対応するすべてのＭＲＦモデル７０１〜７０Ｎの推定事後確率計算ノード７３１〜７３Ｍの隠れ変数の最終状態を統合し、その結果、画像に対するすべてアノテーションスコア調整できた。そして調整したアノテーションスコアの順位を付けて、高い順にクエリ画像にラベルを付与する（Ｓ７）。例えば、１つの画像（Image1）の量子化値Ｑ１１〜Ｑ１Ｎを、ＭＲＦモデル７０１〜７０Ｎの各入力ノード７１１に入力すると、すべてのＭＲＦモデル７０１〜７０Ｎの各推定事後確率計算ノード７３１の隠れ変数が出力ノード７４１から各ラベルＬ１〜ＬＮのスコアとして出力される。
【００５０】
（第１の実施の形態の効果）
第１の実施の形態によれば、複数の画像間の相関情報に基づいてＭＲＦモデルを最適化しているので、本構成を採用しない場合と比べて画像に対して高い精度で複数のラベルを付与することができる。
【００５１】
［第２の実施の形態］
図４は、本発明の第２の実施の形態に係る画像識別情報付与装置の構成例を示すブロック図である。本実施の形態の画像識別情報付与装置１は、第１の実施の形態と同様に、画像受付部２、特徴抽出部３、ラベル事後確率計算部４、量子化部５、ノード接合部６、ラベル推定部７、ラベル付与部８、アノテーション情報出力部９及び記憶部１０を有して概略構成されている。本実施の形態は、第１の実施の形態とは、ノード接合部６が異なり、他は第１の実施の形態と同様に構成され、同様の作用を奏するので、その説明を省略する。
【００５２】
本実施の形態のノード接合部６は、ラベルの相関情報に基づいてＭＲＦモデル７０の事後確率計算ノード７２及び推定事後確率計算ノード７３間に接合リンク７６を生成し、生成した接合リンク７６の位置情報であるリンク情報を記憶部１０に保存する。ラベルの相関情報として、例えば、ある画像ペアに対して、量子化されたアノテーションスコアにより上位５つを列挙し、順位を問わず、画像ペアの同じラベルの数を数える。同じラベルの数は１つ以上の場合、対応するノード７２、７３間に接合リンク７６を付与し、同じラベルの数がゼロの場合、対応するノード７２、７３間に接合リンク７６を付与しない。
【００５３】
（第２の実施の形態の効果）
第２の実施の形態によれば、複数のラベル間の相関情報に基づいてＭＲＦモデルを最適化しているので、本構成を採用しない場合と比べて画像に対して高い精度で複数のラベルを付与することができる。
【実施例１】
【００５４】
次に、本発明の実施例について、画像の数Ｍを１００、量子化値の範囲を１から２０００とした場合を例に挙げて説明する。ラベル事後確率計算部４が算出したアナログ値のアノテーションスコアは、量子化部５によって離散化値に変換される。表３は、アノテーションスコア（アナログ値）と量子化値（離散化値）の具体的な一例を示す。
【００５５】
【表３】
【００５６】
表３中、画像ＩＤの下の括弧は、画像に付与すべき正解ラベルを示す。表３から、量子化部５が出力したアノテーションスコア（ラベル事後確率）のみで第１位のラベルを付けると、Image1、ImageMについて不正解となっていることから、精度が高くないことが分かる。
【００５７】
ノード接合部６が作成したノード情報（ノード接合マトリクス）１５０の一例を表４に示す。表４中、「１」は画像間に時間的な相関があるため、ノード７２、７３間に接合リンク７６がある場合を示し、「０」は画像間に時間的な相関が無いため、ノード７２，７３間に接合リンク７６がない場合を示す。
【００５８】
【表４】
【００５９】
表５は、調整する前（ＭＲＦモデルの入力値）の量子化されたアノテーションスコア（量子化値）と、調整した後（ＭＲＦモデルの出力値）のアノテーションスコア（量子化値）である。
【００６０】
【表５】
【００６１】
ここでは、画像の数を１００とし、量子化値の範囲を１から２０００とする。表５中の量子化値は、アナログ値の量子化値がヒストグラム平坦化方法により離散化値に変換されたものである。表５中の画像ＩＤの下の括弧は、画像に付けるべき正解ラベルを示す。表５の２列目と３列目はＭＲＦモデル７０を最適化する前のものである。最適化前のラベルは量子化値が高い順に並んでいる。最適化前の量子化値は表３と同じである。また、表５の４列目と５列目はＭＲＦモデル７０を最適化した後のものである。最適化後のラベルは、量子化値（調整アノテーションスコア）が高い順に並んでいる。以上の結果より、画像ＩＤImage1については、最適化前はラベル「hug」が第１位であったが、最適化後はラベル「hand」が第１位となり、正解が得られている。また、画像ＩＤImage100については、最適化前と最適化後で第１位のラベル「hand」は変わらない。しかし、第２位は最適化前のラベル「face」から最適化後はラベル「foot」に変わり、さらに量子化値も「１１７」から「１４８」に高くなり、正解に近くなるので、精度が高くなることが分かる。
【００６２】
本実施例によれば、クエリ画像集合に対する、周知の情報検索の評価値であるＦ値（F-measure）は、０．５３６から０．５４９に向上した。本実施例は、画像の相関を用いたが、ラベルの相関を用いた場合も、本実施例と同様の効果が期待できる。
【００６３】
［他の実施の形態］
なお、本発明は、上記実施の形態に限定されず、本発明の要旨を変更しない範囲で種々に変形が可能である。例えば、画像受付部２、特徴抽出部３、ラベル事後確率計算部４、量子化部５、ノード接合部６、ラベル推定部７、ラベル付与部８及びアノテーション情報出力部９の各機能は、コンピュータ読み取り可能な画像識別情報付与プログラム１１０に従ってＣＰＵが動作することにより実現してもよい。また、上記実施の形態の画像受付部２、特徴抽出部３、ラベル事後確率計算部４、量子化部５、ノード接合部６、ラベル推定部７、ラベル付与部８及びアノテーション情報出力部９の全て又は一部をＡＳＩＣ等のハードウエアによって実現してもよい。
【００６４】
また、上記実施の形態で用いたプログラムをＣＤ−ＲＯＭ等の記録媒体に記憶して提供することもできる。また、上記実施の形態で説明した上記ステップの入替え、削除、追加等は、本発明の要旨を変更しない範囲内で可能である。
【符号の説明】
【００６５】
１…画像識別情報付与装置、２…画像受付部、３…特徴抽出部、４…ラベル事後確率計算部、５…量子化部、６…ノード接合部、７…ラベル推定部、８…ラベル付与部、９…アノテーション情報出力部、１０…記憶部、７０１〜７０Ｎ…ＭＲＦモデル、７１１〜７１Ｍ…入力ノード、７２１〜７２Ｍ…事後確率計算ノード、７３１〜７３Ｍ…推定事後確率計算ノード、７４１〜７４Ｍ…出力ノード、７５１〜７５Ｍ…入力側リンク、７６…接合リンク、７７１〜７７Ｍ…出力側リンク、１１０…画像識別情報付与プログラム、１２０…クエリ画像、１３０…学習モデル、１４０…ラベル辞書、１５０…リンク情報
【特許請求の範囲】
【請求項１】
コンピュータを、
複数の画像からそれぞれ特徴量を抽出する抽出手段と、
前記抽出手段によって抽出された前記特徴量から学習モデルを用いて前記画像に付与すべき複数の識別情報に対してそれぞれ第１の評価値を計算する計算手段と、
前記識別情報の数に対応した数の確率場モデルを有し、前記複数の画像について前記計算手段によって計算された前記識別情報毎の前記第１の評価値を前記複数の確率場モデルに入力し、前記画像毎に前記複数の識別情報に対する第２の評価値を出力する出力手段として機能されるための画像識別情報付与プログラム。
【請求項２】
前記出力手段の前記確率場モデルを前記複数の画像間の相関情報に基づいて最適化する最適化手段を、さらに備えた請求項１に記載の画像識別情報付与プログラム。
【請求項３】
前記出力手段の前記確率場モデルを前記複数の識別情報間の相関情報に基づいて最適化する最適化手段を、さらに備えた請求項１に記載の画像識別情報付与プログラム。
【請求項４】
複数の画像からそれぞれ特徴量を抽出する抽出手段と、
前記抽出手段によって抽出された前記特徴量から学習モデルを用いて前記画像に付与すべき複数の識別情報に対してそれぞれ第１の評価値を計算する計算手段と、
前記識別情報の数に対応した数の確率場モデルを有し、前記複数の画像について前記計算手段によって計算された前記識別情報毎の前記第１の評価値を前記複数の確率場モデルに入力し、前記画像毎に前記複数の識別情報に対する第２の評価値を出力する出力手段とを備えた画像識別情報付与装置。
【請求項１】
コンピュータを、
複数の画像からそれぞれ特徴量を抽出する抽出手段と、
前記抽出手段によって抽出された前記特徴量から学習モデルを用いて前記画像に付与すべき複数の識別情報に対してそれぞれ第１の評価値を計算する計算手段と、
前記識別情報の数に対応した数の確率場モデルを有し、前記複数の画像について前記計算手段によって計算された前記識別情報毎の前記第１の評価値を前記複数の確率場モデルに入力し、前記画像毎に前記複数の識別情報に対する第２の評価値を出力する出力手段として機能されるための画像識別情報付与プログラム。
【請求項２】
前記出力手段の前記確率場モデルを前記複数の画像間の相関情報に基づいて最適化する最適化手段を、さらに備えた請求項１に記載の画像識別情報付与プログラム。
【請求項３】
前記出力手段の前記確率場モデルを前記複数の識別情報間の相関情報に基づいて最適化する最適化手段を、さらに備えた請求項１に記載の画像識別情報付与プログラム。
【請求項４】
複数の画像からそれぞれ特徴量を抽出する抽出手段と、
前記抽出手段によって抽出された前記特徴量から学習モデルを用いて前記画像に付与すべき複数の識別情報に対してそれぞれ第１の評価値を計算する計算手段と、
前記識別情報の数に対応した数の確率場モデルを有し、前記複数の画像について前記計算手段によって計算された前記識別情報毎の前記第１の評価値を前記複数の確率場モデルに入力し、前記画像毎に前記複数の識別情報に対する第２の評価値を出力する出力手段とを備えた画像識別情報付与装置。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２０１３−５４４５８（Ｐ２０１３−５４４５８Ａ）
【公開日】平成２５年３月２１日（２０１３．３．２１）
【国際特許分類】
【出願番号】特願２０１１−１９０９６７（Ｐ２０１１−１９０９６７）
【出願日】平成２３年９月１日（２０１１．９．１）
【出願人】（０００００５４９６）富士ゼロックス株式会社 (21,908)
【Ｆターム（参考）】
【公開日】平成２５年３月２１日（２０１３．３．２１）
【国際特許分類】
【出願日】平成２３年９月１日（２０１１．９．１）
【出願人】（０００００５４９６）富士ゼロックス株式会社 (21,908)
【Ｆターム（参考）】
[ Back to top ]