コンテンツ認識モデル学習装置、コンテンツ認識モデル学習方法及びコンテンツ認識モデル学習プログラム
【課題】ユーザの負担を軽減しつつ、高精度な学習を行うことができるコンテンツ認識モデル学習装置を提供する。
【解決手段】コンテンツデータを認識するためのコンテンツ認識モデルの情報を記憶する手段と、音響信号または映像信号を含むコンテンツデータを取得する手段と、記憶されたコンテンツ認識モデルを用いて、コンテンツデータに付与すべきコンテンツデータに含まれる音響信号または映像信号の意味を示す付加情報を推定する手段と、推定されたコンテンツデータに付与すべき付加情報の確信度を求める手段と、コンテンツデータに付与すべき付加情報を決定するための質問を、求められた確信度に基づいて選択し、選択された質問を表示する手段と、質問に対する回答を取得する手段と、取得された回答の情報に基づき、記憶されたコンテンツ認識モデルの情報を更新する手段とを備えた。
【解決手段】コンテンツデータを認識するためのコンテンツ認識モデルの情報を記憶する手段と、音響信号または映像信号を含むコンテンツデータを取得する手段と、記憶されたコンテンツ認識モデルを用いて、コンテンツデータに付与すべきコンテンツデータに含まれる音響信号または映像信号の意味を示す付加情報を推定する手段と、推定されたコンテンツデータに付与すべき付加情報の確信度を求める手段と、コンテンツデータに付与すべき付加情報を決定するための質問を、求められた確信度に基づいて選択し、選択された質問を表示する手段と、質問に対する回答を取得する手段と、取得された回答の情報に基づき、記憶されたコンテンツ認識モデルの情報を更新する手段とを備えた。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声信号、音響信号、静止画像や動画像（映像）などのメディアデータ（コンテンツ）と、それらに対して人手で付与されたテキスト情報から、意味を推定するコンテンツ認識モデルを学習する技術に関する。ここで「意味」とは、音声信号、音響信号、静止画像や映像の中に含まれるオブジェクト、動作、行為、シーンなどの情報を組み合せた情報である。
【背景技術】
【０００２】
従来から、与えられた映像に対してその映像を説明する言語情報を自動的に付与する映像認識技術の開発が行われている。近年では、ディジタルビデオカメラや携帯電話などの撮像装置の普及、インターネット上での映像共有の一般化などに伴い、このような映像認識技術が非常に重要な技術となってきている。
【０００３】
また、潜在変数を用いて２つの観測情報を結びつける統計モデルであるトピックモデルを学習し、このトピックモデルを用いて、与えられた画像に適切なテキストラベルを自動的に付与する画像ラベル付けと、与えられたテキストラベルから適切な画像を見つけだす画像獲得とを統一的に扱う技術が提案されている（例えば、非特許文献１及び２参照）。
【０００４】
一方、人間が映像を理解する過程を真似て、画像（映像）の内容に関する質問を提示し、ユーザから回答を取得することにより、映像を理解するモデルを更新していく手法（動的学習法）が提案されている（例えば、非特許文献３）。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】中山、原田、國吉、大津”画像・単語間概念対応の確率構造学習を利用した超高速画像認識・検索方法”、電子情報通信学会技術報告、ＰＲＭＵ２００７−１４７、２００７年１２月
【非特許文献２】木村、中野、杉山、亀岡、前田、坂野 ”ＳＳＣＤＥ：画像認識検索のための半教師付正準密度推定法”、画像の認識・理解シンポジウムＭＩＲＵ２０１０、ＯＳ８−１、２０１０年７月
【非特許文献３】Siddiquie, B. and Gupta, A.: Beyond active noun tagging: Modeling contextual interactions for multi-class active learning, IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 2979 - 2986 , 2010.
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、非特許文献１、２の手法における映像認識では、付加情報に含まれるノイズの影響によって、学習精度が低下するという問題がある。ここで、付加情報に含まれるノイズとは、コンテンツには存在しないオブジェクトを示す単語が付加情報（テキスト文章）中に含まれていたり、コンテンツ中に存在するのにテキスト文章中にそれに対応する表現（ラベル）が存在しなかったりすることを意味する。学習精度を上げるには大量の教師データが必要となるが、上述のようなノイズが含まれないように人手で付加情報を準備するのは非常にコストがかかるという問題がある。
【０００７】
また、非特許文献３の技術によれば、コンテンツ中でコンピュータが学習対象としたい領域に関する質問をコンピュータが自動生成し、その領域についての回答を取得しながら学習を進めるので、学習精度を高めることができるとともに、人の負担を減らすことができる。非特許文献３では、以下の３通り（ａ〜ｃ）の質問形態が提案されている。
（ａ）ユーザに対して、コンピュータが学習したいオブジェクト（例えばｂｏａｔ）に対応する領域がコンテンツ中のどの領域であるかを指定してもらう質問
（ｂ）コンピュータが認識できなかった領域（不確定領域）が何であるかを、コンピュータが認識できた領域（確定領域）との相対的な関係を用いてユーザに問う質問（例えば、”ｗｈａｔ ｉｓ ａｂｏｖｅ ｗａｔｅｒ？”や”ｗｈａｔ ｉｓ ｂｒｉｇｈｔｅｒ ｔｈａｎ ｗａｔｅｒ？”）
（ｃ）コンピュータが認識できた２つのオブジェクトの相対関係を表す語（ラベル）を問う質問（例えば、”ｗｈａｔ ｉｓ ｔｈｅ ｒｅｌａｔｉｏｎ ｂｅｔｗｅｅｎ ｂｏａｔ ａｎｄ ｗａｔｅｒ？”）
【０００８】
以上のように、非特許文献３の技術では、不確定領域が何であるかを特定する、”Ｗｈａｔ”形式の質問が前提となっており、ユーザの入力できる回答の自由度が非常に高い。そのため、同じ物体（不確定領域）に異なるラベルが付与されたり、ラベルの種類が膨大になるなどの問題がある。
【０００９】
本発明は、このような事情に鑑みてなされたもので、すでに学習した知識から得られる不確定領域の認識の確信度に基づいて、”Ｗｈａｔ”だけでなく”Ｗｈｉｃｈ”や”Ｉｓ ｔｈｉｓ”形式の質問を切り替えて使うことにより、ユーザの回答の自由度を制限し、従来技術の問題を解決しつつ、高精度な学習を行うことができるコンテンツ認識モデル学習装置、コンテンツ認識モデル学習方法及びコンテンツ認識モデル学習プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明は、コンテンツデータを認識するためのコンテンツ認識モデルの情報が記憶されたコンテンツ認識モデル記憶手段と、音響信号または映像信号を含むコンテンツデータを取得するコンテンツ取得手段と、前記コンテンツ認識モデル記憶手段に記憶されたコンテンツ認識モデルを用いて、前記コンテンツデータに付与すべき前記コンテンツデータに含まれる前記音響信号または映像信号の意味を示す付加情報を推定する付加情報推定手段と、前記付加情報推定手段により推定された前記コンテンツデータに付与すべき付加情報の確信度を求める確信度算出手段と、前記コンテンツデータに付与すべき前記付加情報を決定するための質問を前記確信度算出手段によって求められた前記確信度に基づいて選択し、選択された質問を表示する質問表示手段と、前記質問に対する回答を取得する回答取得手段と、前記回答取得手段によって取得された回答の情報に基づき、前記コンテンツ認識モデル記憶手段に記憶された前記コンテンツ認識モデルの情報を更新するモデル更新手段とを備えたことを特徴とする。
【００１１】
本発明は、前記質問表示手段は、前記確信度が高い場合は、前記コンテンツデータに付与すべき付加情報が、前記推定した付加情報に合致するか否かを問う質問のみを表示し、前記確信度が中程度の場合は、前記コンテンツデータに付与すべき付加情報を、推定した付加情報の候補の中から絞り込む質問のみを表示し、前記確信度が低い場合は、前記コンテンツデータに付与すべき付加情報が何であるかを問う質問を表示することを特徴とする。
【００１２】
本発明は、コンテンツデータを認識するためのコンテンツ認識モデルの情報が記憶されたコンテンツ認識モデル記憶手段と、コンテンツ取得手段と、付加情報推定手段と、確信度算出手段と、質問表示手段と、回答取得手段と、モデル更新手段とを備えたコンテンツ認識モデル学習装置におけるコンテンツ認識モデル学習方法であって、前記コンテンツ取得手段が、音響信号または映像信号を含むコンテンツデータを取得するコンテンツ取得ステップと、前記付加情報推定手段が、前記コンテンツ認識モデル記憶手段に記憶されたコンテンツ認識モデルを用いて、前記コンテンツデータに付与すべき前記コンテンツデータに含まれる前記音響信号または映像信号の意味を示す付加情報を推定する付加情報推定ステップと、前記確信度算出手段が、前記付加情報推定ステップにより推定された前記コンテンツデータに付与すべき付加情報の確信度を求める確信度算出ステップと、前記質問表示手段が、前記コンテンツデータに付与すべき前記付加情報を決定するための質問を前記確信度算出ステップによって求められた前記確信度に基づいて選択し、選択された質問を表示する質問表示ステップと、前記回答取得手段が、前記質問に対する回答を取得する回答取得ステップと、前記モデル更新手段が、前記回答取得ステップによって取得された回答の情報に基づき、前記コンテンツ認識モデル記憶手段に記憶された前記コンテンツ認識モデルの情報を更新するモデル更新ステップとを有することを特徴とする。
【００１３】
本発明は、前記質問表示ステップは、前記確信度が高い場合は、前記コンテンツデータに付与すべき付加情報が、前記推定した付加情報に合致するか否かを問う質問のみを表示し、前記確信度が中程度の場合は、前記コンテンツデータに付与すべき付加情報を、推定した付加情報の候補の中から絞り込む質問のみを表示し、前記確信度が低い場合は、前記コンテンツデータに付与すべき付加情報が何であるかを問う質問を表示することを特徴とする。
【００１４】
本発明は、コンテンツデータを認識するためのコンテンツ認識モデルの情報が記憶されたコンテンツ認識モデル記憶手段と、コンテンツ取得手段と、付加情報推定手段と、確信度算出手段と、質問表示手段と、回答取得手段と、モデル更新手段とを備えたコンテンツ認識モデル学習装置上のコンピュータに、コンテンツ認識モデル学習処理を行わせるコンテンツ認識モデル学習プログラムであって、音響信号または映像信号を含むコンテンツデータを取得するコンテンツ取得ステップと、前記コンテンツ認識モデル記憶手段に記憶されたコンテンツ認識モデルを用いて、前記コンテンツデータに付与すべき前記コンテンツデータに含まれる前記音響信号または映像信号の意味を示す付加情報を推定する付加情報推定ステップと、前記付加情報推定ステップにより推定された前記コンテンツデータに付与すべき付加情報の確信度を求める確信度算出ステップと、前記コンテンツデータに付与すべき前記付加情報を決定するための質問を前記確信度算出ステップによって求められた前記確信度に基づいて選択し、選択された質問を表示する質問表示ステップと、前記質問に対する回答を取得する回答取得ステップと、前記回答取得ステップによって取得された回答の情報に基づき、前記コンテンツ認識モデル記憶手段に記憶された前記コンテンツ認識モデルの情報を更新するモデル更新ステップとを前記コンピュータに行わせることを特徴とする。
【発明の効果】
【００１５】
本発明によれば、推定した付加情報の確信度に応じて質問の種類を変えることにより、単一種類の質問だけを行う場合と比較して、誤識別率を向上させることができる。また、学習の精度向上に有用な情報を引き出すための質問をシステムが自動生成するため、人の負荷を軽減することができるという効果が得られる。
【図面の簡単な説明】
【００１６】
【図１】本発明の一実施形態の構成を示すブロック図である。
【図２】図１に示す装置の動作を示すフローチャートである。
【図３】図１に示す装置の動作を示す説明図である。
【図４】図１に示す装置の動作を示す説明図である。
【図５】図１に示す装置の動作を示す説明図である。
【図６】質問を表示する画面の一例を示す説明図である。
【図７】本発明による装置の実験結果を示す説明図である。
【図８】本発明による装置の実験結果を示す説明図である。
【発明を実施するための形態】
【００１７】
以下、図面を参照して、本発明の一実施形態によるコンテンツ認識モデル学習装置を説明する。図１は同実施形態の構成を示すブロック図である。以下の説明において、コンテンツとは音声信号や音響信号、あるいは、静止画像や動画像（映像）などのメディアデータであり、付加情報の集合はコンテンツの内容を示す情報（映像の内容や構造を記述したテキスト、映像が撮影された時刻や場所に関する情報を表すテキストデータ）であるものとする。図１において、符号１は、予め与えられたＮ個のコンテンツの集合（これを初期コンテンツ集合という）Ｇ＝｛ｇ１，ｇ２，…，ｇＮ｝に対する初期コンテンツ特徴集合Ｘ＝｛ｘ１，ｘ２，…，ｘＮ｝の情報が記憶された初期コンテンツ特徴集合記憶部である。符号２は、初期付加情報特徴集合Ｙ＝｛ｙ１，ｙ２，…，ｙＮ｝が記憶された初期付加情報特徴集合記憶部である。
【００１８】
符号３は、初期コンテンツ集合Ｇに対する初期コンテンツ特徴集合Ｘと初期付加情報特徴集合Ｙから、コンテンツ認識モデルの初期値を学習する初期モデル学習部である。符号４は、コンテンツ認識モデルの情報を記憶するコンテンツ認識モデル記憶部である。符号５は、必ずしも初期コンテンツ集合Ｇに含まれるとは限らない新たなコンテンツｇＮ＋１を取得し、その特徴ｘＮ＋１を計算する新コンテンツ取得部である。新コンテンツ取得部５は、新コンテンツがない場合には、処理を終了する。
【００１９】
符号６は、新コンテンツ取得部５において取得した新コンテンツｇＮ＋１と初期コンテンツｇ１，ｇ２，…，ｇＮについて、コンテンツ認識モデル記憶部４に記憶されているコンテンツ認識モデルを用いて付加情報を推定する付加情報推定部である。符号７は、新コンテンツ取得部５において取得した新コンテンツと類似する初期コンテンツ集合Ｇ中のコンテンツを近傍サンプルとし、近傍サンプルの集合＾Ｇ（＾はＧの頭に付く、以下、他の文字についても同様）＝｛＾ｇ１，＾ｇ２，…，＾ｇＨ｝（Ｈは近傍サンプルの個数）を抽出する近傍サンプル抽出部である。
【００２０】
符号８は、近傍サンプル集合＾Ｇに含まれる各近傍サンプルについて、学習済みのコンテンツ認識モデルによりラベル（付加情報特徴）＾ｙ１，＾ｙ２，…，＾ｙＨを推定し、推定したラベルのばらつき度合い（これを確信度という）に応じて、入力された新コンテンツｇＮ＋１の内容（付加情報）についてユーザに対して提示するべき質問を選択する質問選択部である。符号９は、質問選択部８が選択した質問情報を表示するためにディスプレイ等の表示装置で構成された表示部である。符号１０は、表示部９に表示された質問に対して、その回答情報を入力するためにキーボードやマウスなどの入力装置から構成する入力部である。なお、キーボードやマウスの代わりに、音声信号やＷｅｂ情報などを取得する入力装置を用いても良い。
【００２１】
符号９は、入力部１０から入力された回答情報を取得し、得られた回答情報に基づき入力した新コンテンツｇＮ＋１に対する新付加情報特徴ｙＮ＋１を決定し、入力した新コンテンツに対する特徴ｘＮ＋１を初期コンテンツ集合に加えたコンテンツ特徴集合Ｘ（１）＝Ｘ∪｛ｘＮ＋１｝と、入力した新コンテンツに対して決定した新しい付加情報特徴ＹＮ＋１を加えた付加情報特徴集合Ｙ（１）＝Ｙ∪｛ｙＮ＋１｝を出力する回答取得部である。ここで、Ｘ∪｛ｘＮ＋１｝は集合Ｘと｛ｘＮ＋１｝の和集合を表し、ＸとＹの右肩の数字（１）は更新処理の繰り返し回数を表している。符号１２は、回答取得部１１から出力するコンテンツ特徴集合Ｘの情報を記憶するコンテンツ特徴集合記憶部である。号１３は、回答取得部１１から出力する付加情報特徴集合Ｙの情報を記憶する付加情報特徴集合記憶部である。
【００２２】
符号１４は、コンテンツ認識モデルを作成した時点の学習データ（コンテンツ特徴集合Ｘと付加情報特徴集合Ｙ）に対して、新たに追加された新コンテンツの数（新コンテンツ特徴や新付加情報特徴の数）をカウントし、追加された新コンテンツの数が所定数に達した場合には、処理を移行してコンテンツ認識モデルを更新させるモデル更新制御部である。新コンテンツの数が所定の基準を満たしていないときは、新コンテンツ取得部に処理を移行して処理を繰り返すよう制御する。
【００２３】
符号１５は、モデル更新制御部１４の指示に基づき、コンテンツ特徴集合記憶部１２と付加情報特徴集合記憶部１３に記憶された更新後のコンテンツ特徴集合Ｘ（ｉ）と付加情報特徴集合Ｙ（ｉ）を用いて、コンテンツ認識モデル記憶部４に記憶されているコンテンツ認識モデルを更新するモデル更新部である。モデルの更新処理は、入力データが初期コンテンツ特徴集合と初期付加情報特徴集合の代わりにＸ（ｉ）（ｉは自然数）とＹ（ｉ）（ｉは自然数）を用いる点を除いては、初期モデル学習部３と同様の処理である。モデル更新部１５の処理を終えると、新コンテンツ取得部５へ処理を移行し、新たなコンテンツについて、コンテンツ認識モデルの更新を繰り返す。
【００２４】
なお、モデル更新制御部１４は省略してもよく、省略した場合には、１つの新コンテンツが追加される毎に、逐次的にコンテンツ認識モデルの更新を行うことになる。モデル更新制御部１４により、新コンテンツに対する回答がある程度集まった段階で、まとめてコンテンツ認識モデルを更新することにより、学習の回数を減らすことができるので、逐次的に行う場合も効率的に高精度なコンテンツ認識モデルを作成することができる。
【００２５】
次に、図１に示す初期コンテンツ特徴集合記憶部１と初期付加情報特徴集合記憶部２に記憶される情報に基づき、初期モデル学習部３がコンテンツ認識モデルを学習する動作について説明する。最初のコンテンツ認識モデル学習用に予め与えられたコンテンツの集合Ｇ＝｛ｇ１，ｇ２，…，ｇＮ｝を初期コンテンツ集合とする。また、初期コンテンツ集合Ｇに含まれる各コンテンツに対応づけられた付加情報の集合Ａ＝｛ａ１，ａ２，…，ａＮ｝を初期付加情報集合とする。初期コンテンツ集合Ｇに含まれる各コンテンツについて抽出した特徴量の集合が初期コンテンツ特徴集合Ｘ＝｛ｘ１，ｘ２，…，ｘＮ｝となり、初期付加情報集合Ａの各付加情報について抽出した特徴量の集合を初期付加情報特徴集合Ｙ＝｛ｙ１，ｙ２，…，ｙＮ｝となる。
【００２６】
対象コンテンツが画像の場合、初期コンテンツ特徴としては、例えば、色ヒストグラム、デジタルコサイン変換の任意の成分、Ｈａａｒ ｗａｖｅｌｅｔの任意の成分、高次局所自己相関特徴（N. Otsu and T. Kurita "A new scheme for practical flexible and intelligent vision systems," Proc. IAPR Workshop on Computer Vision, pp.431-435, 1988.参照）、任意の方法で選択した特徴点のＢａｇ ｏｆ Ｆｅａｔｕｒｅｓ表現（Ｌｉ Ｆｅｉ−Ｆｅｉ ｅｔ ａｌ．， ２００５．参照）などの公知の特徴量を用いることができる。また、初期付加情報特徴としては、付加情報に含まれる単語（ラベル）の有無を表現する２値ベクトルを用いることができる。これは、取り得る単語の総数と同数の次元を持つベクトルであり、ベクトルの各次元が取り得る単語に対応するものとし、付加情報に単語ｉが含まれている場合には、ベクトルの第ｉ要素の値を１とし、含まれていない場合には値を０としたものである。
【００２７】
あるいは、付加情報に含まれる単語の出現回数を表現するベクトル（word occurrence vector）や、あらかじめ指定しておいたトピックの数を次元数とし、各トピックの出現確率を表現するベクトルを用いることもできる。このベクトルは、probabilistic latent semantic analysis（ｐＬＳＡ）やlatent Dirichlet allocation（ＬＤＡ）などのトピックモデルを用いて算出することができる（詳細は、Nikhil Rasiwasia, Jose Costa Pereira, Emanuele Coviello, Gabriel Doyle, Gert R. G. Lanckriet, Roger Levy, Nuno Vasconcelos: “A new approach to cross-modal multimedia retrieval." ACM Multimedia 2010, pp.251-260を参照）。
【００２８】
また、対象コンテンツが音響信号や映像信号の場合には、時系列アクティブ探索法（ＴＡＳ，特許第３０６５３１４号明細書参照）や分割一致探索法（ＤＡＬ、特許第４３２７２０２号明細書参照）などの手法を用いて抽出した音響または映像信号の特徴量を利用することができる。
【００２９】
まず、初期モデル学習部３は、初期コンテンツ特徴集合記憶部１に記憶されている初期コンテンツ特徴集合Ｘ＝｛ｘ１，ｘ２，…，ｘＮ｝と、初期付加情報特徴集合記憶部２に記憶されている初期付加情報特徴集合Ｙ＝｛ｙ１，ｙ２，…，ｙＮ｝を読み出し、これらの集合の情報を用いて、付加情報が未知のコンテンツに対して、その内容を表す付加情報として最もふさわしいものを決定するためのコンテンツ認識モデルを学習する。
【００３０】
モデル学習の処理は、非特許文献１、２に記載されている公知の技術を用いれば良い。例えば、まず、特徴量の集合（Ｘ，Ｙ）から潜在変数Ｚ＝｛ｚ１，ｚ２，…，ｚＮ｝を生成する。潜在変数は、正準相関分析を用いる方法（非特許文献１）、確率的正準相関分析を用いる方法（文献：中山他”大規模Ｗｅｂ 画像のための画像アノテーション・リトリーバル手法 Ｗｅｂ 集合知からの自律的画像知識獲得へ向けて”、画像の認識・理解シンポジウムＭＩＲＵ２００９、ＯＳ２−４、２００９年７月）、半教師付き正準相関分析を用いる方法（非特許文献２）等により求めることができる。続いて、カーネル密度推定（Kernel density estimation（ＫＤＥ），文献：Parzen, E.: On estination of a probability density function and mode, The annuals of Mathematical Statistics, vol. 33, No. 3, pp. 1065-1076, 1962.）、または、半教師付きカーネル密度推定 （ＳＳＫＤＥ、非特許文献２を参照）などによりモデル学習を行うことで、コンテンツ認識モデルを学習することができる。モデル学習とは、具体的には、潜在変数ｚｉが与えられたときのコンテンツ特徴ｘの条件付生起確率ｐ（ｘ｜ｚｉ）と、同じく付加特徴ｙの条件付生起確率ｐ（ｙ｜ｚｉ）のモデルパラメータを求めることを意味する。
【００３１】
ｚ１〜ｚＮは潜在変数と呼ばれ、例えば、コンテンツの属するカテゴリラベルのようなものと捉えることができる。学習後のコンテンツ認識モデルは、与えられたコンテンツｇｉの特徴ｘｉと付加情報の特徴ｙｉを入力したとき、それに対応する潜在変数ｚｉを返す（１≦ｉ≦Ｎ）。ここでは、ｘｉとｙｉはそれぞれ多次元ベクトルで表現されるので、ｘｉとｙｉを用いた線形変換によりｚｉに対応する多次元ベクトルを得ることができる。
【００３２】
次に、図２を参照して、図１に示すコンテンツ認識モデル学習装置が、新しいコンテンツを取得した際の動作を説明する。 まず、新コンテンツ取得部５は、外部から新しいコンテンツを取得して（ステップＳ１）、付加情報推定部６と、近傍サンプル抽出部７へ出力する。これを請けて、付加情報推定部６は、新コンテンツ取得部５において取得した新コンテンツｇＮ＋１と初期コンテンツｇ１，ｇ２，…，ｇＮについて、コンテンツ認識モデル記憶部４に記憶されているコンテンツ認識モデルを用いて付加情報を推定する（ステップＳ２）。具体的には、コンテンツｇＮ＋１の特徴ｘＮ＋１に対して、（１）式により付加情報特徴＾ｙＮ＋１を推定する。
【数１】
ここで、Ｄｙは、付加情報特徴ｙｉ（ｉ＝１，２，…，Ｎ）を表すベクトルの次元数（要素数）である。
【００３３】
次に、近傍サンプル抽出部７は、新コンテンツ取得部５において取得した新コンテンツｇＮ＋１に対して推定した潜在変数ｚＮ＋１と初期コンテンツの各々に対して推定した潜在変数ｚｉ（ｉ＝１，２，…，Ｎ）との類似度を計算し、類似度が所定の閾値を超える（類似度の高い）もしくは類似度が上位所定順位以上の潜在変数を持つ初期コンテンツを近傍サンプルとし、近傍サンプルの集合＾Ｇ＝｛＾ｇ１，＾ｇ２，…，＾ｇＨ｝（Ｈは近傍サンプルの個数）を抽出する（ステップＳ３）。潜在変数の類似度は、例えば、多次元ベクトル同士の距離（例えば、ユークリッド（Ｌ２）距離、マハラノビス距離、マンハッタン（Ｌ１）距離）の逆数により定義する。
【００３４】
次に、質問選択部８は、近傍サンプル集合＾Ｇ＝｛＾ｇ１，＾ｇ２，…，＾ｇＨ｝に含まれる各近傍サンプルについて、学習済みのコンテンツ認識モデルによりラベル（付加情報特徴）＾ｙ１，＾ｙ２，…，＾ｙＨを推定し、推定したラベルのばらつき度合い（確信度）に応じて、新コンテンツ取得部５で取得した新コンテンツｇＮ＋１の内容（付加情報ａＮ＋１）についてユーザに提示する質問を生成する。新コンテンツのラベルの確信度は、新コンテンツｇＮ＋１に対して推定した付加情報特徴＾ｙＮ＋１と近傍サンプル集合＾Ｇ＝｛＾ｇ１，＾ｇ２，…，＾ｇＨ｝中の各要素に対して推定した付加情報特徴＾ｙｊ（ｊ＝１，２，…，Ｈ）がどのくらい整合しているかを表す指標である。そして、質問選択部８は、確信度が「高い、「中程度」、「低い」のいずれかに該当するか否かを判定する（ステップＳ４）。
【００３５】
この判定の結果、質問選択部８は、新コンテンツの近傍に十分な数の学習データ（初期コンテンツ）が存在し、それらの学習データの付加情報（ラベル）に一貫性がある場合には、確信度が高いと見なし、新コンテンツに対するラベルが「Ａ」であるか否かを問う質問（例えば、”Ｉｓ ｔｈｉｓ Ａ？”）を生成して、表示部９に表示する（ステップＳ５）。ここで、「Ａ」は、近傍サンプル集合に対するラベルであり、一貫性があるため、ラベルは１種類（Ａ）のみとなる（図３参照）。
【００３６】
また、判定の結果、確信度が中程度の場合、質問選択部８は、入力サンプルの近傍に十分な数の学習データが存在するものの、それらの学習データのラベルに十分な一貫性が見られない、すなわち、学習データのラベルの候補が複数あり、どちらが適切かをコンピュータが自動で判断することが難しい状況にあると見なして、近傍サンプル集合中の各要素に対して推定したラベルのうち、最も頻度が高いラベルを「Ａ」、２番目に頻度の高いラベルを「Ｂ」とし、新コンテンツに対するラベルがＡ、Ｂのいずれであるかを問う質問（例えば、”Ｗｈｉｃｈ ｉｓ ｔｈｉｓ，Ａ ｏｒ Ｂ？”）を生成して、表示部９に表示する（ステップ６：図４参照）。
【００３７】
また、判定の結果、確信度が低い場合、質問選択部８は、入力サンプルの近傍にある学習データの数が少なく、それらの学習データのラベルの信頼性が低い、すなわち、学習データのラベルは信用できない可能性が高いと見なして、新コンテンツに対するラベルが何であるかを問う質問（例えば、”Ｗｈａｔ ｉｓ ｔｈｉｓ？”）を生成して、表示部９に表示する（ステップＳ７：図５参照）。
【００３８】
なお、一般に、コンテンツには複数のオブジェクトが含まれることが多い。そのため、コンテンツに付与すべきラベルは、複数のラベルの組み合わせ（各オブジェクトに対応するラベルの組み合わせ）とするのが望ましい。この場合、以下の手順によって質問を生成すればよい。
【００３９】
まず、新コンテンツｇＮ＋１から推定した付加情報特徴＾ｙＮ＋１から、近傍サンプルに対応する付加情報中に存在しないラベル（単語）を削除する。すなわち、このラベルに対応する特徴量を０にする。そして、＾ｙＮ＋１にラベルが一つも残っていない場合（零ベクトルの場合、すなわち、＾ｙＮ＋１の各要素に対応するラベルを近傍サンプルが一つも持っていない場合）には、新コンテンツから推定した付加情報特徴が必ずしも適切ではない、あるいは、推定した付加情報特徴の信頼性が低いと判断でき、前述した「確信度が低い場合」に該当するため、新コンテンツに対するラベルが何であるかを問う質問（例えば、”Ｗｈａｔ ｉｓ ｔｈｉｓ？”）を生成する。
【００４０】
一方、＾ｙＮ＋１にラベルが残っている場合（零ベクトルでない場合）には、新コンテンツｇＮ＋１に対する潜在変数割合＾ＺＮ＋１と近傍サンプル集合中の各潜在変数割合＾Ｚｊ（ｊ＝１，２，…，Ｈ）との平均距離を計算する。そして、平均距離が予め設定した閾値を超える場合には、入力サンプルの近傍にある学習データの数が極めて少ないと判断でき、前述した「確信度が低い場合」に該当するため、新コンテンツに対するラベルが何であるかを問う質問（例えば、”Ｗｈａｔ ｉｓ ｔｈｉｓ？”）を生成する。
【００４１】
平均距離が予め設定した閾値以下の場合には、近傍サンプル集合に対応する個々のラベルの取り得る組み合わせを生成する。そして、生成したラベルの組み合わせの類似度を計算する。組み合わせの類似度は、組み合わせにおける全てのラベルの組の連想度の平均により計算する。例えば、ｙＡをラベルＡに対応する付加情報特徴とし、Ｓ（ｙＡ，ｙＢ）をラベルの組（Ａ，Ｂ）の連想度としたとき、ＡＢＣというマルチラベルの出力の類似度は、Ｓ（ｙＡ，ｙＢ），Ｓ（ｙＢ，ｙＣ），Ｓ（ｙＣ，ｙＡ）の平均値となる。なお、Ｓ（ｙＡ，ｙＢ）は、ラベルｙＡとｙＢが同時に付与されているコンテンツの数である。
【００４２】
計算した類似度を予め設定した閾値と比較し、類似度が閾値を超えた組み合わせが１つしかない場合には、前述した「確信度が高い場合」に該当するため、新コンテンツに対するラベルがＡであるか否かを問う質問（例えば、”Ｉｓ ｔｈｉｓ Ａ？”）を生成する。ここで、Ａには、類似度が閾値を超えた組み合わせに含まれるラベルが入る。
【００４３】
一方、類似度が閾値を超えた組み合わせが２つ以上ある場合には、前述した「確信度が中程度の場合」に該当するため、新コンテンツに対するラベルがＡ、Ｂのいずれであるかを問う質問（例えば、”Ｗｈｉｃｈ ｉｓ ｔｈｉｓ， Ａ ｏｒ Ｂ？”）を生成する。ここで、ＡとＢには、類似度が最大の組み合わせに含まれるラベルと、類似度が２番目に大きい組み合わせに含まれるラベルがそれぞれ入る。
【００４４】
このように、確信度が高い場合には、推定したラベルに合致しているか否かを確認する質問のみを行い、確信度が中程度である場合には、推定したラベルの候補を絞り込むような質問のみを行い、確信度が低い場合にのみ推定したラベルの情報を用いず、ラベルが何であるかを問う質問を表示するようにしたため、同じ物体もしくは同じ概念に対して異なるラベルを与えるリスクを回避し、コンテンツ認識モデルをより精緻に構築することができる。
【００４５】
次に、回答取得部１１は、表示部９に表示した質問に対して、ユーザが入力部１０から入力した回答を取得し、回答に応じて修正した付加情報特徴ｙＮ＋１を生成する。確信度が高い場合、ラベルがＡであるか否かの質問を表示したため、ユーザからの回答はＹｅｓ（肯定）かＮｏ（否定）で入力されることになる（図６参照）。なお、図６は表示の一例であり、ＹｅｓとＮｏのラジオボタンを選択する形式に限らず、ユーザがＹｅｓまたはＮｏのラベルを直接入力することも可能である。Ｎｏの場合には、ユーザが正解のラベルを自由に入力することもできる。回答取得部１１は、回答がＹｅｓかＮｏのいずれであるかを判定し（ステップＳ８）、肯定的な回答（Ｙｅｓ）が得られた場合には、ラベルはＡであると見なしてＡに対応するラベルの特徴量を１とし、残りを０とする付加情報特徴ｙＮ＋１を生成する（ステップＳ９）。
【００４６】
一方、否定的な回答（Ｎｏ）が得られた場合には、システムの前提知識（学習済みの知識）が誤っていると判断し、ユーザの回答に合わせて付加情報特徴を修正する。すなわち、ユーザから正しいラベルを取得し、そのラベルに対応する特徴量を１とし、残りを０とする付加情報特徴ｙＮ＋１を生成するために、ステップＳ７へ移行する。このとき、Ｎｏの場合にユーザ入力した正解ラベルがシステムにとって未知のラベルだった場合には、そのラベルに対応する付加情報特徴を表現するために付加情報特徴ｙＮ＋１の次元を増やす。
【００４７】
また、確信度が中程度の場合、ラベルがＡとＢのいずれであるかの質問を表示したため、ユーザからの回答は、Ａ、Ｂ、いずれででもない、のいずれかで入力されることになる（図６参照）。回答取得部１１は、回答が何であったかを判定し（ステップＳ１０）、肯定的な回答（ＡまたはＢ）が得られた場合には、ラベルはＡまたはＢであると見なして、ユーザの選択したラベルに対応する特徴量を１とし、残りを０とする付加情報特徴ｙＮ＋１を生成する（ステップＳ１１、Ｓ１２）。
【００４８】
一方、否定的な回答（どちらでもない）が得られた場合には、確信度が高い場合の否定的な回答の処理と同様に、ステップＳ７に移行し、ユーザの回答に合わせて付加情報特徴を修正する。
【００４９】
また、確信度が低い場合は、ラベルが何であるかの質問を表示したため、ユーザからは正しいラベルの情報（テキスト情報）が入力されることになる（図６参照）。この場合、入力部１０から入力されたラベル情報に対応する特徴量を１とし、残りを０とする付加情報特徴ｙＮ＋１を生成する（ステップＳ１３）。この場合も、ユーザ入力した正解ラベルがシステムにとって未知のラベルだった場合には、そのラベルに対応する付加情報特徴を表現するために付加情報特徴ｙＮ＋１の次元を増やす。
【００５０】
回答取得部１１は、生成した付加情報特徴ｙＮ＋１を付加情報特徴集合記憶部１３に追加する。また、新コンテンツｇＮ＋１に対応する特徴ｘＮ＋１は、コンテンツ特徴集合記憶部１２に追加する。
【００５１】
次に、モデル更新部１５は、モデル更新制御部１４からの指示に基づき、回答取得部１１により更新されたコンテンツ特徴集合と付加情報特徴集合の情報を用いて、コンテンツ認識モデル記憶部４に記憶されているコンテンツ認識モデルを更新する（ステップＳ１４）。この更新処理は、初期モデル学習部３と同様の処理であるため、詳細な処置動作の説明を省略する。モデル更新部１５は、新しいコンテンツが存在する間は、以上の処理を繰り返すことで、コンテンツ認識モデルを更新していく。
【００５２】
次に、図１に示すコンテンツ認識モデル学習装置を用いた実験結果について説明する。学習用のコンテンツデータ集合として、ＰＡＳＣＡＬ Ｖｉｓｕａｌ Ｏｂｊｅｃｔ Ｃｈａｌｌｅｎｇｅ（ＶＯＣ ２００８、文献：M. Everingham et al., : The PASCAL VOC Challenge 2008 Results, http://www.pascal-network.org/challenges/VOC/voc2008/workshop/index.html）の５０９６枚の画像データを用いた。各画像データは、人物、動物、乗り物、家具など２０種類のオブジェクトのカテゴリに含まれるオブジェクトを含んでいる。このうち、３５９６枚の画像を初期コンテンツ集合として利用して初期モデル学習部３により、コンテンツ認識モデル記憶部４に記憶されるコンテンツ認識モデルを学習し、１０００枚を新コンテンツとしてモデル更新部１５によるモデルの再学習（更新）を行った。残りの５００枚を評価実験用に用いた。
【００５３】
本発明の手法との比較対象として、２つの方法Ａ、Ｂを用いた。方法Ａは、確信度に関係なく、どのような場合にも「ラベルが何であるか」を問う質問を行う方法である。方法Ｂは、ランダムに質問の種類を選択して質問を行う方法である。
【００５４】
方法Ａ、方法Ｂ、本発明手法のそれぞれについて、評価実験用の５００枚の画像に対して、学習したコンテンツ認識モデルにより推定したラベル（付加情報）の誤識別率とユーザコスト（ユーザの回答入力時間）を調べた結果を図７、図８に示す。横軸のＩｔｅｒａｔｉｏｎは、新コンテンツとして入力した画像（学習サンプル）の枚数を表す。学習サンプルの増加に伴い、いずれの手法においても誤識別率が向上するが、特に本発明手法の誤識別率の向上率が高い（図７参照）。また、ユーザコストは、ユーザの回答入力時間によって評価した。テキスト入力時間を、（入力文字数）／（１文字あたりの平均入力時間）とし、テキスト入力以外の動作（クリック、マウス移動など）についての時間は無視した。本発明手法は、最も少ないコストで入力が完了できることが分かる（図８参照）。
【００５５】
なお、図１に示す各処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによりコンテンツ認識モデル学習処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【００５６】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【産業上の利用可能性】
【００５７】
画像や映像などのメディアデータと、それらに対して人手で付与されたテキスト情報から、意味（画像や映像の中に含まれるオブジェクト、動作、行為、シーンなどの情報を組み合せた情報）を推定することが不可欠な用途に適用できる。
【符号の説明】
【００５８】
１・・・初期コンテンツ特徴集合記憶部、２・・・初期付加情報特徴集合記憶部、３・・・初期モデル学習部、４・・・コンテンツ認識モデル記憶部、５・・・新コンテンツ取得部、６・・・付加情報推定部、７・・・近傍サンプル抽出部、８・・・質問選択部、９・・・表示部、１０・・・入力部、１１・・・回答取得部、１２・・・コンテンツ特徴集合記憶部、１３・・・付加情報特徴集合記憶部、１４・・・モデル更新制御部、１５・・・モデル更新部
【技術分野】
【０００１】
本発明は、音声信号、音響信号、静止画像や動画像（映像）などのメディアデータ（コンテンツ）と、それらに対して人手で付与されたテキスト情報から、意味を推定するコンテンツ認識モデルを学習する技術に関する。ここで「意味」とは、音声信号、音響信号、静止画像や映像の中に含まれるオブジェクト、動作、行為、シーンなどの情報を組み合せた情報である。
【背景技術】
【０００２】
従来から、与えられた映像に対してその映像を説明する言語情報を自動的に付与する映像認識技術の開発が行われている。近年では、ディジタルビデオカメラや携帯電話などの撮像装置の普及、インターネット上での映像共有の一般化などに伴い、このような映像認識技術が非常に重要な技術となってきている。
【０００３】
また、潜在変数を用いて２つの観測情報を結びつける統計モデルであるトピックモデルを学習し、このトピックモデルを用いて、与えられた画像に適切なテキストラベルを自動的に付与する画像ラベル付けと、与えられたテキストラベルから適切な画像を見つけだす画像獲得とを統一的に扱う技術が提案されている（例えば、非特許文献１及び２参照）。
【０００４】
一方、人間が映像を理解する過程を真似て、画像（映像）の内容に関する質問を提示し、ユーザから回答を取得することにより、映像を理解するモデルを更新していく手法（動的学習法）が提案されている（例えば、非特許文献３）。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】中山、原田、國吉、大津”画像・単語間概念対応の確率構造学習を利用した超高速画像認識・検索方法”、電子情報通信学会技術報告、ＰＲＭＵ２００７−１４７、２００７年１２月
【非特許文献２】木村、中野、杉山、亀岡、前田、坂野 ”ＳＳＣＤＥ：画像認識検索のための半教師付正準密度推定法”、画像の認識・理解シンポジウムＭＩＲＵ２０１０、ＯＳ８−１、２０１０年７月
【非特許文献３】Siddiquie, B. and Gupta, A.: Beyond active noun tagging: Modeling contextual interactions for multi-class active learning, IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 2979 - 2986 , 2010.
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、非特許文献１、２の手法における映像認識では、付加情報に含まれるノイズの影響によって、学習精度が低下するという問題がある。ここで、付加情報に含まれるノイズとは、コンテンツには存在しないオブジェクトを示す単語が付加情報（テキスト文章）中に含まれていたり、コンテンツ中に存在するのにテキスト文章中にそれに対応する表現（ラベル）が存在しなかったりすることを意味する。学習精度を上げるには大量の教師データが必要となるが、上述のようなノイズが含まれないように人手で付加情報を準備するのは非常にコストがかかるという問題がある。
【０００７】
また、非特許文献３の技術によれば、コンテンツ中でコンピュータが学習対象としたい領域に関する質問をコンピュータが自動生成し、その領域についての回答を取得しながら学習を進めるので、学習精度を高めることができるとともに、人の負担を減らすことができる。非特許文献３では、以下の３通り（ａ〜ｃ）の質問形態が提案されている。
（ａ）ユーザに対して、コンピュータが学習したいオブジェクト（例えばｂｏａｔ）に対応する領域がコンテンツ中のどの領域であるかを指定してもらう質問
（ｂ）コンピュータが認識できなかった領域（不確定領域）が何であるかを、コンピュータが認識できた領域（確定領域）との相対的な関係を用いてユーザに問う質問（例えば、”ｗｈａｔ ｉｓ ａｂｏｖｅ ｗａｔｅｒ？”や”ｗｈａｔ ｉｓ ｂｒｉｇｈｔｅｒ ｔｈａｎ ｗａｔｅｒ？”）
（ｃ）コンピュータが認識できた２つのオブジェクトの相対関係を表す語（ラベル）を問う質問（例えば、”ｗｈａｔ ｉｓ ｔｈｅ ｒｅｌａｔｉｏｎ ｂｅｔｗｅｅｎ ｂｏａｔ ａｎｄ ｗａｔｅｒ？”）
【０００８】
以上のように、非特許文献３の技術では、不確定領域が何であるかを特定する、”Ｗｈａｔ”形式の質問が前提となっており、ユーザの入力できる回答の自由度が非常に高い。そのため、同じ物体（不確定領域）に異なるラベルが付与されたり、ラベルの種類が膨大になるなどの問題がある。
【０００９】
本発明は、このような事情に鑑みてなされたもので、すでに学習した知識から得られる不確定領域の認識の確信度に基づいて、”Ｗｈａｔ”だけでなく”Ｗｈｉｃｈ”や”Ｉｓ ｔｈｉｓ”形式の質問を切り替えて使うことにより、ユーザの回答の自由度を制限し、従来技術の問題を解決しつつ、高精度な学習を行うことができるコンテンツ認識モデル学習装置、コンテンツ認識モデル学習方法及びコンテンツ認識モデル学習プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明は、コンテンツデータを認識するためのコンテンツ認識モデルの情報が記憶されたコンテンツ認識モデル記憶手段と、音響信号または映像信号を含むコンテンツデータを取得するコンテンツ取得手段と、前記コンテンツ認識モデル記憶手段に記憶されたコンテンツ認識モデルを用いて、前記コンテンツデータに付与すべき前記コンテンツデータに含まれる前記音響信号または映像信号の意味を示す付加情報を推定する付加情報推定手段と、前記付加情報推定手段により推定された前記コンテンツデータに付与すべき付加情報の確信度を求める確信度算出手段と、前記コンテンツデータに付与すべき前記付加情報を決定するための質問を前記確信度算出手段によって求められた前記確信度に基づいて選択し、選択された質問を表示する質問表示手段と、前記質問に対する回答を取得する回答取得手段と、前記回答取得手段によって取得された回答の情報に基づき、前記コンテンツ認識モデル記憶手段に記憶された前記コンテンツ認識モデルの情報を更新するモデル更新手段とを備えたことを特徴とする。
【００１１】
本発明は、前記質問表示手段は、前記確信度が高い場合は、前記コンテンツデータに付与すべき付加情報が、前記推定した付加情報に合致するか否かを問う質問のみを表示し、前記確信度が中程度の場合は、前記コンテンツデータに付与すべき付加情報を、推定した付加情報の候補の中から絞り込む質問のみを表示し、前記確信度が低い場合は、前記コンテンツデータに付与すべき付加情報が何であるかを問う質問を表示することを特徴とする。
【００１２】
本発明は、コンテンツデータを認識するためのコンテンツ認識モデルの情報が記憶されたコンテンツ認識モデル記憶手段と、コンテンツ取得手段と、付加情報推定手段と、確信度算出手段と、質問表示手段と、回答取得手段と、モデル更新手段とを備えたコンテンツ認識モデル学習装置におけるコンテンツ認識モデル学習方法であって、前記コンテンツ取得手段が、音響信号または映像信号を含むコンテンツデータを取得するコンテンツ取得ステップと、前記付加情報推定手段が、前記コンテンツ認識モデル記憶手段に記憶されたコンテンツ認識モデルを用いて、前記コンテンツデータに付与すべき前記コンテンツデータに含まれる前記音響信号または映像信号の意味を示す付加情報を推定する付加情報推定ステップと、前記確信度算出手段が、前記付加情報推定ステップにより推定された前記コンテンツデータに付与すべき付加情報の確信度を求める確信度算出ステップと、前記質問表示手段が、前記コンテンツデータに付与すべき前記付加情報を決定するための質問を前記確信度算出ステップによって求められた前記確信度に基づいて選択し、選択された質問を表示する質問表示ステップと、前記回答取得手段が、前記質問に対する回答を取得する回答取得ステップと、前記モデル更新手段が、前記回答取得ステップによって取得された回答の情報に基づき、前記コンテンツ認識モデル記憶手段に記憶された前記コンテンツ認識モデルの情報を更新するモデル更新ステップとを有することを特徴とする。
【００１３】
本発明は、前記質問表示ステップは、前記確信度が高い場合は、前記コンテンツデータに付与すべき付加情報が、前記推定した付加情報に合致するか否かを問う質問のみを表示し、前記確信度が中程度の場合は、前記コンテンツデータに付与すべき付加情報を、推定した付加情報の候補の中から絞り込む質問のみを表示し、前記確信度が低い場合は、前記コンテンツデータに付与すべき付加情報が何であるかを問う質問を表示することを特徴とする。
【００１４】
本発明は、コンテンツデータを認識するためのコンテンツ認識モデルの情報が記憶されたコンテンツ認識モデル記憶手段と、コンテンツ取得手段と、付加情報推定手段と、確信度算出手段と、質問表示手段と、回答取得手段と、モデル更新手段とを備えたコンテンツ認識モデル学習装置上のコンピュータに、コンテンツ認識モデル学習処理を行わせるコンテンツ認識モデル学習プログラムであって、音響信号または映像信号を含むコンテンツデータを取得するコンテンツ取得ステップと、前記コンテンツ認識モデル記憶手段に記憶されたコンテンツ認識モデルを用いて、前記コンテンツデータに付与すべき前記コンテンツデータに含まれる前記音響信号または映像信号の意味を示す付加情報を推定する付加情報推定ステップと、前記付加情報推定ステップにより推定された前記コンテンツデータに付与すべき付加情報の確信度を求める確信度算出ステップと、前記コンテンツデータに付与すべき前記付加情報を決定するための質問を前記確信度算出ステップによって求められた前記確信度に基づいて選択し、選択された質問を表示する質問表示ステップと、前記質問に対する回答を取得する回答取得ステップと、前記回答取得ステップによって取得された回答の情報に基づき、前記コンテンツ認識モデル記憶手段に記憶された前記コンテンツ認識モデルの情報を更新するモデル更新ステップとを前記コンピュータに行わせることを特徴とする。
【発明の効果】
【００１５】
本発明によれば、推定した付加情報の確信度に応じて質問の種類を変えることにより、単一種類の質問だけを行う場合と比較して、誤識別率を向上させることができる。また、学習の精度向上に有用な情報を引き出すための質問をシステムが自動生成するため、人の負荷を軽減することができるという効果が得られる。
【図面の簡単な説明】
【００１６】
【図１】本発明の一実施形態の構成を示すブロック図である。
【図２】図１に示す装置の動作を示すフローチャートである。
【図３】図１に示す装置の動作を示す説明図である。
【図４】図１に示す装置の動作を示す説明図である。
【図５】図１に示す装置の動作を示す説明図である。
【図６】質問を表示する画面の一例を示す説明図である。
【図７】本発明による装置の実験結果を示す説明図である。
【図８】本発明による装置の実験結果を示す説明図である。
【発明を実施するための形態】
【００１７】
以下、図面を参照して、本発明の一実施形態によるコンテンツ認識モデル学習装置を説明する。図１は同実施形態の構成を示すブロック図である。以下の説明において、コンテンツとは音声信号や音響信号、あるいは、静止画像や動画像（映像）などのメディアデータであり、付加情報の集合はコンテンツの内容を示す情報（映像の内容や構造を記述したテキスト、映像が撮影された時刻や場所に関する情報を表すテキストデータ）であるものとする。図１において、符号１は、予め与えられたＮ個のコンテンツの集合（これを初期コンテンツ集合という）Ｇ＝｛ｇ１，ｇ２，…，ｇＮ｝に対する初期コンテンツ特徴集合Ｘ＝｛ｘ１，ｘ２，…，ｘＮ｝の情報が記憶された初期コンテンツ特徴集合記憶部である。符号２は、初期付加情報特徴集合Ｙ＝｛ｙ１，ｙ２，…，ｙＮ｝が記憶された初期付加情報特徴集合記憶部である。
【００１８】
符号３は、初期コンテンツ集合Ｇに対する初期コンテンツ特徴集合Ｘと初期付加情報特徴集合Ｙから、コンテンツ認識モデルの初期値を学習する初期モデル学習部である。符号４は、コンテンツ認識モデルの情報を記憶するコンテンツ認識モデル記憶部である。符号５は、必ずしも初期コンテンツ集合Ｇに含まれるとは限らない新たなコンテンツｇＮ＋１を取得し、その特徴ｘＮ＋１を計算する新コンテンツ取得部である。新コンテンツ取得部５は、新コンテンツがない場合には、処理を終了する。
【００１９】
符号６は、新コンテンツ取得部５において取得した新コンテンツｇＮ＋１と初期コンテンツｇ１，ｇ２，…，ｇＮについて、コンテンツ認識モデル記憶部４に記憶されているコンテンツ認識モデルを用いて付加情報を推定する付加情報推定部である。符号７は、新コンテンツ取得部５において取得した新コンテンツと類似する初期コンテンツ集合Ｇ中のコンテンツを近傍サンプルとし、近傍サンプルの集合＾Ｇ（＾はＧの頭に付く、以下、他の文字についても同様）＝｛＾ｇ１，＾ｇ２，…，＾ｇＨ｝（Ｈは近傍サンプルの個数）を抽出する近傍サンプル抽出部である。
【００２０】
符号８は、近傍サンプル集合＾Ｇに含まれる各近傍サンプルについて、学習済みのコンテンツ認識モデルによりラベル（付加情報特徴）＾ｙ１，＾ｙ２，…，＾ｙＨを推定し、推定したラベルのばらつき度合い（これを確信度という）に応じて、入力された新コンテンツｇＮ＋１の内容（付加情報）についてユーザに対して提示するべき質問を選択する質問選択部である。符号９は、質問選択部８が選択した質問情報を表示するためにディスプレイ等の表示装置で構成された表示部である。符号１０は、表示部９に表示された質問に対して、その回答情報を入力するためにキーボードやマウスなどの入力装置から構成する入力部である。なお、キーボードやマウスの代わりに、音声信号やＷｅｂ情報などを取得する入力装置を用いても良い。
【００２１】
符号９は、入力部１０から入力された回答情報を取得し、得られた回答情報に基づき入力した新コンテンツｇＮ＋１に対する新付加情報特徴ｙＮ＋１を決定し、入力した新コンテンツに対する特徴ｘＮ＋１を初期コンテンツ集合に加えたコンテンツ特徴集合Ｘ（１）＝Ｘ∪｛ｘＮ＋１｝と、入力した新コンテンツに対して決定した新しい付加情報特徴ＹＮ＋１を加えた付加情報特徴集合Ｙ（１）＝Ｙ∪｛ｙＮ＋１｝を出力する回答取得部である。ここで、Ｘ∪｛ｘＮ＋１｝は集合Ｘと｛ｘＮ＋１｝の和集合を表し、ＸとＹの右肩の数字（１）は更新処理の繰り返し回数を表している。符号１２は、回答取得部１１から出力するコンテンツ特徴集合Ｘの情報を記憶するコンテンツ特徴集合記憶部である。号１３は、回答取得部１１から出力する付加情報特徴集合Ｙの情報を記憶する付加情報特徴集合記憶部である。
【００２２】
符号１４は、コンテンツ認識モデルを作成した時点の学習データ（コンテンツ特徴集合Ｘと付加情報特徴集合Ｙ）に対して、新たに追加された新コンテンツの数（新コンテンツ特徴や新付加情報特徴の数）をカウントし、追加された新コンテンツの数が所定数に達した場合には、処理を移行してコンテンツ認識モデルを更新させるモデル更新制御部である。新コンテンツの数が所定の基準を満たしていないときは、新コンテンツ取得部に処理を移行して処理を繰り返すよう制御する。
【００２３】
符号１５は、モデル更新制御部１４の指示に基づき、コンテンツ特徴集合記憶部１２と付加情報特徴集合記憶部１３に記憶された更新後のコンテンツ特徴集合Ｘ（ｉ）と付加情報特徴集合Ｙ（ｉ）を用いて、コンテンツ認識モデル記憶部４に記憶されているコンテンツ認識モデルを更新するモデル更新部である。モデルの更新処理は、入力データが初期コンテンツ特徴集合と初期付加情報特徴集合の代わりにＸ（ｉ）（ｉは自然数）とＹ（ｉ）（ｉは自然数）を用いる点を除いては、初期モデル学習部３と同様の処理である。モデル更新部１５の処理を終えると、新コンテンツ取得部５へ処理を移行し、新たなコンテンツについて、コンテンツ認識モデルの更新を繰り返す。
【００２４】
なお、モデル更新制御部１４は省略してもよく、省略した場合には、１つの新コンテンツが追加される毎に、逐次的にコンテンツ認識モデルの更新を行うことになる。モデル更新制御部１４により、新コンテンツに対する回答がある程度集まった段階で、まとめてコンテンツ認識モデルを更新することにより、学習の回数を減らすことができるので、逐次的に行う場合も効率的に高精度なコンテンツ認識モデルを作成することができる。
【００２５】
次に、図１に示す初期コンテンツ特徴集合記憶部１と初期付加情報特徴集合記憶部２に記憶される情報に基づき、初期モデル学習部３がコンテンツ認識モデルを学習する動作について説明する。最初のコンテンツ認識モデル学習用に予め与えられたコンテンツの集合Ｇ＝｛ｇ１，ｇ２，…，ｇＮ｝を初期コンテンツ集合とする。また、初期コンテンツ集合Ｇに含まれる各コンテンツに対応づけられた付加情報の集合Ａ＝｛ａ１，ａ２，…，ａＮ｝を初期付加情報集合とする。初期コンテンツ集合Ｇに含まれる各コンテンツについて抽出した特徴量の集合が初期コンテンツ特徴集合Ｘ＝｛ｘ１，ｘ２，…，ｘＮ｝となり、初期付加情報集合Ａの各付加情報について抽出した特徴量の集合を初期付加情報特徴集合Ｙ＝｛ｙ１，ｙ２，…，ｙＮ｝となる。
【００２６】
対象コンテンツが画像の場合、初期コンテンツ特徴としては、例えば、色ヒストグラム、デジタルコサイン変換の任意の成分、Ｈａａｒ ｗａｖｅｌｅｔの任意の成分、高次局所自己相関特徴（N. Otsu and T. Kurita "A new scheme for practical flexible and intelligent vision systems," Proc. IAPR Workshop on Computer Vision, pp.431-435, 1988.参照）、任意の方法で選択した特徴点のＢａｇ ｏｆ Ｆｅａｔｕｒｅｓ表現（Ｌｉ Ｆｅｉ−Ｆｅｉ ｅｔ ａｌ．， ２００５．参照）などの公知の特徴量を用いることができる。また、初期付加情報特徴としては、付加情報に含まれる単語（ラベル）の有無を表現する２値ベクトルを用いることができる。これは、取り得る単語の総数と同数の次元を持つベクトルであり、ベクトルの各次元が取り得る単語に対応するものとし、付加情報に単語ｉが含まれている場合には、ベクトルの第ｉ要素の値を１とし、含まれていない場合には値を０としたものである。
【００２７】
あるいは、付加情報に含まれる単語の出現回数を表現するベクトル（word occurrence vector）や、あらかじめ指定しておいたトピックの数を次元数とし、各トピックの出現確率を表現するベクトルを用いることもできる。このベクトルは、probabilistic latent semantic analysis（ｐＬＳＡ）やlatent Dirichlet allocation（ＬＤＡ）などのトピックモデルを用いて算出することができる（詳細は、Nikhil Rasiwasia, Jose Costa Pereira, Emanuele Coviello, Gabriel Doyle, Gert R. G. Lanckriet, Roger Levy, Nuno Vasconcelos: “A new approach to cross-modal multimedia retrieval." ACM Multimedia 2010, pp.251-260を参照）。
【００２８】
また、対象コンテンツが音響信号や映像信号の場合には、時系列アクティブ探索法（ＴＡＳ，特許第３０６５３１４号明細書参照）や分割一致探索法（ＤＡＬ、特許第４３２７２０２号明細書参照）などの手法を用いて抽出した音響または映像信号の特徴量を利用することができる。
【００２９】
まず、初期モデル学習部３は、初期コンテンツ特徴集合記憶部１に記憶されている初期コンテンツ特徴集合Ｘ＝｛ｘ１，ｘ２，…，ｘＮ｝と、初期付加情報特徴集合記憶部２に記憶されている初期付加情報特徴集合Ｙ＝｛ｙ１，ｙ２，…，ｙＮ｝を読み出し、これらの集合の情報を用いて、付加情報が未知のコンテンツに対して、その内容を表す付加情報として最もふさわしいものを決定するためのコンテンツ認識モデルを学習する。
【００３０】
モデル学習の処理は、非特許文献１、２に記載されている公知の技術を用いれば良い。例えば、まず、特徴量の集合（Ｘ，Ｙ）から潜在変数Ｚ＝｛ｚ１，ｚ２，…，ｚＮ｝を生成する。潜在変数は、正準相関分析を用いる方法（非特許文献１）、確率的正準相関分析を用いる方法（文献：中山他”大規模Ｗｅｂ 画像のための画像アノテーション・リトリーバル手法 Ｗｅｂ 集合知からの自律的画像知識獲得へ向けて”、画像の認識・理解シンポジウムＭＩＲＵ２００９、ＯＳ２−４、２００９年７月）、半教師付き正準相関分析を用いる方法（非特許文献２）等により求めることができる。続いて、カーネル密度推定（Kernel density estimation（ＫＤＥ），文献：Parzen, E.: On estination of a probability density function and mode, The annuals of Mathematical Statistics, vol. 33, No. 3, pp. 1065-1076, 1962.）、または、半教師付きカーネル密度推定 （ＳＳＫＤＥ、非特許文献２を参照）などによりモデル学習を行うことで、コンテンツ認識モデルを学習することができる。モデル学習とは、具体的には、潜在変数ｚｉが与えられたときのコンテンツ特徴ｘの条件付生起確率ｐ（ｘ｜ｚｉ）と、同じく付加特徴ｙの条件付生起確率ｐ（ｙ｜ｚｉ）のモデルパラメータを求めることを意味する。
【００３１】
ｚ１〜ｚＮは潜在変数と呼ばれ、例えば、コンテンツの属するカテゴリラベルのようなものと捉えることができる。学習後のコンテンツ認識モデルは、与えられたコンテンツｇｉの特徴ｘｉと付加情報の特徴ｙｉを入力したとき、それに対応する潜在変数ｚｉを返す（１≦ｉ≦Ｎ）。ここでは、ｘｉとｙｉはそれぞれ多次元ベクトルで表現されるので、ｘｉとｙｉを用いた線形変換によりｚｉに対応する多次元ベクトルを得ることができる。
【００３２】
次に、図２を参照して、図１に示すコンテンツ認識モデル学習装置が、新しいコンテンツを取得した際の動作を説明する。 まず、新コンテンツ取得部５は、外部から新しいコンテンツを取得して（ステップＳ１）、付加情報推定部６と、近傍サンプル抽出部７へ出力する。これを請けて、付加情報推定部６は、新コンテンツ取得部５において取得した新コンテンツｇＮ＋１と初期コンテンツｇ１，ｇ２，…，ｇＮについて、コンテンツ認識モデル記憶部４に記憶されているコンテンツ認識モデルを用いて付加情報を推定する（ステップＳ２）。具体的には、コンテンツｇＮ＋１の特徴ｘＮ＋１に対して、（１）式により付加情報特徴＾ｙＮ＋１を推定する。
【数１】
ここで、Ｄｙは、付加情報特徴ｙｉ（ｉ＝１，２，…，Ｎ）を表すベクトルの次元数（要素数）である。
【００３３】
次に、近傍サンプル抽出部７は、新コンテンツ取得部５において取得した新コンテンツｇＮ＋１に対して推定した潜在変数ｚＮ＋１と初期コンテンツの各々に対して推定した潜在変数ｚｉ（ｉ＝１，２，…，Ｎ）との類似度を計算し、類似度が所定の閾値を超える（類似度の高い）もしくは類似度が上位所定順位以上の潜在変数を持つ初期コンテンツを近傍サンプルとし、近傍サンプルの集合＾Ｇ＝｛＾ｇ１，＾ｇ２，…，＾ｇＨ｝（Ｈは近傍サンプルの個数）を抽出する（ステップＳ３）。潜在変数の類似度は、例えば、多次元ベクトル同士の距離（例えば、ユークリッド（Ｌ２）距離、マハラノビス距離、マンハッタン（Ｌ１）距離）の逆数により定義する。
【００３４】
次に、質問選択部８は、近傍サンプル集合＾Ｇ＝｛＾ｇ１，＾ｇ２，…，＾ｇＨ｝に含まれる各近傍サンプルについて、学習済みのコンテンツ認識モデルによりラベル（付加情報特徴）＾ｙ１，＾ｙ２，…，＾ｙＨを推定し、推定したラベルのばらつき度合い（確信度）に応じて、新コンテンツ取得部５で取得した新コンテンツｇＮ＋１の内容（付加情報ａＮ＋１）についてユーザに提示する質問を生成する。新コンテンツのラベルの確信度は、新コンテンツｇＮ＋１に対して推定した付加情報特徴＾ｙＮ＋１と近傍サンプル集合＾Ｇ＝｛＾ｇ１，＾ｇ２，…，＾ｇＨ｝中の各要素に対して推定した付加情報特徴＾ｙｊ（ｊ＝１，２，…，Ｈ）がどのくらい整合しているかを表す指標である。そして、質問選択部８は、確信度が「高い、「中程度」、「低い」のいずれかに該当するか否かを判定する（ステップＳ４）。
【００３５】
この判定の結果、質問選択部８は、新コンテンツの近傍に十分な数の学習データ（初期コンテンツ）が存在し、それらの学習データの付加情報（ラベル）に一貫性がある場合には、確信度が高いと見なし、新コンテンツに対するラベルが「Ａ」であるか否かを問う質問（例えば、”Ｉｓ ｔｈｉｓ Ａ？”）を生成して、表示部９に表示する（ステップＳ５）。ここで、「Ａ」は、近傍サンプル集合に対するラベルであり、一貫性があるため、ラベルは１種類（Ａ）のみとなる（図３参照）。
【００３６】
また、判定の結果、確信度が中程度の場合、質問選択部８は、入力サンプルの近傍に十分な数の学習データが存在するものの、それらの学習データのラベルに十分な一貫性が見られない、すなわち、学習データのラベルの候補が複数あり、どちらが適切かをコンピュータが自動で判断することが難しい状況にあると見なして、近傍サンプル集合中の各要素に対して推定したラベルのうち、最も頻度が高いラベルを「Ａ」、２番目に頻度の高いラベルを「Ｂ」とし、新コンテンツに対するラベルがＡ、Ｂのいずれであるかを問う質問（例えば、”Ｗｈｉｃｈ ｉｓ ｔｈｉｓ，Ａ ｏｒ Ｂ？”）を生成して、表示部９に表示する（ステップ６：図４参照）。
【００３７】
また、判定の結果、確信度が低い場合、質問選択部８は、入力サンプルの近傍にある学習データの数が少なく、それらの学習データのラベルの信頼性が低い、すなわち、学習データのラベルは信用できない可能性が高いと見なして、新コンテンツに対するラベルが何であるかを問う質問（例えば、”Ｗｈａｔ ｉｓ ｔｈｉｓ？”）を生成して、表示部９に表示する（ステップＳ７：図５参照）。
【００３８】
なお、一般に、コンテンツには複数のオブジェクトが含まれることが多い。そのため、コンテンツに付与すべきラベルは、複数のラベルの組み合わせ（各オブジェクトに対応するラベルの組み合わせ）とするのが望ましい。この場合、以下の手順によって質問を生成すればよい。
【００３９】
まず、新コンテンツｇＮ＋１から推定した付加情報特徴＾ｙＮ＋１から、近傍サンプルに対応する付加情報中に存在しないラベル（単語）を削除する。すなわち、このラベルに対応する特徴量を０にする。そして、＾ｙＮ＋１にラベルが一つも残っていない場合（零ベクトルの場合、すなわち、＾ｙＮ＋１の各要素に対応するラベルを近傍サンプルが一つも持っていない場合）には、新コンテンツから推定した付加情報特徴が必ずしも適切ではない、あるいは、推定した付加情報特徴の信頼性が低いと判断でき、前述した「確信度が低い場合」に該当するため、新コンテンツに対するラベルが何であるかを問う質問（例えば、”Ｗｈａｔ ｉｓ ｔｈｉｓ？”）を生成する。
【００４０】
一方、＾ｙＮ＋１にラベルが残っている場合（零ベクトルでない場合）には、新コンテンツｇＮ＋１に対する潜在変数割合＾ＺＮ＋１と近傍サンプル集合中の各潜在変数割合＾Ｚｊ（ｊ＝１，２，…，Ｈ）との平均距離を計算する。そして、平均距離が予め設定した閾値を超える場合には、入力サンプルの近傍にある学習データの数が極めて少ないと判断でき、前述した「確信度が低い場合」に該当するため、新コンテンツに対するラベルが何であるかを問う質問（例えば、”Ｗｈａｔ ｉｓ ｔｈｉｓ？”）を生成する。
【００４１】
平均距離が予め設定した閾値以下の場合には、近傍サンプル集合に対応する個々のラベルの取り得る組み合わせを生成する。そして、生成したラベルの組み合わせの類似度を計算する。組み合わせの類似度は、組み合わせにおける全てのラベルの組の連想度の平均により計算する。例えば、ｙＡをラベルＡに対応する付加情報特徴とし、Ｓ（ｙＡ，ｙＢ）をラベルの組（Ａ，Ｂ）の連想度としたとき、ＡＢＣというマルチラベルの出力の類似度は、Ｓ（ｙＡ，ｙＢ），Ｓ（ｙＢ，ｙＣ），Ｓ（ｙＣ，ｙＡ）の平均値となる。なお、Ｓ（ｙＡ，ｙＢ）は、ラベルｙＡとｙＢが同時に付与されているコンテンツの数である。
【００４２】
計算した類似度を予め設定した閾値と比較し、類似度が閾値を超えた組み合わせが１つしかない場合には、前述した「確信度が高い場合」に該当するため、新コンテンツに対するラベルがＡであるか否かを問う質問（例えば、”Ｉｓ ｔｈｉｓ Ａ？”）を生成する。ここで、Ａには、類似度が閾値を超えた組み合わせに含まれるラベルが入る。
【００４３】
一方、類似度が閾値を超えた組み合わせが２つ以上ある場合には、前述した「確信度が中程度の場合」に該当するため、新コンテンツに対するラベルがＡ、Ｂのいずれであるかを問う質問（例えば、”Ｗｈｉｃｈ ｉｓ ｔｈｉｓ， Ａ ｏｒ Ｂ？”）を生成する。ここで、ＡとＢには、類似度が最大の組み合わせに含まれるラベルと、類似度が２番目に大きい組み合わせに含まれるラベルがそれぞれ入る。
【００４４】
このように、確信度が高い場合には、推定したラベルに合致しているか否かを確認する質問のみを行い、確信度が中程度である場合には、推定したラベルの候補を絞り込むような質問のみを行い、確信度が低い場合にのみ推定したラベルの情報を用いず、ラベルが何であるかを問う質問を表示するようにしたため、同じ物体もしくは同じ概念に対して異なるラベルを与えるリスクを回避し、コンテンツ認識モデルをより精緻に構築することができる。
【００４５】
次に、回答取得部１１は、表示部９に表示した質問に対して、ユーザが入力部１０から入力した回答を取得し、回答に応じて修正した付加情報特徴ｙＮ＋１を生成する。確信度が高い場合、ラベルがＡであるか否かの質問を表示したため、ユーザからの回答はＹｅｓ（肯定）かＮｏ（否定）で入力されることになる（図６参照）。なお、図６は表示の一例であり、ＹｅｓとＮｏのラジオボタンを選択する形式に限らず、ユーザがＹｅｓまたはＮｏのラベルを直接入力することも可能である。Ｎｏの場合には、ユーザが正解のラベルを自由に入力することもできる。回答取得部１１は、回答がＹｅｓかＮｏのいずれであるかを判定し（ステップＳ８）、肯定的な回答（Ｙｅｓ）が得られた場合には、ラベルはＡであると見なしてＡに対応するラベルの特徴量を１とし、残りを０とする付加情報特徴ｙＮ＋１を生成する（ステップＳ９）。
【００４６】
一方、否定的な回答（Ｎｏ）が得られた場合には、システムの前提知識（学習済みの知識）が誤っていると判断し、ユーザの回答に合わせて付加情報特徴を修正する。すなわち、ユーザから正しいラベルを取得し、そのラベルに対応する特徴量を１とし、残りを０とする付加情報特徴ｙＮ＋１を生成するために、ステップＳ７へ移行する。このとき、Ｎｏの場合にユーザ入力した正解ラベルがシステムにとって未知のラベルだった場合には、そのラベルに対応する付加情報特徴を表現するために付加情報特徴ｙＮ＋１の次元を増やす。
【００４７】
また、確信度が中程度の場合、ラベルがＡとＢのいずれであるかの質問を表示したため、ユーザからの回答は、Ａ、Ｂ、いずれででもない、のいずれかで入力されることになる（図６参照）。回答取得部１１は、回答が何であったかを判定し（ステップＳ１０）、肯定的な回答（ＡまたはＢ）が得られた場合には、ラベルはＡまたはＢであると見なして、ユーザの選択したラベルに対応する特徴量を１とし、残りを０とする付加情報特徴ｙＮ＋１を生成する（ステップＳ１１、Ｓ１２）。
【００４８】
一方、否定的な回答（どちらでもない）が得られた場合には、確信度が高い場合の否定的な回答の処理と同様に、ステップＳ７に移行し、ユーザの回答に合わせて付加情報特徴を修正する。
【００４９】
また、確信度が低い場合は、ラベルが何であるかの質問を表示したため、ユーザからは正しいラベルの情報（テキスト情報）が入力されることになる（図６参照）。この場合、入力部１０から入力されたラベル情報に対応する特徴量を１とし、残りを０とする付加情報特徴ｙＮ＋１を生成する（ステップＳ１３）。この場合も、ユーザ入力した正解ラベルがシステムにとって未知のラベルだった場合には、そのラベルに対応する付加情報特徴を表現するために付加情報特徴ｙＮ＋１の次元を増やす。
【００５０】
回答取得部１１は、生成した付加情報特徴ｙＮ＋１を付加情報特徴集合記憶部１３に追加する。また、新コンテンツｇＮ＋１に対応する特徴ｘＮ＋１は、コンテンツ特徴集合記憶部１２に追加する。
【００５１】
次に、モデル更新部１５は、モデル更新制御部１４からの指示に基づき、回答取得部１１により更新されたコンテンツ特徴集合と付加情報特徴集合の情報を用いて、コンテンツ認識モデル記憶部４に記憶されているコンテンツ認識モデルを更新する（ステップＳ１４）。この更新処理は、初期モデル学習部３と同様の処理であるため、詳細な処置動作の説明を省略する。モデル更新部１５は、新しいコンテンツが存在する間は、以上の処理を繰り返すことで、コンテンツ認識モデルを更新していく。
【００５２】
次に、図１に示すコンテンツ認識モデル学習装置を用いた実験結果について説明する。学習用のコンテンツデータ集合として、ＰＡＳＣＡＬ Ｖｉｓｕａｌ Ｏｂｊｅｃｔ Ｃｈａｌｌｅｎｇｅ（ＶＯＣ ２００８、文献：M. Everingham et al., : The PASCAL VOC Challenge 2008 Results, http://www.pascal-network.org/challenges/VOC/voc2008/workshop/index.html）の５０９６枚の画像データを用いた。各画像データは、人物、動物、乗り物、家具など２０種類のオブジェクトのカテゴリに含まれるオブジェクトを含んでいる。このうち、３５９６枚の画像を初期コンテンツ集合として利用して初期モデル学習部３により、コンテンツ認識モデル記憶部４に記憶されるコンテンツ認識モデルを学習し、１０００枚を新コンテンツとしてモデル更新部１５によるモデルの再学習（更新）を行った。残りの５００枚を評価実験用に用いた。
【００５３】
本発明の手法との比較対象として、２つの方法Ａ、Ｂを用いた。方法Ａは、確信度に関係なく、どのような場合にも「ラベルが何であるか」を問う質問を行う方法である。方法Ｂは、ランダムに質問の種類を選択して質問を行う方法である。
【００５４】
方法Ａ、方法Ｂ、本発明手法のそれぞれについて、評価実験用の５００枚の画像に対して、学習したコンテンツ認識モデルにより推定したラベル（付加情報）の誤識別率とユーザコスト（ユーザの回答入力時間）を調べた結果を図７、図８に示す。横軸のＩｔｅｒａｔｉｏｎは、新コンテンツとして入力した画像（学習サンプル）の枚数を表す。学習サンプルの増加に伴い、いずれの手法においても誤識別率が向上するが、特に本発明手法の誤識別率の向上率が高い（図７参照）。また、ユーザコストは、ユーザの回答入力時間によって評価した。テキスト入力時間を、（入力文字数）／（１文字あたりの平均入力時間）とし、テキスト入力以外の動作（クリック、マウス移動など）についての時間は無視した。本発明手法は、最も少ないコストで入力が完了できることが分かる（図８参照）。
【００５５】
なお、図１に示す各処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによりコンテンツ認識モデル学習処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【００５６】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【産業上の利用可能性】
【００５７】
画像や映像などのメディアデータと、それらに対して人手で付与されたテキスト情報から、意味（画像や映像の中に含まれるオブジェクト、動作、行為、シーンなどの情報を組み合せた情報）を推定することが不可欠な用途に適用できる。
【符号の説明】
【００５８】
１・・・初期コンテンツ特徴集合記憶部、２・・・初期付加情報特徴集合記憶部、３・・・初期モデル学習部、４・・・コンテンツ認識モデル記憶部、５・・・新コンテンツ取得部、６・・・付加情報推定部、７・・・近傍サンプル抽出部、８・・・質問選択部、９・・・表示部、１０・・・入力部、１１・・・回答取得部、１２・・・コンテンツ特徴集合記憶部、１３・・・付加情報特徴集合記憶部、１４・・・モデル更新制御部、１５・・・モデル更新部
【特許請求の範囲】
【請求項１】
コンテンツデータを認識するためのコンテンツ認識モデルの情報が記憶されたコンテンツ認識モデル記憶手段と、
音響信号または映像信号を含むコンテンツデータを取得するコンテンツ取得手段と、
前記コンテンツ認識モデル記憶手段に記憶されたコンテンツ認識モデルを用いて、前記コンテンツデータに付与すべき前記コンテンツデータに含まれる前記音響信号または映像信号の意味を示す付加情報を推定する付加情報推定手段と、
前記付加情報推定手段により推定された前記コンテンツデータに付与すべき付加情報の確信度を求める確信度算出手段と、
前記コンテンツデータに付与すべき前記付加情報を決定するための質問を前記確信度算出手段によって求められた前記確信度に基づいて選択し、選択された質問を表示する質問表示手段と、
前記質問に対する回答を取得する回答取得手段と、
前記回答取得手段によって取得された回答の情報に基づき、前記コンテンツ認識モデル記憶手段に記憶された前記コンテンツ認識モデルの情報を更新するモデル更新手段と
を備えたことを特徴とするコンテンツ認識モデル学習装置。
【請求項２】
前記質問表示手段は、
前記確信度が高い場合は、前記コンテンツデータに付与すべき付加情報が、前記推定した付加情報に合致するか否かを問う質問のみを表示し、
前記確信度が中程度の場合は、前記コンテンツデータに付与すべき付加情報を、推定した付加情報の候補の中から絞り込む質問のみを表示し、
前記確信度が低い場合は、前記コンテンツデータに付与すべき付加情報が何であるかを問う質問を表示することを特徴とする請求項１に記載のコンテンツ認識モデル学習装置。
【請求項３】
コンテンツデータを認識するためのコンテンツ認識モデルの情報が記憶されたコンテンツ認識モデル記憶手段と、コンテンツ取得手段と、付加情報推定手段と、確信度算出手段と、質問表示手段と、回答取得手段と、モデル更新手段とを備えたコンテンツ認識モデル学習装置におけるコンテンツ認識モデル学習方法であって、
前記コンテンツ取得手段が、音響信号または映像信号を含むコンテンツデータを取得するコンテンツ取得ステップと、
前記付加情報推定手段が、前記コンテンツ認識モデル記憶手段に記憶されたコンテンツ認識モデルを用いて、前記コンテンツデータに付与すべき前記コンテンツデータに含まれる前記音響信号または映像信号の意味を示す付加情報を推定する付加情報推定ステップと、
前記確信度算出手段が、前記付加情報推定ステップにより推定された前記コンテンツデータに付与すべき付加情報の確信度を求める確信度算出ステップと、
前記質問表示手段が、前記コンテンツデータに付与すべき前記付加情報を決定するための質問を前記確信度算出ステップによって求められた前記確信度に基づいて選択し、選択された質問を表示する質問表示ステップと、
前記回答取得手段が、前記質問に対する回答を取得する回答取得ステップと、
前記モデル更新手段が、前記回答取得ステップによって取得された回答の情報に基づき、前記コンテンツ認識モデル記憶手段に記憶された前記コンテンツ認識モデルの情報を更新するモデル更新ステップと
を有することを特徴とするコンテンツ認識モデル学習方法。
【請求項４】
前記質問表示ステップは、
前記確信度が高い場合は、前記コンテンツデータに付与すべき付加情報が、前記推定した付加情報に合致するか否かを問う質問のみを表示し、
前記確信度が中程度の場合は、前記コンテンツデータに付与すべき付加情報を、推定した付加情報の候補の中から絞り込む質問のみを表示し、
前記確信度が低い場合は、前記コンテンツデータに付与すべき付加情報が何であるかを問う質問を表示することを特徴とする請求項３に記載のコンテンツ認識モデル学習方法。
【請求項５】
コンテンツデータを認識するためのコンテンツ認識モデルの情報が記憶されたコンテンツ認識モデル記憶手段と、コンテンツ取得手段と、付加情報推定手段と、確信度算出手段と、質問表示手段と、回答取得手段と、モデル更新手段とを備えたコンテンツ認識モデル学習装置上のコンピュータに、コンテンツ認識モデル学習処理を行わせるコンテンツ認識モデル学習プログラムであって、
音響信号または映像信号を含むコンテンツデータを取得するコンテンツ取得ステップと、
前記コンテンツ認識モデル記憶手段に記憶されたコンテンツ認識モデルを用いて、前記コンテンツデータに付与すべき前記コンテンツデータに含まれる前記音響信号または映像信号の意味を示す付加情報を推定する付加情報推定ステップと、
前記付加情報推定ステップにより推定された前記コンテンツデータに付与すべき付加情報の確信度を求める確信度算出ステップと、
前記コンテンツデータに付与すべき前記付加情報を決定するための質問を前記確信度算出ステップによって求められた前記確信度に基づいて選択し、選択された質問を表示する質問表示ステップと、
前記質問に対する回答を取得する回答取得ステップと、
前記回答取得ステップによって取得された回答の情報に基づき、前記コンテンツ認識モデル記憶手段に記憶された前記コンテンツ認識モデルの情報を更新するモデル更新ステップと
を前記コンピュータに行わせることを特徴とするコンテンツ認識モデル学習プログラム。
【請求項１】
コンテンツデータを認識するためのコンテンツ認識モデルの情報が記憶されたコンテンツ認識モデル記憶手段と、
音響信号または映像信号を含むコンテンツデータを取得するコンテンツ取得手段と、
前記コンテンツ認識モデル記憶手段に記憶されたコンテンツ認識モデルを用いて、前記コンテンツデータに付与すべき前記コンテンツデータに含まれる前記音響信号または映像信号の意味を示す付加情報を推定する付加情報推定手段と、
前記付加情報推定手段により推定された前記コンテンツデータに付与すべき付加情報の確信度を求める確信度算出手段と、
前記コンテンツデータに付与すべき前記付加情報を決定するための質問を前記確信度算出手段によって求められた前記確信度に基づいて選択し、選択された質問を表示する質問表示手段と、
前記質問に対する回答を取得する回答取得手段と、
前記回答取得手段によって取得された回答の情報に基づき、前記コンテンツ認識モデル記憶手段に記憶された前記コンテンツ認識モデルの情報を更新するモデル更新手段と
を備えたことを特徴とするコンテンツ認識モデル学習装置。
【請求項２】
前記質問表示手段は、
前記確信度が高い場合は、前記コンテンツデータに付与すべき付加情報が、前記推定した付加情報に合致するか否かを問う質問のみを表示し、
前記確信度が中程度の場合は、前記コンテンツデータに付与すべき付加情報を、推定した付加情報の候補の中から絞り込む質問のみを表示し、
前記確信度が低い場合は、前記コンテンツデータに付与すべき付加情報が何であるかを問う質問を表示することを特徴とする請求項１に記載のコンテンツ認識モデル学習装置。
【請求項３】
コンテンツデータを認識するためのコンテンツ認識モデルの情報が記憶されたコンテンツ認識モデル記憶手段と、コンテンツ取得手段と、付加情報推定手段と、確信度算出手段と、質問表示手段と、回答取得手段と、モデル更新手段とを備えたコンテンツ認識モデル学習装置におけるコンテンツ認識モデル学習方法であって、
前記コンテンツ取得手段が、音響信号または映像信号を含むコンテンツデータを取得するコンテンツ取得ステップと、
前記付加情報推定手段が、前記コンテンツ認識モデル記憶手段に記憶されたコンテンツ認識モデルを用いて、前記コンテンツデータに付与すべき前記コンテンツデータに含まれる前記音響信号または映像信号の意味を示す付加情報を推定する付加情報推定ステップと、
前記確信度算出手段が、前記付加情報推定ステップにより推定された前記コンテンツデータに付与すべき付加情報の確信度を求める確信度算出ステップと、
前記質問表示手段が、前記コンテンツデータに付与すべき前記付加情報を決定するための質問を前記確信度算出ステップによって求められた前記確信度に基づいて選択し、選択された質問を表示する質問表示ステップと、
前記回答取得手段が、前記質問に対する回答を取得する回答取得ステップと、
前記モデル更新手段が、前記回答取得ステップによって取得された回答の情報に基づき、前記コンテンツ認識モデル記憶手段に記憶された前記コンテンツ認識モデルの情報を更新するモデル更新ステップと
を有することを特徴とするコンテンツ認識モデル学習方法。
【請求項４】
前記質問表示ステップは、
前記確信度が高い場合は、前記コンテンツデータに付与すべき付加情報が、前記推定した付加情報に合致するか否かを問う質問のみを表示し、
前記確信度が中程度の場合は、前記コンテンツデータに付与すべき付加情報を、推定した付加情報の候補の中から絞り込む質問のみを表示し、
前記確信度が低い場合は、前記コンテンツデータに付与すべき付加情報が何であるかを問う質問を表示することを特徴とする請求項３に記載のコンテンツ認識モデル学習方法。
【請求項５】
コンテンツデータを認識するためのコンテンツ認識モデルの情報が記憶されたコンテンツ認識モデル記憶手段と、コンテンツ取得手段と、付加情報推定手段と、確信度算出手段と、質問表示手段と、回答取得手段と、モデル更新手段とを備えたコンテンツ認識モデル学習装置上のコンピュータに、コンテンツ認識モデル学習処理を行わせるコンテンツ認識モデル学習プログラムであって、
音響信号または映像信号を含むコンテンツデータを取得するコンテンツ取得ステップと、
前記コンテンツ認識モデル記憶手段に記憶されたコンテンツ認識モデルを用いて、前記コンテンツデータに付与すべき前記コンテンツデータに含まれる前記音響信号または映像信号の意味を示す付加情報を推定する付加情報推定ステップと、
前記付加情報推定ステップにより推定された前記コンテンツデータに付与すべき付加情報の確信度を求める確信度算出ステップと、
前記コンテンツデータに付与すべき前記付加情報を決定するための質問を前記確信度算出ステップによって求められた前記確信度に基づいて選択し、選択された質問を表示する質問表示ステップと、
前記質問に対する回答を取得する回答取得ステップと、
前記回答取得ステップによって取得された回答の情報に基づき、前記コンテンツ認識モデル記憶手段に記憶された前記コンテンツ認識モデルの情報を更新するモデル更新ステップと
を前記コンピュータに行わせることを特徴とするコンテンツ認識モデル学習プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１２−１５９８７１（Ｐ２０１２−１５９８７１Ａ）
【公開日】平成２４年８月２３日（２０１２．８．２３）
【国際特許分類】
【出願番号】特願２０１１−１７０５７（Ｐ２０１１−１７０５７）
【出願日】平成２３年１月２８日（２０１１．１．２８）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り 平成２２年８月２９日 社団法人電子情報通信学会発行の「電子情報通信学会技術研究報告 信学技報 Ｖｏｌ．１１０ Ｎｏ．１８７」に発表
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成２４年８月２３日（２０１２．８．２３）
【国際特許分類】
【出願日】平成２３年１月２８日（２０１１．１．２８）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り 平成２２年８月２９日 社団法人電子情報通信学会発行の「電子情報通信学会技術研究報告 信学技報 Ｖｏｌ．１１０ Ｎｏ．１８７」に発表
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]