コンテクスト抽出サーバ、コンテクスト抽出方法、およびプログラム
【課題】編集によりメディアデータに付与されたメタ情報に基づき、他のメディアデータと関連付けられたコンテクストを抽出するコンテクスト抽出サーバ、コンテクスト抽出方法、およびプログラムを提供することにある。
【解決手段】特徴量算出機能部２０７により、映像中の物体の大まかな位置を検出するアルゴリズムや、平均の色を算出するアルゴリズム等の基礎的な特徴量を抽出するアルゴリズムをメディアデータに適用し、得られる時系列的な特徴量ベクトルと、メタ情報整形機能部２０６により、メディアデータに時系列的に付与されたコメントを、その発生頻度や言語自体の特性から形成されるメタ情報との相関が、相関計算機能部３０５により演算される。
【解決手段】特徴量算出機能部２０７により、映像中の物体の大まかな位置を検出するアルゴリズムや、平均の色を算出するアルゴリズム等の基礎的な特徴量を抽出するアルゴリズムをメディアデータに適用し、得られる時系列的な特徴量ベクトルと、メタ情報整形機能部２０６により、メディアデータに時系列的に付与されたコメントを、その発生頻度や言語自体の特性から形成されるメタ情報との相関が、相関計算機能部３０５により演算される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、主に、映像や音楽などで構成されるメディアコンテンツの内容を認識し、多様な情報を含むメディアデータから、メディアデータ同士を関連付けるコンテクストを抽出するコンテクスト抽出サーバ、コンテクスト抽出方法、およびプログラムに関する。
【背景技術】
【０００２】
メディアデータから情報を抽出する技術として、例えば、メディアデータを認識し、認識した結果に基づいて検索することにより、メディアデータ内の文字を自動認識する技術が知られている。この技術を利用することにより、携帯電話等で取得されたメディアデータ内に含まれる看板の文字を読み取り、翻訳して検索するサービスなどが行われている。
また、イメージセンサなどから取得された情報に基づき、一番近い目標物の情報を目標物データベースから検索して出力するコンテクスト・アウェア画像形成装置が知られている。この画像形成装置は、予め目標物に応じた特徴量がインデクシングされている目標物データベースを利用して、目標物を特定する際にインデクシングされた画像の特徴量データ同士を比較することにより、一番近い目標物の情報を目標物データベースから検索することができる構成となっている（特許文献１参照）。
【０００３】
【特許文献１】特開２００３−１８７２１８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、上述の背景技術に記載の一例において、前者の検索サービスでは、認識対象のメタ情報は手動で用意する必要があり、手間がかかるという問題があった。一方、後者のような画像形成装置においては、目標物を特定する際にインデクシングされた画像の特徴量データ同士を比較するため、目標物のみが映っている画像をユーザが選択する必要があり、ユーザに負担がかかる問題があった。
【０００５】
また、従来のメディア解析技術では、１つの情報を高精度に抽出するために特化したものが多く、この方法では、メディアに存在し得る多くの情報を抽出するためには、さまざまな種類の解析技術を適用する必要があり、処理負担が大きくなる問題があった。
さらに、従来のメディア解析技術では、データの特性の変化に追従するため、学習パラメータを更新するなどの何らかの方法で新たなメタ情報自体を取得する必要があるが、メタ情報を再度構築するためには、非常に手間がかかり、一旦学習したパラメータを使い続けるのが一般的であった。そのため、想定外のデータが適用された場合、誤認識が多く発生するという問題があった。
【０００６】
本発明は、このような事情を考慮し、上記の問題を解決すべくなされたものであって、その目的は、編集によりメディアデータに付与されたメタ情報に基づき、他のメディアデータと関連付けられたコンテクストを抽出するコンテクスト抽出サーバ、コンテクスト抽出方法、およびプログラムを提供することにある。
【課題を解決するための手段】
【０００７】
上記問題を解決するために、本発明は、メディアデータに基づき、メディアデータの内容を認識するためコンテクストを抽出するコンテクスト抽出サーバにおいて、前記メディアデータに付加されたメタ情報に基づき、時系列に表されたメタ情報行列を生成するメタ情報整形機能部と、前記メディアデータの属性を示す概要情報に基づき、予め設定されている特徴量抽出関数を特定し、特定された前記特徴量抽出関数に基づき、前記時系列と同間隔で表された特徴量行列を生成する特徴量算出機能部と、前記メタ情報整形機能部が生成した前記メタ情報行列と、前記特徴量算出機能部から受信した前記特徴量行列との相関を計算し、特徴量抽出への寄与率の高い前記特徴量抽出関数を決定する行列相関計算機能部と、前記相関計算機能部により算出された相関と、前記特徴量抽出関数を、学習結果として行列記憶する相関結果蓄積部と、を有することを特徴とするコンテクスト抽出サーバである。
【０００８】
また、本発明は、前記メタ情報は、ネットワークを介して外部端末より受信する前記メディアデータに付加されたコメントであることを特徴とするコンテクスト抽出サーバである。
【０００９】
また、本発明は、前記相関結果蓄積部は、前記学習結果として、前記相関と、前記特徴量抽出関数と、前記特徴量抽出関数に関連付けられた概要情報行列を記憶し、前記相関計算機能部は、決定した前記特徴量抽出関数行列と、この特徴量抽出関数行列に関連づけられた前記概要情報に基づき、前記メタ情報行列を算出することを特徴とするコンテクスト抽出サーバである。
【００１０】
また、本発明は、前記コンテクスト抽出サーバは、前記メタ情報を含まない他のメディアデータを受信した場合、前記相関計算機能部により算出された相関と、特徴量抽出への寄与率の高い前記特徴量抽出関数と行列、前記概要情報を含む学習結果を用いて、前記他のメディアデータの属性を示す前記概要情報に基づき、この他のメディアデータからコンテクストを抽出する相関適用機能部と、更にネットワークを介して接続されている外部サーバに前記抽出されたコンテクストを送信する送信部を有することを特徴とするコンテクスト抽出サーバである。
【００１１】
また、本発明は、受信したメディアデータに基づき、メディアデータの内容を認識するためコンテクストを抽出するコンテクスト抽出サーバにおけるコンテクスト抽出方法において、メタ情報整形機能部が、前記メディアデータに付加されたメタ情報に基づき、時系列に表されたメタ情報行列を生成し、特徴量算出機能部が、前記メディアデータの属性を示す概要情報に基づき、予め設定されている特徴量抽出関数を特定し、特定された前記特徴量抽出関数に基づき、前記時系列と同間隔で表された特徴量行列を生成し、相関計算機能部が、前記メタ情報整形機能部から受信した前記メタ情報行列と、前記特徴量算出機能部から受信した前記特徴量行列との相関を計算し、特徴量抽出への寄与率の高い前記特徴量抽出関数を決定し行列、相関結果蓄積部が、前記相関計算機能部により算出された相関と、前記特徴量抽出関数を、学習結果として行列記憶することを特徴とするコンテクスト抽出方法である。
【００１２】
また、本発明は、前記メタ情報は、ネットワークを介して外部端末より前記メディアデータに付加されたコメントであることを特徴とするコンテクスト抽出方法である。
【００１３】
また、本発明は、前記相関結果蓄積部は、前記学習結果として、前記相関と、前記特徴量抽出関数と、前記特徴量抽出関数に関連付けられた概要情報行列を記憶し、前記相関計算機能部は、決定した前記特徴量抽出関数行列と、この特徴量抽出関数行列に関連づけられた前記概要情報に基づき、前記メタ情報行列を算出することを特徴とするコンテクスト抽出方法である。
【００１４】
また、本発明は、受信したメディアデータに基づき、メディアデータの内容を認識するためコンテクストを抽出するコンピュータを、前記メディアデータに付加されたメタ情報に基づき、時系列に表されたメタ情報行列を生成するメタ情報整形手段、前記メディアデータの属性を示す概要情報に基づき、予め設定されている特徴量抽出関数を特定し、特定された前記特徴量抽出関数に基づき、前記時系列と同間隔で表された特徴量行列を生成する特徴量算出手段、前記メタ情報整形手段から受信した前記メタ情報行列と、前記特徴量算出手段から受信した前記特徴量行列との相関を計算し、特徴量抽出への寄与率の高い前記特徴量抽出関数を決定する行列相関計算手段、前記相関計算手段により算出された相関と、前記特徴量抽出関数を、学習結果として行列記憶する相関結果蓄積手段、として機能させるためのプログラムである。
【００１５】
また、本発明は、前記メタ情報は、ネットワークを介して外部端末より前記メディアデータに付加されたコメントであることを特徴とするプログラムである。
【００１６】
また、本発明は、前記相関結果蓄積手段は、前記学習結果として、前記相関と、前記特徴量抽出関数と、前記特徴量抽出関数に関連付けられた概要情報行列を記憶し、前記相関計算手段は、決定した前記特徴量抽出関数行列と、この特徴量抽出関数行列に関連づけられた前記概要情報に基づき、前記メタ情報行列を算出することを特徴とするプログラムである。
【発明の効果】
【００１７】
本発明の一実施の形態によるコンテクスト抽出サーバは、メディアデータに付加されたメタ情報に基づき、時系列に表されたメタ情報行列を生成するメタ情報整形機能部と、メディアデータの属性を示す概要情報に基づき、予め設定されている特徴量データを検出し、検出された特徴量データに基づき、時系列と同間隔で表された特徴量行列を生成する特徴量算出機能部と、メタ情報整形機能部が生成したメタ情報行列と、特徴量算出機能部から受信した特徴量行列との相関を計算し、相関の高い特徴量行列を算出する相関計算機能部と、相関計算機能部により算出された相関の高い特徴量行列を含む相関結果をコンテクストとして記憶する相関結果蓄積部とを有する。この構成により、コンテクスト抽出サーバは、メタ情報整形機能部により生成されたメタ情報行列に基づきメディアデータの認識情報（コンテクスト）を抽出することができる。よって、コンテクスト抽出サーバは、メディアデータの認識において、専門的な認識アルゴリズムを幾つも適用することなく、学習処理により更新される学習結果を利用することができ、効率よくメディアデータの認識をすることができる。
また、本発明の一実施の形態によれば、メタ情報として、ネットワークを介して外部端末より受信するメディアデータに付加されたコメント、例えば、ユーザの編集によりメディアデータに付加されたコメントを利用し、このメタ情報に基づき、コンテクストを抽出している。これにより、コンテクスト抽出サーバは、メディアデータに対して人間が与えた認識情報を、他のメディアデータの認識に対しても利用することができる。
【発明を実施するための最良の形態】
【００１８】
［第１の実施形態］
以下、図面を参照して、本発明の実施の形態について説明する。図１は、この発明の一実施形態によるコンテクスト抽出システム１の構成を示す概略ブロック図である。
図１に示すように、コンテクスト抽出システム１は、ネットワーク１００を介して接続されているコンテクスト抽出サーバ１０１、複数のユーザ端末１０２Ａ，１０２Ｂ，１０２Ｃ、およびアプリケーションサーバ１０３を備える。
【００１９】
コンテクスト抽出サーバ１０１は、複数のユーザ端末１０２Ａ〜１０２Ｃから送信されるメディアデータから取得したメタ情報と、予め用意されている特徴量データとの相関を演算し、コンテクストとして演算された相関結果を抽出する。詳細については、図２において説明する。
なお、メディアデータとは、映像や画像、音楽等を含むデータである。また、特徴量データとは、特徴量抽出関数識別子α，β，γ・・・で表される特徴量抽出関数を用いて算出されたものである。
【００２０】
複数のユーザ端末１０２Ａ〜１０２Ｃは、ネットワークを介してコンテクスト抽出サーバ１０１と、メディアデータの送受信・閲覧・編集を行う。
例えば、ユーザ端末１０２Ａは、ユーザからのメディアデータをコンテクスト抽出サーバ１０１に送信するメディア送信端末である。ユーザ端末１０２Ａは、ユーザにより決定されたメディアデータを公開するか否かの属性を付与して、メディアデータをメディア取得機能部２０１に送信する。
ユーザ端末１０２Ｂは、コンテクスト抽出サーバ１０１に記憶されているメディアデータを読み出すメディア閲覧端末であって、閲覧が許可されているメディアデータをメディア閲覧機能部２０２から受信する。
ユーザ端末１０２Ｃは、コンテクスト抽出サーバ１０１に記憶されているメディアデータを編集するメディア編集端末である。メディア編集端末としてのユーザ端末１０２Ｃは、編集が許可されている編集メディアデータを受信し、編集を加えたメディアデータをメディア編集機能部２０３に送信する。
【００２１】
アプリケーションサーバ１０３は、ネットワークを介してコンテクスト抽出サーバ１０１から抽出されたコンテクストを利用したサービスを複数のユーザ端末１０２Ａ〜１０２Ｃに提供する。アプリケーションサーバ１０３は、例えば、コンテクスト抽出サーバ１０１により算出された認識結果（コンテクスト）を利用して、ユーザ端末１０２Ａ〜１０２Ｃから受信される映像に基づき検索サービスを提供する。
【００２２】
次に、図２を用いて、コンテクスト抽出サーバ１０１の一例について詳細に説明する。
図２に示すとおり、コンテクスト抽出サーバ１０１は、メディア取得機能部２０１、メディア閲覧機能部２０２、メディア編集機能部２０３、メディア蓄積部２０４、編集内容蓄積部２０５、メタ情報整形機能部２０６、特徴量算出機能部２０７、相関計算機能部２０８、相関適用機能部２０９、相関結果蓄積部２１０、および送信部２１１を含む。なお、メディア取得機能部２０１〜相関結果蓄積部２１０までを、コンテクスト抽出機能部とも呼称する。
【００２３】
メディア取得機能部２０１は、メディア送信端末としてのユーザ端末１０２Ａから受信したメディアデータを、メディアデータの属性に応じて、メディア蓄積部２０４あるいは特徴量算出機能部２０７に記憶する。メディア取得機能部２０１は、メディア蓄積部２０４にメディアデータを記憶する場合、メディアデータが帰属するユーザ等により公開が許可されている公開メディアデータであるか、あるいは、公開が許可されていない未公開メディアデータあるかを、メディアデータに付与されている属性に基づき判断する。なお、この公開有無の属性は、ユーザの選択に基づき、ユーザ端末１０２Ａにより付与される。メディア取得機能部２０１は、受信したメディアデータを、公開メディアデータあるか未公開メディアデータであるかという属性と関連付けてメディア蓄積部２０４に記憶する。
【００２４】
メディア閲覧機能部２０２は、メディア閲覧端末としてのユーザ端末１０２Ｂから送信される閲覧リクエストを受信し、メディア蓄積部２０４から閲覧リクエストに対応するメディアデータを読み出す。メディア閲覧機能部２０２は、閲覧リクエストに対応するメディアデータの属性を検出し、閲覧リクエストに対応するメディアデータが公開メディアデータであった場合、対応するメディアデータをユーザ端末１０２Ｂに公開し、未公開メディアデータであった場合、閲覧リクエストに対応するメディアデータは閲覧できない旨をユーザ端末１０２Ｂに通知する。
【００２５】
メディア編集機能部２０３は、メディア編集端末としてのユーザ端末１０２Ｃから送信される編集リクエストを受信し、メディア蓄積部２０４から編集リクエストに対応するメディアデータを読み出す。メディア編集機能部２０３は、編集リクエストに対応するメディアデータが、メディアデータが帰属するユーザ等により編集が許可されている編集メディアデータであるか、あるいは、編集が許可されていない禁編集メディアデータであるかをメディアデータに付与されている属性に基づく判断する。なお、この編集可否の属性は、公開有無の属性と同様、ユーザの選択に基づき、ユーザ端末１０２Ａにより付与される。メディア編集機能部２０３は、編集リクエストに対応するメディアデータが編集メディアデータであった場合、対応するメディアデータをユーザ端末１０２Ｃに送信し、禁編集メディアデータであった場合、編集リクエストに対応するメディアデータは編集できない旨をユーザ端末１０２Ｃに通知する。
【００２６】
なお、編集が許可されている編集メディアデータは、公開が許可されているメディアデータであって、メディアデータが帰属するユーザにより、編集ができるユーザや、コメント添付やトリミング等の編集操作が設定されている。例えば、編集メディアデータは、不特定多数のユーザにより、コメントの付与が許可されている。
メディア編集機能部２０３は、編集メディアデータごとに、編集したユーザ、編集操作、および編集内容等の編集履歴を時系列に管理し、編集されたメディアデータおよびその編集履歴を編集内容蓄積部２０５に記憶する。
【００２７】
メディア蓄積部２０４は、メディアデータを、属性に応じて記憶する。例えば、メディア蓄積部２０４は、公開メディアデータと非公開メディアデータを区別して、それぞれ記憶する。
【００２８】
編集内容蓄積部２０５は、編集されたメディアデータ、およびメディア編集機能部２０３により作成された編集履歴を記憶する。
【００２９】
メタ情報整形機能部２０６は、編集内容蓄積部２０５から編集履歴を読み出し、この編集履歴からメタ情報を抽出する。例えば、メタ情報整形機能部２０６は、編集履歴における言語情報として、編集により添付されたコメント情報を抽出する。メタ情報整形機能部２０６は、抽出されたコメント情報に対して形態素解析を施し、意味のない単語や、品詞として不適切なものを削除した後、発生頻度の高い単語や編集操作情報をメタ情報として抽出する。
【００３０】
図３，４を用いてより詳細に説明する。図３は、メタ情報行列Ｇの一例を説明する概念図であって、編集履歴対象として修学旅行の映像、すなわち時間軸方向に複数の画像を連続して有するメディアデータにおいて、時間軸方向に関連付けられたコメントに基づくメタ情報を利用している。図４は、メタ情報行列Ｇに基づき、分析メタ情報行列Ｓを算出する方法を説明する概念図を示す。
【００３１】
編集内容蓄積部２０５は、編集履歴として、ユーザにより編集がなされた時を示す時間ｔと、この編集がなされた時に対応する、編集により付加されたコメント等を記憶する。メタ情報整形機能部２０６は、この編集履歴に基づき、図示するように、単語化されたメタ情報を時系列に管理し、メタ情報の発生状況を表したメタ情報行列Ｇを作成する。
【００３２】
例えば、メタ情報整形機能部２０６は、メディアデータにおける所定の時間ｔを特定の量子化幅Δｔで離散化し、ノイズが除去され選別されたメタ情報（ここでは、学生、僧侶、仏像、電車等のコメント内で発生頻度の高い単語）の発生頻度を行、時間Δｔを列とするメタ情報行列Ｇ＝（ｇｉ，ｊ），０≦ｉ≦ｌ−１，０≦ｊ≦ｎ−１を作成する。
【００３３】
メタ情報整形機能部２０６は、図４に示すように、メタ情報行列Ｇを時間軸方向に分解し、メタ情報ベクトル列Ｇｉ，０，Ｇｉ，１，・・・，Ｇｉ，ｎ−１を作成する。メタ情報整形機能部２０６は、このメタ情報ベクトル列Ｇｉ，０，Ｇｉ，１，・・・，Ｇｉ，ｎ−１を主成分分析し、固有ベクトル列Ｒ＝ν０，・・・，νｋ−１，νｋ，・・・，νｌ−１と、固有値λ０，・・・，λｋ−１，λｋ，・・・，λｌ−１とを生成する。
メタ情報整形機能部２０６は、主成分分析によって生成された固有値λ０，・・・，λｋ−１，λｋ，・・・，λｌ−１のうち、例えば０．００１以下など、予め定められた閾値μ（例えば０．００１）以下の固有値λｋ，・・・，λｌ−１に対応する固有ベクトルνｋ，・・・，νｌ−１が張る空間を削除する。具体的には、例えばｋ個の固有値λ０，・・・，λｋ−１が閾値μより大きい値であった場合、メタ情報行列Ｇを、生成された固有ベクトルを基底ベクトルとする基底変換行列（＝射影子Ｒ＝［ν０，・・・，νｋ−１，νｋ，・・・，νｌ−１］）で基底変換し、上ｋ次元の部分行列を抽出することで実現できる。これにより、メタ情報整形機能部２０６は、言葉の言い換えや依存関係のある事象を圧縮した分析メタ情報行列Ｓを得ることができる。
よって、分析メタ情報行列Ｓ＝（ｓｉ，ｊ），０≦ｉ≦ｋ−１，０≦ｊ≦ｎ−１であって、ｋ≦ｉ≦ｌ−１の範囲の分析メタ情報行列Ｓは、所定の閾値μ以下であるとして、削除される。
【００３４】
メタ情報整形機能部２０６は、主成分分析で生成された固有ベクトル、すなわち基底行列の変換における射影子Ｒを、メタ情報行列Ｇ毎に関連付けて、編集内容蓄積部２０５に記憶する。また、メタ情報整形機能部２０６は、分析メタ情報行列Ｓを編集内容蓄積部２０５に記憶する。
【００３５】
特徴量算出機能部２０７は、メディアデータに基づき、ファイル名や撮影された位置情報などから概要情報を作成する。特徴量算出機能部２０７は、概要情報をキーとして、相関結果蓄積部２１０に記憶されている複数の特徴量抽出関数の特徴量識別子の集合α，β，γ・・・から、関連のある特徴量抽出関数の特徴量識別子α，βを取得する。
特徴量算出機能部２０７は、図５に示すとおり、時間軸（ｔ）方向に特定の量子化幅Δｔで離散化された、特徴量識別子α，βを有する特徴量データＤα，Ｄβを列方向に連結させ、特徴量抽出関数識別子を行番号、離散時間を列番号とする特徴量行列Ｘ＝（ｘｉ，ｊ），０≦ｉ≦ｌ−１，０≦ｊ≦ｎ−１を作成する。なお、離散化する量子化幅Δｔは、メタ情報行列Ｇの量子化幅Δｔと同じ間隔（時間幅）である。
【００３６】
相関計算機能部２０８は、特徴量算出機能部２０７から特徴量行列Ｘを、メタ情報整形機能部２０６から分析メタ情報行列Ｓを取得し、これに基づき相関パラメータ（Ｗ，ｂ）を計算する。すなわち、相関計算機能部２０８は、特徴量行列Ｘと、分析メタ情報行列Ｓとの相関を演算する。
なお、相関パラメータ（Ｗ，ｂ）は、特徴量行列Ｘ、および分析メタ情報行列Ｓとの間に、式１，２，３に示すような関係を有する。
【００３７】
【数１】
【００３８】
【数２】
式２は、式１を整理したものである。
【００３９】
【数３】
式３は、式２の両辺に、特徴量行列Ｘの一般化逆行列（例えばムーア・ペンローズ型逆行列）を作用させたものとしている。ただし、これは、数式上の表記であり、実際の計算ではＱＲ分解などを行いながら誤差の影響を防ぐものとする。
なお、ｗは重み係数、ｂは固定値である。
【００４０】
図６を用いて、相関計算機能部２０８の相関パラメータ（Ｗ，ｂ）の計算について詳細に説明する。図６に示すとおり、相関計算機能部２０８は、相関パラメータＷの中で、ノルムが所定の閾値（例えば０．００１）よりも小さい列ベクトル（ｆ列）が存在するか否かを検出する。相関計算機能部２０８は、ｆ列を検出した場合、このｆ列に対応する特徴量行列Ｘのｆ行目を削除し、特徴量算出機能部２０７に代替の特徴量抽出関数の読み出しを指示し、それを用いて特徴量データを計算する。ここで、ノルムとは、相関パラメータのベクトル列の大きさを表すものであって、例えば、ベクトル列の各要素の２乗の総和をとった正の平方根を表す２−ノルムが利用可能である。
【００４１】
相関計算機能部２０８は、特徴量算出機能部２０７により検出された、特徴量抽出関数識別子α，βに次いで概要情報と関連性の高い特徴量抽出関数識別子γを読み出し、このｆ行目と特徴量抽出関数識別子γに基づく特徴量データＤγとを入れ替え、再度、特徴量データを計算し、特徴量行列Ｘを作成する。
なお、相関計算機能部２０８は、相関パラメータＷのうち、ノルムが所定の閾値よりも小さい列ベクトルが多次元ベクトルの場合は、このノルムが全て所定の閾値よりも小さかった場合に、他の特徴量データＤγと入れ替える。例えば、２次元の基礎特徴量データβは、２次元のノルムが全て所定の閾値よりも小さいか否かで、入れ替えが判断される。
相関計算機能部２０８は、上述の入れ替えを、ノルムが所定の閾値よりも小さい列ベクトルが検出されなくなるまで繰り返すことにより、特徴量抽出への寄与率の高い特徴量抽出関数の特徴量抽出関数識別子を決定する。相関計算機能部２０８は、決定した特徴量抽出への寄与率の高い特徴量抽出関数の特徴量抽出関数識別子（α，β・・・等）を、相関パラメータ（Ｗ，ｂ）、概要情報（ファイル名等）、射影子Ｒ等とを関連付けて、学習結果のセットとして、相関結果蓄積部２１０に記憶する。
【００４２】
相関適用機能部２０９は、相関計算機能部２０８により算出された学習結果のセットを受信し、送信部２１１に送信する。
また、相関適用機能部２０９は、メタ情報を含まないメディアデータに基づきコンテクストを抽出する場合、相関計算機能部２０８により算出された相関パラメータ（Ｗ，ｂ）と、特徴量抽出への寄与率の高い特徴量抽出関数の特徴量抽出関数識別子と、概要情報と、射影子Ｒを含む学習結果のセットを用いて、このメディアデータの属性を示す前記概要情報に基づき、このメディアデータからコンテクストを抽出する。このように、コンテクスト抽出サーバ１０１は、学習結果を利用することにより、メタ情報を含まないメディアデータに基づきコンテクストを抽出することができる。
【００４３】
相関結果蓄積部２１０は、相関計算機能部２０８により算出された学習結果のセットを記憶し、この学習結果のセットを繰り返し記憶することにより、学習能力を高めていく。
【００４４】
送信部２１１は、受信した学習結果のセットをアプリケーションサーバ１０３あるいはメディア編集機能部２０３に送信する。
【００４５】
次に、図７，８を用いて、本実施の形態にかかるコンテクスト抽出システムのコンテクスト抽出方法について説明する。
図７に示すとおり、メタ情報整形機能部２０６は、編集内容蓄積部２０５から編集履歴を読み出し（ステップＳ１）、この編集履歴に基づきメタ情報の発生状況を表したメタ情報行列Ｇを作成する。メタ情報整形機能部２０６は、このメタ情報行列Ｇに基づき、時間軸方向に分解されたメタ情報ベクトル列Ｇｉ，０，Ｇｉ，１，・・・，Ｇｉ，ｎ−１と、さらに主成分分析されたベクトル列のうち所定の閾値μ以下の次元が削除された分析メタ情報行列Ｓを作成する。
相関計算機能部２０８は、このようにして作成された分析メタ情報行列Ｓを、メタ情報整形機能部２０６から読み出す（ステップＳ２）。
【００４６】
一方、特徴量算出機能部２０７は、メディア蓄積部２０４からメディアデータを読み出し（ステップＳ３）、読み出したメディアデータの概要情報を作成し、相関結果蓄積部２１０に記憶する（ステップＳ４）。特徴量算出機能部２０７は、この概要情報をキーとして、概要情報と関連性の高い特徴量抽出関数識別子α，βを読み出し、メディアデータに適用して、特徴量抽出関数識別子α，βで表される特徴量抽出関数を取得する。特徴量算出機能部２０７は、得られた特徴量抽出関数に基づき特徴量データＤα，Ｄβを算出し、連結させて特徴量行列Ｘを作成する（ステップＳ５）。
相関計算機能部２０８は、このようにして作成された特徴量行列Ｘを、特徴量算出機能部２０７から読み出す（ステップＳ６）。
【００４７】
相関計算機能部２０８は、読み出した分析メタ情報行列Ｓと、特徴量行列Ｘに基づき、相関パラメータ（Ｗ，ｂ）を計算する。相関計算機能部２０８は、相関パラメータＷの中で、ノルムが所定の閾値よりも小さい列ベクトルがあるか否かを検出する。相関計算機能部２０８は、ノルムが所定の閾値よりも小さい列ベクトルとして特徴量抽出関数識別子αを検出した場合、相関値が低い特徴量抽出関数識別子αを削除し、特徴量算出機能部２０７に代替の特徴量抽出関数の読み出しを指示する（ステップＳ７）。
【００４８】
特徴量算出機能部２０７は、この指示に基づき、ステップＳ４，５において概要情報をキーとして関連性が高いとされた特徴量抽出関数識別子α，βに次いで、概要情報との関連性が高い特徴量抽出関数識別子γを検出する（ステップＳ８）。特徴量算出機能部２０７は、この次候補である特徴量抽出関数識別子γを読み出し、これら特徴量抽出関数識別子β，γの特徴量データＤβ，Ｄγを連結させて特徴量行列Ｘを作成する（ステップＳ９）。特徴量算出機能部２０７は、再度作成された特徴量行列Ｘと、分析メタ情報行列Ｓに基づき、相関パラメータ（Ｗ，ｂ）を再計算する（ステップＳ１０）。
【００４９】
相関計算機能部２０８は、ノルムが所定の閾値よりも小さい列ベクトルが検出されなくなるまで、すなわち、分析メタ情報行列Ｓと、特徴量行列Ｘとの相関を演算し、特徴量抽出への寄与率が低い特徴量抽出関数が検出されなくなるまで、相関パラメータ（Ｗ，ｂ）を計算し、概要情報と、特徴量抽出への寄与率が高い特徴量抽出関数の特徴量抽出関数識別子を決定する。相関計算機能部２０８は、この特徴量抽出への寄与率が高い特徴量抽出関数の特徴量抽出関数識別子、相関パラメータ（Ｗ，ｂ）、概要情報（ファイル名等）、射影子Ｒを関連付けて、学習結果のセットとして、相関結果蓄積部２１０に記憶する（ステップＳ１１）。
【００５０】
上述のとおり、本発明によると、特徴量算出機能部２０７により、映像中の物体の大まかな位置を検出するアルゴリズムや、平均の色を算出するアルゴリズム等の基礎的な特徴量を抽出するアルゴリズムをメディアデータに適用し、時系列的な特徴量ベクトルを得る。また、メタ情報整形機能部２０６により、メディアデータに時系列的に付与されたコメントを、その発生頻度や言語自体の特性から形成されるメタ情報を得る。そして、相関計算機能部２０８は、このようにして得られた特徴ベクトルに基づく特徴量行列と、メタ情報に基づくメタ情報行列との相関を演算する。これにより、コンテクスト抽出サーバ１０１は、より少ない特徴量抽出関数で、メタ情報との相関を演算し、複数のメディアデータを効率的に認識することができる。
【００５１】
次に、図８を用いて、相関結果蓄積部２１０に記憶されている学習結果を、まだコメント等が付与されていないメディアデータ、例えば、個人の撮影映像などに利用するコンテクスト抽出方法について説明する。
この場合、相関計算機能部２０８は、式４に示す演算式に従って、未知数である分析メタ情報行列Ｓを算出し、これを射影子Ｒで逆射影することで、メタ情報行列Ｇを推定する。
【００５２】
【数４】
ここで、式４に示す相関パラメータ（Ｗ，ｂ）および特徴量行列Ｘは、予め与えられている数値である。
【００５３】
図８に示すとおり、例えば携帯電話等の通信端末２１２で撮影されたメディアデータがメディア取得機能部２０１により取得されると、メディア蓄積部２０４に記憶される。特徴量算出機能部２０７は、メディア蓄積部２０４からメディアデータを読み出し（ステップＳ２１）、読み出したメディアデータの概要情報を作成し、相関結果蓄積部２１０に記憶する（ステップＳ２２）。特徴量算出機能部２０７は、この概要情報をキーとして、概要情報と関連性の高い特徴量抽出関数識別子α，βを読み出し、メディアデータに適用して、特徴量抽出関数識別子α，βで表される特徴量抽出関数を取得する。特徴量算出機能部２０７は、得られた特徴量抽出関数に基づき特徴量データＤα，Ｄβを算出し、連結させて特徴量行列Ｘを作成する（ステップＳ２３）。また、特徴量算出機能部２０７は、特徴量行列Ｘに対応する相関パラメータ（Ｗ，ｂ）を、相関結果蓄積部２１０に記憶されている学習結果のセットから読み出し、相関計算機能部２０８に送信する。
相関計算機能部２０８は、特徴量算出機能部２０７から特徴量行列Ｘおよび相関パラメータ（Ｗ，ｂ）を受信する（ステップＳ２４）。
【００５４】
相関計算機能部２０８は、受信した特徴量行列Ｘと相関パラメータ（Ｗ，ｂ）に基づき、分析メタ情報行列Ｓを計算する。相関計算機能部２０８は、この分析メタ情報行列Ｓを算出し、これを射影子Ｒで逆射影することで、メタ情報行列（ベクトル列）Ｇに変換し、それをメディアデータの編集結果として、通信端末２１２に送信する（ステップＳ２５）。
通信端末２１２は、この編集結果を受信し、この編集結果に修正を施した修正結果を相関計算機能部２０８に送信し、再度、メタ情報行列（メタ情報ベクトル列）Ｇを計算し直すことも可能である（ステップＳ２６）。
相関計算機能部２０８は、メディアデータの編集結果として通信端末２１２に送信したメタ情報行列（メタ情報ベクトル列）Ｇ、あるいは、通信端末２１２により施された修正に基づき再計算されたメタ情報行列（メタ情報ベクトル列）Ｇｉ，を相関結果蓄積部２１０に記憶することにより、学習処理による学習パラメータを更新することができる。
これにより、メディアデータに基づき、このメディアデータに対しての認識情報（コンテクスト）を抽出することができる。
なお、上述に説明したメタ情報行列（メタ情報ベクトル列）Ｇ抽出方法は、相関適用機能部２０９においても、適用することができる。
【００５５】
［第２の実施形態］
次に、本発明にかかる他の実施の形態について説明する。図９は、第２の実施形態にかかるコンテクスト抽出システムを説明するための概念図である。なお、本実施の形態におけるコンテクスト抽出システムは、第１の実施形態において説明したコンテクスト抽出システムと同じ構成を有し、以下、図２の符号を引用して説明する。
本実施の形態にかかるコンテクスト抽出システムは、相関結果蓄積部２１０に記憶された学習結果のセットを利用して、例えば携帯電話のような低機能な入力デバイスしか有しない装置から送信される映像に基づき、関連するキーワードを推奨するサービスを利用するため、以下の構成・機能を有することを特徴とする。
【００５６】
アプリケーションサーバ１０３は、例えば携帯電話のような入力デバイスから受信した映像に基づき、キーワードを検索し、このキーワードあるいは、キーワードに関連するメディアデータを推奨するサービスを提供する。
メディア取得機能部２０１は、入力デバイスから受信した映像（メディアデータ）をメディア蓄積部２０４に記憶する。
【００５７】
特徴量算出機能部２０７は、メディア蓄積部２０４からメディアデータを読み出し、このメディアデータに付与されている位置情報（例えば、ＧＰＳから取得される情報）をキーとして、相関結果蓄積部２１０に記憶されている学習結果のセットを取得し、相関適用機能部２０９に送信する。
相関適用機能部２０９は、この学習結果のセットを送信部２１１を介してアプリケーションサーバ１０３に送信する。
アプリケーションサーバ１０３は、この学習結果のセットに基づき、関連付けられたメディアデータあるいはキーワードを検出し、これら検出された情報を入力デバイスとしての例えば携帯電話の画面に表示する。
これにより、入力された映像をキーとして、関連するキーワードやメディアデータを検索することができる。また、検索サービスを利用するユーザ端末１０２Ａ〜１０２Ｃからの検索キーワードの入力が不要となり、ユーザの操作性を向上することができる。
【００５８】
また、本実施の形態にかかるコンテクスト抽出サーバ１０１は、上述と同様に、受信した映像を公開し、編集により付与されたコメントに基づきコンテクストを抽出し、学習結果として蓄積していく構成を有する。
すなわち、メディア蓄積部２０４は、受信したメディアデータをアーカイブ化したコンテンツとして記憶し、メディア閲覧機能部２０２は、このコンテンツをさまざまなユーザに閲覧を許可し、メディア編集機能部２０３は、このコンテンツのメディアデータにコメントの付与を許可する。
【００５９】
相関計算機能部２０８は、このようにして編集されたメディアデータのメタ情報を利用して相関を演算し、学習結果のセットを相関結果蓄積部２１０に記憶する。
これにより、コンテクスト抽出サーバ１０１は、どのような映像ならば、どのようなキーワードが推奨されるかを学習することができ、例えば携帯電話のカメラで撮影された映像に基づき、映像に関連するキーワードを推奨するサービスを提供することができる。よって、携帯電話のような低機能な入力デバイスしか有しない装置であっても、簡単な検索サービスを提供することができる。
【００６０】
［第３の実施形態］
次に、本発明にかかる他の実施の形態について説明する。図１０は、第３の実施形態にかかるコンテクスト抽出システム３の一例を説明するためのブロック図である。図１１は、第３の実施形態にかかるコンテクスト抽出システム２を説明するための概念図である。なお、本実施の形態におけるコンテクスト抽出システムは、第１の実施形態において説明したコンテクスト抽出システムと異なる構成を有するが、同じ機能を有する構成においては図２に示す符号と同じ符号を付し、追加的な機能のみ以下説明することで、重複する説明を省略する。
【００６１】
本実施の形態にかかるコンテクスト抽出システムは、監視カメラやライブカメラ等により取得されたメディアデータのリアル再生・閲覧を提供するシステムにおいて、この提供されるメディアデータと、このメディアデータに対して閲覧者により編集されたコメントからコンテクストを抽出するシステムである。このコンテクスト抽出システムは、抽出されたコンテクストとメディアデータの特徴量抽出関数との相関を演算することにより、アーカイブ化されているメディアデータのアーカイブ構成を自律的に変化させるため、以下の構成・機能を有することを特徴とする。
【００６２】
メディア取得機能部２０１は、カメラ３００により取得された映像を、コンテンツ化して公開されるよう、メディア蓄積部２０４に記憶する。例えば、カメラ３００として監視カメラやライブカメラ等により取得されたメディアデータは、アーカイブ化されたコンテンツとして、メディア閲覧機能部２０２により公開される。
【００６３】
メディア閲覧機能部２０２は、メディア蓄積部２０４に記憶されているメディアデータの閲覧を、メディア閲覧端末としてのユーザ端末１０２Ｂを介して、複数のユーザに許可する。また、メディア閲覧機能部２０２は、特徴的な映像・画面がサムネイル化され、このサムネイルと関連づけられたメディアデータの閲覧を許可することができる。これにより、ユーザ端末１０２Ｂからは、サムネイル化により閲覧できるメディアデータが判断しやすいように整理されたメディアデータを閲覧することができる。
【００６４】
メディア蓄積部２０４は、メディアデータを、メディア閲覧機能部２０２によりコンテンツ化して作成されたメディアデータと、アーカイブ編集部５０１によりサムネイル化されたメディアデータを記憶する。メディア蓄積部２０４は、サムネイル化されたメディアデータを、メタ情報整形機能部２０６により抽出されたメタ情報に関連付けて記憶する。
編集内容蓄積部２０５は、編集により付加されたコメント、およびメディア編集機能部２０３により作成された編集履歴等を記憶する。
【００６５】
メタ情報整形機能部２０６は、編集内容蓄積部２０５に記憶されている編集により付加されたコメント、および編集履歴を読み出し、コメント情報に基づきフィルタリングされたメタ情報を抽出する。例えば、メタ情報整形機能部２０６は、メディア蓄積部２０４からメディアデータを読み出し、所定間隔ごとに離散化し、情報性の高いコメントが付与されているメディアデータを抽出し、情報性の低いコメントやノイズが付与されているだけのメディアデータは破棄する。
メタ情報整形機能部２０６は、このようにフィルタリングされ、抽出されたメタ情報に基づき、メタ情報行列Ｇを作成し、時間軸方向に分解されたメタ情報ベクトル列Ｇｉ，０，Ｇｉ，１，・・・，Ｇｉ，ｎ−１、主成分分析によって生成された固有値λ０，・・・，λｋ−１，λｋ，・・・，λｌ−１のうち、閾値μ＝０．００１以下の固有ベクトルνｋ，・・・，νｌ−１が張る空間を削除することにより、圧縮された分析メタ情報行列Ｓを作成する。
【００６６】
特徴量算出機能部２０７は、メディア蓄積部２０４からコメント情報を読み出し、コメント情報をキーに利用して、相関結果蓄積部２１０に記憶されている複数の特徴量抽出関数識別子α，β，γ・・・から関連性のある特徴量抽出関数識別子を取得する。特徴量算出機能部２０７は、上述と同様にして、取得した特徴量抽出関数識別子に基づき特徴量行列Ｘを作成する。
相関計算機能部２０８は、上述と同様にして、特徴量行列Ｘと、分析メタ情報行列Ｓｋ−１，んー１との相関を演算する。相関計算機能部２０８は、特徴量行列Ｘの中でノルムが所定の閾値よりも小さい列ベクトルを検出した場合、コメント情報と関連性の高い特徴量抽出関数識別子の次候補を読み出し、入れ替る。相関計算機能部２０８は、上述の入れ替えを、ノルムが所定の閾値よりも小さい列ベクトルが検出されなくなるまで繰り返すことにより、特徴量抽出への寄与率が高い特徴量抽出関数を決定する。相関計算機能部２０８は、決定した特徴量抽出への寄与率が高い特徴量抽出関数の特徴量抽出関数識別子と、相関パラメータ（Ｗ，ｂ）、コメント情報、射影子Ｒとを関連付けて、学習結果のセットとして、相関結果蓄積部２１０に記憶する。
【００６７】
アーカイブ編集部３０１は、相関計算機能部２０８の学習結果のセットに基づき、高い情報性を有するメタ情報を含むメディアデータを検出する。アーカイブ編集部５０１は、検出されたメディアデータをサムネイル化し、メタ情報の関連性に基づきそれぞれ関連付けて、メディア蓄積部２０４に記憶する。ここで、高い情報性を有するメタ情報は、例えば、コメント情報のうち、出現頻度の高い単語や、強調したい単語を含むコメント等である。また、アーカイブ編集部３０１は、検出されたメディアデータのうち、高い情報性を有するメタ情報に関連付けられる映像や画像をサムネイル化する。
また、アーカイブ編集部３０１は、相関計算機能部２０８の学習結果のセットに基づき、不適切な情報性を有するメタ情報を含むメディアデータを検出することができる。アーカイブ編集部５０１は、不適切な情報性を有するメディアデータを検出した場合、メディア蓄積部２０４からこのメディアデータを削除する。
【００６８】
これにより、コンテクスト抽出サーバ１０１は、監視カメラ等の映像から、適切なコメントが付与されたメディアデータをアーカイブ化することができるため、例えばＣＭコンテンツ等に利用することができる。
また、アーカイブ編集部３０１は、メディア蓄積部２０４に、閲覧者のコメント編集に応じて自律的に変化されるアーカイブ映像を作成することができる。
また、アーカイブ編集部３０１は、高い情報性を有するコメント情報を含むメディアデータに基づき、アーカイブ化することにより、多くのコメントが付加されていると推定される部分がアーカイブ化され、効率的なアーカイブ映像を作成することができる。このアーカイブ映像を利用することにより、デパートやイベント会場での広告映像等を提供するＣＭ（コマーシャル）コンテンツを簡単に作成することができる。
【００６９】
［第４の実施形態］
次に、本発明にかかる他の実施の形態について説明する。図１２は、第４の実施形態にかかるコンテクスト抽出システムを説明するための概念図である。なお、第４の実施形態におけるコンテクスト抽出システムは、第１の実施形態において説明したコンテクスト抽出システムと同じ構成を有し、以下、図２の符号を引用して説明する。
本実施の形態にかかるコンテクスト抽出システムは、アプリケーションサーバ１０３により個人撮影映像の自動編集を支援するサービスが提供されるため、以下の構成・機能を有することを特徴とする。
【００７０】
アプリケーションサーバ１０３は、例えば携帯電話のような入力デバイスから受信したメディアデータに基づき、個人撮影映像の自動編集を支援するサービスを提供する。
メディア蓄積部２０４は、この入力デバイスから入力されたメディアデータをアーカイブ化して記憶する。例えば、メディア蓄積部２０４は、ユーザの設定により、このメディアデータを非公開メディアデータとして記憶する。
【００７１】
特徴量算出機能部２０７は、メディア蓄積部２０４からメディアデータを読み出し、このメディアデータに付与されている概要情報（ファイル名やコメント）をキーとして、相関結果蓄積部２１０に記憶されている学習結果のセットを取得し、相関適用機能部２０９に送信する。
相関適用機能部２０９は、この学習結果のセットを送信部２１１を介してメディア編集機能部２０３に送信する。
メディア編集機能部２０３は、この学習結果のセットに基づきメディアデータを認識し、メディア蓄積部２０４に記憶されているメディアデータのアーカイブ構成を編集する。
これにより、個人で撮影した映像を非公開メディアデータとしてメディア蓄積部２０４に記憶しておくだけで、コンテクスト抽出サーバ１０１が自動的にメディアデータを認識し、関連映像を含むアーカイブ映像が編集される。
【００７２】
なお、メタ情報整形機能部２０６に利用されるメタ情報としては、例えば動画共有サイトのように、公開が許可された映像も保有し、その動画に対して多数のユーザがコメントを付与するようなメディアデータから取得される。
本実施の形態にかかるコンテクスト抽出サーバ１０１は、これにより、動画共有サイト等において公開・編集が許可されているメディアデータに基づき学習結果のセットを蓄積させ、この学習結果のセットを利用して、個人の非公開映像を認識し、自動編集を支援することができる。
【００７３】
これにより、個人で撮り溜めた映像を効率的に閲覧しやすいアーカイブ化されたメディアをメディア蓄積部２０４に記憶することができる。また、これにより、映像編集経験が少ない初心者であっても、簡単に編集が可能となるため、更なるコンテンツの投稿による動画共有サイトの活性化につながる。
【００７４】
以上のとおり、本発明にかかるコンテクスト抽出システムは、Ｗｅｂコンテンツやセンサ情報に基づくメディアデータのように、明示的に登録されない情報を利用する場合であっても、画像や編集履歴に基づきコンテクストを抽出し、メディアデータの関連付けを推測することができる。
また、メタ情報整形機能部２０６により抽出されるメタ情報の設定を適宜変更することにより、多種類の情報が混在しているメディアデータから、適切なコンテクストを抽出することができる。
さらに、相関結果蓄積部２１０に記憶される学習結果のセットの作成を積み重ねることにより、メディアデータと抽出されたメタ情報との関連性の幅を広げることができ、端末の性能にかかわらず、多種類のコンテクストを取得することができる。
また、公開されたメディアデータの内容は、概ね、時系列に付与されたコメントの内容に起因していることが多いため、コメント等からメタ情報を抽出し、特徴データとの相関を演算することにより、メディアデータの内容を推測することができる。
【００７５】
また、本発明にかかるコンテクスト抽出システムは、メディアデータおよびコメント等のメタ情報を取得するためのインターフェースとして、近年、利用者が増加している動画共有サイトを利用することができる。この動画共有サイトとして、投稿されたメディアデータに対して複数のユーザがコメントを付与する機能を有するサイトを利用することにより、ユーザが楽しみながら、メディアデータの認識情報としてのコメントを付与できるようになるため、より効果的である。
また、従来においては、人間の知覚による認識情報を収集するためには、予め多くのモニタを集めてデータを収集しなければならず、また新たな認識情報の更新作業が手間であるという問題があったが、本発明により、映像共有サイトといった娯楽色の高いインターフェースを利用することにより、より簡単に、大量の知覚情報を収集することが可能である。
また、メディアデータに基づくメタ情報により学習された学習結果のセットを、他のメディアデータに適用することにより、人間が具体的にメディアデータの内容を認識しなくても、ある程度の制度でメディアデータの内容が推定され、自動的にメディアデータ同士の関連付けを実現することができる。これにより、大人数のユーザによりコメントなどの情報が付与されない個人的に保有されているメディアデータからも、メタ情報を取得し、メディアデータ同士を関連付ける認識情報として学習結果に反映することができる。
【００７６】
なお、上述のコンテクスト抽出サーバ１０１の動作の過程は、コンピュータに実行させるためのプログラムや、このプログラムとしてコンピュータ読み取り可能な記録媒体として利用可能であり、コンピュータシステムが読み出して実行することによって、上記処理が行われる。なお、ここでいう「コンピュータシステム」とは、ＣＰＵ及び各種メモリやＯＳ、周辺機器等のハードウェアを含むものである。
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【００７７】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に記憶したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムに既に記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【図面の簡単な説明】
【００７８】
【図１】本実施の形態にかかるコンテクスト抽出システムの一例を示す概念図である。
【図２】本実施の形態にかかるコンテクスト抽出システムの一例を示すブロック図である。
【図３】本実施の形態にかかるメタ情報行列Ｇの一例を説明する概念図である。
【図４】本実施の形態にかかる分析メタ情報行列Ｓの一例を説明する概念図である。
【図５】本実施の形態にかかる特徴量行列Ｘの一例を説明する概念図である。
【図６】本実施の形態にかかる特徴量行列Ｘの選別の一例を説明する概念図である。
【図７】本実施に形態にかかるコンテクスト抽出方法の一例を示す概略図である。
【図８】本実施の形態にかかるコンテクスト抽出方法の他の一例を示す概略図である。
【図９】本実施の形態にかかるコンテクスト抽出システムの他の一例を示す概念図である。
【図１０】本実施の形態にかかるコンテクスト抽出システムの他の一例を示す概念図である。
【図１１】図１０に示したコンテクスト抽出システムの一例を示すブロック図である。
【図１２】本実施の形態にかかるコンテクスト抽出システムの他の一例を示す概念図である。
【符号の説明】
【００７９】
１００ ネットワーク
１０１ コンテクスト抽出サーバ
１０２Ａ〜１０２Ｃ ユーザ端末
１０３ アプリケーションサーバ
２０１ メディア取得機能部
２０２ メディア閲覧機能部
２０３ メディア編集機能部
２０４ メディア蓄積部
２０５ 編集内容蓄積部
２０６ メタ情報整形機能部
２０７ 特徴量算出機能部
２０８ 相関計算機能部
２０９ 相関適用機能部
２１０ 相関結果蓄積部
２１１ 送信部
【技術分野】
【０００１】
本発明は、主に、映像や音楽などで構成されるメディアコンテンツの内容を認識し、多様な情報を含むメディアデータから、メディアデータ同士を関連付けるコンテクストを抽出するコンテクスト抽出サーバ、コンテクスト抽出方法、およびプログラムに関する。
【背景技術】
【０００２】
メディアデータから情報を抽出する技術として、例えば、メディアデータを認識し、認識した結果に基づいて検索することにより、メディアデータ内の文字を自動認識する技術が知られている。この技術を利用することにより、携帯電話等で取得されたメディアデータ内に含まれる看板の文字を読み取り、翻訳して検索するサービスなどが行われている。
また、イメージセンサなどから取得された情報に基づき、一番近い目標物の情報を目標物データベースから検索して出力するコンテクスト・アウェア画像形成装置が知られている。この画像形成装置は、予め目標物に応じた特徴量がインデクシングされている目標物データベースを利用して、目標物を特定する際にインデクシングされた画像の特徴量データ同士を比較することにより、一番近い目標物の情報を目標物データベースから検索することができる構成となっている（特許文献１参照）。
【０００３】
【特許文献１】特開２００３−１８７２１８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、上述の背景技術に記載の一例において、前者の検索サービスでは、認識対象のメタ情報は手動で用意する必要があり、手間がかかるという問題があった。一方、後者のような画像形成装置においては、目標物を特定する際にインデクシングされた画像の特徴量データ同士を比較するため、目標物のみが映っている画像をユーザが選択する必要があり、ユーザに負担がかかる問題があった。
【０００５】
また、従来のメディア解析技術では、１つの情報を高精度に抽出するために特化したものが多く、この方法では、メディアに存在し得る多くの情報を抽出するためには、さまざまな種類の解析技術を適用する必要があり、処理負担が大きくなる問題があった。
さらに、従来のメディア解析技術では、データの特性の変化に追従するため、学習パラメータを更新するなどの何らかの方法で新たなメタ情報自体を取得する必要があるが、メタ情報を再度構築するためには、非常に手間がかかり、一旦学習したパラメータを使い続けるのが一般的であった。そのため、想定外のデータが適用された場合、誤認識が多く発生するという問題があった。
【０００６】
本発明は、このような事情を考慮し、上記の問題を解決すべくなされたものであって、その目的は、編集によりメディアデータに付与されたメタ情報に基づき、他のメディアデータと関連付けられたコンテクストを抽出するコンテクスト抽出サーバ、コンテクスト抽出方法、およびプログラムを提供することにある。
【課題を解決するための手段】
【０００７】
上記問題を解決するために、本発明は、メディアデータに基づき、メディアデータの内容を認識するためコンテクストを抽出するコンテクスト抽出サーバにおいて、前記メディアデータに付加されたメタ情報に基づき、時系列に表されたメタ情報行列を生成するメタ情報整形機能部と、前記メディアデータの属性を示す概要情報に基づき、予め設定されている特徴量抽出関数を特定し、特定された前記特徴量抽出関数に基づき、前記時系列と同間隔で表された特徴量行列を生成する特徴量算出機能部と、前記メタ情報整形機能部が生成した前記メタ情報行列と、前記特徴量算出機能部から受信した前記特徴量行列との相関を計算し、特徴量抽出への寄与率の高い前記特徴量抽出関数を決定する行列相関計算機能部と、前記相関計算機能部により算出された相関と、前記特徴量抽出関数を、学習結果として行列記憶する相関結果蓄積部と、を有することを特徴とするコンテクスト抽出サーバである。
【０００８】
また、本発明は、前記メタ情報は、ネットワークを介して外部端末より受信する前記メディアデータに付加されたコメントであることを特徴とするコンテクスト抽出サーバである。
【０００９】
また、本発明は、前記相関結果蓄積部は、前記学習結果として、前記相関と、前記特徴量抽出関数と、前記特徴量抽出関数に関連付けられた概要情報行列を記憶し、前記相関計算機能部は、決定した前記特徴量抽出関数行列と、この特徴量抽出関数行列に関連づけられた前記概要情報に基づき、前記メタ情報行列を算出することを特徴とするコンテクスト抽出サーバである。
【００１０】
また、本発明は、前記コンテクスト抽出サーバは、前記メタ情報を含まない他のメディアデータを受信した場合、前記相関計算機能部により算出された相関と、特徴量抽出への寄与率の高い前記特徴量抽出関数と行列、前記概要情報を含む学習結果を用いて、前記他のメディアデータの属性を示す前記概要情報に基づき、この他のメディアデータからコンテクストを抽出する相関適用機能部と、更にネットワークを介して接続されている外部サーバに前記抽出されたコンテクストを送信する送信部を有することを特徴とするコンテクスト抽出サーバである。
【００１１】
また、本発明は、受信したメディアデータに基づき、メディアデータの内容を認識するためコンテクストを抽出するコンテクスト抽出サーバにおけるコンテクスト抽出方法において、メタ情報整形機能部が、前記メディアデータに付加されたメタ情報に基づき、時系列に表されたメタ情報行列を生成し、特徴量算出機能部が、前記メディアデータの属性を示す概要情報に基づき、予め設定されている特徴量抽出関数を特定し、特定された前記特徴量抽出関数に基づき、前記時系列と同間隔で表された特徴量行列を生成し、相関計算機能部が、前記メタ情報整形機能部から受信した前記メタ情報行列と、前記特徴量算出機能部から受信した前記特徴量行列との相関を計算し、特徴量抽出への寄与率の高い前記特徴量抽出関数を決定し行列、相関結果蓄積部が、前記相関計算機能部により算出された相関と、前記特徴量抽出関数を、学習結果として行列記憶することを特徴とするコンテクスト抽出方法である。
【００１２】
また、本発明は、前記メタ情報は、ネットワークを介して外部端末より前記メディアデータに付加されたコメントであることを特徴とするコンテクスト抽出方法である。
【００１３】
また、本発明は、前記相関結果蓄積部は、前記学習結果として、前記相関と、前記特徴量抽出関数と、前記特徴量抽出関数に関連付けられた概要情報行列を記憶し、前記相関計算機能部は、決定した前記特徴量抽出関数行列と、この特徴量抽出関数行列に関連づけられた前記概要情報に基づき、前記メタ情報行列を算出することを特徴とするコンテクスト抽出方法である。
【００１４】
また、本発明は、受信したメディアデータに基づき、メディアデータの内容を認識するためコンテクストを抽出するコンピュータを、前記メディアデータに付加されたメタ情報に基づき、時系列に表されたメタ情報行列を生成するメタ情報整形手段、前記メディアデータの属性を示す概要情報に基づき、予め設定されている特徴量抽出関数を特定し、特定された前記特徴量抽出関数に基づき、前記時系列と同間隔で表された特徴量行列を生成する特徴量算出手段、前記メタ情報整形手段から受信した前記メタ情報行列と、前記特徴量算出手段から受信した前記特徴量行列との相関を計算し、特徴量抽出への寄与率の高い前記特徴量抽出関数を決定する行列相関計算手段、前記相関計算手段により算出された相関と、前記特徴量抽出関数を、学習結果として行列記憶する相関結果蓄積手段、として機能させるためのプログラムである。
【００１５】
また、本発明は、前記メタ情報は、ネットワークを介して外部端末より前記メディアデータに付加されたコメントであることを特徴とするプログラムである。
【００１６】
また、本発明は、前記相関結果蓄積手段は、前記学習結果として、前記相関と、前記特徴量抽出関数と、前記特徴量抽出関数に関連付けられた概要情報行列を記憶し、前記相関計算手段は、決定した前記特徴量抽出関数行列と、この特徴量抽出関数行列に関連づけられた前記概要情報に基づき、前記メタ情報行列を算出することを特徴とするプログラムである。
【発明の効果】
【００１７】
本発明の一実施の形態によるコンテクスト抽出サーバは、メディアデータに付加されたメタ情報に基づき、時系列に表されたメタ情報行列を生成するメタ情報整形機能部と、メディアデータの属性を示す概要情報に基づき、予め設定されている特徴量データを検出し、検出された特徴量データに基づき、時系列と同間隔で表された特徴量行列を生成する特徴量算出機能部と、メタ情報整形機能部が生成したメタ情報行列と、特徴量算出機能部から受信した特徴量行列との相関を計算し、相関の高い特徴量行列を算出する相関計算機能部と、相関計算機能部により算出された相関の高い特徴量行列を含む相関結果をコンテクストとして記憶する相関結果蓄積部とを有する。この構成により、コンテクスト抽出サーバは、メタ情報整形機能部により生成されたメタ情報行列に基づきメディアデータの認識情報（コンテクスト）を抽出することができる。よって、コンテクスト抽出サーバは、メディアデータの認識において、専門的な認識アルゴリズムを幾つも適用することなく、学習処理により更新される学習結果を利用することができ、効率よくメディアデータの認識をすることができる。
また、本発明の一実施の形態によれば、メタ情報として、ネットワークを介して外部端末より受信するメディアデータに付加されたコメント、例えば、ユーザの編集によりメディアデータに付加されたコメントを利用し、このメタ情報に基づき、コンテクストを抽出している。これにより、コンテクスト抽出サーバは、メディアデータに対して人間が与えた認識情報を、他のメディアデータの認識に対しても利用することができる。
【発明を実施するための最良の形態】
【００１８】
［第１の実施形態］
以下、図面を参照して、本発明の実施の形態について説明する。図１は、この発明の一実施形態によるコンテクスト抽出システム１の構成を示す概略ブロック図である。
図１に示すように、コンテクスト抽出システム１は、ネットワーク１００を介して接続されているコンテクスト抽出サーバ１０１、複数のユーザ端末１０２Ａ，１０２Ｂ，１０２Ｃ、およびアプリケーションサーバ１０３を備える。
【００１９】
コンテクスト抽出サーバ１０１は、複数のユーザ端末１０２Ａ〜１０２Ｃから送信されるメディアデータから取得したメタ情報と、予め用意されている特徴量データとの相関を演算し、コンテクストとして演算された相関結果を抽出する。詳細については、図２において説明する。
なお、メディアデータとは、映像や画像、音楽等を含むデータである。また、特徴量データとは、特徴量抽出関数識別子α，β，γ・・・で表される特徴量抽出関数を用いて算出されたものである。
【００２０】
複数のユーザ端末１０２Ａ〜１０２Ｃは、ネットワークを介してコンテクスト抽出サーバ１０１と、メディアデータの送受信・閲覧・編集を行う。
例えば、ユーザ端末１０２Ａは、ユーザからのメディアデータをコンテクスト抽出サーバ１０１に送信するメディア送信端末である。ユーザ端末１０２Ａは、ユーザにより決定されたメディアデータを公開するか否かの属性を付与して、メディアデータをメディア取得機能部２０１に送信する。
ユーザ端末１０２Ｂは、コンテクスト抽出サーバ１０１に記憶されているメディアデータを読み出すメディア閲覧端末であって、閲覧が許可されているメディアデータをメディア閲覧機能部２０２から受信する。
ユーザ端末１０２Ｃは、コンテクスト抽出サーバ１０１に記憶されているメディアデータを編集するメディア編集端末である。メディア編集端末としてのユーザ端末１０２Ｃは、編集が許可されている編集メディアデータを受信し、編集を加えたメディアデータをメディア編集機能部２０３に送信する。
【００２１】
アプリケーションサーバ１０３は、ネットワークを介してコンテクスト抽出サーバ１０１から抽出されたコンテクストを利用したサービスを複数のユーザ端末１０２Ａ〜１０２Ｃに提供する。アプリケーションサーバ１０３は、例えば、コンテクスト抽出サーバ１０１により算出された認識結果（コンテクスト）を利用して、ユーザ端末１０２Ａ〜１０２Ｃから受信される映像に基づき検索サービスを提供する。
【００２２】
次に、図２を用いて、コンテクスト抽出サーバ１０１の一例について詳細に説明する。
図２に示すとおり、コンテクスト抽出サーバ１０１は、メディア取得機能部２０１、メディア閲覧機能部２０２、メディア編集機能部２０３、メディア蓄積部２０４、編集内容蓄積部２０５、メタ情報整形機能部２０６、特徴量算出機能部２０７、相関計算機能部２０８、相関適用機能部２０９、相関結果蓄積部２１０、および送信部２１１を含む。なお、メディア取得機能部２０１〜相関結果蓄積部２１０までを、コンテクスト抽出機能部とも呼称する。
【００２３】
メディア取得機能部２０１は、メディア送信端末としてのユーザ端末１０２Ａから受信したメディアデータを、メディアデータの属性に応じて、メディア蓄積部２０４あるいは特徴量算出機能部２０７に記憶する。メディア取得機能部２０１は、メディア蓄積部２０４にメディアデータを記憶する場合、メディアデータが帰属するユーザ等により公開が許可されている公開メディアデータであるか、あるいは、公開が許可されていない未公開メディアデータあるかを、メディアデータに付与されている属性に基づき判断する。なお、この公開有無の属性は、ユーザの選択に基づき、ユーザ端末１０２Ａにより付与される。メディア取得機能部２０１は、受信したメディアデータを、公開メディアデータあるか未公開メディアデータであるかという属性と関連付けてメディア蓄積部２０４に記憶する。
【００２４】
メディア閲覧機能部２０２は、メディア閲覧端末としてのユーザ端末１０２Ｂから送信される閲覧リクエストを受信し、メディア蓄積部２０４から閲覧リクエストに対応するメディアデータを読み出す。メディア閲覧機能部２０２は、閲覧リクエストに対応するメディアデータの属性を検出し、閲覧リクエストに対応するメディアデータが公開メディアデータであった場合、対応するメディアデータをユーザ端末１０２Ｂに公開し、未公開メディアデータであった場合、閲覧リクエストに対応するメディアデータは閲覧できない旨をユーザ端末１０２Ｂに通知する。
【００２５】
メディア編集機能部２０３は、メディア編集端末としてのユーザ端末１０２Ｃから送信される編集リクエストを受信し、メディア蓄積部２０４から編集リクエストに対応するメディアデータを読み出す。メディア編集機能部２０３は、編集リクエストに対応するメディアデータが、メディアデータが帰属するユーザ等により編集が許可されている編集メディアデータであるか、あるいは、編集が許可されていない禁編集メディアデータであるかをメディアデータに付与されている属性に基づく判断する。なお、この編集可否の属性は、公開有無の属性と同様、ユーザの選択に基づき、ユーザ端末１０２Ａにより付与される。メディア編集機能部２０３は、編集リクエストに対応するメディアデータが編集メディアデータであった場合、対応するメディアデータをユーザ端末１０２Ｃに送信し、禁編集メディアデータであった場合、編集リクエストに対応するメディアデータは編集できない旨をユーザ端末１０２Ｃに通知する。
【００２６】
なお、編集が許可されている編集メディアデータは、公開が許可されているメディアデータであって、メディアデータが帰属するユーザにより、編集ができるユーザや、コメント添付やトリミング等の編集操作が設定されている。例えば、編集メディアデータは、不特定多数のユーザにより、コメントの付与が許可されている。
メディア編集機能部２０３は、編集メディアデータごとに、編集したユーザ、編集操作、および編集内容等の編集履歴を時系列に管理し、編集されたメディアデータおよびその編集履歴を編集内容蓄積部２０５に記憶する。
【００２７】
メディア蓄積部２０４は、メディアデータを、属性に応じて記憶する。例えば、メディア蓄積部２０４は、公開メディアデータと非公開メディアデータを区別して、それぞれ記憶する。
【００２８】
編集内容蓄積部２０５は、編集されたメディアデータ、およびメディア編集機能部２０３により作成された編集履歴を記憶する。
【００２９】
メタ情報整形機能部２０６は、編集内容蓄積部２０５から編集履歴を読み出し、この編集履歴からメタ情報を抽出する。例えば、メタ情報整形機能部２０６は、編集履歴における言語情報として、編集により添付されたコメント情報を抽出する。メタ情報整形機能部２０６は、抽出されたコメント情報に対して形態素解析を施し、意味のない単語や、品詞として不適切なものを削除した後、発生頻度の高い単語や編集操作情報をメタ情報として抽出する。
【００３０】
図３，４を用いてより詳細に説明する。図３は、メタ情報行列Ｇの一例を説明する概念図であって、編集履歴対象として修学旅行の映像、すなわち時間軸方向に複数の画像を連続して有するメディアデータにおいて、時間軸方向に関連付けられたコメントに基づくメタ情報を利用している。図４は、メタ情報行列Ｇに基づき、分析メタ情報行列Ｓを算出する方法を説明する概念図を示す。
【００３１】
編集内容蓄積部２０５は、編集履歴として、ユーザにより編集がなされた時を示す時間ｔと、この編集がなされた時に対応する、編集により付加されたコメント等を記憶する。メタ情報整形機能部２０６は、この編集履歴に基づき、図示するように、単語化されたメタ情報を時系列に管理し、メタ情報の発生状況を表したメタ情報行列Ｇを作成する。
【００３２】
例えば、メタ情報整形機能部２０６は、メディアデータにおける所定の時間ｔを特定の量子化幅Δｔで離散化し、ノイズが除去され選別されたメタ情報（ここでは、学生、僧侶、仏像、電車等のコメント内で発生頻度の高い単語）の発生頻度を行、時間Δｔを列とするメタ情報行列Ｇ＝（ｇｉ，ｊ），０≦ｉ≦ｌ−１，０≦ｊ≦ｎ−１を作成する。
【００３３】
メタ情報整形機能部２０６は、図４に示すように、メタ情報行列Ｇを時間軸方向に分解し、メタ情報ベクトル列Ｇｉ，０，Ｇｉ，１，・・・，Ｇｉ，ｎ−１を作成する。メタ情報整形機能部２０６は、このメタ情報ベクトル列Ｇｉ，０，Ｇｉ，１，・・・，Ｇｉ，ｎ−１を主成分分析し、固有ベクトル列Ｒ＝ν０，・・・，νｋ−１，νｋ，・・・，νｌ−１と、固有値λ０，・・・，λｋ−１，λｋ，・・・，λｌ−１とを生成する。
メタ情報整形機能部２０６は、主成分分析によって生成された固有値λ０，・・・，λｋ−１，λｋ，・・・，λｌ−１のうち、例えば０．００１以下など、予め定められた閾値μ（例えば０．００１）以下の固有値λｋ，・・・，λｌ−１に対応する固有ベクトルνｋ，・・・，νｌ−１が張る空間を削除する。具体的には、例えばｋ個の固有値λ０，・・・，λｋ−１が閾値μより大きい値であった場合、メタ情報行列Ｇを、生成された固有ベクトルを基底ベクトルとする基底変換行列（＝射影子Ｒ＝［ν０，・・・，νｋ−１，νｋ，・・・，νｌ−１］）で基底変換し、上ｋ次元の部分行列を抽出することで実現できる。これにより、メタ情報整形機能部２０６は、言葉の言い換えや依存関係のある事象を圧縮した分析メタ情報行列Ｓを得ることができる。
よって、分析メタ情報行列Ｓ＝（ｓｉ，ｊ），０≦ｉ≦ｋ−１，０≦ｊ≦ｎ−１であって、ｋ≦ｉ≦ｌ−１の範囲の分析メタ情報行列Ｓは、所定の閾値μ以下であるとして、削除される。
【００３４】
メタ情報整形機能部２０６は、主成分分析で生成された固有ベクトル、すなわち基底行列の変換における射影子Ｒを、メタ情報行列Ｇ毎に関連付けて、編集内容蓄積部２０５に記憶する。また、メタ情報整形機能部２０６は、分析メタ情報行列Ｓを編集内容蓄積部２０５に記憶する。
【００３５】
特徴量算出機能部２０７は、メディアデータに基づき、ファイル名や撮影された位置情報などから概要情報を作成する。特徴量算出機能部２０７は、概要情報をキーとして、相関結果蓄積部２１０に記憶されている複数の特徴量抽出関数の特徴量識別子の集合α，β，γ・・・から、関連のある特徴量抽出関数の特徴量識別子α，βを取得する。
特徴量算出機能部２０７は、図５に示すとおり、時間軸（ｔ）方向に特定の量子化幅Δｔで離散化された、特徴量識別子α，βを有する特徴量データＤα，Ｄβを列方向に連結させ、特徴量抽出関数識別子を行番号、離散時間を列番号とする特徴量行列Ｘ＝（ｘｉ，ｊ），０≦ｉ≦ｌ−１，０≦ｊ≦ｎ−１を作成する。なお、離散化する量子化幅Δｔは、メタ情報行列Ｇの量子化幅Δｔと同じ間隔（時間幅）である。
【００３６】
相関計算機能部２０８は、特徴量算出機能部２０７から特徴量行列Ｘを、メタ情報整形機能部２０６から分析メタ情報行列Ｓを取得し、これに基づき相関パラメータ（Ｗ，ｂ）を計算する。すなわち、相関計算機能部２０８は、特徴量行列Ｘと、分析メタ情報行列Ｓとの相関を演算する。
なお、相関パラメータ（Ｗ，ｂ）は、特徴量行列Ｘ、および分析メタ情報行列Ｓとの間に、式１，２，３に示すような関係を有する。
【００３７】
【数１】
【００３８】
【数２】
式２は、式１を整理したものである。
【００３９】
【数３】
式３は、式２の両辺に、特徴量行列Ｘの一般化逆行列（例えばムーア・ペンローズ型逆行列）を作用させたものとしている。ただし、これは、数式上の表記であり、実際の計算ではＱＲ分解などを行いながら誤差の影響を防ぐものとする。
なお、ｗは重み係数、ｂは固定値である。
【００４０】
図６を用いて、相関計算機能部２０８の相関パラメータ（Ｗ，ｂ）の計算について詳細に説明する。図６に示すとおり、相関計算機能部２０８は、相関パラメータＷの中で、ノルムが所定の閾値（例えば０．００１）よりも小さい列ベクトル（ｆ列）が存在するか否かを検出する。相関計算機能部２０８は、ｆ列を検出した場合、このｆ列に対応する特徴量行列Ｘのｆ行目を削除し、特徴量算出機能部２０７に代替の特徴量抽出関数の読み出しを指示し、それを用いて特徴量データを計算する。ここで、ノルムとは、相関パラメータのベクトル列の大きさを表すものであって、例えば、ベクトル列の各要素の２乗の総和をとった正の平方根を表す２−ノルムが利用可能である。
【００４１】
相関計算機能部２０８は、特徴量算出機能部２０７により検出された、特徴量抽出関数識別子α，βに次いで概要情報と関連性の高い特徴量抽出関数識別子γを読み出し、このｆ行目と特徴量抽出関数識別子γに基づく特徴量データＤγとを入れ替え、再度、特徴量データを計算し、特徴量行列Ｘを作成する。
なお、相関計算機能部２０８は、相関パラメータＷのうち、ノルムが所定の閾値よりも小さい列ベクトルが多次元ベクトルの場合は、このノルムが全て所定の閾値よりも小さかった場合に、他の特徴量データＤγと入れ替える。例えば、２次元の基礎特徴量データβは、２次元のノルムが全て所定の閾値よりも小さいか否かで、入れ替えが判断される。
相関計算機能部２０８は、上述の入れ替えを、ノルムが所定の閾値よりも小さい列ベクトルが検出されなくなるまで繰り返すことにより、特徴量抽出への寄与率の高い特徴量抽出関数の特徴量抽出関数識別子を決定する。相関計算機能部２０８は、決定した特徴量抽出への寄与率の高い特徴量抽出関数の特徴量抽出関数識別子（α，β・・・等）を、相関パラメータ（Ｗ，ｂ）、概要情報（ファイル名等）、射影子Ｒ等とを関連付けて、学習結果のセットとして、相関結果蓄積部２１０に記憶する。
【００４２】
相関適用機能部２０９は、相関計算機能部２０８により算出された学習結果のセットを受信し、送信部２１１に送信する。
また、相関適用機能部２０９は、メタ情報を含まないメディアデータに基づきコンテクストを抽出する場合、相関計算機能部２０８により算出された相関パラメータ（Ｗ，ｂ）と、特徴量抽出への寄与率の高い特徴量抽出関数の特徴量抽出関数識別子と、概要情報と、射影子Ｒを含む学習結果のセットを用いて、このメディアデータの属性を示す前記概要情報に基づき、このメディアデータからコンテクストを抽出する。このように、コンテクスト抽出サーバ１０１は、学習結果を利用することにより、メタ情報を含まないメディアデータに基づきコンテクストを抽出することができる。
【００４３】
相関結果蓄積部２１０は、相関計算機能部２０８により算出された学習結果のセットを記憶し、この学習結果のセットを繰り返し記憶することにより、学習能力を高めていく。
【００４４】
送信部２１１は、受信した学習結果のセットをアプリケーションサーバ１０３あるいはメディア編集機能部２０３に送信する。
【００４５】
次に、図７，８を用いて、本実施の形態にかかるコンテクスト抽出システムのコンテクスト抽出方法について説明する。
図７に示すとおり、メタ情報整形機能部２０６は、編集内容蓄積部２０５から編集履歴を読み出し（ステップＳ１）、この編集履歴に基づきメタ情報の発生状況を表したメタ情報行列Ｇを作成する。メタ情報整形機能部２０６は、このメタ情報行列Ｇに基づき、時間軸方向に分解されたメタ情報ベクトル列Ｇｉ，０，Ｇｉ，１，・・・，Ｇｉ，ｎ−１と、さらに主成分分析されたベクトル列のうち所定の閾値μ以下の次元が削除された分析メタ情報行列Ｓを作成する。
相関計算機能部２０８は、このようにして作成された分析メタ情報行列Ｓを、メタ情報整形機能部２０６から読み出す（ステップＳ２）。
【００４６】
一方、特徴量算出機能部２０７は、メディア蓄積部２０４からメディアデータを読み出し（ステップＳ３）、読み出したメディアデータの概要情報を作成し、相関結果蓄積部２１０に記憶する（ステップＳ４）。特徴量算出機能部２０７は、この概要情報をキーとして、概要情報と関連性の高い特徴量抽出関数識別子α，βを読み出し、メディアデータに適用して、特徴量抽出関数識別子α，βで表される特徴量抽出関数を取得する。特徴量算出機能部２０７は、得られた特徴量抽出関数に基づき特徴量データＤα，Ｄβを算出し、連結させて特徴量行列Ｘを作成する（ステップＳ５）。
相関計算機能部２０８は、このようにして作成された特徴量行列Ｘを、特徴量算出機能部２０７から読み出す（ステップＳ６）。
【００４７】
相関計算機能部２０８は、読み出した分析メタ情報行列Ｓと、特徴量行列Ｘに基づき、相関パラメータ（Ｗ，ｂ）を計算する。相関計算機能部２０８は、相関パラメータＷの中で、ノルムが所定の閾値よりも小さい列ベクトルがあるか否かを検出する。相関計算機能部２０８は、ノルムが所定の閾値よりも小さい列ベクトルとして特徴量抽出関数識別子αを検出した場合、相関値が低い特徴量抽出関数識別子αを削除し、特徴量算出機能部２０７に代替の特徴量抽出関数の読み出しを指示する（ステップＳ７）。
【００４８】
特徴量算出機能部２０７は、この指示に基づき、ステップＳ４，５において概要情報をキーとして関連性が高いとされた特徴量抽出関数識別子α，βに次いで、概要情報との関連性が高い特徴量抽出関数識別子γを検出する（ステップＳ８）。特徴量算出機能部２０７は、この次候補である特徴量抽出関数識別子γを読み出し、これら特徴量抽出関数識別子β，γの特徴量データＤβ，Ｄγを連結させて特徴量行列Ｘを作成する（ステップＳ９）。特徴量算出機能部２０７は、再度作成された特徴量行列Ｘと、分析メタ情報行列Ｓに基づき、相関パラメータ（Ｗ，ｂ）を再計算する（ステップＳ１０）。
【００４９】
相関計算機能部２０８は、ノルムが所定の閾値よりも小さい列ベクトルが検出されなくなるまで、すなわち、分析メタ情報行列Ｓと、特徴量行列Ｘとの相関を演算し、特徴量抽出への寄与率が低い特徴量抽出関数が検出されなくなるまで、相関パラメータ（Ｗ，ｂ）を計算し、概要情報と、特徴量抽出への寄与率が高い特徴量抽出関数の特徴量抽出関数識別子を決定する。相関計算機能部２０８は、この特徴量抽出への寄与率が高い特徴量抽出関数の特徴量抽出関数識別子、相関パラメータ（Ｗ，ｂ）、概要情報（ファイル名等）、射影子Ｒを関連付けて、学習結果のセットとして、相関結果蓄積部２１０に記憶する（ステップＳ１１）。
【００５０】
上述のとおり、本発明によると、特徴量算出機能部２０７により、映像中の物体の大まかな位置を検出するアルゴリズムや、平均の色を算出するアルゴリズム等の基礎的な特徴量を抽出するアルゴリズムをメディアデータに適用し、時系列的な特徴量ベクトルを得る。また、メタ情報整形機能部２０６により、メディアデータに時系列的に付与されたコメントを、その発生頻度や言語自体の特性から形成されるメタ情報を得る。そして、相関計算機能部２０８は、このようにして得られた特徴ベクトルに基づく特徴量行列と、メタ情報に基づくメタ情報行列との相関を演算する。これにより、コンテクスト抽出サーバ１０１は、より少ない特徴量抽出関数で、メタ情報との相関を演算し、複数のメディアデータを効率的に認識することができる。
【００５１】
次に、図８を用いて、相関結果蓄積部２１０に記憶されている学習結果を、まだコメント等が付与されていないメディアデータ、例えば、個人の撮影映像などに利用するコンテクスト抽出方法について説明する。
この場合、相関計算機能部２０８は、式４に示す演算式に従って、未知数である分析メタ情報行列Ｓを算出し、これを射影子Ｒで逆射影することで、メタ情報行列Ｇを推定する。
【００５２】
【数４】
ここで、式４に示す相関パラメータ（Ｗ，ｂ）および特徴量行列Ｘは、予め与えられている数値である。
【００５３】
図８に示すとおり、例えば携帯電話等の通信端末２１２で撮影されたメディアデータがメディア取得機能部２０１により取得されると、メディア蓄積部２０４に記憶される。特徴量算出機能部２０７は、メディア蓄積部２０４からメディアデータを読み出し（ステップＳ２１）、読み出したメディアデータの概要情報を作成し、相関結果蓄積部２１０に記憶する（ステップＳ２２）。特徴量算出機能部２０７は、この概要情報をキーとして、概要情報と関連性の高い特徴量抽出関数識別子α，βを読み出し、メディアデータに適用して、特徴量抽出関数識別子α，βで表される特徴量抽出関数を取得する。特徴量算出機能部２０７は、得られた特徴量抽出関数に基づき特徴量データＤα，Ｄβを算出し、連結させて特徴量行列Ｘを作成する（ステップＳ２３）。また、特徴量算出機能部２０７は、特徴量行列Ｘに対応する相関パラメータ（Ｗ，ｂ）を、相関結果蓄積部２１０に記憶されている学習結果のセットから読み出し、相関計算機能部２０８に送信する。
相関計算機能部２０８は、特徴量算出機能部２０７から特徴量行列Ｘおよび相関パラメータ（Ｗ，ｂ）を受信する（ステップＳ２４）。
【００５４】
相関計算機能部２０８は、受信した特徴量行列Ｘと相関パラメータ（Ｗ，ｂ）に基づき、分析メタ情報行列Ｓを計算する。相関計算機能部２０８は、この分析メタ情報行列Ｓを算出し、これを射影子Ｒで逆射影することで、メタ情報行列（ベクトル列）Ｇに変換し、それをメディアデータの編集結果として、通信端末２１２に送信する（ステップＳ２５）。
通信端末２１２は、この編集結果を受信し、この編集結果に修正を施した修正結果を相関計算機能部２０８に送信し、再度、メタ情報行列（メタ情報ベクトル列）Ｇを計算し直すことも可能である（ステップＳ２６）。
相関計算機能部２０８は、メディアデータの編集結果として通信端末２１２に送信したメタ情報行列（メタ情報ベクトル列）Ｇ、あるいは、通信端末２１２により施された修正に基づき再計算されたメタ情報行列（メタ情報ベクトル列）Ｇｉ，を相関結果蓄積部２１０に記憶することにより、学習処理による学習パラメータを更新することができる。
これにより、メディアデータに基づき、このメディアデータに対しての認識情報（コンテクスト）を抽出することができる。
なお、上述に説明したメタ情報行列（メタ情報ベクトル列）Ｇ抽出方法は、相関適用機能部２０９においても、適用することができる。
【００５５】
［第２の実施形態］
次に、本発明にかかる他の実施の形態について説明する。図９は、第２の実施形態にかかるコンテクスト抽出システムを説明するための概念図である。なお、本実施の形態におけるコンテクスト抽出システムは、第１の実施形態において説明したコンテクスト抽出システムと同じ構成を有し、以下、図２の符号を引用して説明する。
本実施の形態にかかるコンテクスト抽出システムは、相関結果蓄積部２１０に記憶された学習結果のセットを利用して、例えば携帯電話のような低機能な入力デバイスしか有しない装置から送信される映像に基づき、関連するキーワードを推奨するサービスを利用するため、以下の構成・機能を有することを特徴とする。
【００５６】
アプリケーションサーバ１０３は、例えば携帯電話のような入力デバイスから受信した映像に基づき、キーワードを検索し、このキーワードあるいは、キーワードに関連するメディアデータを推奨するサービスを提供する。
メディア取得機能部２０１は、入力デバイスから受信した映像（メディアデータ）をメディア蓄積部２０４に記憶する。
【００５７】
特徴量算出機能部２０７は、メディア蓄積部２０４からメディアデータを読み出し、このメディアデータに付与されている位置情報（例えば、ＧＰＳから取得される情報）をキーとして、相関結果蓄積部２１０に記憶されている学習結果のセットを取得し、相関適用機能部２０９に送信する。
相関適用機能部２０９は、この学習結果のセットを送信部２１１を介してアプリケーションサーバ１０３に送信する。
アプリケーションサーバ１０３は、この学習結果のセットに基づき、関連付けられたメディアデータあるいはキーワードを検出し、これら検出された情報を入力デバイスとしての例えば携帯電話の画面に表示する。
これにより、入力された映像をキーとして、関連するキーワードやメディアデータを検索することができる。また、検索サービスを利用するユーザ端末１０２Ａ〜１０２Ｃからの検索キーワードの入力が不要となり、ユーザの操作性を向上することができる。
【００５８】
また、本実施の形態にかかるコンテクスト抽出サーバ１０１は、上述と同様に、受信した映像を公開し、編集により付与されたコメントに基づきコンテクストを抽出し、学習結果として蓄積していく構成を有する。
すなわち、メディア蓄積部２０４は、受信したメディアデータをアーカイブ化したコンテンツとして記憶し、メディア閲覧機能部２０２は、このコンテンツをさまざまなユーザに閲覧を許可し、メディア編集機能部２０３は、このコンテンツのメディアデータにコメントの付与を許可する。
【００５９】
相関計算機能部２０８は、このようにして編集されたメディアデータのメタ情報を利用して相関を演算し、学習結果のセットを相関結果蓄積部２１０に記憶する。
これにより、コンテクスト抽出サーバ１０１は、どのような映像ならば、どのようなキーワードが推奨されるかを学習することができ、例えば携帯電話のカメラで撮影された映像に基づき、映像に関連するキーワードを推奨するサービスを提供することができる。よって、携帯電話のような低機能な入力デバイスしか有しない装置であっても、簡単な検索サービスを提供することができる。
【００６０】
［第３の実施形態］
次に、本発明にかかる他の実施の形態について説明する。図１０は、第３の実施形態にかかるコンテクスト抽出システム３の一例を説明するためのブロック図である。図１１は、第３の実施形態にかかるコンテクスト抽出システム２を説明するための概念図である。なお、本実施の形態におけるコンテクスト抽出システムは、第１の実施形態において説明したコンテクスト抽出システムと異なる構成を有するが、同じ機能を有する構成においては図２に示す符号と同じ符号を付し、追加的な機能のみ以下説明することで、重複する説明を省略する。
【００６１】
本実施の形態にかかるコンテクスト抽出システムは、監視カメラやライブカメラ等により取得されたメディアデータのリアル再生・閲覧を提供するシステムにおいて、この提供されるメディアデータと、このメディアデータに対して閲覧者により編集されたコメントからコンテクストを抽出するシステムである。このコンテクスト抽出システムは、抽出されたコンテクストとメディアデータの特徴量抽出関数との相関を演算することにより、アーカイブ化されているメディアデータのアーカイブ構成を自律的に変化させるため、以下の構成・機能を有することを特徴とする。
【００６２】
メディア取得機能部２０１は、カメラ３００により取得された映像を、コンテンツ化して公開されるよう、メディア蓄積部２０４に記憶する。例えば、カメラ３００として監視カメラやライブカメラ等により取得されたメディアデータは、アーカイブ化されたコンテンツとして、メディア閲覧機能部２０２により公開される。
【００６３】
メディア閲覧機能部２０２は、メディア蓄積部２０４に記憶されているメディアデータの閲覧を、メディア閲覧端末としてのユーザ端末１０２Ｂを介して、複数のユーザに許可する。また、メディア閲覧機能部２０２は、特徴的な映像・画面がサムネイル化され、このサムネイルと関連づけられたメディアデータの閲覧を許可することができる。これにより、ユーザ端末１０２Ｂからは、サムネイル化により閲覧できるメディアデータが判断しやすいように整理されたメディアデータを閲覧することができる。
【００６４】
メディア蓄積部２０４は、メディアデータを、メディア閲覧機能部２０２によりコンテンツ化して作成されたメディアデータと、アーカイブ編集部５０１によりサムネイル化されたメディアデータを記憶する。メディア蓄積部２０４は、サムネイル化されたメディアデータを、メタ情報整形機能部２０６により抽出されたメタ情報に関連付けて記憶する。
編集内容蓄積部２０５は、編集により付加されたコメント、およびメディア編集機能部２０３により作成された編集履歴等を記憶する。
【００６５】
メタ情報整形機能部２０６は、編集内容蓄積部２０５に記憶されている編集により付加されたコメント、および編集履歴を読み出し、コメント情報に基づきフィルタリングされたメタ情報を抽出する。例えば、メタ情報整形機能部２０６は、メディア蓄積部２０４からメディアデータを読み出し、所定間隔ごとに離散化し、情報性の高いコメントが付与されているメディアデータを抽出し、情報性の低いコメントやノイズが付与されているだけのメディアデータは破棄する。
メタ情報整形機能部２０６は、このようにフィルタリングされ、抽出されたメタ情報に基づき、メタ情報行列Ｇを作成し、時間軸方向に分解されたメタ情報ベクトル列Ｇｉ，０，Ｇｉ，１，・・・，Ｇｉ，ｎ−１、主成分分析によって生成された固有値λ０，・・・，λｋ−１，λｋ，・・・，λｌ−１のうち、閾値μ＝０．００１以下の固有ベクトルνｋ，・・・，νｌ−１が張る空間を削除することにより、圧縮された分析メタ情報行列Ｓを作成する。
【００６６】
特徴量算出機能部２０７は、メディア蓄積部２０４からコメント情報を読み出し、コメント情報をキーに利用して、相関結果蓄積部２１０に記憶されている複数の特徴量抽出関数識別子α，β，γ・・・から関連性のある特徴量抽出関数識別子を取得する。特徴量算出機能部２０７は、上述と同様にして、取得した特徴量抽出関数識別子に基づき特徴量行列Ｘを作成する。
相関計算機能部２０８は、上述と同様にして、特徴量行列Ｘと、分析メタ情報行列Ｓｋ−１，んー１との相関を演算する。相関計算機能部２０８は、特徴量行列Ｘの中でノルムが所定の閾値よりも小さい列ベクトルを検出した場合、コメント情報と関連性の高い特徴量抽出関数識別子の次候補を読み出し、入れ替る。相関計算機能部２０８は、上述の入れ替えを、ノルムが所定の閾値よりも小さい列ベクトルが検出されなくなるまで繰り返すことにより、特徴量抽出への寄与率が高い特徴量抽出関数を決定する。相関計算機能部２０８は、決定した特徴量抽出への寄与率が高い特徴量抽出関数の特徴量抽出関数識別子と、相関パラメータ（Ｗ，ｂ）、コメント情報、射影子Ｒとを関連付けて、学習結果のセットとして、相関結果蓄積部２１０に記憶する。
【００６７】
アーカイブ編集部３０１は、相関計算機能部２０８の学習結果のセットに基づき、高い情報性を有するメタ情報を含むメディアデータを検出する。アーカイブ編集部５０１は、検出されたメディアデータをサムネイル化し、メタ情報の関連性に基づきそれぞれ関連付けて、メディア蓄積部２０４に記憶する。ここで、高い情報性を有するメタ情報は、例えば、コメント情報のうち、出現頻度の高い単語や、強調したい単語を含むコメント等である。また、アーカイブ編集部３０１は、検出されたメディアデータのうち、高い情報性を有するメタ情報に関連付けられる映像や画像をサムネイル化する。
また、アーカイブ編集部３０１は、相関計算機能部２０８の学習結果のセットに基づき、不適切な情報性を有するメタ情報を含むメディアデータを検出することができる。アーカイブ編集部５０１は、不適切な情報性を有するメディアデータを検出した場合、メディア蓄積部２０４からこのメディアデータを削除する。
【００６８】
これにより、コンテクスト抽出サーバ１０１は、監視カメラ等の映像から、適切なコメントが付与されたメディアデータをアーカイブ化することができるため、例えばＣＭコンテンツ等に利用することができる。
また、アーカイブ編集部３０１は、メディア蓄積部２０４に、閲覧者のコメント編集に応じて自律的に変化されるアーカイブ映像を作成することができる。
また、アーカイブ編集部３０１は、高い情報性を有するコメント情報を含むメディアデータに基づき、アーカイブ化することにより、多くのコメントが付加されていると推定される部分がアーカイブ化され、効率的なアーカイブ映像を作成することができる。このアーカイブ映像を利用することにより、デパートやイベント会場での広告映像等を提供するＣＭ（コマーシャル）コンテンツを簡単に作成することができる。
【００６９】
［第４の実施形態］
次に、本発明にかかる他の実施の形態について説明する。図１２は、第４の実施形態にかかるコンテクスト抽出システムを説明するための概念図である。なお、第４の実施形態におけるコンテクスト抽出システムは、第１の実施形態において説明したコンテクスト抽出システムと同じ構成を有し、以下、図２の符号を引用して説明する。
本実施の形態にかかるコンテクスト抽出システムは、アプリケーションサーバ１０３により個人撮影映像の自動編集を支援するサービスが提供されるため、以下の構成・機能を有することを特徴とする。
【００７０】
アプリケーションサーバ１０３は、例えば携帯電話のような入力デバイスから受信したメディアデータに基づき、個人撮影映像の自動編集を支援するサービスを提供する。
メディア蓄積部２０４は、この入力デバイスから入力されたメディアデータをアーカイブ化して記憶する。例えば、メディア蓄積部２０４は、ユーザの設定により、このメディアデータを非公開メディアデータとして記憶する。
【００７１】
特徴量算出機能部２０７は、メディア蓄積部２０４からメディアデータを読み出し、このメディアデータに付与されている概要情報（ファイル名やコメント）をキーとして、相関結果蓄積部２１０に記憶されている学習結果のセットを取得し、相関適用機能部２０９に送信する。
相関適用機能部２０９は、この学習結果のセットを送信部２１１を介してメディア編集機能部２０３に送信する。
メディア編集機能部２０３は、この学習結果のセットに基づきメディアデータを認識し、メディア蓄積部２０４に記憶されているメディアデータのアーカイブ構成を編集する。
これにより、個人で撮影した映像を非公開メディアデータとしてメディア蓄積部２０４に記憶しておくだけで、コンテクスト抽出サーバ１０１が自動的にメディアデータを認識し、関連映像を含むアーカイブ映像が編集される。
【００７２】
なお、メタ情報整形機能部２０６に利用されるメタ情報としては、例えば動画共有サイトのように、公開が許可された映像も保有し、その動画に対して多数のユーザがコメントを付与するようなメディアデータから取得される。
本実施の形態にかかるコンテクスト抽出サーバ１０１は、これにより、動画共有サイト等において公開・編集が許可されているメディアデータに基づき学習結果のセットを蓄積させ、この学習結果のセットを利用して、個人の非公開映像を認識し、自動編集を支援することができる。
【００７３】
これにより、個人で撮り溜めた映像を効率的に閲覧しやすいアーカイブ化されたメディアをメディア蓄積部２０４に記憶することができる。また、これにより、映像編集経験が少ない初心者であっても、簡単に編集が可能となるため、更なるコンテンツの投稿による動画共有サイトの活性化につながる。
【００７４】
以上のとおり、本発明にかかるコンテクスト抽出システムは、Ｗｅｂコンテンツやセンサ情報に基づくメディアデータのように、明示的に登録されない情報を利用する場合であっても、画像や編集履歴に基づきコンテクストを抽出し、メディアデータの関連付けを推測することができる。
また、メタ情報整形機能部２０６により抽出されるメタ情報の設定を適宜変更することにより、多種類の情報が混在しているメディアデータから、適切なコンテクストを抽出することができる。
さらに、相関結果蓄積部２１０に記憶される学習結果のセットの作成を積み重ねることにより、メディアデータと抽出されたメタ情報との関連性の幅を広げることができ、端末の性能にかかわらず、多種類のコンテクストを取得することができる。
また、公開されたメディアデータの内容は、概ね、時系列に付与されたコメントの内容に起因していることが多いため、コメント等からメタ情報を抽出し、特徴データとの相関を演算することにより、メディアデータの内容を推測することができる。
【００７５】
また、本発明にかかるコンテクスト抽出システムは、メディアデータおよびコメント等のメタ情報を取得するためのインターフェースとして、近年、利用者が増加している動画共有サイトを利用することができる。この動画共有サイトとして、投稿されたメディアデータに対して複数のユーザがコメントを付与する機能を有するサイトを利用することにより、ユーザが楽しみながら、メディアデータの認識情報としてのコメントを付与できるようになるため、より効果的である。
また、従来においては、人間の知覚による認識情報を収集するためには、予め多くのモニタを集めてデータを収集しなければならず、また新たな認識情報の更新作業が手間であるという問題があったが、本発明により、映像共有サイトといった娯楽色の高いインターフェースを利用することにより、より簡単に、大量の知覚情報を収集することが可能である。
また、メディアデータに基づくメタ情報により学習された学習結果のセットを、他のメディアデータに適用することにより、人間が具体的にメディアデータの内容を認識しなくても、ある程度の制度でメディアデータの内容が推定され、自動的にメディアデータ同士の関連付けを実現することができる。これにより、大人数のユーザによりコメントなどの情報が付与されない個人的に保有されているメディアデータからも、メタ情報を取得し、メディアデータ同士を関連付ける認識情報として学習結果に反映することができる。
【００７６】
なお、上述のコンテクスト抽出サーバ１０１の動作の過程は、コンピュータに実行させるためのプログラムや、このプログラムとしてコンピュータ読み取り可能な記録媒体として利用可能であり、コンピュータシステムが読み出して実行することによって、上記処理が行われる。なお、ここでいう「コンピュータシステム」とは、ＣＰＵ及び各種メモリやＯＳ、周辺機器等のハードウェアを含むものである。
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【００７７】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に記憶したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムに既に記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【図面の簡単な説明】
【００７８】
【図１】本実施の形態にかかるコンテクスト抽出システムの一例を示す概念図である。
【図２】本実施の形態にかかるコンテクスト抽出システムの一例を示すブロック図である。
【図３】本実施の形態にかかるメタ情報行列Ｇの一例を説明する概念図である。
【図４】本実施の形態にかかる分析メタ情報行列Ｓの一例を説明する概念図である。
【図５】本実施の形態にかかる特徴量行列Ｘの一例を説明する概念図である。
【図６】本実施の形態にかかる特徴量行列Ｘの選別の一例を説明する概念図である。
【図７】本実施に形態にかかるコンテクスト抽出方法の一例を示す概略図である。
【図８】本実施の形態にかかるコンテクスト抽出方法の他の一例を示す概略図である。
【図９】本実施の形態にかかるコンテクスト抽出システムの他の一例を示す概念図である。
【図１０】本実施の形態にかかるコンテクスト抽出システムの他の一例を示す概念図である。
【図１１】図１０に示したコンテクスト抽出システムの一例を示すブロック図である。
【図１２】本実施の形態にかかるコンテクスト抽出システムの他の一例を示す概念図である。
【符号の説明】
【００７９】
１００ ネットワーク
１０１ コンテクスト抽出サーバ
１０２Ａ〜１０２Ｃ ユーザ端末
１０３ アプリケーションサーバ
２０１ メディア取得機能部
２０２ メディア閲覧機能部
２０３ メディア編集機能部
２０４ メディア蓄積部
２０５ 編集内容蓄積部
２０６ メタ情報整形機能部
２０７ 特徴量算出機能部
２０８ 相関計算機能部
２０９ 相関適用機能部
２１０ 相関結果蓄積部
２１１ 送信部
【特許請求の範囲】
【請求項１】
メディアデータに基づき、メディアデータの内容を認識するためコンテクストを抽出するコンテクスト抽出サーバにおいて、
前記メディアデータに付加されたメタ情報に基づき、時系列に表されたメタ情報行列を生成するメタ情報整形機能部と、
前記メディアデータの属性を示す概要情報に基づき、予め設定されている特徴量抽出関数を特定し、特定された前記特徴量抽出関数に基づき、前記時系列と同間隔で表された特徴量行列を生成する特徴量算出機能部と、
前記メタ情報整形機能部が生成した前記メタ情報行列と、前記特徴量算出機能部から受信した前記特徴量行列との相関を計算し、特徴量抽出への寄与率の高い前記特徴量抽出関数を決定する行列相関計算機能部と、
前記相関計算機能部により算出された相関と、前記特徴量抽出関数を、学習結果として行列記憶する相関結果蓄積部と、
を有することを特徴とするコンテクスト抽出サーバ。
【請求項２】
前記メタ情報は、ネットワークを介して外部端末より受信する前記メディアデータに付加されたコメントであることを特徴とする請求項１に記載のコンテクスト抽出サーバ。
【請求項３】
前記相関結果蓄積部は、前記学習結果として、前記相関と、前記特徴量抽出関数と、前記特徴量抽出関数に関連付けられた概要情報行列を記憶し、
前記相関計算機能部は、決定した前記特徴量抽出関数行列と、この特徴量抽出関数行列に関連づけられた前記概要情報に基づき、前記メタ情報行列を算出することを特徴とする請求項１あるいは２に記載のコンテクスト抽出サーバ。
【請求項４】
前記コンテクスト抽出サーバは、
前記メタ情報を含まない他のメディアデータを受信した場合、前記相関計算機能部により算出された相関と、特徴量抽出への寄与率の高い前記特徴量抽出関数と、前記概要情報を含む学習結果を用いて、前記他のメディアデータの属性を示す前記概要情報に基づき、この他のメディアデータからコンテクストを抽出する相関適用機能部と、
更にネットワークを介して接続されている外部サーバに前記抽出されたコンテクストを送信する送信部を有することを特徴とする請求項１ないし３のいずれか１項に記載のコンテクスト抽出サーバ。
【請求項５】
受信したメディアデータに基づき、メディアデータの内容を認識するためコンテクストを抽出するコンテクスト抽出サーバにおけるコンテクスト抽出方法において、
メタ情報整形機能部が
前記メディアデータに付加されたメタ情報に基づき、時系列に表されたメタ情報行列を生成し、
特徴量算出機能部が、
前記メディアデータの属性を示す概要情報に基づき、予め設定されている特徴量抽出関数を特定し、特定された前記特徴量抽出関数に基づき、前記時系列と同間隔で表された特徴量行列を生成し、
相関計算機能部が、
前記メタ情報整形機能部から受信した前記メタ情報行列と、前記特徴量算出機能部から受信した前記特徴量行列との相関を計算し、特徴量抽出への寄与率の高い前記特徴量抽出関数を決定し行列、
相関結果蓄積部が、
前記相関計算機能部により算出された相関と、前記特徴量抽出関数を、学習結果として行列記憶する
ことを特徴とするコンテクスト抽出方法。
【請求項６】
前記メタ情報は、ネットワークを介して外部端末より前記メディアデータに付加されたコメントであることを特徴とする請求項５に記載のコンテクスト抽出方法。
【請求項７】
前記相関結果蓄積部は、前記学習結果として、前記相関と、前記特徴量抽出関数と、前記特徴量抽出関数に関連付けられた概要情報行列を記憶し、
前記相関計算機能部は、決定した前記特徴量抽出関数行列と、この特徴量抽出関数行列に関連づけられた前記概要情報に基づき、前記メタ情報行列を算出することを特徴とする請求項５あるいは６に記載のコンテクスト抽出方法。
【請求項８】
受信したメディアデータに基づき、メディアデータの内容を認識するためコンテクストを抽出するコンピュータを
前記メディアデータに付加されたメタ情報に基づき、時系列に表されたメタ情報行列を生成するメタ情報整形手段、
前記メディアデータの属性を示す概要情報に基づき、予め設定されている特徴量抽出関数を特定し、特定された前記特徴量抽出関数に基づき、前記時系列と同間隔で表された特徴量行列を生成する特徴量算出手段、
前記メタ情報整形手段から受信した前記メタ情報行列と、前記特徴量算出手段から受信した前記特徴量行列との相関を計算し、特徴量抽出への寄与率の高い前記特徴量抽出関数を決定する行列相関計算手段、
前記相関計算手段により算出された相関と、前記特徴量抽出関数を、学習結果として行列記憶する相関結果蓄積手段、
として機能させるためのプログラム。
【請求項９】
前記メタ情報は、ネットワークを介して外部端末より前記メディアデータに付加されたコメントであることを特徴とする請求項８に記載のプログラム。
【請求項１０】
前記相関結果蓄積手段は、前記学習結果として、前記相関と、前記特徴量抽出関数と、前記特徴量抽出関数に関連付けられた概要情報行列を記憶し、
前記相関計算手段は、決定した前記特徴量抽出関数行列と、この特徴量抽出関数行列に関連づけられた前記概要情報に基づき、前記メタ情報行列を算出することを特徴とする請求項８あるいは９に記載のプログラム。
【請求項１】
メディアデータに基づき、メディアデータの内容を認識するためコンテクストを抽出するコンテクスト抽出サーバにおいて、
前記メディアデータに付加されたメタ情報に基づき、時系列に表されたメタ情報行列を生成するメタ情報整形機能部と、
前記メディアデータの属性を示す概要情報に基づき、予め設定されている特徴量抽出関数を特定し、特定された前記特徴量抽出関数に基づき、前記時系列と同間隔で表された特徴量行列を生成する特徴量算出機能部と、
前記メタ情報整形機能部が生成した前記メタ情報行列と、前記特徴量算出機能部から受信した前記特徴量行列との相関を計算し、特徴量抽出への寄与率の高い前記特徴量抽出関数を決定する行列相関計算機能部と、
前記相関計算機能部により算出された相関と、前記特徴量抽出関数を、学習結果として行列記憶する相関結果蓄積部と、
を有することを特徴とするコンテクスト抽出サーバ。
【請求項２】
前記メタ情報は、ネットワークを介して外部端末より受信する前記メディアデータに付加されたコメントであることを特徴とする請求項１に記載のコンテクスト抽出サーバ。
【請求項３】
前記相関結果蓄積部は、前記学習結果として、前記相関と、前記特徴量抽出関数と、前記特徴量抽出関数に関連付けられた概要情報行列を記憶し、
前記相関計算機能部は、決定した前記特徴量抽出関数行列と、この特徴量抽出関数行列に関連づけられた前記概要情報に基づき、前記メタ情報行列を算出することを特徴とする請求項１あるいは２に記載のコンテクスト抽出サーバ。
【請求項４】
前記コンテクスト抽出サーバは、
前記メタ情報を含まない他のメディアデータを受信した場合、前記相関計算機能部により算出された相関と、特徴量抽出への寄与率の高い前記特徴量抽出関数と、前記概要情報を含む学習結果を用いて、前記他のメディアデータの属性を示す前記概要情報に基づき、この他のメディアデータからコンテクストを抽出する相関適用機能部と、
更にネットワークを介して接続されている外部サーバに前記抽出されたコンテクストを送信する送信部を有することを特徴とする請求項１ないし３のいずれか１項に記載のコンテクスト抽出サーバ。
【請求項５】
受信したメディアデータに基づき、メディアデータの内容を認識するためコンテクストを抽出するコンテクスト抽出サーバにおけるコンテクスト抽出方法において、
メタ情報整形機能部が
前記メディアデータに付加されたメタ情報に基づき、時系列に表されたメタ情報行列を生成し、
特徴量算出機能部が、
前記メディアデータの属性を示す概要情報に基づき、予め設定されている特徴量抽出関数を特定し、特定された前記特徴量抽出関数に基づき、前記時系列と同間隔で表された特徴量行列を生成し、
相関計算機能部が、
前記メタ情報整形機能部から受信した前記メタ情報行列と、前記特徴量算出機能部から受信した前記特徴量行列との相関を計算し、特徴量抽出への寄与率の高い前記特徴量抽出関数を決定し行列、
相関結果蓄積部が、
前記相関計算機能部により算出された相関と、前記特徴量抽出関数を、学習結果として行列記憶する
ことを特徴とするコンテクスト抽出方法。
【請求項６】
前記メタ情報は、ネットワークを介して外部端末より前記メディアデータに付加されたコメントであることを特徴とする請求項５に記載のコンテクスト抽出方法。
【請求項７】
前記相関結果蓄積部は、前記学習結果として、前記相関と、前記特徴量抽出関数と、前記特徴量抽出関数に関連付けられた概要情報行列を記憶し、
前記相関計算機能部は、決定した前記特徴量抽出関数行列と、この特徴量抽出関数行列に関連づけられた前記概要情報に基づき、前記メタ情報行列を算出することを特徴とする請求項５あるいは６に記載のコンテクスト抽出方法。
【請求項８】
受信したメディアデータに基づき、メディアデータの内容を認識するためコンテクストを抽出するコンピュータを
前記メディアデータに付加されたメタ情報に基づき、時系列に表されたメタ情報行列を生成するメタ情報整形手段、
前記メディアデータの属性を示す概要情報に基づき、予め設定されている特徴量抽出関数を特定し、特定された前記特徴量抽出関数に基づき、前記時系列と同間隔で表された特徴量行列を生成する特徴量算出手段、
前記メタ情報整形手段から受信した前記メタ情報行列と、前記特徴量算出手段から受信した前記特徴量行列との相関を計算し、特徴量抽出への寄与率の高い前記特徴量抽出関数を決定する行列相関計算手段、
前記相関計算手段により算出された相関と、前記特徴量抽出関数を、学習結果として行列記憶する相関結果蓄積手段、
として機能させるためのプログラム。
【請求項９】
前記メタ情報は、ネットワークを介して外部端末より前記メディアデータに付加されたコメントであることを特徴とする請求項８に記載のプログラム。
【請求項１０】
前記相関結果蓄積手段は、前記学習結果として、前記相関と、前記特徴量抽出関数と、前記特徴量抽出関数に関連付けられた概要情報行列を記憶し、
前記相関計算手段は、決定した前記特徴量抽出関数行列と、この特徴量抽出関数行列に関連づけられた前記概要情報に基づき、前記メタ情報行列を算出することを特徴とする請求項８あるいは９に記載のプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１０−５５１７４（Ｐ２０１０−５５１７４Ａ）
【公開日】平成２２年３月１１日（２０１０．３．１１）
【国際特許分類】
【出願番号】特願２００８−２１６７２６（Ｐ２００８−２１６７２６）
【出願日】平成２０年８月２６日（２００８．８．２６）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り 平成２０年６月５日 「第４回ネットワークソフトウェア研究会（ユビキタスコンピューティングを実現するネットワークソフトウェア技術〜アドホック・センサネットワーク＋一般〜）」に発表
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り 平成２０年６月６日 「ネットワークソフトウェア研究会」において文書をもって発表
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成２２年３月１１日（２０１０．３．１１）
【国際特許分類】
【出願日】平成２０年８月２６日（２００８．８．２６）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り 平成２０年６月５日 「第４回ネットワークソフトウェア研究会（ユビキタスコンピューティングを実現するネットワークソフトウェア技術〜アドホック・センサネットワーク＋一般〜）」に発表
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り 平成２０年６月６日 「ネットワークソフトウェア研究会」において文書をもって発表
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]